耶鲁科研课题：基于图像的三维虚拟现实内容生成

耶鲁科研课题

基于图像的三维虚拟现实内容生成

课题简介

计算机图形学（英语：computer graphics，缩写为CG）是研究计算机在硬件和软件的帮助下创建计算机图形的科学学科，是计算机科学的一个分支领域，主要关注数字合成与操作视觉图形的相关内容。计算机图形学包括了二维和三维图形、图像和视频的处理与绘制等内容，目前在人工智能、虚拟现实和增强现实的潮流中迎来了又一波高速发展。

在计算机图形学和计算机视觉中，基于图像的建模和渲染（IBMR）方法需要先从场景的二维图像来生成三维模型，然后才能呈现出该场景的新视图。计算机图形学的传统方法已被应用于在三维中创建几何模型，并尝试将其重新映射到二维图像上。 相反，计算机视觉主要集中在检测、分组和提取给定图片中的特征（边缘，面部等），然后尝试将它们解释为三维线索。 基于图像的建模和渲染可以使用多个二维图像直接生成新颖的二维图像，跳过手动建模阶段，比传统方法更为便捷和人性化。

例如，全景照片为公众提供了全新的视角，促使相关的相机和拍照软件（如RICOH Theta、微软Photosync）吸引了越来越多的用户。但是，全景图的表现形式仍然有待探索。

在本项目中，我们基于最新的研究成果，将全景图片和常规图片通过几何上的算法处理后，重建出一个三维场景。本项目有着较为广阔的应用场景，可以应用于在魔方上渲染全景图、创造虚拟现实场景、制作立体插画册等方面。

科研方法

AI＋X数据驱动型科研

使用人工智能（AI）算法，收集、处理、分析具体学科（X）的海量数据，并基于此进行预测，从而获得科学发现的研究方法。与传统的、基于实验或逻辑推理的研究方式相比，AI＋X数据驱动型科研可以借助AI算法强大的运算能力，高效地进行大数据分析，具有投入产出比高、适用范围广的优点。

AI＋X数据驱动型科研已被广泛地应用于各个领域，利用AI算法研究基因数据，从而进行早期的癌症筛查便是其中一例。基因组与癌症病患的数据千千万万，使用传统的科研方式对其进行分析，工程量大、过程繁琐，在客观上难以实现。

但借助AI算法这一便捷的工具，生命科学家便能够以海量的患者的遗传信息为基础，建立数据库，与过往的研究成果进行对照，快速、准确地在两者中发现规律、建立联系，从而使癌症诊断的“标准化”成为可能。

---

课题要求

本课题适合： 9-12 年级学生，有较强的逻辑思维和抽象思维能力：

英文：

具备基本的学术英语阅读能力；
接触过英文写作，有论文写作经验者更佳；

数学：

线性代数基础；
概率统计基础知识；

计算机

Python编程基础
Matlab基础，包括图像处理工具库