数字成像的进步!NVIDIA 新 AI 工具利用机器学习

图片来源:Engadget

NVIDIA 最近开发的 AI 工具,利用机器学习技术和方便的超级计算机,可以把现实世界的视频转变为虚拟景观,同时这个神经网络也可以利用像素构建逼真的虚拟世界,这是数字成像领域的一个显着进步,真实与虚拟世界的界限也进一步模糊。

NVIDIA 的研究不仅仅是一项重大的技术成就,它也使艺术家和开发人员更容易制作逼真的虚拟世界。他们可以使用现有的机器学习工具来粗略定义这些实体,让 NVIDIA 的神经网络填补其余部分,而不必精心设计对象,和让工作人员通过多边形来填充空间。

NVIDIA 应用深度学习副总裁 Bryan Catanzano 在一份声明中表示:" 神经网络特别是生成模型,将改变图形的创建方式。这将使开发人员,尤其是游戏和汽车行业的开发人员能够以相当于传统成本的一小部分的资金就可以创建场景。"

Bryan Catanzano 展示了它的工作原理。研究人员使用该公司 DGX-1 超级计算机之一的城市自驾车试验拍摄的 dashcam 视频来实验这个神经模型。NVIDIA 首席执行官 Jensen Huang 曾经称 DGX-1 相当于 250 台服务器,所以这也是在美国同类产品中表现相当出色。

同时,研究团队使用虚幻引擎 4(Unreal Engine 4)创建了他们所谓的场景 " 语义地图 ",它基本上为屏幕上的每个像素分配了一个标签类别。这些像素分为 " 汽车 "、" 树 " 或 " 建筑物 " 等其他像素类别,最后这个虚幻引擎工具会产生一个场景的 " 草图 ",并且提供给 NVIDIA 的神经模型。从这里开始,AI 将视觉效果应用于 " 汽车 " 集合,跟标有 " 汽车 " 的像素块一起合并,并对场景中的每个其他分类对象重复相同的过程。这听起来很乏味,但整个过程发生得比想象的还要快,模拟会以每秒 25 帧的速度在运行,并且 AI 会实时渲染所有内容。

NVIDIA 的团队还使用这种新的视频到视频(video-to-video)合成技术,以数字方式模拟人的图像。制作这个模型的工作与汽车模拟完全相同,只是这次人工智能的主要任务是舞者的姿势,将它们的大致体态呈现出来,但将另一个人的外观覆盖原来的外观。

目前,该公司的业绩当然非常优秀。NVIDIA 的示例视频提供了数字城市的缩影,里面展示了看似真实的物体。

虽然 NVIDIA 已开源所有底层代码,但在开发人员要把这些工具加入到他们下一代 VR 设备中还可能需要一段时间才能实现。老实说,这也很好,因为该公司很快指出了神经网络的局限性:虽然虚拟汽车在其模拟城市景观看起来很逼真,但 NVIDIA 表示这个模型并不能很好地渲染车辆,因为它的标签像素缺乏足够的信息。对 VR 工程师来说,某些物体比如汽车,可能并不总是与场景的进展相同。特别是,NVIDIA 表示这些物体可能会随着时间的推移略微改变颜色。这些都是现实世界的物体带来的技术难点,所以要在 VR 技术中应用神经网络还有待研究。

然而,这些人工生成的视频与真实的视频区分开来或许会变得非常困难。Bryan Catanzano 说:" 人们真的很喜欢虚拟体验。目前大部分时间虚拟体验都是朝着好的应用在发展,我们也专注在好的应用。" 不过他也承认,虽然他相信这个技术的前景很好,但是也有可能部分人会使用这些工具来做不道德的事情。

毫无疑问,NVIDIA 的研究是数字成像领域的一个显着进步,并且它可能有助于改变我们创建虚拟世界和与虚拟世界交互的方式。对于商业、艺术和创新等领域,这是一件好事。即便如此,这些工具的存在也意味着真实事件和虚构事件之间的界限将继续变得更加脆弱,也许很快我们不得不开始面对这些功能带来的问题。

新闻聚焦
热门推荐
  • 巴美特全自动智能锁,打造消费者真正需

      如今,智能门锁市场已经相继涌入越来越多的参与者:传统锁具厂商、创业公司、安防巨头及通信、家电厂商,热闹非凡。特......

    10-23    来源:未知

    分享
  • ​线上抽手机壳送手机, 线下换网红女友

      线上抽手机壳送手机,线下换网红女友,他实力演绎有钱任性 换女友比别人换衣服还勤的王思聪,又被拍到和网红小姐姐焦......

    11-15    来源:未知

    分享
  • iPhone XS可浸水30分钟?冲了冲就黑屏了!

      今年9月,杭州市民王先生刚刚用这笔钱购买了一部iPhone XS Max。像所有拿到新手机的朋友一样,王先生也非常爱护这部手机。......

    10-16    来源:未知

    分享
  • 骁龙710+LCD屏+蔡司双摄 诺基亚X7现场图赏

      10月16日,HMD在北京召开新品发布会,带来了新款产品诺基亚X7,这也是诺基亚X系列既X6、X5之后的有一款高性价比产品。该机......

    10-17    来源:未知

    分享
  • VR应急演练系统可以为石油化工企业带来

      不管是生产原材料还是生产成品,对于石油化工企业来说都是有一定危险性的。大家都知道,石油化工一旦发生泄露、火灾等......

    10-26    来源:未知

    分享
  • VR将如何塑造我们的“世界”?凤翔湖

      VR将如何塑造我们的世界? 10月22日下午,在成都双流区举行的凤翔湖国际论坛上来自全球虚拟现实和教育领域的顶级大咖们......

    10-24    来源:未知

    分享
  • Siri是如何工作的?

      Chatbot中文名叫聊天机器人,它的应用非常广泛,从搜索引擎、智能客服,到无人驾驶、智能音箱,都有它的身影。 Chatbot通常......

    11-01    来源:未知

    分享
  • 三星LG显示路线分歧藏隐情,中国彩电不

      对于转型通道中的中国彩电企业,有时候路多了,反而不是好事情,会陷入选择困境。眼下,三星、LG对显示技术未来方向的......

    11-22    来源:未知

    分享
  • 制造业迈向工业4.0 预测性维护日显重要

      制造业在进行数字化转型(digital transformation)、迈向工业4.0(Industry 4.0)时须善用资料分析(data analytics)、人工智能(AI)、机器学习......

    10-20    来源:未知

    分享
  • 打入VR专业领域 英伟达更新VR Ready计划

      美国太平洋时间4月4日-7日,英伟达(Nvidia)将举办GTC大会(GPUTechnologyConference)。不过,在大会开幕之前,英伟达通过一篇......

    04-05    来源:新浪新闻

    分享
返回列表
Ctrl+D 将本页面保存为书签,全面了解最新资讯,方便快捷。