英特尔研究院发布全新AI扩散模型，可根据文本提示生成360度全景图
LDM3D是业界领先的可创建深度图的生成式AI模型，有望革新内容创作、元宇宙和数字体验
英特尔研究院宣布与Blockade Labs合作发布LDM3D（Latent Diffusion Model for 3D）模型，这一全新的扩散模型使用生成式AI创建3D视觉内容。LDM3D是业界领先的利用扩散过程（diffusion process）生成深度图（depth map）的模型，进而生成逼真的、沉浸式的360度全景图。LDM3D有望革新内容创作、元宇宙应用和数字体验，改变包括娱乐、游戏、建筑和设计在内的许多行业。
英特尔研究院人工智能和机器学习研究专家Vasudev Lal表示：“生成式AI技术旨在提高和增强人类创造力，并节省时间。然而，目前的大部分生成式AI模型仅限于生成2D图像，仅有少数几种可根据文本提示生成3D图像。在使用几乎相同数量参数的情况下，不同于现存的潜在扩散模型，LDM3D可以根据用户给定的文本提示同时生成图像和深度图。与深度估计中的标准后处理方法相比，LDM3D能够为图像中的每个像素提供更精准的相对深度，并为开发者省去了大量用于场景开发的时间。”
(相关资料图)
封闭的生态系统限制了规模。英特尔致力于推动AI的真正普及，通过开放的生态系统让更多人从这项技术中受益。计算机视觉领域近年来取得了重大进展，特别是在生成式AI方面。然而，当今许多先进的生成式AI模型只能生成2D图像。与通常只能根据文本提示生成2D RGB图像的现有扩散模型不同，LDM3D可以根据用户给定的文本提示同时生成图像和深度图。与深度估计（depth estimation）中的标准后处理（post-processing）方法相比，LDM3D在使用与潜在扩散模型Stable Diffusion几乎相同数量参数的情况下，能够为图像中的每个像素提供更精准的相对深度（relative depth）。
这项研究有望改变我们与数字内容的互动方式，基于文本提示为用户提供全新的体验。LDM3D生成的图像和深度图能够将诸如宁静的热带海滩、摩天大楼、科幻宇宙等文本描述转化为细致的360度全景图。LDM3D捕捉深度信息的能力，可以即时增强整体真实感和沉浸感，使各行各业的创新应用成为可能，包括娱乐、游戏、室内设计、房产销售 ，以及虚拟博物馆与沉浸式VR体验等。
6月20日，在IEEE/CVF计算机视觉和模式识别会议（CVPR）的3DMV工作坊上，LDM3D模型获得了“Best Poster Award”
LDM3D是在LAION-400M数据集包含一万个样本的子集上训练而成的。LAION-400M是一个大型图文数据集，包含超过4亿个图文对。对训练语料库进行标注时，研究团队使用了之前由英特尔研究院开发的稠密深度估计模型DPT-Large，为图像中的每个像素提供了高度准确的相对深度。LAION-400M数据集是基于研究用途创建而成的，以便广大研究人员和其它兴趣社群能在更大规模上测试模型训练。
LDM3D模型在一台英特尔AI超级计算机上完成了训练，该超级计算机由英特尔 至强 处理器和英特尔 Habana Gaudi AI加速器驱动。最终的模型和流程整合了RGB图像和深度图，生成360度全景图，实现了沉浸式体验。
为了展示LDM3D的潜力，英特尔和Blockade的研究人员开发了应用程序DepthFusion，通过标准的2D RGB图像和深度图创建沉浸式、交互式的360度全景体验。DepthFusion利用了TouchDesigner，一种基于节点的可视化编程语言，用于实时互动多媒体内容，可将文本提示转化为交互式和沉浸式数字体验。LDM3D是能生成RGB图像及其深度图的单一模型，因此能够节省内存占用和降低延迟。
LDM3D和DepthFusion的发布，为多视角生成式AI和计算机视觉的进一步发展铺平了道路。英特尔将继续探索如何使用生成式AI增强人类能力，并致力于打造一个强大的开源AI研发生态系统，让更多人能够使用AI技术。延续英特尔对开放AI生态系统的大力支持，LDM3D正在通过HuggingFace进行开源，让AI研究人员和从业者能对这一系统作出进一步改进，并针对特定应用进行微调。
在2023年6月18日至22日举行的IEEE/CVF计算机视觉和模式识别会议上，英特尔将发表这项研究成果。欲了解更多信息，请参考论文《LDM3D: Latent Diffusion Model for 3D》。
标签：
精彩推送
新闻快讯
X 关闭
X 关闭
新闻快讯
- 利率“2”时代，你还爱储蓄吗？
- 英特尔研究院发布全新AI扩散模型，可根据文本提示生成360度全景图
- 存款利率触底反弹，储户如何把握机会？_每日快播
- 当前讯息：毫不动摇严守耕地红线
- 桂林三金：6月21日接受机构调研，兴业证券医药、其他6家机构参与 天天微速讯
- 记者持续跟拍一年，跨海大桥高架路二期通车！
- 【世界热闻】《生命线》|云南：临双高速天生桥隧道发生塌方 被困7名工人安全获救
- 全球热点！重庆市沙坪坝区：促进智能网联新能源汽车“三链”深度融合
- 【关注中高考】高考网上填报志愿（第一段）6月26日至27日进行-全球消息
- 《第七史诗》月光缘分选择攻略 报道
- 每日聚焦：川能动力(000155.SZ)：李家沟锂矿采选项目井巷工程已基本完成相关配套设备安装
- 青岛进口胶库存继续增长 橡胶供应压力预计上升
- 沈铁：端午小长假累计发送旅客358.9万人次 开行旅游专列13趟
- 非你不娶的文案（非你不娶）_每日焦点
- 郑州二七区教师招聘报名入口 环球快资讯
- 首个大型片区类城市更新项目开工 金钟河大街南侧片区打造三大主题板块 重点聚焦
- 梅西36岁生日戴帽告别赛
- 查看了iPhone手机的电池健康到了80%，和100%有怎样的区别呀-天天日报
- 《前 4 个人物》中的新马里奥赛车雕像确实让我们的引擎加速运转
- 当当购物券从哪里找_当当购物券
- 全球讯息：柳暗花明客家村_关于柳暗花明客家村概略
- 离开央视的欧阳夏丹，曝光了豪华住宅，婚姻状况引猜疑 天天新资讯
- 每日热文：金秀县消防救援大队开展系列活动“花式”过端午
- 全球最新：无人驾驶卡车遭遇“寒冬”：渐进式路线能否突破商业化落地瓶颈？
- 坚定信心、不留退路！朱素芳检查推进安全生产大排查大整治和大气污染防治工作 最新快讯
- 每日焦点！海口江东新区将建香港玉玲珑珠宝产业园
- 农业银行：5月末文化产业贷款余额超2400亿元
- 北京保利2023春拍丨酣楼集古（三）——十九世纪官窑集萃
- 环球观速讯丨高招有“高招”丨上海交大沈颖：在豫计划招收224人 升级打造“SJTU+X”本科招生培养模式
- 全球快消息！尖叫一瓶多少钱零售_尖叫一瓶多少钱
- 附近哪里有火车售票处
- 2023天津中德应用技术大学校园开放日详情-天天速看料
- 2023好网民·在山东|房德华：用图片讲好时代发展故事
- 每日看点!促成企业融资1205亿！深圳让数据变成小微企业融资“通行证”
- 曼联被切尔西摆了一道，伯利不尊传统，曼晚：蓝军故意泄露报价
- “家校坊”凝聚起乡村家校合力-当前速讯
- 全球热头条丨共150位，巴渝学者讲座教授和青年学者拟聘人选公示
- 青云科技：坚持自主研发，帮助企业实现IT架构、业务系统平滑迁移
- 世界即时：红豆糕如何制作?
- 今日看点：亚马逊云科技投资1亿美元成立生成式 AI 创新中心
- 【全球独家】汽车报道：因存在自燃风险丰田召回部分凯美瑞和雷克萨斯
- 每日热议!倡导“新食尚” 让节约成为另一种“增产”
- 快资讯：今年全国快递业务量已达600亿件，你贡献了多少？
- 环球今日讯！三年增长100亿，洗地机仍在逆势狂奔
- 入耳式监控耳机推荐（入耳式）_每日热议
- 大众汽车CEO承认奥迪落后竞争对手 天天热闻
- 提醒：家长带孩子出去玩，一定远离危险水域！-微速讯
- 端午假期福建口岸出入境客流量同比增长12.6倍-当前热闻
- Doinb看WBG战胜BLG：这把上路差距太大了 Bin哥没睡醒一样！ 动态
- 索尼旗下工作室Nixxes重制计划：经典游戏将登陆PC平台