FacebookAI团队通过数百万对公共3D图像及其附带的‘maxbet手机登录网址’

(魏莹。2018年，Facebook发布了3D照片，作为一种新的沉浸式格式，用于与朋友和家人共享图片。

但这个功能取决于高端智能手机双摄像头的“人像模式”。因此，不能排除只有一个后置摄像头的典型移动设备。为了将这种视觉格式带给更多用户，Facebook使用了最先进设备的机器学习技术，允许将任何标准的2D图片分解成3D图片。

该团队认为，该系统可以推断任何图片的3D结构，无论是安卓或iOS设备用标准单摄像头拍摄的照片，还是几十年前遍布智能手机或笔记本电脑的旧照片。有了这种先进设备的技术，数百万配有单个摄像头的智能手机或平板电脑将需要首次奇妙地利用3D照片技术。

切换到3D还可以让您以一种新的方式体验几十年前的家庭照片和其他有价值的图像。享受先进设备的用户，双摄像头设备，可以在一定程度上受益于此，因为你现在可以用单前置摄像头扩展3D自拍电影。现在所有iPhone 7及以上，或者近期中高端安卓设备的用户，都可以在Facebook应用中尝试。

该动画显示了系统如何估计2D图像的不同区域的深度以创建3D图像。要构建这种增强的3D照片技术，我们必须解决各种技术挑战，例如训练能够准确推断多个对象的3D方向的模型，以及优化系统以使其需要对抗传统移动处理器的缓慢完成。为了解决所涉及的挑战，Facebook AI团队通过数百万对公共3D图像及其附带的深度图来训练卷积神经网络，并利用了以前开发的各种移动优化技术，如FBNet和ChamNet。

现在这个功能已经对所有Facebook用户开放，团队最近通过博文讲解研发细节。原始图像是用单透镜相机拍摄的，不包括任何深度图数据。Facebook的系统将其切换到右边的3D图像。1.为了给移动设备带来相当于标准RGB图像的高效性能，3D照片CNN可以估计每个像素离相机的距离。

该团队通过以下四种方式构建目标：由一组针对移动设备优化的参数化神经构建模块构建的网络架构。自动化架构搜索，为它找到有效的设备，这样它的系统需要对抗任何设备才能在一秒钟以上继续执行任务。分析感官训练，以便在移动设备中利用高性能的INT8分析，同时只在一定程度上增加分析过程中潜在的质量提升。

大量来自公共3D照片的训练数据。2.神经构建模块团队开发的架构用于受FBNet启发的构建模块。FBNet是一个为移动设备和其他资源有限的设备优化ConvNet架构的框架。

结构模块由点卷积、附加上采样、KK深度卷积和可选点卷积组成。研究人员构建了一个U-net风格的架构，并将其改为沿着跳跃连接放置FBNet构建块。U-net编码器和解码器包括五个阶段，分别对应不同的空间分辨率。

网络体系结构的描述：所描述的网络体系结构是一个U-net，并且包括沿着跳跃连接放置的附加宏级构建模块。3.自动架构搜索为了找到有效的架构配置，团队使用了由Facebook AI开发的ChamNet算法来实现搜索过程的自动化。ChamNet算法从搜索空间递归采样点来训练精度预测器。

精度预测器用于加速遗传搜索，以便在满足登录资源许可的情况下定位预测精度最大化的模型。在这种设置下，研究成员使用了一个不会改变地下通道的扩展因子和每个模块中输入的地下通道数量的搜索空间，从而产生了3.41022的可能结构。然后他们用800特斯拉V100 GPU三天左右搜索，设置调整模型架构的FLOP约束来构建不同的计算点。

4.在分析感觉训练配置文件的情况下，模型用于单精度浮点权重和转录展开训练，但团队发现了将权重和转录分析为8位的明显优势。特别是，int8权重仅是必要的float32权重所需内存的四分之一，因此增加了首次使用时必须传输到设备的字节数。图像一开始都是常规的2D图像，通过Facebook AI的深度估计神经网络切换到3D。

与基于float32的运营商相比，基于Int8的运营商同时具有更高的吞吐量，这得益于QNNPACK(内置于PyTorch)等经过精心调整的库。团队用于分析意识训练(量化感知训练；QAT)防止质量因分析而上升。QAT(现在是PyTorch的一部分)模拟分析和对抗训练时的偏移传播，从而避免训练和实际表现之间的差距。

这个神经网络可以处理各种内容，包括简单的场景绘画和图像。5.寻找创造3D体验的新途径除了完善和改进深度估计算法外，团队还致力于为移动设备制作的视频获取高质量的深度估计。视频带来了一点值得注意的挑战，因为每一帧的深度必须与下一帧的深度完全相同。

然而，这也是一个提高性能的机会，因为对同一物体的多次仔细观察可以获得额外的信号，用于高精度深度估计。视频长度和深度估计将为用户提供创造性的内容创建工具。随着该团队提高神经网络的性能，他们将探索深度估计、表面法线估计和空间推理小说在增强现实等动态应用中的使用。

本文来源：maxbet手机客户端-www.roddeymac.com