GTC 巴黎 | 英伟达推开AI定义汽车的大门
自进入智能汽车时代以来，英伟达在全球汽车产业的地位就变得无可撼动。
本周在法国巴黎举办的GTC Paris大会上， NVIDIA 发布全新的 AI 模型和开发者工具，推动汽车行业生态系统发展。同时，NVIDIA还发布了全栈式辅助驾驶软件。
全球交通运输行业正借助 NVIDIA AI、辅助驾驶软件和加速计算打造未来 AI 定义的汽车。
1 发布全新的 AI 模型和开发者工具辅助驾驶堆栈正在从许多不同的模型演变为统一的端到端架构，端到端架构可直接根据传感器数据执行驾驶操作。这种向使用大模型的过渡大大增加了对用于训练、测试和验证的高质量、基于物理学传感器数据的需求。
为加速下一代辅助驾驶架构的开发，NVIDIA 发布了 NVIDIA Cosmos Predict-2。这是一种全新的世界基础模型，具有更强的未来世界状态预测能力，可生成高质量的合成数据，以及新的开发者工具。
Cosmos Predict-2 是 NVIDIA Cosmos 平台的一部分，该平台为开发者提供了应对端到端辅助驾驶开发中最复杂挑战的技术。
Cosmos Predict-1 可通过文本、图像和视频提示预测并生成未来世界状态。在 Cosmos Predict-1 的基础上，Cosmos Predict-2 可更好地理解文本和视觉输入的上下文，从而减少幻觉，使生成的视频细节更丰富。
通过使用最新的优化技术，Cosmos Predict-2 显著加快了 NVIDIA DGX Cloud 上合成数据的生成速度。
通过在辅助驾驶数据集上对 Cosmos 模型进行后训练，开发者可以生成与现有物理环境与车辆轨迹高度匹配的视频，还能从单视角视频（如行车记录仪片段）生成多视角视频。这种将广泛可用的行车记录仪数据转化为多摄像头数据的能力，为开发者提供了全新的辅助驾驶训练数据库。这些多视角视频数据还可用于替换因传感器损坏或遮挡而缺失的真实摄像头数据。
除 Cosmos Predict-2 外，NVIDIA 还以 NVIDIA NIM 微服务预览版的方式发布了Cosmos Transfer，以便开发者在数据中心 GPU 上部署。
Cosmos Transfer NIM 微服务预览版增强了数据集，并使用 NVIDIA Omniverse 平台的结构化输入或地面实况仿真来生成逼真的视频。另外，NuRec Fixer 模型有助于修复和填补重建辅助驾驶数据的空白。
全球领先的开源辅助驾驶模拟平台 CARLA，现已将 Cosmos Transfer 和 NVIDIA NuRec 集成到其最新版本中，后者是一套用于神经重建和渲染的 API 工具集。
开发者可以使用 NVIDIA 物理 AI 数据集上提供的开源数据试用该工作流。最新发布的数据集包括由 Cosmos 生成的 40,000 个片段，以及用于神经渲染的样本重建场景。借助最新版本的 CARLA，开发者可以创建新的行驶轨迹、重新定位传感器并完善模拟驾驶过程。
这种可扩展的数据生成工作流为端到端辅助驾驶模型架构的开发提供了动力，最近 NVIDIA Research 团队连续第二次获得 CVPR 大会辅助驾驶国际挑战赛“端到端辅助驾驶”赛道冠军，就是最佳佐证。
该挑战赛为研究人员提供了探索应对突发情况方法的新机会，除使用真实世界人类驾驶数据之外，加速开发更智能的汽车。
2 发布全栈式辅助驾驶软件除了发布全新的 AI 模型和开发者工具，NVIDIA 还宣布 NVIDIA DRIVE 全栈式辅助驾驶软件平台现已全面投产。该平台与 NVIDIA 加速计算技术相结合，为汽车行业提供了 AI 驱动的移动出行坚实基础。
NVIDIA DRIVE 的模块化灵活方法使客户能够根据其具体需求进行扩展，无论是采用整个堆栈还是子集。NVIDIA 强大且通过安全认证的辅助驾驶软件架构支持实时传感器融合，并可通过无线更新实现持续改进。
随着技术和法规的发展，NVIDIA DRIVE 的可扩展性允许汽车制造商部署一系列高级辅助驾驶功能的子集，如可无缝过渡到更高级的 L2++ 级和 L3 级汽车的环视感知、自动变道、泊车和主动安全。
NVIDIA 的三个计算平台方案增强了 NVIDIA 的全栈式端到端辅助驾驶软件，该方案涵盖整个智能汽车开发工作流，旨在应对与大规模安全部署辅助驾驶相关的挑战。
这三个计算平台方案包括：用于训练 AI 模型和开发辅助驾驶软件的 NVIDIA DGX 平台和 GPU。运行在 NVIDIA OVX 平台上的 NVIDIA Omniverse 与 NVIDIA Cosmos 平台，用于仿真和合成数据生成，能够测试和验证辅助驾驶场景，并优化智能工厂运营。NVIDIA DRIVE AGX 车规级车载计算平台，用于处理实时传感器数据，以实现安全、高度自动化和辅助驾驶功能。
辅助驾驶软件开发历来基于模块化方法，包括用于感知、预测、规划和控制等的独立组件。这种方法固然有其优点，但也会造成潜在的低效和错误，从而可能对大规模开发带来阻碍。
NVIDIA DRIVE 辅助驾驶软件整合了这些功能，利用在大量人类驾驶行为数据集上训练的深度学习模型和基础模型来处理传感器数据并直接控制车辆行为，从而无需依赖预设规则或传统的模块化流水线。因此，车辆能够从大量的真实和合成驾驶行为数据中学习，以类似人的决策方式安全应对复杂的环境和场景。
NVIDIA Omniverse 智能汽车仿真 Blueprint 可用于进一步增强开发流水线，从而实现物理级精确的传感器仿真，用于辅助驾驶训练、测试和验证。通过将该 Blueprint 与 NVIDIA 的三个计算平台方案相结合，开发者可以将数千英里的人类驾驶里程转化为数十亿英里的虚拟驾驶里程，从而提高数据质量并实现高效、可扩展且持续改进的智能汽车系统。
3 利用 NVIDIA Halos 增强端到端的安全性安全性是所有智能汽车最重要的组成部分。为增强辅助驾驶系统的运行安全性，NVIDIA 今年早些时候推出了 NVIDIA Halos，这是一个综合安全系统，它将 NVIDIA 全套汽车硬件、软件安全堆栈与专注于汽车安全领域的前沿 AI 研究成果相结合，有助于确保智能汽车从云端到车端的安全开发和部署。Halos 为仿真、训练和部署的辅助驾驶安全提供了护栏。
该安全框架的一个关键组成部分是用于辅助驾驶的经 ASIL-B/D 级标准安全认证的 NVIDIA DriveOS 操作系统，可为车辆安全运营提供强大、可靠的基础，并符合严格的汽车安全标准。
借助 Halos 和智能自适应传感器的支持，NVIDIA 的辅助驾驶堆栈提供了当今加速安全智能出行所需的工具、计算能力与基础 AI 模型。
汽车行业领军企业博世、Easyrain 与 Nuro 率先加入 NVIDIA Halos AI 系统检测实验室，验证其产品与 NVIDIA 技术的安全集成，提升智能汽车的安全性。今年早些时候宣布加入实验室的成员还包括大陆集团、Ficosa、OMNIVISION、onsemi 和 Sony Semiconductor Solutions。
自进入智能汽车时代以来，英伟达在全球汽车产业的地位就变得无可撼动。
本周在法国巴黎举办的GTC Paris大会上， NVIDIA 发布全新的 AI 模型和开发者工具，推动汽车行业生态系统发展。同时，NVIDIA还发布了全栈式辅助驾驶软件。
全球交通运输行业正借助 NVIDIA AI、辅助驾驶软件和加速计算打造未来 AI 定义的汽车。
1 发布全新的 AI 模型和开发者工具辅助驾驶堆栈正在从许多不同的模型演变为统一的端到端架构，端到端架构可直接根据传感器数据执行驾驶操作。这种向使用大模型的过渡大大增加了对用于训练、测试和验证的高质量、基于物理学传感器数据的需求。
为加速下一代辅助驾驶架构的开发，NVIDIA 发布了 NVIDIA Cosmos Predict-2。这是一种全新的世界基础模型，具有更强的未来世界状态预测能力，可生成高质量的合成数据，以及新的开发者工具。
Cosmos Predict-2 是 NVIDIA Cosmos 平台的一部分，该平台为开发者提供了应对端到端辅助驾驶开发中最复杂挑战的技术。
Cosmos Predict-1 可通过文本、图像和视频提示预测并生成未来世界状态。在 Cosmos Predict-1 的基础上，Cosmos Predict-2 可更好地理解文本和视觉输入的上下文，从而减少幻觉，使生成的视频细节更丰富。
通过使用最新的优化技术，Cosmos Predict-2 显著加快了 NVIDIA DGX Cloud 上合成数据的生成速度。
通过在辅助驾驶数据集上对 Cosmos 模型进行后训练，开发者可以生成与现有物理环境与车辆轨迹高度匹配的视频，还能从单视角视频（如行车记录仪片段）生成多视角视频。这种将广泛可用的行车记录仪数据转化为多摄像头数据的能力，为开发者提供了全新的辅助驾驶训练数据库。这些多视角视频数据还可用于替换因传感器损坏或遮挡而缺失的真实摄像头数据。
除 Cosmos Predict-2 外，NVIDIA 还以 NVIDIA NIM 微服务预览版的方式发布了Cosmos Transfer，以便开发者在数据中心 GPU 上部署。
Cosmos Transfer NIM 微服务预览版增强了数据集，并使用 NVIDIA Omniverse 平台的结构化输入或地面实况仿真来生成逼真的视频。另外，NuRec Fixer 模型有助于修复和填补重建辅助驾驶数据的空白。
全球领先的开源辅助驾驶模拟平台 CARLA，现已将 Cosmos Transfer 和 NVIDIA NuRec 集成到其最新版本中，后者是一套用于神经重建和渲染的 API 工具集。
开发者可以使用 NVIDIA 物理 AI 数据集上提供的开源数据试用该工作流。最新发布的数据集包括由 Cosmos 生成的 40,000 个片段，以及用于神经渲染的样本重建场景。借助最新版本的 CARLA，开发者可以创建新的行驶轨迹、重新定位传感器并完善模拟驾驶过程。
这种可扩展的数据生成工作流为端到端辅助驾驶模型架构的开发提供了动力，最近 NVIDIA Research 团队连续第二次获得 CVPR 大会辅助驾驶国际挑战赛“端到端辅助驾驶”赛道冠军，就是最佳佐证。
该挑战赛为研究人员提供了探索应对突发情况方法的新机会，除使用真实世界人类驾驶数据之外，加速开发更智能的汽车。
2 发布全栈式辅助驾驶软件除了发布全新的 AI 模型和开发者工具，NVIDIA 还宣布 NVIDIA DRIVE 全栈式辅助驾驶软件平台现已全面投产。该平台与 NVIDIA 加速计算技术相结合，为汽车行业提供了 AI 驱动的移动出行坚实基础。
NVIDIA DRIVE 的模块化灵活方法使客户能够根据其具体需求进行扩展，无论是采用整个堆栈还是子集。NVIDIA 强大且通过安全认证的辅助驾驶软件架构支持实时传感器融合，并可通过无线更新实现持续改进。
随着技术和法规的发展，NVIDIA DRIVE 的可扩展性允许汽车制造商部署一系列高级辅助驾驶功能的子集，如可无缝过渡到更高级的 L2++ 级和 L3 级汽车的环视感知、自动变道、泊车和主动安全。
NVIDIA 的三个计算平台方案增强了 NVIDIA 的全栈式端到端辅助驾驶软件，该方案涵盖整个智能汽车开发工作流，旨在应对与大规模安全部署辅助驾驶相关的挑战。
这三个计算平台方案包括：用于训练 AI 模型和开发辅助驾驶软件的 NVIDIA DGX 平台和 GPU。运行在 NVIDIA OVX 平台上的 NVIDIA Omniverse 与 NVIDIA Cosmos 平台，用于仿真和合成数据生成，能够测试和验证辅助驾驶场景，并优化智能工厂运营。NVIDIA DRIVE AGX 车规级车载计算平台，用于处理实时传感器数据，以实现安全、高度自动化和辅助驾驶功能。
辅助驾驶软件开发历来基于模块化方法，包括用于感知、预测、规划和控制等的独立组件。这种方法固然有其优点，但也会造成潜在的低效和错误，从而可能对大规模开发带来阻碍。
NVIDIA DRIVE 辅助驾驶软件整合了这些功能，利用在大量人类驾驶行为数据集上训练的深度学习模型和基础模型来处理传感器数据并直接控制车辆行为，从而无需依赖预设规则或传统的模块化流水线。因此，车辆能够从大量的真实和合成驾驶行为数据中学习，以类似人的决策方式安全应对复杂的环境和场景。
NVIDIA Omniverse 智能汽车仿真 Blueprint 可用于进一步增强开发流水线，从而实现物理级精确的传感器仿真，用于辅助驾驶训练、测试和验证。通过将该 Blueprint 与 NVIDIA 的三个计算平台方案相结合，开发者可以将数千英里的人类驾驶里程转化为数十亿英里的虚拟驾驶里程，从而提高数据质量并实现高效、可扩展且持续改进的智能汽车系统。
3 利用 NVIDIA Halos 增强端到端的安全性安全性是所有智能汽车最重要的组成部分。为增强辅助驾驶系统的运行安全性，NVIDIA 今年早些时候推出了 NVIDIA Halos，这是一个综合安全系统，它将 NVIDIA 全套汽车硬件、软件安全堆栈与专注于汽车安全领域的前沿 AI 研究成果相结合，有助于确保智能汽车从云端到车端的安全开发和部署。Halos 为仿真、训练和部署的辅助驾驶安全提供了护栏。
该安全框架的一个关键组成部分是用于辅助驾驶的经 ASIL-B/D 级标准安全认证的 NVIDIA DriveOS 操作系统，可为车辆安全运营提供强大、可靠的基础，并符合严格的汽车安全标准。
借助 Halos 和智能自适应传感器的支持，NVIDIA 的辅助驾驶堆栈提供了当今加速安全智能出行所需的工具、计算能力与基础 AI 模型。
汽车行业领军企业博世、Easyrain 与 Nuro 率先加入 NVIDIA Halos AI 系统检测实验室，验证其产品与 NVIDIA 技术的安全集成，提升智能汽车的安全性。今年早些时候宣布加入实验室的成员还包括大陆集团、Ficosa、OMNIVISION、onsemi 和 Sony Semiconductor Solutions。