特斯拉 FSD 内部:用专利解释 FSD 的工作原理

特斯拉 FSD 内部:用专利解释 FSD 的工作原理

得益于特斯拉去年公布的一项专利,我们可以深入了解 FSD 的运作方式及其使用的各种系统。负责审查和撰写专利的 SETI Park 也在 X 上重点介绍了这项专利。

这项专利解释了特斯拉 FSD 所采用的核心技术,让我们对 FSD 如何处理和分析数据有了很好的了解。

为了便于理解,我们将其分为几个部分,并分析每个部分如何影响 FSD。

基于视觉

首先,这项专利描述了一种纯视觉系统——就像特斯拉的目标一样——使车辆能够看到、理解并与周围的世界互动。

该系统描述了多个摄像头,其中一些摄像头的覆盖范围重叠,可以捕捉车辆周围的 360 度视野,模仿但优于人类的视野。

最有趣的是,该系统能够快速适应车辆周围不同摄像头的各种焦距和视角。然后,它将所有这些结合起来,构建出一幅连贯的图像——我们很快就会讲到这一部分。

分支

该系统分为两部分 – 一部分针对弱势道路使用者(Vulnerable Road Users),另一部分针对不属于该类别的其他所有人。

这是一个非常简单的划分 – VRU 定义为行人、骑自行车的人、婴儿车、滑板者、动物,基本上是任何可能受伤的事物。

非 VRU 分支专注于其他一切,比如汽车、应急车辆、交通锥、碎片等。

将其分为两个分支使 FSD 能够查找、分析并确定某些事物的优先级。本质上,在整个虚拟摄像系统中,VRU 的优先级高于其他对象。

特斯拉 FSD 内部:用专利解释 FSD 的工作原理

虚拟摄像头

特斯拉处理所有原始图像,将其输入到 VRU 和非 VRU 分支,并仅挑选出关键和必要的信息,用于物体检测和分类。

然后,系统将这些对象绘制在 3D 平面上,并在不同高度创建“虚拟摄像头”。

虚拟摄像头可以看作是用于拍摄电影的真实相机。它允许您从特定角度观看场景。

VRU 分支使用与人体高度相同的虚拟摄像头,这样可以更好地了解 VRU 行为。这可能是因为与人体高度相比,从上方或任何其他角度获取的数据要多得多。

与此同时,非 VRU 分支将其提升到该高度以上,使其能够看到障碍物上方和周围的情况,从而可以更广泛地观察交通情况。

这实际上为 FSD 提供了两种分析输入形式——一种是从行人层面,另一种是从周围道路的更广阔视角。

3D 映射

现在,所有这些数据必须结合起来。这两个虚拟摄像头是同步的,它们的所有信息和理解都会反馈到系统中,以保持车辆周围发生情况的精确 3D 地图。

而且不仅仅是摄像头。虚拟摄像头系统和 3D 地图与汽车的其他传感器协同工作,将运动数据(速度和加速度)纳入 3D 地图的分析和制作中。

屏幕上显示的 FSD 可视化效果最能理解该系统。它可以同时拾取和跟踪许多移动的汽车和行人,但我们看到的只是它所跟踪的所有信息的一小部分。

可以将每个对象想象成具有一系列未显示在屏幕上的属性。例如,行人可能具有系统可以访问的属性,这些属性表明其距离有多远、移动的方向以及行驶速度有多快。

其他移动物体(例如车辆)可能具有其他属性,例如宽度、高度、速度、方向、规划路径等。

即使是非 VRU 物体也会包含属性,例如道路,其宽度、速度限制等将根据 AI 和地图数据确定。

车辆本身具有一系列属性,例如速度、宽度、长度、规划路径等。

当你将所有属性结合起来时,你最终就会对周围环境以及如何最好地驾驶有很好的了解。

特斯拉 FSD 内部:用专利解释 FSD 的工作原理

时间索引

特斯拉将此功能称为时间索引。通俗地说,这就是视觉系统随时间分析图像然后跟踪它们的方式。

这意味着事物不是单个时间快照,而是一系列快照,使 FSD 能够了解物体的移动方式。

这可以实现物体路径预测,也使 FSD 能够了解车辆或物体可能在哪里,即使它没有直接看到它们。

这种时间索引是通过“视频模块”完成的,视频模块是实际的“大脑”,可以分析图像序列,随时间跟踪它们并估计它们的速度和未来路径。

再次,交通拥堵和 FSD 可视化就是很好的例子,它可以跟踪您周围车道上的许多车辆(即使那些不在您的直接视线范围内)。

端到端

最后,该专利还提到,整个系统,从前端到后端,都可以一起训练,而且确实如此。

这种训练方法现在包括端到端人工智能,通过让每个单独的组件学习如何与系统中的其他组件交互来优化整体系统性能。

特斯拉 FSD 内部:用专利解释 FSD 的工作原理

概括

从本质上讲,特斯拉将 FSD 视为大脑,而摄像头则是它的眼睛。

它有记忆,这种记忆使它能够对所见事物进行分类和分析。它可以跟踪各种物体和属性,以预测它们的运动并确定绕过它们的路径。

这很像人类的操作方式,只不过 FSD 可以跟踪无限多的物体,并更准确地确定它们的速度和大小等属性。最重要的是,它可以比人类更快地同时向各个方向移动。

FSD 及其基于视觉的摄像系统本质上创建了道路的 3D 实时地图,该地图会不断更新并用于做出决策。

官方小程序/公众号 ——「特来讯」;最实用的购车技巧,最优惠的购车利率,最温情的车友互助群,请微信联系小助手 teslaside2024。特来讯读者可扫码加入读者群。

特斯拉 FSD 内部:用专利解释 FSD 的工作原理

原创文章,作者:特来讯,如若转载,请注明出处:https://teslaside.com/news/21333/

(0)
特来讯特来讯
上一篇 2024年11月6日 00:06
下一篇 2024年11月7日 13:26

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注