开yun体育网 诓骗大限制高质地 3D 数据考验-开云网页登录(中国)登录入口官方网站IOS安卓/通用版/APP官方网站

业界首个高质地原生 3D 组件生成模子来了!来自腾讯混元 3D 团队开yun体育网。
现存的 3D 生成算法频繁会生成一体化的 3D 模子,而下流应用频繁需要语义可判辨的 3D 体式,即 3D 物体的每一个组件需要单独地生成出来。
近似以下视频所演示的那样:
一般来说,组件式 3D 生成主要有 2 个应用场景:
1) 视频游戏制作管线: 在游戏中, 许多金钱是要凭证语意信息将其绑定不同的游戏逻辑, 比如,汽车模子应该大约被判辨为主体和四个可转机的轮子, 这么轮子是可以单独转机起来的。是以组件拆分很伏击。
与此同期,3D 几何生成的下流链路,包括低模拓扑,UV 张开等模块。这些模块贬责很复杂的几何会变得艰难,通过将复杂几何进行拆分简便的小组件,这种分而治之的计策,可以大大镌汰下流算法的贬质问度。
2)3D 打印: 这对 3D 打印行业亦然可以的音讯, 用户可以把组件一个一个打印出来然后再拼装,像搭积木相通。
干系词,现存的组件式 3D 生成步调频繁缺少阔气的可控性,生成部件的几何质地不够理念念,况且语义连贯性有限。
对此,Hunyuan3D-Part 提倡了一种用于打造可参加分娩,几何质地高,可裁剪,且结构合理的组件式 3D 生成新范式。
底下详备来看。
手艺经过先容
如下图所示,给定一张输入图片,团队领先使用 Hunyuan3D 的基模子获取合座体式(可以是 V2.5 或者 V3.0)。
然后,将合座 Mesh 传递给部件检测模块P3-SAM,以获取语义特征和部件的界限框(bounding boxes)。
临了,由X-Part将合座体式判辨为各个部件。

图 1. Hunyuan3D-Part 组件拆分合座经过
其手艺亮点在于:
1)提倡了业界首个原生 3D 分割模子 P3-SAM, 诓骗大限制高质地 3D 数据考验,解脱对 2D 数据的依赖,大幅提升 3D 组件分割的精度和鲁棒性。
2)提倡了工业级组件生成模子 X-Part,重新界说 3D 组件生成可控性和生成质地的天花板。
手艺张开先容
以下为 P3-SAM 和 X-Part 的详备先容。
原生 3D 分割模子 P3-SAM
团队提倡了一种原生 3D 的分割模子,称为Point-Promptable Part Segmentation,即 P3-SAM。
该模子旨在扫尾对纵情复杂三维物体的全自动分割,生成精准掩码并具备极强的鲁棒性。看成始创性的可教导图像分割责任,SAM 为扫尾这一蓄意提供了可行的决策。
干系词,本步调聚焦于自动扫尾精准的组件分割,并对 SAM 的体系缚构进行了简化。团队未罗致 SAM 中复杂的分割解码器和多类型教导,仅罗致单一正点教导进行贬责。
具体来说,如图 2 所示,P3-SAM 包含一个特征索求器、三个分割头和一个 IoU(交并比)推断头。

图 2. P3-SAM 考验经过
PointTransformerV3 看成特征索求器,并交融其不同层级的特征看成点级特征。输入的点教导和特征信息会被交融,并传递至分割头,用于推断三个多表率掩码。同期,IoU 推断头用于评估掩码质地。
为扫尾物体的自动分割,如图 3 所示,团队诓骗 FPS(最远点采样)生成点教导,迎合 NMS(非极大值拦截)消亡冗余掩码。点级掩码随后被投影到网格面上,从而获取部件分割甩掉。

图 3. P3-SAM 自动分割经过
本步调的另一要津立异在于,透彻甩掉 2D SAM 的影响,依赖于原生 3D 部件监督,进行原生 3D 分割模子的考验。
鉴于现存 3D 部件分割数据集限制大齐较小且缺少详备部件标注,本决策斥地了一套用于好意思术师创建网格的自动化部件标注经过,并据此生成了一个包含 370 万个高质地部件级掩码的三维网格数据集。
最终模子在该数据集上展现出优厚的可膨胀性,并扫尾了强鲁棒性、精准性及全局一致性的组件级分割。
X-Part:高保真且结构一致的体式判辨
X-Part 大约扫尾具有语义真谛且结构一致的部件生成。蓄意是在给定物体点云的情况下,生成高保真、结构一致的部件几何体,同期保证对判辨过程的纯真可控性。
如图 4 所示,领先诓骗P3-SAM 得到组件的包围盒,点云语义特征。 为扫尾可控性提倡了一个基于部件级教导的特征索求模块,诓骗 P3-SAM 包围盒看成教导,指令部件的位置和尺寸,而不是径直将分割甩掉看成输入。
与细粒度、点级分割教导比拟,包围盒提供了一种更粗粒度的率领式样,有助于缓解对输入的过拟合。
此外,包围盒还为部分可见部件提供了额外的体积信息,从而故意于生成和可控性。
其次,尽管分割甩掉可能存在不准确,团队夺目到高维点级语义特征并莫得受到P3-SAM中聚类算法或推断头所导致的信息压缩影响,因此大约提供更准确的语义暗意。
因此,团队将语义特征以尽心设想的特征扰动式样引入到其框架中,这有助于扫尾存真谛的部件判辨。

图 4. X-Part 考验经过 Benchmark 定量对比甩掉
本决策在三个数据集上进行了成果评估:PartObj-Tiny、PartObj-Tiny-WT 和 PartNetE。
PartObj-Tiny 是 Objarvse 的一个子集,包含 8 个类别共 200 个数据样本,况且齐带有东谈主工标注的部件分割信息。
PartObj-Tiny-WT 是 PartObj-Tiny 的闭合水密(watertight)版块。
如表 1(组件分割模子 P3-SAM 和现存责任对比甩掉)、表 2(组件生成模子 X-Part 和竞品对比甩掉)所示,其分割和生成甩掉大幅很是现存责任。


可视化成果
团队还对模子的分割及生成成果进行了可视化。
下图为P3-SAM的分割甩掉:

然后是X-Part的生成甩掉:

下图为 X-Part 的生成甩掉, 左中右范例为输入图、混元 3D V2.5 生成甩掉、组件拆分甩掉。

下图为 X-Part 的生成甩掉和开源对比:

下图为 X-Part 的生成甩掉和闭源 R 模子对比:

体验地址及干系手艺论文如下。
代码:https://github.com/Tencent-Hunyuan/Hunyuan3D-Part
权重: https://huggingface.co/tencent/Hunyuan3D-Part
P3-SAM 论文及名堂地址:
https://arxiv.org/abs/2509.06784
https://murcherful.github.io/P3-SAM/
X-Part 论文及名堂地址:
https://arxiv.org/abs/2509.08643
https://yanxinhao.github.io/Projects/X-Part/
体验进口:
(轻量版)Hugging Face demo:https://huggingface.co/spaces/tencent/Hunyuan3D-Part
(满血版)混元 3D Studio:https://3d.hunyuan.tencent.com/studio
一键三连「点赞」「转发」「留神心」
谅解在褒贬区留住你的念念法!
— 完 —
� � 点亮星标 � �
科技前沿发达逐日见开yun体育网
