自动摘要: 链接: [TSegFormer:3DToothSegmentationinIntraoralScanswithGeometryGuidedTransformer](https ……..
链接:
TSegFormer: 3D Tooth Segmentation in Intraoral Scans with Geometry Guided Transformer
概述
方法
图1.我们提出的用于3D牙齿分割的TSegFormer的流程
概述
整个流程如图 1 所示。通过取每个网格面的重力中心点,将原始网格
转换为点云
。
图2.不同曲率 (cur) 的可视化和性能比较。
TsegFormer 网络架构
特征提取
我们首先将输入网格转换为点云,因为直接使用深度网络处理网格的计算成本很高,尤其是对于高分辨率IOS而言。为了补偿潜在的拓扑损失,我们为每个点提取了 8 维特征向量
,以保留足够的几何信息,包括该点的三维笛卡尔坐标、网格面的三维法向量、高斯曲率和新点“曲率”
。
定义为
其中是第 个点的法向量,
是第
中的点数,
表示两个矢量之间的弧度。 根据定义,点的曲率反映了该点周围的局部几何结构的弯曲程度,即 3D 齿点云上的局部几何形状。
核心网络
在IOS中,划定复杂的牙齿-牙齿或牙齿-牙龈边界需要对局部几何形状有一定的了解。因此,我们首先从输入
中学习局部依赖关系。具体而言,我们设计了一个由两个线性层和两个EdgeConv层组成的点嵌入模块[20],该模块接受输入
并学习局部特征
,其中
。
分割头
为了提高网络识别不同牙齿和牙龈类别的能力,我们设计了两个分割头。主分牙头 MLP (
) 生成 33 个类别的分级分数
用于牙齿分割。同时,考虑到牙齿-牙龈边界错误预测的普遍性,我们设计了一个辅助分割头M LP来为属于牙齿或牙龈的每个点提供二元分类分数,即
. 实验结果表明,与M LP的合作可以细化牙龈分割边界。
几何引导损失
观察到具有高点曲率的点通常位于牙冠的上尖端和牙齿边界[图2(c)],这些地方经常发生错误预测,我们定义了新的几何引导损失
。
鼓励 TSegFormer 自适应地更多地关注具有较高点曲率的易出错点,而额外计算可以忽略不计。具体来说,我们将其定义为
- 其中 γ 是调节因子(在实验中经验设置为 2);
个点的金色标签;
个点的预测概率.
个点的顶部
(0 < r ≤ 1)之间,即
,其中
。
实验结果(图1)2(d))在2,000个案例的数据集上表明,与传统的平均曲率和高斯曲率相比,
的点曲率更有效,即使它们比没有曲率更差。这是因为我们的点曲率提供了更清晰的牙齿和牙龈边界指示[图2(a)-2(c)],从而避免了误导模型过多地关注不重要的非边界点。我们将交叉熵损失用作主分割头
的损失和辅助分割头
,
组合计算所有得出:
我们设置权重
、
和比率
,SM 图 1 中详细的超参数搜索结果表明,在不同的超参数设置下性能稳定。