自动摘要: >链接: [3DTeethSeg′22:3DTeethScanSegmentationandLabelingChallenge](https://arxiv.org/abs/2305 ……..
链接:
3DTeethSeg′22: 3D Teeth Scan Segmentation and Labeling Challenge
摘要:
口腔内3D扫描的牙齿定位、分割和标记是现代牙科的基本任务,以加强牙科诊断、治疗计划和基于人群的口腔健康研究。然而,由于牙齿解剖结构、成像协议的变化以及公共可访问数据的有限可用性,开发牙齿分析的自动化算法带来了重大挑战。为了应对这些挑战,3DTeethSeg’22挑战是与2022年国际医学图像计算和计算机辅助干预会议(MICCAI)联合组织的,呼吁采用算法解决口腔内3D扫描中的牙齿定位、分割和标记问题。准备了一个数据集,包括900名患者的1800次扫描,并通过人机混合算法对每颗牙齿进行单独注释。在这个数据集上总共评估了6种算法。在本研究中,我们介绍了1 arXiv:2305.1827v1[cs.CV]29 May 2023 3DTeethSeg’22挑战的评估结果。3DTeethSeg’22挑战代码可访问:https://github.com/abenhamadou/3DTeethSeg22_challenge ;
简介
计算机辅助设计(CAD)工具在现代牙科中越来越流行,用于高度准确的治疗计划。特别地,在口腔CAD系统中,先进的口腔内扫描仪(IOSs)现在被广泛使用,因为它们提供了牙列的精确数字表面模型。这样的模型可以极大地帮助牙医模拟牙齿的拔出、移动、缺失和重排,从而简化治疗结果的预测。因此,数字牙齿模型有可能使牙医摆脱繁琐和耗时的任务。尽管IOS在临床牙科实践中越来越普遍,但文献中关于牙齿分割/标记的贡献很少。Lian et al. (2019); Xu et al. (2018); Sun et al. (2020),没有公开的数据库。IOS数据中出现的一个基本问题是在扫描观察中可靠地分割和识别牙齿的能力。由于牙齿形状之间固有的相似性以及它们在颌骨上的模糊位置,牙齿分割和标记是困难的。此外,它还面临几个挑战:
- 受试者的牙齿位置和形状变化。
- 牙列异常的存在。例如,牙齿拥挤会导致牙齿错位,从而导致相邻牙齿之间的边界不明确。此外,缺牙和蛀牙在人们中很常见。
- 牙齿受损。
- 牙套和其他牙科设备的存在。
我们提出的挑战将特别关注第1点,即受试者的牙齿位置和形状变化。随着现有数据在中长期的扩展,其他问题也将在挑战的后续版本中得到解决。
专用术语
在本节中,我们将探讨口腔内3D扫描分析中使用的三个基本术语:定位、分割和标记。
- 定位是指对牙齿进行精确识别和定位,包括计算其三维质心。
- 分割涉及识别与检测到的牙齿相关的顶点,从而划分其边界。
- 标记包括为检测到的和分割的牙齿指定一个特定的类别。在这项工作中,我们使用FDI牙齿编号系统
成果
关于这一主题的大多数相关工作主要分为两类:
- 基于人工选取特征的方法;
- 基于学习的方法;
基于人工选取特征的方法
以前的方法主要基于提取手工制作的几何特征来分割3D牙科扫描。这些方法大致分为三类:
- 基于曲面曲率的方法;
- 基于等高线的方法;
- 基于调谐场的方法;
表面曲率在IOS中非常重要,用于表征牙齿表面和定位牙齿/牙龈。该特征用于(赵等人,2006)提出了一种基于曲率阈值的半自动牙齿分割方法,其中牙龈分离后进行三维牙齿边界曲线识别,以确保分割过程。后来,袁等人开发了一种基于表面最小曲率计算的区域提取和牙齿分离的集成单齿建模方案(袁等人,2010)。吴等人(Wu et al.,2014)提出了一种基于形态学骨架的方法,通过使用区域生长操作分离牙齿来从IOS中分割牙齿。同样,(Kronfeld等人,2010)提出了一种基于主动轮廓模型的牙齿和牙龈边界检测系统。对于轮廓线方法,牙齿边界标志由用户在牙齿3D扫描上手动选择。
例如,在(Sinthanayothin&Tharanont,2008;Yaqi和Zhongke,2010)中,所选的齿边界用于根据其测地线信息计算轮廓线,并生成所需的最终齿边界。我们还可以提到谐波场方法,它比以前的方法更便于用户进行牙齿分割。与以前的技术相比,这种方法允许用户在分割过程之前选择有限数量的表面点,从而减少了用户交互(Zou et al.,2015;廖等人,2015)。
当涉及到牙齿3D扫描的鲁棒和全自动分割时,上述方法达不到要求。为基于曲面曲率的方法设置最佳阈值并不简单。事实上,这些方法仍然对噪声敏感,并且选择错误的阈值可能会系统地影响分割精度,从而导致过度或不足分割的问题。此外,手动阈值选择将始终使基于曲率的方法远远不能应用于全自动模式。此外,轮廓线方法耗时、难以使用,并且密切依赖于人类互动。最后,谐波场技术涉及复杂和繁重的预处理步骤。
基于学习的方法
得益于深度学习技术,牙齿分割技术最近已经从手工制作的特征转向学习特征。事实上,现在非常清楚的是,数据驱动的特征提取,例如使用细胞神经网络,在许多计算机视觉任务中优于手工制作的特征,如物体检测(Ren et al.,2015)、图像分类(Wang et al.,2016)等,3D牙齿分割和标记也不例外。根据输入数据的不同,特征学习方法可分为两种主要方法:
- 二维图像分割;
- 三维网格分割;
CNNs已经在许多研究中被用于从2D图像中提取相关特征。特别是,Cui等人(Cui et al.,2019)介绍了一种两阶段深度超视神经网络架构,用于从锥束计算机断层扫描(CBCT)图像中自动分割和识别牙齿实例。首先用自动编码器CNN从CBCT切片中提取一组边缘图,然后将其提供给Mask R-CNN网络(He et al.,2017)用于牙齿分割和识别。另一项研究对CBCT牙科切片上预先训练的AlexNet网络进行了微调,用于自动牙齿分类(Miki等人,2017)。(Rao et al.,2020)提出了一种对称的全卷积残差神经网络,用于生成CBCT图像中牙齿的分割概率图。随后,分别使用密集条件随机场技术和**深度瓶颈结构( deep bottleneck architecture) **进行牙齿边界平滑和分割增强。张等人(Zhang et al.,2020)将3D牙齿扫描同构映射到2D谐波参数空间中,以生成将被馈送到基于U-Net架构的CNN中的2D图像,用于牙齿图像分割。
利用深度学习技术和硬件计算能力的最新进展,研究人员开始在3D牙齿网格上直接使用基于深度学习的方法。Sun等人使用FeaStNet(Verma等人,2018),这是一种基于图的CNN的架构,用于从3D牙齿扫描中自动分割和标记牙齿(Sun等人,2020)。然后,他们扩展了先前的架构,并提出了一种用于牙齿分割和3D牙齿扫描的密集对应的端到端图卷积网络模型,其中使用测地图和概率矩阵来提高分割性能(Sun et al.,2020)。徐等人(Xu et al.,2018)介绍了一种基于深度CNN架构的多阶段框架,用于3D牙齿网格分割,其中通过训练两个独立的CNN来实现牙齿牙龈和牙齿间标记过程。类似地,Zanjani等人提出了一种基于PointNet(Qi et al.,2017a)网络架构的端到端深度学习系统,用于从点云表示中对单个牙齿和牙龈进行语义分割,以及在对抗性学习环境中作为鉴别器的二次神经网络,用于牙齿标记细化(Zanjany et al.,2019b)。Lian等人采用了更广泛的视角,修改了PointNet架构的原始版本,以纳入一组图约束学习模块,从而提取用于3D口腔内扫描的牙齿分割和标记的多尺度局部上下文特征(Lian等人,2020)。与(Lian et al.,2020;Zanjani et al.,2019b)不同的是,4位作者在(Tia et al.,2019)中添加了一个预处理步骤,使用稀疏体素八叉树分割对输入的3D扫描进行编码,然后分别提供用于分割过程的三级层次CNN学习和用于牙齿识别的另一个两级层次CNN。最近在(Cui et al.,2020)中提出了一种不同的方法,其中流程分为两个关键组成部分:第一个CNN专门用于3D质心预测,作为牙齿定位,然后第二个CNN分别应用于每个预先定位的裁剪的牙齿,用于联合牙齿/牙龈分割和牙齿类型识别。同样,在(Zanjani et al.,2019a)中,提出了一种基于蒙特卡洛方法的区域建议网络(RPN)作为牙齿定位的第一步。该RPN之后是Mask R-CNN-like架构,例如牙齿分割。最后,作为后处理过程,牙齿质心上的查找表将标签分配给检测到的牙齿。在(Ma et al.,2020)中提出了另一种深度神经网络架构,用于基于邻接相似性和相对位置特征向量在3D扫描点云上进行预检测牙齿分类。它试图明确地对相邻牙齿之间的空间关系进行建模以进行识别。
Zhao et al. (Zhao et al., 2021b) 提出了一种端到端网络,该网络采用一系列图形注意卷积层和全局结构分支,从原始网格数据中提取细粒度的局部几何特征和全局特征。然后,将这些特征融合以学习分割和标记任务。Zhao et al. (Zhao et al., 2022)提出了一种基于双流的图卷积网络(TSGCN),其中第一流从网格三维坐标中捕获牙齿的粗略结构,而第二流从其法向量中提取不同的结构细节。由于目前基于学习的方法主要依赖于昂贵的逐点标注, Qiu et al. (Qiu et al., 2022) 介绍了使用弱的低成本标注数据(标记所有牙齿质心,每次牙齿扫描仅标记少数牙齿)进行3D牙齿实例分割的牙弓(DArch)方法。DArch由两个阶段组成:牙齿质心检测和牙齿实例分割,其中通过Bezier曲线回归初始生成牙弓,然后使用基于图的卷积网络(GCN)进行细化。
材料和挑战设置
数据采集和注释
数据采集
根据《欧洲通用数据保护条例》(GDPR)协议,我们从主要位于法国和比利时的合作牙科诊所获得了900名患者的3D口腔内扫描,这些患者是由或拥有5年以上专业经验的口腔医生/牙科医生获得的。所有数据都是完全匿名的,患者的身份无法透露。为每位患者采集两次3D扫描,分别覆盖上颌和下颌。以下IOS用于扫描采集:Dentsply的Primescan、3Shape的Trios3和iTero Element 2 Plus。这5个扫描仪具有代表性,并生成精度在10到90微米之间、点分辨率在30到80pts/mm2之间的3D扫描。在采购过程中,除了内部监督办公室本身之外,没有使用任何其他设备。所有获得的临床数据都是为需要正畸(50%)或牙体治疗(50%)的患者收集的。所提供的数据集遵循真实世界的患者年龄分布:50%为男性,50%为女性,约70%在16岁以下,约27%在16-59岁之间,约3%在60岁以上。
数据注释和处理
数据注释,即牙齿分割和标记,是与在正畸、牙科手术和根管学方面拥有10多年专业知识的临床评估人员合作进行的。详细过程如图1所示。它由八个步骤组成。
图1:说明我们的注释过程。输入的3D IOS按照八个步骤进行注释,从预处理和姿势标准化开始,到临床验证结束。临床验证器可以根据所提出的问题将注释返回到步骤2、4或7,所述问题分别对应于缺失的牙齿、牙齿边界问题或不正确的牙齿实例标记。
首先,对3D扫描进行预处理(图中的步骤1和2。1)通过移除所有退化和冗余的网格面,以及重复和不相关的顶点。然后通过主成分分析将牙齿网格坐标自动居中并与咬合平面对齐。这提高了牙齿的可见性,同时也使所有输入的3D IOS的3D姿势标准化。然后,我们使用自定义工具,用一个紧密的球体从3D扫描中手动裁剪出每颗牙齿6颗,该球体包括检测到的牙齿及其周围环境(即相邻的牙齿和牙龈)。我们决定在步骤3中执行UV映射,以使裁剪的3D网格变平,并显示最大的3D曲率,从而使牙齿边界的注释更容易。这种变换是通过谐波参数化来确保的,谐波参数化是一种固定边界参数化算法,它将扁平修剪牙齿的二维坐标计算为两个谐波函数Eck等人(1995)。然后将这些顶点映射到圆,并使用两个调和函数和圆边界约束计算其余顶点的二维坐标。好处有两个:注释器可以在不改变3D视角的情况下注释界定牙齿的2D多边形,并且3D曲率覆盖是关于牙齿边界的信息。
在手动注释UV图(图1的步骤4)之后,我们在步骤5中将牙齿边界反向传播到3D裁剪体。在这一点上,每个单独的候选牙齿已经被手动分割,然而它们已经在相同的3D坐标系中表示。下一步的目的是收集所有牙冠,并准备进行手动标记,如图1的步骤7所示。我们遵循了外国直接投资世界牙科联合会的牙齿标签编号系统,如图2所示。
图2:FDI世界牙科联合会编码在最后第8步骤的标注过程包括对制作的带注释的3D IOS进行目视检查和验证。这一步骤由我们的临床合作伙伴执行,他们是经验丰富的正畸医生、牙科外科医生和牙髓病学家。他们的检查目标是识别注释问题,如缺牙注释(返回步骤2)、牙齿边界注释不准确(返回步骤4)或牙齿标签不正确(返回步骤7)。重复该验证/校正周期,直到整个数据集得到正确注释和临床验证。
数据记录
共收集了1800张3D口腔内扫描,分别覆盖了900名患者的上下颌。图3显示了一些示例。
图3:6名随机选择的患者的带注释颌骨的正面和咬合绘制
数据托管在Figshare平台上。为了在MICCAI 2022上进行分割和标记挑战,将3D扫描数据(obj格式)分为训练数据(1200次扫描,16004颗牙齿)和测试数据(600次扫描,7995颗牙齿)。患者通过其通用唯一标识符(uuid)进行匿名化。obj文件中每个顶点的基本事实牙齿标签和牙齿实例是以JavaScript对象表示法(JSON)格式提供的。JSON文件示例如下所示:
1 | { |
表“labels”和“instances”的长度与相应3D扫描中的网格顶点总数相同。默认情况下,labels和instances“0”是为牙龈保留的。除“0”外,表“instances”中的唯一数字表示3D扫描中的牙齿编号。
挑战配置
3DTeethSeg’22挑战赛作为2022年MICCAI的星活动组织,特别关注使用口腔内3D扫描进行牙齿检测、分割和标记的算法。挑战包括三个不同的阶段:一个训练阶段和两个测试阶段。训练阶段参与者可以获得扫描结果以及相应的注释。这使他们能够使用所提供的数据来设计和训练他们的算法。第一个测试阶段包括初步评估,参与者可以提交他们的算法,并在10次扫描的有限数据集上评估他们的性能。在最后的测试阶段,参与者没有被允许直接访问测试扫描。相反,他们被要求在docker容器中提交代码。然后对隐藏的测试数据进行评估,防止对测试数据进行任何重新训练或通过微调进行过拟合。所有的训练和测试数据,以及它们的公告,现在都是公开的。此外,我们还开放了数据处理和评估脚本,以促进进一步的研究和开发。所有与3DTeethSeg’22挑战相关的材料都可以通过以下链接访问:https://github.com/abenhamadou/3DTeethSeg22_challenge
评价标准
牙齿定位精度
牙齿定位精度(TLA):真实标记的(GT)牙齿质心和最近的定位牙齿质心之间的归一化欧几里得距离的平均值。每个计算的欧几里得距离通过相应GT牙齿的大小进行归一化。在没有质心的情况下(例如,算法崩溃或给定扫描的输出丢失),将给出每个GT齿5的标称惩罚。这相当于实际GT齿尺寸的5倍的距离。由于每位患者的牙齿数量可能是可变的,因此在这里计算两个测试集中所有收集的GT牙齿的平均值。
牙齿分割精度
牙齿分割精度(TSA):计算为所有牙齿点云实例的平均F1分数。每个牙齿实例的F1分数测量为:
牙齿识别率
牙齿识别率(TIR):计算为两个测试集中真实识别病例相对于所有GT牙齿的百分比。对于给定的GT齿,当检测到的最接近的齿质心位于GT齿尺寸一半以下的距离处,并被赋予与GT齿相同的标签时才是识别成功。
方法
3DTeethSeg’22挑战已经收到了500多个数据下载和注册请求。44个团队注册并参加了预赛阶段,只有10个团队将他们提交的材料上传到了挑战赛最后阶段的领导委员会。表1简要介绍了选定的六种排名靠前的方法,这些方法将在本节下文中更详细地介绍。
团队/作者 | 特征与方法 |
---|---|
CGIP团队 | 牙齿网格的每个顶点的多阶段牙齿实例模块标签。基于Point Transformer骨干网络的点分组模块,用于预测牙齿的语义标签和偏移量。牙齿裁剪模块推断牙齿牙龈mask,以细化牙齿实例标签。 |
FiboSeg团队 | 在牙科模型的渲染2D视图上训练的残差U-Net模型,其中法向量被编码为RGB分量。多数投票方案为数字模型中的每个面片分配标签,然后进行后处理以去除离群点和边界平滑。 |
IGIP 团队 | 多阶段,牙齿-牙龈分离,牙齿质心预测,从预测质心周围裁剪的贴片中分割单个牙齿,结合形状和位置特征进行牙齿分类,后处理阶段使用牙弓曲线纠正分类错误。 |
TeethSeg 团队 | 使用3D U-net模型的多阶段粗分割阶段和利用局部几何特征来提高牙齿和牙龈边缘周围精度的精细分割阶段。考虑到邻域的凸性,并最大限度地减少边缘区域上的移动,采用Random Walker算法来标记牙模的表面 |
OS 团队 | 两阶段方法,高分辨率网络架构,具有并行操作的子网络,以从2D图像预测牙齿质心,并为输入3D网格的俯视图进行渲染。基于第一阶段的结果对单个牙齿进行裁剪和分割,并将分割的牙齿区域聚合并映射回原始网格。最后一步包括使用K-最近邻算法将抽取的模型上采样到原始扫描模型。 |
Champers 团队 | 基于Stratified Transformer结构的多级编码器-解码器网络用于牙齿质心预测。牙齿分割阶段采用两个分层Transformer的级联来分割单个牙齿。后处理步骤被应用于合并提案区域、插值分割和为源点云分配标签 |
CGIP 团队 - Hoyeon Lim et al.
如图4所示,所提出的方法由两个主要模块组成。首先,牙齿实例分割流水线为牙齿网格的每个顶点预测牙齿实例标签。然后,点分组模块获取采样的点云,并输出牙齿语义标签(分类)和牙齿实例标签(分割)。
图4: CGIP团队提出的方法(a) 牙齿实例分割流程为牙齿网格的每个顶点预先预测牙齿实例标签。(b) 点分组模块获取采样点云,输出牙齿语义标签和牙齿实例标签。这些牙齿实例标签然后由“牙齿裁剪模块”进行细化。实例标签中牙齿的颜色表示每个单独的牙齿实例,而牙齿语义标签的颜色表示牙齿类别。例如,牙齿语义标签中的绿色点对应于犬齿。
牙齿实例分割流程
如图4(a)所示,所提出的牙齿实例分割流程获取牙齿网格,并为牙齿网格的每个顶点输出牙齿实例标签。 Tooth Group Network通过采样点的特征并生成牙齿的实例标签。有两种采样方法来获得采样点。
为了获得最终的实例分割结果,有必要预测牙齿网格的每个顶点的所有牙齿实例标签。非采样点的牙齿实例标签是通过为其指定最近邻居点的标签来确定的。由于3D扫描仪的性质,牙齿网格的采样率在边界附近很高。因此,边界附近的点可能与多个标签相关联,这阻止了获得细粒度的牙齿实例标签。为了解决这个问题,提出了一种称为边界感知点采样方法的解决方案。该方法旨在增加边界附近的采样点数量。最初,通过利用牙齿网格的顶点上的最远点采样技术对n个点进行采样。Tooth Group Network将这些采样点作为输入,并为它们生成牙齿实例标签。通过检查预测的牙齿实例标签,可以识别位于边界附近的点。随后,使用边界感知点采样方法对边界附近的附加点进行采样。然后采用Tooth Group Network的另一实例来为位于边界附近的这些新采样点生成牙齿实例标签。
为了获得最终的牙齿实例分割结果,从最远点采样和边界感知点采样聚合牙齿实例标签。每个牙齿实例的类别可以通过在对应牙齿实例内的牙齿语义标签之间进行多数投票来确定。通过将通过最远点采样得到的点输入到牙齿组网络中,可以获得牙齿语义标签(图4(b))。
Tooth Group Network
如图4(b)所示,Tooth Group Network由点分组模块(PGM)和牙齿裁剪模块(TCM)组成。PGM和TCM的骨干网络是Point Transformerr (Zhao et al., 2021a).。不同之处在于,PGM有一个用于偏移预测的回归头和一个用于牙齿语义标签预测的分类头,而TCM只有一个用于推断牙齿牙龈掩膜的头。
PGM的流程与Point Group相似(Jiang et al.,2020)。PGM的主干网络采用点云采样,该采样的点云包含n个点的坐标和normals。它预测牙齿的语义标签和偏移量。然后,通过根据偏移将每个点移动到其中心点来获得偏移的点云。将预测为牙龈的点将从此点云中过滤掉。每个点的牙齿实例标签是通过对偏移的点云进行聚类来获得的,因为偏移的点云中彼此更接近的点可能属于同一实例。DBSCAN(Ester等人,1996a)用于对3d点进行分组。基于聚类的牙齿实例标记过程是稳健的,因为每个牙齿实例都具有易于分组的紧凑圆柱体形状。
在TCM中,采样点云是在预测牙齿实例的中心点周围裁剪的,并将其输入到TCM的骨干网络中。结果,生成作为输出的齿龈掩膜。此掩码用于细化PGM的牙齿实例标签。如果在PGM中预测为牙齿,但在TCM中预测为牙龈,则该点的牙齿实例标签将更改为牙龈。如果该点的牙齿实例标签在PGM中预测为牙龈,但在TCM中预测为牙齿,则该点的牙实例标签由最近邻点的标签确定。
为了防止在牙齿分割标签变化的边界附近降低牙齿实例分割精度,采用了对比约束学习框架(Tang et al.,2022)。该框架使边界附近的两个点如果具有相似的特征,则它们具有相同的标签。相反,如果它们有不同的标签,骨干网络就会学会为这两点提供对比特征。当头部预测边界附近的牙齿实例标签时,就可以利用偏移的回归头部和用于牙齿语义标签的分类头部这些不同的特征。
FiboSeg团队-Mathieu Leclercq et al.
这项工作提出了一种基于深度学习的三维牙齿模型分割方法。它包括获取二维视图和从曲面中提取特征,如法线向量。使用诸如U-NET的2D卷积神经网络来分析渲染的图像。
图5:FiboSeg团队提出的方法。在训练过程中,随机旋转牙齿模型并移除随机牙齿。从不同的视点渲染视图,并使用RGB组件中编码的法线向量以及用作第四组件的深度图对视图进行着色。在渲染步骤期间还创建地面实况目标图像。图像被馈送到残差U-Net,并且输出图像和目标图像被用于计算DiceCELoss。在推断时,采用多数投票方案为牙齿模型中的每个人脸分配标签。随后,应用离群点去除方法来消除孤立区域,并对分割牙齿的输出边界进行平滑,以获得更精细的结果。
渲染二维视图
Pytorch3D框架用于从不同角度渲染3D口腔内表面模型。在端到端的训练过程中,这些二维视图被提供给残差U-Net (2022,Hatamizadeh)。渲染引擎提供了一个映射,该映射将图像中的像素与网格中的面相关联,并允许快速提取点数据(法线、曲率、标签等),以及在推断后将信息设置回网格中。为了获得不同的视图,将随机旋转应用于摄影机,使其在单位球体的表面上移动。对于每个快照,我们生成两个图像。
第一个包含RGB组件中编码的曲面法线+深度贴图。第二个包含在分割任务中用作目标的地面实况标签图。我们将渲染图像的分辨率设置为320像素。我们使用环境光,这样渲染的图像就没有任何镜面反射组件。
网络训练
我们通过应用随机旋转和随机去除牙冠(不包括智齿)来增加数据。使用MONAI3库带有4个输入通道、34个输出通道的和具有2个残差单元的编码器/解码器块以及具有步长2的通道(16、32、64、128、256)的残差U-Net来实例化模型。
我们使用DiceCELoss,它计算骰子损失和交叉熵损失,并返回这两者的加权和。
使用AdamW优化器将学习率设置为1e−4。需要注意的一件重要事情是,之前没有对网格进行预处理,即点/面的子采样,或任何识别上颌或下颌的分类任务。训练学习识别对应于上牙冠和下牙冠的34个不同标签。我们对34个不同的类别使用了一个热编码:除了牙龈和背景之外,还有32个不同的牙冠。
预测
预测有三个主要步骤:
- 从三维对象渲染二维视图;
- 对2D视图进行推理。
- 将信息映射回3D网格。
- Pytorch3d光栅化器返回一个映射,该映射跟踪每个像素处最近的人脸,
在我们对2D视图进行推理后,我们使用加权多数投票方案将信息放回3D网格,因为单个人脸可能由两个单独的视图渲染。被零像素击中的面的值为−1。
后处理
如果曲面的某些面在预测结束时未指定给任何标签,我们将应用“离群点去除”方法,该方法将指定最近连接的标签。最后,我们应用形态学闭合运算来平滑分割牙齿的边界
IGIP 团队 -Shaojie Zhuang et al
图 6:IGIP 团队提出的方法。预测每颗牙齿的质心,在此基础上裁剪部分牙颌,然后去除牙冠上的曲率。接下来,在裁剪的牙冠分割阶段,对牙齿标签和masks进行预测并映射回原始模型。最后,应用 pos-processing 阶段来修复错误标签。
如图6所示,它是一种用于精确牙齿分割的多阶段方法。首先,将点云下采样到 N = 32768 个点作为输入。然后,输入被分离成牙齿和牙龈。在牙颌上预测质心,围绕质心点裁剪牙块,并分割每个牙块的单个牙齿。接下来,通过结合局部和全局特征来完成牙齿分类,然后是后处理阶段以纠正潜在的分类错误。
- 牙齿与牙龈分离:第一步,对牙齿和牙龈进行二元分类,去除点云中大部分非牙点,以减少基准模型引起的推理误差;
- 质心预测:通过使用PointNet++ Qi等人(2017b),将具有
个点的输入点云
下采样为具有
个点的点云
。对属于
的每个点进行回归,得到一个偏移向量
。预测的质心最终由
获得。与Cui et al. (2020)类似,对于每个预测的质心
,最接近的真值质心
是其目标,网络使用以下损失函数进行监督:其中smooth L1 损失监督预测质心与真值质心之间的距离,
分别以距离
的最小距离和第二最小距离真值的质心,用于将预测的质心远离其他真值质心,λ经过验证后设置为0.2,
为倒角距离损失。在预测后,使用密度峰值聚类算法Rodriguez&Laio(2014)对密集质心进行聚类,以获得最终的质心。
- 部分分割: 在每个预测的质心周围裁剪牙块,牙块大小设置为
,这可确保一个牙块中至少包含一个完整的牙齿。每个点都附加一个距离权重来标记牙齿,计算公式:其中
是预测的质心。此外,曲率作为一个特征,能够加强牙齿-牙龈边界处的意义。牙冠处的曲率由第一步获得的二元mask(齿龈分离)去除。输出由交叉熵损失监督。此外,如果牙齿中存在多个质心,则对牙块进行重叠检测,如果预测的两个牙块的mask重叠很多,则将它们合并为一个牙块。
- 牙齿分类:在大多数算法中,牙齿分类的重要性往往被忽视。这是通过实例分割网络输出整个模型的逐点标签的常用方法,但此类算法不考虑单个牙齿的特征。一些方法,如 Im 等人(2022 年);Lian et al. (2019) 仅将牙齿分为 16、14 或更少的类别,忽略了牙齿所在的象限。Ma et al. (2020) 使用具有邻域关系的牙齿特征向量以获得更好的标记准确性,但它依赖于规则的牙齿分布。
- 为了强调分类,该方法提出了一个新的网络和一个后处理阶段来修复潜在的错误。在对一个牙块中的单个牙齿进行分类时,网络会将从牙块中提取的形状特征与牙齿掩模相结合,以及指示补丁在模型上的位置特征。仅使用形状特征或位置特征不足以准确分类牙齿。这两个特征被连接并馈入一个全连接层,以获得 33-D 输出(32 个齿和一个背景)。这是解决分类问题的一种更像人的方法。输出由交叉熵损失监督。在我们的方法中,不需要关于模型是属于上颌还是下颌的先验信息,因为上下颌的门牙在形状和大小上差异最大,这一步中提取的全局特征可以说明问题。
- 后处理:深度学习方法不会每次都能给出正确的标签预测,因此提出了使用牙弓曲线来纠正潜在分类错误的后处理阶段。首先,将预测的质心预测到 xOy 平面上,并将平行曲线拟合为牙弓曲线。然后,根据曲线计算出每颗牙齿的相对位置,并可以修复一些典型的误差。例如,如果两颗牙齿具有相同的标签,则可以通过排序的标签序列来校正它们的标签;或者,如果标签紊乱,可以根据牙齿的顺序重新排序。
TeethSeg 团队 - Tudor Dascalu 等人
图 7:TeethSeg 团队提出的方法。使用 U-net 模型对网格进行分割。牙齿-牙齿和牙龈边缘周围的不准确性使用局部几何特征进行校正。
该团队开发了一个多阶段流程,旨在从 3D 牙科铸造网格中标记和分割牙齿(图 7)。第一步包括对牙齿结构进行粗分割。接下来,使用对局部几何特征的分析来优化生成的输出。
粗分割
粗分割阶段包括牙齿结构的间接分割。网格被转换为二进制体素图像。然后,使用3D U-net架构对显示牙模的二进制图像进行分割。为下颚和上颚分别训练了单独的U-net模型。每个模型产生一个与牙模输入二进制图像大小相同的N维3D数组。牙齿掩模占据了数组中的N-1个通道,其中1个掩模对应于非牙齿结构。
精细分割
为了解决由于二进制图像的分辨率远低于牙模分辨率而导致的牙齿-牙齿和牙齿-牙龈边缘精度损失问题,引入了精细分割阶段。为了生成精细分割,使用二进制U-net结果对输入牙模进行标记,通过找到距离给定网格顶点最近的网格点。由于上述二进制体积图像和网格之间的分辨率差异,这种标记是粗略的。在改进阶段,参与者定义了一个增强靠近边缘区域的顶点的函数f。对于给定顶点v,函数f的输出基于v周围邻域的凸性。然后,使用随机行走算法对牙模的顶点进行标记。种子点设置为属于牙冠顶点和牙龈的区域。从粗略分割输出中提取。对于每个非种子顶点,随机漫游开始在网格空间中导航,直到它们到达种子点。漫游者的运动是用函数f来操纵的,这样他们就不太可能跨过边缘区域。最后Random Walker 算法的结果被用作框架的最终输出。
os 团队-Tae-Hoon Yong et al.
图 8:os团队建议的方法。在第 1 阶段,我们从预处理的输入网格中获取了 2D 捕获的图像,以去除异常值。基于2D编码器-解码器结构的深度学习模型从2D图像中预测了每颗牙齿的质心和FDI数。在第 2 阶段,我们根据第 1 阶段的结果,从少于 50,000 个面的网格中获取了每颗牙齿的裁剪网格。通过冠分割深度学习模型从裁剪网格中分割出的每个冠状区域恢复并聚合到原始网格后,使用 K 最近邻 (KNN) 算法将聚合模型反向投影到原始网格。
如图8所示,所提出的方法由两个阶段组成,将基于二维图像的牙齿质心预测和分类与国际牙科联合会(FDI)牙科编号系统相结合,以及基于网格表面的单个牙齿分割。
牙齿质心预测和分类
给定一个输入网格模型,我们首先提取异常值以获得去除一些噪声的归一化模型。为了识别每颗牙齿的质心,我们获得了从垂直于咬合平面的俯视图渲染中捕获的二维牙齿图像。通过 512×512 捕获的图像,我们使用基于高分辨率网络的热图预测方法预测了每颗牙齿的质心(Wang et al., 2020),这些网络由子网络组成,并融合了低到高的表示。除了检测质心外,每个地标还被分类为16个通道。由于预测的质心显示出聚类趋势,我们将DBSCAN算法(Schubert等人,2017)应用于所有预测的质心,以去除多余的齿质心。为了还原位于冠部的点中最接近二维坐标的三维坐标,通过将三维坐标投影到二维空间中来计算三维坐标。
单个牙齿分割
在基于阶段1结果对每颗牙齿进行裁剪之前,我们将输入网格模型的面数降低到50,000个或更少,以便进行高效计算。根据最近的相邻质心地标,我们计算了单个牙齿的半径,以便将网格裁剪成椭圆形或圆形。圆形应用于磨牙,而椭圆形应用于其他牙齿。为了在裁剪后的单个牙齿面中分割牙齿区域,我们使用了改进的二值化牙齿分割方法,改进了图约束学习模块的实现(Lian等人,2020;Wu等人,2022)。基于分割的单个牙齿结果,我们使用图割算法(Lian等人,2020)对其进行了细化,以获得精确的牙冠区域。在对单个牙齿区域进行细化处理后,我们将每个结果映射到降采样模型中并进行聚合。最后,使用K-最近邻(KNN)算法(Johnson等人,2019)将降采样模型上采样至原始扫描模型,以保留降采样模型的结果。
Champers 团队 - Niels van Nistelrooij
3D 扫描预处理
口内扫描通过其顶点以及坐标和法线作为顶点特征进行表示。在预处理过程中,通过覆盖正则网格对顶点进行子采样,并从每个占用的网格单元中抽取一个点。这导致了一个具有可变点数的均匀密度点云,保持比例尺。随机数据增强对坐标进行了缩放,将扫描左右翻转,并围绕纵轴旋转。源扫描上的注释用于确定每个牙齿实例的质心和FDI标签。随后,32个可能的标签被转换成7个类别,删除上/下和左/右的区分。此外,少数第三磨牙被转换为第二磨牙。
提议的模型架构
提出的模型在很大程度上受到TSegNet(Cui等人,2020)的启发,该模型将问题分为两个阶段,分别用于质心预测和牙齿分割。
- 编码器-解码器网络:
- 编码器-解码器网络。整个模型中反复使用的编码器-解码器架构是分层转换器(Lai等,2022)。这种用于点云的Vision Transformer使用基于窗口的多头自注意力来学习上下文特征。其编码器路径在后续的Transformer块中使用移位窗口,以有效地学习长程依赖关系(Liu等,2021)。在每组块之后,当前点云通过最远点采样进行二次采样。最初的点用于播种最远点采样是随机抽样的,因此在编码器路径结束时,每次前向传递得到的子采样点云都不同。在解码器路径中,使用加权3个最近邻插值来对较小的点云进行上采样。然后将其特征与来自编码器路径的跳跃连接后的点云的特征相加。解码器路径的结果与输入相同,但具有上下文特征。
- 牙齿质心的预测:
- 首先,输入的点云通过Stratified Transformer的编码器处理进行处理。由此得到的子采样点云的每个点具有256个特征。这些特征经过两个全连接头进一步处理。第一个头部预测了每个点到其最近牙齿质心的欧氏距离,并受到平滑的L1损失的监督。然后利用这些距离来过滤周边的点,从而仅保留牙弓上的点。第二个头部预测了每个点到其最近牙齿质心的x、y和z偏移量。这些预测值与真实值进行比较,使用以下损失函数:
-
- 首先,输入的点云通过Stratified Transformer的编码器处理进行处理。由此得到的子采样点云的每个点具有256个特征。这些特征经过两个全连接头进一步处理。第一个头部预测了每个点到其最近牙齿质心的欧氏距离,并受到平滑的L1损失的监督。然后利用这些距离来过滤周边的点,从而仅保留牙弓上的点。第二个头部预测了每个点到其最近牙齿质心的x、y和z偏移量。这些预测值与真实值进行比较,使用以下损失函数:
是真值齿质心的数量;
-
是滤波后的子采样点的坐标;
-
对应预测的偏移量;
-
是 pi 中离真实值最近的牙齿的质心;
-
是以
为质心的牙齿实例的半径;
- 归一化欧几里得函数:
- 计算点与其最近的真值齿质心之间的平方欧几里得距离。通过对具有最接近质心的牙齿实例的半径进行归一化,可以纠正有利于较大牙齿的偏差。此外,真实值的质心是从点的位置选择的,而不是从点的预测最近质心选择的。
- 分离函数:
- 计算从点到其最近和第二最近的真实值质心的距离差。每当模型预测到进一步的质心时,这都会惩罚模型。归一化和分离导致牙齿实例中预测的质心的分层要好得多。质心预测阶段运行了六次,以收集许多质心预测。最后,应用DBSCAN算法将质心聚类到每个牙齿实例的一个点(Ester等人,1996b)。
- 牙齿分割:
- 第一步通过Stratified Transformer处理输入点云,从而生成相同的点云,每个点有 48 个特征。对于每个预测的质心,对 3,528 个最近邻进行抽样以形成一个提案。这种提案的每一点都有 52 个特征; 48 个上下文特征、3 个全局坐标以及从预测质心到点的局部距离。
- 然后,每个提案都由两个Stratified Transformer的级联独立处理。第一个网络在提案中预测了牙齿的二分类分割。此 1 通道预测按通道连接,形成具有 53 个特征的点的提案。
- 这些建议随后由第二个网络处理,该网络也预测了前景分割。两个网络的预测均由二元交叉熵损失监督。
- 第二个网络另外预测了前景牙齿的位置,前提是利用第一个网络的分割结果。为了实现这一点,首先对最潜在的维度中的特征应用全局平均池化,然后通过全连接层返回每个提议七个logits。这种分类是以分类交叉熵损失进行监督。由于与分割头相比,分类头的收敛速度要快得多,所以将其学习率降低了十倍。
- 牙齿分割阶段运行两次,以收集每个牙齿实例的多个提议预测。对于每次牙齿分割阶段的运行,都使用相同的预测质心。
后处理
首先,当前景点的交并比至少为0.35时,对提议进行合并。同时,对于同时出现在两个提议中的点的分割和分类logits进行求和。这自然地将多次运行和具有相同前景牙齿的提议合并在一起,从而提高了有效性。
然后,对分割结果进行插值,以适应源点云的点。为此,在每个预测的质心周围采样20%的最近邻点。然后将分割logits分段线性地插值到源点上,对于外推,则回退到3个最近邻点。因此,分类logits不会被插值。
接下来,将预测的位置转换回FDI标签。上颚或下颚是先验信息,左右区分是通过将预测的质心与中切牙提议的质心进行比较来实现的。如果旁边有额外的前第二磨牙,则通过增加第二磨牙的标签来检索第三磨牙。
最后,将插值牙齿提议投影回源点云。未包含在任何提议中或仅具有负分割logits的源点被赋予牙龈标签。其他源点被赋予使该点具有最高分割logit的提议的FDI标签。此外,为了允许在扫描中具有相同FDI标签的多个牙齿实例,还返回了归因提议的索引。
实施细节
质心预测阶段在挑战赛中的1191个扫描中进行了500轮的训练;7个带牙套的扫描被移除,以及2个牙齿严重错位的扫描。
牙齿分割阶段在1072个扫描中进行了100轮的训练,其中留出了119个扫描用于模型选择。这个90%/10%的拆分是基于每个扫描的唯一FDI标签的二阶分层(Szyma´nski & Kajdanowicz, 2017)。
使用AdamW优化器进行了训练,并使用了权重衰减,以及带有线性预热期的余弦退火学习率调度器(Loshchilov & Hutter, 2017)。最后,所有模型都是使用PyTorch Lightning(Paszke等,2019)从头开始实现的。
实验结果
我们对结果进行了定量和定性评价。我们首先介绍参与方法的最终排名以及挑战不同任务的获得结果。后记:我们展示了不同的案例,以直观地检查在挑战的最后阶段获得的预测的质量。
定量评估
Team | Exp(-TLA) | TSA | TIR | 得分 |
---|---|---|---|---|
CGIP | 0.9658 | 0.9859 | 0.9100 | 0.9539 |
FiboSeg | 0.9924 | 0.9293 | 0.9223 | 0.9480 |
IGIP | 0.9244 | 0.9750 | 0.9289 | 0.9427 |
TeethSeg | 0.9184 | 0.9678 | 0.8538 | 0.9133 |
OS | 0.7845 | 0.9693 | 0.8940 | 0.8826 |
Chompers | 0.6242 | 0.8886 | 0.8795 | 0.7974 |
表2:获得参赛团队的评估指标。给定的排名基于最终分数(见最后一栏)表 2 中所示的排名由第 2 节前面描述的总体得分决定。值得注意的是,排名可能会因被评估的特定任务或指标而异。在整体性能方面,CGIP团队提出的方法处于领先地位。然而,当专门关注牙齿定位任务时,FiboSeg 团队以 0.9924 的 Exp(-TLA) 获得了最高分。另一方面,CGIP团队在牙齿分割任务中表现出色,获得了0.9859的TSA分数。IGIP团队在牙齿标记任务中表现出色,TIR得分为0.9289。这些结果强调了不同方法的多样性和优势,展示了它们在挑战的特定方面的有效性。
定性评估
图 9:在四个样品(即两个下颌 (a,b) 和两个上颌 (c,d) 上颚上应用竞争方法所获得结果的目视比较。第一行显示了与牙齿分割和标记相关的基本事实。其余行显示团队全局排名后的结果。
图 9 直观地表示了竞争方法对验证数据集中的四个样本获得的分割结果。总体而言,所获得结果的视觉评估与定量评估中提供的排名一致。CGIP团队表现出了优势,特别是在分割任务中,具有始终如一的准确分割结果。然而,应该注意的是,FiboSeg 团队表现出较低的分割精度,特别是在大多数分割牙齿的牙龈-牙齿边界。
在多个团队中观察到缺牙检测,但在 IGIP 团队(样本 d)和 OS 团队(例如样本 a 和 b)的结果中更为明显。在 TeethSeg 团队的案例中,在某些情况下,牙齿边界的描绘似乎不准确,这在样本 b、c 和 d 中很明显。这些视觉观察为竞争方法的优缺点提供了额外的见解。
结论
3D 牙齿扫描分割和标记挑战赛 (3DTeethSeg’22) 与 MICCAI 2022 联合进行。该挑战提供了一个公开的数据集,该数据集由从 900 名患者获得的 1800 个口内 3D 扫描组成,这是目前最大、最准确的注释口内 3D 扫描数据集。该挑战旨在评估用于牙齿检测、分割和标记任务的六种算法。本文概述了挑战设置,总结了参与算法,并比较了它们的性能。在 3D 牙齿扫描分割和标记挑战赛 (3DTeethSeg’22) 的最后测试阶段,CGIP 团队的算法获得了 0.9539 的最高总分,使其成为性能最佳的解决方案。此外,同一算法在分割任务中获得了最高的性能,TSA 指标的得分为 0.9859。另一方面,FiboSeg 团队的算法在牙齿检测任务中表现出色,在 Exp(-TLA) 指标上以 0.9924 的得分位居榜首。在标记任务中,IGIP团队的算法获得了最高分,TIR指标的值为0.9289。
未来的方向可能包括在数据集中加入更多的可变性,例如牙齿缺失或受损的更具挑战性的案例以及模棱两可的标签场景,以提供更全面的评估并增强算法有效处理真实场景的能力。此外,在下一次挑战迭代中评估预测牙龈/牙齿边界的准确性和平滑度也很重要。在未来的迭代中,评估算法的运行时和计算复杂性将是有益的,因为这些因素是将开发的解决方案集成到牙科中使用的计算机辅助设计 (CAD) 软件中关键考虑因素。
引用
- Cui, Z., Li, C., Chen, N., Wei, G., Chen, R., Zhou, Y., & Wang, W. (2020). Tsegnet: an efficient and accurate tooth segmentation network on 3d dental model. Medical Image Analysis, 69 , 101949.(Tsegnet:一种高效准确的三维牙齿分割网络)
- Cui, Z., Li, C., & Wang, W. (2019). Toothnet: Automatic tooth instance segmentation and identification from cone beam ct images. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 6368–6377).(Toothnet:从锥束CT图像中进行自动牙齿实例分割和识别)
- Eck, M., DeRose, T., Duchamp, T., Hoppe, H., Lounsbery, M., & Stuetzle, W. (1995). Multiresolution analysis of arbitrary meshes. In ACM Conference on Computer graphics and interactive techniques (SIGGRAPH ’95) (pp. 173–182).(任意网格的多分辨率分析)
- Ester, M., Kriegel, H. P., Sander, J., & Xu, X. (1996a). A density-based algorithm for discovering clusters in large spatial databases with noise. In Proceedings of the Second International Conference on Knowledge Discovery and Data Mining (p. 226–231).(一种基于密度的大规模空间数据库中噪声聚类的发现算法)
- Ester, M., Kriegel, H.-P., Sander, J., & Xu, X. (1996b). A density-based algorithm for discovering clusters in large spatial databases with noise. In Proceedings of the Second International Conference on Knowledge Discovery and Data Mining (pp. 226––231).(一种基于密度的大规模空间数据库中噪声聚类的发现算法)
- Hatamizadeh, A., Tang, Y., Nath, V., Yang, D., Myronenko, A., Landman, B., Roth, H. R., & Xu, D. (2022). Unetr: Transformers for 3d medical image segmentation. In Proceedings of the IEEE/CVF winter conference on applications of computer vision (pp. 574–584).(Unetr:用于三维医学图像分割的变压器)
- He, K., Gkioxari, G., Dollar, P., & Girshick, R. (2017). Mask r-cnn. In 2017 IEEE International Conference on Computer Vision (ICCV) (pp. 2980–2988).(Mask r-cnn)
- Im, J., Kim, J.-Y., Yu, H.-S., Lee, K.-J., Choi, S.-H., Kim, J.-H., Ahn, H.-K., & Cha, J.-Y. (2022). Accuracy and efficiency of automatic tooth segmentation in digital dental models using deep learning. Scientific Reports, 12 , 1–11.(利用深度学习进行数字牙科模型自动牙齿分割的准确性和效率)
- Jiang, L., Zhao, H., Shi, S., Liu, S., Fu, C., & Jia, J. (2020). Pointgroup: Dual-set point grouping for 3d instance segmentation. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 4866–4875).(Pointgroup: 三维实例分割的双集点分组)
- Johnson, J., Douze, M., & J´egou, H. (2019). Billion-scale similarity search with gpus. IEEE Transactions on Big Data, 7 , 535–547.(亿级相似性搜索与GPU)
- Kronfeld, T., Brunner, D., & Brunnett, G. (2010). Snake-based segmentation of teeth from virtual dental casts. Computer-Aided Design and Applications, 7 , 221–233.(基于蛇的虚拟牙科模型牙齿分割)
- Lai, X., Liu, J., Jiang, L., Wang, L., Zhao, H., Liu, S., Qi, X., & Jia, J. (2022). Stratified transformer for 3d point cloud segmentation.(用于三维点云分割的分层变压器)
- Lian, C., Wang, L., Wu, T.-H., Liu, M., Dur´an, F., Ko, C.-C., & Shen, D. (2019). Meshsnet: Deep multi-scale mesh feature learning for end-to-end tooth labeling on 3d dental surfaces. In International Conference on Medical Image Computing and Computer-Assisted Intervention (pp. 837–845). Springer.(Meshsnet:用于三维牙科表面端到端牙齿标记的深度多尺度网格特征学习)
- Lian, C., Wang, L., Wu, T.-H., Wang, F., Yap, P.-T., Ko, C.-C., & Shen, D. (2020). Deep multi-scale mesh feature learning for automated labeling of raw dental surfaces from 3d intraoral scanners. IEEE transactions on medical imaging, 39 , 2440–2450.(用于来自三维口内扫描仪的原始牙科表面自动标记的深度多尺度网格特征学习)
- Liao, S.-h., Liu, S.-j., Zou, B.-j., Ding, X., Liang, Y., & Huang, J.-h. (2015). Automatic tooth segmentation of dental mesh based on harmonic fields. BioMed research international, 2015 .(基于谐波场的牙科网格的自动牙齿分割)
- Liu, Z., Lin, Y., Cao, Y., Hu, H., Wei, Y., Zhang, Z., Lin, S., & Guo, B. (2021). Swin transformer: Hierarchical vision transformer using shifted windows.(Swin transformer:使用偏移窗口的分层视觉变换器)
- Loshchilov, I., & Hutter, F. (2017). Decoupled weight decay regularization.(解耦权重衰减正则化)
- Ma, Q., Wei, G., Zhou, Y., Pan, X., Xin, S., & Wang, W. (2020). SRF-Net: Spatial Relationship Feature Network for Tooth Point Cloud Classification. Computer Graphics Forum, 39 , 267–277.(SRF-Net:用于牙齿点云分类的空间关系特征网络)
- Miki, Y., Muramatsu, C., Hayashi, T., Zhou, X., Hara, T., Katsumata, A., & Fujita, H. (2017). Classification of teeth in cone-beam ct using deep convolutional neural network. Computers in biology and medicine, 80 , 24–29.(使用深度卷积神经网络对锥束CT中的牙齿进行分类)
- Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., Killeen, T., Lin, Z., Gimelshein, N., Antiga, L., Desmaison, A., Kopf, A., Yang, E., DeVito, Z., Raison, M., Tejani, A., Chilamkurthy, S., Steiner, B., Fang, L., Bai, J., & Chintala, S. (2019). Pytorch: An imperative style, high-performance deep learning library. In Advances in Neural Information Processing Systems 32 (pp. 8024–8035).(Pytorch:一种命令式风格、高性能的深度学习库)
- Qi, C. R., Su, H., Mo, K., & Guibas, L. J. (2017a). PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 652–660).(PointNet:用于三维分类和分割的点集深度学习)
- Qi, C. R., Yi, L., Su, H., & Guibas, L. J. (2017b). Pointnet++: Deep hierarchical feature learning on point sets in a metric space. Advances in neural information processing systems, 30 .(Pointnet++:在度量空间中对点集进行深层次特征学习)
- Qiu, L., Ye, C., Chen, P., Liu, Y., Han, X., & Cui, S. (2022). Darch: Dental arch prior-assisted 3d tooth instance segmentation with weak annotations. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 20752–20761).(Darch:辅助弱标注的牙弓先验帮助的三维牙齿实例分割)
- Rao, Y., Wang, Y., Meng, F., Pu, J., Sun, J., & Wang, Q. (2020). A symmetric fully convolutional residual network with dcrf for accurate tooth segmentation. IEEE Access, 8 , 92028–92038.(用于准确牙齿分割的对称全卷积残差网络和DCRF)
- Ren, S., He, K., Girshick, R., & Sun, J. (2015). Faster r-cnn: Towards real-time object detection with region proposal networks. arXiv preprint arXiv:1506.01497 , .(Faster r-cnn:实现实时目标检测的区域建议网络)
- Rodriguez, A., & Laio, A. (2014). Clustering by fast search and find of density peaks. Science, 344 , 1492–1496.(密度峰值的快速搜索和发现的聚类)
- Schubert, E., Sander, J., Ester, M., Kriegel, H. P., & Xu, X. (2017). Dbscan revisited, revisited: why and how you should (still) use dbscan. ACM Transactions on Database Systems (TODS), 42 , (重新访问: 为什么以及如何(仍然)使用 Dbscan.ACM 事务处理数据库系统)
- Szyma´nski, P., & Kajdanowicz, T. (2017). A scikit-based python environment for performing multi-label classification.(基于scikit的Python环境用于执行多标签分类)
- Tang, L., Zhan, Y., Chen, Z., Yu, B., & Tao, D. (2022). Contrastive boundary learning for point cloud segmentation. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 8489–8499).(用于点云分割的对比边界学习)
- Tian, S., Dai, N., Zhang, B., Yuan, F., Yu, Q., & Cheng, X. (2019). Automatic classification and segmentation of teeth on 3d dental model using hierarchical deep learning networks. IEEE Access, 7 , 84817–84828.(使用分层深度学习网络对三维牙科模型上的牙齿进行自动分类和分割)
- Verma, N., Boyer, E., & Verbeek, J. (2018). FeaStNet: Feature-Steered Graph Convolutions for 3D Shape Analysis. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (pp. 2598–2606).(FeaStNet:用于三维形状分析的特征导向图卷积)
- Wang, J., Sun, K., Cheng, T., Jiang, B., Deng, C., Zhao, Y., Liu, D., Mu, Y., Tan, M., Wang, X. et al. (2020). Deep high-resolution representation learning for visual recognition. IEEE transactions on pattern analysis and machine intelligence, 43 , 3349–3364.(用于视觉识别的深度高分辨率表示学习)
- Wang, J., Yang, Y., Mao, J., Huang, Z., Huang, C., & Xu, W. (2016). Cnn-rnn: A unified framework for multi-label image classification. In IEEE conference on Computer Vision and Pattern Recognition (pp. 2285–2294).(CNN-RNN:多标签图像分类的统一框架)
- Wu, K., Chen, L., Li, J., & Zhou, Y. (2014). Tooth segmentation on dental meshes using morphologic skeleton. Computers & Graphics, 38 , 199–211.(使用形态骨架在牙科网格上进行牙齿分割)
- Wu, T.-H., Lian, C., Lee, S., Pastewait, M., Piers, C., Liu, J., Wang, F., Wang, L., Chiu, C.-Y., Wang, W. et al. (2022). Two-stage mesh deep learning for automated tooth segmentation and landmark localization on 3d intraoral scans. IEEE Transactions on Medical Imaging, .(用于三维口内扫描的自动牙齿分割和地标定位的两阶段网格深度学习)
- Xu, X., Liu, C., & Zheng, Y. (2018). 3d tooth segmentation and labeling using deep convolutional neural networks. IEEE transactions on visualization and computer graphics, 25 , 2336–2348.(使用深度卷积神经网络进行三维牙齿分割和标注)
- Yaqi, M., & Zhongke, L. (2010). Computer aided orthodontics treatment by virtual segmentation and adjustment. In IEEE International Conference on Image Analysis and Signal Processing (ICISP) (pp. 336–339). IEEE volume 1.(通过虚拟分割和调整进行计算机辅助正畸治疗)
- Yuan, T., Liao, W., Dai, N., Cheng, X., & Yu, Q. (2010). Single-tooth modeling for 3d dental model. International journal of biomedical imaging, 2010 .(三维牙科模型的单牙建模)
- Zanjani, F. G., Moin, D. A., Claessen, F., Cherici, T., Parinussa, S., Pourtaherian, A., & Zinger, S. (2019a). Mask-mcnet: Instance segmentation in 3d point cloud of intra-oral scans, . (pp. 128–136).(Mask-mcnet:口内扫描的三维点云实例分割)
- Zanjani, F. G., Moin, D. A., Verheij, B., Claessen, F., Cherici, T., Tan, T. et al. (2019b). Deep Learning Approach to Semantic Segmentation in 3D Point Cloud Intra-oral Scans of Teeth. In International Conference on Medical Imaging with Deep Learning (MIDL).(口内扫描牙齿的三维点云语义分割的深度学习方法)
- Zhang, J., Li, C., Song, Q., Gao, L., & Lai, Y.-K. (2020). Automatic 3D Tooth Segmentation using Convolutional Neural Networks in Harmonic Parameter Space. Elsevier Graphical Models, 39 , 101071.(在谐波参数空间中使用卷积神经网络进行自动三维牙齿分割)
- Zhao, H., Jiang, L., Jia, J., Torr, P. H., & Koltun, V. (2021a). Point transformer. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 16259–16268).(Point transformer)
- Zhao, M., Ma, L., Tan, W., & Nie, D. (2006). Interactive tooth segmentation of dental models. In IEEE Engineering in Medicine and Biology Conference (IMBC’06) (pp. 654–657). IEEE.(牙科模型的交互式牙齿分割)
- Zhao, Y., Zhang, L., Liu, Y., Meng, D., Cui, Z., Gao, C., Gao, X., Lian, C., & Shen, D. (2022). Two-stream graph convolutional network for intra-oral scanner image segmentation. IEEE Transactions on Medical Imaging, 41 .(用于口内扫描仪图像分割的双流图卷积网络)
- Zhao, Y., Zhang, L., Yang, C., Tan, Y., Liu, Y., Li, P., Huang, T., & Gao, C. (2021b). 3d dental model segmentation with graph attentional convolution network. Pattern Recognition Letters, 152 , 79–85.(用于三维牙科模型分割的图注意力卷积网络)
- Zou, B.-j., Liu, S.-j., Liao, S.-h., Ding, X., & Liang, Y. (2015). Interactive tooth partition of dental mesh base on tooth-target harmonic field. Computers in biology and medicine, 56 , 132–144.(基于牙齿目标谐波场的牙科网格交互式牙齿分割)