自动摘要: 链接:[https://www.implantology.or.kr/articles/article/RvNO/Information](https://www.implantology.or.k ……..
链接:https://www.implantology.or.kr/articles/article/RvNO/#Information
概述
人工智能和深度学习算法正在渗透到医学和牙科的各个领域。本研究的目的是回顾将深度学习算法应用于牙科和种植学的文献。通过 MEDLINE 和 IEEE Xplore 图书馆数据库的电⼦⽂献搜索于 2019 年 10⽉通过结合与“⽛科”和“深度学习”相关的⾃由⽂本术语和条⽬术语进⾏。检索的⽂献按标题/摘要级别和全⽂级别进⾏筛选。从纳⼊的研究中提取以下数据:作者信息、出版年份、研究⽬的、深度学习架构、输⼊数据、输出数据以及研究中深度学习算法的性能。从数据库中检索了 340 项研究,其中 62 项研究被纳⼊研究。深度学习算法被应⽤于⽛⻮定位和编号、龋⻮/⽛周病/根尖周病/⼝腔癌病变的检测、头颅测量标志的定位、图像质量增强、牙冠制作中变形误差的预测和补偿。在⼤多数纳⼊的研究中,卷积神经⽹络⽤于根尖射线影像、全景射线影像或计算机断层扫描。深度学习算法有望通过提取⽛科数据、检测疾病和异常病变以及提⾼图像质量来帮助临床医⽣进⾏诊断和决策。辅助材料制作中的图像质量增强、变形误差预测与补偿。
材料与方法
文献检索
为了选择有关深度学习算法在牙科中应用的文献,我们检索了MEDLINE和IEEE Xplore数据库,用于10月之前发表的所有语言的论文24, 2019.通过结合自由文本词和关于深部的词条来建立检索公式学习、神经网络和牙科(表 1)。
论文选取
论⽂选取分两步:
- 是根据题⽬和摘要选论⽂;
- 对他们的全⽂进⾏了评估。
选择论⽂的标准如下:
- ⽤于临床⽬的⽽⾮数据挖掘或统计分析的论⽂;
- 基于使⽤深度神经⽹络(如卷积神经⽹络(CNN)、循环神经⽹络(RNN))研究的论⽂或⽣成对抗⽹络 (GAN),⽽不是 AI 领域中的机器学习;
数据提取
从选定的研究中,我们提取了作者、出版年份、深度学习的信息使用的架构、输入数据、输出数据和算法的性能指标。我们将在下面详细检查这些数据
深度学习架构
CNN
CNN在2012-2017年赢得ImageNet挑战赛后引起了人们的关注,这是一个将 50,000 张高分辨率彩色图像分类为 1,000 个类别的大型规模图像识别竞赛,自 2010 年以来,每年训练 120 万张图像(图 2)。2012 年,AlexNet[2]将前 5 名错误率下降了 10% 至 16.4%,2017 年 SENet 达到了 2.3%。CNN的起源是Neocognitron模型,该模型将神经生理学理论应用于基于视觉皮层中只有某些神经元被激活的原理的人工神经网络,根据目标物体的形状。CNN主要由三层组成:卷积层、池化层和全连接层。卷积层通过排列来创建特征图,当滤波器在输入上滑动时,方形滤波器每个位置的卷积操作输出数据。与像素相比,它的优点是在像素之间保留水平和垂直信息,全连接神经网络,将图像转换为一维矢量。池化层对特征图的大小进行下采样,并总结特征图中的重要信息; 然后通过全连接层输出分类值。例如,LeNet,它是第一个以 0.95% 的错误率对手写数字进行分类的 CNN 包括三个卷积层、三个池化层和一个全连接层(图 3)。同时,用于医学图像区域分割的U-Net没有全连接层。它包括一个编码器部分,它通过卷积和池化提取特征图,以及解码器部分,通过“上卷积”从特征图中恢复分割后的图像(图 4),在单个图像中检测多个对象时,使用基于区域的 CNN (R-CNN),该包括一个区域建议网络,用于识别物体及其位置(图 5)。区域提案网络为输入图像建议各种比例和大小的锚框,以及那些选择与先前训练的图像的高交集并集 (IOU)。
图 2.在 2010 年至 2017 年赢得 ImageNet 大规模视觉识别挑战赛 (ILSVRC) 的算法。top-5 误差是指算法为图像提出的所有 top-5 分类都是错误的概率。蓝色图的算法是卷积神经网络。虽然VGGNet在2014年排名第二,但它因其简洁的结构而被广泛用于研究。改编自 Alyafeai Z., Ghouti L., Expert Systems with Applications Proceedings of the IEEE 2019 的“A full-automated deep learning pipeline for cervical cancer classification”;141;112951.版权所有 2019 Elsevier Ltd.
图 3.LeNet-5 的架构。转载自 LeCun Y.、Bottou L、Bengio Y. 等人的“基于梯度的学习应用于文档识别”,IEEE 会议录,1998 年;86;2278–2323.版权所有 1998 IEEE。
图 4.U-net的架构。转载自 Ronneberger O.、Fischer P.、Bottou L、Brox T. 的“U-net: Convolutional networks for biomedical image segmentation”,计算机科学讲义 2015;9351:234-241。版权所有 2015 Elsevier Ltd.
图 5.基于区域的卷积神经网络中的多目标识别。转载自 Ren S., He, K., Girshick, R., Sun, J., IEEE Transactions on Pattern Analysis and Machine intelligence 2017;39(6):1137–1149.
RNNs
RNN 可以分析按时间顺序排列的时间序列数据,例如语音信号。因此,它们被用来预测股票等指数,用于语音识别、文本翻译、添加图像标题,以及图像或音乐生成。美国前总统巴拉克·奥巴马的视频似乎发表演讲已经发表,其中合成同步嘴唇运动的算法用他原汁原味的声音。该神经网络不仅接收来自前一层的输入值(
)以及前一个时间步的递归神经元,转换并将它们传递到下一个时间步的层和递归神经元,不像前馈神经网络,只有将信号从输入层传递到输出层(图 6)。当一个纯粹意义上的RNN(也称为“vanilla RNN”)具有上述特征时,配置了深层,存在梯度消失/爆炸、长-期限依赖性等问题。为了解决这些问题,细胞之间连接的变化(神经元网络),包括跳跃连接或泄漏单元、长短期记忆单元和门控循环,已经提出了使用细胞内部使用门的晶胞。
图 6.循环神经网络的结构。右图显示了随时间从左到右展开的结构。转载自 http://colah.github.io/posts/2015-08-Understanding-LSTMs/
GAN
GAN是无监督学习算法,其神经网络通过生成答案,在神经网络内部(生成器)与评估它的神经网络(鉴别器)竞争。其中生成器提出的假答案在来自鉴别器的反馈。
深度学习输出数据
深度学习图像分析的结果大致可分为以下五种类型(图7)。
- 分类
- 图像中的物体被归类为最有可能成为真实值的选项预定选项。一个例子是 LeNet-5,它将手写数字分为 10 种类型,从 0 到 9。
- 物体定位
- 这是通过边界来指示物体在图像中的位置盒。当同时进行对象定位和分类时,称为对象检测。
- 语义分割
- 这意味着根据基于像素的分割整个图像没有对象识别的分类。
- 实例分割:
- 识别每个对象和在图像中勾勒出其轮廓。
- 图像重建:
- 例如图像质量增强通过超分辨率或伪影减少,类激活图与热图重叠,它改变了颜色取决于分类对输入图像的贡献,这样就可以看到基于深度学习算法对图像的哪些区域进行分类的确认。
图 7.计算机视觉任务。改编自《https://www.slideshare.net/darian_f/introduction-to-theartificial-intelligence-and-computer-vision-revolution》。
深度学习算法的性能指标
分类算法的代表性性能指标是准确率、精确度、召回率、F1 评分和ROC曲线曲线下的面积(AUC)。其他指标,但AUC 可以使用混淆矩阵来计算,该矩阵说明了预测的分类是否与真实值匹配(图 8)。
图 8.用于计算精度 (A) 和计算召回精度的混淆矩阵,以及 Fscore (B)。
例如,当我们评估将图像分为三类的深度学习模型的准确性时,我们可以简单地通过将 A 分类为 A 的案例数来计算准确性,B 分类为B,或C为C的病例总数。
(TP=真阳性,FP=假阳性,TN=真阴性,FN=假阴性)
此外,可以通过确定精度
和召回
,用于对 A、B 和 C 进行分类,并计算
,然后计算这两个调和平均数(harmonic mean )。
对象定位和分割的评估指标包括 IOU 和骰子相似度系数,以及上述指标(图9)。借IOU也称为Jaccard指数,是计算方法是将真实值和预测面积之间的重叠面积除以联合区。骰子相似系数是通过将重叠区域的双倍除以每个区域的总和来计算的。
图 9.对象定位 (A) 和对象分割 (B) 的评估。
结果
文献检索和研究选择
我们通过检索MEDLINE和IEEE Xplore图书馆找到了340篇论文,排除了7篇重复的论文。在对标题和摘要进行评价后,我们排除了272篇论文,并对68篇论文的全文进行了评价。该研究共纳入62篇论文(图10)。附录 1 概述了被排除在外的论文及其原因.
图 10.显示文献检索和选择的流程图。
数据提取
表2列出了所选研究的特征和提取的数据。
数据
作者年 | 方法 | 输入 | 输出 | 指标 | ||
---|---|---|---|---|---|---|
1. 牙齿和口腔解剖的检测与分割
| | | | | | |
|
1.1 牙齿定位和编号
| | | | | | |
| Eun201674 | CNN滑动窗口 | 7,662 背景图,651 单根牙,484多根,(从 500 个根尖周射线 照⽚中裁剪出来) | 多目标定位(牙齿) |
| | 平均重叠率=0.714 |
| | | | 分类(背景、单根⽛、多根⽛) | | None |
| Oktay201775 | CNN滑动窗口(AlexNet)
| 100全景X光片 | 分类(前磨牙, 切牙后磨牙) |
| | 精度(后磨牙)=0.9247,精度(前磨牙)=0.9174,精度(切牙)=0.9432 |
| Miki201776 | CNN(AlexNet) | 52 个样例的裁剪 CBCT 切⽚(227×227 pixel) | 分类(中切牙,侧门牙,犬齿,第一颗前臼齿,第二颗前臼齿,第一臼齿,第二颗臼齿)
| - | | 数据集转换(旋转&伽马,矫正)精度=0.888 |
| Zhang201814 | 级联网络= 3CNNs(ImageNet预训练VGG16) + 1 个logic 优化模块 | 1,000 张根尖周X 光⽚ | 多⽬标定位(⽛齿)
|
| | 精度=0.980,召回=0.983,F1 分数=0.981 |
| | | | 分类(⽛⻮编号) | | 精度 = 0.958,召回 = 0.961,F1评分 = 0.959 |
| Chen201912 | Faster R-CNN (基于ResNetv2) | 1,250根尖周X光片[(300-500)×(300-400] pixel) | 多个目标定位(牙齿) |
| | 精度 = 0.900,召回 = 0.985,IOU= 0.91 |
| | | | 分类(牙齿编号) | | 精度 = 0.715,召回 = 0.782 |
| Tuzoff201913 | Faster R-CNN(基于VGG16) | 1,574 张全景光片 | 多目标定位(牙齿) |
| | 精度 = 0.9945,召回= 0.9941 |
| | | | 分类(牙齿编号) | | 特异性= 0.9994,召回= 0.9800 |
| | Expert | | 多目标定位(牙齿) | | 精度 = 0.9998,召回= 0.9980 |
| | | | 分类(牙齿编号) | | 精度= 0.9997,召回= 0.9893 |
| Koch201977 | 基于U-Net进行的6个修正网络 | 1,500全景X光片 | 分类(1-4:32, 有没有修复牙齿/有没有正畸牙齿, 5: 种植,6: >32 牙齿, 7-10:<32 有没有修复牙齿/有没有正畸牙齿, ) |
| | 准确度 = 0.952,精度 = 0.933,召回= 0.944,特异性= 0.961,DSC = 0.936 |
| | Mask R-CNN | | | | 准确度 = 0.98,精度 = 0.94,召回= 0.84,特异性 = 0.99,DSC = 0.88 |
| Hiraiwa201978 | CNN(AlexNet) | 400 个样本中提取 400个全景X光片CBCT图像然后从下颌第一磨牙裁剪760个图片
| 预测(下颌第一磨牙的根) |
| | 准确度 = 0.874,召回 = 0.773,特异性 = 0.971,精度= 0.963,NPV = 0.818,AUC = 0.87,训练时间= 51分钟,测试时间= 9秒 |
| | CNN(GoogleNet) | | | | 准确度 = 0.853,召回= 0.742,特异性 = 0.959,精度= 0.947,NPV= 0.800,AUC= 0.85,训练时间= 3小时,测试时间= 11秒 |
| | Expert radiologist | | | | 准确度 = 0.812,召回 = 0.802,特异性 = 0.820精度= 0.787,NPV=0.834,AUC=0.74 |
|
1.2.牙齿分割
| | | | | | |
| Jader201815 | Mask R-CNN(ResNet101) | 1,500 全景X光片 | 实例分割 |
| | None |
| | | | 分类(1-4:32, 带/不带正畸/修复牙齿5: 种植,6: >32 牙齿,7-10<32 带/不带正畸/修复牙齿) | | 准确度 = 0.98,精度 = 0.94,召回 = 0.84,F1得分 = 0.88,特异性 = 0.99 |
| Vinayahalingam201979 | CNN(U-Net) | 81全景X光片 | 实例分割(第三磨牙) |
| | DSC=0.936,IOU=0.881,召回= 0.947,特异性 = 0.999 |
| | | | 分割(下颌管) | | DSC=0.805,IOU=0.687,召回= 0.847,特异性 = 0.967 |
| De Tobel201721 | CNN(ImageNet预训练AlexNet) | 从20 全景X光片裁剪左下第三磨牙(240×390 pixel)
| 分类(修改后的Demirjian 0-9阶段) |
| | 平均准确度= 0.51,平均绝对差(MAD)= 0.6个阶段 |
| Merdietio201916 | CNN(AlexNet) | 400全景X光片 | 分割(左下第三磨牙) |
| | 准确度 = 0.61 |
| | | | 分类(修改Demirjian’s 阶段,0-9) | | 精度=0.61平均绝对差=0.53阶段Cohens linear=0.84 |
| Tian201917 | CNN(基于体素的稀疏八叉树结构) | 3D 扫描图像600牙科模型 | 分类(牙齿编号) |
| | 召回= 0.9800,特异性 = 0.9994 |
| | | | 实例分割(牙齿)
| | 准确度 = 0.8981 |
| | Expert | | 分类(牙齿编号) | | 召回= 0.9893,特异性 = 0.9997 |
| Xu201918 | CNN | 3D 扫描网格图片来自1,200牙科模型 | 实例分段(牙齿-牙龈,牙齿-牙齿) |
| | 准确度 (上颌骨) =0.9906精度(下颌骨)= 0.9879 |
|
1.3. 骨骼分割
| | | | | | |
| Duong201920 | CNN(U-Net) | 50口腔内超声波图片在8个下切牙(128×128 pixel) | 分割(牙槽骨) |
| | DSC=75.0±12.7%,召回= 77.8 ± 13.2%,特异性= 99.4 ± 0.8% |
| Minnema201919 | CNN(MS-D Net) | CBCT-20患者 | 分割(骨骼) | | | DSC = 0.87 ± 0.06,平均绝对差= 0.44毫米 |
| | CNN(U-Net) |
| | | | DSC=0.87±0.07,平均绝对差= 0.43毫米 |
| | CNN(ResNet) | | DSC=0.86±0.05,平均绝对差= 0.40毫米 |
| | 蛇的进化算法 | | DSC=0.78±0.07,平均绝对差 0.57毫米 |
|
2.图像质量增强
| | | | | | |
| Du201822 | CNN | 图片来自5,166全景X光片中间裁剪(256×256 or 384×384pixel) | 图像重建(从定位误差补偿模糊) |
| | 模型1平均标准差 = 0.339,平均绝对差 = 0.749,最大绝对差 = 1.499 |
| Liang201823 | Hanning + 过滤反投影 | 3,872 个CBCT
| 图像重建(噪音和伪影减少) |
| | 均方根误差 = 0.1180,SSI = 0.9670 |
| | ⾮局部平均加权最⼩⼆乘迭代重建 | | |
| | 均方根误差= 0.0862,SSI = 0.9839 |
| | 网络重建 | | |
| | 均方根误差= 0.1015,SSI = 0.9800 |
| Hu201924 | GAN | 低剂量 44个 CBCT
| 图像重建(噪音和伪影减少) |
| | PSNR(360°)=32.657,SSI(360°)=0.925,噪点抑制=5.52±0.25,伪影校正=6.98±0.35,细节还原=5.56±0.31,综合质量=6.52±0.34,每个训练时batch=0.691,每批测试时间=0.183 |
| | CNN | (180 张180 ° 扫描图像,120 张360 扫描图像) | |
| | PSNR(360°)=34.402,SSI(360°)=0.934,噪点抑制=8.95±0.36,伪影校正=7.20±0.23,细节还原=5.35±0.28,综合质量=7.54±0.32,每个训练时batch=0.726,每批测试时间=0.183 |
| | m-WGAN | 正常剂量的cbct图
| |
| | PSNR(360°)=33.824,SSI(360°)=0.975,噪点抑制=8.20±0.35,伪影校正=7.46±0.27,细节还原=8.98±0.20,综合质量=8.25±0.21,每个训练时batch=0.798,T每批测试时间=0.184 |
| Hegazy201925 | CNN(U-Net) | 1,000幅投影图像(0-180°),来⾃ 5 名 在 不同⽛⻮ 位置 植⼊不同种类⾦属种植体和⽛科填充物的患者 | 分割(金属) |
| | Mean IOU=0.94Mean DSC=0.96 |
| | | | 图像重建(⾦属伪影减少)) | | 平均相对误差=94.25%归一化绝对值均值误差=93.25%均方和误差=91.83% |
| | 常规分割方法 | 原始CBCT图像
| 分割( 金属 ) |
| | Mean IOU=0.75Mean DSC=0.86 |
| | | | 图像重建(金属伪影减少) | | 平均相对误差=91.71%归一化绝对值均值误差=95.06%均方和误差=93.64% |
| Dinkla201926 | CNN(U-Net) | 从 34 个头部 和 颈部 T2-加权MRI CT获取3D贴片(48×48×48voxel) 图像重建(综合计算断层扫描)
| | | | 比较合成CT和常规CT, MeanDSC=0.98±0.01,平均绝对误差=75±9 HU平均误差=9±11 HU,平均体素差=-0.07±0.22%平均伽马通过率=95.6±2.9%.平均剂量差异=0.0±0.6%(个体体积),-0.36±2.3%(高剂量体积) |
| | |
| Hatvani201927 | CBCT(原始) | 13颗牙齿的CBCT(线宽分辨率 =500微米,体素大小= 80 × 80× 80立方微米),
13颗牙齿的微型CT(线宽分辨率 =50 μ m,体素尺寸 = 40 × 40× 40立方微米)(真实数据) | 图像重建 (超分辨率)
| | | DSC=0.88差异平均值=176,差异面积平均值=0.1139 |
| | LRTV | | | DSC=0.89,Time=6988(上颌牙齿),9059(下颌前磨牙),10301 (下颌后磨牙), 差异平均值=113, 差异面积平均值=0.1395 |
| | TF-SISR | | | DSC=0.90,Time=71(上颌牙齿),92(下颌前磨牙),104 (下颌后磨牙), 差异平均值=95, 差异面积平均值=0.0987 |
| Hatvani 201928 | CBCT(原始) | 5,680 个CBCT切片13颗牙齿
5,680个微CT切片13颗牙齿(真实数据) | 图像重建(超分辨率)
| | | DSC=0.8891,牙髓的差异体积(CBCT- μCT)=12.39% |
| | SRR-_l_2 | | | DSC=0.8852牙髓的差异体积(SRR:l2- μCT)=12.25% |
| | SRR-TV | | | DSC=0.8913牙髓的差异体积(SRR:l2- μCT)=12.40% |
| | CNN(U-Net) | | | DSC=0.8998牙髓的差异体积(U-net- μCT)=10.12% |
| | CNN(Subpixelnetwork) | | | DSC=0.9101牙髓的差异体积(Subpixelnetwork-μCT)=6.07% |
|
3. 疾病检测
| | | | | | |
|
3.1.龋齿的检测
| | | | | | |
| Kumar201829 | CNN(U-Net) | >6,000 咬合X射线照片 | 实例分割(龋齿) |
| | 召回率=0.70, 精度 =0.53,F1 score=0.603 |
| | CNN(U-Net) +incrementalexample mining | | | | 召回率=0.73, 精度=0.53,F1 score=0.614 |
| | CNN(U-Net) + hard example mining | | | | 召回率=0.69, 精度=0.46,F1 score=0.552 |
| Lee201930 | CNN(ImageNet GoogleNetInception v3预训练) | 3,000 根尖X射线照片 | 分类(龋齿,非龋齿) | - | | 精度=82.0,召回率=81.0,特异性=83.0,Precision†=82.7,NPV=81.4在前磨牙和磨牙区域 |
| Casalegno201931 | CNN(U-Net 编码路径替换为ImageNetVGG16预训练模型) | 217 近红外透光图像 (256 × 320像素) | 语义分割(背景,牙釉质,牙本质,近端龋齿,咬合龋齿) |
| | Mean IOU=0.727,IOU(近端龋齿)=0.495,IOU(咬合龋齿)=0.490,AUC(近端龋齿)=0.856,AUC(咬合龋齿)=0.836 |
| | |
| | |
| Moutselos201932 | Mask R-CNN 基于ResNet101 | 79张临床照片咬合面 | 超像素级分类(国际龋齿检测和评估系统0:牙齿表面健全,1:牙釉质的第一次视觉变化,2:牙釉质的明显视觉变化,3:局部牙釉质破裂,4:牙本质的底层黑影,5:明显的牙本质,6:广泛的明显牙本质) | | | F1 score(mc)=0.596,F1 score(cpc)=0.625,F1 score(wc)=0.6843个指数减少回超像素 (mc: 最常见,cpc: 质心像素类,wc: 最差类) |
| | | | 整个图像级别的分类 | | | F1 score(mc)=0.889,F1 score (cpc)=0.778,F1 score (wc)=0.667 |
| |
| | | | | |
| Liu201934 | Mask R-CNN 基于ResNet | 12,600临床照片 (1兆像素) | 多对象定位、分类(龋齿,牙科氟中毒,牙周炎裂牙,牙科牙菌斑,牙科牙结石,牙齿脱落) |
| | 准确度: 0.875(氟牙症)-1(牙齿脱落),治疗的患者数量增加18.4%,平均诊断时间减少37.5% |
|
3.2 牙菌斑与牙周病的检测
| | | | | | |
| Yauney201780 | CNN(截断版本VGG16) |
47 (cd数据库) 和49(RD数据库) 对白光模式
和斑块模式口内照片(512 × 384像素) | 语义分割(斑块,非斑块)
| | | Accuracy=0.8718,AUC=0.8720 |
| Bezruk201735 | CNN | 丙二醛浓度,谷蛋白浓度、苏丹出血指数 | 分类(正常,牙龈炎) | - | | Precision=0.80,Recall=0.78,F1 score=0.78 |
| Aberin201836 | CNN(AlexNet) | 1,000灰度带有600的放大图像(227 × 227像素) | 分类(健康,不健康) |
| | Accuracy=0.76,均方误差=0.05,精度=0.68,Recall=0.98 |
| Joo201937 | CNN | 1,843临床照片牙周组织 | 分类(健康牙周状态,轻度牙周炎,严重牙周炎,不是牙周图像) | - | | Accuracy(健康)=0.83,Accuracy(轻度牙周炎)=0.74,Accuracy(严重牙周炎)=0.70,Accuracy(不是牙周图像)=0.94 |
| Krois201938 | CNN | 2,001裁剪全景射线照片 | 分类(<20%骨质流失,≥20%骨质流失s) | - | | Accuracy=0.81,Precision†=0.76,Recall†=0.81,Specificity=0.81,NPV=0.85,AUC=0.89,F1 score=0.78 |
| | 牙医 | | | | Accuracy=0.76,Precision†=0.68,Recall†=0.92,Specificity=0.63,NPV=0.90,AUC=0.77,F1 score=0.78 |
|
3.3. 根尖周病的检测
| | | | | | |
| Prajapati201733 | CNN(2012 ImageNetpre-trainedVGG16) | 251根尖周射线照片(500 × 748像素) | 分类(龋齿,根尖周感染,牙周炎) | - | | Accuracy=0.8846 |
| Ekert201944 | CNN | 1,331裁剪全景85张射线照片患者 (64 × 64像素) | 分类(无附件损失,牙周增宽韧带,很明显可检测到的病变) | | | Recall=0.74±0.19,Specificity=0.94±0.04Precision=0.67±0.14,NPV=0.95±0.04AUC=0.95±0.02在所有牙齿中,大多数 (6) 参考测试条件 |
| Yang201882 | CNN(GoogLeNet lnception v3) | 196对根尖周之前和治疗后(96 × 192像素) | 分类(变得更好,越来越糟,有没有明确的变化) | | | Precision=0.537,Recall=0.490, F1score=0.517 |
|
3.4. 癌前病变的检测
| | | | | | |
| Uthoff200839 | CNN | 170对自体荧光图像和白光图像 | 分类(癌性和癌前病变,不可疑) |
|
| Precision=0.8767,Recall=0.8500,Specificity=0.8875,NPV=0.8549,AUC=0.908; |
| | 远程专家 | | | | | Precision=0.9494,Recall=0.9259,Specificity=0.8667,NPV=0.8125 |
| Aubreville201740 | CNN+概率融合 | 165774个切片,从7894灰度共聚焦激光内窥镜中提取内下唇、上牙槽的视频帧,硬腭嵴(80×80像素) | Classification(normal, cancerous) |
| | Accuracy=0.883,Recall†=0.866,Specificity=0.900,AUC=0.955 |
| Forslid201741 | CNN(VGG16,ResNet18) | 口头数据集1(15个显微细胞在 × 20处拍摄的图像放大) | 分类(健康,肿瘤)
| VGG16 | | ResNet18 |
| | | | | Accuracy=80.66±3.00,Precision=75.04±7.68,Recall=80.68±3.05,F1 score=77.68±5.28 | | Accuracy=78.34±2.37,Precision=72.48±4.46,Recall=79.00±3.37,F1 score=75.51±3.17 |
| | | 口头数据集2(15个显微细胞在 × 20处拍摄的图像放大) | | Accuracy=80.83±2.55,Precision=82.41±2.55,Recall=79.79±3.75,F1 score=81.07±3.17 | | Accuracy=82.39±2.05,Precision=82.45±2.38,Rcall=82.58±1.92,F1 score=82.51±2.15 |
| | | CerviSCAN数据集(12,043显微在以下位置拍摄的细胞图像× 40倍率) | | Accuracy=84.20±0.86,Precision=84.35±0.97,Recall=84.20±0.86,F1 score=84.28±0.91 | | Accuracy=84.45±0.46,Precision=84.64±0.38,Rcall=84.45±0.47,F1 score=84.28±0.91 |
| | | Herlev数据集(917显微细胞图像) | | Accuracy=86.56±3.18,Precision=85.94±6.98,Recall=79.04±3.81,F1 score=82.16±3.85 | | Accuracy=86.45±3.81,Precision=82.45±5.11,Recall=84.45±2.16,F1 score=83.36±3.65 |
| Das201842 | CNN | 1,000,000补丁从80显微镜在 × 50处拍摄的图像放大(2,048 × 1,536像素) | 语义分割(角蛋白,上皮,上皮下,背景)
|
| | Accuracy(上皮)=0.984,Recall(上皮)=0.978,IOU(上皮)=0.906,DSC(上皮)=0.950,Accuracy(角蛋白)=0.981,IOU(角蛋白)=0.780,DSC(角蛋白)=0.752 |
| | | | 多对象定位(角蛋白珍珠) | | Accuracy=0.969 |
| Jeyaraj201943 | SVM | 1,300图像补丁来自3个数据库(BioGPS数portal = 100 TCIAArchive=500,GDC数据集=700) | 分类(正常,良性肿瘤,癌性恶性) | - | | Accuracy=0.82,Specificity=0.86,Recall†=0.76,AUC=0.725 |
| | DBN | | | | Accuracy=0.85,Specificity=0.89,Recall†=0.82,AUC=0.85 |
| | CNN | | | | Accuracy=0.91,Specificity=0.94,Recall†=0.91,AUC=0.965 |
| Song201983 | 中心注意残差网络在CNN | 48组织微阵列核心图像(3,300 × 3,300像素) | 分类(肿瘤,间质) |
| | F1 score(RGB)=86.31%DSC(RGB)=82.16% |
|
3.5. 其他疾病的检测
| | | | | | |
| Murata201945 | CNN(AlexNet) | 800裁剪全景的射线照片上颌窦(200 × 200像素) | 分类(健康,发炎) | | | Accuracy=0.875,Recall†=0.867,Specificity=0.883,Precision†=0.881,NPV=0.869,AUC=0.875 |
| | 放射科医生 | | | Accuracy=0.896,Recall†=0.900,Specificity=0.892,Precision†=0.893,NPV=0.899,AUC=0.896
|
| | 牙科住院医师 | | | Accuracy=0.767,Recall†=0.783,Specificity=0.750,Precision†=0.758,NPV=0.776,AUC=0.767 |
| De Dumast201846 | NN | 293 髁突图像从重建CBCT | 分类(关闭至正常 [对照],接近正常[骨关节炎],退化1,2,3,4-5) | | | 在混淆矩阵,Accuracy=0.441,Accuracy(包括相邻1个细胞周围真正的积极细胞)=0.912 |
| Kise201947 | CNN(AlexNet) | 500裁剪CT腮腺图像25例患者的腺体 | 分类(正常,舍格伦综合征) |
| | Accuracy=0.96,Recall†=1,Specificity=0.92,AUC=0.960 |
| | 经验丰富放射科医生 | | | | Accuracy=0.983,Recall†=0.993,Specificity=0.779,AUC=0.996 |
| | 缺乏经验放射科医生 | | | | Accuracy=0.835,Recall†=0.779,Specificity=0.892,AUC=0.997 |
| Chu201848 | Octuplet Siamese network with2-stage finetuning | 864裁剪全景射线照片(50 × 50像素) | 分类(正常,骨质疏松) | | | Accuracy=0.898 |
| Kats201949 | Faster R-CNN(ResNet101) | 65全景射线照片 | 多对象定位(动脉粥样硬化颈动脉斑块) |
| | Accuracy=0.83,Recall†=0.75Specificity=0.80,AUC=0.83 |
|
4. 面部美学的评价,头部测量标志的检测
| | | | | | |
| Murata201750 | CNN(ImageNet预训练VGG19) + LSTM
| 352个病人的图像(304×224 pixel)
嘴/左 | 分类(嘴、下巴、脸)
下巴/左 |
Face/明显失真
| | Accuracy=0.648
|
| | 多个 CNNs | | | | Accuracy=0.630 |
| Patcas201951 | CNN(互联网电影数据库-维基百科预先训练,APPA-REAL和芝加哥面孔数据集微调VGG16) | 2164张手术前/手术后下颌升支矢状劈开截骨术,下颌骨切开术,其他截骨术,600 dpi) | 预测 明显的年龄,面部吸引力(0-100,0: 极端没有吸引力,100:极具吸引力) | | | 平均差异之间表观年龄和实际年龄(操作前)=1.75 year平均差异之间表观年龄和实际年龄(手术后)=0.82 years面部吸引力增加了74.7% 的患者 |
| Leonardi201052 | Cellular NN(无监督学习) | 40横向头影测量射线照片,22个地标 | 图像重建(浮雕增强) |
| | 欧几里得距离均值误差: 较高的浮雕图像比未经过滤的 X 光片头影测量标志检测的准确性在压花 X 光片上有所提高,但只有少数几个点,没有统计学意义 |
| Qian201953 | Faster R-CNNwith VOC 2012 pre-trainedResNet50) | 400横向头影测量射线照片 | 多对象定位(19个地标) |
| | Accuracy(test 1)=0.825,Accuracy(test 2)=0.724地标可以被归类为“准确”的只有当检测到的地标和它的地面真实度小于2毫米。 |
| Torosdagli201954 | CNN(U-Net, deepgeodesiclearning),LSTM | 来自50个3D重建CBCT的25,600切片 | 分割(下颌骨) |
| | DSC=0.9386,豪斯多夫距离=5.47 |
| | | | 多对象定位(上的地标下颌骨) |
| | 平均误差(mm):冠状突(left)=0,冠状流程(right)=0.45,髁突(left)=0.33,髁突((right)=0.07,下巴=0.03,颔下点=0.49,颏前点=1.54,B-点=0.33,下齿槽点=0.52 |
|
5. 牙冠制作
| | | | | | |
| Shen201984 | CNN(U-Net) | 77 单冠模型
| 预测(变形,平移、缩小,旋转) | | | F1 score(变形)=0.9614,F1 score(缩小)=0.9408,F1 score(平移)=0.9386,F1 score(旋转)=0.9387 |
| | | | 图像重建(补偿变形,平移、缩小,旋转) | | | F1 score(变形)=0.9699,F1 score(缩小)=0.9488,F1 score(平移)=0.9517F1 score(旋转)=0.9417 |
| Shen201955 | CNN(U-Net) | 28,433切片来自713D单冠模型(256 × 256像素)
| 预测(变形、缩小,旋转) | | | Recall(变形)=1.000,Recall(缩小)=0.984Recall(旋转)=0.982,Precision(变形)=1.00精度(缩小)=0.993,精度(旋转)=0.978,F1 score(变形)=1.000,F1 score(缩小)=0.989,F1 score(旋转)=0.980 |
| | | | 图像重建(补偿变形、缩小,旋转) | | | Recall(变形)=1.000,Recall(缩小)=0.993Recall(旋转)=0.983,Precision(变形)=1.000,Precision(缩小)=0.991,Precision(旋转)=0.980,F1 score(变形)=1.000,F1 score(缩小)=0.992,F1 score(旋转)=0.982 |
| Yamaguchi201956 | CNN | 8,640 3D 扫描图像研究模型(100×100 pixel)
| 分类(无故障,脱胶) | | | Accuracy=0.985,Precision=0.970,Recall=1,F1 score=0.985,AUC=0.098 |
| Zhang201957 | CNN(基于体素的稀疏八叉树结构) | 从380准备模型数据集A: 无旋转
| 分割(颈缘线)
| | | Accuracy=0.9062,Recall†=0.9318,Specificity=0.9458 |
| | | 数据集 B: 60 ° × 5旋转 | | Accuracy=0.9558,Recall†=0.9590,Specificity=0.9521 |
| | | 数据集 B: 30 ° × 12旋转 | | Accuracy=0.9743,Recall†=0.9759,Specificity=0.9732 |
| Zhao201958 | 卷积自动编码器 | 39,424模型通过旋转77个牙冠模型增强 | 预测(非线性变形) | | | F1 score(非线性变形,分辨率 64×64×64)=0.9684 |
| | | | 图像重建(补偿) | | | F1 score(非线性变形,分辨率 64×64×64)=0.9755补偿前F1分数 (0.7782) 在补偿后增加 (0.9530) |
|
6.其他
| | | | | | |
| MiloŠević201959 | CNN(ImageNet pre-trainedVGG16) | 4,000全景X光片 (女性 =58.8%,男性 = 41.2%) | 分类(女、男) | | | Accuracy=96.87±0.96%(filter = 256,单位 = 128,没有注意机制) |
| Ilić201960 | CNN(Pre-trainedVGG16) | 4,155全景X光片(512 × 512像素) | 分类(女、男) | | | Accuracy=94.3% (over 80years=50%),Testing time=0.018 seconds |
| Alarifi201885 | Radial basis NN | 病人的自我行为健康状况态度信息 | 预测(植入成功) | | | Recall†=0.8478,Specificity=0.8678 |
| | General regressionNN | | | Recall†=0.9216,Specificity=0.9351 |
| | Associative NN | | | Recall†=0.9417,Specificity=0.9482 |
| | Memetic search optimization along with genetic scaleRNN
| | | Recall†=0.9763,Specificity=0.9828 |
| Ali201961 | R-CNN(SSD-MobileNet) | 631仪器图像或视频帧 (16:9比例,0.5或0.67百万像素) | 多对象定位,分类(牙科器械) |
| | Accuracy=0.87,Precision=0.99,Recall=1,Specificity=0.99 |
| Luo201962 | k-nearestneighbor | 10参与者运动使用可穿戴设备由手引起3D运动信号
| 分类 (1-15)
| | | Accuracy=0.472 |
| | Support ectormachine | | | Accuracy=0.391 |
| | Decision tree | | | Accuracy=0.394 |
| | RNN-based LSTM | | | Accuracy=0.973 |
3D:三维;AUC:曲线下⾯积;CAD/CAM:计算机辅助设计/计算机辅助制造;CBCT:锥形束计算机断层扫描;CNN:卷积神经⽹络;CT:计算机断层扫描;DSC:骰⼦相似系数;GAN:⽣成对抗⽹络;HU:豪斯菲尔德单位;ICDAS:国际龋病检测评估系统;IOU: 交对联;LSTM:⻓短期记忆模型;LRTV:低秩和总变异正则化;mWGAN:修改的Wasserstein ⽣成对抗⽹络;NN:神经⽹络;NPV:阴性预测值;PSNR:峰值信噪⽐;R-CNN:基于区域的卷积神经⽹络;SSI:结构相似指数;SRR:超分辨率法;TF-SISR:具有 3D 单图像超分辨率的张量分解。
1) ⽛⻮及邻近解剖结构的检测
该类别中选定的研究可以细分为三组:⽛⻮检测、⽛⻮编号、⽛⻮分割和⻣骼分割。对于⽛⻮检测和⽛⻮编号,使⽤了全景射线照⽚和锥形束计算机断层扫描 (CBCT) 图像。对⽛⻮的多个对象定位,精度据报道,在范围0.900 12 -0.995 13和在范围0.983召回14 -0.994 13。据报道,⽛⻮编号的精度在 0.715 12– 0.958 14范围内,召回范围在 0.782 12 –0.980 13范围内。⻮分割已经尝试对⽛⻮在曲⾯断层⽚15,第三磨⽛16,和⽛⻮模型17,18。还提出了⽤于从 CBCT 19和⼝腔超声图像20 中分割⻣骼外观的算法。两项对第三磨⽛发育阶段进⾏分类的研究报告的准确度分别为0.51 21和 0.61 16 1。
2) 图像质量增强
对于图像质量增强,已经进⾏了关于减少模糊、噪声和⾦属伪影以及超分辨率的研究。杜等⼈。使⽤在距离理想位置 ±20 毫⽶的位置和未对准⻓度 (mm) 处拍摄的 5,166 张全景 X 光照⽚训练的算法校正图像中⼼的模糊,他们报告的最⼤绝对误差低于 1.5 毫⽶。22梁等⼈。使⽤三种算法重建计算机断层扫描(CT) 图像,并报告了与原始 CT 图像中测量的值相⽐改进的均⽅根误差和结构相似性指数。23 Hu 使⽤Wasserstein 距离⽐较了 GAN、CNN 和修改后的 GAN,并报告说后者在 CBCT 图像的降噪⽅⾯最有效。24Hegazy 报告使⽤改进的 U-net 算法与传统⽅法相⽐,相对误差提⾼了 5.7%,标准化绝对差提⾼了 8.2%。25丁克拉等⼈。介绍了⼀种基于 U-net 的算法,该算法可以合成来⾃ T2 加权磁共振成像(MRI) 的没有⾦属伪影的 CT 图像。
3) 疾病检测⽬标疾病
包括⽛⻮龋⻮,29,30,31,32,33,34⽛周病,34,35,36,37,38个癌前病变,39,40 41,42,43种根尖周疾病,33,44个氟斑⽛,34上颌窦炎,45⻣关节炎,46⼲燥综合征,47和⻣质疏松症。4848 已经提出了⼀种⽤于在全景 X 光⽚中检测动脉粥样硬化颈动脉斑块的算法。49
4) ⾯部美学评估和头影标志定位
已经提出了⽤于评估各种图像的算法,例如⾯部照⽚、侧位头颅 X 光⽚和 CBCT 图像。村⽥等。开发了⼀种算法,⽤于从输⼊的正⾯图像中对⻥尾纹、鼻⼦、嘴唇和下巴的不对称和/或差异进⾏分类,并报告平均准确率为 64.8%。50帕卡斯等⼈。训练基于 CNN 的算法使⽤各种⾯部图像数据集估计表观年龄和⾯部吸引⼒得分(0-100 分),他们报告⾯部吸引⼒得分增加(平均差异 = 1.22,95% 置信区间:0.81、1.63)并降低正颌⼿术后的表观年龄(平均差 = –0.93,95% 置信区间:–1.50,–0.36)。51Leonardi 合成了来⾃侧位头颅 X 光⽚的浮雕图像以提⾼能⻅度,但报告阅读准确性的提⾼微不⾜道。52钱等⼈。提出了更快的 R-CNN ⽅法⽤于头部测量标志检测。在对由专家正畸医⽣⼿动定位的 19 种类型的头部测量标志的 150 张照⽚进⾏训练后,该⽅法将正畸医⽣定位的标志的 2 毫⽶范围内的标志定位为 72.4-82.5%。53 53 在 3D 重建 CBCT 上对下颌⻣进⾏分割后,定位下颌⻣上的头颅测量标志(menton、颌⻣、pogonion、B 点、下颌⻣、冠状突、髁头),报告的平均误差⼩于 1 mm除了pogonion。54
5) 牙冠制作
沉等⼈。提出了⽤于预测和补偿使⽤ 3D 打印机增材制造的单冠横截⾯误差的算法,他们报告了改进的F1 分数(平移:0.6894 → 0.9995,缩⼩:0.7188 → 0.9893,旋转:0.8906 → 0.9671)。55 55Yamaguchi 开发了⼀种算法,⽤于评估基台制备模型和分离模型的扫描数据,具有⾼脱粘可能性和低可能性(⽆故障),他们报告的准确率为 98.5%。56此外,在 3D 扫描基台制备模型中预测⽛冠边缘的算法57并提出了⼀种根据基台制备模型的扫描数据预测 3D 打印⽛冠⾮线性变形的算法。58
6) 其他
Milosevic 和 Ilic 设计了⼀种算法,⽤于根据全景 X 光⽚确定性别,报告的准确率分别为 96.87±0.96%59和 94.3%, 60。阿⾥等⼈。报告了⼀种⽤于在图像中定位和分类⽛科器械的算法。61罗等⼈。使⽤可穿戴设备收集⽇常⽣活中的 3D 运动信号,并测试了四种分类刷⽛时间和 15 种刷⽛运动的算法。在对刷⽛动作进⾏分类⽅⾯,他们报告使⽤基于 RNN 的算法的平均分类准确率为 97.3%。
讨论
引用
1 | 1. Hype cycle. Gartner. <https://www.gartner.com/smarterwithgartner/top-trends-on-the-gartner-hype-> |