辅助AI决策一些建议

自动摘要: 尊敬的领导：我总结了一下当下现状，结合未来规划，提供以下一些建议，辅助领导更好的决策。 当前项目发展及其问题 修复类基于隐函数方案 现状 基本完成口腔修复类AI框架 ……..

尊敬的领导：我总结了一下当下现状，结合未来规划，提供以下一些建议，辅助领导更好的决策。

当前项目发展及其问题

修复类–基于隐函数方案

• 现状
  • 基本完成口腔修复类AI框架闭环，可以针对任何3D修复类型，即“无中生有”，“形态补全”等
• 问题
  • 训练及其缓慢；
  • 推理GPU上需要10-15s，CPU上50+s；
  • 脱离python部署方案有缺陷；
  • 泛化性较弱，即只能“举一反二”，不能“举一反三”

分割类–基于多标签点云分割

• 现状
  • 基本完成口腔分割类AI框架闭环，可以针对任何3D修复类型。即分割或查找特定点，面片，线，区域等
• 问题
  • 因teethmark映射算法有问题，导致输出简化标签不匹配，重新训练验证了，几乎没有分割线不平整问题
  • 现阶段基于面片质心寻找分割区域，可以加入曲率特征,邻域信息可以再次提高鲁棒性即稳定性
  • 主要核心是GCO（多标签优化）

人员问题：

• 现状
  • 杨新—整理并优化朱远翔修复类代码及其资料，尝试改进分割方案，完成代码模板训练，推理制定标准
  • 叶子扬—尝试使用图卷积分牙
  • 张新霞—解决嵌体过深不能解决问题，制作新人培训方案
  • 邵巧玉—制作分牙数据
  • 邹童玺—改teethmark的BUG
• 问题
  • 人员培养成本过高，很难达到在规定时间产出

未来项目发展及其问题

龋齿检测与方案生成—英伟达开源方案GauGAN2–与我们嵌体类似

• 方案规划
  • 3D模型龋齿–>方案生成
    • 基于隐函数特征提取<—>与语料库(用于描述特定区域语料）进行特征匹配
    • 数据制作方式：
      • 须在牙齿特定区域标注，并提供描述文本
  • 2D龋齿图片–>方案生成
    • 在牙𬌗上检测龋齿位置<—>与语料库(用于描述特定区域语料）进行特征匹配
    • 数据制作方式：
      • 须在对特定图片，并提供描述文本
• 注：其实生成一段语音会更有吸引力

自动排牙及排料—组合优化问题

• 方案规划
  • 基于空间变换网络，将每颗牙在空间中进行大量仿射变换，然后通过与目标位计算损失，构建模型—即把排牙看出“拼图”来做
  • 基于图卷积网络，将牙颌看出一张图或几张图，寻找每颗牙最优移动路径，即路径选择–如同地图上起始点到终点规划规划

病历纠错，推荐系统，料盘识别，智能客服，摘要提取，知识图谱等

• 都有对应开源方案，Transform可以解决大部分问题，唯一一个就是数据制作，需将开源方案迁移到我司应用环境中，需要结合业务需求
• Transform是个巨型网络，离线部署难度非常大

知识产权—这也是种产品招牌

• 我们针对3D采用是自研自创，现阶段没有一家口腔公司在直接使用3D模型进行训练推理，据我了解大多还在基于开源方案2D上做多视图，深度图等探究
• 如全冠粗略统计我们有以下创新点：
  • 数据处理部分：
    • 创新点：边界采样
    • 创新点：将网格进行水密化（inside_mesh.py–>query）
  • 网络设计部分
    • 创新点：多级联特征提取/金字塔模型、
    • 创新点：使用一维卷积代替全连接
    • 创新点：近似一阶邻域信息采集作为补充特征—>类似注意力机制，但考虑的是点到一阶邻域的权重