自动摘要: 陈媛媛算法工程师交接文档 前言: 21年7月入职,近3年了。从一开始配置个环境状况百出到现在可以独立完成一个网络模型的测试和部署。进步很多,不足也有,在此期间接触最多最频繁的还是图 ……..
陈媛媛-算法工程师-交接文档
前言:
21年7月入职,近3年了。从一开始配置个环境状况百出到现在可以独立完成一个网络模型的测试和部署。进步很多,不足也有,在此期间接触最多最频繁的还是图像,甚至是图像分割,部署也只做了图像模型相关。感谢领导们给时间给机会让我接触了更多更广泛的方向进行测试和学习。比较遗憾的是接触了3D模型,但是没有更多机会学习到更多,至今还没会它的部署……
现状:
齿龈分离
- 代码
- 代码位置:服务器 192.168.1.53 和工作机
- 训练代码:服务器
1. - 数据处理代码:工作机
- onnx转换代码:服务器
- C++部署代码(测试用,吴总那有自己的版本):
- 数据
- 新数据:最新的数据在训练文件夹 data 里面,后续新数据按下面操作后放入更新,目前小燕在负责更新,有的新的数据会给地址包含原图和 json 文件。
- 旧数据:
1. - 流程
- 数据准备:
1. labelme 标的数据(包含原图和对应的.json 文件)——>VOC 类型数;
2. 按需求运行 0-4:- 具体见注释,一般情况下 3-4 即可生成VOC 类型数据放入训练代码中的 data 文件对应位置;
- 运行:
1. 运行 train.py,环境用的 openmmlab - 训练查看:
1. 查看损失和精度:运行 analyze_logs_loss.py 和 analyze_logs_miou.py - 部署:
1. 运行 mmdeploy 中的 torch2onnx_seg.py 文件 - 总结:
- 总体效果是不错的,但目前对分离的要求越来越高,部分软组织很难分的很干净;之前识别 牙齿/保留牙龈/种植杆(**”background“, “tooth”, “gum”, “implant”),目前识别种植杆/丢弃 部分(”background“, “implant”, “abandon”)**,目前反馈是口内效果不错,牙模型上的种植 杆欠缺,目前训练数据牙模型和牙模型包含种植杆的数据很少,目前训练数据 3900 张左右。
病理识别
- 代码
- 代码位置:服务器 192.168.1.53 :/home/chengyy/project/mmlab/mmsegmen(pathology)
- 别的代码和齿龈分类的一致
- 部署测试代码:
- 两个都可以
- F:/test project/STDCNetTensorRT_test
- F:/test project/CLASSIFYTensorRT
- 数据
- 新数据:最新的数据在训练文件夹 data 里面,后续新数据按下面操作后放入更新 带 json 的标签数据在:E:/2D/something/datasets/分割病理_json_6类
- 流程
- 和齿龈分离用的相同的库,流程是一样的
- 总结:
- 未应用在测试过程中的项目。前面有尝试过分类和目标识别,效果都一般,分割效果比较好, 因为它只要找到病理就行不需要找的范围很精准,目前看着可以进行后一步的测试,现在数 据大概 1250 张,有些标记的病理不是很统一因为标准比较难定。后续可以改进训练数据及 增加不同类型的病理效果应该能满足需求(目前应该是不着急所以没人帮忙标数据)。现在 的分割类别:**”background“, “decayed”, “stone_stain”, “bleed”, “implant_repair”, “root”**共 6 类 (把不容易区分的尽量合成一类了)。
拖影识别
- 代码
- 训练代码位置:服务器 192.168.1.53
- 数据
- 最新的数据在训练文件夹 data 里面,增加数据就放入对应类就行;
- 流程
- 运行 train.py
- 用于部署的 onnx 文件转换:
- 运行 mmdeploy 中的 torch2onnx_class.py 文件
- 总结:
- 仅用于他们验证问题使用了,现已不用。
场景识别
- 代码:
- 训练代码位置:服务器 192.168.1.53
- 数据:
- 最新的数据在训练文件夹 data 里面,增加数据就放入对应类就行
- 流程:
- 运行 train.py
- 用于部署的 onnx 文件转换:
- 运行 mmdeploy 中的 torch2onnx_class.py 文件
- 总结:
- 石膏树脂等材料测试时候判别不太好。他们现在没有这个需求了,现已不用。
其他(一些曾用数据和模型位置)
- 这些是以前用的数据,原始数据:
- 这是目前在用和待用的数据
- 这是口扫目前比较新的用过的模型
缺陷:
齿龈分离的部署代码可以改改,改成病理这种更简洁方便,这版本是在张宸豪的指导下完成的,直接给dll就行。
病理的数据标记的时候也要和齿龈一样认真确认好,现在的还不是很好。
个人遗憾:
有些学到的技巧还没来得及测试,不知道未来还有没有机会。
团队期望:
希望团队更加壮大,团结又强大