AI_Data

自动摘要: 简介 以python为核心的数据整理工具，数据主要由AIStudio工具提供； 数据分类 1.原始数据：以关系数据库为核心，数据以编码形式存储，方便查询联系，如文本<>图像之间 ……..

简介

以python为核心的数据整理工具，数据主要由AI Studio工具提供；

数据分类

1. 原始数据：以关系数据库为核心，数据以编码形式存储，方便查询联系，如文本<–>图像之间关系；
   1. 文本类
   2. 图像类
   3. 图形类
   4. 语音类
   5. 用户行为类
   6. 视频类
   7. 医疗数据类
2. 校验数据：人工核对，并标记相关数据；
   1. 真实性
   2. 完整性
   3. 关联性
   4. 精确性
   5. 及时性
3. 预处理数据：以业务为导向，以json为枢纽，方便各种编程语言调用；
   1. 文本类—提供处理插件，统一为GLUE格式
   2. 图像类—提供处理插件，统一为VOC格式
   3. 图形类—提供处理插件，统一为shapenet格式
   4. 语音类–提供处理插件，统一为Universal Dependencies格式
   5. 用户行为类–提供处理插件，统一为OGB 格式
   6. 医疗数据类–提供处理插件，统一为MIMIC-III格式
4. AI数据：根据特定任务处理生成的数据；
   1. 2d分割
   2. 3d分割
   3. 2d检测
   4. 3d检测
   5. 3d重建
   6. 2d生成
   7. 文本生成
   8. 文本理解
   9. 视频理解
   10. 行为模拟
   11. 姿态识别
   12. 视觉问答
   13. 图像修复
   14. 模仿学习

界面

应包含功能：

1. 任务：用于记录审核人员及完成情况
2. 全屏数据预览：用于快速预览一个批次数据，方便快速找出异常数据
3. 数据筛选：用于快速筛选关键词数据
4. 数据导出：提供各种脚本支持规范导出。
5. 数据导入：支持从AI studio支持导入数据；
6. 自动数据备份：用于容灾备份，可以实现离线备份。