智慧医学影像科技发展报告.ppt

　　智慧医学影像科技发展报告

　　xxx

　　+

　　(Gp:) IT

　　(Gp:) 互联/物联网、 传感器、芯片、 算法

　　(Gp:) 影像

　　(Gp:) X光、核磁、超声 热成像、光学等

　　=

　　(Gp:) 智慧医学 影像

　　3

　　(Gp:) 医学影像科技发展背景

　　(Gp:) 1

　　(Gp:) 医学影像应用现状

　　(Gp:) 2

　　(Gp:) 医学影像大数据时代

　　(Gp:) 3

　　(Gp:) 医学影像分类与检索

　　(Gp:) 4

　　(Gp:) 深度学习与医学影像诊断

　　(Gp:) 5

　　(Gp:) 医学影像与精准医疗

　　(Gp:) 6

　　(Gp:) 医学影像科技发展背景

　　(Gp:) 1

　　医学影像市场空间和规模

　　医学影像设备全球市场增长趋势

　　全球医学影像设备市场从2012年起一直保持23.6%的速度增长 预计到2020年达到490亿美元; 国内占市场的12%，如图。

　　医学影像辅助软件市场

　　全球医学影像软件市场从2012年的17亿美元上升到2017年的25亿美元; 国内目前还缺乏具体的数据，但从公开的799家三甲医院来看，医学影像占全院总收入在20%左右，仅次于药品，且增速远高于药品。

　　医学影像市场空间和规模

　　智慧医学影像新机遇

　　国内：医学影像项目有8个，发生融资交易的有10起，共计融资超6000万人民币，分别是医联、云医、汇医慧影、艾佩克、海纳医信、医图、医库网、医酷，项目融资大多在早期阶段; 国外：医学影像领域发生融资交易的有25起，获得融资的项目有10个(包括一个收购案)，共计融资超2.3亿美元。

　　2015年上半年国内国外融资情况

　　医学影像6个阶段与互联网医疗7个重要领域

　　中外医学影像产业发展对比

　　相比美国，受国内现有医疗体系和大环境的限制，在医学影像诊断服务领域存在较大的差距，改进潜力巨大。

　　医学影像App功能分布与对比

　　发现涉及医学影像app：国内有15个和海外有84个，从数量和功能上都反映我国医学影像应用的整体水平还处于起步阶段。

　　现在越来越多的消费者已经开始使用可穿戴设备来管理他们的健康状况，可以通过智能手机应用程序跟踪用户日常活动与热量摄入、燃烧情况，或者根据活动数据来监测心率、体温……这些可穿戴健康医疗设备除了给普遍大众带来不少健康帮助外，也给不少中老年人用户带来了福音。 个性化、定制化、精准化医疗成为必然趋势。

　　Oto Home检耳镜

　　最新医学影像app应用

　　智能手机脑部扫描仪

　　便携式超声设备

　　iPhone皮肤扫描皮血管镜

　　(Gp:) 发展现状

　　(Gp:) 2

　　医用显示屏

　　便携终端

　　灰阶显示屏

　　新型数码激光胶片

　　数字化显示

　　胶片输出

　　化学胶片

　　(Gp:) 彩色

　　(Gp:) 环保

　　(Gp:) 高清

　　(Gp:) 经济

　　(Gp:) 非化学反应

　　(Gp:) 健培医用胶片

　　可视化应用——影像显示

　　可视化应用——影像三维重建

　　全身3D影像显示

　　左侧为标准二维超声心动图，右侧为三维超声心动图

　　四维彩超

　　三维全息技术目前已成为世界各大公司关注的热点。 应用全息影像技术，医生可从不同视角查看医学图像。 以色列公司RealView Imaging、美国公司Echo Pixel等正在将全息影像技术从研究推向应用。

　　RealView Imaging的三维全息技术及其应用

　　可视化应用——影像三维全息

　　近年来，随着国家政策扶持力度加强，中医体质的相关研究成为目前中医领域研究的热点。 各种研究正在逐步证实红外影像与中医体质之间的联系。 健培中医影像智能诊断系统为亚健康检测、疼痛和动静脉血管功能的监测、急慢性炎症以及肿瘤的疗效等中医诊疗提供了量化评估依据。

　　可视化应用——中医理论可视化

　　医学影像辅助——诊断

　　医学影像辅助诊断根据医学影像提供的信息，按照不同疾病的临床影像特征做出判断，从而辅助医生对病情做出更精确的判断。 其应用到的技术包括图像分析、图像检索等。 目前西门子开发CADVision自动分析乳腺癌发生率;IBM利用Watson的智能计算能力来分析医学影像为医生提供大量辅助医疗数据。

　　使用MediaCybernetics的Image Pro对医学图像进行分析

　　医学影像辅助——治疗

　　在疾病的治疗和手术过程中，医生往往需要对特定部位进行操作、对病情变化进行监测、对不同器官自动识别和跟踪。 微软公司、美国国家影像引导治疗中心NCIGT等正在研发一系列基于医学影像分析及图像识别技术的医学辅助产品。

　　微软Inner Eye项目使用图像分析技术识别人体器官并辅助医生进行手术

　　医学影像技术的发展为医学教学提供了先进手段。 除了利用传统的二维和三维医学影像技术来实现医学院教学外，微软等公司还利用全息影像来帮助医学院的教学任务。 微软目前发布了面向医学应用方向的全息眼镜Hololens，其用于医学教学的功能包括：骨肉分离、器官分离、伤情对比展示等。

　　微软Hololens实现三维全息教学实践

　　医学影像辅助——教学

　　PACS厂商： 国内：沈阳东软、北京天健、上海岱嘉、杭州健培、西安华海、福建实达、深圳安科信息、成都金盘、上海英飞达、深圳蓝韵、常州金马扬名等。 国外：GE、西门子、富士、锐科、AGFA等。

　　杭州健培HealthViewTM智慧影像云平台

　　基于云计算的医学影像整体解决方案

　　新趋势： 云计算平台、海量存储、在线阅片、信息共享、远程服务、影像交互、分级诊疗、智能辅助诊断等。

　　互联网+医学影像——PACS

　　移动阅片：建立云端影像系统，克服时间和地域上的限制，实现影像数据共享，移动终端随时随地查阅影像资料。

　　远程影像会诊：影像数据共享，实现交互式的远程诊断、远程会诊

　　互联网+医学影像——移动阅片和远程会诊

　　交流共享，提供分享传递医学影像的工具; 专注于医学影像资料数据库、医学教育; 基于在线影像的影像诊断功能。

　　(Gp:) Figure 1

　　(Gp:) ImageInbox

　　(Gp:) Mobile MIM

　　(Gp:) Jack Imaging

　　(Gp:) Radiopaedia

　　(Gp:) ResolutionMD

　　(Gp:) VisualDx

　　国外

　　医学影像

　　轻盈医学

　　丁香客

　　杏树林

　　国内

　　医生站

　　互联网+医学影像——APP

　　Figure 1

　　Mobile MIM

　　OsiriX HD

　　互联网+医学影像——APP

　　人机接口的内容 计算机提供“环境”，不是“数据”，“信息”。 人机接口的形式 操作者由视觉、听觉、力觉感知环境，由自然动作操作环境。 人机接口的效果 逼真的感知和自然的动作，身临其境的感觉。

　　lmmersion(沉侵)，身临其境的感觉。 lnteraction(交互)，用户感知与操作环境。 lmagination(想象)，启发性、广阔的可想像空间。

　　虚拟现实的特点

　　虚拟现实(Virtual Reality, VR)技术以可视化医学影像为载体，集听、触、嗅、味等多种感知能力为一体，虚拟医学实验、培训、诊断和治疗的环境，是电脑模拟出来的一个三维空间的虚拟世界。

　　虚拟现实在医学影像中的应用

　　1. 虚拟人体解剖

　　2. 远程手术

　　4. 虚拟教学平台

　　3. 虚拟手术

　　虚拟现实在医学影像中的应用

　　以课堂教学为主，再结合挂图、模型、标本、人体等辅助教学工具进行教学，并配以费用较高的动物实验、尸体解剖来加深学生的理解。

　　中医传统教学方法

　　(Gp:) 3D穴位图

　　(Gp:) 虚拟人体经络图

　　中医虚拟现实教学方法

　　虚拟现实在中医领域的应用

　　医学影像大数据

　　3

　　(Gp:) 1. Volume

　　(Gp:) 2. Variety

　　(Gp:) 3. Value

　　(Gp:) 4. Velocity

　　(Gp:) 结构化数据、半结构化数据和非结构化数据 如今的数据类型早已不是单一的文本形式，订单、日志、音频，对处理能力提出了更高的要求

　　(Gp:) 沙里淘金，价值密度低 以视频为例，一部一小时的视频，在连续不间断监控过程中，可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题

　　(Gp:) 实时获取需要的信息 大数据区分于传统数据最显著的特征。如今已是ZB时代，在如此海量的数据面前，处理数据的效率就是企业的生命

　　数据量巨大 全球在2010 年正式进入ZB 时代，IDC预计到2020 年，全球将总共拥有35ZB 的数据量

　　医学影像大数据——大数据的“4V”特征

　　建立统一的通讯标准。采用不同的设备、架构，因此具有异构性，必须统一通讯标准。 减少医学影像的压缩损失。 医学影像资料所占的存储空间大，因此在存储和传输的过程中需要压缩。 存储介质和存储架构的新要求。医学影像很大，会延长读取的时间，因此对于存储介质的I/O速度提出了新的要求。

　　大数据影像的关键技术

　　存储和传输

　　医学影像数据挖掘是非结构数据挖掘，必须进行预处理，以生成可用于高层次挖掘的影像特征库。影像数据挖掘的一般流程通常包括：

　　影像的存储 影像的预处理影像的搜索 影像的挖掘 影像的展示 ...

　　挖掘

　　IT+神经网络开启智能医学影像新时代

　　据报道2015年8月6日，IT巨头IBM将以10亿美元收购医学成像设备提供商Merge Healthcare。届时Watson不仅可以读懂这些医疗图像(CT扫描、乳房摄像)，还可以根据巨大的电子病历数据库进行分析诊断。这将是Watson对大数据医疗行业的又一次颠覆。 目前医疗数据中有超过90%来自于医学影像，但是这些数据大多要进行人工分析。如果能够运用人工智能技术分析医学影像，并将影像与医学文本记录进行交叉对比，就能够极大地降低医学诊断上的失误，帮助医生精准诊断，挽救患者生命。 IBM认为，Watson的认知计算能力在医学造影方面完全可以辨别患者应该接受X射线、CT还是核磁共振。而现在缺乏的是客户以及医学影像资料，而这恰好也是Merge可以提供的资源。

　　IBM的智能医学影像分析项目-Watson计划

　　大数据医疗的进展

　　医学影像分类和检索

　　4

　　(Gp:) 按图像特征分类提取

　　(Gp:) 颜色特征

　　(Gp:) 纹理特征

　　(Gp:) 形状特征

　　(Gp:) 语义特征

　　(Gp:) 空间关系特征

　　空 间 频 域 联 合 分 析 法

　　颜 色 聚 类 法

　　颜 色 相 关 图

　　基 于 机 器 学 习 的 方 法

　　累 积 直 方 图 法

　　统 计 法

　　基 于 文 本 注 释 的 方 法

　　不 变 矩 法

　　多 边 形 近 似 法

　　傅 里 叶 描 述 子 法

　　均 匀 图 像 子 块 提 取 法

　　模 型 法

　　区 域 分 割 对 象 提 取 法

　　特征提取是分类和检索的基础。它是指利用计算机技术提取图像的特征信息(如颜色、纹理、形状等)。

　　分类和检索的基础——特征提取方法列举

　　由于单一特征包含的图像特征信息较少，得不到理想的检索结果，所以需要融合多个特征来描述图像，并根据用户感兴趣的因素调节各特征权重来实现有效的检索。如下图所示为特征融合模型。

　　医 学 影 像

　　尺度空间

　　灰度特征

　　概率矩阵P1

　　概率矩阵P2

　　概率矩阵P3

　　决 策 规 划

　　分类和检索的基础——多特征融合提取

　　1层

　　O*S层

　　2层

　　纹理特征

　　形状特征

　　频域特征

　　(Gp:) 基分类器1

　　(Gp:) 基分类器2

　　(Gp:) 基分类器n

　　基分类器

　　方法:从灰度、纹理、形状、频域四种互补的角度描述医学影像，最后基于最大似然估计理论构建决策级特征模型，实现医学影像分类。 从临床中随机选取 9225 幅医学影像，根据其成像技术、方向与解剖学部位划分为31个类别。实验采用10- fold cross- validation进行评估，下图为实验结果。

　　分类和检索的基础——多特征融合的医学影像分类

　　从上表中可以看出，灰度直方图的最优分类精度为69.7%;纹理特征的分类精度分类精度为83.67%，大大高于灰度直方图方法;而基于词袋模型的分类精度最优值为90%，高于纹理特征的分类精度。这说明基于词袋模型的医学影像分类方法的分类精度远远高过基于全局特征的分类精度。

　　词袋模型：首先提取图像的特征，然后将所有的特征聚类，生成视觉词汇表，根据这个词汇表构建每幅图像的视觉单词表示，最后输入到支持向量机中进行训练和测试。

　　分类方法——词袋模型的医学影像分类

　　A. Kusiak等人提取了50例肺癌患者的基本资料和X光片的数字化特征，将粗糙集应用于特征数据的挖掘，使得肺癌早期患者诊断的准确率得到很大的提高。 Antonie 等人在医学影像数据库中抽取了各类乳腺图像资料，采用关联规则和神经网络对不同区域的纹理特征进行挖掘，有效的对乳腺癌患者实现了自动诊断。 P. Perner采用决策树对图像的底层视觉特征和临床专家的诊断信息进行挖掘，发现其隐含的关联，进而辅助临床医生进行医疗诊断。

　　影像分类研究现状

　　检索方法——局部线性嵌入(LLE)算法

　　方法：1)提取颜色分量的信息熵，利用邻域灰度共生矩阵提取纹理特征; 2)采用LLE算法对颜色和纹理特征进行组合降维处理，采用欧式距离相似度量模型对图像进行初步检索;3)采用最小二乘支持向量机对初步检索结果进行相关反馈，采用LSSVM 对初步检索结果进行修正，进一步提高了查全率与查准率。 对采用原始特征、颜色特征、纹理特征以及LLE算法降维处理后的特征进行对比实验，得到平均检索正确率，如下图所示。

　　检索方法——人工鱼群(AFSA)

　　人工鱼群检索方法：1)提取输入医学图像的相关特征，并初始化特征权值;2)采用相似度模型进行检索并排序;3)用户对检索结果进行评价，不满意则执行4);4)根据用户反馈信息，采用AFSA对医学图像特征权值进行自适应调整，并返回2)继续检索。

　　不同特征权值优化方法的间作性能比较。

　　美国Purdue开发的ASSERT系统，针对胸CT图像局部病变特征来建立相似性准则，但自动化性能较低。 美国Los Alamos国家实验室设计的CANDID系统，利用单点像素上特征参量的概率密度函数作为图像特征，并针对胸部CT图像进行了实验。其不足在于函数难以生成且运算速度慢。 美国华盛顿大学医学院的X-胸片CBMIR系统。

　　影像检索研究现状

　　深度学习与医学影像诊断

　　5

　　深度学习和神经网络

　　传统的神经网络与深度学习模型

　　相似的分层结构(由输入层、隐藏层、输出层组成)，比较解决人类大脑的结构 不同的训练机制(传统神经网络采用back propagation方式、深度学习采用layer-wise的方式)

　　深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

　　深度学习

　　深度学习模型属于深层神经网络

　　随着高性能计算技术与高精度探测技术的不断发展，医学影像辅助诊疗已经被医疗界广泛接受和采用，同时对医学影像的处理提出了更高的要求和挑战。

　　深度学习在医学影像处理中的前景

　　痛点： 生理评判的模糊性 信息生成的随机性 物理求解的病态性 面对应用的实时性

　　医学影像处理现状

　　难点： 数据量大 人工特征通用性差 特征区分能力差

　　现有医学影像处理还处于基础阶段：医学影像重建和显示，高级功能如影像分类、检索和识别效果较差，还无法满足临床应用的要求。

　　深度学习应用

　　利用深度学习提取影像的分布式特征实现医学影像的智能化分析。 有较大的探索空间和创新价值。

　　优势： 深层结构的优势 提取全局特征 上下文信息的能力

　　深度学习在医学影像处理中的前景

　　沈定刚教授 美国北卡罗来纳大学 利用深度学习实现对大脑、前列腺、大腿骨、骨盆及其他人体或动物器官等影像的自动分割、分类和识别。

　　徐洋 微软 利用深度学习网络实现医学影像分类。

　　Holger R. Roth：美国国立卫生临床中心

　　建立2.5D深度学习技术，实现对CT影像的自动分类。 此外，还研究了基于深度学习的胰腺分割技术、淋巴结节检测等。

　　MetaMind是一家专注于深度学习的创业公司。该公司推出了一项面向医学影像领域的深度学习应用——HealthMind，可用于医学图像自动诊断，如颅内出血(Intracranial Hemorrhage)、糖尿病视网膜病变(Diabetic Retinopathy)、肺结节(Lung Nodule)等。

　　国内外初创公司的介绍

　　未来将可实现影像诊断自动化

　　Enlitic是一家通过大数据帮助医生分析图像的创业公司，主要针对医学影像数据库及扩充库，利用深度学习技术实现对数据的智能化分析，为医生提供最适当的诊断信息。

　　HealthView是杭州健培科技有限公司专门针对医学影像分析诊断推出的应用。主要利用大数据深度学习技术实现医学影像数据的智能化分析，为医生提供医学诊断建议报告。

　　医学影像与精准医疗

　　6

　　精准医疗的国内外定义

　　精准医疗是通过基因组、蛋白质组等组学技术和医学前沿技术，对于大样本人群与特定疾病类型进行生物标记物的分析与鉴定、验证与应用，从而精确寻找到疾病的原因和治疗的靶点。

　　精准医疗是集合现代科技手段与传统医学方法，科学认知人体机能和疾病本质，以最有效、最安全、最经济的医疗服务获取个体和社会健康效益最大化的新型医学范畴。

　　美国 定义

　　中国 定义

　　(Gp:) +

　　(Gp:) 精准诊断

　　(Gp:) 基因测序

　　(Gp:) 精准治疗

　　(Gp:) 精准定位、 精准剂量

　　(Gp:) =

　　(Gp:) 精准医疗

　　医学影像服务精准医疗

　　医学影像服务精准医疗

　　(Gp:) 精准预防

　　(Gp:) 精准诊断/反馈

　　(Gp:) 医学影像数据的采集、分析、解读，可以实现精确评估、诊断。

　　(Gp:) 医学影像医疗诊断的目标是使得疾病的检测和治疗要早于基于临床进展的检测和治疗。

　　总结和展望

　　50

　　视频播放

　　THANKS