亮风台5GAR远程医疗方案.docx

亮风台 5G+ AR远程医疗 应用 方案 目录 1．方案概要 3 1．1．方案概述 3 1．2．方案设计 3 1．3．方案功能 3 1．3．1．医疗现场智能记录 3 1．3．2．增强现实远程救护 4 1．3．3．生命体征可视化 4 1．3．4．AR远程会诊 5 2．产品和技术 6 2．1．HiAR Glasses智能眼镜 6 2．2．HiLeia AR远程协作平台 8 2．3．HiAR云平台 9 3．应用场景 10 3．1．5G+AR远程医疗教学 10 3．2．5G+AR城市远程救护 11 3．3．5G+AR远程会诊 12 4．关键技术与优势 12 4．1．二维图像识别和跟踪 13 4．2．三维渲染技术 13 4．3．云识别技术 13 4．4．3D模型跟踪技术 14 4．5．AR远程音视频通讯技术 15 5．相关案例 17 5．1．上海电信沪遵医疗远程会诊项目 17 5．2．惠州120急救车5G AR医疗急救示范项目 17 1． 方案概 要 1．1．方案概述 亮风台5G+AR 远程医疗 解决方案基于 5G网络 和 亮风台 AR（增强现实）技术打造，利用5G网络大带宽、低延时、广连接的特性，通过AR智能眼镜将智慧医疗现实场景与虚拟场景深度融合， 实现医疗现场高清晰度实时视频的同步低延时传输，让偏远地区医院与三甲医院的专家进行远程病理诊断、远程医学影像诊断、远程会诊等 ，从而突破原有诊断和治疗的地域限制，实现优质医疗资源的平均与共享， 大幅度提升医联体远程诊疗、精准扶贫能力和急救能力 。 1．2．方案设计 亮风台5G+AR远程医疗解决方案 基于5G网络和亮风台AR技术打造，整体方案结构设计如下： 图1 方案整体结构示意图 1．3．方案功能 1．3．1． 医疗现场智能记录 利用AR智能眼镜内置的高清摄像头，对医疗现场救治过程进行 录像，即时记录病患状况， 用于医疗取证、 提供医疗线索、 记录回溯、案例分析 等，减少医疗纠纷 。 图2 医疗现场智能记录示意图 1．3．2． 增强现实远程救护 基于亮风台HiLeia远程协助平台，通过5G网络实时传输现场救护、医疗第一视角视频画面， 对于现场无法处理的棘手病情，远程联系专家及时处理， 实现远程救护。 图3 增强现实远程救护示意图 1．3． 3 ． 生命体征可视化 通过5G网络实时将病患病历信息、生命特征等信息统一在AR智能眼镜中进行呈现，让急救医生第一时间掌握病情，提升 医疗 救治效率。 图4 生命体征可视化示意图 1．3． 4 ． AR远程 会诊 利用5G网络和AR智能设备，打通偏远地区和三甲医院医疗专家的地域和时间限制，将远程医疗专家带到病患救治、诊断现场，让专家第一时间掌握病患的医学影像、生命特征、病灶第一视角等医疗信息，开展多方远程医疗会诊，解决优质医疗资源短缺并无法及时到达病患现场的问题，最大限度地实现医疗资源优化和平均，达到精准扶贫的目标。 图5 AR远程会诊示意图 2． 产品和技术 2．1．H iAR Glasses 智能眼镜 本方案采用HiAR G200 AR智能眼镜。HiAR G200是亮风台HiAR Glasses系列的新一代双目AR智能眼镜。G200是全球首款配备全网通4G功能的AR智能眼镜。 （1）产品特点 图6 H iAR G20 0智能眼镜产品特点 （2）硬件配置 图7 HiAR G200智能眼镜硬件配置 （3）详细参数 图8 H iAR G200智能眼镜头戴端参数 图9 HiAR G200智能眼镜手持端参数 2． 2 ． HiLeia AR 远程协作平台 HiLeia AR远程协作平台是亮风台专门为AR智能眼镜、手机、平板全平台打造的实时通讯与协作平台，平台架构如下图所示： 图10 H iLeia AR远程协作平台架构图 该平台具有以下功能： 第一视角画面多方共享 支持多方用户共享第一视角画面，沉浸式的通讯体验，如同亲临现场。 冻屏标注，实时双向标注 远程用户可一键暂停通讯画面或 直接在画面上进行实时标注 ，指导结果将同步展现 在现场用户视野中。同时现场用户可以对视野中的画面进行实时标注，实现通讯双方的双向标注。 多方多终端协作 HiLeia3 的多人通讯支持 一对多、一对多、多对多 等各种场景，且用户可自由选择接入通讯的终端设备类型。 HiLeia通讯平台客户端支持PC、主流Android手机和平板电脑、苹果手机和iPad、HiAR Glasses等主流增强现实头戴设备。 高清音视频通话 1080 P高清视频、高保真语音信息同步互传，低功耗、低延迟，保障超长时间的清晰通话。 各类文件内容传输 支持在通讯过程中传输多种类型的文件，包括文档、图片、视频等。 任务记录 可在云端和本地客户端记录、保存现场一手数据，并对任务状态进行实时跟踪，便于信息的管理与追溯。 依托强大的HiAR云平台为支撑，Hi Leia 能够为用户提供账号及设备管理、实时信息存储及统计功能，并通过场景学习、数据分析，形成知识沉淀，实现智慧共享。 图11 AR远程多方协作应用示例 2． 3 ． HiAR云平台 HiAR 云 平台 是专门为各种AR应用开发的内容云平台，本平台 基于微服务的架构风格，高度的模块化。整体采用分层、分布式的部署结构，分离了表现层和业务逻辑层，同时将后台管理与客户端的逻辑服务分离，能够保证应用服务逻辑的一致性和稳定性、结构的开放性、功能的可扩展性和可维护性、开发的可并行性。同时采用了一些开源的框架，简化开发，提 高 开发效率。 平台系统结构和业务结构如下图所示： 图12 Hi AR云平台系统结构 图13 Hi AR云平台业务结构 3． 应用场景 3．1． 5G+AR 远程 医疗教学 基于5G与AR打造无处不在的“AR虚拟教练”，服务于医疗培训指导、训练考核、临床诊断、手术辅助等场景，实现可视化、场景化、可交互的医疗智能教学指导。 图14 5G+AR远程医疗教学示意图 3．2． 5G+AR城市 远程 救护 在 5G技术支持下，急救干预关口再次前置，从患者被抬上这辆5G版救护车的一刻起，车上的“院前”急救人员与医院“院内”急诊抢救医护团队已实现“零时差”融合，相当于把医院的急诊室搬上了救护车。急救医生抢救过程中全程所佩戴的AR智能眼镜，无延迟把第一视角画面传输到院内。AR眼镜通过采集救护车的医疗设备信息，把心电图、POCT血样分析等车载设备检查结果都可第一时间传至医院，为院内医生诊断提供判断依据。 图15 救护车场景之车辆调度 图1 6 救护车场景之病患生命体征掌控 图17 救护车场景之AR远程医疗 图18 救护车场景之全程记录 3． 3 ． 5G+AR远程会诊 让医疗资源相对欠发达地区的病患和医院足不出户就可以得到全国医疗资源非常发达地区的三甲医院权威专家的诊断及技术帮助。病患端的医生通过 AR智能眼镜及通讯与协作系统HiLeia，可以将患者的病史资料、X片、CT/MRI图像实时地被传到专家端，在初步诊断后，通过HiLeia实时标注指导病患端佩戴AR智能眼镜的医生，指导医生按照步骤进行治疗。 图19 5G+AR医疗远程会诊 4． 关键技术与优势 本方案涉及到的关键技术主要包括二维图像识别和跟踪、三维渲染技术、云识别技 术、3D模型跟踪技术、AR远程音视频通讯技术等。 4．1． 二维图像识别和跟踪 在本方案中大量使用了 2D图像识别跟踪技术，该技术分为识别和跟踪两大部分。识别部分通过图像特征点匹配的方式识别现实场景中存在的识别图片，跟踪部分根据识别图片的特征点信息进行空间姿态计算。 该技术是在我司首席科学家、 CV领域资深专家与首席架构师、前高通FastCV首席架构师联合带领下研发而成，在各种关键性参数上均处于世界领先水平。具体参数如下： • 识别时间：10~50ms • 跟踪速度：120帧/秒 • 模块大小：<3M，全球最小的2D图像识别跟踪库 • 兼容性：2011年后所有的Android、iOS手机及PAD • 应用验证：腾讯手Q线上QQ-AR模块、苏宁易购2016双十一抓萌狮活动、苏宁易购2017新年红包活动、如新AgeLoc新品AR展示等 • 用户使用量：>1亿，全球使用最多的AR 2D图像识别跟踪模块 • 开发模式：由原生方式开发，可方便嵌入现有的APP，无需引入3方工具，方便开发 • 由于该算法由 我司 自主研发，所以针对特殊的图像， 我们 还可以提供算法定制服务，该服务可为 海航 AR战略保证前瞻性及后续的扩展性提供基础。 4．2． 三维渲染技术 HiAR3D是 我司 自主研发的3D渲染引擎，该引擎以OPENGLES为基础，通过 我司 专业的3D研发人员经过1年的研发及工程优化而成，支付全面的3D引擎渲染功能。 • 包体大小：<3M，为业内包体最小渲染引擎。 • 刷新频率：>30FPS • 模型格式：以FBX为中间格式。 • 是否可制定：是，可根据不同的需要选择其中的功能模块。 • 模型面数：10W面以上，最合适为单模型7K面。 • 应用验证：汽车之家AR看车功能、苏宁易购2016双十一抓萌狮活动、苏宁易购2017新年红包活动、如新AgeLoc新品AR展示等。 • 兼容性：2011年后所有的Android、iOS手机及PAD 由于该渲染库由我司自主研发，并且经过了多个项目的验证，特别是汽车之家项目中无论在渲染效果、性能都得到了充分展示。另外，我司专业的研发团队经验更是保证项目顺利实施保证质量的基础。 4．3． 云识别 技术 我司 AR云 平台 是国内首款上线的AR平台。这是 我司 为开发者提供的云API开发平台。强大的云端服务器计算/存储能力可以将识别数据扩大上千倍，同时精度可以进一步提升，对内容提供商而言，其应用场景得到了巨大的扩展。 其次，云识别可以将用户的识别数据收集于后台，通过智能算法进行处理，向内容提供商做出用户习惯分布、内容访问频率统计、未来行为预测等大数据分析结果，以此获得相比于本地识别更优质的反馈和产品迭代建议。通过标准化的数据，可以将将上游和下游的用户融合，让数据创造更多价值，为用户提供更佳体验。 云识别流程如下图所示。系统由三部分构成，由离线训练部分，这一部分的主要目的是通过机器学习算法，使用随机的数据集合训练通用的场景特征。第二部分是图像库的生成部分，将需要识别的目标图像利用第一部分得到的通用特征来描述，并将描述向量入库。第三部分为在线的识别部分，分为特征提取，特征压缩，查询，几何校验部分，最后返回查询后的目标图像的 ID。 图20 图像识别架构图 主要优势： • 支持海量图库检索 ； • 识别抗干扰、抗遮挡、抗抖动 ； • 可根据客户场景深度定制，让AR应用项目的添加与制作更便捷，制作周期与项目成本更优化，应用管理数据与结果更直观。 4．4． 3D模型跟踪技术 3D模型跟踪是利用场景或物体CAD模型边缘与实物进行匹配实现 HiAR vSLAM初始化，并利用 HiAR vSLAM进行跟踪的方法。首先获取边缘匹配的初始轮廓，也就是用户在哪个方位去识别匹配，就把这个方位的模型投影画出来让用户去对实物，如图 1 所示，匹配上以后 HiAR vSLAM 进行后续的跟踪。当前3D模型跟踪算法库包括Android、iOS 和windows版本。 图21 3D模型跟踪 主要 优势： • 初始化更容易 ： 只 要是按照轮廓线的视角去对很容易初始化成功，不需要额外的动作。 • 初始化速度快 ： 按照轮廓线的视角去对齐后，通常 在400ms内初始化成功。 • 不容易误匹配 ： 运 用相应技术剔除了 轮廓比较复杂的场景如石子 地、冬青、楼房、井盖、键盘、散乱线等 的误匹配。 • 在多模型匹配跟踪时，支持3D物体识别，自动识别模型调出相应模型轮廓进行跟踪。 • 场景参数的定制化 ： 可根据场景的不同光照、物体的反光等条件下，定制不同的参数，提高场景的适应性，改善用户的使用体验。 4．5． AR远程音视频通讯技术 亮风 台 H iLeia 远程协作平台旨在为客户打造全平台的实时通讯与协作产品，能够为客户提供高效且精准的协作。平台系统架构如下图所示： 图22 H iLeia 系统架构 音视频参数： 主要优势： • 第一视角视频：通过第一视角的画面多方共享，用户如同亲临现场。720p高清传输，保证用户不错过任何细节。 • 实时双向标注：通话中不中断视频，实时显示通讯双方标注的信息，实现双向标注，让协作更高效。 • 一键冻屏标注：独创的一键冻屏和瞬时标注技术，让协作更精准。 • 多终端、多平台适配：支持AR智能眼镜、智能手机、平板、电脑等设备，兼容A ndroid 、i OS 、W indows 等多种操作系统，同时支持主流浏览器。 • 智能云平台：以强大的H iAR 云平台为支撑，能够为用户提供账号及设备管理、实时信息存储及统计等功能。并通过场景学习、数据分析，形成知识沉淀，实现智慧共享。 • 基于 客户 业务深度定制，达到专家“不出门”，解决远程事；人员配置更高效；问题处理更透明等效果。 5 ．相关案例 5 ．1．上海电信沪遵医疗远程会诊项目 2019年4月15日下午，上海岳阳医院与贵州省遵义市习水县中医院开展了5G远程医疗会诊，以及中医特色推拿诊疗技术即时推广应用，这场穿越1866公里的远程医疗会诊，也是迄今为止，中国5G医疗跨越两端覆盖距离最远的一次。 本项目借助中国电信贵州公司及中国电信上海公司 5G网络，亮风台AR智能眼镜HiAR G200及AR通讯与协作产品HiLeia，患者的病史资料、X片、CT/MRI图像实时地被传到上海岳阳医院会诊中心，现场专家在初步诊断后，通过AR实时标注指导习水县中医院佩戴AR智能眼镜的医生，检查指定穴位反应，并指导医生按照步骤进行“坐位调膝法”治疗。其中，端到端的时延不到20ms，画面声音清晰、连贯，完全没有4G网络卡顿、音画不同步、设备清晰度等影响体验的问题。 图23 案例：沪遵远程医疗会诊项目 5 ．2． 惠州120急救车 5G AR医疗急救示范 项目 惠州120急救车 5G AR医疗急救示范 项目是惠州市中心人民医院联合惠州移动和亮风台一起打造的5G+AR应用项目。本项目通过亮风台HiAR G200眼镜和5G网络， 实现了患者从被抬上 "5G救护车"的一刻起，车上的急救人员与医院急诊抢救医护团队 的 “零时差”融合，相当于把医院的急诊室搬上了救护车。 车上配置 5G城市应急救援系统，在初步诊疗得出患者情况紧急的情况下，医护人员采取5G网络联动方案，佩戴上亮风台AR眼镜HiAR G200，与院内专家进行了AR诊疗。通过AR眼镜，院内专家可实时监测患者病情变化，进行远程会诊，指导急救，争分夺秒为患者抢救。 本项目的开展将形成医院范围内的 5G全网络覆盖，并构建基于5G技术的移动智慧护理、移动智慧医生、患者实时监护、AI辅助导诊、远程在线会诊、远程重症探视及生命体征在线监测、远程手术操作、远程手术示教、远程超声检查等多个应用系统，为患者提供智能化便捷应用服务。 图24 案例：惠州120急救车5G AR医疗急救示范项目