亮风台5GAR远程维修解决方案.docx

5G+AR远程维修作业 解决方案 目录 1. 方案概要 4 1.1. 方案概述 4 1.2. 行业背景 4 1.3. 方案设计 5 1.3.1应用界面设计 5 1.3.2AR离线辅助维修设计方案 5 1.3.3 AR远程维修设计方案 6 2. 技术与产品 6 2.1. 智能维修AR云平台 6 2.1.1 AR云平台服务 6 2.1.2 AR云平台业务流 7 2.1.3 AR云平台应用场景服务模式 7 2.1.4 AR云识别 8 2.2. 智能维修AR远程作业指导平台 8 2.3. 智能维修AR可穿戴硬件平台 10 2.3.1. HiAR G200智能眼镜 10 2.3.2. HiCamera A922 智能摄像头 13 3. 应用场景 15 3.1. AR离线维修应用场景 15 3.2. AR远程维修应用场景 16 4. 关键技术与优势 18 4.1. 二维图像识别和跟踪 18 4.2. 三维渲染技术 19 4.3. 云识别 19 4.4. 3D模型跟踪技术 20 4.5. AR远程音视频通讯技术 20 5. 相关案例 22 5.1. AR远程维修 22 5.2. AR操作培训 22 5.3. AR辅助指导 23 方案概要 方案概述 5G+AR远程维修作业解决方案，是基于AR眼镜、借助5G网络进行移动通信传输的新型远程通讯与协作系统，超越传统的音视频通讯方式，加入虚实融合的AR体验，使远程通讯与协作更自然、更智能、更高效，升级传统的工作交流方式。发现问题时先通过可视化信息“自助”，解决不了时再“求助”。 遇到问题时，佩戴AR眼镜的现场人员，先根据眼镜系统投射到视野前方的信息获得可视化指导帮助，该信息使用即时定位与地图构建（SLAM）等技术与实际场景相结合。在信息辅助下依然不能解决问题时，打开HiLeia联系远程“专家”，远程专家通过第一视角画面清晰获知现场情况，协助解决问题。 行业背景 随着维修场景日渐复杂，设计、培训和维修周期却被要求变得越来越短。传统维修维保工作存在以下问题： （1）熟练的技术工人越来越难找，越来越难管； （2）设备的生产力变化太大，出现故障得不到及时、有效的技术支持，MTTR高； （3）生产线down机后和供应商的沟通的效率低下，不能准确描述清楚问题，服务时间长； （4）人工巡检容易漏操作、误操作。。 （5）.查询历史巡检数据繁琐，无法实时调用。 在这个竞争激烈的环境中，每一分钟的耽搁都会给工业运营带来巨大的影响。利用可用的大数据实现更简单、更快捷和更安全的操作，从而节省时间、成本和能耗，将是一个关键的制胜因素。对于需要最高质量标准的工业维护来说，AR是少数能够开启业界新视角的解决方案之一。 与VR完全基于仿真世界不同，AR植根于真实世界，并与数字世界无缝集成。增强现实“增强”的其实是工人获取信息和利用知识的能力，比如复杂过程的自然、动态、分步可视化，可以减少培训时间和操作错误，并使工人更好地理解和执行任务。基于AR的维修服务，相比于传统技术和方法，效率和质量得到了显著提升。例如，利用AR技术，不仅可以指导工人一步步实施维修，还能够精确定位不直接可见的零件并将其可视化，从而确认要进行测试的零件并将之修理或替换。 具体来说，AR技术在维修领域的应用，具有如下优势： AR提供一种新方式，把信息通过模型、图文等形式叠加在真实的机械设备上，改变原有信息和实际作业相脱离，无法完全对应的现状； 通过AR系统，能把培训转到产业一线，又能让作业场景做到专业的系统化、数据化、信息化，便于人员管理和数据管理； 对现有环境/系统的增强远胜于去取代，而AR正在发挥这样的作用，增强现有的智能制造体系，成为中国制造2025的核心技术之一。 随着工业4.0的逐步推⼴落地，在国家⼤力推行信息化产业的浪潮下，AR产业的兴起宣告了人⼯智能时代的来临。如何通过AR智能交互协助企业一线员工更好的规范工作流程，做好日常巡检、设备维护，进一步提高其工作效率，降低操作错误率，将成为工业高新技术发展的新趋势。 针对以上需求，我们运用AR技术结合AR眼镜等智能可穿戴设备，为企业构建应用、系统、云端一体化的AR智能维修平台，为一线作业人员提供实时的作业指导，解放工人双手，同时提供高质量的现场第一视角的高质量音视频传输，让一线工人获取远程专家的实时协作指导，为维修工作赋能，提升巡检维修工作效率，从而带来工业智能维修的变革。 方案设计 根据工业维修需求，在系统的实现技术上我们采用离线和在线两种方案，这两种方案的实现路径如下图所示： 系统方案实现路径 1.3.1应用界面设计 操作选项界面支持语音、键盘、点击和扫描等交互方式，若运行在眼镜端，操作方式为触控板触控操作和语音等；若运行在手机、平板等智能设备上则交互方式更加多样，可根据需要进行定制。 1.3.2离线设计方案 1.3.3 AR远程维修设计方案 技术与产品 由智能维修AR云平台、智能维修AR远程作业指导平台以及智能维修AR可穿戴硬件平台组成。 智能维修AR云平台 智能维修AR云平台基于HiAR云平台定制开发的可扩展平台。HiAR 平台基于微服务的架构风格，高度的模块化。整体采用分层、分布式的部署结构，分离了表现层和业务逻辑层，同时将后台管理与客户端的逻辑服务分离，能够保 证应用服务逻辑的一致性和稳定性、结构的开放性、功能的可扩展性和可维护性、开发的可并行性。同时采用了一些开源的框架，简化开发，提高开发效率。 2.1.1 AR云平台服务 AR云平台系统结构 2.1.2 AR云平台业务流 AR云平台业务结构 2.1.3 AR云平台应用场景服务模式 AR云平台应用场景服务模式 2.1.4 AR云识别 AR云识别系统框架 智能维修AR远程作业指导平台 智能维修AR远程作业指导平台基于HiLeia平台进行定制开发，专门为AR智能眼镜、手机、平板全平台打造的实时通讯与协作平台。 该平台具有以下功能： 第一视角画面多方共享 支持多方用户共享第一视角画面，沉浸式的通讯体验，如同亲临现场。 冻屏标注，实时双向标注 远程用户可一键暂停通讯画面或直接在画面上进行实时标注，指导结果将同步展现在现场用户视野中。同时现场用户可以对视野中的画面进行实时标注，实现通讯双方的双向标注。 多方多终端协作 HiLeia3 的多人通讯支持一对多、一对多、多对多等各种场景，且用户可自由选择接入通讯的终端设备类型。HiLeia通讯平台客户端支持PC、主流Android手机和平板电脑、苹果手机和iPad、Hololens/HiAR Glasses等主流增强现实头戴设备。 高清音视频通话 720P高清视频、高保真语音信息同步互传，低功耗、低延迟，保障超长时间的清晰通话。 各类文件内容传输 支持在通讯过程中传输多种类型的文件，包括文档、图片、视频等。 任务记录 可在云端和本地客户端记录、保存现场一手数据，并对任务状态进行实时跟踪，便于信息的管理与追溯。 依托强大的HiAR云平台为支撑，HiLeia能够为用户提供账号及设备管理、实时信息存储及统计功能，并通过场景学习、数据分析，形成知识沉淀，实现智慧共享。 AR远程作业指导多方协作应用示例 智能维修AR可穿戴硬件平台 HiAR G200智能眼镜 HiAR G200智能眼镜 （1）产品特点 HiAR G200智能眼镜产品特点 （2）硬件配置 HiAR G200智能眼镜硬件配置 （3）详细参数 HiAR G200智能眼镜头戴端参数 HiAR G200智能眼镜手持端参数 （4）HiAR UI HiCamera A922 智能摄像头 HiCamera A922穿戴式智能摄像头 产品特点 HiCamera A922智能摄像头产品特点 硬件配置 支持录像，音视频同步备份。 蓝牙通话 功能参数 WIFI （802.11b/g/n） 蓝牙通话 摄像头720P FOV 84° 录像 H.264 720p 续航: 录像4小时或蓝牙通话24小时 电池 595mAh 支持T卡，最大64GB 远程协助；人脸识别 角度可调节上下可调节 应用场景 HiCamera A922智能摄像头应用场景 应用场景 AR离线维修应用场景 AR指导|文字与语音指令 采用文字或者语音指令方式让操作人员根据引导指示完成操作步骤，形成规范业务操作。 AR指导|图纸推送 将操作内容以图片或图纸形式推送给正在维修的工作人员，帮助其更深入的理解零部件与操作内容。 AR指导|动画或视频呈现 将操作内容以视频和动画的方式呈现给操作人员，更加形象生动的表现指导过程。 AR指导|模型比对 将现实场景制作成动画模型，方便操作人员细致的查看与寻找，避免误操作。 AR远程维修应用场景 （1）维保人员登录远程协作平台 维保人员穿戴好工装，佩戴AR眼镜/耳机；进入AR眼镜系统，通过语音或触控操作等方式进入远程协作系统。 （2）连线远程技术专家 （3）任务下发与步骤确认 （4）操作过程指导与监督 （5）多地多人协作 （6）图片视频实时传输 （7）图片与视频实时双向标注 （8）数据存档 交互过程中，各终端可通过截图、视频录制等方式对交互过程全程记录，所有记录文件可存放于终端本地存储介质或存储服务器中。 关键技术与优势 本方案涉及到的关键技术主要包括二维图像识别和跟踪、三维渲染技术、云识别技术、3D模型跟踪技术、AR远程音视频通讯技术等。 二维图像识别和跟踪 在本项目中大量使用了2D图像识别跟踪技术，该技术分为识别和跟踪两大部分。识别部分通过图像特征点匹配的方式识别现实场景中存在的识别图片，跟踪部分根据识别图片的特征点信息进行空间姿态计算。 该技术是在我司首席科学家、CV领域资深专家与首席架构师、前高通FastCV首席架构师联合带领下研发而成，在各种关键性参数上均处于世界领先水平。具体参数如下： • 识别时间：10~50ms • 跟踪速度：120帧/秒 • 模块大小：<3M，全球最小的2D图像识别跟踪库 • 兼容性：2011年后所有的Android、iOS手机及PAD • 应用验证：腾讯手Q线上QQ-AR模块、苏宁易购2016双十一抓萌狮活动、苏宁易购2017新年红包活动、如新AgeLoc新品AR展示等 • 用户使用量：>1亿，全球使用最多的AR 2D图像识别跟踪模块 • 开发模式：由原生方式开发，可方便嵌入现有的APP，无需引入3方工具，方便开发 • 由于该算法由我司自主研发，所以针对特殊的图像，我们还可以提供算法定制服务，该服务可为海航AR战略保证前瞻性及后续的扩展性提供基础。 三维渲染技术 HiAR3D是我司自主研发的3D渲染引擎，该引擎以OPENGLES为基础，通过我司专业的3D研发人员经过1年的研发及工程优化而成，支付全面的3D引擎渲染功能。 • 包体大小：<3M，为业内包体最小渲染引擎。 • 刷新频率：>30FPS • 模型格式：以FBX为中间格式。 • 是否可制定：是，可根据不同的需要选择其中的功能模块。 • 模型面数：10W面以上，最合适为单模型7K面。 • 应用验证：汽车之家AR看车功能、苏宁易购2016双十一抓萌狮活动、苏宁易购2017新年红包活动、如新AgeLoc新品AR展示等。 • 兼容性：2011年后所有的Android、iOS手机及PAD 由于该渲染库由我司自主研发，并且经过了多个项目的验证，特别是汽车之家项目中无论在渲染效果、性能都得到了充分展示。另外，我司专业的研发团队经验更是保证项目顺利实施保证质量的基础。 云识别 我司AR云平台是国内首款上线的AR平台。这是我司为开发者提供的云API开发平台。强大的云端服务器计算/存储能力可以将识别数据扩大上千倍，同时精度可以进一步提升，对内容提供商而言，其应用场景得到了巨大的扩展。 其次，云识别可以将用户的识别数据收集于后台，通过智能算法进行处理，向内容提供商做出用户习惯分布、内容访问频率统计、未来行为预测等大数据分析结果，以此获得相比于本地识别更优质的反馈和产品迭代建议。通过标准化的数据，可以将将上游和下游的用户融合，让数据创造更多价值，为用户提供更佳体验。 云识别流程如下图所示。系统由三部分构成，由离线训练部分，这一部分的主要目的是通过机器学习算法，使用随机的数据集合训练通用的场景特征。第二部分是图像库的生成部分，将需要识别的目标图像利用第一部分得到的通用特征来描述，并将描述向量入库。第三部分为在线的识别部分，分为特征提取，特征压缩，查询，几何校验部分，最后返回查询后的目标图像的ID。 主要优势： • 支持海量图库检索； • 识别抗干扰、抗遮挡、抗抖动； • 可根据AR智能维修场景深度定制，让AR维修项目的添加与制作更便捷，制作周期与项目成本更优化，维修管理数据与结果更直观。 3D模型跟踪技术 3D模型跟踪是利用场景或物体CAD模型边缘与实物进行匹配实现 HiAR vSLAM初始化，并利用 HiAR vSLAM进行跟踪的方法。首先获取边缘匹配的初始轮廓，也就是用户在哪个方位去识别匹配，就把这个方位的模型投影画出来让用户去对实物，如图 1 所示，匹配上以后 HiAR vSLAM 进行后续的跟踪。当前3D模型跟踪算法库包括Android、iOS 和windows版本。 主要优势： • 初始化更容易：只要是按照轮廓线的视角去对很容易初始化成功，不需要额外的动作。 • 初始化速度快：按照轮廓线的视角去对齐后，通常 在400ms内初始化成功。 • 不容易误匹配：运用相应技术剔除了轮廓比较复杂的场景如石子 地、冬青、楼房、井盖、键盘、散乱线等的误匹配。 • 在多模型匹配跟踪时，支持3D物体识别，自动识别模型调出相应模型轮廓进行跟踪。 • 场景参数的定制化：可根据场景的不同光照、物体的反光等条件下，定制不同的参数，提高场景的适应性，改善用户的使用体验。 AR远程音视频通讯技术 HiLeia远程协作平台旨在为客户打造全平台的实时通讯与协作产品，能够为客户提供高效且精准的协作。平台系统架构如下图所示： 音视频参数： 主要优势： • 第一视角视频：通过第一视角的画面多方共享，用户如同亲临现场。720p高清传输，保证用户不错过任何细节。 • 实时双向标注：通话中不中断视频，实时显示通讯双方标注的信息，实现双向标注，让协作更高效。 • 一键冻屏标注：独创的一键冻屏和瞬时标注技术，让协作更精准。 • 多终端、多平台适配：支持AR智能眼镜、智能手机、平板、电脑等设备，兼容Android、iOS、Windows等多种操作系统，同时支持主流浏览器。 • 智能云平台：以强大的HiAR云平台为支撑，能够为用户提供账号及设备管理、实时信息存储及统计等功能。并通过场景学习、数据分析，形成知识沉淀，实现智慧共享。 • 基于智能维修业务深度定制，达到专家“不出门”，解决远程事；人员配置更高效；问题处理更透明等效果。 相关案例 AR远程维修 亮风台与华为、中国移动联合探索5G AR应用。华为联合亮风台开放首个5G网络AR远程维修；在浙江移动总部开放体验期间，浙江省政府领导和中国移动高层现场体验并给与高度评价；在工信部牵头、中国信息通信研究院和IMT-2020(5G)推进组主办的“绽放杯”5G应用大赛中，三方联合申报的“基于5G网络的AR远程通讯与协作系统”获30强。 AR操作培训 中联重科携手亮风台，应用 AR 技术、 AR 终端实现 AR 化的设备维修、操作培训，降低工作人员学习成本，提高工作效率和安全性。 AR辅助指导 亮风台与威海海洋职业学院合作，用AR进行装配辅助。舰艇专业度很高，专家数量少，装配培训是一个难题，使用基于增强现实的舰艇维修组装系统，可以在AR眼镜中查看关键的装配步骤，训做一体。