必一运动·(B-sports)官方网站奥比中光获39家机构调研：公司最新打造的“大模型+机械臂”运用了多模态大模型、3D视觉传感器及机械臂运动控制等技术（附调研问答）奥比中光12月15日发布投资者关系活动记录表，公司于2023年12月15日接受39家机构调研，机构类型为保险公司、其他、基金公司、证券公司、阳光私募机构。 投资者关系活动主要内容介绍： 奥比中光科技集团股份有限公司（以下简称“公司”、“奥比中光”）专注于3D视觉感知技术研发，在万物互联时代为智能终端打造“机器之眼”，将3D视觉感知产品应用于“衣、食、住、行、工、娱、医”等领域，致力于让所有终端都能更好地看懂世界。 公司的主营业务是3D视觉感知产品的设计、研发、生产和销售，主要产品包括3D视觉传感器、消费级应用设备和工业级应用设备。公司依托3D视觉感知一体化科研生产能力和创新平台，不断孵化、拓展新的3D视觉感知产品系列，在生物识别、机器人、AIoT、3D打印等市场上实现了多项具有代表性的商业应用。 科学合理的技术体系是公司技术先进性的重要保障。公司构建了“全栈式技术研发能力+全领域技术路线D视觉感知技术体系，在技术纵深上融合了光学、机械、电子、芯片设计、算法、SDK、固件开发等多项复杂学科交叉技术，在技术横向跨度上涵盖结构光、iToF、dToF、双目、Lidar、工业三维测量六大领域。
问：贵司新推出的大模型+机械臂，运用了公司什么技术？可以实现什么功能？能应用在下游的哪些场景？
答： 公司最新打造的“大模型+机械臂”，运用了多模态大模型、3D视觉传感器及机械臂运动控制等技术：利用语音大模型来识别任务下发者的语音指令；通过两台Gemini2双目结构光3D视觉传感器来实时获取高质量环境RGB和Depth数据；再利用SAM、CLIP等视觉-语言大模型理解场景信息，使得机械臂可基于语音指令来执行一系列任务。 随着机器人“眼睛”（视觉传感器）、“大脑”（大模型）、“身体”（本体）的不断发展进化，融合多种大模型能力的机械臂有望在工业制造、柔性物流、商用服务等场景中率先落地。例如，在自动化工厂场景，基于多模态大模型的机器臂可以结合无人小车，进行智能分拣、搬运等；在家用服务机器人场景，人们可以通过简单的自然语言指令，让机器人帮忙倒水、取快递等。 后续公司将进一步优化多模态指令理解、多传感器融合感知、机械臂轨迹规划控制、末端抓取控制等技术能力，通过大模型机器人控制系统让各类型机器人更加智能和灵活，以期适应多变复杂的操作和应用场景。
答： 2023年初，以ChatGPT为代表的大型自然语言处理模型技术推动人工智能进入产业发展新阶段，迎来了具身智能机器人历史性发展机遇。大模型技术发展推动机器人往具身智能机器人方向演进与变革，具身智能机器人的技术推动了机器人视觉技术的发展。未来伴随着多模态大模型技术的逐步发展成熟，各类型机器人能够快速具备广泛的适应性，呈现多样化和灵活性，从而为3D视觉感知产品在机器人领域带来庞大的市场需求。当下，具备类人化的视觉感知能力，是各类型机器人能够在封闭或半封闭空间实现“自动驾驶”的关键。 关于视觉大模型，公司正在搭建机器人视觉产业技术中台，其中将研发多模态视觉大模型（机器人视觉GPT，RobotvisionGPT），利用机器人视觉GPT技术应用于机器人自主移动/驾驶的全套算法（避障、导航、定位、建图、识别），实现各类视觉算法的智能化。公司近期发布的“大模型+机械臂”，即运用和结合了多模态大模型、3D视觉传感器及机械臂运动控制等技术。 未来，公司将持续开展机器人视觉传感器、AI视觉感知和多模态交互大模型、机器人OS与云端数字孪生软件平台、量产测试与数字工厂等课题研发和技术攻关，进一步深化3D视觉感知技术发展，将形成自主移动定位导航和避障的完整产品方案，为全产业下游客户提供全方位能力平台及系列化产品方案，紧抓具身智能历史发展机遇，为后续市场需求爆发做好充分准备。
问：谷歌发布的多模态大模型Gemini1.0跟公司的Gemini系列产品有关系吗？Gemini系列主要应用在下游哪些领域？有什么特点？可以搭载在人形机器人上吗？
答： 谷歌发布的多模态大模型Gemini1.0与公司的Gemini系列产品无关联。 关于OrbbecGemini系列，公司于今年新推出了Gemini2、2L和2XL，支持多种实用功能，可广泛应用于机械臂无序抓取、移动感知、3D/物体重建、维度测量、智慧仓储物流、医疗康复、运动健身、智慧农牧、智慧商超等3D视觉相关应用场景，具体如下： OrbbecGemini2：是一款搭载了奥比中光深度引擎芯片MX6600的双目结构光3D相机，内置六轴IMU，集成硬件D2C功能（Depth与RGB图像在像素上一一对齐），显著降低对上位机算力要求。Gemini2搭载三种深度工作模式，支持灵活配置的多机同步功能，视野更大，数据更全，可为多种应用场景提供高质量的深度数据。它提供宽广的视野，深度图像测量范围可达0.15-10m，集成辅助点测距功能，能够实现最远10米范围内零盲区深度测量，可轻松应用到各种感知和测量解决方案中。 OrbbecGemini2L：是Gemini2系列另一款双目结构光产品，搭载了深度引擎芯片MX6600和独有专利设计的高性能光学系统，能够提供高达104°的深度FoV和最远超过10米的零盲区深度测量范围，在更宽广的温度范围和多种工作环境下稳定输出高标准深度测量结果。同时，Gemini2L采用全局曝光成像技术，结合相机集成的精准D2C和RGBD帧同步功能，可输出空间和时间严格对齐的深度和RGB图像，助力机器人实现可靠环境感知。 OrbbecGemini2XL：是公司在中国国际光电博览会（CIOE2023）上新推的首款户外大量程3D相机，解决了户外强光及远距测量两大痛点，无惧强光，量程超过20米，兼容室内及半室外通用场景。此外，Gemini2XL在深度完整性和稳定性、RGB呈现效果、上位机算力消耗、近距和远距的深度跳动等方面，都具备优势。Gemini2XL重点聚焦于户外全场景机器视觉应用，所带来的高标准3D感知能力，能够全面满足各类机器人客户的需求。
答： 公司的骨架跟踪算法，可以基于3D视觉传感器采集到的深度图像或手部深度图像，对及手部骨架进行检测，并通过对多帧图像的骨架跟踪实现对姿势、手势的检测与跟踪识别，该技术可以用于各类适配的下游应用场景。如在运动健身领域，公司与Keep合作推出搭载公司骨架跟踪算法的KeepStation（“KS”），“KS”的AI指导课通过追踪23个关键的骨骼点，可对用户运动过程中的动作进行精准识别和智能化指导。
问：关注到公司今年和微软、英伟达推出了多款产品，也接入了他们的开发平台，这会对公司海外业务有所帮助吗？
答： 公司与微软合作开发的Femto系列iToF相机，已涵盖FemtoMega、FemtoBolt、FemtoMegaI三款产品。随着Femto系列的陆续发布，全球开发者可以轻松通过公司3D相机，在微软Azure云计算平台上开发多元3D视觉深度感知应用，实现高性能3D相机在海外消费及工业等应用场景的加速拓展。 今年8月，公司与英伟达合作开发的3D开发套件PerseeN1正式发布，方便公司高效链接英伟达AI应用生态，更好地打造Orbbec×NVIDIA高性能3D视觉应用。公司已经将与微软合作的FemtoMegaiToF相机、与英伟达合作的PerseeN1智能相机、Gemini2、MS200等3D相机集成到英伟达的机器人模拟应用和合成数据生成工具——IsaacSim平台，并在开发者社区上线了OrbbecCameraUSD使用说明。全球开发者可以便捷地在平台中调用3D相机数据，并且通过IsaacROS硬件加速包，轻松将机器脑连接到虚拟世界，进行机器人开发、测试和仿真，打造具备更强大能力的机器人。 近年来，公司境外销售收入保持稳定增长态势，客户群体不断扩大。通过与境外众多客户的紧密合作，公司可实时了解全球前沿的3D视觉感知技术应用，为国内市场的技术与产品推广提供参考。未来必一运动，公司将继续发挥优质海外业务平台作用和品牌优势，持续优化必一运动、完善产品线以覆盖更多应用场景，积极拓展海外客户必一运动，抢占海外市场，不断加强海外市场的走深走实开拓，为改善公司的经营业绩打下良好基础。 感谢您对公司的关注与支持;