校企合作毕业设计

视控瞄准型RobMaster机甲大师赛机器人

“优秀设计”优胜奖

资助企业: 上海灵魁智能科技有限公司

企业导师: 陈乾

指导教师: 贡亮

项目成员: 何屹东,陈诗霖,张泽楷,林耿杰

项目海报
项目视频
项目简介

项目概述

本项目基于RoboMaster机甲大师机器人框架研究视控瞄准型无人作战机器人的设计。视控瞄准型机器人分为两部分,一是视控选择人机交互端,二是跟踪瞄准机器人。在人机交互端,通过相应算法检测人眼注视位置,以此选择需要跟踪瞄准的识别对象。为了优化人机交互效果,本项目将主动减震和算法消抖结合来获得更为稳定的输出图像。对于跟踪瞄准机器人,本项目主要研究基于视觉SLAM的目标重建和景深估计方法,以及具有高动态性能的视觉伺服跟踪瞄准控制方法。

项目目标

1. 防抖成像软硬件协同方法

a. 基于被动阻尼隔振的重要部件减振方法

b. 基于战车物理振动特性的软硬件联合防抖方法

2. 高动态视觉伺服跟踪瞄准控制方法

a. 高动态性能云台控制方法

b. 并发多任务强实时调度规划方法

3. 基于视觉SLAM的目标重建和景深估计方法

a. RGBD图像信息与三维点云配准,实现对特定目标的重建

b. 动静态目标的识别和深度估计

c. 实现长距离目标重建

4. 基于眼动交互的目标实时识别追踪软硬件设计

a. 对敌方战车或英雄的高精度动态识别跟踪

b. 基于AR眼镜的眼动观瞄头盔,实现高效、强实时的人机交互

项目成果

本项目完成了既定任务指标。在硬件与减振设计方面,完成了野外机器人机械结构建模,设计了相机云台半主动减振台机械结构,仿真验证了相机云台半主动减振可行性。在环境感知方面,结合多传感器融合信息,采用基于ORB特征点的SLAM方法完成了环境地图的实时构建进行目标深度估计。在眼动人机交互方面,完成交互系统相关硬件选型,设计了多模型融合目标识别方案,建立了边缘计算平台。在自动跟踪瞄准控制方面,设计了分布式并发多任务的强实时调度规划方案,完成了整体框架的制定。根据项目成果撰写了《动态场景下基于多传感器融合的巷战机器人景深估计方法》、《野外机器人相机云台半主动减振消抖装置》专利2篇。

Copyright © 2020 上海交通大学机械与动力工程学院 版权所有

  • 机动学院

  • 本科教务办