avatar

战硕

一名来自西北工业大学的本科生,对机器人及计算机视觉感兴趣。

Projects

RoboMaster 人工智能挑战赛

在 2021 年,我作为视觉组的成员参与了 RoboMaster 人工智能挑战赛,同时,我们赢得了中国赛的冠军最终获得国际三等奖。

在比赛中,我主要负责机器人装甲板的检测以能够精确地打击它。为此,我完成了一套基于 TensorRT 与 yolov5 的装甲板检测算法,并将其部署在了英伟达边缘计算设备 Jetson Xavier NX 上,可在其上达到 640x480@80FPS 的推理速率。

同时,我也负责比赛中哨岗相机检测部分,通过 PnP 变换及目标检测网络完成对全局机器人的观测。

今年,我作为团队的队长,带领团队获得了技术报告 A 等级,排名 5/35 ,我们将在 5.23 日在深圳进行最终国际赛的角逐。

下面是一个有关这个比赛的视频(在 Youtube 上):

RoboMaster 高校 Sim2Real 挑战赛

在 2022 年,我参与了 RoboMaster 高校 Sim2Real 挑战赛,比赛的核心形式是通过全自动运行的、经过官方改 装的RoboMaster EP 机器人兑换矿石,以获得相应分数。参赛机器人在5 分钟比赛时间内,采用Sim2Real 模式,根据兑换标签显示信息,兑换对应矿石来获取分数,最终根据总分数进行排名。

在比赛中,我主要负责视觉部分,其中主要包含识别矿石兑换站标签 [‘B’, ‘O’, ‘X’],以及矿石标签 [‘1’, ‘2’, ‘3’, ‘4’, ‘5’],你可以在 这里 找到对应的标签文件。

由于存在模板文件,我采用的方案为:

  1. 对图片进行阈值二值化
  2. 检测图片中的轮廓,进而检测出所有的四边形
  3. 对图片做 PnP 变换转换为正视图
  4. 将正视图与模板对比,根据阈值筛选出对应的值

在仿真阶段结束时,我们在比赛中排名 5/27,其中一部分榜单如下,你可以在 这里 查看详细的榜单:

RMUS score

中国机器人大赛先进视觉项目—3D识别组

在 2022 年,我们首次参加了 中国机器人大赛先进视觉项目的 3D 识别组比赛,在比赛中,需要训练一个 16 类别目标检测网络,识别生活中的一些日用品。同时,比赛的硬件平台限制为 Jetson Nano(4GB) 以及 Intel Realsense SR300。

我采用 Intel Realsense SDK 结合 yolov5 网络,完成对目标的检测。使用 Intel Realsense 的深度解算目标的世界坐标,进而筛选各类干扰项。同时,还使用 socket 完成了与裁判系统的通信、完成了基于 QT 的 GUI 界面。

一个简单的 TCP/IP 协议栈

在计算机网络试点班中,我基于 Libpcap 实现了一个简单的 TCP/IP 协议栈。他实现了简单的以太网协议、ARP协议、IP协议、UDP协议以及TCP协议。

同时,我也学习了有关 HTTP/1.1 协议的部分,对 HTTP 内容做了简单的解析。