本人工智能机器人开发套件是一款集机械设计、电子控制、嵌入式系统、机器人操作系统（ROS）、人工智能算法开发与多模态交互于一体的综合性教学与科研实验室实训平台。面向高校人工智能、机器人工程、自动化、计算机科学等相关专业的实践教学与创新实验需求，旨在构建“从硬件搭建到软件开发，从仿真验证到真实部署”的完整学习建设方案。

系统以高性能双核心架构为基础，配备独立的AI运算单元（Raspberry Pi 5级主板）与ROS控制单元（树莓派4B级主板），支持双系统协同运行与一键切换，实现AI智能感知与机器人运动控制的深度融合。硬件方面采用高精度铝合金结构件、全向麦克纳姆轮底盘、六自由度开源机械臂、360°激光雷达、双目深度摄像头等工业级组件，确保结构稳定性和扩展性；软件层面覆盖Python编程基础、STM32嵌入式开发、ROS通信机制、深度学习框架PyTorch、强化学习、视觉识别、SLAM建图、自主导航等核心技术模块。

通过丰富的实验项目与综合应用场景（如送餐机器人、博物馆引导、手势跟踪、语音控制等），学生可在真实机器人平台上完成从传感器数据采集、模型训练、算法部署到系统集成的全流程开发训练，全面提升在人工智能与机器人领域的工程实践能力与创新能力。

1、双核异构架构

配备独立AI运算单元（Raspberry Pi 5级）与ROS控制单元（Raspberry Pi 4级），支持AI感知与机器人控制并行运行，通过专用转接板实现系统切换与资源协同。

2、全栈开源可编程

机械臂、主控、驱动、模型全栈开源，提供机械臂完整源码与1:1比例URDF/Mujoco模型，支持Gazebo/RViz/Mujoco仿真与Sim-to-Real无缝迁移。

3、AI开发全流程支持

基于PyTorch框架，覆盖数据采集、标注、模型训练（YOLOv8等）、部署与推理，集成双目测距、手眼标定、目标识别与分拣等典型AI应用。

4、多模态感知融合

集成360°激光雷达、双目深度相机、IMU、麦克风阵列等传感器，支持SLAM建图、视觉巡线、语音识别、手势跟踪等多源信息融合应用。

5、完整ROS机器人系统

支持主流SLAM算法（gmapping/cartographer等）与导航栈（AMCL + move_base），具备地图构建、自主定位、路径规划与动态避障能力。

6、强化学习支持

基于Mujoco仿真环境，集成PPO等强化学习算法，支持机械臂抓取策略训练与物理部署验证。

7、模块化硬件设计

采用铝合金结构件与标准化接口，便于快速组装与功能拓展，适配教学实验与科研创新需求。

8、项目驱动式教学体系

提供涵盖Python、STM32、ROS、深度学习、运动学、视觉处理等八大模块的系统化实验课程，配套10项综合应用项目，支撑“基础—进阶—综合”三级教学。

1.机器人地图构建

在硬件上采用rplidar-A1雷达和带码盘的直流减速电机来分别提供深度信息和里程计信息，利用ros中开源项目gmapping功能包，通过仿真软件rviz，实现室内slam地图构建。

2.Navigation自动导航

在已经构建完成的地图上，利用开源项目amcl定位功能包和move_base功能包，并采集雷达和里程计信息，使用仿真软件rviz，实现机器人的自动避障导航。

3.机器人手势识别

通过图像处理识别不同的手势。

4.机械臂目标跟踪

通过摄像头捕获现场情况，自动检测当前画面中的人手，点击开始跟踪后，机械臂通过上下左右调节使得画面中的人手始终在画面的中央位置，如果画面中有多个人手，机械臂会选择跟踪画面中面积最大的手；当画面中没有人手被检测到时，20秒后机械臂会自动退出跟踪。

5.智能音响机器人控制

通过麦克风完成语音采集，将采集到的语音进行识别，并在识别完成后发送对应的控制指令，下发到ROS端进行小车的控制，或者发送到机械臂控制板，控制机械臂运动。

6.遥控化机器人

通过PS2手柄完成对ROS机器人以及机械臂的控制，包括ROS机器人基于麦克纳姆轮在平面上的360度运动，以及机械臂的运动抓取控制等等。

7.实时跟踪全倾斜摄像机平台

通过摄像头捕获拍摄场景，用户选择HSV颜色区间，可以对某物体进行颜色背景分割，运算器可对该物体进行位置标注并控制机械臂对其进行跟踪，使其一直保持处于摄像头捕获场景的正中心。

8.博物馆引导机器人

可在博物馆或者会场进行引导导航，在博物馆中，可设置A、B、C三个展柜的坐标系，该坐标系的原点是固定的，为机器人出发点。在用户选择去哪个展柜进行参观后（三个展柜可同时选择或者只选择某些展柜，并且顺序可调换），有两种方式对用户进行引导：

1)定距离方式，该方式相对比较简单，只作为学生学习坐标系变换和机器人传感器数据处理时使用，该方式可通过笛卡尔坐标系与极坐标系的转换，不通过地图构建与导航的方式直接与传感器数据进行交互，实现引导作用。

2)定点方式：该方式需要对博物馆或者会场的地图进行构建，构建后选择要参观的展柜，机器人会根据构建好的地图与自身的坐标实现引导作用。

机器人在引导过程中会实现语音播报，提示用户到达某个点或者要前往什么地点。播报内容可修改以使用不同的场景，在引导完毕后，机器人会返回出发点等待下次引导。

9.餐厅送餐机器人

可在餐厅中实现机器人送餐，该项目将AI+ROS+机械臂结合起来，以厨房为第一视角，在完成食物制作后，将食物放到机器人上，机器人会根据食物上的餐桌二维码判断送达地点，并可通过两种方式对食物进行配送：

1)定距离的方式：该方式通过运算器与传感器的数据交互与处理，实现食物配送。

2)定点方式：该方式可提前构建餐厅地图，在判断到达地点后完成自动导航的食物配送。

配送到达后，机械臂会从机器人上将食物取下，并进行语音提示，语音可修改以适配不同场景，在语音提示后，机器人会返回厨房等待下次配送。