Skip to content

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

 
 

Latest commit

 

History

109 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

mujoco-learning

Installation

1. Windows 10/11(运行强化学习脚本)

本仓库的预训练模型使用 Python 3.10、Stable-Baselines3 2.6.0 和 MuJoCo 3.3.2 生成。使用项目内的 uv.lock 可以复现对应版本:

uv python install 3.10
uv sync
.\.venv\Scripts\Activate.ps1
python -c "import mujoco, gymnasium, stable_baselines3, torch; print('OK')"

uv sync 会自动创建 .venv。Windows 下会跳过只提供 Linux/macOS 二进制包的 Pinocchio、EigenPy 和 PyKDL 扩展;本文涉及的三个 RL 脚本不依赖这些可选扩展。

2. System dependencies (Ubuntu / WSL2)

# 基础库 & GUI 支持
sudo apt update && sudo apt install -y \
    libgl1-mesa-glx libgl1-mesa-dri mesa-utils \
    libxcb-xinerama0 libxcb-icccm4 libxcb-image0 libxcb-keysyms1 \
    libxcb-randr0 libxcb-render-util0 libxcb-shape0 libxcb-sync1 \
    libxcb-xfixes0 libxkbcommon-x11-0 libqt5gui5 libqt5widgets5

# 编译 PyKDL / Pinocchio 所需工具
sudo apt install -y make cmake g++ unzip python3-dev libboost-all-dev

3. Python 环境(Ubuntu / WSL2)

uv python install 3.10
uv sync                          # 创建 .venv 并安装 pyproject.toml + uv.lock
source .venv/bin/activate

4. Pinocchio(可选,用于 MPC / IK)

bash scripts/install_pinocchio.sh    # 源码编译带 CasADi 的 Pinocchio

安装后直接使用即可。

5. PyKDL + kdl_parser(可选,用于 URDF 运动学)

# uv sync 会安装 kdl_parser Python 包
uv sync

# 运行脚本:编译 PyKDL C++ 库 + 自动修复兼容性问题
bash scripts/install_pykdl.sh        # 第一次需要编译,之后会自动检查跳过

之后 import kdl_parser / from kdl_parser.urdf import ... 即可使用。

RL Quick Start

下面三个命令默认加载仓库内的预训练模型,并打开 MuJoCo 窗口:

python rl_panda_reach_target_high_profile.py
python rl_panda_obstacle_high_profile.py
python rl_panda_pickup_cube.py

在无桌面或自动化环境中,可以各跑一个无界面回合:

python -c "from rl_panda_reach_target_high_profile import test_ppo; test_ppo('assets/model/rl_reach_target_checkpoint/panda_ppo_reach_target', 1, render=False)"
python -c "from rl_panda_obstacle_high_profile import test_ppo; test_ppo('assets/model/rl_obstacle_avoidance_checkpoint/panda_obstacle_avoidance_v3', 1, render=False)"
python -c "from rl_panda_pickup_cube import test_ppo; test_ppo('assets/model/rl_pickup_checkpoint/panda_pickup_v1_5', 1, render=False)"

需要训练时,将对应脚本底部的 TRAIN_MODE 改为 True。默认训练步数很大, 首次验证建议先把 total_timesteps 和 n_envs 调小;完整学习顺序与参数说明见 RL_LEARNING_GUIDE.md。

Tutorials

file url
rl_panda_pickup_cube.py Mujoco 机械臂 RL 强化学习 Pick and Place Cube 小方块
sensordata.py Mujoco 仿真中传感器数据(SensorData)获取及使用
pbvs_mpc.py Mujoco 机械臂 MPC 模型预测控制应用 PBVS
pickup_cube.py Mujoco 物体pickup总失败?摩擦力有哪些(切向、扭转、滚动)
get_apriltag_pos.py Mujoco 仿真相机下 SolvePnp 获得 Apriltag 位姿
camera_calibration.py Mujoco 仿真棋格盘标定相机内参方法(附代码)
test_apriltag.py Mujoco 如何添加 Apriltag 并获得相机视野进行识别
rl_panda_obstacle_high_profile.py Mujoco 开源机械臂 RL 强化学习避障、绕障
move_obstacles.py Mujoco 如何在RL中动态或随机更改障碍物位置、开关碰撞计算以及碰撞信息
panda_dynamics_admittance.py Mujoco 末端(笛卡尔空间)导纳控制(Admittance)仿真及代码讲解
get_ee_wrench.py Mujoco 仿真 Dynamics 动力学获得末端执行器 Wrench
panda_dynamics_drag.py Mujoco 仿真动力学拖动示教(Drag Teaching)
panda_dynamics_hold.py Mujoco 使用 Pinocchio 进行逆动力学及阻抗力矩控制维持当前位置
null_space.py Mujoco 冗余机械臂零空间 Null Space 运动仿真
get_workspace.py Mujoco 蒙特卡洛采样统计机械臂可达工作空间(非Matlab)
add_random_obstacle.py Mujoco 随机添加碰撞物体(位置、类型、大小、颜色)以及注意点
add_random_geoms.py Mujoco 动态添加可视化元素(可用于画轨迹或目标点)
rrt_obstacle.py Mujoco 机械臂 OMPL 进行 RRT 关节空间路径规划避障、绕障
check_fk_match_with_mujoco.py Mujoco 检验 KDL 和 Pinocchio 运动学 FK 是否一致
ik_kdl_panda.py Mujoco 使用 KDL 对机械臂进行 IK 和 FK 运动学控制末端移动
mujoco_get_all_bady.py Mujoco 基础:获取模型中所有 body 的 name, id 以及位姿
urdf_match_with_mjcf.py Mujoco 模型 MJCF 和 URDF 如何手动对齐(Pinocchio验证)
panda_pbvs.py Mujoco 机械臂进行 PBVS 基于位置的视觉伺服思路
rl_panda_reach_target_high_profile.py Mujoco 仿真 PPO 强化学习机械臂末端路径规划到达指定位置
joystick_sim_and_real_so100.py SO-ARM100 双场景演示:手柄驱动 Mujoco 仿真 + 实机控制
joystick_so100.py 北通手柄遥控 + Mujoco 仿真 SO-ARM100 机械臂末端位姿
so100_real_control.py sim2real!so-arm100 机械臂 Mujoco 仿真与实机控制
control_ee_with_pinocchio_so100.py Pinocchio 结合 CasADi 进行 IK 逆运动学及 Mujoco 仿真
install_pinocchio.sh Pinocchio 导入 CasADi 失败?源码编译保姆级教程,一步到位解决!
kdl_urdf_test.py 不装 ROS 也能用 PyKDL!使用kdl_parser解析URDF并进行IK
get_torque.py MuJoCo 解析 qfrc 三种力!带你测试鼠标拖拽物理交互效果
joint_impedance_control.py MuJoCo 机械臂关节空间阻抗控制Impedance实现(附代码)
rl_panda.py MuJoCo 机械臂 PPO 强化学习逆向运动学(IK)
pid_torque_and_get.py MuJoCo 机械臂 PID 控制器输出力矩控制到达指定位置(附代码)
get_body_pos.py MuJoCo 仿真 Panda 机械臂!末端位置实时追踪 + 可视化(含缩放交互)
control_joint_pos.py MuJoCo 仿真 Panda 机械臂关节空间运动|含完整代码
test_pinocchio.py Pinocchio 安装教程|机器人学的必备库
control_ee_with_pinocchio.py 【逆解机械臂】Pinocchio+MuJuCo 仿真 CLIK 闭环控制!附代码
move_ball.py MuJoCo 可视化键盘控制球体及位姿实时记录,附代码!
trajectory_plan_toppra.py MuJoCo 仿真 + TOPPRA 最优时间轨迹规划!机械臂运动效率拉满(附代码)
path_plan_ompl_rrtconnect.py MuJoCo + OMPL 进行Panda机械臂关节空间的RRT路径规划
test_pyroboplan.py PyRoboPlan 库,给 panda 机械臂微分 IK 上大分,关节限位、碰撞全不怕
path_plan_pyroboplan_rrt.py MuJoCo 机械臂关节路径规划+轨迹优化+末端轨迹可视化(附代码)
path_plan_pyroboplan_rrt_draw_trajectory.py MuJoCo 画出机械臂末端轨迹进行可视化(附代码)
ik_path_paln_trajectory_pyroboplan.py MuJoCo 提高机械臂笛卡尔空间IK+路径规划+轨迹优化的成功率及效率
mocap_panda.py MuJoCo 动捕接口 Mocap 直接操控机械臂(附代码)
set_and_get_qvel.py MuJoCo 关节角速度记录与可视化,监控机械臂运动状态
get_camera_pic.py MuJoCo 相机图片怎么拿?视角调整获取物体图片及实时显示(附代码)
test_why_continuous_2q.py Pinocchio导入URDF关节为continuous的问题及详细解释
contact_detect.py MuJoCo 机械臂物体碰撞、接触检测方式一

Set-Location D:\project\mujoco-learning

C:\Users\playee.venvs\mujoco-learning-gpu\Scripts\python.exe .\rl_so100_pickup_cube_resume.py --mode train --algorithm ppo --n-envs 16 --timesteps 3000000 --model-path assets/model/rl_pickup_checkpoint/so100_resume_ppo_small

C:\Users\playee.venvs\mujoco-learning-gpu\Scripts\python.exe .\rl_so100_pickup_cube_resume.py --mode train --algorithm ppo --n-envs 16 --timesteps 3000000 --model-path assets/model/rl_pickup_checkpoint/so100_resume_ppo_small

Set-Location D:\project\mujoco-learning

.\scripts\start_pickup_tensorboard.ps1 -LogDir tensorboard\so100_pickup_resume -Port 6006

.\scripts\run_so100_resume_training_batch.ps1 -Run @( 'name=ppo_seed0_lr4e4_small_v3pose_place;algo=ppo;seed=0;network=256,128,64;steps=3000000;lr=4e-4', 'name=ppo_seed0_lr5e4_small_v3pose_place;algo=ppo;seed=0;network=256,128,64;steps=3000000;lr=5e-4' )

.\scripts\run_so100_resume_training_batch.ps1 -Run @( 'name=ppo_seed0_lr4e4_small_v4pose_no_stage_but_event_and_bestprogress;algo=ppo;seed=0;network=256,128,64;steps=3000000;lr=4e-4', 'name=ppo_seed0_lr5e4_small_v4pose_no_stage_but_event_and_bestprogress;algo=ppo;seed=0;network=256,128,64;steps=3000000;lr=5e-4' )

.\scripts\run_so100_resume_training_batch.ps1 -Run @( 'name=ppo_seed0_lr4e4_small_v4pose_no_stage_but_event_and_bestprogress_lowgrasp_lateral_lowgrasp_lateral_threshold;algo=ppo;seed=0;network=256,128,64;steps=3000000;lr=4e-4' )

.\scripts\run_so100_resume_training_batch.ps1 -Run @( 'name=ppo_seed0_lr4e4_small_v5pose_no_stage_but_event_and_bestprogress_even_reach_reward;algo=ppo;seed=0;network=256,128,64;steps=3000000;lr=4e-4' )

.\scripts\run_so100_resume_training_batch.ps1 -Run @( 'name=ppo_seed0_lr4e4_small_raw;algo=ppo;seed=0;network=256,128,64;steps=3000000;lr=4e-4' )

.\scripts\run_so100_resume_training_batch.ps1 -Run @( 'name=ppo_seed0_lr4e4_small_raw;algo=ppo;seed=0;network=256,128,64;steps=3000000;lr=4e-4' ) Set-Location D:\project\mujoco-learning

.\scripts\test_so100_resume_models.ps1 -Run @( 'name=ppo_seed0_lr3e4_small;algo=ppo;seed=0;network=256,128,64;steps=3000000;lr=3e-4', 'name=ppo_seed0_lr4e4_small;algo=ppo;seed=0;network=256,128,64;steps=3000000;lr=4e-4' ) -Episodes 100 -OutputDir experiments\so100_resume_lr_sweep_analysis

.\scripts\test_so100_resume_models.ps1 -Run @( 'name=ppo_seed0_lr4e4_small_v4pose_no_stage_but_event_and_bestprogress_lowgrasp_lateral;algo=ppo;seed=0;network=256,128,64;steps=3000000;lr=4e-4' ) -Episodes 100 -OutputDir experiments\so100_resume_lr_sweep_analysis

.\scripts\visualize_so100_resume_rollouts.ps1 -Run @( 'name=ppo_seed0_lr3e4_small;algo=ppo;seed=0;network=256,128,64;steps=3000000;lr=3e-4', 'name=ppo_seed0_lr4e4_small;algo=ppo;seed=0;network=256,128,64;steps=3000000;lr=4e-4' ) -Episodes 1 -PauseBetweenRuns

.\scripts\visualize_so100_resume_rollouts.ps1 -Run @( 'name=ppo_seed0_lr4e4_small_v3pose_place;algo=ppo;seed=0;network=256,128,64;steps=3000000;lr=4e-4' ) -Episodes 1 -PauseBetweenRuns

.\scripts\visualize_so100_resume_rollouts.ps1 -Run @( 'name=ppo_seed0_lr4e4_small_v7_tcp_delta_fixedjaw_gate;algo=ppo;seed=0;network=256,128,64;steps=3000000;lr=4e-4' ) -Episodes 1 -PauseBetweenRuns

.\scripts\visualize_so100_resume_rollouts.ps1 -Run @( 'name=ppo_seed0_lr4e4_small_raw;algo=ppo;seed=0;network=256,128,64;steps=3000000;lr=4e-4' ) -Episodes 1 -PauseBetweenRuns

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages