G1が4品を棚に運ぶまでの73秒

倉庫を模した社内試験。左は指先、右は全身。各品を1.72〜1.80 m運び、手を離した後、正しい棚で0.5秒静止したことを物理ログで確認した。

本を運ぶ高さ

最初の試行では、本をつかんで横に踏み出した瞬間、指先が隣のボトルを台から落とした。本の底と指先がボトルの上端を越えてから横に歩くよう制御を変えると、4品を続けて運べた。

何を学習させたか

脚にはUnitreeの歩行モデルを使い、指は接触を確かめながら閉じる。強化学習(PPO)で調整したのは、移動時の速度指令(最大20%)と運搬中の左腕の目標角(最大0.01 rad)。画像分類器は、シミュレーターのマスクで切り出した品物から行き先の棚を選ぶ。棚の位置はあらかじめ与えた。

改訂した報酬では、持ち上げに2点、運搬に3点、解放に1点、正しい棚での静止に10点を与えた。時間と肩のトルクにもコストを付けた。この報酬で学習した別モデルは、開始位置を前後・左右に各4 cmずらした単品試験で8回中5回成功し、補正を外すと4回だった。積み木は2回とも失敗した。

肩にかかった負荷

SDKからは本体29軸の位置・速度・トルクを読み返せる。箱を握った瞬間の左肩ピッチは最大11.48 N·mだった。肩の発熱を評価するには、実機で温度と電流を測ってモデルを校正する必要がある。

ロボットAI開発のためのデータセット生成

RTXで材質や照明を描画したRGB画像、物体と棚のマスク、カメラ情報、点群を同期して172組記録した。画像分類器の機械学習には、マスクで切り出したRGB画像を使い、エピソード単位で分けて評価した。歩行指令と左腕角度の補正には別に強化学習(PPO)を使い、把持は指の接触を確かめる制御器で実行した。点群にはPhysXの距離レイを使った。

可搬棚から箱を取り出す

搬送車が棚を作業位置まで運び、7軸のFranka Pandaが小箱を容器に移す。吸着はカップと箱の接触を検出してから拘束を作り、容器の上で解く方法で近似した。このシミュレーションでは箱が20.5 cm持ち上がり、静止位置と目標位置の差は5.3 mmだった。

検証したい作業をご相談ください

棚の図面、品物の寸法、失敗が起きる場面が分かると、最初の試験条件を絞れます。

相談する ↗