Motion Generation / Physical AI

ロボットの「動き」を、
研究から実機まで。

Transformer と拡散モデルによるモーション生成の研究を軸に、ロボコンでの自動制御・チーム開発、 Unity でのゲーム・ツール開発まで。シミュレーションと現実をつなぐ実装を手を動かして進めています。

福田 晃己Robotics × AI 専攻 — 大学院生
AWARDレスキューロボットコンテスト 消防庁長官賞 受賞
NATIONALNHK ロボコン 2024 全国大会出場(チーム史上初)
SIM2REALUnitree Go2 の強化学習方策を実機制御まで展開
01 / Profile

プロフィール

ロボティクス×AI を専攻する大学院生です。ロボットやキャラクターが意図を言葉以外で伝える 「動作表現」に関心があり、拡散モデルを用いたモーション生成フレームワークの研究に取り組んでいます。

大学ではロボットプロジェクトに所属し、メインプログラマーとして NHK ロボコン・ レスキューロボットコンテストに出場。少人数チームのマネジメントとソフトウェア開発を並行して担い、 NHK ロボコン全国大会出場(チーム史上初)レスコン消防庁長官賞受賞という結果につなげました。

研究・大会と並行して、ゲーム・AI アプリ・論文再現実装を独学で制作。 学習パイプラインの構築から実機・製品側の実装まで、エンドツーエンドで手を動かせることが強みです。

消防庁長官賞レスキューロボット
コンテスト / チームリーダー
全国大会出場NHK ロボコン 2024
チーム史上初
全国ベスト 8キャチロボコンテスト
Unity × ROS 環境を自作
sim-to-realUnitree Go2 の強化学習を
実機制御まで展開
02 / Achievements

大会実績

ロボコンを中心とした大会実績です。チームマネジメントからソフトウェア設計・実装まで担当しました。

レスキューロボットコンテスト

消防庁長官賞 受賞 / ファイナルステージ出場 TEAM LEADER
役割:チームリーダー / 3 機体の制御・通信システム開発

3 回生 4 名・2 回生 5 名の少人数プロジェクトでリーダーを務め、3 機体すべてのロボット制御と 通信システムの開発を担当。神戸「人と防災未来センター」での実地調査をもとに企画を練り直し、 「救助の迅速化」と「被救助者への負担最小化」をコンセプトに再定義して開発を主導しました。

  • 公式提供基盤(TPIP)に依存しない独自通信システムを Unity で開発。大会後も機体を動作可能な状態で保存でき、NHK ロボコンと共通のプラットフォーム化により開発コストを削減
  • ロボット設計を後輩に委任し、自身はマネジメントと通信基盤開発を並行。企画・予算策定からチーム体制の再建までを主導
  • 被害状況を素早く把握する探索ロボットと、被救助者を思いやった救助機構が評価され受賞
  • 遠隔カメラのリアルタイムストリーミングと操縦 UI を開発
チームマネジメントUnity 独自通信システムカメラストリーミング3 機体統合制御
競技フィールドを走行する自作のクローラー型レスキューロボット
PLAY — 競技動画

自作レスキューロボット(クローラー型・探索カメラ搭載)

NHK ロボコン 2024

全国大会出場(チーム史上初) MAIN PROGRAMMER
役割:メインプログラマー / 自動制御・経路生成

完全自動走行ロボットの制御システムを担当。Unity とマイコン間の UDP 通信でレーザーセンサ・ ジャイロ・エンコーダの情報を統合し、NavMeshAgent を用いた経路生成でロボットの移動方向と 速度をリアルタイムに計算する自動制御を実現しました。

  • センサー統合による位置推定と NavMeshAgent ベースの経路生成・追従制御
  • ロボットの状態をリアルタイムに把握できる監視 GUI
  • 移動先・行動手順をプログラミング不要で編集できる行動計画エディタ
  • Unity → ESP32 → Jetson を UDP でつなぐ通信アーキテクチャを設計
Unity経路生成 / NavMesh UDP 通信センサーフュージョンESP32 / Jetson
NHK学生ロボコン2024 全国大会の競技フィールド
PLAY — 動作映像
システム構成図:UnityからUDPでESP32へ接続し、ESP32からモータ・レーザーセンサ・NVIDIA Jetson・Webカメラに接続

全国大会の競技フィールドと、自作した制御システムの構成図

キャチロボコンテスト

全国ベスト 8 SOFTWARE
役割:上位層ソフトウェア担当

ロボコン引退後に有志で出場。Unity と ROS を組み合わせてスカラーロボットのシミュレーターを ゼロから自作し、迅速かつ柔軟な開発環境を整備。ハードウェアの完成を待たずにソフトウェアを 検証できる体制をつくり、全国ベスト 8 の成績を残しました。

  • Unity 上にスカラーロボットの運動学モデルを構築
  • ROS 連携により実機とシミュレーターで同じ制御コードを共有
  • ハード開発と並行してソフト開発を進め、開発期間を大幅に短縮
UnityROSC# スカラーロボットシミュレーター自作
KACHIROBO — COMPETITION
PLAY — 競技動画
Unity シミュレーター / 可視化 ROS 制御ロジック スカラーロボット 実機 / 運動学モデル
実機とシミュレーターで制御コードを共有する構成
03 / Research

研究

モーション生成とフィジカル AI。生成モデルの研究から、実機ロボットでの検証まで取り組んでいます。

研究の詳細を見る
CURRENT — 大学院研究

キャラクターの一貫性と感情を分離したモーションスタイル生成

「そのキャラクターらしさ」と「感情表現」を独立した潜在軸として分離し、任意の組み合わせで モーションを生成する研究です。Transformer と拡散モデルをコアに据えた生成フレームワークを スクラッチで構築し、ロボットやキャラクターが意図を非言語的に伝える動作表現の実現を目指しています。 学会発表を準備中です。

PyTorch拡散モデルTransformer 潜在空間の分離モーションデータ前処理three.js 可視化
READ MORE
単調な歩行モーションを、キャラクターの軸と感情の軸の組み合わせで9通りのスタイルに変換した図
同じ「歩く」動作に、キャラクター性感情を別々に付与して生成する
PHYSICAL AI

Unitree Go2 を用いたフィジカル AI(強化学習 × sim-to-real)

Genesis・Isaac Sim 上の強化学習で四足ロボット Unitree Go2 の歩行方策を学習し、実機の関節モーター 制御への展開(sim-to-real)まで実施。ドメインランダマイゼーションの設計と報酬関数のチューニングが sim-to-real の成否を左右することを、実機テストを通じて体で覚えました。オリジナル設計の 倒立振子ロボットでの強化学習も行っています。

強化学習sim-to-real Isaac SimGenesisドメインランダマイゼーション
READ MORE
学部研究

リハビリテーション機器のシステム改修と訓練支援ゲームの開発

脳卒中患者向け上肢訓練機器のシステム改修を担当し、訓練効果の向上と機器の機械的評価を可能にする ソフトウェアを開発。あわせてリハビリへのモチベーションを高める訓練支援ゲームを制作し、 「継続したくなる訓練体験」の設計に取り組みました。

医療機器ソフト改修Unity評価システム設計
READ MORE
04 / Works

制作物

個人開発・論文再現実装・開発ツールなど。各カードから詳細ページで、設計と実装の中身を説明しています。

GAME SlimeAdventure のゲーム画面

SlimeAdventure

Unity + Blender / スマホ向け 3D アクション / 約 1.5 ヶ月

スライムと勇者が力を合わせて敵を倒しながら進むリアルタイムアクション。QTE を織り込んだ戦闘、 アイテム回収で仲間が増える「スライム仲間システム」、集めた仲間と挑むボス戦を実装。 キャラクターとフィールドの 3D モデルはすべて Blender で自作しました。

UnityC#Blender QTEキャラクター AIスマホ対応
VIEW DETAIL
AI
REALTIME AVATAR

AvatarChat

LLM + モーション生成 + TTS / フルオフライン動作

会話に応じてアバターが動き・声で応答する対話システム。LLM・モーション生成・音声合成を 1 本のパイプラインにまとめ、クラウド API を使わないフルオフライン構成でも動作します。

LLMthree.jsTTSFastAPI
VIEW DETAIL
AI
EMOTION MODEL

Emotion Avatar

Unity + Python / 感情をもつキャラクター AI

「関係性を築けるキャラクター」を目指した感情アバター。Russell 感情円環と Ekman 6 基本感情・ 信頼・親密度を統合した感情モデルを設計し、Unity と Python を WebSocket でリアルタイム接続しました。

UnityPyTorchWebSocketGRU / VAE
VIEW DETAIL
PAPER
REPRODUCTION

HuMoT 再現実装

PyTorch / モーションリターゲティング

トポロジー非依存のモーションリターゲティング Transformer(arXiv:2305.18897)を、公式コード 非公開の中フルスクラッチで再現。XCiT ブロックから学習ループまで約 216 万パラメータを実装しました。

PyTorchTransformerXCiT論文再現
VIEW DETAIL
AI
STYLE TRANSFER

MoST(CVPR 2024)Windows 移植

PyTorch + CUDA / モーションスタイル変換

モーションスタイル変換モデル MoST を Linux 前提の公式環境から Windows + GPU 環境へ移植。 CUDA 非互換の解決、コードパッチ、データ前処理から GPU 学習の検証まで完了しています。

PyTorchCUDAWindows 移植
VIEW DETAIL
ROBOTICS
HUMANOID RL

SONIC on Isaac Lab(Windows 移植)

Isaac Lab / ヒューマノイド全身制御

NVIDIA GEAR-SONIC(ヒューマノイド全身制御モデル)を Windows ネイティブの Isaac Lab で動作検証。 Linux 前提の依存関係をパッチし、シミュレーション環境を安定稼働させました。

Isaac Lab強化学習Windows 移植
VIEW DETAIL
GAME
ROBOT BATTLE

ROBOCustom

Unity + C# / ロボットバトル × ビジュアルプログラミング

自作ノードエディタでロボットの行動ロジックを組み、AI 同士のバトルで撃破数を競うゲーム。 ゲーム AI・物理判定・武器やパーツのアイテムシステムを実装しています。

UnityC#ノードエディタGame AI
VIEW DETAIL
TOOL
AUTO RIGGING

自動リギングアドオン(Blender)

Blender Python / リグ・揺れボーンの自動生成

マーカーを置くだけで人型スケルトンを生成し、スカートや髪の揺れボーンまで自動セットアップする アドオン。手作業だったリグ工程を短縮し、歩行アニメーションで実際に検証しました。

PythonBlender APIリギング物理シミュレーション
VIEW DETAIL
3D Blenderで自作したスライムと勇者の3Dキャラクターモデル

Blender キャラクターモデリング

Blender / キャラクター・プロップ制作

ゲームに登場するキャラクター・小物・フィールドを Blender でモデリング。モデリングから テクスチャ・リグ・Unity への組み込みまで一貫して制作しています。

BlenderモデリングリギングUnity 連携
VIEW DETAIL
3D
IMAGE → 3D

画像 → 3D 生成のローカル運用

3D Gaussian Splatting / ローカル GPU

1 枚の画像から 3D Gaussian Splat を生成するモデル(TripoSplat / TRELLIS.2)をローカル GPU に セットアップし、画像 → 3D 生成パイプラインを構築・運用しています。

3DGSPyTorchCUDA
VIEW DETAIL
05 / Skills

スキルセット

研究・大会・個人開発で実際に使ってきた技術です。強調表示は中核として日常的に使っているものです。

AI / 機械学習

研究で日常使用。モーション生成モデルの実装、学習パイプライン構築、論文再現。

PythonPyTorchTransformer拡散モデル VAE / GRUGANCUDA

ロボティクス / シミュレーション

ロボコン 3 大会と研究で使用。強化学習の環境構築から実機制御・sim-to-real まで。

ROS / ROS 2強化学習sim-to-real Isaac Sim / Isaac LabGenesisESP32 / マイコンUDP 通信

ゲーム / アプリケーション開発

大会ツールと個人開発で使用。ロボット監視 GUI・行動計画エディタからゲーム制作まで。

UnityC#Blender FastAPIWebSocketthree.js

開発環境 / その他

研究環境の構築・運用。Linux 前提の研究モデルを Windows GPU 環境へ移植した実績多数。

CUDA 環境構築Git C++ArduinoWindows 移植
06 / Contact

連絡先

研究・開発・採用に関するご連絡は、お気軽にどうぞ。