ランダムな通信遅延を考慮する強化学習による古田の振子の遠隔制御
Published in 第69回システム制御情報学会研究発表講演会 (SCI'25), 2025
概要
本研究では、通信ネットワークを介して制御を行うネットワーク化制御システム (Networked Control Systems: NCS) を対象とし、強化学習を用いた制御器設計における通信遅延の影響を調査しました。
- 問題設定: 制御対象に回転型倒立振子（古田の振子）を用い、センサーデータと制御入力の両方にランダムな通信遅延が発生する過酷な通信環境を想定しました。
- 提案手法: 強化学習の訓練フェーズにおいて、遅延の統計的な性質（確率分布）を考慮した学習を行うことで、遅延に対して高いロバスト性を持つポリシを構築しました。
- 検証: 数値シミュレーションを通じて、遅延を考慮しない従来の学習手法と比較し、提案手法が不安定な平衡点付近での維持性能を大幅に向上させることを示しました。
研究の意義
- 理論的裏付け: 単なる「AIの適用」に留まらず、制御理論における重要な課題である「遅延」にフォーカスしており、システム制御の専門知識を有していることを示しています。
- 応用範囲の広さ: 本研究で得られた「遅延を考慮した強化学習」の知見は、遠隔操作ロボットやドローンのテレオペレーションなど、現在のVLAモデル研究におけるリアルタイム性の確保にも直結する技術です。
Recommended citation: 虎本 裕紀, 細江 陽平, 萩原 朋道. (2025). "ランダムな通信遅延を考慮する強化学習による古田の振子の遠隔制御." 第69回システム制御情報学会研究発表講演会講演論文集, 650-655.
Download Paper