Kazuhiro Esaki 研究室

本研究室は、拡張現実（XR）やバーチャルリアリティ（VR）の環境において、人間の動きを正確にとらえ、それを活用するシステムの開発に取り組んでいます。特にダンスなどの複雑な身体表現の習得を支援するための技術に注力しており、複数のカメラやセンサーを組み合わせた動作認識技術と、機械学習を用いた自動評価手法を統合的に研究しています。 動作認識の精密化に向けて、複数の異なるトラッキング手法（ヘッドセット搭載のカメラ、外部カメラ、スマートフォンなど）から得られるデータを融合させる方法を開発しています。各手法は固有の利点と課題があり、例えば上半身の動きには優れているが下半身の捉え難い技術もあれば、全身をとらえられるが遅延が生じる技術もあります。深層学習のモデルを用いてこれらのデータを統合し、リアルタイムで精度の高い動作捕捉を実現することが目標です。 さらに、認識した動作をVR環境のアバターに反映させ、ダンサーが自分の動きを三次元で確認できるシステムを構築しています。同時に、深層学習を活用して客観的かつ自動的にダンスパフォーマンスを評価する仕組みを取り入れることで、時間や場所に制約されない自己練習環境の実現を目指しています。