Shintaro Ishikawa 研究室

石川真太郎研究室では、ロボットが人間の自然言語指示を理解して実行する能力の向上に取り組んでいます。研究対象は、日常的な環境でロボットが言語指示に従って物を探したり運んだり、複数のステップを伴う家事作業を遂行したりする際に生じる課題です。これらのタスクでは、ロボットが映像と言語を統合して理解し、複数の候補の中から正しい対象物を識別する必要があります。 手法としては、視覚情報と言語情報を組み合わせた機械学習モデルを開発しています。計算の効率性を高めるための新しいモデル構造の提案、シミュレーション環境から実世界への知識移転を実現する転移学習フレームワークの構築、および対抗的学習を用いたロボットの推論能力の強化を行っています。これにより、明示的に述べられていない隠れた手順の推論や、複数ステップの意思決定が可能になることを目指しています。 加えて、美術館の来館者体験の向上に向け、美術作品の説明文を自動生成する研究も展開しています。この研究では、絵画などの作品に対して、鑑賞者の感情的反応を反映した説明文を生成する際に、ユーザーが任意の感情を指定できるような機構を導入しています。視覚情報と感情属性を統合的に処理することで、より適切な文章生成を実現する取り組みとなっています。