saguar1

YANAI Lab.

電気通信大学 大学院情報理工学研究科 情報学専攻 メディア情報学プログラム 柳井研究室
電気通信大学 > 大学院情報理工学研究科 > 情報学専攻 > メディア情報学プログラム > 柳井研究室 > 研究内容   

研究内容

 柳井研究室では,深層学習を用いた画像・映像の認識・理解と,生成・編集に関する研究を行っています.画像や映像に何が写っているかを認識するだけでなく,人物の行動や物体同士の関係を読み取り,言葉で指示された内容を画像や映像として表現する技術を追究しています. 近年は,画像と言語を扱うマルチモーダル大規模言語モデルや,拡散モデルなどの生成モデルを中心に,認識と生成を結び付ける研究を進めています.食事画像解析,文字・フォント生成,3次元形状復元などへの応用にも取り組み,基礎技術の開発と実際に使えるシステムの実現を目指しています.

研究キーワード

画像・映像理解/マルチモーダル学習/視覚と言語/生成AI/画像・映像生成・編集/食事画像解析/文字・フォント生成/3次元形状復元/深層学習の効率化

主な研究テーマ

  1. マルチモーダルAIによる画像・映像理解 画像・映像と言語を組み合わせ,視覚情報をより深く理解する技術を研究しています.人物と物体の関係から「誰が何に対してどのような行動をしているか」を捉える人間・物体インタラクション検出や,映像中で行動が起きている時間区間の検出に取り組んでいます.また,言葉による指示や推論に基づいて,画像中の対象領域を特定する技術も研究しています.
  2. 画像・映像の生成と編集 拡散モデルなどを用いて,言葉や参照画像に基づく画像・映像の生成・編集を研究しています.対象の特徴を保ちながら見た目を変更する画像編集,映像中の物体の動きの制御,テキストの指示に基づく長時間映像のカラー化などに取り組んでいます.さらに,生成モデルが獲得した表現を,画像の領域分割などの認識にも活用しています.
  3. 食事画像解析と食に関するマルチモーダル処理 食事写真から料理の種類や領域,量を推定し,カロリー推定につなげる技術を研究しています.マルチモーダル大規模言語モデルによる推論に加え,料理の体積や3次元形状,スマートフォンのLiDARセンサから得られる奥行き情報の活用にも取り組んでいます.また,料理画像とレシピを結び付ける横断検索や,レシピに基づく料理画像の生成,カロリーを考慮した画像編集も研究しています.
  4. 文字・フォントの生成とスタイル変換 少数の文字見本から書体の特徴を学習し,新しい文字を生成する技術を研究しています.日本語のくずし字やベンガル文字などを対象としたフォント生成,写真中の文字のスタイル変換,言葉や音に基づくフォントの装飾に取り組んでいます.拡散モデルや微分可能レンダリングを用いて,文字の形状と多様な表現を扱う手法を開発しています.
  5. 3次元形状復元と立体情報の活用 1枚の画像から対象の3次元形状を推定する技術を研究しています.料理の立体形状や実際の大きさを復元する研究に加え,単一画像からの点群生成にも取り組んでいます.平面的な画像から奥行きや形状を捉え,画像理解や食事量推定への活用を目指しています.
  6. 学習・推論の効率化とアプリケーション 深層学習モデルを効率よく学習・実行するための手法を研究しています.ネットワークの枝刈りによる軽量化や,学習する部分を限定して既存モデルを適応させる手法などに取り組んでいます.また,スマートフォン上での食事画像解析や,文字生成・画像編集の対話的なシステムなど,研究成果を実際に利用できる形にすることも重視しています.