![]() |
YANAI Lab.電気通信大学 総合情報学科/大学院 総合情報学専攻 メディア情報学コース 柳井研究室 |
電気通信大学 > 情報工学科 > コンピュータ学講座 > 柳井研究室 > 研究紹介 |
WEB上の大量の画像を用いた仮想パノラマ画像生成システム相田 優 Date: 2010年 2月 8日
1 はじめに複数の画像を合成することで一枚の巨大なパノラマ画像を生成する手法がSivicらによって示された[#!VirtualSpace!#]。生成される画像は仮想的なパノラマ画像であり、画像が撮影された場所や時間を考慮せずに、画像が合成されていく。 このような画像合成の手法は、ゲーム、映画等のさまざまなビジュアルコンテンツに応用することができる。 Sivicらの手法[#!VirtualSpace!#]においてユーザーは画像のテーマを選択することでパノラマ画像を得ることができる。しかし、このアルゴリズムによって生成されるものは、テーマの同じ画像が連続することになる。 画像のテーマを問わずにシームレスな仮想パノラマ画像を作ることができれば、 ユーザーにとってより興味深いシステムになると考えられる。 そこで本研究ではSivicらの手法[#!VirtualSpace!#]を拡張し、 テーマを問わずに画像を合成することで、より変化に富んだパノラマ画像を生成することを目指す。 システムは図1のようにして、 ユーザーが入力した画像を元にして指定した長さのパノラマ画像を生成する。 システムの性質上、生成される画像の質は画像データベースの質とその検索精度に依存する。
2 システムのアルゴリズム以下の手順に従い、パノラマ画像を生成する。また、合成アルゴリズムの概要を図2に示す。
3 QuiltingQuiltingは画像![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]()
4 ポアソンブレンディングポアソンブレンディングはポアソン方程式![]() ![]() ![]() ![]()
境界上の点pの値を
5 画像の検索本研究では高速な検索が可能なライブラリであるANN(Approximate Nearest Neighbor)を用いて、 最近傍探索を行うことで画像を検索する。 画像特徴としてはRGBを考慮したGIST特徴を用いる。 本研究において画像の検索は、クエリ画像の右側の領域と、検索対象の画像の左側の領域に対して行う。 片側の領域に対して検索を行う理由は、画像の合成がクエリ画像の右側に繋げるようにして行われるためである。 そこで、特徴抽出はデータベース中の画像の左側の領域に対して行い、それらの特徴から特徴空間を構築する。
5.0.0.1 ANN(Approximate Nearest Neighbor)ANNは最近傍探索および近似最近傍探索をするための、 複数のデータ構造とそれらを扱うためのアルゴリズムのライブラリである。 近似最近傍探索の代表的な手法として、木構造を用いるものとハッシュを用いるものがあるが、 ANNでは木構造を用いることで高速な検索を実現している。 本研究ではデータ構造としてkd-treeを用い、最近傍探索によって検索を行う。
5.0.0.2 GIST特徴画像を格子状の領域に区切り、領域ごとのガボール特徴をとる。 Olivaらの研究によって背景分類でよい結果を出すことが確認されている[#!Gist!#]。 本研究では画像を4![]()
6 実験本研究が提案した手法では、システムの実行前に画像を収集しデータベースを構築する必要がある。 画像の収集はFlickrを利用して行った。 解像度が![]() 最近傍探索による画像1枚分の検索にかかった時間の平均は0.65秒であった。 画像1枚分を合成させるときにかかった時間の平均は2.56秒であった。 システムが生成した画像の一例を図10 ![]()
7 考察本研究とSivicらのシステムにおける最大の違いは、 テーマの制限を受けることなく仮想的なパノラマ画像を生成することである。 徐々に風景が変わっていく図12のパノラマ画像は、 テーマによらないパノラマ画像が生成できたことを示す。 図12では街中の画像の右側に滝が来ていて意外性のある組み合わせが実現できている。 また、システムは図11の様な複数の失敗例を出したが、パノラマ画像の合成に失敗した主な原因として2つの事が挙げられる。 1つは合成アルゴリズムの問題である。 キルティングによって画像がカットされるとき、 目立つオブジェクトをカットしてしまった場合は視覚的に不自然な画像となってしまう。 オブジェクトの認識を行い、その領域を回避するようにしてカットを行えば問題は解決されるが、 それらの物体を認識するのは未だに多くの問題がある。 また、ポアソンブレンディングによって画像を馴染ませる際、 適切な領域を選択できなかったときに不自然な結果となる。 もう一つは検索結果の問題である。 ANNによる検索によって得られる合成画像は、クエリ画像との合成領域と極めて類似していることが期待されるが、 その期待と反する検索結果となる事が多々あった。 本研究において用いた特徴はRGB空間を考慮したGIST特徴であるが、実験による結果から、 色情報に弱い事があり、その結果シームレスな合成に失敗する例があるのが確認された。 検索手法の改善策として、色空間を変えて特徴取得を行う方法や、 カラーヒストグラムとの組合わせで検索を行うことが挙げられる。
section*参考文献参考文献参考文献 1-1mm 0.1pt enumiv 4000 4000 `. Creating and exploring a large photorealistic virtual space. In Proc.of IEEE CVPR Workshop on Internet Vision, pp. 1-8, 2008. Image quilting for texture synthesis and transfer. In Proc.of SIGGRAPH 2001, pp. 341-346, 2001. Poisson image editing. In Proc.of SIGGRAPH 2003, pp. 313-318, 2003. Modeling the shape of the scene: A holistic representation of the spatial envelope. International Journal of Computer Vision, pp. 145-175, 2001. Empty `thebibliography' environment
|