YANAI Lab.電気通信大学 総合情報学科/大学院 総合情報学専攻 メディア情報学コース 柳井研究室 |
電気通信大学 > 情報工学科 > コンピュータ学講座 > 柳井研究室 > 研究紹介 |
位置情報付き画像を用いた単語概念の地域性の分析川久保 秀敏 平成23年 2月4日
1 はじめに近年,Web上のアルバムサービスやGPS機能付きカメラの普及に伴い, 撮影地点の緯度経度情報がメタデータとして付与された「位置情報付き画像」が Web上に増加している.一方で,多様な単語概念を認識対象とした一般画像認識の高精度化は未だ困難である. 精度の高い一般画像認識を実現するためには,単語概念を表現するための学習データセットの質が重要である. 我々は,画像の位置情報を一般画像認識向けのデータセット構築に役立てるための手法を研究している. 学習データセットを構築する際,視覚に地域差のある単語概念について 地域別の代表画像データセットを作成することで, 認識精度が向上することが期待できる. そのためには,単語概念に対応する地域別代表画像を選出する手法と,単語概念 に対応する視覚の地域差を定量化する手法が必要である. 本研究では,まず, 位置情報付き画像のための画像ランキング手法 GeoVisualRankを提案する. GeoVisualRankは画像版PageRankアルゴリズムであるVisualRankを位置情報向け に改良したものである. そして, 単語概念に対応する視覚の地域差を定量化する手法を提案する. GeoVisualRankを用いて単語概念についての地域別代表画像を選出し ,代表画像の地域差から,単語概念に対応する視覚の地域性を定量化する. 2 関連研究Jingらによって提案されたVisualRank[1] はPageRankアルゴリズム[2]を画像に適用したものであり, 画像間の類似度をもとに画像のランキングを得る手法である. Jingらは,VisualRankをテキストベースの画像検索結果を修正するために用いてい る[1].画像の類似度にはSIFT特徴[3]のマッチ数を使 い,商品名やランドマーク名といった特定の外観を持つカテゴリを対象にした実 験を行っている.世界各地のランドマークを認識する研究として, Zhengらの研究や[4] Crandallらの研究[5]がある. 大量の撮影位置情報をクラスタリングすることで, 代表的な都市とランドマークの位置を推定している. そして各地に対応する典型的なランドマークの視覚特徴を求めている. 我々は過去に,単語概念について収集した位置情報付き画像から, 画像領域エントロピーと位置情報のエントロピー(ジオタグエントロピー)を別々に定量化する実験を 行った[6]. エントロピーに基づいて単語概念の視覚性と地理的分布を定量化することで, 「空」のような世界中に分布し視覚特徴に大きな変化がない単語概念と, 地名のような特定の地域に分布し多様な視覚特徴を持つ単語概念を 自動的に発見するための手法を提案した. 3 手法3.1 GeoVisualRank3.1.0.1 VisualRank :Jingらによって提案された[1]はPageRankアルゴリズム[2]を画像に適用したものであり, 画像間の類似度をもとに画像のランキングを得る手法である. テキストベースの画像検索によって得られた画像を視覚特徴によって再ランク付け する手法の1つである. VisualRankでは,各画像のランキング値からなる列ベクトルが収束す るまで式(1)を反復する. 式(1)中のは, 画像類似度行列の各列を正規化したものである. は補正ベクトルであり,PageRankアルゴリズムではリンク以外でのWebページへのア クセスをモデル化している.ただし, である.
3.1.0.2 GeoVisualRank :提案手法であるGeoVisualRankでは,式(1)の補正ベクトル を位置情報に基づくバイアスベクトルとする. GeoVisualRankではランキングを生成する際に,地理上の一点を「注目点」として指定する. 注目点に近い座標で撮影された画像のランキング値が大きくなるようにバイアス を作成する. 画像の類似度行列と位置情報によるバイアスベクトルを用いることで, 代表的な画像特徴を持ち,撮影された地点が注目点に近い画像ほど上位にランキング される.注目点と画像の撮影位置との距離を球面三角法(式(2))で求め, 式(3)の計算方法でバイアスベクトルの要素を求める. 式(2)の は画像の位置情報であり, は注目 点の緯度・経度である.
3.2 単語概念に対応する視覚の地域差の定量化各手順の概要を説明する.3.2.0.1 ・位置情報付き画像の収集 :単語概念ごとに,位置情報付き画像を収集する. 本研究では,Flickr APIを利用しFlickr上の位置情報付き画像を検索し,収集し た.
3.2.0.2 ・代表地域点の算出 :単語概念ごとに,収集画像の位置情報をクラスタリングし,代表地域点を求める. 本研究では,Mean-Shift法を用いてクラスタリングを行い, 所属画像の多い上位10クラスタの収束点を代表地域点とした.
3.2.0.3 ・地域別代表画像の選出 :単語概念の代表地域点をそれぞれ注目点パラメータに用いてGeoVisualRankを実 行し,地域別代表画像を選出する.
3.2.0.4 ・地域間の視覚差の計算 :pLSAを用いて代表画像を潜在トピックへの帰属確率ベクトルで表現する. 潜在トピック集合は, ランダムに選出した5000枚の画像を用いて生成したものであり, 画像から得られる代表的な特徴量ベクトルを表現したものである.地域内の代表画像について,潜在トピック帰属ベクトルを平均することで 地域の潜在トピック帰属ベクトルを求める. 地域間の視覚的距離は,地域の潜在トピック帰属ベクトルのJSダイバージェンス で算出する. 3.2.0.5 ・視覚の地域差の指標値 :単語概念内に,他の地域との視覚的距離が大きい地域が存在すれば, その単語概念に視覚の地域性があると期待できる. そこで,単語概念内の各地域について,他地域との視覚的距離の平均をもとめ, その最大値を単語概念の視覚の地域性を表す指標とした. 単語概念の指標値が大きければ,その概念のなかで視覚的に特異な地域が少な くとも1つは存在すると言える.4 実験本章では,本研究で行った実験について記述する. まず実験で用いたデータセットについて説明する. そして本研究で提案するGeoVisualRank単体について実験について述べ, 最後に,単語概念に対応する視覚の地域性の分析実験について述べる.従来には,画像特徴量の類似性と撮影位置を両方考慮した代表画像選出法はなく, 提案手法であるGeoVisuralRank単独でも様々な応用が考えられ,研究価値が高い手法と言える. そのためGeoVisuralRankのみについても実験を行った. 本研究では, 名詞250語と, 形容詞100語の合計350語を実験対象の 単語概念とした. 名詞は,身の回りの物体の名称,生物名,固有名詞などを人手で設定した. 形容詞は,単語概念と視覚特徴の関係性を調査した,柳井らの研究[7]を参考にして設定した. 単語概念ごとにFlickr上の画像を最大2000枚ずつ収集し, 各単語の位置情報画像データセットとした. Flickrでは,一部のユーザーが非常に類似した画像を大量に投稿していることがあ る.そのため画像を収集するに当たって,同一ユーザーが投稿した画像の枚数を 20枚に制限した. Web上で,GeoVisualRank単体についての結果1,視覚の地域性の指標値ランキング結果 2, 地域別代表画像とその撮影位置 3が閲覧可能である. フォーム指定されたパラメータに対応する結果が表示される. 4.1 GeoVisualRankについての実験我々は350語の実験対象単語概念について, 単語概念ごとにGeoVisualRankを用いて代表画像ランキングを算出した. この実験ではGeoVisualRankによってランキングを求める際に与える注目点パラメータには, 世界の10都市の座標を用いた(表 1).この実験では画像特徴量に, 64次元のRGBカラーヒストグラム, 500次元のSIFT記述子によるBag-of-Features表現, 500次元のテキストタグ特徴量を用いた.
図1, 図2, 図3 は'pyramid'をクエリとした結果である. 図1はカイロを注目点とした結果であり, エジプトのピラミッドの画像が上位画像になっている. 図2は注目点がパリであり, ルーブル美術館の前にあるピラミッド型の建築物が上位に表示される. 図3はリオデジャネイロを注目点としている もののメキシコのピラミッドが主な上位画像となっている. これは,リオデジャネイロ付近には'pyramid'に対応する代表的画像が無く, エジプトよりもメキシコの方がリオデジャネイロに近いためであると考えられる. 図4, 図5, 図6, 図7の図は, 'traditonal'に関する結果であり,各地の民族的な人物画像が上位画像となって いる.
4.2 単語概念に対応する視覚の地域性の定量化実験350語の実験対象概念それぞれについて, 単語概念に対応する視覚の地域性を定量化する実験を行った.本実験では,画像特徴量にSIFT記述子によるBag-of-Features表現を用いた. 視覚地域性の指標値の算出結果の例として, 表 2に示すパラメータを用いた場合について結 果を示す. 実験対象とした350語のうち,視覚地域性の指標値の大きい10語と小さい10語 を表 3に示す. 地名とランドマークの指標値が小さいと分かる. 地名やランドマークでは,位置情報が狭い範囲に集中するため, 世界の地域別のデータセットを作りようがないということを示している. 一方で,大きい指標値が得られた`building'の代表画像をみてみると, 図8や図9のような代表画像に同一物体の画像を複数含 むクラスタが大きい指標値を与える要因となっている. 提案した指標値は, 同一概念のなかで代表画像に特色を持つ地域があるか否か,という指標としては機能していると 考える. しかし,すべての代表画像が同一物体の画像で構成されている図9のような 場合は,ノイズと言える.今回,画像ランキングから地域の代表画像を選ぶ際に,単純 に上位から選んだが,今後は代表画像の多様性を考慮する必要がある. また,Flickr画像を収集する際に,同一ユーザから投稿された画像の枚数の制限 は20枚とした. 今後は,同一ユーザの画像の取得数をさらに制限する必要があると考える.
5 おわりに本研究では, 位置情報付き画像向けの代表画像選出手法であるGeoVisualRankを提案した. そして,単語概念についての位置情報付き画像データセットから ,単語概念の視覚の地域性を定量化する手法を提案した.今後の改良として,GeoVisualRankによる地域別代表画像の選出については, 画像の領域分割を行い領域ごとの特徴量を利用することが考えられる. 単語概念の視覚の地域差を定量化するために提案した手法では, Flickr画像の投稿者IDや位置情報や撮影日時を調べることによって,過度に類似 した画像を複数枚入力とすることを防止する.
文献目録
脚注
|