地図と対応付けられた旅行番組データベースの構築

電気通信大学電気通信学部
情報工学科コンピュータ学講座
0711098 宮部創一

Date: 平成23年1月31日

概要:

近年，地上デジタルテレビジョン放送が普及してきている。デジタル放送の特徴として高画質・高音質といった物の他に番組情報やデータ放送・字幕といったメタデータが取り入れられているという点がある。

本研究では録画した旅行番組の位置情報を求める解析システムと、位置情報を用いて番組と地図を対応づける視聴システムを作成した。

解析システムでは録画したTSファイルから字幕抽出とエンコードを行い、抽出した字幕データから地名抽出と地名のジオコーディングを行う。視聴システムではGoogle Mapを表示させ、地図上にマーカーを設置させることにより位置情報つき映像の配信を行っている。

これらにより、地上デジタルテレビジョン放送の字幕データから地名を抽出することにより、地図上の位置の地域を紹介する番組を提供する、地図と対応づけられた旅行番組視聴システムを構築できた。

1. はじめに

1.1 背景

近年、地上デジタルテレビジョン放送が普及してきている。デジタル放送の特徴として高音質、高画質である等の他に番組情報や字幕データなどのメタデータを取り入れているということがある。また、HDDの大容量化・低価格が進み大量の番組を録画することが容易になってきている。

多チャンネル化により、毎日多くの旅行番組が放送されているが、見ることのできる番組はそのうちごくわずかである。また、旅行番組を録画しておいたとしても、実際に旅行に行こうと思う場所の旅行番組を見つけることは容易ではない。そこで、自動的に旅行番組を録画して、メタデータなどを用い、図のように番組を地図上の位置と自動的に対応づける、自動旅行番組DB 構築システムを目指す。

1.2 目的

本研究では旅行番組を大量に録画し、字幕データから地名を抽出することで自動で日本地図上のそれぞれの番組で紹介している場所にマーカーをたてる。知りたい位置のマーカーをクリックするとその場所に関する番組を再生できるシステムをつくる。

図: 番組と地図の対応付け
$\includegraphics[width=0.8\textwidth]{sample2.eps}$

1.3 本論文の構成

本論文の構成は以下のようになっている。

1章はじめに

この研究の背景、目的を記載する。

2章関連研究

2. 関連研究

テレビジョン放送を利用したシステムとしては片山ら [1]の研究がある。これは当時主流であったアナログ放送を用いて構築したシステムであり、MPEGキャプチャカードと字幕放送デコーダーを組み合わせてデータベース化している。本研究が対象とするテレビジョン放送はデジタル放送である。デジタル放送では映像データと字幕データや番組情報が一体化しており、1つのキャプチャデバイスを取得することができる。

地上デジタルテレビジョン放送を利用したシステムとしては、小池 [2]の研究がある。小池の研究では字幕データを利用し、ユーザーからのテキストクエリーを受けつけ、それに該当するシーンを提供するシステムを構築している。また、大坪[3]による撮りためた千以上のビデオを気ままに閲覧するためのシステムとしてGoromi-TVがある。Goromi-TVは「ユーザがどれだけの選択肢を対象としているか正確には知らず，自分が何を見たいかという明確な要望を持っておらず，かつ自分がどのような番組を好むかについても知らない」といった状況を考えたシステムである。このシステムでは積極的な情報掲示を行うことにより、ユーザーの「思わぬ情報への気づき」を支援している。これらの研究ではキーワードによって番組の検索を行っているが、本研究では番組内で呼ばれる地名をキーワードとして、地図から番組を視聴することができる。

3. システム

本研究では解析システム・視聴システムの2つのシステムがある。本章ではそれぞれのシステムの詳細を述べる。システムは図のような処理を行う。TSファイルから再エンコードと字幕抽出を行う。抽出した字幕データから地名データの抽出を行い、ジオコーディングにより緯度経度を求める。最後に緯度経度と映像の対応付けを行う。

図: システムの概要
$\includegraphics[width=1.0\textwidth]{gaiyo.eps}$

3.1 解析システム

解析システムでは図のような処理を行う。録画したTSファイルから字幕データの抽出と映像の再エンコードを行い、字幕データから地名を抽出する。そして抽出された地名の緯度経度を取得する。

3.1.1 字幕データの抽出

TSファイルから字幕データを抽出する。抽出には字幕抽出ツールであるCaption2Ass^3.1を用いた。字幕データには字幕のテキスト以外に開始時間・終了時間・表示位置などが含まれている。

[

l]字幕データサンプル

0:04:56.01,0:04:59.37,男二人で露天風呂！\N入りますか\N 0:04:59.37,0:05:02.07,日本有数の温泉郷で見つけた\N 0:05:02.07,0:05:08.46,北アルプス一望の\N絶景露天をめぐります。\N 0:05:08.46,0:05:12.50,岐阜県奥飛騨温泉郷は\N風情ある山里に→\N 0:05:12.50,0:05:16.88,多くの露天湯が\N点在する温泉の町\N 0:05:16.88,0:05:19.88,到着したのは奥飛騨の玄関口…\N 0:05:22.60,0:05:25.13,着きました田崎さん!\天気もいいですね\N 0:05:25.13,0:05:28.83,やっぱり若干涼しいですね!\Nねぇ\N

3.1.2 映像の再エンコード

地上デジタルテレビジョン放送の映像は解像度1440x1080 のインターレース形式を16:9 に引き延ばしたものである．録画したTS ファイルのままでは計算機上で扱いづらく，ここまでの解像度も必要ないのでffmpegを使用し、一度解像度を落として再エンコードを行い、flvファイルを作成する。これ以降は再エンコードによって得られた動画で処理を行う。また、サムネイル画像のために録画開始時間から30秒後の静止画を取得する。

3.1.3 地名の抽出

字幕データから地名の抽出を行う。地名の抽出は形態素解析器であるChaSen(茶筌)^3.2で行う。形態素解析器とは、人力文を単語単位に分割し品詞を付与するツールである。形態素解析の結果における地名の品詞は「名詞-固有名詞-地域-一般」となっているので、この文字列が出たときに地名の抽出を行っていく。地名ごとにカウントを行い、上位3つの地名を記録し最も出現した地名を番組で紹介されている場所とする。

[

l]ChaSen

字幕美しき段坂の町\N 尾道を散策します。\N ChaSen 美しきウツクシキ美しい形容詞-自立形容詞・イ段体言接続坂サカ坂名詞-一般のノの助詞-連体化町マチ町名詞-一般 \N \エヌ \N 名詞-一般尾道オノミチ尾道名詞-固有名詞-地域-一般をヲを助詞-格助詞-一般散策サンサク散策名詞-サ変接続しシする動詞-自立サ変・スル連用形ますマスます助動詞特殊・マス基本形。。。記号-句点 \N \エヌ \N 名詞-一般 EOS

3.1.4 ジオコーティング

地名の緯度経度はYahoo!のジオコーダAPI^3.3を用いて求める。このAPIは住所を指定すると緯度経度等の位置情報を図

のようなxmlファイルで返すものである。出力されたxmlファイルには国名や住所、座標情報等が記述されており、本研究では緯度経度のみを取りだし、図

のように緯度経度、flvファイル、番組名、地名を記録したxmlファイルのリストを作成する。

図: xmlファイル(指定住所:越前)
$\includegraphics[width=1.0\textwidth]{test.eps}$

図: 番組リストのxmlファイル
$\includegraphics[width=1.0\textwidth]{xml2.eps}$

3.2 視聴システム

視聴システムではGoolge Mapを表示する。

3.2.1 Google Map

地図の表示にはGoogle MAPS API^3.4を用いる。図

のように記録されている緯度経度にマーカーを設置し、マーカーに番組名、地名、サムネイル画像を載せた吹き出しをつけ、吹き出しを表示させると動画を再生させるようにした。

図: Google Map
$\includegraphics[width=0.8\textwidth]{map.eps}$

図: 吹き出しの表示
$\includegraphics[width=0.8\textwidth]{map2.eps}$

4. システムの動作例

本システムの動作例を示す。図

は視聴システムのスクリーンショットである。

図: 視聴システムのスクリーンショット
$\includegraphics[width=1.0\textwidth]{start.eps}$

ユーザーがカーソルを左の地図上にあるマーカーに移動すると図

のようにマーカーから吹き出しが表示され、マーカーの設置されている場所を紹介している番組名、地名、番組のサムネイル画像が表示される。

図: 吹き出しを表示させているスクリーンショット
$\includegraphics[width=1.0\textwidth]{mouseover.eps}$

ユーザーは興味のある番組のマーカーか吹き出し内のサムネイル画像の下のPlay videoをクリックすることで図のように番組が右部に表示される。

4.1 地図上から試聴したい地域を紹介している番組の検索

地図上のマーカーを選択することで、旅行で行く予定のある場所などの周辺の地域を紹介している番組を視聴することができる。図

では金沢付近にあったマーカーをクリックしている。この番組が金沢を特集している番組であることが確認できた。また図

では越前にあるマーカーをクリックしており、正しく越前付近を紹介している番組であることが確認できる。

図: 番組を視聴しているスクリーンショット
$\includegraphics[width=1.0\textwidth]{shichou.eps}$

図: 金沢にあるマーカーからの番組視聴
$\includegraphics[width=1.0\textwidth]{click.eps}$

図: 越前にあるマーカーからの番組視聴
$\includegraphics[width=1.0\textwidth]{echi.eps}$

4.2 失敗例

図

では出演者の名前を地名と認識してしまい、番組の内容と関係のない場所にマーカーをしてしまっている。また、図

では出演者の口癖の「あら」を地名として抽出してしまい、荒川区にマーカーを設置している。それ以外では図

での「パラオ」のように海外の地名を抽出すると正しい位置情報が取得できない。これはYahoo!ジオコーダAPIが海外の地名に対応していないためである。

図: 出演者名を地名として抽出
$\includegraphics[width=1.0\textwidth]{yabe.eps}$

図: 台詞を地名として抽出
$\includegraphics[width=1.0\textwidth]{ara.eps}$

図: 海外の地名を抽出
$\includegraphics[width=1.0\textwidth]{para.eps}$

5. 考察

5.1 HDDレコーダーとの比較

ユーザーが見たいと思っている地域の旅行番組をみつけるまでの時間を比較する。HDDレコーダーではまず番組名を確認し、番組名に地名が乗っていない場合は順番に番組の中身を確認していかなければならないのに対し、本システムではユーザーは地図から見たい地域に設置されているマーカーをクリックするだけで目的の番組を試聴することができる。これにより、録画した番組から目的の旅行番組を容易に探すことが可能になったと考えられる。

5.2 地名抽出の精度

出演者の名前を地名として抽出してしまう場合がある。これは番組の出演者名が地名と間違えやすい名前であることが原因であると考えられる。これを改善するには出演者名の取得が必要だと考えられる。出演者名を取得することにが出来れば、出演者名が出たら地名としてカウントしないようにすることにより、システムの精度が向上すると思われる。

また、「あら」などの台詞を地名として抽出しないようにするために、地名として抽出されやすい頻出する台詞のリストを作成し、リスト内の言葉は候補から除外する必要があると考えられる。

5.3 マーカーの重複

複数の番組で同じ地名が抽出された場合マーカーが上書きされてしまい、1つの番組しか取得できていない。よって、すでにマーカーが設置されている場合はマーカーを少しずらして設置をする等を行い、全ての番組を提供できるようにする必要があると考えられる。

6. おわりに

6.1 まとめ

本研究では地上デジタルテレビジョン放送の映像が字幕データを利用した地図と対応付けられた旅行番組の視聴システムを提案した。字幕データから地名を抽出することにより、地図上の位置の地域を紹介する番組を提供するシステムを構築した。

6.2 今後の課題

本研究で提案したシステムは海外の住所に対応していないので、海外にも対応させるといった改良が考えられる。

また、長時間の番組では番組内で複数の地域を紹介していることがあるので、番組を地域ごとに分割するといった改良も考えられる。

参考文献

1: N. Katayama, H. Mo, I. Ide, and S. Satoh.
Mining large-scale broadcast video archives towards inter-video structuring.
Proc. of PacificRim Conference on Multimedia, pp. 489-496, 2004.
2: 小池友介.
地デジ番組のメタデータを用いたシーン検索システムの構築.
電気通信大学電気通信学部情報工学科卒業論文, 2008.
3: 大坪五郎.
Goromi-TV 撮りためた千以上のビデオを気ままに閲覧する方法.
WISS2006 論文集, pp. 47-52, 2006.

脚注

... TSファイルから字幕データを抽出する。抽出には字幕抽出ツールであるCaption2Ass^3.1: http://2sen.dip.jp/dtv/
... 字幕データから地名の抽出を行う。地名の抽出は形態素解析器であるChaSen(茶筌)^3.2: http://chasen-legacy.sourceforge.jp/
... 地名の緯度経度はYahoo!のジオコーダAPI^3.3: http://developer.yahoo.co.jp/webapi/map/openlocalplatform/v1/geocoder.html
... API^3.4: http://code.google.com/intl/ja/apis/maps/

YANAI Lab.