Yanal-Lab News

概要：画像内の特徴点を検出、追跡することによりカメラの位置姿勢や特徴点の座標を求めることができるv-SLAM手法の説明
v-SLAMを用いることでARやDR、自由視点画像生成、ロボットナビゲーションなどに用いられる
先行技術としてSfMという技術があるが得意としている機能が異なりv-SLAMでは特にリアルタイム性が優れている
カメラの位置姿勢推定には決められた点を測定しPnP問題を解くことで実装される（これはOpenCVなどで容易に実装できる）
特徴点追跡にはFAST特徴量など簡単で高速な特徴を用いる
これはカメラの位置姿勢がわかるのでスケール不変性を考える必要がないためである（SIFTなどはいらない）
現在ではマシンパワーの向上により全画素を用いたDirect methodなどが考案されている

以下スライド概要
Simultaneous Localization And Mapping SLAM
もともとはロボット分野の研究用語
ロボットの位置推定及びマップの推定
ロボット分野では各種センサ情報を手掛かりに
CV分野では動画像情報

動画像を解析することで逐次の位置・姿勢とシーンの３次元情報を推定する手法
カメラを用いることで安価に様々な情報を取得することができる

実現ではARやDR、自由視点画像の生成、ロボットナビゲーションなどもできると考えられている

SfMとv-SLAMの関係
SfM：オフライン　高精度　入力情報のすべてを用いることができる
v-SLAM：リアルタイム出力　そこまでの情報のみ

SLAMの実現方法
何らかの方法でカメラ位置の初期値が与えられればLocalization mappingを繰り返すことで実現できる
基準となる座標系を設定する
その時々に応じた座標系が必要
ワールド座標系　全体の共通基盤となる座標系
ローカル座標系　物体ごとに設定されている座標系
絶対位置姿勢　他の系から参照可能で再現可能な世界座標において推定される位置姿勢情報
相対位置姿勢　再現可能でない座標系による推定
v-SLAMでは相対的な位置姿勢しか推定できない

カメラ位置姿勢を推定することでARなどをよりリアルに投影することができえる
座標変換には平行回転を考慮した座標変換行列を用いる

自由度は６

投影モデル
直行投影や透視投影を行う事ができる

誤対応
RANSAC　少数の点を繰り返し対応を付ける
繰り返し回数が少ないと処理が破綻する可能性がある
また誤対応が多いと処理に時間がかかる
M推定　最小二乗法ではoutlierの影響が極めて大きくなるため例外値の重みを小さくするような誤差関数を用いる方法
Outlierの影響を完全に排除できない
局所解に陥る場合がある

人工マーカーを用いるのは配置や維持、美観の問題から難しい
そこでシーン中に存在する特徴点や線特徴を利用して位置合わせを行う

３次元位置が基地の対象があればPnP問題を解くことができる　OpenCVでもできる
既知の対象としてはマーカーや自然特徴点
３次元位置をリアルタイムで推定できればv-SLAMを実現可能

自然特徴点の３次元位置推定
カメラの位置が既知でありかつ画面上の位置が既知な場合はObject Space errorまたはImage Space Errorを最小にすることで特徴点の３次元位置を推定可能

v-SLAMでは処理が高速であること繰り返し再現性が高いことが求められる
スケール普変性は考慮する必要がない
FAST特徴量やShi-Tomasi特徴量を用いることが多い

v-SLAMではカメラの位置姿勢が既知であるためスケール変化、回転、変形について補正することができる
このためSIFTやSURFなどの特徴量を使う必要はない
テンプレートマッチングでよい

対応点の探索範囲
カメラの動きや画像間の最大視差より対応点の探索範囲を限定している


v-SLAMのアルゴリズム
カメラ運動を先に推定する方法
初期位置でMAPを与える方法
同時に推定する方法

蓄積誤差の問題
１％の誤差であってもそれが１００回続くと1.01の１００乗で２７０％もの誤差になる
なので多数の地点から観測可能な点を存在させそこからスケールを取得、誤差を抑えることができる

順次復元によるv-SLAM
OpenCVの関数を組み合わせることで実現可能

PTAM
MappingとTrackingを並列かつ非同期に行う事で実時間処理を実現しながら蓄積誤差を解消を図る手法

様々な課題への対応
画像から実際の大きさの推定はできない　何らかの外部指標が必要
絶対位置の決定
マップがその場で構築されるため位置に依存した情報サービスの提供には事前に何らかの事前指標が必要となる

Direct method
特徴点に限定せずすべての画素の３次元情報を利用した位置合わせを行う
基本的にはphoto consistencyを高めるようにカメラ位置姿勢を推定する枠組み
Feature/key-point based method
特徴点のみを利用しそれ以外の情報は利用しない

まとめ
v-SLAMの基本は特徴点のトラッキング、カメラ位置姿勢３次元位置推定最適化処理の繰り返し
OpenCVや他のオープンソースも出てきており開発の敷居は下がっている