Yanal-Lab News

IS1-10
偏光情報の画像認識処理への応用 笠原ら(RICOH)




光の偏光情報はRGBとは別の物理量であり、偏光情報とRGB情報の二つを同時に用いることで、認識精度を上昇させた。
例えば、自動車が路面や白線、対向車の認識を行うとき、認識精度は太陽などに大きな影響を受けてしまう。
車の認識では偏光情報を用いることで、ガラス部分に大きな特徴が現れることが分かった。

認識はSVMを用いているがDCNNの入力として偏光情報を用いることもできるのではないかと考えられる。



IS1-35
注視誘導技術に基づく誘目性を考慮したセールス・プロモーションツールのデザイン支援システム 滝本ら(岡山県立大学)



店頭ディスプレイやPOP広告などを作成する場合、人の視線を引き付ける配色を考慮したデザイン支援システムを提案している。
例えば、コーヒーの広告を載せる場合、ユーザは茶色を想像する。その茶色をもとに、顕著性マップから目立つ色を強調することで、広告を目立たせる。
色の調和性なども考慮しており、ムーン・スペンサーモデルや色彩調和性モデルを利用している。
評価実験では、デザイン学部の学生にデザインしてもらった物と比較実験を行い、似た色を提示できたことで、有用性を示せた。

しかし、問題点として、店頭ディスプレイは果たして目立つだけでよいのか。最終的に購買に繋がらなければ意味がないのではないか。
また、周囲の環境と調和した色を選ばなければ周囲から浮いた広告になってしまう。
これらの問題はまだ残っていると語っていた。

IS2-17　CT画像向け放射状特徴点サンプリングによる位置合わせ手法の開発



柳井研OBの松田さんの名前が入っている発表
（残念ながらポスターではお会いできず…）

今までは年々変化する腫瘍を見つけるためには医師が
手動で何枚もの画像を参照し探し出さなければならなかったが
それを自動で行う研究

腫瘍は変化するので鍵として使うことはできないが
周辺の血管や肺の壁などから特徴を抽出
その特徴をマッチングさせていき
最もマッチする個所を探す

特徴には速度を考慮しBRIEF特徴量を使用している
今までは30秒近くかかっていた作業が4～5程度で自動で
行われるので医師の負担軽減が期待される

IS2-13　Deep Convolutional Neural Networkによる顔器官検出における最適なミニバッチ作成方法



DCNNに与えるサンプルの増加方法についての考察

方法は3つ提案されている
学習サンプルに変化を与え、そのサンプルを繰り返し使用する方法
学習サンプルからセットを決めそれに対して毎回異なる変化を与え繰り返し使用する方法
学習サンプルからランダムにセットを決めランダムに変化を与える方法

著者らも一番下のものが結果がよくなると考えていたが結果はそうではなく
一番上の手法が最も性能が良かった

これは決まった点を決めるタスクでは様々な変化を与えて学習を行うよりも
決まった同じ画像で学習を繰り返し確実に器官を検出できた方が良かった

これはこのようなタスクなのでこのような結果になったが
一般物体認識などでは同様な結果が出るとは限らない

IS1-20　複数カメラを用いた外観が類似する複数物体のリアルタイム3次元復元



Track-Graph,MAP-EMという手法を用いる
ターゲット形状に基づき前景領域がターゲットと混同するのを防ぎ、
非常に高速で精度のよい3D復元と物体追跡を実現している。

デモとしておもちゃのサッカーゲームの人形を最大8個までも
正確で高速に追跡できていた。
処理はGPU,CPUで並列に行い30fpsでサクサク実行できていた。


IS1-34　指振りによる簡易な複数機器操作手法の構築



4台のカメラが設置されている部屋内で動作によって
複数の家電を操作する。
この時の動作とは非常に小さく、ユーザの負担が小さく恥ずかしかったりしない
複数のカメラで撮影を行っているので3D復元が可能であり
人の形状を復元、その体を中心に座標系を作成する
このおかげでたとえ寝ていても同様に動作で家電を操作することができる。
認識は１～２秒程度で実行され小さい動作でも検出できている。

OS-01混雑環境の安心安全を実現する群集行動解析

概要：監視カメラを用いて立ち入り禁止個所への監視や人ごみの状態把握を行う
人ごみでの人数推定にCNNを用いている
しかしCNNを用いるためには多数のデータセットが必要
そこで人工データセットを作成　精度はほとんど変わらない

以下スライド概要
監視カメラでの撮影を行い、近づいてはいけない個所や普段人がいない位置に人がいることを警告してくれるシステムは存在している
実際にアルゼンチンでは街に800台ものカメラを設置し街を守っている

現在では人の流れや、取り囲みといった細かい環境にも適応できるようにする

施設全体の混雑状況も把握し、異変などにもすぐに対応できるようにしている

混雑検出には人物検出ベースと非人物検知ベースの2種類存在している
人物は混雑時に少し弱い
非人物は混雑時でも可能だが少し精度が低い

CNNで人数推定を行う

プライバシーの問題で実際の混雑映像を撮影するのは難しい
また大体日常風景、非日常はない
なので人工的に学習データを作る
背景データと人物データをそれぞれ作成しそれを組み合わせ学習データを増やす
合成画像でも実環境に負けてない

実用化には様々な環境下に対応しなければならない
背景の影響を受けるので背景を切り落としたりする

群集行動の把握
実用化に向けての工夫


OS1-02自動車の安全運転支援のための画像認識プロセッサ

概要：近年では衝突を回避するようなシステムが求められている
しかしPCを乗せるわけにもいかないので専用のチップを開発する　「Visconti」
CoHoGなどを用いて歩行者・車の検出を行う
中々開発費用が貰えなかった話や今後の自社が生き残れるかどうかなど少し企業よりなお話でした

以下スライド概要
今では衝突安全から予防安全へ
シートベルトからステレオカメラへ

しかし車にパソコンを乗せておくわけにはいかない
画像を与えトップビューや後ろへの変換を行ったりする
提案手法はメモリを太量に持っているので高速な手法である

SfMを用いた距離推定
幾何解析
パターン認識
と様々なものが搭載されだした。
歩行者検出、車両検出、レーン検出を行う

最初はなかなか売れなかった
そのため開発が中々進まない
他社のが流行って作れるようになった
CoHoG

今後市場は拡大し安定していくと考えている
今後は他社と差をつけるため安さや精度、自動運転への対応を考えている
 
OS1-03 画像解析技術と番組アーカイブス検索システムへの応用

概要：放送のデータは日々たまり続けその情報を素早く検索するシステムが必要
オブジェクト認識と類似画像検索を用いて番組を検索
顕著性マップやSpatial Pyramidなどを用いて既存手法からの精度を上げている
Caltech101やTRECVIDの話などあったが最新の研究と比べてしまうと性能はそこまででもない

以下スライド概要
日々映像はたまり続ける　番組は日100件、ニュースは300件
テープからファイルに変化してきており、映像検索技術の重要性は今後もますます増加
従来にも番組検索システムは存在している。
今までは
人手でメタデータを入れなければならない
番組単位でしか検索できない
言葉で表現できないような映像を検索できない
そこで画像認識技術を利用した映像検索システムを提案

オブジェクト認識
Denseサンプリングと色・テクスチャ・Spatial Pyramid
周辺特徴をまとめて検出それを統合しMax pooling
Caltech101で80％程度
実際の使用環境で90％程度の再現性
TRECVIDでの評価Semantic Indexingタスク
2013年で平均適合率0.1程度　順位40位


類似画像検索
従来技術ではブロックに分割しマッチングを取る
背景や被写体の位置形状の変化の影響を受ける

顕著性マップをいれて被写体領域を抽出
その領域のみで類似検索を行う
ハッシュなどを用いて類似のクエリだけを検索することで精度と速度を向上させている
適合率34％

NHKアーカイブス
1981年以降の番組データを保存
ここで検索も行っている
上記の手法を用いて認識を用いた映像検索システムの作成を行った
2015年1月から4月までを運用テスト
これから分析を行ったりアンケートなどをとる

概要：大規模なデータを高速に探索するためにバイナリコード化させるハッシング手法についてのチュートリアル
高速に処理が行えるためモバイル画像検索や3D復元などに用いられる
基本的ながらも精度のよいPCAハッシングやIQTの説明やグラフ/構造体に基づく方法などの説明を受けた
クロスモーダルハッシングやDeep Learningによるハッシングなどが今後の課題とされる

以下スライド概要
そもそもハッシングとは？
・たくさんのデータの中からざっくりと近いものを早く探すためのcontent-basedなデータインデクシング法
・画像では検索、マッチング、３D復元などいろいろ使われる
・大規模画像処理の基本的なツールの一つ

何のためにあるのか？
基本は近傍探索のため
真面目にやると非常に時間がかかる

近似近傍探索
多少いい加減でもよいことにすると処理速度が上がる
ハッシングはこの近似近傍探索を実現するための代表ツール

ハッシングとは
ハッシュ関数を使ってインデクシングする
低次元なバイナリコードへの変換＝ハッシュコードに変換する
もともと遠いものは遠く、近いものは近く

ハッシュランキング
そうすることでハミング距離を求めることで近いものをランキングすることができる。
長所：必ず近似近傍を見つけることができる
短所：距離計算をしなければならない（それでもL2距離などよりは少ない）

ハッシュルックアップ
ハッシュコードで作ったルックアップテーブルを使って一定距離内のデータをすぐに見つけることができる
長所；データが増えても検索時間は変わらない
短所：近似近傍が見つからない場合がある

ハッシュを用いることでモバイル画像検索にも用いられている。
3次元復元では処理時間は通常では21時間、ハッシュでは5分！　243倍！

ハッシュ関数の構成法
局所鋭敏性ハッシング　LSH
原始的なハッシュ関数構成の一つ
元の空間の距離に応じて様々なアルゴリズムが提案されている
画像分野では角度距離を保存するランダムプロジェクションが用いられる

LSHはハッシュ関数をたくさん用いなければならないデータから学習するハッシング


ハッシング法の紹介
ランダム型と学習型が存在する
基本的には次元削減＋バイナリ量子化
主に教師なし型を今回は議論する

PCAハッシング
主成分ベクトルを引き、そのベクトルに垂直に線をひき01を分ける
10が均等な確率で現れる　ビット間の相関がない方がよい
量子化誤差が問題
ITQ
量子化誤差が少なくなるようにデータを回転させてしまう。
その回転行列Rを求める
近傍探索精度を大幅に改善できる　5倍近い改善がみられる
分散が均一化される
様々な発展形が存在している（要旨参照）
ハッシングを行うならまずこれを試してみる

K-means　ハッシング　KMH
K-meansを用いたハッシング法
代表点にバイナリの値を割り当てその値を用いて距離の計算を行う
ITQでは立方体の回転のみでの対応だったがKMHでは立方体のゆがみによる修正を行う事ができるので量子化誤差を少なくする面で優秀

Double-Bit Quantization (DBQ)
1次元あたり2ビット量子化する
分割した際に次元ごとの量子化誤差が最も小さくなるように線引きする
ITQとの併用で精度がよくなる
グラフ/多様体に基づくハッシング
Laplacian Eigenmaps（LE）
本質的なデータの構造をとらえて低次元化する
多様体構造　簡単にいえば局所的な近接性
元の空間でのデータの局所的な近接性が、より低次元な空間上で出来る限り再現されるように配置する問題を解く
固有値問題

局所的な近接性の観点に近いもの同士が近いハッシュコードになる
しかし単純にLEを適用してしまうと学習データにしか適応できない
なので様々な方法が提案されている

Spatialハッシング
特徴空間を三角関数で分割してハッシング
新規点と既存点との類似度を求める　この時にはサイン関数を用いる

Local　Linear　Embedding　LLE
相対距離が保持される
近接する異なる多様体同士を分離して探索できる


現在そしてこれからの課題
クロスモーダルハッシング
異なるデータ同士の相互検索（画像―文書）
多くの場合ユニモーダル（画像―画像）精度を改善できることも知られている
モーダル内類似度とモーダル間類似度の2つの類似度を保持するようなハッシュコードを求める
詳しくは要旨参照

超次元ハッシング
検索はデータ数に対して比例しない時間で実行できる
ハッシュコード生成は1ビットあたり特徴次元に比例する時間かかる
特徴ベクトルを行列に折りたたむことでメモリの削減などを行う

Deep-Learning　Hashing
CNNを用いたハッシュ法特徴抽出とハッシングが同時に行える