モバイルデバイスでの画像認識を利用した料理レシピ推薦システム

丸山 拓馬

1 はじめに

近年、画像認識技術の進歩がめざましく、特に対象の見え 方に違いがある一般物体を対象にした研究分野ではBag-of-Features 手法を始めとして認識率の大幅な改善を促す画期的 な手法が提案されている。またスマートフォンを始めとして モバイルデバイスで計算処理能力が向上しており、画像認識 をモバイル上で行う研究に関心が集まっている。 本研究では特に料理レシピ推薦をテーマにあげ、画像認識を用いることでユーザに直感的な操 作で料理レシピを推薦できるシステムを提案する。

2 関連研究

食材認識を用いた研究として、京都大学・美濃研究室のス マートキッチンプロジェクト(ユーザ主導型調理支援システ ム)[1]がある。 これは調理過程を設置したカメラでトラッキングして、ユー ザに次の調理動作を自動支援することを目標としている。ス マートキッチンを実現するための研究は意欲的に継続されて おり、[2]をはじまりとして、調理者の手の動きを時間制約 とした食材追跡[3]などがある。 また食材の料理レシピ推薦方法としての余剰食材の使い切りを 考慮した料理レシピセットの提案に関する研究[4]、冷蔵庫の食 材を考慮した料理レシピセットの推薦[5]などの研究が存在する。

このように食材の画像認識、レシピ推薦は それぞれ多くの研究が存在するものの、モバイルデバイスでの画像認識と レシピ推薦を組み合わせた研究は今まで存在していない。

3 提案システム

提案システムでは画像認識もしくは手動により食材カテゴ リを決定して、COOKPAD[6]より得られた料理レシピリストを 表示、料理レシピを選択して詳細の表示をおこなう。 その手順を次に示す。
図 1: システムの流れ

図 2: システムの画面詳細
\includegraphics[width=0.7\hsize]{img/systemscreen.eps}
まずスマートフォンを食材にかざすと、食材画像を認識し て左側が上位認識結果となる食材候補リストに反映する(図 2：右上赤枠)。この時、1 位に分類された食材はその食材名 をクエリとしてレシピリストを取得してレシピ情報が即座に レシピリストに表示される(図2：左側緑枠)。2 位以下の食 材は画面タッチすることでレシピリストに反映ができる。最 後にレシピリストから目的のレシピをタッチするとそのレシ ピの情報の詳細が表示される。また比較用に手動選択によっ て食材の種類を選び、次に食材名をタッチすることでレシピ 表示することも可能である(図2：右側青枠)。

4 画像認識手法

提案システムで採用している画像認識手法を説明する。
1 画像特徴
画像特徴としてカラーヒストグラムとSURF を利用して いる。カラーヒストグラムは画像を12$\times$12 分割した各部分 画像について、各色次元を4 分割した計64 次元のヒストグ ラムを抽出する。色空間にはRGB、HSV、La*b*を採用し ている。SURF は通常のキーポイント検出と、 $12\times12,24\times24,48\times48,96\times96$のマルチスケールグリッド検出の2 種類 を利用する。

2 Bag-of-Features 手法
Bag-of-Features 手法によって画像特徴を量子化して、1000 次元のコードブックを作成する($N$ = 1000)。分類時にはKD- tree を構築して$O(logN)$のコードワードを比較するだけで 判別できるように高速化している。

3 マルチフレーム認識
認識に動画を使う場合に通常は1 フレームごとに特徴を 抽出してそれを分類するが、マルチフレーム認識では複数 フレームの特徴を抽出したあとにその特徴を統合して分類 する。システムでは連続フレームを対象にフレーム数$n$を $n=1,2,3,4,5$ で採用している。

4 線形SVM
分類には線形SVM を用いている。ここで式1のように変 形して、サポートベクトルと重みの計算を事前にしておくこ とで、計算の回数を$O(DN)$から$O(D)$ に減らして高速な計 算を実装している。
$\displaystyle y(x)$ $\textstyle =$ $\displaystyle \sum^{N}_{i=1}w_{i}K(x,x_i) + b$  
  $\textstyle =$ $\displaystyle x \cdot \sum^{N}_{i=1}w_{i}x_{i} + b$ (1)

5 実験

ここではシステムの評価として、実際に販売されている食材とその認識結果の例を示す。 代表的な特徴量とその手法の食材の認識精度を図3に、上 位k 個までを考慮した際の認識精度を図4に示す。

図 3: 各手法の認識精度
\includegraphics[width=\hsize]{img/rate_all.eps}
図 4: 上位k個まで考慮した認識精度
\includegraphics[width=\hsize]{img/topk.eps}
 

レシピリストには最上位の結果が反映されるが、実験の結 果からSURF とRGB カラーヒストグラムを3frame で組み 合わせた場合に最も高い44.9% の精度を達成した。また食材 候補上位6 位まで考慮した際に84.1% の精度が得られるこ とがわかった。

SURF+color と colorの認識精度に大きな差がなかったので、 高速化のためにデモシステムではではcolor のみを用 いた。SURFの有無で精度に大きな差がなかった原因としては、 食材の認識には色が重要な手がかりであることと、単純なカラー ヒストグラムではなく、局所パッチのカラーヒストグラムをベクト ル量子化して、BoF表現にして利用していることが考えられる。

30食材を対象にカラーヒストグラム特徴のみで一回の分類に 要する時間はGalaxy S2(Android2.2、1GHz Dual Core)で0.17秒、HTC Desire HD(1GHz)で0.39秒であった。

6 まとめ

スマートフォンをかざすことで、30 種類の食材を認識して レシピを提示するシステムを提案した。 画像認識の評価では1 位の結 果では44.9% の精度、上位6 位まで考慮した際に84.1% の 精度で食材を認識できることを確認した。 今後は画像認識部分では色以外の特徴で安定的な認識をできるよ うにして1 位で70%、6 位までに90% を達成したい。またシ ステム部分では以下の3 点の改良を行いたいと考えている。

なお、デモアプリケーションは以下のURLからダウンロードすることが可能である。

http://mm.cs.uec.ac.jp/maruyama/recipe/

文献目録

1
京都大学：``スマートキッチン（ユーザ主導型調理支援システム）''.
http://www.mm.media.kyoto-u.ac.jp/research/skitchen.html.

2
橋本, 山肩, 角所, 美濃：``D-12-73 テクスチャに基づく食材識別の検討(d-12.パターン認識・メディア理解,一般講演)'', 電子情報通信学会総合大会講演論文集, 2006, 2, p. 205 (2006-03-08).

3
橋本, 森, 舩冨, 角所, 美濃：``外見の変化モデルを利用した調理中の食材追跡'', 画像の認識・理解シンポジウム(MIRU2009), pp. 1285-1292 (2009).

4
木原, 上田, 中島：``余剰食材の使い切りを考慮したレシピ推薦手法の提案'', 第3回データ工学と情報マネジメントに関するフォーラム(DEIM) (2011).

5
高畑, 上田, 中島：``食材に対する好き嫌いを考慮した料理レシピ推薦手法の提案'', 第3回データ工学と情報マネジメントに関するフォーラム(DEIM) (2011).

6
クックパッド：``レシピ検索no.1／料理レシピ載せるなら クックパッド''.
http://cookpad.com/.