モバイルデバイスでの画像認識を利用した料理レシピ推薦システム

丸山拓馬

1 はじめに

近年、画像認識技術の進歩がめざましく、特に対象の見え方に違いがある一般物体を対象にした研究分野ではBag-of-Features 手法を始めとして認識率の大幅な改善を促す画期的な手法が提案されている。またスマートフォンを始めとしてモバイルデバイスで計算処理能力が向上しており、画像認識をモバイル上で行う研究に関心が集まっている。本研究では特に料理レシピ推薦をテーマにあげ、画像認識を用いることでユーザに直感的な操作で料理レシピを推薦できるシステムを提案する。

2 関連研究

食材認識を用いた研究として、京都大学・美濃研究室のスマートキッチンプロジェクト(ユーザ主導型調理支援システム)[1]がある。これは調理過程を設置したカメラでトラッキングして、ユーザに次の調理動作を自動支援することを目標としている。スマートキッチンを実現するための研究は意欲的に継続されており、[2]をはじまりとして、調理者の手の動きを時間制約とした食材追跡[3]などがある。また食材の料理レシピ推薦方法としての余剰食材の使い切りを考慮した料理レシピセットの提案に関する研究[4]、冷蔵庫の食材を考慮した料理レシピセットの推薦[5]などの研究が存在する。

このように食材の画像認識、レシピ推薦はそれぞれ多くの研究が存在するものの、モバイルデバイスでの画像認識とレシピ推薦を組み合わせた研究は今まで存在していない。

3 提案システム

提案システムでは画像認識もしくは手動により食材カテゴリを決定して、COOKPAD[6]より得られた料理レシピリストを表示、料理レシピを選択して詳細の表示をおこなう。その手順を次に示す。

**図 1:** システムの流れ

**図 2:** システムの画面詳細
$\includegraphics[width=0.7\hsize]{img/systemscreen.eps}$

まずスマートフォンを食材にかざすと、食材画像を認識して左側が上位認識結果となる食材候補リストに反映する(図 2：右上赤枠)。この時、1 位に分類された食材はその食材名をクエリとしてレシピリストを取得してレシピ情報が即座にレシピリストに表示される(図2：左側緑枠)。2 位以下の食材は画面タッチすることでレシピリストに反映ができる。最後にレシピリストから目的のレシピをタッチするとそのレシピの情報の詳細が表示される。また比較用に手動選択によって食材の種類を選び、次に食材名をタッチすることでレシピ表示することも可能である(図2：右側青枠)。

4 画像認識手法

提案システムで採用している画像認識手法を説明する。

1 画像特徴

画像特徴としてカラーヒストグラムとSURF を利用している。カラーヒストグラムは画像を12 $\times$ 12 分割した各部分画像について、各色次元を4 分割した計64 次元のヒストグラムを抽出する。色空間にはRGB、HSV、La*b*を採用している。SURF は通常のキーポイント検出と、 $12\times12,24\times24,48\times48,96\times96$ のマルチスケールグリッド検出の2 種類を利用する。

2 Bag-of-Features 手法

Bag-of-Features 手法によって画像特徴を量子化して、1000 次元のコードブックを作成する(

= 1000)。分類時にはKD- tree を構築して

のコードワードを比較するだけで判別できるように高速化している。

3 マルチフレーム認識

認識に動画を使う場合に通常は1 フレームごとに特徴を抽出してそれを分類するが、マルチフレーム認識では複数フレームの特徴を抽出したあとにその特徴を統合して分類する。システムでは連続フレームを対象にフレーム数

を

で採用している。

4 線形SVM

分類には線形SVM を用いている。ここで式1のように変形して、サポートベクトルと重みの計算を事前にしておくことで、計算の回数を

から

に減らして高速な計算を実装している。

$\displaystyle y(x)$	$\textstyle =$	$\displaystyle \sum^{N}_{i=1}w_{i}K(x,x_i) + b$
	$\textstyle =$	$\displaystyle x \cdot \sum^{N}_{i=1}w_{i}x_{i} + b$	(1)

5 実験

ここではシステムの評価として、実際に販売されている食材とその認識結果の例を示す。代表的な特徴量とその手法の食材の認識精度を図3に、上位k 個までを考慮した際の認識精度を図4に示す。

**図 3:** 各手法の認識精度
$\includegraphics[width=\hsize]{img/rate_all.eps}$

**図 4:** 上位k個まで考慮した認識精度
$\includegraphics[width=\hsize]{img/topk.eps}$

レシピリストには最上位の結果が反映されるが、実験の結果からSURF とRGB カラーヒストグラムを3frame で組み合わせた場合に最も高い44.9% の精度を達成した。また食材候補上位6 位まで考慮した際に84.1% の精度が得られることがわかった。

SURF+color と colorの認識精度に大きな差がなかったので、高速化のためにデモシステムではではcolor のみを用いた。SURFの有無で精度に大きな差がなかった原因としては、食材の認識には色が重要な手がかりであることと、単純なカラーヒストグラムではなく、局所パッチのカラーヒストグラムをベクトル量子化して、BoF表現にして利用していることが考えられる。

30食材を対象にカラーヒストグラム特徴のみで一回の分類に要する時間はGalaxy S2(Android2.2、1GHz Dual Core)で0.17秒、HTC Desire HD(1GHz)で0.39秒であった。

6 まとめ

スマートフォンをかざすことで、30 種類の食材を認識してレシピを提示するシステムを提案した。画像認識の評価では1 位の結果では44.9% の精度、上位6 位まで考慮した際に84.1% の精度で食材を認識できることを確認した。今後は画像認識部分では色以外の特徴で安定的な認識をできるようにして1 位で70%、6 位までに90% を達成したい。またシステム部分では以下の3 点の改良を行いたいと考えている。

複数食品で条件検索を可能にする。
価格情報を考慮した料理レシピリストの推薦を行う。
冷蔵庫で撮影しておいた食材と組み合わせて推薦する。

なお、デモアプリケーションは以下のURLからダウンロードすることが可能である。

http://mm.cs.uec.ac.jp/maruyama/recipe/

文献目録

1: 京都大学：``スマートキッチン（ユーザ主導型調理支援システム）''.
http://www.mm.media.kyoto-u.ac.jp/research/skitchen.html.
2: 橋本, 山肩, 角所, 美濃：``D-12-73 テクスチャに基づく食材識別の検討(d-12.パターン認識・メディア理解,一般講演)'', 電子情報通信学会総合大会講演論文集, 2006, 2, p. 205 (2006-03-08).
3: 橋本, 森, 舩冨, 角所, 美濃：``外見の変化モデルを利用した調理中の食材追跡'', 画像の認識・理解シンポジウム(MIRU2009), pp. 1285-1292 (2009).
4: 木原, 上田, 中島：``余剰食材の使い切りを考慮したレシピ推薦手法の提案'', 第3回データ工学と情報マネジメントに関するフォーラム(DEIM) (2011).
5: 高畑, 上田, 中島：``食材に対する好き嫌いを考慮した料理レシピ推薦手法の提案'', 第3回データ工学と情報マネジメントに関するフォーラム(DEIM) (2011).
6: クックパッド：``レシピ検索no.1／料理レシピ載せるならクックパッド''.
http://cookpad.com/.

YANAI Lab.