JP6279837B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、飲食物の画像を処理する画像処理装置及びプログラムに関する。

食品の種類（コロッケである、など）と量とを、ネットワークを介した通信を行うことなく画像から識別して、当該種類の食品の、識別された量だけのカロリー値を演算するという考えが、特許文献１に開示されている。

特開２００７−１２２３１１号公報

こうした上記従来の技術においては、例えば画像を比較することにより食品の種類を判別する場合、初めて撮影する種類の食品も判別可能とするために予め用意された食品の画像との比較を行うことが必要である。しかしながら画像処理装置自体が備える撮影手段、また利用者の撮影環境、撮影の癖等によっては、同じ種類の食品であっても、撮影される画像が、予め用意された画像とまったく異なって認識される場合もある。また、同じ種類の食品であっても、形状が異なる場合も多い。このため、画像比較による飲食物の識別は、通常の画像情報とは異なり、困難が伴っている。

本発明は上記実情に鑑みて為されたもので、飲食物の画像による識別をより効果的に行うことのできる画像処理装置及びプログラムを提供することを、その目的の一つとする。

上記従来例に問題点を解決するための本発明は、予め用意された飲食物の情報を含む参照データを複数保持するデータベースにアクセス可能に接続され、利用者が撮影した撮影画像と、当該撮影画像に含まれる飲食物の情報を関連付けた個人データを少なくとも一つ保持する保持手段と、飲食物の画像を撮影する撮影手段と、前記撮影された画像に係る飲食物の情報と、前記データベースに保持された参照データ、並びに、前記保持手段に保持された個人データとを比較し、前記撮影された画像に類似する参照用画像ととともに参照データに含まれる飲食物の情報、もしくは個人データの撮影画像に関連付けられた飲食物の情報、または、前記撮影された画像に係る飲食物の情報を含んだ参照データもしくは個人データ内の飲食物の情報を取得する取得手段と、当該取得した飲食物の情報と、前記撮影された画像とを関連付けて個人データとして前記保持手段に保持させる保持制御手段と、を含むこととしたものである。

またここで前記撮影手段は、撮影時の環境情報を取得して出力し、前記保持制御手段は、前記取得した飲食物の情報と、前記撮影された画像と、前記取得した環境情報を関連付けて個人データとして前記保持手段に保持させ、前記取得手段は、前記撮影された画像と、前記保持手段に保持された個人データとを比較する際には、前記画像の撮影時の環境情報と、個人データに含まれる画像に関連付けられた環境情報とが所定の条件を満足する場合に、当該環境情報に関連付けられた画像と、撮影された画像とを比較し、前記環境情報には、撮影時の時間帯、位置情報、撮影時の筐体角度、照明に関わる情報の少なくともいずれかが含まれてもよい。

また本発明の一態様に係るプログラムは、予め用意された飲食物の情報を含む参照データを複数保持するデータベースにアクセス可能に接続されたコンピュータを、利用者が撮影した撮影画像と、当該撮影画像に含まれる飲食物の情報を関連付けた個人データを少なくとも一つ保持する保持手段と、飲食物の画像を撮影する撮影手段と、前記撮影された画像に係る飲食物の情報と、前記データベースに保持された参照データ、並びに、前記保持手段に保持された個人データとを比較し、前記撮影された画像に類似する参照用画像ととともに参照データに含まれる飲食物の情報、もしくは個人データの撮影画像に関連付けられた飲食物の情報、または、前記撮影された画像に係る飲食物の情報を含んだ参照データもしくは個人データ内の飲食物の情報を取得する取得手段と、当該取得した飲食物の情報と、前記撮影された画像とを関連付けて個人データとして前記保持手段に保持させる保持制御手段と、として機能させることとしたものである。

本発明によると、飲食物の画像による識別をより効果的に行うことが可能となる。

本発明の実施の形態に係る画像処理装置の構成例を表すブロック図である。 本発明の実施の形態に係る画像処理装置の姿勢を表す情報の例を表す説明図である。 本発明の実施の形態に係る画像処理装置の例を表す機能ブロック図である。 本発明の実施の形態に係る画像処理装置の画面例を表す説明図である。 本発明の実施の形態に係る画像処理装置の別の画面例を表す説明図である。 本発明の実施の形態に係る画像処理装置のまた別の画面例を表す説明図である。 本発明の実施の形態に係る画像処理装置のさらに別の画面例を表す説明図である。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像処理装置１は、図１に例示するように、制御部１１と、記憶部１２と、操作部１３と、表示部１４と、画像取得部１５と、通信部１６と、センサ部１７とを含んで構成されている。

ここで制御部１１は、例えばＣＰＵ（Central Processing Unit）等のプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。この制御部１１の詳しい動作については後に述べる。

また本実施の形態の一例では、記憶部１２は、メモリデバイス等であり、制御部１１によって実行されるプログラムを保持する。このプログラムはＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）等のコンピュータ可読な記録媒体に格納されて提供され、この記憶部１２に複写されたものであってもよい。また、この記憶部１２は、制御部１１のワークメモリとしても動作する。またこの記憶部１２は、利用者が撮影した撮影画像と、当該撮影画像に含まれる飲食物の情報を関連付けた個人データを少なくとも一つ保持する保持手段としても機能する。ここで飲食物の情報は例えば飲食物の名称（「ごはん」、「コロッケ」等）と、それぞれについて所定の方法で定められた（例えば予め指定されたカロリー表等に基づくものとすればよい）、利用者により指定された単位分量あたり（１人前、グラム、１杯あたり、など）の栄養価情報（カロリー値等）の情報とを含むものとする。

操作部１３は、例えば表示部１４に積層して配された透明のタッチパネルである。この操作部１３は、利用者が触れるなどして指示した位置を表す情報を生成して、制御部１１に出力する。表示部１４は、液晶ディスプレイパネルなどであり、制御部１１から入力される指示に従い、画像情報を表示出力する。

画像取得部１５は、例えば筐体に固定されたカメラなど、撮影により画像情報を取得する撮影手段である。この画像取得部１５は、撮影により取得した画像情報を制御部１１に出力する。通信部１６は、ネットワークインタフェース等であり、制御部１１から入力される指示に従い、ＷｉＦｉ等の無線ＬＡＮあるいは、携帯電話回線網を介して、外部のコンピュータとの間で情報を授受する。またこの通信部１６は、外部のコンピュータから受信した情報を制御部１１に出力する。

センサ部１７は、画像処理装置１が置かれている環境に関する環境情報を測定して出力する。例えばこのセンサ部１７は、画像処理装置１の筐体の配置と、予め定められた正位置との間のＸ軸（例えば筐体平面の水平方向）周りの角度φ、Ｙ軸（筐体平面の上下方向）周りの角度ψ、Ｚ軸（筐体の厚さ方向）周りの角度θの大きさ測定する傾斜センサと、重力方向がＸＹ軸方向のどちら側に近いか（つまり筐体が縦向きか横向きか）を測定するオリエンテーションセンサとを含む（図２）。またこのセンサ部１７は、現在位置を測定するＧＰＳ（Global Positioning System）のセンサを含んでもよい。

本実施の形態において、処理対象となる画像情報を取得して表示部１４に表示出力させる動作を行っている。またこの制御部１１は、記憶部１２に格納されたプログラムを実行することで、機能的に図３に例示する構成を有したものして動作する。すなわち、この制御部１１は機能的には、図３に例示するように、参照データ取得部２１と、画像取得制御部２２と、個人データ取得部２３と、情報検索部２４と、情報提示部２５と、記録部２６とを含んで構成される。

参照データ取得部２１は、予め用意された参照データを複数保持するデータベースにアクセスして、参照データを取得する。本実施の形態の一例では、この参照データを保持するデータベースは記憶部１２に格納されていてもよい。ここで参照データには、飲食物の情報として、飲食物の名称と、飲食物の所定分量当りの栄養価情報（以下の説明では一例としてカロリー値であるとする）とが互いに関連付けて保持される。またこの参照データには、参照用画像として飲食物の画像が含まれていてもよい。

画像取得制御部２２は、利用者からの指示を受けて画像取得部１５を制御して、画像を取得させる。またこの画像取得制御部２２は、取得した画像を所定のフォーマット、例えば種々のメタデータを含み得るＥｘｉｆ（Exchangeable image file format）等の形式とする。さらに本実施の形態の一例では、この画像取得制御部２２は、取得された画像Ｐについて、予め定めた方法でセグメンテーションの処理を実行する。このセグメンテーションの処理は例えば、輪郭抽出により画像Ｐに含まれる飲食物（またはそれを盛付けてある皿）の外形を抽出し、当該抽出した外形の内部の一点を選択し、当該一点と色が類似する（所定色空間上で所定距離内にあるなどの条件を用いればよい）隣接画素を再帰的に検索していくことで行う等の処理を用いればよい。

または、このセグメンテーションの処理は、利用者に画像Ｐに含まれる各飲食物の部分を選択させることにより行ってもよい。すなわち画像取得制御部２２は、画像Ｐを表示して、利用者に画像Ｐに含まれる飲食物のそれぞれを順次選択するよう促し、利用者が飲食物の画像部分を指定するごとに、グラブカット（GrabCut：C. Rother, V. Kolmogorov, and A. Blake, GrabCut: Interactive foreground extraction using iterated graph cuts, ACM Trans. Graph., vol. 23, pp. 309-314, 2004）による自動セグメンテーション（Automatic segmentation）を実行し、撮影された画像を前景（利用者が指定した部分を含む画像部分）と背景（その他の画像部分）とに分離する。

画像取得制御部２２は、こうして飲食物ごとに、各飲食物を含む画像部分（各飲食物についての前景）ｐ1，ｐ2，…を抽出する。そして画像取得制御部２２は、当該画像部分の抽出ごとに、当該抽出した画像部分ｐj（ｊ＝１，２…）を特定する情報（各画像部分に外接する矩形の左上隅座標及び右下隅座標等）を得て、画像Ｐに関連付けて記憶する。また、画像取得制御部２２は、この画像Ｐを、検索のキーとなる画像として情報検索部２４に出力する。

またグラブカットのような自動セグメンテーションを行わずに、画像取得制御部２２は、利用者に抽出する部分を指定させてもよい。具体的に画像取得制御部２２は、画像Ｐを表示して、利用者に画像Ｐに含まれる飲食物のそれぞれを順次選択するよう促し、利用者が飲食物の画像部分を指定するために、画像の一部に対応する位置に触れ（タッチパネルの場合）、またはその位置にマウスカーソルをおいてマウスのボタンを押下したときに、当該指定された位置を中心とし、触れた時間またはマウスボタンの押下時間に応じて拡大（または縮小）する矩形ないし円形等の所定図形形状の選択範囲を表示し、利用者が指を離したとき、あるいはマウスボタンの押下を終了したときに当該選択範囲により選択されている画像部分を抽出する。これを各飲食物について行わせることで、画像取得制御部２２は、各飲食物を含む画像部分ｐ1，ｐ2，…を抽出することとしてもよい。

個人データ取得部２３は、記憶部１２に保持された個人データを読み出して情報検索部２４に出力する。情報検索部２４は、画像取得制御部２２が出力する、検索のキーとなる画像Ｐと、参照データ取得部２１が取得した参照データ、並びに、個人データ取得部２３が読み出した個人データに含まれる画像とを比較し、検索のキーとなった画像Ｐに類似する参照用画像または撮影画像に関連付けられた飲食物の情報（一つでなくてもよい）を取得する。

また情報検索部２４は、検索のキーとなる画像Ｐに関連付けて、飲食物を表す画像部分ｐj（ｊ＝１，２…）を特定する情報が含まれていれば、当該情報によって特定される画像部分ごとに参照データ取得部２１が取得した参照データ、並びに、個人データ取得部２３が読み出した個人データに含まれる画像と比較し、当該画像部分ｐjに類似する参照用画像または撮影画像に関連付けられた飲食物の情報（各画像部分ごとに複数あってもよい）を取得する。

ここで画像の類似性の判断は例えば、比較の対象となる各画像の特徴量としてのＯＲＢ（E. Rublee, et al., "ORB: An Efficient Alternative to SIFT or SURF," ICCV, 2011）やＳＩＦＴ（Scale-Invariant Feature Transform）などを用いることができる。また、飲食物においては色の重要性が比較的高いので、比較の対象となる各画像のチャネル別の色（Ｒ（Red）チャネルの画像、Ｂ（Blue）チャネルの画像、Ｙ（Yellow）チャネルの画像）や、これらのチャネルの色差の画像（Ｒ−Ｙの画像、Ｂ−Ｙの画像等）について、比較の対象となる各画像の特徴量を演算して用いてもよい。つまり、この情報検索部２４は、比較の対象として演算した各画像の特徴量同士が一致しているか否かにより類似性を判断することとすればよい。

また本実施の形態の情報検索部２４は、画像を検索のキーとするのではなく、利用者が撮影した飲食物の画像について、利用者から当該飲食物の名称（またはその一部）や、栄養価情報の一例としてのカロリー値の入力を受けてもよい。この場合、当該入力された飲食物の名称（またはその一部）を含む参照情報または個人データを検索する。そして当該検索により見出された参照情報または個人データに含まれる飲食物の情報を取得する。

情報提示部２５は、情報検索部２４が取得した飲食物の情報を利用者に提示する。具体的にここでは、図４（ａ）に例示するように、検索のキーとなった画像Ｐ（画像部分ごとの検索を行った場合は、比較の対象とした画像部分ｐjの画像）と、情報検索部２４が取得した飲食物の情報のリスト（Ｌ）とを表示する。なお、この飲食物の情報のリスト（Ｌ）には、飲食物の情報に関連付けられた画像（参照用画像または個人データに含まれる画像）とともに、飲食物の情報としての飲食物の名称と、栄養価情報として例えば１人前あたりのカロリー値とを含むエントリーが複数表示される。またこの情報提示部２５は、このエントリーの一つを利用者が選択すると、当該選択されたエントリーに表示される飲食物の情報と、検索のキーとなった画像Ｐとを記録部２６に出力する。

なお、画像部分ごとの検索を行った場合は、画像Ｐに対して、比較の対象とした画像部分ｐjを特定する情報と利用者から選択を受け入れた飲食物の情報とを関連付けて一時的に記憶部１２に格納する。そして未処理の（飲食物の情報が関連付けられていない）画像部分ｐjがある場合は、当該未処理の画像部分ｐjについて、上記情報検索部２４と情報提示部２５とによる処理を繰り返して実行する。そして情報提示部２５は、画像Ｐと、当該画像Ｐから抽出された画像部分ｐjを特定する情報と、各ｐjについて選択された飲食物の情報とを関連付けて記録部２６に出力する。

記録部２６は、検索のキーとなった画像Ｐと情報提示部２５の処理において利用者から選択を受け入れた飲食物の情報（または当該画像Ｐから抽出された画像部分ｐjを特定する情報及びそれぞれに対応する飲食物の情報）の組に対して、日時の情報（一般的なコンピュータが備えるカレンダーＩＣから日付及び時刻の情報）を関連付けて、記録情報として記憶部１２に蓄積して保持させる。本実施の形態では、この記録情報が個人データとして利用される。

本実施の形態によると、予め用意された参照用画像に加えて、利用者が過去に撮影した撮影画像からも、利用者が撮影した飲食物の画像に類似した画像を検索する。これにより利用者が撮影したことのない飲食物の情報も取得できるようにするとともに、利用者がよく飲食する飲食物の画像（色や形状が撮影した画像に一致しやすい画像）からも検索を行うこととなる。また、この個人データは利用者の撮影の癖、例えば飲食物の画像を皿ごと撮影するか、背景を含めて撮影するか、あるいは飲食物だけを切出すようにして撮影するか、照明の方向などといった癖を反映したものとなっているので類似検索の精度向上が期待できるものである。

また本実施の形態では、上記の情報提示部２５の動作において、リスト（Ｌ）に表示する画像を図４（ｂ）に例示するように、個人データから検索された画像を含むエントリーのリスト（過去に利用者が食べた飲食物；Ｌ１）と、参照データから検索された画像を含むエントリーのリスト（Ｌ２）とに分けて表示してもよい。この図４（ｂ）の例では、リスト（Ｌ２）に含まれる参照データの一部または全部に画像（参照用画像）が含まれていなかった場合を例示している。さらに情報提示部２５は、利用者からエントリーの一つが選択されたときに、対象となった飲食物が（画像Ｐに含まれる各飲食物がそれぞれ）何人前の分量であったかを入力させる画面を表示してもよい（図５）。

この図５においては、１／４人前（最小値）から２人前（最大値）までの間の各段階を表示し、利用者から何人前であったかを選択させる。また、利用者から分量を直接入力させる入力欄や、分量あたりのカロリー値や、全体のカロリー値を直接入力させる入力欄をさらに含んでもよい。さらに図５には現れていないが、分量の単位を利用者に変更させるための入力欄を含んでも構わない。この入力欄では例えば「人前」、「グラム」、「杯」などの単位を利用者に選択させる。情報提示部２５は、これらにより分量が入力された場合は、当該分量に応じて、画像Ｐ（またはそこから抽出された画像部分ｐj）に関連する飲食物の情報のうち、カロリー値に関する情報を更新する（なお、単位を変更可能とする場合は、各単位に応じた情報が予め記録されていてもよいし、単位間でカロリー値等の情報を変換するための係数の情報が予め記録されていてもよい）。またカロリー値が直接入力された場合は、情報提示部２５は、画像Ｐ（またはそこから抽出された画像部分ｐj）に関連する飲食物の情報のうち、カロリー値に関する情報を、当該入力された値に更新する。このように個人データでは分量当り、または全体のカロリー値を利用者が任意に入力できるようにしておくことで、実際に利用者が飲食している飲食物の栄養価に近い値を利用者が任意に設定できるようになる。

さらに本実施の形態では、情報提示部２５の動作において、利用者がリスト（Ｌ）からエントリーを選択したときに、当該選択されたエントリーに含まれる飲食物の名称の文字列を抽出し、当該文字列を飲食物の名称に含む参照データまたは個人データを検索してもよい。この場合、当該検索により見出された参照データまたは個人データ内の飲食物の情報があれば、情報提示部２５は、当該飲食物の情報をさらに表示し、利用者に選択を促す。この動作により、例えば「ごはん」が選択された場合に、参照データや個人データに含まれる「栗ごはん」や、「炊込みごはん」等の候補をさらに提示して利用者の選択を促すことが可能となる。

さらに本実施の形態における情報検索部２４による飲食物の情報の検索は、上述のように画像に基づいて行われるだけでなく、撮影時の環境情報も利用できる。具体的にこの例では、画像取得制御部２２が、利用者からの指示を受けて画像取得部１５を制御して画像を撮影して取得させる際に、センサ部１７が測定している筐体の縦横の向きと筐体の角度とを表す環境情報を併せて取得し、画像取得部１５が取得した画像情報にこの環境情報を含めて出力する。

そして記録部２６は、この環境情報を含んだ画像Ｐを、利用者が選択した飲食物の情報や日時の情報に関連付けて記憶部１２に保持する。

情報検索部２４は、個人データ取得部２３が読み出した各個人データの画像Πi（ｉ＝１，２，…）に含まれる環境情報を参照し、筐体の縦横の向きの情報と筐体の角度の情報とを取得する。そして筐体の向きがＹ軸方向を下方とする場合（重力方向がＹ軸方向に近い場合）は、情報検索部２４は、筐体の角度の情報のうちＸ軸周りの角度φを、その画像Πiの撮影角αiとして読み出す。また情報検索部２４は、筐体の向きがＸ軸方向を下方とする場合（重力方向がＸ軸方向に近い場合）は、筐体の角度の情報のうちＹ軸周りの角度ψを、その画像Πiの撮影角αiとして読み出す。

また情報検索部２４は、画像取得制御部２２が出力した画像Ｐに含まれる、筐体の縦横の向きの情報と筐体の角度の情報とを取得する。そして当該取得した情報に含まれる筐体の向きがＹ軸方向を下方とする場合（重力方向がＹ軸方向に近い場合）は、情報検索部２４は、筐体の角度の情報のうちＸ軸周りの角度φを、画像Ｐの撮影角αとして読み出す。また情報検索部２４は、筐体の向きがＸ軸方向を下方とする場合（重力方向がＸ軸方向に近い場合）は、筐体の角度の情報のうちＹ軸周りの角度ψを、画像Ｐの撮影角αとして読み出す。

情報検索部２４は、画像Ｐの撮影角αとの差が所定の範囲にある撮影角αiとなっている個人データの画像Πiを検索対象として抽出する。つまり予めしきい値Ｔを定めておき、｜α-αi｜＜Ｔであるようなαiを見出し、当該αiに対応する個人データの画像Πiを、検索対象として抽出する。ここで｜Ｒ｜は、Ｒの絶対値を演算することを意味する。

情報検索部２４は、参照用画像、及び個人データから検索対象として抽出された画像と、検索のキーとなった画像Ｐ（または画像Ｐから抽出された画像部分ｐj）とを比較し、当該検索のキーとなった画像Ｐやその一部である画像部分ｐjに類似する参照用画像または個人データから検索対象として抽出された画像に関連付けられた飲食物の情報（一つでなくてもよい）を取得する。

この例では、撮影時の環境情報と個人データに含まれる画像に関連付けられた環境情報とが、所定の条件として、撮影時の筐体の角度が予め定めたしきい値より小さい差となっているとの条件の下で、個人データに含まれる画像のうち、検索対象となる画像を抽出している。

もっとも本実施の形態における環境情報の利用はこれに限られるものでなく、環境情報として撮影された時間帯（例えば予め定めた朝食時間帯、昼食時間帯、夕食時間帯、夜食時間帯の別）や位置情報（ＧＰＳ等により取得する）等を画像に含めておき、これらを用いて検索対象の抽出を行うこととしてもよい。これにより例えば特定の店舗で供される、特殊な形状のコロッケ等といったものも、効率良く検索できるようになる。

またここまでの説明においては、画像取得制御部２２は、利用者からの指示を受けて画像取得部１５を制御して、検索の対象となる画像Ｐを取得させることとしていた。しかしながら本実施の形態はこれに限られない。すなわち本実施の形態の一例に係る画像処理装置１は、別途、一般的なカメラ機能としての処理を実行し、利用者の指示に従って画像を撮影し、当該撮影した画像を記憶部１２に格納する動作を行っていてもよい。この際、画像取得制御部２２は、撮影を行わせて画像Ｐを取得するのではなく、当該記憶部１２に格納された画像Ｐを読み出して検索のキーとしてもよい。

さらに本実施の形態の別の例では、情報検索部２４が利用者からの指示に従い、文字列を検索のキーとして、参照データや個人データに含まれる飲食物の情報を検索する。具体的に情報検索部２４は、利用者から文字列を用いた検索の指示を受けると、利用者に対して文字列の入力を促す。そして利用者から文字列が入力されると、情報検索部２４は、当該入力された文字列を飲食物の名称に含む参照データや個人データのエントリーを検索する。情報検索部２４は、検索により見出された飲食物の情報（一つでなくてもよい）を取得する。

情報提示部２５は、情報検索部２４が検索により見出した飲食物の情報のリスト（Ｌ）を表示する。なお、この飲食物の情報のリスト（Ｌ）には、各飲食物の情報に関連付けられた画像（参照用画像または個人データに含まれる画像）とともに、飲食物の情報としての飲食物の名称と１人前あたりのカロリー値とを含むエントリーが複数表示される。またこの情報提示部２５は、このエントリーの一つを利用者が選択すると、当該選択されたエントリーに表示される飲食物の情報を記録部２６に出力する。なお、この場合も情報提示部２５は、選択されたエントリーに係る飲食物についての分量またはカロリー値の入力を利用者に促し、利用者の入力に応じて飲食物の情報のうち、カロリー値に関する情報を更新して記録部２６に出力させるようにしてもよい。

記録部２６は、情報提示部２５において提示され、利用者が選択した飲食物の情報と、日時の情報（一般的なコンピュータが備えるカレンダーＩＣから日付及び時刻の情報）とを互いに関連付けて、記録情報として記憶部１２に蓄積して保持させる。この記録情報もまた個人データとして利用される。なお、この際、記録部２６は利用者が選択した飲食物の情報に関連付けて提示されていた画像（参照データまたは記録済みの個人データに含まれていた画像）を併せて記録情報として記憶部１２に蓄積して保持させてもよい。

本実施の形態の画像処理装置１の利用者は、飲食しようとする飲食物の撮影、過去に飲食した飲食物の写真の選択、飲食物名の文字列の入力のいずれかを選択する。利用者が飲食物の撮影を行うことを選択すると、画像処理装置１は利用者に画像の撮影を行わせる。ここで利用者が飲食物の画像の撮影を行うと、画像処理装置１が自身の筐体の縦横の向きと筐体の角度とを表す環境情報を併せて取得し、撮影した画像にこの環境情報を含めて出力する。

画像処理装置１は、参照データに含まれる画像のうちから、検索のキーとなった、撮影された画像Ｐに類似する画像を検索する。また画像処理装置１は、各個人データの画像Πi（ｉ＝１，２，…）に含まれる環境情報を参照し、各画像Πiが撮影されたときの筐体の縦横の向きの情報と筐体の角度の情報とを取得する。そして筐体の向きがＹ軸方向を下方とする場合（重力方向がＹ軸方向に近い場合）は、画像処理装置１は、筐体の角度の情報のうちＸ軸周りの角度φを、その画像Πiの撮影角αiとして読み出す。また画像処理装置１は、筐体の向きがＸ軸方向を下方とする場合（重力方向がＸ軸方向に近い場合）は、筐体の角度の情報のうちＹ軸周りの角度ψを、その画像Πiの撮影角αiとして読み出す。そして画像処理装置１は、画像Ｐの撮影角αとの差が予め定めたしきい値Ｔを下回る撮影角αiとなっている個人データの画像Πiを検索対象として抽出する。画像処理装置１は、当該抽出した検索対象に含まれる画像のうちから、検索のキーとなった画像Ｐに類似する画像を検索する。

画像処理装置１は、こうして参照データと、個人データとの双方から検索のキーとなった画像Ｐに類似する画像を検索する。なお、ここでは個人データについては、撮影時の環境情報が類似し、かつ画像が類似するものを見出すこととしている。画像処理装置１は、図４（ａ）に例示したように、検索のキーとなった画像Ｐと、検索により見出した画像に関連付けられた飲食物の情報のリスト（Ｌ）とを表示する。なお、この飲食物の情報のリスト（Ｌ）には、飲食物の情報に関連付けられた画像（参照用画像または個人データに含まれる画像）とともに、飲食物の情報としての飲食物の名称と１人前あたりのカロリー値とを含むエントリーが複数表示されている。またこの情報提示部２５は、このエントリーの一つを利用者が選択すると、当該選択されたエントリーに表示される飲食物の情報と、検索の対象となった画像Ｐと、日時の情報とを互いに関連付けて、記録情報として記憶部１２に蓄積して保持させる。

画像処理装置１は、また、こうして記憶部１２に保持させた記録情報を表示するべき旨の指示を利用者から受け入れて、これを表示する処理を行う。具体的に画像処理装置１は、記録情報に含まれる日時の情報を用い、各月（month）ごとに、当該月を表す日時の情報を含む記録情報の一覧を生成して表示する（図６）。なお、一覧においては日時の情報の順に記録情報を並べる。具体的に本実施の形態のある例では、この一覧表示では、記録情報の全体ではなく、記録情報に含まれる画像（画像が含まれない場合は予めデフォルトの画像として定められている画像でよい）の一覧を表示することとしてもよい。利用者が一覧から画像の一つを選択すると、画像処理装置１は、当該選択された画像を含む記録情報の全体を表示する（図７）。

なお、当該選択された画像に、当該画像から抽出された画像部分を特定する情報と、当該特定された各画像部分に撮影されている飲食物の情報とが関連付けられている場合、画像処理装置１は、当該画像を表示するとともに、上記各画像部分に撮影されている飲食物の情報の一覧を表示する。

また本実施の形態のある例では、この画像処理装置１をいわゆるスマートフォン（ソフトウエア供給者が提供したアプリケーションプログラムをインストールして実行可能な携帯電話機）を用いて実現する。この場合、スマートフォンの機種変更などの事情により、撮像手段であるカメラの性能がそれまでに蓄積されていた個人データとは異なるものとなる場合は、それまでに蓄積していた個人データを参照データとして扱うこととしてもよい。

また本実施の形態では、参照データは、画像処理装置１に格納されているものとしてきたが、これに限られるものではなく、参照データはネットワーク等を介してアクセス可能なサーバ装置のデータベースに保持されていてもよい。この場合、画像処理装置１は、当該サーバ装置に対して撮影した画像（または過去に撮影された画像から利用者が選択した画像）、あるいは、当該画像から飲食物の部分を抽出した、キーとなる画像Ｐを送信し、サーバ装置において参照データのうちからこのキーとなる画像Ｐに類似する画像を含む参照データ中のエントリーを抽出させ、当該エントリーをサーバ装置から受信して、撮影した画像Ｐに類似する画像に関連する飲食物の情報を取得するようにしてもよい。

また参照データをサーバ装置に置く場合も、個人データについては、記憶部１２に保持しておくことで、サーバ装置への接続ができない場合や、サーバ装置との通信に時間がかかる場合にも迅速に利用者の操作に応答可能となる。

１ 画像処理装置、１１ 制御部、１２ 記憶部、１３ 操作部、１４ 表示部、１５ 画像取得部、１６ 通信部、１７ センサ部、２１ 参照データ取得部、２２ 画像取得制御部、２３ 個人データ取得部、２４ 情報検索部、２５ 情報提示部、２６ 記録部。

Claims (4)

1. 予め用意された飲食物の情報を含む参照データを複数保持するデータベースにアクセス可能に接続される画像処理装置であって、
   当該画像処理装置の利用者が撮影した撮影画像と、当該撮影画像に含まれる飲食物の情報とを関連付けて、個人データとして保持する保持手段と、
   飲食物の画像を撮影する撮影手段と、
   前記撮影された画像に係る飲食物の情報と、前記データベースに保持された参照データ、並びに、前記保持手段に保持された個人データとを比較し、前記撮影された画像に類似する参照用画像ととともに参照データに含まれる飲食物の情報、もしくは個人データの撮影画像に関連付けられた飲食物の情報、または、前記撮影された画像に係る飲食物の情報を含んだ参照データもしくは個人データ内の飲食物の情報を取得する取得手段と、
   当該取得した飲食物の情報と、前記撮影された画像とを関連付けて個人データとして前記保持手段に保持させる保持制御手段と、
   を含む画像処理装置。
2. 請求項１記載の画像処理装置において、
   前記撮影手段は、撮影時の環境情報を取得して出力し、
   前記保持制御手段は、前記取得した飲食物の情報と、前記撮影された画像と、前記取得した環境情報を関連付けて個人データとして前記保持手段に保持させ、
   前記取得手段は、前記撮影された画像と、前記保持手段に保持された個人データとを比較する際には、前記画像の撮影時の環境情報と、個人データに含まれる画像に関連付けられた環境情報とが所定の条件を満足する場合に、当該環境情報に関連付けられた画像と、撮影された画像とを比較し、
   前記環境情報には、撮影時の時間帯、位置情報、撮影時の筐体角度、照明に関わる情報の少なくともいずれかが含まれる画像処理装置。
3. 請求項１または２記載の画像処理装置であって、前記取得手段が取得した飲食物の情報の一覧を提示し、当該一覧から利用者が選択した飲食物の情報に含まれる飲食物の名称の文字列を抽出し、当該文字列を飲食物の名称に含む参照データまたは個人データを検索して、当該検索の結果を提示する画像処理装置。
4. 予め用意された飲食物の情報を含む参照データを複数保持するデータベースにアクセス可能に接続されたコンピュータを、
   当該コンピュータの利用者が撮影した撮影画像と、当該撮影画像に含まれる飲食物の情報とを関連付けて、個人データとして保持する保持手段と、
   飲食物の画像を撮影する撮影手段と、
   前記撮影された画像に係る飲食物の情報と、前記データベースに保持された参照データ、並びに、前記保持手段に保持された個人データとを比較し、前記撮影された画像に類似する参照用画像ととともに参照データに含まれる飲食物の情報、もしくは個人データの撮影画像に関連付けられた飲食物の情報、または、前記撮影された画像に係る飲食物の情報を含んだ参照データもしくは個人データ内の飲食物の情報を取得する取得手段と、
   当該取得した飲食物の情報と、前記撮影された画像とを関連付けて個人データとして前記保持手段に保持させる保持制御手段と、
   として機能させるプログラム。

Images