JP6306785B1 - 情報処理システム、情報処理方法及び情報処理プログラム - Google Patents

Abstract

【課題】画像に含まれる料理部分を精度よく検出することができる、情報処理システム、情報処理方法及び情報処理プログラムを提供する。【解決手段】情報処理装置は、食器の形状、模様、色彩若しくは質感又はこれらの結合を示す器具データと、食器と食器を用いる料理との対応を示す対応データとを記憶する記憶部と、画像を取得する画像取得部と、取得された画像と記憶された器具データに基づき、画像に含まれている食器を決定する器具検出部と、対応データに基づき、決定された食器に対応付けられた料理の画像領域を画像から抽出する画像抽出部とを備える。【選択図】図１

Description

本発明は、情報処理システム、情報処理方法及び情報処理プログラムに関する。

従来、撮像入力した画像データより料理の特徴画像を抽出して、記憶手段に登録されている特徴画像と比較演算して対応する飲食物種別を検出判断する技術がある。また、撮像装置でトレイ上の各食器に食物が載った食膳を撮像した画像においてトレイ上の各食器を抽出し、あらかじめ入力した食器データベースに照らして食器の種類とトレイ上の位置を判別する技術がある。また、画像に含まれる食事部分を決定する技術がある。また、料理を被写体として撮像された撮影画像における各料理の領域を切出すことにより料理画像を生成する技術がある。また、画像の被写体領域を検出し、検出された被写体領域の位置情報を含む特徴量を生成する技術がある（例えば、特許文献１〜５を参照）。

従来の技術においては、例えば、物の色や形状の特徴を示す特徴データを予め用意しておき、撮影画像と特徴データを比較することにより撮影画像に含まれる物を認識して撮影画像における物の領域を抽出することができる。

特開２００３−１７３３６９号公報 特開２００５−０７０９０８号公報 特開２０１２−２１２２４９号公報 特開２０１３−０２５７２８号公報 特開２０１３−０５４５４１号公報

しかし、料理は様々なジャンルにおいて、様々な料理が存在する。また、同じ料理においても、使用する器具や調理手順等の調理方法、使用する食材、盛付け方法等が異なる場合がある。調理方法等が異なると、料理を撮影した撮影画像に含まれる色や形状等の特徴データは、同じ料理においても大きく異なる場合がある。従って、料理を特徴データとの比較において検出した場合、例えば、撮影画像の中に料理が含まれているにもかかわらず料理部分を検出できなかったり、撮影画像の中の料理以外の部分を料理部分として検出したり、または撮影画像の中に料理が存在しないにもかかわらず料理部分として検出したりする誤検出が発生し、撮影画像に含まれる料理部分の抽出精度が低下してしまう場合があった。

一方、様々な料理について料理部分の抽出精度を向上させるためには、それぞれの料理において、調理方法等の異なる膨大な量の特徴データを予め用意しておく必要があり、データベースの容量負荷が増大し、またデータの処理負荷が高くなる場合があった。

本発明は、上記の点に鑑みてなされたものであり、撮影画像に含まれる料理部分を精度よく容易に抽出することができる、情報処理システム、情報処理方法及び情報処理プログラムを提供することを目的の一つとする。

上記課題を解決するために、本発明の一態様において、情報処理システムは、料理を配する器具の外観を示す器具データと、前記器具と前記料理との対応を示す食器対応データを記憶する記憶部と、画像を取得する画像取得部と、取得された前記画像から前記器具データが示す外観と同一或いは類似する器具を検出する検出部と、検出された前記器具の前記食器対応データに対応付けられた前記料理を決定し、決定した前記料理の画像領域を前記画像から抽出する画像抽出部とを備える。

また、上記課題を解決するために、本発明の一態様において、情報処理方法は、料理を配する器具の外観を示す器具データと、前記器具と前記料理との対応を示す食器対応データを記憶する記憶ステップと、画像を取得する画像取得ステップと、取得された前記画像から前記器具データが示す外観と同一或いは類似する器具を検出する検出ステップと、検出された前記器具の前記食器対応データに対応付けられた前記料理を決定し、決定した前記料理の画像領域を前記画像から抽出する画像抽出ステップとを含む。

また、上記課題を解決するために、本発明の一態様において、情報処理プログラムは、料理を配する器具の外観を示す器具データと、前記器具と前記料理との対応を示す食器対応データを記憶する記憶処理と、画像を取得する画像取得処理と、取得された前記画像から前記器具データが示す外観と同一或いは類似する器具を検出する検出処理と、検出された前記器具の前記食器対応データに対応付けられた前記料理を決定し、決定した前記料理の画像領域を前記画像から抽出する画像抽出処理とをコンピュータに実行させる。

本発明の一態様によれば、画像に含まれる料理部分を精度よく抽出することができる、情報処理システム、情報処理方法及び情報処理プログラムを提供することができる。

実施形態における情報処理装置の機能構成の一例を示すブロック図である。 実施形態における情報処理装置を含む情報処理システムのハードウェア構成の一例を示すブロック図である。 実施形態における情報処理装置で利用される器具データ及び対応データの一例を示す図である。 実施形態における情報処理装置で利用される料理データの一例を示す図である。 実施形態における情報処理装置の動作の一例を示すフローチャートである。 実施形態における情報処理装置の食器決定処理の一例を示すフローチャートである。 実施形態における情報処理装置で実行された料理の画像領域抽出の第１の例を示す図である。 実施形態における情報処理装置で実行された料理の画像領域抽出の第２の例を示す図である。

以下、図面を参照して本発明の一実施形態における、情報処理システム、情報処理方法及び情報処理プログラムについて詳細に説明する。

［情報処理装置の機能構成］
図１は、実施形態における情報処理装置の機能構成の一例を示すブロック図である。

図１において、情報処理装置１０は、画像取得部１０１、検出部１０２、画像抽出部１０３、料理解析部１０４及び記憶部１０５の各機能を有する。

本実施形態における情報処理装置１０の上記各機能は、例えば、情報処理装置１０を制御する情報処理プログラム（ソフトウェア）によって実現される機能モジュールであるものとして説明する。

画像取得部１０１は、画像を取得する。画像取得部１０１において取得される画像には、例えば、料理を撮影した撮影画像を含む。「料理」とは、食事において食べられる食べ物をいう。本実施形態における料理には、食材を調理したものに加え、調理をしないでそのまま食べられる食材等を含んでいてもよい。例えば、野菜や果物は、調理の素材であるとともに、そのまま食卓に出される場合、本実施形態における料理となる。料理には、ジュースやスープ等の液体を含んでいてもよい。

撮影画像には、静止画像又は動画像の少なくともいずれか一方が含まれている。画像取得部１０１は、情報処理装置１０の内部に記憶されている画像を取得してもよく、また、情報処理装置１０の外部から画像を取得してもよい。情報処理装置１０の外部とは、例えば、後述するネットワークを介して接続されたクライアント装置である。情報処理装置１０は、画像取得部１０１において取得された画像の中から料理部分の画像領域を抽出するものである。しかし、画像取得部１０１において取得される画像には、単なる風景写真のように料理が撮影されていない画像を含む場合がある。画像取得部１０１は、取得した画像を記憶部１０５等に一時的に記憶するようにしてもよい。

記憶部１０５は、器具データ、料理配置データ、食器対応データ、カトラリ対応データ及び料理データを有する。器具データは、料理を配する食器や調理器具、又はカトラリの外観を示すデータである。外観とは、例えば、器具の形状、模様、色彩若しくは質感又はこれらの結合である。料理配置データは、料理が食器や調理器具などに配されたときの、食器等の外観と料理の配置との対応（対応配置）を示すデータである。食器対応データとは、食器等との関連性が高い、食器等毎に対応する料理のデータである。また、カトラリ対応データは、カトラリとの関連性が高い、カトラリ毎に対応する料理のデータである。また、料理データは、料理の特徴量を示すデータである。

記憶部１０５は、データベースのようにこれらのデータを長期間記憶するものであっても、キャッシュメモリのように外部の装置から取得したデータを一時的に記憶するものであってもよい。

＜器具データ＞
器具データは、料理を配する食器や調理器具、又はカトラリのデータである。食器や調理器具には料理が配され、カトラリで食事をする。従って、料理を撮影するときには撮影画像に料理とともに器具が含まれる可能性が高い。器具データにおける食器や調理器具には以下のような物を含む。
椀：飯椀、汁椀、ドンブリ
皿・プレート：洋食用皿、和食用皿、ガラス皿、洋食用プレート、和食用プレート
鉢・ボウル：大鉢、小鉢、サラダボウル、デザートボウル
カップ：マグカップ、ティーカップ
グラス・酒器：タンブラー、ワイングラス、猪口、ビアグラス
調理器具：フライパン、鍋、釜、ホットプレート、キッチン家電
上記のような食器や調理器具は、食事において固体又は液体の料理を配する目的で使用されるため、「容器」という場合がある。鍋やフライパンも調理後料理をそのまま配して食卓に置かれる可能性があるため、本実施形態においては、皿等と同じ器具データにおいてデータ化されている。なお、本実施形態において、料理が配される点において食器と調理器具は厳密に区別する必要はない。従って、以下の説明において「食器」という場合、調理器具を含んだものとする。

また、器具データにおける食器には、例えば、以下のようなカトラリデータを含む。
箸：箸、割り箸、鉄箸
カトラリ：スプーン、フォーク、ナイフ、レンゲ、カニスプーン、お玉、コテ
本実施形態では、箸、ストロー、楊枝、串等も「カトラリ」とする。

器具の形状とは、例えば、食器の形、大きさ等であり、例えば皿においては、丸皿、角皿（正方形、長方形）、豆皿、小皿、大皿、八角皿等の種類がある。器具の模様とは、器具の表面に施された装飾であり、例えば、無地、草花模様、中華図柄（龍、鳳凰、雷文、双喜文）等である。器具の色彩は、器具の表面の色合いであり、単色又は複数色を含む。

器具の質感とは、器具の表面の質感であり、見た目の光沢やヘアライン等の毛先の揃い方、又は手で直接触ったときの感触（手触り）である。本実施形態では、質感をテクスチャと表現する場合がある。例えば、和食器における焼き物の容器のテクスチャは、表面に細かな凹凸を有してザラザラとした手触りを有している。一方、洋食器における磁器の容器のテクスチャは、滑らかで光沢を有している。

器具データは、器具の形状、模様、色彩若しくは質感又はこれらの結合を示すデータであり、それぞれの器具において特徴量として数値化することができる。特徴量は、器具の形状、模様、色彩若しくは質感を、例えば機械学習において数値化したものであり、特徴ベクトルとして表現することができる。機械学習としては、例えば、ニューラルネットワークやサポートベクターマシン等のアルゴリズムを使用することができる。器具の形状、模様、色彩若しくは質感は、それぞれが単独で存在するのではなく、これらが結合して器具の外観を形成している。機械学習においては、１つの種類の器具に対して複数の撮影画像を学習させて、器具の形状、模様、色彩若しくは質感を学習させる。器具は、形状等によってその使用される料理（用途）が異なる。本実施形態では、１つの器具を用途毎に学習させることにより器具と用途との関係を学習させることができる。記憶部１０５は、学習によって数値化された器具データを予め記憶する。記憶部１０５は、例えば自宅等に実際に存在し、料理が配される可能性のある食器について器具データを記憶するものであってもよい。

記憶部１０５に記憶される対応データとは、上述した器具又はカトラリと、その器具又はカトラリを用いる料理との対応を示すデータである。対応データとして、以下、料理配置データ、食器対応データ及びカトラリ対応データを説明する。

＜料理配置データ＞
容器として使用される食器にはそれぞれ形状があり、食器のどの位置に料理が配されやすいかを予め対応させておくことができる。例えば、深い丸皿には、丸皿の中心部に料理が配される可能性が高い。一方、丸皿の外縁部のみに料理が配される可能性は低い。また、長方形の和食皿には、さんまの塩焼きのように皿の外側まではみ出て料理が配されたり、皿の長手方向に料理が分散されて配されたりする可能性が高い。一方、和食皿の一部のみに料理が配される可能性は低い。すなわち、それぞれの容器の形状に対応して、その容器のどの位置に料理が配されるかを予測することができる。料理配置データは、それぞれの容器について料理が配される位置を予測するデータであり、記憶部１０５に記憶しておくことにより、料理の画像領域を予測し、パターンマッチングにおける料理の画像領域の抽出負荷を低減させることができる。

＜食器対応データ、カトラリ対応データ＞
食器と料理には関係の深い組み合わせが存在する。例えば、和食には和食器が使用され、洋食には洋食器が使用され、中華料理には中国食器が使用され、また韓国料理には韓国食器が使用されやすい。すなわち、料理に使用されている食器の種類によって、料理の種類をある程度予想できる場合がある。例えば、雷文の模様を有する容器に配された料理は中華料理である可能性が高い。また、鉄板に配された料理は、肉料理である可能性が高い。また、上述のように、長方形の和食器に配された料理は焼き魚や和食である可能性が高い。

また、カトラリについても同様に所定の料理と関係が深い組み合わせがある。例えば、鉄箸は韓国料理に使われ、レンゲはラーメンやチャーハン等の中華料理に使われる場合が多い。和食では箸が使われ、洋食ではフォークとナイフが使われる。すなわち、カトラリによってある程度料理の種類が決定できる場合がある。料理は、例えば容器とカトラリの組み合わせによってさらに決定できる場合がある。例えば、上述の雷文の模様を有する容器に配された料理にさらにレンゲが組み合わされている場合、料理はチャーハンである可能性が高く、同料理に箸が組み合わされている場合、料理がラーメン等である可能性が高い。すなわち、それぞれの食器に対してどのような料理が配されるか（対応料理）は予測ができる場合がある。料理が予想できれば料理の配置位置や料理の撮影画像の特徴量を予測することが可能となる。記憶部１０５は、それぞれの容器についての対応料理を記憶しておくことにより、料理の画像領域を予測し、パターンマッチングにおける料理の画像領域の抽出負荷を低減させることができる。食器対応データとカトラリ対応データを合わせて対応データという場合がある。

なお、料理と食器等との関係は、食文化や生活スタイルによって大きく影響を受ける。例えば、日本の食卓においては、洋食であっても食事に箸が使用される場合があり、箸と和食との関係は強くない。一方、日本の食卓において、和食にナイフとフォークが使用される可能性は低く、ナイフとフォークと洋食との関係は強い。従って、記憶部１０５に記憶する対応データは、例えば、国や地域、年代によってそれぞれ用意することが望ましい。例えば、記憶部１０５は、東日本用の対応データと西日本用の対応データをそれぞれ個別に有するようにしてもよい。

また、対応データは、料理レシピサイトに掲載された、料理を撮影した撮影画像に基づき作成するようにしてもよい。例えば、料理レシピサイトにおいては、１つの料理（レシピ）に対して調理例の撮影画像が複数投稿されて掲載される場合がある。投稿された撮影画像においてそれぞれ使用されている食器について予め解析しておくことにより、対応データを容易に作成することができる。

＜料理データ＞
料理データとは、料理の特徴量を示すデータ（特徴データ）である。料理の特徴量とは、料理を撮影した場合、撮影された料理部分（領域）における画像の特徴量である。料理の特徴量には、例えば料理の色の特徴を示す特徴量と、料理の形状の特徴を示す特徴量等複数の特徴量が含まれる。料理の特徴量は、例えば画像に含まれる料理部分の画像を上述したような機械学習によって数値化することができる。機械学習においては、複数の特徴量の中でどの特徴量によって料理と判定するかは、学習の深度によって異なる場合がある。例えば、ある料理においては料理の形状に基づく判定精度が高くなり、別の料理においては料理の色に基づく判定精度が高くなる場合がある。機械学習は、学習するサンプル数に応じて判定アルゴリズムを自ら修正することができる。

機械学習に用いる料理データは、例えば料理レシピサイトに掲載された料理を撮影した撮影画像を学習させることにより取得することができる。料理レシピサイトにおいては、多くの利用者から料理の撮影画像が投稿されて、そのレシピ数は数百万件にも及ぶ場合がある。例えば、同じレシピに基づき調理された料理の撮影画像を機械学習させることにより、そのレシピにおける料理の特徴量を容易に数値化することが可能となる。例えば、後述する投稿画像とレポート画像は同じレシピ情報に基づき調理されたものであり、機械学習させる画像データを効率的に収集し検出精度を高めることができる。なお、料理はレシピや調理方法の僅かな違い（バリエーション）によって撮影画像が異なる場合が生じる一方、撮影画像を人が見た場合、多少の色の相違や形状の相違があったとしても撮影された料理を容易に判別できる場合がある。料理レシピサイトに投稿されたレシピの近い料理についての特徴量を機械学習させておくことにより、料理のバリエーションに対応した料理データを記憶部１０５に記憶させておくことが可能となる。

検出部１０２は、画像取得部１０１において取得された画像から器具データが示す外観と同一或いは類似する器具を検出する。また、検出部１０２は、画像取得部１０１において取得された画像からカトラリデータが示す外観と同一或いは類似するカトラリをさらに検出する。また、検出部１０２は、記憶部１０５に記憶されたテクスチャデータに基づき器具を検出する。

たとえば、検出部１０２は、器具データに含まれる、形状、模様、色彩又はテクスチャの少なくともいずれか１つの特徴量と取得された画像に含まれる特徴量とを比較することにより食器を検出する。検出部１０２は、例えば、器具データに含まれる特徴量が所定の範囲で一致又は類似しているか否かで食器を検出する。検出部１０２は、器具データの中から特徴量が一番近い食器を検出するようにしてもよい。検出部１０２は、形状、模様、色彩又はテクスチャの特徴量中で優先順位を定めて、優先順位の高い特徴量を食器決定の条件としてもよい。

また、検出部１０２は、撮影画像に含まれているカトラリを決定する。検出部１０２は、決定されたカトラリと器具データに含まれる対応料理のデータに基づき、料理の種類を推定する。例えば、撮影画像に大き目のスプーンが含まれている場合、検出部１０２は、そのスプーンが使用される可能性が高い対応料理を推定する。

撮影画像が動画像である場合、動画像を所定のタイミングでキャプチャリングすることにより静止画像を取得することができる。静止画像に対して食器の決定等の画像処理を行うことにより処理の負荷を軽減することができる。

なお、器具やカトラリの外観の類似範囲は予め設定できるようにしてもよい。例えば、スプーンは大きさによってその用途（料理）が異なる場合がある。一方、皿は同じ料理でも人数分によってサイズや形状が異なる場合がある。類似範囲を予め設定することにより、用途の異なる器具は異なる器具として検出することが可能になり、画像抽出部１０３における料理の決定精度を向上させることができる。

画像抽出部１０３は、記憶部１０５に記憶された食器対応データに基づき、検出部１０２において検出された食器の食器対応データに対応付けられた料理を決定し、決定した料理の画像領域を画像取得部１０１において取得された画像から抽出する。また、画像抽出部１０３は、さらに、記憶部１０５に記憶されたカトラリ対応データに基づき、検出部１０２において検出されたカトラリのカトラリ対応データに対応付けられた料理を決定し、決定した料理の画像領域を画像取得部１０１において取得された画像から抽出する。

画像抽出部１０３は、料理データに含まれる料理の特徴量を逐次読出し、特徴量が所定の範囲で一致又は類似した画像の有無をそれぞれの料理において確認していく。画像抽出部１０３は、画像の特徴量から料理部分とそれ以外の部分（食器部分、背景部分等）を検出し、連続して検出された料理部分を料理の画像領域として抽出することができる。

画像抽出部１０３は、検出部１０２において決定された料理の種類について優先的に特徴量を確認する。これにより、例えば、料理データに含まれる料理をランダムに読み出して特徴量を比較していく場合に比べて比較対象のデータ量が少なくなり、特徴量が一致又は類似した画像領域を容易に決定することが可能となる。これにより、料理部分の画像領域の抽出負荷を軽減させることが可能となり、料理部分の画像領域の抽出（検出）速度及び精度を向上させることが可能となる。画像抽出部１０３は、特徴量の近似した画像を検出することができない場合、撮影画像に料理が含まれないと判断する。画像抽出部１０３は、抽出した料理の画像領域の画像を、例えば情報処理装置１０の外部に提供するようにしてもよい。

また、対応配置は、上述したように、それぞれの容器のどの位置に料理が配される可能性が高いかを示すものである。画像抽出部１０３は、決定された容器の対応配置に基づき、容器の画像から料理の画像領域を予測する。画像抽出部１０３は、予測された画像領域について、料理の画像領域を抽出する。料理の画像領域の抽出は、例えば、予測された画像領域内に対して、記憶部１０５に記憶されている料理データに含まれる料理の特徴量が一致又は類似するか否かを確認することで実行することができる。

本実施形態においては、対応配置に基づき料理の特徴量を確認することにより、撮影画像全体について料理の特徴量を確認する場合に比べて、料理部分の画像領域の抽出負荷を軽減させることが可能となる。また、料理が配される可能性が低い部分についての確認を行わないことにより、料理部分の画像領域の抽出（検出）精度を高くして、料理以外の部分を誤抽出する可能性を低くすることができる。

料理解析部１０４は、画像抽出部１０３において抽出された料理部分の画像領域に対する解析処理を行う。例えば、料理解析部１０４は、抽出された画像領域の大きさから、料理の量（何人分か）を解析する。また、料理解析部１０４は、抽出された画像領域の位置関係から、主菜と副菜を判定するようにしてもよい。

なお、情報処理装置１０が有する、画像取得部１０１、検出部１０２、画像抽出部１０３、料理解析部１０４及び記憶部１０５の各機能は、上述の通り、ソフトウェアによって実現されるものとして説明した。しかし、情報処理装置１０が有する上記機能の中の少なくとも１つ以上の機能は、ハードウェアによって実現されるものであっても良い。

また、情報処理装置１０が有する上記何れかの機能は、１つの機能を複数の機能に分割して実施してもよい。また、情報処理装置１０は、上記何れか２つ以上の機能を１つの機能に集約して実施してもよい。

また、情報処理装置１０は、１つの筐体によって実現される装置であっても、ネットワーク等を介して接続された複数の装置から実現されるシステムであってもよい。すなわち、情報処理装置１０は、本実施形態における情報処理システムの一形態である。また、情報処理装置１０は、クラウドコンピューティングシステムによって提供されるクラウドサービス等、仮想的な装置であってもよい。また、情報処理装置１０は、サーバ装置等の汎用のコンピュータであってもよく、機能が限定された専用の装置であってもよい。

また、情報処理装置１０の上記各機能のうち、少なくとも１以上の機能を他の装置において実現するようにしてもよい。すなわち、情報処理装置１０は上記全ての機能を有している必要はなく、一部の機能を有するものであってもよい。

［情報処理システムのハードウェア構成］
図２は、実施形態における情報処理装置１０を含む情報処理システムのハードウェア構成の一例を示すブロック図である。

情報処理システム１は、情報処理装置１０、表示装置２１、入力装置２２、クライアント装置３（３Ａ、３Ｂ、３Ｃ等）、サーバ４、ネットワーク９１及びネットワーク９２を有する。

情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）１４、表示制御部１５、入力制御部１６、及び通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１７を有する。

情報処理装置１０は、サーバ装置、デスクトップ型ＰＣ、タブレット型ＰＣ等の汎用装置、若しくは情報処理専用の装置である。情報処理装置１０は、図１で説明した情報処理プログラムを実行する。

ＣＰＵ１１は、ＲＡＭ１２、ＲＯＭ１３又はＨＤＤ１４に記憶された情報処理プログラムを実行することにより、情報処理装置１０の制御を行う。情報処理プログラムは、例えば、情報処理プログラムを記録した記録媒体、又はネットワークを介したプログラム配信サーバ等から取得されて、ＨＤＤ１４にインストールされ、ＲＡＭ１２にＣＰＵ１１から読出し可能に記憶される。なお、ＲＡＭ１２、ＲＯＭ１３又はＨＤＤ１４は、ＣＰＵ１１において実行されるプログラム以外に、ＣＰＵ１１において処理される又は処理されたデータを記憶してもよい。例えば、図１で説明した記憶部１０５は、ＲＡＭ１２、ＲＯＭ１３又はＨＤＤ１４によって実現することができる。なお、ＣＰＵ１１は、単独の演算装置で構成されても複数の演算装置で構成されてもよい。ＣＰＵ１１は、例えばＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算装置を含むものとする。ＧＰＵは画像処理専用の演算装置であって、本実施形態において料理の種類の決定又は料理の特徴量抽出等の画像処理において有効なハードウェアである。

表示制御部１５は、表示装置２１に表示する表示データを制御する。入力制御部１６は、入力装置２２から入力される入力データを制御する。表示装置２１と入力装置２２は、例えば、操作入力機能と表示機能とを有するタッチパネルであってもよい。

通信Ｉ／Ｆ１７は、ネットワーク９１を介して接続された複数のクライアント装置３との通信を制御する。また、通信Ｉ／Ｆ１７は、ネットワーク９２を介して接続されたサーバ４との通信を制御する。

クライアント装置３は、例えば、レシピ投稿機能やレポート投稿機能を有し、情報処理装置１０に対して料理が撮影された撮影画像を送信するＰＣやスマートフォンである。クライアント装置３は、レシピ投稿機能やレポート投稿機能を実行するアプリケーションプログラムやＷｅｂブラウザを有し、一方、情報処理装置１０は、クライアント装置３に対してレシピ投稿サービスやレポート投稿サービスを提供するＷｅｂサーバであってもよい。

ここでレシピ投稿機能とは、ユーザが作成したレシピを投稿する機能である。レシピ投稿機能においては、料理のタイトル、材料とその分量、調理方法、調理結果の料理の撮影画像等を投稿することができる。また、レポート投稿機能とは、レシピ投稿機能で投稿されたレシピを他のユーザが参照し、そのレシピに基づき調理した調理結果の料理の撮影画像等を投稿する機能である。すなわち、レシピ投稿機能で投稿された料理の投稿画像とレポート投稿機能で投稿された料理のレポート画像は、同じレシピで調理された同じ料理であり、異なるユーザにおいて調理された同じ料理の画像が複数のクライアント装置３から投稿されることになる。

本実施形態における投稿画像とレポート画像は、上述した器具データや料理データにおいて特徴量を抽出するための機械学習として適している。例えば、機械学習に利用する料理の画像を料理の名称等でインターネット検索して収集しようとした場合、素材や調理方法等のレシピの異なる全く外観の異なる料理の画像や、収集すべき料理とは全く異なる料理の画像等のノイズが多数ヒットして、機械学習に利用できる画像を選別する手間が掛ってしまう場合がある。投稿画像とレポート画像は上述の通り同じレシピ情報に基づき調理されたものであるため、上述のようなノイズが混入することがなく、画像選別等の手間が掛らない。また、投稿画像とレポート画像における多少の特徴量の違いは、人が同じ料理であると認識できる範囲にあることが多く、同じ料理の認識精度を向上させるうえで適したデータとなる。また、投稿画像とレポート画像は多数の利用者によって投稿されるため、学習させる画像データを効率よく収集することが可能となる。

サーバ４は、例えば、情報処理装置１０に対して器具データや料理データを提供するデータ供給機能を有するサーバであり、例えば、図１で説明した記憶部１０５において記憶されたデータは、サーバ４に記憶されているデータを間接的に示すものであってもよい。また、サーバ４は、情報処理装置１０において抽出された料理の画像領域等の結果を記録するサーバであってもよい。

［器具データ及び対応データのデータ構成］
図３は、実施形態における情報処理装置１０で利用される器具データ及び対応データの一例を示す図である。

図３において、器具データは、「食器ＮＯ．」、「大分類」、「小分類」、「形状特徴量」、「模様特徴量」、「色彩特徴量」及び「テクスチャ特徴量」のデータ項目を有する。また、対応データは、「対応配置」及び「対応料理」のデータ項目を有する。図３においては、器具データと対応データは同じ表に統合されている場合を示している。但し、器具データと対応データは異なる表において構成されてもよい。また、図３において器具データと対応データは表形式で構成される場合を示したが、器具データ又は対応データは、例えばＸＭＬ（ＥｘｔｅｎｓｉｂｌｅＭａｒｋｕｐＬａｎｇｕａｇｅ）のデータ形式で構成されてもよい。

「食器ＮＯ．」は、器具データに登録している食器又はカトラリを一意に定める番号が入力されるデータ項目であり、食器等の形状等の違いによってそれぞれ異なる番号が付与されている。「大分類」と「小分類」は、食器の区分が入力されるデータ項目であり、容器とカトラリをそれぞれの区分において分類している。

「形状特徴量」、「模様特徴量」、「色彩特徴量」及び「テクスチャ特徴量」は、撮影された食器等の画像の特徴量を表すデータ項目である。これらの特徴量は少なくとも外観において撮影可能な範囲において記録されればよい。これらの特徴量は料理が配された状態の撮影画像において比較される。従って、撮影画像に含まれることが無い、例えば容器の裏面や底面等の特徴量については記録する必要がない。また、料理の撮影では、例えば料理を斜め上方から撮影する場合が多い。このため、これらのデータ項目においては、食器を斜視したときの特徴量を記録しておくことが望ましい。例えば、どんぶりにおいては、どんぶりの内側の上部と外側が撮影される場合が多く、どんぶりの内側底部は撮影される場合が少ない。したがって、特徴量においては内側底部の特徴量より内側上部と外側の特徴量の記録が優先される。

なお、食器等を決定する際に「形状特徴量」、「模様特徴量」、「色彩特徴量」及び「テクスチャ特徴量」のいずれの特徴量をどのような優先順位又はどのような組み合わせで使用するかは、例えば機械学習における学習結果に応じて設定してもよい。例えば、本実施形態において同じ食器ＮＯ．に分類されるべき食器においても、使用年月や生産ロットの違いによって特徴量に差異が生じる場合がある。これらの差異は複数の食器の撮影画像について特徴を機械学習させることにより同じ食器として認識することができる。

「対応配置」は、それぞれの容器について料理が配される位置を予測する料理配置データを記録するデータ項目である。対応配置には、容器の形状に対して所定の領域が指定される。例えば、容器が斜めの角度から撮影されたものである場合、対応配置もその角度において傾斜される。例えば、ドンブリの対応配置は、ドンブリを真上から撮影した場合、ドンブリの淵に沿った円形の範囲となる。しかし、ドンブリを斜めの角度から撮影した場合、ドンブリの対応配置の一部はその角度によってドンブリの影になる。

「対応料理」は、１つの食器等に対して設定される料理又は料理の種類（カテゴリ等）を示す食器対応データとカトラリ対応データを記録するデータ項目である。「対応料理」には、複数の料理の種類を記録することができる。また、１つの食器等の「対応料理」に記録された複数の料理の種類には優先順位を設定してもよい。また、食器やカトラリによって料理の推定が困難である場合、データ項目への記録を省略してもよい。なお、食器等とその食器等を使う料理との関係は、上述のように地域差等が大きいため、対応料理は地域等においてそれぞれ別のデータを用意するようにしてもよい。また、対応料理は複数の階層やタグにおいて分類分けされて登録されてもよい。例えば、「洋食」、「和食」、「ごはんもの」、「汁物」、「朝食」、「昼食」等の分類分けを対応料理に登録するようにしてもよい。

［料理データのデータ構成］
図４は、実施形態における情報処理装置１０で利用される料理データの一例を示す図である。料理データは、例えば図１で説明した記憶部１０５に記憶される。

図４において、料理データは、「料理」、「色特徴量」及び「形状特徴量」のデータ項目を有する。「料理」のデータ項目は、図３で説明した料理の種類に対して複数のデータを設定可能とする。例えば、料理の種類がＡであった場合、上述のように同じ料理であっても調理方法等の違いによって特徴量が大きく異なる場合がある。料理データには、１つの料理の種類に対いて、複数の特徴量を記録することにより、撮影画像に含まれる料理の画像領域と近似した特徴量を有する料理データを予め用意することが可能となり、料理の画像領域の抽出精度を向上させることができる。なお、「料理」のデータ項目においても図３で説明した「対応料理」の分類分けを適用してもよい。

「色特徴量」は、料理の色に関する特徴量を記録するデータ項目であり、「形状特徴量」は、料理の形状に関する特徴量を記録するデータ項目である。料理を決定する際に「色特徴量」及び「形状特徴量」のいずれの特徴量をどのような優先順位又は組み合わせで使用するかは、例えば機械学習における学習結果に応じて設定してもよい。例えば、本実施形態において同じ料理（Ａ１）に分類されるべき料理においても、調理方法のばらつき等によって特徴量に差異が生じる場合がある。これらの差異は同じレシピにおいて調理された複数の撮影画像について特徴を機械学習させることにより、差異を同じ料理として認識することが可能となり、料理の認識精度を向上させることが可能となる。

［情報処理装置の動作］
図５は、実施形態における情報処理装置１０の動作の一例を示すフローチャートである。また、図６は、実施形態における情報処理装置１０の食器決定処理の一例を示すフローチャートである。

図５において、情報処理装置１０は、画像を取得したか否かを判断する（ステップＳ１１）。画像を取得したか否かは、例えば、画像取得部１０１がクライアント装置３から送信された料理の投稿画像を取得したか否かで判断することができる。画像を取得していないと判断した場合（ステップＳ１１：ＮＯ）、情報処理装置１０は、ステップＳ１１の処理を繰返して、画像の取得を待機する。

一方、画像を取得したと判断した場合（ステップＳ１１：ＹＥＳ）、情報処理装置１０は、器具データを取得する（ステップＳ１２）。器具データの取得は、例えば、検出部１０２が記憶部１０５等に記録された器具データを取得することにより実行することができる。なお、投稿されたレシピに使用した食器を決定するような決定情報（例えば、食器の品番等）が含まれる場合、決定情報に従い器具データを取得するようにしてもよい。

ステップＳ１２の処理を実行した後、情報処理装置１０は、食器決定処理を実行する（ステップＳ１３）。食器決定処理の詳細を、図６を用いて説明する。

図６において、情報処理装置１０は、食器の形状特徴量を取得する（ステップＳ１３１）。食器の形状特徴量の取得は、例えば、検出部１０２が記憶部１０５等に記録された「形状特徴量」のデータ項目からデータを取得することにより実行することができる。

ステップＳ１３１の処理を実行した後、情報処理装置１０は、食器の模様特徴量を取得する（ステップＳ１３２）。食器の模様特徴量の取得は、例えば、検出部１０２が記憶部１０５に記録された「模様特徴量」のデータ項目からデータを取得することにより実行することができる。

ステップＳ１３２の処理を実行した後、情報処理装置１０は、食器の色彩特徴量を取得する（ステップＳ１３３）。食器の色彩特徴量の取得は、例えば、検出部１０２が記憶部１０５等に記録された「色彩特徴量」のデータ項目からデータを取得することにより実行することができる。

ステップＳ１３３の処理を実行した後、情報処理装置１０は、食器のテクスチャ特徴量を取得する（ステップＳ１３４）。食器のテクスチャ特徴量の取得は、例えば、検出部１０２が記憶部１０５等に記録された「テクスチャ特徴量」のデータ項目からデータを取得することにより実行することができる。

ステップＳ１３４の処理を実行した後、情報処理装置１０は、食器のパターンマッチングを実行する（ステップＳ１３５）。食器のパターンマッチングは、例えば、検出部１０２が、取得した形状特徴量、模様特徴量、色彩特徴量又はテクスチャ特徴量の中から少なくとも１つのデータ項目について、ステップＳ１１の処理で取得された画像とのマッチングをすることにより、画像の中に含まれる食器の画像領域を抽出し、さらにその食器を決定することにより実行することができる。形状又は模様のパターンマッチングは、例えば、取得した画像を微分処理して撮影された被写体の輪郭を強調し、その輪郭の形状が形状特徴量又は模様特徴量に近似しているか否かで実行することができる。形状のパターンマッチングをすることにより、撮影画像に含まれる食器等の画像領域を決定することができる。模様のパターンマッチングを形状のパターンマッチングにおいて抽出された食器の画像領域に対して実行することにより、模様のパターンマッチングの対象領域を小さくすることができるので処理の負荷を軽減することができる。

色彩のパターンマッチングにおいては、取得された画像に含まれる画素の色情報が所定の範囲において色彩特徴量に近似しているか否かで判定することができる。なお、色彩のパターンマッチングにおいても形状のパターンマッチングにおいて抽出された食器の画像領域に対して実行することにより処理の負荷を軽減することができる。

テクスチャのパターンマッチングは、取得された画像に含まれる反射光や表面の細かな凹凸によって生じる陰影がテクスチャ特徴量に近似しているか否かで判定することができる。なお、テクスチャのパターンマッチングにおいても形状のパターンマッチングにおいて抽出された食器の画像領域に対して実行することにより処理の負荷を軽減することができる。

ステップＳ１３５の処理を実行した後、情報処理装置１０は、フローチャートで図示したステップＳ１３の食器決定処理を終了する。なお、図６で示した食器決定処理は、ステップＳ１３１からステップＳ１３４において食器の形状特徴量、模様特徴量、色彩特徴量、テクスチャ特徴量を取得した後に、ステップＳ１３５のパターンマッチングを実行する場合を例示した。しかし、食器決定処理は、例えば、それぞれの特徴量に基づくパターンマッチングにより実行するようにしてもよい。

また、図６で示した食器決定処理は、容器とカトラリを区別しないで同じアルゴリズムで決定する場合を例示した。しかし、食器決定処理は、例えば、容器の決定とカトラリの決定をそれぞれ異なるアルゴリズムで決定するようにしてもよい。例えば、撮影画像の中から容器を抽出するアルゴリズムとカトラリを抽出するアルゴリズムを平行して実行するようにしてもよい。

また、上述のように撮影された容器の形状は撮影された角度によって大きく異なるため、撮影角度による画像の倒れを補正するようにしてもよい。例えば、どんぶり等の淵は斜めから撮影すると楕円形に撮影されるが、これを円形であるものとして画像を補正してもよい。

再び、図５の説明に戻る。ステップＳ１３の処理を実行した後、情報処理装置１０は、ステップＳ１３の処理において食器データの決定に成功したか否かを判断する（ステップＳ１４）。食器データの決定に成功しなかったとは、食器（容器）の決定とカトラリの決定の両方において決定ができなかったことをいう。食器データの決定に成功していないと判断した場合（ステップＳ１４：ＮＯ）、情報処理装置１０は、フローチャートで示した動作を終了する。すなわち、図５においては、食器データの決定ができなかった場合、後述する料理の画像領域の抽出は実行しない場合を示している。これによって、料理の画像領域の誤検出を防止し、検出精度を向上させることができる。

一方、食器データの決定に成功したと判断した場合（ステップＳ１４：ＹＥＳ）、情報処理装置１０は、食器の決定ができたか否かを判断する（ステップＳ１５）。食器の決定ができたと判断した場合（ステップＳ１５：ＹＥＳ）、情報処理装置１０は、食器についての対応データ（料理配置データ及び食器対応データ）を取得する（ステップＳ１６）。対応データの取得は、例えば、検出部１０２が記憶部１０５等から対応データを取得することにより実行することができる。

一方、食器の決定ができなかったと判断した場合（ステップＳ１５：ＮＯ）、又はステップＳ１６の処理を実行した後、情報処理装置１０は、カトラリの決定ができたか否かを判断する（ステップＳ１７）。カトラリの決定ができたと判断した場合（ステップＳ１７：ＹＥＳ）、情報処理装置１０は、カトラリについての対応データ（カトラリ対応データ）を取得する（ステップＳ１８）。対応データの取得は、例えば、検出部１０２が記憶部１０５等から対応データを取得することにより実行することができる。

一方、カトラリの決定ができなかったと判断した場合（ステップＳ１７：ＮＯ）、又はステップＳ１８の処理を実行した後、情報処理装置１０は、料理の種類を決定する（ステップＳ１９）。ステップＳ１９における料理の種類の決定とは、決定された食器についての対応料理と決定されたカトラリについての対応料理に基づき決定される。例えば、食器についての対応料理が「Ａ，Ｂ、Ｃ」であり、カトラリについての対応料理が「Ａ，Ｂ、Ｃ、Ｄ、Ｅ」である場合、検出部１０２は、共通した「Ａ，Ｂ、Ｃ」を料理の種類として決定する。ここで、共通していない「Ｄ、Ｅ」については、画像領域を抽出する料理としての優先度を低くして決定するようにしてもよい。

ステップＳ１９の処理を実行した後、情報処理装置１０は、ステップＳ１９において決定された料理の特徴量を取得する（ステップＳ２０）。料理の特徴量の取得は、例えば、画像抽出部１０３が、記憶部１０５等から料理データを取得することにより実行することができる。料理の特徴量は、図４で説明したように、料理に対して、色や形状等の料理の特徴を示す特徴量を設定したデータである。

ステップＳ２０の処理を実行した後、情報処理装置１０は、料理の画像領域を抽出する（ステップＳ２１）。料理の画像領域の抽出は、例えば、画像抽出部１０３が、料理配置データに基づき、料理が配されていると予想する撮影画像上の領域について、料理データの特徴量とのパターンマッチングを実行し、特徴量が近似している連続している範囲を料理の画像領域として抽出することにより実行することができる。なお、料理の画像領域は、食器の画像領域と隣接しているため、対応配置における容器の特徴量に基づくパターンマッチングにおいてその境界を定めるようにしてもよい。

ステップＳ２１において抽出される料理の画像領域は、１又は複数の領域が抽出される場合がある。例えば、料理が皿の上に点在するような盛り付けがされた場合、あるいは主菜と副菜を分けて盛り付けがされた場合等、料理は皿の上に複数の画像領域として抽出されることになる。なお、料理の画像領域は食器の料理配置データ（対応配置）で指定された範囲以外に存在する場合ある。例えば、料理が容器から飛び出すような盛り付けがされた場合である。画像抽出部１０３は、対応配置で指定された領域において料理の画像領域が閉じていないと判断した場合、料理の画像領域が閉じるまで撮影画像の中でパターンマッチングを実行し、料理の画像領域を抽出するようにしてもよい。

ステップＳ２１の処理を実行した後、情報処理装置１０は、料理領域を解析する（ステップＳ２２）。料理領域の解析とは、抽出された料理の画像領域から得られる情報を解析する処理である。料理領域の解析は、例えば、料理解析部１０４が、抽出された領域の大きさを解析し、何人分の料理であるかの解析を行うことにより実行される。また、料理領域の解析は、料理の画像領域が複数抽出されたとき、抽出された領域の大きさ、位置、色彩等から主菜と付け合せを区分するものであってもよい。

ステップＳ２２の処理を実行した後、情報処理装置１０は、処理結果を出力し（ステップＳ２３）、フローチャートに示した動作を終了する。出力する処理結果とは、例えばステップＳ２１の処理において抽出された料理の画像領域、ステップＳ２２の処理において解析された解析結果、ステップＳ１９の処理において決定された料理の種類等である。また、処理結果の出力は、例えば、表示装置２１に表示するための表示データとしての出力、サーバ４に対するデータ出力、又は図示しないプリンタへの印字出力等である。

なお、図５及び図６においては、１つの食器に対して、その食器に配された料理の画像領域を抽出する場合を示したが、例えば、テーブルの上に複数の食器が配置され、複数の品数が撮影された撮影画像については、それぞれの食器について、例示した処理をそれぞれ実行することにより、複数の容器に配されたそれぞれの料理の画像領域を抽出することが可能となる。

［料理の画像領域抽出の具体例］
図７は、実施形態における情報処理装置で実行された料理の画像領域抽出の第１の例を示す図である。

図７において、図７（Ａ）は、角皿１００１とその対応配置１００２を示している。角皿の器具データには、角皿の形状、模様、色彩及びテクスチャの特徴量がそれぞれ記憶されており、撮影画像に含まれる角皿を決定することが可能となる。対応配置１００２は、角皿１００１に料理が配される可能性が高い位置を示している。角皿は、和食において細長い料理が配される可能性が高く、対応配置１００２は、皿の範囲を長手方向において超えて設定されている。

図７（Ｂ）は、角皿１００１にさんまの塩焼き１００３が配されている撮影画像である。さんまの塩焼きの様な料理は、図示するように、長手方向に角皿から飛び出すように配される場合がある。本実施形態においては、単に容器の形状において対応配置を設定するのではなく、その容器が使われる料理を想定して対応配置を設定することができるので、料理の画像範囲の検出精度を向上させることが可能となる。

図８は、実施形態における情報処理装置で実行された料理の画像領域抽出の第２の例を示す図である。

図８において、図８（Ａ）は、和食丸皿１０１１とその対応配置１０１２を示している。和食丸皿１０１１の器具データには、丸皿の形状、模様、色彩及びテクスチャの特徴量がそれぞれ記憶されており、撮影画像に含まれる和食丸皿を決定することが可能となる。対応配置１０１２は、和食丸皿１０１１に料理が配される可能性が高い位置を示している。和食丸皿１０１１は、和食において皿の中心部に料理が配される可能性が高く、対応配置１０１２は、皿の外径の内部に円形に設定されている。

図８（Ｂ）は、和食丸皿１０１１に肉じゃが１０１３が配されている撮影画像である。肉じゃが１０１３は、図示するように、丸皿の中の１か所に偏ったりせずに、皿の上に均等に配置されている。抽出された料理の画像範囲において、例えば、和食丸皿１０１１の大きさに対する肉じゃが１０１３の面積を解析することにより、何人分の料理であるかを解析することができる。

図８（Ｃ）は、洋食丸皿１０１４にオムライス１０１５が配されている撮影画像である。ここで、洋食丸皿１０１４は和食丸皿１０１１と形状と模様（無地）において特徴量が近似する。しかし、和食丸皿１０１１と洋食丸皿１０１４では、色彩とテクスチャの特徴量が大きく異なる。例えば、和食丸皿１０１１は、和食器独特の色彩とざらざらしたテクスチャを有している。一方、洋食丸皿１０１４は、白く光沢がありつるつるしたテクスチャを有している。本実施形態においては、形状のみならず、模様、色彩及びテクスチャの特徴量に基づき食器を決定しているので、和食丸皿１０１１と洋食丸皿１０１４を用途（配される料理）が異なる食器として器具データで定義しておくことが可能となる。洋食丸皿１０１４にオムライス１０１５等の洋食が配される高いため、対応料理に洋食を予め設定しておくことにより、料理がオムライスであることを決定しやすくなる。

以上説明したように、本実施形態における情報処理システムは、料理を配する器具の外観を示す器具データと、器具と料理との対応を示す食器対応データを記憶する記憶部と、
画像を取得する画像取得部と、取得された画像から器具データが示す外観と同一或いは類似する器具を検出する検出部と、検出された器具の食器対応データに対応付けられた料理を決定し、決定した料理の画像領域を画像から抽出する画像抽出部とを備える。この構成によって、画像に含まれる料理部分を精度よく検出することができる。

また、本実施形態における情報処理方法は、料理を配する器具の外観を示す器具データと、器具と料理との対応を示す食器対応データを記憶する記憶ステップと、画像を取得する画像取得ステップと、取得された画像から器具データが示す外観と同一或いは類似する器具を検出する検出ステップと、検出された器具の食器対応データに対応付けられた料理を決定し、決定した料理の画像領域を画像から抽出する画像抽出ステップとを含む。この構成によって、画像に含まれる料理部分を精度よく検出することができる。

なお、本実施形態で説明した、情報処理方法における各ステップ、若しくは情報処理プログラム及びそれを記憶した記録媒体における各処理は、実行順序を限定するものではない。例えば、上記ステップの実行順序は任意の順序で実行されるものであってもよい。

なお、上述の情報処理装置１０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより情報処理装置１０としての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ−ＲＯＭ等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

また、上述した実施形態における情報処理装置１０の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。情報処理装置１０の各機能部は個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。また、本発明の一態様は、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。また、上記各実施形態や変形例に記載された要素であり、同様の効果を奏する要素同士を置換した構成も含まれる。

１…情報処理システム、１０…情報処理装置、１１…ＣＰＵ、１２…ＲＡＭ、１３…ＲＯＭ、１４…ＨＤＤ、１５…表示制御部、１６…入力制御部、１７…通信Ｉ／Ｆ、１０１…画像取得部、１０２…検出部、１０３…画像抽出部、１０４…料理解析部、１０５…記憶部

Claims (8)

1. 料理を配する器具の外観を示す器具データと、前記器具と前記料理との対応を示す食器対応データを記憶する記憶部と、
   画像を取得する画像取得部と、
   取得された前記画像から前記器具データが示す外観と同一或いは類似する器具を検出する検出部と、
   検出された前記器具の前記食器対応データに対応付けられた前記料理を決定し、決定した前記料理の画像領域を前記画像から抽出する画像抽出部と
   を備える、情報処理システム。
2. 前記記憶部は、前記料理が前記器具に配されたときの前記器具の外観と前記料理の配置との対応を示す料理配置データをさらに記憶し、
   前記画像抽出部は、検出された前記器具の前記料理配置データに対応付けられた前記料理の配置に基づき前記画像領域を抽出する、請求項１に記載の情報処理システム。
3. 前記記憶部は、カトラリの外観を示すカトラリデータと、前記カトラリと前記料理との対応を示すカトラリ対応データをさらに記憶し、
   前記検出部は、取得された前記画像から前記カトラリデータが示す外観と同一或いは類似するカトラリをさらに検出し、
   前記画像抽出部は、検出された前記カトラリの前記カトラリ対応データに対応付けられた前記料理をさらに決定し、前記画像領域を抽出する、請求項１又は２に記載の情報処理システム。
4. 前記記憶部は、前記器具データとして、前記器具の表面のテクスチャを示すテクスチャデータを記憶し、
   前記検出部は、記憶された前記テクスチャデータに基づき前記器具を検出する、請求項１から３のいずれか一項に記載の情報処理システム。
5. 前記記憶部は、前記料理の撮影画像の特徴量を示す特徴量データをさらに記憶し、
   前記画像抽出部は、記憶された前記特徴量に基づき、前記画像領域を抽出する、請求項１から４のいずれか一項に記載の情報処理システム。
6. 料理を配する器具の外観を示す器具データと、前記器具と前記料理との対応を示す食器対応データと、画像とを取得する取得部と、
   取得された前記画像から前記器具データが示す外観と同一或いは類似する器具を検出する検出部と、
   検出された前記器具の前記食器対応データに対応付けられた前記料理を決定し、決定した前記料理の画像領域を前記画像から抽出する画像抽出部と
   を備える、情報処理システム。
7. 料理を配する器具の外観を示す器具データと、前記器具と前記料理との対応を示す食器対応データを記憶する記憶ステップと、
   画像を取得する画像取得ステップと、
   取得された前記画像から前記器具データが示す外観と同一或いは類似する器具を検出する検出ステップと、
   検出された前記器具の前記食器対応データに対応付けられた前記料理を決定し、決定した前記料理の画像領域を前記画像から抽出する画像抽出ステップと
   を含む、情報処理方法。
8. 料理を配する器具の外観を示す器具データと、前記器具と前記料理との対応を示す食器対応データを記憶する記憶処理と、
   画像を取得する画像取得処理と、
   取得された前記画像から前記器具データが示す外観と同一或いは類似する器具を検出する検出処理と、
   検出された前記器具の前記食器対応データに対応付けられた前記料理を決定し、決定した前記料理の画像領域を前記画像から抽出する画像抽出処理と
   をコンピュータに実行させる、情報処理プログラム。

Images