JP6749218B2 - メニュー生成システム、メニュー生成方法、及び制御プログラム - Google Patents

Description

本発明は、メニュー生成システム、メニュー生成方法、及び制御プログラムに関する。

従来から、特定の物体を予め撮像したサンプル画像と特定の物体の名称とを互いに関連付けて記憶するデータベースを参照し、ユーザによって撮像された画像中に含まれる特定の物体の名称を出力する画像認識システムが知られている。

例えば、特許文献１には、撮像された定食の画像に基づいて、定食を構成する複数の料理の料理品目を判別し、判別した料理品目から構成されるメニュー品目（定食の名称）を出力する注文管理システムが記載されている。この注文管理システムでは、料理品目ごとに、完成料理画像が記憶され、且つ、メニュー品目（定食等）ごとに、当該メニュー品目を構成する複数の料理品目が記憶される。注文管理システムは、撮像された定食等のメニュー品目の画像を取得し、取得した画像に含まれる複数の完成料理画像を判別し、判別した完成料理画像ごとに、各完成料理画像の料理品目を特定する。そして、注文管理システムは、特定した各料理品目によって構成されるメニュー品目を判別できた場合、判別したメニュー品目を出力する。これにより、調理担当者は、定食を配膳する前に当該定食を撮像することで、配膳しようとする定食に、当該定食を構成する複数の料理品目が含まれているか否かを自動的に確認することができる。

特開２０１１−７６３２３号公報

しかしながら、従来のシステムでは、予め記憶された料理の画像によって、撮像された料理の外観画像の名称が特定できなかった場合、名称の特定処理が失敗した旨の情報をユーザに報知するだけであった。そのため、料理の画像の名称の特定処理が失敗した場合、ユーザは、全ての料理を目視で確認する必要があった。

本発明は、このような課題を解決すべくなされたものであり、２品目以上の料理を撮影した外観画像から判定されるメニューの名称の確度を向上させることが可能となるメニュー生成システム、メニュー生成方法、及び制御プログラムを提供することを可能とする。

本発明に係るメニュー生成システムは、飲食店のメニューを生成するメニュー生成システムであって、複数の料理のそれぞれについて、外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて記憶する記憶部と、複数の料理の内の２以上の料理から構成される所定のメニューについて、各料理の外観を含む外観画像を受け付ける入力処理部と、受け付けた外観画像と記憶されたサンプル料理画像及び料理名称とに基づいて、受け付けた外観画像に含まれる各料理の料理名称を特定する特定部と、特定された各料理の料理名称について、各料理の料理名称に関連付けられた料理属性と他の料理の料理名称に関連付けられた料理属性との類似度を算出する算出部と、を有する。

また、本発明に係るメニュー生成システムにおいて、特定部は、算出部が算出した類似度に基づいて、特定された各料理の料理名称に関連付けられた料理属性が重複しないよう、受け付けた外観画像に含まれる各料理の料理名称を再特定することが好ましい。

また、本発明に係るメニュー生成システムにおいて、特定部は、受け付けた外観画像に含まれる各料理の画像とサンプル料理画像との一致度を算出し、特定された各料理の料理名称に関連付けられた料理属性が重複している場合、料理属性が重複している料理の料理名称の内、対応するサンプル料理画像について算出された一致度が最も高い料理名称以外の料理名称を変更することが好ましい。

また、本発明に係るメニュー生成システムにおいて、料理属性は、２以上の料理から構成されるメニューにおける料理の提供順番であることが好ましい。

また、本発明に係るメニュー生成システムにおいて、特定された各料理の料理名称を各料理に関連付けられた提供順番に応じて並べたメニューの表示情報を生成する生成部を有することが好ましい。

また、本発明に係るメニュー生成システムにおいて、料理属性は、料理の種類であることが好ましい。

また、本発明に係るメニュー生成システムにおいて、類似度が所定度以上の場合に、特定部による料理名称の特定に誤りがあることをユーザに示す通知情報を通知する送信部を有することが好ましい。

また、本発明に係るメニュー生成システムにおいて、通知情報は、特定された各料理の料理名称の内の所定度以上の類似度の料理属性に関連付けられた料理名称の内の少なくとも１つの料理名称を、所定度以上の類似度の料理属性とは異なる他の料理属性に関連付けられた料理名称に変更した名称提案情報を含むことが好ましい。

また、本発明に係るメニュー生成システムにおいて、記憶部は、複数の料理のそれぞれについて、第１言語で表記された料理名称と第２言語で表記された料理名称とを互いに関連付けて記憶し、各料理の第１言語で表記された料理名称又は第２言語で表記された料理名称を端末に送信する送信部を有することが好ましい。

本発明に係るメニュー生成システムは、飲食店のメニューを生成するメニュー生成システムであって、複数の料理のそれぞれについて、外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて記憶する記憶部と、複数の料理の内の２以上の料理から構成される所定のメニューについて、各料理の外観を含む外観画像を受け付ける入力処理部と、受け付けた外観画像と記憶されたサンプル料理画像及び料理名称とに基づいて、受け付けた外観画像に含まれる各料理の料理名称を特定する特定部と、特定された各料理の料理名称について、各料理の料理名称に関連付けられた料理属性と、所定の料理属性との類似度を算出する算出部と、を有する。

また、本発明に係るメニュー生成システムにおいて、特定部は、算出部が算出した類似度に基づいて、特定された各料理の料理名称に関連付けられた料理属性の全てが所定の料理属性と関連付けられた料理属性となるよう、受け付けた外観画像に含まれる各料理の料理名称を再特定することが好ましい。

また、本発明に係るメニュー生成システムにおいて、特定部は、特定された各料理の料理名称に関連付けられた料理属性の内、最も多い料理属性を所定の料理属性とすることが好ましい。

また、本発明に係るサーバにおいて、料理属性は、料理ジャンルであることが好ましい。

また、本発明に係るサーバにおいて、記憶部は、複数の料理のそれぞれについて、第１言語で表記された料理名称と第２言語で表記された料理名称とを互いに関連付けて記憶し、各料理の第１言語で表記された料理名称又は第２言語で表記された料理名称を端末に送信する送信部を有することが好ましい。

また、本発明に係るサーバにおいて、類似度が所定度未満の場合に、特定部による料理名称の特定に誤りがあることを示す通知情報を通知する送信部を有することが好ましい。

また、本発明に係るサーバにおいて、通知情報は、特定された各料理の料理名称の内の所定の料理属性に関連付けられていない料理名称を、所定の料理属性に関連付けられた料理名称に変更した名称提案情報を含むことが好ましい。

本発明に係るメニュー生成方法は、記憶部を有し、飲食店のメニューを生成するコンピュータによるメニュー生成方法であって、複数の料理のそれぞれについて、外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて記憶部に記憶し、複数の料理の内の２以上の料理から構成される所定のメニューについて、各料理の外観を含む外観画像を受け付け、受け付けた外観画像と記憶されたサンプル料理画像及び料理名称とに基づいて、受け付けた外観画像に含まれる各料理の料理名称を特定し、特定された各料理の料理名称について、各料理の料理名称に関連付けられた料理属性と他の料理の料理名称に関連付けられた料理属性との類似度を算出する、ことを含む。

本発明に係る制御プログラムは、記憶部を有し、飲食店のメニューを生成するコンピュータの制御プログラムであって、コンピュータに、複数の料理のそれぞれについて、外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて記憶部に記憶し、複数の料理の内の２以上の料理から構成される所定のメニューについて、各料理の外観を含む外観画像を受け付け、受け付けた外観画像と記憶されたサンプル料理画像及び料理名称とに基づいて、受け付けた外観画像に含まれる各料理の料理名称を特定し、特定された各料理の料理名称について、各料理の料理名称に関連付けられた料理属性と他の料理の料理名称に関連付けられた料理属性との類似度を算出する、ことを実行させる。

本発明に係るメニュー生成方法は、記憶部を有し、飲食店のメニューを生成するコンピュータによるメニュー生成方法であって、複数の料理のそれぞれについて、外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて記憶部に記憶し、複数の料理の内の２以上の料理から構成される所定のメニューについて、各料理の外観を含む外観画像を受け付け、受け付けた外観画像と記憶されたサンプル料理画像及び料理名称とに基づいて、受け付けた外観画像に含まれる各料理の料理名称を特定し、特定された各料理の料理名称について、各料理の料理名称に関連付けられた料理属性と、所定の料理属性との類似度を算出する、ことを含む。

本発明に係る制御プログラムは、記憶部を有し、飲食店のメニューを生成するコンピュータの制御プログラムであって、コンピュータに、複数の料理のそれぞれについて、外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて記憶部に記憶し、複数の料理の内の２以上の料理から構成される所定のメニューについて、各料理の外観を含む外観画像を受け付け、受け付けた外観画像と記憶されたサンプル料理画像及び料理名称とに基づいて、受け付けた外観画像に含まれる各料理の料理名称を特定し、特定された各料理の料理名称について、各料理の料理名称に関連付けられた料理属性と、所定の料理属性との類似度を算出する、ことを実行させる。

本発明に係るメニュー生成システム、メニュー生成方法、及び制御プログラムによって、２品目以上の料理を撮影した外観画像から判定されるメニューの名称の確度を向上させることが可能となる。

メニュー生成システム１の概要を説明するための模式図である。 メニュー生成システム１の概略構成の一例を示す図である。 端末装置２の概略構成の一例を示す図である。 （ａ）〜（ｂ）は、端末装置２に表示される画面の一例を示す図である。 端末装置２に表示される画面の一例を示す図である。 （ａ）〜（ｂ）は、端末装置２に表示される画面の一例を示す図である。 端末装置２に表示される画面の一例を示す図である。 端末装置２に表示される画面の一例を示す図である。 端末装置２に表示される画面の一例を示す図である。 サーバ３の概略構成の一例を示す図である。 （ａ）〜（ｂ）は、各種テーブルのデータ構造の一例を示す図である。 メニュー生成システム１の動作シーケンスの一例を示す図である。 特定処理の動作フローの一例を示す図である。 登録処理の動作フローの一例を示す図である。 メニュー生成システム１０の概略構成の一例を示す図である。

以下、図面を参照しつつ、本発明の様々な実施形態について説明する。ただし、本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

（メニュー生成システムの概要）
メニュー生成システムは、飲食店の経営者等の飲食店関係者が所有する端末装置２から送信された各種情報を受信し、受信した各種情報に基づいてメニューの名称を特定し、特定したメニューの名称を端末装置２に送信する。なお、端末装置２は、例えば、「スマートフォン」と呼ばれる多機能携帯電話機又は「フィーチャーフォン」と呼ばれる携帯電話機等であるが、メニュー生成システム１との通信機能、情報の表示機能、撮像機能を備えていれば、どのような通信機器でもよい。以下、端末装置２を所有する飲食店関係者を、単にユーザと称する場合がある。

以下、図１は、メニュー生成システムの概要を説明するための模式図である。以下、図１を参照して、メニュー生成システムの検索機能について説明する。

まず、端末装置２は、ユーザの操作に応じて、所定のメニューを構成する２以上の料理について、各料理の外観を撮像し、撮像した外観画像を記憶する。所定のメニューは、例えば、コース料理メニュー、大皿料理メニュー、又は定食メニュー等である。以下、所定のメニューを、単にメニューと称する場合がある。次に、端末装置２は、記憶した外観画像をサーバ３に送信する。

メニュー生成システムは、複数の料理のそれぞれについて、各料理の外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて記憶する。料理属性は、料理の種類（前菜、サラダ、肉料理、魚料理、ドリンク等）、料理の提供順番、料理ジャンル（フランス料理、四川料理等）等である。

メニュー生成システムは、端末装置２から外観画像を受け付けると、受け付けた外観画像と記憶されたサンプル料理画像及び料理名称とに基づいて、受け付けた外観画像に含まれる各料理の料理名称を特定する。

料理名称の特定処理では、まず、メニュー生成システムは、テンプレートマッチング等の画像マッチング手法を用いて、受け付けた外観画像から、サンプル料理画像と所定の一致度以上の料理の画像を検出する。次に、メニュー生成システムは、当該料理の画像を検出するために用いたサンプル料理画像の料理名称を特定するとともに、特定した料理名称と検出された料理の画像とを関連付ける。

次に、メニュー生成システムは、受け付けた外観画像に基づいて特定された全ての料理名称のそれぞれに関連付けられた料理属性を抽出する。メニュー生成システムは、抽出した料理属性のそれぞれと、他の料理名称に関連付けられた料理属性との類似度を算出する。図１に示される例では、メニュー生成システムによって抽出された料理名称に、「コーヒー」及び「紅茶」が含まれている。この場合、「コーヒー」に関連付けられた料理の種類「ドリンク」及び料理の提供順番「５番目」と、「紅茶」に関連付けられた料理の種類「ドリンク」及び料理の提供順番「５番目」との類似度として１を算出する。なお、「パン」に関連付けられた料理の種類「パン・ライス」及び料理の提供順番「３番目」と、「コーヒー」に関連付けられた料理の種類「ドリンク」及び料理の提供順番「５番目」との類似度として０を算出する。

メニュー生成システムは、抽出した料理属性に、他の料理名称に関連付けられた料理属性との類似度が所定度以上（１以上）の料理属性がある場合、他の料理名称に関連付けられた料理属性と同一であると判定することにより、料理名称の特定が誤りであると判定する。メニュー生成システムは、料理名称の特定が誤りであると判定した場合、料理名称の特定が誤りであることを示す誤特定通知情報を、端末装置２に送信する。

このように、メニュー生成システムは、端末装置２から送信された所定のメニューを構成する２品目以上の料理の外観画像に基づいて各料理の料理名称を特定する際に、料理名称の特定誤りを自動的に判定することができる。これにより、２品目以上の料理を撮影した外観画像から判定されるメニューの名称の確度を向上させることが可能となるメニュー生成システム、メニュー生成方法、及び制御プログラムを提供することを可能とする。

なお、上述した図１の説明は、本発明の内容への理解を深めるための説明にすぎない。本発明は、具体的には、次に説明する各実施形態において実施され、且つ、本発明の原則を実質的に超えずに、さまざまな変形例によって実施されてもよい。このような変形例はすべて、本発明および本明細書の開示範囲に含まれる。

（メニュー生成システム１の構成）
図２は、メニュー生成システム１の概略構成の一例を示す図である。

メニュー生成システム１は、複数の端末装置２と、サーバ３とを有する。端末装置２とサーバ３とは、通信ネットワークを介して相互に接続され、例えば、基地局４、移動体通信網５、ゲートウェイ６及びインターネット７を介して相互に接続される。

サーバ３で実行されるプログラム（例えば、検索プログラム）と、端末装置２で実行されるプログラム（例えば、閲覧プログラム）とは、ハイパーテキスト転送プロトコル（Hypertext Transfer Protocol, HTTP）等の通信プロトコルを用いて通信を行う。

（端末装置２の概略構成）
図３は、端末装置２の概略構成の一例を示す図である。

端末装置２は、基地局４、移動体通信網５、ゲートウェイ６、及びインターネット７を介してサーバ３に接続し、サーバ３と通信を行う。端末装置２は、ユーザによる端末操作部２３（ボタン等）の操作に応じて、検索指示をサーバ３に要求する。また、端末装置２は、サーバ３からメニューの名称の特定画面等に係る表示データを受信して表示する。そのために、端末装置２は、端末通信部２１と、端末記憶部２２と、端末操作部２３と、端末表示部２４と、端末撮像部２５と、端末処理部２６とを備える。

なお、本実施形態では、端末装置２として、多機能携帯電話（所謂「スマートフォン」）を想定するが、本発明はこれに限定されるものではない。端末装置２は、本発明が適用可能であればよく、例えば、携帯電話（所謂「フィーチャーフォン」）や携帯情報端末（Personal Digital Assistant, PDA）、携帯ゲーム機、携帯音楽プレーヤ、タブレット端末、タブレットＰＣ（Personal Computer）、ノートＰＣ等でもよい。また、端末装置２は、飲食店で複数設置され且つ飲食店の客がメニューの注文を行うメニュー端末等であってもよい。

端末通信部２１は、所定の周波数帯を感受帯域とするアンテナを含む、通信インターフェース回路を備え、端末装置２を無線通信ネットワークに接続する。端末通信部２１は、基地局４により割り当てられるチャネルを介して、基地局４との間でＣＤＭＡ（Code Division Multiple Access）方式等による無線信号回線を確立し、基地局４との間で通信を行う。そして、端末通信部２１は、端末処理部２６から供給されたデータをサーバ３等に送信する。また、端末通信部２１は、サーバ３等から受信したデータを端末処理部２６に供給する。

端末記憶部２２は、例えば、半導体メモリ装置を備える。端末記憶部２２は、端末処理部２６での処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。例えば、端末記憶部２２は、ドライバプログラムとして、端末操作部２３を制御する入力デバイスドライバプログラムや、端末表示部２４を制御する出力デバイスドライバプログラム等を記憶する。また、端末記憶部２２は、アプリケーションプログラムとして、メニュー情報等に係る表示データの取得及び表示を行うプログラム等を記憶する。端末記憶部２２は、データとして、ユーザに関係する飲食店の飲食店ＩＤ（Identification）、外観画像等を記憶する。また、端末記憶部２２は、所定の処理に係る一時的なデータを一時的に記憶してもよい。

端末操作部２３は、端末装置２の操作が可能であればどのようなデバイスでもよく、例えば、タッチパネルやキーボタン等である。ユーザは、端末操作部２３を用いて、文字や数字、記号等を入力することができる。端末操作部２３は、ユーザにより操作されると、その操作に対応する信号を発生する。そして、発生した信号は、ユーザの指示として、端末処理部２６に供給される。

端末表示部２４も、動画像、静止画像等の表示が可能であればどのようなデバイスでもよく、例えば、タッチパネル式の表示装置、液晶ディスプレイ、有機ＥＬ（Electro−Luminescence）ディスプレイ等である。端末表示部２４は、端末処理部２６から供給される動画像データに応じた動画像、静止画像データに応じた静止画像等を表示する。

端末撮像部２５は、結像光学系、撮像素子及び画像処理部等を有する。結像光学系は、例えば光学レンズであり、被写体からの光束を撮像素子の撮像面上に結像させる。撮像素子は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等であり、撮像面上に結像した被写体像の画像を出力する。画像処理部は、連続して撮像素子によって生成された画像から、所定期間毎に所定のファイル形式の動画像データを作成して出力する。または、画像処理部は、撮像素子によって生成された画像から所定のファイル形式の静止画像データを作成して出力する。

端末処理部２６は、一又は複数個のプロセッサ及びその周辺回路を備える。端末処理部２６は、端末装置２の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵ（Central Processing Unit）である。端末処理部２６は、端末装置２の各種処理が端末記憶部２２に記憶されているプログラムや端末操作部２３の操作等に基づいて適切な手順で実行されるように、端末通信部２１や端末表示部２４等の動作を制御する。端末処理部２６は、端末記憶部２２に記憶されているプログラム（オペレーティングシステムプログラムやドライバプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、端末処理部２６は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。

端末処理部２６は、端末送信部２６２と、表示処理部２６１と、端末受信部２６３とを有する。端末処理部２６が有するこれらの各部は、端末処理部２６が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、端末処理部２６が有するこれらの各部は、ファームウェアとして端末装置２に実装されてもよい。

表示処理部２６１は、後述する撮像画面及び特定画面等の各種画面を表示するための表示データ等の取得及び表示を行う。表示処理部２６１は、受信した表示データに基づいて描画データを作成する。すなわち、表示処理部２６１は、受信した表示データを解析して制御データ及び内容データを特定し、特定した制御データに基づいて同じく特定した内容データをレイアウトし、描画データを作成する。そして、表示処理部２６１は、作成した描画データを端末表示部２４に出力する。端末送信部２６２は、ユーザからの指示に応じて、検索指示を、端末通信部２１を介してサーバ３に送信する。端末受信部２６３は、外観画像に基づいて特定された料理名称を含む特定画面等を表示するための表示データ等を、サーバ３から端末通信部２１を介して受信する。

（端末装置２の表示機能）
図４（ａ）は、端末装置２の表示機能によって端末表示部２４に表示される開始画面４００の一例を示す図である。開始画面４００には、撮像開始ボタン４０１及び料理登録ボタン４０２等が表示される。

撮像開始ボタン４０１は、端末装置２の撮像機能を開始するための入力ボタンである。ユーザによる端末操作部２３の操作によって撮像開始ボタン４０１がタップされると、撮像機能が開始される。撮像機能が開始されると、端末撮像部２５によって取得された画像を表示する撮像画面４１０が端末表示部２４に表示される。なお、タップは、ユーザによる指定操作の一例である。

料理登録ボタン４０２は、ユーザに関係する飲食店において提供される料理の料理名称及び料理属性等をサーバ３に登録するための入力ボタンである。ユーザによる端末操作部２３の操作によって撮像開始ボタン４０１がタップされると、登録画面（図示せず）が端末表示部２４に表示される。表示された登録画面において、ユーザによる端末操作部２３の操作によって料理名称及び料理属性等が入力されると、入力された料理名称及び料理属性等がサーバ３に送信され、サーバ３において料理名称及び料理属性等が登録される。

図４（ｂ）は、端末装置２の表示機能によって端末表示部２４に表示される撮像画面４１０の一例を示す図である。撮像画面４１０には、取得画像表示領域４１１及び撮像ボタン４１２等が表示される。

取得画像表示領域４１１は、端末撮像部２５によって取得された画像が表示される表示領域である。取得画像表示領域４１１には、端末撮像部２５によって所定時間ごとに画像が取得されるたびに、取得された画像が表示される。

撮像ボタン４１２は、取得画像表示領域４１１に表示された画像を、外観画像として記憶するための入力ボタンである。ユーザによる端末操作部２３の操作によって撮像ボタン４１２がタップされると、撮像ボタン４１２がタップされた時に取得画像表示領域４１１に表示された画像が、外観画像として端末記憶部２２に記憶される。そして、端末装置２は、サーバ３に、外観画像に含まれる各料理の料理名称を特定させ且つ特定した各料理によって構成される所定のメニューを特定させるために、外観画像をサーバ３に送信する。

図５は、端末装置２の表示機能によって端末表示部２４に表示される特定画面５００の一例を示す図である。特定画面５００には、特定料理情報５０１、特定済外観画像表示ボタン５０２、修正ボタン５０３及び登録ボタン５０４等が表示される。

特定料理情報５０１には、後述する特定処理によって特定された料理名称及び料理属性等が選択可能に表示される。なお、特定料理情報５０１は、単一特定料理情報５０１ａ及び／又は重複特定料理情報５０１ｂを含む。単一特定料理情報５０１ａは、特定処理によって特定された料理名称及び料理属性等を含む特定料理情報５０１の内、他の特定料理情報５０１と料理属性が異なる特定料理情報である。重複特定料理情報５０１ｂは、特定処理によって特定された料理名称及び料理属性等を含む特定料理情報５０１の内、他の特定料理情報５０１の内の少なくとも一つと料理属性が同一である特定料理情報である。

図５に示される例では、例えば、料理名称「イカの冷たい前菜」の単一特定料理情報５０１ａの料理属性「前菜」（料理の種類）及び「１番目」（料理の提供順番）は、他の全ての特定料理情報５０１の料理属性と異なる。一方、料理名称「コーヒー」の重複特定料理情報５０１ｂの料理属性「ドリンク」（料理の種類）及び「５番目」（料理の提供順番）は、料理名称「紅茶」の重複特定料理情報５０１ｂの料理属性と同一である。

図５に示されるように、特定画面５００において、単一特定料理情報５０１ａ及び重複特定料理情報５０１ｂの表示態様が、互いに異なるように表示されてもよい。これにより、重複特定料理情報５０１ｂの料理名称の特定が誤っていることをユーザに通知することが可能になる。なお、特定画面５００に表示された、単一特定料理情報５０１ａと異なる表示態様の重複特定料理情報５０１ｂは、誤特定通知情報の一例である。

特定済外観画像表示ボタン５０２は、特定画面５００に表示された特定料理情報５０１が特定された外観画像を表示する特定済外観画像画面６００を表示するための入力ボタンである。ユーザによる端末操作部２３の操作によって特定済外観画像表示ボタン５０２がタップされると、後述する特定済外観画像画面６００が表示される。以降、特定料理情報５０１が特定された外観画像を、特定済外観画像と称する場合がある。

修正ボタン５０３は、特定画面５００に表示された特定料理情報５０１を修正する修正画面７００を表示するための入力ボタンである。例えば、ユーザによる端末操作部２３の操作によって、特定料理情報５０１の内のいずれか一つと修正ボタン５０３とがタップされると、タップされた特定料理情報５０１を修正するための修正画面７００が端末表示部２４に表示される。

登録ボタン５０４は、特定画面５００に表示された特定料理情報５０１の料理名称及び料理属性等を登録する登録画面９００を表示するための入力ボタンである。ユーザによる端末操作部２３の操作によって登録ボタン５０４がタップされると、後述する登録画面９００が表示される。

図６（ａ）は、端末装置２の表示機能によって端末表示部２４に表示される特定済外観画像画面６００の一例を示す図である。特定済外観画像画面６００には、単一特定料理識別枠６０１ａ及び／又は重複特定料理識別枠６０１ｂ、戻るボタン６０２、修正ボタン６０３並びに登録ボタン６０４等が表示される。

単一特定料理識別枠６０１ａは、特定画面５００に表示された単一特定料理情報５０１ａに対応する料理の画像を示す表示枠である。重複特定料理識別枠６０１ｂは、特定画面５００に表示された重複特定料理情報５０１ｂに対応する料理の画像を示す表示枠である。ユーザによる端末操作部２３の操作によって、重複特定料理識別枠６０１ｂの内のいずれかが指定されると、誤特定画面６１０が表示される。

図６（ａ）に示されるように、特定済外観画像画面６００において、単一特定料理識別枠６０１ａ及び重複特定料理識別枠６０１ｂの表示態様が、互いに異なるように表示されてもよい。これにより、重複特定料理識別枠６０１ｂに対応する重複特定料理情報の料理名称の特定が誤っていることをユーザに通知することが可能になる。なお、特定済外観画像画面６００に表示された、単一特定料理識別枠６０１ａと異なる表示態様の重複特定料理識別枠６０１ｂは、誤特定通知情報の一例である。

戻るボタン６０２は、特定画面５００を表示するための入力ボタンである。ユーザによる端末操作部２３の操作によって戻るボタン６０２がタップされると、特定済外観画像画面６００の表示が終了され、特定済外観画像画面６００が表示される前に表示されていた特定画面５００が表示される。

修正ボタン６０３は、特定済外観画像画面６００に表示された重複特定料理識別枠６０１ｂに対応する重複特定料理情報５０１ｂの料理名称及び料理属性等を修正する修正画面７００を表示するための入力ボタンである。例えば、ユーザによる端末操作部２３の操作によって、重複特定料理識別枠６０１ｂの内のいずれか一つと修正ボタン６０３とがタップされると、後述する修正画面７００が端末表示部２４に表示される。

登録ボタン６０４は、特定済外観画像画面６００に表示された外観画像に含まれる各料理の特定料理情報５０１の料理名称及び料理属性等を登録する登録画面９００を表示するための入力ボタンである。ユーザによる端末操作部２３の操作によって登録ボタン６０４がタップされると、後述する登録画面９００が表示される。

図６（ｂ）は、端末装置２の表示機能によって端末表示部２４に表示される誤特定画面６１０の一例を示す図である。誤特定画面６１０には、重複特定料理情報６１１、戻るボタン６１２及び修正ボタン６１３等が表示される。図６（ｂ）に示される例では、誤特定画面６１０は、特定済外観画像画面６００に重畳して表示されるが、特定済外観画像画面６００の表示が終了された後に、誤特定画面６１０が表示されてもよい。

重複特定料理情報６１１には、特定済外観画像画面６００に表示された重複特定料理識別枠６０１ｂに対応する料理名称及び料理属性等が選択可能に表示される。なお、重複特定料理情報６１１は、誤特定通知情報の一例である。

戻るボタン６１２は、誤特定画面６１０の表示を終了するための入力ボタンである。ユーザによる端末操作部２３の操作によって戻るボタン６１２がタップされると、誤特定画面６１０の表示が終了する。

修正ボタン６１３は、誤特定画面６１０に表示された重複特定料理情報６１１の料理名称及び料理属性等を修正する修正画面７００を表示するための入力ボタンである。例えば、ユーザによる端末操作部２３の操作によって、重複特定料理情報６１１の内のいずれか一つと修正ボタン６１３とがタップされると、修正画面７００が端末表示部２４に表示される。

図７は、端末装置２の表示機能によって端末表示部２４に表示される修正画面７００の一例を示す図である。修正画面７００には、修正特定料理情報７０１、候補料理情報７０２、戻るボタン７０３及び修正登録ボタン７０４等が表示される。

修正特定料理情報７０１は、修正ボタン５０３，６０３，６１３のいずれかがタップされた際に同時にタップされた、特定料理情報５０１、重複特定料理識別枠６０１ｂに対応する特定料理情報、重複特定料理情報６１１の料理名称及び料理属性等が表示される。

候補料理情報７０２には、所定のメニューを構成する料理として、修正特定料理情報７０１の代わりに登録される候補の料理情報が選択可能に表示される。候補料理情報７０２には、当該候補料理情報７０２の料理名称及び料理属性等が表示される。なお、候補料理情報７０２は、例えば、外観画像における、修正特定料理情報７０１に対応する料理の画像に類似するサンプル料理画像に関連付けられた料理名称及び料理属性等である。また、候補料理情報７０２は、特定画面５００に表示された特定料理情報５０１の内、特定されなかった料理属性及び所定の料理属性に関連付けられた料理名称であってもよい。例えば、図５に示す例では、「料理の提供順番」の料理属性において、「２番目」の「料理の提供順番」に対応する料理情報が特定されていない。この場合、「２番目」の「料理の提供順番」に関連付けられた料理名称及び料理属性が、候補料理情報７０２として特定されてもよい。

戻るボタン７０３は、特定画面５００、特定済外観画像画面６００及び誤特定画面６１０のいずれかを表示するための入力ボタンである。ユーザによる端末操作部２３の操作によって戻るボタン６０２がタップされると、修正画面７００の表示が終了され、修正画面７００が表示される前に表示されていた、特定画面５００、特定済外観画像画面６００及び誤特定画面６１０のいずれかが表示される。

修正登録ボタン７０４は、選択（タップ）された候補料理情報７０２を修正特定料理情報７０１に修正する設定を行い且つ特定画面８００を端末表示部２４に表示するための入力ボタンである。例えば、ユーザによる端末操作部２３の操作によって、修正特定料理情報７０１の内のいずれか一つと修正登録ボタン７０４とがタップされると、修正特定料理情報７０１が、所定のメニューを構成する料理として修正特定料理情報７０１の代わりに設定される。そして、修正画面７００の表示が終了し、特定画面８００が端末表示部２４に表示される。

図８は、端末装置２の表示機能によって端末表示部２４に表示される特定画面８００の一例を示す図である。特定画面８００には、特定料理情報８０１、特定済外観画像表示ボタン８０２、修正ボタン８０３及び登録ボタン８０４等が表示される。

図８は、端末装置２の表示機能によって端末表示部２４に表示される特定画面８００の一例を示す図である。特定画面８００には、特定料理情報８０１、特定済外観画像表示ボタン８０２、修正ボタン８０３及び登録ボタン８０４等が表示される。

特定料理情報８０１には、図５に示される特定料理情報５０１の内、修正特定料理情報７０１が削除され、修正特定料理情報７０１の代わりに設定された候補料理情報７０２が表示される。特定済外観画像表示ボタン８０２は、特定画面８００に表示された特定料理情報８０１が特定された外観画像を表示する特定済外観画像画面６００を表示するための入力ボタンである。修正ボタン８０３は、特定画面８００に表示された特定料理情報８０１を修正する修正画面７００を表示するための入力ボタンである。登録ボタン８０４は、特定画面８００に表示された特定料理情報８０１の料理名称及び料理属性等を登録する登録画面９００を表示するための入力ボタンである。ユーザによる端末操作部２３の操作によって登録ボタン８０４がタップされると、後述する登録画面９００が表示される。

図９は、端末装置２の表示機能によって端末表示部２４に表示される登録画面９００の一例を示す図である。登録画面９００には、メニュー名称入力ボックス９０１、戻るボタン９０２及び登録実行ボタン９０３等が表示される。

メニュー名称入力ボックス９０１は、所定のメニューの名称を入力するための入力ボックスである。ユーザによる端末操作部２３の操作によってメニュー名称入力ボックス９０１に文字列が入力されると、メニュー名称入力ボックス９０１に入力された文字列がメニュー名称として表示される。

戻るボタン９０２は、特定画面５００、特定済外観画像画面６００及び特定画面８００のいずれかを表示するための入力ボタンである。登録画面９００が、登録ボタン５０４がタップされたことによって表示された画面である場合、ユーザによる端末操作部２３の操作によって戻るボタン９０２がタップされると、登録画面９００の表示が終了し、特定画面５００が表示される。また、登録画面９００が、登録ボタン６０４がタップされたことによって表示された画面である場合、ユーザによる端末操作部２３の操作によって戻るボタン９０２がタップされると、登録画面９００の表示が終了し、特定済外観画像画面６００が表示される。また、登録画面９００が、登録ボタン８０４がタップされたことによって表示された画面である場合、ユーザによる端末操作部２３の操作によって戻るボタン９０２がタップされると、登録画面９００の表示が終了し、特定画面８００が表示される。

登録実行ボタン９０３は、特定料理情報５０１、重複特定料理識別枠６０１ｂに対応する特定料理情報、特定料理情報８０１のいずれかにおける料理名称及び料理属性とともに、メニュー名称入力ボックス９０１に入力されたメニュー名称を登録するための入力ボタンである。登録画面９００が、登録ボタン５０４がタップされたことによって表示された画面である場合、ユーザによる端末操作部２３の操作によって登録実行ボタン９０３がタップされると、特定料理情報５０１の料理名称及び料理属性等とともに、メニュー名称入力ボックス９０１に入力されたメニュー名称が、サーバによって登録される。また、登録画面９００が、登録ボタン６０４がタップされたことによって表示された画面である場合、ユーザによる端末操作部２３の操作によって登録実行ボタン９０３がタップされると、重複特定料理識別枠６０１ｂに対応する料理名称及び料理属性等とともに、メニュー名称入力ボックス９０１に入力されたメニュー名称が、サーバによって登録される。また、登録画面９００が、登録ボタン８０４がタップされたことによって表示された画面である場合、ユーザによる端末操作部２３の操作によって登録実行ボタン９０３がタップされると、特定料理情報８０１の料理名称及び料理属性等とともに、メニュー名称入力ボックス９０１に入力されたメニュー名称が、サーバによって登録される。

（サーバ３の概略構成）
図１０は、サーバ３の概略構成の一例を示す図である。

サーバ３は、複数の料理のそれぞれについて、外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて記憶し、所定のメニューを構成する各料理の外観を含む外観画像を受け付け、外観画像と記憶されたサンプル料理画像及び料理名称とに基づいて、外観画像に含まれる各料理の料理名称を特定する。以上のような機能を実現するために、サーバ３は、サーバ通信部３１と、サーバ記憶部３２、サーバ処理部３３とを備える。

サーバ通信部３１は、サーバ３をインターネット７に接続するための通信インターフェース回路を有する。サーバ通信部３１は、端末装置２等から受信したデータをサーバ処理部３３に供給する。また、また、サーバ通信部３１は、サーバ処理部３３から供給されたデータを端末装置２等に送信する。

サーバ記憶部３２は、例えば、半導体メモリ、磁気ディスク装置及び光ディスク装置の内の少なくとも一つを有する。サーバ記憶部３２は、サーバ処理部３３による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、サーバ記憶部３２は、ドライバプログラムとして、サーバ通信部３１を制御する通信デバイスドライバプログラム等を記憶する。各種プログラムは、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いてサーバ記憶部３２にインストールされてもよい。サーバ記憶部３２は、データとして、後述するテーブル及びテーブル、並びに、等を記憶する。さらに、サーバ記憶部３２は、所定の処理に係る一時的なデータを一時的に記憶してもよい。

なお、本実施形態でいうテーブルは、データベースの形式の一例であり、データがサーバ内にプールしているような形式であってもよい。

サーバ処理部３３は、一又は複数個のプロセッサ及びその周辺回路を備える。サーバ処理部３３は、サーバ３の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵである。サーバ処理部３３は、サーバ３の各種処理がサーバ記憶部３２に記憶されているプログラム等に基づいて適切な手順で実行されるように、サーバ通信部３１等の動作を制御する。サーバ処理部３３は、サーバ記憶部３２に記憶されているプログラム（オペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、サーバ処理部３３は、複数のプログラム（アプリケーションプログラム等）を並列に実行することができる。

サーバ処理部３３は、サーバ受信部３３１と、特定部３３２と、算出部３３３と、サーバ送信部３３４とを有する。サーバ処理部３３が有するこれらの各部は、サーバ処理部３３が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、サーバ処理部３３が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとしてサーバ３に実装されてもよい。

（各種テーブルのデータ構造）
図１１は、各種テーブルのデータ構造の一例を示す図である。なお、サーバ記憶部３２は、以下に説明する各種テーブルの全て又は一部を記憶せずに、サーバ３とは異なる一又は複数の他の装置（データベース装置等）が、これらの各種テーブルの全て又は一部を記憶してもよい。この場合、サーバ３は、これらの各種テーブルに記憶された情報を使用する際に、当該テーブルを記憶する他の装置にアクセスして、当該テーブルに記憶された情報を取得する。また、各テーブルに含まれる各情報は、テーブル以外の形式で記憶されてもよく、例えば、それぞれ独立して記憶されてもよい。

図１１（ａ）には、料理管理テーブルが示されている。料理管理テーブルには、飲食店ごとに、飲食店ＩＤ、料理情報等が互いに関連付けて記憶される。

飲食店ＩＤは、各飲食店を識別するための識別情報である。料理情報には、料理情報ＩＤ、料理名称、種類、提供順番、料理ジャンル、サンプル料理画像等が互いに関連付けて記憶される。なお、飲食店ＩＤごとに、複数の料理情報が関連付けて記憶されてもよい。また、サンプル料理画像には、当該サンプル料理画像のファイル名が記憶される。

図１１（ｂ）には、メニュー管理テーブルが示されている。メニュー管理テーブルには、飲食店ごとに、飲食店ＩＤ、メニュー情報等が互いに関連付けて記憶される。

メニュー情報には、メニューＩＤ、外観画像、メニュー名称、特定料理情報等が関連付けて記憶される。メニューＩＤは、各メニューを識別するための識別情報である。外観画像には、端末装置２から受信した外観画像のファイル名が記憶される。メニュー名称は、外観画像に含まれる各料理によって構成される所定のメニューの名称である。特定料理情報は、特定処理によって特定された料理情報の料理情報ＩＤ及び枠情報等が記憶される。なお、特定料理情報は、メニュー情報ごとに複数記憶される。また、複数の特定料理情報が記憶される場合、各特定料理情報は、各特定料理情報の提供順番に従って記憶される。枠情報は、単一特定料理識別枠６０１ａ及び／又は重複特定料理識別枠６０１ｂの外観画像上の表示位置である。

（メニュー生成システム１の動作シーケンス）
図１２は、メニュー生成システム１の動作シーケンスの一例を示す図である。この動作シーケンスは、予め端末記憶部２２及びサーバ記憶部３２に記憶されているプログラムに基づいて、主に端末処理部２６及びサーバ処理部３３により、端末装置２及びサーバ３の各要素と協働して実行される。

最初に、端末装置２の表示処理部２６１は、ユーザによる端末操作部２３の操作によって、開始画面４００に表示された撮像開始ボタン４０１が選択（タップ）されたことを検知すると、撮像画面４１０を端末表示部２４に表示する。次に、表示処理部２６１は、ユーザによる端末操作部２３の操作によって、開始画面４００に表示された撮像ボタン４１２が選択されたことを検知すると、取得画像表示領域４１１に表示された画像を、外観画像として端末記憶部２２に記憶する（ステップＳ１０１）。

次に、表示処理部２６１は、端末記憶部２２に記憶された外観画像及び飲食店ＩＤを読み出して端末送信部２６２に渡すとともに、外観画像の送信を端末送信部２６２に指示する。端末送信部２６２は、表示処理部２６１から外観画像の送信を指示された場合、表示処理部２６１から受け取った外観画像及び飲食店ＩＤを含む特定要求を、端末通信部２１を介してサーバ３に送信する（ステップＳ１０２）。

次に、サーバ３のサーバ受信部３３１は、サーバ通信部３１を介して端末装置２から特定要求を受信すると、特定要求に含まれている外観画像及び飲食店ＩＤを特定部３３２に渡すとともに、特定処理の実行を特定部３３２に指示する。なお、外観画像を含む特定要求を受信するサーバ受信部３３１は、外観画像を受け付ける入力処理部の一例である。

特定部３３２は、サーバ受信部３３１から特定処理の実行を指示された場合、特定処理を実行する（ステップＳ１０３）。特定処理の詳細は後述する。

次に、サーバ送信部３３４は、特定処理によって作成された特定画面５００を表示するための表示データを、サーバ通信部３１を介して端末装置２に送信する（ステップＳ１０４）。

次に、端末装置２の端末受信部２６３は、端末通信部２１を介してサーバ３から表示データを受信すると、表示データを表示処理部２６１に渡し、画面表示処理の実行を表示処理部２６１に指示する。表示処理部２６１は、端末受信部２６３から画面表示処理の実行を指示された場合、表示データに基づいて特定画面５００を端末表示部２４に表示する。

次に、端末装置２の表示処理部２６１は、ユーザによる端末操作部２３の操作によって、特定画面５００に表示された各種ボタンのいずれかが選択（タップ）されたことを検知すると（ステップＳ１０５）、端末送信部２６２は、登録要求を、端末通信部２１を介してサーバ３に送信する（ステップＳ１０６）。すなわち、表示処理部２６１は、特定済外観画像表示ボタン５０２の選択を検知した場合、端末送信部２６２は、特定済外観画像画面要求を登録要求としてサーバ３に送信する。また、表示処理部２６１は、修正ボタン５０３の選択を検知した場合、端末送信部２６２は、修正画面要求を登録要求としてサーバ３に送信する。また、表示処理部２６１は、登録ボタン５０４の選択を検知した場合、端末送信部２６２は、登録画面要求を登録要求としてサーバ３に送信する。

次に、サーバ３のサーバ受信部３３１は、サーバ通信部３１を介して端末装置２から登録要求を受信すると、登録要求を特定部３３２に渡すとともに、登録処理の実行を特定部３３２に指示する。特定部３３２は、サーバ受信部３３１から登録処理の実行を指示された場合、登録処理を実行する（ステップＳ１０７）。登録処理の詳細は後述する。

次に、サーバ送信部３３４は、特定処理によって作成された各種画面を表示するための表示データを、サーバ通信部３１を介して端末装置２に送信する（ステップＳ１０８）。なお、各種画面は、特定済外観画像画面６００、修正画面７００又は登録画面９００である。

次に、端末装置２の端末受信部２６３は、端末通信部２１を介してサーバ３から表示データを受信すると、表示データを表示処理部２６１に渡し、画面表示処理の実行を表示処理部２６１に指示する。表示処理部２６１は、端末受信部２６３から画面表示処理の実行を指示された場合、表示データに基づいて各種画面を端末表示部２４に表示する。

次に、端末装置２の表示処理部２６１は、ユーザによる端末操作部２３の操作によって、各種画面に表示された各種ボタンのいずれかが選択（タップ）されたことを検知すると（ステップＳ１０９）、端末送信部２６２は、登録要求を、端末通信部２１を介してサーバ３に送信する（ステップＳ１１０）。すなわち、表示処理部２６１は、特定済外観画像表示ボタン５０２の選択を検知した場合、端末送信部２６２は、特定済外観画像画面要求を登録要求としてサーバ３に送信する。また、表示処理部２６１は、重複特定料理識別枠６０１ｂの選択を検知した場合、端末送信部２６２は、誤特定画面要求を登録要求としてサーバ３に送信する。また、表示処理部２６１は、修正ボタン５０３、修正ボタン６０３、修正ボタン６１３又は修正ボタン８０３の選択を検知した場合、端末送信部２６２は、修正画面要求を登録要求としてサーバ３に送信する。また、表示処理部２６１は、修正登録ボタン７０４の選択を検知した場合、端末送信部２６２は、修正後の特定画面要求を登録要求としてサーバ３に送信する。また、表示処理部２６１は、登録ボタン５０４、登録ボタン６０４又は登録ボタン８０４の選択を検知した場合、端末送信部２６２は、登録画面要求を登録要求としてサーバ３に送信する。また、表示処理部２６１は、登録実行ボタン９０３の選択を検知した場合、端末送信部２６２は、情報登録要求を登録要求としてサーバ３に送信する。なお、情報登録要求には、メニュー名称入力ボックス９０１に入力されたメニュー名称及び特定結果に係るメニューＩＤが含まれる。また、登録画面９００が、登録ボタン５０４がタップされたことによって表示された画面である場合、特定料理情報５０１の料理情報ＩＤ，料理名称及び料理属性等が、情報登録要求に含まれる。また、登録画面９００が、登録ボタン６０４がタップされたことによって表示された画面である場合、重複特定料理識別枠６０１ｂに対応する料理情報ＩＤ，料理名称及び料理属性等が、情報登録要求に含まれる。また、登録画面９００が、登録ボタン８０４がタップされたことによって表示された画面である場合、特定料理情報８０１の料理情報ＩＤ，料理名称及び料理属性等が、情報登録要求に含まれる。

次に、サーバ３のサーバ受信部３３１は、サーバ通信部３１を介して端末装置２から各種登録要求を受信すると、登録要求を特定部３３２に渡すとともに、登録処理の実行を特定部３３２に指示する。特定部３３２は、サーバ受信部３３１から登録処理の実行を指示された場合、登録処理を実行する（ステップＳ１１１）。登録処理の詳細は後述する。

次に、サーバ送信部３３４は、特定処理によって各種画面を表示するための表示データが作成された場合、作成された表示データを、サーバ通信部３１を介して端末装置２に送信する（ステップＳ１１２）。なお、各種画面は、特定済外観画像画面６００、誤特定画面６１０、修正画面７００、特定画面８００又は登録画面９００である。

以降、ユーザによる端末操作部２３の操作に応じて、ステップＳ１０９〜ステップＳ１１２が実行される。

（特定処理）
図１３は、特定処理の一例を示すフローチャートである。図１４に示される特定処理は、図１２のステップＳ１０３において実行される。

まず、特定部３３２は、テンプレートマッチング等の画像マッチング手法を用いて、サーバ受信部３３１から受け取った外観画像から、サンプル料理画像と所定の一致度以上の料理の画像を検出する（ステップＳ２０１）。すなわち、特定部３３２は、サンプル料理画像の一部又は全部をテンプレートとして、外観画像中のテンプレートと重なる部分の画像の一致度を算出する。一致度は、ＳＳＤ（Sum of Squared Difference）又はＳＡＤ（Sum of Absolute Difference）等である。次に、特定部３３２は、サーバ受信部３３１から受け取った飲食店ＩＤに関連付けて、新たに付与したメニューＩＤ、外観画像のファイル名、当該料理の画像を検出するために用いたサンプル料理画像に関連付けられた料理情報ＩＤ、検出した料理の料理情報ＩＤ及び料理の画像の表示位置（枠情報）を、メニュー管理テーブルに記憶する（ステップＳ２０２）。

次に、特定部３３２は、料理管理テーブルを参照し、受け付けた外観画像に基づいて特定された全ての料理情報ＩＤのそれぞれに関連付けられた料理属性を抽出する。以降、抽出された料理情報ＩＤの料理情報を、特定料理情報と称する場合がある。特定部３３２は、抽出した料理属性のそれぞれの内、他の特定料理情報の料理属性と同一である料理属性があるか否かを判定する（ステップＳ２０３）。この判定処理において、まず、特定部３３２は、抽出した料理属性を、算出部３３３に渡す。算出部３３３は、受け取った複数の料理属性ごとに、各料理属性が受け取った他の料理属性と同じであれば、類似度を１とし、各料理属性が受け取った他の料理属性と異なれば、類似度を０と算出し、算出結果を特定部３３２に渡す。特定部３３２は、類似度が所定度（１）以上の料理属性がある場合、抽出した料理属性のそれぞれの内に他の特定料理情報の料理属性と同一である（重複する）料理属性があると判定する。

特定部３３２は、抽出した料理属性のそれぞれの内、他の特定料理情報の料理属性と同一である（重複する）料理属性がある場合（ステップＳ２０３−Ｙｅｓ）、料理名称の特定が誤りであると判定する。次に、特定部３３２は、当該同一の料理属性（重複する料理属性）の特定料理情報を重複特定料理情報５０１ｂとし、その他の特定料理情報を単一特定料理情報５０１ａとして、特定画面５００を表示するための表示データを作成し（ステップＳ２０４）、特定処理を終了する。

また、特定部３３２は、抽出した料理属性のそれぞれの内、他の特定料理情報の料理属性と同一である料理属性がない場合（ステップＳ２０３−Ｎｏ）、全ての特定料理情報を単一特定料理情報５０１ａとして、特定画面５００を表示するための表示データを作成し（ステップＳ２０５）、特定処理を終了する。

なお、特定画面５００を表示するための表示データは、特定料理情報５０１ごとに、料理管理テーブルから抽出された、料理情報ＩＤ，料理名称及び料理属性に基づいて作成される。また、表示データには、特定画面５００に表示されるメニューのメニューＩＤが含まれる。

（登録処理）
図１４は、登録処理の一例を示すフローチャートである。図１４に示される登録処理は、図１２のステップＳ１０７及びステップＳ１１１において実行される。

まず、特定部３３２は、サーバ受信部３３１から受け取った登録要求が、特定済外観画像画面要求、誤特定画面要求、修正画面要求、修正後の特定画面要求、登録画面要求及び情報登録要求のいずれであるかを特定する（ステップＳ３０１）。

次に、特定部３３２は、特定された登録要求が特定済外観画像画面要求であるか否かを判定する（ステップＳ３０２）。特定部３３２は、登録要求が特定済外観画像画面要求であると判定した場合（ステップＳ３０２−Ｙｅｓ）、特定済外観画像画面６００を表示するための表示データを作成し（ステップＳ３０３）、登録処理を終了する。なお、特定済外観画像画面６００を表示するための表示データは、メニュー管理テーブルから抽出された、料理の料理情報ＩＤ及び料理の画像の表示位置（枠情報）に基づいて作成される。

また、特定部３３２は、登録要求が特定済外観画像画面要求でないと判定した場合（ステップＳ３０２−Ｎｏ）、登録要求が誤特定画面要求であるか否かを判定する（ステップＳ３０４）。

特定部３３２は、登録要求が誤特定画面要求であると判定した場合（ステップＳ３０４−Ｙｅｓ）、誤特定画面６１０を表示するための表示データを作成し（ステップＳ３０５）、登録処理を終了する。

また、特定部３３２は、登録要求が誤特定画面要求でないと判定した場合（ステップＳ３０４−Ｎｏ）、登録要求が修正画面要求であるか否かを判定する（ステップＳ３０６）。

特定部３３２は、登録要求が修正画面要求であると判定した場合（ステップＳ３０６−Ｙｅｓ）、修正画面７００を表示するための表示データを作成し（ステップＳ３０７）、登録処理を終了する。なお、修正画面７００を表示するための表示データは、料理管理テーブルから抽出された、料理情報ＩＤ，料理名称及び料理属性に基づいて抽出された候補料理情報７０２に基づいて作成される。

また、特定部３３２は、登録要求が修正画面要求でないと判定した場合（ステップＳ３０６−Ｎｏ）、登録要求が修正後の特定画面要求であるか否かを判定する（ステップＳ３０８）。

特定部３３２は、登録要求が修正後の特定画面要求であると判定した場合（ステップＳ３０８−Ｙｅｓ）、特定画面８００を表示するための表示データを作成し（ステップＳ３０９）、登録処理を終了する。なお、特定画面８００を表示するための表示データは、料理管理テーブルから抽出された、料理情報ＩＤ，料理名称及び料理属性、並びに、修正特定料理情報７０１の代わりに設定された候補料理情報７０２に基づいて作成される。

また、特定部３３２は、登録要求が修正後の特定画面要求でないと判定した場合（ステップＳ３０８−Ｎｏ）、登録要求が登録画面要求であるか否かを判定する（ステップＳ３１０）。

特定部３３２は、登録要求が登録画面要求であると判定した場合（ステップＳ３１０−Ｙｅｓ）、登録画面９００を表示するための表示データを作成し（ステップＳ３１１）、登録処理を終了する。

また、特定部３３２は、登録要求が情報登録要求であると判定した場合（ステップＳ３１０−Ｎｏ）、情報登録処理を実行し（ステップＳ３１２）、登録処理を終了する。なお、情報登録処理では、特定部３３２は、登録要求に含まれるメニューＩＤ、メニュー名称、料理情報ＩＤ，料理名称及び料理属性を抽出し、抽出したメニューＩＤに関連付けて、メニュー名称及び料理情報ＩＤを、メニュー管理テーブルに記憶する。

以上詳述したとおり、メニュー生成システム１は、端末装置２から送信された所定のメニューを構成する２品目以上の料理の外観画像に基づいて各料理の料理名称を特定する際に、料理名称の特定誤りを自動的に判定することができる。これにより、２品目以上の料理を撮影した外観画像から判定されるメニューの名称の確度を向上させることが可能となるメニュー生成システム、メニュー生成方法、及び制御プログラムを提供することを可能とする。

なお、上述の各表示データには、各種画面に表示されるメニューのメニューＩＤが含まれる。

（変形例１）
なお、端末装置２は、移動体通信網５を介してサーバ３と通信を行う通信機器に限らず、例えば、据置型のパーソナルコンピュータ（Personal Computer, PC）等の、アクセスポイント（図示せず）、ルータ（図示せず）、インターネットを介してサーバ３と通信を行う情報端末であってもよい。

図１５は、メニュー生成システム１０の概略構成の他の一例を示す図である。なお、図１５において、図２に示すメニュー生成システム１と同じ構成については同じ符号を付し、その説明を省略する。

メニュー生成システム１０は、複数の端末装置２、２０と、サーバ３とを有する。端末装置２０は、例えば、据置型のパーソナルコンピュータ（ＰＣ）等の情報端末である。なお、端末装置２０は、端末装置２と同様の機能を有する。端末装置２０とサーバ３とは、インターネット７を介して相互に接続される。サーバ３で実行されるプログラム（例えば、検索プログラム）と、端末装置２０で実行されるプログラム（例えば、閲覧プログラム）とは、ハイパーテキスト転送プロトコル（Hypertext Transfer Protocol, HTTP）等の通信プロトコルを用いて通信を行う。

（変形例２）
また、メニュー生成システム１，１０は、端末装置２，２０のみを備える構成としてもよい。この場合、端末装置２，２０は、サーバ３の各機能を有する。また、メニュー生成システム１，１０は、サーバ３のみを備える構成としてもよい。この場合、サーバ３は、端末装置２，２０の各機能を有する。

（変形例３）
また、サーバ３のサーバ処理部３３は、端末装置２，２０からのメニュー情報要求に応じてメニューの表示情報を生成する生成部３３４を有してもよい。この場合、サーバ受信部３３１によって、端末装置２，２０からのメニュー情報要求が受信された場合、生成部３３４は、メニュー情報要求に含まれるメニューＩＤを抽出する。次に、生成部３３４は、メニューＩＤに関連付けられたメニュー名称及び特定料理情報を、メニュー管理テーブルから抽出する。次に、生成部３３４は、抽出したメニュー名称及び特定料理情報に基づいて、特定料理情報（料理名称、料理属性等）を、特定料理情報の提供順番に応じて並べたメニューの表示情報を生成する。そして、サーバ送信部３３４は、生成されたメニューの表示情報を、メニュー情報要求を送信した端末装置２，２０に送信する。

（変形例４）
また、特定部３３２は、算出部３３３が算出した類似度に基づいて、特定料理情報の料理名称に関連付けられた料理属性が重複しないよう、外観画像に含まれる各料理の料理名称を再特定してもよい。すなわち、特定部３３２は、抽出した料理属性に、他の特定料理情報の料理属性と同一である（重複する）料理属性が含まれる場合、ステップＳ２０４において、その重複する料理属性の特定料理情報を、他の料理属性の料理名称に変更する処理を実行してもよい。例えば、まず、特定部３３２は、画像マッチング手法を用いて、同一の料理属性の特定料理情報の料理の画像の内、対応するサンプル料理画像について算出された一致度が最も高い特定料理情報を検出する。次に、特定部３３２は、検出した最も高い特定料理情報以外の料理の画像に対して、その重複する料理属性とは異なる他の料理属性に対応するサンプル料理画像の中から最も一致度の高いサンプル料理画像を検出する。次に、特定部３３２は、検出したサンプル料理画像の料理情報を、撮像した所定のメニューのメニュー情報に関連付けてメニュー管理テーブルに記憶する。そして、特定部３３２は、特定料理情報が全て単一特定料理情報５０１ａである特定画面５００を表示するための表示データを作成し、特定処理を終了する。なお、特定料理情報が全て単一特定料理情報５０１ａである特定画面５００を表示するための表示データは、名称提案情報の一例である。また、誤特定通知情報及び名称提案情報は、通知情報の一例である。

（変形例５）
また、料理管理テーブルにおいて、各料理情報について、複数の言語で表記された料理名称、種類、及び料理ジャンル等が記憶されてもよい。この場合、ステップＳ２０４において、複数の言語のそれぞれで表記された、料理名称、種類、及び／又は料理ジャンル等を含む単一特定料理情報５０１ａ及び重複特定料理情報５０１ｂが表示された特定画面５００を表示するための表示データを作成する。例えば、第１言語（日本語等）で表記された料理名称と第２言語（英語等）で表記された料理名称とが互いに関連付けて料理管理テーブルに記憶されている場合、第１言語で表記された料理名称と第２言語で表記された料理名称とを含む単一特定料理情報５０１ａ及び重複特定料理情報５０１ｂが生成される。

（変形例６）
また、特定部３３２は、ステップＳ２０３において、抽出した料理属性のそれぞれが、所定の料理属性に関連付けられているか否かを判定する処理を実行してもよい。例えば、端末装置２，２０によって送信された特定要求に、外観画像及び飲食店ＩＤとともに料理ジャンルが含まれる場合、特定部３３２は、特定された特定料理情報の内、所定の料理ジャンルに関連付けられていない特定料理情報がある場合、料理名称の特定が誤りであると判定する。この判定処理において、まず、特定部３３２は、全ての特定料理情報の料理ジャンルを、算出部３３３に渡す。算出部３３３は、受け取った複数の料理ジャンルのそれぞれが、所定の料理ジャンルと同じであれば、類似度を１とし、所定の料理ジャンルと異なれば、類似度を０と算出し、算出結果を特定部３３２に渡す。特定部３３２は、類似度が所定度（１）以上である場合、当該料理属性の特定料理情報が、所定の料理ジャンルに関連付けられている特定料理情報であると判定し、類似度が所定度（１）未満である場合、当該料理属性の特定料理情報が、所定の料理ジャンルに関連付けられていない特定料理情報であると判定する。

これによって、例えば、ユーザが、四川料理のコース料理等を提供する場合において、四川料理以外の料理ジャンルに関連付けられた料理名称等の特定料理情報が特定された場合、料理名称の特定誤りを自動的に判定することができる。したがって、２品目以上の料理を撮影した外観画像から判定されるメニューの名称の確度を向上させることが可能となる。なお、所定の料理ジャンルは、所定の料理属性の一例である。

なお、この変形例６において、所定の料理属性は、特定された料理属性の内、最も多い料理属性であってもよい。これにより、端末装置２，２０が料理ジャンルを入力しなくても、料理名称の特定誤りを自動的に判定することができる。

なお、ステップＳ２０３において、抽出した料理属性のそれぞれが、所定の料理属性に関連付けられているか否かを判定する処理が実行され、特定された特定料理情報のうち、送信された料理ジャンルに関連付けられていない特定料理情報があると判定された場合、特定部３３２は、特定された特定料理情報のうちの、送信された料理ジャンルに関連付けられていない特定料理情報の料理名称を、送信された料理ジャンルに関連付けられた他の料理名称に変更してもよい。例えば、特定部３３２は、送信された料理ジャンルに関連付けられていない特定料理情報の料理の画像のそれぞれに対して、所定の類似度よりも低い第２の所定の類似度以上のサンプル料理画像を検出する。次に、特定部は、サンプル料理画像が検出された場合、当該検出されたサンプル料理画像の料理ジャンルが、送信された料理ジャンルと同一であれば、第２の所定の類似度以上のサンプル料理画像が検出された特定料理情報の料理情報ＩＤを、当該料理の画像を検出するために用いたサンプル料理画像に関連付けられた料理情報ＩＤに変更して、メニュー管理テーブルに記憶する。そして、特定部３３２は、特定料理情報が検出された特定画面５００を表示するための表示データを作成し、特定処理を終了する。なお、特定料理情報が検出された特定画面５００を表示するための表示データは、名称提案情報の一例である。また、誤特定通知情報及び名称提案情報は、特定情報の一例である。

当業者は、本発明の精神及び範囲から外れることなく、様々な変更、置換、及び修正をこれに加えることが可能であることを理解されたい。

１，１０ メニュー生成システム
２，２０ 端末装置
２１ 端末通信部
２２ 端末記憶部
２３ 端末操作部
２４ 端末表示部
２５ 端末撮像部
２６ 端末処理部
２６１ 表示処理部
２６２ 端末送信部
２６３ 端末受信部
３ サーバ
３１ サーバ通信部
３２ サーバ記憶部
３３ サーバ処理部
３３１ サーバ受信部
３３２ 特定部
３３３ 算出部
３３４ サーバ送信部
３３４ 生成部
４ 基地局
５ 移動体通信網
６ ゲートウェイ
７ インターネット

Claims (20)

1. 飲食店のメニューを生成するメニュー生成システムであって、
   複数の料理のそれぞれについて、外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて記憶する記憶部と、
   前記複数の料理の内の２以上の料理から構成される所定のメニューについて、各料理の外観を含む外観画像を受け付ける入力処理部と、
   前記受け付けた外観画像と前記記憶されたサンプル料理画像及び料理名称とに基づいて、前記受け付けた外観画像に含まれる各料理の料理名称を特定する特定部と、
   前記特定された各料理の料理名称について、各料理の料理名称に関連付けられた料理属性と他の料理の料理名称に関連付けられた料理属性との類似度を算出する算出部と、
   を有することを特徴とするメニュー生成システム。
2. 前記特定部は、前記算出部が算出した類似度に基づいて、前記特定された各料理の料理名称に関連付けられた料理属性が重複しないよう、前記受け付けた外観画像に含まれる各料理の料理名称を再特定する、請求項１に記載のメニュー生成システム。
3. 前記特定部は、
   前記受け付けた外観画像に含まれる各料理の画像と前記サンプル料理画像との一致度を算出し、
   前記特定された各料理の料理名称に関連付けられた料理属性が重複している場合、料理属性が重複している料理の料理名称の内、対応するサンプル料理画像について算出された一致度が最も高い料理名称以外の料理名称を変更する、請求項２に記載のメニュー生成システム。
4. 前記料理属性は、２以上の料理から構成されるメニューにおける料理の提供順番である、請求項１〜３のいずれか一項に記載のメニュー生成システム。
5. 前記特定された各料理の料理名称を各料理に関連付けられた提供順番に応じて並べたメニューの表示情報を生成する生成部を有する、請求項４に記載のメニュー生成システム。
6. 前記料理属性は、料理の種類である、請求項１〜３のいずれか一項に記載のメニュー生成システム。
7. 前記類似度が所定度以上の場合に、前記特定部による前記料理名称の特定に誤りがあることをユーザに示す通知情報を通知する送信部を有する、請求項１〜６のいずれか一項に記載のメニュー生成システム。
8. 前記通知情報は、前記特定された各料理の料理名称の内の前記所定度以上の類似度の料理属性に関連付けられた料理名称の内の少なくとも１つの料理名称を、前記所定度以上の類似度の料理属性とは異なる他の料理属性に関連付けられた料理名称に変更した名称提案情報を含む、請求項７に記載のメニュー生成システム。
9. 前記記憶部は、前記複数の料理のそれぞれについて、第１言語で表記された料理名称と第２言語で表記された料理名称とを互いに関連付けて記憶し、
   各料理の第１言語で表記された料理名称又は第２言語で表記された料理名称を端末に送信する送信部を有する、請求項１〜８のいずれか一項に記載のメニュー生成システム。
10. 飲食店のメニューを生成するメニュー生成システムであって、
    複数の料理のそれぞれについて、外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて記憶する記憶部と、
    前記複数の料理の内の２以上の料理から構成される所定のメニューについて、各料理の外観を含む外観画像を受け付ける入力処理部と、
    前記受け付けた外観画像と前記記憶されたサンプル料理画像及び料理名称とに基づいて、前記受け付けた外観画像に含まれる各料理の料理名称を特定する特定部と、
    前記特定された各料理の料理名称について、各料理の料理名称に関連付けられた料理属性と、所定の料理属性との類似度を算出する算出部と、
    を有することを特徴とするメニュー生成システム。
11. 前記特定部は、前記算出部が算出した類似度に基づいて、前記特定された各料理の料理名称に関連付けられた料理属性の全てが前記所定の料理属性と関連付けられた料理属性となるよう、前記受け付けた外観画像に含まれる各料理の料理名称を再特定する、請求項１０に記載のメニュー生成システム。
12. 前記特定部は、前記特定された各料理の料理名称に関連付けられた料理属性の内、最も多い料理属性を前記所定の料理属性とする、請求項１０または１１に記載のメニュー生成システム。
13. 前記料理属性は、料理ジャンルである、請求項１０〜１２のいずれか一項に記載のメニュー生成システム。
14. 前記記憶部は、前記複数の料理のそれぞれについて、第１言語で表記された料理名称と第２言語で表記された料理名称とを互いに関連付けて記憶し、
    各料理の第１言語で表記された料理名称又は第２言語で表記された料理名称を端末に送信する送信部を有する、請求項１０〜１３のいずれか一項に記載のメニュー生成システム。
15. 前記類似度が所定度未満の場合に、前記特定部による前記料理名称の特定に誤りがあることを示す通知情報を通知する送信部を有する、請求項１０〜１４のいずれか一項に記載のメニュー生成システム。
16. 前記通知情報は、前記特定された各料理の料理名称の内の前記所定の料理属性に関連付けられていない料理名称を、前記所定の料理属性に関連付けられた料理名称に変更した名称提案情報を含む、請求項１５に記載のメニュー生成システム。
17. 記憶部を有し、飲食店のメニューを生成するコンピュータによるメニュー生成方法であって、
    複数の料理のそれぞれについて、外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて前記記憶部に記憶し、
    前記複数の料理の内の２以上の料理から構成される所定のメニューについて、各料理の外観を含む外観画像を受け付け、
    前記受け付けた外観画像と前記記憶されたサンプル料理画像及び料理名称とに基づいて、前記受け付けた外観画像に含まれる各料理の料理名称を特定し、
    前記特定された各料理の料理名称について、各料理の料理名称に関連付けられた料理属性と他の料理の料理名称に関連付けられた料理属性との類似度を算出する、
    ことを含むことを特徴とするメニュー生成方法。
18. 記憶部を有し、飲食店のメニューを生成するコンピュータの制御プログラムであって、前記コンピュータに、
    複数の料理のそれぞれについて、外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて前記記憶部に記憶し、
    前記複数の料理の内の２以上の料理から構成される所定のメニューについて、各料理の外観を含む外観画像を受け付け、
    前記受け付けた外観画像と前記記憶されたサンプル料理画像及び料理名称とに基づいて、前記受け付けた外観画像に含まれる各料理の料理名称を特定し、
    前記特定された各料理の料理名称について、各料理の料理名称に関連付けられた料理属性と他の料理の料理名称に関連付けられた料理属性との類似度を算出する、
    ことを実行させる制御プログラム。
19. 記憶部を有し、飲食店のメニューを生成するコンピュータによるメニュー生成方法であって、
    複数の料理のそれぞれについて、外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて前記記憶部に記憶し、
    前記複数の料理の内の２以上の料理から構成される所定のメニューについて、各料理の外観を含む外観画像を受け付け、
    前記受け付けた外観画像と前記記憶されたサンプル料理画像及び料理名称とに基づいて、前記受け付けた外観画像に含まれる各料理の料理名称を特定し、
    前記特定された各料理の料理名称について、各料理の料理名称に関連付けられた料理属性と、所定の料理属性との類似度を算出する、
    ことを含むことを特徴とするメニュー生成方法。
20. 記憶部を有し、飲食店のメニューを生成するコンピュータの制御プログラムであって、前記コンピュータに、
    複数の料理のそれぞれについて、外観を撮像したサンプル料理画像と料理名称と料理属性とを互いに関連付けて前記記憶部に記憶し、
    前記複数の料理の内の２以上の料理から構成される所定のメニューについて、各料理の外観を含む外観画像を受け付け、
    前記受け付けた外観画像と前記記憶されたサンプル料理画像及び料理名称とに基づいて、前記受け付けた外観画像に含まれる各料理の料理名称を特定し、
    前記特定された各料理の料理名称について、各料理の料理名称に関連付けられた料理属性と、所定の料理属性との類似度を算出する、
    ことを実行させる制御プログラム。

Images