JPWO2014017392A1 - 情報処理装置、そのデータ処理方法、およびプログラム - Google Patents

Abstract

情報処理装置（１００）は、複数のアイテムを提示する撮影対象の少なくとも一部が撮像部により撮像された映像データを逐次取得する映像データ取得部（１０２）と、映像データに、予め登録された画像の少なくとも一部が含まれることを検出して、該画像を認識する画像認識部（１０４）と、認識された複数の画像の各々に対応する付加データを格納する付加データ格納部（１０６）から、各画像の付加データをそれぞれ抽出する付加データ抽出部（１０８）と、抽出された各画像の付加データを、表示する付加データ表示部（１１０）と、を備える。

Description

本発明は、情報処理装置、そのデータ処理方法、およびプログラムに関する。

外食産業のレストラン等において、店舗の各テーブルに端末を置き、注文を客自身に端末を操作させて行うセルフオーダシステムとして、たとえば、特許文献１に記載されたものがある。
また、特許文献２に記載されたオーダシステムは、利用者の電子機器、ここでは、カーナビゲーションを利用して、利用者に注文情報を作成させ、無線通信で受信する。

さらに、特許文献３に記載された商品情報検索システムは、画像再生装置に再生表示された表示画像を、端末で撮影した画像を利用して、ネットワークを介して商品情報を検索し、取得した商品情報を元に商品の注文を行う。

特開２００６−２８５９７１号公報 特開２００８−１０２９４２号公報 特開２００６−２８５６５４号公報

上述した文献に記載された技術においては、多数の商品が掲載されたカタログ等の中からユーザが所望する商品を探し、画像を撮影する必要があり、手間がかかり面倒であった。

本発明は上記事情に鑑みてなされたものであり、その目的とするところは、携帯端末を用いた複数画像の情報の一覧性を向上する情報処理装置、そのデータ処理方法、およびプログラムを提供することにある。

本発明の情報処理装置は、
複数のアイテムを提示する撮影対象の少なくとも一部が撮像部により撮像された映像データを逐次取得する映像データ取得手段と、
前記映像データに、予め登録された画像の少なくとも一部が含まれることを検出して、該画像を認識する画像認識手段と、
前記画像認識手段により認識された、前記撮影対象に提示される前記複数の画像の各々に対応する付加データを格納する付加データ格納部から、各前記画像の付加データをそれぞれ抽出する付加データ抽出手段と、
前記付加データ抽出手段により抽出された各画像の付加データを、前記映像データの該各画像に対応する位置に表示する付加データ表示手段と、を備える。

本発明の情報処理装置のデータ処理方法は、
情報処理装置が、
複数のアイテムを提示する撮影対象の少なくとも一部が撮像部により撮像された映像データを逐次取得し、
前記映像データに、予め登録された画像の少なくとも一部が含まれることを検出して、該画像を認識し、
認識された、前記撮影対象に提示される前記複数の画像の各々に対応する付加データを格納する付加データ格納部から、各前記画像の付加データをそれぞれ抽出し、
抽出された各画像の付加データを、前記映像データの該各画像に対応する位置に表示する情報処理装置のデータ処理方法である。

本発明のコンピュータプログラムは、
情報処理装置を実現するコンピュータに、
複数のアイテムを提示する撮影対象の少なくとも一部が撮像部により撮像された映像データを逐次取得する手順、
前記映像データに、予め登録された画像の少なくとも一部が含まれることを検出して、該画像を認識する手順、
認識された、前記撮影対象に提示される前記複数の画像の各々に対応する付加データを格納する付加データ格納部から、各前記画像の付加データをそれぞれ抽出する手順、
抽出された各画像の付加データを、前記映像データの該各画像に対応する位置に表示する手順を実行させるためのプログラムである。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。

また、本発明のデータ処理方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明のデータ処理方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。

さらに、本発明のデータ処理方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。

本発明によれば、携帯端末を用いた複数画像の情報の一覧性を向上する情報処理装置、そのデータ処理方法、およびプログラムが提供される。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施形態、およびそれに付随する以下の図面によってさらに明らかになる。

本発明の実施の形態に係る情報処理装置を用いた注文システムの構成例を示すブロック図である。 本発明の実施の形態に係る情報処理装置の論理的な構成を示す機能ブロック図である。 本発明の実施の形態に係る情報処理装置のスマートフォンを利用した注文シーンを説明するための図である。 本発明の実施の形態に係る情報処理装置のスマートフォンのハードウェア構成を示すブロック図である。 本発明の実施の形態に係る情報処理装置のサーバ装置のハードウェア構成を示すブロック図である。 本発明の実施の形態に係る情報処理装置の動作の一例を示すフローチャートである。 本発明の実施の形態に係る情報処理装置の動作の一例を示すフローチャートである。 本発明の実施の形態に係る情報処理装置の動作の一例を示すフローチャートである。 本発明の実施の形態に係る情報処理装置の動作の一例を示すフローチャートである。 本発明の実施の形態に係る情報処理装置の画面構成の一例を示す図である。 本発明の実施の形態に係る情報処理装置のログイン画面を示す図である。 本発明の実施の形態に係る情報処理装置のメイン画面を示す図である。 本発明の実施の形態に係る情報処理装置のオーダ画面の一例を示す図である。 本発明の実施の形態に係る情報処理装置のオーダ画面の一例を示す図である。 本発明の実施の形態に係る情報処理装置のトレイ画面を示す図である。 本発明の実施の形態に係る情報処理装置の画面フローの一例を示す図である。 本発明の実施の形態に係る情報処理装置の要部構成を示す機能ブロック図である。 本発明の実施の形態に係る情報処理装置のオーダ画面上でアレルギ情報を一覧表示した例を示す図である。 本発明の実施の形態に係る情報処理装置のオーダ画面の一例を示す図である。 本発明の実施の形態に係る情報処理装置の要部構成を示す機能ブロック図である。 本発明の実施の形態に係る情報処理装置のオーダ画面上に日替わりメニューを表示した例を示す図である。 本発明の実施の形態に係る情報処理装置のユーザマスタの構造の一例を示す図である。 本発明の実施の形態に係る情報処理装置の店舗マスタの構造の一例を示す図である。 本発明の実施の形態に係る情報処理装置の商品マスタの構造の一例を示す図である。 本発明の実施の形態に係る情報処理装置のトレイテーブルの構造の一例を示す図である。 本発明の実施の形態に係る情報処理装置のユーザ属性情報の構造の一例を示す図である。 本発明の実施の形態に係る情報処理装置の画像テーブルの構造の一例を示す図である。 本発明の実施の形態に係る情報処理装置の論理的な構成の一例を示す機能ブロック図である。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、以下の各図において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。

（第１の実施の形態）
図１は、本発明の実施の形態に係る情報処理装置を用いた注文システム１の構成例を示すブロック図である。
本実施形態の注文システム１は、ユーザが利用する携帯端末であるスマートフォン１０と、店舗５に設けられた注文受付装置８０と、注文受付装置８０に接続されるプリンタ８２と、スマートフォン１０および注文受付装置８０とネットワーク３を介して通信可能なサーバ装置６０と、サーバ装置６０に接続されるデータベース５０（図中、「ＤＢ」と示す）と、を備える。

本発明の実施の形態に係る注文システム１では、図３に示すように、ユーザが、スマートフォン１０等の携帯端末をメニュー７にかざして撮影し、リアルタイムに表示される映像のプレビュー画面９上で商品を注文することができる。なお、本実施形態では、情報処理装置をレストラン等での注文システム１に利用した場合について説明するが、これに限定されるものではない。本実施形態のシステムは、複数の任意のアイテムが陳列されている撮影対象を撮影した映像データ内から、画像を認識し、画像に関連する付加データをユーザに提示するシステムであればよい。

本実施形態では、ユーザが利用する携帯端末として、スマートフォン１０を例として説明するが、これに限定されるものではない。たとえば、本発明の携帯端末は、スマートフォン以外に、携帯電話機、ＰＤＡ（Personal Digital Assistants）、タブレット端末、ゲーム機、またはその他の電子機器等の携帯移動型の無線通信端末とすることができる。また、本発明の携帯端末は、ユーザが携帯する携帯端末以外にも、店舗または商品提示場等に配備された携帯端末であってもよく、その場に来店または来場したユーザが共通で使用できるような端末であってもよい。

また、本実施形態では、外食産業のレストラン等の店舗５で、メニュー７から商品を注文する例について説明する。本発明において、ユーザがスマートフォン１０をかざして撮影する対象は、メニュー７や、商品カタログ、チラシ、雑誌公告等の紙媒体のもの以外にも、ショーウインドウや商品棚に陳列展示された商品や商品模型、パソコン等の端末のディスプレイ上にデジタル商品カタログ等を表示させた画面、あるいは、街頭や店舗に設置されたデジタルサイネージに表示された商品情報などでもよい。また、本実施形態では、注文受付装置８０は店舗に設置されているが、これに限定されない。たとえば、本発明の注文受付手段は、サーバ装置６０上に設けられた仮想店舗や、ウェブサイト上のネットショップでもよい。

本発明の実施の形態の情報処理装置は、特に、複数のアイテムが互いに隣接して並んでいるような撮影対象を、一部分ずつカメラの向きや位置を変えながら撮影して、ユーザの携帯端末（スマートフォン１０）のような携帯サイズの画面で順次閲覧するような場合に、複数アイテムの付加情報の一覧性を向上できる。

撮影対象に陳列されるアイテムは、商品となる品物以外に、展示品、試作品等の非売品も含むことができる。さらに、アイテムは、品物のオプション、たとえば、お寿司のさび抜き等、および品物を構成する選択部品、たとえば、自動車のエアロパーツ等と、その組み合わせ等も含むことができる。また、アイテムは、品物以外にも、各種業種が提供するサービス、そのサービスのオプション、またはサービスを受ける日時指定や担当者指名等も含むことができる。さらに、アイテムは、ユーザに複数の選択肢を提示し、１つ以上の任意の選択肢をユーザが指定する、たとえば、アンケートやクイズの回答の選択肢等でもよい。

図２は、本発明の実施の形態に係る情報処理装置１００の論理的な構成を示す機能ブロック図である。
本発明の実施の形態に係る情報処理装置１００は、複数のアイテムを提示する撮影対象の少なくとも一部が撮像部により撮像された映像データを逐次取得する映像データ取得部１０２と、映像データに、予め登録された画像の少なくとも一部が含まれることを検出して、該画像を認識する画像認識部１０４と、画像認識部１０４により認識された、前記撮影対象に提示される前記複数の画像の各々に対応する付加データを格納する付加データ格納部１０６から、各前記画像の付加データをそれぞれ抽出する付加データ抽出部１０８と、付加データ抽出部１０８により抽出された各画像の付加データを、表示する付加データ表示部１１０と、を備える。

後で構成要素毎に詳細に説明するように、本発明の実施の形態に係る情報処理装置１００は、ユーザ携帯端末（スマートフォン１０）、または、ユーザ携帯端末（スマートフォン１０）と通信可能なサーバ装置６０、または、それらの組み合わせにより実現することができる。

スマートフォン１０では、本発明の実施の形態に係る情報処理装置１００を実現するためのアプリケーションプログラムを予めインストールすることで、情報処理装置１００の少なくとも一部の機能をスマートフォン１０上で実現させることができる。あるいは、ウェブサーバ（不図示）上にウェブページを設け、ユーザがスマートフォン１０を用いてアクセスすることで、情報処理装置１００の機能をスマートフォン１０が利用することができる。

図４は、本発明の実施の形態に係るユーザ携帯端末を実現するスマートフォン１０のハードウェア構成を示すブロック図である。図４に示すように、本実施形態のスマートフォン１０は、ＣＰＵ（Central Processing Unit）１２と、ＲＯＭ（Read Only Memory）１４と、ＲＡＭ（Random Access Memory）１６と、携帯電話網通信部１８と、無線ＬＡＮ（Local Area Network）通信部２０と、操作部２２と、操作受付部２４と、表示部２６と、表示制御部２８と、撮像部３０と、スピーカ３２と、マイク３４と、音声制御部３６と、を備える。

ＣＰＵ１２は、スマートフォン１０の各要素とバス４０を介して接続され、各要素とともにスマートフォン１０全体を制御する。ＲＯＭ１４は、スマートフォン１０を動作させるためのプログラムや各種アプリケーションプログラム、それらのプログラムが動作する際に使用する各種設定データなどを記憶するとともに、アドレスデータ、各種コンテンツデータを含むユーザデータを記憶する。ＲＡＭ１６は、プログラムが動作するための作業領域など一時的にデータを記憶する領域を有する。

スマートフォン１０の各構成要素は、上述したＣＰＵ１２、ＲＡＭ１６、ＲＡＭ１６にロードされた図２の構成要素の少なくとも一部を実現するプログラム、そのプログラムを格納するＲＯＭ１４、ネットワーク接続用インタフェース（携帯電話網通信部１８、無線ＬＡＮ通信部２０）を有する任意のコンピュータのハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。以下に説明する各実施形態の機能ブロック図は、ハードウェア単位の構成ではなく、論理的な機能単位のブロックを示している。

なお、前述のＲＯＭ１４およびＲＡＭ１６は、フラッシュメモリやディスクドライブなど、アプリケーションプログラムおよびプログラムが動作するための設定データや一時保存データ、ユーザデータなどを記憶するための機能を有する他のデバイスであってもよい。

操作部２２は、操作キー、操作ボタン、スイッチ、ジョグダイヤル、タッチパッド、表示部２６と一体になったタッチパネルなどを含む。操作受付部２４は、ユーザによる操作部２２の操作を受け付け、ＣＰＵ１２に通知する。表示部２６は、ＬＥＤ（Light Emitting Diode）表示器や、液晶ディスプレイ、有機ＥＬ（ElectroLuminescence）ディスプレイなどを含む。表示制御部２８は、ＣＰＵ１２からの指示に従い、表示部２６に各種画面表示を行う。音声制御部３６は、ＣＰＵ１２からの指示に従い、スピーカ３２から音声出力、およびマイク３４から音声入力を行う。

スマートフォン１０は、携帯電話網通信部１８、携帯電話網用アンテナ１９を介して、たとえば、３Ｇ（3rd Generation：第３世代携帯電話）方式で、携帯通信網（不図示）に基地局（不図示）を介して接続して通信する。スマートフォン１０は、携帯通信網からインターネット等のネットワーク３（図１）に接続し、サーバ装置６０（図１）と通信できる。

無線ＬＡＮ通信部２０は、無線ＬＡＮ用アンテナ２１を介して、たとえば、IEEE 802.11規格に準拠した方式で、中継装置（不図示）と無線ＬＡＮ通信を行う。本実施形態では、スマートフォン１０は、無線ＬＡＮ通信部２０で店舗５に設置された中継装置と無線ＬＡＮ通信を行い宅内ネットワーク（不図示）に接続し、宅内ネットワークに接続された注文受付装置８０と通信することができる。

図５は、本発明の実施の形態に係る注文システム１のサーバ装置６０のハードウェア構成を示すブロック図である。
本実施形態のサーバ装置６０は、データベース５０（図１）に接続されるサーバコンピュータやパーソナルコンピュータ、またはそれらに相当する装置により実現することができる。また、サーバ装置６０は、仮想サーバなどにより構成されてもよい。

本実施形態の注文システム１のサーバ装置６０の各構成要素は、ＣＰＵ６２、ＲＡＭ６６、ＲＡＭ６６にロードされた図２の少なくとも一部の構成要素を実現するプログラム、そのプログラムを格納するＲＯＭ６４、ネットワーク接続用インタフェースを含むＩ／Ｏ（Input/Output）６８を有する任意のコンピュータのハードウェアとソフトウェアの任意の組合せによって実現される。ＣＰＵ６２は、サーバ装置６０の各要素とバス６９を介して接続され、各要素とともにサーバ装置６０全体を制御する。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。以下に説明する各実施形態の機能ブロック図は、ハードウェア単位の構成ではなく、論理的な機能単位のブロックを示している。なお、サーバ装置６０は、Ｉ／Ｏ６８を介して図示されない入出力装置と接続することもできる。

図２に戻り、本実施形態の情報処理装置１００において、映像データ取得部１０２は、複数の商品の画像を提示する撮影対象の少なくとも一部が撮像部（図４のスマートフォン１０の撮像部３０）により撮像された映像データを逐次取得する。たとえば、ユーザは、メニュー７（図３）にスマートフォン１０をかざし、メニュー７等に提示されている複数の商品の画像の少なくとも一部をスマートフォン１０の表示部２６（図４）にリアルタイム映像としてプレビュー画面９（図３）上にライブビュー表示させる。
たとえば、本実施形態の映像データ取得部１０２は、撮影対象の少なくとも一部を撮影し、携帯端末サイズの画面に表示されるサイズの映像データを逐次取得する。

上記実施形態において、映像データ取得部１０２は、スマートフォン１０に内蔵または接続されたカメラ（図４の撮像部３０等）により実現する構成としたが、これには限定されない。他の実施形態において、映像データ取得部１０２は、サーバ装置６０により実現することもできる。サーバ装置６０の映像データ取得部１０２が取得した映像データを、ユーザのスマートフォン１０にストリーミング配信し、スマートフォン１０の表示部２６（図４）に表示させてもよい。また、スマートフォン１０側からサーバ装置６０を遠隔操作して、サーバ装置６０の映像データ取得部１０２が撮影した映像データをスマートフォン１０にストリーミング配信してスマートフォン１０の表示部２６に表示させてもよい。あるいは、映像データ取得部１０２として、店舗のショーウインドウを、ライブカメラを用いて、スマートフォン１０から遠隔操作して撮影して映像データを取得し、取得した映像をサーバ装置６０経由でスマートフォン１０にストリーミング配信してスマートフォン１０の表示部２６に表示させてもよい。

画像認識部１０４は、映像データに含まれる商品の画像から、映像データに含まれる複数の商品を特定すると共に、該各商品の識別情報をそれぞれ取得する。画像認識部１０４は、たとえば、映像データから複数の商品の画像を認識するとともに、認識した商品の画像の特徴点を抽出する。そして、画像認識部１０４は、抽出した画像の特徴点データを基に、商品を特定する。画像認識部１０４は、映像データから複数の商品の画像を同時に識別できることが望ましい。また、画像認識部１０４は、映像データ上の商品の画像の表示画面上の位置を特定する。
なお、本実施形態では、商品を特定する例について説明したが、原則としては、画像認識部１０４は、映像データに、予め登録された画像の少なくとも一部が含まれることを検出して、該画像を認識する。

画像検出方法には、以下の２通りの方法がある。
第１の方法では、画像認識部１０４が、パターン認識等により、映像画像内の特徴量を、画像テーブル４６０（図２７）内に予め登録した商品の画像の特徴量（特徴点データ）と照合し、少なくとも一部が一致した領域を検出して、その領域の位置と画像を特定し、画像に対応する商品を特定する。

第２の方法では、画像認識部１０４が、パターン認識等により、映像画像内に複数の商品の画像が含まれていることを検出して、映像画像内で個々の商品画像と思われる領域を分離し、分離されたそれぞれの領域について特徴量を抽出して、画像テーブル４６０（図２７）内の特徴量（特徴点データ）と照合し、少なくとも一部が一致した領域の位置と画像を特定し、画像に対応する商品を特定する。

画像認識処理において、画像テーブル４６０（図２７）の商品の画像の特徴量（特徴点データ）と映像画像内の特徴量は、完全一致である必要はなく、少なくとも一部が一致していればよい。たとえば、映像画像で、商品の画像の一部しか撮影範囲に入っていない場合にも、画像認識部１０４は、画像を特定することができる。
なお、第１の方法では、映像画像を個々の商品画像の領域に分割する処理が不要なため、第１の方法の方が、より好ましい。

本実施形態において、画像認識部１０４は、映像データから複数の画像を同時に識別できることが望ましい。また、画像認識部１０４は、映像データ上の画像の表示画面上の位置を特定する。

画像認識部１０４は、スマートフォン１０またはサーバ装置６０のいずれかで実現することができる。情報処理装置１００は、商品の画像の特徴点と商品の識別情報を対応付けた画像テーブル４６０（図２７）を保持する。たとえば、画像テーブル４６０をサーバ装置６０のデータベース５０またはスマートフォン１０のＲＯＭ１４またはスマートフォン１０に装着されたスマートフォン１０が読み取り可能な記録媒体（以下、両者を略して「スマートフォン１０のメモリ」とも呼ぶ）に保持することができる。

また、本発明の情報処理装置は、画像認識部１０４の構成要素を、任意の組み合わせで、スマートフォン１０と、サーバ装置６０に分担させて配置する構成であってもよい。

具体的には、画像認識部１０４が上記第１の方法で画像検出を行う構成の場合は、画像認証部１０４は、以下の機能を実現する。
（ａ）撮影画像に複数の商品画像が含まれていることを認識する機能
（ｂ）撮影画像内の個々の商品画像を分割する機能
（ｃ）それぞれの商品画像ごとに特徴点を抽出する機能
（ｄ）抽出された特徴点から対応する商品を特定する機能

この場合に、情報処理装置において、たとえば、以下の５通りの機能分担の組み合わせ方法が考えられる。
（１）全ての機能をスマートフォン１０で実現する。
（２）機能（ａ）をスマートフォン１０で実現し、結果をサーバ装置６０に送信し、機能（ｂ）〜（ｄ）をサーバ装置６０で実現する。
（３）機能（ａ）〜（ｂ）をスマートフォン１０で実現し、結果をサーバ装置６０に送信し、機能（ｃ）〜（ｄ）をサーバ装置６０で実現する。
（４）機能（ａ）〜（ｃ）をスマートフォン１０で実現し、結果をサーバ装置６０に送信し、機能（ｄ）をサーバ装置６０で実現する。
（５）全ての機能をサーバ装置６０で実現する。

また、画像認識部１０４が上記第２の方法で画像検出を行う構成の場合は、画像認証部１０４は、以下の機能を実現する。
（ｅ）撮影画像から特徴点を抽出する機能
（ｆ）抽出された特徴点を事前に登録された商品画像ごとの特長点データと照合する機能
（ｇ）照合された結果から撮影画像内に含まれる商品画像の位置と商品の種類を特定する機能

この場合、情報処理装置において、たとえば、以下の４通りの機能分担の組み合わせ方法が考えられる。
（１）全ての機能をスマートフォン１０で実現する。
（２）機能（ｅ）をスマートフォン１０で実現し、その結果をサーバ装置６０に送信し、機能（ｆ）〜（ｇ）をサーバ装置６０で実現する。
（３）機能（ｅ）〜（ｆ）をスマートフォン１０で実現し、その結果をサーバ装置６０に送信し、機能（ｇ）をサーバ装置６０で実現する。
（４）全ての機能をサーバ装置６０で実現する。

また、サーバ装置６０側で撮影した映像データをスマートフォン１０にストリーミング配信して表示させるなどのパターンの場合に、上記具体例のスマートフォン１０とサーバ装置６０を入れ替えた場合の構成なども考えられる。

画像テーブル４６０は、商品の識別情報である商品番号と、商品の画像の特徴点データが関連付けて格納されている。画像認識部１０４は、画像テーブル４６０を参照することで、映像データから抽出した商品の画像の特徴点に対応する商品の識別情報を取得することができる。
また、画像テーブル４６０は、画像の特徴点データとそれに対応する付加データを関連付けて保持してもよい。そして、画像認識部１０４または付加データ抽出部１０８が、商品マスタ４３０（後述する図２４）を参照して付加データを抽出する処理（後述する図７等のステップＳ１０７）を行うことなく、画像テーブル４６０を参照して画像の特徴点データに対応した付加データを抽出できる構成であってもよい。

付加データ格納部１０６は、撮影対象に提示される複数の画像の各々に対応する付加データを格納する。本実施形態では、サーバ装置６０のデータベース５０に、図２４に示すような商品マスタ４３０を保持している。商品マスタ４３０には、たとえば、商品の識別情報として商品番号、商品の名称、商品の単価、販売税込み価格、商品である食品に含まれる材料のアレルギ物質情報、商品に関連するクーポン情報等を含むことができる。

本実施形態では、付加データ格納部１０６は、サーバ装置６０のデータベース５０に含まれる構成としたが、スマートフォン１０のメモリに含まれてもよい。また、スマートフォン１０に付加データの更新情報をサーバ装置６０から送信し、情報処理装置１００は、スマートフォン１０が保持する付加データを更新できる構成としてもよい。あるいは、情報処理装置１００は、ユーザが必要な付加データを選択的にサーバ装置６０からスマートフォン１０にダウンロードして付加データ格納部１０６に格納する構成としてもよい。

付加データ抽出部１０８は、画像認識部１０４により取得された商品の識別情報に基づいて、付加データ格納部１０６から、画像認識部１０４により特定される各商品の付加データをそれぞれ抽出する。なお、上述したように、付加データ格納部１０６は、スマートフォン１０およびサーバ装置６０の両方に含まれてもよく、付加データ抽出部１０８は、スマートフォン１０内の付加データ格納部１０６を検索して商品の付加データが抽出できなかった場合等に、サーバ装置６０にアクセスして付加データを取得してもよい。

付加データ表示部１１０は、付加データ抽出部１０８により抽出された各商品の付加データを、映像データの該各商品に対応する位置に表示する。付加データ表示部１１０は、商品の付加データを、たとえば、アイコン、テキストを含むバルーンやポップアップウインドウ、または、置き換え画像等の各種オブジェクトで表現して、映像データに表示する。
上述した第２の画像検出方法ように、映像データに含まれる画像を検出して認識する構成の場合、付加データ格納部１０６は、複数の画像のそれぞれに対応する付加データを格納し、付加データ抽出部１０８は、付加データ格納部１０６から各画像に対応する付加データを抽出することができる。そして、付加データ表示部１１０は、各画像の付加データを映像データの各画像に対応する位置に表示する。
また、付加データ表示部１１０は、付加データを、映像データの各画像に対応する位置とは無関係に、画面内の決められた位置、あるいは画面全体に表示する構成であってもよい。

画像認識部１０４、付加データ抽出部１０８、および付加データ表示部１１０は、たとえば、カメラなどで撮影された現実環境に、コンピュータを用いて情報を付加提示することができる拡張現実感（Augmented Reality：ＡＲ）という技術を用いて実現することができる。ＡＲを用いれば、情報処理装置１００は、スマートフォン１０等のカメラで撮影した映像の上に、商品画像などの予め登録された特定画像が表示された領域をＸＹ平面とする三次元座標系を認識し、対応する付加データをたとえば、３Ｄのオブジェクトとして表示部２６上に表示させることも可能である。

表示される付加データは、画像に関連する、お勧め情報、割引情報、クーポン情報、カロリー、原材料（アレルギ情報）、商品の詳細情報が掲載されたホームページのＵＲＬアドレス、商品の口コミ情報、顧客や評論家などによる評価、またはオプションサービス情報等を含んでもよい。また、付加データは、店舗特有の情報として、地域限定メニュー、店長おすすめメニュー、期間限定来店ポイント、商品の売り切れ情報等を含んでもよい。また、付加データは、日時や天候に関連して、日替わり情報、タイム（曜日、週間、月間）セール、季節セール、雨の日セールなどの情報も含んでもよい。また、付加データには、商品の基本データである商品名および値段などを含んでもよい。
付加データは上記の例に示したようなデータの任意の組み合わせであってもよい。

映像データに表示される付加データは、付加データが存在することを示すアイコンであってもよい。付加データ表示部１１０は、アイコンの操作を受け付けたときに、商品の詳細な情報を表示してもよい。すなわち、付加データ表示部１１０は、商品カタログなどに印刷しきれない商品の付加データを表示させることができる。情報処理装置１００により、このようにして撮影対象上は必要最低限の情報、またはユーザに注目させたい商品の情報のみ掲載し、ユーザが興味を持った商品についてのみ詳細な情報を提示することで、効果的な宣伝や販促ができる。

なお、本実施形態の注文システム１の情報処理装置１００は、図２８に示すように、さらに、ユーザ識別情報取得部１１２と、オーダデータ送信部１１４と、を備える。

ユーザ識別情報取得部１１２は、ユーザの識別情報を取得する。ユーザの識別情報は、たとえば、本発明の情報処理装置１００を実現するアプリケーションをスマートフォン１０上で起動した後、図１１に示すようなログイン画面１２０を表示させてもよい。ログイン画面１２０上で、予め登録されたユーザＩＤと、パスワード（ＰＷ）とを受け付けることで、ユーザ識別情報取得部１１２は、ユーザの識別情報を取得してもよい。あるいは、ユーザ識別情報取得部１１２は、ユーザ携帯端末の本体に個別に付与されている端末識別情報を読み取って取得してもよい。

オーダデータ送信部１１４は、付加データ表示部１１０により得られた合成映像データに基づいて携帯端末サイズの表示部２６に表示される映像に含まれる複数の商品の中から選択された商品の識別情報、および、ユーザの識別情報を含むオーダデータを送信する。
なお、商品の識別情報およびユーザ識別情報は必ずしも必要はなく、オーダデータ送信部１１４は、少なくとも選択された画像のデータを送信すればよい。

ここで、ユーザは、たとえば、スマートフォン１０の表示部２６（図４）に表示された映像に含まれる複数の商品の中から、注文したい商品をタッチパネル（図４の操作部２２）の操作などによって選択することができる。選択操作は図４のスマートフォン１０の操作受付部２４によって受け付けることができる。たとえば、注文するための操作ボタンが商品画像の脇に表示され、それをユーザが押下することにより、ユーザは簡単に商品の注文を行うことができる。

ユーザは、商品カタログやメニュー７など、多数の商品が掲載されている撮影対象の中の少なくとも一部に撮像部３０を向けて撮影し、スマートフォン１０の携帯サイズの表示部２６に複数の商品の画像を表示させて、その中から商品を選択する。選択操作の詳細については後述する。ユーザは、たとえば、スマートフォン１０の撮像部３０を撮影対象の範囲内でパンしながら表示部２６に表示されるリアルタイム映像に表示された付加データを確認しつつ、撮影対象全体の商品について確認し、その中から商品を選択することができる。本発明の情報処理装置１００は、特に、複数の商品の画像が一覧で提示されているカタログやメニューなどの撮影対象の中から商品を選択して注文する場合に、付加データを表示することで、ユーザにアピールしたい商品を一覧の中で目立たせ、注目させること等ができる。

本実施形態の情報処理装置１００において、オーダデータ送信部１１４により選択された複数の画像の情報（商品の注文）を一時的に記憶部（トレイ）に記憶し、記憶したオーダをユーザに提示し、確認操作を受け付ける確認受付部（不図示）をさらに備えることができる。オーダデータ送信部１１４は、確認受付部が確認操作を受け付けた後、複数の画像の情報（オーダ）を送信する。すなわち、オーダデータ送信部１１４は、注文を複数商品（画像）について受け付けた後、一括でトレイ内の注文（画像の情報）を送信することができる。

オーダデータ送信部１１４がスマートフォン１０で実現される場合、たとえば、オーダデータは、スマートフォン１０から注文受付装置８０（図１）に送信される。そして、注文受付装置８０がオーダデータを店舗５のキッチンなどに設置されたプリンタ８２（図１）により印字出力させることができる。オーダデータが印字出力されることで、スマートフォン１０からユーザのオーダが厨房に自動的に伝達されることとなる。オーダデータ送信部１１４は、たとえば、図４のスマートフォン１０の無線ＬＡＮ通信部２０を用いて、店舗５に設置された中継端末を介して注文受付装置８０にオーダデータを送信することができる。

あるいは、オーダデータ送信部１１４はサーバ装置６０で実現することもできる。たとえば、オーダデータ送信部１１４は、スマートフォン１０で注文されたオーダデータをサーバ装置６０に送信し、サーバ装置６０から注文受付装置８０に送信してもよい。たとえば、オーダデータ送信部１１４は、図４のスマートフォン１０の携帯電話網通信部１８を用いて、サーバ装置６０にオーダデータをアップロードすることができる。そして、オーダデータ送信部１１４は、サーバ装置６０から注文受付装置８０にネットワーク３を介してオーダデータを送信することができる。
なお、サーバ装置６０と注文受付装置８０の間のネットワーク３は特に限定されない。

本実施の形態の情報処理装置１００では、コンピュータプログラムに対応する各種の処理動作をスマートフォン１０またはサーバ装置６０のＣＰＵが実行することにより、前述のような各種ユニットが各種機能として実現される。
本実施形態のコンピュータプログラムは、情報処理装置１００を実現されるためのコンピュータに、複数のアイテムを提示する撮影対象の少なくとも一部が撮像部により撮像された映像データを逐次取得する手順、映像データに、予め登録された画像の少なくとも一部が含まれることを検出して、該画像を認識する手順、認識された、撮影対象に提示される複数の画像の各々に対応する付加データを格納する付加データ格納部から、特定される各画像の付加データをそれぞれ抽出する手順、抽出された各画像の付加データを、表示する手順、を実行させるように記述されている。

本実施形態のコンピュータプログラムは、コンピュータで読み取り可能な記録媒体に記録されてもよい。記録媒体は特に限定されず、様々な形態のものが考えられる。また、プログラムは、記録媒体からコンピュータのメモリにロードされてもよいし、ネットワークを通じてコンピュータにダウンロードされ、メモリにロードされてもよい。

図１０は、本発明の実施の形態に係る情報処理装置１００のスマートフォン１０の画面構成の一例を示す図である。
情報処理装置１００の画面構成としては、ログイン画面１２０と、メイン画面１３０と、テーブル番号画面１４０と、オーダ画面１５０と、トレイ画面１７０と、注文確認画面１９０と、削除確認画面１９２と、を含む。

これらの画面は、図１６に示すフローに従って切り替わる。
スマートフォン１０で本実施形態の情報処理装置１００のアプリケーションが起動されると、図１６のフローが開始する。

始めに、ログイン画面１２０がスマートフォン１０の表示部２６（図４）に表示される。ログイン画面１２０は、図１１に示すように、ユーザＩＤ入力欄１２２と、パスワード入力欄１２４と、ログインボタン１２６と、終了ボタン１２８と、を含む。ユーザが予め登録したユーザＩＤと、パスワードを、ログイン画面１２０のユーザＩＤ入力欄１２２とパスワード入力欄１２４に入力し、ログインボタン１２６を押下することで、表示画面がメイン画面１３０に遷移する。このとき、ユーザ認証処理によりパスワードの確認が行われ（ステップＳ４０１）、エラーの場合（ステップＳ４０１のＹ）、パスワードがエラーである旨のメッセージが表示され（ステップＳ４０３）、表示画面はログイン画面１２０に戻る。パスワードが認証された場合（ステップＳ４０１のＮ）、表示画面はメイン画面１３０に遷移する。

上記ユーザ認証処理は、サーバ装置６０で行うことができる。サーバ装置６０は、データベース５０に図２２に示すユーザマスタ４００を保持している。サーバ装置６０は、ユーザマスタ４００を参照し、ユーザ認証処理を行うことができる。
ログイン画面１２０で終了ボタン１２８が押下された場合には、終了確認のメッセージが表示される（ステップＳ４０５）。終了確認がとれた場合（ステップＳ４０７のＹ）、本アプリケーションを終了する。終了がキャンセルされた場合（ステップＳ４０７のＮ）、表示画面はログイン画面１２０に戻る。

メイン画面１３０は、図１２に示すように、店舗名表示部１３２と、テーブル番号表示部１３３と、ユーザ名表示部１３４と、ポイント数表示部１３５と、テーブル番号ボタン１３７と、オーダボタン１３８と、トレイボタン１３９と、終了ボタン１２８と、を含む。

メイン画面１３０の店舗名表示部１３２、ユーザ名表示部１３４、およびポイント数表示部１３５の各情報は、サーバ装置６０のデータベース５０に保持される図２２のユーザマスタ４００、および図２３の店舗マスタ４２０等を参照して、表示することができる。

また、メイン画面１３０のテーブル番号ボタン１３７の押下により、表示画面がテーブル番号画面１４０に遷移し、テーブル番号画面１４０の登録ボタン１４２の押下によりテーブル番号の指定を受け付けた後、表示画面をメイン画面１３０に戻し、テーブル番号表示部１３３の情報が、表示されてもよい。
そして、図１６に示すように、オーダボタン１３８の押下を受け付けたとき、表示画面がオーダ画面１５０に遷移する。また、テーブル番号画面１４０で、戻るボタン１４４が押下されたときは、表示画面はメイン画面１３０に戻る。

また、メイン画面１３０で終了ボタン１２８が押下された場合には、終了確認のメッセージが表示される（ステップＳ４０９）。終了確認がとれた場合（ステップＳ４１１のＹ）、本アプリケーションを終了する。終了がキャンセルされた場合（ステップＳ４１１のＮ）、表示画面はメイン画面１３０に戻る。

図１３は、スマートフォン１０をメニュー７にかざしたときのオーダ画面１５０の一例を示す図である。オーダ画面１５０には、メニュー７の映像に含まれる複数の商品の画像を認識して得られる、たとえば、店長のお薦めメニューなどの付加データが、バルーン１４５で表示されている。また注文操作を済ませた商品には、注文済みマーク１４６が表示されている。たとえば、ここに、注文した数量が表示されてもよい。付加データとしてクーポン情報が表示されている商品の注文が確定した場合、サーバ装置６０側でユーザに対してクーポン発行処理を行うことができる。

また、図１４に示すように、オーダ画面１５０は、メニュー７（図１）の映像に含まれる複数の商品の画像を個別に認識した商品画像認識領域１５２と、特定された商品の付加データを表示する付加データ表示部１５３と、その商品の注文を決定する決定ボタン１５４と、を含むことができる。さらに、オーダ画面１５０が表示されている状態のとき、スマートフォン１０のディスプレイ脇に設けられた各種操作ボタンを有する操作部１５５の操作も、オーダ画面１５０に対する操作としてスマートフォン１０の操作受付部２４（図４）が受け付ける。ここでは、操作部１５５の戻るボタン１５６と、メニューボタン１５７と、が利用される。

決定ボタン１５４が押下されたとき、その商品の注文が受け付けられ、注文情報が図２５のトレイテーブル４４０に記憶される。図２５のトレイテーブル４４０は、スマートフォン１０またはサーバ装置６０のいずれかのメモリに保持することができる。戻るボタン１５６が押下されたとき、表示画面はメイン画面１３０に戻る。メニューボタン１５７が押下されたとき、表示画面はサブメニューウインドウ１５１に遷移し、オーダ画面１５０の下部にトレイボタン１５８とメインボタン１５９が表示される。トレイボタン１５８が押下されたとき、表示画面はトレイ画面１７０に遷移する。メインボタン１５９が押下されたとき、表示画面はメイン画面１３０に戻る。あるいは、メイン画面１３０でトレイボタン１３９が押下されたときにも、表示画面はトレイ画面１７０に遷移する。

トレイ画面１７０は、図１５に示すように、メニュー画像欄１７１と、メニュー内容欄１７２と、を含む。トレイには、現在の注文予約状況が格納されている。トレイ画面１７０では、トレイに格納されている現在の注文予約状況が表示される。なお、トレイは、上述したように、スマートフォン１０またはサーバ装置６０のメモリ内に設けることができる。

メニュー画像欄１７１には、オーダ画面１５０で注文された商品のメニュー画像１７３がそれぞれ表示される。メニュー内容欄１７２には、注文された商品のメニュー名１７４と、注文された数量を表示する数量表示部１７５と、その金額を表示する金額表示部１７８と、メニューを取り消すときに操作する削除ボタン１７９と、を含む。図１５では、Ａ、Ｂ、Ｃの３つのメニューが選択された例を示している。また、注文数量は、増量ボタン１７７（＋：プラス）と減量ボタン１７６（−：マイナス）で増減できる。メニュー画像欄１７１とメニュー内容欄１７２は複数行をスクロール表示させることができる。

また、トレイ画面１７０は、メニュー合計数表示部１８２と、数量合計数表示部１８３と、合計金額表示部１８４と、を含む。メニュー合計数表示部１８２には、トレイに入っているメニュー数の合計が表示される。数量合計数表示部１８３には、トレイに入っている全メニューの数量合計が表示される。合計金額表示部１８４には、トレイに入っている全メニューの合計金額が表示される。

さらに、トレイ画面１７０は、注文ボタン１８６と、オーダボタン１８７と、メインボタン１８８と、終了ボタン１２８と、を含む。また、注文メニューをお気に入り登録、または必ず注文するメニューとして、マイメニュー自動注文登録などを受け付けるボタンをトレイ画面１７０に設けてもよい。そして、トレイ画面１７０でそれぞれの登録を受け付け、スマートフォン１０が登録情報をサーバ装置６０に送信し、データベース５０に登録させてもよい。これらの情報は、図２６のユーザ属性情報４５０としてデータベース５０に保持できる。

注文ボタン１８６が押下されたとき、注文内容の最終確認の画面が表示される（ステップＳ４１３）。注文がＯＫの場合（ステップＳ４１５のＹ）、オーダデータが受け付けられ、表示画面はメイン画面１３０に戻る。注文がＮＧの場合（ステップＳ４１５のＮ）、表示画面はトレイ画面１７０に戻る。このとき、オーダデータ送信部１１４がオーダデータを注文受付装置８０に送信し、プリンタ８２に注文内容がプリントアウトされる（図１０のキッチンプリンタ出力１９４）。正常に送信された場合、トレイ内の注文内容はクリアされる。
なお、この例ではオーダデータはキッチンプリンタに出力される構成としたが、必ずしもキッチンプリンタによる出力という手段を取る必要は無く、画面への表示や音声でのアナウンスなど、店舗内のスタッフに対してオーダ内容を伝えるための任意の手段を用いる構成であってもよい。

削除ボタン１７９が押下されたとき、削除確認のメッセージが表示された後（ステップＳ４１７）、削除ボタン１７９が押下されたメニューが削除され、表示画面はトレイ画面１７０に戻る。ここで、削除の確認操作を受け付けてからメニューが削除されるようにしてもよい。
メインボタン１８８が押下されたとき、表示画面はメイン画面１３０に戻る。このとき、トレイの内容は保持したままであるのが望ましい。トレイの内容を消去する場合は、ユーザに確認のメッセージを提示して確認してから消去するのが望ましい。

終了ボタン１２８が押下されたとき、終了確認のメッセージが表示される（ステップＳ４１９）。終了確認がとれた場合（ステップＳ４２１のＹ）、本アプリケーションを終了する。終了がキャンセルされた場合（ステップＳ４２１のＮ）、表示画面はトレイ画面１７０に戻る。

上述のような構成において、本実施の形態の情報処理装置１００のデータ処理方法を以下に説明する。図６は、本実施形態の情報処理装置１００の動作の一例を示すフローチャートである。
本発明の実施の形態に係る情報処理装置１００のデータ処理方法は、情報処理装置１００が、複数のアイテムを提示する撮影対象の少なくとも一部が撮像部により撮像された映像データを逐次取得し（ステップＳ１０１、ステップＳ１０３）、映像データに、予め登録された画像の少なくとも一部が含まれることを検出して、該画像を認識し（ステップＳ１０５）、認識された、撮影対象に提示される複数の画像の各々に対応する付加データを格納する付加データ格納部１０６から、特定される各画像の付加データをそれぞれ抽出し（ステップＳ１０７）、抽出された各画像の付加データを、表示する（ステップＳ１０９）。

より具体的には、本実施形態の情報処理装置１００において、まず、映像データ取得部１０２が、複数の商品の画像を提示する撮影対象の少なくとも一部を撮像部により撮像し（ステップＳ１０１）、撮像された映像データを逐次取得する（ステップＳ１０３）。そして、画像認識部１０４が、映像データに含まれる商品の画像から、映像データに含まれる複数の商品を特定すると共に、該各商品の識別情報をそれぞれ取得する（ステップＳ１０５）。

そして、付加データ抽出部１０８が、画像認識部１０４により取得された商品の識別情報に基づいて、付加データ格納部１０６から、画像認識部１０４により特定される各商品の付加データをそれぞれ抽出する（ステップＳ１０７）。
そして、付加データ表示部１１０が、付加データ抽出部１０８により抽出された各商品の付加データを、映像データの該各商品に対応する位置に表示する（ステップＳ１０９）。

上述したように、本発明の実施の形態に係る情報処理装置１００は、スマートフォン１０、およびサーバ装置６０により実現することができる。スマートフォン１０とサーバ装置６０の機能分担は、様々考えられる。なお、以下の例では、上述した画像検出方法の第２の方法を採用した例を示している。

図７は、スマートフォン１０のみで図２の構成を全て実現させる例である。この例では、図６に示した処理手順のステップＳ１０１〜ステップＳ１０９全てをスマートフォン１０で行う構成となっている。
そして、ユーザ識別情報取得部１１２が、ユーザの識別情報を取得する（ステップＳ１１１）。

そして、オーダデータ送信部１１４が、付加データ表示部１１０により得られた合成映像データに基づいて携帯端末サイズの表示部に表示される映像に含まれる複数の商品の中から選択された商品の識別情報、および、ユーザの識別情報を含むオーダデータを送信する（ステップＳ１１３）。
スマートフォン１０が送信したオーダデータを注文受付装置８０が受信し（ステップＳ１２１）、オーダ処理が完了する。このとき、スマートフォン１０は、図４の無線ＬＡＮ通信部２０を用いて注文受付装置８０にオーダデータを送信することができる。

また、図８は、スマートフォン１０側で、商品の特定処理までを行い、サーバ装置６０側で商品の付加データの抽出を行う例である。この例では、図６の注文処理手順のステップＳ１０７の商品の付加データの抽出をサーバ装置６０が行っている。さらに、この例では、オーダデータを、スマートフォン１０から注文受付装置８０に送信するのではなく、サーバ装置６０経由で注文受付装置８０に送信する構成としている。この例では、図６の処理手順に加え、さらにステップＳ１１１、ステップＳ１１３、ステップＳ１２１、およびステップＳ２０１〜ステップＳ２１１を含む。

ステップＳ１０５で取得した商品の識別情報をスマートフォン１０がサーバ装置６０に送信する（ステップＳ２０１）。サーバ装置６０は、スマートフォン１０から商品の識別情報を受信し（ステップＳ２０３）、受信した商品の識別情報に基づいて、付加データ格納部１０６から、受信した各商品の付加データをそれぞれ抽出する（ステップＳ１０７）。

そして、サーバ装置６０が、抽出した商品の付加データをスマートフォン１０に送信する（ステップＳ２０５）。スマートフォン１０では、サーバ装置６０から商品の付加データを受信し（ステップＳ２０７）、付加データ表示部１１０が、受信した各商品の付加データを、映像データの該各商品に対応する位置に表示する（ステップＳ１０９）。
そして、ユーザ識別情報取得部１１２が、ユーザの識別情報を取得する（ステップＳ１１１）。

そして、オーダデータ送信部１１４が、付加データ表示部１１０により得られた合成映像データに基づいて携帯端末サイズの表示部に表示される映像に含まれる複数の商品の中から選択された商品の識別情報、および、ユーザの識別情報を含むオーダデータを送信する（ステップＳ１１３）。

そして、ステップＳ１１３でスマートフォン１０からオーダデータがサーバ装置６０に送信され、ステップＳ２０９でオーダデータを受信したサーバ装置６０から注文受付装置８０にオーダデータが転送される（ステップＳ２１１）。このとき、スマートフォン１０は、図４の携帯電話網通信部１８を用いてサーバ装置６０にオーダデータを送信することができる。たとえば、スマートフォン１０がサーバ装置６０のウェブサーバにオーダデータをアップロードする。

さらに、図９は、スマートフォン１０側で、商品の画像の特徴点の抽出処理までを行い、サーバ装置６０側で特徴点から商品の特定およびその付加データの抽出を行う例である。この例では、図６のステップＳ１０５の処理を、スマートフォン１０とサーバ装置６０で分担して、ステップＳ３０１とステップＳ３０７で行うとともに、図６のステップＳ１０７をサーバ装置６０で行っている。さらに、この例では、オーダデータをサーバ装置６０経由で注文受付装置８０に送信する構成としている。この例では、図６の処理手順に加え、さらにステップＳ３０１〜ステップＳ３０７、ステップＳ２０５〜ステップＳ２１１、ステップＳ１１１、ステップＳ１１３、およびステップＳ１２１を含む。

スマートフォン１０が、ステップＳ１０３で取得した映像データに含まれる商品の画像から、各商品の画像の特徴点を抽出する（ステップＳ３０１）。そして、スマートフォン１０がサーバ装置６０に各商品の画像の特徴点を送信する（ステップＳ３０３）。サーバ装置６０は、スマートフォン１０から各商品の画像の特徴点を受信し（ステップＳ３０５）、受信した各商品の画像の特徴点から映像データに含まれる複数の商品を特定すると共に、該各商品の識別情報をそれぞれ取得する（ステップＳ３０７）。
そして、付加データ抽出部１０８が、取得した商品の識別情報に基づいて、付加データ格納部１０６から、特定された各商品の付加データをそれぞれ抽出する（ステップＳ１０７）。以下、図８と同様である。
なお、図７の例では、スマートフォン１０から直接注文受付装置８０にオーダデータを送信する構成としているが、サーバ装置６０経由で送信する構成とすることもできる。また、図８および図９の例では、スマートフォン１０からオーダデータをサーバ装置６０経由で注文受付装置８０に送信する構成としているが、スマートフォン１０から注文受付装置８０に直接送信する構成とすることもできる。

以上説明したように、本発明の実施の形態の情報処理装置１００によれば、複数商品についてユーザにとって有益な情報を一覧で見やすく表示して注文を受け付けることができる。そして、本実施形態の情報処理装置１００は、ユーザが携帯しているスマートフォン１０等を利用して実現することができ、店舗側でシステム導入にかかるコストを低く抑えることができる。

（第２の実施の形態）
図１７は、本発明の実施の形態に係る情報処理装置２００の要部構成を示す機能ブロック図である。本実施形態の情報処理装置２００は、上記実施形態の情報処理装置１００とは、ユーザ事情（属性）に応じた付加データを抽出する点で相違する。
本実施形態の情報処理装置２００は、図２の上記実施形態の情報処理装置１００の構成に加え、さらに、属性取得部２０２と、ユーザ属性情報格納部（図中、「ユーザ属性情報」と示す）２０４と、を備える。

ユーザ属性情報格納部２０４は、図２６のユーザ属性情報４５０に示すように、来店回数、アレルギ情報、などを含むことができる。また、ユーザ属性情報格納部２０４は、ユーザが保有するポイント数、注文履歴、お気に入り登録または自動注文登録された商品情報、その他のプロフィール情報（性別、年齢層、居住地域、家族構成、ダイエットの有無、興味のある分野、趣味）、他店舗の利用状況等を含むことができる。

属性取得部２０２は、ユーザについての属性情報を取得する。ここで、属性取得部２０２は、たとえば、ユーザ属性情報格納部２０４を参照し、ユーザ識別情報取得部１１２により取得される識別情報によりユーザを特定する。または、属性取得部２０２は、ユーザ属性情報として、商品購入履歴など、他のデータベースなどに登録されているユーザに関する情報や、来店中の店舗に関する情報を参照してもよい。
付加データ抽出部１０８は、画像認識部１０４により認識される各画像について、属性取得部２０２により取得されるユーザの属性情報に対応する付加データをそれぞれ抽出する。

そして、本実施形態において、ユーザの属性情報は、アレルギ情報を含む。
付加データ格納部１０６は、付加データとして、複数の画像の各々に含まれるアレルギ物質情報を格納する。
付加データ抽出部１０８は、画像認識部１０４により認識される各画像について、ユーザのアレルギ情報に含まれるアレルギ物質情報をそれぞれ抽出する。
付加データ表示部１１０は、付加データ抽出部１０８により抽出されるアレルギ物質情報に基づいて、画像認識部１０４により認識される複数の画像の中から、ユーザがアレルギを引き起こす可能性のあるアレルギ物質情報が抽出された画像を特定し、映像データの該特定された画像に対応する位置に所定の表示要素を表示する。

また、本実施形態の情報処理装置１００において、付加データ表示部１１０は、画像認識部１０４により認識される各画像について、属性取得部２０２により取得されるユーザの属性情報に応じて、付加データの視認性を変化させる。

本実施形態において、図１８（ａ）に示すオーダ画面２２０上に、複数の商品画像２２１が表示されているとき、図１８（ｂ）に示すように、ユーザがアレルギを引き起こす可能性のある商品について、アレルギＮＧ表示部２２４が商品の画像に重ねて表示される。また、ユーザが安心して食べることができるアレルギを引き起こす可能性のない商品については、アレルギＯＫ表示部２２３が商品の画像に重ねて表示される。また、アレルギを引き起こすか否か不明な場合は、アレルギ不明表示部２２６の画像が重ねて表示される。

アレルギＮＧ表示部２２４は、たとえば、元の商品の画像を隠すように網掛け表示にしてもよい。また、アレルギＮＧ表示部２２４は、はっきりと「ＮＧ」などの文字や、バツ（×）マーク２２５などで、ユーザが一目で注文しない方がよいと認識できる画像を重ねて表示してもよい。

アレルギＯＫ表示部２２３は、たとえば、元の商品の画像が特に際だつような枠や注目を引くような画像を表示してもよい。または、アレルギＯＫ表示部２２３は、元の商品の画像を３Ｄで立体的に飛び出させて表示するなどしてもよい。アレルギ不明表示部２２６は、たとえば、元の商品の画像がアレルギＯＫ表示部２２３に比較して少し識別しにくくなる程度のスケルトン加工を施した画像を重ねて表示してもよい。
または、付加データ表示部１１０は、図１９にように、吹き出し表示２４１で、アレルギＯＫの場合は○（マル）、アレルギＮＧの場合は×（バツ）、またはアレルギ不明の場合は△（三角）などのマークを表示してもよい。
また、付加データ表示部１１０は、アレルギＯＫの場合は青枠を、アレルギＮＧの場合は赤枠を、当該アレルギ物質が含まれているか不明な場合にはグレーの枠を重ねて表示してもよい。

また、ユーザがダイエット中であれば、付加データ抽出部１０８が商品の中から低カロリーのものを抽出して、付加データ表示部１１０がユーザに勧める付加データを表示してもよい。付加データ抽出部１０８がユーザの注文履歴や閲覧履歴等からユーザの好みを抽出し、付加データ表示部１１０がユーザの好みに合ったメニューを勧める付加データを表示してもよい。また、付加データ表示部１１０は、ユーザがお気に入り登録を商品画像上で受け付ける操作ボタンを含む付加データや、登録された商品またはその関連商品であることを示す付加データを表示してもよい。既に購入済みの商品については、付加データ表示部１１０が購入済みであることを示す付加データを表示してもよい。リピート商品であれば、付加データ表示部１１０が再購入を勧める付加データを表示してもよい。

複数の商品の画像について、ユーザに勧めたい商品やニーズの高い商品については、ユーザが注目しやすいように画像の視認性を高める効果を有する付加データを表示するのが好ましい。一方、ユーザにとってニーズの低い商品や、適していない商品、たとえば、未成年のユーザにとっての成人向けの商品や、女性のユーザにとっての男性向けの商品等は、ユーザが注意を向けずに済むように画像の視認性を低める効果を有する付加データを表示するのが好ましい。

また、ユーザのニーズに合わせて段階的に画像の視認性が変更されてもよい。たとえば、付加データとして商品画像に３Ｄ処理を施し、ユーザのニーズが高いもの程、より手前に飛び出させることで、商品画像が目に付くようにしてもよい。または、付加データとして商品画像にスケルトン加工を施し、ユーザのニーズが低いもの程、より網掛けの濃度を濃くすることで、商品画像を見づらくするようにしてもよい。

また、ユーザの好き嫌い情報が登録されている場合に、ユーザが苦手な食材が含まれているメニューでは、前述のアレルギ情報と同様の表示でユーザに注意を促すことができる。また、たとえば「ピクルス抜き」などの対応が可能な場合には、「ピクルス抜き可能」などの表示が追加されてもよい。
さらに、小さいお子様の好き嫌い克服を支援するための「応援キャンペーン」を開催する場合に、登録された苦手食材を含むメニューに、「ニンジン克服応援！」などのマークを表示し、そのマークを選択した際に「頑張って全部食べたらお子様ランチ用のオモチャをもう一個プレゼント！」などの説明が加えられてもよい。

以上説明したように、本実施形態の情報処理装置２００によれば、上記実施形態と同様な効果を奏するとともに、さらに、複数商品の一覧性を向上させ、注文時に、複数の商品の中から一目でユーザの事情にあったものを見易く提示できるので、ユーザが自分に合った商品を見分け易いという効果がある。また、ユーザに特に優先してアピールしたい商品を一目で認識させることができる。逆に、ユーザにとってニーズが低い商品は、商品一覧の選択肢から除外することができ、素早く必要な商品を見分けることが可能になる。

（第３の実施の形態）
図２０は、本発明の実施の形態に係る情報処理装置３００の要部構成を示す機能ブロック図である。本実施形態の情報処理装置２００は、上記実施形態の情報処理装置１００とは、予め定めた条件に応じて、たとえば、時間帯または日毎に異なる切替付加データを商品画像の位置に表示する点で相違する。
本実施形態の情報処理装置３００は、図２の上記実施形態の情報処理装置１００の構成に加え、さらに、切替付加データ３０８を有する付加データ格納部３０６を備える。なお、本実施形態は、図１７の上記実施形態の情報処理装置２００の構成を含むこともできる。

付加データ格納部３０６は、少なくとも１つの画像についての付加データとして、予め設定された条件に応じて異なる切替付加データ３０８を格納する。
そして、本実施形態において、付加データ抽出部１０８は、画像認識部１０４により認識される少なくとも１つの画像について、条件に対応する切替付加データ３０８を抽出する。
付加データ表示部１１０は、付加データ抽出部１０８により抽出された、条件に対応する切替付加データ３０８を、映像データの付加データに対応する画像に対応する位置に表示する。

付加データ表示部１１０は、図２１に示すように、メニュー７の商品画像の上に、切替付加データ３０８として日替わりメニュー画像３２１と吹き出し画像３２３を表示することができる。このように、メニュー７上は、一般的なパスタの画像を掲載しておき、付加データ表示部１１０が、その商品画像の位置に、現在の時間帯または曜日や日付にあった具体的なパスタの画像や商品名などを表示することができる。

あるいは、他の実施形態において、付加データ表示部１１０は、店舗や地域、季節、天候毎に準備された切替付加データ３０８を表示してもよい。あるいは、たとえば、お楽しみ商品として、カタログ上は商品名を伏せておき、付加データ表示部１１０により、ある処理タイミング時に商品を公開するといった使い方もできる。また、付加データ表示部１１０により、季節商品など、処理タイミング時に最適な商品を販売促進できる。また、付加データ表示部１１０は、期間を指定して、タイムセールやキャンペーン中に販促対象商品の画像に切り替えてもよく、効果的に特定商品を販売促進すること等もできる。

また、時間帯で、メニュー自体が変わり、昼の時間帯と夜の時間帯で、同じ商品の画像であってもセットメニューの金額が異なったりする場合がある。本実施形態では、付加データ格納部１０６に処理タイミング時に適した付加データをそれぞれ準備し、付加データ抽出部１０８は、付加データを処理タイミング時に適したものに切り替えた付加データ格納部１０６を参照して、付加データを抽出してもよい。

この構成によれば、上記実施形態の同様な効果を奏するとともに、さらに、処理タイミング時に対応する付加データを表示できるので、撮影対象に掲載時に商品を特定せずに、注文処理のタイミングで商品を切り替えて販売することができ、効果的に特定商品の販売を促進できる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
なお、本発明において利用者（ユーザ）に関する情報を取得、利用する場合は、これを適法に行うものとする。

以下、参考形態の例を付記する。
１． 情報処理装置が、
複数のアイテムを提示する撮影対象の少なくとも一部が撮像部により撮像された映像データを逐次取得し、
前記映像データに、予め登録された画像の少なくとも一部が含まれることを検出して、該画像を認識し、
認識された、前記撮影対象に提示される前記複数の画像の各々に対応する付加データを格納する付加データ格納部から、各画像の付加データをそれぞれ抽出し、
抽出された各画像の付加データを、表示する情報処理装置のデータ処理方法。
２． １．に記載の情報処理装置のデータ処理方法において、
前記情報処理装置が、
抽出された各画像の付加データを、前記映像データの該各画像に対応する位置に表示する情報処理装置のデータ処理方法。
３． １．または２．に記載の情報処理装置のデータ処理方法において、
前記情報処理装置が、
ユーザについての属性情報を取得し、
認識される各画像について、取得される前記ユーザの属性情報に対応する付加データをそれぞれ抽出する情報処理装置のデータ処理方法。
４． ３．に記載の情報処理装置のデータ処理方法において、
前記ユーザの属性情報は、アレルギ情報を含み、
前記付加データ格納部は、前記付加データとして、前記複数の画像の各々に含まれるアレルギ物質情報を格納し、
前記情報処理装置が、
認識される各画像について、前記ユーザのアレルギ情報に含まれるアレルギ物質情報をそれぞれ抽出し、
抽出されるアレルギ物質情報に基づいて、認識される複数の画像の中から、前記ユーザがアレルギを引き起こす可能性のあるアレルギ物質情報が抽出された画像を特定し、前記映像データの該特定された画像に対応する位置に所定の表示要素を表示する情報処理装置のデータ処理方法。
５． ３．または４．に記載の情報処理装置のデータ処理方法において、
前記情報処理装置が、
認識される各画像について、取得される前記ユーザの属性情報に応じて、前記付加データの視認性を変化させる情報処理装置のデータ処理方法。
６． １．乃至５．いずれかに記載の情報処理装置のデータ処理方法において、
前記付加データ格納部は、少なくとも１つの画像についての付加データとして、予め設定された条件に応じて異なる切替付加データを格納し、
前記情報処理装置は、
認識される少なくとも１つの画像について、前記条件に対応する切替付加データを抽出し、
抽出された、前記条件に対応する切替付加データを、前記映像データの前記付加データに対応する画像に対応する位置に表示する情報処理装置のデータ処理方法。
７． １．乃至６．いずれかに記載の情報処理装置のデータ処理方法において、
前記付加データは、前記画像に関連する、お勧め情報、割引情報、クーポン情報、アレルギ情報、評価情報、またはオプションサービス情報を含む情報処理装置のデータ処理方法。
８． １．乃至７．いずれかに記載の情報処理装置のデータ処理方法において、
前記情報処理装置が、
得られた合成映像データに基づいて表示部に表示される映像に含まれる複数の画像の中から選択された画像のデータを送信する情報処理装置のデータ処理方法。
９． １．乃至８．いずれかに記載の情報処理装置のデータ処理方法において、
前記情報処理装置が、
選択された複数の商品の注文を一時的に記憶部に記憶し、記憶した前記オーダをユーザに提示し、確認操作を受け付け、
前記確認操作を受け付けた後、前記オーダの情報を送信する情報処理装置のデータ処理方法。
１０． １．乃至９．いずれかに記載の情報処理装置のデータ処理方法において、
前記情報処理装置は、ユーザ携帯端末、または、ユーザ携帯端末と通信可能なサーバ装置である情報処理装置のデータ処理方法。

１１． 情報処理装置を実現するコンピュータに、
複数のアイテムを提示する撮影対象の少なくとも一部が撮像部により撮像された映像データを逐次取得する手順、
前記映像データに、予め登録された画像の少なくとも一部が含まれることを検出して、該画像を認識する手順、
認識された、前記撮影対象に提示される前記複数の画像の各々に対応する付加データを格納する付加データ格納部から、各前記画像の付加データをそれぞれ抽出する手順、
抽出された各画像の付加データを、表示する手順を実行させるためのプログラム。
１２． １１．に記載のプログラムにおいて、
抽出された各画像の付加データを、前記映像データの該各画像に対応する位置に表示する手順をコンピュータに実行させるためのプログラム。
１３． １１．または１２．に記載のプログラムにおいて、
ユーザについての属性情報を取得する手順、
認識される各画像について、取得される前記ユーザの属性情報に対応する付加データをそれぞれ抽出する手順をコンピュータに実行させるためのプログラム。
１４． １３．に記載のプログラムにおいて、
前記ユーザの属性情報は、アレルギ情報を含み、
前記付加データ格納部は、前記付加データとして、前記複数の画像の各々に含まれるアレルギ物質情報を格納し、
認識される各画像について、前記ユーザのアレルギ情報に含まれるアレルギ物質情報をそれぞれ抽出する手順、
抽出されるアレルギ物質情報に基づいて、認識される複数の画像の中から、前記ユーザがアレルギを引き起こす可能性のあるアレルギ物質情報が抽出された画像を特定し、前記映像データの該特定された画像に対応する位置に所定の表示要素を表示する手順をコンピュータに実行させるためのプログラム。
１５． １３．または１４．に記載のプログラムにおいて、
前記画像を認識する手順により認識される各画像について、前記属性を取得する手順により取得される前記ユーザの属性情報に応じて、前記付加データの視認性を変化させる手順をコンピュータに実行させるためのプログラム。
１６． １１．乃至１５．いずれかに記載のプログラムにおいて、
前記付加データ格納部は、少なくとも１つの画像についての付加データとして、予め設定された条件に応じて異なる切替付加データを格納し、
認識される少なくとも１つの画像について、前記条件に対応する切替付加データを抽出する手順、
抽出された、前記条件に対応する切替付加データを、前記映像データの前記付加データに対応する画像に対応する位置に表示する手順をコンピュータに実行させるためのプログラム。
１７． １１．乃至１６．いずれかに記載のプログラムにおいて、
前記付加データは、前記画像に関連する、お勧め情報、割引情報、クーポン情報、アレルギ情報、評価情報、またはオプションサービス情報を含むプログラム。
１８． １１．乃至１７．いずれかに記載のプログラムにおいて、
得られた合成映像データに基づいて表示部に表示される映像に含まれる複数の画像の中から選択された画像のデータを送信する手順をコンピュータに実行させるためのプログラム。
１９． １１．乃至１８．いずれかに記載のプログラムにおいて、
選択された複数の画像の情報を一時的に記憶部に記憶し、記憶した前記複数の画像の情報をユーザに提示し、確認操作を受け付ける手順、
前記確認操作を受け付けた後、前記複数の画像の情報を送信する手順をコンピュータに実行させるためのプログラム。
２０． １１．乃至１９．いずれかに記載のプログラムにおいて、
コンピュータが実現する前記情報処理装置は、ユーザ携帯端末、または、ユーザ携帯端末と通信可能なサーバ装置であるプログラム。

この出願は、２０１２年７月２４日に出願された日本特許出願特願２０１２−１６４１３０を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (12)

1. 複数のアイテムを提示する撮影対象の少なくとも一部が撮像部により撮像された映像データを逐次取得する映像データ取得手段と、
   前記映像データに、予め登録された画像の少なくとも一部が含まれることを検出して、該画像を認識する画像認識手段と、
   前記画像認識手段により認識された、前記撮影対象に提示される前記複数の画像の各々に対応する付加データを格納する付加データ格納部から、各前記画像の付加データをそれぞれ抽出する付加データ抽出手段と、
   前記付加データ抽出手段により抽出された各画像の付加データを、表示する付加データ表示手段と、を備える情報処理装置。
2. 請求項１に記載の情報処理装置において、
   前記付加データ表示手段が、
   前記付加データ抽出手段により抽出された各画像の付加データを、前記映像データの該各画像に対応する位置に表示する情報処理装置。
3. 請求項１または２に記載の情報処理装置において、
   ユーザについての属性情報を取得する属性取得手段、
   をさらに備え、
   前記付加データ抽出手段は、前記画像認識手段により認識される各画像について、前記属性取得手段により取得される前記ユーザの属性情報に対応する付加データをそれぞれ抽出する情報処理装置。
4. 請求項３に記載の情報処理装置において、
   前記ユーザの属性情報は、アレルギ情報を含み、
   前記付加データ格納部は、前記付加データとして、前記複数の画像の各々に含まれるアレルギ物質情報を格納し、
   前記付加データ抽出手段は、前記画像認識手段により認識される各画像について、前記ユーザのアレルギ情報に含まれるアレルギ物質情報をそれぞれ抽出し、
   前記付加データ表示手段は、前記付加データ抽出手段により抽出されるアレルギ物質情報に基づいて、前記画像認識手段により認識される複数の画像の中から、前記ユーザがアレルギを引き起こす可能性のあるアレルギ物質情報が抽出された画像を特定し、前記映像データの該特定された画像に対応する位置に所定の表示要素を表示する情報処理装置。
5. 請求項３または４に記載の情報処理装置において、
   前記付加データ表示手段は、前記画像認識手段により認識される各画像について、前記属性取得手段により取得される前記ユーザの属性情報に応じて、前記付加データの視認性を変化させる情報処理装置。
6. 請求項１乃至５いずれかに記載の情報処理装置において、
   前記付加データ格納部は、少なくとも１つの画像についての付加データとして、予め設定された条件に応じて異なる切替付加データを格納し、
   前記付加データ抽出手段は、前記画像認識手段により認識される少なくとも１つの画像について、前記条件に対応する切替付加データを抽出し、
   前記付加データ表示手段は、前記付加データ抽出手段により抽出された、前記条件に対応する切替付加データを、前記映像データの前記付加データに対応する画像に対応する位置に表示する情報処理装置。
7. 請求項１乃至６いずれかに記載の情報処理装置において、
   前記付加データは、前記画像に関連する、お勧め情報、割引情報、クーポン情報、アレルギ情報、評価情報、またはオプションサービス情報を含む情報処理装置。
8. 請求項１乃至７いずれかに記載の情報処理装置において、
   前記付加データ表示手段により得られた合成映像データに基づいて表示部に表示される映像に含まれる複数の画像の中から選択された画像のデータを送信するデータ送信手段と、を備える情報処理装置。
9. 請求項８に記載の情報処理装置において、
   前記データ送信手段により選択された複数の画像の情報を一時的に記憶部に記憶し、記憶した前記複数の画像の情報をユーザに提示し、確認操作を受け付ける確認受付手段をさらに備え、
   前記データ送信手段は、前記確認受付手段が前記確認操作を受け付けた後、前記複数の画像の情報を送信する情報処理装置。
10. 請求項１乃至９いずれかに記載の情報処理装置において、
    前記情報処理装置は、ユーザ携帯端末、または、ユーザ携帯端末と通信可能なサーバ装置である情報処理装置。
11. 情報処理装置が、
    複数のアイテムを提示する撮影対象の少なくとも一部が撮像部により撮像された映像データを逐次取得し、
    前記映像データに、予め登録された画像の少なくとも一部が含まれることを検出して、該画像を認識し、
    認識された、前記撮影対象に提示される前記複数の画像の各々に対応する付加データを格納する付加データ格納部から、各前記画像の付加データをそれぞれ抽出し、
    抽出された各画像の付加データを、表示する情報処理装置のデータ処理方法。
12. 情報処理装置を実現するコンピュータに、
    複数のアイテムを提示する撮影対象の少なくとも一部が撮像部により撮像された映像データを逐次取得する手順、
    前記映像データに、予め登録された画像の少なくとも一部が含まれることを検出して、該画像を認識する手順、
    認識された、前記撮影対象に提示される前記複数の画像の各々に対応する付加データを格納する付加データ格納部から、各前記画像の付加データをそれぞれ抽出する手順、
    抽出された各画像の付加データを、表示する手順を実行させるためのプログラム。

Images