JPWO2014017393A1 - 情報処理装置、そのデータ処理方法、およびプログラム - Google Patents

Abstract

情報処理装置（１００）は、撮影対象の一部が撮像部により撮像された映像データを逐次取得する映像データ取得部（１０２）と、映像データに、予め登録された画像の一部が含まれることを検出して、該画像を認識する画像認識部（１０４）と、認識された複数の画像の各々に対応する付加データを格納する付加データ格納部（１０６）から、各画像の付加データをそれぞれ抽出する付加データ抽出部（１０８）と、抽出された各画像の付加データを、映像データの該各画像位置に表示する付加データ表示部（１１０）と、ユーザ操作に応じて、合成映像データに基づく合成映像を携帯端末の表示部に連続的に表示させる処理から、該ユーザ操作に対応する時点での合成映像を静止画的に携帯端末の表示部に固定表示させる処理に切り換える表示制御部（１１２）と、を備える。

Description

本発明は、情報処理装置、そのデータ処理方法、およびプログラムに関する。

特許文献１に記載された建築物関連情報提供装置は、カメラ付携帯端末により撮影された建築物の画像から建築物に関連した情報を取得できる。
特許文献２に記載された商品情報検索システムは、画像再生装置に再生表示された表示画像を、端末で撮影した画像を利用して、ネットワークを介して商品情報を検索し、取得した商品情報を元に商品の注文を行う。

特開２０１０−２７２０５４号公報 特開２００６−２８５６５４号公報

上述した文献に記載された技術においては、たとえば、端末で撮影した連続的な映像から画像の特徴量を抽出し、逐次付加情報を抽出して表示するような場合に、ユーザの意図に反して映像の撮影位置が変わることで、それに伴い映像範囲から画像が外れてしまうと付加情報が見られなくなってしまうという問題点があった。

本発明は上記事情に鑑みてなされたものであり、その目的とするところは、携帯端末を用いた情報閲覧時の操作性を向上する情報処理装置、そのデータ処理方法、およびプログラムを提供することにある。

本発明の情報処理装置は、
複数のアイテムが陳列されている撮影対象の少なくとも一部が撮像部により撮像された映像データを逐次取得する映像データ取得手段と、
前記映像データに、予め登録された画像の少なくとも一部が含まれることを検出して、該画像を認識する画像認識手段と、
前記画像認識手段により認識された複数の前記画像の各々に対応する付加データを格納する付加データ格納部から、各前記画像の付加データをそれぞれ抽出する付加データ抽出手段と、
前記付加データ抽出手段により抽出された各画像の付加データを、前記映像データの該各画像に対応する位置に表示する付加データ表示手段と、
ユーザの操作に呼応して、前記付加データ表示手段により逐次得られる合成映像データに基づく合成映像を携帯端末の表示部に連続的に表示させる処理から、該ユーザ操作に対応する時点での合成映像を静止画的に前記携帯端末の表示部に固定表示させる処理に切り換える表示制御手段と、
を備える。

本発明の情報処理装置のデータ処理方法は、
情報処理装置が、
複数のアイテムが陳列されている撮影対象の少なくとも一部が撮像部により撮像された映像データを逐次取得し、
前記映像データに、予め登録された画像の少なくとも一部が含まれることを検出して、該画像を認識し、
認識された複数の前記画像の各々に対応する付加データを格納する付加データ格納部から、各前記画像の付加データをそれぞれ抽出し、
抽出された各画像の付加データを、前記映像データの該各画像に対応する位置に表示し、
ユーザの操作に呼応して、逐次得られる合成映像データに基づく合成映像を携帯端末の表示部に連続的に表示させる処理から、該ユーザ操作に対応する時点での合成映像を静止画的に前記携帯端末の表示部に固定表示させる処理に切り換える。

本発明のコンピュータプログラムは、
情報処理装置を実現するコンピュータに、
複数のアイテムが陳列されている撮影対象の少なくとも一部が撮像部により撮像された映像データを逐次取得する手順、
前記映像データに、予め登録された画像の少なくとも一部が含まれることを検出して、該画像を認識する手順、
認識された複数の前記画像の各々に対応する付加データを格納する付加データ格納部から、各前記画像の付加データをそれぞれ抽出する手順、
抽出された各画像の付加データを、前記映像データの該各画像に対応する位置に表示する手順、
ユーザの操作に呼応して、逐次得られる合成映像データに基づく合成映像を携帯端末の表示部に連続的に表示させる処理から、該ユーザ操作に対応する時点での合成映像を静止画的に前記携帯端末の表示部に固定表示させる処理に切り換える手順を実行させるためのプログラムである。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。

また、本発明のデータ処理方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明のデータ処理方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。

さらに、本発明のデータ処理方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。

本発明によれば、携帯端末を用いた情報閲覧時の操作性を向上する情報処理装置、そのデータ処理方法、およびプログラムが提供される。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施形態、およびそれに付随する以下の図面によってさらに明らかになる。

本発明の実施の形態に係る情報処理装置を用いた注文システムの構成例を示すブロック図である。 本発明の実施の形態に係る情報処理装置の論理的な構成を示す機能ブロック図である。 本発明の実施の形態に係る情報処理装置のユーザ携帯端末を利用した情報閲覧シーンを説明するための図である。 本発明の実施の形態に係る情報処理装置のユーザ携帯端末のハードウェア構成を示すブロック図である。 本発明の実施の形態に係る情報処理装置のサーバ装置のハードウェア構成を示すブロック図である。 本発明の実施の形態に係る情報処理装置の動作の一例を示すフローチャートである。 本発明の実施の形態に係る情報処理装置のアイテムマスタの構造の一例を示す図である。 本発明の実施の形態に係る情報処理装置の画像テーブルの構造の一例を示す図である。 本発明の実施の形態に係る情報処理装置の動作を説明するための図である。 本発明の実施の形態に係る情報処理装置の動作を説明するための図である。 本発明の実施の形態に係る情報処理装置の付加データ表示例を示す図である。 本発明の実施の形態に係る情報処理装置の論理的な構成を示す機能ブロック図である。 本発明の実施の形態に係る情報処理装置のユーザ携帯端末を利用した注文シーンを説明するための図である。 本発明の実施の形態に係る情報処理装置の動作の一例を示すフローチャートである。

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、以下の各図において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。

（第１の実施の形態）
図１は、本発明の実施の形態に係る情報処理装置を利用した注文システム１の構成例を示すブロック図である。
本実施形態の情報処理装置を利用した注文システム１は、ユーザが利用するユーザ携帯端末１０と、店舗５に設けられた注文受付装置８０と、注文受付装置８０に接続されるプリンタ８２と、ユーザ携帯端末１０および注文受付装置８０とネットワーク３を介して通信可能なサーバ装置６０と、サーバ装置６０に接続されるデータベース５０と、を備える。

本発明の実施の形態に係る注文システム１では、図３に示すように、ユーザが利用するユーザ携帯端末１０をメニュー７にかざして撮影し、リアルタイムに表示される映像のプレビュー画面１４０上で商品を注文することができる。なお、本実施形態では、情報処理装置をレストラン等での注文システム１に利用した場合について説明するが、これに限定されるものではない。本実施形態のシステムは、任意のアイテムが陳列されている撮影対象を撮影した映像データ内から、画像を認識し、画像に関連する付加データをユーザに提示するシステムであればよい。

また、本実施形態では、ユーザ携帯端末１０として、スマートフォンを例として説明するが、これに限定されるものではない。たとえば、本発明の携帯端末は、スマートフォン以外に、携帯電話機、ＰＤＡ（Personal Digital Assistants）、タブレット端末、ゲーム機、またはその他の電子機器等の携帯移動型の無線通信端末とすることができる。また、本発明の携帯端末は、ユーザが携帯する携帯端末以外にも、店舗または商品提示場等に配備された携帯端末であってもよく、その場に来店または来場したユーザが共通で使用できるような端末であってもよい。

また、本実施形態では、外食産業のレストラン等の店舗５で、メニュー７から商品を注文する例について説明する。本発明において、ユーザがユーザ携帯端末１０をかざして撮影する対象は、メニュー７や、商品カタログ、チラシ、雑誌公告等の紙媒体のもの以外にも、ショーウインドウや商品棚に陳列展示された商品や商品模型、パソコン等の端末のディスプレイ上にデジタル商品カタログ等を表示させた画面、あるいは、街頭や店舗に設置されたデジタルサイネージに表示された商品情報などでもよい。また、本実施形態では、注文受付装置８０は店舗に設置されているが、これに限定されない。たとえば、本発明の注文受付手段は、サーバ装置６０上に設けられた仮想店舗や、ウェブサイト上のネットショップでもよい。

本発明の実施の形態の情報処理装置は、特に、複数のアイテムが互いに隣接して並んでいるような撮影対象を、一部分ずつカメラの向きや位置を変えながら撮影して、ユーザ携帯端末１０のような携帯サイズの画面で順次閲覧するような場合の操作性を向上できる。

撮影対象に陳列されるアイテムは、商品となる品物以外に、展示品、試作品等の非売品も含むことができる。さらに、アイテムは、品物のオプション、たとえば、お寿司のさび抜き等、および品物を合成する選択部品、たとえば、自動車のエアロパーツ等と、その組み合わせ等も含むことができる。また、アイテムは、品物以外にも、各種業種が提供するサービス、そのサービスのオプション、またはサービスを受ける日時指定や担当者指名等も含むことができる。さらに、アイテムは、ユーザに複数の選択肢を提示し、１つ以上の任意の選択肢をユーザが指定する、たとえば、アンケートやクイズの回答の選択肢等でもよい。

図２は、本発明の実施の形態に係る情報処理装置１００の論理的な構成を示す機能ブロック図である。
本発明の実施の形態に係る情報処理装置１００は、複数のアイテムが陳列されている撮影対象の少なくとも一部が撮像部３０（図４）により撮像された映像データを逐次取得する映像データ取得部１０２と、映像データに、予め登録された画像の少なくとも一部が含まれることを検出して、該画像を認識する画像認識部１０４と、画像認識部１０４により認識された複数の前記画像の各々に対応する付加データを格納する付加データ格納部１０６から、各画像の付加データをそれぞれ抽出する付加データ抽出部１０８と、付加データ抽出部１０８により抽出された各画像の付加データを、映像データの該各画像に対応する位置に表示する付加データ表示部１１０と、ユーザの操作に呼応して、付加データ表示部１１０により逐次得られる合成映像データに基づく合成映像をユーザ携帯端末１０の表示部２６（図４）に連続的に表示させる処理から、該ユーザ操作に対応する時点での合成映像を静止画的にユーザ携帯端末１０の表示部２６に固定表示させる処理に切り換える表示制御部１１２と、を備える。

後で構成要素毎に詳細に説明するように、本発明の実施の形態に係る情報処理装置１００は、ユーザ携帯端末１０、または、ユーザ携帯端末１０と通信可能なサーバ装置６０、または、それらの組み合わせにより実現することができる。

ユーザ携帯端末１０では、本発明の実施の形態に係る情報処理装置１００を実現するためのアプリケーションプログラムを予めインストールすることで、情報処理装置１００の少なくとも一部の機能をユーザ携帯端末１０上で実現させることができる。あるいは、ウェブサーバ（不図示）上にウェブページを設け、ユーザが携帯端末１０を用いてウェブサイトにアクセスすることで、情報処理装置１００の機能をユーザ携帯端末１０が利用することができる。

図４は、本発明の実施の形態に係る情報処理装置１００のユーザ携帯端末１０のハードウェア構成を示すブロック図である。図４に示すように、本実施形態のユーザ携帯端末１０は、ＣＰＵ（Central Processing Unit）１２と、ＲＯＭ（Read Only Memory）１４と、ＲＡＭ（Random Access Memory）１６と、携帯電話網通信部１８と、無線ＬＡＮ（Local Area Network）通信部２０と、操作部２２と、操作受付部２４と、表示部２６と、表示制御部２８と、撮像部３０と、スピーカ３２と、マイク３４と、音声制御部３６と、を備える。

ＣＰＵ１２は、ユーザ携帯端末１０の各要素とバス４０を介して接続され、各要素とともにユーザ携帯端末１０全体を制御する。ＲＯＭ１４は、ユーザ携帯端末１０を動作させるためのプログラムや各種アプリケーションプログラム、それらのプログラムが動作する際に使用する各種設定データなどを記憶するとともに、アドレスデータ、各種コンテンツデータを含むユーザデータを記憶する。ＲＡＭ１６は、プログラムが動作するための作業領域など一時的にデータを記憶する領域を有する。

ユーザ携帯端末１０の各構成要素は、上述したＣＰＵ１２、ＲＡＭ１６、ＲＡＭ１６にロードされた図２の構成要素の少なくとも一部を実現するプログラム、そのプログラムを格納するＲＯＭ１４、ネットワーク接続用インタフェース（携帯電話網通信部１８、無線ＬＡＮ通信部２０）を有する任意のコンピュータのハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。以下に説明する各実施形態の機能ブロック図は、ハードウェア単位の構成ではなく、論理的な機能単位のブロックを示している。

なお、前述のＲＯＭ１４およびＲＡＭ１６は、フラッシュメモリやディスクドライブなど、アプリケーションプログラムおよびプログラムが動作するための設定データや一時保存データ、ユーザデータなどを記憶するための機能を有する他のデバイスであってもよい。

操作部２２は、操作キー、操作ボタン、スイッチ、ジョグダイヤル、タッチパッド、表示部２６と一体になったタッチパネルなどを含む。操作受付部２４は、ユーザによる操作部２２の操作を受け付け、ＣＰＵ１２に通知する。表示部２６は、ＬＥＤ（Light Emitting Diode）表示器や、液晶ディスプレイ、有機ＥＬ（ElectroLuminescence）ディスプレイなどを含む。表示制御部２８は、ＣＰＵ１２からの指示に従い、表示部２６に各種画面表示を行う。音声制御部３６は、ＣＰＵ１２からの指示に従い、スピーカ３２から音声出力、およびマイク３４から音声入力を行う。

ユーザ携帯端末１０は、携帯電話網通信部１８、携帯電話網用アンテナ１９を介して、たとえば、３Ｇ（3rd Generation：第３世代携帯電話）方式で、携帯通信網（不図示）に基地局（不図示）を介して接続して通信する。ユーザ携帯端末１０は、携帯通信網からインターネット等のネットワーク３（図１）に接続し、サーバ装置６０（図１）と通信できる。

無線ＬＡＮ通信部２０は、無線ＬＡＮ用アンテナ２１を介して、たとえば、IEEE 802.11規格に準拠した方式で、中継装置（不図示）と無線ＬＡＮ通信を行う。本実施形態では、ユーザ携帯端末１０は、無線ＬＡＮ通信部２０で店舗５に設置された中継装置と無線ＬＡＮ通信を行い宅内ネットワーク（不図示）に接続し、宅内ネットワークに接続された注文受付装置８０と通信することができる。

図５は、本発明の実施の形態に係る注文システム１のサーバ装置６０のハードウェア構成を示すブロック図である。
本実施形態のサーバ装置６０は、データベース５０（図１）に接続されるサーバコンピュータやパーソナルコンピュータ、またはそれらに相当する装置により実現することができる。また、サーバ装置６０は、仮想サーバなどにより構成されてもよい。

本実施形態の注文システム１のサーバ装置６０の各構成要素は、ＣＰＵ６２、ＲＡＭ６６、ＲＡＭ６６にロードされた図２の少なくとも一部の構成要素を実現するプログラム、そのプログラムを格納するＲＯＭ６４、ネットワーク接続用インタフェースを含むＩ／Ｏ（Input/Output）６８を有する任意のコンピュータのハードウェアとソフトウェアの任意の組合せによって実現される。ＣＰＵ６２は、サーバ装置６０の各要素とバス６９を介して接続され、各要素とともにサーバ装置６０全体を制御する。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。以下に説明する各実施形態の機能ブロック図は、ハードウェア単位の構成ではなく、論理的な機能単位のブロックを示している。なお、サーバ装置６０は、Ｉ／Ｏ６８を介して図示されない入出力装置と接続することもできる。

図２に戻り、本実施形態の情報処理装置１００において、映像データ取得部１０２は、複数のアイテムが陳列される撮影対象の少なくとも一部が撮像部（図４のユーザ携帯端末１０の撮像部３０）により撮像された映像データを逐次取得する。たとえば、ユーザは、メニュー７（図３）にユーザ携帯端末１０をかざし、メニュー７等に提示されている複数の商品の画像の少なくとも一部をユーザ携帯端末１０の表示部２６（図４）にリアルタイム映像としてプレビュー画面１４０（図３）上にライブビュー表示させる。
たとえば、本実施形態の映像データ取得部１０２は、撮影対象の少なくとも一部を撮影し、携帯端末サイズの画面に表示されるサイズの映像データを逐次取得する。

上記実施形態において、映像データ取得部１０２は、ユーザ携帯端末１０に内蔵または接続されたカメラ（図４の撮像部３０等）により実現する構成としたが、これには限定されない。他の実施形態において、映像データ取得部１０２は、サーバ装置６０により実現することもできる。サーバ装置６０の映像データ取得部１０２が取得した映像データを、ユーザのユーザ携帯端末１０にストリーミング配信し、ユーザ携帯端末１０の表示部２６（図４）に表示させてもよい。また、ユーザ携帯端末１０側からサーバ装置６０を遠隔操作して、サーバ装置６０の映像データ取得部１０２が撮影した映像データをユーザ携帯端末１０にストリーミング配信してユーザ携帯端末１０の表示部２６に表示させてもよい。あるいは、映像データ取得部１０２として、ライブカメラを用いて、店舗のショーウインドウを、ユーザ携帯端末１０から遠隔操作して撮影して映像データを取得し、取得した映像をサーバ装置６０経由でユーザ携帯端末１０にストリーミング配信してユーザ携帯端末１０の表示部２６に表示させてもよい。

画像認識部１０４は、映像データに、予め登録された画像の少なくとも一部が含まれることを検出して、該画像を認識する。

画像検出方法には、以下の２通りの方法がある。
第１の方法では、画像認識部１０４が、パターン認識等により、映像画像内の特徴量を、画像テーブル４６０（図８）内に予め登録したアイテムの画像の特徴量（特徴点データ）と照合し、少なくとも一部が一致した領域を検出して、その領域の位置と画像を特定し、画像に対応するアイテムを特定する。

第２の方法では、画像認識部１０４が、パターン認識等により、映像画像内に複数のアイテムの画像が含まれていることを検出して、映像画像内で個々のアイテム画像と思われる領域を分離し、分離されたそれぞれの領域について特徴量を抽出して、画像テーブル４６０（図８）内の特徴量（特徴点データ）と照合し、少なくとも一部が一致した領域の位置と画像を特定し、画像に対応するアイテムを特定する。

画像認識処理において、画像テーブル４６０（図８）のアイテムの画像の特徴量（特徴点データ）と映像画像内の特徴量は、完全一致である必要はなく、少なくとも一部が一致していればよい。たとえば、映像画像で、アイテムの画像の一部しか撮影範囲に入っていない場合にも、画像認識部１０４は、画像を特定することができる。
なお、第１の方法では、映像画像を個々のアイテム画像の領域に分割する処理が不要なため、第１の方法の方が、より好ましい。

本実施形態において、画像認識部１０４は、映像データから複数の画像を同時に識別できることが望ましい。また、画像認識部１０４は、映像データ上の画像の表示画面上の位置を特定する。

画像認識部１０４は、ユーザ携帯端末１０またはサーバ装置６０のいずれかで実現することができる。情報処理装置１００は、アイテムの画像の特徴点とアイテムの識別情報を対応付けた画像テーブル４６０（図８）を保持する。たとえば、画像テーブル４６０は、サーバ装置６０のデータベース５０、ユーザ携帯端末１０のＲＯＭ１４、またはユーザ携帯端末１０に装着されたユーザ携帯端末１０が読み取り可能な記録媒体（以下、両者を略して「ユーザ携帯端末１０のメモリ」とも呼ぶ）に保持されてもよい。

画像テーブル４６０は、アイテムの識別情報であるアイテムＩＤと、アイテムの画像の特徴点データが関連付けて格納されている。画像認識部１０４は、画像テーブル４６０を参照することで、映像データから抽出した画像の特徴点に対応するアイテムＩＤを取得することができる。

付加データ格納部１０６は、映像データに含まれる複数の画像の各々に対応する付加データを格納する。本実施形態では、サーバ装置６０のデータベース５０に、図７に示すようなアイテムマスタ４３０を保持している。アイテムマスタ４３０には、たとえば、アイテムの識別情報としてアイテムＩＤ、アイテムの名称、アイテムの単価、販売税込み価格、アイテムが食品の場合に、食品に含まれる材料のアレルギ物質情報、アイテムに関連するクーポン情報等を含むことができる。

なお、本実施形態では、図８の画像テーブル４６０は、画像の特徴点データとアイテムＩＤを関連付けて保持する構成としたが、これに限定されない。単に、画像テーブル４６０は、画像の識別情報と特徴点データを関連付けて保持するとともに、アイテムマスタ４３０は、画像の識別情報毎に、画像に関連する情報を関連付けて保持していてもよい。
また、画像テーブル４６０は、画像の特徴点データとそれに対応する付加情報を関連付けて保持しており、図７に示すようなアイテムマスタ４３０を参照する処理を行う事なく、画像の特徴点データに対応した付加データを参照できる構成であってもよい。

本実施形態では、付加データ格納部１０６は、サーバ装置６０のデータベース５０に含まれる構成としたが、ユーザ携帯端末１０のメモリに含まれてもよい。また、ユーザ携帯端末１０に付加データの更新情報をサーバ装置６０から送信し、情報処理装置１００は、ユーザ携帯端末１０が保持する付加データを更新できる構成としてもよい。あるいは、情報処理装置１００は、ユーザが必要な付加データを選択的にサーバ装置６０からユーザ携帯端末１０にダウンロードして付加データ格納部１０６に格納する構成としてもよい。

付加データ抽出部１０８は、画像認識部１０４により検出された画像に基づいて、付加データ格納部１０６から、画像認識部１０４により特定される各画像に対応する付加データをそれぞれ抽出する。なお、上述したように、付加データ格納部１０４は、ユーザ携帯端末１０およびサーバ装置６０の両方に含まれてもよく、付加データ抽出部１０８は、ユーザ携帯端末１０内の付加データ格納部１０６を検索して画像に対応する付加データが抽出できなかった場合等に、サーバ装置６０にアクセスして付加データを取得してもよい。

付加データ表示部１１０は、付加データ抽出部１０８により抽出された各画像の付加データを、映像データの該各画像に対応する位置に表示する。付加データ表示部１１０は、画像の付加データを、たとえば、アイコン、テキストを含むバルーンやポップアップウインドウ、または、置き換え画像等の各種オブジェクトで表現して、映像データに表示する。

付加データ表示部１１０は、ユーザ携帯端末１０、またはユーザ携帯端末１０およびサーバ装置６０の組み合わせにより実現することができる。

画像認識部１０４、付加データ抽出部１０８、および付加データ表示部１１０は、たとえば、カメラなどで撮影された現実環境に、コンピュータを用いて情報を付加提示することができる拡張現実感（Augmented Reality：ＡＲ）という技術を用いて実現することができる。ＡＲを用いれば、情報処理装置１００は、ユーザ携帯端末１０等のカメラで撮影した映像の上に、商品画像などの予め登録された特定画像が表示された領域をＸＹ平面とする三次元座標系を認識し、対応する付加データをたとえば、３Ｄのオブジェクトとして表示部２６上に表示させることも可能である。

表示される付加データは、前記画像に関連する、お勧め情報、割引情報、クーポン情報、アレルギ情報、評価情報、またはオプションサービス情報を含むことができる。
たとえば、撮影対象がメニュー７（図３）の場合、付加データは、お勧め情報、割引情報、クーポン情報、カロリー、原材料（アレルギ情報）、商品の詳細情報が掲載されたホームページのＵＲＬアドレス、商品の口コミ情報、顧客や評論家などによる評価等を含んでもよい。また、付加データは、店舗特有の情報として、地域限定メニュー、店長おすすめメニュー、期間限定来店ポイント、商品の売り切れ情報等を含んでもよい。また、付加データは、日時や天候に関連して、日替わり情報、タイム（曜日、週間、月間）セール、季節セール、雨の日セール等の情報も含んでもよい。また、付加データには、商品の基本データである商品名および値段等を含んでもよい。
付加データは上記の例に示したようなデータの任意の組み合わせであってもよい。

映像データに表示される付加データは、付加データが存在することを示すアイコンであってもよい。付加データ表示部１１０は、アイコンの操作を受け付けたときに、画像の詳細な情報を表示してもよい。すなわち、付加データ表示部１１０は、商品カタログなどに印刷しきれない商品画像の付加データを表示させることができる。情報処理装置１００によりこのようにして撮影対象上は必要最低限の情報、またはユーザに注目させたいアイテム（画像）の情報のみ掲載し、ユーザが興味を持ったアイテム（画像）についてのみ詳細な情報を提示することで、効果的な宣伝や販促ができる。

ユーザは、商品カタログやメニュー７など、多数のアイテムが掲載されている撮影対象の中の少なくとも一部に撮像部３０を向けて撮影し、ユーザ携帯端末１０の携帯サイズの表示部２６に複数の画像を表示させて、その中から画像を選択する。ユーザは、たとえば、ユーザ携帯端末１０の撮像部３０を撮影対象の範囲内でパンしながら表示部２６に表示されるリアルタイム映像上に表示された個々の画像の付加データを確認しつつ、撮影対象全体の画像について確認することができる。

表示制御部１１２は、ユーザの操作に呼応して、付加データ表示部１１０により逐次得られる合成映像データに基づく合成映像をユーザ携帯端末１０の表示部２６（図４）に連続的に表示させる処理から、該ユーザ操作に対応する時点での合成映像を静止画的にユーザ携帯端末１０の表示部２６に固定表示させる処理に切り換える。
表示制御部１１２は、ユーザ携帯端末１０、またはユーザ携帯端末１０およびサーバ装置６０の組み合わせにより実現することができる。

図３に示すように、ユーザ携帯端末１０の表示部２６に表示されるプレビュー画面１４０には、メニュー７の少なくとも一部を撮影した映像がライブビュー表示される。そして、プレビュー画面１４０には、画像認識部１０４によって特定された画像の付加データ（図３では、バルーン１４２）を含む合成映像が表示される。さらに、プレビュー画面１４０は、上記表示制御部１１２に処理を切り替えさせるためのユーザの操作を受け付けるホールドボタン１４４を含む。

本実施形態では、プレビュー画面１４０にホールドボタン１４４を設けてユーザ操作を受け付ける構成としたが、これに限定されない。たとえば、ユーザ携帯端末１０に設けられたスイッチや操作ボタン等にホールドボタン１４４の機能を割り当て、ユーザ操作を受け付ける構成とすることもできる。また、他のユーザインタフェースを用いて、ユーザ操作を受け付ける構成としてもよい。
たとえば、ユーザ携帯端末に内蔵されたマイクと音声認識機能により、ユーザが「ホールド」「解除」などの音声コマンドを発したことに応じてホールドボタン１４４と同等の機能を実現してもよい。あるいは、ユーザ携帯端末が加速度センサ機能を備えている場合に、ユーザが端末を上下に２回振るなどの加速度センサによって検出可能な所定の操作を行う事によってホールドボタン１４４と同等の機能を実現してもよい。

ホールドボタン１４４が受け付けた操作に応じて、映像画像の連続的な表示と固定表示が切り換わる。操作方法等は以下に示すように様々考えられる。
第１の操作方法では、ホールドボタン１４４を、ユーザが押下する度に、表示を切り替えるトグルスイッチタイプとすることができる。この場合、ユーザによるホールドボタン１４４の押下が、表示切り替え操作となる。
第２の操作方法では、ユーザ携帯端末１０のタッチパネルを操作に用いてもよい。この場合、プレビュー画面１４０が表示されるタッチパネルの表面を、タップし続ける操作が、その間、固定表示とする操作となる。

第３の操作方法では、ホールドボタン１４４が、ユーザにより押下されている間、連続的な表示とし、ホールドボタン１４４から指が離れたとき、固定表示とする操作としてもよい。
第４の操作方法では、ホールドボタン１４４が、ユーザにより押下されている間、固定表示とし、ホールドボタン１４４から指が離れたとき、連続的な表示とする操作としてもよい。

また、表示制御部１１２が、固定表示させる処理を行っている間、映像データ取得部１０２、画像認識部１０４、付加データ抽出部１０８、または付加データ表示部１１０の少なくとも一部の動作を停止してもよい。

たとえば、上記第３の操作方法で表示の切り替えを行う場合について説明する。まず、ホールドボタン１４４が押下されている間、連続的な表示がなされる。その間、映像データ取得部１０２によって撮影された映像に対し、画像認識部１０４が認識した画像の位置に、付加データ抽出部１０８が抽出した付加データを、付加データ表示部１１０が連続的に表示させる。そして、ホールドボタン１４４の操作が解除されたとき、たとえば、ユーザがホールドボタン１４４から指を放したとき、固定表示となる。このとき、表示制御部１１２が、その時点の映像に、認識された画像の付加データを表示した合成画像を固定表示する。そして、映像データ取得部１０２、画像認識部１０４、付加データ抽出部１０８、および付加データ表示部１１０は動作を行わない。

この構成によれば、固定表示時に不必要な処理を行わないので、情報処理装置１００の処理や通信の負荷を低減でき、効率がよい。また、情報処理装置１００の消費電力の削減もできる。この構成は、情報処理装置１００の処理が、サーバ装置６０上で行われており、多数のユーザ携帯端末１０からの処理を受け付けている場合には、負荷が集中するサーバ装置６０の処理を低減できるために特に効果的である。

本実施の形態の情報処理装置１００では、コンピュータプログラムに対応する各種の処理動作をユーザ携帯端末１０またはサーバ装置６０のＣＰＵ６２が実行することにより、前述のような各種ユニットが各種機能として実現される。
本実施形態のコンピュータプログラムは、情報処理装置１００を実現されるためのコンピュータに、複数のアイテムが陳列されている撮影対象の少なくとも一部が撮像部３０（図４）により撮像された映像データを逐次取得する手順、映像データに、予め登録された画像の少なくとも一部が含まれることを検出して、該画像を認識する手順、認識された複数の画像の各々に対応する付加データを格納する付加データ格納部１０６から、各画像の付加データをそれぞれ抽出する手順、抽出された各画像の付加データを、映像データの該各画像に対応する位置に表示する手順、ユーザの操作に呼応して、逐次得られる合成映像データに基づく合成映像をユーザ携帯端末１０の表示部２６（図４）に連続的に表示させる処理から、該ユーザ操作に対応する時点での合成映像を静止画的にユーザ携帯端末１０の表示部２６に固定表示させる処理に切り換える手順、を実行させるように記述されている。

本実施形態のコンピュータプログラムは、コンピュータで読み取り可能な記録媒体に記録されてもよい。記録媒体は特に限定されず、様々な形態のものが考えられる。また、プログラムは、記録媒体からコンピュータのメモリにロードされてもよいし、ネットワークを通じてコンピュータにダウンロードされ、メモリにロードされてもよい。

上述のような構成において、本実施の形態の情報処理装置１００のデータ処理方法を以下に説明する。図６は、本実施形態の情報処理装置１００の動作の一例を示すフローチャートである。上述したように、本発明の実施の形態に係る情報処理装置１００は、ユーザ携帯端末１０、およびサーバ装置６０により実現することができる。そして、ユーザ携帯端末１０とサーバ装置６０の処理分担は、様々考えられる。図６のフローチャートは、情報処理装置１００全体としての処理手順の一例を示している。

本実施形態の情報処理装置１００において、まず、映像データ取得部１０２が、複数のアイテムが陳列されている撮影対象の少なくとも一部を撮像部により撮像し（ステップＳ１０１）、撮像された映像データを逐次取得する（ステップＳ１０３）。そして、画像認識部１０４が、映像データに、予め登録された画像の少なくとも一部が含まれることを検出して、該画像を認識する（ステップＳ１０５）。

そして、付加データ抽出部１０８が、画像認識部１０４により認識された複数の画像の各々に対応する付加データを格納する付加データ格納部１０６から、各画像の付加データをそれぞれ抽出する（ステップＳ１０７）。
そして、付加データ表示部１１０が、付加データ抽出部１０８により抽出された各画像の付加データを、映像データの該各画像に対応する位置に表示する（ステップＳ１０９）。

そして、表示制御部１１２が、ユーザの操作に呼応して、付加データ表示部１１０により逐次得られる合成映像データに基づく合成映像をユーザ携帯端末１０の表示部２６に連続的に表示させる処理（ステップＳ１１３）から、該ユーザ操作に対応する時点での合成映像を静止画的にユーザ携帯端末１０の表示部２６に固定表示させる処理（ステップＳ１１５）に切り換える（ステップＳ１１１）。

具体的には、たとえば、図３のホールドボタン１４４がトグルスイッチタイプの場合について説明する。まず、表示制御部１１２が、プレビュー画面１４０に付加データ表示部１１０により逐次得られる合成映像データに基づく合成映像をユーザ携帯端末１０の表示部２６に連続的に表示させる（ステップＳ１１３）。この状態では、図６のフローは、ステップＳ１１３からステップＳ１０１に戻り、ステップＳ１１１で、ホールドボタン１４４のユーザ操作が検出されるまで、ステップＳ１０１〜ステップＳ１１３の処理が繰り返される。

そして、ホールドボタン１４４が押下されたとき（ステップＳ１１１の固定表示）、表示制御部１１２が、ホールドボタン１４４が操作された時点での合成映像を静止画的にユーザ携帯端末１０の表示部２６に固定表示させる（ステップＳ１１５）。そして、ステップＳ１１１に戻り、ユーザ操作により、固定表示が解除されるまで、すなわち、再度、ホールドボタン１４４が押下されるまで、表示制御部１１２が、固定表示を続ける。図６の例では、この間、ステップＳ１０１〜ステップＳ１０９の処理は行われない。

そして、この状態で、再度、ホールドボタン１４４が押下された場合（ステップＳ１１１の固定表示解除）、表示制御部１１２が、プレビュー画面１４０に付加データ表示部１１０により逐次得られる合成映像データに基づく合成映像をユーザ携帯端末１０の表示部２６に連続的に表示させることができる（ステップＳ１１３）。
このように、簡単な操作で表示を切り替えることができ、使い勝手が向上する。

このような手順で情報処理装置１００が動作することで、ユーザ携帯端末１０上では、下記のような表示がなされることになる。
図９および図１０は、本実施形態の情報処理装置１００において、ユーザ携帯端末１０（図３）をメニュー７にかざしたときのプレビュー画面１４０の様子を示している。
メニュー７には、ＡからＩの９個の商品の画像が掲載されている。ユーザが、ユーザ携帯端末１０をメニュー７にかざした時、図９（ａ）に示すように、メニュー７に含まれる画像の一部である商品Ａ〜商品Ｆの画像がプレビュー画面１４０ａの映像に含まれていたとする。このとき、商品Ｂと商品Ｅに対する付加データが付加データ抽出部１０８によって抽出され、バルーン１４２Ｂとバルーン１４２Ｅが付加データ表示部１１０によってプレビュー画面１４０ａに表示されている。

このとき、ユーザがユーザ携帯端末１０をメニュー７に対してパンして、図９（ｂ）の位置に移動したとする。図９（ａ）のプレビュー画面１４０ａに含まれていた商品Ａ〜商品Ｄの画像がプレビュー画面１４０ｂから外れ、商品Ｅ、商品Ｆ、商品Ｈ、商品Ｉの画像が含まれるようになっている。そして、図９（ａ）のプレビュー画面１４０ａで表示されていた商品Ｂの付加データが表示されるバルーン１４２Ｂは、図９（ｂ）のプレビュー画面１４０ｂには表示されなくなっている。

このように、たとえば、ユーザがメニュー７をかざして付加データを閲覧する場合、撮影位置によって、閲覧できる付加データが変化することがわかる。ユーザが意図してユーザ携帯端末１０をパンしている場合はよいが、意図せずにユーザ携帯端末１０の撮影位置が変化してしまっても、同様なことが起きてしまう。すなわち、ユーザの手がぶれることで、撮影位置がずれても同様なことが起きてしまう。さらに、他のユーザに付加データを見せたいと考えた場合等には、メニュー７と、ユーザ携帯端末１０の両方を、相対位置を保ちながら他のユーザがプレビュー画面１４０を閲覧できる位置まで移動させて見せなければならない。さらに、撮影対象が、デジタルサイネージ等の場合には、撮影対象の画面が切り替わってしまうと画像が撮影できないため、付加データが見られなくなってしまう。

このような場合に、本発明の情報処理装置１００では、ホールドボタン１４４を操作することで、画面を固定表示させて、撮影位置がずれた場合にも、付加データを閲覧できることとなる。たとえば、図１０（ａ）のプレビュー画面１４０ａの状態のときに、ユーザがホールドボタン１４４を操作することで、情報処理装置１００は、その時点の合成映像を記憶し、静止画的に固定表示させることができる。この状態で、ユーザがユーザ携帯端末１０の撮影位置をずらしたとしても、図１０（ｂ）に示すように、プレビュー画面１４０ｃは、図１０（ａ）のプレビュー画面１４０ａと同じ画面が固定表示されたままとなる。よって、この状態であれば、ユーザは他のユーザにユーザ携帯端末１０をのみを渡して、付加データを見せることができる。

そして、さらに、他のユーザからユーザ携帯端末１０がユーザに戻されたときには、ユーザがユーザ携帯端末１０をメニュー７にかざして、ホールドボタン１４４を押下するだけで、プレビュー画面１４０には連続的な合成映像が表示されるので、引き続き、他の画像の付加データの閲覧を続行できることとなる。

さらに、本実施形態の情報処理装置１００において、表示制御部１１２は、固定表示される合成映像内の付加データに対するユーザ操作に応じて、固定表示される合成映像内において、該ユーザ操作の対象とされた付加データの表示形態のみを変更することができる。

たとえば、表示制御部１１２によって映像に表示される付加データが、図１１に示すように、バルーン１６０の中に長文の説明が記載されているような場合、バルーン１６０の領域内に入りきらない部分については、スクロールバー１６２を設けることで、全文を閲覧できるようにすることができる。ユーザは、スクロールバー１６２を操作することで、バルーン１６０内の文章を上下させて、全文を見ることができるようになる。

このように、付加データに対して操作を行う場合にも、本実施形態の情報処理装置１００にように、プレビュー画面１４０の合成映像をホールドボタン１４４の操作により固定表示させた状態でぶれることなく操作できるので、操作性がよい。プレビュー画面１４０が固定表示できない場合には、ユーザ携帯端末１０がぶれないように片手で保持しながら、他方の手でスクロールバー１６２の操作をしなければならず、操作性がよくない。

また、本実施形態の情報処理装置１００では、固定表示した映像の付加データの閲覧が終わったときは、ユーザがホールドボタン１４４を操作すれば、再び連続的な映像表示に切り替わるので、他の画像の付加データの閲覧をストレスなく続行することができる。

また、付加データに対して操作を行う他の例では、映像に表示された複数アイテム画像に対する付加データが表示され、他のアイテムと重なってしまうような場合に、付加データの表示位置をユーザ操作によって変更することができる。ユーザ操作による変更方法は、たとえば、ドラッグ操作により付加データの表示位置を移動してもよいし、タップ操作やクリック操作を行うことで重なって表示された付加データの表示の階層順位を下位から上位に変更する等でもよい。

また、アイテム画像位置に始めに表示される付加データは、画像に対する付加データがあることをユーザに知らせるためのアイコンのみを表示してもよい。そして、ユーザによるそのアイコンの操作を受け付けたとき、付加データ表示部１１０が、付加データの実体内容を、たとえば、図１１のようなバルーン１６０で表示させてもよい。

また、表示されたバルーン等の枠のサイズを、スライド操作やピンチ操作などのユーザ操作により変更させることができてもよい。バルーン内の表示内容そのものを拡大または縮小させて表示してもよいし、表示領域を拡大または縮小させてもよい。

以上説明したように、本発明の実施の形態の情報処理装置１００によれば、ユーザ携帯端末１０で陳列されている複数アイテムを撮影して付加情報表示を行う際、撮影位置がずれることで、隣接する他のアイテムの情報表示に切り替わってしまわないように、簡単なユーザ操作により映像を固定表示させることができる。たとえば、ユーザが意図せずに撮影位置がずれてしまった場合にも、閲覧途中で付加データが消えてしまい、特に、スクロール途中で消えてしまうことで、再表示して、始めから操作をやり直さなければならないといった不都合を回避することができる。

また、合成映像に含まれる付加データを他人に見せる場合等にも、簡単な操作で固定表示させて見せることができ、その後、簡単な操作で、連続的な表示に戻すことができる。
このように、本発明の実施の形態の情報処理装置１００によれば、複数画像の付加データを閲覧する際の操作性を向上できる。

（第２の実施の形態）
図１２は、本発明の実施の形態に係る情報処理装置２００の構成を示す機能ブロック図である。本実施形態の情報処理装置２００は、上記実施形態の情報処理装置１００とは、画面上の個々のアイテム画像に対して付加データを表示し、複数の画像の中から所望の画像を選択し、選択した画像の情報を送信する点で相違する。
本実施形態の情報処理装置２００は、図２の上記実施形態の情報処理装置１００の構成に加え、さらに、データ送信部２０２を備える。

データ送信部２０２は、ユーザ携帯端末１０の表示部２６（図４）に表示される画像の中からユーザ操作により選択された画像のデータを送信する。

データ送信部２０２は、たとえば、画像商品のオーダデータを注文受付装置に送信してもよい。あるいは、データ送信部２０２は、画像アイテムの情報を、他のユーザとシェアするために所定のアドレスにメールやメッセージを送信してもよい。データ送信部２０２は、画像アイテムの情報を、ツイッターやブログで紹介するために送信してもよい。

このように構成された本実施形態の情報処理装置２００の動作について、以下説明する。
図１４は、本実施形態の情報処理装置２００の動作の一例を示すフローチャートである。
図１４のフローチャートは、図６の上記実施形態の情報処理装置１００のフローチャートと同様なステップＳ１０１〜ステップＳ１１５を含むとともに、さらに、ステップＳ２０１〜ステップＳ２０３を含む。

ステップＳ１１５で、表示制御部１１２が、合成映像を静止画的にユーザ携帯端末１０の表示部２６に固定表示させている状態で、表示される画像の中からユーザ操作により画像が選択された場合（ステップＳ２０１のＹ）、データ送信部２０２が、選択された画像の情報を送信する（ステップＳ２０３）。

たとえば、図１３に示すように、オーダ画面１５０は、メニュー７（図３）の映像に含まれる複数の画像を個別に特定した画像認識領域１５２と、特定された画像の付加データを表示する付加データ表示部１５３と、その画像に対する操作を受け付ける操作ボタン、ここでは商品の注文を決定する決定ボタン１５４と、を含むことができる。

このオーダ画面１５０上では、付加データ表示部１５３内に設けられた決定ボタン１５４をユーザが押下することで、画像の商品を注文できる。しかし、オーダ画面１５０の映像が連続的な表示のままだと、ユーザが決定ボタン１５４を操作しようとした時に、ユーザ携帯端末１０がぶれてしまい、付加データが消えてしまう可能性がある。そこで、ユーザがホールドボタン１４４を操作することで、オーダ画面１５０の映像を静止画的な固定表示に切り替えることができ、決定ボタン１５４の操作をしやすくできる。
そして、データ送信部２０２は、決定ボタン１５４の操作により選択された画像の商品のオーダデータを送信することができる。

以上説明したように、本実施形態の情報処理装置２００によれば、上記実施形態と同様な効果を奏するとともに、さらに、固定表示された合成映像に含まれる複数の画像に対するユーザ操作により選択された画像の情報を送信することができる。映像が固定されるので、操作性がよく、情報送信時の操作ミスなども防ぐことができる。

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
なお、本発明において利用者（ユーザ）に関する情報を取得、利用する場合は、これを適法に行うものとする。

以下、参考形態の例を付記する。
１． 情報処理装置が、
複数のアイテムが陳列されている撮影対象の少なくとも一部が撮像部により撮像された映像データを逐次取得し、
前記映像データに、予め登録された画像の少なくとも一部が含まれることを検出して、該画像を認識し、
認識された複数の前記画像の各々に対応する付加データを格納する付加データ格納部から、各前記画像の付加データをそれぞれ抽出し、
抽出された各前記画像の付加データを、前記映像データの該各画像に対応する位置に表示し、
ユーザの操作に呼応して、逐次得られる合成映像データに基づく合成映像を携帯端末の表示部に連続的に表示させる処理から、該ユーザ操作に対応する時点での合成映像を静止画的に前記携帯端末の表示部に固定表示させる処理に切り換える情報処理装置のデータ処理方法。
２． １．に記載の情報処理装置のデータ処理方法において、
前記情報処理装置が、
前記固定表示される合成映像内の付加データに対するユーザ操作に応じて、前記固定表示される合成映像内において、該ユーザ操作の対象とされた付加データの表示形態のみを変更する情報処理装置のデータ処理方法。
３． １．または２．に記載の情報処理装置のデータ処理方法において、
前記情報処理装置が、
前記ユーザ携帯端末の表示部に表示される画像の中からユーザ操作により選択された画像のデータを送信する情報処理装置のデータ処理方法。
４． １．乃至３．いずれかに記載の情報処理装置のデータ処理方法において、
前記情報処理装置が、
前記固定表示させる処理を行っている間、前記映像データの取得、前記画像の認識、前記付加データの抽出、または前記付加データの表示の少なくとも一部の動作を停止する情報処理装置のデータ処理方法。
５． １．乃至４．いずれかに記載の情報処理装置のデータ処理方法において、
前記付加データは、前記画像に関連する、お勧め情報、割引情報、クーポン情報、アレルギ情報、評価情報、またはオプションサービス情報を含む情報処理装置のデータ処理方法。
６． １．乃至５．いずれかに記載の情報処理装置のデータ処理方法において、
前記情報処理装置は、ユーザ携帯端末、または、ユーザ携帯端末と通信可能なサーバ装置である情報処理装置のデータ処理方法。

７． 情報処理装置を実現するコンピュータに、
複数のアイテムが陳列されている撮影対象の少なくとも一部が撮像部により撮像された映像データを逐次取得する手順、
前記映像データに、予め登録された画像の少なくとも一部が含まれることを検出して、該画像を認識する手順、
認識された複数の前記画像の各々に対応する付加データを格納する付加データ格納部から、各前記画像の付加データをそれぞれ抽出する手順、
抽出された各前記画像の付加データを、前記映像データの該各画像に対応する位置に表示する手順、
ユーザの操作に呼応して、逐次得られる合成映像データに基づく合成映像を携帯端末の表示部に連続的に表示させる処理から、該ユーザ操作に対応する時点での合成映像を静止画的に前記携帯端末の表示部に固定表示させる処理に切り換える手順を実行させるためのプログラム。
８． ７．に記載のプログラムにおいて、
前記固定表示される合成映像内の付加データに対するユーザ操作に応じて、前記固定表示される合成映像内において、該ユーザ操作の対象とされた付加データの表示形態のみを変更する手順をさらにコンピュータに実行させるためのプログラム。
９． ７．または８．に記載のプログラムにおいて、
前記ユーザ携帯端末の表示部に表示される画像の中からユーザ操作により選択された画像のデータを送信する手順をさらにコンピュータに実行させるためのプログラム。
１０． ７．乃至９．いずれかに記載のプログラムにおいて、
前記固定表示させる処理を行っている間、前記映像データを取得する手順、前記画像を認識する手順、前記付加データを抽出する手順、または前記付加データを表示する手順の少なくとも一部の動作を停止する手順をさらにコンピュータに実行させるためのプログラム。
１１． ７．乃至１０．いずれかに記載のプログラムにおいて、
前記付加データは、前記画像に関連する、お勧め情報、割引情報、クーポン情報、アレルギ情報、評価情報、またはオプションサービス情報を含むプログラム。
１２． ７．乃至１１．いずれかに記載のプログラムにおいて、
前記情報処理装置は、ユーザ携帯端末、または、ユーザ携帯端末と通信可能なサーバ装置であるプログラム。

この出願は、２０１２年７月２４日に出願された日本特許出願特願２０１２−１６４１５８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (8)

1. 複数のアイテムが陳列されている撮影対象の少なくとも一部が撮像部により撮像された映像データを逐次取得する映像データ取得手段と、
   前記映像データに、予め登録された画像の少なくとも一部が含まれることを検出して、該画像を認識する画像認識手段と、
   前記画像認識手段により認識された複数の前記画像の各々に対応する付加データを格納する付加データ格納部から、各前記画像の付加データをそれぞれ抽出する付加データ抽出手段と、
   前記付加データ抽出手段により抽出された各前記画像の付加データを、前記映像データの該各画像に対応する位置に表示する付加データ表示手段と、
   ユーザの操作に呼応して、前記付加データ表示手段により逐次得られる合成映像データに基づく合成映像を携帯端末の表示部に連続的に表示させる処理から、該ユーザ操作に対応する時点での合成映像を静止画的に前記携帯端末の表示部に固定表示させる処理に切り換える表示制御手段と、
   を備える情報処理装置。
2. 請求項１に記載の情報処理装置において、
   前記表示制御手段は、前記固定表示される合成映像内の付加データに対するユーザ操作に応じて、前記固定表示される合成映像内において、該ユーザ操作の対象とされた付加データの表示形態のみを変更する情報処理装置。
3. 請求項１または２に記載の情報処理装置において、
   前記携帯端末の表示部に表示される画像の中からユーザ操作により選択された画像のデータを送信するデータ送信手段をさらに備える情報処理装置。
4. 請求項１乃至３いずれかに記載の情報処理装置において、
   前記表示制御手段が、前記固定表示させる処理を行っている間、前記映像データ取得手段、前記画像認識手段、前記付加データ抽出手段、または前記付加データ表示手段の少なくとも一部の動作を停止する情報処理装置。
5. 請求項１乃至４いずれかに記載の情報処理装置において、
   前記付加データは、前記画像に関連する、お勧め情報、割引情報、クーポン情報、アレルギ情報、評価情報、またはオプションサービス情報を含む情報処理装置。
6. 請求項１乃至５いずれかに記載の情報処理装置において、
   前記情報処理装置は、携帯端末、または、携帯端末と通信可能なサーバ装置である情報処理装置。
7. 情報処理装置が、
   複数のアイテムが陳列されている撮影対象の少なくとも一部が撮像部により撮像された映像データを逐次取得し、
   前記映像データに、予め登録された画像の少なくとも一部が含まれることを検出して、該画像を認識し、
   認識された複数の前記画像の各々に対応する付加データを格納する付加データ格納部から、各前記画像の付加データをそれぞれ抽出し、
   抽出された各前記画像の付加データを、前記映像データの該各画像に対応する位置に表示し、
   ユーザの操作に呼応して、逐次得られる合成映像データに基づく合成映像を携帯端末の表示部に連続的に表示させる処理から、該ユーザ操作に対応する時点での合成映像を静止画的に前記携帯端末の表示部に固定表示させる処理に切り換える情報処理装置のデータ処理方法。
8. 情報処理装置を実現するコンピュータに、
   複数のアイテムが陳列されている撮影対象の少なくとも一部が撮像部により撮像された映像データを逐次取得する手順、
   前記映像データに、予め登録された画像の少なくとも一部が含まれることを検出して、該画像を認識する手順、
   認識された複数の前記画像の各々に対応する付加データを格納する付加データ格納部から、各前記画像の付加データをそれぞれ抽出する手順、
   抽出された各前記画像の付加データを、前記映像データの該各画像に対応する位置に表示する手順、
   ユーザの操作に呼応して、逐次得られる合成映像データに基づく合成映像を携帯端末の表示部に連続的に表示させる処理から、該ユーザ操作に対応する時点での合成映像を静止画的に前記携帯端末の表示部に固定表示させる処理に切り換える手順を実行させるためのプログラム。

Images