JP4928592B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理装置及びプログラムに関する。

従来から、レストラン等の飲食店では、客席や屋外に設置された広告端末に調理風景を表示して集客を行うことがある。飲食店の調理風景を表示するための従来技術としては、特許文献１が知られている。特許文献１には、客席においてメニューのどれか一つを選択した際に、料理工程中における調理風景などを表示するメニュー提供装置が開示されている。

しかしながら、上記特許文献１に開示の技術では、客席において利用客が選択した際に調理風景を表示するだけのものであり、調理人が自ら選択した料理品目を調理している調理風景を客に提示することができなかった。

本発明は、上記に鑑みてなされたものであって、調理人が自ら選択した料理品目を調理している調理風景を提示することを可能とする技術を提供することを目的とする。

上述した課題を解決し、目的を達成するために、実施形態の画像処理装置は、調理人の視線方向を撮像する第１の撮像手段と、調理風景を撮像する第２の撮像手段と、客からの注文情報に含まれる注文品目を表示する表示手段と、前記表示された注文品目の中から配信する注文品目を選択する選択手段と、使用者の音声を集音する集音手段と、前記集音された音声に基づいて前記使用者からの音声コマンドを認識する音声認識手段と、前記認識された音声コマンドに応じた、前記選択された注文品目にかかる調理風景の映像の配信指示を受け付ける受付手段と、前記受け付けられた配信指示に応じて、前記第１の撮像手段により撮像された映像が前記調理風景を撮像した映像である場合は前記第１の撮像手段により撮像された映像を、前記第１の撮像手段により撮像された映像が前記調理風景を撮像した映像でない場合は前記第２の撮像手段により撮像された映像を配信する配信手段とを備えることを特徴とする。

また、実施形態のプログラムは、調理人の視線方向を撮像する第１の撮像手段と、調理風景を撮像する第２の撮像手段と、使用者の音声を集音する集音手段とを備えた画像処理装置のコンピュータに、客からの注文情報に含まれる注文品目を表示手段に表示するステップと、前記表示された注文品目の中から配信する注文品目を選択するステップと、集音された音声に基づいて前記使用者からの音声コマンドを認識するステップと、前記認識された音声コマンドに応じた、前記選択された注文品目にかかる調理風景の映像の配信指示を受け付けるステップと、前記受け付けられた配信指示に応じて、前記第１の撮像手段により撮像された映像が前記調理風景を撮像した映像である場合は前記第１の撮像手段により撮像された映像を、前記第１の撮像手段により撮像された映像が前記調理風景を撮像した映像でない場合は前記第２の撮像手段により撮像された映像を配信するステップとを実行させる。

また、実施形態の画像処理装置は、調理人の視線方向を撮像する第１の撮像手段と、
調理風景を撮像する第２の撮像手段と、客からの注文品目の中から配信する注文品目を選択する選択手段と、使用者の音声を集音する集音手段と、前記集音された音声に基づいて前記使用者からの音声コマンドを認識する音声認識手段と、前記認識された音声コマンドに応じた、前記選択された注文品目にかかる調理風景の映像の配信指示を受け付ける受付手段と、前記受け付けられた配信指示に応じて、前記第１の撮像手段により撮像された映像が前記調理風景を撮像した映像である場合は前記第１の撮像手段により撮像された映像を、前記第１の撮像手段により撮像された映像が前記調理風景を撮像した映像でない場合は前記第２の撮像手段により撮像された映像を配信する配信手段と、を備えることを特徴とする。

本発明は、調理人が自ら選択した料理品目を調理している調理風景を提示することを可能とする、という効果を奏する。

図１は、本実施形態にかかる注文システムの一例を示す図である。 図２は、本実施形態にかかるヘッドマウントディスプレイの一例を示す図である。 図３は、調理場の一例を示す図である。 図４は、本実施形態にかかる注文システムの動作の一例を示すラダーチャートである。 図５は、モニタ表示部の表示例を示す図である。 図６は、モニタ表示部の表示例を示す図である。 図７は、広告端末におけるディスプレイの表示例を示す図である。 図８は、本実施形態にかかるウエアラブル画像処理装置の処理を示すフローチャートである。

以下に添付図面を参照して、この発明にかかるウエアラブル画像処理装置及びプログラムの最良な実施の形態を詳細に説明する。本実施形態では、レストランなどの注文システムにおいて、調理人が使用するユーザインタフェースにウエアラブル画像処理装置を適用する場合について例示する。

図１は、本実施形態にかかる注文システムの一例を示す図である。図１に示すように、注文システムは、調理人である装着者２が装着して使用するユーザインタフェースであるウエアラブル画像処理装置１、注文端末３５からの注文を管理する注文管理サーバ３０、各種帳票（例えば注文伝票）などを印刷するためのプリンタ３１を制御するプリンタサーバ３２、ウエアラブル画像処理装置１とデータの送受信を行うための送受信装置３４、ウエイターやウエイトレスなどの店員が客から注文を受け付ける際に使用するための注文端末３５、広告の表示や広告された品目の注文を受け付ける広告端末３６、所定の位置に固定されて予め設定された領域を撮像する固定カメラ３７を備え、それらがネットワークＮＴを介して接続されている。ネットワークＮＴは、ＬＡＮ（Local Area Network）、イントラネット、イーサネット（登録商標）などである。

送受信装置３４とウエアラブル画像処理装置１との間のデータの送受信は、電波、光、赤外線、超音波などであってよく、本実施形態では通信範囲が数ｍ程度である近接無線通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標）など）を用いて行うものとする。なお、送受信装置３４は、店舗内の全ての領域（例えば、精算カウンター近傍、客卓が設けられたフロア、バックヤード等）をカバーするように複数設けられている。なお、送受信装置３４は注文端末３５ともデータの送受信を行ってよく、注文端末３５は有線でネットワークＮＴと接続する必要はない。

注文管理サーバ３０は、店員が注文端末３５に入力した料理の注文を管理する。具体的には、注文管理サーバ３０は、注文端末３５から通知された注文情報にユニークな注文番号を割り当てて内部のストレージ等に記憶し、注文情報を登録する。注文情報には、注文を受けた客卓、客数、注文品目、その注文数などが含まれる。注文管理サーバ３０に登録された注文情報は、注文番号とともにプリンタ３１より注文伝票として印刷される。この注文伝票は、ＰＯＳ端末３３での精算時に使用するものとして、例えば料理提供後の客に渡されるものである。また、注文管理サーバ３０は、登録された注文情報のウエアラブル画像処理装置１への通知や、各種情報の注文端末３５への配信を行う。

ＰＯＳ端末３３は、ドロア、キー入力部、スキャナ、カードリーダ、ディスプレイ、レシート／ジャーナル用プリンタなどを備え（いずれも図示しない）、現金やクレジットカードを用いて商取引を行うもので、例えば精算カウンター等に設けられる。例えば、ＰＯＳ端末３３は、キー入力やスキャナ読み取りなどにより、注文伝票に印刷された注文番号を受け付け、その注文番号に対応する注文情報を注文管理サーバ３０から取得する。ＰＯＳ端末３３は、料理品目（メニュー）ごとの識別コードや価格がプリセットされたマスタファイルを、内部ＲＯＭ（Read Only Memory）やデータサーバ（特に図示しない）から読み出し、取得した注文情報にかかる注文の精算を行う。

注文端末３５は、店員が使用するための情報端末である。注文端末３５は、ＬＣＤ（Liquid Crystal Display）等のディスプレイ、操作入力を受け付けるためのタッチパネル等の操作入力部などを備える。注文端末３５は、操作入力部による客からの注文受付や、注文管理サーバ３０から配信された情報のディスプレイへの表示を行う。

広告端末３６は、客卓や屋外などに設置され、広告の表示や広告された品目の注文を受け付ける情報端末である。広告端末３６は、ＬＣＤ（Liquid Crystal Display）等のディスプレイ、操作入力を受け付けるためのタッチパネル等の操作入力部を備える。例えば広告端末３６は、調理中の映像を広告として表示し、その調理中の料理品目の注文を受け付ける（詳細は後述する）。

ウエアラブル画像処理装置１は、装着者２（調理人）が装着して使用する情報端末であり、ヘッドマウントディスプレイ１０と、撮像装置としてのデジタルカメラ１１と、インタフェースボックス１２と、マイク１５とを備える。図２に示すように、ヘッドマウントディスプレイ１０は、モニタ表示部１７を備えた光透過性部材１６を保持するためのフレーム本体１３と、このフレーム本体１３を装着者２の左目前に配置するためのヘッドホン型の装着用アーム１４とを備える。すなわち、ヘッドマウントディスプレイ１０は、装着用アーム１４によって装着者２の頭部２ａに装着可能であり、装着した状態ではフレーム本体１３が装着者２の左目前に配置されることとなる。

フレーム本体１３は、装着者２の左目に合わせた大きさの形状に形成されている。フレーム本体１３の枠外の上部には、撮像方向可変機構１８を介してデジタルカメラ１１が設けられている。また、フレーム本体１３の枠外には、装着者２の瞳を撮像して視線２ｂ（視線位置）の検出を行うための視線認識用カメラ１９が設けられている。また、フレーム本体１３の下部には、装着者２やその周囲の音声を集音するためのマイク１５が設けられている。フレーム本体１３の枠内には、例えばフレーム枠の形状に合わせて形成された板状の光透過性部材１６が保持されている。この光透過性部材１６は、ヘッドマウントディスプレイ１０を装着者２の頭部２ａに装着した場合であっても、装着者２の眼から周辺環境を観察可能である。この光透過性部材１６は、例えば無色透明又は予め決められた色を有していてもよい。

光透過性部材１６内の一部分には、モニタ表示部１７が形成されている。このモニタ表示部１７は、例えばデジタルカメラ１１の撮像により取得される動画の画像データや各種情報等をリアルタイムにモニタ表示する。したがって、ヘッドマウントディスプレイ１０を装着した状態で装着者２の左目へのモニタ表示を行うことが可能である。なお、モニタ表示部１７は、光透過性の状態でモニタ表示する。しかるに、モニタ表示部１７は、リアルタイムにモニタ表示している状態でも周辺環境を観察可能とすることができる。例えば、ウエアラブル画像処理装置１では、調理人が調理をしている最中であっても、調理をしながらモニタ表示を確認することができる。

なお、本実施形態では、フレーム本体１３を装着者２の左目前に配置し、装着者２の左目へのモニタ表示を行う構成を例示した。しかしながら、装着者２へのモニタ表示は、右眼又は両目に行うものであってよい。例えば、フレーム本体１３を装着者２の右眼前に配置することで、装着者２の右目へのモニタ表示を行うことが可能である。

第１のカメラとしてのデジタルカメラ１１は、撮像動作を行って動画の画像データを出力する。このデジタルカメラ１１は、光透過性部材１６を通した装着者２の視線２ｂ方向に焦点が合うように撮像範囲を設定した状態でヘッドマウントディスプレイ１０のフレーム本体１３上に取り付けられている。撮像方向可変機構１８は、例えばデジタルカメラ１１を首振り可能に支持し、デジタルカメラ１１の撮像方向を任意の方向、ここでは上記の如くデジタルカメラ１１の撮像範囲を装着者２の視線２ｂ方向に焦点が合うように設定する。したがって、ウエアラブル画像処理装置１を使用する調理人が調理を行っている場合は、その調理が行われている領域を撮像することができる。

インタフェースボックス１２は、送受信装置３４との間のデータの送受信を行うとともに、ヘッドマウントディスプレイ１０にかかる各種処理を行う。具体的には、インタフェースボックス１２は、制御部１２１、音声処理部１２２、送受信部１２３、情報表示部１２４、画像処理部１２５を備え、装着者２が携帯可能なボックスである。制御部１２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭなどを有するコンピュータであり、ウエアラブル画像処理装置１の動作を制御する。ＲＯＭには、プログラムやそのプログラムを実行する際に参照される各種設定情報などが予め格納されている。ＣＰＵは、ＲＯＭに記憶されたプログラムをＲＡＭの作業領域に展開して順実行することで、ウエアラブル画像処理装置１の動作を中央制御する。なお、インタフェースボックス１２における画像処理部１２５、情報表示部１２４、送受信部１２３、音声処理部１２２などの各部が有する機能は、制御部１２１がＲＯＭに予め格納されたプログラムを実行することで実現してもよい。

音声処理部１２２は、マイク１５により入力された音声の認識などの処理を行う。具体的には、音声処理部１２２は、予め設定された辞書データに含まれる音声データと、マイク１５からの音声データとを照合して所定の音声コマンドを認識し、認識した音声コマンドを制御部１２１へ通知する。制御部１２１は、通知された音声コマンドに応じた処理を行う。これにより、ウエアラブル画像処理装置１は、装着者２が発声する音声コマンドによる操作が可能である。以後、上述した音声コマンドによるウエアラブル画像処理装置１の操作を音声操作と呼ぶ。ウエアラブル画像処理装置１は、装着者２の音声操作を受け付けることで、装着者２の手入力による手間を省くことができる、特に装着者２が調理中などの場合はこの音声操作が効果的である。

情報表示部１２４は、制御部１２１などから入力された画像データをヘッドマウントディスプレイ１０のモニタ表示部１７へ表示する。また、情報表示部１２４は、制御部１２１の制御の下、情報ウインドウやアイコンなどの各種画像を、モニタ表示部１７の所定の座標へ表示する。

画像処理部１２５は、デジタルカメラ１１の撮像により取得された画像データの画像処理や、視線認識用カメラ１９で撮像された画像データを解析して装着者２の視線２ｂの検出を行う。具体的には、画像処理部１２５は、視線認識用カメラ１９で撮像された画像データから装着者２の瞳を検出し、その検出された瞳の位置に応じて視線２ｂの検出を行う。なお、視線２ｂの検出結果は情報表示部１２４へ出力される。情報表示部１２４は、画像処理部１２５から出力される視線２ｂの検出結果に対応するモニタ表示部１７の座標に注文表示ウインドウを表示する。

なお、ウエアラブル画像処理装置１における入力操作は、制御部１２１の制御の下、視線認識用カメラ１９の画像を元に画像処理部１２５により検出された視線２ｂに応じて行われてもよい。具体的には、情報表示部１２４がモニタ表示部１７に表示した操作入力用のアイコン画像を装着者２が見つめた際の視線２ｂを検出することで、ウエアラブル画像処理装置１における入力操作を行う。例えば、モニタ表示部１７の所定の座標に表示したアイコン画像と、視線２ｂの検出結果により注文表示ウインドウとが重複する場合に、そのアイコン画像に対応する入力操作を受け付ける。以後、上述した視線２ｂに応じたウエアラブル画像処理装置１の入力操作を視線操作と呼ぶ。ウエアラブル画像処理装置１は、装着者２の視線操作を受け付けることで、装着者２の手入力による手間を省くことができる、特に装着者２が調理中などの場合はこの視線操作が効果的である。

第２のカメラとしての固定カメラ３７は、調理場に固定されたデジタルカメラであり、調理場における実際に調理を行う領域（以下、調理領域と呼ぶ）を撮像する。図３は、調理場の一例を示す図である。図３に示すように、固定カメラ３７は、調理場の壁などに固設され、調理領域であるガス台、キッチン台などをパンフォーカスで撮像する。したがって、固定カメラ３７の撮像範囲は調理領域の全体であり、固定カメラ３７で撮像された映像は調理領域全体の映像となる。この固定カメラ３７で撮像された映像は、ウエアラブル画像処理装置１の指示に応じて広告端末３６に配信される。

識別用マーカーＭ１〜Ｍ４は、調理領域を識別するためのマーカーであり、調理領域に対応して予め配置される。例えば識別用マーカーＭ１は調理領域の左上隅に、識別用マーカーＭ２は調理領域の右上隅に、識別用マーカーＭ３は調理領域の右下隅に、識別用マーカーＭ４は調理領域の左下隅に配置される。識別用マーカーＭ１〜Ｍ４は、互いに識別可能とするため、異なる模様や色で塗装されている。したがって、固定して撮像が行われないウエアラブル画像処理装置１では、撮像した映像から識別用マーカーＭ１〜Ｍ４を検出することで、その映像が調理領域を撮像した映像であるか否かを判定することが可能となる（詳細は後述する）。

次に、本実施形態にかかる注文システムの動作について説明する。図４は、本実施形態にかかる注文システムの動作の一例を示すラダーチャートである。

図４に示すように、注文端末３５は、注文を受けた客卓、客数、注文品目、その注文数などの注文入力を受け付け（Ｓ１）、受け付けた注文を注文情報として注文管理サーバ３０へ通知する（Ｓ２）。

注文管理サーバ３０は、注文端末３５から通知された注文情報を登録し（Ｓ３）、登録された注文情報とその注文番号とをウエアラブル画像処理装置１に通知する（Ｓ４）。ウエアラブル画像処理装置１は、注文管理サーバ３０から通知された注文情報をモニタ表示部１７に表示する（Ｓ５）。

図５は、モニタ表示部１７の表示例を示す図であり、より具体的には注文管理サーバ３０から通知された注文情報の表示例を示す図である。図５において、視線マーカーＧ１は、視線２ｂの検出結果に応じてモニタ表示部１７に表示されるマーカーである。注文表示ウインドウＧ２は、通知された注文情報を表示するための表示ウインドウである。配信アイコンＧ３は、調理領域を撮像した映像の配信指示を視線操作で受け付けるためのアイコンである。

図５に示すように、Ｓ５では、注文管理サーバ３０から通知された注文情報が注文表示ウインドウＧ２に表示される。具体的には、注文表示ウインドウＧ２には、注文情報に含まれる各注文品目に対応する注文アイコンＧ２１〜Ｇ２３が表示される。これにより、調理人は、注文情報に含まれる各注文品目の調理を開始することができる。

次いで、ウエアラブル画像処理装置１では、音声操作又は映像操作により、調理領域を撮像した映像の配信設定を受け付ける（Ｓ６）。具体的には、音声操作の場合は、「映像配信」などの映像の配信を指示する音声コマンドに応じて、映像の配信設定を行う。また、視線操作の場合は、視線マーカーＧ１が配信アイコンＧ３に所定の時間重複することを検出した場合に、映像の配信設定を行う。

なお、Ｓ６における配信設定では、配信する映像がどの注文品目の映像であるかを音声操作又は映像操作により設定してもよい。図６は、モニタ表示部１７の表示例を示す図であり、より具体的には注文品目の設定を例示する図である。図６に示すように、視線操作の場合は、視線マーカーＧ１を注文アイコンに重複させることで上述した注文品目の設定を行う。図示例では、視線マーカーＧ１を注文アイコンＧ２１に重複させることで、「唐揚げ」を配信する映像の注文品目として設定している。次いで、上述した配信アイコンＧ３を用いた視線操作により設定した「唐揚げ」の映像を配信する。また、音声操作の場合は、「注文１」、「唐揚げ」などの音声入力から、その音声内容に該当する「唐揚げ」を配信する映像の注文品目として設定する。次いで、「配信開始」などの音声入力から「唐揚げ」の映像を配信する。

次いで、ウエアラブル画像処理装置１は、Ｓ６での配信設定に応じてデジタルカメラ１１や固定カメラ３７で撮像した調理領域の映像を、設定された注文品目を示す情報とともに広告端末３６へ配信する（Ｓ７）。例えば、Ｓ６、Ｓ７では、注文情報の表示後、配信設定としての調理開始品目の選択を音声操作又は映像操作により受け付け、その調理開始品目の注文情報を撮像した調理領域の映像に付加して配信する。この調理開始品目の注文情報を付加して配信することは、配信する調理領域の映像が何の料理品目を調理している映像であるかを示すためである。広告端末３６は、ウエアラブル画像処理装置１から配信された調理領域の映像を配信された注文情報とともにディスプレイに表示する（Ｓ８）。したがって、Ｓ８では、調理領域の映像とともに、その映像で調理している料理品目が本日のお勧めランチなどとして表示されることとなる。次いで、広告端末３６は、その映像とともに配信された注文品目の注文を操作入力部から受け付ける（Ｓ９）。このＳ９で受け付けた注文は、注文情報として注文管理サーバ３０へ通知される（Ｓ１０）。注文管理サーバ３０では、広告端末３６から通知された注文情報を新規の注文として登録する（Ｓ１１）。

図７は、広告端末３６におけるディスプレイ３６Ｌの表示例を示す図である。図７に示すように、Ｓ８において、広告端末３６のディスプレイ３６Ｌには、調理映像表示領域Ｌ１に調理領域の映像が表示される。このように、調理中の映像を客卓や屋外に設置された広告端末３６に表示することで、新たな注文を呼び込むことができる。また、広告端末３６のディスプレイ３６Ｌには、調理領域の映像とともに配信された注文品目についての注文を、タッチパネル等の操作入力部で受け付けるための発注アイコンＬ２が表示されている。したがって、Ｓ９〜Ｓ１１により、調理中の注文品目に関する注文を新たに受けることができる。

次に、ウエアラブル画像処理装置１が制御部１２１の制御の下で行う処理の詳細について、図８を参照して説明する。図８は、本実施形態にかかるウエアラブル画像処理装置１の処理を示すフローチャートである。

図８に示すように、処理が開始されると、制御部１２１は、注文管理サーバ３０から通知された注文情報に含まれる注文品目をモニタ表示部１７に表示する（Ｓ１０１）。次いで、制御部１２１は、音声操作又は視線操作により、調理領域を撮像した映像の配信指示があったか否かを判定する（Ｓ１０２）。配信指示がない場合（Ｓ１０２：ＮＯ）は、Ｓ１０８へ処理を進める。

配信指示がある場合（Ｓ１０２：ＹＥＳ）、制御部１２１は、デジタルカメラ１１で撮像した映像を取得する（Ｓ１０３）。次いで、制御部１２１は、取得した映像が所定の領域の映像、すなわち調理領域の映像であるか否かを判定する（Ｓ１０４）。このＳ１０４における判定は、前述したとおり、取得した映像から識別用マーカーＭ１〜Ｍ４を検出することで行う。具体的には、取得した映像の左上に調理領域の左上隅に配置された識別用マーカーＭ１が検出された場合は、取得した映像が調理領域の映像であると判定する。同様に、取得した映像において、右上に識別用マーカーＭ２が検出された場合、右下に識別用マーカーＭ３が検出された場合、左隅に識別用マーカーＭ４が検出された場合も取得した映像が調理領域の映像であると判定する。逆に、取得した映像において、識別用マーカーＭ１〜Ｍ４が上述した以外の位置に検出された場合や、識別用マーカーＭ１〜Ｍ４が検出されない場合は、識別用マーカーＭ１〜Ｍ４で囲まれた調理領域を撮像していないものと判定する。

取得した映像が調理領域の映像である場合（Ｓ１０４：ＹＥＳ）、制御部１２１は、ウエアラブル画像処理装置１のデジタルカメラ１１で撮像した映像を調理領域の映像として広告端末３６へ配信させる（Ｓ１０５）。取得した映像が調理領域の映像でない場合（Ｓ１０４：ＮＯ）、制御部１２１は、固定カメラ３７で撮像した映像を調理領域の映像として配信させる（Ｓ１０６）。したがって、ウエアラブル画像処理装置１は、装着者２の視線２ｂに近い、臨場感のある調理映像を広告端末３６に配信することができる。また、装着者２の挙動によってウエアラブル画像処理装置１で撮像した映像が調理領域以外の映像の場合であっても、固定カメラ３７の映像を広告端末３６に配信することで、常に調理領域の映像を広告端末３６へ配信することができる。例えば、Ｓ１０５、Ｓ１０６では、注文情報の表示後、配信設定としての調理開始品目の選択を音声操作又は映像操作により受け付け、その調理開始品目の注文情報を撮像した調理領域の映像に付加して配信する。この調理開始品目の注文情報を付加して配信することは、配信する調理領域の映像が何の料理品目を調理している映像であるかを示すためである。また、Ｓ１０５では、後述するＳ１０７において配信を終了する指示があるまでに、Ｓ１０３〜Ｓ１０６の処理が繰り返される間、取得した映像が調理領域の映像であることが予め設定された所定の時間経過した場合に、その取得した映像のズームアップを行ってもよい。具体的には、取得した映像から所定の領域をトリミングして拡大する電子ズームを行う。このようにズームアップを行う場合は、より臨場感のある映像を取得することができる。

次いで、制御部１２１は、音声操作又は視線操作により、配信を終了する指示があったか否かを判定する（Ｓ１０７）。配信を終了する指示があった場合（Ｓ１０７：ＹＥＳ）は、広告端末３６への映像の配信を停止してＳ１０８へ処理を進める。配信を終了する指示がない場合（Ｓ１０７：ＮＯ）は、Ｓ１０３へ処理を進めて、広告端末３６への映像の配信を継続する。例えば、音声操作の場合は、「配信終了」などの映像の配信を終了するための音声コマンドに応じて、映像の配信を終了する。また、視線操作の場合は、前述した配信アイコンＧ３と同様のアイコン画像であり、映像の配信を終了するためのアイコン画像（特に図示しない）に視線マーカーＧ１が所定の時間重複することを検出した場合に、映像の配信を終了する。

Ｓ１０８において、制御部１２１は、モニタ表示部１７に表示された全ての注文品目の調理が完了したか否かを、調理完了を示す操作が音声操作又は視線操作により行われたか否かにより判定する（Ｓ１０８）。調理が完了していない場合（Ｓ１０８：ＮＯ）は、Ｓ１０２へ処理を戻す。調理が完了した場合（Ｓ１０８：ＹＥＳ）は、モニタ表示部１７における注文品目の表示を終了し（Ｓ１０９）、処理を終了する。例えば、音声操作の場合は、「調理完了」などの調理の完了を示す音声コマンドに応じて、処理を終了する。また、視線操作の場合は、前述した配信アイコンＧ３と同様のアイコン画像であり、調理の完了を示すアイコン画像（特に図示しない）に視線マーカーＧ１が所定の時間重複することを検出した場合に、処理を終了する。なお、上述した調理の完了と配信の完了とは、一つの音声操作又は視線操作による指示で共用されてもよい。

なお、本実施形態では、装着者２に装着して使用するウエアラブル画像処理装置１を例示した。しかしながら、ウエアラブル画像処理装置１における表示や操作構成は据え置き型であってよい。すなわち、ウエアラブル画像処理装置１は、所定の位置に設置されたＬＣＤ（Liquid Crystal Display）等のディスプレイやタッチパネルや操作キー等の操作入力部を外部に備えたものであってもよい。また、使用者の操作入力についても、音声操作又は視線操作ではなく、タッチパネルや操作キーで行ってもよい。さらに、注文管理サーバ３０などの上位装置が、注文情報などのモニタ表示を、所定の位置に設置されたディスプレイに表示してもよい。この場合は、ウエアラブル画像処理装置１はモニタ表示部１７を備えず、操作入力は音声入力で行う。

なお、本実施形態の制御部１２１や注文管理サーバ３０のＣＰＵが実行するプログラムは、ＲＯＭ等に予め組み込んで提供するように構成してもよい。また、上記プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。

また、上記プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上記プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

１ ウエアラブル画像処理装置
２ 装着者
２ｂ 視線
１０ ヘッドマウントディスプレイ
１１ デジタルカメラ
１２ インタフェースボックス
１３ フレーム本体
１４ 装着用アーム
１５ マイク
１７ モニタ表示部
１９ 視線認識用カメラ
３０ 注文管理サーバ
３４ 送受信装置
３５ 注文端末
３６ 広告端末
３６Ｌ ディスプレイ
３７ 固定カメラ
１２１ 制御部
１２２ 音声処理部
１２３ 送受信部
１２４ 情報表示部
１２５ 画像処理部
Ｇ１ 視線マーカー
Ｇ２ 注文表示ウインドウ
Ｇ２１〜Ｇ２３ 注文アイコン
Ｇ３ 配信アイコン
Ｌ１ 調理映像表示領域
Ｌ２ 発注アイコン
Ｍ１〜Ｍ４ 識別用マーカー
ＮＴ ネットワーク

特開２００４−１３３８７０公報

Claims (7)

1. 調理人の視線方向を撮像する第１の撮像手段と、
   調理風景を撮像する第２の撮像手段と、
   客からの注文情報に含まれる注文品目を表示する表示手段と、
   前記表示された注文品目の中から配信する注文品目を選択する選択手段と、
   使用者の音声を集音する集音手段と、
   前記集音された音声に基づいて前記使用者からの音声コマンドを認識する音声認識手段と、
   前記認識された音声コマンドに応じた、前記選択された注文品目にかかる調理風景の映像の配信指示を受け付ける受付手段と、
   前記受け付けられた配信指示に応じて、前記第１の撮像手段により撮像された映像が前記調理風景を撮像した映像である場合は前記第１の撮像手段により撮像された映像を、前記第１の撮像手段により撮像された映像が前記調理風景を撮像した映像でない場合は前記第２の撮像手段により撮像された映像を配信する配信手段と、
   を備えることを特徴とする画像処理装置。
2. 前記第１の撮像手段は、前記調理人の頭部に装着され、当該調理人の視線方向に撮像方向が向けられたカメラである、
   請求項１に記載の画像処理装置。
3. 前記調理人が調理を行う調理領域に当該調理領域を識別するためのマーカーを設置し、
   前記配信手段は、前記第１の撮像手段により撮像された映像に含まれる前記マーカーに応じて、当該撮像された映像が前記調理風景を撮像した映像であるか否かを判別する、
   請求項１又は２に記載の画像処理装置。
4. 前記配信手段は、前記撮像された調理風景の映像に、前記選択された注文品目を付加して配信することを特徴とする請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記第１の撮像手段は、予め設定された時間経過した場合に、ズームアップして撮像することを特徴とする請求項１〜４のいずれか一項に記載の画像処理装置。
6. 調理人の視線方向を撮像する第１の撮像手段と、調理風景を撮像する第２の撮像手段と、使用者の音声を集音する集音手段とを備えた画像処理装置のコンピュータに、
   客からの注文情報に含まれる注文品目を表示手段に表示するステップと、
   前記表示された注文品目の中から配信する注文品目を選択するステップと、
   集音された音声に基づいて前記使用者からの音声コマンドを認識するステップと、
   前記認識された音声コマンドに応じた、前記選択された注文品目にかかる調理風景の映像の配信指示を受け付けるステップと、
   前記受け付けられた配信指示に応じて、前記第１の撮像手段により撮像された映像が前記調理風景を撮像した映像である場合は前記第１の撮像手段により撮像された映像を、前記第１の撮像手段により撮像された映像が前記調理風景を撮像した映像でない場合は前記第２の撮像手段により撮像された映像を配信するステップと、
   を実行させるためのプログラム。
7. 調理人の視線方向を撮像する第１の撮像手段と、
   調理風景を撮像する第２の撮像手段と、
   客からの注文品目の中から配信する注文品目を選択する選択手段と、
   使用者の音声を集音する集音手段と、
   前記集音された音声に基づいて前記使用者からの音声コマンドを認識する音声認識手段と、
   前記認識された音声コマンドに応じた、前記選択された注文品目にかかる調理風景の映像の配信指示を受け付ける受付手段と、
   前記受け付けられた配信指示に応じて、前記第１の撮像手段により撮像された映像が前記調理風景を撮像した映像である場合は前記第１の撮像手段により撮像された映像を、前記第１の撮像手段により撮像された映像が前記調理風景を撮像した映像でない場合は前記第２の撮像手段により撮像された映像を配信する配信手段と、
   を備えることを特徴とする画像処理装置。

Images