JP6459447B2 - 商品注文装置、商品注文方法、商品価格出力装置、商品価格出力方法およびプログラム - Google Patents

Description

本発明は、オブジェクト認識を利用した商品注文装置、商品注文方法、商品価格出力装置、商品価格出力方法およびプログラムに関する。

自家製のパンを販売するベーカリー（パン屋）において顧客は、トングを用いてパンの陳列台から所望のパンをトレーに取り、トレーにパンを載せた状態で、ＰＯＳ端末（レジ）で代金の精算を受ける。ここでＰＯＳとは、販売時点情報管理（Point Of Sale system）の略称である。このようなベーカリーでは、自家製のパンを袋詰めせず、陳列台にそのまま陳列することが多い。これにより、出来たてのパンをそのまま味や食感を落とすことなしに顧客に提供でき、かつパンの包装の工数を省略することができる。その反面、パンを袋詰めしないことにより、パンをバーコードで管理できないという問題がある。

自家製のパンの種類は多種・多様であり、同一種類であっても外観が完全に同一とは限らない。ベーカリーの店員は、トレー上のパンの種類を正確に見分けて手作業でＰＯＳ端末に入力する必要がある。よって、店員に対する所定の訓練期間が必要であった。
このため近年では、トレー上のパンをカメラで撮影し、この画像情報からトレー上のパンの種類と数量とを自動認識して、商品登録を自動化するベーカリー用のＰＯＳ端末が出現している。これにより、ベーカリーの店員の訓練期間を短縮することができる。

特許文献１の課題には、「画像認識によりパンの種類を正確に識別する。」と記載され、構成には、「パンのカラー画像を内側領域のカラー画像と外側領域のカラー画像とに分割する。パンの画像からパンの輪郭に関する特徴量と、パンのテクスチャーに関する特徴量と、パンの内側領域のカラースペース内での特徴量と、パンの外側領域のカラースペース内での特徴量とを求め、パンの種類を識別する。」と記載されている。

特開２０１１−１７０７４５号公報

ベーカリーには、店内で飲食するように構成されている店舗も存在する。そのような店舗において顧客は、トングを用いてパンの陳列台から所望のパンをトレーに取り、トレーにパンを載せた状態で、ＰＯＳ端末にて飲み物を注文する。このとき店舗は、顧客が要求する飲み物をキッチンやバックヤード等に注文（オーダ）して、この飲み物を作成させると共に、これを売上登録することが必要である。

飲み物は液体であり、それ自体では固有の形態を有さない。また、飲み物の容器は、商品の種類によらず共通のものが提供される。よって、飲み物またはその容器の外観によって、商品の種類を識別することは困難である。また、カメラで撮影する際に、所定の高さを有する飲み物の容器は、背の低いパンと共にフォーカスできず、明瞭に撮影できない虞がある。更に飲み物をオブジェクト認識して売上登録する場合でも、この飲み物をキッチンやバックヤード等に注文する手間を省くことはできない。

そこで、本発明は、商品の情報出力にかかる手間を抑制可能な商品注文装置、商品注文方法、商品価格出力装置、商品価格出力方法およびプログラムを提供することを課題とする。

上記目的を達成するため、本発明に係る商品注文装置は、商品と共に顧客に提供される副提供物が載置される所定の位置または／および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて記憶されている記憶手段と、撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または／および載置された向きに対応づけられて前記記憶手段に記憶されている商品の注文情報を出力する制御手段と、を備えたことを特徴とする。

また、本発明に係る商品注文方法は、商品と共に顧客に提供される副提供物が載置される所定の位置または／および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて、予め記憶手段に記憶させておくステップと、撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または／および載置された向きに対応づけられて前記記憶手段に記憶されている商品の注文情報を出力するステップと、を有することを特徴とする。

また、本発明に係る商品価格出力装置は、商品と共に顧客に提供される副提供物が載置される所定の位置または／および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて記憶されている記憶手段と、撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または／および載置された向きに対応づけられて前記記憶手段に記憶されている商品の価格情報を出力する制御手段と、を備えたことを特徴とする。

また、本発明に係る商品価格出力方法は、商品と共に顧客に提供される副提供物か載置される所定の位置または／および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて、予め記憶手段に記憶させておくステップと、撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または／および載置された向きに対応づけられて前記記憶手段に記憶されている商品の価格情報を出力するステップと、を有することを特徴とする。

また、本発明に係るプログラムは、商品と共に顧客に提供される副提供物が載置される所定の位置または／および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて記憶されている記憶手段を備えたコンピュータを、撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または／および載置された向きに対応づけられて前記記憶手段に記憶されている商品の注文情報を出力する制御手段、として機能させることを特徴とする。

また、本発明に係る他の態様のプログラムは、商品と共に顧客に提供される副提供物が載置される所定の位置または／および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて記憶されている記憶手段を備えたコンピュータを、撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または／および載置された向きに対応づけられて前記記憶手段に記憶されている商品の価格情報を出力する制御手段、として機能させることを特徴とする。

本発明によれば、商品の情報出力にかかる手間を抑制可能な商品注文装置、商品注文方法、商品価格出力装置、商品価格出力方法およびプログラムを提供することが可能となる。

第１の実施形態における商品注文装置を示す斜視図である。 第１の実施形態における商品注文装置を示す概略の構成図である。 第１の実施形態における商品注文装置を示す論理ブロック図である。 第１の実施形態における画面遷移の例を示す図である。 第１の実施形態における商品注文装置の動作を示すアクティビティ図である。 第１の実施形態におけるオブジェクト認識用データの一例を示す図である。 第１の実施形態における商品内容データの一例を示す図である。 第１の実施形態における商品等の認識処理を示すフローチャートである。 第２の実施形態における画面遷移の例を示す図である。 第２の実施形態におけるマスタデータの一例を示す図である。 第２の実施形態における商品等の認識処理を示すフローチャートである。 第２の実施形態における商品注文装置の動作を示すアクティビティ図である。

以降、本発明を実施するための形態を、各図を参照して詳細に説明する。なお、複数の図面において、同一の要素には同一の符号を付与し、重複する説明を適宜省略する。
（第１の実施形態）
図１は、第１の実施形態における商品注文装置１を示す斜視図である。
図１に示すように、商品注文装置１は、顧客用ディスプレイ１１と、タッチディスプレイ１２と、キャッシュドロワ１３と、プリンタ１４と、撮影装置１５と、撮影台１６とを備えており、店舗のカウンタ台２に設置される。なお、商品の会計を行う際、商品注文装置１を扱うオペレータ（店員）は、カウンタ台２の図面手前側に立つ。顧客は、カウンタ台２の図面奥側に立つ。
商品注文装置１は、ＰＯＳ端末として機能し、取扱商品であるパンの種類と個数との識別情報と、飲料の識別情報とを受けて、合計代金等の表示や、販売管理・売上実績管理等の演算・入出力を実行する。

顧客用ディスプレイ１１は、例えば液晶表示装置であり、顧客側である図面奥側を向いている。顧客用ディスプレイ１１は、顧客に対して商品の会計に関する情報（商品名、金額等）を表示する。
タッチディスプレイ１２は、例えば液晶表示装置であるディスプレイ１２Ａ（図２参照）の表面にタッチパネル１２Ｂが積層されたものであり、オペレータ側である図面手前側を向いている。このタッチディスプレイ１２は、オペレータに対して撮影画像や各種情報（商品名、金額等）を表示するとともに、オペレータによるタッチ操作入力を受け付ける。

キャッシュドロワ１３は、商品の会計時に扱われる紙幣、貨幣、金券等を保管する引出しであり、タッチディスプレイ１２の直下に位置している。
プリンタ１４は、タッチディスプレイ１２の左下に位置しており、商品の会計時に会計の内容（商品名、金額等）をレシートに印字する。

撮影装置１５は、撮影台１６に置かれたトレー３、および、トレー３の上の取扱商品または／および副提供物を真上から撮影する。照明装置（不図示）は、この撮影装置１５に隣接して取り付けられており、撮影装置１５による撮影領域１５１を照明する。取扱商品とは、例えば自家製のパンである。副提供物とは、例えばコースター、ストロー、スプーン、箸、砂糖袋、ガムシロップ容器、ミルク容器、ナプキン等であり、取扱商品に付随して顧客に提供するものである。以下、取扱商品と副提供物のことを、「取扱商品等」と記載する場合がある。撮影装置１５が撮影する際、トレー３上のパン６には、照明装置から照明光が照射され、トレー３の下からは、バックライト光源１７からのバックライトが上向きに照射される。このトレー３は、透明ではないものの、上下方向に光を透過するよう半透明で、かつ、模様等のない単一色に形成されている。トレー３の色は白色または淡色とすることが望ましい。更にトレー３は、その上面に微細なマット加工を付すことが望ましい。これにより、照明装置からの照明光の反射を抑止することができる。
顧客は、トレー３に取扱商品である任意数のパン６を載せて、このトレー３を撮影台１６に載せる。オペレータ（店員）は、顧客から飲み物の注文を受けると、このトレー３に副提供物であるコースター５を載せる。図１の例では１個のパン６と１枚のコースター５とがトレー３の上に載せられている。そののちオペレータ（店員）は、取扱商品である飲み物をキッチンから受け取り、コースター５の上に載せる。
撮影台１６は、取扱商品を購入する顧客が会計時に取扱商品を載せたトレー３を置く台である。
撮影領域１５１は、撮影台１６における撮影装置１５によって撮影可能な領域である。

バックライト光源１７は、撮影台１６の内部に収容されており、撮影装置１５によってトレー３の上の商品を撮影する際に取扱商品の撮影画像がより鮮明になるように、トレー３の下からバックライトを上向きに照射する。バックライト光源１７は、例えば、ＬＥＤ（Light Emitting Diode）で実現することができるが、これに限定されない。
トレー３は、前記したように半透明である。そして、トレー３に載った状態のパン６を撮影装置１５により撮影する際には、そのトレー３の背後である裏面側に、バックライト光源１７からバックライトを照射する。これにより、照明装置からの照明光によって取扱商品であるパン６の周囲に形成される影を可及的に排除し得る。撮影装置１５により撮影する際にバックライト光源１７からバックライトが照射された状態にするには、常にバックライト光源１７を点灯させる。しかし、これに限られず、バックライト光源１７の点灯と撮影装置１５の撮影とを同期させてもよい。これを実現するため、商品注文装置１が撮影装置１５とバックライト光源１７を統括して制御してもよく、撮影装置１５の撮影時にバックライト光源１７が同期して点灯するように構成してもよい。

商品注文装置１は、撮影装置１５によって撮影された画像を処理することで、トレー３の上の取扱商品を特定する。商品注文装置１は更に、コースター５、ストロー、スプーン、箸、砂糖袋、ガムシロップ容器、ミルク容器等の副提供物に基づいて、飲み物の種類を特定し、特定した飲み物（取扱商品）のオーダ情報をキッチンプリンタ４によって印刷する。本実施形態の商品注文装置１は、黒色のコースター５によってコーヒーを特定する。これにより、商品注文装置１は、外部であるキッチン側に飲み物のオーダを通知すると共に、この飲み物を売上登録することができる。

図２は、第１の実施形態における商品注文装置１を示す概略の構成図である。
商品注文装置１は、図１で示した構成以外に、ＣＰＵ（Central Processing Unit）１０１と、ＲＡＭ（Random Access Memory）１０２と、ＲＯＭ（Read Only Memory）１０３と、記憶部１０４と、通信部１８と、スピーカ１９とを備えている。なお、撮影台１６以外の各構成は、内部バスや各入出力回路（不図示）を介して互いに通信可能に接続されている。

ＣＰＵ１０１は、中央制御装置であり、商品注文装置１全体の制御を司る。
ＲＡＭ１０２は、ＣＰＵ１０１によって使用される一時記憶手段であり、ＣＰＵ１０１が実行するプログラムに係る画像データや各種変数等を一時的に記憶する。
ＲＯＭ１０３は、不揮発性の記憶手段であり、ＣＰＵ１０１によって実行されるプログラム等を記憶する。

顧客用ディスプレイ１１は、ＣＰＵ１０１によって制御され、顧客に対して取扱商品等の撮影画像や取扱商品の会計に関する情報（商品名、金額等）を表示する。
ディスプレイ１２Ａは、ＣＰＵ１０１によって制御され、オペレータに対して取扱商品等の撮影画像や取扱商品の会計に関する情報（商品名、金額等）を表示する。
タッチパネル１２Ｂは、ディスプレイ１２Ａに表示した情報に対するオペレータのタッチ操作入力を受け付ける。

記憶部１０４（記憶手段）は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等によって構成され、各種プログラムや各種ファイルを記憶する。記憶部１０４に記憶されている各種プログラムや各種ファイルは、商品注文装置１の起動時に、その全部または一部がＲＡＭ１０２にコピーされてＣＰＵ１０１により実行される。この記憶部１０４には、各種のデータが記憶されている。

撮影装置１５は、カラーＣＣＤ（Charge Coupled Device）イメージセンサやカラーＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等から構成される。撮影装置１５は、ＣＰＵ１０１の制御の下で撮影を行う撮影手段である。撮影装置１５は、例えば３０ｆｐｓ（frame per second）の動画像の撮影を行う。撮影装置１５が所定のフレームレートで順次撮影したフレーム画像（撮影画像）は、ＲＡＭ１０２に保存される。

バックライト光源１７は、ＣＰＵ１０１の制御の下で、撮影装置１５によってトレー３やトレー３の上の取扱商品等を撮影する際に撮影画像がより鮮明になるように、トレー３の下からバックライトを上向きに照射する。これにより、照明装置からの照明光や店内の他の照明によって形成される撮影領域１５１内の影を薄くし、画像処理の精度を高めることができる。

キャッシュドロワ１３は、ＣＰＵ１０１の指示により開放される。
プリンタ１４は、例えば熱転写プリンタであり、レシートを発行する。具体的には、プリンタ１４は、商品の会計時にＣＰＵ１０１の指示により、会計の内容をレシート用紙に印字する。
通信部１８は、例えばネットワークインタフェースコントローラであり、キッチンプリンタ４に接続されている。キッチンプリンタ４は、キッチンに設置されたプリンタである。ＣＰＵ１０１は、この通信部１８を介して、オーダ内容をキッチンプリンタ４によって所定の用紙に印字させ、キッチンに注文情報を伝える。
スピーカ１９は、予め設定された報知音等を発生する。スピーカ１９は、ＣＰＵ１０１の制御の下で警告音や音声による報知を行う。

図３は、第１の実施形態における商品注文装置１を示す論理ブロック図である。
商品注文装置１のＣＰＵ１０１（図２参照）は、ＲＯＭ１０３（図２参照）に格納された不図示のプログラムを実行することにより、処理部９を具現化する。この処理部９は、画像記憶部９１と、オブジェクト認識処理部９２と、確定通知部９３と、候補商品提示部９４と、入力取得部９５と、オーダ印刷部９６と、売上登録部９７と、情報出力部９８とを含んで構成される。このオブジェクト認識処理部９２は、物体検出部９２１と、類似度演算部９２２と、類似度判断部９２３とを備えている。
処理部９は、撮影手段によって撮影された物体が取扱商品等であるか否かを、物体の画像情報に基づいて識別する。また、処理部９は、撮影手段によって撮影された物体が副提供物であると識別した場合に、この副提供物が載置された位置または／および載置された向きを判別し、この識別された副提供物やこの判別された位置または／および載置された向きに対応づけられて記憶されている取扱商品の注文情報をキッチンプリンタ４などに出力する。
なお、処理部９は、記憶部１０４に格納されたオブジェクト認識用データ１０５と、商品内容データ１０６と、売上マスタ１０７とを参照する。
オブジェクト認識用データ１０５は、取扱商品等（パンや副提供物）の種類毎にモデル化された特徴量を組み合わせたテンプレート情報等で構成される。これらの情報は、オブジェクト認識用データ１０５に予め登録されている。オブジェクト認識用データ１０５は、店舗に陳列して販売する取扱商品等の各々について、商品名または商品ＩＤと、その取扱商品等の特徴量との関連付けが設定されたデータファイルであり、取扱商品等の認識用の辞書として機能する。

商品内容データ１０６は、取扱商品の内容情報が設定されたデータファイルである。商品内容データ１０６には、取扱商品の内容情報として、商品ＩＤ（IDentifier）、商品名、単価、値引き情報等が設定される。
売上マスタ１０７は、取扱商品の売上登録を記録するファイルであり、顧客に売り上げた商品ＩＤと、これに対応する商品分類、商品名、単価、販売個数等が記録される。
画像記憶部９１は、撮影されて撮影装置１５が撮影したフレーム画像（カラーデジタル画像）を順次取り込んで記憶する。

物体検出部９２１は、エッジ検出等の技術を用いて、取り込んだフレーム画像における取扱商品等の候補となる画像を背景から分離する、すなわち識別対象の物体だけを切り出して検出する。具体的には、顧客がトレー３を撮影台１６に載せて、オペレータが撮影を指示すると、処理部９は、撮影装置１５によって撮影台１６上の撮影領域１５１を撮影する。物体検出部９２１は、取り込まれたフレーム画像を二値化して輪郭線を抽出する。次いで物体検出部９２１は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、画像を輪郭線に囲まれた各領域に分離して、物体を検出する。

類似度演算部９２２は、個々の取扱商品等の種類を、検出された各物体の分離画像に基づいて識別する。類似度演算部９２２は、各分離画像について、大きさ、形状、色合い、表面の凹凸具合等の表面の状態を特徴量として演算する。類似度演算部９２２は更に、各分離画像の特徴量と、オブジェクト認識用データ１０５に記録された取扱商品等の各特徴量とをそれぞれ比較することで、各分離画像とオブジェクト認識用データ１０５に記録された取扱商品等との類似度をそれぞれ算出する。ここで類似度とは、オブジェクト認識用データ１０５に記録されている取扱商品等がリファレンスとして想定する特徴量を１００％の類似度とした場合に、各分離画像の特徴量がどの程度まで類似しているかを示すものである。
即ち、類似度とは、物体の分離画像と、取扱商品等か想定するリファレンス画像（外観）とがどの程度まで類似しているかを示すものである。なお、類似度演算部９２２は、特徴量が複数種類ある場合には複数の特徴量に基づいて総合評価をするが、そのとき、特徴量ごとに重み付けをしてもよい。

このように、画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。下記の柳井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット、評価ベンチマークを行い、更にその今後について展望している。
柳井啓司，「一般物体認識の現状と今後」，[online]、情報処理学会論文誌，２００７年１１月１５日，Vol.48，No.SIG16、1-24頁，[平成２６年１０月３１日検索]，インターネット<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>

また、画像をオブジェクト（物体）ごとに領域分割することによって一般物体認識を行う技術は、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”， Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on，[平成２６年１０月３１日検索]，インターネット<URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf>

なお、撮影された商品画像等の特徴量と、オブジェクト認識用データ１０５に記録された取扱商品の商品画像等の特徴量との類似度の算出方法は特に問わないものとする。例えば、撮影された商品画像等の特徴量と、オブジェクト認識用データ１０５に記録された各取扱商品等の特徴量との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。

類似度を絶対評価として算出する場合には、分離画像の特徴量と、オブジェクト認識用データ１０５として記憶された取扱商品等の特徴量とを１対１で比較し、この比較の結果算出される類似度（０〜１００％）をそのまま採用すればよい。
また、類似度を相対評価として算出する場合には、各取扱商品等との類似度の総和が１．０（１００％）となるよう算出する。例えば、オブジェクト認識用データ１０５として商品Ａ，Ｂ、副提供物Ｍ，Ｎの特徴量が記憶されていたとする。このとき分離画像について、例えば、商品Ａに対して類似度が０．６５、商品Ｂに対しては類似度が０．２、副提供物Ｍに対しては類似度が０．１、副提供物Ｎに対しては類似度が０．０５、等のように算出する。

類似度判断部９２３は、物体の分離画像ごとに、類似度演算部９２２が算出した類似度に基づいて、例えば、対応する取扱商品等に関して次の３択で判断する。
（１）分離画像に対応する取扱商品等（商品、副提供物）が一意に決定された。
（２）分離画像に対応する取扱商品等（商品、副提供物）の候補が１つ以上存在する。
（３）分離画像に対応する取扱商品等（商品、副提供物）が無いと決定する。

この判断のための条件として、例えば、記憶部１０４は、次に説明する条件Ｘ，Ｙを予め記憶している。以下、類似度の算出方法が絶対評価の場合を例にとって説明する。

条件Ｘは、充足すれば上記（１）と判断するための条件である。条件Ｘは、例えば、「類似度の一番大きい取扱商品等の類似度が９０％以上」、かつ、「類似度の一番大きい取扱商品等の類似度と、類似度の二番目に大きい取扱商品等の類似度の差が２０％以上」である。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい取扱商品等が類似度が９５％の商品Ａで、その次が類似度６０％の商品Ｂであったとする。このとき条件Ｘを満たすので、分離画像に対応する商品Ａは、一意に決定される。

条件Ｘを満たさない場合、条件Ｙが用いられる。
条件Ｙは、充足すれば上記（２）と判断するための条件である。条件Ｙは、例えば、「類似度６０％以上の取扱商品等が１つ以上あること」である。具体的には、例えば、ある分離画像の物体について、類似度の一番大きい取扱商品等が類似度８０％の商品Ａで、二番目が類似度７５％の商品Ｂで、三番目が類似度６５％の商品Ｃで、四番目が類似度５５％の商品Ｄであったとする。このとき条件Ｙを満たすので、分離画像に対応する候補として類似度６０％以上の対象である商品Ａ，Ｂ，Ｃが存在する。

条件Ｘ，Ｙを両方とも満たさない場合、上記（３）と判断する。なお、上記した条件Ｘ，Ｙは一例であり、これらに限定されない。
また、類似度の算出方法が相対評価の場合も、同様にして条件を設定すればよい。

確定通知部９３は、類似度判断部９２３が上記（１）と判断した分離画像の物体について、取扱商品等が一意に確定されたことを、ディスプレイ１２Ａや顧客用ディスプレイ１１への表示や音声出力等によってオペレータや顧客に報知する。
より詳細には、確定通知部９３は、類似度判断部９２３が上記（１）と判断した分離画像を、例えば、緑の枠線と共に顧客用ディスプレイ１１やディスプレイ１２Ａに表示することで、分離画像に対応した取扱商品等が一意に確定されたことを示す。

候補商品提示部９４は、類似度判断部９２３が上記（２）と判断した分離画像を、例えば、黄色の枠線と共にディスプレイ１２Ａや顧客用ディスプレイ１１に表示することで、分離画像に対応した取扱商品等の候補が１つ以上存在することを示す。更に、この分離画像をオペレータがタッチパネル１２Ｂを介してタッチすることで、ディスプレイ１２Ａには、取扱商品等の候補である写真画像および商品名が、類似度の高いものから順に表示される。
このとき候補商品提示部９４は、条件Ｙを満たした取扱商品等の写真画像および商品名をオブジェクト認識用データ１０５および商品内容データ１０６から読み出し、類似度演算部９２２が算出した類似度の高いものから、ディスプレイ１２Ａに順次出力する。

なお、ディスプレイ１２Ａに取扱商品等の候補の写真画像が表示されていても、これら取扱商品等の候補に対する選択操作を受け付けない場合には、撮影装置１５による撮影と、画像記憶部９１による画像の記憶処理と、物体検出部９２１による物体の検出処理と、類似度演算部９２２による類似度の演算処理とは継続される。

入力取得部９５は、タッチパネル１２Ｂを介してディスプレイ１２Ａの表示に対応する各種入力操作を受け付ける。例えば、上記（２）と判断され、黄色の枠線と共にディスプレイ１２Ａに分離画像が表示された場合、入力取得部９５は、オペレータによるタッチパネル１２Ｂを用いた分離画像の選択のタッチ入力操作を受け付ける。更に、取扱商品等の候補の１つ以上の画像がディスプレイ１２Ａに表示された場合、オペレータによるタッチパネル１２Ｂを用いた商品選択のタッチ入力操作を受け付ける。

オーダ印刷部９６は、キッチンプリンタ４に飲み物の注文を印刷させる。これによりオペレータは、キッチンに出向くことなしに、キッチンに飲み物の注文情報を伝えることができる。オーダ印刷部９６は、キッチンプリンタ４によって飲み物の価格情報も注文内容として出力してもよい。このとき商品注文装置１は、商品の価格を出力する商品価格出力装置としても機能し、価格情報を出力する価格情報出力装置としても機能する。オーダ印刷部９６の詳細な動作は、後記する図８で詳細に説明する。

売上登録部９７は、商品ＩＤに基づいて商品内容データ１０６を参照し、その商品の内容情報を取得して商品の売上登録を行う。商品の内容情報とは、例えば、商品ＩＤ（IDentifier）、商品名、単価、値引き情報等である。具体的には、売上登録部９７は、商品ＩＤおよび、これに対応する商品分類、商品名、単価、販売個数等を一時的にＲＡＭ１０２等に記録して売上の仮登録を行う。売上登録部９７は更に、ＲＡＭ１０２等に記録した売上の仮登録情報を売上マスタ１０７等に記録して、売上登録を行う。

情報出力部９８は、上述のようにして確定された確定商品等の商品ＩＤと、これに対応する商品分類、商品名、単価、販売個数等を顧客用ディスプレイ１１、ディスプレイ１２Ａに表示し、プリンタ１４に出力する。

図４（ａ）〜（ｃ）は、第１の実施形態における画面遷移の例を示す図である。この画面は、ディスプレイ１２Ａ（図２参照）に表示される。
なお、以下の説明では、黒色のコースター５は、コーヒーの注文を意味している。

図４（ａ）は、メロンパン６を載せたトレー３が撮影台１６に置かれたときの画面の例を示す図である。
当初、ディスプレイ１２Ａには、撮影装置１５によるスルー画が表示される。顧客は、トレー３に取扱商品であるパン６（メロンパン）を載せて、このトレー３を撮影台１６に載せる。顧客は、所望の飲み物をオペレータである店員に注文する。
オペレータは、画面右下の撮影ボタンにタッチして撮影を開始すると共に、顧客からホットコーヒー・Ｓサイズの注文を受けると、このトレー３に副提供物である黒色かつ小型のコースター５を載せる。これにより、ディスプレイ１２Ａには、図４（ｂ）の画面が表示される。

図４（ｂ）は、トレー３にコースター５とメロンパン６とが置かれたときの画面の例を示す図である。
図４（ｂ）の例では、黒色かつ小型のコースター５がトレー３に載せられている。この画面でパン６には緑の輪郭（破線で図示）が付与され、パン６の分離画像に対応した取扱商品等が一意に確定されたことを示す。パン６の上には、商品内容を示す「メロンパン・１８０円」のウインドウ６１が表示される。更にコースター５にも緑の輪郭（破線で図示）が付与され、コースター５の分離画像に対応した取扱商品等が一意に確定されたことを示す。コースター５の上には、これに対応する商品内容を示す、「ホットコーヒーＳ・１００円」のウインドウ５１が表示される。
こののちオペレータ（店員）は、取扱商品である飲み物をキッチンから受け取り、コースター５の上に載せて確定ボタンをタッチする。これにより、ディスプレイ１２Ａには、図４（ｃ）の画面が表示される。
なお、オペレータ（店員）が確定ボタンをタッチするタイミングは、コースター５の上に飲み物を載せる前であってもよい。

図４（ｃ）は、精算画面の例を示す図である。
ディスプレイ１２Ａには、商品名と単価と個数とが列挙して表示され、更に合計金額が表示される。オペレータは、画面右下の精算ボタンにタッチして精算を実行し、これら商品の売上げを売上マスタ１０７に登録する。

図５は、第１の実施形態における商品注文装置１の動作を示すアクティビティ図である。
商品注文装置１は、電源がオンされると、モードＭ１０のスルー画表示モードに遷移する。
モードＭ１０は、スルー画表示モードである。このとき商品注文装置１は、撮影装置１５のスルー画をそのままディスプレイ１２Ａに表示する。モードＭ１０において画面上の撮影ボタンがタッチされると、商品注文装置１はモードＭ１１に遷移する。具体的にいうと、このスルー画の表示とは、図４（ａ）に例示した画面である。

モードＭ１１は、商品等認識処理モードである。このとき商品注文装置１は、撮影装置１５による撮影画像にオブジェクト認識処理を行い、取扱商品等を認識する。商品等認識処理の詳細は、後記する図８で詳細に説明する。モードＭ１１において商品等認識処理が終了すると、商品注文装置１はモードＭ１２に遷移する。
モードＭ１２は、認識結果表示モードである。このとき商品注文装置１は、商品等認識処理の結果を表示する。具体的にいうと、この商品等認識処理の結果の表示とは、図４（ｂ）に例示した画面である。

モードＭ１３は、認識結果表示モードにおける判断である。このとき商品注文装置１は、画面上の確定ボタンがタッチされたならば、モードＭ１５に遷移し、画面上の未確定商品にタッチされたならば、モードＭ１４に遷移し、その他の場合は、モードＭ１１に戻り、商品等の認識処理を繰り返す。
モードＭ１４は、候補商品提示モードである。このとき商品注文装置１は、指定された未確定商品の候補を画面に列挙して提示する。モードＭ１０において画面上の候補商品にタッチされると、商品注文装置１はモードＭ１１に遷移する。
なお、モードＭ１４への遷移は、モードＭ１３において未確定商品が存在した場合にのみ遷移可能に制御される。

モードＭ１５は、精算画面表示モードである。このとき商品注文装置１は、精算画面を表示してオペレータに確認を促す。モードＭ１５において精算ボタンにタッチされると、商品注文装置１は、顧客への売上登録の一連の処理を終了する。

図６は、第１の実施形態におけるオブジェクト認識用データ１０５の一例を示す図である。
オブジェクト認識用データ１０５は、取扱商品等に係る特徴量欄１０５ａと、画像リンク欄１０５ｂと、種別欄１０５ｃと、大きさ欄１０５ｄと、位置欄１０５ｅと、方向欄１０５ｆと、商品名欄１０５ｇとを含んで構成される。
特徴量欄１０５ａは、この取扱商品等に係る（パンや副提供物）の種類毎にモデル化された特徴量を格納する。
画像リンク欄１０５ｂは、この取扱商品等に係るリファレンス画像のリンクを格納する。特徴量欄１０５ａに格納された特徴量は、このリファレンス画像の形状、色合い、表面の状態等を示す情報である。類似度判断部９２３は、特徴量欄１０５ａを参照することにより、分離画像に係る物体がどの取扱商品等と類似度が高いかを判断することができる。

種別欄１０５ｃは、この取扱商品等が、取扱商品そのものであるか、または取扱商品を指し示す指標であるかの種別を格納する。本実施形態において取扱商品を指し示す指標は、取扱商品に付随して顧客に提供される副提供物であり、コースター、ストロー、スプーン、箸、砂糖袋、ガムシロップ容器、ミルク容器、ナプキン等である。

大きさ欄１０５ｄは、この取扱商品等のサイズ情報を格納する。確定通知部９３は、この大きさ欄１０５ｄを参照することにより、例えば副提供物であるコースターやストロー、スプーン等の大きさに応じて、それぞれ異なるサイズの取扱商品や、異なる種類の商品をキッチンに注文することが可能となる。

位置欄１０５ｅは、この取扱商品等のトレー上の位置情報を格納する。確定通知部９３は、この位置欄１０５ｅを参照することにより、例えば副提供物であるコースターやストロー、スプーン等の大きさに応じて、それぞれ異なるサイズの取扱商品をキッチンに注文することが可能となる。
方向欄１０５ｆは、この取扱商品等のトレー上の方向情報を格納する。この方向欄１０５ｆを参照することにより、例えば副提供物であるコースターやストロー、スプーン等の載置された向きに応じて、それぞれ異なる取扱商品をキッチンに注文することが可能となる。例えば、縦向き（例えば長方形のトレーにおける短辺に対して平行な向き）に置かれたストローは、取扱商品であるアップルジュースに対応する。また、横向き（例えば長方形のトレーにおける長辺に対して平行な向き）に置かれたストローは、取扱商品であるオレンジジュースに対応するなどである。

商品名欄１０５ｇは、この取扱商品等の商品名を格納する。種別欄１０５ｃに「商品」が格納されているとき、商品名欄１０５ｇには、取扱商品の商品名が格納される。種別欄１０５ｃに「指標」が格納されているとき、商品名欄１０５ｇには、この指標に対応する商品名が格納される。確定通知部９３は、一意に確定した取扱商品等に係る種別欄１０５ｃが「指標」であるとき、キッチンプリンタ４に、前記した指標に対応する商品名欄１０５ｇの注文を印刷させる。

図７は、第１の実施形態における商品内容データ１０６の一例を示す図である。
商品内容データ１０６には、商品の内容情報として、商品名欄１０６ａと、商品画像リンク欄１０６ｂと、単価欄１０６ｃとを含んで構成される。なお、商品内容データ１０６は、これらの欄に限定されず、値引き情報など取扱商品に係る任意の情報欄を含んでもよい。
商品名欄１０６ａには、取扱商品の商品名が格納される。
商品画像リンク欄１０６ｂには、取扱商品の画像リンクが格納される。図５に示した候補商品提示モードにおいて、商品注文装置１の候補商品提示部９４は、この商品画像リンク欄１０６ｂを参照して、候補となる取扱商品の画像を提示する。
単価欄１０６ｃには、取扱商品の単価が格納される。商品注文装置１の売上登録部９７は、この単価欄１０６ｃを参照して、売上を算出する。

図８は、第１の実施形態における商品等認識処理を示すフローチャートである。
顧客がトレー３を撮影台１６に載せて、オペレータがタッチディスプレイ１２上の撮影ボタンをタッチすると、処理部９は、一連の処理を開始する。
ステップＳ２０において、処理部９は、撮影装置１５に撮影オン信号を出力して商品画像のキャプチャ（撮影）を開始する。画像記憶部９１は、撮影装置１５が撮影したフレーム画像（撮影画像）をＲＡＭ１０２に記憶する。
ステップＳ２１において、オブジェクト認識処理部９２は、画像記憶部９１が記憶したフレーム画像に対して、一連のオブジェクト認識処理を行う。この処理において、物体検出部９２１は、取扱商品等である物体の分離画像の認識（検出）を試みる。類似度演算部９２２は、検出した分離画像から特徴量を読み取る。更に類似度判断部９２３が、特徴量の類似度が所定閾値以上となる取扱商品等がオブジェクト認識用データ１０５に存在するか否かを判定する。

具体的にいうと、トレー３にメロンパンと黒コースターとが載っているとき、物体検出部９２１は、メロンパンの分離画像と黒コースターの分離画像とをこれらが載置されている位置情報とともに検出する。類似度演算部９２２は、メロンパンの分離画像と黒コースターの分離画像とから、それぞれの特徴量を読み取る。類似度判断部９２３は、メロンパンの分離画像の特徴量に基づいてオブジェクト認識用データ１０５を検索することにより、即ち、メロンパンの分離画像の特徴量とオブジェクト認識用データ１０５の各特徴量との類似度を判定することにより、このオブジェクトがメロンパンであると判定する。更に類似度判断部９２３は、黒コースターの分離画像の特徴量に基づいてオブジェクト認識用データ１０５を検索することにより、即ち、黒コースターの分離画像の特徴量とオブジェクト認識用データ１０５の各特徴量との類似度を判定することにより、このオブジェクトが黒コースターであると判定する。

ステップＳ２２〜Ｓ３１において、処理部９は、認識したオブジェクトについて処理を繰り返す。この繰り返し処理により、キッチンプリンタ４への注文と売上の仮登録とが行われる。ここで売上の仮登録とは、売上マスタ１０７以外の任意の記憶領域に、この売上情報を一時的に格納することをいう。
ステップＳ２３において、類似度判断部９２３は、このオブジェクトがトレー上に新たに載置された指標であるか否かを判断する。類似度判断部９２３は、このオブジェクトが新たに載置された指標であったならば（Ｙｅｓ）、ステップＳ２４の処理に進み、このオブジェクトが新たに載置された指標でなかったならば（Ｎｏ）、ステップＳ２８の処理に進む。具体的にいうと、商品注文装置１が商品等認識処理を繰り返し実行しているときに、オペレータが新たな副提供物をトレー上に載せたならば、ステップＳ２４〜Ｓ２７の処理が１回だけ行われる。
ステップＳ２４において、類似度判断部９２３は、指標の大きさ、位置、方向（向き）を判断する。ここで指標とは、認識した副提供物のことをいう。

ステップＳ２５において、類似度判断部９２３は、オブジェクト認識用データ１０５を検索して指標の大きさ、位置、方向に対応する商品名や商品ＩＤ（不図示）を決定し、商品内容データ１０６を検索してこの商品の商品単価を決定する。これにより、商品注文装置１は、この商品を確定することができる。即ち、類似度判断部９２３は、副提供物の載置された位置または／および載置された向きに対応づけられてオブジェクト認識用データ１０５に記憶されている取扱商品を決定する。
ステップＳ２６において、売上登録部９７は、確定した取扱商品の商品ＩＤや商品名等を仮登録する。
ステップＳ２７において、オーダ印刷部９６は、確定した取扱商品である飲み物の商品名等をキッチンプリンタ４に印刷させる。ここで飲み物の商品名等は、商品の注文情報である。これによりオーダ印刷部９６は、飲み物をキッチンに注文することができる。ステップＳ２７の処理が終了すると、ステップＳ３１の処理に進む。

ステップＳ２８において、類似度判断部９２３は、このオブジェクトがトレー上に新たに載置された取扱商品であるか否かを判断する。処理部９は、このオブジェクトが新たに載置された取扱商品であったならば（Ｙｅｓ）、ステップＳ２９の処理に進み、このオブジェクトが新たに載置された取扱商品でなかったならば（Ｎｏ）、ステップＳ３１の処理に進む。
ステップＳ２９において、類似度判断部９２３は、オブジェクト認識用データ１０５を検索してオブジェクトに対応する商品名や商品ＩＤを決定し、商品内容データ１０６を検索してこの取扱商品の商品単価を読み出す。これにより、商品注文装置１は、この取扱商品を確定することができる。
ステップＳ３０において、売上登録部９７は、確定した取扱商品の商品ＩＤ等を仮登録する。

ステップＳ３１において、処理部９は、認識した全オブジェクトについて処理を繰り返したか判断する。処理部９は、認識した全オブジェクトについて処理を繰り返していなかったならば（Ｎｏ）、ステップＳ２２の処理に戻り、認識した全オブジェクトについて処理を繰り返したならば（Ｙｅｓ）、ステップＳ３２の処理に進む。
ステップＳ３２において、確定通知部９３は、タッチディスプレイ１２と顧客用ディスプレイ１１とに商品名と単価とを表示する。
このときにおいても、商品注文装置１は、商品の価格を出力する商品価格出力装置として機能する。
ステップＳ３３において、処理部９は、確定ボタンがタッチされたか否かを判断する。処理部９は、確定ボタンがタッチされていないと判断したならば（Ｎｏ）、ステップＳ２０の処理に戻り、確定ボタンがタッチされたと判断したならば（Ｙｅｓ）、図８の処理を終了する。
このように処理することにより、商品注文装置１は、オペレータがトレー３上にコースター５等の副提供物を載せるごとに、この副提供物が指し示す飲み物の注文情報をキッチンプリンタ４に印刷させることができるので、オペレータは、キッチンに出向くことなしに、キッチンに飲み物の注文情報を伝えることができる。更に商品注文装置１は、この飲み物を売上登録することができる。
なお、顧客は、副提供物で指し示された飲み物等を注文を行った会計カウンタで受けとってもよいし、この会計カウンタとは別の商品受取カウンタで受け取れるようにしてもよい。この場合オペレータは、顧客が持つトレーに載置されている副提供物を目で見て確認することにより、多数の顧客が商品受取カウンタに居た場合でも、真の引渡し相手を比較的容易に識別することができる。

（第２の実施形態）
第１の実施形態において、コースター等の副提供物は、単体毎にこの副提供物が提供されることとなる取扱商品を指し示す場合について説明したが、第２の実施形態では、複数の副提供物の組み合わせで取扱商品を指し示す場合について説明する。

図９（ａ）〜（ｃ）は、第２の実施形態における画面遷移の例を示す図である。
図９（ａ）は、トレー３にコースター５とメロンパン６とが置かれたときの画面の例を示す図である。
図９（ａ）の画面例では、黒色の小型のコースター５がトレー３に載せられている。この画面でコースター５には、例えば赤色の輪郭が付与され、コースター５の分離画像に対応した取扱商品等が確定していないことを示している。コースター５の上には、これに対応する商品の更なる詳細分類または属性を示す、「コーヒーＳ・ホット／アイス？」のウインドウ５１が表示される。
商品注文装置１は、赤色の輪郭により商品の大分類が特定されたものの詳細分類までは未確定であることを示している。これによりオペレータは、商品の詳細分類または属性が未確定であることを容易に視認可能である。更に商品注文装置１は、商品に係る未確定情報を示す「ホット／アイス？」を表示する。これによりオペレータは、この未確定情報である「ホット／アイス？」を補完するように副提供物を選択することができる。

パン６には、例えば緑の輪郭が付与され、パン６の分離画像に対応した取扱商品等が一意に確定されたことを示す。パン６の上には、ウインドウ６１が表示され、このウインドウ６１内には商品内容として例えば「メロンパン・１８０円」が表示される。
こののちオペレータ（店員）は、飲み物がホットのときに用いられるマドラーと砂糖袋とをトレー３に載せる。これにより、ディスプレイ１２Ａには、図９（ｂ）の画面が表示される。

図９（ｂ）は、トレー３にコースター５とメロンパン６とが置かれ、更にマドラー５ａと砂糖袋５ｂとが置かれたときの画面の例を示す図である。
この画面でコースター５、マドラー５ａ、砂糖袋５ｂには、それぞれ緑色の輪郭が付与され、各分離画像に対応した取扱商品等が一意に確定したことを示す。コースター５の上には、これに対応する商品の内容を示す、「ホットコーヒーＳ・１００円」のウインドウ５１が表示される。
こののちオペレータ（店員）は、取扱商品であるホットコーヒー・Ｓサイズをキッチンから受け取り、コースター５の上に載せて確定ボタンをタッチする。これにより、ディスプレイ１２Ａには、図９（ｃ）の画面が表示される。
なお、オペレータ（店員）が確定ボタンをタッチするタイミングは、コースター５の上に飲み物を載せる前であってもよい。

図９（ｃ）は、精算画面の例を示す図であり、図４（ｃ）の精算画面と同様である。オペレータは、画面右下の精算ボタンにタッチして精算を実行し、これら商品の売上げを登録する。

図１０は、第２の実施形態におけるオブジェクト認識用データ１０５Ａの一例を示す図である。第１の実施形態のオブジェクト認識用データ１０５と同一の要素には同一の符号を付与している。
第２の実施形態のオブジェクト認識用データ１０５Ａは、第１の実施形態のオブジェクト認識用データ１０５と同様な欄に加えて、商品指定欄１０５ｈを含んで構成される。
この商品指定欄１０５ｈには、商品指定に係る未確定な詳細情報と、この未確定な詳細情報を補完する属性情報とが格納される。商品指定に係る未確定な詳細情報とは、例えば「ホット／アイス未確定」のような確定されていないことを示す報知内容のことをいう。この未確定な詳細情報を補完する属性情報とは、例えば「アイス指定」または「ホット指定」のような確定されていることを示す報知内容のことをいう。
つまり、取扱商品の大分類を指し示す副提供物と取扱商品の属性を指し示す副提供物とを予め定めておき、取扱商品の大分類を指し示す副提供物に対しては商品指定欄１０５ｈに商品指定に係る未確定な詳細情報を割り当て、取扱商品の属性を指し示す副提供物に対しては商品指定欄１０５ｈに未確定な詳細情報を補完する属性情報を割り当てている。そして、このように設定することにより、複数の副提供物をマトリクス的に組み合わせて、よりわかり易く種々の取扱商品を指し示すことが可能になる。

第２の実施形態でオペレータは、副提供物である黒コースターとマドラーの組み合わせ、または、黒コースターと砂糖袋の組み合わせ、黒コースターと粉末クリームの組み合わせにより、商品であるホットコーヒーをキッチンに注文することができる。このように副提供物の組み合わせで取扱商品を指定するので、より多くの取扱商品に対してまたはより詳細に取扱商品を指定することができる。
更に、副提供物に、商品の属性を指定するという意味を持たせているので、オペレータは、容易にこの副提供物と提供商品との関係を学習することができる。

オペレータは更に、取扱商品であるアイスコーヒーをキッチンに注文するときには、副提供物である黒コースターと、ストロー、ガムシロップ容器、液体クリーム容器のうちいずれかとの組み合わせをトレー３上に載せてもよい。
これに限られず、オペレータが取扱商品であるホットドリンクをキッチンに注文するときには、副提供物であるマドラーで飲み物の種類を指定し、これと砂糖袋または粉末クリーム袋を組み合わせて、この飲み物がホットであることを指定してもよい。更に、砂糖袋と粉末クリーム袋を組み合わせて、所定のホットドリンクを指定してもよい。

オペレータが取扱商品であるコールドドリンクをキッチンに注文するときには、副提供物であるストローで飲み物の種類を指定し、これとガムシロップまたは液体クリームを組み合わせて、この飲み物がアイスであることを指定してもよい。更に、ガムシロップと液体クリームを組み合わせて、所定のコールドドリンクをキッチンに注文してもよい。

図１１は、第２の実施形態における商品等の認識処理を示すフローチャートである。図８に示す第１の実施形態のフローチャートと同一の要素には同一の符号を付与している。
顧客がトレー３を撮影台１６に載せて、オペレータがタッチディスプレイ１２上の撮影ボタンをタッチすると、処理部９は、一連の処理を開始する。
ステップＳ２０，Ｓ２１の処理は、図８に示したステップＳ２０，Ｓ２１の処理と同様である。

ステップＳ２２〜Ｓ３１において、処理部９は、認識したオブジェクトについて処理を繰り返す。この繰り返し処理により、キッチンプリンタ４への注文と売上の仮登録とが行われる。
ステップＳ２３〜Ｓ２５の処理は、図８に示したステップＳ２３〜Ｓ２５の処理と同様である。
ステップＳ２５Ａにおいて、類似度判断部９２３は、ステップＳ２５の処理によって取扱商品の指定が構成完了されたか否かを判断する。ここで、類似度判断部９２３は、副提供物によって取扱商品が指定され、かつ商品指定にかかる未確定な情報が全て補完されていることにより、取扱商品の指定が構成完了されていると判断する。具体的にいうと、トレー３上にコースター５のみが載せられているときには、コーヒーＳサイズがアイス／ホットのうちいずれかが未確定であり、取扱商品の指定が構成完了されていない。トレー３上に更にマドラー５ａが載せられたならば、アイスコーヒーであることが確定する。このとき類似度判断部９２３は、取扱商品の指定が構成完了されていると判断する。
類似度判断部９２３は、新たに取扱商品の指定が構成完了されたと判断したならば（Ｙｅｓ）、ステップＳ２６の処理に進み、新たな取扱商品の指定が構成完了されていないと判断したならば（Ｎｏ）、ステップＳ３１の処理に進む。

ステップＳ２６〜Ｓ３３の処理は、図８に示したステップＳ２６〜Ｓ３３の処理と同様である。
このように処理することにより、複数の副提供物で取扱商品を指定することが可能となり、より多くの取扱商品に対してまたはより詳細に取扱取扱商品を指定することができる。

図１２は、第２の実施形態における商品注文装置１の動作を示すアクティビティ図である。図５に示す第１の実施形態のアクティビティ図と同一の要素には同一の符号を付与している。
モードＭ１０〜Ｍ１４は、第１の実施形態と同様である。モードＭ１３において、商品注文装置１は、画面上の確定ボタンがタッチされたならば、モードＭ１６に遷移する。
モードＭ１６は、認識結果表示モードにおける第２の判断である。このとき商品注文装置１は、未確定の商品が存在するならば、即ち、副提供物の組み合わせが完了しておらず取扱商品の指定が中途な状態となっていることにより未注文の商品が存在するならば、モードＭ１７に遷移し、未注文の商品が存在しないならば、モードＭ１５に遷移する。

モードＭ１７は、補完情報入力モードである。このとき商品注文装置１は、未確定の商品情報を補完する情報を入力する画面を強調表示する。商品注文装置１は、補完情報が入力されたならば、モードＭ１８に遷移する。
具体的にいうと、コーヒーが注文され、ホット／アイスが未確定であったならば、このコーヒーがホット／アイスのうちいずれかを入力する画面を表示する。オペレータは、ホット／アイスの属性を入力することにより、補完情報を入力する。また、これに限られず、ホット／アイスのうちいずれかを示すストロー、マドラー、砂糖袋、ガムシロップ容器などをトレー３に載せてもよい。

モードＭ１８において、商品注文装置１は、キッチンへの注文処理を行う。オーダ印刷部９６は、未注文の商品である飲み物の商品名等をキッチンプリンタ４に印刷させる。商品注文装置１は、モードＭ１８の処理が終了すると、モードＭ１５に遷移する。
モードＭ１５は、第１の実施形態と同様な精算画面表示モードである。このとき商品注文装置１は、精算画面を表示してオペレータに確認を促す。モードＭ１５において精算ボタンにタッチされると、商品注文装置１は、顧客への売上登録の一連の処理を終了する。
このように処理することで、飲み物が未注文のまま確定ボタンがタッチされても、オペレータに補完情報を入力させる画面を表示して、漏れなくキッチンに飲み物を注文することができる。
なお、副提供物の組み合わせが完了しておらず取扱商品の指定が中途な状態となっている期間は、確定ボタンに対するタッチ操作を無効化する構成としてもよい。
また、第２の実施形態においても、第１の実施形態と同様に、複数の副提供物が載置された位置または／および載置された向きに対応づけて互いに異なる取扱商品が指定される構成としてもよい。

（変形例）
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ）〜（ｅ）のようなものがある。

（ａ） 商品注文装置は、パン以外の食品、例えばキャベツやにんじん等に代表される野菜や、リンゴや梨等に代表される果物や、ちくわ・天ぷら等に代表される調理品を認識するように動作してもよい。つまり、形態として完全な同一物ではないが、同じような似通った形態を有する製造物・生産品が、オブジェクト認識を利用した商品注文装置の認識対象となり得る。
（ｂ） 上記実施形態では、店内で飲食可能なベーカリーを前提としている。しかし、これに限られず、ハンバーガやチキン、ドーナッツ、サンドイッチ等を提供するファーストフード店に適用してもよい。
（ｃ） 上記実施形態では、コースター、ストロー、スプーン、砂糖袋、ガムシロップ容器、ミルク容器等によって取扱商品である飲み物を注文している。しかし、これに限られず、取扱商品は、食べ物または飲食物以外であってもよい。また、副提供物としては、例えば取扱商品と共に提供するフォーク、ナイフ、レンゲ、紙エプロンであってもよく、限定されない。
（ｄ） 第２の実施形態では、未確定の商品情報が存在し、かつ確定ボタンをタッチしたときには、モードＭ１７に示す補完情報入力モードに遷移している。しかし、これに限られず、未確定の商品は、デフォルトの情報で補完してキッチンへの注文処理を行うように処理してもよく、限定されない。
（ｅ） 上記実施形態では、バックライトによって半透明なトレー上のパンやコースターなどを照らして撮影している。しかし、これに限られず、不透明なトレーを使い、上方からの照明によってトレー上のパンやコースターなどを照らして撮影してもよい。

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
商品と共に顧客に提供される副提供物が載置される所定の位置または／および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて記憶されている記憶手段と、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または／および載置された向きに対応づけられて前記記憶手段に記憶されている商品の注文情報を出力する制御手段と、
を備えたことを特徴とする商品注文装置。
＜請求項２＞
前記制御手段は、副提供物が新たに認識される度に商品の注文情報を出力する、
ことを特徴とする請求項１に記載の商品注文装置。
＜請求項３＞
商品と共に顧客に提供される副提供物が載置される所定の位置または／および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて、予め記憶手段に記憶させておくステップと、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または／および載置された向きに対応づけられて前記記憶手段に記憶されている商品の注文情報を出力するステップと、
を有することを特徴とする商品注文方法。
＜請求項４＞
商品と共に顧客に提供される副提供物が載置される所定の位置または／および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて記憶されている記憶手段と、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または／および載置された向きに対応づけられて前記記憶手段に記憶されている商品の価格情報を出力する制御手段と、
を備えたことを特徴とする商品価格出力装置。
＜請求項５＞
商品と共に顧客に提供される副提供物か載置される所定の位置または／および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて、予め記憶手段に記憶させておくステップと、
撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または／および載置された向きに対応づけられて前記記憶手段に記憶されている商品の価格情報を出力するステップと、
を有することを特徴とする商品価格出力方法。
＜請求項６＞
商品と共に顧客に提供される複数の副提供物の組み合わせ毎に、該複数の副提供物の組み合わせと共に顧客に提供されることとなる商品が対応付けて記憶されている記憶手段と、
撮像手段によって撮像された物体が、商品と共に顧客に提供される複数の副提供物の組み合わせであると前記物体の画像情報に基づいて識別された場合に、該識別された複数の副提供物の組み合わせに対応付けられて前記記憶手段に記憶されている商品の注文情報を出力する制御手段と、
を備えたことを特徴とする商品注文装置。
＜請求項７＞
商品と共に顧客に提供される複数の副提供物の組み合わせ毎に、該複数の副提供物の組み合わせと共に顧客に提供されることとなる商品が対応付けて、予め記憶手段に記憶させておくステップと、
撮像手段によって撮像された物体が、商品と共に顧客に提供される複数の副提供物の組み合わせであると前記物体の画像情報に基づいて識別された場合に、該識別された複数の副提供物の組み合わせに対応付けられて前記記憶手段に記憶されている商品の注文情報を出力するステップと、
を有することを特徴とする商品注文方法。
＜請求項８＞
商品と共に顧客に提供される複数の副提供物の組み合わせ毎に、該複数の副提供物の組み合わせと共に顧客に提供されることとなる商品が対応付けて記憶されている記憶手段と、
撮像手段によって撮像された物体が、商品と共に顧客に提供される複数の副提供物の組み合わせであると前記物体の画像情報に基づいて識別された場合に、該識別された複数の副提供物の組み合わせに対応付けられて前記記憶手段に記憶されている商品の価格情報を出力する制御手段と、
を備えたことを特徴とする価格情報出力装置。
＜請求項９＞
商品と共に顧客に提供される複数の副提供物の組み合わせ毎に、該複数の副提供物の組み合わせと共に顧客に提供されることとなる商品が対応付けて、予め記憶手段に記憶させておくステップと、
撮像手段によって撮像された物体が、商品と共に顧客に提供される複数の副提供物の組み合わせであると前記物体の画像情報に基づいて識別された場合に、該識別された複数の副提供物の組み合わせに対応付けられて前記記憶手段に記憶されている商品の価格情報を出力するステップと、
を有することを特徴とする価格情報出力方法。

１ 商品注文装置
１０１ ＣＰＵ （制御手段の一例）
１０２ ＲＡＭ
１０３ ＲＯＭ
１０４ 記憶部 （記憶手段の一例）
１０５ オブジェクト認識用データ （記憶手段の一例）
１０６ 商品内容データ
１０７ 売上マスタ
１１ 顧客用ディスプレイ
１２ タッチディスプレイ
１２Ａ ディスプレイ
１２Ｂ タッチパネル
１３ キャッシュドロワ
１４ プリンタ
１５ 撮影装置 （撮影手段の一例）
１５１ 撮影領域
１６ 撮影台
１７ バックライト光源
１８ 通信部
１９ スピーカ
３ トレー
４ キッチンプリンタ
５ コースター （副提供物の一例）
５ａ マドラー （副提供物の一例）
５ｂ 砂糖袋 （副提供物の一例）
５１ ウインドウ
６ パン （取扱商品の一例）
６１ ウインドウ
９ 処理部
９１ 画像記憶部
９２ オブジェクト認識処理部
９２１ 物体検出部
９２２ 類似度演算部
９２３ 類似度判断部
９３ 確定通知部
９４ 候補商品提示部
９５ 入力取得部
９６ オーダ印刷部
９７ 売上登録部
９８ 情報出力部

Claims (7)

1. 商品と共に顧客に提供される副提供物が載置される所定の位置または／および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて記憶されている記憶手段と、
   撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または／および載置された向きに対応づけられて前記記憶手段に記憶されている商品の注文情報を出力する制御手段と、
   を備えたことを特徴とする商品注文装置。
2. 前記制御手段は、副提供物が新たに認識される度に商品の注文情報を出力する、
   ことを特徴とする請求項１に記載の商品注文装置。
3. 商品と共に顧客に提供される副提供物が載置される所定の位置または／および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて、予め記憶手段に記憶させておくステップと、
   撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または／および載置された向きに対応づけられて前記記憶手段に記憶されている商品の注文情報を出力するステップと、
   を有することを特徴とする商品注文方法。
4. 商品と共に顧客に提供される副提供物が載置される所定の位置または／および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて記憶されている記憶手段を備えたコンピュータを、
   撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または／および載置された向きに対応づけられて前記記憶手段に記憶されている商品の注文情報を出力する制御手段、
   として機能させることを特徴とするプログラム。
5. 商品と共に顧客に提供される副提供物が載置される所定の位置または／および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて記憶されている記憶手段と、
   撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または／および載置された向きに対応づけられて前記記憶手段に記憶されている商品の価格情報を出力する制御手段と、
   を備えたことを特徴とする商品価格出力装置。
6. 商品と共に顧客に提供される副提供物か載置される所定の位置または／および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて、予め記憶手段に記憶させておくステップと、
   撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または／および載置された向きに対応づけられて前記記憶手段に記憶されている商品の価格情報を出力するステップと、
   を有することを特徴とする商品価格出力方法。
7. 商品と共に顧客に提供される副提供物が載置される所定の位置または／および載置される所定の向きごとに、載置された当該副提供物と共に顧客に提供されることとなる商品が互いに異なるように対応づけて記憶されている記憶手段を備えたコンピュータを、
   撮影手段によって撮影された物体が、商品と共に顧客に提供される副提供物であると前記物体の画像情報に基づいて認識された場合に、当該副提供物の載置された位置または／および載置された向きに対応づけられて前記記憶手段に記憶されている商品の価格情報を出力する制御手段、
   として機能させることを特徴とするプログラム。

Images