JP3544793B2 - 飲食代金自動精算装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、食堂などにおける飲食代金の自動精算装置に係り、特にカフェテリア方式の食堂に好適な飲食代金の自動精算装置に関する。
【０００２】
【従来の技術】
カフェテリア形式の食堂においては、多種類用意してある総菜などの調理済み食品を利用者が自由に選択して食事に供するようになっており、このため、利用者が選択した食品の種類に応じて代金（料金）が異なってくるため、代金精算の自動化が困難である。
【０００３】
しかして、この命題に取組み、代金の精算を自動的に行うようにした自動精算装置が、従来から種々提案されているが、これらの従来技術は、いずれも食品の種類に応じて使用する食器の種類を決め、それに価格を設定しておき、食器を判別することにより代金の自動精算を行うようになっていた。
【０００４】
例えば特開昭５５−４７５５８号公報では、食器を取り分けるトレイ（盆）の材質を透明体、或いは半透明体とし、このトレイに乗せられている食器を下からテレビカメラによって撮像し、食器の底面（糸じり）の大きさを検出することにより食器を判別し、食器毎に予め設定されている価格によって代金を精算する方法について提案している。
【０００５】
しかして、このように、底面の大きさだけに頼っていたのでは、判別可能な食器の種類が限られてしまう。
そこで、特公平５−７７４５号公報では、使用する食器の糸じりに識別可能な標識を付加し、これにより識別可能な食器の種類を増やすことができるようにした装置について提案している。
【０００６】
一方、特開平４−３０４５９７号公報では、トレイの上に乗せられている食器を、上方からテレビカメラによって撮像し、食器の平面形状によって食器を判別し、食器毎に予め設定されている価格によって代金を精算する装置について提案している。
【０００７】
【発明が解決しようとする課題】
従来技術は、判別可能な食器の種類を多くする点についての配慮がされておらず、メニュー（総菜の種類）が多い食堂の代金自動精算には適用が困難になるという問題があった。
すなわち、従来技術では、食器の２次元的な形状にだけ着目して識別していたので、識別可能な食器の種類に限度があり、このため、食器の種別多様化に対応するのが困難になってしまうのである。
【０００８】
一方、食器に標識を付加する方法では、そのために食器に加工を施す必要があり、この結果、以下の問題があった。
すなわち、食器に標識を付加するためには余分なコストが掛かり、特に利用者数の多い食堂では、使用している食器数が多いため、多大のコストを要する。 さらに、この方法では、食器の洗浄により標識が消失してゆく虞れがあり、食器の反復利用回数に制限が生じ、さらにコストの上昇がもたらされてしまうという問題があった。
【０００９】
本発明の目的は、食器に特別な加工を要することなく、判別可能な食器の種類が充分に増やせるようにした食堂用代金自動精算装置を提供することにある。
【００１０】
【課題を解決するための手段】
本発明は、上記目的を達成するため、食器取り分け用の盆を上方から撮像した画像データに基づいて、当該盆に載置された食器の種別と個数を判別して飲食代金を自動的に精算する方式の飲食代金自動精算装置において、上記画像データの検出手段として、スリット光を一方向に振って前記盆の全体を走査する照明手段と上記食器によって反射された上記スリット光の反射光を撮像する撮像手段とを備え、上記照明手段による照明光軸と上記撮像手段による撮像光軸とに角度を持たせ、上記撮像手段にて撮像された上記画像データから上記食器の平面形状に関する情報と高さ方向の情報とを検出し、これら平面形状に関する情報と高さ方向の情報とに基づいて上記食器の種別を判定識別するという構成にした。
また、上記構成の飲食代金自動精算装置において、上記照明手段として液晶プロジェクタを用いると共に、上記撮像手段としてテレビカメラを用いるという構成にした。
すなわち、食器の平面的な形状だけでなく、更にその高さを情報として取り込むことにより、例えばラーメン用の食器と大きな平皿といった、２次元形状が同じでも、高さが異なった食器の識別が可能になるので、判別可能な食器の種類が充分に増やせるのである。
【００１１】
このとき、本発明では、食器の高さを情報として取り込むため、３角測量の原理を用いた検出手段を用いるようになっている。
図２は、本発明で、食器の高さを情報として取り込むために用いた光学系の一例で、パターン照射装置３により、照射面にスリット状の照明が得られるように平板状の光を発生させ、これにより、トレイ６の上に載置されている茶碗や皿などの食器８ａ、８ｂにスリット光９ａ、９ｂを照射し、この照射部分をテレビカメラ２により撮像して画像信号を得るようになっている。
【００１２】
このとき、テレビカメラ２の撮像光軸Ｘと、パターン照射装置３の照射光軸Ｙに、図示のように、一定の角度θ_０を付けておき、この状態で撮像する。
そうすると、その画像は図３に示すようになり、食器の高い部分に照射された光は、トレイ６の表面の光からずれ、例えば図示のように、右側に観測される。
【００１３】
そして、このときのスリット光の照射角度と光のずれの程度により、光が照射された位置の高さ、すなわち、食器の高さを計算することができる。
この図３の例では、茶碗などの食器８ａの部分の光のずれかたが、皿などの食器８ｂより大きいので、食器８ａの高さの方が高いことが判別できる。
【００１４】
そして、このとき、矢印Ａに示すように、スリット光９ａ、９ｂを左から右に振りながら照射してトレイ６全体を走査することにより、トレイ６の表面からの高さ方向の情報を含んだ画像データが生成され、従って、この画像データの解析により３次元的な食器の種別判別ができるようになり、メニューの多様化に容易に対応することができる。
【００１５】
【発明の実施の形態】
以下、本発明による飲食代金自動精算装置について、図示の実施形態により詳細に説明する。
図１は、本発明の一実施形態を示す全体構成図で、図において、１は認識装置で、コンピュータを備え、食器の認識と代金の清算に必要な所定の処理を実行する。
テレビカメラ２とパターン照射装置３は、既に図２、図３で説明した通りで、互いに角度をもってスリット光の照射と画像データの取り込みを行う。
【００１６】
この実施形態例では、このパターン照射装置３として６４０×４８０ドットの光点の照射が可能な液晶プロジェクタを用いており、これにより６４０本のスリット光、すなわち、６４０種類の角度が異なった方向にスリット光を発生させるようになっている。そして、このときのテレビカメラ２とパターン照射装置３の角度θ_０は約２８°に設定配置されている。
【００１７】
次に４はカードリーダで、食堂利用者が提示したＩＤカードの読み取り用である。
５はタッチパネルで、認識した結果と清算された代金の表示を行うと共に、画面上に設定されたタッチスイッチを備え、これにより食堂利用者からのデータ入力を可能にしている。
【００１８】
６はトレイで、上記したように、食堂利用者は、総菜などの飲食物が盛りつけられた食器８ａ、８ｂを選択し、それらをこのトレイ６に乗せ、食事に供するため持ち運ぶようになっている。
７は精算用の台で、食堂利用者は、この台７の上に持ち運び途中のトレイ６を置き、精算を待つのである。
【００１９】
次に、この実施形態例の動作について説明する。
まず、食堂利用者は、各種のメニューを選択し、選んだ総菜などの食品が盛られた食器８ａ、８ｂをトレイ６に取り、台７の上に持ってきて置く。
その後、自分のＩＤカードをカードリーダ４に差し込む。
そして、ＩＤカードのデータが読み取られると食器の認識と代金の清算が行われ、結果がタッチパネル５に表示される。
そこで、食堂利用者は、表示された清算内容を確認し、結果に間違いがなければ、ＩＤカードを抜き取り、これで清算が完了する。
【００２０】
次に認識装置１による処理について説明する。
まず図４は、この認識装置１のハードウエア構成図で、図において、１０はデータバスで、各機器を接続している。
１１はコンピュータのＣＰＵで、この装置での全ての演算を行っている。
【００２１】
１２はＲＯＭで、電源投入時の初期化プログラムが格納されている。
１３はＲＡＭで、この装置で実行するプログラムと演算の途中結果、それにテレビカメラ２から取り込んだ画像データなどが格納されるものである。
【００２２】
１４はシリアルＩ／Ｏで、ＣＰＵ１１は、このシリアルＩ／Ｏ１４を介してカードリーダ４及びタッチパネル５と情報の授受を行う。
１５はカメラインターフェースで、このカメラインターフェース１５は、ＣＰＵ１１からの撮像命令が発行されると、テレビカメラ２の撮像制御を行い、取り込んだ画像データを、バス１０を介してＲＡＭ１３に転送する。
１６は照射制御部で、ＣＰＵ１１の命令によりパターン照射装置３を制御し、種々の角度のスリット光を発生させる。
【００２３】
１７はＤＩＳＫインターフェース、１８はハードディスクで、まずＤＩＳＫインターフェース１７はハードディスク１８のインターフェース用で、次にハードディスク１８は、この装置で実行すべきプログラムと食器の判別に必要な教示データ、食器の金額テーブルなどの格納用である。
そして、このハードディスク１８に格納されているプログラムは、先ず電源投入時、ＲＯＭ１２に格納されているプログラムによってＲＡＭ１３に転送され、以後、ＣＰＵ１１によって実行される。
【００２４】
１９はＬＡＮインターフェースで、上位コンピュータとのデータのやりとりを行う。
この実施形態例では、清算結果は上位コンピュータに転送され、給与からの天引きにより、或いは銀行などの預金からの引き落しにより、実際の代金の決済が行われる。
【００２５】
図５はＣＰＵ１１で実行されるプログラムの全体処理フローである。
この処理は、電源の投入により開始され、まずステップ１０１で初期化が行われる。そして、この初期化処理では、ハードディスク１８に格納されているプログラムと教示データ、金額テーブルなどをＲＡＭ１４に転送し、さらに、Ｉ／Ｏ１４、１５とＬＡＮインターフェース１９の初期化も行う。
【００２６】
次にステップ１０２では、カードリーダ４とタッチパネル５からの入力をチェックし、なんらかの入力があるまで待つ。
そして、タッチパネル５からの終了キーの入力があったときには、ここで処理を終了する。
そして、カードリーダ４からＩＤカードの読み取り入力があったとき、ステップ１０３の処理に進む。
【００２７】
ステップ１０３では食器の種別認識を行う。なお、処理の詳細については後述する。
認識結果は、食器番号として出力される。
ステップ１０４では認識された食器番号から、その食器に決められた代金を計算する。
この代金計算では、図８に示す金額テーブルが用いられる。そして、この金額テーブルには、図８に示されているように、食器番号と食器の名称、それに、その金額が表形式で格納されており、認識された食器番号を用いて代金の合計金額を計算する。
【００２８】
ステップ１０５ではタッチパネル５に金額の表示を行う。表示内容は合計金額と認識した食器の名称、それに、それぞれの金額である。
そして、処理が終了したら、ステップ１０２に戻る。
このとき、カードリーダ４で読み取ったＩＤカードの番号と合計金額が、清算情報としてハードディスク１８に書き込まれ、要求に応じて上位コンピュータに転送される。
【００２９】
図６は、ステップ１０３での食器認識の処理フローである。
まずステップ２０１で高さ画像を生成する。
この高さ画像とは、通常の濃淡画像データでの濃淡情報が食器の高さ情報になっているものである。なお、この高さ画像の生成方法については後述する。
【００３０】
生成された高さ画像の例を図１０に示す。この図１０は、図２のトレイ６と食器８ａ、８ｂの画像を対象としたもので、明るい部分が食器の高くなっている部分を表わしている。
そして、この図１０のＡ−Ａ’での断面図（断面輝度）を表したのが図１１であり、このようにして、画像の各部分の情報を取り出すことによって、その位置と高さを求めることができる。
【００３１】
次にステップ２０２では領域分離処理を行う。
この領域分離処理では、高さがトレイ６の表面から１０ｍｍ以上の部分で２値化して連続領域を検出する。
ステップ２０３では分離された１区画の領域について特徴量の計算を行う。この１区画は食器１個に対応した領域であり、この特徴量として、ここでは、領域の縁の平均高さと領域の面積、領域の周囲長が選ばれており、これらを算出している。
【００３２】
次にステップ２０４では教示データとの比較を行う。
この教示データは、図７に示すテーブルとして予め登録してあり、このテーブルには、図示のように、食器番号、食器の名称、縁の平均高さ、面積、周囲長が登録されている。
【００３３】
そして、算出した特徴量と、このテーブルの各値とを比較し、差が所定の閾値以下になるものを探して一致するものとする。そして、一致したものが見つかったら、ステップ２０５で食器番号の認識結果として登録し、一致するものがなかったときは、ステップ２０６に進む。
【００３４】
ステップ２０６では分離した全領域について処理が完了したかをチェックし、完了していなければステップ２０３に戻り、完了していたときは、ここで処理を終了する。
以上の処理により、トレイ６上の全ての食器についての認識が得られることにる。
【００３５】
次に、図９はステップ２０１での高さ画像生成の処理フローである。
まずステップ３０１で角度θを０にする。
この角度θはパターン照射装置３によるスリット光の照射角度で、従って、角度０は検出領域の走査開始点、つまり、図１の場合、台７の一方の端、例えば図の左端にスリット光の照射位置がくる角度に対応している。
【００３６】
次に、ステップ３０２で照射角度θでのスリット光の照射を行い、ステップ３０３でスリット光が照射された画像の取り込みを行う。
このとき取り込まれた画像は、図３に示すようになる。なお、この図３では、説明を判り易くするため、２本のスリット光９ａ、９ｂが示されているが、実際には、スリット光は１本だけ照射され、順次移動してゆくものである。
【００３７】
次にステップ３０４では高さの計算を行う。この高さの計算は、スリット光による画像を抽出し、スリット光の横方向の位置Ｘを、縦方向の各画素Ｙについて検出して行う。
すなわち、高さＨは、横方向の位置Ｘとスリット光の照射角度θ、テレビカメラ２の位置と傾き角度、パターン照射装置３の位置と傾き角度から、幾何学的計算によって、縦方向の各画素Ｙについて算出される。
【００３８】
ステップ３０５では高さの計算結果を高さ画像に書き込む。具体的には１ラインについて、縦方向の各画素位置Ｙと、横方向の位置Ｘに対応するメモリに、計算した高さＨを書き込んでゆくのである。
【００３９】
次にステップ３０６では角度θを或る微小角度Δθだけ変化させる。この微小角度Δθの値により、高さ画像の横方向分解能が決められる。
ここでは、この微小角度Δθとして、約２ｍｍの横方向分解能に対応する値が設定してある。
【００４０】
ステップ３０７では角度θと最大角度θＭａｘとを比較する。
そして、この角度θが最大角度θＭａｘよりも大きければ、検出領域の走査が終了していることを意味するので、ここで処理を終了する。つまり、この最大角度θＭａｘは、スリット光による照射位置が台７のもう片方の端、例えば、図１では台７の右端になる角度に対応している。
【００４１】
一方、角度θが最大角度θＭａｘ未満のときには、ステップ３０２に戻り、再び微小角度Δθだけ変化させて撮像する処理を繰り替えす。
従って、以上の処理により、微小角度Δθづつ照射角度を変えて画像を取り込むという操作が繰り返され、この結果、例えば、図１のトレイ６と食器８ａ、８ｂの場合には、図１０に示した高さ画像を得ることができる。
【００４２】
従って、以上の実施形態例によれば、以下に列挙する効果が得られる。
▲１▼
食器の認識を３次元情報によって行っているので、使用する食器の種別についての制限が少なく、多種類のメニューの設定が可能である。
例えば、図７の食器番号１の飯椀小と食器番号５の平皿小、食器番号２の飯椀大と食器番号４の平皿中は、平面形状が同一なので、面積、周囲長などの２次元情報だけでは判別できないが、上記実施形態では、高さ情報を用いているので、明確に、しかも確実に判別することができる。
【００４３】
上記実施形態例では、高さの判別性能を約１０ｍｍに調整している。
一方、通常使用される食器の高さは２０ｍｍから１００ｍｍ程度であるので、従来技術のように、平面形状だけに頼っていた場合に比べて、本発明の場合には約９倍のメニューが設定できる。
【００４４】
▲２▼
食器の３次元形状だけで、種別の判別が可能なので、食器に別途、標識などの識別情報を付加する必要がなく、従来から使用していた汎用の食器がそのまま使用できる。
【００４５】
▲３▼
トレイの上側からの撮像だけで済むので、トレイの材質が問わないることはなく、また、単純な濃淡画像情報による識別ではないので、トレイと食器の画像にコントラストを必要としないため、使用するトレイ、食器の相対的な色の制限がなく、従来から使用していた汎用のトレイがそのまま使用できる。
【００４６】
▲４▼
スリット光の照射に液晶プロジェクタを用いているため、可動部が全くなく、保守が容易である。
▲５▼
食器の外形に着目して認識を行っているため、食器に盛られている料理の影響がなく、食前、食後、いずれの清算処理も可能である。
▲６▼
カードによる清算方式になっているので、現金を扱う必要がない。
【００４７】
▲７▼
教示データテーブルと金額テーブルが分離されているため、メニューの設定に際しても、金額テーブルのデータのみを設定すればよく、金額の変更が容易である。
▲８▼
高さ画像を用いているので、例えば高さが１０ｍｍ以上のものだけを検出するようにでき、この結果、特別な処理や設定無しで、箸、スプーンなど、食器以外の物を清算対象外にする処理が得られる。
従って、上記本発明の実施形態によれば、以上のような効果により、カフェテリア方式の食堂において、容易に清算の自動化を図ることができる。
【００４８】
なお、上記実施形態では、スリット光で走査しているが、撮像を高速化するため、光のパターンをコード化し、空間コード法という手法を用いて本発明を実施してもよく、これによれば、精算時間の短縮を図ることができる。
また、上記実施形態では、利用者識別用にＩＤカードを用いているが、カードリーダの変更により、プリペイドカードによる精算にも容易に対応可能なことは言うまでもない。
【００４９】
【発明の効果】
本発明によれば、食器の識別に立体形状情報を用いているので、食器の形状の違いを確実に識別でき、従って、食器に特別な標識を付加することなく、多種類の食器の識別が可能になり、この結果、メニューの数を大幅に増加させることができる。
【００５０】
そして、この結果、本発明によれば、利用者数の多いカフェテリア方式の食堂にも容易に適用可能な飲食代金自動精算装置を提供することができる。
【図面の簡単な説明】
【図１】本発明による飲食代金自動精算装置の一実施形態における全体構成を示すブロック図である。
【図２】本発明の一実施形態の動作原理を示す光学系配置図である。
【図３】本発明の一実施形態による撮像画像の説明図である。
【図４】本発明の一実施形態のハードウエア構成図。
【図５】本発明の一実施形態による全体処理フローの説明図である。
【図６】本発明の一実施形態での食器認識処理フローの説明図である。
【図７】本発明の一実施形態で使用する教示データテーブルの説明図である。
【図８】本発明の一実施形態で使用する金額テーブルの説明図である。
【図９】本発明の一実施形態による高さ画像生成処理フローの説明図である。
【図１０】本発明の一実施形態により得られた高さ画像の一例を示す説明図である。
【図１１】本発明の一実施形態により得られた高さ画像の一例における断面図である。
【符号の説明】
１ 認識装置
２ テレビカメラ
３ パターン照射装置
４ カードリーダ
５ タッチパネル
６ トレイ（盆）
７ 精算用の台
８ａ、８ｂ 食器

Claims (2)

1. 食器取り分け用の盆を上方から撮像した画像データに基づいて、当該盆に載置された食器の種別と個数を判別して飲食代金を自動的に精算する方式の飲食代金自動精算装置において、
   上記画像データの検出手段として、スリット光を一方向に振って前記盆の全体を走査する照明手段と上記食器によって反射された上記スリット光の反射光を撮像する撮像手段とを備え、上記照明手段による照明光軸と上記撮像手段による撮像光軸とに角度を持たせ、上記撮像手段にて撮像された上記画像データから上記食器の平面形状に関する情報と高さ方向の情報とを検出し、
   これら平面形状に関する情報と高さ方向の情報とに基づいて上記食器の種別を判定識別することを特徴とする飲食代金自動精算装置。
2. 上記照明手段として液晶プロジェクタを用いると共に、上記撮像手段としてテレビカメラを用いたことを特徴とする請求項１に記載の飲食代金自動精算装置。

Images