JP5619224B2 - 物品認識装置、物品認識プログラムおよび物品認識システム - Google Patents

物品認識装置、物品認識プログラムおよび物品認識システム Download PDF

Info

Publication number
JP5619224B2
JP5619224B2 JP2013140919A JP2013140919A JP5619224B2 JP 5619224 B2 JP5619224 B2 JP 5619224B2 JP 2013140919 A JP2013140919 A JP 2013140919A JP 2013140919 A JP2013140919 A JP 2013140919A JP 5619224 B2 JP5619224 B2 JP 5619224B2
Authority
JP
Japan
Prior art keywords
article
determination
unit
imaging
arrangement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013140919A
Other languages
English (en)
Other versions
JP2013218732A (ja
Inventor
美菜 小玉
美菜 小玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Priority to JP2013140919A priority Critical patent/JP5619224B2/ja
Publication of JP2013218732A publication Critical patent/JP2013218732A/ja
Application granted granted Critical
Publication of JP5619224B2 publication Critical patent/JP5619224B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/01Details for indicating
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/12Cash registers electronically operated

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)

Description

本発明の実施形態は、物品認識装置、物品認識プログラムおよび物品認識システムに関する。
飲食店などで提供する料理は、盛り付けが均一であることが望まれる。そこで一般的には、調理人がマニュアルに従って規定の盛り付けを行っている。
特開平4−156687号公報 特開2004−206393号公報
飲食店などでは、複数の品目が提供されることが一般的であり、品目毎に標準的な盛り付けが異なる。そこで調理人は、さまざまな品目のそれぞれの標準的な盛り付けを理解し、それに従った盛り付けを行うことになる。
そこで、料理の盛り付けのような物品の外観が、その物品の品目に応じた標準的な外観にどの程度類似しているかを容易に確認できることが望まれていた。
実施形態の物品認識装置は、第1の記憶手段、撮像手段、判定手段、第1の制御手段、第1の比較手段第2の制御手段および第3の制御手段を含む。第1の記憶手段は、盛り付けにより外観が変化する複数の物品の標準的な盛り付けに関する標準データを記憶する。撮像手段は、物品を撮像する。判定手段は、前記撮像手段により撮像された物品に対し、物品を判定する。第1の制御手段は、判定手段による判定結果を表示するように表示デバイスを制御する。第1の比較手段は、判定手段により判定された物品の標準データが表す標準的な盛り付けに対して、撮像手段が撮像した物品の盛り付けが類似する度合いを表す数値と閾値との比較により前記盛りつけの合否を判定する。第2の制御手段は、第1の比較手段による判定の結果を表す画像を表示するように表示デバイスを制御する。第3の制御手段は、第1の比較手段による判定の結果が不合格であり、修正した盛り付けの再判定の指示を受け付けことに応じて、判定手段による判定は再実行させずに、撮像手段による撮像および第1の比較手段による比較を再実行させる。
一実施形態に係る盛り付け検査装置のブロック図。 一実施形態に係る盛り付け検査装置の外観の斜視図。 図1中のコントローラのフローチャート。 選択画面の一例を示す図。 確認画面の一例を示す図。 不合格画面の一例を示す図。 クラウドシステムを利用する外観検査システムの構成を示す図。
以下実施の形態の一例を図面を用いて説明する。なお、本実施の形態では、外観検査装置として盛り付け検査装置100を例に説明する。
図1は本実施形態に係る盛り付け検査装置100のブロック図である。図2は盛り付け検査装置100の外観の斜視図である。
盛り付け検査装置100は、スキャナ1、計量器2、ディスプレイ3、タッチセンサ4、記憶デバイス5、コントローラ6、筐体7およびトレー8を含む。
スキャナ1、計量器2、記憶デバイス5およびコントローラ6は、筐体7の内部に配置される。筐体7は、機能的には下部筐体7a、中間筐体7bおよび上部筐体7cに区分できる。つまり筐体7は、下部筐体7aと上部筐体7cとが互いに対向するとともに下部筐体7aと上部筐体7cとの間に空間を形成するような状態で、これら下部筐体7aと上部筐体7cとを中間筐体7bが支持している。そして盛り付け検査装置100は、図2に示すように上部筐体7cが下部筐体7aの情報に位置するような姿勢で使用される。
スキャナ1は、上部筐体7cの内部に取り付けられている。スキャナ1は、トレー8の上方を俯瞰撮像することによって、このトレー8に載置された被検物の外観を表した画像データを得る。トレー8は、被検物となる食品を載置するためのもので、下部筐体7aの上面に位置し、鉛直方向に移動可能である。
計量器2は、下部筐体7aの内部に取り付けられている。計量器2は、トレー8に載置された被検物の重量によるトレー8の鉛直方向の移動に伴って生じる押圧力に基づいて被検物の重量を計測する。そして計量器2は、計測した重量を表した重量データを出力する。
ディスプレイ3は、その表示面を筐体7の外部に露出する状態で筐体7の任意の位置に取り付けられている。なお図2の例では、ディスプレイ3は下部筐体7aの側面に取り付けられている。ディスプレイ3は、コントローラ6による制御の下にさまざまな情報を表示する。ディスプレイ3としては様々な表示デバイスを利用可能であるが、典型的には液晶表示器である。
タッチセンサ4は、ディスプレイ3の表示画面に重ねて配置される。タッチセンサ4は、ディスプレイ3の表示画面へのタッチがなされた場合に、そのタッチがなされた位置を表した検出データを出力する。
記憶デバイス5は、コントローラ6が処理を実行するために必要な各種のデータを記憶する。記憶デバイス5が記憶するデータには、複数の品目のそれぞれに関する標準データおよび許容重量データを含む。標準データは、各品目の料理の標準的な外観を表す。標準データは、模範的な盛り付けがなされた料理をスキャナ1などによって実際に撮像して得られた画像データであっても良いし、模範的な盛り付けがなされた料理をコンピュータグラフィックスなどにより表す画像データであっても良い。標準データは、複数の品目のそれぞれに関するものが、それぞれ品目に関連付けて記憶デバイス5に記憶される。許容重量データは、各品目の料理の重量として許容される範囲を表す。許容重量データは例えば、下限重量および上限重量のそれぞれを表す情報とする。ただし、各品目で許容範囲の大きさを同じにするならば、許容重量データは許容範囲の下限重量、上限重量および中心重量のうちのいずれか1つのみを表す情報としても良い。すなわち許容重量データは、許容範囲を特定できる情報であれば如何なる情報であっても良い。許容重量データは、複数の品目のそれぞれに関するものが、それぞれ品目に関連付けて記憶デバイス5に記憶される。
コントローラ6は、トレー8に載置された食品の盛り付けの合否判定のための処理を行う。コントローラ6は、例えばコンピュータに後述する処理を定義したプログラムを実行させることによって実現される。なおプログラムは、コントローラ6に含まれるメモリまたは記憶デバイス5に記憶される。
次に以上のように構成された盛り付け検査装置100の動作について説明する。
図3はコントローラ6のフローチャートである。盛り付け検査装置100の電源が投入されてコントローラ6が起動すると、コントローラ6は図3に示す処理を開始する。
ステップSa1においてコントローラ6は、ディスプレイ3の表示画面を初期画面とする。初期画面は任意でよいが、例えばトレー8に検査の対象とする料理を載置した上で初期画面中の開始ボタンをタッチすることをユーザに促すメッセージと、上記の開始ボタンとを含んだ画面とすることが考えられる。
ユーザは料理の盛り付けについて検査したい場合、当該料理をトレー8に載置した上で、初期画面中の開始ボタンにタッチする。
ステップSa2においてコントローラ6は、ユーザにより開始指示がなされるのを待ち受ける。そして、例えば初期画面に含まれた開始ボタンをタッチするなどして開始指示がなされたことをタッチセンサ4が出力する検出データに基づいて認識したならば、コントローラ6はステップSa2からステップSa3へ進む。
ステップSa3においてコントローラ6は、トレー8に載置された料理を撮像するようにスキャナ1を動作させる。
ステップSa4においてコントローラ6は、スキャナ1が撮像して得た画像データを被検品データとして取り込む。
ステップSa5においてコントローラ6は、被検品データに対するオブジェクト認識処理によって、トレー8に載置された料理の品目を判定する。オブジェクト認識処理には、周知の技術をそのまま利用することができる。
オブジェクト認識処理では、1つのみの品目を判定できる場合もあるが、1つのみの品目を特定できずに複数の品目が判定される場合もある。
そこでステップSa6においてコントローラ6は、判定した品目が1つであるか否かを確認する。そして、複数の品目を判定している場合にコントローラ6は、ステップSa6からステップSa7へ進む。
ステップSa7においてコントローラ6は、ディスプレイ3の表示画面を選択画面とする。選択画面は、ステップSa5で判定した複数の品目の一覧を表し、これら複数の品目のうちの1つの選択をユーザに促す例えば図4に示すような画面である。図4は、チーズハンバーグ、オムライス、オムレツおよびスクランブルエッグの4つの品目を判定している場合の選択画面の一例である。図4の選択画面では、判定された品目を表す画像のそれぞれが、そのまま各品目を選択するためのボタンとなっている。
ステップSa8においてコントローラ6は、複数の品目のうちの1つがユーザにより選択されるのを待ち受ける。そして、例えば選択画面に表示された品目の内の1つにタッチするなどして1つの品目が選択されたことをタッチセンサ4が出力する検出データに基づいて認識したならば、コントローラ6はステップSa8からステップSa9へ進む。
ステップSa9においてコントローラ6は、選択された品目がステップSa5で判定した品目のうちのいずれであるかを判定する。
そしてこののちにコントローラ6は、ステップSa10へ進む。なお、ステップSa5において1つのみの品目を判定できたならばコントローラ6は、ステップSa6からそのままステップSa10へ進む。
ステップSa10においてコントローラ6は、ステップSa5で1つのみ判定された品目、またはステップSa9で選択した1つの品目に関連付けて記憶デバイス5が記憶している標準データおよび許容重量データを読み出す。
ステップSa11においてコントローラ6は、ディスプレイ3の表示画面を確認画面とする。確認画面は、例えば図5に示すように、ステップSa5で1つのみ判定された品目、またはステップSa9で選択した1つの品目を表すとともに、合否判定の実行を指示するための判定ボタンを含む。
ステップSa12においてコントローラ6は、合否判定の実行が指示されるのを待ち受ける。そして、判定ボタンをタッチするなどして合否判定の開始が指示されたことをタッチセンサ4が出力する検出データに基づいて認識したならば、コントローラ6はステップSa12からステップSa13へ進む。
ステップSa13においてコントローラ6は、標準的な盛り付けに対するトレー8に載置された料理の盛り付けの類似度を算出する。具体的にはコントローラ6は、ステップSa10で読み出した標準データが表す画像に対してステップSa4で取り込んだ被検品データが表す画像が類似する度合いを表す数値として類似度を算出する。なおここでは類似度は、両画像が類似している度合いが高いほど大きな値とする。
ステップSa14においてコントローラ6は、類似度が予め定められた閾値よりも大きいか否かを確認する。なお閾値は、設計者またはユーザによって任意に設定されて良い。閾値をユーザによって設定可能としておけば、誤りの許容量をユーザニーズに応じて変更することが可能となり、利便性が向上する。そしてここでYESと判断したならばコントローラ6は、ステップSa14からステップSa15へ進む。
ステップSa15においてコントローラ6は、計量器2が出力する重量データを取り込む。
ステップSa16においてコントローラ6は、上記の取り込んだ重量データが表す重量がステップSa10で読み出した許容重量データが表す許容範囲内であるか否かを確認する。そして、ここでYESと判定したならばコントローラ6は、ステップSa16からステップSa17へ進む。
ステップSa17においてコントローラ6は、ディスプレイ3の表示画面を合格画面とする。合格画面は、トレー8に載置された料理の盛り付けが適正であることを表す画面である。なお、合格画面には、合否判定の終了を指示するための終了ボタンを含む。
こののちにステップSa18においてコントローラ6は、終了指示がなされるのを待ち受ける。そして上記の終了ボタンをタッチするなどして合否判定の終了が指示されたことをタッチセンサ4が出力する検出データに基づいて認識したならば、コントローラ6はステップSa18からステップSa1に戻る。
さて、ステップSa14またはステップSa16のいずれかでNOと判定したならば、コントローラ6は各ステップからステップSa19へ進む。
ステップSa19においてコントローラ6は、ディスプレイ3の表示画面を不合格画面とする。不合格画面は、トレー8に載置された料理の盛り付けが不適正であることを表す例えば図6に示すような画面である。なお、不合格画面には、合否判定の再実行を指示するための再判定ボタンと、合否判定の終了を指示するための終了ボタンとを含む。
ステップSa20およびステップSa21においてコントローラは、合否判定の再実行指示または終了指示がなされるのを待ち受ける。そして上記の終了ボタンをタッチするなどして合否判定の終了が指示されたことをタッチセンサ4が出力する検出データに基づいて認識したならば、コントローラ6はステップSa18からステップSa1に戻る。
一方、ユーザが盛り付けを修正した料理をトレー8に改めて載置した上で上記の再判定ボタンをタッチすると、コントローラ6はこのことをタッチセンサ4が出力する検出データに基づいて認識し、ステップSa20からステップSa22へ進む。
ステップSa22においてコントローラ6は、トレー8に載置された料理を撮像するようにスキャナ1を動作させる。
ステップSa23においてコントローラ6は、スキャナ1が撮像して得た画像データを被検品データとして取り込む。
こののちにコントローラ6は、ステップSa11以降の処理を前述したのと同様にして実行する。
以上のように盛り付け検査装置100によれば、被検物となる料理が複数の品目のうちのいずれであるかが自動的に判定されて、その品目に関する標準的な盛り付けに対する被検物の盛り付けの類似度に基づいて、被検物の盛り付けの合否が判定され、その判定結果がディスプレイ3にて表示される。従って、ユーザは、料理の盛り付けが適正であるか否かを容易に認識することができる。そして、盛り付けが不適正であることを認識した場合に、ユーザが料理の盛り付けを修正することにより、料理の盛り付けの均一化を容易に図ることが可能となる。また、盛り付け検査装置100を利用することにより、初心者が単独で盛り付けの練習を行うことが可能となる。
また盛り付け検査装置100によれば、同一の料理の盛り付けを修正した上で、当該料理の合否判定を再実行する場合には、品目の判定はやり直さない。このため、再判定は品目の判定に係る手間を省いて、簡易かつ短時間のうちに完了することができる。
またも盛り付け検査装置100によれば、料理の重量が許容範囲外である場合にも不合格とするので、料理の量についての適否についてもユーザに認識させることが可能である。
この実施形態は、次のような種々の変形実施が可能である。
重量は、合否判定に加味しないこととしても良い。
料理以外の物品を検査の対象としても良い。
盛り付け以外の外観を検査の対象としても良い。
サーバと端末装置とを含んだ外観検査システムに上記のような技術思想を適用することもできる。
このような外観検査システムの実現には、クラウドコンピューティングを利用できる。より具体的には、software as a service(SaaS)と称されるソフトウェア提供形態が適する。
図7はクラウドシステムを利用する外観検査システム200の構成を示す図である。
この外観検査システム200は、クラウド31、複数の端末装置32および複数の通信ネットワーク33を含む。なお、端末装置32および通信ネットワーク33は、それぞれ1つのみでも良い。
クラウド31はさらに、複数のサーバ31aを含む。これら複数のサーバ31aは互いに通信可能に構成される。ただしサーバ31aは、1つのみであっても良い。
端末装置32は、通信ネットワーク33を介してクラウド31と通信可能である。端末装置32としては、デスクトップタイプやノートブックタイプなどの種々のコンピュータ、携帯電話装置、携帯情報端末(PDA)、あるいはスマートフォンなどを適宜に利用できる。通信ネットワーク33としては、インターネット、プライベートネットワーク、次世代ネットワーク(NGN)、あるいはモバイルネットワークなどを適宜に利用できる。
そして外観検査システム200は、図5に示す各処理のうちのステップSa1〜4,7〜9,11,12,17〜23については端末装置32にて実行するが、ステップSa5,6,10,13〜16についてはクラウド31において実行する。ただし、ステップSa5,6,10,13〜16の一部を端末装置32にて実行しても良い。
ステップSa5,6,10,13〜16の処理を単一のサーバ31aにおいて実行しても良いし、複数のサーバ31aにおいて分散処理しても良い。
ステップSa5,6,10,13〜16のうちの一部を端末装置32にて実行する場合、その処理を端末装置32が有するコンピュータに実行させるためのプログラムを予め端末装置32が有する記憶ユニットに記憶させておいても良いし、上記のプログラムをクラウド31が有する記憶ユニットに記憶しておき、必要に応じてクラウド31から端末装置32へと与えるようにしても良い。上記のプログラムをクラウド31から端末装置32へと与える場合には、サーバ31aのうちの少なくとも1つに、上記のプログラムを端末装置32へと送信する機能を備える。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の当初の特許請求の範囲に記載された発明を付記する。
[1] 複数品目のそれぞれに関連付けて、その品目の物品の標準的な外観を表した複数の標準データを記憶する記憶手段と、
被検物を撮像してその外観を表した被検物データを得る撮像手段と、
前記被検物データに対するオブジェクト認識処理により前記被検物の品目を1つまたは複数判定する第1の判定手段と、
前記第1の判定手段により複数の品目が判定された場合に、それらのうちの1つをユーザ指示に応じて選択する選択手段と、
前記第1の判定手段により1つの品目が判定された場合には、その品目に関連付けて前記記憶手段に記憶された前記標準データが表す外観に対して、また前記第1の判定手段により複数の品目が判定された場合には、前記選択手段により選択された1つの品目に関連付けて前記記憶手段に記憶された前記標準データが表す外観に対して、前記撮像手段により得られた前記被検物データが表す外観が類似する度合いを表す数値を算出する算出手段と、
前記算出手段により算出された数値と閾値との比較により前記被検物の外観の合否を判定する第2の判定手段と、
前記第2の判定手段による判定結果を表す画像を表示するように表示デバイスを制御する制御手段とを具備した外観検査装置。
[2] 前記品目のそれぞれに関連付けて、その品目に関して許容される重量の範囲を表した許容重量データを記憶する第2の記憶手段と、
前記被検物を重量を計測してその重量を表した重量データを得る計測手段とをさらに備え、
前記第1の判定手段により1つの品目が判定された場合には、その品目に関連付けて前記第2の記憶手段に記憶された前記許容重量データが表す範囲を許容範囲とし、また前記第1の判定手段により複数の品目が判定された場合には、前記選択手段により選択された1つの品目に関連付けて前記第2の記憶手段に記憶された前記許容重量データが表す範囲を許容範囲とし、前記計測手段が得た前記重量データが表す重量が前記許容範囲に収まっているか否かを判定する第3の判定手段とをさらに具備し、
前記第2の判定手段は、前記算出手段により算出された数値と閾値との比較に加えて、前記第3の判定手段による判定結果に基づいて前記被検物の外観の合否を判定する[1]に記載の外観検査装置。
[3] 前記被検物は料理であり、
前記標準データが表す外観は盛り付けであり、
前記算出手段は、前記標準データが表す盛り付けに対して前記被検物データが表す外観のうちの盛り付けが類似する度合いを表すものとして前記数値を算出する[1]または[2]に記載の外観検査装置。
[4]複数品目のそれぞれに関連付けて、その品目の物品の標準的な外観を表した複数の標準データを記憶する記憶手段にアクセスが可能であるとともに、被検物を撮像してその外観を表した被検物データを得る撮像手段が出力する前記被検物データを取得可能なコンピュータを、
前記被検物データに対するオブジェクト認識処理により前記被検物の品目を1つまたは複数判定する第1の判定手段と、
前記第1の判定手段により複数の品目が判定された場合に、それらのうちの1つをユーザ指示に応じて選択する選択手段と、
前記第1の判定手段により1つの品目が判定された場合には、その品目に関連付けて前記記憶手段に記憶された前記標準データが表す外観に対して、また前記第1の判定手段により複数の品目が判定された場合には、前記選択手段により選択された1つの品目に関連付けて前記記憶手段に記憶された前記標準データが表す外観に対して、前記撮像手段により得られた前記被検物データが表す外観が類似する度合いを表す数値を算出する算出手段と、
前記算出手段により算出された数値と閾値との比較により前記被検物の外観の合否を判定する第2の判定手段と、
前記第2の判定手段による判定結果を表す画像を表示するように表示デバイスを制御する制御手段として機能させる外観検査プログラム。
[5] 前記コンピュータは、前記品目のそれぞれに関連付けて、その品目に関して許容される重量の範囲を表した許容重量データを記憶する第2の記憶手段にアクセスが可能であるとともに、前記被検物を重量を計測してその重量を表した重量データを得る計測手段から前記受領データを取得可能であり、
前記コンピュータをさらに、
記第1の判定手段により1つの品目が判定された場合には、その品目に関連付けて前記第2の記憶手段に記憶された前記許容重量データが表す範囲を許容範囲とし、また前記第1の判定手段により複数の品目が判定された場合には、前記選択手段により選択された1つの品目に関連付けて前記第2の記憶手段に記憶された前記許容重量データが表す範囲を許容範囲とし、前記計測手段が得た前記重量データが表す重量が前記許容範囲に収まっているか否かを判定する第3の判定手段として機能させるとともに、
前記第2の判定手段を、前記算出手段により算出された数値と閾値との比較に加えて、前記第3の判定手段による判定結果に基づいて前記被検物の外観の合否を判定するものとする[4]に記載のプログラム。
[6] サーバと端末装置とを具備し、
前記サーバに備えられ、複数品目のそれぞれに関連付けて、その品目の物品の標準的な外観を表した複数の標準データを記憶する記憶手段と、
前記端末装置に備えられ、被検物を撮像してその外観を表した被検物データを得る撮像手段と、
前記端末装置に備えられ、前記撮像手段により得られた前記被検物データを前記サーバへ送信する第1の送信手段と、
前記サーバに備えられ、前記送信手段により送信された前記被検物データを受信する第1の受信手段と、
前記サーバに備えられ、前記被検物データに対するオブジェクト認識処理により前記被検物の品目を1つまたは複数判定する第1の判定手段と、
前記サーバに備えられ、前記第1の判定手段により複数の品目が判定された場合に、それらのうちの1つをユーザ指示に応じて選択する選択手段と、
前記サーバに備えられ、前記第1の判定手段により1つの品目が判定された場合には、その品目に関連付けて前記記憶手段に記憶された前記標準データが表す外観に対して、また前記第1の判定手段により複数の品目が判定された場合には、前記選択手段により選択された1つの品目に関連付けて前記記憶手段に記憶された前記標準データが表す外観に対して、前記撮像手段により得られた前記被検物データが表す外観が類似する度合いを表す数値を算出する算出手段と、
前記サーバに備えられ、前記算出手段により算出された数値と閾値との比較により前記被検物の外観の合否を判定する第2の判定手段と、
前記サーバに備えられ、前記第2の判定手段による判定結果を表す判定結果データを前記端末装置へ送信する第2の送信手段と、
前記端末装置に備えられ、前記第2の送信手段により送信された前記判定結果データを受信する第2の受信手段と、
前記端末装置に備えられ、前記第2の受信手段により受信された前記判定結果データが表す判定結果を表す画像を表示するように表示デバイスを制御する制御手段とを具備した外観検査装置。
1…スキャナ、2…計量器、3…ディスプレイ、4…タッチセンサ、5…記憶デバイス、6…コントローラ、7…筐体、8…トレー、31…クラウド、32…端末装置、33…通信ネットワーク、100…盛り付け検査装置、200…外観検査システム。

Claims (6)

  1. 盛り付けにより外観が変化する複数の物品の標準的な盛り付けに関する標準データを記憶する第1の記憶手段と、
    物品を撮像する撮像手段と、
    前記撮像手段により撮像された物品に対し、物品を判定する判定手段と、
    前記判定手段による判定結果を表示するように表示デバイスを制御する第1の制御手段と、
    前記判定手段により判定された物品の前記標準データが表す標準的な盛り付けに対して、前記撮像手段が撮像した物品の盛り付けが類似する度合いを表す数値と閾値との比較により前記盛り付けの合否を判定する第1の比較手段と、
    前記第1の比較手段による判定の結果を表す画像を表示するように前記表示デバイスを制御する第2の制御手段と
    前記第1の比較手段による判定の結果が不合格であり、修正した盛り付けの再判定の指示を受け付けことに応じて、前記判定手段による判定は再実行させずに、前記撮像手段による撮像および前記第1の比較手段による比較を再実行させる第3の制御手段と、
    を具備した物品認識装置。
  2. 前記物品に関して許容される重量の範囲を表す許容重量データを記憶する第2の記憶手段と、
    前記物品の重量を計測してその重量を表した重量データを得る計測手段と、
    前記判定手段により判定された物品に関連付けて前記第2の記憶手段に記憶された前記許容重量データが表す範囲を許容範囲とし、前記計測手段が得た前記重量データが表す重量と前記許容範囲を比較する第2の比較手段とをさらに具備する請求項1に記載の物品認識装置。
  3. 前記判定手段は、物品を1つまたは複数判定し、前記判定手段により複数の品目が判定された場合に、それらのうちの1つを選択する選択手段をさらに備える請求項1に記載の物品認識装置。
  4. 盛り付けにより外観が変化する複数の物品の標準的な盛り付けに関する標準データを記憶する記憶手段にアクセスが可能であるとともに、前記物品を撮像する撮像手段が出力する物品データを取得可能なコンピュータを、
    前記撮像手段により撮像された前記物品に対し、物品を判定する判定手段と、
    前記判定手段による判定結果を表示するように表示デバイスを制御する第1の制御手段と、
    前記判定手段により判定された物品の前記標準データが表す標準的な盛り付けに対して、前記撮像手段が撮像した物品の盛り付けが類似する度合いを表す数値と閾値との比較により前記盛り付けの合否を判定する第1の比較手段と、
    前記第1の比較手段による判定の結果を表す画像を表示するように前記表示デバイスを制御する第2の制御手段と、
    前記第1の比較手段による判定の結果が不合格であり、修正した盛り付けの再判定の指示を受け付けことに応じて、前記判定手段による判定は再実行させずに、前記撮像手段による撮像および前記第1の比較手段による比較を再実行させる第3の制御手段と、
    して機能させる物品認識プログラム。
  5. 前記コンピュータは、前記物品に関して許容される重量の範囲を表す許容重量データを記憶する第2の記憶手段にアクセスが可能であるとともに、前記物品の重量を計測してその重量を表した重量データを得る計測手段から前記重量データを取得可能であり、
    前記コンピュータをさらに、
    前記判定手段により判定された物品に関連付けて前記第2の記憶手段に記憶された前記許容重量データが表す範囲を許容範囲とし、前記計測手段が得た前記重量データが表す重量と前記許容範囲とを比較する第2の比較手段として機能させる請求項4に記載の物品認識プログラム。
  6. サーバと端末装置とを具備し、
    前記サーバに備えられ、盛り付けにより外観が変化する複数の物品の標準的な盛り付けに関する標準データを記憶する記憶手段と、
    前記端末装置に備えられ、物品を撮像する撮像手段と、
    前記端末装置に備えられ、前記撮像手段により得られた前記物品のデータを前記サーバへ送信する第1の送信手段と、
    前記サーバに備えられ、前記送信手段により送信された前記物品のデータを受信する第1の受信手段と、
    前記サーバに備えられ、前記撮像手段により撮像された物品に対し、前記物品を判定する判定手段と、
    前記端末装置に備えられ、前記判定手段により判定した結果を表示するように表示デバイスを制御する第1の制御手段と、
    前記サーバに備えられ、前記判定手段により判定された物品の前記標準データが表す標準的な盛り付けに対して、前記撮像手段が撮像した物品の盛り付けが類似する度合いを表す数値と閾値との比較により前記盛り付けの合否を判定する比較手段と、
    前記サーバに備えられ、前記第1の比較手段による判定の結果を表す判定結果データを前記端末装置へ送信する第2の送信手段と、
    前記端末装置に備えられ、前記第2の送信手段により送信された前記判定結果データを受信する第2の受信手段と、
    前記端末装置に備えられ、前記第2の受信手段により受信された前記判定結果データが表す結果を表す画像を表示するように前記表示デバイスを制御する第2の制御手段と
    前記端末装置に備えられ、前記第1の比較手段による判定の結果が不合格であり、修正した盛りつけの再判定の指示を受け付けことに応じて、前記判定手段による判定は再実行させずに、前記撮像手段による撮像および前記第1の比較手段による比較を再実行させる第3の制御手段と、
    を具備した物品認識システム。
JP2013140919A 2013-07-04 2013-07-04 物品認識装置、物品認識プログラムおよび物品認識システム Expired - Fee Related JP5619224B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013140919A JP5619224B2 (ja) 2013-07-04 2013-07-04 物品認識装置、物品認識プログラムおよび物品認識システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013140919A JP5619224B2 (ja) 2013-07-04 2013-07-04 物品認識装置、物品認識プログラムおよび物品認識システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2011122489A Division JP2012252396A (ja) 2011-05-31 2011-05-31 外観検査装置、外観検査プログラムおよび外観検査システム

Publications (2)

Publication Number Publication Date
JP2013218732A JP2013218732A (ja) 2013-10-24
JP5619224B2 true JP5619224B2 (ja) 2014-11-05

Family

ID=49590662

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013140919A Expired - Fee Related JP5619224B2 (ja) 2013-07-04 2013-07-04 物品認識装置、物品認識プログラムおよび物品認識システム

Country Status (1)

Country Link
JP (1) JP5619224B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753690B (zh) * 2020-06-15 2023-11-07 神思电子技术股份有限公司 一种菜品托盘识别方法及基于该方法的菜品识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4228696B2 (ja) * 2002-12-27 2009-02-25 カシオ計算機株式会社 画像データ処理システム及びプログラム
JP4874166B2 (ja) * 2006-06-20 2012-02-15 東芝テック株式会社 チェックアウト端末
JP5403657B2 (ja) * 2009-02-23 2014-01-29 Necインフロンティア株式会社 定置スキャナ、pos端末および決済商品選別方法

Also Published As

Publication number Publication date
JP2013218732A (ja) 2013-10-24

Similar Documents

Publication Publication Date Title
US8952779B2 (en) Portable terminal, method, and program of changing user interface
US9462108B2 (en) Mobile terminal and method for controlling the mobile terminal
US10235510B2 (en) Wearable device and method of operating the same
JP6503161B2 (ja) 火力制御装置、火力制御方法およびコンピュータプログラム
KR102045290B1 (ko) 발열 제어 방법 및 그 전자 장치
US10433759B2 (en) Mobile terminal
US9697805B2 (en) Method and apparatus for electronic device unlocking
KR20130034777A (ko) 휴대단말기의 펜 입력장치 및 방법
EP2648057A2 (en) System and method of providing control information to device regarding product
US20160252969A1 (en) Electronic device and control method thereof
JP6076875B2 (ja) 調理支援装置、および、調理支援方法
EP2122255A1 (en) Cooking appliance, controlling system for cooking appliance and controlling method for cooking appliance
US20150201091A1 (en) Information processing system that uses short-range wireless communication and method of controlling the same, mobile information terminal, and storage medium
US20150188776A1 (en) Synchronizing user interface across multiple devices
JP2019168222A (ja) 制御方法及び冷蔵庫
CN106647532A (zh) 烹饪设备的推荐方法和装置
AU2015322327A1 (en) Apparatus and method for identifying object
JP2011065518A (ja) 画像表示装置、画像表示方法、及び画像表示プログラム
JP2018124962A (ja) 情報処理装置および情報処理方法
CN107661102B (zh) 电子装置及其控制方法
JP2012252396A (ja) 外観検査装置、外観検査プログラムおよび外観検査システム
JP5619224B2 (ja) 物品認識装置、物品認識プログラムおよび物品認識システム
US20170235879A1 (en) Mobile terminal and method for controlling the same
JP6579936B2 (ja) 加熱調理システム
US9508323B2 (en) Appliance control system and method for controlling an appliance based on processing done by another appliance

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130719

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130719

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140819

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140916

R150 Certificate of patent or registration of utility model

Ref document number: 5619224

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees