JP6547856B2 - 情報表示装置、誘導表示方法およびプログラム - Google Patents
情報表示装置、誘導表示方法およびプログラム Download PDFInfo
- Publication number
- JP6547856B2 JP6547856B2 JP2018001095A JP2018001095A JP6547856B2 JP 6547856 B2 JP6547856 B2 JP 6547856B2 JP 2018001095 A JP2018001095 A JP 2018001095A JP 2018001095 A JP2018001095 A JP 2018001095A JP 6547856 B2 JP6547856 B2 JP 6547856B2
- Authority
- JP
- Japan
- Prior art keywords
- product
- image
- operator
- display
- arrow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、情報表示装置、誘導表示方法およびプログラムに関する。
従来、電子式キャッシュレジスタ（商品登録装置）は、バーコード読み取り部によって、商品に付与されたバーコードなどのデータコードを読み取り、この商品を識別していた。商品に付与されたバーコードは、メーカコードの情報と、アイテムコードの情報と、チェックディジットの情報とを含んで構成される。商品登録装置は、チェックディジットの情報によって正しくバーコードが読み取れたことを判断したのち、アイテムコードの情報によって、この商品を識別する。バーコードを予め商品の包装などに印刷しておくことで、キャッシュレジスタのオペレータの負担を軽減することができる。
しかし、包装されていない商品、例えば青果品などは、バーコードを個々に貼り付けることは極めて煩雑であり、時間とコストとが掛かる。従来は青果品などに対して、商品を指し示すボタンの押下や画面へのタッチ、または別途用意されたバーコード表から該当商品のコードを選んでスキャナで読み取るという運用がなされていた。
しかし、包装されていない商品、例えば青果品などは、バーコードを個々に貼り付けることは極めて煩雑であり、時間とコストとが掛かる。従来は青果品などに対して、商品を指し示すボタンの押下や画面へのタッチ、または別途用意されたバーコード表から該当商品のコードを選んでスキャナで読み取るという運用がなされていた。
近年では、青果品などをオブジェクト認識して識別し、識別された商品を売上登録する商品登録装置が普及しはじめている。この商品登録装置は、青果品などを撮影した画像情報から外観の特徴量を抽出し、商品の外観にかかる特徴量データベースと比較することで、この物品がいずれの商品であるかを識別する。これにより、予め包装されていない商品であっても、バーコードを個々に貼り付けることなく商品登録装置が認識できるので、店舗側の負担を軽減することができる。
商品には、それぞれ外観上の差異がある。対象商品と、基準とした商品の外観との差異が大きい場合には、この対象商品は、オブジェクト認識中の類似度により、商品を一意に確定することは困難である。このような場合に、オブジェクト認識機能を有する商品登録装置は、この対象商品の候補である仮確定商品の確認画面を表示し、または、この対象商品の候補である複数の商品を画面に選択可能に表示していた。オペレータは、この選択肢から外装する商品をタッチするなどの操作が必要であった。
例えば、特許文献１の段落００６８には、「商品候補提示領域８３には、類似度の高い登録商品から順に、商品候補のイラスト画像Ｇ１、Ｇ２、Ｇ３および各商品名が表示される。これらイラスト画像Ｇ１、Ｇ２、Ｇ３はタッチパネル１０５に対する選択操作に応じて選択可能に構成されている。また、商品候補提示領域８３の下部には、商品リストから商品を選択するための選択ボタン８４が設けられており、商品リストから選択された商品は上述した仮確定商品として処理される。」と記載されている。
顧客は、スーパーマーケットで商品を購入する場合に、買物カゴなどに商品を入れた後、買物カゴをキャッシュレジスタのオペレータ（店員）に渡して、商品代金の精算を依頼する。このときオペレータは、この顧客が持ってきた買物カゴ（以下、「第１の買物カゴ」という）に入っている各商品を順番に商品登録装置に読み込ませることによって、その商品の商品情報を売上情報に仮登録させ、その商品を別の買物カゴ（以下、「第２の買物カゴ」という）に入れる、という動作を繰り返すことによって、第１の買物カゴに入っている各商品を売上登録する。
その際、商品登録装置は、即座に商品を認識できない場合がある。例えば、バーコード付き商品のバーコード部分がうまく撮影できない場合、商品登録装置は、即座に商品を認識できない。この場合に、オペレータは、商品登録装置のカメラに商品をできるだけ近づける操作により、商品登録装置に商品を認識させる。
オブジェクト認識の対象商品が適切なアングルで撮影できない場合、商品登録装置は、即座に商品を認識できない。この場合に、オペレータは、バーコードの読取操作と同様の感覚で、商品登録装置のカメラに商品をできるだけ近づけるように操作するおそれがある。
オブジェクト認識の対象商品が適切なアングルで撮影できない場合、商品登録装置は、即座に商品を認識できない。この場合に、オペレータは、バーコードの読取操作と同様の感覚で、商品登録装置のカメラに商品をできるだけ近づけるように操作するおそれがある。
しかしながら、商品登録装置が商品をオブジェクト認識できない場合の要因は、カメラに提示している商品の方向が適正でないことが多い。例えば、商品を特定することが可能な特徴量を多く含む商品の方向が正面方向であるにもかかわらず、オペレータが商品の上面をカメラに向けていたり、逆に、特徴量を多く含む商品の方向が上面方向であるにもかかわらず、オペレータが商品の正面をカメラに向けていたりすることが、主な要因になっている。このような場合に商品登録装置は、登録商品の候補を複数提示していた。
特許文献１に記載されている発明は、登録商品の候補が複数の場合には、タッチパネル操作で選択された一の登録商品の候補を仮確定商品としている。しかし、この候補商品の選択は、オペレータの商品登録の流れを妨げるものである。よって、オペレータの時間と手間を要し、更に顧客に対する待ち時間を発生させる要因となっていた。
本発明の課題は、オペレータがより分かり易くなるように物体を翳す向きをナビゲーション可能にすることである。
上記課題を解決するために、本発明に係る情報表示装置は、物体の画像を取得する取得手段と、前記取得手段が取得した画像から前記物体を検出する物体検出手段と、前記物体検出手段が検出した前記物体をオペレータが所定の方向に向けるようにオペレータを誘導するための矢印として、前記物体の回転方向であって前記物体の裏返し方向を示す矢印を前記物体の画像とともに表示させる表示制御手段と、を備え、前記表示制御手段は、前記物体を回転させる軸が把握できるように、前記物体の画像を互いの間に挟むようにして少なくとも二つの矢印を表示させることを特徴とする。
また、本発明に係る誘導表示方法は、情報表示装置が実行する誘導表示方法であって、物体の画像を取得する取得ステップと、前記取得ステップが取得した画像から前記物体を検出する物体検出ステップと、前記物体検出ステップが検出した前記物体をオペレータが所定の方向に向けるようにオペレータを誘導するための矢印として、前記物体の回転方向であって前記物体の裏返し方向を示す矢印を前記物体の画像とともに表示させる表示制御ステップと、を含み、前記表示制御ステップは、前記物体を回転させる軸が把握できるように、前記物体の画像を互いの間に挟むようにして少なくとも二つの矢印を表示させることを特徴とする。
また、本発明に係るプログラムは、コンピュータを、物体の画像を取得する取得手段、前記取得手段が取得した画像から前記物体を検出する物体検出手段、前記物体検出手段が検出した前記物体をオペレータが所定の方向に向けるようにオペレータを誘導するための矢印として、前記物体の回転方向であって前記物体の裏返し方向を示す矢印を前記物体の画像とともに表示させる表示制御手段、として機能させ、前記表示制御手段は、前記物体を回転させる軸が把握できるように、前記物体の画像を互いの間に挟むようにして少なくとも二つの矢印を表示させることを特徴とする。
また、本発明に係るプログラムは、コンピュータを、物体の画像を取得する取得手段、前記取得手段が取得した画像から前記物体を検出する物体検出手段、前記物体検出手段が検出した前記物体をオペレータが所定の方向に向けるようにオペレータを誘導するための矢印として、前記物体の回転方向であって前記物体の裏返し方向を示す矢印を前記物体の画像とともに表示させる表示制御手段、として機能させ、前記表示制御手段は、前記物体を回転させる軸が把握できるように、前記物体の画像を互いの間に挟むようにして少なくとも二つの矢印を表示させることを特徴とする。
本発明によれば、オペレータがより分かり易くなるように物体を翳す向きをナビゲーション可能となる。
以降、本発明を実施するための形態を、各図を参照して詳細に説明する。
（第１の実施形態）
図１は、第１の実施形態における商品識別装置２などの外観を示す斜視図である。
図１に示すように、商品登録装置１は、各商品を登録する商品識別装置２と、各取引に係る商品の売上登録と精算とを行うＰＯＳ端末３とを備える。この商品識別装置２は、商品に関する情報を読み取って登録するＰＯＳ接続用スキャナである。
商品識別装置２は、横長テーブル状のカウンタ台５の長手方向の中央に設置されている。商品識別装置２は、薄型の直方体状のハウジング５１を備える。このハウジング５１の正面には、読取窓５２を介してカメラ２７（図２参照）が配置されている。
（第１の実施形態）
図１は、第１の実施形態における商品識別装置２などの外観を示す斜視図である。
図１に示すように、商品登録装置１は、各商品を登録する商品識別装置２と、各取引に係る商品の売上登録と精算とを行うＰＯＳ端末３とを備える。この商品識別装置２は、商品に関する情報を読み取って登録するＰＯＳ接続用スキャナである。
商品識別装置２は、横長テーブル状のカウンタ台５の長手方向の中央に設置されている。商品識別装置２は、薄型の直方体状のハウジング５１を備える。このハウジング５１の正面には、読取窓５２を介してカメラ２７（図２参照）が配置されている。
ハウジング５１の上部には、表示・操作部２２が取り付けられている。表示・操作部２２には、ディスプレイ２２１が設けられている。このディスプレイ２２１の表面には、タッチパネル２２２（図２参照）が積層されている。ディスプレイ２２１の右隣には、キーボード２３が配置されている。キーボード２３の右隣には、不図示のカードリーダのカード読取溝が設けられている。表示・操作部２２の左奥側には、顧客に情報を提供するための顧客用ディスプレイ２４が裏向きに設置されている。
ＰＯＳ端末３は、チェックアウト台６上のドロワ３７の上面に載置されている。このドロワ３７は、ＰＯＳ端末３によって開放動作の制御を受ける。
ＰＯＳ端末３の上面には、オペレータ（店員）が操作するためのキーボード３３が配置されている。このオペレータから見てキーボード３３の上部奥側には、情報を表示するディスプレイ３２１が設けられている。このディスプレイ３２１の表面には、タッチパネル３２２（図２参照）が積層されている。ディスプレイ３２１よりもさらに奥側には、情報を表示する顧客用ディスプレイ３４が左右方向に回転可能に設置されている。なお、図１に示す顧客用ディスプレイ３４は、図の手前側に向いている。この顧客用ディスプレイ３４は、図の奥側に向くように回転させることによって、顧客に向けて情報を表示する。
ＰＯＳ端末３の上面には、オペレータ（店員）が操作するためのキーボード３３が配置されている。このオペレータから見てキーボード３３の上部奥側には、情報を表示するディスプレイ３２１が設けられている。このディスプレイ３２１の表面には、タッチパネル３２２（図２参照）が積層されている。ディスプレイ３２１よりもさらに奥側には、情報を表示する顧客用ディスプレイ３４が左右方向に回転可能に設置されている。なお、図１に示す顧客用ディスプレイ３４は、図の手前側に向いている。この顧客用ディスプレイ３４は、図の奥側に向くように回転させることによって、顧客に向けて情報を表示する。
ＰＯＳ端末３が載置されているチェックアウト台６とＬ字を形成するようにして、横長テーブル状のカウンタ台５が配置されている。カウンタ台５の上面には、荷受け面が形成されている。顧客は、図１の左側から右側に移動しつつ、商品の登録処理を受ける。つまり、カウンタ台５の荷受け面には、商品を収納する第１の買物カゴ４Ｌと、第２の買物カゴ４Ｒとが載置される。以下、第１の買物カゴ４Ｌと、第２の買物カゴ４Ｒとを特に区別しないときには、単に買物カゴ４と記載する場合がある。これら買物カゴ４は、いわゆるカゴ形状のものに限るものではなく、トレーなどであってもよい。また、買物カゴ４は、いわゆるカゴ形状のものに限らず、箱状や袋状などであってもよい。
第１の買物カゴ４Ｌは、顧客によって持ち込まれたものであり、一つの取引に係る商品が収納される。第２の買物カゴ４Ｒは、第１の買物カゴ４Ｌから商品識別装置２を挟んだ位置に載置される。第１の買物カゴ４Ｌ内の商品は、商品識別装置２を操作するオペレータにより取り出され、第２の買物カゴ４Ｒに移動される。この移動過程で、商品が商品識別装置２の読取窓５２に翳される。このとぎ、読取窓５２内に配置されたカメラ２７（図２参照）は商品を撮像する。
第１の買物カゴ４Ｌは、顧客によって持ち込まれたものであり、一つの取引に係る商品が収納される。第２の買物カゴ４Ｒは、第１の買物カゴ４Ｌから商品識別装置２を挟んだ位置に載置される。第１の買物カゴ４Ｌ内の商品は、商品識別装置２を操作するオペレータにより取り出され、第２の買物カゴ４Ｒに移動される。この移動過程で、商品が商品識別装置２の読取窓５２に翳される。このとぎ、読取窓５２内に配置されたカメラ２７（図２参照）は商品を撮像する。
商品識別装置２では、カメラ２７により撮像された画像に含まれる商品が、後記する特徴量ファイル３６１（図２参照）に記録されたどの商品に対応するかを識別してディスプレイ２２１に表示する。商品識別装置２は更に、識別された商品の商品ＩＤをＰＯＳ端末３に通知する。ＰＯＳ端末３は、商品識別装置２から通知される商品ＩＤに基づき、当該商品ＩＤに対応する商品の商品分類、商品名、単価などの売上登録に係る情報を、売上マスタファイル（不図示）などに記録して、売上登録を行う。
なお、本発明は、顧客自らがオペレータとしてキャッシュレジスタを操作するセルフレジに適用してもよく、限定されない。
なお、本発明は、顧客自らがオペレータとしてキャッシュレジスタを操作するセルフレジに適用してもよく、限定されない。
図２は、第１の実施形態における商品識別装置２などの概略を示す構成図である。
商品登録装置１は、商品識別装置２とＰＯＳ端末３とを含んで構成される。
商品識別装置２は、マイクロコンピュータ２１と、表示・操作部２２と、インタフェース２５と、カメラ２７と、スピーカ２８と、電源２９とを含んで構成される。
マイクロコンピュータ２１は、ＣＰＵ（Central Processing Unit）２１１にＲＯＭ（Read Only Memory）２１２とＲＡＭ（Random Access Memory）２１３とがバス接続されて構成された制御手段である。ＲＯＭ２１２には、ＣＰＵ２１１によって実行されるプログラムが記憶される。
ＣＰＵ２１１には、表示・操作部２２と、インタフェース２５と、カメラ２７、スピーカ２８とが、内部バスや各入出力回路（不図示）を介して接続される。
商品登録装置１は、商品識別装置２とＰＯＳ端末３とを含んで構成される。
商品識別装置２は、マイクロコンピュータ２１と、表示・操作部２２と、インタフェース２５と、カメラ２７と、スピーカ２８と、電源２９とを含んで構成される。
マイクロコンピュータ２１は、ＣＰＵ（Central Processing Unit）２１１にＲＯＭ（Read Only Memory）２１２とＲＡＭ（Random Access Memory）２１３とがバス接続されて構成された制御手段である。ＲＯＭ２１２には、ＣＰＵ２１１によって実行されるプログラムが記憶される。
ＣＰＵ２１１には、表示・操作部２２と、インタフェース２５と、カメラ２７、スピーカ２８とが、内部バスや各入出力回路（不図示）を介して接続される。
表示・操作部２２は、ディスプレイ２２１（図１参照）と、タッチパネル２２２と、顧客用ディスプレイ２４と、キーボード２３とを含んで構成され、ＣＰＵ２１１によって動作が制御される。
ディスプレイ２２１は、ＣＰＵ２１１の指示により、オペレータに対する情報を表示する表示手段である。タッチパネル２２２は、ディスプレイ２２１により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ２４は、ＣＰＵ２１１の指示により、顧客に対する情報を表示する。
キーボード２３は、複数の操作キーで構成され、オペレータの操作入力を受け付ける。
インタフェース２５は、ＰＯＳ端末３のインタフェース３５に接続して、ＰＯＳ端末３との間でデータ送受信を可能にする。
ディスプレイ２２１は、ＣＰＵ２１１の指示により、オペレータに対する情報を表示する表示手段である。タッチパネル２２２は、ディスプレイ２２１により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ２４は、ＣＰＵ２１１の指示により、顧客に対する情報を表示する。
キーボード２３は、複数の操作キーで構成され、オペレータの操作入力を受け付ける。
インタフェース２５は、ＰＯＳ端末３のインタフェース３５に接続して、ＰＯＳ端末３との間でデータ送受信を可能にする。
カメラ２７は、カラーＣＣＤイメージセンサやカラーＣＭＯＳイメージセンサなどであり、ＣＰＵ２１１の制御の下で、読取窓５２（図１参照）からの撮影を行う撮影手段である。カメラ２７は、例えば３０［ｆｐｓ］の動画像の撮像を行う。カメラ２７が所定のフレームレートで順次撮像したフレーム画像（撮像画像）は、ＲＡＭ２１３に保存される。
スピーカ２８は、予め設定された警告音などを発生する。スピーカ２８は、ＣＰＵ２１１の制御の下で警告音や音声による報知を行う。
電源２９は、この商品識別装置２の各部に電力を供給する。
インタフェース２５は、ＰＯＳ端末３のインタフェース３５に接続して、ＰＯＳ端末３との間でデータ送受信を可能にする。
電源２９は、この商品識別装置２の各部に電力を供給する。
インタフェース２５は、ＰＯＳ端末３のインタフェース３５に接続して、ＰＯＳ端末３との間でデータ送受信を可能にする。
ＰＯＳ端末３は、マイクロコンピュータ３１と、ディスプレイ３２１と、タッチパネル３２２と、キーボード３３と、顧客用ディスプレイ３４と、インタフェース３５と、ＨＤＤ３６と、ドロワ３７と、プリンタ３８と、電源３９とを含んで構成される。
マイクロコンピュータ３１は、情報処理を実行する。このマイクロコンピュータ３１は、各種演算処理を実行し各部を制御するＣＰＵ３１１に、ＲＯＭ３１２とＲＡＭ３１３とがバス接続されて構成される。ＣＰＵ３１１には、ドロワ３７と、キーボード３３と、ディスプレイ３２１と、タッチパネル３２２と、顧客用ディスプレイ３４と、ＨＤＤ３６（Hard Disk Drive）とが、内部バスや各入出力回路を介して接続されている。これらは、ＣＰＵ３１１による制御を受ける。
マイクロコンピュータ３１は、情報処理を実行する。このマイクロコンピュータ３１は、各種演算処理を実行し各部を制御するＣＰＵ３１１に、ＲＯＭ３１２とＲＡＭ３１３とがバス接続されて構成される。ＣＰＵ３１１には、ドロワ３７と、キーボード３３と、ディスプレイ３２１と、タッチパネル３２２と、顧客用ディスプレイ３４と、ＨＤＤ３６（Hard Disk Drive）とが、内部バスや各入出力回路を介して接続されている。これらは、ＣＰＵ３１１による制御を受ける。
ディスプレイ３２１は、ＣＰＵ３１１の指示により、オペレータに対する情報を表示する。タッチパネル３２２は、ディスプレイ３２１により表示した情報に対する操作の入力を受ける。顧客用ディスプレイ３４は、ＣＰＵ３１１の指示により、顧客に対する情報を表示する。
キーボード３３は、仮締めキー３３１と、締めキー３３２と、テンキー３３３とを含んで構成され、オペレータの操作入力を受け付ける。テンキー３３３は、０から９までの数字キーと各種演算子キーとで構成される。
キーボード３３は、仮締めキー３３１と、締めキー３３２と、テンキー３３３とを含んで構成され、オペレータの操作入力を受け付ける。テンキー３３３は、０から９までの数字キーと各種演算子キーとで構成される。
ＨＤＤ３６は、プログラムや各種ファイルが記憶された記憶手段である。ＨＤＤ３６に記憶されているプログラムや各種ファイルは、ＰＯＳ端末３の起動時に、その全部または一部がＲＡＭ３１３にコピーされてＣＰＵ３１１により実行される。ＨＤＤ３６には、例えば特徴量ファイル３６１と類似商品データベース３６２とが格納されるが、商品販売データ処理用のプログラムが格納されてもよい。特徴量ファイル３６１は、店舗に陳列して販売する取扱商品の各々について、商品の売上登録にかかる情報と、その商品を複数方向から撮影した画像との関連付けが設定された商品ファイルであり、取扱商品の辞書として機能する。類似商品データベース３６２は、類似する商品の組み合わせ情報と、これら商品の特徴方向の情報を学習するデータベースである。なお、図面では、類似商品データベース３６２を「類似商品ＤＢ」と省略して記載している。
インタフェース３５は、商品識別装置２に接続され、商品識別装置２との間でデータ送受信を可能とする。
プリンタ３８は、レシートなどに印字を行う。ＰＯＳ端末３は、ＣＰＵ３１１の制御のもとで、各取引の取引内容をレシートに印字する。
電源３９は、このＰＯＳ端末３の各部に電力を供給する。
プリンタ３８は、レシートなどに印字を行う。ＰＯＳ端末３は、ＣＰＵ３１１の制御のもとで、各取引の取引内容をレシートに印字する。
電源３９は、このＰＯＳ端末３の各部に電力を供給する。
図３は、第１の実施形態における商品識別装置２などの概略を示す機能ブロック図である。以下の説明では、適宜図１と図２とを参照する。
商品識別装置２のＣＰＵ２１１は、ＲＯＭ２１２に格納されるプログラムを実行することにより、画像取得部９０と、物体検出部９１、類似度演算部９２、類似度判断部９３、誘導部９４、確定通知部９５、入力取得部９６、情報出力部９７の各部を具現化する。また、同様に、ＰＯＳ端末３のＣＰＵ３１１は、ＨＤＤ３６に格納されるプログラムを実行することにより、売上登録部９９を具現化する。ＰＯＳ端末３のＨＤＤ３６には更に、特徴量ファイル３６１と類似商品データベース３６２とが格納される。
商品識別装置２のＣＰＵ２１１は、ＲＯＭ２１２に格納されるプログラムを実行することにより、画像取得部９０と、物体検出部９１、類似度演算部９２、類似度判断部９３、誘導部９４、確定通知部９５、入力取得部９６、情報出力部９７の各部を具現化する。また、同様に、ＰＯＳ端末３のＣＰＵ３１１は、ＨＤＤ３６に格納されるプログラムを実行することにより、売上登録部９９を具現化する。ＰＯＳ端末３のＨＤＤ３６には更に、特徴量ファイル３６１と類似商品データベース３６２とが格納される。
画像取得部９０は、カメラ２７に撮像オン信号を出力して、このカメラ２７に撮像動作を開始させる。更に画像取得部９０は、カメラ２７が撮像してＲＡＭ２１３に保存されたフレーム画像を順次取り込む。画像取得部９０によるフレーム画像の取り込みは、ＲＡＭ２１３に保存された順に行われる。
物体検出部９１は、画像取得部９０によって取り込まれたフレーム画像に含まれる物体の全部または一部を、パターンマッチング技術などを用いて検出する。
具体的には、オペレータが売上登録のために商品を読取窓５２に向けると、画像取得部９０は、カメラ２７によって、この商品の画像を撮影する。物体検出部９１は、取り込まれたフレーム画像を二値化して輪郭線を抽出する。次いで物体検出部９１は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、この商品である物体を検出（認識）する。
具体的には、オペレータが売上登録のために商品を読取窓５２に向けると、画像取得部９０は、カメラ２７によって、この商品の画像を撮影する。物体検出部９１は、取り込まれたフレーム画像を二値化して輪郭線を抽出する。次いで物体検出部９１は、前回のフレーム画像から抽出された輪郭線と、今回のフレーム画像から抽出された輪郭線とを比較して、この商品である物体を検出（認識）する。
別の具体的方法を以下に示す。オペレータが売上登録のために、商品を手で把持して読取窓５２に向けると、画像取得部９０は、カメラ２７によって、この商品および手の画像を撮影する。物体検出部９１は、取り込まれたフレーム画像から肌色領域の有無を検出する。肌色領域が検出された場合、すなわち、オペレータの手が検出された場合に、物体検出部９１は、この肌色領域の近傍において輪郭線を検出する。これにより、オペレータの手が把持していると思われる商品の輪郭を抽出する。物体検出部９１は、手の形状を示す輪郭が検出され、手の輪郭の近傍にそれ以外の物体の輪郭が更に検出された場合、この物体の輪郭から商品を検出する。
類似度演算部９２は、カメラ２７が撮像した商品の画像から、この商品の色合いや表面の凹凸状況などの表面の状態を特徴量として読み取る。類似度演算部９２は、この商品の輪郭や大きさは考慮しない。これにより類似度演算部９２は、処理時間を短縮することができる。
類似度演算部９２は更に、特徴量ファイル３６１に記録された各商品（以下、取扱商品という）の商品画像から、当該取扱商品の色合いや表面の凹凸状況などの表面の状態を特徴量として読み取り、撮影した商品の特徴量とそれぞれ比較することで、撮影した商品と特徴量ファイル３６１に記録された取扱商品との類似度を算出する。ここで類似度とは、特徴量ファイル３６１に記録されている各商品が想定する商品画像を１００％の類似度とした場合に、商品の全部または一部の画像がどの程度まで類似しているかを示すものである。なお、類似度演算部９２は、例えば、色合いと表面の凹凸状況との重み付けを変えて類似度を算出してもよい。
類似度演算部９２は更に、特徴量ファイル３６１に記録された各商品（以下、取扱商品という）の商品画像から、当該取扱商品の色合いや表面の凹凸状況などの表面の状態を特徴量として読み取り、撮影した商品の特徴量とそれぞれ比較することで、撮影した商品と特徴量ファイル３６１に記録された取扱商品との類似度を算出する。ここで類似度とは、特徴量ファイル３６１に記録されている各商品が想定する商品画像を１００％の類似度とした場合に、商品の全部または一部の画像がどの程度まで類似しているかを示すものである。なお、類似度演算部９２は、例えば、色合いと表面の凹凸状況との重み付けを変えて類似度を算出してもよい。
このように、画像中に含まれる物体を認識することは一般物体認識（generic object recognition）と呼ばれている。柳井啓司著の「一般物体認識の現状と今後」では、一般物体認識の研究のサーベイを手法に加えて、データセット、評価ベンチマークを行い、更にその今後について展望している。
柳井啓司，「一般物体認識の現状と今後」，[online]、情報処理学会論文誌，２００７年１１月１５日，Vol.48，No.SIG16、1-24頁，[平成２６年９月８日検索]，インターネット＜URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf＞
柳井啓司，「一般物体認識の現状と今後」，[online]、情報処理学会論文誌，２００７年１１月１５日，Vol.48，No.SIG16、1-24頁，[平成２６年９月８日検索]，インターネット＜URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf＞
また、画像をオブジェクトごとに領域分割することによって一般物体認識を行う技術は、下記の文献において解説されている。
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”， Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on，[平成２６年９月８日検索]，インターネット＜URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf＞
Jamie Shottonら，“Semantic Texton Forests for Image Categorization and Segmentation”， Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEE Conference on，[平成２６年９月８日検索]，インターネット＜URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.145.3036&rep=rep1&type=pdf＞
なお、撮像された商品の画像と、特徴量ファイル３６１に記録された取扱商品の商品画像との類似度の算出方法は特に問わないものとする。例えば、撮像された商品の画像と、特徴量ファイル３６１に記録された各取扱商品との類似度を絶対評価として算出してもよいし、相対評価として算出してもよい。
類似度を絶対評価として算出する場合、撮像された商品の画像と、特徴量ファイル３６１に記録された各取扱商品とを１対１で比較し、この比較の結果導出される類似度をそのまま採用すればよい。また、類似度を相対評価として算出する場合には、各取扱商品との類似度の総和が１．０（１００％）となるよう算出する。例えば、特徴量ファイル３６１に４つの商品＃１〜＃４が記録されていたとする。このとき撮像された商品は、例えば、商品＃１に対して類似度が０．６５、商品＃２に対しては類似度が０．２、商品＃３に対しては類似度が０．１、商品＃４に対しては類似度が０．０５などのように算出する。
類似度判断部９３は、画像取得部９０が取り込んだフレーム画像ごとに、商品の画像と、特徴量ファイル３６１に記録されている商品画像との類似度を比較する。本実施形態では、取扱商品の商品画像と、商品の撮影画像との類似度は、複数の条件が設けられている。類似度判断部９３は、これら満たされる条件に応じて取扱商品の確定あるいは商品認識のナビゲーション（誘導）を選定する。類似度に関する条件は特に限定されるものではないが、以下では条件Ｍ，Ｎを用いる場合について説明する。
ここで、条件Ｍは、フレーム画像上の物体を、特徴量ファイル３６１に記録された取扱商品のうちの一つとして確定するための条件である。また、条件Ｎは、フレーム画像上の物体から、特徴量ファイル３６１に記録された取扱商品の複数の候補を抽出するための条件である。
類似度判断部９３は、例えば、条件Ｍを満たす取扱商品を、フレーム画像上の物体に一対一で対応する商品であると判定する。また、類似度判断部９３は、条件Ｎを満たす取扱商品については、カメラ２７が撮像した商品の複数の候補のうちのひとつであると判定する。そして、類似度判断部９３は、特徴量ファイル３６１に記録された複数の取扱商品から条件Ｎを満たす取扱商品を抽出することにより、撮影した商品に対する取扱商品の候補を抽出する。
条件Ｍ，Ｎは類似度に応じて段階的に設定されればその詳細は特に限定されるものではないが、一例として、予め設定された複数の閾値で条件Ｍ，Ｎを設けることができる。ここでは、閾値Ｔと所定値Ｄによって条件Ｍ，Ｎを設定する場合について説明する。
類似度判断部９３は、各取扱商品との間の類似度が一番高い商品の類似度が閾値Ｔ以上であり、かつ一番目の商品の類似度と二番目の商品の類似度との差が所定値Ｄ以上ならば、条件Ｍが満たされたと判定する。条件Ｍは、商品を一意に特定する条件である。
更に、類似度判断部９３は、各取扱商品との間の類似度が一番高い商品の類似度が閾値Ｔ以上であり、かつ一番目の商品の類似度と二番目の商品の類似度との差が所定値Ｄ未満であったならば、条件Ｎが満たされたと判定する。条件Ｎは、複数の候補商品の条件である。そして、条件Ｎを満たした取扱商品は、オペレータに商品の回転を誘導させ、更に別の面の確認を要すると判定する。
なお、各条件Ｍ，Ｎは、適宜設定可能であり、前記した例に限定されるものではない。
なお、各条件Ｍ，Ｎは、適宜設定可能であり、前記した例に限定されるものではない。
誘導部９４は、条件Ｎを満たした取扱商品を回転させるように誘導する情報を、ディスプレイ２２１に表示させる。より詳細には、誘導部９４は、条件Ｎを満たした候補商品の各方向の写真画像を特徴量ファイル３６１から読み出して、候補商品との類似度が高くなると思われる方向に、この取扱商品を回転させるように促す。誘導部９４は、例えば、ぬいぐるみが頭頂方向（上方向）から撮影されている場合に、このぬいぐるみの特徴である顔を見せるように回転を促す矢印を、ディスプレイ２２１に表示させる。
例えば、ウサギのぬいぐるみに対して、その上方向をカメラ２７に翳した画像を用いてオブジェクト認識し、特徴量ファイル３６１のウサギのぬいぐるみの基準画像との類似度が商品確定できるほど高くなく、ウサギのぬいぐるみとクマのぬいぐるみとが候補に挙がったとする。候補商品であるウサギのぬいぐるみとクマのぬいぐるみの各方向から撮影した基準画像の特徴量を比較して、その差が大きく、外観の差が顕著な方向を特定する。正面方向が特定されたとすると、誘導部９４は、上方向から正面方向に回転させるべくオペレータに商品回転を促す矢印を、ディスプレイ２２１に表示させる。
誘導部９４は、このような候補商品の組み合わせ情報、および、これら候補商品の特徴方向の情報を類似商品データベース３６２に格納する。これにより、同一の撮影条件と同一の候補にかかる計算処理を実施することなく、迅速にナビゲーション可能である。
誘導部９４は、このような候補商品の組み合わせ情報、および、これら候補商品の特徴方向の情報を類似商品データベース３６２に格納する。これにより、同一の撮影条件と同一の候補にかかる計算処理を実施することなく、迅速にナビゲーション可能である。
なお、ディスプレイ２２１に商品を回転させるようにオペレータに促す矢印が表示されていても、画像取得部９０による画像の取得処理と、物体検出部９１による物体の検出処理と、および類似度演算部９２による類似度の演算処理とは継続される。
確定通知部９５は、カメラ２７によって撮像された商品が、条件を満たした取扱商品であるとして一意的に確定されたことを、画像出力や音声出力などによってオペレータや客に報知する。
より詳細には、確定通知部９５は、条件を満たした取扱商品が、カメラ２７によって撮像された商品（確定商品）として一意的に確定されたことを示す確定画面をディスプレイ２２１に表示させ、確定商品に関する情報をスピーカ２８に出力する。スピーカ２８は、入力された情報を出力することにより、確定商品を示す情報をオペレータや客に報知する。
入力取得部９６は、タッチパネル２２２またはキーボード２３を介してディスプレイ２２１の表示に対応する各種入力操作を受け付ける。
情報出力部９７は、上述のようにして確定された確定商品について、その商品を示す情報（例えば、商品ＩＤや商品名や値引き情報など）を、インタフェース２５を介してＰＯＳ端末３に出力する。
情報出力部９７は、上述のようにして確定された確定商品について、その商品を示す情報（例えば、商品ＩＤや商品名や値引き情報など）を、インタフェース２５を介してＰＯＳ端末３に出力する。
なお、情報出力部９７は、タッチパネル２２２またはキーボード２３を介して別途入力された販売個数を、商品ＩＤなどと共にＰＯＳ端末３に出力してもよい。また、情報出力部９７がＰＯＳ端末３に出力する情報としては、情報出力部９７が特徴量ファイル３６１から読み出した商品ＩＤを直接通知してもよいし、商品ＩＤを特定することが可能な商品名、または、商品画像、写真画像のファイル名をＰＯＳ端末３に通知してもよい。
ＰＯＳ端末３の売上登録部９９は、情報出力部９７から出力された商品ＩＤと販売個数とに基づいて、対応する商品の売上登録を行う。具体的にいうと、売上登録部９９は、特徴量ファイル３６１を参照して、通知された商品ＩＤおよび、これに対応する商品分類、商品名、単価、販売個数を売上マスタファイルなどに記録して売上登録（仮登録）を行う。
図４は、第１の実施形態における商品識別装置２の正面図である。
商品識別装置２は、カウンタ台５に設置されている。商品識別装置２は、薄型の直方体状のハウジング５１と、このハウジング５１の上部に取り付けられた表示・操作部２２と、表示・操作部２２の左奥側に裏向きに設置された顧客用ディスプレイ２４とを含んで構成される。
このハウジング５１の正面には、読取窓５２が設けられる。
読取窓５２には、照明２７１とカメラ２７（撮像手段）とが配置される。認識領域８Ｍは、カメラ２７が物体を撮影し、この物体を検知して商品を特定する領域である。
この商品識別装置２は、カメラ２７による物体を検知し、物体の商品名などを識別し、ＰＯＳ端末３に商品登録処理を行わせる。
商品識別装置２は、カウンタ台５に設置されている。商品識別装置２は、薄型の直方体状のハウジング５１と、このハウジング５１の上部に取り付けられた表示・操作部２２と、表示・操作部２２の左奥側に裏向きに設置された顧客用ディスプレイ２４とを含んで構成される。
このハウジング５１の正面には、読取窓５２が設けられる。
読取窓５２には、照明２７１とカメラ２７（撮像手段）とが配置される。認識領域８Ｍは、カメラ２７が物体を撮影し、この物体を検知して商品を特定する領域である。
この商品識別装置２は、カメラ２７による物体を検知し、物体の商品名などを識別し、ＰＯＳ端末３に商品登録処理を行わせる。
図５は、特徴量ファイル３６１の構成を示す図である。
特徴量ファイル３６１の各レコードは、特徴量欄３６１ａ、画像リンク欄３６１ｂ、方向欄３６１ｃ、商品ＩＤ欄３６１ｄ、単価欄３６１ｅ、商品名欄３６１ｆの各欄を含んでいる。この特徴量ファイル３６１には、各商品を複数の方向から撮影した基準画像と、その撮影方向の情報との組み合わせが格納される。
特徴量欄３６１ａは、この商品の基準画像の特徴量ベクトルを格納する欄である。特徴量欄３６１ａの格納情報は、後記する画像リンク欄３６１ｂの画像を分析して得られるものである。
画像リンク欄３６１ｂは、この商品の基準画像のリンクを格納する欄である。リンクで示される基準画像は、この商品を６方向のいずれかから撮影した画像である。
方向欄３６１ｃは、この商品の基準画像の撮影方向を示すベクトルである。
商品ＩＤ欄３６１ｄは、この商品を識別する情報を格納する欄である。
単価欄３６１ｅは、この商品の単価を格納する欄である。
商品名欄３６１ｆは、この商品の名称を格納する欄である。
特徴量ファイル３６１の各レコードは、特徴量欄３６１ａ、画像リンク欄３６１ｂ、方向欄３６１ｃ、商品ＩＤ欄３６１ｄ、単価欄３６１ｅ、商品名欄３６１ｆの各欄を含んでいる。この特徴量ファイル３６１には、各商品を複数の方向から撮影した基準画像と、その撮影方向の情報との組み合わせが格納される。
特徴量欄３６１ａは、この商品の基準画像の特徴量ベクトルを格納する欄である。特徴量欄３６１ａの格納情報は、後記する画像リンク欄３６１ｂの画像を分析して得られるものである。
画像リンク欄３６１ｂは、この商品の基準画像のリンクを格納する欄である。リンクで示される基準画像は、この商品を６方向のいずれかから撮影した画像である。
方向欄３６１ｃは、この商品の基準画像の撮影方向を示すベクトルである。
商品ＩＤ欄３６１ｄは、この商品を識別する情報を格納する欄である。
単価欄３６１ｅは、この商品の単価を格納する欄である。
商品名欄３６１ｆは、この商品の名称を格納する欄である。
図６（ａ）〜（ｆ）は、ウサギのぬいぐるみの６方向の基準画像を示す図である。
図６（ａ）は、ウサギのぬいぐるみの正面方向の基準画像を示している。このときＸ軸を正面方向から見て右方向、Ｙ軸を正面方向から見て上方向、Ｚ軸を正面方向から見て奥向きと定義すると、撮影方向のベクトルは、（Ｘ，Ｙ，Ｚ）＝（０，０，１）である。ぬいぐるみなどは一般的に、この正面方向の基準画像が最もオブジェクト認識に適した方向である。
図６（ａ）は、ウサギのぬいぐるみの正面方向の基準画像を示している。このときＸ軸を正面方向から見て右方向、Ｙ軸を正面方向から見て上方向、Ｚ軸を正面方向から見て奥向きと定義すると、撮影方向のベクトルは、（Ｘ，Ｙ，Ｚ）＝（０，０，１）である。ぬいぐるみなどは一般的に、この正面方向の基準画像が最もオブジェクト認識に適した方向である。
図６（ｂ）は、ウサギのぬいぐるみの背面方向の基準画像を示している。このとき撮影方向のベクトルは、（Ｘ，Ｙ，Ｚ）＝（０，０，−１）である。
図６（ｃ）は、ウサギのぬいぐるみの上方向の基準画像を示している。このとき撮影方向のベクトルは、（Ｘ，Ｙ，Ｚ）＝（０，−１，０）である。
図６（ｄ）は、ウサギのぬいぐるみの下方向の基準画像を示している。このとき撮影方向のベクトルは、（Ｘ，Ｙ，Ｚ）＝（０，１，０）である。
図６（ｅ）は、ウサギのぬいぐるみの右方向の基準画像を示している。このとき撮影方向のベクトルは、（Ｘ，Ｙ，Ｚ）＝（−１，０，０）である。
図６（ｆ）は、ウサギのぬいぐるみの左方向の基準画像を示している。このとき撮影方向のベクトルは、（Ｘ，Ｙ，Ｚ）＝（１，０，０）である。
このように、６方向の商品の基準画像を予め記録することにより、どのような方向で商品を翳したときであっても、この商品を容易に認識可能である。
図６（ｃ）は、ウサギのぬいぐるみの上方向の基準画像を示している。このとき撮影方向のベクトルは、（Ｘ，Ｙ，Ｚ）＝（０，−１，０）である。
図６（ｄ）は、ウサギのぬいぐるみの下方向の基準画像を示している。このとき撮影方向のベクトルは、（Ｘ，Ｙ，Ｚ）＝（０，１，０）である。
図６（ｅ）は、ウサギのぬいぐるみの右方向の基準画像を示している。このとき撮影方向のベクトルは、（Ｘ，Ｙ，Ｚ）＝（−１，０，０）である。
図６（ｆ）は、ウサギのぬいぐるみの左方向の基準画像を示している。このとき撮影方向のベクトルは、（Ｘ，Ｙ，Ｚ）＝（１，０，０）である。
このように、６方向の商品の基準画像を予め記録することにより、どのような方向で商品を翳したときであっても、この商品を容易に認識可能である。
図７（ａ）〜（ｆ）は、クマのぬいぐるみの６方向の基準画像を示す図である。
図７（ａ）は、クマのぬいぐるみの正面方向の基準画像を示している。このとき撮影方向のベクトルは、（Ｘ，Ｙ，Ｚ）＝（０，０，１）であり、図６（ａ）で示したウサギのぬいぐるみとの相違が最も大きくなる。よって、クマのぬいぐるみとウサギのぬいぐるみとは、正面方向の画像の類似度が最も小さくなる。
図７（ａ）は、クマのぬいぐるみの正面方向の基準画像を示している。このとき撮影方向のベクトルは、（Ｘ，Ｙ，Ｚ）＝（０，０，１）であり、図６（ａ）で示したウサギのぬいぐるみとの相違が最も大きくなる。よって、クマのぬいぐるみとウサギのぬいぐるみとは、正面方向の画像の類似度が最も小さくなる。
図７（ｂ）は、クマのぬいぐるみの背面方向の基準画像を示している。このとき撮影方向のベクトルは、（Ｘ，Ｙ，Ｚ）＝（０，０，−１）である。図６（ｂ）で示したウサギのぬいぐるみとの相違は比較的小さい。
図７（ｃ）は、クマのぬいぐるみの上方向の基準画像を示している。このとき撮影方向のベクトルは、（Ｘ，Ｙ，Ｚ）＝（０，−１，０）である。図６（ｃ）で示したウサギのぬいぐるみとの相違は比較的小さい。
図７（ｄ）は、クマのぬいぐるみの下方向の基準画像を示している。このとき撮影方向のベクトルは、（Ｘ，Ｙ，Ｚ）＝（０，１，０）である。図６（ｄ）で示したウサギのぬいぐるみとの相違は比較的小さい。
図７（ｅ）は、クマのぬいぐるみの右方向の基準画像を示している。このとき撮影方向のベクトルは、（Ｘ，Ｙ，Ｚ）＝（−１，０，０）である。図６（ｅ）で示したウサギのぬいぐるみとの相違は比較的小さい。
図７（ｆ）は、クマのぬいぐるみの左方向の基準画像を示している。このとき撮影方向のベクトルは、（Ｘ，Ｙ，Ｚ）＝（１，０，０）である。図６（ｆ）で示したウサギのぬいぐるみとの相違は比較的小さい。
図７（ｃ）は、クマのぬいぐるみの上方向の基準画像を示している。このとき撮影方向のベクトルは、（Ｘ，Ｙ，Ｚ）＝（０，−１，０）である。図６（ｃ）で示したウサギのぬいぐるみとの相違は比較的小さい。
図７（ｄ）は、クマのぬいぐるみの下方向の基準画像を示している。このとき撮影方向のベクトルは、（Ｘ，Ｙ，Ｚ）＝（０，１，０）である。図６（ｄ）で示したウサギのぬいぐるみとの相違は比較的小さい。
図７（ｅ）は、クマのぬいぐるみの右方向の基準画像を示している。このとき撮影方向のベクトルは、（Ｘ，Ｙ，Ｚ）＝（−１，０，０）である。図６（ｅ）で示したウサギのぬいぐるみとの相違は比較的小さい。
図７（ｆ）は、クマのぬいぐるみの左方向の基準画像を示している。このとき撮影方向のベクトルは、（Ｘ，Ｙ，Ｚ）＝（１，０，０）である。図６（ｆ）で示したウサギのぬいぐるみとの相違は比較的小さい。
図８は、第１の実施形態における類似商品データベース３６２の構成を示す図である。
類似商品データベース３６２は、第１商品ＩＤ欄３６２ａ、第１方向欄３６２ｂ、第２商品ＩＤ欄３６２ｃ、第２方向欄３６２ｄ、特徴画像欄３６２ｅ、特徴方向欄３６２ｆ、回転軸ベクトル欄３６２ｇを含んで構成される。類似商品データベース３６２は、過去の商品識別の学習結果であり、これを参照することにより、オブジェクト認識の演算処理をスキップして高速に処理することができる。
第１商品ＩＤ欄３６２ａは、類似する２つの候補商品のうち一方の商品ＩＤを格納する欄であり、第２商品ＩＤ欄３６２ｃは、他方の商品ＩＤを格納する欄である。
第１方向欄３６２ｂは、類似する２つの候補商品のうち一方の商品の基準画像の撮影方向を格納する欄であり、第２方向欄３６２ｄ、他方の商品の基準画像の撮影方向を格納する欄である。
特徴画像欄３６２ｅは、類似する２つの候補商品のうち一方の商品の基準画像のうち、２つの候補商品の類似度が最小となり、よって特徴の相違が顕著となる画像のリンクを格納する欄である。
特徴方向欄３６２ｆは、類似する２つの候補商品のうち一方の商品の基準画像のうち、２つの候補商品の類似度が最小となり、よって特徴の相違が顕著となる方向ベクトルを格納する欄である。
回転軸ベクトル欄３６２ｇは、対象商品を類似度最小方向に向けるときの回転軸のベクトルを格納する欄である。このベクトルを、撮影画像上のベクトルに変換することで、回転を誘導する画面上の矢印を表示することができる。
類似商品データベース３６２は、第１商品ＩＤ欄３６２ａ、第１方向欄３６２ｂ、第２商品ＩＤ欄３６２ｃ、第２方向欄３６２ｄ、特徴画像欄３６２ｅ、特徴方向欄３６２ｆ、回転軸ベクトル欄３６２ｇを含んで構成される。類似商品データベース３６２は、過去の商品識別の学習結果であり、これを参照することにより、オブジェクト認識の演算処理をスキップして高速に処理することができる。
第１商品ＩＤ欄３６２ａは、類似する２つの候補商品のうち一方の商品ＩＤを格納する欄であり、第２商品ＩＤ欄３６２ｃは、他方の商品ＩＤを格納する欄である。
第１方向欄３６２ｂは、類似する２つの候補商品のうち一方の商品の基準画像の撮影方向を格納する欄であり、第２方向欄３６２ｄ、他方の商品の基準画像の撮影方向を格納する欄である。
特徴画像欄３６２ｅは、類似する２つの候補商品のうち一方の商品の基準画像のうち、２つの候補商品の類似度が最小となり、よって特徴の相違が顕著となる画像のリンクを格納する欄である。
特徴方向欄３６２ｆは、類似する２つの候補商品のうち一方の商品の基準画像のうち、２つの候補商品の類似度が最小となり、よって特徴の相違が顕著となる方向ベクトルを格納する欄である。
回転軸ベクトル欄３６２ｇは、対象商品を類似度最小方向に向けるときの回転軸のベクトルを格納する欄である。このベクトルを、撮影画像上のベクトルに変換することで、回転を誘導する画面上の矢印を表示することができる。
図９は、第１の実施形態における商品の仮登録処理を示すフローチャートである。
第１の実施形態の商品の仮登録処理は、例えば、オペレータ（店員）が、第１の買物カゴ４Ｌ（図１参照）の商品であるウサギのぬいぐるみを取り出して、読取窓５２のカメラ２７に翳して、このウサギのぬいぐるみを仮登録までの一連の処理である。
第１の実施形態の商品の仮登録処理は、例えば、オペレータ（店員）が、第１の買物カゴ４Ｌ（図１参照）の商品であるウサギのぬいぐるみを取り出して、読取窓５２のカメラ２７に翳して、このウサギのぬいぐるみを仮登録までの一連の処理である。
ステップＳ１１において、画像取得部９０は、カメラ２７に撮像オン信号を出力してカメラ２７による商品画像のキャプチャ（撮像）を開始する。画像取得部９０は、カメラ２７が撮像してＲＡＭ２１３に保存したフレーム画像（撮像画像）を取り込む。
ステップＳ１２において、物体検出部９１は、画像取得部９０が取り込んだフレーム画像に対してオブジェクト認識処理を行い、商品である物体の全部または一部の認識（検出）を試みる。
ステップＳ１２において、物体検出部９１は、画像取得部９０が取り込んだフレーム画像に対してオブジェクト認識処理を行い、商品である物体の全部または一部の認識（検出）を試みる。
ステップＳ１３において、物体検出部９１は、商品である物体の全部または一部の認識に成功したか否かを判断する。物体検出部９１は、商品である物体の認識に成功したならば（Ｙｅｓ）、ステップＳ１４の処理に進み、商品である物体の認識に成功しなかったならば（Ｎｏ）、ステップＳ１１の処理に戻る。ステップＳ１１〜Ｓ１３を具体的にいうと、オペレータが商品を読取窓５２のカメラ２７に翳し、商品識別装置２が、この商品である物体の検出（認識）に成功する一連の処理である。
ステップＳ１４において、類似度演算部９２は、商品の全部または一部の画像から商品の特徴量を読み取る。更に類似度判断部９３は、類似度が閾値Ｔ以上となる取扱商品が特徴量ファイル３６１にあるか否かを判定し、この商品の商品名と商品単価とを検索して呼び出す。
ステップＳ１５において、類似度判断部９３は、類似度が閾値Ｔ以上となる取扱商品が特徴量ファイル３６１にあるか否かにより、商品を一意に特定したか否かを判断する。類似度判断部９３は、類似度が閾値Ｔ以上となる取扱商品を一意に特定したならば、ステップＳ２２の処理に進み、複数の候補商品が存在したならば、ステップＳ１６の処理に進み、いずれの候補商品も存在しなかったならば、ステップＳ１１の処理に戻る。具体的にいうと、類似度判断部９３は、ウサギのぬいぐるみとクマのぬいぐるみが候補商品として存在すると判断する。更に類似度判断部９３は、この商品はウサギのぬいぐるみに最も類似し、その次にクマのぬいぐるみにも類似すると判断する。
ステップＳ１５において、類似度判断部９３は、類似度が閾値Ｔ以上となる取扱商品が特徴量ファイル３６１にあるか否かにより、商品を一意に特定したか否かを判断する。類似度判断部９３は、類似度が閾値Ｔ以上となる取扱商品を一意に特定したならば、ステップＳ２２の処理に進み、複数の候補商品が存在したならば、ステップＳ１６の処理に進み、いずれの候補商品も存在しなかったならば、ステップＳ１１の処理に戻る。具体的にいうと、類似度判断部９３は、ウサギのぬいぐるみとクマのぬいぐるみが候補商品として存在すると判断する。更に類似度判断部９３は、この商品はウサギのぬいぐるみに最も類似し、その次にクマのぬいぐるみにも類似すると判断する。
ステップＳ１６からステップＳ２１の処理は、商品の回転ナビゲーションに係る一連の処理である。この処理は、複数の候補商品が存在するときに繰り返される。
ステップＳ１６において、誘導部９４は、類似商品データベース３６２に候補商品の回転方向情報が存在するか否かを判断する。すなわち誘導部９４は、類似度が高い１番目と２番目の候補商品の組み合わせを類似商品データベース３６２から検索して、対応するレコードが存在するか否かにより、候補商品の回転方向情報の存在を判断する。誘導部９４は、類似商品データベース３６２に候補商品の回転方向情報が存在するならば（Ｙｅｓ）、ステップＳ１９の処理に進み、回転方向情報が存在しないならば（Ｎｏ）、ステップＳ１７の処理に進む。
ステップＳ１６において、誘導部９４は、類似商品データベース３６２に候補商品の回転方向情報が存在するか否かを判断する。すなわち誘導部９４は、類似度が高い１番目と２番目の候補商品の組み合わせを類似商品データベース３６２から検索して、対応するレコードが存在するか否かにより、候補商品の回転方向情報の存在を判断する。誘導部９４は、類似商品データベース３６２に候補商品の回転方向情報が存在するならば（Ｙｅｓ）、ステップＳ１９の処理に進み、回転方向情報が存在しないならば（Ｎｏ）、ステップＳ１７の処理に進む。
ステップＳ１７において、誘導部９４は、２つの候補商品について同一方向の基準画像同士を比較し、特徴の相違が顕著となる基準画像を特定する。具体的にいうと、ウサギのぬいぐるみとクマのぬいぐるみの６方向の基準画像同士を比較する。ここでは、両商品の正面画像の類似度が最小であり、すなわち特徴の相違が顕著である。
ステップＳ１８において、誘導部９４は、特徴の相違が顕著となる撮影方向を特定して、２つの候補商品の組み合わせ情報と共に類似商品データベース３６２に記録する。これにより、同様な候補商品を検出した場合には、類似度を計算することなく、迅速に誘導表示することができる。
ステップＳ１８において、誘導部９４は、特徴の相違が顕著となる撮影方向を特定して、２つの候補商品の組み合わせ情報と共に類似商品データベース３６２に記録する。これにより、同様な候補商品を検出した場合には、類似度を計算することなく、迅速に誘導表示することができる。
ステップＳ１９において、誘導部９４は、特徴の相違が顕著となる撮影方向ベクトルと、基準画像の撮影方向ヘクトルとの外積により、回転軸ベクトルを算出する。更に誘導部９４は、算出した回転軸ベクトルを類似商品データベース３６２に記録する。
ステップＳ２０において、誘導部９４は、回転軸ベクトルを表示座標系に変換する。これにより、表示座標系における回転軸を特定できる。
ステップＳ２１において、誘導部９４は、画面上に矢印を表示することによって、オペレータが翳している商品の回転をナビゲーションする。ステップＳ２１の処理が終了すると、ステップＳ１１の処理に戻る。
ステップＳ２０において、誘導部９４は、回転軸ベクトルを表示座標系に変換する。これにより、表示座標系における回転軸を特定できる。
ステップＳ２１において、誘導部９４は、画面上に矢印を表示することによって、オペレータが翳している商品の回転をナビゲーションする。ステップＳ２１の処理が終了すると、ステップＳ１１の処理に戻る。
ステップＳ２２からステップＳ２３の処理は、商品を一意に特定したときの処理である。
ステップＳ２２において、確定通知部９５は、商品の画像とともに、商品名と単価とをウインドウ表示し、確定商品に関する情報をスピーカ２８に出力する。これにより確定通知部９５は、商品を一意に特定したことをオペレータに知らせることができる。
ステップＳ２３において、情報出力部９７は、確定商品について、その商品を示す情報（例えば、商品ＩＤや商品名や値引き情報など）を、インタフェース２５を介してＰＯＳ端末３に出力し、図９の処理を終了する。ＰＯＳ端末３は、この商品を仮登録し、精算の指示と共に商品マスタファイルに登録する。
ステップＳ２２において、確定通知部９５は、商品の画像とともに、商品名と単価とをウインドウ表示し、確定商品に関する情報をスピーカ２８に出力する。これにより確定通知部９５は、商品を一意に特定したことをオペレータに知らせることができる。
ステップＳ２３において、情報出力部９７は、確定商品について、その商品を示す情報（例えば、商品ＩＤや商品名や値引き情報など）を、インタフェース２５を介してＰＯＳ端末３に出力し、図９の処理を終了する。ＰＯＳ端末３は、この商品を仮登録し、精算の指示と共に商品マスタファイルに登録する。
図１０（ａ），（ｂ）は、第１の実施形態の操作例を示す画面例である。
図１０（ａ）は、ウサギのぬいぐるみの上方向をカメラ２７に翳したときのディスプレイ２２１の表示例である。
ディスプレイ２２１には、ウサギのぬいぐるみと共に、このぬいぐるみの回転を誘導する矢印が表示されている。この矢印は、オペレータに対して、ウサギのぬいぐるみを矢印方向に回転するように誘導している。このとき、類似度判断部９３は、ウサギのぬいぐるみとクマのぬいぐるみを候補商品として判断している。
その後、オペレータは、ウサギのぬいぐるみを矢印方向に回転する。これにより、ウサギのぬいぐるみの顔がカメラ２７に翳される。
図１０（ａ）は、ウサギのぬいぐるみの上方向をカメラ２７に翳したときのディスプレイ２２１の表示例である。
ディスプレイ２２１には、ウサギのぬいぐるみと共に、このぬいぐるみの回転を誘導する矢印が表示されている。この矢印は、オペレータに対して、ウサギのぬいぐるみを矢印方向に回転するように誘導している。このとき、類似度判断部９３は、ウサギのぬいぐるみとクマのぬいぐるみを候補商品として判断している。
その後、オペレータは、ウサギのぬいぐるみを矢印方向に回転する。これにより、ウサギのぬいぐるみの顔がカメラ２７に翳される。
図１０（ｂ）は、ウサギのぬいぐるみの正面方向をカメラ２７に翳したときのディスプレイ２２１の表示例である。
ディスプレイ２２１には、ウサギのぬいぐるみと共に、「うさき・ぬいぐるみ・８００円」のウインドウが表示されている。このウインドウは、オペレータに対して、商品が一意に識別できたことを伝えている。
ディスプレイ２２１には、ウサギのぬいぐるみと共に、「うさき・ぬいぐるみ・８００円」のウインドウが表示されている。このウインドウは、オペレータに対して、商品が一意に識別できたことを伝えている。
（第２の実施形態）
図１１は、第２の実施形態における類似商品データベース３６２Ａの構成を示す図である。第１の実施形態の類似商品データベース３６２と同一の要素には同一の符号を付与している。
類似商品データベース３６２Ａは、第１の実施形態の類似商品データベース３６２と異なり、特徴方向欄３６２ｆ、回転軸ベクトル欄３６２ｇを含んでいないが、それ以外は同一の欄を含んで構成される。
図１１は、第２の実施形態における類似商品データベース３６２Ａの構成を示す図である。第１の実施形態の類似商品データベース３６２と同一の要素には同一の符号を付与している。
類似商品データベース３６２Ａは、第１の実施形態の類似商品データベース３６２と異なり、特徴方向欄３６２ｆ、回転軸ベクトル欄３６２ｇを含んでいないが、それ以外は同一の欄を含んで構成される。
図１２は、第２の実施形態における商品の仮登録処理を示すフローチャートである。図９に示す第１の実施形態の商品の仮登録処理のフローチャートと同一の要素には、同一の符号を付与している。
第２の実施形態の商品の仮登録処理は、例えば、オペレータ（店員）が、第１の買物カゴ４Ｌ（図１参照）の商品であるクマのぬいぐるみを取り出して、読取窓５２のカメラ２７に翳して、このクマのぬいぐるみを仮登録までの一連の処理である。
第２の実施形態の商品の仮登録処理は、例えば、オペレータ（店員）が、第１の買物カゴ４Ｌ（図１参照）の商品であるクマのぬいぐるみを取り出して、読取窓５２のカメラ２７に翳して、このクマのぬいぐるみを仮登録までの一連の処理である。
ステップＳ１１からステップＳ１６の処理は、第１の実施形態の各処理と同様である。具体的にいうと、類似度判断部９３は、ウサギのぬいぐるみとクマのぬいぐるみが候補商品として存在すると判断する。更に類似度判断部９３は、この商品はクマのぬいぐるみに最も類似し、その次にウサギのぬいぐるみにも類似すると判断する。
ステップＳ３０において、誘導部９４は、類似商品データベース３６２Ａに候補商品の特徴の相違が顕著な基準画像の情報が存在するか否かを判断する。誘導部９４は、この情報が存在するならば（Ｙｅｓ）、ステップＳ３３の処理に進み、この情報が存在しないならば（Ｎｏ）、ステップＳ３１の処理に進む。
ステップＳ３０において、誘導部９４は、類似商品データベース３６２Ａに候補商品の特徴の相違が顕著な基準画像の情報が存在するか否かを判断する。誘導部９４は、この情報が存在するならば（Ｙｅｓ）、ステップＳ３３の処理に進み、この情報が存在しないならば（Ｎｏ）、ステップＳ３１の処理に進む。
ステップＳ３１において、誘導部９４は、２つの候補商品について同一方向の基準画像同士を比較し、特徴の相違か顕著な基準画像を特定する。具体的にいうと、クマのぬいぐるみとウサギのぬいぐるみの６方向の基準画像同士を比較する。ここでは、両商品の正面画像の相違が顕著であり、類似度が最小である。
ステップＳ３２において、誘導部９４は、両商品の特徴の相違が顕著な基準画像を、２つの候補商品の組み合わせ情報と共に類似商品データベース３６２に記録する。これにより、同様な候補商品を検出した場合には、類似度を計算することなく、迅速に誘導表示することができる。
ステップＳ３３において、誘導部９４は、両商品の特徴の相違が顕著な基準画像を表示することによって、オペレータが翳している商品の回転をナビゲーションする。ステップＳ２０の処理が終了すると、ステップＳ１１の処理に戻る。
このように動作することで、誘導部９４は、オペレータが翳している商品を、特徴の相違が顕著な基準画像の方向に翳すようにナビゲーションすることができる。
ステップＳ３２において、誘導部９４は、両商品の特徴の相違が顕著な基準画像を、２つの候補商品の組み合わせ情報と共に類似商品データベース３６２に記録する。これにより、同様な候補商品を検出した場合には、類似度を計算することなく、迅速に誘導表示することができる。
ステップＳ３３において、誘導部９４は、両商品の特徴の相違が顕著な基準画像を表示することによって、オペレータが翳している商品の回転をナビゲーションする。ステップＳ２０の処理が終了すると、ステップＳ１１の処理に戻る。
このように動作することで、誘導部９４は、オペレータが翳している商品を、特徴の相違が顕著な基準画像の方向に翳すようにナビゲーションすることができる。
図１３は、第２の実施形態の操作例を示す画面例である。
図１３（ａ）は、クマのぬいぐるみの上方向をカメラ２７に翳したときのディスプレイ２２１の表示例である。
このとき、ディスプレイ２２１には、クマのぬいぐるみが全画面で表示されていると共に、このぬいぐるみの正面方向の基準画像と、「このように回転」のガイダンスが表示されている。このガイダンスは、オペレータに対して、クマのぬいぐるみの正面方向をカメラ２７に向けるように誘導している。
その後、オペレータは、クマのぬいぐるみを矢印方向に回転する。これにより、クマのぬいぐるみの顔がカメラ２７に翳される。これにより、商品識別装置２は、この商品がクマのぬいぐるみであることを識別可能である。
図１３（ａ）は、クマのぬいぐるみの上方向をカメラ２７に翳したときのディスプレイ２２１の表示例である。
このとき、ディスプレイ２２１には、クマのぬいぐるみが全画面で表示されていると共に、このぬいぐるみの正面方向の基準画像と、「このように回転」のガイダンスが表示されている。このガイダンスは、オペレータに対して、クマのぬいぐるみの正面方向をカメラ２７に向けるように誘導している。
その後、オペレータは、クマのぬいぐるみを矢印方向に回転する。これにより、クマのぬいぐるみの顔がカメラ２７に翳される。これにより、商品識別装置２は、この商品がクマのぬいぐるみであることを識別可能である。
図１３（ｂ）は、クマのぬいぐるみの正面方向をカメラ２７に翳したときのディスプレイ２２１の表示例である。
このとき、ディスプレイ２２１には、クマのぬいぐるみと共に、「クマ・ぬいぐるみ・１２００円」のウインドウが表示されている。このウインドウは、オペレータに対して、商品が一意に識別できたことを伝えている。
このとき、ディスプレイ２２１には、クマのぬいぐるみと共に、「クマ・ぬいぐるみ・１２００円」のウインドウが表示されている。このウインドウは、オペレータに対して、商品が一意に識別できたことを伝えている。
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ）〜（ｄ）のようなものがある。
（ａ） 商品の基準画像の撮影方向は、６方向に限定されない。
（ｂ） 商品の回転のナビゲーションは、上記実施形態に限定されない。例えば、音声やポリゴンの回転アニメーションなどによって、商品の回転をナビゲーションしてもよい。
（ｃ） 候補商品の数は、２つに限定されず、３以上の候補商品から特徴（相違）が顕著となる方向を決定してもよい。
（ｄ） 候補商品の基準画像の比較は、撮影時に定義した方向が同一のものに比較に限定されない。類似度が高い２つの基準画像の方向からの相対方向で比較してもよい。
（ａ） 商品の基準画像の撮影方向は、６方向に限定されない。
（ｂ） 商品の回転のナビゲーションは、上記実施形態に限定されない。例えば、音声やポリゴンの回転アニメーションなどによって、商品の回転をナビゲーションしてもよい。
（ｃ） 候補商品の数は、２つに限定されず、３以上の候補商品から特徴（相違）が顕著となる方向を決定してもよい。
（ｄ） 候補商品の基準画像の比較は、撮影時に定義した方向が同一のものに比較に限定されない。類似度が高い２つの基準画像の方向からの相対方向で比較してもよい。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
オペレータが翳した物体の画像を撮影する撮影手段と、
前記撮影手段が撮影した画像から前記物体を検出する物体検出手段と、
前記物体検出手段が検出した前記物体を各商品の複数方向の基準画像と比較して類似度を判断する類似度判断手段と、
前記物体が複数の商品に類似するならば、前記複数の商品の各方向の基準画像を比較して相違が顕著なものを特定し、特定した前記基準画像に係る方向を前記撮影手段に向けるように、前記オペレータに対して前記物体の回転を誘導する誘導手段と、
を備えることを特徴とする商品識別装置。
＜請求項２＞
前記撮影手段が撮影した画像を表示すると共に、前記撮影手段が撮影した画像から認識した前記物体が複数の商品に類似するならば、前記物体の回転を誘導する方向の矢印を表示する表示手段、
を備えることを特徴とする請求項１に記載の商品識別装置。
＜請求項３＞
前記誘導手段は、前記撮影手段が撮影した画像から認識した前記物体が複数の商品に類似し、前記複数の商品の各基準画像を比較して相違が顕著なものを特定したならば、特定した当該基準画像の方向の情報を記憶手段に蓄積する、
ことを特徴とする請求項１または請求項２に記載の商品識別装置。
＜請求項４＞
前記撮影手段が撮影した画像を表示すると共に、前記撮影手段が撮影した画像から認識した前記物体が複数の商品に類似するならば、前記複数の商品の各基準画像のうち相違が顕著な画像を表示する表示手段、
を備えることを特徴とする請求項１に記載の商品識別装置。
＜請求項５＞
前記誘導手段は、前記撮影手段が撮影した画像から認識した前記物体が複数の商品に類似し、かつ前記複数の商品の各基準画像を比較して相違が顕著なものを特定したならば、特定した当該基準画像を識別する情報を記憶手段に蓄積する、
を備えることを特徴とする請求項１または請求項４に記載の商品識別装置。
＜請求項６＞
オペレータが翳した物体の画像を撮影する撮影ステップと、
前記撮影ステップで撮影した画像から前記物体を検出する物体検出ステップと、
検出した前記物体を各商品の複数方向の基準画像と比較して類似度を判断する類似度判断ステップと、
前記物体が複数の商品に類似するならば、前記複数の商品の各方向の基準画像を比較して相違が顕著なものを特定し、特定した前記基準画像に係る方向を撮影するように、前記オペレータに対して前記物体の回転を誘導する誘導ステップと、
を含むことを特徴とする商品識別装置の商品認識ナビゲーション方法。
〔付記〕
＜請求項１＞
オペレータが翳した物体の画像を撮影する撮影手段と、
前記撮影手段が撮影した画像から前記物体を検出する物体検出手段と、
前記物体検出手段が検出した前記物体を各商品の複数方向の基準画像と比較して類似度を判断する類似度判断手段と、
前記物体が複数の商品に類似するならば、前記複数の商品の各方向の基準画像を比較して相違が顕著なものを特定し、特定した前記基準画像に係る方向を前記撮影手段に向けるように、前記オペレータに対して前記物体の回転を誘導する誘導手段と、
を備えることを特徴とする商品識別装置。
＜請求項２＞
前記撮影手段が撮影した画像を表示すると共に、前記撮影手段が撮影した画像から認識した前記物体が複数の商品に類似するならば、前記物体の回転を誘導する方向の矢印を表示する表示手段、
を備えることを特徴とする請求項１に記載の商品識別装置。
＜請求項３＞
前記誘導手段は、前記撮影手段が撮影した画像から認識した前記物体が複数の商品に類似し、前記複数の商品の各基準画像を比較して相違が顕著なものを特定したならば、特定した当該基準画像の方向の情報を記憶手段に蓄積する、
ことを特徴とする請求項１または請求項２に記載の商品識別装置。
＜請求項４＞
前記撮影手段が撮影した画像を表示すると共に、前記撮影手段が撮影した画像から認識した前記物体が複数の商品に類似するならば、前記複数の商品の各基準画像のうち相違が顕著な画像を表示する表示手段、
を備えることを特徴とする請求項１に記載の商品識別装置。
＜請求項５＞
前記誘導手段は、前記撮影手段が撮影した画像から認識した前記物体が複数の商品に類似し、かつ前記複数の商品の各基準画像を比較して相違が顕著なものを特定したならば、特定した当該基準画像を識別する情報を記憶手段に蓄積する、
を備えることを特徴とする請求項１または請求項４に記載の商品識別装置。
＜請求項６＞
オペレータが翳した物体の画像を撮影する撮影ステップと、
前記撮影ステップで撮影した画像から前記物体を検出する物体検出ステップと、
検出した前記物体を各商品の複数方向の基準画像と比較して類似度を判断する類似度判断ステップと、
前記物体が複数の商品に類似するならば、前記複数の商品の各方向の基準画像を比較して相違が顕著なものを特定し、特定した前記基準画像に係る方向を撮影するように、前記オペレータに対して前記物体の回転を誘導する誘導ステップと、
を含むことを特徴とする商品識別装置の商品認識ナビゲーション方法。
１ 商品登録装置
２ 商品識別装置
２１ マイクロコンピュータ （制御手段）
２１１ ＣＰＵ
２１２ ＲＯＭ
２１３ ＲＡＭ
２２ 表示・操作部
２２１ ディスプレイ （表示手段）
２２２ タッチパネル
２３ キーボード
２４ 顧客用ディスプレイ
２７ カメラ （撮影手段）
２８ スピーカ
３ ＰＯＳ端末
３６ ＨＤＤ
３６１ 特徴量ファイル
３６２ 類似商品データベース
９０ 画像取得部
９１ 物体検出部 （物体検出手段）
９２ 類似度演算部
９３ 類似度判断部 （類似度判断手段）
９４ 誘導部 （誘導手段）
９５ 確定通知部
９６ 入力取得部
９７ 情報出力部
９９ 売上登録部
２ 商品識別装置
２１ マイクロコンピュータ （制御手段）
２１１ ＣＰＵ
２１２ ＲＯＭ
２１３ ＲＡＭ
２２ 表示・操作部
２２１ ディスプレイ （表示手段）
２２２ タッチパネル
２３ キーボード
２４ 顧客用ディスプレイ
２７ カメラ （撮影手段）
２８ スピーカ
３ ＰＯＳ端末
３６ ＨＤＤ
３６１ 特徴量ファイル
３６２ 類似商品データベース
９０ 画像取得部
９１ 物体検出部 （物体検出手段）
９２ 類似度演算部
９３ 類似度判断部 （類似度判断手段）
９４ 誘導部 （誘導手段）
９５ 確定通知部
９６ 入力取得部
９７ 情報出力部
９９ 売上登録部
Claims (7)
- 物体の画像を取得する取得手段と、
前記取得手段が取得した画像から前記物体を検出する物体検出手段と、
前記物体検出手段が検出した前記物体をオペレータが所定の方向に向けるようにオペレータを誘導するための矢印として、前記物体の回転方向であって前記物体の裏返し方向を示す矢印を前記物体の画像とともに表示させる表示制御手段と、
を備え、
前記表示制御手段は、前記物体を回転させる軸が把握できるように、前記物体の画像を互いの間に挟むようにして少なくとも二つの矢印を表示させることを特徴とする情報表示装置。 - 前記表示制御手段は、前記矢印を円弧で表示させることを特徴とする請求項１に記載の情報表示装置。
- 前記表示制御手段は、前記矢印を立体的に表示させることを特徴とする請求項１または２に記載の情報表示装置。
- 前記表示制御手段は、前記物体の画像を視認する妨げにならない位置に前記矢印を表示させることを特徴とする請求項１から３のうち何れか１項に記載の情報表示装置。
- 前記物体検出手段が検出した前記物体がどの商品に対応するか識別する識別手段を更に備え、
前記表示制御手段は、前記識別手段が前記物体に対応する商品を一意に識別できなかった場合に、前記物体を識別し易くする方向に向けるように誘導する前記矢印を表示させることを特徴とする請求項１から４のうち何れか１項に記載の情報表示装置。 - 情報表示装置が実行する誘導表示方法であって、
物体の画像を取得する取得ステップと、
前記取得ステップが取得した画像から前記物体を検出する物体検出ステップと、
前記物体検出ステップが検出した前記物体をオペレータが所定の方向に向けるようにオペレータを誘導するための矢印として、前記物体の回転方向であって前記物体の裏返し方向を示す矢印を前記物体の画像とともに表示させる表示制御ステップと、
を含み、
前記表示制御ステップは、前記物体を回転させる軸が把握できるように、前記物体の画像を互いの間に挟むようにして少なくとも二つの矢印を表示させることを特徴とする誘導表示方法。 - コンピュータを、
物体の画像を取得する取得手段、
前記取得手段が取得した画像から前記物体を検出する物体検出手段、
前記物体検出手段が検出した前記物体をオペレータが所定の方向に向けるようにオペレータを誘導するための矢印として、前記物体の回転方向であって前記物体の裏返し方向を示す矢印を前記物体の画像とともに表示させる表示制御手段、
として機能させ、
前記表示制御手段は、前記物体を回転させる軸が把握できるように、前記物体の画像を互いの間に挟むようにして少なくとも二つの矢印を表示させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018001095A JP6547856B2 (ja) | 2018-01-09 | 2018-01-09 | 情報表示装置、誘導表示方法およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018001095A JP6547856B2 (ja) | 2018-01-09 | 2018-01-09 | 情報表示装置、誘導表示方法およびプログラム |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014255539A Division JP6274097B2 (ja) | 2014-12-17 | 2014-12-17 | 商品識別装置および商品認識ナビゲーション方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018097883A JP2018097883A (ja) | 2018-06-21 |
| JP6547856B2 true JP6547856B2 (ja) | 2019-07-24 |
Family
ID=62633710
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018001095A Active JP6547856B2 (ja) | 2018-01-09 | 2018-01-09 | 情報表示装置、誘導表示方法およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6547856B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7023005B2 (ja) * | 2019-10-24 | 2022-02-21 | 克己 横道 | 情報処理システム、情報処理方法およびプログラム |
| JP7451320B2 (ja) | 2020-06-18 | 2024-03-18 | 京セラ株式会社 | 情報処理システム、情報処理装置、及び、情報処理方法 |
| JP7360997B2 (ja) | 2020-06-18 | 2023-10-13 | 京セラ株式会社 | 情報処理システム、情報処理装置、および情報処理方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3860552B2 (ja) * | 2003-03-25 | 2006-12-20 | 富士通株式会社 | 撮影装置 |
| JP2009151394A (ja) * | 2007-12-18 | 2009-07-09 | Canon Inc | 画像処理装置及び画像処理方法及びプログラム |
| JP4460611B2 (ja) * | 2008-01-31 | 2010-05-12 | 東芝テック株式会社 | 商品登録システム及びその方法 |
| JP2011081479A (ja) * | 2009-10-05 | 2011-04-21 | Nippon Telegr & Teleph Corp <Ntt> | 動画像被写体運動表示装置および動画像被写体運動表示用プログラム |
| JP6064995B2 (ja) * | 2012-03-27 | 2017-01-25 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| JP2013210971A (ja) * | 2012-03-30 | 2013-10-10 | Toshiba Tec Corp | 情報処理装置及びプログラム |
| JP5612645B2 (ja) * | 2012-09-06 | 2014-10-22 | 東芝テック株式会社 | 情報処理装置及びプログラム |
-
2018
- 2018-01-09 JP JP2018001095A patent/JP6547856B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018097883A (ja) | 2018-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6274097B2 (ja) | 商品識別装置および商品認識ナビゲーション方法 | |
| JP6369258B2 (ja) | 商品登録装置、商品登録方法およびプログラム | |
| JP6141207B2 (ja) | 情報処理装置、店舗システム及びプログラム | |
| JP6348827B2 (ja) | 情報処理装置、店舗システムおよびプログラム | |
| JP5612645B2 (ja) | 情報処理装置及びプログラム | |
| JP6147676B2 (ja) | 情報処理装置、店舗システム及びプログラム | |
| JP6360350B2 (ja) | 情報処理装置、店舗システム及びプログラム | |
| JP6547856B2 (ja) | 情報表示装置、誘導表示方法およびプログラム | |
| JP2014052800A (ja) | 情報処理装置及びプログラム | |
| JP5551140B2 (ja) | 情報処理装置及びプログラム | |
| JP2017139019A (ja) | 情報処理装置、及びプログラム | |
| JP2017211881A (ja) | 情報処理装置及びプログラム | |
| JP6428240B2 (ja) | 商品登録装置、商品認識方法、およびプログラム | |
| JP6409637B2 (ja) | 商品登録装置、およびその商品登録方法 | |
| JP6375924B2 (ja) | 商品登録装置、商品特定方法及びプログラム | |
| JP5770899B2 (ja) | 情報処理装置及びプログラム | |
| JP2017211880A (ja) | 情報処理装置及びプログラム | |
| JP5567606B2 (ja) | 情報処理装置及びプログラム | |
| JP6503670B2 (ja) | 商品登録装置、商品登録方法、および商品登録プログラム | |
| JP6295944B2 (ja) | 商品識別装置および商品認識ナビゲーション方法 | |
| JP6503814B2 (ja) | 商品登録装置、商品登録方法及びプログラム | |
| JP6394340B2 (ja) | 商品登録装置、商品登録方法およびプログラム | |
| JP5797703B2 (ja) | 情報処理装置、店舗システム及びプログラム | |
| JP6384309B2 (ja) | 商品識別装置、商品認識ナビゲーション方法及びプログラム | |
| JP6610724B2 (ja) | 商品登録装置、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180914 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181113 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181121 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190528 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190610 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6547856 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |