JP6873711B2 - 商品認識装置 - Google Patents

Description

本発明の実施形態は、商品認識装置に関する。

従来、オペレータが翳す商品をスキャナ（カメラ）で撮影した撮影画像により商品の認識を行う商品認識装置がある。商品認識装置は、物体を検知すると、商品認識処理を実行する。商品認識装置は、商品認識処理において複数の商品候補を選出した場合、選出した複数の商品候補を表示し、オペレータによる候補の選択待ち状態となる。

しかしながら、従来の商品認識装置は、商品以外の物体を検知して商品認識処理を開始することがある。例えば、商品認識装置は、意図せずにオペレータの腕や肩がスキャナに接近した場合に物体として検知して商品認識処理を開始してしまうことがある。商品認識装置は、意図しない撮影画像に対して商品認識処理を実行した場合も、当該撮影画像から得た複数の候補を表示してオペレータによる候補の選択待ち状態となる。選択待ち状態となった商品認識装置は、オペレータが表示中の候補をリセットする操作を行った後に、再度カメラに商品を翳す操作が必要となる。このようなオペレータの操作は、作業効率の低下を招くものである。

特許第５８２６１５２号

上記した課題を解決するために、商品認識処理における作業効率の向上が図れる商品認識装置を提供する。

実施形態によれば、商品認識装置は、インターフェースと、姿勢センサと、プロセッサとを有する。インターフェースは、オペレータが商品を翳す領域を含む撮影領域を撮影した撮影画像を取得する。姿勢センサは、前記オペレータの姿勢を示す姿勢情報を取得する。プロセッサは、姿勢センサが取得する姿勢情報に基づいて前記オペレータの姿勢が前記領域に商品を翳す状態であるか否かを判定し、前記オペレータの姿勢が前記領域に商品を翳す状態であると判定した場合に前記インターフェースにより取得する画像に対して商品認識処理を実行する。

図１は、実施形態に係る商品認識装置を含む会計システムの構成例を示す図である。 図２は、実施形態に係る商品認識装置及びＰＯＳ端末の制御系の構成例を示すブロック図である。 図３は、実施形態に係る商品認識装置を含む会計システムにおける会計処理の流れを概略的に説明するためのフローチャートである。 図４は、実施形態に係る商品認識装置における第１の動作例を説明するためのフローチャートである。 図５は、実施形態に係る商品認識装置における複数の商品候補の表示例を示す図である。 図６は、実施形態に係る商品認識装置における第２の動作例を説明するためのフローチャートである。

以下、図面を参照しながら実施形態について説明する。
図１は、実施形態に係る商品認識装置１を含む会計システムの構成例を示す外観図である。
会計システムは、商品認識装置１とＰＯＳ端末２とを有する。商品認識装置１は、顧客が買い上げる商品を認識（登録）する。ＰＯＳ端末２は、商品認識装置１で認識（登録）した商品に対する代金の決済を行う。会計システムは、例えば、小売店などの店舗において利用者（顧客）が購入する商品に対する会計処理を行うシステムである。以下の説明では、店員がオペレータとして操作することにより商品認識処理を含む会計処理を実施するシステムを想定する。ただし、会計システムは、利用者自身がオペレータとして操作することにより商品認識処理を含む会計処理を実施するシステム（セルフレジシステム）であっても良い。

図１に示す構成例において、商品認識装置１は、会計カウンタ３の上に取り付けられる。商品認識装置１は、ハウジング１Ａ、キーボード１１、タッチパネル１２及び客用ディスプレイ１３を備える。ＰＯＳ端末２は、レジ台４の上にドロワ５を介して設置される。ＰＯＳ端末２は、キーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３及びレシートプリンタ２４を備える。商品認識装置１とＰＯＳ端末２とは、通信ケーブル４００（図２を参照）を介して電気的に接続される。

商品認識装置１を設置する会計カウンタ３は、顧客が通行する通路に沿って細長い形状を有する。ＰＯＳ端末２を設置するレジ台４は、会計カウンタ３に沿って移動する顧客の移動方向に対して下流側に置かれる。レジ台４は、会計カウンタ３に対して略垂直に置かれる。会計カウンタ３及びレジ台４の手前側がオペレータとしての店員が作業を行うスペースとなる。

商品認識装置１において、キーボード１１、タッチパネル１２および客用ディスプレイ１３は、ハウジング１Ａに取り付けられる。ハウジング１Ａは、商品認識処理を行うコンピュータとしての制御ユニットを格納する。さらに、ハウジング１Ａは、カメラ１４、ブザー１５および姿勢センサ１６を備える。図１に示す構成例において、ハウジング１Ａは、薄型の矩形形状を有し、会計カウンタ３の略中央に立設される。キーボード１１とタッチパネル１２は、それぞれ操作面をオペレータとしての店員（キャッシャ）側に向けてハウジング１Ａに取り付けられる。客用ディスプレイ１３は、表示面を顧客が通行する通路側に向けてハウジング１Ａに取り付けられる。

また、ハウジング１Ａは、読取窓１Ｂを有する。読取窓１Ｂは、ハウジング１Ａ内のカメラ１４が商品の画像を撮影するための窓（開口部）である。図１に示す構成例において、読取窓１Ｂは、ハウジング１Ａのオペレータ側において矩形状に形成される。ハウジング１Ａ内のカメラ１４は、イメージセンサ、駆動回路および光学系などにより構成される。イメージセンサは、例えば、ＣＣＤ（Charge Coupled Device）撮像素子である。駆動回路は、イメージセンサを駆動させる。光学系は、読取窓１Ｂからの撮像領域の画像をＣＣＤ撮像素子に結像させるための撮像レンズなどを含む。ここで、撮像領域は、読取窓１Ｂから撮像レンズを通してＣＣＤ撮像素子のエリアに結像するフレーム画像の領域を指す。カメラ１４は、撮像レンズを通ってＣＣＤ撮像素子に結像した撮像領域の画像を出力する。
なお、カメラ１４は、上記構成のものに限定されるものではない。本実施形態に係る商品認識のカメラは、商品を含む画像を画像データとして取得するものであれば良い。

図１に示す構成においては、会計カウンタ３におけるハウジング１Ａの両側にそれぞれカゴ６とカゴ７とが配置される運用を想定する。カゴ６には、商品認識処理前の商品（未認識の商品）を入れる。カゴ７には、商品認識処理後の商品（登録済みの商品）を入れる。カゴ６は、会計カウンタ３上の顧客の移動方向に対してハウジング１Ａよりも上流側に置かれる。これに対して、カゴ７は、会計カウンタ３上の顧客の移動方向に対してハウジングＡ１よりも下流側に置かれる。

例えば、顧客は、カゴ６に購入を希望する未認識（登録）の商品Ｍを入れたカゴ６を会計カウンタ３に置く。オペレータ（店員）は、カゴ６から商品を一個ずつ取り出し、取り出した商品を読取窓１Ｂに翳す。このようなオペレータの操作に伴って、カメラ１４は、読取窓１Ｂから１つの商品を含む撮影領域の画像を撮影する。カメラ１４が撮影した撮影画像に基づく商品認識処理が完了した後、オペレータは、当該商品をカゴ７に入れる。

また、姿勢センサ１６は、オペレータの姿勢を推定するための情報を検知するセンサである。姿勢センサ１６は、オペレータ（セルフレジの場合は利用者）が商品を読取窓１Ｂに翳す状態であるかを判定できる情報（姿勢情報）を取得するものであれば良い。例えば、姿勢センサ１６は、カメラであっても良いし、測距センサであっても良いし、近接センサであっても良い。なお、姿勢センサ１６をカメラとする場合、姿勢センサ１６はカメラ１４であっても良い。

図２は、商品認識装置１とＰＯＳ端末２とのハードウェア構成を示すブロック図である。
商品認識装置１は、プロセッサ１１１、ＲＯＭ（Read Only Memory）１１２、ＲＡＭ（Random Access Memory）１１３、画像インターフェース１１４、デバイスインターフェース１１５、接続インターフェース１１６、および、センサインターフェース１１７を有する。プロセッサ１１１は、アドレスバス，データバス等のバスライン１１８を介して、ＲＯＭ１１２、ＲＡＭ１１３及び各インターフェース１１４，１１５，１１６、１１７に接続する。

プロセッサ１１１は、プログラムを実行する。例えば、プロセッサ１１１は、ＲＯＭ１１２が記憶するプログラムを実行することにより種々の処理を実現する。プロセッサ１１１は、例えば、ＣＰＵ（Central Processing Unit）である。ＲＯＭ（Read Only Memory）１１２は、プログラムおよび制御データなどを記憶する。ＲＡＭ１１３は、作業用のデータを記憶する揮発性のメモリである。ＲＡＭ１１３は、プロセッサ１１１がプログラムにより実行中の処理データを記憶する。

画像インターフェース１１４は、カメラ１４を接続するインターフェースである。プロセッサ１１１は、画像インターフェース１１４を介してカメラ１４が撮像した画像データを取り込む。プロセッサ１１１は、画像インターフェース１１４を介してカメラ１４から取り込んだ画像データをＲＡＭ１１３に格納する。

デバイスインターフェース１１５は、キーボード１１、タッチパネル１２及び客用ディスプレイ１３を接続するインターフェースである。タッチパネル１２は、表示部１２ａとタッチセンサ１２ｂとからなる。タッチセンサ１２ｂは、表示部１２ａの画面の上に重ねて配置される。デバイスインターフェース１１５は、ブザー１５を接続するインターフェースであっても良い。ブザー１５は、例えば、報知音を鳴動する。ブザー１５は、デバイスインターフェース１１５を介してプロセッサ１１１から制御指示を受信し、受信した制御指示に応じて音を発する
接続インターフェース１１６は、ＰＯＳ端末２と接続するためのインターフェースである。図２に示す構成例において、接続インターフェース１１６は、通信ケーブル４００を介してＰＯＳ端末２と接続する。接続インターフェース１１６は、ＰＯＳ端末２と通信するものであれ良く、例えば、無線通信用のインターフェースであっても良い。

センサインターフェース１１７は、姿勢センサ１６を接続するためのインターフェースである。センサインターフェース１１７は、姿勢センサ１６の仕様に応じたものとなる。なお、カメラ１４を姿勢センサ１６として用いる場合、センサインターフェース１１７は省略しても良い。

ＰＯＳ端末２は、図２に示すように、プロセッサ２１１、ＲＯＭ２１２、ＲＡＭ２１３、ＨＤＤ（Hard Disk Drive）２１４、デバイスインターフェース２１５、通信インターフェース２１６及び接続インターフェース２１７を有する。プロセッサ２１１は、アドレスバス，データバス等のバスライン２１８を介して、ＲＯＭ２１２、ＲＡＭ２１３、ＨＤＤ２１４及び各インターフェース２１５，２１６，２１７に接続する。

プロセッサ２１１は、プログラムを実行する。例えば、プロセッサ２１１は、ＲＯＭ２１２が記憶するプログラムを実行することにより種々の処理を実現する。プロセッサ２１１は、例えば、ＣＰＵ（Central Processing Unit）である。ＲＯＭ２１２は、プログラムおよび制御データなどを記憶する。ＲＡＭ２１３は、作業用のデータを記憶する揮発性のメモリである。ＲＡＭ２１３は、プロセッサ２１１がプログラムにより実行中の処理データを記憶する。ＨＤＤ２１４は、データ記憶部である。データ記憶部は、ＨＤＤに限定されるものではなく、例えば、ＳＳＤ（Solid State Drive）などであっても良い。

デバイスインターフェース２１５は、キーボード２１、オペレータ用ディスプレイ２２、客用ディスプレイ２３、プリンタ２４及びドロワ５を接続するためのインターフェースである。
通信インターフェース２１６は、ストアコンピュータ３００に接続するためのインターフェースである。通信インターフェース２１６は、例えば、ＬＡＮ（Local Area Network）等のネットワークを介してストアコンピュータ３００と通信する。ＰＯＳ端末２のプロセッサ２１１は、通信インターフェース２１６を介してストアコンピュータ３００とデータの送受信が可能となる。例えば、ＰＯＳ端末２のプロセッサ２１１は、通信インターフェース２１６を介してストアコンピュータ３００から商品認識用の辞書ファイル５００を受信する。ＰＯＳ端末２のプロセッサ２１１は、ストアコンピュータ３００から受信した辞書ファイル５００をＨＤＤ２１４に保存する。

接続インターフェース２１７は、商品認識装置１と通信するためのインターフェースである。図２に示す構成例において、接続インターフェース２１７は、通信ケーブル４００を介して商品認識装置１の接続インターフェース１１６に接続する。例えば、ＰＯＳ端末２のプロセッサ２１１は、接続インターフェース２１７等を介して通信する商品認識装置１のタッチパネル１２及び客用ディスプレイ１３の表示を制御する。また、商品認識装置１のプロセッサ１１１は、接続インターフェース２１７等を介して通信可能となるＰＯＳ端末２のＨＤＤ２１４内の辞書ファイル５００にアクセスする。

辞書ファイル５００は、商品毎の辞書データである。例えば、辞書ファイル５００は、商品毎の商品ＩＤ及び商品名に関連付けた複数対の基準画像データと特徴量データとを含む。複数の基準画像データは、商品ＩＤで識別される商品を様々な条件で撮影した画像データである。例えば、複数の基準画像データは、商品を様々な方向から撮影した画像データである。特徴量データは、各基準画像から得られる外観上の特徴量をパラメータ化したデータである。特徴量データは、商品認識処理において、撮影画像中の商品画像から得る特徴量と照合するための辞書データである。

次に、商品認識装置１における処理機能について説明する。
商品認識装置１は、プロセッサ１１１がプログラムを実行することにより実現される種々の処理機能を有する。商品認識装置１は、プロセッサ１１１がＲＯＭ１１２に記憶したプログラムを実行することにより商品認識処理を含む商品登録処理などの種々の処理機能を実現する。例えば、商品認識装置１は、商品を認識するための処理機能として、画像取得機能、画像検出機能、特徴量抽出機能、類似度算出機能、商品特定機能及び結果出力機能を有する。

本実施形態に係る商品認識装置１は、商品認識の手法として、一般物体認識（generic object recognition）の技術を採用するものとする。一般物体認識（以下、物体認識と称する）とは、商品などの物体（オブジェクト）をカメラで撮像した画像データ（撮影画像）から当該物体の種別等を認識する技術である。例えば、物体認識は、電子計算機（コンピュータ）などの装置においてプロセッサがプログラムを実行することにより実現される。コンピュータは、画像データを取得し、取得した画像データに含まれる物体の画像から認識用の特徴量を抽出する。コンピュータは、物体の画像から抽出した特徴量と辞書データとして登録済みの特徴量（基準画像から得た特徴量）データとの類似度を算出する。コンピュータは、物体の画像から抽出した特徴量と辞書データとして登録済みの特徴量データとの類似度に基づいて取得した画像に存在する物体を認識する。

画像取得機能は、カメラ１４が撮影する撮影画像を取得する機能である。カメラ１４は、読取窓１Ｂの前に翳される商品を撮影するように設定された撮影領域の画像を撮影する。プロセッサ１１１は、画像インターフェース１１４を介してカメラ１４が撮影した撮影領域の画像を取得する。
画像検出機能は、カメラ１４が撮影した撮影画像から商品画像を検出（抽出）する機能である。プロセッサ１１１は、画像取得機能によりカメラ１４から取得する撮影画像から商品の画像領域を検出する。プロセッサ１１１は、商品の画像領域を切出して商品画像とする。

特徴量抽出機能は、画像検出機能により検出した商品画像から特徴量を抽出する機能である。プロセッサ１１１は、商品認識処理に用いるアルゴリズムに応じた商品の特徴量を商品画像から算出（抽出）する。
類似度算出機能は、商品画像から抽出する特徴量と辞書データとして登録済みの各商品の特徴量データとの類似度を算出する機能である。プロセッサ１１１は、商品画像から得た特徴量と各商品の辞書ファイル５００の特徴量データとの類似度を算出する。

商品特定機能は、類似度算出機能により算出した商品毎の類似度に基づいて商品画像の商品（カメラ１４が撮影した商品）を特定する機能である。プロセッサ１１１は、類似度に基づいて商品画像の商品を１つの商品として特定するか、又は、商品画像の商品に対する複数の商品候補を選出する。例えば、プロセッサ１１１は、所定閾値以上の類似度の商品が１つだけである場合、商品画像の商品が閾値以上となった商品であると特定する。また、所定閾値以上の類似度となる商品が無い場合、又は、所定閾値以上の類似度の商品が複数ある場合、プロセッサ１１１は、類似度が高い順に複数の商品候補を選出する。複数の商品候補を選出した場合、プロセッサ１１１は、オペレータの選択に従って商品画像の商品を特定する。

結果出力機能は、商品特定機能により特定した商品を示す情報をＰＯＳ端末２へ出力する機能である。プロセッサ１１１は、商品特定機能で商品を特定した場合、特定した商品の商品ＩＤをカメラ１４が撮影した商品の商品ＩＤとしてＰＯＳ端末２に出力する。
なお、商品認識装置１のプロセッサ１１１は、商品画像から商品を特定するコード（例えば、バーコード、二次元コード）を認識するコード認識機能を具備しても良い。プロセッサ１１１は、商品画像からコードが検出できた場合にコードによる商品を認識し、コードが検出できない場合に物体認識により商品を認識するようにしても良い。ただし、以下の説明では、商品認識装置１は、物体認識により商品を認識するものとする。

次に、会計システムにおける会計処理の流れについて説明する。
図３は、会計システムにおける会計処理の流れを概略的に説明するためのフローチャートである。
図３に示すように、会計システムは、利用者が購入する各商品を登録（認識）する商品登録処理と商品登録処理により登録した全商品の代金を決済する会計処理とを行う。商品登録処理は、物体認識を用いた商品認識によって利用者（顧客）が購入する個々の商品を特定（確定）する処理を含む。

利用者は、店舗内において購入したい商品を探し、実際に購入する商品をカゴ６に入れる。利用者は、購入する商品を入れたカゴ６を持って会計カウンタ３へ行く。利用者又は店員は、購入する商品が入ったカゴ６を会計カウンタ上のハウジング１Ａの手前（利用者の進行方向の上流側）に置く。オペレータ（店員又は利用者）は、カゴ６から商品を１つずつ取出して読取窓１Ｂに翳す。オペレータは、読取窓１Ｂに翳した商品の認識（登録）が完了したら当該商品をカゴ７に入れる。

商品認識装置１は、カメラ１４が撮影する画像に対する商品認識処理により特定した商品を登録する（ＡＣＴ１１）。商品認識装置１は、読取窓１Ｂに翳された個々の商品の画像をカメラ１４により撮影する。商品認識装置１は、カメラ１４が撮影した撮影画像に対して商品認識処理を行う。商品認識処理において、商品認識装置１は、姿勢センサ１６からオペレータの姿勢を推定するための姿勢情報を取得し、オペレータの姿勢を監視する。商品認識装置１は、姿勢情報に基づいてオペレータの姿勢が商品認識処理を実行して良い状態であると判定すると、各商品に対する商品認識処理を継続的に実施する。

なお、商品認識処理を含む商品登録処理については、後で詳細に説明する。ここでは、商品認識装置１のプロセッサ１１１が商品登録処理を実施し、登録した商品を示す情報をＰＯＳ端末２へ供給するものとする。ただし、商品認識処理は、ＰＯＳ端末２のプロセッサ２１１が実施するようにしても良い。

商品登録処理が完了した場合（決済対象となる全ての商品を登録した場合）、オペレータは、商品認識装置１のキーボード１１又はタッチパネル１２により商品の登録完了を指示するものとする。すなわち、商品登録処理を開始した後、商品認識装置１は、オペレータによる商品の登録完了の指示を受付ける（ＡＣＴ１２）。商品の登録完了の指示が無ければ（ＡＣＴ１２、ＮＯ）、商品認識装置１は、商品登録処理を継続的に実行する。

商品の登録完了の指示が有った場合（ＡＣＴ１２、ＹＥＳ）、商品認識装置１は、登録した商品に対するＰＯＳ端末２による会計処理に移行する（ＡＣＴ１３）。例えば、ＰＯＳ端末２のプロセッサ２１１は、商品認識装置１から登録（確定）した各商品の商品ＩＤを取得する。ＰＯＳ端末２のプロセッサ２１１は、登録された各商品の商品ＩＤを取得すると、取得した商品ＩＤに基づいて各商品の商品代金を特定する。

プロセッサ２１１は、各商品の商品代金を合計することにより登録された全商品（決済対象となる全商品）に対する決済額を算出する。決済額を算出すると、プロセッサ２１１は、算出した決済額を決済するための金額を利用者から収受する。プロセッサ２１１は、利用者から決済額の金額を収受すると、取引内容を示すレシートを発行して会計処理を終了する。

次に、商品認識装置１における商品登録処理の第１の動作例について説明する。
図４は、商品認識装置１における商品認識処理を含む商品登録処理の第１の動作例を説明するためのフローチャートである。
第１の動作例において、商品認識装置１のプロセッサ１１１は、まず、タッチパネル１２の表示内容をクリアし（ＡＣＴ３１）、商品登録処理を開始する。商品登録処理を開始すると、プロセッサ１１１は、姿勢センサ１６からオペレータの姿勢を示す情報(姿勢情報)を取得する（ＡＣＴ３２）。姿勢センサ１６から姿勢情報を取得すると、プロセッサ１１１は、取得した姿勢情報に基づいてオペレータが商品認識処理を実行して良い姿勢であるかを判定する（ＡＣＴ３３）。プロセッサ１１１は、姿勢センサ１６から取得する姿勢情報が規定の条件を満すかにより商品認識処理を実行して良い姿勢であるか否かを判定する。

姿勢センサ１６が骨格情報を取得するセンサであれば、プロセッサ１１１は、姿勢センサ１６が取得する姿勢情報としての骨格情報によりオペレータの姿勢を推定する。また、姿勢センサ１６がカメラであれば、プロセッサ１１１は、姿勢センサ１６としてのカメラが撮影する画像（姿勢情報）からオペレータの姿勢を推定する。また、姿勢センサ１６が近接センサであれば、プロセッサ１１１は、姿勢センサ１６としての近接センサの検知信号（姿勢情報）によりオペレータの姿勢（位置）を推定する。

本実施形態において、商品認識処理を実行して良い姿勢とは、オペレータが商品を読取窓１Ｂに翳している姿勢（又は、翳すことが可能な姿勢）であるものとする。例えば、商品認識処理を実行して良い姿勢は、「直立状態」、「頭部の位置が所定範囲内」、「顔の向きが正面（カメラ１４側）向き」などの姿勢として良い。また、所定位置（例えば、タッチパネル１２の上部）に設けた姿勢センサ１６としての近接センサに近接していない状態が商品認識処理を実行して良い姿勢であるとしても良い。

例えば、プロセッサ１１１は、姿勢センサ１６が取得する姿勢情報（例えば、骨格情報）によりオペレータが直立状態であるかを判定できる。規定の条件として姿勢情報がオペレータの直立状態を示す条件を設定すると、プロセッサ１１１は、姿勢センサ１６が取得する姿勢情報により直立状態であるかを判定する。

また、姿勢センサ１６がカメラであれば、プロセッサ１１１は、姿勢センサ１６としてのカメラが撮影する画像（姿勢情報）からオペレータの頭部の位置を推定できる。規定の条件として頭部の位置に対する許容範囲を設定すると、プロセッサ１１１は、姿勢情報から特定する頭部の位置が許容範囲内かを判定する。

また、姿勢センサ１６がカメラであれば、プロセッサ１１１は、姿勢センサ１６としてのカメラが撮影する画像（姿勢情報）からオペレータの顔の向きを推定できる。規定の条件として顔の向きを設定すると、プロセッサ１１１は、姿勢情報から特定する顔の向きが規定の条件として設定した向きであるかを判定する。

オペレータが商品認識処理を実行して良い姿勢であると判定した場合（ＡＣＴ３４、ＹＥＳ）、プロセッサ１１１は、画像取得機能によりカメラ１４から撮影画像を取得する（ＡＣＴ３５）。すなわち、プロセッサ１１１は、カメラ１４が撮影する撮影画像（フレーム画像）を画像インターフェース１１４により取り込む。プロセッサ１１１は、画像インターフェース１１４により取り込んだ撮影画像をＲＡＭ１１３に格納する。

プロセッサ１１１は、画像検出機能によりカメラ１４から取得した撮影画像における商品画像を検出する処理を行う（ＡＣＴ３６）。プロセッサ１１１は、ＲＡＭ１１３に格納した撮影画像から商品と推定される物体の領域を検出することにより撮影画像に物体が有るか否かを判定する。例えば、プロセッサ１１１は、撮影画像を二値化した画像から輪郭線等を抽出（検出）する。プロセッサ１１１は、２値化した画像から商品として推定される物体の輪郭の抽出を試みる。物体の輪郭を抽出すると、プロセッサ１１１は、抽出した輪郭内を商品の画像領域（商品画像）とみなす。

また、撮影画像に物体が無いと判断した場合、つまり、撮影画像から商品画像が抽出できない場合（ＡＣＴ３６、ＮＯ）、プロセッサ１１１は、ＡＣＴ３２へ戻る。この場合、プロセッサ１１１は、姿勢センサ１６から取得する姿勢情報が規定の条件を満たす状態であれば、カメラ１４から次の撮影画像を取り込む。すなわち、プロセッサ１１１は、姿勢情報が規定の条件を満たす状態であれば、商品画像が抽出できるまでカメラ１４から撮影画像を順次取込む。プロセッサ１１１は、カメラ１４から撮影画像を取り込む毎に、商品画像の抽出処理を実行する。従って、姿勢情報が規定の条件を満たす状態で読取窓１Ｂに商品が翳されると、プロセッサ１１１は、カメラ１４の撮影画像から商品画像を抽出して商品認識処理を開始する。

撮影画像に物体が有ると判断した場合、つまり、撮影画像から商品画像が抽出できた場合（ＡＣＴ３６、ＹＥＳ）、プロセッサ１１１は、商品画像に対する商品認識処理を実行する（ＡＣＴ３７）。
商品認識処理において、プロセッサ１１１は、特徴量抽出機能、類似度算出機能および商品特定機能による物体認識によって商品を認識する。すなわち、プロセッサ１１１は、特徴量抽出機能により商品画像から物体認識に用いる特徴量を抽出する。商品画像から特徴量を抽出すると、プロセッサ１１１は、抽出した特徴量と各商品の辞書ファイル５００の特徴量データとの類似度を類似度算出機能により算出する。プロセッサ１１１は、商品特定機能により算出した各商品に対する類似度が閾値以上であるか判断する。

類似度が閾値以上の商品が１つである場合（認識結果の確度が十分に高い商品が１つだけ得られた場合）、プロセッサ１１１は、商品画像の商品が閾値以上の類似度となった商品であると特定する（ＡＣＴ３８、ＹＥＳ）。商品認識処理によって商品を１つの商品として特定した場合、プロセッサ１１１は、オペレータの操作を伴わずに、特定した商品を決済対象の商品として登録する（ＡＣＴ４２）。すなわち、プロセッサ１１１は、商品認識処理によって商品を一意に特定できた場合、オペレータの操作を伴わずに、特定した商品を自動的に登録する（自動確定機能）。

また、類似度が閾値以上の商品が無い場合（ＡＣＴ３８、ＮＯ）、プロセッサ１１１は、類似度が高い順に複数の商品候補を選出する。また、類似度が閾値以上の商品が複数存在する場合（ＡＣＴ３８、ＮＯ）、プロセッサ１１１は、類似度が閾値以上となった複数の商品を商品候補として選出する。複数の商品候補を選出すると、プロセッサ１１１は、選出した複数の商品候補をタッチパネル１２に表示する（ＡＣＴ３９）。

図５は、商品認識処理で得られた複数の商品候補を表示した表示例である。
図５に示す表示例において、タッチパネル１２は、商品画像を表示するとともに、複数の商品候補を示す複数のアイコンＮ１〜Ｎ４を表示する。各アイコンＮ１〜Ｎ４は、タッチパネル１２のタッチセンサ１２ｂにより選択可能なボタンである。各アイコンＮ１〜Ｎ４は、それぞれの商品候補を示す表示を表示する。プロセッサ１１１は、何れかのアイコンＮ１〜Ｎ４へのタッチを検知する。

複数の商品候補を選出した場合、プロセッサ１１１は、図５に示すように選択可能な商品候補を表示することによりオペレータによる商品候補の選択を受付ける（ＡＣＴ４０）。また、プロセッサ１１１は、選択可能な商品候補を表示すると共に、キーボード１１又はタッチパネル１２による商品候補のリセット（又は、商品認識処理の再試行）の指示を受付ける（ＡＣＴ４１）。商品候補のリセットが指示された場合（ＡＣＴ４１、ＹＥＳ）、プロセッサ１１１は、ＡＣＴ３１へ戻り、商品候補をクリアして上述の処理を再度実行する。また、オペレータが何れかの商品候補を選択した場合（ＡＣＴ４０、ＹＥＳ）、プロセッサ１１１は、オペレータが選択した商品を決済対象の商品として登録する（ＡＣＴ４２）。

なお、複数の商品候補を表示した場合、プロセッサ１１１は、オペレータが何れかの商品候補を選択するか、オペレータがリセットを指示するまで表示状態を維持する。表示状態を維持している間、プロセッサ１１１は、商品認識処理を停止するものとする。ただし、プロセッサ１１１は、複数の商品候補の表示状態を維持したままで、ＡＣＴ３５〜３８の処理を繰り返し実施しても良い。この場合、プロセッサ１１１は、類似度が閾値以上となった１つの商品が特定できた際に、自動確定機能により類似度が閾値以上の商品を登録するようにしても良い。

上記第１の動作例では、商品認識装置は、姿勢センサが取得する姿勢情報に基づいてオペレータが商品認識処理を実行して良い姿勢であるかを判定する。商品認識装置は、姿勢情報によりオペレータが商品認識処理を実行して良い姿勢であると判定した場合に商品認識処理を実行する。

これにより、商品認識装置は、オペレータの腕や肩などの商品以外の物体が読取窓に接近して、意図せずに商品認識処理が実行されることを防止できる。例えば、オペレータがカゴから商品を取り出す際、意図せずに腕や肩などが読取窓（カメラ）に接近しても、商品認識処理が実行されないようにできる。この結果、意図しない撮影画像（商品以外の物を撮影した画像）に対する商品認識処理によって不要な商品候補が表示されることがなく、無駄なリセット操作なども不要となる。

次に、商品認識装置１における商品登録処理の第２の動作例について説明する。
図６は、商品認識装置１における商品認識処理を含む商品登録処理の第２の動作例を説明するためのフローチャートである。
第２の動作例において、商品認識装置１のプロセッサ１１１は、まず、姿勢フラグＰ及び更新フラグＵを定義する。例えば、プロセッサ１１１は、姿勢フラグＰ及び更新フラグＵをＲＡＭ１１３上に設定する。姿勢フラグＰ及び更新フラグＵを設定すると、プロセッサ１１１は、姿勢フラグＰの初期値を１とし（ＡＣＴ５０）、更新フラグＵの初期値を０とする（ＡＣＴ５１）。

姿勢フラグＰ及び更新フラグＵに初期値をセットすると、プロセッサ１１１は、タッチパネル１２の表示内容をクリアし（ＡＣＴ５２）、商品登録処理を開始する。商品登録処理を開始すると、プロセッサ１１１は、画像取得機能により撮影画像を取得する（ＡＣＴ５３）。すなわち、プロセッサ１１１は、カメラ１４が撮影した撮影画像（フレーム画像）を画像インターフェース１１４により取り込む。プロセッサ１１１は、画像インターフェース１１４により取り込んだ撮影画像をＲＡＭ１１３に格納する。

プロセッサ１１１は、画像検出機能によりカメラ１４から取得した撮影画像における商品画像を検出する処理を行う（ＡＣＴ５４）。プロセッサ１１１は、ＲＡＭ１１３に格納した撮影画像から商品と推定される物体の領域を検出することにより撮影画像に物体が有るか否かを判定する。

撮影画像に物体が無いと判断した場合、つまり、撮影画像から商品画像が抽出できない場合（ＡＣＴ５３、ＮＯ）、プロセッサ１１１は、ＡＣＴ５３へ戻り、次の撮影画像を取得する。つまり、プロセッサ１１１は、商品画像が抽出できるまでカメラ１４から撮影画像（フレーム画像）を順次取込む。プロセッサ１１１は、カメラ１４から撮影画像を取り込む毎に、商品画像の抽出処理を実行する。

撮影画像に物体有ると判断した場合、つまり、撮影画像から商品画像が抽出できた場合（ＡＣＴ５４、ＹＥＳ）、プロセッサ１１１は、商品画像に対する商品認識処理を実行する（ＡＣＴ５５）。プロセッサ１１１は、商品画像から物体認識に用いる特徴量を抽出し、抽出した特徴量と各商品の辞書ファイル５００の特徴量データとの類似度を算出する。プロセッサ１１１は、算出した各商品に対する類似度が閾値以上であるか判断する。
類似度が閾値以上の１つの商品を特定した場合（ＡＣＴ５６、ＹＥＳ）、プロセッサ１１１は、閾値以上の類似度となった商品を決済対象の商品として登録する（ＡＣＴ５９）。

また、類似度が閾値以上の商品が無い場合（ＡＣＴ５６、ＮＯ）、プロセッサ１１１は、類似度が高い順に複数の商品候補を選出する。また、類似度が閾値以上の商品が複数存在する場合（ＡＣＴ５６、ＮＯ）、プロセッサ１１１は、類似度が閾値以上となった複数の商品を商品候補として選出する。複数の商品候補を選出すると、プロセッサ１１１は、選出した複数の商品候補をタッチパネル１２に表示する（ＡＣＴ５７）。

プロセッサ１１１は、複数の商品候補を選択可能な状態で表示することによりオペレータによる商品候補の選択を受付ける。オペレータが何れかの商品候補を選択した場合（ＡＣＴ５８、ＹＥＳ）、プロセッサ１１１は、オペレータが選択した商品を決済対象の商品として登録する（ＡＣＴ５９）。

また、プロセッサ１１１は、複数の商品候補を表示するとともに、表示した商品候補のリセットの指示を受付ける。商品候補のリセットが指示された場合又は更新フラグＵが１である場合（ＡＣＴ６１、ＹＥＳ）、プロセッサ１１１は、ＡＣＴ５１へ戻り、商品候補をクリアして上述の処理を再度実行する。

さらに、プロセッサ１１１は、複数の商品候補を表示するとともに、オペレータの姿勢状態を監視する（ＡＣＴ６１−６３）。すなわち、プロセッサ１１１は、姿勢センサ１６からオペレータの姿勢を示す情報(姿勢情報)を取得する（ＡＣＴ６１）。姿勢情報を取得すると、プロセッサ１１１は、取得した姿勢情報に基づいてオペレータが商品認識処理を実行して良い姿勢であるかを判定する（ＡＣＴ６２）。プロセッサ１１１は、姿勢センサ１６が取得する姿勢情報が規定の条件を満すかにより商品認識処理を実行して良い姿勢か否かを判定する。なお、ＡＣＴ６２の処理は上述したＡＣＴ３３と同様な処理で良い。

オペレータが商品認識処理を実行して良い姿勢でない（姿勢ＮＧ）と判定した場合（ＡＣＴ６３、ＮＯ）、プロセッサ１１１は、姿勢フラグＰを０とし（ＡＣＴ６４）、ＡＣＴ５７へ戻る。
オペレータが商品認識処理を実行して良い姿勢である（姿勢ＯＫ）と判定した場合（ＡＣＴ６３、ＹＥＳ）、プロセッサ１１１は、姿勢フラグＰが０であるかを判定する（ＡＣＴ６５）。姿勢フラグＰが０で無ければ（ＡＣＴ６５、ＮＯ）、プロセッサ１１１は、姿勢フラグＰ及び更新フラグＵを変更せずに、ＡＣＴ５７へ戻る。また、姿勢フラグＰが０であれば（ＡＣＴ６５、ＹＥＳ）、プロセッサ１１１は、姿勢フラグＰを１にすると共に更新フラグＵを１とし（ＡＣＴ６６）、ＡＣＴ５７へ戻る。

ＡＣＴ６６では、プロセッサ１１１は、オペレータの姿勢が姿勢ＮＧの状態（第１の状態）から姿勢ＯＫの状態（第２の状態）に遷移したことを検知する。例えば、直立状態を姿勢ＯＫの状態とすると、オペレータの姿勢が直立していない状態から直立状態へ遷移した場合、更新フラグＵが１（オン）となる。更新フラグＵが１になると、プロセッサ１１１は、ＡＣＴ６０でＹＥＳと判断してＡＣＴ５１へ戻り、商品候補をクリアして商品認識処理を再び実行する。

上記第２の動作例では、商品認識装置は、商品候補を表示中において、オペレータの姿勢が姿勢ＮＧの状態から姿勢ＯＫの状態に遷移することを姿勢情報により監視する。商品認識装置は、オペレータの姿勢が姿勢ＮＧの状態から姿勢ＯＫの状態に遷移すると、表示中の商品候補をクリアして商品認識処理を改めて実行する。

これにより、意図しない撮影画像に対する商品認識処理によって不要な商品候補が表示されても、オペレータが商品を翳す姿勢になると、不要な商品候補がクリアされる。また、オペレータが商品を翳す姿勢になると、商品候補がクリアされるとともに、商品認識処理が改めて実行される。このため、オペレータの姿勢の変化に応じて、意図した撮影画像による商品認識処理がスムーズに実施できる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下、本願の出願当初の特許請求の範囲に記載した内容を付記する。
［１］
オペレータが商品を翳す領域を含む撮影領域を撮影した撮影画像を取得するインターフェースと、
前記オペレータの姿勢を示す姿勢情報を取得する姿勢センサと、
前記姿勢センサが取得する姿勢情報が規定の条件を満たすかを判定し、前記姿勢情報が前記規定の条件を満たすと判定した場合に前記インターフェースにより取得する画像に対して商品認識処理を実行するプロセッサと、
を有する商品認識装置。
［２］
前記規定の条件は、前記姿勢情報がオペレータの姿勢が直立している状態であることを示す条件である、
［１］に記載の商品認識装置。
［３］
前記規定の条件は、前記姿勢情報がオペレータの頭部が規定の範囲内にあることを示す条件である、
［１］に記載の商品認識装置。
［４］
前記規定の条件は、前記姿勢情報がオペレータの顔が正面を向いていることを示す条件である、
［１］に記載の商品認識装置。
［５］
オペレータが商品を翳す領域を含む撮影領域を撮影した撮影画像を取得するインターフェースと、
前記オペレータの姿勢情報を取得する姿勢センサと、
前記インターフェースにより取得する画像に含まれる商品を認識する商品認識処理を実行し、
前記商品認識処理により複数の商品候補が得られた場合に複数の商品候補からの商品の選択を受付け、
前記複数の商品候補からの商品の選択を受付ける状態において前記姿勢センサが取得する姿勢情報が第１の状態から第２の状態に遷移した場合に前記複数の商品候補をクリアして前記インターフェースにより新たに取得する画像に対して商品認識処理を再度実行する、プロセッサと、
を有する商品認識装置。

１…商品認識装置、１Ａ…ハウジング、１Ｂ…読取窓、２…ＰＯＳ端末、１１…キーボード、１２…タッチパネル、１２ａ…表示部、１２ｂ…タッチセンサ、１３…客用ディスプレイ、１４…カメラ、１６…姿勢センサ、１１１…プロセッサ、１１２…ＲＯＭ、１１３…ＲＡＭ、１１４…画像インターフェース、５００…辞書ファイル。

Claims (5)

1. オペレータが商品を翳す領域を含む撮影領域を撮影した撮影画像を取得するインターフェースと、
   前記オペレータの姿勢を示す姿勢情報を取得する姿勢センサと、
   前記姿勢センサが取得する姿勢情報に基づいて前記オペレータの姿勢が前記領域に商品を翳す状態であるか否かを判定し、前記オペレータの姿勢が前記領域に商品を翳す状態であると判定した場合に前記インターフェースにより取得する画像に対して商品認識処理を実行するプロセッサと、
   を有する商品認識装置。
2. 前記姿勢センサが取得する指定情報は、骨格情報である、
   請求項１に記載の商品認識装置。
3. 前記姿勢センサは、カメラであり、
   前記プロセッサは、前記カメラが前記オペレータを撮影した画像から前記オペレータの頭部が規定の範囲内にあるか否かを判定することにより、前記オペレータの姿勢が前記領域に商品を翳す状態であるか否かを判定する、
   請求項１に記載の商品認識装置。
4. 前記姿勢センサは、カメラであり、
   前記プロセッサは、前記カメラが前記オペレータを撮影した画像から前記オペレータの顔が正面を向いているか否かを判定することにより、前記オペレータの姿勢が前記領域に商品を翳す状態であるか否かを判定する、
   請求項１に記載の商品認識装置。
5. オペレータが商品を翳す領域を含む撮影領域を撮影した撮影画像を取得するインターフェースと、
   前記オペレータの姿勢情報を取得する姿勢センサと、
   前記インターフェースにより取得する画像に含まれる商品を認識する商品認識処理を実行し、
   前記商品認識処理により複数の商品候補が得られた場合に複数の商品候補からの商品の選択を受付け、
   前記複数の商品候補からの商品の選択を受付ける状態において前記姿勢センサが取得する姿勢情報が第１の状態から第２の状態に遷移した場合に前記複数の商品候補をクリアして前記インターフェースにより新たに取得する画像に対して商品認識処理を再度実行する、プロセッサと、
   を有する商品認識装置。

Images