JP7416571B2 - 物品認識装置 - Google Patents

Description

本発明の実施形態は、物品認識装置に関する。

商品などの物品を認識する物品認識装置には、物品を撮影し、撮影画像に写る物品を認識するものがある。そのような物品認識装置は、物品に対応する辞書情報を用いて、撮影画像から物品を認識する。

従来、物品認識装置は、辞書情報の個数が増加するほど認識に時間が掛かる。また、物品認識装置は、認識対象の物品の種類に増減があった場合、都度辞書情報の更新が必要になるという課題がある。

特開２０１８－９７８８１号公報

上記の課題を解決するため、更新負荷を軽減し、高速に物品を認識することができる物品認識装置を提供する。

実施形態によれば、物品認識装置は、画像インターフェースと、プロセッサと、を備える。画像インターフェースは、物品を撮影した撮影画像を取得する。プロセッサは、前記撮影画像から前記物品の物品領域を複数個、抽出し、前記各物品領域から、前記物品領域の特徴を示す特徴情報を抽出し、隣接する２つの物品領域 の特徴情報に基づいて、同一種類の物品が存在する同種領域の境界を特定する。

図１は、第１実施形態に係る物品認識装置の構成例を概略的に示す図である。 図２は、第１実施形態に係る物品認識装置の構成例を示すブロック図である。 図３は、第１実施形態に係る物品認識装置の動作例を示す図である。 図４は、第１実施形態に係る物品認識装置の動作例を示すフローチャートである。 図５は、第２実施形態に係る物品認識装置の動作例を示すフローチャートである。 図６は、第３実施形態に係る物品認識装置の動作例を示す図である。 図７は、第３実施形態に係る物品認識装置の動作例を示す図である。 図８は、第３実施形態に係る物品認識装置の動作例を示すフローチャートである。

以下、図面を参照しながら実施形態について説明する。
（第１の実施形態）
まず、第１の実施形態に係る物品認識装置について説明する。
実施形態に係る物品認識装置は、棚などに設置された物品を認識する。物品認識装置は、棚などの前まで自走し、物品を撮影する。物品認識装置は、撮影された画像（撮影画像）から所定のアルゴリズムに従って物品を認識する。

たとえば、物品認識装置は、商品を販売する店舗などにおいて、商品棚に設置された商品を認識する。なお、物品認識装置が認識する物品は、特定の構成に限定されるものではない。

ここでは、物品認識装置は、商品棚に設置された商品を認識するものとする。

図１は、第１実施形態に係る物品認識装置１及び商品棚４の構成例を概略的に示す。
物品認識装置１は、制御装置１１、カメラ１５及び移動機構１８などを備える。
制御装置１１は、カメラ１５が撮影した画像（撮影画像）に基づいて商品を認識する。
制御装置１１については後に詳述する。

カメラ１５は、商品棚４を撮影する。カメラ１５は、移動機構１８に所定の高さに固定される。たとえば、カメラ１５は、商品棚４の上端から下端までを撮影可能な高さに固定される。

カメラ１５は、制御装置１１からの信号に従って、商品棚４を撮影する。カメラ１５は、撮影した画像（撮影画像）を制御装置１１へ送信する。
カメラ１５は、たとえば、ＣＣＤカメラなどである。

なお、カメラ１５は、制御装置１１からの信号に従って、絞り、シャッタースピード及び撮影倍率などのカメラパラメータを設定されてもよい。

また、カメラ１５は、商品棚４を照らす照明などを備えてもよい。

移動機構１８は、制御装置１１及びカメラ１５を積載し移動させる。たとえば、移動機構１８は、カメラ１５を所定の高さに固定した状態で移動させる。たとえば、移動機構１８は、商品棚４を撮影可能な高さにカメラ１５を固定する。

移動機構１８は、制御装置１１からの信号に従って移動する。たとえば、移動機構１８は、モータ及び車輪などから構成される。移動機構１８は、制御装置１１からの信号に従ってモータを駆動させることで車輪を駆動させる。移動機構１８は、車輪の駆動によって移動する。

なお、制御装置１１とカメラ１５とは、無線で接続されてもよい。たとえば、カメラ１５は、持ち運び可能なカメラ、スマートフォン又はタブレットＰＣなどであってもよい。

また、物品認識装置１は、移動機構１８を備えなくともよい。たとえば、物品認識装置１は、所定の場所に固定されてもよい。また、カメラ１５は、所定の商品棚４を撮影可能なように所定の場所に固定されてもよい。

商品棚４は、店舗などにおいて、商品を提示できるように配置される。たとえば、商品棚４は、商品が外部に提示されるように商品を格納する。

商品棚４は、格納スペース４１ａ乃至４１ｃ及び棚札Ｌなどを備える。
格納スペース４１ａ乃至４１ｃは、商品を格納する。たとえば、格納スペース４１ａ乃至４１ｃは、商品棚４の所定の面（表面）から商品を配置し又は取り出せるように形成される。格納スペース４１ａ乃至４１ｃは、それぞれ矩形に所定の奥行きで形成される。ここでは、商品棚４は、３つの格納スペース４１を備える。なお、商品棚４が備える格納スペース４１の個数及び形状は、特定の構成に限定されるものではない。

棚札Ｌは、商品に関する情報を示す。たとえば、棚札Ｌは、対応する商品の名称又は価格などを示す。なお、棚札Ｌは、産地、割引、又は、クーポンなどを示すものであってもよい。また、棚札Ｌは、商品に関する情報をエンコードして得られるコード（たとえば、一次元コード又は二次元コードなど）を表示するものであってもよい。棚札Ｌが示す情報は、特定の構成に限定されるものではない。

棚札Ｌは、近接する商品に関する情報を示す。たとえば、棚札Ｌは、自身に最も近い位置に存在する商品に関する情報を示す。ここでは、棚札Ｌは、それぞれ直上に存在する商品に関する情報を示す。

次に、物品認識装置１について説明する。
図２は、物品認識装置１の構成例を示すブロック図である。図２が示すように、物品認識装置１は、制御装置１１、カメラ１５、表示装置１６、入力装置１７及び移動機構１８などを備える。また、制御装置１１は、プロセッサ２１、ＲＯＭ２２、ＲＡＭ２３、ＮＶＭ２４、カメラインターフェース２５、表示装置インターフェース２６、入力装置インターフェース２７及び移動機構インターフェース２８などを備える。

プロセッサ２１は、ＲＯＭ２２、ＲＡＭ２３、ＮＶＭ２４、カメラインターフェース２５、表示装置インターフェース２６、入力装置インターフェース２７及び移動機構インターフェース２８と接続する。カメラインターフェース２５は、カメラ１５に接続する。表示装置インターフェース２６は、表示装置１６に接続する。入力装置インターフェース２７は、入力装置１７に接続する。移動機構インターフェース２８は、移動機構１８に接続する。

なお、物品認識装置１及び制御装置１１は、図２が示すような構成の他に必要に応じた構成を具備したり、物品認識装置１及び制御装置１１から特定の構成が除外されたりしてもよい。

カメラ１５及び移動機構１８は、前述の通りである。

プロセッサ２１は、物品認識装置１全体の動作を制御する機能を有する。プロセッサ２１は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ２１は、内部メモリ、ＲＯＭ２２又はＮＶＭ２４が予め記憶するプログラムを実行することにより種々の処理を実現する。

なお、プロセッサ２１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであってもよい。この場合、プロセッサ２１は、ハードウエア回路により実行される機能を制御する。

ＲＯＭ２２は、制御プログラム及び制御データなどが予め記憶された不揮発性のメモリである。ＲＯＭ２２に記憶される制御プログラム及び制御データは、物品認識装置１の仕様に応じて予め組み込まれる。ＲＯＭ２２は、たとえば、物品認識装置１の回路基板を制御するプログラムなどを格納する。

ＲＡＭ２３は、揮発性のメモリである。ＲＡＭ２３は、プロセッサ２１の処理中のデータなどを一時的に格納する。ＲＡＭ２３は、プロセッサ２１からの命令に基づき種々のアプリケーションプログラムを格納する。また、ＲＡＭ２３は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。

ＮＶＭ２４（記憶部）は、データの書き込み及び書き換えが可能な不揮発性のメモリである。ＮＶＭ２４は、たとえば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）又はフラッシュメモリなどから構成される。ＮＶＭ２４は、物品認識装置１の運用用途に応じて制御プログラム、アプリケーション及び種々のデータなどを格納する。

カメラインターフェース２５（画像インターフェース）は、カメラ１５とデータを送受信するためのインターフェースである。たとえば、カメラインターフェース２５は、プロセッサ２１の制御に基づいて、カメラ１５に撮影を指示する信号を送信する。また、カメラインターフェース２５は、カメラ１５から撮影で得られた撮影画像を取得する。たとえば、カメラインターフェース２５は、ＵＳＢ接続をサポートするものであってもよいし、カメラリンクによる接続をサポートするものでもよい。

表示装置インターフェース２６は、表示装置１６とデータを送受信するためのインターフェースである。表示装置インターフェース２６は、プロセッサ２１の制御に基づいて、オペレータに表示する画面を示す情報を表示装置１６に送信する。たとえば、表示装置インターフェース２６は、ＵＳＢ接続をサポートするものであってもよいし、パラレルインターフェースによる接続をサポートするものでもよい。

入力装置インターフェース２７は、入力装置１７とデータを送受信するためのインターフェースである。入力装置インターフェース２７は、オペレータから受け付けた操作を示す信号を入力装置１７から受信する。入力装置インターフェース２７は、受信した信号をプロセッサ２１に送信する。たとえば、入力装置インターフェース２７は、ＵＳＢ接続をサポートするものであってもよいし、パラレルインターフェースによる接続をサポートするものでもよい。

移動機構インターフェース２８は、移動機構１８とデータを送受信するためのインターフェースである。移動機構インターフェース２８は、プロセッサ２１の制御に基づいて、移動機構１８を駆動させる信号を移動機構１８に送信する。たとえば、移動機構インターフェース２８は、直進、旋回又は停止を指示する信号を移動機構１８に送信する。また、移動機構インターフェース２８は、移動機構１８へ電力を供給してもよい。たとえば、移動機構インターフェース２８は、ＵＳＢ接続をサポートするものであってもよいし、パラレルインターフェースによる接続をサポートするものでもよい。

表示装置１６は、プロセッサ２１の制御により種々の情報を表示する。たとえば、表示装置１６は、液晶モニタから構成される。

入力装置１７は、オペレータから種々の操作の入力を受け付ける。入力装置１７は、受け付けた操作を示す信号をプロセッサ２１へ送信する。たとえば、入力装置１７は、キーボード、テンキー及びタッチパネルから構成される。

なお、入力装置１７がタッチパネルなどで構成される場合、入力装置１７は、表示装置１６と一体的に形成されてもよい。

次に、物品認識装置１が実現する機能について説明する。物品認識装置１が実現する機能は、プロセッサ２１がＲＯＭ２２又はＮＶＭ２４などに格納されるプログラムを実行することで実現される。

まず、プロセッサ２１は、商品棚４を撮影した撮影画像を取得する機能を有する。

プロセッサ２１は、移動機構１８を用いて商品棚４を撮影可能な位置まで物品認識装置１を移動させる。プロセッサ２１は、オペレータからの指示に基づいて所定の位置まで物品認識装置１を移動させてもよい。また、プロセッサ２１は、カメラ１５で撮影された画像に基づいて所定の位置まで移動させてもよい。

商品棚４を撮影可能な位置まで物品認識装置１を移動させると、プロセッサ２１は、カメラインターフェース２５を通じて、撮影を指示する信号をカメラ１５に送信する。なお、プロセッサ２１は、カメラインターフェース２５を通じて、カメラパラメータをカメラ１５に設定してもよい。プロセッサ２１は、カメラインターフェース２５を通じて、商品棚４を撮影した撮影画像をカメラ１５から取得する。

また、プロセッサ２１は、撮影画像から、棚札Ｌを読み取り棚札Ｌの位置を特定する機能を有する。

プロセッサ２１は、撮影画像から棚札Ｌが写る棚札領域を特定する。たとえば、プロセッサ２１は、撮影画像に対してラスタスキャンなどを行うことで棚札領域を特定する。棚札領域を特定すると、プロセッサ２１は、棚札領域内の画像から当該棚札Ｌを読み取る。

たとえば、プロセッサ２１は、ＯＣＲ（Optical Character Recognition）により棚札領域内の文字を読み取る。また、棚札Ｌがコードを表示する場合、プロセッサ２１は、当該コードをデコードして棚札Ｌを読み取ってもよい。プロセッサ２１は、読取結果から、棚札Ｌが示す商品を特定する。

また、プロセッサ２１は、棚札領域の位置から棚札Ｌの位置（たとえば、棚札領域の所定の頂点座標又は中心座標など）を特定する。

また、プロセッサ２１は、撮影画像から商品が写る商品領域（物品領域）を複数個、抽出する機能を有する。
プロセッサ２１は、撮影画像に基づいて商品領域を抽出する。たとえば、プロセッサ２１は、エッジ検出などを行い撮影画像から商品領域を抽出する。また、プロセッサ２１は、ディープラーニングなどのＡＩを用いた画像認識によって撮影画像から商品領域を抽出してもよい。

また、プロセッサ２１は、商品棚４の前面側に設定される所定の基準点又は基準面からの距離を示す距離情報に基づいて商品領域を抽出してもよい。商品が存在する領域（商品領域）は、商品の幅の分だけ基準点又は基準面に近づく。したがって、プロセッサ２１は、基準点又は基準点によりも近い距離にある領域を商品領域として特定する。

この場合、物品認識装置１は、距離センサを備える。距離センサは、物品認識装置１の所定の位置に形成される。たとえば、距離センサは、自身の位置を基準点とする距離情報を生成する。また、距離センサは、自身の向く方向に垂直な平面を基準面とする距離情報を生成してもよい。

また、プロセッサ２１は、撮影画像及び距離情報に基づいて商品領域を抽出してもよい。
プロセッサ２１が商品領域を抽出する方法は、特定の方法に限定されるものではない。

また、プロセッサ２１は、各商品領域から、商品領域の特徴を示す特徴情報を抽出する機能を有する。

プロセッサ２１は、商品領域の特徴として、商品領域の画像的特徴を抽出する。たとえば、プロセッサ２１は、特徴として、商品領域の外形のサイズ又は形状（長方形、正方形又は丸形など）を抽出する。また、プロセッサ２１は、特徴として、商品領域内の画像の特徴を抽出してもよい。たとえば、プロセッサ２１は、商品領域内の画像の濃度（たとえば、平均濃度）、パターン(たとえば、局所特徴量)又は色（たとえば、平均色）などの特徴を抽出する。

たとえば、プロセッサ２１は、商品領域の特徴を示す値（特徴量）を算出する。プロセッサ２１は、特徴量を格納する特徴情報を生成する。
プロセッサ２１が抽出する特徴の内容及び特徴の個数は、特定の構成に限定されるものではない。

プロセッサ２１は、各商品領域について特徴情報を抽出する。

また、プロセッサ２１は、各商品領域の特徴情報に基づいて、同一種類の商品が存在する領域（同種領域）を特定する機能を有する。

図３は、プロセッサ２１が同種領域を特定する動作例を説明するための図である。図３は、格納スペース４１ｂに格納される商品を示す。図３が示すように、格納スペース４１ｂは、商品５１乃至５７を格納する。

プロセッサ２１は、隣接する２つの商品領域の特徴情報が示す特徴が一致するか判定する。たとえば、プロセッサ２１は、特徴情報が示す特徴量の差が所定の閾値以下であれば、両特徴が一致すると判定する。たとえば、特徴情報が商品領域内の画像の濃度値（濃度を示す値）を示す場合、プロセッサ２１は、濃度値の差が所定の閾値以下であれば、特徴が一致すると判定する。また、プロセッサ２１は、所定のマッチングアルゴリズムに従って特徴が一致するか判定してもよい。

プロセッサ２１は、隣接する２つの商品領域を設定し、両商品領域の特徴情報が示す特徴が一致するか判定する。プロセッサ２１は、隣接する２つの商品領域ごとに、両商品領域の特徴情報が示す特徴が一致するか判定する。

プロセッサ２１は、隣接する商品領域の特徴情報が示す特徴が一致しないと判定すると、両商品領域の商品が互いに異なる種類の商品であると判定する。即ち、プロセッサ２１は、隣接する商品領域の特徴情報が示す特徴が一致しないと判定すると、両商品領域の間に、同種領域の境界を設定する。即ち、プロセッサ２１は、２つの境界の間の領域、又は、境界に一方を接する領域（境界と格納スペース４１ｂの内壁との間）を同種領域として特定する。

図３が示す例では、商品５１及び５２は、同一種類の商品である。また、商品５３乃至５６は、同一種類の商品である。また、商品５７は、商品５１乃至５６とは異なる商品である。

図３が示す例において、プロセッサ２１は、商品５２及び５３が写る商品領域の特徴情報が示す特徴が一致しないと判定する。即ち、プロセッサ２１は、商品５２及び５３の商品領域との間に境界６１を設定する。

プロセッサ２１は、商品５６及び５７が写る商品領域の特徴情報が示す特徴が一致しないと判定する。即ち、プロセッサ２１は、商品５６及び５７の商品領域との間に境界６２を設定する。

プロセッサ２１は、境界６１の左側の領域（境界６１と格納スペース４１ｂの左側内壁との間の領域）を同種領域７１として特定する。また、プロセッサ２１は、境界６１と境界６２との間の領域を同種領域７２として特定する。プロセッサ２１は、境界６２の右側の領域（境界６２と格納スペース４１ｂの右側内壁との間の領域）を同種領域７３として特定する。

また、プロセッサ２１は、同種領域において商品の個数をカウントする機能を有する。

プロセッサ２１は、同種領域内にある商品領域の個数を商品の個数としてカウントする。

また、プロセッサ２１は、同種領域の位置と棚札Ｌの読取結果と棚札Ｌの位置とに基づいて、同種領域内の商品を特定する機能を有する。この場合、隣接する２つの商品領域の特徴情報が示す特徴が一致するか判定するための閾値は、棚札に書かれている情報や位置などに応じて動的に変更してもよい。

プロセッサ２１は、同種領域の位置と各棚札Ｌとの位置に基づいて、同種領域に最も近い棚札Ｌを特定する。最も近い棚札Ｌを特定すると、プロセッサ２１は、当該棚札Ｌを同種領域の商品に関する情報を示す棚札であると判定する。プロセッサ２１は、当該棚札Ｌの認識結果に基づいて同種領域の商品を特定する。即ち、プロセッサ２１は、当該棚札Ｌの商品を、同種領域の商品として特定する。

図３が示す例では、プロセッサ２１は、同種領域７１に存在する商品の棚札として、棚札Ｌ８１を特定する。プロセッサ２１は、棚札Ｌ８１の認識結果から同種領域７１の商品を特定する。

同様に、プロセッサ２１は、棚札Ｌ８２の認識結果から同種領域７２に存在する商品を特定する。また、プロセッサ２１は、棚札Ｌ８３の認識結果から同種領域７３に存在する商品を特定する。

次に、物品認識装置１の動作例について説明する。図４は、物品認識装置１の動作例について説明するためのフローチャートである。

物品認識装置１のプロセッサ２１は、カメラ１５を用いて、商品棚４が写る撮影画像を取得する（ＡＣＴ１１）。撮影画像を取得すると、プロセッサ２１は、撮影画像から、棚札Ｌを読み取り棚札Ｌの位置を特定する（ＡＣＴ１２）。

棚札Ｌを読み取り棚札Ｌの位置を特定すると、プロセッサ２１は、撮影画像から商品領域を抽出する（ＡＣＴ１３）。商品領域を抽出すると、プロセッサ２１は、１つの商品領域の特徴を示す特徴情報を抽出する（ＡＣＴ１４）。

特徴情報を抽出すると、プロセッサ２１は、他に特徴情報を抽出していない商品領域があるか判定する（ＡＣＴ１５）。他に特徴情報を抽出していない商品領域があると判定すると（ＡＣＴ１５、ＹＥＳ）、プロセッサ２１は、ＡＣＴ１４に戻る。

他に特徴情報を抽出していない商品領域がないと判定すると（ＡＣＴ１５、ＮＯ）、プロセッサ２１は、抽出した特徴情報に基づいて同種領域を特定する（ＡＣＴ１６）。同種領域を特定すると、プロセッサ２１は、同種領域において商品の個数をカウントする（ＡＣＴ１７）。

商品の個数をカウントすると、プロセッサ２１は、同種領域に存在する商品を特定する（ＡＣＴ１８）。同種領域に存在する商品を特定すると、プロセッサ２１は、動作を終了する。

なお、プロセッサ２１は、棚札Ｌの商品の画像的特徴をデータベースなどから取得してもよい。この場合、プロセッサ２１は、データベースなどから取得した画像的特徴に基づいて商品領域の商品を特定し同種領域を特定してもよい。

また、プロセッサ２１は、同種領域の商品を特定しなくともよい。この場合、プロセッサ２１は、棚札Ｌを読み取らなくともよい。また、プロセッサ２１は、棚札Ｌの位置を特定しなくともよい。

また、移動機構１８は、台車などであってもよい。この場合、物品認識装置１は、オペレータが押すことで移動する。

以上のように構成された物品認識装置は、撮影画像から棚札を読み取り棚札の位置を特定する。また、物品認識装置は、撮影画像から同一種類の商品が存在する同種領域を特定する。物品認識装置は、同種領域の位置と棚札の位置とから同種領域の商品を示す棚札を特定する。物品認識装置は、当該棚札の読取結果から同種領域の商品を特定する。そのため、物品認識装置は、商品の辞書情報を用いた画像認識によることなく撮影画像から商品を認識することができる。よって、物品認識装置は、認識対象物の変更があっても認識の辞書情報の更新作業が不要となるため、運用コストを下げることができる。本物品登録装置により、例えば、手間をかけずに各商品の陳列列数を含めた実店舗の陳列状況を把握することができるようになる。
（第２の実施形態）
次に、第２の実施形態について説明する。

第２の実施形態に係る物品認識装置１は、商品領域の特徴に基づいて画像エンジンを選択し選択された画像エンジンを用いて商品領域の商品を認識する点で第１の実施形態に係るそれと異なる。従って、その他の点については、同一の符号を付して詳細な説明を省略する。

第２の実施形態に係る物品認識装置１の構成例は、第１の実施形態に係るそれと同様であるため説明を省略する。

ＮＶＭ２４は、商品領域の画像から商品を認識するための複数の画像エンジンを格納する。複数の画像エンジンは、それぞれ商品領域の特徴に対応する。

画像エンジンは、所定の特徴を有する商品領域から商品を認識する。即ち、画像エンジンは、所定の特徴を有する商品領域において商品を認識することに特化したものである。
たとえば、画像エンジンは、所定の特徴量（たとえば、所定の値、又は、所定の値から所定の値までの値）を有する商品領域から商品を認識するためのエンジンである。

たとえば、画像エンジンは、テンプレートマッチング、局所特徴量によるマッチング、又はディープラーニングなどのＡＩを用いたマッチングなどのマッチング技術を実行するエンジンである。

また、画像エンジンは、所定のマッチング技術に用いるためのパラメータ又はネットワークなどであってもよい。
たとえば、画像エンジンは、特徴としての形状に対応する。たとえば、複数の画像エンジンは、長方形、正方形又は丸形などの形状にそれぞれ対応する。

また、画像エンジンは、特徴としての濃度値に対応してもよい。たとえば、画像エンジンは、所定の濃度値（たとえば、所定の値から所定の値までの濃度値）に対応する。

また、画像エンジンは、特徴としての平均色に対応してもよい。たとえば、画像エンジンは、所定のカラーコード（たとえば、所定の値から所定の値までのカラーコード）に対応する。

また、画像エンジンは、特徴の組合せに対応するものであってもよい。

なお、画像エンジンの内容及び個数は、特定の構成に限定されるものではない。

画像エンジンは、予めＮＶＭ２４に格納される。画像エンジンは、適宜更新されてもよい。

次に、物品認識装置１が実現する機能について説明する。物品認識装置１が実現する機能は、プロセッサ２１がＲＯＭ２２又はＮＶＭ２４などに格納されるプログラムを実行することで実現される。

プロセッサ２１は、第１の実施形態に係る機能に加えて以下の機能を実現する。

プロセッサ２１は、商品領域の特徴情報に基づいて当該商品領域の商品を認識するための画像エンジンを選択する機能を有する。

プロセッサ２１は、商品領域の特徴情報から特徴（たとえば、特徴量）を取得する。特徴を取得すると、プロセッサ２１は、ＮＶＭ２４が格納する複数の画像エンジンから当該特徴に対応する画像エンジンを選択する。

たとえば、プロセッサ２１は、特徴として所定の濃度値を取得する。プロセッサ２１は、当該濃度値に対応する画像エンジンを複数の画像エンジンの中から選択する。

また、プロセッサ２１は、選択した画像エンジンを用いて当該商品領域の商品を認識する機能を有する。

プロセッサ２１は、撮影画像から当該商品領域内の画像を取得する。当該画像を取得すると、プロセッサ２１は、選択した画像エンジンを用いて当該画像に対して認識処理を実行する。プロセッサ２１は、認識処理によって当該商品領域の商品を認識する。

次に、物品認識装置１の動作例について説明する。図５は、物品認識装置１の動作例について説明するためのフローチャートである。

物品認識装置１のプロセッサ２１は、カメラ１５を用いて、商品棚４が写る撮影画像を取得する（ＡＣＴ２１）。撮影画像を取得すると、プロセッサ２１は、撮影画像から商品領域を抽出する（ＡＣＴ２２）。商品領域を抽出すると、プロセッサ２１は、１つの商品領域の特徴を示す特徴情報を抽出する（ＡＣＴ２３）。

特徴情報を抽出すると、プロセッサ２１は、特徴情報に基づいて複数の画像エンジンから画像エンジンを選択する（ＡＣＴ２４）。画像エンジンを選択すると、プロセッサ２１は、選択した画像エンジンを用いて商品領域の商品を認識する（ＡＣＴ２５）。

商品領域の商品を認識すると、プロセッサ２１は、他に商品を認識していない商品領域があるか判定する（ＡＣＴ２６）。他に商品を認識していない商品領域があると判定すると（ＡＣＴ２６、ＹＥＳ）、プロセッサ２１は、ＡＣＴ２３に戻る。

他に商品を認識していない商品領域がないと判定すると（ＡＣＴ２６、ＮＯ）、プロセッサ２１は、動作を終了する。

なお、ＮＶＭ２４は、１つの画像エンジンを備えてもよい。この場合、プロセッサ２１は、商品領域から特徴情報を抽出しなくともよい。また、プロセッサ２１は、当該画像エンジンを用いて、商品領域内の画像に対して認識処理を実行する。
また、プロセッサ２１は、同一種類の商品の個数をカウントしてもよい。

以上のように構成された物品認識装置は、撮影画像から商品領域を抽出する。物品認識装置は、商品領域内の画像に対して認識処理を実行する。その結果、物品認識装置は、撮影画像全体に対して認識処理を行う場合よりも高速に商品を認識することができる。

また、物品認識装置は、商品領域の特徴に応じた画像エンジンによって商品を認識する。そのため、物品認識装置は、当該特徴を有する画像に特化した画像エンジンを用いることができる。よって、物品認識装置は、効果的に商品を認識することができる。また、物品認識装置は、特定の画像エンジンを更新すれば、認識対象とする商品を追加することができる。例えば、形状が丸い物体の集合と四角い物体の集合があり、四角い物体の集合に新たな物体を加えた場合は、四角い物体の集合を認識する画像エンジンのみを更新すればよい。
（第３の実施形態）
次に、第３の実施形態について説明する。

第３の実施形態に係る物品認識装置１は、各商品領域から抽出された特徴情報を複数のグループに分割することで同一種類の商品を特定する点で第１の実施形態に係るそれと異なる。従って、その他の点については、同一の符号を付して詳細な説明を省略する。

第３の実施形態に係る物品認識装置１の構成例は、第１の実施形態に係るそれと同様であるため説明を省略する。

次に、物品認識装置１が実現する機能について説明する。物品認識装置１が実現する機能は、プロセッサ２１がＲＯＭ２２又はＮＶＭ２４などに格納されるプログラムを実行することで実現される。

プロセッサ２１は、第１の実施形態及び第２の実施形態に係る機能に加えて以下の機能を実現する。

まず、プロセッサ２１は、プロセッサ２１は、各商品領域から、商品領域の特徴を示す特徴情報を抽出する機能を有する。

プロセッサ２１は、商品領域から、商品領域の特徴を示すパラメータを抽出する。プロセッサ２１は、抽出したパラメータを示す特徴情報を生成する。ここでは、プロセッサ２１は、パラメータとして、商品領域のサイズ（面積）及び平均濃度を示す特徴情報を生成する。

また、プロセッサ２１は、特徴情報を示す点（座標点）を座標空間にプロットする機能を有する。

前述の通り、プロセッサ２１は、２つのパラメータ（サイズ及び平均濃度）を抽出する。ここでは、プロセッサ２１は、二次元空間に当該２つのパラメータをそれぞれＸ座標及びＹ座標とする座標点をプロットする。

図６は、プロセッサ２１が座標点をプロットする動作例を示す。図６が示す例では、プロセッサ２１は、商品９１乃至１０１が写る撮影画像を取得し、商品９１乃至１０１の商品領域を抽出したものとする。

プロセッサ２１は、商品９１乃至１０１の商品領域から、パラメータとしてサイズ及び平均濃度を示す特徴情報をそれぞれ抽出する。プロセッサ２１は、特徴情報の座標点として、当該特徴情報のサイズ及び平均濃度をそれぞれＸ座標及びＹ座標とする座標点を２次元空間にプロットする。即ち、プロセッサ２１は、Ｘ軸をサイズの軸とし、Ｙ軸を平均濃度の軸として、サイズ及び平均濃度を示す座標点をプロットする。

プロセッサ２１は、商品９１乃至１０１の商品領域から抽出された各特徴情報を示す座標点を二次元空間にプロットする。

また、プロセッサ２１は、各座標点の座標に基づいて、各座標点をグループに分割する機能を有する。
たとえば、プロセッサ２１は、座標点間の距離に基づいて座標点をグループに分割する。たとえば、プロセッサ２１は、ある座標点から所定の閾値以下の距離にある点の集合を１つのグループとする。

また、プロセッサ２１は、所定のアルゴリズムに従って各座標点をグループに分割してもよい。プロセッサ２１が各座標点をグループに分割する方法は、特定の方法に限定されるものではない。

図６が示す例では、プロセッサ２１は、商品９１、９２及び９４の商品領域から抽出された特徴情報の座標点をグループ１１１とする。また、プロセッサ２１は、商品９３及び９５の商品領域から抽出された特徴情報の座標点をグループ１１２とする。また、プロセッサ２１は、商品９６及び９８の商品領域から抽出された特徴情報の座標点をグループ１１３とする。また、プロセッサ２１は、商品９７、９９乃至１０１の商品領域から抽出された特徴情報の座標点をグループ１１４とする。

また、プロセッサ２１は、各座標点のグループに基づいて同一種類の商品を特定する機能を有する。
即ち、プロセッサ２１は、同一のグループに所属する座標点に対応する商品領域の商品を同一種類の商品として特定する。

図６が示す例では、プロセッサ２１は、商品９１、９２及び９４を同一種類の商品として特定する。また、プロセッサ２１は、商品９３及び９５を同一種類の商品として特定する。また、プロセッサ２１は、商品９６及び９８を同一種類の商品として特定する。また、プロセッサ２１は、商品９７、９９乃至１０１を同一種類の商品として特定する。

また、プロセッサ２１は、同種領域を特定してもよい。図７は、プロセッサ２１が特定した同種領域の例を示す。

図７が示す例では、プロセッサ２１は、領域１２１ａ及び領域１２１ｂから構成される同種領域１２１（商品９１、９２及び９４を含む同種領域）を特定する。また、プロセッサ２１は、領域１２２ａ及び領域１２２ｂから構成される同種領域１２２（商品９３及び９５を含む同種領域）を特定する。また、プロセッサ２１は、領域１２３ａ及び領域１２３ｂから構成される同種領域１２３（商品９６及び９８を含む同種領域）を特定する。また、プロセッサ２１は、領域１２４ａ及び領域１２４ｂから構成される同種領域１２４（商品９７、９９及び１０１を含む同種領域）を特定する。

次に、物品認識装置１の動作例について説明する。図８は、物品認識装置１の動作例について説明するためのフローチャートである。

物品認識装置１のプロセッサ２１は、カメラ１５を用いて、商品棚４が写る撮影画像を取得する（ＡＣＴ３１）。撮影画像を取得すると、プロセッサ２１は、撮影画像から商品領域を抽出する（ＡＣＴ３２）。商品領域を抽出すると、プロセッサ２１は、１つの商品領域の特徴を示す特徴情報を抽出する（ＡＣＴ３３）。特徴情報を抽出すると、プロセッサ２１は、他に特徴情報を抽出していない商品領域があるか判定する（ＡＣＴ３４）。他に特徴情報を抽出していない商品領域があると判定すると（ＡＣＴ３４、ＹＥＳ）、プロセッサ２１は、ＡＣＴ３３に戻る。

他に特徴情報を抽出していない商品領域がないと判定すると（ＡＣＴ３４、ＮＯ）、プロセッサ２１は、各特徴情報の座標点をプロットする（ＡＣＴ３５）。各特徴情報の座標点をプロットすると、プロセッサ２１は、各座標点をグループに分割する（ＡＣＴ３６）。

各座標点をグループに分割すると、プロセッサ２１は、グループに基づいて、同一種類の商品を特定する（ＡＣＴ３７）。同一種類の商品を特定すると、プロセッサ２１は、商品を特定する（ＡＣＴ３８）。
商品を特定すると、プロセッサ２１は、動作を終了する。

なお、特徴情報は、１つのパラメータを示すものであってもよいし、３つ以上のパラメータを示すものであってもよい。
特徴情報が１つのパラメータを示す場合、プロセッサ２１は、数直線（１つの座標軸）上に特徴情報の座標点をプロットしてもよい。
また、特徴情報が３つ以上のパラメータを示す場合、プロセッサ２１は、３次元以上の座標系において特徴情報の座標点をプロットしてもよい。

以上のように構成された物品認識装置は、各特徴情報を示す座標点を座標空間にプロットして、同一種類の商品を特定する。その結果、物品認識装置は、隣接しない商品同士を同一種類の商品として特定することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
物品を撮影した撮影画像を取得する画像インターフェースと、
前記撮影画像から前記物品の物品領域を複数個、抽出し、
前記各物品領域から、前記物品領域の特徴を示す特徴情報を抽出し、
前記特徴情報に基づいて、同一種類の物品を特定する、
プロセッサと、
を備える物品認識装置。
［Ｃ２］
前記プロセッサは、
前記撮影画像から物品の棚札を抽出し、前記棚札が示す情報を読み取り前記棚札の位置を特定し、
隣接する２つの物品領域の特徴情報に基づいて、同一種類の物品が存在する同種領域の境界を特定し、
前記棚札の読取結果と前記棚札の位置と前記同種領域の位置とに基づいて、前記同種領域に存在する物品を特定する、
［Ｃ１］に記載の物品認識装置。
［Ｃ３］
前記プロセッサは、
前記特徴情報を示す座標点を座標空間にプロットし、
前記座標点をグループに分割し、
前記グループに基づいて同一種類の物品を特定する、
［Ｃ１］に記載の物品認識装置。
［Ｃ４］
前記特徴情報は、前記物品領域の濃度を含む、
［Ｃ１］乃至［Ｃ１］の何れか１つに記載の物品認識装置。
［Ｃ５］
物品を撮影した撮影画像を取得する画像インターフェースと、
物品を認識するための複数の画像エンジンを格納する記憶部と、
前記撮影画像から前記物品の物品領域を抽出し、
前記物品領域から、前記物品領域の特徴を示す特徴情報を抽出し、
前記複数の画像エンジンから前記特徴情報に対応する画像エンジンを選択し、
前記画像エンジンを用いて前記物品領域の物品を認識する、
プロセッサと、
を備える物品認識装置。

１…物品認識装置、４…商品棚、１１…制御装置、１５…カメラ、１６…表示装置、１７…入力装置、１８…移動機構、２１…プロセッサ、２２…ＲＯＭ、２３…ＲＡＭ、２４…ＮＶＭ、２５…カメラインターフェース、２６…表示装置インターフェース、２７…入力装置インターフェース、２８…移動機構インターフェース、４１…格納スペース、４１ａ…格納スペース、４１ｂ…格納スペース、４１ｃ…格納スペース、５１…商品、５２…商品、５３…商品、５４…商品、５５…商品、５６…商品、５７…商品、６１…境界、６２…境界、７１…同種領域、７２…同種領域、７３…同種領域、９１…商品、９２…商品、９３…商品、９４…商品、９５…商品、９６…商品、９７…商品、９８…商品、９９…商品、１００…商品、１０１…商品、１１１…グループ、１１２…グループ、１１３…グループ、１１４…グループ、１２１…同種領域、１２１ａ…領域、１２１ｂ…領域、１２２…同種領域、１２２ａ…領域、１２２ｂ…領域、１２３…同種領域、１２３ａ…領域、１２３ｂ…領域、１２４…同種領域、１２４ａ…領域、１２４ｂ…領域、Ｌ…棚札。

Claims (3)

1. 物品を撮影した撮影画像をカメラから取得する画像インターフェースと、
   前記撮影画像から前記物品の物品領域を複数個、抽出し、
   前記各物品領域から、前記物品領域のサイズ及び平均濃度を示す特徴情報を抽出し、
   前記特徴情報に基づいて、同一種類の物品が存在する同種領域の境界を特定する、
   プロセッサと、
   を備え、
   前記プロセッサは、
   前記特徴情報を示す座標点を座標空間にプロットし、
   前記座標点間の距離に基づいて前記座標点をグループに分割し、
   同一のグループに所属する座標点に対応する物品領域の物品を同一種類の物品として特定する、物品認識装置。
2. 前記プロセッサは、
   前記撮影画像から物品の棚札を抽出し、前記棚札が示す情報を読み取り前記棚札の位置を特定し、
   前記同種領域に最も近い前記棚札を特定し、前記棚札の読取結果に基づいて、前記同種領域に存在する物品を特定する、
   請求項１に記載の物品認識装置。
3. プロセッサに、
   カメラから取得される、物品を撮影した撮影画像から前記物品の物品領域を複数個、抽出する手順と、
   前記各物品領域から、前記物品領域のサイズ及び平均濃度を示す特徴情報を抽出する手順と、
   前記特徴情報に基づいて、同一種類の物品が存在する同種領域の境界を特定する手順と、
   を実行させ、
   さらに、
   前記特徴情報を示す座標点を座標空間にプロットする手順と、
   前記座標点間の距離に基づいて前記座標点をグループに分割する手順と、
   同一のグループに所属する座標点に対応する物品領域の物品を同一種類の物品として特定する手順と、
   を実行させるためのプログラム。