JP7366651B2 - 棚撮像装置及び情報処理装置 - Google Patents

Description

本発明の実施形態は、棚撮像装置及び情報処理装置に関する。

棚を有する什器に置かれた商品（物品）を撮像する棚撮像装置（商品棚撮像装置）がある。商品棚撮像装置は、撮像装置と移動機構とを備える。撮像装置は、光学系と、光学系により結像された光に基づき画像を生成する撮像素子とを備える。移動機構は、例えばモータと、モータにより駆動されることにより撮像装置を移動させる車輪とを備える。

商品棚撮像装置は、什器の棚に対して所定の距離を維持した状態で移動しつつ、棚の端部(商品陳列面）に設けられた棚札を撮像する。即ち、商品棚撮像装置は、商品陳列面と平行な方向に移動しつつ、棚札を撮像する。棚札には、商品情報（例えば商品名、価格など）が記載されている。商品棚撮像装置により撮像された棚札の画像（棚札画像）を画像解析（分析）することにより、棚札に記載された商品に関する情報を取得することが可能になる。

什器に、突出量の異なる複数の棚が設けられている場合がある。商品棚撮像装置が棚札を撮像する場合、デフォーカスの為、突出量の異なる複数の棚の棚札から、分析可能な状態の棚札画像を取得することができない可能性がある。そこで、商品棚撮像装置は、商品陳列面と対向する方向（棚の突出方向）に移動し、再度商品陳列面と平行な方向に移動しつつ荷札を撮像することにより、分析可能な状態の棚札画像を取得する。しかし、移動距離、及び撮像回数が増えることにより、棚札画像の取得に時間を要するという課題がある。

特開２００８－３０８２６２号公報

本発明が解決しようとする課題は、棚札画像の取得を効率化することができる棚撮像装置及び情報処理装置を提供することである。

一実施形態に係る棚撮像装置は、撮像装置と、前記撮像装置を移動させる移動機構と、メモリと、プロセッサとを具備する。メモリは、什器の位置及び什器が有する複数の棚毎の突出量を示す什器情報と、前記撮像装置によって撮像対象の情報を取得可能な距離を示す情報であって、許容撮影下限距離と許容撮影上限距離とにより構成される許容撮影距離とを記憶する。プロセッサは、前記什器が有する複数の棚毎の突出量の差分と、前記許容撮影距離とに基づいて、前記什器に対する相対的な走行ルートを生成する。

図１は、第１の実施形態に係る商品棚撮像装置の概略的な構成の例について説明する為の図である。 図２は、第１の実施形態に係る商品棚撮像装置の構成の例について説明する為の図である。 図３は、第１の実施形態に係る商品棚撮像装置による走行ルートの生成の例について説明する為の図である。 図４は、第１の実施形態に係る商品棚撮像装置による走行ルートの生成の例について説明する為の図である。 図５は、第１の実施形態に係る商品棚撮像装置による走行ルートの生成の例について説明する為の図である。 図６は、第２の実施形態に係る商品棚撮像装置の構成の例について説明する為の図である。

以下、実施の形態について図面を参照して説明する。
（第１の実施形態）
図１は、第１の実施形態に係る商品棚撮像装置１の概略的な構成の例について説明するための説明図である。

商品棚撮像装置１は、店舗、倉庫などの所定の場所に設置された陳列用の什器２と、什器２に置かれた商品（物品）３などを撮像する。

什器２は、バックボード１１と、バックボード１１から突出した棚１２とを備える。

バックボード１１は、什器２を構成する部材である。バックボード１１は、例えば、垂直方向に起立した板状に構成される。

棚１２は、商品３を支持する棚板である。棚１２は、例えばバックボード１１から水平方向に突出するように構成される。また、棚１２のバックボード１１と逆側の端部には、例えば商品名、価格、または他の種々の商品情報が記載された棚札１３が設けられている。

例えば、複数の什器２は、所定間隔離されて配置されることにより、通路を構成する。棚１２は、バックボード１１から通路側に突出するように構成される。即ち、棚札１３は、通路に向けて設けられている。また、棚１２に並べられた商品３は、商品３の正面（所謂フェイス）が通路に向かうように陳列される。

商品棚撮像装置１は、バックボード１１から突出する方向（第１の方向Ｄ１）において、什器２の棚１２の端部に対して所定の距離を維持した状態で、棚札１３が並べられた方向と平行（即ちバックボード１１と平行）な方向（第２の方向Ｄ２）に移動しつつ撮像を行う。これにより、商品棚撮像装置１は、複数の棚札１３、及び棚１２に並べられた商品３の画像を取得する。なお、以下棚札１３の画像を棚札画像と称する。

次に、商品棚撮像装置１の詳細な構成について説明する。
商品棚撮像装置１は、制御装置２１、カメラ２２、移動機構２３、及び物体検出センサ２４を備える。

制御装置２１は、カメラ２２の動作の制御、移動機構２３の動作の制御、物体検出センサ２４の検出結果に基づく判断を行う装置である。さらに、制御装置２１は、カメラ２２により取得した棚札画像に対する画像解析（分析）、商品棚撮像装置１の走行ルートの生成などの処理を行う。

カメラ２２は、光学系と、制御装置２１の制御に基づいて、光学系により結像された光に基づき画像を生成する撮像素子とを備える撮像装置である。

光学系は、例えば、中心射影方式の撮像レンズである。光学系は、被写体からの光を撮像素子の撮像面上に結像させる。また、光学系は、例えば、複数のレンズと、レンズを介して撮像素子に入射する光束の量を調整する絞りとを備える。複数のレンズのうちの１つまたは複数は、光学系の主点から物体面までの距離（撮影距離）を調整するフォーカシングレンズとして構成されていてもよい。

撮像素子は、光を光電変換し電荷を蓄える画素が複数配列されて構成された撮像面を備える。撮像素子は、例えば、Charge Coupled Devices（ＣＣＤ）イメージセンサ、Complementary Metal Oxide Semiconductor（ＣＭＯＳ）イメージセンサ、または他の撮像素子により構成される。撮像素子は、光学系によって撮像面上に結像された被写体像を電気信号（画像信号）に変換する。撮像素子は、アナログ電気信号である画像信号をディジタル信号である画像データに変換して出力する。

なお、カメラ２２は、光学系の画角（撮像範囲）に光を照射する照明を備えていてもよい。また、照明は、カメラ２２ではなく商品棚撮像装置１のどの構成が備えるものであってもよい。

移動機構２３は、制御装置２１の制御に基づいて、カメラ２２を移動させる装置である。移動機構２３は、例えばカメラ２２が固定される台車（基部）と、台車の車輪を回転駆動させるモータとを備える。例えばカメラ２２は、光学系の光軸が水平になるように台車に固定される。移動機構２３は、モータにより車輪を駆動することにより、台車に固定されたカメラ２２を移動させる。なお、移動機構２３は、クランクを利用した可動脚、またはプロペラなど、如何なる手段によって基部を移動させる構成であってもよい。

物体検出センサ２４は、制御装置２１の制御に基づいて、物体を検出するセンサである。物体検出センサ２４は、例えば移動機構２３の台車に固定される。物体検出センサ２４は、例えばレーザレンジファインダである。物体検出センサ２４は、測定対象にレーザを照射し、反射光が入射するまでの時間に基づいて、測定対象までの距離を測定する。この場合、物体検出センサ２４は、レーザが照射された点を測距点として、レーザの反射光を受光するセンサと測距点との距離を測定する。物体検出センサ２４の検出結果により、商品棚撮像装置１の周囲の什器２までの距離を認識することができる。物体検出センサ２４は、例えば移動機構２３の進行方向の前方を検出することができる位置に配置される。また、物体検出センサ２４は、移動機構２３の台車に複数設けられていてもよい。

次に、制御装置２１について詳細に説明する。
図２は、制御装置２１の構成例について説明する為の説明図である。制御装置２１は、システムコントローラ３１、表示部３２、操作インタフェース３３、通信インタフェース３４、カメラコントローラ３５、移動機構コントローラ３６、及びセンサインタフェース３７を備える。

システムコントローラ３１は、商品棚撮像装置１の制御を行う。システムコントローラ３１は、例えば、プロセッサ４１及びメモリ４２を備える。

プロセッサ４１は、演算処理を実行する演算素子である。プロセッサ４１は、例えばＣＰＵである。プロセッサ４１は、メモリ４２に記憶されているプログラムなどのデータに基づいて種々の処理を行う。プロセッサ４１は、メモリ４２に格納されているプログラムを実行することにより、種々の動作を実行可能な制御部として機能する。

メモリ４２は、プログラム及びプログラムで用いられるデータなどを記憶する記憶媒体である。また、メモリ４２は、ワーキングメモリとしても機能する。すなわち、メモリ４２は、プロセッサ４１の処理中のデータ、及びプロセッサ４１が実行するプログラムなどを一時的に格納する。

表示部３２は、システムコントローラ３１または図示されないグラフィックコントローラなどの表示制御部から入力される映像信号に応じて画面を表示するディスプレイを備える。例えば、表示部３２のディスプレイには、商品棚撮像装置１の種々の設定の為の画面が表示される。

操作インタフェース３３は、図示されない操作部材に接続されている。操作インタフェース３３は、操作部材の操作に応じた操作信号をシステムコントローラ３１に供給する。操作部材は、例えば、タッチセンサ、テンキー、電源キー、用紙フィードキー、種々のファンクションキー、またはキーボードなどである。タッチセンサは、ある領域内において指定された位置を示す情報を取得する。タッチセンサは、表示部３２と一体にタッチパネルとして構成されることにより、表示部３２に表示された画面上のタッチされた位置を示す信号をシステムコントローラ３１に入力する。

通信インタフェース３４は、他の機器と通信する為のインターフェースである。通信インタフェース３４は、例えば、上位装置（外部機器）との通信に用いられる。通信インタフェース３４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ－ｆｉ（登録商標）などの規格に従って他の機器と無線通信を行う。また、例えば、通信インタフェース３４は、ＬＡＮコネクタなどとして構成されてもよい。

カメラコントローラ３５は、カメラ２２の制御を行う。カメラコントローラ３５は、システムコントローラ３１の制御に基づき、カメラ２２に撮像を実行させる。また、カメラコントローラ３５は、カメラ２２の撮像パラメータを制御もしくはカメラ２２へ送信する。

撮像パラメータは、例えば、焦点距離、絞り値、露光時間、感度（ＩＳＯ）、及び撮影距離（光学系の主点から物体面までの距離）などである。また、カメラコントローラ３５は、カメラ２２と通信することにより、カメラ２２の光学系に関する情報（光学特性情報）を取得してもよい。例えば、カメラコントローラ３５は、カメラ２２から、光学系の焦点距離、絞り値、及び撮影距離などの情報を取得する構成であってもよい。即ち、カメラコントローラ３５は、カメラ２２において現在用いられている撮像パラメータを把握することができる。また、カメラコントローラ３５は、撮像パラメータをシステムコントローラ３１にも供給する。

移動機構コントローラ３６は、移動機構２３の制御を行う。移動機構コントローラ３６は、システムコントローラ３１の制御に基づき、移動機構２３によるカメラ２２の移動を実行させる。

センサインタフェース３７は、物体検出センサ２４とシステムコントローラ３１との通信を中継する。なお、移動機構コントローラ３６が、物体検出センサ２４の検出結果に基づいて移動機構２３を制御する構成である場合、センサインタフェース３７は、物体検出センサ２４からの検出結果を移動機構コントローラ３６にも供給する。

次に、制御装置２１における商品棚撮像装置１の走行ルートの生成処理について説明する。
制御装置２１のシステムコントローラ３１は、什器情報と、許容撮影距離と、に基づいて、走行ルートを生成する。

まず、許容撮影距離及び什器情報について説明する。
制御装置２１のシステムコントローラ３１のメモリ４２は、許容撮影距離を予め記憶している。許容撮影距離は、画像解析によって商品情報を読み取ることができる棚札画像を、商品棚撮像装置１のカメラ２２によって取得可能な距離を示す情報である。許容撮影距離は、許容撮影下限距離と、許容撮影上限距離とにより構成される。許容撮影距離は、例えば、被写体と光学系の主点の距離に対する相対的な距離である。具体的には、許容撮影距離は、撮影距離を変えつつ商品棚撮像装置１のカメラ２２により棚札画像を取得し、画像解析によって商品情報を読み取ることができた距離の範囲を収集することにより決定される。なお、許容撮影距離は、被写体と光学系の主点の距離ではなく、被写体と商品棚撮像装置１の筐体の所定の位置との相対的な距離であってもよい。

また、許容撮影距離は、商品棚撮像装置１のカメラ２２の光学特性情報に基づいて算出されたものであってもよい。例えば、画像解析に必要な解像度に基づいて決定された許容錯乱円と、焦点距離と、絞り値と、及び光学系の主点から物体面までの距離である撮影距離と、に基づいて、前方被写界深度及び後方被写界深度をそれぞれ算出する。算出された前方被写界深度を許容撮影下限距離として設定し、算出された後方被写界深度を許容撮影上限距離として設定することにより、許容撮影距離が設定されてもよい。

また、制御装置２１のシステムコントローラ３１のメモリ４２は、什器情報を予め記憶している。什器情報は、所定の領域に配置された什器２に関する情報である。什器情報は、什器位置と、突出量リストと、を什器２毎に有する情報である。

什器位置は、所定の領域内の什器２が設置された位置を示す情報である。走行ルート生成領域は、予め生成されたマップ上の領域である。什器位置は、例えば、二次元空間上において什器２の四隅の位置を示す座標として構成される。什器位置は、例えばレーザレンジファインダを備える装置によって所定の領域内の什器２を検出することにより、予め生成される。また、什器位置は、商品棚撮像装置１の物体検出センサ２４の検出結果に基づいて予め生成されたものであってもよい。

突出量リストは、什器２の棚１２の突出量を棚毎に示す情報である。例えば、突出量リストは、棚１２の識別情報（例えば棚番号）と、突出量とが対応付けられて構成されている。突出量は、例えば、什器２のバックボード１１から突出した棚１２の長さを示す。具体的には、突出量は、第１の方向Ｄ１におけるバックボード１１と棚１２の棚札１３が設けられた位置との差の距離である。即ち、突出量リストは、什器２の棚１２の端部に設けられた棚札１３の位置を、上記の什器位置に基づいて特定することができる情報であれば、如何なる情報であってもよい。さらに言い換えると、什器情報は、走行ルート生成領域内における棚札１３の位置を、什器２毎に示す情報である。

次に、什器情報と、許容撮影距離と、に基づいて、走行ルートを生成する例について説明する。
図４は、走行ルートを生成する処理について説明する為の説明図である。なお、什器２に対する商品棚撮像装置１の相対的な距離は、以下の例では、什器２のバックボード１１に対する商品棚撮像装置１上の基準点との第１の方向Ｄ１における距離であると仮定して説明する。具体的には、什器２に対する商品棚撮像装置１の相対的な距離は、什器２のバックボード１１に対する商品棚撮像装置１のカメラ２２の光学系の主点との距離である。また、什器２に対する商品棚撮像装置１の相対的な距離は、什器２のバックボード１１に対する商品棚撮像装置１の筐体の所定の位置との距離であってもよい。

まず、システムコントローラ３１のプロセッサ４１は、メモリ４２から什器情報及び許容撮影距離を読み出す（ＡＣＴ１１）。プロセッサ４１は、走行ルートを作成する什器２を選択する（ＡＣＴ１２）。例えば、プロセッサ４１は、表示部３２に什器２を選択させる為の画面を表示させ、操作インタフェース３３の操作に基づいて、什器２を選択する、また、プロセッサ４１は、什器情報内の全ての什器２を１つずつ選択していく構成であってもよい。

プロセッサ４１は、選択された什器２に対応付けられた突出量リストをメモリ４２から読み出す（ＡＣＴ１３）。これにより、プロセッサ４１は、選択された什器２の什器位置、及び什器２が備える複数の棚１２毎の突出量を取得する。なお、メモリ４２から読み出された突出量リストを第１の突出量リスト称する。また、プロセッサ４１は、第１の突出量リストとは異なる第２の突出量リストを記憶する為の記憶領域をメモリ４２上に生成する。この時点では、第２の突出量リストは空のリストである。

プロセッサ４１は、取得した突出量リストの中で最も値の大きな突出量と、最も値の小さな突出量との差が、許容撮影距離以内であるか否か判断する（ＡＣＴ１４）。

プロセッサ４１は、最も値の大きな突出量と最も値の小さな突出量との差が、許容撮影距離以内であると判断した場合（ＡＣＴ１４、ＹＥＳ）、１つの走行ルートを生成する（ＡＣＴ１５）。

プロセッサ４１は、什器２のバックボード１１から最も突出した棚１２の端部と、最も突出していない棚１２の端部とが、許容撮影距離内に収まるように、走行ルートを生成する。具体的には、プロセッサ４１は、什器２のバックボード１１と、商品棚撮像装置１の基準点との距離が、「最も突出していない棚１２の突出量＋許容撮影上限距離」よりも短く、「最も突出した棚１２の突出量＋許容撮影下限距離」よりも長くなるように、第１の方向Ｄ１における商品棚撮像装置１の位置を決定する。

さらに、プロセッサ４１は、決定した第１の方向Ｄ１における商品棚撮像装置１の位置で、第２の方向Ｄ２に商品棚撮像装置１を移動させつつカメラ２２により撮像を行わせるように走行ルートを生成する。これにより、第２の方向Ｄ２に並んだ複数の棚札１３を商品棚撮像装置１に撮像させる為の走行ルートを生成することができる。

次に、プロセッサ４１は、第２の突出量リストに残りが存在するか否か判断する（ＡＣＴ１６）。即ち、プロセッサ４１は、第２の突出量リストが空であるか否か判断する。プロセッサ４１は、第２の突出量リストが空であると判断した場合（ＡＣＴ１６、ＹＥＳ）、異なる什器２が選択されたか否か判断する（ＡＣＴ１７）。プロセッサ４１は、異なる什器２が選択されたと判断した場合（ＡＣＴ１７、ＹＥＳ）、ＡＣＴ１２の処理に移行する。また、プロセッサ４１は、異なる什器２が選択されていないと判断した場合（ＡＣＴ１７、ＮＯ）、図３の処理を終了する。

また、プロセッサ４１は、ＡＣＴ１４において、最も値の大きな突出量と最も値の小さな突出量との差が、許容撮影距離以内ではないと判断した場合（ＡＣＴ１４、ＮＯ）、突出量が最も大きな棚１２の棚番号と、突出量と、を第２の突出量リストに追加する（ＡＣＴ１８）。

プロセッサ４１は、突出量が最も大きな棚１２の棚番号と、突出量と、第１の突出量リストから削除し（ＡＣＴ１９）、ＡＣＴ１４の処理に移行する。即ち、プロセッサ４１は、第１の突出量リストの全ての棚１２が、許容撮影距離に収まるまで、第１の突出量リストから第２の突出量リストに情報を移す。

また、プロセッサ４１は、ＡＣＴ１６において、第２の突出量リストが空ではないと判断した場合（ＡＣＴ１６、ＮＯ）、第２の突出量リストの棚番号及び突出量を第１の突出量リストに追加する（ＡＣＴ２０）。

プロセッサ４１は、第２の突出量リストからすべての棚番号及び突出量を削除し（ＡＣＴ２１）、ＡＣＴ１４の処理に移行する。即ち、プロセッサ４１は、第２の突出量リストの棚番号及び突出量をすべて第１の突出量リストに移す。

これにより、プロセッサ４１は、許容撮影距離に収まるまで、第１の突出量リスト内の棚１２を除き、許容撮影距離内で撮像が可能になった段階で走行ルートを生成する。即ち、プロセッサ４１は、許容撮影距離内で撮像が可能な棚１２にグループ分けし、グループごとに走行ルートを生成する。プロセッサ４１は、生成した走行ルートをメモリ４２に格納する。また、プロセッサ４１は、通信インタフェース３４を介して外部の機器に走行ルートを供給する構成であってもよい。

商品棚撮像装置１は、生成された走行ルートを移動機構２３により、棚札１３が並べられた方向と平行な方向（即ちバックボード１１と平行且つ水平方向）に移動しつつ、カメラ２２により什器２の棚１２の端部設けられた棚札１３を撮像する。また、許容撮影距離に収まらなかった棚１２が存在する場合、商品棚撮像装置１は、什器２のバックボード１１に対向する方向に移動する。さらに、商品棚撮像装置１は、再度棚札１３が並べられた方向と平行に移動しつつ、カメラ２２により什器２の棚１２の端部設けられた棚札１３を撮像する。これにより、商品棚撮像装置１は、棚札画像を取得する。この結果、棚札画像の取得を効率化することが可能になる。さらに、商品棚撮像装置１は、棚札画像に対して画像解析を行い、商品情報を取得することができる。

走行ルートの生成について具体例を挙げて説明する。
図４及び図５は、走行ルートを生成する例について説明する為の説明図である。図４は、什器２及び商品棚撮像装置１を第２の方向Ｄ２から見た図である。図５は、什器２及び商品棚撮像装置１を第１の方向Ｄ１及び第２の方向Ｄ２に直交する方向から見た図である。

図４及び図５の例では、什器位置が(xru, yru)、(xII, yru)、(xII, yII)、(xru, yII)であり、什器２が第１の突出量Ｐ１の第１の棚１２Ａと、第２の突出量Ｐ２の第２の棚１２Ｂと、第３の突出量Ｐ３の第３の棚１２Ｃと、を備えている。また、第１の突出量Ｐ１と第３の突出量Ｐ３との差が許容撮影距離を超えており、第１の突出量Ｐ１と第２の突出量Ｐ３との差が許容撮影距離を超えていないと仮定する。なお、本例では、カメラ２２の向き及び画角を考慮し、第２の方向Ｄ２において走行マージンＳを設定する。

この場合、第１の突出量リストには、「第１の棚１２Ａ：第１の突出量Ｐ１」、「第２の棚１２Ｂ：第２の突出量Ｐ２」、及び「第３の棚１２Ｃ：第３の突出量Ｐ３」が含まれている。

第１の突出量Ｐ１と第３の突出量Ｐ３との差が許容撮影距離を超えている為、プロセッサ４１は、最も突出量の大きい「第３の棚１２Ｃ：第３の突出量Ｐ３」を第１の突出量リストから第２の突出量リストに移す。

第１の突出量Ｐ１と第２の突出量Ｐ２との差が許容撮影距離を超えていない為、プロセッサ４１は、第１の棚１２Ａの端部の棚札１３Ａ及び第２の棚１２Ｂの端部の棚札１３Ｂが許容撮影距離に含まれるように、第１の方向Ｄ１においてＸ１の位置に第１の走行ルートを生成する。Ｘ１は、什器２のバックボード１１の第１の方向Ｄ１における座標であるＸＩＩを基準に、「第１の突出量Ｐ１＋許容撮影上限距離」よりも短く、「第２の突出量Ｐ２＋許容撮影下限距離」よりも長くなる位置である。

また、残った第３の突出量Ｐ３に基づいて、第３の棚１２Ｃの端部の棚札１３Ｃが許容撮影距離に含まれるように、第１の方向Ｄ１においてＸ２の位置に第２の走行ルートを生成する。Ｘ２は、什器２のバックボード１１の第１の方向Ｄ１における座標であるＸＩＩを基準に、「第３の突出量Ｐ３＋許容撮影上限距離」よりも短く、「第３の突出量Ｐ３＋許容撮影下限距離」よりも長くなる位置である。

上記の方法によると、プロセッサ４１は、図５に示されるように、（Ｘ１，ｙＩＩ－Ｓ）から（Ｘ１，ｙｒｕ＋Ｓ）まで撮像を行いつつ移動し、（Ｘ２，ｙｒｕ＋Ｓ）に移動する第１の走行ルートを生成する。第１の走行ルートでは、商品棚撮像装置１は、第１の棚１２Ａ及び第２の棚１２Ｂの棚札１３Ａ及び棚札１３Ｂの棚札画像を取得することができる。

また、プロセッサ４１は、図５に示されるように、（Ｘ２，ｙｒｕ＋Ｓ）から（Ｘ２，ｙＩＩ－Ｓ）まで撮像を行いつつ移動し、（Ｘ１，ｙＩＩ－Ｓ）に移動する第２の走行ルートを生成する。第２の走行ルートでは、商品棚撮像装置１は、第３の棚１２Ｃの棚札１３Ｃの棚札画像を取得することができる。

（第２の実施形態）
第１の実施形態では、商品棚撮像装置１が、走行ルートの生成を行う構成であると説明したが、この構成に限定されない。商品棚撮像装置１と通信する情報処理装置が走行ルートを商品棚撮像装置１に供給し、商品棚撮像装置１が走行ルートに基づいて棚札画像を取得する構成であってもよい。この場合、情報処理装置が走行ルートの生成を行う。

図６は、第２の実施形態に係る商品棚撮像装置１Ａ及び情報処理装置４の構成例について説明する為の説明図である。第２の実施形態は、商品棚撮像装置１Ａと通信する情報処理装置４が走行ルートを生成し、商品棚撮像装置１Ａに供給する構成である。なお、第１の実施形態と同様の構成には、同じ参照符号を付し、詳細な説明を省略する。

商品棚撮像装置１Ａは、制御装置２１Ａ、カメラ２２、移動機構２３、及び物体検出センサ２４を備える。

制御装置２１Ａは、システムコントローラ３１Ａ、通信インタフェース３４Ａ、カメラコントローラ３５、移動機構コントローラ３６、及びセンサインタフェース３７を備える。

システムコントローラ３１Ａは、走行ルートの生成を行わない点がシステムコントローラ３１と異なる。

通信インタフェース３４Ａは、通信インタフェース３４と同様に無線通信により外部機器と通信を行う。通信インタフェース３４Ａは、情報処理装置４と通信を行う。例えば、通信インタフェース３４Ａは、情報処理装置４から走行ルートを受け取り、システムコントローラ３１Ａに供給する。また、通信インタフェース３４Ａは、カメラ２２の光学特性情報を7情報処理装置４に供給する構成であってもよい。また、通信インタフェース３４Ａは、カメラ２２により取得した棚札画像を情報処理装置４に供給する構成であってもよい。

情報処理装置４は、システムコントローラ３１Ｂ、表示部３２、操作インタフェース３３、及び通信インタフェース３４Ｂを備える。

システムコントローラ３１Ｂは、走行ルートの生成を行う。システムコントローラ３１Ｂは、例えば、プロセッサ４１Ｂ及びメモリ４２Ｂを備える。

プロセッサ４１Ｂは、演算処理を実行する演算素子である。プロセッサ４１Ｂは、例えばＣＰＵである。プロセッサ４１Ｂは、メモリ４２Ｂに記憶されているプログラムなどのデータに基づいて種々の処理を行う。プロセッサ４１Ｂは、メモリ４２Ｂに格納されているプログラムを実行することにより、種々の動作を実行可能な制御部として機能する。

メモリ４２Ｂは、プログラム及びプログラムで用いられるデータなどを記憶する記憶媒体である。また、メモリ４２Ｂは、ワーキングメモリとしても機能する。すなわち、メモリ４２Ｂは、プロセッサ４１の処理中のデータ、及びプロセッサ４１が実行するプログラムなどを一時的に格納する。

また、メモリ４２Ｂは、什器情報と、許容撮影距離と、を商品棚撮像装置１Ａ毎、または商品棚撮像装置１Ａの種類ごとに予め記憶している。

情報処理装置４のシステムコントローラ３１Ｂのプロセッサ４１Ｂは、図３に示された走行ルートを生成する処理を実行する。即ち、プロセッサ４１Ｂは、メモリ４２Ｂから什器情報及び許容撮影距離を読み出す。プロセッサ４１Ｂは、走行ルートを作成する什器２を選択する。プロセッサ４１Ｂは、選択された什器２に対応付けられた突出量リストをメモリ４２Ｂから読み出す。これにより、プロセッサ４１Ｂは、選択された什器２の什器位置、及び什器２が備える複数の棚１２毎の突出量を取得する。なお、メモリ４２Ｂから読み出された突出量リストを第１の突出量リスト称する。また、プロセッサ４１Ｂは、第１の突出量リストとは異なる第２の突出量リストを記憶する為の記憶領域をメモリ４２Ｂ上に生成する。この時点では、第２の突出量リストは空のリストである。

プロセッサ４１Ｂは、許容撮影距離に収まるまで、第１の突出量リスト内の棚１２を除き、許容撮影距離内で撮像が可能になった段階で走行ルートを生成する。即ち、プロセッサ４１Ｂは、許容撮影距離内で撮像が可能な棚１２にグループ分けし、グループごとに走行ルートを生成する。プロセッサ４１Ｂは、生成した走行ルートを商品棚撮像装置１Ａに供給する。

これにより、情報処理装置４は、商品棚撮像装置１Ａにおける棚札画像の取得を効率化することが可能になる。さらに、情報処理装置４は、商品棚撮像装置１Ａから棚札画像を受け取り、棚札画像に対して画像解析を行い、商品情報を取得する構成であってもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
なお、以下に本願の出願当初の特許請求の範囲の記載を付記する。
［Ｃ１］
撮像装置と、
前記撮像装置を移動させる移動機構と、
什器の位置及び什器が有する棚毎の突出量を示す什器情報と、前記撮像装置の許容撮影距離とを記憶したメモリと、
前記什器情報の棚毎の突出量の差分と、前記許容撮影距離とに基づいて、前記什器に対する相対的な走行ルートを生成するプロセッサと、
を具備する棚撮像装置。
［Ｃ２］
前記プロセッサは、端部が前記許容撮影距離内に入る少なくとも１つ以上の棚のグループを生成し、グループごとに前記走行ルートを生成する請求項１に記載の棚撮像装置。
［Ｃ３］
前記プロセッサは、前記什器に対する相対的な距離が、最も小さな突出量と許容撮影上限距離との和よりも短く、最も大きな突出量と許容撮影下限距離との和よりも長くなるように、前記グループごとの走行ルートを生成する請求項２に記載の棚撮像装置。
［Ｃ４］
前記撮像装置は、走行ルートに基づいて移動機構により移動しつつ、棚の端部に設けられた棚札の画像を取得し、
前記プロセッサは、前記撮像装置により取得した画像を画像解析することにより文字列の情報を取得し、
前記プロセッサは、前記画像解析可能か否かに基づいて前記許容撮影距離を決定する請求項１乃至３のいずれか１項に記載の棚撮像装置。
［Ｃ５］
撮像装置と、前記撮像装置を移動させる移動機構と、を備える商品棚撮像装置に走行ルートを供給する情報処理装置であって、
什器の位置及び什器が有する棚毎の突出量を示す什器情報と、前記撮像装置の許容撮影距離とを記憶したメモリと、
前記什器情報の棚毎の突出量の差分と、前記許容撮影距離とに基づいて、前記什器に対する相対的な走行ルートを生成し、前記商品棚撮像装置に供給するプロセッサと、
を具備する情報処理装置。

１…商品棚撮像装置、２…什器、３…商品、４…情報処理装置、１１…バックボード、１２…棚、１３…棚札、２１…制御装置、２２…カメラ、２３…移動機構、２４…物体検出センサ、３１…システムコントローラ、３２…表示部、３３…操作インタフェース、３４…通信インタフェース、３５…カメラコントローラ、３６…移動機構コントローラ、３７…センサインタフェース、４１…プロセッサ、４２…メモリ。

Claims (5)

1. 撮像装置と、
   前記撮像装置を移動させる移動機構と、
   什器の位置及び什器が有する複数の棚毎の突出量を示す什器情報と、前記撮像装置によって撮像対象の情報を取得可能な距離を示す情報であって、許容撮影下限距離と許容撮影上限距離とにより構成される許容撮影距離とを記憶したメモリと、
   前記什器が有する複数の棚毎の突出量の差分と、前記許容撮影距離とに基づいて、前記什器に対する相対的な走行ルートを生成するプロセッサと、
   を具備する棚撮像装置。
2. 前記プロセッサは、前記什器が有する複数の棚毎の突出量のうち、最も値の大きな突出量と最も値の小さな突出量との差が、前記許容撮影上限距離と前記許容撮影下限距離との差以内である、少なくとも１つ以上の棚のグループを生成し、グループごとに前記走行ルートを生成する請求項１に記載の棚撮像装置。
3. 前記プロセッサは、前記什器に対する相対的な距離が、前記最も小さな突出量と前記許容撮影上限距離との和よりも短く、前記最も大きな突出量と前記許容撮影下限距離との和よりも長くなるように、前記グループごとの前記走行ルートを生成する請求項２に記載の棚撮像装置。
4. 前記撮像装置は、前記走行ルートに基づいて移動機構により移動しつつ、前記棚の端部に設けられた棚札の画像を取得し、
   前記プロセッサは、前記撮像装置により取得した画像を画像解析することにより文字列の情報を取得し、
   前記プロセッサは、前記画像解析可能か否かに基づいて前記許容撮影距離を決定する請求項１乃至３のいずれか１項に記載の棚撮像装置。
5. 撮像装置と、前記撮像装置を移動させる移動機構と、を備える商品棚撮像装置に走行ルートを供給する情報処理装置であって、
   什器の位置及び什器が有する複数の棚毎の突出量を示す什器情報と、前記撮像装置によって撮像対象の情報を取得可能な距離を示す情報であって、許容撮影下限距離と許容撮影上限距離とにより構成される許容撮影距離とを記憶したメモリと、
   前記什器が有する複数の棚毎の突出量の差分と、前記許容撮影距離とに基づいて、前記什器に対する相対的な走行ルートを生成し、前記商品棚撮像装置に供給するプロセッサと、
   を具備する情報処理装置。