JP7366660B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明の実施形態は、画像処理装置および画像処理プログラムに関する。

従来、小売店舗では、店員が棚に陳列した商品の期限を確認したり、商品を整頓したりするため、定期的に店内を見回っている。しかしながら、従来、店員がどの商品に対して確認作業を実施したかを管理することはしていない。従って、店内の棚に陳列されている全ての商品が店員による確認作業が実施されているかをチェックすることが困難となっている。言い換えると、従来の店舗では、一部の商品が店員による確認作業が行われずに放置されていることを検出することができないという問題がある。同様に、倉庫などで物品を管理する場合にも、棚などに配置した各物品に対して係員による確認作業ができているかをチェックすることができていないという問題がある。

特開２０１６－８１３６４号公報

本発明は、上記した課題を解決するために、物品に対する人物による確認作業を管理できる画像処理装置および画像処理プログラムを提供することを目的とする。

実施形態によれば、画像処理装置は、インターフェースとメモリとプロセッサとを備える。インターフェースは、物品を配置する棚を含む撮影領域を撮影した撮影画像を取得する。メモリは、棚に配置した物品を示す物品リストを記憶する。プロセッサは、インターフェースにより取得する撮影画像から係員が確認作業を実施した物品を検出し、係員が確認作業を実施した物品を示す確認済みリストをメモリに記憶し、物品リストと確認済みリストとに基づいて確認作業が実施されていない物品がある位置をディスプレイに表示する。

図１は、実施形態に係る画像処理装置を含む監視システムの構成例を模式的に示す図である。 図２は、実施形態に係る画像処理装置を含む監視システムの他の構成例を模式的に示す図である。 図３は、実施形態に係る画像処理装置における制御系の構成例を示すブロック図である。 図４は、第実施形態に係る画像処理装置における動作例を説明するためのフローチャートである。 図５は、第実施形態に係る画像処理装置における動作例を説明するためのフローチャートである。 図６は、実施形態に係る画像処理装置がディスプレイに係員による確認作業が未実施の物品を報知する案内を表示した例を示す図である。

以下、本実施形態について、図面を参照しながら説明する。
本実施形態に係る画像処理装置は、カメラが撮影する画像に基づいて物品（商品）および人物の行動を監視する監視システムに用いられる。画像処理装置は、カメラが撮影する画像から物品が置かれた棚の前にいる人物の行動を推定し、当該人物が棚に置かれた物品に対して確認作業を実行したかを検出する。さらに、画像処理装置は、カメラが撮影する画像から棚に置かれている物品を認識する機能を有する。これにより、画像処理装置は、人物が確認していない物品を検出し、人物による確認作業が行われていない物品の位置および種類などを報知する。

以下の実施形態では、棚は、小売店などの店舗内に設定され、商品が陳列されるものとする。また、棚に配置された商品については、係員としての店員が確認作業を実施するという運用であることを想定して説明するものとする。ただし、実施形態に係る画像処理装置および監視システムは、店舗内の棚に配置した商品に対する確認作業を検出するものに限定されるものではない。例えば、棚は、倉庫などに配置され、物品が配置されるものであっても良く、各物品に対する確認作業を実施する人物は、倉庫内の作業員又は管理者などであっても良い。

以下、実施形態に係る画像処理装置を含む監視システムについて説明する。
図１は、実施形態に係る画像処理装置１を含む監視システムの構成例を概略的に説明するための図である。
図１に示すように、監視システムは、画像処理装置１と画像処理装置１に接続するカメラ２とを有する。画像処理装置１は、カメラ２が撮影する撮影画像を取得する。画像処理装置１は、カメラ２に対して画像の撮影などを指示する機能を有する。カメラ２は、物品Ａが配置される棚Ｓが撮影領域となるように設置される。

例えば、カメラ２は、棚Ｓ全体および棚Ｓの正面に存在する人物が撮影できるように、物品Ａが配置される棚Ｓに正対して設置される。また、棚Ｓは、係員による確認作業が必要な物品Ａを配置するものであり、係員などの人物が移動する領域（店舗）内に設置される。カメラ２は、棚Ｓに配置された物品Ａを手に取ることができる場所に現れた人物（物品Ｓにアクセス可能な人物）を撮影できるように設置する。

ただし、カメラ２は、棚Ｓに配置された物品に対して係員が確認作業を行ったことを検出できる画像を撮影するものであれば良い。また、カメラ２は、複数であっても良い。例えば、複数のカメラとしては、棚Ｓに正対して配置する第１のカメラと棚Ｓに向かって位置する人物を正面から撮影できる位置に配置した第２のカメラとを設けても良い。また、店舗全体を俯瞰した状態で撮影するカメラをさらに設けても良い。

図２は、２つのカメラを設けた監視システムの他の構成例である。
図２に示す構成例において、監視システムは、画像処理装置１に対して第１のカメラ２ａと第２のカメラ２ｂとが接続される。
第１のカメラ２ａは、物品Ａが配置される棚Ｓが撮影範囲となるように設置される。例えば、第１のカメラ２ａは、物品Ａが配置される棚Ｓに正対して設置される。第２のカメラ２ｂは、棚Ｓに向かって存在する人物を正面から撮影するように設置される。例えば、第２のカメラ２ｂは、第１のカメラ２ａが撮影する棚Ｓに配置される物品Ａにアクセスする人物を正面側から撮影できるように設置する。

また、図２に示す構成例では、第１のカメラ２ａと第２のカメラ２ｂとは、向かい合うように設置された２つの棚Ｓ、Ｓ´にそれぞれ設置される。第１のカメラ２ａは、棚Ｓを撮影領域とし、当該撮影領域には棚Ｓに向かい合う棚Ｓ´の物品Ａ´にアクセス可能な人物が入るように設置する。また、第２のカメラ２ｂは、棚Ｓ´を撮影領域とし、当該撮影領域には棚Ｓ´に向かい合う棚Ｓの物品Ａにアクセス可能な人物が撮影領域に入るように設置する。これにより、第１のカメラ２ａは棚Ｓに置かれた物品Ａを撮影でき、第２のカメラ２ｂは棚Ｓに向かって位置する人物の顔を含む正面側を撮影できる。
なお、第１のカメラ２ａおよび第２のカメラ２ｂは撮影領域が上述したような撮影領域となるようであれば、店舗の天井又は棚の奥等のどの位置に配置してもよいものとする。

次に、実施形態に係る画像処理装置１の制御系の構成について説明する。
図３は、実施形態に係る画像処理装置１における制御系の構成例を示すブロック図である。
図３に示すように、画像処理装置１は、プロセッサ１１、メモリ１２、入力インターフェース（Ｉ／Ｆ）１３、表示Ｉ／Ｆ１４および操作Ｉ／Ｆ１５などを有する。
プロセッサ１１は、プログラムを実行することにより各種の処理を実行する。メモリ１２は、ＲＡＭなどの揮発性メモリ（ワーキングメモリ）、ＲＯＭなどの不揮発性メモリ（プログラムメモリ）、および、書換え可能な不揮発性メモリ（データメモリ）等を含む。

例えば、プロセッサ１１は、メモリ１２に記憶したプログラムを実行することで、物品認識処理、人物検出処理、骨格検知処理、係員判別処理、物品に対する確認作業の検出処理、未確認物品の検出処理。未確認物品の報知処理などの後述する各処理を実現する。
これらの処理に伴って、メモリ１２は、後述するように、棚にある物品を示す物品リスト、確認作業済みの物品を示す確認済みリストなどを記憶する。
また、メモリ１２は、撮影画像、人物検出用情報および物品特定用情報などの情報を保持するものとしても良い。ここで、撮影画像は、カメラ２が撮影した画像である。人物検出用情報は、画像中に含まれる人物検出用の特徴量の閾値などの人物を画像から特定するための情報である。物品特定用情報は、画像中に含まれる局所特徴量などの物品を画像から特定するための情報である。

入力Ｉ／Ｆ１３は、カメラ２に通信接続するためのインターフェースである。また、監視システムが図２に示す構成であれば、カメラ２ａおよび入力Ｉ／Ｆ１３に第１のカメラ２ａと第２のカメラ２ｂとが接続される。カメラが複数である場合、画像処理装置１は、カメラごとにインターフェースを設けても良い。

表示Ｉ／Ｆ１４は、情報を表示するディスプレイ２１に通信接続するためのインターフェースである。操作Ｉ／Ｆ１５は、オペレータが操作指示を入力する操作装置２２に接続するためのインターフェースである。ここで、ディスプレイ２１と操作装置２２とは、タッチパネル付きのディスプレイによって構成しても良い。

なお、各Ｉ／Ｆ１３～１５は、有線で通信接続するものであっても良いし、無線通信を行うものであっても良い。また、入力Ｉ／Ｆ１３には、外部装置の記憶部に設けられるデータベース（ＤＢ）２３が接続されるようにしても良い。ＤＢ２３は、例えば、撮影画像、人物検出用情報および物品特定用情報などの情報を記憶するようにしても良い。

次に、実施形態に係る画像処理装置１を含む監視システムの動作について説明する。
図４及び図５は、実施形態に係る画像処理装置１の動作例を説明するためのフローチャートである。
まず、画像処理装置１のプロセッサ１１は、棚Ｓに配置されている商品を認識する処理を実行する（ＡＣＴ１１－１３）。すなわち、プロセッサ１１は、カメラ２によって物品が配置される棚Ｓを含む撮影領域の画像を撮影する（ＡＣＴ１１）。カメラ２は、所定周期で画像を撮影し、撮影した撮影画像を順次入力インターフェース１３を介して画像処理装置１へ供給する。また、ＡＣＴ１１で取得する撮影画像に対して、プロセッサ１１は、棚Ｓに配置されている物品を認識する。このため、プロセッサ１１は、撮影領域に人物の存在しない状態で撮影した撮影画像をカメラ２から取得するものとする。

プロセッサ１１は、カメラ２から撮影画像を取得すると、カメラ２から取得した撮影画像に基づいて棚Ｓに配置されている各物品を認識する物品認証処理を行う（ＡＣＴ１２）。プロセッサ１１は、撮影画像から各物品の画像を検出し、各物品の画像に対して物品認識を行う。プロセッサ１１は、物品認識として、棚Ｓにおける各物品の位置と各物品の種類とを得るものとする。

例えば、プロセッサ１１は、撮影画像中の物品を認識するために物品を特定するための物品特定用情報（辞書情報または辞書としての物品画像など）を用いて物品認識を行う。物品特定用情報は、あらかじめＤＢ２３に記憶しておくものとする。物品特定用情報は、メモリ１２に保存するようにしても良い。プロセッサ１１は、物品認識方法として、テンプレートマッチングまたは特徴点マッチングなどを用いる。ただし、撮影画像における物品の位置と物品の種類とを特定できるものであれば物品認識の手法は問わない。

カメラ２の撮影画像から棚Ｓに配置された物品を認識すると、プロセッサ１１は、棚Ｓに配置された各物品の位置および種類を示す物品リストをメモリ１２に記憶する（ＡＣＴ１３）。物品リストは、物品認識によって認識した物品ごとに、棚Ｓにおける配置位置および種類を示す情報である。

棚Ｓの撮影画像から認識した物品の物品リストをメモリ１２に保存した後、プロセッサ１１は、係員による物品の確認作業が行われているかをチェックする（ＡＣＴ１４－２０）。すなわち、物品リストを保存した後、プロセッサ１１は、係員による物品に対する確認作業を検出するための画像をカメラ２で撮影する（ＡＣＴ１４）。例えば、プロセッサ１１は、カメラ２の撮影画像から人物の動きを検出するため、カメラ２が所定周期で連続的に撮影した複数の撮影画像を取得する。

プロセッサ１１は、カメラ２が撮影する撮影画像から人物および骨格を検知する処理を行う（ＡＣＴ１５）。例えば、プロセッサ１１は、メモリ１２に保存した人物検出用情報を用いてカメラ２が撮影した撮影画像から人物を検出する。人物検出用情報はあらかじめＤＢ２３に保存しておくか、メモリ１２に保存しておくものとする。例えば、人物検出の方法としては、勾配情報（ＨＯＧ：Ｈｉｓｔｏｇｒａｍ ｏｆ Ｇｒａｄｉｅｎｔｓ）の線形分離などの人物検出の手法を用いることができる。

また、プロセッサ１１は、骨格検知用情報（辞書情報あるいは閾値情報など）を用いて骨格（人物の部位）を検知する。骨格検知用情報はあらかじめＤＢ２３に保存しておくか、メモリ１２に保存しておくものとする。骨格検知については、ＯｐｅｎＰｏｓｅまたはＰｏｓｅＮｅｔなどの手法を用いることができる。ただし、骨格検知は、撮影画像中から検出する人物の骨格を検知できる手法であれば特定の手法に限定されない。また、本実施形態において、プロセッサ１１は、撮影画像から目、耳、手などを骨格として検知するものとする。また、プロセッサ１１は、目、耳、手などの各骨格を示す情報として、目、耳、手の座標を含む骨格情報を検知するものとする。

また、カメラ２の撮影画像から人物を検出すると（ＡＣＴ１６、ＹＥＳ）、プロセッサ１１は、検出した人物が係員であるかを判別する係員判別処理を行う（ＡＣＴ１７）。例えば、プロセッサ１１は、撮影画像に対する画像処理によって検出した人物が係員（例えば店員）であるか否かを判別する。例えば、プロセッサ１１は、検出した人物が係員用の服装（制服）を着用しているか否かによって検知した人物が係員か否かを判別する。

また、係員を判別する方法としては、係員判定用情報（係員の辞書情報、または、係員用の制服画像など）を用いる。係員判定用情報は、あらかじめＤＢに保存しておく。また、係員判定用情報は、メモリ１２に保存しておくようにしても良い。撮影画像中の人物が係員であるか否かを判別する方法としては、テンプレートマッチングまたは特徴点マッチングなどを用いる。ただし、人物が係員であるかどうかを判定可能であれば判別手法は特定の方法に限定されるものではない。

また、カメラ２の撮影画像から人物が検出されない場合（ＡＣＴ１６、ＮＯ）、又は、撮影画像中の人物が係員でないと判別した場合（ＡＣＴ１７、ＮＯ）、プロセッサ１１は、ＡＣＴ２１へ進む。この場合、プロセッサ１１は、棚における物品に対する確認状況のチェックが必要なければ、カメラ２による撮影を再び繰り返し、上述した処理を繰り返し実行する。

撮影画像から検出した人物が係員であると判別した場合（ＡＣＴ１７、ＹＥＳ）、プロセッサ１１は、検出した係員が物品の確認作業をしているかを検出する（ＡＣＴ１９）。プロセッサ１１は、カメラ２が撮影する撮影画像から係員の動作を検知することにより係員が物品に対して確認作業をしているか否かを判断する。プロセッサ１１は、連続的に撮影された複数の撮影画像から係員の動作（行動）を検知する。例えば、プロセッサ１１は、複数の撮影画像から検知される骨格の動きによって係員が棚にある物品に対して確認作業となる動作を行ったかを判断する。

係員による物品に対する確認作業を検知する方法としては、種々の方法がある。
第１の検知方法としては、係員が物品を把持しているか否かにより物品に対する確認作業を行っているか否かを検知する方法がある。第１の検知方法では、撮影画像中の係員の手の画像から物品を把持しているかを検知する。

例えば、プロセッサ１１は、撮影画像から検知された係員の手の周辺の画像を抽出（トリミング）する。プロセッサ１１は、トリミングした手の周辺の画像に対するテンプレートマッチング又は特徴点マッチングなどによって、係員が手に物品を把持していることを検知する。さらに、プロセッサ１１は、所定時間以上同じ物品を把持している場合に係員が当該物品に対して確認作業をしていると判断するようにしても良い。

また、第２の検知方法としては、係員の顔の向きで物品に対する確認作業を行っているか否かを検知する方法がある。第２の検知方法では、撮影画像中における係員の顔の向きが物品を確認しているかを検知する。例えば、プロセッサ１１は、骨格検知で検知される係員の目および耳の座標から顔の向きを判断する。プロセッサ１１は、係員の顔の向きに対して直線上の位置にある物品を特定する。

ここで、顔の向きは、３次元的に判定するものとする。この場合、顔の向きは、係員（店員）が立つ位置（棚に対する相対的な位置）を予め設定しておくことで、係員が注視している物品（目視で確認している物品）を特定できる。例えば、係員が棚Ｓに対して立つ位置を棚から所定距離の位置と設定すれば、プロセッサ１１は、撮影画像中の係員が棚Ｓのどの位置を注視しているかを特定できる。係員が注視している位置が特定できれば、プロセッサ１１は、特定された注視している位置から一番近い物品を確認作業中の物品と判定できる。さらに、プロセッサ１１は、所定時間以上同じ物品を注視している場合に係員が当該物品に対して確認作業をしていると判断するようにしても良い。

係員が物品に対して確認作業を実施していることを検出すると（ＡＣＴ１９、ＹＥＳ）、プロセッサ１１は、係員が確認作業した物品を確認済みの物品としてメモリ１２に記憶する（ＡＣＴ２０）。例えば、プロセッサ１１は、係員が確認作業していると検知された物品を示すリスト（確認済みリスト）をメモリ１２に記憶する。確認済みリストには、例えば、係員が確認作業したことが検出された物品の位置と種類とを登録する。また、プロセッサ１１は、メモリ１２に記憶している物品リストにある物品のうち、係員が確認作業したことが検出された物品に対応づけて確認済み（係員による確認作業済み）であることを記憶しても良い。プロセッサ１１は、上記ＡＣＴ１４～２０の処理を繰り返し実行することで、棚に配置された各物品に対する確認作業の有無を管理する。

ここで、棚または店舗全体における物品に対する確認作業の状況をチェックする場合（ＡＣＴ２１、ＹＥＳ）、プロセッサ１１は、係員による確認作業がされていな物品（未確認物品）を検出する（ＡＣＴ２２）。例えば、プロセッサ１１は、メモリ１２に保存した物品リストにある物品と確認済みリストにある物品とを照合することにより、未確認物品を検出する。この場合、プロセッサ１１は、物品リストにある物品のうち確認済みリストにない物品を未確認物品として特定する。

未確認物品があると判定した場合（ＡＣＴ２３、ＹＥＳ）、プロセッサ３１は、未確認物品があることを報知する（ＡＣＴ２４）。例えば、プロセッサ３１は、ディスプレイ２１に係員が確認作業をしていない物品（未確認物品）の位置を表示する。
図６は、ディスプレイ２１に未確認物品を報知する案内を表示した表示例を示す図である。
図６に示す例では、プロセッサ１１は、ディスプレイ２１に棚の図を表示し、さらに、棚の図において未確認物品がある位置を表示する。これにより、係員は、確認作業が実施されていない物品とその位置とを簡単に知ることができる。この結果、画像処理装置１は、確認作業が実施されていない物品に対する確認作業を係員に促すことができる。

以上のように、実施形態に係る画像処理装置は、物品と棚を含んだ複数の画像を取得するインターフェースとメモリとプロセッサとを有する。メモリは、棚に配置された物品を示す物品リスト（商品位置リスト）と係員が確認作業を実施した物品を示す確認済みリストとを記憶する。プロセッサは、棚を含む撮影領域を撮影した撮影画像において人物検知と骨格検知とを行う。プロセッサは、撮影画像中に検出された人物が物品に対する確認作業を実施する係員であるかを判定する。プロセッサは、撮影画像中に店員を検出した場合、当該係員が確認作業を実施している物品を検出する。プロセッサは、係員が確認作業を実施している物品を検出した当該物品を確認済みリストに登録する。プロセッサは、所定期間が経過した後に、商品リスト中にあって確認済みリストに無い物品を確認作業が実施されていない物品としてアラートを出力する。

これにより、長期間にわたって係員による確認作業が行われていない物品を報知することできる。この結果として、棚に配置された各物品に対する係員による確認作業を確実に管理できる。

また、実施形態に係る画像処理装置において、プロセッサは、係員が確認作業を実施しているか否かを係員の動きによって検知する。例えば、プロセッサは、撮影画像に対する骨格検知で検知された手の位置周辺の画像から係員が物品を把持しているかどうかを検知し、物品を把持していることを検知した場合には物品リストを参照して手の位置情報と最も近い物品を確認作業を実施している物品とする。また、プロセッサは、撮影画像に対する骨格検知で検知した目と耳の位置から３次元的な顔の向きを推定し、推定した顔の向きと予め設定した係員の立ち位置から棚までの距離に応じて係員の注視している位置を推定し、推定した注視している位置と最も近い位置にある物品を確認作業を実施している物品とする。

これにより、係員の各骨格の動きによって棚に配置された物品に対する確認作業が実施されているか否かを検知できる。この結果として、棚に配置された各物品に対する係員による確認作業を確実に管理できる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…画像処理装置、２、２ａ、２ｂ…カメラ、１１…プロセッサ、１２…メモリ、１３…入力インターフェース、１４…表示インターフェース。

Claims (5)

1. 物品を配置する棚を含む撮影領域を撮影した撮影画像を取得するインターフェースと、
   前記棚に配置した物品を示す物品リストを記憶するメモリと、
   前記インターフェースにより取得する撮影画像から係員が確認作業を実施した物品を検出し、前記係員が確認作業を実施した物品を示す確認済みリストを前記メモリに記憶し、前記物品リストと前記確認済みリストとに基づいて確認作業が実施されていない物品がある位置をディスプレイに表示するプロセッサと、
   を備える画像処理装置。
2. 前記プロセッサは、前記撮影領域を撮影した撮影画像から検出する人物が係員である否かを判定し、前記係員の行動に基づいて確認作業が実施された物品を検出する、
   請求項１に記載の画像処理装置。
3. 前記プロセッサは、前記係員の行動として前記係員の手が物品を把持したことを検出した場合に前記係員が把持した物品を確認作業が実施された物品として検出する、
   請求項１又は２の何れか１項に記載の画像処理装置。
4. 前記プロセッサは、前記係員の行動として前記係員の顔の向きを検出し、検出した前記係員の顔の向きにある物品を確認作業が実施された物品として検出する、
   請求項１又は２の何れか１項に記載の画像処理装置。
5. 画像処理装置のプロセッサに、
   物品を配置する棚を含む撮影領域を撮影した撮影画像をインターフェースにより取得することと、
   前記棚に配置した物品を示す物品リストをメモリに記憶することと、
   前記インターフェースにより取得する撮影画像から係員が確認作業を実施した物品を検出し、前記係員が確認作業を実施した物品を示す確認済みリストを前記メモリに記憶し、前記物品リストと前記確認済みリストとに基づいて確認作業が実施されていない物品がある位置をディスプレイに表示することと、
   を実行させるための画像処理プログラム。