JP6225443B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置等に関する。

例えば、売り場で商品が乱れて陳列されていると、商品の売り上げが低下する。このため、店員は、売り場内を移動しつつ、商品が乱れているか否かを確認し、適宜商品を整頓する。

また、従来技術には、本棚に収納された図書の整頓の要否を判定する技術がある。この従来技術は、本棚に格納された図書の輪郭から図書の傾き度を算出し、傾き度が所定の角度となる図書の割合を基にして、整頓が必要か否かを判定する。

特開２０００−３０６０７７号公報 特開平１０−２２９５５０号公報

しかしながら、上述した従来技術では、被監視対象物の乱れを判定することができないという問題がある。

１つの側面では、被監視対象物の乱れを判定することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

第１の案では、画像処理装置は、抽出部と、分類部と、判定部とを有する。抽出部は、画像データから被監視対象物の輪郭を抽出する。分類部は、抽出部によって抽出された各輪郭を、各輪郭の方向に基づいて複数のグループに分類する。判定部は、分類部の分類結果を基にして、前記被監視対象物が乱れているか否かを判定する。

本発明の１実施態様によれば、被監視対象物の乱れを判定することができるという効果を奏する。

図１は、本実施例１に係る画像処理装置の構成を示す図である。 図２は、エッジ情報のデータ構造の一例を示す図である。 図３は、度数分布情報のデータ構造の一例を示す図である。 図４は、エッジの角度を説明するための図である。 図５は、被監視対象物が乱れていない場合の画像データの一例を示す図である。 図６は、角度分布とエッジ数との関係を示す図（１）である。 図７は、降順に並べ替えた角度分布の一例を示す図（１）である。 図８は、被監視対象物が乱れている場合の画像データの一例を示す図である。 図９は、角度分布とエッジ数との関係を示す図（２）である。 図１０は、降順に並べ替えた角度分布の一例を示す図（２）である。 図１１は、本実施例１に係る画像処理装置の処理手順を示すフローチャートである。 図１２は、本実施例１に係る抽出部の処理手順を示すフローチャートである。 図１３は、分割した画像データの一例を示す図である。 図１４は、本実施例２に係る画像処理装置の構成を示す図である。 図１５は、コーナー情報のデータ構造の一例を示す図である。 図１６は、コーナー検出結果の一例を示す図（１）である。 図１７は、コーナー検出結果の一例を示す図（２）である。 図１８は、本実施例２に係る画像処理装置の処理手順を示すフローチャートである。 図１９は、画像処理プログラムを実行するコンピュータの一例を示す図である。

以下に、本願の開示する画像処理装置、画像処理方法および画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

本実施例１に係る画像処理装置の構成について説明する。図１は、本実施例１に係る画像処理装置の構成を示す図である。図１に示すように、この画像処理装置１００は、通信部１０５、撮像部１１０、記憶部１２０、制御部１３０を有する。

通信部１０５は、外部装置とデータ通信を実行する処理部である。例えば、通信部１０５は、通信カードや通信装置に対応する。後述する制御部１３０は、通信部１０５を介して外部装置とデータをやり取りする。

撮像部１１０は、撮像範囲の映像を撮像する装置である。撮像範囲には、商品等の被監視対象物が含まれるように、予め利用者に設定されているものとする。撮像部１１０は、映像データを制御部１３０に出力する。例えば、撮像部１１０は、ビデオカメラに対応する。

記憶部１２０は、エッジ情報１２１と度数分布情報１２２とを記憶する。記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子などの記憶装置に対応する。

エッジ情報１２１は、画像データから抽出されるエッジの情報である。エッジは例えば、被監視対象物の輪郭に対応する。図２は、エッジ情報のデータ構造の一例を示す図である。図２に示すように、エッジ情報１２１は、エッジ毎に、始点の座標と、終点の座標とを対応付けて保持する。

度数分布情報１２２は、エッジの角度に応じて、エッジを分類した情報を保持する。図３は、度数分布情報のデータ構造の一例を示す図である。図３に示すように、この度数分布情報１２２は、識別番号と、範囲と、数とを対応付ける。識別番号は、分類されたエッジのグループを一意に識別する情報である。範囲は、該当するグループに割り当てるエッジの角度を示す情報である。数は、該当するグループに割り当てられたエッジの数を示す情報である。

例えば、図３の１行目について説明する。識別番号「１」のグループに割り当てられるエッジは、角度が「０〜１０」となるエッジである。そして、識別番号「１」のグループには「２」個のエッジが割り当てられている。

図１の説明に戻る。制御部１３０は、抽出部１３１と、分類部１３２と、判定部１３３を有する。制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、制御部１３０は、例えば、ＣＰＵやＭＰＵ（Micro Processing Unit）等の電子回路に対応する。

抽出部１３１は、撮像部１１０から出力される映像データから、静止画像となる画像データを抽出し、抽出した画像データからエッジを抽出する処理部である。以下において、抽出部１３１の処理を具体的に説明する。

まず、抽出部１３１は、第１時刻に取得した画像データＩｓと、第２時刻に取得した画像データＩｃとを比較して、画像データＩｓと画像データＩｃとが変化しているか否かを判定する。例えば、第２時刻は、第１時刻よりも所定時間後の時刻とする。抽出部１３１は、画像データＩｓと画像データＩｃとが変化していない場合に、画像データＩｓからエッジを抽出すると判定する。

抽出部１３１は、画像データＩｓと画像データＩｃとが変化しているか否かをどのような従来技術を用いて判定してもよい。例えば、抽出部１３１は、画像データＩｓの２値画像と、画像データＩｃの２値画像との差分画像を生成し、生成した差分画像の画素のうち、０となる画素の数が所定の画素数以上の場合に、画像データＩｓと画像データＩｃとが変化してないと判定しても良い。

抽出部１３１は、エッジの抽出対象となる画像データＩｓから微分画像を求め、Ｈｏｕｇｈ変換などを適用することで、エッジを抽出する。抽出部１３１は、エッジ毎にエッジの始点および終点の情報を、エッジ情報１２１に登録する。

なお、抽出部１３１は、抽出したエッジのうち、エッジの長さが所定のエッジを取り除き、残りのエッジの情報を、エッジ情報１２１に登録する。すなわち、エッジ情報１２１には、所定の長さ以上のエッジの情報が登録される。

分類部１３２は、エッジ情報１２１を基にして、エッジ毎にエッジの角度を算出し、各エッジの角度を基にして、度数分布情報１２２を生成する処理部である。以下において、分類部１３２の処理を具体的に説明する。

分類部１３２は、基準となる水平成分とエッジとのなす角度をエッジの角度として算出する。図４は、エッジの角度を説明するための図である。図４に示すように、分類部１３２は、エッジ１０の角度を、水平成分１１を０度とした場合の水平成分１１からエッジ１０までの反時計回りの角度とする。

分類部１３２は、各エッジの角度を算出した後に、所定の角度幅ｄでエッジの度数分布ｃ［ｉ］をそれぞれ求める。角度幅ｄは、利用者に予め設定される値であり、３６０以下の値となる。また、ｉは、１〜３６０／ｄの値となる。エッジの度数分布ｃ［ｉ］は、エッジの角度θが、（ｉ−１）×ｄ以上ｉ×ｄ未満となるエッジの数である。

分類部１３２は、度数分布ｃ［１］，ｃ［２］，・・・，ｃ［ｎ］を求め、求めた結果を、度数分布情報１２２に登録する。例えば、度数分布ｃ［１］の値が「２」である場合には、図３に示した度数分布情報１２２の識別情報「１」に対応する数を「２」に設定する。

図１の説明に戻る。判定部１３３は、度数分布を基にして、被監視対象物が乱れているか否かを判定する処理部である。判定部１３３は、被監視対象物が乱れていると判定した場合には、被監視対象が乱れている旨の情報を、外部装置に通知する。以下において、判定部１３３の処理について具体的に説明する。

判定部１３３は、エッジの角度分布ｃ［１］，ｃ［２］，・・・，ｃ［ｎ］の値を基にして降順に並べ替えたｃ’［１］，ｃ’［２］，・・・，ｃ’［ｎ］を求める。そして、判定部１３３は、式（１）の条件を満たすｋの最小数ｍｉｎ（ｋ）を求め、求めたｋをピーク数として算出する。式（１）において、ａは利用者に予め設定される値であり、０〜１の間の値となる。Ｎはエッジの総数である。

ｃ’［１］＋ｃ［２］＋・・・＋ｃ［ｋ］＞ａ×Ｎ・・・（１）

判定部１３３は、ピーク数が所定の閾値よりも大きい場合に、被監視対象物が乱れていると判定し、外部装置に通知する。例えば、ピーク数と比較する閾値は、２または３が設定される。

次に、被監視対象物が乱れていない場合と、乱れている場合とにピーク数の算出例について説明する。

図５は、被監視対象物が乱れていない場合の画像データの一例を示す図である。図５に示す被監視対象物の画像データからエッジの角度分布を求めると、図６に示すものとなる。図６は、角度分布とエッジ数との関係を示す図（１）である。図６の横軸は角度を示し、縦軸はエッジ数を示す。図６に示す角度分布を降順に並べ替えると、図７に示すものとなる。図７は、降順に並べ替えた角度分布の一例を示す図（１）である。図７の横軸は、角度分布の並び順を示し、縦軸はエッジ数を示す。図７に示す例では、ｋの値が「２」となった場合に、式（１）の条件を満たす。このため、ピーク数は２となる。

図５に示したように、被監視対象物が乱れていない場合には、エッジの角度のほとんどが少数の区間に入るため、ピーク数は小さな値となる。判定部１３３は、ピーク数が所定の閾値以下となるため、被監視対象物が乱れていないと判定する。

図８は、被監視対象物が乱れている場合の画像データの一例を示す図である。図８に示す被監視対象物の画像データからエッジの角度分布を求めると、図９に示すものとなる。図９は、角度分布とエッジ数との関係を示す図（２）である。図９の横軸は角度を示し、縦軸はエッジ数を示す。図９に示す角度分布を降順に並べ替えると、図１０に示すものとなる。図１０は、降順に並べ替えた角度分布の一例を示す図（２）である。図７の横軸は、角度分布の並び順を示し、縦軸はエッジ数を示す。図１０に示す例では、ｋの値が「８」となった場合に、式（１）の条件を満たす。このため、ピーク数は８となる。

図８に示したように、被監視対象物が乱れている場合には、エッジの角度は様々な角度となり、角度分布には多数のピークが現れる。この結果、ピーク数は大きな値となる。判定部１３３は、ピーク数が所定の閾値より大きくなるため、被監視対象物が乱れている旨を通知する。

次に、本実施例１に係る画像処理装置１００の処理手順について説明する。図１１は、本実施例１に係る画像処理装置の処理手順を示すフローチャートである。図１１に示す処理は、例えば、所定の時間間隔毎に実行される。図１１に示すように、画像処理装置１００は、画像データを取得し（ステップＳ１０１）、エッジを抽出する（ステップＳ１０２）。

画像処理装置１００は、エッジの角度を算出し（ステップＳ１０３）、角度分布ｃ［１］、ｃ［２］、・・・ｃ［ｎ］を求める（ステップＳ１０４）。画像処理装置１００は、角度分布ｃ［ｉ］を降順に並び替える（ステップＳ１０５）。画像処理装置１００は、式（１）の条件を満たすピーク数を算出する（ステップＳ１０６）。

画像処理装置１００は、ピーク数が閾値よりも大きいか否かを判定する（ステップＳ１０７）。画像処理装置１００は、ピーク数が閾値未満の場合には（ステップＳ１０７，Ｎｏ）、処理を終了する。一方、画像処理装置１００は、ピーク数が閾値よりも大きい場合には（ステップＳ１０７，Ｙｅｓ）、被監視対象物の商品が乱れている旨を通知する（ステップＳ１０８）。

次に、本実施例１に係る抽出部の処理手順について説明する。図１２は、本実施例１に係る抽出部の処理手順を示すフローチャートである。図１２に示す処理は、図１１のステップＳ１０１、Ｓ１０２の処理を具体的にしたものに対応する。図１２に示すように、抽出部１３１は、スタート時刻Ｔｓに撮像された画像データＩｓを取得する（ステップＳ１５０）。

抽出部１３１は、時刻Ｔｓから時間Ｔが経過したか否かを判定する（ステップＳ１５１）。抽出部１３１は、時刻Ｔｓから時間Ｔが経過している場合には（ステップＳ１５１，Ｙｅｓ）、画像データＩｓからエッジを抽出する（ステップＳ１５２）。

一方、抽出部１３１は、時刻Ｔｓから時間Ｔが経過していない場合には（ステップＳ１５１，Ｎｏ）、現時刻に撮影された画像データＩｃを取得する（ステップＳ１５３）。抽出部１３１は、画像データＩｃと画像データＩｓとを比較して、画像データＩｓが変化したか否かを判定する（ステップＳ１５４）。

抽出部１３１は、画像データＩｓが変化していない場合には（ステップＳ１５５，Ｎｏ）、ステップＳ１５１に移行する。一方、抽出部１３１は、画像データＩｓが変化している場合には（ステップＳ１５５，Ｙｅｓ）、ステップＳ１５０に移行する。

次に、本実施例１に係る画像処理装置１００の効果について説明する。画像処理装置１００は、画像データから抽出された各エッジの方向に基づいて、エッジを複数のグループに分類し、分類結果を基にして、商品等の被監視対象物が乱れているか否かを判定する。これにより、画像処理装置１００によれば、被監視対象物の乱れを判定することができる。

また、画像処理装置１００によれば、被監視対象物の各エッジと、基準となる水平成分との相対的な角度を基にして、各エッジを複数のグループに分類し、グループの数が閾値よりも大きい場合に、前記被監視対象物が乱れていると判定する。このような処理を実行することにより、例えば、被監視対象物が、ワゴン等の可動式の棚に並べられている場合や、平積みの状態となっていても、被監視対象物の乱れを判定できる。

また、画像処理装置１００によれば、画像データから抽出した被監視対象物のエッジのうち所定の長さ未満の輪郭を取り除く。このため、ノイズ成分を取り除くことが可能となり、被監視対象物の乱れに関する判定の精度を向上させることができる。

ここで、実施例１に示した画像処理装置１００のその他の処理について説明する。以下において、エントロピーを用いて被監視対象物の乱れを判定する処理、ジニ係数を用いて被監視対象物の乱れを判定する処理について説明する。また、各エッジの接続関係から、被監視対象物の乱れを判定する処理、分割した画像の領域毎に被監視対象物の乱れを判定する処理について説明する。

（１）エントリピーを用いて被監視対象物の乱れを判定する処理について
画像処理装置１００の判定部１３３は、度数分布情報１２２を基にして、エントロピーを算出し、エントロピーを基にして、被監視対象物が乱れているか否かを判定しても良い。

判定部１３３は、式（２）によりエントロピーｅを算出する。式（２）のＮは、エッジの総数に対応する。また、式（２）のｎは、角度分布の数となる。なお、角度分布の数がｎである場合には、角度分布ｃ［１］，ｃ［２］，・・・，ｃ［ｎ］が存在することを示す。

判定部１３３は、エントロピーｅの値が所定値よりも大きい場合に、被監視対象物が乱れていると判定する。このように、画像処理装置１００は、エントロピーを算出して、被監視対象物が乱れているか否かを判定することで、被監視対象物の乱れを精度良く判定することができる。

（２）ジニ係数を用いて被監視対象物の乱れを判定する処理について
画像処理装置１００の判定部１３３は、度数分布情報１２２を基にして、ジニ係数を算出し、ジニ係数を基にして、被監視対象物が乱れているか否かを判定しても良い。

判定部１３３は、式（３）によりジニ係数ｇを算出する。式（３）のＮは、エッジの総数に対応する。また、式（３）のｃ’［ｊ］は、エッジの角度分布ｃ［１］，ｃ［２］，・・・，ｃ［ｎ］の値を基にして降順に並べ替えたｃ’［１］，ｃ’［２］，・・・，ｃ’［ｎ］に対応する。

判定部１３３は、ジニ係数ｇの値が所定値以下の場合に、被監視対象物が乱れていると判定する。このように、画像処理装置１００は、ジニ係数を算出して、被監視対象物が乱れているか否かを判定することで、被監視対象物の乱れを精度良く判定することができる。

（３）各エッジの接続関係から、被監視対象物の乱れを判定する処理について
画像処理装置１００の判定部１３３は、エッジ情報１２１を基にして、エッジの端が接続関係にあるエッジの組みを複数選択する。判定部１３３は、接続関係にあるエッジの組みによって形成される角を、被監視対象物の第１〜第４角の何れかにそれぞれ分類する。例えば、第１角は、被監視対象物の右上の角に対応する。第２角は、被監視対象物の左上の角に対応する。第３角は、被監視対象物の左下に対応する。第４角は、被監視対象物の右下に対応する。

例えば、判定部１３３は、エッジの組みによって形成される角が画像データ上の所定の点を基準として、第１象限方向を向いているには、エッジの組みを第１角に分類する。エッジの組みによって形成される角が画像データ上の所定の点を基準として、第２象限方向を向いているには、エッジの組みを第２角に分類する。エッジの組みによって形成される角が画像データ上の所定の点を基準として、第３象限方向を向いているには、エッジの組みを第３角に分類する。エッジの組みによって形成される角が画像データ上の所定の点を基準として、第４象限方向を向いているには、エッジの組みを第４角に分類する。

判定部１３３は、各角に分類されたエッジの組みの数を基にして、被監視対象物の乱れを判定する。判定部１３３は、各角に分類されたエッジの組みの数が、均等である場合に、被監視対象物が乱れていないと判定する。一方、判定部１３３は、各角に分類されたエッジの組みの数が、均等でない場合に、被監視対象物が乱れていると判定する。例えば、判定部１３３は、第１〜第４角にそれぞれ分類されたエッジの組みの平均値を算出する。判定部１３３は、第１〜第４角の何れかに分類されたエッジの組みの数が、平均値よりも所定数異なる場合には、均等でないと判定する。このように、画像処理装置１００は、各エッジの接続関係から、被監視対象物の乱れを判定することで、被監視対象物の乱れを精度良く判定することができる。

（４）分割した画像の領域毎に被監視対象物の乱れを判定する処理について
画像処理装置１００は、抽出部１３１の抽出した画像データを複数の領域に分割し、分割した画像の領域毎に被監視対象物が乱れているか否かを判定する。図１３は、分割した画像データの一例を示す図である。図１３に示す例では、画像処理装置１００は、画像データ２０を、複数の領域２０ａ〜２０ｐに分割した場合を示している。

画像処理装置１００は、分割した領域毎に、被監視対象物の乱れを判定する。または、画像処理装置１００は、分割した各領域のうち、一部の領域についてのみ、被監視対象物の乱れを判定しても良い。例えば、画像処理装置１００は、分割した領域２０ａ〜２０ｐのうち、領域２０ｋ〜２０ｆについて、それぞれ被監視対象物の乱れを判定する。画像処理装置１００が、被監視対象物の乱れを判定する処理は、実施例１と同様の処理でも良いし、エントロピーやジニ係数を算出して、被監視対象物の乱れを判定しても良い。

このように、画像処理装置１００が、画像データを複数の領域に分割して、領域毎に被監視対象物の乱れを判定することで、例えば、広い商品棚の部分的な陳列の乱れを通知することができる。また、複数の商品を陳列した場合に、商品種別毎の陳列範囲と陳列の乱れた領域との対応から、陳列がよく乱れる、すなわち、買い物客の関心が高くよく手に取られる商品を特定することもできる。例えば、画像処理装置１００は、領域毎に、被監視対象物が乱れたと判定した回数をカウントし、領域毎に対応付けて記憶しておいても良い。

次に、実施例２に係る画像処理装置２００の構成について説明する。図１４は、本実施例２に係る画像処理装置の構成を示す図である。図１４に示すように、画像処理装置２００は、通信部２０５、撮像部２１０、記憶部２２０、制御部２３０を有する。

通信部２０５は、外部装置とデータ通信を実行する処理部である。例えば、通信部２０５は、通信カードや通信装置に対応する。後述する制御部２３０は、通信部２０５を介して外部装置とデータをやり取りする。

撮像部２１０は、撮像範囲の映像を撮像する装置である。撮像範囲には、商品等の被監視対象物が含まれるように、予め利用者に設定されているものとする。撮像部２１０は、映像データを制御部２３０に出力する。例えば、撮像部２１０は、ビデオカメラに対応する。

記憶部２２０は、コーナー情報２２１を記憶する。記憶部２２０は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子などの記憶装置に対応する。

コーナー情報２２１は、画像データから抽出されるコーナーの情報である。図１５は、コーナー情報のデータ構造の一例を示す図である。図１５に示すように、コーナー情報２２１は、検出時刻、コーナー数、座標を対応付けて保持する。検出時刻は、コーナーを検出した時刻である。コーナー数は、検出されたコーナーの数である。座標は、検出された各コーナーの座標である。

図１４の説明に戻る。制御部２３０は、コーナー検出部２３１と、判定部２３２とを有する。制御部２３０は、例えば、ＡＳＩＣや、ＦＰＧＡなどの集積装置に対応する。また、制御部２３０は、例えば、ＣＰＵやＭＰＵ等の電子回路に対応する。

コーナー検出部２３１は、撮像部２１０から出力される映像データから、静止画像となる画像データを抽出し、抽出した画像データからコーナーを検出する処理部である。コーナー検出部２３１は、検出したコーナーの情報をコーナー情報２２１に登録する。すなわち、コーナー検出部２３１は、検出時刻、コーナー数、各コーナーの座標を対応づけて、コーナー情報２２１に登録する。

例えば、コーナー検出部２３１は、周知技術を用いて、画像データからコーナーと見なせるパタンを検出する。例えば、コーナー検出部２３１は、Ｈａｒｒｉｓ検出器を用いてコーナーを検出し手も良いし、ＦＡＳＴアルゴリズムなどを基にして、コーナーを検出してもよい。

図１６および図１７は、コーナー検出結果の一例を示す図である。図１６に示す画像データ３０からは、コーナー３０ａ，３０ｂ，３０ｃ，３０ｄが検出されており、コーナー数は４となる。図１７に示す画像データ４０からは、コーナー４０ａ，４０ｂ，４０ｃ，４０ｃ，４０ｄ，４０ｅ，４０ｆ，４０ｇ，４０ｈが検出されており、コーナー数は８となる。被監視対象物が乱れている場合には、多くのコーナーが検出される特徴がある。

判定部２３２は、コーナー情報２２１を基にして、被監視対象物が乱れているか否かを判定する処理部である。例えば、判定部２３２は、所定の時刻に検出したコーナーの数に１以上実数を乗算した値を基準値として算出する。例えば、所定の時刻は、店舗が開店する前の時間等である。判定部２３２は、コーナーの数が基準値よりも大きくなった場合に、被監視対象物が乱れていると判定し、被監視対象物の商品が乱れている旨を通知する。これに対して、判定部２３２は、コーナー数が基準値以下の場合には、被監視対象物の商品が乱れていないと判定する。

次に、本実施例２に係る画像処理装置２００の処理手順について説明する。図１８は、本実施例２に係る画像処理装置の処理手順を示すフローチャートである。図１８に示す処理は、例えば、所定時間間隔で繰り返し実行される。図１８に示すように、画像処理装置２００は、画像データを取得し（ステップＳ２０１）、コーナーを検出する（ステップＳ２０２）。

画像処理装置２００は、コーナー数を算出し（ステップＳ２０３）、コーナー数が基準値よりも大きいか否かを判定する（ステップＳ２０４）。画像処理装置２００は、コーナー数が基準値以下の場合には（ステップＳ２０４，Ｎｏ）、処理を終了する。一方、画像処理装置２００は、コーナー数が基準値よりも大きい場合には（ステップＳ２０４，Ｙｅｓ）、商品が乱れている旨を通知する（ステップＳ２０５）。

次に、本実施例２に係る画像処理装置２００の効果について説明する。画像処理装置２００は、画像データからコーナーを検出し、第１の時刻に検出されたコーナー数から基準値を算出する。画像処理装置２００は、第１の時刻以降の第２の時刻に検出されたコーナー数と基準値を比較し、比較した結果を基にして、被監視対象物の商品が乱れているか否かを判定する。このため、画像処理装置２００によれば、例えば、商品陳列の乱れを商品棚の回転の影響を受けずに判別、通知することができる。また、平積み時の商品の向きだけがずれる場合でも、陳列の乱れを判別することができる。

次に、上記の実施例に示した画像処理装置と同様の機能を実現する画像処理プログラムを実行するコンピュータの一例を説明する。図１９は、画像処理プログラムを実行するコンピュータの一例を示す図である。

図１９に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３を有する。また、コンピュータ３００は、記憶媒体からプログラム等を読取る読み取り装置３０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置３０５とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７を有する。そして、各装置３０１〜３０７は、バス３０８に接続される。

ハードディスク装置３０７は、例えば、抽出プログラム３０７ａ、分類プログラム３０７ｂ、判定プログラム３０７ｃを有する。ＣＰＵ３０１は、各プログラム３０７ａ〜３０７ｃを読み出してＲＡＭ３０６に展開する。

抽出プログラム３０７ａは、抽出プロセス３０６ａとして機能する。分類プログラム３０７ｂは、分類プロセス３０６ｂとして機能する。判定プログラム３０７ｃは、判定プロセス３０６ｃとして機能する。

例えば、抽出プロセス３０６ａは、抽出部１３１に対応する。分類プロセス３０６ｂは、分類部１３２に対応する。判定プロセス３０６ｃは、判定部１３３に対応する。

なお、各プログラム３０７ａ〜３０７ｃについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくてもよい。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００がこれらから各プログラム３０７ａ〜３０７ｃを読み出して実行するようにしてもよい。なお、実施例２で示した、コーナー検出部２３１、判定部２３２も同様に、コンピュータ３００で実行される。詳しい説明は省略するが、コーナー検出プログラムおよび判定プログラムが、ハードディスク装置３０７に格納され、ＣＰＵ３０１に読み出される。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）画像データから被監視対象物の輪郭を抽出する抽出部と、
前記抽出部によって抽出された各輪郭を、各輪郭の方向に基づいて複数のグループに分類する分類部と、
前記分類部の分類結果を基にして、前記被監視対象物が乱れているか否かを判定する判定部と
を有することを特徴とする画像処理装置。

（付記２）前記分類部は、前記被監視対象物の各輪郭と、基準となる線分との相対的な角度を基にして、各輪郭を複数のグループに分類し、前記判定部は、前記グループの数が閾値よりも大きい場合に、前記被監視対象物が乱れていると判定することを特徴とする付記１に記載の画像処理装置。

（付記３）前記判定部は、前記被監視対象物の各輪郭と基準となる線分との相対的な角度を基にしてエントロピーを算出し、エントロピーの値が閾値よりも大きい場合に、前記被監視対象物が乱れていると判定することを特徴とする付記１に記載の画像処理装置。

（付記４）前記判定部は、前記被監視対象物の各輪郭と基準となる線分との相対的な角度を基にしてジニ係数を算出しジニ係数の値が閾値未満となる場合に、前記被監視対象物が乱れていると判定することを特徴とする付記１に記載の画像処理装置。

（付記５）前記分類部は、前記被監視対象物の各輪郭の接続関係から、被監視対象物のどの角かを判定して、各輪郭を角毎に分類し、前記判定部は、各角に分類される数が均等であるか否かを基にして、前記被監視対象物が乱れていると判定することを特徴とする付記１に記載の画像処理装置。

（付記６）前記抽出部は、前記画像データから抽出した被監視対象物の輪郭のうち所定の長さ未満の輪郭を取り除くことを特徴とする付記１から５のいずれか一つに記載の画像処理装置。

（付記７）前記抽出部は、第１時刻に撮影された画像データと第２時刻に撮影された画像データとが変化していない場合に、前記第１時刻に撮影された画像データまたは前記第２時刻に撮影された画像から被監視対象物の輪郭を抽出することを特徴とする付記１から６のいずれか一つに記載の画像処理装置。

（付記８）前記抽出部は、前記画像データを複数の領域に分割し、分割した領域毎に被監視対象物の輪郭を抽出し、前記判定部は、前記分割された領域毎に、前記被監視対象物が乱れているか否かを判定することを特徴とする付記１から７のいずれか一つに記載の画像処理装置。

（付記９）画像データから被監視対象物のコーナーを検出するコーナー検出部と、
前記コーナー検出部によって第１の時刻に検出されたコーナーの数と、第２の時刻に検出されたコーナー数とを比較し、比較した結果を基にして、前記被監視対象物が乱れているか否かを判定する判定部と
を有することを特徴とする画像処理装置。

（付記１０）コンピュータが実行する画像処理方法であって、
画像データから被監視対象物の輪郭を抽出し、
抽出した各輪郭を、各輪郭の方向に基づいて複数のグループに分類し、
分類結果を基にして、前記被監視対象物が乱れているか否かを判定する
各処理を実行することを特徴とする画像処理方法。

（付記１１）前記分類する処理は、前記被監視対象物の各輪郭と、基準となる線分との相対的な角度を基にして、各輪郭を複数のグループに分類し、前記判定する処理は、前記グループの数が閾値よりも大きい場合に、前記被監視対象物が乱れていると判定することを特徴とする付記１０に記載の画像処理方法。

（付記１２）前記判定する処理は、前記被監視対象物の各輪郭と基準となる線分との相対的な角度を基にしてエントロピーを算出し、エントロピーの値が閾値よりも大きい場合に、前記被監視対象物が乱れていると判定することを特徴とする付記１０に記載の画像処理方法。

（付記１３）前記判定する処理は、前記被監視対象物の各輪郭と基準となる線分との相対的な角度を基にしてジニ係数を算出しジニ係数の値が閾値未満となる場合に、前記被監視対象物が乱れていると判定することを特徴とする付記１０に記載の画像処理方法。

（付記１４）前記分類する処理は、前記被監視対象物の各輪郭の接続関係から、被監視対象物のどの角かを判定して、各輪郭を角毎に分類し、前記判定する処理は、各角に分類される数が均等であるか否かを基にして、前記被監視対象物が乱れていると判定することを特徴とする付記１０に記載の画像処理方法。

（付記１５）前記抽出する処理は、前記画像データから抽出した被監視対象物の輪郭のうち所定の長さ未満の輪郭を取り除くことを特徴とする付記１０から１４のいずれか一つに記載の画像処理方法。

（付記１６）前記抽出する処理は、第１時刻に撮影された画像データと第２時刻に撮影された画像データとが変化していない場合に、前記第１時刻に撮影された画像データまたは前記第２時刻に撮影された画像から被監視対象物の輪郭を抽出することを特徴とする付記１０から１５のいずれか一つに記載の画像処理方法。

（付記１７）前記抽出する処理は、前記画像データを複数の領域に分割し、分割した領域毎に被監視対象物の輪郭を抽出し、前記判定する処理は、前記分割された領域毎に、前記被監視対象物が乱れているか否かを判定することを特徴とする付記１０から１６のいずれか一つに記載の画像処理方法。

（付記１８）コンピュータが実行する画像処理方法であって、
画像データから被監視対象物のコーナーを検出し、
第１の時刻に検出したコーナーの数と、第２の時刻に検出したコーナー数とを比較し、比較した結果を基にして、前記被監視対象物が乱れているか否かを判定する
各処理を実行させることを特徴とする画像処理方法。

（付記１９）コンピュータに、
画像データから被監視対象物の輪郭を抽出し、
抽出した各輪郭を、各輪郭の方向に基づいて複数のグループに分類し、
分類結果を基にして、前記被監視対象物が乱れているか否かを判定する
各処理を実行させることを特徴とする画像処理プログラム。

（付記２０）前記分類する処理は、前記被監視対象物の各輪郭と、基準となる線分との相対的な角度を基にして、各輪郭を複数のグループに分類し、前記判定する処理は、前記グループの数が閾値よりも大きい場合に、前記被監視対象物が乱れていると判定することを特徴とする付記１９に記載の画像処理プログラム。

（付記２１）前記判定する処理は、前記被監視対象物の各輪郭と基準となる線分との相対的な角度を基にしてエントロピーを算出し、エントロピーの値が閾値よりも大きい場合に、前記被監視対象物が乱れていると判定することを特徴とする付記１９に記載の画像処理プログラム。

（付記２２）前記判定する処理は、前記被監視対象物の各輪郭と基準となる線分との相対的な角度を基にしてジニ係数を算出しジニ係数の値が閾値未満となる場合に、前記被監視対象物が乱れていると判定することを特徴とする付記１９に記載の画像処理プログラム。

（付記２３）前記分類する処理は、前記被監視対象物の各輪郭の接続関係から、被監視対象物のどの角かを判定して、各輪郭を角毎に分類し、前記判定する処理は、各角に分類される数が均等であるか否かを基にして、前記被監視対象物が乱れていると判定することを特徴とする付記１９に記載の画像処理プログラム。

（付記２４）前記抽出する処理は、前記画像データから抽出した被監視対象物の輪郭のうち所定の長さ未満の輪郭を取り除くことを特徴とする付記１９から２３のいずれか一つに記載の画像処理プログラム。

（付記２５）前記抽出する処理は、第１時刻に撮影された画像データと第２時刻に撮影された画像データとが変化していない場合に、前記第１時刻に撮影された画像データまたは前記第２時刻に撮影された画像から被監視対象物の輪郭を抽出することを特徴とする付記１９から２４のいずれか一つに記載の画像処理プログラム。

（付記２６）前記抽出する処理は、前記画像データを複数の領域に分割し、分割した領域毎に被監視対象物の輪郭を抽出し、前記判定する処理は、前記分割された領域毎に、前記被監視対象物が乱れているか否かを判定することを特徴とする付記１９から２５のいずれか一つに記載の画像処理プログラム。

（付記２７）コンピュータに、
画像データから被監視対象物のコーナーを検出し、
第１の時刻に検出したコーナーの数と、第２の時刻に検出したコーナー数とを比較し、比較した結果を基にして、前記被監視対象物が乱れているか否かを判定する
各処理を実行させることを特徴とする画像処理プログラム。

１００ 画像処理装置
１０５ 通信部
１１０ 撮像部
１２０ 記憶部
１２１ エッジ情報
１２２ 度数分布情報
１３０ 制御部
１３１ 抽出部
１３２ 分類部
１３３ 判定部

Claims (6)

1. 画像データから被監視対象物の輪郭を抽出する抽出部と、
   前記被監視対象物の各輪郭の接続関係から、前記被監視対象物のどの角かを判定して、各輪郭を角毎に分類する分類部と、
   各角に分類される数が均等であるか否かを基にして、前記被監視対象物の陳列が乱れていると判定する判定部と
   を有することを特徴とする画像処理装置。
2. 前記抽出部は、第１時刻に撮影された画像データと第２時刻に撮影された画像データとが変化していない場合に、前記第１時刻に撮影された画像データまたは前記第２時刻に撮影された画像データから前記被監視対象物の輪郭を抽出することを特徴とする請求項１に記載の画像処理装置。
3. 前記抽出部は、前記画像データを複数の領域に分割し、分割した領域毎に前記被監視対象物の輪郭を抽出し、前記判定部は、前記分割された領域毎に、前記被監視対象物の陳列が乱れているか否かを判定することを特徴とする請求項１または２に記載の画像処理装置。
4. 画像データから被監視対象物の輪郭を抽出する抽出部と、
   画像データから前記被監視対象物のコーナーを検出するコーナー検出部と、
   前記抽出部によって抽出された各輪郭を、各輪郭の方向に基づいて複数のグループに分類する分類部と、
   前記分類部の分類結果を基にして、前記被監視対象物の陳列が乱れているか否かを判定する処理、および、前記コーナー検出部によって第１の時刻に検出されたコーナーの数と、第２の時刻に検出されたコーナー数とを比較し、比較した結果を基にして、前記被監視対象物の陳列が乱れているか否かを判定する処理を実行する判定部と
   を有することを特徴とする画像処理装置。
5. コンピュータが実行する画像処理方法であって、
   画像データから被監視対象物の輪郭を抽出し、
   前記被監視対象物の各輪郭の接続関係から、前記被監視対象物のどの角かを判定して、各輪郭を角毎に分類し、
   各角に分類される数が均等であるか否かを基にして、前記被監視対象物の陳列が乱れていると判定する
   各処理を実行することを特徴とする画像処理方法。
6. コンピュータに、
   画像データから被監視対象物の輪郭を抽出し、
   前記被監視対象物の各輪郭の接続関係から、前記被監視対象物のどの角かを判定して、各輪郭を角毎に分類し、
   各角に分類される数が均等であるか否かを基にして、前記被監視対象物の陳列が乱れていると判定する
   各処理を実行させることを特徴とする画像処理プログラム。

Images