JP4456437B2

JP4456437B2 - 画像処理システム、画像処理プログラム及び画像処理方法

Info

Publication number: JP4456437B2
Application number: JP2004230325A
Authority: JP
Inventors: 紳一郎大塚
Original assignee: Nomura Research Institute Ltd
Current assignee: Nomura Research Institute Ltd
Priority date: 2004-08-06
Filing date: 2004-08-06
Publication date: 2010-04-28
Anticipated expiration: 2024-08-06
Also published as: JP2006048468A

Description

この発明は、画像処理技術に係り、特に、デジタルカメラによって所定の時間間隔で撮影された多数の静止画像に対して、監視対象を覆い隠す遮蔽物を除去する修正処理を施す技術に関する。

コンビニエンスストア（以下「コンビニ」）やスーパーマーケット等の売り場においては、商品陳列棚のフェイスアップ作業が売り上げを向上させるために極めて重要である。
ここでフェイスアップ作業とは、陳列棚の商品を密集させてボリューム感を演出し、見栄えを良くすることを意味する。すなわち、商品が陳列棚に疎らに配置されていると如何にも売れ残りのような印象を顧客に与えるため、商品が売れて穴の空いた部分に対して同種商品を補充したり、後方の商品を前に引き出して陳列棚の外観を回復する作業が必要となる。また、同種商品の補充が間に合わない場合には、残った商品を陳列棚の中心部分に固め、商品の虫食い状態を改善することもフェイスアップ作業に含まれる。
コンビニ等のスタッフが常に商品陳列棚のフェイスアップに気を配り、こまめに手を加えることによって売り場における美観が向上し、顧客の購買意欲を刺激することが一般に知られている（非特許文献１の「フェイスアップ」の項参照）。

このため、コンビニチェーンの加盟店に対する本部スタッフや外部コンサルタントによる指導においても、このフェイスアップの善し悪しが重要なチェック項目として挙げられている。
例えば、店舗内に設置したデジタルカメラからネットワーク経由で定期的に送信される売り場の画像をリアルタイムに監視し、フェイスアップ作業が滞っている場合には現場スタッフに警告を発することが行われている。
あるいは、リアルタイムに監視する代わりに、ある程度蓄積された画像を後でまとめてチェックし、問題点を発見した場合には事後的に改善を勧告することも行われている。

前陳棒／ゼンチンボー（登録商標）［平成１６年７月１９日検索］インターネットURL:http://home.att.ne.jp/sun/pikul/zenchin01.htm

しかしながら、デジタルカメラから送信される画像の多くには買い物客や店舗スタッフ等の遮蔽物が写り込んでおり、商品陳列棚の状況を正確に観察できないため、監視する側は送信された画像を逐一チェックし、遮蔽物が移動する合間を縫ってフェイスアップの推移を把握する必要があった。
このため、リアルタイムであれ事後的であれ、多数の加盟店舗に配置されたデジタルカメラからの画像をチェックするのに膨大なマンパワーが必要となり、全加盟店舗のフェイスアップ具合を常時監視することは事実上不可能であった。

この発明は、従来の監視方法が抱えている上記の問題点を解決するためになされたものであり、人間等の遮蔽物が除去されており、したがって陳列棚の様子を簡易迅速に観察可能な画像列を生成可能な技術を実現することを目的としている。

上記の目的を達成するため、請求項１に記載した画像処理システムは、特定の監視対象物のみが撮影され、当該監視対象物を覆い隠す遮蔽物の写っていない基準画像を所定の記憶手段に格納する第１の処理と、上記の基準画像よりも後に同一監視対象物について所定の時間間隔をおいて撮影された複数の元画像を、元画像記憶手段に蓄積する第２の処理と、上記基準画像に含まれる画素と、上記元画像記憶手段に格納された最先の元画像に含まれる対応画素同士を比較し、両画素の値に予め設定された誤差幅以上の差異が存在する場合に、元画像側の画素を変更部として認定する第３の処理と、上記元画像における変更部とそれ以外の非変更部とを二値化した二値画像を生成する第４の処理と、上記変更部に対してラベリング処理を施し、複数の変更部が連結した変更領域を認識する第５の処理と、上記変更領域の中で、予め設定された面積以下の変更領域を元画像の変更領域から除外する第６の処理と、残された変更領域に係る画素群を元画像から切除し、上記基準画像における対応領域の画素群を元画像の切除領域に補充することにより、遮蔽物を取り除いた修正画像を生成する第７の処理と、この修正画像を修正画像記憶手段に格納する第８の処理と、この修正画像と次の元画像とを比較し、両画素の値に予め設定された誤差幅以上の差異が存在する場合に、元画像側の画素を変更部として認定する第９の処理と、上記元画像における変更部とそれ以外の非変更部とを二値化した二値画像を生成する第１０の処理と、上記変更部に対してラベリング処理を施し、複数の変更部が連結した変更領域を認識する第１１の処理と、上記変更領域の中で、予め設定された面積以下の変更領域を元画像の変更領域から除外する第１２の処理と、残された変更領域に係る画素群を元画像から切除し、上記修正画像における対応領域の画素群を元画像の切除領域に補充することにより、遮蔽物を取り除いた修正画像を生成する第１３の処理と、この修正画像を修正画像記憶手段に格納する第１４の処理を実行する画像処理システムであって、上記第９の処理〜第１４の処理を必要回数繰り返すことを特徴としている。

また、請求項２に記載した画像処理システムは、請求項１のシステムを前提とし、さらに修正画像を抽出するための時間間隔を所定の記憶手段に登録する処理と、上記修正画像記憶手段から上記時間間隔に該当する修正画像を抽出する処理と、抽出した各修正画像を時系列に沿って配列すると共に、所定のファイル形式に変換することによって画像帳票を生成する処理と、この画像帳票を所定の記憶手段に格納する処理を実行することを特徴としている。

請求項３に記載した画像処理プログラムは、コンピュータに、特定の監視対象物のみが撮影され、当該監視対象物を覆い隠す遮蔽物の写っていない基準画像を所定の記憶手段に格納する第１の処理、上記の基準画像よりも後に同一監視対象物について所定の時間間隔をおいて撮影された複数の元画像を、元画像記憶手段に蓄積する第２の処理、上記基準画像に含まれる画素と、上記元画像記憶手段に格納された最先の元画像に含まれる対応画素同士を比較し、両画素の値に予め設定された誤差幅以上の差異が存在する場合に、元画像側の画素を変更部として認定する第３の処理、上記元画像における変更部とそれ以外の非変更部とを二値化した二値画像を生成する第４の処理、上記変更部に対してラベリング処理を施し、複数の変更部が連結した変更領域を認識する第５の処理、上記変更領域の中で、予め設定された面積以下の変更領域を元画像の変更領域から除外する第６の処理、残された変更領域に係る画素群を元画像から切除し、上記基準画像における対応領域の画素群を元画像の切除領域に補充することにより、遮蔽物を取り除いた修正画像を生成する第７の処理、この修正画像を修正画像記憶手段に格納する第８の処理、この修正画像と次の元画像とを比較し、両画素の値に予め設定された誤差幅以上の差異が存在する場合に、元画像側の画素を変更部として認定する第９の処理、上記元画像における変更部とそれ以外の非変更部とを二値化した二値画像を生成する第１０の処理、上記変更部に対してラベリング処理を施し、複数の変更部が連結した変更領域を認識する第１１の処理、
上記変更領域の中で、予め設定された面積以下の変更領域を元画像の変更領域から除外する第１２の処理、残された変更領域に係る画素群を元画像から切除し、上記修正画像における対応領域の画素群を元画像の切除領域に補充することにより、遮蔽物を取り除いた修正画像を生成する第１３の処理、この修正画像を修正画像記憶手段に格納する第１４の処理を実行させる画像処理プログラムであって、さらに上記コンピュータに、上記第９の処理〜第１４の処理を必要回数繰り返させることを特徴としている。

また、請求項４に記載した画像処理プログラムは、請求項３のプログラムを前提とし、さらにコンピュータに、修正画像を抽出するための時間間隔を所定の記憶手段に登録する処理、上記修正画像記憶手段から上記時間間隔に該当する修正画像を抽出する処理、抽出した各修正画像を時系列に沿って配列すると共に、所定のファイル形式に変換することによって画像帳票を生成する処理、この画像帳票を所定の記憶手段に格納する処理を実行させることを特徴としている。

請求項５に記載の画像処理方法は、特定の監視対象物のみが撮影され、当該監視対象物を覆い隠す遮蔽物の写っていない基準画像を所定の記憶手段に格納する第１のステップと、上記の基準画像よりも後に同一監視対象物について所定の時間間隔をおいて撮影された複数の元画像を、元画像記憶手段に蓄積する第２のステップと、上記基準画像に含まれる画素と、上記元画像記憶手段に格納された最先の元画像に含まれる対応画素同士を比較し、両画素の値に予め設定された誤差幅以上の差異が存在する場合に、元画像側の画素を変更部として認定する第３のステップと、上記元画像における変更部とそれ以外の非変更部とを二値化した二値画像を生成する第４のステップと、上記変更部に対してラベリング処理を施し、複数の変更部が連結した変更領域を認識する第５のステップと、上記変更領域の中で、予め設定された面積以下の変更領域を元画像の変更領域から除外する第６のステップと、残された変更領域に係る画素群を元画像から切除し、上記基準画像における対応領域の画素群を元画像の切除領域に補充することにより、遮蔽物を取り除いた修正画像を生成する第７のステップと、この修正画像を修正画像記憶手段に格納する第８のステップと、この修正画像と次の元画像とを比較し、両画素の値に予め設定された誤差幅以上の差異が存在する場合に、元画像側の画素を変更部として認定する第９のステップと、上記元画像における変更部とそれ以外の非変更部とを二値化した二値画像を生成する第１０のステップと、上記変更部に対してラベリング処理を施し、複数の変更部が連結した変更領域を認識する第１１のステップと、上記変更領域の中で、予め設定された面積以下の変更領域を元画像の変更領域から除外する第１２のステップと、残された変更領域に係る画素群を元画像から切除し、上記修正画像における対応領域の画素群を元画像の切除領域に補充することにより、遮蔽物を取り除いた修正画像を生成する第１３のステップと、この修正画像を修正画像記憶手段に格納する第１４のステップを備え、上記第９のステップ〜第１４のステップを必要回数繰り返すことを特徴としている。

また、請求項６に記載した画像処理方法は、請求項５の方法を前提とし、さらに修正画像を抽出するための時間間隔を所定の記憶手段に登録するステップと、上記修正画像記憶手段から上記時間間隔に該当する修正画像を抽出するステップと、抽出した各修正画像を時系列に沿って配列すると共に、所定のファイル形式に変換することによって画像帳票を生成するステップと、この画像帳票を所定の記憶手段に格納するステップを備えたことを特徴としている。

この発明に係る画像処理システム、画像処理プログラム及び画像処理方法によれば、一定の時間間隔をおいて商品陳列棚を撮影した複数の元画像の中、まず最先の元画像が同一の商品陳列棚を撮影した遮蔽物の写っていない基準画像と画素単位で比較され、元画像側に変更ありと認定された場合には当該変更領域が基準画像における対応領域の画素群に置き換えられるため、元画像に写り込んだ人間等の遮蔽物が有効に除去され、商品陳列棚の様子を表示する修正画像が得られる。
また、次の元画像は一つ前の修正画像と画素単位で比較され、元画像側に変更ありと認定された場合には当該変更領域が修正画像における対応領域の画素群に置き換えられるため、やはり元画像に写り込んだ人間等の遮蔽物が有効に除去され、商品陳列棚の様子を表示する修正画像が得られる。
このような元画像に写り込んだ遮蔽物の置き換え処理は、元画像記憶手段内の元画像に対して順番に繰り返し実施されるため、最終的には遮蔽物の除去された修正画像列が形成される。
しかも、基準画像あるいは一つ前の修正画像に対する変更領域を即「遮蔽物」と認定するのではなく、所定以上の面積を備えた変更領域のみを遮蔽物と認定する方式であるため、この面積設定を適切に行うことにより、商品が売れたことによる変更部分についてまで変更前の画素に置き換えられてしまうことがなく、したがって肝心な商品の動き自体は正確に再現可能となる。

上記のように、この発明の実施によって得られた複数の修正画像には商品陳列棚を覆い隠す遮蔽物が写っていないため、監視者は時系列に沿って配置された各修正画像を概観することにより、特定店舗におけるフェイスアップの状況を短時間に把握することが可能となる。
特に、多数の修正画像の中から予め設定した時間間隔に合致するものをサンプル的に抽出した画像帳票を利用することにより、フェイスアップの状況をより簡便に把握することが可能となる。

図１は、この発明に係る画像処理システム10の全体構成を示す概念図であり、センターサーバ12と、各コンビニ店舗14の天井付近に設置されたネットワークカメラ16と、コンビニ本部等のユーザが管理するPC等の通信端末18と、センターサーバ12にLAN接続されたPC等の操作端末20とを備えている。
ネットワークカメラ16は、CCDやCMOS等の撮像素子と、ネットワーク接続用のインターフェイスを備えており、コンビニ店舗14内のブロードバンド回線に接続することにより、インターネット22経由で商品陳列棚23を斜め上方から撮影した画像をセンターサーバ12に転送する機能を備えている。
また、センターサーバ12と通信端末18との間も、インターネット22を介してネットワーク接続されている。

図２は、センターサーバ12の機能構成を示すブロック図であり、元画像登録部24と、元画像記憶部26と、設定処理部28と、設定情報記憶部30と、画像加工部32と、加工画像記憶部34と、報告データ生成部35と、報告データ記憶部36と、報告データ送信部37とを備えている。
上記元画像登録部24、設定処理部28、画像加工部32、報告データ生成部35、及び報告データ送信部37は、センターサーバ12のCPUがOSや専用のアプリケーションプログラム等に従い、必要な処理を実行することによって実現される。
また、上記元画像記憶部26、設定情報記憶部30、加工画像記憶部34、及び報告データ記憶部36は、センターサーバ12のハードディスク内に設けられている。

このシステム10を用いて画像帳票を生成するためには、事前にネットワークカメラ16毎に基本設定を行う必要がある。
以下、図３のフローチャートに従い、この基本設定の手順について説明する。
まず、操作端末20のオペレータは、マウスやキーボード等の入力装置38を操作し、設定処理部28に対して基本設定のリクエストを送信する。
これを受けた設定処理部28からはネットワークカメラ選択用の画面が送信され（Ｓ10）、操作端末20のディスプレイ40に表示される（図示省略）。
この画面においてオペレータが特定の店舗内に設置されたネットワークカメラ16を選択すると、設定処理部28は当該ネットワークカメラ用の設定フォームを生成し、ディスプレイ40に表示させる（Ｓ12）。

図４は、この設定フォーム42を示すものであり、「探索領域設定」及び「画像帳票の粒度設定」のタブを備えている。
ここでオペレータが探索領域設定タブをクリックすると、探索領域設定画面43が表示される（Ｓ14）。
この探索領域設定画面43には、設定処理部28が元画像記憶部26から抽出した、当該ネットワークカメラ16が監視対象としている商品陳列棚23の画像が表示されている。

この画像に対しオペレータは、４つのポイントを指定することにより、後述の画像処理を実施する領域の画定を行う。具体的には、開始ボタン44をクリックした後、マウスポインタを陳列棚23の四隅に合わせて順次クリックすることにより、設定処理部28によって４点を結んだ長方形状の探索領域設定枠45が画像上に表示される(S16)。
これに対しオペレータが決定ボタン46をクリックすると、枠内に含まれる画素が後述の画像処理の対象領域として認定され、設定処理部28はその画素範囲をネットワークカメラ16のIDに関連付けて設定情報記憶部30に登録する（Ｓ18）。
このように、画像の一部分を画像処理の対象となる探索領域として予め設定しておくことにより、後続の画像処理において領域外の画素を除外することが可能となり、その分演算量を低減することが可能となる。
図４においては、清涼飲料水のペットボトルが陳列された棚の他に、カップデザートの陳列された棚も探索領域として設定した例が示されているが、より狭い範囲を探索領域として設定することも可能である。

探索領域の設定を終えたオペレータが画像帳票の粒度設定タブをクリックすると、図５に示すように、画像抽出の間隔を設定するための粒度設定画面54がディスプレイ40に表示される（Ｓ26）。
これに対しオペレータは、より粒度の高い画像帳票が必要な場合には「１時間おき」のラジオボタンにチェックを入れ、比較的ラフな画像帳票で十分な場合には「５時間おき」のラジオボタンにチェックを入れる。
オペレータが特定の粒度（時間間隔）を選択すると、設定処理部28により、生成される画像帳票のイメージが画像帳票のサンプル欄に表示される。ここでは、「２時間おき」に粒度が設定されているため、00：00から２時間おきに12枚／日の画像が抽出される様子が表示されている。
この画像帳票のサンプルを見て納得したオペレータは、決定ボタン55をクリックする。
これを受けた設定処理部28は、当該粒度の設定情報をネットワークカメラ16のIDに関連付けて設定情報記憶部30に登録する（Ｓ28）。

以上のようにしてネットワークカメラ16に関する基本設定が完了すると、システム10は各ネットワークカメラ16から定期的に送信される画像ファイルを蓄積し、所定のタイミングで各画像の修正処理及び画像帳票の生成処理を実行する。
以下、図６及び図７のフローチャートに従い、画像修正及び画像帳票の生成手順について説明する。
まず、各ネットワークカメラ16からは所定のタイミング、例えば１分毎に１枚の割合で商品陳列棚23の画像ファイルが送信され、これを受け付けた元画像登録部24は、各画像ファイルをネットワークカメラ16のID及び日時情報に関連付けて元画像記憶部26に順次格納する（Ｓ30）。
そして、一定の期間（例えば24時間）が経過した後に（Ｓ32）、画像加工部32によってそれまでに蓄積された画像ファイルに対し必要な修正処理が施され、画像帳票が生成される。

まず画像加工部32は設定情報記憶部30を参照し、当該ネットワークカメラ16に関連付けられた設定情報（探索領域情報及び画像帳票の粒度情報）を取得する（Ｓ34）。
つぎに画像加工部32は、図８の(a)及び(b)に示すように、ネットワークカメラ16から送信された先頭フレーム画像60（例えば、１日の始まりである00：00の画像）の探索領域と、基準画像αの探索領域とを画素単位で比較する（Ｓ36）。
ここで「基準画像」とは、該当店舗の該当日における商品陳列棚23の画像であって、さらに人間やカートなど監視対象を覆い隠す遮蔽物が写り込んでいない状態の画像を意味する。

そして、両画像の探索領域に属する対応画素間のRGB値が所定の程度（例えば10％以上）相違している場合、画像加工部32は「相関が低いため先頭フレーム画像60側の画素について変更あり」と認定し、当該変更の生じた画素の座標を変更部としてメモリに記述する（Ｓ38）。
図８(b)の先頭フレーム画像60の場合、ペットボトル１本が棚段から取り去られた点と、一人の男性客の上半身が写り込んでいる点に相違があり、そこに含まれる画素が変更部としてメモリ上に記録される。
これに対し、両画素間のRGB値の差異が所定の程度内（例えば10％未満）である場合、画像加工部32は「相関が高いため先頭フレーム画像60側の画素について変更なし」と認定する。
このように、両画素間の異同を判定するに際し所定の誤差幅を設定しておくことにより、店舗内の照度の変化といった外乱要素によって判定結果が左右されることを有効に防止可能となる。

つぎに画像加工部32は、同図(c)に示すように、上記の変更部の画素を白、それ以外の非変更部の画素を黒で表現した二値画像62を生成する（Ｓ40）。
つぎに画像加工部32は、上記の二値画像62に対して膨張・収縮処理を複数回実施し、余計なノイズを除去する（Ｓ42）。
つぎに画像加工部32は、上記の二値画像62における変更部に対してラベリング処理を施し、相互に連続している複数の画素からなる変更領域を認識する（Ｓ43）。ここで「ラベリング処理」とは、つながっているすべての画素（連結成分）に同じラベル（番号）を付与し、異なった連結成分には異なった番号を付与する処理を指す。
つぎに画像加工部32は、予め設定された面積（画素数）以下の変更領域を商品が取り去られたことによる変更領域と認定し、(c)の二値画像62から除外する（Ｓ44）。
この結果、同図(d)に示すように、遮蔽物（この場合、男性客の上半身）の介在による変更領域のみを白表示する二値画像64が生成される。

つぎに画像加工部32は、同図(e)に示すように、上記の遮蔽物の介在による変更領域に係る画素群を先頭フレーム画像60から切除する（Ｓ46）と共に、基準画像αにおける対応領域の画素群65を切除部分66にコピーする（Ｓ48）。
この結果、同図(f)に示すように、遮蔽物（男性客の上半身）を除去した修正画像68が生成される。この修正画像68においては、ペットボトル１本が棚段から取り去られたことによる変更部Ｘはそのまま再現されている。
画像加工部32は、この修正画像68をネットワークカメラ16のID及び日時情報と関連付けて加工画像記憶部34に格納する（Ｓ50）。

つぎに画像加工部32は、上記において生成された修正画像68と、つぎのフレームの元画像とを比較し（Ｓ52）、Ｓ54〜Ｓ64においてＳ38〜Ｓ46と同等の処理を実行することにより、遮蔽物を取り除いた新たな修正画像を生成し（Ｓ66）、加工画像記憶部34に登録する（Ｓ68）。
以後、画像加工部32は最後の画像フレームに到達するまで上記の処理を繰り返し（Ｓ70）、送信された画像にする遮蔽物除去の修正処理を実行する。

つぎに報告データ生成部35は、予め設定された粒度にしたがい、加工画像記憶部34から必要時刻の修正画像を抽出する（Ｓ72）。
つぎに報告データ生成部35は、これらを時刻順に配列させると共に、PDF等の汎用のファイル形式に変換することによって画像帳票を生成し、報告データ記憶部36に登録する（Ｓ74）。

この画像帳票は、例えば以下の要領でユーザの通信端末18に送信される（Ｓ76）。
(1)１日１回、ユーザが通信端末18のWebブラウザから所定のURLにアクセスし、画像帳票の配信を求める。
(2)これを受けた報告データ送信部37が、当該ユーザ宛の画像帳票一覧ページを生成し、通信端末18に送信する。
(3)ユーザが同ページ中で最新日付の画像帳票をクリックしてダウンロードを求めると、報告データ送信部37から該当の画像帳票が送信され、通信端末18のハードディスクに格納される。

図９は、粒度が「２時間おき」に設定された画像帳票70を示すものであり、00：00〜22：00までの合計12枚の修正画像が撮影時刻情報と共に配列されている。
この画像帳票70を閲覧することにより、ユーザは以下の点を素早く認識することができる。
(1)午前６時、正午、午後８時の各時点で商品がかなり疎らになっているが、２時間後には残った商品が商品陳列棚の中央部に寄せられ、フェイスアップ作業が実行されている。
(2)午前０時、午前10時、午後４時の各時点では商品の補充がなされ、隙間のない初期状態をほぼ回復している。

この画像帳票70を眺めることにより、ユーザは特定店舗における前日のフェイスアップ状況を概観でき、問題のない店舗についてはそれ以上の手間暇をかけることを省略できる。
これに対し、フェイスアップ作業が滞り勝ちな店舗についてはより細かい分析を行い、問題点を個別に指摘することとなる。この際、ユーザはセンターサーバ12に対して当該店舗のネットワークカメラ16に関連付けられた全元画像及び全修正画像の配信を要求し、報告データ生成部35及び報告データ送信部37を介して送信されたこれらの画像について逐一検討を加えることもできる。

上記の基準画像αとして、例えば監視サイクルの開始直前（11：59）の画像を用いる。このためには、店舗側で同時刻には商品陳列棚23の前に人間が立ち入らないように規制する必要がある。
あるいは、センターサーバ12のオペレータが、元画像記憶部26内に格納された画像の中から、各店舗の基準画像を毎日選定し、基準画像を特定する情報をネットワークカメラのIDに関連付けて元画像記憶部26に格納するように運用することもできる。

このシステム10の場合、上記のように１分おきに商品陳列棚23の画像ファイルがネットワークカメラ16からセンターサーバ12に送信され、各画像は基準画像あるいは一つ前の修正画像と比較して変更領域の検出及びその置き換えが順次実行される方式であるため、商品陳列棚23とネットワークカメラ16との間に頻繁に遮蔽物が介在するような環境下であっても、出発点となる基準画像さえ用意できれば遮蔽物を除去した修正画像を生成することができる。
しかも、基準画像あるいは前フレームの修正画像との変更領域を即「遮蔽物」と認定するのではなく、所定以上の面積を備えた変更領域のみを遮蔽物と認定する方式であるため、商品が売れたことによる変更部分についてまで変更前の画素に置き換えられてしまうことがなく、したがって肝心な商品の動き自体は正確に捕捉可能となる。

ユーザがより正確な画像帳票の生成を希望する場合には、１分よりも短い間隔、例えば10秒毎にネットワークカメラ16から画像の配信を受け、これらに対し遮蔽物を除去する修正処理を施すようにすることもできる。
あるいは、ネットワークカメラ16から動画の配信を受け、元画像登録部24においてこの動画の中から適当な間隔で静止画を抽出し、元画像記憶部26に登録するようにシステム10を構成することもできる。

なお、この発明はコンビニ店舗等における商品陳列棚のフェイスアップ状況を効率的に監視することが出発点であったため、上記においてもこれを中心に説明したが、この発明はこの目的に限定されるものではない。
すなわち、固定された監視対象物とデジタルカメラとの間に人間や自動車などの移動性遮蔽物が絶えず行き交う環境下において、邪魔な遮蔽物を除去した修正画像を所定の時間間隔で連続的に生成し、かつ監視対象物上における特定の変化については忠実に再現したいという目的に対し広く応用可能である。

画像処理システムの全体構成を示す概念図である。センターサーバの機能構成を示すブロック図である。基本設定の処理手順を示すフローチャートである。設定フォームにおける探索領域設定画面を示すレイアウト図である。設定フォームにおける画像帳票の粒度設定画面を示すレイアウト図である。画像帳票の生成手順を示すフローチャートである。画像帳票の生成手順を示すフローチャートである。修正画像生成の過程を示すイメージ図である。画像帳票の一例を示すレイアウト図である。

符号の説明

10 画像処理システム
12 センターサーバ
14 コンビニ店舗
16 ネットワークカメラ
18 通信端末
20 操作端末
22 インターネット
23 商品陳列棚
24 元画像登録部
26 元画像記憶部
28 設定処理部
30 設定情報記憶部
32 画像加工部
34 加工画像記憶部
35 報告データ生成部
36 報告データ記憶部
37 報告データ送信部
38 入力装置
40 ディスプレイ
42 設定フォーム
43 探索領域設定画面
44 開始ボタン
45 探索領域設定枠
46 決定ボタン
54 粒度設定画面
55 決定ボタン
60 先頭フレーム画像
62 変更領域を白表示する二値画像
64 遮蔽物の介在による変更領域のみを白表示する二値画像
65 基準画像における対応領域の画素群
66 切除部分
68 修正画像
70 画像帳票
α 基準画像

Claims

特定の監視対象物のみが撮影され、当該監視対象物を覆い隠す遮蔽物の写っていない基準画像を所定の記憶手段に格納する第１の処理と、
上記の基準画像よりも後に同一監視対象物について所定の時間間隔をおいて撮影された複数の元画像を、元画像記憶手段に蓄積する第２の処理と、
上記基準画像に含まれる画素と、上記元画像記憶手段に格納された最先の元画像に含まれる対応画素同士を比較し、両画素の値に予め設定された誤差幅以上の差異が存在する場合に、元画像側の画素を変更部として認定する第３の処理と、
上記元画像における変更部とそれ以外の非変更部とを二値化した二値画像を生成する第４の処理と、
上記変更部に対してラベリング処理を施し、複数の変更部が連結した変更領域を認識する第５の処理と、
上記変更領域の中で、予め設定された面積以下の変更領域を元画像の変更領域から除外する第６の処理と、
残された変更領域に係る画素群を元画像から切除し、上記基準画像における対応領域の画素群を元画像の切除領域に補充することにより、遮蔽物を取り除いた修正画像を生成する第７の処理と、
この修正画像を修正画像記憶手段に格納する第８の処理と、
この修正画像と次の元画像とを比較し、両画素の値に予め設定された誤差幅以上の差異が存在する場合に、元画像側の画素を変更部として認定する第９の処理と、
上記元画像における変更部とそれ以外の非変更部とを二値化した二値画像を生成する第１０の処理と、
上記変更部に対してラベリング処理を施し、複数の変更部が連結した変更領域を認識する第１１の処理と、
上記変更領域の中で、予め設定された面積以下の変更領域を元画像の変更領域から除外する第１２の処理と、
残された変更領域に係る画素群を元画像から切除し、上記修正画像における対応領域の画素群を元画像の切除領域に補充することにより、遮蔽物を取り除いた修正画像を生成する第１３の処理と、
この修正画像を修正画像記憶手段に格納する第１４の処理を実行する画像処理システムであって、
上記第９の処理〜第１４の処理を必要回数繰り返すことを特徴とする画像処理システム。
修正画像を抽出するための時間間隔を所定の記憶手段に登録する処理と、
上記修正画像記憶手段から上記時間間隔に該当する修正画像を抽出する処理と、
抽出した各修正画像を時系列に沿って配列すると共に、所定のファイル形式に変換することによって画像帳票を生成する処理と、
この画像帳票を所定の記憶手段に格納する処理を実行することを特徴とする請求項１に記載の画像処理システム。
コンピュータに、
特定の監視対象物のみが撮影され、当該監視対象物を覆い隠す遮蔽物の写っていない基準画像を所定の記憶手段に格納する第１の処理、
上記の基準画像よりも後に同一監視対象物について所定の時間間隔をおいて撮影された複数の元画像を、元画像記憶手段に蓄積する第２の処理、
上記基準画像に含まれる画素と、上記元画像記憶手段に格納された最先の元画像に含まれる対応画素同士を比較し、両画素の値に予め設定された誤差幅以上の差異が存在する場合に、元画像側の画素を変更部として認定する第３の処理、
上記元画像における変更部とそれ以外の非変更部とを二値化した二値画像を生成する第４の処理、
上記変更部に対してラベリング処理を施し、複数の変更部が連結した変更領域を認識する第５の処理、
上記変更領域の中で、予め設定された面積以下の変更領域を元画像の変更領域から除外する第６の処理、
残された変更領域に係る画素群を元画像から切除し、上記基準画像における対応領域の画素群を元画像の切除領域に補充することにより、遮蔽物を取り除いた修正画像を生成する第７の処理、
この修正画像を修正画像記憶手段に格納する第８の処理、
この修正画像と次の元画像とを比較し、両画素の値に予め設定された誤差幅以上の差異が存在する場合に、元画像側の画素を変更部として認定する第９の処理、
上記元画像における変更部とそれ以外の非変更部とを二値化した二値画像を生成する第１０の処理、
上記変更部に対してラベリング処理を施し、複数の変更部が連結した変更領域を認識する第１１の処理、
上記変更領域の中で、予め設定された面積以下の変更領域を元画像の変更領域から除外する第１２の処理、
残された変更領域に係る画素群を元画像から切除し、上記修正画像における対応領域の画素群を元画像の切除領域に補充することにより、遮蔽物を取り除いた修正画像を生成する第１３の処理、
この修正画像を修正画像記憶手段に格納する第１４の処理を実行させる画像処理プログラムであって、
さらに上記コンピュータに、上記第９の処理〜第１４の処理を必要回数繰り返させることを特徴とする画像処理プログラム。
コンピュータに、
修正画像を抽出するための時間間隔を所定の記憶手段に登録する処理、
上記修正画像記憶手段から上記時間間隔に該当する修正画像を抽出する処理、
抽出した各修正画像を時系列に沿って配列すると共に、所定のファイル形式に変換することによって画像帳票を生成する処理、
この画像帳票を所定の記憶手段に格納する処理を実行させることを特徴とする請求項３に記載の画像処理プログラム。
特定の監視対象物のみが撮影され、当該監視対象物を覆い隠す遮蔽物の写っていない基準画像を所定の記憶手段に格納する第１のステップと、
上記の基準画像よりも後に同一監視対象物について所定の時間間隔をおいて撮影された複数の元画像を、元画像記憶手段に蓄積する第２のステップと、
上記基準画像に含まれる画素と、上記元画像記憶手段に格納された最先の元画像に含まれる対応画素同士を比較し、両画素の値に予め設定された誤差幅以上の差異が存在する場合に、元画像側の画素を変更部として認定する第３のステップと、
上記元画像における変更部とそれ以外の非変更部とを二値化した二値画像を生成する第４のステップと、
上記変更部に対してラベリング処理を施し、複数の変更部が連結した変更領域を認識する第５のステップと、
上記変更領域の中で、予め設定された面積以下の変更領域を元画像の変更領域から除外する第６のステップと、
残された変更領域に係る画素群を元画像から切除し、上記基準画像における対応領域の画素群を元画像の切除領域に補充することにより、遮蔽物を取り除いた修正画像を生成する第７のステップと、
この修正画像を修正画像記憶手段に格納する第８のステップと、
この修正画像と次の元画像とを比較し、両画素の値に予め設定された誤差幅以上の差異が存在する場合に、元画像側の画素を変更部として認定する第９のステップと、
上記元画像における変更部とそれ以外の非変更部とを二値化した二値画像を生成する第１０のステップと、
上記変更部に対してラベリング処理を施し、複数の変更部が連結した変更領域を認識する第１１のステップと、
上記変更領域の中で、予め設定された面積以下の変更領域を元画像の変更領域から除外する第１２のステップと、
残された変更領域に係る画素群を元画像から切除し、上記修正画像における対応領域の画素群を元画像の切除領域に補充することにより、遮蔽物を取り除いた修正画像を生成する第１３のステップと、
この修正画像を修正画像記憶手段に格納する第１４のステップを備え、
上記第９のステップ〜第１４のステップを必要回数繰り返すことを特徴とする画像処理方法。
修正画像を抽出するための時間間隔を所定の記憶手段に登録するステップと、
上記修正画像記憶手段から上記時間間隔に該当する修正画像を抽出するステップと、
抽出した各修正画像を時系列に沿って配列すると共に、所定のファイル形式に変換することによって画像帳票を生成するステップと、
この画像帳票を所定の記憶手段に格納するステップを備えたことを特徴とする請求項５に記載の画像処理方法。