JP4959736B2

JP4959736B2 - 画像処理装置および背景画像検知処理プログラム

Info

Publication number: JP4959736B2
Application number: JP2009046885A
Authority: JP
Inventors: 亮和田
Original assignee: Toshiba Teli Corp
Current assignee: Toshiba Teli Corp
Priority date: 2009-02-27
Filing date: 2009-02-27
Publication date: 2012-06-27
Anticipated expiration: 2029-02-27
Also published as: JP2010206286A

Description

本発明は、カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から停止物を検知する停止物検知処理手段を備えた画像処理装置および停止物検知処理機能を実現する背景画像検知処理プログラムに関する。

単眼カメラ（一つのカメラ）で撮影した時系列の複数の画像から変化画素を含む矩形の領域を抽出する領域抽出処理機能を有する画像処理装置において、現在画像と過去画像から停止物を検知する停止物検知処理機能を付加することにより、停止物と動物体の区別を実施し、画面上に表示することが可能となる。また停止物が存在する状態を外部装置に対し通知することが可能となる。この停止物検知処理機能を実現する停止物検知機能ロジックの開発において、平均画像を入力として差分処理を実施する実験を試みたが、動物体が画面内に存在する場合、平均画像はその動物体の輝度の影響を受け、動物体の平均輝度が平均画像に混入されるため、その影響で、停止していない対象も停止物として検知してしまうという結果に至った。この種の画像処理技術として、従来では、背景輝度画像と現在の輝度画像から輝度差分画像を生成し、その輝度差分画像から物体領域を抽出する物体領域抽出手段を備えた物体検出装置（特許文献１）、背景輝度画像と現在の輝度画像から輝度差分画像を生成し、その輝度差分画像から物体領域を抽出する物体領域抽出手段を備えた監視装置（特許文献２）、入力画像のうち、所定期間変化しない画像を背景画像として設定する背景画像設定手段と、設定された背景画像及び順次入力される入力画像を比較演算して差分画像を出力する差分演算手段と、差分画像を所定の閾値に基づいて２値化し、移動部分抽出画像を得る画像抽出手段とを備えた画像処理装置（特許文献３）などが存在した。

特開２００７−３００５３１号公報特開２００５−１４３０５２号公報特開２０００−２８５２４４号公報

上述したように、入力した現在画像と過去画像から停止物を検知する停止物検知処理手段を備えた画像処理装置を構築する際、動物体の影響により停止していない対象も停止物として検知してしまうという問題があった。

本発明は上記問題を解消して、動物体が画面内に存在する撮影環境に影響されることなく、常に安定した背景画像の検知を可能にし、これにより停止物の検知性能をより向上できる画像処理装置および背景画像検知処理プログラムを提供することを目的とする。

本発明は、カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から停止物を検知する画像処理装置において、前記入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値と標準偏差を算出し、この算出で得た前記標準偏差若しくは輝度平均値をもとに、前記一定期間内の数十枚（ｋ）の画像の対応する画素を対象に、一定の輝度変動範囲に収まる複数の画素を特定し、その特定した複数の画素の平均輝度を算出して背景輝度として登録すると共に、前記特定した画素の平均輝度を用いて背景画像を作成する背景画像作成手段と、前記背景画像作成手段により登録された最新の登録背景輝度と現在の背景画像輝度との差分処理により停止物と見做した背景変化画素を抽出する停止物画素抽出手段と、前記停止物画素抽出手段で抽出した前記停止物と見做した背景変化画素を領域化する領域化処理手段と、前記領域化処理手段で領域化された前記停止物と見做した背景変化画素の領域を追跡処理する追跡処理手段と、
を具備したことを特徴とする。

また、本発明は、カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から停止物を検知する画像処理装置としてコンピュータを機能させるための背景画像検知処理プログラムであって、前記入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値と標準偏差を算出し、この算出で得た前記標準偏差若しくは輝度平均値をもとに、前記一定期間内の数十枚の画像の対応する画素を対象に、一定の輝度変動範囲に収まる複数の画素を特定し、その特定した複数の画素の平均輝度を算出して背景輝度として登録すると共に、前記特定した画素の平均輝度を用いて背景画像を作成する機能と、前記登録された最新の登録背景輝度と現在の背景画像輝度との差分処理により停止物と見做した背景変化画素を抽出する機能と、前記停止物と見做した背景変化画素を領域化する機能と、前記領域化された前記停止物と見做した背景変化画素の領域を追跡処理する機能と、を前記コンピュータに実現させることを特徴とする。

本発明によれば、動物体が画面内に存在する撮影環境に影響されることなく、常に安定した背景画像の検知を可能にし、これにより停止物の検知性能をより向上できる。

本発明の実施形態に係る画像処理装置の構成を示すブロック図。上記実施形態に係る画像処理装置の背景画像作成用バッファ構成を示す図。上記実施形態に係る画像処理装置の背景画像作成処理部の機能ブロック図。上記実施形態に係る画像処理装置の背景画像作成処理部の動作概念を示す図。上記実施形態に係る画像処理装置の停止物検知処理の手順を示すフローチャート。上記実施形態に係る画像処理装置の背景画像作成処理の手順を示すフローチャート。上記実施形態に係る画像処理装置の背景画像更新処理の手順を示すフローチャート。上記実施形態に係る画像処理装置の背景画像更新処理の手順を示すフローチャート。上記実施形態に係る画像処理装置の背景画像更新処理における背景画素更新処理の手順を示すフローチャート。上記実施形態に係る画像処理装置の背景画像更新処理における背景画素更新処理の手順を示すフローチャート。上記実施形態に係る画像処理装置の第１の停止物検知処理手段を説明するための差分処理イメージ図。上記実施形態に係る画像処理装置の第１の停止物検知処理手段を説明するための差分画素処理ロジックの説明図。上記実施形態に係る画像処理装置の第１の停止物検知処理手段を説明するための処理手順を示すフローチャート。上記実施形態に係る画像処理装置の第２の停止物検知処理手段を説明するための差分処理イメージ図。上記実施形態に係る画像処理装置の第２の停止物検知処理手段を説明するための抽出処理ロジックの説明図。上記実施形態に係る画像処理装置の第３の停止物検知処理手段を説明するための差分処理イメージ図。上記実施形態に係る画像処理装置の第３の停止物検知処理手段を説明するための抽出論理ロジックを示す図。上記実施形態に係る画像処理装置の第４の停止物検知処理手段を説明するための差分処理イメージ図。上記実施形態に係る画像処理装置の第４の停止物検知処理手段を説明するための抽出論理ロジックの説明図。

以下図面を参照して本発明の実施形態を説明する。
本発明は、カメラで撮影した時系列の複数の画像から、変化画素を含む領域を抽出する動物体の検知機能（短期的な画面上の動きを検知する機能）に対して、長時間に亘り静止している停止物の検知機能（変動のない画素（背景）の変化を検知する機能）を実現している。

本発明は、動きの多い画像の画素は輝度値のバラツキ（分散）が大きく、動きのない画像の画素は輝度値のバラツキが小さく低輝度の狭い輝度範囲内に安定して収まっていることに着目し、入力した一定期間内の複数の画像を対象に、画素あたりの輝度分散値と標準偏差を算出し、この輝度分散値または標準偏差を閾値に利用して、輝度値の分散が大きいところの画素は棄て、低輝度の狭い輝度範囲内に安定して収まっている画素のみを背景画素と見做し抽出して画素集合による背景画像を作成している。

本発明に係る停止物検知機能の概要概念は、画面変動のない画素＝背景画素と定義し、背景画素の平均画像と最新背景画素との差分をとり、背景変化画素を抽出する機能である。具体例を挙げると、画面の一部の背景画素集合の変化を捉えることで停止物を検知することにより、画面の大部分で背景変化が発生した場合は、画角ズレ等の監視環境変化が発生したことを検知することが可能となる。また、変動のない画素＝背景画素と判断し、背景画素の輝度値を登録して背景画像を作成する。作成した背景画像と現在背景と思われる最新輝度との差分を実施し、背景変化画素の抽出を行う。抽出した背景変化画素は、動物体の検知と同様に、領域化処理を実施し、動物体追跡機能を利用して追跡を可能とする。必要に応じて本機能に必要な設定値は、外部パラメータにより変更可能とする。この停止物検知機能により、停止物と動物体の区別を実施し、画面上に表示することが可能となる。また停止物の存在時に外部装置に対し通知することが可能となる。

本発明の実施形態に係る画像処理装置全体の構成を図１に示す。なお、この実施形態では、カメラ（単眼カメラ）から取り込んだ１フレーム（１画面）分の画像データを、単に画像若しくは画面上の画像若しくは一画面分の画像と称している。

本発明の実施形態に係る画像処理装置は、図１に示すように、カメラ１１と、キャプチャ部１２と、画像処理部１３と、表示部１９とを具備して構成される。

カメラ１１は、レンズユニットとレンズユニットの結像位置に設けられた撮像素子（例えばＣＣＤ固体撮像素子、若しくはＣＭＯＳイメージセンサ）とを具備して、屋外若しくは屋内の動きを伴う被写体（動物体）を対象に、撮像した一画面分の画像を所定の画素単位（例えば１フレーム３２０×２４０画素＝ＱＶＧＡ）で出力する。

キャプチャ部１２は、カメラ１１が撮像したフレーム単位の画像を画像処理部１３の処理対象画像（入力画像）として取り込み、後述する背景画像作成用バッファ（背景画像処理用バッファ）１５に保持する処理機能をもつ。

画像処理部１３は、背景画像作成処理部１４と、背景画像作成用バッファ１５と、停止物画素抽出処理部１６と、領域化処理部１７と、追跡処理部１８とを具備して構成される。

背景画像作成処理部１４は、背景画像作成用バッファ１５をリード（Ｒ）、ライト（Ｗ）アクセスして、背景画像作成用バッファ１５に格納された各種の情報をもとに、キャプチャ１２より入力した時系列の複数の画像から画素毎の標準偏差を求める自動閾値処理の結果（輝度分散値または標準偏差）を利用して、輝度値の変動の無い画素を特定し、その画素の平均輝度を利用して背景画像を作成する。背景画像は、最新背景輝度と差分処理を実施して背景変化画素の抽出に利用される。

背景画像作成処理部１４は、カメラ１１で撮影した画像をキャプチャ部１２を介して順次入力し、入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、上記一定期間内の複数の画像の対応する画素を対象に、一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する。作成された背景画像は、入力された現画像との画素毎の差分処理により背景変化画素を抽出し背景画像の更新が行われる。この背景画像作成処理部１４の処理については図面（図３および図４と図６乃至図１０）を参照して後述する。

背景画像作成用バッファ１５は背景画像作成処理部１４の背景画像作成処理に供される各種の記憶領域を提供する作業用のバッファであり、代表的な背景画像作成用のバッファ構造を図２に示している。この背景画像作成用バッファ１５には、背景輝度総和（ΣＢｉ）を貯えるバッファ１５１、複数の背景画素の平均輝度である背景輝度（Ａｖｅ＿Ｂｉ）を貯えるバッファ１５２、３０画面分の画像の背景画像＝背景輝度（Ｂ０〜Ｂ２９）画素単位で貯えるバッファ１５３、背景輝度バッファ番号（ＢｕｆＮｕｍ）を画素毎に貯えるバッファ１５４、背景輝度登録数（ＥｎｔｒｙＮｕｍ）を画素毎に貯えるバッファ１５５、背景輝度登録フレームカウンタ情報（ＥｎｔｒｙＦｒｍＣｔｒ）を画素毎に貯えるバッファ１５６等の各領域が設けられる。さらに、背景画像作成用バッファ１５には、キャプチャ部１２から入力された１画面単位の画像データ（カラー）を貯える画像バッファメモリ、作成した背景画像を貯える背景画像バッファメモリ、背景画像作成用のデータを貯えるバッファ（図３に示す符号２１，２６，２７参照）の各領域を含む、入出力データ、演算途中の各種データ、内部パラメータ等を貯える領域、外部パラメータを貯える領域等が設けられる。

本発明の実施形態では複数枚の背景画素（平均輝度）の平均輝度を背景輝度として算出し利用するものとする（画素によって背景輝度の更新タイミングが異なるようになる）。これにより算出された背景輝度（平均輝度）（Ａｖｅ＿Ｂｉ）と、算出対象の背景輝度総和（ΣＢｉ）に加え、画素によって背景更新タイミングが異なることから、例えば３０個分の背景輝度（Ｂ０〜２９）を貯えるためのバッファ（３０枚）１５３と、バッファ１５３に登録する位置を示す背景輝度バッファ番号を貯えるバッファ１５４、バッファ１５３に登録した背景輝度登録数（最大２９）を貯えるバッファ１５５、バッファ１５３に登録した最新の背景輝度のフレームを示す背景輝度登録フレームカウンタ情報（フレームカウント値）を貯えるバッファ１５６をそれぞれ準備する。

この背景輝度（Ｂ０〜２９）を貯えるためのバッファ１５３には、背景画像作成処理部１４で抽出処理した輝度の安定画素の背景輝度がバッファ１５４で示すバッファ番号、バッファ１５６で示すフレームカウンタ情報等の指定に従い１画素単位で登録され、画素集合による背景画像が生成される。

図１に示す画像処理部１３において、停止物画素抽出処理部１６は、背景画像作成処理部１４で作成した、低輝度の安定画素の集合による背景画像を利用して停止物（停止物と見做した画素）の検知処理を実施する。この停止物の検知処理については図面（図５と図１１乃至図１９）を参照して後述する。

領域化処理部１７は、停止物画素抽出処理部１６で処理した、停止物と見做した画素をもとに停止物の領域化処理を実施する。

追跡処理部１８は、領域化処理部１７で領域化された停止物の領域を追跡する追跡処理を実施する。この領域化処理部１７および追跡処理部１８は既知の技術により構築可能であることから、ここでは、その説明を省略する。

背景画像作成処理部１４の機能ブロックを図３に示している。背景画像作成処理部１４は、キャプチャ部１２から入力した画像を貯える画像バッファメモリ２１と、標準偏差を用いた自動閾値算出機能をもつ変動画素抽出部２２と、背景画素の更新処理を実施する背景画像更新部２３と、背景画像更新部２３の更新処理を制御する背景画像更新管理部２４と、間隔の開いた背景画像を画素単位でリフレッシュ処理する背景画像リフレッシュ部２５と、背景画像作成時のデータを一時貯えるバッファ２６と、作成した背景画像を貯える背景画像バッファメモリ２７とを具備して構成される。画像バッファメモリ２１、背景画像作成用データバッファ２６、背景画像バッファメモリ２７等は図１に示す背景画像作成用バッファ１５に置かれる。変動画素抽出部２２には、輝度の安定画素を抽出するための最低閾値（上下限値）、利用フレーム数等が外部パラメータとして入力される。

変動画素抽出部２２は、画像バッファメモリ２１から複数画面分の画像をリード（Ｒ）して、画素毎に、輝度平均、輝度分散、標準偏差の各値を算出する。背景画像更新管理部２４は、バッファ１５６で示す現在フレームカウンタ情報に基づき、画素単位で、前回更新からの経過時間をチェックし、長時間にわたり更新されずに残っている背景画素について、背景画像リフレッシュ部２５にリフレッシュを指示する。背景画像リフレッシュ部２５はこの指示に従い、該当する背景画素をリフレッシュ処理する。一方、背景画像更新部２３は、変動画素抽出部２２から背景画素およびその輝度値と、輝度分散値若しくは標準偏差をリードし、当該背景画素（注目画素）の輝度分散値若しくは標準偏差が外部パラメータで設定された下限値より小さい輝度の安定画素であるか否かを判定し、輝度の安定画素であると判定したとき、当該画素を背景画素と判定し、その平均輝度より作成した画像データを利用して、背景画像データの更新を実施し、バッファ２６を介して更新処理した背景画像を背景画像バッファメモリ２７に登録する。この背景画像バッファメモリ２７への背景画像のバッファリングは、パラメータにより指定された間隔で実施される。

上記背景画像作成処理部１４における動作概念を図４に示している。本願の発明者により実現された自動閾値設定技術は、入力した一定期間内の複数の画素を対象に、画素あたりの輝度平均値と標準偏差を算出し、算出した画素毎の標準偏差を変化画素を抽出するための、対応する画素の閾値に設定している（特開２００８−２５０８９２参照）。この自動閾値は、輝度の変動の大きい画素において高い閾値を自動的に設定し、変動の小さい画素＝背景と思われる画素においては、低く安定した閾値を設定する。この特性を利用し、自動閾値が低い状態＝背景の変動がない＝背景画素と判断し、そのときの平均輝度を背景輝度として利用し、その集合にて平均画像を作成し、背景画像とする。そして、停止物画素抽出処理部１６では、最新の登録背景輝度と現在の背景画像の輝度との差分処理を実施し、背景変化画素を抽出することを基本とする。この動作概念を図４に示している。この考え方により、動きのある画像中でも機能し、動物体検知している場所と同じ場所での停止物を高い認識率で認識可能にしている。一方、輝度の変動時間が長い画素は、背景画素として判定された状態から更新されない期間が長い状態となり、現状との乖離が発生している可能性が考えられるため、その場合は、背景画像をリフレッシュする機能を具備する。なお、図中の符号Ｔａは最低閾値、ＳＡは最低閾値（Ｔａ）以下の輝度安定範囲である。背景画像作成処理部１４は、注目画素が最低閾値（Ｔａ）以下の輝度安定範囲（ＳＡ）にあるか否かを判定し、最低閾値（Ｔａ）以下であるときに、背景画素の更新処理を実施する。この更新処理については図面（図７乃至図１０）を参照して後述する。

上記図１に示した画像処理装置の画像処理部１３における停止物検知処理の手順を図５に示している。上述したように背景画像作成処理部１４において、カメラ１１で撮影した画像を順次入力し、入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値および標準偏差を算出し、この算出で得た標準偏差若しくは輝度分散値をもとに、上記一定期間内の複数の画像の対応する画素を対象に、標準偏差若しくは輝度分散値が小さい一定の輝度変動範囲に収まる複数の画素を特定し、この特定した画素の平均輝度を用いて背景画像を作成する（図５ステップＳ１）。この背景画素が作成されると、停止物画素抽出処理部１６において、背景画像作成処理部１４で作成した、輝度の安定画素の集合による背景画像を利用して、停止物（停止物と見做した画素）の検知処理を実施する（図５ステップＳ２）。停止物（停止物の画素集合）が生成されると、領域化処理部１７において、停止物画素抽出処理部１６で処理した、停止物と見做した画素をもとに停止物の領域化処理を実施し（図５ステップＳ３）、追跡処理部１８において、領域化処理部１７で領域化された停止物の領域を追跡する追跡処理を実施する（図５ステップＳ４）。

上記した図５ステップＳ１における背景画像作成処理部１４による処理手順を、図６のフローチャートで示している。この背景画像作成処理は、利用フレーム数や最低閾値上下限値などのパラメータの設定による背景画像作成タイミングに従い実施される。

この背景画像作成処理部１４における背景画像作成処理では、入力された最新の画像（モノクロ／カラーの画像データ）を画像バッファメモリ２１にセットし、キャプチャ部１２から現在のフレームカウンタ情報を取得する（図６ステップＳ１１）。上記入力画像について、上記した画素毎の自動閾値の算出処理を実施する（図６ステップＳ１２）。この算出処理で算出された画素毎の輝度分散値若しくは標準偏差を利用して背景画素の作成並びに更新処理を実施する（図６ステップＳ１３）。
このステップＳ１３の背景画像の作成処理では、画像バッファメモリ２１に順次入力された画像を全画面分走査し、自動閾値の小さい（輝度が安定している）画素（＝最低閾値と同じ画素）を背景画素と判断する（閾値算出のタイミングに合わせる）。
バッファ１５６に示す最新輝度登録フレームカウンタ情報と現在フレームカウンタ情報を比較し、フレームカウンタ値の乖離が大きい場合は、背景画像メモリバッファ２７の背景画像、バッファ１５１の背景輝度総和を０クリアし、バッファ１５５の背景輝度登録数を０で初期化、バッファ１５４のバッファ番号等も初期化する（リフレッシュ処理）。そして、背景輝度総和、最古背景輝度値、１フレーム前背景輝度を利用して、バッファ１５１の背景輝度総和の更新、背景画像メモリバッファ２７の背景画像の更新、バッファ１５３の背景輝度バッファの更新を行う。なお、バッファ１５５に示す背景登録数が所定数（３０フレーム）に達していない場合は、総和への足し込みのみを実行し、インクリメントする。この先入先出処理は［背景輝度（平均）＝（背景輝度総和（２９枚分）−最古背景輝度＋１フレーム前の背景輝度）／２９］で表すことができる。また、現在背景画像の背景輝度（平均）をバッファ１５２へ登録し、バッファ１５４の背景輝度バッファ番号のインクリメントを実施し、現在背景画像のフレームカウンタ情報を背景輝度登録フレームカウンタ１５６に格納する。背景画像メモリバッファ２７の背景画像は、最大３０枚を、成熟／未成熟画像とセットでバッファリングするものとし、バッファリング周期（保存周期）は外部パラメータにて指定可能とする。また、現在バッファ番号＋ｎ秒前の背景画像、成熟／未成熟画像の取得関数を準備し、取得可能とする。
なお、未成熟画像は、背景画像を作成可能な状態に至らない（背景輝度バッファ１５３に所定数の背景画像が登録されていない状態にある）背景輝度バッファ１５３上の背景画像であり、成熟画像は、背景画像を作成可能な状態にある（背景輝度バッファ１５３に所定数の背景画像が登録された状態にある）背景輝度バッファ１５３上の背景画像である。

上記した背景画像更新部２３の処理手順を図７および図８にフローチャートで示している。この背景画像更新部２３による背景画像更新処理では、背景画像の更新対象画素数、および背景画像の更新画素数を初期化し（図７ステップＳ２１）、画像サイズ分ループして（図７ステップＳ２２〜図８ステップＳ３５）以下の処理を実施する。

このループ処理では、処理対象となる注目画素の画素番号の取得し（図７ステップＳ２４）、その注目画素がマスク対象画素であるか否かを判定する（図７ステップＳ２５）。ここで、注目画素がマスク対象画素でない（更新対象画素である）とき、背景画像更新対象画素数をインクリメントし（図７ステップＳ２６）、その画素が所定の時間を経過した（リフレッシュ未更新間隔時間を超過した）リフレッシュ対象画素であるか否かを判定する（図７ステップＳ２７〜図８ステップＳ２９）。リフレッシュ対象画素でないとき、注目画素の背景画素更新処理を実施する（図８ステップＳ３１）。この注目画素の背景画素更新処理については、図９および図１０に示すフローチャートを参照して後述する。
この注目画素の背景画素更新処理が正常終了したことを確認して（図８ステップＳ３２）、背景画像の更新画素数をインクリメントする（図８ステップＳ３３）。また、ステップＳ２５で注目画素がマスク対象画素であるときは上記ループ内の各処理（Ｓ２６〜Ｓ３３）をスキップする。また、ステップＳ２９でリフレッシュ対象画素であるときは注目画素に対する背景情報の初期化処理を実施し（図８ステップＳ３０）、注目画素の背景画素更新処理を実施する（図８ステップＳ３１）。ステップＳ３０の背景情報の初期化処理では、背景画像の背景輝度バッファ１５３の初期化、現在背景画像の背景輝度バッファ番号１５４の初期化、背景輝度登録数バッファ１５５の初期化、背景輝度登録フレームカウンタ１５６の初期化、背景画像メモリバッファ２７に対する現在背景画像データの当該画素を初期化、最新登録背景画像データの当該画素を初期化、背景更新画像の当該画素を初期化、背景セットアップ画像の当該画素を初期化等が行われる。また、ステップＳ３１で注目画素の背景画素更新処理が正常終了しないときは注目画素の背景画素更新処理を終了する。上記ループ処理（図７ステップＳ２２〜図８ステップＳ３５）の後、背景画像の更新画素割合を算出し、その算出割合を画像処理バッファ１５に格納する（図８ステップＳ３６）。

上記したステップＳ３１の注目画素の背景画素更新処理を図９および図１０にフローチャートで示している。

この注目画素の背景画素更新処理では、戻り値として返す更新フラグを未更新（戻り値＝FALSE）で初期化し（図９ステップＳ４１）、注目画素位置が画面内にあることを確認して（図９ステップＳ４２）、注目画素（カラー）の位置情報をセットする（図９ステップＳ４３）。

そして注目画素の閾値が低輝度値に設定した最低閾値以下であるか否か（注目画素が図４に示す最低閾値（Ｔａ）以下の低輝度安定範囲（ＳＡ）にあるか否か）をチェックする（図９ステップＳ４３）。

ここで、最低閾値以下であるときは、以下の背景画素の更新処理を実施し（図９ステップＳ４５〜図１０ステップＳ６３）、最低閾値以下でないときは背景更新画像の注目画素位置に該当する画素を未更新（FALSE）にして背景画素の更新処理を終了する。背景画素の更新処理のステップＳ４５では、背景輝度を貯えるバッファ１５３から入力背景輝度値（tempImg、tempImg_R、tempImg_G、tempImg_B）を取得する。ここで、（tempImg）は入力した背景の平均輝度値、（tempImg_R、tempImg_G、tempImg_B）は入力した背景のＲ，Ｇ，Ｂの各平均輝度値を示している。さらに、バッファ１５５から現在の背景輝度登録数、バッファ１５４から格納バッファ番号をそれぞれ取得し（図９ステップＳ４７，Ｓ４８）、バッファ１５５の輝度登録数が利用数を超過しているか（３０に達しているか）否かをチェックする（図９ステップＳ４９）。

ここで、輝度登録数が利用数を超過しているときは、先入先出法による画素の更新（最古の画素を棄て最新の画素を取り込む画素の差し替え処理）を実施する（図９ステップＳ５０〜Ｓ５３）。ここでは、背景輝度総和バッファ１５１に格納されている背景輝度の総和から現在の背景輝度（平均）を求め（図９ステップＳ５０）、ステップＳ４５で取得した入力背景輝度値を使って総和を算出し（図９ステップＳ５１）、最古の画素に代わって最新の入力画素をセットアップ画素にし（図９ステップＳ５２）、更新フラグを更新（戻り値＝TRUE）にして（図９ステップＳ５３）、図１０に示すバッファ２７へのデータ格納処理を実施する。
また、ステップＳ４９で輝度登録数が利用数を超過していないときは、同じく入力背景輝度値を使って総和を算出し（図９ステップＳ５４）、バッファ１５５の背景登録数をインクリメントして（図９ステップＳ５５）、図１０に示す処理に移行する。
このバッファ２７へのデータ格納処理では、最新の入力背景輝度値をバッファ１５３に格納し（図１０ステップＳ５６）、その入力背景輝度値の最新登録背景画像をバッファ２７へ格納して（図１０ステップＳ５７）、背景更新画像の当該画素を更新し（図１０ステップＳ５８）、また更新したフレームカウンタをバッファ１５６に格納する（図１０ステップＳ５９）。さらに、バッファ番号をインクリメントしてバッファ１５４に格納すると共に（図１０ステップＳ６０）、当該バッファ番号が利用数（この例では３０）を超過しているか否かをチェックして（図１０ステップＳ６１）、利用数を超過していない場合は、バッファ１５４のバッファ番号をインクリメントして格納し（図１０ステップＳ６２）、超過している場合は、バッファ１５４のバッファ番号を「０」に初期化（リセット）し（図１０ステップＳ６３）、更新フラグを戻り値として返す。

上記図５に示した停止物検知処理の処理例（４例）を図面（図１１乃至図１９）を参照して説明する。

第１の停止物検知処理手段（登録背景差分手法による）を図１１乃至図１３を参照して説明する。図１１は差分処理イメージ図、図１２は差分画素処理ロジックの説明図、図１３は停止物画素抽出処理手順を示すフローチャートである。

この処理は、背景差分タイミングにおいて、入力画像を全画面走査し、注目背景輝度が、背景画像登録数が３０に達しているいか否か（３０に達していない画素を未成熟背景画像段階と呼ぶ）を判断する（図１３ステップＳ７１〜Ｓ７３）。

背景未更新画素の場合、又は未成熟背景画像段階の場合は、背景差分処理を実施しない（図１３ステップＳ７３のＮｏ）。未成熟背景画像段階でない場合（成熟背景画像段階にあるとき）は、登録背景輝度と過去背景輝度を利用して図１１に示す背景差分処理を実施する（図１３ステップＳ７４）。なお、背景画像（平均画像）は、参照遅延時間を別途指定可能とする（何秒前に作成された背景画像と差分を実施するかを指定可能とする）。また、差分閾値は、外部パラメータにて設定された固定閾値／自動閾値の切り替えを可能とし、自動閾値は、背景輝度の変動を考慮した閾値設定とする（動物体検知の自動閾値のロジックに準拠する）。

停止物は動かないことから、同一地点に連続的に差分結果が抽出されるはずであるため、差分処理を実施した結果を蓄積し、差分アリの時＋１、差分無しの時は−１を行う累積差分二値化画像を作成し、閾値を超過した場合は、差分画素とする（図１３ステップＳ７６〜Ｓ８１）。ここでの閾値は、図１２に示すように、上限、下限の２値を有し、ヒステリシスをもった判定を行うようにする。

第２の停止物検知処理手段（背景時間差分手法による）を図１４および図１５を参照して説明する。図１４は差分処理イメージ図、図１５は抽出処理ロジックの説明図である。なお、処理手順は図１３に示した処理手順と同様である。

この処理は、背景差分タイミングにおいて、入力画像を全画面走査し、注目背景輝度、過去背景輝度が、背景画像登録数が３０に達しているいか否か（３０に達していない画素を未成熟背景画像段階と呼ぶ）を判断する。未成熟背景画像段階の場合は、差分処理を実施しない。そうでない場合は、注目背景輝度と、過去背景輝度を利用して差分を実施する。差分閾値は、外部パラメータにて設定された固定閾値／自動閾値の切り替えを可能とし、自動閾値は、背景輝度の変動を考慮した閾値設定とする（動物体検知の自動閾値のロジックに準拠する）。停止物は動かないことから、同一地点に連続的に差分結果が抽出されるはずであるため、差分処理を実施した結果を蓄積し、差分アリの時＋１、差分無しの時は−１を行う累積差分二値化画像を作成し、閾値を超過した場合は、差分画素とする。ここでの閾値は、上限、下限の２値を有し、ヒステリシスをもった判定を行うようにする（手法１参照）。

第３の停止物検知処理手段（背景不均等時間差分論理和手法による）を図１６および図１７を参照して説明する。図１６は差分処理イメージ図、図１７は抽出論理ロジック（時間の小さい差と大きく離れた時間との差の排他的論理和）の説明図である。なお、処理手順は図１３に示した処理手順と同様である。

この処理は、背景差分タイミングにおいて、入力画像を全画面走査し、注目背景輝度、遅延時間の異なる背景輝度が、双方の背景画像登録数が３０に達しているいか否か（３０に達していない画素を未成熟背景画像段階と呼ぶ）を判断する。未成熟背景画像段階の場合は、差分処理を実施しない。そうでない場合は、注目背景輝度と、過去背景輝度を利用して差分を実施する。

第４の停止物検知処理手段（背景時間差分、登録差分の論理積手法による）を図１８および図１９を参照して説明する。図１８は差分処理イメージ図、図１９は抽出論理ロジックの説明図である。なお、処理手順は図１３に示した処理手順と同様である。

この処理では、現在背景画像と時間の異なる過去背景画像２枚を利用した時間差分と登録背景画像と過去画像の差分処理の論理積にて停止物画素の抽出を行う。

背景差分タイミングにおいて、入力画像を全画面走査し、注目背景輝度、遅延時間の異なる背景輝度が、双方の背景画像登録数が３０に達しているいか否か（３０に達していない画素を未成熟背景画像段階と呼ぶ）を判断する。背景未更新画素の場合又は未成熟背景画像段階の場合は、差分処理を実施しない。そうでない場合は、注目背景輝度と、過去背景輝度を利用して差分を実施する。

上記した本発明の実施形態により、動物体が画面内に存在する撮影環境に影響されることなく、常に安定した背景画像の検知を可能にし、これにより停止物の検知性能をより向上できる。なお上記した実施形態では、標準偏差または標準偏差を求める過程で求まる輝度分散値を利用して背景画像（背景画素の集合）を作成したが、例えば標準偏差（σ）の２倍（２σ）、または３倍（３σ）等を利用することで、輝度変動の大きい画素と輝度変動の小さい画素との差別化（識別）がより容易になる。

１１…カメラ、１２…キャプチャ部、１３…画像処理部、１４…背景画像作成処理部、１５…背景画像作成用バッファ、１６…停止物画素抽出処理部、１７…領域化処理部、１８…追跡処理部、１９…表示部、２１…画像バッファメモリ、２２…変動画素抽出部、２３…背景画像更新部、２４…背景画像更新管理部、２５…背景画像リフレッシュ部、２６…背景画像作成用データバッファ、２７…背景画像バッファメモリ、Ｔａ…最低閾値、ＳＡ…低輝度安定範囲。

Claims

カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から停止物を検知する画像処理装置において、
前記入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値と標準偏差を算出し、この算出で得た前記標準偏差若しくは輝度平均値をもとに、前記一定期間内の数十枚（ｋ）の画像の対応する画素を対象に、一定の輝度変動範囲に収まる複数の画素を特定し、その特定した複数の画素の平均輝度を算出して背景輝度として登録すると共に、前記特定した画素の平均輝度を用いて背景画像を作成する背景画像作成手段と、
前記背景画像作成手段により登録された最新の登録背景輝度と現在の背景画像輝度との差分処理により停止物と見做した背景変化画素を抽出する停止物画素抽出手段と、
前記停止物画素抽出手段で抽出した前記停止物と見做した背景変化画素を領域化する領域化処理手段と、
前記領域化処理手段で領域化された前記停止物と見做した背景変化画素の領域を追跡処理する追跡処理手段と、
を具備したことを特徴とする画像処理装置。
前記背景画像作成手段は、画素単位に最新輝度登録フレームカウンタ情報と現在フレームカウンタ情報とを比較して、フレームカウンタ値の乖離が大きいと判断した場合、前記背景画像をリフレッシュする背景画像リフレッシュ処理手段を更に具備したことを特徴とする請求項１に記載の画像処理装置。
前記背景画像作成手段は、前記背景輝度の算出を、背景輝度（平均）＝（背景輝度総和（ｋ−１）−最古背景輝度＋１フレーム前の背景輝度）／ｋ−１で求めることを特徴とする請求項１に記載の画像処理装置。
前記背景画像作成手段は、前記輝度の安定画素を抽出するための最低閾値、および利用フレーム数が外部パラメータとして入力されることを特徴とする請求項１に記載の画像処理装置。
カメラで撮影した画像を順次入力し、入力した現在画像と過去画像から停止物を検知する画像処理装置としてコンピュータを機能させるための背景画像検知処理プログラムであって、
前記入力した一定期間内の複数の画像を対象に、画素あたりの輝度平均値と標準偏差を算出し、この算出で得た前記標準偏差若しくは輝度平均値をもとに、前記一定期間内の数十枚の画像の対応する画素を対象に、一定の輝度変動範囲に収まる複数の画素を特定し、その特定した複数の画素の平均輝度を算出して背景輝度として登録すると共に、前記特定した画素の平均輝度を用いて背景画像を作成する機能と、
前記登録された最新の登録背景輝度と現在の背景画像輝度との差分処理により停止物と見做した背景変化画素を抽出する機能と、
前記停止物と見做した背景変化画素を領域化する機能と、
前記領域化された前記停止物と見做した背景変化画素の領域を追跡処理する機能と、
を前記コンピュータに実現させるための背景画像検知処理プログラム。