JP4967937B2

JP4967937B2 - 画像処理装置、方法、およびプログラム

Info

Publication number: JP4967937B2
Application number: JP2007231374A
Authority: JP
Inventors: 克板垣
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2007-09-06
Filing date: 2007-09-06
Publication date: 2012-07-04
Anticipated expiration: 2027-09-06
Also published as: JP2009064228A; US20090066802A1

Description

本発明は、入力画像から画像処理によって背景画像を生成する技術に関する。

カメラなどで撮影した映像の入力画像から、出現したり移動したりした物体を検出する技術がある。予め入力画像から背景画像を生成しておき、入力画像と背景画像の差分から物体を検出する手法が知られている（特許文献１、２参照）。この種の手法では適切な背景画像を生成することにより物体検出の精度を高めることが可能となる。しかし、入力画像に出現したり、入力画像内を移動したりする物体や、天候の変化や時間の経過による明度の変化は適切な背景画像の生成の妨げとなる。
特開２００７−６６１２４号公報特開平９−１９０５３３号公報

特許文献１に開示された手法では、背景画像の更新に各画素の統計量から加重平均値や中央値を算出し、それを適用している。交通渋滞で停留した車両や赤信号で停止した車両が背景画像に取り込まれてしまう可能性があった。

特許文献２に開示された手法では、連続して出現する割合の最も大きい輝度値を背景画像における輝度値と推定している。やはりこの手法でも、交通渋滞で停留した車両や赤信号で停止した車両が背景画像に取り込まれてしまう可能性があった。

本発明の目的は、背景画像とすべきでない物体の背景画像への影響を低減した画像処理装置、方法、およびプログラムを提供することである。

上記目的を達成するために、本発明の画像処理装置は、入力画像から背景画像を生成する画像処理装置であって、
連続的な入力画像を順次入力する画像入力手段と、
前記画像入力手段からの前記入力画像を元に、前記入力画像の各画素における統計量の出現頻度を示す統計情報を生成する統計情報更新手段と、
前記統計情報において、画素毎に出現頻度の最も高い統計量を選択することにより背景画像を生成する背景画像生成手段と、を有し、
前記統計情報更新手段または前記背景画像生成手段の少なくとも一方は、外部から通知される信号機の表示状態に基づいて処理の実施と停止を制御する。

本発明の画像処理方法は、順次入力される連続的な入力画像から背景画像を生成するための画像処理方法であって、
前記入力画像を元に、前記入力画像の各画素における統計量の出現頻度を示す統計情報を生成し、
前記統計情報において、画素毎に出現頻度の最も高い統計量を選択することにより背景画像を生成することを外部から通知される信号機の表示状態に基づいて実施する。

本発明の画像処理プログラムは、コンピュータに、順次入力される連続的な入力画像から背景画像を生成させるための画像処理プログラムであって、
前記入力画像を元に、前記入力画像の各画素における統計量の出現頻度を示す統計情報を生成する手順と、
前記統計情報において、画素毎に出現頻度の最も高い統計量を選択することにより背景画像を生成する手順とを外部から通知される信号機の表示状態に基づいてコンピュータに実行させる。

本発明によれば、各画素における統計量の出現頻度に基づいてその画素の統計量を決定するので、背景画像とすべき画像よりも出現頻度の低い、背景画像とすべきでない画像を背景画像に含まないようにすることができる。

本発明を実施するための形態について図面を参照して詳細に説明する。ここでは、入力画像から背景画像を生成し、入力画像と背景画像の差分から、検出対象である動的な物体を検出する画像処理装置について説明する。その際、理解を容易にするために、固定箇所から道路上を撮影した入力画像から、道路上を走行する車両を検出する場合について適宜例示する。

（第１の実施形態）
図１は、第１の実施形態の画像処理装置の構成を示すブロック図である。図１を参照すると、画像処理装置１０は、画像入力部１１、統計情報更新部１２、背景画像生成部１３、および差分処理部１４を有している。

画像入力部１１はカメラ等で撮影された連続的な入力画像を入力する。画像入力部１１からの入力画像は統計情報更新部１２および差分処理部１４に送られる。

統計情報更新部１２は、画像入力部１１からの入力画像を元に入力画像の統計情報を生成し、順次更新する。入力画像の統計情報は画素毎の統計情報の集合である。各画素の統計情報は、画素の表示する値（例えば輝度値）を統計量とし、その統計量のとりうる各値の出現頻度（例えば出現回数）を示す情報である。これらの統計情報には、現在から遡って過去の一定時間分の入力画像についての情報が集計されている。具体例として、輝度値としてとりうる値をＬ₁、Ｌ₂、・・・、Ｌ_Mとすれば、各画素の統計情報には輝度値Ｌ₁の出現回数がＮ₁、輝度値Ｌ₂の出現回数がＮ₂、・・・、輝度値Ｌ_Mの出現回数がＮ_Mという情報が含まれていればよい。その場合、Ｎ₁＋Ｎ₂＋
・・・＋Ｎ_Mが上記一定時間内の入力画像（フレーム）数となる。

統計情報に集計する入力画像の範囲を規定する上記一定時間は撮影対象の画像変化の性質に応じて適切な時間に設定すればよい。天候変化や時間経過による道路の明度変化のような、背景画像とすべき領域の変化に背景画像が追従することができ、かつ赤信号にて一時的に停止した車両のように、背景画像とすべきでない部分が背景画像に含まれないような時間に設定するのが好ましい。

背景画像生成部１３は、統計情報更新部１２で生成された入力画像の統計情報から背景画像を生成する。背景画像は、各画素について最も出現頻度の高い統計量（最頻値）をその画素の統計量とした画像である。具体的には、背景画像の各画素の輝度値としてその画素において最も出現頻度の高い輝度値が採用される。

差分処理部１４は、画像入力部１１からの入力画像と、背景画像生成部１３で生成された背景画像との差分を算出する。この差分で構成された差分画像は入力画像の中の検出対象を表示する画像である。

図２は、第１の実施形態の画像処理装置の動作を示すフローチャートである。ここでは既に背景画像が生成されている状態からの動作が示されている。

図２を参照すると、画像処理装置１０は、カメラ等で撮影された新たな入力画像を入力する（ステップ１０１）。画像処理装置１０は、新たな入力画像と、予め生成していた背景画像との差分を算出する（ステップ１０２）。

更に、画像処理装置１０は、新たな入力画像の情報を追加し、最も古い入力画像の情報を削除することにより、入力画像の統計情報を更新する（ステップ１０３）。続いて、画像処理装置１０は、更新された統計情報を用いて背景画像を生成しなおす（ステップ１０４）。

以上説明したように本実施形態によれば、各画素における統計量の出現頻度に基づいてその画素の統計量を決定するので、背景画像とすべき画像よりも出現頻度の低い、背景画像とすべきでない画像を背景画像に含まないようにすることができる。例えば、ある画素において、赤信号などで車両が停止中では、特定の車両による輝度値が連続する時間が長くなり、車両の走行中では、通過する複数の車両の輝度値が挟まることにより道路の輝度値が連続する時間がそれより短くなった場合が想定される。本実施形態では、その場合でも、統計情報の全体に分散して繰り返し出現する道路の輝度値がトータルで最も出現頻度が高ければ、車両が取り込まれていない背景画像を生成することができる。

また従来は、天候や日照の変化によって入力画像全体の統計量が急に変化したときに背景画像が変化に追従できない場合があったが、本実施形態によれば、現在から遡って過去の一定時間分の入力画像に限って集計した統計情報を用いるので、一定時間よりも古い過去の入力画像の影響が排除され、入力画像の背景画像とすべき部分の変化に対する追従性が向上する。

図３は、第１の実施形態の画像処理装置の具体例について説明するための図である。画像処理装置１０は新たな入力画像が入力される毎に、入力画像と背景画像との差分を算出しなおすと共に、入力情報の統計情報と背景画像を更新する。ここでは入力画像２１は可視カメラや赤外線カメラなどで定点を撮影した動画像を想定している。また、入力画像１０はフレーム単位でのデータ処理が可能である。入力画像２１の新たなフレームが入力される毎に、入力画像と背景画像との差分の算出と、入力情報の統計情報と背景画像の更新が行われる。

図４は入力画像の一例を示す図である。図５は背景画像の一例を示す図である。図６は背景差分画像の一例を示す図である。

図４の入力画像２１では、背景画像として抽出されるべき画像は道路の画像であり、背景差分画像として抽出されるべき画像は自動車の画像である。図５の背景画像２２には、入力画像２１から検出対象である自動者が取り除かれ、道路の画像が示されている。図６の背景差分画像２３には、入力画像２１と背景画像２２との差分として自動車の画像が示されている。

入力画像２１が入力されると、画像処理装置１０は背景差分処理（ステップＡ１）を実行する。背景差分処理は、ある画像から検出対象となる物体を抽出するために、検出対象となる物体が写っていない背景の画像と、検出対象となる物体が写っている入力画像との統計量の差分を取り、その差分から検出対象となる物体のみが写った画像（背景差分画像）を作成する処理である。この背景差分処理と他の画像処理とを組み合わせることにより検出対象の物体を検出することができる。

図３の例では、入力画像２１と背景画像２２が背景差分処理に用いられ、背景差分処理の結果として背景差分画像２３が生成されている。背景差分画像２３は、入力画像２１と背景画像２２とから生成された、検出対象である物体だけが抽出された画像である。ただし厳密には背景差分画像２３には検出対象以外に雑音が含まれている。

入力画像統計情報２４は、背景画像２２を更新するために必要な、過去の入力画像に関する統計情報である。具体的には、入力画像２１の各画素について、その統計量（輝度値等）と出現回数を含む情報である。入力画像統計情報２４は順次更新されており、更新された入力画像統計情報２４は背景画像更新処理に提供される。

また入力画像２１が入力されたとき、画像処理装置１０は入力画像統計情報更新処理（ステップＡ３）を実行する。入力画像統計情報更新処理は、新たな入力画像２１を用いて入力画像統計情報２４を更新する処理である。

入力画像統計情報２４は、更新する各画素の統計量およびその出現頻度が時系列的に把握できるような情報である。具体例としては、過去の入力画像２１の各画素の統計量が出現頻度順に保持されている。更に入力画像統計情報２４は古い入力画像２１の統計量を削除できるような構成となっている。入力画像統計情報更新処理としては、新たな入力画像２１の情報を追加し、最も古い入力画像２１の情報を削除するように、入力画像２１の中の更新の対象となる各画素について、その統計量の出現頻度を計上すると共に、統計量の出現頻度の多い順に統計量を並び替える。

入力画像統計情報２４を更新したら、画像処理装置１０は続いて背景画像更新処理を実行する（ステップＡ２）。背景画像更新処理は、背景差分処理で良好な背景差分画像２３が検出されるように、背景画像２２を順次更新する処理である。本実施形態では、入力画像統計情報２４に含まれている入力画像２１の各画素の統計量のうち最も出現頻度の高い値（最頻値）を背景画像２２の各画素の更新後の値として選択し、背景画像の各画素に当てはめていく。

画像処理装置１０は、ステップＡ１〜Ａ３の処理を入力画像２１が入力される毎に繰り返す。

（第２の実施形態）
第１の実施形態においては、交通事故におる車両の停止や長時間の駐停車などがあると、検出対象である車両が背景画像に取り込まれてしまう恐れがある。また赤信号による停止や交通渋滞でも、車両の停止時間と、統計情報に用いる入力画像の範囲を決める一定時間の設定値との関係で同様なことが起こる恐れがある。

第２の実施形態では、この問題に対して以下に示す３つの対策が適用されている。

第１の対策として、第２の実施形態では、検出対象として抽出された部分の画像を入力画像統計情報更新処理および背景画像更新処理の対象外とする。具体的には、車両として抽出された部分に含まれる画素については入力画像の統計情報および背景画像を更新しないとすればよい。

第２の対策として、第２の実施形態では、動的な物体が停留しているという事象（以下、停留事象という）の発生を、差分画像を基に監視し、停留事象が発生している間は入力画像統計情報更新処理および背景画像更新処理を停止する。

第３の対策として、第２の実施形態では、停留の原因となる事象を外部からの情報（以下、停留事象情報という）で知ることができる場合に、その停留事象情報に基づいて、入力画像統計情報更新処理および背景画像更新処理の実施と停止を制御する。具体的には、信号機の表示状態（青、黄、赤）を示す信号機情報を停留事象情報として用い、青信号のときにだけ、入力画像統計情報更新処理および背景画像更新処理を実施することにすればよい。

なお、上述した第１の対策では、物体が長時間にわたって停留すると、検出対象として抽出された部分の背景画像が長時間にわたって更新されない状態が想定される。そこで、物体が検出された部分の入力画像統計情報更新処理および背景画像更新処理を停止する代わりに、物体が検出された部分の背景画像を、その近傍における物体が検出されていない領域の統計情報から推定して更新することにしてもよい。具体的には、車両が検出された部分の道路の輝度値を近傍の道路の輝度値と一致させればよい。

上述した第２あるいは第３の対策でも、長時間にわたって停留事象が続くと、長時間にわたって背景画像が更新されない状態が想定される。そこで、入力画像統計情報更新処理および背景画像更新処理を停止する代わりに、物体が検出されていない領域については通常の入力画像統計情報更新処理および背景画像更新処理を継続し、物体が検出された部分については、その近傍における物体が検出されていない領域の統計情報から推定して背景画像を更新することにしてもよい。

また、第１の実施形態では、入力画像の全体に対して入力画像統計情報更新処理および背景画像更新処理を行っていた。しかし、検出対象の種類や撮影場所などによっては、入力画像の中に物体が出現しないことが明らかな領域が含まれていることがある。そのような場合、第１の実施形態では、物体の検出に寄与しない部分についても画像処理を行なうこととなり効率的でない。

そこで、第２の実施形態では、物体が出現しないことが明らかな領域をマスクし、その領域については入力画像統計情報更新処理、背景画像更新処理、および背景差分処理を行わないこととする。

図７は、第２の実施形態の画像処理装置の構成を示すブロック図である。図７を参照すると、画像処理装置３０は、画像入力部１１、マスク部３１、統計情報更新部１２、背景画像生成部１３、差分処理部１４、および事象判別部３２を有している。

画像入力部１１は図１に示した第１の実施形態のものと同じものである。本実施形態では画像入力部１１からの入力画像はマスク部３１に送られる。

マスク部３１は、入力画像におけるマスクする部分を示すマスク情報を予め保持しており、そのマスク情報を用いて画像入力部１１からの入力画像をマスクする。マスク部３１でマスク処理された入力画像は統計情報更新部１２および差分処理部１４に送られる。

統計情報更新部１２は、マスク部３１からのマスク処理された入力画像を元に、入力画像のマスクされていない領域について統計情報を生成し、順次更新する。

ただし、本実施形態では上記第１の対策として、統計情報更新部１２は、差分処理部１４にて検出対象として抽出された部分の画像については処理を行わない。

また、本実施形態では上記第２の対策として、統計情報更新部１２は、事象判別部３２にて停留事象が検出されている間は処理を停止する。

また、本実施形態では上記第３の対策として、統計情報更新部１２は、外部からの停留事象情報を基に処理の実施と停止を制御する。具体的には、統計情報更新部１２は、信号機の表示状態を示す信号機情報を基に青信号のときにだけ処理を実施する。

背景画像生成部１３は、統計情報更新部１２で生成された入力画像の統計情報から、マスクされていない領域について背景画像を生成する。

ただし、本実施形態では上記第１の対策として、背景画像生成部１３は、差分処理部１４にて検出対象として抽出された部分の画像については処理を行わない。

また、本実施形態では上記第２の対策として、背景画像生成部１３は、事象判別部３２にて停留事象が検出されている間は処理を停止する。

また、本実施形態では上記第３の対策として、背景画像生成部１３は、外部からの停留事象情報を基に処理の実施と停止を制御する。具体的には、背景画像生成部１３は信号機情報を基に青信号のときにだけ処理を実施する。

差分処理部１４は、マスク部３１からのマスク処理された入力画像と、背景画像生成部１３で生成された背景画像との差分を算出する。この差分で構成された画像が入力画像の中の検出対象を示す背景差分画像となる。

事象判別部３２は、差分処理部１４で算出された差分を基にして停留事象の発生を監視し、停留事象の発生を統計情報更新部１２および背景画像更新部１３に通知する。

図８は、第２の実施形態の画像処理装置の具体例について説明するための図である。図９はマスク画像の一例を示す図である。道路上を走行する車両を検出する場合には道路以外の部分で車両を検出する必要がないので、ここでは図９のように道路以外の部分をマスクするものとする。図１０はマスク処理された入力画像の一例を示す図である。図１１はマスク処理された背景画像を示す図である。

入力画像２１が入力されると、画像処理装置３０はマスク画像４１を用いて入力画像２１に対してマスク処理を行う（ステップＢ１）。マスク処理された入力画像２１′は図１０に示されているようになる。また画像処理装置３０は、マスク処理された入力画像２１′と、マスク処理された背景画像２２′を用いて背景差分処理（ステップＢ２）を実行する。更に画像処理装置３０は、背景差分処理で算出した差分を用いて事象判別処理を行う（ステップＢ５）。事象判別処理は、差分に基づいて、背景画像の更新に影響する事象（例えば上述した停留事象）の発生を監視する処理である。事象の有無は事象情報４３として入力画像統計情報更新処理および背景画像更新処理へ入力される。

画像処理装置３０は、マスク処理された入力画像２１′を用いて入力画像統計情報更新処理を行い（ステップＢ４）、更にその結果である入力画像の統計情報２４を用いて背景画像更新処理を行う（ステップＢ３）。その際、画像処理装置３０は、信号機情報４２および事象情報４３に基づいて入力画像統計情報更新処理および背景画像更新処理の実施と停止を制御する。

また、画像処理装置３０は、背景画像更新処理において、背景差分画像２３に基づき、物体が検出された部分の背景画像を、その近傍における物体が検出されていない領域の統計情報から推定して更新することにしてもよい。具体的には、車両が検出された部分の道路の輝度値を近傍の道路の輝度値と一致させればよい。

図１２は、検出対象が抽出された部分の更新が停止した背景画像の一例を示す図である。図１２の背景画像２２″では、車両が停止している間の天候変化等で、車両が抽出された部分の画像が近傍の領域の画像と整合しなくなっている。このような場合でも、車両が抽出された部分の道路の輝度値を近傍の道路の輝度値と一致させる処理を行うことで、図１１に示したような背景画像２２′に修正することができる。

なお、上述した各実施形態の画像処理装置は、画像処理装置を構成する各部の処理手順を規定したソフトウェアプログラムをコンピュータに実行させることにより実現することもできる。

第１の実施形態の画像処理装置の構成を示すブロック図である。第１の実施形態の画像処理装置の動作を示すフローチャートである。第１の実施形態の画像処理装置の具体例について説明するための図である。入力画像の一例を示す図である。背景画像の一例を示す図である。背景差分画像の一例を示す図である。第２の実施形態の画像処理装置の構成を示すブロック図である。第２の実施形態の画像処理装置の具体例について説明するための図である。マスク画像の一例を示す図である。マスク処理された入力画像の一例を示す図である。マスク処理された背景画像を示す図である。検出対象が抽出された部分の更新が停止した背景画像の一例を示す図である。

符号の説明

１０、３０画像処理装置
１１画像入力部
１２統計情報更新部
１３背景画像生成部
１４差分処理部
３１マスク部
３２事象判別部

Claims

入力画像から背景画像を生成する画像処理装置であって、
連続的な入力画像を順次入力する画像入力手段と、
前記画像入力手段からの前記入力画像を元に、前記入力画像の各画素における統計量の出現頻度を示す統計情報を生成する統計情報更新手段と、
前記統計情報において、画素毎に出現頻度の最も高い統計量を選択することにより背景画像を生成する背景画像生成手段と、を有し、
前記統計情報更新手段または前記背景画像生成手段の少なくとも一方は、外部から通知される信号機の表示状態に基づいて処理の実施と停止を制御する画像処理装置。
前記統計情報更新手段は、現在から遡って一定時間分の入力画像の情報を前記統計情報に集計しており、新たな入力画像が入力される毎に、該新たな入力画像の情報を前記統計情報に追加すると共に該統計情報から最も古い入力画像の情報を削除することにより、前記統計情報を更新する、請求項１に記載の画像処理装置。
前記画像入力手段からの前記入力画像と、前記背景画像生成手段で生成された前記背景画像との差分を算出する差分処理手段を更に有する、請求項１または２に記載の画像処理装置。
前記統計情報更新手段または前記背景画像生成手段の少なくとも一方は、前記差分処理手段により算出された前記差分として検出対象が検出された部分の画像に対する処理を停止する、請求項３に記載の画像処理装置。
前記差分処理手段により算出された前記差分に基づいて、前記背景画像の生成に影響する事象の発生を監視する事象判別手段を更に有し、
前記統計情報更新手段または前記背景画像生成手段の少なくとも一方は、前記事象判別手段による監視結果に基づいて処理の実施と停止を制御する、請求項１から４のいずれか１項に記載の画像処理装置。
前記事象は、動的な物体が停留する停留事象であり、
前記統計情報更新手段または前記背景画像生成手段の少なくとも一方は、前記停留事象が発生している間は処理を停止する、請求項５に記載の画像処理装置。
前記背景画像生成手段は、前記差分処理手段により算出された前記差分として検出対象が検出された部分の輝度値を、その近傍における検出対象が検出されていない領域の輝度値として更新する、請求項３に記載の画像処理装置。
前記画像入力手段から入力される前記入力画像を、予め定められたマスク情報に従ってマスクするマスク手段を更に有する、請求項１から７のいずれか１項に記載の画像処理装置。
順次入力される連続的な入力画像から背景画像を生成するための画像処理方法であって、
前記入力画像を元に、前記入力画像の各画素における統計量の出現頻度を示す統計情報を生成し、
前記統計情報において、画素毎に出現頻度の最も高い統計量を選択することにより背景画像を生成することを外部から通知される信号機の表示状態に基づいて実施する画像処理方法。
現在から遡って一定時間分の入力画像の情報を前記統計情報に集計しており、新たな入力画像が入力される毎に、該新たな入力画像の情報を前記統計情報に追加すると共に該統計情報から最も古い入力画像の情報を削除することにより、前記統計情報を更新する、請求項９に記載の画像処理方法。
更に、前記入力画像と、生成した前記背景画像との差分を算出する、請求項９または１０に記載の画像処理装置。
コンピュータに、順次入力される連続的な入力画像から背景画像を生成させるための画像処理プログラムであって、
前記入力画像を元に、前記入力画像の各画素における統計量の出現頻度を示す統計情報を生成する手順と、
前記統計情報において、画素毎に出現頻度の最も高い統計量を選択することにより背景画像を生成する手順とを外部から通知される信号機の表示状態に基づいてコンピュータに実行させる画像処理プログラム。
現在から遡って一定時間分の入力画像の情報を前記統計情報に集計しており、新たな入力画像が入力される毎に、該新たな入力画像の情報を前記統計情報に追加すると共に該統計情報から最も古い入力画像の情報を削除することにより、前記統計情報を更新する、請求項１２に記載の画像処理プログラム。
前記入力画像と、生成した前記背景画像との差分を算出する手順コンピュータに実行させる、請求項１２または１３に記載の画像処理プログラム。