JP5404580B2 - 画像処理装置、画像処理方法及び画像処理プログラムを記録した記録媒体 - Google Patents

Description

本発明は、公共の場所に設置された撮像装置（例えば、監視カメラ等）で撮影された時系列画像から、人物らしい領域に対して個人が特定できないように画像変換を行う画像処理装置、画像処理方法及び画像処理プログラムを記録した記録媒体に関する。

画像や映像から人物らしい領域を計測する方法として、人物は長時間静止しないという仮定を用い、人物らしい領域として動き検出を使用する方法が知られている。動き検出の一つの例として、特許文献１に記載された動き検出方法は、撮影した時系列画像から過去複数フレームの映像を蓄積し、各フレームの画素値を対数変換し、変換された各画素のフレーム間の時間微分値が閾値を満たす場合に、該当するフレーム番号を評価値として、動きパターン画像を生成するものである。また、画素値の対数変換を行わず、フレーム間の画素値の比を算出し、比の値をフレーム間隔で除算し、除算した値が閾値を満たす場合に該当する動きパターン画像を生成している。

特許第４２６８９５３号公報

特許文献１に記載の先行技術では、対数変換処理を行うことにより、撮影条件や、撮影環境、カメラの光電変換特性にロバストな動き検出を実現しており、また、複数フレームを用いた処理を行うことにより、ノイズによる影響を低減している。

しかしながら、動きパターン画像の生成に閾値処理を用いているため、例えばフレーム間の時間微分値が閾値に近い値を持つ画素が空間的に近い領域に存在する場合、画素間の連続性が失われてしまうという問題がある。また、同一画素に対する時間微分値が複数フレームに渡って閾値に近い値を持つ場合、フレーム間の連続性が失われてしまうという問題もある。

本発明は、このような事情に鑑みてなされたもので、時間的、空間的な連続性を保ちながら、背景となる情報も利用することで、誤検出を低減しながらも個人が特定できないように画像変換を行うことができる画像処理装置、画像処理方法及び画像処理プログラムを記録した記録媒体を提供することを目的とする。

本発明は、取得した画像中に存在する人物らしい領域に対して個人の特定ができなくなるように画像変換を行う画像処理方法であって、取得した処理対象画像を含む処理対象画像以前の複数フレームの画像を元に、各画素の平均値を算出する平均値算出ステップと、算出した前記各画素の平均値と、それぞれのフレームの該当画素値が平均値から大きく外れている画素値を取り除く外れ値除去ステップと、前記外れ値として除去された値を除いたそれぞれのフレームの該当画素から分散値を算出する分散値算出ステップと、算出した前記分散値に対して、膨張処理、収縮処理を行い、分散値画像を生成する膨張収縮処理ステップと、前記分散値画像の各画素に対して多次元の変換式により変換を行う分散値変換ステップと、取得した前記画像と、一つ前のフレーム処理により生成された背景画像と、前記分散値に基づき、一つ前の背景画像が存在しない場合は前記取得した画像を背景画像とし、一つ前の背景画像が存在する場合は、前記背景画像と前記取得した画像の各画素値を変換した分散値に応じた重み付け和により背景画像を更新する背景画像更新ステップと、前記取得した画像に対して荷重平均フィルタを使用し低周波数成分画像を生成する低周波数成分画像生成ステップと、前記取得した画像と前記低周波数成分画像の差分から高周波数成分画像を生成する高周波数成分画像生成ステップと、前記更新された背景画像と前記取得した画像との差異から人物らしさを算出する人物らしさ算出ステップと、前記高周波数成分画像の各画素の値を前記算出された人物らしさの各画素の値を用いて抑制した抑制後の高周波数成分画像を生成する高周波数成分抑制ステップと、前記生成した抑制後の高周波数成分画像と前記低周波数成分画像を合成し結果画像を生成する周波数成分合成ステップと、前記生成した結果画像を出力する結果画像出力ステップとを有することを特徴とする。

本発明は、前記人物らしさ算出ステップにより算出された人物らしさに対して、前記分散値変換ステップにより変換された分散値を乗算することを特徴とする。

本発明は、前記平均値算出ステップに代えて、複数フレームの該当する画素値を並べ替える画素値並べ替えステップと、前記並べ替えた画素値から中央値を算出する中央値算出ステップを有し、前記外れ値除去ステップにおいて、平均値との差分ではなく前記中央値算出ステップにより算出された中央値とそれぞれのフレームの該当画素の値から中央値から大きく外れている画素値を取り除くことを特徴とする。

本発明は、前記平均値算出ステップ、前記外れ値除去ステップ、分散値算出ステップにおいて、処理対象画像を含む処理対象画像以前の複数枚の画像だけでなく、処理対象画像以降の画像も使用することを特徴とする。

本発明は、前記分散値算出ステップにて算出される分散値を、前記平均値算出ステップにて算出される各画素の平均値の輝度値の空間的な分布、及び任意の定数を用いることで正規化することを特徴とする。

本発明は、任意の各ステップの処理を実施する際、線形変換などにより画像を縮小し、画像の画素数を削減することにより処理速度を向上させることを特徴とする。

本発明は、取得した画像中に存在する人物らしい領域に対して個人の特定ができなくなるように画像変換を行う画像処理装置であって、取得した処理対象画像を含む処理対象画像以前の複数フレームの画像を元に、各画素の平均値を算出する平均値算出手段と、算出した前記各画素の平均値と、それぞれのフレームの該当画素値が平均値から大きく外れている画素値を取り除く外れ値除去手段と、前記外れ値として除去された値を除いたそれぞれのフレームの該当画素から分散値を算出する分散値算出手段と、算出した前記分散値に対して、膨張処理、収縮処理を行い、分散値画像を生成する膨張収縮処理手段と、前記分散値画像の各画素に対して多次元の変換式により変換を行う分散値変換手段と、取得した前記画像と、一つ前のフレーム処理により生成された背景画像と、前記分散値に基づき、一つ前の背景画像が存在しない場合は前記取得した画像を背景画像とし、一つ前の背景画像が存在する場合は、前記背景画像と前記取得した画像の各画素値を変換した分散値に応じた重み付け和により背景画像を更新する背景画像更新手段と、前記取得した画像に対して荷重平均フィルタを使用し低周波数成分画像を生成する低周波数成分画像生成手段と、前記取得した画像と前記低周波数成分画像の差分から高周波数成分画像を生成する高周波数成分画像生成手段と、前記更新された背景画像と前記取得した画像との差異から人物らしさを算出する人物らしさ算出手段と、前記高周波数成分画像の各画素の値を前記算出された人物らしさの各画素の値を用いて抑制した抑制後の高周波数成分画像を生成する高周波数成分抑制手段と、前記生成した抑制後の高周波数成分画像と前記低周波数成分画像を合成し結果画像を生成する周波数成分合成手段と、前記生成した結果画像を出力する結果画像出力手段とを備えることを特徴とする。

本発明は、取得した画像中に存在する人物らしい領域に対して個人の特定ができなくなるように画像変換を行う画像処理装置上のコンピュータに画像処理を行わせる画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、取得した処理対象画像を含む処理対象画像以前の複数フレームの画像を元に、各画素の平均値を算出する平均値算出ステップと、算出した前記各画素の平均値と、それぞれのフレームの該当画素値が平均値から大きく外れている画素値を取り除く外れ値除去ステップと、前記外れ値として除去された値を除いたそれぞれのフレームの該当画素から分散値を算出する分散値算出ステップと、算出した前記分散値に対して、膨張処理、収縮処理を行い、分散値画像を生成する膨張収縮処理ステップと、前記分散値画像の各画素に対して多次元の変換式により変換を行う分散値変換ステップと、取得した前記画像と、一つ前のフレーム処理により生成された背景画像と、前記分散値に基づき、一つ前の背景画像が存在しない場合は前記取得した画像を背景画像とし、一つ前の背景画像が存在する場合は、前記背景画像と前記取得した画像の各画素値を変換した分散値に応じた重み付け和により背景画像を更新する背景画像更新ステップと、前記取得した画像に対して荷重平均フィルタを使用し低周波数成分画像を生成する低周波数成分画像生成ステップと、前記取得した画像と前記低周波数成分画像の差分から高周波数成分画像を生成する高周波数成分画像生成ステップと、前記更新された背景画像と前記取得した画像との差異から人物らしさを算出する人物らしさ算出ステップと、前記高周波数成分画像の各画素の値を前記算出された人物らしさの各画素の値を用いて抑制した抑制後の高周波数成分画像を生成する高周波数成分抑制ステップと、前記生成した抑制後の高周波数成分画像と前記低周波数成分画像を合成し結果画像を生成する周波数成分合成ステップと、前記生成した結果画像を出力する結果画像出力ステップとを前記コンピュータに行わせることを特徴とする。

本発明によれば、従来技術とは異なり、空間的に連続となる分散値を使用して変化のある領域を検出し、分散値の算出には連続する複数フレームの情報を使用しているため、時間的な連続性も保ちながら変化領域を検出することができるという効果が得られる。また、変化量の大きさに応じて背景を更新することにより、カメラ動作が含まれる場合においても、本来背景となる領域に対しては速やかに背景領域として判断することができ、且つ人物領域に関しては、人物が長時間その場に留まっていた場合においても、微動による画素値変化が大きくなることから、背景の更新速度を遅くすることができ、人物を検出し続けることが可能となる。

本発明の一実施形態の構成を示すブロック図である。 複数フレームと分散値の一例を示す説明図である。 モルフォロジー演算による膨張処理、収縮処理の一例を示す説明図である。 図１に示す装置の処理動作を示すフローチャートである。 図１に示す装置の処理動作を示すフローチャートである。 図１に示す装置の処理動作を示すフローチャートである。 図１に示す装置の処理動作を示すフローチャートである。

以下、図面を参照して、本発明の一実施形態による画像処理装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、画像を撮像するカメラである。符号２は、カメラ１から出力される画像を蓄積する画像蓄積部である。符号３は、画像蓄積部２に蓄積された画像の各画素に対して平均値を算出し、外れ値を除去した後に膨張処理、収縮処理を行うことにより分散値画像を生成する分散値画像生成部である。符号４は、画像蓄積部２に蓄積された複数枚の画像、及び分散値画像生成部３で生成された分散値画像から背景画像を生成し背景画像を蓄積する背景画像生成蓄積部である。符号５は、画像蓄積部２に蓄積された処理対象となる現在の画像を取得し、低周波数成分画像、高周波数成分画像を生成する周波数成分分離部である。

符号６は、画像蓄積部２に蓄積された処理対象となる現在の画像、分散値画像生成部３において生成された分散値画像、及び背景画像生成蓄積部４において生成された背景画像から、現在の画像と処理対象となる画像の差異を検出し、その差異及び分散値画像の各画素値から画素単位の人物らしさを算出し、算出した人物らしさに対して膨張処理、収縮処理を行った後、膨張処理、収縮処理後の人物らしさに応じて、周波数成分分離部５にて生成される高周波数成分画像の各画素値を抑制する高周波数成分抑制部である。符号７は、周波数成分分離部５にて生成された低周波数成分画像と高周波数成分抑制部６にて生成された高周波数成分画像を合成し結果画像を生成する結果画像合成部である。符号８は、結果画像合成部７にて生成された結果画像を出力する結果画像出力部である。

なお、分散値画像生成部３、背景画像生成蓄積部４、周波数成分分離部５、高周波数成分抑制部６及び結果画像合成部７における各処理は、コンピュータによって構成される。また、画像蓄積部２、分散値画像生成部３、背景画像生成蓄積部４、周波数成分分離部５、高周波数成分抑制部６及び結果画像合成部７は、カメラ１内部に備えられていてもよい。また、画像蓄積部２には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体が適用可能であり、また、ネットワークを介してリモートなデータ資源を利用する形態でも構わない。

次に、図２、３を参照して、本発明による画像生成の原理を説明する。本発明では、人物らしさとして対象となる画像の各画素成分の時間的な変化、及び背景画像との差分を用いる。カメラの動作（パン・チルト・ズーム）により背景が変化することも考慮し、複数フレームの情報から背景画像を逐次更新するが、その際、対象となる各画素について人物はふらつきがあり微少な動きの変化があるが、背景は動かないという前提のもと、各画素成分の時間的な変化量に応じて背景更新の速度を可変とする。変化量の小さい領域は背景である可能性が高いため、背景更新速度を高くすることで、カメラ動作後のそれらの領域については速やかに画素値が収束し、処理対象となる画像と背景との差分が小さくなることから、人物として検出されにくくなる。

一方、変化量の大きい領域は人物である可能性が高いため、背景更新速度を遅くする。これにより、人物が長時間その場に留まっていた場合でも、人物と背景との差分が常に大きくなり、人物として検出し続けることができる。ここで、各画素成分の時間的な変化としては画素値の分散を使用し、人物らしさの指標としては背景画像と処理対象となる画像との差分を用いる。また、背景更新に画素値の分散を加工した値を使用することで、閾値処理を行うこと無く、時間的、空間的に背景更新の速度を連続的に変化させることができる。同様に人物らしさの評価に使用する背景画像と処理対象画像との差分に対しても、差分を加工した値を使用することで時間的、空間的に連続した人物らしさを算出することが可能となる。

図２に、変化量算出の第一の段階の概念図を示す。ここでは、時系列画像を入力としており、最新の画像から過去複数枚に渡って画像を蓄積し、蓄積された画像から複数枚の画像を使用し、変化量として画素毎の分散値を算出する。図２に示すように、動きのある領域では分散値が大きくなるが、動きの無い領域では画素値の変化が少ないため、分散値は非常に小さな値となる。分散値の算出には、処理対象となる画像を含め複数枚の画像を使用するが、ここで図２の例では処理対象となる画像をＮ枚目とし、Ｎ枚目を基準に過去Ｍ枚目までの画像を使用して分散値を算出している。このとき、分散算出に使用した画像の枚数が少ない場合、１枚の画像による寄与率が大きくなり、瞬間的な変化に対して分散値が大きく変動するため、本来は変化の少ない領域であっても、分散値が大きく変動してしまう。

そこで、分散値の算出には十分多くの枚数の画像を使用し、且つ比較的少数フレームでの変化があった画素に対して、該当フレームの値を外れ値として取り除いた後、分散値を再算出する。このとき、処理対象画像および処理対象画像と時間的に近い画像に関しては、瞬間的な変化の有った場合においても外れ値として取り除かないことで、処理対象画像以前に瞬間的な変化のあった画素は分散値を抑制しつつ、処理対象画像において瞬間的な変化のあった画素では分散値を保存することができる。

長時間人物が同じ個所に留まっている場合、人物周辺領域は人物のふらつきによる動きがあるため、画素値の変化が大きくなり、分散値も大きくなる。しかしながら、空間的に画素値の変動が少ない人物中心付近の領域では、分散値も小さくなる。そこで、算出した分散値に対して、図３に示すモルフォロジー（ｍｏｒｐｈｏｌｏｇｙ）演算の膨張、収縮処理を行い、分散値の小さくなる人物中心付近の穴埋め処理を行う。膨張処理を行うことにより、人物周辺画素から人物中心、あるいは人物の外側の領域に対しても人物周辺領域と同じ大きな分散の値とすることができ、収縮処理を行うことで、人物の外側領域のみ分散値をより外側の小さな分散値とすることができる。

このようにして、人物領域では大きな分散値、それ以外の領域では小さな分散値となる分散値画像を生成する。ここで生成した分散値画像の画素値に応じて、画素値が大きいほど背景画像の更新速度を遅くする。背景更新には元となる背景画像に対して現在の画像を一定の寄与率で合成することにより生成することとし、現在の画像の寄与率を変化させることにより更新速度を変更する。更新した背景画像と処理対象となる画像の画素値の差分や正規化相互相関値により、背景画像と処理対象となる現在の画像の比較を行い、その差異を人物らしさとする。人物らしさには、この他に背景更新に使用した分散値画像の画素値を用い、それぞれを単独、もしくは組み合わせて生成する。

最後に、人物らしさに応じて、処理対象となる現在の画像の高周波数成分を抑制する。高周波数成分には、人物の形状や、顔の輪郭、目や鼻、口の輪郭情報が多く含まれており、これらの輪郭情報を抑制することにより個人を識別するための特徴も少なくなることから、高周波成分を抑制することで個人を特定することのできない画像変換を実現する。高周波数成分は、まず低周波数成分画像を生成し、処理対象となるフレーム画像と低周波数成分画像の差分を算出することで生成する。そのため、分散値画像の値の小さい領域は、元の高周波成分がそのまま保存されるため、元の処理対象フレーム画像が再現される。一方、分散値画像の値の大きい領域では、高周波成分を抑制するための画像変換が行われる。ここで、低周波成分画像を生成する際には、一般的に画像処理として使用される加重平均フィルタ、荷重値の一例としてはガウス関数を使用したガウシアンフィルタを使用する。

次に、図１に示す装置における各処理について説明する。カメラ１において取得された画像は画像蓄積部２に蓄積され、分散値画像生成部３において画像蓄積部２から処理対象画像を含む連続したＭ枚の画像を取得する。ここでＭは任意の枚数とする。次に、取得したＭ枚の画像の各画素に対して、（１）式により座標（ｘ，ｙ）における画素の平均値Ｉ￣（ｘ、ｙ）（￣はＩの頭に付く）を計算する。ここで、ｋは処理対象画像を０フレーム目とし、過去Ｍフレーム目までのフレーム番号、Ｉ_ｋ（ｘ，ｙ）は各フレームのフレーム番号ｋの座標（ｘ，ｙ）の画素値とする。

次に、各画素の平均値を計算した後、平均値からの差分が一定の閾値以上の場合、該当する差分の大きい任意の点数を外れ値として除去し、除去後の画素値に対して（２）式により分散値を計算する。このとき、処理対象フレームの画素は外れ値として選択されないものとする。

全ての画素に対して同様の処理を行った後、モルフォロジ演算の膨張処理、収縮処理を行う。膨張処理は、任意の画素Ｓ（ｘ，ｙ）に対して、隣接する８画素の中から最大の値を画素Ｓ（ｘ，ｙ）の値とする演算を、任意の回数実施する。同様に、収縮処理は任意の画素Ｓ（ｘ，ｙ）に対して、隣接する８画素の中から最小となる画素の値を、画素Ｓ（ｘ，ｙ）の値とする演算を任意の回数実施する。ここで、膨張処理、収縮処理の実行回数は同じ回数とする。次に、モルフォロジ演算処理後の各画素の値Ｓ’（ｘ，ｙ）に対して、多次元関数により変換する。（３）式、（４）式に、それぞれ一次関数、二次関数により変換する場合の例を示す。ここで、（３）式、（４）式のａ、ｂ、ｃはそれぞれ任意の定数を表す。
Ｓ”（ｘ，ｙ）＝ａ×Ｓ’（ｘ，ｙ）＋ｂ ・・・（３）
Ｓ”（ｘ，ｙ）＝ａ×Ｓ’（ｘ，ｙ）×Ｓ’（ｘ，ｙ）＋ｂ×Ｓ’（ｘ，ｙ）＋ｃ ・・・（４）

次に、変換後の各画素の値Ｓ”（ｘ，ｙ）を用いて、背景画像生成蓄積部４において（５）式により背景画像Ｂｇ（ｘ，ｙ）を生成する。ここで、Ｂｇ’（ｘ，ｙ）はひとつ前のフレーム処理により生成される旧背景画像の座標（ｘ，ｙ）の画素値、Ｃｏｅｆはカメラ１にて取得される画像の時間間隔、及び撮影対象となる範囲での人物の移動速度などにより設定する任意の値Ｉ_０（ｘ，ｙ）は処理対象画像の座標（ｘ，ｙ）における画素値を表す。
Ｂｇ（ｘ，ｙ）＝（１−Ｃｏｅｆ÷Ｓ”（ｘ，ｙ））×Ｂｇ’（ｘ，ｙ）＋Ｃｏｅｆ÷Ｓ”（ｘ，ｙ）×Ｉ_０（ｘ、ｙ） ・・・（５）

背景画像生成蓄積部４の処理と並行、あるいは背景画像生成蓄積部４の処理終了後、周波数成分分離部５において低周波数成分画像を生成する。低周波数成分画像は、処理対象画像に対して荷重平均フィルタを使用して生成することができる。次に、処理対象画像と低周波数成分画像の各画素値の差分から、（６）式により高周波数成分画像を生成する。（６）式のＬ（ｘ，ｙ）、Ｈ（ｘ，ｙ）はそれぞれ低周波数成分画像、高周波数成分画像の座標（ｘ，ｙ）における画素値を表す。
Ｈ（ｘ，ｙ）＝Ｉ_０（ｘ、ｙ）−Ｌ（ｘ，ｙ） ・・・（６）

次に、高周波数成分抑制部６において、背景画像生成蓄積部４において生成した背景画像ＢＧ（ｘ，ｙ）と、画像蓄積部２に蓄積された処理対象画像から人物らしさとしてそれぞれの画像の各画素値の差異を算出する。差異の算出には各画素値の差分や正規化相互相関を使用する。差異算出の例として各画素値の差分を用いる場合は、各画素の差分Ｄ（ｘ，ｙ）は（７）式により算出する。また、正規化相互相関を使用する場合は、相関値と差異の大小の関係が差分とは逆になるため、算出した相関値の逆数を用いる。
Ｄ（ｘ，ｙ）＝｜Ｉ_０（ｘ、ｙ）−ＢＧ（ｘ，ｙ）｜ ・・・（７）

次に、算出した人物らしさＤ（ｘ，ｙ）の各画素値を用いて、高周波数成分画像Ｈ（ｘ，ｙ）の各画素値を抑制する。高周波数成分画像Ｈ（ｘ，ｙ）の各画素値の抑制は、人物らしさＤ（ｘ，ｙ）が大きくなるほど抑制の度合いが大きくなる関数を使用し、その関数により算出される係数により高周波数成分画像Ｈ（ｘ，ｙ）の各画素値を抑制する。ここで、使用する関数としては、人物らしさＤ（ｘ，ｙ）の各画素値の多次元関数を使用することとする。関数の一つの例として、（８）式、（９）式にそれぞれ一次関数、二次関数を用いた場合の例を示す。ここで、（８）式、（９）式のａ’、ｂ’、ｃ’はそれぞれ任意の定数、Ｃ（ｘ，ｙ）は高周波数成分画像Ｈ（ｘ，ｙ）の各画素の抑制に使用する、座標（ｘ，ｙ）における計数を表す。
Ｃ（ｘ，ｙ）＝ａ’×Ｄ（ｘ，ｙ）＋ｂ’ ・・・（８）
Ｃ（ｘ，ｙ）＝ａ’×Ｄ（ｘ，ｙ）×Ｄ（ｘ，ｙ）＋ｂ’×Ｄ（ｘ，ｙ）＋ｃ’ ・・・（９）

高周波数成分画像Ｈ（ｘ，ｙ）の各画素値の抑制は、（１０）式に示すように高周波数成分画像の各画素値Ｈ（ｘ，ｙ）を（８）式または（９）式により算出した各画素に対応する係数Ｃ（ｘ，ｙ）で除算することにより行う。ここで、Ｈ’（ｘ，ｙ）は抑制後の高周波数成分画像の座標（ｘ，ｙ）における画素値を表す。
Ｈ’（ｘ，ｙ）＝Ｈ（ｘ，ｙ）÷Ｃ（ｘ，ｙ） ・・・（１０）

次に、高周波数成分抑制部６にて生成した抑制後の高周波数成分画像Ｈ’（ｘ，ｙ）と、周波数成分分離部５にて生成した低周波数成分画像を、結果画像合成部７にて（１１）式により合成し、結果画像Ｉ’（ｘ，ｙ）を生成し、結果画像出力部８にて結果画像Ｉ’（ｘ，ｙ）を出力する。
Ｉ’（ｘ，ｙ）＝Ｌ（ｘ，ｙ）＋Ｈ’（ｘ，ｙ） ・・・（１１）

次に、図１に示す装置の動作を説明する。図１に示す画像処理装置は、蓄積されている処理対象画像を含む連続した複数枚の画像から画像中の変化に着目して背景画像を生成する処理動作と、処理対象画像から低周波数成分画像、高周波数成分画像を生成する処理動作と、背景画像、処理対象画像、高周波数成分画像、低周波数成分画像から人物らしさの高い領域に対してより強い画像変換を行う処理動作からなる。

始めに、背景画像を生成する処理動作を説明する。まず、処理対象画像を含む処理対象画像以前の複数枚の画像を画像蓄積部２から取得し、それらの画像の各画素値の時間軸上での平均値を算出した平均値画像を生成する。続いて、各画素に対して複数枚の画像の該当する位置の画素との差分を算出し、差分が一定の式入りを超えた場合は外れ値として該当する画素を除外する。このとき、処理対象画像の該当する画素に関しては、外れ値の除去を行わないものとする。

次に、外れ値を除外した複数枚の画像の各画素値に対して、分散値を算出し、画素に該当する位置に算出した分散値を持つ画像を生成する。以上の処理を全ての画素に対して行った後、分散値を持つ画像の各画素に対して、周辺８画素の最大値を該当画素の値とする膨張処理を複数回実施し、次いで周辺８画素の最小値を該当画素の値とする収縮処理を複数回実施する。このとき、膨張処理の回数、収縮処理の回数は任意の回数とする。以上の処理により生成された画像を分散値画像と呼び、各画素の値は処理対象画像の該当する位置に対する変化の大きさを表す。

次に、分散値画像、処理対象画像、基準となる背景画像（以降、基準画像）から、背景画像を更新する。基準画像は、ひとつ前の処理で生成した背景画像を使用するものとし、初期状態では背景画像が存在しないことから、画像蓄積部２に蓄積された最初の画像を使用することとする。背景画像の更新は、基準画像と処理対象画像の各画素値を分散値画像の各画素の値を加工した値により重み付けすることにより行う。

次に、処理対象画像から高周波数成分画像、低周波数成分画像を生成する処理動作を説明する。まず、画像蓄積部２より処理対象画像を取得し、処理対象画像に対してガウシアンフィルタを適用することにより低周波数成分画像を生成する。高周波数成分画像は、生成した低周波数成分画像と処理対象画像の各画素の差分を求めることで算出することができる。ここで、処理対象画像は背景画像を生成するフローと同じフレームの画像とする。

次に、背景画像と処理対象画像、高周波数成分画像、低周波数成分画像から画像変換を行う処理動作を説明する。まず、背景画像と処理対象画像の各画素値の差異に応じて、差異が大きい程、高周波数成分画像の該当する画素の値を抑制する。背景画像と処理対象画像との差異は、各画素値の差分の絶対値、もしくは正規化相互相関により算出される相関値の逆数とする。人物が長時間留まっている場合、人物中心は人物の周辺領域に比べ、差異が小さくなる傾向があることから、人物中心部での検出漏れを低減するため、全ての画素に対して差異を算出し終えた後、差異に対して膨張処理、収縮処理を行う。ここで、膨張処理、収縮処理後の背景画像と処理対象画像の差異を人物らしさとして定義する。高周波数成分画像の各画素値の抑制の一つの例としては、算出した人物らしさの各画素値を一次関数もしくは二次関数により変換し、変換した値を以て高周波数成分画像の該当する画素値を除算することにより行うことができる。上記処理により生成した高周波数成分画像の各画素値と、該当する画素の低周波数成分画像の画素値を加算することにより、人物らしさの大きい画素ほど、より高周波数成分が抑制された画像を結果画像として生成する。

次に、図４を参照して、前述した図１に示す装置の処理動作を説明する。まず、カメラ１で撮影した画像を画像蓄積部２に蓄積する（ステップＳ１）。次に、分散値画像生成部３は、画像蓄積部２に蓄積されている複数のフレーム画像から画素毎に平均値を算出し（ステップＳ２）、画素値が平均値から大きく外れている場合は該当するフレームの画素値を除外する（ステップＳ３）。続いて、分散値画像生成部３は、外れ値を除去した複数フレームの該当画素値から分散値を計算する（ステップＳ４）。そして、分散値画像生成部３は、全ての画素に対して処理が終了しているかどうかを確認し（ステップＳ５）、未処理の画素が残されている場合は、該当画素の処理を行い、未処理画素が無くなった時点で、膨張収縮処理を複数回実施し（ステップＳ６）、背景画像を更新する。

次に、背景画像生成蓄積部４は、取得した処理対象画像と、分散値画像生成部３が生成した分散値画像から、背景画像を生成する（ステップＳ７）。背景画像生成には元となる背景画像が必要となるため、初期値としてステップＳ１において取得した最初の画像を背景画像として使用する。

一方、周波数成分分離部５は、ステップＳ２からステップＳ７の処理と並行、あるいは逐次的に、ステップＳ１で取得した処理対象画像から低周波数成分画像を生成する（ステップＳ８）。そして、周波数成分分離部５は、生成された低周波数成分画像と、取得した処理対象画像の各画素値の差分を算出し、高周波数成分画像を生成する（ステップＳ９）。

次に、高周波数成分抑制部６は、取得した処理対象画像と、生成した背景画像との比較を行い、その差異を以て高周波数成分画像の各画素の値を抑制する（ステップＳ１０）。高周波数成分画像の各画素値の抑制には、処理対象画像と背景画像との差異を用いることとし、差異の算出には処理対象画像と背景画像の差分、あるいは処理対象画像と背景画像との正規化相互相関を算出しその相関値を使用する。差異が大きな場合、差分は大きくなり、相関値は小さくなることから、抑制には差異が大きくなるほど値が大きくなるよう、差分や相関値が差異の大小に対して同様の傾向となるよう加工して使用する。高周波数成分画像の各画素の抑制には、処理対象画像と背景画像との差異が大きくなるほど強く抑制を行う。

次に、結果画像合成部７は、生成した低周波数成分画像と、生成した抑制後の高周波数成分画像を合成し（ステップＳ１１）、結果画像出力部８は、この結果画像を出力する（ステップＳ１２）。

なお、図４に示す画像変換を行う処理動作（ステップＳ１０）において背景画像（ステップＳ７で得られた画像）、処理対象画像（ステップＳ１で得られた画像）、高周波数成分画像（ステップＳ９で得られた画像）、低周波数成分画像（ステップＳ８で得られた画像）から人物らしさの高い領域に対してより強い画像変換を行う例を説明したが、図５に示すように、生成した人物らしさに対して、分散値画像（ステップＳ６で得られた画像）の各画素値を乗算するようにしてもよい。

また、図４に示す分散値画像を算出する処理動作では外れ値除去処理（ステップＳ３）において該当する画素の平均値を使用する例を説明したが、外れ値除去処理（ステップＳ３）で使用する平均値の代わりに、図６に示すように、画素の値を昇順または降順に並び替えて（ステップＳ１３）、中央値を算出する（ステップＳ１４）ことにより、外れ値を除去するようにしてもよい。また、図５に示す外れ値除去処理（ステップＳ３）で使用する平均値の代わりに、同様に図７に示すように、画素の値を昇順または降順に並び替えて（ステップＳ１３）、中央値を算出する（ステップＳ１４）ことにより、外れ値を除去するようにしてもよい。

また、前述した分散値画像を算出する処理動作において処理対象画像を含む処理対象画像以前の複数枚の画像を使用して、分散値画像を生成する際に、カメラ１にて取得した画像を処理対象画像として使用し、画像取得間隔以下の時間内に全ての処理を行うことで、実時間での処理を行うことができることを説明した。このとき、画像蓄積装置２より処理対象画像を含む前後複数枚の画像を使用する、すなわち処理対象画像を中心とした過去と未来の画像を使用することにより、実時間での処理はできなくなるが、過去だけでなく未来の動きも含めた分散値画像を算出することができるため、分散値画像を算出する際に処理対象画像を中心とした前後複数枚の画像を使用するようにしてもよい。

また、前述した背景画像を生成する処理動作における各画素の分散値を算出する際に、任意枚数の画像の各画素の値、及びそれぞれの画像の該当する画素の値の時間軸上での平均値を使用する例を説明した。しかし、分散値は算出の基となる値の大小により、絶対的な変化量が大きくなることから、使用する複数枚の画像の輝度分布が絶対的に低い場合、相対的な変化量が大きくても分散値が小さくなるため、分散値算出の際に、画素毎に平均値、分散値を算出するのではなく、まず全ての画像に対して平均値を算出し、算出した平均値の輝度値の空間的な分布に基づき、分散値を正規化するようにしてもよい。

以上説明したように、従来技術とは異なり、空間的に連続となる分散値を使用して変化のある領域を検出し、分散値の算出には連続する複数フレームの情報を使用しているため、時間的な連続性も保ちながら変化領域を検出することができる。また、変化量の大きさに応じて背景を更新することにより、カメラ動作が含まれる場合においても、本来背景となる領域に対しては速やかに背景領域として判断することができ、且つ人物領域に関しては、人物が長時間その場に留まっていた場合においても、微動による画素値変化が大きくなることから、背景の更新速度を遅くすることができ、人物を検出し続けることが可能となる。

なお、図１に示す分散値画像生成部３、背景画像生成蓄積部４、周波数成分分離部５、高周波数成分抑制部６及び結果画像合成部７の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより人物らしい領域に対して個人が特定できないように画像変換を行う画像処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

公共の場所に設置された撮像装置（例えば、監視カメラ等）で撮影された時系列画像から、人物らしい領域に対して個人が特定できないように画像変換を行うことが不可欠な用途に適用できる。

１・・・カメラ、２・・・画像蓄積部、３・・・分散値算画像生成部、４・・・背景画像生成蓄積部、５・・・周波数成分分離部、６・・・高周波数成分抑制部、７・・・結果画像合成部、８・・・結果画像出力部

Claims (8)

1. 取得した画像中に存在する人物らしい領域に対して個人の特定ができなくなるように画像変換を行う画像処理方法であって、
   取得した処理対象画像を含む処理対象画像以前の複数フレームの画像を元に、各画素の平均値を算出する平均値算出ステップと、
   算出した前記各画素の平均値と、それぞれのフレームの該当画素値が平均値から大きく外れている画素値を取り除く外れ値除去ステップと、
   前記外れ値として除去された値を除いたそれぞれのフレームの該当画素から分散値を算出する分散値算出ステップと、
   算出した前記分散値に対して、膨張処理、収縮処理を行い、分散値画像を生成する膨張収縮処理ステップと、
   前記分散値画像の各画素に対して多次元の変換式により変換を行う分散値変換ステップと、
   取得した前記画像と、一つ前のフレーム処理により生成された背景画像と、前記分散値に基づき、一つ前の背景画像が存在しない場合は前記取得した画像を背景画像とし、一つ前の背景画像が存在する場合は、前記背景画像と前記取得した画像の各画素値を変換した分散値に応じた重み付け和により背景画像を更新する背景画像更新ステップと、
   前記取得した画像に対して荷重平均フィルタを使用し低周波数成分画像を生成する低周波数成分画像生成ステップと、
   前記取得した画像と前記低周波数成分画像の差分から高周波数成分画像を生成する高周波数成分画像生成ステップと、
   前記更新された背景画像と前記取得した画像との差異から人物らしさを算出する人物らしさ算出ステップと、
   前記高周波数成分画像の各画素の値を前記算出された人物らしさの各画素の値を用いて抑制した抑制後の高周波数成分画像を生成する高周波数成分抑制ステップと、
   前記生成した抑制後の高周波数成分画像と前記低周波数成分画像を合成し結果画像を生成する周波数成分合成ステップと、
   前記生成した結果画像を出力する結果画像出力ステップと
   を有することを特徴とする画像処理方法。
2. 前記人物らしさ算出ステップにより算出された人物らしさに対して、前記分散値変換ステップにより変換された分散値を乗算することを特徴とする請求項１記載の画像処理方法。
3. 前記平均値算出ステップに代えて、複数フレームの該当する画素値を並べ替える画素値並べ替えステップと、前記並べ替えた画素値から中央値を算出する中央値算出ステップを有し、前記外れ値除去ステップにおいて、平均値との差分ではなく前記中央値算出ステップにより算出された中央値とそれぞれのフレームの該当画素の値から中央値から大きく外れている画素値を取り除くことを特徴とする請求項１または請求項２記載の画像処理方法。
4. 前記平均値算出ステップ、前記外れ値除去ステップ、分散値算出ステップにおいて、処理対象画像を含む処理対象画像以前の複数枚の画像だけでなく、処理対象画像以降の画像も使用することを特徴とする請求項１から請求項３のいずれかに記載の画像処理方法。
5. 前記分散値算出ステップにて算出される分散値を、前記平均値算出ステップにて算出される各画素の平均値の輝度値の空間的な分布、及び任意の定数を用いることで正規化することを特徴とする請求項１から請求項４のいずれかに記載の画像処理方法。
6. 任意の各ステップの処理を実施する際、線形変換などにより画像を縮小し、画像の画素数を削減することにより処理速度を向上させることを特徴とする請求項１から請求項５のいずれかに記載の画像処理方法。
7. 取得した画像中に存在する人物らしい領域に対して個人の特定ができなくなるように画像変換を行う画像処理装置であって、
   取得した処理対象画像を含む処理対象画像以前の複数フレームの画像を元に、各画素の平均値を算出する平均値算出手段と、
   算出した前記各画素の平均値と、それぞれのフレームの該当画素値が平均値から大きく外れている画素値を取り除く外れ値除去手段と、
   前記外れ値として除去された値を除いたそれぞれのフレームの該当画素から分散値を算出する分散値算出手段と、
   算出した前記分散値に対して、膨張処理、収縮処理を行い、分散値画像を生成する膨張収縮処理手段と、
   前記分散値画像の各画素に対して多次元の変換式により変換を行う分散値変換手段と、
   取得した前記画像と、一つ前のフレーム処理により生成された背景画像と、前記分散値に基づき、一つ前の背景画像が存在しない場合は前記取得した画像を背景画像とし、一つ前の背景画像が存在する場合は、前記背景画像と前記取得した画像の各画素値を変換した分散値に応じた重み付け和により背景画像を更新する背景画像更新手段と、
   前記取得した画像に対して荷重平均フィルタを使用し低周波数成分画像を生成する低周波数成分画像生成手段と、
   前記取得した画像と前記低周波数成分画像の差分から高周波数成分画像を生成する高周波数成分画像生成手段と、
   前記更新された背景画像と前記取得した画像との差異から人物らしさを算出する人物らしさ算出手段と、
   前記高周波数成分画像の各画素の値を前記算出された人物らしさの各画素の値を用いて抑制した抑制後の高周波数成分画像を生成する高周波数成分抑制手段と、
   前記生成した抑制後の高周波数成分画像と前記低周波数成分画像を合成し結果画像を生成する周波数成分合成手段と、
   前記生成した結果画像を出力する結果画像出力手段と
   を備えることを特徴とする画像処理装置。
8. 取得した画像中に存在する人物らしい領域に対して個人の特定ができなくなるように画像変換を行う画像処理装置上のコンピュータに画像処理を行わせる画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
   取得した処理対象画像を含む処理対象画像以前の複数フレームの画像を元に、各画素の平均値を算出する平均値算出ステップと、
   算出した前記各画素の平均値と、それぞれのフレームの該当画素値が平均値から大きく外れている画素値を取り除く外れ値除去ステップと、
   前記外れ値として除去された値を除いたそれぞれのフレームの該当画素から分散値を算出する分散値算出ステップと、
   算出した前記分散値に対して、膨張処理、収縮処理を行い、分散値画像を生成する膨張収縮処理ステップと、
   前記分散値画像の各画素に対して多次元の変換式により変換を行う分散値変換ステップと、
   取得した前記画像と、一つ前のフレーム処理により生成された背景画像と、前記分散値に基づき、一つ前の背景画像が存在しない場合は前記取得した画像を背景画像とし、一つ前の背景画像が存在する場合は、前記背景画像と前記取得した画像の各画素値を変換した分散値に応じた重み付け和により背景画像を更新する背景画像更新ステップと、
   前記取得した画像に対して荷重平均フィルタを使用し低周波数成分画像を生成する低周波数成分画像生成ステップと、
   前記取得した画像と前記低周波数成分画像の差分から高周波数成分画像を生成する高周波数成分画像生成ステップと、
   前記更新された背景画像と前記取得した画像との差異から人物らしさを算出する人物らしさ算出ステップと、
   前記高周波数成分画像の各画素の値を前記算出された人物らしさの各画素の値を用いて抑制した抑制後の高周波数成分画像を生成する高周波数成分抑制ステップと、
   前記生成した抑制後の高周波数成分画像と前記低周波数成分画像を合成し結果画像を生成する周波数成分合成ステップと、
   前記生成した結果画像を出力する結果画像出力ステップと
   を前記コンピュータに行わせることを特徴とする画像処理プログラムを記録した記録媒体。

Images