JP4527710B2 - ノイズ処理方法 - Google Patents

Description

本発明は、人が通る監視領域を単一の撮像手段で撮像した２次元の撮像画像から人と周囲との濃度差を利用して人検出を行う人検出装置における人以外のノイズ画像を検出し除去するノイズ処理方法に関するものである。

従来、人検出を行うための物体認識方法として、ＣＣＤカメラ等の撮像手段によって撮像された監視領域の２次元画像に対して物体像と背景像との濃度差を利用して物体像の輪郭部の法線ベクトルを求めて人検出する所謂ベクトル焦点法が知られている（特許文献１、特許文献２、特許文献３）。

このベクトル焦点法において、物体像の輪郭部の法線ベクトルを求めるには、図４に示すように、撮像画像１内の物体像Ｂと背景像Ａとの濃度差を利用して、撮像画像１上で等間隔に配置した各処理点Ｐについてその処理点Ｐを中心点とする円１１の円周上での各画素ｄ１〜ｄ１２のピクセル値に対し基本波フーリエ変換を実行し、基本波フーリエ変換にて得られる位相を上記処理点Ｐにおける物体像Ｂの輪郭部に対する法線ベクトルとして得る所謂円形フーリエ法による手法が用いられる（特許文献３）。

そして、人検出を行うには、図６（ａ）に示すように、まず、撮像画像１上の任意の配置点Ｑを基準に標準人型像Ｓを配置し、上記円形フーリエ法により標準人型像Ｓの輪郭部における法線ベクトル群ｂを求め、配置点Ｑから法線ベクトル群ｂまでの位置情報と法線ベクトル群ｂの角度情報を、当該配置点Ｑの標準データとして記憶する。
次に、図６（ｂ）に示すように、監視時に移動する物体像Ｏが映された撮像画像１に対して上記円形フーリエ法により物体像Ｏの輪郭部における法線ベクトル群ｂ’を求め、上記標準データに基づいてこれら法線ベクトル群ｂ’から上記配置点Ｑに相当する複数の正解点を求め、これら正解点が集まった所謂ベクトル焦点Ｇが一定値以上であれば、その物体像Ｏは人であると認識する（特許文献１、特許文献２）。
以上のようにして人検出が行われる。
特許第３４０６５８７号公報 特許第３３９０４２６号公報 特許第３４０６５７７号公報

ところで、一般に、人検出に際して、部屋への入退室者を上方から撮像する撮像手段によって監視する場合、スイング式やスライド式に開閉するドアが開かれる側に撮像手段を設置すると、開閉されるドアを人と誤認識する可能性がある。
すなわち、図７を参照して、（１）人の出入りに伴うドアの動きが人の速度と同程度であること、（２）ドアの上端部が撮像手段の近くで映されるため、撮像画像上ではドア枠の厚みＤｗが人と同程度の物体像の厚みとなり得ること（図７（ａ）参照）等から、開閉動作するドア画像Ｄを人の画像ｈであると誤認識することがあり得る（図７（ｂ）中、符号ｈ’で示す点線部分）。

例えば、認証者のみの入退室の検証に人数計数を行って認証者と一緒に入退室する共連れ検出を行う際に、人検出の技術を応用して人数計数するとき、開閉するドア画像を人であると誤認識する可能性があれば、人とドアの組み合わせを二人連れ（共連れ）と誤認することとなり、人数計数や共連れ検出の信頼性が損なわれてしまうことになる。

本発明は、上記事情に鑑みてなされたものであり、人検出を上述の所謂ベクトル焦点法を用いて行うに際し、ドア等の人以外の物体像をノイズ画像として的確に除去できるノイズ処理方法を提供することを課題とする。

本発明に係るノイズ処理方法は、
人が通る監視領域を単一の撮像手段で撮像した２次元の撮像画像から人と周囲との濃度差を利用して人検出を行う人検出装置における人以外のノイズ画像を検出し除去するノイズ処理方法であって、
撮像手段の設置時の撮像画像において地面に対する鉛直方向を解析して各画素に鉛直方向を設定し、撮像画像上の各位置において人の高さ相当の鉛直線を形成する画素の数を指定してあり、
監視時の撮像画像において等間隔に配置する処理点ごとにその処理点を中心点とする円の円周上での各画素のピクセル値に対し基本波フーリエ変換を実行し、得られた位相より処理点となった画素ごとに物体像の輪郭線方向を求めるステップと、
輪郭線方向が予め設定した鉛直方向と一致している画素を全て選び、選んだ画素が鉛直方向へ連続している鉛直線部分を特定するステップと、
１本の鉛直線部分を形成している画素の数がこの鉛直線部分の撮像画像上の位置に予め指定した人の高さ相当の画素の数よりも多い場合は、その鉛直線部分の画素データを人検出には無効な画素データとするステップとを有する。

撮像手段の設置時の撮像画像において地面に対する鉛直方向を解析して各画素に鉛直方向を設定することで、撮像画像の画素ごとに実空間での鉛直方向が認識される。

そして、監視時の撮像画像において処理点を中心点とする円周上に各画素のピクセル値に対し基本波フーリエ変換を実行すると、この円周内に存在する画像の濃淡方向の位相が求められる。なお、画像の濃淡は、２次元の撮像画像での物体像と周囲との境界、すなわち物体像の輪郭部として認識される。従って、円周上での基本波フーリエ変換で得られた位相より、物体像の輪郭線方向が認識される。この輪郭線方向が処理点となった画素ごとに求められる。

次いで、輪郭線方向が予め設定された鉛直方向と一致している画素を全て選び、選んだ画素が鉛直方向へ連続している鉛直線部分を特定することで、物体像の輪郭線において鉛直方向に延びている鉛直線部分が抽出される。なお、ここで「一致」とは、完全一致のみならず一定許容範囲内にある場合も含む。

そして、１本の鉛直線部分を形成している画素の数がこの鉛直線部分の撮像画像上の位置に予め指定した人の高さ相当の画素の数よりも多い場合は、その鉛直線部分の長さが指定した人の高さ相当よりも長いとき、このことをもって人以外の物体（例えば、ドア）であると認定できる。この場合、その鉛直線部分の画素データは、人検出には無効な画素データとして除去されるので、人以外の物体像（例えば、ドア画像）は、ノイズ画像として的確に除去することができる。

本発明によれば、人の高さよりも長い鉛直線部分を持つ物体像を人以外の物体像として瞬時に判別し、これをノイズ画像として容易に且つ的確に除去することができるので、人検出の精度を高くすることができる。
例えば、スイング式またはスライド式に開閉するドア画像のように一定の厚みを有して移動する人以外の物体像は、ノイズ画像として容易に且つ瞬時に除去されるので、このような物体が人と誤認されることを防止することができる。

以下に、本発明の実施の形態について添付図面を参照しながら説明する。
なお、この実施の形態は、本発明に係るノイズ処理方法を、人が通る監視領域を単一の撮像手段で撮影した２次元の撮像画像から人と周囲との濃度差を利用して人検出を行う人検出システムに応用した例である。そして、この人検出システムは、人検出のための前処理として、人以外のノイズ画像を検出し除去するノイズ処理工程を有し、これによって、精度の高い人検出を行えるようにしている。

図１に示すように、実施の形態による人検出システムは、スイング式に開閉するドア４の開き側の天井に設置して部屋の出入口付近（監視領域）を常時撮像するＣＣＤカメラ等の撮像手段２と、この撮像手段２で撮影した２次元の撮像画像から人と周囲との濃度差を利用して人検出を行う人検出ユニット３とを備え、部屋に出入りする人の検出を行うようにしている。この人検出ユニット３には、人検出部３２のほか、人以外のノイズ画像となるドア画像Ｄ（図３参照）を検出し除去するノイズ処理部３１を有する。

１．ノイズ処理のための初期設定
上記ノイズ処理部３１におけるノイズ処理の初期設定は、図２のフローチャートのステップＳ１、Ｓ２であり、次の（１）（２）の手順で行われる。
（１）「鉛直方向の決定と記憶（初期化）」
撮像手段２の設置時の撮像画像１において地面Ｆに対する鉛直方向を解析して各画素に鉛直方向を設定する（Ｓ１）。
すなわち、ＣＣＤカメラ等の撮像手段２を人が通過する場所の天井に設置したとき、そのカメラ２の設置高さ、水平方向、鉛直方向、回転方向の３軸方向と、カメラ２のレンズ係数より、画像における地面Ｆ水平面を求め、その地面Ｆ水平面から出る画像１内の鉛直軸を決定する。そして、画像１内の各画素の場所における鉛直方向を画素ごとに画素データとして初期化のとき記録する。なお、画像１の全画素ごとに鉛直方向を記憶しておくことでもよいが、例えば、縦横１０画素単位程度に鉛直方向を記憶しておけば、メモリの記憶容量を少なくし、且つ実用上十分な精度が維持できる。以上の処理により、撮像画像１の画素ごとに実空間での鉛直方向が認識される。

（２）「人の高さの指定」
撮像手段２の設置時の撮像画像１上の各位置における人の高さ相当の鉛直線を形成する画素の数を指定する（Ｓ２）。
ここで、人の高さに関する基準値として、一般的に想定される最大長身者を、その画像の鉛直線部分の長さによってノイズ処理の対象物、例えばドアと確実に区別できるような基準値を設定する。この例では、具体的に１６００ｍｍ程度の鉛直線に相当する画素数をその高さの基準とする。なお、この１６００ｍｍは、一例であるので、監視対象、撮像手段２の設置環境等に応じて適切な数値を設定する。これにより、画像１上の物体像を直接認識しなくても、その物体像の鉛直線部分を形成する画素数を数えることで、その物体像が人よりも高いドア（ノイズ画像）か否かの判別が行える。

２．ノイズ処理
ノイズ処理は、図２のフローチャートのステップＳ３〜Ｓ９であり、次の（１）（２）（３）の手順で行われる。
（１）「鉛直方向の画素の発見」
監視時の撮像画像１において等間隔に配置する処理点ごとにその処理点を中心点とする円の円周上での各ピクセル値に対し基本波フーリエ変換を実行する（Ｓ３）。
例えば、図４を参照して、デジタル化した２次元撮像画像１の全画素に対し、水平、垂直ともに２画素単位に処理点Ｐを配置し、その処理点Ｐを中心点とする半径２画素の円１１を描き、その円周上の１２箇所の画素点ｄ１〜ｄ１２のピクセル値に対し、下記式（１）に示す基本波フーリエ変換を実行していく（円形フーリエ法）。なお、基本波とは、上記処理点Ｐを中心点とする円周の１周期分の長さとなる正弦波および余弦波を意味する。

（式（１）中、ＳＶは画素のピクセル値にフーリエ変換の正弦波を積和した積和値、ＣＶは画素のピクセル値にフーリエ変換の余弦波を積和した積和値、ＡＴＡＮはアークタンジェント、ｓｉｔａはフーリエ変換で得られる位相値、を示す。）

このフーリエ変換で得られる位相が、円周内に存在する画像の濃淡方向を示し、その中心点の処理点Ｐの画素における画像の濃淡方向となる。すなわち、この濃淡方向は、２次元の撮像画像１での物体Ｂとその周囲の背景Ａとの境界、すなわち物体Ｂの輪郭として認識される。

例えば、図５（ａ）に示すように円１１が物体Ｂにかかった状態のとき、図５（ａ）中に示す基準位置から半時計方向に回転させてフーリエ変換を実行し、正弦波および余弦波に円周上の各画素のピクセル値を積算すると、図５（ｂ）に示すように、９０度付近で波形のピークが現れる。その結果、上記の円形フーリエ法で得られた位相がちょうど物体Ｂの輪郭部に対する法線方向を示すものとなる。なお、図５（ｂ）において、ｓｉｎは正弦波、ｃｏｓは余弦波、ｓ・ｐは正弦波とピクセル値とを積算した波形、ｃ・ｐは余弦波とピクセル値とを積算した波形を示している。

但し、上記の円周内には物体像Ｂの輪郭部が入っておらず、円周内の画像がほとんど均一な濃度分布のところを除くため、下記式（２）に示す、前記ＳＶおよび前記ＣＶの二乗和の平方根の値（ｐｏｗ）が一定値以下のときはこの処理点Ｐには濃淡が無いとして扱う。

次いで、基本波フーリエ変換で得られた位相より処理点Ｐとなった画素ごとに物体像の輪郭線方向を求める（Ｓ４）。
すなわち、上記円形フーリエ法で得られた位相が物体の輪郭部に対する法線方向を示すので、この法線方向の９０度方向が当該処理点Ｐの画素における物体の輪郭線方向として求められる。この輪郭線方向を処理点Ｐとなった画素ごとにすべて求める。

（２）「鉛直画素の積算」
輪郭線方向が予め設定した鉛直方向と一致している画素を全て選ぶ（Ｓ５）。
すなわち、上記ステップＳ４で求めた輪郭線方向が、上記ステップＳ１で予め設定した鉛直方向と一致している全ての画素を求める。ここで、一致とは、完全に一致する場合のみならず、概ね一致する場合も含む。概ね一致とは、例えば、３６０度に対し、１／１６の±２２．５度の範囲にある場合のように、一定許容範囲内にある場合も、輪郭線方向が鉛直方向と一致しているものと扱うことを意味する。
なお、このとき、長時間静止している画素、すなわち鉛直方向の角度が長時間変化しない画素を背景の画素として無効なものと扱ってもよく、これにより、処理が早くなる。

次いで、選んだ画素が鉛直方向へ連続している鉛直線部分Ｌを特定する（Ｓ６、図３（ｂ）参照）。
すなわち、輪郭線方向が鉛直方向を向いている画素が鉛直方向へ連続して並んでいる画素群を求める。これにより、物体像Ｄ，ｈの輪郭線において鉛直方向に延びている鉛直線部分Ｌが抽出される。

（３）「鉛直線の判定」
１本の鉛直線部分Ｌを形成している画素の数がこの鉛直線部分Ｌの撮像画像１上の位置に予め指定した人の高さ相当の画素の数よりも多いか否か判定する（Ｓ７）。
すなわち、上記のステップＳ６で特定した鉛直線部分Ｌのうち、１本の鉛直線部分Ｌを形成する画素数が、上記のステップＳ２においてこの１本の鉛直線部分Ｌの撮像画像１上の位置に指定した人の高さ相当の画素数よりも多い場合は、その鉛直線部分Ｌの長さが人の高さ相当よりも長いこと、つまり、この１本の鉛直線部分Ｌは、人ｈではなくドアＤの輪郭部であると認識することができる。

ここで、人の高さ相当の画素数は、例えば、実空間での１６００ｍｍ程度の鉛直線に相当する画素数を指定するが、身長が１６００ｍｍ以上の人をドアと認識することはない。それは、上述のとおり、物体像の輪郭部における鉛直線部分Ｌの長さを対比するので、例え１６００ｍｍ以上の身長のある人であっても、その人の輪郭部における鉛直線部分Ｌの長さが１６００ｍｍの長さとなることは、ほとんど無いと言えるからである。

そして、この１本の鉛直線部分Ｌの画素数が人の高さ相当の画素数よりも多い場合は、この１本の鉛直線部分Ｌの画素データは、人検出には無効な画素データとして除去する（Ｓ８）。これにより、人ではないドア画像Ｄをノイズとして除去できる。

この鉛直線部分Ｌの判定動作を、特定した全ての鉛直線部分Ｌに対して実行すると（Ｓ９で「Ｙｅｓ」）、このノイズ処理動作を終了する。この後、人検出部３２において人検出を行う。

なお、人検出部３２での人検出方法は、本明細書の背景技術の項で説明したとおりのベクトル焦点法により行うことができ、以下、簡単に説明する。

３．人検出動作
引き続き、図２のフローチャートを参照して説明する。
まず、人検出のための標準データを作成しておく（Ｓ０）。
すなわち、撮像画像１上の任意の配置点Ｑを基準に標準人型像Ｓを配置し、上記円形フーリエ法により標準人型像Ｓの輪郭部における法線ベクトル群ｂを求め、配置点Ｑから法線ベクトル群ｂまでの位置情報と法線ベクトルｂの角度情報を、当該配置点Ｑの標準データとして登録する（図６（ａ）参照）。この標準データの作成は、撮像手段２の設置完了後から監視領域での人検知開始までの間に行えばよい。

そして、人検出部３２は、上述したノイズ処理後の残った有効な画素データを受け取る（Ｓ１０）。これらの画素データにあっては、上記のステップＳ３での円形フーリエ法により得られた位相を基に、物体像Ｏの輪郭部における法線ベクトル群ｂ’を求める（Ｓ１１、図６（ｂ）参照）。
次に、上記標準データに基づいてこれら法線ベクトル群ｂ’から上記配置点Ｑに相当する複数の正解点を求め（Ｓ１１）、これら正解点が集まった所謂ベクトル焦点Ｇが一定値以上であれば、その物体像Ｏは人であると認識する（Ｓ１２、図６（ｂ）参照）。
以上により、１つの撮像画像１上での人検出が瞬時に且つ簡易に行われる。
以後、撮像手段２で経時的に撮像されている撮像画像１に対して、上述したノイズ処理および人検出の動作（Ｓ３〜Ｓ１３）が繰り返し行われる。

以上のように、本実施の形態におけるノイズ処理方法によれば、スイング式に開閉して人の速度と同程度に動くドア画像Ｄをノイズとして容易に且つ瞬時に除去でき、人と誤認識されることを防止することができる。従って、人検出の精度を向上することができる。

その結果、例えば、認証者のみの入退室の検証に人数計数を行って認証者と一緒に入退室する共連れ検出を行う際に、人検出の技術を応用して人数計数するとき、開閉するドア画像を人であると誤認識し計数するようなことも防止でき、人数計数や共連れ検出の信頼性を高くすることができる。

また、ノイズ処理のための初期設定として、ドア画像そのものを認識して除去することも考え得るが、この場合、設置環境ごとに様々なドアの形状や動き等を個別的に認識する必要があり、処理が非常に複雑となる。
これに対し、上記実施の形態によるノイズ処理方法によれば、２次元の撮像画像１から鉛直線部分Ｌを抜き出してその長さを解析するという簡易な処理でドア画像Ｄをノイズ処理することができ、しかも、あらゆる設置環境のドアであってもそのドア画像Ｄを確実にノイズ処理することが可能となる。

なお、上記実施の形態では、スイング式に開閉するドアを対象に説明したが、壁に沿ってスライド式に開閉するドアであっても、上記同様にそのドア画像をノイズ処理することが可能である。
また、ノイズ処理の対象物としては、上記ドアに限らず、その鉛直線部分が人よりも高く且つ動きのある物体であれば、上記同様にその画像をノイズ処理することが可能である。

人検出システムの概略構成を示す模式図である。 人検出ユニットにおけるノイズ処理、人検出の手順を示すフローチャートである。 ドアを設置した出入口付近を上方の撮像手段で撮像した撮像画像を示す模式図であり、同図（ａ）は物体像の鉛直線部分を抽出する前の画像を示し、同図（ｂ）は物体像の鉛直線部分を抽出したときの画像を示す。 物体認識の画像処理に際して用いられる円形フーリエ法を説明するための模式図である。 円形フーリエ法を実行することで画像の濃淡方向が示されることを説明するための図であり、同図（ａ）は物体像の輪郭部に円形状に基本波フーリエ変換を実行する様子を示し、同図（ｂ）はその基本波フーリエ変換を実行したときの波形グラフを示す。 物体識別の画像処理に際して用いられるベクトル焦点法を説明するための模式図であり、同図（ａ）は画像上に標準人型像を配置したときの様子を示し、同図（ｂ）は画像上に識別対象の人が映されているときの様子を示す。 ドアを設置した出入口付近を上方の撮像手段で撮像した撮像画像を示す模式図であり、同図（ａ）はドア枠の上端部が大きく映される様子を示し、同図（ｂ）はドア画像が人の画像であると誤認識されたときの様子を示す。

符号の説明

１ 撮像画像
２ カメラ（撮像手段）
３ 人検出ユニット
３１ ノイズ処理部
３２ 人検出部
Ｄ ドアの画像
Ｆ 地面の画像
ｈ 人の画像
Ｌ 物体像の鉛直線部分

Claims (1)

1. 人が通る監視領域を単一の撮像手段で撮像した２次元の撮像画像から人と周囲との濃度差を利用して人検出を行う人検出装置における人以外のノイズ画像を検出し除去するノイズ処理方法であって、
   撮像手段の設置時の撮像画像において地面に対する鉛直方向を解析して各画素に鉛直方向を設定し、撮像画像上の各位置において人の高さ相当の鉛直線を形成する画素の数を指定してあり、
   監視時の撮像画像において等間隔に配置する処理点ごとにその処理点を中心点とする円の円周上での各画素のピクセル値に対し基本波フーリエ変換を実行し、得られた位相より処理点となった画素ごとに物体像の輪郭線方向を求めるステップと、
   輪郭線方向が予め設定した鉛直方向と一致している画素を全て選び、選んだ画素が鉛直方向へ連続している鉛直線部分を特定するステップと、
   １本の鉛直線部分を形成している画素の数がこの鉛直線部分の撮像画像上の位置に予め指定した人の高さ相当の画素の数よりも多い場合は、その鉛直線部分の画素データを人検出には無効な画素データとするステップとを有するノイズ処理方法。

Images