JP3776347B2

JP3776347B2 - Window region extraction method and program

Info

Publication number: JP3776347B2
Application number: JP2001357040A
Authority: JP
Inventors: 礼子澤; 杉本　　隆; 昭好那須
Original assignee: MegaChips Corp
Current assignee: MegaChips Corp
Priority date: 2001-11-22
Filing date: 2001-11-22
Publication date: 2006-05-17
Anticipated expiration: 2021-11-22
Also published as: JP2003157424A

Description

【０００１】
【発明の属する技術分野】
この発明は、監視カメラから入力される画像情報を基に、例えばエレベータ等の人の出入りの発生する室内における窓の領域を抽出する窓領域抽出方法及びプログラムに関する。
【０００２】
【従来の技術】
ビル内のセキュリティー管理のため、若しくは、緊急事態における情報取得のため、エレベータ等の利用者の出入りが発生する室内には、監視カメラが設置されており、室内の状況をリアルタイムに、又、録画情報を基に把握可能としている。
【０００３】
ところで、このような監視カメラを用いて、撮像された画像の動き検出を行い、これによって室内に人の出入りがあった旨を自動的に検知することがある。この場合、室内に窓があると、人が室内に進入していないにも拘わらず、窓の外側の動きを検出してしまい、人が進入したものと誤判断してしまうおそれがある。そこで、このような人の出入りを動き検出により検知する場合には、監視カメラを運用する監視員等が、この監視カメラを設置する際に、監視カメラで撮像された撮像映像中の窓の位置を所定のモニタで確認し、監視カメラの画角（動き検出対象位置）から窓の位置が外れるように、監視カメラの撮像方向を手作業で調整していた。
【０００４】
【発明が解決しようとする課題】
しかしながら、監視員等がひとつひとつの監視カメラの撮像方向を手作業で調整するのは、多くの労力を必要とし、便宜性に欠けることとなっていた。
【０００５】
そこで、この発明の課題は、監視カメラ等の撮像カメラで撮像した撮像映像について動き検出により人の出入り等を自動的に確認するような場合に、窓領域を自動的に抽出することの可能な窓領域抽出方法及びプログラムを提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決すべく、請求項１に記載の発明は、撮像カメラで所定の室内を撮像する場合に、撮像した撮像画像のなかから画像処理によって窓領域を抽出する窓領域抽出方法であって、前記室内の様子を前記撮像カメラで所定時間撮像する第１の工程と、前記撮像カメラで撮像された撮像画像に対して、当該撮像画像内の所定の単位のブロック毎に時間軸方向に変化する輝度変化の大きさを求める第２の工程と、前記輝度変化の大きさを所定の閾値と比較する第３の工程と、前記第３の工程で得られた比較結果に基づいて、前記各ブロックが窓領域であるか否かを判別する第４の工程とを備え、前記撮像画像の各フレーム内で隣接する前記ブロック同士の輝度変化の大きさの差分絶対値と所定の固定閾値とを比較し、前記差分絶対値が前記固定閾値より大きい場合に、当該隣接する前記両ブロックの輝度変化の大きさの平均値を求め、これを前記閾値とする。
また、請求項２に記載の発明は、撮像カメラで所定の室内を撮像する場合に、撮像した撮像画像のなかから画像処理によって窓領域を抽出する窓領域抽出方法であって、前記室内の様子を前記撮像カメラで所定時間撮像する第１の工程と、前記撮像カメラで撮像された撮像画像に対して、当該撮像画像内の所定の単位のブロック毎に時間軸方向に変化する輝度変化の大きさを求める第２の工程と、前記輝度変化の大きさを所定の閾値と比較する第３の工程と、前記第３の工程で得られた比較結果に基づいて、前記各ブロックが窓領域であるか否かを判別する第４の工程とを備え、前記第４の工程が、前記第３の工程で得られた比較結果に基づいて、前記各ブロックが仮の窓領域であるか否かを仮定する工程と、前記仮の窓領域と仮定された前記ブロックと、当該ブロックに隣接するブロックとを対象として、これらの各ブロックの輝度の大きさを時間軸方向に並べたデータ列の相互相関係数が所定の固定値より大きいかどうかを比較判断する工程と、データ列の相互相関係数が所定の固定値より大きいブロックを窓領域に含めて前記仮の窓領域を領域拡張する工程とを備える。
【０００７】
請求項３に記載の発明は、請求項１または請求項２に記載の窓領域抽出方法であって、前記輝度変化の大きさが、時間軸方向での前記各ブロックの輝度のばらつきの値または標準偏差の値である。
【００１０】
請求項４に記載の発明は、コンピュータにより実行させることにより、請求項１ないし請求項３のいずれかに記載の窓領域抽出方法を実現させるプログラムである。
【００１１】
【発明の実施の形態】
｛第１の実施の形態｝
図１はこの発明の第１の実施の形態に係る窓領域抽出方法を示す図である。この窓領域抽出方法は、図１の如く、撮像カメラ１でエレベータ等の所定の室内２の例えば出入り口４等を撮像する場合に、撮像した撮像画像のなかから画像処理によって窓３の領域を抽出する方法である。
【００１２】
一般に、窓３は透光性のガラス等が填め込まれているため、例えば室内２の出入り口４を撮像カメラ１で監視して動き検出を行うことで出入り口４への人の出入りを検知するような場合に、窓３を透過した室外の動きを検知してしまうことがあるため、これによる誤検知を避ける目的などで、この実施の形態の窓領域抽出方法が使用される。
【００１３】
具体的に、この窓領域抽出方法は、撮像カメラ１に内蔵されたコンピュータまたは撮像カメラ１が接続される外部のコンピュータ（図示省略）により実現されるプログラムによって規定されたものであって、人物の乗り降りや扉等の開閉がなされない状態の室内２の様子を撮像カメラ１で撮像し、この撮像カメラ１で撮像された撮像映像に対して、当該撮像映像内の所定の単位ブロックＢ毎に時間軸方向Ｔに変化する輝度変化の大きさを求める。
【００１４】
この場合、例えばエレベータの室内２で撮像を行う場合には、施工後でエレベータへの乗り降りが無い状態で、このエレベータを例えば１階から最上階まで無人で所定時間昇降させる。そうすると、窓３の部分だけが昇降に伴って輝度変化を起こし、窓３以外の部分は輝度変化が少ない状態となる。
【００１５】
あるいは、施工後間もない建造物内の静止した室内２での撮像を行う場合等において、室外の照明のみをオンオフさせたり、例えば２４時間の昼夜の輝度変化を窓３の外側に臨みながら、窓３の部分のみの輝度変化をそれ以外の部分に比べて大きくする状況を設定することが可能である。
【００１６】
そして、これらの輝度変化の値を所定の閾値と比較し、その比較結果に基づいて、各ブロックＢが窓領域であるか否かを判別する。
【００１７】
ここで、輝度変化の大きさを求める方法を説明する。
【００１８】
例えば図２の如く、まず、８×８画素ブロックＢ毎の内部の各画素についての輝度値の平均をＹ_i（ｘ，ｙ）とする。こでｉは時間軸に沿って変化する各フレームの番号であり、ｘ，ｙは各フレーム中の注目ブロックの占める座標位置をｘ−ｙ座標内で表した番号である（以下の説明において全て同様である）。
【００１９】
そして、これらの各ブロックＢ毎の時間軸方向ＴのＮ個の平均値（平均輝度値）バーＹ（ｘ，ｙ）を用いて、次の数１（（１）式）に従って各ブロック毎の時間軸方向Ｔの標準偏差Ｓ（ｘ，ｙ）を演算する。
【００２０】
【数１】

【００２１】
次に、数１で演算された各ブロックＢの標準偏差Ｓ（ｘ，ｙ）を、予め設定されている固定閾値ｔｈ０と比較し、この固定閾値ｔｈ０よりも標準偏差Ｓ（ｘ，ｙ）が大きければ（Ｓ（ｘ，ｙ）＞ｔｈ０）、このブロックＢを窓領域３と決定する。
【００２２】
このようにして窓領域を抽出した後、当該窓領域を動き検出の対象から除外して、室内２の出入り口４での人の出入りを動き検出により検知すればよい。
【００２３】
このようにすれば、監視員等がひとつひとつの監視カメラの撮像方向を手作業で調整しなくても、窓領域を動き検出の対象から除外できるなど、便利である。
【００２４】
そして、この実施の形態では、例えばエレベータが昇降するような場合に、窓領域３の形状等に拘わらず、たいていの場合は窓領域３のみが大きな輝度変化を示すことを利用している。そのため、静止画像のみを用いて特徴抽出の手法等により窓領域を決定する場合に比べて、正確に窓領域を決定できるという利点がある。
【００２５】
｛第２の実施の形態｝
この発明の第２の実施の形態に係る窓領域抽出方法は、時間軸方向Ｔの各ブロックＢ毎の輝度変化の大きさを標準偏差Ｓ（ｘ，ｙ）として求め、この標準偏差Ｓ（ｘ，ｙ）と閾値ｔｈ２（第１の実施の形態では閾値ｔｈ０）とを比較して窓領域であるか否かを判断する点で、第１の実施の形態と共通している。ただし、閾値ｔｈ２について、ひとつの固定閾値だけを使用するのではなく、注目ブロックの標準偏差Ｓ（ｘ，ｙ）とこれに隣接するブロックの標準偏差Ｓ（ｘ＋１，ｙ）との差分絶対値と固定閾値ｔｈ１を比較し、このときの比較結果に基づいて第２の閾値ｔｈ２を求める点で、第１の実施の形態とは異なる。
【００２６】
具体的には、閾値ｔｈ２を以下の手順で求める。
【００２７】
まず、各ブロックＢ毎に求めた輝度変化の大きさについて、変数ｊを時間軸方向Ｔのフレーム番号として、次の数２のように、注目ブロックＢの輝度値の標準偏差Ｓｊ（ｘ，ｙ）とその右隣のブロックＢの各輝度値の標準偏差Ｓｊ（ｘ＋１，ｙ）との差分絶対値が、予め設定されている第１の固定閾値ｔｈ１より大きいかどうかを比較する。
【００２８】
【数２】

【００２９】
そして、差分絶対値が、予め設定されている第１の固定閾値ｔｈ１より大きければ、その注目ブロックＢとその右隣のブロックＢの各標準偏差Ｓｊ（ｘ，ｙ），Ｓｊ（ｘ＋１，ｙ）の平均を求める。かかる処理を、フレーム番号として１からＭまで実行し、これらの時間軸方向Ｔの平均値を求めて、これを閾値ｔｈ２とする（数３（（３）式））。
【００３０】
【数３】

【００３１】
そして、求められた閾値ｔｈ２に対して各ブロックＢの標準偏差Ｓ（ｘ，ｙ）を比較し、閾値ｔｈ２よりも標準偏差Ｓ（ｘ，ｙ）の値が大きければ、これを窓領域３として決定する。
【００３２】
ここで、第１の固定閾値ｔｈ１を用いて数２のように選ばれるブロックＢ群は、窓領域３の垂直エッジ成分を挟むと考えられ、それらを平均することで、撮像画像の状況に応じた閾値ｔｈ２を求めることができる。これにより、ひとつの固定閾値で窓領域を決定する方法に比べて、映像依存のリスクが軽減される。
【００３３】
｛第３の実施の形態｝
この発明の第３の実施の形態に係る窓領域抽出方法は、時間軸方向Ｔの各ブロックＢ毎の輝度値の標準偏差Ｓ（ｘ，ｙ）を、上記した数２及び数３で求めた閾値ｔｈ２と比較した比較結果に基づいて窓領域３を決定する点で第２の実施の形態と同様であるが、さらに、比較結果に基づいて抽出されたブロックＢを外方向に拡張して、確実に窓領域３を抽出する点で第２の実施の形態と異なる。
【００３４】
この実施の形態における窓領域抽出方法の処理手順を図３に示す。
【００３５】
まず、図３中のステップＳ０１において、人物の乗り降りや扉等の開閉がなされない状態の室内２の様子について、撮像カメラ１でフレーム番号ｉとして１番目の画像を撮像する。
【００３６】
次に、ステップＳ０２において、８×８画素ブロックＢ毎の内部の各画素についての輝度値の平均Ｙ_i（ｘ，ｙ）を求める。このステップＳ０２処理を、ｉが所定の値Ｎになるまで繰り返す（ステップＳ０３，Ｓ０４）。
【００３７】
そして、ステップＳ０５において、時間軸方向ＴにＹ_i（ｘ，ｙ）の標準偏差Ｓ（ｘ，ｙ）を上述した数１に従って計算する。
【００３８】
尚、ここまでのステップＳ０１〜Ｓ０５は、第１の実施の形態及び第２の実施の形態で説明した窓領域抽出方法と同様である。
【００３９】
次に、ステップＳ０６において、数２及び数３に従って閾値ｔｈ２を求め、さらに、この閾値ｔｈ２よりも各ブロックＢの標準偏差Ｓ（ｘ，ｙ）の値の方が大きければ（Ｓ（ｘ，ｙ）＞ｔｈ２）、これを仮の窓領域３（win_area）として決定する（図４）。このステップＳ０６及びＳ０７の詳細な手順は第２の実施の形態と同様である。
【００４０】
ここで、ステップＳ０７においては、閾値ｔｈ２を用いて決定したブロック群を仮の窓領域３（win_area）とした場合に、この仮の窓領域３（win_area）が図４のように複数の領域に存在することがある。この場合は、ステップＳ０８において、これらの領域毎に識別番号（ラベル番号）ｌａｂｅｌを振る（ラベリング）。この際、仮の窓領域３（win_area）とされた各ブロックＢのうち、上下、左右または斜めに隣接する（即ち、点または線を介して接している）ブロックＢ同士には、例えば図５のように、同じ識別番号（ラベル番号）ｌａｂｅｌを振る。
【００４１】
このようにラベリングした後、ステップＳ０９において、ラベリングされた領域毎に拡張処理を行う。ここでは、各ブロックＢに対し、上下、左右及び斜め方向に隣接する周囲８ブロックにおいて、輝度変化の相関が高いものがあれば、その相関の高いブロック同士について同一の識別番号ｌａｂｅｌ（ラベル番号）を振って（ラベリング）、窓領域３の拡張を行う。
【００４２】
図６は、このときの具体的な処理手順について示している。尚、ここでは、領域拡張前の仮の窓領域３をwin_area、領域拡張後に最終的に決定された窓領域３をwin_area2と記す。
【００４３】
まず、ステップＴ０１において、各ブロックＢについて、その最終的な領域の属性を示すパラメータwin_area2を想定し、この変数win_area2の値を初期化する。ここでは、全てのwin_area2の値を０に設定する。尚、以下の説明において、各ブロックＢの座標を（ｘ，ｙ）としたときの当該ブロックＢのパラメータwin_area2をwin_area2（ｘ，ｙ）と示すようにする。
【００４４】
次に、ステップＴ０２で、識別番号（ラベル番号）ｌａｂｅｌを示すパラメータｋの値を１に初期化する。ここで、パラメータｋは、後述するステップＴ１０でインクリメントして、全ての仮の窓領域３の領域拡張を行っていくためのものであり、ステップＴ０２でパラメータｋのインクリメントの始値を１としたものである。尚、パラメータｋのインクリメントの始値を０とせずに１としたのは、仮の窓領域３でない領域の領域拡張が行われることがないようにするためである。
【００４５】
続いて、ステップＴ０３で、識別番号（ラベル番号）ｌａｂｅｌ（ｋ）に属するブロックＢ内の平均輝度値Ｙ（ｘ，ｙ）を初期化して、次のステップＴ０４に進む。
【００４６】
ステップＴ０４では、まず各ブロックＢの平均輝度値Ｙ（ｘ，ｙ）のパラメータwin_area2（ｘ，ｙ）の値が０であるかどうか（即ち、すでに後述するステップＴ０６の処理により注目ブロックの領域拡張が終了していないかどうか）を判断する。パラメータwin_area2の値が０（仮の窓領域３でない）場合は、次のステップＴ０５に進み、各注目ブロックについて、上下、左右及び斜めの方向の近傍８ブロックとの輝度変化の相関を示す変数（相関係数）Ｃｏｒ₁〜Ｃｏｒ₈を求める。
【００４７】
このときの処理手順は次の通りである。
【００４８】
まず、図７の如く、注目ブロックのブロック番号ｎを０、注目ブロックに対する上、左、右、下、斜め左上、斜め右上、斜め左下及び斜め右下の近傍８ブロックのブロック番号ｎをそれぞれ１，２，３，４，５，６，７，８とした場合に、時間軸方向Ｔの輝度値Ｙ（ｘ，ｙ）のデータ列ｄ_n＝ｄ₀〜ｄ₈を、次の数４（（４）式）のようにして求める。
【００４９】
【数４】

【００５０】
次に、ｄ₀とｄ₁〜ｄ₈との相互相関係数Ｃｏｒｍｔｘ［ｉ］を、次の数５（（５）式）に従って求める。尚、変数ｉは、上述のように、時間軸に沿って変化する各フレームの番号である。
【００５１】
【数５】

【００５２】
尚、数５中のバーｄ₀及びバーｄ_nはそれぞれ次の数６（（６）式）で示された計算により求められる。
【００５３】
【数６】

【００５４】
また、ｓｄ₀とｓｄ_nとは、ｉの値によって次の数７（（７）式）のように求められる。
【００５５】
【数７】

【００５６】
ここで、同じ領域内であっても、位置によって（例えば主として上下で）変化に時間ずれが生じる場合があるため、数７のようにフレームの番号ｉの値によって複数の相関係数を求める。
【００５７】
そして、次の数８（（８）式）のように、求められたＣｏｒｍｔｘ［ｉ］のうちの最大値を、注目ブロック（図７中の０番のブロック）に対する近傍８ブロック（図７中の１〜８番のブロック）の相関係数Ｃｏｒ₁〜Ｃｏｒ₈とする。
【００５８】
【数８】

【００５９】
次に、図６中のステップＴ０６において、上述のように求められた相関係数Ｃｏｒ₁〜Ｃｏｒ₈について、所定の固定閾値ｔｈ３（例えば、０．８という値が採用される）よりも大きいかどうかを比較判断する。そして、相関係数Ｃｏｒ₁〜Ｃｏｒ₈が固定閾値ｔｈ３より大きい場合に、そのブロック（ブロック番号ｎ＝１〜８）が正味の窓領域３であるか、あるいは窓領域３から入射される光の反射等により窓領域３での情景の変化を受けやすい領域であるものと判断し、このブロックのパラメータwin_area2（ｘ，ｙ）の値にｋの値を代入し、これを拡張領域として窓領域３に含めて取り扱う。尚、ここでいうｘ，ｙは各ブロックの座標を意味している。また、ブロック番号ｎが０である注目ブロックについても当然に窓領域３として含める。しかる後、次のステップＴ０７に進む。
【００６０】
ここで、上述したステップＴ０４において、注目ブロックＢのパラメータwin_area2（ｘ，ｙ）の値が０でない（即ち、１以上のラベル番号が付与されている）場合は、当該ブロックＢはすでに領域拡張の処理（ステップＴ０６）が行われた状態であるため、ステップＴ０５〜Ｔ０６の処理を省略してステップＴ０７に進む。
【００６１】
そして、ステップＴ０７において、ラベル番号ｋ内の全てのブロックＢの領域拡張処理が終了したかどうかを判断し、終了していないと判断した場合には、ステップＴ０８に進んで、ラベル番号ｋ内のブロックＢを変更した後、ステップＴ０４〜Ｔ０６の処理を繰り返す。
【００６２】
このようにして、ステップＴ０７で、ラベル番号ｋ内の全てのブロックＢの領域拡張処理が終了したと判断した場合には、次のステップＴ０９に進む。
【００６３】
ステップＴ０９では、図３中のステップＳ８でラベリングしたときのラベル番号（ｋ）の最大値をＬとし、パラメータｋの値が最大値Ｌに達しているかどうかを判断する。ここで、パラメータｋが最大値Ｌに達していない場合には、パラメータ（注目ブロックＢのラベル番号）ｋの値をインクリメントし（ステップＴ１０）、さらに新たなラベル番号ｋについて、ステップＴ０３〜Ｔ０８の処理を繰り返す。
【００６４】
このようにして、図３中のステップＳ８でラベリングされた全ての仮の窓領域３の各ブロックＢについて、パラメータwin_area2の値にラベル番号ｋを代入しながら領域拡張の演算を行い、最終的に、ステップＴ１１において、画像中の全てのブロックＢにおいて、パラメータwin_area2の値が０より大きなブロックＢが窓領域３に属するものとみなされる。この場合のwin_area2の値は、窓領域３が複数抽出された場合の窓領域３の番号（ラベル番号ｋ＞０）として認識される。
【００６５】
このように、各ブロックＢ毎に求めた輝度変化値を時間軸方向Ｔに並べたデータ列の相互の相関係数Ｃｏｒ₁〜Ｃｏｒ₈を用いて、仮に設定された仮の窓領域３の周囲ブロックＢに領域拡張を行うので、単に閾値により窓領域を抽出する第１の実施の形態及び第２の実施の形態では抽出しきれなかった窓領域３のブロックＢをも容易に抽出することができる。
【００６６】
しかも、仮の窓領域３に指定された領域内の各ブロックＢについて、一旦領域拡張された注目ブロック及びその注目ブロックの近傍８ブロックで拡張されたブロックを除外して領域拡張を行うようにするので、無駄な領域拡張の演算をしなくて済み、検出領域を狭めてセンサの検出性能を低下させる事態を防止できる。
【００６７】
尚、上記各実施の形態で、前記各ブロックＢの輝度変化の大きさとして時間軸方向の標準偏差を採用していたが、これに代えて、ばらつきの値を採用してもよい。
【００６８】
【発明の効果】
請求項１、請求項２及び請求項４に記載の発明によれば、撮像カメラで所定の室内を撮像する場合に、撮像した撮像画像のなかから画像処理によって窓領域を抽出する窓領域抽出方法として、静止した状態の室内の様子を撮像カメラで撮像し、撮像カメラで撮像された撮像画像に対して、当該撮像画像内の所定の単位のブロック毎に時間軸方向に変化する輝度変化の大きさを求め、輝度変化の大きさを所定の閾値と比較して、このときの比較結果に基づいて、各ブロックが窓領域であるか否かを判別するようにしているので、監視員等の作業員がひとつひとつの撮像カメラの撮像方向を手作業で調整しなくても、画像処理において窓領域を動き検出の対象から除外でき便利である。そして、例えば、撮像画像の各フレーム内で静止画として特徴抽出の手法等により窓領域を決定する場合に比べて、正確に窓領域を決定できるという利点がある。
【００６９】
請求項３及び請求項４に記載の発明によれば、輝度変化の大きさとして、時間軸方向での各ブロックの輝度のばらつきの値または標準偏差の値を採用しているので、容易にかつ正確に輝度変化の大きさを把握して窓領域を決定することができる。
【００７０】
請求項１及び請求項４に記載の発明によれば、閾値として、撮像画像の各フレーム内で隣接するブロック同士の輝度変化の大きさの差分絶対値と所定の固定閾値とを比較し、差分絶対値が固定閾値より大きい場合に、当該隣接する両ブロックの輝度変化の大きさの平均値を採用しているので、ひとつの固定閾値に対して顧客することのみをもって窓領域を決定する場合に比べて、画像依存のリスクが軽減される。
【００７１】
請求項２及び請求項４に記載の発明によれば、第４の工程において、第３の工程で得られた比較結果に基づいて、各ブロックが仮の窓領域であるか否かを仮定し、仮の窓領域と仮定されたブロックと、当該ブロックに隣接するブロックとを対象として、これらの各ブロックの輝度の大きさを時間軸方向に並べたデータ列の相互相関係数が所定の固定値より大きいかどうかを比較判断し、データ列の相互相関係数が所定の固定値より大きいブロックを窓領域に含めて仮の窓領域を領域拡張するようにしているので、単に閾値により窓領域を抽出する方法では抽出しきれない窓領域のブロックをも容易に抽出することができる。
【００７２】
請求項４に記載の発明によれば、請求項１ないし請求項３のいずれかに記載の窓領域抽出方法をコンピュータにより実行させることにより、上記各請求項の効果を自動的に容易に実現することができるという効果がある。
【図面の簡単な説明】
【図１】所定の室内の様子を撮像カメラで撮像する状態を示す斜視図である。
【図２】この発明の第１の実施の形態において時間軸方向に撮像画像を並べた状態を示す概念図である。
【図３】この発明の第３の実施の形態に係る窓領域抽出方法を示すフローチャートである。
【図４】この発明の第３の実施の形態において抽出された窓領域を示す概念図である。
【図５】この発明の第３の実施の形態において複数の仮の窓領域をラベリングした状態を示す概念図である。
【図６】この発明の第３の実施の形態において窓領域を領域拡張する動作を示すフローチャートである。
【図７】この発明の第３の実施の形態において中央の注目ブロックとその周囲の近傍８ブロックとの位置関係を示す図である。
【符号の説明】
１撮像カメラ
２室内
３窓領域
Ｂブロック[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a window area extraction method and program for extracting a window area in a room where a person enters and exits, such as an elevator, based on image information input from a surveillance camera.
[0002]
[Prior art]
A surveillance camera is installed in the room where users such as elevators go in and out for security management in the building or in order to acquire information in an emergency situation. It is possible to grasp based on information.
[0003]
By the way, there is a case where such a surveillance camera is used to detect the motion of the captured image, and thereby automatically detect that a person has entered or exited the room. In this case, if there is a window in the room, the movement outside the window is detected even though the person has not entered the room, and it may be erroneously determined that the person has entered. Therefore, when such a person's entry and exit is detected by motion detection, when a monitoring person who operates the surveillance camera installs the surveillance camera, the position of the window in the captured image captured by the surveillance camera The image capturing direction of the surveillance camera is manually adjusted so that the window position deviates from the angle of view (motion detection target position) of the surveillance camera.
[0004]
[Problems to be solved by the invention]
However, manually adjusting the imaging direction of each surveillance camera by a supervisor or the like requires a lot of labor and lacks convenience.
[0005]
Therefore, the object of the present invention is to be able to automatically extract a window area when a person enters and exits automatically by detecting a motion of a captured image captured by an imaging camera such as a surveillance camera. The object is to provide a window region extraction method and program.
[0006]
[Means for Solving the Problems]
In order to solve the above problem, the invention according to claim 1 is a window region extraction method for extracting a window region by image processing from a captured image when a predetermined room is imaged by an imaging camera. a first step and, with respect to imaging field image captured by the imaging camera, the time axis direction for each block of the predetermined unit in the imaging field image by a predetermined time imaging the state of the chamber at the imaging camera Based on the comparison result obtained in the second step of determining the magnitude of the luminance change that changes to, the third step of comparing the magnitude of the luminance change with a predetermined threshold, and the third step, A fourth step of determining whether or not each block is a window area, and a difference absolute value of a magnitude of luminance change between adjacent blocks in each frame of the captured image and a predetermined fixed threshold value And the difference absolute value is Is larger than a constant threshold value, the calculated magnitude of the average value of the luminance change of the two blocks the adjacent, this and the threshold value.
The invention according to claim 2 is a window region extraction method for extracting a window region by image processing from captured images when a predetermined room is imaged by an imaging camera. And a magnitude of a luminance change that changes in a time axis direction for each block of a predetermined unit in the captured image with respect to the captured image captured by the imaging camera. The block is a window region based on the second step of determining the size, the third step of comparing the magnitude of the luminance change with a predetermined threshold, and the comparison result obtained in the third step. A fourth step of determining whether or not there is, whether the fourth step is a temporary window region based on the comparison result obtained in the third step. And assuming that the temporary window region is For a block and a block adjacent to the block, a comparison is made as to whether or not the cross-correlation coefficient of a data string in which the magnitudes of the luminances of these blocks are arranged in the time axis direction is greater than a predetermined fixed value And a step of expanding the temporary window region by including a block having a cross-correlation coefficient of a data string larger than a predetermined fixed value in the window region.
[0007]
The invention according to claim 3 is the window region extraction method according to

claim

1 or 2 , wherein the magnitude of the luminance change is a value of a variation in luminance of each block in the time axis direction or Standard deviation value.
[0010]
According to a fourth aspect of the present invention, there is provided a program for realizing the window region extracting method according to any one of the first to third aspects by being executed by a computer.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
{First embodiment}
FIG. 1 is a diagram showing a window area extracting method according to the first embodiment of the present invention. In this window area extraction method, as shown in FIG. 1, when the imaging camera 1 images, for example, the entrance / exit 4 of a predetermined room 2 such as an elevator, the area of the window 3 is extracted by image processing from the captured images. It is a method to do.
[0012]
In general, since the window 3 is filled with translucent glass or the like, for example, the entrance / exit 4 of the room 2 is monitored by the imaging camera 1 to detect the movement of the person through the entrance / exit 4 by detecting movement. In this case, since the outdoor movement that has passed through the window 3 may be detected, the window region extraction method of this embodiment is used for the purpose of avoiding erroneous detection due to this.
[0013]
Specifically, this window region extraction method is defined by a program realized by a computer built in the imaging camera 1 or an external computer (not shown) to which the imaging camera 1 is connected. The imaging camera 1 captures an image of the interior of the room 2 in a state in which the entry / exit and doors are not opened / closed, and the captured image captured by the imaging camera 1 is timed for each predetermined unit block B in the captured image. The magnitude of the luminance change that changes in the axial direction T is obtained.
[0014]
In this case, for example, when imaging is performed in the elevator room 2, the elevator is lifted up and down for a predetermined time by, for example, unmanned from the first floor to the top floor without entering or leaving the elevator after construction. If it does so, only the part of the window 3 will raise | generate a brightness | luminance change with raising / lowering, and a part other than the window 3 will be in a state with little brightness | luminance change.
[0015]
Alternatively, in the case of performing imaging in a stationary room 2 in a building shortly after construction, etc., only turning on and off the outdoor lighting, for example, while facing the change in luminance of day and night for 24 hours on the outside of the window 3, It is possible to set a situation in which the luminance change of only the window 3 portion is larger than that of the other portions.
[0016]
Then, these luminance change values are compared with a predetermined threshold value, and based on the comparison result, it is determined whether or not each block B is a window region.
[0017]
Here, a method for obtaining the magnitude of the luminance change will be described.
[0018]
For example, as shown in FIG. 2, first, Y _i (x, y) is the average of the luminance values for each internal pixel in each 8 × 8 pixel block B. Here, i is the number of each frame changing along the time axis, and x and y are numbers representing the coordinate position occupied by the block of interest in each frame in the xy coordinates (in the following description, all The same).
[0019]
Then, using N average values (average luminance values) bar Y (x, y) in the time axis direction T for each block B, the following is obtained for each block according to the following formula 1 (Equation (1)). A standard deviation S (x, y) in the time axis direction T is calculated.
[0020]
[Expression 1]

[0021]
Next, the standard deviation S (x, y) of each block B calculated by Equation 1 is compared with a preset fixed threshold th0, and the standard deviation S (x, y) is greater than the fixed threshold th0. If it is larger (S (x, y)> th0), this block B is determined as the window region 3.
[0022]
After extracting the window area in this way, the window area may be excluded from the object of motion detection, and the person entering / exiting the entrance / exit 4 of the room 2 may be detected by motion detection.
[0023]
In this way, it is convenient that a monitoring area or the like can exclude the window area from the object of motion detection without manually adjusting the imaging direction of each monitoring camera.
[0024]
In this embodiment, for example, when the elevator moves up and down, in most cases, only the window region 3 exhibits a large luminance change regardless of the shape of the window region 3 or the like. Therefore, there is an advantage that the window area can be accurately determined as compared with the case where the window area is determined by a feature extraction method using only a still image.
[0025]
{Second Embodiment}
In the window region extraction method according to the second embodiment of the present invention, the magnitude of the luminance change for each block B in the time axis direction T is obtained as the standard deviation S (x, y), and this standard deviation S (x , Y) and a threshold value th2 (threshold value th0 in the first embodiment) are compared with the first embodiment in that it is determined whether or not it is a window region. However, with respect to the threshold th2, not only one fixed threshold is used, but the absolute difference between the standard deviation S (x, y) of the block of interest and the standard deviation S (x + 1, y) of the adjacent block It differs from the first embodiment in that the fixed threshold th1 is compared and the second threshold th2 is obtained based on the comparison result at this time.
[0026]
Specifically, the threshold th2 is obtained by the following procedure.
[0027]
First, with respect to the magnitude of the luminance change obtained for each block B, the standard deviation Sj (x, y) of the luminance value of the block B of interest is expressed by the following equation 2 with the variable j as the frame number in the time axis direction T. ) And the standard deviation Sj (x + 1, y) of each luminance value of the block B immediately to the right of the block B is compared with each other to determine whether or not the absolute value is larger than a preset first fixed threshold th1.
[0028]
[Expression 2]

[0029]
If the absolute difference value is larger than a preset first fixed threshold th1, the standard deviations Sj (x, y) and Sj (x + 1, y) of the block B of interest and the block B adjacent to the right of the block B are displayed. Find the average of. Such processing is executed from 1 to M as frame numbers, and an average value of these time axis directions T is obtained, and this is set as a threshold th2 (Equation 3 (Equation (3))).
[0030]
[Equation 3]

[0031]
Then, the standard deviation S (x, y) of each block B is compared with the obtained threshold th2. If the value of the standard deviation S (x, y) is larger than the threshold th2, this is set as the window region 3. decide.
[0032]
Here, it is considered that the block B group selected as shown in Equation 2 using the first fixed threshold th1 sandwiches the vertical edge component of the window region 3, and by averaging them, the block B group is determined according to the state of the captured image. The threshold th2 can be obtained. As a result, the risk of video dependence is reduced compared to the method of determining the window area with one fixed threshold.
[0033]
{Third embodiment}
In the window region extraction method according to the third embodiment of the present invention, the standard deviation S (x, y) of the luminance value for each block B in the time axis direction T is obtained by the above-described

equations

2 and 3. Similar to the second embodiment in that the window region 3 is determined based on the comparison result compared with the threshold th2, but further, the block B extracted based on the comparison result is expanded outwardly, This is different from the second embodiment in that the window region 3 is reliably extracted.
[0034]
FIG. 3 shows a processing procedure of the window region extraction method in this embodiment.
[0035]
First, in step S01 in FIG. 3, a first image is captured by the imaging camera 1 as a frame number i with respect to the state of the room 2 in a state where a person is not getting on or off or a door is opened or closed.
[0036]
Next, in step S02, an average Y _i (x, y) of luminance values for each internal pixel for each 8 × 8 pixel block B is obtained. This step S02 processing is repeated until i reaches a predetermined value N (steps S03, S04).
[0037]
In step S05, the standard deviation S (x, y) of Y _i (x, y) in the time axis direction T is calculated according to the above-described equation 1.
[0038]
Note that steps S01 to S05 so far are the same as the window region extraction method described in the first and second embodiments.
[0039]
Next, in step S06, the threshold value th2 is obtained according to

Equations

2 and 3, and if the standard deviation S (x, y) value of each block B is larger than this threshold value th2 (S (x, y) )> Th2), this is determined as a temporary window area 3 (win_area) (FIG. 4). The detailed procedure of steps S06 and S07 is the same as that of the second embodiment.
[0040]
Here, in step S07, when the block group determined using the threshold value th2 is a temporary window area 3 (win_area), the temporary window area 3 (win_area) is divided into a plurality of areas as shown in FIG. May exist. In this case, in step S08, an identification number (label number) label is assigned to each of these areas (labeling). At this time, among the blocks B set as the temporary window area 3 (win_area), blocks B adjacent to each other in the vertical, horizontal, or diagonal directions (that is, in contact with each other through points or lines) are shown in FIG. Like the above, the same identification number (label number) label is assigned.
[0041]
After labeling in this way, in step S09, expansion processing is performed for each labeled region. Here, for each block B, if there is a high correlation between luminance changes in the surrounding eight blocks adjacent in the vertical, horizontal, and diagonal directions, the same identification number label (label number) is used for the highly correlated blocks. The window region 3 is expanded by shaking (labeling).
[0042]
FIG. 6 shows a specific processing procedure at this time. Here, the temporary window area 3 before the area expansion is denoted as win_area, and the window area 3 finally determined after the area expansion is denoted as win_area2.
[0043]
First, in step T01, for each block B, a parameter win_area2 indicating the attribute of the final area is assumed, and the value of this variable win_area2 is initialized. Here, all win_area2 values are set to zero. In the following description, when the coordinates of each block B are (x, y), the parameter win_area2 of the block B is indicated as win_area2 (x, y).
[0044]
Next, in step T02, the value of the parameter k indicating the identification number (label number) label is initialized to 1. Here, the parameter k is for incrementing the area of all the temporary window areas 3 by incrementing at step T10 to be described later, and the starting value for incrementing the parameter k is set to 1 at step T02. Is. The reason why the starting value of the increment of the parameter k is set to 1 instead of 0 is to prevent the area expansion of the area other than the temporary window area 3 from being performed.
[0045]
Subsequently, in step T03, the average luminance value Y (x, y) in the block B belonging to the identification number (label number) label (k) is initialized, and the process proceeds to the next step T04.
[0046]
In step T04, first, whether or not the value of the parameter win_area2 (x, y) of the average luminance value Y (x, y) of each block B is 0 (that is, the region of the block of interest is already expanded by the processing in step T06 described later). Is not finished). If the value of the parameter win_area2 is 0 (not the temporary window area 3), the process proceeds to the next step T05, and for each block of interest, a variable indicating the correlation of luminance change with the neighboring 8 blocks in the vertical, horizontal, and diagonal directions ( Correlation coefficient) Cor _{1 to} Cor ₈ are obtained.
[0047]
The processing procedure at this time is as follows.
[0048]
First, as shown in FIG. 7, the block number n of the block of interest is 0, and the block numbers n of the neighboring 8 blocks of the upper, left, right, lower, diagonally upper left, diagonally upper right, diagonally lower left and diagonally lower right of the target block are 1 respectively. , 2, 3, 4, 5, 6, 7, and 8, the data string d _n = d _{0 to} d ₈ of the luminance value Y (x, y) in the time axis direction T is expressed by the following equation 4 ( (4) Equation) is obtained.
[0049]
[Expression 4]

[0050]
Next, a cross-correlation coefficient Cormtx [i] between d ₀ and d ₁ to d ₈ is obtained according to the following equation 5 (Equation (5)). The variable i is the number of each frame that changes along the time axis as described above.
[0051]
[Equation 5]

[0052]
Incidentally, the bar d ₀ and the bar d _n in number 5 is obtained by each calculation indicated by the number of the next 6 ((6)).
[0053]
[Formula 6]

[0054]
Further, sd ₀ and the sd _n, the value of i is determined by Equation 7 ((7)).
[0055]
[Expression 7]

[0056]
Here, even within the same region, there may be a time lag in the change depending on the position (for example, mainly up and down), so a plurality of correlation coefficients are obtained by the value of the frame number i as shown in Equation 7.
[0057]
Then, as shown in the following equation 8 (Equation (8)), the maximum value of the obtained Colmtx [i] is set to the neighboring 8 blocks (block 0 in FIG. 7) with respect to the target block (block 0 in FIG. 7). Correlation coefficients Cor _{1 to} Cor ₈ of the _{first to} _eighth blocks).
[0058]
[Equation 8]

[0059]
Next, in step T06 in FIG. 6, is the correlation coefficient Cor _{1 to} Cor ₈ obtained as described above larger than a predetermined fixed threshold th3 (for example, a value of 0.8 is adopted)? Compare and judge. When the correlation coefficients Cor _{1 to} Cor ₈ are larger than the fixed threshold th 3, the block (block number n = 1 to 8) is the net window region 3 or the light incident from the window region 3. It is determined that the area is susceptible to scene changes in the window area 3 due to reflection or the like, and the value k is substituted for the value of the parameter win_area2 (x, y) of this block. To be included. Here, x and y mean the coordinates of each block. Further, the block of interest whose block number n is 0 is naturally included as the window region 3. Thereafter, the process proceeds to the next step T07.
[0060]
Here, if the value of the parameter win_area2 (x, y) of the block of interest B is not 0 (that is, a label number of 1 or more is assigned) in step T04 described above, the block B has already been subjected to area expansion. Since the process (step T06) has been performed, the process of steps T05 to T06 is omitted and the process proceeds to step T07.
[0061]
In step T07, it is determined whether or not the area expansion process for all the blocks B in the label number k has been completed. If it is determined that the process has not been completed, the process proceeds to step T08, and the process proceeds to step T08. After changing the block B, the processes of steps T04 to T06 are repeated.
[0062]
In this way, when it is determined in step T07 that the area expansion processing for all the blocks B within the label number k has been completed, the process proceeds to the next step T09.
[0063]
In step T09, the maximum value of the label number (k) when labeling is performed in step S8 in FIG. 3 is set to L, and it is determined whether or not the value of the parameter k has reached the maximum value L. Here, when the parameter k has not reached the maximum value L, the value of the parameter (label number of the target block B) k is incremented (step T10), and further, for the new label number k, the values of steps T03 to T08 are increased. Repeat the process.
[0064]
In this way, for each block B of all the temporary window areas 3 labeled in step S8 in FIG. 3, the area expansion operation is performed while substituting the label number k for the value of the parameter win_area2. In step T11, in all the blocks B in the image, the block B having the parameter win_area2 larger than 0 is regarded as belonging to the window area 3. The value of win_area2 in this case is recognized as the number of the window area 3 (label number k> 0) when a plurality of window areas 3 are extracted.
[0065]
In this way, using the mutual correlation coefficients Cor _{1 to} Cor ₈ of the data strings in which the luminance change values obtained for each block B are arranged in the time axis direction T, the surroundings of the temporarily set temporary window region 3 are used. Since the area expansion is performed on the block B, it is possible to easily extract the block B of the window area 3 that cannot be extracted in the first embodiment and the second embodiment, in which the window area is simply extracted based on the threshold value. it can.
[0066]
In addition, for each block B in the area designated as the temporary window area 3, the area expansion is performed by excluding the attention block once expanded and the blocks expanded by the 8 blocks in the vicinity of the attention block. Therefore, it is not necessary to perform useless area expansion calculation, and it is possible to prevent the detection performance of the sensor from being reduced by narrowing the detection area.
[0067]
In each of the above embodiments, the standard deviation in the time axis direction is employed as the magnitude of the luminance change of each block B. Instead, a variation value may be employed.
[0068]
【The invention's effect】
According to the first , second, and fourth aspects of the present invention, when a predetermined room is imaged by an imaging camera, a window area extracting method that extracts a window area from the captured image by image processing. as the state of the interior of the stationary state image pickup camera, the imaging picture image taken by the imaging camera, the luminance change which changes in a time axis direction for each block of the predetermined unit in the imaging field image The size of the brightness change is obtained and the magnitude of the luminance change is compared with a predetermined threshold value, and based on the comparison result at this time, it is determined whether or not each block is a window area. Thus, it is convenient that the operator can exclude the window area from the motion detection target in the image processing without manually adjusting the imaging direction of each imaging camera. For example, there is an advantage that the window area can be accurately determined as compared with the case where the window area is determined by a feature extraction method or the like as a still image within each frame of the captured image.
[0069]
According to the third and fourth aspects of the present invention, the value of the variation in the luminance of each block in the time axis direction or the value of the standard deviation is adopted as the magnitude of the luminance change. The window area can be determined by accurately grasping the magnitude of the luminance change.
[0070]
According to the invention described in claim 1 and claim 4 , as a threshold value, the difference absolute value of the magnitude of luminance change between adjacent blocks in each frame of the captured image is compared with a predetermined fixed threshold value, and the difference is calculated. When the absolute value is larger than the fixed threshold, the average value of the luminance change of both adjacent blocks is adopted, so when determining the window area only by customer for one fixed threshold compared to the risk of images depends is reduced.
[0071]
According to the invention described in claim 2 and claim 4, in the fourth step, based on the comparison result obtained in the third step, each block is assumed whether the temporary window region For a block assumed to be a temporary window area and a block adjacent to the block, the cross-correlation coefficient of a data string in which the luminance magnitudes of these blocks are arranged in the time axis direction is fixed to a predetermined value. Since the comparison is made to determine whether or not the value is greater than the value, and the cross-correlation coefficient of the data sequence includes the block having a larger value than the predetermined fixed value in the window region, the temporary window region is expanded. It is possible to easily extract a block of a window area that cannot be extracted by the method of extracting.
[0072]
According to the invention described in claim 4 , by causing the window region extraction method according to any one of claims 1 to 3 to be executed by a computer, the effects of the above claims can be realized automatically and easily. There is an effect that can be.
[Brief description of the drawings]
FIG. 1 is a perspective view showing a state in which a predetermined room is imaged by an imaging camera.
FIG. 2 is a conceptual diagram showing a state in which captured images are arranged in a time axis direction in the first embodiment of the present invention.
FIG. 3 is a flowchart showing a window region extraction method according to a third embodiment of the present invention.
FIG. 4 is a conceptual diagram showing a window area extracted in the third embodiment of the present invention.
FIG. 5 is a conceptual diagram showing a state in which a plurality of temporary window regions are labeled in the third embodiment of the present invention.
FIG. 6 is a flowchart showing an operation of expanding a window area in the third embodiment of the present invention.
FIG. 7 is a diagram showing a positional relationship between a central block of interest and eight neighboring blocks in the third embodiment of the present invention.
[Explanation of symbols]
1 Imaging Camera 2 Indoor 3 Window Area B Block

Claims

A window region extraction method for extracting a window region by image processing from captured images when a predetermined room is imaged by an imaging camera,
A first step of imaging the indoor state for a predetermined time with the imaging camera;
A second step of determining the magnitude of the change in luminance with respect to imaging field image captured, changes in the time axis direction for each block of the predetermined unit in the imaging field image by the imaging camera,
A third step of comparing the magnitude of the luminance change with a predetermined threshold;
A fourth step of determining whether or not each block is a window region based on the comparison result obtained in the third step ,
The difference absolute value of the magnitude of the luminance change between the adjacent blocks in each frame of the captured image is compared with a predetermined fixed threshold value, and the adjacent absolute value is greater than the fixed threshold value, A window region extraction method for obtaining an average value of magnitudes of luminance changes of both blocks and using the average value as the threshold value .

A window region extraction method for extracting a window region by image processing from captured images when a predetermined room is imaged by an imaging camera,
A first step of imaging the indoor state for a predetermined time with the imaging camera;
A second step of obtaining a magnitude of a luminance change that changes in a time axis direction for each block of a predetermined unit in the captured image with respect to a captured image captured by the imaging camera;
A third step of comparing the magnitude of the luminance change with a predetermined threshold;
A fourth step of determining whether or not each of the blocks is a window region based on the comparison result obtained in the third step;
With
The fourth step includes
Based on the comparison result obtained in the third step, assuming that each block is a temporary window region;
For the block assumed to be the temporary window region and a block adjacent to the block, the cross-correlation coefficient of a data string in which the luminance magnitudes of these blocks are arranged in the time axis direction is a predetermined value. A step of comparing and judging whether the value is larger than a fixed value;
Expanding the temporary window area by including a block having a cross-correlation coefficient of the data sequence larger than a predetermined fixed value in the window area;
A window region extraction method comprising:

The window region extraction method according to claim 1 or 2,
The window area extracting method , wherein the magnitude of the luminance change is a value of a luminance variation or a standard deviation value of each block in a time axis direction .

The program which implement | achieves the window area | region extraction method in any one of Claim 1 thru | or 3 by running by a computer.