JP4303351B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP4303351B2 JP4303351B2 JP09238299A JP9238299A JP4303351B2 JP 4303351 B2 JP4303351 B2 JP 4303351B2 JP 09238299 A JP09238299 A JP 09238299A JP 9238299 A JP9238299 A JP 9238299A JP 4303351 B2 JP4303351 B2 JP 4303351B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- background image
- luminance
- processing apparatus
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は特定の調査対象領域を撮像して得た入力画像を処理する画像処理装置に関し、特に入力画像からの移動体部分の抽出を確実に行える画像処理装置に関する。
【０００２】
【従来の技術】
従来、この種の画像処理装置として図１７に示すものがあった。この図１７は従来の画像処理装置のブロック構成図である。
【０００３】
同図において従来の画像処理装置１００は、調査対象領域１０を撮像する撮像手段１０１より順次入力される入力画像Ｓ１を格納する画像記憶手段１０２と、この画像記憶手段１０２に格納された入力画像Ｓ１及び新たに入力される入力画像Ｓ２を比較演算して差分画像Ｓ３を出力する比較演算部１０３と、この差分画像Ｓ３に基づいて調査対象領域１０に移動体を検出する移動体検出部１０４とを備える構成である。
【０００４】
次に、前記構成に基づく従来の画像処理装置の移動体検出動作について説明する。
まず、調査対象領域１０を撮像手段１０１が撮像して得られた入力画像Ｓ１が、画像記憶手段１０２に入力されて格納される。比較演算部１０３は前記画像記憶手段１０２に格納された入力画像Ｓ１と新たに入力された入力画像Ｓ２とを比較して差分画像Ｓ３を生成して出力する。この差分画像Ｓ３に基づいて移動体検出部１０４が移動体を画像として抽出する。
【０００５】
【発明が解決しようとする課題】
従来の画像処理装置は以上のように構成されており、ある時刻ｔに撮像手段１０１で撮像されて画像記憶手段１０２に格納された入力画像Ｓ１と前記時刻ｔより後の時刻ｔ’で撮像手段１０１で撮像された入力画像Ｓ２とを比較演算部１０３で比較して差分画像Ｓ３が出力され、移動体検出部１０４が差分画像Ｓ３をあらかじめ設定された所定の閾値に基づいて解析して移動体を検出するという処理を行うが、閾値は画像全体に対し一つだけ設定されることから、調査対象領域１０の各部分間において明るさの差異がある場合、若しくは各部分間において物体深度に差異がある場合には、各部分にとっては高すぎる値あるいは低すぎる値となっていることも少なくなく、移動体を誤って識別させる等の課題を有した。すなわち、閾値が低すぎると明るさが明るい（輝度が高い）場合又は物体深度が浅い場合には過敏な検知によってノイズの影響を受けやすく誤検出が多くなり、また閾値が高すぎると明るさが暗い（輝度が低い）場合又は物体深度が深い場合には感度が低下して検出漏れが多くなるという課題を有していた。
【０００６】
一方、移動体を認識するためには、移動体が含まれない背景画像と、移動体が含まれる画像との差分を取って移動体を抽出するのが最も効果的であるが、背景となるべき調査対象領域は、時間、天候、環境変化に伴って徐々に状態が変ることもあり、これに追随させて背景画像も変えていかないと、正しく移動体を認識することはできない。そのため、確実に移動体のみを抽出するためには、調査対象領域の変化に合わせて背景画像も更新していく必要がある。ただ、背景画像の更新頻度が短いと、移動体の静止状態が背景画像に取込まれ、その後移動体が誤って認識されたり、逆に、更新頻度が長いと本来の移動体以外で徐々に変化している部分も移動体として誤って認識されたりしてしまうという課題を有していた。
【０００７】
本発明は前記課題を解消するためになされたもので、調査対象領域における背景変化を適切に取込み、移動体を正しく抽出できる画像処理装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明に係る画像処理装置は、断続的な内容変化を伴って順次入力される入力画像を処理する画像処理装置において、前記入力画像のうち、所定期間変化しない画像を背景画像として設定する背景画像設定手段と、前記設定された背景画像及び順次入力される入力画像を比較演算して差分画像を出力する差分演算手段と、前記差分画像を所定の閾値に基づいて２値化し、移動部分抽出画像を得る画像抽出手段とを備え、前記背景画像設定手段が、少なくとも、背景画像及び順次入力された入力画像を比較演算して輝度偏差信号を出力する輝度偏差演算手段と、前記輝度偏差信号に基づいて前記背景画像の輝度を調整する輝度調整手段とを備えてなり、前記背景画像及び入力画像の画像領域に、少なくとも前記移動部分抽出画像位置を含む所定の矩形領域を設定し、当該矩形領域、並びに、順次入力される入力画像に対する背景画像の前回の輝度調整及び前々回の輝度調整でそれぞれ前記矩形領域に設定された部分で、前記背景画像の輝度調整を行わないものである。
このように本発明によれば、背景画像設定手段で入力画像を基に背景画像を設定し、差分演算手段で背景画像及び順次入力される入力画像を比較演算して差分画像を出力し、画像抽出手段で前記差分画像を所定の閾値に基づいて２値化し、移動部分抽出画像を得て、順次入力される入力画像から移動体を識別することにより、撮像条件、例えば明るさ、物体深度等が異なる場合であっても背景画像を用いて入力画像を処理することにより、正確且つ確実に移動部分の抽出画像を得ることができる。
【０００９】
また、輝度偏差演算手段が背景画像及び順次入力された入力画像を比較演算して輝度偏差信号を出力し、この輝度偏差信号に基づいて輝度調整手段が前記背景画像の輝度を調整し、背景画像を入力画像に近付けていくことにより、実際の背景が変化しても背景画像が対応でき、これに基づいて差分画像を処理するようにしているので、移動部分の変化・移動等を確実に認識できることとなり、正確な抽出を行うことができる。
さらに、移動体抽出画像を得たら、移動部分抽出画像位置を含む所定の矩形領域を設定し、この矩形領域と共に、前回及び前々回の輝度調整においてそれぞれ設定された矩形領域にあたる部分での前記背景画像の輝度調整を行わないようにし、所定時間静止したり同じ場所で少しずつ動いたりしている移動体の存在による画像変化が背景画像に与える影響をなくすことにより、誤って移動体が検出されることを確実に防げ、より正確に移動体抽出を行える。
【００１０】
また、本発明に係る画像処理装置は必要に応じて、前記輝度偏差演算手段が、背景画像及び順次入力された入力画像を比較演算して画像領域全体における輝度偏差信号を出力し、前記輝度調整手段が、前記輝度偏差信号に基づいて背景画像全体に対し輝度調整を行うものである。このように本発明によれば、背景画像及び順次入力された入力画像を比較演算して画像領域全体における輝度偏差信号を出力し、且つ前記輝度偏差信号に基づいて背景画像全体に対し輝度調整を行い、背景画像を入力画像に近付けていくことにより、背景画像が実際の背景変化に追従して変化し、これに基づいて差分画像を処理することとなり、移動部分の変化・移動等を確実に認識できることとなり、正確な抽出を行うことができる。
【００１１】
また、本発明に係る画像処理装置は必要に応じて、前記輝度偏差演算手段が、背景画像及び順次入力された入力画像の画像領域を複数の区分領域に分割し、当該分割した区分領域毎に前記背景画像及び入力画像を比較演算して輝度偏差信号を出力し、前記輝度調整手段が、前記各区分領域の輝度偏差信号に基づいて背景画像の輝度を調整するものである。このように本発明によれば、背景画像及び順次入力された入力画像の画像領域を複数の区分領域に分割し、当該分割した区分領域毎に前記背景画像及び入力画像を比較演算して輝度偏差信号を出力し、且つ前記各区分領域の輝度偏差信号に基づいて背景画像の輝度を調整して、背景画像を入力画像に近付けていくことにより、背景画像が実際の背景変化に精細に追従して変化し、これに基づいて差分画像を処理することとなり、移動部分の変化・移動等を確実に認識できることとなり、正確な抽出を行うことができる。
【００１２】
また、本発明に係る画像処理装置は必要に応じて、前記輝度偏差演算手段が、背景画像及び順次入力された入力画像を比較演算して各画素毎に輝度偏差信号を出力し、前記輝度調整手段が、前記輝度偏差信号に基づいて背景画像に対し各画素毎に輝度調整を行うものである。このように本発明によれば、背景画像及び順次入力された入力画像を比較演算して各画素毎に輝度偏差信号を出力し、且つ前記輝度偏差信号に基づいて背景画像に対し各画素毎に輝度調整を行い、背景画像を入力画像に近付けていくことにより、背景画像が実際の背景変化に一層精細に追従して変化し、これに基づいて差分画像を処理することとなり、移動部分の変化・移動等を一層確実に認識できることとなり、正確な抽出を行うことができる。
【００１３】
また、本発明に係る画像処理装置は必要に応じて、前記背景画像設定手段が、前記輝度偏差演算手段による比較及び輝度偏差信号の出力、並びに輝度調整手段での背景画像の輝度調整を少なくとも所定回数繰返し、前記背景画像を入力画像に略一致させるものである。このように本発明によれば、背景画像及び入力画像の比較及び輝度偏差信号の出力、並びに輝度偏差信号に基づく背景画像の輝度調整を少なくとも所定回数繰返し、背景画像を入力画像に略一致させることにより、背景画像と入力画像の比較処理でより実際の移動体画像に近い差分画像を得られることとなり、差分画像の処理による移動部分の変化・移動等の認識が一層確実にでき、正確な抽出を行うことができる。
【００１４】
また、本発明に係る画像処理装置は必要に応じて、前記画像抽出手段が、前記移動部分抽出画像を抽出するための閾値を差分画像の各画素毎に設定されるものである。このように本発明によれば、前記画像抽出手段で移動部分抽出画像を抽出するための閾値を差分画像の各画素毎に設定し、画像の各部分間において明るさの差異がある場合や各部分間において物体深度に差異がある場合にも閾値を各画素の輝度値に応じて適切な値に動的に調整できることにより、ノイズの影響を受けて誤検出が多くなったり、また感度が低下して検出漏れが多くなったりすることが防げ、移動体をより正確に抽出できる。
【００１７】
【発明の実施の形態】
（本発明の第１の実施形態）
以下、本発明の第１の実施形態に係る画像処理装置を図１ないし図９に基づいて説明する。この図１は本実施形態に係る画像処理装置のブロック構成図、図２は本実施形態に係る画像処理装置における背景画像確定動作フローチャート、図３は本実施形態に係る画像処理装置における背景画像確定過程説明図、図４は本実施形態に係る画像処理装置における背景画像更新過程説明図、図５は本実施形態に係る画像処理装置における移動体抽出動作フローチャート、図６は本実施形態に係る画像処理装置における差分画像２値化の閾値設定条件説明図、図７は本実施形態に係る画像処理装置における差分画像２値化の閾値設定プロセス例説明図、図８は本実施形態に係る画像処理装置における差分画像２値化の閾値設定条件変化例説明図、図９は本実施形態に係る画像処理装置における移動体抽出画像説明図を示す。
【００１８】
前記各図において本実施形態に係る画像処理装置は、調査対象領域１０を撮像して入力画像Ｓ１を出力する撮像手段２と、前記入力画像の比較対象となる背景画像を設定する背景画像設定手段３と、前記設定された背景画像を格納する画像記憶手段４と、この画像記憶手段４に格納された背景画像及び順次入力される入力画像を比較演算して差分画像を出力する差分演算手段５と、前記差分画像を所定の閾値に基づいて２値化し、移動部分抽出画像を得る画像抽出手段６とを備える構成である。
【００１９】
前記背景画像設定手段３は、背景画像及び順次入力された入力画像を比較演算して輝度偏差信号を出力する輝度偏差演算手段３ａと、前記輝度偏差信号に基づいて前記背景画像の輝度を調整する輝度調整手段３ｂと、背景画像の初期画像を与えると共に、前記輝度調整手段３ｂで輝度調整された背景画像を正式な背景画像として利用可能かどうかを判断する背景画像調整手段３ｃとを備える構成である。輝度調整手段３ｂによる輝度調整は、黒と白の間の所定の輝度を、黒を０、白を２５５として０〜２５５の輝度値で表し、この輝度値１単位分の増減を行う仕組みである。
【００２０】
次に、前記構成に基づく本実施形態に係る画像処理装置の背景画像確定並びに移動体抽出動作についてそれぞれ図２及び図５に示すフローチャートを用いて説明する。
まず、あらかじめ設定された画像（図３参照）を背景画像の初期値として導入する（ステップ１００）。また、撮像手段２が調査対象領域１０を撮像することにより得られる入力画像を入力する（ステップ１０１）。この入力画像と、前記背景画像とをそれぞれ画像を構成する各画素毎に輝度偏差演算手段３ａで比較演算して輝度偏差信号を出力する（ステップ１０２、ステップ１０３）。輝度偏差信号に基づき、背景画像の各画素において、入力画像の輝度より背景画像の輝度が小さい場合は、輝度調整手段３ｂで背景画像の画素の輝度を前記輝度値１単位分だけ大きく（明るく）する（ステップ１０４）。一方、入力画像の輝度より背景画像の輝度が大きい場合には、輝度調整手段３ｂで背景画像の画素の輝度を輝度値１単位分だけ小さく（暗く）する（ステップ１０５）。さらに、入力画像の輝度と背景画像の輝度が等しい場合は、輝度の補正は行わない。そして、入力画像及び背景画像の全ての画素について輝度比較・補正処理が完了したかどうか判断し（ステップ１０６）、全ての画素について比較・補正処理が完了したら、背景画像の比較・補正処理回数を判断する背景画像積算値（初期値０）に１を加える（ステップ１０７）。全ての画素について処理が完了していない場合は、前記ステップ１０２に戻って前記各処理を繰返す（ステップ１０２〜１０６）。
【００２１】
ステップ１０７の後、背景画像積算値があらかじめ与えられた所定数（本実施形態では３００）を上回ったかどうかを判断し（ステップ１０８）、上回っていれば、十分な比較・補正によりこの時点の入力画像の背景部分にほぼ一致するこの背景画像を正式に調査対象領域のこの時点の背景画像として、画像記憶手段４に格納して背景画像を更新する（ステップ１０９）。背景画像積算値が所定数に達していなければ前記ステップ１０１に戻り、前記各処理を繰返す（ステップ１０１〜１０８）。背景画像積算値が所定数に達するまでに、背景画像は図３に示すように入力画像に略一致するようになっていく。
【００２２】
背景画像更新後、調査対象領域１０の撮像及び入力画像の入力が継続されているかどうか判断し（ステップ１１０）、継続されていれば前記ステップ１０１に戻って前記各処理を繰返し（ステップ１０１〜１１０）、継続されていなければ一連の処理を終了する。
撮像が続き、日照や天候等といった調査対象領域１０の変化に伴って撮像手段２から入力される入力画像が変わっても、前記処理によって図４に示すように背景画像が入力画像に合わせて変化し、常時正しい背景を得ることができる。
【００２３】
また、移動体抽出動作については、図５のフローチャートに示すように、まず、撮像手段２が調査対象領域１０を撮像することにより得られる入力画像を入力する（ステップ１２０）。そして、前記背景画像確定処理により得られたこの時点の背景画像を画像記憶手段４から取得する（ステップ１２１）。前記入力された入力画像と背景画像とを比較演算し（ステップ１２２）、入力画像と背景画像との間に差異がある場合には、入力画像と背景画像の差分画像（背景差分）を抽出する（ステップ１２３）。
【００２４】
移動体抽出画像は、前記画像抽出手段６において、設定された閾値（検出感度）に対する偏差の大小によって前記差分画像を２値化した画像として得られる。ただし、撮像される調査対象領域は、得られた画像における各画素位置によって見かけの感度の差が生じた状態で検出される。
【００２５】
このような検出の際の感度差を補償するために、画像の各画素単位で背景画像の輝度値に応じて閾値が自動設定される。すなわち、明るい（輝度が高い）ところは閾値を高く（感度を低く）、暗い（輝度が低い）ところは閾値を低く（感度を高く）する仕組みとなっている。図６に示すように、輝度値ＢＲが所定範囲（ＢＲ１〜ＢＲ２）の値を取る場合に、閾値ＳＨも所定範囲（ＳＨ１〜ＳＨ２）の値を取り、閾値を与える式は、ＳＨ＝ＢＲ・（ＳＨ２−ＳＨ１）／（ＢＲ２−ＢＲ１）となる。また、輝度値がＢＲ１より小さい場合には閾値はＳＨ１、輝度値がＢＲ２より大きい場合には閾値はＳＨ２としている。
【００２６】
このような背景画像の輝度値に対応する閾値の自動設定プロセスの例を図７、図８に基づいて説明すると、まず、図７（Ａ）に示すように背景画像（画像サイズ：３ピクセル×３ピクセル）の平均輝度値を求め、平均輝度値１５０を中心に±５０の範囲でＢＲ１＝１００、ＢＲ２＝２００をそれぞれ決定し、図７（Ｂ）に示すような閾値設定条件を作成する。この場合、輝度値ＢＲが１００〜２００の範囲では、閾値ＳＨを与える式は、ＳＨ＝ＢＲ・（２０−１０）／（２００−１００）＝ＢＲ・０．１となり、また、輝度値が１００より小さい場合には閾値はＳＨ１＝１０、輝度値が２００より大きい場合には閾値はＳＨ２＝２０となる。これにより、差分画像の各ピクセル毎の閾値がそれぞれ決定される（図７（Ｃ）参照）。画像の明るさの変化で背景画像の平均輝度値が大きくなったり（平均輝度値２００、図８（Ａ）参照）、小さくなったり（平均輝度値１００、図８（Ｂ）参照）した場合、それぞれＢＲ１〜ＢＲ２の範囲も平均輝度値に従って変化し、閾値を与える式は前記同様として閾値ＳＨの取りうる範囲ＳＨ１〜ＳＨ２がＢＲ１〜ＢＲ２の範囲に伴って変化する。
【００２７】
こうしてステップ１２３の後、差分画像を輝度値によって変化する閾値に基づいて２値化し（ステップ１２４）、図９に示すような白黒２値の移動体抽出画像を得る（ステップ１２５）。前記ステップ１２２で入力画像と背景画像との間に差異がない場合には、前記ステップ１２０に戻って前記処理を繰返す（ステップ１２０〜１２２）。
ステップ１２５の後、調査対象領域１０の撮像及び入力画像の入力が継続されているかどうか判断し（ステップ１２６）、継続されていれば前記ステップ１２０に戻って前記各処理を繰返し（ステップ１２０〜１２６）、継続されていなければ一連の処理を終了する。
【００２８】
このように、本実施の形態に係る画像処理装置においては、背景画像及び順次入力された入力画像を比較演算して各画素毎に輝度偏差信号を出力し、且つこの輝度偏差信号に基づいて背景画像を各画素毎に輝度調整することが所定回数繰返されて所定時間変化しない入力画像に略一致する背景画像が設定されると共に、この背景画像及び順次入力される入力画像を比較演算して出力される差分画像を各画素毎に輝度値に応じて設定される閾値に基づいて２値化し、移動部分抽出画像を得ることから、背景画像が実際の背景変化に精細に追従して変化し、背景画像と入力画像の比較処理でより実際の移動体画像に近い差分画像を得られると共に、画像の各部分間において明るさや物体深度の差異がある場合にもノイズの影響を受けたり感度が低下したりせず、差分画像の処理による移動部分の変化・移動等の認識が確実にできることとなり、誤検出や検出漏れを防げ、正確且つ確実に移動体の抽出画像を得ることができる。
【００２９】
（本発明の第２の実施形態）
本発明の第２の実施形態に係る画像処理装置を図１０ないし図１３に基づいて説明する。図１０は本実施形態に係る画像処理装置のブロック構成図、図１１は本実施形態に係る画像処理装置における背景画像確定動作フローチャート、図１２は本実施形態に係る画像処理装置における移動体抽出動作フローチャート、図１３は本実施形態に係る画像処理装置における矩形領域設定状態説明図を示す。
【００３０】
前記各図において本実施形態に係る画像処理装置は、前記第１の実施形態と同様に、撮像手段２と、背景画像設定手段３と、画像記憶手段４と、差分演算手段５と、画像抽出手段６とを共通して備える一方、異なる点として、移動体画像抽出時に移動体の存在位置に基づく矩形領域を設定する矩形領域設定手段７を備え、矩形領域に含まれる画像部分は背景画像の更新の対象としないように処理する構成を有するものである。
【００３１】
次に、前記構成に基づく本実施形態に係る画像処理装置の背景画像確定並びに移動体抽出動作について図１１及び図１２のフローチャートを用いて説明する。ステップ２００からステップ２０８までは前記第１の実施形態のステップ１００からステップ１０８と同様である。
【００３２】
ステップ２０８の後、背景画像積算値があらかじめ与えられた所定数（本実施形態では３００）を上回っていれば、後述する移動体抽出動作により移動体を含む矩形領域が設定されているかどうかを判別し（ステップ２０９）、矩形領域が設定されている場合は、前記積算値が所定数を上回った背景画像から前記矩形領域分の画像情報を除き（ステップ２１０）、除いた残りの背景画像で背景画像を更新する（ステップ２１１）。これにより、前記矩形領域にあたる部分の更新は行われない。
【００３３】
前記ステップ２０９で矩形領域が設定されていない場合には、前記積算値が所定数を上回った背景画像そのままで背景画像を更新する（ステップ２１２）。
背景画像更新後、調査対象領域１０の撮像及び入力画像の入力が継続されているかどうか判断し（ステップ２１３）、継続されていれば前記ステップ２０１に戻って前記各処理を繰返し（ステップ２０１〜２１３）、継続されていなければ一連の処理を終了する。
【００３４】
また、移動体抽出動作についても、ステップ２２０からステップ２２５までは前記第１の実施形態のステップ１２０からステップ１２５と同様である。
ステップ２２５の後、図１３に示すように、前記背景更新時のために調査対象領域と一対一に対応する画面中に移動体抽出画像を含む矩形領域を設定する（ステップ２２６）。
この後、調査対象領域１０の撮像及び入力画像の入力が継続されているかどうか判断し（ステップ２２７）、継続されていれば前記ステップ２２０に戻って前記各処理を繰返し（ステップ２２０〜２２７）、継続されていなければ一連の処理を終了する。
【００３５】
このように、本実施の形態に係る画像処理装置においては、移動体抽出画像を得たら、移動体抽出画像位置を含む矩形領域を設定し、矩形領域での前記背景画像の更新を行わないようにして、所定時間静止した移動体の存在による画像変化が背景画像に与える影響をなくせることから、より正確な移動体抽出を行うことができる。
【００３６】
なお、前記実施形態に係る画像処理装置においては、移動体抽出画像を得たら、移動体抽出画像位置を含む矩形領域を設定し、この矩形領域での前記背景画像の更新を行わないようにする構成としているが、これに加えて、順次入力される入力画像に対する背景画像の前回の更新で矩形領域を設定された部分、及び前々回の更新で矩形領域を設定された部分についても、前記背景画像の更新を行わない構成とすることもでき、移動体の存在が画像変化に影響を与えた部分を広くとって前記背景画像の更新を行わないようにし、確定される背景画像への移動体の影響を極小とすることで、誤って移動体が背景画像に同化する状態を確実に防げ、正しい背景画像との比較で正確に移動体抽出を行える。
【００３７】
また、前記実施形態に係る画像処理装置においては、移動体抽出画像位置を含む矩形領域が設定されると、この矩形領域部分での前記背景画像の更新が行われず、元の移動体が常に抽出される構成としているが、この他、移動体が所定の期間以上動かず、移動体抽出画像位置を含む矩形領域の設定が所定回の背景画像更新に際しても変化しない場合、所定回の背景画像更新後、この矩形領域の設定をいったん解いて、矩形領域であった部分についても背景画像の更新を行う構成とすることもでき、移動してきた自動車が調査対象領域に駐車された場合など、移動体が長期間静止するような状況に対し、静止した移動体を改めて背景として判断することで、静止した移動体が継続して移動体と判断されず、静止した移動体が別の新たな移動体に与える悪影響を極小とすることができ、誤って移動体が重なって一体化する状態を確実に防ぐこととなり、移動する移動体の抽出を確実に行える。
【００３８】
（本発明の第３の実施形態）
本発明の第３の実施形態に係る画像処理装置を図１４ないし図１６に基づいて説明する。図１４は本実施形態に係る画像処理装置のブロック構成図、図１５は本実施形態に係る画像処理装置における背景画像確定動作フローチャート、図１６は本実施形態に係る画像処理装置における移動体抽出動作フローチャートを示す。
【００３９】
前記各図において本実施形態に係る画像処理装置は、前記第１の実施形態と同様に、撮像手段２と、背景画像設定手段３と、画像記憶手段４と、差分演算手段５と、画像抽出手段６とを共通して備える一方、輝度偏差演算手段８及び輝度調整手段９が背景画像設定手段３から独立した状態で別個に設けられ、背景画像確定並びに移動体抽出の各処理手順を異ならせた構成を有するものである。
【００４０】
前記輝度偏差演算手段８は、背景画像及び順次入力された入力画像を比較演算して輝度偏差信号を出力する構成であり、また、輝度調整手段９は、前記輝度偏差信号に基づいて前記背景画像の輝度を調整する構成である。輝度調整手段３ｂによる輝度調整は、前記第１の実施形態同様、黒と白の間の所定の輝度を、黒を０、白を２５５として０〜２５５の輝度値で表し、この輝度値１単位分の増減を行う仕組みである。
【００４１】
次に、前記構成に基づく本実施形態に係る画像処理装置の背景画像確定並びに移動体抽出動作について図１５及び図１６のフローチャートを用いて説明する。まず、撮像手段２が調査対象領域１０を撮像することにより得られる入力画像を入力し（ステップ３０１）、この入力画像と、直後に入力された入力画像とを比較し、前後で変化があるかどうかを判断する（ステップ３０２）。前後の入力画像に差異がなければ、入力画像の継続性を判断する入力画像積算値（初期値０）に１を加える（ステップ３０３）。ここで、前後の入力画像に差異が認められれば、前記ステップ３０１に戻って前記各処理を繰返す（ステップ３０１、３０２）。
【００４２】
ステップ３０３の後、入力画像積算値があらかじめ与えられた所定数（本実施形態では３００）を上回ったかどうかを判断し（ステップ３０４）、上回っていれば、変化しなかった入力画像を正式に調査対象領域のこの時点の背景画像として、画像記憶手段４に格納して背景画像を更新する（ステップ３０５）。所定数に達していなければ前記ステップ３０１に戻り、前記各処理を繰返す（ステップ３０１〜３０４）。
【００４３】
背景画像設定後、調査対象領域１０の撮像及び入力画像の入力が継続されているかどうか判断し（ステップ３０６）、継続されていれば前記ステップ３０１に戻って前記各処理を繰返し（ステップ３０１〜３０６）、継続されていなければ一連の処理を終了する。
【００４４】
また、移動体抽出動作については、まず、撮像手段２が調査対象領域１０を撮像することにより得られる入力画像を入力する（ステップ３２０）。そして、前記背景画像確定処理により得られたこの時点の背景画像を画像記憶手段４から取得する（ステップ３２１）。
【００４５】
入力された入力画像と背景画像とをそれぞれ画像を構成する各画素毎に輝度偏差演算手段３ａで比較演算して輝度偏差信号を出力する（ステップ３２２、ステップ３２３）。輝度偏差信号に基づき、各画素において、入力画像の輝度より背景画像の輝度が小さい場合は、輝度調整手段３ｂで背景画像の輝度を前記輝度値１単位分だけ大きくする（ステップ３２４）。一方、入力画像の輝度より背景画像の輝度が大きい場合には、輝度調整手段で背景画像の輝度を輝度値１単位分だけ小さくする（ステップ３２５）。さらに、入力画像の輝度と背景画像の輝度が等しい場合は、輝度の補正は行わない。そして、入力画像及び背景画像の全ての画素について輝度比較・補正処理が完了したかどうか判断し（ステップ３２６）、全ての画素について比較・補正処理が終了したら、この輝度補正を行った背景画像を画像記憶手段４に格納して背景画像を更新する（ステップ３２７）。全ての画素について処理が完了していない場合は、前記ステップ３２２に戻って前記各処理を繰返す（ステップ３２２〜３２６）。
【００４６】
この後、この背景画像と前記入力された入力画像との比較演算（ステップ３２８）処理から後のステップ３２８以降は、前記第１の実施形態におけるステップ１２２以降と同様である。
【００４７】
このように、本実施の形態に係る画像処理装置においては、所定時間変化しない入力画像に一致する背景画像が設定されると共に、この背景画像及び順次入力された入力画像を比較演算して各画素毎に輝度偏差信号を出力し、且つこの輝度偏差信号に基づいて背景画像を各画素毎に輝度調整して背景画像が再設定され、この背景画像及び順次入力される入力画像を比較演算して出力される差分画像を各画素毎に輝度値に応じて設定される閾値に基づいて２値化し、移動部分抽出画像を得ることから、前記第１の実施形態同様、背景画像が実際の背景変化に精細に追従して変化し、背景画像と入力画像の比較処理でより実際の移動体画像に近い差分画像を得られると共に、画像の各部分間において明るさや物体深度の差異がある場合にもノイズの影響を受けたり感度が低下したりせず、差分画像の処理による移動部分の変化・移動等の認識が確実にできることとなり、誤検出や検出漏れを防げ、正確且つ確実に移動体の抽出画像を得ることができる。
【００４８】
なお、前記第１ないし第３の各実施形態に係る画像処理装置においては、輝度偏差演算手段が背景画像及び入力画像を比較演算して各画素毎に輝度偏差信号を出力すると共に、輝度調整手段が、前記輝度偏差信号に基づいて背景画像に対し各画素毎に輝度調整を行う構成としているが、この他、比較演算で画像領域全体における輝度偏差信号を出力し、背景画像全体に対し輝度調整を行う構成、又は、背景画像及び順次入力された入力画像の画像領域を複数の区分領域に分割し、この分割した区分領域毎に前記背景画像及び入力画像を比較演算して輝度偏差信号を出力し、且つこの各区分領域の輝度偏差信号に基づいて背景画像の輝度を調整する構成とすることもでき、前記実施の形態同様、背景画像を実際の背景変化に追従させて変化させ、これに基づいて差分画像を得ることとなり、移動部分の変化・移動等を確実に認識できる。
【００４９】
【発明の効果】
以上のように本発明においては、背景画像設定手段で入力画像を基に背景画像を設定し、差分演算手段で背景画像及び順次入力される入力画像を比較演算して差分画像を出力し、画像抽出手段で前記差分画像を所定の閾値に基づいて２値化し、移動部分抽出画像を得て、順次入力される入力画像から移動体を識別することにより、撮像条件、例えば明るさ、物体深度等が異なる場合であっても背景画像を用いて入力画像を処理することにより、正確且つ確実に移動部分の抽出画像を得ることができるという効果を奏する。
【００５０】
また、本発明においては、輝度偏差演算手段が背景画像及び順次入力された入力画像を比較演算して輝度偏差信号を出力し、この輝度偏差信号に基づいて輝度調整手段が前記背景画像の輝度を調整し、背景画像を入力画像に近付けていくことにより、実際の背景が変化しても背景画像が対応でき、これに基づいて差分画像を処理するようにしているので、移動部分の変化・移動等を確実に認識できることとなり、正確な抽出を行うことができるという効果を有する。
【００５１】
また、本発明においては、背景画像及び順次入力された入力画像を比較演算して画像領域全体における輝度偏差信号を出力し、且つ前記輝度偏差信号に基づいて背景画像全体に対し輝度調整を行い、背景画像を入力画像に近付けていくことにより、背景画像が実際の背景変化に追従して変化し、これに基づいて差分画像を処理することとなり、移動部分の変化・移動等を確実に認識できることとなり、正確な抽出を行うことができるという効果を有する。
【００５２】
また、本発明においては、背景画像及び順次入力された入力画像の画像領域を複数の区分領域に分割し、当該分割した区分領域毎に前記背景画像及び入力画像を比較演算して輝度偏差信号を出力し、且つ前記各区分領域の輝度偏差信号に基づいて背景画像の輝度を調整して、背景画像を入力画像に近付けていくことにより、背景画像が実際の背景変化に精細に追従して変化し、これに基づいて差分画像を処理することとなり、移動部分の変化・移動等を確実に認識できることとなり、正確な抽出を行うことができるという効果を有する。
【００５３】
また、本発明においては、背景画像及び順次入力された入力画像を比較演算して各画素毎に輝度偏差信号を出力し、且つ前記輝度偏差信号に基づいて背景画像に対し各画素毎に輝度調整を行い、背景画像を入力画像に近付けていくことにより、背景画像が実際の背景変化に一層精細に追従して変化し、これに基づいて差分画像を処理することとなり、移動部分の変化・移動等を一層確実に認識できることとなり、正確な抽出を行うことができるという効果を有する。
【００５４】
また、本発明においては、背景画像及び入力画像の比較及び輝度偏差信号の出力、並びに輝度偏差信号に基づく背景画像の輝度調整を少なくとも所定回数繰返し、前記背景画像を入力画像に略一致させることにより、背景画像と入力画像の比較処理でより実際の移動体画像に近い差分画像を得られることとなり、差分画像の処理による移動部分の変化・移動等の認識が一層確実にでき、正確な抽出を行うことができるという効果を有する。
【００５５】
また、本発明においては、移動体抽出画像を得たら、移動部分抽出画像位置を含む所定の矩形領域を設定し、矩形領域での前記背景画像の輝度調整を行わないようにし、所定時間静止した移動体の存在による画像変化が背景画像に与える影響をなくすことにより、誤って移動体が検出されることを防げ、より正確な移動体抽出を行うことができるという効果を有する。
【００５６】
また、本発明においては、移動体抽出画像を得たら、移動部分抽出画像位置を含む所定の矩形領域を設定し、この矩形領域と共に、前回及び前々回の輝度調整においてそれぞれ設定された矩形領域にあたる部分での前記背景画像の輝度調整を行わないようにし、所定時間静止したり同じ場所で少しずつ動いたりしている移動体の存在による画像変化が背景画像に与える影響をなくすことにより、誤って移動体が検出されることを確実に防げ、より正確に移動体抽出を行えるという効果を有する。
【００５７】
また、本発明においては、前記画像抽出手段で移動部分抽出画像を抽出するための閾値を差分画像の各画素毎に設定し、画像の各部分間において明るさの差異がある場合や各部分間において物体深度に差異がある場合にも閾値を各画素の輝度値に応じて適切な値に動的に調整できることにより、ノイズの影響を受けて誤検出が多くなったり、また感度が低下して検出漏れが多くなったりすることが防げ、移動体をより正確に抽出できるという効果を有する。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理装置のブロック構成図である。
【図２】本発明の第１の実施形態に係る画像処理装置における背景画像確定動作フローチャートである。
【図３】本発明の第１の実施形態に係る画像処理装置における背景画像確定過程説明図である。
【図４】本発明の第１の実施形態に係る画像処理装置における背景画像更新過程説明図である。
【図５】本発明の第１の実施形態に係る画像処理装置における移動体抽出動作フローチャートである。
【図６】本発明の第１の実施形態に係る画像処理装置における差分画像２値化の閾値設定条件説明図である。
【図７】（Ａ）は本発明の第１の実施形態に係る画像処理装置における差分画像２値化の閾値設定プロセスでの背景画像平均輝度値確定状態例説明図である。
（Ｂ）は本発明の第１の実施形態に係る画像処理装置における差分画像２値化の閾値設定プロセスでの閾値設定条件説明図である。
（Ｃ）は本発明の第１の実施形態に係る画像処理装置における差分画像２値化の閾値設定プロセスでの差分画像閾値確定状態説明図である。
【図８】（Ａ）は本発明の第１の実施形態に係る画像処理装置における差分画像２値化の閾値設定プロセスでの他の閾値設定条件説明図である。
（Ｂ）は本発明の第１の実施形態に係る画像処理装置における差分画像２値化の閾値設定プロセスでの別の他の閾値設定条件説明図である。
【図９】本発明の第１の実施形態に係る画像処理装置における移動体抽出画像説明図である。
【図１０】本発明の第２の実施形態に係る画像処理装置のブロック構成図である。
【図１１】本発明の第２の実施形態に係る画像処理装置における背景画像確定動作フローチャートである。
【図１２】本発明の第２の実施形態に係る画像処理装置における移動体抽出動作フローチャートである。
【図１３】本発明の第２の実施形態に係る画像処理装置における矩形領域設定状態説明図である。
【図１４】本発明の第３の実施形態に係る画像処理装置のブロック構成図である。
【図１５】本発明の第３の実施形態に係る画像処理装置における背景画像確定動作フローチャートである。
【図１６】本発明の第３の実施形態に係る画像処理装置における移動体抽出動作フローチャートである。
【図１７】従来の画像処理装置のブロック構成図である。
【符号の説明】
１、１００ 画像処理装置
２、１０１ 撮像手段
３ 背景画像設定手段
３ａ、８ 輝度偏差演算手段
３ｂ、９ 輝度調整手段
４、１０２ 画像記憶手段
５ 差分演算手段
６ 画像抽出手段
７ 矩形領域設定手段
１０ 調査対象領域
１０３ 比較演算部
１０４ 移動体検出部
Ｓ１、Ｓ２ 入力画像
Ｓ３ 差分画像
【発明の属する技術分野】
本発明は特定の調査対象領域を撮像して得た入力画像を処理する画像処理装置に関し、特に入力画像からの移動体部分の抽出を確実に行える画像処理装置に関する。
【０００２】
【従来の技術】
従来、この種の画像処理装置として図１７に示すものがあった。この図１７は従来の画像処理装置のブロック構成図である。
【０００３】
同図において従来の画像処理装置１００は、調査対象領域１０を撮像する撮像手段１０１より順次入力される入力画像Ｓ１を格納する画像記憶手段１０２と、この画像記憶手段１０２に格納された入力画像Ｓ１及び新たに入力される入力画像Ｓ２を比較演算して差分画像Ｓ３を出力する比較演算部１０３と、この差分画像Ｓ３に基づいて調査対象領域１０に移動体を検出する移動体検出部１０４とを備える構成である。
【０００４】
次に、前記構成に基づく従来の画像処理装置の移動体検出動作について説明する。
まず、調査対象領域１０を撮像手段１０１が撮像して得られた入力画像Ｓ１が、画像記憶手段１０２に入力されて格納される。比較演算部１０３は前記画像記憶手段１０２に格納された入力画像Ｓ１と新たに入力された入力画像Ｓ２とを比較して差分画像Ｓ３を生成して出力する。この差分画像Ｓ３に基づいて移動体検出部１０４が移動体を画像として抽出する。
【０００５】
【発明が解決しようとする課題】
従来の画像処理装置は以上のように構成されており、ある時刻ｔに撮像手段１０１で撮像されて画像記憶手段１０２に格納された入力画像Ｓ１と前記時刻ｔより後の時刻ｔ’で撮像手段１０１で撮像された入力画像Ｓ２とを比較演算部１０３で比較して差分画像Ｓ３が出力され、移動体検出部１０４が差分画像Ｓ３をあらかじめ設定された所定の閾値に基づいて解析して移動体を検出するという処理を行うが、閾値は画像全体に対し一つだけ設定されることから、調査対象領域１０の各部分間において明るさの差異がある場合、若しくは各部分間において物体深度に差異がある場合には、各部分にとっては高すぎる値あるいは低すぎる値となっていることも少なくなく、移動体を誤って識別させる等の課題を有した。すなわち、閾値が低すぎると明るさが明るい（輝度が高い）場合又は物体深度が浅い場合には過敏な検知によってノイズの影響を受けやすく誤検出が多くなり、また閾値が高すぎると明るさが暗い（輝度が低い）場合又は物体深度が深い場合には感度が低下して検出漏れが多くなるという課題を有していた。
【０００６】
一方、移動体を認識するためには、移動体が含まれない背景画像と、移動体が含まれる画像との差分を取って移動体を抽出するのが最も効果的であるが、背景となるべき調査対象領域は、時間、天候、環境変化に伴って徐々に状態が変ることもあり、これに追随させて背景画像も変えていかないと、正しく移動体を認識することはできない。そのため、確実に移動体のみを抽出するためには、調査対象領域の変化に合わせて背景画像も更新していく必要がある。ただ、背景画像の更新頻度が短いと、移動体の静止状態が背景画像に取込まれ、その後移動体が誤って認識されたり、逆に、更新頻度が長いと本来の移動体以外で徐々に変化している部分も移動体として誤って認識されたりしてしまうという課題を有していた。
【０００７】
本発明は前記課題を解消するためになされたもので、調査対象領域における背景変化を適切に取込み、移動体を正しく抽出できる画像処理装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明に係る画像処理装置は、断続的な内容変化を伴って順次入力される入力画像を処理する画像処理装置において、前記入力画像のうち、所定期間変化しない画像を背景画像として設定する背景画像設定手段と、前記設定された背景画像及び順次入力される入力画像を比較演算して差分画像を出力する差分演算手段と、前記差分画像を所定の閾値に基づいて２値化し、移動部分抽出画像を得る画像抽出手段とを備え、前記背景画像設定手段が、少なくとも、背景画像及び順次入力された入力画像を比較演算して輝度偏差信号を出力する輝度偏差演算手段と、前記輝度偏差信号に基づいて前記背景画像の輝度を調整する輝度調整手段とを備えてなり、前記背景画像及び入力画像の画像領域に、少なくとも前記移動部分抽出画像位置を含む所定の矩形領域を設定し、当該矩形領域、並びに、順次入力される入力画像に対する背景画像の前回の輝度調整及び前々回の輝度調整でそれぞれ前記矩形領域に設定された部分で、前記背景画像の輝度調整を行わないものである。
このように本発明によれば、背景画像設定手段で入力画像を基に背景画像を設定し、差分演算手段で背景画像及び順次入力される入力画像を比較演算して差分画像を出力し、画像抽出手段で前記差分画像を所定の閾値に基づいて２値化し、移動部分抽出画像を得て、順次入力される入力画像から移動体を識別することにより、撮像条件、例えば明るさ、物体深度等が異なる場合であっても背景画像を用いて入力画像を処理することにより、正確且つ確実に移動部分の抽出画像を得ることができる。
【０００９】
また、輝度偏差演算手段が背景画像及び順次入力された入力画像を比較演算して輝度偏差信号を出力し、この輝度偏差信号に基づいて輝度調整手段が前記背景画像の輝度を調整し、背景画像を入力画像に近付けていくことにより、実際の背景が変化しても背景画像が対応でき、これに基づいて差分画像を処理するようにしているので、移動部分の変化・移動等を確実に認識できることとなり、正確な抽出を行うことができる。
さらに、移動体抽出画像を得たら、移動部分抽出画像位置を含む所定の矩形領域を設定し、この矩形領域と共に、前回及び前々回の輝度調整においてそれぞれ設定された矩形領域にあたる部分での前記背景画像の輝度調整を行わないようにし、所定時間静止したり同じ場所で少しずつ動いたりしている移動体の存在による画像変化が背景画像に与える影響をなくすことにより、誤って移動体が検出されることを確実に防げ、より正確に移動体抽出を行える。
【００１０】
また、本発明に係る画像処理装置は必要に応じて、前記輝度偏差演算手段が、背景画像及び順次入力された入力画像を比較演算して画像領域全体における輝度偏差信号を出力し、前記輝度調整手段が、前記輝度偏差信号に基づいて背景画像全体に対し輝度調整を行うものである。このように本発明によれば、背景画像及び順次入力された入力画像を比較演算して画像領域全体における輝度偏差信号を出力し、且つ前記輝度偏差信号に基づいて背景画像全体に対し輝度調整を行い、背景画像を入力画像に近付けていくことにより、背景画像が実際の背景変化に追従して変化し、これに基づいて差分画像を処理することとなり、移動部分の変化・移動等を確実に認識できることとなり、正確な抽出を行うことができる。
【００１１】
また、本発明に係る画像処理装置は必要に応じて、前記輝度偏差演算手段が、背景画像及び順次入力された入力画像の画像領域を複数の区分領域に分割し、当該分割した区分領域毎に前記背景画像及び入力画像を比較演算して輝度偏差信号を出力し、前記輝度調整手段が、前記各区分領域の輝度偏差信号に基づいて背景画像の輝度を調整するものである。このように本発明によれば、背景画像及び順次入力された入力画像の画像領域を複数の区分領域に分割し、当該分割した区分領域毎に前記背景画像及び入力画像を比較演算して輝度偏差信号を出力し、且つ前記各区分領域の輝度偏差信号に基づいて背景画像の輝度を調整して、背景画像を入力画像に近付けていくことにより、背景画像が実際の背景変化に精細に追従して変化し、これに基づいて差分画像を処理することとなり、移動部分の変化・移動等を確実に認識できることとなり、正確な抽出を行うことができる。
【００１２】
また、本発明に係る画像処理装置は必要に応じて、前記輝度偏差演算手段が、背景画像及び順次入力された入力画像を比較演算して各画素毎に輝度偏差信号を出力し、前記輝度調整手段が、前記輝度偏差信号に基づいて背景画像に対し各画素毎に輝度調整を行うものである。このように本発明によれば、背景画像及び順次入力された入力画像を比較演算して各画素毎に輝度偏差信号を出力し、且つ前記輝度偏差信号に基づいて背景画像に対し各画素毎に輝度調整を行い、背景画像を入力画像に近付けていくことにより、背景画像が実際の背景変化に一層精細に追従して変化し、これに基づいて差分画像を処理することとなり、移動部分の変化・移動等を一層確実に認識できることとなり、正確な抽出を行うことができる。
【００１３】
また、本発明に係る画像処理装置は必要に応じて、前記背景画像設定手段が、前記輝度偏差演算手段による比較及び輝度偏差信号の出力、並びに輝度調整手段での背景画像の輝度調整を少なくとも所定回数繰返し、前記背景画像を入力画像に略一致させるものである。このように本発明によれば、背景画像及び入力画像の比較及び輝度偏差信号の出力、並びに輝度偏差信号に基づく背景画像の輝度調整を少なくとも所定回数繰返し、背景画像を入力画像に略一致させることにより、背景画像と入力画像の比較処理でより実際の移動体画像に近い差分画像を得られることとなり、差分画像の処理による移動部分の変化・移動等の認識が一層確実にでき、正確な抽出を行うことができる。
【００１４】
また、本発明に係る画像処理装置は必要に応じて、前記画像抽出手段が、前記移動部分抽出画像を抽出するための閾値を差分画像の各画素毎に設定されるものである。このように本発明によれば、前記画像抽出手段で移動部分抽出画像を抽出するための閾値を差分画像の各画素毎に設定し、画像の各部分間において明るさの差異がある場合や各部分間において物体深度に差異がある場合にも閾値を各画素の輝度値に応じて適切な値に動的に調整できることにより、ノイズの影響を受けて誤検出が多くなったり、また感度が低下して検出漏れが多くなったりすることが防げ、移動体をより正確に抽出できる。
【００１７】
【発明の実施の形態】
（本発明の第１の実施形態）
以下、本発明の第１の実施形態に係る画像処理装置を図１ないし図９に基づいて説明する。この図１は本実施形態に係る画像処理装置のブロック構成図、図２は本実施形態に係る画像処理装置における背景画像確定動作フローチャート、図３は本実施形態に係る画像処理装置における背景画像確定過程説明図、図４は本実施形態に係る画像処理装置における背景画像更新過程説明図、図５は本実施形態に係る画像処理装置における移動体抽出動作フローチャート、図６は本実施形態に係る画像処理装置における差分画像２値化の閾値設定条件説明図、図７は本実施形態に係る画像処理装置における差分画像２値化の閾値設定プロセス例説明図、図８は本実施形態に係る画像処理装置における差分画像２値化の閾値設定条件変化例説明図、図９は本実施形態に係る画像処理装置における移動体抽出画像説明図を示す。
【００１８】
前記各図において本実施形態に係る画像処理装置は、調査対象領域１０を撮像して入力画像Ｓ１を出力する撮像手段２と、前記入力画像の比較対象となる背景画像を設定する背景画像設定手段３と、前記設定された背景画像を格納する画像記憶手段４と、この画像記憶手段４に格納された背景画像及び順次入力される入力画像を比較演算して差分画像を出力する差分演算手段５と、前記差分画像を所定の閾値に基づいて２値化し、移動部分抽出画像を得る画像抽出手段６とを備える構成である。
【００１９】
前記背景画像設定手段３は、背景画像及び順次入力された入力画像を比較演算して輝度偏差信号を出力する輝度偏差演算手段３ａと、前記輝度偏差信号に基づいて前記背景画像の輝度を調整する輝度調整手段３ｂと、背景画像の初期画像を与えると共に、前記輝度調整手段３ｂで輝度調整された背景画像を正式な背景画像として利用可能かどうかを判断する背景画像調整手段３ｃとを備える構成である。輝度調整手段３ｂによる輝度調整は、黒と白の間の所定の輝度を、黒を０、白を２５５として０〜２５５の輝度値で表し、この輝度値１単位分の増減を行う仕組みである。
【００２０】
次に、前記構成に基づく本実施形態に係る画像処理装置の背景画像確定並びに移動体抽出動作についてそれぞれ図２及び図５に示すフローチャートを用いて説明する。
まず、あらかじめ設定された画像（図３参照）を背景画像の初期値として導入する（ステップ１００）。また、撮像手段２が調査対象領域１０を撮像することにより得られる入力画像を入力する（ステップ１０１）。この入力画像と、前記背景画像とをそれぞれ画像を構成する各画素毎に輝度偏差演算手段３ａで比較演算して輝度偏差信号を出力する（ステップ１０２、ステップ１０３）。輝度偏差信号に基づき、背景画像の各画素において、入力画像の輝度より背景画像の輝度が小さい場合は、輝度調整手段３ｂで背景画像の画素の輝度を前記輝度値１単位分だけ大きく（明るく）する（ステップ１０４）。一方、入力画像の輝度より背景画像の輝度が大きい場合には、輝度調整手段３ｂで背景画像の画素の輝度を輝度値１単位分だけ小さく（暗く）する（ステップ１０５）。さらに、入力画像の輝度と背景画像の輝度が等しい場合は、輝度の補正は行わない。そして、入力画像及び背景画像の全ての画素について輝度比較・補正処理が完了したかどうか判断し（ステップ１０６）、全ての画素について比較・補正処理が完了したら、背景画像の比較・補正処理回数を判断する背景画像積算値（初期値０）に１を加える（ステップ１０７）。全ての画素について処理が完了していない場合は、前記ステップ１０２に戻って前記各処理を繰返す（ステップ１０２〜１０６）。
【００２１】
ステップ１０７の後、背景画像積算値があらかじめ与えられた所定数（本実施形態では３００）を上回ったかどうかを判断し（ステップ１０８）、上回っていれば、十分な比較・補正によりこの時点の入力画像の背景部分にほぼ一致するこの背景画像を正式に調査対象領域のこの時点の背景画像として、画像記憶手段４に格納して背景画像を更新する（ステップ１０９）。背景画像積算値が所定数に達していなければ前記ステップ１０１に戻り、前記各処理を繰返す（ステップ１０１〜１０８）。背景画像積算値が所定数に達するまでに、背景画像は図３に示すように入力画像に略一致するようになっていく。
【００２２】
背景画像更新後、調査対象領域１０の撮像及び入力画像の入力が継続されているかどうか判断し（ステップ１１０）、継続されていれば前記ステップ１０１に戻って前記各処理を繰返し（ステップ１０１〜１１０）、継続されていなければ一連の処理を終了する。
撮像が続き、日照や天候等といった調査対象領域１０の変化に伴って撮像手段２から入力される入力画像が変わっても、前記処理によって図４に示すように背景画像が入力画像に合わせて変化し、常時正しい背景を得ることができる。
【００２３】
また、移動体抽出動作については、図５のフローチャートに示すように、まず、撮像手段２が調査対象領域１０を撮像することにより得られる入力画像を入力する（ステップ１２０）。そして、前記背景画像確定処理により得られたこの時点の背景画像を画像記憶手段４から取得する（ステップ１２１）。前記入力された入力画像と背景画像とを比較演算し（ステップ１２２）、入力画像と背景画像との間に差異がある場合には、入力画像と背景画像の差分画像（背景差分）を抽出する（ステップ１２３）。
【００２４】
移動体抽出画像は、前記画像抽出手段６において、設定された閾値（検出感度）に対する偏差の大小によって前記差分画像を２値化した画像として得られる。ただし、撮像される調査対象領域は、得られた画像における各画素位置によって見かけの感度の差が生じた状態で検出される。
【００２５】
このような検出の際の感度差を補償するために、画像の各画素単位で背景画像の輝度値に応じて閾値が自動設定される。すなわち、明るい（輝度が高い）ところは閾値を高く（感度を低く）、暗い（輝度が低い）ところは閾値を低く（感度を高く）する仕組みとなっている。図６に示すように、輝度値ＢＲが所定範囲（ＢＲ１〜ＢＲ２）の値を取る場合に、閾値ＳＨも所定範囲（ＳＨ１〜ＳＨ２）の値を取り、閾値を与える式は、ＳＨ＝ＢＲ・（ＳＨ２−ＳＨ１）／（ＢＲ２−ＢＲ１）となる。また、輝度値がＢＲ１より小さい場合には閾値はＳＨ１、輝度値がＢＲ２より大きい場合には閾値はＳＨ２としている。
【００２６】
このような背景画像の輝度値に対応する閾値の自動設定プロセスの例を図７、図８に基づいて説明すると、まず、図７（Ａ）に示すように背景画像（画像サイズ：３ピクセル×３ピクセル）の平均輝度値を求め、平均輝度値１５０を中心に±５０の範囲でＢＲ１＝１００、ＢＲ２＝２００をそれぞれ決定し、図７（Ｂ）に示すような閾値設定条件を作成する。この場合、輝度値ＢＲが１００〜２００の範囲では、閾値ＳＨを与える式は、ＳＨ＝ＢＲ・（２０−１０）／（２００−１００）＝ＢＲ・０．１となり、また、輝度値が１００より小さい場合には閾値はＳＨ１＝１０、輝度値が２００より大きい場合には閾値はＳＨ２＝２０となる。これにより、差分画像の各ピクセル毎の閾値がそれぞれ決定される（図７（Ｃ）参照）。画像の明るさの変化で背景画像の平均輝度値が大きくなったり（平均輝度値２００、図８（Ａ）参照）、小さくなったり（平均輝度値１００、図８（Ｂ）参照）した場合、それぞれＢＲ１〜ＢＲ２の範囲も平均輝度値に従って変化し、閾値を与える式は前記同様として閾値ＳＨの取りうる範囲ＳＨ１〜ＳＨ２がＢＲ１〜ＢＲ２の範囲に伴って変化する。
【００２７】
こうしてステップ１２３の後、差分画像を輝度値によって変化する閾値に基づいて２値化し（ステップ１２４）、図９に示すような白黒２値の移動体抽出画像を得る（ステップ１２５）。前記ステップ１２２で入力画像と背景画像との間に差異がない場合には、前記ステップ１２０に戻って前記処理を繰返す（ステップ１２０〜１２２）。
ステップ１２５の後、調査対象領域１０の撮像及び入力画像の入力が継続されているかどうか判断し（ステップ１２６）、継続されていれば前記ステップ１２０に戻って前記各処理を繰返し（ステップ１２０〜１２６）、継続されていなければ一連の処理を終了する。
【００２８】
このように、本実施の形態に係る画像処理装置においては、背景画像及び順次入力された入力画像を比較演算して各画素毎に輝度偏差信号を出力し、且つこの輝度偏差信号に基づいて背景画像を各画素毎に輝度調整することが所定回数繰返されて所定時間変化しない入力画像に略一致する背景画像が設定されると共に、この背景画像及び順次入力される入力画像を比較演算して出力される差分画像を各画素毎に輝度値に応じて設定される閾値に基づいて２値化し、移動部分抽出画像を得ることから、背景画像が実際の背景変化に精細に追従して変化し、背景画像と入力画像の比較処理でより実際の移動体画像に近い差分画像を得られると共に、画像の各部分間において明るさや物体深度の差異がある場合にもノイズの影響を受けたり感度が低下したりせず、差分画像の処理による移動部分の変化・移動等の認識が確実にできることとなり、誤検出や検出漏れを防げ、正確且つ確実に移動体の抽出画像を得ることができる。
【００２９】
（本発明の第２の実施形態）
本発明の第２の実施形態に係る画像処理装置を図１０ないし図１３に基づいて説明する。図１０は本実施形態に係る画像処理装置のブロック構成図、図１１は本実施形態に係る画像処理装置における背景画像確定動作フローチャート、図１２は本実施形態に係る画像処理装置における移動体抽出動作フローチャート、図１３は本実施形態に係る画像処理装置における矩形領域設定状態説明図を示す。
【００３０】
前記各図において本実施形態に係る画像処理装置は、前記第１の実施形態と同様に、撮像手段２と、背景画像設定手段３と、画像記憶手段４と、差分演算手段５と、画像抽出手段６とを共通して備える一方、異なる点として、移動体画像抽出時に移動体の存在位置に基づく矩形領域を設定する矩形領域設定手段７を備え、矩形領域に含まれる画像部分は背景画像の更新の対象としないように処理する構成を有するものである。
【００３１】
次に、前記構成に基づく本実施形態に係る画像処理装置の背景画像確定並びに移動体抽出動作について図１１及び図１２のフローチャートを用いて説明する。ステップ２００からステップ２０８までは前記第１の実施形態のステップ１００からステップ１０８と同様である。
【００３２】
ステップ２０８の後、背景画像積算値があらかじめ与えられた所定数（本実施形態では３００）を上回っていれば、後述する移動体抽出動作により移動体を含む矩形領域が設定されているかどうかを判別し（ステップ２０９）、矩形領域が設定されている場合は、前記積算値が所定数を上回った背景画像から前記矩形領域分の画像情報を除き（ステップ２１０）、除いた残りの背景画像で背景画像を更新する（ステップ２１１）。これにより、前記矩形領域にあたる部分の更新は行われない。
【００３３】
前記ステップ２０９で矩形領域が設定されていない場合には、前記積算値が所定数を上回った背景画像そのままで背景画像を更新する（ステップ２１２）。
背景画像更新後、調査対象領域１０の撮像及び入力画像の入力が継続されているかどうか判断し（ステップ２１３）、継続されていれば前記ステップ２０１に戻って前記各処理を繰返し（ステップ２０１〜２１３）、継続されていなければ一連の処理を終了する。
【００３４】
また、移動体抽出動作についても、ステップ２２０からステップ２２５までは前記第１の実施形態のステップ１２０からステップ１２５と同様である。
ステップ２２５の後、図１３に示すように、前記背景更新時のために調査対象領域と一対一に対応する画面中に移動体抽出画像を含む矩形領域を設定する（ステップ２２６）。
この後、調査対象領域１０の撮像及び入力画像の入力が継続されているかどうか判断し（ステップ２２７）、継続されていれば前記ステップ２２０に戻って前記各処理を繰返し（ステップ２２０〜２２７）、継続されていなければ一連の処理を終了する。
【００３５】
このように、本実施の形態に係る画像処理装置においては、移動体抽出画像を得たら、移動体抽出画像位置を含む矩形領域を設定し、矩形領域での前記背景画像の更新を行わないようにして、所定時間静止した移動体の存在による画像変化が背景画像に与える影響をなくせることから、より正確な移動体抽出を行うことができる。
【００３６】
なお、前記実施形態に係る画像処理装置においては、移動体抽出画像を得たら、移動体抽出画像位置を含む矩形領域を設定し、この矩形領域での前記背景画像の更新を行わないようにする構成としているが、これに加えて、順次入力される入力画像に対する背景画像の前回の更新で矩形領域を設定された部分、及び前々回の更新で矩形領域を設定された部分についても、前記背景画像の更新を行わない構成とすることもでき、移動体の存在が画像変化に影響を与えた部分を広くとって前記背景画像の更新を行わないようにし、確定される背景画像への移動体の影響を極小とすることで、誤って移動体が背景画像に同化する状態を確実に防げ、正しい背景画像との比較で正確に移動体抽出を行える。
【００３７】
また、前記実施形態に係る画像処理装置においては、移動体抽出画像位置を含む矩形領域が設定されると、この矩形領域部分での前記背景画像の更新が行われず、元の移動体が常に抽出される構成としているが、この他、移動体が所定の期間以上動かず、移動体抽出画像位置を含む矩形領域の設定が所定回の背景画像更新に際しても変化しない場合、所定回の背景画像更新後、この矩形領域の設定をいったん解いて、矩形領域であった部分についても背景画像の更新を行う構成とすることもでき、移動してきた自動車が調査対象領域に駐車された場合など、移動体が長期間静止するような状況に対し、静止した移動体を改めて背景として判断することで、静止した移動体が継続して移動体と判断されず、静止した移動体が別の新たな移動体に与える悪影響を極小とすることができ、誤って移動体が重なって一体化する状態を確実に防ぐこととなり、移動する移動体の抽出を確実に行える。
【００３８】
（本発明の第３の実施形態）
本発明の第３の実施形態に係る画像処理装置を図１４ないし図１６に基づいて説明する。図１４は本実施形態に係る画像処理装置のブロック構成図、図１５は本実施形態に係る画像処理装置における背景画像確定動作フローチャート、図１６は本実施形態に係る画像処理装置における移動体抽出動作フローチャートを示す。
【００３９】
前記各図において本実施形態に係る画像処理装置は、前記第１の実施形態と同様に、撮像手段２と、背景画像設定手段３と、画像記憶手段４と、差分演算手段５と、画像抽出手段６とを共通して備える一方、輝度偏差演算手段８及び輝度調整手段９が背景画像設定手段３から独立した状態で別個に設けられ、背景画像確定並びに移動体抽出の各処理手順を異ならせた構成を有するものである。
【００４０】
前記輝度偏差演算手段８は、背景画像及び順次入力された入力画像を比較演算して輝度偏差信号を出力する構成であり、また、輝度調整手段９は、前記輝度偏差信号に基づいて前記背景画像の輝度を調整する構成である。輝度調整手段３ｂによる輝度調整は、前記第１の実施形態同様、黒と白の間の所定の輝度を、黒を０、白を２５５として０〜２５５の輝度値で表し、この輝度値１単位分の増減を行う仕組みである。
【００４１】
次に、前記構成に基づく本実施形態に係る画像処理装置の背景画像確定並びに移動体抽出動作について図１５及び図１６のフローチャートを用いて説明する。まず、撮像手段２が調査対象領域１０を撮像することにより得られる入力画像を入力し（ステップ３０１）、この入力画像と、直後に入力された入力画像とを比較し、前後で変化があるかどうかを判断する（ステップ３０２）。前後の入力画像に差異がなければ、入力画像の継続性を判断する入力画像積算値（初期値０）に１を加える（ステップ３０３）。ここで、前後の入力画像に差異が認められれば、前記ステップ３０１に戻って前記各処理を繰返す（ステップ３０１、３０２）。
【００４２】
ステップ３０３の後、入力画像積算値があらかじめ与えられた所定数（本実施形態では３００）を上回ったかどうかを判断し（ステップ３０４）、上回っていれば、変化しなかった入力画像を正式に調査対象領域のこの時点の背景画像として、画像記憶手段４に格納して背景画像を更新する（ステップ３０５）。所定数に達していなければ前記ステップ３０１に戻り、前記各処理を繰返す（ステップ３０１〜３０４）。
【００４３】
背景画像設定後、調査対象領域１０の撮像及び入力画像の入力が継続されているかどうか判断し（ステップ３０６）、継続されていれば前記ステップ３０１に戻って前記各処理を繰返し（ステップ３０１〜３０６）、継続されていなければ一連の処理を終了する。
【００４４】
また、移動体抽出動作については、まず、撮像手段２が調査対象領域１０を撮像することにより得られる入力画像を入力する（ステップ３２０）。そして、前記背景画像確定処理により得られたこの時点の背景画像を画像記憶手段４から取得する（ステップ３２１）。
【００４５】
入力された入力画像と背景画像とをそれぞれ画像を構成する各画素毎に輝度偏差演算手段３ａで比較演算して輝度偏差信号を出力する（ステップ３２２、ステップ３２３）。輝度偏差信号に基づき、各画素において、入力画像の輝度より背景画像の輝度が小さい場合は、輝度調整手段３ｂで背景画像の輝度を前記輝度値１単位分だけ大きくする（ステップ３２４）。一方、入力画像の輝度より背景画像の輝度が大きい場合には、輝度調整手段で背景画像の輝度を輝度値１単位分だけ小さくする（ステップ３２５）。さらに、入力画像の輝度と背景画像の輝度が等しい場合は、輝度の補正は行わない。そして、入力画像及び背景画像の全ての画素について輝度比較・補正処理が完了したかどうか判断し（ステップ３２６）、全ての画素について比較・補正処理が終了したら、この輝度補正を行った背景画像を画像記憶手段４に格納して背景画像を更新する（ステップ３２７）。全ての画素について処理が完了していない場合は、前記ステップ３２２に戻って前記各処理を繰返す（ステップ３２２〜３２６）。
【００４６】
この後、この背景画像と前記入力された入力画像との比較演算（ステップ３２８）処理から後のステップ３２８以降は、前記第１の実施形態におけるステップ１２２以降と同様である。
【００４７】
このように、本実施の形態に係る画像処理装置においては、所定時間変化しない入力画像に一致する背景画像が設定されると共に、この背景画像及び順次入力された入力画像を比較演算して各画素毎に輝度偏差信号を出力し、且つこの輝度偏差信号に基づいて背景画像を各画素毎に輝度調整して背景画像が再設定され、この背景画像及び順次入力される入力画像を比較演算して出力される差分画像を各画素毎に輝度値に応じて設定される閾値に基づいて２値化し、移動部分抽出画像を得ることから、前記第１の実施形態同様、背景画像が実際の背景変化に精細に追従して変化し、背景画像と入力画像の比較処理でより実際の移動体画像に近い差分画像を得られると共に、画像の各部分間において明るさや物体深度の差異がある場合にもノイズの影響を受けたり感度が低下したりせず、差分画像の処理による移動部分の変化・移動等の認識が確実にできることとなり、誤検出や検出漏れを防げ、正確且つ確実に移動体の抽出画像を得ることができる。
【００４８】
なお、前記第１ないし第３の各実施形態に係る画像処理装置においては、輝度偏差演算手段が背景画像及び入力画像を比較演算して各画素毎に輝度偏差信号を出力すると共に、輝度調整手段が、前記輝度偏差信号に基づいて背景画像に対し各画素毎に輝度調整を行う構成としているが、この他、比較演算で画像領域全体における輝度偏差信号を出力し、背景画像全体に対し輝度調整を行う構成、又は、背景画像及び順次入力された入力画像の画像領域を複数の区分領域に分割し、この分割した区分領域毎に前記背景画像及び入力画像を比較演算して輝度偏差信号を出力し、且つこの各区分領域の輝度偏差信号に基づいて背景画像の輝度を調整する構成とすることもでき、前記実施の形態同様、背景画像を実際の背景変化に追従させて変化させ、これに基づいて差分画像を得ることとなり、移動部分の変化・移動等を確実に認識できる。
【００４９】
【発明の効果】
以上のように本発明においては、背景画像設定手段で入力画像を基に背景画像を設定し、差分演算手段で背景画像及び順次入力される入力画像を比較演算して差分画像を出力し、画像抽出手段で前記差分画像を所定の閾値に基づいて２値化し、移動部分抽出画像を得て、順次入力される入力画像から移動体を識別することにより、撮像条件、例えば明るさ、物体深度等が異なる場合であっても背景画像を用いて入力画像を処理することにより、正確且つ確実に移動部分の抽出画像を得ることができるという効果を奏する。
【００５０】
また、本発明においては、輝度偏差演算手段が背景画像及び順次入力された入力画像を比較演算して輝度偏差信号を出力し、この輝度偏差信号に基づいて輝度調整手段が前記背景画像の輝度を調整し、背景画像を入力画像に近付けていくことにより、実際の背景が変化しても背景画像が対応でき、これに基づいて差分画像を処理するようにしているので、移動部分の変化・移動等を確実に認識できることとなり、正確な抽出を行うことができるという効果を有する。
【００５１】
また、本発明においては、背景画像及び順次入力された入力画像を比較演算して画像領域全体における輝度偏差信号を出力し、且つ前記輝度偏差信号に基づいて背景画像全体に対し輝度調整を行い、背景画像を入力画像に近付けていくことにより、背景画像が実際の背景変化に追従して変化し、これに基づいて差分画像を処理することとなり、移動部分の変化・移動等を確実に認識できることとなり、正確な抽出を行うことができるという効果を有する。
【００５２】
また、本発明においては、背景画像及び順次入力された入力画像の画像領域を複数の区分領域に分割し、当該分割した区分領域毎に前記背景画像及び入力画像を比較演算して輝度偏差信号を出力し、且つ前記各区分領域の輝度偏差信号に基づいて背景画像の輝度を調整して、背景画像を入力画像に近付けていくことにより、背景画像が実際の背景変化に精細に追従して変化し、これに基づいて差分画像を処理することとなり、移動部分の変化・移動等を確実に認識できることとなり、正確な抽出を行うことができるという効果を有する。
【００５３】
また、本発明においては、背景画像及び順次入力された入力画像を比較演算して各画素毎に輝度偏差信号を出力し、且つ前記輝度偏差信号に基づいて背景画像に対し各画素毎に輝度調整を行い、背景画像を入力画像に近付けていくことにより、背景画像が実際の背景変化に一層精細に追従して変化し、これに基づいて差分画像を処理することとなり、移動部分の変化・移動等を一層確実に認識できることとなり、正確な抽出を行うことができるという効果を有する。
【００５４】
また、本発明においては、背景画像及び入力画像の比較及び輝度偏差信号の出力、並びに輝度偏差信号に基づく背景画像の輝度調整を少なくとも所定回数繰返し、前記背景画像を入力画像に略一致させることにより、背景画像と入力画像の比較処理でより実際の移動体画像に近い差分画像を得られることとなり、差分画像の処理による移動部分の変化・移動等の認識が一層確実にでき、正確な抽出を行うことができるという効果を有する。
【００５５】
また、本発明においては、移動体抽出画像を得たら、移動部分抽出画像位置を含む所定の矩形領域を設定し、矩形領域での前記背景画像の輝度調整を行わないようにし、所定時間静止した移動体の存在による画像変化が背景画像に与える影響をなくすことにより、誤って移動体が検出されることを防げ、より正確な移動体抽出を行うことができるという効果を有する。
【００５６】
また、本発明においては、移動体抽出画像を得たら、移動部分抽出画像位置を含む所定の矩形領域を設定し、この矩形領域と共に、前回及び前々回の輝度調整においてそれぞれ設定された矩形領域にあたる部分での前記背景画像の輝度調整を行わないようにし、所定時間静止したり同じ場所で少しずつ動いたりしている移動体の存在による画像変化が背景画像に与える影響をなくすことにより、誤って移動体が検出されることを確実に防げ、より正確に移動体抽出を行えるという効果を有する。
【００５７】
また、本発明においては、前記画像抽出手段で移動部分抽出画像を抽出するための閾値を差分画像の各画素毎に設定し、画像の各部分間において明るさの差異がある場合や各部分間において物体深度に差異がある場合にも閾値を各画素の輝度値に応じて適切な値に動的に調整できることにより、ノイズの影響を受けて誤検出が多くなったり、また感度が低下して検出漏れが多くなったりすることが防げ、移動体をより正確に抽出できるという効果を有する。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理装置のブロック構成図である。
【図２】本発明の第１の実施形態に係る画像処理装置における背景画像確定動作フローチャートである。
【図３】本発明の第１の実施形態に係る画像処理装置における背景画像確定過程説明図である。
【図４】本発明の第１の実施形態に係る画像処理装置における背景画像更新過程説明図である。
【図５】本発明の第１の実施形態に係る画像処理装置における移動体抽出動作フローチャートである。
【図６】本発明の第１の実施形態に係る画像処理装置における差分画像２値化の閾値設定条件説明図である。
【図７】（Ａ）は本発明の第１の実施形態に係る画像処理装置における差分画像２値化の閾値設定プロセスでの背景画像平均輝度値確定状態例説明図である。
（Ｂ）は本発明の第１の実施形態に係る画像処理装置における差分画像２値化の閾値設定プロセスでの閾値設定条件説明図である。
（Ｃ）は本発明の第１の実施形態に係る画像処理装置における差分画像２値化の閾値設定プロセスでの差分画像閾値確定状態説明図である。
【図８】（Ａ）は本発明の第１の実施形態に係る画像処理装置における差分画像２値化の閾値設定プロセスでの他の閾値設定条件説明図である。
（Ｂ）は本発明の第１の実施形態に係る画像処理装置における差分画像２値化の閾値設定プロセスでの別の他の閾値設定条件説明図である。
【図９】本発明の第１の実施形態に係る画像処理装置における移動体抽出画像説明図である。
【図１０】本発明の第２の実施形態に係る画像処理装置のブロック構成図である。
【図１１】本発明の第２の実施形態に係る画像処理装置における背景画像確定動作フローチャートである。
【図１２】本発明の第２の実施形態に係る画像処理装置における移動体抽出動作フローチャートである。
【図１３】本発明の第２の実施形態に係る画像処理装置における矩形領域設定状態説明図である。
【図１４】本発明の第３の実施形態に係る画像処理装置のブロック構成図である。
【図１５】本発明の第３の実施形態に係る画像処理装置における背景画像確定動作フローチャートである。
【図１６】本発明の第３の実施形態に係る画像処理装置における移動体抽出動作フローチャートである。
【図１７】従来の画像処理装置のブロック構成図である。
【符号の説明】
１、１００ 画像処理装置
２、１０１ 撮像手段
３ 背景画像設定手段
３ａ、８ 輝度偏差演算手段
３ｂ、９ 輝度調整手段
４、１０２ 画像記憶手段
５ 差分演算手段
６ 画像抽出手段
７ 矩形領域設定手段
１０ 調査対象領域
１０３ 比較演算部
１０４ 移動体検出部
Ｓ１、Ｓ２ 入力画像
Ｓ３ 差分画像
Claims (6)
- 断続的な内容変化を伴って順次入力される入力画像を処理する画像処理装置において、
前記入力画像のうち、所定期間変化しない画像を背景画像として設定する背景画像設定手段と、
前記設定された背景画像及び順次入力される入力画像を比較演算して差分画像を出力する差分演算手段と、
前記差分画像を所定の閾値に基づいて２値化し、移動部分抽出画像を得る画像抽出手段とを備え、
前記背景画像設定手段が、少なくとも、背景画像及び順次入力された入力画像を比較演算して輝度偏差信号を出力する輝度偏差演算手段と、前記輝度偏差信号に基づいて前記背景画像の輝度を調整する輝度調整手段とを備えてなり、
前記背景画像及び入力画像の画像領域に、少なくとも前記移動部分抽出画像位置を含む所定の矩形領域を設定し、
当該矩形領域、並びに、順次入力される入力画像に対する背景画像の前回の輝度調整及び前々回の輝度調整でそれぞれ前記矩形領域に設定された部分で、前記背景画像の輝度調整を行わないことを
特徴とする画像処理装置。 - 前記請求項１に記載の画像処理装置において、
前記輝度偏差演算手段が、背景画像及び順次入力された入力画像を比較演算して画像領域全体における輝度偏差信号を出力し、
前記輝度調整手段が、前記輝度偏差信号に基づいて背景画像全体に対し輝度調整を行うことを
特徴とする画像処理装置。 - 前記請求項１に記載の画像処理装置において、
前記輝度偏差演算手段が、背景画像及び順次入力された入力画像の画像領域を複数の区分領域に分割し、当該分割した区分領域毎に前記背景画像及び入力画像を比較演算して輝度偏差信号を出力し、
前記輝度調整手段が、前記各区分領域の輝度偏差信号に基づいて背景画像の輝度を調整することを
特徴とする画像処理装置。 - 前記請求項１に記載の画像処理装置において、
前記輝度偏差演算手段が、背景画像及び順次入力された入力画像を比較演算して各画素毎に輝度偏差信号を出力し、
前記輝度調整手段が、前記輝度偏差信号に基づいて背景画像に対し各画素毎に輝度調整を行うことを
特徴とする画像処理装置。 - 前記請求項１ないし４のいずれかに記載の画像処理装置において、
前記背景画像設定手段が、前記輝度偏差演算手段による比較及び輝度偏差信号の出力、並びに輝度調整手段での背景画像の輝度調整を少なくとも所定回数繰返し、前記背景画像を入力画像に略一致させることを
特徴とする画像処理装置。 - 前記請求項１ないし５のいずれかに記載の画像処理装置において、
前記画像抽出手段が、前記移動部分抽出画像を抽出するための閾値を差分画像の各画素毎に設定されることを
特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09238299A JP4303351B2 (ja) | 1999-03-31 | 1999-03-31 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09238299A JP4303351B2 (ja) | 1999-03-31 | 1999-03-31 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000285244A JP2000285244A (ja) | 2000-10-13 |
| JP4303351B2 true JP4303351B2 (ja) | 2009-07-29 |
Family
ID=14052885
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09238299A Expired - Fee Related JP4303351B2 (ja) | 1999-03-31 | 1999-03-31 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4303351B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100412634B1 (ko) * | 2001-12-04 | 2003-12-31 | (주)씽크론 | 카메라를 사용한 얼굴 영상 자동 촬영 방법 및 그 장치 |
| KR100768136B1 (ko) | 2007-02-03 | 2007-10-17 | (주) 인펙 | 주차위반 차량 검지방법 |
| JP7370769B2 (ja) * | 2019-08-30 | 2023-10-30 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
-
1999
- 1999-03-31 JP JP09238299A patent/JP4303351B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000285244A (ja) | 2000-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7248289B2 (en) | Image-pickup signal processor and method of detecting flicker | |
| US6606397B1 (en) | Face image processing apparatus for extraction of an eye image based on the position of the naris | |
| US10432854B2 (en) | Image processing apparatus to determine whether there is fog or mist in a captured image | |
| JP4303351B2 (ja) | 画像処理装置 | |
| KR20150059302A (ko) | 촬상 이미지를 적합화 하여 문자를 인식하는 방법 및 그 방법을 실행하는 정보 처리 기기 | |
| US11250553B2 (en) | Deposit detection device and deposit detection method | |
| CN104228667B (zh) | 判断雾存在与否的方法及其装置 | |
| US9122935B2 (en) | Object detection method, storage medium, integrated circuit, and object detection apparatus | |
| JP2018109824A (ja) | 電子制御装置、電子制御システムおよび電子制御方法 | |
| JP4586548B2 (ja) | 物体検出装置および物体検出方法 | |
| JPH06253208A (ja) | 車線認識装置 | |
| KR102419799B1 (ko) | 인공지능 객체 검출을 이용한 스마트폰 전방 조도센서와 후방 카메라센서간 역광 판단과 개선 장치 및 방법 | |
| KR101761947B1 (ko) | 카메라 영상의 블루밍 저감 방법 및 장치 | |
| JP2004072415A (ja) | 侵入物検出装置 | |
| KR20160040335A (ko) | 저조도 상황에서 영상 인식 개선을 위한 적외선 조명 기능을 포함한 저전력 차량용 영상 저장 장치 및 방법 | |
| JPS6211984A (ja) | 画像２値化方式 | |
| JP5395651B2 (ja) | 被写体追跡装置、被写体追跡装置の制御方法及びプログラム | |
| CN106650557B (zh) | 影像分区门坎值决定方法及系统、手势判断方法及系统 | |
| JPH07320035A (ja) | 動体像抽出方法 | |
| CN117611554A (zh) | 一种基于yuv色彩空间和梯度特征相融合的阴影检测方法 | |
| JP5800548B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JPH0894352A (ja) | 距離測定装置 | |
| JPH0830727A (ja) | 文字画像の２値化方法 | |
| JPH08334683A (ja) | 自動合焦装置 | |
| JPH05300517A (ja) | 画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051228 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081028 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090217 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090306 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090414 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090424 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120501 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130501 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140501 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |