JP4354073B2

JP4354073B2 - 移動体画像の高画質化方法及び装置

Info

Publication number: JP4354073B2
Application number: JP2000049163A
Authority: JP
Inventors: 圭一見持; 哲也塘中; 誠一日浦
Original assignee: Mitsubishi Heavy Industries Ltd
Current assignee: Mitsubishi Heavy Industries Ltd
Priority date: 2000-02-25
Filing date: 2000-02-25
Publication date: 2009-10-28
Anticipated expiration: 2020-02-25
Also published as: JP2001238130A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像監視装置などが低照度の場所で、しかも移動している物体の画像を、高画質で撮像できるようにした方法及び装置に関する。
【０００２】
【従来の技術】
一般に、低照度の画像を撮像する方法としては、超高感度カメラを使い、しかもカメラゲインを上げて撮像する方法、赤外線カメラを使う方法、撮像した画像を蓄積する方法などがある。
【０００３】
しかしながらこのうちカメラゲインを上げる方法は、画像が荒くなってノイズが乗り、画質が悪い。赤外線カメラを使う方法はカラーの撮像に向かない。しかし、撮像した画像を蓄積する方法は、カメラゲインを高くすることによって生じるノイズを相殺し、画質を向上させる。
【０００４】
以下図５で、この撮像した画像を蓄積する方法を、画像を４枚蓄積する場合を例に説明すると、図中Ｉ（ｔ_Ｒ−３）、Ｉ（ｔ_Ｒ−２）、…Ｉ（ｔ_Ｒ＋２）…はそれぞれ時間ｔ_Ｒ−３、ｔ_Ｒ−２、…ｔ_Ｒ＋２に撮像した入力画像、Ｊ（ｔ_Ｒ）、Ｊ（ｔ_Ｒ＋１）、Ｊ（ｔ_Ｒ＋２）…は撮像した画像を蓄積した出力画像である。時間ｔ_Ｒの出力画像Ｊ（ｔ_Ｒ）は、時間ｔ_Ｒ−３、ｔ_Ｒ−２、ｔ_Ｒ−１、ｔ_Ｒの画像Ｉ（ｔ_Ｒ−３）、Ｉ（ｔ_Ｒ−２）、Ｉ（ｔ_Ｒ−１）、Ｉ（ｔ_Ｒ）をデジタル加算した画像で、時間ｔ_Ｒ＋１の出力画像Ｊ（ｔ_Ｒ＋１）は、時間ｔ_Ｒ−２、ｔ_Ｒ−１、ｔ_Ｒ、ｔ_Ｒ＋１の画像Ｉ（ｔ_Ｒ−２）、Ｉ（ｔ_Ｒ−１）、Ｉ（ｔ_Ｒ）Ｉ（ｔ_Ｒ＋１）をデジタル加算した画像である。こうすると、カメラゲインを高くすることによって生じるノイズはデジタル加算で相殺され、高画質の画像が得られる。
【０００５】
しかしながら、この撮像した画像を蓄積する方法も、静止している物体の場合はいいが、動いている物体を撮像すると、蓄積によってぼけが生じる。
【０００６】
すなわち、通常のＣＣＤを用いたカメラのフレーム蓄積では、１／３０秒間ＣＣＤの電荷を蓄積するが、照度が低いシーンでは、２〜Ｎフレーム蓄積する。今Ｎ＝６０とすると、蓄積は２秒であり、その間に移動体が移動すると画像上では非常にぼけた画像になる。
【０００７】
たとえば図６のように、静止している家などの物体１は前記した方法による画像蓄積によって画質が向上するが、動いている自動車２などの物体は、画像蓄積によって出力側の３のようにぼけた画像となってしまう。
【０００８】
このような移動体画像を検出する従来技術として特開平４−１１１０７９号公報には、移動体の識別と追尾のため、複数の画像を記憶するメモリを持ち、そのメモリの同一アドレスの輝度を比較して変化した部分を移動体と見る技術が示されているが、この場合は高輝度の被写体のためぼけるようなことがなく、画像蓄積については言及されていない。
【０００９】
また特開平５−２２７４６号公報には、画像データを所定画素単位のブロックに分割し、そのブロックを複数含む移動体を囲んだ追跡ベクトル検出領域を設定して動きベクトルを検出することで、移動体の移動方向と移動量を検出する装置が示されている。しかし、この場合も単に移動体の移動方向と移動量を検出することが記されているだけで、画像蓄積については言及されていない。
【００１０】
さらに特開平７−５０７６９号公報には、後続車両が近づく速度を検出して危険かどうかを判断するため、車両上の一点の移動をベクトルとして検出し、移動方向と速度を検出する技術が示されているが、これにも画像蓄積についての記載はない。
【００１１】
【発明が解決しようとする課題】
上述の課題に鑑み、本発明は、低照度の場所で移動している物体を撮像した画像を高画質化する方法、及び装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記課題を達成するため、本発明は、静止した背景とこれに含まれる移動体を撮像装置で撮像した低照度の入力画像を蓄積して高画質化する方法において、入力画像における移動体を検知して移動体を判別し、該移動体と判別された領域に略外接する移動体領域を抽出し、複数入力画像にて前記抽出された移動体領域を中心が一致するように重ね合わせながらデジタル加算し、一方、前記複数入力画像にて前記移動体領域を除く残余の背景画像をそのままデジタル加算し、該デジタル加算した背景画像と前記移動体領域の高画質化画像とを組み合わせて出力画像とし、移動体のぼけを防止することを特徴とする。
【００１３】
このようにすることで、単に画像蓄積をおこなっただけのときはぼけてしまう移動体が、デジタル加算でノイズが相殺され、高画質化できるという効果がある。
さらに、背景部分については、移動体領域以外の残余の部分をデジタル加算すればよく、このようにすることで移動体と背景画像が両方とも高画質化された映像が得られるという効果がある。
【００１４】
また、ノイズなどによって移動体領域が正しく把握できなかった場合に対処するため、静止した背景とこれに含まれる移動体を撮像装置で撮像した低照度の入力画像を蓄積して高画質化する方法において、入力画像における移動体を検知して移動体を判別し、該移動体と判別された領域に略外接する移動体領域を抽出すると共に、前後する移動体領域の中心を少しずつずらして明るさの変化分を検出し、その変化分の絶対値が最も小さくなるずらし量で移動体領域を重ね合わせてデジタル加算し、一方、前記移動体領域を除く残余の背景画像をそのままデジタル加算し、該デジタル加算した背景画像と前記移動体領域の高画質化画像とを組み合わせて出力画像とし、移動体のぼけを防止することを特徴とする。
【００１５】
すなわち、移動体領域が正しく把握できなかった場合、移動体がずれてデジタル加算されることで判別不能な画像になってしまう可能性があるが、このようにすることで移動体部分の画像をピッタリと重ね合わすことができ、ズレのない高画質画像が得られるという効果がある。
さらに、背景部分については、移動体領域以外の残余の部分をデジタル加算すればよく、このようにすることで移動体と背景画像が両方とも高画質化された映像が得られるという効果がある。
【００１６】
【００１７】
【００１８】
また、移動体の検知手段は、連続する２枚の画像の明るさの変化分を検出する時間差分法であることを特徴とする。
さらに、移動体の検知手段は、入力画像とあらかじめ登録しておいた背景画像との変化分を検出する背景差分法であることを特徴とする。
【００１９】
これによって、簡単な構成で移動体を確実に検知できるという効果がある。
【００２０】
また、静止した背景とこれに含まれる移動体を撮像装置で撮像した低照度の入力画像を蓄積して高画質化する装置において、撮像装置が撮像した２枚の入力画像の差分をとって移動体を検知する移動体検知部と、該移動体検知部が検知した領域に略外接する移動体領域を抽出する移動体領域抽出部と、該移動体領域抽出部が抽出した複数入力画像の移動体領域を中心が一致するように重ね合わせてデジタル加算して高画質化移動体領域画像とすると共に、前記移動体領域を除く残余の背景画像をそのままデジタル加算し、該デジタル加算した背景画像と前記移動体領域の高画質化画像とを組み合わせて出力する画像加算部とからなることを特徴とする。
【００２１】
このようにすることで、単に画像蓄積をおこなっただけのときはぼけてしまう移動体が、デジタル加算でノイズが相殺され、かつ、背景画像も高画質化された映像が簡単な構成で得ることができるという効果がある。
【００２２】
また、静止した背景とこれに含まれる移動体を撮像装置で撮像した低照度の入力画像を蓄積して高画質化する装置において、撮像装置で撮像した２枚の入力画像の差分をとって移動体を検知する移動体検知部と、該移動体検知部が検知した領域に略外接する移動体領域を抽出する移動体領域抽出部と、該移動体領域抽出部が抽出した前後する移動体領域を中心を少しずつずらして明るさの変化分を検出し、その変化分の絶対値が最も小さくなるずらし量で移動体領域をデジタル加算するよう指示するマッチング処理部と、複数入力画像の前記マッチング処理部が指示したずらし量で移動体領域を重ね合わせてデジタル加算して高画質化移動体領域画像とすると共に、前記移動体領域を除く残余の背景画像をそのままデジタル加算し、該デジタル加算した背景画像と前記移動体領域の高画質化画像を組み合わせて出力する画像加算部とからなることを特徴とする。
【００２３】
移動体領域が正しく把握できなかった場合、移動体がずれてデジタル加算されることで判別不能な画像になってしまう可能性があるが、このように構成することで移動体部分の画像をピッタリと重ね合わすことができ、ズレのない高画質画像が得られるという効果がある。
【００２４】
また、移動体検知部は、連続する２枚の画像の明るさの変化分を検出する時間差分法、あるいは入力画像とあらかじめ登録しておいた背景画像との変化分を検出する背景差分法で移動体を検知することを特徴とする。
【００２５】
これによって、簡単な構成で移動体を確実に検知できるという効果がある。
【００２６】
【発明の実施の形態】
以下、図面に基づいて本発明の実施の形態を例示的に詳しく説明する。但しこの実施の形態に記載されている構成部品の寸法、材質、形状、その相対配置などは特に特定的な記載がない限りは、この発明の範囲をそれのみに限定する趣旨ではなく単なる説明例に過ぎない。
【００２７】
図１は本発明の第１の実施の形態を示した装置のブロック図で、図２は抽出した移動体領域の説明図である。図において、１１はＣＣＤカメラなどを用いた撮像装置、１２は撮像した画像をアナログデジタル変換するＡ／Ｄ変換部、１３はＡ／Ｄ変換部１２からの入力画像から移動体を検知する移動体検知部で、これは入力画像の差分を検出する差分検出部１４、入力画像を記憶する画像記録部１５、移動体判別部１６でできている。
【００２８】
差分検出部１４は、連続する２枚の画像の明るさの差分をとる時間差分法、もしくはあらかじめ登録しておいた背景との差分をとる背景差分法のいずれかで両画像の明るさの差分をとり、結果を移動体判別部１６に送る。移動体判別部１６は、差分検出部１４の検出結果から入力画像に移動体があるかどうか判別するもので、基本的に明るさに差が出たところは移動体と判別する。
【００２９】
１７は移動体と判別された領域に略外接する四角形を移動体領域とする移動体領域抽出部、１８は移動体領域と残余の背景画像をそれぞれ重ね合わせてデジタル加算し、その結果を組み合わせて表示装置２１に送る画像加算部で、これは加算部１９、画像記録部２０でできている。
【００３０】
今図５の時間ｔ_Ｒで、撮像装置１１からＡ／Ｄ変換部１２にＩ（ｔ_Ｒ）の入力画像が来ると、この入力画像はＡ／Ｄ変換されて移動体検知部１３の差分検出部１４と画像記録部１５に送られ、画像記録部１５に記録される。差分検出部１４に送られた入力画像は、画像記録部１５に記録されている一つ前の画像Ｉ（ｔ_Ｒ−１）との差分（時間差分）、もしくはあらかじめ登録されている背景画像との差分（背景差分）がとられ、結果が移動体判別部１６に送られる。
【００３１】
移動体判別部１６は、この結果から明るさに差のある部分が移動体かどうか判別し、結果を移動体領域抽出部１７に送る。入力画像に移動体があるという結果の場合、移動体領域抽出部１７は明るさに差の出た部分に略外接する四角形の領域を、図２のＩ（ｔ_Ｒ）のＲ（ｔ_Ｒ）のように移動体領域として抽出し、結果を画像加算部１８の加算部１９と画像記録部２０に送り、画像記録部２０に記録する。
【００３２】
そして図５の時間ｔ_Ｒ＋１で、撮像装置１１からＡ／Ｄ変換部１２にＩ（ｔ_Ｒ＋１）の入力画像が来ると上記したのと全く同じ処理がなされ、図２におけるＩ（ｔ_Ｒ＋１）のＲ（ｔ_Ｒ＋１）のように移動体領域が抽出され、結果が画像加算部１８の加算部１９に送られる。
【００３３】
すると加算部１９は、画像記録部２０に記録されている図２の移動体領域Ｒ（ｔ_Ｒ）を含む画像Ｉ（ｔ_Ｒ）を読み出し、移動体領域Ｒ（ｔ_Ｒ＋１）の中心Ｐ_Ｒ＋１と移動体領域Ｒ（ｔ_Ｒ）の中心Ｐ_Ｒとが一致するように両画像を重ね合わせてデジタル加算すると共に、移動体領域Ｒ（ｔ_Ｒ＋１）とＲ（ｔ_Ｒ）を除く画像を背景画像としてデジタル加算し、両加算結果を組み合わせて図２におけるＪ（ｔ_Ｒ＋１）の画像として表示装置２１に送る。そしてこのＪ（ｔ_Ｒ＋１）の画像を画像記録部２０に記録する。
【００３４】
以下同様に、図５の時間ｔ_Ｒ＋２で図２における移動体領域Ｒ（ｔ_Ｒ＋２）が抽出され、画像加算部１８の加算部１９は画像記録部２０に記録されているＪ（ｔ_Ｒ＋１）を読み出して、移動体領域Ｒと背景画像のデジタル加算を実施し、表示装置に表示する。
【００３５】
このようにすることにより、Ｊ（ｔ_Ｒ＋２）の画像はＩ（ｔ_Ｒ＋２）とＩ（ｔ_Ｒ＋１）とＩ（ｔ_Ｒ）の移動体領域と背景画像をデジタル加算した画像となり、以下同じことを繰り返すことによって複数の入力画像をデジタル加算した画像が順次得られてゆく。
【００３６】
なお、移動体領域Ｒがノイズなどにより正しく抽出されなかった場合、デジタル加算した画像はぼけたものになる。図３は、このようなことに対処した本発明の第２の実施の形態を示した装置のブロック図で、図１と同じ構成要素には同一番号を付した。また図４は、図３のマッチング処理部３０のマッチング処理を説明するための図である。
【００３７】
今図４のようにノイズなどによって、移動体領域ＲがＲ（ｔ_Ｒ）とＲ（ｔ_Ｒ＋１）とで大きさが異なったり、大きさは同じでも中心がずれたりした場合、マッチング処理部３０で片方の移動体領域Ｒ（ｔ_Ｒ）を微少距離ずらして明るさの差をとり、その絶対値をすべて加算して和が最小になるずらし量をパターンマッチング法等で求め、このずらし量に対応させて前記２つの移動体領域Ｒ（ｔ_Ｒ）とＲ（ｔ_Ｒ＋１）をデジタル加算する。
【００３８】
すなわち今、１≦ｍ≦Ｍ、１≦ｎ≦Ｎであり、ｌ_１、ｌ_２の値を−Ｌ〜Ｌの間で変化させながら、
【数１】

におけるＣ（ｌ_１、ｌ_２）を最小にするｌ’_１、ｌ’_２を求め、この値を用いて次の（２）式によりデジタル加算を行うと、移動体の画像がピッタリ重なった加算ができる。ｌ’_１、ｌ’_２を求める方法としては、このパターンマッチング法以外にも、時間的勾配法も適用可能である。
Ｒ’（ｔ_Ｒ＋１）＝１／２｛Ｒ（ｔ_Ｒ＋１、ｍ、ｎ）＋Ｒ（ｔ_Ｒ、ｍ＋ｌ’_１、ｎ＋ｌ’_２）｝………………………（２）
【００３９】
なお、Ｒ’（ｔ_Ｒ＋２）については、Ｒ’（ｔ_Ｒ＋１）とＲ（ｔ_Ｒ＋２）でマッチング処理を行い、Ｒ’（ｔ_Ｒ＋２）を生成する。これを繰り返すと、ずれのない高画質な画像が得られる。
【００４０】
これを図３に基づいて説明すると、移動体領域Ｒ（ｔ_Ｒ）が抽出されてその画像が画像記録部２０に記憶され、次の入力画像Ｉ（ｔ_Ｒ＋１）の移動体領域Ｒ（ｔ_Ｒ＋１）が抽出されると、マッチング処理部３０は画像記録部２０に記憶されている移動体領域Ｒ（ｔ_Ｒ）を読み出し、両移動体領域をｌ_１、ｌ_２だけずらして式（１）によりＣ（ｌ_１、ｌ_２）を計算する。そしてこのＣ（ｌ_１、ｌ_２）が最小になるｌ’_１、ｌ’_２をパターンマッチング法等で求め、両移動体領域Ｒをこのｌ’_１、ｌ’_２だけずらしてデジタル加算するよう加算部１９に指示する。
【００４１】
そのため加算部１９は、指示された量だけ移動体領域Ｒ（ｔ_Ｒ）とＲ（ｔ_Ｒ＋１）をずらしてデジタル加算し、前記したように残余の背景画像もデジタル加算して両加算結果を組み合わせ、表示装置２１に送ると共に画像記録部２０に記録する。そして次の移動体領域Ｒ（ｔ_Ｒ＋２）は、このマッチング処理してデジタル加算した画像と加算され、これが繰り返される。
【００４２】
以下、前記したように移動体領域の抽出とマッチング処理、及びデジタル加算が繰り返され、移動体を含んだ高画質な画像が得られる。
【００４３】
【発明の効果】
以上記載の如く、本発明の方法発明によれば単に画像蓄積をおこなっただけではぼけてしまう移動体が、デジタル加算でノイズが相殺され、高画質化できるという効果がある。
【００４４】
また、何らかの理由で移動体領域が正しく把握できなかった場合、移動体がずれてデジタル加算されることで判別不能な画像になってしまうことを防止し、移動体部分の画像をピッタリと重ね合わせてズレのない高画質画像が得られるという効果がある。
【００４５】
また背景部分については、移動体領域以外の残余の部分をデジタル加算することで、移動体と背景画像が両方とも高画質化された映像が得られるという効果がある。
【００４６】
また、移動体の検知手段は、連続する２枚の画像の明るさの変化分を検出する時間差分法と、入力画像をあらかじめ登録しておいた背景画像との変化分を検出する背景差分法のいづれかを採用し、これによって、簡単な構成で移動体を確実に検知できるという効果がある。
【００４７】
また、本発明の装置発明によれば単に画像蓄積をおこなっただけではぼけてしまう移動体が、デジタル加算でノイズが相殺され、かつ、背景画像も高画質化された映像が簡単な構成で得ることができるという効果がある。
【００４８】
また、移動体領域が正しく把握できなかった場合でも、移動体部分の画像をピッタリと重ね合わすことができ、ズレのない高画質画像が得られるという効果がある。
【００４９】
また、簡単な構成で移動体を確実に検知できるという効果がある。
【００５０】
以上、種々述べてきたように本発明によれば、低照度な場所で移動する物体を、カメラゲインをあげてノイズが増大するにも関わらず高画質で表示でき、画像監視装置などに利用すれば大きな効果が得られるものである。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る移動体画像の高画質化装置のブロック図である。
【図２】図１の移動体領域抽出部で抽出した移動体領域の説明図である。
【図３】本発明の第２実施形態に係る移動体画像の高画質化装置のブロック図である。
【図４】移動体領域を正しく把握できなかったときの説明図である。
【図５】撮像した画像を蓄積する方法の説明図である。
【図６】移動物体を画像蓄積法で撮像したときの説明図である。
【符号の説明】
１１撮像装置
１２Ａ／Ｄ変換部
１３移動体検知部
１４差分検出部
１５画像記録部
１６移動体判別部
１７移動体領域抽出部
１８画像加算部
１９加算部
２０画像記録部
２１表示装置
３０マッチング処理部

Claims

静止した背景とこれに含まれる移動体を撮像装置で撮像した低照度の入力画像を蓄積して高画質化する方法において、入力画像における移動体を検知して移動体を判別し、該移動体と判別された領域に略外接する移動体領域を抽出し、複数入力画像にて前記抽出された移動体領域を中心が一致するように重ね合わせながらデジタル加算し、一方、前記複数入力画像にて前記移動体領域を除く残余の背景画像をそのままデジタル加算し、該デジタル加算した背景画像と前記移動体領域の高画質化画像とを組み合わせて出力画像とし、移動体のぼけを防止することを特徴とする移動体画像の高画質化方法。
静止した背景とこれに含まれる移動体を撮像装置で撮像した低照度の入力画像を蓄積して高画質化する方法において、入力画像における移動体を検知して移動体を判別し、該移動体と判別された領域に略外接する移動体領域を抽出すると共に、前後する移動体領域の中心を少しずつずらして明るさの変化分を検出し、その変化分の絶対値が最も小さくなるずらし量で移動体領域を重ね合わせてデジタル加算し、一方、前記移動体領域を除く残余の背景画像をそのままデジタル加算し、該デジタル加算した背景画像と前記移動体領域の高画質化画像とを組み合わせて出力画像とし、移動体のぼけを防止することを特徴とする移動体画像の高画質化方法。
移動体の検知手段は、連続する２枚の画像の明るさの変化分を検出する時間差分法であることを特徴とする請求項１または２に記載した移動体画像の高画質化方法。
移動体の検知手段は、入力画像とあらかじめ登録しておいた背景画像との変化分を検出する背景差分法であることを特徴とする請求項１または２に記載した移動体画像の高画質化方法。
静止した背景とこれに含まれる移動体を撮像装置で撮像した低照度の入力画像を蓄積して高画質化する装置において、撮像装置が撮像した２枚の入力画像の差分をとって移動体を検知する移動体検知部と、該移動体検知部が検知した領域に略外接する移動体領域を抽出する移動体領域抽出部と、該移動体領域抽出部が抽出した複数入力画像の移動体領域を中心が一致するように重ね合わせてデジタル加算して高画質化移動体領域画像とすると共に、前記移動体領域を除く残余の背景画像をそのままデジタル加算し、該デジタル加算した背景画像と前記移動体領域の高画質化画像とを組み合わせて出力する画像加算部とからなることを特徴とする移動体画像の高画質化装置。
静止した背景とこれに含まれる移動体を撮像装置で撮像した低照度の入力画像を蓄積して高画質化する装置において、撮像装置で撮像した２枚の入力画像の差分をとって移動体を検知する移動体検知部と、該移動体検知部が検知した領域に略外接する移動体領域を抽出する移動体領域抽出部と、該移動体領域抽出部が抽出した前後する移動体領域を中心を少しずつずらして明るさの変化分を検出し、その変化分の絶対値が最も小さくなるずらし量で移動体領域をデジタル加算するよう指示するマッチング処理部と、複数入力画像の前記マッチング処理部が指示したずらし量で移動体領域を重ね合わせてデジタル加算して高画質化移動体領域画像とすると共に、前記移動体領域を除く残余の背景画像をそのままデジタル加算し、該デジタル加算した背景画像と前記移動体領域の高画質化画像を組み合わせて出力する画像加算部とからなることを特徴とする移動体画像の高画質化装置。
移動体検知部は、連続する２枚の画像の明るさの変化分を検出する時間差分法、あるいは入力画像とあらかじめ登録しておいた背景画像との変化分を検出する背景差分法で移動体を検知することを特徴とする請求項５または６に記載した移動体画像の高画質化装置。