JP3855796B2

JP3855796B2 - 映像補正装置

Info

Publication number: JP3855796B2
Application number: JP2002047466A
Authority: JP
Inventors: 一彦天野
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2002-02-25
Filing date: 2002-02-25
Publication date: 2006-12-13
Anticipated expiration: 2022-02-25
Also published as: JP2003250093A

Description

【０００１】
【発明の属する技術分野】
この発明は、撮像装置の映像補正について、特に撮像装置の固定パターンノイズを補正する映像補正装置に関するものである。
【０００２】
【従来の技術】
図９は、従来の映像補正装置の構成例を示したブロック図であり、特に、シャッタ機構を設けた事例である。図９において、１は撮像部、２は撮像部１からの出力を積分する積分手段、３は固定パターンノイズ成分を記憶しておく記憶手段、４は記憶手段３に格納された固定パターンノイズ成分を用いて撮像部１からの出力画像を補正する補正手段、５は固定パターンノイズ成分を取得するためのシャッタ機構である。
【０００３】
従来の映像補正装置は、固定パターンノイズ成分を計測する動作状態と通常の撮像を行う動作状態を有している。そして、固定パターンノイズ成分を計測する動作状態では、シャッタ機構５を閉じて撮像対象物の信号成分を遮断した状態で撮像を行い、固定パターンノイズ成分を撮像部１から出力させている。この時の固定パターンノイズ成分にはランダムノイズが含まれており、この時の撮像部１の出力をフレーム積分することにより、ランダムノイズを除去し、撮像部１に固有の固定パターンノイズ成分のみを抽出する。抽出した固定パターンノイズ成分は、記憶手段３等の記憶媒体に記憶しておく方法を行っている。
【０００４】
次に、通常の撮像を行う動作状態では、シャッタ機構５を開けると、撮像部１からは撮影対象の信号成分と撮像部１に起因する固定パターンノイズ成分が加算された映像信号が出力される。補正手段４は、この映像信号から予め記憶しておいた固定パターンノイズ成分を減算する機能を持ち、固定パターンノイズ成分が補正された映像信号を得ることができる。
【０００５】
さて、この固定パターンノイズは、撮像部１の検知画素の特性差により生じ、フレーム周期と比較して長時間で変化し、撮影対象が変化しても空間的に同じ場所に現れるオフセットノイズである。
図１０は、従来の映像補正装置の固定パターンノイズの画面上の位置と信号強度の関連を示した図であり、撮影対象物の信号成分（真の背景画像成分）と、この固定パターンノイズ成分が加算された信号が撮像部からの映像信号として出力される。
【０００６】
【発明が解決しようとする課題】
従来、固定パターンノイズを補正する場合、輝度勾配が平坦な対象を撮影して、固定パターンノイズ成分を計測していた。この場合、輝度勾配が平坦な対象として、撮像装置にシャッタ機構を設けるか、あるいは比較的平坦な背景にカメラを向けてデフォーカス動作をさせる等、極めて煩わしい操作が必要であるという課題があった。
【０００７】
この発明は、上記の様な課題を解決するためになされたものであり、煩わしいい操作を行うことなく、固定パターンノイズ成分のみを抽出し、補正可能な映像補正装置および映像補正方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
第１の発明に係る映像補正装置は、連続する撮像画像において所定のタイミングで取り込む基準画像を記憶する第１の記憶手段と、基準画像に対して上記連続する撮像画像の位置合わせを行う位置合わせ手段と、位置合わせ手段により安定化される画像をフレーム積分する第１の積分手段と、位置合わせ手段における変動量に基づいて、フレーム積分手段により積分される画像を座標変換する座標変換手段と、連続する撮像画像からこの座標変換される背景画像成分を減算する減算手段と、減算手段により減算される固定パターンノイズ成分を積分する第２の積分手段と、積分される固定パターンノイズ成分情報を記憶する第２の記憶手段と、連続する撮像画像に対して第２の記憶手段に記憶される補正用の固定パターンノイズ成分情報を除去する補正手段を備えたものである。
【０００９】
【発明の実施の形態】
実施の形態１．
図１は、この発明の実施の形態１による映像補正装置の構成を示す図である。
また、図２は、撮像部からの出力である補正前画像を示した図であり、図３は空間安定化された撮像画像を示す図であり、図４は空間安定化された背景画像を示す図であり、図５は背景画像を示す図であり、図６は固定パターンノイズを示す図であり、図７は移動物体を含む補正前画像を示す図であり、図８は補正後の画像を示す図である。
【００１０】
ここで、１は撮像部、４は撮像部１からの撮像画像を補正する補正手段、６は撮像部１からの撮像画像を記憶する第１の記憶手段、７は撮像部１からの撮像画像に対する位置合わせ手段、８は位置合わせ手段７からの画像に対して積分する第１の積分手段、９は位置合わせ手段７からの動き量に基づいて第１の積分手段８の座標を変換する座標変換手段、１０は撮像部１からの撮像画像に対して座標変換手段９からの処理画像を減算する減算手段、１１は減算手段１０において減算された画像を積分する第２の積分手段、１２は第２の積分手段１１から積分された画像を記憶する第２の記憶手段である。
【００１１】
また、１３は撮像部１から撮像された画面あるいは各々の処理画像を示す画面であり、１４は画面１３のオフセット・ノイズとなる固定パターンノイズ成分であり、これに対して、撮影対象を含む画面全体の景色をここでは背景画像１５とし、１６は移動物体である。
【００１２】
以下、この実施の形態１の動作を説明する。
図２に示すように、撮像部１を左方向（以下、Ｌ方向という）にパンさせながら撮像すると、固定パターンノイズ１４は画面１３上の同じ位置に現れるのに対して、背景画像１５は撮像部１の動きとは逆の矢印で図示された右方向（以下、Ｒ方向という）に画面上を移動して見える。一方、撮像部１をＲ方向にパンすると、背景画像１５はその逆に画面上をＬ方向に移動して見える。
【００１３】
連続して入力する動画像に対してある時点で、基準となる画像を第1の記憶手段６に記憶しておく。そして、この基準画像に対して、連続して入力する動画像の位置合わせを行う機能を位置合わせ手段７に持たせることにより、背景画像１５を空間的に安定化することができる。
【００１４】
ここで、連続して入力する２画面の位置ずれ量は、相関処理技術あるいは時空間勾配に基づく動き推定技術などにより求めて、その位置ずれ量をアフィン変換等の座標変換を行うことにより補正して、位置合わせを行う。
【００１５】
この時、撮像部１をパンさせると、固定パターンノイズ成分１４に対して信号強度の強い背景画像１５は、画面１３上に静止して見えると共に、固定パターンノイズ成分１４は、図３に示すように背景画像１５に対して撮像部１をパンさせた方向に移動して見える。この時の背景画像１５は、移動物体１６の存在しない景色を撮影する。この動画像をフレーム積分する第１の積分手段８を設けてフレーム積分すると、移動して見える固定パターンノイズ成分１４が平滑化されて低減され、図４に示すように、空間安定化された背景成分のみの画像になる。
【００１６】
次に座標変換手段９は、空間安定化された背景画像１５を、入力画像の動き量だけ移動するように座標変換し、図５に示すように入力画像の動きに合った背景画像１５を生成する。入力画像から固定パターンノイズ成分１４のみを抽出するためには、入力画像から背景画像成分を減算手段１０で減算すれば、入力画像から固定パターンノイズ成分１４のみを抽出することができる。
【００１７】
なお、この座標変換は、以下に示すアフィン変換に従って適用される。この変換により、画像を平行移動、回転、スケール変換等を行うことが出来る。
座標変換前の座標を（ｘ，ｙ）、変換後の座標を（ｘ^'，ｙ^'）とすれば、
ｘ^'＝ａｘ＋ｂｙ＋ｃ
ｙ^'＝ｄｘ＋ｅｙ＋ｆ
ここで、ａ、ｂ、ｃ、ｄ、ｅ、ｆは変換係数を示す。
【００１８】
このように抽出した固定パターンノイズ成分１４には、時間的にランダムなノイズ成分が含まれるので、ランダムノイズ成分を除去するために、抽出した固定パターンノイズ成分１４を第２の積分手段１１によりフレーム積分し、補正用の固定パターンノイズ成分１４としてフラッシュメモリやRAM（ランダムアクセクメモリ）などの記憶媒体である第２の記憶手段１２に記憶しておく。
【００１９】
固定パターンノイズ補正は、常時実施されるが、連続する撮像画像において所定のタイミングでの基準画像の取り込みと，基準画像に対して連続する撮像画像の位置合わせと、安定化される画像のフレーム積分と，積分される画像の座標変換と、連続する撮像画像からこの座標変換される背景画像成分の減算と、減算される固定パターンノイズ成分の積分と、補正用の固定パターンノイズ成分情報の記憶は，ノイズ計測を要する時に実施される。
【００２０】
そして、撮像された入力画像から常時実施される固定パターンノイズ補正は、この第２の記憶手段１２に記憶した固定パターンノイズ成分１４を入力画像から減算することにより、固定パターンノイズ成分１４が補正された動画像を得ることができる。この時の動画像は、図７に示すように移動物体が移った画像からも、図８に示すような補正後画像を得ることができる。
【００２１】
すなわち、このように構成することにより、シャッタや補正板を使わずに、移動物体を含まない背景に向けて、撮像部１を少しパンさせるだけで、固定パターンノイズ成分（オフセット成分）のみを抽出し、固定パターンノイズを補正することを可能にする。
【００２２】
【発明の効果】
この発明によれば、シャッタや補正板を使わずに、移動物体を含まない背景に向けて撮像部をパンさせるだけで、固定パターンノイズ成分（オフセット成分）のみを抽出して、固定パターンノイズを容易に補正することが出来る。
【図面の簡単な説明】
【図１】この発明の実施の形態１による映像補正装置の構成を示す図である。
【図２】この発明の実施の形態１による映像補正装置の補正前の画像を示す図である。
【図３】この発明の実施の形態１による映像補正装置の空間安定化された撮像画像を示す図である。
【図４】この発明の実施の形態１による映像補正装置の空間安定化された背景画像を示す図である。
【図５】この発明の実施の形態１による映像補正装置の背景画像を示す図である。
【図６】この発明の実施の形態１による映像補正装置の固定パターンノイズを示す図である。
【図７】この発明の実施の形態１による映像補正装置の移動物体を含む補正前画像を示す図である。
【図８】この発明の実施の形態１による映像補正装置の補正後の画像を示す図である。
【図９】従来の映像補正装置の構成例を示したブロック図である。
【図１０】従来の映像補正装置の固定パターンノイズの画面上の位置と信号強度の関連を示した図である。
【符号の説明】
１撮像部、２積分手段、３記憶手段、４補正手段、５シャッタ機構、６第１の記憶手段７位置合わせ手段、８第１の積分手段、９座標変換手段、１０減算手段、１１第２の積分手段、１２第２の記憶手段、１３画面、１４固定パターンノイズ、１５背景画像、１６移動物体。

Claims

連続する撮像画像を生成する撮像手段と、
この連続する撮像画像において所定のタイミングで取り込む基準画像を記憶する第１の記憶手段と、
この基準画像に対して上記連続する撮像画像の位置合わせを行う位置合わせ手段と、
この位置合わせ手段により安定化される画像をフレーム積分する第１の積分手段と、
上記位置合わせ手段における上記連続する撮像画像の位置ずれ量に基づいて、この第１のフレーム積分手段によりフレーム積分される画像を座標変換する座標変換手段と、
上記連続する撮像画像からこの座標変換される背景画像成分を減算する減算手段と、
この減算手段により減算される固定パターンノイズ成分を積分する第２の積分手段と、
積分される上記固定パターンノイズ成分情報を記憶する第２の記憶手段と、
上記連続する撮像画像に対して、この第２の記憶手段に記憶される上記固定パターンノイズ成分情報を除去する補正手段と、
を備え、
上記撮像手段をパンさせることにより、上記固定パターンノイズを補正することを特徴とする映像補正装置。