JP4740769B2

JP4740769B2 - 画像歪補正装置

Info

Publication number: JP4740769B2
Application number: JP2006056317A
Authority: JP
Inventors: 秀樹三ツ峰; 誠喜井上; 結子山内; 崇史深谷; 英彦大久保
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2006-03-02
Filing date: 2006-03-02
Publication date: 2011-08-03
Anticipated expiration: 2026-03-02
Also published as: JP2007233833A

Description

本発明は、画像歪補正装置に係り、特に、可視動画像と不可視動画像の画像歪を実時間補正することのできる画像歪補正装置に関する。

映画、テレビジョン等の動的な映像の制作では、同一被写体に対して可視画像を取得すると同時に不可視画像を取得することは、不可視画像をキーとして可視画像を切出し、背景画像と合成する画像合成処理において必要とされている。可視画像は可視画像カメラ（カラーテレビジョンカメラ、モノクロテレビジョンカメラ等）により撮像することができ、不可視画像は不可視画像カメラ（赤外線テレビジョンカメラ、紫外線テレビジョンカメラ等）により撮像することができる。

しかし、可視画像には可視画像カメラの光学系に起因する光学歪が、不可視画像には不可視画像カメラの光学系に起因する光学歪が含まれるだけでなく、可視画像と不可視画像の間には被写体と可視画像カメラおよび不可視画像カメラの位置関係に起因するズレが生じるため、合成画像の画質が劣化することを回避できない。

そこで従来から、光学歪を補正する装置および複数の画像間のズレを補正する画像歪補正装置が提案されている（例えば、特許文献１および非特許文献１参照）。

特許文献１に示された画像歪補正装置は、撮像レンズに起因する光学歪は撮像レンズ中心からの距離に応じて大きくなることに着目して、補正量を予めメモリに書き込んでおき、撮像画像の画素をメモリに書き込まれた量だけ補正して表示することにより撮像画像から歪を除去している。

また、非特許文献１に示された画像歪補正装置は、カメラにより得られた複数のデジタル画像を貼り合わせて１枚の画像を合成する際に画像間のズレを補正するものであって、基準となる画像と他の一枚の画像に撮像されている同一被写体をブロックマッチング法により特定し、基準となる画像の被写体の画素位置を固定し、他の一枚の画像の被写体の画素位置を１画素ずつ移動させて対応画素間の画素値の差の総計を評価する。そして、画素値の差の総計が最少となる距離を決定することにより２枚の画像間のズレを補正している。

なお、画像歪補正量を例えばレンズ中心からの距離の関数として数式化し、この数式を使用して撮像画像の画像歪を補正する画像歪補正装置も既に提案されている。
特開２００１−１８６４０９号公報（［０００６］、図１） Ricoh Technical Report No.23, SEPTEMBER, 1997, p45-52

しかしながら、光学系の歪はズーム量、アイリス量、フォーカス量等の撮像条件の変化に応じて動的に変化し、撮影時に撮像条件を正確に計測することは困難であるので、特許文献１に記載された従来の画像歪補正装置は、正確に画像歪補正値を決定することができないという課題があった。

また、非特許文献１に記載された従来の画像歪補正装置にあっては、処理量が多く動画像の画像歪を実時間で補正することが困難であるという課題があった。

本発明は、従来の課題を解決するためになされたものであって、可視動画像と不可視動画像の画像歪を実時間補正することのできる画像歪補正装置を提供することを目的とする。

本発明の画像歪補正装置は、可視画像を取得する可視画像取得手段と、不可視画像を取得する不可視画像取得手段と、前記可視画像取得手段および前記不可視画像取得手段の画像取得条件の関数である可視画像光学歪補正値および不可視画像光学歪補正値を記憶する補正値記憶手段と、前記可視画像取得手段および前記不可視画像取得手段の画像取得条件の関数として前記補正値記憶手段から読み出される前記可視画像光学歪補正値および前記不可視画像光学歪補正値に基づいて前記可視画像および前記不可視画像の画像歪を補正する画像歪補正手段とを含む画像歪補正装置であって、前記画像歪補正手段が、前記可視画像取得手段の画像取得条件の関数として前記補正値記憶手段から読み出される前記可視画像光学歪補正値に基づいて前記可視画像の光学歪補正を行って光学歪補正可視画像を生成する光学歪補正可視画像生成手段と、前記不可視画像取得手段の画像取得条件の関数として前記補正値記憶手段から読み出される前記不可視画像光学歪補正値に基づいて前記不可視画像の光学歪補正を行って光学歪補正不可視画像を生成する光学歪補正不可視画像生成手段と、前記光学歪補正可視画像と前記光学歪補正不可視画像の対応点探索により、前記光学歪補正可視画像と前記光学歪補正不可視画像の間のズレ補正を行うズレ補正手段とを含み、前記ズレ補正手段が、前記光学歪補正可視画像の画素位置を基準として、前記光学歪補正不可視画像の画素位置に対するズレ補正値およびズレ補正信頼度を算出するズレ補正値およびズレ補正信頼度算出部と、前記ズレ補正信頼度ならびに前記補正値記憶手段に記憶された前記不可視画像光学歪補正値および前記光学歪補正信頼度に基づいてズレ補正を行う必要があるか否かを判断するズレ補正要否判断部と、前記ズレ補正値およびズレ補正信頼度ならびに前記不可視画像光学歪補正値および前記光学歪補正信頼度に基づいて画像歪補正値および画像歪補正信頼度を算出する画像歪補正値および画像歪補正信頼度算出部と、前記ズレ補正値を用いて前記光学歪補正不可視画像のズレ補正を行うズレ補正処理部とを含む構成を有している。

この構成により、可視動画像と不可視動画像の画像歪を実時間補正することができることとなる。また、この構成により、撮影時に撮像条件を正確に取得することが困難であっても、精度よく画像歪補正を行うことができることとなる。また、この構成により、ズレ補正を行うことができることとなる。

本発明の画像歪補正装置は、可視画像を取得する可視画像取得手段と、不可視画像を取得する不可視画像取得手段と、前記可視画像取得手段および前記不可視画像取得手段の画像取得条件の関数である可視画像光学歪補正値および不可視画像光学歪補正値を記憶する補正値記憶手段と、前記可視画像取得手段および前記不可視画像取得手段の画像取得条件の関数として前記補正値記憶手段から読み出される前記可視画像光学歪補正値および前記不可視画像光学歪補正値に基づいて前記可視画像および前記不可視画像の画像歪を補正する画像歪補正手段とを含む画像歪補正装置であって、前記画像歪補正手段が、前記可視画像取得手段の画像取得条件の関数として前記補正値記憶手段から読み出される前記可視画像光学歪補正値に基づいて前記可視画像の光学歪補正を行って光学歪補正可視画像を生成する光学歪補正可視画像生成手段と、前記不可視画像取得手段の画像取得条件の関数として前記補正値記憶手段から読み出される前記不可視画像光学歪補正値に基づいて前記不可視画像の光学歪補正を行って光学歪補正不可視画像を生成する光学歪補正不可視画像生成手段と、前記光学歪補正可視画像と前記光学歪補正不可視画像の対応点探索により、前記光学歪補正可視画像と前記光学歪補正不可視画像の間のズレ補正を行うズレ補正手段とを含み、前記ズレ補正手段が、前記光学歪補正不可視画像の画素位置を基準として、前記光学歪補正可視画像の画素位置に対するズレ補正値およびズレ補正信頼度を算出するズレ補正値およびズレ補正信頼度算出部と、前記ズレ補正信頼度ならびに前記補正値記憶手段に記憶された前記可視画像光学歪補正値および前記光学歪補正信頼度に基づいてズレ補正を行う必要があるか否かを判断するズレ補正要否判断部と、前記ズレ補正値およびズレ補正信頼度ならびに前記可視画像光学歪補正値および前記光学歪補正信頼度に基づいて画像歪補正値および画像歪補正信頼度を算出する画像歪補正値および画像歪補正信頼度算出部と、前記ズレ補正値を用いて前記光学歪補正可視画像のズレ補正を行うズレ補正処理部とを含む構成を有している。

本発明の画像歪補正装置は、前記画像歪補正値および画像歪補正信頼度算出部が、前記補正値記憶手段に記憶された前記不可視画像光学歪補正値および前記光学歪補正信頼度の値を、前記画像歪補正値および前記画像歪補正信頼度の値に更新する更新部を備える構成を有している。

この構成により、画像歪補正の精度および速度が向上することとなる。

本発明の画像歪補正装置は、前記画像歪補正値および画像歪補正信頼度算出部が、前記補正値記憶手段に記憶された前記可視画像光学歪補正値および前記光学歪補正信頼度の値を、前記画像歪補正値および前記画像歪補正信頼度の値に更新する更新部を備える構成を有していてもよい。

本発明は、光学歪補正後の可視画像と不可視画像の間のズレを補正することにより、可視画像と不可視画像の画像歪を実時間補正することができるという効果を有する画像歪補正装置を提供することができるものである。

以下、本発明の実施の形態の画像歪補正装置について、図面を用いて説明する。なお、本明細書において光学歪とは、光学系を介して撮像された光学画像が有するピンホール画像に対する歪を意味し、ズレとは、異なる光学系によって得られた光学画像間の歪を意味する。また、画像歪とは、光学歪およびズレの総称を意味するものとする。

また、本実施の形態では不可視画像を光学歪補正可視画像に合わせる画像歪補正を例にとって説明するものとする。

本発明の実施の形態の画像歪補正装置を図１に示す。

即ち、本発明に係る画像歪補正装置１０は、可視画像Ｖを取得する可視画像取得手段１と、不可視画像Ｉを取得する不可視画像取得手段２と、可視画像取得手段１および不可視画像取得手段２の画像取得条件Ｃ_ＶおよびＣ_Ｉの関数である可視画像光学歪補正値Ｄ_Ｖｄおよび不可視画像光学歪補正値Ｄ_Ｉｄと光学歪補正信頼度Ｓ_ｄを記憶する補正値記憶手段３と、可視画像取得手段１および不可視画像取得手段２の画像取得条件Ｃ_ＶおよびＣ_Ｉの関数として補正値記憶手段３から読み出される可視画像光学歪補正値Ｄ_Ｖｄおよび不可視画像光学歪補正値Ｄ_Ｉｄに基づいて可視画像Ｖおよび不可視画像Ｉの画像歪を補正する画像歪補正手段４とを含む。

そして、可視画像取得手段１および不可視画像取得手段２はそれぞれ可視画像用光学系１１および不可視画像用光学系２１を有する。可視画像用光学系１１および不可視画像用光学系２１は、図２に示すように、ハーフミラ８を介して被写体９から同じ距離に配置されるのが好ましい。

また、可視画像用光学系１１および不可視画像用光学系２１は、それぞれのズーム量、アイリス量、フォーカス量等の値を示す画像取得条件Ｃ_ＶおよびＣ_Ｉを電気的な信号として取り出すことのできるセンサを内蔵している。

補正値記憶手段３は、可視画像用光学系１１および不可視画像用光学系２１が有するレンズの製品仕様から定まる光学歪補正値を可視画像光学歪補正値Ｄ_Ｖｄおよび不可視画像光学歪補正値Ｄ_Ｉｄとして記憶しており、画像取得条件Ｃ_ＶおよびＣ_Ｉが入力されると、画像取得条件Ｃ_ＶおよびＣ_Ｉに対応した可視画像光学歪補正値Ｄ_Ｖｄおよび不可視画像光学歪補正値Ｄ_Ｉｄをそれぞれ出力するようになっている。

そして、画像歪補正手段４は、可視画像取得手段１の画像取得条件Ｃ_Ｖの関数として補正値記憶手段３から読み出される可視画像光学歪補正値Ｄ_Ｖｄに基づいて可視画像Ｖの光学歪補正を行って光学歪補正可視画像Ｖ’を生成する光学歪補正可視画像生成手段５と、不可視画像取得手段２の画像取得条件Ｃ_Ｉの関数として補正値記憶手段３から読み出される不可視画像光学歪補正値Ｄ_Ｉｄに基づいて不可視画像Ｉの光学歪補正を行って光学歪補正不可視画像Ｉ’を生成する光学歪補正不可視画像生成手段６と、光学歪補正可視画像Ｖ’と光学歪補正不可視画像Ｉ’の対応点探索により、光学歪補正可視画像Ｖ’と光学歪補正不可視画像Ｉ’の間のズレ補正を行うズレ補正手段７とを含む。

そして、ズレ補正手段７は、光学歪補正可視画像Ｖ’の画素位置を基準として、光学歪補正不可視画像Ｉ’の画素位置に対するズレ補正値Ｄ_ｅおよびズレ補正信頼度Ｓ_ｃを算出するズレ補正値およびズレ補正信頼度算出部７１と、ズレ補正信頼度Ｓ_ｃならびに補正値記憶手段３に記憶された不可視画像光学歪補正値Ｄ_Ｉｄおよび光学歪補正信頼度Ｓ_ｄに基づいてズレ補正を行う必要があるか否かを判断するズレ補正要否判断部７２と、ズレ補正値Ｄ_ｅおよびズレ補正信頼度Ｓ_ｃならびに不可視画像光学歪補正値Ｄ_Ｉｄおよび光学歪補正信頼度Ｓ_ｄに基づいて画像歪補正値Ｄ_ｗおよび画像歪補正信頼度Ｓ_ｗを算出する画像歪補正値および画像歪補正信頼度算出部７３と、ズレ補正値Ｄ_ｅを用いて光学歪補正不可視画像Ｉ’のズレ補正を行うズレ補正処理部７４とを含む。

さらに、画像歪補正値および画像歪補正信頼度算出部７３は、補正値記憶手段３に記憶された不可視画像光学歪補正値Ｄ_Ｉｄおよび光学歪補正信頼度Ｓ_ｄの値を、画像歪補正値Ｄ_ｗおよび画像歪補正信頼度Ｓ_ｗの値に更新する更新部７３１を備えている。

図３は、本発明の実施の形態の画像歪補正装置のハードウェア構成を示すブロック図であって、プログラムに基づいて処理を実行するＣＰＵ２２と、プログラムおよび演算値を記憶するメモリ２３と、可視画像取得手段１および不可視画像取得手段２が接続される動画インターフェイス（Ｉ／Ｆ）２４と、可視画像取得手段１および不可視画像取得手段２の歪の補正量である光学歪補正値または画像歪補正値を記憶する補正値記憶装置２６と、表示装置２７、キーボード２８およびポインティングデバイス２９からなる周辺機器が接続される周辺機器インターフェイス（Ｉ／Ｆ）２５とがバス３０によって相互に結合された構成を有する。

次に、メモリ２３にインストールする画像歪補正プログラムのフローチャートを参照しつつ、本発明の実施の形態の画像歪補正装置の動作を説明する。

図４は、画像歪補正プログラムのフローチャートである。まず、ＣＰＵ２２は、補正値記憶手段３に記憶されている全ての不可視画像光学歪補正値Ｄ_Ｉｄに対して光学歪補正信頼度Ｓ_ｄが与えられているか否かを判定し（ステップＳ１）、否定判定した場合は、後述する信頼度初期値算出ルーチンにおいて、光学歪補正信頼度Ｓ_ｄの初期値を算出する（ステップＳ２）。

次に、ＣＰＵ２２は、後述する画像歪補正処理ルーチンの処理を行って（ステップＳ３）、画像歪補正プログラムを終了する。

なお、ステップＳ１において、補正値記憶手段３に光学歪補正信頼度Ｓ_ｄが記憶されている場合は、ＣＰＵ２２は、ステップＳ３の処理に直接進む。

図５は、画像歪補正プログラムのステップＳ３で実行される画像歪補正処理ルーチンのフローチャートである。まず、ＣＰＵ２２は、可視画像Ｖと不可視画像Ｉを取得し（ステップＳ３１）、画像取得条件Ｃ_ＶおよびＣ_Ｉを取得する（ステップＳ３２）。

次に、ＣＰＵ２２は、ステップＳ３２で取得した画像取得条件Ｃ_ＶおよびＣ_Ｉに対応した可視画像光学歪補正値Ｄ_Ｖｄおよび不可視画像光学歪補正値Ｄ_Ｉｄを決定する（ステップＳ３３）。ここで、可視画像光学歪補正値Ｄ_Ｖｄおよび不可視画像光学歪補正値Ｄ_Ｉｄは、可視画像Ｖおよび不可視画像Ｉ上の各画素の位置が本来の位置（即ち、全く歪のないピンホール画像の画素の位置）を基準として上下左右に何画素分ずれているかを示す値であり、例えば［数１］に示すような行列の形で表される。なお、ＡおよびＢは、それぞれ画像の行方向および列方向の画素の個数を示す。

例えば、不可視画像Ｉ上の画素の位置がピンホール画像の画素の位置（１，５）から行方向に２画素、列方向に−１画素ずれて（３，４）となっている場合は、Ｄ_Ｉｄの成分は［数２］のようになる。ここで、Ｄ_{Ｉｄ（１，５）}の１列目は光学歪補正の量を示し、２列目は不可視画像Ｉ上の画素位置を示している。

次に、ＣＰＵ２２は、ステップＳ３３で決定した可視画像光学歪補正値Ｄ_Ｖｄおよび不可視画像光学歪補正値Ｄ_Ｉｄを用いて、可視画像Ｖおよび不可視画像Ｉに対して光学歪補正を行い、光学歪補正可視画像Ｖ’および光学歪補正不可視画像Ｉ’を生成する（ステップＳ３４）。

次に、ＣＰＵ２２は、光学歪補正可視画像Ｖ’と光学歪補正不可視画像Ｉ’の被写体位置を一致させるズレ補正を行ってこのルーチンを終了するが（ステップＳ３５）、この処理はズレ補正ルーチンとして後述する。

図６は、図５の画像歪補正処理ルーチンのステップＳ３５で実行されるズレ補正ルーチンのフローチャートである。まず、ＣＰＵ２２は、後述する対応点探索ルーチンにおいて、光学歪補正可視画像Ｖ’と光学歪補正不可視画像Ｉ’について対応点探索を行い、光学歪補正可視画像Ｖ’を基準とする光学歪補正不可視画像Ｉ’に対するズレ補正値Ｄ_ｅを算出すると共に、ズレ補正値Ｄ_ｅのズレ補正信頼度Ｓ_ｃを算出する（ステップＳ３５１）。

次に、ＣＰＵ２２は、後述する記憶値更新ルーチンにおいて、ズレ補正値Ｄ_ｅのズレ補正信頼度Ｓ_ｃおよび補正値記憶手段３に記憶された不可視画像光学歪補正値Ｄ_Ｉｄの光学歪補正信頼度Ｓ_ｄに基づいて画像歪補正値Ｄ_ｗおよび画像歪補正信頼度Ｓ_ｗを算出し、不可視画像光学歪補正値Ｄ_Ｉｄおよび光学歪補正信頼度Ｓ_ｄの値を画像歪補正値Ｄ_ｗおよび画像歪補正信頼度Ｓ_ｗの値に更新する（ステップＳ３５２）。

次に、ＣＰＵ２２は、光学歪補正不可視画像Ｉ’についてズレ補正を行う必要があるか否かを判定し（ステップＳ３５３）、肯定判定した場合には、ズレ補正値Ｄ_ｅを用いて光学歪補正不可視画像Ｉ’を補正して光学歪補正可視画像Ｖ’に一致する画像となる画像歪補正不可視画像Ｉ”を生成し（ステップＳ３５４）、このルーチンを終了する。

ステップＳ３５３において、ズレ補正を行う必要がないと判断した場合は、ＣＰＵ２２は直接このルーチンを終了する。

なお、ステップＳ３５３では、ＣＰＵ２２は、後述する記憶値更新ルーチンのステップＳ５２１でズレ補正信頼度Ｓ_ｃが光学歪補正信頼度Ｓ_ｄよりも大であった場合、あるいは、ステップＳ５２２で不可視画像光学歪補正値Ｄ_Ｉｄが初期値であった場合には、ズレ補正が必要であるという判定を行い、ステップＳ５２２で不可視画像光学歪補正値Ｄ_Ｉｄが初期値でなかった場合には、ズレ補正が不要であるという判定を行うものとする。

図７は、図６のズレ補正ルーチンのステップＳ３５１で実行される対応点探索ルーチンのフローチャートである。まず、ＣＰＵ２２は、光学歪補正可視画像Ｖ’に対して色調変換を行い、色調変換可視画像Ｖ_ｃを生成する（ステップＳ５１１）。これは、光学歪補正可視画像Ｖ’と光学歪補正不可視画像Ｉ’との相関性を高めるための処理であって、例えば、グレイ画像への変換、即ち、ＲＧＢからＹへの変換を行うことが考えられる。不可視画像取得手段２が赤外線カメラである場合には、光学歪補正可視画像Ｖ’からＲ成分を取り出してもよい。

次に、ＣＰＵ２２は、色調変換可視画像Ｖ_ｃと光学歪補正不可視画像Ｉ’の高周波成分の抽出を行う（ステップＳ５１２）。これは、可視画像と不可視画像の相関性が高周波領域で高いためである。例えば、画像を微分しエッジ抽出を行う手法、あるいは、画像を周波数領域に展開するフーリエ変換またはウェーブレット変換等の手法を用いて、低い周波数成分を削除するとよい。これらの手法により得られた色調変換可視画像Ｖ_ｃと光学歪補正不可視画像Ｉ’の高周波画像をそれぞれ高周波可視画像Ｖ_Ｈ、高周波不可視画像Ｉ_Ｈとする。

次に、ＣＰＵ２２は、高周波可視画像Ｖ_Ｈの各画素あるいはそれらを等間隔で間引いた画素に対する高周波不可視画像Ｉ_Ｈ上の対応する位置を、後述するブロックマッチングルーチンにより求める（ステップＳ５１３）。ただし、本発明は対応点探索手法をブロックマッチング法に限定するものではなく、位相相関法やオプティカルフロー等の手法も適用できる。

最後に、ＣＰＵ２２は、ステップＳ５１３で得た高周波可視画像Ｖ_Ｈ上の画素と高周波不可視画像Ｉ_Ｈ上の画素の対応関係を示すズレ補正値Ｄ_ｅのズレ補正信頼度Ｓ_ｃを算出して（ステップＳ５１４）、対応点探索ルーチンを終了する。

図８は、図７の対応点探索ルーチンのステップＳ５１３で実行されるブロックマッチングルーチンのフローチャートである。まず、ＣＰＵ２２は、探索範囲およびブロック分割の設定を行う（ステップＳ１３１）。

ここで、高周波可視画像Ｖ_Ｈは、探索対象画素を中心として含む基準ブロック（Ｌ×Ｌ画素）に分割され、その基準ブロックの個数はＭ個であるとする。これに対する高周波不可視画像Ｉ_Ｈ上の探索範囲は、高周波可視画像Ｖ_Ｈの探索対象画素と同じ座標を中心に上下左右にＰ画素広げたＰ×Ｐ画素（Ｐ＞Ｌ）からなる範囲であり、Ｎ個の基準ブロックに分割されるものとする。なお、高周波可視画像Ｖ_Ｈの探索対象画素として選択される画素は高周波可視画像Ｖ_Ｈ上の全ての画素でもよく、または、２画素以上ずつ等間隔に間引いた画素でもよい。

次に、ＣＰＵ２２は、高周波可視画像Ｖ_Ｈ上の基準ブロックのブロック番号を示すインデックスｍ、および、高周波不可視画像Ｉ_Ｈ上の探索範囲内の基準ブロックのブロック番号を示すインデックスｎを“１”に初期化し、後のステップＳ１３５で使用する残差ｅ_ＳＡＤ（ｍ，ｎ）を“０”に初期化する（ステップＳ１３２）。

次に、ＣＰＵ２２は、１基準ブロック内の行方向の画素位置を示すインデックスｊを“−（Ｌ−１）／２”に初期化し（ステップＳ１３３）、１基準ブロック内の列方向の画素位置を示すインデックスｋを“−（Ｌ−１）／２”に初期化する（ステップＳ１３４）。

次のステップＳ１３５において、ＣＰＵ２２は残差を算出するが、残差としては、［数３］に示すような差分絶対値総和を用いる。ここで、高周波可視画像Ｖ_Ｈおよび高周波不可視画像Ｉ_Ｈそれぞれにおいて、処理の対象となる基準ブロックの中心の位置を示す座標を（ｘ，ｙ）および（Ｘ，Ｙ）とする。Ｖ_ｐおよびＩ_ｐは高周波可視画像Ｖ_Ｈおよび高周波不可視画像Ｉ_Ｈの画素値を与える関数であるとする。

具体的には、ＣＰＵ２２は、［数４］より、ｍ番目の高周波可視画像Ｖ_Ｈ上の基準ブロックとｎ番目の高周波不可視画像Ｉ_Ｈ上の探索範囲内の基準ブロックから求まる残差ｅ_ＳＡＤ（ｍ，ｎ）を更新する（ステップＳ１３５）。

次に、ＣＰＵ２２は、ｋが（Ｌ−１）／２に到達したか否かを判定し（ステップＳ１３６）、否定判定した場合には、ｋをインクリメントして（ステップＳ１３７）、ステップＳ１３５の処理に戻る。

ステップＳ１３６において、ｋが（Ｌ−１）／２に到達した場合は、ＣＰＵ２２は、ｊが（Ｌ−１）／２に到達したか否かを判定し（ステップＳ１３８）、否定判定した場合には、ｊをインクリメントして（ステップＳ１３９）、ステップＳ１３４の処理に戻る。

ステップＳ１３８において、ｊが（Ｌ−１）／２に到達した場合は、ＣＰＵ２２は、ｎがＮに到達したか否かを判定し（ステップＳ１４０）、否定判定した場合には、ｎをインクリメントして（ステップＳ１４１）、ステップＳ１３３の処理に戻る。

ステップＳ１４０において、ｎがＮに到達した場合は、ＣＰＵ２２は、最小の残差ｅ_ＳＡＤ（ｍ，ｎ）を与える高周波可視画像Ｖ_Ｈの基準ブロックの中心座標（ｘ，ｙ）、および、高周波不可視画像Ｉ_Ｈの基準ブロックの中心座標（Ｘ，Ｙ）を抽出して、２つの座標の間のズレ量Ｚ_{ｅ（Ｘ，Ｙ）}を［数５］より算出する（ステップＳ１４２）。

次に、ＣＰＵ２２は、ｍがＭに到達したか否かを判定し（ステップＳ１４３）、否定判定した場合には、ｍをインクリメントして（ステップＳ１４４）、ステップＳ１３３の処理に戻る。ｍがＭに到達した場合は、ＣＰＵ２２は、［数６］に示すように、高周波可視画像Ｖ_Ｈの画素の座標（ｘ，ｙ）に関する残差が最小となるズレ量Ｚ_{ｅ（Ｘ，Ｙ）}を記憶する行列であるズレ補正値Ｄ_ｅの行列を作成して（ステップＳ１４５）、ブロックマッチングルーチンを終了する。

ここで、例えば高周波可視画像Ｖ_Ｈの画素位置（２，４）に対する高周波不可視画像Ｉ_Ｈの画素位置（１，５）のズレ量がＺ_{ｅ（Ｘ，Ｙ）}＝（１−２，５−４）＝（−１，１）であるとすると、Ｄ_ｅの行列成分は［数７］のようになる。

なお、ブロックマッチングルーチンでは、残差として差分絶対値総和を例にとって説明したが、もちろん差分２乗総和ｅ_ｒｍｓを用いてもよい。

また、ステップＳ１３１において、高周波可視画像Ｖ_Ｈ上の探索対象画素を２画素以上ずつ等間隔にずらして分割した場合は、ズレ量を計測しない画素が生じる。このような画素については、周囲のズレ量を計測済みの画素値とそのズレ量に応じて加重平均値を求めるとよい。

ここで、信頼度について説明する。信頼度は、その値が大きいほどデータの信頼性が高いことを意味し、最大値は１．０であるとする。前述の残差ｅ_ＳＡＤ（ｘ，ｙ，Ｘ，Ｙ）の最小値ｅ（Ｘ，Ｙ）が０．０の場合には信頼度は１．０となる。

残差が０でない場合には、可視画像取得手段１および不可視画像取得手段２のＳ／Ｎ比、探索条件（例えば、ブロックサイズ）等に応じて、適切な閾値Ｔｈを設定し、Ｔｈ以上の残差を信頼度０．０にマッピングするとよい。閾値Ｔｈ以下のｅ（Ｘ，Ｙ）については例えば［数８］のようなマッピングを行う。

図９に図４の画像歪補正プログラムのステップＳ２で実行される信頼度初期値算出ルーチンのフローチャートを示す。まず、ＣＰＵ２２は、予めメモリ２３に記憶されている歪のないチェッカーボード（市松模様）や格子模様等の標準画像パターンＶ_ｓｔと同等のものを、不可視画像取得手段２によって光学画像である不可視画像Ｉとして取得する（ステップＳ２１）。なお、標準画像パターンＶ_ｓｔとしては、不可視画像Ｉとの相関性の高いグレイ画像等を用いることが好ましい。

次に、ＣＰＵ２２は、不可視画像光学歪補正値Ｄ_Ｉｄの初期値を用いて、ステップＳ２１で取得した不可視画像Ｉに対して光学歪補正を行い、光学歪補正不可視画像Ｉ’を生成する（ステップＳ２２）。

次に、ＣＰＵ２２は、標準画像パターンＶ_ｓｔおよび光学歪補正不可視画像Ｉ’の高周波成分の抽出を行い、高周波可視画像Ｖ_Ｈおよび高周波不可視画像Ｉ_Ｈをそれぞれ生成する（ステップＳ２３）。

次に、ＣＰＵ２２は、高周波可視画像Ｖ_Ｈの各画素あるいはそれらを等間隔で間引いた点に対して、高周波不可視画像Ｉ_Ｈ上で対応する位置を図８のブロックマッチングルーチンにより求めて残差の最小値ｅ（Ｘ，Ｙ）を得る（ステップＳ２４）。

次に、ＣＰＵ２２は、ステップＳ２４で得た残差の最小値ｅ（Ｘ，Ｙ）を用いて［数８］より光学歪補正信頼度Ｓ_ｄを算出する（ステップＳ２５）。

次に、ＣＰＵ２２は、補正値記憶手段３に記憶されている全ての不可視画像光学歪補正値Ｄ_Ｉｄに対してステップＳ２５までの処理を行ったか否かを判定し（ステップＳ２６）、否定判定したときは、ステップＳ２２の処理に戻る。なお、この場合は、ステップＳ２３において、改めて標準画像パターンＶ_ｓｔから高周波可視画像Ｖ_Ｈを生成し直す必要はない。

ステップＳ２６において、全ての不可視画像歪補正値Ｄ_Ｉｄに対して処理を行ったと判定した場合は、ＣＰＵ２２は、信頼度初期値算出ルーチンを終了する。

図１０は、図６のズレ補正ルーチンのステップＳ３５２で実行される記憶値更新ルーチンのフローチャートである。まず、ＣＰＵ２２は、補正値記憶手段３からの光学歪補正信頼度Ｓ_ｄと対応点探索部からのズレ補正信頼度Ｓ_ｃの大小を比較する（ステップＳ５２１）。Ｓ_ｄ≧Ｓ_ｃの場合は、ＣＰＵ２２は、該当する不可視画像光学歪補正値Ｄ_Ｉｄが初期値のままであるかどうかを判定する（ステップＳ５２２）。

不可視画像光学歪補正値Ｄ_Ｉｄが初期値であった場合は、ＣＰＵ２２は、画像歪補正値Ｄ_ｗとして不可視画像光学歪補正値Ｄ_Ｉｄにズレ補正値Ｄ_ｅを加えたものを採用する（ステップＳ５２３）。

ここで、例えば画像歪補正値Ｄ_ｗの成分は、前述の例を合わせると［数９］のように与えられる。

即ち［数９］は不可視画像Ｉの画素（３，４）をマイナス方向に（１，０）ずらして（２，４）とする補正を行うと、光学歪補正可視画像Ｖ’と一致した画像を得られることを示している。

次に、ＣＰＵ２２は、ズレ補正信頼度Ｓ_ｃと光学歪補正信頼度Ｓ_ｄの平均値である画像歪補正信頼度Ｓ_ｗを算出する（ステップＳ５２４）。ここで、平均の取り方は加算平均でも加重平均でもよい。

次に、ＣＰＵ２２は、補正値記憶手段３に記憶されている不可視画像光学歪補正値Ｄ_Ｉｄおよび光学歪補正信頼度Ｓ_ｄの値を、それぞれ画像歪補正値Ｄ_ｗおよび画像歪補正信頼度Ｓ_ｗの値に更新して（ステップＳ５２５）、記憶値更新ルーチンを終了する。

ＣＰＵ２２は、ステップＳ５２２において、不可視画像光学歪補正値Ｄ_Ｉｄが初期値でなかった場合は、記憶値更新ルーチンを終了する。

ステップＳ５２１において、Ｓ_ｃ＞Ｓ_ｄの場合は、ＣＰＵ２２は、ステップＳ５２３からステップＳ５２５までの処理を順次行って、記憶値更新ルーチンを終了する。

なお、本実施の形態では、不可視画像Ｉを光学歪補正可視画像Ｖ’に合わせる画像歪補正を例にとって説明したが、もちろん可視画像Ｖを光学歪補正不可視画像Ｉ’に合わせる画像歪補正を行ってもよい。また、映像制作の要求に応じた画像歪補正値を外部から入力して画像歪補正を行うことも可能である。

以上説明したように、本発明の実施の形態に係る画像歪補正装置は、光学歪補正後の可視画像と不可視画像の間のズレを補正することにより、可視画像と不可視画像の歪を実時間補正することができる。

上記の本発明の実施の形態に係る画像歪補正装置の具体的な実施例を以下に説明する。なお、実施例における限定は、本発明を限定するものではない。以下に図１１および図１２を用いて、被写体１０１の可視画像Ｖをカラーカメラ１０２で撮影し、赤外画像Ｉを赤外線カメラ１０３で撮影する例を説明する。

まず、カラーカメラ１０２および赤外線カメラ１０３がそれぞれ、同一の被写体範囲を撮影するようにするため、赤外線を反射し、可視光を透過するホットミラ１０４を介して、カラーカメラ１０２と赤外線カメラ１０３を配置する。

さらに、被写体１０１の背景に赤外光を発光するスクリーン１０５を配置し、スクリーン１０５とカラーカメラ１０２および赤外線カメラ１０３の間に被写体１０１を置く。

レンズとしては、可視光および赤外光の撮影が可能な共用レンズ１０６を用いる。共用レンズ１０６にはそのフォーカス量、ズーム量、アイリス量をロータリーエンコーダにより機械的に計測可能なレンズデータ検出器１０７を付加する。

図１２に画像合成の手順を簡単に示す。まず、被写体１０１の可視画像Ｖ（図１２（イ））と被写体のシルエットの赤外映像Ｉ（図１２（ロ））を撮影する。

パーソナルコンピュータ１０８の画像歪補正処理部１０９に本発明の課題を解決するための手段で述べた画像歪補正プログラムをインストールし、撮影画像とレンズデータを入力として、可視画像Ｖと赤外画像Ｉの間のズレが無くなるような補正値（可視画像光学歪補正値Ｄ_Ｖｄ、不可視画像光学歪補正値Ｄ_Ｉｄおよびズレ補正値Ｄ_ｅ）を用いて画像歪補正を行う。

さらに、画像歪補正処理部１０９で得られた可視画像光学歪補正値Ｄ_Ｖｄをパーソナルコンピュータ１０８の背景画像描画処理部１１０に出力し、必要に応じてスクリーン部分にはめ込む背景画像に対しても可視画像光学歪補正値Ｄ_Ｖｄを用いて補正を行う。

次に、背景画像描画処理部１１０から背景画像をパーソナルコンピュータ１０８の映像合成処理部１１１に出力し、図１２（ロ）のシルエット画像つまり赤外映像Ｉの明るい部分を背景画像に（図１２（ハ））、暗い部分を可視画像Ｖとするような処理を行う（図１２（ニ））。これにより被写体と背景画像の歪の違いによる違和感がない合成映像が作成可能となる。

以上のように、本発明に係る画像歪補正装置は、可視画像と不可視画像の歪を実時間補正することができるという効果を有し、再帰性反射材と不可視光照明を用いた映像合成装置、または、カラー画像に含まれる被写体に関する情報を不可視光に反応するマーカで能動的に取得する装置等として有効である。

本発明に係る画像歪補正装置のブロック図可視画像用光学系と不可視画像用光学系の配置の一例を示す図本発明に係る画像歪補正装置を構成するパーソナルコンピュータのハードウェア構成を示すブロック図本発明に係る画像歪補正装置のＣＰＵが実行する画像歪補正プログラムのフローチャート本発明に係る画像歪補正装置のＣＰＵが実行する画像歪補正処理ルーチンのフローチャート本発明に係る画像歪補正装置のＣＰＵが実行するズレ補正ルーチンのフローチャート本発明に係る画像歪補正装置のＣＰＵが実行する対応点探索ルーチンのフローチャート本発明に係る画像歪補正装置のＣＰＵが実行するブロックマッチングルーチンのフローチャート本発明に係る画像歪補正装置のＣＰＵが実行する信頼度初期値算出ルーチンのフローチャート本発明に係る画像歪補正装置のＣＰＵが実行する記憶値更新ルーチンのフローチャート本発明に係る画像歪補正装置の実施例のブロック図画像合成の手順を説明する図

符号の説明

１可視画像取得手段
２不可視画像取得手段
３補正値記憶手段
４画像歪補正手段
５光学歪補正可視画像生成手段
６光学歪補正不可視画像生成手段
７ズレ補正手段
７１ズレ補正値およびズレ補正信頼度算出部
７２ズレ補正要否判断部
７３画像歪補正値および画像歪補正信頼度算出部
７４ズレ補正処理部
７３１更新部

Claims

可視画像を取得する可視画像取得手段と、
不可視画像を取得する不可視画像取得手段と、
前記可視画像取得手段および前記不可視画像取得手段の画像取得条件の関数である可視画像光学歪補正値および不可視画像光学歪補正値を記憶する補正値記憶手段と、
前記可視画像取得手段および前記不可視画像取得手段の画像取得条件の関数として前記補正値記憶手段から読み出される前記可視画像光学歪補正値および前記不可視画像光学歪補正値に基づいて前記可視画像および前記不可視画像の画像歪を補正する画像歪補正手段とを含む画像歪補正装置であって、
前記画像歪補正手段が、前記可視画像取得手段の画像取得条件の関数として前記補正値記憶手段から読み出される前記可視画像光学歪補正値に基づいて前記可視画像の光学歪補正を行って光学歪補正可視画像を生成する光学歪補正可視画像生成手段と、
前記不可視画像取得手段の画像取得条件の関数として前記補正値記憶手段から読み出される前記不可視画像光学歪補正値に基づいて前記不可視画像の光学歪補正を行って光学歪補正不可視画像を生成する光学歪補正不可視画像生成手段と、
前記光学歪補正可視画像と前記光学歪補正不可視画像の対応点探索により、前記光学歪補正可視画像と前記光学歪補正不可視画像の間のズレ補正を行うズレ補正手段とを含み、
前記ズレ補正手段が、前記光学歪補正可視画像の画素位置を基準として、前記光学歪補正不可視画像の画素位置に対するズレ補正値およびズレ補正信頼度を算出するズレ補正値およびズレ補正信頼度算出部と、
前記ズレ補正信頼度ならびに前記補正値記憶手段に記憶された前記不可視画像光学歪補正値および前記光学歪補正信頼度に基づいてズレ補正を行う必要があるか否かを判断するズレ補正要否判断部と、
前記ズレ補正値およびズレ補正信頼度ならびに前記不可視画像光学歪補正値および前記光学歪補正信頼度に基づいて画像歪補正値および画像歪補正信頼度を算出する画像歪補正値および画像歪補正信頼度算出部と、
前記ズレ補正値を用いて前記光学歪補正不可視画像のズレ補正を行うズレ補正処理部とを含む画像歪補正装置。
可視画像を取得する可視画像取得手段と、
不可視画像を取得する不可視画像取得手段と、
前記可視画像取得手段および前記不可視画像取得手段の画像取得条件の関数である可視画像光学歪補正値および不可視画像光学歪補正値を記憶する補正値記憶手段と、
前記可視画像取得手段および前記不可視画像取得手段の画像取得条件の関数として前記補正値記憶手段から読み出される前記可視画像光学歪補正値および前記不可視画像光学歪補正値に基づいて前記可視画像および前記不可視画像の画像歪を補正する画像歪補正手段とを含む画像歪補正装置であって、
前記画像歪補正手段が、前記可視画像取得手段の画像取得条件の関数として前記補正値記憶手段から読み出される前記可視画像光学歪補正値に基づいて前記可視画像の光学歪補正を行って光学歪補正可視画像を生成する光学歪補正可視画像生成手段と、
前記不可視画像取得手段の画像取得条件の関数として前記補正値記憶手段から読み出される前記不可視画像光学歪補正値に基づいて前記不可視画像の光学歪補正を行って光学歪補正不可視画像を生成する光学歪補正不可視画像生成手段と、
前記光学歪補正可視画像と前記光学歪補正不可視画像の対応点探索により、前記光学歪補正可視画像と前記光学歪補正不可視画像の間のズレ補正を行うズレ補正手段とを含み、
前記ズレ補正手段が、前記光学歪補正不可視画像の画素位置を基準として、前記光学歪補正可視画像の画素位置に対するズレ補正値およびズレ補正信頼度を算出するズレ補正値およびズレ補正信頼度算出部と、
前記ズレ補正信頼度ならびに前記補正値記憶手段に記憶された前記可視画像光学歪補正値および前記光学歪補正信頼度に基づいてズレ補正を行う必要があるか否かを判断するズレ補正要否判断部と、
前記ズレ補正値およびズレ補正信頼度ならびに前記可視画像光学歪補正値および前記光学歪補正信頼度に基づいて画像歪補正値および画像歪補正信頼度を算出する画像歪補正値および画像歪補正信頼度算出部と、
前記ズレ補正値を用いて前記光学歪補正可視画像のズレ補正を行うズレ補正処理部とを含む画像歪補正装置。
前記画像歪補正値および画像歪補正信頼度算出部が、前記補正値記憶手段に記憶された前記不可視画像光学歪補正値および前記光学歪補正信頼度の値を、前記画像歪補正値および前記画像歪補正信頼度の値に更新する更新部を備える請求項１に記載の画像歪補正装置。
前記画像歪補正値および画像歪補正信頼度算出部が、前記補正値記憶手段に記憶された前記可視画像光学歪補正値および前記光学歪補正信頼度の値を、前記画像歪補正値および前記画像歪補正信頼度の値に更新する更新部を備える請求項２に記載の画像歪補正装置。