JP4534756B2

JP4534756B2 - 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体

Info

Publication number: JP4534756B2
Application number: JP2004371985A
Authority: JP
Inventors: 肇保坂; 政範笠井
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-12-22
Filing date: 2004-12-22
Publication date: 2010-09-01
Anticipated expiration: 2024-12-22
Also published as: CN100442816C; EP1675384A3; US20060132642A1; CN1794783A; US7589771B2; EP1675384A2; JP2006180269A; KR20060071893A; KR101220002B1

Description

本発明は、画像のエッジを保存しつつノイズを除去する画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体に関する。

カメラで画像を撮像する際、画像の色味はライティングに大きく依存する。例えば、蝋燭の光に照らされた被写体を撮像すると、オレンジがかった色味の画像になり、月の光に照らされた被写体を撮像すると、青みがかった色味の画像になる。同じ場所であっても撮像時のライティングによって全く異なる画像が撮像される。

画像を撮像する際には、フラッシュなどの特別な照明器具を使わず、自然の光（以下、自然光と記す）を利用する方が正確な色味を再現することができるが、屋内や夜間に撮像すると露光が少なく画像にノイズが含まれるという問題が生じる。一方、フラッシュを使用すると露光量が増加しエッジや詳細部分が鮮明に撮像されるが、色味が正確でなくなったり、実際には存在しない影やハイライトが発生したりしてしまうという問題が発生する。

従来、このような問題を解決するために、図１２に示すような画像処理装置１１が提案されている。画像処理装置１１は、２つのローパスフィルタ１２，１３と、１つのハイパスフィルタ１４と、２つの画像合成部１５，１７と、１つの陰影抽出部１６とを備える。

ローパスフィルタ１３は、クロスバイラテラルフィルタであり、フラッシュを使用した画像（以下、フラッシュ画像と記す）からエッジを検出してフラッシュを使用しない画像（以下、自然光画像と記す）のノイズを除去する。ハイパスフィルタ１４は、フラッシュ画像のエッジを抽出する。エッジの抽出には、自然光画像の各画素値をフラッシュ画像で除算するという処理を行う。

画像合成部１５は、ローパスフィルタ１３でノイズを除去した自然光画像とハイパスフィルタ１４でエッジを抽出したフラッシュ画像とを合成して合成画像Ｃｏｍｐを生成する。画像の合成には、ローパスフィルタ１３の画素値にハイパスフィルタ１４の出力画像の画素値を乗じるという処理を行う。合成画像Ｃｏｍｐは、フラッシュ画像と自然光画像の長所を備えており色味が正確でノイズが少なくなっている。

ローパスフィルタ１２は、自然光画像のノイズを除去する。ローパスフィルタ１２としては、バイラテラルフィルタを用いる。バイラテラルフィルタは、１枚の画像を用いてこの画像のエッジ検出とノイズ除去とを行うフィルタである。

陰影抽出部１６は、フラッシュ画像と自然光画像との２枚の画像の違いを抽出し、ハイライトや影によって画像が変化した確率を評価する。画像合成部１７は、陰影抽出部１６の評価結果に基づいてローパスフィルタ１２からの出力画像と画像合成部１５の出力画像Ｃｏｍｐの重み付け加算を行う。画像合成部１７は、フラッシュの有無により影やハイライトが生じている可能性が高い部分では画像の重みを高くし、可能性が低い部分では画像の重みを高くする。画像合成部１７は、合成画像Ｃｏｍｐから不要な影やハイライトを除去して出力画像Ｏｕｔを生成する。

このように、従来の画像処理装置１１では、フラッシュ画像のエッジを合成した画像と、フラッシュ画像のエッジを参照せずにノイズを除去した画像との２枚の画像を生成し、フラッシュにより影やハイライトが発生した可能性の高い画素ではハイパスフィルタ１２の出力画像の係数を高くし、フラッシュにより影やハイライトが発生した可能性の低い画素では画像合成部１７の出力画像Ｃｏｍｐの係数を高くすることにより、フラッシュ画像のエッジと自然光画像の色味とを最適にブレンドした画像を得ることができる（例えば、非特許文献１）。

ＧｅｏｒｇＰｅｔｓｃｈｎｉｇｇＥｔａｌ，ＤｉｇｉｔａｌＰｈｏｔｏｇｒａｐｈｙｗｉｔｈＦｌａｓｈａｎｄＮｏ−ＦｌａｓｈＩｍａｇｅｐａｉｒｓ，ａｃｍＴｒａｎｓａｃｔｉｏｎｏｎＧｒａｐｈｉｃｓ，Ｖｏｌ．２３，Ｎｕｍｂｅｒ３，ｐｐ．６６４−６７２，Ａｕｇｕｓｔ２００４

上述したように、フラッシュを使用すると画像のエッジや詳細部分が鮮明になるものの、自然光では存在しない影やハイライトが発生することがある。画像処理装置１１では、影やハイライトは除去しつつ、エッジや詳細部分のみを残したいが、これらを区別することは容易ではなく多大な演算コストを要する。

また、画像処理装置１１では、フラッシュ画像と自然光画像の２枚の画像が必要である。フラッシュ画像と自然光画像とを同時に撮像することはできないため、動画や動く被写体に適用することができないという問題がある。また、フラッシュの使用が禁止した場所ではフラッシュ画像が取得できないという問題もある。

本発明は、上述した課題に鑑みてなされたものであって、画像に影響を与える照明器具を使用せず、自然の光のもとで撮像した画像のノイズを低減する画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体を提供することを目的とする。

上述した目的を達成するために、本発明を適用した画像処理装置は、可視光画像と、上記可視光画像に対応する不可視光画像とを同時に取得する画像取得手段と、上記可視光画像のノイズを低減するノイズ低減手段とを備え、上記ノイズ低減手段は、上記可視光画像のノイズを除去するローパスフィルタと、上記不可視光画像のエッジ及び詳細部分を抽出するハイパスフィルタと、上記ローパスフィルタ及び上記ハイパスフィルタの出力を合成する合成手段とを有し、上記ローパスフィルタは、エッジ保存ローパスフィルタであり、上記不可視光画像から検出されたエッジを保存しつつ上記可視光画像のノイズを除去し、上記可視光画像のノイズ除去は、複数のレベルのローパスフィルタを用いて行われ、上記不可視光画像から検出されたエッジの評価値に応じて、上記複数のレベルのうちいずれかのローパスフィルタを用いるかを決定し、上記ローパスフィルタのレベルは、画像のＸ方向およびＹ方向に対して独立に決定する。

本発明を適用した撮像装置は、主に可視光に対して感度のある第１の分光特性に基づいて可視光画像を撮像する可視光画像撮像手段と、主に不可視光に対して感度のある第２の分光特性に基づいて不可視光画像を上記可視光画像と同時に撮像する不可視光画像撮像手段と、上記可視光画像と不可視光画像との収差を補正する収差補正手段と、上記不可視光画像を用いて可視光画像のノイズを低減するノイズ低減手段と備え、上記ノイズ低減手段は、上記可視光画像のノイズを除去するローパスフィルタと、上記不可視光画像のエッジ及び詳細部分を抽出するハイパスフィルタと、上記ローパスフィルタ及び上記ハイパスフィルタの出力を合成する合成手段とを有し、上記ローパスフィルタは、エッジ保存ローパスフィルタであり、上記不可視光画像から検出されたエッジを保存しつつ上記可視光画像のノイズを除去し、上記可視光画像のノイズ除去は、複数のレベルのローパスフィルタを用いて行われる。

本発明を適用した画像処理方法は、可視光画像と、上記可視光画像に対応しかつ上記可視光画像と同一の画素数で同時に撮像した不可視光画像とを取得する画像取得工程と、上記不可視光画像を用いて上記可視光画像のノイズを低減するノイズ低減工程とを有し、上記ノイズ低減工程では、上記可視光画像のノイズを除去するローパスフィルタ処理と、上記不可視光画像のエッジ及び詳細部分を抽出するハイパスフィルタ処理と、上記ローパスフィルタ処理及び上記ハイパスフィルタ処理の出力を合成する合成工程とを有し、上記ローパスフィルタ処理では、上記不可視光画像から検出されたエッジを保存しつつ上記可視光画像のノイズを除去し、上記可視光画像のノイズ除去は、複数のレベルのローパスフィルタを用いて行われる。

本発明を適用したプログラムは、所定の処理をコンピュータに実行させるプログラムにおいて、可視光画像と、上記可視光画像に対応しかつ上記可視光画像と同一の画素数で同時に撮像した不可視光画像とを取得する画像取得工程と、上記不可視光画像を用いて上記可視光画像のノイズを低減するノイズ低減工程とを有し、上記ノイズ低減工程では、上記可視光画像のノイズを除去するローパスフィルタ処理と、上記不可視光画像のエッジ及び詳細部分を抽出するハイパスフィルタ処理と、上記ローパスフィルタ処理及び上記ハイパスフィルタ処理の出力を合成する合成工程とを有し、上記ローパスフィルタ処理では、上記不可視光画像から検出されたエッジを保存しつつ上記可視光画像のノイズを除去し、上記可視光画像のノイズ除去は、複数のレベルのローパスフィルタを用いて行われる。

本発明を適用した記録媒体は、所定の処理をコンピュータに実行させるプログラムが記録された記録媒体において、可視光画像と、上記可視光画像に対応しかつ上記可視光画像と同一の画素数で同時に撮像した不可視光画像とを取得する画像取得工程と、上記不可視光画像を用いて上記可視光画像のノイズを低減するノイズ低減工程とを有し、上記ノイズ低減工程では、上記可視光画像のノイズを除去するローパスフィルタ処理と、上記不可視光画像のエッジ及び詳細部分を抽出するハイパスフィルタ処理と、上記ローパスフィルタ処理及び上記ハイパスフィルタ処理の出力を合成する合成工程とを有し、上記ローパスフィルタ処理では、上記不可視光画像から検出されたエッジを保存しつつ上記可視光画像のノイズを除去し、上記可視光画像のノイズ除去は、複数のレベルのローパスフィルタを用いて行われるプログラムが記録されている。

本発明によれば、可視光画像を用いて不可視光画像のノイズを低減させるため、画像に影響を与える照明器具を使用せず、自然の光のもとで撮像した画像のノイズを低減させることができる。

以下、図面を参照して本発明を適用した撮像装置について説明する。図１に撮像装置１の構成を示す。撮像装置１は、可視光画像Ｖｉｓｉｂｌｅと赤外光画像Ｉｎｆｒとの両方を撮像する撮像部２と、可視光画像Ｖｉｓｉｂｌｅのノイズを除去する画像処理部３と、画像やデータの記憶領域であるメモリ４と、ＬＣＤ（Liquid Crystal Display）５への画像出力、シリアルインターフェース６やＵＳＢ（Universal Serial Bus）７などのインターフェースを介して外部記録装置１０とのデータ送受信を行うシステムコントロール部８と、撮像素子２１から入力した画像にＡＧＣ（Automatic Gain Control）及びＣＤＳ（Correlated Double Sampling）を施して画像処理部３に出力する信号処理部９とを備える。

撮像部２は、可視光画像Ｖｉｓｉｂｌｅと赤外光画像ＩｎｆｒのＲＧＢ画像を出力する。撮像部２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）を構成する撮像素子２１と、レンズ２２の焦点合わせやシャッタの切り替えを行うモータ２３と、モータ２３を制御するドライバ２４とを備える。

撮像素子２１には、赤外線画像Ｉｎｆｒを撮像するための撮像素子２１と、可視光画像Ｖｉｓｉｂｌｅを撮像するための撮像素子２１とがある。赤外光画像Ｉｎｆｒを撮像する撮像素子２１と可視光画像Ｖｉｓｉｂｌｅを撮像する撮像素子２１とは、同画素数、同画角であり、同じ時刻に同じ時間だけ露光される。なお、撮像素子２１は、可視光用と赤外光用と別々でもよいし、１つの撮像素子２１の出力を分光するようにしてもよい。

画像処理部３は、可視光画像Ｖｉｓｉｂｌｅのエッジを保存しつつノイズを除去した出力画像Ｏｕｔを生成する。図２に画像処理部３の構成を示す。画像処理部３は、可視光画像Ｖｉｓｉｂｌｅのゲインを調整するゲイン調整部３１と、可視光画像Ｖｉｓｉｂｌｅのノイズを除去するローパスフィルタ３３と、赤外光画像Ｉｎｆｒのエッジ及び詳細部分を抽出するハイパスフィルタ３４と、ローパスフィルタ３３の出力画像である基礎画像Ｂａｓｅとハイパスフィルタ３４の出力画像である詳細画像Ｅｄｇｅとを合成する画像合成部３５とから構成される。

ゲイン調整部３１は、ゲインを調整することにより、露出不足で暗く撮像された可視光画像Ｖｉｓｉｂｌｅの画素値を増大し適正露出で撮像した画像に近い画素値とする。ゲインの調整方法としては、可視光画像の画素値を定数倍する方法や指数関数に基づくガンマ補正、多項式関数等に基づく任意のゲイン調整方法などがある。調整後の画素値の最大値は制限されている。

図３にローパスフィルタ３３の構成を示す。ローパスフィルタ３３は、赤外光画像ＩｎｆｒのＸ方向（幅方向）のエッジを検出するＸエッジ検出部４１と、赤外光画像ＩｎｆｒのＹ方向（高さ方向）のエッジを検出するＹエッジ検出部４２と、Ｘ方向のエッジ評価値を格納するＸ評価値格納部４３と、Ｙ方向のエッジ評価値を格納するＹ評価値格納部４４と、Ｘ方向のエッジを除去する３つのＸローパスフィルタ４５ａ、４５ｂ、４５ｃと、Ｙ方向のエッジを除去する３つのＹローパスフィルタ４６ａ、４６ｂ、４６ｃと、Ｘエッジ評価値と閾値とを比較する３つのＸ比較部４７ａ、４７ｂ、４７ｃと、Ｙエッジ評価値と閾値とを比較する３つのＹ比較部４８ａ、４８ｂ、４８ｃとを備える。

Ｘローパスフィルタは、Ｘ方向の５×１タップのＦＩＲローパスフィルタである。Ｘローパスフィルタによって可視光画像のＸ方向のノイズが除去される。Ｙローパスフィルタは、Ｙ方向の１×５タップのＦＩＲローパスフィルタである。Ｙローパスフィルタによって可視光画像のＹ方向のノイズが除去される。

Ｘエッジ検出部４１はＸ方向のエッジを検出する４×４のＦＩＲフィルタであり、Ｙエッジ検出部４２はＹ方向のエッジを検出する４×４のＦＩＲフィルタである。Ｘ評価値格納部４３は、Ｘエッジ検出部４２のフィルタ結果に対して絶対値演算を適用してエッジ評価値を算出し、この値をＸエッジ画像として格納する。Ｙ評価値格納部４４は、Ｙエッジ検出部４２のフィルタ結果に対して絶対値演算を適用してエッジ評価値を算出し、この値をＹエッジ画像として格納する。

Ｘ比較部４７及びＹ比較部４８は、エッジ評価値と所定の閾値との比較を行う。閾値ｎは、エッジ評価値の最大値の１／２である。Ｘ比較部４７ａはＸ方向のエッジ評価値と閾値ｎとを比較し、Ｘ比較部４７ｂはＸ方向のエッジ評価値と閾値ｎ／２とを比較し、Ｘ比較部４７ｃはＸ方向のエッジ評価値と閾値ｎ／４とを比較する。Ｙ比較部４８ａはＹ方向のエッジ評価値と閾値ｎとを比較し、Ｙ比較部４８ｂはＹ方向のエッジ評価値と閾値ｎ／２とを比較する比較部、Ｙ比較部４８ｃはＹ方向のエッジ評価値と閾値ｎ／４とを比較する。

ローパスフィルタ３３は、レベル１フィルタ４９ａ、レベル２フィルタ４９ｂ、レベル３フィルタ４９ｃの３段階で構成される。ローパスフィルタ３３のレベルは、Ｘ比較部４７及びＹ比較部４８における閾値の大小による。閾値ｎのローパスフィルタをレベル１フィルタ４９ａ、閾値ｎ／２のローパスフィルタをレベル２フィルタ４９ｂ、閾値ｎ／４のローパスフィルタ４９ｃをレベル３フィルタと呼ぶ。

可視光画像Ｖｉｓｉｂｌｅは、まず、Ｘ比較部４７ａに出力される。Ｘ比較部４７ａは、Ｘ評価値格納部４３に格納されたＸ方向のエッジ評価値と閾値ｎとを比較する。Ｘ比較部４７ａは、エッジ評価値が閾値ｎよりも小さい場合には可視光画像ＶｉｓｉｂｌｅをＸローパスフィルタ４５ａに出力し、エッジ評価値が閾値ｎ以上である場合には可視光画像ＶｉｓｉｂｌｅをＹ比較部４８ａに出力する。比較部４８ｂはＹ評価値格納部４４に格納されたＹ方向のエッジ評価値と閾値ｎを比較する。比較部４８ｂは、エッジ評価値が閾値ｎよりも小さい場合には可視光画像ＶｉｓｉｂｌｅをＹローパスフィルタ４６ａに出力し、エッジ評価値が閾値ｎ以上である場合には可視光画像Ｖｉｓｉｂｌｅを次のＸ比較部４７ｂに出力する。

同様に、Ｘ比較部４７ｂ、Ｙ比較部４６ｂ、Ｘ比較部４７ｃ、Ｙ比較部４８ｃにおいてエッジ評価値と閾値とを比較し、閾値よりも小さい場合には後段のローパスフィルタに可視光画像Ｖｉｓｉｂｌｅを出力し、閾値以上の場合には可視光画像Ｖｉｓｉｂｌｅを次の比較部に出力する。

図４にローパスフィルタ３３の動作を示す。ローパスフィルタ３３は、まず、赤外光画像Ｉｎｆｒを入力する（ステップＳ１）。Ｘエッジ検出部４１は、赤外光画像Ｉｎｆｒに存在するＸ方向のエッジを検出する。Ｘ評価値格納部４３は、Ｘ方向のエッジに所定の絶対値演算を適用してＸ方向のエッジ評価値を算出し、算出したエッジ評価値をＸエッジ画像として格納する（ステップＳ２）。Ｙエッジ検出部４２は、赤外光画像Ｉｎｆｒに存在するＹ方向のエッジを検出する。Ｙ評価格納部４４は、Ｙ方向のエッジに所定の絶対値演算を適用したＹ方向のエッジ評価値を算出し、算出したエッジ評価値をＹエッジ画像として格納する（ステップＳ３）。

ローパスフィルタ３３は、ゲイン調整部３１から可視光画像Ｖｉｓｉｂｌｅを入力すると（ステップＳ４）、入力した可視光画像Ｖｉｓｉｂｌｅをレベル１フィルタ４９ａに適用し、Ｘ方向の処理を行う（ステップＳ５）。

図５にレベル１フィルタ４９ａのＸ方向の処理を示す。レベル１フィルタ４９ａのＸ方向の処理では、まず、Ｙ方向の座標Ｙを０に初期化し（ステップＳ１１）、Ｘ方向の座標Ｘを０に初期化する（ステップＳ１２）。Ｘ比較部４７ａは、Ｘ評価値格納部４３からＸ評価値画像を入力する。Ｘ比較部４７ａは、Ｘ評価値画像の座標（Ｘ、Ｙ）におけるＸ方向のエッジ評価値と閾値ｎとを比較する。座標（Ｘ、Ｙ）のエッジ評価値が閾値ｎより小さい場合（ステップＳ１３；ＹＥＳ）、座標（Ｘ、Ｙ）の可視光画像にＸローパスフィルタ４５ａを適用する（ステップＳ１４）。一方、座標（Ｘ、Ｙ）のエッジ評価値が閾値ｎより小さい場合（ステップＳ１３；ＮＯ）、ステップＳ１５に処理を移行する。ステップＳ１５では、Ｘ座標を１インクリメントする（ステップＳ１５）。Ｘ座標の値と可視光画像Ｖｉｓｉｂｌｅの幅とを比較し、座標Ｘが可視光画像Ｖｉｓｉｂｌｅの幅よりも小さければ（ステップＳ１６；ＹＥＳ）、ステップＳ１３に処理を移行する。一方、座標Ｘが可視光画像Ｖｉｓｉｂｌｅの幅よりも大きければ（ステップＳ１６；ＮＯ）、座標Ｙを１インクリメントする（ステップＳ１７）。ステップＳ１８ではＹ座標との値と可視光画像Ｖｉｓｉｂｌｅの高さとを比較する。Ｙ座標が可視光画像Ｖｉｓｉｂｌｅの高さよりも小さければ（ステップＳ１８；ＹＥＳ）、ステップＳ１２に処理を移行する。一方、Ｙ座標が可視光画像Ｖｉｓｉｂｌｅの高さよりも大きければ（ステップＳ１８；ＮＯ）、レベル１フィルタのＸ方向の処理を終了する。レベル１フィルタは、可視光画像を構成する各画素のエッジ評価値と閾値ｎを比較し、エッジ評価値が閾値ｎより小さければ、Ｘローパスフィルタ４５ａを適用してＸ方向のノイズを除去する。

レベル１フィルタでは、Ｘ方向のレベル１フィルタ４９ａによる処理が完了すると、Ｙ方向のレベル１フィルタ４９ａによる処理を行う。ここでは、図５に示すＸ方向のレベル１フィルタ４９ａと略同じ処理を行う。Ｙ方向のレベル１フィルタ４９ａでは、エッジ評価画像としてＸエッジ画像の代わりにＹエッジ画像を使用し、ローパスフィルタとしてＸローパスフィルタ４５ａの代わりにＹローパスフィルタ４６ａを使用する（ステップＳ６）。

レベル１フィルタ４９ａは、自身の処理が完了すると可視光画像Ｖｉｓｉｂｌｅをレベル２フィルタ４９ｂに出力する。レベル２フィルタ４９ｂは、まずＸ方向の処理を行う（ステップＳ７）。Ｘ方向の処理が完了するとＹ方向の処理を行う（ステップＳ８）。レベル３フィルタ４９ｃは、レベル２フィルタ４９ｂの出力画像を入力すると、Ｘ方向の処理を行い（ステップＳ９）、Ｘ方向の処理を完了するとＹ方向の処理を行う（ステップＳ１０）。レベル２フィルタとレベル３フィルタとは、閾値が異なることを除いて同一の処理を行う。

ローパスフィルタ３３では、エッジ評価値の低い画素ほどフィルタリングされる回数が多くなり、エッジ評価値の高い画素ほどフィルタリングされる回数が少なくなる。すなわち、エッジ評価値の高い画素はフィルタリング回数が少ないためエッジが保存され、エッジ評価値の低い画素はフィルタリング回数が多いためノイズが除去される。このような機能を有するフィルタをエッジ保存フィルタと呼ぶ。エッジ保存フィルタの種類は、図３に示したものの他にバイラテラルフィルタやクロスバイラテラルフィルタなどがある。ローパスフィルタ３３としてこれらのフィルタを使用してもよい。

ローパスフィルタ３３は、可視光画像Ｖｉｓｉｂｌｅのノイズを除去した画像を出力する。この画像を基礎画像Ｂａｓｅと呼ぶ。基礎画像Ｂａｓｅは、画像の色味は正しいという長所と、エッジや詳細部分がはっきりせずぼやけた印象を与えるという短所がある。

ハイパスフィルタ３４は、赤外光画像Ｉｎｆｒのエッジ部分を抽出する。図６にハイパスフィルタ３４の一例を示す。図６のハイパスフィルタ３４は、２次元のＦＩＲフィルタである。ハイパスフィルタ３４は、ローパスフィルタ７１と除算部７２によって構成される。ローパスフィルタ７１は、例えば、エッジ保存型ローパスフィルタである。ローパスフィルタ７１は、可視光画像Ｖｉｓｉｂｌｅのノイズを除去し、この画像を除算部７２に出力する。除算部７２は、赤外光画像Ｉｎｆｒからローパスフィルタ７１の出力を除算して、赤外光画像Ｉｎｆｒのハイパス成分を抽出する。ハイパスフィルタ３４から出力された画像には、赤外光画像Ｉｎｆｒのエッジや詳細部分が保存されている。この画像を詳細画像Ｅｄｇｅと呼ぶ。

画像合成部３５は、基礎画像Ｂａｓｅと詳細画像Ｅｄｇｅと乗算した合成画像を生成する。この画像が画像処理部３の出力画像ＯＵＴである。出力画像ＯＵＴは、基礎画像Ｂａｓｅと詳細画像Ｅｄｇｅとの２つの画像の長所を合わせた画像であり、色味が正しく詳細部分がはっきりしているという特徴がある。

以上説明したように、本発明を適用した撮像装置１では、可視光画像Ｖｉｓｉｂｌｅのノイズを除去した基礎画像Ｂａｓｅと、赤外光画像Ｉｎｆｒのエッジや詳細部分を抽出した詳細画像Ｅｄｇｅとを合成することにより、可視光画像Ｖｉｓｉｂｌｅのノイズを除去しつつノイズ除去によって減衰したエッジ部分や詳細部分を含む出力画像ＯＵＴを得ることができる。

また、赤外光画像Ｉｎｆｒは、可視光画像Ｖｉｓｉｂｌｅと同時に撮像することができるため、撮像時刻のずれが発生せず、動画や動く被写体の処理も可能である。

従来の画像処理装置では、フラッシュ画像でエッジを抽出していたため、照明条件の違いによって発生する影やハイライトを除去するための演算コストが増大していたが、赤外光画像Ｉｎｆｒは可視光画像Ｖｉｓｉｂｌｅと同じ照明条件で撮像することができるので、照明条件の違いを補正しなくてもよい。

さらに、従来の画像処理装置では、詳細部分やエッジを影やハイライトと誤判別した場合には、詳細部分の画素が破棄されてしまうという課題があった。赤外光画像Ｉｎｆｒは可視光画像Ｖｉｓｉｂｌｅと同じ照明条件で撮像することができるので、照明条件の違いによる影やハイライトが発生することはなく、必要な画素が破棄されてしまうおそれもない。

次いで、図７を参照して画像処理部３の第1の変形例について説明する。この画像処理部５０は、可視光画像Ｖｉｓｉｂｌｅの輝度を用いてエッジ検出を行う。輝度は、変数が１つであるためＲＧＢの３つ変数からエッジ検出を行うよりも演算コストが少なくなる。人間は、一般に輝度に対して感度が高く、色成分に対しては感度が高くないため、輝度からのエッジ検出でも十分効果がある。

図７に画像処理部５０の構成を示す。画像処理部５０は、ゲイン調整部５２と、マトリクス部５３と、色用ローパスフィルタ５４と、輝度用ローパスフィルタ５５と、ハイパスフィルタ５６と、画像合成部５７と、逆マトリクス部５８とを備える。

ゲイン調整部５２は、ゲインを調整することにより、露出不足で暗く撮像された可視光画像の画素値を増大し適正露出で撮像した画像に近い画素値とする。ゲインの調整方法としては、可視光画像の画素値を定数倍する方法や指数関数に基づくガンマ補正、多項式関数等に基づく任意のゲイン調整方法などがある。調整後の画素値の最大値は制限されている。

マトリクス部５３は、ＲＧＢ画像にマトリクス変換をかけて、色画像Ｃｂ，Ｃｒと、輝度画像Ｙｄに変換する。色用ローパスフィルタ５４は、色画像Ｃｂ、Ｃｒのノイズを除去する。色用ローパスフィルタ５４としては、例えばバイラテラルフィルタを使用する。バイラテラルフィルタは、１枚の画像からエッジ検出とノイズ除去とを行うフィルタである。

輝度用ローパスフィルタ５５は、輝度画像Ｙｄのノイズを除去する。輝度用ローパスフィルタ５５としては、例えばクロスバイラテラルフィルタを使用する。クロスバイラテラルフィルタとは、エッジ検出用の画像から検出したエッジを保存しつつフィルタ対象画像のノイズを除去するフィルタである。ここでは、赤外光画像Ｉｎｆｒからエッジを検出して、輝度画像Ｙｄのノイズを除去する。輝度用ローパスフィルタ５５から出力される画像を基礎画像Ｂａｓｅと呼ぶ。基礎画像Ｂａｓｅは、画像の輝度が正しいという長所と、エッジや詳細部分がはっきりせずぼやけた印象を与えるという短所がある。

ハイパスフィルタ５６は、赤外光画像Ｉｎｆｒのエッジ部分を抽出する。ハイパスフィルタ５６から出力された画像には、赤外光画像Ｉｎｆｒのエッジや詳細部分が保存されている。この画像を詳細画像Ｅｄｇｅと呼ぶ。

画像合成部５７は、基礎画像Ｂａｓｅと詳細画像Ｅｄｇｅとを乗算した合成画像を生成する。この合成画像は、基礎画像Ｂａｓｅと詳細画像Ｅｄｇｅの長所を合わせた画像であり、輝度が正しく詳細部分やエッジがはっきりしている。逆マトリクス部５８は、合成画像に逆マトリクス変換をかけて輝度画像をＲＧＢ画像に変換する。この画像が画像処理部の出力画像ＯＵＴである。

画像処理部５０は、ＲＧＢ画像を色画像Ｃｂ，Ｃｒと輝度画像Ｙｄに分離し、輝度画像Ｙｄに対してのみエッジ検出を行う。人間は、一般的に輝度に対して感度が高く、色成分に対して感度が高くない。ＲＧＢの３つの変数ではなく、輝度にのみフィルタをかけることで演算コストを減少させることができる。

次いで、画像処理部３の第２の変形例について説明する。この画像処理部３０は、図８に示すように、赤外光画像の収差を補正する収差補正部３２を備える。収差補正部３２以外の構成は画像処理部３と同じである。画像処理部３と同じ構成要素には同一符号を付してある。これらの構成要素の説明は省略する。

収差補正部３２は、赤外光と可視光の波長の差によって生じる収差を補正する。図９に収差補正部３２の構成を示す。収差補正部３２は、マトリクス部６１と、誤差算出用バイリニアスケーラ６２と、収差補正用バイリニアスケーラ６３と、パラメータ算出部６４と、誤差計算部６５とを備える。

マトリクス部６１は、入力した可視光画像Ｖｉｓｉｂｌｅの輝度画像Ｙｄを生成する。誤差算出用バイリニアスケーラ６２は、パラメータ算出部６４から出力されたスケール値及びディストーション値に基づいて５通りのスケール変換画像及びディストーション変換画像を生成する。

誤差算出部６５は、スケール変換画像と赤外光画像及びディストーション変換画像と赤外光画像とを比較してこれらの画像の誤差値を算出する。この誤差値は、ＰＳＮＲ値（ノイズ混入量；Peak Signal To Noise Ratio）である。パラメータ算出部６４は、誤差算出部６５で算出されたＰＳＮＲ値を参照してスケール値とディストーション値を最適化する。収差補正用バイリニアスケーラ６３は、パラメータ算出部６４が最適化したスケール値とディストーション値を用いて可視光画像Ｖｉｓｉｂｌｅの収差を補正する。

図１０に収差補正部３２の動作を示す。収差補正部３２可視光画像Ｖｉｓｉｂｌｅと赤外光画像Ｉｎｆｒとを入力する。この可視光画像Ｖｉｓｉｂｌｅは、ＲＧＢ画像である（ステップＳ２１）。マトリクス部６１は、可視光画像Ｖｉｓｉｂｌｅにマトリクスを乗じて輝度画像Ｙｄを生成する（ステップＳ２２）。パラメータ算出部６４は、スケール値の最大値、現在値、最小値、及びディストーション値の最大値、現在値、最小値を初期化する（ステップＳ２３）。

パラメータ算出部６４は、誤差算出部６５からＰＳＮＲ値を入力し、ＰＳＮＲ値を最大にするスケール値を求める（ステップＳ２４）。

図１１にスケール値の算出手順を示す。パラメータ算出部６４は、スケール値の最大値Ｓ_１、最大値と現在値の中間値Ｓ_２、現在値Ｓ_３、最大値と現在値の中間値Ｓ_４、最小値Ｓ_５の５つのパラメータを用意する。誤差検出用バイリニアスケーラ６２は、これらの５通りのスケール値それぞれを用いて輝度画像Ｙｄのスケール変換を行う。これにより、５つのパラメータに対応する５枚の輝度画像Ｙｄ_１〜Ｙｄ_５が生成される（ステップＳ３１）。

誤差算出部６５は、輝度画像Ｙｄ_１〜Ｙｄ_５と赤外光画像Ｉｎｆｒとを比較してＰＳＮＲ値を求める。各輝度画像と赤外光画像Ｙｄ_１〜Ｙｄ_５とを比較すると５通りのＰＳＮＲ値が算出される（ステップＳ３２）。最大値Ｓ_１でスケール変換した輝度画像Ｙｄ_１と赤外光画像ＩｎｆｒとのＰＳＮＲ値が最大である場合（ステップＳ３３；ＹＥＳ）、パラメータ算出部６４は、現在値Ｓ_３を最大値Ｓ_１で差し替え、最大値Ｓ_１を最大値Ｓ_１の２倍の値から最小値Ｓ_５を引いた値で差し替える（ステップＳ３４）。

最大値Ｓ_１と現在値Ｓ_３の中間値でＰＳＮＲ値が最大である場合（ステップＳ３５；ＹＥＳ）、パラメータ算出部６４は、最小値Ｓ_５を現在値Ｓ_３と差し替え、現在値Ｓ_３として最大値Ｓ_１と現在値Ｓ_３の中間値で差し替える（ステップＳ３６）。

現在値Ｓ_３でＰＳＮＲ値が最大である場合（ステップＳ３７；ＹＥＳ）、パラメータ算出部６４は、最大値Ｓ_１を現在値Ｓ_３で差し替え、現在値Ｓ_３を現在値Ｓ_３と最小値Ｓ_５の中間値で差し替える（ステップＳ３８）。

最小値Ｓ_５と現在値Ｓ_３の中間でＰＳＮＲ値が最大である場合（ステップＳ３９；ＹＥＳ）、パラメータ算出部６４は、現在値Ｓ_３を最小値Ｓ_５で差し替え、最小値Ｓ_５を最小値Ｓ_５の２倍から最大値Ｓ_１を引いた値で差し替える（ステップＳ４０）。

最小値Ｓ_５でＰＳＮＲ値が最大である場合（ステップＳ３３、ステップＳ３５、ステップＳ３７、ステップＳ３９；ＮＯ）、パラメータ算出部６４は、現在値Ｓ_３を最小値Ｓ_５で差し替え、最小値Ｓ_５を最小値Ｓ_５の２倍から最大値Ｓ_５で差し替える（ステップＳ４１）。このようにスケール値を最適化が完了する。

次いで、パラメータ算出部６４はディストーション値の最適化を行う。ディストーション値の最適化は、スケール値の最適化処理と同じ処理である。ディストーション値の最適化では、パラメータがスケール値からディストーション値に変化する（ステップＳ２５）。スケール値とディストーション値の最適化が完了すると、パラメータ算出部６４は、ＰＳＮＲ値の改善量を所定の閾値と比較する。ＰＳＮＲ値の改善量が所定の閾値よりも低い場合には（ステップＳ２６；ＮＯ）、ステップＳ２５に処理を移行して再度スケール値及びディストーション値の最適化を行う。

一方、ＰＳＮＲ値の改善量が所定の閾値よりも高い場合には（ステップＳ２６；ＹＥＳ）、パラメータ算出部６４は、現在のスケール値とディストーション値を収差補正用バイリニアスケーラ６３に出力する。収差補正用バイリニアスケーラ６３は、現在のスケール値とディストーション値を用いて可視光画像Ｖｉｓｉｂｌｅの収差補正を行い（ステップＳ２７）、補正した画像をハイパスフィルタ５６に出力する（ステップＳ２８）。

収差補正部３２を設けたことにより、可視光と赤外光の波長の差によって生じる収差の差異を補正することができる。これにより、可視光画像Ｖｉｓｉｂｌｅに撮像された像と赤外光画像Ｉｎｆｒに撮像された像とが一致する。

一般的に、赤外光の屈折率が高くやや拡大される。可視光画像Ｖｉｓｉｂｌｅを補正すると、大きな画像が得られるがひずみも大きくなる。画像の大きさとひずみの大きさはトレードオフの関係にあるので、どちらを優先させるかによって補正する画像は異なる。

画像処理部３におけるフィルタリング処理及び収差補正処理は、制御プログラムに基づいて実行してもよい。このような制御プログラムは、撮像装置１のファームウェアに記録されている。なお、制御プログラムは、外部記録装置９が読み取り可能な形式で記録された記録媒体を介して取得してもよい。制御プログラムを記録する記録媒体としては、磁気読取方式の記録媒体（例えば、磁気テープ、フレキシブルディスク、磁気カード）、光学読取方式の記録媒体（例えば、ＣＤ−ＲＯＭ、ＭＯ、ＣＤ−Ｒ、ＤＶＤ）、半導体メモリ（メモリカード、ＩＣカード）等が考えられる。また、制御プログラムは、いわゆるインターネット等を介して取得してもよい。

撮像素子の構成を示すブロック図である。画像処理部の構成を示すブロック図である。ローパスフィルタの構成を示すブロック図である。ローパスフィルタの動作を示すフローチャートである。Ｘ方向のレベル１フィルタの動作を示すフローチャートである。ハイパスフィルタの構成を示すブロック図である。画像処理部の第１の変形例を示すブロック図である。画像処理部の第２の変形例を示すブロック図である。収差補正部の構成を示すブロック図である。収差補正部の動作を示すフローチャートである。収差補正部におけるスケール値の算出処理を示すフローチャートである。従来の画像処理装置の構成を示すブロック図である。

符号の説明

１撮像装置、２撮像部、２１撮像素子、２２レンズ、２３モータ、２４ドライバ、３画像処理部、３２収差補正部、３１ゲイン調整部、３３ローパスフィルタ、３４ハイパスフィルタ、３５画像合成部

Claims

可視光画像と、上記可視光画像に対応する不可視光画像とを同時に取得する画像取得手段と、
上記可視光画像のノイズを低減するノイズ低減手段とを備え、
上記ノイズ低減手段は、
上記可視光画像のノイズを除去するローパスフィルタと、
上記不可視光画像のエッジ及び詳細部分を抽出するハイパスフィルタと、
上記ローパスフィルタ及び上記ハイパスフィルタの出力を合成する合成手段とを有し、
上記ローパスフィルタは、エッジ保存ローパスフィルタであり、上記不可視光画像から検出されたエッジを保存しつつ上記可視光画像のノイズを除去し、上記可視光画像のノイズ除去は、複数のレベルのローパスフィルタを用いて行われ、上記不可視光画像から検出されたエッジの評価値に応じて、上記複数のレベルのうちいずれかのローパスフィルタを用いるかを決定し、上記ローパスフィルタのレベルは、画像のＸ方向およびＹ方向に対して独立に決定する
画像処理装置。