以下、図面を参照して本発明の実施の形態について説明する。図1から図27は本発明の第1の実施形態を示したものであり、図1は第1の実施形態の構成を示すブロック図、図2は注目画素および注目領域に関する説明図、図3はノイズ推定部の構成を示すブロック図、図4はノイズ量の推定に関する説明図であって信号レベルに対する輝度ノイズ量の関係を示す図、図5はノイズ量の推定に関する説明図であってノイズモデルの簡略化を示す図、図6はノイズ量の推定に関する説明図であって簡略化されたノイズモデルからの輝度ノイズ量の算出法を示す図、図7はノイズ低減部の構成を示すブロック図、図8はエッジ方向検出部の構成を示すブロック図、図9はエッジ方向検出部の別形態の構成を示すブロック図、図10〜図22はエッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、図10は注目画素およびその処理領域を示す図、図11はエッジ抽出される画素位置を示す図、図12は0°のエッジ抽出フィルタを示す図、図13は45°のエッジ抽出フィルタを示す図、図14は90°のエッジ抽出フィルタを示す図、図15は135°のエッジ抽出フィルタを示す図、図16は180°のエッジ抽出フィルタを示す図、図17は225°のエッジ抽出フィルタを示す図、図18は270°のエッジ抽出フィルタを示す図、図19は315°のエッジ抽出フィルタを示す図、図20は等方性エッジ抽出フィルタを示す図、図21は水平エッジ抽出フィルタの説明図、図22は垂直エッジ抽出フィルタの説明図、図23、図24はエッジ補正部のエッジ補正に関する説明図であって、図23は8方向のエッジ整形による説明図、図24は4方向のエッジ整形による説明図、図25は第1の実施形態の別形態の構成を示すブロック図、図26、図27は第1の実施形態における信号処理のフローチャートであって、図26は全体処理のフローチャート、図27はノイズ推定処理のフローチャートである。
図1により、第1の実施形態の構成を説明する。図1は、本発明の第1実施形態に係る撮像システムの構成を示すブロック図である。レンズ系100は被写体像を結像するためのものである。絞り101はこのレンズ系100内に配置されていて、該レンズ系100における光束の通過範囲を規定するためのものである。CCD102は、このレンズ系100を介して結像される光学的な被写体像を光電変換して、電気的な映像信号を出力するものである。増幅器103は、このCCD102の出力を所定の増幅率(増幅量,ゲインともいう)に従って増幅するものである。A/D変換器104は、このCCD102から出力され増幅器103で増幅されたアナログの映像信号をデジタル信号へ変換するものである。バッファ105は、このA/D変換器104から出力されたデジタルの映像信号を一時的に記憶するものである。A/D変換器104からの信号は、バッファ105を介して抽出部109、エッジ抽出部114へ転送される。バッファ105は、測光評価部106、合焦点検出部107へも接続されている。測光評価部106は、上記バッファ105に記憶された映像信号に基づき、被写体に関する測光評価を行って、その評価結果に基づき上記絞り101とCCD102と増幅器103との制御を行うものである。すなわち、該測光評価部106は、絞り101の絞り値と、CCD102の電子シャッタ速度と、増幅器103のゲインと、を調整することにより、露出制御を行うようになっている。合焦点検出部107は、上記バッファ105に記憶された映像信号に基づき合焦点検出を行い、検出結果に基づき後述するAFモータ108を駆動するものである。AFモータ108は、この合焦点検出部107により制御されて、上記レンズ系100に含まれるフォーカスレンズ等の駆動を行い、上記CCD102の撮像面上に被写体像が結像されるようにするものである。抽出部109は、抽出手段であって、上記バッファ105に記憶された映像信号から所定領域の映像信号を抽出して出力するものである。抽出部109からの信号は、ノイズ推定部110およびノイズ低減部111へ接続されている。
ノイズ推定部110は、ノイズ推定手段であって、この抽出部109により抽出された所定領域の映像信号からノイズ量を推定するものである。推定されたノイズ量はノイズ低減部111へ転送される。ノイズ低減部111は、抽出部109で抽出された所定領域の映像信号に関して、ノイズ推定部110で推定されたノイズ量に基づきノイズ低減処理を行うものである。ノイズ低減処理後の映像信号はバッファ112へ転送される。バッファ112は、エッジ方向検出部113およびエッジ強調部116へ接続されている。エッジ方向検出部113は、エッジ方向検出手段であって、バッファ112に記憶されたノイズ低減処理後の映像信号からエッジの方向を検出するものである。検出されたエッジ方向は、エッジ抽出部114およびエッジ補正部115へ転送される。エッジ抽出部114は、エッジ抽出手段であって、上記エッジ方向検出部113により検出されたエッジ方向に関する情報を基に上記バッファ105に記憶された映像信号からエッジ成分を抽出するものである。抽出されたエッジ成分は、エッジ補正部115へ転送される。エッジ補正部115は、エッジ補正手段であって、上記エッジ方向検出部113により検出されたエッジ方向に関する情報を基に上記エッジ抽出部114から抽出されたエッジ成分を補正するものである。補正されたエッジ成分は、エッジ強調部116へ転送される。エッジ強調部116は、エッジ強調手段であって、上記エッジ補正部115で補正処理が施されたエッジ成分を用いて、上記バッファ112に記憶されたノイズ低減処理後の映像信号のエッジ強調処理を行うものである。エッジ強調処理がなされた映像信号は、信号処理部117へ転送される。信号処理部117は、信号処理手段であって、上記エッジ強調部116でエッジ強調処理が施された映像信号に対して、例えば公知の圧縮処理などの所望の信号処理を行うものである。信号処理がなされた映像信号は、出力部118へ転送される。出力部118は、出力手段であって、上記信号処理部117からの映像信号を例えばメモリカード等に記録するために出力するものである。制御手段に含まれる情報取得手段たる外部I/F部120は、電源スイッチ,シャッタボタン,動画/静止画の切り換えや圧縮率,画像サイズ,ISO感度の設定などの撮影時の各種モードを設定するためのモードスイッチ等へのインターフェースを備えたものである。制御手段とパラメータ算出手段と情報取得手段とを兼ねた制御部119は、上記増幅器103、A/D変換器104、測光評価部106、合焦点検出部107、抽出部109、ノイズ推定部110、ノイズ低減部111、エッジ方向検出部113、エッジ抽出部114、エッジ補正部115、エッジ強調部116、信号処理部117、出力部118、外部I/F部120と双方向に接続されていて、これらを含むこの撮像システムを統合的に制御するものであり、例えばマイクロコンピュータにより構成されている。さらに、CCD102の近傍に配置された温度センサー121からの信号も制御部119へ接続されている。
次に、図1において、信号の流れを説明する。外部I/F部120を介してISO感度などの撮影条件を設定した後、不図示のシャッターボタンを半押しにすることでプリ撮像モードに入る。
レンズ系100,絞り101,CCD102を介して撮影された信号は、アナログ信号として出力される。
なお、本実施形態においてCCD102は白黒用単板CCDを、出力される信号は輝度信号Yを想定する。上記アナログ信号は増幅器103によって所定量増幅され、A/D変換器104によってデジタル信号へ変換されてバッファ105へ転送される。
なお、本実施形態においてA/D変換器104は12bit階調でデジタル信号へ変換するものと想定する。
バッファ105内の映像信号は、測光評価部106および合焦点検出部107へ転送される。測光評価部106では、設定されたISO感度,手ぶれ限界のシャッター速度などを加味し、信号中の輝度レベルを求めて適正露光となるように絞り101やCCD102の電子シャッター速度や増幅器103のゲインなどを制御する。また、合焦点検出部107では信号中のエッジ強度を検出し、これが最大となるようにAFモータ108を制御することで合焦信号を得る。
次に、外部I/F部120を介してシャッターボタンからの全押し情報が入力されることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ105へ転送される。本撮影は、測光評価部106によって求められた露光条件、合焦点検出部107によって求められた合焦条件に基づき行われ、これらの撮影時の条件は制御部119へ転送される。バッファ105内の映像信号は抽出部109へ転送される。抽出部109は、制御部119の制御に基づき図2に示されるような注目画素P22を包含する3×3画素サイズの注目領域Pij(i=1〜3,j=1〜3)を順次抽出し、ノイズ推定部110およびノイズ低減部111へ転送する。
なお、図2においては5×5画素サイズの領域を示しているが、これは後述するエッジ処理において5×5画素サイズの領域を要するためで、説明の便宜上5×5画素サイズを示している。
また、以後の説明では注目画素をP22と想定するが、注目画素自体は全信号から順次抽出され、その座標位置も順次移動して行く。
ノイズ推定部110は、制御部119の制御に基づき抽出部109からの注目領域および撮影時の情報に基づき注目画素P22のノイズ量N22を推定し、これをノイズ低減部111へ転送する。ノイズ低減部111は、制御部119の制御に基づき抽出部109からの注目画素P22に関して、ノイズ推定部110からのノイズ量N22に基づきノイズ低減処理を行い、ノイズ低減処理後の注目画素P'22およびそのノイズ量N22をバッファ112へ転送する。上記抽出部109、ノイズ推定部110、ノイズ低減部111における処理は、制御部119の制御に基づき注目領域単位で同期して行われる。バッファ112には、ノイズ低減処理後の全信号およびそのノイズ量が記録されることになる。
エッジ方向検出部113は、制御部119の制御に基づきバッファ112から図10に示されるようなノイズ低減処理後の注目画素P'22およびこれを包含する5×5画素サイズの処理領域P'kl(k=0〜4,l=0〜4)を順次抽出する。その後、注目画素P'22およびその周囲8画素(P'11,P'21,P'31,P'12,P'32,P'13,P'23,P'33)のエッジ方向(D22およびD11,D21,D31,D12,D32,D13,D23,D33)を検出し、エッジ抽出部114およびエッジ補正部115へ転送する。エッジ抽出部114は、制御部119の制御に基づき上記エッジ方向検出部113で用いた処理領域と同一位置のノイズ低減処理前の原信号をバッファ105から順次抽出する。その後、エッジ方向検出部113からのエッジ方向に基づき、注目画素P'22およびその周囲8画素(P'11,P'21,P'31,P'12,P'32,P'13,P'23,P'33)のエッジ成分(E22およびE11,E21,E31,E12,E32,E13,E23,E33)を抽出し、エッジ補正部115へ転送する。
エッジ補正部115は、制御部119の制御に基づき、注目画素P'22のエッジ成分E22に関して、エッジ方向検出部113からのエッジ方向D22およびエッジ抽出部114からの周囲8画素のエッジ成分(E11,E21,E31,E12,E32,E13,E23,E33)に基づきこれを補正したエッジ成分E'22を求め、エッジ強調部116へ転送する。エッジ強調部116は、制御部119の制御に基づきバッファ112からノイズ低減処理後の注目画素P'22を順次抽出する。その後、エッジ補正部115からのエッジ成分E'22に基づき、数式1に示すように所定の係数g1を乗算した後に加算することでエッジ強調処理後の画素値P"22を求め、信号処理部117へ転送する。
[数1]
P"22=P'22+g1・E'22
上記エッジ方向検出部113,エッジ抽出部114,エッジ補正部115,エッジ強調部116における処理は、制御部119の制御に基づき処理領域単位で同期して行われる。信号処理部117は、制御部119の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理などを行い、出力部118へ転送する。出力部118は、メモリーカードなどへ信号を記録保存する。
図3はノイズ推定部110の構成の一例を示すものである。ノイズ推定部110は、平均算出部200,ゲイン算出部201,標準値付与部202,パラメータ用ROM203,パラメータ選択部204,補間部205,補正部206を備えている。抽出部109は、平均算出部200へ接続している。平均算出部200は、パラメータ選択部204へ接続している。ゲイン算出部201,標準値付与部202,パラメータ用ROM203は、パラメータ選択部204へ接続している。パラメータ選択部204は、補間部205および補正部206へ接続している。補間部205は、補正部206を介してノイズ低減部111へ接続している。制御部119は、平均算出部200,ゲイン算出部201,標準値付与部202,パラメータ選択部204,補間部205,補正部206へ双方向に接続されている。
平均算出部200は、制御部119の制御に基づき、抽出部109からノイズ低減処理を行う図2に示される注目領域(Pij,i=1〜3,j=1〜3)の平均値AV22を数式2に示すように算出して、パラメータ選択部204へ転送する。
[数2]
AV22=ΣPij/9
ゲイン算出部201は、制御部119から転送されるISO感度および露光条件に関する情報に基づき増幅器103におけるゲインを求め、パラメータ選択部204へ転送する。また、制御部119は温度センサー121からCCD102の温度情報を得て、これをパラメータ選択部204へ転送する。
パラメータ選択部204は、平均算出部200からの注目領域の平均値,ゲイン算出部201からのゲインの情報,制御部119からの温度情報に基づき輝度ノイズ量を推定する。
図4〜図6は、輝度ノイズ量の推定に関する説明図である。図4は、輝度値を信号レベルLとした場合のノイズ量Nをプロットしたものであり、ノイズ量Nは信号レベルLに対して2次曲線的に増加している。図4を2次関数でモデル化すると数式3が得られる。
[数3]
N=αL2+βL+γ
ここで、α,β,γは定数項である。しかしながら、ノイズ量は信号レベルだけではなく、撮像素子の温度やゲインによっても変化する。
図4は、一例としてある温度下においてゲインに関連する3種類のISO感度100,200,400に対するノイズ量をプロットしている。個々の曲線は数式3に示される形態をしているが、その係数はゲインに関連するISO感度により異なる。温度をt、ゲインをgとし、上記を考慮した形でモデルの定式化を行うと数式4となる。
[数4]
N=αgtL2+βgtL+γgt
ここで、αgt,βgt,γgtは定数項である。ただし、数式4の関数を複数記録し、その都度演算によりノイズ量を算出することは処理的に煩雑である。このために、図5に示すようなモデルの簡略化を行う。
図5においては、最大のノイズ量を与えるモデルを基準ノイズモデルとして選択し、これを所定数の折れ線で近似する。折れ線の変曲点は、信号レベルLとノイズ量Nとを成分とする座標データ(Ln,Nn)で表す。ここで、nは変曲点の数を示す。また、上記基準ノイズモデルから他のノイズモデルを導出するための補正係数kgtも用意される。補正係数kgtは、各ノイズモデルと基準ノイズモデルとの間に最小自乗法を適用することにより算出される。基準ノイズモデルからの他のノイズモデルの導出は、上記補正係数kgtを乗算することにより行われる。
図6は、図5に示す簡易化されたノイズモデルからノイズ量を算出する方法を示している。例えば、与えられた信号レベルl、ゲインg、温度tに対応するノイズ量Nを求めることを想定する。まず、信号レベルlが基準ノイズモデルのどの区間に属するかを探索する。ここでは、信号レベルlが(L
n,N
n)と(L
n+1,N
n+1)間の区間に属するものとする。基準ノイズモデルにおける基準ノイズ量N
lを線形補間によって求める。
[数5]
次に、基準ノイズ量N
lに補正係数k
gtを乗算することで、ノイズ量Nを求める。
[数6]
N=k
gt・N
l
パラメータ選択部204は、平均算出部200からの注目領域の平均値AV22から信号レベルlを、ゲイン算出部201からのゲインの情報からゲインgを、制御部119からの温度情報から温度tを設定する。次に、信号レベルlが属する区間の座標データ(Ln,Nn)と(Ln+1,Nn+1)をパラメータ用ROM203から探索し、信号レベルlと共に補間部205へ転送する。さらに、補正係数kgtをパラメータ用ROM203から探索し、これを補正部206へ転送する。
補間部205は、制御部119の制御に基づきパラメータ選択部204からの信号レベルlおよび区間の座標データ(Ln,Nn)と(Ln+1,Nn+1)から数式5に基づき基準ノイズモデルにおける基準ノイズ量Nlを算出し、補正部206へ転送する。
補正部206は、制御部119の制御に基づきパラメータ選択部204からの補正係数kgtおよび補間部205からの基準ノイズ量Nlから数式6に基づきノイズ量Nを算出し、注目画素P22のノイズ量N22とする。推定されたノイズ量N22および平均値AV22はノイズ低減部111へ転送される。
なお、上記ノイズ量算出の過程において、温度t,ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部202に記録させておき、算出過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。
図7はノイズ低減部111の構成の一例を示すものである。ノイズ低減部111は、範囲設定部300,切り換え部301,第1スムージング部302,第2スムージング部303を備えている。ノイズ推定部110は範囲設定部300へ、範囲設定部300は切り換え部301,第1スムージング部302,第2スムージング部303へ接続している。抽出部109は切り換え部301へ、切り換え部301は第1スムージング部302および第2スムージング部303へ接続している。第1スムージング部302および第2スムージング部303は、バッファ112へ接続している。制御部119は、範囲設定部300,切り換え部301,第1スムージング部302,第2スムージング部303と双方向に接続している。ノイズ推定部110は、注目領域の平均値AV22およびノイズ量N22を範囲設定部300へ転送する。
範囲設定部300は、制御部119の制御に基づきノイズ量に関する許容範囲として上限Upおよび下限Lowを数式7のように設定する。
[数7]
Up =AV22+N22/2
Low=AV22−N22/2
上記許容範囲Up,Lowは、切り換え部301へ転送される。また、範囲設定部300は平均値AV22およびノイズ量N22を第1スムージング部302および第2スムージング部303へ転送する。
切り換え部301は、制御部119の制御に基づき抽出部109からの注目画素P22を読み込み、上記許容範囲に属するか否かの判断を行う。判断は、「ノイズ範囲に属している」,「ノイズ範囲を上回っている」,「ノイズ範囲を下回っている」の三通りである。切り換え部301は、「ノイズ範囲に属している」場合は第1スムージング部302へ、それ以外は第2スムージング部303へ注目画素P22を転送する。第1スムージング部302は、切り換え部301からの注目画素P22に範囲設定部300からの平均値AV22を代入する処理を行う。
[数8]
P'22=AV22
数式8でのノイズ低減処理がなされた注目画素P'22およびノイズ量N22はバッファ112へ転送される。
第2スムージング部303は、切り換え部301からの注目画素P22に範囲設定部300からの平均値AV22とノイズ量N22を用いて補正する処理を行う。まず、「ノイズ範囲を上回っている」場合は数式9のように補正する。
[数9]
P'22=AV22−N22/2
また、「ノイズ範囲を下回っている」場合は数式10のように補正する。
[数10]
P'22=AV22+N22/2
数式9または数式10のノイズ低減処理がなされた注目画素P'22およびノイズ量N22はバッファ112へ転送される。
図8はエッジ方向検出部113の構成の一例を示すものである。エッジ方向検出部113は、閾値設定部400,バッファ401,フィルタ処理部402,フィルタROM403,バッファ404,エッジ選択部405,方向決定部406を備えている。バッファ112は閾値設定部400およびフィルタ処理部402へ接続している。閾値設定部400は、バッファ401を介してエッジ選択部405へ接続している。フィルタ処理部402は、バッファ404,エッジ選択部405,方向決定部406を介してエッジ抽出部114およびエッジ補正部115へ接続している。フィルタROM403は、フィルタ処理部402へ接続している。制御部119は、閾値設定部400,フィルタ処理部402,エッジ選択部405,方向決定部406と双方向に接続している。
閾値設定部400は、制御部119の制御に基づきバッファ112からノイズ低減処理がなされた注目画素P'22に対応するノイズ量N22を読み込み、所定の係数g2、例えばg2=2を乗算することでエッジ成分に対する閾値T22を数式11に示すように算出する。
[数11]
T22=g2・N22
なお、本実施形態では図10に示される5×5画素サイズの処理領域P'kl(k=0〜4,l=0〜4)を想定しており、図11に示される注目画素P'22およびその周囲8画素(P'11,P'21,P'31,P'12,P'32,P'13,P'23,P'33)の9画素に対して閾値(T22およびT11,T21,T31,T12,T32,T13,T23,T33)は算出される。算出された閾値はバッファ401へ転送される。
フィルタ処理部402は、制御部119の制御に基づきバッファ112から図10に示される5×5画素サイズの処理領域P'klを読み込み、注目画素P'22およびその周囲8画素の9画素に対して3×3サイズのフィルタ処理を行う。図12〜図19は、フィルタ処理に用いられる8方向(0°,45°,90°,135°,180°,225°,270°,315°)のフィルタ係数を示す。上記フィルタ係数は、フィルタROM403に記録されており、必要に応じてフィルタ処理部402へ転送される。フィルタ処理部402は、図11に示される9画素に対し8方向のフィルタ処理を行い、これを絶対値化することで計72のエッジ成分を算出し、バッファ404へ転送する。
エッジ選択部405は、制御部119の制御に基づきバッファ401から上記9画素に対する閾値を、バッファ404から上記9画素に対する8方向のエッジ成分を読み込む。この後、エッジ選択部405は、画素単位で上記閾値と8方向のエッジ成分を比較し、閾値以下のエッジ成分を省略し、閾値以上のエッジ成分を方向決定部406へ転送する。
方向決定部406は、制御部119の制御に基づきエッジ選択部405から転送されるエッジ成分を9画素の画素単位で処理する。これは、転送されるエッジ成分をソートし、最大値と、最大値を与える方向と180°ずれた対角方向を除く2番目の最大値と、を検出し、両者の差が所定の閾値以上の場合には最大値を与える方向をエッジ方向(D22およびD11,D21,D31,D12,D32,D13,D23,D33)とする。一方、最大値と2番目の最大値の差が所定の閾値以下の場合には、有効なエッジ方向が複数あると判断し、等方的なエッジ方向とする。また、エッジ選択部405から転送される8方向のエッジ成分がない場合、平坦な領域としてエッジ方向がないとする。上記「最大値を与える方向」が得られた場合は、この方向をエッジ抽出部114およびエッジ補正部115へ転送する。また、「等方的なエッジ方向」および「エッジ方向がない」の場合は、制御部119へその情報を転送する。
制御部119は、エッジ抽出部114を制御し、「最大値を与える方向」が得られた場合は、図12〜図19に示されるその方向に対応するフィルタ係数によりエッジ成分の抽出を行わせる。一方、「等方的なエッジ方向」の場合は、図20に示される等方的なフィルタ係数によりエッジ成分の抽出を行わせる。さらに、「エッジ方向がない」の場合には、エッジ抽出部114の処理を中止し、次の注目画素へ処理を移行させる。
なお、上記実施形態ではエッジ方向を決定する上で8方向のフィルタ処理とノイズ量に基づく閾値を使用しているが、このような構成に限定される必要はない。例えば、図9に示されるように、水平,垂直の2方向フィルタ処理と固定的な閾値によるより簡略された構成も可能である。
図9は、図8における閾値設定部400,バッファ401を削除し、エッジ選択部405を変動除去部500へ置換したもので、基本構成は図8に示すエッジ方向検出部113と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
バッファ404は変動除去部500へ、変動除去部500は方向決定部406へ接続している。制御部119は、変動除去部500と双方向に接続している。
フィルタ処理部402は、図11に示される9画素に対し水平,垂直の2方向のフィルタ処理を行い、これを絶対値化することで計18のエッジ成分を算出し、バッファ404へ転送する。図21,図22は、水平,垂直の2方向のフィルタ係数を示す。上記フィルタ係数は、フィルタROM403に記録されており、必要に応じてフィルタ処理部402へ転送される。
変動除去部500は、制御部119の制御に基づきバッファ404から上記9画素に対する2方向のエッジ成分を読み込む。この後、所定の下位ビット、本実施形態ではA/D変換器104を12bit階調と想定しているため例えば下位4bitを削除することで微小な変動成分を除去する。変動成分が除去された2方向のエッジ成分は、方向決定部406へ転送される。
方向決定部406は、制御部119の制御に基づきエッジ選択部405から転送されるエッジ成分を9画素の画素単位で処理し、エッジ方向を算出する。数式12は、注目画素P'22におけるエッジ方向の算出を示す。
[数12]
D22=tan-1(E9022/E022)
上記数式12において、E0は水平方向のE90は垂直方向のエッジ成分を意味する。数式12の演算は、図11に示される9画素に対し画素単位で行われる。
なお、変動成分が除去された結果、水平,垂直の2方向ともエッジ成分が存在しない場合は「エッジ方向がない」として、制御部119へその情報を転送する。2方向の処理では、「等方的なエッジ方向」は検出されない。
図23、図24は、エッジ補正部115におけるエッジ成分の補正に用いる周囲画素を示す。図23の例では、注目画素P'22のエッジ方向D22に基づき周囲8方向にある画素の一つを選択し、そのエッジ成分をEdとした場合に数式13で算出する。
[数13]
E'22=(E22+Ed)/2
また、図24の例では、注目画素P'22のエッジ方向D22に基づき周囲8方向にある画素の一つを選択し、そのエッジ成分をEd、その対角方向にある画素のエッジ成分をEdoとした場合に数式14で算出する。
[数14]
E'22=(2E22+Ed+Edo)/4
上記構成により、ノイズ低減処理後の信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。
また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。この場合、エッジ成分の抽出時に用いたエッジ方向を再利用するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。
さらに、ノイズ低減処理はノイズ推定およびノイズ低減により行われるが、ノイズ推定においては広い領域から推定を行うことで推定精度を高めるようにし、ノイズ低減においては注目画素のみを対象とするようにしたために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。
ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。
さらに、エッジ方向の検出は、複数方向または水平および垂直方向のエッジ強度を求めた後に、ノイズ量に基づく閾値との比較または微小なエッジ強度の除去を行うようにしたために、ノイズによる影響を抑制し精度の高いエッジ方向が得られる。
また、エッジ方向が決定できなかった場合に後段のエッジ抽出処理を停止させるために、無駄な処理を省略でき処理速度を高速化することができる。
さらに、エッジ方向が複数検出された場合に等方的なエッジ抽出処理を行うために、安定した処理結果が得られる。
なお、上記実施形態ではレンズ系100,絞り101,CCD102,増幅器103,A/D変換器104,測光評価部106,合焦点検出部107,AFモータ108,温度センサー121を含む撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。
例えば、図25に示されるように、別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらに撮像条件などの付随情報をヘッダ部に記録したメモリカードなどの記録媒体から処理をすることも可能である。
図25は、図1に示す構成からレンズ系100,絞り101,CCD102,増幅器103,A/D変換器104,測光評価部106,合焦点検出部107,AFモータ108,温度センサー121を省略し、入力部600,ヘッダ情報解析部601を追加した構成となっている。基本構成は図1と同様であり、同一の構成には同一の名称と符号を割り当てている。以下、異なる部分のみ説明する。
入力部600は、バッファ105およびヘッダ情報解析部601へ接続している。制御部119は、入力部600,ヘッダ情報解析部601と双方向に接続している。マウス,キーボードなどの外部I/F部120を介して再生操作を開始することで、メモリカードなどの記録媒体に保存された信号およびヘッダ情報が入力部600から読み込まれる。入力部600からの信号はバッファ105へ、ヘッダ情報はヘッダ情報解析部601へ転送される。ヘッダ情報解析部601は、ヘッダ情報から撮影時の情報を抽出して制御部119へ転送する。以後の処理は、図1と同様である。
さらに、上記実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD102からの信号を未処理のままのRawデータとして、制御部119からの撮影時の温度,ゲインなどをヘッダ情報として出力し、別途ソフトウェアによって処理する構成も可能である。
図26、図27に、信号処理のソフトウェア処理に関するフローチャートを示す。
処理を開始すると、まず、信号と温度,ゲインなどのヘッダ情報を読み込む(ステップS1)。
次に、図2に示されるような注目画素および3×3画素サイズの注目領域を抽出する(ステップS2)。
そして、別途説明するように、抽出した注目領域のノイズ量を推定し、それを注目画素に対するノイズ量として算出する(ステップS3)。
続いて、注目画素に数式7に示される許容範囲を設定する(ステップS4)。
次に、注目画素が許容範囲内に属するか否かを判断し、属する場合は次のステップS6へ、属さない場合はステップS7へ分岐する(ステップS5)。
ステップS5において注目画素が許容範囲内に属すると判断されると、数式8に示される処理を行う(ステップS6)。
一方、ステップS5において注目画素が許容範囲内に属さないと判断されると、数式9または数式10に示される処理を行う(ステップS7)。
上記ステップS6またはステップS7の処理が終わると、続いて全注目領域の抽出が完了したかを判断し、完了していない場合はステップS2へ、完了した場合はステップS9へ分岐する(ステップS8)。
上記ステップS8で全注目領域の抽出が完了したと判断されると、次に図10に示されるような注目画素および5×5画素サイズの処理領域を抽出する(ステップS9)。
続いて、図11に示される9画素に関して図12〜図19に示される方向別の抽出フィルタを用いてエッジ方向を検出する(ステップS10)。
さらに、ステップS10からのエッジ方向に基づきノイズ低減処理前の原信号からエッジ成分を抽出する(ステップS11)。
次にステップS10で検出したエッジ方向に基づき図23または図24に示される近傍画素のエッジ成分により数式13または数式14に示される補正処理によってエッジ成分を補正する(ステップS12)。
更に、ノイズ低減処理後の注目画素の信号に数式1に示されるエッジ強調処理を行う(ステップS13)。
そして、全処理領域の抽出が完了したかを判断し、完了していない場合はステップS9へ、完了した場合はステップS15へ分岐する(ステップS14)。
ステップS14で全処理領域の抽出が完了したと判断されると、続いて公知の圧縮処理などが行われる(ステップS15)。
その後、処理後の信号が出力され終了する(ステップS16)。
図27は、上記ステップS3におけるノイズ量の推定に関するフローチャートである。
まず、数式2に示される注目領域の平均値を算出する(ステップS20)。
次に、読み込まれたヘッダ情報から温度,ゲインなどの情報を設定する(ステップS21)。このとき、もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。
更に、基準ノイズモデルの座標データおよび補正係数を読み込む(ステップS22)。
続いて、数式5に示される補間処理によって基準ノイズ量を求める(ステップS23)。
次に、数式6に示される補正処理によってノイズ量を求める(ステップS24)。
最後に、算出されたノイズ量を出力して終了する(ステップS25)。
このように、ハードウェアによる実行を前提としていた上述したような処理も、上記第1の実施形態と同様に、コンピュータ等の処理装置においてソフトウェアにより処理することが可能となる。
図28から図37は本発明の第2の実施形態を示したものであり、図28は第2の実施形態の構成を示すブロック図、図29、図30は注目画素および注目領域に関する説明図であって、図29は注目画素およびその近傍領域を示す図、図30は注目画素および抽出された類似画素を示す図、図31は抽出部の構成を示すブロック図、図32はノイズ推定部の構成を示すブロック図、図33はエッジ方向検出部の構成を示すブロック図、図34、図35はエッジ方向検出部のエッジ抽出フィルタに関する説明図であって、図34は水平エッジ抽出フィルタを示す図、図35は垂直エッジ抽出フィルタを示す図、図36、図37は第2の実施形態における信号処理のフローチャートであって、図36は全体処理のフローチャート、図37はノイズ推定処理のフローチャートである。
図28は、第2の実施形態の構成を示すブロック図である。本実施形態は、図1に示す第1の実施形態における抽出部109,ノイズ推定部110,エッジ方向検出部113が、抽出部700,ノイズ推定部701,エッジ方向検出部702に置換され、バッファ703が追加された構成になっている。基本構成は第1の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
バッファ105は、測光評価部106,合焦点検出部107,抽出部700,エッジ抽出部114へ接続されている。抽出部700は、ノイズ推定部701およびノイズ低減部111へ接続されている。ノイズ推定部701は抽出部700,ノイズ低減部111,エッジ方向検出部702へ接続されている。エッジ方向検出部702は、バッファ703を介して、エッジ抽出部114およびエッジ補正部115へ接続されている。制御部119は、抽出部700,ノイズ推定部701,エッジ方向検出部702と双方向に接続されている。
本実施形態は、基本的に第1の実施形態と同様であり、異なる部分のみ説明する。
図28において、信号の流れを説明する。抽出部700は、制御部119の制御に基づき図29に示される注目画素P22を包含する5×5画素サイズの注目領域Pij(i=0〜4,j=0〜4)を順次抽出する。上記注目画素P22は、ノイズ推定部701およびノイズ低減部111へ転送される。
ノイズ推定部701は、制御部119の制御に基づきノイズ低減処理を行う注目画素P22に対する第1のノイズ量N122を推定し、これを抽出部700へ転送する。
抽出部700は、制御部119の制御に基づき、注目画素P22および上記第1のノイズ量N122に基づき注目画素P22と類似する画素を抽出するための許容範囲を算出する。算出された上記許容範囲に基づき、上記注目領域から類似する類似画素を抽出する。類似画素としては、例えば図30に示されるような類似画素Pkl(k=0〜4のいずれか,l=0〜4のいずれか)を想定する。抽出された類似画素Pklおよび注目画素P22は、ノイズ推定部701へ転送される。
ノイズ推定部701は、制御部119の制御に基づき、ノイズ低減処理を行う注目画素P22および上記類似画素Pklに対する第2のノイズ量N222を推定し、これをノイズ低減部111へ転送する。また、注目画素P22および上記類似画素Pklの情報をエッジ方向検出部702へ転送する。
ノイズ低減部111は、第1の実施形態と同様に注目画素P22に関して、ノイズ推定部701からのノイズ量N222に基づきノイズ低減処理を行い、ノイズ低減処理後の注目画素P'22をバッファ112へ転送する。
エッジ方向検出部702は、ノイズ推定部701からの注目画素P22および上記類似画素Pklの情報に基づき、注目画素P22に対するエッジ方向D22を検出する。上記エッジ方向D22は、バッファ703へ転送される。
上記抽出部700,ノイズ推定部701,ノイズ低減部111,エッジ方向検出部702における処理は、制御部119の制御に基づき注目領域単位で同期して行われる。
バッファ112にはノイズ低減処理後の全信号が、バッファ703にはエッジ方向が記録されることになる。
エッジ抽出部114は、第1の実施形態と同様にバッファ105から注目画素P22およびその周囲8画素(P11,P21,P31,P12,P32,P13,P23,P33)の9画素を含む図30に示される5×5画素サイズの処理領域を、バッファ703からエッジ方向(D22およびD11,D21,D31,D12,D32,D13,D23,D33)を読み込む。その後、上記9画素に対してエッジ方向に基づき図12〜図19に示されるエッジ抽出フィルタを選択し、フィルタ処理を行いエッジ成分(E22およびE11,E21,E31,E12,E32,E13,E23,E33)を抽出し、エッジ補正部115へ転送する。
エッジ補正部115は、第1の実施形態と同様に、注目画素P22のエッジ成分E22に関して、バッファ703からのエッジ方向D22およびエッジ抽出部114からの周囲8画素のエッジ成分(E11,E21,E31,E12,E32,E13,E23,E33)に基づきこれを補正したエッジ成分E'22を求め、エッジ強調部116へ転送する。
エッジ強調部116は、制御部119の制御に基づきバッファ112からノイズ低減処理後の注目画素P'22を順次抽出する。その後、エッジ補正部115からのエッジ成分E'22に基づき第1の実施形態と同様にエッジ強調処理後の画素値P"22を求め、信号処理部117へ転送する。
上記エッジ抽出部114,エッジ補正部115,エッジ強調部116における処理は、制御部119の制御に基づき処理領域単位で同期して行われる。
信号処理部117は、制御部119の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理などを行い、出力部118へ転送する。出力部118は、メモリーカードなどへ信号を記録保存する。
図31は抽出部700の構成の一例を示すものである。抽出部700は、許容範囲設定部800,近傍抽出部801,類似性調査部802,バッファ803を備えている。
ノイズ推定部701は、許容範囲設定部800へ接続している。バッファ105は、近傍抽出部801,類似性調査部802,バッファ803を介してノイズ推定部701へ接続している。近傍抽出部801は、ノイズ低減部111およびノイズ推定部701へ接続している。制御部119は、許容範囲設定部800,近傍抽出部801,類似性調査部802と双方向に接続されている。
近傍抽出部801は、制御部119の制御に基づき、バッファ105から注目画素P22を抽出し、ノイズ推定部701およびノイズ低減部111および許容範囲設定部800へ転送する。
許容範囲設定部800は、制御部119の制御に基づき、ノイズ推定部701から注目画素P22に対する第1のノイズ量N122が転送された後、類似画素を探索するための許容範囲として上限App_Upおよび下限App_Lowを数式15のように設定する。
[数15]
App_Up =P22+N122/2
App_Low=P22−N122/2
上記許容範囲は、類似性調査部802へ転送される。
近傍抽出部801は、制御部119の制御に基づき、バッファ105から図29に示される注目領域Pijを抽出し、画素単位で順次類似性調査部802へ転送する。
類似性調査部802は、許容範囲設定部800からの許容範囲として上限App_Upおよび下限App_Lowに基づき、近傍抽出部801からの画素を調査する。画素が数式15の許容範囲内にある場合、これを類似画素Pklとしての有効を意味するフラグ、例えば1を与える。一方、許容範囲外である場合は無効を意味するフラグ、例えば0を与える。上記フラグと画素値は組としてバッファ803へ保存される。図30は、抽出された類似画素の一例を示す。なお、注目画素は必ず類似画素の一つとして抽出されることになる。バッファ803上のフラグおよび画素値情報は、制御部119の制御に基づき、必要に応じてノイズ推定部701へ転送される。
図32はノイズ推定部701の構成の一例を示すものである。ノイズ推定部701は、第1の実施形態の図3に示されるノイズ推定部110にノイズLUT(ルックアップテーブル)900が追加され、パラメータ用ROM203,パラメータ選択部204,補間部205,補正部206が省略された構成になっている。基本構成は図3に示すノイズ推定部110と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
抽出部700は、平均算出部200およびエッジ方向検出部702へ接続している。平均算出部200,ゲイン算出部201,標準値付与部202は、ノイズLUT900へ接続している。ノイズLUT900は、ノイズ低減部111および抽出部700へ接続している。制御部119は、ノイズLUT900へ双方向に接続されている。
平均算出部200は、制御部119の制御に基づき抽出部700から注目画素P22、または注目画素P22と類似画素Pklとを読み込み、平均値を算出する。上記平均値はノイズLUT900へ転送される。
ゲイン算出部201は、制御部119から転送されるISO感度および露光条件に関する情報に基づき増幅器103におけるゲインを求め、ノイズLUT900へ転送する。
また、制御部119は温度センサー121からCCD102の温度情報を得て、これをノイズLUT900へ転送する。
ノイズLUT900は、平均算出部200からの平均値,ゲイン算出部201からのゲインの情報,制御部119からの温度情報に基づきノイズ量を推定する。ノイズLUT900は、温度,信号値レベル,ゲインとノイズ量間の関係を記録したルックアップテーブルで、第1の実施形態と同様の手法により構築される。ノイズLUT900で得られたノイズ量は抽出部700へ転送される。また、抽出部700で得られた類似画素を識別するためのフラグ情報および画素値はエッジ方向検出部702へ転送される。
なお、標準値付与部202は第1の実施形態と同様に、いずれかのパラメータが省略された場合に標準値を与える機能を受け持つ。
図33はエッジ方向検出部702の構成の一例を示すものである。エッジ方向検出部702は、水平フィルタ処理部1000,垂直フィルタ処理部1001,方向決定部1002を備えている。ノイズ推定部701は、水平フィルタ処理部1000および垂直フィルタ処理部1001へ接続している。水平フィルタ処理部1000および垂直フィルタ処理部1001は、方向決定部1002へ接続している。方向決定部1002は、バッファ703へ接続している。制御部119は、水平フィルタ処理部1000,垂直フィルタ処理部1001,方向決定部1002と双方向に接続している。
水平フィルタ処理部1000および垂直フィルタ処理部1001は、制御部119の制御に基づき、図30に示すように5×5画素サイズの注目画素P22および類似画素Pklに関するフラグおよび画素値情報を読み込む。その後、図34または図35に示す5×5画素サイズのフィルタ処理と絶対値化を行い、水平または垂直方向のエッジ成分を抽出する。なお、類似画素Pklに関しては、そのフラグが0である画素は画素値を0に置換してフィルタ処理を行う。上記エッジ成分は、方向決定部1002へ転送される。
方向決定部1002は、制御部119の制御に基づき水平フィルタ処理部1000からの水平エッジ成分E022および垂直フィルタ処理部1001からの垂直エッジ成分E9022に基づき、数式12に示されるようにエッジ方向D22を算出する。算出されたエッジ方向D22はバッファ703へ転送される。
上記構成により、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。
ノイズ低減処理の過程で得られた情報からエッジの方向を検出するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。
また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。この場合、エッジ成分の抽出時に用いたエッジ方向を再利用するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。
さらに、ノイズ低減処理では注目画素から概略的な第1のノイズ量を推定し、第1のノイズ量から類似画素を抽出し、注目画素および類似画素からより精度の高い第2のノイズ量を推定し、第2のノイズ量に基づきノイズ低減処理を行うために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。
ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。
なお、上記第2の実施形態では撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。第1の実施形態と同様に、撮像部と分離した構成も可能である。
さらに、上記第2の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD102からの信号を未処理のままのRawデータとして、制御部119からの撮影時の温度,ゲインなどをヘッダ情報として出力し、別途ソフトウェアによって処理する構成も可能である。
図36、図37は、信号処理のソフトウェア処理に関するフローチャートを示す。なお、図26、図27に示す本発明の第1の実施形態における信号処理のフローチャートと同一な処理ステップに関しては、同一なステップ符号を割り当てている。
処理を開始すると、まず信号と温度,ゲインなどのヘッダ情報を読み込む(ステップS1)。
次に図29に示されるような注目画素および5×5画素サイズの注目領域を抽出する(ステップS2)。
そして、別途説明するように抽出した注目領域のノイズ量を推定し、それを注目画素に対するノイズ量として算出する(ステップS3)。
更に、類似画素を探索するための数式15に示される許容範囲を設定する(ステップS30)。
その後、図30に示されるような類似画素を抽出する(ステップS31)。
そして、上述のステップS3と同じ処理によって、注目画素および抽出した類似画素を用いてノイズ量を推定し、それを注目画素に対するノイズ量として算出する(ステップS32)。
次に、注目画素に数式7に示される許容範囲を設定する(ステップS4)。
そして、注目画素が許容範囲内に属するか否かを判断し、属する場合は次のステップS6へ、属さない場合はステップS7へ分岐する(ステップS5)。
ステップS5において注目画素が許容範囲内に属すると判断されると、続けて数式8に示される処理を行う(ステップS6)。
一方、ステップS5において注目画素が許容範囲内に属さないと判断されると、数式9または数式10に示される処理を行う(ステップS7)。
その後、図30に示される注目画素および類似画素に関して図34,図35に示される水平,垂直用の抽出フィルタを用いてエッジ方向を検出する(ステップS10)。
そして、全注目領域の抽出が完了したかを判断し、完了していない場合はステップS2へ、完了した場合は次のステップS9へ分岐する(ステップS8)。
次に、図30に示されるような注目画素および類似画素を含む5×5画素サイズの処理領域を抽出する(ステップS9)。
更に、ステップS10からのエッジ方向情報に基づきノイズ低減処理前の原信号から注目領域のエッジ成分を抽出する(ステップS33)。
次に、ステップS10で検出したエッジ方向に基づき図23または図24に示される近傍画素のエッジ成分により数式13または数式14に示される補正処理によってエッジ成分を補正する(ステップS12)。
その後、ノイズ低減処理後の注目画素の信号に数式1に示されるエッジ強調処理を行う(ステップS13)。
そして、全処理領域の抽出が完了したかを判断し、完了していない場合はステップS9へ、完了した場合はステップS15へ分岐する(ステップS14)。
全処理領域の抽出が完了した場合は、公知の圧縮処理などが行われ(ステップS15)、処理後の信号が出力され終了する(ステップS16)。
図37は、上記ステップS3およびステップS32におけるノイズ量の推定に関するフローチャートである。
まず、注目領域または注目画素と類似画素の平均値を算出する(ステップS20)。
次に、読み込まれたヘッダ情報から温度,ゲインなどの情報を設定する(ステップS21)。その際、もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。
その後、ルックアップテーブルを用いてノイズ量を求め(ステップS40)、算出されたノイズ量を出力して終了する(ステップS25)。
この様に、CCD102からの信号を未処理のままのRawデータとし、制御部119からの撮影時の温度,ゲインなどをヘッダ情報として付加された映像信号であれば、別途ソフトウェアによって処理する構成も可能である。
図38から図47は本発明の第3の実施形態を示したものであり、図38は第3の実施形態の構成を示すブロック図、図39、図40はDCT(Discrete Cosine Transform)変換に関する説明図であって、図39は実空間を示す図、図40は周波数空間を示す図、図41はノイズ推定部の構成を示すブロック図、図42はノイズ低減部の構成を示すブロック図、図43はエッジ方向検出部の構成を示すブロック図、図44はエッジ方向検出部で用いる水平,垂直方向の周波数成分に関する説明図、図45、図46、図47は第3の実施形態における信号処理のフローチャートであって、図45は全体処理のフローチャート、図46はノイズ推定処理のフローチャート、図47はエッジ方向検出処理のフローチャートである。
図38は、本発明の第3の実施形態の構成を示すブロック図である。本実施形態は、図1に示す第1の実施形態におけるノイズ推定部110,ノイズ低減部111,エッジ方向検出部113がノイズ推定部1101,ノイズ低減部1102,エッジ方向検出部1104に置換され、DCT変換部1100,逆DCT変換部1103,バッファ1105が追加された構成になっている。基本構成は第1の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
抽出部109はDCT変換部1100へ、DCT変換部1100はノイズ推定部1101およびノイズ低減部1102へ接続されている。ノイズ低減部1102は、逆DCT変換部1103を介してバッファ112へ接続されている。ノイズ推定部1101は、ノイズ低減部1102およびエッジ方向検出部1104へ接続されている。エッジ方向検出部1104はバッファ1105へ、バッファ1105はエッジ抽出部114およびエッジ補正部115へ接続されている。制御部119は、DCT変換部1100,ノイズ推定部1101,ノイズ低減部1102,逆DCT変換部1103,エッジ方向検出部1104と双方向に接続されている。
本実施形態は、基本的に第1の実施形態と同様であり、異なる部分のみ説明する。
図38において、信号の流れを説明する。抽出部109は、制御部119の制御に基づき、図39に示されるような4×4画素サイズの注目領域(ブロック領域)を順次抽出し、DCT変換部1100へ転送する。
DCT変換部1100は、制御部119の制御に基づき上記注目領域に公知のDCT(Discrete Cosine Transform)変換を行い、図40に示されるような周波数成分へ変換する。DCT変換では、図40に示されるように、左上を原点すなわち0次成分として、1次以上の高周波成分は0次成分を原点とする同心円上に配置されることになる。本実例では、4×4画素サイズを想定するため次数として5次の高周波成分まで存在することになる。変換後の周波数成分は、ノイズ推定部1101およびノイズ低減部1102へ転送される。
ノイズ推定部1101は、制御部119の制御に基づき、周波数成分中の0次成分および撮影時の情報に基づき、0次成分以外の高周波数成分に対するノイズ量を次数成分ごとに算出する。算出されたノイズ量はノイズ低減部1102へ、周波数成分はエッジ方向検出部1104へ転送される。
ノイズ低減部1102は、制御部119の制御に基づき、ノイズ推定部1101からのノイズ量に基づき0次成分以外の高周波数成分に対してノイズ低減処理を行い、0次成分と共に逆DCT変換部1103へ転送する。
逆DCT変換部1103は、制御部119の制御に基づき、0次成分とノイズ低減処理後の0次成分以外の高周波数成分に対して逆DCT変換を行い、実空間の画素へ変換する。ノイズ低減がなされた上記画素は、バッファ112へ転送される。
一方、エッジ方向検出部1104は、制御部119の制御に基づき、ノイズ推定部1101からの周波数成分に基づき水平,垂直方向の周波数成分からエッジ方向を検出する。検出されたエッジ方向は、バッファ1105へ転送される。
上記DCT変換部1100,ノイズ推定部1101,ノイズ低減部1102,逆DCT変換部1103,エッジ方向検出部1104における処理は、制御部119の制御に基づき注目領域単位で同期して行われる。
バッファ112にはノイズ低減処理後の全信号が、バッファ1105には4×4画素単位でエッジ方向が記録されることになる。
エッジ抽出部114は、第1の実施形態と同様にバッファ105から注目画素P22およびその周囲8画素(P11,P21,P31,P12,P32,P13,P23,P33)の9画素を、バッファ1105から各画素が属する4×4画素単位を探索し、エッジ方向(D22およびD11,D21,D31,D12,D32,D13,D23,D33)を読み込む。その後、上記9画素に対してエッジ方向に基づき図12〜図19に示されるエッジ抽出フィルタを選択し、フィルタ処理を行いエッジ成分(E22およびE11,E21,E31,E12,E32,E13,E23,E33)を抽出し、エッジ補正部115へ転送する。
エッジ補正部115は、第1の実施形態と同様に、注目画素P22のエッジ成分E22に関して、バッファ1105からのエッジ方向D22およびエッジ抽出部114からの周囲8画素のエッジ成分(E11,E21,E31,E12,E32,E13,E23,E33)に基づきこれを補正したエッジ成分E'22を求め、エッジ強調部116へ転送する。
エッジ強調部116は、制御部119の制御に基づき、バッファ112からノイズ低減処理後の注目画素P'22を順次抽出する。その後、エッジ補正部115からのエッジ成分E'22に基づき第1の実施形態と同様にエッジ強調処理後の画素値P"22を求め、信号処理部117へ転送する。
上記エッジ抽出部114,エッジ補正部115,エッジ強調部116における処理は、制御部119の制御に基づき注目画素単位で同期して行われる。
信号処理部117は、制御部119の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理などを行い、出力部118へ転送する。出力部118は、メモリーカードなどへ信号を記録保存する。
図41はノイズ推定部1101の構成の一例を示すものである。ノイズ推定部1101は、第1の実施形態の図3に示されるノイズ推定部110に0次成分抽出部1200,ノイズLUT1201が追加され、平均算出部200,パラメータ用ROM203,パラメータ選択部204,補間部205,補正部206が省略された構成になっている。基本構成は図3に示すノイズ推定部110と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
DCT変換部1100は、0次成分抽出部1200およびエッジ方向検出部1104へ接続している。0次成分抽出部1200,ゲイン算出部201,標準値付与部202は、ノイズLUT1201へ接続している。ノイズLUT1201は、ノイズ低減部1102へ接続している。制御部119は、0次成分抽出部1200,ノイズLUT1201へ双方向に接続されている。
0次成分抽出部1200は、制御部119の制御に基づきDCT変換部1100から4×4画素サイズの注目領域(ブロック領域)に対する周波数成分を読み込み、その0次成分を抽出する。上記0次成分はノイズLUT1201へ転送される。
ゲイン算出部201は、制御部119から転送されるISO感度および露光条件に関する情報に基づき増幅器103におけるゲインを求め、ノイズLUT1201へ転送する。
また、制御部119は温度センサー121からCCD102の温度情報を得て、これをノイズLUT1201へ転送する。
ノイズLUT1201は、0次成分抽出部1200からの0次成分,ゲイン算出部201からのゲインの情報,制御部119からの温度情報に基づき0次成分以外の高周波数成分に対するノイズ量を推定する。
ノイズLUT1201は、温度,信号値レベル,ゲインと0次成分以外の高周波数成分に対するノイズ量間の関係を記録したルックアップテーブルで、第1の実施形態の手法を周波数空間に適用することにより構築される。ノイズLUT1201で得られた0次成分以外の高周波数成分に対するノイズ量はノイズ低減部1102へ転送される。
なお、標準値付与部202は第1の実施形態と同様に、いずれかのパラメータが省略された場合に標準値を与える機能を受け持つ。
図42はノイズ低減部1102の構成の一例を示すものである。ノイズ低減部1102は、第1の実施形態の図7に示されるノイズ低減部111に周波数分離部1300,平均算出部1301が追加された構成になっている。基本構成は図7に示されるノイズ低減部111と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
ノイズ推定部1101は範囲設定部300へ接続している。DCT変換部1100は周波数分離部1300へ、周波数分離部1300は平均算出部1301および逆DCT変換部1103へ接続している。平均算出部1301は、範囲設定部300および切り換え部301へ接続している。第1スムージング部302および第2スムージング部303は、逆DCT変換部1103へ接続している。制御部119は、周波数分離部1300,平均算出部1301と双方向に接続している。
周波数分離部1300は、制御部119の制御に基づきDCT変換部1100から図40に示されるような周波数成分を読み込み、これを各周波数成分ごとに分離する。分離された0次成分F0は逆DCT変換部1103へ、0次成分以外の高周波数成分FLe(Lは1〜5の次数を、eは各次数に含まれる要素を意味する)は平均算出部1301へ転送される。
平均算出部1301は、制御部119の制御に基づき次数ごとの高周波数成分の平均値AV_FLを算出し、これを範囲設定部300へ転送する。また、高周波数成分FLeは切り換え部301へ転送される。
範囲設定部300は、制御部119の制御に基づきノイズ推定部1101から次数ごとのノイズ量N_FLを読み込み、許容範囲として上限F_UpLおよび下限F_LowLを次数ごとに設定する。
[数16]
F_UpL =AV_FL+N_FL/2
F_LowL=AV_FL−N_FL/2
上記許容範囲は、切り換え部301へ転送される。また、範囲設定部300は平均値AV_FLおよびノイズ量N_FLを第1スムージング部302および第2スムージング部303へ転送する。
切り換え部301は、制御部119の制御に基づき平均算出部1301からの高周波数成分FLeを読み込み、上記許容範囲に属するか否かの判断を行う。判断は、「ノイズ範囲に属している」,「ノイズ範囲を上回っている」,「ノイズ範囲を下回っている」の三通りである。切り換え部301は、「ノイズ範囲に属している」場合は第1スムージング部302へ、それ以外は第2スムージング部303へ高周波数成分FLを転送する。
第1スムージング部302は、切り換え部301からの高周波数成分FLeに範囲設定部300からの平均値AV_FLを代入する処理を行う。
[数17]
F'Le=AV_FL
数式17でのノイズ低減処理がなされた高周波数成分F'Leは逆DCT変換部1103へ転送される。
第2スムージング部303は、切り換え部301からの高周波数成分FLeに範囲設定部300からの平均値AV_FLおよびノイズ量N_FLを用いて補正する処理を行う。
まず、「ノイズ範囲を上回っている」場合は下記の数式18のように補正する。
[数18]
F'Le=AV_FL−N_FL/2
また、「ノイズ範囲を下回っている」場合は下記の数式19のように補正する。
[数19]
F'Le=AV_FL+N_FL/2
数式18または数式19のノイズ低減処理がなされた高周波数成分F'Leは逆DCT変換部1103へ転送される。
図43はエッジ方向検出部1104の構成の一例を示すものである。エッジ方向検出部1104は、水平高周波積算部1400,垂直高周波積算部1401,方向決定部1402を備えている。ノイズ推定部1101は、水平高周波積算部1400および垂直高周波積算部1401へ接続している。水平高周波積算部1400および垂直高周波積算部1401は、方向決定部1402へ接続している。方向決定部1402は、バッファ1105へ接続している。制御部119は、水平高周波積算部1400,垂直高周波積算部1401,方向決定部1402と双方向に接続している。
水平高周波積算部1400および垂直高周波積算部1401は、制御部119の制御に基づき、図44に示すように周波数成分から水平方向または垂直方向の0次成分を除く高周波成分を読み込む。上記高周波成分は絶対値化された後に積算され、水平または垂直のエッジ成分として、方向決定部1402へ転送される。
方向決定部1402は、制御部119の制御に基づき注目画素P22を含む4×4画素サイズの注目領域単位(ブロック領域単位)で、水平高周波積算部1400からの水平エッジ成分E022および垂直高周波積算部1401からの垂直エッジ成分E9022に基づき数式12に示されるようにエッジ方向D22を算出する。算出されたエッジ方向はバッファ1105へ転送される。
上記構成により、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。ノイズ低減処理の過程で得られた周波数情報からエッジの方向を検出するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。
また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。この場合、エッジ成分の抽出時に用いたエッジ方向を再利用するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。
さらに、ノイズ低減処理では注目領域を周波数空間へ変換し、0次成分からノイズ量を推定しノイズ低減処理を行うために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。
ここで、上記の第3の実施形態の信号処理をソフトウェアで処理する場合のフローチャートを説明する。なお、本フローチャートは、図26、図27に示した第1の実施形態のソフトウェア処理に関するフローチャートにおいて、ステップS2からステップS8までの流れにおける具体的処理内容が異なり、他はほぼ同様の処理であるために、異なる部分についてのみ説明する。
図45〜図47に、信号処理のソフトウェア処理に関するフローチャートを示す。
処理を開始すると、まず、信号と温度,ゲインなどのヘッダ情報を読み込み(ステップS1)、その後、図39に示されるような4×4画素サイズの注目領域を順次抽出する(ステップS51)。
次に上記順次抽出した注目領域にDCT変換を行い、図40に示されるような周波数成分へ変換し(ステップS52)、0次成分とそれ以外の次数の高周波成分に分離する(ステップS53)。
その後、別途説明するように、0次成分以外の高周波数成分に対するノイズ量を次数成分ごとに算出する(ステップS54)。
また、上記ステップS53で分離した次数ごとの高周波数成分の平均値を算出する(ステップS55)。
続いて、注目領域に数式16に示される許容範囲を設定する(ステップS56)。
次に、注目画素が許容範囲内に属するか否かを判断し、属する場合は次のステップS58へ、属さない場合はステップS59へ分岐する(ステップS57)。
ステップS57において注目画素が許容範囲内に属すると判断されると、数式17に示される処理を行う(ステップS58)。
一方、ステップS57において注目画素が許容範囲内に属さないと判断されると、数式18または数式19に示される処理を行う(ステップS59)。
次に、0次成分とノイズ低減処理後の0次成分以外の高周波数成分に対して逆DCT変換を行い、実空間の画素へ変換する(ステップS60)。
上記ステップS60の処理が終わると、続いて全注目領域の抽出が完了したかを判断し、完了していない場合はステップS52へ、完了した場合はステップS9へ分岐する(ステップS8)。
上記ステップS8で全注目領域の抽出が完了したと判断されると、次に図10に示されるような注目画素および5×5画素サイズの処理領域を抽出する(ステップS9)。
続いて、別途説明するように、図44に示される水平,垂直方向の周波数成分からエッジ方向を検出する(ステップS61)。
さらに、ステップS61からのエッジ方向に基づきノイズ低減処理前の原信号からエッジ成分を抽出する(ステップS11)。
次にステップS10で検出したエッジ方向に基づき図23または図24に示される近傍画素のエッジ成分により数式13または数式14に示される補正処理によってエッジ成分を補正する(ステップS12)。
更に、ノイズ低減処理後の注目画素の信号に数式1に示されるエッジ強調処理を行う(ステップS13)。
そして、全処理領域の抽出が完了したかを判断し、完了していない場合はステップS9へ、完了した場合はステップS15へ分岐する(ステップS14)。
ステップS14で全処理領域の抽出が完了したと判断されると、続いて公知の圧縮処理などが行われる(ステップS15)。
その後、処理後の信号が出力され終了する(ステップS16)。
図46は、上記ステップS54におけるノイズ量の推定に関するフローチャートである。
まず、上記ステップS53で分離した4×4画素サイズの注目領域に対する周波数成分の0次成分を抽出する(ステップS71)。
一方、ヘッダー情報に基づきゲイン,温度などの情報を設定する(ステップS72)。このとき、もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。
次にルックアップテーブルを用いてノイズ量を求め(ステップS73)、算出されたノイズ量を出力して終了する(ステップS74)。
図47は、上述したステップS61のエッジ方向検出処理に関するフローチャートである。
図44に示されるように0次成分を除く水平方向の高周波成分を絶対値化した後に積算して水平エッジ成分を求める(ステップS81)。また、図44に示されるように0次成分を除く垂直方向の高周波成分を絶対値化した後に積算して垂直エッジ成分を求める(ステップS82)。
次に、4×4画素サイズの注目領域単位で、上記ステップS81で求めた水平エッジ成分および上記ステップS82で求めた垂直エッジ成分に基づき、上記数式12に示されるようにエッジ方向を検出し(ステップS83)、検出された方向を出力して終了する(ステップS84)。
なお、上記第3の実施形態においては周波数成分への変換をDCT変換により行い、変換の処理サイズを4×4画素とする構成になっていたが、このような構成に限定される必要はない。例えば、周波数成分への変換としてはFFT(Fast Fourier Transform)やWavelet変換などを使用することもできる。また、処理サイズとしては2×2画素など、より小さくすることで方向検出の精度を向上することもできるし、8×8画素など、より大きくすることで全体の処理を高速化することも可能である。
また、上記第3の実施形態では撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。第1の実施形態と同様に、撮像部と分離した構成も可能である。
図48から図51は本発明の第4の実施形態を示したものであり、図48は第4の実施形態の構成を示すブロック図、図49、図50はカラーフィルタに関する説明図であって、図49はBayer型原色フィルタを示す図、図50は色差線順次型補色フィルタを示す図、図51は第4の実施形態における信号処理のフローチャートである。
図48は、第4の実施形態の構成を示すブロック図である。本実施形態は、図1に示す第1の実施形態におけるCCD102がカラーCCD1500に置換され、PreWB部1501,補間部1502,Y/C分離部1503,バッファ1504,Y/C合成部1505が追加された構成になっている。基本構成は第1の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
カラーCCD1500は、増幅器103へ接続されている。また、カラーCCD1500の近傍には温度センサー121が配置されている。バッファ105は、PreWB部1501,測光評価部106,合焦点検出部107,補間部1502へ接続されている。補間部1502は、Y/C分離部1503,バッファ1504を介して抽出部109およびエッジ抽出部114へ接続されている。エッジ強調部116はY/C合成部1505へ、Y/C合成部1505は信号処理部117へ接続されている。制御部119は、PreWB部1501,補間部1502,Y/C分離部1503,Y/C合成部1505と双方向に接続されている。
本実施形態は、基本的に第1の実施形態と同様であり、異なる部分のみ説明する。
図48において、信号の流れを説明する。外部I/F部120を介してシャッターボタンを半押しにすることでプリ撮像モードに入る。
レンズ系100,絞り101,カラーCCD1500を介して撮影された信号は、増幅器103,A/D変換器104を介してバッファ105へ転送される。なお、本実施形態においてカラーCCD1500はBayer型原色フィルタを前面に配置した単板CCDを想定する。図49は、Bayer型の色フィルタの構成を示す。Bayer型は2×2画素を基本単位とし、赤(R),青(B)フィルタが1画素ずつ、緑(G)フィルタが2画素配置される。
バッファ105内の信号は、PerWB部1501へ転送される。
PreWB部1501は所定輝度レベルの信号を色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。PreWB部1501は、上記係数を増幅器103へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。
次に、外部I/F部120を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ105へ転送される。なお、PreWB部1501によって求められたホワイトバランス係数は制御部119へ転送される。バッファ105内の信号は補間部1502へ転送される。
補間部1502は、公知の線形補間などの手法を用いて、単板状態から三板状態の信号を生成する。三板状態の信号はY/C分離部1503へ転送され輝度信号Yおよび色差信号Cb,Crに分離される。
[数20]
Y = 0.29900R+0.58700G+0.11400B
Cb=−0.16874R−0.33126G+0.50000B
Cr= 0.50000R−0.41869G−0.08131B
輝度信号Yおよび色差信号Cb,Crはバッファ1504へ転送され保存される。
第1の実施形態と同様に抽出部109,ノイズ推定部110,ノイズ低減部111により輝度信号Yはノイズ低減処理がなされて輝度信号Y'となる。
なお、図3に示すノイズ推定部110中のゲイン算出部201は、制御部119から転送されるISO感度および露光条件に関する情報およびPreWB部1501によって求められたホワイトバランス係数に基づき増幅器103におけるゲインを求める。輝度信号Y'と色差信号Cb,Crはバッファ112へ転送され保存される。
第1の実施形態と同様にエッジ方向検出部113は、制御部119の制御に基づきバッファ112からノイズ低減処理後の輝度信号Y'を読み込み、注目画素P'22およびこれを包含する5×5画素サイズの処理領域を順次抽出する。その後、注目画素P'22およびその周囲8画素のエッジ方向を検出する。エッジ方向は、「最大値を与える方向」または「等方的なエッジ方向」または「エッジ方向がない」の三通りで、第1の実施形態と同様に後段の処理が選択される。
エッジ抽出部114は、制御部119の制御に基づき上記エッジ方向検出部113で用いた処理領域と同一位置のノイズ低減処理前の輝度信号Yをバッファ1504から順次抽出する。その後、エッジ方向検出部113からのエッジ方向に基づき、注目画素P'22およびその周囲8画素のエッジ成分を抽出し、エッジ補正部115へ転送する。
エッジ補正部115は、制御部119の制御に基づき、注目画素P'22のエッジ成分E22に関して、エッジ方向検出部113からのエッジ方向D22およびエッジ抽出部114からの周囲8画素のエッジ成分に基づきこれを補正したエッジ成分E'22を求め、エッジ強調部116へ転送する。
エッジ強調部116は、制御部119の制御に基づきバッファ112からノイズ低減処理後の輝度信号Y'を読み込み、注目画素P'22を順次抽出する。その後、エッジ強調部116は、エッジ補正部115からのエッジ成分E'22に基づき、エッジ強調処理後の画素値P"22を求め、エッジ強調処理後の輝度信号Y"としてY/C合成部1505へ転送する。また、エッジ強調部116はバッファ112から色差信号Cb,Crを読み込み、これをY/C合成部1505へ転送する。
Y/C合成部1505は、制御部119の制御に基づきエッジ強調部116からのエッジ強調処理後の輝度信号Y"と色差信号Cb,Crから、数式21に示すようにR,G,B信号を合成する。
[数21]
R=Y" +1.40200Cr
G=Y"−0.34414Cb−0.71414Cr
B=Y"+1.77200Cb
R,G,B信号は信号処理部112へ転送される。
信号処理部117は、制御部119の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理や色強調処理などを行い、出力部118へ転送する。出力部118は、メモリーカードなどへ信号を記録保存する。
上記構成により、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理後の輝度信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。
また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。
さらに、ノイズ低減処理はノイズ推定およびノイズ低減により行われるが、ノイズ推定においては広い領域から推定を行うことで推定精度を高めるようにし、ノイズ低減においては注目画素のみを対象とするようにしたために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。
ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。
さらに、エッジ方向の検出は、複数方向または水平および垂直方向のエッジ強度を求めた後に、ノイズ量に基づく閾値との比較または微小なエッジ強度の除去を行うようにしたために、ノイズによる影響を抑制し精度の高いエッジ方向が得られる。また、エッジ方向が決定できなかった場合に後段のエッジ抽出処理を停止させるために、無駄な処理を省略でき処理速度を高速化することができる。さらに、エッジ方向が複数検出された場合に等方的なエッジ抽出処理を行うために、安定した処理結果が得られる。
また、カラー撮像素子からの信号に対応することができ、補間処理を行った後に輝度信号と色信号に分離するために、現状の撮影部および信号処理系との親和性が高く、多くの撮像システムへの適用が可能となる。
なお、上記実施形態ではカラーCCD1500はBayer型原色フィルタを前面に配置した単板CCDを想定したが、このような構成に限定される必要はない。例えば、色差線順次型補色フィルタや二板,三板CCDにも適用可能である。図50は、色差線順次型補色フィルタの構成を示す。色差線順次型は2×2画素を基本単位とし、シアン(Cy),マゼンタ(Mg),イエロー(Ye),緑(G)が1画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。この場合、2×2画素領域を1行または1列ずつ重複させながら順次抽出し、下記の数式22に示す輝度信号Yおよび色差信号Cb,Crを領域単位に算出する構成も可能である。
[数22]
Y =Cy+Ye+Mg+G
Cb=(Cy+Mg)−(Ye+G)
Cr=(Ye+Mg)−(Cy+G)
また、上記第4の実施形態では輝度信号のみにノイズ低減処理を行っていたが、このような構成に限定される必要はない。色差信号に対してもノイズ低減処理を行う構成も可能である。
さらに、上記第4の実施形態では撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。第1の実施形態と同様に、撮像部と別体となる構成も可能である。
また、上記第4の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、カラーCCD1500からの信号を未処理のままのRawデータとして、制御部119からの撮影時の温度,ゲイン,ホワイトバランス係数などをヘッダ情報として出力し、別途ソフトウェアによって処理する構成も可能である。
図51は、信号処理のソフトウェア処理に関するフローチャートを示す。なお、図26に示す第1の実施形態における信号処理の流れと同一な処理ステップに関しては、同一なステップ符号を割り当てている。
まず、信号と温度,ゲイン,ホワイトバランス係数などのヘッダ情報を読み込む(ステップS1)。
次に、単板状態の信号を線形補間などで三板状態にする(ステップS90)。
更に、数式20に示されるように、信号を輝度信号Yおよび色差信号Cb,Crに分離する(ステップS91)。
その後、図2に示されるように輝度信号から注目画素および3×3画素サイズの注目領域を抽出する(ステップS2)。
次に、図27に示されるフローチャートに基づき抽出した注目領域のノイズ量を推定し、それを注目画素に対するノイズ量として算出する(ステップS3)。
そして、注目画素に対して数式7に示される許容範囲を設定する(ステップS4)。
その後、注目画素が許容範囲内に属するか否かを判断し、属する場合はステップS6へ、属さない場合はステップS7へ分岐する(ステップS5)。
ステップS5において注目画素が許容範囲内に属すると判断されると、数式8に示される処理を行う(ステップS6)。
一方、ステップS5において注目画素が許容範囲内に属さないと判断されると、数式9または数式10に示される処理を行う(ステップS7)。
次に、全注目領域の抽出が完了したかを判断し、完了していない場合はステップS2へ、完了した場合はステップS9へ分岐する(ステップS8)。
全注目領域の抽出が完了した場合は、図10に示されるようにノイズ低減後の輝度信号から注目画素を中心とした5×5画素サイズの処理領域を抽出する(ステップS9)。
ステップS9で抽出した処理領域の画素のうち、図11に示される9画素に対して図12〜図19に示される方向別の抽出フィルタを用いてエッジ方向を検出する(ステップS10)。
その後、ステップS10で検出したエッジ方向に基づきノイズ低減処理前の輝度信号からエッジ成分を抽出する(ステップS11)。
更に、ステップS10からのエッジ方向に基づき図23または図24に示される近傍画素のエッジ成分により数式13または数式14に示される補正処理によってエッジ成分を補正する(ステップS12)。
次に、ノイズ低減処理後の注目画素の信号に数式1に示されるエッジ強調処理を行う(ステップS13)。
その後、全処理領域の抽出が完了したかを判断し、完了していない場合はステップS9へ、完了した場合はステップS92へ分岐する(ステップS14)。
ステップS14で全処理領域の抽出が完了したと判断されると、数式21に示されるようにR,G,B信号を合成する(ステップS92)。
次に合成された信号に対して、公知の圧縮処理や色強調処理などが行われる(ステップS15)。
そして、処理後の信号が出力され終了する(ステップS16)。
図52から図72は本発明の第5の実施形態を示したものであり、図52は第5の実施形態の構成を示すブロック図、図53〜図56はY/C分離に関する説明図であって、図53はBayer型原色フィルタを示す図、図54は輝度信号を示す図、図55はR(赤)の色差信号を示す図、図56はB(青)の色差信号を示す図、図57はエッジ方向抽出部の0°のエッジ抽出フィルタに関する説明図であって、注目画素がRまたはBのときを示す図、図58はエッジ方向抽出部の0°のエッジ抽出フィルタに関する説明図であって、注目画素がGのときを示す図、図59はエッジ方向抽出部の45°のエッジ抽出フィルタに関する説明図であって、注目画素がRまたはBのときを示す図、図60はエッジ方向抽出部の45°のエッジ抽出フィルタに関する説明図であって、注目画素がGのときを示す図、図61はエッジ方向抽出部の90°のエッジ抽出フィルタに関する説明図であって、注目画素がRまたはBのときを示す図、図62はエッジ方向抽出部の90°のエッジ抽出フィルタに関する説明図であって、注目画素がGのときを示す図、図63はエッジ方向抽出部の135°のエッジ抽出フィルタに関する説明図であって、注目画素がRまたはBのときを示す図、図64はエッジ方向抽出部の135°のエッジ抽出フィルタに関する説明図であって、注目画素がGのときを示す図、図65はエッジ方向抽出部の180°のエッジ抽出フィルタに関する説明図であって、注目画素がRまたはBのときを示す図、図66はエッジ方向抽出部の180°のエッジ抽出フィルタに関する説明図であって、注目画素がGのときを示す図、図67はエッジ方向抽出部の225°のエッジ抽出フィルタに関する説明図であって、注目画素がRまたはBのときを示す図、図68はエッジ方向抽出部の225°のエッジ抽出フィルタに関する説明図であって、注目画素がGのときを示す図、図69はエッジ方向抽出部の270°のエッジ抽出フィルタに関する説明図であって、注目画素がRまたはBのときを示す図、図70はエッジ方向抽出部の270°のエッジ抽出フィルタに関する説明図であって、注目画素がGのときを示す図、図71はエッジ方向抽出部の315°のエッジ抽出フィルタに関する説明図であって、注目画素がRまたはBのときを示す図、図72はエッジ方向抽出部の315°のエッジ抽出フィルタに関する説明図であって、注目画素がGのときを示す図である。
図52は、本発明の第5の実施形態の構成を示すブロック図である。本実施形態は、図1に示す第1の実施形態におけるCCD102がカラーCCD1600に置換され、PreWB部1601,Y/C分離部1602,バッファ1603,補間部1604,Y/C合成部1605が追加された構成になっている。基本構成は第1の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
カラーCCD1600は、増幅器103へ接続されている。また、カラーCCD1600の近傍には温度センサー121が配置されている。バッファ105は、PreWB部1601,測光評価部106,合焦点検出部107,Y/C分離部1602へ接続されている。Y/C分離部1602は、バッファ1603を介して抽出部109およびエッジ抽出部114へ接続されている。バッファ112は、補間部1604を介してエッジ方向検出部113およびエッジ強調部116へ接続されている。エッジ強調部116はY/C合成部1605へ、Y/C合成部1605は信号処理部117へ接続されている。制御部119は、PreWB部1601,Y/C分離部1602,補間部1604,Y/C合成部1605と双方向に接続されている。
本実施形態は、基本的に第1の実施形態と同様であり、異なる部分のみ説明する。
図52において、信号の流れを説明する。まず外部I/F部120を介してシャッターボタンを半押しにすることでプリ撮像モードに入る。
レンズ系100,絞り101,カラーCCD1600を介して撮影された信号は、増幅器103,A/D変換器104を介してバッファ105へ転送される。なお、本実施形態においてカラーCCD1600は図53に示すBayer型原色フィルタを前面に配置した単板CCDを想定する。
PreWB部1601では所定輝度レベルの信号を色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。上記係数を増幅器103へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。
次に、外部I/F部120を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ105へ転送される。
なお、PreWB部1601によって求められたホワイトバランス係数は制御部119へ転送される。バッファ105内の信号はY/C分離部1602へ転送される。
Y/C分離部1602は、図54、図55、図56に示すように、輝度信号YとしてG信号を、色差信号CbとしてB信号を、色差信号CrとしてR信号を想定する。
[数23]
Y =G
Cb=B
Cr=R
上記輝度信号および色差信号は補間処理前の単板状態にあり、バッファ1603へ転送される。
その後、第1の実施形態と同様に抽出部109,ノイズ推定部110,ノイズ低減部111により輝度信号Yはノイズ低減処理がなされて輝度信号Y'となる。
なお、図3に示すノイズ推定部110中のゲイン算出部201は、制御部119から転送されるISO感度および露光条件に関する情報およびPreWB部1601によって求められたホワイトバランス係数に基づき増幅器103におけるゲインを求める。また、3×3画素サイズの注目領域中に輝度信号Y、すなわちG信号は5画素または4画素しか存在しないために、平均値の算出は上記5画素または4画素を用いて行われる。
ノイズ低減後の輝度信号Y'と色差信号Cb,Crはバッファ112へ転送され保存される。
補間部1604は、バッファ112から輝度信号Y'と色差信号Cb,Crを読み込み、公知の線形補間などの手法を用いて単板状態から三板状態の信号を生成する。
三板状態の信号はエッジ方向検出部113およびエッジ強調部116へ転送される。
第1の実施形態と同様にエッジ方向検出部113は、制御部119の制御に基づき補間部1604からノイズ低減処理後の輝度信号Y'を読み込み、注目画素P'22およびこれを包含する5×5画素サイズの処理領域を順次抽出する。その後、注目画素P'22およびその周囲8画素のエッジ方向を検出する。エッジ方向は、「最大値を与える方向」または「等方的なエッジ方向」または「エッジ方向がない」の三通りで、第1の実施形態と同様に後段の処理が選択される。
エッジ抽出部114は、制御部119の制御に基づき上記エッジ方向検出部113で用いた処理領域と同一位置のノイズ低減処理前の単板状態の輝度信号Yをバッファ1603から順次抽出する。その後、エッジ方向検出部113からのエッジ方向に基づき、注目画素P'22およびその周囲8画素のエッジ成分を抽出し、エッジ補正部115へ転送する。なお、エッジ抽出フィルタは図57〜図72に示されるように、単板状態の輝度信号Yに適用できる形態を使用する。
エッジ補正部115は、制御部119の制御に基づき、注目画素P'22のエッジ成分E22に関して、エッジ方向検出部113からのエッジ方向D22およびエッジ抽出部114からの周囲8画素のエッジ成分に基づきこれを補正したエッジ成分E'22を求め、エッジ強調部116へ転送する。
エッジ強調部116は、制御部119の制御に基づき補間部1604からノイズ低減処理後の輝度信号Y'を読み込み、注目画素P'22を順次抽出する。その後、エッジ補正部115からのエッジ成分E'22に基づき、エッジ強調処理後の画素値P"22を求め、エッジ強調処理後の輝度信号Y"としてY/C合成部1605へ転送する。また、エッジ強調部116は補間部1604から色差信号Cb,Crを読み込み、これをY/C合成部1605へ転送する。
Y/C合成部1605は、制御部119の制御に基づきエッジ強調部116からのエッジ強調処理後の輝度信号Y"と色差信号Cb,CrからR,G,B信号を求める。
[数24]
R=Cr
G=Y"
B=Cb
R,G,B信号は信号処理部117へ転送される。
信号処理部117は、制御部119の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理や色強調処理などを行い、出力部118へ転送する。
出力部118は、メモリーカードなどへ信号を記録保存する。
上記構成により、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理後の輝度信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。この場合に、エッジ成分の抽出を補間前の信号から行うために、より高精細なエッジ成分の抽出が可能となる。
また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。
さらに、ノイズ低減処理はノイズ推定およびノイズ低減により行われるが、ノイズ推定においては広い領域から推定を行うことで推定精度を高めるようにし、ノイズ低減においては注目画素のみを対象とするようにしたために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。
ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。
さらに、エッジ方向の検出は、複数方向または水平および垂直方向のエッジ強度を求めた後に、ノイズ量に基づく閾値との比較または微小なエッジ強度の除去を行うようにしたために、ノイズによる影響を抑制し精度の高いエッジ方向が得られる。また、エッジ方向が決定できなかった場合に後段のエッジ抽出処理を停止させるために、無駄な処理を省略でき処理速度を高速化することができる。さらに、エッジ方向が複数検出された場合に等方的なエッジ抽出処理を行うために、安定した処理結果が得られる。
また、カラー撮像素子からの信号に対応することができ、現状の撮影部との親和性が高く、多くの撮像システムへの適用が可能となる。
なお、上記実施形態では撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。第1の実施形態と同様に、撮像部と分離した構成も可能である。
さらに、上記第5の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。第1の実施形態と同様に、ソフトウェアによって処理する構成も可能である。
図73は本発明の第6の実施形態を示したものであり、第6の実施形態の構成を示したブロック図である。本実施形態は、図28に示す第2の実施形態におけるCCD102がカラーCCD1700に置換され、PreWB部1701,補間部1702,Y/C分離部1703,バッファ1704,Y/C合成部1705が追加された構成になっている。基本構成は第2の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
カラーCCD1700は、増幅器103へ接続されている。また、カラーCCD1700の近傍には温度センサー121が配置されている。バッファ105は、PreWB部1701,測光評価部106,合焦点検出部107,補間部1702へ接続されている。補間部1702は、Y/C分離部1703,バッファ1704を介して抽出部700およびエッジ抽出部114へ接続されている。エッジ強調部116はY/C合成部1705へ、Y/C合成部1705は信号処理部117へ接続されている。制御部119は、PreWB部1701,補間部1702,Y/C分離部1703,Y/C合成部1705と双方向に接続されている。
本実施形態は、基本的に第2の実施形態と同様であり、異なる部分のみ説明する。
図73において、信号の流れを説明する。外部I/F部120を介してシャッターボタンを半押しにすることでプリ撮像モードに入る。
レンズ系100,絞り101,カラーCCD1700を介して撮影された信号は、増幅器103,A/D変換器104を介してバッファ105へ転送される。なお、本実施形態においてカラーCCD1700はBayer型原色フィルタを前面に配置した単板CCDを想定する。
バッファ105内の信号は、PreWB部1701へ転送される。
PreWB部1701では所定輝度レベルの信号を色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。そして上記係数を増幅器103へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。
次に、外部I/F部120を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ105へ転送される。
なお、PreWB部1701によって求められたホワイトバランス係数は制御部119へ転送される。バッファ105内の信号は補間部1702へ転送される。
補間部1702は、公知の線形補間などの手法を用いて、単板状態から三板状態の信号を生成する。三板状態の信号はY/C分離部1703へ転送され、数式20に示されるように輝度信号Yおよび色差信号Cb,Crに分離される。輝度信号Yおよび色差信号Cb,Crはバッファ1704へ転送され保存される。
第2の実施形態と同様に抽出部700,ノイズ推定部701,ノイズ低減部111により輝度信号Yはノイズ低減処理がなされて輝度信号Y'となる。輝度信号Y'と色差信号Cb,Crはバッファ112へ転送され保存される。
エッジ方向検出部702は、ノイズ推定部701からの注目画素および類似画素の情報に基づき、注目画素P'22に対するエッジ方向D22を検出する。上記エッジ方向は、バッファ703へ転送される。バッファ112にはノイズ低減処理後の全信号が、バッファ703にはエッジ方向が記録されることになる。
エッジ抽出部114は、バッファ1704からノイズ低減処理前の輝度信号Yを読み込み、注目画素P22およびその周囲8画素を抽出する。その後、バッファ703からのエッジ方向に基づき、注目画素P'22およびその周囲8画素のエッジ成分を抽出し、エッジ補正部115へ転送する。
エッジ補正部115は、制御部119の制御に基づき、注目画素P'22のエッジ成分E22に関して、バッファ703からのエッジ方向D22およびエッジ抽出部114からの周囲8画素のエッジ成分に基づきこれを補正したエッジ成分E'22を求め、エッジ強調部116へ転送する。
エッジ強調部116は、制御部119の制御に基づきバッファ112からノイズ低減処理後の輝度信号Y'を読み込み、注目画素P'22を順次抽出する。その後、エッジ補正部115からのエッジ成分E'22に基づき、エッジ強調処理後の画素値P"22を求め、エッジ強調処理後の輝度信号Y"としてY/C合成部1705へ転送する。また、エッジ強調部116はバッファ112から色差信号Cb,Crを読み込み、これをY/C合成部1705へ転送する。
Y/C合成部1705は、制御部119の制御に基づきエッジ強調部116からのエッジ強調処理後の輝度信号Y"と色差信号Cb,Crから数式21に示されるようにR,G,B信号を合成する。R,G,B信号は信号処理部117へ転送される。
信号処理部117は、制御部119の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理や色強調処理などを行い、出力部118へ転送する。出力部118は、メモリーカードなどへ信号を記録保存する。
上記構成により、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理の過程で得られた輝度信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。
ノイズ低減処理の過程で得られた情報からエッジの方向を検出するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。
さらに、ノイズ低減処理では注目画素から概略的な第1のノイズ量を推定し、第1のノイズ量から類似画素を抽出し、注目画素および類似画素からより精度の高い第2のノイズ量を推定し、第2のノイズ量に基づきノイズ低減処理を行うために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。
また、カラー撮像素子からの信号に対応することができ、補間処理を行った後に輝度信号と色信号に分離するために、現状の撮影部および信号処理系との親和性が高く、多くの撮像システムへの適用が可能となる。
なお、上記実施形態では撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。第1の実施形態と同様に、撮像部と分離した構成も可能である。
さらに、上記第6の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。第2の実施形態と同様に、ソフトウェアによって処理する構成も可能である。
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
本出願は、2005年12月28日に日本国に出願された特願2005−380346号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。
以下、図面を参照して本発明の実施の形態について説明する。
[第1の実施形態]
図1から図27は本発明の第1の実施形態を示したものであり、図1は第1の実施形態の構成を示すブロック図、図2は注目画素および注目領域に関する説明図、図3はノイズ推定部の構成を示すブロック図、図4はノイズ量の推定に関する説明図であって信号レベルに対する輝度ノイズ量の関係を示す図、図5はノイズ量の推定に関する説明図であってノイズモデルの簡略化を示す図、図6はノイズ量の推定に関する説明図であって簡略化されたノイズモデルからの輝度ノイズ量の算出法を示す図、図7はノイズ低減部の構成を示すブロック図、図8はエッジ方向検出部の構成を示すブロック図、図9はエッジ方向検出部の別形態の構成を示すブロック図、図10〜図22はエッジ方向検出部の処理領域およびエッジ抽出フィルタに関する説明図であって、図10は注目画素およびその処理領域を示す図、図11はエッジ抽出される画素位置を示す図、図12は0°のエッジ抽出フィルタを示す図、図13は45°のエッジ抽出フィルタを示す図、図14は90°のエッジ抽出フィルタを示す図、図15は135°のエッジ抽出フィルタを示す図、図16は180°のエッジ抽出フィルタを示す図、図17は225°のエッジ抽出フィルタを示す図、図18は270°のエッジ抽出フィルタを示す図、図19は315°のエッジ抽出フィルタを示す図、図20は等方性エッジ抽出フィルタを示す図、図21は水平エッジ抽出フィルタの説明図、図22は垂直エッジ抽出フィルタの説明図、図23、図24はエッジ補正部のエッジ補正に関する説明図であって、図23は8方向のエッジ整形による説明図、図24は4方向のエッジ整形による説明図、図25は第1の実施形態の別形態の構成を示すブロック図、図26、図27は第1の実施形態における信号処理のフローチャートであって、図26は全体処理のフローチャート、図27はノイズ推定処理のフローチャートである。
図1により、第1の実施形態の構成を説明する。図1は、本発明の第1実施形態に係る撮像システムの構成を示すブロック図である。レンズ系100は被写体像を結像するためのものである。絞り101はこのレンズ系100内に配置されていて、該レンズ系100における光束の通過範囲を規定するためのものである。CCD102は、このレンズ系100を介して結像される光学的な被写体像を光電変換して、電気的な映像信号を出力するものである。増幅器103は、このCCD102の出力を所定の増幅率(増幅量,ゲインともいう)に従って増幅するものである。A/D変換器104は、このCCD102から出力され増幅器103で増幅されたアナログの映像信号をデジタル信号へ変換するものである。バッファ105は、このA/D変換器104から出力されたデジタルの映像信号を一時的に記憶するものである。A/D変換器104からの信号は、バッファ105を介して抽出部109、エッジ抽出部114へ転送される。バッファ105は、測光評価部106、合焦点検出部107へも接続されている。測光評価部106は、上記バッファ105に記憶された映像信号に基づき、被写体に関する測光評価を行って、その評価結果に基づき上記絞り101とCCD102と増幅器103との制御を行うものである。すなわち、該測光評価部106は、絞り101の絞り値と、CCD102の電子シャッタ速度と、増幅器103のゲインと、を調整することにより、露出制御を行うようになっている。合焦点検出部107は、上記バッファ105に記憶された映像信号に基づき合焦点検出を行い、検出結果に基づき後述するAFモータ108を駆動するものである。AFモータ108は、この合焦点検出部107により制御されて、上記レンズ系100に含まれるフォーカスレンズ等の駆動を行い、上記CCD102の撮像面上に被写体像が結像されるようにするものである。抽出部109は、抽出手段であって、上記バッファ105に記憶された映像信号から所定領域の映像信号を抽出して出力するものである。抽出部109からの信号は、ノイズ推定部110およびノイズ低減部111へ接続されている。
ノイズ推定部110は、ノイズ推定手段であって、この抽出部109により抽出された所定領域の映像信号からノイズ量を推定するものである。推定されたノイズ量はノイズ低減部111へ転送される。ノイズ低減部111は、抽出部109で抽出された所定領域の映像信号に関して、ノイズ推定部110で推定されたノイズ量に基づきノイズ低減処理を行うものである。ノイズ低減処理後の映像信号はバッファ112へ転送される。バッファ112は、エッジ方向検出部113およびエッジ強調部116へ接続されている。エッジ方向検出部113は、エッジ方向検出手段であって、バッファ112に記憶されたノイズ低減処理後の映像信号からエッジの方向を検出するものである。検出されたエッジ方向は、エッジ抽出部114およびエッジ補正部115へ転送される。エッジ抽出部114は、エッジ抽出手段であって、上記エッジ方向検出部113により検出されたエッジ方向に関する情報を基に上記バッファ105に記憶された映像信号からエッジ成分を抽出するものである。抽出されたエッジ成分は、エッジ補正部115へ転送される。エッジ補正部115は、エッジ補正手段であって、上記エッジ方向検出部113により検出されたエッジ方向に関する情報を基に上記エッジ抽出部114から抽出されたエッジ成分を補正するものである。補正されたエッジ成分は、エッジ強調部116へ転送される。エッジ強調部116は、エッジ強調手段であって、上記エッジ補正部115で補正処理が施されたエッジ成分を用いて、上記バッファ112に記憶されたノイズ低減処理後の映像信号のエッジ強調処理を行うものである。エッジ強調処理がなされた映像信号は、信号処理部117へ転送される。信号処理部117は、信号処理手段であって、上記エッジ強調部116でエッジ強調処理が施された映像信号に対して、例えば公知の圧縮処理などの所望の信号処理を行うものである。信号処理がなされた映像信号は、出力部118へ転送される。出力部118は、出力手段であって、上記信号処理部117からの映像信号を例えばメモリカード等に記録するために出力するものである。制御手段に含まれる情報取得手段たる外部I/F部120は、電源スイッチ,シャッタボタン,動画/静止画の切り換えや圧縮率,画像サイズ,ISO感度の設定などの撮影時の各種モードを設定するためのモードスイッチ等へのインターフェースを備えたものである。制御手段とパラメータ算出手段と情報取得手段とを兼ねた制御部119は、上記増幅器103、A/D変換器104、測光評価部106、合焦点検出部107、抽出部109、ノイズ推定部110、ノイズ低減部111、エッジ方向検出部113、エッジ抽出部114、エッジ補正部115、エッジ強調部116、信号処理部117、出力部118、外部I/F部120と双方向に接続されていて、これらを含むこの撮像システムを統合的に制御するものであり、例えばマイクロコンピュータにより構成されている。さらに、CCD102の近傍に配置された温度センサー121からの信号も制御部119へ接続されている。
次に、図1において、信号の流れを説明する。外部I/F部120を介してISO感度などの撮影条件を設定した後、不図示のシャッターボタンを半押しにすることでプリ撮像モードに入る。
レンズ系100,絞り101,CCD102を介して撮影された信号は、アナログ信号として出力される。
なお、本実施形態においてCCD102は白黒用単板CCDを、出力される信号は輝度信号Yを想定する。上記アナログ信号は増幅器103によって所定量増幅され、A/D変換器104によってデジタル信号へ変換されてバッファ105へ転送される。
なお、本実施形態においてA/D変換器104は12bit階調でデジタル信号へ変換するものと想定する。
バッファ105内の映像信号は、測光評価部106および合焦点検出部107へ転送される。測光評価部106では、設定されたISO感度,手ぶれ限界のシャッター速度などを加味し、信号中の輝度レベルを求めて適正露光となるように絞り101やCCD102の電子シャッター速度や増幅器103のゲインなどを制御する。また、合焦点検出部107では信号中のエッジ強度を検出し、これが最大となるようにAFモータ108を制御することで合焦信号を得る。
次に、外部I/F部120を介してシャッターボタンからの全押し情報が入力されることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ105へ転送される。本撮影は、測光評価部106によって求められた露光条件、合焦点検出部107によって求められた合焦条件に基づき行われ、これらの撮影時の条件は制御部119へ転送される。バッファ105内の映像信号は抽出部109へ転送される。抽出部109は、制御部119の制御に基づき図2に示されるような注目画素P22を包含する3×3画素サイズの注目領域Pij(i=1〜3,j=1〜3)を順次抽出し、ノイズ推定部110およびノイズ低減部111へ転送する。
なお、図2においては5×5画素サイズの領域を示しているが、これは後述するエッジ処理において5×5画素サイズの領域を要するためで、説明の便宜上5×5画素サイズを示している。
また、以後の説明では注目画素をP22と想定するが、注目画素自体は全信号から順次抽出され、その座標位置も順次移動して行く。
ノイズ推定部110は、制御部119の制御に基づき抽出部109からの注目領域および撮影時の情報に基づき注目画素P22のノイズ量N22を推定し、これをノイズ低減部111へ転送する。ノイズ低減部111は、制御部119の制御に基づき抽出部109からの注目画素P22に関して、ノイズ推定部110からのノイズ量N22に基づきノイズ低減処理を行い、ノイズ低減処理後の注目画素P'22およびそのノイズ量N22をバッファ112へ転送する。上記抽出部109、ノイズ推定部110、ノイズ低減部111における処理は、制御部119の制御に基づき注目領域単位で同期して行われる。バッファ112には、ノイズ低減処理後の全信号およびそのノイズ量が記録されることになる。
エッジ方向検出部113は、制御部119の制御に基づきバッファ112から図10に示されるようなノイズ低減処理後の注目画素P'22およびこれを包含する5×5画素サイズの処理領域P'kl(k=0〜4,l=0〜4)を順次抽出する。その後、注目画素P'22およびその周囲8画素(P'11,P'21,P'31,P'12,P'32,P'13,P'23,P'33)のエッジ方向(D22およびD11,D21,D31,D12,D32,D13,D23,D33)を検出し、エッジ抽出部114およびエッジ補正部115へ転送する。エッジ抽出部114は、制御部119の制御に基づき上記エッジ方向検出部113で用いた処理領域と同一位置のノイズ低減処理前の原信号をバッファ105から順次抽出する。その後、エッジ方向検出部113からのエッジ方向に基づき、注目画素P'22およびその周囲8画素(P'11,P'21,P'31,P'12,P'32,P'13,P'23,P'33)のエッジ成分(E22およびE11,E21,E31,E12,E32,E13,E23,E33)を抽出し、エッジ補正部115へ転送する。
エッジ補正部115は、制御部119の制御に基づき、注目画素P'22のエッジ成分E22に関して、エッジ方向検出部113からのエッジ方向D22およびエッジ抽出部114からの周囲8画素のエッジ成分(E11,E21,E31,E12,E32,E13,E23,E33)に基づきこれを補正したエッジ成分E'22を求め、エッジ強調部116へ転送する。エッジ強調部116は、制御部119の制御に基づきバッファ112からノイズ低減処理後の注目画素P'22を順次抽出する。その後、エッジ補正部115からのエッジ成分E'22に基づき、数式1に示すように所定の係数g1を乗算した後に加算することでエッジ強調処理後の画素値P"22を求め、信号処理部117へ転送する。
[数1]
P"22=P'22+g1・E'22
上記エッジ方向検出部113,エッジ抽出部114,エッジ補正部115,エッジ強調部116における処理は、制御部119の制御に基づき処理領域単位で同期して行われる。信号処理部117は、制御部119の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理などを行い、出力部118へ転送する。出力部118は、メモリーカードなどへ信号を記録保存する。
図3はノイズ推定部110の構成の一例を示すものである。ノイズ推定部110は、平均算出部200,ゲイン算出部201,標準値付与部202,パラメータ用ROM203,パラメータ選択部204,補間部205,補正部206を備えている。抽出部109は、平均算出部200へ接続している。平均算出部200は、パラメータ選択部204へ接続している。ゲイン算出部201,標準値付与部202,パラメータ用ROM203は、パラメータ選択部204へ接続している。パラメータ選択部204は、補間部205および補正部206へ接続している。補間部205は、補正部206を介してノイズ低減部111へ接続している。制御部119は、平均算出部200,ゲイン算出部201,標準値付与部202,パラメータ選択部204,補間部205,補正部206へ双方向に接続されている。
平均算出部200は、制御部119の制御に基づき、抽出部109からノイズ低減処理を行う図2に示される注目領域(Pij,i=1〜3,j=1〜3)の平均値AV22を数式2に示すように算出して、パラメータ選択部204へ転送する。
[数2]
AV22=ΣPij/9
ゲイン算出部201は、制御部119から転送されるISO感度および露光条件に関する情報に基づき増幅器103におけるゲインを求め、パラメータ選択部204へ転送する。また、制御部119は温度センサー121からCCD102の温度情報を得て、これをパラメータ選択部204へ転送する。
パラメータ選択部204は、平均算出部200からの注目領域の平均値,ゲイン算出部201からのゲインの情報,制御部119からの温度情報に基づき輝度ノイズ量を推定する。
図4〜図6は、輝度ノイズ量の推定に関する説明図である。図4は、輝度値を信号レベルLとした場合のノイズ量Nをプロットしたものであり、ノイズ量Nは信号レベルLに対して2次曲線的に増加している。図4を2次関数でモデル化すると数式3が得られる。
[数3]
N=αL2+βL+γ
ここで、α,β,γは定数項である。しかしながら、ノイズ量は信号レベルだけではなく、撮像素子の温度やゲインによっても変化する。
図4は、一例としてある温度下においてゲインに関連する3種類のISO感度100,200,400に対するノイズ量をプロットしている。個々の曲線は数式3に示される形態をしているが、その係数はゲインに関連するISO感度により異なる。温度をt、ゲインをgとし、上記を考慮した形でモデルの定式化を行うと数式4となる。
[数4]
N=αgtL2+βgtL+γgt
ここで、αgt,βgt,γgtは定数項である。ただし、数式4の関数を複数記録し、その都度演算によりノイズ量を算出することは処理的に煩雑である。このために、図5に示すようなモデルの簡略化を行う。
図5においては、最大のノイズ量を与えるモデルを基準ノイズモデルとして選択し、これを所定数の折れ線で近似する。折れ線の変曲点は、信号レベルLとノイズ量Nとを成分とする座標データ(Ln,Nn)で表す。ここで、nは変曲点の数を示す。また、上記基準ノイズモデルから他のノイズモデルを導出するための補正係数kgtも用意される。補正係数kgtは、各ノイズモデルと基準ノイズモデルとの間に最小自乗法を適用することにより算出される。基準ノイズモデルからの他のノイズモデルの導出は、上記補正係数kgtを乗算することにより行われる。
図6は、図5に示す簡易化されたノイズモデルからノイズ量を算出する方法を示している。例えば、与えられた信号レベルl、ゲインg、温度tに対応するノイズ量Nを求めることを想定する。まず、信号レベルlが基準ノイズモデルのどの区間に属するかを探索する。ここでは、信号レベルlが(L
n,N
n)と(L
n+1,N
n+1)間の区間に属するものとする。基準ノイズモデルにおける基準ノイズ量N
lを線形補間によって求める。
[数5]
次に、基準ノイズ量N
lに補正係数k
gtを乗算することで、ノイズ量Nを求める。
[数6]
N=k
gt・N
l
パラメータ選択部204は、平均算出部200からの注目領域の平均値AV22から信号レベルlを、ゲイン算出部201からのゲインの情報からゲインgを、制御部119からの温度情報から温度tを設定する。次に、信号レベルlが属する区間の座標データ(Ln,Nn)と(Ln+1,Nn+1)をパラメータ用ROM203から探索し、信号レベルlと共に補間部205へ転送する。さらに、補正係数kgtをパラメータ用ROM203から探索し、これを補正部206へ転送する。
補間部205は、制御部119の制御に基づきパラメータ選択部204からの信号レベルlおよび区間の座標データ(Ln,Nn)と(Ln+1,Nn+1)から数式5に基づき基準ノイズモデルにおける基準ノイズ量Nlを算出し、補正部206へ転送する。
補正部206は、制御部119の制御に基づきパラメータ選択部204からの補正係数kgtおよび補間部205からの基準ノイズ量Nlから数式6に基づきノイズ量Nを算出し、注目画素P22のノイズ量N22とする。推定されたノイズ量N22および平均値AV22はノイズ低減部111へ転送される。
なお、上記ノイズ量算出の過程において、温度t,ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部202に記録させておき、算出過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。
図7はノイズ低減部111の構成の一例を示すものである。ノイズ低減部111は、範囲設定部300,切り換え部301,第1スムージング部302,第2スムージング部303を備えている。ノイズ推定部110は範囲設定部300へ、範囲設定部300は切り換え部301,第1スムージング部302,第2スムージング部303へ接続している。抽出部109は切り換え部301へ、切り換え部301は第1スムージング部302および第2スムージング部303へ接続している。第1スムージング部302および第2スムージング部303は、バッファ112へ接続している。制御部119は、範囲設定部300,切り換え部301,第1スムージング部302,第2スムージング部303と双方向に接続している。ノイズ推定部110は、注目領域の平均値AV22およびノイズ量N22を範囲設定部300へ転送する。
範囲設定部300は、制御部119の制御に基づきノイズ量に関する許容範囲として上限Upおよび下限Lowを数式7のように設定する。
[数7]
Up =AV22+N22/2
Low=AV22−N22/2
上記許容範囲Up,Lowは、切り換え部301へ転送される。また、範囲設定部300は平均値AV22およびノイズ量N22を第1スムージング部302および第2スムージング部303へ転送する。
切り換え部301は、制御部119の制御に基づき抽出部109からの注目画素P22を読み込み、上記許容範囲に属するか否かの判断を行う。判断は、「ノイズ範囲に属している」,「ノイズ範囲を上回っている」,「ノイズ範囲を下回っている」の三通りである。切り換え部301は、「ノイズ範囲に属している」場合は第1スムージング部302へ、それ以外は第2スムージング部303へ注目画素P22を転送する。第1スムージング部302は、切り換え部301からの注目画素P22に範囲設定部300からの平均値AV22を代入する処理を行う。
[数8]
P'22=AV22
数式8でのノイズ低減処理がなされた注目画素P'22およびノイズ量N22はバッファ112へ転送される。
第2スムージング部303は、切り換え部301からの注目画素P22に範囲設定部300からの平均値AV22とノイズ量N22を用いて補正する処理を行う。まず、「ノイズ範囲を上回っている」場合は数式9のように補正する。
[数9]
P'22=AV22−N22/2
また、「ノイズ範囲を下回っている」場合は数式10のように補正する。
[数10]
P'22=AV22+N22/2
数式9または数式10のノイズ低減処理がなされた注目画素P'22およびノイズ量N22はバッファ112へ転送される。
図8はエッジ方向検出部113の構成の一例を示すものである。エッジ方向検出部113は、閾値設定部400,バッファ401,フィルタ処理部402,フィルタROM403,バッファ404,エッジ選択部405,方向決定部406を備えている。バッファ112は閾値設定部400およびフィルタ処理部402へ接続している。閾値設定部400は、バッファ401を介してエッジ選択部405へ接続している。フィルタ処理部402は、バッファ404,エッジ選択部405,方向決定部406を介してエッジ抽出部114およびエッジ補正部115へ接続している。フィルタROM403は、フィルタ処理部402へ接続している。制御部119は、閾値設定部400,フィルタ処理部402,エッジ選択部405,方向決定部406と双方向に接続している。
閾値設定部400は、制御部119の制御に基づきバッファ112からノイズ低減処理がなされた注目画素P'22に対応するノイズ量N22を読み込み、所定の係数g2、例えばg2=2を乗算することでエッジ成分に対する閾値T22を数式11に示すように算出する。
[数11]
T22=g2・N22
なお、本実施形態では図10に示される5×5画素サイズの処理領域P'kl(k=0〜4,l=0〜4)を想定しており、図11に示される注目画素P'22およびその周囲8画素(P'11,P'21,P'31,P'12,P'32,P'13,P'23,P'33)の9画素に対して閾値(T22およびT11,T21,T31,T12,T32,T13,T23,T33)は算出される。算出された閾値はバッファ401へ転送される。
フィルタ処理部402は、制御部119の制御に基づきバッファ112から図10に示される5×5画素サイズの処理領域P'klを読み込み、注目画素P'22およびその周囲8画素の9画素に対して3×3サイズのフィルタ処理を行う。図12〜図19は、フィルタ処理に用いられる8方向(0°,45°,90°,135°,180°,225°,270°,315°)のフィルタ係数を示す。上記フィルタ係数は、フィルタROM403に記録されており、必要に応じてフィルタ処理部402へ転送される。フィルタ処理部402は、図11に示される9画素に対し8方向のフィルタ処理を行い、これを絶対値化することで計72のエッジ成分を算出し、バッファ404へ転送する。
エッジ選択部405は、制御部119の制御に基づきバッファ401から上記9画素に対する閾値を、バッファ404から上記9画素に対する8方向のエッジ成分を読み込む。この後、エッジ選択部405は、画素単位で上記閾値と8方向のエッジ成分を比較し、閾値以下のエッジ成分を省略し、閾値以上のエッジ成分を方向決定部406へ転送する。
方向決定部406は、制御部119の制御に基づきエッジ選択部405から転送されるエッジ成分を9画素の画素単位で処理する。これは、転送されるエッジ成分をソートし、最大値と、最大値を与える方向と180°ずれた対角方向を除く2番目の最大値と、を検出し、両者の差が所定の閾値以上の場合には最大値を与える方向をエッジ方向(D22およびD11,D21,D31,D12,D32,D13,D23,D33)とする。一方、最大値と2番目の最大値の差が所定の閾値以下の場合には、有効なエッジ方向が複数あると判断し、等方的なエッジ方向とする。また、エッジ選択部405から転送される8方向のエッジ成分がない場合、平坦な領域としてエッジ方向がないとする。上記「最大値を与える方向」が得られた場合は、この方向をエッジ抽出部114およびエッジ補正部115へ転送する。また、「等方的なエッジ方向」および「エッジ方向がない」の場合は、制御部119へその情報を転送する。
制御部119は、エッジ抽出部114を制御し、「最大値を与える方向」が得られた場合は、図12〜図19に示されるその方向に対応するフィルタ係数によりエッジ成分の抽出を行わせる。一方、「等方的なエッジ方向」の場合は、図20に示される等方的なフィルタ係数によりエッジ成分の抽出を行わせる。さらに、「エッジ方向がない」の場合には、エッジ抽出部114の処理を中止し、次の注目画素へ処理を移行させる。
なお、上記実施形態ではエッジ方向を決定する上で8方向のフィルタ処理とノイズ量に基づく閾値を使用しているが、このような構成に限定される必要はない。例えば、図9に示されるように、水平,垂直の2方向フィルタ処理と固定的な閾値によるより簡略された構成も可能である。
図9は、図8における閾値設定部400,バッファ401を削除し、エッジ選択部405を変動除去部500へ置換したもので、基本構成は図8に示すエッジ方向検出部113と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
バッファ404は変動除去部500へ、変動除去部500は方向決定部406へ接続している。制御部119は、変動除去部500と双方向に接続している。
フィルタ処理部402は、図11に示される9画素に対し水平,垂直の2方向のフィルタ処理を行い、これを絶対値化することで計18のエッジ成分を算出し、バッファ404へ転送する。図21,図22は、水平,垂直の2方向のフィルタ係数を示す。上記フィルタ係数は、フィルタROM403に記録されており、必要に応じてフィルタ処理部402へ転送される。
変動除去部500は、制御部119の制御に基づきバッファ404から上記9画素に対する2方向のエッジ成分を読み込む。この後、所定の下位ビット、本実施形態ではA/D変換器104を12bit階調と想定しているため例えば下位4bitを削除することで微小な変動成分を除去する。変動成分が除去された2方向のエッジ成分は、方向決定部406へ転送される。
方向決定部406は、制御部119の制御に基づきエッジ選択部405から転送されるエッジ成分を9画素の画素単位で処理し、エッジ方向を算出する。数式12は、注目画素P'22におけるエッジ方向の算出を示す。
[数12]
D22=tan-1(E9022/E022)
上記数式12において、E0は水平方向のE90は垂直方向のエッジ成分を意味する。数式12の演算は、図11に示される9画素に対し画素単位で行われる。
なお、変動成分が除去された結果、水平,垂直の2方向ともエッジ成分が存在しない場合は「エッジ方向がない」として、制御部119へその情報を転送する。2方向の処理では、「等方的なエッジ方向」は検出されない。
図23、図24は、エッジ補正部115におけるエッジ成分の補正に用いる周囲画素を示す。図23の例では、注目画素P'22のエッジ方向D22に基づき周囲8方向にある画素の一つを選択し、そのエッジ成分をEdとした場合に数式13で算出する。
[数13]
E'22=(E22+Ed)/2
また、図24の例では、注目画素P'22のエッジ方向D22に基づき周囲8方向にある画素の一つを選択し、そのエッジ成分をEd、その対角方向にある画素のエッジ成分をEdoとした場合に数式14で算出する。
[数14]
E'22=(2E22+Ed+Edo)/4
上記構成により、ノイズ低減処理後の信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。
また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。この場合、エッジ成分の抽出時に用いたエッジ方向を再利用するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。
さらに、ノイズ低減処理はノイズ推定およびノイズ低減により行われるが、ノイズ推定においては広い領域から推定を行うことで推定精度を高めるようにし、ノイズ低減においては注目画素のみを対象とするようにしたために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。
ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。
さらに、エッジ方向の検出は、複数方向または水平および垂直方向のエッジ強度を求めた後に、ノイズ量に基づく閾値との比較または微小なエッジ強度の除去を行うようにしたために、ノイズによる影響を抑制し精度の高いエッジ方向が得られる。
また、エッジ方向が決定できなかった場合に後段のエッジ抽出処理を停止させるために、無駄な処理を省略でき処理速度を高速化することができる。
さらに、エッジ方向が複数検出された場合に等方的なエッジ抽出処理を行うために、安定した処理結果が得られる。
なお、上記実施形態ではレンズ系100,絞り101,CCD102,増幅器103,A/D変換器104,測光評価部106,合焦点検出部107,AFモータ108,温度センサー121を含む撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。
例えば、図25に示されるように、別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらに撮像条件などの付随情報をヘッダ部に記録したメモリカードなどの記録媒体から処理をすることも可能である。
図25は、図1に示す構成からレンズ系100,絞り101,CCD102,増幅器103,A/D変換器104,測光評価部106,合焦点検出部107,AFモータ108,温度センサー121を省略し、入力部600,ヘッダ情報解析部601を追加した構成となっている。基本構成は図1と同様であり、同一の構成には同一の名称と符号を割り当てている。以下、異なる部分のみ説明する。
入力部600は、バッファ105およびヘッダ情報解析部601へ接続している。制御部119は、入力部600,ヘッダ情報解析部601と双方向に接続している。マウス,キーボードなどの外部I/F部120を介して再生操作を開始することで、メモリカードなどの記録媒体に保存された信号およびヘッダ情報が入力部600から読み込まれる。入力部600からの信号はバッファ105へ、ヘッダ情報はヘッダ情報解析部601へ転送される。ヘッダ情報解析部601は、ヘッダ情報から撮影時の情報を抽出して制御部119へ転送する。以後の処理は、図1と同様である。
さらに、上記実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD102からの信号を未処理のままのRawデータとして、制御部119からの撮影時の温度,ゲインなどをヘッダ情報として出力し、別途ソフトウェアによって処理する構成も可能である。
図26、図27に、信号処理のソフトウェア処理に関するフローチャートを示す。
処理を開始すると、まず、信号と温度,ゲインなどのヘッダ情報を読み込む(ステップS1)。
次に、図2に示されるような注目画素および3×3画素サイズの注目領域を抽出する(ステップS2)。
そして、別途説明するように、抽出した注目領域のノイズ量を推定し、それを注目画素に対するノイズ量として算出する(ステップS3)。
続いて、注目画素に数式7に示される許容範囲を設定する(ステップS4)。
次に、注目画素が許容範囲内に属するか否かを判断し、属する場合は次のステップS6へ、属さない場合はステップS7へ分岐する(ステップS5)。
ステップS5において注目画素が許容範囲内に属すると判断されると、数式8に示される処理を行う(ステップS6)。
一方、ステップS5において注目画素が許容範囲内に属さないと判断されると、数式9または数式10に示される処理を行う(ステップS7)。
上記ステップS6またはステップS7の処理が終わると、続いて全注目領域の抽出が完了したかを判断し、完了していない場合はステップS2へ、完了した場合はステップS9へ分岐する(ステップS8)。
上記ステップS8で全注目領域の抽出が完了したと判断されると、次に図10に示されるような注目画素および5×5画素サイズの処理領域を抽出する(ステップS9)。
続いて、図11に示される9画素に関して図12〜図19に示される方向別の抽出フィルタを用いてエッジ方向を検出する(ステップS10)。
さらに、ステップS10からのエッジ方向に基づきノイズ低減処理前の原信号からエッジ成分を抽出する(ステップS11)。
次にステップS10で検出したエッジ方向に基づき図23または図24に示される近傍画素のエッジ成分により数式13または数式14に示される補正処理によってエッジ成分を補正する(ステップS12)。
更に、ノイズ低減処理後の注目画素の信号に数式1に示されるエッジ強調処理を行う(ステップS13)。
そして、全処理領域の抽出が完了したかを判断し、完了していない場合はステップS9へ、完了した場合はステップS15へ分岐する(ステップS14)。
ステップS14で全処理領域の抽出が完了したと判断されると、続いて公知の圧縮処理などが行われる(ステップS15)。
その後、処理後の信号が出力され終了する(ステップS16)。
図27は、上記ステップS3におけるノイズ量の推定に関するフローチャートである。
まず、数式2に示される注目領域の平均値を算出する(ステップS20)。
次に、読み込まれたヘッダ情報から温度,ゲインなどの情報を設定する(ステップS21)。このとき、もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。
更に、基準ノイズモデルの座標データおよび補正係数を読み込む(ステップS22)。
続いて、数式5に示される補間処理によって基準ノイズ量を求める(ステップS23)。
次に、数式6に示される補正処理によってノイズ量を求める(ステップS24)。
最後に、算出されたノイズ量を出力して終了する(ステップS25)。
このように、ハードウェアによる実行を前提としていた上述したような処理も、上記第1の実施形態と同様に、コンピュータ等の処理装置においてソフトウェアにより処理することが可能となる。
[第2の実施形態]
図28から図37は本発明の第2の実施形態を示したものであり、図28は第2の実施形態の構成を示すブロック図、図29、図30は注目画素および注目領域に関する説明図であって、図29は注目画素およびその近傍領域を示す図、図30は注目画素および抽出された類似画素を示す図、図31は抽出部の構成を示すブロック図、図32はノイズ推定部の構成を示すブロック図、図33はエッジ方向検出部の構成を示すブロック図、図34、図35はエッジ方向検出部のエッジ抽出フィルタに関する説明図であって、図34は水平エッジ抽出フィルタを示す図、図35は垂直エッジ抽出フィルタを示す図、図36、図37は第2の実施形態における信号処理のフローチャートであって、図36は全体処理のフローチャート、図37はノイズ推定処理のフローチャートである。
図28は、第2の実施形態の構成を示すブロック図である。本実施形態は、図1に示す第1の実施形態における抽出部109,ノイズ推定部110,エッジ方向検出部113が、抽出部700,ノイズ推定部701,エッジ方向検出部702に置換され、バッファ703が追加された構成になっている。基本構成は第1の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
バッファ105は、測光評価部106,合焦点検出部107,抽出部700,エッジ抽出部114へ接続されている。抽出部700は、ノイズ推定部701およびノイズ低減部111へ接続されている。ノイズ推定部701は抽出部700,ノイズ低減部111,エッジ方向検出部702へ接続されている。エッジ方向検出部702は、バッファ703を介して、エッジ抽出部114およびエッジ補正部115へ接続されている。制御部119は、抽出部700,ノイズ推定部701,エッジ方向検出部702と双方向に接続されている。
本実施形態は、基本的に第1の実施形態と同様であり、異なる部分のみ説明する。
図28において、信号の流れを説明する。抽出部700は、制御部119の制御に基づき図29に示される注目画素P22を包含する5×5画素サイズの注目領域Pij(i=0〜4,j=0〜4)を順次抽出する。上記注目画素P22は、ノイズ推定部701およびノイズ低減部111へ転送される。
ノイズ推定部701は、制御部119の制御に基づきノイズ低減処理を行う注目画素P22に対する第1のノイズ量N122を推定し、これを抽出部700へ転送する。
抽出部700は、制御部119の制御に基づき、注目画素P22および上記第1のノイズ量N122に基づき注目画素P22と類似する画素を抽出するための許容範囲を算出する。算出された上記許容範囲に基づき、上記注目領域から類似する類似画素を抽出する。類似画素としては、例えば図30に示されるような類似画素Pkl(k=0〜4のいずれか,l=0〜4のいずれか)を想定する。抽出された類似画素Pklおよび注目画素P22は、ノイズ推定部701へ転送される。
ノイズ推定部701は、制御部119の制御に基づき、ノイズ低減処理を行う注目画素P22および上記類似画素Pklに対する第2のノイズ量N222を推定し、これをノイズ低減部111へ転送する。また、注目画素P22および上記類似画素Pklの情報をエッジ方向検出部702へ転送する。
ノイズ低減部111は、第1の実施形態と同様に注目画素P22に関して、ノイズ推定部701からのノイズ量N222に基づきノイズ低減処理を行い、ノイズ低減処理後の注目画素P'22をバッファ112へ転送する。
エッジ方向検出部702は、ノイズ推定部701からの注目画素P22および上記類似画素Pklの情報に基づき、注目画素P22に対するエッジ方向D22を検出する。上記エッジ方向D22は、バッファ703へ転送される。
上記抽出部700,ノイズ推定部701,ノイズ低減部111,エッジ方向検出部702における処理は、制御部119の制御に基づき注目領域単位で同期して行われる。
バッファ112にはノイズ低減処理後の全信号が、バッファ703にはエッジ方向が記録されることになる。
エッジ抽出部114は、第1の実施形態と同様にバッファ105から注目画素P22およびその周囲8画素(P11,P21,P31,P12,P32,P13,P23,P33)の9画素を含む図30に示される5×5画素サイズの処理領域を、バッファ703からエッジ方向(D22およびD11,D21,D31,D12,D32,D13,D23,D33)を読み込む。その後、上記9画素に対してエッジ方向に基づき図12〜図19に示されるエッジ抽出フィルタを選択し、フィルタ処理を行いエッジ成分(E22およびE11,E21,E31,E12,E32,E13,E23,E33)を抽出し、エッジ補正部115へ転送する。
エッジ補正部115は、第1の実施形態と同様に、注目画素P22のエッジ成分E22に関して、バッファ703からのエッジ方向D22およびエッジ抽出部114からの周囲8画素のエッジ成分(E11,E21,E31,E12,E32,E13,E23,E33)に基づきこれを補正したエッジ成分E'22を求め、エッジ強調部116へ転送する。
エッジ強調部116は、制御部119の制御に基づきバッファ112からノイズ低減処理後の注目画素P'22を順次抽出する。その後、エッジ補正部115からのエッジ成分E'22に基づき第1の実施形態と同様にエッジ強調処理後の画素値P"22を求め、信号処理部117へ転送する。
上記エッジ抽出部114,エッジ補正部115,エッジ強調部116における処理は、制御部119の制御に基づき処理領域単位で同期して行われる。
信号処理部117は、制御部119の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理などを行い、出力部118へ転送する。出力部118は、メモリーカードなどへ信号を記録保存する。
図31は抽出部700の構成の一例を示すものである。抽出部700は、許容範囲設定部800,近傍抽出部801,類似性調査部802,バッファ803を備えている。
ノイズ推定部701は、許容範囲設定部800へ接続している。バッファ105は、近傍抽出部801,類似性調査部802,バッファ803を介してノイズ推定部701へ接続している。近傍抽出部801は、ノイズ低減部111およびノイズ推定部701へ接続している。制御部119は、許容範囲設定部800,近傍抽出部801,類似性調査部802と双方向に接続されている。
近傍抽出部801は、制御部119の制御に基づき、バッファ105から注目画素P22を抽出し、ノイズ推定部701およびノイズ低減部111および許容範囲設定部800へ転送する。
許容範囲設定部800は、制御部119の制御に基づき、ノイズ推定部701から注目画素P22に対する第1のノイズ量N122が転送された後、類似画素を探索するための許容範囲として上限App_Upおよび下限App_Lowを数式15のように設定する。
[数15]
App_Up =P22+N122/2
App_Low=P22−N122/2
上記許容範囲は、類似性調査部802へ転送される。
近傍抽出部801は、制御部119の制御に基づき、バッファ105から図29に示される注目領域Pijを抽出し、画素単位で順次類似性調査部802へ転送する。
類似性調査部802は、許容範囲設定部800からの許容範囲として上限App_Upおよび下限App_Lowに基づき、近傍抽出部801からの画素を調査する。画素が数式15の許容範囲内にある場合、これを類似画素Pklとしての有効を意味するフラグ、例えば1を与える。一方、許容範囲外である場合は無効を意味するフラグ、例えば0を与える。上記フラグと画素値は組としてバッファ803へ保存される。図30は、抽出された類似画素の一例を示す。なお、注目画素は必ず類似画素の一つとして抽出されることになる。バッファ803上のフラグおよび画素値情報は、制御部119の制御に基づき、必要に応じてノイズ推定部701へ転送される。
図32はノイズ推定部701の構成の一例を示すものである。ノイズ推定部701は、第1の実施形態の図3に示されるノイズ推定部110にノイズLUT(ルックアップテーブル)900が追加され、パラメータ用ROM203,パラメータ選択部204,補間部205,補正部206が省略された構成になっている。基本構成は図3に示すノイズ推定部110と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
抽出部700は、平均算出部200およびエッジ方向検出部702へ接続している。平均算出部200,ゲイン算出部201,標準値付与部202は、ノイズLUT900へ接続している。ノイズLUT900は、ノイズ低減部111および抽出部700へ接続している。制御部119は、ノイズLUT900へ双方向に接続されている。
平均算出部200は、制御部119の制御に基づき抽出部700から注目画素P22、または注目画素P22と類似画素Pklとを読み込み、平均値を算出する。上記平均値はノイズLUT900へ転送される。
ゲイン算出部201は、制御部119から転送されるISO感度および露光条件に関する情報に基づき増幅器103におけるゲインを求め、ノイズLUT900へ転送する。
また、制御部119は温度センサー121からCCD102の温度情報を得て、これをノイズLUT900へ転送する。
ノイズLUT900は、平均算出部200からの平均値,ゲイン算出部201からのゲインの情報,制御部119からの温度情報に基づきノイズ量を推定する。ノイズLUT900は、温度,信号値レベル,ゲインとノイズ量間の関係を記録したルックアップテーブルで、第1の実施形態と同様の手法により構築される。ノイズLUT900で得られたノイズ量は抽出部700へ転送される。また、抽出部700で得られた類似画素を識別するためのフラグ情報および画素値はエッジ方向検出部702へ転送される。
なお、標準値付与部202は第1の実施形態と同様に、いずれかのパラメータが省略された場合に標準値を与える機能を受け持つ。
図33はエッジ方向検出部702の構成の一例を示すものである。エッジ方向検出部702は、水平フィルタ処理部1000,垂直フィルタ処理部1001,方向決定部1002を備えている。ノイズ推定部701は、水平フィルタ処理部1000および垂直フィルタ処理部1001へ接続している。水平フィルタ処理部1000および垂直フィルタ処理部1001は、方向決定部1002へ接続している。方向決定部1002は、バッファ703へ接続している。制御部119は、水平フィルタ処理部1000,垂直フィルタ処理部1001,方向決定部1002と双方向に接続している。
水平フィルタ処理部1000および垂直フィルタ処理部1001は、制御部119の制御に基づき、図30に示すように5×5画素サイズの注目画素P22および類似画素Pklに関するフラグおよび画素値情報を読み込む。その後、図34または図35に示す5×5画素サイズのフィルタ処理と絶対値化を行い、水平または垂直方向のエッジ成分を抽出する。なお、類似画素Pklに関しては、そのフラグが0である画素は画素値を0に置換してフィルタ処理を行う。上記エッジ成分は、方向決定部1002へ転送される。
方向決定部1002は、制御部119の制御に基づき水平フィルタ処理部1000からの水平エッジ成分E022および垂直フィルタ処理部1001からの垂直エッジ成分E9022に基づき、数式12に示されるようにエッジ方向D22を算出する。算出されたエッジ方向D22はバッファ703へ転送される。
上記構成により、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。
ノイズ低減処理の過程で得られた情報からエッジの方向を検出するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。
また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。この場合、エッジ成分の抽出時に用いたエッジ方向を再利用するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。
さらに、ノイズ低減処理では注目画素から概略的な第1のノイズ量を推定し、第1のノイズ量から類似画素を抽出し、注目画素および類似画素からより精度の高い第2のノイズ量を推定し、第2のノイズ量に基づきノイズ低減処理を行うために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。
ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。
なお、上記第2の実施形態では撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。第1の実施形態と同様に、撮像部と分離した構成も可能である。
さらに、上記第2の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD102からの信号を未処理のままのRawデータとして、制御部119からの撮影時の温度,ゲインなどをヘッダ情報として出力し、別途ソフトウェアによって処理する構成も可能である。
図36、図37は、信号処理のソフトウェア処理に関するフローチャートを示す。なお、図26、図27に示す本発明の第1の実施形態における信号処理のフローチャートと同一な処理ステップに関しては、同一なステップ符号を割り当てている。
処理を開始すると、まず信号と温度,ゲインなどのヘッダ情報を読み込む(ステップS1)。
次に図29に示されるような注目画素および5×5画素サイズの注目領域を抽出する(ステップS2)。
そして、別途説明するように抽出した注目領域のノイズ量を推定し、それを注目画素に対するノイズ量として算出する(ステップS3)。
更に、類似画素を探索するための数式15に示される許容範囲を設定する(ステップS30)。
その後、図30に示されるような類似画素を抽出する(ステップS31)。
そして、上述のステップS3と同じ処理によって、注目画素および抽出した類似画素を用いてノイズ量を推定し、それを注目画素に対するノイズ量として算出する(ステップS32)。
次に、注目画素に数式7に示される許容範囲を設定する(ステップS4)。
そして、注目画素が許容範囲内に属するか否かを判断し、属する場合は次のステップS6へ、属さない場合はステップS7へ分岐する(ステップS5)。
ステップS5において注目画素が許容範囲内に属すると判断されると、続けて数式8に示される処理を行う(ステップS6)。
一方、ステップS5において注目画素が許容範囲内に属さないと判断されると、数式9または数式10に示される処理を行う(ステップS7)。
その後、図30に示される注目画素および類似画素に関して図34,図35に示される水平,垂直用の抽出フィルタを用いてエッジ方向を検出する(ステップS10)。
そして、全注目領域の抽出が完了したかを判断し、完了していない場合はステップS2へ、完了した場合は次のステップS9へ分岐する(ステップS8)。
次に、図30に示されるような注目画素および類似画素を含む5×5画素サイズの処理領域を抽出する(ステップS9)。
更に、ステップS10からのエッジ方向情報に基づきノイズ低減処理前の原信号から注目領域のエッジ成分を抽出する(ステップS33)。
次に、ステップS10で検出したエッジ方向に基づき図23または図24に示される近傍画素のエッジ成分により数式13または数式14に示される補正処理によってエッジ成分を補正する(ステップS12)。
その後、ノイズ低減処理後の注目画素の信号に数式1に示されるエッジ強調処理を行う(ステップS13)。
そして、全処理領域の抽出が完了したかを判断し、完了していない場合はステップS9へ、完了した場合はステップS15へ分岐する(ステップS14)。
全処理領域の抽出が完了した場合は、公知の圧縮処理などが行われ(ステップS15)、処理後の信号が出力され終了する(ステップS16)。
図37は、上記ステップS3およびステップS32におけるノイズ量の推定に関するフローチャートである。
まず、注目領域または注目画素と類似画素の平均値を算出する(ステップS20)。
次に、読み込まれたヘッダ情報から温度,ゲインなどの情報を設定する(ステップS21)。その際、もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。
その後、ルックアップテーブルを用いてノイズ量を求め(ステップS40)、算出されたノイズ量を出力して終了する(ステップS25)。
この様に、CCD102からの信号を未処理のままのRawデータとし、制御部119からの撮影時の温度,ゲインなどをヘッダ情報として付加された映像信号であれば、別途ソフトウェアによって処理する構成も可能である。
[第3の実施形態]
図38から図47は本発明の第3の実施形態を示したものであり、図38は第3の実施形態の構成を示すブロック図、図39、図40はDCT(Discrete Cosine Transform)変換に関する説明図であって、図39は実空間を示す図、図40は周波数空間を示す図、図41はノイズ推定部の構成を示すブロック図、図42はノイズ低減部の構成を示すブロック図、図43はエッジ方向検出部の構成を示すブロック図、図44はエッジ方向検出部で用いる水平,垂直方向の周波数成分に関する説明図、図45、図46、図47は第3の実施形態における信号処理のフローチャートであって、図45は全体処理のフローチャート、図46はノイズ推定処理のフローチャート、図47はエッジ方向検出処理のフローチャートである。
図38は、本発明の第3の実施形態の構成を示すブロック図である。本実施形態は、図1に示す第1の実施形態におけるノイズ推定部110,ノイズ低減部111,エッジ方向検出部113がノイズ推定部1101,ノイズ低減部1102,エッジ方向検出部1104に置換され、DCT変換部1100,逆DCT変換部1103,バッファ1105が追加された構成になっている。基本構成は第1の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
抽出部109はDCT変換部1100へ、DCT変換部1100はノイズ推定部1101およびノイズ低減部1102へ接続されている。ノイズ低減部1102は、逆DCT変換部1103を介してバッファ112へ接続されている。ノイズ推定部1101は、ノイズ低減部1102およびエッジ方向検出部1104へ接続されている。エッジ方向検出部1104はバッファ1105へ、バッファ1105はエッジ抽出部114およびエッジ補正部115へ接続されている。制御部119は、DCT変換部1100,ノイズ推定部1101,ノイズ低減部1102,逆DCT変換部1103,エッジ方向検出部1104と双方向に接続されている。
本実施形態は、基本的に第1の実施形態と同様であり、異なる部分のみ説明する。
図38において、信号の流れを説明する。抽出部109は、制御部119の制御に基づき、図39に示されるような4×4画素サイズの注目領域(ブロック領域)を順次抽出し、DCT変換部1100へ転送する。
DCT変換部1100は、制御部119の制御に基づき上記注目領域に公知のDCT(Discrete Cosine Transform)変換を行い、図40に示されるような周波数成分へ変換する。DCT変換では、図40に示されるように、左上を原点すなわち0次成分として、1次以上の高周波成分は0次成分を原点とする同心円上に配置されることになる。本実例では、4×4画素サイズを想定するため次数として5次の高周波成分まで存在することになる。変換後の周波数成分は、ノイズ推定部1101およびノイズ低減部1102へ転送される。
ノイズ推定部1101は、制御部119の制御に基づき、周波数成分中の0次成分および撮影時の情報に基づき、0次成分以外の高周波数成分に対するノイズ量を次数成分ごとに算出する。算出されたノイズ量はノイズ低減部1102へ、周波数成分はエッジ方向検出部1104へ転送される。
ノイズ低減部1102は、制御部119の制御に基づき、ノイズ推定部1101からのノイズ量に基づき0次成分以外の高周波数成分に対してノイズ低減処理を行い、0次成分と共に逆DCT変換部1103へ転送する。
逆DCT変換部1103は、制御部119の制御に基づき、0次成分とノイズ低減処理後の0次成分以外の高周波数成分に対して逆DCT変換を行い、実空間の画素へ変換する。ノイズ低減がなされた上記画素は、バッファ112へ転送される。
一方、エッジ方向検出部1104は、制御部119の制御に基づき、ノイズ推定部1101からの周波数成分に基づき水平,垂直方向の周波数成分からエッジ方向を検出する。検出されたエッジ方向は、バッファ1105へ転送される。
上記DCT変換部1100,ノイズ推定部1101,ノイズ低減部1102,逆DCT変換部1103,エッジ方向検出部1104における処理は、制御部119の制御に基づき注目領域単位で同期して行われる。
バッファ112にはノイズ低減処理後の全信号が、バッファ1105には4×4画素単位でエッジ方向が記録されることになる。
エッジ抽出部114は、第1の実施形態と同様にバッファ105から注目画素P22およびその周囲8画素(P11,P21,P31,P12,P32,P13,P23,P33)の9画素を、バッファ1105から各画素が属する4×4画素単位を探索し、エッジ方向(D22およびD11,D21,D31,D12,D32,D13,D23,D33)を読み込む。その後、上記9画素に対してエッジ方向に基づき図12〜図19に示されるエッジ抽出フィルタを選択し、フィルタ処理を行いエッジ成分(E22およびE11,E21,E31,E12,E32,E13,E23,E33)を抽出し、エッジ補正部115へ転送する。
エッジ補正部115は、第1の実施形態と同様に、注目画素P22のエッジ成分E22に関して、バッファ1105からのエッジ方向D22およびエッジ抽出部114からの周囲8画素のエッジ成分(E11,E21,E31,E12,E32,E13,E23,E33)に基づきこれを補正したエッジ成分E'22を求め、エッジ強調部116へ転送する。
エッジ強調部116は、制御部119の制御に基づき、バッファ112からノイズ低減処理後の注目画素P'22を順次抽出する。その後、エッジ補正部115からのエッジ成分E'22に基づき第1の実施形態と同様にエッジ強調処理後の画素値P"22を求め、信号処理部117へ転送する。
上記エッジ抽出部114,エッジ補正部115,エッジ強調部116における処理は、制御部119の制御に基づき注目画素単位で同期して行われる。
信号処理部117は、制御部119の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理などを行い、出力部118へ転送する。出力部118は、メモリーカードなどへ信号を記録保存する。
図41はノイズ推定部1101の構成の一例を示すものである。ノイズ推定部1101は、第1の実施形態の図3に示されるノイズ推定部110に0次成分抽出部1200,ノイズLUT1201が追加され、平均算出部200,パラメータ用ROM203,パラメータ選択部204,補間部205,補正部206が省略された構成になっている。基本構成は図3に示すノイズ推定部110と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
DCT変換部1100は、0次成分抽出部1200およびエッジ方向検出部1104へ接続している。0次成分抽出部1200,ゲイン算出部201,標準値付与部202は、ノイズLUT1201へ接続している。ノイズLUT1201は、ノイズ低減部1102へ接続している。制御部119は、0次成分抽出部1200,ノイズLUT1201へ双方向に接続されている。
0次成分抽出部1200は、制御部119の制御に基づきDCT変換部1100から4×4画素サイズの注目領域(ブロック領域)に対する周波数成分を読み込み、その0次成分を抽出する。上記0次成分はノイズLUT1201へ転送される。
ゲイン算出部201は、制御部119から転送されるISO感度および露光条件に関する情報に基づき増幅器103におけるゲインを求め、ノイズLUT1201へ転送する。
また、制御部119は温度センサー121からCCD102の温度情報を得て、これをノイズLUT1201へ転送する。
ノイズLUT1201は、0次成分抽出部1200からの0次成分,ゲイン算出部201からのゲインの情報,制御部119からの温度情報に基づき0次成分以外の高周波数成分に対するノイズ量を推定する。
ノイズLUT1201は、温度,信号値レベル,ゲインと0次成分以外の高周波数成分に対するノイズ量間の関係を記録したルックアップテーブルで、第1の実施形態の手法を周波数空間に適用することにより構築される。ノイズLUT1201で得られた0次成分以外の高周波数成分に対するノイズ量はノイズ低減部1102へ転送される。
なお、標準値付与部202は第1の実施形態と同様に、いずれかのパラメータが省略された場合に標準値を与える機能を受け持つ。
図42はノイズ低減部1102の構成の一例を示すものである。ノイズ低減部1102は、第1の実施形態の図7に示されるノイズ低減部111に周波数分離部1300,平均算出部1301が追加された構成になっている。基本構成は図7に示されるノイズ低減部111と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
ノイズ推定部1101は範囲設定部300へ接続している。DCT変換部1100は周波数分離部1300へ、周波数分離部1300は平均算出部1301および逆DCT変換部1103へ接続している。平均算出部1301は、範囲設定部300および切り換え部301へ接続している。第1スムージング部302および第2スムージング部303は、逆DCT変換部1103へ接続している。制御部119は、周波数分離部1300,平均算出部1301と双方向に接続している。
周波数分離部1300は、制御部119の制御に基づきDCT変換部1100から図40に示されるような周波数成分を読み込み、これを各周波数成分ごとに分離する。分離された0次成分F0は逆DCT変換部1103へ、0次成分以外の高周波数成分FLe(Lは1〜5の次数を、eは各次数に含まれる要素を意味する)は平均算出部1301へ転送される。
平均算出部1301は、制御部119の制御に基づき次数ごとの高周波数成分の平均値AV_FLを算出し、これを範囲設定部300へ転送する。また、高周波数成分FLeは切り換え部301へ転送される。
範囲設定部300は、制御部119の制御に基づきノイズ推定部1101から次数ごとのノイズ量N_FLを読み込み、許容範囲として上限F_UpLおよび下限F_LowLを次数ごとに設定する。
[数16]
F_UpL =AV_FL+N_FL/2
F_LowL=AV_FL−N_FL/2
上記許容範囲は、切り換え部301へ転送される。また、範囲設定部300は平均値AV_FLおよびノイズ量N_FLを第1スムージング部302および第2スムージング部303へ転送する。
切り換え部301は、制御部119の制御に基づき平均算出部1301からの高周波数成分FLeを読み込み、上記許容範囲に属するか否かの判断を行う。判断は、「ノイズ範囲に属している」,「ノイズ範囲を上回っている」,「ノイズ範囲を下回っている」の三通りである。切り換え部301は、「ノイズ範囲に属している」場合は第1スムージング部302へ、それ以外は第2スムージング部303へ高周波数成分FLを転送する。
第1スムージング部302は、切り換え部301からの高周波数成分FLeに範囲設定部300からの平均値AV_FLを代入する処理を行う。
[数17]
F'Le=AV_FL
数式17でのノイズ低減処理がなされた高周波数成分F'Leは逆DCT変換部1103へ転送される。
第2スムージング部303は、切り換え部301からの高周波数成分FLeに範囲設定部300からの平均値AV_FLおよびノイズ量N_FLを用いて補正する処理を行う。
まず、「ノイズ範囲を上回っている」場合は下記の数式18のように補正する。
[数18]
F'Le=AV_FL−N_FL/2
また、「ノイズ範囲を下回っている」場合は下記の数式19のように補正する。
[数19]
F'Le=AV_FL+N_FL/2
数式18または数式19のノイズ低減処理がなされた高周波数成分F'Leは逆DCT変換部1103へ転送される。
図43はエッジ方向検出部1104の構成の一例を示すものである。エッジ方向検出部1104は、水平高周波積算部1400,垂直高周波積算部1401,方向決定部1402を備えている。ノイズ推定部1101は、水平高周波積算部1400および垂直高周波積算部1401へ接続している。水平高周波積算部1400および垂直高周波積算部1401は、方向決定部1402へ接続している。方向決定部1402は、バッファ1105へ接続している。制御部119は、水平高周波積算部1400,垂直高周波積算部1401,方向決定部1402と双方向に接続している。
水平高周波積算部1400および垂直高周波積算部1401は、制御部119の制御に基づき、図44に示すように周波数成分から水平方向または垂直方向の0次成分を除く高周波成分を読み込む。上記高周波成分は絶対値化された後に積算され、水平または垂直のエッジ成分として、方向決定部1402へ転送される。
方向決定部1402は、制御部119の制御に基づき注目画素P22を含む4×4画素サイズの注目領域単位(ブロック領域単位)で、水平高周波積算部1400からの水平エッジ成分E022および垂直高周波積算部1401からの垂直エッジ成分E9022に基づき数式12に示されるようにエッジ方向D22を算出する。算出されたエッジ方向はバッファ1105へ転送される。
上記構成により、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。ノイズ低減処理の過程で得られた周波数情報からエッジの方向を検出するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。
また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。この場合、エッジ成分の抽出時に用いたエッジ方向を再利用するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。
さらに、ノイズ低減処理では注目領域を周波数空間へ変換し、0次成分からノイズ量を推定しノイズ低減処理を行うために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。
ここで、上記の第3の実施形態の信号処理をソフトウェアで処理する場合のフローチャートを説明する。なお、本フローチャートは、図26、図27に示した第1の実施形態のソフトウェア処理に関するフローチャートにおいて、ステップS2からステップS8までの流れにおける具体的処理内容が異なり、他はほぼ同様の処理であるために、異なる部分についてのみ説明する。
図45〜図47に、信号処理のソフトウェア処理に関するフローチャートを示す。
処理を開始すると、まず、信号と温度,ゲインなどのヘッダ情報を読み込み(ステップS1)、その後、図39に示されるような4×4画素サイズの注目領域を順次抽出する(ステップS51)。
次に上記順次抽出した注目領域にDCT変換を行い、図40に示されるような周波数成分へ変換し(ステップS52)、0次成分とそれ以外の次数の高周波成分に分離する(ステップS53)。
その後、別途説明するように、0次成分以外の高周波数成分に対するノイズ量を次数成分ごとに算出する(ステップS54)。
また、上記ステップS53で分離した次数ごとの高周波数成分の平均値を算出する(ステップS55)。
続いて、注目領域に数式16に示される許容範囲を設定する(ステップS56)。
次に、注目画素が許容範囲内に属するか否かを判断し、属する場合は次のステップS58へ、属さない場合はステップS59へ分岐する(ステップS57)。
ステップS57において注目画素が許容範囲内に属すると判断されると、数式17に示される処理を行う(ステップS58)。
一方、ステップS57において注目画素が許容範囲内に属さないと判断されると、数式18または数式19に示される処理を行う(ステップS59)。
次に、0次成分とノイズ低減処理後の0次成分以外の高周波数成分に対して逆DCT変換を行い、実空間の画素へ変換する(ステップS60)。
上記ステップS60の処理が終わると、続いて全注目領域の抽出が完了したかを判断し、完了していない場合はステップS52へ、完了した場合はステップS9へ分岐する(ステップS8)。
上記ステップS8で全注目領域の抽出が完了したと判断されると、次に図10に示されるような注目画素および5×5画素サイズの処理領域を抽出する(ステップS9)。
続いて、別途説明するように、図44に示される水平,垂直方向の周波数成分からエッジ方向を検出する(ステップS61)。
さらに、ステップS61からのエッジ方向に基づきノイズ低減処理前の原信号からエッジ成分を抽出する(ステップS11)。
次にステップS10で検出したエッジ方向に基づき図23または図24に示される近傍画素のエッジ成分により数式13または数式14に示される補正処理によってエッジ成分を補正する(ステップS12)。
更に、ノイズ低減処理後の注目画素の信号に数式1に示されるエッジ強調処理を行う(ステップS13)。
そして、全処理領域の抽出が完了したかを判断し、完了していない場合はステップS9へ、完了した場合はステップS15へ分岐する(ステップS14)。
ステップS14で全処理領域の抽出が完了したと判断されると、続いて公知の圧縮処理などが行われる(ステップS15)。
その後、処理後の信号が出力され終了する(ステップS16)。
図46は、上記ステップS54におけるノイズ量の推定に関するフローチャートである。
まず、上記ステップS53で分離した4×4画素サイズの注目領域に対する周波数成分の0次成分を抽出する(ステップS71)。
一方、ヘッダー情報に基づきゲイン,温度などの情報を設定する(ステップS72)。このとき、もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。
次にルックアップテーブルを用いてノイズ量を求め(ステップS73)、算出されたノイズ量を出力して終了する(ステップS74)。
図47は、上述したステップS61のエッジ方向検出処理に関するフローチャートである。
図44に示されるように0次成分を除く水平方向の高周波成分を絶対値化した後に積算して水平エッジ成分を求める(ステップS81)。また、図44に示されるように0次成分を除く垂直方向の高周波成分を絶対値化した後に積算して垂直エッジ成分を求める(ステップS82)。
次に、4×4画素サイズの注目領域単位で、上記ステップS81で求めた水平エッジ成分および上記ステップS82で求めた垂直エッジ成分に基づき、上記数式12に示されるようにエッジ方向を検出し(ステップS83)、検出された方向を出力して終了する(ステップS84)。
なお、上記第3の実施形態においては周波数成分への変換をDCT変換により行い、変換の処理サイズを4×4画素とする構成になっていたが、このような構成に限定される必要はない。例えば、周波数成分への変換としてはFFT(Fast Fourier Transform)やWavelet変換などを使用することもできる。また、処理サイズとしては2×2画素など、より小さくすることで方向検出の精度を向上することもできるし、8×8画素など、より大きくすることで全体の処理を高速化することも可能である。
また、上記第3の実施形態では撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。第1の実施形態と同様に、撮像部と分離した構成も可能である。
[第4の実施形態]
図48から図51は本発明の第4の実施形態を示したものであり、図48は第4の実施形態の構成を示すブロック図、図49、図50はカラーフィルタに関する説明図であって、図49はBayer型原色フィルタを示す図、図50は色差線順次型補色フィルタを示す図、図51は第4の実施形態における信号処理のフローチャートである。
図48は、第4の実施形態の構成を示すブロック図である。本実施形態は、図1に示す第1の実施形態におけるCCD102がカラーCCD1500に置換され、PreWB部1501,補間部1502,Y/C分離部1503,バッファ1504,Y/C合成部1505が追加された構成になっている。基本構成は第1の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
カラーCCD1500は、増幅器103へ接続されている。また、カラーCCD1500の近傍には温度センサー121が配置されている。バッファ105は、PreWB部1501,測光評価部106,合焦点検出部107,補間部1502へ接続されている。補間部1502は、Y/C分離部1503,バッファ1504を介して抽出部109およびエッジ抽出部114へ接続されている。エッジ強調部116はY/C合成部1505へ、Y/C合成部1505は信号処理部117へ接続されている。制御部119は、PreWB部1501,補間部1502,Y/C分離部1503,Y/C合成部1505と双方向に接続されている。
本実施形態は、基本的に第1の実施形態と同様であり、異なる部分のみ説明する。
図48において、信号の流れを説明する。外部I/F部120を介してシャッターボタンを半押しにすることでプリ撮像モードに入る。
レンズ系100,絞り101,カラーCCD1500を介して撮影された信号は、増幅器103,A/D変換器104を介してバッファ105へ転送される。なお、本実施形態においてカラーCCD1500はBayer型原色フィルタを前面に配置した単板CCDを想定する。図49は、Bayer型の色フィルタの構成を示す。Bayer型は2×2画素を基本単位とし、赤(R),青(B)フィルタが1画素ずつ、緑(G)フィルタが2画素配置される。
バッファ105内の信号は、PerWB部1501へ転送される。
PreWB部1501は所定輝度レベルの信号を色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。PreWB部1501は、上記係数を増幅器103へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。
次に、外部I/F部120を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ105へ転送される。なお、PreWB部1501によって求められたホワイトバランス係数は制御部119へ転送される。バッファ105内の信号は補間部1502へ転送される。
補間部1502は、公知の線形補間などの手法を用いて、単板状態から三板状態の信号を生成する。三板状態の信号はY/C分離部1503へ転送され輝度信号Yおよび色差信号Cb,Crに分離される。
[数20]
Y = 0.29900R+0.58700G+0.11400B
Cb=−0.16874R−0.33126G+0.50000B
Cr= 0.50000R−0.41869G−0.08131B
輝度信号Yおよび色差信号Cb,Crはバッファ1504へ転送され保存される。
第1の実施形態と同様に抽出部109,ノイズ推定部110,ノイズ低減部111により輝度信号Yはノイズ低減処理がなされて輝度信号Y'となる。
なお、図3に示すノイズ推定部110中のゲイン算出部201は、制御部119から転送されるISO感度および露光条件に関する情報およびPreWB部1501によって求められたホワイトバランス係数に基づき増幅器103におけるゲインを求める。輝度信号Y'と色差信号Cb,Crはバッファ112へ転送され保存される。
第1の実施形態と同様にエッジ方向検出部113は、制御部119の制御に基づきバッファ112からノイズ低減処理後の輝度信号Y'を読み込み、注目画素P'22およびこれを包含する5×5画素サイズの処理領域を順次抽出する。その後、注目画素P'22およびその周囲8画素のエッジ方向を検出する。エッジ方向は、「最大値を与える方向」または「等方的なエッジ方向」または「エッジ方向がない」の三通りで、第1の実施形態と同様に後段の処理が選択される。
エッジ抽出部114は、制御部119の制御に基づき上記エッジ方向検出部113で用いた処理領域と同一位置のノイズ低減処理前の輝度信号Yをバッファ1504から順次抽出する。その後、エッジ方向検出部113からのエッジ方向に基づき、注目画素P'22およびその周囲8画素のエッジ成分を抽出し、エッジ補正部115へ転送する。
エッジ補正部115は、制御部119の制御に基づき、注目画素P'22のエッジ成分E22に関して、エッジ方向検出部113からのエッジ方向D22およびエッジ抽出部114からの周囲8画素のエッジ成分に基づきこれを補正したエッジ成分E'22を求め、エッジ強調部116へ転送する。
エッジ強調部116は、制御部119の制御に基づきバッファ112からノイズ低減処理後の輝度信号Y'を読み込み、注目画素P'22を順次抽出する。その後、エッジ強調部116は、エッジ補正部115からのエッジ成分E'22に基づき、エッジ強調処理後の画素値P"22を求め、エッジ強調処理後の輝度信号Y"としてY/C合成部1505へ転送する。また、エッジ強調部116はバッファ112から色差信号Cb,Crを読み込み、これをY/C合成部1505へ転送する。
Y/C合成部1505は、制御部119の制御に基づきエッジ強調部116からのエッジ強調処理後の輝度信号Y"と色差信号Cb,Crから、数式21に示すようにR,G,B信号を合成する。
[数21]
R=Y" +1.40200Cr
G=Y"−0.34414Cb−0.71414Cr
B=Y"+1.77200Cb
R,G,B信号は信号処理部112へ転送される。
信号処理部117は、制御部119の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理や色強調処理などを行い、出力部118へ転送する。出力部118は、メモリーカードなどへ信号を記録保存する。
上記構成により、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理後の輝度信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。
また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。
さらに、ノイズ低減処理はノイズ推定およびノイズ低減により行われるが、ノイズ推定においては広い領域から推定を行うことで推定精度を高めるようにし、ノイズ低減においては注目画素のみを対象とするようにしたために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。
ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。
さらに、エッジ方向の検出は、複数方向または水平および垂直方向のエッジ強度を求めた後に、ノイズ量に基づく閾値との比較または微小なエッジ強度の除去を行うようにしたために、ノイズによる影響を抑制し精度の高いエッジ方向が得られる。また、エッジ方向が決定できなかった場合に後段のエッジ抽出処理を停止させるために、無駄な処理を省略でき処理速度を高速化することができる。さらに、エッジ方向が複数検出された場合に等方的なエッジ抽出処理を行うために、安定した処理結果が得られる。
また、カラー撮像素子からの信号に対応することができ、補間処理を行った後に輝度信号と色信号に分離するために、現状の撮影部および信号処理系との親和性が高く、多くの撮像システムへの適用が可能となる。
なお、上記実施形態ではカラーCCD1500はBayer型原色フィルタを前面に配置した単板CCDを想定したが、このような構成に限定される必要はない。例えば、色差線順次型補色フィルタや二板,三板CCDにも適用可能である。図50は、色差線順次型補色フィルタの構成を示す。色差線順次型は2×2画素を基本単位とし、シアン(Cy),マゼンタ(Mg),イエロー(Ye),緑(G)が1画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。この場合、2×2画素領域を1行または1列ずつ重複させながら順次抽出し、下記の数式22に示す輝度信号Yおよび色差信号Cb,Crを領域単位に算出する構成も可能である。
[数22]
Y =Cy+Ye+Mg+G
Cb=(Cy+Mg)−(Ye+G)
Cr=(Ye+Mg)−(Cy+G)
また、上記第4の実施形態では輝度信号のみにノイズ低減処理を行っていたが、このような構成に限定される必要はない。色差信号に対してもノイズ低減処理を行う構成も可能である。
さらに、上記第4の実施形態では撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。第1の実施形態と同様に、撮像部と別体となる構成も可能である。
また、上記第4の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、カラーCCD1500からの信号を未処理のままのRawデータとして、制御部119からの撮影時の温度,ゲイン,ホワイトバランス係数などをヘッダ情報として出力し、別途ソフトウェアによって処理する構成も可能である。
図51は、信号処理のソフトウェア処理に関するフローチャートを示す。なお、図26に示す第1の実施形態における信号処理の流れと同一な処理ステップに関しては、同一なステップ符号を割り当てている。
まず、信号と温度,ゲイン,ホワイトバランス係数などのヘッダ情報を読み込む(ステップS1)。
次に、単板状態の信号を線形補間などで三板状態にする(ステップS90)。
更に、数式20に示されるように、信号を輝度信号Yおよび色差信号Cb,Crに分離する(ステップS91)。
その後、図2に示されるように輝度信号から注目画素および3×3画素サイズの注目領域を抽出する(ステップS2)。
次に、図27に示されるフローチャートに基づき抽出した注目領域のノイズ量を推定し、それを注目画素に対するノイズ量として算出する(ステップS3)。
そして、注目画素に対して数式7に示される許容範囲を設定する(ステップS4)。
その後、注目画素が許容範囲内に属するか否かを判断し、属する場合はステップS6へ、属さない場合はステップS7へ分岐する(ステップS5)。
ステップS5において注目画素が許容範囲内に属すると判断されると、数式8に示される処理を行う(ステップS6)。
一方、ステップS5において注目画素が許容範囲内に属さないと判断されると、数式9または数式10に示される処理を行う(ステップS7)。
次に、全注目領域の抽出が完了したかを判断し、完了していない場合はステップS2へ、完了した場合はステップS9へ分岐する(ステップS8)。
全注目領域の抽出が完了した場合は、図10に示されるようにノイズ低減後の輝度信号から注目画素を中心とした5×5画素サイズの処理領域を抽出する(ステップS9)。
ステップS9で抽出した処理領域の画素のうち、図11に示される9画素に対して図12〜図19に示される方向別の抽出フィルタを用いてエッジ方向を検出する(ステップS10)。
その後、ステップS10で検出したエッジ方向に基づきノイズ低減処理前の輝度信号からエッジ成分を抽出する(ステップS11)。
更に、ステップS10からのエッジ方向に基づき図23または図24に示される近傍画素のエッジ成分により数式13または数式14に示される補正処理によってエッジ成分を補正する(ステップS12)。
次に、ノイズ低減処理後の注目画素の信号に数式1に示されるエッジ強調処理を行う(ステップS13)。
その後、全処理領域の抽出が完了したかを判断し、完了していない場合はステップS9へ、完了した場合はステップS92へ分岐する(ステップS14)。
ステップS14で全処理領域の抽出が完了したと判断されると、数式21に示されるようにR,G,B信号を合成する(ステップS92)。
次に合成された信号に対して、公知の圧縮処理や色強調処理などが行われる(ステップS15)。
そして、処理後の信号が出力され終了する(ステップS16)。
[第5の実施形態]
図52から図72は本発明の第5の実施形態を示したものであり、図52は第5の実施形態の構成を示すブロック図、図53〜図56はY/C分離に関する説明図であって、図53はBayer型原色フィルタを示す図、図54は輝度信号を示す図、図55はR(赤)の色差信号を示す図、図56はB(青)の色差信号を示す図、図57はエッジ方向抽出部の0°のエッジ抽出フィルタに関する説明図であって、注目画素がRまたはBのときを示す図、図58はエッジ方向抽出部の0°のエッジ抽出フィルタに関する説明図であって、注目画素がGのときを示す図、図59はエッジ方向抽出部の45°のエッジ抽出フィルタに関する説明図であって、注目画素がRまたはBのときを示す図、図60はエッジ方向抽出部の45°のエッジ抽出フィルタに関する説明図であって、注目画素がGのときを示す図、図61はエッジ方向抽出部の90°のエッジ抽出フィルタに関する説明図であって、注目画素がRまたはBのときを示す図、図62はエッジ方向抽出部の90°のエッジ抽出フィルタに関する説明図であって、注目画素がGのときを示す図、図63はエッジ方向抽出部の135°のエッジ抽出フィルタに関する説明図であって、注目画素がRまたはBのときを示す図、図64はエッジ方向抽出部の135°のエッジ抽出フィルタに関する説明図であって、注目画素がGのときを示す図、図65はエッジ方向抽出部の180°のエッジ抽出フィルタに関する説明図であって、注目画素がRまたはBのときを示す図、図66はエッジ方向抽出部の180°のエッジ抽出フィルタに関する説明図であって、注目画素がGのときを示す図、図67はエッジ方向抽出部の225°のエッジ抽出フィルタに関する説明図であって、注目画素がRまたはBのときを示す図、図68はエッジ方向抽出部の225°のエッジ抽出フィルタに関する説明図であって、注目画素がGのときを示す図、図69はエッジ方向抽出部の270°のエッジ抽出フィルタに関する説明図であって、注目画素がRまたはBのときを示す図、図70はエッジ方向抽出部の270°のエッジ抽出フィルタに関する説明図であって、注目画素がGのときを示す図、図71はエッジ方向抽出部の315°のエッジ抽出フィルタに関する説明図であって、注目画素がRまたはBのときを示す図、図72はエッジ方向抽出部の315°のエッジ抽出フィルタに関する説明図であって、注目画素がGのときを示す図である。
図52は、本発明の第5の実施形態の構成を示すブロック図である。本実施形態は、図1に示す第1の実施形態におけるCCD102がカラーCCD1600に置換され、PreWB部1601,Y/C分離部1602,バッファ1603,補間部1604,Y/C合成部1605が追加された構成になっている。基本構成は第1の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
カラーCCD1600は、増幅器103へ接続されている。また、カラーCCD1600の近傍には温度センサー121が配置されている。バッファ105は、PreWB部1601,測光評価部106,合焦点検出部107,Y/C分離部1602へ接続されている。Y/C分離部1602は、バッファ1603を介して抽出部109およびエッジ抽出部114へ接続されている。バッファ112は、補間部1604を介してエッジ方向検出部113およびエッジ強調部116へ接続されている。エッジ強調部116はY/C合成部1605へ、Y/C合成部1605は信号処理部117へ接続されている。制御部119は、PreWB部1601,Y/C分離部1602,補間部1604,Y/C合成部1605と双方向に接続されている。
本実施形態は、基本的に第1の実施形態と同様であり、異なる部分のみ説明する。
図52において、信号の流れを説明する。まず外部I/F部120を介してシャッターボタンを半押しにすることでプリ撮像モードに入る。
レンズ系100,絞り101,カラーCCD1600を介して撮影された信号は、増幅器103,A/D変換器104を介してバッファ105へ転送される。なお、本実施形態においてカラーCCD1600は図53に示すBayer型原色フィルタを前面に配置した単板CCDを想定する。
PreWB部1601では所定輝度レベルの信号を色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。上記係数を増幅器103へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。
次に、外部I/F部120を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ105へ転送される。
なお、PreWB部1601によって求められたホワイトバランス係数は制御部119へ転送される。バッファ105内の信号はY/C分離部1602へ転送される。
Y/C分離部1602は、図54、図55、図56に示すように、輝度信号YとしてG信号を、色差信号CbとしてB信号を、色差信号CrとしてR信号を想定する。
[数23]
Y =G
Cb=B
Cr=R
上記輝度信号および色差信号は補間処理前の単板状態にあり、バッファ1603へ転送される。
その後、第1の実施形態と同様に抽出部109,ノイズ推定部110,ノイズ低減部111により輝度信号Yはノイズ低減処理がなされて輝度信号Y'となる。
なお、図3に示すノイズ推定部110中のゲイン算出部201は、制御部119から転送されるISO感度および露光条件に関する情報およびPreWB部1601によって求められたホワイトバランス係数に基づき増幅器103におけるゲインを求める。また、3×3画素サイズの注目領域中に輝度信号Y、すなわちG信号は5画素または4画素しか存在しないために、平均値の算出は上記5画素または4画素を用いて行われる。
ノイズ低減後の輝度信号Y'と色差信号Cb,Crはバッファ112へ転送され保存される。
補間部1604は、バッファ112から輝度信号Y'と色差信号Cb,Crを読み込み、公知の線形補間などの手法を用いて単板状態から三板状態の信号を生成する。
三板状態の信号はエッジ方向検出部113およびエッジ強調部116へ転送される。
第1の実施形態と同様にエッジ方向検出部113は、制御部119の制御に基づき補間部1604からノイズ低減処理後の輝度信号Y'を読み込み、注目画素P'22およびこれを包含する5×5画素サイズの処理領域を順次抽出する。その後、注目画素P'22およびその周囲8画素のエッジ方向を検出する。エッジ方向は、「最大値を与える方向」または「等方的なエッジ方向」または「エッジ方向がない」の三通りで、第1の実施形態と同様に後段の処理が選択される。
エッジ抽出部114は、制御部119の制御に基づき上記エッジ方向検出部113で用いた処理領域と同一位置のノイズ低減処理前の単板状態の輝度信号Yをバッファ1603から順次抽出する。その後、エッジ方向検出部113からのエッジ方向に基づき、注目画素P'22およびその周囲8画素のエッジ成分を抽出し、エッジ補正部115へ転送する。なお、エッジ抽出フィルタは図57〜図72に示されるように、単板状態の輝度信号Yに適用できる形態を使用する。
エッジ補正部115は、制御部119の制御に基づき、注目画素P'22のエッジ成分E22に関して、エッジ方向検出部113からのエッジ方向D22およびエッジ抽出部114からの周囲8画素のエッジ成分に基づきこれを補正したエッジ成分E'22を求め、エッジ強調部116へ転送する。
エッジ強調部116は、制御部119の制御に基づき補間部1604からノイズ低減処理後の輝度信号Y'を読み込み、注目画素P'22を順次抽出する。その後、エッジ補正部115からのエッジ成分E'22に基づき、エッジ強調処理後の画素値P"22を求め、エッジ強調処理後の輝度信号Y"としてY/C合成部1605へ転送する。また、エッジ強調部116は補間部1604から色差信号Cb,Crを読み込み、これをY/C合成部1605へ転送する。
Y/C合成部1605は、制御部119の制御に基づきエッジ強調部116からのエッジ強調処理後の輝度信号Y"と色差信号Cb,CrからR,G,B信号を求める。
[数24]
R=Cr
G=Y"
B=Cb
R,G,B信号は信号処理部117へ転送される。
信号処理部117は、制御部119の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理や色強調処理などを行い、出力部118へ転送する。
出力部118は、メモリーカードなどへ信号を記録保存する。
上記構成により、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理後の輝度信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。この場合に、エッジ成分の抽出を補間前の信号から行うために、より高精細なエッジ成分の抽出が可能となる。
また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。
さらに、ノイズ低減処理はノイズ推定およびノイズ低減により行われるが、ノイズ推定においては広い領域から推定を行うことで推定精度を高めるようにし、ノイズ低減においては注目画素のみを対象とするようにしたために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。
ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。
さらに、エッジ方向の検出は、複数方向または水平および垂直方向のエッジ強度を求めた後に、ノイズ量に基づく閾値との比較または微小なエッジ強度の除去を行うようにしたために、ノイズによる影響を抑制し精度の高いエッジ方向が得られる。また、エッジ方向が決定できなかった場合に後段のエッジ抽出処理を停止させるために、無駄な処理を省略でき処理速度を高速化することができる。さらに、エッジ方向が複数検出された場合に等方的なエッジ抽出処理を行うために、安定した処理結果が得られる。
また、カラー撮像素子からの信号に対応することができ、現状の撮影部との親和性が高く、多くの撮像システムへの適用が可能となる。
なお、上記実施形態では撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。第1の実施形態と同様に、撮像部と分離した構成も可能である。
さらに、上記第5の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。第1の実施形態と同様に、ソフトウェアによって処理する構成も可能である。
[第6の実施形態]
図73は本発明の第6の実施形態を示したものであり、第6の実施形態の構成を示したブロック図である。本実施形態は、図28に示す第2の実施形態におけるCCD102がカラーCCD1700に置換され、PreWB部1701,補間部1702,Y/C分離部1703,バッファ1704,Y/C合成部1705が追加された構成になっている。基本構成は第2の実施形態と同様であり、同一の構成には同一の名称と符号を付して説明を省略し、主として異なる点についてのみ説明する。
カラーCCD1700は、増幅器103へ接続されている。また、カラーCCD1700の近傍には温度センサー121が配置されている。バッファ105は、PreWB部1701,測光評価部106,合焦点検出部107,補間部1702へ接続されている。補間部1702は、Y/C分離部1703,バッファ1704を介して抽出部700およびエッジ抽出部114へ接続されている。エッジ強調部116はY/C合成部1705へ、Y/C合成部1705は信号処理部117へ接続されている。制御部119は、PreWB部1701,補間部1702,Y/C分離部1703,Y/C合成部1705と双方向に接続されている。
本実施形態は、基本的に第2の実施形態と同様であり、異なる部分のみ説明する。
図73において、信号の流れを説明する。外部I/F部120を介してシャッターボタンを半押しにすることでプリ撮像モードに入る。
レンズ系100,絞り101,カラーCCD1700を介して撮影された信号は、増幅器103,A/D変換器104を介してバッファ105へ転送される。なお、本実施形態においてカラーCCD1700はBayer型原色フィルタを前面に配置した単板CCDを想定する。
バッファ105内の信号は、PreWB部1701へ転送される。
PreWB部1701では所定輝度レベルの信号を色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。そして上記係数を増幅器103へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。
次に、外部I/F部120を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ105へ転送される。
なお、PreWB部1701によって求められたホワイトバランス係数は制御部119へ転送される。バッファ105内の信号は補間部1702へ転送される。
補間部1702は、公知の線形補間などの手法を用いて、単板状態から三板状態の信号を生成する。三板状態の信号はY/C分離部1703へ転送され、数式20に示されるように輝度信号Yおよび色差信号Cb,Crに分離される。輝度信号Yおよび色差信号Cb,Crはバッファ1704へ転送され保存される。
第2の実施形態と同様に抽出部700,ノイズ推定部701,ノイズ低減部111により輝度信号Yはノイズ低減処理がなされて輝度信号Y'となる。輝度信号Y'と色差信号Cb,Crはバッファ112へ転送され保存される。
エッジ方向検出部702は、ノイズ推定部701からの注目画素および類似画素の情報に基づき、注目画素P'22に対するエッジ方向D22を検出する。上記エッジ方向は、バッファ703へ転送される。バッファ112にはノイズ低減処理後の全信号が、バッファ703にはエッジ方向が記録されることになる。
エッジ抽出部114は、バッファ1704からノイズ低減処理前の輝度信号Yを読み込み、注目画素P22およびその周囲8画素を抽出する。その後、バッファ703からのエッジ方向に基づき、注目画素P'22およびその周囲8画素のエッジ成分を抽出し、エッジ補正部115へ転送する。
エッジ補正部115は、制御部119の制御に基づき、注目画素P'22のエッジ成分E22に関して、バッファ703からのエッジ方向D22およびエッジ抽出部114からの周囲8画素のエッジ成分に基づきこれを補正したエッジ成分E'22を求め、エッジ強調部116へ転送する。
エッジ強調部116は、制御部119の制御に基づきバッファ112からノイズ低減処理後の輝度信号Y'を読み込み、注目画素P'22を順次抽出する。その後、エッジ補正部115からのエッジ成分E'22に基づき、エッジ強調処理後の画素値P"22を求め、エッジ強調処理後の輝度信号Y"としてY/C合成部1705へ転送する。また、エッジ強調部116はバッファ112から色差信号Cb,Crを読み込み、これをY/C合成部1705へ転送する。
Y/C合成部1705は、制御部119の制御に基づきエッジ強調部116からのエッジ強調処理後の輝度信号Y"と色差信号Cb,Crから数式21に示されるようにR,G,B信号を合成する。R,G,B信号は信号処理部117へ転送される。
信号処理部117は、制御部119の制御に基づきエッジ強調処理後の信号に対して公知の圧縮処理や色強調処理などを行い、出力部118へ転送する。出力部118は、メモリーカードなどへ信号を記録保存する。
上記構成により、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理の過程で得られた輝度信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出することで、ノイズの影響を抑制しかつ微細な信号を保存した高品位なエッジ成分が得られる。
ノイズ低減処理の過程で得られた情報からエッジの方向を検出するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。また、検出されたエッジ方向に基づきエッジ成分を補正するために、高品位なエッジ成分を生成することができる。
さらに、ノイズ低減処理では注目画素から概略的な第1のノイズ量を推定し、第1のノイズ量から類似画素を抽出し、注目画素および類似画素からより精度の高い第2のノイズ量を推定し、第2のノイズ量に基づきノイズ低減処理を行うために、ノイズ低減処理の精度を向上することができ、高品位な信号が得られる。ノイズ推定は、ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定するために、高精度かつ安定したノイズ低減効果が得られる。
また、カラー撮像素子からの信号に対応することができ、補間処理を行った後に輝度信号と色信号に分離するために、現状の撮影部および信号処理系との親和性が高く、多くの撮像システムへの適用が可能となる。
なお、上記実施形態では撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。第1の実施形態と同様に、撮像部と分離した構成も可能である。
さらに、上記第6の実施形態ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。第2の実施形態と同様に、ソフトウェアによって処理する構成も可能である。
[付記]
(1)上記目的を達成するために、第1の発明による撮影システムは、撮像素子からの信号を処理する撮像システムにおいて、撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手段と、上記ノイズ低減処理がなされた信号からエッジ方向を検出するエッジ方向検出手段と、上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出するエッジ抽出手段とを有することを特徴とする。
この発明の適用例は、図1〜図27に示される第1の実施形態に記載されている。上記構成のノイズ処理手段は図1,図3,図7,図25に示される抽出部109,ノイズ推定部110,ノイズ低減部111が、エッジ方向検出手段は図1,図8,図9,図25に示されるエッジ方向検出部113が、エッジ抽出手段は図1,図25に示されるエッジ抽出部114がそれぞれ該当する。
この発明の好ましい適用例は、抽出部109,ノイズ推定部110,ノイズ低減部111によってノイズ低減処理を行い、エッジ方向検出部113によってノイズ低減処理後の信号からエッジ方向を検出し、エッジ抽出部114によって上記エッジ方向に基づきノイズ低減前の原信号からエッジ成分を抽出する撮像システムである。
第1の発明による撮像システムは、ノイズ低減処理後の信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。
(2)また、第2の発明による撮影システムは、撮像素子からの信号を処理する撮像システムにおいて、上記撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手段と、上記ノイズ低減手段からの情報に基づきエッジ方向を検出するエッジ方向検出手段と、上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出するエッジ抽出手段とを有することを特徴とする。
この発明の適用例は、図28〜図37に示される第2の実施形態および図38〜図47に示される第3の実施形態に記載されている。上記構成のノイズ処理手段は図28,図31,図32に示される抽出部700,ノイズ推定部701,ノイズ低減部111および図38,図41,図42に示される抽出部109,DCT変換部1100,ノイズ推定部1101,ノイズ低減部1102,逆DCT変換部1103が、エッジ方向検出手段は図28,図33に示されるエッジ方向検出部702および図38,図43に示されるエッジ方向検出部1104が、エッジ抽出手段は図28,図38に示されるエッジ抽出部114がそれぞれ該当する。
この発明の好ましい適用例は、抽出部700,ノイズ推定部701,ノイズ低減部111または抽出部109,DCT変換部1100,ノイズ推定部1101,ノイズ低減部1102,逆DCT変換部1103によってノイズ低減処理を行い、エッジ方向検出部702またはエッジ方向検出部1104によってノイズ低減処理の過程で得られた情報に基づきエッジ方向を検出し、エッジ抽出部114によって上記エッジ方向に基づきノイズ低減前の原信号からエッジ成分を抽出する撮像システムである。
第2の発明による撮像システムは、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。さらに、ノイズ低減処理の過程で得られた情報からエッジの方向を検出するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。
(3)また、第3の発明による撮像システムは、カラー撮像素子からの信号を処理する撮像システムにおいて、上記カラー撮像素子からの信号に対して輝度信号および色信号を分離するY/C分離手段と、上記Y/C分離手段により分離された輝度信号に対してノイズ低減処理を行うノイズ処理手段と、上記ノイズ低減処理がなされた輝度信号からエッジ方向を検出するエッジ方向検出手段と、上記エッジ方向に基づき上記Y/C分離手段により分離された輝度信号に対してエッジ成分を抽出するエッジ抽出手段とを有することを特徴とする。
この発明の適用例は、図48〜図51に示される第4の実施形態および図52〜図72に示される第5の実施形態に記載されている。前記構成のY/C分離手段は図48に示されるY/C分離部1503および図52に示されるY/C分離部1602が、ノイズ処理手段は図48,図52に示される抽出部109,ノイズ推定部110,ノイズ低減部111が、エッジ方向検出手段は図48,図52に示されるエッジ方向検出部113が、エッジ抽出手段は図48,図52に示されるエッジ抽出部114がそれぞれ該当する。
この発明の好ましい適用例は、Y/C分離部1503またはY/C分離部1602によって信号を輝度信号と色信号に分離し、抽出部109,ノイズ推定部110,ノイズ低減部111によって輝度信号にノイズ低減処理を行い、エッジ方向検出部113によってノイズ低減処理後の輝度信号からエッジ方向を検出し、エッジ抽出部114によって上記エッジ方向に基づきノイズ低減前の輝度信号からエッジ成分を抽出する撮像システムである。
第3の発明による撮像システムは、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理後の輝度信号からエッジの概略的な方向を検出し、この方向に基づきノイズ低減処理前の輝度信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。また、カラー撮像素子からの信号に対応するために、多様な撮像系に利用することができる。
(4)また、第4の発明による撮像システムは、カラー撮像素子からの信号を処理する撮像システムにおいて、上記カラー撮像素子からの信号に対して輝度信号および色信号を分離するY/C分離手段と、上記Y/C分離手段により分離された輝度信号に対してノイズ低減処理を行うノイズ処理手段と、上記ノイズ低減手段からの情報に基づきエッジ方向を検出するエッジ方向検出手段と、上記エッジ方向に基づき上記Y/C分離手段により分離された輝度信号に対してエッジ成分を抽出するエッジ抽出手段とを有することを特徴とする。
この発明の適用例は、図73に示される第6の実施形態に記載されている。上記構成のY/C分離手段は図73に示されるY/C分離部1703が、ノイズ処理手段は図73に示される抽出部700,ノイズ推定部701,ノイズ低減部111が、エッジ方向検出手段は図73に示されるエッジ方向検出部702が、エッジ抽出手段は図73に示されるエッジ抽出部114がそれぞれ該当する。
この発明の好ましい適用例は、Y/C分離部1703によって信号を輝度信号と色信号に分離し、抽出部700,ノイズ推定部701,ノイズ低減部111によって輝度信号にノイズ低減処理を行い、エッジ方向検出部702によってノイズ低減処理の過程で得られた情報に基づきエッジ方向を検出し、エッジ抽出部114によって上記エッジ方向に基づきノイズ低減前の輝度信号からエッジ成分を抽出する撮像システムである。
第4の発明による撮像システムは、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づきノイズ低減処理前の輝度信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。また、カラー撮像素子からの信号に対応するために、多様な撮像系に利用することができる。さらにノイズ低減処理の過程で得られた情報からエッジの方向を検出するために、システムの規模を縮小することができ低コスト化を図ることが可能となる。
(5)また、第5の発明による画像処理プログラムは、撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手順と、上記ノイズ低減処理がなされた信号からエッジ方向を検出するエッジ方向検出手順と、上記エッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出する手順と、をコンピュータに実行させるためのプログラムであることを特徴とする。
この発明の適用例は、図26、図27に示される第1の実施形態に記載されている。前記構成のノイズ処理手順は図26、図27に示されるステップS2からステップS7までの手順が、エッジ方向検出手順は図26に示されるステップS10の手順が、エッジ抽出手順は図26に示されるステップS11の手順がそれぞれ該当する。
第5の発明による画像処理プログラムは、ノイズ低減処理後の信号からエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。
(6)また、第6の発明による画像処理プログラムは、撮像素子からの信号に対してノイズ低減処理を行うノイズ処理手順と、上記ノイズ処理手順からの情報に基づきエッジ方向を検出するエッジ方向検出手順と、上記検出されたエッジ方向に基づき上記撮像素子からの信号に対してエッジ成分を抽出する手順と、をコンピュータに実行させるためのプログラムであることを特徴とする。
この発明の適用例は、図36、図37に示される第2の実施形態および図45、図46、図47に示される第3の実施形態に記載されている。前記構成のノイズ処理手順は図36、図37に示されるステップS2からステップS7までの手順および図45、図46に示されるステップS51からステップS56までの手順が、エッジ方向検出手順は図36に示されるステップS10の手順および図45、図47に示されるステップS57が、エッジ抽出手順は図36に示されるステップS33の手順および図45に示されるステップS11がそれぞれ該当する。
第6の発明による画像処理プログラムは、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づき原信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。
(7)また、第7の発明による画像処理プログラムは、カラー撮像素子からの信号に対して輝度信号および色信号を分離するY/C分離手順と、上記Y/C分離手順により分離された輝度信号に対してノイズ低減処理を行うノイズ処理手順と、上記ノイズ低減処理がなされた輝度信号からエッジ方向を検出するエッジ方向検出手順と、上記検出されたエッジ方向に基づき上記Y/C分離手順により分離された輝度信号に対してエッジ成分を抽出する手順とをコンピュータに実行させるためのプログラムであることを特徴とする。
この発明の適用例は、図51に示される第4の実施形態に記載されている。上記構成のY/C分離手順は図51に示されるステップS91が、ノイズ処理手順は図51に示されるステップS2からステップS7までの手順が、エッジ方向検出手順は図51に示されるステップS10の手順が、エッジ抽出手順は図51に示されるステップS11の手順がそれぞれ該当する。
第7の発明による画像処理プログラムは、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理後の輝度信号からエッジの概略的な方向を検出し、この方向に基づきノイズ低減処理前の輝度信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。また、カラー撮像素子からの信号に対応するために、多様な撮像系に利用することができる。
(8)また、第8の発明による画像処理プログラムは、カラー撮像素子からの信号に対して輝度信号および色信号を分離するY/C分離手順と、上記Y/C分離手順により分離された輝度信号に対してノイズ低減処理を行うノイズ処理手順と、上記ノイズ処理手順からの情報に基づきエッジ方向を検出するエッジ方向検出手順と、上記検出されたエッジ方向に基づき上記Y/C分離手順により分離された輝度信号に対してエッジ成分を抽出する手順とをコンピュータに実行させるためのプログラムであることを特徴とする。
この発明の適用例は、図36、図37に示される第2の実施形態を、カラー撮像素子からの信号を処理する手順を実行させるための画像処理プログラムに適用させたものが対応する。前記構成のノイズ処理手順は図36、図37に示されるステップS2からステップS7までの手順が、エッジ方向検出手順は図36に示されるステップS10の手順が、エッジ抽出手順は図36に示されるステップS33の手順がそれぞれ該当する。
第8の発明による画像処理プログラムは、カラー撮像素子からの信号を輝度信号と色信号に分離し、ノイズ低減処理の過程で得られた情報に基づきエッジの概略的な方向を検出し、この方向に基づきノイズ低減処理前の輝度信号からエッジ成分を抽出するものである。このために、ノイズの影響を抑制し、かつ微細な信号を保存した高品位なエッジ成分が得られる。また、カラー撮像素子からの信号に対応するために、多様な撮像系に利用することができる。
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
本出願は、2005年12月28日に日本国に出願された特願2005−380346号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。