JP4617870B2 - 撮像装置および方法、並びにプログラム - Google Patents

Description

本発明は、撮像装置および方法、並びにプログラムに関し、特に、個体撮像素子等を用いて画像データを獲得するときに用いて好適な撮像装置および方法、並びにプログラムに関する。

CCD(Charge Coupled Device)画像センサデバイスやCMOS(Complementary Mental-Oxide Semiconductor)画像センサデバイスなどの固体撮像素子を利用した撮像装置では、カメラ信号処理において、各画素位置において観測されなかった画像情報がある場合にそれを補間する処理が必要となる場合がある。そのような処理として、固体撮像素子の画素欠陥の検出とその補正の処理、そしてカラー固体撮像素子のデモザイク処理がある。

画素欠陥の検出および補正には、大きく２つの方法がある。まず、製品出荷前にコントロールされた環境下での測定によって検出し、検出された欠陥画素位置を製品内のROMに記憶させ、使用時には随時ROMから欠陥情報を読み取って補正処理をおこなう方法がある。この方法では、出荷後に発生する欠陥画素に対して補正ができない点と、欠陥画素位置を記憶するROMの容量により補正できる画素数に制限がでる点の問題があった。

この問題を解決する方法として、使用時に画像センサからの出力信号を調べ、動的に画素欠陥を検出し、その場で補正処理をおこなう方法がある。動的に画素欠陥を検出する従来技術としては、各画素においてその近傍にある画素の値の差を検出し、その差が顕著であるかどうかを調べる方法が主流である。

また、検出された欠陥を補正する従来技術としては、周囲の画素の画素値を平滑化した値によって当該欠陥画素の画素値を補正する方法が主流である。また、そのような検出指標あるいは補正値として用いる近傍画素値を平滑化した値にすでに検出された欠陥画素値が混入しないような工夫などがなされている。例えば、特許文献１には、そのような工夫を欠陥補正処理に対しておこなう方法が記載されている。

また、カラー固体撮像素子では画素ごとに色（分光感度）が異なるようにオンチップカラーフィルタがはられていて画素ごとに異なる色情報を観測するので、センサ出力信号の段階では各画素位置では１つの色の情報しか得られていない。そこで、各画素位置でR,G,Bの全てがそろうような補間処理、すなわちデモザイク処理（または色同時化処理、色分離処理）をおこなう必要がある。デモザイク処理の手法はいろいろ考案されているが、代表的なものとしては、特許文献２や特許文献３に記載される色比率を利用した色補間方法などがある。

また、特許文献４や特許文献５等に記載されているSVE方式広ダイナミックレンジ撮像技術の信号処理では色と感度（積分感度）のデモザイク処理が必要となる。SVE方式は感度の異なる画素をセンサ面に並べることにより、1回の撮像で暗い被写体から明るい被写体の情報をすべて獲得できるようにした広ダイナミックレンジ撮像方法である。カラー撮像ができるSVE方式では、画素ごとの感度の違いを均一にする処理に加えて色を補間する処理をおこなっている。

特許３０４２１５９号公報 特開平７−２３６１４７号公報 特許２６１９３５４号公報 国際公開番号ＷＯ０２−０５６６０４ 特開２００４−２２１８３９号公報

しかしながら、以上にあげたような従来技術では以下のような問題があった。

カラー画像センサの場合、オンチップカラーフィルタによって画素ごとに色が異なり、同じ色が互いに隣接していないという問題がある。例えば、図１にもっともよく用いられているカラーフィルタ配列（Bayer配列）を示す。各マスが1画素に対応し、R,G,Bはそれぞれフィルタの色（赤、緑、青）をあらわしている。このようにGの上下左右にはGは存在せず、RとBにいたっては２画素間隔でしか同じ色の画素は存在しないという状況にある。

このためなるべくコンパクトな平滑化フィルタによって元信号の高周波成分を必要以上に削除しないように補間処理をおこなおうとしても、そのフィルタの大きさを小さくするのに限界があるという課題があった。

さらに、SVE方式画像センサでは画素ごとに色の違いに加えて感度の違いもあるので、被写体によっては明るい感度の画素が飽和してしまったり、暗い感度の画素がノイズに埋もれてしまったりする状況が起こりうる。そのように情報が欠落してしまった画素については、画像センサの画素欠陥の補正と同じように、周囲画素から情報を補間する必要があった。図２および図３に、それぞれ２段階の感度とRGB３原色を用いたSVEの色と感度のモザイク配列の例を示す。色を表すR,G,Bのそれぞれについている添え字は感度の種類をあらわし、ｄは２段階のうち暗いほう、ｂは明るいほうの感度をあらわす。例えば、あるＲｂの画素が飽和したことによりその位置の画像情報が欠落したとする。そうするとその位置のRの情報はちょうど画素欠陥を埋める処理と同様に、上下左右に2画素離れたＲｄの画素を用いて補間しなければならない。このように、SVE方式における色と感度のデモザイク処理は通常のデモザイク処理よりも解像度性能を十分に出すことが困難であった。

本発明はこのような状況に鑑みてなされたものであり、画像センサの画素欠陥の検出および補正処理、カラー画像センサ出力のデモザイク処理において、従来方法では画素ごとの色や感度の違いに起因して正しく復元できなかった画像の高周波成分を復元できるようにするものである。

本発明の撮像装置は、画像センサを用いて撮像した第１のセンサ出力画像、および画像センサを用いて光学的にぼかして撮像した第２のセンサ出力画像を取得する画像取得手段と、取得された第１および第２のセンサ出力画像における画素欠陥を補正する画素欠陥補正処理を行う画素欠陥補正手段と、画素欠陥補正処理の結果として得られる差分画像および第２のセンサ出力画像に基づいてデモザイク処理を行い１枚の画像を生成するデモザイク手段とを含み、画素欠陥補正手段は、第１のセンサ出力画像の各画素の非線形変換された画素値を算出する第１の非線形変換手段と、第２のセンサ出力画像の各画素の非線形変換された画素値を算出する第２の非線形変換手段と、非線形変換後の第１のセンサ出力画像と、非線形変換後の第２のセンサ出力画像の対応する画素毎に画素値の差分値を算出し、差分値を画素値とする差分画像を生成する差分算出手段と、第１または第２のセンサ出力画像の各画素が異常画素であるか否かを判定する異常画素判定手段と、異常画素であると判定された画素に対応する差分画像の画素を、その近傍の画素に基づいて補間する第１の補正手段と、異常画素であると判定された画素に対応する非線形変換後の第２のセンサ出力画像の画素を、その近傍の画素に基づいて補間する第２の補正手段とを含む。

前記第１および第２の非線形変換手段は、対数変換を行うようにすることができる。

前記第１および第２の非線形変換手段は、べき乗変換を行うようにすることができる。

前記画像取得手段は、移動可能な光学的なローパスフィルタを光軸上に出し入れする機構を持つようにすることができる。

前記画像取得手段は、フォーカスを合焦位置からずらす機構を持つようにすることができる。

前記異常画素判定手段は、予め異常画素として検出されている画素の位置を示す情報が保存されているメモリから情報を読み出すようにすることができる。

前記異常画素判定手段は、非線形変換後の第２のセンサ出力画像の各画素位置ごとに画素位置を中心とした近傍領域を抽出する近傍領域手段と、近傍領域の画素値の平均値を算出する平均値算出手段と、近傍領域の中心画素位置の画素値と近傍画素の平均値との差分絶対値を算出する差分絶対値算出手段と、差分絶対値と所定の閾値とを比較する比較手段とを含むことができる。

前記異常画素判定手段は、非線形変換後の第１のセンサ出力画像の各画素位置ごとに画素値が所定の範囲内あるか否かを判定するようにすることができる。

前記第１の補正手段は、異常画素に対応する差分画像の画素を中心にした３×３画素の領域に微分オペレータを適用し、水平および垂直方向の微分値を算出する微分値算出手段と、３×３画素の領域の画素値から水平、垂直、および斜めの４方向の補間値を算出する補間値算出手段と、水平および垂直方向の微分値に基づいて４方向の補間値の重み値を算出する重み値算出手段と、４方向の補間値を重みを用いて重みつき加算することで異常画素に対応する差分画像の画素の補間値を算出する加重和算出手段とを含むようにすることができる。

前記デモザイク手段は、画素欠陥補正処理の結果として得られる差分画像の画素値に基づき、各画素に対応するRGB値を算出する第１のデモザイク手段と、画素欠陥補正処理後の第２のセンサ出力画像に基づき、各画素に対応するRGB値を算出する第２のデモザイク手段と、第１のデモザイク手段によって算出された各画素のRGB値と、第２のデモザイク手段よって算出された各画素のRGB値を各色ごとに加算する加算手段とを含むようにすることができる。

前記第２のデモザイク手段は、各色ごとに平滑化フィルタによる補間処理を行うようにすることができる。

前記第１のデモザイク手段は、差分画像の画素値をそのままRGB値のうちのいずれかの補間値として用いるようにすることができる。

前記第１のデモザイク手段は、差分画像の各画素位置ごとに当該画素位置を中心とした近傍領域を抽出する近傍領域抽出手段と、抽出された近傍領域の画素値に基づいて色変化の有無を検出する色変化検出手段と、抽出された近傍領域の中心画素の画素値をそのままRGB値のうちのいずれかの補間値とする第１の補間値算出手段と、抽出された近傍領域の画素を各色ごとに平滑化して補間値を算出する第２の補間値算出手段と、色変化検出手段の検出結果に応じて、第１の補間値と第２の補間値を各色ごとに混合する混合手段とを含むことができる。

前記色変化検出手段は、近傍領域の画素から各色の平均値を算出する平均値算出手段と、近傍領域の画素のうち、最も画素数が多い色の画素の標準偏差を算出する標準偏差算出手段と、各色の平均値の相互の差分絶対値の中の最大値を算出する最大値算出手段と、色変化の度合いとして、平均値の差分絶対値の最大値と標準偏差の比率を算出する比率算出手段とを含むようにすることができる。

前記画像取得手段は、画素毎に感度が異なる画像センサを用いるようにすることができる。

前記画素毎に感度が異なる画像センサは、色の配列がBayer配列であり、感度の配列が、Ｇについては、２種類の感度の画素が水平および垂直に１ラインごとに交互に配置されており、ＲおよびＢについては、２種類の感度の画素が水平および垂直に２ラインごとに交互に配置されているようにすることができる。

前記画素毎に感度が異なる画像センサは、感度の配列が異なる２種類の感度が市松状に配置されており、色の配列として、Ｇについては、１垂直ラインおきのストライプに配置されており、ＲおよびＢについては、Ｇのラインではない垂直ラインに２画素周期で交互に配置されているようにすることができる。

本発明の撮像方法は、画像センサを用いて撮像した第１のセンサ出力画像、および画像センサを用いて光学的にぼかして撮像した第２のセンサ出力画像を取得する画像取得ステップと、取得された第１および第２のセンサ出力画像における画素欠陥を補正する画素欠陥補正処理を行う画素欠陥補正ステップと、画素欠陥補正処理の結果として得られる差分画像および第２のセンサ出力画像に基づいてデモザイク処理を行い１枚の画像を生成するデモザイクステップとを含み、画素欠陥補正ステップは、第１のセンサ出力画像の各画素の非線形変換された画素値を算出する第１の非線形変換ステップと、第２のセンサ出力画像の各画素の非線形変換された画素値を算出する第２の非線形変換ステップと、非線形変換後の第１のセンサ出力画像と、非線形変換後の第２のセンサ出力画像の対応する画素毎に画素値の差分値を算出し、差分値を画素値とする差分画像を生成する差分算出ステップと、第１または第２のセンサ出力画像の各画素が異常画素であるか否かを判定する異常画素判定ステップと、異常画素であると判定された画素に対応する差分画像の画素を、その近傍の画素に基づいて補間する第１の補正ステップと、異常画素であると判定された画素に対応する非線形変換後の第２のセンサ出力画像の画素を、その近傍の画素に基づいて補間する第２の補正ステップとを含む。

本発明のプログラムは、画像センサを用いて撮像した第１のセンサ出力画像、および画像センサを用いて光学的にぼかして撮像した第２のセンサ出力画像を取得する画像取得ステップと、取得された第１および第２のセンサ出力画像における画素欠陥を補正する画素欠陥補正処理を行う画素欠陥補正ステップと、画素欠陥補正処理の結果として得られる差分画像および第２のセンサ出力画像に基づいてデモザイク処理を行い１枚の画像を生成するデモザイクステップとを含み、画素欠陥補正ステップは、第１のセンサ出力画像の各画素の非線形変換された画素値を算出する第１の非線形変換ステップと、第２のセンサ出力画像の各画素の非線形変換された画素値を算出する第２の非線形変換ステップと、非線形変換後の第１のセンサ出力画像と、非線形変換後の第２のセンサ出力画像の対応する画素毎に画素値の差分値を算出し、差分値を画素値とする差分画像を生成する差分算出ステップと、第１または第２のセンサ出力画像の各画素が異常画素であるか否かを判定する異常画素判定ステップと、異常画素であると判定された画素に対応する差分画像の画素を、その近傍の画素に基づいて補間する第１の補正ステップと、異常画素であると判定された画素に対応する非線形変換後の第２のセンサ出力画像の画素を、その近傍の画素に基づいて補間する第２の補正ステップとを含む処理を撮像装置のコンピュータに実行させる。

本発明においては、画像センサを用いて撮像した第１のセンサ出力画像、および画像センサを用いて光学的にぼかして撮像した第２のセンサ出力画像が取得され、取得された第１および第２のセンサ出力画像における画素欠陥を補正する画素欠陥補正処理が行われ、画素欠陥補正処理の結果として得られる差分画像および第２のセンサ出力画像に基づいてデモザイク処理が行われて１枚の画像が生成される。なお、画素欠陥補正処理では、第１のセンサ出力画像の各画素の非線形変換された画素値が算出され、第２のセンサ出力画像の各画素の非線形変換された画素値が算出されて、非線形変換後の第１のセンサ出力画像と、非線形変換後の第２のセンサ出力画像の対応する画素毎に画素値の差分値が算出されて差分値を画素値とする差分画像が生成される。また、第１または第２のセンサ出力画像の各画素が異常画素であるか否かが判定され、異常画素であると判定された画素に対応する差分画像の画素が、その近傍の画素に基づいて補間され、異常画素であると判定された画素に対応する非線形変換後の第２のセンサ出力画像の画素が、その近傍の画素に基づいて補間される。

本発明によれば、画像センサの画素欠陥の検出および補正処理、カラー画像センサ出力のデモザイク処理において、従来方法では画素ごとの色や感度の違いに起因して正しく復元できなかった画像の高周波成分を復元することが可能となる。

まず、本発明がどのように作用するか、その理論的背景を説明する。

画像センサの出力画素値をＩ(x)(ｘは画素位置)とすると、Ｉ(x)は当該画素位置への入射光強度Ｅ(x,λ)（λは波長）と画素の感度Ｓ(x,λ)で決まる。

…（１）

画素の感度Ｓ(x,λ)は固体撮像素子の分光感度Ｄ(λ)、オンチップカラーフィルタの分光感度Ｆ(x,λ)、そして画素ごとの感度変更要因Ａ(λ)らの積となる。ここで感度変更要因とは開口効率、オンチップレンズ集光率、カラーフィルタの透過率の画素ごとの変化である。これらは波長に依存しないと仮定する。SVE方式では画素ごとにこれらの変更要因を作りこむようにする。

…（２）

さらに、オンチップカラーフィルタの分光感度Ｆ(x,λ)の画素位置に依存する部分はモザイク配列のパターンに他ならない。従ってＦ(x,λ)をRGB3種類の分光感度とモザイク配列を表すパターンの積としてあらわすことができる。

…（３）

ｍ_R(x)，ｍ_G(x)，ｍ_B(x)はそれぞれの色の画素であるかどうかを示すバイナリパターンであり、Ｍ(x)Ａ(x)は通常カラー画像センサの色モザイク配列パターン、もしくはSVE方式の色・感度のモザイク配列パターンと考えることができる。

入射光としては、まず簡単に、ある単一の分光反射率を持つ被写体からの単一の色の反射光を考える。画素位置による強度の違いは画像センサ、照明光と被写体表面の凹凸（テクスチャ）の幾何学的関係のみで決まり、それをＧとおくと以下の式であらわすことができる。

…（４）
ここでＬ(λ)は照明の分光強度、ρ(λ)は被写体の分光反射率である。

以上から、単一の分光反射率の被写体が写っている領域では、画像Ｉ(x)は次式（５）であらわせることがわかる。

…（５）

式（５）における積分の中に画素位置に依存する項はない。また、Ｍ(x)Ａ(x)は除去したい色と感度のモザイクパターンであるから、デモザイク処理で画像情報の高周波成分を復元することはＧ(x)を適切に復元することである。

ここで、光学的にぼかした状態で同じ被写体の画像Ｉ_diffuse(x)をもう１つ獲得したとする。光学的にぼかすのでＧ(x)のみがぼけ、モザイクパターンであるＭ(x)Ａ(x)は変化しない。また積分の項も位置に依存しないので変化しない。

…（６）

通常に撮った画像Ｉ(x)と光学的にぼかした画像Ｉ_diffuse(x)の比をとると、色・感度のモザイク、入射光の分光強度、カラーフィルタの分光透過率などはすべてキャンセルされ、被写体のテクスチャの情報に関する成分だけを全画素で抽出することができる。

…（７）

前述のように、通常の画像センサで画素欠陥が生じたり、またSVE方式画像センサで明るい感度の画素が飽和したり、暗い感度の画素がノイズに埋もれたりすることによって一部画素の欠落が生じた場合、その欠落を近傍の同じ色の画素を用いて補間する必要があった。そこで光学的にぼかした画像を利用して、色・感度のモザイクや被写体の色に依存しない高周波成分の情報Ｇ（ｘ）／Ｇ_diffuse（ｘ）を抽出すれば、欠落した画素と異なる色の画素情報も利用して補間することができ、より正確な高周波成分の復元が可能となる。

例えば図２に示したSVE画像センサの２種類の感度がある画素配列においてあるＧｄの画素が欠落した場合、通常にはその斜め隣にある４つのＧｂの画素を用いて補間することになるが、もしこの位置の画像が１ラインごとに白、黒、白、黒…となるような細かい縞模様である場合は斜め隣のＧｂの画素を用いても正しい補間結果は得られない。

しかしながら、本発明のように光学的にぼかした画像を利用することによって、式（７）に示すような被写体の色や画素の色、感度に依存しない高周波成分が得ることができれば、上下左右にあるＲｄ，Ｒｂ，Ｒｄ，Ｒｂの画素も同時に利用でき、このような細かい縞模様も比較的簡単に復元可能である。さらに本発明では各画素値に対数変換処理を行うことにより、式（７）の計算を除算でなく減算で行うようにする。また近似的な手法として対数変換のかわりにべき乗変換を使うことも可能である。

分光反射率が異なる被写体間にまたがるような領域にある画素位置では、入射光Ｅ(x,λ)を波長依存の項と位置依存の項に分離することができない。従って通常撮影画像Ｉ(x)と光学的にぼかした画像Ｉ_diffuse(x)の比は次式（８）となる。

…（８）

この状況では、各カラーフィルタの違いはキャンセルされないので異なる色の画素を使った補間処理はできないが、感度のモザイクはキャンセルされた状態でのデモザイク処理が可能なので、SVE画像センサの信号処理には効果がある。分光反射率が異なる被写体間にまたがるような領域にある画素であるかどうかによって、式（７）の計算が可能か、式（８）の計算を行うかを判断する必要がある。

この判断は、近傍の同じ色同士のＩ(x)／Ｉ_diffuse(x)の平均値を算出し、その平均値に違いがあるかどうかを、１つの色、たとえばＧの近傍のばらつき具合（標準偏差）と比較して調べることによって判別が可能である。

以上に述べたような原理に基づき、本発明は、獲得した画像情報に画素単位で欠落があるような場合でも、それを比較的コンパクトな補間処理で補間することを可能にし、結果として解像度の劣化の少ない画像出力を得ることを可能にするものである。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

ここで説明する実施の形態は、本発明を内部に実装したディジタルカメラの例である。はじめに全体像の構成と動作について説明し、その後、実施の形態の中でも本発明に関連深い撮像系と信号処理系について詳細に説明する。

図４は、本実施の形態であるディジタルカメラの構成を示すブロック図である。この４ に示すように、このディジタルカメラ１００は、レンズや絞り等から構成される光学系１０５、画像センサ１０６、相関２重サンプリング回路(CDS)１０７、A/Dコンバータ１０８、DSP(Digital Signal Processor)ブロック１０９、タイミングジェネレータ（ＴＧ）１１０、LCDドライバ１１１、LCD(Liquid Crystal Display)１１２、コーデック１１３、メモリ１１４、CPU(Central Processing Unit)１１５、および入力デバイス１１６から構成される。ここで、入力デバイス１１６は、カメラ本体にあるシャッタボタンなどの操作ボタン類をさす。また、DSPブロック１０９は信号処理用プロセッサと画像用RAMを持つブロックで、信号処理用プロセッサが画像用RAMに格納された画像データに対してあらかじめプログラムされた 画像処理を行うことができるようになっている。以下DSPブロックを単にDSPと称する。

ディジタルカメラ１００の全体的な動作について説明する。

光学系を通過して画像センサ１０６に到達した入射光は、まずセンサ撮像面上の各受光素子に到達し、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路１０７によってノイズ除去され、A/Dコンバータ１０８によってディジタル化された後、DSP１０９中の画像メモリに一時格納されるようになっている。

撮像中の状態においては、一定のフレームレートによる画像取り込みを維持するようにタイミングジェネレータ１１０が信号処理系を制御するようになっている。DSP１０９へも一定のレートで画素のストリームが送られ、そこで適切な画像処理がおこなわれた後、画像データはLCDドライバ１１１もしくはコーデック１１３あるいはその両方に送られる。LCDドライバ１１１はDSP１０９から送られる画像データをアナログ信号に変換し、それをLCD１１２に送って表示させる。このLCD１１２は本実施の形態においてカメラのファインダの役割を担っている。また、コーデック１１３はDSP１０９から送られる画像データの符号化をおこない、符号化された画像データはメモリ１１４に記録されるようになっている。ここで、メモリ１１４は半導体、磁気記録媒体、光磁気記録媒体、光記録媒体などを用いた記録装置などであってよい。

以上、ディジタルカメラ１００の全体構成を説明したが、本発明の実施に関連するのは、そのなかで、光学系と画像センサを含む撮像部１２１と、DSP１０９内部で実現されている信号処理部１２２である。

図５は、本発明の基本構成である、撮像部１２１と信号処理部１２２の連携を説明するブロック図である。従来のカメラと違い、本実施の形態の撮像部１２１は同じシーンに対して２回の撮像を行う。そして信号処理部１２２は撮像された２枚のセンサ出力画像をもとに１枚分の出力画像を生成するように動作する。同じシーンに対して撮像される２枚のセンサ出力画像は、１枚は通常の設定で撮像した通常撮影センサ出力１２３であり、もう１枚は光学的にぼかした設定で撮像したぼかし撮影センサ出力１２４である。

図６は、撮像部１２１と信号処理部１２２の動作手順を説明するフローチャートである。まずステップＳ１において、撮像部１２１が通常撮影による画像センサ出力画像１２３を取得する。次にステップＳ２において、撮像部１２１がぼかし撮影による画像センサ出力画像１２４を取得する。次にステップＳ３において、信号処理部１２２が２つの画像センサ出力１２３，１２４を用いてカメラ信号処理を行う。最後にステップＳ４において、信号処理部１２２が算出した処理結果画像を出力して全体の動作を終了する。

撮像部１２１の説明

以下に撮像部１２１が通常の撮像と光学的にぼかした撮像の２つを行うための仕組みを説明する。図７および図８は本実施の形態の撮像部１２１の構成を示す模式図である。撮像部１２１は、従来のカメラと同様に、レンズ１３１や絞り１３２などから構成される光学系によって被写体の像を画像センサ１０６の撮像面上で結像させられるようになっている。

また、やはり従来のカメラと同様に、画像センサ１０６の撮像面付近に、水晶板などで作られた光学的ローパスフィルタ１３３が配置され、画像センサに到達する入射光の帯域制限をかけ、画像センサ１０６の画素ピッチで撮像可能な周波数よりも高い周波数の成分を除去し、画像センサ１０６から出力される信号にエリアシングが生じないようになっている。本実施の形態では、さらに光学的にぼかした撮像を行うために、出し入れ可能なもうひとつの光学的ローパスフィルタ１３４を持つ。通常撮影時は、図７に示されるように出し入れ可能な光学的ローパスフィルタ１３４はセンサ撮像面からずれた位置にあり、入射光の結像には関与しないようになっている。光学的にぼかした撮像を行う時には、図８に示されるように出し入れ可能な光学的ローパスフィルタ１３４がセンサ撮像面上に固定される。このとき、入射光は通常にある光学的ローパスフィルタ１３３単独よりもさらに強く帯域制限され、センサ撮像面にはぼけた被写体像が形成される。

光学的にぼかして撮像する時にかける帯域制限の目安として、カラー画像センサにおいては、全てのオンチップカラーフィルタの色においてエリアシングが生じない程度にかけるのが適当である。図１に示すBayer配列を例に説明する。Bayer配列で各色のサンプリング周波数を考えると、Gについてもっとも悪い方向は斜め方向で1/sqrt(2)cycle/pixel となり、R,Bについては水平および垂直がもっとも悪く、0.5cycle/pixelである。再現できる周波数の限界（ナイキスト周波数）はサンプリング周波数の半分なので、どの色でもエリアシングを生じさせないためには、R,Bの限界にあわせて水平および垂直に0.25cycle/pixelの周波数までカットするような帯域制限がかけられるように、光学ローパスフィルタ１３４を設計すればよい。

上記のような光学ローパスフィルタ１３４を挿入する方法以外にも簡易的ではあるがフォーカス機構を利用した実現方法がある。図９と図１０はフォーカス機構を利用した実現方法の、それぞれ通常撮像とぼかした撮像の２つの状態を模式的に説明する図である。

図９は通常撮像時をあらわし、従来のカメラと同様に通常に焦点を被写体に合わせ、被写体の像がセンサ面で結像するようにして撮像すること示している。これに対してぼかした撮像を行うときには、図１０に示すように、わざと焦点位置をセンサ撮像面からずらして撮像し、ぼけた被写体像が得られるようにする。この方法は、被写体の深度があまり大きくない場合の撮像に有効である。

信号処理部１２２の説明

以下に信号処理部１２２の構成と動作を説明する。信号処理部１２２は、DSP１０９によって実現されている。したがって本実施の形態の構成においては、信号処理部１２２の動作は、DSP１０９内部において、入力された画像信号のストリームに対して演算ユニットが所定のプログラムコードに記述された演算を順次実行するようにして実現されている。以降の説明では、そのプログラム中の各処理単位を機能ブロックとして説明し、また各処理が実行される順序をフローチャートで説明する。しかしながら、信号処理部１２２の動作は、プログラムという形態以外にも、以降で説明する機能ブロックと同等の処理を実現するハードウェア回路を実装して構成してもよい。

図１１は、信号処理部１２２の第１の構成例を説明する機能ブロック図である。本図において、楕円で示されるブロックは、データそのもの、またはデータが格納されたメモリを表し、矩形は機能ブロックを表す。

信号処理部１２２は、２つの黒レベル補正部１４１−１および１４１−２、２つのホワイトバランス部１４２−１および１４２−２、２つの非線形変換部１４３−１および１４３−２、差分算出部１４４、異常画素検出部１４５、異常画素補正Ｈ部１４６、異常画素補正Ｌ部１４７、デモザイクＨ部１４８、デモザイクＬ部１４９、３つの加算部１５０−１乃至１５０−３、３つの非線形逆変換部１５１−１乃至１５１−３、３つのガンマ補正部１５２−１乃至１５２−３、ＹＣ変換部１５３、およびアパーチャ補正部１５４から構成される。

信号処理部１２２の構成の中で、本発明を実現する部分は、２つの非線形変換部１４３−１および１４３−２、３つの非線形逆変換部１５１−１乃至１５１−３ではさまれた部分であり、この部分によって、センサの画素欠陥の検出および補正処理とデモザイク処理を行う。

通常撮影センサ出力１２３とぼかし撮影センサ出力１２４は信号処理部１２２への入力画像をあらわし、これはすなわち、図４で図示したA/Dコンバータ１０８によってディジタル化されDSP１０９へ入力される画像信号であって、図５で説明したように本発明は２枚のセンサ出力１２３，１２４を必要とする。Ｙ画像１５５およびＣｂ，Ｃｒ画像１５６は、信号処理部１２２からの出力画像をあらわし、これはすなわち、DSP１０９からコーデック１１３に出力されるＹ，Ｃｂ，Ｃｒ画像信号である。

図１１に戻り、信号処理部１２２を構成する各部の動作を説明する。２つの黒レベル補正部１４１−１および１４１−２は、２つの入力画像である通常撮影センサ出力１２３とぼかし撮影センサ出力１２４に対して完全に入射光がない状態で観測された画素値が０となるようなバイアス補正を行う。

２つのホワイトバランス部１４２−１および１４２−２は、黒レベル補正された２つの画像に対して、無彩色の入射光のときにRGBの値が等しくなるような色バランス補正を行う。さらに、２つの非線形変換部１４３−１および１４３−２は、全画素の画素値をあるリニアでない単調増加関数による階調変換を行う。

理論的背景として上述したように、本発明の原理上、対数変換が非線形変換として最適である。しかし本発明は非線形変換を対数に限定するものでなく、対数曲線に形状がよく似た別の関数を使用しても本発明の効果を得ることは可能である。例えばカメラ信号処理でガンマ補正としてよく利用される、べき乗の関数をベースに非線形変換を設計してもかまわない。差分算出部１４４は、各画素が非線形変換された２つの入力画像の各画素の差分であるような画像を算出して出力する。すなわち、非線形変換を対数変換とすると、差分算出部１４４は式（７）で示された計算をおこなっている。

異常画素検出部１４５は、非線形変換がなされたぼかし撮影センサ出力１２４を用いて画像センサ１０６の画素欠陥を検出する。異常画素補正Ｈ部１４６は、異常画素検出部１４５が検出した画素欠陥情報に基づき、差分値画像の画素欠陥位置の画素値を補正する処理を行う。異常画素補正Ｌ部１４７は、異常画素検出部１４５が検出した画素欠陥情報に基づき、非線形変換がなされたぼかし撮影センサ出力１２４の画素欠陥位置の画素値を補正する処理を行う。

デモザイクＨ部１４８は、画素欠陥補正がなされた差分値画像を入力として全画素でRGBの３値を算出するデモザイク処理を行う。デモザイクＬ部１４９は、画素欠陥補正がなされたぼかし撮影センサ出力１２４を入力として全画素でRGBの３値を算出するデモザイク処理を行う。

３つの加算部１５０−１乃至１５０−３は、それぞれR,G,Bに対応し、差分値画像から算出された各色の値と非線形変換されたぼかし撮影画像から算出された各色の値を画素ごとに加算し、各１枚のR,G,B画像を出力する。３つの非線形逆変換部１５１−１乃至１５１−３は、それぞれにR,G,B各画像を入力とし、さきに適用した非線形変換の逆特性である階調変換処理をおこない、リニアな階調のR,G,B画像を出力する。

３つのガンマ補正部１５２−１乃至１５２−３は、リニア階調に変換されたR,G,B画像をそれぞれ入力とし、それらの各画素にガンマ補正をおこなった画像を出力する。ガンマ補正されたRGB画像はＹＣ変換部１５３によってＹ，Ｃｂ，Ｃｒ画像に変換され、さらにＹ信号に関してはアパーチャ補正部１５４によって高域補償が施される。以上の処理によって画像１枚分のＹ画像１５５、およびＣｂ，Ｃｒ画像１５６が算出され、信号処理部１２２から出力される。

図１２は、図１に示された信号処理部１２２の動作手順を説明するフローチャートである。

まずステップＳ１１において、通常撮影センサ出力１２３を読み込む。次にステップＳ１２において、ぼかし撮影センサ出力１２４を読み込む。次にステップＳ１３において、黒レベル補正部１４１−１および１４１−２が、２つの入力画像に対し黒レベル補正を行う。

ステップＳ１４において、ホワイトバランス部１４２−１および１４２−２が、黒レベル補正された２つのセンサ出力に対してホワイトバランス処理を行う。次にステップＳ１５において、非線形変換部１４３−１および１４３−２が、ホワイトバランスがとられた２つのセンサ出力に対して非線形変換を行う。ステップＳ１６において、差分算出部１４４が非線形変換された２つのセンサ出力の差分画像を算出する。次にステップＳ１７において、異常画素検出部１４５が非線形変換されたぼかし撮影センサ出力に基づいて画素欠陥の検出処理を行う。

ステップＳ１８において、異常画素補正Ｈ部１４６が差分値画像に対して欠陥画素の位置の画素値の補正処理を行う。ステップＳ１９において、異常画素補正Ｌ部１４７が非線形変換されたぼかし撮影センサ出力に対して欠陥画素の位置の画素値の補正処理を行う。ステップＳ２０において、デモザイクＨ部１４８が欠陥補正された差分値画像の各画素でRGB値をそろえる処理を行う。ステップＳ２１において、デモザイクＬ部１４９が欠陥補正されたぼかし撮影センサ出力の各画素でRGB値をそろえる処理を行う。次にステップＳ２２において、加算部１５０−１乃至１５０−３が、デモザイクＨ部１４８とデモザイクＬ部１４９が算出した結果をRGB各色ごとに加算しRGB各色の画像を算出する。ステップＳ２３において、非線形逆変換部１５１−１乃至１５１−３が、RGBの各画像に対して非線形特性を元に戻す処理を行う。ステップＳ２４において、ガンマ補正部１５２−１乃至１５２−３がリニア階調に戻されたRGB画像にガンマ補正を行う。ステップＳ２５において、ＹＣ変換部１５３がガンマ補正されたRGB画像をＹ，Ｃｂ，Ｃｒ画像１５６に変換する。次にステップＳ２６において、アパーチャ補正部１５４がＹ画像に対してアパーチャ補正を行う。最後にステップＳ２７において、Ｙ画像１５５およびＣｂ，Ｃｒ画像１５６が出力されて、信号処理部１２２の動作を終了する。

異常画素検出部１４５の説明

図１３は異常画素検出部１４５の内部構成を説明するブロック図である。異常画素検出部１４５は、局所領域抽出部１６１、平均値算出部１６３、差分絶対値算出部１６４、および閾値判定部１６５から構成される。局所領域抽出部１６１は、非線形変換されたぼかし撮影センサ出力を入力として、各画素位置において局所領域１６２を抽出する。局所領域１６２の大きさはぼかし撮影時の帯域制限に依存するが、例えば５×５画素程度でよい。平均値算出部１６３は、抽出された局所領域１６２から中心画素と同じ色の画素を選択し、それらの平均値を算出する。差分絶対値算出部１６４は、局所領域１６２の中心画素の画素値と平均値算出部１６３が算出した平均値の差の絶対値を算出する。閾値判定部１６５は、差分絶対値算出部１６４が算出した中心画素値と平均値の差の絶対値をあらかじめ設定した閾値と比較し、差の絶対値が閾値より大きいときに中心画素位置に欠陥があると判定した結果を出力する。

上記の異常画素検出部１４５により画素欠陥が高精度に検出できる理由を説明する。本発明におけるぼかし撮像は各色でエリアシングが発生しないように帯域制限をかけて撮像している。例えばBayer配列の場合R,Bが２画素間隔のサンプリングなので、0.25cycle/pixel（4画素に1周期）の周波数のあたりまでカットするように光学的にぼかす。この程度ぼかすので、５×５画素の局所領域１６２を観察すればほぼ平坦な画像が得られることを期待してよい。仮に平坦でない信号が検出されれば、それは入射光起因でなくセンサ起因のアーチファクトすなわち画素欠陥であると判定できる。よって、各局所領域１６２で中心画素が欠陥であるかどうかは、上記のように、周囲に対して中心画素の画素値が突出しているかどうかを判定すればよい。

図１４は、異常画素検出部１４５の動作手順を説明するフローチャートである。まずステップＳ３１において、非線形変換されたぼかし撮影センサ出力を読み込む。次にループＬ３２において、
ステップＳ３３からＳ３８までの処理が各画素位置ごとに実行される。ステップＳ３３では、局所領域抽出部１６１が現在画素位置を中心に局所領域１６２を抽出する。次にステップＳ３４において、平均値算出部１６３が中心画素を同じ色の画素の平均値を算出する。ステップＳ３５において、差分絶対値算出部１６４が前記平均値と中心画素の画素値との差分絶対値を算出する。ステップＳ３６において、閾値判定部１６５が前記差分絶対値とあらかじめ設定した閾値を比較し、閾値よりも大きければステップＳ２７に移行し、そうでなければステップＳ３８に移行する。ステップＳ３７では、現在画素位置は異常画素であると判定され、その判定結果が記憶される。ステップＳ３８では、現在画素位置は異常画素でないと判定され、その判定結果が記憶される。ステップＳ３７またはＳ３８の処理が終了したら次のループに移行する。全ての画素位置でステップＳ３３からＳ３８の処理が終了したらループを抜け、ステップＳ３９に移行する。ステップＳ３９では、各画素での異常画素検出結果をまとめた画像データが出力され、異常画素検出部１４５の動作を終了する。

異常画素補正Ｈ部１４６の説明

図１５は異常画素補正Ｈ部１４６の内部構成を説明するブロック図である。異常画素補正Ｈ部１４６は、局所領域抽出部１７１、微分値算出部１７３、重み値算出部１７４、補間値算出部１７５、加重和算出部１７６、およびスイッチ１７７から構成される。局所領域抽出部１７１は、差分算出部１４４によって算出された差分値画像を入力として、各画素位置において３×３画素の局所領域１７２を抽出する。微分値算出部１７３は抽出された３×３画素の局所領域１７２に対して微分オペレータを適用し、差分値画像の水平方向の微分値grad_Hおよび垂直方向の微分値grad_Vを算出する。微分オペレータとしては、例えば、図１６Ａまたは図１６Ｂに示すようなSobelオペレータなどがよく知られており、これを適用することができる。

補間値算出部１７５は、３×３画素の局所領域１７２の画素を用いて、水平、垂直、斜め計４方向の中心画素への補間値Ｉ_H，Ｉ_V，Ｉ_A，Ｉ_Dを算出する。各方向の補間フィルタの係数としては、例えば図１７Ａ乃至図１７Ｄに示すものを用いることができる。重み値算出部１７４は、水平および垂直方向の微分値に基づき、水平、垂直、斜め計４方向の補間値のそれぞれに対Ｗする重み係数ｗ_H，ｗ_V，ｗ_A，ｗ_Dを算出する。重み係数の決め方としては、微分値が最大となる方向に対して補間方向が平行に近くなるほどなるべく重み係数を小さくし、逆に垂直に近くなるほど重み係数を大きくするように決める。例えば、次式（９）に示される計算式によって算出することができる。

…（９）

加重和算出部１７６は、4つの重み係数ｗ_H，ｗ_V，ｗ_A，ｗ_Dを用いて4つの補間値Ｉ_H，Ｉ_V，Ｉ_A，Ｉ_Dの加重和を算出し、局所領域１７２の中心画素への補間値を決定する。スイッチ１７７は、異常画素検出部１４５が出力した結果に基づいて、局所領域１７２の中心画素が異常画素であるならば前記補間値を補正結果として出力し、異常画素でなければ何もしないもとの中心画素値を出力する。

図１８は、異常画素補正Ｈ部１４６の動作手順を説明するフローチャートである。ステップＳ４１において、差分値画像を読み込む。次にステップＳ４２において、異常画素検出結果を読み込む。次にループＬ４３において、ステップＳ４４からＳ５１の処理が各画素位置ごとに実行される。ステップ Ｓ４４では、局所領域抽出部１７１が現在画素位置を中心に局所領域１７２を抽出する。次にステップＳ４５において、微分値算出部１７３が中心画素位置における水平、垂直方向の微分値を算出する。次にステップＳ４６において、重み値算出部１７４が微分値に基づいて4補間方向への重み値を算出する。にステップＳ４７において、補間値算出部１７５が４方向の補間値を算出する。にステップＳ４８において、加重和算出部１７６が前記重み値を用いて４方向の補間値の加重和を算出する。ステップＳ４９において、スイッチ１７７が現在画素位置の異常画素検出結果に基づき出力値を選択する。現在画素位置が異常画素であればステップＳ５０に移行し、出力値として算出された補間値が選択される。現在画素位置が異常画素でなければステップＳ５１に移行し、出力値として中心画素の画素値が選択される。ステップＳ５０またはＳ５１が終了したら次のループに移行する。全ての画素位置でステップＳ４４乃至Ｓ５１の処理が終了したらループを抜け、ステップＳ５２に移行する。ステップＳ５２では、各画素で算出された出力値をまとめた画像データが出力され、異常画素補正Ｈ部１４６の動作を終了する。

異常画素補正Ｌ部１４７の説明

図１９は、異常画素補正Ｌ部１４７の内部構成を説明するブロック図である。異常画素補正Ｌ部１４７は、局所領域抽出部１８１、平均値算出部１８３、およびスイッチ１８４から構成される。局所領域抽出部１８１は、非線形変換されたぼかし撮影センサ出力１２４を入力として、各画素位置において局所領域１８２を抽出する。局所領域１８２の大きさはぼかし撮影時の帯域制限に依存するが、例えば５×５画素程度でよい。平均値算出部１８３は抽出された局所領域から中心画素と同じ色の画素を選択し、それらの平均値を算出する。最後にスイッチ１８４は異常画素検出部１４５が出力した結果に基づいて、局所領域１８２の中心画素が異常画素であるならば前記平均値を補正結果として出力し、異常画素でなければ何もしないもとの中心画素値を出力する。

以上、異常画素検出部１４５と異常画素補正Ｌ部１４７の説明から明らかなように、異常画素検出部１４５と異常画素補正Ｌ部１４７の内部構成は共通点が多いため、共通部分を共有するようにして実現してもかまわない。

図２０は、異常画素補正Ｌ部１４７の動作手順を説明するフローチャートである。まずステップＳ６１において、非線形変換されたぼかし撮影センサ出力１２４を読み込む。次にステップＳ６２において、異常画素検出結果を読み込む。ループＬ６３において、ステップＳ６４からＳ６８の処理が各画素位置ごとに実行される。ステップＳ６４では、局所領域抽出部１８１が現在画素位置を中心に局所領域１８２を抽出する。ステップＳ６５において、平均値算出部１８３が中心画素と同じ色の画素の平均値を算出し、それを中心画素位置への補間値とする。ステップＳ６６において、スイッチ１８４が現在画素位置の異常画素検出結果に基づき出力値を選択する。現在画素位置が異常画素であればステップＳ６７に移行し、出力値として算出された補間値が選択される。現在画素位置が異常画素でなければステップＳ６８に移行し、出力値として中心画素の画素値が選択される。ステップＳ６７またはＳ６８が終了したら次のループに移行する。全ての画素位置でステップＳ６４乃至Ｓ６８の処理が終了したらループを抜け、ステップＳ６９に移行する。ステップＳ６９では、各画素で算出された出力値をまとめた画像データが出力され、異常画素補正Ｌ部１４７の動作を終了する。

デモザイクＨ部１４８の説明

図２１は、デモザイクＨ部１４８の内部構成を説明するブロック図である。デモザイクＨ部１４８は、局所領域抽出部１９１、色変化検出部１９３、コピー部１９４、平滑化部１９５、および３つの加重和算出部１９６−１乃至１９６−３から構成される。

局所領域抽出部１９１は、異常画素補正Ｈ部１４６によって補正された差分値画像を入力として、各画素位置において５×５画素の局所領域１９２を抽出する。色変化検出部１９３は、局所領域１９２の中での色変化の有無を調べ、色変化の顕著さに応じた重み値を出力する。出力される２つ重み値は足して１になるように正規化された状態で出力される。コピー部１９４は、局所領域１９２の中心画素位置のRGB各色の補間値として、局所領域１９２ の中心画素の画素値そのものをR,G,Bにコピーするように出力する。

平滑化部１９５は、局所領域１９２の中心画素位置のRGB各色の補間値として、各色ごとに平滑化フィルタをかけた結果を出力する。平滑化部１９５で用いる平滑化フィルタの係数は、例えば図２２Ａ乃至図２２Ｄに示すような４種類の係数を使うことができる。Bayer配列の場合R,Gr,B,Gbの４種類の色に対する補間係数は、画像がどのような位相であったとしてもここで示した４種類のどれかを用いればよい。例えば、局所領域１９２の中心がGrである場合は、図２２Ａの係数をGrの平滑化に利用可能で、図２２Ｂの係数はGbの平滑化に、図２２Ｃの係数はBの平滑化に、図２２Ｄの係数はRの平滑化に利用できる。さらにGrとGbの平滑化結果を合成してGの平滑化結果とすることができる。

図２１に戻り、３つの加重和算出部１９６−１乃至１９６−３は、それぞれR,G,Bの各色に対応し、色変化検出部１９３が算出した重み係数を用いて、コピー部１９４の出力値と平滑化部１９５の出力値の加重和を算出し、デモザイク結果として出力する。色変化検出部１９３が算出した重み係数は、色変化がある場合はコピー部１９４の出力の重みを大きくするように、色変化がない場合は平滑化部１９５の出力の重みを大きくするようになっている。

図２３は、デモザイクＨ部１４８の動作手順を説明するフローチャートである。まずステップＳ７１において、画素欠陥補正がなされた差分値画像を読み込む。次にループＬ７２において、ステップＳ７３からＳ７７までの処理が各画素位置ごとに実行される。ステップＳ７３では、局所領域抽出部１９１が現在画素位置を中心に局所領域１９２を抽出する。ステップＳ７４において、色変化検出部１９３が局所領域１９２における色変化の有無を調べ、色変化度合いに基づいた重み値を算出する。ステップＳ７５において、コピー部１９４が中心画素のR,G,B値を中心画素の画素値のコピーによって生成する。ステップＳ７６において、平滑化部１９５が中心画素のR,G,B値を平滑化によって生成する。ステップＳ７７において、加重和算出部１９６−１乃至１９６−３が各色ごとに、色変化検出部１９３によって算出された重み値を用いてコピーによる値と平滑化による値の加重和を算出し、それを現在画素位置の出力値とする。全ての画素位置でステップＳ７３乃至Ｓ７７の処理が終了したらループを抜け、ステップＳ７８に移行する。ステップＳ７８では、各画素で算出されたRGB出力値をまとめたRGB画像データが出力され、デモザイクＨ部１４８の動作を終了する。

図２４は、図２１の色変化検出部１９３の内部構成を説明するブロック図である。色変化検出部１９３は、R平均値算出部２０１、G平均値算出部２０２、B平均値算出部２０３、G標準偏差算出部２０４、色差最大値算出部２０５、および重み値算出部２０６から構成される。R平均値算出部２０１、G平均値算出部２０２、B平均値算出部２０３は、それぞれ５×５画素の局所領域１９２から各色の局所領域１９２内の平均値Ｍ_R、Ｍ_G、Ｍ_Bを算出する。G平均値算出部２０２は、５×５画素の局所領域１９２からGの標準偏差Ｓ_Gを算出する。色差最大値算出部２０５は、R,G,Bの平均値の相互の差（色差）の絶対値を算出し、その中から最大のものを選択して出力する。重み値算出部２０６は、絶対色差の最大値とGの標準偏差の比率に応じたコピー部１９４の出力と平滑化部１９５の出力の重み値を算出する。具体的には、例えば次式（１０）を用いて算出することができる。

…（１０）
ここでTHはあらかじめ設定された定数である。

ここで、色変化検出部１９３の動作で色変化の検出ができる理由を説明する。色変化検出部１９３の入力である差分画像の局所領域１９２を観測したとき、もし色変化がなければ原理的にはR,G,Bの各平均値に差がでないはずである。仮にR,G,Bの各平均値の相互の差分が検出された場合、可能性として、色変化のある領域であるか、もしくはRGB各色のサンプリング位相の違いによって局所領域１９２内の高周波成分が平均値の差として検出されるかのどちらかである。

後者の可能性を分離するには、局所領域１９２内に高周波成分があるかどうかを調べ、高周波が検出されれば、色差が検出されてもそれを色変化と判断しないようにするとよい。本実施の形態では、高周波の有無の指標としてBayer配列で一番サンプリング周波数が高いGの標準偏差を用い、それに対する色差評価値の比率をみるようにして、高周波の影響を考慮した色変化の検出を実現している。

図２５は、色変化検出部１９３の動作手順を説明するフローチャートである。まずステップＳ８１において、局所領域１９２を取得する。ステップＳ８２において、R平均値算出部２０１が局所領域１９２内のRの画素の平均値を算出する。ステップＳ８３において、G平均値算出部２０２が局所領域１９２内のGの画素の平均値を算出する。ステップＳ８４において、B平均値算出部２０３が局所領域内のBの画素の平均値を算出する。ステップＳ８５において、色差最大値算出部２０５がRGBの各平均値間の色差絶対値の中から最大のものを選択する。ステップＳ８６において、G標準偏差算出部２０４が局所領域１９２内のGの画素の標準偏差を算出する。ステップＳ８７において、重み値算出部２０６が色差最大値とG標準偏差の比率に基づいて重み値を算出する。最後にステップＳ８８において、算出された重み値が出力され、色変化検出部１９３の動作を終了する。

なお、上述したデモザイクＨ部１４８の説明では色変化がある場合のデモザイク方法として平滑化部１９５による単純な平滑化を用いたが、この平滑化部１９５のかわりに、既存のデモザイク手法を利用してかまわない。例えば、特許文献２に記載の方法は単純平滑化よりも良好なデモザイク結果を出すことが可能であり、５×５画素の領域に適用可能なので、デモザイクＨ部１４８の他の構成を変えることなく利用可能な技術である。もちろん、より大きい局所領域を必要とするデモザイク処理に対しても局所領域抽出部１９１の動作を変更すれば対応可能である。

デモザイクＬ部１４９の説明

図２６は、デモザイクＬ部１４９の内部構成を説明するブロック図である。デモザイクＬ部１４９は、局所領域抽出部２１１、および平滑化部２１３から構成される。局所領域抽出部２１１は、非線形変換と異常画素補正がなされたほかし撮影画像を入力として、各画素位置において５×５画素の局所領域２１２を抽出する。平滑化部２１３は、局所領域２１２の中心画素位置のRGB各色の補間値として、各色ごとに平滑化フィルタをかけた結果を出力する。平滑化部２１３で用いる平滑化フィルタの係数は、例えば図２２Ａ乃至図２２Ｄに示された４種類の係数を使うことができる。

図２７は、デモザイクＬ部１４９の動作手順を説明するフローチャートである。始めにステップＳ９１において、異常画素補正Ｌ部１４７によって画素欠陥補正がなされたぼかし撮影センサ出力を読み込む。次にループＬ９２において、ステップＳ９３およびＳ９４までの処理が各画素位置ごとに実行される。ステップＳ９３では、局所領域抽出部２１１が現在画素位置を中心に局所領域２１２を抽出する。次にステップＳ９４において、平滑化部２１３が中心画素のR,G,B値を平滑化によって生成する。全ての画素位置でステップＳ９３およびＳ９４の処理が終了したらループを抜け、ステップＳ９５に移行する。ステップＳ９５では、各画素で算出されたRGB出力値をまとめたRGB画像データが出力され、デモザイクＬ部１４９の動作を終了する。

以上の説明から明らかなように、デモザイクＨ部１４８の局所領域抽出部１９１および平滑化部１９５と、デモザイクＬ部１４９の局所領域抽出部２１１および平滑化部２１３は動作が同じであるため、共有するようにして実現してもかまわない。

以上に説明した構成により、従来のカメラよりも元信号の高周波成分の復元が可能な、画像センサの画素欠陥検出および補正処理およびカラー画像センサのデモザイク処理を実施することができる。

以上で、信号処理部１２２の第１の構成例の説明を終了する。

次に、信号処理部１２２の第２の構成例について説明する。この第２の構成例は、画素ごとに感度を変えた画像センサを用いるSVE方式のカメラに適用可能なものである。なお、信号処理部１２２の第２の構成例に対応する撮像部１２１の構成は、図２または図３に示されたSVE方式の色と感度のモザイク配列を用いるSVE方式画像センサを用いること以外、第１の構成例に対応するものと違いはない。

図２８は、SVE方式に応用した信号処理部１２２の第２の構成例を説明するブロック図である。図１１と見比べると明らかなように、SVE方式に応用する場合においても信号処理部１２２の構成はほとんど同じである。第１の構成例と第２の構成例の違いは、第１の構成例の異常画素検出部１４５が、第２の構成例において異常画素検出部２２１に置き換えられた点にある。異常画素検出部２２１への入力は、非線形変換部１４３−２から出力される。

SVE方式では各画素が明・暗どちらかの感度をもっていることで、入射光によって画素の飽和もしくはノイズに埋もれるという原因で画素情報が欠落することが多く、そのような情報欠落をおこした画素の検出のために異常画素検出部２２１を用いる。この第２の構成例では、情報欠落をおこした画素の補正の方法と、補正後のデモザイクは画素ごとの感度の違いに関係なく、第１の構成例と同じものを用いることができる。

以下にSVE方式で情報欠落をおこした画素を検出するための異常画素検出部２２１の動作を説明する。

図２９は、異常画素検出部２２１の内部構成を説明するブロック図である。異常画素検出部２２１は、閾値判定部２３１、閾値判定部２３２、およびＯＲ部２３３から構成される。閾値判定部２３１は、非線形変換された通常撮像のセンサ出力の各画素を入力とし、それが飽和レベルに達したかどうかをあらかじめ設定した飽和レベルとの比較により判定する。閾値判定部２３２は、非線形変換された通常撮像のセンサ出力の各画素を入力とし、それが暗部ノイズレベルに達したかどうかをあらかじめ設定した暗部ノイズレベルとの比較により判定する。２つの閾値判定手段により判定された結果はＯＲ部２３３によってＯＲ演算されて出力される。

図３０は、異常画素検出部２２１の動作手順を説明するフローチャートである。始めにステップＳ１０１において、非線形変換された通常撮影センサ出力を読み込む。次にループＬ１０２において、ステップＳ１０３からＳ１０７の処理が各画素位置ごとに実行される。ステップＳ１０５では、閾値判定部２３１が現在画素位置の画素値とあらかじめ設定された飽和レベルとの比較を行う。画素値が飽和レベルより大きい場合は、ステップＳ１０４に移行し、ＯＲ部２３３によって現在画素位置は異常画素であると判定され、その判定結果が記憶される。画素値が飽和レベルより大きくない場合は、ステップＳ１０５に移行する。

ステップＳ１０５では、閾値判定部２３２が現在画素位置の画素値とあらかじめ設定されたノイズレベルとの比較を行う。画素値がノイズレベルより小さい場合は、ステップＳ１０６に移行し、ＯＲ部２３３によって現在画素位置は異常画素であると判定され、その判定結果が記憶される。画素値がノイズレベルより小さくない場合は、ステップＳ１０７に移行し、ＯＲ部２３３によって現在画素位置は異常画素でないと判定され、その判定結果が記憶される。ステップＳ１０４、Ｓ１０６、またはＳ１０７が終了したら次のループに移行する。全ての画素位置でステップＳ１０３乃至Ｓ１０７の処理が終了したらループを抜け、ステップＳ１０８に移行する。ステップＳ１０８では、各画素での異常画素検出結果をまとめた画像データが出力され、異常画素検出部２２１の動作を終了する。

なお、信号処理部１２２の第２の構成例の動作は、上述した異常画素検出部２２１の動作以外、上述した第１の構成例の動作と同様であるので、その説明は省略する。以上、信号処理部１２２の第２の構成例の動作説明を終了する。

以上のように、本発明によれば、画像センサの画素欠陥の検出および補正処理、カラー画像センサ出力のデモザイク処理において、従来方法では画素ごとの色や感度の違いに起因して正しく復元できなかった画像の高周波成分を復元できるようになる。それは以下のような理由による。

まず本発明は、通常に撮像した画像に加えて光学的にぼかして撮像した画像を利用することにより、画素ごとの色や感度の違いによらない入射光成分を抽出することを可能にする。それによって、画素ごとの色や感度に違いにかかわらずコンパクトな補間フィルタの使用することができ、より高周波成分を維持するような補間処理が可能になる。

また、本発明では、通常に撮像した画像と光学的にぼかして撮像した画像に対して対数変換のような非線形変換を適用することにより、単純な画素ごとの差分計算のみによって、前記画素ごとの色や感度の違いによらない入射光成分を可能にする。

さらに、本発明では、前記画素ごとの色や感度の違いによらない入射光成分を抽出した画像に対して、エッジ方向判定処理とエッジ方向判定結果に基づいた方向選択型の補間処理を行う、３×３のサイズのコンパクトなオペレータを適用することにより、高細な画像情報を再現する補間処理を可能にする。

さらに、本発明では、カラー画像センサ出力のデモザイク処理に関して、局所領域ごとに色変化の有無を検出する処理を行うことによって、前記画素ごとの色や感度の違いによらない補間処理が可能かとうかを判別し、局所領域ごとに適切な補間処理がなされることを可能にする。

なお、本明細書において、プログラムに基づいて実行されるステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

通常カラー画像センサの色モザイク配列の例（Bayer配列）を示す図である。 SVE方式カラー画像センサの色・感度モザイク配列の例を示す図である。 SVE方式カラー画像センサの色・感度モザイク配列の例を示す図である。 本発明を適用したディジタルカメラの構成例を示すブロック図である。 本発明の基本構成を示すブロック図である。 図５の基本構成による動作を説明するフローチャートである。 図５の撮像部の第１の構成例と通常撮影時の動作を説明するブロック図である。 図５の撮像部の第１の構成例とぼかし撮影時の動作を説明するブロック図である。 図５の撮像部の第２の構成例と通常撮影時の動作を説明するブロック図である。 図５の撮像部の第２の構成例とぼかし撮影時の動作を説明するブロック図である。 図５に示された信号処理部の第１の構成例を示すブロック図である。 図１１に示された信号処理部の動作を説明するフローチャートである。 図１１に示された異常画素検出部の構成例を示すブロック図である。 図１３に示された異常画素検出部の動作を説明するフローチャートである。 図１１に示された異常画素補正Ｈ部の構成例を示すブロック図である。 Sobel微分オペレータの係数を説明する図である。 図１５の補間値算出部で用いるフィルタ係数を説明する図である。 図１５に示された異常画素補正Ｈ部の動作を説明するフローチャートである。 図１１に示された異常画素補正Ｌ部の構成例を示すブロック図である。 図１９に示された異常画素補正Ｌ部の動作を説明するフローチャートである。 図１１に示されたデモザイクＨ部の構成例を示すブロック図である。 図２１の平滑化部で用いるフィルタ係数を説明する図である。 図２１に示されたデモザイクＨ部の動作を説明するフローチャートである。 図２１に示された色変化検出部の構成例を示すブロック図である。 図２４に示された色変化検出部の動作を説明するフローチャートである。 図１１に示されたデモザイクＬ部の構成例を示すブロック図である。 図２６に示されたデモザイクＬ部の動作を説明するフローチャートである。 図５に示された信号処理部の第２の構成例を示すブロック図である。 図２８の異常画素検出部の構成例を示すブロック図である。 図２９に示された異常画素検出部の動作を説明するフローチャートである。

符号の説明

１００ ディジタルカメラ， １０９ DSP， １１５ CPU， １２１ 撮像部， １２２ 信号処理部， １４１ 黒レベル補正部， １４２ ホワイトバランス部， １４３ 非線形変換部， １４４ 差分算出部， １４５ 異常画素検出部， １４６ 異常画素補正Ｈ部， １４７ 異常画素補正Ｌ部， １４８ デモザイクＨ部， １４９ デモザイクＬ部， １５０ 加算部， １５１ 非線形逆変換部， １５２ ガンマ補正部， １５３ ＹＣ変換部， １５４ アパーチャ補正部， １６１ 局所領域抽出部， １６２ ，１６３ 平均値算出部， １６４ 差分絶対値算出部， １６５ 閾値判定部， １７１ 局所領域抽出部， １７３ 微分値算出部， １７４ 重み値算出部， １７５ 補正値算出部， １７６ 加重和算出部， １７７ スイッチ， １８１ 局所領域抽出部， １８３ 平均値算出部， １８４ スイッチ， １９１ 局所領域抽出部， １９３ 色変化検出部， １９４ コピー部， １９５ 平滑化部， １９６ 加重和算出部， ２０１ Ｒ平均値算出部， ２０２ Ｇ平均値算出部， ２０３ Ｂ平均値算出部， ２０４ Ｇ標準偏差算出部， ２０５ 色差最大値算出部， ２０６ 重み値算出部， ２１１ 局所領域抽出部， ２１３ 平滑化部， ２２１ 異常画素検出部， ２３１ 閾値判定部， ２３２ 閾値判定部， ２３３ ＯＲ部

Claims (19)

1. 画像センサを用いて撮像した第１のセンサ出力画像、および前記画像センサを用いて光学的にぼかして撮像した第２のセンサ出力画像を取得する画像取得手段と、
   取得された前記第１および第２のセンサ出力画像における画素欠陥を補正する画素欠陥補正処理を行う画素欠陥補正手段と、
   前記画素欠陥補正処理の結果として得られる差分画像および第２のセンサ出力画像に基づいてデモザイク処理を行い１枚の画像を生成するデモザイク手段と
   を含み、
   前記画素欠陥補正手段は、
   前記第１のセンサ出力画像の各画素の非線形変換された画素値を算出する第１の非線形変換手段と、
   前記第２のセンサ出力画像の各画素の非線形変換された画素値を算出する第２の非線形変換手段と、
   非線形変換後の前記第１のセンサ出力画像と、非線形変換後の前記第２のセンサ出力画像の対応する画素毎に画素値の差分値を算出し、前記差分値を画素値とする差分画像を生成する差分算出手段と、
   前記第１または第２のセンサ出力画像の各画素が異常画素であるか否かを判定する異常画素判定手段と、
   異常画素であると判定された画素に対応する前記差分画像の画素を、その近傍の画素に基づいて補間する第１の補正手段と、
   異常画素であると判定された画素に対応する非線形変換後の前記第２のセンサ出力画像の画素を、その近傍の画素に基づいて補間する第２の補正手段と
   を含む
   撮像装置。
2. 前記第１および第２の非線形変換手段は、対数変換を行う
   請求項１に記載の撮像装置。
3. 前記第１および第２の非線形変換手段は、べき乗変換を行う
   請求項１に記載の撮像装置。
4. 前記画像取得手段は、移動可能な光学的なローパスフィルタを光軸上に出し入れする機構を持つ
   請求項１に記載の撮像装置。
5. 前記画像取得手段は、フォーカスを合焦位置からずらす機構を持つ
   請求項１に記載の撮像装置。
6. 前記異常画素判定手段は、予め異常画素として検出されている画素の位置を示す情報が保存されているメモリから前記情報を読み出す
   請求項１に記載の撮像装置。
7. 前記異常画素判定手段は、
   非線形変換後の前記第２のセンサ出力画像の各画素位置ごとに前記画素位置を中心とした近傍領域を抽出する近傍領域手段と、
   前記近傍領域の画素値の平均値を算出する平均値算出手段と、
   前記近傍領域の中心画素位置の画素値と前記近傍画素の平均値との差分絶対値を算出する差分絶対値算出手段と、
   前記差分絶対値と所定の閾値とを比較する比較手段と
   を含む
   請求項１に記載の撮像装置。
8. 前記異常画素判定手段は、非線形変換後の前記第１のセンサ出力画像の各画素位置ごとに画素値が所定の範囲内あるか否かを判定する
   請求項１に記載の撮像装置。
9. 前記第１の補正手段は、
   異常画素に対応する前記差分画像の画素を中心にした３×３画素の領域に微分オペレータを適用し、水平および垂直方向の微分値を算出する微分値算出手段と、
   前記３×３画素の領域の画素値から水平、垂直、および斜めの４方向の補間値を算出する補間値算出手段と、
   前記水平および垂直方向の微分値に基づいて４方向の補間値の重み値を算出する重み値算出手段と、
   前記４方向の補間値を前記重みを用いて重みつき加算することで前記異常画素に対応する前記差分画像の画素の補間値を算出する加重和算出手段と
   を含む
   請求項１に記載の撮像装置。
10. 前記デモザイク手段は、
    前記画素欠陥補正処理の結果として得られる前記差分画像の画素値に基づき、各画素に対応するRGB値を算出する第１のデモザイク手段と、
    前記画素欠陥補正処理後の前記第２のセンサ出力画像に基づき、各画素に対応するRGB値を算出する第２のデモザイク手段と、
    前記第１のデモザイク手段によって算出された各画素のRGB値と、前記第２のデモザイク手段よって算出された各画素のRGB値を各色ごとに加算する加算手段と
    を含む
    請求項１に記載の撮像装置。
11. 前記第２のデモザイク手段は、各色ごとに平滑化フィルタによる補間処理を行う
    請求項１０に記載の撮像装置。
12. 前記第１のデモザイク手段は、
    前記差分画像の画素値をそのままRGB値のうちのいずれかの補間値として用いる
    請求項１０に記載の撮像装置。
13. 前記第１のデモザイク手段は、
    前記差分画像の各画素位置ごとに当該画素位置を中心とした近傍領域を抽出する近傍領域抽出手段と、
    抽出された前記近傍領域の画素値に基づいて色変化の有無を検出する色変化検出手段と、
    抽出された前記近傍領域の中心画素の画素値をそのままRGB値のうちのいずれかの補間値とする第１の補間値算出手段と、
    抽出された前記近傍領域の画素を各色ごとに平滑化して補間値を算出する第２の補間値算出手段と、
    前記色変化検出手段の検出結果に応じて、前記第１の補間値と前記第２の補間値を各色ごとに混合する混合手段と
    を含む
    請求項１２に記載の撮像装置。
14. 前記色変化検出手段は、
    前記近傍領域の画素から各色の平均値を算出する平均値算出手段と、
    前記近傍領域の画素のうち、最も画素数が多い色の画素の標準偏差を算出する標準偏差算出手段と、
    前記各色の平均値の相互の差分絶対値の中の最大値を算出する最大値算出手段と、
    色変化の度合いとして、前記平均値の差分絶対値の最大値と前記標準偏差の比率を算出する比率算出手段と
    を含む
    請求項１３に記載の撮像装置。
15. 前記画像取得手段は、画素毎に感度が異なる画像センサを用いる
    請求項１に記載の撮像装置。
16. 画素毎に感度が異なる前記画像センサは、
    色の配列がBayer配列であり、
    感度の配列が、
    Ｇについては、２種類の感度の画素が水平および垂直に１ラインごとに交互に配置されており、
    ＲおよびＢについては、２種類の感度の画素が水平および垂直に２ラインごとに交互に配置されている
    請求項１５に記載の撮像装置。
17. 画素毎に感度が異なる前記画像センサは、
    感度の配列が異なる２種類の感度が市松状に配置されており、
    色の配列として、
    Ｇについては、１垂直ラインおきのストライプに配置されており、
    ＲおよびＢについては、Ｇのラインではない垂直ラインに２画素周期で交互に配置されている
    請求項１５に記載の撮像装置。
18. 画像センサを用いて撮像した第１のセンサ出力画像、および前記画像センサを用いて光学的にぼかして撮像した第２のセンサ出力画像を取得する画像取得ステップと、
    取得された前記第１および第２のセンサ出力画像における画素欠陥を補正する画素欠陥補正処理を行う画素欠陥補正ステップと、
    前記画素欠陥補正処理の結果として得られる差分画像および第２のセンサ出力画像に基づいてデモザイク処理を行い１枚の画像を生成するデモザイクステップと
    を含み、
    前記画素欠陥補正ステップは、
    前記第１のセンサ出力画像の各画素の非線形変換された画素値を算出する第１の非線形変換ステップと、
    前記第２のセンサ出力画像の各画素の非線形変換された画素値を算出する第２の非線形変換ステップと、
    非線形変換後の前記第１のセンサ出力画像と、非線形変換後の前記第２のセンサ出力画像の対応する画素毎に画素値の差分値を算出し、前記差分値を画素値とする差分画像を生成する差分算出ステップと、
    前記第１または第２のセンサ出力画像の各画素が異常画素であるか否かを判定する異常画素判定ステップと、
    異常画素であると判定された画素に対応する前記差分画像の画素を、その近傍の画素に基づいて補間する第１の補正ステップと、
    異常画素であると判定された画素に対応する非線形変換後の前記第２のセンサ出力画像の画素を、その近傍の画素に基づいて補間する第２の補正ステップと
    を含む
    撮像方法。
19. 撮像装置を制御するためのプログラムであって、
    画像センサを用いて撮像した第１のセンサ出力画像、および前記画像センサを用いて光学的にぼかして撮像した第２のセンサ出力画像を取得する画像取得ステップと、
    取得された前記第１および第２のセンサ出力画像における画素欠陥を補正する画素欠陥補正処理を行う画素欠陥補正ステップと、
    前記画素欠陥補正処理の結果として得られる差分画像および第２のセンサ出力画像に基づいてデモザイク処理を行い１枚の画像を生成するデモザイクステップと
    を含み、
    前記画素欠陥補正ステップは、
    前記第１のセンサ出力画像の各画素の非線形変換された画素値を算出する第１の非線形変換ステップと、
    前記第２のセンサ出力画像の各画素の非線形変換された画素値を算出する第２の非線形変換ステップと、
    非線形変換後の前記第１のセンサ出力画像と、非線形変換後の前記第２のセンサ出力画像の対応する画素毎に画素値の差分値を算出し、前記差分値を画素値とする差分画像を生成する差分算出ステップと、
    前記第１または第２のセンサ出力画像の各画素が異常画素であるか否かを判定する異常画素判定ステップと、
    異常画素であると判定された画素に対応する前記差分画像の画素を、その近傍の画素に基づいて補間する第１の補正ステップと、
    異常画素であると判定された画素に対応する非線形変換後の前記第２のセンサ出力画像の画素を、その近傍の画素に基づいて補間する第２の補正ステップと
    を含む
    処理を撮像装置のコンピュータに実行させるプログラム。

Images