JP6195055B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、光学ローパスフィルタを搭載しない撮像装置において、色モアレの発生を事前に検知することができる撮像装置および撮像方法に関するものである。

光軸上を移動可能な光学レンズを備え、この光学レンズを介して撮像素子の受光面に被写体像を結像させて、撮像素子から出力される画像信号に基づく画像データを生成し記録する撮像装置（以下「デジタルカメラ」という。）が知られている。このデジタルカメラ特有の問題として、「モアレ」が知られている。

一般的に、デジタルカメラに用いられる撮像素子は、正方形の画素が規則正しく配列されている。この撮像素子の画素の面（受光面）に光学レンズを介して被写体像が結像し、サンプリング周波数（ナイキスト周波数）によってサンプリングされて電気信号として出力される。すなわち、被写体の空間周波数がナイキスト周波数の１／２以上であるときは、正常なサンプリングができなくなる。このような高周波成分を含む被写体に基づく画像信号には、偽の周波数をもつエイリアス信号（折り返し成分）が含まれることになる。このエイリアス信号が含まれる画像信号に基づいて画像データを生成すると、画像の一部が変質する「モアレ」が生じる。

モアレには、「輝度モアレ（偽解像）」や、「色モアレ（偽色）」などが知られている。このモアレの要因は、デジタルカメラの撮像素子の画素が規則正しく配列されていて、サンプリング周波数が画素の配列場所によらず一定であることによる。よって、フィルム粒子がランダムに配置されているとみなされる従来のフィルムカメラ（アナログカメラ）で、モアレは生じない。

モアレの発生を抑制または軽減するには、撮像素子から画像信号をサンプリングする前に、被写体の空間周波数を、ナイキスト周波数以下に落とせばよい。言い換えると、被写体の空間周波数に含まれるナイキスト周波数以上の高周波成分を落とせばよい。そのために用いる部品として、光学ローパスフィルタが知られている。

光学ローパスフィルタは、水晶の複屈折性を利用して、画像を任意の幅に分離する効果を有するフィルタであって、２枚の複屈折板の間に１枚の１／４波長板を挟んでなる。この光学ローパスフィルタにより四点分離を行うものが、レンズ交換式デジタルカメラや一部のコンパクトデジタルカメラに用いられている。この光学ローパスフィルタを、光学レンズと撮像素子の受光面との間に配置することで、モアレの原因となり得る高周波成分を低減させることができる。

しかし、光学ローパスフィルタは、ナイキスト周波数以上の成分にのみ作用するのではなく、低周波成分にも影響を与えるので、光学ローパスフィルタを用いて撮影した画像は、全体的にぼかされた状態になる。また、光学ローパスフィルタは、デジタルカメラを構成する部品の中でも比較的価格が高い部品であるから、デジタルカメラの製造コストに与える影響が大きい。さらに、装着されたレンズの解像特性が高いほどモアレの発生が強くなるから、キレのある高性能なレンズを使用するときほど、モアレを抑えるために、強い光学ローパスフィルタが必要になる。そうすると、解像特性の高いレンズの性能を十分に発揮させることができない。

レンズの解像特性を発揮させた画像を記録するには、光学ローパスフィルタを用いないこと（光学ローパスフィルタレス）が望ましい。そこで近年では、光学ローパスフィルタを用いずに、画素配列にランダム性を持たせた撮像素子を用いることで色モアレの発生を抑制するものや、ＲＧＢを三層構造にした撮像素子を用いることで色モアレの発生を抑制する、デジタルカメラが知られている。このようなデジタルカメラは、独自に色補間用のハードウェアが必要である。また、透過特性が悪く色再現性や感度などに課題がある。

これまでにも、低周波域のコントラストも、高周波域のコントラストと同じようにピークをもつ性質を利用して、高周波域と低周波域のそれぞれのコントラストデータのピーク位置に基づいてモアレの発生を検出して、モアレが発生する場合にはピント位置をずらす撮像装置が提案されている（例えば、特許文献１参照）。

特許文献１の撮像装置は、光学ローパスフィルタレスの撮像装置において、モアレが発生する条件に合致する場合に、光学レンズをピント位置からずらして撮影する。これによってモアレの発生を防ぐことができるが、ピント位置から光学レンズをずらすことで、画像の解像特性は低下する。つまり、特許文献１の方法では、光学レンズのもつ解像特性を最大限に発揮することはできなくなる。

また、一般的に輝度モアレよりも色モアレの方が画像品質への影響が大きい。しかし、特許文献１の撮像装置は、色モアレの発生を抑制または低減させることはできない。さらに、ピント位置をずらさずに撮影したい場合や、ピント位置をずらすのではなく絞りを絞り込むことにより色モアレ対策をしたい場合などにおいては、ユーザが望む撮影方法に対応できない。

本発明は、光学ローパスフィルタレスの撮像装置であっても、色モアレの発生を撮影処理の前に検知して、色モアレを抑制する撮像装置を提供することを目的とする。

本発明に係る撮像装置は、光学レンズと、上記光学レンズを介して被写体像を結像させる受光面を備える撮像素子と、を有し、上記撮像素子から出力される画像信号から画像データを生成して記録する撮像装置であって、上記画像データに基づくコントラストデータを算出するコントラストデータ算出手段と、上記画像データに基づく色データを算出する色データ算出手段と、上記コントラストデータに基づいて、被写体像を上記受光面に合焦させる上記光学レンズの第１レンズ位置を決定する第１レンズ位置決定手段と、上記色データに基づいて、上記色データがピークになる上記光学レンズの第２レンズ位置を決定する第２レンズ位置決定手段と、上記第１レンズ位置と上記第２レンズ位置との差分を算出し、上記差分と予め規定された閾値とを比較する判定手段と、を有し、上記判定手段は、上記差分が上記閾値よりも小さいとき、色モアレが生じると判定する、ことを最も主要な特徴とする。

本発明によれば、色モアレの発生を撮影処理の前に検知して、色モアレを抑制することができる。

本発明に係る撮像装置であるデジタルカメラの実施の形態を示す機能ブロック図である。 上記撮像装置において実行される撮像方法の実施の形態を示すフローチャートである。 上記撮像装置における画像処理の例を示す図である。 上記撮像装置における画像処理の別の例を示す図である。 上記撮像装置において実行される撮像方法の別の実施の形態を示すフローチャートである。 色モアレが発生する被写体の例である。 上記色モアレが発生する被写体を上記撮像装置で撮像した場合おけるコントラストデータの変化の例を示すグラフである。 上記色モアレが発生する被写体を上記撮像装置で撮像した場合おける色差成分データの変化の例を示すグラフである。 上記色モアレが発生する被写体を上記撮像装置で撮像した場合おけるホワイトバランスデータの変化の例を示すグラフである。 色モアレが発生しない被写体を上記撮像装置で撮像した場合おけるコントラストデータの変化の例を示すグラフである。 色モアレが発生しない被写体を上記撮像装置で撮像した場合おける色差成分データの変化の例を示すグラフである。 色モアレが発生しない被写体を上記撮像装置で撮像した場合おけるホワイトバランスデータの変化の例を示すグラフである。

以下、本発明に係る撮像装置および撮像方法の実施の形態について説明する。本発明に係る撮像装置は、画像を記録する前に、色モアレの発生の有無を判定できるものである。したがって、色モアレの発生を事前に検知して、色モアレを抑制または低減する処理を行なってから画像を記録することができる。
●色モアレの判定方法

色モアレは偽色とも呼ばれて、本来は無いはずの縞模様の色が画像中に発生する現象である。一般的に、色モアレはピントの合焦位置付近において発生しやすい。まず、本発明に係る撮像装置に用いられる色モアレの判定方法について説明する。一般に、色モアレの発生しない被写体は、ピントの合焦・非合焦に関わらず色差成分（色味）は変化しない。よって、ピントの合焦処理を行う際に、光学レンズを移動させながら、所定の時間間隔で生成される画像データに基づいて、色差成分の変動を検知することで、当該画像データにより記録される画像において、色モアレが発生するか否かを判定することができる。

ピントの合焦処理（ＡＦ処理）では、光学レンズを移動させながら、所定の時間間隔で画像データを生成し、この画像データを用いて合焦位置の判定に使用するコントラストデータ（ＡＦ評価値）を算出する。このとき、上記の画像データを用いて、色データである色差成分データ（色差成分評価値）や、ホワイトバランスデータ（ホワイトバランス評価値）を算出する。

コントラストデータがピークになるレンズ位置が、光学レンズの合焦位置である。この合焦位置になるレンズ位置を第１レンズ位置という。コントラストデータのピーク判定と共に、色差成分データまたはホワイトバランスデータのピーク判定を行う。これら色データ（色差成分データ、ホワイトバランスデータ）にピークが生じていなければ、色モアレが発生することはない。しかし、色データにもピークが生じていれば、色モアレが発生する可能性がある。色データがピークとなるレンズ位置を第２レンズ位置という。色モアレが発生するか否かは、第１レンズ位置と第２レンズ位置の相関により判定することができる。

例えば、図６に示すＣＺＰ（Ｃｉｒｃｕｌａｒ Ｚｏｎｅ Ｐｌａｔｅ）チャートは、色モアレが発生し得る被写体である。ＣＺＰは、中央から周辺に掛けて徐々に解像度が変化するものであって、色補間の評価に使用されるものである。図６に示すＣＺＰチャートの解像度は、中央の０［ＴＶ本］から周辺の６００［ＴＶ本］まで変化している。すなわち、中央から周囲にかけて空間周波数が徐々に高くなっている。近年のデジタルカメラが備える撮像素子は、画素数が１０００万画素以上であるから、図６に示したＣＺＰチャートを等倍で撮影しても、ナイキスト周波数の半分にも達しない。しかし、そのような撮像素子を備えるデジタルカメラであっても、焦点距離と画素数から適切なチャート距離を算出して、例えば５００［ＴＶ本］付近がナイキスト周波数になるように撮影すると、色モアレが発生し得る状態になる。

上記の撮影条件の下で、光学レンズの位置をずらしながら（焦点距離を変化させながら）、図６に示すＣＺＰチャートを連続的に撮影すると、図７乃至図９に示す各データを算出することができる。図７乃至図９に示すグラフは、上記条件で取得された各レンズ位置におけるコントラストデータ、色差成分データおよび彩度、ホワイトバランスデータを算出したものである。

図７は、コントラストデータの変化の例を示すグラフであって、横軸を光学レンズの位置とし、縦軸をコントラストデータの大きさとしている。なお、コントラストデータとは、画像データに対してデジタルハイパスフィルタ（−１、０、２、０、−１）によるフィルタ処理を実行した結果である。図７に示すように、レンズ位置を移動させてコントラストデータを算出すると、被写体（ＣＺＰチャート）に合焦するレンズ位置（第１レンズ位置Ｐ１）で、コントラストデータの値はピークになる。

図８は、色差成分データの変化の例を示すグラフであって、横軸を光学レンズの位置とし、縦軸を色差成分データと彩度の大きさとしている。なお、色差成分データとは、画像処理ＬＳＩにおいて画像処理が行われた画像データ（ＹＵＶ形式）のＣｂ／Ｃｒ成分の絶対値である。また、彩度とはＣｂ−Ｃｒ空間において（Ｃｂ^２＋Ｃｒ^２）＾（０．５）により算出される指標であり、Ｙ成分は考慮しない値である。図８に示すように、レンズ位置を移動させながら、色差成分データと彩度を算出すると、これらにもピークが現れる。このピークが現れるレンズ位置（第２レンズ位置Ｐ２１）は、第１レンズ位置Ｐ１（図７参照）とは異なるレンズ位置である。

また、図９は、ホワイトバランスデータの変化の例を示すグラフであって、横軸をレンズ位置とし、縦軸をホワイトバランスデータの大きさとしている。なお、ホワイトバランスデータとは、画像処理ＬＳＩで各種画像処理を行った画像データにおけるＲ／Ｇｒ成分とＢ／Ｇｂ成分の値である。図９に示すように、レンズ位置を移動させながら、ホワイトバランスデータを算出すると、ホワイトバランスデータにもピークが現れる。このピークが現れるレンズ位置（第２レンズ位置Ｐ２２）は、第１レンズ位置Ｐ１（図７参照）の近傍であるが、同一ではない。

このように、色モアレが生じる可能性がある状態において、コントラストデータと、色データである色差成分データやホワイトバランスデータと、を算出すると、光学レンズの位置によって各値はそれぞれ変動して、ピークが現れるようになる。コントラストデータがピークになる第１レンズ位置Ｐ１と、色差成分データがピークになる第２レンズ位置Ｐ２１は、近傍である。また、第１レンズ位置Ｐ１と、ホワイトバランスデータがピークになる第２レンズ位置Ｐ２２は、近傍である。このように、第２レンズ位置Ｐ２１または第２レンズ位置Ｐ２２が存在し、かつ、第２レンズ位置Ｐ２１または第２レンズ位置Ｐ２２と第１レンズ位置Ｐ１が所定の距離より短いとき、その画像には色モアレが生じる可能性が高い。

次に、色モアレが生じない被写体として、マクベスチャートのＲＥＤパッチを用いて、上記と同様に、コントラストデータ、色差成分データおよび彩度、ホワイトバランスデータを算出したときのそれぞれの変化について説明する。図１０乃至図１２は、光学レンズの位置をずらしながら（焦点距離を変化させながら）ＲＥＤパッチを連続的に撮影して生成した画像データに基づいて、上記各データを算出したときの変化を示すグラフである。

図１０は、コントラストデータの変化の例を示すグラフであって、横軸をレンズ位置（焦点距離）とし、縦軸をコントラストデータの大きさとしている。図１０に示すように、焦点距離を変化させてコントラストデータを算出すると、被写体であるＲＥＤパッチに合焦する第１レンズ位置Ｐ１において、コントラストデータの値はピークになる。

図１１は、色差成分データの変化の例を示すグラフであって、横軸を光学レンズの位置とし、縦軸を色差成分データと彩度の大きさとしている。図１１に示すように、光学レンズの位置が変化しても、色差成分データはほぼ一定であって変動せず、ピークは生じない。図１２は、ホワイトバランスデータの変化の例を示すグラフであって、横軸を光学レンズの位置とし、縦軸をホワイトバランスデータの大きさとしている。図１２に示すように、ホワイトバランスデータも、色差成分データと同じように、光学レンズの位置が変化しても、その値はほぼ一定であって変動せず、ピークは生じない。

以上のように、色モアレが生じる被写体を撮影すると、コントラストデータがピークになるレンズ位置（合焦位置）の近傍において、色差成分データやホワイトバランスデータのピークが現れる。しかし、色モアレが生じない被写体を撮影しても、色差成分データやホワイトバランスデータにはピークは現れない。

●撮像装置の機能ブロック
上記の色モアレ判定方法を踏まえて、本発明に係る撮像装置の実施の形態について説明する。図１は、本発明に係る撮像装置であるデジタルカメラの実施の形態を示す機能ブロック図である。図１において、デジタルカメラ１００は、光学系６と、アナログフロントエンド部２１と、画像信号処理部２２と、ＳＤＲＡＭ２３と、操作部４１と、ＲＯＭ２４と、ＬＣＤ９と、メモリカード１４と、を有してなる。

光学系６は、光学レンズ５と、絞り２６と、内蔵ＮＤフィルタ２７と、これらを動作させるモータを駆動するモータドライバ２５と、撮像素子であるＣＣＤ２０と、を有してなる。光学系６は、光学レンズ５を介して、被写体像をＣＣＤ２０の受光面に結像させる。

アナログフロントエンド部２１は、光学系６から出力されるアナログ画像信号を処理するＣＤＳ回路３１と、ＡＧＣ回路３２と、Ａ／Ｄ変換回路３３と、ＴＧ回路３０と、を有してなる。ＣＤＳ回路３１は、ＣＣＤ２０から出力されるアナログ画像信号のノイズ除去をする回路である。ＡＧＣ回路３２は、ＣＤＳ回路３１から出力されるアナログ画像信号の振幅を調整する回路である。Ａ／Ｄ変換回路３３は、アナログ画像信号をデジタル画像データに変換する回路である。ＴＧ回路３０は、ＣＣＤ２０、ＣＤＳ回路３１、ＡＧＣ回路３２、Ａ／Ｄ変換回路３３の動作タイミングを指示する駆動信号を生成する回路である。

画像信号処理部２２は、ＣＣＤＩ／Ｆ３４と、メモリコントローラ３５と、制御部であるＣＰＵ２８と、ＲＡＷ−ＲＧＢ処理部２９と、ＹＵＶ変換部３６と、リサイズ処理部３７と、データ圧縮部３９と、表示出力制御部３８と、メディアＩ／Ｆ４０と、を有してなる。

アナログフロントエンド部２１からＣＣＤＩ／Ｆ３４を介して、画像処理ＬＳＩである画像信号処理部２２に入力されたデジタル画像データは、ＲＡＷ−ＲＧＢ処理部２９において欠陥画素補正、ＯＢ補正、リニアリティ補正等の補正処理が実行される。また、この画像データからＡＥ（自動露出）・ＡＷＢ（自動ホワイトバランス調整）・ＡＦ（自動焦点設定）の各処理に用いられるデータが生成される。

本発明の実施に必要なコントラストデータは、ＲＡＷ−ＲＧＢ処理部２９において生成される。ＲＡＷ−ＲＧＢ処理部２９により得られたＲＡＷ−ＲＧＢ画像データは一旦、ＳＤＲＡＭ２３に保存されたのち、ＹＵＶ変換部３６によりＪＰＥＧ形式やＴＩＦＦ形式のデジタル画像に変換される。ＹＵＶ変換部３６では色補間、階調補正、色彩補正、輪郭強調、ノイズリダクション、歪み補正等、高品質な画像を生成する為の様々な処理が含まれている。

また、本発明の実施に必要な色差成分データは、ＹＵＶ変換部３６にて生成される。もしくは、ＳＤＲＡＭ２３に保存されたＹＵＶ画像を用いた生成処理をＣＰＵ２８にて実行することで得られる。コントラストデータと色差成分データのピーク算出は、ＣＰＵ２８において実行される。

以上本実施の形態に係る撮像装置によれば、コントラストデータと色差成分データのピーク検出をすることができ、これによって、色モアレの発生を撮影の事前のＡＦ処理のときに、ユーザに通知することができる。

●スポットＡＦによる撮像方法
次に、本発明に係る撮像方法の実施の形態について図２のフローチャートを用いて説明する。本実施の形態のコントラストＡＦの方式は、最も単純なスポットＡＦを例としている。スポットＡＦとは、デジタル画像データの任意の画像領域を設定し、この任意の画像領域内の画像データに基づいてコントラストデータを算出する方式である。この方式は、任意の画像領域において算出されたコントラストデータを用いて、ピーク位置を判定し合焦位置とする。よって、本実施の形態においては、色データの算出も、コントラストデータの算出に用いられる画像領域の画像データに基づいて算出される。

まず、コントラストＡＦ開始と共にスキャン開始位置に光学レンズ５を移動させる（Ｓ１０１）。コントラストＡＦの開始のトリガーは、例えば、デジタルカメラ１００が備えるシャッターボタン（不図示）のユーザによる「半押し」とする。光学レンズ５が所定の移動を完了すると、次いで画像データが取得される（Ｓ１０２）。次いで、取得された画像データからコントラストデータが算出される(Ｓ１０３)。また、取得された画像データから色差成分データ、または、ホワイトバランスデータが算出される（Ｓ１０４）。

算出される色差成分データは、Ｃｂ／Ｃｒ成分そのものでもよいし、それらの二乗和である（Ｃｂ^２＋Ｃｒ^２）＾（０．５）でも良い。また、ＹＵＶ形式で色差成分データが算出できないときは、Ｂａｙｅｒ形式である上記画像データから得られるＲ／Ｇｒ、Ｂ／Ｇｂ等のホワイトバランスデータを算出してもよい。

なお、本実施の形態に係る色モアレ判定処理は、色差成分データとホワイトバランスデータのいずれを用いてもよいが、ここでは、色差成分データを用いることにする。

次いで、ＣＰＵ２８において、コントラストデータと、色差成分データのピーク位置算出処理が行なわれる（Ｓ１０５）。以上の処理を、光学レンズ５のコントラストデータ算出範囲に至るまで繰り返して実行する（Ｓ１０６のＮＯ）。コントラストデータを算出するための範囲に光学レンズ５が到達したときは、コントラストＡＦ処理が終了したと判定する（Ｓ１０６のＹＥＳ）。

コントラストＡＦ処理が終了した後、コントラストデータのピーク位置（第１レンズ位置Ｐ１）が存在するか否かを判定する処理が実行される（Ｓ１０７）。コントラストデータのピーク位置が存在しなければ、当該画像データの元になる被写体には高周波成分が含まれている可能性が低いか、単に合焦位置が特定できないか、いずれかである。いずれにせよ、色モアレは発生しないと判定される（Ｓ１０７のＮＯ、Ｓ１１１）。

コントラストデータのピーク位置が存在する場合（Ｓ１０７のＹＥＳ）は、そのコントラストデータのピーク位置に対応するレンズ位置を、第１レンズ位置Ｐ１として決定する。決定された第１レンズ位置Ｐ１は、一旦、ＳＤＲＡＭ２３に記憶される。次いで、色差成分データのピーク位置が存在するか否かを判定する処理が実行される（Ｓ１０８）。ここで、色差成分データのピーク位置が存在しなければ（Ｓ１０８のＮＯ）、当該画像データには色モアレが折り返し成分として含まれている可能性が極めて低いので、色モアレは発生しないと判定される（Ｓ１０８のＮＯ、Ｓ１１１）。

色差成分データのピーク位置が存在するときは（Ｓ１０８のＹＥＳ）、その色差成分データのピーク位置に対応するレンズ位置を、第２レンズ位置Ｐ２として決定する。決定された第２レンズ位置Ｐ２は、一旦、ＳＤＲＡＭ２３に記憶される。次いで、光学レンズ５の合焦位置となる第１レンズ位置Ｐ１と色差成分データのピーク位置である第２レンズ位置Ｐ２との差分の絶対値が、算出される。次いで、この算出された差分の絶対値と、予め規定された任意の閾値Ｔｈと比較する判定処理が実行される（Ｓ１０１）。この処理は、差分の絶対値が閾値Ｔｈよりも小さいか否かを判定する処理である。

コントラストデータのピーク位置である第１レンズ位置Ｐ１の近くに、色差成分データのピーク位置である第２レンズ位置Ｐ２があるときは、色モアレが発生する可能性が極めて高い。したがって、第１レンズ位置Ｐ１と第２レンズ位置Ｐ２の差分が閾値Ｔｈ未満であるとき（Ｓ１０９のＹＥＳ）、色モアレが発生する可能性があると判定される（Ｓ１１０）。第１レンズ位置Ｐ１と第２レンズ位置Ｐ２の差分が閾値Ｔｈ以上であるとき（Ｓ１０９のＮＯ）、色モアレは発生しないと判定される（Ｓ１１１）。なお、閾値Ｔｈの値は任意でよい。例えば第１レンズ位置Ｐ１に対する被写界深度から決めればよい。

色モアレが発生する可能性があると判定されたときは（Ｓ１１０）、色モアレを抑止または低減する処理が実行されればよい。例えば、ＬＣＤ９に「色モアレが発生します」という警告表示を行えばよい。

また、デジタルカメラ１００が、色モアレを抑制するパラメータを切り替える画像処理手段（不図示）を備えている場合は、色モアレが発生する可能性があると判定されたときには（Ｓ１１０）、続いて色モアレを抑制する処理を行えばよい。この場合、例えば、色差ノイズリダクション処理を実行すればよい。

色差ノイズリダクション処理は、高感度撮影で発生する色差ノイズを抑制する為の画像処理である。色モアレも色差成分としては周波数が高い傾向があるので、色差ノイズリダクション処理によって、色モアレの抑制を図ることができる。この色差ノイズリダクション処理を実行した場合における撮影画像の例を図３に示す。図３は、光源を太陽光として、一般的な建造物の外壁を被写体とした画像の例である。図３においてＡ列に示す画像は、色差ノイズリダクション処理の実行をしていない画像の例である。また、図３においてＢ列に示す画像は、色差ノイズリダクション処理の実行をした画像の例である。また、図３は、Ａ列とＢ列に例示した画像の、それぞれのＹ成分（Ｃ行）、Ｃｂ成分（Ｄ行）、Ｃｒ成分（Ｅ行）を、それぞれ対比して示している。

図３に示すように、色差ノイズリダクションを実行しない場合は、Ｃｂ成分（Ａ列Ｄ行）とＣｒ成分（Ａ列Ｅ行）の画像に、縞々の色モアレが生じている。しかし、色差ノイズリダクションを実行した場合には、Ｃｂ成分（Ｂ列Ｄ行）とＣｒ成分（Ｂ列Ｅ行）には、色モアレが生じていない。

このように、ＡＦ処理を実行しつつ、色差成分データのピークを検出することで色モアレが発生する可能性を判定することができる。色モアレが発生すると判定されたときは、ＹＵＶ画像を生成する為のパラメータを切り替えて、色差ノイズリダクション処理を実行することで、色モアレの発生を抑制または低減することができる。なお、色差ノイズリダクションは輝度成分（Ｙ成分）には影響せず、解像感の劣化も起こさない。

また、エイリアス信号の周波数が低いときは、色差ノイズリダクション処理の効果は低くなる。エイリアス信号の周波数が低い画像に対して、色差ノイズリダクション処理を実行した場合と、実行しなかった場合の撮影画像の例を図４に示す。図４は、光源を太陽光として、一般的な建造物の外壁を被写体とした別の画像の例である。図４においてＦ列に示す画像は、色差ノイズリダクション処理を実行しないで撮影した画像の例である。また、図４において、Ｇ列に示す画像は、色差ノイズリダクション処理を実行して撮影した画像の例である。また、図４は、Ｆ列とＧ列に例示した画像の、それぞれの、Ｙ成分（Ｈ行）、Ｃｂ成分（Ｉ行）、Ｃｒ成分（Ｊ行）を、それぞれ対比して示している。

色差ノイズリダクション処理を実行しない場合は、Ｃｂ成分（Ｆ列Ｉ行）とＣｒ成分（Ｆ列Ｊ行）の画像に、縞々の色モアレが生じている。色差ノイズリダクション処理を実行した場合は、Ｃｂ成分（Ｇ列Ｉ行）とＣｒ成分（Ｇ列Ｊ行）の画像において、低周波な色モアレに対しては、色差ノイズリダクション処理の効果は発揮されず、十分に除去できていない。

ノイズリダクション強度を極端に上げれば、図４に示すような画像においても色モアレを除去することはできるが、正常にサンプリングされた被写体に色滲み等の副作用が生じてしまうため、画像が劣化する要因となる。そこで、低い周波数の色モアレを完全に除去するには、Ｃｂ／Ｃｒ成分を縮小して色差ノイズリダクション処理を行うか、画像信号に対し高速フーリエ変換処理を行なって周波数空間に変換し、エイリアス信号の周波数領域にマスク処理を行えばよい。しかし、マスク処理を併用した場合であっても、正常にサンプリングされている画像領域に対する影響が生じ、また、高速フーリエ変換処理に専用ハードウェアを用いなければ、実用的な処理をすることもできない。そこで、低周波数の色モアレが生じる可能性がある画像領域のみにマスク処理を実行し、その画像領域に対して、強力な色差ノイズリダクション処理を実行すればよい。

●マルチＡＦによる撮像方法
次に、本発明に係る撮像方法の別の実施の形態について図５のフローチャートを用いて説明する。本実施の形態のコントラストＡＦの方式は、複数の画像領域に対してコントラストＡＦを実行するマルチＡＦを例としている。マルチＡＦとは、第１分割部と、第１算出部とを有するコントラストデータ算出手段によって、コントラストデータが算出される方式である。第１分割部は、デジタル画像データを複数の画像領域に分割する。第１算出部は、分割された各画像領域内の画像データに基づいて、コントラストデータを算出するすなわち、マルチＡＦでは、各画像領域において算出されたコントラストデータを用いて、各画像領域におけるピーク位置が判定され、合焦位置が判定される。また、本実施の形態は、色データの算出においても同様である。すなわち、デジタル画像データを複数の画像領域に分割する第２分割部と、分割された各画像領域内の画像データに基づいて、色データを算出する第２算出部と、を有する色データ算出手段によって、画像領域ごとの色データが算出される。各画像領域において算出された色データを用いて、各画像領域におけるピーク位置が判定される。なお、第１分割部と第２分割部におけるデジタル画像データの分割は、同様の処理である。

なお、本実施の形態に係る色モアレ判定処理は、色差成分データとホワイトバランスデータのいずれを用いてもよいが、ここでは、色差成分データを用いることにする。

まず、コントラストＡＦ開始と共にスキャン開始位置に光学レンズ５を移動させる（Ｓ２０１）。コントラストＡＦの開始のトリガーは、例えば、デジタルカメラ１００が備えるシャッターボタン（不図示）のユーザによる「半押し」とする。光学レンズ５が所定の移動を完了すると、次いで画像データを取得する（Ｓ２０２）。ここで、取得された画像データに含まれる画像領域のうち、コントラストデータと色データの算出を行う画像領域は予め複数設定されている。そこで、設定されている画像領域の全てにおいて、コントラストデータと色差成分データを算出するために、ループ処理をカウントする変数［ｉ］が初期化される（Ｓ２０３）。

次いで、画像領域［ｉ］（ｉ＝０〜Ｎ）から取得された画像データに対してコントラストデータ［ｉ］が算出され(Ｓ２０４)、合わせて画像信号処理部２２において、色差成分データ［ｉ］が算出される（Ｓ２０５）。コントラストデータ［ｉ］と色差成分データ［ｉ］が算出された後、ループ変数ｉに「１」を加算する（Ｓ２０６）。次いで、ループ変数ｉが予め規定されている画像領域の数［Ｎ］になっているか否かを判定する（Ｓ２０７）。ループ変数ｉがＮと同値でなければ（Ｓ２０７のＮＯ）、コントラストデータ［ｉ］の算出(Ｓ２０４)と、色差成分データの算出（Ｓ２０５）とを繰り返して実行する。

ループ変数ｉがＮと同値であれば（Ｓ２０７のＹＥＳ）、ＣＰＵ２８において、コントラストデータ［ｉ］（ｉ＝０〜Ｎ−１）と、色差成分データ［ｉ］（ｉ＝０〜Ｎ−１）のピーク位置算出処理が行なわれる（Ｓ２０８）。以上の処理を、光学レンズ５のコントラストデータ算出範囲に至るまで、光学レンズ５を移動させながら処理Ｓ２０２からＳ２０９を繰り返し実行する（Ｓ２０９のＮＯ）。コントラストデータ［ｉ］（ｉ＝０〜Ｎ−１）を算出するための光学レンズ５の移動端に光学レンズ５が到達したときは、コントラストＡＦ処理が終了したと判定する（Ｓ２０９のＹＥＳ）。

次いで、処理Ｓ２０８で算出されたコントラストデータ［ｉ］（ｉ＝０〜Ｎ−１）のピーク位置である第１レンズ位置Ｐ１［ｉ］（ｉ＝０〜Ｎ−１）を用いて、最終的な合焦位置である第１レンズ位置Ｐ１´を算出する（Ｓ２１０）。第１レンズ位置Ｐ１´が算出されなければ（Ｓ２１１のＮＯ）、当該画像データの元になる被写体には高周波成分が含まれている可能性が低いか、単に合焦位置が特定できないので、色モアレは発生しないと判定される（Ｓ２１８）。

第１レンズ位置Ｐ１´が算出された場合（Ｓ２１１のＹＥＳ）、色差成分データ［ｉ］において、ピーク位置である第２レンズ位置Ｐ２［ｉ］（ｉ＝０〜Ｎ−１）が存在するか否かを判定する。まず、ループ処理をカウントする変数［ｉ］が初期化される（Ｓ２１２）。

次いで、色差成分データ［ｉ］（ｉ＝０〜Ｎ−１）において、第２レンズ位置Ｐ２［ｉ］（ｉ＝０〜Ｎ−１）が存在するか否かを判定する処理が実行される（Ｓ２１３）。色差成分データ［ｉ］に第２レンズ位置Ｐ２［ｉ］が存在しなければ（Ｓ２１３のＮＯ）、ループ変数［ｉ］に１を加算する（Ｓ２１６）。次いで、加算されたループ変数［ｉ］が、予め規定されている画像領域の数［Ｎ］になっているか否かを判定する（Ｓ２１７）。加算されたループ変数［ｉ］が、予め規定されている画像領域の数［Ｎ］になっていれば（Ｓ２１７のＹＥＳ）、第２レンズ位置Ｐ２［ｉ］（ｉ＝０〜Ｎ）は存在しないことになる。この場合、当該画像データには色モアレが折り返し成分として含まれている可能性が極めて低いので、色モアレは発生しないと判定される（Ｓ２１８）。

色差成分データ［ｉ］（ｉ＝０〜Ｎ−１）において、第２レンズ位置Ｐ２［ｉ］（ｉ＝０〜Ｎ−１）が存在すると判定されたとき（Ｓ２１３のＹＥＳ）、光学レンズ５の合焦位置となる第１レンズ位置Ｐ１´と色差成分データのピーク位置である第２レンズ位置Ｐ２［ｉ］との差分の絶対値が算出される。この算出された差分の絶対値が、任意の閾値Ｔｈよりも小さいか否かを判定する処理が実行される（Ｓ２１４）。

閾値Ｔｈよりも大きいと判定されたときは（Ｓ２１４のＮＯ）、処理Ｓ２１６を実行する。閾値Ｔｈよりも小さいと判定されたときは（Ｓ２１４のｙｅｓ）、コントラストデータのピーク位置である第１レンズ位置Ｐ１´の近くに、色差成分データのピーク位置である第２レンズ位置Ｐ２［ｉ］（ｉ＝０〜Ｎ−１）があることになる。この場合は、色モアレが発生する可能性が極めて高くなるので、色モアレが発生する可能性があると判定される（Ｓ２１５）。なお、閾値Ｔｈの値は任意でよい。例えば第１レンズ位置Ｐ１に対する被写界深度から決めればよい。

色モアレが発生する可能性があると判定されたときは（Ｓ２１５）、色モアレを抑止または低減する処理が実行されればよい。例えば、ＬＣＤ９に「色モアレが発生します」という警告表示を行えばよい。

また、デジタルカメラ１００が、色モアレを抑制するパラメータを切り替える画像処理手段（不図示）を備えている場合は、色モアレが発生する可能性があると判定されたときには（Ｓ２１５）、色モアレを抑制する処理を行えばよい。この場合、例えば、得られたコントラストデータの第１レンズ位置Ｐ１［ｉ］（ｉ＝０〜Ｎ）の中から、色差成分データの第２レンズ位置Ｐ２［ｉ］（ｉ＝０〜Ｎ）までの距離が大きいピーク位置を第１レンズ位置Ｐ１として撮影処理を行えばよい。または、第１レンズ位置Ｐ１［ｉ］（ｉ＝０〜Ｎ）の中から、複数の第１レンズ位置Ｐ１［ｉ］（ｉは任意）の候補を選択して、ブラケット撮影を行なえばよい。または、第１レンズ位置Ｐ１´の近傍においてピークが存在する色差成分データ［ｉ］に対応する画像領域に対し、マスク処理を行なって、該当画像領域にのみ色差ノイズリダクション処理を実行してもよい。また、マスク処理が行われなかった画像領域以外の画像領域に対しては、色モアレが生じないパラメータに切り替えて画像処理を行えばよい。

以上説明したデジタルカメラ１００によれば、光学ローパスフィルタを搭載することなく、色モアレの発生を検知することができる。デジタルカメラ１００は、画像信号処理部２２において実行される画像処理によって生成されるコントラストデータと色データに基づいて色モアレの発生を検知することができる。デジタルカメラ１００は、光学ローパスフィルタを搭載しないことで、デジタルカメラ１００の薄型化を図ることができ、また、部品点数を削減することで製造コストを抑えることもできる。

さらに、光学ローパスフィルタを用いることなく色モアレの抑制をすることができるので、光学レンズ５の解像特性を発揮させることができ、画質の良い画像を記録することができる。

●動画像における色モアレ削減処理
次に、本発明に係る撮像装置のさらに別の実施の形態について説明する。図１に示したデジタルカメラ１００が、動画撮像手段（不図示）を備えている場合、スルー画を表示しているとき、および、動画撮影を実行しているときに、ＡＦ処理が実行される。このＡＦ処理において、すでに説明をした実施の形態における色モアレ判定処理および、色モアレを抑制する処理を実行することで、動画像の撮像（記録）処理においても、色モアレを抑制または低減させることができる。

以上のように、本発明に係る撮像装置によれば、光学ローパスフィルタを用いることなく、光学レンズの解像特性を発揮させて、画質の良い画像を撮像することができる。

５ 光学レンズ
２２ 画像処理部
２９ ＲＡＷ−ＲＧＢ処理部２９
３６ ＹＵＶ変換部

特許第４３６４０７８号明細書

Claims (9)

1. 光学レンズと、上記光学レンズを介して被写体像を結像させる受光面を備える撮像素子と、を有し、上記撮像素子から出力される画像信号から画像データを生成して記録する撮像装置であって、
   上記画像データに基づくコントラストデータを算出するコントラストデータ算出手段と、
   上記画像データに基づく色データを算出する色データ算出手段と、
   上記コントラストデータに基づいて、被写体像を上記受光面に合焦させる上記光学レンズの第１レンズ位置を決定する第１レンズ位置決定手段と、
   上記色データに基づいて、上記色データがピークになる上記光学レンズの第２レンズ位置を決定する第２レンズ位置決定手段と、
   上記第１レンズ位置と上記第２レンズ位置との差分を算出し、上記差分と予め規定された閾値とを比較する判定手段と、を有し、
   上記判定手段は、上記差分が上記閾値よりも小さいとき、色モアレが生じると判定する、
   ことを特徴とする撮像装置。
2. 上記色データは、上記画像データの色差成分評価値である、請求項１記載の撮像装置。
3. 上記色データは、上記画像データのホワイトバランスデータである、請求項１記載の撮像装置。
4. 上記コントラストデータ算出手段は、上記画像データを複数の画像領域に分割する第１分割部と、上記第１分割部に分割された上記複数の画像領域それぞれの上記コントラストデータを算出する第１算出部と、を有し、
   上記色データ算出手段は、上記画像データを複数の画像領域に分割する第２分割部と、上記第２分割部に分割された上記複数の画像領域それぞれの上記色データを算出する第２算出部と、を有する、
   請求項１乃至３のいずれかに記載の撮像装置。
5. 画像処理に用いるパラメータを切り替える画像処理切替手段を有し、
   上記判定手段が色モアレが生じると判定したとき、上記画像処理切替手段は、パラメータを切り替えて色モアレが生じないように画像処理を実行する、
   請求項１乃至４のいずれかに記載の撮像装置。
6. 上記画像データの任意の画像領域ごとにマスク処理をするマスク処理手段を有し、
   上記マスク処理手段は、上記判定手段により色モアレが生じると判定された上記画像領域に対してマスク処理をし、
   上記画像処理切替手段は、上記マスク処理がされた画像領域に対する上記パラメータを、色モアレが生じないパラメータに切り替える、
   請求項５記載の撮像装置。
7. 上記コントラストデータのピーク位置が複数あるとき、各ピーク位置を上記第１レンズ位置として撮像する請求項１乃至６のいずれかに記載の撮像装置。
8. 上記画像データは動画像である、請求項１乃至７のいずれかに記載の撮像装置。
9. 光学レンズと、上記光学レンズを介して被写体像を結像させる受光面を備える撮像素子と、を有し、上記撮像素子から出力される画像信号から画像データを生成して記録する撮像装置において実行される撮像方法であって、
   上記撮像装置は、上記画像データに基づくコントラストデータを算出するコントラストデータ算出手段と、上記画像データに基づく色データを算出する色データ算出手段と、上記コントラストデータに基づいて、被写体像を上記受光面に合焦させる第１レンズ位置を決定する第１レンズ位置決定手段と、上記色データに基づいて、上記色データがピークになる第２レンズ位置を決定する第２レンズ位置決定手段と、上記第１レンズ位置と上記第２レンズ位置との差分を算出し、上記差分と予め規定された閾値とを比較する判定手段と、を有し、
   上記コントラストデータ算出手段が、上記コントラストデータを算出するステップと、
   上記色データ算出手段が、上記色データを算出するステップと、
   上記第１レンズ位置決定手段が、上記コントラストデータがピークになる上記第１レンズ位置を決定するステップと、
   上記第２レンズ位置決定手段が、上記色データがピークになる上記第２レンズ位置を決定するステップと、
   上記判定手段が、
   上記第１レンズ位置と上記第２レンズ位置の差分を算出するステップと、
   上記差分が予め規定された閾値を超えているか否かを判定する判定ステップと、
   上記判定ステップにおいて、上記差分が上記閾値よりも小さいと判定されたとき、色モアレが生じると判定するステップと、
   が実行されることを特徴とする撮像方法。