JP6478482B2 - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。

デジタルカメラ等の撮像装置では、輝度差の大きい画素の周囲において、本来存在しない色つき（偽色）が発生してしまうことがあった。例えば、倍率色収差補正を行う場合、緑色画素を基準にして赤色画素及び青色画素を移動させるため、赤色画素及び青色画素がぼやけ、高輝度エッジ部に偽色が発生することがある。

偽色の対策方法を開示する文献として特許文献１が知られている。特許文献１が開示する撮像装置は、偽色が存在し得る高輝度部位を検出し、高輝度部位に近接して所定の偽色画素があるか否かを検出し、偽色画素が検出されたときに偽色を解消するように構成される。

特開２００２−２６２２９９号公報

特許文献１の技術では、偽色画素があるか否かを検出するために画像データの広い領域に対して検出処理を行う必要がある。そのため、回路規模や処理負荷などが大きくなってしまうという問題点があった。

本発明はこのような状況に鑑みてなされたものであり、回路規模や処理負荷などの増大を抑制しつつ、偽色の発生を抑制する技術を提供することを目的とする。

上記課題を解決するために、本発明は、第１の色成分及び第２の色成分を含む画像データであって、前記第１の色成分に対する倍率色収差補正がなされた前記画像データを処理する画像処理装置であって、前記画像データの前記第２の色成分に対して平滑化処理を行うことにより、平滑化された第２の色成分を生成する平滑化手段と、前記画像データの所定の画素について、前記第１の色成分及び前記平滑化された第２の色成分から第１の色差信号を生成する生成手段と、を備える画像処理装置であって、前記生成手段は、前記画像データの所定の画素について、前記第１の色成分及び前記第２の色成分から第２の色差信号を生成し、前記第１の色差信号及び前記第２の色差信号を合成することにより、色差信号を生成し、前記画像処理装置は、前記所定の画素の前記第２の色成分と前記平滑化された第２の色成分との差分絶対値が大きいほど前記第１の色差信号の割合が大きくなるように、前記合成の比率を決定する決定手段を更に備えることを特徴とする画像処理装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、回路規模や処理負荷などの増大を抑制しつつ、偽色の発生を抑制することが可能となる。

第１の実施形態に係る撮像装置の構成を示すブロック図。 色差信号生成部１００５の詳細を示すブロック図。 色補間回路２０００の動作の概念図。 （ａ）倍率色収差補正部１００３に入力される前のデータを示す図（サンプリング位置を考慮しない場合）、（ｂ）倍率色収差補正部１００３に入力される前のデータを示す図（サンプリング位置を考慮した場合）、（ｃ）倍率色収差補正部１００３の出力後のデータを示す図、（ｄ）ＬＰＦ２００４及び色差信号生成回路２００２での処理を説明する図。 図４（ａ）〜図４（ｄ）を表形式に書き直した図。 最終的な色差信号を生成する処理の流れを示すフローチャート。 第１の実施形態に係る、図６ＡのＳ１０３の処理の詳細を示すフローチャート。 差分絶対値の最小値ＤＩＦＦ＿ＧとＭＩＸ比αとの関係を示す図。 各種フィルタを例示する図。 第２の実施形態に係る、図６ＡのＳ１０３の処理の詳細を示すフローチャート。 第２の実施形態に係る倍率色収差補正の概念図。 倍率色収差の補正量（移動量）とＴｈｒｅｓ１との関係を示す図。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

［第１の実施形態］
本発明の画像処理装置をデジタルカメラなどの撮像装置に適用した実施形態について説明する。図１は、第１の実施形態に係る撮像装置の構成を示すブロック図である。図１には、撮像装置のうち、特に画像処理のための構成要素が示されており、本実施形態の説明に不要な構成要素は省略されている。

撮像部１０００は、ＲＧＢ（赤緑青）の画素がベイヤー配列に並んだ撮像素子を含む。撮像部１０００から出力されるアナログ信号は、Ａ／Ｄ変換部１００１によってデジタル信号に変換される。Ａ／Ｄ変換部１００１によってデジタル信号に変換された画像信号は、ホワイトバランス（ＷＢ）部１００２により、任意の知られている技術に従ってホワイトバランス調整が行われる。

ＷＢ部１００２から出力された画像信号は、倍率色収差補正部１００３に入力され、倍率色収差補正処理が行われる。倍率色収差は、レンズの軸外に入射する光が、波長によって異なる像高に結像する現象である。倍率色収差補正処理の技術として、例えば特開平１１−１６１７７３号公報が知られている。この技術は、緑色画素（Ｇ画素）を基準とし、赤色画素（Ｒ画素）及び青色画素（Ｂ画素）の色ずれ量をサブピクセル単位で像高毎に予め保持しておき、この色ずれ量に従って補正を行うものである。

倍率色収差補正部１００３で補正された補正信号は、輝度信号処理部１００４に入力され、任意の知られている技術に従ってガンマ補正等の輝度信号処理が行われる。また、倍率色収差補正部１００３で補正された補正信号は、色差信号生成部１００５にも入力される。色差信号生成部１００５は、後述する色差信号生成処理を行い、入力された補正信号を色差信号Ｖ（Ｒ−Ｙ）、Ｕ（Ｂ−Ｙ）等に変換する。色差信号生成部１００５から出力された色差信号は、色信号処理部１００６に入力され、任意の知られている技術に従って色変換マトリックス処理、色抑圧処理等の色補正処理が行われる。

ここで、図２を参照して、色差信号生成部１００５の詳細について説明する。倍率色収差補正部１００３から出力された補正信号（画像データ）は、色補間回路２０００に入力される。色補間回路２０００の動作を、図３を参照して説明する。図３に示すように、色補間回路２０００に入力される画像データには、赤色成分（Ｒ成分）、緑色成分（Ｇ成分）、及び青色成分（Ｂ成分）がベイヤー配列で並んでいる。Ｇ成分については、Ｒ成分と同じ行に存在するＧｒ成分と、Ｂ成分と同じ行に存在するＧｂ成分とに分けられる。但し、特に区別する必要が無い場合は、Ｇｒ成分及びＧｂ成分の一方又は両方を単にＧ成分と呼ぶ。

色補間回路２０００は、ベイヤー配列で入力されたデータを各色フィルタＲ、Ｇｒ、Ｇｂ、Ｂごとに分解する。その後、色補間回路２０００は、例えば図８（ａ）に示すようなデジタルフィルタを用いて補間ＬＰＦ処理を行うことにより、Ｒ、Ｇｒ、Ｇｂ、Ｂ各色プレーンの信号を生成する。

図２に戻り、色補間回路２０００から出力されたＲ、Ｇｒ、Ｇｂ、Ｂの信号は、色差信号生成回路２００１に入力される。色差信号生成回路２００１は、例えば特開２００２−３００５９０号公報に記載されている技術に従い、色差信号を生成する。具体的には、色差信号生成回路２００１は、（Ｒ−Ｇｒ）と（Ｒ−Ｇｂ）とを比較し、（Ｒ−Ｇｒ）と（Ｒ−Ｇｂ）の差分に応じて、（Ｒ−Ｇｒ）と（Ｒ−Ｇｂ）とを混合するか又はどちらかを選択することにより、最終的な色差信号（Ｒ−Ｇ）を生成する。同様に、色差信号生成回路２００１は、（Ｂ−Ｇｒ）と（Ｂ−Ｇｂ）とを比較し、（Ｂ−Ｇｒ）と（Ｂ−Ｇｂ）の差分に応じて、（Ｂ−Ｇｒ）と（Ｂ−Ｇｂ）とを混合するか又はどちらかを選択することにより、最終的な色差信号（Ｂ−Ｇ）を生成する。

色補間回路２０００から出力されたＲ、Ｂの信号は、色差信号生成回路２００２にも入力される。また、色補間回路２０００から出力されたＧｒ信号は、ＬＰＦ２００４及びＭＩＸ比算出回路２００３にも入力される。更に、色補間回路２０００から出力されたＧｂ信号は、ＬＰＦ２００５及びＭＩＸ比算出回路２００３にも入力される。

ＬＰＦ２００４及びＬＰＦ２００５に入力されたＧｒ、Ｇｂの信号は、詳細は後述するが、例えば図８（ｂ）のようなフィルタにより平滑化処理される。ＬＰＦ２００４の出力は、色差信号生成回路２００２及びＭＩＸ比算出回路２００３に入力される。同様に、ＬＰＦ２００５の出力も、色差信号生成回路２００２及びＭＩＸ比算出回路２００３に入力される。色差信号生成回路２００２の動作は、ＬＰＦ２００４及びＬＰＦ２００５により平滑化処理されたＧｒ、Ｇｂの信号を用いる点以外は、色差信号生成回路２００１と同様である。

ここで、図４及び図５を参照して、倍率色収差補正部１００３、色差信号生成回路２００１、及び色差信号生成回路２００２の詳細動作について説明を行う。ここでは、Ｇｒ、ＧｂおよびＲの信号について説明を行う。図４（ａ）〜図４（ｄ）のグラフは、横軸に画素位置、縦軸に画素値をプロットしたものである。図４（ａ）及び図４（ｂ）は、倍率色収差補正部１００３に入力される前のデータを示したもので、Ｇ画素がＲ画素に対して、１画素分ずれている場合を想定している。図４（ａ）において、画素位置ｘ（ｘ＝０，１，２，３，４，５，６）のＲ画素の値Ｒ［ｘ］及びＧ画素の値Ｇ［ｘ］は、
Ｇ［０］＝Ｇ［１］＝Ｇ［２］＝Ｒ［０］＝Ｒ［１］＝Ｒ［２］＝Ｒ［３］＝Ｓ_１
Ｇ［３］＝Ｒ［４］＝Ｓ_４
Ｇ［４］＝Ｇ［５］＝Ｇ［６］＝Ｒ［５］＝Ｒ［６］＝Ｓ_６
と表現される。ＲとＧｂのサンプリング位置が画素位置１，３，５、Ｇｒのサンプリング位置が画素位置０，２，４，６である場合、図４（ｂ）に示すように、
Ｇｒ［０］＝Ｇｒ［２］＝Ｇｂ［１］＝Ｒ［１］＝Ｒ［３］＝Ｓ_１
Ｇｂ［３］＝Ｓ_４
Ｇｒ［４］＝Ｇｒ［６］＝Ｇｂ［５］＝Ｒ［５］＝Ｓ_６
となる。

次に、図４（ｃ）に倍率色収差補正部１００３の出力後のデータを示す。倍率色収差補正部１００３でＲ画素を左に１画素動かした場合、倍率色収差補正後のＲ画素の値Ｒ’［ｘ］は、
Ｒ’［ｘ］＝Ｒ［ｘ＋１］
と表現される。Ｒの間の画素は公知の線形補間で作られるとすると、図４（ｃ）において、
Ｒ’［１］＝Ｒ［２］＝（Ｒ［１］＋Ｒ［３］）／２＝Ｓ_１
Ｒ’［３］＝Ｒ［４］＝（Ｒ［３］＋Ｒ［５］）／２＝（Ｓ_１＋Ｓ_６）／２
Ｒ’［５］＝Ｒ［６］＝（Ｒ［５］＋Ｒ［７］）／２＝Ｓ_６
となる。

ここで図５を参照する。図５は、図４（ａ）〜図４（ｄ）を表形式に書き直したものである。図５においてＧｂは省略されているが、基本的な考え方はＧｒと同様である。「入力Ｒ」及び「入力Ｇｒ」の行は、それぞれ、倍率色収差補正部１００３に入力されるＲ、Ｇｒの信号を表し、図４（ｂ）に対応する。「収差補正後Ｒ」の行は、倍率色収差補正部１００３が出力するＲ信号を表し、図４（ｃ）に対応する。例えば、収差補正後Ｒの水平画素番号３（即ち、Ｒ’［３］）に注目すると、これは、入力Ｒを左に１画素動かして線形補間を行うことにより生成される。従って、Ｒ’［３］は、楕円形で示す「入力Ｒ」の水平画素番号３及び５の平均値、即ち、（Ｓ_１＋Ｓ_６）／２となる。このように、本実施形態の倍率色収差補正は、平滑化処理を伴い、これが、後述する偽色の発生の一因となる。

再び図４（ｃ）を参照して、色補間回路２０００から出力された色補間後の画素位置２の位置に注目する。色補間後の画素位置２の値は、それぞれ
Ｒ’［２］＝（Ｒ’［１］＋Ｒ’［３］）／２＝Ｓ_３＝（３Ｓ_１＋Ｓ_６）／４
Ｇｒ［２］＝Ｓ_１
Ｇｂ［２］＝（Ｇｂ［１］＋Ｇｂ［３］）／２＝Ｓ_２＝（Ｓ_１＋Ｓ_４）／２
となる。ここで、Ｓ_１＝０、Ｓ_４＝Ｓ_６／４とすると、
Ｒ’［２］＝Ｓ_６／４
Ｇｒ［２］＝０
Ｇｂ［２］＝Ｓ_６／８
となる。

従って、色差信号生成回路２００１が出力する色差信号Ｃｒ１として、Ｒ’−Ｇｒが選択された場合は、Ｃｒ１＝Ｒ’［２］−Ｇｒ［２］＝Ｓ_６／４となる。色差信号Ｃｒ１として、Ｒ’−Ｇｂが選択された場合は、Ｃｒ１＝Ｒ’［２］−Ｇｂ［２］＝Ｓ_６／８となる。即ち、Ｒ’−Ｇｒ及びＲ’−Ｇｂがいかなる比率で合成されたとしても、画素位置２の位置には、０ではない色差信号が生じる。図４（ａ）に示すように、本来、画素位置２の位置には、色差は存在しない。従って、Ｒ’−Ｇｒ及びＲ’−Ｇｂから得られる色差信号は、偽色である。

次に、図４（ｄ）を参照して、ＬＰＦ２００４及び色差信号生成回路２００２での処理を説明する。ＬＰＦ２００４は、色補間回路２０００による補間後のＧｒ信号に対して、図８（ｂ）のように水平方向に［１ ０ １］のフィルタをかける。このフィルタは、サンプリング位置以外の画素に対しては、線形補間と同じフィルタであるため、画素値は変わらない。他方、サンプリング位置の画素に対しては、
ＧｒＬＰＦ［２］＝（Ｇｒ［１］＋Ｇｒ［３］）／２
＝（Ｇｒ［０］＋Ｇｒ［２］＋Ｇｒ［２］＋Ｇｒ［４］）／４
＝Ｓ_６／４
ＧｒＬＰＦ［４］＝（Ｇｒ［３］＋Ｇｒ［５］）／２
＝（Ｇｒ［２］＋Ｇｒ［４］＋Ｇｒ［４］＋Ｇｒ［６］）／４
＝３Ｓ_６／４
となる（Ｓ_１＝０の場合）。このとき、色差信号生成回路２００２が出力する色差信号Ｃｒ２として、Ｒ’−ＧｒＬＰＦが選択された場合は、Ｃｒ２＝Ｒ’［２］−ＧｒＬＰＦ［２］＝０となり、画素位置２の位置に偽色が発生しない。Ｇｂについては説明を省略するが、いずれにしても、Ｒ’−ＧｒＬＰＦを選択する限りは偽色の発生を防止できる。

再び図５を参照し、四角で囲った水平画素番号２の「補間後Ｒ」、「補間後Ｇｒ」、及び「ＧｒＬＰＦ」に注目する。収差補正処理の影響で、「補間後Ｒ」と「補間後Ｇｒ」との間には差が生じており、この差が偽色となっていた。しかしながら、「補間後Ｒ」と「ＧｒＬＰＦ」との間には差が無く、偽色が発生しない。

このように、色差信号生成回路２００２において、Ｇ信号にＬＰＦフィルタをかけた信号とＲ信号とに基づいて色差信号を生成することにより、高輝度エッジ部に発生する偽色を軽減することができる。このことは、Ｂ信号とＧ信号とから生成される色差信号についても同様である。なお、ここでは、説明をわかりやすくするために、倍率色収差のずれ量を１画素とし、かつ、ＧｒＬＰＦを選択することにより特定の画素において偽色が発生しないケースについて説明を行った。しかしながら、必ずしも全てのケースにおいて偽色の発生を防止できるわけではなく、多少の偽色が残存するケースもある。ただし、後述するが、Ｇ画素の信号に対してＲ画素の信号の帯域が大きく低下する場合などは、ＧｒＬＰＦを選択することで、偽色の抑圧を低減できる可能性は高くなる。

色差信号生成回路２００１及び色差信号生成回路２００２における色差信号Ｃｒ１及びＣｒ２の生成後、合成部２００６は、ＭＩＸ比算出回路２００３により決定されたＭＩＸ比（合成のための所定の比率）に従い、色差信号Ｃｒ１及びＣｒ２を合成する。これにより、最終的な色差信号Ｃｒが生成される。

図６Ａは、最終的な色差信号を生成する処理の流れを示すフローチャートである。Ｓ１０１で、色差信号生成回路２００１は、色補間回路２０００から出力されたＲ、Ｇｒ、Ｇｂ、Ｂの信号を用いて、色差信号Ｃｒ１を算出する。Ｓ１０２で、色差信号生成回路２００２は、色補間回路２０００から出力されたＲ、Ｂの信号と、ＬＰＦ２００４及びＬＰＦ２００５から出力されたＬＰＦ処理されたＧｒ、Ｇｂの信号を用いて、色差信号Ｃｒ２を算出する。Ｓ１０３で、ＭＩＸ比算出回路２００３は、ＭＩＸ比αを出力する。

ＭＩＸ比αの算出方法を、図６Ｂのフローチャートを参照して説明する。Ｓ２０１で、ＭＩＸ比算出回路２００３は、注目画素におけるＬＰＦをかけた信号Ｇｒ＿ＬＰＦと元信号Ｇｒとから、差分絶対値｜ＤＩＦＦ＿Ｇｒ｜＝｜ＧｒＬＰＦ−Ｇｒ｜を算出する。同様に、ＭＩＸ比算出回路２００３は、Ｇｂ＿ＬＰＦとＧｂとから、｜ＤＩＦＦ＿Ｇｂ｜＝｜ＧｂＬＰＦ−Ｇｂ｜を算出する。

Ｓ２０２で、ＭＩＸ比算出回路２００３は、｜ＤＩＦＦ＿Ｇｒ｜及び｜ＤＩＦＦ＿Ｇｂ｜のうち、値が小さい方を差分絶対値の最小値ＤＩＦＦ＿Ｇとして算出する。なお、ここでは、最小値を算出するものとしたが、代わりに、最大値や中間値を算出してもよい。

Ｓ２０３で、ＭＩＸ比算出回路２００３は、ＤＩＦＦ＿Ｇが閾値Ｔｈｒｅｓ１より小さいか否かを判定する。ＤＩＦＦ＿Ｇが閾値Ｔｈｒｅｓ１より小さい場合、処理はＳ２０５に進み、ＭＩＸ比算出回路２００３は、ＭＩＸ比α＝０とする。

一方、Ｓ２０３においてＤＩＦＦ＿Ｇが閾値Ｔｈｒｅｓ１以上である場合、処理はＳ２０４に進み、ＭＩＸ比算出回路２００３は、ＤＩＦＦ＿Ｇが閾値Ｔｈｒｅｓ２より大きいか否かを判定する。ＤＩＦＦ＿Ｇが閾値Ｔｈｒｅｓ２より大きい場合、処理はＳ２０６に進み、ＭＩＸ比算出回路２００３は、ＭＩＸ比α＝１とする。一方、Ｓ２０４においてＤＩＦＦ＿Ｇが閾値Ｔｈｒｅｓ２以下である場合、処理はＳ２０７に進み、ＭＩＸ比算出回路２００３は、Ｔｈｒｅｓ１とＴｈｒｅｓ２の間で線形補間を行うことにより、ＭＩＸ比αを求める。なお、Ｔｈｒｅｓ２はＴｈｒｅｓ１よりも大きい。

図７に、差分絶対値の最小値ＤＩＦＦ＿ＧとＭＩＸ比αとの関係を示す。図７に示すように、ＤＩＦＦ＿Ｇが閾値Ｔｈｒｅｓ１より小さい場合、ＭＩＸ比αは０であり、ＤＩＦＦ＿Ｇが閾値Ｔｈｒｅｓ２より大きい場合、ＭＩＸ比αは１である。そして、ＤＩＦＦ＿Ｇが閾値Ｔｈｒｅｓ１とＴｈｅｒｓ２との間にある場合、
ＭＩＸ比α＝（ＤＩＦＦ＿Ｇ−Ｔｈｒｅｓ１）／（Ｔｈｒｅｓ２−Ｔｈｒｅｓ１）
となる。

再び図６Ａのフローチャートに戻る。Ｓ１０３でＭＩＸ比αが求められた後、Ｓ１０４で、合成部２００６は、Ｓ１０１及びＳ１０２で算出されたＣｒ１及びＣｒ２を、ＭＩＸ比αに基づいて合成することにより、最終的な色差信号Ｃｒを算出する。具体的には、
Ｃｒ＝（１−α）×Ｃｒ１＋α×Ｃｒ２
である。即ち、ＤＩＦＦ＿Ｇが小さくαが小さいほど、Ｃｒ１及びＣｒ２の合成におけるＣｒ１の割合が大きくなり、ＣｒはＣｒ１に近づく。反対に、ＤＩＦＦ＿Ｇが大きくαが大きいほど、Ｃｒ１及びＣｒ２の合成におけるＣｒ２の割合が大きくなり、ＣｒはＣｒ２に近づく。

このように、色差信号生成部１００５は、Ｇ信号にＬＰＦをかけた信号と元信号との差分をとり、差分が大きい場合は、高輝度エッジに偽色が発生する可能性が高いと判断し、Ｇ信号にＬＰＦをかけた信号の寄与が大きくなるように色差信号を算出する。反対に差分が小さい場合は、高輝度エッジに偽色が発生する可能性が高いと判断し、本来のＧ信号の寄与が大きくなるように色差信号を算出する。これにより、回路規模や処理負荷などの増大を抑制しつつ、偽色の発生を抑制することが可能となる。また、本実施形態の構成は倍率色収差補正など、Ｇ画素に比べてＲ画素をぼかす処理をした場合など（即ち、Ｇ画素とＲ画素の帯域が変わる場合など）に特に有効である。また、輝度信号処理には、ＬＰＦをかけたＧ信号は使われないので、輝度信号の帯域が落ちるという弊害も発生することはない。

なお、本実施形態では、Ｇ信号及びＲ信号から算出される色差信号について主に説明を行ったが、Ｇ信号及びＢ信号から算出される色差信号についても同様である。

また、本実施形態では、ＬＰＦの一例として図８（ｂ）のような構成を示して説明したが、これに限られるものでなく、図８（ｃ）のような垂直方向のみのＬＰＦや図８（ｂ）と図８（ｃ）とを組み合わせたＬＰＦを用いるようにしてもよい。

本実施形態では、Ｇ画素とＲ画素の帯域が変わる一例として、倍率色収差補正を挙げたが、これに限られるものでなく、レンズの設計情報からＲ画素とＧ画素にそれぞれ帯域の異なる別のデジタルフィルタをかける収差補正に適用してもよい。

［第２の実施形態］
以下、第２の実施形態について説明する。本実施形態の撮像装置の基本的な構成は、第１の実施形態と同様である（図１及び図２参照）。以下、主に第１の実施形態と異なる点について説明する。

第２の実施形態では、図６ＡのＳ１０３における処理が、第１の実施形態と異なる。より具体的には、第１の実施形態では、ＭＩＸ比αを決定するための閾値Ｔｈｒｅｓ１及びＴｈｒｅｓ２は固定値であったが、第２の実施形態では、Ｔｈｒｅｓ１及びＴｈｒｅｓ２は、倍率色収差補正の補正量に応じて変化する値である。

図９は、第２の実施形態に係る、図６ＡのＳ１０３の処理の詳細を示すフローチャートである。本フローチャートにおいて、図６Ｂと同一又は同様の処理が行われるステップには、図６Ｂと同一の符号を付し、その説明を省略する。

Ｓ３０１で、ＭＩＸ比算出回路２００３は、倍率色収差補正部１００３で行われた倍率色収差補正の補正量に応じて、Ｔｈｒｅｓ１及びＴｈｒｅｓ２を算出する。この処理の詳細を、図１０を参照して説明する。本実施形態では、Ｇ画素がＲ画素に対して２画素分ずれているものとする。図１０（ａ）〜（ｃ）のグラフは、横軸に画素位置、縦軸に画素値をプロットしたものである。図１０（ａ）及び図１０（ｂ）は、倍率色収差補正部１００３に入力される前のデータを示したもので、図１０（ａ）において画素位置ｘ（ｘ＝０，１，２，３，４，５，６，７）のＲ画素の値Ｒ［ｘ］及びＧ画素の値Ｇ［ｘ］は、
Ｇ［０］＝Ｇ［１］＝Ｇ［２］＝Ｒ［０］＝Ｒ［１］＝Ｒ［２］＝Ｒ［３］＝Ｒ［４］＝Ｓ_１
Ｇ［３］＝Ｒ［５］＝Ｓ_４
Ｇ［４］＝Ｇ［５］＝Ｇ［６］＝Ｇ［７］＝Ｒ［６］＝Ｒ［７］＝Ｓ_６
と表現される。ＲとＧｂのサンプリング位置が画素位置１、３、５、７、Ｇｒのサンプリング位置が画素位置０、２、４、６である場合、図１０（ｂ）に示すように、
Ｇｒ［０］＝Ｇｒ［２］＝Ｇｂ［１］＝Ｒ［１］＝Ｒ［３］＝Ｓ_１
Ｇｂ［３］＝Ｒ［５］＝Ｓ_４
Ｇｒ［４］＝Ｇｒ［６］＝Ｇｂ［５］＝Ｇｂ［７］＝Ｒ［７］＝Ｓ_６
となる。

次に、図１０（ｃ）に倍率色収差補正部１００３の出力後のデータを示す。倍率色収差補正部１００３でＲ画素を左に２画素動かすので、倍率色収差補正後のＲ画素の値Ｒ’［ｘ］は、
Ｒ’［ｘ］＝Ｒ［ｘ＋２］
と表現される。Ｒの間の画素は公知の線形補間で作られるとすると、図１０（ｃ）において、
Ｒ’［１］＝Ｒ［３］＝Ｓ_１
Ｒ’［３］＝Ｒ［５］＝Ｓ_４
Ｒ’［５］＝Ｒ［７］＝Ｓ_６
となる。

ここで、色補間回路２０００から出力された色補間後の画素位置２の位置に注目する。色補間後の画素位置２の値は、それぞれ
Ｒ’［２］＝（Ｒ’［１］＋Ｒ’［３］）／２＝Ｓ_２＝（Ｓ_１＋Ｓ_４）／２
Ｇｒ［２］＝Ｓ_１
Ｇｂ［２］＝（Ｇｂ［１］＋Ｇｂ［３］）／２＝Ｓ_２＝（Ｓ_１＋Ｓ_４）／２
となる。

従って、色差信号生成回路２００１が出力する色差信号Ｃｒ１として、Ｒ’−Ｇｒが選択された場合は、Ｃｒ１＝Ｒ’［２］−Ｇｒ［２］＝（Ｓ_４−Ｓ_１）／２となる。色差信号Ｃｒ１として、Ｒ’−Ｇｂが選択された場合は、Ｃｒ１＝Ｒ’［２］−Ｇｂ［２］＝０となる。従って、Ｒ’−Ｇｂを選択すれば、画素位置２の位置で偽色は発生しない。

このように、Ｒ画素の倍率色収差補正の移動量が偶数画素の場合、第１の実施形態において図４を参照して説明した奇数画素の場合と比べて、画素位置２での偽色が発生しにくくなる。そこで、ＭＩＸ比算出回路２００３は、移動量が偶数画素の場合、奇数画素の場合よりもＴｈｒｅｓ１及びＴｈｒｅｓ２を大きくする。これにより、αの値が小さくなり、最終的な色差信号Ｃｒの算出に際してＣｒ１の寄与が大きくなる。

図１１に、倍率色収差の補正量（移動量）とＴｈｒｅｓ１との関係を示す。Ｔｈｒｅｓ２については図示を省略するが、基本的な考え方はＴｈｒｅｓ１と同様である。図１１において、横軸は倍率色収差の補正量、縦軸は閾値Ｔｈｒｅｓ１を示す。倍率色収差の補正量が１，３などの奇数画素の時に、閾値Ｔｈｒｅｓ１として、Ｔｈｒｅｓ１＿ＭＡＸが選択される。倍率色収差補正量が０，２，４などの偶数画素の時に、閾値Ｔｈｒｅｓ１として、Ｔｈｒｅｓ１＿ＭＩＮが選択される。倍率色収差の補正量がサブピクセル単位の場合は、閾値Ｔｈｒｅｓ１は、Ｔｈｒｅｓ１＿ＭＡＸとＴｈｒｅｓ１＿ＭＩＮとの間の補間演算により算出される。

以上説明したように、第２の実施形態によれば、ＭＩＸ比算出回路２００３は、倍率色収差の補正量に応じて、ＭＩＸ比αを求めるための閾値Ｔｈｒｅｓ１及びＴｈｒｅｓ２を変更する。具体的には、倍率色収差の補正量が奇数の場合（即ち、偽色がより発生しやすい条件の場合）、ＭＩＸ比算出回路２００３は、Ｔｈｒｅｓ１及びＴｈｒｅｓ２を小さくすることによりαを大きくする。これにより、ＭＩＸ比算出回路２００３は、Ｇ信号にＬＰＦをかけた信号の寄与が大きくなるように色差信号を算出する。反対に、倍率色収差の補正量が偶数の場合（即ち、偽色がより発生しにくい条件の場合）、ＭＩＸ比算出回路２００３は、Ｔｈｒｅｓ１及びＴｈｒｅｓ２を大きくすることによりαを小さくする。これにより、ＭＩＸ比算出回路２００３は、Ｇ信号にＬＰＦをかけた信号の寄与が小さくなるように色差信号を算出する。その結果、偽色の発生を抑制しつつ、偽色が発生しにくい場合の画質劣化を抑制することが可能となる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２０００…色補間回路、２００１…色差信号生成回路、２００２…色差信号生成回路、２００３…ＭＩＸ比算出回路、２００４…ＬＰＦ、２００５…ＬＰＦ、２００６…合成部

Claims (10)

1. 第１の色成分及び第２の色成分を含む画像データであって、前記第１の色成分に対する倍率色収差補正がなされた前記画像データを処理する画像処理装置であって、
   前記画像データの前記第２の色成分に対して平滑化処理を行うことにより、平滑化された第２の色成分を生成する平滑化手段と、
   前記画像データの所定の画素について、前記第１の色成分及び前記平滑化された第２の色成分から第１の色差信号を生成する生成手段と、
   を備える画像処理装置であって、
   前記生成手段は、前記画像データの所定の画素について、前記第１の色成分及び前記第２の色成分から第２の色差信号を生成し、前記第１の色差信号及び前記第２の色差信号を合成することにより、色差信号を生成し、
   前記画像処理装置は、前記所定の画素の前記第２の色成分と前記平滑化された第２の色成分との差分絶対値が大きいほど前記第１の色差信号の割合が大きくなるように、前記合成の比率を決定する決定手段を更に備える
   ことを特徴とする画像処理装置。
2. 前記第１の色成分は、赤色成分又は青色成分であり、
   前記第２の色成分は、緑色成分である
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像データは、前記第１の色成分の画素、前記第２の色成分の画素、及び第３の色成分の画素がベイヤー配列に並んだ画像データに対して前記倍率色収差補正を適用することにより生成されたものであり、
   前記第２の色成分は、前記赤色成分の画素と同じ行に存在する画素から得られる第１の緑色成分と、前記青色成分の画素と同じ行に存在する画素から得られる第２の緑色成分とを含み、
   前記平滑化手段は、前記第１の緑色成分及び前記第２の緑色成分のそれぞれに対して前記平滑化処理を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記生成手段は、前記第１の色成分と前記平滑化された前記第１の緑色成分の差分と、前記第１の色成分と前記平滑化された前記第２の緑色成分の差分とを混合するか、あるいは、いずれかを選択することにより、前記第１の色差信号を生成することを特徴とする請求項３に記載の画像処理装置。
5. 前記画像データは、前記第１の色成分の画素、前記第２の色成分の画素、及び第３の色成分の画素がベイヤー配列に並んだ画像データに対して前記倍率色収差補正を適用することにより生成されたものであり、
   前記第３の色成分は、前記第１の色成分が赤色成分であり、かつ、前記第２の色成分が緑色成分である場合は青色成分であり、前記第１の色成分が青色成分であり、かつ、前記第２の色成分が緑色成分である場合は赤色成分であり、
   前記決定手段は、前記倍率色収差補正における前記第１の色成分の画素の移動量が奇数の場合、当該移動量が偶数の場合よりも前記第１の色差信号の割合が大きくなるように、前記合成の比率を決定する
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記決定手段は、前記差分絶対値が第１の閾値より小さい場合、前記第１の色差信号の割合が０になるように前記合成の比率を決定し、前記差分絶対値が前記第１の閾値より大きい第２の閾値より大きい場合、前記第２の色差信号の割合が０になるように前記合成の比率を決定する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記決定手段は、前記倍率色収差補正における前記第１の色成分の画素の移動量が奇数の場合、当該移動量が偶数の場合よりも、前記第１の閾値及び前記第２の閾値を小さくする
   ことを特徴とする請求項６に記載の画像処理装置。
8. 請求項１乃至７のいずれか１項に記載の画像処理装置と、
   撮像手段と、
   前記撮像手段により生成された前記第１の色成分及び前記第２の色成分を含む画像データに対して前記倍率色収差補正を適用する補正手段と、
   を備えることを特徴とする撮像装置。
9. 第１の色成分及び第２の色成分を含む画像データであって、前記第１の色成分に対する倍率色収差補正がなされた前記画像データを処理する、画像処理装置における画像処理方法であって、
   前記画像処理装置の平滑化手段が、前記画像データの前記第２の色成分に対して平滑化処理を行うことにより、平滑化された第２の色成分を生成する平滑化工程と、
   前記画像処理装置の生成手段が、前記画像データの所定の画素について、前記第１の色成分及び前記平滑化された第２の色成分から第１の色差信号を生成する生成工程と、
   を備え、
   前記生成工程では、前記画像データの所定の画素について、前記第１の色成分及び前記第２の色成分から第２の色差信号を生成し、前記第１の色差信号及び前記第２の色差信号を合成することにより、色差信号を生成し、
   前記画像処理方法は、前記画像処理装置の決定手段が、前記所定の画素の前記第２の色成分と前記平滑化された第２の色成分との差分絶対値が大きいほど前記第１の色差信号の割合が大きくなるように、前記合成の比率を決定する決定工程を更に備える
   ことを特徴とする画像処理方法。
10. コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images