JP5147577B2

JP5147577B2 - 画像処理装置およびその方法

Info

Publication number: JP5147577B2
Application number: JP2008179469A
Authority: JP
Inventors: 智恵菊地
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-07-09
Filing date: 2008-07-09
Publication date: 2013-02-20
Anticipated expiration: 2028-07-09
Also published as: JP2010021733A

Description

本発明は、撮影データのデモザイキング処理に関する。

現在普及しているディジタルカメラは、赤色R成分の画素信号、緑色G成分の画素信号、および、青色B成分の画素信号がベイヤ配列に並んだ画像を光電変換して撮影データ（RAWデータ）を取得する。そして、この撮影データに、各画素の色成分を補間する補間処理(demosicing or demosicking)を施して、人間が被写体を認識可能な画像の画像データにする（デモザイキング処理）。この補間処理においては、画像のエッジの方向を判定し、判定した方向に従い、補間方法を切り替える。

図1から図3はRAWデータのG成分画像の一部の画素を示す図である。図1において、G成分画素G1、G2、G3、G4はRAWデータに存在するG成分画素を示し、G成分画素GXはRAWデータに存在しないG成分画素を示している。従って、G成分画素GXはG成分画素G1〜G4から補間される補間画素である。G成分画素GXの最も簡単な補間方法は下式で表される単純平均法である。
GX = (G1 + G2 + G3 + G4)/4 …(1)

しかし、図2に示すように、G成分画素GXがエッジの端に存在する場合、G成分画素GXの値は約100になることが望ましいが、式(1)から算出されるG成分画素GXの値は75になる。この結果、補間処理を行った後のエッジには濃淡が発生し、エッジがぎざぎざになるか偽色が発生する。

とくに、図4に示すベイヤ配列の電荷結合デバイス(CCD)は、G成分のサンプリング周波数がRおよびB成分のサンプリング周波数の二倍になる。そのため、空間周波数の高周波成分まで検出可能なG成分に単純平均による補間処理を施すと、上記の問題が非常に目立つ結果になる。

特許文献1や2に開示された技術は、エッジの方向を判定し、エッジの方向に応じて補間する画素の上下左右の画素値（隣接画素）の重み付けを変更して補間処理を行う。

特許文献1の技術は、垂直方向の隣接画素と水平方向の隣接画素の画素値の差分を算出して垂直、水平方向の画素値の勾配を得る。そして、勾配と所定の閾値を比較して、補間に利用する隣接画素を四画素（四画素の平均）にするか、水平または垂直方向に隣接する二画素（二画素の平均）にするかを切り替える。

特許文献2の技術は、特許文献1と同様に、G成分の垂直、水平方向の勾配をそれぞれ算出するが、閾値を用いずに、二方向の勾配の大小関係から補間に利用する隣接画素の重み付けを変更し、それらの平均値を補間画素の値にする。

上記の技術は、G成分のエッジを判定し、G成分の補間精度を向上した上で、G成分を使って、RおよびB成分の補間処理を行う。そのため、単純平均法に比べ、エッジのぎざぎざや偽色の発生がかなり抑えられるが、完全になくなるわけではない。

その一つの理由として、レンズによる収差が挙げられる。例えば、図2に示すような画素値が、レンズ収差により図3に示すような画素値になると、本来エッジとして判定されるべき部分がエッジと判定されないため、正しい補間を行うことができず、エッジのぎざぎざや偽色が残ってしまう。

そこで、レンズ収差の補正の結果を用いて、補間精度を高める技術が特許文献3に提案されている。特許文献3の技術は、RおよびB成分の補間処理を行った後、レンズ収差を補正し、その結果からG成分の補間方向を決定している。しかし、ベイヤ配列の場合、RおよびB成分のサンプリング周波数はG成分の半分であり、G成分を使わずにRおよびB成分の補間精度を上げるのは困難である。

特許3753385公報特開平10-164602号公報特開2008-015946公報

本発明は、ベイヤ配列の撮影データの補間精度を向上することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる画像処理は、ベイヤ配列の撮影データのG成分を補間処理してG成分画像を生成し、前記G成分画像にレンズの色収差補正を施し、前記色収差補正を施したG成分画像を参照して、前記撮影データをデモザイキング処理し、前記デモザイキング処理において、前記色収差補正を施したG成分画像から検出したエッジの方向に基づき、前記撮影データのG成分を補間処理してG成分画像を生成することを特徴とする。

本発明によれば、ベイヤ配列の撮影データの補間精度を向上することができる。

以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。以下では、本発明の画像処理をディジタルカメラに適用した例を説明するが、本発明の画像処理は、ディジタルカメラから取得した撮影データ（RAWデータ）を画像処理（現像処理、デモザイキング処理）する画像処理装置にも適用することができる。

［装置の構成］
図5は実施例のディジタルカメラの構成例を示すブロック図である。

レンズ401は、被写体からの光を撮像デバイスであるCCD402に結像する。CCD402は、ベイヤ配列のカラーフィルタを備え、入射した光を光電変換し、R成分、G成分およびB成分の画素信号がベイヤ配列に並んだアナログ画像信号を生成する。A/D変換部403は、CCD402が生成したアナログ画像信号をアナログ/ディジタル(A/D)変換によりディジタル画像データ（RAWデータ）に変換する。なお、RAWデータの各色成分の画素値は例えば8ビット（0〜255の整数値）で表され、0は最も暗い色成分を表し、255は最も明るい色成分を表す。

A/D変換部403から出力されたRAWデータは、一次メモリ404に一時的に記憶される。一次メモリ404は、CCD402の光電変換およびA/D変換部403のA/D変換の処理速度と、後段の色分離部405の処理から画像メモリ408の記憶まで処理速度の差を吸収するバッファである。もし、色分離部405以降の後段の処理速度が充分に高速であれば一次メモリ404は不要になる。

色分離部405は、一次メモリ404に格納されたRAWデータを読み出し、読み出したRAWデータをR、G、Bの色ごとのデータ系列に分離する色分離処理を行う。図6は色分離処理の概要を示す図である。

G成分補間部406は、色分離処理されたGデータの補間処理を行う。補間部407は、G成分補間部406の処理結果を利用して、色分離処理されたR、G、Bデータ（色分離データ）の補間処理を行い、最終的な画像データ（各画素がRGB成分をもつ例えば合計24ビットのデータ）を生成する。そして、最終的な画像データを画像メモリ408に格納する。

なお、ディジタルカメラは、図5に示す機能部以外にも、ROMに格納された制御プログラムを実行してディジタルカメラ全体を制御するマイクロプロセッサ(CPU)、CPUがワークエリアに使用するRAMなども備える。また、CCD402の色再現特性をもつデータを所定の色空間のデータに変換する色処理部、画像メモリ408に格納する画像データを符号化する符号化部、外部機器との通信インタフェイスなども備える。また、画像メモリ408は、ディジタルカメラに内蔵されたRAMのようなメモリでもよいし、メモリカードのようなリムーバブルなメモリでもよい。

［G成分補間部と補間部］
図7はG成分補間部406と補間部407のデータ処理を説明するブロック図である。

G成分補間部406は、ベイヤ方向判定部603、補間処理部604および倍率色収差補正部605の三つの処理部を備える。また、補間部407は、ビットマップ方向判定部606、補間処理部607および倍率色収差補正部608の三つの処理部を備える。

●ベイヤ方向判定部と補間処理部の処理
ベイヤ方向判定部603は、色分離データ601のG成分のエッジの方向を判定し、補間処理部604は、判定結果を用いてR、G、B成分の補間処理を行う。ベイヤ方向判定部603と補間処理部604の処理は、様々な方法が知られていて、どの方法を用いても構わないが、一例を説明する。

ベイヤ方向判定部603と補間処理部604は、色分離データ601のG成分の一部（図1に示すG成分画素G1、G2、G3、G4）を入力する。そして、G成分画素G1とG4の絶対差分値|G1-G4|と、G成分画素G2とG3の絶対差分値|G2-G3|を計算し、二つの絶対差分値の関係に応じて、下式に示す重み値m、nを変更して、G成分の補間画素の値を計算する。
GX = {m×(G1 + G4) + n×(G2 + G3)}/{2×(m + n)} …(2)
；GXがG2-G3方向に沿うエッジ上に存在すると予測される場合
if (|G1-G4|が大 && |G2-G3|が小) {；
mを小さく設定する；
nを大きく設定する；
}
；GXがG1-G4方向に沿うエッジ上に存在すると予測される場合
if (|G1-G4|が小 && |G2-G3|が大) {
mを大きく設定する；
nを小さく設定する；
}
；GXがエッジの角に存在すると予想される場合
if (|G1-G4|が大 && |G2-G3|が大)
m = n；
；GXがエッジ上に存在しないと予測される場合
if (|G1-G4|が小 && |G2-G3|が小)
m = n；

ベイヤ方向判定部603と補間処理部604は、上記の計算を繰り返すことにより、G成分の補間画素を計算して、補間後のG成分を生成する。

●倍率色収差補正
色収差を補正するに当り、色収差情報を取得する必要がある。図8は色収差を説明する図である。なお、色ずれの方向は、図8に示すように、B成分はG成分より、G成分はR成分より画像の中心に向ってずれるものとする。また、R成分には色ずれがないものとして、GおよびB成分を補正する。色収差情報は、R、G、B間の色ずれ量（画素数）で表され、例えば「絞り値が8のときの結像面における色ずれ量はR-B間で二画素」というように表現される。

色収差情報は、撮影時に、ディジタルカメラとレンズの通信によってレンズ情報として取得するか、ディジタルカメラ本体にレンズ情報として予め格納しておけばよい。あるいは、本発明をソフトウェアとして実現する場合は、ネットワークを介してサーバ装置から色収差情報をダウンロードすることもできる。色収差情報の取得は、この他、様々な方法が考えられるが、本発明の主眼ではないので、その説明を割愛する。

図9は色収差の補正を説明する図で、一例として縦480×横640画素の画面を示している。図9に示す画面の1/4の縦240×横320画素の領域CDEFを考えると、この領域は画面に対して相似であり、対角線CEは400画素分の長さになる。本来は一点に結像すべきR、G、B成分は、色収差により、図9に示すように分離して結像する。つまり、R成分はE点に結像し、B、G成分は中心（C点）寄りに結像する。

倍率色収差補正は、画像上のB、G成分の位置がE点に一致するように、B、G成分の画像を拡大する補正を行う。例えば、B-R間のずれが二画素、G-R間のずれが一画素とすると、C-B間の距離は398画素であるからB成分の画像を400/398倍する。また、C-G間の距離は399画素であるからG成分の画像を400/399倍する。このような倍率補正をB、G成分に行えば、B、G成分とR成分の画像上の位置が一致して色ずれが低減され、その結果、シャープなエッジが得られる。

なお、G成分補間部406の倍率色補正部605は、補間処理部604が出力するG成分に倍率色収差補正を施し、G成分データ609を生成する。

●補間部の処理
ビットマップ方向判定部606は、G成分補間部406が生成したG成分データ609のエッジ検出を行い、エッジの方向を判定をする。エッジ検出の方法は、Prewittフィルタ、Sobelフィルタ、Laplacianフィルタなど周知の方法を用いればよい。

図10は補間処理部607の処理を説明する図である。

補間処理部607は、G成分補間部406の補間処理部604と同じ方法を用いて、色分離データ601のG成分701の補間処理を行ってもよいし、別の方法を用いても構わない。ただし、G成分補間部406の補間処理部604は、ベイヤ方向判定部603の判定結果に基づきG成分の補間処理を行うが、補間処理部607は、ビットマップ方向判定部606の判定結果に基づきG成分の補間処理を行い、補間後のG成分702を生成する。

また、補間処理部607は、色分離データのR成分703を入力して、データが存在する画素（以下、有意画素）の画素値から、画素位置が対応するG成分の画素値を減算して、有意画素の色差データCr704を計算する。そして、単純平均により、色差データCr704から補間画素の値を計算し、補間後の色差データCr705を生成する。さらに、補間後の色差データCr705に、画素位置が対応するG成分の画素値を加算して、補間後のR成分706を生成する。

同様に、補間処理部607は、色分離データのB成分707を入力して、有意画素の画素値から、画素位置が対応するG成分の画素値を減算して、有意画素の色差データCb708を計算する。そして、単純平均により、色差データCb708から補間画素の値を計算し、補間後の色差データCb709を生成する。さらに、補間後の色差データCb709に、画素位置が対応するG成分の画素値を加算して、補間後のB成分710を生成する。

倍率色収差補正部608は、上述した倍率色収差補正をG成分702、B成分710に施して、R、G、B成分画像からなる画像データ602を生成する。

このように、G成分の補間処理（色収差の補正を含む）した結果を参照して、エッジの方向を判定して再度G成分を補間処理し、補間処理後のG成分を用いてR、B成分の補間処理を行う。従って、色収差を補正したサンプリング周波数が高い（空間周波数の高周波成分を含む）G成分に基づき、エッジの方向を高精度に判定して、ベイヤ配列の撮像デバイスから得られるRAWデータの補間精度を向上することができる。言い換えれば、補間後の画像のエッジのぎざぎざや偽色を低減することができる。

以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。

実施例1では、すべての画素についてG成分補間部406の処理と、補間部407のG成分の処理を行う例を説明した。しかし、画面の中央領域においては、色収差は小さく、G成分補間部406の処理結果と、補間部407のG成分の処理結果の差は小さくなる。そこで、実施例2では、色収差が大きい領域の画素は補間部407のG成分の処理を行い、色収差が小さい領域の画素は、補間部407のG成分の処理を行わずに、G成分補間部406の処理結果を利用する例を説明する。

図11は実施例2の補間処理を説明するフローチャートである。

まず、G成分補間部406の処理を行い(S1001)、注目画素の位置Pを初期化する(S1002)。ラスタ順に注目画素を移動する場合は画像の左上の位置に初期化すればよい。

次に、位置PのG成分の色収差を取得し(S1003)、取得した色収差と所定の閾値Thを比較して(S1004)、収差が閾値以下であれば、G成分データ609の位置Pのデータを補間部407のG成分の処理結果として出力する(S1005)。また、色収差が閾値を超える場合は、補間部407のG成分の処理を行い(S1006)、補間部407のG成分の処理結果を出力する(S1007)。

次に、位置Pを判定し(S1008)、位置Pが画像の最後の画素を示す場合はG成分の処理を終了し、そうでなければ注目画素の位置Pを移動して(S1009)、処理をステップS1003に戻す。なお、図11に示す処理の終了後、R、B成分の処理を行うことは言うまでもない。

このように、色収差が小さい領域のG成分の処理は一回で済み、その分、補間処理を高速化することができる。

［変形例］
上記では、G成分補間部406において、色収差を補正する例を説明したが、非点収差やコマ収差などのレンズ収差を補正してもよい。

［他の実施例］
なお、本発明は、複数の機器（例えばコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置、制御装置など）に適用してもよい。

また、本発明の目的は、上記実施例の機能を実現するコンピュータプログラムを記録した記録媒体または記憶媒体をシステムまたは装置に供給する。そして、そのシステムまたは装置のコンピュータ（CPUやMPU）が前記コンピュータプログラムを実行することでも達成される。この場合、記録媒体から読み出されたソフトウェア自体が上記実施例の機能を実現することになり、そのコンピュータプログラムと、そのコンピュータプログラムを記憶する、コンピュータが読み取り可能な記録媒体は本発明を構成する。

また、前記コンピュータプログラムの実行により上記機能が実現されるだけではない。つまり、そのコンピュータプログラムの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)および/または第一の、第二の、第三の、…プログラムなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

また、前記コンピュータプログラムがコンピュータに接続された機能拡張カードやユニットなどのデバイスのメモリに書き込まれていてもよい。つまり、そのコンピュータプログラムの指示により、第一の、第二の、第三の、…デバイスのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

本発明を前記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応または関連するコンピュータプログラムが格納される。

RAWデータのG成分画像の一部の画素を示す図、 RAWデータのG成分画像の一部の画素を示す図、 RAWデータのG成分画像の一部の画素を示す図、ベイヤ配列を示す図、実施例のディジタルカメラの構成例を示すブロック図、色分離処理の概要を示す図、 G成分補間部と補間部のデータ処理を説明するブロック図、色収差を説明する図、色収差の補正を説明する図、補間処理部の処理を説明する図、実施例2の補間処理を説明するフローチャートである。

Claims

ベイヤ配列の撮影データのG成分を補間処理してG成分画像を生成する補間手段と、
前記G成分画像にレンズの色収差補正を施す補正手段と、
前記色収差補正を施したG成分画像を参照して、前記撮影データをデモザイキング処理するデモザイキング手段とを有し、
前記デモザイキング手段は、前記色収差補正を施したG成分画像から検出したエッジの方向に基づき、前記撮影データのG成分を補間処理してG成分画像を生成することを特徴とする画像処理装置。
前記デモザイキング手段は、ビットマップ方向判定によって前記エッジの方向を検出することを特徴とする請求項1に記載された画像処理装置。
前記デモザイキング手段は、前記レンズの色収差が所定の値以下のG成分の画素について、前記補正手段が補正したG成分画像のデータを、前記デモザイキング処理の後のG成分画像のデータにすることを特徴とする請求項1または請求項2に記載された画像処理装置。
前記デモザイキング手段は、前記デモザイキング処理の後のG成分画像に基づき、前記撮影データのR成分およびB成分を補間処理してR成分画像およびB成分画像を生成することを特徴とする請求項1から請求項3の何れか一項に記載された画像処理装置。
前記補間手段は、前記撮影データのG成分からベイヤ方向判定によって検出したエッジの方向に基づき、前記補間処理を行うことを特徴とする請求項1から請求項4の何れか一項に記載された画像処理装置。
補間手段、補正手段、デモザイキング手段を有する画像処理装置の画像処理方法であって、
前記補間手段が、ベイヤ配列の撮影データのG成分を補間処理してG成分画像を生成し、
前記補正手段が、前記G成分画像にレンズの色収差補正を施し、
前記デモザイキング手段が、前記色収差補正を施したG成分画像を参照して、前記撮影データをデモザイキング処理し、
前記デモザイキング手段は、前記色収差補正を施したG成分画像から検出したエッジの方向に基づき、前記撮影データのG成分を補間処理してG成分画像を生成することを特徴とする画像処理方法。
コンピュータを請求項1から請求項5の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。