WO2012053139A1 - 画像処理装置および画像処理方法 - Google Patents

Abstract

　第１のフィルタ処理工程で、第１の配列方向に沿った画素単位のフィルタ処理で原画像ＲＡＷデータを第１の輝度データと第１の色キャリアデータとに分ける。第１の輝度分布均等化処理工程で、第１の輝度データの第１の配列方向の輝度分布を均等化することで第２の輝度データを生成する。第１の色配列再現処理工程で、第２の輝度データに第１の色キャリアデータを再合成することで第１の複数色配列データを生成する。第２のフィルタ処理工程で、第２の配列方向に沿った画素単位のフィルタ処理で第１の複数色配列データを第３の輝度データと第２の色キャリアデータとに分ける。第２の輝度分布均等化処理工程で、第３の輝度データの第２の配列方向の輝度分布を均等化することで第４の輝度データを生成する。第２の色配列再現処理工程で、第４の輝度データに第２の色キャリアデータを再合成することで第２の複数色配列データを生成する。

Description

画像処理装置および画像処理方法

　本発明は、電子スチルカメラやＨＤムービーなどの分野における画像処理装置および画像処理方法に関する。詳しくは、単板カラー撮像素子である色配列の周期性を有する複数色画素の撮像素子から出力される原画像ＲＡＷデータを処理対象とし、このＲＡＷデータが４画素混合など偶数画素混合出力のために互いに直交する第１および第２の配列方向で画素データ分布に不均衡が生じていることに起因する画質劣化を抑制するための技術に関する。インターレース変換等のために単に１次元垂直一方向で対処するだけにとどまらずに、２次元水平垂直両方向において、つまり面的に、自然な解像感を確保しかつ偽色発生を低減して、画質向上を図るものである。さらに、原画像ＲＡＷデータより小さいスモールＲＡＷ記録モードでの撮影やプレビュー表示やＨＤムービーなどの動画撮影においては、データサイズ変更のためにリサイズ処理を行うが、２次元方向で画素データ分布に不均衡が生じている原画像ＲＡＷデータを処理対象として、処理がより複雑となるリサイズ処理を行うに際しても、高品質な画像処理を実現するための技術に関する。

　デジタルカメラにはＣＣＤ(Charge Coupled Device)やＭＯＳ（Metal Oxide Semiconductor）などの撮像素子上にカラー撮像のための色分解フィルタが設けられている。ベイヤー方式では、Ｒ（赤）,Ｇ（緑）,Ｂ（青）の原色フィルタが市松模様に配置されている。色分解フィルタを通して撮像された画像データをＲＡＷデータと称する。ＲＡＷデータは、ＪＰＥＧ形式等のデータに比べてファイルサイズが大きく、現像（再現）再生処理に時間がかかる。撮像素子の高画素化と高速読み出し処理技術の進展に伴って、原画像より小さいスモールＲＡＷ画像が扱われるようになっている。スモールＲＡＷ画像は静止画撮影時に液晶モニタを用いて被写体を確認するモニタモードやサイズが規格化された動画撮影のＨＤムービーでも注目されている。スモールサイズの撮影処理方法として、撮像素子内で１画素おきの同色信号を加算して読み出す方法（画素混合読み出し方法）がある。これにより、出力有効画素数が減じられたスモールサイズのＲＡＷデータが得られ、処理時間の短縮と省電力化が可能になる。画素混合の代表例に、９画素混合方式と４画素混合方式がある。

　９画素混合方式は、１画素おきの同色信号を水平方向に３画素、垂直方向に３画素の合計マトリックス９画素の画素データを混合して１画素分のデータとし、画像サイズ（データ量）を１／９にする。一方、４画素混合方式は、１画素おきの同色信号を水平方向に２画素、垂直方向に２画素の合計マトリックス４画素の画素データを混合して１画素分のデータとし、画像サイズを１／４にする。

　原色ベイヤー配列での９画素混合について、図２９～図３６を用いて簡単に説明する。ｂ,ｇ１,ｇ２,ｒの小文字は混合前のカラー要素を示し、Ｂ,Ｇ１,Ｇ２,Ｒは混合後のカラー要素を示す。ｂ,Ｂは青色を、ｇ１,ｇ２は緑色を、ｒ,Ｒは赤色をそれぞれ意味する。ｇ１,Ｇ１はそれぞれカラー要素ｂ,Ｂの横隣に位置する緑を意味し、ｇ２,Ｇ２はそれぞれカラー要素ｂ,Ｂの縦隣に位置する緑を意味する。ＲＧＢベイヤー配列の周期性に基づき、水平方向に沿ったｂｇあるいはＢＧの繰り返しのラインデータとｇｒあるいはＧＲの繰り返しのラインデータとが垂直方向で交互に出力される。混合前のベイヤー配列は混合後も保たれる。

　図２９は混合対象のカラー要素がｂ（青色）の場合を示す。太線の四角形は、原画像ＲＡＷデータの分布空間内で混合対象の９つのカラー要素ｂの画素データが占める単位ブロックを表している。ブロック単位での１行１列目のブロックでは、丸で囲んで示すところの１行１列目、１行３列目、１行５列目、３行１列目、３行３列目、３行５列目、５行１列目、５行３列目および５行５列目の９つの画素ｂのデータが加算によって混合される。その混合後の画素データＢは図３０に示すように、上記３行３列の左右方向中央、上下方向中央に位置する画素が担うように配置される。図３０の画素データＢの位置は図２９で同色ｂの画素位置となっている。なお、後述する４画素混合の場合はこの点で相違する。これは、図３６と図４１とを比較参照することにより明らかである。このような配置形態が単位ブロックのすべてに適用され、混合後のカラー要素Ｂ（青色）の画素データの配置画素は図３０に示すようになる。

　図３１は混合対象のカラー要素がｇ１（緑色）の場合を示す。太線の四角形は、混合対象の９つのカラー要素ｇ１（緑色）の画素データが占める単位ブロックを表している。図３１の単位ブロックは、その左右方向中央の画素が図２９の隣接する２つの単位ブロックの丁度中央に位置している。図３１において、１行１列目のブロックでは、丸で囲んで示すところの１行４列目、１行６列目、１行８列目、３行４列目、３行６列目、３行８列目、５行４列目、５行６列目および５行８列目の９つの画素のデータが加算によって混合される。その混合後の画素データは図３２に示すように、上記３行３列の左右方向中央、上下方向中央に位置する画素が担うように配置される。このような配置形態が単位ブロックのすべてに適用され、混合後のカラー要素Ｇ１（緑色）の画素データの配置画素は図３２に示すようになる。

　図３０と図３２をまとめると図３３のようになる。これを見ると分かるように、カラー要素Ｂとカラー要素Ｇ１の混合データ配置画素の座標分布は水平方向で均等なものとなる。その間隔は水平方向で２画素分である。図３０,図３２での水平方向間隔は５画素分で、これは奇数である。よって、５画素分離れて位置する隣接２つの画素の丁度中央位置に他の色の画素を無理なく配置することが可能である。ｍを任意の自然数として、奇数は（２ｍ＋１）で表される。その中央は、｛（２ｍ＋１）＋１｝／２＝ｍ＋１（自然数）で、割り切れているので、丁度中央が該当するのである。

　図３４は混合対象のカラー要素がｇ２（緑色）の場合を示す。混合データ配置画素の座標は、図３６でのＧ２になる。図３５は混合対象のカラー要素がｒ（赤色）の場合を示す。混合データ配置画素の座標は、図３６でのＲになる。図３６は混合データ配置画素Ｂ,Ｇ１,Ｇ２,Ｒの座標をまとめて示している。図３６から明らかなように、垂直方向に並ぶカラー要素Ｂとカラー要素Ｇ２、あるいはカラー要素Ｇ１とカラー要素Ｒは均等間隔となる。その間隔は垂直方向で２画素分である。同色のカラー要素どうしで５画素分離れて位置する隣接２つの画素の丁度中央位置に他の色の画素を無理なく配置することが可能である。以上のようにして、９画素混合の場合は、混合データ配置画素の座標が水平方向でも垂直方向でも均等分布の状態となる。

　４画素混合の様子を図３７～図４１を用いて説明する。図３７は混合対象のカラー要素がｂの場合を示す。ブロック単位での１行１列目のブロックでは、丸で囲んで示すところの１行１列目、１行３列目、３行１列目および３行３列目の４つの画素ｂのデータが加算によって混合される。その混合後の画素データＢは図４１に示すように、２行２列の左右方向中央、上下方向中央に位置する画素が担うように配置される。図４１の画素データＢの位置は、図３７では異なる色である色ｒの画素位置となっている（前述の９画素混合の場合は同色の画素位置である）。このような配置形態が単位ブロックのすべてに適用され、混合後のカラー要素Ｂの画素データの配置画素は図４１に示すようになる。

　図３８は混合対象のカラー要素がｇ１の場合を示す。丸で囲んで示すところの１行２列目、１行４列目、３行２列目および３行４列目の４つの画素のデータが加算によって混合される。その混合後の画素データは図４１に示すように、２行２列の左右方向中央、上下方向中央に位置する画素が担うように配置される。図４１の画素データＧ１の位置は、図３８でも同色である色ｇ２の画素位置となっている（ただし、Ｇ１とｇ２ではサフィックスが相違する）。このような配置形態が単位ブロックのすべてに適用され、混合後のカラー要素Ｇ１の画素データの配置画素は図４１に示すようになる。

　図３９は混合対象のカラー要素がｇ２の場合を示す。混合データ配置画素の座標は、図４１でのＧ２になる。図４０は混合対象のカラー要素がｒの場合を示す。混合データ配置画素の座標は、図４１でのＲになる。図４１の画素データＲの位置は、図４０で異なる色である色ｂの画素位置となっている（前述の９画素混合の場合は同色の画素位置である）。

　以上をまとめた図４１を見ると分かるように、カラー要素Ｂとカラー要素Ｇ１の混合データ配置画素の座標分布は水平方向で不均等なものとなる。カラー要素Ｇ２とカラー要素Ｒの混合データ配置画素の座標分布も同様に水平方向で不均等なものとなる。また、カラー要素Ｂとカラー要素Ｇ２の混合データ配置画素の座標分布は垂直方向で不均等なものとなる。カラー要素Ｇ１とカラー要素Ｒの混合データ配置画素の座標分布も同様に垂直方向で不均等なものとなる。

　図４２Ａ～図４２Ｃは図３７～図４１での説明をまとめたものである。原色ベイヤー配列の撮像素子において、画素混合が水平方向に行われる場合、同色の色フィルタは１画素おきに配置されているので、混合される画素も１画素おきのタイミングで混合されるように撮像素子が駆動される。画素混合が垂直方向に行われる場合も同様である。図４２Ａは原画像ＲＡＷデータを示す。図４２Ｂは４画素混合後のＲＡＷデータの原画像ＲＡＷデータ上における分布を示す。これは図４１に対応する。図４１、図４２Ｂは連続して入力されてくる個々の画素データが原画像におけるどの座標位置のデータを担うかについての画素データ分布を示している。図４２Ｃは４画素混合後のＲＡＷデータの実際的なタイミング的に均等な間隔の配列を示す。

　図４２Ａの撮像素子で４画素混合して画素データを読み出すに際しては、撮像素子においてその受光部（光電変換部）から次段の画素混合部にＢＧ繰り返しのラインデータを２ライン分送り込む。画素混合部は、垂直転送スイッチ、コンデンサ群からなる信号電圧保持回路および水平転送スイッチなどを含み、４画素混合後のＢＧ繰り返しのラインデータを信号出力ラインから出力する（特許文献４参照）。次に、撮像素子の受光部から画素混合部にＧＲ繰り返しのラインデータを２ライン分送り込み、４画素混合後のＧＲ繰り返しのラインデータを信号出力ラインから出力する。このような４画素混合後のＢＧ繰り返しのラインデータとＧＲ繰り返しのラインデータとが交互に連続して出力される。

　各繰り返しのラインデータにおいて連続する画素群はタイミング的には等間隔である。混合後のベイヤー配列の画素データにおいて、順次に入力されてくるデータのタイミングは、水平方向で均等なタイミングであり、また垂直方向でも均等なタイミングであると考えてよい。ただし、それらの画素データが原画像でのどの位置の画素を担うかについての画素データ分布は、図４１や図４２Ｂで示すように不均等なものとなっているということである。そして、このことが次に述べる画質劣化の原因となる。

　４画素混合処理を行うと、混合後の画素データを配置する画素の座標が混合前の２画素の中央になるので、図４１や図４２Ｂで示すように混合後の画素データを配置する画素の座標に注目すると、垂直方向、水平方向に均等ではなくなる。水平方向でも垂直方向でも、奇数番目のＢと奇数番目のＧとは過剰接近であり、奇数番目のＧと偶数番目のＢとは過剰離間であり、奇数番目のＧと奇数番目のＲとは過剰接近であり、奇数番目のＲと偶数番目のＧとは過剰離間である。過剰接近の間隔は０画素分であり、過剰離間の間隔は２画素分であり、不均一である。このような画素混合後のベイヤー配列で画素データ分布の不均衡が生じると、混合による高域情報の低域への折り返し成分の連続性が失われ、画質を劣化させる要因となる。

　なお、９画素混合と４画素混合の違いにつき、次のようにいうことができる。９画素混合では青の混合後の画素データを配置する画素データ分布が存在するラインは水平・垂直とも奇数ラインで、このことは混合前と同じである。赤の混合後の画素データを配置する画素データ分布が存在するラインは水平・垂直とも偶数ラインで、このことは混合前と同じである。緑１、緑２の混合後の画素データを配置する画素データ分布についても同様で、画素混合の前後で変わらない。これに対して、４画素混合では、青の混合後の画素データを配置する画素データ分布が存在するラインは水平・垂直とも奇数ラインから偶数ラインに変化している。赤の混合後の画素データを配置する画素データ分布が存在するラインは水平・垂直とも偶数ラインから奇数ラインに変化している。緑１、緑２の混合後の画素データを配置する画素データ分布についても同様で、画素混合の前後で変化している。

　さて、画素データ分布の補正に関する従来技術として、１行おきに同色信号を加算して読み出す場合に、画像の歪やモアレ等の問題を解消することを目的とした技術が公開されている（例えば特許文献１参照）。ただし、これは垂直方向でのみ分布均等化するだけである。以下、図４３Ａ－図４３Ｃに基づいて特許文献１の技術の概要を説明する。

　図４３Ａに示すように、撮像素子ｍ２は撮像素子駆動部ｍ８からのタイミング信号によって駆動される。図４３Ｂの（ａ）,（ｂ）に示すように垂直方向で隣接する画素信号につき同色信号を混合する。混合後の信号はＡ／Ｄ変換器ｍ４でデジタル信号に変換され、カメラ信号処理部ｍ６によって色分離処理等が施された後、輝度信号、色差信号が生成される。生成される色差・輝度信号においては、ｎを自然数（ｎ＝１,２…）として、第（２ｎ－１）ラインと第２ｎラインとが過剰接近し、第２ｎラインと第（２ｎ＋１）ラインとが過剰離間した不均等状態になる。

　そこで、補正処理部（重心ずれ補正処理部）ｍ１０は、図４３Ｃに示すように、カメラ信号処理部ｍ６から出力される色差・輝度信号に対して画素データ分布の不均衡の補正を行う。Ｙ2nおよびＹ(2n±偶数)は輝度・色差信号の偶数ラインであり、垂直方向画素データ分布の不均衡によって過剰接近した２ラインのうち上のラインである。Ｙ(2n±奇数)は輝度・色差信号の奇数ラインであり、過剰接近した２ラインのうち下のラインである。Ｙ’2nおよびＹ’(2n±偶数)は画素データ分布の不均衡補正後の輝度・色差信号の偶数ラインを表し、Ｙ’(2n±奇数)は不均衡補正後の輝度色差信号の奇数ラインを表す。

　Ｙ2nとＹ2n+１の間隔と、Ｙ2n+１とＹ2n+2の間隔の比は１：３であるので、垂直方向画素データ分布の不均衡の補正後の信号が等間隔になるように、下記の式のように補正処理を行う。
Ｙ’2n＝Ｙ2n
Ｙ’2n+１＝(2/3)×Ｙ2n+１＋(1/3)×Ｙ2n+2
すなわち、偶数ラインの信号はそのまま出力し、奇数ラインの信号は次のラインの信号と２：１の比率になるように補間演算を行う。

　このような処理を行うことにより、混合後の画素データを配置する画素の垂直方向座標分布は均等になり、画素データ分布の不均衡に起因する画像の歪みやモアレのない画像が得られる。

　ところで、サイズが規格化された動画を記録する等の目的で、撮像素子上の画素混合で４分の１の大きさに縮小したのち、ベイヤー配列でのＲＡＷデータのリサイズ処理が行われる場合がある（例えば特許文献２参照）。この特許文献２では、原画像としてのＲＧＢの色配列の周期性を有する複数色の画素からなる原画像からリサイズ画像を生成するに当たり、原画像をＲ,Ｇ,Ｂデータに色分離した後にリサイズ処理するのではなく、原画像から得た輝度データと色差データとの２系統のリサイズ処理を行う方法が開示されている。

特開２００４－１４７０９３号公報 ＷＯ２０１０／０１６１６６ 特開２００４－３１２１４０号公報 特開２００５－１０７２５２号公報

　前提として、画像処理の対象を、色配列の周期性を有する複数色画素の撮像素子から出力される原画像ＲＡＷデータとし、さらに、このＲＡＷデータが４画素混合など偶数画素混合出力のために互いに直交する第１および第２の配列方向で画素データ分布に不均衡が生じているものとする。ここで画素データ分布とは、連続して入力されてくる個々の画素データが原画像におけるどの座標位置のデータを担うかについての分布である。９画素混合など奇数画素混合では画素データ分布に不均衡は生じないが、４画素混合など偶数画素混合では画素データ分布の不均衡が生じる。画素混合後に画素データ分布の不均衡が生じると、混合による高域情報の低域への折り返し成分の連続性が失われ、画質を劣化させる要因となる。

　１行おきに同色信号を加算して読み出す特許文献１の技術は、画素データ分布の不均衡を垂直方向で補正するものであるが、水平方向での補正については何も言及していない。画素データ分布の不均衡の補正の効果は、カメラ信号処理部ｍ６の特性次第で大きく左右される。最初に色分離処理を行い、次いで各種処理を行って注目画素位置の輝度信号、色差信号を生成している。これは一般的な２次元フィルタ処理であり、画素データ分布の不均衡成分も２次元に分散するため、画素ピッチレベルの画素データ分布の不均衡の補正の効果は小さい。また、補正処理部ｍ１０は、画素データ分布が均等になるように色差・輝度信号を補正することについて、偶数または奇数のラインのどちらかには補正処理が行われないため、そのラインには補正による解像度劣化は生じないとしている。しかし、補正処理を行うラインに関しては解像度が劣化するので、ライン毎に解像度が異なるという欠陥をもっている。要するに、特許文献１の技術は、２次元的な処理ではないため、画質劣化の解消が不充分である。

　一方、原画像からライン上の画素単位のフィルタ処理により輝度データと色キャリアデータを抽出してリサイズ処理を行う特許文献２の技術では、４画素混合のＲＡＷデータをリサイズ処理の対象とする場合、画素データ分布の不均衡状態のままリサイズ処理することになる。その結果、画像に偽色が現れたり解像感に違和感が生じたりし、原画像の撮像特徴を充分に生かしたリサイズＲＡＷデータを得ることはむずかしい。

　本発明はこのような事情に鑑みてなされたもので、４画素混合など偶数画素混合出力のために２次元方向で画素データ分布に不均衡が生じている原画像ＲＡＷデータを画像処理するに当たり、画素データ分布の不均衡成分による偽輝度信号・偽色を低減しつつ解像感を確保できるようにすることを目的とする。

　併せて、２次元方向で画素データ分布に不均衡が生じている原画像ＲＡＷデータに対してリサイズ処理を行う際にも、偽輝度信号・偽色を低減しつつ解像感を確保できるようにする。

　本発明は、次のような手段を講じることにより上記の課題を解決する。《１》,《２》,《３》…等の括弧付き数字は、出願時における〔特許請求の範囲〕の請求項番号と呼応する。これらの括弧付き数字は、説明の都合上、以下の記載においては必ずしも通し番号とはならず、順番が飛んだり前後が入れ替わったりする場合がある。

　《１》大前提として、画像処理の対象を、色配列の周期性を有する複数色画素の撮像素子からのデータであって、４画素混合など偶数画素混合出力のために互いに直交する第１および第２の配列方向で画素データ分布に不均衡が生じている原画像ＲＡＷデータとする。その代表例は、４画素混合のＲＡＷデータである。ただし、４画素混合のＲＡＷデータにのみに限定されるものではなく、広く一般的に、偶数画素混合のＲＡＷデータを対象とする。ここで、第１の配列方向と第２の配列方向につき、どちらが水平方向でもどちらが垂直方向でも構わない。すなわち、２次元方向での分布均等化処理に当たり、水平方向での処理の後に垂直方向での処理を行うのでもよいし、あるいは順序を変えて、垂直方向での処理の後に水平方向での処理を行うのでもよい。分布均等化処理については、後述する実施例１での注記（＊１）を参照すると理解が深まる。

　第１の配列方向に沿う状態で入力されてくる２次元不均等分布の一連の配列画素データ（原画像ＲＡＷデータ）について、画素データ分布（連続して入力されてくる個々の画素データが原画像におけるどの座標位置のデータを担うかについての分布）を第１の配列方向で不均等分布の状態から均等分布の状態へ補正する処理を行うことで、第１の複数色配列データを生成する。これが第１の分布均等化処理である。この第１の分布均等化処理は、通常は補間処理によって実現される。第１の分布均等化処理によって、第１の配列方向では画素データ分布が均等分布の状態へ補正される。しかし、第２の配列方向ではまだ不均等分布のままである。

　そこで、第１の分布均等化処理がなされた後のＲＡＷデータ（第１の複数色配列データ：第２の配列方向で不均等分布となった一連の画素データ）の画素データ分布を第２の配列方向で不均等分布の状態から均等分布の状態へ補正する処理を行うことで、第２の複数色配列データを生成する。これが第２の分布均等化処理である。この第２の分布均等化処理も、通常は補間処理によって実現される。第２の分布均等化処理によって、第２の配列方向でも画素データ分布が均等分布の状態へ補正される。

　以上が上記した従来の技術の課題を解決するための本発明の技術的思想である。本発明では、この技術的思想の創作に向けて、第１の分布均等化処理部と第２の分布均等化処理部とを構成する。これについては、図１を参照することができる。

　第１の分布均等化処理部Ａ１には、色配列の周期性を有する複数色画素の撮像素子からの４画素混合など偶数画素混合出力のために互いに直交する第１および第２の配列方向で画素データ分布に不均衡が生じている原画像ＲＡＷデータが入力される。第１の分布均等化処理部Ａ１は、入力された原画像ＲＡＷデータの第１の配列方向の画素データ分布を均等化するものとして構成されている。第１の分布均等化処理部Ａ１は、その構成要素として、第１のフィルタ処理部ａ１と第１の輝度分布均等化処理部ａ２と第１の色配列再現処理部ａ７とを備えている。第１のフィルタ処理部ａ１には、原画像ＲＡＷデータが第１の配列方向（水平方向または垂直方向）のライン単位で入力される。第１のフィルタ処理部ａ１は、入力される原画像ＲＡＷデータを、第１の配列方向に沿った画素単位のフィルタ処理により連続的な第１の輝度データと連続的な第１の色キャリアデータとに分ける機能を有している。原画像ＲＡＷデータをともに連続的な第１の輝度データと第１の色キャリアデータとに分ける機能というのは、原画像をＲ,Ｇ,Ｂデータに色分離することなしに、元の連続データのままで分布均等化処理を施す機能のことを表わしている。ここで、原画像をＲ,Ｇ,Ｂデータに色分離しないのは、色分離した上で分布均等化処理を行うと、解像感を確保しながら偽色発生を低減することがむずかしくなるからである。またともに連続的な第１の輝度データと第１の色キャリアデータとに分けるのは、分布均等化処理に際して一般的に採られる手法である補間処理において、本発明では異色どうし間での補間を行うこととしているからである。同色どうし間での補間であれば、輝度データと色キャリアデータとに分けなくてもよい場合があるが、本発明では隣接する２画素間での補間であるので、異色どうし間での補間となる。さらには、輝度データと色キャリアデータとではフィルタ処理において特性が互いに相違するからである。すなわち、輝度データでは、高周波成分が多く折り返し歪による画質劣化の影響が出やすい。色キャリアデータでは高周波成分が少なく折り返し歪による画質劣化の影響が出にくい。よって、解像感を確保しながら偽色発生を低減するには、連続的な第１の色キャリアデータから独立する状態で連続的な第１の輝度データに対して分布均等化処理を行うのが好ましいのである。

　第１の輝度分布均等化処理部ａ２は、第１の配列方向で連続的となった第１の輝度データの輝度分布を均等化して第２の輝度データを生成する機能を有している。第１の色配列再現処理部ａ７は、第１の輝度分布均等化処理部ａ２が生成した連続的な第２の輝度データに、第１のフィルタ処理部ａ１で分離生成された第１の色キャリアデータ（第１の配列方向で連続的となっている）を再合成することで、第１の複数色色配列データを生成する機能を有している。

　第２の分布均等化処理部Ｂ１には、第１の分布均等化処理部Ａ１から第１の複数色配列データ（第１の配列方向で分布均等化されている）が入力される。第２の分布均等化処理部Ｂ１は、入力された第１の複数色配列データを第２の配列方向（垂直方向または水平方向）で画素データ分布を均等化することで第２の複数色配列データを生成するものとして構成されている。第２の分布均等化処理部Ｂ１は、その構成要素として、第２のフィルタ処理部ｂ１と第２の輝度分布均等化処理部ｂ２と第２の色配列再現処理部ｂ７とを備えている。第２のフィルタ処理部ｂ１には、第１の複数色配列データが第２の配列方向のライン単位で入力される。第２のフィルタ処理部ｂ１は、入力された第１の複数色配列データを、第２の配列方向に沿った画素単位のフィルタ処理によって、連続的な第３の輝度データと連続的な第２の色キャリアデータとに分ける機能を有している。第２の輝度分布均等化処理部ｂ２は、第２のフィルタ処理部ｂ１から出力される第３の輝度データ（第２の配列方向で連続的となっている）の輝度分布を均等化することで、第４の輝度データを生成する機能を有している。第２の色配列再現処理部ｂ７は、第２の輝度分布均等化処理部ｂ２から出力される第４の輝度データに、第２のフィルタ処理部ａ１で分離生成された第２の色キャリアデータ（第２の配列方向で連続的となっている）を再合成することで、第２の複数色色配列データを生成する機能を有している。

　解像感確保と偽色発生抑制の両立がむずかしくなることから本発明の上記構成では、原画像をＲ,Ｇ,Ｂデータに色分離するのではなく、原画像ＲＡＷデータを連続的な第１の輝度データと連続的な第１の色キャリアデータとに分けた上で、第１の色キャリアデータから独立した状態で第１の輝度データの分布均等化処理を行うことで連続的な第２の輝度データを生成する。さらに生成した第２の輝度データに、あらかじめ分けておいた連続的な第１の色キャリアデータを再合成するように構成してある。以上は、第１の配列方向における独立的な輝度データの分布均等化処理と、分布均等化処理後の輝度データと色キャリアデータとの再合成処理の説明である。本発明では、このような処理を第１の配列方向だけではなく、第１の配列方向に直交する第２の配列方向においても順次行う。これらの処理の相乗により、自然な解像感を確保しながらの偽色発生抑制の効果を２次元方向で良好に確保することが可能となる。また、４画素混合など偶数画素混合出力のために２次元方向で画素データ分布に不均衡が生じている原画像ＲＡＷデータを処理対象とするものでありながら、偽輝度信号・偽色を低減しつつ解像感を確保することが可能になる。

　《４》次に、リサイズ処理の機能をも有する形態の画像処理装置について考察する。上記の《１》の構成の場合は、第１の分布均等化処理部Ａ１でも第２の分布均等化処理部Ｂ１でも、輝度分布均等化処理部（ａ２,ｂ２）の次段に色配列再現処理部（ａ７,ｂ７）を置いているが、ここでは、リサイズ処理のために、輝度分布均等化処理部と色配列再現処理部との間に輝度リサイズ処理部（ａ３,ｂ３）を配することとする。輝度リサイズ処理部（ａ３,ｂ３）は、輝度分布均等化処理部による分布均等化処理後の連続的な輝度データ（第２,第４の輝度データ）を、第１あるいは第２の配列方向でリサイズ処理を行うことで第２－１の輝度データ、第５の輝度データを生成する機能を有している。リサイズ処理は、データサイズを変更するもので、縮小リサイズと拡大リサイズとがある。一般的には、画素データの間引きによりデータサイズを減じる縮小リサイズが行われる。

　一方、色キャリアデータについてのリサイズ処理であるが、これは、輝度データに対するリサイズ処理に比べて複雑である。フィルタ処理部から出力される色キャリアデータは、色差の信号形態を有しており、しかも１画素ごとに符号が反転する信号形態となっている。これにより色キャリアデータにおいて、１画素ごとに符号が反転している状態つまり色の並びが１画素ごとに異色交互となっている状態のまま画素データの間引きによるリサイズ処理を行うことは、著しい画質劣化をもたらすことから不可である。そこで、フィルタ処理部から出力される色キャリアデータを符号反転させたうえで、符号反転後の色キャリアデータの色の並びを同色に揃え、そのうえでリサイズ処理を行う。このようにして色の並びが同色に揃ったリサイズ処理後の色差分データには、リサイズ処理後の輝度データとの合成に先立って、再び符号反転処理が施され、これにより色差分データは元の色配列の周期性に復元される。復元後の色キャリアデータは、リサイズ処理後の輝度データと合成される。

　以上は、大要を述べたものである。以下、その詳しい内容を説明する。これについては、図２を参照することができる。大きな構成要素として、第１の分布均等化リサイズ処理部Ａ２と第２の分布均等化リサイズ処理部Ｂ２とを具備する。第１の分布均等化リサイズ処理部Ａ２には、互いに直交する第１および第２の配列方向で画素データ分布に不均衡が生じている原画像ＲＡＷデータが入力される。第１の分布均等化リサイズ処理部Ａ２は、入力される原画像ＲＡＷデータの第１の配列方向の画素データ分布を均等化しかつリサイズ処理することで、第１の複数色色配列データを生成する機能を有している。第２の分布均等化リサイズ処理部Ｂ２は、第１の分布均等化リサイズ処理部Ａ２から出力される第１の配列方向で分布均等化・リサイズ処理された第１の複数色配列データの第２の配列方向の画素データ分布を均等化しかつリサイズすることで、第２の複数色色配列データを生成する機能を有している。

　第１の分布均等化リサイズ処理部Ａ２は、その構成要素として、第１のフィルタ処理部ａ１と第１の輝度分布均等化処理部ａ２と第１の輝度リサイズ処理部ａ３と第１の色反転復調部ａ４と第１の色差分リサイズ処理部ａ５と第１の色キャリア変調部ａ６と第１の色配列再現処理部ａ７とを備えている。第１のフィルタ処理部ａ１は、原画像ＲＡＷデータを第１の配列方向（水平方向または垂直方向）に沿った画素単位のフィルタ処理によって連続的な第１の輝度データと連続的な第１の色キャリアデータとに分ける機能を有している。第１の色キャリアデータは、連続的で符号が交互に反転していて色の並びが１画素ごとに異色交互となったデータ形態となっている。第１の輝度分布均等化処理部ａ２は、第１のフィルタ処理部ａ１によって生成された連続的な第１の輝度データの第１の配列方向の輝度分布を均等化することで、第２の輝度データを生成する機能を有している。第１の輝度リサイズ処理部ａ３は、第１の輝度分布均等化処理部ａ２が出力する連続的な第２の輝度データを、さらに第１の配列方向でリサイズ処理することで、第２－１の輝度データを生成する機能を有している。第１の色反転復調部ａ４は、第１の色キャリアデータを復調して、連続的で色の並びが同色に揃った第１の色差分データを生成する機能を有している。第１の色差分データは、連続的で色の並びが同色に揃ったデータ形態となっている。第１の色差分リサイズ処理部ａ５は、第１の色差分データを第１の配列方向でリサイズ処理を行うことで、第２の色差分データを生成する機能を有している。第２の色差分データは連続的で色の並びが同色に揃ったデータ形態となっている。第１の色キャリア変調部ａ６は、第２の色差分データを再び符号が交互に反転して色配列の周期性が復元された第１－１の色キャリアデータに変調する機能を有している。第１の色配列再現処理部ａ７は、第１の輝度リサイズ処理部ａ３が出力する第２－１の輝度データと、第１の色キャリア変調部ａ６が出力する第１－１の色キャリアデータとを再合成することで、第１の複数色配列データを生成する機能を有している。

　第２の分布均等化リサイズ処理部Ｂ２は、その構成要素として、第２のフィルタ処理部ｂ１と第２の輝度分布均等化処理部ｂ２と第２の輝度リサイズ処理部ｂ３と第２の色反転復調部ｂ４と第２の色差分リサイズ処理部ｂ５と第２の色キャリア変調部ｂ６と第２の色配列再現処理部ｂ７とを備えている。

　第２のフィルタ処理部ｂ１は、第１の分布均等化リサイズ処理部Ａ２が出力する第１の複数色配列データを第２の配列方向（垂直方向または水平方向）に沿った画素単位のフィルタ処理することで、連続的な第３の輝度データと、連続的な第２の色キャリアデータに分ける機能を有している。第２の色キャリアデータは、連続的で符号が交互に反転していて色の並びが１画素ごとに異色交互となったデータ形態となっている。第２の輝度分布均等化処理部ｂ２は、第２のフィルタ処理部ｂ１が出力する第３の輝度データの第２の配列方向の輝度分布を均等化することで、第４の輝度データを生成する機能を有している。第２の輝度リサイズ処理部ｂ３は、第２の輝度分布均等化処理部ｂ２が出力する第４の輝度データを第２の配列方向でリサイズ処理することで、第５の輝度データを生成する機能を有している。第２の色反転復調部ｂ４は、第２のフィルタ処理部ｂ１が出力する第２の色キャリアデータを復調して連続的で色の並びが同色に揃った第３の色差分データを生成する機能を有している。第２の色差分リサイズ処理部ｂ５は、第２の色反転復調部ｂ４が出力する第３の色差分データを第２の配列方向でリサイズ処理することで、第４の色差分データを生成する機能を有している。第２の色キャリア変調部ｂ６は、第２の色差分リサイズ処理部ｂ５が出力する第４の色差分データを再び符号が交互に反転して色配列の周期性が復元された第３の色キャリアデータに変調する機能を有している。第２の色配列再現処理部ｂ７は、第２の輝度リサイズ処理部ｂ３が出力する第５の輝度データと、第２の色キャリア変調部ｂ６が出力する第３の色キャリアデータを再合成して、第２の複数色配列データを生成する機能を有している。

　上記構成による作用は次の通りである。原画像ＲＡＷデータは連続的な輝度データと連続的な色キャリアデータとに分けられる。輝度データは、色キャリアデータから独立した状態で分布均等化処理され、さらにリサイズ処理される。一方、色キャリアデータは、復調されて色差分データに変換されたうえでさらにリサイズ処理される。ただし、色キャリアデータは、まず符号反転され、次いでリサイズ処理され、再び符号反転処理されて元の信号形態に戻される。このような技術的工夫が大きなポイントである。そして、分布均等化・リサイズ処理後の連続的な輝度データとリサイズ処理された連続的な色キャリアデータとが再合成される。このような一連の処理が、第１の配列方向とそれに直交する第２の配列方向との両方向で行われる。以上の結果として、４画素混合など偶数画素混合出力のために２次元方向で画素データ分布に不均衡が生じている原画像ＲＡＷデータに、自然な解像感を確保しながらの偽色発生抑制の効果を２次元方向で良好に確保しながらリサイズ処理することが可能となる。このような２次元的な輝度分布均等化処理とリサイズ処理が実現される結果として、原画像ＲＡＷデータより小さいスモールＲＡＷ記録モードでの撮影やプレビュー表示や、ＨＤムービーなどの動画撮影において、高品質な画像処理が可能となる。

　以上は本発明による画像処理装置について説明した。以下では、関連する画像処理方法について本発明を説明する。

　《１７》上記《１》の構成の画像処理装置に対応する画像処理方法として、次のような複数の工程を含むものがある。それは、
　色配列の周期性を有する複数色画素の撮像素子から、互いに直交する第１、第２の配列方向で偶数画素混合出力に起因する画素データ分布の不均衡が生じている原画像ＲＡＷデータが入力されたうえで、入力された前記原画像ＲＡＷデータの前記第１の配列方向の画素データ分布を均等化することで、第１の複数色配列データを生成する第１の分布均等化処理工程と、
　前記第１の複数色配列データの前記第２の配列方向の画素データ分布を均等化することで、第２の複数色配列データを生成する第２の分布均等化処理工程と、
　を含み、
　前記第１の分布均等化処理工程は、
　前記原画像ＲＡＷデータを、前記第１の配列方向に沿った画素単位のフィルタ処理によって、連続的な第１の輝度データと連続的な第１の色キャリアデータとに分ける第１のフィルタ処理工程と、
　前記第１の輝度データの前記第１の配列方向の輝度分布を均等化することで、第２の輝度データを生成する第１の輝度分布均等化処理工程と、
　前記第２の輝度データに前記第１の色キャリアデータを再合成することで、前記第１の複数色配列データを生成する第１の色配列再現処理工程と、
　を含み、
　前記第２の分布均等化処理工程は、
　前記第１の複数色配列データを、前記第２の配列方向に沿った画素単位のフィルタ処理によって、連続的な第３の輝度データと、連続的な第２の色キャリアデータとに分ける第２のフィルタ処理工程と、
　前記第３の輝度データの前記第２の配列方向の輝度分布を均等化することで、第４の輝度データを生成する第２の輝度分布均等化処理工程と、
　前記第４の輝度データに前記第２の色キャリアデータを再合成することで、前記第２の複数色配列データを生成する第２の色配列再現処理工程と、
　を含む。

　《２０》上記《４》の構成の画像処理装置に対応する画像処理方法として、次のような複数の工程を含むものがある。それは、
　色配列の周期性を有する複数色画素の撮像素子から、互いに直交する第１、第２の配列方向で偶数画素混合出力に起因する画素データ分布に不均衡が生じている原画像ＲＡＷデータが入力されたうえで、入力された前記原画像ＲＡＷデータの前記第１の配列方向の画素データ分布を均等化しかつリサイズすることで、第１の複数色配列データを生成する第１の分布均等化リサイズ処理工程と、
　前記第１の複数色配列データの前記第２の配列方向の画素データ分布を均等化しかつリサイズすることで、第２の複数色配列データを生成する第２の分布均等化リサイズ処理工程と、
　を含み、
　前記第１の分布均等化リサイズ処理工程は、
　前記原画像ＲＡＷデータを、前記第１の配列方向に沿った画素単位のフィルタ処理によって、連続的な第１の輝度データと、符号が交互に反転しかつ色の並びが１画素ごとに異色交互となった連続的な第１の色キャリアデータとに分ける第１のフィルタ処理工程と、
　前記第１の輝度データの前記第１の配列方向の輝度分布を均等化することで、第２の輝度データを生成する第１の輝度分布均等化処理工程と、
　前記第２の輝度データを前記第１の配列方向でリサイズ処理することで、第２－１の輝度データを生成する第１の輝度リサイズ処理工程と、
　前記第１の色キャリアデータを復調することで、連続的で色の並びが同色に揃った第１の色差分データを生成する第１の色反転復調工程と、
　前記第１の色差分データを前記第１の配列方向でリサイズ処理することで、第２の色差分データを生成する第１の色差分リサイズ処理工程と、
　前記第２の色差分データを符号が交互に反転し色配列の周期性が復元された第１－１の色キャリアデータに変調する第１の色キャリア変調工程と、
　前記第２－１の輝度データに、前記第１－１の色キャリアデータを再合成することで、前記第１の複数色配列データを生成する第１の色配列再現処理工程と、
　を含み、
　前記第２の分布均等化リサイズ処理工程は、
　前記第１の複数色配列データを、第２の配列方向に沿った画素単位のフィルタ処理により連続的な第３の輝度データと、符号が交互に反転しかつ色の並びが１画素ごとに異色交互となった連続的な第２の色キャリアデータとに分ける第２のフィルタ処理工程と、
　前記第３の輝度データの前記第２の配列方向の輝度分布を均等化することで、第４の輝度データを生成する第２の輝度分布均等化処理工程と、
　前記第４の輝度データを前記第２の配列方向でリサイズ処理することで、第５の輝度データを生成する第２の輝度リサイズ処理工程と、
　前記第２の色キャリアデータを復調することで連続的で色の並びが同色に揃った第３の色差分データを生成する第２の色反転復調工程と、
　前記第３の色差分データを前記第２の配列方向でリサイズ処理することで、第４の色差分データを生成する第２の色差分リサイズ処理工程と、
　前記第４の色差分データを符号が交互に反転して色配列の周期性が復元された第３の色キャリアデータに変調する第２の色キャリア変調工程と、
　前記第５の輝度データに、前記第３の色キャリアデータを再合成することで、前記第２の複数色配列データを生成する第２の色配列再現処理工程と、
　を含む。

　さらに、上記した画像処理方法にかかわる発明を画像処理用のプログラムや記録媒体において、次のように展開することが可能である。

　《３３》本発明による画像処理用プログラムは、《１７》～《３２》の画像処理方法に対応して作成されたプログラムであって、それぞれの工程に対応した複数のステップを順次、コンピュータで実行させることが可能に構成されたものである。

　《３４》本発明による画像処理用の記録媒体は、上記《３３》のプログラムを記録したコンピュータ読み取り可能な記録媒体である。

　本発明は、４画素混合など偶数画素混合出力のために２次元方向で画素データ分布に不均衡が生じている原画像ＲＡＷデータを処理対象にして、
・原画像ＲＡＷデータを連続的な輝度データと連続的な色キャリアデータとに分ける、
・連続的な色キャリアデータから独立した状態で連続的な輝度データの分布均等化処理を行う、
・分布均等化処理後の連続的な輝度データと、前記連続的な色キャリアデータとを再合成する、
という処理を、第１の配列方向とそれに直交する第２の配列方向との両方向で行うことで、自然な解像感を確保しながらの偽色発生抑制の効果を２次元方向で良好に確保することができる。

　また、４画素混合など偶数画素混合出力のために２次元方向で画素データ分布に不均衡が生じている原画像ＲＡＷデータに対するリサイズ処理でも、自然な解像感を確保しながらの偽色発生抑制の効果を２次元方向で良好に確保しながらのリサイズ処理を実現できる。これにより、原画像ＲＡＷデータより小さいスモールＲＡＷ記録モードでの撮影やプレビュー表示や、ＨＤムービーなどの動画撮影において、高品質な画像処理が可能となる。

図１は本発明の画像処理装置の第１の基本的構成を示すブロック図である。 図２は本発明の画像処理装置の第２の基本的構成を示すブロック図である。 図３Ａは本発明の画像処理装置における第１または第２の輝度分布均等化処理部による輝度データの分布均等化処理の説明図（その１－１）である。 図３Ｂは本発明の画像処理装置における第１または第２の輝度分布均等化処理部による輝度データの分布均等化処理の説明図（その１－２）である。 図３Ｃは本発明の画像処理装置における第１または第２の輝度分布均等化処理部による輝度データの分布均等化処理の説明図（その１－３）である。 図４Ａは本発明の画像処理装置における第１または第２の輝度分布均等化処理部による輝度データの分布均等化処理の説明図（その２－１）である。 図４Ｂは本発明の画像処理装置における第１または第２の輝度分布均等化処理部による輝度データの分布均等化処理の説明図（その２－２）である。 図５は、本発明の実施例１における４画素混合後のＲＡＷデータに対する分布均等化処理手順を示す概略図である。 図６は本発明の実施例１における水平分布均等化処理の構成を示すブロック図である。 図７は本発明の実施例１における偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間する水平分布均等化処理部の構成を示すブロック図（その１）である。 図８は本発明の実施例１における偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間する水平分布均等化処理部の構成を示すブロック図（その２）である。 図９は本発明の実施例１における偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間する水平分布均等化処理部の構成を示すブロック図（その３）である。 図１０は本発明の実施例１における奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間する水平分布均等化処理部の構成を示すブロック図（その１） 図１１は本発明の実施例１における奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間する水平分布均等化処理部の構成を示すブロック図（その２）である。 図１２は本発明の実施例１における奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間する水平分布均等化処理部の構成を示すブロック図（その３）である。 図１３は本発明の実施例１における偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間し、奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間する水平分布均等化処理部の構成を示すブロック図（その１）である。 図１４は本発明の実施例１における偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間し、奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間する水平分布均等化処理部の構成を示すブロック図（その２）である。 図１５は本発明の実施例１における偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間し、奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間する水平分布均等化処理部の構成を示すブロック図（その３）である。 図１６Ａは本発明の実施例１における２ステップのリサイズ処理の中間バッファであるラインメモリの書き込み読み出し動作を示す図（その１）である。 図１６Ｂは本発明の実施例１における２ステップのリサイズ処理の中間バッファであるラインメモリの書き込み読み出し動作を示す図（その２）である。 図１７は本発明の実施例１におけるラインメモリを利用する垂直分布均等化処理の構成を示すブロック図である。 図１８は本発明の実施例１における偶数ラインの画素データの輝度値を座標の下側シフトに擬制して補間し、奇数ラインの画素データの輝度値を座標の上側シフトに擬制して補間する垂直分布均等化処理部の構成を示すブロック図である。 図１９Ａは本発明の実施例１におけるＣＺＰ（サーキュラーゾーンプレート）画像に対して水平・垂直の両方向に分布均等化処理を行った場合の分布均等化処理ＲＡＷデータ結果を示す図（その１の１）である。 図１９Ｂは本発明の実施例１におけるＣＺＰ（サーキュラーゾーンプレート）画像に対して水平・垂直の両方向に分布均等化処理を行った場合の分布均等化処理ＲＡＷデータ結果を示す図（その１の２）である。 図２０Ａは本発明の実施例１におけるＣＺＰ画像に対して水平・垂直の両方向に分布均等化処理を行った場合の分布均等化処理ＲＡＷデータ結果を示す図（その２－１）である。 図２０Ｂは本発明の実施例１におけるＣＺＰ画像に対して水平・垂直の両方向に分布均等化処理を行った場合の分布均等化処理ＲＡＷデータ結果を示す図（その２－２）である。 図２１は本発明の実施例２における４画素混合後のＲＡＷデータに対する分布均等化・リサイズ処理手順を示す概略図である。 図２２は本発明の実施例２における水平分布均等化・リサイズ処理の構成を示すブロック図である。 図２３は本発明の実施例２におけるラインメモリを利用する垂直分布均等化・リサイズ処理の構成を示すブロック図である。 図２４は本発明の実施例２における偶数ラインの画素データの輝度値を座標の下側シフトに擬制して補間する垂直分布均等化処理部の構成を示すブロック図である。 図２５は本発明の実施例２における垂直方向の解像感を保って奇数ラインの画素データの輝度値を座標の上側シフトに擬制して補間する垂直分布均等化処理部の構成を示すブロック図である。 図２６は本発明の実施例２における垂直方向の解像感を保って偶数ラインの画素データの輝度値を座標の下側シフトに擬制して補間する垂直分布均等化処理部の構成を示すブロック図である。 図２７は本発明の画像処理装置を搭載する単板式のデジタルカメラとしての撮像装置の構成を示すブロック図である。 図２８ＡはＲＧＢ原色タイプのベイヤー配列の例を示す概念図である。 図２８ＢはＲＧＢ原色タイプのハニカム配列の例を示す概念図である。 図２９は９画素混合で混合対象のカラー要素が青色の場合の混合の仕方の説明図である。 図３０は９画素混合で混合対象のカラー要素が青色の場合の混合結果の説明図である。 図３１は９画素混合で混合対象のカラー要素が緑色１の場合の混合の仕方の説明図である。 図３２は９画素混合で混合対象のカラー要素が緑色１の場合の混合結果の説明図である。 図３３は９画素混合で混合対象のカラー要素が青色の場合の混合結果とカラー要素が緑色１の場合の混合結果をまとめた図である。 図３４は９画素混合で混合対象のカラー要素が緑色２の場合の混合の仕方の説明図である。 図３５は９画素混合で混合対象のカラー要素が赤色の場合の混合の仕方の説明図である。 図３６は９画素混合で４種類のカラー要素の混合結果をまとめた図である。 図３７は４画素混合で混合対象のカラー要素が青色の場合の混合の仕方の説明図である。 図３８は４画素混合で混合対象のカラー要素が緑色１の場合の混合の仕方の説明図である。 図３９は４画素混合で混合対象のカラー要素が緑色２の場合の混合の仕方の説明図である。 図４０は４画素混合で混合対象のカラー要素が赤色の場合の混合の仕方の説明図である。 図４１は４画素混合で４種類のカラー要素の混合結果をまとめた図である。 図３７～図４１での説明をまとめた図（その１）である。 図３７～図４１での説明をまとめた図（その２）である。 図３７～図４１での説明をまとめた図（その３）である。 図４３Ａは従来技術における画素データ分布補正の説明図（その１）である。 図４３Ｂは従来技術における画素データ分布補正の説明図（その２）である。 図４３Ｃは従来技術における画素データ分布補正の説明図（その３）である。

　上記した《１》の構成（図１参照）の本発明の画像処理装置は、次のような形態においてさらに有利に展開することが可能である。

　《２》上記の〔課題を解決するための手段〕の項で言及した《１》の構成において、第１の複数色配列データを第２の分布均等化処理部Ｂ１へ受け渡すバッファについては、次のような態様がある。すなわち、このバッファを、２次元的に展開される記憶空間をもつフレームメモリで構成する。このフレームメモリは、当該フレームメモリに前記第１の複数色配列データが書き込まれる方向に対して直交する方向で当該フレームメモリから前記第１の複数色配列データが読み出されて前記第２の分布均等化リサイズ処理部に供給されるように構成されている。このように構成した場合、第２の分布均等化処理部Ｂ１として、第１の分布均等化処理部Ａ１と同じ構成のものを用いることが可能になり、構成の簡素化が図られる。

　《３》上記《１》の構成において、前記第１の複数色配列データを第２の分布均等化処理部Ｂ１へ受け渡すバッファをさらに備え、前記バッファを複数ラインからなるラインメモリで構成する。このラインメモリは、前記第１の複数色配列データがライン毎に当該ラインメモリに書き込まれながら、同時に複数ラインの第１の複数色配列データが当該ラインメモリから読み出されて前記第２の分布均等化処理部に受け渡されるように構成されている。このように構成した場合、第２の分布均等化処理部Ｂ１は、第１の分布均等化処理部Ａ１とは異なる構成のものとなる。複数ラインのラインメモリを用いて、複数ライン分の複数色配列データを書き込みながら同時に複数ライン分のデータを読み出すので、処理の高速化が期待される。

　《５》上記の〔課題を解決するための手段〕の項においてリサイズ処理に言及した《４》の構成（図２参照）において、第１の分布均等化リサイズ処理部Ａ２からは第１の配列方向で分布均等化・リサイズ処理された複数色配列データが出力されるが、この複数色配列データを第２の分布均等化リサイズ処理部Ｂ２へ受け渡すバッファをさらに有する次のような態様がある。すなわち、このバッファは、２次元的に展開される記憶空間をもつフレームメモリを備える。このフレームメモリは、当該フレームメモリに前記第１の複数色配列データが書き込まれる方向に対して直交する方向で当該フレームメモリから前記第１の複数色配列データが読み出されて前記第２の分布均等化リサイズ処理部に供給されるように構成されている。このように構成した場合、第２の分布均等化リサイズ処理部Ｂ２として、第１の分布均等化リサイズ処理部Ａ２と同じ構成のものを用いることが可能になり、構成の簡素化が図られる。

　《６》上記のリサイズ処理に言及した《４》の構成において前記第１の複数色配列データを前記第２の分布均等化リサイズ処理部Ｂ２へ受け渡すバッファをさらに備え、前記バッファは複数ラインからなるラインメモリを備える。このラインメモリは、第１の複数色配列データをライン毎に当該ラインメモリに書き込まれながら、同時に複数ラインの第１の複数色配列データが当該ラインメモリから読み出されて第２の分布均等化リサイズ処理部Ｂ２に受け渡されるように構成されている。このように構成した場合、第２の分布均等化リサイズ処理部Ｂ２は、第１の分布均等化リサイズ処理部Ａ２とは異なる構成のものとなる。複数ラインのラインメモリを用いて、複数ライン分の第１の複数色配列データが前記ラインメモリに書き込まれながら同時に複数ライン分の第１の複数色配列データが前記ラインメモリから読み出されるので、処理の高速化が期待される。

　《７》上記のリサイズ処理に関連する《４》～《６》の構成において、前記第１の輝度リサイズ処理部ａ３と前記第２の色差分リサイズ処理部ａ５と前記第２の輝度リサイズ処理部ｂ３と前記第２の色差分リサイズ処理部ｂ５とは、そのリサイズ処理として縮小リサイズ処理を行う機能を有しているという態様がある。この縮小リサイズ処理によって、スモールＲＡＷ記録モードでの撮影やプレビュー表示や、サイズが規格化されたＨＤムービーなどの動画撮影において、画像処理を高品質に進めることが可能となる。

　《８》上記のリサイズ処理に関連する《４》～《６》の構成において、前記第１の輝度リサイズ処理部ａ３と前記第１の色差分リサイズ処理部ａ５と前記第２の輝度リサイズ処理部ｂ３と前記第２の色差分リサイズ処理部ｂ５とは、そのリサイズ処理として拡大リサイズ処理を行う機能を有しているという態様もある。

　《９》上記《１》～《８》の構成において、前記第１、第２の輝度分布均等化処理部ａ２,ｂ２による輝度データの分布均等化処理については、次のような態様がある。図３Ａを用いて説明する。なお、図は水平方向に沿うラインで考えており、これは具体的には第１の輝度分布均等化処理部ａ２に対応する。第２の輝度分布均等化処理部ｂ２の場合には図示の状態を９０度回転させて考えればよい。

　分布均等化処理は、当該の処理対象画素Ｐの第１あるいは第２の配列方向の両隣の２つの画素のうちより遠く離れた方の異色相当の画素を援用画素Ｑとする。当該の処理対象画素Ｐの輝度データＹa と援用画素Ｑの輝度データＹb とで補間処理を行い、この補間処理で得た補間輝度データを当該の処理対象画素Ｐの補間後の輝度データＹa*とする。処理対象画素Ｐの輝度データＹa は、撮像素子での４画素混合など偶数画素混合出力のために原画像ＲＡＷデータにおいて２次元方向で画素データ分布に不均衡が生じている。上記の補間処理は、この処理対象画素Ｐの輝度データＹa を、複数画素混合前の原画像における均等化分布状態に相当する画素の輝度データに近づけ、補間後の輝度データＹa*とするものである。この場合の補間処理のより具体的な態様については、次の《１０》で説明するようなものがある。

　《１０》上記の補間処理に言及した《９》の構成において、前記第１または第２の輝度分布均等化処理部ａ２,ｂ２による輝度データの分布均等化処理については、次のような態様がある。図３Ｂを用いて説明する。

　処理対象画素Ｐをそれの両隣の隣接画素の中央に配すると仮定し、そのときの画素を仮想配置画素Ｐ* とする。また、処理対象画素Ｐの輝度データをＹa とし、前記援用画素Ｑの輝度データをＹb とする。援用画素Ｑとは、処理対象画素Ｐの水平方向または垂直方向の両隣の２つの画素のうちより遠く離れた方の異色相当の画素である。また、援用画素Ｑと仮想配置画素Ｐ* との離間距離をαとし、処理対象画素Ｐと仮想配置画素Ｐ* との離間距離をβとする。補間輝度データＹa*は、処理対象画素Ｐの輝度データＹa と援用画素Ｑの輝度データＹb を、分点公式に従って、前記２つの離間距離α,βで按分して求める。その按分の式は、
Ｙa*＝（α・Ｙa ＋β・Ｙb ）／（α＋β）
となる。離間距離α,βについては、過剰離間側をαとし、過剰接近側をβとする。したがって、α＞βである。上記の式は、仮想配置画素Ｐ* を処理対象画素Ｐの右側に設定する場合でも左側に設定する場合（図３Ｃ）でも共通である。

　例えば、４画素混合の場合、処理対象画素Ｐの両隣の隣接画素同士間の離間距離は４画素分である。なお、「離間距離」は画素中央点間の距離を意味し、これは図３６や図４１で説明した「間隔」とは異なる。仮想配置画素Ｐ* については、処理対象画素Ｐを１画素分だけ援用画素Ｑ側にシフトさせればよい。なぜなら、仮想配置画素Ｐ* と元の両隣の隣接画素との離間距離はそれぞれ２画素分となり、両隣の隣接画素の中央に仮想配置画素Ｐ* が位置することになるからである。ということは、援用画素Ｑと仮想配置画素Ｐ* との離間距離αは２画素分となり、処理対象画素Ｐと仮想配置画素Ｐ* との離間距離βは１画素分となる（α＝２,β＝１）。

　よって、補間輝度データＹa*は、処理対象画素Ｐの輝度データがＹa で、援用画素Ｑの輝度データがＹb のとき、
Ｙa*＝（２・Ｙa ＋１・Ｙb ）／３
となる。

　ここで、注意すべきことは、輝度データＹa を担っている処理対象画素Ｐの色と輝度データＹb を担っている援用画素Ｑの色とは互いに異なっているということである。

　ちなみに、ＲＧＢベイヤー配列でのＢＧ繰り返しのラインの２種類の画素Ｂ,Ｇにつき、Ｂに対しその右側のＧが過剰接近し、Ｇに対しその右側のＢが過剰離間している状態で、処理対象画素ＰのＧを両隣の隣接画素Ｂ,Ｂの中央に仮想配置するとしたときは、処理対象画素のＧの輝度データＹa と、それの右側の過剰離間の援用画素のＢの輝度データＹb とによる上記式Ｙa*＝（２・Ｙa ＋１・Ｙb ）／３の分布均等化処理となる。つまり、輝度データＹa を担う処理対象画素Ｐの色はＧであり、これは輝度データＹb を担う援用画素Ｑの色Ｂとは異なっている。そして、後処理の色配列再現処理で、補間輝度データＹa*を担うこととなる処理対象画素Ｐの色はＧであるということである。

　上記の例は、処理対象画素Ｐを右側にシフトして仮想配置画素Ｐ* とする場合であるが、次に、処理対象画素Ｐを左側にシフトして仮想配置画素Ｐ* とする場合を図３Ｃを用いて説明する。ＲＧＢベイヤー配列でのＢＧ繰り返しのラインの２種類の画素Ｂ,Ｇにつき、上記と同様に、Ｂに対しその右側のＧが過剰接近し、Ｇに対しその右側のＢが過剰離間している状態で、処理対象画素ＰのＢを両隣の隣接画素Ｇ,Ｇの中央に仮想配置するとしたときは、処理対象画素のＢの輝度データＹa と、それの左側の過剰離間のＧの輝度データＹb とによる上記式Ｙa*＝（２・Ｙa ＋１・Ｙb ）／３の分布均等化処理となる。つまり、輝度データＹa を担う処理対象画素Ｐの色はＢであり、これは輝度データＹb を担う援用画素Ｑの色Ｇとは異なっている。そして、後処理の色配列再現処理で、補間輝度データＹa*を担うこととなる処理対象画素Ｐの色はＢであるということである。

　《１１》上記の補間処理に言及した《９》の構成において、前記第１または第２の輝度分布均等化処理部ａ２,ｂ２による輝度データの分布均等化処理については、次のような態様もある。図４Ａ、図４Ｂを用いて説明する。すなわち、処理対象画素Ｐおよび援用画素Ｑはともに互いに離れる方向に移動して均等分布の状態になると仮定する。つまり、過剰離間状態にある隣接２画素では、左側に位置する画素を右側にシフトさせ、右側に位置する画素を左側にシフトさせる形態で、分布均等化処理を行うものとする。ここで、まず、右側シフト量と左側シフト量との間の比を考える。

　図４Ａに示すように、４画素混合の場合、分布均等化処理を行った結果、隣接する画素間の離間距離は２画素分となる。ここで画素Ａ,Ｂ,Ｃ,Ｄを考える。過剰離間状態にある隣接２画素Ｂ,Ｃのうち左側の画素Ｂを右側にｘだけシフトし、右側の画素Ｃを左側に同じｘだけシフトするとする。同じことを画素Ａ,Ｄにも行う。つまり、画素Ａを左側にｘだけシフトし、画素Ｄを右側にｘだけシフトするとする。これで、シフト後の４つの画素Ａ′,Ｂ′,Ｃ′,Ｄ′が分布均等化されたとする。

　次に、シフト量ｘを求める。分布均等化処理前の過剰離間状態にある隣接２画素Ｂ，Ｃの離間距離（３画素）と、分布均等化処理後の隣接２画素Ｂ，Ｃの離間距離（２画素）とシフト量ｘとの間には、次式が成立する。
２画素分＋２・ｘ＝３画素分
したがって、ｘ＝０．５画素分となる。

　いま、画素Ｂに着目する。ＢをＢ′にシフトさせる際のシフト量を、ＢとＣとの按分で算出する。ＢとＢ′との離間距離はｘである。ＣとＢ′との離間距離をｙとして、ｘ＋ｙ＝３画素分であり、ｘ＝０．５画素分であるので、ｙ＝２．５画素分となる。ｘとｙの比は、１：５である。このことから、按分に用いる係数α′,β′は、α′＞β′として、α′：β′＝５：１である。

　図４Ｂにおいて、（α）,（β）で示すように、処理対象画素Ｐを仮想配置画素Ｐ* とした場合に、援用画素Ｑと仮想配置画素Ｐ* との離間距離α′と、処理対象画素Ｐと仮想配置画素Ｐ* との離間距離β′との比が《１０》の場合のα：βとは相違する。しかし按分の公式は、同じ形態であり、
Ｙa*＝（α′・Ｙa ＋β′・Ｙb ）／（α′＋β′）
となる。

　４画素混合の場合、α′：β′＝５：１であるから、
Ｙa*＝（５・Ｙa ＋１・Ｙb ）／６
となる。

　また、（α）,（γ）で示すように、処理対象画素Ｑを仮想配置画素Ｑ* とした場合に、援用画素Ｐと仮想配置画素Ｑ* との離間距離α′と、処理対象画素Ｑと仮想配置画素Ｑ* との離間距離β′との比も上記と同様の、α′：β′＝５：１である。

　（ε）は（β）と（γ）をまとめ、さらに画素Ｐの左隣の画素と画素Ｑの右隣の画素についても同様の処理を行った結果をまとめたものであり、これは図４Ａの下側部分に相当する。

　《１２》上記の補間処理に関連する《９》～《１１》の構成において、輝度分布均等化処理部が処理対象画素Ｐの輝度データに対して行う補間処理によれば、自然な解像感を確保しながらの偽色発生抑制の効果が得られる。しかし、一方で、その補間処理のために、補間処理に用いる画素Ｐ,Ｑの輝度データに関しては周波数特性において高域成分が減少する結果を招く。補間処理せずそのままスルーさせる画素の輝度データには、高域成分の減少はなく、このような補間処理の有無で生じる画質の非対称性が画質劣化の改善を行う上でひとつの障害となる。そこで、上記の構成において、前記第１、第２の輝度分布均等化処理部ａ２,ｂ２について、次のように構成することが好ましい。すなわち、処理対象画素Ｐの輝度データに対する補間処理を行う際に、その補間処理に先立って補間処理に用いる画素Ｐ,Ｑの輝度データの高域強調処理を行い、その後に補間処理を行うように、第１、第２の輝度分布均等化処理部ａ２,ｂ２を構成する。このように構成した場合、補間処理に用いる画素Ｐ,Ｑの輝度データについてあらかじめ高域成分をゲインアップして強調しておくので、その後の補間処理で高域成分が減少したとしても、結果的にはトータルとして高域成分の減衰が解消されることとなる。その結果、補間処理に起因する高域成分の減少が生じるにもかかわらず、良好な画質改善効果が得られる。

　《１３》上記の補間処理に関連する《９》～《１１》の構成において、処理対象画素Ｐの輝度データの補間処理を行った後に、補間処理実行後の輝度データの高域強調処理を行うように第１、第２の輝度分布均等化処理部ａ２,ｂ２を構成する。このように構成した場合、補間処理が行われた処理対象画素Ｐの輝度データの高域成分が減少したとしても、その後に高域成分をゲインアップして強調するので、結果的にはトータルとして高域成分の減衰が解消されることとなる。その結果、補間処理による良好な画質改善の効果が得られる。

　《１４》当該の画像処理装置が取り扱いの対象とする画像データは、第１および第２の配列方向で画素データ分布に不均衡が生じている原画像ＲＡＷデータである。その典型例として、上記《１》～《１３》の構成において、前記原画像ＲＡＷデータは、ＲＧＢベイヤー配列の周期性を有し、水平方向に沿ったＢＧ繰り返しのラインデータとＧＲ繰り返しラインデータとが垂直方向で交互に出力されるＲＡＷデータを対象とするという態様がある。もっとも、これのみに限定されるものではなく、広く後述のような態様も含み得るものとする。また、ＲＢ繰り返しラインデータと連続的なＧ信号のラインデータとが垂直方向で交互に出力されるハニカム配列のＲＡＷデータを対象としても構わない。

　《１５》上記《１》～《１３》の構成において、前記原画像ＲＡＷデータを、補色フィルタにより周期性をもって色配列された複数色の画素を有する単板カラー撮像素子を用いて取得されるＲＡＷデータとしてもよい。ＲＧＢベイヤー配列は原色方式であるが、これ以外に、黄（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、緑（Ｇ）の補色方式の色フィルタアレイを用いることも可能である。

　《１６》上記《１》～《１３》の構成において、前記原画像ＲＡＷデータを、補色フィルタによりライン上の画素単位で周期性をもって色配列された複数色の画素と、他のラインにて周期性を持たない単一色の画素とを有する単板カラー撮像素子を用いて取得されるＲＡＷデータとしてもよい。例えば、原色と補色との任意の組み合わせや白（Ｗ）を用いたりすることも可能である。

　《１８》上記の〔課題を解決するための手段〕の項において画像処理方法に言及した《１７》の構成において、前記第１の複数色配列データを前記第２の分布均等化処理工程へ受け渡すバッファとして、２次元的に展開される記憶空間をもつフレームメモリを用い、前記フレームメモリに前記第１の複数色配列データを書き込む方向に対して直交する方向で、前記フレームメモリから前記第１の複数色配列データを読み出して前記第２の分布均等化リサイズ処理工程に受け渡す、という態様がある。

　《１９》上記《１７》の構成において、前記第１の複数色配列データを前記第２の分布均等化処理工程へ受け渡すバッファとして、複数ラインからなるラインメモリを用い、第１の分布均等化処理工程からの前記第１の複数色配列データをライン毎に前記ラインバッファに書き込みながら、同時に複数ラインの前記第１の複数色配列データを前記ラインバッファから読み出して第２の分布均等化処理工程に供給する、という態様がある。

　《２１》上記の〔課題を解決するための手段〕の項においてリサイズ処理に関連する画像処理方法に言及した《２０》の構成において、前記の第１の分布均等化リサイズ処理工程によって出力される第１の配列方向で分布均等化・リサイズ処理された前記第１の複数色配列データを前記第２の分布均等化リサイズ処理工程へ受け渡すバッファとして、２次元的に展開される記憶空間を有するフレームメモリを用い、前記フレームメモリに前記第１の複数色配列データを書き込む方向に対して直交する方向で、前記フレームメモリから前記第１の複数色配列データを読み出して前記第２の分布均等化リサイズ処理工程に受け渡す、という態様がある。

　《２２》上記《２０》の構成において、前記第１の複数色配列データを前記第２の分布均等化リサイズ処理工程へ受け渡すバッファとして、複数ラインからなるラインメモリを用い、前記第１の複数色配列データをライン毎に前記ラインバッファに書き込みながら、同時に複数ラインの第１の複数色配列データを前記ラインバッファから読み出して第２の分布均等化リサイズ処理工程に受け渡す、という態様がある。

　《２３》上記のリサイズ処理関連の画像処理方法に関連する《２０》～《２２》の構成において、前記の第１の輝度リサイズ処理工程および第１の色差分リサイズ処理工程ならびに前記の第２の輝度リサイズ処理工程および第２の色差分リサイズ処理工程は、そのリサイズ処理として縮小リサイズ処理を行うという態様がある。

　《２４》上記のリサイズ処理関連の画像処理方法に関連する《２０》～《２２》の構成において、前記第１の輝度リサイズ処理工程と前記第１の色差分リサイズ処理工程と前記第２の輝度リサイズ処理工程と前記第２の色差分リサイズ処理工程とは、そのリサイズ処理として拡大リサイズ処理を行うという態様もある。

　《２５》上記の画像処理方法に関連する《１７》～《２４》の構成において、前記第１、第２の輝度分布均等化処理工程による輝度データの分布均等化処理は、処理対象画素Ｐの輝度データを、複数画素混合前の原画像に設定する任意画素の輝度データに補間処理によって近づける処理であり、かつ前記処理対象画素Ｐの両隣の隣接画素のうちで前記処理対象画素からより遠く離れた方の隣接画素を構成する異色相当画素を援用画素Ｑとして設定したうえで、前記処理対象画素Ｐの輝度データと援用画素Ｑの輝度データとの補間処理で得た補間輝度データを前記処理対象画素Ｐの輝度データとする処理である、という態様がある。

　《２６》上記の補間処理に言及した画像処理方法に関連する《２５》の構成において、前記第１、第２の輝度分布均等化処理工程による輝度データ分布均等化処理は、前記隣接画素の中央に位置すると仮定した仮想配置画素Ｐ* と前記援用画素Ｑとの間の離間距離と、前記処理対象画素Ｐと前記仮想配置画素Ｐ* との間の離間距離とを分点公式に代入することで前記処理対象画素Ｐの輝度データと前記援用画素Ｑの輝度データとを按分し、得られた按分結果から前記補間輝度データを得る処理である、という態様がある。

　《２７》上記の補間処理に言及した画像処理方法に関連する《２５》の構成において、前記第１、第２の輝度分布均等化処理工程による輝度データの分布均等化処理は、処理対象画素Ｐと援用画素Ｑとは互いに離れる方向に移動して均等分布の状態になると仮定した状態での前記処理対象画素Ｐを仮想配置画素Ｐ* としたうえで、前記援用画素Ｑと前記仮想配置画素Ｐ* との間の離間距離と、前記処理対象画素Ｐと前記仮想配置画素Ｐ* との間の離間距離とを、分点公式に代入することで、前記処理対象画素Ｐの輝度データと前記援用画素Ｑの輝度データとを按分し、得られた按分結果に基づいて前記補間輝度データを得る処理である、という態様もある。

　《２８》上記の補間処理に言及した画像処理方法に関連する《２５》～《２７》の構成において、前記の第１、第２の輝度分布均等化処理工程は、処理対象画素Ｐの輝度データの補間処理を行う前に、前記処理対象画素の輝度データの高域強調処理を行う、という態様がある。

　《２９》上記の補間処理に言及した画像処理方法に関連する《２５》～　《２７》の構成において、前記の第１および第２の輝度分布均等化処理工程は、処理対象画素Ｐの輝度データの補間処理を行った後に、前記処理対象画素の輝度データの高域強調処理を行う、という態様もある。

　《３０》上記の画像処理方法に関連する《１７》～《２９》の構成において、前記原画像ＲＡＷデータは、ＲＧＢベイヤー配列の周期性を有し、水平方向に沿ったＢＧ繰り返しのラインデータとＧＲ繰り返しラインデータとが垂直方向で交互に出力されるＲＡＷデータである、という態様がある。

　《３１》上記の画像処理方法に関連する《１７》～《２９》の構成において、前記原画像ＲＡＷデータは、補色フィルタにより周期性をもって色配列された複数色の画素を有する単板カラー撮像素子を用いて取得されるＲＡＷデータである、という態様もある。

　《３２》上記の画像処理方法に関連する上記《１７》～《２９》の構成において、前記原画像ＲＡＷデータは、補色フィルタによりライン上の画素単位で周期性をもって色配列された複数色の画素と、他のラインにて周期性を持たない単一色の画素とを有する単板カラー撮像素子を用いて取得されるＲＡＷデータである、という態様もある。

　以下、本発明の画像処理装置および画像処理方法の実施例について図面を参照しながら説明する。

　（予備的説明）
　本発明の画像処理装置を搭載する装置として、図２７に単板式のデジタルカメラとしての撮像装置Ａを例示する。撮像部６において、光学レンズ１を通過した光は、光学ＬＰＦ（ローパスフィルタ）２とカラーフィルタ３とを通過して撮像素子４に入射する。ＣＣＤ型またはＣＭＯＳ型の撮像素子４の受光面には多数のフォトダイオードが２次元的に配列されている。光学ＬＰＦ２は、撮像素子４の画素ピッチに依存するサンプリング周波数以上の高周波成分を除去する。カラーフィルタ３は、撮像素子４の各画素に対応する位置にＲ,Ｇ,Ｂのいずれかの色が存在するような色配列を有し、フォトダイオードに入射する光の色選択を行う。図２８ＡはＲＧＢ原色タイプのカラーフィルタ配列例であるベイヤー配列を示し、カラー要素が水平方向および垂直方向にそれぞれ一定ピッチで正方行列的に配列されている。図２８Ｂのハニカム配列でもよい。撮像素子４の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換され、ドライブパルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。撮像素子４は、シャッタゲートパルスのタイミングによって各フォトダイオードの電荷蓄積時間（シャッタスピード）を制御する電子シャッタ機能を有している。撮像素子４の動作（露光、読み出し等）は、ＣＰＵ１７により制御される。１８はプログラムおよび制御に必要な各種データ等が格納されているＲＯＭ（リードオンリーメモリ）、１９はＣＰＵ１７の作業用領域として利用されるＲＡＭ（ランダムアクセスメモリ）である。撮像素子４から出力された画像信号はＡＦＥ（アナログフロントエンド）部５に送られ、アナログゲイン調整、ＣＤＳ（相関二重サンプリング）等の処理後、Ａ／Ｄ変換処理によりデジタルの画像データに変換される。

　ＪＰＥＧ形式で記録するモードの場合、撮像素子４から出力された原画像のデータは前処理部７を経て画像信号処理部１０に送られる。前処理部７と画像信号処理部１０は、ＣＰＵ１７からのコマンドに従ってメモリ制御部８を介し、また画像メモリ９を利用しながら、各画素についてＲ／Ｇ／Ｂの情報を得る同時化処理、ホワイトバランス調整、ガンマ補正、輝度・色差信号生成、輪郭強調、電子ズーム機能による変倍（拡大／縮小）処理等が行われる。信号処理を経た画像データは、圧縮伸張部１３に送られ、ＪＰＥＧ形式の圧縮フォーマットに従って圧縮され、記録メディアＩ／Ｆ（インターフェース）部１４を介して記録メディア１５に記録される。

　一方、撮像素子４の出力有効画素数を減らした原画像ＲＡＷデータを出力する場合は、撮像素子４上にベイヤー配列で配置された１画素おきの同色の受光素子から得られる信号の注目画素近傍に位置する同色の画素信号の混合を行った後に出力する（９画素混合、４画素混合）。その原画像ＲＡＷデータは、図示のようなＢＧ繰り返しのラインデータ、ＧＲ繰り返しのラインデータが交互に繰り返される連続したラインデータのかたちで前処理部７に入力される。

　ＲＡＷデータを記録するモードの場合、画像データは同時化その他の信号処理を経ることなく、メモリ制御部８、記録メディアＩ／Ｆ部１４を介して記録メディア１５に記録される。ＲＡＷデータは同時化等の信号処理が行われておらず、画素毎に異なる色情報を１つだけ保持しているモザイク状の画像である。圧縮処理も行われていないので、大きなファイルサイズを有する。ＲＡＷデータに可逆的な圧縮を行うモードもある。

　上記のように構成された撮像装置Ａにおける画像処理装置およびその画像処理方法の実施例１について説明する。この画像処理装置は、その全部または主要部が図２７中の前処理部７に構成されている。なお、専用の画像処理装置として構成する場合もある。それは、ＲＡＷデータのまま記録メディア１５に記録された場合に、記録メディア１５からＲＡＷデータを取り込んで処理するものである。

　図５の（ａ）は、撮像部６におけるＡＦＥ部５から出力されてくる４画素混合後のＲＡＷデータに対し前処理部７において分布均等化処理を行う手順の概略を示す図である。前述のように、４画素混合後のＲＡＷデータはＢＧ繰り返しのラインデータ、ＧＲ繰り返しのラインデータが交互に繰り返される連続したラインデータのかたちで前処理部７に入力されてくる。

　図５の（ａ）に示すように、単板式の原画像データ（１面）である４画素混合後のＲＡＷデータＤ１１に、水平分布均等化処理Ｈ１と垂直分布均等化処理Ｖ１との２ステップの処理を施すことにより２次元方向での分布均等化処理を行う。水平分布均等化処理Ｈ１によって４画素混合後のＲＡＷデータＤ１１を水平方向で分布均等化されたＲＡＷデータＤ１２（第１の複数色配列データ）とし、さらに垂直分布均等化処理Ｖ１によって垂直方向で分布均等化された最終のＲＡＷデータＤ１３（第２の複数色配列データ）とする。

　分布均等化処理というのは、連続して入力されてくる個々の混合後の画素データそれぞれは原画像ＲＡＷデータにおけるどの座標位置のデータを担うかを示す画素データ分布を、水平方向または垂直方向で均等になるように修正することである。いうまでもないことであるが、誤解を招かないために注記すると、分布均等化処理は画素の位置（２次元空間における座標位置）を変更（シフト）することではない。あくまで画素データのデータ補間にかかわることであり、そのデータ補間を行う上での演算で座標位置を利用するだけに過ぎない。処理対象画素の画素値（輝度および色度）が座標空間的な分布に擬して比較した場合に不均等分布となっているので、これを是正するために、隣接する画素の画素値を用いて、処理対象画素の画素値を補正し、もって、補正後の画素値が座標空間的な分布に擬して比較した場合に均等分布となるようにすることである（＊１）。

　２ステップからなる水平分布均等化処理Ｈ１と垂直分布均等化処理Ｖ１の実施の形態として次に述べる２つの形態がある。図５の（ｂ）と（ｃ）とはそれぞれの概略を示す。

　図５の（ｂ）に示す形態においては、２ステップの分布均等化処理Ｈ１１,Ｖ１１のバッファとしてフレームメモリＦＭ１を用いる。水平分布均等化処理Ｈ１１の後のＲＡＷデータＤ１２（第１の複数色配列データ）をすべて一旦フレームメモリＦＭ１に書き込む。次いで、フレームメモリＦＭ１からＲＡＷデータＤ１２を読み出す際に、書き込み時とは直交する方向の垂直方向に読み出して垂直分布均等化処理Ｖ１１を行い、分布均等化された最終のＲＡＷデータＤ１３（第２の複数色配列データ）を得る。この方式の場合、垂直分布均等化処理Ｖ１１は水平分布均等化処理Ｈ１１と同一の処理となる。

　図５の（ｃ）に示す形態においては、２ステップの分布均等化処理Ｈ１２,Ｖ１２をパイプライン処理（並列処理）とするために、バッファとして複数ラインからなるラインメモリＬＭ１を用いる。水平分布均等化処理Ｈ１２を実施しながら、その出力をラインメモリＬＭ１に書き込む。同時にＲＡＷデータＤ１２のうちまとまった複数ライン分のＲＡＷデータをラインメモリＬＭ１から読み出し、複数ライン上の水平方向の同一位置のデータに対して垂直方向に垂直分布均等化処理Ｖ１２を行い、分布均等化された最終のＲＡＷデータＤ１３を得る。このとき、垂直分布均等化処理Ｖ１２は水平分布均等化処理Ｈ１２とは別の処理となる。図５の（ｂ）、図５の（ｃ）の画像処理装置は、図２７の撮像装置Ａにおける前処理部７に内蔵されている。

　次に、図６を用いて水平分布均等化処理Ｈ１の詳細を説明する。水平分布均等化処理Ｈ１は、ライン上の画素単位の処理を行う１次元のパイプライン処理であって４画素混合後のＲＡＷデータのＢＧまたはＧＲの繰り返しのラインデータｄ１からライン輝度データｄ２を抽出する色キャリア除去フィルタ処理部１１と、ラインデータｄ１からＢＧでライン繰り返しされたあるいはＧＲでライン繰り返されたライン色キャリアデータｄ４を抽出する色キャリア抽出フィルタ処理部１２と、ライン輝度データｄ２に水平方向の分布均等化処理を行うことでライン輝度データｄ３を生成する水平分布均等化処理部２０と、分布均等化されたライン輝度データｄ３とあらかじめ分けられていたライン色キャリアデータｄ４とを再合成して水平方向で分布均等化されたラインデータｄ５を生成する色配列再現処理部３０を含む。

　色キャリア除去フィルタ処理部１１と色キャリア抽出フィルタ処理部１２とは、図１の第１のフィルタ処理部ａ１に相当し、水平分布均等化処理部は、図１の第１の輝度分布均等化処理部ａ２に相当し、色配列再現処理部３０は、図１の第１の色配列再現処理部ａ７に相当する。また、ラインデータｄ１は第１の複数色配列データに相当し、ライン輝度データｄ２は第１の輝度データに相当し、ライン色キャリアデータｄ４は第１の色キャリアデータに相当し、ライン輝度データｄ３は第２の輝度データに相当し、ラインデータｄ５は、ＲＡＷデータ１２、すなわち、第１の複数色配列データに相当する。なお、図６では４画素混合後のＲＡＷデータのＢＧ繰り返しのラインデータについて図示しているが、ＧＲ繰り返しラインデータに関しても同様の処理となる。

　図６に示した水平分布均等化処理機能を用いて４画素混合されたベイヤー配列の画像を処理する場合を説明する。この処理プロセスは、高画素な撮像素子４を用いて動画撮影をするために用いられる。図６に示すように、入力画像となる４画素混合後の原画像ＲＡＷデータは、ベイヤー配列の画素配置を反映したモザイク状の画像データであり、通常、撮像素子４からライン単位で読み出される。このライン単位の入力データは、ＢとＧの情報が画素毎に繰り返されるＢＧのラインデータｄ１と、図示しないＧとＲの情報が画素毎に繰り返されるＧＲのラインデータｄ１との２種類となる。これら２種類のラインデータｄ１は２画素周期で変化するナイキスト周波数近傍の色キャリアを除去する色キャリア除去フィルタ処理部１１での処理を経ることで、ＢＧ繰り返しのラインに関してはＢとＧの平均値｛δ（Ｂ＋Ｇ）｝となるライン輝度データｄ２が生成され、図示しないＧＲ繰り返しラインに関してはＧとＲの平均値｛δ（Ｇ＋Ｒ）｝となるライン輝度データｄ２が生成される（δ＝１／２）。

　また、ＢＧまたはＧＲの２種類のラインデータｄ１は２画素周期で変化するナイキスト周波数近傍の色キャリアを抽出する色キャリア抽出フィルタ処理部１２を経て、ＢＧ繰り返しのラインに関してはナイキスト周波数で変調されたＢＧのライン色キャリアデータｄ４が出力され、図示しないＧＲ繰り返しラインに関してはナイキスト周波数で変調されたＧＲのライン色キャリアデータｄ４が出力される。

　ＢＧまたはＧＲの２種類のライン輝度データｄ２は、水平分布均等化処理部２０で画素データ分布補正が行われ、ＢＧまたはＧＲの分布均等化されたライン輝度データｄ３として出力される。

　次に、水平分布均等化処理部２０の詳細を説明する。図７は混合後の画素データ群のうち水平方向で偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間する態様の水平分布均等化処理部２０の構成を示す。

　水平分布均等化処理部２０に入力されてくるライン輝度データｄ２は、前述のＢＧ繰り返しのラインデータ、ＧＲ繰り返しのラインデータが交互に繰り返される連続したラインデータのかたちとなっている。このライン輝度データｄ２は、４画素混合出力のために画素データ分布が不均衡になっている。２画素過剰接近、２画素過剰離間の図示の様子はそのことを表している。ただし、個々の画素データは、タイミング的には同一時間間隔の状態で入力されてくるものであり、この点には留意する必要がある。

　ライン輝度データｄ２は、１画素遅延器２１に入力される。１画素遅延器２１を設けてあるのは、図３で説明したところの時間的に１クロック分の差がある２つの画素データ、すなわち処理対象画素Ｐと援用画素Ｑの両データを用いて処理対象画素Ｐの輝度値を補間処理するためには、これら両画素データのタイミングを合わせる必要があるからである。１画素遅延器２１の出力に乗算器２２で係数αを乗算し、１画素遅延器２１の入力に乗算器２３で係数βを乗算して加算器２４に入力し、さらに除算器２５によって加算結果を（α＋β）で除算する。出力の画素スイッチ部２６で１画素遅延器２１の出力と除算器２５による（α＋β）の除算の出力とを１画素おきに交互に選択する。

　まず、偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間する分布均等化の動作を説明する。入力されてくるライン輝度データｄ２の奇数番目の画素データが１画素遅延器２１に入力されるとき（すなわち、ライン輝度データｄ２の奇数番目の画素データが１画素遅延器２１で遅延処理されて出力されるとき）は、画素スイッチ部２６は前記の奇数番目の画素データを選択してスルー出力する。これは、図３Ｂにおいて、処理対象画素Ｐ（偶数番目）の左隣の画素Ｐ^- （奇数番目）の輝度値が不変で真下に配置されていることに対応する。

　これに対して、入力されてくるライン輝度データｄ２の偶数番目の画素データが１画素遅延器２１に入力されるときは、１画素遅延器２１から出力される遅延後の偶数番目の画素データに乗算器２２で係数αが乗算される一方、奇数番目の画素データは遅延処理されることなく乗算器２３で係数βが乗算される。そして、これら２つの画素データは加算器２４で加算され、さらにその加算結果は除算器２５で（α＋β）で除算され、その除算結果（線形補間処理による輝度値の分布均等化出力）が画素スイッチ部２６で選択されて出力される。これは、図３Ｂにおいて、処理対象画素Ｐ（偶数番目）が、自己の輝度値Ｙa と援用画素Ｑの輝度値Ｙb とにより輝度値Ｙa*に補間処理されたことに対応する。ちなみに、処理対象画素Ｐと援用画素Ｑとはタイミング的に１画素分の差がある。援用画素Ｑが処理対象画素Ｐより１画素分遅い。そこで、１画素遅延器２１で画素データを１画素分遅延する（処理対象画素Ｐを保持する）ことにより、援用画素Ｑが入力されてくるのを待って、処理対象画素Ｐの補間処理を行うようにしている訳である。処理対象画素Ｐの輝度値Ｙa に係数α（＝２）を乗算し、援用画素Ｑの輝度値Ｙb に係数β（＝１）を乗算し、次いで加算処理と除算処理とを行うことで補間後の輝度値Ｙa*を得ている。なお、図３は原画像ＲＡＷデータにおける空間的な分布の様子を表すもので、これは画素データの時間的な分布を表すものではない。空間的には処理対象画素Ｐと援用画素Ｑとは３画素分離間しているが、時間的には他のすべての画素群と同様に１画素分ずつ離れているのである。本処理により、混合後の画素データ群のうち水平方向で偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間することができる。

　乗算器２２の係数αと乗算器２３の係数βは、４画素混合による画素データ分布の不均衡を隣接する２画素の線形補間で補正処理することから、理論的にはα：β＝２：１となる。ただし、除算器２５による除算処理を簡単化するために、近似値として例えばα：β＝１０：６またはα：β＝１１：５のように、（α＋β）を２のべき乗（２ⁿ ）の１６とすることにより、処理を簡略化することができる。

　図８は高域強調により水平方向の解像感を保ちつつ、偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間する態様の水平分布均等化処理部２０の構成を示す。

　画素データ分布が不均衡なライン輝度データｄ２は、１画素遅延器２１ａと高域強調処理部２７とに入力される。１画素遅延器２１ａはライン輝度データｄ２を１画素分遅延処理し遅延結果を出力の画素スイッチ部２６に入力する。高域強調処理部２７は、ライン輝度データｄ２の高域のゲインを持ち上げたうえで処理後のライン輝度データｄ２を１画素遅延器２１と乗算器２３とに入力する。１画素遅延器２１は、高域強調処理部２７の出力を１画素分遅延処理し遅延結果を乗算器２２に入力する。乗算器２２は、１画素遅延器２１の出力に係数αを乗算し乗算結果を加算器２４に入力する。乗算器２３は高域強調処理部２７の出力（１画素遅延器２１の入力）に係数βを乗算し乗算結果を加算器２４に入力する。加算器２４は乗算器２２の出力と乗算器２３の出力とを加算し加算結果を除算器２５に入力する。除算器２５は加算器２４の出力を（α＋β）で除算し除算結果を出力の画素スイッチ部２６に入力する。出力の画素スイッチ部２６は１画素遅延器２１ａの出力と除算器２５の出力とを１画素おきに交互に選択する。

　この構成では、高域強調を行う対象は、係数α,βを用いての補間処理に関係する画素データのみとし、補間処理対象でない画素データは画素スイッチ部２６をスルーさせるだけで高域強調は行わない。このように入力側に高域強調処理部２７を配する本態様では、スルーのラインを１画素遅延器２１の出力側ではなく、高域強調処理部２７の入力側から分岐する。さらに、高域強調処理部２７を挿入した分の遅延に合わせて、スルーのラインに１画素遅延器２１ａを挿入している。

　次に偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間する分布均等化の動作を説明する。入力されてくるライン輝度データｄ２の奇数番目の画素データが１画素遅延器２１ａの出力となるときには、画素スイッチ部２６は奇数番目の画素データを選択してスルー出力する。一方、入力されてくるライン輝度データｄ２の偶数番目の画素データが１画素遅延器２１ａの出力となるときは、１画素遅延器２１から出力される偶数番目の画素データに乗算器２２で係数αが乗算され、高域強調処理部２７で処理されて１画素遅延器２１に入力されてくる奇数番目の画素データに乗算器２３で係数βが乗算される。そして、これら２つの画素データが加算器２４で加算され、加算器２４の加算結果が除算器２５で（α＋β）で除算され、除算器２５の除算結果（線形補間処理による輝度値の分布均等化出力）が画素スイッチ部２６に入力される。画素スイッチ部２６は、１画素遅延器２１ａの出力と、除算器２５の除算結果とを選択して出力する。

　本処理により、補間処理に先立って、補間処理に用いる画素Ｐ,Ｑの輝度データについてあらかじめ高域成分をゲインアップして強調しておくので、その後の補間処理で高域成分が減少したとしても、結果的にはトータルとして高域成分の減衰が解消されることになる。したがって、水平方向の解像感を損なうことなく、混合後の画素データ群のうち水平方向で偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間することができ、補間処理に起因する高域成分減少の問題にもかかわらず、画質改善の効果を向上させることができる。

　上記において、乗算器２２の係数αと乗算器２３の係数βは、４画素混合による画素データ分布の不均衡を隣接する２画素の線形補間で補正処理することから、理論的にはα：β＝２：１となる。ただし、除算器２５による除算処理を簡単化するために、近似値としてα：β＝１０：６またはα：β＝１１：５のように、（α＋β）を２のべき乗（２ⁿ ）の１６とすることにより、処理を簡略化することができる。

　図９も高域強調により水平方向の解像感を保ちつつ、偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間する態様の水平分布均等化処理部２０の構成を示す。図８との違いは、１画素おきに補間処理された連続的な分布均等化処理後の画素データに対して、画素スイッチ部２６の後段の高域強調処理部２８で補間画素データに対してのみ高域強調することである。

　図１０は混合後の画素データ群のうち水平方向で奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間する態様の水平分布均等化処理部２０の構成を示す。画素データ分布が不均衡なライン輝度データｄ２は、１画素遅延器３１と乗算器３２と画素スイッチ部３６とに入力される。乗算器３２は、１画素遅延器３１の入力に係数αを乗算する。１画素遅延器３１は、ライン輝度データｄ２を１画素分遅延する。１画素遅延器３１の出力は乗算器３３に入力される。乗算器３３は１画素遅延器３１の出力に係数βを乗算する。乗算器３３の出力と乗算器３４の出力とは加算器３４に入力される。加算器３４は乗算器３３の出力と乗算器３４の出力とを加算し、加算結果を除算器３５に入力する。除算器３５は乗算器３４の加算結果を（α＋β）で除算し、除算結果を画素スイッチ部３６に入力する。画素スイッチ部３６は、１画素遅延器３１の入力と除算器３５の除算結果とを１画素おきに交互に選択して出力する。

　奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間する分布均等化の動作を説明する。入力されてくるライン輝度データｄ２の偶数番目の画素データが１画素遅延器３１の入力となるときに、画素スイッチ部３６は前記偶数番目の画素データを選択してスルー出力する。これは、図３Ｃにおいて、処理対象画素Ｐ（奇数番目）の左側の画素Ｑ（偶数番目）の輝度値が不変で真下に配置されていることに対応する。

　一方、入力されてくるライン輝度データｄ２の奇数番目の画素データが１画素遅延器３１の入力となるときは、１画素遅延器３１に入力される奇数番目の画素データに乗算器３２で係数αが乗算され、１画素遅延器３１から出力される偶数番目の画素データに乗算器３３で係数βが乗算される。そして、これら２つの画素データが加算器３４で加算され、加算結果が除算器３５で（α＋β）で除算され、その除算結果（線形補間処理による輝度値の分布均等化出力）が画素スイッチ部３６で選択されて出力される。これは、図３Ｃにおいて、処理対象画素Ｐ（奇数番目）が、自己の輝度値Ｙa と援用画素Ｑの輝度値Ｙb とにより輝度値Ｙa*に補間処理されたことに対応する。ちなみに、援用画素Ｑと処理対象画素Ｐとはタイミング的に１画素分の差がある。処理対象画素Ｐが援用画素Ｑより１画素分遅い。そこで、１画素遅延器３１により援用画素Ｑを保持することにより、処理対象画素Ｐの入力を待って、処理対象画素Ｐの補間処理を行うようにしている訳である。処理対象画素Ｐの輝度値Ｙa に係数α（＝２）を乗算し、援用画素Ｑの輝度値Ｙb に係数β（＝１）を乗算し、次いで乗算結果を加算処理で除算処理して補間後の輝度値Ｙa*を得ている。本処理により、混合後の画素データ群のうち水平方向の奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間することができる。

　乗算器３２の係数αと乗算器３３の係数βとは、４画素混合による画素データ分布の不均衡を隣接する２画素の線形補間で補正処理することから、理論的にはα：β＝２：１となる。ただし、除算器３５による除算処理を簡単化するために、近似値として例えばα：β＝１０：６またはα：β＝１１：５のように、（α＋β）を２のべき乗（２ⁿ ）の１６とすることにより、処理を簡略化することができる。なお、α：β＝１０：６よりもα：β＝１１：５の方がより精度が高い。

　図１１は高域強調により水平方向の解像感を保ちつつ、奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間する態様の水平分布均等化処理部２０の構成を示す。画素データ分布が不均衡なライン輝度データｄ２は、高域強調処理部３７で高域のゲインが持ち上げられた後、１画素遅延器３１に入力される。また１画素遅延器３１の入力は乗算器３２にも入力されてここで係数αと乗算される。１画素遅延器３１の出力は乗算器３３で係数βと乗算された後、加算器３４に入力される。加算器３４は乗算器３３の乗算結果と乗算器３２の乗算結果とを加算し、加算結果を除算器３５に入力する。除算器３５は加算器３４の加算結果を（α＋β）で除算し、除算結果を出力の画素スイッチ部３６に入力する。画素スイッチ部３６は、高域強調処理部３７の入力と除算器３５の除算結果とを１画素おきに交互に選択する。

　図８の場合はスルーのラインに１画素遅延器２１ａを挿入したが、図１１の本例の場合は、援用画素Ｑが先行し、処理対象画素Ｐが後行であるので、タイミング調整のための１画素遅延器は必要でない。奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間する分布均等化の動作は図１０と同様である。

　本処理により、補間処理に先立って、補間処理に用いる画素Ｐ,Ｑの輝度データについてあらかじめ高域成分をゲインアップして強調しておくので、その後の補間処理で高域成分が減少したとしても、結果的にはトータルとして高域成分の減衰が解消されることになる。したがって、水平方向の解像度合を損なうことなく、混合後の画素データ群のうち水平方向で奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間することができ、補間処理に起因する高域成分減少の問題にもかかわらず、画質改善の効果を向上させることができる。

　図１２も高域強調により水平方向の解像感を保ちつつ、奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間する態様の水平分布均等化処理部２０の構成を示す。図１１の構成との違いは、１画素おきに補間処理された連続的な分布均等化処理後の画素データの中から選択的に抽出した補間画素データのみを、画素スイッチ部３６の後段の高域強調処理部３８が高域強調することである。

　図１３は混合後の画素データ群のうち水平方向で偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間し、奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間する態様の水平分布均等化処理部２０の構成を示す。基本構成は、図７の構成と図１０の構成を合成したものである。この構成では、１画素遅延器として、第１の１画素遅延器２１と第２の１画素遅延器３１との２つの１画素遅延器が設けられている。これは次の状態に対応するためである。すなわち、図４Ａ、図４Ｂで説明したところの時間的に１クロック分の差がある処理対象画素Ｐと援用画素Ｑの両データを用いて処理対象画素Ｐの輝度値を補間処理する場合においては、処理対象画素Ｐが援用画素Ｑよりも時間的に先行する状態と、処理対象画素Ｑが援用画素Ｐよりも時間的に遅れる状態との２つの状態が発生する。図１３の構成では、このような２つの状態に対応して補間処理を行うことができる。

　画素データ分布が不均衡なライン輝度データｄ２は、第１の１画素遅延器２１と乗算器２３とに入力される。第１の１画素遅延器２１は、ライン輝度データｄ２を１画素分遅延させて遅延結果を乗算器２２と第２の１画素遅延器３１と乗算器３２とに入力する。乗算器２２は、第１の１画素遅延器２１の出力に係数αを乗算し乗算結果を第１の加算器２４に入力する。乗算器２３はライン輝度データｄ２に係数βを乗算し乗算結果を第１の加算器２４に入力する。第１の加算器２４は、乗算器２２の出力と乗算器２３の出力とを加算し加算結果を除算器２５に入力する。除算器２５は、加算器２４の出力を（α＋β）で除算し除算結果を出力の画素スイッチ部３９に入力する。

　第２の１画素遅延器３１は、第１の１画素遅延部２１の出力をさらに１画素分遅延させ遅延結果を乗算器３３に入力する。乗算器３３は第２の１画素遅延器３１の出力に係数βを乗算し乗算結果を第２の加算器３４に入力する。乗算器３２は第１の１画素遅延器２１の出力に係数αを乗算し乗算結果を第２の加算器３４に入力する。第２の加算器３４は乗算器３３の出力と乗算器３２の出力とを加算し加算結果を第２の除算器３５に入力する。第２の除算器３５は、第２の加算器３４の出力を（α＋β）で除算し除算結果を出力の画素スイッチ部３９に入力する。画素スイッチ部３９は、第１の除算器２５の出力と第２の除算器３５の出力とを１画素おきに交互に選択して出力する。

　次に図１３の構成による、偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間し、奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間する分布均等化の動作を説明する。入力されてくるライン輝度データｄ２の奇数番目の画素データが第１の１画素遅延器２１の出力となるときに、画素スイッチ部３９は第２の除算器３５の出力を選択して出力する。一方、入力されてくるライン輝度データｄ２の偶数番目の画素データが第１の１画素遅延器２１の出力となるときは、画素スイッチ部３９は第１の除算器２５の出力を選択して出力する。

　本処理により、混合後の画素データ群のうち水平方向で偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間し、奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間することができる。

　乗算器２２,３２の係数αと乗算器２３,３３の係数βは、４画素混合による画素データ分布の不均衡を隣接する２画素の線形補間で補正処理することから、理論的にはα：β＝５：１となる。ただし、除算器２５,３５による除算処理を簡単化するために、近似値として例えばα：β＝２７：５またはα：β＝５３：１１のように、（α＋β）を２のべき乗（２ⁿ ）の３２や６４とすることにより、処理を簡略化することができる。なお、α：β＝２７：５とα：β＝２８：４やα：β＝２６：６と比べると、α：β＝２７：５の方がより精度が高い。また、α：β＝５３：１１とα：β＝５４：１０やα：β＝５２：１２と比べると、α：β＝５３：１１の方がより精度が高い。α：β＝２７：５よりもα：β＝５３：１１の方がより精度が高い。

　図１４は高域強調により水平方向の解像感を保ちつつ、偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間し、奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間する態様の水平分布均等化処理部２０の構成を示す。基本構成は、図１３の構成と同じであり、入力において高域強調処理部２７で高域のゲインを持ち上げる。

　図１５も高域強調により水平方向の解像感を保ちつつ、偶数番目の画素データの輝度値を座標の右側シフトに擬制して補間し、奇数番目の画素データの輝度値を座標の左側シフトに擬制して補間する態様の水平分布均等化処理部２０の構成を示す。基本構成は、図１３の構成と同じであり、出力において高域強調処理部３８で高域のゲインを持ち上げる。

　図６に戻って、水平分布均等化処理部２０によって分布均等化されたライン輝度データｄ３は、色配列再現処理部３０において色キャリアデータｄ４との加算処理である再合成処理を受けることで、ＢとＧの情報が画素毎に繰り返す分布均等化されたラインデータｄ５となって出力される。また、図示しないＧとＲの情報が画素毎に繰り返す分布均等化されたラインデータとなって出力される。

　ＢＧ繰り返しのラインの再合成を数式で示す。まず、輝度データ｛δ（Ｂ＋Ｇ）｝、色キャリアデータ｛γ（Ｂ－Ｇ）,－γ（Ｂ－Ｇ）｝にてδ＝０．５、γ＝０．５とすると、輝度データ｛０．５（Ｂ＋Ｇ）｝、色キャリアデータ｛０．５（Ｂ－Ｇ）,－０．５（Ｂ－Ｇ）｝となる。画素毎に輝度データを加算していくと、０．５｛（Ｂ＋Ｇ）＋（Ｂ－Ｇ）｝,０．５｛（Ｂ＋Ｇ）－（Ｂ－Ｇ）｝,・・・が繰り返される。すなわち、Ｂ,Ｇ,Ｂ,Ｇ,・・・としてＢＧ繰り返しのラインデータが再生する。

　ＧＲ繰り返しラインでも同様にして、輝度データ｛δ（Ｇ＋Ｒ）｝、色キャリアデータ｛γ（Ｇ－Ｒ）,－γ（Ｇ－Ｒ）｝にてδ＝０．５、γ＝０．５とすると、輝度データ｛０．５（Ｇ＋Ｒ）｝、色キャリアデータ｛０．５（Ｇ－Ｒ）,－０．５（Ｇ－Ｒ）｝となる。画素毎に輝度データを加算していくと、０．５｛（Ｇ＋Ｒ）＋（Ｇ－Ｒ）｝,０．５｛（Ｇ＋Ｒ）－（Ｇ－Ｒ）｝,・・・が繰り返される。すなわち、Ｇ,Ｒ,Ｇ,Ｒ,・・・としてＧＲ繰り返しラインデータが再生する。

　なお、輝度データと色キャリアデータとに対する係数をδ,γとして加算処理前でゲイン調整して合成データのゲインが入力と同等となるよう処理したが、目的は輝度信号と色キャリア信号との２種類の信号成分からＲＧＢの独立の１つの色成分を発生することにあるので、必ずしも演算前にゲイン調整する必要はなく、ＲＧＢの独立の色成分にした後でゲイン調整をしてもよい。

　また、ＲＧＢベイヤー配列での水平方向のリサイズ処理機能を説明したが、ハニカム配列でも本発明を実施可能である。具体的にはハニカム配列においてライン単位のデータを抽出した場合、図４２Ｂのハニカム配列より、奇数ラインはＲとＢが周期的に繰り返し、偶数ラインは連続的なＧ信号となる。偶数ラインに関しては色の変調成分は存在しないが、本発明の方法にてＧ信号をライン輝度データと見立てて処理を行うことができる。また、変調成分の存在しないＧ信号のみの偶数ラインに関しては、色キャリア抽出フィルタ処理部１２にて出力のゲインを０として、色配列再現処理部３０における再合成により、ＲとＢの情報が画素毎に繰り返すリサイズされたＲＢラインデータとして出力され、Ｇの情報が連続的に並ぶリサイズされたＧラインデータとして出力される。

　図６に示した水平分布均等化処理機能は、図５の（ｂ）において示した２ステップの分布均等化処理Ｈ１１,Ｖ１１を実施する際に使用される。このとき垂直分布均等化処理Ｖ１１は、フレームメモリＦＭ１からデータを読み出す際、書き込み時とは直交する方向の垂直方向に読み出して分布均等化処理Ｖ１１に入力するので、水平分布均等化処理Ｈ１１と同一の処理となる。すなわち、垂直分布均等化処理Ｖ１１は、水平分布均等化処理Ｈ１１と同じ構成のものを用いることができることから、構成の簡素化が図られる。

　次に、図５の（ｃ）に示すように２ステップのリサイズ処理Ｈ１２,Ｖ１２の中間バッファとして複数ラインからなるラインメモリＬＭ１を用いる場合の詳細を説明する。

　図１６Ａに、ラインメモリＬＭ１の書き込み読み出し動作を示す。図１６Ｂは、図１６Ａの次のラインデータ処理における同ラインメモリの書き込み読み出し動作を示す。ＬＭ１はｎラインからなるラインメモリである。ＷＣはラインメモリＬＭ１に対してのデータ書き込みサイクルを示し、ｎラインに対する書き込み制御として１ラインずつ順番にリング状に巡回させながら書き込んでいく。ＲＣはラインメモリＬＭ１に対してのデータ読み出しサイクルを示し、ｎラインのうち（ｎ－１）ラインのメモリデータをまとめて選択しながら、書き込み制御と同様、順番にリング状に巡回させながら読み出していく。本例では、書き込みラインと読み出しラインとを分けることにより、書き込みと読み出しとを非同期に動作させることができる。

　こうして水平方向の分布均等化処理済みのＲＡＷデータＤ１２のうちまとまった複数ライン分のＲＡＷデータをラインメモリＬＭ１からまとめて読み出すことにより、複数ライン上の水平方向の同一位置のデータｄＨに対して縦方向に垂直分布均等化処理Ｖ１２を行い、分布均等化された最終のＲＡＷデータＤ１３を得る。このとき、垂直分布均等化処理Ｖ１２は水平分布均等化処理Ｈ１２とは異なる処理となり、複数のライン単位の任意の処理は、注目画素に対して垂直方向の分布均等化処理を行いながら、水平方向にパイプライン出力される。複数ラインのラインメモリＬＭ１を用いて、複数ライン分の複数色配列データを書き込みながら同時に複数ライン分のデータを読み出すように構成してあるので、処理を高速化することができる。

　図１７は、図１６Ａ、図１６ＢのラインメモリＬＭ１を利用する場合の図５の（ｃ）中の垂直分布均等化処理Ｖ１２の詳細を示している。この垂直分布均等化処理Ｖ１２は、注目画素に対して垂直方向に分布均等化処理を行いながら水平方向の１ライン分のパイプライン処理を行う。この垂直分布均等化処理Ｖ１２も図６の水平分布均等化処理Ｈ１２と同様に、輝度信号処理と色キャリア抽出処理との２系統処理として実施する。

　本例では、入力データとして９ライン分のＲＡＷデータに対して垂直方向に同一水平位置となる９画素を１つの垂直方向処理単位ｄＨ１,ｄＨ２として処理を行う。具体的には、９ライン分のＲＡＷデータから垂直方向に注目ラインとその上下に位置する３種類の垂直方向輝度データｄ１２（Ｙ１,Ｙ２,Ｙ３）を抽出する色キャリア除去フィルタ処理部４１と、垂直方向の注目ライン位置の色キャリアデータｄ１４を抽出する色キャリア抽出フィルタ処理部４２と、３種類の垂直方向輝度データｄ１２（Ｙ１,Ｙ２,Ｙ３）を用いて垂直方向の分布均等化処理を行ってライン輝度データｄ１３を生成する垂直分布均等化処理部４３と、垂直方向で分布均等化されたライン輝度データｄ１３と色キャリアデータｄ１４とを再合成し最終的な垂直方向で分布均等化されたＲＡＷラインデータｄ１５を生成する色配列再現処理部４４とを含む。

　色キャリア除去フィルタ処理部４１と色キャリア抽出フィルタ処理部４２とは、図１の第２のフィルタ処理部ｂ１に相当し、垂直分布均等化処理部４３は図１の第２の輝度分布均等化処理部ｂ２に相当し、色配列再現処理部４４は図１の第２の色配列再現処理部ｂ７に相当する。また、垂直方向輝度データｄ１２（Ｙ１,Ｙ２,Ｙ３）は、第３の輝度データに相当し、色キャリアデータｄ１４は第２の色キャリアデータに相当し、ライン輝度データｄ１３は第４の輝度データに相当し、ＲＡＷラインデータｄ１５は第２の複数色配列データに相当する。

　図１７に詳細を示した垂直分布均等化処理機能を用いて、ベイヤー配列の画像について、画素データの分布均等化処理を行う場合を説明する。この処理プロセスは、図６と同様に、例えば、ＲＡＷ処理結果の動画撮影をするために用いられる。

　図１７の垂直方向処理単位ｄＨ１,ｄＨ２に示すように、水平分布均等化処理後の４画素混合ＲＡＷデータはベイヤー配列の画素配置を反映したモザイク状の配列を保持しているが、画素データ分布が垂直方向に不均衡となっている。水平分布均等化処理後の４画素混合ＲＡＷデータは、複数ラインを同時入力データとするために、図１６に示すようにライン単位でラインメモリＬＭ１に巡回的に書き込まれ、複数ラインまとめて巡回的に読み出される。

　水平分布均等化処理後の９ライン単位の入力データの各ライン上の水平方向の同一位置の垂直方向データに対して、垂直方向処理単位ｄＨ１は垂直方向にＢとＧの情報が画素毎に繰り返されるＢＧ列データ、垂直方向処理単位ｄＨ２は垂直方向にＧとＲの情報が画素毎に繰り返されるＧＲ列データとなり、この２種類が水平方向に繰り返される。

　これら２種類の垂直方向の列データは垂直方向に２画素周期で変化するナイキスト周波数近傍の色キャリア情報を有し、色キャリアを除去する色キャリア除去フィルタ処理部４１で注目中心ラインとその上下ラインに位置する３種類の垂直方向輝度データｄ１２（Ｙ１,Ｙ２,Ｙ３）を生成するために、それぞれ垂直方向処理単位ｄＨ１の７画素のデータを用いてフィルタ処理している。垂直方向処理単位ｄＨ１からはＢとＧの平均値となる３種類の垂直方向輝度データｄ１２（Ｙ１,Ｙ２,Ｙ３）が出力され、次の垂直方向処理単位ｄＨ２からはＧとＲの平均値となる３種類の垂直方向輝度データｄ１２（Ｙ１,Ｙ２,Ｙ３）が出力される。

　また、前記の２種類の垂直方向処理単位ｄＨ１,ｄＨ２は、垂直方向に２画素周期で変化するナイキスト周波数近傍の色キャリアを抽出する色キャリア抽出フィルタ処理部４２により、ＢＧ列に関してはナイキスト周波数で変調された（Ｂ－Ｇ）成分の色キャリアデータｄ１４が出力され、ＧＲ繰り返しラインに関してはナイキスト周波数で変調された（Ｇ－Ｒ）成分の色キャリアデータｄ１４が出力される。

　輝度データと色キャリアデータとの垂直方向の画素データ分布を均等化するため、色キャリア抽出フィルタ処理部４２では９ラインの中心となる５ライン目を基準に垂直方向に対称係数をもつフィルタ処理を行う。垂直分布均等化処理部４３は、垂直方向に抽出された３種類の垂直方向輝度データｄ１２（Ｙ１,Ｙ２,Ｙ３）に、垂直方向での画素データの分布均等化処理を行う。

　図１８は垂直方向の３種類の垂直方向輝度データｄ１２（Ｙ１,Ｙ２,Ｙ３）を用いて偶数ラインの画素データの輝度値を座標の下側シフトに擬制して補間し、奇数ラインの画素データの輝度値を座標の上側シフトに擬制して補間する態様の垂直分布均等化処理部４３の構成を示す図である。

　原理は水平方向処理で説明したのと同様であり、遅延時間を１画素遅延から１ライン期間ずつ遅延に置き換えて、３種類の垂直方向輝度データｄ１２（Ｙ１,Ｙ２,Ｙ３）を入力とすることで、垂直方向の分布均等化処理を実現する。

　垂直方向に画素データ分布が不均衡な垂直方向輝度データｄ１２（Ｙ１,Ｙ２,Ｙ３）は、Ｙ２を注目ラインとし、その上方側ラインをＹ１、下方側ラインをＹ３とする。入力されてくる輝度データＹ１に乗算器４６で係数βを乗算し、入力されてくる輝度データＹ２に乗算器４５で係数αを乗算し、得られたこれら２つの乗算結果を加算器４７で加算し、その加算結果を第１の除算器４８が（α＋β）で除算する。

　また、入力されてくる輝度データＹ３に乗算器５０で係数βを乗算し、入力されてくる輝度データＹ２に乗算器４９で係数αを乗算し、得られたこれら２つの乗算結果を加算器５１で加算し、その加算結果を第２の除算器５２が（α＋β）で除算する。出力のラインスイッチ部５３で第１の除算器４８の出力と第２の除算器５２の出力を１ライン画素毎に選択する。

　偶数ラインの画素データの輝度値を座標の下側シフトに擬制して補間し、奇数ラインの画素データの輝度値を座標の上側シフトに擬制して補間する分布均等化の動作を説明する。入力されてくるライン輝度データＹ２が奇数ラインとなる場合、ラインスイッチ部５３は第１の除算器４８の出力を１ライン期間選択して出力する。一方、入力されてくるライン輝度データＹ２が偶数ラインとなる場合、ラインスイッチ部５３は第２の除算器５２の出力を１ライン期間選択して出力する。本処理により、偶数ラインの画素データの輝度値を座標の下側シフトに擬制して補間し、奇数ラインの画素データの輝度値を座標の上側シフトに擬制して補間することができる。

　４画素混合による垂直方向の画素データ分布の不均衡を隣接する２ラインデータの線形補間で補正処理するので、乗算器４５,６２の係数αと乗算器４６,６３の係数βとは、理論的にはα：β＝５：１となる。ただし、除算器４８,６５による除算処理を簡単化するために、近似値として、例えば、α：β＝２７：５またはα：β＝５３：１１のように、（α＋β）を２のべき乗（２ⁿ ）の３２や６４とすることにより、処理を簡略化することができる。

　なお、偶数ラインの画素データの輝度値を座標の下側シフトに擬制して補間する場合における、出力のラインスイッチ部５３での出力ラインの選択は次のようになる。すなわち、Ｙ２の注目ラインが奇数ラインの輝度データの場合は二点鎖線で示す信号線を介してそのままスルー出力し、偶数ラインの輝度データの場合は第２の除算器５２の出力を選択し、これを１ライン画素毎に交互に切り替える。除算器４８の出力信号線は用いない。この際、隣接する２ラインデータの線形補間で画素データ分布の不均衡を補正処理するので、乗算器４９の係数αと乗算器５０の係数βとは、理論的にはα：β＝２：１となる。ただし、除算器５２による除算処理を簡単化するために、近似値として、例えばα：β＝１０：６またはα：β＝１１：５のように、（α＋β）を２のべき乗（２ⁿ ）の１６とすることにより、処理を簡略化することができる。

　また、奇数ラインの画素データの輝度値を座標の上側シフトに擬制して補間する場合は、出力のラインスイッチ部５３での出力ライン選択は次のようになる。すなわち、Ｙ２の注目ラインが偶数ラインの輝度データの場合は二点鎖線で示す信号線を介してそのままスルー出力し、奇数ラインの輝度データの場合は第１の除算器４８の出力を選択し、これを１ライン画素毎に交互に切り替える。除算器５２の出力信号線は用いない。この際、隣接する２ラインデータの線形補間で画素データ分布の不均衡を補正処理するので、乗算器４５の係数αと乗算器４６の係数βとは、理論的にはα：β＝２：１となる。ただし、除算器４８による除算処理を簡単化するために、前記同様に近似値として、例えばα：β＝１０：６またはα：β＝１１：５のように、（α＋β）を２のべき乗（２ⁿ ）の１６とすることにより、処理を簡略化することができる。

　図１７の処理に戻って説明する。前記の垂直分布均等化処理部４３で処理された垂直方向分布均等化されたライン輝度データｄ１３は、色配列再現処理部４４における色キャリアデータｄ１４との加算処理である再合成処理を受けることにより、垂直方向処理単位ｄＨ１に対しては垂直方向にＢとＧの情報が画素毎に繰り返す垂直方向で分布均等化されたＢＧ繰り返しのラインデータｄ１５となる。ラインデータｄ１５では、垂直方向処理単位ｄＨ２に対しては垂直方向にＧとＲの情報が画素毎に繰り返す垂直方向で分布均等化されたデータ（ＧＲのラインデータｄ１５）となる。上記処理により、水平・垂直ともに画素データの分布均等化処理がなされたＲＡＷデータを生成することができる。

　以上のようにして得られたＲＡＷ分布均等化処理後の画像データ（ｄ１５）を図２７の画像信号処理部１０に入力して信号処理を行い、最終的な画像、例えば動画撮影画像に変換する。

　図１９Ａおよび図１９Ｂは、実際のベイヤー配列の４画素混合のＲＡＷデータについて、ＣＺＰ（サーキュラーゾーンプレート）画像に対して水平・垂直の両方向に本発明分布均等化処理を行った場合の分布均等化処理ＲＡＷデータ結果を示す。図１９Ａの処理画像は、撮像素子上で４画素混合したベイヤー配列のＲＡＷデータ（原画像：高域強調無し）である。図１９Ｂの処理画像は、撮像素子上で４画素混合したベイヤー配列のＲＡＷデータに本発明の分布均等化処理を実施した結果（高域強調有り）である。

　図１９Ａの領域Ｕ１と図１９Ｂの領域Ｕ２との比較や領域Ｗ１と領域Ｗ２との比較により、４画素混合後のＲＡＷデータから４画素混合に起因する折り返しによるがたつき（ジャギー）を軽減したＲＡＷデータを生成することができることが分かる。高域強調の場合は、図２０Ｂの領域Ｗ３のようになり、４画素混合に起因する折り返しによるがたつきをさらに抑制して滑らかな解像感を得ることができる。

　いずれにしても、本実施例によれば、４画素混合など偶数画素混合出力のために２次元方向で画素データ分布に不均衡が生じている原画像ＲＡＷデータを処理対象とするものでありながら、偽輝度信号・偽色を低減しつつ解像感を確保することができる。

　以下、本発明の実施例２における画像処理装置および画像処理方法について説明する。図２１の（ａ）は、４画素混合後のＲＡＷデータに対して図２７の撮像装置Ａの前処理部７において分布均等化しかつリサイズ処理する手順の概略を示す図である。

　図２１の（ａ）に示すように、単板式の原画像（１面）である４画素混合後のＲＡＷデータＤ２１を分布均等化しかつリサイズする処理を、水平分布均等化・リサイズ処理Ｈ２と垂直分布均等化・リサイズ処理Ｖ２との２ステップの処理として行う。４画素混合後のＲＡＷデータＤ２１は、水平分布均等化・リサイズ処理Ｈ２で水平方向に分布均等化・リサイズ処理されたＲＡＷデータＤ２２となり、垂直分布均等化・リサイズ処理Ｖ２でさらに垂直方向に分布均等化・リサイズ処理されたＲＡＷデータＤ２３となる。

　２ステップからなる水平分布均等化・リサイズ処理Ｈ２と垂直分布均等化・リサイズ処理Ｖ２の実施の形態として次に述べる２つの形態がある。図２１の（ｂ）と図２１の（ｃ）はそれぞれの概略を示す。

　図２１の（ｂ）に示す形態においては、２ステップの分布均等化・リサイズ処理Ｈ２１,Ｖ２１のバッファとしてフレームメモリＦＭ２を用いる。水平分布均等化・リサイズ処理Ｈ２１の後のＲＡＷデータＤ２２をすべて一旦フレームメモリＦＭ２に書き込む。次いで、フレームメモリＦＭ２からＲＡＷデータＤ２２を読み出す際に、書き込み時とは直交する方向の垂直方向に読み出して垂直分布均等化・リサイズ処理Ｖ２１を行い、分布均等化・リサイズ処理された最終のＲＡＷデータＤ２３を得る。この方式の場合、垂直分布均等化・リサイズ処理Ｖ２１は、水平分布均等化・リサイズ処理Ｈ２１と同一の処理となる。

　図２１の（ｃ）に示す形態においては、２ステップの分布均等化・リサイズ処理Ｈ２２,Ｖ２２をパイプライン処理とするために、バッファとして複数ラインからなるラインメモリＬＭ２を用いる。水平分布均等化・リサイズ処理Ｈ２２を実施しながら、その出力をラインメモリＬＭ２に書き込む。同時にＲＡＷデータＤ２２のうちまとまった複数ライン分のＲＡＷデータをラインメモリＬＭ２から読み出し、複数ライン上の水平方向の同一位置のデータに対して垂直方向に垂直分布均等化・リサイズ処理Ｖ２２を行い、分布均等化された最終のＲＡＷデータＤ２３を得る。このとき、垂直分布均等化・リサイズ処理Ｖ２２は水平分布均等化・リサイズ処理Ｈ２２とは別の処理となる。

　図２２を用いて、水平分布均等化・リサイズ処理Ｈ２の詳細を説明する。水平分布均等化・リサイズ処理Ｈ２は、ライン上の画素単位の処理を行う１次元のパイプライン処理であって４画素混合後のＲＡＷデータのＢＧまたはＧＲの繰り返しのラインデータｄ２１から連続したライン輝度データｄ２２を抽出する色キャリア除去フィルタ処理部６１と、ラインデータｄ２１からＢＧまたはＧＲの繰り返しの連続したライン色キャリアデータｄ２５を抽出する色キャリア抽出フィルタ処理部６２と、ライン輝度データｄ２２に水平方向の分布均等化処理を行うことでライン輝度データｄ２３を生成する水平分布均等化処理部６３（図２の第１の輝度分布均等化処理部ａ２に相当）と、分布均等化されたライン輝度データｄ２３を縮小リサイズ処理することでライン輝度データｄ２４を生成する水平輝度リサイズ処理部６４と、変調されたライン色キャリアデータｄ２５を色反転復調することで連続したライン色差分データｄ２６を生成する色反転復調部６５と、ライン色差分データｄ２６の縮小リサイズを行うことでライン色差分データｄ２７を生成する水平色差分リサイズ処理部６６と、リサイズ後のライン色差分データｄ２７をＢＧまたはＧＲの繰り返しのライン色キャリアデータｄ２８に再変換する色キャリア変調部６７と、水平輝度リサイズ処理部６４から出力されるライン輝度データｄ２４とライン色キャリアデータｄ２８とを再合成し水平方向で分布均等化されたラインデータｄ２９を生成する色配列再現処理部６８を含む。

　色キャリア除去フィルタ処理部６１と色キャリア抽出フィルタ処理部６２とは図２の第１のフィルタ処理部ａ１に相当し、水平分布均等化処理部６３は図２の第１の輝度分布均等化処理部ａ２に相当し、水平輝度リサイズ処理部６４は図２の第１の輝度リサイズ処理部ａ３に相当し、色反転復調部６５は図２の第１の色反転復調部ａ４に相当し、水平色差分リサイズ処理部６６は、図２の第１の色差分リサイズ処理部ａ５に相当し、色キャリア変調部６７は第１の色キャリア変調部ａ６に相当し、色配列再現処理部６８は図２の第１の色差分リサイズ処理部に相当ａ７に相当する。また、ラインデータｄ２１は第１の複数色配列データに相当し、ライン輝度データｄ２２は第１の輝度データに相当し、ライン色キャリアデータｄ２５は第１の色キャリアデータに相当し、ライン輝度データｄ２３は第２の輝度データに相当し、ライン輝度データｄ２４は第２－１の輝度データに相当し、ライン色差分データｄ２６は第１の色差分データに相当し、ライン色差分データｄ２７は第２の色差分データに相当し、ライン色キャリアデータｄ２８は第１－１の色キャリアデータに相当し、ラインデータｄ２９は第１の複数色配列データに相当する。

　図２２に示した水平分布均等化・リサイズ処理機能を用いて４画素混合されたベイヤー配列の画像を処理する場合を説明する。この処理プロセスは、高画素な撮像素子４を用いて動画撮影をするために用いられる。

　入力画像となる４画素混合後のＲＡＷデータは、ベイヤー配列の画素配置を反映したモザイク状の画像であり、通常、撮像素子４からライン単位で読み出される。このライン単位の入力データは、ＢとＧの情報が画素毎に繰り返されるＢＧのラインデータｄ２１と、図示しないＧとＲの情報が画素毎に繰り返されるＧＲのラインデータｄ２１との２種類となる。これら２種類のラインデータｄ２１は２画素周期で変化するナイキスト周波数近傍の色キャリアを除去する色キャリア除去フィルタ処理部６１での処理を経て、ＢＧ繰り返しのラインにおいてはＢとＧの平均値｛δ（Ｂ＋Ｇ）｝となるライン輝度データｄ２２が出力され、図示しないＧＲ繰り返しラインにおいてはＧとＲの平均値｛δ（Ｇ＋Ｒ）｝となるライン輝度データｄ２２が出力される（δ＝１／２）。ＢＧまたはＧＲの２種類のライン輝度データｄ２２は、水平分布均等化処理部６３で画素データ分布補正が行われ、ＢＧまたはＧＲの分布均等化されたライン輝度データｄ２３として出力される。水平分布均等化処理部６３の詳細はすでに説明した図６の水平分布均等化処理部２０と同様である。

　また、ＢＧまたはＧＲの２種類のラインデータｄ２１は２画素周期で変化するナイキスト周波数近傍の色キャリアを抽出する色キャリア抽出フィルタ処理部６２の処理を経て、ＢＧ繰り返しのラインに関してはナイキスト周波数で変調されたＢＧのライン色キャリアデータｄ２５が出力され、図示しないＧＲ繰り返しラインに関してはナイキスト周波数で変調されたＧＲのライン色キャリアデータｄ２５が出力される。

　ＢＧまたはＧＲの２種類のライン色キャリアデータｄ２５は、１画素ごとに符号が反転している状態つまり色の並びが１画素ごとに異色交互となっている。このライン色キャリアデータｄ２５は、色反転復調部６５により１画素ごとに符号反転を行って色の並びが同色に揃えられ、連続したＢＧまたはＧＲのライン色差分データｄ２６として出力される。

　次に、水平分布均等化処理部６３で分布均等化されたライン輝度データｄ２３は、水平輝度リサイズ処理部６４により縮小比率に合わせて線形補間間引きが行われ、分布均等化・リサイズされたライン輝度データｄ２４となる。ライン色差分データｄ２６は、水平色差分リサイズ処理部６６により縮小比率に合わせて線形補間間引きが行われ、リサイズされたライン色差分データｄ２７となる。それぞれに同一比率の水平方向の縮小リサイズが実施される。

　水平方向に縮小リサイズされた連続的で色の並びが同色に揃ったライン色差分データｄ２７｛γ（Ｂ－Ｇ）,γ（Ｇ－Ｒ）｝は、色キャリア変調部６７の処理を受けることで、２画素周期で変化するナイキスト周波数で変調するための等価処理として画素ごとに再び符号が交互に反転されて色配列の周期性が復元されたライン色キャリアデータｄ２８｛γ（Ｂ－Ｇ）,－γ（Ｂ－Ｇ）｝、｛γ（Ｇ－Ｒ）,－γ（Ｇ－Ｒ）｝となる。

　分布均等化・リサイズされたライン輝度データｄ２４は、色配列再現処理部６８における再合成処理（具体的にはリサイズされたライン色キャリアデータｄ２８との加算処理）を受けることで、ＢとＧの情報が画素毎に繰り返す分布均等化・リサイズ処理されたラインデータｄ２９となって出力される。また、分布均等化・リサイズされたライン輝度データｄ２４は、図示しないＧとＲの情報が画素毎に繰り返す分布均等化・リサイズ処理されたラインデータとなって出力される。

　ＢＧ繰り返しのラインの再合成を数式で示す。まず、δ＝０．５、γ＝０．５とすると、分布均等化・リサイズされたライン輝度データ｛δ（Ｂ＋Ｇ）｝、ライン色キャリアデータ｛γ（Ｂ－Ｇ）,－γ（Ｂ－Ｇ）｝は、分布均等化・リサイズされたライン輝度データ｛０．５（Ｂ＋Ｇ）｝、ライン色キャリアデータ｛０．５（Ｂ－Ｇ）,－０．５（Ｂ－Ｇ）｝となる。画素毎に輝度データと色キャリアデータを加算していくと、０．５｛（Ｂ＋Ｇ）＋（Ｂ－Ｇ）｝,０．５｛（Ｂ＋Ｇ）－（Ｂ－Ｇ）｝,・・・が繰り返される。すなわち、Ｂ,Ｇ,Ｂ,Ｇ,・・・として分布均等化・リサイズ処理されたラインデータｄ２９が再生する。

　ＧＲ繰り返しラインでも同様にして、分布均等化・リサイズされたライン輝度データ｛δ（Ｇ＋Ｒ）｝、ライン色キャリアデータ｛γ（Ｇ－Ｒ）,－γ（Ｇ－Ｒ）｝にてδ＝０．５、γ＝０．５とすると、分布均等化・リサイズされたライン輝度データ｛０．５（Ｇ＋Ｒ）｝、ライン色キャリアデータ｛０．５（Ｇ－Ｒ）,－０．５（Ｇ－Ｒ）｝となる。画素毎に輝度データと色キャリアデータを加算していくと、０．５｛（Ｇ＋Ｒ）＋（Ｇ－Ｒ）｝,０．５｛（Ｇ＋Ｒ）－（Ｇ－Ｒ）｝,・・・が繰り返される。すなわち、Ｒ,Ｇ,Ｒ,Ｇ,・・・として分布均等化・リサイズ処理されたラインデータｄ２９が再生される。

　なお、輝度データと色キャリアデータとに対する係数をδ,γとして加算処理前でゲイン調整して合成データのゲインが入力と同等となるよう処理したが、目的は輝度信号と色キャリア信号との２種類の信号成分からＲＧＢの独立の１つの色成分を発生することにあるので、必ずしも演算前にゲイン調整する必要はなく、ＲＧＢの独立の色成分にした後でゲイン調整をしてもよい。

　また、ＲＧＢベイヤー配列での水平方向の分布均等化・リサイズ処理機能を説明したが、ハニカム配列でも実施例１と同様、本発明を適用可能である。

　図２２に示した水平分布均等化・リサイズ処理機能は、図２１の（ｂ）において示した２ステップの分布均等化・リサイズ処理Ｈ２１,Ｖ２１を実施する際に使用できる。このとき垂直分布均等化・リサイズ処理Ｖ２１は、フレームメモリＦＭ２からデータを読み出す際、書き込み時とは直交する方向の垂直方向に読み出したうえで、読み出したデータを分布均等化・リサイズ処理Ｖ２１に入力するので、水平分布均等化・リサイズ処理Ｈ２１と同一の処理となる。すなわち、同じ構成のものを用いることができることから、構成の簡素化が図られる。

　次に、図２１の（ｃ）に示すように２ステップの分布均等化・リサイズ処理Ｈ２２,Ｖ２２の中間バッファとして複数ラインからなるラインメモリＬＭ２を用いる場合の詳細を説明する。図２３に、ラインメモリＬＭ２の書き込み読み出し動作を示す。制御方法は実施例１と同様である。

　図２３は、実施例１の図１６のラインメモリＬＭ１と同様の構成を有する図２１の（ｃ）のラインメモリＬＭ２を利用する場合における図２１の（ｃ）中の垂直分布均等化・リサイズ処理Ｖ２２の詳細を示している。垂直分布均等化・リサイズ処理Ｖ２２は、実施例１と同様、注目画素に対して垂直方向に分布均等化処理を行いながら水平方向の１ライン分のパイプライン処理を行う。

　図２３の垂直分布均等化・リサイズ処理Ｖ２２も図２２の水平分布均等化・リサイズ処理Ｈ２１と同様に、輝度信号処理と色キャリア抽出処理との２系統処理として実施する。本実施例２では分布均等化処理後のリサイズ処理を行うために、垂直方向に複数の輝度信号処理と色キャリア抽出処理を備える。

　本例では、入力データとして１０ライン分のＲＡＷデータに対して垂直方向に同一水平位置となる１０画素を１つの垂直方向処理単位ｄＨ３,ｄＨ４として処理を行う。具体的には、１０ライン分のＲＡＷデータから垂直方向に注目ラインを含んでその上下に位置する最小４種類の垂直方向輝度データｄ３０（Ｙ１,Ｙ２,Ｙ３,Ｙ４）を抽出する色キャリア除去フィルタ処理部７１と、垂直方向の注目ラインを含んでその上下に位置する最小３種類の色キャリアデータＣ１,Ｃ２,Ｃ３を抽出する色キャリア抽出フィルタ処理部７２と、４種類の垂直方向輝度データｄ３０（Ｙ１,Ｙ２,Ｙ３,Ｙ４）を用いて垂直方向に３系統の分布均等化処理を行い３種類の垂直分布均等化されたライン輝度データｄ３１を出力する垂直分布均等化処理部７３と、垂直方向に変調された３種類の色キャリアデータＣ１,Ｃ２,Ｃ３のそれぞれに対して色反転復調して垂直方向にそれぞれ連続した３種類の色差分データｄ３３を出力する色反転復調部７４と、垂直方向に連続した３種類の垂直分布均等化されたライン輝度データｄ３１に対して垂直方向の縮小リサイズを行って垂直方向に分布均等化・リサイズされたライン輝度データｄ３２を出力する垂直輝度リサイズ処理部７５と、垂直方向に連続した３種類の色差分データｄ３３に対して垂直方向の縮小リサイズを行ってＢＧのライン色差分データｄ３４を出力する垂直色差分リサイズ処理部７６と、リサイズ後の色差分データｄ３４を色キャリアデータに再変換して垂直方向のライン色キャリアデータｄ３５を出力する色キャリア変調部７７と、垂直方向に分布均等化・リサイズされたライン輝度データｄ３２と垂直方向のライン色キャリアデータｄ３５とを再合成し、最終的な垂直方向の分布均等化・リサイズ処理されたＲＡＷデータｄ３６を生成する色配列再現処理部７８を最低限必要な機能として有している。

　色キャリア除去フィルタ処理部７１と色キャリア抽出フィルタ処理部７２とは、図２の第１のフィルタ処理部ｂ１に相当し、垂直分布均等化処理部７３は図２の第２の輝度分布均等化処理部ｂ２に相当し、色反転復調部７４は図２の第２の色反転復調部ｂ４に相当し、垂直輝度リサイズ処理部７５は図２の第２の輝度リサイズ処理部ｂ３に相当し、垂直色差分リサイズ処理部７６は図２の第２の色差分リサイズ処理部ｂ５に相当し、色キャリア変調部７７は図２の第２の色キャリア変調部ｂ６に相当し、色配列再現処理部７８は図２の第２の色配列再現処理部ｂ７に相当する。垂直方向輝度データｄ３０（Ｙ１,Ｙ２,Ｙ３,Ｙ４）は、第３の輝度データに相当し、色キャリアデータＣ１,Ｃ２,Ｃ３は、第２の色キャリアデータに相当し、ライン輝度データｄ３１は第４の輝度データに相当し、色差分データｄ３３は第３の色キャリアデータに相当し、ライン輝度データｄ３２は第５の輝度データに相当し、ライン色差分データｄ３４は第４の色差分データに相当し、垂直方向のライン色キャリアデータｄ３５は第３の色キャリアデータに相当し、ＲＡＷデータｄ３６は第２の複数色配列データに相当する。

　図２３に詳細を示した垂直分布均等化・リサイズ処理機能を用いて、ベイヤー配列の画像について、分布均等化・リサイズ処理する場合を説明する。この処理プロセスは実施例１と同様に、例えば、ＲＡＷ処理結果の動画処理記録をするために用いられる。

　図２３の垂直方向処理単位ｄＨ３,ｄＨ４に示すように、水平分布均等化処理後の４画素混合ＲＡＷデータは、ベイヤー配列の画素配置を反映したモザイク状の配列を保持してかつ垂直方向に画素データ分布が不均衡になっている。複数ラインを同時入力データとするために実施例１の図１６に示したのと同様にしてライン単位でラインメモリＬＭ２に巡回的に書き込まれ、複数ラインまとめて巡回的に読み出される。本説明では１１ラインからなるラインメモリＬＭ２を利用し、１０ラインの出力がまとめて出力される。

　水平分布均等化処理後の１０ライン単位の入力データの各ライン上の水平方向の同一位置の垂直方向データに対して、垂直方向処理単位ｄＨ３は垂直方向にＢとＧの情報が画素毎に繰り返されるＢＧ列データ、垂直方向処理単位ｄＨ４は垂直方向にＧとＲの情報が画素毎に繰り返されるＧＲ列データとなり、この２種類が水平方向に繰り返される。

　これら２種類の垂直方向の列データは垂直方向に２画素周期で変化するナイキスト周波数近傍の色キャリア情報を有しており、色キャリアを除去する色キャリア除去フィルタ処理部７１は、注目中心ラインを含む上下ラインに位置する４種類の垂直方向輝度データｄ３０（Ｙ１,Ｙ２,Ｙ３,Ｙ４）を生成するために、それぞれ垂直方向処理単位ｄＨ３の７画素のデータを用いてフィルタ処理している。ＢとＧの平均値となる４種類の垂直方向輝度データｄ３０（Ｙ１,Ｙ２,Ｙ３,Ｙ４）が、垂直方向処理単位ｄＨ３から出力され、ＧとＲの平均値となる４種類の垂直方向輝度データｄ３０（Ｙ１,Ｙ２,Ｙ３,Ｙ４）が、次の垂直方向処理単位ｄＨ４から出力される。

　また、垂直方向に２画素周期で変化するナイキスト周波数近傍の色キャリアを抽出する色キャリア抽出フィルタ処理部７２は、２種類の垂直方向処理単位ｄＨ３,ｄＨ４から、ＢＧ列に関してはナイキスト周波数で変調された（Ｂ－Ｇ）成分の色キャリアデータを出力し、ＧＲ繰り返しラインに関してはナイキスト周波数で変調された（Ｇ－Ｒ）成分の色キャリアデータを出力する。本実施例では後段で線形補間を用いた垂直輝度リサイズ処理部７５の処理を行うために注目中心ラインを含む上下ラインに位置する３種類の色キャリアデータＣ１,Ｃ２,Ｃ３を生成する。Ｃ１,Ｃ２,Ｃ３はそれぞれ垂直方向処理単位ｄＨ３の上方から１画素ずつ下方にずらした７画素のデータを用いてフィルタ処理している。

　輝度データと色キャリアデータの垂直方向の分布を均等化するため、色キャリア除去フィルタ処理部７１と色キャリア抽出フィルタ処理部７２とは、１０ラインの上から５ライン目を基準の注目ラインとして垂直方向に対称係数をもつフィルタ処理を行う。

　垂直分布均等化処理部７３は、垂直方向に抽出された４種類の垂直方向輝度データｄ３０（Ｙ１,Ｙ２,Ｙ３,Ｙ４）を用いて垂直方向の画素データの分布均等化処理を行い、垂直方向に連続した３種類の垂直分布均等化されたライン輝度データｄ３１を生成する。

　４画素混合による画素データ分布の不均衡に対する分布均等化処理は基本的には実施例１と同様である。実施例１では注目ラインとなる分布均等化された輝度データのみ１系統で出力したが、本実施例では後段で線形補間を用いた垂直輝度リサイズ処理部７５の処理を実施するために、注目ラインとその上下に位置するラインの３ライン分の垂直方向で分布均等化されたライン輝度データを出力する。図２４は垂直方向の偶数ラインの画素データの輝度値を座標の下側シフトに擬制して補間する垂直分布均等化処理部７３の構成を示す。

　周期的な画素データ分布の不均衡をもつ状態で入力されてくるライン輝度データとしては、画像の垂直方向の上辺から下方に隣接するＹ１,Ｙ２,Ｙ３,Ｙ４の４ライン分のデータが入力される。

　データＹ１はラインスイッチ部８５に入力されるとともに乗算器８１にも入力される。乗算器８１はデータＹ１に係数αを乗算し乗算結果を加算器８３に入力する。データＹ２は乗算器８２に入力される。乗算器８２はデータＹ２に係数βを乗算し乗算結果を加算器８３に入力する。加算器８３は、両乗算器８１、８３の乗算データを加算し加算結果を除算器８４に入力する。除算器８４は入力された加算データを（α＋β）で除算し除算結果をラインスイッチ部８５に入力する。ラインスイッチ部８５はデータＹ１のスルーデータ出力と除算器８４の除算データとを１ラインおきに選択して出力する。

　データＹ２はラインスイッチ部９０に入力されるとともに乗算器８６にも入力される。乗算器８６はデータＹ２に係数αを乗算し乗算結果を加算器８８に入力する。データＹ３は乗算器８７に入力される。乗算器８７はデータＹ３に係数βを乗算し乗算結果を加算器８８に入力する。加算器８８は、両乗算器８６、８７の乗算データを加算し加算結果を除算器８９に入力する。除算器８９は入力された加算データを（α＋β）で除算し除算結果をラインスイッチ部９０に入力する。ラインスイッチ部９０はデータＹ２のスルーデータ出力と除算器８９の除算データとを１ラインおきに選択して出力する。

　データＹ３はラインスイッチ部９５に入力されるとともに乗算器９１にも入力される。乗算器９１はデータＹ３に係数αを乗算し乗算結果を加算器９３に入力する。データＹ４は乗算器９２に入力される。乗算器９２はデータＹ４に係数βを乗算し乗算結果を加算器９３に入力する。加算器９３は、両乗算器９１、９２の乗算データを加算し加算結果を除算器９４に入力する。除算器９４は入力された加算データを（α＋β）で除算し除算結果をラインスイッチ部９５に入力する。ラインスイッチ部９５はデータＹ３のスルーデータ出力と除算器９４の除算データとを１ラインおきに選択して出力する。

　画像の垂直方向の偶数ラインに対する分布均等化の動作を説明する。入力されるライン輝度データｄ３０に注目して、原画像の垂直方向の画素データ分布の不均衡を補正するために画像上辺を基準に偶数ライン位置のライン輝度データＬｉｎｅ２とライン輝度データＬｉｎｅ４とに、線形補間処理を用いて分布均等化を行う。制御するケースは２種類である。
（１）データＹ１とデータＹ３として奇数ラインのデータが入力され、データＹ２とデータＹ４として偶数ラインのデータが入力されるケース。
（２）データＹ１とデータＹ３として偶数ラインのデータが入力され、データＹ２とデータＹ４として奇数ラインのデータが入力されるケース。

　上記（１）の状態で、入力奇数ラインのデータＹ１（輝度）とデータＹ３（輝度）とはラインスイッチ部８５とラインスイッチ部９５とによって１ライン期間を通して選択されたうえで、選択されたデータは、垂直方向で分布均等化されたライン輝度データ１と、垂直方向分布均等化されたライン輝度データ３としてラインスイッチ部８５とラインスイッチ部９５とから出力される。入力偶数ラインとなるライン輝度データに下方への分布均等化を行うために次の処理が実施される。すなわち、乗算器８６でデータＹ２に係数αが乗算されてなる乗算データと、乗算器８７でデータＹ３に係数βが乗算されてなる乗算データとが加算器８８で加算されたうえで、その加算データが除算器８９で（α＋β）で除算され、得られた除算データがラインスイッチ部９０で１ライン期間選択される。これにより、垂直方向で分布均等化されたライン輝度データ２が生成され、生成されたライン輝度データ２がラインスイッチ部９０から出力される。

　上記（２）の状態で、入力奇数ラインのデータＹ１（輝度）の下方への分布均等化を行うために次の処理が実施される。すなわち、乗算器８１でデータＹ１に係数αが乗算されてなる乗算データと、乗算器８２でデータＹ２に係数βが乗算されてなる乗算データとが、加算器８３で加算されたうえで、その加算データが除算器８４で（α＋β）で除算され、得られた除算データがラインスイッチ部８５で１ライン期間選択される。これにより垂直方向で分布均等化されたライン輝度データ１が生成され、生成されたライン輝度データ１がラインスイッチ部８５から出力される。

　データＹ２はラインスイッチ部９０で１ライン期間を通して選択されたうえで、垂直方向で分布均等化されたライン輝度データ２として出力される。乗算器９１でデータＹ３に係数αを乗算してなる乗算データと乗算器９２でデータＹ４に係数βを乗算してなる乗算データとが加算器９３で加算されたうえで、その加算データに除算器９４で（α＋β）で除算され、得られた除算データがラインスイッチ部９５で１ライン期間選択される。これにより垂直方向で分布均等化されたライン輝度データ３が生成され、生成されたライン輝度データ１がラインスイッチ部８５から出力される。

　以上のように本処理により、垂直方向の偶数混合後の画素データの輝度値を座標の下側シフトに擬制して補間することができる。実施例１と同様、４画素混合による画素データ分布の不均衡を補正する場合は、隣接する２画素の線形補間で補正処理することから、係数αと係数βとは理論的にはα：β＝２：１となる。ただし、除算器８４,８９,９４による１／（α＋β）の除算処理を簡単化するために、近似値としてα：β＝１０：６またはα：β＝１１：５のように、（α＋β）を２のべき乗（２ⁿ ）の１６とすることにより、処理を簡略化することができる。

　図２５は垂直方向の解像感を保って奇数ラインの画素データの輝度値を座標の上側シフトに擬制して補間する垂直分布均等化処理部７３の構成を示す。基本動作の考え方は図２４と同様であり、補正ラインの垂直方向の解像度を上げるための高域強調処理部１１０を有している。ラインの線形補間処理をする前に垂直高域強調処理を行って垂直方向の解像感を保つ。

　図２６は垂直方向の解像感を保って偶数ラインの画素データの輝度値を座標の下側シフトに擬制して補間する垂直分布均等化処理部７３の構成を示す。基本動作の考え方は図２４と同様であり、補正ラインの垂直方向の解像度を上げるための高域強調処理部１２０を有している。ラインの線形補間処理をして垂直方向に分布均等化処理された出力の補正処理ラインのみに、後処理で垂直高域強調処理を行って垂直方向の解像感を保つ。

　図２３の処理に戻って、上記の垂直方向で分布均等化された３ラインのライン輝度データｄ３１は垂直輝度リサイズ処理部７５の処理により、縮小比率に合わせて３ライン入力の垂直方向での線形補間処理が行われ、線形補間処理後のデータは、ライン単位で垂直方向に分布均等化・リサイズされたライン輝度データｄ３２として間引き出力される。

　垂直方向に変調された３種類の色キャリアデータＣ１,Ｃ２,Ｃ３のそれぞれに対して色反転復調して垂直方向にそれぞれ連続した３種類の色差分データｄ３３は、垂直色差分リサイズ処理部７６により、縮小比率に合わせて３ライン入力の垂直方向での輝度データと同様の線形補間処理が行われ、線形補間処理後のデータはライン単位でＢＧ繰り返しのライン色差分データｄ３４として間引き出力される。

　垂直方向のライン間引きでリサイズされるＢＧ繰り返しのライン色差分データｄ３４には、垂直方向の２画素周期で変化するナイキスト周波数で変調するための等価処理としてライン出力ごとに符号を反転する色キャリア変調部７７での処理が行われる。符号反転処理されたデータは、色配列の周期性が復元された垂直方向のＢＧ繰り返しのライン色キャリアデータｄ３５としてキャリア変調部７７から出力される。

　色配列再現処理部７８は、垂直方向に分布均等化・リサイズされたライン輝度データｄ３２と垂直方向のライン色キャリアデータｄ３５とを再合成する。これにより色配列再現処理部７８は、垂直方向で分布均等化処理リサイズされた最終的なＲＡＷデータｄ３６を生成する。ＲＡＷデータｄ３６は、垂直方向にＢとＧの情報が画素ごとに繰り返されかつ水平・垂直ともにリサイズされたＢＧ繰り返しのラインデータと、垂直方向にＧとＲの情報が画素ごとに繰り返されかつ水平・垂直ともにリサイズされたＧＲ繰り返しのラインデータとからなる。

　なお、本実施例では縮小処理を説明しているが、図２３に示した垂直方向リサイズ処理機能を用いて拡大処理を行う場合も、処理の流れは上記同様の処理となる。ただし、拡大処理時は入力データのライン数に対して出力データのライン数が多くなるため、リサイズ処理後の後段処理を高速に実施する、もしくは連続的な入力データを一時的に停止するとともに、リサイズ処理の前段処理も同期して停止することにより拡大処理が実現できる。

　続いて、分布均等化・リサイズ処理されたＲＡＷデータｄ３６を図２７の画像信号処理部１０に入力して信号処理を行い、最終的な画像（例えばプレビュー表示画像や、撮像素子の画素数よりも小さい規格サイズで記録される動画撮影画像）に変換する。

　このように、本発明の４画素混合ＲＡＷデータに実施する分布均等化・リサイズ処理においては、
・原画像ＲＡＷデータを連続的な輝度データと連続的な色キャリアデータとに分ける、
・連続的な色キャリアデータから独立する状態で連続的な輝度データに分布均等化処理を行う、
・さらに連続的な輝度データにリサイズ処理を行う、
・一方、連続的な色キャリアデータにはリサイズ処理を行う。
ここで、色キャリアデータには、まず符号反転を施し、次いでリサイズ処理を行い、再び符号反転して元の信号形態に戻すという工夫を行ったうえで、分布均等化・リサイズ処理後の連続的な輝度データと、リサイズ処理後の連続的な色キャリアデータとを再合成する。

　このような一連の処理を第１の配列方向とそれに直交する第２の配列方向との両方向で行う。その結果、画素混合による画素データ分布の不均衡を起因とする最終画像における偽信号の発生を防止できる。さらには、輝度信号の最大解像感を確保することができる。このような効果が得られる本発明は、プレビュー表示や動画撮影処理に好適な方法といえる。

　なお、本発明の実施例では、撮像素子で４画素混合後のＲＡＷデータに対して行う水平分布均等化処理と垂直分布均等化処理との両処理の説明をしたが、必要に応じて片方向のみの補正処理を行うことも可能である。また、撮像素子上での画素混合が片側方向の２画素混合のみで出力された場合には、画素混合の方向に合わせて、水平・垂直処理を適宜選択して実施すればよい。

　また、本発明を実施する手段は専用の画像処理装置（画像再生装置や画像加工装置）に限らず、パソコンであってもよい。また、画像処理はその処理の一部または全部をハードウェア（信号処理回路）に限らず、ソフトウェアで実現してもよい。

　さらに、本発明の画像処理プログラムおよび記録媒体は、単独のアプリケーションソフトウェアとして構成されてもよいし、画像加工ソフトウェアやファイル管理用ソフトウェア等のアプリケーションの一部として組み込まれてもよい。また、本発明の画像処理プログラムおよび記録媒体は、パソコン等のコンピュータシステムに適用する場合に限定されず、デジタルカメラや携帯電話機等の情報機器に組み込まれる中央演算処理装置（ＣＰＵ）の動作プログラム、記録媒体としても適用することが可能である。

　本発明にかかわる画像処理装置および画像処理方法は、撮像素子の画素混合により画素データ分布の不均衡があるＲＡＷ原画像を分布均等化してＲＡＷデータを再合成することで、偽輝度信号を低減しつつ解像感を確保したＲＡＷデータを生成することができ、さらに単板カラー撮像素子から得られるＲＡＷ原画像の縮小処理、拡大処理と併せて使用することで、高品質なＲＡＷデータのサイズ変換処理を有する電子スチルカメラ、ＲＡＷデータのサイズ変換処理プログラム等として有用である。

　Ａ１　第１の分布均等化処理部
　Ｂ１　第２の分布均等化処理部
　Ａ２　第１の分布均等化リサイズ処理部
　Ｂ２　第２の分布均等化リサイズ処理部
　ａ１　第１のフィルタ処理部
　ａ２　第１の輝度分布均等化処理部
　ａ３　第１の輝度リサイズ処理部
　ａ４　第１の色反転復調部
　ａ５　第１の色差分リサイズ処理部
　ａ６　第１の色キャリア変調部
　ａ７　第１の色配列再現処理部
　ｂ１　第２のフィルタ処理部
　ｂ２　第２の輝度分布均等化処理部
　ｂ３　第２の輝度リサイズ処理部
　ｂ４　第２の色反転復調部
　ｂ５　第２の色差分リサイズ処理部
　ｂ６　第２の色キャリア変調部
　ｂ７　第２の色配列再現処理部
　Ｈ１,Ｈ１１,Ｈ１２　水平分布均等化処理
　Ｖ１,Ｖ１１,Ｖ１２　垂直分布均等化処理
　Ｈ２,Ｈ２１,Ｈ２２　水平分布均等化・リサイズ処理
　Ｖ２,Ｖ２１,Ｖ２２　垂直分布均等化・リサイズ処理
　ＦＭ１,ＦＭ２　フレームメモリ
　ＬＭ１,ＬＭ２　ラインメモリ
　１　　撮像素子
　１１　色キャリア除去フィルタ処理部
　１２　色キャリア抽出フィルタ処理部
　２０　水平分布均等化処理部
　２７,２８　高域強調処理部
　３０　色配列再現処理部
　３７,３８　高域強調処理部
　４１　色キャリア除去フィルタ処理部
　４２　色キャリア抽出フィルタ処理部
　４３　垂直分布均等化処理部
　４４　色配列再現処理部
　６１　色キャリア除去フィルタ処理部
　６２　色キャリア抽出フィルタ処理部
　６３　水平分布均等化処理部
　６４　水平輝度リサイズ処理部
　６５　色反転復調部
　６６　水平色差分リサイズ処理部
　６７　色キャリア変調部
　６８　色配列再現処理部
　７１　色キャリア除去フィルタ処理部
　７２　色キャリア抽出フィルタ処理部
　７３　垂直分布均等化処理部
　７４　色反転復調部
　７５　垂直輝度リサイズ処理部
　７６　垂直色差分リサイズ処理部
　７７　色キャリア変調部
　７８　色配列再現処理部
　１１０,１２０　高域強調処理部

Claims (34)

1. 　色配列の周期性を有する複数色画素の撮像素子から、互いに直交する第１、第２の配列方向で偶数画素混合出力に起因する画素データ分布の不均衡が生じている原画像ＲＡＷデータが入力されたうえで、入力された前記原画像ＲＡＷデータの前記第１の配列方向の画素データ分布を均等化することで、第１の複数色配列データを生成する第１の分布均等化処理部と、
   　前記第１の複数色配列データが入力されたうえで、入力された前記第１の複数色配列データの前記第２の配列方向の画素データ分布を均等化することで、第２の複数色配列データを生成する第２の分布均等化処理部と、
   　を備え、
   　前記第１の分布均等化処理部は、
   　前記原画像ＲＡＷデータを、前記第１の配列方向に沿った画素単位のフィルタ処理によって、連続的な第１の輝度データと連続的な第１の色キャリアデータとに分ける第１のフィルタ処理部と、
   　前記第１の輝度データの前記第１の配列方向の輝度分布を均等化することで、第２の輝度データを生成する第１の輝度分布均等化処理部と、
   　前記第２の輝度データに前記第１の色キャリアデータを再合成することで、前記第１の複数色配列データを生成する第１の色配列再現処理部と、
   　を備え、
   　前記第２の分布均等化処理部は、
   　前記第１の複数色配列データを、前記第２の配列方向に沿った画素単位のフィルタ処理によって、連続的な第３の輝度データと連続的な第２の色キャリアデータとに分ける第２のフィルタ処理部と、
   　前記第３の輝度データの前記第２の配列方向の輝度分布を均等化することで、第４の輝度データを生成する第２の輝度分布均等化処理部と、
   　前記第４の輝度データに前記第２の色キャリアデータを再合成することで、前記第２の複数色配列データを生成する第２の色配列再現処理部と、
   　を備えている画像処理装置。
2. 　前記第１の複数色配列データを前記第２の分布均等化処理部へ受け渡すバッファをさらに備え、
   　前記バッファは、２次元的に展開される記憶空間を有するフレームメモリを備えており、
   　前記フレームメモリは、当該フレームメモリに前記第１の複数色配列データが書き込まれる方向に対して直交する方向で当該フレームメモリから前記第１の複数色配列データが読み出されて前記第２の分布均等化リサイズ処理部に供給されるように構成されている、
   　請求項１に記載の画像処理装置。
3. 　前記第１の複数色配列データを前記第２の分布均等化処理部へ受け渡すバッファをさらに備え、
   　前記バッファは、複数ラインからなるラインメモリを備えており、
   　前記ラインメモリは、前記第１の複数色配列データがライン毎に当該ラインメモリに書き込まれながら、同時に複数ラインの第１の複数色配列データが当該ラインメモリから読み出されて前記第２の分布均等化処理部に受け渡されるように構成されている、
   　請求項１に記載の画像処理装置。
4. 　色配列の周期性を有する複数色画素の撮像素子から、互いに直交する第１、第２の配列方向で偶数画素混合出力に起因する画素データ分布の不均衡が生じている原画像ＲＡＷデータが入力されたうえで、入力された前記原画像ＲＡＷデータの前記第１の配列方向の画素データ分布を均等化しかつリサイズすることで、第１の複数色配列データを生成する第１の分布均等化リサイズ処理部と、
   　前記第１の複数色配列データの前記第２の配列方向の画素データ分布を均等化しかつリサイズすることで、第２の複数色配列データを生成する第２の分布均等化リサイズ処理部と、
   　を備え、
   　前記第１の分布均等化リサイズ処理部は、
   　前記原画像ＲＡＷデータを、前記第１の配列方向に沿った画素単位のフィルタ処理によって、連続的な第１の輝度データと、符号が交互に反転しかつ色の並びが１画素ごとに異色交互となった連続的な第１の色キャリアデータとに分ける第１のフィルタ処理部と、
   　前記第１の輝度データの前記第１の配列方向の輝度分布を均等化することで、第２の輝度データを生成する第１の輝度分布均等化処理部と、
   　前記第２の輝度データを前記第１の配列方向でリサイズ処理することで、第２－１の輝度データを生成する第１の輝度リサイズ処理部と、
   　前記第１の色キャリアデータを復調することで、連続的で色の並びが同色に揃った第１の色差分データを生成する第１の色反転復調部と、
   　前記第１の色差分データを前記第１の配列方向でリサイズ処理することで、第２の色差分データを生成する第１の色差分リサイズ処理部と、
   　前記第２の色差分データを符号が交互に反転し色配列の周期性が復元された第１－１の色キャリアデータに変調する第１の色キャリア変調部と、
   　前記第２－１の輝度データに、前記第１－１の色キャリアデータを再合成することで、前記第１の複数色配列データを生成する第１の色配列再現処理部と、
   　を備え、
   　前記第２の分布均等化リサイズ処理部は、
   　前記第１の複数色配列データを、前記第２の配列方向に沿った画素単位のフィルタ処理により連続的な第３の輝度データと、符号が交互に反転しかつ色の並びが１画素ごとに異色交互となった連続的な第２の色キャリアデータとに分ける第２のフィルタ処理部と、
   　前記第３の輝度データの前記第２の配列方向の輝度分布を均等化することで、第４の輝度データを生成する第２の輝度分布均等化処理部と、
   　前記第４の輝度データを前記第２の配列方向でリサイズ処理することで、第５の輝度データを生成する第２の輝度リサイズ処理部と、
   　前記第２の色キャリアデータを復調することで連続的で色の並びが同色に揃った第３の色差分データを生成する第２の色反転復調部と、
   　前記第３の色差分データを前記第２の配列方向でリサイズ処理することで、第４の色差分データを生成する第２の色差分リサイズ処理部と、
   　前記第４の色差分データを符号が交互に反転して色配列の周期性が復元された第３の色キャリアデータに変調する第２の色キャリア変調部と、
   　前記第５の輝度データに、前記第３の色キャリアデータを再合成することで、前記第２の複数色配列データを生成する第２の色配列再現処理部と、
   　を備えている画像処理装置。
5. 　前記第１の複数色配列データを前記第２の分布均等化リサイズ処理部へ受け渡すバッファをさらに備え、
   　前記バッファは、２次元的に展開される記憶空間を有するフレームメモリを備えており、
   　前記フレームメモリは、当該フレームメモリに前記第１の複数色配列データが書き込まれる方向に対して直交する方向で当該フレームメモリから前記第１の複数色配列データが読み出されて前記第２の分布均等化リサイズ処理部に供給されるように構成されている、
   　請求項４に記載の画像処理装置。
6. 　前記第１の複数色配列データを前記第２の分布均等化リサイズ処理部へ受け渡すバッファをさらに備え、
   　前記バッファは、複数ラインからなるラインメモリを備えており、
   　前記ラインメモリは、前記第１の複数色配列データがライン毎に当該ラインメモリに書き込まれながら、同時に複数ラインの第１の複数色配列データが当該ラインメモリから読み出されて前記第２の分布均等化リサイズ処理部に受け渡されるように構成されている、
   　請求項４に記載の画像処理装置。
7. 　前記第１の輝度リサイズ処理部と前記第２の色差分リサイズ処理部と前記第２の輝度リサイズ処理部と前記第２の色差分リサイズ処理部とは、そのリサイズ処理として縮小リサイズ処理を行う機能を有している、
   　請求項４に記載の画像処理装置。
8. 　前記第１の輝度リサイズ処理部と前記第１の色差分リサイズ処理部と前記第２の輝度リサイズ処理部と前記第２の色差分リサイズ処理部とは、そのリサイズ処理として拡大リサイズ処理を行う機能を有している、
   　請求項４に記載の画像処理装置。
9. 　前記第１の輝度分布均等化処理部または前記第２の輝度分布均等化処理部による前記輝度データ分布均等化処理は、処理対象画素の輝度データを、複数画素混合前の原画像に設定する任意画素の輝度データに補間処理によって近づける処理であり、かつ前記処理対象画素の両隣の隣接画素のうちで前記処理対象画素からより離れた方の前記隣接画素を構成する異色相当画素を援用画素として設定したうえで、前記処理対象画素の輝度データと前記援用画素の輝度データとの補間処理で得た補間輝度データを前記処理対象画素の輝度データとする処理である、
   　請求項１または４に記載の画像処理装置。
10. 　前記第１の輝度分布均等化処理部または前記第２の輝度分布均等化処理部による前記輝度データ分布均等化処理は、前記隣接画素の中央に位置すると仮定した仮想配置画素と前記援用画素との間の離間距離と、前記処理対象画素と前記仮想配置画素との間の離間距離とを分点公式に代入することで前記処理対象画素の輝度データと前記援用画素の輝度データとを按分し、得られた按分結果から前記補間輝度データを得る処理である、
    　請求項９に記載の画像処理装置。
11. 　前記第１の輝度分布均等化処理部または前記第２の輝度分布均等化処理部による前記輝度データ分布均等化処理は、前記処理対象画素と前記援用画素とは互いに離間する方向に移動して均等分布状態になると仮定した状態での前記処理対象画素を仮想配置画素としたうえで、前記援用画素と前記仮想配置画素との間の離間距離と、前記処理対象画素と前記仮想配置画素との間の離間距離とを、分点公式に代入することで、前記処理対象画素の輝度データと前記援用画素の輝度データとを按分し、得られた按分結果に基づいて前記補間輝度データを得る処理である、
    　請求項９に記載の画像処理装置。
12. 　前記第１の輝度分布均等化処理部と前記第２の輝度分布均等化処理部とは、前記補間処理を行う前に、前記処理対象画素の輝度データの高域強調処理と、前記援用画素の輝度データの高域強調処理とを行うように構成されている、
    　請求項９に記載の画像処理装置。
13. 　前記第１の輝度分布均等化処理部と前記第２の輝度分布均等化処理部とは、前記補間処理を行った後に、前記処理対象画素の輝度データの高域強調処理と、前記援用画素の輝度データの高域強調処理とを行うように構成されている、
    　請求項９に記載の画像処理装置。
14. 　前記原画像ＲＡＷデータは、ＲＧＢベイヤー配列の周期性を有し、水平方向に沿ったＢＧ繰り返しのラインデータとＧＲ繰り返しのラインデータとが垂直方向で交互に出力されるＲＡＷデータである、
    　請求項１または４に記載の画像処理装置。
15. 　前記原画像ＲＡＷデータは、補色フィルタにより周期性を持って色配列された複数色の画素を有する単板カラー撮像素子が取得したＲＡＷデータである、
    　請求項１または４に記載の画像処理装置。
16. 　前記原画像ＲＡＷデータは、補色フィルタによってライン上の画素単位で周期性を持って色配列された複数色の画素と、前記ラインとは異なる他のラインにて周期性を持つことなく配列された単一色の画素とを有する単板カラー撮像素子が取得したＲＡＷデータである、
    　請求項１または４に記載の画像処理装置。
17. 　色配列の周期性を有する複数色画素の撮像素子から、互いに直交する第１、第２の配列方向で偶数画素混合出力に起因する画素データ分布の不均衡が生じている原画像ＲＡＷデータが入力されたうえで、入力された前記原画像ＲＡＷデータの前記第１の配列方向の画素データ分布を均等化することで、第１の複数色配列データを生成する第１の分布均等化処理工程と、
    　前記第１の複数色配列データの前記第２の配列方向の画素データ分布を均等化することで、第２の複数色配列データを生成する第２の分布均等化処理工程と、
    　を含み、
    　前記第１の分布均等化処理工程は、
    　前記原画像ＲＡＷデータを、前記第１の配列方向に沿った画素単位のフィルタ処理によって、連続的な第１の輝度データと連続的な第１の色キャリアデータとに分ける第１のフィルタ処理工程と、
    　前記第１の輝度データの前記第１の配列方向の輝度分布を均等化することで、第２の輝度データを生成する第１の輝度分布均等化処理工程と、
    　前記第２の輝度データに前記第１の色キャリアデータを再合成することで、前記第１の複数色配列データを生成する第１の色配列再現処理工程と、
    　を含み、
    　前記第２の分布均等化処理工程は、
    　前記第１の複数色配列データを、前記第２の配列方向に沿った画素単位のフィルタ処理によって、連続的な第３の輝度データと、連続的な第２の色キャリアデータとに分ける第２のフィルタ処理工程と、
    　前記第３の輝度データの前記第２の配列方向の輝度分布を均等化することで、第４の輝度データを生成する第２の輝度分布均等化処理工程と、
    　前記第４の輝度データに前記第２の色キャリアデータを再合成することで、前記第２の複数色配列データを生成する第２の色配列再現処理工程と、
    　を含む画像処理方法。
18. 　前記第１の複数色配列データを前記第２の分布均等化処理工程へ受け渡すバッファとして、２次元的に展開される記憶空間を有するフレームメモリを用い、前記フレームメモリに前記第１の複数色配列データを書き込む方向に対して直交する方向で、前記フレームメモリから前記第１の複数色配列データを読み出して前記第２の分布均等化リサイズ処理工程に受け渡す、
    　請求項１７に記載の画像処理方法。
19. 　前記第１の複数色配列データを前記第２の分布均等化処理工程へ受け渡すバッファとして、複数ラインからなるラインメモリを用い、前記第１の複数色配列データをライン毎に前記ラインバッファに書き込みながら、同時に複数ラインの第１の複数色配列データを前記ラインバッファから読み出して前記第２の分布均等化処理工程に受け渡す、
    　請求項１７に記載の画像処理方法。
20. 　色配列の周期性を有する複数色画素の撮像素子から、互いに直交する第１、第２の配列方向で偶数画素混合出力に起因する画素データ分布の不均衡が生じている原画像ＲＡＷデータが入力されたうえで、入力された前記原画像ＲＡＷデータの前記第１の配列方向の画素データ分布を均等化しかつリサイズすることで、第１の複数色配列データを生成する第１の分布均等化リサイズ処理工程と、
    　前記第１の複数色配列データの前記第２の配列方向の画素データ分布を均等化しかつリサイズすることで、第２の複数色配列データを生成する第２の分布均等化リサイズ処理工程と、
    　を含み、
    　前記第１の分布均等化リサイズ処理工程は、
    　前記原画像ＲＡＷデータを、前記第１の配列方向に沿った画素単位のフィルタ処理によって、連続的な第１の輝度データと、符号が交互に反転しかつ色の並びが１画素ごとに異色交互となった連続的な第１の色キャリアデータとに分ける第１のフィルタ処理工程と、
    　前記第１の輝度データの前記第１の配列方向の輝度分布を均等化することで、第２の輝度データを生成する第１の輝度分布均等化処理工程と、
    　前記第２の輝度データを前記第１の配列方向でリサイズ処理することで、第２－１の輝度データを生成する第１の輝度リサイズ処理工程と、
    　前記第１の色キャリアデータを復調することで、連続的で色の並びが同色に揃った第１の色差分データを生成する第１の色反転復調工程と、
    　前記第１の色差分データを前記第１の配列方向でリサイズ処理することで、第２の色差分データを生成する第１の色差分リサイズ処理工程と、
    　前記第２の色差分データを符号が交互に反転し色配列の周期性が復元された第１－１の色キャリアデータに変調する第１の色キャリア変調工程と、
    　前記第２－１の輝度データに、前記第１－１の色キャリアデータを再合成することで、前記第１の複数色配列データを生成する第１の色配列再現処理工程と、
    　を含み、
    　前記第２の分布均等化リサイズ処理工程は、
    　前記第１の複数色配列データを、第２の配列方向に沿った画素単位のフィルタ処理により連続的な第３の輝度データと、符号が交互に反転しかつ色の並びが１画素ごとに異色交互となった連続的な第２の色キャリアデータとに分ける第２のフィルタ処理工程と、
    　前記第３の輝度データの前記第２の配列方向の輝度分布を均等化することで、第４の輝度データを生成する第２の輝度分布均等化処理工程と、
    　前記第４の輝度データを前記第２の配列方向でリサイズ処理することで、第５の輝度データを生成する第２の輝度リサイズ処理工程と、
    　前記第２の色キャリアデータを復調することで連続的で色の並びが同色に揃った第３の色差分データを生成する第２の色反転復調工程と、
    　前記第３の色差分データを前記第２の配列方向でリサイズ処理することで、第４の色差分データを生成する第２の色差分リサイズ処理工程と、
    　前記第４の色差分データを符号が交互に反転して色配列の周期性が復元された第３の色キャリアデータに変調する第２の色キャリア変調工程と、
    　前記第５の輝度データに前記第３の色キャリアデータを再合成することで、前記第２の複数色配列データを生成する第２の色配列再現処理工程と、
    　を含む画像処理方法。
21. 　前記第１の複数色配列データを前記第２の分布均等化リサイズ処理工程へ受け渡すバッファとして、２次元的に展開される記憶空間を有するフレームメモリを用い、前記フレームメモリに前記第１の複数色配列データを書き込む方向に対し直交する方向で、前記フレームメモリから前記第１の複数色配列データを読み出して前記第２の分布均等化リサイズ処理工程に受け渡す、
    　請求項２０に記載の画像処理方法。
22. 　前記第１の複数色配列データを前記第２の分布均等化リサイズ処理工程へ受け渡すバッファとして、複数ラインからなるラインメモリを用い、前記第１の複数色配列データをライン毎に前記ラインバッファに書き込みながら、同時に複数ラインの前記第１の複数色配列データを前記ラインバッファから読み出して前記第２の分布均等化リサイズ処理工程に受け渡す、
    　請求項２０に記載の画像処理方法。
23. 　前記第１の輝度リサイズ処理工程と前記第１の色差分リサイズ処理工程と前記第２の輝度リサイズ処理工程と前記第２の色差分リサイズ処理工程とは、そのリサイズ処理として縮小リサイズ処理を行う、
    　請求項２０に記載の画像処理方法。
24. 　前記第１の輝度リサイズ処理工程と前記第１の色差分リサイズ処理工程と前記第２の輝度リサイズ処理工程と前記第２の色差分リサイズ処理工程とは、そのリサイズ処理として拡大リサイズ処理を行う、
    　請求項２０に記載の画像処理方法。
25. 　前記第１の輝度分布均等化処理工程または前記第２の輝度分布均等化処理工程による輝度データ分布均等化処理は、処理対象画素の輝度データを、複数画素混合前の原画像に設定する任意画素の輝度データに補間処理によって近づける処理であり、かつ前記処理対象画素の両隣の隣接画素のうちで前記処理対象画素からより離れた方の前記隣接画素を構成する異色相当画素を援用画素として設定したうえで、前記処理対象画素の輝度データと前記援用画素の輝度データとの補間処理で得た補間輝度データを前記処理対象画素の輝度データとする処理である、
    　請求項１７または２０に記載の画像処理方法。
26. 　前記第１の輝度分布均等化処理工程または前記第２の輝度分布均等化処理工程による前記輝度データ分布均等化処理は、前記隣接画素の中央に位置すると仮定した仮想配置画素と前記援用画素との間の離間距離と、前記処理対象画素と前記仮想配置画素との間の離間距離とを分点公式に代入することで前記処理対象画素の輝度データと前記援用画素の輝度データとを按分し、得られた按分結果から前記補間輝度データを得る処理である、
    　請求項２５に記載の画像処理方法。
27. 　前記第１の輝度分布均等化処理部または前記第２の輝度分布均等化処理部による前記輝度データ分布均等化処理は、前記処理対象画素と前記援用画素とは互いに離間する方向に移動して均等分布状態になると仮定した状態での前記処理対象画素を仮想配置画素としたうえで、前記援用画素と前記仮想配置画素との間の離間距離と、前記処理対象画素と前記仮想配置画素との間の離間距離とを、分点公式に代入することで、前記処理対象画素の輝度データと前記援用画素の輝度データとを按分し、得られた按分結果に基づいて前記補間輝度データを得る処理である、
    　請求項２５に記載の画像処理方法。
28. 　前記第１の輝度分布均等化処理工程と前記第２の輝度分布均等化処理工程とでは、前記補間処理を行う前に、前記処理対象画素の輝度データの高域強調処理を行う、
    　請求項２５に記載の画像処理方法。
29. 　前記第１の輝度分布均等化処理工程と第２の輝度分布均等化処理工程とでは、前記補間処理を行った後に、前記処理対象画素の輝度データの高域強調処理を行う、
    　請求項２５に記載の画像処理方法。
30. 　前記原画像ＲＡＷデータは、ＲＧＢベイヤー配列の周期性を有し、水平方向に沿ったＢＧ繰り返しのラインデータとＧＲ繰り返しのラインデータとが垂直方向で交互に出力されるＲＡＷデータである、
    　請求項１７または２０に記載の画像処理方法。
31. 　前記原画像ＲＡＷデータは、補色フィルタにより周期性をもって色配列された複数色の画素を有する単板カラー撮像素子が取得したＲＡＷデータである、
    　請求項１７または２０に記載の画像処理方法。
32. 　原画像ＲＡＷデータとして、補色フィルタによりライン上の画素単位で周期性を持って色配列された複数色の画素と、前記ラインとは異なる他のラインにて周期性を持つことなく配列された単一色の画素とを有する単板カラー撮像素子が取得したＲＡＷデータである、
    　請求項１７または２０に記載の画像処理方法。
33. 　請求項１７または２０に記載の画像処理方法に対応して作成されたプログラムであって、それぞれの工程に対応した複数のステップを順次、コンピュータで実行させることが可能な画像処理用プログラム。
34. 　請求項３３に記載のプログラムを記録したコンピュータ読み取り可能な画像処理用の記録媒体。

Images