WO2009001956A1 - 画像処理装置、画像処理方法、プログラムおよび撮像装置 - Google Patents

Abstract

　カラー画像の画素位置から、変形処理が施された場合のカラー画像の画素位置に対応する色モザイク画像上の対応するサンプリング座標を算出する座標変換部１４２と、色モザイク画像を分解した複数の色プレーン毎にサンプリング座標における画素値を補間生成するサンプリング部１４３と、各色プレーンの補間値を合成することによりカラー画像を生成する色生成部１４４とを備え、変形処理の施されたカラー画像の各画素値を、サンプリング座標の画素値として色モザイク画像から補間演算により求めることにより、色モザイク画像からカラー画像を生成する色補間処理と当該カラー画像の変形処理とを一度の補間演算によって実現することができるようにする。

Description

明 細 書 理装置、 画像処理方法、 プロ グラムおよび撮像装置 技術分野

本発明は画像処理装置 、 画像処理方法、 プロ グラムおよび撮像装置に 関 し、 特に、 単板式の力 ラ一撮像素子を用レ、て得られた色モザイ ク画像 から、 全画素に複数色の輝度情報を補間 してカ ラー画像を生成するデモ ザイ ク 処理を実行する画像処理装置、 画像処理方法 、 プロ グラムおよび 撮像装置に関する。 背景技術

近年、 消費者へのデジタルカ メ ラの普及が着実に進んでいる。 その理 由の 1 つに、 デジタノレ力 メ ラのコス トが下が り 続け 、 価格が多く の消費 者の手に十分届 く 範囲になつてきている こ と が挙げられる 。 コ ス ト を抑 えるために、 多く のデジタルカ メ ラでは、 レ、わゆる単板式の撮像素子を 採用 している。 単板式のテジタノレカ メ ラでは 、 力 ラ —画像内の各画素の 色情報を取り 込むために、 1 つの撮像素子のみを使用 している。

単板式の撮像素子では、 各画素が単色の色情報 しか持たない 。 と こ ろ が 、 力 ラ ―画像は、 3 つの別々 の単色画像を組み合わせる こ と によ り 表 される。 すなわち、 力 ラ一画像を表示するためには、 赤色 （ R ) 、 緑色

( G ) 、 青色 ( B ) の値すベてが各画素で必要である 。 こ のため単板式 のデジタル力 メ ラは 、 各画素が R , G , B成分の う ちの何れかのみを有 する色モザィ ク画像をも と に して 、 いわゆるデモザィ ク処理 （色補間処 理と も言 0 ) を行つてレゝる (例えば、 特許文献 1， 2 参照） 。 デモザィ ク処理は 、 色モザィ ク画像の各画素の単色情報に対してその周辺画素か ら集めた他の足 り ない色の輝度情報を用いて捕間演算を行う こ とによ り

、 各画素がそれぞれ R , G ， B成分の全てを有する力ラー画像を生成す る処理である。

さ らに、 以上のよ う にして色モザィ ク画像から生成した力ラ一画像に 対して変形処理、 補正処理等の加工を施すこ とがある 。 例えば、 変形処 理の例と して、 デジタルズ一ム処理によ り 力ラ一画像を拡大または縮小 したり 、 手ブレ補正処理によ り 力ラ一画像を回転したりするこ とがある

。 また、 デジタルカメ ラ用のズームレンズでは、 その構成上 、 広角端で 樽型の歪曲収差を持つこ とが多い。 樽型の歪曲収差と糸卷型の歪曲収差 とが混在する、 いわゆる陣笠タイブの歪曲収差もある 。 この歪曲収差を 補正するために力ラー面像を変形処理するこ と もある 。 これらの画像変 形処理は、 変形後の補間位置に当たる各画素の情報を 、 その補間位置の 周辺にある変形前のカラ一画像が持つ複数画素の情報から補間するこ と によって行ってレゝる。

また、 補正処理の例と して、 色収差の補正を行う こ とがある。 デジタ ルカメ ラに用いられる結像光学系のレンズは 、 撮像光の波長によって屈 折率が異なる。 このため 、 R G Bの各色によつて像の倍率が異なってく る。 これによ り 、 撮像素子に結像する像の大き さが色成分毎に異なり 、 図 2 0に示すよ う に、 色成分毎に撮像素子上への結像ズレが発生するこ とが知られている。 これをレンズの倍率色収差 （横色収差） という。 倍 率色収差がある と、 白色点光源を撮影したと き、 特に画面の周辺部が虹 色に色づいて放射方向に伸びるよ う に見えてしま う。 また、 像ズレに 伴って、 画像のエッジ部分が色ズレと して現れ、 画質の品位を損なう と いう問題も生じる。

こ の よ うな色ズ レの発生を抑制するために、 撮像によ り得られたカラ —画像信号に基づいて、 カラー画像内の基準位置からの距離に応じた色 収差量を検出し、 検出した色収差量に基づいて、 カラ一画像信号に色収 差の補正を加えるよ う にした撮像装置が提供されている。 また、 カラー 画像内における有効なエッジを検出 して、 エッジ位置に基づいて、 基準 位置からの距離に応じた色収差量を検出する撮像装置もある。

さ らに、 光学レ ンズ系からの入射像を撮像して R , G， Bの信号を出 力し、 当該 R , G , Bの信号に対して光学レ ンズ系に固有の色収差に応 じた焦点距離補正値を用いてそれぞれ色収差補正 （Gを基準と して、 R ， Bに対して画像の拡大または縮小を行う補正） を行った後、 色収差補 正ざれた R , G , B出力を合成して色収差補正された画像信号を出力す るよ う にしたデジタルカメ ラも提案されている （例えば、 特許文献 3参 照） 。

特許文献 1 ： 特表 2 0 0 4— 5 3 4 4 2 9号公報

特許文献 2 ： 特開 2 0 0 0— 2 7 0 2 9 4号公報

特許文献 3 ： 特開平 6 — 1 1 3 3 0 9号公報 発明の開示

しかしながら、 上記従来の技術では、 色モザイ ク画像からカラー画像 を生成する際に補間処理を行う と と もに、 その後でカラー画像を変形する 際にも別の補間処理を行っている。 すなわち、 画素補間を二里に行つて レゝる 。 このため、 処理負荷が大き く なる とレ、う問題があつた。 また 、 補 間によ り生成した画像に対して更に別の補間を施すので 、 生成される画 像の画質劣化が大きく なるという問題もあつた。

また、 上記従来の技術では、 カラー画像內におけるェクジ位置に基づ いて色収差量を検出する際に、 R， G , Bの相関が正し < 取れず 、 ェッ ジ位置を検出するこ とができない場合がある。 すなわち 、 倍率色収差の 乗ハた色モザイ ク画像においては、 図 2 1 のよ う に 、 R G , Bの色成 分によつてサンプリ ング位置に対する輝度値が異なるため、 各色成分の ェッジ位置が一致しておらず、 高い解像度が得られない。 そのため 、 本 来のェッジ位置がエッジと して認識できず、 エッジ位置を利用 して モ ザィ クを正しく補正できない場合があるという問題があった。

なお 、 特許文献 3に記載されたデジタルカメ ラは単板式ではなく 、 い わゆる 3板式のデジタルカメ ラである。 3板式のデジタルカメ ラは 、 R

， G Bのそれぞれ用に 3つの撮像素子を備え、 それぞれの撮像素子か ら出力される R , G , Bの信号を合成してカラー画像を得るよ う に成さ れている。 3板式の場合、 R , G , Bの画素数は何れも出力画像の画 数と一致しているため、 比較的単純な画像合成でカラー画像を得るこ と がでさる。 すなわち、 出力画像の画素数に比べて R , G , Bの画素数が 何れち少ない単板式のデジタルカメ ラで行っているよ うなデモザィ ク処 理 （色補間処理） は不要である。

これに対して、 単板式のデジタルカメ ラの場合は、 色モザイ ク画像か らカラ一画像を生成する際に補間処理を行う と と もに、 倍率色収差を補 正する際にも別の補間処理を行う必要がある。 すなわち、 画素捕間を二 重に行わなければならない。 このため、 処理負荷が大き く なる という問 題があつた。 また、 補間によ り生成した画像に対して更に別の補間を施 すので 、 生成される画像の画質劣化が大き く なるという問題もあった。 本発明は、 このよ うな問題を解決するために成されたものであり 、 色 モザィ ク画像から変形処理の施された力ラ一画像を生成する際に、 よ り 少なレ、処理負荷で、 画質劣化の少ないカラ一画像を生成できるよ う にす ることを目的とする。

上記した課題を解決するために、 本発明では 、 色モザイ ク画像を同一 の色光の画素値だけを含む複数の色プレーンに分解する色プレーン分解 部と、 力ラー画像の画素位置から色モザィ ク画像上の対応するサンプリ ング座標を算出する座標変換部と 、 複数の色プレーン毎にサンプ y ング 座標における画素値を補間生成するサンプ リ ング部と 、 各色プ レ一ンの 補間値を合成する こ と によ り カ ラ一画像を生成する色生成部と を備え、 座標変換部において、 カ ラ一画像の画素位置から、 画像変形が施された 場合のカ ラー画像の画素位置に対応する色モザィ ク画像上のサンプリ ン グ座標を算出するよ う に している。

こ の よ う に構成 した本発明に れば、 色モザィ ク画像からカ ラー画像 を生成する刖段階と して 、 画像変形が施された場合の力 ラ一画像の画素 位置に対応する色モザィ ク画像上のサンプリ ング座標が算出される。 そ の上で、 当該サンプ ング座標の補間値を求める色補間演算がサンプ リ ング部によ り 行われる こ と によ り 、 画像変形の施された力 ラ一画像の各 画素値が、 サンプ リ ング座標の画素値と して色モザイ ク画像から求め ら れる こ と となる。

これによ り 、 色モザィ ク画像からカ ラ ―画像を生成する色補間処理 （ テモザィ ク処理） と 、 当該カ ラ一画像の変形処理と を一度の補間演算に つて実現する こ と がでさ る。 のため 、 色モザイ ク画像から変形処理 の施された力 ラー画像を生成する際の処理負荷を軽減する こ と ができ る と と もに、 従来のよ ラ に補間処理を二重に行 う こ と によ る画質の劣化も 抑制する とができ る <

また、 本発明の他の態様では、 色モザイ ク画像を同一の色光の画素値 だけを含む複数の色プレーンに分解する色プレ一ン分解部と 、 カ ラ一画 像の画素位置から色モザィ ク画像上の対応するサンプリ ング座標を算出 する座標変換部と 、 複数の色プレーン毎にサンプリ ング座標における画 素値を補間生成するサンプ リ ング部と 、 各色プレー ンの補間値を合成す る こ と によ り カ ラ一画像を生成する色生成部と を備え、 座標変換部にお いて、 複数の色プレ一ン毎に、 色プレーンによつて値の異なる係数を用 いて、 力ラ― 像の画素位置から、 色プレ—ン毎に異なるサンプジ ング 座標を算出するよ うにしてレ、る。

こ のよ う に構成した本発明によれば、 色モザィ ク画像から力ラ ―画像 ブ

を生成す 段階と して、 倍率色収差によ り 生じる各色成分の 像位置 ズレ【こ応じた色プレーン毎の画素位置が 、 カラー画像の画素位置に対応 する色モザィ ク画像上のサンプリ ング座標と して算出 ォしる その上で

、 当該サンプ ング座標の補間値を求める色補間演算がサンプ V ング部 によ り行われるこ とによ り 、 倍率色収差の補正されたカラー画像の各画 素値が、 サンプジ ング座標の画素値と して色モザィ ク画像から求められ ること となる。

これによ り 、 色モザィ ク画像から力ラ一画像を生成する色補間処理 ( デモザィ ク処理 ) と、 結像光学系の倍率色収差を補正する処理とを一度 の補間演算によつて実現するこ とがでさる。 このため、 色モザイ ク画像 から倍率色収差が補正されたカラー画像を生成する際の処理負荷を軽減 するこ とができる と と もに 、 従来のよ ラ に補間処理を二 に行う こ とに よる画質の劣化も抑制するこ とができる。

また、 本発明の他の態様では、 座標変換部は、 色プレ一ンによつて値 の異なる色収差係数に加えて、 カラー画像に対する画像変形を表す画像 変形係数、 撮像装置のブレを補正するためのブレ補正係数 、 撮像 子に 被写体の撮像光を導く ための結像光学系に設定されている焦点距離お び被写体距離に応じて定まる歪曲収差係数の少なく と も 1 つを用いて 、 力ラー画像の画素位置から 、 色プレーン毎に異なるサンプ ング座標を 算出するよ うにしてレ、る。

このよ う に構成した本発明によれば 、 色モザィ ク画像からカラ一画像 を生成する前段階と して、 倍率色収差によ り 生じる色ズレの補正に加え て、 画像変形、 ブ レ補正、 レンズステ ト の歪曲修正などに応じた色プ レーンの画素値が、 カラー画像の画素位置に対応する色モザィ ク画像上 のサンプリ ング座標と して算出され、 当該色ズレの補正に加えて画像変 形などの処理の施されたカラ一画像の各画素値が、 サンプリ ング座標の 画素値と して色モザイク画像から求められるこ と となる。

これによ り 、 色モザイ ク画像からカラ一画像を生成する色補間処理と

、 結像光学系の倍率色収差を補正する処理と、 さ らに力ラ一画像の画像 変形、 ブレ補正、 歪曲修正などの処理とを一度の補間演算によって実現 するこ とができる。 このため、 倍率色収差が補正され、 かつ 、 画像変形 などが施されたカラー画像を色モザィ ク画像から生成する際の処理負荷 を軽減するこ とができる と と もに、 補間処理を何回も行う こ とによる画 質の劣化も抑制することができる。

また、 本発明の他の態様では、 所定の画像を撮影するこ とによって BIJ 記色収差係数を算出する収差係数算出部を備え 、 この色収 係数を用い て、 カラー画像の画素位置から、 色プレーン毎に異なるサンプリ ング座 標を算出するよ うにしてレ、る。

このよ う に構成した本発明によれば、 所定の画像を撮影するこ とによ つて色収差係数を算出する収差係数算出部を備えているので 、 この算出 された色収差係数を用いて、 色モザイク画像から力ラ ―画像を生成する 色捕間処理 （デモザイ ク処理） と、 結像光学系の倍率色収差を補正する 処理とを一度の補間演算によって実現することができる。

また、 本発明の他の態様では、 外部に接続された外部機器に撮影画像 を出力する画像出力部と、 前記外部機器から前記色収差係数を入力する 係数入力手段とを備え、 この入力された色収差係数を用いて、 カラー画 像の画素位置から、 色プレーン毎に異なるサンプリ ング座標を算出する よ うにしている。

このよ う に構成した本発明によれば、 外部に接続された外部機器に撮 影画像を出力する画像出力部と、 前記外部機器から、 前記色収差係数を 入力する係数入力手段と を備えているのでこ の入力された色収差係数を 用いて、 色モザイ ク画像からカラ一画像を生成する色補間処理 （デモザ イ ク処理） と、 結像光学系の倍率色収差を補正する処理とを一度の補間 演算によって実現するこ とができる。 図面の簡単な説明

図 1 は、 本発明に係る画像処理装置を実施した第 1 の実施形態による カラー撮像装置の構成例を示す図である。

図 2は、 第 1 〜第 5 の実施形態によるカラーフ ィ ルタ ア レイ の原色べ ィャ配列を示す図である。

図 3は、 第 1 の実施形態によるデモザィ ク部の機能構成例を示すプロ ック図である。

図 4は、 第 1 の実施形態のデモザィ ク部によ り実行される画像処理の 動作例を示すフローチヤ一トである。

図 5 は、 第 1 の実施形態のデモザイク部によ り実行される画像処理の 一例を具体的に説明するためのイメージ図である。

図 6は、 第 1 の実施形態のバイ リ ニア補間を説明するためのイ メージ 図である。

図 7 は、 第 1 の実施形態のデモザィ ク部によ り 実行される画像処理の 他の例を具体的に説明するためのイメージ図である。

図 8は、 本発明に係る画像処理装置を実施した第 2の実施形態および 第 3の実施形態によるカラー撮像装置の構成例を示す図である。

図 9は、 第 2の実施形態および第 3の実施形態によるデモザイ ク部の 機能構成例を示すブロ ック図である。

図 1 0は、 第 2〜第 5の実施形態のデモザイ ク部によ り 実行される画 像処理の動作例を示すフロ一チヤ一 トである。

図 1 1 は、 第 2の実施形態および第 3の実施形態のデモザイ ク部によ り実行される画像処理の一例を具体的に説明するためのイ メージ図であ る。

図 1 2は、 第 2〜第 5の実施形態のデモザイ ク部によ り実行される画 像処理の他の例を具体的に説明するためのイメージ図である。 図 1 3は、 本発明に係る画像処理装置を実施した第 4 の実施形態によ る力ラ ―撮像装置の構成例を示す図である。

図 1 4は、 第 4 の実施形態による収差係数テープルの一例を示す図で ある

図 1 5は、 第 4の実施形態によるデモザイ ク部の機能構成例を示すブ 口 ック図である。

図 1 6 は、 第 5 の実施形態によるカラー撮像装置の構成例を示す図で ある 図 1 7は、 第 5 の実施形態における色収差量検出の説明図であって、 図 1 7 ( a ) がチャー トの形態を表す図、 図 1 7 ( b ) が撮像素子に対 するチャ ― トの配置を表す図である。

図 1 8 は、 第 5の実施形態における色収差量検出の説明図であって、 図 1 8 ( a ) ( b ) が交点検出の際の説明図、 図 1 8 ( c ) が交点毎に エッジを検出する際の説明図、 図 1 8 ( d ) が交点に対してサンプリ ン グ画素列を設定する際の説明図である。

図 1 9は、 第 5の実施形態におけるエッジ検出の説明図である。

図 2 0は、 レンズの倍率色収差を説明するための図である。

図 2 1 は、 倍率色収差による色ズレを説明するための図である。

図 2 2は、 偽色の抑制を考慮して R G Bのカラー情報を Y U Vのカラ

—情報に変換する際に用いる式を示す図である

図 2 3は、 X 座標と u 座標との関係式を示す図である。 図 2 4は、 ブレ補正を行う際に用いる式を示す図である。

図 2 5は、 色プ レーン間の座標変換を行う際に用いる式を示す図であ る。

図 2 6 は、 各色プ レーン上の X y座標に対応する色モザイ ク画像上の 画素座標の関係式を示す図である。

図 2 7は、 色収差行列を求める際に用いる式を示す図である。 発明を実施するための最良の形態

(第 1 の実施形態）

以下、 本発明の一実施形態を図面に基づいて説明する。 図 1 は、 本発 明に係る画像処理装置を実施した第 1 の実施形態によるカラー撮像装置 1 0 0の構成例を示す図である。 本実施形態のカラ一撮像装置 1 0 0は 、 結像光学系 1 1 0、 単板カラーイメージセ ンサ 1 2 0 、 A D変換部 1 3 0、 デモザイ ク部 1 4 0、 視覚補正部 1 5 0、 圧縮部 1 6 0および記 録部 1 7 0 を備えて構成されている。 この う ち、 デモザイ ク部 1 4 0が 本発明の画像処理装置に相当する。

単板カラーイ メージセンサ 1 2 0は、 結像光学系 1 1 0から出力され た撮像光を所定の色成分に分解するカラ一フ ィ ルタ ア レイ 1 2 1 と、 力 ラ一フ ィ ルタ ア レイ 1 2 1 を通過した撮像光を光電変換して画素信号を 生成する撮像素子 1 2 2 と を備えている。 撮像素子 1 2 2は、 例えば C C D ( Charge Coupled Device ) 、 あるレヽは C M O S ■ ( Complementary Metal Oxide Semiconductor) センサ等で構成される。

結像光学系 1 1 0は、 被写体の撮像光を単板カラーイメージセンサ 1 2 0に導く役割を果たすものである。 例えば、 結像光学系 1 1 0は、 光 学的ロ ーパスフィルタを含め、 撮影レンズや、 赤外線除去フィルタ等か ら構成されている。 なお、 赤外線除去フ ィ ルタは、 単板カラ一イメージ センサ 1 2 0 に入射する赤外線を遮断するためのものであ り 、 光学的口

―パスフィルタの前方に配置され、 1枚のガラスブロ クク と して構成さ れている

単板力 ラ一ィ メ ージセンサ 1 2 0 のカ ラーフ イ ノレタァ レィ 1 2 1 は、 撮像素子 1 2 2 を構成する各画素の受光面上に所定パタ ―ンで規則的に 配置され 像光を所定の色成分にフィ ルタ ングする役割を果たすも のである 本実施形態では、 色成分と して R G， B の 3色を用いた原 色べィャ配列のカラーフィルタアレイ 1 2 1 を使用してレ、る。

原色べィャ配列は、 図 2 に示すよ う に、 G色フィルタを巿松模 で配 置する と と もに、 R色フィルタおよび B色フ ィ ルタを各行に交互に配置 したものである。 なお 、 G色フィルタのう ち、 水平方向の R色フィルタ どう しで挟まれたものを G r 色フイ ノレタ、 水平方向の B色フィノレタ どう しで挟まれたものを G b色フィルタ と称する。

fe像素子 1 2 2は、 受光した撮像光を電気的な画素情報に光電変換し て電荷量と して貯え、 これを 気信号と して A D変換部 1 3 0に出力す る役割を果たすものである。 撮像素子 1 2 2は、 所定パターンで配列さ れた複数の画素 (フ才 トダイォ — ド） を有しており 、 この各画素の受光 面上にカラーフイ ノレタ ア レイ 1 2 1 が上述の原色ベィャ配列で規則的に 配置されている

以上の構成にぉレ、て 、 ¾ ®ίされた被写体は 、 Ψα像光学系 1 1 0 を経て 単板力ラーイ メ —ジセンサ 1 2 0 の撮像素子 1 2 2上に結像する。 この 際、 結像光学系 1 1 0が持つ各種の収差によ り 、 像した被写体像は劣 化したものとなる。 例えば、 被写体上では直線であるものが歪曲収差に よ り 曲線となつた画像となる。

単板カラ一ィメージセンサ 1 2 0は、 撮像素子 1 2 2上に結像した被 写体像を色モザィ ク画像と してアナ口 グ電気信号に変換する。 すなわち 、 カラーフィルタア レイ 1 2 1 は、 図 2 に示すよ う な原色べィャ配列で あり 、 撮像素子 1 2 2の各画素に対して R , G , Bの各色フィルタが並 ベられている。 このため、 被写体の撮像光は、 画素毎に対応した色成分 のみが透過した色モザイ ク画像状態の撮像光となって撮像素子 1 2 2 に 達する。 撮像素子 1 2 2は、 その到達光を光電変換し、 色モザイ ク画像 の電気信号と して AD変換部 1 3 0に出力する。

A D変換部 1 3 0は、 撮像素子 1 2 2 によ り光電変換された色モザィ ク画像のアナ口 グ信号を、 デジタル信号処理が行えるよ う にデジタル信 号に変換する。 なお、 A D変換部 1 3 0で AZD変換された直後の色モ ザイ ク画像は R AWデータ と も呼ばれる。 デモザイ ク部 1 4 0は、 色モ ザイ ク画像からカラ一画像への変換を行う。 本実施形態では、 このと き 同時に画像の変形処理を行う こ とによ り 、 上述した結像光学系 1 1 0の 歪曲収差による画像の画質劣化を補正する。 このデモザィ ク部 1 4 0 に よる画像処理の方法は後に詳しく説明する。

視覚補正部 1 5 0は、 デモザイ ク部 1 4 0 によ り生成されたカラー画 像に対して、 主と して面像の見栄えを良く するための処理を行う。 例え ば、 視覚補正部 1 5 0は、 トーンカーブ （ガンマ） 補正、 彩度強調、 ェ ッジ強調といった画像補正処理を行う。 圧縮部 1 6 0は、 視覚補正部 1 5 0で補正されたカラ一画像を J P E G ( Joint Photographic Experts Group) 等の方法で圧縮し、 記録時のサイズを小さ くする。 記録部 1 7 0 は、 圧縮されたデジタル画像信号をフラ ッシュメ モ リ等の記録媒体 （図 示せず） に記録する。

なお、 デモザイ ク部 1 4 0から記録部 1 7 0までの各構成は、 それぞ れを別体のデバイスと して構成しても良いし、 単一のマイ ク ロプロセッ サで構成しても良い。 後者の場合は、 単一のマイ ク ロプロセッサが、 デ モザイ ク部 1 4 0から記録部 1 7 0までの各構成に係る処理を実行する 図 3 は、 デモザイ ク部 1 4 0 の機能構成例を示すプロ ッ ク図である。 図 4 は、 デモザイ ク部 1 4 0 によ り 実行される画像処理の動作例を示す フ ロ ーチャー ト である。 図 5 は、 デモザイ ク部 1 4 0 によ り 実行される 画像処理の内容を具体的に説明するためのィ メ ージ図である。 図 3 に示 すよ う に、 デモザイ ク部 1 4 0 は、 その機能構成と して、 色プ レーン分 解部 1 4 1 と 、 座標変換部 1 4 2 と 、 サンプリ ング部 1 4 3 と 、 色生成 部 1 4 4 と を備えている。

色プ レーン分解部 1 4 1 は、 A D変換部 1 3 0 よ り 出力 される色モザ ィ ク画像を、 同一の色光の画素値だけを含む複数の色プレーンに分解す る （図 4 のステ ップ S 1 ) 。 本実施形態では、 図 5 に示すよ う に、 R成 分の画素のみを取 り 出 した Rプレーン、 G成分の画素のみを取 り 出 した Gプレーン、 B成分の画素のみを取 り 出 した Bプレーンの 3 つの色プレ —ンに分解する。 分解された各色プ レーンは、 サンプ リ ング部 1 4 3 の 処理に利用される。

座標変換部 1 4 2 は、 カ ラー画像に対する画像変形を表す係数を用い て、 色モザイ ク画像から生成されるカ ラー画像の画素位置から、 変形処 理が施された場合のカ ラー画像 （以下、 変形カ ラ一画像と称する） の画 素位置に対応する色モザィ ク画像上のサンプリ ング座標を算出する （図 4 のステ ップ S 2 ) 。

例えば、 結像光学系 1 1 0 の収差によ り 歪曲 しているカ ラー画像を補 正するために画像変形を行 う場合には、 色モザィ ク画像から生成された 歪曲 しているカ ラー画像に対して非線形の座標変換を行 う。 こ の座標変 換の方法は既知であ り 、 変形カ ラ一画像上の画素位置およびそれが色モ ザイ ク画像上でどの位置 （サンプリ ング座標） に該当するのかについて は、 計算によ り 求められる。 以下に、 サンプリ ング座標の算出手順を詳しく説明する。 まず x y座 標系と して、 原点を画像中心、 最大像高 （原点からの最大距離） を 1 と し、 原点から画面右方向に正の X座標をと り ， 原点から画面下方向に正 の y座標をと るものとする。 この場合、 6 4 0 X 4 8 0の正方画素力、ら なるカラー画像に対して、 u v座標系の画素座標 （ u _d， V _d) を図 2のよ うに画面左上から右方向に （ 0， 0 ) , ( 1 , 0 ) , ( 2 , 0 ) · · · 、 次の行を （ 1 ， 0 ) , ( 1 ， 1 ) , ( 2， 1 ) · · ' と割り振れば、 u v 座標系の画素座標 （ 3 1 9 . 5 , 2 3 9 . 5 ) が x y座標系の原点とな る。 また、 画素座標系の対角長の半分の長さ 4 0 0 = ( 6 4 0 ² + 4 8 0 ² ) ^1/2Z 2が X y座標系の最大像高に対応するため、 画素座標 （ u _d, V _d ) に対応する X y座標 （ X _d， y _d) は、

x _d= ( u _d- 3 1 9 . 5 ) / 4 0 0

y _d= ( v _d- 2 3 9 . 5 ) / 4 0 0

の関係式で表される。

この x y座標 （ x _d, y _d) に対して、 結像光学系 1 1 0の歪曲収差の補 正を考慮した座標変換を以下の式のよ うに行う。

= d V k , r ²+ k 2 r ⁴)

y = y d ( k , r ²+ k ₂ r ⁴)

(ただし、 r ²= _{X d} ² + y _d ²)

なお、 { k ,， k ₂} は結像光学系 1 1 0の歪曲収差を示す係数であり 、 k , は 3次収差係数、 k ₂ は 5次収差係数を示している。 上述のよ うに、 歪 曲収差を含むカラー画像に対して非線形の座標変換を行う方法は既知で あり、 歪曲収差係数 { k ,， k ₂} はシ ミ ュ レーシ ョ ン等によ り求めること が可能である。 この歪曲収差係数 { k ,， k ₂} が、 本発明の画像変形係数 に相当する。

一方、 色モザイ ク画像は 1 6 0 0 X I 2 0 0 の正方画素から成るもの と し、 u v座標系の画素座標 （ u _s, v _s) が上述のカ ラ一画像と同様に割 り 振られている と する と 、 u v座標系の画素座標 （ 7 9 9 . 5， 5 9 9 . 5 ) が x y座標系の原点と な り 、 画素座標系の対角長の半分の長さ 1 0 0 0 = ( 1 6 0 0²+ 1 2 0 0²) ^1/2 2 が X y座標系の最大像高に対応 する。 このため、 変形カ ラー画像上の x y座標 （ X , y ) に対応する色 モザイ ク画像上の画素座標 （ u _s, V _s) は、

u _s= 1 0 0 0 * x + 7 9 9 . 5

v _s= 1 0 0 0 * y + 5 9 9 . 5

と なる。

上述の計算の結果、 画素座標 （ u _s, V J は整数値になる とは限らず、 一般には非整数と なる。 この色モザイ ク画像上の画素座標 （ U _s， V _s) が サンプリ ング座標である。 図 5 では、 こ のサンプ リ ング座標の 1 っを符 号 2 0 0 で示 している。 上述のよ う に、 色モザイ ク画像は 3 つの色プレ ーンに分解されている。 図 5 では、 それぞれの色プレーン上にサンプリ ング座標 2 0 0 を図示 している。 上述のよ う に、 サンプリ ング座標の値 は非整数と なるので、 画素中心からずれた位置にサンプリ ング座標 2 0 0 が存在している。

サンプリ ング部 1 4 3 は、 色プレーン分解部 1 4 1 によ り 分解された 複数の色プレーン毎に、 座標変換部 1 4 2 によ り 算出 されたサンプ リ ン グ座標 2 0 0 における画素値 （サンプリ ング値） を、 色プレーン内に含 まれる同一の色光の画素値から補間生成する （図 4 のステ ップ S 3 ) 。 すなわち、 サンプリ ング部 1 4 3 は、 Rプレーン、 Gプレーンおよび B プレーンのそれぞれから、 サンプリ ング座標 2 0 0 の画素値を補間演算 によ り算出 して出力する。

上述のよ う に、 サンプリ ング座標 2 0 0 の値 （ u _s, V _s) は必ずしも整 数値と は限らないため、 当該サ ンプリ ング座標 2 0 0 を囲む 4 つの有値 画素 （各色プレーンが元々持っている同一色光の画素値） から線形補間 を行 う。 この線形補間は、 好ま しく はバイ リ ニア補間によって行う。 図 5 に示すよ う に、 Rプ レーンおよび Bプ レーンは縦横の格子点状に 有値画素を持っため、 サンプ リ ング座標 2 0 0を囲む 4つの有値画素は 、 当該サンプリ ング座標 2 0 0 を囲む一辺の長さが 2 の正方形の各頂点 に位置する。 例えば、 サンプ リ ング座標 2 0 0力 ( u _s, V _s) = ( 1 0 0 . 8， 1 0 1 . 4 ) であれば、 Rプレーンにおいてこれを囲む 4つの画 素 （ u _d, V _d) = ( 1 0 0 , 1 0 0 ) , ( 1 0 0， 1 0 2 ) , ( 1 0 2， 1 0 0 ) ， （ 1 0 2 , 1 0 2 ) が Rプレーンの有値画素と なる。

当該有値画素の各画素値を R ( 1 0 0， 1 0 0 ) , R ( 1 0 0， 1 0 2 ) , R ( 1 0 2， 1 0 0 ) , R ( 1 0 2 , 1 0 2 ) で表すとする と 、 図 6 のよ う なバイ リ ニア補間によって生成される Rプレーン上でのサンプリ ング座標 2 0 0の補間画素値 R ( 1 0 0. 8 , 1 0 1 . 4 ) は、 次の式 で表される。

R ( 1 0 0. 8 , 1 0 1 . 4 ) = 0. 6 * 0. 3 * R ( 1 0 0 , 1

0 0 ) + 0. 6 * 0. 7 * R ( 1 0 0 , 1 0 2 ) + 0. 4 * 0. 3 * R ( 1 0 2， 1 0 0 ) + 0. 4 * 0. 7 * R ( 1 0 2 , 1 0 2 )

また、 Bプレーンにおいてサンプリ ング座標 2 0 0の位置 （ u _s, V _s) = ( 1 0 0. 8 , 1 0 1 . 4 ) を囲む 4つの画素 （ u _d, V _d) = ( 9 9 , 1 0 1 ) , ( 9 9 , 1 0 3 ) , ( 1 0 1 ， 1 0 1 ) , ( 1 0 1 , 1 0 3 ) が Βプ レーンの有値画素と なる。 当該有値画素の各画素値を Β ( 9 9， 1

0 1 ) , Β ( 9 9 , 1 0 3 ) , Β ( 1 0 1 ， 1 0 1 ) , Β ( 1 0 1 , 1 0 3 ) で表すとする と 、 Βプレーン上でのサンプ リ ング座標 2 0 0の捕間画 素値 Β ( 1 0 0. 8 , 1 0 1 . 4 ) は、 次の式で表される。

Β ( 1 0 0. 8， 1 0 1 . 4 ) = 0. 1 * 0. 8 * Β ( 9 9， 1 0 1 ) + 0. 1 * 0. 2 * Β ( 9 9 , 1 0 3 ) + 0. 9 * 0. 8 * Β ( 1 0 1 , 1 0 1 ) + 0 . 9 * 0. 2 * B ( 1 0 1 , 1 0 3 )

一方、 Gプ レーンは市松状に有値画素を持っため、 サンプ リ ング座標 2 0 0 を囲む 4 つの有値画素は、 当該サンプ リ ング座標 2 0 0 を囲む一 辺の長さが 2の 4 5度傾いた正方形の各頂点に位置する。 この場合、 Gプレーンにおいてサンプリ ング座標 2 0 0 の位置 （ u _s, V _s) = ( 1 0 0 . 8， 1 0 1 . 4 ) を囲む 4 つの画素 （ u _d， V _d) = ( 1 0 0， 1 0 1 ) ， （ 1 0 1 , 1 0 0 ) , ( 1 0 1 , 1 0 2 ) , ( 1 0 2 , 1 0 1 ) 力 プ レーンの有値面素となる。

当該有値画素の各画素値を G ( 1 0 0 , 1 0 1 ) , G ( 1 0 1 , 1 0 0 ) , G ( 1 0 1 , 1 0 2 ) , G ( 1 0 2 , 1 0 1 ) で表すとする と、 Gプ レーン上でのサンプ リ ング座標 2 0 0 の補間画素値 G ( 1 0 0 . 8 , 1 0 1 . 4 ) は、 次の式で表される。

G ( 1 0 0 . 8 , 1 0 1 . 4 ) = 0 . 7 * 0 . 3 * G ( 1 0 0 , 1 0 1 ) + 0 . 3 * 0 . 3 * G ( 1 0 1 , 1 0 0 ) + 0 . 7 * 0 . 7 * G ( 1 0 1 , 1 0 2 ) + 0 . 3 * 0 . 7 * G ( 1 0 2 , 1 0 1 )

色生成部 1 4 4は、 サンプリ ング部 1 4 3 によ り補間生成された各色 プ レーンの補間画素値を合成するこ とによ り 、 各面素値がそれぞれ複数 色の輝度情報を有したカラ一画像を生成する （図 4のステップ S 4 ) 。 例えば、 ある 1つのサンプリ ング座標 （ u _s, V _s) に対してサンプリ ング 部 1 4 3によ り求められた各色プレーンの補間値をそれぞれ R ( u _s) V _s ) , G ( u _s, v J ， B ( u _s, v _s) と した場合、 色生成部 1 4 4は、 こ れら 3つの補間値を合成することによ り、 サンプリ ング座標 （ u _s， V _s) におけるカラ一情報を生成する。

さ らに、 色生成部 1 4 4は、 こ う して求めた R G Bのカラー情報を Y U Vのカラー情報に変換し （Yは輝度情報、 U , Vは色情報） 、 U , V の色情報に対して低周波フ ィ ルタを施す。 なお、 R G Bから Y U Vへの 変換処理および U , Vに対する低周波フィルタの処理は、 公知の処理を 適用するこ とが可能である。 色生成部 1 4 4 は、 以上の処理を変形カラ 一画像の全ての画素 （全てのサンプリ ング座標） について行い、 その結 果得られた変形カラー画像を視覚補正部 1 5 0に出力する。 視覚補正部 1 5 0以降の処理は上述した通りである。

以上詳し <説明したよ う に、 第 1 の実施形態では、 色モザィ ク画像か ら変形カラ一画像を生成する前段階と して、 出力すべき変形カラ一画像 の画素位置に対応する色モザィ ク画像上のサンプリ ング座標 2 0 0 を算 出する。 そして、 変形カラー画像の画素値を、 当該サンプリ ング座標 2

0 0における画素値と して色モザィ ク画像の画素値を用レ、た補間演算に よ り生成するよ うにしてレ、る。

これによ り 、 色モザィ ク画像から力ラー画像を生成する色補間処理と 当該カラー画像の変形処理とを一度の補間演算によって 現するこ とが できる。 このため、 色モザィ ク画像から変形カラ一画像を生成する際の 処理負荷を軽減するこ とができる と と もに、 従来のよ う に - 補間処理を 重に行う ことによる画質の劣化も抑制することができる。

また、 第 1 の実施形態では、 色モザィ ク画像を R , G , B の複数の色 プレーンに分解し 、 色プレーン毎にサンプリ ング座標 2 0 0の補間画素 値を求めてから、 各色プ レーンの補間画素値を合成して 1 画素に 3色の 輝度情報が含まれるカラ一情報を生成するよ うにしている。 のよ う—に するこ とによ り 、 色プレーン内に含まれる同一の色光の画素値から単純 な線形補間によ りサンプリ ング座標 2 0 0の捕間画素値を求めるこ とが でき、 処理負荷を軽減することができる。

なお、 上記第 1 の実施形態では、 色プレーン分解部 1 4 1 は 、 色モザ イ ク画像を R プレーン、 G プレーン、 B プ レーンの 3 つの色プ レ一ンに 分解する例について説明 したが、 これに限定されない 。 例えば 、 図 7 に 示すよ う に、 互いに角 を接する 2 種類の緑色画素 G r , G b を各々異な る色プレーンに分解する よ う に して も良い。 すなわち、 色プレーン分解 部 1 4 1 は、 A D変換部 1 3 0 よ り 出力 される色モザイ ク画像を、 R成 分の画素のみを取 り 出 した Rプレーン、 G r 成分の画素のみを取 り 出 し た G r プレーン、 G b 成分の画素のみを取 り 出 した G b プレー ン、 B成 分の画素のみを取り 出 した Bプレーンの 4 つの色プレーンに分解する。

この場合に色生成部 1 4 4 は、 G r プレーンおよび G b プレーンでそ れぞれサンプ リ ング部 1 4 3 によ り 生成されたサンプリ ング座標 2 0 0 の画素値 （サンプリ ング値） を加算 して、 1 画素内に R , G , Bの各色 成分の輝度情報が含まれるカ ラ一情報を生成する。 例えば、 R成分や B 成分はサンプ リ ング値をそのまま用い、 G成分は G r と G b と の平均値 を用いる。

また、 G成分を G r プレーンと G b プレーンと に分解してサンプリ ン グ座標 2 0 0 の画素値を算出する場合、 デモザイ ク部 1 4 0 は、 G r プ レーンと G b プレーンの各色プレーン上でそれぞれサンプリ ング部 1 4 3 によ り 生成された補間画素値の差分を算出 し、 当該補間画素値の差分 に基づいて偽色の有無を判定する偽色判定部を更に備える よ う に して も 良い。

べィャ配列の単板カ ラ一イ メ ージセンサ 1 2 0 では、 ナイ キス ト周波 数近傍の白黒の縞模様に対し、 赤や青の偽色が発生する と い う 問題があ る。 これに対し、 G r プレーン上で求めたサンプリ ング座標 2 0 0 の補 間画素値と G b プレーン上で求めたサンプリ ング座標 2 0 0 の補間画素 値と の差分を と る こ と で、 縞模様上での偽色の有無を検出する こ と がで き、 偽色がある場合にはこれを抑制する こ とができ る。

すなわち、 G r も G b も本来は同 じ G色フ ィルタなので、 G r プレー ンおよび G b プレーンで求めた補間画素値は双方と も同 じ値になるはず である。 しカゝし、 偽色が生じている と、 G r プレーンおよび G b プレ一 ンで求めた補間画素値に差分が生じる。 よって、 補間画素値の差分を見 るこ と によ り 、 偽色の発生の有無を検出するこ とができる。 偽色が存在 する と判定した場合には、 色生成部 1 4 4 は、 R G B の力ラー情報を Y U Vのカラー情報に変換する際に、 偽色の抑制を考慮した図 2 2 の式に よって変換処理を行う。

また、 上記第 1 の実施形態では、 カラ一画像に対する変形処理の例と して歪曲修正を挙げて説明 したが、 これに限定されない。 例えば 上記 歪曲修正のための面像変形に代えて、 またはこれに加えて、 力ラ 画像 の拡大、 縮小、 回転のう ち少なく と も 1つを含む処理を行う場合にち、 本実施形態のデモザイ ク部 1 4 0 を適用するこ とが可能である。 の場 合、 拡大、 縮小、 回転は例えばァフ ィ ン変換で表すこ とが可能であり 、 そのァフィ ン変換を表す係数を画像変形係数と して用いる。

(第 2 の実施形態）

以下、 本発明の第 2の実施形態を図面に基づいて説明する。 図 8は、 本発明に係る画像処理装置を実施した第 2 の実施形態によるカラー撮像 装置 1 0 0 ' の構成例を示す図である。 図 8 に示すよ う に、 第 2 の実施 形態のカラ一撮像装置 1 0 0 ' は、 結像光学系 1 1 0、 単板カラ一ィメ一 ジセンサ 1 2 0 、 A D変換部 1 3 0、 デモザイ ク部 1 4 0 ' 、 視覚補正部 1 5 0、 圧縮部 1 6 0および記録部 1 7 0を備えて構成されている。 この う ち、 デモザイク部 1 4 0 ' が本発明の画像処理装置に相当する。 なお、 図 8において、 図 1 に示した符号と同一の符号を付したものは同一の機能 を有するものであるので、 こ こでは重複する説明を省略する。

第 2 の実施形態において、 撮影された被写体は、 結像光学系 1 1 0 を 経て単板カラーイ メージセンサ 1 2 0 の撮像素子 1 2 2上に結像する。 こ の際、 結像光学系 1 1 0 の倍率色収差によ り 、 R， G， B の色成分毎 に撮像素子 1 2 2上での結像ズレ （色ズ レ） が生じた画像となる。 デモ ザイ ク部 1 4 0 ' は、 色モザイ ク画像からカラ一画像への変換を行う。 本実施形態では、 このと き同時に倍率色収差の補正処理を行う こ とによ り 、 上述した結像光学系 1 1 0 の倍率色収差による色ズレを補正する。 図 9 は、 デモザイク部 1 4 0 ' の機能構成例を示すブロ ック図である 。 図 1 0は、 デモザイク部 1 4 0 ' によ り実行される画像処理の動作例を 示すフ ローチャー トである。 図 1 1 は、 デモザイ ク部 1 4 0， によ り実行 される画像処理の内容を具体的に説明するためのイメージ図である。 図 9 に示すよ う に、 デモザイ ク部 1 4 0 ' は、 その機能構成と して、 色プレーン分解部 1 4 1 と、 座標変換部 1 4 2 , と、 サンプジ ング部 1

4 3 ' と 、 色生成部 1 4 4 とを備えている。 なお 、 図 9 におレ、て、 図 3 ίこ示した符号と同一の符号を付したものは同一の機能を有するものであ るので、 ここでは異なる部分を重点的に説明する。

色プ レ —ン分解部 1 4 1 は、 図 1 1 に示すよ う に、 A D変換部 1 3 0 よ り 出力される色モザイ ク画像を、 R成分の画素のみを取り 出した Rプ レーン、 G成分の画素のみを取り 出した Gプレ一ン、 B成分の画素のみ を取り 出した Β プ レーンの 3 つの色プレーンに分解する （図 1 0 のステ ップ S 1 1 ) ο

座標変換部 1 4 2 ' は、 色モザイ ク画像から生成される力ラ一画像の 画素位置から、 色収差補正が施された場合の力ラ一画像の画素位置に対 応する色モザィ ク画像上のサンプリ ング座標を算出する （図 1 0のステ ップ S 1 2 ) 。 本実施形態では特に、 座標変換部 1 4 2 ' は 、 色プレ一 ン分解部 1 4 1 によ り分解された複数の色プレ一ン毎に、 色プレ一ンに よって値の異なる色収差係数を用いて、 色プレ一ン毎に異なるサンプリ ング座標を算出する。 すなわち、 色モザイ ク画像には結像光学系 1 1 0 の倍率色収差の影響があるが、 カラ一画像にはその影響が現れないよ う にするため、 サンプリ ング座標は、 異なる色光に対応する色プ レーンに 対して異なる値を与えるよ うにする。

以下に、 第 2 の実施形態によるサンプリ ング座標の算出手順を詳しく 説明する。 なお、 こ こ で考慮する x y座標系は第 1 の実施形態と同様で あり、 画素座標 （ u _d, V _d) に対応する x y座標 （ x _d, y _d) は、

x _d= ( u _d- 3 1 9 . 5 ) / 4 0 0

Y d= ( v _d- 2 3 9 . 5 ) / 4 0 0

の関係式で表される。

この x y座標 （ x _d， y _d) に対して、 結像光学系 1 1 0 の倍率色収差の 補正を考慮した座標変換を以下の式のよ う に行う。 こ こ では、 Rプレー ン、 Gプ レーン、 B プ レーンの 3 つの色プレーン毎に座標変換を別々に 行っている。

X _R= X _d * k _{R ¾} y _R= y d * k R

x _G= x _d * 1 、 y c= y a * 1

X _B= X _d * k B , y B= Υ d * k B

なお、 { k _R, k _B} は結像光学系 1 1 0 の倍率色収差を示す係数であり 、 k _R は G成分に対する R成分の倍率、 k _B は G成分に対する B成分の倍 率を示している。 これらの色収差係数 { k _R， k _B} は光学シミ ュ レーショ ン等によ り求めるこ とが可能である。

一方、 色モザイ ク画像は 1 6 0 0 X 1 2 0 0 の正方画素から成るもの と し、 u v座標系の画素座標 （ u _s, V _s) が上述のカラ一画像と同様に割 り振られている とする と、 u v座標系の画素座標 （ 7 9 9 . 5 , 5 9 9 . 5 ) が x y座標系の原点となり 、 画素座標系の対角長の半分の長さ 1 0 0 0 = ( 1 6 0 0²+ 1 2 0 0²) ^>/2/ 2が X y座標系の最大像高に対応 する。 このため、 色収差補正されたカラー画像の各色プレーン上の x y に対応する色モザィ ク画像上 画素座標 ( u sK ， V ( u sG sG

u _SR= 1 0 0 0 * X _f + 7 9 9 . 5

s_R= 1 0 0 0 * y ,+ 5 9 9 . 5

U _sG= 1 0 0 0 * X ；+ 7 9 9 . 5

sG= 1 0 0 0 * y ；+ 5 9 9 . 5

U sB= 1 0 0 0 * X B ,+ 7 9 9 . 5

s_B= 1 0 0 0 * y B ；+ 5 9 9 • 5

となる。

上述の計算の結果、 画素座標 （ U _sR， V _sR) ( U _sG, V _sG) ( U _{sB )} V _sB

) は何れも整数値になる と は限らず、 一般には非整数と なる。 こ の色モ ザイ ク画像上の画素座標 （ U _sR, V _sR) ( U _{sG )} V _sG) ( U _sB， V _sB) が色 プレーン毎のサンプリ ング座標である。 図 1 1 では、 Rプレーン上のサ ンプ リ ング座標を符号 3 0 1 で示し、 Gプレーン上のサンプリ ング座標 を符号 3 0 2 で示 し、 B プレーン上のサンプ リ ング座標を符号 3 0 3 で 示している。 上述のよ う に、 サンプリ ング座標の値は非整数と なるので 、 画素中心からずれた位置に各色プ レーンのサンプリ ング座標 3 0 1 ， 3 0 2 , 3 0 3 が存在してレ、る。

サンプ リ ング部 1 4 3 ' は、 色プレーン分解部 1 4 1 によ り 分解され た複数の色プレーン毎に、 座標変換部 1 4 2 ' によ り 算出された色プレ ーン毎のサンプリ ング座標 3 0 1 ， 3 0 2 , 3 0 3 における画素値 （サ ンプ リ ング値） を、 色プレーン内に含まれる同一の色光の画素値から補 間生成する （図 1 0 のステ ップ S 1 3 ) 。 すなわち、 サンプ リ ング部 1 4 3 ' は、 Rプレーン、 Gプレーンおよび B プレーンのそれぞれ力ゝら、 サンプリ ング座標 3 0 1 , 3 0 2 , 3 0 3 の画素値を補間演算によ り 算 出 して出力する。 上述のよ う に、 サンプリ ング座標 3 0 1 , 3 0 2 , 3 0 3の値 （ u _sR，

V _sR) ( U _sG, V _sC) ( U _{sB )} V _sB) は必ずしも整数値と は限らないため、 当該サンプリ ング座標 3 0 1 ， 3 0 2 , 3 0 3 を囲む 4つの有値画素 （ 各色プレーンが元々持っている同一色光の画素値） から補間を行 う。 こ の捕間は、 好ま しく はバイ リ ニア補間によって行う。

図 1 1 に示すよ う に、 Rプレーンおよび Bプレーンは縦横の格子点状 に有値画素を持っため、 サンプリ ング座標 3 0 1 , 3 0 3 を囲む 4つの 有値画素は、 当該サンプリ ング座標 3 0 1 ， 3 0 3 を囲む一辺の長さが 2の正方形の各頂点に位置する。 例えば、 Rプレーンのサンプリ ング座 標 3 0 1 力 S ( u _sR, V _sR) = ( 1 0 0. 8， 1 0 1 . 4 ) であれば、 Rプ レーンにおいてこれを囲む 4つの画素 （ u_d, V _d) = ( 1 0 0 ， 1 0 0 )

, ( 1 0 0 , 1 0 2 ) , ( 1 0 2 , 1 0 0 ) ， （ 1 0 2， 1 0 2 ) が Rプレ 一ンの有値画素と なる。

当該有値画素の各画素値を R ( 1 0 0 , 1 0 0 ) , R ( 1 0 0 ， 1 0 2

) ， R ( 1 0 2 , 1 0 0 ) , R ( 1 0 2 , 1 0 2 ) で表すとする と 、 図 6 のよ う なバイ リ ニァ補間によって生成される Rプレーン上でのサンプリ ング座標 3 0 1 の補間画素値 R ( 1 0 0. 8 , 1 0 1 . 4 ) は 、 次の式 で表される。

R ( 1 0 0 . 8， 1 0 1 . 4 ) = 0. 6 * 0. 3 * R ( 1 0 0 , 1

0 0 ) + 0. 6 * 0. 7 * R ( 1 0 0 , 1 0 2 ) + 0. 4 * 0 3 * R

( 1 0 2 , 1 0 0 ) + 0. 4 * 0. 7 * R ( 1 0 2 , 1 0 2 )

一方、 Gプレーンは市松状に有値画素を持っため、 サンプ ング座標

3 0 2 を囲む 4つの有値画素は、 当該サンプ リ ング座標 3 0 2 を囲む一 辺の長さ が/" 2 の 4 5度傾いた正方形の各頂点に位置する。 この ½ α、

Gプレーンにおいてサンプリ ング座標 3 0 2力 S ( u _sG， V _sC) ( 1 0 1

. 0 , 1 0 1 . 4 ) であれば、 これを囲む 4つの画素 （ u_d, V d ,) = ( 1 0 0 , 1 0 1 ) , ( 1 0 1 , 1 0 0 ) , ( 1 0 1 , 1 0 2 ) ， （ 1 0 2， 1 0 1 ) が Gプレーンの有値画素となる。

当該有値画素の各画素値を G ( 1 0 0 , 1 0 1 ) , G ( 1 0 1 , 1 0 0 ) , G ( 1 0 1 , 1 0 2 ) ， G ( 1 0 2 , 1 0 1 ) で表すとする と、 Gプ レーン上でのサンプリ ング座標 3 0 2の補間画素値 G ( 1 0 1 . 0 , 1 0 1 . 4 ) は、 次の式で表される。

G ( 1 0 1 . 0 , 1 0 1 . 4 ) = 0 . 7 * 0 . 3 * G ( 1 0 0 , 1 0 1 ) + 0 . 3 * 0 . 3 * G ( 1 0 1 , 1 0 0 ) + 0 . 7 * 0 . 7 * G ( 1 0 1 , 1 0 2 ) + 0. 3 * 0. 7 * G ( 1 0 2 , 1 0 1 )

色生成部 1 4 4 は、 サンプリ ング部 1 4 3 ' によ り補間生成された各 色プレーンの補間画素値を合成するこ とによ り 、 各画素値がそれぞれ複 数色の輝度情報を有したカラ一画像を生成する （図 1 0のステ ップ S 1 4 ) 。 さ らに、 色生成部 1 4 4は、 こ う して求めた R G B のカラ一情報 を Y U Vのカラー情報に変換し （Yは輝度情報、 U , Vは色情報） 、 U ， Vの色情報に対して低周波フィルタを施す。 なお、 R G Bから Y U V への変換処理および U， Vに対する低周波フィルタの処理は、 公知の処 理を適用するこ とが可能である。 色生成部 1 4 4は、 以上の処理をカラ 一画像の全ての画素 （全てのサンプリ ング座標） について行い、 その結 果得られた変形カラー画像を視覚補正部 1 5 0に出力する。 視覚補正部 1 5 0以降の処理は上述した通りである。

色生成部 1 4 4 の処理で用いるサンプリ ング座標 3 0 1 , 3 0 2， 3 0 3の補間画素値 R ( u _sR， V _sR) ， G ( u _sG， v _sG) , Β ( u _sB， ν _sB) は倍率色収差の色ズレが考慮されており 、 被写体上の同一部分を示すよ うになつている。 このため、 被写体上に白黒の境界がある部分で、 R , G , Bは同時に変化する。 これによ り 、 R， G , Bの各色成分を合成し たカラ一画像は、 シャープな輝度信号を得るこ とができる。 すなわち、 倍率色収差のない結像光学系で撮 ,影されるのと同等の力フ 画像を得る こ とができる

以上詳し <説明したよ う に、 第 2 の実施形態では 、 色モザィ ク画像か らカラー画像を生成する前段階と して 、 出力すベさ力ラ一画像の画素位 置から、 当該カラ一画像の画素位置に対応する色モザィ ク画像上の位置 であって、 倍率色収差を考慮して調 した位置であるサンプ y ング座標

3 0 1 , 3 0 2， 3 0 3 を色プレ一ン毎に算出する 。 そして 、 当該サン プリ ング座標 3 0 1， 3 0 2， 3 0 3 における画素値を 、 色モザイ ク画 像の画素値を用いた補間演算によ り生成するよ うにしている。

これによ り 、 色モザイ ク画像からカラー 像を生成する色補間処理と 当該力ラー画像の倍率色収差補正処理とを一度の補間演算によって実現 するこ とができる。 このため、 色モザイ ク画像から色収差補正された力 ラ一画像を生成する際の処理負荷を軽減するこ とができる と と もに、 従 来のよ う に補間処理を二重に行う こ とによる画質の劣化も抑制するこ と ができ

また 、 第 2の実施形態では、 色モザイ ク画像を R , G , Bの複数の色 プレーンに分解し、 色プレーン毎にサンプ y ング座標 3 0 1， 3 0 2，

3 0 3 の補間画素値を求めてから 、 各色プレ一ンの補間画素値を合成し て 1 画素に 3色の輝度情報が含まれるカラ一情報を生成するよ う にして いる。 このよ うにするこ とによ り 、 色プレ ―ン内に含まれる同一の色光 の画素値から単純な線形補間によ りサンプ ング座標 3 0 1 , 3 0 2 ,

3 0 3 の補間画素値を求めるこ とができ、 処理負荷を軽減するこ とがで さる。

なお 、 上記第 2 の実施形態では 、 色プ レ ―ン分解部 1 4 1 は、 色モザ イ ク 画像を R プ レーン、 G プ レーン 、 B プ レ ―ンの 3 つの色プ レーンに 分解する例について説明 したが、 れに限定されない。 例えば、 図 1 2 に示すよ ラ に、 互いに角を接する 2 緑色画素 G r， G b を各々異 なる色プレ一ンに分解する よ う に しても良い。 すなわち 、 色プレーン分 解部 1 4 1 は 、 A D変換部 1 3 0 よ り 出力 される色モザィ ク画像を、 R 成分の画 のみを取 り 出 した Rプレ ―ン、 G r 成分の画素のみを取 り 出 した G r プレ ―ン、 G b 成分の画素のみを取 り 出 した G b プレーン、 B 成分の画 のみを取 り 出 した B プレ ―ンの 4 つの色プレ ―ンに分解する m

o

ム

口 に色生成部 1 4 4 は、 G Γ プレーンおよび G b プレ一ンでそ れぞれサンプ リ ング部 1 4 3 ' によ り 生成されたサンプ y ング座標 3 0

2 の画素値 (サンプリ ング値） を加算 して 、 1 画素內に R , G , B の各 色成分の輝度情報が含まれるカ ラ一情報を生成する。 例えば、 R成分や

B成分はサンプリ ング値をそのまま用い、 G成分は G r と G b と の平均 値を用いる o

また、 G成分を G r プレーンと G b プレーンと に分解してサンプリ ン グ座標 3 0 2 の画素値を算出する場 α 、 ァモザイ ク部 1 4 0 ' は、 G r プレーン と G b プレーンの各色プレ一ン上でそれぞれサンプリ ング部 1 によ り 生成された捕間画素値の差分を算出 し、 当該補間画素値の 差分に基づいて偽色の有無を判定する偽色判定部を更に備える よ う に し ても良い。

べィ ャ配列の単板カ ラ —イ メ ージセンサ 1 2 0 では、 ナイ キス ト周波 数近傍の白黒の縞模様に対し、 赤や青の偽色が発生する と い ラ 問題があ る。 これに対 し 、 G r プレーン上で求めたサンプリ ング座標 3 0 2 の補 間画素値と G b プ レーン上で求めたサンプリ ング座標 3 0 2 の補間画素 値と の差分を と る こ と で 、 縞模様上での偽色の有無を検出する こ と がで き、 偽色がある場合にはこれを抑制する こ と ができ る。

すなわち、 G r も G b も本来は同 じ G色フ イノレタなので、 G Γ プレ ― ンおよび G b プ レーンで求めた補間画素値は双方と も同じ値になるはず である。 しかし、 偽色が生じている と、 G r プレ一ンおよび G bプレ一 ンで求めた補間画素値に差分が生じる。 よつて 、 補間画素値の差分を見 るこ とによ り 、 偽色の発生の有無を検出するこ とができる た、 色生 成部 1 4 4は、 R G B のカラー情報を Y U Vの力ラ一情報に変換する際 に、 図 2 2の式によって変換処理を行う。

(第 3の実施形態）

次に、 本発明の第 3 の実施形態を図面に基づいて説明す 本発明に 係る画像処理装置を実施した第 3の実施形態に るカラ一撮像装置の構 成は、 図 8 と同様である。 また、 デモザイ ク部 1 4 0 ' の機能構成は、 図 9 と同様である。 ただし、 デモザイク部 1 4 0 ， が備える座標変換部

1 4 2 ' の処理内容が第 2の実施形態と異なつてレ、る。 以下では、 第 2 の実施形態と異なる部分を中心に説明する。

第 3 の実施形態において 、 座標変換部 1 4 2 ' は 、 色プ レーン分解部

1 4 1 によ り分解された複数の色プ レーン毎に、 色プ レー ンによって値 の異なる色収差係数と、 力ラー画像に対する画像変形を表す画像変形係 数と を用いて、 カラー画像の画素位置から、 色収差補正および画像変形 が施された場合のカラー画像の面素位置に対応する色モザィ ク画像上の サンプリ ング座標であつて色プレーン毎に異なるサンプリ ング座標を算 出す

ここ では画像変形の例と して、 結像光学系 1 1 0の歪曲収差を補正す るための変形処理を例に挙げて説明する。 結像光学系 1 1 0に歪曲収差 カ ある と、 結像光学系 1 1 0 を経て単板力ラ一ィ メージセンサ 1 2 0 の tR像素子 1 2 2上に結像した被写体像は劣化したものとなる。 すなわち

、 被写体上では直線であるも のが歪曲収差によ り 曲線となった画像とな る。 第 3の実施形態では、 倍率色収差による画質劣化に加えて、 歪曲収 差による画質劣化も同時に補正する。

そのために座標変換部 1 4 2 ' は、 色モザイ ク画像から生成される力 ラー画像の画素位置から、 倍率色収差および歪曲収差の補正を考慮した 色モザイ ク画像上のサンプリ ング座標を色プレーン毎に算出する。 具体 的には、 座標変換部 1 4 2 ' は、 x y座標 （ x _d， y _d) に対して、 結像光 学系 1 1 0の倍率色収差と歪曲収差の補正を考慮した座標変換を以下の 式のよ うに行う （ただし、 r ²= X _d ²+ y _d ²) 。

x 1 — ^X d ( k + k 1 r ²+ k ₂ r ⁴) + 2 p , x < j y d + p 2 ( r ² + 2 x _d ²) y 1 Υ d ( k + k . Γ ²+ k ₂ r ⁴) + 2 p ₂ x < i y d + p i ( r ² + 2 y _d ²) ( ；一 ^X d ( 1 + k ₍ r : ^!+ k ₂ ： r ⁴) + 2 p , x d y d + p 2 ( r ² + 2 x _d ^{: 2}) y , y d ( 1 + k , r : ^!+ k ₂ r ⁴) + 2 p ₂ x d y d + p i ( r ² + 2 y _d ^{: 2}) 1 ― X d ( k B + k 1 r ²+ k ⁴) + 2 p , X c i y a + p 2 ( r ² + 2 x _d ²) y i y d ( k B + k 1 Γ ²+ k ₂ r ⁴) + 2 p ₂ X c i y d + p i ( r ² + 2 y _d ²) こ こで、 { k ,， k ₂} は結像光学系 1 1 0 の歪曲収差を示す係数であり 、 k ,は 3次収差係数、 k ₂は 5次収差係数を示している。

なお、 結像光学系 1 1 0の収差によ り歪曲しているカラー画像を補正 するために画像変形を行う場合には、 色モザィ ク画像から生成された歪 曲しているカラー画像に対して非線形の座標変換を行う。 歪曲収差を含 むカラー画像に対して非線形の座標変換を行う方法は既知であり 、 上述 の歪曲収差係数 { k ,， k ₂} はシミ ュ レーショ ン等によ り求めることが可 能である。 この歪曲収差係数 { k ,, k ₂} が、 本発明の画像変形係数に相 当する。

これらの x y座標 （ X _R， y _R) ( x c, y _c) ( x _B. y _B) から色モザィ ク画像上の画素座標 （ u _sR, V _sR) ( u _sG, v _sG) ( u _sB, v _sB) を求める 演算は、 第 2 の実施形態において x y座標 （ X , y ) から色モザイ ク画 像上の画素座標 （ u _s , _s) を求めた演算と同様であり 、 以下の式のよ う に求められる。

u _s 1 0 0 0 * X 7 9 9 . 5

1 0 0 0 * 5 9 9 . 5

s 1 0 0 0 * _G + 7 9 9 . 5

v _s 1 0 0 0 * y , _G + 5 9 9 . 5

1 0 0 0 * 7 9 9 . 5

1 0 0 0 * 5 9 9 . 5

次に、 サンプリ ング部 1 4 3 ' は、 以上のよ う にして座標変換部 1 4 2 ' によ り算出された色プレーン毎のサンプリ ング座標における画素値 (サンプリ ング値） を、 色プレーン内に含まれる同一の色光の画素値か ら補間生成する。 また、 色生成部 1 4 4は、 サンプリ ング部 1 4 3 ' に よ り補間生成された各色プ レーンの補間画素値を合成するこ とによ り 、 各画素値がそれぞれ複数色の輝度情報を有したカラー画像を生成する。 以上詳しく説明したよ う に、 第 3の実施形態によれば、 色モザイ ク画 像からカラー画像を生成する色補間処理と、 結像光学系 1 1 0 の倍率色 収差を補正する処理と、 さ らに結像光学系 1 1 0 の歪曲収差を補正する ためのカラ一画像の画像変形処理とを一度の補間演算によって実現する ことができる。 このため、 倍率色収差が補正され、 かつ、 歪曲収差も補 正された変形力ラー画像を色モザイ ク画像から生成する際の処理負 軽減するこ とができる と と もに、 補間処理を何回も行ラ こ とによる の劣化も抑制するこ とができる。

なお、 上記第 3の実施形態では 、 画像変形の例と して 、 像光学

1 0の歪曲収差を補正するための変形処理を例に挙げて説明 したが れに限定される ものではない。 例えば、 画像変形は、 テジタルズ一 理によるカラー画像の拡大または縮小、 手ブレ補正処理による力ラ 像の回転な どであって も良い。 この場合、 拡大、 縮小、 回転は例えばァ フ ィ ン変換で表すこ と が可能であ り 、 そのァフ ィ ン変換を表す係数を画 像変形係数と して用いる。

(第 4 の実施形態）

次に、 本発明の第 4 の実施形態を図面に づいて説明する。 図 1 3 は

、 本発明に係る画像処理装置を実施 した第 4 の実施形態によ る力 ラ ~ fe 像装置 1 0 0，， の構成例を示す図である。 なお、 図 1 3 において 、 図 8 に示 した符号と 同一の符号を付したものは同一の機能を有する ちのであ るので、 こ こでは重複する説明を省略する。

図 1 3 に示すよ う に、 第 4 の実施形態の力 ラー撮像装置 1 0 0 は、 結像光学系 1 1 0 " 、 単板カ ラ一イ メ ージセンサ 1 2 0、 A D変換部 1

3 0 、 デモザィ ク部 1 4 0 " 、 視覚補正部 1 5 0 、 圧縮部 1 6 0 、 記録 部 1 7 0 、 ブ レ検出部 1 8 0 、 収差係数設定部 1 9 0 、 キヤ リ ブレ一シ ョ ン部 2 0 0 および収差係数テーブル記憶部 2 1 0 を備えて構成されて レヽる 。 この う ち 、 デモザイ ク部 1 4 0 " お び収差係数設定部 1 9 0 が 本発明の画像処理装置に相当する。

図 1 3 において、 撮影された被写体は、 像光学系 1 1 0 " を経て単 板力 ラーイ メ ージセンサ 1 2 0 の撮像素子 1 2 2 上に結像する この際

、 /(¾像光学系 1 1 0 " が持つ各種の収差に り 、 結像 した被写体像は劣 化したもの と なる。 例えば、 歪曲収差によ り 被写体上では直線である も のが曲線と な り 、 倍率色収差によ り 色成分毎に撮像素子 1 2 2 上での結 像ズレ （色ズ レ ) が生じた画像と なる。 なお 、 第 4 の実施形態において 結像光学系 1 1 0 " は、 焦点距離 （ズーム ) や被写体距離 （フ ォ ―力ス

) といった レンズステ一 ト を変更可能なものとする。

ブレ検出部 1 8 0 は、 カ ラー撮像装置 1 0 0 " のブレを検出 し 、 ブレ を補正するためのブレ補正係数 { z , Θ , d x， d y } をデモザイ ク部 1 4

0 に設定する。 ブ レの検出にはジャ イ ロ セ ンサを用いる方式や、 複数 枚撮影 した面像間の特徴点の変化量な どを測定する方式があるが、 本発 明はブレの検出法を限定する ものではない。 こ こ で、 カ ラー撮像装置 1

0 0 の前後方向のブレに伴 う 被写体像の大き さの補正値を z 、 口一ル 軸のブ レに伴 う 被写体像の回転の補正値を 0 、 左右方向あるいはョ ーの ブレに伴 う被写体像の左右位置の補正値を d X 、 上下方向あるいはピク チのブレに伴 う被写体像の上下位置の補正値を d y と している。 なお 、 係数 z にはデジタルズームの倍率を含めても良レ、。

収差係数設定部 1 9 0 は、 本発明の係数設定部に相当する ものである o 収差係数設定部 1 9 0 は、 結像光学系 1 1 0 " の レンズステー ト を検 出 し 、 検出 した レンズステー 卜に応じた適切な収差係数 { k k ₂, p ,, P

2 J k , _R, k _B} を収差係数テーブル記憶部 2 1 0 から読み出 し、 デモザィ ク 部 1 4 0 " に設定する。 こ こ で、 { k い k ₂， ρ ,， ρ ₂} は結像光学系 1 1

0 の歪曲収差を示す係数であ り 、 { k ,， k ₂} は放射線方向の歪み、 {

P 1， P ₂} は接線方向の歪みを示 している。 { k _R, k _B} は結像光学系 1

，，

1 0 の倍率色収差を示す係数であ り 、 k _R は G成分に対する R成分の倍 率 、 k 成分に対する B成分の倍率を示している。

なお 、 レンズステー トが変化する場合、 収差係数設定部 1 9 0 は、 変 化後の レンズステー ト を検出 し、 その レンズステー ト に対応する収差係 数を収差係数テーブル記憶部 2 1 0 よ り 読み込み、 デモザイ ク部 1 4 0

，，

に Ιχ定する。 レンズステー ト の検出は、 例えば、 レンズステー ト の制 御を行つているカ ラ一撮像装置 1 0 0 " の コ ン ト ローラ （図示せず） か ら 、 像光学系 1 1 0 " に設定された レンズステー ト の情報を受ける こ と によつて行う こ と が可能である。

と ろで、 あ らゆる レンズステー ト に対する収差係数をテ一ブルに記 録しておく のは非現実的である。 そこで本実施形態では、 収差係数テー ブル記憶部 2 1 0 には限られたレンズステー トに対する収差係数だけを 記録しておく。 例えば、 焦点距離、 被写体距離を各々 3パター ン、 計 9 つの レンズステー ト とそれに対応する収差係数値とを記録しておく。 こ の収差係数テーブルの収差係数 k , に関わる部分を例示すると、 図 1 4 の よ うになる。

図 1 4 において、 例えば結像光学系 1 1 0 " に設定されている レンズ ステー ト が被写体距離 2 . O m、 焦点距離 3 5 m mである とする と、 図 1 4 の収差係数テーブルに適合する値はない。 そこで、 収差係数設定部 1 9 0は、 収差係数テーブルよ り被写体距離が M i d ： 1 . 0 m、 焦点 距離が W i d e ： 2 8 m mの収差係数 0 . 0 8 と、 被写体距離が F a r ： I n f 、 焦点距離が W i d e ： 2 8 m mの収差係数 0 . 0 5 と、 被写 体距離が M i d ： 1 . 0 m、 焦点距離が M i d ： 5 O m mの収差係数 0 . 0 2 と、 被写体距離が F a r ： I n f 、 焦点距離が M i d ： 5 0 m m の収差係数 0 . 0 0 と を読み出し、 これ らの 4 つの収差係数を補間する こ こ で、 焦点距離および被写体距離に関しては逆数に対して補間する のが望ま しく 、

k , = ( ( 1 / 2 . 0 — l Z l n f ) ( l / 3 5 _ l Z 5 0 ) * 0 . 0 8 + ( 1 / 1 . 0 - 1 / 2 . 0 ) ( 1 / 3 5 - 1 / 5 0 ) * 0 . 0 5 + ( 1 / 2 . 0 - 1 / 1 n f ) ( l / 2 8 - l / 3 5 ) * 0 . 0 2 + ( 1 / 1 . 0 — 1 / 2 . 0 ) ( 1 / 2 8 - 1 / 3 5 ) * 0 . 0 0 ) / ( 1 / 1 . 0 — l I n f )/ ( 1 / 2 8 - 1 / 5 0 )

= 0 . 0 4

のよ う に計算した補間値をデモザイ ク部 1 4 0 " に設定する。 他の収差 係数 { k ₂, p p ₂, k _R， k _B} に対しても、 同様に補間値を計算し、 デモザ イ ク部 1 4 0 " に設定する。

キャ リ ブ レーシ ョ ン部 2 0 0 は、 A D変換部 1 3 0 よ り 出力 されるデ ジタル画像信号に基づいて、 収差係数テーブル記憶部 2 1 0 に記憶する 収差係数テーブルの値を生成する。 キャ リ ブ レーシ ョ ン部 2 0 0 は、 収 差係数テーブルに記録すべき複数の レンズステー ト に対してそれぞれ収 差係数 { kい k ₂, p い p ₂， k _R， k _B} を求め、 これらを収差係数テーブル記 憶部 2 1 0 に記録する。

なお、 キャ リ ブ レーシ ョ ン部 2 0 0 はカ ラー撮像装置 1 0 0 " の一部 と して内部に備えても良いが、 カ ラ一撮像装置 1 0 0 " と は別体のキヤ リ ブレ一シ ヨ ン装置と して構成しても良い。 別体の装置とする場合、 力 ラ一撮像装置 1 0 0 " は、 撮影画像 （A D変換部 1 3 0 よ り 出力 される デジタル画像信号） をキャ リ ブ レーシ ョ ン装置に出力 した り 、 キヤ リ ブ レ一シ ヨ ン装置から収差係数を入力 した り する通信手段を備える。

デモザイ ク部 1 4 0 " は、 ブレ検出部 1 8 0 によ り 設定されるブレ補 正係数 { z , 0 , d x , d y } および収差係数設定部 1 9 0 によ り 設定され る収差係数 { kい k ₂, p い p ₂, k _R, k _B} に基づく 補正を行いつつ、 色モザ ィ ク画像からカラー画像への変換を行う。

図 1 5 は、 デモザイ ク部 1 4 0 " の機能構成例を示すブロ ッ ク図であ る。 図 1 5 に示すよ う に、 デモザイ ク部 1 4 0 " は、 その機能構成と し て、 色プレーン分解部 1 4 1 " と 、 座標変換部 1 4 2 " と 、 サンプ リ ン グ部 1 4 3 " と、 色生成部 1 4 4 " と を備えている。

色プ レーン分解部 1 4 1 " は、 A D変換部 1 3 0 よ り 出力 される色モ ザィ ク画像を、 同一の色光の画素値だけを含む複数の色プ レーンに分解 する。 例えば、 色プ レーン分解部 1 4 1 " は、 図 1 2 に示 したよ う に、 R成分の画素のみを取 り 出 した Rプレーン、 G r 成分の画素のみを取 り 出 した G r プレーン、 G b成分の画素のみを取り 出 した G b プレーン、 B成分の画素のみを取 り 出 した B プレーンの 4 つの色プレーンに分解す る。

座標変換部 1 4 2 " は、 上述のブレ補正係数 { z , 0， d x , d y } およ び収差係数 { k k ₂， p p ₂, k _K， k _B} を用いて、 色モザイ ク画像から生 成されるカ ラ一画像の画素位置から、 色収差補正、 歪曲収差補正および ブレ補正が施された場合のカ ラー画像の画素位置に対応する色モザイ ク 画像上のサンプ リ ング座標を算出する。 以下に、 サンプリ ング座標の算 出手順を詳しく 説明する。

まず x y座標系 と して、 原点を画像中心、 最大像高 （原点からの最大 距離） を 1 と し、 原点から画面右方向に正の X座標を と り ， 原点から画 面下方向に正の y座標を と る ものとする。 また、 出力するカ ラー画像が 1 6 0 0 X 1 2 0 0 の正方画素からなる もの と する。 この場合、 カ ラ一 画像に対して、 u v座標系の画素座標 （ u _d, V _d) を図 2 のよ う に画面左 上から右方向に （ 0， 0 ) , ( 1 , 0 ) ， （ 2 , 0 ) · · · 、 次の行を （ 1 ， 0 ) , ( 1 , 1 ) , ( 2 , 1 ) · · · と割 り 振れば、 画素座標 （ u _d， V _d) に対応する x y座標 （ x _d, y _d) は、 図 2 3 に示す関係式で表され る。

座標変換部 1 4 2 " は、 この x y座標 （ x _d, y _d) に対して、 まず上述 のブレ補正係数 { z， 0 , d x , d y } を図 2 4 に示す式のよ う に適用 し、 ブレ補正後の x y座標 （ χ ' ， y ' ) を得る。

さ らに、 座標変換部 1 4 2 " は、 歪曲収差に係る係数 { k ,， k ₂, _{P l}, p ₂} を次式のよ う に適用 し、 G r プレーンおよび G b プレーンにおける X y座標 （ X _G, y _G) を求める。

X _G= X ' ( l + k , r ²+ k ₂ r ⁴) + 2 p ₁ x ' y ' + p ₂ ( r ' ² + 2 x ' ² ) y _G= y ' ( 1 + k , r ²+ k ₂ r ⁴) + 2 p ₂ x ' y ' + p , ( r ' ² + 2 y ' ² ) (ただし、 r ' ²= x ' ²+ y ' ²) さ らに、 座標変換部 1 4 2 " は、 結像光学系 1 1 0 " の倍率色収 に 係る係数 { k _K， k _B} を考慮 した色プ レーン間の座標の変換を図 2 5 に示 す式のよ う に行 う こ と によ り 、 Rプレーンおよび B プレーンにおける X y座標 （ X _K， y _R) ( x B, y _B)をそれぞれ求める。 こ こ で、 d _R x , d _R y は Gプレーンを基準に した際の Rプレーンの平行ズレ量、 d _Bx , d _By は Gプレーンを基準に した際の Bプ レーンの平行ズレ量を示す係数である 一方、 色モザイ ク画像も 1 6 0 0 X 1 2 0 0 の正方画素と し、 u v座 標系の画素座標 （ u _s, V _s) が上述のカラー画像と 同様に割 り振られてい る とする と、 各色プレーン上の x y座標 （ X _R, y _R) ( x _G) y _G) ( x _B. y _B) に対応する色モザイ ク画像上の画素座標 （ u _sR， V _sR) ( u _sG> v _sG ) ( u _sB, v _sB) は、 図 2 6 の式に示すよ う になる。

上述の計算の結果、 これらの画素座標 （ u _sR, V _sR) ( u _sG， v _sG) ( u _sB, v _sB) は何れも整数値になる と は限らず、 一般には非整数と なる。 こ の色モザイ ク画像上の画素座標 （ u _sR， V _sR) ( u _sG) v _sG) ( u _sB, v _sB ) が色プレーン毎のサンプリ ング座標である。

サンプ リ ング部 1 4 3 " は、 色プレーン分解部 1 4 1 " によ り 分解さ れた複数の色プ レーン毎に、 座標変換部 1 4 2 " によ り 算出された色プ レーン毎のサンプリ ング座標における画素値 （サンプ リ ング値） を、 色 プ レーン内に含まれる同一の色光の画素値から捕間生成する。 色生成部 1 4 4 " は、 サンプ リ ング部 1 4 3 " によ り 補間生成された各色プレー ンの補間画素値を合成する こ と によ り 、 各画素値がそれぞれ複数色の輝 度情報を有したカ ラ一画像を生成する。 こ のサンプ リ ング部 1 4 3 " お よび色生成部 1 4 4 " の処理内容は、 第 2 実施形態または第 3 の実施形 態と同様である。

以上詳 し く 説明 したよ う に、 第 4 の実施形態によれば、 色モザイ ク画 像からカラ一画像を生成する色捕間処理、 結像光学系 1 1 0 " の倍率色 収差を補正する処理、 結像光学系 1 1 0 の歪曲収差を補正するための カラ一画像の変形処理、 結像光学系 1 1 0 のレンズステ一トに応じた 収差を補正するための処理 、 およびカラ ― 像装置 1 0 0 の手ブレを 補正する処理を一度の補間演算によって実現するこ とがでさる このた め、 倍率色収差が補正され 、 力、つ、 歪曲収差ゃ手ブレなども補正された カラ一画像を色モザィ ク画像から生成する際の処理負荷を軽減するこ と ができる と と もに、 補間処理を何回も行ラ こ とによる画質の劣化ち抑制 することができる。

なお、 上記第 4 の実施形態では、 座標変換部 1 4 2 " がサンプリ ング 座標を算出する際に使用する係数と して、 ブレ補正係数 { z , 0 , d x， d y } および収差係数 { kい k ₂, pい p ₂ , k _R， k _B } を用いる例について説明 したが、 これらを全て用いなく ても良い。 すなわち、 色収差係数 { k _R, k _B } を用いるこ とは必須と して、 残りの係数は任意に組み合わせて用い ることが可能である。

また、 上記第 4の実施形態では、 キヤ リ ブレ シヨ ン部 2 0 0 を設け て収差係数テ―ブノレの値を可変とする例につレ、て説明 したが、 これに限 定されない。 例えば 、 キャ リ ブ レーシ ョ ン部 2 0 0は設けずに収差係数 テ一ブルの値を固定とするよ うにしても良い。

(第 5の実施形態）

次に、 本発明の第 5の実施形態を図面に基づレ、て説明する。 図 1 6 は

、 第 5 の実施形態によるカラ一撮像装置 1 0 0 Aの構成例を示す図であ る なお 、 図 1 6 において、 図 8 に示した符号と同一の符号を付したち のは同一の機能を有するものであるので、 ここでは重複する説明を省略 する。 第 5の実施形態におけるカラ一撮像装置 1 O O Aは、 所定のチャー ト C Hを撮影するこ とによって色収差係数を検出する色収差量検出装置 2 0 O Aを備え、 色収差量検出装置 2 0 O Aによって検出された色収差係 数が、 第 2、 第 3の実施形態における座標変換部 1 4 2 ' や、 第 4 の実 施形態における収差係数設定部 1 9 0に格納され、 第 2〜第 4の実施形 態と同様に、 デモザイ ク部 1 4 0 ' ， 1 4 0 " において、 カラー画像の 画素位置から、 色収差補正が施された場合のカラー画像の画素位置に対 応する色モザイ ク画像上のサンプリ ング座標を、 色プレーン毎に算出す るよ うに構成されている。 なお、 チャー ト C Hが、 本発明の請求の範囲 第 2 3項および第 2 4項における所定の画像に相当する。

以下、 色収差量検出装置 2 0 O Aの構成と作用を、 図 1 6〜図 1 9 に 基づいて説明する。 図 1 7が同実施形態における色収差量検出の説明図 であって、 図 1 7 ( a ) がチャー トの形態を表す図、 図 1 7 ( b ) が撮 像素子 1 2 2に対するチャー トの配置を表す図である。 また、 図 1 8が同実施形態における色収差量検出の説明図であって、 図 1 8 ( a ) ( b ) が交点検出の際の説明図、 図 1 8 ( c ) が交点毎に エッジを検出する際の説明図、 図 1 8 ( d ) が交点に対してサンプリ ン グ画素列を設定する際の説明図、 図 1 9が同実施形態におけるエッジ検 出の説明図である。

まず、 図 1 6 に表したよ うに、 本実施形態の色収差量検出装置 2 0 0

Aは、 チヤ一 ト C Hを撮影して得られるデジタル画像信号を用いて結像 光学系 1 1 0の色収差係数を算出する。

チャー ト C Hは、 図 1 7 ( a ) ( b ) に表したよ う に、 単板力ラーイ メ一ジセンサ 1 2 0における撮像素子 1 2 2の画素配列に対して、 第一 撮像模様 P 1 と第二撮像模様 P 2の配列が、 傾斜角 ひ の分だけ傾斜して いる。 また、 本実施形態では、 一つの撮像模様の領域が、 撮像素子 1 2

2 で読み込まれる約 1 0 0 ピクセル （画素） に相当する。 次に、 色収差量検出装置 2 0 O Aは、 図 1 6 に表したよ う に、 A D変 換部 1 3 0から入力されたデジタル画像信号 （所謂、 画素の輝度を表す 画素信号である） を R G Bの色毎に記憶するフ ィ ール ドメ モ リ 2 2 1 、 フィ ール ドメ モ リ 2 2 1 に記憶された画素信号に基づいて第一撮像模様 P 1 及び第二撮像模様 P 2の交点を複数検出する交点検出処理部 2 2 5 、 交点検出処理部 2 2 5 で検出された交点周 り において R G B毎に第一 撮像模様 P 1 と第二撮像模様 P 2 と のエッジ位置を検出する R G Bエツ ジ検出処理部 2 2 6 、 R G Bエッジ検出処理部 2 2 6 で検出されたエツ ジ位置を交点に対応付けて記憶するエッジ位置記憶部 2 2 8 、 エッジ位 置記憶部 2 2 8 に記憶されたエッジ位置から色収差係数を算出する収差 係数算出部 2 2 9 、 C P U ( C e n t r a l P r o c e s s i n g U n i t ) 2 3 0 、 R O M ( R e d O n l y M e m o r y ) 2 3 1 等によって構成され、 C P U 2 3 0が R O M 2 3 1 に格納された制御用 プロ グラムに従って、 当該色収差量検出装置 2 0 0 Aの各処理を制御す る。

フィール ドメモリ 2 2 1 は、 B a y e r配列に対応付けて、 赤 （R ) の画素信号を記憶する R フィ ール ドメ モ リ 2 2 2 と、 緑 （G ) の画素信 号を記憶する Gフィール ドメモ リ 2 2 3 と、 青 （ B ) の画素信号を記憶 する B フィール ドメモ リ 2 2 4 と、 によって構成されている。

交点検出処理部 2 2 5は、 図 1 8 ( a ) ( b ) に表したよ う に、 注目 画素を中心と した所定の範囲における画素値を用いて輝度勾配を算出 し 、 その輝度勾配が最も大き く なる注目画素の位置を交点 I n t と して検 出する。 こ こでは、 図 1 8 ( b ) に表したよ う に、 注目画素を中心と し た縦横 5画素を設定し、 画素位置に応じた重み付けを付加して交点位置 を検出している。 つま り 、 注目画素を中心と した上下左右の画素値に対 して図 1 8 ( b ) に示す係数を乗算してその結果を集計し、 集計結果の 絶対値を注目 画素の評価値と し、 評価値が所定の閾値を超えた際の注目 画素の位置を交点 I n t と し、 図 1 8 ( a ) に表 したよ う に、 複数の交 点 I n t をマ ト リ ク ス状に検出 している。 また、 本実施形態では、 交点 I n t がマ ト リ タ ス状に等間隔で表れる よ う に、 第一撮像模様 P 1 及び 第二撮像模様 P 2を配置している。

R G Bエ ッ ジ検出処理部 2 2 6は、 図 1 8 ( c ) に表 したよ う に、 R G Bの色毎に交点 I n t を介して上下及び左右に位置する複数の画素列 H s 、 V s を所定のサンプリ ングライ ン長で走査 して、 順次、 画素値を 取得する と と もに隣接するサンプリ ング位置に対して最も画素値の変化 量が大きいサンプリ ング位置をエッジと して検出する。

詳し く は、 図 1 9の曲線 I nに表 したよ う にサンプ リ ング毎に各画素 の輝度 （画素値） を求め、 曲線 S Lに表 したよ う にサンプリ ングによ つ て求め られた画素値にも とづいて画素値の変化量 （勾配 S L ) を算出 し 、 最も変化量 （勾配 S L ) が大き く 表れる位置 E Pをエ ッ ジと して検出 する。

また、 エ ッ ジ E Pを求める際には、 図 1 8 ( c ) に表したよ う に、 交 点 I n t を介 して、 上下の画素範囲において、 夫々 、 複数列のサンプ リ ング （H s ) を行って、 列毎にエ ッ ジを検出 し、 次いで、 上部で検出 さ れたエ ッ ジ位置の平均値と 下部で検出されたエ ッ ジ位置の平均値と の平 均を算出 し、 交点 I n t における左右方向のエッジ位置とする。

また、 交点 I n t を介 して左右の画素範囲においても、 夫々 、 複数列 のサンプ リ ング （V s ) を行って、 列毎にエ ッ ジを検出 し、 次いで、 左 部で検出 されたエ ッ ジ位置の平均値と右部で検出 されたエ ッ ジ位置の平 均値と の平均を算出 し、 交点 I n t における上下方向のエ ッ ジ位置とす る。

また、 サンプ リ ングは、 同色の画素毎に行われ、 左右方向に沿ってサ ンプ リ ング H s を行 う 際には、 図 1 7 ( b ) に表 したよ う に、 左右方向 のサンプリ ング長 S L ( 1 1 ) と 、 サンプリ ングの上下方向の列の数を 表すサンプリ ング数 S N ( 4 ) が、 所要の検出精度に応 じて予め定め ら れている。 また、 上下方向に沿ってサンプ リ ング V s を行 う 際にも、 上 下方向のサンプリ ング長とサンプリ ング数が予め定められている。

また、 図 1 8 ( d ) に表 したよ う に交点 I n t を介 して上方に延出す るエ ッ ジの左右方向のエ ッ ジ位置を検出する際、 サンプリ ング H s 1 の 位置が交点 I n t に近接しすぎる と 、 エ ッ ジ E Hが傾斜しているので交 点 I n t から左方に位置する撮像模様 P I _ 2 の影響を受けて、 エ ッ ジ 検出が困難になるため、 サンプリ ングライ ン H s 1 と 交点 I n t との間 に適切な間隔 S をもたせる こ とが好ま しい。

間隔 S は、 例えば図 1 8 ( d ) に表 したよ う に幾何学的に求める こ と ができ る。 すなわち、 交点 I n t からの間隔 S は、 エ ッ ジのぼやけ量 E 、 傾斜角度 α 、 サンプリ ングライ ン長 S L を既知の量と して、 L - S L ノ 2 、 S = (W + L ) X t a n a 、 の算式によ って求める こ と ができ る 。 つま り 、 サンプリ ング H s l の開始位置が、 図 1 8 ( d ) 中の撮像模 様 P 1 — 2 内に入る こ と な く 、 P 1 — 2 からエ ッ ジのぼやけ量 Eだけ離 間するよ う に、 間隔 S を求める と よい。

次に、 エッ ジ位置記憶部 2 2 8 は、 各交点 I n t j ( j は各交点に付与 した連番 1 ， 2 …である） において、 R G Bエ ッ ジ検出処理部 2 2 6 で 検出 した色毎のエ ッ ジ位置に基づいて、 G (緑） 、 R (赤） 、 B (青） のエ ッ ジ位置を、 夫々左右方向 （ u方向） 及び上下方向 （ 方向） に対 応付けて、 （ U c i , _G j 、 (. U j , _R j ) 、 ( U j , _B j ) と し て記憶， Ό ο

次に、 収差係数算出部 2 2 9 は、 エ ッ ジ位置記憶部 2 2 8 に記憶され たエ ツ シ位置 U _G j , V _G j ) 、 、 U _{R j} ， V _R j 、 、 U _B j ， j ； を 用いて、 色収差係数 k _R、 k „を算出する。

詳しく は、 まず、 第 2 の実施形態と同じ様に、 x y座標系と して、 原 点を画像中心、 最大像高 （原点からの最大距離） を 1 と し、 原点から画 面右方向に正の X座標をと り， 原点から画面下方向に正の y座標をと る ものとする。 そして、 第 2 の実施形態と同じく 、 6 4 0 X 4 8 0の正方 画素からなるカラー画像に対して、 u v座標系の画素座標 （ u _d， V _d) を 図 2のよ う に画面左上から右方向に （ 0 , 0 ) , ( 1 ， 0 ) , ( 2 ， 0 ) . · . 、 次の行を （ 1 ， 0 ) ， （ 1 , 1 ) , ( 2 , 1 ) . . . と割り振り 、 u v座標系の画素座標 （ 3 1 9 . 5 , 2 3 9 . 5 ) を x y座標系の原 点と し、 色毎に、 画素座標 （ u _d， V _d) に対応する x y座標 （ x _d， y _d) を算出する。

こ こでは、 第 2 の実施形態で用いた x _d= ( u _d- 3 1 9 . 5 ) / 4 0 0 、 y _d= ( v _d- 2 3 9 . 5 ) 4 0 0 の演算式において、 x _d及び y _dを、 x _{G i}及び y _{G j} 、 x _R j及び y _{R j} 、 x _{B j}及び y _{B j}に置き替えると共に、 u _d及び V _dを 、 U j及び V j -> u _R』及び V _R j 、 U _B j及び V _B j に置き 替えて、 次の演算式を用い、 R G . B毎の x y座標を算出する。

X G j ( U _G i - 3 1 9 . 5 ) Z 4 0 0

y G j ( _G i - 2 3 9 . 5 ) / 4 0 0

X R i " ( U R i - 3 1 9 . 5 ) / 4 0 0 y j 一 ( R i - 2 3 9 . 5 ) / 0 0

X B j 一 ( U B i - 3 1 9 . 5 ) / 4 0 0 y j ' ( B i - 2 3 9 . 5 ) / 4 0 0

次いで 、 Rの色収差係数 k 、 k ∑ i ( X i ² + y κ i ² ) / ∑ i (

^A R j ^Λ G j + y i G j ) の演算式で算出し、 Bの色収差係数 k _Bを、 k _B

2

= ∑ i ( X B j + y , ∑ i ( x , j X j + y a j y j ) の演算式で算 出する。 次に、 こ こで算出された色収差係数 k _K及び k _Bをデモザイク部 1 4 0

， 1 4 0 " における座標変換部 1 4 2 ' , 1 4 2 " に格納し 、 以下 、 第 2〜第 4 の実施形態と同様に、 座標変換部 1 4 2 ' ， 1 4 2 におレ、 て 、 ¾像画像に対して色収差の補正を考慮したサンプリ ング座標を算出 する。

また、 図 2 7 に示す式のよ うに、 図 2 5 に示した式に対して収差係数 算出部 2 2 9で算出した X y座標及び収差係数を代入し、 色収差行列を 求めるこ とができる。 なお、 図 2 7 の式において、 最右辺に位置する行 列は、 擬似逆行列を示している。

以上のよ う に、 第 5の実施形態のカラ一撮像装置 1 0 O Aに れば 、 マ 卜 リ クス状の交点位置に対応付けて色毎のエッジ位置を検出できて 、 この検出された色毎のエッジ位置にもとづき色収差係数 （ k _R、 k B ) を 算出でき 、 この算出された色収差係数を用いて、 色モザイ ク画像から力 ラ一画像を生成する色補間処理 （デモザイク処理） と、 結像光学系の倍 率色収差を補正する処理と を一度の補間演算によって実現するこ とがで き -3

以上、 本発明の一実施形態について説明 したが、 本発明は、 肓 IJ記実施 形態に限定されるものでなく 、 種々の態様をとることができる。

例えば、 上記第 1 〜第 5 の実施形態では、 カラーフ ィ ルタアレイ 1 2 1 が原色べィャ配列の場合を例にとって説明したが、 これに限定されな い。 例えば、 補色配列のカラ一フィルタアレイを用いても良い。

また、 第 5 の実施形態では、 撮像装置 1 0 O Aに色収差量検出装置 2 0 0 を備えたが、 色収差量検出装置 2 0 O Aを撮像装置 1 0 O Aと一体 に構成するこ となく外部機器と して備え、 この外部機器に撮影画像を出 力する画像出力部と、 外部機器から色収差係数を入力する係数入力手段 とを備え、 入力 した色収差係数を座標変換部 1 4 2 ' , 1 4 2 " または 収差係数設定部 1 9 0に格納するよ うに構成してもよレ、。

また、 以上に説明した第 1 〜第 5の実施形態によるデモザィ ク処理の 手法は、 ハ — ドウエア構成、 D S P (Di igital ϊ> 1 gna 1 Processorノ 、 ソ フ 卜 ゥェァの何れによっても実現するこ とが可能である。 例えばソフ 卜 ウ ェ アに つて実現する場合、 上記第 1 〜第 5の実施形態のデモザィ ク 部 1 4 0 ， 1 4 0 ' , 1 4 0 " (画像処理装置） は、 実際にはコンピュ

—タの C P Uあるいは M P U、 R AM, R OMなどを備えて構成され 、

R A Mや R O Mに記憶されたプロ グラムが動作するこ とによって実現で さる。

その他 、 上記第 1 〜第 5の実施形態は 、 何れも本発明を実施するにあ たっての具体化の一例を示したものに過ぎず、 これらによって本発明の 技術的範囲が限定的に解釈されてはならないものである。 すなわち 、 本 発明はその精神、 またはその主要な特徴から'逸脱するこ となく 、 様々な 形で実施することができる。 産業上の利用可能性

本発明は、 単板式のカラ一撮像素子を用いて得られた色モザィ ク画像 から、 全画素に複数色の輝度情報を補間してカラ一画像を生成するデモ ザィ ク処理を実行する画像処理装置に用いて好適である。

Claims

請 求 の 範 囲

1 . 異なる複数の色光を光電変換する画 *を有する単板式の撮像素子に よって得られた、 各画素が単色の輝度情報を有した色モザィ ク画像を用 いて、 各画素が複数色の輝度情報を有したカラー画像を生成する画像処 理装置であって、

上記色モザィ ク画像を、 同一の色光の画素値だけを含む複数の色プレ

—ンに分解する色プレーン分解部と、

上記色モザィ ク画像から生成されるカラー画像に対する画像加ェを表 す係数を用いて 、 上記カラー画像の画素位置から、 上記画像加 Xが施さ れた場合のカラ —画像の画素位置に対応する上記色モザィ ク画像上のサ ンプ リ ング座標を算出する座標変換部と、

上記色プレ一ン分解部によ り分解された複数の色プ レーン毎に 、 上 座標変換部によ り算出された上記サンプリ ング座標における画素値を、 上記色プレーン内に含まれる同一の色光の画素値から補間生成するサン プリ ング部と、

上記サンプリ ング部によ り補間生成された各色プ レーンの補間値を合 成するこ とによ り上記カラー画像を生成する色生成部とを備えたこ と を 特徴とする画像処理装置。

2 . 上記座標変換部は、 上記画像加工を表す係数と して 、 上記色モザィ ク画像から生成されるカラ一画像に対する画像変形を表す画像変形係数 を用いて、 上記カラー画像の画素位置から、 上記画像変形が施された場 合のカラ一画像の画素位置に対応する上記色モザィ ク画像上のサンプリ ング座標を算出するこ と を特徴とする請求の範囲第 1 項に記載の画像処 理装置。

3 . 上記色モザイ ク画像は、 上記撮像素子の各画素に対応する位置にそ れぞれ赤色 （ R ) 、 緑色 （G r , G b ) 、 青色 ( B ) の何れかが配され たべィャ配列のカラーフ ィ ノレタおよび上記撮像 子によって得られる画 像であり、

上記色プ レーン分解部は、 互いに角を接する 2種類の緑色画素 G r , G b をそれぞれ異なる色プ レーンに分解するこ と を特徴とする請求の範 囲第 1項に記載の画像処理装置。

4 . 上記色生成部は、 上記 2種類の緑色画素 G Γ ， G b毎に分解された 各色プレー ン上でそれぞれ上記サンプ リ ング部によ り生成された画素値 を加算して上記カラ一画像を生成するこ と を特徵とする請求の範囲第 3 項に記載の画像処理装置。

5 . 上記 2種類の緑色画素 G r ， G b毎に分解された各色プ レーン上で それぞれ上記サンプリ ング部によ り生成された画素値の差分を算出し、 該画素値の差分に基づいて偽色の有無を判定する偽色判定部を更に備 えたこ とを特徴とする請求の範囲第 3項に記載の画像処理装置。

6 . 上記サンプリ ング部は、 上記サンプリ ング座標における画素値を、 その周辺に存在する上記色プレーン上の画素値から補間によって生成す ることを特徴とする請求の範囲第 1項に記載の画像処理装置。

. 上記画像変形は、 上記カラー画像の拡大、 縮小、 回転 、 歪曲修正の ラ ち少なく と も 1 つを含む処理であるこ と を特徴とする請求の範囲第 2 項に記載の画像処理装置。

8 . 上記座標変換部は、 上記画像加 Xを表す係数と して 、 上記色プレ一 ン分解部によ り分解された複数の色プレー ン毎に、 色プレ一ンによって 値の異なる係数を用いて、 上記色モザィ ク画像から生成されるカラ一画 像の画素位置から、 色収差補正が施された場合の力ラー画像の画素位置 対応する上記色モザィ ク画像上のサンプリ ング座標であつて上記色プ レ —ン毎に異なるサンプ リ ング座標をそれぞれ算出する と を特徴とす る請求の範囲第 1項に記載の画像処 3里装置。

9 . 上記座標変換部は、 上記画像加ェを表す係数と して、 上記色プレー ン分解部によ り分解された複数の色プレーン毎に 、 色プレーンによって 値の異なる色収差係数と、 上記カラ一画像に対する画像変形を表す画像 変形係数と を用いて、 上記カラ一画像の画素位置から、 上記色収差補正 および上記画像変形が施された場合の力ラー画像の画素位置に対応する 上記色モザィ ク画像上のサンプリ ング座標であって上記色プレーン毎に 異なるサンプリ ング座標を算出するこ と を特徴とする請求の範囲第 1 項 に記載の画像処理装置。

1 0 . 上記座標変換部は、 上記画像加ェを表す係数と して、 上記色プレ ーン分解部によ り分解された複数の色プレーン毎に、 色プ レーンによつ て値の異なる色収差係数と、 上記撮像素子に被写体の撮像光を導く ため の結像光学系に設定されている焦点距離および被写体距離に応じて定ま る歪曲収差係数とを用いて、 上記力ラ一画像の画素位置から、 上記色収 差補正および歪曲収差補正が施された場合のカラー画像の画素位置に対 応する上記色モザィ ク画像上のサンプ V ング座標であって上記色プレ ― ン毎に異なるサンプリ ング座標を算出するこ とを特徴とする請求の範囲 第 1項に記載の画像処理装置。

1 1 . 上記結像光学系に設定されている焦点距離および被写体距離に応 じて、 上記座標変換部で使用する上記 曲収差係数を設定する係数設定 部を更に備えたこ とを特徴とする 5H求の範囲第 8項に記載の画像処理装 置。

1 2 . 異なる複数の色光を光電変換する画素を有する単板式の撮像素子 によって得られた、 各画素が単色の輝度情報を有した色モザィ ク画像を 用いて、 各画素が複数色の輝度情報を有したカラ一画像を生成する画像 処理方法であって、 上記色モザィ ク画像を、 同一の色光の画素値だけを含む複数の色プ レ ーンに分解する色プレーン分解ステ ップと 、

上記色モザィ ク画像から生成されるカ ラー画像に対する画像加ェを表 す係数を用いて 、 上記力 ラー画像の画素位置から、 上記画像加 Xが施さ れた場合の力 ラ一画像の画素位置に対応する上記色モザィ ク画像上のサ ンプリ ング座標を算出する座標変換ステ ップと 、

上記色プレ一ン分解ステ ップで分解された複数の色プレ一ン毎に、 上 記座標変換ステ シプで算出された上記サンプリ ング座標における画素値 を、 上記色プ レー ン内に含まれる同一の色光の画素値から補間生成する サンプリ ングステ ップと、

上記サンプリ ングステ ップで補間生成された各色プレーンの補間値を 合成する こ と によ り 上記カ ラー画像を生成する色生成ステ ップと を有す るこ と を特徴とする画像処理方法。

1 3 . 上記座標変換ステ ップでは、 上記画像加ェを表す係数と して 、 上 記色モザイ ク画像から生成される力 ラー画像に対する画像変形を表す画 像変形係数を用いて、 上記カ ラー画像の画素位置から、 上記画像変形が 施された場合のカ ラ一画像の画素位置に対応する上記色モザィ ク画像上 のサンプリ ング座標を算出する こ と を特徴とする請求の範囲第 1 2項に 記載の画像処理方法。

1 4 . 上記座標変換ステ ッ プでは、 上記画像加ェを表す係数と して 、 上 記色プレーン分解ステ ップで分解された複数の色プレーン毎に、 色プレ ーンによ って値の異なる係数を用いて、 上記色モザィ ク画像から生成さ れるカ ラー画像の画素位置から、 色収差補正が施された場合のカ ラー画 像の画素位置に対応する上記色モザィ ク画像上のサンプリ ング座標であ つて上記色プレーン毎に異なるサンプリ ング座標をそれぞれ算出する こ と を特徴とする請求の範囲第 1 2項に記載の画像処理方法。

1 5 . 異なる複数の色光を光冪変換する画素を有する撮像素子によって 得られた、 各画素が単色の輝度情報を有した色モザィ ク画像を 、 同一の 色光の画素値だけを含む複数の色プレー ンに分解する色プレ ―ン分解手 段、

上記色モザィ ク画像から生成されるカラ 画像に対する 像加ェを表 す係数を用いて 、 上 力ラ一画像の画素位置から、 上記画像加工が施さ れた場合の力ラ一画像の画 置に対応する上記色モザィ ク画像上のサ ンプリ ング座標を算出する座標変換手段、

上記色プレーン分解手段によ り分解された複数の色プレーン毎に、 上 記座標変換手段によ り算出された上記サンプリ ング座標における画素値 を、 上記色プレーン內に含まれる同一の色光の画素値から補間生成する サンプリ ング手段、 および

上記サンプリ ング手段によ り補間生成された各色プレーンの補間値を 合成するこ とによ り 、 1 つの画素値がそれぞれ複数色の輝度情報を有し たカラー画像を生成する色生成手段、

と してコ ン ピュータを機能させるためのコ ン ピュータ読み取り 可能なプ ログラム。

1 6 . 上記座標変換手段は、 上記画像加工を表す係数と して、 上記色モ ザイ ク画像から生成されるカラー画像に対する画像変形を表す画像変形 係数を用いて、 上記カラー画像の画素位置から、 上記画像変形が施され た場合のカラー画像の画素位置に対応する上記色モザイ ク画像上のサン プリ ング座標を算出するこ とを特徴とする請求の範囲第 1 5項に記寧の コンピュータ読み取り可能なプログラム。

1 7 . 上記座標変換手段は、 上記画像加工を表す係数と して、 上記色プ レーン分解手段によ り分解された複数の色プ レー ン毎に、 色プ レーンに よって値の異なる係数を用いて、 上記色モザィ ク画像から生成される力 ラ―画像の画素位置力、 ら、 色収差捕正が施された場合の力ラ一画像の面 素位置に対応する上記色モザィ ク画像上のサンプリ ング座標であって上 記色プレーン母に異なるサンプリ ング座標をそれぞれ算出するこ とを特 徵とする請求の範囲第 1 5項に記載のコンピ タ ¾πみ取り 可能なプロ グラム ο

1 8 異なる複数の色光を光電変換する画素を有する単板式の撮像素子 を備えた撮像装置であって、

上記単板式の撮像素子と、

上記撮像素子によ り 光電変換された色モザイ ク画像のアナロ グ信号を デジタル信号に変換する A Z D変換器と、

上記 A Z D変換器よ り上記デジタル信号と して出力される 各画 が 単色の輝度情報を有した色モザィ ク画像を用レ、て 各画素が複数色の 情報を有したカラ一画像を生成する請求の 囲第 1 項に記載の画像処 理装置とを備えたこ とを特徴とする撮像装置。

1 9 . 上記請求の範囲第 1項に記載の画像処理装置に代えて請求の 囲 第 2項に記載の画像処理装置を備えたこ とを特徴とする g青求の範囲第 1

8項に記載の撮像装置。

2 0 . 上記請求の範囲第 1 項に記載の画像処理装置に代えて a*求の 囲 第 8に記載の画像処理装置を備えたこ と を特徵とする請求の in囲第 1 8 項に記載の撮像装置。

2 1 . 上記撮像素子に被写体の撮像光を導く ための結像光学系を更に備

X.

上記請求の範囲第 1項に記載の画像処理装置に代えて請求の範囲第 9 項または第 1 0項に記載の画像処理装置を備えたこ と を特徵とする 水 第 1 8項に記載の撮像装置。

上記撮像素子に被写体の撮像光を導く ための結像光学系を更に備 え、

上記請求の範囲第 1項に記載の画像処理装置に代えて 求の範囲第 1 1項に記載の画像処理装置を備えたこ と を特徴とする請

の範囲第 1 8 項に記载の撮像装置。

2 3 . 所定の画像を撮影するこ とによって上記色収差係数を算出する収 差係数算出部を備え、

上記収差係数算出部によって算出された上記色収差係数 上記座標変 換部に格納するこ とを特徴とする請求の範囲第 2 0項また 第 2 1 項に 記載の撮像装置。

2 4 . 所定の画像を撮影するこ とによって上記色収差係数を算出する収 差係数算出部を備え、

上記収差係数算出部によって算出された上記色収差係数を上記係数設 定部に格納するこ とを特徴とする請求の範囲第 2 2項に s i載の撮像装置

2 5 . 外部に接続された外部機器に撮影画像を出力する画像出力部と、 上記外部機器から上記色収差係数を入力する係数入力手段とを備え、 上記係数入力手段によ り入力した上記色収差係数を上記座標変換部に 格納するこ とを特徴とする請求の範囲第 2 0項または第 2 1 項に記載の 撮像装置。

2 6 . 外部に接続された外部機器に撮影画像を出力する画像出力部と、 上記外部機器から上記色収差係数を入力する係数入力手段とを備え、 上記係数入力手段によ り入力した上記色収差係数を上記係数設定部に 格納するこ とを特徵とする請求の範囲第 2 2項に記載の撮像装置。