JP3777861B2 - 画像処理方法及び画像処理装置並びに画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明はビデオカメラやディジタルスチルカメラなどの単板式撮像装置における画像処理方法に関するもので、特に色情報および輝度情報の補間処理に関する。
【０００２】
【従来の技術】
固体撮像素子を用いたディジタルスチルカメラにおいて、単板式の撮像方式が多く用いられているが、撮像素子はひとつにつき単色の情報しか持たないため、撮像素子から入力されたデータを、近隣画素の情報を用いて補間する必要がある。
【０００３】
この補間のための画像処理方法として、ＲＧＢの値を直接補間する平均法が知られており、この平均法を応用した例が特開平１１−０１８０４７号公報に記載されている。
【０００４】
以下、従来用いられている平均法について説明する。
【０００５】
平均法では、欠落したＲＧＢ各素子の情報を、上下あるいは左右の画素情報を平均することで補間を行う。本発明が対象とする固体撮像装置が備えるカラーフィルターは、３色で構成され、単位面積あたり、ある色の数が残りの２色それぞれの数に対して２倍の数存在する特徴を持つものであり、特にベイヤー型配列のカラーフィルタは、ＲＧの画素が並ぶ列とＢＧの画素が並ぶ列が交互に現れるものである。
【０００６】
このようなカラーフィルタを持つ撮像素子において、ＲＢの情報が欠落するＧの画素を補間する場合は上下あるいは左右のＲＢ情報を平均し、ＢＧの情報が欠落するＲの画素を補間する場合は斜め方向に隣接する４つのＢと上下左右に隣接するＧの画素を平均し、ＲＧの情報が欠落するＢの画素を補間する場合は斜め方向に隣接する４つのＲと上下左右に隣接するＧの画素を平均する。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記従来の補間方法では、出力画像は輝度が急激に変化する境界部で色の誤差を伴うという問題点があり、その誤差を補間後に補正することは困難である。加えて、平均法ではエッジ部のピントがぼけるため、補間処理の後には鮮鋭化の処理が必須である。補間処理と鮮鋭化処理を独立に行う場合、２つの独立な処理部が存在する必要があり、さらに補間後の中間結果を保存する必要がある。
【０００８】
この結果、二つの独立な処理部と中間結果を保存するための補助記録が必要となり、装置として実現した場合のコストが増大することになる。
【０００９】
そこで本発明では、固体撮像装置が備えるカラーフィルターが、３色で構成され、単位面積あたり、ある色の数が残りの２色それぞれの数に対して２倍の数存在する特徴を持つ場合、特にベイヤー型配列を持つカラーフィルタを備える固体撮像素子から得られた画像を補間する手段において、輝度値成分と色差成分をあらかじめ分離し、メモリ使用量の低減を計り、また色ずれの回避を可能とし、全体として低コストで良好な出力画像を得ることができ、さらに補間位置による場合分けを伴わず、ハードウェア化の容易な補間方法及びこの補間方法を用いた画像処理装置並びにこの補間方法を記録した記録媒体を提供することを目的とする。
【００１０】
前述した目的を達成するために、本発明の画像処理方法は、第１色、第２色及び第３色のフィルタセルを含み、前記第１色のフィルタセルは市松状に配置され、前記第２色及び第３色のフィルタセルのそれぞれ同数ずつを前記第１色のフィルタセルに隣接するように配置された単板式カラ−フィルタと、前記単板式カラーフィルタを含む撮像素子とを有し、前記第１色、第２色及び第３色の各フィルタセルに対応する前記撮像素子の各出力データに対して前記第１色、第２色及び第３色の各フィルタセルで異なる輝度変換係数を乗算する工程と、前記撮像素子により得られる出力データを輝度値情報に変換する工程と、を含み、前記輝度値情報に変換する工程では、前記単板式カラーフィルタ内の隣接する３行３列のフィルタセルの各フィルタセルに対応する各輝度値情報に対して、第１の列の第１の行から第３の行に対し１、２、１の割合で荷重を行ない、第２の列の第１の行から第３の行に対し２、４、２の割合で荷重を行ない、第３の列の第１の行から第３の行に対し１、２、１の割合で荷重を行ない、前記荷重を行なった前記各フィルタセルに対応する輝度値情報の加算値を前記３行３列のフィルタセルの第２行第２列目のフィルタセルに対応する輝度値情報に置き換えることを特徴としている。
【００１１】
また本発明の画像処理方法は、第１色、第２色及び第３色のフィルタセルを含み、前記第１色の前記フィルタセルは市松状に配置され、前記第２色及び第３色のフィルタセルのそれぞれ同数ずつを前記第１色のフィルタセルに隣接するように配置された単板式カラ−フィルタと、前記単板式カラーフィルタを含む撮像素子とを有し、前記撮像素子により得られる出力データを輝度値情報に変換する工程と、を含み、前記輝度値情報に変換する工程では、前記単板式カラーフィルタ内の隣接する５行５列のフィルタセルの各フィルタセルに対応する各輝度値情報に対して、任意の係数ｆを用いて、第１の列の第１の行から第５の行に対し−ｆ、−３ｆ、−４ｆ、−３ｆ、−ｆの割合で荷重を行ない、第２の列の第１の行から第５の行に対し−３ｆ、９−９ｆ、１８−１２ｆ、９−９ｆ、−３ｆの割合で荷重を行ない、第３の列の第１の行から第５の行に対し−４ｆ、１８−１２ｆ、３６−１６ｆ、１８−１２ｆ、−４ｆの割合で荷重を行ない、第４の列の第１の行から第５の行に対し−３ｆ、９−９ｆ、１８−１２ｆ、９−９ｆ、−３ｆの割合で荷重を行ない、第５の列の第１の行から第５の行に対し−ｆ、−３ｆ、−４ｆ、−３ｆ、−ｆの割合で荷重を行ない、前記荷重を行なった前記各フィルタセルに対応する輝度値情報の加算値を前記５行５列のフィルタセルの第３行第３列目のフィルタセルに対応する輝度値情報に置き換えることを特徴としている。
【００１２】
また本発明の画像処理方法は、前記第１色、第２色及び第３色の各フィルタセルに対応する前記撮像素子の各出力データに前記第１色、第２色及び第３色のフィルタセルに応じた輝度変換係数を乗算する工程を有することを特徴としている。
【００１３】
また本発明の画像処理方法は、前記輝度値情報に変換する工程において、前記撮像素子により得られる出力データを色差情報に変換し、前記色差情報は、前記色差情報を抽出する第一の算出位置のフィルタセルを含む２行２列の前記フィルタセルのブロックにおいて、ブロック内での各色に対応する出力データの平均値を求め、前記平均値を用いて算出することを特徴としている。
【００１４】
また本発明の画像処理方法は、算出した前記第一の算出位置の色差情報を、隣接する第二の算出位置における色差情報との間で平滑化することを特徴としている。
【００１５】
また本発明の画像処理装置は、第１色、第２色及び第３色のフィルタセルを含み、前記第１色のフィルタセルは市松状に配置され、前記第２色及び第３色のフィルタセルのそれぞれ同数ずつを前記第１色のフィルタセルに隣接するように配置された単板式カラ−フィルタと、前記単板式カラーフィルタを含む撮像素子と前記第１色、第２色及び第３色の各フィルタセルに対応する前記撮像素子の各出力データに対して前記第１色、第２色及び第３色の各フィルタセルで異なる輝度変換係数を乗算する工程と、前記撮像素子により得られる出力データを用いて輝度値情報変換する工程とを含む補間処理部と、前記撮像素子および前記補間処理部を制御する制御手段と、を少なくとも有し、前記輝度値情報変換する工程では、前記単板式カラーフィルタ内の隣接する３行３列の前記フィルタセルの各フィルタセルに対応する各輝度値情報に対して、第１の列の第１の行から第３の行に対し１、２、１の割合で荷重を行ない、第２の列の第１の行から第３の行に対し２、４、２の割合で荷重を行ない、第３の列の第１の行から第３の行に対し１、２、１の割合で荷重を行ない、前記荷重を行なった前記各フィルタセルに対応する輝度値情報の加算値を前記３行３列のフィルタセルの第２行第２列目のフィルタセルに対応する輝度値情報に置き換えることを特徴としている。
【００１６】
また本発明の画像処理装置は、第１色、第２色及び第３色のフィルタセルを含み、前記第１色の前記フィルタセルは市松状に配置され、前記第２色及び第３色の前記フィルタセルのそれぞれ同数ずつを前記第１色のフィルタセルに隣接するように配置された単板式カラ−フィルタと、前記単板式カラーフィルタを含む撮像素子と前記撮像素子により得られる出力データを用いて輝度値情報変換する工程を含む補間処理部と、前記撮像素子および前記補間処理部を制御する制御手段と、を少なくとも有し、前記輝度値情報変換する工程では、前記単板式カラーフィルタ内の隣接する５行５列の前記フィルタセルの各フィルタセルに対応する各輝度値情報に対して、任意の係数ｆを用いて、第１の列の第１の行から第５の行に対し−ｆ、−３ｆ、−４ｆ、−３ｆ、−ｆの割合で荷重を行ない、第２の列の第１の行から第５の行に対し−３ｆ、９−９ｆ、１８−１２ｆ、９−９ｆ、−３ｆの割合で荷重を行ない、第３の列の第１の行から第５の行に対し−４ｆ、１８−１２ｆ、３６−１６ｆ、１８−１２ｆ、−４ｆの割合で荷重を行ない、第４の列の第１の行から第５の行に対し−３ｆ、９−９ｆ、１８−１２ｆ、９−９ｆ、−３ｆの割合で荷重を行ない、第５の列の第１の行から第５の行に対し−ｆ、−３ｆ、−４ｆ、−３ｆ、−ｆの割合で荷重を行ない、前記荷重を行なった前記各フィルタセルに対応する輝度値情報の加算値を前記５行５列のフィルタセルの第３行第３列目の前記フィルタセルに対応する輝度値情報に置き換えることを特徴としている。
【００１７】
また本発明の画像処理装置は、前記第１色、第２色及び第３色の各フィルタセルに対応する前記撮像素子の各出力データに前記第１色、第２色及び第３色のフィルタセルに応じた輝度変換係数を乗算する工程を有することを特徴としている。
【００１８】
また本発明の画像処理装置は、前記輝度値情報変換する工程において、前記撮像素子により得られる出力データを色差情報に変換し、前記色差情報は、前記色差情報を抽出する第一の算出位置のフィルタセルを含む２行２列の前記フィルタセルのブロックにおいて、ブロック内での各色に対応する出力データの平均値を求め、前記平均値を用いて算出することを特徴としている。
【００１９】
また本発明の画像処理装置は、算出した前記第一の算出位置の色差情報を、隣接する第二の算出位置における色差情報との間で平滑化することを特徴としている。
【００２０】
また本発明の画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体は、コンピュータに、第１色、第２色及び第３色のフィルタセルを含み、前記第１色の前記フィルタセルは市松状に配置され、前記第２色及び第３色のフィルタセルのそれぞれ同数ずつを前記第１色のフィルタセルに隣接するように配置された単板式カラ−フィルタと、前記単板式カラーフィルタを含む撮像素子とを有し、前記第１色、第２色及び第３色の各フィルタセルに対応する前記撮像素子の各出力データに対して前記第１色、第２色及び第３色の各フィルタセルで異なる輝度変換係数を乗算するステップと、前記撮像素子により得られる出力データを用いて輝度値情報変換するステップと、を実行させることを含み、前記輝度値情報に変換する工程では、前記単板式カラーフィルタ内の隣接する３行３列のフィルタセルの各フィルタセルに対応する各輝度値情報に対して、第１の列の第１の行から第３の行に対し１、２、１の割合で荷重を行ない、第２の列の第１の行から第３の行に対し２、４、２の割合で荷重を行ない、第３の列の第１の行から第３の行に対し１、２、１の割合で荷重を行ない、前記荷重を行なった前記各フィルタセルに対応する輝度値情報の加算値を前記３行３列のフィルタセルの第２行第２列目のフィルタセルに対応する輝度値情報に置き換えることを実行するを特徴としている。
【００２１】
また本発明の画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体は、コンピュータに、第１色、第２色及び第３色のフィルタセルを含み、前記第１色のフィルタセルは市松状に配置され、前記第２色及び第３色のフィルタセルのそれぞれ同数ずつを前記第１色のフィルタセルに隣接するように配置された単板式カラ−フィルタと、前記単板式カラーフィルタを含む撮像素子とを有し、前記撮像素子により得られる出力データを用いて輝度値情報に変換するステップと、を実行させることを含み、前記輝度値情報変換するステップでは、前記単板式カラーフィルタ内の隣接する５行５列のフィルタセルの各フィルタセルに対応する各輝度値情報に対して、任意の係数ｆを用いて、第１の列の第１の行から第５の行に対し−ｆ、−３ｆ、−４ｆ、−３ｆ、−ｆの割合で荷重を行ない、第２の列の第１の行から第５の行に対し−３ｆ、９−９ｆ、１８−１２ｆ、９−９ｆ、−３ｆの割合で荷重を行ない、第３の列の第１の行から第５の行に対し−４ｆ、１８−１２ｆ、３６−１６ｆ、１８−１２ｆ、−４ｆの割合で荷重を行ない、第４の列の第１の行から第５の行に対し−３ｆ、９−９ｆ、１８−１２ｆ、９−９ｆ、−３ｆの割合で荷重を行ない、第５の列の第１の行から第５の行に対し−ｆ、−３ｆ、−４ｆ、−３ｆ、−ｆの割合で荷重を行ない、前記荷重を行なった前記各フィルタセルに対応する輝度値情報の加算値を前記５行５列のフィルタセルの第３行第３列目のフィルタセルに対応する輝度値情報に置き換えることを実行させることを特徴としている。
【００２２】
また本発明の画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体は、前記第１色、第２色及び第３色の各フィルタセルに対応する前記撮像素子の各出力データに前記第１色、第２色及び第３色のフィルタセルに応じた輝度変換係数を乗算するステップを実行させることを特徴としている。
【００２３】
また本発明の画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体は、前記輝度値情報変換するステップにおいて、前記撮像素子により得られる出力データを色差情報に変換し、前記色差情報は、前記色差情報を抽出する第一の算出位置のフィルタセルを含む２行２列の前記フィルタセルのブロックにおいて、ブロック内での各色に対応する出力データの平均値を求め、前記平均値を用いて算出することを実行させることを特徴としている。
【００２４】
また本発明の画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体は、算出した前記第一の算出位置の色差情報を、隣接する第二の算出位置における色差情報との間で平滑化することを実行させることを特徴としている。
【００２５】
以上のように、本発明では、固体撮像装置が備えるカラーフィルターが、３色で構成され、単位面積あたり、ある色の数が残りの２色それぞれの数に対して２倍の数存在する特徴を持つ場合、特にＲＧＲＧ、ＢＧＢＧそれぞれの配列で構成される、ベイヤー型配列のカラーフィルターを持つ固体撮像素子から得られた輝度値を補間する方法において、適切なフィルタを用いることによって、補間対象のピクセルの位置やＲＧＢの種類によって場合分けをする必要のない、荷重平均による補間処理を実現できる。このような補間処理は並列化し易く、デジタルスチルカメラなどの画像処理装置に実装した場合に短かい待ち時間で、良好な画質の出力画像を得ることができる。
【００２６】
また、輝度値情報と色差情報を分離し、色差情報については輝度値情報と別の経路で補間することによって、従来の技術で問題となっていた輝度値が急激に変化する部分での色差のずれを、適切な補間方法を選択することによって回避できるという利点がある。
【００２７】
さらに、輝度値の補間処理で必要となる平滑化と鮮鋭化の係数列処理を一括化することにより、中間結果を補間するための記録装置を省略することができる。このことは低コストで補間処理系を構成できることを示しており、ディジタルスチルカメラなどの組み込み用途においてはコスト削減に効果的である。
【００２８】
【発明の実施の形態】
以下、本発明が行う画像補間処理方法の実施の形態を、添付図面を参照しながら説明する。
【００２９】
なお、この実施の形態では固体撮像素子で撮影されたデータを補間し、最終的にＲＧＢデータを出力する系について説明する。
【００３０】
図１に示すように、本実施の形態に係る固体撮像素子処理系は、光学系や固体撮像素子を含む画像入力部１０と画像入力部１０から送られてきたＲＧＢ信号を輝度信号Ｙに変換する輝度変換部２０、輝度信号Ｙに対して乗算処理を行う荷重平均処理部３０、固体撮像素子１０から送られてきたＲＧＢ信号をグループ化し、色差信号Ｃに変換する色差変換・補間処理部４０、ＹＣからＲＧＢへ戻す処理を行うＹＣ−＞ＲＧＢ処理部５０から構成されている。
【００３１】
画像入力部１０で撮影されたＲＧＢ信号は処理過程で輝度信号Ｙと色差信号Ｃに分離され、それぞれの信号を補間するブロックにより独立に補間処理がおこなわれ、その二つの信号は最終的にＲＧＢ信号に復元されて表示系やメモリに出力される。
【００３２】
画像入力部１０は、図２に示したベイヤー配列の原色系カラーフィルタを備える。
【００３３】
このフィルタはＧのピクセル数がＲ、Ｂに比べて２倍あり、輝度情報をより多く得られる配列となっている。一般的にＧのピクセル数がＲ、Ｂに比べて２倍あるフィルタがよく使われている。本実施例では原色系ベイヤー配列のカラーフィルタを用いているが、本発明の画像補間処理方法は、カラーフィルタの特性に合わせて適宜輝度変換部２０と色差変換・補間処理部４０の動作を変更することにより、補色系カラーフィルタや、非ベイヤー配列のフィルタを使用した固体撮像素子から得られたデータにも適用できる。
【００３４】
画像入力部１０から出力されたＲＧＢデータは２つに分岐して輝度変換部２０と色差変換・補間処理部４０に入力される。２つに別れたＲＧＢデータの一方の経路である輝度変換部２０では各画素の入力データに対してＲＧＢそれぞれの場合に対応した輝度変換係数がかけられ、輝度値画像に変換されて荷重平均処理部３０に入力される。
【００３５】
なお、輝度値はＲＧＢすべての情報がそろっている場合に計算できるものであり、固体撮像素子の物理的制限で、各ピクセルは単色の情報しか持たないため、輝度変換係数をかけたものは、厳密には輝度値と呼べない。
【００３６】
本来は、補間処理によって得られる画像が真の輝度値を表しているが、ここでは輝度値変換係数をかけ変換を行った情報と補間後の情報を共に輝度値と呼ぶことにする。
【００３７】
ところで、ここで示した輝度変換係数は、たとえばＮＴＳＣのＲＧＢ３刺激値に対しては、それぞれＲ:０.２９８８、Ｇ:０.５８６８、Ｂ:０.１１４４の値が用いられる。
【００３８】
この輝度変換部２０ではＲＧＢすべての情報を輝度値に変換しているが、たとえばＧの色を持つフィルタを通過した光の感度曲線が輝度値特性と似ているという理由から、Ｇの情報だけを抽出して輝度値の補間を行う方法を用いてもよい。しかし、Ｒ、Ｂの輝度値情報も含めて補間を行ったほうが情報量が増えるため、出力結果の輪郭など細かい部分の再現性がよい。
【００３９】
また、荷重平均処理部３０では入力された輝度値画像から３×３の要素を抽出し、それらの値に上段から順に(１、２、１)(２、４、２)(１、２、１)の比で構成される荷重をそれぞれかけ、それらの和を３×３の要素の中心に対応する位置の出力とする処理を行う。なお、ここで行う処理は、対応する位置にあるデータに、前記の荷重をかけた結果を得ることが目的であり、同じ結果が得られる限り、演算の順番を変えたり演算を一括化するなど、これに相当する処理を用いてもよい。具体的には異なる要素にかけられる係数の値が同じ場合に、異なる要素をあらかじめ足しておいて乗算回数を減らした処理や、各要素に(１、２、１)(２、４、２)(１、２、１)の値をかけたものをそれぞれの位置に対応する出力バッファに加算していく処理などが考えられる。
【００４０】
ところで、荷重平均処理部３０において用いる荷重は、あらかじめＲＢから得られる輝度値データに係数２.０をかけておくことで、補間対象ピクセルのＲＧＢの種類、位置によらずに等価な補間結果が得られるという特徴を持っている。
【００４１】
このように補間方法が補間対象ピクセルのＲＧＢの種類、位置に依存しないことでハードウェアによる並列化が容易となり、良好な画質の出力画像を短時間に得ることができるという利点がある。
【００４２】
さらにこの荷重平均処理部３０で用いる係数列に、平滑化フィルタと鮮鋭化フィルタを組み合わせた効果を持たせることで、二つのフィルタを独立に適用した場合よりも少ないメモリ量で、良好な画質の輝度値画像を得ることができる。
【００４３】
具体的には第１行に１、２、１、第２行に２、４、２、第３行に１、２、１という比の要素で構成される３×３平滑化フィルタに加え、鮮鋭化の度合いを示す係数fを要素に含み、第１行に−f、−f、−f、第２行に−f、９−f、−f、第３行に−f、−f、−fという比の要素で構成される鮮鋭化フィルタの効果を組み合わせ、
第１行は−f、−３f、−４f、−３f、−f、
第２行は−３f、９−９f、１８−１２f、９−９f、−３f、
第３行は−４f、１８−１２ｆ、３６−１６f、１８−１２f、−４f、
第４行は−３f、９−９ｆ、１８−１２f、９−９f、−３f、
第５行は−f、−３f、−４f、−３f、−f
の比の要素で構成される係数列を用いて、実現される。
【００４４】
この平滑化、鮮鋭化を一括化した処理についても、入力された輝度値画像から５ｘ５の要素を抽出し、それらの値に上段から順に前記の係数列の値をそれぞれかけ、それらの和を５ｘ５の要素の中心に対応する位置の出力とする処理を行う。なお、５ｘ５の場合でも、対応する位置にあるデータに、前記の係数列をかけた結果を得ることがこの処理の目的であり、実装では同じ結果が得られる限り、演算の順番を変えたり、演算を一括化するなど、これに相当する処理を用いてもよい。
【００４５】
具体的には異なる要素にかけられる係数の値が同じ場合に、異なる要素をあらかじめ足しておいて乗算回数を減らした処理や、各要素に前記係数列の値をかけたものをそれぞれの位置に対応する出力バッファに加算していく処理などが考えられる。
【００４６】
例として鮮鋭化係数f＝０.７５ の場合の平滑化・鮮鋭化の効果がある荷重配列を図３に示す。
【００４７】
この５ｘ５の係数列を用いた場合の荷重平均処理部３０での処理は一つのピクセルにつき、４回の掛け算、および２５回のメモリに対する加算が必要である。
【００４８】
一方、平滑化処理と鮮鋭化処理を一括化しない場合には、一つのピクセルにつき、４回の掛け算、および１８回のメモリに対する加算が必要である。
【００４９】
処理量を比べると独立して処理した場合のほうが一括化した場合よりも少ないが、平滑化と鮮鋭化それぞれについて荷重平均処理部が必要であるということと、データの受け渡しのために中間結果を保存するメモリが必要となることの二つの問題があるため、この二つの処理は一括化したほうがコスト的に有利である。
【００５０】
また、分岐したもう一方のＲＧＢデータが入力される色差変換・補間処理部４０では、
固体撮像素子がベイヤー型のカラーフィルタを備えている場合、入力されたＲＧＢデータを図４に示すように対象ピクセル近傍のＲＧＢの配置によって４パターンに場合分けしてＲＧＢの情報を持つ一つのグループとして扱い、
Ｒ＝Ｒ１、Ｇ＝（Ｇ１＋Ｇ２）/２、Ｂ＝Ｂ１
これらの式から求められるＲＧＢから色差情報を計算し、その値をＲＧＢへの再計算に用いている。
【００５１】
輝度をＹ、色差を Ｕ、Ｖ とした場合の色差情報は、

【００５２】
から求められる。
【００５３】
この色差変換・補間処理部４０で行うＲＧＢからＹＵＶへの変換処理は、ＲＧＢ値に対する３×３行列演算によって表現することができる。
【００５４】
なお、この色差情報を直接ＲＧＢデータへの再計算に用いず、図５に示すような１３グループの平均として計算した結果を用いてもよい。このように１３グループの平均値を使用することにより、従来の技術の問題点であった色ずれを減少させることができる。
【００５５】
さらに、その他適切な色差情報補間方法を選択し、上記輝度値補間方法と組み合わせてＲＧＢデータを再計算する方法を用いてもよい。
【００５６】
すなわち、固体撮像素子がベイヤー型配列ではない原色系カラーフィルタを用いている場合や、ベイヤー型配列の原色系カラーフィルタを用いている場合でも、それらのデータに対して適切な補間方法を利用して、上記輝度値補間方法によって得られた輝度値データと併せて、ＲＧＢデータへの再計算を行ってもよい。
【００５７】
そして、ＹＣ−＞ＲＧＢ処理部５０では荷重平均処理部３０から入力される輝度値データと色差変換・補間処理部４０から入力される色差データからＲＧＢデータを再計算し、カラー画像データを出力する。
【００５８】
また、ここで行うＹＵＶからＲＧＢへの変換もＲＧＢからＹＵＶへの変換と同様に３×３行列演算で表現することができる。
【００５９】
従来の技術では、画像入力部１０から出力されるＲＧＢデータを直接補間処理してＲＧＢデータを出力していたため、輪郭付近で色ずれが発生し、画質の面で劣っていたが、
本発明で説明する方法および装置では、輝度情報と色差情報を分離して補間を行っているため、良好な出力画像を得ることが可能である。
【００６０】
さらに、このシステムは単純な行列フィルタによる輝度値補間処理と単純な場合分けによる色差情報の補間処理を使用しているため、処理の並列化が容易であり、
高画質の出力が得られるリアルタイム撮像装置などへの応用が可能である。
【００６１】
次に、この処理系をディジタルスチルカメラ装置として実現した場合の実施の形態を
図６を用いて説明する。
【００６２】
ここで示したディジタルスチルカメラ装置は、光学系デバイスを含む固体撮像素子１１０と固体撮像素子１１０を制御し、データをその後の処理部に渡す役割を持つ固体撮像素子制御手段１２０、取得した画像データを一時記憶（あるいは記録）する画像データ記憶（あるいは記録）手段１３０、画像データの補間処理を行う補間処理部１４０、表示系に送り出すためのデータを記憶（あるいは記録）する表示メモリ１５０、画像データの表示を行う表示手段１６０から構成されている。
【００６３】
以下に、この装置が画像を撮影して表示装置に画像が表示されるまでの処理の流れを示す。
【００６４】
固体撮像素子１１０によって制御された固体撮像素子が画像を撮影し、そのデータは固体撮像素子１１０を経由し、画像データ記憶（あるいは記録）手段１３０に一時記録される。このデータは一つの画素につき１色の情報しかもたないため、近隣ピクセルの情報を用いた補間処理を行う補間処理部１４０に読みこまれ、補間処理が行われる。
【００６５】
この補間処理結果は表示メモリに送られ、その情報は表示手段１６０によって読みだされ、カラー画像として表示される。
【００６６】
この図６には本発明を説明するに必要な構成要素のみしか含まれていないが、たとえばデジタルビデオカメラのような情報記録機器であれば、それに必要なさまざまな要素が設けられることは勿論である。
【００６７】
図６での固体撮像素子１１０と固体撮像素子制御手段１２０が実際に行う処理は、図２での画像入力部１０が行う処理に対応する。
【００６８】
なお、一般的にはＣＣＤやＣＭＯＳデバイスが固体撮像素子として用いられているが、その他の入力デバイスを固体撮像素子として用いてもよい。
【００６９】
画像データ記憶（あるいは記録）手段１３０は、撮影後の一時記憶（あるいは記録）として用いるものとするが、
この画像データ記憶（あるいは記録）手段１３０を中間処理結果記憶（あるいは記録）手段として兼ねる実装方法をとってもよい。つまり、画像処理中の中間処理結果記憶（あるいは記録）手段を補間処理部に持つ実装方法を使用したほうが、より高速な処理が行えると考えられるが、速度とコストとのトレードオフになると考えられる。
【００７０】
補間処理部１４０は、本発明の方法の特徴である、単純な補間処理の並列化を実現するため、可能な限りハードウェア化し、高速な処理が行えるものとするべきであるが、
補間処理部１４０内部の処理部を汎用ＣＰＵに置き換え、補間処理プログラムを別の記憶（あるいは記録）装置に蓄えたディジタルスチルカメラの実装も考えられる。
【００７１】
なお、図６では補間処理部で出力されたデータは表示メモリ１５０へと出力されているが、実際のディジタルスチルカメラでは、この間に白色に見える色の調整するホワイトバランス調整をする処理が入る実装も考えられる。
【００７２】
表示メモリ１５０は補間処理部１４０から出力されたカラー画像データを一時記憶（あるいは記録）し、カラー画像表示を行う表示手段１６０へ出力するものである。
【００７３】
この図６で示したような装置は、従来の技術を補間処理部に用いた装置よりも低コストで製造でき、さらに並列化をすすめることによって高速に処理を行うことができ、かつ良好な画質を持つ出力画像が得られる特徴がある。
【００７４】
また、以上説明した本発明の画像補間処理を行う処理プログラムは、フロッピィディスク、光ディスク、ハードディスクなどの記録媒体に記録させておくことができ、本発明はその記録媒体をも含むものである。また、ネットワークから処理プログラムを得るようにしてもよい。
【００７５】
【発明の効果】
以上説明したように本発明によれば、補間対象のピクセルの位置やＲＧＢの種類によって場合分けをする必要のない補間処理を実現でき、このような補間処理はハードウェア化、並列化し易く、短い処理時間で良好な画質の出力画像を得ることができる。
【００７６】
また、色差情報と輝度値情報とを別の経路で補間することによって、輝度値が急激に変化する部分での色差のずれを回避できるという利点がある。
【００７７】
さらに、平滑化と鮮鋭化の係数列処理を一括化することにより、中間結果保存のための記録装置を省略することができるので、低コストで補間処理系を構成することが可能となる。
【図面の簡単な説明】
【図１】 画像処理系全体のブロック図。
【図２】 ベイヤー配列のカラーフィルタの説明図。
【図３】 輝度値補間・鮮鋭化処理用荷重配列の説明図。
【図４】 色差情報を計算する時に行うグループ化の説明図。
【図５】 色差情報の平均範囲についての説明図。
【図６】 ディジタルスチルカメラのブロック図。
【符号の説明】
１０ 画像入力部
２０ 輝度変換部
３０ 荷重平均処理部
４０ 色差変換・補間処理部
５０ ＹＣ−＞ＲＧＢ処理部
１１０ 固体撮像素子
１２０ 固体撮像素子制御手段
１３０ 画像データ記録手段
１４０ 補間処理部
１５０ 表示メモリ
１６０ 表示手段

Claims (15)

1. 第１色、第２色及び第３色のフィルタセルを含み、前記第１色のフィルタセルは市松状に配置され、前記第２色及び第３色のフィルタセルのそれぞれ同数ずつを前記第１色のフィルタセルに隣接するように配置された単板式カラ−フィルタと、前記単板式カラーフィルタを含む撮像素子とを有し、前記第１色、第２色及び第３色の各フィルタセルに対応する前記撮像素子の各出力データに対して前記第１色、第２色及び第３色の各フィルタセルで異なる輝度変換係数を乗算する工程と、前記撮像素子により得られる出力データを輝度値情報に変換する工程と、を含み、前記輝度値情報に変換する工程では、前記単板式カラーフィルタ内の隣接する３行３列のフィルタセルの各フィルタセルに対応する各輝度値情報に対して、第１の列の第１の行から第３の行に対し１、２、１の割合で荷重を行ない、第２の列の第１の行から第３の行に対し２、４、２の割合で荷重を行ない、第３の列の第１の行から第３の行に対し１、２、１の割合で荷重を行ない、前記荷重を行なった前記各フィルタセルに対応する輝度値情報の加算値を前記３行３列のフィルタセルの第２行第２列目のフィルタセルに対応する輝度値情報に置き換えることを特徴とする画像処理方法。
2. 第１色、第２色及び第３色のフィルタセルを含み、前記第１色の前記フィルタセルは市松状に配置され、前記第２色及び第３色のフィルタセルのそれぞれ同数ずつを前記第１色のフィルタセルに隣接するように配置された単板式カラ−フィルタと、前記単板式カラーフィルタを含む撮像素子とを有し、前記撮像素子により得られる出力データを輝度値情報に変換する工程と、を含み、前記輝度値情報に変換する工程では、前記単板式カラーフィルタ内の隣接する５行５列のフィルタセルの各フィルタセルに対応する各輝度値情報に対して、任意の係数ｆを用いて、第１の列の第１の行から第５の行に対し−ｆ、−３ｆ、−４ｆ、−３ｆ、−ｆの割合で荷重を行ない、第２の列の第１の行から第５の行に対し−３ｆ、９−９ｆ、１８−１２ｆ、９−９ｆ、−３ｆの割合で荷重を行ない、第３の列の第１の行から第５の行に対し−４ｆ、１８−１２ｆ、３６−１６ｆ、１８−１２ｆ、−４ｆの割合で荷重を行ない、第４の列の第１の行から第５の行に対し−３ｆ、９−９ｆ、１８−１２ｆ、９−９ｆ、−３ｆの割合で荷重を行ない、第５の列の第１の行から第５の行に対し−ｆ、−３ｆ、−４ｆ、−３ｆ、−ｆの割合で荷重を行ない、前記荷重を行なった前記各フィルタセルに対応する輝度値情報の加算値を前記５行５列のフィルタセルの第３行第３列目のフィルタセルに対応する輝度値情報に置き換えることを特徴とする画像処理方法。
3. 前記第１色、第２色及び第３色の各フィルタセルに対応する前記撮像素子の各出力データに前記第１色、第２色及び第３色のフィルタセルに応じた輝度変換係数を乗算する工程を有することを特徴とする請求項２に記載の画像処理方法。
4. 前記輝度値情報に変換する工程において、前記撮像素子により得られる出力データを色差情報に変換し、前記色差情報は、前記色差情報を抽出する第一の算出位置のフィルタセルを含む２行２列の前記フィルタセルのブロックにおいて、ブロック内での各色に対応する出力データの平均値を求め、前記平均値を用いて算出することを特徴とする請求項１ないし請求項３のいずれかに記載の画像処理方法。
5. 算出した前記第一の算出位置の色差情報を、隣接する第二の算出位置における色差情報との間で平滑化することを特徴とする請求項４に記載の画像処理方法。
6. 第１色、第２色及び第３色のフィルタセルを含み、前記第１色のフィルタセルは市松状に配置され、前記第２色及び第３色のフィルタセルのそれぞれ同数ずつを前記第１色のフィルタセルに隣接するように配置された単板式カラ−フィルタと、前記単板式カラーフィルタを含む撮像素子と前記第１色、第２色及び第３色の各フィルタセルに対応する前記撮像素子の各出力データに対して前記第１色、第２色及び第３色の各フィルタセルで異なる輝度変換係数を乗算する工程と、前記撮像素子により得られる出力データを用いて輝度値情報変換する工程とを含む補間処理部と、前記撮像素子および前記補間処理部を制御する制御手段と、を少なくとも有し、前記輝度値情報変換する工程では、前記単板式カラーフィルタ内の隣接する３行３列の前記フィルタセルの各フィルタセルに対応する各輝度値情報に対して、第１の列の第１の行から第３の行に対し１、２、１の割合で荷重を行ない、第２の列の第１の行から第３の行に対し２、４、２の割合で荷重を行ない、第３の列の第１の行から第３の行に対し１、２、１の割合で荷重を行ない、前記荷重を行なった前記各フィルタセルに対応する輝度値情報の加算値を前記３行３列のフィルタセルの第２行第２列目のフィルタセルに対応する輝度値情報に置き換えることを特徴とする画像処理装置。
7. 第１色、第２色及び第３色のフィルタセルを含み、前記第１色の前記フィルタセルは市松状に配置され、前記第２色及び第３色の前記フィルタセルのそれぞれ同数ずつを前記第１色のフィルタセルに隣接するように配置された単板式カラ−フィルタと、前記単板式カラーフィルタを含む撮像素子と前記撮像素子により得られる出力データを用いて輝度値情報変換する工程を含む補間処理部と、前記撮像素子および前記補間処理部を制御する制御手段と、を少なくとも有し、前記輝度値情報変換する工程では、前記単板式カラーフィルタ内の隣接する５行５列の前記フィルタセルの各フィルタセルに対応する各輝度値情報に対して、任意の係数ｆを用いて、第１の列の第１の行から第５の行に対し−ｆ、−３ｆ、−４ｆ、−３ｆ、−ｆの割合で荷重を行ない、第２の列の第１の行から第５の行に対し−３ｆ、９−９ｆ、１８−１２ｆ、９−９ｆ、−３ｆの割合で荷重を行ない、第３の列の第１の行から第５の行に対し−４ｆ、１８−１２ｆ、３６−１６ｆ、１８−１２ｆ、−４ｆの割合で荷重を行ない、第４の列の第１の行から第５の行に対し−３ｆ、９−９ｆ、１８−１２ｆ、９−９ｆ、−３ｆの割合で荷重を行ない、第５の列の第１の行から第５の行に対し−ｆ、−３ｆ、−４ｆ、−３ｆ、−ｆの割合で荷重を行ない、前記荷重を行なった前記各フィルタセルに対応する輝度値情報の加算値を前記５行５列のフィルタセルの第３行第３列目の前記フィルタセルに対応する輝度値情報に置き換えることを特徴とする画像処理装置。
8. 前記第１色、第２色及び第３色の各フィルタセルに対応する前記撮像素子の各出力データに前記第１色、第２色及び第３色のフィルタセルに応じた輝度変換係数を乗算する工程を有することを特徴とする請求項７に記載の画像処理装置。
9. 前記輝度値情報変換する工程において、前記撮像素子により得られる出力データを色差情報に変換し、前記色差情報は、前記色差情報を抽出する第一の算出位置のフィルタセルを含む２行２列の前記フィルタセルのブロックにおいて、ブロック内での各色に対応する出力データの平均値を求め、前記平均値を用いて算出することを特徴とする請求項６ないし請求項８のいずれかに記載の画像処理装置。
10. 算出した前記第一の算出位置の色差情報を、隣接する第二の算出位置における色差情報との間で平滑化することを特徴とする請求項９に記載の画像処理装置。
11. コンピュータに、第１色、第２色及び第３色のフィルタセルを含み、前記第１色の前記フィルタセルは市松状に配置され、前記第２色及び第３色のフィルタセルのそれぞれ同数ずつを前記第１色のフィルタセルに隣接するように配置された単板式カラ−フィルタと、前記単板式カラーフィルタを含む撮像素子とを有し、前記第１色、第２色及び第３色の各フィルタセルに対応する前記撮像素子の各出力データに対して前記第１色、第２色及び第３色の各フィルタセルで異なる輝度変換係数を乗算するステップと、前記撮像素子により得られる出力データを用いて輝度値情報変換するステップと、を実行させることを含み、前記輝度値情報に変換する工程では、前記単板式カラーフィルタ内の隣接する３行３列のフィルタセルの各フィルタセルに対応する各輝度値情報に対して、第１の列の第１の行から第３の行に対し１、２、１の割合で荷重を行ない、第２の列の第１の行から第３の行に対し２、４、２の割合で荷重を行ない、第３の列の第１の行から第３の行に対し１、２、１の割合で荷重を行ない、前記荷重を行なった前記各フィルタセルに対応する輝度値情報の加算値を前記３行３列のフィルタセルの第２行第２列目のフィルタセルに対応する輝度値情報に置き換えることを実行するを特徴とする画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体。
12. コンピュータに、第１色、第２色及び第３色のフィルタセルを含み、前記第１色のフィルタセルは市松状に配置され、前記第２色及び第３色のフィルタセルのそれぞれ同数ずつを前記第１色のフィルタセルに隣接するように配置された単板式カラ−フィルタと、前記単板式カラーフィルタを含む撮像素子とを有し、前記撮像素子により得られる出力データを用いて輝度値情報に変換するステップと、を実行させることを含み、前記輝度値情報変換するステップでは、前記単板式カラーフィルタ内の隣接する５行５列のフィルタセルの各フィルタセルに対応する各輝度値情報に対して、任意の係数ｆを用いて、第１の列の第１の行から第５の行に対し−ｆ、−３ｆ、−４ｆ、−３ｆ、−ｆの割合で荷重を行ない、第２の列の第１の行から第５の行に対し−３ｆ、９−９ｆ、１８−１２ｆ、９−９ｆ、−３ｆの割合で荷重を行ない、第３の列の第１の行から第５の行に対し−４ｆ、１８−１２ｆ、３６−１６ｆ、１８−１２ｆ、−４ｆの割合で荷重を行ない、第４の列の第１の行から第５の行に対し−３ｆ、９−９ｆ、１８−１２ｆ、９−９ｆ、−３ｆの割合で荷重を行ない、第５の列の第１の行から第５の行に対し−ｆ、−３ｆ、−４ｆ、−３ｆ、−ｆの割合で荷重を行ない、前記荷重を行なった前記各フィルタセルに対応する輝度値情報の加算値を前記５行５列のフィルタセルの第３行第３列目のフィルタセルに対応する輝度値情報に置き換えることを実行させることを特徴とする画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体。
13. 前記第１色、第２色及び第３色の各フィルタセルに対応する前記撮像素子の各出力データに前記第１色、第２色及び第３色のフィルタセルに応じた輝度変換係数を乗算するステップを実行させることを特徴とする請求項１２に記載の画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体。
14. 前記輝度値情報変換するステップにおいて、前記撮像素子により得られる出力データを色差情報に変換し、前記色差情報は、前記色差情報を抽出する第一の算出位置のフィルタセルを含む２行２列の前記フィルタセルのブロックにおいて、ブロック内での各色に対応する出力データの平均値を求め、前記平均値を用いて算出することを実行させることを特徴とする請求項１１ないし請求項１３に記載の画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体。
15. 算出した前記第一の算出位置の色差情報を、隣接する第二の算出位置における色差情報との間で平滑化することを実行させることを特徴とする請求項１４に記載の画像処理プログラムを記録したコンピュータに読み取り可能な記録媒体。

Images