JP3647052B2 - 撮像装置 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は撮像装置に関するものである。
【０００２】
【従来の技術】
単板式カラービデオカメラ装置では、一枚の撮像素子の画像から色の情報を得るため、その受光面上に色フィルタをモザイク状に配置している。現在最もよく用いられている、Ｍｇ，Ｙｅ，Ｃｙ，Ｇの補色モザイクフィルタは、図６（ａ）に示すように配置されており、各補色フィルタの分光感度特性に応じた値が、撮像素子の出力として得られるようになっている。但し、動画を撮影するムービーとして用いる場合、ＮＴＳＣ等のインタレース走査の規格に合わせるため、図６（ａ）のｎラインとｎ＋１ライン、ｎ＋２ラインとｎ＋３ライン、・・・の各画素信号を加算した信号を偶数フィールドに用い、ｎ−１ラインとｎライン、ｎ＋１ラインとｎ＋２ライン、・・・の各画素信号を加算した信号を奇数フィールドに用いている。従って、撮像素子の出力信号としては、図６（ｂ）に示すものとなる。ここで、Ｗｒ＝Ｍｇ＋Ｙｅ，Ｗｂ＝Ｍｇ＋Ｃｙ，Ｇｒ＝Ｇ＋Ｙｅ，Ｇｂ＝Ｇ＋Ｃｙである。そして、Ｗｒ，Ｗｂ，Ｇｒ，Ｇｂの各補色信号の空間的位相を合わせて補間し、各１フレーム分のＷｒ，Ｗｂ，Ｇｒ，Ｇｂ各補色信号が生成される。その手順は、例えばＷｒに着目すれば、撮像素子出力がＷｒの場合はそのままＷｒを用い、Ｗｒ以外の場合には、空間的に隣接するＷｒ（１画素前後のＷｒ、または同一フィールド内の１ライン前後のＷｒ、または斜め４方向のＷｒ）の平均を計算してＷｒを生成している。そして、各補色信号のサンプリング周波数に関しては、撮像素子の画素サンプリング周波数ｆｓの１／２となってしまうため、ｆｓ／２により発生する折り返し成分をできるだけ抑圧するように帯域制限される。こうした生成した補色信号に、マトリクス演算を行うことにより、ＲＧＢ３原色信号を生成している。
【０００３】
【発明が解決しようとする課題】
上記従来の技術では、原理的に、撮像素子出力から各補色信号を分離・生成する時点で、垂直、水平、斜め方向に、撮像素子がとりうる画素サンプリング周波数ｆｓの１／２の周波数毎に、キャリアと折り返し成分が発生し、偽色信号となって現れ、画質を損なうという問題点がある。また、上記折り返し成分を除去するためには、理論的には各補色信号を分離・生成する前の撮像素子出力信号の帯域を、垂直、水平、斜め方向に対して、画素サンプリング周波数の１／４に制限したうえで分離・生成すべきである。しかし、撮像素子出力信号には色変調成分が重畳されており、これはできないという問題がある。
【０００４】
従来は、上記問題点を解決するために、上記ＲＧＢ３原色信号とは別に、撮像素子出力に含まれる色変調成分をＬＰＦで除去した信号（補色フィルタの分光感度特性が理想的であればＲ＋１．５Ｇ＋Ｂであり、帯域は画素サンプリング周波数の１／２までとることができる）を生成し、上記ＲＧＢ３原色信号とのマトリクス演算により、広帯域のＲＧＢ３原色信号を生成している。しかしながら、上記ＲＧＢ３原色信号と上記広帯域ＲＧＢ３原色信号を比較すると、広帯域ＲＧＢ３原色信号は高精細となる反面、色の精度が低下し、白っぽい画像となるという問題点を有していた。
【０００５】
【課題を解決するための手段（及び作用）】
上記従来の技術の問題点に鑑み、本発明は、ＲＧＢ３原色信号を、彩度と帯域を落とすことなく、かつ偽色の発生を極力抑えて生成し、特に近年注目されているマルチメディア・コンピュータへの入力画像およびプリンタ等での印刷に関し、より適した画像を提供することを目的とする。
【０００６】
このため本発明では、ある画素の欠落した補色値を推定する際に、前記画素の近傍の輝度信号の変化に着目するものである。ここでいう輝度信号とは、撮像素子信号に含まれる色変調成分をＬＰＦ等により除去した信号であり、即ち撮像素子信号に対して線形演算を施して得られた信号である。従って、前記輝度信号は、Ｗｒ，Ｗｂ，Ｇｒ，Ｇｂの各補色値との相関は高いものと考えられる。そこで、図１（ａ）に示すような手順で推定する。例えば実存するＷｒをＷｒ１，Ｗｒ２とし、推定したいＷｒをＷｒｃとする。これに対し、同じ画素の輝度値をＹ１，Ｙ２，Ｙｃとする。ＷｒはＹと相関が高いものと考えられるので、ＷｒｃのＷｒ１，Ｗｒ２に対する比率は、ＹｃのＹ１，Ｙ２に対する比率と同じものと考えられる。即ち、Ｗｒ１：Ｗｒｃ：Ｗｒ２＝Ｙ１：Ｙｃ：Ｙ２。これより、
Ｗｒｃ＝｛（Ｙｃ−Ｙ１）／（Ｙ２−Ｙ１）｝＊（Ｗｒ２−Ｗｒ１）＋Ｗｒ１ （１）
【０００７】
式（１）で問題となるのは、図１（ｂ）に示すように、Ｙ２−Ｙ１がゼロまたはゼロに近い値となる場合に式（１）が計算できないか、あるいは誤差が大きくなる点である。これは、輝度、色共に変化がほとんどない平坦な画像である場合が考えられるが、こうした画像では、従来行われてきたように、隣接するＷｒの平均により推定しても問題はない。よって、
Ｗｒｃ＝（Ｗｒ１＋Ｗｒ２）／２ （２）
【０００８】
さらに式（１）、式（２）いずれであっても問題となる場合として、図１（ｃ）に示すように、Ｙ２−Ｙ１がゼロまたはゼロに近い値であって、かつＹｃ−Ｙ１は十分大きな値であるような場合である。この場合式（１）、式（２）いずれも誤差が大きいものと考えられる。そこで本発明では、こうした場合Ｙｃ−Ｙ１に任意の係数Ｋを乗じた値をＷｒ１に加算することにより、Ｗｒｃの推定値として用いるものとする。
【０００９】
Ｗｒｃ＝Ｗｒ１＋（Ｙｃ−Ｙ１）＊Ｋ （３）
ただし、式（１）および式（３）で用いる輝度信号を生成する低域通過フィルタの特性は、輝度信号と各補色信号との相関をできるだけ高く保つため、通過域ではできる限りフラットな特性のものを用いる方が好ましい。
【００１０】
以上式（１）〜式（３）を適宜用いて推定した補色値を用いれば、ＲＧＢ３原色信号を、彩度と帯域を落とすことなく、かつ偽色の発生を極力抑えて生成することが可能となる。
【００１１】
【実施例】
図２は本発明の第１の実施例を示す。図２において、１はＣＣＤ撮像素子、２はＡ／Ｄコンバータ、３は２Ｈディレイライン、４は５の低域通過フィルタのディレイ量との位相合わせのための遅れ素子、５は低域通過フィルタ、６は第１の遅れ素子、７は第２の遅れ素子、８は第１の補色値推定手段、９は第２の補色値推定手段、１０は第３の補色値推定手段、１１はＣＣＤを駆動する回路、１２は条件判定手段、１３は制御線、１４は第１の切り換え手段、１５は第２の切り換え手段、１６は論理反転素子、１７は出力端子である。図３は、図２の８の第１の補色値推定手段の実施例であり、１は加算回路、２はゲイン調節手段である。図４は、図２の９の第２の補色値推定手段の実施例であり、１は減算回路、２はゲイン調節手段、３は加算回路である。図５は図２の１０の第３の補色値推定手段である。
【００１２】
以下、図２〜図５を用いて本発明の第１の実施例の動作について説明する。１のＣＣＤ撮像素子の受光面に結像された像は、光電変換され、２のＡ／Ｄコンバータによりディジタル画像信号に変換される。前記ディジタル画像信号は３の２Ｈディレイラインに加わり、ここで１Ｈ遅れ、並びに２Ｈ遅れの３Ｈ分のＣＣＤ出力信号が生成される。前記３Ｈ分のＣＣＤ出力信号は、分岐され、一方は５の低域通過フィルタにより、ＣＣＤ出力信号に含まれる色変調成分を除去され、いわゆる輝度信号に変換され、７の第２の遅れ素子に加わる。また、前記分岐された残る一方の３Ｈ分のＣＣＤ出力信号は、４の遅れ素子により、前記５の低域通過フィルタ出力との位相を合わせた後、６の第１の遅れ素子に加わる。６および７の遅れ素子により、前記３Ｈ分のＣＣＤ出力信号並びに３Ｈ分の輝度信号から、１画素遅れおよび２画素遅れのＣＣＤ出力信号と輝度信号がホールドされる。ここでＣＣＤ出力信号に関して、現在の画素値をｃ０、１画素遅れの値をｃ１、２画素遅れの値をｃ２、１Ｈ遅れの値をｃ３、１Ｈ＋１画素遅れの値をｃ４、１Ｈ＋２画素遅れの値をｃ５、２Ｈ遅れの値をｃ６、２Ｈ＋１画素遅れの値をｃ７、２Ｈ＋２画素遅れの値をｃ８とし、中央の画素値としてはｃ４を用いる。同様に輝度信号に関して、ｙ０，ｙ１，ｙ３，ｙ４，ｙ５，ｙ６，ｙ７，ｙ８とし、中央画素値はｙ４を用いる。ただし輝度信号については２画素遅れの値ｙ２は生成しない。８の第１の補色値推定手段には、９個のＣＣＤ出力信号値が入力される。９の第２の補色推定手段には、ｃ０，ｃ１，ｃ３，ｃ４，ｙ０，ｙ１，ｙ３，ｙ４の８個の画素値が入力される。１０の第３の補色推定手段には、ｃ０，ｃ１，ｃ３，ｃ４，ｃ５，ｃ７，ｃ８，ｙ０，ｙ１，ｙ３，ｙ４，ｙ５，ｙ７，ｙ８の１４個の画素値が入力される。ここで、８の第１の補色値推定手段の推定方法は前記式（２）による推定方法であり、９の第２の補色値推定手段の推定方法は前記式（３）により推定する方法であり、１０の第３の補色値推定手段の推定方法は前記式（１）により推定する方法である。各推定手段の動作については後述する。８〜１０の各推定手段は、いずれも中央画素値Ｃｅｎｔ、中央画素の１画素前後の画素値から推定した値Ｈｏｒｚ、中央画素の１Ｈ前後の画素値から推定した値Ｖｅｒｔ、中央画素の斜め方向の画素値から推定した値Ｄｉａｇの４値を出力し、１４の第１の切り換え手段に加える。１２の条件判定手段は、８〜１０の各推定手段により推定された補色値のうちのいずれを用いるか、適応的に決定する手段であり、ｙ０，ｙ１，ｙ３，ｙ４，ｙ５，ｙ７，ｙ８が入力される。もし、入力される画像が平坦なものであれば、中央画素値ｙ４に対する周辺画素値ｙ０，ｙ１，ｙ３，ｙ５，ｙ７，ｙ８との差分は０または０に近いものとなる。こうした場合、前記式（１）により補色値を推定すると、分母が０に近いため誤差が大きくなる。そこで１２の条件判定手段は１３の制御線を通じて８の第１の補色値推定手段により推定した補色値を用いるように１４の第１の切り換え手段を制御する。逆に、中央画素値ｙ４と周辺画素値ｙ０，ｙ１，ｙ３，ｙ５，ｙ７，ｙ８との差分が十分大きく、かつ、周辺画素値どうしの差分も十分大きい場合は前記式（１）を用いるものとし、１０の第３の補色値推定手段により推定した補色値を用いるように１４の第１の切り換え手段を制御する。ただし、中央画素値ｙ４と周辺画素値ｙ０，ｙ１，ｙ３，ｙ５，ｙ７，ｙ８との差分は十分に大きいが、周辺画素値どうしの差分が０に近い場合、やはり前記式（１）では誤差が大きくなり、従来の推定手法によっても誤差が大きくなる。そこでこうした場合には、前記式（３）を用いた９の第２の補色値推定手段により推定した補色値を用いるように１４の第１の切り換え手段を制御する。１４の第１の切り換え手段により適応的に選択されたＣｅｎｔ，Ｈｏｒｚ，Ｖｅｒｔ，Ｄｉａｇ各値は、１５の第２の切り換え手段に加えられる。さて、１１のＣＣＤ駆動回路は、１のＣＣＤ撮像素子を駆動する一方で、偶数ラインでＬｏｗ、奇数ラインでＨｉｇｈとなるＬｉｎｅ−ＩＤ信号と、偶数画素でＬｏｗ、奇数画素でＨｉｇｈとなるＰｉｘｅｌ−ＩＤ信号を出力する。ここで、１のＣＣＤ撮像素子出力信号が、偶数ラインではＷｒ，Ｇｂ，Ｗｒ，Ｇｂ，・・・、奇数ラインではＧｒ，Ｗｂ，Ｇｒ，Ｗｂ，・・・であるものとすれば、例えばＷｒに関しては、偶数ラインでは、Ｃｅｎｔ，Ｈｏｒｚ，Ｃｅｎｔ，Ｈｏｒｚ，・・・、奇数ラインＶｅｒｔ，Ｄｉａｇ，Ｖｅｒｔ，Ｄｉａｇ，・・・の順で各推定値を用いれば良い。同様に、ＧｂではＨｏｒｚ，Ｃｅｎｔ，Ｈｏｒｚ，Ｃｅｎｔ，・・・、Ｄｉａｇ，Ｖｅｒｔ，Ｄｉａｇ，Ｖｅｒｔ，・・・、ＧｒではＶｅｒｔ，Ｄｉａｇ，Ｖｅｒｔ，Ｄｉａｇ，・・・、Ｃｅｎｔ，Ｈｏｒｚ，Ｃｅｎｔ，Ｈｏｒｚ，・・・、ＷｂではＤｉａｇ，Ｖｅｒｔ，Ｄｉａｇ，Ｖｅｒｔ，・・・、Ｈｏｒｚ，Ｃｅｎｔ，Ｈｏｒｚ，Ｃｅｎｔ，・・・の順に用いれば良い。従ってＷｒを選別する１５−１の切り換え手段ではＬｉｎｅ−ＩＤとＰｉｘｅｌ−ＩＤで制御し、Ｇｂを選別する１５−２の切り換え手段はＬｉｎｅ−ＩＤとＮＯＴ（Ｐｉｘｅｌ−ＩＤ）で制御し、Ｇｒを選別する１５−３の切り換え手段はＮＯＴ（Ｌｉｎｅ−ＩＤ）とＰｉｘｅｌ−ＩＤで制御し、Ｗｂを選別する１５−４の切り換え手段はＮＯＴ（Ｌｉｎｅ−ＩＤ）とＮＯＴ（Ｐｉｘｅｌ−ＩＤ）で制御する。以上の動作の結果、１７の出力端子には推定された各補色信号が出力される。
【００１３】
次に、図２の８の第１の補色値推定手段の動作について図３によりさらに詳しく説明する。Ｃｅｎｔは、入力された中央画素値ｃ４そのものとなる。Ｈｏｒｚは、ｃ４の１画素前後の画素値ｃ３とｃ５を加算し、１／２にゲイン調節したものとなる。Ｖｅｒｔは、ｃ４の１Ｈ前後の画素値ｃ１とｃ７を加算し、１／２にゲイン調節したものとなる。Ｄｉａｇは、ｃ４の斜め４方向の画素値ｃ０，ｃ２，ｃ６，ｃ８を加算し、１／４にゲイン調節したものとなる。以上、従来良く用いられている補色推定手段が実現される。
【００１４】
図２の９の第２の補色値推定手段の動作について、図４により説明する。Ｃｅｎｔは、入力されたＣＣＤ信号の中央画素値ｃ４そのものとなる。Ｈｏｒｚは、入力された輝度信号の中央画素値ｙ４と１画素前の輝度値ｙ３とＣＣＤ信号値ｃ３を用いて前記式（３）により演算した結果となる。Ｖｅｒｔは、ｙ４とｙ４の１Ｈ前の輝度値ｙ１とＣＣＤ信号値ｃ１を用いて前記式（３）により演算した結果となる。Ｄｉａｇは、ｙ４とｙ４の１Ｈ＋１画素前の輝度値ｙ０とＣＣＤ信号値ｃ０を用いて前記式（３）により演算した結果となる。以上の動作により、前記式（３）に基づく補色値推定手段が実現される。
【００１５】
最後に、図２の１０の第３の補色値推定手段の動作を、図５により説明する。ＣｅｎｔはＣＣＤ信号の中央画素値ｃ４である。Ｈｏｒｚは、輝度信号の中央画素値ｙ４とその１画素前後の輝度値ｙ３，ｙ５およびＣＣＤ信号値ｃ３，ｃ５を用いて前記式（１）の演算を行ったものとなる。Ｖｅｒｔは、輝度信号の中央画素値ｙ４とその１Ｈ前後の輝度値ｙ１，ｙ７およびＣＣＤ信号値ｃ１，ｃ７を用いて前記式（１）により演算した結果となる。Ｄｉａｇは、輝度信号の中央画素値ｙ４とｙ０，ｙ８，ｃ０，ｃ８を用いて、前記式（１）により演算した結果となる。以上の動作により、前記式（１）に基づく補色値推定手段が実現される。
【００１６】
以上、本発明の第１の実施例の説明を行った。本実施例では前記式（２）に基づく補色推定手法、前記式（３）に基づく補色推定手法、前記式（１）に基づく推定手法の３つを適応的に使い分ける構成としたが、例えば前記式（１）に基づく推定手法のみの構成としても良いし、前記式（３）に基づく推定手法のみの構成としても構わない。
【００１７】
【発明の効果】
以上説明したように、本発明によればＲＧＢ３原色信号を、彩度と帯域を落とすことなく、かつ偽色の発生を極力抑えて生成することができる。
【００１８】
よって本発明を例えば単板式ビデオカメラ等に用いれば、従来より高画質なものが実現できる。
【００１９】
また、マルチメディアコンピュータやプリンタ等に適した入力画像をより良い画質で提供することができる。さらに、前記式（３）に基づく推定手法のみの構成とした場合、従来ディレイラインが２本必要であったが、これが１本で構成できるため、回路規模や消費電力が大幅に削減されたうえで、偽色の発生と彩度の低下を防ぐことができる。
【図面の簡単な説明】
【図１】本発明の補色値推定法を説明するための図。
【図２】本発明の第１の実施例を示すブロック図。
【図３】図１の要部を示す構成図。
【図４】図１の要部を示す構成図。
【図５】図１の要部を示す構成図。
【図６】補色モザイクフィルタの画素配置を示す図。

Claims (6)

1. 複数の異なる補色がモザイク状に配置された補色フィルタを有する撮像手段と、
   前記補色フィルタの各画素信号を隣接した画素信号と加算して補色信号として読み出す補色信号読出し手段と、
   所定の補色信号成分を有していない画素信号を、前記所定の補色信号成分を有する画素信号を用いて補間する補間手段とからなり、
   を有する撮像装置において、前記補間手段は、次式：
   Ｗｘｃ＝｛（Ｙｃ−Ｙ１）／（Ｙ２−Ｙ１）｝＊（Ｗｘ２−Ｗｘ１）＋Ｗｘ１、
   Ｗｘｃ：前記補色信号成分を有していない第１の画素位置の出力値、
   Ｗｘ１：前記第１の画素位置に隣接しかつ前記補色信号成分を含む第２の画素位置に対応する信号の出力値、
   Ｗｘ２：前記第１の画素位置に隣接し前記補色信号成分を含みかつ前記第２の画素位置とは異なる第３の画素位置に対応する信号の出力値、
   Ｙｃ：前記補色信号読出し手段によって読み出された前記第１の画素位置の補色信号より色調成分を除去することによって得られた輝度値、
   Ｙ１：前記補色信号読出し手段によって読み出された前記第２の画素位置の補色信号より色調成分を除去することによって得られたの補色信号より色調成分を除去することによって得られた輝度値、
   Ｙ２：前記補色信号読出し手段によって読み出された前記第３の画素位置の補色信号より色調成分を除去することによって得られた輝度値、
   で表される第１の演算を行うことを特徴とする撮像装置。
2. 請求項１において、前記補間手段は、さらに、前記第２，第３の画素位置のそれぞれに対応する補色信号の出力値の平均値を前記第１の画素に対応する補色信号の出力値とする第２の演算と、
   前記第１，第２の画素位置に対応する輝度値の差分に対して任意の係数を乗じた値と、
   前記第２の画素位置に対応する補色信号の出力値とを加算した値を前記第１の画素位置に対応する補色信号の出力値とする第３の演算と、を行い、
   前記第１，第２，第３の演算によって算出される補色信号の出力値のうちの１つに選択的に切り換える切り換え手段とを有することを特徴とする撮像装置。
3. 請求項２において、前記切り換え手段は、前記第２，第３の画素位置に対応する輝度値の差が所定値より大きいと判断される場合、前記第１の演算によって算出される補色信号の出力値に切り換えることを特徴とする撮像装置。
4. 請求項２において、前記切り換え手段は、前記第２，第３の画素位置に対応する輝度値の差が所定値より小さいと判断される場合、前記第２の演算を行うことによって算出される補色信号の出力値に切り換えることを特徴とする撮像装置。
5. 請求項２において、前記切り換え手段は、前記第２，第３の画素位置に対応する輝度値の差が第１の所定値より小さく、かつ、前記第１，第２の画素位置に対応する輝度値の差が第２の所定値より大きい場合、前記第３の演算を行うことによって算出される補色信号の出力値に切り換えることを特徴とする撮像装置。
6. 請求項１ないし請求項５のいずれか１項において、前記輝度値は、撮像手段から出力される画素信号を通過域がフラットな特性のフィルタを介すことにより生成されることを特徴とする撮像装置。

Images