JP4599965B2 - 撮像装置、ノイズ処理方法及びプログラム - Google Patents

Description

本発明は、例えばデジタルカメラなどの撮像装置に係り、特に２つの撮像素子を備えた撮像装置と、この撮像装置に用いられる画像処理方法及びプログラムに関する。

デジタルカメラは、デジタル・スチル・カメラまたは電子スチルカメラなどとも呼ばれ、ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）などの撮像素子を用いて、撮影レンズを通して入射された光を電気信号に変換し、これを画像データとしてメモリカードなどに記録するものである。

図１３は従来のデジタルカメラの回路構成を示すブロック図であり、撮像素子としてＣＣＤを用いた場合の基本的な構成を示している。

図中の１１がＣＣＤである。このＣＣＤ１１の出力信号である各画素の信号は、ＡＦＥ（ａｎａｌｏｇｕｅ ｆｒｏｎｔ−ｅｎｄ）１２を介してデジタルデータに変換された後、デジタル信号処理専用のマイクロプロセッサであるＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）１３に与えられる。

ＤＳＰ１３では、各画素のデジタルデータを画像処理してメインコンピュータであるＣＰＵ１７に渡す。ＣＰＵ１７は、ＤＳＰ１３によって画像処理されたデータを画像データとして取得し、これを所定の方式で圧縮してメモリ１８に記録する。

また、タイミング発生器１４は、ＤＳＰ１３からの指示に従ってＡＦＥ１２にサンプルホールド信号を出力すると共に、Ｈドライバ１５およびＶドライバ１６に対して、それぞれＣＣＤ駆動用のタイミングパルス信号を出力する。Ｈドライバ１５はＣＣＤ１１を構成する各画素の電荷を水平方向へ転送するためのドライバ、Ｖドライバ１６は各画素の電荷を垂直方向へ転送するためのドライバである。ＣＣＤ１１に蓄積された各画素の電荷信号は、Ｈドライバ１５およびＶドライバ１６から出力される駆動信号によって図示せぬ垂直レジスタと水平レジスタを介してライン単位で出力され、その出力先に設けられた図示せぬ検出部にて電気信号に変換されて出力される。

このように、通常のデジタルカメラでは、１つのＣＣＤを持ち、このＣＣＤを一組のＡＦＥ、タイミング発生器、ＨドライバおよびＶドライバで駆動している。

ここで、ＣＣＤの駆動時において、様々なノイズが発生することが知られている。ＣＣＤに発生するノイズは、大きく分けると、ランダム・ノイズと固定パターン・ノイズに分類される。

固定パターン・ノイズは、感度むらなどである。この固定パターン・ノイズは、ＣＣＤの固定箇所に発生するノイズであり、後の画像処理にて除去することが可能である。これに対し、ランダム・ノイズは、ランダムに発生するノイズであり、簡単には除去することができない。

ランダム・ノイズとしては、例えば光ショットノイズ、暗電流ショットノイズ、ホワイトノイズなどがある。光ショットノイズは、ＣＣＤの各画素を構成するフォトダイオードに入射するフォトンの揺らぎによって発生するノイズである。暗電流ショットノイズは、光以外の原因で発生するノイズであり、光が入射しない状態でも発生することから暗電流と呼ばれる。ホワイトノイズは、主にＣＣＤの出力部に設けられたＭＯＳトランジスタで発生するノイズである。

従来、このようなランダム・ノイズ（以下、単にノイズと称す）を除去する方法として、例えば特許文献１に開示されている方法が知られている。この特許文献１では、複数の撮像素子（ＣＣＤ）を用いて、これらの撮像素子上の配列画素出力を相関のあるもの同志を平均化して合成することで、信号に含まれるノイズ成分を除去することを提案している。
特開平６−３２６９０７号公報

前記特許文献１では、表示画面を複数の領域に分割し、これらの分割領域毎に撮像素子を設けている。そして、これらの撮像素子の各出力信号に基づいて、隣り合うライン同志または隣り合う画素同志で相関を取り、相関があれば両信号の平均値を出力し、相関がなければ最初のラインまたは最初の画素の信号を出力する。相関ある／なしの判断は、両信号の差分によって決定し、閾値以上であれば相関なし、閾値以内であれば相関ありと判断する。

このような方法によれば、相関の高いデータに対し、平均化処理によりノイズリダクションによる画質の改善を図ることができる。しかしながら、平均化する２つの信号はＣＣＤ上で別の画素の信号であるため、一方の信号に閾値以上のノイズが含まれていると、両者の信号に相関なしと判断されて、平均化処理が行われずにノイズが残ってしまう問題がある。

本発明は前記のような点に鑑みなされたもので、画素単位でランダム的に発生するノイズを処理して高画質の画像データを得ることのできる撮像装置、ノイズ処理方法及びプログラムを提供することを目的とする。

本発明の請求項１に係る撮像装置は、共通の撮影範囲を有する少なくとも２つの撮像素子と、前記各撮像素子から出力される各画素の信号をデジタルデータに変換する変換手段と、この変換手段によって得られた前記各撮像素子における同じ位置の画素データ同志を比較し、所定値以上の差があった場合に、当該位置における何れかの画素データにノイズが存在すると判定するノイズ判定手段と、このノイズ判定手段によって当該位置における何れかの画素データにノイズが存在すると判定された場合に、前記各撮像素子における同じ位置の画素データのそれぞれについて周囲画素のデータと比較し、前記周囲画素のデータとの差が少ない方の画素データをノイズが存在しない画素データとして選別する選別手段と、を具備し、前記選別手段は、前記ノイズ判定手段により既に判定済みの画素データを、前記比較の対象とする周囲画素のデータとして用いることを特徴とする。

本発明の請求項２は更に、前記選別手段によりノイズが存在しない画素データとして選別された画素データを用いて撮影画像を生成して記録する記録手段を更に備え、前記選別手段は、前記周囲画素のデータとの差が大きい方の画素データをノイズが存在する画素データとして選別するとともに、この選別されたノイズが存在する画素データを前記撮影画像の生成に用いる画素データから排除することを特徴とする。

本発明の請求項３は更に、前記選別手段は、前記各撮像素子から出力される複数の画素データに対して順番に前記ノイズが存在しない画素データを選別する選別処理を施していき、選別処理中の画素データよりも処理の順番が前の画素データだけを、該選別処理中の画素データと比較する周囲画素のデータとして用いることを特徴とする。

本発明の請求項４は更に、前記共通の撮影範囲を有する少なくとも２つの撮像素子は、第１の撮像素子と第２の撮像素子とを含み、前記選別手段は、前記各撮像素子における同じ位置の画素データのそれぞれについて周囲画素のデータと比較する場合に、前記第１の撮像素子の画素データについては、前記第１の撮像素子に含まれる周囲画素のデータと比較するとともに、前記第２の撮像素子の画素データについても、前記第１の撮像素子に含まれる周囲画素のデータと比較することを特徴とする。

本発明の請求項５は更に、前記各撮像素子の水平方向および垂直方向を共通に駆動する駆動手段を具備し、前記選別手段は、前記駆動手段により駆動される各画素データに対する選別処理を施していくことを特徴とする。

本発明の請求項６は更に、前記ノイズ判定手段により当該位置における何れかの画素データにノイズが存在すると判定された場合には、前記データ選別手段によりノイズが存在しない画素データとして選別された方の画素データを出力するとともに、前記ノイズ判定手段により当該位置における何れかの画素データにノイズが存在すると判定されなかった場合には、予め定められた方の画素データを出力するデータ出力手段を具備したことを特徴とする。

本発明の請求項７は更に、前記各撮像素子は、撮影レンズを通過後に分光された光をそれぞれ撮影することを特徴とする。

本発明の請求項８に係るノイズ処理方法は、共通の撮影範囲を有する少なくとも２つの撮像素子を備えた撮像装置に用いられるノイズ処理方法であって、前記各撮像素子から出力される各画素の信号をデジタルデータに変換する変換ステップと、この変換ステップによって得られた前記各撮像素子における同じ位置の画素データ同志を比較し、所定値以上の差があった場合に、当該位置における何れかの画素データにノイズが存在すると判定するノイズ判定ステップと、このノイズ判定ステップによって当該位置における何れかの画素データにノイズが存在すると判定された場合に、前記各撮像素子における同じ位置の画素データのそれぞれについて周囲画素のデータと比較し、前記周囲画素のデータとの差が少ない方の画素データをノイズが存在しない画素データとして選別する選別ステップと、を具備し、前記選別ステップは、前記ノイズ判定ステップにより既に判定済みの画素データを、前記比較の対象とする周囲画素のデータとして用いることを特徴とする。

本発明の請求項９に係るプログラムは、共通の撮影範囲を有する少なくとも２つの撮像素子を備えた撮像装置を制御するコンピュータに用いられるプログラムであって、前記コンピュータに、前記各撮像素子から出力される各画素の信号をデジタルデータに変換する変換機能と、この変換機能によって得られた前記各撮像素子における同じ位置の画素データ同志を比較し、所定値以上の差があった場合に、当該位置における何れかの画素データにノイズが存在すると判定するノイズ判定機能と、このノイズ判定機能によって当該位置における何れかの画素データにノイズが存在すると判定された場合に、前記各撮像素子における同じ位置の画素データのそれぞれについて周囲画素のデータと比較し、前記周囲画素のデータとの差が少ない方の画素データをノイズが存在しない画素データとして選別する選別機能と、を実現させ、前記選別機能は、前記ノイズ判定機能により既に判定済みの画素データを、前記比較の対象とする周囲画素のデータとして用いることを特徴とする。

本発明によれば、共通の撮影範囲を有する少なくとも２つの撮像素子を備え、各撮像素子における同じ位置の画素データ同志を比較し、所定値以上の差があった場合に、各撮像素子における同じ位置の画素データのそれぞれについて周囲画素のデータと比較し、周囲画素のデータとの差が少ない方の画素データをノイズが存在しない画素データとして選別するようにしたことで、これらの撮像素子から出力される信号を用いて画素単位でノイズ処理した信号を生成して、高画質の画像データを得ることができ、更に、ノイズ判定手段により既に判定済みの画素データを、前記比較の対象とする周囲画素のデータとして用いることで、より正確に画素データの選別を行うことが可能となる。

以下、図面を参照して本発明の実施形態を説明する。

（第１の実施形態）
第１の実施形態では、２つの撮像素子を用い、これらの出力信号をアナログ的に合成処理することでノイズ処理した信号を生成することを特徴としている。

図１は本発明の第１の実施形態におけるデジタルカメラの回路構成を示すブロック図であり、撮像素子として２つのＣＣＤ２１ａ，２１ｂを備えた場合の構成が示されている。ＣＣＤ２１ａ，２１ｂは、画素数などが同じものであるとする。また、このＣＣＤ２１ａ，２１ｂの画角も同じであり、被写体に対して同じ範囲を撮影するように構成されている。なお、撮影レンズは、ＣＣＤ２１ａ，２１ｂのそれぞれに対応した２つ設けられた構成であっても良いし、１つの撮影レンズを通して入射された光をプリズム等でＣＣＤ２１ａ，２１ｂのそれぞれに分光するような構成であっても良い。

このような同一構成のＣＣＤ２１ａ，２１ｂに対し、１組のＡＦＥ２２、タイミング発生器（ＴＧ）２４、Ｈドライバ２５およびＶドライバ２６が備えられる。

ＡＦＥ２２は、相関ダブル・サンプリング回路（ＣＤＳ）、自動ゲイン調整アンプ（ＡＧＣ）、Ａ／Ｄコンバータなどから構成され、タイミング発生器（ＴＧ）２４から出力されるサンプルホールド信号に従ってアナログの画像データをデシタル化する。ＤＳＰ２３では、このデジタル化された画像データを画像処理してメインコンピュータであるＣＰＵ２７に渡す。ＣＰＵ２７は、ＤＳＰ２３によって画像処理された画像データを撮影画像として取得し、これを所定の方式で圧縮してメモリ２８に記録する。

また、タイミング発生器２４は、ＤＳＰ２３からの指示に従ってＡＦＥ２２にサンプルホールド信号を出力すると共に、Ｈドライバ２５およびＶドライバ２６に対して、それぞれＣＣＤ駆動用のタイミングパルス信号を出力する。Ｈドライバ２５はＣＣＤ２１ａ，２１ｂを構成する各画素の電荷を水平方向へ転送するためのドライバ、Ｖドライバ２６は各画素の電荷を垂直方向へ転送するためのドライバである。

ここで、第１の実施形態では、ＣＣＤ２１ａ，２１ｂとＡＦＥ２２との間に合成器２９が設けられており、ＣＣＤ２１ａの出力信号（アナログ信号）ＳａとＣＣＤ２２ｂの出力信号（アナログ信号）Ｓｂをアナログ的に合成処理し、その合成信号ＳｃをＡＦＥ２２に出力する構成になっている。合成器２９は、ＣＣＤ２１ａの出力信号ＳａとＣＣＤ２２ｂの出力信号Ｓｂとを加算した後、これを平均化することで合成信号Ｓｃを生成する機能を有する。

上述したように、ＣＣＤ２１ａ，２１ｂは同一構成であり、画角を等しくして同じ範囲を撮影する。したがって、ＣＣＤ２１ａ，２１ｂ上で同じ位置の画素には、それぞれに同じ画像情報が蓄積され、その信号が出力されることになる。このため、一方の出力信号にノイズが存在していても、他方の出力信号と合成することで、これを低減することができる。

図２および図３にその様子を示す。図２は通常のＣＣＤ出力信号の波形、図３は２つのＣＣＤ出力信号とこれを合成した合成信号の波形を示している。

通常は、ＣＣＤ２１ａ，２１ｂの出力波形は図２のようになる。ここで、図３に示すように、例えば一方のＣＣＤ２１ａの出力信号Ｓａにノイズが存在していたとしても、前記合成器２９において、同じ画像情報である他方のＣＣＤ２１ａの出力信号Ｓｂと合成することで、ＡＦＥ２２に入力される合成信号Ｓｃのノイズ成分は元の１／２になる。なお、図中のＶｎはノイズレベルの絶対値、ＳＨＰ，ＳＨＤはサンプリングポイントを示している。

このように、それぞれに同じ範囲を撮影する２つのＣＣＤ２１ａ，２１ｂを備え、これらの出力信号Ｓａ，Ｓｂを合成器２９にて合成処理することで、一方の信号に存在していたノイズを半分に減らすことができる。なお、両方にノイズが存在していた場合にはキャンセルできないが、数万画素からなる素子の中で同じ位置にノイズが乗ってしまう可能性は低いため、問題にならないと考えられる。

逆に、例えば白い壁に１画素相当の黒い点があり、これを撮影したような場合には、２つのＣＣＤ２１ａ，２１ｂでこの黒い点を同時に捕らえるため、誤ってノイズとして除去してしまうようなことはなく、黒い点として撮影することが可能である。

さらに、このような２つのＣＣＤ２１ａ，２１ｂを使用して同じ範囲を撮影する構成では、その駆動回路（図１に示すＨドライバ２５およびＶドライバ２６）を共通化できる。つまり、同じドライバ出力を使用してＣＣＤ２１ａ，２１ｂを駆動することができるので、回路を簡素化して省スペース化、低コスト化を図ることができる。

なお、ここでは２つのＣＣＤを用いた構成を示したが、ＣＣＤの数を増やせば、当然の事ながらノイズ成分をさらに低減できる。この場合、Ｎ個のＣＣＤを搭載すれば、理論上、ノイズレベルの絶対値は１／Ｎとなる。さらに、ＣＣＤの数を増やすことで、すべてのＣＣＤの同じ位置にノイズが乗る可能性は極めて低くなることから、より確実にノイズ成分を除去して高画質の画像を得ることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

前記第１の実施形態では、２つのＣＣＤ出力をアナログ的に合成処理したが、第２の実施形態では、これをデジタル的に合成処理する。

図４は本発明の第２の実施形態におけるデジタルカメラの回路構成を示すブロック図である。なお、前記第１の実施形態における図１の構成と同じ部分には同一符号を付して、その説明は省略するものとする。

図１の構成と異なる点は、２つのＣＣＤ２１ａ，２１ｂに対して共通に設けられたＨドライバ３１からＣＣＤ２１ａ，２１ｂのそれぞれに対して水平駆動信号を個別に出力する構成になっていることである。また、ＣＣＤ２１ａ，２１ｂとＡＦＥ２２との間にスイッチ回路３２が設けられており、ＣＣＤ２１ａの出力信号ＳａとＣＣＤ２１ｂの出力信号Ｓｂを選択的にＡＦＥ２２に出力する構成になっている。

すなわち、前記第１の実施形態では、２つのＣＣＤ２１ａ，２１ｂに対し、図５に示すような水平駆動信号Ｈ１，Ｈ２を出力することで、ＣＣＤ２１ａ，２１ｂから同じタイミングで出力信号Ｓａ，Ｓｂを得ていた。これに対し、第２の実施形態では、図６に示すように、ＣＣＤ２１ａに対する水平駆動信号Ｈ１ａ，Ｈ２ａと、ＣＣＤ２１ｂに対する水平駆動信号Ｈ１ｂ，Ｈ２ｂに分け、その出力タイミングをずらしてＣＣＤ２１ａ，２１ｂに出力するものとする。

これにより、図７に示すように、ＣＣＤ２１ａ，２１ｂからは例えば１ライン毎に各画素の出力信号Ｓａ，Ｓｂが交互に読み出されて出力されることになる。ＡＦＥ２２では、これらの出力信号Ｓａ，Ｓｂをスイッチ回路３２を介して入力し、それぞれにＡ／Ｄ変換してＤＳＰ２３に出力する。ここで、ＤＳＰ２３において、ＣＣＤ２１ａ，２１ｂにおける同じ位置の画素に対応した２つのデジタル値を平均化する処理を行う。

このように、ＣＣＤ２１ａ，２１ｂの各出力信号Ｓａ，Ｓｂをデジタル化して平均化する構成であっても、一方にノイズ成分が存在していた場合にこれを低減することが可能である。また、出力信号Ｓａに対するサンプリングポイントＳＨＰａ，ＳＨＤａと、出力信号Ｓｂに対するサンプリングポイントＳＨＰｂ，ＳＨＤｂをそれぞれ個別に設定すれば、さらにノイズレベルの低減化することができる。

また、Ｈドライバ３１やＶドライバ２６などの駆動回路はＣＣＤ２１ａ，２１ｂで共通であるため、前記第１の実施形態と同様に回路の簡素化による省スペース化、低コスト化を図れる。

なお、ここではスイッチ回路３２を設けてＣＣＤ２１ａの出力信号ＳａとＣＣＤ２１ｂの出力信号Ｓｂを切り換える構成としたが、両信号ともＡＦＥ２２への入力が可能であれば、このＡＦＥ２２内でスイッチ回路３２のような動作をさせても良い。

また、この第２の実施形態においても、ＣＣＤは２つに限らず、３個以上であっても良く、ＣＣＤの数を増やせば、その分、ノイズ低減効果が大きくなる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。

第３の実施形態では、前記第２の実施形態と同様に２つのＣＣＤ出力をデジタル処理するが、その際に平均化するのではなく、２つのＣＣＤにおける同じ位置の画素データの中でノイズが存在するデータを選別し、そのデータを排除して出力するものである。

図８は本発明の第３の実施形態におけるデジタルカメラの回路構成を示すブロック図である。なお、基本的な構成は、前記第２の実施形態における図４の構成と同様であり、同じ部分には同一符号を付して、その説明は省略するものとする。

図４と異なる点は、デジタル処理を行うＤＳＰ２３に、本実施形態を実現する処理機能を持たせてあることと、２つのＣＣＤ２１ａ，２１ｂに対応させたバッファ（ＢＦ）３３ａ，３３ｂを追加し、それぞれに数ライン分のデータを保持できる構成としたことである。

２つのＣＣＤ２１ａ，２１ｂが同じ画角で同一範囲を撮影した場合、互いに対応する位置にある画素から得られるデータ値（デジタル）は等しくなると考えられる。これに対し、両者のデータ値に大きな差がある場合には、どちらか一方にノイズが存在していると考えられる。そこで、両者のデータ間に一定値ＴＨ以上の差があった場合にはノイズが存在しているものと判断し、その際に画像データの連続性を利用して周辺画素のデータと比較することで、ノイズが存在する方のデータを選別して排除する。

以下に、その処理動作について説明する。

図９は第３の実施形態における処理動作を示すフローチャートである。なお、このフローチャートで示される処理は、ＤＳＰ２３がメモリ２８などに予め記憶されたプログラムを読み込むことにより実行される。

２つのＣＣＤ２１ａ，２１ｂの出力信号Ｓａ，Ｓｂは、例えば１ライン毎にスイッチ回路３２を介して交互にＡＦＥ２２に与えられ、そこでＡ／Ｄ変換されてＤＳＰ２３に入力される（ステップＳ１１）。ここで、ＣＣＤ２１ａの１画素分のＡ／Ｄ変換出力をデータＡ、ＣＣＤ２１ｂの１画素分のＡ／Ｄ変換出力をデータＢとすると、ＤＳＰ２３では、データＡをバッファ３３ａに順次保持し、データＢをバッファ３３ｂに順次保持する（ステップＳ１２）。バッファ３３ａ，３３ｂには、それぞれに少なくとも１ライン分のデータを保持可能であるとする。

バッファ３３ａ，３３ｂに所定ライン数分のデータが保持されると、ＤＳＰ２３は、同じ位置のデータＡとデータＢとを比較し（ステップＳ１３）、両者の差分｜Ａ−Ｂ｜を求める（ステップＳ１４）。その結果、｜Ａ−Ｂ｜＜ＴＨであれば、つまり、データＡとデータＢに大きな差がなければ（ステップＳ１４のＮｏ）、ＤＳＰ２３はデータＡ，Ｂにノイズは存在しないものと判断し、その平均値を取って当該画素のデータとする（ステップＳ１５）。

一方、｜Ａ−Ｂ｜≧ＴＨであった場合、つまり、データＡとデータＢに閾値ＴＨ以上の大きな差があった場合には（ステップＳ１４のＹｅｓ）、データＡとデータＢのどちらか一方にノイズが存在しているものと考えられる。そこで、ＤＳＰ２３は、データＡとデータＢのそれぞれについて周辺画素のデータと比較することで、ノイズが存在するデータを選別する（ステップＳ１６）。

すなわち、画像データを構成する各画素のデータは、隣接する各画素同志で相関性が高い。そこで、データＡとデータＢのそれぞれについて周辺画素のデータと比較する。この場合、バッファ３３ａ，３３ｂが３ライン分のデータを保持可能な構成であれば、図１０に示すように、少なくとも周囲４画素とのデータ比較が可能である。

当然の事ながら、バッファの容量を増やせば、その分、比較対象とする画素数を多くすることができ、データ選別精度が上がる。ただし、あまり離れた画素との比較は相関性が低くなり、逆に精度を下げてしまう可能性があるため、例えば画素間の距離に応じた重み付けを行うことが好ましい。また、バッファ３３ａ，３３ｂの容量が１ライン分であれば、前後２つの周辺画素のデータとの比較によりデータ選別を行うことになる。

データＡとデータＢのそれぞれについて周辺画素のデータと比較した結果、データＡの方が周辺画素のデータとの差が少なかった場合には（ステップＳ１７のＹｅｓ）、ＤＳＰ２３は、データＢにノイズが存在している可能性があると判断し、データＡを当該画素のデータとして採用する（ステップＳ１８）。一方、データＢの方が周辺画素のデータとの差が少なかった場合には（ステップＳ１７のＮｏ）、ＤＳＰ２３は、データＡにノイズが存在している可能性があると判断し、データＢを当該画素のデータとして採用する（ステップＳ１９）。

なお、周辺画素のデータとの差がデータＡとデータＢで同じであった場合、どちらにもノイズが存在していないことであるため、どちらか一方（例えばデータＡ）を採用するものとする。

このように、２つのＣＣＤ２１ａ，２１ｂを用いて同一範囲を撮影した場合に、周辺画素との比較により一方のデータを排除することで、ノイズ成分をキャンセルした画素データを出力して、高画質の画像データを最終的に得ることができるようになる。

なお、前記実施形態では、周辺画素のデータと比較する場合に、図１０に示したように、データＡとデータＢでそれぞれの周辺画素のデータと比較するものとして説明したが、例えば図１１に示すように、データＡの周辺画素のデータとデータＢとを比較するようにしても良い。このように、データＡとデータＢで比較対象とする周辺画素のデータを統一することで、データ選別の基準が同じとなり、より正確にノイズを含んだ画素データを選別できるようになる。また、このような方法によれば、回路構成上もバッファ１つで対応することができる。

また、別の方法として、図１２に示すように、周辺画素のデータとして、ノイズ判定によって既に確定済みの画素データ（確定データ）を用いて、これと比較するような方法もある。この場合、各画素の確定データを別のメモリに保持しておく必要があるが、このような確定データとの比較により、より正確にデータ選別を行うことができる。ただし、着目画素より後の画素については、まだ未確定であるため、着目画素よりも前に存在する画素のデータと比較することになる。図１２において、データＡとデータＢに対して四角マークで示した画素のデータが確定データであり、同じものである。この確定データは、図示せぬメモリに保持されているものとする。

また、前記各実施形態において、撮像素子として２つのＣＣＤを搭載したデジタルカメラを例にして説明したが、さらに多くのＣＣＤを搭載して前記同様の手法にてノイズキャンセルすることもできる。また、例えばＣＣＤ以外の撮像素子を用いることでも良い。

また、前記各実施形態では、２つのＣＣＤの画素数や画角が同じで、同一範囲を撮影するものとして説明したが、必ずしも、そのような構成である必要はない。すなわち、２つのＣＣＤの画素数や画角が違っていても、互いに共通の撮影範囲を有する構成であれば、その撮影範囲内のノイズを除去した画像を得ることができる。

また、２つのＣＣＤの各画素のデータを比較する場合に、互いに同じ位置の画素同士を比較する方法の他に、例えば一方のＣＣＤの１画素のデータと、他方のＣＣＤの複数画素のデータとを比較してノイズ処理するような構成であっても良い。

さらに、本発明はデジタルカメラに限らず、例えばカメラ付きの携帯電話など、撮像機能を備えた電子機器であれば、そのすべてに適用可能である。

要するに、本発明は前記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１の実施形態におけるデジタルカメラの回路構成を示すブロック図。 通常のＣＣＤ出力信号の波形を示す図。 同実施形態の手法に従った２つのＣＣＤ出力信号とこれを合成した合成信号の波形を示す図。 本発明の第２の実施形態におけるデジタルカメラの回路構成を示すブロック図。 通常のＨドライバから出力される水平駆動信号の波形を示す図。 同実施形態の手法に従ったＨドライバから出力される水平駆動信号の波形を示す図。 同実施形態におけるＨドライバから出力される水平駆動信号と２つのＣＣＤ出力信号との関係を示す図。 本発明の第３の実施形態におけるデジタルカメラの回路構成を示すブロック図。 同実施形態における処理動作を示すフローチャート。 同実施形態におけるノイズ判定方法を説明するための図。 他のノイズ判定方法を説明するための図。 他のノイズ判定方法を説明するための図。 従来のデジタルカメラの回路構成を示すブロック図。

符号の説明

２１ａ，２１ｂ…ＣＣＤ、２２…ＡＦＥ（ａｎａｌｏｇｕｅ ｆｒｏｎｔ−ｅｎｄ）、２３…ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、２４…タイミング発生器（ＴＧ）、２５…Ｈドライバ、２６…Ｖドライバ、２７…ＣＰＵ、２８…メモリ、２９…合成器、３１…Ｈドライバ、３２…スイッチ回路、３３ａ，３３ｂ…バッファ、Ｓａ…ＣＣＤ（Ａ）の出力信号、Ｓｂ…ＣＣＤ（Ｂ）の出力信号、Ｓｃ…合成信号。

Claims (9)

1. 共通の撮影範囲を有する少なくとも２つの撮像素子と、
   前記各撮像素子から出力される各画素の信号をデジタルデータに変換する変換手段と、
   この変換手段によって得られた前記各撮像素子における同じ位置の画素データ同志を比較し、所定値以上の差があった場合に、当該位置における何れかの画素データにノイズが存在すると判定するノイズ判定手段と、
   このノイズ判定手段によって当該位置における何れかの画素データにノイズが存在すると判定された場合に、前記各撮像素子における同じ位置の画素データのそれぞれについて周囲画素のデータと比較し、前記周囲画素のデータとの差が少ない方の画素データをノイズが存在しない画素データとして選別する選別手段と、を具備し、
   前記選別手段は、前記ノイズ判定手段により既に判定済みの画素データを、前記比較の対象とする周囲画素のデータとして用いることを特徴とする撮像装置。
2. 前記選別手段によりノイズが存在しない画素データとして選別された画素データを用いて撮影画像を生成して記録する記録手段を更に備え、
   前記選別手段は、前記周囲画素のデータとの差が大きい方の画素データをノイズが存在する画素データとして選別するとともに、この選別されたノイズが存在する画素データを前記撮影画像の生成に用いる画素データから排除することを特徴とする請求項１記載の撮像装置。
3. 前記選別手段は、前記各撮像素子から出力される複数の画素データに対して順番に前記ノイズが存在しない画素データを選別する選別処理を施していき、選別処理中の画素データよりも処理の順番が前の画素データだけを、該選別処理中の画素データと比較する周囲画素のデータとして用いることを特徴とする請求項１または２に記載の撮像装置。
4. 前記共通の撮影範囲を有する少なくとも２つの撮像素子は、第１の撮像素子と第２の撮像素子とを含み、
   前記選別手段は、前記各撮像素子における同じ位置の画素データのそれぞれについて周囲画素のデータと比較する場合に、前記第１の撮像素子の画素データについては、前記第１の撮像素子に含まれる周囲画素のデータと比較するとともに、前記第２の撮像素子の画素データについても、前記第１の撮像素子に含まれる周囲画素のデータと比較することを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
5. 前記各撮像素子の水平方向および垂直方向を共通に駆動する駆動手段を具備し、
   前記選別手段は、前記駆動手段により駆動される各画素データに対する選別処理を施していくことを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
6. 前記ノイズ判定手段により当該位置における何れかの画素データにノイズが存在すると判定された場合には、前記データ選別手段によりノイズが存在しない画素データとして選別された方の画素データを出力するとともに、
   前記ノイズ判定手段により当該位置における何れかの画素データにノイズが存在すると判定されなかった場合には、予め定められた方の画素データを出力するデータ出力手段を具備したことを特徴とする請求項１乃至５のいずれかに記載の撮像装置。
7. 前記各撮像素子は、撮影レンズを通過後に分光された光をそれぞれ撮影することを特徴とする請求項１から６のいずれかに記載の撮像装置。
8. 共通の撮影範囲を有する少なくとも２つの撮像素子を備えた撮像装置に用いられるノイズ処理方法であって、
   前記各撮像素子から出力される各画素の信号をデジタルデータに変換する変換ステップと、
   この変換ステップによって得られた前記各撮像素子における同じ位置の画素データ同志を比較し、所定値以上の差があった場合に、当該位置における何れかの画素データにノイズが存在すると判定するノイズ判定ステップと、
   このノイズ判定ステップによって当該位置における何れかの画素データにノイズが存在すると判定された場合に、前記各撮像素子における同じ位置の画素データのそれぞれについて周囲画素のデータと比較し、前記周囲画素のデータとの差が少ない方の画素データをノイズが存在しない画素データとして選別する選別ステップと、を具備し、
   前記選別ステップは、前記ノイズ判定ステップにより既に判定済みの画素データを、前記比較の対象とする周囲画素のデータとして用いることを特徴とするノイズ処理方法。
9. 共通の撮影範囲を有する少なくとも２つの撮像素子を備えた撮像装置を制御するコンピュータに用いられるプログラムであって、
   前記コンピュータに、
   前記各撮像素子から出力される各画素の信号をデジタルデータに変換する変換機能と、
   この変換機能によって得られた前記各撮像素子における同じ位置の画素データ同志を比較し、所定値以上の差があった場合に、当該位置における何れかの画素データにノイズが存在すると判定するノイズ判定機能と、
   このノイズ判定機能によって当該位置における何れかの画素データにノイズが存在すると判定された場合に、前記各撮像素子における同じ位置の画素データのそれぞれについて周囲画素のデータと比較し、前記周囲画素のデータとの差が少ない方の画素データをノイズが存在しない画素データとして選別する選別機能と、を実現させ、
   前記選別機能は、前記ノイズ判定機能により既に判定済みの画素データを、前記比較の対象とする周囲画素のデータとして用いることを特徴とするプログラム。

Images