JP4083437B2

JP4083437B2 - 撮像装置

Info

Publication number: JP4083437B2
Application number: JP2002028482A
Authority: JP
Inventors: 圭一森; 英明吉田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2002-02-05
Filing date: 2002-02-05
Publication date: 2008-04-30
Anticipated expiration: 2022-02-05
Also published as: JP2003230054A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置に関する。
【０００２】
【従来の技術】
本発明の出願人は、特願２０００−０２２７５８号において、ベイヤ配列の撮像素子の画素出力情報から、画素数（正確には空間画素密度）を減じたベイヤ配列画素信号を生成する減数処理技術を提案している。これにより、画質劣化を生じることなく、且つフレームレートも向上でき、更にデジタル信号処理の負担増加を抑えた画素情報加算による感度向上撮影可能、かつベイヤ配列の単板式カラー撮像素子を用いた場合も、複雑な演算処理を要することなく画素加算により感度の向上をはかることができ、且つフレームレートの向上を図ることができる。
【０００３】
上記の技術をＲＧＢベイヤ配列に関して詳細に述べる。２×２の４画素加算の場合では、ベイヤ配列の単位配列を２×２＝４個並べた４×４＝１６画素を１つのブロックと見なし、そのブロック内で次式で表わされる加算を行う。（図７参照）

（１）式において、ｉ＝４ｍ１＋ｍ２、ｊ＝４ｎ１＋ｎ２：ｍ１、ｎ１は非負の整数、ｍ２、ｎ２は１または２である。
【０００４】
このとき、座標ｉ、ｊは原画像画素Ｘの位置座標であり、生成画像画素Ａの位置座標も共通である。従って、Ａ（ｉ，ｊ）の座標（ｉ，ｊ）は、減数処理で生成された画素の原画像における代表位置を示すことになる。式の座標から判るように、生成画素は加算時の４つの原画素の平均位置に生成されるとみなしている。なお、加算された４画素の感度は等しいので、この場合は感度分布の重心位置に画素が生成されるともいえる。この様子を図７（ｂ）に示す。
【０００５】
なお、このような減数処理により生成されたベイヤ画像データは次段での処理においては上記原画像における代表的存在位置の座標は意味を失い、これらが単に順次（隙間無く隣接して）配列されたデータ（図示せず）として扱われるから、例えば上記と共通の記号（ｉ、ｊ、ｍ１、ｍ２、ｎ１、ｎ２）を用いて、
Ａ（ｘ，ｙ）＝Ａ（ｉ，ｊ）…（２）
（ただし、ｘ＝２ｍ１＋ｍ２−１、ｙ＝２ｎ１＋ｎ２−１）
という形式のベイヤ配列画像として、従来のベイヤ撮像素子からの出力信号と全く同様の公知の信号処理によって、色情報が同時化された（各画素が３色全てのデータを有する）コンポーネント信号化され記録対象画像に生成される。（その際必要に応じて情報圧縮処理も伴う。）
しかし、上記のように生成された画素信号の位置（すなわち原画素平均位置）は一様ではなく（すなわち、等間隔になっておらず）、不均一である。このため、基本サンプリング周波数が本来の半分となり、特に輝度モアレによる画質劣化を生じる問題があった。
【０００６】
図７（ｂ）に示す上記の４画素加算の場合においても生成画素の位置が一様で無いことは明らかであるが、３×３＝９画素加算の場合を取り上げて詳述する。
【０００７】
この場合には、ベイヤ配列の単位配列を３×３＝９個並べた６×６＝３６画素を１つのブロックと見なし、そのブロック内で次式で表わされる加算を行うものとなる。（図８）

（３）式において、ｉ＝６ｍ１＋ｍ２、ｊ＝６ｎ１＋ｎ２：ｍ１、ｎ１は非負の整数、ｍ２、ｎ２は２または３である。
【０００８】
この場合の重心位置分布の不均一性は、当然４画素の場合よりもさらに顕著になっている。ここでＲおよびＢ画素についてはそのサンプリング周期に影響がないから特に問題は発生しないが、Ｇ画素に着目すると上記不均一性によって水平および垂直の基本サンプリング周期が期待される周期の２倍（周波数が１／２）になっている。つまり生成画像
Ａ（ｘ，ｙ）＝Ａ（ｉ，ｊ）…（４）
（ただし、ｘ＝２ｍ１＋ｍ２−２、ｙ＝２ｎ１＋ｎ２−２）
という減数後のベイヤ配列画像について見れば、単位配列あたり２個のＧが存在しているから、これを元に輝度信号を生成すれば水平垂直の各１次元方向については単位配列の周期の２倍の輝度サンプリング周期が得られることが期待される。しかし、上記のような不均一性があるため、原画像に対する実際の輝度サンプリング周期は減数単位配列の周期と同じになってしまう。
【０００９】
この結果が生成画像に及ぼす作用は、後段の画像処理方法によっても異なるが、
・実効的サンプリング周波数が低下するためエッジ部に輝度モアレによるギザが発生し易くなり、
・輝度信号の生成方法によっては右斜め方向と左斜め方向で画像の再現特性に大きな非対称性を生じることがある。
【００１０】
具体例を挙げれば、少なくとも例えば、「最至近で隣接する（＝斜めに隣り合う）２つのＧ画素を加算することにより１画素の輝度信号（の少なくとも高域成分）を生成する」方式の場合にはこれらの不具合が顕著に発生することが発明者の検討によって明らかとなった。この場合の不具合画像の撮像例を図９（ＣＺＰ＝サーキュラーゾーンプレートチャートの中央部付近の拡大画像）に示す。本来滑らかな輪帯であるべきＣＺＰ像に、サンプリングによるギザが発生すること自体は原理的にやむを得ないが、図９に示す例では特に中央右側の右斜め部分にのみ極端に大きなギザが発生している。
【００１１】
【発明が解決しようとする課題】
本発明は、輝度モアレによる画質劣化を防止可能な撮像装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、上記の課題を解決するために次のような手段を講じた。
本発明においては、減数画像の各画素生成位置（各生成画素に寄与する原画素の平均位置）が等間隔となるように加算を実行するようにした。これによってベイヤｔｏベイヤ減数処理を行った場合にも輝度モアレによる画質劣化は充分抑圧され、高画質な記録対象画像が得られる。具体的には、以下の通りである。
【００１３】
本発明に係る撮像装置は、２×２の４画素を単位配列とする周期配列の色コーディングパターンを有したカラー撮像素子と、前記撮像素子の受光画素部における光電変換情報を原画像データとして、この原画像における同色画素の情報を（２Ｎ＋１）^２個（ただしＮは自然数）加算して１つの画素データを生成することにより前記原画像データの画素密度の１／（２Ｎ＋１）^２の画素密度の色コーディング画像である減数画像を生成する減数画像生成手段と、前記減数画像に基づいて記録対象画像を生成する記録画像生成手段とを備え、前記減数画像生成手段は、前記減数画像の各画素生成位置（各生成画素に寄与する原画素の平均位置）が等間隔となるように前記加算を実行するものであることを特徴とする。
上記の撮像装置の好ましい実施態様は、以下の通りである。
（１）前記周期配列は、その単位配列の４画素中２画素のみが同色であり、この同色の２画素が対角配置された３原色ベイヤ配列であること。
（２）（１）において、前記３原色ベイヤ配列は、その３原色が加色混合の３原色ＲＧＢでＧが対角配置されたＲＧＢベイヤ配列であること。
（３）前記同色情報の加算のうち少なくとも垂直方向の加算は、前記撮像素子内で実行されること。
【００１４】
本発明に係る画像処理方法は、２×２の４画素を単位配列とする周期配列の色コーディングパターンを為した原画像データに基づいて、この原画像における同色画素の情報を（２Ｎ＋１）^２個（ただしＮは自然数）加算して１つの画素を生成することにより前記原画像データの画素密度の１／（２Ｎ＋１）^２の画素密度の減数画像を生成する減数画像生成処理を行う際に、前記減数画像の各画素生成位置（各生成画素に寄与する原画素の平均位置）が等間隔となるように前記加算を実行することを特徴とする。
【００１５】
【発明の実施の形態】
図面を参照して本発明の一実施形態を説明する。図１は、本発明に係る撮像装置の概略ブロック図である。
【００１６】
図１は、本発明の一実施形態に係わる撮像装置の回路構成を示すブロック図である。
【００１７】
図中１０１は各種レンズからなるレンズ系、１０２はレンズ系１０１を駆動するためのレンズ駆動機構、１０３はレンズ系１０１の絞りを制御するための露出制御機構、１０４はメカシャッタ、１０５はベイヤ配列のカラーフィルタを備えたＣＣＤカラー撮像素子、１０６は撮像素子１０５を駆動するためのＣＣＤドライバ、１０７はゲインコントロールアンプ，Ａ／Ｄ変換器等を含むプリプロセス回路、１０８は色信号生成処理，マトリックス変換処理，その他各種のデジタル処理を行うためのデジタルプロセス回路、１０９はカードインターフェース、１１０はＣＦやスマートメディア等のメモリカード、１１１はＬＣＤ画像表示系を示している。
【００１８】
また、図中の１１２は各部を統括的に制御するためのシステムコントローラ（ＣＰＵ）、１１３は各種ＳＷからなる操作スイッチ系、１１４は操作状態及びモード状態等を表示するための操作表示系、１１５はレンズ駆動機構１０２を制御するためのレンズドライバ、１１６は発光手段としてのストロボ、１１７はストロボ１１６を制御するための露出制御ドライバ、１１８は各種設定情報等を記憶するための不揮発性メモリ（ＥＥＰＲＯＭ）を示している。
【００１９】
本実施形態のデジタルスチルカメラにおいては、システムコントローラ１１２が全ての制御を統括的に行っており、特に露出制御機構１０３に含まれるシャッタ装置（メカシャッタ（光学的シャッタ）を含む）と、ＣＣＤドライバ１０６によるＣＣＤ撮像素子１０５の駆動を制御して露光（電荷蓄積）及び信号の読み出しを行い、それをプリプロセス回路１０７を介してデジタルプロセス回路１０８に取込んで、各種信号処理を施した後にカードインターフェース１０９を介してメモリカード１１０に記録するようになっている。
【００２０】
ＣＣＤ撮像素子１０５は、図２に示すように、マトリクス配置されたフォトダイオード２０１，複数本の垂直ＣＣＤ２０２，及び１本の水平ＣＣＤ２０３から構成されたインターライン（ＩL）型で、インターレース駆動方式のものを採用している。また、カラーフィルタは、図３に示すようにＲＧＢのベイヤ配列となっている。このような配列では、隣接する画素の加算では異なる色が混ざってしまうので、単純には画素加算を行うことはできない。
【００２１】
図３のようなインターレースＲＧＢベイヤ配列の撮像素子では、各フィールドに着目すれば、それぞれＲＧ又はＧＢのストライプ配列を構成している。そこで本実施形態では、ｎライン加算駆動（ｎ倍速読み出し）によって各色を混合させることなく水平ＣＣＤの中で加算する。具体的には、インターレースのフレーム読み出しで垂直方向のｎ画素を水平転送路内で加算する。そして、これを外部に読み出した後、デジタル演算処理によって水平同色ｎ画素毎の加算平均を行う。
【００２２】
具体的には、以下の通りである。
まず、電子シャッタとメカシャッタを併用したインターレース読み出しを行う。具体的にはメカシャッタ開状態において電荷排出パルス（半導体基板バイアスを一旦所定の電荷排出用の高電圧値とすることで全画素の電荷を基板に排出するパルス）を出力することで露光を開始し、所定の露光時間後にメカシャッタを閉じることで露光を終了する。
【００２３】
その後、公知のインターレース読み出し、すなわち奇数ラインはＡフィールド、偶数ラインはＢフィールドと順次の２つのフィールド期間に別々に読み出しを行うことにより、１つのフレーム画像を得る。
【００２４】
その際、色配列に着目すると、１フレームのベイヤ配列は各フィールドのみに着目した場合には、それぞれ縦ストライプ配列に相当しているから、読み出し時に公知の垂直ｎ加算駆動（１水平ブランキング期間にｎライン分の垂直転送を行う）によって垂直方向に関しては素子内同色加算を行うことができる。本実施形態では３×３＝９画素加算を行うのでｎ＝３として加算駆動読み出しを行う。
【００２５】
水平方向については、撮像素子からの読み出し信号をＡＤ変換した後にデジタルプロセス１０８においてデジタル演算により１画素置きのｎ画素加算（この場合の「画素」は素子内で垂直ｎ画素加算が行われた中間段階の生成画素を単位としている）を行うことで同色加算を行うことができる。この場合もｎ＝３とすることは言うまでもない。
【００２６】
本実施形態では、加算のパターンとして図４（ａ）に示すものを採用している。すなわち次式で、Ａ（ｉ，ｊ）が求められる。

ただし、（５）式において、ｉ＝６ｍ１＋ｍ２、ｊ＝６ｎ１＋ｎ２：ｍ１、ｎ１は非負の整数、ｍ２、ｎ２は２または５である。
【００２７】
上記の加算パターンにおいて、垂直方向についてはＡフィールドとＢフィールドで加算位相を変える（１つの水平ブランキング期間に転送される３ラインの組合せをずらす）ことで、この加算方法が実現される。なお、水平方向はデジタル演算であるから問題は無い。
【００２８】
このように、（３）式と（５）式の違いはｍ２、ｎ２の値だけであって、加算数ｎが奇数（ｎ＝２Ｎ＋１：Ｎは自然数）であれば、このようにｍ２、ｎ２の値を適当に選ぶことによって、図４（ｂ）に示すように減数生成画素の位置を等間隔にすることができる。
【００２９】
具体的には、この例で５−２＝３であるように、ｍ２、ｎ２それぞれについて、とり得る２値の差を加算数ｎに等しくすれば良い。
【００３０】
なお、ｎが偶数の場合は、このような「等間隔ベイヤ配列」の同色加算を実現することができない。
【００３１】
上記のようにして加算生成された画像はベイヤ配列をなしているから、従来のベイヤ撮像素子からの出力信号と全く同様の（すなわち非加算の場合と同一の）公知の信号処理によって、色情報が同時化された（各画素が全て３色データを有する）コンポーネント信号化され記録対象画像に生成され、記録される。あるいは適当なインターフェースを介して例えば汎用コンピューターやプリンタ等の外部機器に出力される。
【００３２】
なお、この後段の回路における処理は、その必要に応じて適宜使用されるそれ自体は公知の、例えば色バランス処理、マトリクス演算による輝度−色差信号への変換あるいはその逆変換処理、帯域制限等による偽色除去あるいは低減処理、γ変換に代表される各種非線型処理、各種情報圧縮処理、等々である。
【００３３】
従来との違いが生じる理由を図５を用いて説明する。
図５は、１次元における説明図である。従って、３画素加算となっている。なお、原画素の画素ピッチ（図で１マス）をＰとする。
【００３４】
入力画像として、例えば周期１２Ｐの矩形波を例に取ると、原画素のサンプリング位置（↑）に入力波に対応して１または０の原画素が出力される。
【００３５】
図５（ａ）に示すように、加算生成画素の生成位置（各生成画素に寄与する原画素の平均位置）をサンプリング位置として↑で図示し、その下に、対応して得られる加算出力値を記載している。図５（ａ）によれば、従来の３画素加算においては、サンプリング位置が不均一（すなわち、等間隔ではない）であるのに対して、本発明では等間隔となっている。
【００３６】
図５（ａ）だけでの対比では大差が無いように見えるが、図５（ｂ）に示すように、入力波の位相を変えた場合の結果を比較すると、従来は位相の変化によって出力振幅が大きく変化するのに対して、本発明実施形態では出力振幅が安定していることが判る。従って「斜めエッジ」のようにサンプリング位相がラインによって少しずつ変化するような被写体に対しては前者は大きなギザを生じるが、後者では改善される。
【００３７】
その結果、図６に示すようなギザの少ない良好な画像が得られる。信号処理の方式によっては図９のように生じることのあった画像の再現特性の非対称性も生じない。
【００３８】
本発明は、上記の発明の実施の形態に限定されるものではない。例えば、以下のように変形しても良い。
上記ではＲＧＢベイヤ配列を使用しているが、例えばＹＣＭの補色系３原色など任意のベイヤ配列や、ＹＣＭＧやＲＧＢｘ（ｘ＝Ｗ（Ｗは白＝全透過）、ｘ＝ＩＲ（赤外）など）など４色配列に本発明を適用しても同様に有効である。
また、加算は全素子外デジタル加算であっても良いし、可能であれば全素子内加算であっても良い。また、加算方法はアナログ、デジタルいずれの加算でも良い。
水平と垂直のそれぞれの加算数は奇数であれば等しくなくても良い。さらに言えば、上記図５による説明は1次元であったことから判るように、本発明は1次元だけの適用においても効果を発揮するものであるから、例えば水平・垂直の一方について非加算としても良い。
その他、本発明の要旨を変更しない範囲で種々変形して実施できるのは勿論である。
【００３９】
【発明の効果】
上記のように、本発明によれば、ベイヤ配列撮像素子を用いた同色画素加算における加算後の画像の各画素生成位置（重心位置：正しくは各生成画素に寄与する原画素の平均位置）が等間隔となるように加算を実行するようにしたので、輝度モアレによる画質劣化（ギザ）を防止することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係わる撮像装置の回路構成を示すブロック図。
【図２】同実施形態に用いたカラー撮像素子の基本構成を示す図。
【図３】同実施形態に用いたカラー撮像素子におけるフィルタ配列を示す図。
【図４】本発明の一実施形態による加算方法を説明するための図。
【図５】従来との違いを説明するための図。
【図６】本発明によって得られた画像例を示す図。
【図７】従来の加算方法を示す図。
【図８】従来の他の加算方法を示す図。
【図９】従来技術によって得られた画像例を示す図。
【符号の説明】
１０１…レンズ系
１０２…レンズ駆動機構
１０３…露出制御機構
１０４…メカシャッタ
１０５…ＣＣＤカラー撮像素子
１０６…ＣＣＤドライバ
１０７…プリプロセス回路
１０８…デジタルプロセス回路
１０９…カードインターフェース
１１０…メモリカード
１１１…ＬＣＤ画像表示系
１１２…システムコントローラ（ＣＰＵ）
１１３…操作スイッチ系
１１４…操作表示系
１１５…レンズドライバ
１１６…ストロボ
１１７…露出制御ドライバ
１１８…不揮発性メモリ（ＥＥＰＲＯＭ）
２０１…フォトダイオード
２０２…垂直ＣＣＤ
２０３…水平ＣＣＤ

Claims

２×２の４画素を単位配列とする周期配列の色コーディングパターンを有したカラー撮像素子と、
前記撮像素子の受光画素部における光電変換情報を原画像データとして、この原画像における同色画素の情報を（２Ｎ＋１）^２個（ただしＮは自然数）加算して１つの画素データを生成することにより前記原画像データの画素密度の１／（２Ｎ＋１）^２の画素密度の色コーディング画像である減数画像を生成する減数画像生成手段と、
前記減数画像に基づいて記録対象画像を生成する記録画像生成手段とを備え、
前記減数画像生成手段は、前記減数画像の各画素生成位置が等間隔となるように前記加算を実行するものであることを特徴とする撮像装置。
前記周期配列は、その単位配列の４画素中２画素のみが同色であり、この同色の２画素が対角配置された３原色ベイヤ配列であることを特徴とする請求項１に記載の撮像装置。
前記３原色ベイヤ配列は、その３原色が加色混合の３原色ＲＧＢでＧが対角配置されたＲＧＢベイヤ配列であることを特徴とする請求項２に記載の撮像装置。
前記同色情報の加算のうち少なくとも垂直方向の加算は、前記撮像素子内で実行されることを特徴とする請求項１から請求項３のいずれか１項に記載の撮像装置。
２×２の４画素を単位配列とする周期配列の色コーディングパターンを為した原画像データに基づいて、この原画像における同色画素の情報を（２Ｎ＋１）^２個（ただしＮは自然数）加算して１つの画素を生成することにより前記原画像データの画素密度の１／（２Ｎ＋１）^２の画素密度の減数画像を生成する減数画像生成処理を行う際に、
前記減数画像の各画素生成位置が等間隔となるように前記加算を実行することを特徴とする画像処理方法。
２×２の４画素を単位配列とする周期配列の色コーディングパターンを有したカラー撮像素子と、
前記撮像素子の受光画素部における光電変換情報を原画像データとして、この原画像における同色画素の情報を水平または垂直のうち１方向に関して（２Ｎ＋１）個（ただしＮは自然数）加算して１つの画素データを生成することにより前記原画像データの画素密度の１／（２Ｎ＋１）の画素密度の色コーディング画像である減数画像を生成する減数画像生成手段と、
前記減数画像に基づいて記録対象画像を生成する記録画像生成手段とを備え、前記減数画像生成手段は、前記減数画像の各画素生成位置が等間隔となるように前記加算を実行するものであることを特徴とする撮像装置。
２×２の４画素を単位配列とする周期配列の色コーディングパターンを為した原画像データに基づいて、この原画像における同色画素の情報を水平または垂直のうち１方向に関して（２Ｎ＋１）個（ただしＮは自然数）加算して１つの画素を生成することにより前記原画像データの画素密度の１／（２Ｎ＋１）の画素密度の減数画像を生成する減数画像生成処理を行う際に、
前記減数画像の各画素生成位置が等間隔となるように前記加算を実行することを特徴とする画像処理方法。