JP6584131B2 - 撮像装置、撮像システム、および信号処理方法 - Google Patents

Description

本発明は撮像装置、撮像システム、および信号処理方法に関する。

単板式の固体撮像装置では、カラー画像を得るために、特定の波長成分、たとえば赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれの色の光を透過させるカラーフィルタ（ＣＦ）が所定のパターンで画素上に配列されている。ＣＦのパターンとして、いわゆるベイヤ配列を持つものが多く利用されている。以下、ＲのＣＦが配された画素をＲ画素、ＧのＣＦが配された画素をＧ画素、ＢのＣＦが配された画素をＢ画素と表記し、ＣＦが配されていない画素をＷ画素と表記する。Ｗ画素は、白画素、あるいはホワイト画素とも呼ばれる。さらに、Ｒ画素、Ｇ画素、Ｂ画素を纏めてＲＧＢ画素またはカラー画素と表記することがある。

単板式の固体撮像装置の各画素からは、いずれかの色成分の信号が出力されるため、出力された信号に対して色補間処理を行い、全ての色成分の信号を生成する必要がある。例えば、ベイヤ配列においては、被写体の空間周波数が高い場合、色補間処理を施すことによってモアレ、偽色が発生し得る。特許文献１には、モアレや偽色の発生を抑えつつ、動画像における解像感の低下を防止する技術が開示されている。

特開２０１３−１９７６１３号公報

特許文献１に記載の撮像装置においては、動画の間引きによる偽色の影響を緩和するために、空間的に色毎の加重加算の位置をずらす処理が行われている。しかしながら、ＲＧＢ画素の空間配置の周期が粗いＣＦ配列においては、偽色を十分に改善することは困難である。また、動画像を撮像する際には、被写体が動くことにより、偽色の空間的パターンが時間とともに変化する。そのため、偽色がちらつきとなって現れ、画質低下を招いていた。

本発明の撮像装置は、緑に対応する波長帯域を少なくとも含む第１の波長帯域の光に基づく第１の画素信号を各々が出力する複数の画素を有する第１の画素群、および前記第１の波長帯域よりも狭い波長帯域の光、あるいは、前記第１の波長帯域とは別の波長帯域の光に基づく第２の画素信号を各々が出力する複数の画素を有する第２の画素群を備える撮像素子からの画素信号を信号処理する処理部とを有する撮像装置であって、前記処理部は、前記第１の画素群から出力された１フレームの前記第１の画素信号を用いて、前記第２の画素群における前記第１の波長帯域に相当する画素信号を補間した補間データを生成する処理を、各フレームの前記第１の画素信号に実行することによって複数フレームのそれぞれの前記補間データを得る第１の処理と、複数フレームのそれぞれの前記第２の画素群からの第２の画素信号を用いて複数フレームのそれぞれのデータを得る第２の処理と、前記複数フレームの前記データと、前記複数フレームの前記補間データとを用いて、色比情報を得る第３の処理と、前記第１の画素群の各々の前記第１の画素信号と、前記色比情報とを用いて１枚の画像に対応する画像データを得る第４の処理とを行う。

本発明の信号処理方法は、緑に対応する波長帯域を少なくとも含む第１の波長帯域の光に基づく第１の画素信号を各々が出力する複数の画素を有する第１の画素群、および前記第１の波長帯域よりも狭い波長帯域の光、あるいは、前記第１の波長帯域とは別の波長帯域の光に基づく第２の画素信号を各々が出力する複数の画素を有する第２の画素群を備える撮像素子からの画素信号を信号処理する信号処理方法であって、前記第１の画素群から出力された１フレームの前記第１の画素信号を用いて、前記第２の画素群における前記第１の波長帯域に相当する画素信号を補間した補間データを生成する処理を、各フレームの前記第１の画素信号に実行することによって複数フレームのそれぞれの前記補間データを生成する第１のステップと、複数フレームのそれぞれの前記第２の画素群からの第２の画素信号を用いて複数フレームのそれぞれのデータを生成する第２のステップと、前記複数フレームの前記データと、前記複数フレームの前記補間データとを用いて、色比情報を得る第３のステップと、前記第１の画素群の各々の前記第１の画素信号と、前記色比情報とを用いて１枚の画像に対応する画像データを得る第４のステップとを有する。

本発明によれば、画像におけるモアレ、偽色による画質低下を低減した撮像装置、撮像システム、および画像処理方法を提供することができる。

第１の実施形態に係る撮像装置のブロック図である。 第１の実施形態に係る撮像素子のブロック図である。 第１の実施形態に係る撮像素子および列増幅部の回路図である。 ＲＧＢを用いたカラーフィルタ配列の例を示す図である。 補色を用いたカラーフィルタ配列の例を示す図である。 第１の実施形態に係る撮像装置における信号処理部のブロック図である。 第１の実施形態に係るフレーム間処理の一例を示す図である。 第１の実施形態に係るフレーム間処理の作用を説明するための図である。 第１の実施形態に係る撮像装置の評価結果を示した図である。 第２の実施形態に係る撮像装置の信号処理部のブロック図である。 第２の実施形態に係る撮像装置の評価結果を示す図である。 第３の実施形態に係る撮像装置の信号処理部のブロック図である。 第４の実施形態に係る撮像装置の信号処理部のブロック図である。 第５の実施形態に係る撮像装置の信号処理部のブロック図である。 第６の実施形態に係る撮像装置の信号処理部のブロック図である。 第７の実施形態に係る撮像装置の信号処理部のブロック図である。 第８の実施形態に係る撮像システムの構成の一例を示した図である。

以下、図面を参照しながら各実施形態の撮像装置について説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置のブロック図である。撮像装置は、撮像素子１と信号処理部２を備える。撮像素子１は、ＣＭＯＳイメージセンサ、またはＣＣＤイメージセンサ上にカラーフィルタが配置された、いわゆる単板式のカラーセンサである。単板のカラーセンサでカラー画像を形成する際には、後述するように補間を行う必要がある。たとえば、Ｒ画素の部分にはＧ、Ｂの情報（画素値）がない。このため、Ｒ画素の周囲のＧ、Ｂの画素値に基づき、Ｒ画素の部分におけるＧ、Ｂの画素値が補間処理により生成される。撮像素子１は、行列状に配列された複数の画素を備え、例えば列方向に１９２０画素、行方向に１０８０画素の合計２０７３６００画素を備える。撮像素子１の画素数は限定されず、より多い画素数、若しくはより少ない画素数でもよい。撮像素子１および信号処理部２は同一チップに設けられても良く、または別のチップ、装置に設けられても良い。さらに、撮像装置は、必ずしも撮像素子１を備えなくても良く、撮像素子１からの画素信号（ＲＡＷデータ）を処理する信号処理部２を備えていれば良い。

本実施形態のＣＦは、図１に示されたＲＧＢＷ１２配列を備えている。ＲＧＢＷ１２配列においては、４×４の画素配列が繰り返されており、各色の画素数の比は、Ｒ：Ｇ：Ｂ：Ｗ＝１：２：１：１２である。ＲＧＢＷ１２配列においては、カラー画素であるＲ、Ｇ、Ｂの各画素が８個のＷ画素で囲まれており、Ｗ画素の比率が全画素の３／４を占めている。換言すると、ＲＧＢＷ１２配列は、第１の画素群としてＷ画素を有し、第２の画素群としてカラー画素（ＲＧＢ画素）を有している。第１の画素群の画素数の総和は第２の画素群の画素数の総和の３倍以上（２倍より多い）であり、第２の画素群は第１の画素群よりも解像度情報が少ない。なお、撮像素子１には、有効な画素以外に、オプティカルブラック画素、光電変換部を有さないダミー画素などのように画像を出力しない画素が含まれ得る。但し、これらのオプティカルブラック画素、ダミー画素は第１の画素群、第２の画素群には含まれない。Ｗ画素はＲＧＢ画素と比べて広い分光感度特性および高い感度を有している。Ｗ画素は、緑に対応する波長帯域を少なくとも含み、さらに赤、青の波長帯域も含む第１の波長帯域の光に基づく第１の画素信号を出力する。ＲＧＢ画素は、第１の波長帯域よりも狭い波長帯域の光に基づく第２の画素信号を出力する。また、第２の画素群はＲＧＢの画素を含むことから、光の波長帯域が互いに異なる画素を含むといえる。

ＲＧＢＷ１２配列においては、ＲＧＢ画素のそれぞれの周囲にはＷ画素が配されているため、ＲＧＢ画素におけるＷの画素値を高精度に補間することができる。また、Ｗ画素が全画素の３／４を占めているため、感度を向上させることが可能となる。本実施形態は、解像度情報を得るための画素が全画素の半数以上を占める撮像素子１に特に有効である。

信号処理部２は、前段処理部２０３、第１の信号処理部としての輝度信号処理部２０４、第２の信号処理部としての色信号処理部２０５、信号合成部２０６を備える。撮像素子１からの画素信号は前段処理部２０３に入力される。前段処理部２０３は画素信号のオフセット補正、ゲイン補正を含む様々な補正を実行する。撮像素子１から出力された画素信号がアナログ信号である場合には、Ａ／Ｄ変換を前段処理部２０３で実行してもよい。

前段処理部２０３は、入力された画素信号Ｄｉｎのオフセット（ＯＦＦＳＥＴ）補正、ゲイン（ＧＡＩＮ）補正等の補正を適宜実施し、補正後の画素信号Ｄｏｕｔを生成する。この処理は、典型的には以下の式で表わされる。

この補正は様々な回路単位で行い得る。例えば、画素毎に補正を行ってもよく、さらには、列増幅器、アナログデジタル変換部（ＡＤＣ）、出力増幅器のそれぞれの回路毎に補正を行ってもよい。補正を行うことで、いわゆる固定パターンノイズが低減され、より高品質な画像を得ることができる。前段処理部２０３は、解像度情報のためのＷの画素信号（輝度信号）と色情報のためのＲＧＢの画素信号（色信号）を分離し、輝度信号を輝度信号処理部２０４に出力し、色信号を色信号処理部２０５に出力する。

輝度信号処理部２０４はＲＧＢＷ１２配列において輝度信号を高精度に補間することができる。すなわち、ＲＧＢＷ１２配列においては、解像度情報を得るためのＷ画素が多いため、市松模様のＣＦ配列に比べて、空間周波数の高い、すなわちピッチの細かい情報を得ることができる。以下、補間により生成されたＷ画素をｉＷと表記する。

補間の信号処理後のｉＷの画素値は色信号処理部２０５に入力される。色信号処理部２０５は、ＲＧＢ画素のフレーム間平均処理、偽色補正を行い、輝度信号と色信号との合成に用いられる色比情報を生成する。偽色補正は、ＲＧＢの画素値と、輝度信号処理部２０４によって処理された画素値、すなわち、補間されたｉＷの画素値を用いて行われる。信号合成部２０６は、輝度信号処理部２０４によって生成された輝度信号と色信号処理部２０５によって生成された色信号とを合成し、各画素をＲＧＢの画素値で表した画像信号を生成する。

図２は本実施形態に係る撮像素子１のブロック図である。撮像素子１は、撮像領域１０１、垂直走査回路１０２、列増幅部１０３、水平走査回路１０４、出力部１０５を有する。撮像領域１０１は上述したように画素１００が行列状に配されており、輝度信号のための第１の画素群、色信号のための第２の画素群を備える。垂直走査回路１０２は、画素１００のトランジスタをオン（導通状態）またはオフ（非導通状態）に制御するための制御信号を供給する。垂直信号線１０６は、画素１００の各列に設けられ、画素１００からの信号を列ごとに読み出す。水平走査回路１０４は、各列の増幅器に接続されたスイッチと、該スイッチをオンまたはオフに制御するための制御信号を供給する。出力部１０５はバッファアンプ、差動増幅器などから構成され、列増幅部１０３からの画素信号を撮像素子１の外部の信号処理部２に出力する。出力された画素信号は信号処理部２によって、アナログ／デジタル変換、入力データの補正などの処理が行われる。なお、撮像素子１はアナログ／デジタル変換の回路を備えたいわゆるデジタルセンサであっても良い。画素１００には、分光感度特性を制御するためにＣＦが設けられており、本実施形態においてはＲＧＢＷ１２のＣＦが配置されている。

図３は本実施形態に係る撮像素子１の画素１００、列増幅部１０３の回路図である。ここでは、説明を容易にするため、列増幅部１０３のうちの１列分の回路と、１つの画素１００とが示されている。画素１００はフォトダイオードＰＤ、浮遊拡散容量ＦＤ、転送トランジスタＭ１、リセットトランジスタＭ２、増幅トランジスタＭ３、選択トランジスタＭ４を備える。なお、画素１００は、複数のフォトダイオードＰＤが浮遊拡散容量ＦＤ、リセットトランジスタＭ２、増幅トランジスタＭ３、選択トランジスタＭ４を共有する構成を備えていても良い。また、トランジスタＭ２〜Ｍ４はＮチャネルＭＯＳに限定されず、ＰチャネルＭＯＳによって構成されても良い。

フォトダイオードＰＤは照射された光を電子（電荷）に光電変換する。転送トランジスタＭ１のゲートには信号ＴＸが供給され、信号ＴＸがハイレベルになると、転送トランジスタＭ１はフォトダイオードＰＤに発生した電荷を浮遊拡散容量ＦＤに転送する。浮遊拡散容量ＦＤは、転送トランジスタＭ１のドレイン端子を兼ねており、転送トランジスタＭ１を介してフォトダイオードＰＤから転送される電荷を保持可能である。リセットトランジスタＭ２のゲートには信号ＲＥＳが供給され、信号ＲＥＳがハイレベルになると、リセットトランジスタＭ２は浮遊拡散容量ＦＤの電圧をリセット電圧ＶＤＤにリセットする。転送トランジスタＭ１とリセットトランジスタＭ２を同時にオンにさせることにより、フォトダイオードＰＤの電子がリセットされる。増幅トランジスタＭ３のゲートは、浮遊拡散容量ＦＤに接続される。

増幅トランジスタＭ３のソースは、選択トランジスタＭ４を介して列ごとに共通の垂直信号線１０６のノードＰＤＯＵＴに電気的に接続され、ソースフォロアを構成する。選択トランジスタＭ４のゲートには信号ＳＥＬが印加され、信号ＳＥＬがハイレベルとなると、垂直信号線１０６と増幅トランジスタＭ３が電気的に接続される。これにより、選択された画素１００から画素信号が読み出される。

画素１００に供給される信号ＴＸ、信号ＲＥＳ、信号ＳＥＬは垂直走査回路１０２から出力される。垂直走査回路１０２はこれらの信号レベルを制御することによって、画素１００を行単位で走査する。電流源１０７は垂直信号線１０６を介して画素１００に電流を供給し、垂直信号線１０６は信号ＰＬによって駆動されるスイッチＳＷ０を介して列増幅部１０３に接続されている。

列増幅部１０３は、列増幅器１１２、入力容量Ｃ０、帰還容量Ｃ１、Ｃ２、スイッチＳＷ１〜ＳＷ７、容量ＣＴＮ、ＣＴＳを有する。列増幅器１１２は反転入力ノード、非反転入力ノード、出力ノードを備える差動増幅回路から構成されている。列増幅器１１２の反転入力ノードは入力容量Ｃ０を介して垂直信号線１０６に電気的に接続され、非反転入力ノードには基準電圧ＶＲＥＦが印加されている。反転入力ノードと出力ノードとは並列接続された３つの帰還回路を介して互いに接続されている。第１の帰還回路は直列に接続されたスイッチＳＷ１および帰還容量Ｃ１から構成され、第２の帰還回路は直列に接続されたスイッチＳＷ２および帰還容量Ｃ２から構成され、第３の帰還回路はスイッチＳＷ３から構成されている。スイッチＳＷ１〜ＳＷ３のオン、オフを適宜制御することにより、列増幅器１１２の増幅率を変更することができる。すなわち、スイッチＳＷ１のみがオンとなると、増幅率はＣ０／Ｃ１となり、スイッチＳＷ２のみがオンとなると、増幅率はＣ０／Ｃ２となる。また、スイッチＳＷ１、ＳＷ２がオンとなると、増幅率はＣ０／（Ｃ１＋Ｃ２）となり、スイッチＳＷ３のみがオンとなると、列増幅器１１２はボルテージフォロアとして動作する。スイッチＳＷ１〜ＳＷ３は信号φＣ１〜φＣ３によってそれぞれ制御される。

列増幅器１１２の出力ノードは、信号φＣＴＮによって制御されるスイッチＳＷ４を介して容量ＣＴＮに接続されている。同様に、列増幅器１１２の出力ノードは、信号φＣＴＳによって制御されるスイッチＳＷ５を介して容量ＣＴＳに接続されている。浮遊拡散容量ＦＤのリセット時において、スイッチＳＷ４がオン、スイッチＳＷ５がオフとなり、リセット時の画素信号（Ｎ信号）が容量ＣＴＮにサンプルホールドされる。光電変換された電荷が浮遊拡散容量ＦＤに転送された後、スイッチＳＷ４がオフ、スイッチＳＷ５がオンとなり、光電変換された電荷に基づく画素信号（Ｓ信号）が容量ＣＴＳにサンプルホールドされる。

容量ＣＴＮはスイッチＳＷ６を介して出力部１０５の第１入力ノードに接続され、容量ＣＴＳはスイッチＳＷ７を介して出力部１０５の第２入力ノードに接続されている。水平走査回路１０４が各列の信号φＨｎを順にハイレベルとすることにより、水平走査が行われる。すなわち、信号φＨｎがハイレベルとなると、スイッチＳＷ６は容量ＣＴＮに保持されたＮ信号を出力部１０５の第１入力ノードに出力し、スイッチＳＷ７は容量ＣＴＳに保持されたＳ信号を出力部１０５の第２入力ノードに出力する。

出力部１０５は差動増幅回路から構成されており、入力されたＳ信号、Ｎ信号の差分を増幅および出力することにより、リセット時のノイズ成分が除去された画素信号を出力する。なお、Ｎ信号、Ｓ信号をアナログ／デジタル変換した後に、相関二重サンプリングを行っても良い。

上述のように、撮像素子１に入力された光信号は、電気信号として読み出される。また、ＲＧＢＷ１２のＣＦ配列に応じた分光強度の２次元情報が得られる。本実施形態はＲＧＢＷ１２のＣＦ配列に限定されることなく、様々なＣＦ配列に適用可能である。以下、本実施形態において適用可能なＣＦ配列の例を示す。

図４にカラー画素としてＲＧＢを用いたカラーフィルタ配列の例を示す。図４（ａ）はベイヤ配列のＣＦを示し、ＣＦの数の比率がＲ：Ｇ：Ｂ＝１：２：１となっている。ここで、Ｇ画素（第１の画素）がＲＢ画素（第２の画素）に比して多く配置されているのは、人間の視覚特性が赤色、青色に比して、緑色の波長に対して高い感度を有し、画像の解像感も、赤色、青色に比して、緑色の波長の輝度に強く依存するからである。

図４（ｂ）はＲＧＢＷ１２のＣＦ配列を示している。上述したように、この配列では、４×４の画素配列中、各ＣＦがＲ：Ｇ：Ｂ：Ｗ＝１：２：１：１２の比で配置されている。カラー画素であるＲＧＢの各画素（第２の画素）に対して、平面視において上下方向、左右方向、斜め方向のそれぞれにＷ画素（第１の画素）が隣接して配されている。すなわち、ＲＧＢ画素の各々は８つのＷ画素に囲まれている。Ｗ画素は、全画素の３／４の比率を占めている。カラー画素であるＲＧＢ画素の各々がＷ画素によって囲まれているため、図４（ａ）のＣＦ配列に比して、ＲＧＢ画素におけるＷ画素の信号を高精度に補間することができる。

図４（ｃ）はＲＧＢＷ８のＣＦ配列を示している。４×４の画素配列中、各ＣＦがＲ：Ｇ：Ｂ：Ｗ＝２：４：２：８の比で配列されている。Ｗ画素（第１の画素）は市松模様に配置されており、Ｗ画素の間にＲＧＢ画素（第２の画素）が配置されている。Ｗ画素の比率は全画素の１／２である。Ｗ画素はベイヤ配列のＧ画素と同様に市松模様に配置されているため、ベイヤ配列のＧ画素の補間の方法をそのまま用いることができる。また、Ｗ画素が配列されているため、感度を向上させることができる。

図４（ｄ）はＲＧＢＧ１２のＣＦ配列を示している。この配列ではＲＧＢＷ１２のＷ画素がＧ画素（第１の画素）に置き換えられており、４×４の画素配列中、各色のＣＦがＲ：Ｇ：Ｂ＝２：１２：２の比で配置されている。ＲＢ画素（第２の画素）のそれぞれがＧ画素で囲まれており、Ｇ画素の比率が全画素の３／４を占めている。ＲＢ画素がＧ画素で囲まれているため、カラー画素のＧの値の補間の精度が向上する。また、ＲＢ画素に比較して感度の高いＧ画素の割合が高いため、感度を向上させることができる。

図５に、カラー画素として補色であるＣ（シアン）・Ｍ（マゼンダ）・Ｙ（イエロー）を用いたＣＦ配列の例を示す。図５（ａ）はベイヤ配列であり、各色のＣＦの比率がＣ：Ｍ：Ｙが１：１：２になる。ここで、Ｙ画素（第１の画素）が多く配列されているのは、Ｇ画素と同様にＹ画素の感度が高いからである。

図５（ｂ）はＣＭＹＷ１２のＣＦ配列を示している。４×４の画素配列中、各色のＣＦがＣ：Ｍ：Ｙ：Ｗ＝１：１：２：１２の比で配列されている。配列の特徴としては、カラー画素であるＣ、Ｍ、Ｙの画素（第２の画素）はＷ画素（第１の画素）で囲まれており、Ｗ画素の比率が全画素の３／４を占める。ＣＭＹ画素がＷ画素で囲まれているため、ＣＭＹ画素の位置におけるＷ画素値の補間の精度を向上させることができる。また、Ｗ画素が配列されているため、感度が向上する。

図５（ｃ）はＣＭＹＷ８のＣＦ配列を示している。４×４の画素配列中、各色のＣＦがＣ：Ｍ：Ｙ：Ｗ＝２：２：４：８の比で配列されている。Ｗ画素（第１の画素）が市松模様に配置されており、ＣＭＹ画素（第２の画素）はＷ画素に囲まれている。Ｗ画素の比率が全画素の１／２である。Ｗ画素はベイヤ配列のＧ画素と同様に市松模様に配列されているため、ベイヤ配列のＧ画素の補間の方法をそのまま用いることができる。また、Ｗ画素が配列されていることにより、感度が向上する。

図５（ｄ）はＣＭＹＹ１２のＣＦ配列を示している。ＣＭＹＷ１２のＷ画素がＹ画素（第１の画素）に置き換えられており、４×４の画素配列中、各ＣＦがＣ：Ｍ：Ｙ＝２：２：１２の比で配列されている。配列の特徴としては、Ｃ画素、Ｍ画素（第２の画素）がＹ画素で囲まれており、Ｙ画素の比率が全画素の３／４配置されている。Ｃ画素、Ｍ画素がＹ画素によって囲まれているため、Ｃ画素、Ｍ画素の位置におけるＹの画素値の補間の精度を向上させることができる。また、Ｃ画素とＭ画素に対し比較的感度の高いＹ画素の割合が高いため、感度が向上する。

上述のように、本実施形態において各種ＣＦ配列を採用し得るが、高解像度の画像を生成するためには、解像度に寄与する割合の高い画素（第１の画素）をより多く配置することが好ましい。第１の画素群は第２の画素群と比較して解像度情報を多く含むとともに、第２の画素群は分光感度の異なる２種以上の画素を備えることが望ましい。また、第１の画素群は第２の画素群と比較して輝度への寄与度が高いことが望ましい。いずれのＣＦ配列においても、第１の画素群は緑に対応する波長帯域を少なくとも含む第１の波長帯域の光に基づく第１の画素信号を出力し、第２の画素群は第１の波長帯域よりも狭い波長帯域の光、あるいは、第１の波長帯域とは別の波長帯域の光に基づく第２の画素信号を出力する。

なお、ベイヤ配列においては、解像度に寄与するＧ画素が市松模様に配置されており、補間のエラーが生じ易い。発明者らは、市松模様に比べて高い解像度を作りだすＣＦ配列を用いることで、補間エラーを極力小さくできることを見出した。従って、図４（ｂ）のＲＧＢＷ１２、図４（ｄ）のＲＧＢＧ１２、図５（ｂ）のＣＭＹＷ１２、図５（ｄ）のＣＭＹＹ１２に例示されるＣＦ配列を用いた場合に、本発明の効果が特に顕著となる。

図６は、本実施形態に係る撮像装置の信号処理部２のブロック図である。信号処理部２は輝度信号処理部２０４、色信号処理部２０５、信号合成部２０６を備え、撮像素子１からの画素信号３ａをデモザイク処理し、各画素がＲＧＢの情報を有する画像信号３ｇを生成する。信号処理部２は画像処理プロセッサなどのハードウェアによって構成され得るが、汎用のプロセッサまたはコンピュータ上のソフトウェアを用いて同様の構成を実現することも可能である。

輝度信号処理部２０４には、ＲＧＢＷ１２のＣＦ配列を有するとともに、デジタルデータで表された画素信号３ａが入力される。図６において、ＣＦ配列の繰り返しの１単位となる４×４画素が示されているが、実際の画素信号３ａにおいては４×４画素の配列が繰り返されている。入力された画素信号３ａは図示されていない前段処理部２０３によって、Ｗの画素信号３ｂとＲＧＢの画素信号３ｅとに分離され、それぞれ輝度信号処理部２０４、色信号処理部２０５に出力される。

Ｗの画素信号３ｂにおいてＲＧＢ画素を分離した位置にはＷの画素値は存在せず、図中、この位置は”？”と表記されている。補間処理部２１１は”？”の位置の画素値を周囲のＷの画素値に基づき補間し、ｉＷｒ、ｉＷｇ、ｉＷｂの画素値を補間により生成する。例えば、画素信号３ｂにおける座標（３，３）にはＷ画素が存在しないため、次式で表されるように、周囲の８個のＷ画素値の平均値から、座標（３，３）におけるｉＷｂ（３，３）の画素値が求められる。

なお、図６には４×４の画素配列が記載されているが、実際には画素配列が繰り返されており、座標（１，１）のＲ画素、座標（３，１）のＧ画素、座標（１，３）のＧ画素のそれぞれは８個のＷ画素に囲まれている。よって、ｉＷｒ、ｉＷｇの画素値も同様に周囲の８個のＷの画素値を用いて補間により生成することができる。補間処理法としては、上述した方法の他、バイリニア法、バイキュービック法、縦、横、斜めの方向において変化率の少ない画素の平均を求める方法等を適宜用いることができる。このため、高い空間周波数を有する高精細な被写体においても、高精度な補間が可能となる。

色信号処理部２０５はフレーム間処理部２１２、色比生成部２１３を備えている。フレーム間処理部２１２は、輝度信号処理部２０４によって補間された画素信号３ｄと、ＲＧＢ画素からなる画素信号３ｅとを用いて色情報を生成する。すなわち、フレーム間処理部２１２は、輝度信号処理部２０４が複数フレームの第１のデータの生成に用いた各フレームにおける第２の画素信号を用いて、複数フレームの第２のデータを生成する。画素信号３ｄは、１フレーム期間に、第１の画素群が出力する第１の波長帯域に対応する画素信号を用いて第２の画素群における第１の波長帯域に相当する画素信号を補間した第１のデータである。画素信号３ｅは、第２の画素群から１フレーム期間に出力された第２の画素信号を用いて生成した第２のデータである。また、第２のデータは、第２の画素群の画素の各々における第１のデータと第２の画素信号の比の情報を含む。第１の画素群が一般に、ＲＧＢ画素の存在しない局所領域において、色相はほぼ一定に保たれ、また、強い色相関がある。よって、本実施形態においては、ＲＧＢ画素値の存在する領域における色比がＲＧＢ画素の存在しない周囲の色比と同じであるとみなし、ＲＧＢ画素の存在しない領域にＲＧＢ画素の色比を割り当てる処理を行っている。

フレーム間処理部２１２はフレームメモリを備え、補間を行ったｉＷの画素信号３ｄ、およびＲＧＢ画素の画素信号３ｅのそれぞれのフレーム間処理（平均化処理）を行う。本実施形態の撮像素子１には、Ｗ画素が設けられていることから、ＲＧＢの画素数の和は、図４（ａ）で示したベイヤ配列のＲＧＢの画素数の和に比して少なくなっている。このため、ＲＧＢ画素のランダムノイズ、フォトショットノイズがベイヤ配列に比して目立ち易くなり得る。以下、ランダムノイズ、フォトショットノイズを総称して色ノイズと表記する。この色ノイズを低減するために、本実施形態の撮像装置は、時間的に連続した複数のフレームに含まれる色信号を用いて、ノイズリダクション（ＮＲ：ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ）を行う。以下、フレーム間処理を用いたノイズリダクションの方法を説明する。

図７にフレーム間処理の一例を示す。図７（ａ）は、画素信号３ｄの座標（３，３）における補間画素ｉＷｂの平均化処理を示している。フレーム間処理部２１２は、いわゆるＩＩＲフィルタ（巡回型フィルタ）を含み、現在のフレーム、および時刻の異なる他のフレームのそれぞれの画素信号の重み付け加算を行う。フレーム間処理部２１２は、フレームメモリに蓄積されたｉＷｂの画素値に係数（ｎ−１）／ｎを乗じた値と、現在のｉＷｂの画素値に係数１／ｎを乗じた値とを加算して、フレーム間処理後のｎ＿ｉＷｂの画素値を得る。図７（ｂ）は、画素信号３ｅの座標（３，３）におけるＢ画素の画像情報の平均化処理を示している。Ｂ画素に対しても前述のフレーム間の平均化処理が行われる。フレーム間処理部２１２は、フレームメモリに蓄積されたＢの画素値に係数（ｎ−１）／ｎを乗じた値と、現在のＢの画素値に係数１／ｎを乗じた値を加算し、フレーム間処理されたｎ＿Ｂの画素値を得る。他のｉＷｒ、ｉＷｇ、Ｒ、Ｇの各画素値についても同様にフレーム間処理が行われる。本実施形態において、補間画素のフレーム間処理におけるフレーム数ｎとＲＧＢ画素のフレーム間処理におけるフレーム数ｎは同一であり、フレームの重み付けは等しい。また、補間画素のフレーム間処理におけるｎ個のフレームの各々とＲＧＢ画素のフレーム間処理におけるｎ個のフレームの各々は同一フレームである。

以下、フレーム間処理部２１２の動作を詳細に説明する。まず、フレーム間処理部２１２は第１フレームのＲＧＢの画素信号を予めフレームメモリに格納する。ここでは、第１フレームの画素信号には、後に説明する乗算、除算の処理は行われない。フレーム間処理部２１２は、第２フレームのＲＧＢの画素値に係数１／ｎを乗じる。例えば、ｎが２である場合、ＲＧＢの画素値は１／２となる。そして、色信号処理部２０５は、フレームメモリに格納された第１フレームのＲＧＢの画素信号に、係数（ｎ−１）／ｎを乗じる。ｎは２であるため、第１フレームのＲ、Ｇ、Ｂの画素値は、それぞれ１／２となる。フレーム間処理部２１２は、１／２倍された第１フレームのＲＧＢの画素信号と、１／２倍された第２フレームの画素値とを加算する。これにより、第１フレームと第２フレームのそれぞれのＲＧＢの画素値を平均化したｎ＿Ｒ、ｎ＿Ｇ、ｎ＿Ｂの画素値を取得することができる。続いて、次のフレームにおいて、先行するフレームのｎ＿Ｒ、ｎ＿Ｇ、ｎ＿Ｂの画素値を１／２倍した値がさらに加算される。このようにして、先行するフレームの画素値が次のフレームの画素値にフィードバックされ、加算平均される。なお、ｎが３以上の場合には、フレーム間処理部２１２は、第１フレームと第２フレームの画素値を平均化した画素値を２／３倍し、この乗算結果と、最終フレームである第３フレームの画素値を１／３倍した画素値とを加算する。これにより、第３フレームに含まれる画素信号を平均化したデータを取得する。

色比生成部２１３は、第２の画素群の画素の各々における第１のデータと第２の画素信号の色比情報を算出する。すなわち、Ｒの色比情報は、座標（１，１）におけるｎ＿Ｒ／ｎ＿ｉＷｒで表され、Ｂの色比情報は座標（３，３）におけるｎ＿Ｂ／ｎ＿ｉＷｂで表される。また、Ｇの色比情報は、座標（３，１）における画素値ｎ＿Ｇ／ｎ＿ｉＷｇと、座標（１，３）における画素値ｎ＿Ｇ／ｎ＿ｉＷｇとの平均値で表される。従って、各色の色比情報ＲＧＢ＿ｒａｔｉｏは次式で表される。

信号合成部２０６は、それぞれの色比が４×４の領域で一定であるとみなして、画素毎にＲＧＢの各色の情報を含む画像信号３ｇを生成する。すなわち、信号合成部２０６は、輝度信号処理部２０４によって生成されたＷ、ｉＷの画素信号３ｃと、色信号処理部２０５によって生成された色比情報ＲＧＢ＿ｒａｔｉｏとを用いて、各画素のＲＧＢの値を求め、画像信号３ｇを生成する。画素信号３ｃの画素がＷである場合には、ＲＧＢの画素値は次式で求められる。

また、画素信号３ｃの画素がｉＷである場合には、ＲＧＢの画素値は次式で求められる。

この処理により、各画素におけるＲＧＢの各色の情報を含む画像信号３ｇが得られる。本実施形態においては、色情報を推定するために、局所領域においては輝度と色相の相関が強いと仮定して処理を行う。つまり、色情報は局所的に一定とみなすことができる。人間の視覚特性においては、解像度（輝度）と色（色相）のそれぞれの分解能は異なり、色の分解能は輝度の分解能に比べて低い。高解像感を得るためには、輝度信号の解像度を高めることが望ましい。本実施形態によれば、高解像度かつ高輝度のＷ画素と、４×４のブロック毎の色情報を用いることで、高解像感のカラー動画像を得ることができる。本実施形態において、４×４のブロックにおいて色比が一定であるとみなして処理したが、隣接するブロックの情報を用いて各画素における色比情報を補正してもよい。

図８は本実施形態に係るフレーム間処理の作用を説明するための図である。図８（ａ）〜（ｄ）は白：黒＝３：１の縞模様がフレーム毎に水平方向に動く場合の画素信号を示している。図８（ｅ）は、各フレームにおける座標（５，１）のＲ画素の信号、および、フレーム間平均処理後の画素信号を示す。第（Ｎ−３）フレームから第（Ｎ−１）フレームにおいては、座標（５，１）に白のパターンが存在するので、補間画素ｉＷｒとＲ画素との色比情報に基づき色信号を推定できる。一方、Ｎフレームにおいては座標（５，１）に黒のパターンが存在するので、Ｒ画素の信号値が小さくなり、色比の推定が困難となる。このため、図８（ａ）〜（ｄ）のような被写体においては、第Ｎフレームにおいて偽色が発生してしまう。

フレーム間の平均化処理を行った場合の第Ｎフレームの画素信号を、図８（ｅ）のｎ＿ｉＷｒとｎ＿Ｒに示す。フレーム間の平均化処理を行わない場合はＲの画素とｉＷｒの画素の情報量が少ないため、色推定の精度が低下する。本実施形態によれば、フレーム間処理を行うことで、第（Ｎ−３）フレームから第（Ｎ−１）フレームの白パターンの情報を参照することができるので、色推定精度を向上させることが可能となる。

図８においては、特定の被写体パターンを例示して説明したが、その他の縦、横、斜めの周期パターンなどの空間周波数の高いパターンにおいても本発明の効果を奏することは言うまでもない。また、被写体または撮像装置を意図的に動かす場合だけでなく、撮像装置の意図しないブレ、大気の揺らぎなどによる画像のブレが存在する場合においても、同様の効果が得られる。

なお、本実施形態においては、各画素当たりＲＧＢ値を出力しているが、後段の信号処理部２との親和性に鑑みて、ベイヤ配列にリモザイクした画像信号を出力してもよい。

図９に本実施形態に係る撮像装置の評価結果を示す。画像の評価項目として、動画撮影時の偽色による妨害感を用いた。動画像の偽色による妨害感を、優れた評価から順に、「Ａ」（ほぼなし）、「Ｂ」（許容できる）、「Ｃ」（不快）と表記した。評価条件として、明るさ、フレーム数ｎ１、ｎ２、ｎ３を変化させ、評価を行った。ここで、フレーム数ｎ１、ｎ２、ｎ３は、フレーム間処理における係数１／ｎ、（ｎ−１）／ｎのフレーム数ｎを表し、本実施形態においてはｎ１、ｎ２、ｎ３は等しい。フレーム数ｎが大きいほど、フレーム間処理における他のフレームの重み付けが大きくなる。

条件Ｎｏ１として、周囲明るさを１［ｌｘ］とし、フレーム数ｎ＝１とした。この条件においては、高周波の被写体パターンが動いた場合の偽色が多く、動画像における偽色のちらつきも非常に悪かった。よって、偽色による妨害感は不快なレベル「Ｃ」となった。条件Ｎｏ２として、周囲明るさを１［ｌｘ］とし、フレーム数ｎ＝２とした。この条件において、高周波の被写体パターンが動いた場合の偽色とちらつきも低減した。偽色は視認できるが、許容できるレベルであった。よって、偽色による妨害感は許容可能なレベル「Ｂ」となった。さらに、条件Ｎｏ３として、周囲明るさを１［ｌｘ］とし、フレーム数ｎ＝４とした。高周波の被写体パターンが動いた場合の偽色とちらつきは、ほぼ気にならないレベルであった。よって、偽色による妨害感はほぼ無いレベル「Ａ」となった。

なお、色信号処理部２０５は、フレーム間処理を行った後、色比情報を算出しているが、本実施形態はこの方法に限定されない。例えば、色比情報を算出した後、フレーム間処理を行ってもよい。つまり、色比情報Ｒ／ｉＷｒ、Ｂ／ｉＷｂ、Ｇ／ｉＷｇの値をフレームメモリに格納し、色比情報のフレーム間の平均処理を行ってもよい。また、フレーム間処理は、ＩＩＲフィルタに限定されるものではなく、非巡回型フィルタ（ＦＩＲ）を用いても良く、フレーム間移動平均を用いても良い。また、フレーム間のメディアンフィルタを用いてもよい。本実施形態においては、フレーム間処理のフレーム数ｎを１、２、４として説明したが、ｎの値を被写体の環境（明るさやコントラストや移動速度）に応じて変更する適応型フィルタを用いてもよい。

本実施形態によれば、Ｗ画素を用いることで、高感度、高解像度の撮像装置を提供することが可能となる。また、カラー画素の位置における輝度信号を高精度に補間することで、色信号の推定精度を向上させることができる。さらに、補間したＷ画素と色画素のフレーム間処理を行うことで、動画像における偽色を抑制することができる。尚、本実施形態において、補間画素のフレーム間処理におけるフレーム数ｎとＲＧＢ画素のフレーム間処理におけるフレーム数ｎは同一としたが、この例に限定されるものではない。補間画素のフレーム間処理におけるフレーム数が２以上であり、ＲＧＢ画素のフレーム間処理におけるフレーム数が２以上であれば良い。

（第２の実施形態）
図１０は、本実施形態に係る撮像装置の信号処理部２のブロック図である。以下、第２実施形態の撮像装置について、第１の実施形態とは異なる点を中心に説明する。本実施形態の色信号処理部２０５は、ＲＧＢの各色のフレーム間処理部２１２Ｒ、２１２Ｇ、２１２Ｂを備えている点において第１実施形態と異なる。このように、フレーム間処理部２１２Ｒ、２１２Ｇ、２１２ＢによってＲＧＢの色毎にフレーム間処理におけるフレーム数を変えることができる。

フレーム間処理部２１２ＲはＲ画素とその位置におけるｉＷｒの画素のフレーム間処理を行い、フレーム間処理部２１２ＢはＢ画素とその位置におけるｉＷｂの画素のフレーム間処理を行う。フレーム間処理部２１２ＧはＧ画素とその位置におけるｉＷｇの画素フレーム間処理を行う。また、フレーム間処理部２１２Ｒ、２１２Ｇ、２１２Ｂは処理スルーモードを備えており、フレーム間処理をしない設定も可能である。

ＲＧＢＷ１２のＣＦ配列において、Ｒ：Ｇ：Ｂの画素比率は１：２：１である。従って、画素数の少ないＲ、Ｂ画素のフレーム間処理のフレーム数を多くする（重み付けを大きくする）ことで、偽色抑制の効果を高めることができる。一方、相対的に画素数の多いＧ画素については、フレーム間処理を行なわず、または、フレーム間処理のフレーム数を少なくする（重み付けを小さくする）ことで、回路規模を低減しつつ、動画像の偽色抑制の効果を得ることができる。

また、撮影時の光源の色温度（分光感度特性）に応じて、フレーム間処理のフレーム数を色毎に変更しても良い。光源の色温度によって固体撮像素子からの出力は変化し、例えば、白熱電球の光源は、太陽光に比べて、長波長（Ｒ画素）の出力が相対的に大きく、短波長（Ｂ画素）の出力が相対的に小さいという特性を有している。長波長が強く、短波長が弱い光源を使用する場合には、Ｂ画素のフレーム処理数をＧ画素、Ｒ画素と比較して多くすることで、偽色低減の効果を高めることができる。色比生成部２１３は、各画素位置における色比を演算することで、色比情報ＲＧＢ＿ｒａｔｉｏを算出する。すなわち、第２のデータは、第２の画素群の画素の各々における複数の第１のデータの平均と第２の画素信号の比の情報を含む。

信号合成部２０６は、それぞれの色比が４×４の領域で一定であるとみなして、画素毎にＲＧＢの各色の情報を含む画像信号３ｇを生成する。すなわち、信号合成部２０６は、複数フレームの第１のデータである画素信号３ｄと、複数フレームの第２のデータである画素信号３ｅとを合成して画像信号３ｇを生成する。なお、第１実施形態において述べたように、隣接するブロックの情報を用いて補正処理を行い、各座標における色比情報を算出してもよい。信号合成部２０６は、輝度信号処理部２０４によって生成されたＷ、ｉＷの画素信号３ｃと、色比情報ＲＧＢ＿ｒａｔｉｏとを用いて、各画素のＲＧＢの画素値を以下のように求める。当該画素がＷ、ｉＷのそれぞれの場合に応じて、ＲＧＢの画素値は次式で求められる。

図１１に本実施形態に係る撮像装置の評価結果を示す。画像の評価項目として、動画撮影時の偽色による妨害感を用いた。動画像の偽色による妨害感を、優れた評価から順に「Ｂ」（許容できる）、「Ｂ’」（我慢できる）、「Ｃ」（不快）と表記した。明るさ、光源、フレーム数ｎ、ｍ、ｋを評価条件として変化させ、評価を行った。標準光源としてＤ６５光源、Ａ光源を用いた。Ｄ６５光源は色温度６５０４Ｋであって自然な昼光に近い光源であり、Ａ光源は色温度２８５４Ｋを有する白熱タングステン電球の光源である。すなわち、Ａ光源は、Ｄ６５光源と比較して、短波長（Ｂ画素）の強度が弱く、長波長（Ｒ画素）の強度が強いという特性を有している。フレーム数ｎ、ｍ、ｋはＲＧＢの各画素のフレーム間処理の係数１／ｎ、（ｎ−１）／ｎのフレーム数ｎに相当し、それぞれの値を変化させて評価を行った。

条件Ｎｏ１において、光源をＤ６５光源とし、周囲明るさを１［ｌｘ］とし、フレーム数をｎ＝ｍ＝ｋ＝１とした。評価結果は、高空間周波数の被写体パターンが動いた場合の偽色の程度が悪く、動画像における偽色のちらつきも非常に悪いものであった。よって、偽色による妨害感が不快なレベル「Ｃ」と評価された。

条件Ｎｏ２において、光源をＤ６５光源とし、周囲明るさを１［ｌｘ］とし、フレーム数をｎ＝ｍ＝２、ｋ＝１とした。高空間周波数の被写体パターンが動いた際に、Ｇ画素の偽色がやや目立つものの、ＲＢ画素の偽色が低減し、動画像における偽色は我慢できる程度となった。Ｇ画素は画素配置の空間周波数が、ＲＢ画素の２倍であるため、Ｇ画素のフレーム処理数を少なくしても、偽色が目立たなくなったと考えられる。よって、評価結果は、偽色による妨害感が我慢できるレベル「Ｂ’」となった。

条件Ｎｏ３において、光源をＤ６５光源とし、周囲明るさを１［ｌｘ］とし、フレーム数をｎ＝ｍ＝４、ｋ＝２とした。高空間周波数の被写体パターンが動いた際に、偽色は目立たなくなり、許容できる程度となった。よって、評価結果は、偽色による妨害感が許容できるレベル「Ｂ」となった。

条件Ｎｏ４において、光源をＡ光源とし、周囲明るさを１［ｌｘ］とし、フレーム数をｎ＝ｍ＝４、ｋ＝２とした。高空間周波数の被写体パターンが動いた際に、Ｂ画素の偽色がやや目立つものの、我慢できる程度となった。これは、Ａ光源はＤ６５光源と比較して、短波長（Ｂ画素）の強度が弱く、長波長（Ｒ画素）側の強度が強い特性を有するため、Ｂ画素の出力が低下し、偽色が発生し易くなったためと考えられる。よって、評価結果は、偽色による妨害感が我慢できるレベル「Ｂ’」となった。

条件Ｎｏ５として、光源をＡ光源とし、周囲明るさを１［ｌｘ］とし、フレーム数をｎ＝２，ｍ＝６、ｋ＝２とした。高空間周波数の被写体パターンが動いた際に、偽色は目立たなくなり、許容できる程度となった。短波長の強度が弱いＡ光源が用いられているために、Ｂ画素の出力は小さくなる。ところが、Ｂ画素のフレーム処理数を増やし、出力の大きいＲ画素のフレーム処理数を減らすことで、良行な色バランスが得られたと考えられる。よって、評価結果は、偽色による妨害感が許容できるレベル「Ｂ」となった。

本実施形態においても第１実施形態と同様の効果を奏することができる。すなわち、Ｗ画素を用いることで、高感度、高解像度の撮像装置を得ることができる。また、カラー画素の位置における輝度信号を高精度に補間することで、色信号の推定精度を向上させるとともに、補間したＷ画素と色画素にフレーム間の平均化処理を行うことで、動画像における偽色を抑制することができる。さらに、本実施形態においては、ＲＧＢ画素のそれぞれの配置の違いを考慮してフレーム間処理を行うとともに、撮影条件を考慮して色毎にフレーム数（重み付け）を変えることで、偽色をさらに低減することができる。また、フレーム数を低減することにより、低消費電力化も同時に実現することが可能となる。

なお、低照度下においては、ノイズリダクション効果を得るために、輝度信号処理部２０４においてＷ画素のフレーム間処理を行ってもよい。その際、解像感を保つため、Ｗ画素のフレーム間処理のフレーム数は色信号のフレーム間処理のフレーム数より少ないことが望ましい。

（第３の実施形態）
図１２は、本実施形態に係る撮像装置の信号処理部２のブロック図である。以下、本実施形態の撮像装置について、第１の実施形態とは異なる点を中心に説明する。本実施形態は、色信号処理部２０５が色差生成部２３３を備える点、信号合成部２３６が色差情報に基づき画像信号３ｇを生成する点において、第１実施形態と異なる。フレーム間処理部２１２は、輝度信号処理部２０４によって補間された画素信号３ｄと、ＲＧＢ画素からなる画素信号３ｅとのそれぞれのフレーム間処理を行う。色差生成部２３３は、フレーム間処理されたＲＧＢの画素ｎ＿Ｒ、ｎ＿Ｇ、ｎ＿Ｂと、フレーム間処理されたＲＧＢの補間画素ｎ＿ｉＷｒ、ｎ＿ｉＷｇ、ｎ＿ｉＷｂの信号の色差情報ＲＧＢ＿ｄｉｆｆを算出する。すなわち、第２のデータは、第２の画素群の画素の各々における複数の第１のデータの平均と第２の画素信号との差を含む。

信号合成部２３６は、それぞれの色差が４×４の領域で一定であるとみなして、色差情報を用いてＲＧＢの画素値を含む画像信号３ｇを生成する。すなわち、信号合成部２３６は、Ｗ、ｉＷの画素信号３ｃと、色差情報ＲＧＢ＿ｄｉｆｆとを用いて、各画素のＲＧＢの値を以下のように求め、画像信号３ｇを生成する。

ここで、各座標における色差情報の算出方法は上述の処理に限定されず、隣接するブロックの情報を用いて各画素の色差情報を補正してもよい。前述したように、局所領域においては輝度と色相の相関が強いことから、色情報は局所的に一定とみなすことができる。また、人間の視覚特性においては、輝度と色（色相）のそれぞれの分解能が異なり、色の分解能は輝度の分解能より低い。従って、高解像感を得るためには、輝度信号の解像度を高くすることが望ましい。本実施形態によれば、高解像度かつ高輝度のＷの輝度信号と、４×４のブロック毎の色信号とを用いることで、高解像感のあるカラー動画像を得ることができる。

（第４の実施形態）
図１３は本実施形態に係る撮像装置の信号処理部２のブロック図である。以下、本実施形態において、第１の実施形態と異なる点を中心に説明する。本実施形態では、撮像素子１は図４（ｃ）に表わされるＲＧＢＷ８配列を備えており、信号処理部２はＲＧＢＷ８配列の画素信号４ａを処理する。ＲＧＢＷ８の配列のＷ画素はＲＧＢＷ１２に比べて少ないため、感度が低下し易い。一方、各Ｗ画素の周囲にＲＧＢの画素が存在するため、偽色が発生し難くなる。

図１３に示されるように、撮像素子１からの画素信号４ａは、輝度信号であるＷの画素信号４ｂと、色信号であるＲＧＢの画素信号４ｅとに分離される。輝度信号処理部２０４は、画素信号４ｂにおいてＲＧＢ画素を分離した部分の画素値を補間処理によって求め、補間後の画素信号４ｃを生成する。

色信号処理部２０５は、補間を行ったｉＷの画素値と、ＲＧＢの画素値を用いて色比情報を生成する。フレーム間処理部２１２は、補間を行ったｉＷの画素値と、ＲＧＢの画素値のそれぞれについて、複数フレームを用いた平均化処理を行う。ここでのフレーム間処理は第１実施形態と同様である。よって、色比情報ＲＧＢ＿ｒａｔｉｏは画素毎に以下のように表される。

信号合成部２０６は、Ｗ、ｉＷの画素信号４ｃと、色比情報ＲＧＢ＿ｒａｔｉｏとを用いて、各画素のＲＧＢの値を求め、画像信号４ｇを生成する。第１実施形態と同様に、画素がＷ、ｉＷのそれぞれの場合について、ＲＧＢの画素値は次式で表される。

本実施形態においては、ＲＧＢＷ８の配列を用いることにより、第１の実施形態に比べて、画像の感度、解像度が低くなったが、被写体の絵柄によっては動画像の偽色を低減することができた。

（第５の実施形態）
図１４は本実施形態に係る撮像装置の信号処理部２のブロック図である。本実施形態の撮像装置について、第１の実施形態と異なる点を中心に説明する。撮像素子１は図４（ｄ）で表わされるＲＧＢＧ１２配列のＣＦを用いている。ＲＧＢＧ１２の配列においては、ＲＧＢＷ１２のＷ画素をＧ画素に置き換えているため、感度が低下し易い。しかしながら、Ｗの画素はＲＧＢ画素に対して感度が高いため、高輝度の被写体を撮像した際に、Ｗ画素が飽和し、ダイナミックレンジが低下し得る。本実施形態において、ＲＧＢＧ１２配列のＣＦを用いることにより、信号の飽和と感度のバランスを取ることができる。この例では、Ｇ画素は、緑に対応する波長帯域を含む第１の波長帯域の光に基づく第１の画素信号を出力する。ＲＢ画素は、第１の波長帯域とは別の波長帯域に基づく第２の画素信号を出力する。

画素信号５ａはＧの画素信号５ｂとＲＢの画素信号５ｅとに分離される。輝度信号処理部２０４は画素信号５ｂにおいてＧの画素値が存在しない部分の補間処理を行い、画素値ｉＧを生成する。色信号処理部２０５は、補間されたｉＧの画素値、およびＲＢの画素値を用いて色比情報を生成する。

フレーム間処理部２１２は、補間されたｉＧの画素値、およびＲＢの画素値のそれぞれについて、複数フレームを用いた平均化処理を行う。ここでのフレーム間処理は第１実施形態と同様である。色比生成部２１３は、各画素における色比を演算することで、色比情報ＲＢ＿ｒａｔｉｏを算出する。

信号合成部２０６は第１実施形態と同様に、それぞれの色比が４×４の領域で一定であるとみなして、Ｇ、ｉＧの画素信号５ｃと、色比情報ＲＢ＿ｒａｔｉｏとを用いて、各画素のＲＧＢの値を求める。画素がＧ、ｉＧのそれぞれの場合について、ＲＧＢの画素値は以下のように求められる。

撮影した画像において、第１の実施形態に比べ、感度、解像度が低くなったが、ＲＧＢ画素を用いることにより、飽和を抑えるとともに、動画撮影時の偽色を低減することが可能となった。このように、輝度信号は第１の実施形態のようにＷ画素の信号に限定されず、視覚特性において輝度情報が多く含まれる画素（本実施形態におけるＧ画素）の情報であればよい。また、色信号は、相対的に輝度情報の少ない画素（本実施形態におけるＲ画素、Ｂ画素）の信号であればよい。さらに、本実施形態は、画素信号５ａをＧの画素信号５ｂとＲＢの画素信号５ｅに分離しているが、輝度情報が多く含まれるデータと輝度情報の少ないデータとを演算によって分けても同様の効果を奏することができる。

（第６の実施形態）
図１５は本実施形態に係る撮像装置の信号処理部２のブロック図である。本実施形態の撮像装置について、第１の実施形態と異なる点を中心に説明する。本実施形態において、撮像素子１は、図４（ａ）で表わされるベイヤ（ＲＧＢ）配列のＣＦを用いている。輝度信号処理部２０４はＧの画素値を輝度信号として処理を行い、色信号処理部２０５はＲＢの画素値を色信号として処理を行う。ベイヤ配列においては、Ｗ画素を用いたＣＦに比べると感度が低く、また、輝度信号のための画素数が少ないことから解像感も劣る。しかしながら、色信号に用いる画素数が多いため、偽色を低減する効果が得られる。また、補間した輝度信号と色信号のフレーム処理数を一致させることで、色信号を算出する際の精度が良くなり、動画撮影時の偽色をさらに低減させることが可能となる。

図１５において、ベイヤ（ＲＧＢ）配列の画素信号６ａは、Ｇの画素信号６ｂと、Ｒ、Ｂの画素信号６ｅとに分離される。補間処理部２１１は、画素信号６ｂにおいてＲＢ画素が分離された部分を補間処理し、ｉＧの画素値を生成する。色信号処理部２０５は、輝度信号処理部２０４で補間を行ったｉＧの画素値と、ＲＢの画素値とを用いて色比情報を生成する。フレーム間処理部２１２は、ｉＧの画素値と、ＲＢの画素値のそれぞれについて、複数フレームを用いた平均化処理を行う。ここでのフレーム間処理は第１実施形態と同様である。色比生成部２１３は、各画素位置における色比を演算することで、色比情報を算出する。

また、第１実施形態と同様に、信号合成部２０６は、それぞれの色比が４×４の領域で一定であると仮定して、Ｗの画素信号６ｃ、色比情報ＲＢ＿ｒａｔｉｏを用いて、各画素のＲＧＢの画素値を求める。画素がＧ、ｉＧのそれぞれの場合に応じて、ＲＧＢの画素値は次式で求められる。

本実施形態における撮影結果において、第１の実施形態に比べると感度、解像度が低くなった。ところが、フレーム間処理を行わないベイヤ配列の動画像と比較すると、動画撮影時の偽色を低減する効果が得られた。

（第７の実施形態）
図１６は本実施形態に係る撮像装置の信号処理部２のブロック図である。本実施形態の撮像装置について、第１の実施形態とは異なる点を中心に説明する。本実施形態の撮像素子１は、図５（ｂ）で表わされるＣＭＹＷ１２配列を用いている。ＣＭＹＷ１２配列は感度の高い補色（Ｃ，Ｍ，Ｙ）の画素に加えてさらにＷの画素を用いていることから、感度を向上させることができる。

図１６において、撮像素子１からの画素信号７ａは、Ｗの画素信号７ｂと、Ｃ、Ｍ、Ｙの画素信号７ｅとに分離される。輝度信号処理部２０４は、画素信号７ｂにおいてＣ、Ｍ、Ｙの画素が分離された部分を補間処理し、ｉＷの画素値を生成する。色信号処理部２０５は、補間されたｉＷの画素値と、ＣＭＹの画素値とを用いて色比情報を生成する。フレーム間処理部２１２は、補間されたｉＷの画素値と、ＣＭＹの画素値のそれぞれについて、複数フレームを用いた平均化処理を行う。ここでのフレーム間処理は第１実施形態と同様である。各画素における色比情報ＣＭＹ＿ｒａｔｉｏは次式で表される。

信号合成部２０６は、それぞれの色比が４×４の領域で一定であるとみなして、Ｗの画素信号７ｃ、色比情報ＣＭＹ＿ｒａｔｉｏとを用いて、各画素のＣＭＹの値を求める。画素がＷ、ｉＷのそれぞれの場合に応じて、ＣＭＹの画素値は次式で求められる。

ＣＭＹ／ＲＧＢ変換部２８７は、信号合成部２０６から出力されたＣＭＹの画素値をＲＧＢの画素値に変換し、画像信号７ｇを出力する。以上の処理を行った撮像装置を用いて評価撮影を行った。一部画像パターンにおいて色再現性が劣るものの、第１の実施形態に比べて感度が高くなり、動画撮影時の偽色が抑制された。なお、信号合成部２０６の処理をＣＭＹ／ＲＧＢ変換部２８７の処理の後に実行してもよく、また、２つの処理を一体として実行してもよい。

（第８の実施形態）
第８の実施形態に係る撮像システムを説明する。上述した第１〜第７の実施形態の撮像装置は種々の撮像システムに適用可能である。撮像システムは撮像装置を用いて画像、動画を取得する装置であり、その一例としては、デジタルスチルカメラ、デジタルカムコーダー、監視カメラ、携帯端末などがある。図１７に、撮像システムの例としてデジタルスチルカメラに第１〜第７の実施形態の撮像装置を適用したシステムのブロック図を示す。

図１７において、撮像システムは、被写体の光学像を撮像装置３０１に結像させるレンズ３０２、レンズ３０２の保護のためのバリア３０３およびレンズ３０２を通った光量を調整するための絞り３０４を有する。また、撮像システムは撮像装置３０１より出力される出力信号の処理を行う出力信号処理部３０５を有する。

出力信号処理部３０５はデジタル信号処理部を有し、撮像装置３０１から出力される信号を、必要に応じて各種の補正、圧縮を行って信号を出力する。撮像装置３０１から出力される信号がアナログ信号である場合、出力信号処理部３０５はアナログ／デジタル変換回路をデジタル信号処理部の前段に備えてもよい。

また、撮像システムは、バッファメモリ部３０６、記録媒体制御インターフェース（Ｉ／Ｆ）部３０７、外部インターフェース（Ｉ／Ｆ）部３０８、記録媒体３０９、全体制御・演算部３１０、タイミング発生部３１１を備え得る。バッファメモリ部３０６は出力信号処理部３０５からの画像データを一時的に記憶する。記憶媒体制御Ｉ／Ｆ部３０７は記録媒体３０９への画像データの記録または読み出しを行う。記録媒体３０９は例えば半導体メモリによって構成され、撮像システムに着脱、若しくは内蔵され得る。外部Ｉ／Ｆ部３０８は外部のコンピュータ、ネットワークと通信することが可能である。全体制御・演算部３１０は、各種演算処理、デジタルスチルカメラ全体を制御する機能を備える。タイミング発生部３１１は出力信号処理部３０５に各種タイミング信号を出力する。なお、タイミング信号などの制御信号はタイミング発生部３１１ではなく外部から入力されてもよい。以上のように、本実施形態の撮像システムは、第１〜第７の実施形態で述べた撮像装置３０１を適用して撮像動作を行うことが可能である。

（他の実施形態）
以上、本発明に係る撮像装置を説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜修正および変形することを妨げるものではない。例えば、上述の第１〜第８実施形態の構成を組み合わせることも可能である。また、撮像装置は必ずしも撮像素子を備えなくても良く、撮像素子から出力された画素信号を処理するコンピュータなどの画像処理システムであっても良い。

１ 撮像素子
２ 信号処理部
１００ 画素
２０４ 輝度信号処理部
２０５ 色信号処理部
２０６ 信号合成部

Claims (20)

1. 緑に対応する波長帯域を少なくとも含む第１の波長帯域の光に基づく第１の画素信号を各々が出力する複数の画素を有する第１の画素群、および前記第１の波長帯域よりも狭い波長帯域の光、あるいは、前記第１の波長帯域とは別の波長帯域の光に基づく第２の画素信号を各々が出力する複数の画素を有する第２の画素群を備える撮像素子からの画素信号を信号処理する処理部とを有する撮像装置であって、
   前記処理部は、
   前記第１の画素群から出力された１フレームの前記第１の画素信号を用いて、前記第２の画素群における前記第１の波長帯域に相当する画素信号を補間した補間データを生成する処理を、各フレームの前記第１の画素信号に実行することによって複数フレームのそれぞれの前記補間データを得る第１の処理と、
   複数フレームのそれぞれの前記第２の画素群からの第２の画素信号を用いて複数フレームのそれぞれのデータを得る第２の処理と、
   前記複数フレームの前記データと、前記複数フレームの前記補間データとを用いて、色比情報を得る第３の処理と、
   前記第１の画素群の各々の前記第１の画素信号と、前記色比情報とを用いて１枚の画像に対応する画像データを得る第４の処理とを行うことを特徴とする撮像装置。
2. 前記第３の処理が、前記複数フレームの前記データの平均である平均データと、前記複数フレームの前記補間データの平均である平均補間データとを得て、
   前記平均データと、前記平均補間データとによって、前記色比情報を得ることを特徴とする請求項１に記載の撮像装置。
3. 前記第３の処理が、前記複数フレームのそれぞれの前記データと、前記複数フレームのそれぞれの前記補間データとを用いて、前記複数フレームのそれぞれの前記色比情報を得て、前記複数フレームのそれぞれの前記色比情報の平均を得る処理である請求項１に記載の撮像装置。
4. 前記第４の処理が、前記複数フレームよりも少ないフレーム数であって２以上のフレームの前記補間データの平均と、前記色比情報とを用いて１枚の画像に対応する画像データを得る処理であることを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記複数フレームのそれぞれの前記データが、非巡回型フィルタを用いて得られることを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記複数フレームのそれぞれの前記データが、巡回型フィルタを用いて得られることを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
7. 前記複数フレームのそれぞれの前記データが、移動平均を用いて得られることを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
8. 前記第４の処理において、各画素の信号をＲ、Ｇ、Ｂの各値で表した画素信号を生成するデモザイク処理を行うことを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
9. 前記第１の画素群は前記第２の画素群よりも輝度への寄与度が高いことを特徴とする請求項１〜８のいずれか１項に記載の撮像装置。
10. 前記第２の画素群は、第２の画素信号が基づく光の波長帯域が互いに異なる画素を含むことを特徴とする請求項１〜９のいずれか１項に記載の撮像装置。
11. 前記第１の画素群の前記複数の画素の各々が白画素であることを特徴とする請求項１〜１０のいずれか１項に記載の撮像装置。
12. 前記第２の画素群の前記複数の画素の各々は、Ｒ画素、Ｇ画素、Ｂ画素のいずれかであることを特徴とする請求項１〜１１のいずれか１項に記載の撮像装置。
13. 前記第３の処理に用いる前記データのフレーム数が、前記Ｒ画素、前記Ｇ画素、前記Ｂ画素である３つの画素のうちの１つの画素が他の２つの画素とは異なるフレーム数であることを特徴とする請求項１２に記載の撮像装置。
14. 前記第２の画素群の前記複数の画素の各々は、Ｃ画素、Ｍ画素、Ｙ画素のいずれかであることを特徴とする請求項１〜１２のいずれか１項に記載の撮像装置。
15. 前記第１の画素群の画素数は、前記第２の画素群の画素数より多いことを特徴とする請求項１〜１４のいずれか１項に記載の撮像装置。
16. 前記第１の画素群の画素数は、前記第２の画素群の画素数の３倍以上であることを特徴とする請求項１〜１５のいずれか１項に記載の撮像装置。
17. 請求項１〜１６のいずれか１項に記載の撮像装置と、前記撮像装置が出力する信号を処理する出力信号処理部と、
    を有することを特徴とする撮像システム。
18. 緑に対応する波長帯域を少なくとも含む第１の波長帯域の光に基づく第１の画素信号を各々が出力する複数の画素を有する第１の画素群、および前記第１の波長帯域よりも狭い波長帯域の光、あるいは、前記第１の波長帯域とは別の波長帯域の光に基づく第２の画素信号を各々が出力する複数の画素を有する第２の画素群を備える撮像素子からの画素信号を信号処理する信号処理方法であって、
    前記第１の画素群から出力された１フレームの前記第１の画素信号を用いて、前記第２の画素群における前記第１の波長帯域に相当する画素信号を補間した補間データを生成する処理を、各フレームの前記第１の画素信号に実行することによって複数フレームのそれぞれの前記補間データを生成する第１のステップと、
    複数フレームのそれぞれの前記第２の画素群からの第２の画素信号を用いて複数フレームのそれぞれのデータを生成する第２のステップと、
    前記複数フレームの前記データと、前記複数フレームの前記補間データとを用いて、色比情報を得る第３のステップと、
    前記第１の画素群の各々の前記第１の画素信号と、前記色比情報とを用いて１枚の画像に対応する画像データを得る第４のステップとを有することを特徴とする信号処理方法。
19. 前記第３のステップが、前記複数フレームの前記データの平均である平均データと、前記複数フレームの前記補間データの平均である平均補間データとを得て、
    前記平均データと、前記平均補間データとによって、前記色比情報を得る処理であることを特徴とする請求項１８に記載の信号処理方法。
20. 前記第３のステップが、前記複数フレームのそれぞれの前記データと、前記複数フレームのそれぞれの前記補間データとを用いて、前記複数フレームのそれぞれの前記色比情報を得て、前記複数フレームのそれぞれの前記色比情報の平均を得る処理である請求項１８に記載の信号処理方法。

Images