JP6535454B2 - 二板式カラーまたは白黒撮像装置と二板式カラーまたは白黒撮像装置の画像処理方法 - Google Patents

Description

本発明は、二板式カラーまたは白黒撮像装置と二板式カラーまたは白黒撮像装置の画像処理方法に関する。

下記特許文献１には、低コストで小型且つ高感度、高解像度、高画質のカラー画像が撮像できる二板式カラー撮像装置及びデジタルカメラを提供することを目的とし、三原色の入射光を緑色と赤色及び青色とに分離する色分解プリズムと、該色分解プリズムによって分離された前記赤色及び青色の入射光を受光して赤色の光量に応じた赤色信号と青色の光量に応じた青色信号とを出力する第一固体撮像素子と、前記色分解プリズムによって分離された前記緑色の入射光を受光して緑色の光量に応じた緑色信号を出力する第二固体撮像素子とを備える二板式カラー撮像装置において、前記第一固体撮像素子の複数の受光部のうち赤色検出用受光部の上部に赤色の光を透過する補色系の第一カラーフィルタを設け、前記第一固体撮像素子の複数の受光部のうち青色検出用受光部の上部に青色の光を透過する補色系の第二カラーフィルタを設けた二板式カラー撮像装置が開示されている。

また、下記特許文献２及び下記特許文献３には、デジタルカメラ等に用いられるカラー撮像装置として、一個（一枚）の固体撮像素子を用いた単板式のカラー撮像装置と、複数個（複数枚）の固体撮像素子を用いた多板式のカラー撮像装置が開示されている。

単板式のカラー固体撮像素子は、一個の固体撮像素子上にＲＧＢ色等のカラーフィルタを離散的（モザイク状）に配置したもので、コスト面では比較的有利である。一方で、感度や解像度や色再現性の点では比較的劣るものとなる。また、単板式のカラー固体撮像素子では、近年の高画素（微細）化の進展に伴う製造歩留りの低下がクローズアップされており、コストアップの原因となっている。

また、多板式のカラー固体撮像素子として一般的に知られている三板式のカラー撮像装置は、例えば入射光を分光した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）毎に専用の固体撮像素子を使う。従って、解像度や色再現性などの面においては比較的有利であり、比較的容易に高画質化を図ることができる。しかし、複数個の固体撮像素子と大型の色分解プリズムが必須の構成となるので、コスト面において不利であり、カラー撮像装置それ自体の小型化には限界がある。例えば、これをディジタルカメラに搭載した場合には、より小型・軽量なディジタルカメラとすることは困難である。

一方では近年、単板式固体撮像素子のさらなる高画素化に伴う弊害がさらに顕著になってきており、画素の微細化等により、固体撮像素子自体の製造歩留と性能低下が問題となっている。このため、三板式のカラー撮像装置を、比較的低価格のデジタルスチルカメラやカムコーダに適用する検討も進んでいる。

多板式のカラー固体撮像素子を用いれば、高歩留、高性能とできるので、低コスト化に寄与することが期待できる。また、近年の多画素化、すなわち単位画素サイズの微細化が進むにつれ、感度の低下や偽信号、偽色、シェーディングといった画質劣化が懸念されている。

一般に、単板式固体撮像素子を用いてカラー画像を撮影する場合、被写体の色、すなわち撮像系に入射する光の色成分を単一（一枚）の固体撮像素子表面上に二次元アレー状に離散配置した画素毎に、それぞれ異なる色信号（例えば、Ｒ，Ｇ，Ｂ）として検出する必要がある。

そこで、単板式カラー固体撮像素子では各画素の上にカラーフィルタを配置し、固体撮像素子全体では３色あるいは４色のカラーフィルタがモザイク状（特許文献２）あるいはストライプ状に配列することが知られている。

カラーフィルタには、原色系（Ｒ，Ｇ，Ｂ）およびその補色から構成される補色系（Ｙｅ，Ｃｙ，Ｍｇなど）フィルタがある。従来、色再現性を重視する観点から、デジタルカメラ等においては、原色系（Ｒ，Ｇ，Ｂ）カラーフィルタが多く使用されている。これに対して、補色系カラーフィルタ（Ｃｙ，Ｙｅ，Ｍｇなど）は、その色信号成分に２種類の原色成分を含むため（例えば、Ｍｇには青色Ｂと赤色Ｒを含む）、原色系カラーフィルタを使用した場合に比べ、感度は高くなる反面、色分離処理の過程でＳ／Ｎが低下し忠実な色再現が難しい傾向にある。

また、さらなる高精細化に対応して固体撮像素子の撮像解像度を高めるために、一画素あたりのサイズを小さくすることで画素数を増大させると、一画素あたりで受光できる光量が低減することとなる。例えば、解像度を二倍に高めようとして画素の大きさを縦横それぞれ１／２とすれば、一画素の面積が１／４となってしまい、これにより、画素からの信号が１／４と小さくなり暗くなる。仮に画素を小さくせず、撮像有効サイズを大きくすることで高精細化に対応すれば、レンズを含めた光学系も変更する必要が生じるだけではなく、撮像装置全体としても大型化・重量化することとなってしまう。

また、このような大きな撮像サイズと大きな光学系とは、フォーカス調整に困難が伴うことや被写界深度が浅くなってしまう問題があることが知られている。例えば、放送用途等において多用されている動画カメラにおいて、中継撮影でフォーカスが合わない問題が生じることとなる。

また、高精細化を企図して固体撮像素子一枚あたりの画素数を増大させると、撮影フレームレートがこれに反比例して低下する。例えば、解像度を二倍にするために四倍の画素数の固体撮像素子を使用して撮像すれば、フレームレートは１／４になってしまい、６０フレーム／秒のカメラであれば１５フレーム／秒となるので、放送可能なレベルを逸脱してしまうこととなる。さらに、画素サイズを小さくして画素数を増大することで、撮像素子上のトランジスタ配置や配線太さを調整する必要が生じるが、安定動作可能な配線太さを維持する必要性から、このような調整にも限界がある。

また、高精細化と企図して、固体撮像素子の枚数を例えば四枚に増大させる方法を採用すれば、分光プリズム装置等の光学系が大型化し作製に高度な技術を要するだけではなく、周辺回路を四回路設けることとなるので、重量化することが避けられない。このため、特に機動性を要する撮像装置には適さないものとなる。

特開２００５−２６０３１８号公報 米国特許第３９７１０６５号公報 特開平３―２７４５２３号公報

カラーまたは白黒撮像装置の高解像度化を図りながら、撮像感度の維持及びフレームレートの維持及び深い被写界深度の維持及び小型・軽量化の実現及び画素サイズの過剰な小型化の回避を実現した、いわばバランスのとれた適切なカラーまたは白黒撮像装置は従来提案されていない。

本発明は、上述の問題点に鑑み為されたものであり、カラーまたは白黒撮像装置の高解像度化を図りながら、撮像感度の維持及びフレームレートの維持を実現したカラーまたは白黒撮像装置を提案することを目的とする。また、本発明は、さらに好ましくは、深い被写界深度の維持及び小型・軽量化の実現及び画素サイズの過剰な小型化の回避を実現したいわばバランスのとれた適切なカラーまたは白黒撮像装置を提案することを目的とする。

本発明の二板式カラー撮像装置は、入射光をＧ色と、Ｒ色及びＢ色と、で異なる二方向に分離するプリズムと、プリズムによって分離されたＲ色及びＢ色の光を受光してＲ色の光量に応じた赤色信号とＢ色の光量に応じた青色信号とを出力する第一固体撮像素子と、プリズムによって分離されたＧ色の光を受光してＧ色の光量に応じた緑色信号を出力する第二固体撮像素子と、第一固体撮像素子の出力と第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、第一固体撮像素子及び第二固体撮像素子は、正方画素配列からなり、画像合成部は、互いに斜めに１／２画素ずらした合成を遂行してハニカム状画素配列の画像データを形成することを特徴とする。

また、本発明の二板式カラー撮像装置は、好ましくは入射光をＧ色と、Ｒ色及びＢ色と、で異なる二方向に分離するプリズムと、プリズムによって分離されたＲ色及びＢ色の光を受光してＲ色の光量に応じた赤色信号とＢ色の光量に応じた青色信号とを出力する第一固体撮像素子と、プリズムによって分離されたＧ色の光を受光してＧ色の光量に応じた緑色信号を出力する第二固体撮像素子と、第一固体撮像素子の出力と第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、第一固体撮像素子及び第二固体撮像素子は、ハニカム状画素配列からなり、画像合成部は、互いに縦又は横に１／２画素ずらした合成を遂行して正方画素配列の画像データを形成することを特徴とする。

また、本発明の二板式カラー撮像装置は、さらに好ましくは画像合成部で形成された画像データについて、単板式カラー撮像装置において取得された画像データとして、補間処理を遂行することを特徴とする。

また、本発明の二板式カラー撮像装置は、さらに好ましくは第一固体撮像素子の赤色信号を出力するＲ画素は赤色のカラーフィルターを備え、第一固体撮像素子の青色信号を出力するＢ画素は青色のカラーフィルターを備え、第二固体撮像素子の緑色信号を出力するＧ画素はカラーフィルターを備えないことを特徴とする。

また、本発明の二板式カラー撮像装置は、さらに好ましくは第一固体撮像素子におけるＲ画素とＢ画素とは同数であり、第二固体撮像素子におけるＧ画素の数は、Ｒ画素またはＢ画素の数の２倍であることを特徴とする。

また、本発明の二板式カラー撮像装置は、第一及び第二固体撮像素子が正方画素配列の場合には、縦横いずれの方向においてもＲ画素とＢ画素とが交互に配置され、第一及び第二固体撮像素子がハニカム状画素配列の場合には、斜め方向においてＲ画素とＢ画素とが交互に配置されることを特徴とする。

また、本発明の二板式カラー撮像装置の画像処理方法は、上述の二板式カラー撮像装置の画像処理方法において、第一固体撮像素子から赤色信号及び青色信号を取得すると同時並列に、第二固体撮像素子から緑色信号を取得する読み出し工程と、読み出した各信号を、赤色信号及び青色信号と、緑色信号と、で互いに斜めに１／２画素分ずらしてハニカム状画素配列の一枚の画像データとして合成する工程と、合成した画像データについて、ハニカム状画素配列の画素補間処理を遂行する工程と、を有することを特徴とする。

また、本発明の二板式カラー撮像装置の画像処理方法は、上述の二板式カラー撮像装置の画像処理方法において、第一固体撮像素子から赤色信号及び青色信号を取得すると同時並列に、第二固体撮像素子から緑色信号を取得する読み出し工程と、読み出した各信号を、赤色信号及び青色信号と、緑色信号と、で互いに縦または横に１／２画素分ずらして正方画素配列の一枚の画像データとして合成する工程と、合成した画像データについて、正方画素配列の画素補間処理を遂行する工程と、を有することを特徴とする。
また、本発明の二板式白黒撮像装置は、入射光を第一の入射光と第二の入射光とに分離するハーフミラーと、ハーフミラーによって分離された第一の入射光を受光してその光量に応じた第一の受光信号を出力する第一固体撮像素子と、ハーフミラーによって分離された第二の入射光を受光してその光量に応じた第二の受光信号を出力する第二固体撮像素子と、第一固体撮像素子の出力と第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、第一固体撮像素子及び第二固体撮像素子は、正方画素配列からなり、画像合成部は、互いに斜めに１／２画素ずらした合成を遂行してハニカム状画素配列の画像データを形成することを特徴とする。

また、本発明の二板式白黒撮像装置は、入射光を第一の入射光と第二の入射光とに分離するハーフミラーと、ハーフミラーによって分離された第一の入射光を受光してその光量に応じた第一の受光信号を出力する第一固体撮像素子と、ハーフミラーによって分離された第二の入射光を受光してその光量に応じた第二の受光信号を出力する第二固体撮像素子と、第一固体撮像素子の出力と第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、第一固体撮像素子及び前記第二固体撮像素子は、ハニカム状画素配列からなり、画像合成部は、互いに縦又は横に１／２画素ずらした合成を遂行して正方画素配列の前記画像データを形成することを特徴とする二板式白黒撮像装置。

また、本発明の撮像素子は、入射光をＧ色と、Ｒ色及びＢ色と、で異なる二方向に分離するプリズムによって分離されたＲ色及びＢ色の光を受光してＲ色の光量に応じた赤色信号とＢ色の光量に応じた青色信号とを出力するように、Ｒ色を受光するＲ色画素とＢ色を受光するＢ色画素とを備え、Ｒ色画素とＢ色画素とは、ハニカム画素配列または正方画素配列であることを特徴とする。

カラーまたは白黒固体撮像素装置の高解像度化を図りながら、撮像感度の維持及びフレームレートの維持を実現したカラーまたは白黒撮像装置を提案できる。また、深い被写界深度の維持及び小型・軽量化の実現及び画素サイズの過剰な小型化の回避を実現したいわばバランスのとれた適切なカラーまたは白黒撮像装置を提案できる。

（ａ）は本実施形態の分光プリズム１０４０及び第一固体撮像素子１０１０と第二固体撮像素子１０２０とを備える撮像系１０００を説明する図であり、（ｂ）は正方画素配列の第一固体撮像素子１０１０を説明する概念図であり、（ｃ）は正方画素配列の第二固体撮像素子１０２０を説明する概念図であり、（ｄ）はハニカム状画素配列の第一固体撮像素子１０１０を説明する概念図であり、（ｅ）はハニカム状画素配列の第二固体撮像素子１０２０を説明する概念図である。 （ａ）は、ハニカム画素配列構造を有するＡ，Ｂ二つの撮像素子の画像データを合成して一つの正方画素配列構造の画像データを合成する概要を説明する概念図であり、（ｂ）は、Ｒ色画素及びＢ色画素を有するハニカム画素配列構造の第一固体撮像素子の画像データとＧ色画素を有するハニカム画素配列構造の第二固体撮像素子の画像データとを合成して、Ｒ，Ｇ，Ｂ色を有する正方画素配列構造の単板式固体撮像素子の画像データとする概要を説明する概念図である。 （ａ）は、正方画素配列構造を有するＡ，Ｂ二つの撮像素子の画像データを合成して一つのハニカム画素配列構造の画像データを合成する概要を説明する概念図であり、（ｂ）は、Ｒ色画素及びＢ色画素を有する正方画素配列構造の第一固体撮像素子の画像データとＧ色画素を有する正方画素配列構造の第二固体撮像素子の画像データとを合成して、Ｒ，Ｇ，Ｂ色を有するハニカム画素配列構造の単板式固体撮像素子の画像データとする概要を説明する概念図である。 （ａ）は第二固体撮像素子の構成例を説明する図であり、（ｂ）は第一固体撮像素子の構成例を説明する図であり、（ｃ）は図４（ａ）の第二固体撮像素子と図４（ｂ）の第一固体撮像素子とから取得される合成画素の概念を説明する図であり、（ｄ）は図４（ｃ）に示す合成画素を単板式で実現しようとした場合の固体撮像素子を説明する図である。 本実施形態の一例であるハニカム画素配列の固体撮像素子の画素配置パターンを説明する図であり、（ａ）がＲ色とＢ色とを受光する第一固体撮像素子の画素配置パターンの一例を説明する図であり、（ｂ）がＧ色を受光する第二固体撮像素子の画素配置パターンを説明する図であり、（ｃ）がＧ色を受光する第二固体撮像素子の他の画素配置パターンを説明する図である。 本実施形態の一例である正方画素配列の固体撮像素子の画素配置パターンを説明する図であり、（ａ）がＲ色とＢ色とを受光する第一固体撮像素子の画素配置パターンの一例を説明する図であり、（ｂ）がＧ色を受光する第二固体撮像素子の画素配置パターンを説明する図であり、（ｃ）がＧ色を受光する第二固体撮像素子の他の画素配置パターンを説明する図である。

本実施形態では、高解像度化を実現しつつ感度とフレームレートの低下とを回避する技術思想を開示する。すなわち、二枚の撮像素子から得られた画像を組み合わせて単板式で得られる画像と同様の画像を合成することにより、その後の内挿補間等の画像処理を簡単に行うものである。

本実施形態の撮像装置のレンズを介して入射された入射光は、赤色光及び青色光と、緑色光とにプリズムで二分光されて、各々二枚の固体撮像素子に像を結ぶ。各固体撮像素子で得られた画像データは、縦横または斜めに１／２画素分ずらして合成されて単一の画像を形成する。このため、本実施形態の撮像装置は、画像合成部を備える。

合成された画像は、単板撮像素子として一般的なハニカム画素配列または正方画素配列から取得された画像データとして、その後の内挿補間等の画像処理が遂行できるものとなる。

高解像度化にあたり撮像素子一枚あたりの画素数を増大させるものではなく微細化されていないため、画素一個当たりの占有面積が変わらないので、感度は従来どおり維持される。仮に、高解像度化にあたって画素を微細化したとすれば、一画素当たりの受光面積が低減するので、感度の低下を招来する。また、高解像度化を企図して仮に、撮像素子一枚あたりの画素数を増大させると、画像データを読み出すのに時間がかかることとなり、フレームレートの低下を招来する。

本実施形態においては、高解像度化にあたり、撮像素子一枚あたりの微細化による画素数増大をするのではなく、撮像素子の枚数そのものを二枚にすることにより、感度の低下やフレームレートの低下を生じることなく、高解像度化を実現する。

また、緑色を受光する撮像素子の画素は無色の撮像素子であってよく、赤色と青色を受光する撮像素子の画素は、それぞれ赤色フィルターと青色フィルターとを備えるものとする。この二枚の撮像素子でそれぞれ得られた画像データを組み合わせてハニカム画素配列構造または正方画素配列構造を構成する。ＲＧＢの三原色を二枚の撮像素子で受光するため、効率的であり三枚の撮像素子を用いる方法に比較して比較的簡易な回路構成で迅速な処理が可能となる。

二つの撮像素子で得られた画像データをそれぞれ読み出してメモリに記憶し、一枚の画像へと合成する処理を行う。例えば、一方の撮像素子で得られた画像データに対して、１／２画素分だけ縦または横または斜め方向にずらした位置に、他方の画像データが配置されるように、合成することにより、ハニカム画素配列構造または正方画素配列構造を有する一枚の画像（及び画像データ）が得られる。

例えば、一方の撮像素子で得られた画像データをメモリに書き込む場合に、一画素間隔で書き込み場所を空けておくアドレス番地指定をして書き込む。次に、他方の撮像素子で得られた画像データをメモリに書き込む場合に、予め一画素間隔で空けておかれた場所に書き込んでいく単純な書き込み動作により、実現できる。このようにしてメモリに記録された画像データは、より高解像度（例えば、画素数では２倍）の単板式撮像素子から順次読み出した画像データをメモリに記録した画像データと、同様の画像データであって、その後の補間処理等は従来の単板式撮像装置と同一の処理回路で遂行することが可能である。

メモリから画像データを読み出す場合には、先頭アドレスから順番に読み出すことで、単板カメラと同様の画像データが得られるものとなるので、その後の画像処理を極めて簡便に遂行できる。このため、一般的な単板式カメラと同様に、ＲＧＢの色により内挿補間する一般的なコンボリューション処理を遂行し、ＲＧＢの三枚の映像データを作成することもできる。

図１（ａ）は本実施形態の分光プリズム１０４０及び第一固体撮像素子１０１０と第二固体撮像素子１０２０とを備える撮像系１０００を説明する図であり、図１（ｂ）は正方画素配列の第一固体撮像素子１０１０を説明する概念図である。また、図１（ｃ）は正方画素配列の第二固体撮像素子１０２０を説明する概念図であり、図１（ｄ）はハニカム状画素配列の第一固体撮像素子１０１０を説明する概念図であり、図１（ｅ）はハニカム状画素配列の第二固体撮像素子１０２０を説明する概念図である。

図１（ａ）に示すように、本実施形態においては、不図示のレンズを介して取得された入射光１０３０は分光プリズム１０４０でＲ色１０３２及びＢ色１０３３と、Ｇ色１０３１とに分光される。Ｒ色１０３２及びＢ色１０３３は第一固体撮像素子１０１０で受光され、Ｇ色１０３１は第二固体撮像素子１０２０で受光される。

このため、第一固体撮像素子１０１０は、各画素の光入射側にＲ色フィルターとＢ色フィルターとが設けられる。一方、第二固体撮像素子１０２０はＧ色１０３１のみが入射されるため、色フィルターを別途に備える必要はなく無色フィルター若しくはフィルター無しの構成とすることができる。

また、図１（ｂ）乃至図１（ｅ）に説明するように、第一固体撮像素子１０１０と第二固体撮像素子１０２０とは、正方画素配列構造であってもよいしハニカム画素配列構造であってもよいが、同一の画素配列構造であるものとする。すなわち、第一固体撮像素子１０１０と第二固体撮像素子１０２０とが正方画素配列構造である場合には、各取得画像を合成した結果はハニカム画素配列となる。また、第一固体撮像素子１０１０と第二固体撮像素子１０２０とがハニカム画素配列構造である場合には、各取得画像を合成した結果は正方画素配列となる。

このため、同一の画素配列構造を有する第一固体撮像素子１０１０と第二固体撮像素子１０２０とは、異なる他方の画素配列構造となる合成画像データについて、内挿補間処理等の各種画像処理をするための処理回路を備える撮像装置となる。換言すれば、第一固体撮像素子１０１０と第二固体撮像素子１０２０とが現実に有する画素配列構造と、画像処理回路が処理対象とする合成画像データの処理可能な画素配列構造とは、互いに相異なるものとなる。ここで、画像処理回路や画像処理方法については、従来公知の単板式撮像装置等で用いられている、一般的な画像処理回路や画像処理方法を用いることができるので、ここでは詳述をしない。

また、図２（ａ）は、ハニカム画素配列構造を有するＡ，Ｂ二つの撮像素子の画像データを合成して一つの正方画素配列構造の画像データを合成する概要を説明する概念図であり、図２（ｂ）は、Ｒ色画素及びＢ色画素を有するハニカム画素配列構造の第一固体撮像素子１０１０の画像データとＧ色画素を有するハニカム画素配列構造の第二固体撮像素子１０２０の画像データとを合成して、Ｒ，Ｇ，Ｂ色を有する正方画素配列構造の単板式固体撮像素子の画像データとする概要を説明する概念図である。

図２（ａ）から理解できるように、ハニカム画素配列構造を有する二つの固体撮像素子の各画素を縦または横方向に１／２画素分ずらして重ね合わせると、一枚の正方画素配列構造の固体撮像素子であるかのように合成できる。第一固体撮像素子１０１０と第二固体撮像素子１０２０とは図１に示すようにそれぞれ分光プリズムの異なる光出射口に配置されており、固体撮像素子それ自体を物理的に重ね合わせることはできないので、本実施形態においては、メモリへの書き込み時に合成処理を遂行する。

すなわち、図２（ｂ）に示すように、第一固体撮像素子１０１０から読み出されたＲ信号及びＢ信号を順次にメモリに書き込む場合に、アドレスを一つ空けて一つ置きに書き込み処理を遂行する。次に、第二固体撮像素子１０２０から読み出されたＧ信号を順次に同一メモリに書き込む場合に、予め一つ置きに空けられているアドレス部分に順次書き込み処理を遂行する。このようにして書き込み処理されたメモリは、正方画素配列の固体撮像素子を有する単板式のＲＧＢ固体撮像素子から順次に読み出した画素データをあたかも順次にメモリに書き込んだ図２（ｂ）下段に示すような画像データとなる。

したがって、図２（ｂ）下段に示すように記録された当該メモリから順次に読み出された画像データは、正方画素配列の固体撮像素子を有する単板式のＲＧＢ固体撮像素子から順次に読み出した画素データとして、内挿補間処理等の各種画像処理を遂行することができる。このようにして、固体撮像素子一枚当たりの現実の画素数を何ら増大させることなく、実質的にその２倍の高解像度の画像データを取得することが可能となる。このため、固体撮像素子一枚当たりの画素数を増大させた場合に生じる種々のデメリットの影響を受けず、容易かつ簡単な処理で迅速に高解像度化を遂行できるものとなる。

なお、第一固体撮像素子１０１０からＲ信号及びＢ信号を順次に読み出す処理と、第二固体撮像素子１０２０からＧ信号を順次に読み出す処理とは、弱冠の時間差を設けて、ほぼリアルタイムで同時並列的に処理することとできる。第一固体撮像素子１０１０からの読み出し処理が全て完了するまで待って、その後第二の固体撮像素子１０２０から読み出しを開始するのではない。また、読み出した画像データのメモリへの書き込みについても、読み出しが完了した画素データから順次書き込み処理をしていけばよいので、実質的には読み出し処理と書き込み処理とは同時並列的にリアルタイムで遂行することができる。

また、図３（ａ）は、正方画素配列構造を有するＡ，Ｂ二つの撮像素子の画像データを合成して一つのハニカム画素配列構造の画像データを合成する概要を説明する概念図であり、図３（ｂ）は、Ｒ色画素及びＢ色画素を有する正方画素配列構造の第一固体撮像素子１０１０の画像データとＧ色画素を有する正方画素配列構造の第二固体撮像素子１０２０の画像データとを合成して、Ｒ，Ｇ，Ｂ色を有するハニカム画素配列構造の単板式固体撮像素子の画像データとする概要を説明する概念図である。

図３（ａ）から理解できるように、正方画素配列構造を有する二つの固体撮像素子の各画素を斜め方向に１／２画素分ずらして重ね合わせると、一枚のハニカム画素配列構造の固体撮像素子であるかのように合成できる。第一固体撮像素子１０１０と第二固体撮像素子１０２０とは図１に示すようにそれぞれ分光プリズムの異なる光出射口に配置されており、固体撮像素子それ自体を物理的に重ね合わせることはできないので、本実施形態においては、メモリへの書き込み時に合成処理を遂行する。

すなわち、図３（ｂ）に示すように、第一固体撮像素子１０１０から読み出されたＲ信号及びＢ信号を順次にメモリに書き込む場合に、アドレスを斜め方向に１／２画素分ずらした位置を空けて書き込み処理を遂行する。次に、第二固体撮像素子１０２０から読み出されたＧ信号を順次に同一メモリに書き込む場合に、予め一つ置きに空けられている１／２画素分斜め方向にずらしたアドレス部分に順次書き込み処理を遂行する。このようにして書き込み処理されたメモリは、ハニカム画素配列の固体撮像素子を有する単板式のＲＧＢ固体撮像素子から順次に読み出した画素データをあたかも順次にメモリに書き込んだ図３（ｂ）下段に示すような画像データとなる。

したがって、図３（ｂ）下段に示すように記録された当該メモリから順次に読み出された画像データは、ハニカム画素配列の固体撮像素子を有する単板式のＲＧＢ固体撮像素子から順次に読み出した画素データとして、内挿補間処理等の各種画像処理を遂行することができる。このようにして、固体撮像素子一枚当たりの現実の画素数を何ら増大させることなく、実質的にその２倍の高解像度の画像データを取得することが可能となる。このため、固体撮像素子一枚当たりの画素数を増大させた場合に生じる種々のデメリットの影響を受けず、容易かつ簡単な処理で迅速に高解像度化を遂行できるものとなる。

なお、第一固体撮像素子１０１０からＲ信号及びＢ信号を順次に読み出す処理と、第二固体撮像素子１０２０からＧ信号を順次に読み出す処理とは、弱冠の時間差を設けて、ほぼリアルタイムで同時並列的に処理することとできる。第一固体撮像素子１０１０からの読み出し処理が全て完了するまで待って、その後第二の固体撮像素子１０２０から読み出しを開始するのではない。また、読み出した画像データのメモリへの書き込みについても、読み出しが完了した画素データから順次書き込み処理をしていけばよいので、実質的には読み出し処理と書き込み処理とは同時並列的にリアルタイムで遂行することができる。なお、図１（ｂ）乃至図１（ｅ）に示すように、第一固体撮像素子１０１０と第二固体撮像素子１０２０とでは、画素間隔（Ｌ_１，Ｌ_２）が同一であるものとする。

本発明の二板式カラー撮像装置は、入射光をＧ色と、Ｒ色及びＢ色と、で異なる二方向に分離するプリズムと、プリズムによって分離されたＲ色及びＢ色の光を受光してＲ色の光量に応じた赤色信号とＢ色の光量に応じた青色信号とを出力する第一固体撮像素子と、プリズムによって分離されたＧ色の光を受光してＧ色の光量に応じた緑色信号を出力する第二固体撮像素子と、第一固体撮像素子の出力と第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、第一固体撮像素子及び第二固体撮像素子は、正方画素配列からなり、画像合成部は、互いに斜めに１／２画素ずらした合成を遂行してハニカム状画素配列の画像データを形成することを特徴とする。

これにより、３板以上の多板式カラー撮像装置に比較して、固体撮像素子（例えば、ＣＭＯＳやＣＣＤ）や処理回路が少なく小型軽量化を実現し、かつ低コストで省電力な撮像装置を実現できる。一方、合成された後のハニカム状画素配列の画像データに対しては、汎用されている単板式カラー撮像装置（ハニカム状画素配列の撮像素子を備えるもの）と同様の、補間処理等の画像処理を遂行できるので、新たな処理回路を開発する必要がない。

高解像度化を低コストで容易に実現しつつ、かつＳ／Ｎ比や感度の低下も招来することなく、二枚の固体撮像素子からリアルタイムで同時並列に画像データを読み出すことで、フレームレートの低下も防止できる。

また、固体撮像素子一枚あたりのそれ自体の大きさは、従来の大きさから変更することなく高精細化できるので、汎用の２／３インチサイズのレンズが使用できるのでコスト面等において有利であり、被写界深度の問題も解消できる。また、３板以上の多板式カラー撮像装置のように複雑な複数の処理回路や調整回路を必要としないので、比較的容易に、解像度の向上と動作の安定性やコストバランスに優れた、高解像度のカメラを実現することができる。

また、本発明の二板式カラー撮像装置は、入射光をＧ色と、Ｒ色及びＢ色と、で異なる二方向に分離するプリズムと、プリズムによって分離されたＲ色及びＢ色の光を受光してＲ色の光量に応じた赤色信号とＢ色の光量に応じた青色信号とを出力する第一固体撮像素子と、プリズムによって分離されたＧ色の光を受光してＧ色の光量に応じた緑色信号を出力する第二固体撮像素子と、第一固体撮像素子の出力と第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、第一固体撮像素子及び第二固体撮像素子は、ハニカム状画素配列からなり、画像合成部は、互いに縦又は横に１／２画素ずらした合成を遂行して正方画素配列の画像データを形成することを特徴とする。

これにより、３板以上の多板式カラー撮像装置に比較して、固体撮像素子（例えば、ＣＭＯＳやＣＣＤ）や処理回路が少なく小型軽量化を実現し、かつ低コストで省電力な撮像装置を実現できる。一方、合成された後の正方画素配列の画像データに対しては、汎用されている単板式カラー撮像装置（正方画素配列の撮像素子を備えるもの）と同様の、補間処理等の画像処理を遂行できるので、新たな処理回路を開発する必要がない。

高解像度化を低コストで容易に実現しつつ、かつＳ／Ｎ比や感度の低下も招来することなく、二枚の固体撮像素子からリアルタイムで同時並列に画像データを読み出すことで、フレームレートの低下も防止できる。

また、固体撮像素子一枚あたりのそれ自体の大きさは、従来から変更することなく高精細化できるので、汎用の２／３インチサイズのレンズが使用できるのでコスト面等において有利であり、被写界深度の問題も解消できる。また、３板以上の多板式カラー撮像装置のように複雑な複数の処理回路や調整回路を必要としないので、比較的容易に、解像度の向上と動作の安定性やコストバランスに優れた、高解像度のカメラを実現することができる。

また、本発明の二板式カラー撮像装置は、好ましくは画像合成部で形成された画像データについて、単板式カラー撮像装置において取得された画像データとして、補間処理を遂行することを特徴とする。

画像合成部（メモリを含む）で形成された画像データは、従来汎用されている単板式カラー撮像装置において取得された画像データと、高解像度化されているか否かの点を除いて、何ら変わるものではない。

このため、補間処理を遂行する場合においても、新たな処理回路を開発することなく、従来の単板式の汎用補間処理回路をそのまま使用することができる。これは、新たな処理回路の開発期間や開発費用の観点からは、コスト面や製品リリースタイミング等において極めて有利である。

さらに、単板式の撮像素子それ自体を高解像化した場合に生じるＳ／Ｎ比の劣化や信号強度の低下（暗くなる現象）や画像データ読み出し時間の長時間化（フレームレートの低減）問題等は一切生じることがないので好ましい。

また、本発明の二板式カラー撮像装置は、さらに好ましくは第一固体撮像素子の赤色信号を出力するＲ画素は赤色のカラーフィルターを備え、第一固体撮像素子の青色信号を出力するＢ画素は青色のカラーフィルターを備え、第二固体撮像素子の緑色信号を出力するＧ画素はカラーフィルターを備えないことを特徴とする。

Ｒ色を検出する赤色画素は赤色フィルターを備え、Ｂ色を検出する青色画素は青色フィルターを備えるが、Ｇ色を検出する緑色画素は無色のフィルターを備えるかまたはフィルターそれ自体を備える必要がないので、好ましい。

また、上述のようにＲＧＢの三原色の画像データを取得して処理してもよいし、補色系カラーフィルタによりこれに対応する画像データを取得して処理してもよい。この場合においても、二板式で取得した二つのデータを合成することで、その後単板式と同様の処理が可能となるので好ましい。

また、本発明の二板式カラー撮像装置は、さらに好ましくは第一固体撮像素子におけるＲ画素とＢ画素とは同数であり、第二固体撮像素子におけるＧ画素の数は、Ｒ画素またはＢ画素の数の２倍であることを特徴とする。

これにより、人の目に感度が高い緑色のデータについて、特に高精細で取得することが可能となるので、近年のいわゆる４Ｋや８Ｋといった高微細化画像にもより適合する画像取得が可能となる。

また、本発明の二板式カラー撮像装置は、さらに好ましくは第一及び第二固体撮像素子が正方画素配列の場合には、縦横いずれの方向においてもＲ画素とＢ画素とが交互に配置され、第一及び第二固体撮像素子がハニカム状画素配列の場合には、斜め方向においてＲ画素とＢ画素とが交互に配置されることを特徴とする。

これにより、固体撮像素子の画素配列の如何にかかわらず、適切な合成処理が可能な二板式カラー撮像装置を実現できる。

また、本発明の二板式カラー撮像装置の画像処理方法は、第一固体撮像素子から赤色信号及び青色信号を取得すると同時並列に、第二固体撮像素子から緑色信号を取得する読み出し工程と、読み出した各信号を、赤色信号及び青色信号と、緑色信号と、で互いに斜めに１／２画素分ずらしてハニカム状画素配列の一枚の画像データとして合成する工程と、合成した画像データについて、ハニカム状画素配列の画素補間処理を遂行する工程と、を有することを特徴とする。

これにより、フレームレートの遅延を招来することなく、従来の正方画素配列の撮像素子を採用した単板式カラー撮像装置と同程度の処理速度を維持しつつ、高解像度化のみを実現することが可能となる。

また、本発明の二板式カラー撮像装置の画像処理方法は、第一固体撮像素子から赤色信号及び青色信号を取得すると同時並列に、第二固体撮像素子から緑色信号を取得する読み出し工程と、読み出した各信号を、赤色信号及び青色信号と、緑色信号と、で互いに縦または横に１／２画素分ずらして正方画素配列の一枚の画像データとして合成する工程と、合成した画像データについて、正方画素配列の画素補間処理を遂行する工程と、を有することを特徴とする。

これにより、フレームレートの遅延を招来することなく、従来のハニカム状画素配列の撮像素子を採用した単板式カラー撮像装置と同程度の処理速度を維持しつつ、高解像度化のみを実現することが可能となる。

（二枚の撮像素子及びそれらの画素の配置パターン）
本発明の第一の観点は、高解像度化を行い感度とフレームレートを維持する技術であり、本発明の特徴とするところは、二枚の撮像素子をプリズムを用いて固定し、プリズムに入射する光学像を二枚の撮像素子で撮像することである。レンズを通過した光の像は、プリズムを通過しＧ色と他のＲ色及びＢ色で２方向へ分光される。前プリズム装置の二枚の撮像素子で撮像する方法は、入射する光学像を公知の単板のハニカム又はベイヤーの画素配列を想定したＲＧＢのＧ色とＲ色及びＢ色を個々に二枚の撮像素子で撮像する事である。一枚はＧ色であり二枚目はＲ色及びＢ色を撮像する。この時ハニカム及びベイヤー配列画素（正方画素配列の画素）のＧ色とＲ色及びＢ色で既に説明した図のような画素の関係があり、ハニカム配列の場合はＧ色だけの画素に対し、他のＲ色とＢ色の画素は斜め方向にＧ色画素とＧ色画素の間に位置する。斜め１／２の画素になる。ベイヤー配列の場合はＧ色だけの画素に対し上下または左右方向でＧ色画素とＧ色画素の間に位置する。二枚の撮像素子をこのＧ色とＲ色及びＢ色の位置関係に空間的にプリズムで固定することで、ハニカム配列及びベイヤー配列の画素の色の空間的情報を取得する事ができる。この時ハニカム配列を想定した画素を取得する場合は二枚の正方画素の撮像素子を使う事になり、またベイヤー配列を想定した画素を取得する場合は二枚のハニカム構造の撮像素子を使うことで成立する。

二枚の撮像素子から取得された画素データは、本実施形態のメモリに記録完了された時点で、一枚の撮像素子（前記二枚の撮像素子の画素数合計に対応する画素数のもの）から取得された画素データをメモリに記録したメモリと、同等に扱えるものとなる。この場合でも、既に上述したように、各画素面積は、一枚の撮像素子で実現した単板式よりも大きく確保することが可能となるので、メモリに記録された各画素データも明るく高感度なデータとなっている。

このため、本実施形態で使用する二枚の撮像素子は、典型的には図２（ｂ）下段に示す正方画素配列の一枚の撮像素子を画素配列はそのままで分離構成した、図２（ｂ）上段に示すハニカム画素配列のＲ＆Ｂ画素の第一固体撮像素子と、Ｇ画素の第二固体撮像素子と、することができる。但し、分離後の画素１個あたりの面積は２倍とすることが、撮像素子の面積を有効に活用して受光量を確保する観点から好ましい。

また、本実施形態で使用する二枚の撮像素子は、典型的には図３（ｂ）下段に示すハニカム画素配列の一枚の撮像素子を画素配列はそのままで分離構成した、図３（ｂ）上段に示す正方画素配列のＲ＆Ｂ画素の第一固体撮像素子と、Ｇ画素の第二固体撮像素子と、することができる。但し、分離後の画素１個あたりの面積は２倍とすることが、撮像素子の面積を有効に活用して受光量を確保する観点から好ましい。

また、第一の固体撮像素子と第二の固体撮像素子とを、例えば共に正方画素配列の同一画素パターンの撮像素子とする場合（例えば、図３（ｂ）上段）には、斜め１／２画素分だけ互いにずらした配置に固定することとしてもよい。

また、第一の固体撮像素子と第二の固体撮像素子とを、例えば共にハニカム画素配列の同一画素パターンの撮像素子とする場合（例えば、図２（ｂ）上段）には、縦または横に１／２画素分だけ互いにずらした配置に固定することとしてもよい。

また、上述した実施例においては、カラー撮像素子を二枚用いた典型例を例示して説明したが、白黒撮像素子を二枚用いる場合においても同様に実施することができる。この場合には、分光プリズムの代わりに例えばハーフミラーのような分光装置を用いて入射光を二分してもよい。第一の撮像素子と第二の撮像素子とを共に、白黒受光画素で構成することができる。

白黒画素の二枚の撮像素子を用いた場合においても、撮像素子一枚で該二枚分の画素数を実現するよりも、一画素あたりの画素面積を大きく確保することが可能となり、高解像度としつつ同時に感度の低下を防ぐことが可能となる。さらに、撮像素子一枚あたりの画素数は、撮像素子一枚で該二枚分の画素数を実現したものに比較して、約半分であるので、読み出し時にフレームレートの低減を将来することもない。

また、図２（ａ）に示したハニカム画素配列から正方画素配列を構成する技術思想と、図３（ａ）に示した正方画素配列からハニカム画素配列を構成する技術思想と、は共に、白黒画素の説明をするものである。すなわち、Ａで示した白黒画素を有する第一撮像素子とＢで示した白黒画素を有する第二撮像素子とから、これらの画素データをメモリに書き込み完了した時点でＡ画素とＢ画素とを有する単板の撮像素子から取得された画素データと同等に扱えるものとする技術思想を開示するものである。

ここで、図４（ａ）は第二固体撮像素子の構成例の一部を説明する図であり、図４（ｂ）は第一固体撮像素子の構成例の一部を説明する図である。また、図４（ｃ）は図４（ａ）の第二固体撮像素子と図４（ｂ）の第一固体撮像素子とから取得される合成画素の一部の概念を説明する図であり、図４（ｄ）は図４（ｃ）に示す合成画素を単板式で実現しようとした場合の固体撮像素子の一部を説明する図である。

図４（ａ）に示すように、Ｇ色画素４１０の周囲には、当該画素データを外部に出力するための配線４２０，４３０等が配置されている。また、図４（ｂ）に示すように、Ｒ色画素４８０の周囲には、当該画素データを外部に出力するための配線４４０，４５０，４６０，４７０，４８０が配置されている。

しかし、図４（ｃ）に示す合成画素においては、四つのＧ色画素４１０に囲まれた中心にＲ色画素４８０を配置したかのような画素配置に対応する画素データが取得できるものとなる。この場合に、当該合成はメモリへの書き込み時に電子データ上で構成されることから、現実の配線４２０，４３０，４４０，４５０，４６０，４７０，４８０の配置スペースに起因する何らの制限を受けることはない。従って、図４（ａ），図４（ｂ）に示すように、Ｇ色画素４１０の受光面積とＲ色画素４８０の受光面積とは、極めて大きく確保することが可能である。

一方、図４（ｄ）から理解できるように、図４（ｃ）に示す画素配置パターンを現実の単板固体撮像素子で実現しようとすれば、各画素それぞれの周囲に配線パターンを設けるスペースを確保しなければならない。このため、図４（ｄ）に示すように、各画素の受光面積は配線パターンスペースに対応して小さな面積とならざるを得ないものとなる。

また、図５は本実施形態の一例であるハニカム画素配列の固体撮像素子の画素配置パターンを説明する図である。図５（ａ）がＲ色とＢ色とを受光する第一固体撮像素子の画素配置パターンの一例を説明する図であり、図５（ｂ）がＧ色を受光する第二固体撮像素子の画素配置パターンを説明する図であり、図５（ｃ）がＧ色を受光する第二固体撮像素子の他の画素配置パターンを説明する図である。

図５（ａ）において、例えば左上方のＲ画素は撮像素子のエッジから間隔ｌを空けて配置されることができ、次のＲ画素まで横方向縦方向ともに間隔Ｔだけ空けて配置されることができる。また、図５（ｂ）において、例えば左上方のＧ画素は撮像素子のエッジか間隔ｌを空けて配置されることができ、次のＧ画素まで横方向縦方向ともに間隔Ｔだけ空けて配置されることができる。

固体撮像素子の量産効果の観点からは、図５（ａ）や図５（ｂ）に説明する同一画素配置パターンの撮像素子を一枚の基板上に複数個作製することが好ましい。そして、カラーフィルターの作製工程において、Ｒ色及びＢ色用のカラーフィルターを形成するか、カラーフィルターを形成しないか又は無色のカラーフィルターとするか、のいずれかを適宜選択することで、第一の固体撮像素子とするか、第二の固体撮像素子とするかを選択作製することができる。

一方、図５（ｃ）に説明するように、左上のＧ色画素を撮像素子のエッジから例えば横方向に「ｌ＋（Ｔ／２）」だけ離間させ、縦方向に「ｌ」だけ離間させ、次のＧ画素まで横方向縦方向ともに間隔Ｔだけ空けて配置してもよい。この場合には、画素の配置それ自体が撮像素子の本体（ボディ）に対して第一撮像素子と第二撮像素子とで既に１／２画素分ずれているので、プリズムに配置する場合に撮像素子を両者同様に配置することができる。

これに対し、図５（ａ）に示す第一固体撮像素子と、図５（ｂ）に示す第二固体撮像素子とを用いる場合には、プリズムに配置する場合に、「Ｔ／２」分だけ横方向または縦方向にずらして配置することで、より精確に対応する画素データを取得して合成できるものとなる。

また、図６は本実施形態の一例である正方画素配列の固体撮像素子の画素配置パターンを説明する図である。図６（ａ）がＲ色とＢ色とを受光する第一固体撮像素子の画素配置パターンの一例を説明する図であり、図６（ｂ）がＧ色を受光する第二固体撮像素子の画素配置パターンを説明する図であり、図６（ｃ）がＧ色を受光する第二固体撮像素子の他の画素配置パターンを説明する図である。

図６（ａ）において、例えば左上方のＲ画素は撮像素子のエッジから間隔ｌを空けて配置されることができ、次のＢ画素まで横方向縦方向ともに間隔Ｔだけ空けて順次配置されることができる。また、図６（ｂ）において、例えば左上方のＧ画素は撮像素子のエッジか間隔ｌを空けて配置されることができ、次のＧ画素まで横方向縦方向ともに間隔Ｔだけ空けて配置されることができる。

固体撮像素子の量産効果の観点からは、図６（ａ）や図６（ｂ）に説明する同一画素配置パターンの撮像素子を一枚の基板上に複数個作製することが好ましい。そして、カラーフィルターの作製工程において、Ｒ色及びＢ色用のカラーフィルターを形成するか、カラーフィルターを形成しないか又は無色のカラーフィルターとするか、のいずれかを適宜選択することで、第一の固体撮像素子とするか、第二の固体撮像素子とするかを選択作製することができる。

一方、図６（ｃ）に説明するように、左上のＧ色画素を撮像素子のエッジから例えば横方向に「ｌ＋（Ｔ／２）」だけ離間させ、縦方向にも「ｌ＋（Ｔ／２）」だけ離間させ、次のＧ画素まで横方向縦方向ともに間隔Ｔだけ空けて配置してもよい。この場合には、画素の配置それ自体が撮像素子の本体（ボディ）に対して第一撮像素子と第二撮像素子とで既に１／２画素分ずれているので、プリズムに配置する場合に撮像素子を両者同様に配置することができる。

これに対し、図６（ａ）に示す第一固体撮像素子と、図６（ｂ）に示す第二固体撮像素子とを用いる場合には、プリズムに配置する場合に、「Ｔ／２」分だけ横方向及び縦方向にずらして配置する（換言すれば、斜め画素方向に１／２画素分ずらして配置する）ことで、より精確に対応する画素データを取得して合成できるものとなる。

上述の実施形態で例示した二板式カラー撮像装置等は、実施形態での説明に限定されるものではなく、実施形態で説明する技術思想の範囲内かつ自明な範囲内で、適宜その構成や処理及び処理方法等を変更することができる。また、説明の便宜上実施形態においては個別に説明しているが、本発明の技術思想の範囲内で実施形態の構成を適宜組み合わせて適用し、またその動作も適宜組み合わせてアレンジしてもよい。

本発明は、画像／映像分野全般に適用可能である。

１０００・・撮像系、１０１０・・第一固体撮像素子、１０２０・・第二固体撮像素子、１０３０・・入射光、１０３１・・Ｇ色光、１０３２・・Ｒ色光、１０３３・・Ｂ色光、１０４０・・分光プリズム。

Claims (13)

1. 入射光をＧ色と、Ｒ色及びＢ色と、で異なる二方向に分離するプリズムと、
   前記プリズムによって分離された前記Ｒ色及びＢ色の光を受光してＲ色の光量に応じた赤色信号とＢ色の光量に応じた青色信号とを出力する第一固体撮像素子と、
   前記プリズムによって分離された前記Ｇ色の光を受光してＧ色の光量に応じた緑色信号を出力する第二固体撮像素子と、
   前記第一固体撮像素子の出力と前記第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成するために、メモリに一方の固体撮像素子の信号を書き込み処理する場合にアドレスを一つ空けて一つ置きに書き込み処理した後、他方の固体撮像素子の信号を予め一つ置きに空けられたアドレス部分に順次に書き込み処理を遂行する、画像合成部と、を備え、
   前記第一固体撮像素子及び前記第二固体撮像素子は、正方画素配列からなり、
   前記画像合成部は、互いに斜めに１／２画素ずらした合成を遂行してハニカム状画素配列の前記画像データを形成し、
   前記第一固体撮像素子の出力と前記第二固体撮像素子の出力とは同時並列に読み出されて前記画像合成部へ入力される
   ことを特徴とする二板式カラー撮像装置。
2. 入射光をＧ色と、Ｒ色及びＢ色と、で異なる二方向に分離するプリズムと、
   前記プリズムによって分離された前記Ｒ色及びＢ色の光を受光してＲ色の光量に応じた赤色信号とＢ色の光量に応じた青色信号とを出力する第一固体撮像素子と、
   前記プリズムによって分離された前記Ｇ色の光を受光してＧ色の光量に応じた緑色信号を出力する第二固体撮像素子と、
   前記第一固体撮像素子の出力と前記第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成するために、メモリに一方の固体撮像素子の信号を書き込み処理する場合にアドレスを一つ空けて一つ置きに書き込み処理した後、他方の固体撮像素子の信号を予め一つ置きに空けられたアドレス部分に順次に書き込み処理を遂行する、画像合成部と、を備え、
   前記第一固体撮像素子及び前記第二固体撮像素子は、ハニカム状画素配列からなり、
   前記画像合成部は、互いに縦又は横に１／２画素ずらした合成を遂行して正方画素配列の前記画像データを形成し、
   前記第一固体撮像素子の出力と前記第二固体撮像素子の出力とは同時並列に読み出されて前記画像合成部へ入力される
   ことを特徴とする二板式カラー撮像装置。
3. 請求項１または請求項２に記載の二板式カラー撮像装置において、
   前記画像合成部で形成された前記画像データについて、単板式カラー撮像装置において取得された画像データとして、補間処理を遂行する
   ことを特徴とする二板式カラー撮像装置。
4. 請求項１乃至請求項３のいずれか一項に記載の二板式カラー撮像装置において、
   前記第一固体撮像素子の赤色信号を出力するＲ画素は赤色のカラーフィルターを備え、
   前記第一固体撮像素子の青色信号を出力するＢ画素は青色のカラーフィルターを備え、
   前記第二固体撮像素子の緑色信号を出力するＧ画素はカラーフィルターを備えない
   ことを特徴とする二板式カラー撮像装置。
5. 請求項４に記載の二板式カラー撮像装置において、
   前記第一固体撮像素子における前記Ｒ画素と前記Ｂ画素とは同数であり、
   前記第二固体撮像素子における前記Ｇ画素の数は、前記Ｒ画素または前記Ｂ画素の数の２倍である
   ことを特徴とする二板式カラー撮像装置。
6. 請求項４または請求項５に記載の二板式カラー撮像装置において、
   前記第一及び第二固体撮像素子が正方画素配列の場合には、縦横いずれの方向においても前記Ｒ画素と前記Ｂ画素とが交互に配置され、
   前記第一及び第二固体撮像素子がハニカム状画素配列の場合には、斜め方向において前記Ｒ画素と前記Ｂ画素とが交互に配置される
   ことを特徴とする二板式カラー撮像装置。
7. 入射光をＧ色と、Ｒ色及びＢ色と、で異なる二方向に分離するプリズムと、
   前記プリズムによって分離された前記Ｒ色及びＢ色の光を受光してＲ色の光量に応じた赤色信号とＢ色の光量に応じた青色信号とを出力する第一固体撮像素子と、
   前記プリズムによって分離された前記Ｇ色の光を受光してＧ色の光量に応じた緑色信号を出力する第二固体撮像素子と、
   前記第一固体撮像素子の出力と前記第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、
   前記第一固体撮像素子及び前記第二固体撮像素子は、正方画素配列からなり、
   前記画像合成部は、互いに斜めに１／２画素ずらした合成を遂行してハニカム状画素配列の前記画像データを形成する二板式カラー撮像装置の画像処理方法において、
   前記第一固体撮像素子から前記赤色信号及び前記青色信号を取得すると同時並列に、前記第二固体撮像素子から前記緑色信号を取得する読み出し工程と、
   前記読み出した各信号を、前記赤色信号及び前記青色信号と、前記緑色信号と、で互いに斜めに１／２画素分ずらしてハニカム状画素配列の一枚の画像データとして合成する工程と、
   前記合成した画像データについて、ハニカム状画素配列の画素補間処理を遂行する工程と、を有する
   ことを特徴とする二板式カラー撮像装置の画像処理方法。
8. 入射光をＧ色と、Ｒ色及びＢ色と、で異なる二方向に分離するプリズムと、
   前記プリズムによって分離された前記Ｒ色及びＢ色の光を受光してＲ色の光量に応じた赤色信号とＢ色の光量に応じた青色信号とを出力する第一固体撮像素子と、
   前記プリズムによって分離された前記Ｇ色の光を受光してＧ色の光量に応じた緑色信号を出力する第二固体撮像素子と、
   前記第一固体撮像素子の出力と前記第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、
   前記第一固体撮像素子及び前記第二固体撮像素子は、ハニカム状画素配列からなり、
   前記画像合成部は、互いに縦又は横に１／２画素ずらした合成を遂行して正方画素配列の前記画像データを形成する二板式カラー撮像装置の画像処理方法において、
   前記第一固体撮像素子から前記赤色信号及び前記青色信号を取得すると同時並列に、前記第二固体撮像素子から前記緑色信号を取得する読み出し工程と、
   前記読み出した各信号を、前記赤色信号及び前記青色信号と、前記緑色信号と、で互いに縦または横に１／２画素分ずらして正方画素配列の一枚の画像データとして合成する工程と、
   前記合成した画像データについて、正方画素配列の画素補間処理を遂行する工程と、を有する
   ことを特徴とする二板式カラー撮像装置の画像処理方法。
9. 入射光を第一の入射光と第二の入射光とに分離するハーフミラーと、
   前記ハーフミラーによって分離された前記第一の入射光を受光してその光量に応じた第一の受光信号を出力する第一固体撮像素子と、
   前記ハーフミラーによって分離された前記第二の入射光を受光してその光量に応じた第二の受光信号を出力する第二固体撮像素子と、
   前記第一固体撮像素子の出力と前記第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成するために、メモリに一方の固体撮像素子の信号を書き込み処理する場合にアドレスを一つ空けて一つ置きに書き込み処理した後、他方の固体撮像素子の信号を予め一つ置きに空けられたアドレス部分に順次に書き込み処理を遂行する、画像合成部と、を備え、
   前記第一固体撮像素子及び前記第二固体撮像素子は、正方画素配列からなり、
   前記画像合成部は、互いに斜めに１／２画素ずらした合成を遂行してハニカム状画素配列の前記画像データを形成し、
   前記第一固体撮像素子の出力と前記第二固体撮像素子の出力とは同時並列に読み出されて前記画像合成部へ入力される
   ことを特徴とする二板式白黒撮像装置。
10. 入射光を第一の入射光と第二の入射光とに分離するハーフミラーと、
    前記ハーフミラーによって分離された前記第一の入射光を受光してその光量に応じた第一の受光信号を出力する第一固体撮像素子と、
    前記ハーフミラーによって分離された前記第二の入射光を受光してその光量に応じた第二の受光信号を出力する第二固体撮像素子と、
    前記第一固体撮像素子の出力と前記第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成するために、メモリに一方の固体撮像素子の信号を書き込み処理する場合にアドレスを一つ空けて一つ置きに書き込み処理した後、他方の固体撮像素子の信号を予め一つ置きに空けられたアドレス部分に順次に書き込み処理を遂行する、画像合成部と、を備え、
    前記第一固体撮像素子及び前記第二固体撮像素子は、ハニカム状画素配列からなり、
    前記画像合成部は、互いに縦又は横に１／２画素ずらした合成を遂行して正方画素配列の前記画像データを形成し、
    前記第一固体撮像素子の出力と前記第二固体撮像素子の出力とは同時並列に読み出されて前記画像合成部へ入力される
    ことを特徴とする二板式白黒撮像装置。
11. 入射光を第一の入射光と第二の入射光とに分離するハーフミラーと、
    前記ハーフミラーによって分離された前記第一の入射光を受光してその光量に応じた第一の受光信号を出力する第一固体撮像素子と、
    前記ハーフミラーによって分離された前記第二の入射光を受光してその光量に応じた第二の受光信号を出力する第二固体撮像素子と、
    前記第一固体撮像素子の出力と前記第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、
    前記第一固体撮像素子及び前記第二固体撮像素子は、正方画素配列からなり、
    前記画像合成部は、互いに斜めに１／２画素ずらした合成を遂行してハニカム状画素配列の前記画像データを形成する二板式白黒撮像装置の画像処理方法において、
    前記第一固体撮像素子から前記第一の受光信号を取得すると同時並列に、前記第二固体撮像素子から前記第二の受光信号を取得する読み出し工程と、
    前記読み出した各信号を、前記第一の受光信号と、前記第二の受光信号と、で互いに斜めに１／２画素分ずらしてハニカム状画素配列の一枚の画像データとして合成する工程と、
    前記合成した画像データについて、ハニカム状画素配列の画素補間処理を遂行する工程と、を有する
    ことを特徴とする二板式白黒撮像装置の画像処理方法。
12. 入射光を第一の入射光と第二の入射光とに分離するハーフミラーと、
    前記ハーフミラーによって分離された前記第一の入射光を受光してその光量に応じた第一の受光信号を出力する第一固体撮像素子と、
    前記ハーフミラーによって分離された前記第二の入射光を受光してその光量に応じた第二の受光信号を出力する第二固体撮像素子と、
    前記第一固体撮像素子の出力と前記第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、
    前記第一固体撮像素子及び前記第二固体撮像素子は、ハニカム状画素配列からなり、
    前記画像合成部は、互いに縦又は横に１／２画素ずらした合成を遂行して正方画素配列の前記画像データを形成する二板式白黒撮像装置の画像処理方法において、
    前記第一固体撮像素子から前記第一の受光信号を取得すると同時並列に、前記第二固体撮像素子から前記第二の受光信号を取得する読み出し工程と、
    前記読み出した各信号を、前記第一の受光信号と、前記第二の受光信号と、で互いに縦または横に１／２画素分ずらして正方画素配列の一枚の画像データとして合成する工程と、
    前記合成した画像データについて、正方画素配列の画素補間処理を遂行する工程と、を有する
    ことを特徴とする二板式白黒撮像装置の画像処理方法。
13. 入射光をＧ色と、Ｒ色及びＢ色と、で異なる二方向に分離するプリズムによって分離された前記Ｒ色及びＢ色の光を受光してＲ色の光量に応じた赤色信号とＢ色の光量に応じた青色信号とを出力するように、前記Ｒ色を受光するＲ色画素と前記Ｂ色を受光するＢ色画素とを備える第一撮像板と、
    前記プリズムによって分離された前記Ｇ色の光を受光してＧ色の光量に応じた緑色信号を出力するＧ色画素を備える第二撮像板と、を備え、
    前記第一撮像板と前記第二撮像板とは、共にハニカム画素配列であるか、または共に正方画素配列であり、
    共に前記ハニカム画素配列である場合には、前記第一撮像板と前記第二撮像板との各出力信号を互いに縦又は横方向に１／２画素分ずらして重ね合わせる合成を行い、
    共に前記正方画素配列である場合には、前記第一撮像板と前記第二撮像板との各出力信号を互いに斜め方向に１／２画素分ずらして重ね合わせる合成を行い、
    前記第一撮像板の出力信号と前記第二撮像板の出力信号とは同時並列に読み出し処理され、
    前記重ね合わせる合成は、メモリに一方の撮像板の出力信号を書き込み処理する場合にアドレスを一つ空けて一つ置きに書き込み処理した後、他方の撮像板の出力信号を予め一つ置きに空けられたアドレス部分に順次に書き込み処理を遂行することによりなされる
    ことを特徴とする撮像素子。

Images