JP6687276B1

JP6687276B1 - 二板式撮像装置と二板式撮像装置の画像処理方法とその固体撮像素子の位置決め方法

Info

Publication number: JP6687276B1
Application number: JP2019563906A
Authority: JP
Inventors: 冨田光弘
Original assignee: KABUSHIKI KAISYA HOUEI
Current assignee: KABUSHIKI KAISYA HOUEI
Priority date: 2018-09-20
Filing date: 2018-09-20
Publication date: 2020-04-22
Anticipated expiration: 2038-09-20
Also published as: JPWO2020059069A1; WO2020059069A1

Abstract

【課題】カラー撮像装置の高解像度化を図りながら、撮像感度の維持及びフレームレートの維持を実現したカラー撮像装置を提案することを目的とする。【解決手段】入射光をＧ色と、Ｒ色及びＢ色と、で異なる二方向に分離するプリズムと、プリズムによって分離されたＲ色及びＢ色の光を受光してＲ色の光量に応じた赤色信号とＢ色の光量に応じた青色信号とを出力する第一固体撮像素子と、プリズムによって分離されたＧ色の光を受光してＧ色の光量に応じた緑色信号を出力する第二固体撮像素子と、第一固体撮像素子の出力と第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、第一固体撮像素子と第二固体撮像素子とは同一の最大画素数を備えるものであり、合成された画像データは各々の撮像画素数の二倍の解像度の画像データである二板式カラー撮像装置とする。【選択図】図１

Description

本発明は、二板式撮像装置と二板式撮像装置の画像処理方法とその固体撮像素子の位置決め方法に関する。

下記特許文献１には、低コストで小型且つ高感度、高解像度、高画質のカラー画像が撮像できる二板式カラー撮像装置及びデジタルカメラを提供することを目的とし、三原色の入射光を緑色と赤色及び青色とに分離する色分解プリズムと、該色分解プリズムによって分離された前記赤色及び青色の入射光を受光して赤色の光量に応じた赤色信号と青色の光量に応じた青色信号とを出力する第一固体撮像素子と、前記色分解プリズムによって分離された前記緑色の入射光を受光して緑色の光量に応じた緑色信号を出力する第二固体撮像素子とを備える二板式カラー撮像装置において、前記第一固体撮像素子の複数の受光部のうち赤色検出用受光部の上部に赤色の光を透過する補色系の第一カラーフィルタを設け、前記第一固体撮像素子の複数の受光部のうち青色検出用受光部の上部に青色の光を透過する補色系の第二カラーフィルタを設けた二板式カラー撮像装置が開示されている。

また、下記特許文献２及び下記特許文献３には、デジタルカメラ等に用いられるカラー撮像装置として、一個（一枚）の固体撮像素子を用いた単板式のカラー撮像装置と、複数個（複数枚）の固体撮像素子を用いた多板式のカラー撮像装置が開示されている。

単板式のカラー固体撮像素子は、一個の固体撮像素子上にＲＧＢ色等のカラーフィルタを離散的（モザイク状）に配置したもので、コスト面では比較的有利である。一方で、感度や解像度や色再現性の点では比較的劣るものとなる。また、単板式のカラー固体撮像素子では、近年の高画素（微細）化の進展に伴う製造歩留りの低下がクローズアップされており、コストアップの原因となっている。

また、多板式のカラー固体撮像素子として一般的に知られている三板式のカラー撮像装置は、例えば入射光を分光した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）毎に専用の固体撮像素子を使う。従って、解像度や色再現性などの面においては比較的有利であり、比較的容易に高画質化を図ることができる。しかし、複数個の固体撮像素子と大型の色分解プリズムが必須の構成となるので、コスト面において不利であり、カラー撮像装置それ自体の小型化には限界がある。例えば、これをディジタルカメラに搭載した場合には、より小型・軽量なディジタルカメラとすることは困難である。

一方では近年、単板式固体撮像素子のさらなる高画素化に伴う弊害がさらに顕著になってきており、画素の微細化等により、固体撮像素子自体の製造歩留と性能低下が問題となっている。このため、三板式のカラー撮像装置を、比較的低価格のデジタルスチルカメラやカムコーダに適用する検討も進んでいる。

多板式のカラー固体撮像素子を用いれば、高歩留、高性能とできるので、低コスト化に寄与することが期待できる。また、近年の多画素化、すなわち単位画素サイズの微細化が進むにつれ、感度の低下や偽信号、偽色、シェーディングといった画質劣化が懸念されている。

一般に、単板式固体撮像素子を用いてカラー画像を撮影する場合、被写体の色、すなわち撮像系に入射する光の色成分を単一（一枚）の固体撮像素子表面上に二次元アレー状に離散配置した画素毎に、それぞれ異なる色信号（例えば、Ｒ，Ｇ，Ｂ）として検出する必要がある。

そこで、単板式カラー固体撮像素子では各画素の上にカラーフィルタを配置し、固体撮像素子全体では３色あるいは４色のカラーフィルタがモザイク状（特許文献２）あるいはストライプ状に配列することが知られている。

カラーフィルタには、原色系（Ｒ，Ｇ，Ｂ）およびその補色から構成される補色系（Ｙｅ，Ｃｙ，Ｍｇなど）フィルタがある。従来、色再現性を重視する観点から、デジタルカメラ等においては、原色系（Ｒ，Ｇ，Ｂ）カラーフィルタが多く使用されている。これに対して、補色系カラーフィルタ（Ｃｙ，Ｙｅ，Ｍｇなど）は、その色信号成分に２種類の原色成分を含むため（例えば、Ｍｇには青色Ｂと赤色Ｒを含む）、原色系カラーフィルタを使用した場合に比べ、感度は高くなる反面、色分離処理の過程でＳ／Ｎが低下し忠実な色再現が難しい傾向にある。

また、さらなる高精細化に対応して固体撮像素子の撮像解像度を高めるために、一画素あたりのサイズを小さくすることで画素数を増大させると、一画素あたりで受光できる光量が低減することとなる。例えば、解像度を二倍に高めようとして画素の大きさを縦横それぞれ１／２とすれば、一画素の面積が１／４となってしまい、これにより、画素からの信号が１／４と小さくなり暗くなる。仮に画素を小さくせず、撮像有効サイズを大きくすることで高精細化に対応すれば、レンズを含めた光学系も変更する必要が生じるだけではなく、撮像装置全体としても大型化・重量化することとなってしまう。

また、このような大きな撮像サイズと大きな光学系とは、フォーカス調整に困難が伴うことや被写界深度が浅くなってしまう問題があることが知られている。例えば、放送用途等において多用されている動画カメラにおいて、中継撮影でフォーカスが合わない問題が生じることとなる。

また、高精細化を企図して固体撮像素子一枚あたりの画素数を増大させると、撮影フレームレートがこれに反比例して低下する。例えば、解像度を二倍にするために四倍の画素数の固体撮像素子を使用して撮像すれば、フレームレートは１／４になってしまい、６０フレーム／秒のカメラであれば１５フレーム／秒となるので、放送可能なレベルを逸脱してしまうこととなる。さらに、画素サイズを小さくして画素数を増大することで、撮像素子上のトランジスタ配置や配線太さを調整する必要が生じるが、安定動作可能な配線太さを維持する必要性から、このような調整にも限界がある。

また、高精細化と企図して、固体撮像素子の枚数を例えば四枚に増大させる方法を採用すれば、分光プリズム装置等の光学系が大型化し作製に高度な技術を要するだけではなく、周辺回路を四回路設けることとなるので、重量化することが避けられない。このため、特に機動性を要する撮像装置には適さないものとなる。

特開２００５−２６０３１８号公報米国特許第３９７１０６５号公報特開平３−２７４５２３号公報特開２０１６−０６６９８５号公報

撮像装置の高解像度化を図りながら、撮像感度の維持及びフレームレートの維持及び深い被写界深度の維持及び小型・軽量化の実現及び画素サイズの過剰な小型化の回避を実現した、いわばバランスのとれた適切な撮像装置は従来提案されていない。

本発明は、上述の問題点に鑑み為されたものであり、撮像装置の高解像度化を図りながら、撮像感度の維持及びフレームレートの維持を実現した撮像装置を提案することを目的とする。また、本発明は、さらに好ましくは、深い被写界深度の維持及び小型・軽量化の実現及び画素サイズの過剰な小型化の回避を実現したいわばバランスのとれた適切な撮像装置とその固体撮像素子の位置決め方法を提案することを目的とする。

本発明の二板式カラー撮像装置は、入射光をＧ色と、Ｒ色及びＢ色と、で異なる二方向に分離するプリズムと、プリズムによって分離されたＲ色及びＢ色の光を受光してＲ色の光量に応じた赤色信号とＢ色の光量に応じた青色信号とを出力する第一固体撮像素子と、プリズムによって分離されたＧ色の光を受光してＧ色の光量に応じた緑色信号を出力する第二固体撮像素子と、第一固体撮像素子の出力と第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、第一固体撮像素子及び第二固体撮像素子は、正方画素配列からなり、画像合成部は、互いに斜めに１／２画素間隔分ずらした合成を遂行してハニカム状画素配列の画像データを形成し、第一固体撮像素子と第二固体撮像素子とは同一の最大画素数を備えるものであり、第一固体撮像素子の出力と第二固体撮像素子の出力とは最大画素数以下の同一画素数に対応する解像度の画像データであり、合成された画像データは同一画素数の二倍の解像度の画像データであることを特徴とする。

また、本発明の二板式カラー撮像装置は、好ましくは入射光をＧ色と、Ｒ色及びＢ色と、で異なる二方向に分離するプリズムと、プリズムによって分離されたＲ色及びＢ色の光を受光してＲ色の光量に応じた赤色信号とＢ色の光量に応じた青色信号とを出力する第一固体撮像素子と、プリズムによって分離されたＧ色の光を受光してＧ色の光量に応じた緑色信号を出力する第二固体撮像素子と、第一固体撮像素子の出力と第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、第一固体撮像素子及び第二固体撮像素子は、ハニカム状画素配列からなり、画像合成部は、互いに縦又は横に１／２画素間隔分ずらした合成を遂行して正方画素配列の画像データを形成し、第一固体撮像素子と第二固体撮像素子とは同一の最大画素数を備えるものであり、第一固体撮像素子の出力と第二固体撮像素子の出力とは最大画素数以下の同一画素数に対応する解像度の画像データであり、合成された画像データは同一画素数の二倍の解像度の画像データであることを特徴とする。

また、本発明の二板式カラー撮像装置は、さらに好ましくは画像合成部で形成された画像データについて、単板式カラー撮像装置において取得された画像データとして、補間処理を遂行することを特徴とする。

また、本発明の二板式カラー撮像装置は、さらに好ましくは第一固体撮像素子の赤色信号を出力するＲ画素は赤色のカラーフィルターを備え、第一固体撮像素子の青色信号を出力するＢ画素は青色のカラーフィルターを備え、第二固体撮像素子の緑色信号を出力するＧ画素はカラーフィルターを備えないことを特徴とする。

また、本発明の二板式カラー撮像装置は、さらに好ましくは第一固体撮像素子におけるＲ画素とＢ画素とは同数であり、第二固体撮像素子におけるＧ画素の数は、Ｒ画素またはＢ画素の数の二倍であることを特徴とする。

また、本発明の二板式カラー撮像装置は、第一及び第二固体撮像素子が正方画素配列の場合には、縦横いずれの方向においてもＲ画素とＢ画素とが交互に配置され、第一及び第二固体撮像素子がハニカム状画素配列の場合には、斜め方向においてＲ画素とＢ画素とが交互に配置されることを特徴とする。

また、本発明の二板式カラー撮像装置の画像処理方法は、上述の二板式カラー撮像装置の画像処理方法において、第一固体撮像素子から赤色信号及び青色信号を取得すると同時並列に、第二固体撮像素子から緑色信号を取得する読み出し工程と、読み出した各信号を、赤色信号及び青色信号と、緑色信号と、で互いに斜めに１／２画素間隔分ずらしてハニカム状画素配列の一枚の画像データとして合成する工程と、合成した画像データについて、ハニカム状画素配列の画素補間処理を遂行する工程と、を有することを特徴とする。

また、本発明の二板式カラー撮像装置の画像処理方法は、上述の二板式カラー撮像装置の画像処理方法において、第一固体撮像素子から赤色信号及び青色信号を取得すると同時並列に、第二固体撮像素子から緑色信号を取得する読み出し工程と、読み出した各信号を、赤色信号及び青色信号と、緑色信号と、で互いに縦または横に１／２画素間隔分ずらして正方画素配列の一枚の画像データとして合成する工程と、合成した画像データについて、正方画素配列の画素補間処理を遂行する工程と、を有することを特徴とする。また、本発明の二板式白黒撮像装置は、入射光を第一の入射光と第二の入射光とに分離するハーフミラーと、ハーフミラーによって分離された第一の入射光を受光してその光量に応じた第一の受光信号を出力する第一固体撮像素子と、ハーフミラーによって分離された第二の入射光を受光してその光量に応じた第二の受光信号を出力する第二固体撮像素子と、第一固体撮像素子の出力と第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、第一固体撮像素子及び第二固体撮像素子は、正方画素配列からなり、画像合成部は、互いに斜めに１／２画素間隔分ずらした合成を遂行してハニカム状画素配列の画像データを形成することを特徴とする。

また、本発明の二板式白黒撮像装置は、入射光を第一の入射光と第二の入射光とに分離するハーフミラーと、ハーフミラーによって分離された第一の入射光を受光してその光量に応じた第一の受光信号を出力する第一固体撮像素子と、ハーフミラーによって分離された第二の入射光を受光してその光量に応じた第二の受光信号を出力する第二固体撮像素子と、第一固体撮像素子の出力と第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、第一固体撮像素子及び前記第二固体撮像素子は、ハニカム状画素配列からなり、画像合成部は、互いに縦又は横に１／２画素間隔分ずらした合成を遂行して正方画素配列の前記画像データを形成し、第一固体撮像素子と第二固体撮像素子とは同一の最大画素数を備えるものであり、第一固体撮像素子の出力と第二固体撮像素子の出力とは最大画素数以下の同一画素数に対応する解像度の画像データであり、合成された画像データは同一画素数の二倍の解像度の画像データであることを特徴とする二板式白黒撮像装置。

本発明の固体撮像素子の位置決め方法は、上述に記載の二板式撮像装置における二枚の固体撮像素子の位置決め方法において、ストライプを有するチャートを撮影しながら、いずれか一方の固体撮像素子の配置を該固体撮像素子のみの出力として第一状態が表示されるように位置決めする工程と、他方の固体撮像素子の配置を該他方の固体撮像素子のみの出力として第二状態が表示されるように位置決めする工程と、を有し、前記第一状態とは前記ストライプが表示される状態かストライプが表示されない状態かのいずれか一方の状態であり、前記第二状態は他方の状態であることを特徴とする。

固体撮像素装置の高解像度化を図りながら、撮像感度の維持及びフレームレートの維持を実現したカラーまたは白黒撮像装置を提案できる。また、深い被写界深度の維持及び小型・軽量化の実現及び画素サイズの過剰な小型化の回避を実現したいわばバランスのとれた適切なカラーまたは白黒撮像装置とその固体撮像素子の位置決め方法を提案できる。

（Ａ）は本実施形態の分光プリズム１０４０及び第一固体撮像素子１０１０と第二固体撮像素子１０２０とを備える撮像系１０００を説明する図であり、図１（Ｂ）は正方画素配列の第一固体撮像素子１０１０を説明する概念図であり、図１（Ｃ）は正方画素配列の第二固体撮像素子１０２０を説明する概念図であり、図１（Ｄ）はハニカム状画素配列の第一固体撮像素子１０１０を説明する概念図であり、図１（Ｅ）はハニカム状画素配列の第二固体撮像素子１０２０を説明する概念図である。（Ａ）は、ハニカム画素配列構造を有するＡ，Ｂ二つの撮像素子の画像データを合成して一つの正方画素配列構造の画像データを合成する概要を説明する概念図であり、図２（Ｂ）は、Ｒ色画素及びＢ色画素を有するハニカム画素配列構造の第一固体撮像素子の画像データとＧ色画素を有するハニカム画素配列構造の第二固体撮像素子の画像データとを合成して、Ｒ，Ｇ，Ｂ色を有する正方画素配列構造の単板式固体撮像素子の画像データとする概要を説明する概念図である。（Ａ）は、正方画素配列構造を有するＡ，Ｂ二つの撮像素子の画像データを合成して一つのハニカム画素配列構造の画像データを合成する概要を説明する概念図であり、図３（Ｂ）は、Ｒ色画素及びＢ色画素を有する正方画素配列構造の第一固体撮像素子の画像データとＧ色画素を有する正方画素配列構造の第二固体撮像素子の画像データとを合成して、Ｒ，Ｇ，Ｂ色を有するハニカム画素配列構造の単板式固体撮像素子の画像データとする概要を説明する概念図である。（Ａ）は第二固体撮像素子の構成例を説明する図であり、図４（Ｂ）は第一固体撮像素子の構成例を説明する図であり、図４（Ｃ）は図４（Ａ）の第二固体撮像素子と図４（Ｂ）の第一固体撮像素子とから取得される合成画素の概念を説明する図であり、図４（Ｄ）は図４（Ｃ）に示す合成画素を単板式で実現しようとした場合の固体撮像素子を説明する図である。本実施形態の一例であるハニカム画素配列の固体撮像素子の画素配置パターンを説明する図であり、図５（Ａ）がＲ色とＢ色とを受光する第一固体撮像素子の画素配置パターンの一例を説明する図であり、図５（Ｂ）がＧ色を受光する第二固体撮像素子の画素配置パターンを説明する図であり、図５（Ｃ）がＧ色を受光する第二固体撮像素子の他の画素配置パターンを説明する図である。本実施形態の一例である正方画素配列の固体撮像素子の画素配置パターンを説明する図であり、図６（Ａ）がＲ色とＢ色とを受光する第一固体撮像素子の画素配置パターンの一例を説明する図であり、図６（Ｂ）がＧ色を受光する第二固体撮像素子の画素配置パターンを説明する図であり、図６（Ｃ）がＧ色を受光する第二固体撮像素子の他の画素配置パターンを説明する図である。ストライプ模様のチャートを利用して第一個体撮像素子と第二の固体撮像素子との計二枚の撮像素子をプリズムの異なる光出射口に位置決め配置する概要を説明する概念図である。二枚の撮像素子のそれぞれの解像度と合成の結果得られる画像の解像度との関係を説明する概念図である。

本実施形態では、高解像度化を実現しつつ感度とフレームレートの低下とを回避する撮像装置の技術思想を開示する。すなわち、二枚の撮像素子から得られた画像を組み合わせて単板式で得られる画像と同様の画像を合成することにより、その後の内挿補間等の画像処理を簡単に行うものである。

本実施形態の撮像装置のレンズを介して入射された入射光は、赤色光及び青色光と、緑色光とにプリズムで二分光されて、二枚の固体撮像素子に各々像を結ぶ。各固体撮像素子で得られた画像データは、縦横または斜めに１／２画素間隔分ずらして合成されて単一の画像を形成する。このため、本実施形態の撮像装置は、二枚の画像データを合成して単一画像を作成する画像合成部を備える。

画像合成部で合成された画像データは、単板撮像素子として一般的なハニカム画素配列または正方画素配列から取得された一の画像データとして扱うことが可能となるので、その後の内挿補間等の画像処理が遂行できるものとなる。

高解像度化にあたり、撮像素子一枚あたりの画素数を増大させるものではなく画素が微細化されていないため、画素一個当たりの占有面積が変わらないので、感度は従来どおり維持される。仮に、高解像度化にあたって画素を微細化して画素数を増大させたとすれば、一画素当たりの受光面積が低減するので、感度の低下を招来するものとなる。また、高解像度化を企図して仮に、撮像素子一枚あたりの画素数を増大させると、該撮像素子から画像データを読み出すのに時間がかかることとなり、フレームレートの低下を招来する。

本実施形態においては、高解像度化にあたり、撮像素子一枚あたりの微細化による画素数増大をするのではなく、撮像素子の枚数そのものを二枚にすることにより、感度の低下やフレームレートの低下を生じることなく、高解像度化を実現する。

また、緑色を受光する撮像素子の画素は無色の撮像素子であってよく、赤色と青色を受光する撮像素子の画素は、それぞれ赤色フィルターと青色フィルターとを備えるものとする。この二枚の撮像素子でそれぞれ得られた画像データを組み合わせてハニカム画素配列構造または正方画素配列構造を構成する。ＲＧＢの三原色を二枚の撮像素子で受光するため、効率的であり三枚の撮像素子を用いる方法に比較して比較的簡易な回路構成で迅速な処理が可能となる。

二つの撮像素子で得られた画像データをそれぞれ読み出してメモリに記憶し、一枚の画像へと合成する処理を行う。例えば、一方の撮像素子で得られた画像データに対して、１／２画素間隔分だけ縦または横または斜め方向にずらした位置に、他方の画像データが配置されるように、合成することにより、ハニカム画素配列構造または正方画素配列構造を有する一枚の画像（及び画像データ）が得られる。

例えば、一方の撮像素子で得られた画像データをメモリに書き込む場合に、一画素間隔で書き込み場所を空けておくアドレス番地指定をして書き込む。次に、他方の撮像素子で得られた画像データをメモリに書き込む場合に、予め一画素間隔で空けておかれた場所に書き込んでいく単純な書き込み動作により、実現できる。このようにしてメモリに記録された画像データは、より高解像度（例えば、画素数では二倍）の単板式撮像素子から順次読み出した画像データをメモリに記録した画像データと、同様の画像データとなるので、その後の補間処理等は従来の単板式撮像装置と同一の処理回路で遂行することが可能である。

メモリから画像データを読み出す場合には、先頭アドレスから順番に読み出すことで、単板カメラと同様の画像データが得られるものとなるので、その後の画像処理を極めて簡便に遂行できる。このため、一般的な単板式カメラと同様に、ＲＧＢの色により内挿補間する一般的なコンボリューション処理を遂行し、ＲＧＢの三枚の映像データを作成することもできる。

図１（Ａ）は本実施形態の分光プリズム１０４０及び第一固体撮像素子１０１０と第二固体撮像素子１０２０とを備える撮像系１０００を説明する図であり、図１（Ｂ）は正方画素配列の第一固体撮像素子１０１０を説明する概念図である。また、図１（Ｃ）は正方画素配列の第二固体撮像素子１０２０を説明する概念図であり、図１（Ｄ）はハニカム状画素配列の第一固体撮像素子１０１０を説明する概念図であり、図１（Ｅ）はハニカム状画素配列の第二固体撮像素子１０２０を説明する概念図である。

図１（Ａ）に示すように、本実施形態においては、不図示のレンズを介して取得された入射光１０３０は分光プリズム１０４０でＲ色１０３２及びＢ色１０３３と、Ｇ色１０３１とに分光して出力される。Ｒ色１０３２及びＢ色１０３３は第一固体撮像素子１０１０で受光され、Ｇ色１０３１は第二固体撮像素子１０２０で受光される。

このため、第一固体撮像素子１０１０は、各画素の光入射側にＲ色フィルターまたはＢ色フィルターとが設けられる。一方、第二固体撮像素子１０２０はＧ色１０３１のみが入射されるため、色フィルターを別途に備える必要はなく無色フィルター若しくはフィルター無しの構成とすることができる。

また、図１（Ｂ）乃至図１（Ｅ）に説明するように、第一固体撮像素子１０１０と第二固体撮像素子１０２０とは、共に正方画素配列構造であってもよいし共にハニカム画素配列構造であってもよいが、同一の画素配列構造であるものとする。すなわち、第一固体撮像素子１０１０と第二固体撮像素子１０２０とが正方画素配列構造である場合には、各取得画像を合成した結果はハニカム画素配列となる。また、第一固体撮像素子１０１０と第二固体撮像素子１０２０とがハニカム画素配列構造である場合には、各取得画像を合成した結果は正方画素配列となる。

このため、同一の画素配列構造を有する第一固体撮像素子１０１０と第二固体撮像素子１０２０とは、異なる他方の画素配列構造となる合成画像データについて、内挿補間処理等の各種画像処理をするための処理回路を備える撮像装置となる。換言すれば、第一固体撮像素子１０１０と第二固体撮像素子１０２０とが現実に有する画素配列構造と、画像処理回路が処理対象とする合成画像データの処理可能な画素配列構造とは、互いに相異なるものとなる。ここで、画像処理回路や画像処理方法については、従来公知の単板式撮像装置等で用いられている、一般的な画像処理回路や画像処理方法を用いることができるので、ここでは詳述をしない。

また、図２（Ａ）は、ハニカム画素配列構造を有するＡ，Ｂ二つの撮像素子の画像データを合成して一つの正方画素配列構造の画像データ（例えば白黒画像データ）を合成する概要を説明する概念図であり、図２（Ｂ）は、Ｒ色画素及びＢ色画素を有するハニカム画素配列構造の第一固体撮像素子１０１０の画像データとＧ色画素を有するハニカム画素配列構造の第二固体撮像素子１０２０の画像データとを合成して、Ｒ，Ｇ，Ｂ色を有する正方画素配列構造の単板式固体撮像素子の画像データとする概要を説明する概念図である。

図２（Ａ）から理解できるように、ハニカム画素配列構造を有する二つの固体撮像素子の各画素を縦または横方向に１／２画素間隔分ずらして重ね合わせると、一枚の正方画素配列構造の固体撮像素子であるかのように合成できる。第一固体撮像素子１０１０と第二固体撮像素子１０２０とは図１に示すようにそれぞれ分光プリズムの異なる光出射口に配置されており、固体撮像素子それ自体を物理的に重ね合わせることはできないので、本実施形態においては、メモリへの書き込み時に合成処理を遂行する。

すなわち、図２（Ｂ）に示すように、第一固体撮像素子１０１０から読み出されたＲ信号及びＢ信号を順次にメモリに書き込む場合に、アドレスを一つ空けて一つ置きに書き込み処理を遂行する。次に、第二固体撮像素子１０２０から読み出されたＧ信号を順次に同一メモリに書き込む場合に、予め一つ置きに空けられているアドレス部分に順次書き込み処理を遂行する。このようにして書き込み処理されたメモリは、正方画素配列の固体撮像素子を有する図２（Ｂ）下段に示すような単板式のＲＧＢ固体撮像素子から順次に読み出した画素データをあたかも順次にメモリに書き込んだ画像データとなる。

したがって、図２（Ｂ）下段に示す撮像素子から取得された画像データのように記録された当該メモリから順次に読み出された画像データは、正方画素配列の固体撮像素子を有する単板式のＲＧＢ固体撮像素子から順次に読み出した画素データとして、内挿補間処理等の各種画像処理を遂行することができる。このようにして、固体撮像素子一枚当たりの現実の画素数を何ら増大させることなく、実質的にその二倍の高解像度の画像データを取得することが可能となる。このため、固体撮像素子一枚当たりの画素数を増大させた場合に生じる種々のデメリットの影響を受けず、容易かつ簡単な処理で迅速に高解像度化を遂行できるものとなる。

なお、第一固体撮像素子１０１０からＲ信号及びＢ信号を順次に読み出す処理と、第二固体撮像素子１０２０からＧ信号を順次に読み出す処理とは、弱冠の時間差を設けて、ほぼリアルタイムで同時並列的に処理することとできる。第一固体撮像素子１０１０からの読み出し処理が全て完了するまで待って、その後第二の固体撮像素子１０２０から読み出しを開始するのではない。また、読み出した画像データのメモリへの書き込みについても、読み出しが完了した画素データから順次書き込み処理をしていけばよいので、実質的には撮像素子二枚分の読み出し処理と書き込み処理とは同時並列的にリアルタイムで遂行することができる。

また、図３（Ａ）は、正方画素配列構造を有するＡ，Ｂ二つの撮像素子の画像データ（例えば白黒画像データ）を合成して一つのハニカム画素配列構造の画像データを合成する概要を説明する概念図であり、図３（Ｂ）は、Ｒ色画素及びＢ色画素を有する正方画素配列構造の第一固体撮像素子１０１０の画像データとＧ色画素を有する正方画素配列構造の第二固体撮像素子１０２０の画像データとを合成して、Ｒ，Ｇ，Ｂ色を有するハニカム画素配列構造の単板式固体撮像素子の画像データとする概要を説明する概念図である。

図３（Ａ）から理解できるように、正方画素配列構造を有する二つの固体撮像素子の各画素を斜め方向に１／２画素間隔分ずらして重ね合わせると、一枚のハニカム画素配列構造の固体撮像素子であるかのように合成できる。第一固体撮像素子１０１０と第二固体撮像素子１０２０とは図１に示すようにそれぞれ分光プリズムの異なる光出射口に配置されており、固体撮像素子それ自体を物理的に重ね合わせることはできないので、本実施形態においては、メモリへの書き込み時に合成処理を遂行する。

すなわち、図３（Ｂ）に示すように、第一固体撮像素子１０１０から読み出されたＲ信号及びＢ信号を順次にメモリに書き込む場合に、アドレスを斜め方向に１／２画素間隔分ずらしたアドレス位置を空けて書き込み処理を遂行する。次に、第二固体撮像素子１０２０から読み出されたＧ信号を順次に同一メモリに書き込む場合に、予め一つ置きに空けられている１／２画素間隔分斜め方向にずらしたアドレス位置に順次書き込み処理を遂行する。このようにして書き込み処理されたメモリは、ハニカム画素配列の固体撮像素子を有する単板式のＲＧＢ固体撮像素子から順次に読み出した画素データをあたかも順次にメモリに書き込んだ図３（Ｂ）下段に示すような画像データとなる。

したがって、図３（Ｂ）下段に示す撮像素子から取得された画像データのように記録された当該メモリから順次に読み出された画像データは、ハニカム画素配列の固体撮像素子を有する単板式のＲＧＢ固体撮像素子から順次に読み出した画素データとして、内挿補間処理等の各種画像処理を遂行することができる。このようにして、固体撮像素子一枚当たりの現実の画素数を何ら増大させることなく、実質的にその二倍の高解像度の画像データを取得することが可能となる。このため、固体撮像素子一枚当たりの画素数を増大させた場合に生じる種々のデメリットの影響を受けず、容易かつ簡単な処理で迅速に高解像度化を遂行できるものとなる。

なお、第一固体撮像素子１０１０からＲ信号及びＢ信号を順次に読み出す処理と、第二固体撮像素子１０２０からＧ信号を順次に読み出す処理とは、弱冠の時間差を設けて、ほぼリアルタイムで同時並列的に処理することとできる。第一固体撮像素子１０１０からの読み出し処理が全て完了するまで待って、その後第二の固体撮像素子１０２０から読み出しを開始するのではない。また、読み出した画像データのメモリへの書き込みについても、読み出しが完了した画素データから順次書き込み処理をしていけばよいので、実質的には読み出し処理と書き込み処理とは同時並列的にリアルタイムで遂行することができる。また、図１（Ｂ）乃至図１（Ｅ）に示すように、第一固体撮像素子１０１０と第二固体撮像素子１０２０とでは、画素間隔（Ｌ１，Ｌ２）が同一であるものとする。

本発明の二板式カラー撮像装置は、入射光をＧ色と、Ｒ色及びＢ色と、で異なる二方向に分離するプリズムと、プリズムによって分離されたＲ色及びＢ色の光を受光してＲ色の光量に応じた赤色信号とＢ色の光量に応じた青色信号とを出力する第一固体撮像素子と、プリズムによって分離されたＧ色の光を受光してＧ色の光量に応じた緑色信号を出力する第二固体撮像素子と、第一固体撮像素子の出力と第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、第一固体撮像素子及び第二固体撮像素子は、正方画素配列からなり、画像合成部は、互いに斜めに１／２画素間隔分ずらした合成を遂行してハニカム状画素配列の画像データを形成することを特徴とする。

これにより、３板以上の多板式カラー撮像装置に比較して、固体撮像素子（例えば、ＣＭＯＳやＣＣＤ）や処理回路が少なく小型軽量化を実現し、かつ低コストで省電力な撮像装置を実現できる。一方、合成された後のハニカム状画素配列の画像データに対しては、汎用されている単板式カラー撮像装置（ハニカム状画素配列の撮像素子を備えるもの）と同様の、補間処理等の画像処理を遂行できるので、新たな処理回路を開発する必要がない。

高解像度化を低コストで容易に実現しつつ、かつＳ／Ｎ比や感度の低下も招来することなく、二枚の固体撮像素子からリアルタイムで同時並列に画像データを読み出すことで、フレームレートの低下も防止できる。

また、固体撮像素子一枚あたりのそれ自体の大きさは、従来の大きさから変更することなく高精細化できるので、汎用の２／３インチサイズのレンズが使用できるのでコスト面等において有利であり、被写界深度の問題も解消できる。また、３板以上の多板式カラー撮像装置のように複雑な多数の処理回路や調整回路を必要としないので、比較的容易に、解像度の向上と動作の安定性やコストバランスに優れた、高解像度のカメラを実現することができる。

また、本発明の二板式カラー撮像装置は、入射光をＧ色と、Ｒ色及びＢ色と、で異なる二方向に分離するプリズムと、プリズムによって分離されたＲ色及びＢ色の光を受光してＲ色の光量に応じた赤色信号とＢ色の光量に応じた青色信号とを出力する第一固体撮像素子と、プリズムによって分離されたＧ色の光を受光してＧ色の光量に応じた緑色信号を出力する第二固体撮像素子と、第一固体撮像素子の出力と第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列または正方画素配列の画像データを形成する画像合成部と、を備え、第一固体撮像素子及び第二固体撮像素子は、ハニカム状画素配列からなり、画像合成部は、互いに縦又は横に１／２画素間隔分ずらした合成を遂行して正方画素配列の画像データを形成することを特徴とする。

これにより、３板以上の多板式カラー撮像装置に比較して、固体撮像素子（例えば、ＣＭＯＳやＣＣＤ）や処理回路が少なく小型軽量化を実現し、かつ低コストで省電力な撮像装置を実現できる。一方、合成された後の正方画素配列の画像データに対しては、汎用されている単板式カラー撮像装置（正方画素配列の撮像素子を備えるもの）と同様の、補間処理等の画像処理を遂行できるので、新たな処理回路を開発する必要がない。

また、固体撮像素子一枚あたりのそれ自体の大きさは、従来から変更することなく高精細化できるので、汎用の２／３インチサイズのレンズが使用できるのでコスト面等において有利であり、被写界深度の問題も解消できる。また、３板以上の多板式カラー撮像装置のように複雑な複数の処理回路や調整回路を必要としないので、比較的容易に、解像度の向上と動作の安定性やコストバランスに優れた、高解像度のカメラを実現することができる。

また、本発明の二板式カラー撮像装置は、好ましくは画像合成部で形成された画像データについて、単板式カラー撮像装置において取得された画像データとして、補間処理を遂行することを特徴とする。

画像合成部（メモリを含む）で形成された画像データは、従来汎用されている単板式カラー撮像装置において取得された画像データと、高解像度化されているか否かの点を除いて、何ら変わるものではない。

このため、補間処理を遂行する場合においても、新たな処理回路を開発することなく、従来の単板式の汎用補間処理回路をそのまま使用することができる。これは、新たな処理回路の開発期間や開発費用の観点からは、コスト面や製品リリースタイミング等において極めて有利である。

さらに、単板式の撮像素子それ自体を高解像化した場合に生じるＳ／Ｎ比の劣化や信号強度の低下（暗くなる現象）や画像データ読み出し時間の長時間化（フレームレートの低減）問題等は一切生じることがないので好ましい。

Ｒ色を検出する赤色画素は赤色フィルターを備え、Ｂ色を検出する青色画素は青色フィルターを備えるが、Ｇ色を検出する緑色画素は無色のフィルターを備えるかまたはフィルターそれ自体を備える必要がないので、好ましい。

また、上述のようにＲＧＢの三原色の画像データを取得して処理してもよいし、補色系カラーフィルタによりこれに対応する画像データを取得して処理してもよい。この場合においても、二板式で取得した二つのデータを合成することで、その後単板式と同様の処理が可能となるので好ましい。

これにより、人の目に感度が高い緑色のデータについて、特に高精細で取得することが可能となるので、近年のいわゆる４Ｋや８Ｋ，６４Ｋ，１２８Ｋといった高微細化画像にもより適合する画像取得が可能となる。

また、本発明の二板式カラー撮像装置は、さらに好ましくは第一及び第二固体撮像素子が正方画素配列の場合には、縦横いずれの方向においてもＲ画素とＢ画素とが交互に配置され、第一及び第二固体撮像素子がハニカム状画素配列の場合には、斜め方向においてＲ画素とＢ画素とが交互に配置されることを特徴とする。

これにより、固体撮像素子の画素配列の如何にかかわらず、適切な合成処理が可能な二板式カラー撮像装置を実現できる。

また、本発明の二板式カラー撮像装置の画像処理方法は、第一固体撮像素子から赤色信号及び青色信号を取得すると同時並列に、第二固体撮像素子から緑色信号を取得する読み出し工程と、読み出した各信号を、赤色信号及び青色信号と、緑色信号と、で互いに斜めに１／２画素間隔分ずらしてハニカム状画素配列の一枚の画像データとして合成する工程と、合成した画像データについて、ハニカム状画素配列の画素補間処理を遂行する工程と、を有することを特徴とする。

これにより、フレームレートの遅延を招来することなく、従来の正方画素配列の撮像素子を採用した単板式カラー撮像装置と同程度の処理速度を維持しつつ、高解像度化のみを実現することが可能となる。

また、本発明の二板式カラー撮像装置の画像処理方法は、第一固体撮像素子から赤色信号及び青色信号を取得すると同時並列に、第二固体撮像素子から緑色信号を取得する読み出し工程と、読み出した各信号を、赤色信号及び青色信号と、緑色信号と、で互いに縦または横に１／２画素間隔分ずらして正方画素配列の一枚の画像データとして合成する工程と、合成した画像データについて、正方画素配列の画素補間処理を遂行する工程と、を有することを特徴とする。

これにより、フレームレートの遅延を招来することなく、従来のハニカム状画素配列の撮像素子を採用した単板式カラー撮像装置と同程度の処理速度を維持しつつ、高解像度化のみを実現することが可能となる。

（二枚の撮像素子及びそれらの画素の配置パターン）
本発明の第一の観点は、高解像度化を行い感度とフレームレートを維持する技術であり、本発明の特徴とするところは、二枚の撮像素子をプリズムを用いて固定し、プリズムに入射する光学像を二枚の撮像素子で撮像することである。レンズを通過した光の像は、プリズムを通過しＧ色と他のＲ色及びＢ色で２方向へ分光される。前プリズム装置の二枚の撮像素子で撮像する方法は、入射する光学像を公知の単板のハニカム又はベイヤーの画素配列を想定したＲＧＢのＧ色とＲ色及びＢ色を個々に二枚の撮像素子で撮像する事である。一枚はＧ色であり二枚目はＲ色及びＢ色を撮像する。この時ハニカム及びベイヤー配列画素（正方画素配列の画素）のＧ色とＲ色及びＢ色で既に説明した図のような画素の関係があり、ハニカム配列の場合はＧ色だけの画素に対し、他のＲ色とＢ色の画素は斜め方向にＧ色画素とＧ色画素の間に位置する。斜め１／２の画素になる。ベイヤー配列の場合はＧ色だけの画素に対し上下または左右方向でＧ色画素とＧ色画素の間に位置する。二枚の撮像素子をこのＧ色とＲ色及びＢ色の位置関係に空間的にプリズムで固定することで、ハニカム配列及びベイヤー配列の画素の色の空間的情報を取得する事ができる。この時ハニカム配列を想定した画素を取得する場合は二枚の正方画素の撮像素子を使う事になり、またベイヤー配列を想定した画素を取得する場合は二枚のハニカム構造の撮像素子を使うことで成立する。

二枚の撮像素子から取得された画素データは、本実施形態のメモリに記録完了された時点で、一枚の撮像素子（前記二枚の撮像素子の画素数合計に対応する画素数のもの）から取得された画素データをメモリに記録したメモリと、同等に扱えるものとなる。この場合でも、既に上述したように、各画素面積は、一枚の撮像素子で実現した単板式よりも大きく確保することが可能となるので、メモリに記録された各画素データも明るく高感度なデータとなっている。

このため、本実施形態で使用する二枚の撮像素子は、典型的には図２（Ｂ）下段に示す正方画素配列の一枚の撮像素子を画素配列はそのままで分離構成した、図２（Ｂ）上段に示すハニカム画素配列のＲ＆Ｂ画素の第一固体撮像素子と、Ｇ画素の第二固体撮像素子と、することができる。但し、分離後の画素１個あたりの面積は二倍とすることが、撮像素子の面積を有効に活用して受光量を確保する観点から好ましい。

また、本実施形態で使用する二枚の撮像素子は、典型的には図３（Ｂ）下段に示すハニカム画素配列の一枚の撮像素子を画素配列はそのままで分離構成した、図３（Ｂ）上段に示す正方画素配列のＲ＆Ｂ画素の第一固体撮像素子と、Ｇ画素の第二固体撮像素子と、することができる。但し、分離後の画素１個あたりの面積は二倍とすることが、撮像素子の面積を有効に活用して受光量を確保する観点から好ましい。

また、第一の固体撮像素子と第二の固体撮像素子とを、例えば共に正方画素配列の同一画素パターンの撮像素子とする場合（例えば、図３（Ｂ）上段）には、斜め１／２画素間隔分だけ互いにずらした配置に固定することとしてもよい。

また、第一の固体撮像素子と第二の固体撮像素子とを、例えば共にハニカム画素配列の同一画素パターンの撮像素子とする場合（例えば、図２（Ｂ）上段）には、縦または横に１／２画素間隔分だけ互いにずらした配置に固定することとしてもよい。

また、上述した実施例においては、カラー撮像素子を二枚用いた典型例を例示して説明したが、白黒撮像素子を二枚用いる場合においても同様に実施することができる。この場合には、分光プリズムの代わりに例えばハーフミラーのような分光装置を用いて入射光を二分してもよい。第一の撮像素子と第二の撮像素子とを共に、白黒受光画素で構成することができる。

白黒画素の二枚の撮像素子を用いた場合においても、撮像素子一枚で該二枚分の画素数を実現するよりも、一画素あたりの画素面積を大きく確保することが可能となり、高解像度としつつ同時に感度の低下を防ぐことが可能となる。さらに、撮像素子一枚あたりの画素数は、撮像素子一枚で該二枚分の画素数を実現したものに比較して、約半分であるので、読み出し時にフレームレートの低減を将来することもない。

また、図２（Ａ）に示したハニカム画素配列から正方画素配列を構成する技術思想と、図３（Ａ）に示した正方画素配列からハニカム画素配列を構成する技術思想と、は共に、白黒画素の説明をするものである。すなわち、Ａで示した白黒画素を有する第一撮像素子とＢで示した白黒画素を有する第二撮像素子とから、これらの画素データをメモリに書き込み完了した時点でＡ画素とＢ画素とを有する単板の撮像素子から取得された画素データと同等に扱えるものとする技術思想を開示するものである。

ここで、図４（Ａ）は第二固体撮像素子の構成例の一部を説明する図であり、図４（Ｂ）は第一固体撮像素子の構成例の一部を説明する図である。また、図４（Ｃ）は図４（Ａ）の第二固体撮像素子と図４（Ｂ）の第一固体撮像素子とから取得される合成画素の一部の概念を説明する図であり、図４（Ｄ）は図４（Ｃ）に示す合成画素を単板式で実現しようとした場合の固体撮像素子の一部を説明する図である。

図４（Ａ）に示すように、Ｇ色画素４１０の周囲には、当該画素データを外部に出力するための配線４２０，４３０等が配置されている。また、図４（Ｂ）に示すように、Ｒ色画素４８０の周囲には、当該画素データを外部に出力するための配線４４０，４５０，４６０，４７０，４８０が配置されている。

しかし、図４（Ｃ）に示す合成画素においては、四つのＧ色画素４１０に囲まれた中心にＲ色画素４８０を配置したかのような画素配置に対応する画素データが取得できるものとなる。この場合に、当該合成はメモリへの書き込み時に電子データ上で構成されることから、現実の配線４２０，４３０，４４０，４５０，４６０，４７０，４８０の配置スペースに起因する何らの制限を受けることはない。従って、図４（Ａ），図４（Ｂ）に示すように、Ｇ色画素４１０の受光面積とＲ色画素４８０の受光面積とは、極めて大きく確保することが可能である。

一方、図４（Ｄ）から理解できるように、図４（Ｃ）に示す画素配置パターンを現実の単板固体撮像素子で実現しようとすれば、各画素それぞれの周囲に配線パターンを設けるスペースを確保しなければならない。このため、図４（Ｄ）に示すように、各画素の受光面積は配線パターンスペースに対応して小さな面積とならざるを得ないものとなる。

また、図５は本実施形態の一例であるハニカム画素配列の固体撮像素子の画素配置パターンを説明する図である。図５（Ａ）がＲ色とＢ色とを受光する第一固体撮像素子の画素配置パターンの一例を説明する図であり、図５（Ｂ）がＧ色を受光する第二固体撮像素子の画素配置パターンを説明する図であり、図５（Ｃ）がＧ色を受光する第二固体撮像素子の他の画素配置パターンを説明する図である。

図５（Ａ）において、例えば左上方のＲ画素は撮像素子のエッジから間隔ｌを空けて配置されることができ、次のＲ画素まで横方向縦方向ともに間隔Ｔだけ空けて配置されることができる。また、図５（Ｂ）において、例えば左上方のＧ画素は撮像素子のエッジか間隔ｌを空けて配置されることができ、次のＧ画素まで横方向縦方向ともに間隔Ｔだけ空けて配置されることができる。

固体撮像素子の量産効果の観点からは、図５（Ａ）や図５（Ｂ）に説明する同一画素配置パターンの撮像素子を一枚の基板上に複数個作製することが好ましい。そして、カラーフィルターの作製工程において、Ｒ色及びＢ色用のカラーフィルターを形成するか、カラーフィルターを形成しないか又は無色のカラーフィルターとするか、のいずれかを適宜選択することで、第一の固体撮像素子とするか、第二の固体撮像素子とするかを選択作製することができる。

一方、図５（Ｃ）に説明するように、左上のＧ色画素を撮像素子のエッジから例えば横方向に「ｌ＋（Ｔ／２）」だけ離間させ、縦方向に「ｌ」だけ離間させ、次のＧ画素まで横方向縦方向ともに間隔Ｔだけ空けて配置してもよい。この場合には、画素の配置それ自体が撮像素子の本体（ボディ）に対して第一撮像素子と第二撮像素子とで既に１／２画素間隔分ずれているので、プリズムに配置する場合に撮像素子を両者同様に配置することができる。

これに対し、図５（Ａ）に示す第一固体撮像素子と、図５（Ｂ）に示す第二固体撮像素子とを用いる場合には、プリズムに配置する場合に、「Ｔ／２」分だけ横方向または縦方向にずらして配置することで、より精確に対応する画素データを取得して合成できるものとなる。

また、図６は本実施形態の一例である正方画素配列の固体撮像素子の画素配置パターンを説明する図である。図６（Ａ）がＲ色とＢ色とを受光する第一固体撮像素子の画素配置パターンの一例を説明する図であり、図６（Ｂ）がＧ色を受光する第二固体撮像素子の画素配置パターンを説明する図であり、図６（Ｃ）がＧ色を受光する第二固体撮像素子の他の画素配置パターンを説明する図である。

図６（Ａ）において、例えば左上方のＲ画素は撮像素子のエッジから間隔ｌを空けて配置されることができ、次のＢ画素まで横方向縦方向ともに間隔Ｔだけ空けて順次配置されることができる。また、図６（Ｂ）において、例えば左上方のＧ画素は撮像素子のエッジか間隔ｌを空けて配置されることができ、次のＧ画素まで横方向縦方向ともに間隔Ｔだけ空けて配置されることができる。

固体撮像素子の量産効果の観点からは、図６（Ａ）や図６（Ｂ）に説明する同一画素配置パターンの撮像素子を一枚の基板上に複数個作製することが好ましい。そして、カラーフィルターの作製工程において、Ｒ色及びＢ色用のカラーフィルターを形成するか、カラーフィルターを形成しないか又は無色のカラーフィルターとするか、のいずれかを適宜選択することで、第一の固体撮像素子とするか、第二の固体撮像素子とするかを選択作製することができる。

一方、図６（Ｃ）に説明するように、左上のＧ色画素を撮像素子のエッジから例えば横方向に「ｌ＋（Ｔ／２）」だけ離間させ、縦方向にも「ｌ＋（Ｔ／２）」だけ離間させ、次のＧ画素まで横方向縦方向ともに間隔Ｔだけ空けて配置してもよい。この場合には、画素の配置それ自体が撮像素子の本体（ボディ）に対して第一撮像素子と第二撮像素子とで既に１／２画素間隔分ずれているので、プリズムに配置する場合に撮像素子を両者同様に配置することができる。

これに対し、図６（Ａ）に示す第一固体撮像素子と、図６（Ｂ）に示す第二固体撮像素子とを用いる場合には、プリズムに配置する場合に、「Ｔ／２」分だけ横方向及び縦方向にずらして配置する（換言すれば、斜め画素方向に１／２画素間隔分ずらして配置する）ことで、より精確に対応する画素データを取得して合成できるものとなる。

（撮像素子の実装位置調整方法）
図７は、ストライプ模様のチャート７１００を利用して第一個体撮像素子と第二の固体撮像素子との計二枚の撮像素子７２００をプリズムの異なる光出射口に位置決め配置する概要を説明する概念図である。図７（Ａ）では、典型例として調整用チャートの縦線のピッチ配列Ｐが画素配列のピッチＰと一致し、かつ調整用チャートの縦線の幅Ｗが画素幅Ｗと一致するものとして示している。

すなわち、第一撮像素子と第二撮像素子とは本来一つの入射光であってプリズムで分光された各光をそれぞれ受光するものであるが、実装位置がプリズムの互いに異なる光出口となり、かつ画素位置を入力光画像に対して互いに１／２画素分シフトさせて配置するものとなる。このため、この二枚の撮像素子の入射光に対する相対的な配置位置を精確に決定して実装する必要が生じる。その場合の位置決めには、画素と同じ配置間隔のストライプ模様を有する白黒縦縞模様のチャート７１００を用いて、所定の画素だけ位置をずらすように位置調整をすることができる。図７（Ｂ）は、撮像素子上に結ばれるストライプ像と画素との位置関係に対する表示映像を説明する図である。

例えば、第一撮像素子のみからの出力映像として、縦線ストライプが図７（ｂ−１）に示すように最も明確に表示される位置に第一撮像素子を固定した場合には、第二撮像素子のみからの出力映像が縦線ストライプが図７（ｂ−２）に示すように消える位置に第二撮像素子を位置合わせして、第一撮像素子と第二撮像素子との左右の相対的な配置関係を決定することができる。上下方向の相対的配置についても横縞のストライプチャートを用いて同様にして相対的な位置合わせを行うことができる。また、図７（ｂ−２）は、各画素に対してちょうどストライプが半分と何も無い部分が半分となる位置関係である場合に、黒色から薄められた一面グレーとして表示される状態を説明しているものである。

これにより、現実に撮像素子をプリズムに仮配置した状態で、チャートからの入射光を各撮像素子毎にモニター撮影及び表示しながら画面等をリアルタイム観察して各撮像素子の相対的な位置合わせ調整を行うものとなるので、極めて精度良く位置決めをすることができる。また、例えばチャンネル１とチャンネル２とで第一撮像素子と第二撮像素子との各出力映像が切り替わり表示されるようにしてこのような調整作業を行ってもよい。

すなわち、本発明の二板式撮像装置の二枚の固体撮像素子の位置決め方法は、ストライプを有するチャートを撮影しながら、いずれか一方の固体撮像素子の配置を該固体撮像素子のみの出力として第一状態が表示されるようにプリズムからの第一光受光部に位置決めする工程と、他方の固体撮像素子の配置を該他方の固体撮像素子のみの出力として第二状態が表示されるようにプリズムからの第二光受光部に位置決めする工程と、を有し、第一状態とは前記ストライプが表示される状態かストライプが表示されない状態かのいずれか一方の状態であり、前記第二状態は他方の状態であることを特徴とする。

これにより、もともと同一の入射光を二方向に分光してそれぞれ異なる撮像素子で受光する場合においても、各撮像素子を入射光に対して所定量だけ精確にずらして適切に配置することが可能となって、その後二枚の撮像素子の画像出力データの合成処理がスムースかつ適正に可能となるので、あたかも一枚の撮像素子から取得された画像データであるかのように処理できるものとなる。

（撮像素子一枚の解像度の二倍相当の解像度を有する画像を得られる）
図８は、二枚の撮像素子７０１０，７０２０のそれぞれの解像度と合成の結果得られる画像の解像度との関係を説明する概念図である。図８（Ａ）に示すように、第一固体撮像素子７０１０と第二固体撮像素子７０２０とを共に８Ｋの解像度特性を有する素子を用いる場合には、合成された後には１６Ｋの解像度を有する画像が得られる。この場合に、例えば１６Ｋの解像度を有する撮像素子から画像データを読み出す場合のフレームレートが一般に１５０ｆｐｓであるとすれば、本実施形態では第一固体撮像素子７０１０と第二固体撮像素子７０２０とをパラレルに略同時進行で読み出すことができ、かつ、それぞれの解像度は８Ｋでよいので３００ｆｐｓの読み出し速度が維持できるものとなる。すなわち、１６Ｋの画像を獲得する場合には従来１５０ｆｐｓであったものが３００ｆｐｓとなる。

また、図８（Ｂ）に示すように、第一固体撮像素子７０１０と第二固体撮像素子７０２０とを共に８Ｋの解像度特性を有する素子を用いてそのうち４Ｋ分ずつを用いる場合には、合成された後には８Ｋの解像度を有する画像が得られる。この場合に、例えば８Ｋの解像度を有する撮像素子から画像データを読み出す場合のフレームレートが一般に３００ｆｐｓであるとすれば、本実施形態では第一固体撮像素子７０１０と第二固体撮像素子７０２０とをパラレルに略同時進行で読み出すことができ、かつ、それぞれの読み出し分の解像度は４Ｋであるため６００ｆｐｓ以上の読み出し速度が維持できるものとなる。すなわち、８Ｋの画像を獲得する場合には従来３００ｆｐｓであったものが６００ｆｐｓ以上となる。

また、図８（Ｃ）に示すように、第一固体撮像素子７０１０と第二固体撮像素子７０２０とを共に８Ｋの解像度特性を有する素子を用いてそのうち２Ｋ分ずつを用いる場合には、合成された後には４Ｋの解像度を有する画像が得られる。この場合に、例えば４Ｋの解像度を有する撮像素子から画像データを読み出す場合のフレームレートが一般に６００ｆｐｓであるとすれば、本実施形態では第一固体撮像素子７０１０と第二固体撮像素子７０２０とをパラレルに略同時進行で読み出すことができ、かつ、それぞれの読み出し分の解像度は２Ｋであるため１２００ｆｐｓ以上の読み出し速度が維持できるものとなる。すなわち、４Ｋの画像を獲得する場合には従来６００ｆｐｓであったものが１２００ｆｐｓ以上となる。

また、他の実施態様として、例えば２Ｋの撮像素子を二枚用いれば４Ｋの画像を得ることができ、４Ｋの撮像素子を二枚用いれば８Ｋの画像を得ることもできる。換言すれば、８Ｋの画像を得る場合には４Ｋの撮像素子を二枚使用し、４Ｋの画像を得る場合には２Ｋの撮像素子を二枚使用する。その場合、画像データ読み出しはそれぞれの撮像素子において同時並行で行うことができるので、４Ｋ，８Ｋの画像を得る場合にはそれぞれ２Ｋ，４Ｋの撮像素子からの読み出し所要時間で済み、迅速な処理が可能であり、従来の４Ｋ画像、８Ｋ画像を得る場合に比べて半分の時間で読み出し処理できる。すなわち、解像度がＡ（Ａは任意の正の実数）の撮像素子を用いれば、２Ａの解像度の画像を迅速に得ることができる。

また、従来のように画素を高密度化して高解像度化を図る場合には、撮像素子からのデータ読み出し用の出力ピン（端子電極）の配置・配線も高密度化されるものとなって、画素周辺や素子周辺の配線等も過度に緻密化・精細化される傾向にあったが、本実施形態に基づけば、求める解像度に対して半分の画素密度で良いのでそのような懸念も生じない。

また、８Ｋの画像を得る場合には４Ｋ６００ｆｐｓのスピードで実現でき、４Ｋの画像を得る場合には２Ｋ１２００ｆｐｓのスピードで実現でき、２Ｋの画像を得る場合には１Ｋ２４００ｆｐｓのスピード実現できるものとなる。また、例えば４Ｋ対応の撮像素子２枚を実装しておけば、２Ｋ〜８Ｋまで任意の解像度の画像をそれぞれ２４００ｆｐｓ〜６００ｆｐｓまでの間の迅速さで得ることができるものとなる。また、各撮像素子の中央部をパーシャルに利用することで、８Ｋの撮像素子を実装していても、例えば２Ｋ相当分の画素だけ利用するものとできる。

上述の実施形態で例示した二板式撮像装置等は、実施形態での説明に限定されるものではなく、実施形態で説明する技術思想の範囲内かつ自明な範囲内で、適宜その構成や処理及び処理方法等を変更することができる。また、説明の便宜上実施形態においては個別に説明しているが、本発明の技術思想の範囲内で実施形態の構成を適宜組み合わせて適用し、またその動作も適宜組み合わせてアレンジしてもよい。

本発明は、画像／映像分野全般に適用可能である。

１０００・・撮像系、１０１０・・第一固体撮像素子、１０２０・・第二固体撮像素子、１０３０・・入射光、１０３１・・Ｇ色光、１０３２・・Ｒ色光、１０３３・・Ｂ色光、１０４０・・分光プリズム。

Claims

入射光をＧ色と、Ｒ色及びＢ色と、で異なる二方向に分離するプリズムと、
前記プリズムによって分離された前記Ｒ色及びＢ色の光を受光してＲ色の光量に応じた赤色信号とＢ色の光量に応じた青色信号とを出力する第一固体撮像素子と、
前記プリズムによって分離された前記Ｇ色の光を受光してＧ色の光量に応じた緑色信号を出力する第二固体撮像素子と、
前記第一固体撮像素子の出力と前記第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列の画像データを形成する画像合成部と、を備え、
前記第一固体撮像素子及び前記第二固体撮像素子は、正方画素配列からなり、
前記画像合成部は、互いに斜めに１／２画素間隔分ずらした合成を遂行してハニカム状画素配列の前記画像データを形成し、
前記第一固体撮像素子及び前記第二固体撮像素子の相対的な位置関係は、
ストライプを有するチャートを撮影しながら、いずれか一方の固体撮像素子の配置を該固体撮像素子のみの出力として第一状態が表示されるように前記プリズムからの第一光受光部に配置する場合に、他方の固体撮像素子の配置を該他方の固体撮像素子のみの出力として第二状態が表示されるように前記プリズムからの第二光受光部に配置される位置関係にあり、
前記第一状態とは前記ストライプが表示される状態かストライプが表示されない状態かのいずれか一方の状態であり、前記第二状態は他方の状態である
ことを特徴とする二板式カラー撮像装置。
入射光をＧ色と、Ｒ色及びＢ色と、で異なる二方向に分離するプリズムと、
前記プリズムによって分離された前記Ｒ色及びＢ色の光を受光してＲ色の光量に応じた赤色信号とＢ色の光量に応じた青色信号とを出力する第一固体撮像素子と、
前記プリズムによって分離された前記Ｇ色の光を受光してＧ色の光量に応じた緑色信号を出力する第二固体撮像素子と、
前記第一固体撮像素子の出力と前記第二固体撮像素子の出力とを合成して一枚の正方画素配列の画像データを形成する画像合成部と、を備え、
前記第一固体撮像素子及び前記第二固体撮像素子は、ハニカム状画素配列からなり、
前記画像合成部は、互いに縦又は横に１／２画素間隔分ずらした合成を遂行して正方画素配列の前記画像データを形成し、
前記第一固体撮像素子及び前記第二固体撮像素子の相対的な位置関係は、
ストライプを有するチャートを撮影しながら、いずれか一方の固体撮像素子の配置を該固体撮像素子のみの出力として第一状態が表示されるように前記プリズムからの第一光受光部に配置する場合に、他方の固体撮像素子の配置を該他方の固体撮像素子のみの出力として第二状態が表示されるように前記プリズムからの第二光受光部に配置される位置関係にあり、
前記第一状態とは前記ストライプが表示される状態かストライプが表示されない状態かのいずれか一方の状態であり、前記第二状態は他方の状態である
ことを特徴とする二板式カラー撮像装置。
請求項１または請求項２に記載の二板式カラー撮像装置において、
前記画像合成部で形成された前記画像データについて、単板式カラー撮像装置において取得された画像データとして、補間処理を遂行する
ことを特徴とする二板式カラー撮像装置。
請求項１乃至請求項３のいずれか一項に記載の二板式カラー撮像装置において、
前記第一固体撮像素子の赤色信号を出力するＲ画素は赤色のカラーフィルターを備え、
前記第一固体撮像素子の青色信号を出力するＢ画素は青色のカラーフィルターを備え、
前記第二固体撮像素子の緑色信号を出力するＧ画素はカラーフィルターを備えない
ことを特徴とする二板式カラー撮像装置。
請求項４に記載の二板式カラー撮像装置において、
前記第一固体撮像素子における前記Ｒ画素と前記Ｂ画素とは同数であり、
前記第二固体撮像素子における前記Ｇ画素の数は、前記Ｒ画素または前記Ｂ画素の数の二倍である
ことを特徴とする二板式カラー撮像装置。
請求項４または請求項５に記載の二板式カラー撮像装置において、
前記第一及び第二固体撮像素子が正方画素配列の場合には、縦横いずれの方向においても前記Ｒ画素と前記Ｂ画素とが交互に配置され、
前記第一及び第二固体撮像素子がハニカム状画素配列の場合には、斜め方向において前記Ｒ画素と前記Ｂ画素とが交互に配置される
ことを特徴とする二板式カラー撮像装置。
請求項１に記載の二板式カラー撮像装置の画像処理方法において、
前記第一固体撮像素子から前記赤色信号及び前記青色信号を取得すると同時並列に、前記第二固体撮像素子から前記緑色信号を取得する読み出し工程と、
前記読み出した各信号を、前記赤色信号及び前記青色信号と、前記緑色信号と、で互いに斜めに１／２画素間隔分ずらしてハニカム状画素配列の一枚の画像データとして合成する工程と、
前記合成した画像データについて、ハニカム状画素配列の画素補間処理を遂行する工程と、を有する
ことを特徴とする二板式カラー撮像装置の画像処理方法。
請求項２に記載の二板式カラー撮像装置の画像処理方法において、
前記第一固体撮像素子から前記赤色信号及び前記青色信号を取得すると同時並列に、前記第二固体撮像素子から前記緑色信号を取得する読み出し工程と、
前記読み出した各信号を、前記赤色信号及び前記青色信号と、前記緑色信号と、で互いに縦または横に１／２画素間隔分ずらして正方画素配列の一枚の画像データとして合成する工程と、
前記合成した画像データについて、正方画素配列の画素補間処理を遂行する工程と、を有する
ことを特徴とする二板式カラー撮像装置の画像処理方法。
入射光を第一の入射光と第二の入射光とに分離するハーフミラーと、
前記ハーフミラーによって分離された前記第一の入射光を受光してその光量に応じた第一の受光信号を出力する第一固体撮像素子と、
前記ハーフミラーによって分離された前記第二の入射光を受光してその光量に応じた第二の受光信号を出力する第二固体撮像素子と、
前記第一固体撮像素子の出力と前記第二固体撮像素子の出力とを合成して一枚のハニカム状画素配列の画像データを形成する画像合成部と、を備え、
前記第一固体撮像素子及び前記第二固体撮像素子は、正方画素配列からなり、
前記画像合成部は、互いに斜めに１／２画素間隔分ずらした合成を遂行してハニカム状画素配列の前記画像データを形成し、
前記第一固体撮像素子及び前記第二固体撮像素子の相対的な位置関係は、
ストライプを有するチャートを撮影しながら、いずれか一方の固体撮像素子の配置を該固体撮像素子のみの出力として第一状態が表示されるように前記ハーフミラーからの第一光受光部に配置する場合に、他方の固体撮像素子の配置を該他方の固体撮像素子のみの出力として第二状態が表示されるように前記ハーフミラーからの第二光受光部に配置される位置関係にあり、
前記第一状態とは前記ストライプが表示される状態かストライプが表示されない状態かのいずれか一方の状態であり、前記第二状態は他方の状態である
ことを特徴とする二板式白黒撮像装置。
入射光を第一の入射光と第二の入射光とに分離するハーフミラーと、
前記ハーフミラーによって分離された前記第一の入射光を受光してその光量に応じた第一の受光信号を出力する第一固体撮像素子と、
前記ハーフミラーによって分離された前記第二の入射光を受光してその光量に応じた第二の受光信号を出力する第二固体撮像素子と、
前記第一固体撮像素子の出力と前記第二固体撮像素子の出力とを合成して一枚の正方画素配列の画像データを形成する画像合成部と、を備え、
前記第一固体撮像素子及び前記第二固体撮像素子は、ハニカム状画素配列からなり、
前記画像合成部は、互いに縦又は横に１／２画素間隔分ずらした合成を遂行して正方画素配列の前記画像データを形成し、
前記第一固体撮像素子及び前記第二固体撮像素子の相対的な位置関係は、
ストライプを有するチャートを撮影しながら、いずれか一方の固体撮像素子の配置を該固体撮像素子のみの出力として第一状態が表示されるように前記ハーフミラーからの第一光受光部に配置する場合に、他方の固体撮像素子の配置を該他方の固体撮像素子のみの出力として第二状態が表示されるように前記ハーフミラーからの第二光受光部に配置される位置関係にあり、
前記第一状態とは前記ストライプが表示される状態かストライプが表示されない状態かのいずれか一方の状態であり、前記第二状態は他方の状態である
ことを特徴とする二板式白黒撮像装置。
請求項９に記載の二板式白黒撮像装置の画像処理方法において、
前記第一固体撮像素子から前記第一の受光信号を取得すると同時並列に、前記第二固体撮像素子から前記第二の受光信号を取得する読み出し工程と、
前記読み出した各信号を、前記第一の受光信号と、前記第二の受光信号と、で互いに斜めに１／２画素間隔分ずらしてハニカム状画素配列の一枚の画像データとして合成する工程と、
前記合成した画像データについて、ハニカム状画素配列の画素補間処理を遂行する工程と、を有する
ことを特徴とする二板式白黒撮像装置の画像処理方法。
請求項１０に記載の二板式白黒撮像装置の画像処理方法において、
前記第一固体撮像素子から前記第一の受光信号を取得すると同時並列に、前記第二固体撮像素子から前記第二の受光信号を取得する読み出し工程と、
前記読み出した各信号を、前記第一の受光信号と、前記第二の受光信号と、で互いに縦または横に１／２画素間隔分ずらして正方画素配列の一枚の画像データとして合成する工程と、
前記合成した画像データについて、正方画素配列の画素補間処理を遂行する工程と、を有する
ことを特徴とする二板式白黒撮像装置の画像処理方法。
請求項１または請求項２に記載の二板式カラー撮像装置における二枚の固体撮像素子の位置決め方法において、
ストライプを有するチャートを撮影しながら、いずれか一方の固体撮像素子の配置を該固体撮像素子のみの出力として第一状態が表示されるようにプリズムからの第一光受光部に位置決めする工程と、
他方の固体撮像素子の配置を該他方の固体撮像素子のみの出力として第二状態が表示されるようにプリズムからの第二光受光部に位置決めする工程と、を有し、
前記第一状態とは前記ストライプが表示される状態かストライプが表示されない状態かのいずれか一方の状態であり、前記第二状態は他方の状態である
ことを特徴とする固体撮像素子の位置決め方法。
請求項９または請求項１０に記載の二板式白黒撮像装置における二枚の固体撮像素子の位置決め方法において、
ストライプを有するチャートを撮影しながら、いずれか一方の固体撮像素子の配置を該固体撮像素子のみの出力として第一状態が表示されるようにハーフミラーからの第一光受光部に位置決めする工程と、
他方の固体撮像素子の配置を該他方の固体撮像素子のみの出力として第二状態が表示されるようにハーフミラーからの第二光受光部に位置決めする工程と、を有し、
前記第一状態とは前記ストライプが表示される状態かストライプが表示されない状態かのいずれか一方の状態であり、前記第二状態は他方の状態である
ことを特徴とする固体撮像素子の位置決め方法。