JP6345851B1

JP6345851B1 - 高速度ビデオカメラ用カラー固体撮像素子

Info

Publication number: JP6345851B1
Application number: JP2017144331A
Authority: JP
Inventors: 菊地　章; 章菊地; 国偉崔; 和彦小熊
Original assignee: NAC IMAGE TECHNOLOGY INC.
Current assignee: NAC IMAGE TECHNOLOGY INC.
Priority date: 2017-07-26
Filing date: 2017-07-26
Publication date: 2018-06-20
Anticipated expiration: 2037-07-26
Also published as: JP2019029714A

Abstract

【課題】各画素ブロックの同じ番地に位置する画素ごとに分離し固体撮像素子の元の座標位置に配置した映像でＲとＧとＢの各色が無かったり、各色の数の比率が片寄っていても、空いた位置の映像信号を補間して１枚のカラー映像を作り上げることができる高速度ビデオカメラ用カラー固体撮像素子を提供する。【解決手段】分離する前の映像はもちろんのこと、分離した後の映像においても、各行と各列に緑色（Ｇ）と赤色（Ｒ）と青色（Ｂ）のカラーフィルタがあり、各行と各列ともに各色の数の比率がＧ：Ｒ：Ｂ＝２：１：１であるよう、あるいは、各行と各列に緑色と赤色と青色のカラーフィルタがあり、各行と各列ともに各色の数の比率がＧ：Ｒ：Ｂ＝１：１：１であるように配列することによって、高周波成分のある被写体を撮影した時に発生するモアレと偽色を最小限に抑えることができる。【選択図】図５

Description

本発明は高速度ビデオカメラ用カラー固体撮像素子に関するものである。

特許文献１には、１つの光電変換素子とこの光電変換素子からの映像情報を一時的に記憶する１つの画素メモリとを有する画素を縦・横に複数個有する画素ブロックを縦・横に複数個有し、且つ上記画素ブロックの各画素の露光が異なる時刻になるよう制御する手段と、上記各画素ブロックの同じ番地に位置する画素の露光が同じ時刻になるよう制御する手段とを有する固体撮像素子より成る高速度ビデオカメラと、上記固体撮像素子から読み出された１枚の映像を上記各画素ブロックの同じ番地に位置する画素ごとに分離し固体撮像素子の元の座標位置に配置した上で、空いた座標位置の映像信号を補間して出力する高速度ビデオカメラが開示されている。

また、特許文献２には、撮影光学系と、前記撮影光学系を介して被写体像が結像される撮像素子であって、２次元状に配列された光電変換素子上に３原色を含むカラーフィルタが配列され、各ラインに３原色のカラーフィルタが配列されるとともに、３原色のカラーフィルタの個数の比率が、不均等なラインと当該不均等なラインより均等なラインとを有する複数のラインを含むカラーフィルタ配列を有する撮像素子と、複数のラインのうち間引き読み出しするラインを選択するための複数の間引きパターンから、撮影条件に応じて１つの間引きパターンを決定する間引きパターン決定手段と、前記撮像素子により取得された各ラインの前記カラーフィルタに対応する色信号のうち、前記間引きパターン決定手段により決定された間引きパターンにしたがって選択された所定のラインの色信号に基づいてホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、前記ホワイトバランスゲイン算出手段により算出されたホワイトバランスゲインに基づいて前記撮像素子を介して取得される各色信号にホワイトバランス補正を行うホワイトバランス補正手段と、を備え、前記間引きパターン決定手段は、前記撮影光学系の撮影時のＦ値及び光学ズーム倍率の少なくとも一方に基づいて、前記複数の間引きパターンから１つの間引きパターンを決定する撮像装置であって、前記撮像素子のカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配列された所定の基本配列パターンを含み、該基本配列パターンが水平方向及び垂直方向に繰り返して配置され、前記所定の基本配列パターンは、６×６画素に対応する正方配列パターンであり、前記カラーフィルタ配列は、３×３画素に対応する第１の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＢフィルタが配置され、左右にＲフィルタが配列された第１の配列と、３×３画素に対応する第２の配列であって、中心と４隅にＧフィルタが配置され、中心のＧフィルタを挟んで上下にＲフィルタが配置され、左右にＢフィルタが配列された第２の配列とが、交互に水平方向及び垂直方向に配列されて構成されており、前記複数の間引きパターンは、６ライン毎に１ラインを間引き読み出しする場合において、ＲＧＢのカラーフィルタの個数の比率が１：４：１のラインを読み出す間引きパターンと、ＲＧＢのカラーフィルタの個数の比率が１：１：１のラインを読み出す間引きパターンとを含む撮像装置が開示されている。

特許第４６５７３７９号特許第５６０３５０６号

特許文献１に記された映像信号の補間を考慮すると、この特許文献１に示された単板式カラー高速度カメラを実現させるには、専用のカラーフィルタを貼り付けた撮像素子を作るか、既存のカラーフィルタに応じたカラー専用の撮像素子を作るかの２つの手段がある。

前者に関して、公表されているベイヤー配列のフィルタや特許文献２に示されているフィルタを実装した場合、各画素ブロックの同じ番地に位置する画素ごとに分離し固体撮像素子の元の座標位置に配置した映像はＲとＧとＢの各色が無かったり、各色の数の比率が片寄っているため、空いた位置の映像信号を補間して１枚のカラー映像を作り上げることができない。後者は同じウェハを使ってカラーと白黒の撮像素子を作れないデメリットがある。

上記、発明が解決しようとする課題で記した専用のカラーフィルタを実現するには、いくつかの条件が必要である。第１に、分離する前はもちろんのこと分離した後の映像でも、ＲとＧとＢの各色が各行と各列に数の比率でも配置の仕方でも片寄らないよう配置すること。第２に、縦または横、あるいはＮＥまたはＮＷの斜めに、片寄った方向にモアレが発生しないようにＧ色のフィルタを配置すること。例えば、モザイク配列のフィルタは、モアレがＮＷの斜め方向になくＮＥの斜め方向に低周波で発生して不適切である。既存のベイヤー配列のカラーフィルタに応じた撮像素子を作ろうとすると、Ｒ、Ｇ、Ｇ、Ｂ色の２×２画素の小ブロックを１画素と見なし、その上で２×２画素以上の画素ブロックを構成する構造になる。従って、カラーと白黒と別々の設計の固体撮像素子を作ることになる。

本発明の専用のカラーフィルタを白黒の固体撮像素子に貼り付ければ、白黒の固体撮像素子と同じ設計でカラーの固体撮像素子ができ、単板式カラーの高速度ビデオカメラを作ることができる。

分離する前の映像はもちろんのこと、分離した後の映像においても、各行と各列に緑色（Ｇ）と赤色（Ｒ）と青色（Ｂ）のカラーフィルタがあり、各行と各列ともに各色の数の比率がＧ：Ｒ：Ｂ＝２：１：１であるよう、あるいは、各行と各列に緑色と赤色と青色のカラーフィルタがあり、各行と各列ともに各色の数の比率がＧ：Ｒ：Ｂ＝１：１：１であるように配列することによって、高周波成分のある被写体を撮影した時に発生するモアレと偽色を最小限に抑えることができる。もし、各色の数の比率が保てない場合は、輝度に相当するＧ色と、色を表現するためのＲ色とＢ色のバランスが崩れることになり、モアレまたは偽色が発生しやすくなる。最悪、Ｇ色、Ｒ色またはＢ色のどれかが欠けると撮影対象の被写体の明るさや色を表現できない映像になる。

特許文献１の画素ブロックの最小単位は２×２画素である。これに対応できる専用のカラーフィルタは３×３画素または４×４画素ごとの単位で縦・横に繰り返し配置したカラーフィルタ配列であるが、４を超える整数の繰り返しにすることによってＧ色、Ｒ色またはＢ色を分散することが可能になり、各色が集合することで発生しやすくなるモアレを低減できる。

高速度ビデオカメラ基本ブロック図である。固体撮像素子の各画素に番地がふられた１例を示す説明図である。図２を例とした１つの画素ブロックの構造を示す説明図である。本発明の高速度ビデオカメラ内の補間処理回路の処理手順を示す説明図である。２×２の画素ブロックで、８×８画素単位のカラーフィルタを使用した例の、分離する前と分離した後の映像を示す図である。２×２の画素ブロックで、１２×１２画素単位のカラーフィルタを使用した例の、分離する前と分離した後の映像を示す図である。

以下図面によって本発明の実施例を説明する。

図１は高速度ビデオカメラの基本ブロック図である。

被写体からの入射光を固体撮像素子１で撮影し、固体撮像素子１をカメラ制御回路４によって制御して高速度での撮影とその映像情報の読み出しを行うようにするとともに、この映像情報を記録回路２によって記録せしめる。ここでは図２に示すように縦４画素×横４画素を有する画素ブロックを例にとり本発明の実施例を説明する。各画素ブロックの縦４画素×横４画素の合計１６画素に対して番地１から１６を割り当て、画素ブロック中の座標位置が同じであれば同じ番地とする。

本発明においては補間処理回路３をカメラ制御回路４により制御し、記録回路２から読み出された１枚の映像を各画素ブロックの同じ番地の画素ごとに分離し、固体撮像素子１の元の座標位置に配置した上で空いた座標位置の映像情報を補間して出力せしめる。

本発明においては、固体撮像素子１から読み出した映像情報を記録回路２に記憶する。図４では読み出された１フレームの映像を４８で示す。補間処理回路３は記録回路２からこの映像４８を得て、各画素ブロックの同じ番地の画素ごとに取り出し固体撮像素子１の元の座標位置に配置する。その映像が図４に示す番地１の画素を分離した映像４９、番地２の画素を分離した映像５０および番地１６の画素を分離した映像５１である。次に補間処理回路３は空いた座標位置の映像情報を創り出す。これは映像４９から補間処理で創りだされた映像５２、映像５０から補間処理で創り出された映像５３及び映像５１から補間処理で創り出された映像５４などである。本発明においては、上記カラー固体撮像素子から読み出された１枚の映像を各画素ブロック１６の同じ番地の画素７〜１４ごとに取り出し固体撮像素子１の元の座標位置に配置して、異なる露光時間の映像に分離し、
分離する前の映像と、各画素ブロック１６の同じ番地に位置する画素７〜１４ごとに分離し固体撮像素子１の元の座標位置に配置した全ての番地の映像とが、
各行と各列に緑色（Ｇ）と、赤色（Ｒ）と、青色（Ｂ）のカラーフィルタがあり、各行と各列ともに各色の数の比率がＧ：Ｒ：Ｂ＝２：１：１であるよう、縦・横に繰り返し配置したカラーフィルタ配列を持つようにする。

本発明の他の実施例においては、上記カラー固体撮像素子から読み出された１枚の映像を各画素ブロック１６の同じ番地の画素７〜１４ごとに取り出し固体撮像素子１の元の座標位置に配置して、異なる露光時間の映像に分離し、
分離する前の映像と、各画素ブロック１６の同じ番地に位置する画素７〜１４ごとに分離し固体撮像素子１の元の座標位置に配置した全ての番地の映像とが、
各行と各列に緑色（Ｇ）と、赤色（Ｒ）と、青色（Ｂ）のカラーフィルタがあり、各行と各列ともに各色の数の比率がＧ：Ｒ：Ｂ＝１：１：１であるよう、縦・横に繰り返し配置したカラーフィルタ配列を持つようにする。

１固体撮像素子
２記録回路
３補間処理回路
４カメラ制御回路
５光電変換素子
６画素メモリ
７番地１の画素
８番地２の画素
９番地３の画素
１０番地４の画素
１１番地１３の画素
１２番地１４の画素
１３番地１５の画素
１４番地１６の画素
１５固体撮像素子の読み出し回路
１６画素ブロック
４９番地１の画素を分離した映像
５０番地２の画素を分離した映像
５１番地１６の画素を分離した映像
５２４９の映像から補間処理で創り出された映像
５３５０の映像から補間処理で創り出された映像
５４５１の映像から補間処理で創り出された映像

Claims

１つの光電変換素子とこの光電変換素子からの映像情報を一時的に記憶する１つの画素メモリとを有する画素を縦・横に複数個有する画素ブロックを縦・横に複数個有する固体撮像素子と、上記画素ブロックの各画素の露光が異なる時刻になるよう制御する手段と、上記各画素ブロックの同じ番地に位置する画素の露光が同じ時刻になるよう制御する手段とを有するカラー固体撮像素子であって、上記カラー固体撮像素子から読み出された１枚の映像を各画素ブロックの同じ番地の画素ごとに取り出し固体撮像素子の元の座標位置に配置して、異なる露光時間の映像に分離し、
分離する前の映像と、各画素ブロックの同じ番地に位置する画素ごとに分離し固体撮像素子の元の座標位置に配置した全ての番地の映像とが、
各行と各列に緑色（Ｇ）と、赤色（Ｒ）と、青色（Ｂ）のカラーフィルタがあり、各行と各列ともに各色の数の比率がＧ：Ｒ：Ｂ＝２：１：１であるよう、縦・横に繰り返し配置したカラーフィルタ配列を持つ高速度ビデオカメラ用カラー固体撮像素子。
１つの光電変換素子とこの光電変換素子からの映像情報を一時的に記憶する１つの画素メモリとを有する画素を縦・横に複数個有する画素ブロックを縦・横に複数個有する固体撮像素子と、上記画素ブロックの各画素の露光が異なる時刻になるよう制御する手段と、上記各画素ブロックの同じ番地に位置する画素の露光が同じ時刻になるよう制御する手段とを有するカラー固体撮像素子であって、上記カラー固体撮像素子から読み出された１枚の映像を各画素ブロックの同じ番地の画素ごとに取り出し固体撮像素子の元の座標位置に配置して、異なる露光時間の映像に分離し、
分離する前の映像と、各画素ブロックの同じ番地に位置する画素ごとに分離し固体撮像素子の元の座標位置に配置した全ての番地の映像とが、
各行と各列に緑色（Ｇ）と、赤色（Ｒ）と、青色（Ｂ）のカラーフィルタがあり、各行と各列ともに各色の数の比率がＧ：Ｒ：Ｂ＝１：１：１であるよう、縦・横に繰り返し配置したカラーフィルタ配列を持つ高速度ビデオカメラ用カラー固体撮像素子。