JP5011519B2

JP5011519B2 - 固体撮像素子の信号読み出し方法及び画像信号処理方法

Info

Publication number: JP5011519B2
Application number: JP2005196608A
Authority: JP
Inventors: 正行田中; 正敏奥富
Original assignee: Tokyo Institute of Technology NUC
Current assignee: Tokyo Institute of Technology NUC
Priority date: 2005-07-05
Filing date: 2005-07-05
Publication date: 2012-08-29
Anticipated expiration: 2025-07-05
Also published as: US7944486B2; US20090207288A1; WO2007004387A1; JP2007019641A

Description

本発明は、１つの固体撮像素子から複数の画像を生成する画像信号を同時に読み出す固体撮像素子の信号読み出し方法、及びその信号読み出し方法により読み出された画像信号に基づいて生成された複数の画像から、付加価値の高い画像を生成する画像信号処理方法に関する。

近年、例えば、ＣＣＤイメージセンサなどの固体撮像素子の高画素化が進んでいる。このような高画素の固体撮像素子からの信号を高速に読み出す方法として、従来から、画素混合読み出し方法、又は間引き読み出し方法が利用されている。

従来の画素混合読み出し方法の一例として、例えば、特許文献１のカラー固体撮像装置では、９画素を混合して信号を読み出す画素混合読み出し方法が開示されている。特許文献１に開示されているような従来の画素混合読み出し方法では、等しい画素数の画素を混合して読み出すようにしている。

換言すれば、従来の画素混合読み出し方法によって読み出された全ての読出し信号は、等しい画素数の画素が混合されている。
特開２００５−１０９９６８号公報ピー.イー.デベビク（P.E.Debevec）・ジェー.マリク（J.Malik）共著,「リカバーリングハイダイナミックレンジラディアンスマップズフロムフォトグラフズ（Recovering high dynamic range radiance maps from photographs）」,プロク. ＡＣＭＳＩＧＧＲＡＰＨ’９７（Proc. ACM SIGGRAPH’97）,p.369-378,1997年デイビッドケープル（David Capel）著,「イメージモザイクイングアンドスーパーレゾルーション（Image Mosaicing and Super-resolution）」,スプリンガー出版（Springer）,2004年

しかしながら、従来の画素混合読み出し方法によって読み出される信号は、全て同じ画素数の画素が混合された信号であるため、それらの信号の性質や特徴が等しい。つまり、従来の画素混合読み出し方法によって読み出される信号は、１種類の画像しか生成できないという問題点がある。

従って、従来の画素混合読み出し方法によって読み出された信号に基づいても、付加価値の高い画像（例えば、広ダイナミックレンジ画像や超解像処理により得られた超解像画像などの画像）を生成することができない。

本発明は、上述のような事情よりなされたものであり、本発明の目的は、１つの固体撮像素子から、同一の被写体を撮影した撮影条件の異なる複数の画像を生成できる、性質の異なる信号を同時に読み出せるようにした固体撮像素子の信号読み出し方法、及び、その固体撮像素子の信号読み出し方法によって読み出された性質の異なる信号から生成された複数の画像に基づいて、付加価値の高い画像を生成する画像信号処理方法を提供することにある。

本発明は、固体撮像素子の信号読み出し方法に関し、本発明の上記目的は、カラーフィルタアレイ(ＣＦＡ)を有し、複数の画素を有する１つの固体撮像素子に適用される固体撮像素子の信号読み出し方法であって、前記固体撮像素子において、読み出す信号毎に異なる画素数の画素混合を行い、混合後の信号を読み出し、前記混合後の信号とは、前記固体撮像素子における垂直方向ｎ画素、水平方向ｍ画素の合計ｎ×ｍ（ただし、ｎ、ｍは自然数である）個の画素のうち、所定のＬ（Ｌ≦ｎ×ｍ）画素の画素混合を行って得られた第１の混合後信号と、前記ｎ×ｍ個の画素に対して画素混合を行わずに画素の信号を間引いて得られた第２の混合後信号（即ち、間引き読出し信号）とを意味することによって効果的に達成される。

また、本発明は、画像信号処理方法に関し、本発明の上記目的は、上述した本発明の固体撮像素子の信号読み出し方法によって読み出された前記第１の混合後信号と、前記第２の混合後信号とに基づいて、広ダイナミックレンジ画像を生成することにより、或いは、上述した本発明の固体撮像素子の信号読み出し方法によって読み出された前記第１の混合後信号に基づいて画像間の位置合わせを行い、得られた位置ずれ情報と、上述した本発明の固体撮像素子の信号読み出し方法によって読み出された前記第２の混合後信号とに基づいて超解像処理を行い、超解像画像を生成することによって効果的に達成される。

本発明に係る固体撮像素子の信号読み出し方法を用いれば、１つの固体撮像素子から、性質の異なる信号を同時に読み出すようにしているので、同一の被写体を撮影した撮影条件の異なる複数の画像を生成できるという優れた効果を奏する。

また、本発明に係る固体撮像素子の信号読み出し方法により得られた撮影条件の異なる複数の画像に基づいて、本発明に係る画像信号処理方法を用いれば、例えば、広ダイナミックレンジ画像や超解像処理により得られた超解像画像などの付加価値の高い画像を生成することができるという優れた効果を奏する。

以下、図面を参照しながら、本発明を実施するための最良の形態を詳細に説明する。

本発明の着眼点として、１つの固体撮像素子に対して、読出し信号ごとに画素混合される画素数を変化させることにより、つまり、読出し信号ごとに異なる画素数の画素を混合することにより、同一の被写体を撮影した撮影条件の異なる信号を同時に読み出すことを可能にしたところである。

要するに、本発明の大きな特徴としては、カラーフィルタアレイ(ＣＦＡ)を有し、複数の画素を有する１つの固体撮像素子に対し、画素混合技術を応用して、性質が異なる信号を読み出すことである。本発明のこの大きな特徴は、１つの固体撮像素子において、それぞれの読出し信号に対して、画素数の異なる画素混合を行うことにより、性質が異なる信号を読み出すことを実現している。

本発明では、画素数の異なる画素混合を行うことによって得られた性質の異なる信号から、同一被写体（同一シーン）を撮影した撮影条件の異なる複数の画像を同時に生成する（取得する）ことができ、そして、生成されたこれら撮影条件の異なる複数の画像を利用して、例えば、広ダイナミックレンジ画像を生成することができ、また、空間方向の性質の違いを利用して超解像処理への応用もでき、超解像処理による超解像画像を生成することができる。本発明によれば、例えば、広ダイナミックレンジ画像や超解像画像などの高付加価値を有する画像（以下、単に高付加価値画像とも称する）を生成することができる。

本発明に係る固体撮像素子の信号読み出し方法は、カラーフィルタアレイ(ＣＦＡ)を有し、複数の画素を有する１つの固体撮像素子に適用され、該固体撮像素子において、読み出す信号毎に異なる画素数の画素混合を行い、混合後の信号を読み出すようにしている。

本発明に係る固体撮像素子の信号読み出し方法では、例えば、混合後の信号とは、固体撮像素子における垂直方向ｎ画素、水平方向ｍ画素の合計ｎ×ｍ（ただし、ｎ、ｍは自然数である）個の画素のうち、所定のＬ（Ｌ≦ｎ×ｍ）画素の画素混合を行って得られた第１の混合後信号と、ｎ×ｍ個の画素に対して画素混合を行わずに画素の信号を間引いて得られた第２の混合後信号とを意味する。

次に、本発明に係る画像信号処理方法では、上述した本発明に係る固体撮像素子の信号読み出し方法によって読み出された第１の混合後信号と、第２の混合後信号とに基づいて、広ダイナミックレンジ画像を生成するようにしている。

また、本発明に係る画像信号処理方法では、上述した本発明に係る固体撮像素子の信号読み出し方法によって読み出された第１の混合後信号に基づいて画像間の位置合わせを行い、得られた位置ずれ情報と、上述した本発明に係る固体撮像素子の信号読み出し方法によって読み出された第２の混合後信号とに基づいて超解像処理を行い、超解像画像を生成するようにしている。

以下、具体的な実施例を通して、本発明をより詳細に説明する。

図１は、本発明に係る固体撮像素子の読み出し方法において、８画素混合読出しと、１画素混合読出し（ここで、１画素混合読出しを間引き読出しと見なすことができるので、以下、１画素混合読出しを単に間引き読出しと称する）の読出し位置を説明するための模式図である。

図１に示された本発明の固体撮像素子の読み出し方法の実施例において、固体撮像素子がベイヤー配列を採用するＣＦＡを有し、また、固体撮像素子における垂直方向５画素、水平方向５画素の合計５×５＝２５個の画素のうち、所定の８画素（本例では、色空間の同じ色チャネルの８画素）の画素混合を行って得られた８画素混合読出し信号と、この２５個の画素に対して画素混合を行わずに画素の信号を間引いて得られた間引き読出し信号とがある。

つまり、図１の実施例では、８画素混合読出しと間引き読出しを組み合わせた固体撮像素子の読み出し方法を行った。なお、図１において、図面が煩雑になるのを避けるため、ＲＧＢ色空間におけるＲチャネルとＢチャネルのみを示している。

ここで、図１の８画素混合読出しにより生成される画像を８画素混合画像と呼び、また、間引き読出しにより生成される画像を間引き読み出し画像と呼ぶことにする。

従って、８画素混合画像では、８画素の画素値が混合されているので、間引き読み出し画像に比べて、８画素混合画像は８倍の感度を持つことになる。

本発明に係る画像信号処理方法では、このような感度の異なる条件で撮影された（取得された）複数の画像から、つまり、本発明に係る固体撮像素子の読み出し方法によって得られた８画素混合画像と間引き読み出し画像から、１つの広ダイナミックレンジ画像を生成する。

ここでは、感度の異なる条件で撮影された複数の画像から１つの広ダイナミックレンジ画像を生成する方法として、例えば、非特許文献１に開示された方法を利用することができる。なお、広ダイナミックレンジ画像を効果的に表示するための画像変換方法も、非特許文献１に開示されている。

図２は、図１に模式的に説明されたような間引き読み出し画像と、８画素混合画像と、そして本発明に係る画像信号処理方法を用いてこれら２つの画像から生成された広ダイナミックレンジ画像とを示す図である。なお、図２において、広ダイナミックレンジ画像の生成、及び生成された広ダイナミックレンジ画像を効果的に表示するための画像変換は、非特許文献１に開示されている方法を利用した。

図３は、本発明に係る画像信号処理方法において、図２に示されたような広ダイナミックレンジ画像を生成するための処理ブロック図である。図３に示されるように、まず、ＣＦＡを有し、複数の画素を有する固体撮像素子に対し、本発明の固体撮像素子の読み出し方法を適用することにより、８画像混合画像及び間引き読み出し画像を生成し、そして、生成された８画像混合画像及び間引き読み出し画像に基づいて、例えば、非特許文献１に開示された方法を用いて広ダイナミックレンジ画像を生成する。

次に、本発明に係る固体撮像素子の読み出し方法により得られた複数の画像を超解像処理へ適用することを具体例を通して説明する。

ところで、超解像処理は、複数の低解像度画像から１つの高解像度画像を生成する技術として知られている。低解像度画像間の位置ずれ情報に基づき、超解像処理は行われる。また、低解像度画像間の位置ずれ情報は、レジストレーションにより推定される。位置ずれ情報が正しく求まっている場合に、低解像度画像に含まれるエイリアシングの影響が大きいほど、高精細な高解像度画像が生成される。

しかしながら、低解像度画像がエイリアシングの影響を大きく含む場合に、レジストレーションにより推定される位置ずれ情報に誤差を含んでしまう。位置ずれ情報の誤差のため、高精細な高解像度画像は生成されないといった問題が生じる。

そこで、本発明に係る固体撮像素子の読み出し方法により得られた複数の画像に基づいて、超解像処理を行って高精細な高解像度画像を生成することができるので、上記問題を解決することができる。

具体例として、図１に示すような、８画素混合読出しと間引き読出しを組み合わせて利用する。画素混合は空間的な平均化に相当する処理であるので、８画素混合画像にはエイリアシングの影響は少ない。一方、間引き読み出し画像は、エイリアシングの影響を多く含んでいる。本発明では、この２つの画像の特徴を利用して、超解像処理を行って高精細な高解像度画像を生成するようにしている。

つまり、本発明に係る画像信号処理方法では、まず、本発明の固体撮像素子の読み出し方法により得られた８画素混合画像を利用して位置ずれ情報を推定し、そして、推定された位置ずれ情報に基づき、本発明の個体撮像素子の読み出し方法により得られた間引き読み出し画像を利用して超解像処理を行うことにより、高精細な高解像度画像（以下、単に超解像画像とも称する）を生成するわけである。

図４のブロック図を利用して、本発明に係る画像信号処理方法を用いて、超解像画像を生成することを具体的に説明する。

図４に示されるよう、まず、ＣＦＡを有し、複数の画素を有する固体撮像素子に対し、本発明の固体撮像素子の読み出し方法を適用することにより、８画像混合画像及び間引き読み出し画像を連続して複数枚読み出し、次に、読み出した複数枚の８画像混合画像と間引き読み出し画像をそれぞれメモリに保存する。

そして、メモリに保存された複数枚の８画素混合画像間の位置ずれ量をレジストレーション処理により推定する。次に、レジストレーション処理により得られた位置ずれ情報と、メモリに保存された複数枚の間引き読み出し画像とに基づいて、超解像処理を行うことにより、超解像画像が得られる。

なお、上述したレジストレーション処理及び超解像処理の詳細は、例えば、非特許文献２を参照する。

図５は、図１に模式的に説明されたような１つの間引き読み出し画像と、１つの８画素混合画像と、そして、図４のブロック図の手順に沿ってこれら２つの画像に基づいて生成された超解像処理画像とを示す図である。なお、図５において、８画素混合画像は、間引き読み出し画像に対して、８倍の感度を有しているが、間引き読み出し画像の感度と等しくなるようにゲインが調整されている。

図５から、本発明の画像信号処理方法により生成された超解像画像は、間引き読み出し画像に比べても、８画素混合画像に比べても、高精細であることを確認することができる。

本発明に係る固体撮像素子の読み出し方法において、８画素混合読出しと間引き読出しの読出し位置を説明するための模式図である。図１に模式的に説明されたような間引き読み出し画像と、８画素混合画像と、そして本発明に係る画像信号処理方法を用いてこれら２つの画像から生成された広ダイナミックレンジ画像とを示す図である。本発明に係る画像信号処理方法において、図２に示されたような広ダイナミックレンジ画像を生成するための処理ブロック図である。本発明に係る画像信号処理方法を用いて、超解像画像を生成するための処理ブロック図である。図１に模式的に説明されたような間引き読み出し画像と、８画素混合画像と、そして、図４のブロック図の手順に沿ってこれら２つの画像に基づいて生成された超解像処理画像とを示す図である。

Claims

カラーフィルタアレイ(ＣＦＡ)を有し、複数の画素を有する１つの固体撮像素子に適用される固体撮像素子の信号読み出し方法であって、
前記固体撮像素子において、読み出す信号毎に異なる画素数の画素混合を行い、混合後の信号を読み出し、
前記混合後の信号とは、前記固体撮像素子における垂直方向ｎ画素、水平方向ｍ画素の合計ｎ×ｍ（ただし、ｎ、ｍは自然数である）個の画素のうち、所定のＬ（Ｌ≦ｎ×ｍ）画素の画素混合を行って得られた第１の混合後信号と、前記ｎ×ｍ個の画素に対して画素混合を行わずに画素の信号を間引いて得られた第２の混合後信号（即ち、間引き読出し信号）とを意味することを特徴とする固体撮像素子の信号読み出し方法。
請求項１に記載の固体撮像素子の信号読み出し方法によって読み出された前記第１の混合後信号と、前記第２の混合後信号とに基づいて、広ダイナミックレンジ画像を生成することを特徴とする画像信号処理方法。
請求項１に記載の固体撮像素子の信号読み出し方法によって読み出された前記第１の混合後信号に基づいて画像間の位置合わせを行い、得られた位置ずれ情報と、請求項２に記載の固体撮像素子の信号読み出し方法によって読み出された前記第２の混合後信号とに基づいて超解像処理を行い、超解像画像を生成することを特徴とする画像信号処理方法。