JPWO2011043045A1 - 撮像装置、固体撮像素子、画像生成方法、およびプログラム - Google Patents

Abstract

撮像装置は、撮像面に２次元状に配列された複数の画素２０を含む画素アレイ２００と、各画素２０から画素信号を読み出す画素信号読出し部３０と、画素信号読出し部３０から読み出された各画素信号に基づいて画像を生成する画像生成部３２とを備えている。画素アレイは、各々がＮ個（Ｎは２以上の整数）の画素を含むＭ個（Ｍは２以上の整数）の単位画素ブロック４０に分割されている。画素信号読出し部は、各単位画素ブロック４０に含まれる前記Ｎ個の画素２０から時間間隔Ｔごとに、それぞれ異なるタイミングで前記画素信号を読み出す。

Description

本発明は、画像の空間分解能と時間分解能の関係を利用した撮像技術に関する。

近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と呼ぶことがある。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の急速な進歩により、固体撮像素子における画素構造の微細化が進んでいる。その結果、固体撮像素子の画素及び駆動回路の高集積化が図られ、固体撮像素子の多画素化が進んでいる。特に最近では、僅かの年数の間に固体撮像素子の画素数が数１００万画素から１０００万画素を超えるに至り、さらには数１０００万画素の固体撮像素子が開発されようとしている。

このような多画素化への流れの一方で、人間の視覚特性の観点から１０００万画素も必要ないという考え方もある。人間の網膜には光の色（ＲＧＢ）を感知する錐体細胞と明暗を感知する桿体細胞がある。錐体細胞および桿体細胞の数は、それぞれ約６５０万個、および約１億２０００万個と言われている。このことから、色の判別という観点では、人間の目は６５０万画素のカラーカメラと同等と考えられる。また、表示装置の観点からも、現在の固体撮像素子の画素数は既に十分に多いと考えられる。例えば、フルハイビジョンの画像の解像度は１９２０×１０８０であり、さらに高精細な画像でも４０９６×２１６０程度の解像度である。それらの画像を表示できる表示装置の普及率を考慮しても、表示装置の高解像度化の進展速度は現在開発されている固体撮像素子の多画素化の進展速度を凌ぐものではない。加えて、１画像の信号読み出し時間は画素数に比例して長くなる。同様に、画像をフレーム単位で記録する場合も、そのデータ量は画素数に比例して多くなる。

すなわち、画素数の多い固体撮像素子を用いたカメラでは、確かに解像度は向上するが、人間の視覚能力、表示装置の分解能、信号読み出し時間や画像データの記録量を考慮すると、あまりにも多い画素は必ずしも必要ないと考えられる。そのため、解像度は多少犠牲にしても、その他の特性を向上させる方がよいという考えもある。

解像度を犠牲にしてもよいと考えると、複数の画素を１画素として処理することができる。例えば、特許文献１に開示されているように、複数画素の信号を加算することにより、撮像感度を高めることができる。また、多くの画素信号を加算することで低輝度の被写体に対応させ、低照度時のダイナミックレンジを向上させることもできる。これは、特許文献２や特許文献３に開示されている、開口率の異なる複数の画素を有する撮像素子を使う場合と同じ効果を生じる。

特開２００１−３４６１０３号公報 特開平４−２９８１７５号公報 特開２００６−１７４４０４号公報

画素数の多い撮像素子を用いた撮像装置では、必要以上に存在する画素を利用し、上記の従来技術を利用すれば、解像度を犠牲にすることになるが、撮像の感度やダイナミックレンジを向上させることができる。しかしながら、撮像素子内部で画素信号の加算処理を行い、出力データを削減しなければ、動画の表示レート（フレームレート）に追従できない場合がある。このことは、画素数の多い撮像素子を用いて動画を撮像する場合、解像度を犠牲にし、さらに撮像素子内部で画素信号の加算処理を行わなければ、感度等の性能向上が得られないことを意味している。

本発明は、上記課題に鑑み、撮像素子内部で画素信号の加算処理を行うことなく、高フレームレートの動画を生成する新たな撮像技術を提供する。

本発明の撮像装置は、撮像面に２次元状に配列された複数の画素を含む画素アレイであって、各々がＮ個（Ｎは２以上の整数）の画素を含むＭ個（Ｍは２以上の整数）の単位画素ブロックに分割された画素アレイと、各画素から一定の時間間隔Ｔごとに画素信号を読出す画素信号読出し部であって、各単位画素ブロックに含まれる前記Ｎ個の画素からそれぞれ異なるタイミングで前記画素信号を読み出す画素信号読出し部と、前記画素信号読出し部から読み出された各画素信号に基づいて画像を生成する画像生成部とを備えている。

ある実施形態において、前記画素信号読出し部は、各単位画素ブロックに含まれる前記Ｎ個の画素から時間Ｔ／Ｎずつ異なるタイミングで前記画素信号を読み出す。

ある実施形態において、前記画像生成部は、前記時間間隔Ｔの間に前記画素信号読出し部によって読み出されたＭ×Ｎ個の画素信号に基づいて前記画像を生成する。

ある実施形態において、前記画素信号読出し部によってｊ番目（ｊは１以上Ｍ以下の整数）の単位画素ブロックからｉ回目（ｉはＮ＋１以上の整数）に読み出された画素信号をＰ（ｉ、ｊ）とするとき、前記画像生成部は、Ｐ（ｉ，ｊ）とＰ（ｉ−１，ｊ）との差の絶対値が予め設定された値よりも大きい場合には、Ｐ（ｉ，ｊ）−Ｐ（ｉ−Ｎ＋１，ｊ）×（Ｎ−１）／Ｎを、ｊ番目の単位画素ブロックにおけるｉ回目の読出し時点での各画素の画素値を示す信号として前記画像を生成する。

ある実施形態において、前記画像生成部は、Ｐ（ｉ，ｊ）とＰ（ｉ−１，ｊ）との差の絶対値が予め設定された値よりも大きい場合には、Ｐ（ｉ＋ｋ，ｊ）−Ｐ（ｉ＋ｋ−１，ｊ）＋（ｋ×Ｐ（ｉ＋ｋ−Ｎ，ｊ）−（ｋ−１）×Ｐ（ｉ＋ｋ−Ｎ−１，ｊ））／Ｎ （ｋは１以上Ｎ未満の整数）を、ｊ番目の単位画素ブロックにおけるｉ＋ｋ回目の読出し時点での各画素の画素値を示す信号として前記画像を生成する。

ある実施形態において、前記画素信号読出し部は、被写体の明るさに応じて前記時間間隔Ｔを変化させる。

ある実施形態において、各単位画素ブロックの配置エリアの形状は十字形である。

ある実施形態において、撮像装置は、前記単位画素ブロックのサイズで規定される空間周波数よりも高い周波数成分を前記画像から除去するための光学的ローパスフィルタを備える。

ある実施形態において、前記画像生成部は、前記単位画素ブロックのサイズで規定される空間周波数よりも高い周波数成分を前記画像から除去するローパスフィルタ処理を行う。

本発明の固体撮像素子は、撮像面に２次元状に配列された複数の画素を含む画素アレイであって、各々がＮ個（Ｎは２以上の整数）の画素を含むＭ個（Ｍは２以上の整数）の単位画素ブロックに分割された画素アレイと、各画素から一定の時間間隔Ｔごとに画素信号を読出す画素信号読出し部であって、各単位画素ブロックに含まれる前記Ｎ個の画素からそれぞれ異なるタイミングで前記画素信号を読み出す画素信号読出し部とを備える。

本発明の動画生成方法は、撮像面に２次元状に配列された複数の画素を含む画素アレイであって、各々がＮ個（Ｎは２以上の整数）の画素を含むＭ個（Ｍは２以上の整数）の単位画素ブロックに分割された画素アレイと、各画素から一定の時間間隔Ｔごとに画素信号を読出す画素信号読出し部であって、各単位画素ブロックに含まれる前記Ｎ個の画素からそれぞれ異なるタイミングで前記画素信号を読み出す画素信号読出し部とを備える撮像装置によって取得された信号に基づいて動画を生成する方法であって、各単位画素ブロックにおいて、連続して読み出された２つの画素信号の差分が規定値よりも大きいか否かを判断するステップと、前記差分が前記規定値よりも大きい場合に、相対的に低い解像度で相対的に高いフレームレートの動画を生成し、前記差分が前記規定値よりも小さい場合に、相対的に高い解像度で相対的に低いフレームレートの動画を生成するステップとを含む。

本発明の動画生成プログラムは、撮像面に２次元状に配列された複数の画素を含む画素アレイであって、各々がＮ個（Ｎは２以上の整数）の画素を含むＭ個（Ｍは２以上の整数）の単位画素ブロックに分割された画素アレイと、各画素から一定の時間間隔Ｔごとに画素信号を読出す画素信号読出し部であって、各単位画素ブロックに含まれる前記Ｎ個の画素からそれぞれ異なるタイミングで前記画素信号を読み出す画素信号読出し部とを備える撮像装置によって取得された信号に基づいて動画を生成するためのプログラムであって、各単位画素ブロックにおいて、連続して読み出された２つの画素信号の差分が規定値よりも大きいか否かを判断するステップと、前記差分が前記規定値よりも大きい場合に、相対的に低い解像度で相対的に高いフレームレートの動画を生成し、前記差分が前記規定値よりも小さい場合に、相対的に高い解像度で相対的に低いフレームレートの動画を生成するステップとを含む。

本発明の撮像装置および固体撮像素子によれば、撮像素子内部で画素信号の加算処理を行うことなく、高フレームレートの動画を生成することが可能となる。さらに、本発明の１つの実施形態によれば、被写体に動きがない場合は高解像度かつ光利用率の高い画像を生成し、被写体に動きがある場合は低解像度かつ高フレームレートの動画を生成することができる。

本発明の撮像装置の基本構成例を示すブロック図 本発明の撮像装置の各画素における信号蓄積時間の一例を示す図 本発明の実施形態１における撮像装置の概略構成を示すブロック図 本発明の実施形態１におけるレンズと撮像装置の配置を示す模式図 本発明の実施形態１における画素配列の一例を示す図 本発明の実施形態１における画素配列の他の例を示す図 本発明の実施形態１における画像生成方法を示すフローチャート 本発明の実施形態１における単位画素ブロック、読出し信号線、出力信号線を示す図 本発明の実施形態１における固体撮像素子の各画素における信号を示す図 本発明の実施形態１における固体撮像素子の１つの単位画素ブロックにおける信号読み出しタイミングを示すタイミングチャート 本発明の実施形態２における単位画素ブロックを示す平面図 本発明の実施形態２における隣接する複数の単位画素ブロックの配置関係を示す平面図

本発明の好ましい実施形態を説明する前に、まず、本発明の基本原理を簡単に説明する。

図１は、本発明の撮像装置の概略構成の例を示すブロック図である。撮像装置は、撮像面に２次元状に配列された複数の画素２０を含む画素アレイ２００と、各画素から画素信号を読み出す画素信号読出し部３０と、画像生成部３２とを備えている。図示される例では、画素アレイ２００および画素信号読出し部３０は、固体撮像素子７に含まれているが、画像信号読出し部３０の一部が固体撮像素子７の外部に設けられていてもよい。

画素アレイ２００は、複数の単位画素ブロック４０に分割され、各単位画素ブロック４０は、複数の画素２０を含む。本明細書において、画素アレイ２００に含まれる単位画素ブロック４０の数をＭ個（Ｍは２以上の整数）、各単位画素ブロック４０に含まれる画素２０の数をＮ個（Ｎは２以上の整数）とする。すなわち、画素アレイ２００にはＭ×Ｎ個の画素２０が含まれる。各画素２０は、露光中に入射する光を受け、受けた光の量（受光量）に応じた光電変換信号（画素信号）を出力する。なお、画素アレイ２００に含まれる画素２０のうち、画像生成に用いられる画素の数はＭ×Ｎ個であるが、画素アレイ２００には画像生成に用いられない画素が含まれていてもよい。

画素信号読出し部３０は、各画素２０から一定の時間間隔Ｔごとに画素信号を読み出す。ただし、全ての画素２０について同一のタイミングで画素信号を読み出すのではなく、各単位画素ブロック４０内のＮ個の画素からそれぞれ異なるタイミングで画素信号を読み出す。

図２は、１つの単位画素ブロック４０に含まれる各画素２０の信号蓄積時間を示す図である。図２では、例として１つの単位画素ブロック４０に４つの画素２０が含まれるとし（Ｎ＝４）、各画素２０から画素信号が読み出されるタイミングは等間隔（Ｔ／４ごと）であるものとする。但し、本発明はこのような例に限られず、各画素から読み出されるタイミングは等間隔でなくてもよい。第１の画素では、時刻ｔ_nから画素信号が蓄積され、時刻ｔ_n+4で画素信号が読み出される。第２の画素では、時刻ｔ_n+1から画素信号が蓄積され、時刻ｔ_n+5で画素信号が読み出される。第３の画素では、時刻ｔ_n+2から画素信号が蓄積され、時刻ｔ_n+6で画素信号が読み出される。第４の画素では、時刻ｔ_n+3から画素信号が蓄積され、時刻ｔ_n+7で画素信号が読み出される。ここで、Ｔ＝ｔ_n+4−ｔ_n＝ｔ_n+5−ｔ_n+1＝ｔ_n+6−ｔ_n+2＝ｔ_n+6−ｔ_n+3である。各画素２０について、画素信号が読み出されると、蓄積された信号がリセットされ、再び信号の蓄積が始まる。以後、各画素において時間間隔Ｔごとに画素信号の読出しが行われる。

画素信号読出し部３０によって各画素２０から上記のタイミングで画素信号が読み出されることにより、蓄積時間がＴ／ＮずつずれたＮ個の画素信号が時間Ｔごとに得られる。このようにして時間Ｔの間に単位画素ブロック４０ごとにＮ個ずつ得られる合計Ｍ×Ｎ個の画素信号から、画像生成部３２は１つの画像を生成することができる。この画像は、時間間隔Ｔを被写体の明るさに応じて十分に長く設定すれば、十分に光量が確保された画像となる。また、画素２０ごとに読み出された画素信号に基づいて画像が生成されるため、解像度の高い画像が得られる。このように、本発明によれば、高解像度かつ高感度の画像（静止画）を得ることができる。

さらに、画素信号を読み出すタイミングが画素ごとに異なるため、画像生成部３２は、１つの単位画素ブロック４０において読み出される画素信号を用いた演算により、連続する２回の読出し時刻の間に蓄積した信号量を算出することができる。演算処理の詳細は後述する。その信号量をその単位画素ブロックに含まれる全画素の画素値とすれば、解像度は低下するが、時間間隔Ｔで規定されるフレームレートよりも高いフレームレートの動画を生成することができる。時間間隔Ｔを動画生成において用いられる通常のフレーム間隔に設定すれば、通常よりもさらに高いフレームレートの動画を生成することもできる。

さらに、画像生成部３２は、各画素信号を比較することにより、被写体の動きの有無を検知することが可能となる。以下、被写体の動きの有無に応じて撮像方式を変える場合の処理の例を説明する。まず、画像生成部３２は、各単位画素ブロック４０において連続して読み出された２つの画素信号間の差分演算を行い、差分が規定値よりも大きいか否かで被写体の動きの有無を検知する。被写体が動いていないと判断した場合、画像生成部３２は、上記の静止画を取得する方法により画像を生成する。この場合、時間間隔Ｔで規定されるフレームレートで動画が生成される。被写体が動いていると判断した場合、画像生成部３２は、上記２つの画素信号間の演算によって得られる信号をその単位画素ブロック４０における各画素の画素信号として画像を生成する。その後も同様の信号演算を画素信号の読出しタイミングに応じて実行すれば、解像度は低下するが、被写体が動いていないと判断された場合よりも高いフレームレートの動画が生成される。画像生成部３２による動画生成方法の詳細は後述する。

以上の処理を行えば、被写体の動きが小さい場合は高解像度かつ高感度の撮影を行い、被写体の動きが大きい場合は解像度は低くなるが相対的に高フレームレートの動画の撮影を行うことが可能となる。

以下、図３〜１０Ｂを参照しながら本発明の実施形態を説明する。以下の説明において、複数の図にわたって共通する要素には同一の参照符号を付している。

（実施形態１）
図３は、本発明の第１の実施形態による撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式のビデオカメラであり、撮像部１００と、撮像部１００から送出される信号に基づいて映像信号（ビデオ信号）を生成する映像信号処理部１０とを備えている。

撮像部１００は、被写体を結像するための集光レンズ５と、光学フィルタ６と、集光レンズ５および光学フィルタ６を通して結像した光情報を、光電変換によって電気信号に変換する固体撮像素子７（イメージセンサ）とを備えている。撮像部１００はさらに、固体撮像素子７を駆動するための基本信号を発生するとともに固体撮像素子７からの出力信号を受信して映像信号処理部１０に送出する信号発生／受信部８と、信号発生／受信部８によって発生された基本信号に基づいて撮像素子７を駆動する素子駆動部９とを備えている。なお、素子駆動部９は、信号発生／受信部８に組み込まれていてもよい。

集光レンズ５は、公知のレンズであり、複数のレンズを有するレンズユニットであり得る。光学フィルタ６は、画素配列が原因で発生するモアレパターンを低減するための水晶ローパスフィルタに、赤外線を除去するための赤外カットフィルタを含んでいる。撮像素子７は、典型的にはＣＭＯＳセンサであり、公知の半導体製造技術によって製造される。信号発生／受信部８および素子駆動部９は、ＬＳＩから構成される。

映像信号処理部１０は、撮像部１００から送出される信号を処理してビデオ信号を生成するビデオ信号生成部１２と、ビデオ信号の生成過程で発生する各種のデータを格納する画像メモリー部１１と、生成したビデオ信号を外部に送出するビデオインターフェース部１３とを備えている。ビデオ信号生成部１２は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、ビデオ信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。本実施形態では、ビデオ信号生成部１２や画像メモリー部１１が本発明における画像生成部３２に含まれる。画像メモリー部１１は、ＤＲＡＭなどによって構成される。画像メモリー部１１は、撮像部１００から送出された信号を記録するとともに、ビデオ信号生成部１２によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、ビデオインターフェース部１３を介して不図示の記録媒体や表示部などに送出される。

本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。また、以上の構成はあくまでも一例であり、本発明においては、固体撮像素子７における画素信号の読出し動作に関係しない構成要素には、公知の要素を好適に組み合わせて用いることができる。

図４は、露光中に集光レンズ５を透過した光が撮像素子７に入射する様子を模式的に示す図である。図４では、簡単のため集光レンズ５および撮像素子７以外の構成要素の記載は省略されている。また、レンズ５は、一般には光軸方向に並んだ複数のレンズによって構成され得るが、簡単のため、単一のレンズとして描かれている。撮像素子７の撮像面７ａには、２次元状に配列された複数の画素を含む画素アレイが配置されている。各画素は、典型的にはフォトダイオードを含む電子回路であり、光電変換によって入射光量に応じた画素信号を出力する。撮像面７ａには集光レンズ５および光学フィルタ６を透過した光（可視光）が入射する。

図５Ａは、本実施形態における画素配列を示す平面図である。画素アレイ２００は、図５Ａに示すように、撮像面７ａ上に正方格子状に配列された複数の画素を有している。画素アレイ２００は、複数の単位画素ブロック４０に分割され、各単位画素ブロック４０は、２行２列に配置された４つの画素２０ａ、２０ｂ、２０ｃ、２０ｄを含んでいる。なお、画素配列は、このような正方格子状の配列ではなく、例えば、図５Ｂに示すような斜交型の配列であってもよいし、他の配列であってもよい。

以下、図６〜９を参照しながら、画素信号の処理、蓄積時間、読み出し方法を説明する。

図６は、本実施形態の撮像装置によって動画を生成する際の概略手順を示すフローチャートである。撮影が開始すると、各画素には入射光量に応じた電荷が蓄積される（Ｓ１）。次に、各単位画素ブロックにおいて、１画素ずつ順番に画素信号が一定の時間間隔Ｔで読み出される（Ｓ２）。各単位画素ブロックにおいて、読み出された画素信号と、直前に読み出された画素信号との差分が規定値より大きいか否かが判定される（Ｓ３）。差分が規定値以下である場合、被写体は動いていないと判断され、各画素の画素信号の値をそのまま当該画素の画素値として画像が生成される。このようにして時間間隔Ｔごとに画像が生成される。これにより、高解像、低フレームレートの動画が生成される（Ｓ４）。一方、差分が規定値よりも大きい場合、被写体が動いていると判断し、後述する処理により、低解像、高フレームレートの動画が生成される（Ｓ５）。

以下、本実施形態における画素信号の読出し方法を説明する。

図７は、１つの単位画素ブロック４０に含まれる４つの画素２０ａ、２０ｂ、２０ｃ、２０ｄに接続された読出し信号線５０ａ、５０ｂ、５０ｃ、５０ｄと、出力信号線５２ａ、５２ｂとを模式的に示す図である。読出し信号は、素子駆動部９によって生成され、入力端子２１ａ、２１ｂ、２１ｃ、２１ｄを介してそれぞれ画素２０ａ、２０ｂ、２０ｃ、２０ｄに与えられる。読出し信号が各画素に与えられると、各画素は、蓄積された電荷量に応じた画素信号を出力する。画素２０ａ、２０ｃから出力される画素信号は、それぞれ出力端子２２ａ、２２ｃを介して出力信号線５２ａに与えられる。画素２０ｂ、２０ｄから出力される画素信号は、それぞれ出力端子２２ｂ、２２ｄを介して出力信号線５２ｂに与えられる。本実施形態では、読出し信号線５０ａ〜５０ｄおよび出力信号線５２ａ、５２ｂが本発明における信号読出し部３０の一部として機能する。なお、読出し信号線および出力信号線の構成は図７に示す構成に限らず、後述する画素信号の読出しが可能であればどのような構成であってもよい。

読出し信号は、全ての画素に対して一定の時間間隔Ｔごとに素子駆動部９から入力される。ここで、入力のタイミングは画素ごとにＴ／４ずつずれている。すなわち、時刻ｔ_nに画素２０ａに読出し信号が与えられるとすると、画素２０ｂには時刻ｔ_n+1＝ｔ_n＋Ｔ／４に、画素２０ｃには時刻ｔ_n+2＝ｔ_n＋２Ｔ／４に、画素２０ｂには時刻ｔ_n+3＝ｔｎ＋３Ｔ／４にそれぞれ読出し信号が与えられる。以後、各画素に対して時間間隔Ｔごとに読出し信号が与えられる。

図８は、本実施形態における固体撮像素子７の各画素から時間Ｔごとに出力される画素信号をそのまま各画素の画素値として生成された画像のうち連続する２フレーム分を模式的に示す図である。画像３は、画像２の１フレーム前の画像を表している。ここで、画像の各画素に記載されている記号Ｐ（ｉ，１）などは、その画素の画素値を表している。図８において、画像２の左上端の４画素（Ｐ（ｉ，１）、Ｐ（ｉ＋１，１）、Ｐ（ｉ＋２，１）、Ｐ（ｉ＋３，１））を１単位とする単位画素ブロック１をＰ（ｘ，１）で表している。ここで、ｘ＝ｉ，ｉ＋１，ｉ＋２，ｉ＋３である。動画として撮像する場合はこれらの４画素を１画素と見なす。ここで、画素信号Ｐ（ｉ，ｊ）における添え字ｊは、１画像全体の中の単位画素ブロックの番号であり、時間には不変の数字である。一方、添え字ｉは単位画素ブロックの中の画素の読出しの順番を示す番号であり、時間の経過と共に変わる数字である。例えば、単位画素ブロック１において、信号Ｐ（ｉ−４，１）、Ｐ（ｉ−３，１）、Ｐ（ｉ−２，１）、Ｐ（ｉ−１，１）がそれぞれ第１〜第４の画素から時間間隔Ｔ／４ずつずれて順番に読み出される。その後、再び第１〜第４の画素から信号Ｐ（ｉ，１）、信号Ｐ（ｉ＋１，１）、信号Ｐ（ｉ＋２，１）、信号Ｐ（ｉ＋３，１）がそれぞれ時間間隔Ｔ／４ずつずれて順番に読み出される。

本実施形態では、添え字ｊに関して、図８における左上端の単位画素ブロック１をｊ＝１として、列方向（左側から右側への方向）へと数字を増加させ、右端に達したら、行方向（図７における上側から下側への方向）に繰り返して付番する。添え字ｉに関しては、各単位画素ブロックに含まれる左上端の画素の番号をｉとすると、右上端の画素の番号はｉ＋１で、左下端の画素の番号はｉ＋２、右下端の画素の番号はｉ＋３である。従って、画像全体の中の左上端の画素信号Ｐ（ｉ，１）について、１フレーム前はＰ（ｉ−４，１）、１フレーム後はＰ（ｉ＋４，１）で表記される。

図９は、本実施形態における固体撮像素子７の画素アレイ２００の左上端の単位画素ブロック１の各画素における信号読み出しタイミングの例を示すタイミングチャートである。通常のフレームレートで動画を生成する場合の画素の読出し時刻をｔ_n、ｔ_n+1、ｔ_n+2、・・・とすると、本実施形態では１画素の信号蓄積時間Ｔ（＝ｔ_n+4−ｔ_n）は、通常の蓄積時間の４倍の長さに相当する。こうすることによって複数フレーム分の情報を多重蓄積できる。このような信号蓄積はいずれの画素でも同様に行われるが、信号蓄積を開始するタイミングおよび蓄積された画素信号を読み出すタイミングは単位画素ブロックの中の画素によって異なる。なお、本実施形態では、信号蓄積時間Ｔは、通常の蓄積時間の４倍の長さに設定されるが、本発明においては、信号蓄積時間Ｔは任意の値に設定され得る。信号蓄積時間Ｔは、好ましくは、被写体の明るさに応じて最適な時間が設定される。

図９の例では、画素信号Ｐ（ｉ，１）は画像の左上端の画素で時刻ｔ_nから信号蓄積され、時刻ｔ_n+4で読み出される。また、画素信号Ｐ（ｉ＋１，１）は左上端画素の右隣の画素で時間ｔ_n+1から信号蓄積され、時間ｔ_n+5で読み出される。その他の２画素についても同様で信号蓄積を行うタイミングがＴ／４（＝ｔ_n+1−ｔ_n）ずつずれて、読み出すタイミングも同じ時間だけずれる。

以上の構成により、集光レンズ５で結像された光情報は、固体撮像素子７で光電変換された後、信号発生／受信部８によって読み出され、画像メモリー部１１に保存される。各単位画素ブロックにおいて、画素ごとに読出し時刻がＴ／４ずつずれるため、１フレーム分の画像データが揃うまでＴ（＝ｔ_n+4−ｔ_n）の時間を要する。画像データは、画像メモリー部１１に１フレーム分のデータが揃った時点でビデオ信号生成部１２に送られる。送られた画像データに基づき、ビデオ信号生成部１２はビデオ信号を生成し、生成されたビデオ信号は、ビデオインターフェース部１３を通して外部に送出される。

次に、ビデオ信号生成部１２における信号処理を説明する。画像メモリー部１１に１画像のデータが保存され、その後ビデオ信号生成部１２にデータが送信された後、画像のフレーム単位で信号処理が行われる。信号処理はフレーム単位で行われるが、各々の単位画素ブロックについて同時に行われる。以下の説明では、例として画像の左上端の単位画素ブロック１で行われる信号処理を説明する。

全ての単位画素ブロックの各画素信号について直前に読み出された画素信号のデータと比較してそれらの差が予め設定された値Ｚｔｈより全て小さければ、各画素信号の値をその画素の画素値として１画像のビデオ信号が生成される。すなわち、画像が静止状態と判断され、４コマに１コマ（時間Ｔに１画像）しか出力されないが、感度が通常の４倍に向上し、かつ解像度の低下のない画像が作られる。したがって、この場合、通常の１／４のフレームレートの動画が生成されることになる。

一方、全ての単位画素ブロックについて直前に読み出された画素信号のデータと比較してそれらの差が予め設定された値Ｚｔｈより大きいものが１つでもある場合、被写体に動きがあると判断される。この場合、以下の処理によって１フレームごとに画像が作られる。ここで、例として、画素信号Ｐ（ｉ，１）について、時刻ｔ_n+3からｔ_n+4にかけて画素値に変化があった場合を考える。すなわち、図９に示すように、時刻ｔ_n+3までは時間Ｔ／４あたりＰ０の量の信号が各画素に蓄積するものとする。さらに、時刻ｔ_n+3からｔ_n+4の間はＰ１、時刻ｔ_n+4からｔ_n+5の間はＰ２、時刻ｔ_n+5からｔ_n+6の間はＰ３、時刻ｔ_n+6からｔ_n+7の間はＰ４の量の信号が各画素に蓄積するものと仮定する。ここで、前提として、１つの単位画素ブロックの範囲では画素信号は変わらないとする。この前提により、Ｐ（ｉ，１）が読み出される１つ前の画素信号Ｐ（ｉ−１，１）までは静止状態と判断できる。Ｐ（ｉ，１）は時間ｔ_n〜ｔ_n+4の間で蓄積された信号であり、Ｐ（ｉ−１，１）は時間ｔ_n-1〜ｔ_n+3の間で蓄積された信号であるので、時間ｔ_n+3〜ｔ_n+4の間に蓄積された信号Ｐ１は以下の式１により作ることができる。
（式１） Ｐ１＝Ｐ（ｉ，１）−Ｐ（ｉ−１，１）×３／４

同様の処理により、時間ｔ_n+4〜ｔ_n+5の間の信号Ｐ２、時間ｔ_n+5〜ｔ_n+6の間の信号Ｐ３、時間ｔ_n+6〜ｔ_n+7の間の信号Ｐ４も、それぞれ以下の式２〜４で作ることができる。
（式２） Ｐ２＝Ｐ（ｉ＋１，１）−Ｐ（ｉ，１）＋Ｐ（ｉ−３，１）／４
（式３） Ｐ３＝Ｐ（ｉ＋２，１）−Ｐ（ｉ＋１，１）＋（２Ｐ（ｉ−２，１）−Ｐ（ｉ−３，１））／４
（式４） Ｐ４＝Ｐ（ｉ＋３，１）−Ｐ（ｉ＋２，１）＋（３Ｐ（ｉ−１，１）−２Ｐ（ｉ−２，１））／４

その結果、単位画素ブロック１の画素値を上記のＰ１〜Ｐ４の信号で代表すれば、解像度は低下するが、フレームごとに画素値が得られる。時間ｔ_n+7以降の信号についても、式６と同様の演算によって求められる。以上の処理は他の単位画素ブロックについても同様に行われる。その結果、解像度は低下するが、通常のフレームレートの動画が生成される。

なお、上記の式３、４の代わりに、それぞれ次の式５、６に示す演算によって信号Ｐ３、Ｐ４を求めてもよい。
（式５） Ｐ３＝Ｐ（ｉ＋２，１）−Ｐ（ｉ＋１，１）＋Ｐ（ｉ−２，１）／４
（式６） Ｐ４＝Ｐ（ｉ＋３，１）−Ｐ（ｉ＋２，１）＋Ｐ（ｉ−１，１）／４

上記の説明においては、全ての単位画素ブロックについて直前に読み出された画素信号との比較を行い、差分が規定値よりも大きいか否かで被写体が動いているか否かを判断するが、他の方法で判断を行ってもよい。例えば、単位画素ブロックごとに上記の判断を行い、画像の動きのある部分だけを低解像度かつ相対的に高いフレームレートの動画としてもよい。また、被写体の動きの有無の検知について、直前の画素信号ではなく、１フレーム前の画素信号との比較に基づいて判断してもよい。

また、被写体に動きがないと判断された場合、被写体に動きがあると判断されるまでは新たな画像を生成しないように構成されていてもよい。さらに、一旦画像が生成された後は、被写体に動きがあるか否かの判断をしばらく行わず、所定時間（例えば数秒）経過後、再び上記の判断を行ってもよい。

以上のように、本実施形態によれば、固体撮像素子７の画素アレイを複数の単位画素ブロックに分割し、各単位画素ブロックの各画素における蓄積時間を通常より長くとり、蓄積タイミングを変えることにより、時間の異なる多重画像が得られる。その結果、被写体に動きがなければ、相対的に光利用率が高く、低フレームレートの動画が得られる。被写体に動きがあれば、式１〜式４に基づく演算により、解像度は低下するが、相対的に高いフレームレートで動画が得られる。このように、本発明によれば、被写体の動きの有無に応じて撮像方式を帰ることができるという従来にない優れた効果を奏する。

なお、本実施形態においては、被写体に動きがあると判定された場合、単位画素ブロックの範囲では画素信号は変わらないとし、読み出されたＰ（ｉ−１，１）までの画素信号に関して何も処理が行われない。しかし、次の式７に示す演算によって平均画素値Ｐｍを算出し、Ｐｍを時刻ｔ_n-1からｔ_n+3までの画像信号として以降の処理で用いても構わない。
（式７） Ｐｍ＝（Ｐ（ｉ−４，１）＋Ｐ（ｉ−３，１）＋Ｐ（ｉ−２，１）＋Ｐ（ｉ−１，１））／４

また、単位画素ブロックを２行２列に配置された４つの画素で構成されるものとしたが、これに限るものではなく、単位画素ブロックに含まれる画素数は複数であれば何個でもよい。

各単位ブロックに含まれる画素数がＮ（Ｎは２以上の整数）である場合、本実施形態の撮像装置は以下のように一般化される。まず、単位画素ブロックの数をＭとし、各単位画素ブロックに含まれるＮ個の画素から、時間Ｔ／Ｎずつ異なるタイミングで画素信号が読み出されるように素子駆動部９は読出し信号を生成する。次に、信号発生／受信部８は、時間Ｔ／Ｎずつ異なるタイミングでこれらの画素から順次画素信号を読み出す。ここで、ｊ番目（ｊは１以上Ｍ以下の整数）の単位画素ブロックからｉ回目（ｉはＮ＋１以上の整数）に読み出された画素信号をＰ（ｉ，ｊ）とする。ビデオ信号生成部１２は、Ｐ（ｉ，ｊ）とＰ（ｉ−１，ｊ）との差の絶対値が予め設定された値Ｚｔｈ以下の場合、被写体は静止していると判断する。そして、時間Ｔの間に各画素に蓄積されたＭ×Ｎ個の画素信号に基づいて１つの画像を生成する。一方、Ｐ（ｉ，ｊ）とＰ（ｉ−１，ｊ）との差の絶対値が予め設定された値Ｚｔｈよりも大きい場合、被写体は動いていると判断する。そして、以下の式８に示す信号Ｐｉｊをｊ番目の単位画素ブロックにおけるｉ回目の読出し時点での各画素の画素値を示す信号として処理する。
（式８）Ｐｉｊ＝Ｐ（ｉ，ｊ）−Ｐ（ｉ−Ｎ＋１，ｊ）×（Ｎ−１）／Ｎ

さらに、以下の式９に示す信号Ｐｉｊｋを、ｊ番目の単位画素ブロックにおけるｉ＋ｋ回目（ｋは１以上Ｎ未満の整数）の読み出し時点での各画素の画素値を示す信号として処理する。
（式９）Ｐｉｊｋ＝Ｐ（ｉ＋ｋ，ｊ）−Ｐ（ｉ＋ｋ−１，ｊ）＋（ｋ×Ｐ（ｉ＋ｋ−Ｎ，ｊ）−（ｋ−１）×Ｐ（ｉ＋ｋ−Ｎ−１，ｊ））／Ｎ

以上の処理により、各単位画素ブロックに含まれる画素の数がＮの場合においても、被写体の動きに応じて適切な撮像方法が選択され、高品質の動画を生成することができる。

なお、本実施形態の撮像装置は、動画撮影中に被写体の動きの有無を検知して撮像方式を動的に変化させる機能を備えているが、本発明では必ずしもこのような機能を備えている必要はない。例えば、上記の説明において被写体に動きがあると判断した場合に実行される方式で動画を生成する機能のみを備えていてもよい。また、上記の説明において、被写体が動いていないと判断した場合に行われる処理によって静止画を生成する機能のみを備えていてもよい。

本実施形態では、各単位画素ブロック４０に含まれる各画素にはほぼ等しい量の光が入射することを前提としている。これは、光学フィルタ６に含まれる光学ローパスフィルタによって各画素ブロック４０のサイズで規定される空間周波数よりも高い周波数の画像成分が除去されることによって実現できる。しかし、撮像装置は、光学ローパスフィルタを備えていなくても、読み出された画素信号に基づいて画像の高周波成分を除去するローパスフィルタ処理を行うことによって同様の効果を得ることができる。

本実施形態における信号演算処理は、ビデオ生成部１２によって実行されるが、撮像装置は必ずしも上記の信号演算処理を行うように構成されていなくてもよい。例えば、撮像装置は画素信号の生成だけを行い、画素信号の読出しおよびビデオ信号の生成は外部の情報処理装置に実行させてもよい。その場合、例えば、本実施形態における信号演算処理を規定するプログラムを当該情報処理装置に実行させることによって実現可能である。

（実施形態２）
次に本発明の第２の実施形態について、図面を用いて説明する。図１０Ａ、１０Ｂは本実施形態における単位画素ブロックを示している。図１０Ａは１つの単位画素ブロック４を示し、図１０Ｂは複数の単位画素ブロック４が隣接して配置された状況を示す画素平面図である。ここで、本実施形態と実施形態１との相違点は単位画素ブロックに含まれる画素数および単位画素ブロックの配置エリアの形状だけであり、撮像装置の構成や信号処理については全て同じである。よって、以下の説明では、実施形態１と異なる点のみを説明する。

図１０Ａに示すように、本実施形態における単位画素ブロック４は、５画素を用いて十字型の形状を有している。また、図１０Ｂに示すように、隣接の単位画素ブロック同士を接近させている。その結果、単位画素ブロック４の中心が隣接の単位画素ブロックの重心と水平及び垂直方向において接近し、１画素離れただけである。単位画素ブロック４の形状を実施形態１のように２×２画素の四角形状にした場合は、隣接領域との中心間の間隔は２画素であるため、本実施形態では１画素分中心間の間隔が近づいている。そのため、本実施形態の撮像装置は、水平及び垂直方向において、実施形態１の撮像装置よりも解像度を向上できる。すなわち、十字型の単位画素ブロックを用いた本実施形態の撮像装置によって生成される動画は、四角形状の単位画素ブロックを用いた実施形態１の撮像装置によって生成される動画よりも解像度が向上することになる。

以上のように本実施形態によれば、各単位画素ブロックが十字型に配置された５画素を含み、単位画素ブロック間の中心を接近させることにより、動画における解像度が向上するという効果が得られる。

なお、本実施形態では、各単位画素ブロックの数は５であるが、各単位画素ブロックの配置エリアの形状が十字型であれば、それに含まれる画素数は５に限らず、６よりも多くてもよい。

本発明の固体撮像素子および撮像装置は、固体撮像素子を用いるすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに利用可能である。

１ 画像の左上端の４画素（Ｐ（ｉ，１）、Ｐ（ｉ＋１，１）、Ｐ（ｉ＋２，１）、Ｐ（ｉ＋３，１））から成る単位画素ブロック
２ 画像の１フレーム
３ 画像の１フレーム
４ ５画素からなる十字型の単位画素ブロック
５ 集光レンズ
６ 光学板
７ 固体撮像素子
８ 信号発生及び画素信号受信部
９ 素子駆動部
１０ 映像信号処理部
１１ 画像メモリー部
１２ ビデオ信号生成部
１３ ビデオインターフェース部
２０ 画素
３０ 画素信号読出し部
３２ 画像生成部
４０ 単位画素ブロック
５０ａ、５０ｂ、５０ｃ、５０ｄ 読出し信号線
５２ａ、５２ｂ 出力信号線
１００ 撮像部
２００ 画素アレイ

本発明は、画像の空間分解能と時間分解能の関係を利用した撮像技術に関する。

近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と呼ぶことがある。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の急速な進歩により、固体撮像素子における画素構造の微細化が進んでいる。その結果、固体撮像素子の画素及び駆動回路の高集積化が図られ、固体撮像素子の多画素化が進んでいる。特に最近では、僅かの年数の間に固体撮像素子の画素数が数１００万画素から１０００万画素を超えるに至り、さらには数１０００万画素の固体撮像素子が開発されようとしている。

このような多画素化への流れの一方で、人間の視覚特性の観点から１０００万画素も必要ないという考え方もある。人間の網膜には光の色（ＲＧＢ）を感知する錐体細胞と明暗を感知する桿体細胞がある。錐体細胞および桿体細胞の数は、それぞれ約６５０万個、および約１億２０００万個と言われている。このことから、色の判別という観点では、人間の目は６５０万画素のカラーカメラと同等と考えられる。また、表示装置の観点からも、現在の固体撮像素子の画素数は既に十分に多いと考えられる。例えば、フルハイビジョンの画像の解像度は１９２０×１０８０であり、さらに高精細な画像でも４０９６×２１６０程度の解像度である。それらの画像を表示できる表示装置の普及率を考慮しても、表示装置の高解像度化の進展速度は現在開発されている固体撮像素子の多画素化の進展速度を凌ぐものではない。加えて、１画像の信号読み出し時間は画素数に比例して長くなる。同様に、画像をフレーム単位で記録する場合も、そのデータ量は画素数に比例して多くなる。

すなわち、画素数の多い固体撮像素子を用いたカメラでは、確かに解像度は向上するが、人間の視覚能力、表示装置の分解能、信号読み出し時間や画像データの記録量を考慮すると、あまりにも多い画素は必ずしも必要ないと考えられる。そのため、解像度は多少犠牲にしても、その他の特性を向上させる方がよいという考えもある。

解像度を犠牲にしてもよいと考えると、複数の画素を１画素として処理することができる。例えば、特許文献１に開示されているように、複数画素の信号を加算することにより、撮像感度を高めることができる。また、多くの画素信号を加算することで低輝度の被写体に対応させ、低照度時のダイナミックレンジを向上させることもできる。これは、特許文献２や特許文献３に開示されている、開口率の異なる複数の画素を有する撮像素子を使う場合と同じ効果を生じる。

特開２００１−３４６１０３号公報 特開平４−２９８１７５号公報 特開２００６−１７４４０４号公報

画素数の多い撮像素子を用いた撮像装置では、必要以上に存在する画素を利用し、上記の従来技術を利用すれば、解像度を犠牲にすることになるが、撮像の感度やダイナミックレンジを向上させることができる。しかしながら、撮像素子内部で画素信号の加算処理を行い、出力データを削減しなければ、動画の表示レート（フレームレート）に追従できない場合がある。このことは、画素数の多い撮像素子を用いて動画を撮像する場合、解像度を犠牲にし、さらに撮像素子内部で画素信号の加算処理を行わなければ、感度等の性能向上が得られないことを意味している。

本発明は、上記課題に鑑み、撮像素子内部で画素信号の加算処理を行うことなく、高フレームレートの動画を生成する新たな撮像技術を提供する。

本発明の撮像装置は、撮像面に２次元状に配列された複数の画素を含む画素アレイであって、各々がＮ個（Ｎは２以上の整数）の画素を含むＭ個（Ｍは２以上の整数）の単位画素ブロックに分割された画素アレイと、各画素から一定の時間間隔Ｔごとに画素信号を読出す画素信号読出し部であって、各単位画素ブロックに含まれる前記Ｎ個の画素からそれぞれ異なるタイミングで前記画素信号を読み出す画素信号読出し部と、前記画素信号読出し部から読み出された各画素信号に基づいて画像を生成する画像生成部とを備えている。

ある実施形態において、前記画素信号読出し部は、各単位画素ブロックに含まれる前記Ｎ個の画素から時間Ｔ／Ｎずつ異なるタイミングで前記画素信号を読み出す。

ある実施形態において、前記画像生成部は、前記時間間隔Ｔの間に前記画素信号読出し部によって読み出されたＭ×Ｎ個の画素信号に基づいて前記画像を生成する。

ある実施形態において、前記画素信号読出し部によってｊ番目（ｊは１以上Ｍ以下の整数）の単位画素ブロックからｉ回目（ｉはＮ＋１以上の整数）に読み出された画素信号をＰ（ｉ、ｊ）とするとき、前記画像生成部は、Ｐ（ｉ，ｊ）とＰ（ｉ−１，ｊ）との差の絶対値が予め設定された値よりも大きい場合には、Ｐ（ｉ，ｊ）−Ｐ（ｉ−Ｎ＋１，ｊ）×（Ｎ−１）／Ｎを、ｊ番目の単位画素ブロックにおけるｉ回目の読出し時点での各画素の画素値を示す信号として前記画像を生成する。

ある実施形態において、前記画像生成部は、Ｐ（ｉ，ｊ）とＰ（ｉ−１，ｊ）との差の絶対値が予め設定された値よりも大きい場合には、Ｐ（ｉ＋ｋ，ｊ）−Ｐ（ｉ＋ｋ−１，ｊ）＋（ｋ×Ｐ（ｉ＋ｋ−Ｎ，ｊ）−（ｋ−１）×Ｐ（ｉ＋ｋ−Ｎ−１，ｊ））／Ｎ （ｋは１以上Ｎ未満の整数）を、ｊ番目の単位画素ブロックにおけるｉ＋ｋ回目の読出し時点での各画素の画素値を示す信号として前記画像を生成する。

ある実施形態において、前記画素信号読出し部は、被写体の明るさに応じて前記時間間隔Ｔを変化させる。

ある実施形態において、各単位画素ブロックの配置エリアの形状は十字形である。

ある実施形態において、撮像装置は、前記単位画素ブロックのサイズで規定される空間周波数よりも高い周波数成分を前記画像から除去するための光学的ローパスフィルタを備える。

ある実施形態において、前記画像生成部は、前記単位画素ブロックのサイズで規定される空間周波数よりも高い周波数成分を前記画像から除去するローパスフィルタ処理を行う。

本発明の固体撮像素子は、撮像面に２次元状に配列された複数の画素を含む画素アレイであって、各々がＮ個（Ｎは２以上の整数）の画素を含むＭ個（Ｍは２以上の整数）の単位画素ブロックに分割された画素アレイと、各画素から一定の時間間隔Ｔごとに画素信号を読出す画素信号読出し部であって、各単位画素ブロックに含まれる前記Ｎ個の画素からそれぞれ異なるタイミングで前記画素信号を読み出す画素信号読出し部とを備える。

本発明の動画生成方法は、撮像面に２次元状に配列された複数の画素を含む画素アレイであって、各々がＮ個（Ｎは２以上の整数）の画素を含むＭ個（Ｍは２以上の整数）の単位画素ブロックに分割された画素アレイと、各画素から一定の時間間隔Ｔごとに画素信号を読出す画素信号読出し部であって、各単位画素ブロックに含まれる前記Ｎ個の画素からそれぞれ異なるタイミングで前記画素信号を読み出す画素信号読出し部とを備える撮像装置によって取得された信号に基づいて動画を生成する方法であって、各単位画素ブロックにおいて、連続して読み出された２つの画素信号の差分が規定値よりも大きいか否かを判断するステップと、前記差分が前記規定値よりも大きい場合に、相対的に低い解像度で相対的に高いフレームレートの動画を生成し、前記差分が前記規定値よりも小さい場合に、相対的に高い解像度で相対的に低いフレームレートの動画を生成するステップとを含む。

本発明の動画生成プログラムは、撮像面に２次元状に配列された複数の画素を含む画素アレイであって、各々がＮ個（Ｎは２以上の整数）の画素を含むＭ個（Ｍは２以上の整数）の単位画素ブロックに分割された画素アレイと、各画素から一定の時間間隔Ｔごとに画素信号を読出す画素信号読出し部であって、各単位画素ブロックに含まれる前記Ｎ個の画素からそれぞれ異なるタイミングで前記画素信号を読み出す画素信号読出し部とを備える撮像装置によって取得された信号に基づいて動画を生成するためのプログラムであって、各単位画素ブロックにおいて、連続して読み出された２つの画素信号の差分が規定値よりも大きいか否かを判断するステップと、前記差分が前記規定値よりも大きい場合に、相対的に低い解像度で相対的に高いフレームレートの動画を生成し、前記差分が前記規定値よりも小さい場合に、相対的に高い解像度で相対的に低いフレームレートの動画を生成するステップとを含む。

本発明の撮像装置および固体撮像素子によれば、撮像素子内部で画素信号の加算処理を行うことなく、高フレームレートの動画を生成することが可能となる。さらに、本発明の１つの実施形態によれば、被写体に動きがない場合は高解像度かつ光利用率の高い画像を生成し、被写体に動きがある場合は低解像度かつ高フレームレートの動画を生成することができる。

本発明の撮像装置の基本構成例を示すブロック図 本発明の撮像装置の各画素における信号蓄積時間の一例を示す図 本発明の実施形態１における撮像装置の概略構成を示すブロック図 本発明の実施形態１におけるレンズと撮像装置の配置を示す模式図 本発明の実施形態１における画素配列の一例を示す図 本発明の実施形態１における画素配列の他の例を示す図 本発明の実施形態１における画像生成方法を示すフローチャート 本発明の実施形態１における単位画素ブロック、読出し信号線、出力信号線を示す図 本発明の実施形態１における固体撮像素子の各画素における信号を示す図 本発明の実施形態１における固体撮像素子の１つの単位画素ブロックにおける信号読み出しタイミングを示すタイミングチャート 本発明の実施形態２における単位画素ブロックを示す平面図 本発明の実施形態２における隣接する複数の単位画素ブロックの配置関係を示す平面図

本発明の好ましい実施形態を説明する前に、まず、本発明の基本原理を簡単に説明する。

図１は、本発明の撮像装置の概略構成の例を示すブロック図である。撮像装置は、撮像面に２次元状に配列された複数の画素２０を含む画素アレイ２００と、各画素から画素信号を読み出す画素信号読出し部３０と、画像生成部３２とを備えている。図示される例では、画素アレイ２００および画素信号読出し部３０は、固体撮像素子７に含まれているが、画像信号読出し部３０の一部が固体撮像素子７の外部に設けられていてもよい。

画素アレイ２００は、複数の単位画素ブロック４０に分割され、各単位画素ブロック４０は、複数の画素２０を含む。本明細書において、画素アレイ２００に含まれる単位画素ブロック４０の数をＭ個（Ｍは２以上の整数）、各単位画素ブロック４０に含まれる画素２０の数をＮ個（Ｎは２以上の整数）とする。すなわち、画素アレイ２００にはＭ×Ｎ個の画素２０が含まれる。各画素２０は、露光中に入射する光を受け、受けた光の量（受光量）に応じた光電変換信号（画素信号）を出力する。なお、画素アレイ２００に含まれる画素２０のうち、画像生成に用いられる画素の数はＭ×Ｎ個であるが、画素アレイ２００には画像生成に用いられない画素が含まれていてもよい。

画素信号読出し部３０は、各画素２０から一定の時間間隔Ｔごとに画素信号を読み出す。ただし、全ての画素２０について同一のタイミングで画素信号を読み出すのではなく、各単位画素ブロック４０内のＮ個の画素からそれぞれ異なるタイミングで画素信号を読み出す。

図２は、１つの単位画素ブロック４０に含まれる各画素２０の信号蓄積時間を示す図である。図２では、例として１つの単位画素ブロック４０に４つの画素２０が含まれるとし（Ｎ＝４）、各画素２０から画素信号が読み出されるタイミングは等間隔（Ｔ／４ごと）であるものとする。但し、本発明はこのような例に限られず、各画素から読み出されるタイミングは等間隔でなくてもよい。第１の画素では、時刻ｔ_nから画素信号が蓄積され、時刻ｔ_n+4で画素信号が読み出される。第２の画素では、時刻ｔ_n+1から画素信号が蓄積され、時刻ｔ_n+5で画素信号が読み出される。第３の画素では、時刻ｔ_n+2から画素信号が蓄積され、時刻ｔ_n+6で画素信号が読み出される。第４の画素では、時刻ｔ_n+3から画素信号が蓄積され、時刻ｔ_n+7で画素信号が読み出される。ここで、Ｔ＝ｔ_n+4−ｔ_n＝ｔ_n+5−ｔ_n+1＝ｔ_n+6−ｔ_n+2＝ｔ_n+6−ｔ_n+3である。各画素２０について、画素信号が読み出されると、蓄積された信号がリセットされ、再び信号の蓄積が始まる。以後、各画素において時間間隔Ｔごとに画素信号の読出しが行われる。

画素信号読出し部３０によって各画素２０から上記のタイミングで画素信号が読み出されることにより、蓄積時間がＴ／ＮずつずれたＮ個の画素信号が時間Ｔごとに得られる。このようにして時間Ｔの間に単位画素ブロック４０ごとにＮ個ずつ得られる合計Ｍ×Ｎ個の画素信号から、画像生成部３２は１つの画像を生成することができる。この画像は、時間間隔Ｔを被写体の明るさに応じて十分に長く設定すれば、十分に光量が確保された画像となる。また、画素２０ごとに読み出された画素信号に基づいて画像が生成されるため、解像度の高い画像が得られる。このように、本発明によれば、高解像度かつ高感度の画像（静止画）を得ることができる。

さらに、画素信号を読み出すタイミングが画素ごとに異なるため、画像生成部３２は、１つの単位画素ブロック４０において読み出される画素信号を用いた演算により、連続する２回の読出し時刻の間に蓄積した信号量を算出することができる。演算処理の詳細は後述する。その信号量をその単位画素ブロックに含まれる全画素の画素値とすれば、解像度は低下するが、時間間隔Ｔで規定されるフレームレートよりも高いフレームレートの動画を生成することができる。時間間隔Ｔを動画生成において用いられる通常のフレーム間隔に設定すれば、通常よりもさらに高いフレームレートの動画を生成することもできる。

さらに、画像生成部３２は、各画素信号を比較することにより、被写体の動きの有無を検知することが可能となる。以下、被写体の動きの有無に応じて撮像方式を変える場合の処理の例を説明する。まず、画像生成部３２は、各単位画素ブロック４０において連続して読み出された２つの画素信号間の差分演算を行い、差分が規定値よりも大きいか否かで被写体の動きの有無を検知する。被写体が動いていないと判断した場合、画像生成部３２は、上記の静止画を取得する方法により画像を生成する。この場合、時間間隔Ｔで規定されるフレームレートで動画が生成される。被写体が動いていると判断した場合、画像生成部３２は、上記２つの画素信号間の演算によって得られる信号をその単位画素ブロック４０における各画素の画素信号として画像を生成する。その後も同様の信号演算を画素信号の読出しタイミングに応じて実行すれば、解像度は低下するが、被写体が動いていないと判断された場合よりも高いフレームレートの動画が生成される。画像生成部３２による動画生成方法の詳細は後述する。

以上の処理を行えば、被写体の動きが小さい場合は高解像度かつ高感度の撮影を行い、被写体の動きが大きい場合は解像度は低くなるが相対的に高フレームレートの動画の撮影を行うことが可能となる。

以下、図３〜１０Ｂを参照しながら本発明の実施形態を説明する。以下の説明において、複数の図にわたって共通する要素には同一の参照符号を付している。

（実施形態１）
図３は、本発明の第１の実施形態による撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式のビデオカメラであり、撮像部１００と、撮像部１００から送出される信号に基づいて映像信号（ビデオ信号）を生成する映像信号処理部１０とを備えている。

撮像部１００は、被写体を結像するための集光レンズ５と、光学フィルタ６と、集光レンズ５および光学フィルタ６を通して結像した光情報を、光電変換によって電気信号に変換する固体撮像素子７（イメージセンサ）とを備えている。撮像部１００はさらに、固体撮像素子７を駆動するための基本信号を発生するとともに固体撮像素子７からの出力信号を受信して映像信号処理部１０に送出する信号発生／受信部８と、信号発生／受信部８によって発生された基本信号に基づいて撮像素子７を駆動する素子駆動部９とを備えている。なお、素子駆動部９は、信号発生／受信部８に組み込まれていてもよい。

集光レンズ５は、公知のレンズであり、複数のレンズを有するレンズユニットであり得る。光学フィルタ６は、画素配列が原因で発生するモアレパターンを低減するための水晶ローパスフィルタに、赤外線を除去するための赤外カットフィルタを含んでいる。撮像素子７は、典型的にはＣＭＯＳセンサであり、公知の半導体製造技術によって製造される。信号発生／受信部８および素子駆動部９は、ＬＳＩから構成される。

映像信号処理部１０は、撮像部１００から送出される信号を処理してビデオ信号を生成するビデオ信号生成部１２と、ビデオ信号の生成過程で発生する各種のデータを格納する画像メモリー部１１と、生成したビデオ信号を外部に送出するビデオインターフェース部１３とを備えている。ビデオ信号生成部１２は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、ビデオ信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。本実施形態では、ビデオ信号生成部１２や画像メモリー部１１が本発明における画像生成部３２に含まれる。画像メモリー部１１は、ＤＲＡＭなどによって構成される。画像メモリー部１１は、撮像部１００から送出された信号を記録するとともに、ビデオ信号生成部１２によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、ビデオインターフェース部１３を介して不図示の記録媒体や表示部などに送出される。

本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本発明の理解に特に必要でないため省略する。また、以上の構成はあくまでも一例であり、本発明においては、固体撮像素子７における画素信号の読出し動作に関係しない構成要素には、公知の要素を好適に組み合わせて用いることができる。

図４は、露光中に集光レンズ５を透過した光が撮像素子７に入射する様子を模式的に示す図である。図４では、簡単のため集光レンズ５および撮像素子７以外の構成要素の記載は省略されている。また、レンズ５は、一般には光軸方向に並んだ複数のレンズによって構成され得るが、簡単のため、単一のレンズとして描かれている。撮像素子７の撮像面７ａには、２次元状に配列された複数の画素を含む画素アレイが配置されている。各画素は、典型的にはフォトダイオードを含む電子回路であり、光電変換によって入射光量に応じた画素信号を出力する。撮像面７ａには集光レンズ５および光学フィルタ６を透過した光（可視光）が入射する。

図５Ａは、本実施形態における画素配列を示す平面図である。画素アレイ２００は、図５Ａに示すように、撮像面７ａ上に正方格子状に配列された複数の画素を有している。画素アレイ２００は、複数の単位画素ブロック４０に分割され、各単位画素ブロック４０は、２行２列に配置された４つの画素２０ａ、２０ｂ、２０ｃ、２０ｄを含んでいる。なお、画素配列は、このような正方格子状の配列ではなく、例えば、図５Ｂに示すような斜交型の配列であってもよいし、他の配列であってもよい。

以下、図６〜９を参照しながら、画素信号の処理、蓄積時間、読み出し方法を説明する。

図６は、本実施形態の撮像装置によって動画を生成する際の概略手順を示すフローチャートである。撮影が開始すると、各画素には入射光量に応じた電荷が蓄積される（Ｓ１）。次に、各単位画素ブロックにおいて、１画素ずつ順番に画素信号が一定の時間間隔Ｔで読み出される（Ｓ２）。各単位画素ブロックにおいて、読み出された画素信号と、直前に読み出された画素信号との差分が規定値より大きいか否かが判定される（Ｓ３）。差分が規定値以下である場合、被写体は動いていないと判断され、各画素の画素信号の値をそのまま当該画素の画素値として画像が生成される。このようにして時間間隔Ｔごとに画像が生成される。これにより、高解像、低フレームレートの動画が生成される（Ｓ４）。一方、差分が規定値よりも大きい場合、被写体が動いていると判断し、後述する処理により、低解像、高フレームレートの動画が生成される（Ｓ５）。

以下、本実施形態における画素信号の読出し方法を説明する。

図７は、１つの単位画素ブロック４０に含まれる４つの画素２０ａ、２０ｂ、２０ｃ、２０ｄに接続された読出し信号線５０ａ、５０ｂ、５０ｃ、５０ｄと、出力信号線５２ａ、５２ｂとを模式的に示す図である。読出し信号は、素子駆動部９によって生成され、入力端子２１ａ、２１ｂ、２１ｃ、２１ｄを介してそれぞれ画素２０ａ、２０ｂ、２０ｃ、２０ｄに与えられる。読出し信号が各画素に与えられると、各画素は、蓄積された電荷量に応じた画素信号を出力する。画素２０ａ、２０ｃから出力される画素信号は、それぞれ出力端子２２ａ、２２ｃを介して出力信号線５２ａに与えられる。画素２０ｂ、２０ｄから出力される画素信号は、それぞれ出力端子２２ｂ、２２ｄを介して出力信号線５２ｂに与えられる。本実施形態では、読出し信号線５０ａ〜５０ｄおよび出力信号線５２ａ、５２ｂが本発明における信号読出し部３０の一部として機能する。なお、読出し信号線および出力信号線の構成は図７に示す構成に限らず、後述する画素信号の読出しが可能であればどのような構成であってもよい。

読出し信号は、全ての画素に対して一定の時間間隔Ｔごとに素子駆動部９から入力される。ここで、入力のタイミングは画素ごとにＴ／４ずつずれている。すなわち、時刻ｔ_nに画素２０ａに読出し信号が与えられるとすると、画素２０ｂには時刻ｔ_n+1＝ｔ_n＋Ｔ／４に、画素２０ｃには時刻ｔ_n+2＝ｔ_n＋２Ｔ／４に、画素２０ｂには時刻ｔ_n+3＝ｔｎ＋３Ｔ／４にそれぞれ読出し信号が与えられる。以後、各画素に対して時間間隔Ｔごとに読出し信号が与えられる。

図８は、本実施形態における固体撮像素子７の各画素から時間Ｔごとに出力される画素信号をそのまま各画素の画素値として生成された画像のうち連続する２フレーム分を模式的に示す図である。画像３は、画像２の１フレーム前の画像を表している。ここで、画像の各画素に記載されている記号Ｐ（ｉ，１）などは、その画素の画素値を表している。図８において、画像２の左上端の４画素（Ｐ（ｉ，１）、Ｐ（ｉ＋１，１）、Ｐ（ｉ＋２，１）、Ｐ（ｉ＋３，１））を１単位とする単位画素ブロック１をＰ（ｘ，１）で表している。ここで、ｘ＝ｉ，ｉ＋１，ｉ＋２，ｉ＋３である。動画として撮像する場合はこれらの４画素を１画素と見なす。ここで、画素信号Ｐ（ｉ，ｊ）における添え字ｊは、１画像全体の中の単位画素ブロックの番号であり、時間には不変の数字である。一方、添え字ｉは単位画素ブロックの中の画素の読出しの順番を示す番号であり、時間の経過と共に変わる数字である。例えば、単位画素ブロック１において、信号Ｐ（ｉ−４，１）、Ｐ（ｉ−３，１）、Ｐ（ｉ−２，１）、Ｐ（ｉ−１，１）がそれぞれ第１〜第４の画素から時間間隔Ｔ／４ずつずれて順番に読み出される。その後、再び第１〜第４の画素から信号Ｐ（ｉ，１）、信号Ｐ（ｉ＋１，１）、信号Ｐ（ｉ＋２，１）、信号Ｐ（ｉ＋３，１）がそれぞれ時間間隔Ｔ／４ずつずれて順番に読み出される。

本実施形態では、添え字ｊに関して、図８における左上端の単位画素ブロック１をｊ＝１として、列方向（左側から右側への方向）へと数字を増加させ、右端に達したら、行方向（図７における上側から下側への方向）に繰り返して付番する。添え字ｉに関しては、各単位画素ブロックに含まれる左上端の画素の番号をｉとすると、右上端の画素の番号はｉ＋１で、左下端の画素の番号はｉ＋２、右下端の画素の番号はｉ＋３である。従って、画像全体の中の左上端の画素信号Ｐ（ｉ，１）について、１フレーム前はＰ（ｉ−４，１）、１フレーム後はＰ（ｉ＋４，１）で表記される。

図９は、本実施形態における固体撮像素子７の画素アレイ２００の左上端の単位画素ブロック１の各画素における信号読み出しタイミングの例を示すタイミングチャートである。通常のフレームレートで動画を生成する場合の画素の読出し時刻をｔ_n、ｔ_n+1、ｔ_n+2、・・・とすると、本実施形態では１画素の信号蓄積時間Ｔ（＝ｔ_n+4−ｔ_n）は、通常の蓄積時間の４倍の長さに相当する。こうすることによって複数フレーム分の情報を多重蓄積できる。このような信号蓄積はいずれの画素でも同様に行われるが、信号蓄積を開始するタイミングおよび蓄積された画素信号を読み出すタイミングは単位画素ブロックの中の画素によって異なる。なお、本実施形態では、信号蓄積時間Ｔは、通常の蓄積時間の４倍の長さに設定されるが、本発明においては、信号蓄積時間Ｔは任意の値に設定され得る。信号蓄積時間Ｔは、好ましくは、被写体の明るさに応じて最適な時間が設定される。

図９の例では、画素信号Ｐ（ｉ，１）は画像の左上端の画素で時刻ｔ_nから信号蓄積され、時刻ｔ_n+4で読み出される。また、画素信号Ｐ（ｉ＋１，１）は左上端画素の右隣の画素で時間ｔ_n+1から信号蓄積され、時間ｔ_n+5で読み出される。その他の２画素についても同様で信号蓄積を行うタイミングがＴ／４（＝ｔ_n+1−ｔ_n）ずつずれて、読み出すタイミングも同じ時間だけずれる。

以上の構成により、集光レンズ５で結像された光情報は、固体撮像素子７で光電変換された後、信号発生／受信部８によって読み出され、画像メモリー部１１に保存される。各単位画素ブロックにおいて、画素ごとに読出し時刻がＴ／４ずつずれるため、１フレーム分の画像データが揃うまでＴ（＝ｔ_n+4−ｔ_n）の時間を要する。画像データは、画像メモリー部１１に１フレーム分のデータが揃った時点でビデオ信号生成部１２に送られる。送られた画像データに基づき、ビデオ信号生成部１２はビデオ信号を生成し、生成されたビデオ信号は、ビデオインターフェース部１３を通して外部に送出される。

次に、ビデオ信号生成部１２における信号処理を説明する。画像メモリー部１１に１画像のデータが保存され、その後ビデオ信号生成部１２にデータが送信された後、画像のフレーム単位で信号処理が行われる。信号処理はフレーム単位で行われるが、各々の単位画素ブロックについて同時に行われる。以下の説明では、例として画像の左上端の単位画素ブロック１で行われる信号処理を説明する。

全ての単位画素ブロックの各画素信号について直前に読み出された画素信号のデータと比較してそれらの差が予め設定された値Ｚｔｈより全て小さければ、各画素信号の値をその画素の画素値として１画像のビデオ信号が生成される。すなわち、画像が静止状態と判断され、４コマに１コマ（時間Ｔに１画像）しか出力されないが、感度が通常の４倍に向上し、かつ解像度の低下のない画像が作られる。したがって、この場合、通常の１／４のフレームレートの動画が生成されることになる。

一方、全ての単位画素ブロックについて直前に読み出された画素信号のデータと比較してそれらの差が予め設定された値Ｚｔｈより大きいものが１つでもある場合、被写体に動きがあると判断される。この場合、以下の処理によって１フレームごとに画像が作られる。ここで、例として、画素信号Ｐ（ｉ，１）について、時刻ｔ_n+3からｔ_n+4にかけて画素値に変化があった場合を考える。すなわち、図９に示すように、時刻ｔ_n+3までは時間Ｔ／４あたりＰ０の量の信号が各画素に蓄積するものとする。さらに、時刻ｔ_n+3からｔ_n+4の間はＰ１、時刻ｔ_n+4からｔ_n+5の間はＰ２、時刻ｔ_n+5からｔ_n+6の間はＰ３、時刻ｔ_n+6からｔ_n+7の間はＰ４の量の信号が各画素に蓄積するものと仮定する。ここで、前提として、１つの単位画素ブロックの範囲では画素信号は変わらないとする。この前提により、Ｐ（ｉ，１）が読み出される１つ前の画素信号Ｐ（ｉ−１，１）までは静止状態と判断できる。Ｐ（ｉ，１）は時間ｔ_n〜ｔ_n+4の間で蓄積された信号であり、Ｐ（ｉ−１，１）は時間ｔ_n-1〜ｔ_n+3の間で蓄積された信号であるので、時間ｔ_n+3〜ｔ_n+4の間に蓄積された信号Ｐ１は以下の式１により作ることができる。
（式１） Ｐ１＝Ｐ（ｉ，１）−Ｐ（ｉ−１，１）×３／４

同様の処理により、時間ｔ_n+4〜ｔ_n+5の間の信号Ｐ２、時間ｔ_n+5〜ｔ_n+6の間の信号Ｐ３、時間ｔ_n+6〜ｔ_n+7の間の信号Ｐ４も、それぞれ以下の式２〜４で作ることができる。
（式２） Ｐ２＝Ｐ（ｉ＋１，１）−Ｐ（ｉ，１）＋Ｐ（ｉ−３，１）／４
（式３） Ｐ３＝Ｐ（ｉ＋２，１）−Ｐ（ｉ＋１，１）＋（２Ｐ（ｉ−２，１）−Ｐ（ｉ−３，１））／４
（式４） Ｐ４＝Ｐ（ｉ＋３，１）−Ｐ（ｉ＋２，１）＋（３Ｐ（ｉ−１，１）−２Ｐ（ｉ−２，１））／４

その結果、単位画素ブロック１の画素値を上記のＰ１〜Ｐ４の信号で代表すれば、解像度は低下するが、フレームごとに画素値が得られる。時間ｔ_n+7以降の信号についても、式６と同様の演算によって求められる。以上の処理は他の単位画素ブロックについても同様に行われる。その結果、解像度は低下するが、通常のフレームレートの動画が生成される。

なお、上記の式３、４の代わりに、それぞれ次の式５、６に示す演算によって信号Ｐ３、Ｐ４を求めてもよい。
（式５） Ｐ３＝Ｐ（ｉ＋２，１）−Ｐ（ｉ＋１，１）＋Ｐ（ｉ−２，１）／４
（式６） Ｐ４＝Ｐ（ｉ＋３，１）−Ｐ（ｉ＋２，１）＋Ｐ（ｉ−１，１）／４

上記の説明においては、全ての単位画素ブロックについて直前に読み出された画素信号との比較を行い、差分が規定値よりも大きいか否かで被写体が動いているか否かを判断するが、他の方法で判断を行ってもよい。例えば、単位画素ブロックごとに上記の判断を行い、画像の動きのある部分だけを低解像度かつ相対的に高いフレームレートの動画としてもよい。また、被写体の動きの有無の検知について、直前の画素信号ではなく、１フレーム前の画素信号との比較に基づいて判断してもよい。

また、被写体に動きがないと判断された場合、被写体に動きがあると判断されるまでは新たな画像を生成しないように構成されていてもよい。さらに、一旦画像が生成された後は、被写体に動きがあるか否かの判断をしばらく行わず、所定時間（例えば数秒）経過後、再び上記の判断を行ってもよい。

以上のように、本実施形態によれば、固体撮像素子７の画素アレイを複数の単位画素ブロックに分割し、各単位画素ブロックの各画素における蓄積時間を通常より長くとり、蓄積タイミングを変えることにより、時間の異なる多重画像が得られる。その結果、被写体に動きがなければ、相対的に光利用率が高く、低フレームレートの動画が得られる。被写体に動きがあれば、式１〜式４に基づく演算により、解像度は低下するが、相対的に高いフレームレートで動画が得られる。このように、本発明によれば、被写体の動きの有無に応じて撮像方式を変えることができるという従来にない優れた効果を奏する。

なお、本実施形態においては、被写体に動きがあると判定された場合、単位画素ブロックの範囲では画素信号は変わらないとし、読み出されたＰ（ｉ−１，１）までの画素信号に関して何も処理が行われない。しかし、次の式７に示す演算によって平均画素値Ｐｍを算出し、Ｐｍを時刻ｔ_n-1からｔ_n+3までの画像信号として以降の処理で用いても構わない。
（式７） Ｐｍ＝（Ｐ（ｉ−４，１）＋Ｐ（ｉ−３，１）＋Ｐ（ｉ−２，１）＋Ｐ（ｉ−１，１））／４

また、単位画素ブロックを２行２列に配置された４つの画素で構成されるものとしたが、これに限るものではなく、単位画素ブロックに含まれる画素数は複数であれば何個でもよい。

各単位ブロックに含まれる画素数がＮ（Ｎは２以上の整数）である場合、本実施形態の撮像装置は以下のように一般化される。まず、単位画素ブロックの数をＭとし、各単位画素ブロックに含まれるＮ個の画素から、時間Ｔ／Ｎずつ異なるタイミングで画素信号が読み出されるように素子駆動部９は読出し信号を生成する。次に、信号発生／受信部８は、時間Ｔ／Ｎずつ異なるタイミングでこれらの画素から順次画素信号を読み出す。ここで、ｊ番目（ｊは１以上Ｍ以下の整数）の単位画素ブロックからｉ回目（ｉはＮ＋１以上の整数）に読み出された画素信号をＰ（ｉ，ｊ）とする。ビデオ信号生成部１２は、Ｐ（ｉ，ｊ）とＰ（ｉ−１，ｊ）との差の絶対値が予め設定された値Ｚｔｈ以下の場合、被写体は静止していると判断する。そして、時間Ｔの間に各画素に蓄積されたＭ×Ｎ個の画素信号に基づいて１つの画像を生成する。一方、Ｐ（ｉ，ｊ）とＰ（ｉ−１，ｊ）との差の絶対値が予め設定された値Ｚｔｈよりも大きい場合、被写体は動いていると判断する。そして、以下の式８に示す信号Ｐｉｊをｊ番目の単位画素ブロックにおけるｉ回目の読出し時点での各画素の画素値を示す信号として処理する。
（式８）Ｐｉｊ＝Ｐ（ｉ，ｊ）−Ｐ（ｉ−Ｎ＋１，ｊ）×（Ｎ−１）／Ｎ

さらに、以下の式９に示す信号Ｐｉｊｋを、ｊ番目の単位画素ブロックにおけるｉ＋ｋ回目（ｋは１以上Ｎ未満の整数）の読み出し時点での各画素の画素値を示す信号として処理する。
（式９）Ｐｉｊｋ＝Ｐ（ｉ＋ｋ，ｊ）−Ｐ（ｉ＋ｋ−１，ｊ）＋（ｋ×Ｐ（ｉ＋ｋ−Ｎ，ｊ）−（ｋ−１）×Ｐ（ｉ＋ｋ−Ｎ−１，ｊ））／Ｎ

以上の処理により、各単位画素ブロックに含まれる画素の数がＮの場合においても、被写体の動きに応じて適切な撮像方法が選択され、高品質の動画を生成することができる。

なお、本実施形態の撮像装置は、動画撮影中に被写体の動きの有無を検知して撮像方式を動的に変化させる機能を備えているが、本発明では必ずしもこのような機能を備えている必要はない。例えば、上記の説明において被写体に動きがあると判断した場合に実行される方式で動画を生成する機能のみを備えていてもよい。また、上記の説明において、被写体が動いていないと判断した場合に行われる処理によって静止画を生成する機能のみを備えていてもよい。

本実施形態では、各単位画素ブロック４０に含まれる各画素にはほぼ等しい量の光が入射することを前提としている。これは、光学フィルタ６に含まれる光学ローパスフィルタによって各画素ブロック４０のサイズで規定される空間周波数よりも高い周波数の画像成分が除去されることによって実現できる。しかし、撮像装置は、光学ローパスフィルタを備えていなくても、読み出された画素信号に基づいて画像の高周波成分を除去するローパスフィルタ処理を行うことによって同様の効果を得ることができる。

本実施形態における信号演算処理は、ビデオ生成部１２によって実行されるが、撮像装置は必ずしも上記の信号演算処理を行うように構成されていなくてもよい。例えば、撮像装置は画素信号の生成だけを行い、画素信号の読出しおよびビデオ信号の生成は外部の情報処理装置に実行させてもよい。その場合、例えば、本実施形態における信号演算処理を規定するプログラムを当該情報処理装置に実行させることによって実現可能である。

（実施形態２）
次に本発明の第２の実施形態について、図面を用いて説明する。図１０Ａ、１０Ｂは本実施形態における単位画素ブロックを示している。図１０Ａは１つの単位画素ブロック４を示し、図１０Ｂは複数の単位画素ブロック４が隣接して配置された状況を示す画素平面図である。ここで、本実施形態と実施形態１との相違点は単位画素ブロックに含まれる画素数および単位画素ブロックの配置エリアの形状だけであり、撮像装置の構成や信号処理については全て同じである。よって、以下の説明では、実施形態１と異なる点のみを説明する。

図１０Ａに示すように、本実施形態における単位画素ブロック４は、５画素を用いて十字型の形状を有している。また、図１０Ｂに示すように、隣接の単位画素ブロック同士を接近させている。その結果、単位画素ブロック４の中心が隣接の単位画素ブロックの中心と水平及び垂直方向において接近し、１画素離れただけである。単位画素ブロック４の形状を実施形態１のように２×２画素の四角形状にした場合は、隣接領域との中心間の間隔は２画素であるため、本実施形態では１画素分中心間の間隔が近づいている。そのため、本実施形態の撮像装置は、水平及び垂直方向において、実施形態１の撮像装置よりも解像度を向上できる。すなわち、十字型の単位画素ブロックを用いた本実施形態の撮像装置によって生成される動画は、四角形状の単位画素ブロックを用いた実施形態１の撮像装置によって生成される動画よりも解像度が向上することになる。

以上のように本実施形態によれば、各単位画素ブロックが十字型に配置された５画素を含み、単位画素ブロック間の中心を接近させることにより、動画における解像度が向上するという効果が得られる。

なお、本実施形態では、各単位画素ブロックの数は５であるが、各単位画素ブロックの配置エリアの形状が十字型であれば、それに含まれる画素数は５に限らず、６よりも多くてもよい。

本発明の固体撮像素子および撮像装置は、固体撮像素子を用いるすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに利用可能である。

１ 画像の左上端の４画素（Ｐ（ｉ，１）、Ｐ（ｉ＋１，１）、Ｐ（ｉ＋２，１）、Ｐ（ｉ＋３，１））から成る単位画素ブロック
２ 画像の１フレーム
３ 画像の１フレーム
４ ５画素からなる十字型の単位画素ブロック
５ 集光レンズ
６ 光学板
７ 固体撮像素子
８ 信号発生及び画素信号受信部
９ 素子駆動部
１０ 映像信号処理部
１１ 画像メモリー部
１２ ビデオ信号生成部
１３ ビデオインターフェース部
２０ 画素
３０ 画素信号読出し部
３２ 画像生成部
４０ 単位画素ブロック
５０ａ、５０ｂ、５０ｃ、５０ｄ 読出し信号線
５２ａ、５２ｂ 出力信号線
１００ 撮像部
２００ 画素アレイ

Claims (12)

1. 撮像面に２次元状に配列された複数の画素を含む画素アレイであって、各々がＮ個（Ｎは２以上の整数）の画素を含むＭ個（Ｍは２以上の整数）の単位画素ブロックに分割された画素アレイと、
   各画素から一定の時間間隔Ｔごとに画素信号を読出す画素信号読出し部であって、各単位画素ブロックに含まれる前記Ｎ個の画素からそれぞれ異なるタイミングで前記画素信号を読み出す画素信号読出し部と、
   前記画素信号読出し部から読み出された各画素信号に基づいて画像を生成する画像生成部と、
   を備える撮像装置。
2. 前記画素信号読出し部は、各単位画素ブロックに含まれる前記Ｎ個の画素から時間Ｔ／Ｎずつ異なるタイミングで前記画素信号を読み出す、請求項１に記載の撮像装置。
3. 前記画像生成部は、前記時間間隔Ｔの間に前記画素信号読出し部によって読み出されたＭ×Ｎ個の画素信号に基づいて前記画像を生成する、請求項２に記載の撮像装置。
4. 前記画素信号読出し部によってｊ番目（ｊは１以上Ｍ以下の整数）の単位画素ブロックからｉ回目（ｉはＮ＋１以上の整数）に読み出された画素信号をＰ（ｉ、ｊ）とするとき、
   前記画像生成部は、Ｐ（ｉ，ｊ）とＰ（ｉ−１，ｊ）との差の絶対値が予め設定された値よりも大きい場合には、Ｐ（ｉ，ｊ）−Ｐ（ｉ−Ｎ＋１，ｊ）×（Ｎ−１）／Ｎを、ｊ番目の単位画素ブロックにおけるｉ回目の読出し時点での各画素の画素値を示す信号として前記画像を生成する、
   請求項３に記載の撮像装置。
5. 前記画像生成部は、Ｐ（ｉ，ｊ）とＰ（ｉ−１，ｊ）との差の絶対値が予め設定された値よりも大きい場合には、Ｐ（ｉ＋ｋ，ｊ）−Ｐ（ｉ＋ｋ−１，ｊ）＋（ｋ×Ｐ（ｉ＋ｋ−Ｎ，ｊ）−（ｋ−１）×Ｐ（ｉ＋ｋ−Ｎ−１，ｊ））／Ｎ （ｋは１以上Ｎ未満の整数）を、ｊ番目の単位画素ブロックにおけるｉ＋ｋ回目の読出し時点での各画素の画素値を示す信号として前記画像を生成する、請求項４に記載の撮像装置。
6. 前記画素信号読出し部は、被写体の明るさに応じて前記時間間隔Ｔを変化させる、請求項１から５のいずれかに記載の撮像装置。
7. 各単位画素ブロックの配置エリアの形状は十字形である、請求項１から６のいずれかに記載の撮像装置。
8. 前記単位画素ブロックのサイズで規定される空間周波数よりも高い周波数成分を前記画像から除去するための光学的ローパスフィルタを備える請求項１から７のいずれかに記載の撮像装置。
9. 前記画像生成部は、前記単位画素ブロックのサイズで規定される空間周波数よりも高い周波数成分を前記画像から除去するローパスフィルタ処理を行う、請求項１から７のいずれかに記載の撮像装置。
10. 撮像面に２次元状に配列された複数の画素を含む画素アレイであって、各々がＮ個（Ｎは２以上の整数）の画素を含むＭ個（Ｍは２以上の整数）の単位画素ブロックに分割された画素アレイと、
    各画素から一定の時間間隔Ｔごとに画素信号を読出す画素信号読出し部であって、各単位画素ブロックに含まれる前記Ｎ個の画素からそれぞれ異なるタイミングで前記画素信号を読み出す画素信号読出し部と、
    を備える固体撮像素子。
11. 撮像面に２次元状に配列された複数の画素を含む画素アレイであって、各々がＮ個（Ｎは２以上の整数）の画素を含むＭ個（Ｍは２以上の整数）の単位画素ブロックに分割された画素アレイと、各画素から一定の時間間隔Ｔごとに画素信号を読出す画素信号読出し部であって、各単位画素ブロックに含まれる前記Ｎ個の画素からそれぞれ異なるタイミングで前記画素信号を読み出す画素信号読出し部とを備える撮像装置によって取得された信号に基づいて動画を生成する方法であって、
    各単位画素ブロックにおいて、連続して読み出された２つの画素信号の差分が規定値よりも大きいか否かを判断するステップと、
    前記差分が前記規定値よりも大きい場合に、相対的に低い解像度で相対的に高いフレームレートの動画を生成し、前記差分が前記規定値よりも小さい場合に、相対的に高い解像度で相対的に低いフレームレートの動画を生成するステップと、
    を含む動画生成方法。
12. 撮像面に２次元状に配列された複数の画素を含む画素アレイであって、各々がＮ個（Ｎは２以上の整数）の画素を含むＭ個（Ｍは２以上の整数）の単位画素ブロックに分割された画素アレイと、各画素から一定の時間間隔Ｔごとに画素信号を読出す画素信号読出し部であって、各単位画素ブロックに含まれる前記Ｎ個の画素からそれぞれ異なるタイミングで前記画素信号を読み出す画素信号読出し部とを備える撮像装置によって取得された信号に基づいて動画を生成するためのプログラムであって、
    各単位画素ブロックにおいて、連続して読み出された２つの画素信号の差分が規定値よりも大きいか否かを判断するステップと、
    前記差分が前記規定値よりも大きい場合に、相対的に低い解像度で相対的に高いフレームレートの動画を生成し、前記差分が前記規定値よりも小さい場合に、相対的に高い解像度で相対的に低いフレームレートの動画を生成するステップと、
    を含む動画生成プログラム。

Images