JPWO2005064925A1 - 撮像装置 - Google Patents

Abstract

撮像装置２００は、光学像を画素毎に光電変換し、ＸＹアドレスで走査して画像信号を取得する撮像素子２２２を有する。読み出し制御部２２４は、撮像素子２２２で取得された画像信号を必要に応じて、行または列方向に画素を選択して順次読み出し動作をするために読み出しパルスを生成して読み出しパルス走査を行う。読み出し制御部２２４は、選択した所定行の読み出しを行う読み出しパルス走査に先行して、前記読み出しを行う各行の撮像素子に記録された光電変換情報のリセットを行うリセットパルス走査を行う。

Description

本発明は、光学像を画素毎に光電変換し、ＸＹアドレスで走査して画像信号を取得する撮像素子を有する撮像装置に関するものである。

撮像素子で取得された画像信号を必要に応じて画素間引きすることにより倍率変換を行う撮像装置が従来より知られている。例えば、特開２００２−３１４８６８号公報は、このような撮像装置において、広い範囲のズームを高解像度に行うことができる撮像装置を開示している。

上記した特開２００２−３１４８６８号公報においては、撮像素子の走査によって倍率の変換を行うために、撮像素子からｍ×ｎ（ｍ、ｎは自然数）画素毎に１画素を読み出すことを示す間引き率を変更して、複数の切り出し画角を切り替えることにより、少なくとも不連続的なズームを可能とすることを開示している。前記の開示では、連続する画像の撮影において間引き読み出しのパターンの変更に関しては言及していない。撮像素子に蓄積された光電変換情報の読み出しを行うときに、同時にその内容をリセットするために、前記のように、単一の間引き読み出しパターンで読み出す場合、特に不都合は生じない。しかしながら、動画像において、倍率変換と、アンチエイリアシングの両立を目的としてフレーム毎の間引き読み出しのパターンを変更する場合、前記のような読み出しとリセットを併用する方式では、連続するフレームにおいて、読み出し−非読み出しのラインが変更する、あるいは、あるラインにおいては連続するフレームで２回読み出され、別のあるラインでは１回しか読み出されない読み出しパターンを発生した場合（図９）、ライン毎に光電変換情報の蓄積時間が異なるという不都合が生じる。

本発明は上記課題に着目してなされたものであり、その目的とするところは、撮像素子の任意パターンの間引き読出しによる少なくとも段階的な任意の倍率変換と、任意の電子シャッタ期間に対応し、簡単な構成で、撮像素子の読み出しパルス及びリセットパルスを生成することができる撮像装置を提供することにある。

また、本発明の他の目的は、フレーム間演算処理を行う場合に効果的な読み出しパルス及びリセットパルスを生成することができる撮像装置を提供することにある。

上記の目的を達成するために、本発明の一態様によれば、光学像を画素毎に光電変換し、ＸＹアドレスで走査して画像信号を取得する撮像素子を有する撮像装置であって、前記撮像素子で取得された画像信号を必要に応じて、行または列方向に画素を選択して順次読み出し動作をするために読み出しパルスを生成して読み出しパルス走査を行う読み出し手段を有し、前記読み出し手段は、前記選択した所定行の読み出しを行う読み出しパルス走査に先行して、前記読み出しを行う各行の撮像素子に記録された光電変換情報のリセットを行うリセットパルス走査を行う。

本発明の第一実施形態に係る撮像装置の構成を示す図である。 水平方向・垂直方向共に８画素のうち２画素を間引きして読み出す例を示す図である。 歪み補正処理の概念図（その１）である。 歪み補正処理の概念図（その２）である。 間引き読み出し処理を実現するためのパイプライン構成を示す図である。 フィルタ処理部１４２でのパイプライン処理の動作（状態遷移）を説明するための図である。 読み出し範囲の基準位置のシフト操作のようすを模式的に示す図（その１）である。 読み出し範囲の基準位置のシフト操作のようすを模式的に示す図（その２）である。 本実施形態の読み出し動作を行うための読み出し制御部２２４の一構成例を示す図である。 Ａフレーム及びＢフレームについての読み出しの一例を示す図である。 ライン方向の読み出しパルスとリセットパルスの動作の詳細を示すタイムチャートである。

以下、図面を参照して本発明の実施形態を詳細に説明する。図１は本発明の第一実施形態に係る撮像装置の構成を示している。撮像装置２００は、被写体の光学像を結像する結像光学系１１０と、結像光学系１１０により結像された光学像の所定の領域の画像信号を出力する撮像部２２０とを有している。撮像部２２０は、結像光学系１１０により結像された光学像を光電変換してデジタル画像信号（画素データの集合）を取得するエリア状のＭＯＳ型の撮像素子２２２と、撮像素子２２２で取得された画像信号を必要に応じて画素間引きして読み出す読み出し手段としての読み出し制御部２２４とを有している。

読み出し制御部２２４は、出力する画像信号のサイズと撮像素子２２２上の領域のサイズに差が有る場合には、撮像素子２２２上の画像信号を間引いて読み出す。より詳細には、撮像素子２２２のどの領域を画像信号として出力するかが取得領域設定手段としての領域設定部１３２を介して設定されたとき、読み出しパターン変更手段としての読み出し規則選択部２３４は、設定された領域に応じて間引き読み出しを行うための読み出しパターンを変更するために適切な読み出し規則を選択する。読み出し制御部２２４は、選択された読み出し規則に従った画素間引きにより画像信号を読み出す。読み出し位相制御部２３０の動作については後述する。なお、画像信号の領域を設定する代わりに画像信号の変倍率を設定しても良い。

次に、歪み補正処理部１４０において、読み出した画像信号に対して所定の歪み補正を行う。このため、歪み補正手段としての歪み補正処理部１４０は、フィルタ処理部１４２と、フィルタ係数設定部１４４とを備えている。フィルタ係数設定部１４４は、ＬＵＴ記憶部１４６と、フィルタ係数選択部１４８とを備えている。

以下では間引き読み出しの歪み補正処理の詳細について説明する。図２は水平方向・垂直方向共に８画素のうち２画素を間引きして読み出す例を示している。このような方法により読み出しを行った場合には画像に段差が出来て歪をもってしまう。そこで、図３Ａの上段に示すように、読み飛ばした画素（図では５００，５０１）のデータをその周辺の画素を用いた線形補間によって埋めて８画素のデータとし、これを線形補間により６画素にする操作を考える（図３Ａの下段）。

すなわち、図３Ｂに示すように、不均一な画素間隔でのサンプリングを均一なサンプリングに変換する処理を行う。ここで、間引きを伴う１ラインの読み出しについて考える。図２の左上を基準とすると、読み出した画素位置は、Ｒｉ０、Ｇｉ１、Ｒｉ２、Ｇｉ３、Ｒｉ６、Ｇｉ７となり、以下同じ規則の繰り返しになる。この例における歪み補正（変換）の行列表現は、

となる。

間引き読み出し処理は、図４に示すようなパイプライン構成により実現される。シフトレジスタ１６２は、クロックに従う一回の動作毎に、保持している画像信号を右方向に１つシフトする。セレクタ１６４は、制御信号ｓ１の状態に従って、シフトレジスタ１６２に保持されている隣接している５つの画素データＣ１〜Ｃ５のうちの１番目（Ｃ１）と３番目（Ｃ３）のいずれかを選択する。また、セレクタ１６６は、制御信号ｓ２の状態に従って、シフトレジスタ１６２に保持されている隣接した５つの画素データＣ１〜Ｃ５のうちの三番目（Ｃ３）と五番目（Ｃ５）のいずれかを選択する。乗算器１７４は、セレクタ１６４の出力ｄ１に重み付け加算の係数ｋ１を乗算し、乗算器１７６は、セレクタ１６６の出力ｄ２に重み付け加算の係数ｋ２を乗算し、加算器１７８は、乗算器１７４の出力と乗算器１７６の出力とを加算する。

図５は、図１で説明したフィルタ処理部１４２でのパイプライン処理の動作（状態遷移）を説明するための図である。図４のパイプライン構成におけるシフトレジスタ１６２に供給される画素データ列（ｉ０、ｉ１、ｉ２、…）は、Ｃ１＝ｉ０、Ｃ２＝ｉ１、Ｃ３＝ｉ２、…を初期状態として、クロックに従う一回の動作毎に右方向にシフトしていく。これに伴い、セレクタ１６４は、制御信号ｓ１が１のときはＣ１を選択し（従ってｄ１＝Ｃ１となり）、制御信号ｓ１が０のときはＣ３を選択する（従ってｄ１＝Ｃ３となる）。

一方、セレクタ１６６は、制御信号ｓ２が１のときはＣ３を選択し（従ってｄ２＝Ｃ３となり）、制御信号ｓ２が０のときはＣ５を選択する（従ってｄ２＝Ｃ５となる）。また、クロックに同期してフィルタ係数設定部１４４内のＬＵＴ記憶部１４６から係数ｋ１が読み出されて乗算器１７４に供給され、係数ｋ２が読み出されて乗算器１７６に供給される。したがって、加算器１７８からは出力ＯＵＴとして、ｋ１×ｄ１＋ｋ２×ｄ２の値が出力される。

図５からわかるように本実施形態では、画素データ（ｉ０、ｉ１、ｉ２、…）のシフト、制御信号ｓ１とｓ２の状態に従ったセレクタ１６４，１６６の逐次切り換え、式（１）に示した間引き規則に応じた重み付け係数ｋ１とｋ２の出力、乗算器１７４，１７６及び加算器１７８による重み付け加算演算、を同期して行なうことによって、画素の位相操作（セレクタ切り換え）を含めたパイプライン処理が行なわれる。

次に、本実施形態の撮像装置では、入力される画像信号として動画像を用いた場合を想定し、インターレース走査が２つのフィールド間で互いの欠落している画素データを補間するように、連続する２つのフレーム間で互いの欠落している画素データを補間する。例えば、図１の読み出し位相制御部２３０は、連続する複数のフレームの画像信号がそれら全体で欠落した画素データを持たないように、読み出し制御部２２４が読み出す画素データの範囲の基準位置をシフトさせる。シフト量は２〜８画素程度が好ましい。

図６及び図７は、６／８の間引き読み出しにおける読み出し範囲の基準位置のシフト操作のようすを模式的に示している。これらの図において、［ｘ，ｙ］は撮像素子２２２の画素配列の画素位置、（ｘ，ｙ）は読み出し範囲の画素データ配列を表している。

図６及び図７に示すように、撮像素子２２２の画素数は水平方向にｋ画素、垂直方向にｌ画素である。従って、撮像素子２２２の左上の画素の位置は［０，０］、右下の画素の位置は［ｋ，ｌ］と表せる。また、１フレームの読み出し範囲の画素数は水平方向にｍ画素、垂直方向にｎ画素である。従って、フレームの左上の読み出し開始位置は（０，０）、右下の読み出し終了位置は（ｍ，ｎ）と表せる。図７のフレームの読み出し範囲は、図６のフレームの読み出し範囲に対して、水平方向に＋２画素、垂直方向に＋２画素シフトしている。

図６のフレームでは、左上の読み出し開始位置（０，０）は、撮像素子２２２の左上の画素位置［０，０］に一致している。つまり、
（０，０）＝［０，０］ …（２）
である。また、読み出し終了位置（ｍ，ｎ）は、
（ｍ，ｎ）＝［ｋ−２，ｌ−２］ …（３）
である。一方、図７のフレームでは、左上の読み出し開始位置は、
（０，０）＝［２，２］ …（４）
である。また、読み出しの終了位置は、
（ｍ，ｎ）＝［ｋ，ｌ］ …（５）
である。

読み出し制御部２２４において複数のフレーム間で異なる読み出し規則で読み出され、フィルタ処理部１４２において歪み補正のフィルタ処理が施された画像信号は画像範囲選択処理部２４０に送られ、読み出し位相制御部２３０の制御のもとに、フレーム間の画像の位置ずれが補正される。ここでは、画像範囲選択処理部２４０は、図６のフレームと図７のフレームに共通する範囲を選択する。すなわち、図６のフレームに対しては、（２，２）と（ｍ，ｎ）を対角の頂点とする矩形の範囲を選択し、図７のフレームに対しては、（０，０）から（ｍ−２，ｎ−２）を対角の頂点とする矩形の範囲を選択する。画像範囲選択処理部２４０で選択された範囲は、常に（ｍ−２）×（ｎ−２）個の画素データを有している。

また、予めクロップする領域を考慮すると、撮像素子２２２から読み出す画像信号の総数は出力の画像サイズと位相シフト分を考慮する必要がある。画像範囲選択処理部２４０は、読み出し開始位置の情報に基づいて、クロップの範囲を変更する。

フレームメモリ２５２，２５４，２５６はＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）メモリとなっており、フレーム間演算処理部２６０はそれらのフレームメモリ２５２，２５４，２５６にある第１のフレームのデータと第１のフレームとは異なる第２のフレームでの同一位置の画素を用いて出力すべき画像信号を生成する。

例えば、２フレームの場合、合成画像ｏｕｔ（ｉ，ｊ）は、
ｏｕｔ（ｉ，ｊ）＝０．５Ｉ（ｋ，ｉ，ｊ）＋０．５Ｉ（ｋ−１，ｉ，ｊ）…（６）
である。ここで、ｉ，ｊは画素位置を表し、Ｉ（ｋ，ｉ，ｊ）はｋ番目のフレームの画素位置ｉ，ｊの画像信号の強度である。

また、３フレームの場合、合成画像ｏｕｔ（ｉ，ｊ）は、加重配分を用いて、
ｏｕｔ（ｉ，ｊ）＝０．２５Ｉ（ｋ，ｉ，ｊ）＋０．５Ｉ（ｋ−１，ｉ，ｊ）＋
０．２５Ｉ（ｋ−２，ｉ，ｊ）…（７）
である。

次に、画像範囲選択処理部２４０後段のフレームメモリ２５２，２５４，２５６に所定のフレーム分の画像信号を蓄積し、フレーム間演算処理部２６０でフレーム間演算が行われ、その後、後続の処理系である画像信号処理部１５２、画像表示部１５４、画像記録部１５６に当該画像信号を出力する。フレーム間補間を行なうことによって、歪み補正の効果に加えて、ローパスフィルタリングによる高画質化の効果が得られる。

以上の説明では、水平方向及び垂直方向ともに間引き読み出しを行ない、一次元の歪み補正を水平、垂直ともにパイプライン処理で行なう場合について説明した。しかしＣＣＤのように、垂直転送から水平転送の動作を行なう撮像素子では、原理上水平方向に間引いて読み出すことができないので、水平方向については式（１）と同様に全画素を読み出し、一次補間によるサイズ変更を行う必要がある。垂直方向について前述の式（１）で示したように、間引いて読み出しを行い、前述と同様に歪み補正を行なえば良い。

ところで図６、図７で説明したように、読み出し制御部２２４において、連続するフレームで間引きパターンを位相シフトさせて読み出しを行う場合には、読み出しに先立って露光時間を規定するリセット走査を行う必要がある。そこで、読み出すフレームの前のフレームでは、読み出しパルスとリセットパルスの走査を行い、さらに、フレーム内での走査時間がライン毎に異ならないようにする。

図８は、このような読み出し動作を行う読み出し制御部２２４の一構成例を示す図である。読み出し制御部２２４は、Ｘ−Ｙアドレス方式でＸ方向の読み出しを走査するＸ−シフトレジスタ３０１とラインの読み出しを走査するＹ−シフトレジスタ３０２と、ラインのリセットを行うＹ−シフトレジスタ３０３と、３つのシフトレジスタ３０１〜３０３のタイミングを規定するための信号（タイミングパターン）を生成するタイミングジェネレータ（ＴＧ）３０４と、読み出しスタート位置を規定するスタートパルス位置レジスタ３０６，３０７と、ＦＦ回路３１０からの制御のもとに、スタートパルス位置レジスタ３０６の出力と、スタートパルス位置レジスタ３０７の出力のいずれかを選択するセレクタ３０８，３０９とを具備する。

以下に、図９及び図１０を参照してライン方向の読み出しパルスとリセットパルスの動作の詳細を説明する。図９の例では、６ラインのうち２ラインを飛ばして間引き読み出しを行う例を示している。図１０に示すタイミングチャートではＡフレームとＢフレーム間で読み出しのパターンを交互に異ならせている。すなわち
Ａフレーム Ｌｉｎｅ−１，２，５，６，７，８，１１，１２では読み出し
Ｌｉｎｅ−１，２，３，４，７，８，９，１０ではリセット
Ｂフレーム Ｌｉｎｅ−１，２，３，４，７，８，９，１０では読み出し
Ｌｉｎｅ−１，２，５，６，７，８，１１，１２ではリセット
を行うようになっている。図１０に示したようなタイミングチャートでは全てのラインでほぼ１フレームの蓄積信号を得ることができる。またリセットパルスを与えるタイミングをずらす（異ならせる）ことで露光時間を変えることも可能である。

図１０に示すように、各フレームの読み出しパルスの総数と、読み出しパルスに先行するリセットパルスの総数とは一致している。

図１０に示す例では、ＡフレームのＬｉｎｅ５，６，１１，１２では読み出し動作のみを行っているが、次のＢフレームでリセットされるため、その次のＡフレームで読み出し動作を行うと蓄積信号はほぼ１フレームとなる。一方、Ｌｉｎｅ−１，２，７，８では読み出し及びリセットを行っているが、Ａフレームのリセット信号＝Ｂフレームの読み出し信号となっており、両方のタイミングパターンを１つのタイミングパターンで兼用できるため、構成が簡略化できるという利点がある。

さらに図６、図７に示したように、Ａ，Ｂフレームでは同じ読み出しパターンを交互に位相シフトしているので図８のＴＧ３０４に納められている元のタイミングパターンはそれぞれの間引き率で１個で済む。このような交互のシフトは、図８において、読み出しスタート位置を規定するスタートパルス位置レジスタ３０６，３０７の内容を排他的に選択するようにＦＦ回路３１０を設定するとともに、Ｙ−シフトレジスタ３０２がスタートパルス位置レジスタ３０６の内容を参照しているときは、Ｙ−シフトレジスタ３０３はスタートパルス位置レジスタ３０７の内容を参照するようにセレクタ３０８、３０９の選択動作を制御することにより実現できる。スタートパルス位置レジスタ３０６，３０７のスタート位置からＴＧ３０４で発生した間引きパターンに従って、読み出しとリセットとでそれぞれの位置でパルスを生成する。

上記した実施形態によれば、任意の電子シャッタ期間に対応し、簡単な構成で、撮像素子の読み出しパルス及びリセットパルスを生成することができる。

また、フレーム間演算処理を行う場合に効果的な読み出しパルス及びリセットパルスを生成することができる。

本発明によれば、任意の電子シャッタ期間に対応し、簡単な構成で、撮像素子の読み出しパルス及びリセットパルスを生成することができる。

また、フレーム間演算処理を行う場合に効果的な読み出しパルス及びリセットパルスを生成することができる。

Claims (10)

1. 光学像を画素毎に光電変換し、ＸＹアドレスで走査して画像信号を取得する撮像素子を有する撮像装置であって、
   前記撮像素子で取得された画像信号を必要に応じて、行または列方向に画素を選択して順次読み出し動作をするために読み出しパルスを生成して読み出しパルス走査を行う読み出し手段を有し、
   前記読み出し手段は、前記選択した所定行の読み出しを行う読み出しパルス走査に先行して、前記読み出しを行う各行の撮像素子に記録された光電変換情報のリセットを行うリセットパルス走査を行う撮像装置。
2. 前記画像信号はフレーム毎に取得され、１フレームの読み出しパルスの総数と、前記読み出しパルスに先行する前記リセットパルスの総数とが一致している請求項１記載の撮像装置。
3. 前記画像信号をフレーム毎に取得するフレーム画像取得手段を有し、
   前記フレーム画像取得手段は、
   所定フレームの所定行を読み出すために、上記読み出しパルスの１フレーム分の読み出しを行う行と、飛び越しを行う行の位置を指定する行単位のタイミングパターンと、それに先行する前記リセットパルスの１フレーム分の行単位のタイミングパターンと、が同じであり、露光時間に相当する時間分の位相が異なるように行読み出しタイミングパターンを生成する行読み出しタイミングパターン生成手段と、
   行方向の読み出し開始位置と、読み出す画素を指定するために、画素単位のタイミングパターンを生成する画素読み出しタイミングパターン生成手段と、
   前記行読み出しタイミングパターン生成手段で生成された行単位のタイミングパターンと、上記画素読み出しタイミングパターン生成手段で生成された画素単位のタイミングパターンとに基づいて、画素の読み出しを行うフレーム画像読み出し手段と、
   を具備する請求項１記載の撮像装置。
4. 複数フレーム間で前記読み出しパルスのタイミングパターンを異ならせるようにした請求項２または３記載の撮像装置。
5. 前記複数フレームで異なるライン単位の読み出しパルスのタイミングパターン及び画素単位のタイミングパターンは、単一の行単位及び画素単位のタイミングパターンを用いて、フレーム毎に撮像素子上での読み出し開始位置を異ならせるようにして生成されている請求項４に記載の撮像装置。
6. 単一の行単位のタイミングパターンを排他的に読み出し開始位置を異ならせて、前記リセットパルス及び前記読み出しパルスを生成することを特徴とする請求項５に記載の撮像装置。
7. 前記画像信号の変倍率を設定するための変倍率設定手段と、
   前記変倍率設定手段により設定された変倍率に応じて、間引き読み出しを行うための読み出しパターンを変更する読み出しパターン変更手段と、
   を有する請求項１に記載の撮像装置。
8. 前記画像信号の取得領域を設定する取得領域設定手段と、
   前記取得領域設定手段により設定された取得領域に応じて、間引き読み出しを行うための読み出しパターンを変更する読み出しパターン変更手段と、
   を有する請求項１に記載の撮像装置。
9. 前記間引き読み出しした画像信号の歪み補正を行う歪み補正手段を有する請求項７に記載の撮像装置。
10. 複数フレーム間の演算処理を行う演算手段を有する請求項７乃至９のいずれか１つに記載の撮像装置。

Images