JP2024064273A - 撮像装置 - Google Patents

Abstract

【課題】撮像領域ごとに適した動作モードを自動判定し、局所的な高フレームレート撮像もしくは高解像度撮像を実現する撮像装置を提供する。【解決手段】撮像装置は、フィードバック信号に応じて、高フレームレート撮像と高解像度撮像を複数の画素からなる画素ブロックごとに切り換える機能を有する撮像素子を備え、前記撮像素子の撮像画像、雲台のパン・チルト情報、及びレンズの焦点距離情報を出力する撮像部と、前記パン・チルト情報と前記焦点距離情報から前記撮像素子の撮像画面の動きを検出して、グローバル動き信号を出力するグローバル動き検出部と、前記撮像画像から被写体の動きを検出して、ローカル動き信号を出力するローカル動き検出部と、前記グローバル動き信号と前記ローカル動き信号から前記フィードバック信号を生成するＯＲ回路と、を備えることを特徴とする。【選択図】図１

Description

本発明は、映像信号を取得する撮像装置に関する。

近年の撮像装置の高解像度（多画素）化に対応するため、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子が広く使用されている。ＣＭＯＳ撮像素子の高速画素信号読出回路には、画素アレイの列ごとにＡＤＣ（アナログ／デジタル変換器）を設ける列並列ＡＤＣが一般に用いられている（例えば、特許文献１)。

ＣＭＯＳ撮像素子の出力データレート（画素数×フレームレート）は画素信号読出に用いるＡＤＣ回路の信号読出速度に制限される。そのため、高解像度・高フレームレート撮像素子の実現にはＡＤＣ回路の高速化が求められる。例えば、列並列ＡＤＣを用いた８Ｋ／２４０ｆｐｓ撮像素子の１行あたり信号読出期間Ｔ_Hは１μｓ以下である。さらに、デジタルＣＤＳ（相関二重サンプリング）による固定パターンノイズ除去を行う場合、一回の読出動作に対して画素のリセットレベルと信号レベルの両方のＡＤ変換を行う必要があるため、０．５μｓ以下での高速ＡＤ変換が必要である。

しかしながら、ＡＤＣの動作速度はノイズ性能・ビット深度・消費電力・ＡＤＣ面積等の性能とトレードオフの関係にある。そのため、各種撮像性能を維持しながら、撮像素子のデータレートを増大させることは困難である。

この課題に対し、限られたＡＤ変換速度で実質的な画質向上を図る撮影手法として、従来、撮像素子にフレームレートや解像度などの特定の撮像性能に特化した動作モードを複数備え、撮影シーンの特徴に合わせて最適な動作モードを選択する手法が提案されている（特許文献２)。例えば、動きの速い被写体を撮像する場合は高フレームレート／低解像度モード、高精細で動きの少ない被写体を撮像する場合は低フレームレート／高解像度モードで撮影するといった撮影シーンに適応したモード選択をすることで、実質的な画質向上を図るものである。

特開２０２０－１８８３６０号公報 特開２０２０－１４１４０５号公報

しかしながら、従来のモード選択は、撮像素子（撮像領域）全体を特定の撮像性能に特化した動作モードとするものであった。モード選択機能を撮像素子に設けたとしても、一般の撮影シーンにおいては、同一撮像画面の中に複数の異なる特徴を持つ被写体が同時に映り込むことが想定される。特に３６０°映像などの広視野撮像を行う場合、同時に複数の特徴を持つ撮影シーンが混在することが想定されるため、この影響は顕著になる。このとき、例えば、画面内の移動速度の速い被写体に合わせて高フレームレートモードでの撮像を選択すると、同一画面内に同時に映り込む静止した高精細な被写体の精細度が低下してしまう。反対に、画面内の高精細な被写体に合わせて高解像度モードでの撮像を選択すると、移動速度の速い被写体がぼやけ、動きをとらえることができない。すなわち、撮像画面の場所ごとに最適な動作モードが異なるという問題が生じる。

したがって、上記のような問題点に鑑みてなされた本発明の目的は、撮像領域ごとに高フレームレート撮像もしくは高解像度撮像のいずれの動作モードが適しているかを自動判定し、局所的な高フレームレート撮像もしくは高解像度撮像を実現する撮像装置を提供することにある。

上記課題を解決するために本発明に係る撮像装置は、
（１）フィードバック信号に応じて、高フレームレート撮像と高解像度撮像を複数の画素からなる画素ブロックごとに切り換える機能を有する撮像素子を備え、前記撮像素子の撮像画像、雲台のパン・チルト情報、及びレンズの焦点距離情報を出力する撮像部と、前記パン・チルト情報と前記焦点距離情報から前記撮像素子の撮像画面の動きを検出して、グローバル動き信号を出力するグローバル動き検出部と、前記撮像画像から被写体の動きを検出して、ローカル動き信号を出力するローカル動き検出部と、前記グローバル動き信号と前記ローカル動き信号から前記フィードバック信号を生成するＯＲ回路と、を備えることを特徴とする、撮像装置である。

（２）上記（１）の撮像装置は、更に、光電変換部を備えた画素を隣接する２×２画素ごとに１つの画素ブロックとし、前記高フレームレート撮像は、前記画素ブロックの４画素の光電変換部に蓄積された全ての電荷をビニングしてフレームごとに読み出し、前記高解像度撮像は、前記画素ブロックの一つの画素の光電変換部に蓄積された電荷をフレームごとに順に読み出すことが好ましい。

（３）上記（１）または（２）の撮像装置は、更に、前記グローバル動き検出部が、前記パン・チルト情報と前記焦点距離情報からアフィン変換行列を生成し、現在の撮像画像と該撮像画像を前記アフィン変換行列で逆アフィン変換した画像と比較することで、撮像画面の各位置における変位量を求めて二値化し、グローバル動き信号を生成することが好ましい。

（４）上記（１）～（３）のいずれかの撮像装置は、更に、前記ローカル動き検出部が、所定フレーム前の撮像画像を前記アフィン変換行列でアフィン変換した画像と、現在の撮像画像との差分信号を求めて二値化し、ローカル動き信号を生成することが好ましい。

（５）上記（１）～（４）のいずれかの撮像装置は、更に、前記フィードバック信号を、４フレームごとに更新することが好ましい。

本発明における撮像装置によれば、撮像領域ごとに高フレームレート撮像もしくは高解像度撮像のいずれの動作モードが適しているかを自動判定し、局所的な高フレームレート撮像もしくは高解像度撮像を実現できる。したがって、上述した同一画面内に動きの速い被写体と高精細な被写体が同時に映り込むような撮像シーンにおいても、撮像素子のデータレートを一定としながら画面全体の画質を向上させることができる。

本発明の一実施形態に係る撮像装置の構成例である。 本発明に用いる撮像素子の構成例である。 撮像素子の画素ブロックの回路構成の一例である。 画素ブロックの各読出動作における駆動信号のタイミングチャートの例である。 撮像素子のある列の動作タイミングの一例を示す図である。 撮像画像の座標系の例である。 フィードバック信号Ｆと対応する画素ブロックの出力信号の例である。

以下、本発明の実施の形態について、図面を用いて説明する。

（実施の形態）
図１は、本発明の一実施形態に係る撮像装置の構成例である。撮像装置は、撮像部１０と、グローバル動き検出部２０と、ローカル動き検出部３０と、ＯＲ回路４０とで構成される。以下に各要素の構成および動作原理の詳細を述べる。

（Ａ）撮像部
撮像部１０は、レンズ１１と、雲台１２と、撮像素子１００とを備え、レンズ１１の焦点距離情報と雲台１２のパン・チルト情報をグローバル動き検出部２０に出力し、撮像素子１００で撮影した映像（撮像画像）をローカル動き検出部３０に出力する。

レンズ１１は、被写体からの入射光を集光し、撮像素子１００に導く。本実施形態において、レンズ１１は焦点距離ｆ（焦点距離情報）を撮影フレームごとに出力する機能を有する。

雲台１２は、カメラ（レンズ、撮像素子）の向きや傾きを調整する。本実施形態において、雲台１２は、パン・チルト角度θ_p及びθ_t（パン・チルト情報）を撮影フレームごとに出力する機能を有する。

図２は、本発明に用いる撮像素子１００の構成例である。撮像素子１００は、画素アレイ１１０、行選択回路１２０、読出列制御回路１３０、及び列読出回路１４０を備えている。

画素アレイ１１０は、隣接する水平２画素×垂直２画素（２×２画素と略す。）を単位（以下「画素ブロック」という。）とする水平Ｈ個×垂直Ｖ個の画素ブロック１１１（水平２Ｈ個×垂直２Ｖ個の画素)で構成され、画素ブロック１１１ごとに制御することができる。本実施形態では、画素ブロック１列ごとに１本の信号読出し線PIXOUTと４本の読出列制御信号線（TXA～TXD)が垂直方向に配線される。読出列制御回路１３０は、読出列制御信号線（TXA～TXD)を制御し、信号読出し線PIXOUTは、それぞれの列に対応する列読出回路１４０（１４１，１４２・・・）に接続される。列読出回路１４０は、各画素ブロックの信号を読み出し、ＡＤＣ、デジタルＣＤＳ等の信号処理を行う。また、画素ブロック１行ごとに行選択SL、転送ゲート制御TX、リセットRTの３種類の信号線が行選択回路１２０から水平に配線され、行選択回路１２０は、それらの信号線を垂直方向に走査して画素ブロック１１１を１行ずつ駆動する。

図３は、撮像素子１００の画素ブロック１１１の回路構成の一例である。画素ブロック１１１は、４画素に対応する４個の光電変換部（本実施形態では、フォトダイオード）PD(A)～PD(D)を備える。４個のフォトダイオードPD(A)～PD(D)が、フローティングディフュージョン（FD）ノードを共有している。各フォトダイオードPDの電荷転送用トランジスタTGTのゲート電極には、転送動作制御用トランジスタTGCのソース・ドレイン端子を介して行選択回路１２０からの転送ゲート制御信号（TX信号）が入力される。転送動作制御用トランジスタTGCのゲート電極には、読出列制御信号線（TXA～TXD)が接続されており、PD(A)～PD(D)ごとに転送ゲート制御信号（TX信号）の有効／無効を切り替えることができる。フローティングディフュージョン（FD）ノードの電位は、電源PIXVDDに接続されたソースフォロアトランジスタSFTのゲート電極に入力される。行選択信号（SL信号）によって制御される選択トランジスタSLTが導通することにより、ソースフォロアトランジスタSFTの出力信号が信号読出し線PIXOUTに出力される。なお、リセットトランジスタRTTは、リセット信号（RT信号）によって制御され、導通することにより、フローティングディフュージョンFDに蓄積した電荷を排出する。

撮像素子１００は、画素ブロック１１１ごとに高速（高フレームレート）撮影又は高解像度撮影を行うことができる。撮像素子１００には、後述するフィードバック信号（各画素ブロックの動作モード選択信号）Ｆが入力され、各画素ブロック１１１の読出動作が選択される。

図４は、画素ブロック１１１の各読出動作における駆動信号のタイミングチャートの例である。本実施形態において、画素ブロック１１１は、５種類の読出動作を有する。各読出動作（ＴＸＦ，ＴＸＡ，ＴＸＢ，ＴＸＣ，ＴＸＤ）に対応する図４の各タイミングチャートは、１フレームにおいて１つの画素ブロック行が選択されている時間（１／ｆ_f／Ｖ秒）内の各信号を示している。

行選択信号（SL信号）は各読出動作で共通であり、画素ブロック行が選択されている期間（１／ｆ_f／Ｖ秒）常に選択トランジスタSLTを導通させるレベル（本実施形態では、各トランジスタを導通させる信号をHighとする。）となる。また、リセット信号（RT信号）も各読出動作で共通であり、フォトダイオードPDの読み出しが行われる（電荷転送用トランジスタTGTが導通する）前のいずれかのタイミングでHighとなり、フローティングディフュージョンFDの電荷を排出する。

読出動作ＴＸＦは、高速撮影（高フレームレート撮影）時に使用される読出動作であり、所定のタイミングで、転送ゲート制御信号（TX信号）と、４つのフォトダイオードPD(A)～PD(D)の転送動作制御用トランジスタTGCの制御信号（TXA～TXD)が全てHighとなる。したがって、読出動作ＴＸＦでは、全てのフォトダイオードPD(A)～PD(D)の電荷（ここでは、１フレーム期間に蓄積した電荷）が、フローティングディフュージョンFDに読み出される。こうして、フレームごとに画素ブロック１１１の４画素の光電変換部に蓄積された全ての電荷をビニングして読み出すことができる。

読出動作ＴＸＡは、高解像度撮影時に使用される読出動作であり、所定のタイミングで、転送ゲート制御信号（TX信号）と、１つのフォトダイオードPD(A)の転送動作制御用トランジスタTGCの制御信号（TXA)がHighとなる。したがって、読出動作ＴＸＡでは、フォトダイオードPD(A)のみの電荷が、フローティングディフュージョンFDに読み出される。なお、この期間、他のフォトダイオードPD(B)～PD(D)は、光電荷の蓄積を続ける。後述のとおり、読出動作ＴＸＡ～ＴＸＤは順に行われ、４フレームごとに読出動作ＴＸＡが行われることから、本読出動作では、４フレーム期間に蓄積されたフォトダイオードPD(A)の電荷が読み出される。

読出動作ＴＸＢは、高解像度撮影時に使用される読出動作であり、所定のタイミングで、転送ゲート制御信号（TX信号）と、１つのフォトダイオードPD(B)の転送動作制御用トランジスタTGCの制御信号（TXB)がHighとなる。したがって、読出動作ＴＸＢでは、フォトダイオードPD(B)のみの電荷（ここでは、４フレーム期間に蓄積した電荷）が、フローティングディフュージョンFDに読み出される。なお、この期間、他のフォトダイオードPD(A)、PD(C)、PD(D)は、光電荷の蓄積を続ける。

読出動作ＴＸＣは、高解像度撮影時に使用される読出動作であり、所定のタイミングで、転送ゲート制御信号（TX信号）と、１つのフォトダイオードPD(C)の転送動作制御用トランジスタTGCの制御信号（TXC)がHighとなる。したがって、読出動作ＴＸＣでは、フォトダイオードPD(C)のみの電荷（ここでは、４フレーム期間に蓄積した電荷）が、フローティングディフュージョンFDに読み出される。なお、この期間、他のフォトダイオードPD(A)、PD(B)、PD(D)は、光電荷の蓄積を続ける。

読出動作ＴＸＤは、高解像度撮影時に使用される読出動作であり、所定のタイミングで、転送ゲート制御信号（TX信号）と、１つのフォトダイオードPD(D)の転送動作制御用トランジスタTGCの制御信号（TXD)がHighとなる。したがって、読出動作ＴＸＤでは、フォトダイオードPD(D)のみの電荷（ここでは、４フレーム期間に蓄積した電荷）が、フローティングディフュージョンFDに読み出される。なお、この期間、他のフォトダイオードPD(A)～PD(C)は、光電荷の蓄積を続ける。

なお、フィードバック信号を高速撮影モードから高解像度撮影モードに切り換えた直後は、各画素に蓄積された電荷は４フレーム期間に満たない場合があるが、高解像度撮影モードの定常状態においては、読出動作ＴＸＡ～ＴＸＤが順に繰り返され、各画素から４フレーム分の電荷が読み出される。

図５は、撮像素子１００のある列の動作タイミングの一例である。この図は、撮像素子１００のある特定の画素ブロック列（ｋ列目）に対して、ｍ₁行目からｍ₂行目のみ高解像度撮影行い、その他の行は高速撮影を行う場合の動作タイミングを一例として示している。図５は、横軸が時間軸であり、縦軸が行の位置であって、斜めのラインは、各時点でどの行が何の読出動作で動作しているかを示している。

行選択回路１２０は、１フレームの期間Ｔ_f＝１／ｆ_f（秒）に画素ブロック１行目からＶ行目までの走査を行う。読出列制御回路１３０からの制御信号TXA～TXDは、図４に示すように４フレーム周期（ｆ₁～ｆ₄）でフレームごとに異なる。すなわち、ｍ₁からｍ₂行目までの読出動作において、第１フレーム（ｆ₁）では読出動作ＴＸＡ、第２フレーム（ｆ₂）では読出動作ＴＸＢ、第３フレーム（ｆ₃）では読出動作ＴＸＣ、第４フレーム（ｆ₄）では読出動作ＴＸＤを行い、その他の行の読出し動作ではフレームに関わらず読出動作ＴＸＦを行う。

上記動作を行うことでｍ₁からｍ₂行目までは画素ブロック１１１の一つの画素の光電変換部に蓄積された複数フレーム分の電荷が、１フレームごとに１画素ずつ順に読み出される。すなわち、フォトダイオードPD(A)～PD(D)に蓄積される電荷それぞれについて、露光時間が４／ｆ_fとなる映像信号を得られるため、画素に対応した解像度の高解像度映像が実現される。

その他の行ではフォトダイオードPD(A)～PD(D)に蓄積される電荷はビニングされ、画素ブロック１１１ごとにフレームレートｆ_fの映像信号が得られるため、高速（高フレームレート）撮影が実現される。

図５ではｍ₁からｍ₂行目までを高解像度モードで撮影する場合を例示したが、行ごとに動作モードは任意に指定でき、かつ列ごとに独立して動作モードを設定できるため、２×２画素の画素ブロック１１１を単位として高解像度撮影と高速（高フレームレート）撮影の動作モードを自由に設定することができる。すなわち、撮像素子１００は、画素ブロック１１１ごとに、フィードバック信号（モード選択信号）Ｆに応じて、高速撮影と高解像度撮影を切り換える機能を有する。

フィードバック信号Ｆは、例えば、画素ブロック１１１の配列に対応するＶ行Ｈ列の配列（行列）であらわされ、配列の要素Ｆ_mnの値によって高速撮影を行うか、高解像度撮影を行うかを画素ブロック１１１ごとに指定する。すなわち要素Ｆ_mnにより、ｍ行ｎ列目の画素ブロック１１１の動作モードを指定できる。本実施形態では一例として、Ｆ_mn＝１のとき高速（高フレームレート）撮影、Ｆ_mn＝０のとき高解像度撮影と定義するが、モード指定の定義はこれに限られず、０と１を反対に定義してもよい。

フィードバック信号Ｆは、撮像部１０からの出力信号に基づいて、グローバル動き検出部２０、ローカル動き検出部３０、及びＯＲ回路４０による処理により生成される。以下、各部の処理とともに、フィードバック信号Ｆの生成過程について説明する。

（Ｂ）グローバル動き検出部
グローバル動き検出部２０は、アフィン変換行列生成部２１、変位場生成部２２、及び二値化部２３で構成され、グローバル動き信号Ｆ_gを出力する。

アフィン変換行列生成部２１は、撮像部１０からフレームごとに出力される焦点距離ｆ及びパン・チルト角度θ_p及びθ_tを用いて、以下の手順で表される演算を例えば４フレームごとに１回行い、アフィン変換行列Ｘを生成する。なお、以下の説明において、撮像画像の座標系は、図６に示す撮像面の中心位置を原点とし、画面水平方向をｘ軸、垂直方向をｙ軸、１画素を単位とした座標系（ｘ軸は－Ｈ～＋Ｈ、ｙ軸は－Ｖ～＋Ｖ）を用いる。

アフィン変換行列生成部２１は、下記（ｉ）～（iii）の演算を行うことでアフィン変換行列Ｘを生成する。

（ｉ）拡大行列Ｓの計算
以下の式(1)～(2)により、焦点距離の変化で生じる撮像面の拡大行列Ｓを求める。

ここでｆは現在の焦点距離、ｆ’は４フレーム前の焦点距離であり、式(1)の比ｓは拡大率を示す。よって、拡大率ｓから式(2)により、拡大行列Ｓが得られる。

（ii）平行移動行列Ｔの計算
以下の式(3)～(9)により、カメラのパン・チルト動作によって生じる撮像画像の平行移動行列Ｔを求める。

ここで、θ_p及びθ_tはそれぞれ現在のパン・チルト角度、θ_p’及びθ_t’はそれぞれ４フレーム前のパン・チルト角度を示す。したがって、式(3)(4)は、４フレーム間でのパン・チルト角度の変化を示す。また、Ｖ及びＨは、それぞれ垂直及び水平方向の画素ブロック数を示し、ｄ_x及びｄ_yはそれぞれ水平方向及び垂直方向の画素ピッチを示す。したがって、式(5)(6)は、撮像画面の視野角度を示す。式(7)(8)のｔ_x及びｔ_yは、それぞれｘ方向、ｙ方向の撮像画面上での移動量である。

よって、移動量ｔ_x及びｔ_yから式(9)により、平行移動行列Ｔが得られる。

（iii）アフィン変換行列Ｘの計算
手順（ｉ）及び（ii）で得られた拡大行列Ｓ及び平行移動行列Ｔの積を求めることで、次の式(10)によりアフィン変換行列Ｘを生成する。

アフィン変換行列生成部２１は、生成したアフィン変換行列Ｘを、変位場生成部２２とローカル動き検出部３０のアフィン変換部３２に出力する。

変位場生成部２２は、以下の式(11)～(14)により変位場Ｄを生成する。

ここでｘ_i及びｙ_iは、撮像画面内の任意の画素中心座標を示す。すなわち、

ここでアフィン変換行列Ｘは、４フレーム前の状態と比較して作成された行列であるから、式(11)で求められた座標（ｘ_i ^*，ｙ_i ^*）の集合は、現在の撮像画像の画素位置が４フレーム前にあった画素位置を示す。

式(11)によって得られたｘ_i ^*及びｙ_i ^*に対して、以下の式（14）の演算を行うことで変位場Ｄの要素Ｄ_ijを得る。この要素Ｄ_ijの値は、撮像画面の各位置における変位量に相当し、４フレーム前の画素位置と比較して変位（移動）が大きい領域は値が大きくなる。したがって、焦点距離（ズーム）やパン・チルトの変化による画面全体の動きが変位場Ｄとして得られる。変位場生成部２２は、得られた変位場Ｄを二値化部２３に出力する。

二値化部２３は、使用者によって任意の値に設定された閾値ａを用いて、変位場Ｄを０及び１の要素に二値化し、グローバル動き信号Ｆ_gを生成する。なお、グローバル動き信号Ｆ_gは画素ブロック単位のＶ行Ｈ列の配列とすることが望ましい。そのため、例えば、変位場Ｄの要素を画素ブロック（２×２画素）ごとに平均化した後に、画素ブロック単位で閾値判定をして二値化を行う。本実施形態では、閾値ａ以上の値を有する要素を１とし、閾値ａ未満の値を有する要素を０とする。したがって、撮像画像の位置の移動が大きい領域（画素ブロック）は、グローバル動き信号Ｆ_gの要素が１となる。

（Ｃ）ローカル動き検出部
ローカル動き検出部３０は、フレームメモリ部３１、アフィン変換部３２、減算処理部３３、及び二値化部３４によって構成され、ローカル動き信号Ｆ_lを出力する。

フレームメモリ部３１は、撮像部１０の出力する撮像画像Ｐをフレームごとに保存し、所定フレーム前（本実施形態では、４フレーム前）の撮像画像Ｐ^*をアフィン変換部３２に出力する。なお、フレームメモリ部３１は、フィードバック信号Ｆの更新処理に使用されるフレームのみ（例えば、４フレームごとの撮像画像のみ）を保存してもよい。

アフィン変換部３２は、グローバル動き検出部より出力されたアフィン変換行列Ｘを用いて、フレームメモリ部３１から出力された４フレーム前の撮像画像Ｐ^*をアフィン変換し、変換後の撮像画像Ｐ’を出力する。変換後の画像は、４フレーム前の撮像画像Ｐ^*に対し、ズームやパン・チルト等のカメラの動きによる変化を反映させた画像となる。

減算処理部３３は、得られた撮像画像Ｐ’から撮像画像Ｐを減算することで、差分信号を取得する。４フレーム前と被写体の動きが大きい画素は、差分信号が大きくなる。減算処理部３３は、得られた差分信号を二値化部３４に出力する。

二値化部３４は、使用者によって任意の値に設定された閾値ｂを用いて、差分信号を０及び１の要素に二値化し、ローカル動き信号Ｆ_lを生成する。なお、ローカル動き信号Ｆ_lは画素ブロック単位のＶ行Ｈ列の配列とすることが望ましい。そのため、例えば、撮像画像の差分信号を画素ブロック（２×２画素）ごとに平均化した後に、画素ブロック単位で閾値判定をして二値化を行う。本実施形態では、閾値ｂ以上の値を有する要素を１とし、閾値ｂ未満の値を有する要素を０とする。したがって、４フレーム前と被写体自体の動きが大きい領域（画素ブロック）は、ローカル動き信号Ｆ_lの要素が１となる。

（Ｄ）ＯＲ部
ＯＲ部４０は、グローバル動き信号Ｆ_gとローカル動き信号Ｆ_lのＯＲ演算を行い、フィードバック信号Ｆを得る。フィードバック信号Ｆは、グローバル動き信号Ｆ_gとローカル動き信号Ｆ_lの少なくとも一方の動きが大きい要素（画素ブロックに対応）が例えば１となる、Ｖ行Ｈ列の配列とすることが望ましい。得られたフィードバック信号Ｆは、撮像素子１００に出力される。

上述した撮像装置の各構成要素の動作により、カメラのパン・チルト・ズーム動作によって発生する画面全体に生じるグローバルな動きと、被写体の動きによって生じるローカルな動きの両方を検出し、フィードバック信号Ｆとして撮像素子１００にフィードバックすることができる。撮像装置（撮像素子１００）は、フィードバック信号Ｆに応じて高フレームレート撮像モードと高解像度撮像モードを領域ごとに自動的に切り替え、領域毎に適切な動作モードで撮影された撮像画像Ｐを出力する。

フィードバック信号Ｆと撮像素子１００の出力の関係について説明する。フィードバック信号Ｆは、例えば４フレームごとに更新される。図７は、フィードバック信号Ｆと対応する画素ブロック１１１の出力信号の例である。図７（ａ）は、フィードバック信号Ｆの一例である。フィードバック信号Ｆの要素Ｆ_mnが０又は１の値をとることによって、画素アレイ１１０の画素ブロック１１１が動作モードの異なる２種類の撮像領域に分けられる。

フィードバック信号Ｆにより、撮像素子１００は、読出列制御回路１３０と行選択回路１２０を制御し、フィードバック信号Ｆ（要素Ｆ_mn）が１の画素ブロック１１１は、図４の読出しモードＴＸＦが４フレーム繰り返される。また、フィードバック信号Ｆ（要素Ｆ_mn）が０の画素ブロック１１１は、図４の読出しモードＴＸＡ，ＴＸＢ，ＴＸＣ，ＴＸＤが順に選択される。

図７（ｂ）は、各フレーム（ｆ₁～ｆ₄）における各画素ブロック１１１の出力信号を示す。フィードバック信号Ｆ（要素Ｆ_mn）が１の領域では、フレームごとに、露光時間が１／ｆ_fのPD(A)～PD(D)に蓄積した電荷をビニングした信号が得られるため、局所的な高フレームレート撮像（高速撮影）が実現できる。要素Ｆ_mnが０の領域は、フレームごとに図示した画素位置の信号が出力される。すなわち、露光時間が４／ｆ_fの各フォトダイオードPD(A)～PD(D)に蓄積した電荷信号をそれぞれ独立に、フレームごとに取得できるため、局所的な高解像度撮影を実現することができる。なお、図７（ｂ）では、高解像度撮像モードについては出力画素位置を明示するために、各画素が１／ｆ_fの期間、信号出力するように描かれているが、表示装置の画面上では、各画素が独立して４／ｆ_fの期間同じ画素値を出力するように表示するのが望ましい。

以上のとおり、本実施形態に係る撮像装置によれば、高フレームレート撮像若しくは高解像度撮像のいずれの動作モードが適しているかを、撮像画像の変化から撮像領域ごとに自動判定し、フィードバック信号Ｆとして画素ブロック１１１ごとに指定することができる。したがって、同一画面内に動きの速い被写体と高精細な被写体が同時に映り込むような撮像シーンにおいても、局所的な高フレームレート撮影若しくは高解像度撮影を実現することで、撮像素子のデータレートを一定としながら画面全体の画質を向上させることができる。

（実施形態の変形例）
本実施形態の撮像素子１００は、次のような変形例として構成してもよい。

・制御単位の変形例
図２では、画素ブロック１１１の制御単位は、最小の場合としてフローティングディフュージョンFDを共有する画素（２×２画素）とする場合を例示したが、制御単位の大きさは任意である。例えば８×８画素（４×４画素ブロック)を制御単位とすれば、読出列制御信号線（TXA～TXD）の本数が１／４に削減できる。また、転送動作制御用トランジスタTGCを４×４画素ブロックで共有することができ、それらの個数を１／１６に削減できることから、画素面積の大幅な縮小ができる。

・列読出回路の変形例
図２に示す実施形態では、画素アレイ１１０の下側にＨ個の列読出回路１４０を設け、画素ブロック列に対して並列に列読出回路を接続していたが、画素ブロック列に対する列読出回路の並列数は任意である。すなわち、１画素ブロック列に対応して２個の列読出回路（全体で２Ｈ個）を設ければ、１個の列読出回路１４０で処理する画素ブロック１１１の数が半数となる。また、さらに多くの列読出回路を設けることもできる。これにより、ＡＤＣの処理時間を十分にとることができ、ＡＤＣの性能向上を図ることができる。

・フィードバック信号の更新周期の変形例
フィードバック信号Ｆ（要素Ｆ_mn）は４フレームに１回の周期で更新することが望ましいが、被写体の移動速度や撮影シーンの時間変化速度に応じて適切な更新周期を選択してよい。

また、上記の実施の形態では、撮像素子及び撮像装置の構成と動作について説明したが、本発明はこれに限らず、映像信号を生成する撮像方法として構成されてもよい。すなわち、図１のデータの流れに従って、撮像装置の各ブロックにより高速撮影又は高解像度撮影の映像信号を生成する方法として構成されても良い。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態に記載の各ブロック、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成ブロック、ステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

１０ 撮像部
１１ レンズ
１２ 雲台
２０ グローバル動き検出部
２１ アフィン変換行列生成部
２２ 変位場生成部
２３ 二値化部
３０ ローカル動き検出部
３１ フレームメモリ部
３２ アフィン変換部
３３ 減算処理部
３４ 二値化部
４０ ＯＲ回路
１００ 撮像素子
１１０ 画素アレイ
１１１ 画素ブロック
１２０ 行選択回路
１３０ 読出列制御回路
１４０ 列読出回路

Claims (5)

1. フィードバック信号に応じて、高フレームレート撮像と高解像度撮像を複数の画素からなる画素ブロックごとに切り換える機能を有する撮像素子を備え、前記撮像素子の撮像画像、雲台のパン・チルト情報、及びレンズの焦点距離情報を出力する撮像部と、
   前記パン・チルト情報と前記焦点距離情報から前記撮像素子の撮像画面の動きを検出して、グローバル動き信号を出力するグローバル動き検出部と、
   前記撮像画像から被写体の動きを検出して、ローカル動き信号を出力するローカル動き検出部と、
   前記グローバル動き信号と前記ローカル動き信号から前記フィードバック信号を生成するＯＲ回路と、
   を備えることを特徴とする、撮像装置。
2. 請求項１に記載の撮像装置において、
   前記撮像素子は、光電変換部を備えた画素を隣接する２×２画素ごとに１つの画素ブロックとし、前記高フレームレート撮像は、前記画素ブロックの４画素の光電変換部に蓄積された全ての電荷をビニングしてフレームごとに読み出し、前記高解像度撮像は、前記画素ブロックの一つの画素の光電変換部に蓄積された電荷をフレームごとに順に読み出すことを特徴とする、撮像装置。
3. 請求項２に記載の撮像装置において、
   前記グローバル動き検出部は、前記パン・チルト情報と前記焦点距離情報からアフィン変換行列を生成し、現在の撮像画像と該撮像画像を前記アフィン変換行列で逆アフィン変換した画像と比較することで、撮像画面の各位置における変位量を求めて二値化し、グローバル動き信号を生成することを特徴とする、撮像装置。
4. 請求項３に記載の撮像装置において、
   前記ローカル動き検出部は、所定フレーム前の撮像画像を前記アフィン変換行列でアフィン変換した画像と、現在の撮像画像との差分信号を求めて二値化し、ローカル動き信号を生成することを特徴とする、撮像装置。
5. 請求項１に記載の撮像装置において、
   前記フィードバック信号は、４フレームごとに更新することを特徴とする、撮像装置。

Images