JP3642793B2 - 固体撮像装置及び撮像装置の制御方法 - Google Patents
固体撮像装置及び撮像装置の制御方法 Download PDFInfo
- Publication number
- JP3642793B2 JP3642793B2 JP31528292A JP31528292A JP3642793B2 JP 3642793 B2 JP3642793 B2 JP 3642793B2 JP 31528292 A JP31528292 A JP 31528292A JP 31528292 A JP31528292 A JP 31528292A JP 3642793 B2 JP3642793 B2 JP 3642793B2
- Authority
- JP
- Japan
- Prior art keywords
- gain
- solid
- state
- luminance
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、例えばカメラ装置やビデオカメラ装置等に用いて好適な固体撮像装置及び撮像装置の制御方法に関し、特に、被写体の動き及び／又は輝度に基づいてアイリス機構，ＣＣＤイメージセンサからの撮像信号を増幅するＡＧＣ（自動利得制御回路），ＣＣＤイメージセンサの電荷蓄積時間を制御することにより、シャッタ速度（ＣＣＤイメージセンサの電荷蓄積時間）が高速となった場合に、撮像画像が暗くなることを防止した固体撮像装置及び撮像装置の制御方法に関する。
【０００２】
【従来の技術】
今日においては、いわゆるハンディタイプのビデオカメラ装置が普及しつつある。
このビデオカメラ装置には、いわゆる電子シャッタ機能と称される、被写体の動きに応じてＣＣＤイメージセンサの電荷蓄積時間を制御する機能が設けられている。
【０００３】
この電子シャッタ機能は、ユーザが、撮像しようとする被写体の動きを予め予測し、この予測した速度となるように手動でシャッタ速度を設定するものである。上記ビデオカメラ装置は、上記シャッタ速度が設定されると、該ビデオカメラ装置内に設けられているシステムコントローラがこれを検出し、上記設定されたシャッタ速度となるようにＣＣＤイメージセンサの電荷蓄積時間を制御する。
【０００４】
これにより、被写体の動きに合った電荷蓄積時間とすることができ、ブレの無い、高解像度な撮像を行うことができる。
【０００５】
【発明が解決しようとする課題】
しかし、上述の電子シャッタ機能が設けられている従来のビデオカメラ装置は、手動でシャッタ速度を予め設定するようになっているため、被写体が予想外の動きを示した場合等には、急激にシャッタ速度を可変することは不可能なため、上記予め設定したシャッタ速度で撮像を続けなければならなかった。このため、撮像した画像にブレ等を生じていた。
【０００６】
ここで、本件出願人は、先に、被写体の動きを検出し、この検出した被写体の動きに応じてＣＣＤイメージセンサの電荷蓄積時間を自動的に制御するような固体撮像装置を提案している。
【０００７】
しかし、シャッタ速度が高速（すなわち、被写体の動きが激しくなったとき）になると、ＣＣＤイメージセンサの電荷蓄積時間が短くなるため、ＣＣＤイメージセンサからの撮像信号の輝度レベルが低下し、撮像した画像が薄暗い画像となってしまう場合がある。
【０００８】
本発明は、上述の問題点に鑑みてなされたものであり、被写体の動きに応じて自動的にシャッタ速度を可変することができるうえ、シャッタ速度が高速となっても撮像信号の輝度レベルが低下することがないような電子シャッタ機能の設けられた固体撮像装置の提供を目的とする。
【０００９】
【課題を解決するための手段】
本発明は、被写体からの撮像光を固体撮像素子で受光し、上記撮像光を光電変換することにより形成された撮像信号から被写体の動きを検出する動き検出手段と、少なくとも上記動き検出手段で検出された上記被写体の動きに応じて上記固体撮像素子の電荷蓄積時間を制御する電荷蓄積時間制御手段とを有する固体撮像装置であって、上記固体撮像素子からの撮像信号から輝度を検出し、輝度検出信号として出力する輝度検出手段と、上記固体撮像素子からの撮像信号を増幅して出力する利得が可変可能な利得可変増幅手段と、上記電荷蓄積時間制御手段により制御される上記動き検出信号に応じた電荷蓄積時間での上記固体撮像素子による撮像信号の輝度信号レベルを上記輝度検出手段からの輝度検出信号に基づいて推定し、上記利得可変増幅手段を介して最適輝度信号レベルの撮像信号が得られるように上記利得可変増幅手段の利得を可変制御する利得制御手段と、上記撮像光の光量調整を行う絞り光量制御手段と、上記利得制御手段の制御によって上記利得可変増幅手段の利得が最大の利得となっているか判別し、上記利得が最大の利得になっている場合に、上記絞り光量制御手段の開成状態を制御する絞り開成状態制御手段とを有し、上記電荷蓄積時間制御手段により上記固体撮像素子の電荷蓄積時間を制御するとともに、上記利得制御手段によって上記利得可変増幅手段の利得を制御し、さらに、上記絞り開成状態制御手段によって上記絞り光量制御手段の開成状態を制御した状態で撮像を行い、再度上記利得制御手段によって上記利得可変増幅手段の利得を制御することを特徴とする。
【００１０】
また、本発明に係る固体撮像装置は、上記利得可変増幅手段の利得が最大の利得となっている場合であって、上記絞り開成状態制御手段によって、上記絞り光量制御手段の開成状態が一杯に開成された際に、上記電荷蓄積時間制御手段は、上記固体撮像素子の電荷蓄積時間が最短となるように制御することを特徴とする。
【００１１】
さらに、本発明に係る固体撮像装置は、上記利得可変増幅手段の利得が最大の利得となっている場合であって、上記絞り開成状態制御手段によって、上記絞り光量制御手段の開成状態が一杯に開成された際に、上記電荷蓄積時間制御手段は、上記輝度検出手段からの輝度検出信号に基づいて、上記固体撮像素子の電荷蓄積時間を更に制御することを特徴とする。
【００１２】
また、本発明は、被写体からの撮像光を固体撮像素子で受光し、上記撮像光を光電変換することにより形成された撮像信号から被写体の動きを検出し、少なくとも検出された上記被写体の動きに応じて上記固体撮像素子の電荷蓄積時間を制御する撮像装置の制御方法であって、上記固体撮像素子からの撮像信号から輝度を検出し、輝度検出信号として出力する輝度検出工程と、動き検出信号に応じた電荷蓄積時間での上記固体撮像素子による撮像信号の輝度信号レベルを上記輝度検出工程で得られる上記輝度検出信号に基づいて推定し、上記固体撮像素子からの撮像信号を増幅する利得可変増幅手段を介して最適輝度信号レベルの撮像信号が得られるように該利得可変増幅手段の利得を可変制御する利得制御工程と、上記利得制御工程において、上記利得可変増幅手段の利得が最大の利得となっているかを判別する利得判別工程と、上記利得判別工程において、上記利得が最大の利得になっていると判別された場合に、上記撮像光の光量調整を行う絞り光量制御手段の絞り開成状態を制御する絞り開成状態制御工程と、上記固体撮像素子の電荷蓄積時間、上記利得可変増幅手段の利得及び上記絞り光量制御手段の開成状態を制御した状態で撮像を行い、再度上記利得可変増幅手段の利得を制御する利得再制御工程とを有することを特徴とする。
【００１４】
【作用】
本発明では、被写体の動きに応じて固体撮像素子の電荷蓄積時間を制御するような固体撮像装置において、被写体の動きに応じた電荷蓄積時間での固体撮像素子による撮像信号の輝度信号レベルを上記固体撮像素子による撮像信号から輝度を検出する輝度検出手段からの輝度検出信号に基づいて推定し、利得可変増幅手段を介して最適輝度信号レベルの撮像信号が得られるように利得制御手段により上記利得可変増幅手段の利得を制御して、撮像信号の輝度レベルの調整を行い、絞り開成状態制御手段により、上記利得可変増幅手段の利得が最大の利得となっているか判別し、上記利得が最大の利得になっている場合に、上記輝度検出手段からの輝度検出信号に基づいて、上記絞り光量制御手段の開成状態を制御し、上記固体撮像素子の電荷蓄積時間、上記利得可変増幅手段の利得及び上記絞り光量制御手段の開成状態を制御した状態で撮像を行い、再度上記利得制御手段によって上記利得可変増幅手段の利得を制御することを特徴とする。
【００１５】
また、本発明に係る固体撮像装置では、上記利得可変増幅手段の利得が最大の利得となっている場合であって、上記絞り開成状態制御手段によって、上記絞り光量制御手段の開成状態が一杯に開成された際に、上記電荷蓄積時間制御手段は、上記固体撮像素子の電荷蓄積時間が最短となるように制御することにより、撮像信号の輝度レベルよりも撮像画像のブレ防止を優先して撮像を行う。
【００１６】
さらに、本発明に係る固体撮像装置では、上記利得可変増幅手段の利得が最大の利得となっている場合であって、上記絞り開成状態制御手段によって、上記絞り光量制御手段の開成状態が一杯に開成された際に、上記電荷蓄積時間制御手段は、上記輝度検出手段からの輝度検出信号に基づいて、上記固体撮像素子の電荷蓄積時間を更に制御することにより、撮像画像のブレ防止よりも、撮像画像の明るさを優先して撮像を行う。
【００１７】
また、本発明では、被写体からの撮像光を固体撮像素子で受光し、上記撮像光を光電変換することにより形成された撮像信号から被写体の動きを検出し、少なくとも検出された上記被写体の動きに応じて上記固体撮像素子の電荷蓄積時間を制御する撮像装置の制御方法でおいて、上記固体撮像素子からの撮像信号から輝度を検出し、輝度検出信号として出力し、上記動き検出信号に応じた電荷蓄積時間での上記固体撮像素子による撮像信号の輝度信号レベルを上記輝度検出信号に基づいて推定し、上記固体撮像素子からの撮像信号を増幅する利得可変増幅手段を介して最適輝度信号レベルの撮像信号が得られるように該利得可変増幅手段の利得を可変制御し、上記利得可変増幅手段の利得が最大の利得となっているかを判別し、上記利得が最大の利得になっていると判別された場合に、上記撮像光の光量調整を行う絞り光量制御手段の絞り開成状態を制御し、上記固体撮像素子の電荷蓄積時間、上記利得可変増幅手段の利得及び上記絞り光量制御手段の開成状態を制御した状態で撮像を行い、上記利得可変増幅手段の利得を再度制御する。
【００１９】
【実施例】
以下、本発明に係る固体撮像装置の実施例について図面を参照しながら詳細に説明する。
本発明の実施例に係る固体撮像装置は、図１に示すように被写体からの撮像光の光量調整を行う絞り制御手段であるアイリス機構１と、上記アイリス機構１を介して照射される撮像光を受光して光電変換を行い撮像信号を形成して出力する固体撮像素子であるＣＣＤイメージセンサ２と、上記ＣＣＤイメージセンサ２からの撮像信号を増幅して出力する利得が可変可能な利得可変増幅手段である自動利得制御回路（ＡＧＣ）３と、上記ＡＧＣ３からのアナログの撮像信号をデジタル化し撮像データを形成して出力するＡ／Ｄ変換器４とを有している。
【００２０】
また、上記実施例の固体撮像装置は、上記ＣＣＤイメージセンサ２からの撮像信号から輝度（Ｙ）信号を抽出して出力するマトリクス回路６と、上記マトリクス回路６からのアナログ信号である輝度信号をデジタル化して輝度データを形成して出力するＡ／Ｄ変換器７と、上記Ａ／Ｄ変換器７からの輝度データから被写体の動きを検出し、これを動き検出信号である動きベクトルとして出力する動き検出手段である動きベクトル検出装置８と、上記Ａ／Ｄ変換器７からの輝度データのレベルを検出し、これを輝度検出信号である輝度検出データとして出力する輝度検出手段である輝度レベル検出回路９とを有している。
【００２１】
また、上記実施例の固体撮像装置は、上記Ａ／Ｄ変換器４からの撮像データ、上記動きベクトル検出装置８からの動きベクトル及び上記輝度レベル検出回路９からの輝度検出データに基づいて、上記アイリス機構１の絞りを制御し、上記ＣＣＤイメージセンサ２の電荷蓄積時間を制御するとともに、上記ＡＧＣ３の利得を可変制御する絞り開成状態制御手段，制御手段及び利得制御手段であるシステムコントローラ１０を有している。
【００２２】
次に、このような構成を有する実施例に係る固体撮像装置の動作を、図２に示すフローチャートに従って説明する。
【００２３】
この図２に示すフローチャートは、上記固体撮像装置のメイン電源がオンされることによりスタートとなり、ステップＳ１に進む。
【００２４】
上記ステップＳ１では、上記システムコントローラ１０が、上記アイリス機構１の開成状態を初期設定時の開成状態（絞り制御値Ｄ０）とし、ＣＣＤイメージセンサ２の電荷蓄積時間を初期設定時の電荷蓄積時間（シャッタ速度Ｐ０）とし、上記ＡＧＣ３を初期設定時の利得となるようにそれぞれ制御しステップＳ２に進む。
【００２５】
上記ステップＳ２では、実際に被写体の撮像が開始されステップＳ３及びステップＳ４に進む。
【００２６】
上記ステップＳ２において撮像が開始されると、撮像光が初期設定の開成状態（絞り制御値Ｄ０）とされた上記アイリス機構１を介して上記ＣＣＤイメージセンサ２に照射される。上記ＣＣＤイメージセンサ２は、上記初期設定時の電荷蓄積時間（シャッタ速度Ｐ０）分、上記撮像光を受光し、この撮像光により蓄積された電荷を撮像信号として上記ＡＧＣ３及びマトリクス回路６に供給する。上記ＡＧＣ３は、上記初期設定された利得で上記撮像信号を増幅し、これを出力端子５を介して例えば図示しないビデオ信号プロセス回路に供給するとともに、Ａ／Ｄ変換器４に供給する。上記Ａ／Ｄ変換器４は、アナログ信号である上記撮像信号をデジタル化することにより撮像データを形成し、この撮像データを上記システムコントローラ１０に供給する。
【００２７】
一方、上記マトリクス回路６は、上記撮像信号から輝度信号を抽出し、この輝度信号をＡ／Ｄ変換器７に供給する。上記Ａ／Ｄ変換器７は、アナログ信号である上記輝度信号をデジタル化することにより輝度データを形成し、この輝度データを動きベクトル検出装置８及び輝度レベル検出回路９に供給する。
【００２８】
上記ステップＳ３及びステップＳ４は、上記動きベクトル検出装置８及び輝度レベル検出回路９が同時に実行するステップである。
【００２９】
上記ステップＳ３では、上記動きベクトル検出回路８が上記輝度データに基づいて、例えば以下に説明する代表点ブロックマッチング法を用いて被写体の動き（速度Ｖ）を検出して動きベクトルを形成してステップＳ５に進む。
【００３０】
すなわち、上記動きベクトル検出装置８は、図３（ａ）に示すように撮像領域４０を、例えば第１〜第１６の部分領域（以下、マクロブロックと言う。）４１ａ〜４１ｐに分割し、この各マクロブロック４１ａ〜４１ｐの中央に位置する画素を代表点４４とし、上記マクロブロック４１ａ〜４１ｐ毎にフィールド間における上記代表点４４に係る輝度データの相関性を検出することにより撮像中の手振れベクトルを検出する。また、上記動きベクトル検出装置８は、図３（ｂ）に示すように画像領域４０の中央部分の領域４２を、例えば第１〜第１６のマクロブロック４３ａ〜４３ｐに分割し、この各マクロブロック４３ａ〜４３ｐの中央に位置する画素を代表点４５とし、上記マクロブロック４３ａ〜４３ｐ毎にフィールド間における上記代表点４５に係る輝度データの相関性を検出することにより被写体の動きベクトルを検出する。そして、上記手振れベクトルに基づいて上記動きベクトルを形成して出力する、代表点ブロックマッチング法により動きベクトルの検出を行う。
【００３１】
具体的には、例えば図４に示すように大きく分けて、上記手振れベクトルを検出する手振れベクトル検出回路２６及び上記手振れベクトル検出回路２６からの手振れベクトルに基づいて被写体の動きベクトルを検出する動きベクトル検出回路３２で構成されている。
【００３２】
上記手振れベクトル検出回路２６は、上記図３（ａ）に示した上記各マクロブロック４１ａ〜４１ｐの各代表点４４に係る輝度データを記憶する手振れベクトル検出用代表点メモリ２１と、上記手振れベクトル検出用代表点メモリ２１から極性が反転されて読み出される、前フィールドの上記代表点４４に係る輝度データ、及び、現在フィールドの輝度データを加算処理して相関値データを形成して出力する加算器２２と、上記加算器２２からの相関値データの絶対値を検出する絶対値回路２３と、上記各マクロブロック４１ａ〜４１ｐ毎に被写体の動きを検出する第１〜第１６のマクロブロック動き検出部２４ａ〜２４ｐと、上記第１〜第１６のマクロブロック動き検出部２４ａ〜２４ｐから供給される各マクロブロック４１ａ〜４１ｐに係る相関値データから手振れベクトルを検出する手振れベクトル検出回路２５とで構成されている。
【００３３】
上記動きベクトル検出回路３２は、上記図３（ｂ）に示した上記画像領域４０の中央部分４２の各マクロブロック４３ａ〜４３ｐの各代表点４５に係る輝度データを記憶する被写体動きベクトル検出用代表点メモリ２７と、上記被写体動きベクトル検出用代表点メモリ２７から極性が反転されて読み出される、前フィールドの上記代表点４５に係る輝度データ、及び、現在フィールドの輝度データを加算処理して相関値データを形成して出力する加算器２８と、上記加算器２８からの相関値データの絶対値を検出する絶対値回路２９と、上記各マクロブロック４３ａ〜４３ｐ毎に被写体の動きを検出する第１〜第１６のマクロブロック動き検出部３０ａ〜３０ｐと、上記手振れベクトル検出部２５からの手振れベクトルに基づいて、上記第１〜第１６のマクロブロック動き検出部３０ａ〜３０ｐから供給される、各マクロブロック４３ａ〜４３ｐに係る相関値データから動きベクトルを検出する動きベクトル検出部３１とで構成されている。
【００３４】
このような構成を有する動きベクトル検出装置８において、上記図１に示すＡ／Ｄ変換器７からの輝度データは、入力端子２０を介して上記手振れベクトル検出用代表点メモリ２１，加算器２２，被写体動きベクトル検出用代表点メモリ２７及び加算器２８に供給される。
【００３５】
上記手振れベクトル検出用代表点メモリ２１は、上記図３（ａ）に示す各マクロブロック４１ａ〜４１ｐの各代表点４４に係る輝度データを一旦記憶する。この記憶された輝度データは、上記図１に示すシステムコントローラ１０からの読み出しパルスにより極性が反転されて読み出され、１フィールドの遅延が施されて上記加算器２２に供給される。
【００３６】
上記加算器２２は、上記各代表点４４に係る前フィールドの輝度データと、現在フィールドの輝度データとを加算処理することにより、その差分（相関性）を検出する。これにより、上記各マクロブロック４１ａ〜４１ｐ毎の相関値データが検出されることとなる。この各マクロブロック４１ａ〜４１ｐ毎の相関値データは、それぞれ絶対値検出回路２３に供給する。
【００３７】
上記絶対値検出回路２３は、上記各相関値データの絶対値を検出し、これを上記第１〜第１６のマクロブロック動き検出部２４ａ〜２４ｐに供給する。
【００３８】
上記第１〜第１６のマクロブロック動き検出部２４ａ〜２４ｐは、それぞれ上記絶対値検出回路２３からの相関値データに基づいて被写体の動きベクトルを検出する。これにより、上記各マクロブロック動き検出部２４ａ〜２４ｐにおいて、上記各マクロブロック４１ａ〜４１ｐ毎の被写体の動きベクトルが検出されることとなる。この各動きベクトルは、それぞれ手振れベクトル検出回路２５に供給される。
【００３９】
上記手振れベクトル検出回路２５は、上記各マクロブロック４１ａ〜４１ｐ毎に検出された動きベクトルの最小値を検出し、これを手振れベクトルとして動きベクトル検出回路３２内の動きベクトル検出部３１に供給する。
【００４０】
一方、上記動きベクトル検出用代表点メモリ２７は、上記図３（ｂ）に示す各マクロブロック４３ａ〜４３ｐの各代表点４５に係る輝度データを一旦記憶する。この記憶された輝度データは、上記図１に示すシステムコントローラ１０からの読み出しパルスにより極性が反転されて読み出され、１フィールドの遅延が施されて上記加算器２８に供給される。
【００４１】
上記加算器２８は、上記各代表点４５に係る前フィールドの輝度データと、現在フィールドの輝度データとを加算処理することにより、その差分（相関性）を検出する。これにより、上記各マクロブロック４３ａ〜４３ｐ毎の相関値データが検出されることとなる。この各マクロブロック４３ａ〜４３ｐ毎の相関値データは、それぞれ絶対値検出回路２９に供給する。
【００４２】
上記絶対値検出回路２９は、上記各相関値データの絶対値を検出し、これを第１〜第１６のマクロブロック動き検出部３０ａ〜３０ｐに供給する。
【００４３】
上記第１〜第１６のマクロブロック動き検出部３０ａ〜３０ｐは、それぞれ上記絶対値検出回路２９からの相関値データに基づいて被写体の動きベクトルを検出する。これにより、上記各マクロブロック動き検出部３０ａ〜３０ｐにおいて、上記各マクロブロック４３ａ〜４３ｐ毎の被写体の動きベクトルが検出されることとなる。この各動きベクトルは、それぞれ動きベクトル検出回路３１に供給される。
【００４４】
上記動きベクトル検出回路３１は、上記手振れベクトル検出部２５から供給される手振れベクトルに基づいて、上記各マクロブロック４３ａ〜４３ｐ毎に検出された動きベクトルの最小値を検出し、これを動きベクトルとして出力端子３３を介して出力する。この出力端子３３を介して出力される動きベクトルは、図１に示すシステムコントローラ１０に供給される。
【００４５】
上記ステップＳ４では、上記輝度レベル検出回路９が、上記Ａ／Ｄ変換器７から供給される輝度データから輝度レベルＸを計測し、この計測データである輝度レベルデータを上記システムコントローラ１０に供給してステップＳ６に進む。
【００４６】
上記ステップＳ５では、上記システムコントローラ１０が、上記動きベクトル検出装置８から供給される動きベクトル（速度Ｖ）に基づいて上記ＣＣＤイメージセンサ２の電荷蓄積時間（シャッタ速度Ｐ）を決定する。そして、この決定したシャッタ速度Ｐとなるように上記ＣＣＤイメージセンサ２の電荷蓄積時間を制御しステップＳ６に進む。
【００４７】
上記ステップＳ６では、上記システムコントローラ１０が、上記ステップＳ５において決定したシャッタ速度Ｐに対する輝度レベルＸ’を推定し、この輝度レベルＸ’を最適輝度レベルＸ０にするように上記ＡＧＣ３の利得を可変制御しステップＳ７に進む。
【００４８】
上記ステップＳ７では、上記システムコントローラ１０が、上記Ａ／Ｄ変換器４から供給される撮像データのレベルを検出する。そして、この撮像データのレベルから、上記ＡＧＣ３の利得が最大であるか否かを判別し、ＮＯの場合はステップＳ８に進み、ＹＥＳの場合はステップＳ１０に進む。
【００４９】
上記ステップＳ１０では、上記ＡＧＣ３の利得が限界であるため、上記システムコントローラ１０が上記アイリス機構１を全開したとき上記輝度レベル検出回路９から供給される輝度レベルデータが適性な輝度レベルＸ０よりも大きくなるか否かを判別し、ＮＯの場合はステップＳ１１に進み、ＹＥＳの場合はステップＳ１２に進む。
【００５０】
上記ステップＳ１１では、上記ＡＧＣ３の利得が最大且つ上記アイリス機構１を全開しても上記輝度レベルデータが適性な輝度レベルＸ０とならないため、上記システムコントローラ１０が、上記ＣＣＤイメージセンサ２のシャッタ速度を最高速度となるように制御するか、上記輝度レベルが適性な輝度レベルＸ０となるように上記ＣＣＤイメージセンサ２のシャッタ速度Ｐを制御してステップＳ８に進む。
【００５１】
すなわち、このステップＳ１１では、撮像信号の輝度レベルＸよりもシャッタ速度Ｐを優先して撮像を行うか、シャッタ速度Ｐよりも輝度レベルＸを優先して撮像を行う。これにより、撮像信号の輝度レベルＸよりもシャッタ速度Ｐを優先して撮像を行った場合は、撮像画像は多少暗くなるがブレの無い撮像画像を得ることができ、シャッタ速度Ｐよりも輝度レベルＸを優先して撮像を行った場合は、撮像画像に多少のブレは生ずるが明るい撮像画像を得ることができる。
【００５２】
上記ステップＳ１０における判定結果がＹＥＳの場合には、上記ステップＳ５で決定された動きベクトル（速度Ｖ）に応じた上記ＣＣＤイメージセンサ２の電荷蓄積時間（シャッタ速度Ｐ）で上記アイリス機構１を全開したとき上記輝度レベル検出回路９から供給される輝度レベルデータが適性な輝度レベルＸ０よりも大きくなる、すなわち、上記アイリス機構１の制御により適性な輝度レベルＸ０が得られる制御範囲にあるので、上記ステップＳ１２では、上記アイリス機構１の制御により適性な輝度レベルＸ０が得られる適正絞り制御値を選択して上記アイリス機構１の開成状態を制御してステップＳ８に進む。
【００５３】
上記ステップＳ８では、上記システムコントローラ１０が上述のように設定した絞り（アイリス機構１），シャッタ速度（ＣＣＤイメージセンサ２）及び利得（ＡＧＣ３）で撮像を行い、このステップＳ８で得られる次の入力画像に対して、上記ステップＳ３，Ｓ４に戻って、上述した制御と同様の制御が繰り返し行わるとともに、ステップＳ９に進む。
【００５４】
上記ステップＳ９では、上記システムコントローラ１０が、上記ＡＧＣ３の利得を制御することにより、多少の輝度レベルの変動に対処し終了する。
【００５５】
このように、被写体の動き，輝度レベル及び撮像信号レベルに基づいて、上記アイリス機構１の開成状態，ＣＣＤイメージセンサの電荷蓄積時間及びＡＧＣ３の利得を制御することにより、被写体の動きに応じたＣＣＤイメージセンサ２の電荷蓄積時間の自動制御を、撮像信号の輝度レベルをも考慮したうえで行うことができる。
【００５６】
このため、常に適性な輝度レベルで撮像を行うことができ、上記ＣＣＤイメージセンサ２の電荷蓄積時間の自動制御にともなう、撮像画像が暗くなるような不都合を防止することができる。
【００５７】
また、上記アイリス機構１の開成状態及び上記ＡＧＣ３の利得が限界となった場合において、撮像信号の輝度レベルよりもシャッタ速度を優先して撮像を行うか、又は、シャッタ速度よりも輝度レベルを優先して撮像を行うことができる。
このため、上記撮像信号の輝度レベルよりもシャッタ速度を優先して撮像を行った場合は、撮像画像は多少暗くなるがブレの無い撮像画像を得ることができ、上記シャッタ速度よりも輝度レベルを優先して撮像を行った場合は、撮像画像に多少のブレは生ずるが明るい撮像画像を得ることができる。
【００５８】
なお、上述の実施例の説明では、上記動きベクトル検出装置８は、代表点ブロックマッチング法により動きベクトルを検出することとしたが、これは、例えば通常のいわゆるブロックマッチング法により動きベクトルを検出するようにしたり、いわゆる勾配法により動きベクトルを検出するようにしてもよい。
【００５９】
【発明の効果】
本発明では、被写体の動きに応じて固体撮像素子の電荷蓄積時間を制御するような固体撮像装置において、被写体の動きに応じた電荷蓄積時間での固体撮像素子による撮像信号の輝度信号レベルを上記固体撮像素子による撮像信号から輝度を検出する輝度検出手段からの輝度検出信号に基づいて推定し、利得可変増幅手段を介して最適輝度信号レベルの撮像信号が得られるように利得制御手段により上記利得可変増幅手段の利得を制御して、撮像信号の輝度レベルの調整を行い、絞り開成状態制御手段により、上記利得可変増幅手段の利得が最大の利得となっているか判別し、上記利得が最大の利得になっている場合に、上記輝度検出手段からの輝度検出信号に基づいて、上記絞り光量制御手段の開成状態を制御し、上記固体撮像素子の電荷蓄積時間、上記利得可変増幅手段の利得及び上記絞り光量制御手段の開成状態を制御した状態で撮像を行い、再度上記利得制御手段によって上記利得可変増幅手段の利得を制御するので、シャッタ速度の高速化にともなう撮像信号の輝度レベルの低下を防止することができ、適正な明るさの撮像画像を得ることができる。
【００６０】
また、本発明に係る固体撮像装置では、上記利得可変増幅手段の利得が最大の利得となっている場合であって、上記絞り開成状態制御手段によって、上記絞り光量制御手段の開成状態が一杯に開成された際に、上記電荷蓄積時間制御手段は、上記固体撮像素子の電荷蓄積時間が最短となるように制御することにより、撮像信号の輝度レベルよりも撮像画像のブレ防止を優先して撮像を行うことができる。
【００６１】
さらに、本発明に係る固体撮像装置では、上記利得可変増幅手段の利得が最大の利得となっている場合であって、上記絞り開成状態制御手段によって、上記絞り光量制御手段の開成状態が一杯に開成された際に、上記電荷蓄積時間制御手段は、上記輝度検出手段からの輝度検出信号に基づいて、上記固体撮像素子の電荷蓄積時間を更に制御することにより、撮像画像のブレ防止よりも、撮像画像の明るさを優先して撮像を行うことができる。
【００６２】
また、本発明では、被写体からの撮像光を固体撮像素子で受光し、上記撮像光を光電変換することにより形成された撮像信号から被写体の動きを検出し、少なくとも検出された上記被写体の動きに応じて上記固体撮像素子の電荷蓄積時間を制御する撮像装置の制御方法でおいて、上記固体撮像素子からの撮像信号から輝度を検出し、輝度検出信号として出力し、上記動き検出信号に応じた電荷蓄積時間での上記固体撮像素子による撮像信号の輝度信号レベルを上記輝度検出信号に基づいて推定し、上記固体撮像素子からの撮像信号を増幅する利得可変増幅手段を介して最適輝度信号レベルの撮像信号が得られるように該利得可変増幅手段の利得を可変制御し、上記利得可変増幅手段の利得が最大の利得となっているかを判別し、上記利得が最大の利得になっていると判別された場合に、上記撮像光の光量調整を行う絞り光量制御手段の絞り開成状態を制御し、上記固体撮像素子の電荷蓄積時間、上記利得可変増幅手段の利得及び上記絞り光量制御手段の開成状態を制御した状態で撮像を行い、上記利得可変増幅手段の利得を再度制御するので、シャッタ速度の高速化にともなう撮像信号の輝度レベルの低下を防止することができ、適正な明るさの撮像画像を得ることができる。
【図面の簡単な説明】
【図１】本発明に係る固体撮像装置の実施例のブロック図である。
【図２】上記実施例に係る固体撮像装置の動作説明をするためのフローチャートである。
【図３】上記実施例に係る固体撮像装置に設けられている動きベクトル検出装置における動きベクトルの検出方法を説明するための画像領域の模式図である。
【図４】上記実施例に係る固体撮像装置に設けられている動きベクトル検出装置のブロック図である。
【符号の説明】
１・・・・・・・・・・アイリス機構
２・・・・・・・・・・ＣＣＤイメージセンサ
３・・・・・・・・・・自動利得制御回路（ＡＧＣ）
４，７・・・・・・・・Ａ／Ｄ変換器
６・・・・・・・・・・マトリクス回路
８・・・・・・・・・・動きベクトル検出装置
９・・・・・・・・・・輝度レベル検出回路
１０・・・・・・・・・システムコントローラ
２１・・・・・・・・・手振れベクトル検出用代表点メモリ
２２・・・・・・・・・加算器
２３・・・・・・・・・絶対値検出回路
２４ａ〜２４ｐ・・・・マクロブロック動き検出回路
２５・・・・・・・・・手振れベクトル検出部
２６・・・・・・・・・手振れベクトル検出回路
２７・・・・・・・・・被写体動きベクトル検出用代表点メモリ
２８・・・・・・・・・加算器
２９・・・・・・・・・絶対値検出回路
３０ａ〜３０ｐ・・・・マクロブロック動き検出回路
３１・・・・・・・・・動きベクトル検出部
３２・・・・・・・・・動きベクトル検出回路
４０・・・・・・・・・画像領域
４１ａ〜４１ｐ・・・・第１〜第１６のマクロブロック
４２・・・・・・・・・画像領域の中央部分
４３ａ〜４３ｐ・・・・第１〜第１６のマクロブロック
４４，４５・・・・・・代表点
【産業上の利用分野】
本発明は、例えばカメラ装置やビデオカメラ装置等に用いて好適な固体撮像装置及び撮像装置の制御方法に関し、特に、被写体の動き及び／又は輝度に基づいてアイリス機構，ＣＣＤイメージセンサからの撮像信号を増幅するＡＧＣ（自動利得制御回路），ＣＣＤイメージセンサの電荷蓄積時間を制御することにより、シャッタ速度（ＣＣＤイメージセンサの電荷蓄積時間）が高速となった場合に、撮像画像が暗くなることを防止した固体撮像装置及び撮像装置の制御方法に関する。
【０００２】
【従来の技術】
今日においては、いわゆるハンディタイプのビデオカメラ装置が普及しつつある。
このビデオカメラ装置には、いわゆる電子シャッタ機能と称される、被写体の動きに応じてＣＣＤイメージセンサの電荷蓄積時間を制御する機能が設けられている。
【０００３】
この電子シャッタ機能は、ユーザが、撮像しようとする被写体の動きを予め予測し、この予測した速度となるように手動でシャッタ速度を設定するものである。上記ビデオカメラ装置は、上記シャッタ速度が設定されると、該ビデオカメラ装置内に設けられているシステムコントローラがこれを検出し、上記設定されたシャッタ速度となるようにＣＣＤイメージセンサの電荷蓄積時間を制御する。
【０００４】
これにより、被写体の動きに合った電荷蓄積時間とすることができ、ブレの無い、高解像度な撮像を行うことができる。
【０００５】
【発明が解決しようとする課題】
しかし、上述の電子シャッタ機能が設けられている従来のビデオカメラ装置は、手動でシャッタ速度を予め設定するようになっているため、被写体が予想外の動きを示した場合等には、急激にシャッタ速度を可変することは不可能なため、上記予め設定したシャッタ速度で撮像を続けなければならなかった。このため、撮像した画像にブレ等を生じていた。
【０００６】
ここで、本件出願人は、先に、被写体の動きを検出し、この検出した被写体の動きに応じてＣＣＤイメージセンサの電荷蓄積時間を自動的に制御するような固体撮像装置を提案している。
【０００７】
しかし、シャッタ速度が高速（すなわち、被写体の動きが激しくなったとき）になると、ＣＣＤイメージセンサの電荷蓄積時間が短くなるため、ＣＣＤイメージセンサからの撮像信号の輝度レベルが低下し、撮像した画像が薄暗い画像となってしまう場合がある。
【０００８】
本発明は、上述の問題点に鑑みてなされたものであり、被写体の動きに応じて自動的にシャッタ速度を可変することができるうえ、シャッタ速度が高速となっても撮像信号の輝度レベルが低下することがないような電子シャッタ機能の設けられた固体撮像装置の提供を目的とする。
【０００９】
【課題を解決するための手段】
本発明は、被写体からの撮像光を固体撮像素子で受光し、上記撮像光を光電変換することにより形成された撮像信号から被写体の動きを検出する動き検出手段と、少なくとも上記動き検出手段で検出された上記被写体の動きに応じて上記固体撮像素子の電荷蓄積時間を制御する電荷蓄積時間制御手段とを有する固体撮像装置であって、上記固体撮像素子からの撮像信号から輝度を検出し、輝度検出信号として出力する輝度検出手段と、上記固体撮像素子からの撮像信号を増幅して出力する利得が可変可能な利得可変増幅手段と、上記電荷蓄積時間制御手段により制御される上記動き検出信号に応じた電荷蓄積時間での上記固体撮像素子による撮像信号の輝度信号レベルを上記輝度検出手段からの輝度検出信号に基づいて推定し、上記利得可変増幅手段を介して最適輝度信号レベルの撮像信号が得られるように上記利得可変増幅手段の利得を可変制御する利得制御手段と、上記撮像光の光量調整を行う絞り光量制御手段と、上記利得制御手段の制御によって上記利得可変増幅手段の利得が最大の利得となっているか判別し、上記利得が最大の利得になっている場合に、上記絞り光量制御手段の開成状態を制御する絞り開成状態制御手段とを有し、上記電荷蓄積時間制御手段により上記固体撮像素子の電荷蓄積時間を制御するとともに、上記利得制御手段によって上記利得可変増幅手段の利得を制御し、さらに、上記絞り開成状態制御手段によって上記絞り光量制御手段の開成状態を制御した状態で撮像を行い、再度上記利得制御手段によって上記利得可変増幅手段の利得を制御することを特徴とする。
【００１０】
また、本発明に係る固体撮像装置は、上記利得可変増幅手段の利得が最大の利得となっている場合であって、上記絞り開成状態制御手段によって、上記絞り光量制御手段の開成状態が一杯に開成された際に、上記電荷蓄積時間制御手段は、上記固体撮像素子の電荷蓄積時間が最短となるように制御することを特徴とする。
【００１１】
さらに、本発明に係る固体撮像装置は、上記利得可変増幅手段の利得が最大の利得となっている場合であって、上記絞り開成状態制御手段によって、上記絞り光量制御手段の開成状態が一杯に開成された際に、上記電荷蓄積時間制御手段は、上記輝度検出手段からの輝度検出信号に基づいて、上記固体撮像素子の電荷蓄積時間を更に制御することを特徴とする。
【００１２】
また、本発明は、被写体からの撮像光を固体撮像素子で受光し、上記撮像光を光電変換することにより形成された撮像信号から被写体の動きを検出し、少なくとも検出された上記被写体の動きに応じて上記固体撮像素子の電荷蓄積時間を制御する撮像装置の制御方法であって、上記固体撮像素子からの撮像信号から輝度を検出し、輝度検出信号として出力する輝度検出工程と、動き検出信号に応じた電荷蓄積時間での上記固体撮像素子による撮像信号の輝度信号レベルを上記輝度検出工程で得られる上記輝度検出信号に基づいて推定し、上記固体撮像素子からの撮像信号を増幅する利得可変増幅手段を介して最適輝度信号レベルの撮像信号が得られるように該利得可変増幅手段の利得を可変制御する利得制御工程と、上記利得制御工程において、上記利得可変増幅手段の利得が最大の利得となっているかを判別する利得判別工程と、上記利得判別工程において、上記利得が最大の利得になっていると判別された場合に、上記撮像光の光量調整を行う絞り光量制御手段の絞り開成状態を制御する絞り開成状態制御工程と、上記固体撮像素子の電荷蓄積時間、上記利得可変増幅手段の利得及び上記絞り光量制御手段の開成状態を制御した状態で撮像を行い、再度上記利得可変増幅手段の利得を制御する利得再制御工程とを有することを特徴とする。
【００１４】
【作用】
本発明では、被写体の動きに応じて固体撮像素子の電荷蓄積時間を制御するような固体撮像装置において、被写体の動きに応じた電荷蓄積時間での固体撮像素子による撮像信号の輝度信号レベルを上記固体撮像素子による撮像信号から輝度を検出する輝度検出手段からの輝度検出信号に基づいて推定し、利得可変増幅手段を介して最適輝度信号レベルの撮像信号が得られるように利得制御手段により上記利得可変増幅手段の利得を制御して、撮像信号の輝度レベルの調整を行い、絞り開成状態制御手段により、上記利得可変増幅手段の利得が最大の利得となっているか判別し、上記利得が最大の利得になっている場合に、上記輝度検出手段からの輝度検出信号に基づいて、上記絞り光量制御手段の開成状態を制御し、上記固体撮像素子の電荷蓄積時間、上記利得可変増幅手段の利得及び上記絞り光量制御手段の開成状態を制御した状態で撮像を行い、再度上記利得制御手段によって上記利得可変増幅手段の利得を制御することを特徴とする。
【００１５】
また、本発明に係る固体撮像装置では、上記利得可変増幅手段の利得が最大の利得となっている場合であって、上記絞り開成状態制御手段によって、上記絞り光量制御手段の開成状態が一杯に開成された際に、上記電荷蓄積時間制御手段は、上記固体撮像素子の電荷蓄積時間が最短となるように制御することにより、撮像信号の輝度レベルよりも撮像画像のブレ防止を優先して撮像を行う。
【００１６】
さらに、本発明に係る固体撮像装置では、上記利得可変増幅手段の利得が最大の利得となっている場合であって、上記絞り開成状態制御手段によって、上記絞り光量制御手段の開成状態が一杯に開成された際に、上記電荷蓄積時間制御手段は、上記輝度検出手段からの輝度検出信号に基づいて、上記固体撮像素子の電荷蓄積時間を更に制御することにより、撮像画像のブレ防止よりも、撮像画像の明るさを優先して撮像を行う。
【００１７】
また、本発明では、被写体からの撮像光を固体撮像素子で受光し、上記撮像光を光電変換することにより形成された撮像信号から被写体の動きを検出し、少なくとも検出された上記被写体の動きに応じて上記固体撮像素子の電荷蓄積時間を制御する撮像装置の制御方法でおいて、上記固体撮像素子からの撮像信号から輝度を検出し、輝度検出信号として出力し、上記動き検出信号に応じた電荷蓄積時間での上記固体撮像素子による撮像信号の輝度信号レベルを上記輝度検出信号に基づいて推定し、上記固体撮像素子からの撮像信号を増幅する利得可変増幅手段を介して最適輝度信号レベルの撮像信号が得られるように該利得可変増幅手段の利得を可変制御し、上記利得可変増幅手段の利得が最大の利得となっているかを判別し、上記利得が最大の利得になっていると判別された場合に、上記撮像光の光量調整を行う絞り光量制御手段の絞り開成状態を制御し、上記固体撮像素子の電荷蓄積時間、上記利得可変増幅手段の利得及び上記絞り光量制御手段の開成状態を制御した状態で撮像を行い、上記利得可変増幅手段の利得を再度制御する。
【００１９】
【実施例】
以下、本発明に係る固体撮像装置の実施例について図面を参照しながら詳細に説明する。
本発明の実施例に係る固体撮像装置は、図１に示すように被写体からの撮像光の光量調整を行う絞り制御手段であるアイリス機構１と、上記アイリス機構１を介して照射される撮像光を受光して光電変換を行い撮像信号を形成して出力する固体撮像素子であるＣＣＤイメージセンサ２と、上記ＣＣＤイメージセンサ２からの撮像信号を増幅して出力する利得が可変可能な利得可変増幅手段である自動利得制御回路（ＡＧＣ）３と、上記ＡＧＣ３からのアナログの撮像信号をデジタル化し撮像データを形成して出力するＡ／Ｄ変換器４とを有している。
【００２０】
また、上記実施例の固体撮像装置は、上記ＣＣＤイメージセンサ２からの撮像信号から輝度（Ｙ）信号を抽出して出力するマトリクス回路６と、上記マトリクス回路６からのアナログ信号である輝度信号をデジタル化して輝度データを形成して出力するＡ／Ｄ変換器７と、上記Ａ／Ｄ変換器７からの輝度データから被写体の動きを検出し、これを動き検出信号である動きベクトルとして出力する動き検出手段である動きベクトル検出装置８と、上記Ａ／Ｄ変換器７からの輝度データのレベルを検出し、これを輝度検出信号である輝度検出データとして出力する輝度検出手段である輝度レベル検出回路９とを有している。
【００２１】
また、上記実施例の固体撮像装置は、上記Ａ／Ｄ変換器４からの撮像データ、上記動きベクトル検出装置８からの動きベクトル及び上記輝度レベル検出回路９からの輝度検出データに基づいて、上記アイリス機構１の絞りを制御し、上記ＣＣＤイメージセンサ２の電荷蓄積時間を制御するとともに、上記ＡＧＣ３の利得を可変制御する絞り開成状態制御手段，制御手段及び利得制御手段であるシステムコントローラ１０を有している。
【００２２】
次に、このような構成を有する実施例に係る固体撮像装置の動作を、図２に示すフローチャートに従って説明する。
【００２３】
この図２に示すフローチャートは、上記固体撮像装置のメイン電源がオンされることによりスタートとなり、ステップＳ１に進む。
【００２４】
上記ステップＳ１では、上記システムコントローラ１０が、上記アイリス機構１の開成状態を初期設定時の開成状態（絞り制御値Ｄ０）とし、ＣＣＤイメージセンサ２の電荷蓄積時間を初期設定時の電荷蓄積時間（シャッタ速度Ｐ０）とし、上記ＡＧＣ３を初期設定時の利得となるようにそれぞれ制御しステップＳ２に進む。
【００２５】
上記ステップＳ２では、実際に被写体の撮像が開始されステップＳ３及びステップＳ４に進む。
【００２６】
上記ステップＳ２において撮像が開始されると、撮像光が初期設定の開成状態（絞り制御値Ｄ０）とされた上記アイリス機構１を介して上記ＣＣＤイメージセンサ２に照射される。上記ＣＣＤイメージセンサ２は、上記初期設定時の電荷蓄積時間（シャッタ速度Ｐ０）分、上記撮像光を受光し、この撮像光により蓄積された電荷を撮像信号として上記ＡＧＣ３及びマトリクス回路６に供給する。上記ＡＧＣ３は、上記初期設定された利得で上記撮像信号を増幅し、これを出力端子５を介して例えば図示しないビデオ信号プロセス回路に供給するとともに、Ａ／Ｄ変換器４に供給する。上記Ａ／Ｄ変換器４は、アナログ信号である上記撮像信号をデジタル化することにより撮像データを形成し、この撮像データを上記システムコントローラ１０に供給する。
【００２７】
一方、上記マトリクス回路６は、上記撮像信号から輝度信号を抽出し、この輝度信号をＡ／Ｄ変換器７に供給する。上記Ａ／Ｄ変換器７は、アナログ信号である上記輝度信号をデジタル化することにより輝度データを形成し、この輝度データを動きベクトル検出装置８及び輝度レベル検出回路９に供給する。
【００２８】
上記ステップＳ３及びステップＳ４は、上記動きベクトル検出装置８及び輝度レベル検出回路９が同時に実行するステップである。
【００２９】
上記ステップＳ３では、上記動きベクトル検出回路８が上記輝度データに基づいて、例えば以下に説明する代表点ブロックマッチング法を用いて被写体の動き（速度Ｖ）を検出して動きベクトルを形成してステップＳ５に進む。
【００３０】
すなわち、上記動きベクトル検出装置８は、図３（ａ）に示すように撮像領域４０を、例えば第１〜第１６の部分領域（以下、マクロブロックと言う。）４１ａ〜４１ｐに分割し、この各マクロブロック４１ａ〜４１ｐの中央に位置する画素を代表点４４とし、上記マクロブロック４１ａ〜４１ｐ毎にフィールド間における上記代表点４４に係る輝度データの相関性を検出することにより撮像中の手振れベクトルを検出する。また、上記動きベクトル検出装置８は、図３（ｂ）に示すように画像領域４０の中央部分の領域４２を、例えば第１〜第１６のマクロブロック４３ａ〜４３ｐに分割し、この各マクロブロック４３ａ〜４３ｐの中央に位置する画素を代表点４５とし、上記マクロブロック４３ａ〜４３ｐ毎にフィールド間における上記代表点４５に係る輝度データの相関性を検出することにより被写体の動きベクトルを検出する。そして、上記手振れベクトルに基づいて上記動きベクトルを形成して出力する、代表点ブロックマッチング法により動きベクトルの検出を行う。
【００３１】
具体的には、例えば図４に示すように大きく分けて、上記手振れベクトルを検出する手振れベクトル検出回路２６及び上記手振れベクトル検出回路２６からの手振れベクトルに基づいて被写体の動きベクトルを検出する動きベクトル検出回路３２で構成されている。
【００３２】
上記手振れベクトル検出回路２６は、上記図３（ａ）に示した上記各マクロブロック４１ａ〜４１ｐの各代表点４４に係る輝度データを記憶する手振れベクトル検出用代表点メモリ２１と、上記手振れベクトル検出用代表点メモリ２１から極性が反転されて読み出される、前フィールドの上記代表点４４に係る輝度データ、及び、現在フィールドの輝度データを加算処理して相関値データを形成して出力する加算器２２と、上記加算器２２からの相関値データの絶対値を検出する絶対値回路２３と、上記各マクロブロック４１ａ〜４１ｐ毎に被写体の動きを検出する第１〜第１６のマクロブロック動き検出部２４ａ〜２４ｐと、上記第１〜第１６のマクロブロック動き検出部２４ａ〜２４ｐから供給される各マクロブロック４１ａ〜４１ｐに係る相関値データから手振れベクトルを検出する手振れベクトル検出回路２５とで構成されている。
【００３３】
上記動きベクトル検出回路３２は、上記図３（ｂ）に示した上記画像領域４０の中央部分４２の各マクロブロック４３ａ〜４３ｐの各代表点４５に係る輝度データを記憶する被写体動きベクトル検出用代表点メモリ２７と、上記被写体動きベクトル検出用代表点メモリ２７から極性が反転されて読み出される、前フィールドの上記代表点４５に係る輝度データ、及び、現在フィールドの輝度データを加算処理して相関値データを形成して出力する加算器２８と、上記加算器２８からの相関値データの絶対値を検出する絶対値回路２９と、上記各マクロブロック４３ａ〜４３ｐ毎に被写体の動きを検出する第１〜第１６のマクロブロック動き検出部３０ａ〜３０ｐと、上記手振れベクトル検出部２５からの手振れベクトルに基づいて、上記第１〜第１６のマクロブロック動き検出部３０ａ〜３０ｐから供給される、各マクロブロック４３ａ〜４３ｐに係る相関値データから動きベクトルを検出する動きベクトル検出部３１とで構成されている。
【００３４】
このような構成を有する動きベクトル検出装置８において、上記図１に示すＡ／Ｄ変換器７からの輝度データは、入力端子２０を介して上記手振れベクトル検出用代表点メモリ２１，加算器２２，被写体動きベクトル検出用代表点メモリ２７及び加算器２８に供給される。
【００３５】
上記手振れベクトル検出用代表点メモリ２１は、上記図３（ａ）に示す各マクロブロック４１ａ〜４１ｐの各代表点４４に係る輝度データを一旦記憶する。この記憶された輝度データは、上記図１に示すシステムコントローラ１０からの読み出しパルスにより極性が反転されて読み出され、１フィールドの遅延が施されて上記加算器２２に供給される。
【００３６】
上記加算器２２は、上記各代表点４４に係る前フィールドの輝度データと、現在フィールドの輝度データとを加算処理することにより、その差分（相関性）を検出する。これにより、上記各マクロブロック４１ａ〜４１ｐ毎の相関値データが検出されることとなる。この各マクロブロック４１ａ〜４１ｐ毎の相関値データは、それぞれ絶対値検出回路２３に供給する。
【００３７】
上記絶対値検出回路２３は、上記各相関値データの絶対値を検出し、これを上記第１〜第１６のマクロブロック動き検出部２４ａ〜２４ｐに供給する。
【００３８】
上記第１〜第１６のマクロブロック動き検出部２４ａ〜２４ｐは、それぞれ上記絶対値検出回路２３からの相関値データに基づいて被写体の動きベクトルを検出する。これにより、上記各マクロブロック動き検出部２４ａ〜２４ｐにおいて、上記各マクロブロック４１ａ〜４１ｐ毎の被写体の動きベクトルが検出されることとなる。この各動きベクトルは、それぞれ手振れベクトル検出回路２５に供給される。
【００３９】
上記手振れベクトル検出回路２５は、上記各マクロブロック４１ａ〜４１ｐ毎に検出された動きベクトルの最小値を検出し、これを手振れベクトルとして動きベクトル検出回路３２内の動きベクトル検出部３１に供給する。
【００４０】
一方、上記動きベクトル検出用代表点メモリ２７は、上記図３（ｂ）に示す各マクロブロック４３ａ〜４３ｐの各代表点４５に係る輝度データを一旦記憶する。この記憶された輝度データは、上記図１に示すシステムコントローラ１０からの読み出しパルスにより極性が反転されて読み出され、１フィールドの遅延が施されて上記加算器２８に供給される。
【００４１】
上記加算器２８は、上記各代表点４５に係る前フィールドの輝度データと、現在フィールドの輝度データとを加算処理することにより、その差分（相関性）を検出する。これにより、上記各マクロブロック４３ａ〜４３ｐ毎の相関値データが検出されることとなる。この各マクロブロック４３ａ〜４３ｐ毎の相関値データは、それぞれ絶対値検出回路２９に供給する。
【００４２】
上記絶対値検出回路２９は、上記各相関値データの絶対値を検出し、これを第１〜第１６のマクロブロック動き検出部３０ａ〜３０ｐに供給する。
【００４３】
上記第１〜第１６のマクロブロック動き検出部３０ａ〜３０ｐは、それぞれ上記絶対値検出回路２９からの相関値データに基づいて被写体の動きベクトルを検出する。これにより、上記各マクロブロック動き検出部３０ａ〜３０ｐにおいて、上記各マクロブロック４３ａ〜４３ｐ毎の被写体の動きベクトルが検出されることとなる。この各動きベクトルは、それぞれ動きベクトル検出回路３１に供給される。
【００４４】
上記動きベクトル検出回路３１は、上記手振れベクトル検出部２５から供給される手振れベクトルに基づいて、上記各マクロブロック４３ａ〜４３ｐ毎に検出された動きベクトルの最小値を検出し、これを動きベクトルとして出力端子３３を介して出力する。この出力端子３３を介して出力される動きベクトルは、図１に示すシステムコントローラ１０に供給される。
【００４５】
上記ステップＳ４では、上記輝度レベル検出回路９が、上記Ａ／Ｄ変換器７から供給される輝度データから輝度レベルＸを計測し、この計測データである輝度レベルデータを上記システムコントローラ１０に供給してステップＳ６に進む。
【００４６】
上記ステップＳ５では、上記システムコントローラ１０が、上記動きベクトル検出装置８から供給される動きベクトル（速度Ｖ）に基づいて上記ＣＣＤイメージセンサ２の電荷蓄積時間（シャッタ速度Ｐ）を決定する。そして、この決定したシャッタ速度Ｐとなるように上記ＣＣＤイメージセンサ２の電荷蓄積時間を制御しステップＳ６に進む。
【００４７】
上記ステップＳ６では、上記システムコントローラ１０が、上記ステップＳ５において決定したシャッタ速度Ｐに対する輝度レベルＸ’を推定し、この輝度レベルＸ’を最適輝度レベルＸ０にするように上記ＡＧＣ３の利得を可変制御しステップＳ７に進む。
【００４８】
上記ステップＳ７では、上記システムコントローラ１０が、上記Ａ／Ｄ変換器４から供給される撮像データのレベルを検出する。そして、この撮像データのレベルから、上記ＡＧＣ３の利得が最大であるか否かを判別し、ＮＯの場合はステップＳ８に進み、ＹＥＳの場合はステップＳ１０に進む。
【００４９】
上記ステップＳ１０では、上記ＡＧＣ３の利得が限界であるため、上記システムコントローラ１０が上記アイリス機構１を全開したとき上記輝度レベル検出回路９から供給される輝度レベルデータが適性な輝度レベルＸ０よりも大きくなるか否かを判別し、ＮＯの場合はステップＳ１１に進み、ＹＥＳの場合はステップＳ１２に進む。
【００５０】
上記ステップＳ１１では、上記ＡＧＣ３の利得が最大且つ上記アイリス機構１を全開しても上記輝度レベルデータが適性な輝度レベルＸ０とならないため、上記システムコントローラ１０が、上記ＣＣＤイメージセンサ２のシャッタ速度を最高速度となるように制御するか、上記輝度レベルが適性な輝度レベルＸ０となるように上記ＣＣＤイメージセンサ２のシャッタ速度Ｐを制御してステップＳ８に進む。
【００５１】
すなわち、このステップＳ１１では、撮像信号の輝度レベルＸよりもシャッタ速度Ｐを優先して撮像を行うか、シャッタ速度Ｐよりも輝度レベルＸを優先して撮像を行う。これにより、撮像信号の輝度レベルＸよりもシャッタ速度Ｐを優先して撮像を行った場合は、撮像画像は多少暗くなるがブレの無い撮像画像を得ることができ、シャッタ速度Ｐよりも輝度レベルＸを優先して撮像を行った場合は、撮像画像に多少のブレは生ずるが明るい撮像画像を得ることができる。
【００５２】
上記ステップＳ１０における判定結果がＹＥＳの場合には、上記ステップＳ５で決定された動きベクトル（速度Ｖ）に応じた上記ＣＣＤイメージセンサ２の電荷蓄積時間（シャッタ速度Ｐ）で上記アイリス機構１を全開したとき上記輝度レベル検出回路９から供給される輝度レベルデータが適性な輝度レベルＸ０よりも大きくなる、すなわち、上記アイリス機構１の制御により適性な輝度レベルＸ０が得られる制御範囲にあるので、上記ステップＳ１２では、上記アイリス機構１の制御により適性な輝度レベルＸ０が得られる適正絞り制御値を選択して上記アイリス機構１の開成状態を制御してステップＳ８に進む。
【００５３】
上記ステップＳ８では、上記システムコントローラ１０が上述のように設定した絞り（アイリス機構１），シャッタ速度（ＣＣＤイメージセンサ２）及び利得（ＡＧＣ３）で撮像を行い、このステップＳ８で得られる次の入力画像に対して、上記ステップＳ３，Ｓ４に戻って、上述した制御と同様の制御が繰り返し行わるとともに、ステップＳ９に進む。
【００５４】
上記ステップＳ９では、上記システムコントローラ１０が、上記ＡＧＣ３の利得を制御することにより、多少の輝度レベルの変動に対処し終了する。
【００５５】
このように、被写体の動き，輝度レベル及び撮像信号レベルに基づいて、上記アイリス機構１の開成状態，ＣＣＤイメージセンサの電荷蓄積時間及びＡＧＣ３の利得を制御することにより、被写体の動きに応じたＣＣＤイメージセンサ２の電荷蓄積時間の自動制御を、撮像信号の輝度レベルをも考慮したうえで行うことができる。
【００５６】
このため、常に適性な輝度レベルで撮像を行うことができ、上記ＣＣＤイメージセンサ２の電荷蓄積時間の自動制御にともなう、撮像画像が暗くなるような不都合を防止することができる。
【００５７】
また、上記アイリス機構１の開成状態及び上記ＡＧＣ３の利得が限界となった場合において、撮像信号の輝度レベルよりもシャッタ速度を優先して撮像を行うか、又は、シャッタ速度よりも輝度レベルを優先して撮像を行うことができる。
このため、上記撮像信号の輝度レベルよりもシャッタ速度を優先して撮像を行った場合は、撮像画像は多少暗くなるがブレの無い撮像画像を得ることができ、上記シャッタ速度よりも輝度レベルを優先して撮像を行った場合は、撮像画像に多少のブレは生ずるが明るい撮像画像を得ることができる。
【００５８】
なお、上述の実施例の説明では、上記動きベクトル検出装置８は、代表点ブロックマッチング法により動きベクトルを検出することとしたが、これは、例えば通常のいわゆるブロックマッチング法により動きベクトルを検出するようにしたり、いわゆる勾配法により動きベクトルを検出するようにしてもよい。
【００５９】
【発明の効果】
本発明では、被写体の動きに応じて固体撮像素子の電荷蓄積時間を制御するような固体撮像装置において、被写体の動きに応じた電荷蓄積時間での固体撮像素子による撮像信号の輝度信号レベルを上記固体撮像素子による撮像信号から輝度を検出する輝度検出手段からの輝度検出信号に基づいて推定し、利得可変増幅手段を介して最適輝度信号レベルの撮像信号が得られるように利得制御手段により上記利得可変増幅手段の利得を制御して、撮像信号の輝度レベルの調整を行い、絞り開成状態制御手段により、上記利得可変増幅手段の利得が最大の利得となっているか判別し、上記利得が最大の利得になっている場合に、上記輝度検出手段からの輝度検出信号に基づいて、上記絞り光量制御手段の開成状態を制御し、上記固体撮像素子の電荷蓄積時間、上記利得可変増幅手段の利得及び上記絞り光量制御手段の開成状態を制御した状態で撮像を行い、再度上記利得制御手段によって上記利得可変増幅手段の利得を制御するので、シャッタ速度の高速化にともなう撮像信号の輝度レベルの低下を防止することができ、適正な明るさの撮像画像を得ることができる。
【００６０】
また、本発明に係る固体撮像装置では、上記利得可変増幅手段の利得が最大の利得となっている場合であって、上記絞り開成状態制御手段によって、上記絞り光量制御手段の開成状態が一杯に開成された際に、上記電荷蓄積時間制御手段は、上記固体撮像素子の電荷蓄積時間が最短となるように制御することにより、撮像信号の輝度レベルよりも撮像画像のブレ防止を優先して撮像を行うことができる。
【００６１】
さらに、本発明に係る固体撮像装置では、上記利得可変増幅手段の利得が最大の利得となっている場合であって、上記絞り開成状態制御手段によって、上記絞り光量制御手段の開成状態が一杯に開成された際に、上記電荷蓄積時間制御手段は、上記輝度検出手段からの輝度検出信号に基づいて、上記固体撮像素子の電荷蓄積時間を更に制御することにより、撮像画像のブレ防止よりも、撮像画像の明るさを優先して撮像を行うことができる。
【００６２】
また、本発明では、被写体からの撮像光を固体撮像素子で受光し、上記撮像光を光電変換することにより形成された撮像信号から被写体の動きを検出し、少なくとも検出された上記被写体の動きに応じて上記固体撮像素子の電荷蓄積時間を制御する撮像装置の制御方法でおいて、上記固体撮像素子からの撮像信号から輝度を検出し、輝度検出信号として出力し、上記動き検出信号に応じた電荷蓄積時間での上記固体撮像素子による撮像信号の輝度信号レベルを上記輝度検出信号に基づいて推定し、上記固体撮像素子からの撮像信号を増幅する利得可変増幅手段を介して最適輝度信号レベルの撮像信号が得られるように該利得可変増幅手段の利得を可変制御し、上記利得可変増幅手段の利得が最大の利得となっているかを判別し、上記利得が最大の利得になっていると判別された場合に、上記撮像光の光量調整を行う絞り光量制御手段の絞り開成状態を制御し、上記固体撮像素子の電荷蓄積時間、上記利得可変増幅手段の利得及び上記絞り光量制御手段の開成状態を制御した状態で撮像を行い、上記利得可変増幅手段の利得を再度制御するので、シャッタ速度の高速化にともなう撮像信号の輝度レベルの低下を防止することができ、適正な明るさの撮像画像を得ることができる。
【図面の簡単な説明】
【図１】本発明に係る固体撮像装置の実施例のブロック図である。
【図２】上記実施例に係る固体撮像装置の動作説明をするためのフローチャートである。
【図３】上記実施例に係る固体撮像装置に設けられている動きベクトル検出装置における動きベクトルの検出方法を説明するための画像領域の模式図である。
【図４】上記実施例に係る固体撮像装置に設けられている動きベクトル検出装置のブロック図である。
【符号の説明】
１・・・・・・・・・・アイリス機構
２・・・・・・・・・・ＣＣＤイメージセンサ
３・・・・・・・・・・自動利得制御回路（ＡＧＣ）
４，７・・・・・・・・Ａ／Ｄ変換器
６・・・・・・・・・・マトリクス回路
８・・・・・・・・・・動きベクトル検出装置
９・・・・・・・・・・輝度レベル検出回路
１０・・・・・・・・・システムコントローラ
２１・・・・・・・・・手振れベクトル検出用代表点メモリ
２２・・・・・・・・・加算器
２３・・・・・・・・・絶対値検出回路
２４ａ〜２４ｐ・・・・マクロブロック動き検出回路
２５・・・・・・・・・手振れベクトル検出部
２６・・・・・・・・・手振れベクトル検出回路
２７・・・・・・・・・被写体動きベクトル検出用代表点メモリ
２８・・・・・・・・・加算器
２９・・・・・・・・・絶対値検出回路
３０ａ〜３０ｐ・・・・マクロブロック動き検出回路
３１・・・・・・・・・動きベクトル検出部
３２・・・・・・・・・動きベクトル検出回路
４０・・・・・・・・・画像領域
４１ａ〜４１ｐ・・・・第１〜第１６のマクロブロック
４２・・・・・・・・・画像領域の中央部分
４３ａ〜４３ｐ・・・・第１〜第１６のマクロブロック
４４，４５・・・・・・代表点
Claims (4)
- 被写体からの撮像光を固体撮像素子で受光し、上記撮像光を光電変換することにより形成された撮像信号から被写体の動きを検出する動き検出手段と、少なくとも上記動き検出手段で検出された上記被写体の動きに応じて上記固体撮像素子の電荷蓄積時間を制御する電荷蓄積時間制御手段とを有する固体撮像装置であって、
上記固体撮像素子からの撮像信号から輝度を検出し、輝度検出信号として出力する輝度検出手段と、
上記固体撮像素子からの撮像信号を増幅して出力する利得が可変可能な利得可変増幅手段と、
上記電荷蓄積時間制御手段により制御される上記動き検出信号に応じた電荷蓄積時間での上記固体撮像素子による撮像信号の輝度信号レベルを上記輝度検出手段からの輝度検出信号に基づいて推定し、上記利得可変増幅手段を介して最適輝度信号レベルの撮像信号が得られるように上記利得可変増幅手段の利得を可変制御する利得制御手段と、
上記撮像光の光量調整を行う絞り光量制御手段と、
上記利得制御手段の制御によって上記利得可変増幅手段の利得が最大の利得となっているか判別し、上記利得が最大の利得になっている場合に、上記絞り光量制御手段の開成状態を制御する絞り開成状態制御手段とを有し、
上記電荷蓄積時間制御手段により上記固体撮像素子の電荷蓄積時間を制御するとともに、上記利得制御手段によって上記利得可変増幅手段の利得を制御し、さらに、上記絞り開成状態制御手段によって上記絞り光量制御手段の開成状態を制御した状態で撮像を行い、再度上記利得制御手段によって上記利得可変増幅手段の利得を制御することを特徴とする固体撮像装置。 - 上記利得可変増幅手段の利得が最大の利得となっている場合であって、上記絞り開成状態制御手段によって、上記絞り光量制御手段の開成状態が一杯に開成された際に、上記電荷蓄積時間制御手段は、上記固体撮像素子の電荷蓄積時間が最短となるように制御することを特徴とする請求項１記載の固体撮像装置。
- 上記利得可変増幅手段の利得が最大の利得となっている場合であって、上記絞り開成状態制御手段によって、上記絞り光量制御手段の開成状態が一杯に開成された際に、上記電荷蓄積時間制御手段は、上記輝度検出手段からの輝度検出信号に基づいて、上記固体撮像素子の電荷蓄積時間を更に制御することを特徴とする請求項１記載の固体撮像装置。
- 被写体からの撮像光を固体撮像素子で受光し、上記撮像光を光電変換することにより形成された撮像信号から被写体の動きを検出し、少なくとも検出された上記被写体の動きに応じて上記固体撮像素子の電荷蓄積時間を制御する撮像装置の制御方法であって、
上記固体撮像素子からの撮像信号から輝度を検出し、輝度検出信号として出力する輝度検出工程と、
動き検出信号に応じた電荷蓄積時間での上記固体撮像素子による撮像信号の輝度信号レベルを上記輝度検出工程で得られる上記輝度検出信号に基づいて推定し、上記固体撮像素子からの撮像信号を増幅する利得可変増幅手段を介して最適輝度信号レベルの撮像信号が得られるように該利得可変増幅手段の利得を可変制御する利得制御工程と、
上記利得制御工程において、上記利得可変増幅手段の利得が最大の利得となっているかを判別する利得判別工程と、
上記利得判別工程において、上記利得が最大の利得になっていると判別された場合に、上記撮像光の光量調整を行う絞り光量制御手段の絞り開成状態を制御する絞り開成状態制御工程と、
上記固体撮像素子の電荷蓄積時間、上記利得可変増幅手段の利得及び上記絞り光量制御手段の開成状態を制御した状態で撮像を行い、再度上記利得可変増幅手段の利得を制御す る利得再制御工程と
を有することを特徴とする撮像装置の制御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31528292A JP3642793B2 (ja) | 1992-11-25 | 1992-11-25 | 固体撮像装置及び撮像装置の制御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31528292A JP3642793B2 (ja) | 1992-11-25 | 1992-11-25 | 固体撮像装置及び撮像装置の制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06165047A JPH06165047A (ja) | 1994-06-10 |
| JP3642793B2 true JP3642793B2 (ja) | 2005-04-27 |
Family
ID=18063528
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31528292A Expired - Lifetime JP3642793B2 (ja) | 1992-11-25 | 1992-11-25 | 固体撮像装置及び撮像装置の制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3642793B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10336511A (ja) | 1997-06-05 | 1998-12-18 | Sanyo Electric Co Ltd | カメラ装置 |
| JP3681152B2 (ja) * | 1999-02-25 | 2005-08-10 | 株式会社日立国際電気 | テレビカメラの制御方法及びテレビカメラ |
| JP4538889B2 (ja) * | 2000-04-12 | 2010-09-08 | 株式会社ニコン | 撮像装置 |
| JP4277216B2 (ja) | 2005-01-13 | 2009-06-10 | ソニー株式会社 | 撮像装置及び撮像結果の処理方法 |
| US7546026B2 (en) * | 2005-10-25 | 2009-06-09 | Zoran Corporation | Camera exposure optimization techniques that take camera and scene motion into account |
| JP4766320B2 (ja) * | 2006-02-06 | 2011-09-07 | カシオ計算機株式会社 | 撮像装置及びそのプログラム |
| EP1874043B1 (en) * | 2006-02-20 | 2013-12-04 | Panasonic Corporation | Image pick up apparatus |
| JP4976160B2 (ja) | 2007-02-22 | 2012-07-18 | パナソニック株式会社 | 撮像装置 |
| WO2009008164A1 (ja) | 2007-07-09 | 2009-01-15 | Panasonic Corporation | デジタル一眼レフカメラ |
| KR101371775B1 (ko) | 2007-07-09 | 2014-03-24 | 삼성전자주식회사 | 카메라의 손떨림 보정 방법 및 장치 |
| CN103347152A (zh) * | 2013-07-08 | 2013-10-09 | 华为终端有限公司 | 一种图像处理方法、装置及终端 |
-
1992
- 1992-11-25 JP JP31528292A patent/JP3642793B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH06165047A (ja) | 1994-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2081374B1 (en) | Imaging apparatus and its control method | |
| US8405738B2 (en) | Image pickup apparatus and method of picking up image | |
| EP0510865A2 (en) | Television camera equipped with continuously-variable-speed electronic shutter function | |
| JP3642793B2 (ja) | 固体撮像装置及び撮像装置の制御方法 | |
| WO2005027510A1 (ja) | 画像処理装置 | |
| US7982773B2 (en) | Imaging apparatus capable of capturing an image with reduced light falloff at edges and method for controlling the same | |
| US8169503B2 (en) | Image pickup apparatus and control method for selecting a flicker control method | |
| JP4813839B2 (ja) | 露出制御方法及び撮像装置 | |
| JP2765642B2 (ja) | ビデオカメラ用露出制御装置 | |
| JP2005020565A (ja) | 撮像装置及び撮像装置の情報処理方法 | |
| JP2001045361A (ja) | 撮像装置 | |
| JPH07298130A (ja) | 撮像装置 | |
| JP2002238000A (ja) | 撮像装置及び撮像方法 | |
| JP3540662B2 (ja) | ディジタルカメラ | |
| JP4232287B2 (ja) | 撮像装置及びホワイトバランス調整方法 | |
| JPH11215431A (ja) | テレビジョンカメラ | |
| JP5533059B2 (ja) | 撮像装置 | |
| JP2001069400A (ja) | 撮像装置 | |
| JP3624434B2 (ja) | 露光量制御装置 | |
| JP2002057941A (ja) | 長時間露光型テレビジョンカメラ | |
| JP3186083B2 (ja) | ビデオカメラの露光制御装置 | |
| JP2785526B2 (ja) | ビデオカメラ用露出制御装置 | |
| JPH05219431A (ja) | ビデオカメラ用露出制御装置 | |
| JPH077658A (ja) | テレビジョンカメラ装置 | |
| JP3284584B2 (ja) | 多重露光カメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20031216 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040216 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040219 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20040423 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041227 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050126 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080204 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090204 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100204 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100204 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110204 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110204 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120204 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130204 Year of fee payment: 8 |
|
| EXPY | Cancellation because of completion of term |