JP6320037B2 - 撮像装置、その制御方法、および制御プログラム - Google Patents

撮像装置、その制御方法、および制御プログラム Download PDF

Info

Publication number
JP6320037B2
JP6320037B2 JP2013272387A JP2013272387A JP6320037B2 JP 6320037 B2 JP6320037 B2 JP 6320037B2 JP 2013272387 A JP2013272387 A JP 2013272387A JP 2013272387 A JP2013272387 A JP 2013272387A JP 6320037 B2 JP6320037 B2 JP 6320037B2
Authority
JP
Japan
Prior art keywords
lines
control
image
changed
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013272387A
Other languages
English (en)
Other versions
JP2015126530A (ja
JP2015126530A5 (ja
Inventor
公章 鹿野
公章 鹿野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013272387A priority Critical patent/JP6320037B2/ja
Priority to US14/571,757 priority patent/US9774805B2/en
Publication of JP2015126530A publication Critical patent/JP2015126530A/ja
Publication of JP2015126530A5 publication Critical patent/JP2015126530A5/ja
Application granted granted Critical
Publication of JP6320037B2 publication Critical patent/JP6320037B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置、その制御方法、および制御プログラムに関する。
近年、デジタルカメラ又はビデオカメラなどの撮像装置においては、CMOSイメージセンサなどの撮像素子が高画素化するとともに小型化しており、それに伴ってセル(画素)サイズの微細化が進んでいる。そして、セルサイズが微細化されると、不可避的に撮像素子の感度が低下する。さらに、撮像装置において動画撮影を行う際には、滑らかな動画を得るため、フレームレートが高く設定される。例えば、1秒間に60フレームのフレームレートにおいて撮像素子の読み出し制御を行って、動画を得ている。
このため、撮影の際に照度が低いと撮像素子の感度の低下に起因してS/N比が低下し、結果的に、画像における画質が劣化してしまうという事態が生じる。
このような不具合を回避するため、撮像素子に備えられた各列のゲインアンプ(AMP)における制御ゲイン値(ゲイン設定値ともいう)を被写体の照度に応じて切り替えて、トータルのノイズ量を抑制するようにした撮像装置が知られている(特許文献1参照)。
特開2009−49981号公報
ところで、撮像素子に備えられた各列のゲインAMPにおいては、そのオフセットレベルが相違する。このため、特許文献1に記載の撮像装置においては、制御ゲイン値の切り替え直後から数〜数十フィールドの画像においては、各列のゲインAMPのオフセットレベルの相違に起因して、所謂縦線キズや黒レベルのずれが画像に発生することが考えられる。そして、これら縦線キズや黒レベルのずれによって画質が劣化してしまう可能性がある。
このようなオフセットレベルの相違に対処するため、各列のゲインAMPにおける制御ゲイン値を切り替えた直後に、撮像素子に備えられた垂直オプティカルブラック(VOB)領域の射影出力を有効領域の出力から減算するVOB補正処理で用いられる補正フィルタの係数(時定数)を大きくすることが行われている。そして、補正フィルタの係数を大きくすることによってフィルタ収束時間を短くして、撮像素子の駆動モード変更の際の黒レベルずれや縦線キズの発生を最小限に抑えている。
ところで、補正フィルタの収束時間は、撮像素子に備えられた垂直オプティカルブラック(VOB)領域のライン数に比例するので、撮像素子から読み出すVOBライン数を可能な限り多くする必要がある。
一方、動画撮影の際に滑らかな画像を得るためには、前述のように、1秒間に60コマの映像信号を出力する必要があり、これによって、1フレームの読み出し時間が決定される(1フレーム=16.67msec)。
さらに、撮像素子から読み出すライン数は、VOB領域の読み出しライン数と、映像信号および電子防振に用いる画素エリアを合わせた有効画素領域の読み出しライン数とを合わせたライン数である。1フレームの映像信号を所定のフレームレートで出力するためには、撮像素子から信号を読み出すライン数も制限する必要がある。そのため、VOB領域の読み出しライン数を増加させると、映像信号および電子防振に用いる有効画素領域の読み出しライン数が相対的に減少してしまうことになる。
この結果、映像信号に用いるライン数が減少することに起因して、垂直解像度が劣化する。さらに、有効画素領域から映像信号エリアを除外した余剰有効画素エリアが減少すると、切り出し位置を変化させることが可能な防振補正エリアが狭まって、防振性能が劣化してしまう。
従って、本発明の目的は、滑らかな画像が得られ、しかも垂直解像度および防振性能の劣化を低減することのできる撮像装置、その制御方法、および制御プログラム、を提供することにある。
上記の目的を達成するため、本発明による撮像装置は、有効画素領域と基準画素領域とからなる画素領域と、前記画素領域の出力信号を増幅する増幅部とを有し、光学像に応じた画像信号を出力する撮像素子と、前記増幅部のゲインが変更された場合に、前記有効画素領域および前記基準画素領域から信号を出力するライン数を変更するように制御する制御手段と、を有する撮像装置であって、前記制御手段は、前記有効画素領域から信号を出力するライン数を変更した場合に、前記撮像装置の防振制御に用いられる前記有効画素領域における防振エリアを変更することを特徴とする。
本発明による制御方法は、有効画素領域と基準画素領域とからなる画素領域と、前記画素領域の出力信号を増幅する増幅部とを有し、光学像に応じた画像信号を出力する撮像素子を有する撮像装置の制御方法であって、前記増幅部のゲインが変更された場合に、前記有効画素領域および前記基準画素領域から信号を出力するライン数を変更するように制御する制御ステップを有し、前記制御ステップでは、前記有効画素領域から信号を出力するライン数を変更した場合に、前記撮像装置の防振制御に用いられる前記有効画素領域における防振エリアを変更することを特徴とする。
本発明による制御プログラムは、有効画素領域と基準画素領域とからなる画素領域と、前記画素領域の出力信号を増幅する増幅部とを有し、光学像に応じた画像信号を出力する撮像素子を有する撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記増幅部のゲインが変更された場合に、前記有効画素領域および前記基準画素領域から信号を出力するライン数を変更するように制御する制御ステップを実行させ、前記制御ステップでは、前記有効画素領域から信号を出力するライン数を変更した場合に、前記撮像装置の防振制御に用いられる前記有効画素領域における防振エリアを変更することを特徴とする。
本発明によれば、滑らかな画像が得られ、しかも垂直解像度および防振性能の劣化を低減することができる。
本発明の第1の実施形態による撮像装置の一例についてその構成を示すブロック図である。 図1に示すカメラ信号処理部の一例についてその構成を示すブロック図である。 図1に示すCPUの機能の一例を説明するためのブロック図である。 図1に示すカメラにおける黒レベルのずれとIIRフィルタの収束時間との関係を説明するための図である。 図1に示すカメラで行われる読み出しライン数制御および防振制御を説明するための図である。 図1に示すカメラにおける読み出しライン数の変更、防振制御可能エリアの変更、および補正フィルタの時定数設定の関係を説明するための図である。 図1に示すカメラで行われる変更処理を説明するためのフローチャートである。 本発明の第2の実施形態によるカメラにおけるCPUの機能を説明するためのブロック図である。 本発明の第2の実施形態によるカメラで行われる変更処理を説明するためのフローチャートである(その1)。 本発明の第2の実施形態によるカメラで行われる変更処理を説明するためのフローチャートである(その2)。
以下、本発明の実施の形態による読み出し制御装置を備える撮像装置の一例について図面を参照して説明する。
[第1の実施形態]
図1は、本発明の第1の実施形態による撮像装置の一例についてその構成を示すブロック図である。
図示の撮像装置は、例えば、デジタルカメラ(以下単にカメラと呼ぶ)であり、動画撮影機能を備えている。カメラは撮影レンズユニットを有しており、この撮影レンズユニットには少なくとも撮影レンズ(以下単にレンズと呼ぶ)1および絞り2が備えられている。
レンズ1を通過した光(つまり、光学像)は、絞り2を介して撮像素子の1つであるCMOSイメージセンサ(以下CMOSセンサと呼ぶ)3に結像される。そして、CMOSセンサ3は光学像に応じた電気信号(アナログ画像信号)を出力する。
CMOSセンサ3には、複数の画素が2次元マトリックス状に配列されている。そして、CMOSセンサ3は、アナログ画像信号を得るための有効画素領域と垂直オプティカルブラック(VOB)補正のための垂直オプティカルブラック領域(VOB領域)とを有する画素領域を備えている。さらに、CMOSセンサ3は、画素領域の出力信号を増幅するゲインアンプ(アンプ部)を各列毎に有している。
上記のアナログ画像信号は、A/D変換器4によってデジタル画像信号に変換される。そして、このデジタル画像信号は露出制御用の自動利得制御部(AGC)5を介してカメラ信号処理部6に与えられる。
AGC5は、CPU8により設定された制御ゲイン値(ゲイン設定値ともいう)でデジタル画像信号を増幅する(つまり、ゲイン調整済み画像信号とする)。例えば、デジタル画像信号は、カメラ信号処理部6に1秒間に60フレーム(60f/s)の連続したRAWデータとして与えられる。
図2は、図1に示すカメラ信号処理部6の一例についてその構成を示すブロック図である。
カメラ信号処理部6は、輝度値算出部100、露出制御情報部101、RAWデータ処理部102、VOBレベル算出部103、補正データ生成部104、加算器105、画像処理部106、および電子ズーム部107を有している。カメラ信号処理部6において、前述のRAWデータは輝度値算出部100およびRAWデータ処理部102に与えられる。そして、輝度値算出部100はRAWデータに応じて、露出補正を行うための輝度レベル(輝度値)を算出して、輝度レベルを示す輝度レベル信号を出力する。
当該輝度レベル信号は露出制御情報部101に入力され、露出制御情報部101は入力される輝度レベルに基づいて現在の露出状態が適正か否かを判定する。そして、露出制御情報部101は、当該判定結果に応じて露出制御を行うための露出制御情報をCPU8に出力する。
前述のRAWデータ処理部102は連続的にRAWデータを受けて、少なくとも1フレーム分のRAWデータをバッファリングする。RAWデータ処理部102でバッファリングされたRAWデータは、加算器105に与えられるとともに、VOBレベル算出部103に送られる。
VOBレベル算出部103は、RAWデータに応じて、後述するCMOSセンサ3に備えられた垂直オプティカルブラック(VOB)領域(単にオプティカルブラック領域ともいう)に対応するラインについて、そのレベルを算出して、VOBレベルを示すVOBレベル信号を補正データ生成部104に出力する。
補正データ生成部104は、VOBレベル信号に応じて、後述するようにして、CMOSセンサ3に備えられた各列毎のゲインAMP(アンプ部)の特性ばらつきを補正するためのばらつき補正データを算出する。そして、補正データ生成部104は、当該ばらつき補正データの符号を反転して加算器105に出力する(以下、この補正データを反転補正データと呼ぶ)。
加算器105は、RAWデータ処理部102から与えられたRAWデータと反転補正データとを加算して加算RAWデータとして画像処理部106に出力する。画像処理部106は、加算RAWデータに対して動画に最適な所定の画像処理を行うとともに色処理を行って、処理済み画像データとして電子ズーム部107に出力する。
電子ズーム部107は、処理済み画像データに対して後述の電子防振機能を行うための切り出し位置制御を行って映像信号としてビデオ信号処理部9に出力する。ビデオ信号処理部9は、映像信号に対してテレビなどの表示装置に表示するための表示処理を行う。
図1に示すように、カメラはジャイロ部7を備えており、当該ジャイロ部7は被写体を撮影中に生じる手振れ状態を検出するための第1および第2のジャイロ7aおよび7bを備えている。そして、第1および第2のジャイロ7aおよび7bの出力である第1および第2のジャイロ検出信号は、それぞれ第1および第2のゲインAMP7cおよび7dで増幅されてCPU8に入力される。
なお、図1に示す例では、第1のジャイロ7aはピッチ方向(pitch)の振動(振れ)を検出し、第2のジャイロ7bはヨー方向(yaw)の振動を検出するものとする。
図3は、図1に示すCPU8の機能の一例を説明するためのブロック図である。
図示のように、CPU8は、露出制御部108、駆動モード切替部109、読み出しライン制御部110、防振機能制御部111、および手振れ補正量算出部112を有している。
前述の第1および第2のジャイロ検出信号は手振れ補正量算出部112に入力される。手振れ補正量算出部112は、第1および第2のジャイロ検出信号に応じて、手振れ補正量を算出して手振れ補正量を示す手振れ補正情報を電子ズーム部107に出力する。そして、電子ズーム部107は手振れ補正情報に応じて切り出し位置制御を行う際の切り出し位置を変更する。
なお、図1に示すように、CPU8には電子防振機能のオン/オフを切り替えるための防振設定メニューボタン10が接続されている。
図2に示す露出制御情報部101の出力である露出制御情報は露出制御部108に入力される。露出制御部108は、露出制御情報に応じて、絞り制御情報、AGC制御情報、および電子シャッター制御情報を生成する。そして、これら絞り制御情報、AGC制御情報、および電子シャッター制御情報に応じて、それぞれ絞り2、AGC5、およびCMOSセンサ3が制御される。なお、電子シャッター制御情報によってCMOSセンサ3による電荷の蓄積時間が制御される。
ここで、図1に示すCMOSセンサ3の駆動モードの1つである各列毎のゲインAMPの切り替えの際に生じる黒レベルのずれとVOB補正処理(つまり、オプティカルブラック補正)を行う補正フィルタ(IIRフィルタ)の収束時間との関係について説明する。
図4は、図1に示すカメラにおける黒レベルのずれと補正フィルタ(IIRフィルタ)の収束時間との関係を説明するための図である。
図2および図4を参照して、図2に示す補正データ生成部104は無限インパルス応答(IIR)フィルタ(図示せず)を備えており、VOBレベルXnに応じてVOB補正によって、次の式(1)に示すばらつき補正データ(以下、単に補正データともいう)Ynを生成する。
Yn=K×Xn+(1−K)×Yn−1 (1)
但し、Kはフィルタ係数であり、K=1/64、1/128、1/256、・・・である。
被写体の撮影の際に照度(つまり、輝度)を検出して、CMOSセンサ3に備えられた各列毎のゲインAMPのゲイン値を切り替えた直後におけるIIRフィルタの出力は、ゲインAMP毎のオフセット値の相違によって、ゲインAMPの切り替え前と比較して通常状態よりも大きい値が出力される。従って、IIRフィルタの出力が通常状態よりも大きい期間において、IIRフィルタの出力である補正データが通常状態から変化してしまうことになる。この結果、VOB補正後の画像において、黒レベルのずれや縦線キズが生じてしまう。
各列毎のゲインAMPのゲイン値を変更した際に生じる黒レベルのずれや縦線キズを低減するため、制御ゲイン値を変更した後、所定の数フレームの期間、式(1)に示すフィルタ係数Kを大きくする。つまり、IIRフィルタの時定数を大きくして、IIRフィルタの収束時間T1を短くする。
一方、収束時間T1は、VOB領域のライン数に比例するので、例えば、VOBライン数が10ラインの場合と比較して20ラインの場合では、フィルタ係数Kが同一であると、収束時間T1は1/2になる。よって、CMOSセンサ3から読み出すVOBライン数を多くすることが望ましいものの、前述のように、1フレームにおける読み出し時間が決まっているので、有効画素領域のライン数を所定のライン数以上読み出す場合に、読み出すVOBライン数を容易に増やすことは困難である。
図5は、図1に示すカメラで行われる読み出しライン数制御および防振制御を説明するための図である。
図3および図5を参照して、まずCMOSセンサ3が備える各列毎のゲインAMPの切替動作について説明する。
図3に示すCPU8において、AGC制御情報が示す制御ゲイン値が予め定められた基準値(例えば、6dB)以下であると、駆動モード切替部109は、AGC制御情報に応答して、各列毎のゲインAMPの制御ゲイン値を設定するためのAMP制御信号、例えば、4倍である“×4”を示すAMP制御信号をCMOSセンサ3に出力する。
一方、AGC制御情報が示す制御ゲイン値が基準値(6dB)を超えると、駆動モード切替部109は各列毎のゲインAMPの制御ゲイン値を、例えば、8倍である“×8”とするAMP制御信号をCMOSセンサ3に出力する。この際には、露出制御部108は、次の式(2)で示すAGCゲイン制御値を表すAGC制御情報をAGC5に対して出力する。
AGCのゲイン制御値=現在のAGCのゲイン制御値−20×log10(×4/×8) (2)
上述のように、CMOSセンサ3に備えられた各列毎のゲインAMPに係る制御ゲイン値の切り替えは、露出制御状態(つまり、ここでは、AGC制御情報)に応じて行われる。さらに、各列毎のゲインAMPの制御ゲイン値を4倍である“×4”から8倍である“×8”に変更する際、駆動モード切替部109は制御ゲイン値を”×8”とするAMP制御信号を読み出しライン制御部110に出力する。
読み出しライン制御部110は、AMP制御信号に応答して、各列毎のゲインAMPの制御ゲイン値が“×4”から“×8”に切り替わる際に、CMOSセンサ3に備えられたVOB領域におけるVOB補正に用いるライン数を、制御ゲイン値が”×4”の場合に対して増加させる。例えば、読み出しライン制御部110は、VOB補正に用いるVOB領域のライン数を10ラインから30ラインに20ライン増加させる。
ここでは、読み出しライン制御部110には、制御ゲイン値が”×8”のである際のVOB読み出しライン数の増加分が予め設定されている。つまり、読み出しライン制御部110は、予め設定されたライン数だけVOB読み出しライン数を増加させることになる。
さらに、読み出しライン制御部110は、映像信号エリアおよび電子防振エリアである有効画素領域のライン数をVOBライン数の増加分だけ減少させて読み出し制御を行うための読み出し制御信号(つまり、読み出しライン変更情報)をCMOSセンサ3に出力する。例えば、ここでは、有効画素領域のライン数をVOBの増加ライン数に相当する20ラインだけ減少させることになる。
これによって、CMOSセンサ3に備えられた各列毎のゲインAMPの制御ゲイン値が“×4”から“×8”に変更になった際、VOB領域および有効画素領域の合計読み出しライン数に変更はない。
読み出しライン制御部110は、上記の読み出しライン変更情報を防振機能制御部111および補正データ生成部104に出力する。防振設定メニューボタン10によって電子防振機能設定(単に防振設定と呼ぶ)がオンに設定されていると、防振機能制御部111は、読み出しライン変更情報に応じて、つまり、変更後の有効画素領域のライン数(例えば、1100ラインから1080ラインに変更)に応じて、垂直方向における防振制御可能エリアを変更する。
各列毎のゲインAMPの制御ゲイン値が“×4”に設定されている際の有効画素領域のライン数が1100ラインであるものとする。この場合に、各列毎のゲインAMPの制御ゲイン値が“×8”に変更されると、有効画素領域のライン数は1080ラインに変更されることになる。
ここで、カメラ信号処理部6から出力される映像信号に必要な画素数が、1920H×1080Vであるものとする。この場合、有効画素領域のライン数である1080ラインが映像信号に用いられるので、垂直方向の防振制御可能エリアのライン数は0ラインとなる。
防振機能制御部111は、変更後の有効画素領域のライン数と変更後の防振制御可能エリア(つまり、ライン数)とを示すエリア変更情報をカメラ信号処理部6に出力する。そして、カメラ信号制御部6において、電子ズーム部107はエリア変更情報に応じて防振制御可能エリアを変更して防振制御を行う。
上述のように、防振制御可能エリアの変更は、各列毎のゲインAMPの制御ゲイン値が“×4”から“×8”に切り替えられた際に行われる。この際には、補正データ生成部104は、読み出しライン変更情報に応じて補正フィルタの時定数を変更する(大きくする)。そして、防振制御可能エリアの変更は、当該補正フィルタの時定数が変更される期間で行う。
補正フィルタの時定数が通常設定に戻されると、VOB補正に用いるVOBライン数を通常の10ラインに戻す。さらに、読み出しライン制御部110は、防振制御可能エリアを通常状態とする読み出しライン変更情報を防振機能制御部111に出力する。
図6は、図1に示すカメラにおける読み出しライン数の変更、防振制御可能エリアの変更、および補正フィルタの時定数設定の関係を説明するための図である。
図6において、第1フレームでは、CMOSセンサに備えられた各列毎のゲインAMPの制御ゲイン値は“×4”であり、CMOSセンサ3の出力ライン数は、VOB領域が10ライン、有効画素領域が1100ラインである。ここで、映像信号は、フルHD(1920H×1080V)であるので、垂直方向の防振制御可能エリアは±10ラインである。また、VOB補正のための補正フィルタの係数(時定数)は“3”である。
第2フレームにおいて、図1に示すAGC5における制御ゲイン値が予め設定された基準値(例えば、6dB)を超えると、駆動モード切替部109は、AMP制御信号(ゲインAMP変更命令)をハイレベル(Hレベル)とする。つまり、駆動モード切替部109は各列毎のゲインAMPの制御ゲイン値を“×8”に設定する命令を示すフラグ“0”から“1”に変更する。
これによって、読み出しライン制御部110は読み出し制御信号をHレベルとする。つまり、読み出しライン数の変更命令および補正フィルタの係数の変更命令を示すフラグが“0”から“1”に変更される。
これらフラグの変更によって、各列毎のゲインAMPにおける制御ゲイン値を“×4”から“×8”とする変更、VOBライン数と有効画素ライン数の変更、補正フィルタの係数変更が第3フレームで行われることになる。
第3フレームにおいては、各列毎のゲインAMPの制御ゲイン値が“×8”とされ、CMOSセンサ3の出力ライン数について、VOB領域が30ライン、有効画素領域が1080ラインとされる。また、垂直方向の防振制御可能エリアは、±10ラインから0ラインとなる。
つまり、第3フレームにおいては、垂直方向の防振制御が停止されることになる。さらに、補正フィルタの係数は、高速引き込みを行うため、“3”から“9”に変更される。
なお、高速引き込みの継続期間、つまり、補正フィルタの係数変更期間は、予め設定されており、例えば、その期間は3フレーム分である。但し、高速引き込みの継続期間は、CMOSセンサ3の駆動フレームレート毎に変更することができる。この結果、第4フレームおよび第5フレームにおいては、第3フレームと同様の動作が行われることになる。
次に、第6フレームでは、各列毎のゲインAMPの制御ゲイン値が“×8”の状態で動作が継続される。一方、高速引き込みの継続期間が予め設定された継続期間である3フィールドを経過したので、補正フィルタの係数は“9”から“3”に変更されて通常の引き込み動作が行われる。
高速引き込み動作の終了に伴って、CMOSセンサ3における読み出しライン数の変更が行われて、通常出力状態(VOB領域が10ライン、そして、有効画素領域が1100ライン)に戻される。これによって、垂直方向の防振制御可能エリアが±10ラインとなるので、第6フレームから再び垂直方向の防振制御が行われることになる。
図7は、図1に示すカメラで行われる変更処理を説明するためのフローチャートである。なお、図示のフローチャートに係る処理はCPU8の制御下で行われる。また、ここでは、CMOSセンサ3に備えられた各列毎のゲインAMPについて制御ゲイン値を切り替えた際の読み出しライン数変更、防振制御可能エリア変更、および補正フィルタ係数変更の処理について説明する。
いま、カメラの電源がオンとされると、CPU8は予め定められた読み出しライン数(例えば、VOBライン数=10ライン、有効ライン数=1100ライン、合計ライン数=1110ライン)に設定する(ステップS1000)。続いて、CPU8はカメラ信号処理部6で得られた露出制御情報に応じて、被写体の明るさを適正露出とするためのAGCのゲイン値(以下、単にAGC値と呼ぶ)を検出する(ステップS1001)。
前述のように、CPU8はゲインAMPの制御ゲイン値切替用の基準値とAGC値とを比較する(ステップS1002)。そして、CPU8はAGC値が基準値を超えたか否かを判定する(ステップS1003)。AGC値が基準値以下であると(ステップS1003において、NO)、CPU8は各列毎のゲインAMPの制御ゲイン値を現在の制御ゲイン値(第1のゲイン値)に維持する。つまり、CPU8は現在のゲインAMP設定値(×4)を継続する(ステップS1004)。そして、CPU8はステップS1001の処理に戻る。
一方、AGC値が基準値を超えると(ステップS1003において、YES)、CPU8は各列毎のゲインAMPの制御ゲイン値を現在の制御ゲイン値から変更して、変更後の制御ゲイン値(第2のゲイン値)とする。つまり、CPU8は、各列毎のゲインAMPの制御ゲイン値を、“×4”から“×8”に変更する(ステップS1005)。
続いて、CPU8はCMOSセンサ3の読み出しライン数を、前述の予め定められた読み出しライン数から変更後の読み出しライン数とする(ステップS1006)。ここでは、変更後の読み出しライン数は、例えば、VOBライン数=30ライン、有効画素ライン数=1080ラインである。
読み出しライン数の変更の後、CPU8はVOB射影引き補正のための補正フィルタの係数を現在の設定値(第1の設定値又は第1の時定数:例えば、3)よりも大きい設定値(第2の設定値又は第2の時定数:例えば、9)として、補正フィルタの高速引き込み動作を行う(ステップS1007)。そして、CPU8は、各列毎のゲインAMPの制御ゲイン値の切替後における有効画素ライン数の減少に伴って電子防振を行うための切り出し位置変更を行う。つまり、ここでは、CPU8は垂直方向の防振可能エリアを制限する(ステップS1008)。
続いて、CPU8は、高速引き込みを開始したフレームと現在のフレームとの経過フレーム数(つまり、引き込み期間)と予め設定された高速引き込み実行フレーム数を表す基準フレーム数(基準引き込み期間)とを比較する(ステップS1009)。そして、CPU8は経過フレーム数が基準フレーム数を超えるか否かを判定する(ステップS1010)。
経過フレーム数が基準フレーム数以下であると(ステップS1010において、NO)、CPU8は補正フィルタの係数を第2の設定値のままとして高速引き込みを継続する(ステップS1011)。そして、CPU8はステップS1009の処理に戻る。
一方、経過フレーム数が基準フレーム数を超えると(ステップS1010において、YES)、CPU8は高速引き込みを完了して、つまり、補正フィルタの係数を第2の設定値(第2の時定数)から第1の設定値(第1の時定数)に変更する。そして、CPU8はCMOSセンサ8の読み出しライン数を通常読み出しライン数であるVOBライン数=10ライン、有効ライン数=1100ラインに再変更する(ステップS1012)。
読み出しライン数を再変更した後、つまり、有効画素領域のライン数を通常の読み出しライン数に戻したので、CPU8は垂直方向の防振可能エリア制限を解除する(ステップS1013)。そして、CPU8は通常防振動作を行う。その後、CPU8はステップS1001の処理に戻る。
このように、本発明の第1の実施形態では、CMOSセンサ3に備えられた各列毎のゲインAMPにおける制御ゲイン値を切り替える際、当該切り替え直前のフレームにおけるVOB読み出しライン数に対して切り替えフレームにおけるVOBライン数を増加させる。さらに、切り替え直前のフレームにおける有効画素領域のライン数に対して切り替え後のフレームにおける有効画素領域のライン数をVOB領域のライン数の増加分だけ減少させる。そして、有効画素領域のライン数を減少させたフレームから垂直方向の防振可能エリアを制限する。加えて、防振可能エリアを制限する期間を、VOB射影引き補正のための補正フィルタの時定数を大きくして高速引き込み動作期間と一致させる。
つまり、第1の実施形態では、各列毎のゲインAMPの制御ゲイン値を切り替えるなどのCMOSセンサ3の駆動モードを変更する際に、VOBライン数の変更と電子防振可能エリアの制限とを行って、電子防振可能エリアの制限期間をVOB射影引き補正の高速引き込み期間と一致させるように制御する。これによって、防振機能の誤動作を防止するととともに、CMOSセンサ3の駆動モードの変更に起因する縦線キズおよび黒レベルずれによる画質劣化を低減することができる。
[第2の実施形態]
次に、本発明の第2の実施形態によるカメラの一例について説明する。なお、第2の実施形態に係るカメラの構成は、図1に示すカメラの構成と同様であるが、第2の実施形態においてはCPU8の機能が異なる。
図8は、本発明の第2の実施形態によるカメラにおけるCPUの機能を説明するためのブロック図である。なお、図8において、図3に示すCPU8における構成要素と同一の構成要素について同一の参照番号を付す。
図8に示すCPU8は、図3に示すCPU8の機能に加えて、防振補正情報検出部113、垂直方向防振制限部114、比較部115、および読み出し変更判定部116を有している。そして、CPU8は撮影中の手振れ補正量に応じてCMOSセンサ3における読み出しライン数の変更を行うか否かを判定する。
図8において、読み出しライン制御部110は、前述の読み出しライン変更情報を補正データ生成部104に出力するとともに、垂直方向防振機能制限部114に出力する。防振設定メニューボタン10によって防振設定がオンに設定されていると、垂直方向防振機能制限部114は、読み出しライン変更情報に応じて、つまり、変更後の有効画素領域のライン数に応じて、垂直方向における防振制御可能エリアを制限するための防振可能エリア制限情報を比較部115に出力する。
防振補正情報検出部113には、手振れ補正量算出部112から手振れ補正情報が与えられ、防振補正情報検出部113は、手振れ補正情報が示す手振れ補正量を垂直方向及び水平方向に分解して、垂直方向の手振れ補正成分である垂直方向手振れ補正量および水平方向の手振れ補正成分である水平方向手振れ補正量を比較部115に送る。
比較部115は、防振可能エリア制限情報が示す垂直方向の防振可能エリア値と垂直方向手振れ補正量とを比較する。そして、防振可能エリア値が垂直方向手振れ補正量以下であると、比較部115はHレベル(“1”)を示す第1の判定信号を読み出し変更判定部116に出力する。さらに、比較部115は垂直方向手振れ補正量および水平方向手振れ補正量、つまり、手振れ補正情報を電子ズーム部7に出力する。
読み出し変更判定部116は、第1の判定信号を受けると、CMOSセンサ3における読み出しライン数の変更を可(OK)と判定して、読み出し変更可信号を読み出しライン制御部110に送る。そして、読み出しライン制御部110は、読み出し変更可信号を受けると、CMOSセンサ3の読み出しライン数を変更するための読出し制御信号をCMOSセンサ3に出力する。
一方、防振可能エリア値が垂直方向手振れ補正量を超えると、比較部115はLレベル(“0”)を示す第2の判定信号を読み出し変更判定部116に出力する。さらに、比較部115は垂直方向手振れ補正量および水平方向手振れ補正量、つまり、手振れ補正情報を電子ズーム部7に出力する。
読み出し変更判定部116は、第2の判定信号を受けると、CMOSセンサ3における読み出しライン数の変更を不可(NG)と判定して、読み出し変更不可信号を読み出しライン制御部110に送る。そして、読み出しライン制御部110は、読み出し変更不可信号を受けると、CMOSセンサ3の読み出しライン数を変更することなく読み出し制御信号をCMOSセンサ3に出力する。
図9Aおよび図9Bは、本発明の第2の実施形態によるカメラで行われる変更処理を説明するためのフローチャートである。
なお、図示のフローチャートに係る処理は、図8に示すCPU8の制御下で行われる。また、図示のフローチャートにおいて、図7に示すフローチャートにおけるステップと同一のステップについては同一の参照符号を付して説明を省略する。
図7で説明したステップS1005の処理に続いて、CPU8は読み出しライン変更情報を生成して(ステップS1015)、当該読み出しライン変更情報に応じて、現在の垂直方向の防振補正可能エリア値Yを新たな垂直方向防振補正可能エリア値Y’に変更する(ステップS1016)。
次に、前述のようにして、CPU8は手振れ補正情報に応じて現在の垂直方向手振れ補正量Y1を得る(ステップS1017)。そして、CPU8は垂直方向手振れ補正量Y1と新たな垂直方向防振補正可能エリア値Y’とを比較する(ステップS1018)。
垂直方向防振補正可能エリア値Y’が垂直方向手振れ補正量Y1以下であると(ステップS1018において、YES)、CPU8は、図7で説明したステップS1006の処理を行う。一方、垂直方向防振補正可能エリア値Y’が垂直方向手振れ補正量Y1を超えると(ステップS1018において、NO)、CPU8は、CPU8は現在設定されたCMOSセンサ3の読み出しライン数の変更を行わない(ステップS1020)。そして、CPU8はステップS1001の処理に戻る。
このように、本発明の第2の実施形態では、現在の手振れ補正量(つまり、防振補正量)と読み出しライン数変更に応じた防振制限情報とを比較して、当該比較結果に応じて読み出しライン数の変更を行うか否かを判定する。これによって、防振制限情報が現在の防振補正量が防振制限情報を超えた際に生じる画像の画角ずれに起因するブレ現象を低減することができる。
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPUなど)がプログラムを読み出して実行する処理である。
1 撮影レンズ
2 絞り
3 CMOSセンサ
4 A/D変換器
5 AGC
6 カメラ信号処理部
7 ジャイロ部
8 CPU
9 ビデオ信号処理部
10 防振設定メニューボタン

Claims (11)

  1. 有効画素領域と基準画素領域とからなる画素領域と、前記画素領域の出力信号を増幅する増幅部とを有し、光学像に応じた画像信号を出力する撮像素子と、前記増幅部のゲインが変更された場合に、前記有効画素領域および前記基準画素領域から信号を出力するライン数を変更するように制御する制御手段と、を有する撮像装置であって
    前記制御手段は、前記有効画素領域から信号を出力するライン数を変更した場合に、前記撮像装置の防振制御に用いられる前記有効画素領域における防振エリアを変更することを特徴とする撮像装置。
  2. 前記制御手段は、前記増幅部のゲインが増加した場合に、前記有効画素領域から信号を出力するライン数を減少させ、前記基準画素領域から信号を出力するライン数を増加させることを特徴とする請求項1に記載の撮像装置。
  3. 前記制御手段は、前記増幅部のゲインが変更された場合に、前記基準画素領域の出力信号を用いた基準レベル補正に用いられる補正フィルタの時定数を変更することを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記制御手段は、前記補正フィルタの時定数を変更した際のフレームの位置と現在のフレームの位置との引き込み期間が所定の基準引き込み期間を超えた場合に、前記画素領域における前記有効画素領域および前記基準画素領域から信号を出力するライン数を変更することを特徴とする請求項3に記載の撮像装置。
  5. 前記制御手段は、前記防振制御がオンとされた際に、前記防振エリアを変更することを特徴とする請求項1に記載の撮像装置。
  6. 前記制御手段は、前記有効画素領域から信号を出力するライン数を変更した場合に、前記防振エリアを制限することを特徴とする請求項5に記載の撮像装置。
  7. 前記制御手段は、前記有効画素領域および前記基準画素領域から信号を出力するライン数を変更する期間を前記補正フィルタの時定数を変更する期間に一致させることを特徴とする請求項3又は4に記載の撮像装置。
  8. 前記撮像装置における振れを検出して振れ量を得る検出手段と、
    前記振れ量に応じて前記防振制御で用いられる振れ補正量を求める算出手段とを有し、 前記制御手段は、前記防振エリアの制限を示す値が前記振れ補正量以下であると、前記有効画素領域および前記基準画素領域から信号を出力するライン数を変更することを特徴とする請求項1又は5に記載の撮像装置。
  9. 前記基準画素領域は、オプティカルブラック画素領域を含むことを特徴とする請求項1乃至8のいずれか1項に記載の撮像装置。
  10. 有効画素領域と基準画素領域とからなる画素領域と、前記画素領域の出力信号を増幅する増幅部とを有し、光学像に応じた画像信号を出力する撮像素子を有する撮像装置の制御方法であって、
    前記増幅部のゲインが変更された場合に、前記有効画素領域および前記基準画素領域から信号を出力するライン数を変更するように制御する制御ステップを有し、
    前記制御ステップでは、前記有効画素領域から信号を出力するライン数を変更した場合に、前記撮像装置の防振制御に用いられる前記有効画素領域における防振エリアを変更することを特徴とする制御方法。
  11. 有効画素領域と基準画素領域とからなる画素領域と、前記画素領域の出力信号を増幅する増幅部とを有し、光学像に応じた画像信号を出力する撮像素子を有する撮像装置で用いられる制御プログラムであって、
    前記撮像装置が備えるコンピュータに、前記増幅部のゲインが変更された場合に、前記有効画素領域および前記基準画素領域から信号を出力するライン数を変更するように制御する制御ステップを実行させ、
    前記制御ステップでは、前記有効画素領域から信号を出力するライン数を変更した場合に、前記撮像装置の防振制御に用いられる前記有効画素領域における防振エリアを変更することを特徴とする制御プログラム。
JP2013272387A 2013-12-27 2013-12-27 撮像装置、その制御方法、および制御プログラム Active JP6320037B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013272387A JP6320037B2 (ja) 2013-12-27 2013-12-27 撮像装置、その制御方法、および制御プログラム
US14/571,757 US9774805B2 (en) 2013-12-27 2014-12-16 Image pickup apparatus changing gain of amplifier of image pickup device, control method therefor, and storage medium storing control program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013272387A JP6320037B2 (ja) 2013-12-27 2013-12-27 撮像装置、その制御方法、および制御プログラム

Publications (3)

Publication Number Publication Date
JP2015126530A JP2015126530A (ja) 2015-07-06
JP2015126530A5 JP2015126530A5 (ja) 2017-02-09
JP6320037B2 true JP6320037B2 (ja) 2018-05-09

Family

ID=53483387

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013272387A Active JP6320037B2 (ja) 2013-12-27 2013-12-27 撮像装置、その制御方法、および制御プログラム

Country Status (2)

Country Link
US (1) US9774805B2 (ja)
JP (1) JP6320037B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5835254B2 (ja) * 2013-03-15 2015-12-24 株式会社安川電機 ロボットシステム、及び、ロボットシステムの制御方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205667A (ja) * 1998-01-12 1999-07-30 Sony Corp 撮像装置の黒レベル補正回路
JP2001186419A (ja) * 1999-12-24 2001-07-06 Nec Corp イメージセンサ及び画素読出し方法
JP4454750B2 (ja) * 1999-12-28 2010-04-21 日本バーブラウン株式会社 イメージセンサ用のフロントエンド信号処理の方法および装置
JP3991543B2 (ja) * 2000-01-11 2007-10-17 株式会社日立製作所 撮像装置
JP3733828B2 (ja) * 2000-03-29 2006-01-11 コニカミノルタフォトイメージング株式会社 電子カメラ
JP3751187B2 (ja) * 2000-06-26 2006-03-01 松下電器産業株式会社 固体撮像装置
US7466344B2 (en) * 2002-06-07 2008-12-16 Scimeasure Analytical Systems, Inc. High-speed low noise CCD controller
JP2004088406A (ja) * 2002-08-27 2004-03-18 Sanyo Electric Co Ltd 画像信号処理装置
JP2005150802A (ja) * 2003-11-11 2005-06-09 Sanyo Electric Co Ltd 画像信号処理装置及び画像信号処理方法
WO2006041071A1 (ja) * 2004-10-13 2006-04-20 Matsushita Electric Industrial Co., Ltd. 撮像装置
JP4446193B2 (ja) * 2005-11-11 2010-04-07 ソニー株式会社 画像処理装置および方法、並びにプログラム
US7817197B2 (en) * 2006-09-21 2010-10-19 Mediatek Singapore Pte Ltd Optical black calibration
JP4408940B2 (ja) 2007-07-23 2010-02-03 キヤノン株式会社 撮像装置及びその制御方法
JP4367963B2 (ja) * 2007-10-24 2009-11-18 キヤノン株式会社 撮像装置、撮像システム、及び撮像装置の駆動方法
JP4424753B2 (ja) * 2007-12-28 2010-03-03 キヤノン株式会社 固体撮像装置及びその駆動方法
JP5053869B2 (ja) * 2008-01-10 2012-10-24 キヤノン株式会社 固体撮像装置、撮像システム、及び固体撮像装置の駆動方法
JP5272630B2 (ja) * 2008-10-03 2013-08-28 ソニー株式会社 固体撮像素子およびその駆動方法、並びにカメラシステム
JP2012090051A (ja) * 2010-10-19 2012-05-10 Sony Corp 撮像装置及び撮像方法
JP2012242563A (ja) * 2011-05-18 2012-12-10 Pentax Ricoh Imaging Co Ltd 手ブレ補正装置およびデジタルカメラ
JP5868090B2 (ja) * 2011-09-20 2016-02-24 三菱電機株式会社 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
JP2015126530A (ja) 2015-07-06
US20150189202A1 (en) 2015-07-02
US9774805B2 (en) 2017-09-26

Similar Documents

Publication Publication Date Title
US20160182828A1 (en) Image pickup apparatus, method of controlling image pickup apparatus, image processing apparatus, and image processing method
JP6056702B2 (ja) 画像処理装置、画像処理方法、プログラム
JP5746521B2 (ja) 撮像装置及びその制御方法、プログラム並びに記憶媒体
US10218908B2 (en) Image processing apparatus capable of performing image shake correction, image pickup apparatus, and control method
JP2017169074A (ja) 画像安定化装置、画像安定化方法及び電子機器
JP2008289032A (ja) 撮像装置
JP2015105975A (ja) 像振れ補正装置及びその制御方法、プログラム、記憶媒体
JP2007243335A (ja) 手振れ補正方法、手振れ補正装置および撮像装置
JP6932531B2 (ja) 像ブレ補正装置、撮像装置および撮像装置の制御方法
WO2017104102A1 (ja) 撮像装置
US20220385800A1 (en) Control apparatus, imaging apparatus, and lens apparatus
JP6320037B2 (ja) 撮像装置、その制御方法、および制御プログラム
EP3836540B1 (en) Image processing apparatus and image capturing apparatus
JPH11146260A (ja) 振れ補正装置、振れ補正方法及びコンピュータ読み取り可能な記憶媒体
JP5179859B2 (ja) 撮像装置及び撮像方法
JP4956094B2 (ja) 撮像装置及び撮像方法
JP5621265B2 (ja) 手ぶれ補正装置、撮像処理方法及びプログラム
JP4597073B2 (ja) 手ブレ補正方法、手ブレ補正装置、および撮像装置
JP2007028496A (ja) 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP4449777B2 (ja) 撮像装置、画像処理装置および方法、記録媒体、並びにプログラム
US20230239572A1 (en) Image stabilization control apparatus, imaging apparatus, lens apparatus, and control method
JP5979040B2 (ja) 撮像装置、撮像方法及びプログラム
US11405553B2 (en) Optical device and its control method
JP2010166257A (ja) 手振れ補正装置、撮像装置、手振れ補正方法、およびプログラム
JP2007235806A (ja) 画像処理装置、撮影装置、画像処理方法、および、制御プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180403

R151 Written notification of patent or utility model registration

Ref document number: 6320037

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151