JP6827801B2 - 撮像装置および制御方法 - Google Patents

撮像装置および制御方法 Download PDF

Info

Publication number
JP6827801B2
JP6827801B2 JP2016250486A JP2016250486A JP6827801B2 JP 6827801 B2 JP6827801 B2 JP 6827801B2 JP 2016250486 A JP2016250486 A JP 2016250486A JP 2016250486 A JP2016250486 A JP 2016250486A JP 6827801 B2 JP6827801 B2 JP 6827801B2
Authority
JP
Japan
Prior art keywords
image
light source
photometric
flicker
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016250486A
Other languages
English (en)
Other versions
JP2018107563A5 (ja
JP2018107563A (ja
Inventor
新谷 拓也
拓也 新谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016250486A priority Critical patent/JP6827801B2/ja
Priority to US15/841,423 priority patent/US11080863B2/en
Publication of JP2018107563A publication Critical patent/JP2018107563A/ja
Publication of JP2018107563A5 publication Critical patent/JP2018107563A5/ja
Application granted granted Critical
Publication of JP6827801B2 publication Critical patent/JP6827801B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6815Motion detection by distinguishing pan or tilt from motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Description

本発明は、フリッカー光源下での明るさ検知および被写体の動き量検知の技術に関する。
一眼レフカメラ等の撮像装置は、撮影前に測光センサで取得した画像信号を処理して測光を行う。蛍光灯等の光源は交流電流のもとで点滅を繰り返す、いわゆるフリッカー現象が発生し、その点滅周期を検出する撮影システムがある。
一方で、被写体(動体)のスピード感を表現する撮影技術としての流し撮りでは、撮影者が被写体の動きに合わせてカメラのパンニングを行い、静止した被写体画像と背景の流れた画像の撮影を目的とする。撮影者が被写体の動きに合わせて行うパンニングの速度が適切でない場合、被写体の移動速度とパンニング速度との間に差が発生し、被写体画像にブレが生じ得る。そこで、ユーザの流し撮りの補助を行う技術として、撮像光学系のシフトレンズの移動により被写体の移動速度とパンニング速度の差を補う方法が提案されている。
特許文献1では、ジャイロセンサによるブレ検出と、画像の動きベクトルを用いた被写体の検出を行い、検出された被写体領域を画像中央に位置させるための補正量が算出される。補正量に応じてシフトレンズが移動することにより、流し撮りを補助する動作が行われる。また、動きベクトルの検出技術として、特許文献2では、動きベクトルを検出するブロックマッチングの対象となる参照ブロックと候補ブロックの画素値を、サーチエリア内で候補ブロックの位置をずらしながら比較する方法が提案されている。
特開2006−317848号公報 特開平8−88855号公報
従来の技術では、フリッカー光源が有る撮影状況において連続して撮影された画像のサンプリング間隔が長く、ある一定時間内でのサンプリング数が少ない場合、被写体の動き量の検知精度が低下する可能性がある。
本発明の目的は、フリッカー光源下でも精度よく被写体の動き量検知を行うことである。
本発明の一実施形態の撮像装置は、被写体を撮像して画像信号を取得する撮像手段と、前記画像信号を用いて測光処理を行う処理手段と、前記撮像手段により連続して取得される複数の画像信号を用いてフリッカー光源の検知および被写体の動き検知を行う検知手段と、を備え、前記処理手段は、第1の露光時間で前記撮像手段により取得される画像信号を用いて前記測光処理を行い、前記検知手段は、前記第1の露光時間よりも短い第2の露光時間で前記撮像手段により連続して取得される複数の画像信号を用いて前記フリッカー光源の検知を行い、前記測光処理に用いる画像信号および前記フリッカー光源の検知に用いる複数の画像信号を用いて前記被写体の動き量を算出する。
本発明によれば、フリッカー光源下でも精度よく被写体の動き量検知を行うことができる。
本発明の実施形態のカメラシステムの構成例を示す図である。 焦点検出枠の配置例を示す図である。 第1実施例の測光フリッカー動きベクトル検知処理のフローチャートである。 第1実施例における測光処理のフローチャートである。 第1実施例のフリッカー動きベクトル検知処理のフローチャートである。 第1実施例におけるフリッカー検知演算処理のフローチャートである。 第1実施例の測光フリッカー動きベクトル検知処理の説明図である。 第1実施例におけるフリッカー光源下でない撮影状況の説明図である。 第1実施例におけるフリッカー光源下での撮影状況の説明図である。 第2実施例のフリッカー動きベクトル検知処理のフローチャートである。 第2実施例におけるフリッカー検知演算処理のフローチャートである。 第2実施例のフリッカー検知情報の一例を示す図である。 第2実施例の前回フリッカー検知情報利用処理のフローチャートである。 第2実施例の前回フリッカー検知情報利用処理の説明図である。 前回フリッカー検知情報を利用した測光画生成処理の説明図である。 第2実施例の測光フリッカー動きベクトル検知処理の説明図である。 第2実施例におけるフリッカー光源下での撮影状況の説明図である。 第3実施例におけるフリッカー光源下での撮影状況の説明図である。 第3実施例における測光画選択生成処理のフローチャートである。 第3実施例の測光フリッカー動きベクトル検知処理の説明図である。 第4実施例における測光画選択生成処理のフローチャートである。 第4実施例の測光フリッカー動きベクトル検知処理の説明図である。
以下に、本発明の好ましい実施の形態を、添付図面に基づいて詳細に説明する。
まず、本発明の概要を説明する。撮像装置によって連続して撮影される画像のサンプリング間隔が長く、ある一定時間内でのサンプリング数が少なくなる場合には、動きベクトル検知の精度が問題となる。被写体の動きが大きいと、連続して撮影された画像における参照ブロックと候補ブロックとの比較エリアを大きくする必要が生じる。しかし、比較エリアを広げすぎると、動きべクトル検知の処理時間が長くなるため、リアルタイム性を欠いた処理になる可能性がある。
そこで、動きべクトル検知のために撮像画像のサンプリング数を増やすことが考えられる。この場合、ペンタプリズム部に設けられた測光センサにおいて、例えば測光やフリッカー検知のための撮像処理の分解能が低下することが懸念され、測光精度やフリッカー検知精度の低下が問題となる。仮に測光用の撮像画像を使って動きべクトル検知を行う場合、測光に適した撮像の第1の露光時間と、動きべクトル検知に適した撮像の第2の露光時間とが異なるという問題がある。第1の露光時間は、撮像素子で測光を精度よく行うために必要な蓄積時間である。測光動作では、ある程度の明るさがある撮像画像を使用する必要がある。このため、画像信号(電荷)の蓄積時間が長くなった場合に第1の露光時間は、第2の露光時間から乖離し得る。つまり、蓄積時間が長いと被写体の像ブレが大きくなる可能性があり、動きべクトル検知を正確に行う目的には適さない。
仮にフリッカー検知に使用する撮像画像を用いて動きべクトル検知を行う場合、フリッカー検知では第2の露光時間を短くし、フリッカー光源下において画像の明暗を検出することでフリッカー現象の有無が判断される。このため、動きべクトル検知においても、画像信号の蓄積時間の短さから被写体の像ブレが起きにくいという点では、目的に適う画像が得られるといえる。しかし、動きべクトル検知では、フリッカー光源下で起きる明暗の違いにより、明るさの異なる連続した画像が取得される。よって、明暗差をもつ複数の撮像画像を用いて、動体である被写体の動きべクトルを検知することが難しい。
本発明の実施形態では、測光センサによる画像信号を用いて測光処理を行い、連続して取得される複数の画像信号を用いてフリッカー光源の検知および被写体の動き検知を行う処理を説明する。撮像手段である測光センサの出力に基づく測光動作に引き続き、フリッカー検知および被写体の動き検知が行われる。動き検知では画像取得のサンプリング間隔を短くすることで、フリッカー光源下でも被写体の動き量を精度よく取得できる。以下では、撮像装置として一眼レフカメラを例示し、フリッカー現象の影響を考慮しつつ、被写体の動きベクトルの算出が可能なシステムを説明する。なお、ユーザの流し撮りを支援する機能(流し撮りアシスト)を有するデジタルカメラを例示するが、当該機能を有さない撮像装置にも本発明を適用可能である。
図1は、本発明の実施形態にかかわるカメラシステムの構成例を示す図である。ユーザはカメラ本体部100にレンズ装置200を装着して使用可能である。カメラ制御部101は、カメラ本体部100の各部を制御するCPU(中央演算処理装置)を有する。メモリ102は、カメラ制御部101に接続されたRAM(ランダム・アクセス・メモリ)やROM(リード・オンリ・メモリ)等である。
撮像部103は、赤外カットフィルタやローパスフィルタ等の光学部材と、撮像素子を備える。撮像素子はCCD(電荷結合素子)型イメージセンサやCMOS(相補型金属酸化膜半導体)型イメージセンサ等である。レンズ装置200によって撮影時に被写体の像が結像され、撮像素子は光電変換により電気信号を出力する。シャッタ104は非撮影時に撮像素子を遮光し、撮影時には開放されて撮像素子へ光線を導く。ハーフミラー105は、非撮影時にレンズ装置200より入射する光の一部を反射し、ピント板106に結像させる光学部材である。
表示素子107はAF(オートフォーカス)用の焦点検出枠を表示する。焦点検出枠の表示により、ユーザが光学ファインダを覗いたときにどの位置でAF処理が行われているかをユーザに提示できる。表示素子107はPN(ポリマーネットワーク)液晶等を用いた表示デバイスである。図2を参照して、焦点検出枠の配置例を説明する。
図2は、PN液晶を用いた表示素子107において、複数の焦点検出枠が表示された状態を示す。PN液晶では、カメラ制御部101からの指示で選択された焦点検出枠の液晶が拡散し、焦点検出枠が表示される。撮像領域内の測光領域には、複数に分割されたブロック領域の境界線を点線で示している。つまり、測光領域は所定数のブロック領域に分割されており、交差する境界線の交点に焦点検出枠が位置している。
図1の測光センサ108には、CCDセンサ、CMOSセンサ等の撮像素子が使用される。測光センサ108は測光だけでなく、後述する動きベクトルの検出に用いられる。ペンタプリズム109は、ピント板106の被写体画像を、測光センサ108と光学ファインダに導く。測光センサ108は、ペンタプリズムを介してピント板106に結像された被写体画像を斜め方向から見込む位置に配置される。
AFミラー111は、レンズ装置200からカメラ本体部100内に入射してハーフミラー105を通過した光線の一部を焦点検出部110へ導く光学部材である。焦点検出部110は焦点検出回路を有し、焦点検出状態の検出処理を行う。
演算部112は、測光センサ108の出力信号を処理する画像処理および演算用のCPU(以下、APUと呼ぶ)である。APU112は、被写体の顔検出の演算や追尾の演算、測光演算、フリッカー検知演算、動きベクトル検知演算等を行う。またAPU112は、画像信号に対するゲイン処理を行うゲイン回路と、画像信号の加算回路と、時間情報を取得する計時用のタイマを備える。メモリ113はAPU112に接続されているRAMやROM等であり、APU112が参照する情報等を記憶する。なお、本実施形態では、測光センサ専用の演算部を使用する例を説明するが、カメラ制御部101のCPUのみで処理を行ってもよい。
レンズ装置200はレンズ制御部201(以下、LPUと呼ぶ)を備え、レンズ装置200内の各部を制御する。LPU201はカメラ制御部101と通信可能であり、被写体の距離情報や、振れの角速度情報等をカメラ制御部101に送信する。角速度センサ202はジャイロセンサ等の角速度センサである。角速度センサ202はレンズ装置200に加わる振れ等を表す角速度を検出し、角速度を電気信号に変換してLPU201へ出力する。LPU201は角速度センサ202により検出される振れ検出信号を取得し、撮像光学系を構成する補正レンズ(シフトレンズ)の駆動制御を行う。これにより被写体の画像ブレを光学的に補正する像ブレ補正動作が行われる。また、撮像装置がユーザの流し撮りを支援する機能(流し撮りアシスト)を有する場合、カメラ制御部101は、流し撮りアシスト用の制御に切り替わったことを示す情報をLPU201へ送信する。LPU201は流し撮りアシストモードに移行すると、カメラ制御部101からの制御信号にしたがってシフトレンズの移動制御を行い、被写体の移動速度とパンニング速度との差を低減させる制御を行う。流し撮りアシストは公知技術であるため、その詳細な説明を省略する。
カメラ本体部100には撮影用の操作部材(撮影ボタン)が設けられており、ユーザが操作部材を操作することで測光動作が行われる。この操作部材については、ユーザの操作に応じた第1の状態(SW1のON状態)で測光動作を開始し、さらに操作量の大きい第2の状態(SW2のON状態)で撮影動作が行われるものとする。
[第1実施例]
以下、本発明の第1実施例を説明する。図3は、本実施例における測光フリッカー動きベクトル検知処理のフローチャートである。以下の処理はカメラ制御部101のCPUと、APU112がメモリからプログラムを読み出して実行することにより実現される。
まず、S301では、ユーザにより撮影ボタンが操作され、SW1のON状態が検出された否かの判定処理が行われる。SW1のON状態と判定された場合、S302の処理に進む。SW1のON状態と判定されない場合には、S301の判定処理が繰り返される。
S302では、撮影時の露出を決定するための測光処理が実行される。測光処理については、図4のフローチャートを用いて後述する。次にS303では、フリッカー動きベクトル検知処理が実行される。被写体がフリッカー光源下にあるか否かの検知処理と、被写体の動きベクトルの検知処理が行われる。各処理の詳細については、図5、図6のフローチャートを用いて後述する。
次にS304では、撮影ボタンの操作が終了してSW1のON状態が解除されたかどうかの判定処理が行われる。SW1のON状態が解除された場合、処理を終了し、解除されていないと判定された場合には、S302の処理に戻って処理を続行する。本実施例による検出処理については具体例を挙げて、図7から図9を参照して説明する。
図4のフローチャートを参照して、図3のS302の測光処理について説明する。S401では蓄積A処理が実行される。蓄積A処理は、図1のペンタプリズム109、ピント板106により導かれた被写体画像の信号を、測光センサ108が所定の時間で蓄積する処理である。所定の時間とは、測光センサ108によって明るさを正確に測定するときに必要な蓄積時間(露光時間)であり、所定のプログラム線図に従う。プログラム線図について公知の技術であるため、その詳細な説明を省略する。
次にS402では読出A処理が実行される。読出A処理は、S401で蓄積された電荷に対応する画像信号を読み出して、メモリ113に保持する処理である。次のS403では測光演算処理が実行される。S402にてメモリ113に保持された、露出決定のための画像(以下、測光画Aという)に基づいて、測光演算処理が行われ、測光対象領域の明るさが測定される。図2に示す測光領域を所定数のブロック領域に分割して、明るさをブロックごとに測定して演算処理が行われることで、画像全体の明るさを測定できる。なお、測光演算処理のアルゴリズムについては、本発明の特徴とは直接的な関係がないため、説明を省略する。
図5のフローチャートを参照して、図3のS303のフリッカー動きベクトル検知処理について説明する。S501では、フリッカー検知および動きべクトル検知のために蓄積FV処理が行われる。蓄積FV処理とは、図1のペンタプリズム109、ピント板106により導かれた被写体画像を、測光センサ108が所定の時間で蓄積する処理である。所定の時間とは、交流電流のもとで点滅を繰り返すフリッカー現象の点滅周期を判断し、かつ、動きべクトル検知のサンプリング間隔を短くし、ブレのない被写体画像を精度よく取得するための時間のことである。具体的には、フリッカー検知および動きべクトル検知のための蓄積FVの設定時間(以下、FVTと表記する)を1.66ミリ秒とする。その詳細については、図7から図9を使って後述する。なお、APU112は時間情報を取得するためのタイマを具備し、蓄積開始時刻を基準とする時間データを取得する。第1回目の時間データTs1、第2回目の時間データTs2、第3回目の時間データTs3という具合に取得されて各データがメモリ113に保持される。
次にS502では読出FV処理が行われる。読出FV処理は、S501で蓄積された画像信号を読出し、メモリ113に保持する処理である。S503の処理は、所定枚数の画像が取得されたかどうかの判定処理である。例えば、蓄積FV処理および読出FV処理により、連続する12枚の画像(以下、測光画FVという)が取得されたかどうかが判断される。測光画FVの詳細については、図7から図9を使って後述する。S503にて、所定枚の測光画FVが撮像されていないことが判断された場合、S501へ戻って処理を続行する。一方、所定枚数の測光画FVが撮像されたことが判断された場合、S504の処理に進む。
S504でフリッカー検知演算処理が実行される。S501、502でメモリ113に保持された所定枚数の測光画FVから、フリッカーの有無が判断される。フリッカー検知演算処理については、図6を使って後述する。次にS505で動きべクトル検知演算処理が実行される。S501、502でメモリ113に保持した所定枚数の測光画FVから動きべクトルが算出される。具体的には、計12枚の連続して撮影された測光画FVを比較するブロックパターンマッチング処理が行われるが、公知の技術であるため、その詳細な説明を省略する。動きべクトル検知(動き検知ともいう)演算処理では、被写体の動きの有無を判定する処理と、被写体(動体)の動き量を算出する処理が行われるものとする。算出された動き量は、流し撮りアシストの制御に利用され、あるいは電子式像ブレ補正の制御や、被写体の動きを検知して自動的に画角を調整するオートズーム制御等に利用される。被写体の動き検知結果は任意の制御に利用可能である。S505の処理を終えると、リターン処理に移行する。
図6のフローチャートを参照して、図5のS504のフリッカー検知演算処理について説明する。まず、S601でフリッカー測光演算処理が行われる。つまり、メモリ113に保持された測光画FVのデータを用いて測光演算処理が実行される。測光演算処理のアルゴリズムについては、本発明の特徴と直接関係がないため、説明を省略する。次のS602は、所定枚数の画像に対してフリッカー測光演算処理が完了したか否かの判定処理である。12枚分の測光画FVを用いてフリッカー測光演算処理が終わったかどうかが判定され、終わっていないと判定された場合、S601に戻って処理を続行する。一方、フリッカー測光演算処理が終わったと判定された場合、S603の処理に進む。
S603ではフリッカー判断処理が行われる。フリッカー判断処理とは、S601でフリッカー測光演算が行われた所定枚数の画像の測光結果に基づいて、撮影状況がフリッカー光源下であるか否かを判断する処理である。判断処理の詳細については、図9で説明するが、予め設定された時間間隔FVTで連続的に撮像された複数枚の測光画FVから測光値(EV_Fv)を比較することで、撮影状況がフリッカー光源下であるか否かを判断できる。撮影状況がフリッカー光源下である場合には、フリッカー光源の点滅のピークとその周期について判断される。S603の処理を終えると、リターン処理に移行する。
図7は、本実施例における測光処理と、フリッカー検知および動きベクトル検知処理のシーケンスを説明するためのタイミングチャートである。横軸は時間軸である。Ts1は第1回目の時間データを表し、Ts1までの期間が、(A)測光処理の期間である。Ts1以後の期間は、(B)フリッカー動きベクトル検知処理の期間である。
(A)測光処理の期間には、プログラム線図に従った、任意の蓄積時間で蓄積A処理が行われた後に読出A処理が行われる。読み出された画像(測光画A)のデータを用いて測光演算処理が行われる。その後、(B)フリッカー動きベクトル検知処理の期間には、蓄積開始時刻に対応するTs1から、所定の時間間隔FVTで連続して蓄積FV処理が繰り返し実行される。12回分の蓄積FVを、「蓄積FV1〜12」と表記し、それぞれ蓄積FVに対応する読出FVを、「読出FV1〜12」と表記する。本実施例では蓄積FVj(j=1〜11)が終わると同時に、読出FVjと次の蓄積FVj+1とが並行して実行される。これにより、撮像画像の連続性が損なわれることを回避できる。
蓄積FV12が終わると、読出FV12が行われた後でフリッカー検知演算処理が実行される。一般的にフリッカー光源の周期は、商用交流電源の周波数50Hz、60Hzのいずれかに対応する周期である。このことから、例えば、蓄積時間を1.66ミリ秒に設定した場合、10ミリ秒の間に撮像される測光画像の枚数は6となる。つまり、6枚の測光画像を取得して測光演算を行い、測光範囲の明るさの変化を判断することで、50Hz、60Hzのいずれの場合でも、フリッカーの有無と光源のピークを検出できる。残り6枚の測光画像についても同様にフリッカーの有無と光源の明るさのピークを検出することができる。検出された2つのピークの時間間隔からフリッカー光源の点滅周期を判断することができる。その詳細については図9を使って後述する。
フリッカー検知演算処理が終わると、連続して撮像された12枚の測光画FVを用いて、動きべクトル検知演算処理が行われる。例えば、蓄積FVでの蓄積時間が1.66ミリ秒という比較的短い時間で連続的な撮像が行われる場合、測光画FVにおいて、像ブレを含んだ被写体領域の移動量が小さい。そのため、連続する撮像画像における参照ブロックと候補ブロックとの比較を行うための比較エリアの大きさを小さくすることができ、処理時間をより短縮し、かつ、精度よく被写体の動き検知を行える。以上の処理は、第2回目の時間データTs2以降についても繰り返し実行される。
図8は、フリッカー光源下でない撮影状況である場合に、測光画FVの明るさと、測光画FV1〜12の各測光値EV_Fv1〜12、および対応する画像例を示す図である。図7の(B)フリッカー動きベクトル検知処理期間にて、フリッカー光源下でない撮影状況では図8(A)に示す測光画像の明るさが一定である。図8(A)の縦軸は明るさを表し、横軸は時間軸である。フリッカー光源下でないことから、明るさが時間経過によらず、一定値のEV_A1として示されている。
図8(B)は、図8(A)の撮影条件にて、蓄積FV、読出FV(図7)により、連続して撮像される所定枚数の測光画FVおよびその測光値EV_Fvをそれぞれ示す。この場合、一定の明るさEV_A1であるので、複数の測光値EV_Fvを比較することによって、連続した12枚の測光画FVには明暗差がないことが判定される。図8(C)は、撮像画像内の動体の被写体画像を例示する模式図である。測光画FV1、測光画FV2のみを代表して示す。測光画FV1内の被写体領域は、1.66ミリ秒の時間経過後に撮像された測光画FV2にて実線で示す位置まで移動していることを示す。
明るさが大きく変化しない撮影環境で被写体の動き検知を行う場合には、比較エリアの対象における明暗差が小さいので、一般的に画像領域の比較が容易である。すなわち、連続する測光画像における被写体領域を明確に比較できるため、動き検知精度が高い。また、1.66ミリ秒という短い時間間隔で撮像された測光画FVにより動き検知を行う場合には、比較する画像間での被写体領域の移動距離が小さくなるので比較エリアの大きさを小さくすることができる。
図9は、フリッカー光源下での撮影状況において、測光画FVの明るさと、測光画FV1〜12と各測光値EV_Fv1〜12、および対応する画像例を示す図である。図9(A)から(C)は、図8(A)から(C)にそれぞれ対応するので、相違点のみ説明する。図9では、50Hzに対応する周期の2分の1で点滅を繰り返すフリッカー光源下での撮影を例示する。図9(A)に示す明るさのピークを、EV_Fp1と表記する。
図9(B)は、フリッカー光源下の撮影条件において、1.66ミリ秒ごとの蓄積FV、読出FVにより、連続して撮像される測光画FV1〜12および測光値EV_Fv1〜12を示す。この場合、フリッカー光源の影響により測光画FV1〜6までの6枚の画像には明暗差がある。これらの明暗差は測光値EV_Fv1〜6を比較することで検出することができ、測光画FV4の測光値EV_Fv4からEV_Fp1が算出される。つまり、各測光値EV_Fv1〜6の比較により、フリッカー光源のピークEV_Fp1が測光画FV4内にあると判断される。同様に、測光画FV7〜FV12までの6枚の画像についても明暗差が検出される。各測光値EV_Fv7〜12を比較することで、2回目のピークEV_Fp1が測光画FV10内にあると判断される。蓄積時間が1.66msに設定されていることと、およびピークEV_Fp1が測光画FV4内と測光画FV10内であることから、2つのピーク間の差分(時間差)は10ミリ秒と判断される。つまり、50Hzのフリッカー光源の周波数に対応する周期であるという判断結果が得られる。
図9(C)に例示する測光画FV1と測光画FV2を比べると、測光画FV1よりも測光画FV2の方が明るい画像である。測光画FV1内の被写体領域は、1.66ミリ秒の経過後の測光画FV2内に実線で示す位置まで移動している。明るさが大きく変化するフリッカー光源下において、明るさが変化する被写体の動き検知を行う場合、検知精度が低下する可能性がある。つまり、図8のようにフリッカー光源下にない撮影状況に比べて、画像間の比較エリア内の対象に明暗があると、画像領域を明確に比較することが困難になる。フリッカー光源下では動き検知精度が低下するという問題に関しては、第2実施例で解決方法を説明する。
本実施例では、フリッカー検知および動きべクトル検知処理のために短い露光時間で連続して撮像された画像を用い、2つの検知処理を連続して実行する。測光やフリッカー検知を行う時間間隔を適切に設定することで、分解能の低下を伴わずに動き検知処理を行うことができる。本実施例によれば、測光センサを用いた撮像動作において、動きべクトル検知のサンプリング間隔を短くし、フリッカー光源下でも精度よく動き検知を行える撮像装置を提供できる。
[第2実施例]
次に、本発明の第2実施例を説明する。本実施例では、フリッカー光源下での動き検知精度の低下に対し、フリッカー検知情報を使うことで、フリッカー光源下で動き検知を精度よく行う処理について説明する。本実施例にて第1実施例と同様の事項については説明を省略し、主に相違点を説明する。このような説明の省略の仕方は、後述の実施例でも同じである。
図10のフローチャートを参照して、本実施例のフリッカー動きベクトル検知処理(図3:S303)について説明する。S1001では、図5のS501と同様に蓄積FV処理が行われる。時間を計測するタイマにより、時間情報(Ts1、Ts2、Ts3等)がメモリ113に保持される。S1002では、図5のS502と同様に読出FV処理が行われる。
S1003では、本実施例の特徴である前回フリッカー検知情報利用処理が行われる。この処理は、前回のフリッカー検知情報を利用して測光画FVから測光画Vgを生成する処理である。その詳細については図13のフローチャートを用いて後述する。S1004は、連続して撮像された12枚の測光画FVに対して、前回フリッカー検知情報利用処理により測光画Vgが生成されたかどうかの判断処理である。12枚の測光画FVの撮像、および測光画Vgの生成が行われていないと判断された場合、S1001へ戻って処理を繰り返す。一方、12枚の測光画FVの撮像、および測光画Vgの生成が行われたと判断された場合、S1005の処理に進む。
S1005でフリッカー検知演算処理が実行される。S1001、1002でメモリ113に保持された12枚の測光画FVから、撮影環境にフリッカー光源が有るかどうかの判断処理が行われる。その詳細については、図11を使って後述する。次にS1006で動きべクトル検知演算処理が実行される。メモリ113に保持された12枚の測光画FVに対し、前回のフリッカー情報を反映して生成した測光画Vgから動きべクトルを算出する演算処理が行われる。例えば、計12枚の連続して撮像された測光画Vgを比較するブロックパターンマッチングが用いられる。処理方法は公知の技術であるので、その詳細を省略する。
図11のフローチャートを参照して、フリッカー検知演算処理を説明する。S1101、S1102の処理はそれぞれ、図6のS601、S602と同様の処理であるため、それらの説明を省略し、S1103を説明する。S1103ではフリッカー検知情報生成処理が行われる。S1101で演算された12枚の測光画FVの測光結果から、フリッカー検知情報が生成される。なお、フリッカー判断処理の詳細については、図9で説明済みである。フリッカー検知情報に関して、図12の具体例で説明する。
図12は、図9で説明した条件下におけるフリッカー検知情報の一例を表した図である。蓄積FV開始時間Tsは、例えば図10のS1001で保持された蓄積開始時刻Ts1である。フリッカーあり判定Flagは、フリッカー測光によりフリッカーの有無の判定結果を示すフラグである。TRUEはフリッカーありの判定結果を示し、FALSEはフリッカーなしの判定結果を示す。フリッカー周期は、撮影環境にフリッカー光源が有ると判断された場合(TRUEの場合)、フリッカー現象の周期を示す。フリッカー光源がないと判断された場合(FALSEの場合)、フリッカー周期は無効値となる。ピーク測光値EV_Fp1は、撮影環境にフリッカー光源が有ると判断された場合の測光値のピークを示す。ピーク測光画番号は、フリッカー光源があると判断された場合、ピーク測光値が測光画FVの何番目と何番目の画像であるかを示し、フリッカー光源がないと判断された場合には無効値となる。ゲインテーブルは、測光画FV1〜FV12の各測光値が、ピーク測光値EV_Fp1に比べて、どれだけの比率(EV_Fp1/Ev_Fv)であるかを表わすデータ群である。これは、各測光値にどれだけのゲインをかければEV_Fp1と同等の明るさになるのかを、ゲインテーブルとして保持するデータテーブルである。ゲインテーブルには、測光画FV1〜FV12を指定するIndexが割り当てられ、Indexによりゲイン名およびゲイン値が参照されるものとする。
図13のフローチャートを参照して、前回フリッカー検知情報利用処理を説明する。S1301では取得された前回のフリッカー検知情報が参照され、フリッカーあり判定Flagが判定される。フリッカーあり判定FlagがTRUEであると判定された場合、S1303の処理に進み、フリッカーあり判定FlagがFALSEであると判定された場合、S1302の処理に進む。
S1302では、測光画FVに対して1倍のゲインテーブルを選択する、1倍ゲインテーブル選択処理が行われる。1倍ゲインテーブルとは、測光画FVに対して、ゲインをかけず(ゲイン値を1倍とする)、測光画FVをそのまま測光画Vgとして生成するためのゲインテーブルである。この場合、フリッカー現象による明暗差を、ゲイン調整によって補正する必要はないので、各測光画FVに対するゲイン値は1である。なお、本処理が初回である場合、つまりフリッカー検知情報が存在しない場合には、フリッカーあり判定FlagがTRUEではないものと判断される。次にS1305の処理に進む。
S1303は、図10のS1001およびS1002での測光画FVの蓄積FVおよび読出FVの画像が1枚目の画像であるか否かの判定処理である。1枚目の画像でないと判定された場合、S1305の処理に移行する。また、1枚目の画像であると判断された場合、S1304の処理に進む。
S1304では、前回のフリッカー検知情報のゲインテーブルから、どのIndexでゲインを選択するかを判断する処理が実行される。本処理では下記式(1)のように、図10のS1001で保持された時間情報Ts1から、フリッカー検知情報に含まれている時刻情報Tsを引き算し、フリッカー周期で割り算をし、その余りを算出する演算が行われる。
(Ts1−Ts)/フリッカー周期=商(Sh)+余り(Am) 式(1)
下記式(2)により、余りAmは蓄積時間1.66(ミリ秒)で除算される。
Am/1.66=商(Sh2)+余り(Am2) 式(2)
下記式(3)により、算出された商Sh2に対して、1が加算される。
Index = Sh2+1 式(3)
この結果は、前回フリッカー検知情報のゲインテーブルのIndexとなる。
図14は上記演算を図解して示す図であり、N−1回目とN回目のゲインテーブルの時間的な関係を例示する。例えば、余りAmを1.66ミリ秒で除算したときの商Sh2を3とすると、Ts1の時刻にてIndex4の位置からゲインテーブルの参照が順次行われる。図15は処理シーケンスを説明する図である。本実施例の測光フリッカー動きベクトル検知処理を繰り返し行う場合、N−1回目の検知処理の際には、図10のS1005のフリッカー検知演算処理によるフリッカー検知情報がメモリ113に保持される。これによって、N回目の検知処理で撮像した測光画FVから、測光画Vgを生成することができる。
図13のS1305では、測光画Vgの生成処理が行われる。図1のAPU112内のゲインアップ回路は、測光画FVに対して、S1302およびS1304で決定したゲインにしたがってゲインアップ処理を行い、測光画Vgのデータ生成を行う。次にS1306では、ゲインテーブルのIndex値が12であるかどうかについて判定処理が行われる。ゲインテーブルのIndex値が12である場合、S1307に進み、Index値が12でない場合、S1308に進む。S1307では、ゲインテーブルのIndexが1に設定された後、リターン処理へ移行する。S1308では、ゲインテーブルのIndexをインクリメントが行われる。つまりIndex値に1が加算された後、リターン処理へ移行する。
図16は、本実施例における測光処理と、フリッカー動きベクトル検知処理のシーケンスを説明するタイミングチャートである。(A)測光処理の期間では、任意の蓄積時間で蓄積Aが行われたあと、読出Aが行われる。読み出された測光画Aを用いて測光演算が行われる。(B)フリッカー動きベクトル検知処理の期間では、蓄積開始時刻Ts1から、1.66ミリ秒の蓄積時間間隔で連続して蓄積FVが繰り返される。この際、蓄積FV1が終わると同時に、読出FV1と蓄積FV2が並行に行われるので、画像の連続性が損なわれることはない。さらに、読出FV1時には、図13で説明した前回フリッカー検知情報利用処理によりゲイン乗算処理が実行され、測光画Vg1が同時に生成される。蓄積FV2以降についても、同様に処理が行われ、読出FV12と測光画Vg12の生成が終わると、次に、フリッカー検知演算が行われる。蓄積時間を1.66ミリ秒に設定した場合、10ミリ秒の間の撮像された測光画FV6枚の測光演算が行われる。測光領域の明るさの変化を判断することで、フリッカーの有無と光源の明るさのピークを検出できる。次に、残りの測光画6枚からも同様に光源の明るさのピークが検出され、2つのピークの時間間隔からフリッカー光源の周期を判断することができる。その詳細は図17を使って後述する。
続いて、連続して撮像され、かつゲインをかけた測光画Vg12枚を用いて、動きべクトル検知演算が行われる。本実施例では蓄積FVの蓄積時間が1.66ミリ秒という短い時間で連続に撮影が行われる。このため、測光画Vgは、ブレを含んだ被写体画像の移動量が小さいので、連続する画像における参照ブロックと候補ブロックとの比較エリアの大きさを小さくすることができる。さらには処理時間が短く、明暗差が小さい画像を比較するので、精度よく動きべクトル検知を行うことができる。
図17は、フリッカー光源下にて、図16に示す(B)フリッカー動きベクトル検知処理期間中の測光画FV、測光画Vgの明るさの変化を表した図である。図17(A)に示すグラフにて、縦軸は明るさを表わし、横軸は時間軸である。グラフは50Hzのフリッカー光源下での明るさの変化を示しており、明るさのピークをEV_Fp1と表記する。
図17(B)は、設定された1.66ミリ秒の蓄積FV、読出FVにより、連続して撮像される測光画FV1〜12と測光値EV_Fv1〜12を示す。フリッカー光源下で連続して撮像された測光画FV1〜6の画像には明暗差があることを示す。それらの明暗差は、各測光値EV_Fv1〜6を比較することで判断される。本例では、フリッカー光源の明るさのピークEV_Fp1が、測光画FV4内にあることが判断される。同様に、測光画FV7〜12の画像の明暗差が、各測光値EV_Fv7〜12の比較により判断される。2つ目の明るさのピークが測光画FV10にあることが判断される。蓄積時間が1.66ミリ秒であることと、明るさのピークが測光画FV4内と測光画FV10内にあることから、両画像の時間差は10ミリ秒である。つまり50Hzのフリッカー光源の周波数に対応することが分かる。
図17(C)は、図13で説明した前回フリッカー検知情報利用処理によりゲインを乗算した測光画Vgを示す模式図である。各測光画FV1〜12のデータにゲインをかけることで、連続した測光画Vg1〜12のデータ、つまり、明暗差の小さい画像データが生成される。
図17(D)は、測光画FV1とFV2を代表例として示す図であり、いずれも動体の被写体画像を含む画像を示す。測光画FV1内の被写体画像は、1.66ミリ秒後に撮像された測光画FV2内では、実線で示す位置に移動している。図17(E)は、測光画Vg1とVg2を代表例として示す図である。測光画Vg1内の被写体画像は、1.66ミリ秒後に撮像された測光画Vg2内では、実線で示す位置に移動している。図17(E)では、図17(D)に比べて、測光画Vg1、Vg2の明暗差がないか、または小さいことを示す。つまり、前回フリッカー検知情報を利用したゲイン乗算処理によって、各測光画Vgの明暗差が低減される。よって、明暗差が低減された測光画Vgを使って被写体の動きベクトルを検出することができる。
本実施例では、フリッカー検知のために短い蓄積時間で連続して撮像した測光画像を用いて動き検知がフリッカー検知と同時期に行われる。さらに、ゲイン調整によって明暗差が低減されて明るさの変化が抑制された補正画像を使って、精度よく動き検知を行うことができる。
[第3実施例]
次に、本発明の第3実施例を説明する。第2実施例では、ゲイン乗算による補正画像を用いる動きべクトル検知について説明したが、ゲイン乗算に伴う画像ノイズの発生が懸念される。画像ノイズが大きい場合、動き検知の精度が低下する可能性がある。そこで本実施例では、フリッカー光源下にて画像ノイズを発生させずに、フリッカー検知情報を使って精度よく動き検知を行う処理について説明する。なお、本実施例では前記実施例で説明したフリッカー光源下に比べて、特にフリッカー光源の明るさの振幅が大きい場合を例にして説明する。
図18は、フリッカー光源下にて、フリッカー動きベクトル検知処理期間に撮像される測光画FVの明るさの変化を説明する図である。図18(A)のグラフにて、縦軸は明るさを表わし、横軸は時間軸である。グラフは50Hzのフリッカー光源下での明るさの変化を示しており、明るさのピークをEV_Fp1と表記する。本実施例ではフリッカー光源の明るさの振幅が大きい。このため、測光画FV1が暗く(測光値EV_Fv1が小さい)、測光値EV_Fv1とピークEV_Fp1との差が大きい。
図18(B)は、設定された1.66ミリ秒の蓄積FV、読出FVにより、連続して撮像される測光画FV1〜12と測光値EV_Fv1〜12を示す。フリッカー光源下で連続して撮像された測光画FV1〜6には明暗差がある。各測光値EV_Fv1〜6を比較することで、フリッカー光源の明るさのピークEV_Fp1が測光画FV4内にあると判断される。同様に、測光画FV7〜12の測光値EV_Fv7〜12から比較することで、2つ目の明るさのピークが測光画FV10内にあると判断される。測光画FV4と測光画FV10との時間差は10ミリ秒であり、つまり50Hzのフリッカー光源の周波数に対応することがわかる。
図18(C)は、測光画FV1、測光画FV2を代表例として示す図であり、いずれも動体の被写体画像を含む画像を示す。測光画FV1内の被写体画像は、1.66ミリ秒後に撮像された測光画FV2内では移動しているが、暗い画像ではその移動を判別することができないか、または精度が著しく低下する。
図18(D)は、上記の条件におけるフリッカー検知情報のゲインテーブルを例示する。ゲインテーブルは第2実施例で説明済みであるが、本実施例では、ゲイン値が所定の閾値Gmaxと比較される。閾値Gmaxより大きいゲイン範囲では、大きいノイズが発生する可能性がある。この例では、ゲイン名G4とG10以外では、ゲイン値が閾値Gmaxより大きいことを示す。
次に、本実施例における前回フリッカー検知情報利用処理について説明する。図13のフローチャートとの相違点は、S1305に示す測光画Vgの生成処理が、測光画選択生成処理に置き換わる点である。よって、図19のフローチャートを参照して、測光画選択生成処理を説明する。
S1901は、ゲインテーブルのIndexから取得されるゲイン値を閾値Gmaxと比較する判定処理である。ゲイン値が閾値Gmax以下であると判定された場合、S1902に進む。S1902では第2実施例と同様に、測光画Vgの生成処理が実行される。そしてリターン処理へ移行する。一方、S1901にて、取得されたゲイン値が閾値Gmaxより大きいと判定された場合、測光画Vgの生成処理は行われず、リターン処理へ移行する。
図20は、本実施例における測光処理と、フリッカー動きベクトル検知処理のシーケンスを説明するタイミングチャートである。(A)測光処理の期間では、任意の蓄積時間で蓄積Aが行われたあと、読出Aが行われる。取得された測光画Aにより測光演算が行われる。
次に、(B)フリッカー動きベクトル検知処理の期間では、蓄積開始時刻Ts1から、1.66ミリ秒の蓄積時間の間隔で連続して蓄積FVが繰り返される。読出FVと蓄積FVが並行して行われ、読出FV時には、前回フリッカー検知情報利用処理により、選択的にゲイン乗算処理が行われ、測光画Vgが同時に生成される。
次にフリッカー検知演算が行われ、前記実施例と同様、6枚ごとの測光画に基づいて明るさのピークが検知され、2つのピークの時間間隔からフリッカー光源の周期が判断される。動きべクトル検知演算は、選択的に生成される2枚の測光画Vg(図20:Vg4とVg10)を用いて行われる。すなわち、本実施例では、選択的に取得される測光画Vgを使うことで、ゲイン乗算に伴うノイズが少なく、明暗差の少ない画像で精度よく動き検知を行える。選択的とは、ゲイン閾値を用いて取捨選択される測光画像(補正画像)を用いることを意味する。
本実施例によれば、第2実施例の効果に加えて、フリッカー光源下においてノイズの少ない画像を使うことにより、精度よく動き検知を行える。
[第4実施例]
次に、本発明の第4実施例を説明する。
図21のフローチャートを参照し、本実施例の測光画選択生成処理について説明する。以下、第3実施例の測光画選択生成処理との相違点を主に説明する。S2101は、S1901と同様の閾値を用いた判定処理である。ゲインテーブルのIndexから取得されたゲイン値が、閾値Gmax以下であると判定された場合、S2102に進み、S1902と同様、測光画Vgの生成処理が行われる。そしてリターン処理に移行する。
S2101でゲイン値が閾値Gmaxより大きいと判断された場合、S2103の処理に進む。S2103では、測光画Vkの生成処理が行われる。図1のAPU112内の加算回路は、複数の測光画FVを加算することにより測光画Vkを生成する。生成される測光画Vkは、測光画Vgとともに、動きべクトル検知に用いるものとする。測光画Vkは、1.66ミリ秒の時間間隔で撮像された複数枚の画像を加算することで生成される。したがって、本来ならば動きべクトル検知に使用できない暗い画像を明るい画像として処理することができる。ある一定時間内でのサンプリング数を下げることなく、動きべクトル検知の精度を高めることが可能となる。ただし、加算の枚数が多すぎると、蓄積時間が延びることと同義になり、被写体の像ブレの問題が発生する可能性があるため、加算の枚数は制限される。また、加算を行ったとしても画像の明るさが暗い場合には、加算後にゲインを改めてかけてもよい。
図22は、本実施例における測光処理と、フリッカー動きベクトル検知処理のシーケンスを説明するタイミングチャートである。本実施例では、読出FV時に、測光画選択生成処理により、選択的に加算処理を行い、またはゲイン乗算処理を行う。これにより、測光画Vkおよび測光画Vgが同時期に生成される。加算Vk123は、測光画FV1〜3の加算画像を示し、加算Vk56789は、測光画FV5〜9の加算画像を示す。加算Vk1112は、測光画FV11およびFV12の加算画像を示す。またゲインVg4は測光画Vg4を示し、ゲインVg10は測光画Vg10を示す。
フリッカー検知演算にて、フリッカー光源の明るさのピーク検知、およびフリッカー光源の周期が判断され、動きべクトル検知演算が行われる。その際、生成された測光画Vk、測光画Vgを用いて被写体の動きべクトルが検出される。つまり、本実施例では選択的に加算された測光画Vkと、ゲイン乗算により得られる測光画Vgを使うため、ノイズが少なく、明暗差の小さい画像を用いて動き検知を行える。
本実施例によれば、前記実施例の効果に加えて、フリッカー光源下でも明暗差が小さくノイズの少ない画像を使って、ある一定時間内に撮像される画像の枚数を減らすことなく、精度よく動き検知を行うことができる。この場合の、ある一定時間とは、(B)フリッカー動きべクトル検知演算が行われる期間長に相当する。
[第5実施例]
次に、本発明の第5実施例を説明する。
本実施例では、第1実施例で説明した(A)測光処理での蓄積A,読出Aにて取得される画像も動きべクトル検知に使用するものとする。つまり、測光フリッカー動きべクトル検知では、フリッカー検知のために短い蓄積時間で連続して撮像された画像を用いるだけではなく、測光処理で撮像された画像がさらに用いられる。したがって、本実施例によれば、前記実施例の効果に加えて、ある一定時間内に撮像される画像の使用枚数を増やすことで、精度よく動き検知を行える。この場合の、ある一定時間とは、(A)測光処理および(B)フリッカー動きべクトル検知演算が行われる期間長に相当する。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
例えば、上述の実施形態では、撮像装置のAPU112が測光演算、フリッカー検知演算、動きベクトル検知演算等を行う例を説明した。しかしながら、画像信号を生成する撮像装置とは別の画像処理装置の演算部が生成された画像信号を取得し、取得した画像信号を用いて測光演算、フリッカー検知演算、動きベクトル検知演算等を行ってもよい。
[その他の実施例]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 カメラ本体部
101 カメラ制御部
108 測光センサ
112 画像処理・演算用のCPU

Claims (16)

  1. 被写体を撮像して画像信号を取得する撮像手段と、
    前記画像信号を用いて測光処理を行う処理手段と、
    前記撮像手段により連続して取得される複数の画像信号を用いてフリッカー光源の検知および被写体の動き検知を行う検知手段と、を備え、
    記処理手段は、第1の露光時間で前記撮像手段により取得される画像信号を用いて前記測光処理を行い、
    前記検知手段は、前記第1の露光時間よりも短い第2の露光時間で前記撮像手段により連続して取得される複数の画像信号を用いて前記フリッカー光源の検知を行い、前記測光処理に用いる画像信号および前記フリッカー光源の検知に用いる複数の画像信号を用いて前記被写体の動き量を算出する
    ことを特徴とする撮像装置。
  2. 前記第1の露光時間は、前記測光処理にて画像の明るさの測定に用いる画像信号の蓄積時間であり、
    前記第2の露光時間は、前記フリッカー光源の明るさの変化に対して予め設定される数の画像を取得する際の画像信号の蓄積時間である
    ことを特徴とする請求項1に記載の撮像装置。
  3. 前記検知手段は前記フリッカー光源の明るさのピークを検出して周期を算出する
    ことを特徴とする請求項1または請求項2に記載の撮像装置。
  4. 前記検知手段により前記フリッカー光源が有ることが判定された場合、前記画像信号に係る画像の明るさを補正する補正手段をさらに備え、
    前記検知手段は、前記補正手段により補正された前記複数の画像信号により被写体の動きベクトルを算出する
    ことを特徴とする請求項1から3のいずれか1項に記載の撮像装置。
  5. 前記補正手段は、前記検知手段によって前回に得られたフリッカー検知情報を用いて明るさを補正した画像を生成する
    ことを特徴とする請求項4に記載の撮像装置。
  6. 前記補正手段は、前記フリッカー光源の明るさの変化に対応するゲインを決定し、前記複数の画像信号に前記ゲインを乗算する処理を行う
    ことを特徴とする請求項5に記載の撮像装置。
  7. 前記フリッカー検知情報は、前記撮像手段の蓄積開始時刻、前記フリッカー光源の有無を示す情報、前記フリッカー光源の明るさのピークを示す情報、前記ゲインの情報のうち、1つ以上を含む
    ことを特徴とする請求項6に記載の撮像装置。
  8. 前記検知手段は、前記フリッカー光源が有ると判定された場合、補正された前記複数の画像信号から選択した画像信号を用いて前記動きベクトルを算出する
    ことを特徴とする請求項4に記載の撮像装置。
  9. 前記補正手段は、前記検知手段により前記フリッカー光源が有ると判定され、かつ前記ゲインが閾値より小さい場合に前記画像信号の補正を行う
    ことを特徴とする請求項6に記載の撮像装置。
  10. 前記検知手段は、前記フリッカー光源が有ると判定された場合、前記フリッカー光源の明るさのピークに対応する、前記補正された画像信号を用いて被写体の動きベクトルを算出する
    ことを特徴とする請求項4に記載の撮像装置。
  11. 前記補正手段は、前記フリッカー光源の明るさの変化に対応するゲインを決定し、前記ゲインが閾値より大きい場合、連続して取得された複数の画像を加算する処理を行う
    ことを特徴とする請求項5に記載の撮像装置。
  12. 被写体を撮像して画像信号を取得する撮像手段と、
    前記画像信号を用いて測光処理を行う処理手段と、
    前記撮像手段により連続して取得される複数の画像信号を用いてフリッカー光源の検知および被写体の動き検知を行う検知手段と、
    前記検知手段によって得られたフリッカー検知情報を用いて前記フリッカー光源の明るさの変化に対応するゲインを決定し、前記検知手段により前記フリッカー光源が有ると判定され、かつ前記ゲインが閾値より小さい場合に前記複数の画像信号に前記ゲインを乗算する処理を行う補正手段と、を備え、
    前記処理手段は、第1の露光時間で前記撮像手段により取得される画像信号を用いて前記測光処理を行い、
    前記検知手段は、前記第1の露光時間よりも短い第2の露光時間で前記撮像手段により連続して取得される複数の画像信号を用いて前記フリッカー光源の検知を行い、前記補正手段により前記ゲインが乗算された画像信号を用いて被写体の動きベクトルを算出する
    ことを特徴とする撮像装置。
  13. 被写体を撮像して画像信号を取得する撮像手段と、
    前記画像信号を用いて測光処理を行う処理手段と、
    前記撮像手段により連続して取得される複数の画像信号を用いてフリッカー光源の検知および被写体の動き検知を行う検知手段と、
    前記検知手段によって得られたフリッカー検知情報を用いて前記フリッカー光源の明るさの変化に対応するゲインを決定し、前記ゲインが閾値より大きい場合、前記撮像手段により連続して取得された複数の画像信号を加算する処理を行う補正手段と、を備え、
    前記処理手段は、第1の露光時間で前記撮像手段により取得される画像信号を用いて前記測光処理を行い、
    前記検知手段は、前記第1の露光時間よりも短い第2の露光時間で前記撮像手段により連続して取得される複数の画像信号を用いて前記フリッカー光源の検知を行い、前記補正手段により加算された画像信号を用いて被写体の動きベクトルを算出する
    ことを特徴とする撮像装置。
  14. 被写体を撮像する撮像手段を備える撮像装置にて実行される制御方法であって、
    前記撮像手段により取得された画像信号を用いて測光処理を行う処理工程と、
    前記撮像手段により連続して取得された複数の画像信号を用いてフリッカー光源の検知および被写体の動き検知を行う検知工程と、を有し、
    記処理工程では、第1の露光時間で前記撮像手段により取得される画像信号を用いて前記測光処理が行われ、
    前記検知工程では、前記第1の露光時間よりも短い第2の露光時間で前記撮像手段により連続して取得される複数の画像信号を用いて前記フリッカー光源の検知が行われ、前記測光処理に用いる画像信号および前記フリッカー光源の検知に用いる複数の画像信号を用いて前記被写体の動き量が算出される
    ことを特徴とする撮像装置の制御方法。
  15. 被写体を撮像する撮像手段を備える撮像装置にて実行される制御方法であって、
    前記撮像手段により取得された画像信号を用いて測光処理を行う処理工程と、
    前記撮像手段により連続して取得された複数の画像信号を用いてフリッカー光源の検知を行う検知工程と、
    前記検知工程で得られたフリッカー検知情報を用いて前記フリッカー光源の明るさの変化に対応するゲインを決定し、前記検知工程で前記フリッカー光源が有ると判定され、かつ前記ゲインが閾値より小さい場合に前記複数の画像信号に前記ゲインを乗算する処理を行う補正工程と、を有し、
    前記処理工程では、第1の露光時間で前記撮像手段により取得される画像信号を用いて前記測光処理が行われ、
    前記検知工程では、前記第1の露光時間よりも短い第2の露光時間で前記撮像手段により連続して取得される複数の画像信号を用いて前記フリッカー光源の検知が行われ、前記補正工程で前記ゲインが乗算された画像信号を用いて被写体の動きベクトルが算出される
    ことを特徴とする撮像装置の制御方法。
  16. 被写体を撮像する撮像手段を備える撮像装置にて実行される制御方法であって、
    前記撮像手段により取得された画像信号を用いて測光処理を行う処理工程と、
    前記撮像手段により連続して取得された複数の画像信号を用いてフリッカー光源の検知を行う検知工程と、
    前記検知工程で得られたフリッカー検知情報を用いて前記フリッカー光源の明るさの変化に対応するゲインを決定し、前記ゲインが閾値より大きい場合、前記撮像手段により連続して取得された複数の画像信号を加算する処理を行う補正工程と、を有し、
    前記処理工程では、第1の露光時間で前記撮像手段により取得される画像信号を用いて前記測光処理が行われ、
    前記検知工程では、前記第1の露光時間よりも短い第2の露光時間で前記撮像手段により連続して取得される複数の画像信号を用いて前記フリッカー光源の検知が行われ、前記補正工程で加算された画像信号を用いて被写体の動きベクトルが算出される
    ことを特徴とする撮像装置の制御方法。
JP2016250486A 2016-12-26 2016-12-26 撮像装置および制御方法 Active JP6827801B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016250486A JP6827801B2 (ja) 2016-12-26 2016-12-26 撮像装置および制御方法
US15/841,423 US11080863B2 (en) 2016-12-26 2017-12-14 Imaging apparatus, image processing device, and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016250486A JP6827801B2 (ja) 2016-12-26 2016-12-26 撮像装置および制御方法

Publications (3)

Publication Number Publication Date
JP2018107563A JP2018107563A (ja) 2018-07-05
JP2018107563A5 JP2018107563A5 (ja) 2020-01-30
JP6827801B2 true JP6827801B2 (ja) 2021-02-10

Family

ID=62629842

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016250486A Active JP6827801B2 (ja) 2016-12-26 2016-12-26 撮像装置および制御方法

Country Status (2)

Country Link
US (1) US11080863B2 (ja)
JP (1) JP6827801B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6684168B2 (ja) * 2016-06-28 2020-04-22 キヤノン株式会社 画像処理装置および画像処理方法
CN109120863B (zh) * 2018-10-23 2021-01-01 Oppo广东移动通信有限公司 拍摄方法、装置、存储介质及移动终端
CN110853031B (zh) * 2019-11-20 2023-04-11 航天科技控股集团股份有限公司 汽车组合仪表指示灯点亮的排他检测方法
KR20210101416A (ko) * 2020-02-10 2021-08-19 삼성전자주식회사 이미지 센서 제어 방법 및 장치
JP2021182698A (ja) * 2020-05-19 2021-11-25 キヤノン株式会社 撮像装置及びその制御方法
JP2022043930A (ja) * 2020-09-04 2022-03-16 キヤノン株式会社 電子機器

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4845557A (en) * 1988-05-02 1989-07-04 Dubner Computer Systems, Inc. Field motion suppression in interlaced video displays
JP3627872B2 (ja) 1994-07-22 2005-03-09 ソニー株式会社 動きベクトル検出方法及び装置
JP2006317848A (ja) 2005-05-16 2006-11-24 Canon Inc 静止画撮像装置
US8144213B2 (en) 2008-02-04 2012-03-27 Panasonic Corporation Imaging device, integrated circuit, and imaging method for encoding image frames based on detected flicker of a light source
US9608725B2 (en) * 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
JP6362091B2 (ja) * 2014-06-04 2018-07-25 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP6370134B2 (ja) * 2014-07-02 2018-08-08 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP6460829B2 (ja) 2015-02-20 2019-01-30 キヤノン株式会社 撮像装置、電子機器及び光量変化特性の算出方法
JP6727933B2 (ja) * 2016-06-01 2020-07-22 キヤノン株式会社 撮像装置及び制御方法

Also Published As

Publication number Publication date
US20180182110A1 (en) 2018-06-28
JP2018107563A (ja) 2018-07-05
US11080863B2 (en) 2021-08-03

Similar Documents

Publication Publication Date Title
JP6827801B2 (ja) 撮像装置および制御方法
US7929042B2 (en) Imaging apparatus, control method of imaging apparatus, and computer program
JP6220225B2 (ja) 撮像装置、撮像装置の制御方法、プログラム、及び記録媒体
JP6108946B2 (ja) 撮像装置、制御方法、プログラム及び記憶媒体
WO2018101092A1 (ja) 撮像装置およびフリッカ判定方法
JP6460829B2 (ja) 撮像装置、電子機器及び光量変化特性の算出方法
US10205886B2 (en) Imaging apparatus, control method, and storage medium
JP6906950B2 (ja) 撮像装置、その制御方法とプログラムと記録媒体
JP6614853B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP6851854B2 (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
JP6482370B2 (ja) 撮像装置、光量変化の検出方法及びプログラム
JP6501463B2 (ja) 撮像装置及びその制御方法
JP6541312B2 (ja) 撮像装置及びその制御方法
JP6456038B2 (ja) 電子機器、光量変化特性の算出方法、プログラム及び記憶媒体
JP6768372B2 (ja) 撮像装置、その制御方法、及びプログラム
JP4974862B2 (ja) 撮像装置及びその制御方法
JP6391319B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP2015167308A (ja) 顔検出オートフォーカス制御に適する測光方法
JP6704718B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP6005955B2 (ja) 測光装置及び撮像装置
JP6598927B2 (ja) 撮像装置、制御方法、プログラム及び記憶媒体
JP6351778B2 (ja) 撮像装置、制御方法、プログラム及び記憶媒体
JP2017098777A (ja) 撮像装置及びその制御方法、プログラム
JP6504845B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP2021129199A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210120

R151 Written notification of patent or utility model registration

Ref document number: 6827801

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151