JP6486109B2 - 露出制御装置、その制御方法、およびプログラム - Google Patents

露出制御装置、その制御方法、およびプログラム Download PDF

Info

Publication number
JP6486109B2
JP6486109B2 JP2015002922A JP2015002922A JP6486109B2 JP 6486109 B2 JP6486109 B2 JP 6486109B2 JP 2015002922 A JP2015002922 A JP 2015002922A JP 2015002922 A JP2015002922 A JP 2015002922A JP 6486109 B2 JP6486109 B2 JP 6486109B2
Authority
JP
Japan
Prior art keywords
detection result
exposure
selection
exposure control
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015002922A
Other languages
English (en)
Other versions
JP2016129287A (ja
JP2016129287A5 (ja
Inventor
天志 上坂
天志 上坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015002922A priority Critical patent/JP6486109B2/ja
Priority to US14/990,870 priority patent/US10389950B2/en
Priority to CN201610011951.8A priority patent/CN105791673B/zh
Publication of JP2016129287A publication Critical patent/JP2016129287A/ja
Publication of JP2016129287A5 publication Critical patent/JP2016129287A5/ja
Application granted granted Critical
Publication of JP6486109B2 publication Critical patent/JP6486109B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10144Varying exposure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Description

本発明は、露出制御装置、その制御方法、およびプログラムに関し、特に、動画撮影の際の露出制御に関する。
一般に、デジタルカメラなどの撮像装置において静止画を撮影する際、その測光として撮影画面を複数のエリアに分割して測光が行われる。そして、複数のエリアにおいて明るい部分と暗い部分とのバランスに応じて露出を決める評価測光があり、さらには、特定の狭い領域のみについて測光を行うスポット測光などがある。いずれの側光においても測光領域の決定あるいは分割エリア毎の重み付けの決定の際にはピント合わせを行う焦点検出領域の位置情報が用いられる。
一方、動画撮影の際に用いられる測光においては、被写体の移動および構図の変更に関して、露出の安定性を重視して露出制御が行われる。このため、画面中央に重みを置きつつ比較的広い範囲を平均的に測光する中央部重点平均測光を専用の測光モードとして備える撮像装置がある。
さらに、近年、撮影画像から人物の顔を検知して追尾する手法が撮像装置に用いられている。そして、動画撮影の際に、人物の顔が検知された場合には測光を中央部重点平均測光から顔部分の分割エリア(測光分割領域)に重み付けをおく顔評価測光に切り替える制御を行う撮像装置がある。
この撮像装置においては、人物の顔が検知できないと、中央部重点平均測光を用いて露出制御が行われることになる。この場合、例えば、画面中央が明るく、画面の端に逆光気味の人物が存在する構図であると、画面中央については白飛びが抑止されて適正レベルの露出となるものの、人物の顔については暗めの露出となってしまう。
加えて、人物の顔が検知可能であるか否かが微妙である状態が継続すると、つまり、顔検知可能な状態と顔検知不可の状態が交互に現れると、上記の撮像装置では顔評価測光と中央部重点平均測光とが断続的に切り替えられることになる。その結果、露出が断続的に変化することになって明るさがちらついた動画となる。
上述のような測光の切り替えの発生を抑制するため、顔検出結果についてチャタリング処理、つまり、複数回の顔検出結果を参照して、測光手法を決定する撮像装置が知られている(特許文献1参照)。
特開2010−41399号公報
ところが、チャタリング処理によって顔検知結果の揺らぎを抑制しようとすると、次のような課題がある。
画面に人物が存在する構図で動画を撮影中に、画面を別の物体が横切ると、複数回の顔検知結果を参照する結果、人物の前を別の物体が横切り始めてから顔検出不可という判定結果がでるまでに遅延が生じる。このため、人物の前を別の物体が横切り始めてから顔検出不可という判定結果がでるまでの間は、横切った物体の明るさを人物の顔の明るさとみなして顔評価測光が行われ、横切った物体に露出制御が影響されるという現象が生じる。
例えば、横切った物体が黒色であると、適正露出であった顔が一時的に露出オーバーとなって露出のふらつきが生じることがある。特に、二人の人物が存在する撮影シーンにおいて、主被写体(主顔)を黒色の物体が横切ると、他方の被写体に対する露出が適正状態から外れてしまうことになる。
そこで、本発明の目的は、顔検出の誤検知および揺らぎに起因する露出の影響を防止するとともに、物体が横切った際の露出の影響を抑えることのできる撮像装置、その制御方法、およびプログラムを提供する。
上記の目的を達成するため、本発明による露出制御装置は、被写体を撮像する際の露出を制御する露出制御装置であって、前記被写体を撮像して得られた画像において少なくとも1つの予め定められた特定領域を検知して検知結果を得る検知手段と、前記検知手段によって少なくとも1つの特定領域が検知された場合に、予め定められた選択条件に基づいて前記検知結果のうちの1つを選択して選択検知結果とする選択手段と、前記選択検知結果が存在する場合に、予め設定された第1の測光モードに応じて露出制御を行う制御手段と、前記選択検知結果を用いて露出制御を行っているか否かを判定する第1の判定手段と、前記第1の判定手段によって前記選択検知結果を用いて露出制御を行っていないと判定されると、前記選択検知結果が所定の期間において変化しているか否かを判定する第2の判定手段とを有し、前記選択手段は、前記第2の判定手段によって前記選択検知結果が変化していないと判定された場合に前記検知手段の最新の検知結果を前記選択検知結果とし、前記第2の判定手段によって前記選択検知結果が変化していると判定された場合に前記選択検知結果を変えず、前記制御手段は、前記選択検知結果に基づく第1の露出を用いて露出制御が行われている状態において、前記検知手段により前記特定領域が検知されない状態となった場合に、所定の時間が経過するまで前記第1の露出を維持するように制御することを特徴とする。
本発明によれば、顔領域などの特定領域検知の際の誤検知および揺らぎに起因する露出の影響を防止するとともに、物体が横切った際の露出の影響を抑えることができる。
従来の撮像装置における動画撮影の一例を説明するための図であり、(A)は顔が検知できた状態の画像を示す図、(B)は顔が検知できない状態の画像を示す図である。 従来の撮像装置における動画撮影の他の例を説明するための図であり、(A)は人物が一人である場合に物体が横切った状態を示す図、(A)は人物が二人である場合に物体が横切った状態を示す図である。 本発明の実施の形態による撮像装置の一例についてその構成を示す図である。 図3に示すカメラで行われる撮影動作を説明するためのフローチャートである。 図4に示す露出制御を説明するためのフローチャートである。 図5に示す顔使用判定処理を説明するためのフローチャートである。 図1に示すカメラマイコンに記憶された顔リストを説明するための図であり、(a)は顔リストの一例を示す図、(b)は並べ替え後の顔リストを示す図である。 図5に示す揺らぎ除去処理を説明するためのフローチャートである。 図8で説明した揺らぎ除去処理による効果を説明するための図である。
以下に、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。
ここでは、本発明の実施の形態による撮像装置について説明する前に、まず従来の撮像装置において動画撮影を行った場合の露出制御について概説する。
図1は、従来の撮像装置における動画撮影の一例を説明するための図である。そして、図1(A)は顔が検知できた状態の画像を示す図であり、図1(B)は顔が検知できない状態の画像を示す図である。
いま、図1(A)に示すように、画面の中央が明るく、画面の端に逆光気味の人物が存在する構図を動画撮影するものとする。ここで、撮像装置において人物の顔(特定領域)を正しく検知できると、撮像装置は、前述の評価測光を用いて露出制御を行う。この結果、人物の顔における逆光状態が解消されて顔部分に対して露出が適正な動画を得ることができる。
一方、画像において顔部分が暗い、顔部分が小さい、又は顔の向きによって顔の特徴点が抽出できないなど理由で顔検知ができないと、撮像装置は中央部重点平均測光を用いて露出制御を行う。この結果、画面中央部における高輝度部分に対しては白飛びが抑止された適正露出となるものの、人物の顔部分に対しては露出が低くなってしまう(図1(B)参照)。
さらに、間欠的に人物の顔検知ができない状態が生じると、撮像装置は評価測光と中央部重点平均測光とを断続的に切り替えて露出制御を行うことになる。このように測光が断続的に切り替えられると、露出が繰り返し変化することになって動画の明るさがちらついてしまう。
このような動画の明るさのちらつきを抑止するため、顔検出結果についてチャタリング処理するようにした撮像装置がある。この撮像装置では、複数回の検出結果を参照して測光手法を決定している。
図2は、従来の撮像装置における動画撮影の他の例を説明するための図である。そして、図2(A)は人物が一人である場合に物体が横切った状態を示す図であり、図2(A)は人物が二人である場合に物体が横切った状態を示す図である。
図2(A)に示すように、画面に一人の人物が存在する構図で動画を撮影中に、画面を別の物体(ここでは車)が横切ったとする。撮像装置では複数回の顔検知結果に基づいて測光手法を決定しているので、測光手法の決定に遅延が生じることになる。この結果、露出制御が別の物体に影響されてしまうという現象が生じる。
別の物体の色が黒いと、顔が適正露出であった動画が一時的に露出オーバーとなって露出にふらつきが生じることになる。特に、図2(B)に示すように、二人の人物が存在する構図においては、主被写体(図中左側の人物)を黒い物体が横切ると、他方の被写体(図中右側の人物)に対して露出が不適正となってしまう。
図3は、本発明の実施の形態による撮像装置の一例についてその構成を示す図である。
図示の撮像装置は、例えばデジタルカメラ(以下単にカメラと呼ぶ)であり、カメラ本体100と交換レンズタイプのレンズユニット200とを有している。
カメラ本体100はマイクロコンピュータ(CCPU:以下カメラマイコンと呼ぶ)101を備えており、カメラマイコンはカメラ全体の制御を司る。カメラ本体100において、レンズユニット200の光軸(光路)上には、CCD又はCMOSイメージセンサなどの撮像素子102が配置されている。図示はしないが、この撮像素子102には赤外カットフィルタおよびローパスフィルタが備えられている。そして、撮像素子102にはレンズユニット200を介して被写体像(光学像)が結像し、撮像素子102は光学像に応じた画像信号(アナログ信号)を出力する。
撮像素子102の出力である画像信号はA/D変換器(A/D)109によってデジタル画像信号に変換される。そして、デジタル画像信号は信号処理回路111に送られる。信号処理回路111はデジタル画像信号を所定のパラメータに基づいて画像処理して画像データを生成する。
測光回路(AE)106は信号処理回路111の出力である画像データに応じて後述する測光制御を行う。また、焦点検出回路(AF)107は画像データに基づいて後述する焦点検出制御を行う。
ゲイン切換え回路108は、撮像素子102におけるゲインを切換えるための回路であり、ゲイン切換え回路108によるゲインの切換えは、撮影の条件および撮影者の入力などに応じてカメラマイコン101によって制御される。
タイミングジェネレータ(TG)110は、カメラマイコン101の制御下で撮像素子102の出力である画像信号の入力とA/D変換器109によるA/D変換のタイミングを同期させる。なお、ここでは、信号処理回路111による信号処理の結果得られた画像データを記憶するためのメモリについては説明を省略する。
レンズマウント130は、後述するレンズマイコン201とのインタフェースであり、レンズマイコン201とカメラマイコン101との間でデータ通信を行うための通信端子を有している。当該データ通信によって、カメラマイコン101は、カメラ本体100に装着されたレンズユニット200の種類およびその状態を判別することができる。
入力部112は、例えば、カメラを撮影待機状態とする撮影待機ボタン(待機ボタン)114および録画開始ボタン(録画ボタン)115を備えている。さらに、図示はしないが、入力部112はAFエリアの任意選択モードと多点/顔追尾モードとを切り替えるためのスイッチやボタン、そして、シャッター速度優先モードと絞り優先モードとを切り替える撮影モード切り替えダイヤルなどを有している。ユーザは入力部112によってカメラの設定などを入力することができる。
表示部113は、液晶装置および発光素子などを有し、設定されたモードおよびその他の撮影に関する情報などを表示する。顔検出回路116は信号処理回路111の出力である画像データにおいて人物の顔(顔領域:特定領域)を検知して、顔領域検知結果をカメラマイコン101に送る。顔検知回路116によって、画像データにおける顔領域の数、各顔領域の画像データにおける位置および大きさ、そして、顔領域の向きなどが特定される。
顔領域の検知手法として、例えば、画像データにおいて目、鼻、および口など顔の特徴部分を抽出して顔領域を特定する手法が用いられる。さらに、画像データにおいて肌色データを抽出して肌色範囲と判定された領域を顔領域として検知するようにしてもよい。また、顔領域の輪郭に注目して、その輪郭を示す楕円形状情報を用いて顔領域を検知するようにしてもよい。
図示のように、カメラマイコン101には顔使用判定回路117が備えられており、顔使用判定回路117は、後述するようにして顔領域検知結果を露出の決定に用いるか否かを判定する。そして、顔使用判定回路117による判定結果(顔使用判定結果)は測光回路106における測光制御に用いられる。
レンズユニット200には、マイクロコンピュータ(LPU:レンズマイコン)201が備えられており、レンズマイコン201はレンズユニット200の動作を制御する。つまり、レンズマイコン201はレンズユニット200を制御するとともに、各種の条件判定を行う。
レンズユニット200には、複数枚のレンズを有するレンズ群202を有している。そして、レンズ群202には光軸に沿って移動可能に配置され、焦点調節を行うフォーカスレンズが含まれている。
レンズ駆動部203はレンズ群202において焦点検出および焦点位置合わせ用の光学系を移動させるためのアクチュエータである。カメラマイコン101は焦点検出回路107による焦点検出結果に基づいて、レンズ駆動部202の制御量、つまり、レンズ群202の駆動量(レンズ駆動量)を求める。
カメラマイコン101は、算出したレンズ駆動量をレンズマイコン201に送る。一方、レンズ群202の位置は、エンコーダ204によって検知され、レンズ位置情報としてレンズマイコン201に送られる。
レンズマイコン201はレンズ位置情報を参照しつつ、レンズ駆動量に応じてレンズ駆動部203を制御して、レンズ群202を合焦位置に移動する。なお、焦点検出の際には、カメラマイコン101からレンズマイコン201にレンズ群202の駆動方向および駆動速度を示す焦点検出用情報が送られる。そして、レンズマイコン201は焦点検出用情報に応じてレンズ駆動部203を制御してレンズ群202を光軸に沿って駆動する。
絞り205は、カメラ本体100に入射する光量を調節するためのものである。絞り制御回路206は、レンズマイコン201の制御下で絞り205を駆動制御する。絞り205を制御するために必要な絞り駆動量は、カメラマイコン101からレンズマイコン201に送られる。なお、レンズ群202の焦点距離は単焦点であってもよく、ズームレンズのように焦点距離が可変であってもよい。
図4は、図3に示すカメラで行われる撮影動作を説明するためのフローチャートである。
撮影動作を開始すると、まず、カメラマイコン101は撮影待機ボタン114が操作されたか否かを判定する(ステップS101)。撮影待機ボタン114が操作されないと、つまり、撮影待機ボタン114が押されないと(ステップS101において、NO)、カメラマイコン101は待機する。
一方、撮影待機ボタン114が操作されると(ステップS101において、YES)、カメラマイコン101は、最初の露出制御の際の測光手法(測光方式)として中央重点平均測光(中重)を選択する(ステップS102)。なお、前述のように、中央重点平均測光においては、画面中央に重みをおいて比較的広い範囲を平均的に測光する。
続いて、カメラマイコン101は顔検知回路116によって画像データにおける顔検出を行う(ステップS103)。そして、カメラマイコン101は、顔検知回路116で検知された顔領域検知結果に応じて、顔領域の数、各顔領域の画像データにおける位置およびその大きさ、顔の向きなどを特定して記憶する。
次に、カメラマイコン101は、後述するようにして、露出制御を行う(ステップS104)。そして、カメラマイコン101は録画開始ボタン115が操作されたか否かを判定する(ステップS105)。録画開始ボタン115が操作されると(ステップS105において、YES)、カメラマイコン101は現在録画中であるか否かを判定する(ステップS106)。
現在録画中でないと(ステップS106において、NO)、カメラマイコン101はカメラを制御して録画を開始する(ステップS107)。一方、現在録画中であると(ステップS106において、YES)、カメラマイコン101は録画を停止する(ステップS108)。
ステップS107又はS108の処理の後、カメラマイコン101は撮影待機ボタン114が操作されたか否かを判定する(ステップS109)。撮影待機ボタン114が操作されると(ステップS109において、YES)、カメラマイコン101は撮影を終了する。
一方、撮影待機ボタン114が操作されないと(ステップS109において、NO)、カメラマイコン101はステップS103の処理に戻る。なお、録画開始ボタン115が操作されないと(ステップS105において、NO)、カメラマイコン101はステップS109の処理に進む。
図5は、図4に示す露出制御を説明するためのフローチャートである。
露出制御を開始すると、カメラマイコン101は顔検知回路116による顔検知結果を参照して、検知された顔領域の数が1以上であるか否かを判定する(ステップS201)。顔領域の検知数が1以上であると、つまり、画像データに顔領域が存在すると(ステップS201において、YES)、カメラマイコン101は顔使用判定回路117によって検出された顔領域のうち露出制御に使用する顔領域が存在するか否かを判定して、後述するようにして優先順位付けを行う(ステップS202)。
続いて、カメラマイコン101は現在の露出制御において顔領域検知結果が用いられているか否かを判定する(ステップS203)。現在の露出制御において顔領域検知結果が用いられていないと(ステップS203において、NO)、つまり、現在の露出制御において顔領域検知結果が用いられていない状態で、新たに露出制御に使用する顔領域が検知されると、カメラマイコン101は、後述するようにして、顔使用判定結果に対して揺らぎ除去処理を行う(ステップS204)。
続いて、カメラマイコン101は、顔使用判定結果又は揺らぎ除去処理後の顔使用判定結果に応じて新たな露出制御(AE)で使用する顔領域が存在するか否かを判定する(ステップS205)。なお、現在の露出制御において顔領域検知結果が用いられていると(ステップS203において、YES)、カメラマイコン101はステップS205の処理に進む。
新たな露出制御において使用する顔領域が存在すると(ステップS205において、YES)、カメラマイコン101は測光方式(測光モード)を評価測光とする(ステップS206)。一方、新たな露出制御において使用する顔領域が存在しないと(ステップS205において、NO)、カメラマイコン101は測光方式として中央重点平均測光を選択する(ステップS207)。
これによって、顔領域を使用しないで露出制御を行っている状態で、新たに顔領域が検出されたとしても、顔領域検知結果が安定的に出力されていないと、直ちに露出制御に顔領域を使用することなく露出制御を継続することになる。ここでは、測光方式として中央重点平均測光を継続して用いることになる。
画像データにおいて顔領域が検知されないと(ステップS201において、NO)、カメラマイコン101は現在の露出制御において顔領域検出結果が用いられているか否かを判定する(ステップS208)。現在の露出制御において顔領域検出結果が用いられていると(ステップS208において、YES)、カメラマイコン101は人物の顔が消失したとして、所定の時間、露出制御値を固定(ロック)する(AEロック:ステップS209)。つまり、現在の露出制御において顔領域検知結果が使用されている状態で、露出制御に使用する顔領域が消失してしまった場合には、カメラマイコン101は所定の時間AEロックを行う。
この所定の時間は、例えば、5秒であり、AEロックにおいては露出制御の目標値となる測光結果、つまり、被写体輝度の更新を停止する。
なお、露出の固定手法については、特に限定するものではなく、測光結果の更新を継続して、露出制御に用いる制御値、例えば、TV(シャッタースピード)、AV(絞り値)、およびISO感度を固定するようにしてもよい。
続いて、カメラマイコン101は測光方式として中央重点平均測光を選択する(ステップS210)。なお、現在の露出制御において顔領域検出結果が用いられていないと(ステップS208において、NO)、カメラマイコン101はステップS210の処理に進む。
なお、ステップS209においてAEロックが行われた場合には、測光方式が評価測光から中央重点平均測光に切り替わるものの、直ちに画像における露出が変化することはない。また、AEロック期間中に人物の顔領域が再び検知されて、露出制御に使用できる場合には、測光方式は再び評価測光に戻る。この結果、画像の露出は変化しない。
ステップS206、S207、又はS210の処理の後、カメラマイコン101は、決定した測光方式を用いて露出制御における目標輝度を求める(ステップS211)。なお、AEロック中においては目標輝度は更新されない。
続いて、カメラマイコン101は目標輝度に応じて露出制御値であるTV、AV、およびISO感度を決定する(ステップS212)。なお、AEロック中においては、露出制御値は更新されない。そして、カメラマイコン101は露出制御を終了して、図4に示すステップS105の処理に進む。
図6は、図5に示す顔使用判定処理を説明するためのフローチャートである。
顔使用判定処理を開始すると、カメラマイコン101は顔検知回路116によって人物の顔の特徴点に基づいて画像データにおける顔領域を検知して、顔領域検知結果を得る。そして、カメラマイコン101は顔領域検知結果に基づいて、顔領域毎に識別番号(ID)を付与して、その大きさ、向き、および位置(座標)をリスト化して顔リストとして記憶する。
図7は、図1に示すカメラマイコン101に記憶された顔リストを説明するための図である。そして、図7(a)は顔リストの一例を示す図であり、図7(b)は並べ替え後の顔リストを示す図である。
図7(a)に示すように、画像データにおいて検知された顔領域には、IDが付与されて、顔領域毎にその大きさ、向き、および画像における顔領域の中心位置を示す座標が規定されている。
カメラマイコン101は、図7(a)に示す顔リストにおいて顔領域を顔の大きさの順に並べ替える(ステップS301)。そして、カメラマイコン101は顔領域の向きを調べて、正面方向又は斜め方向を向く顔領域以外の顔領域を除外する。つまり、ここでは、カメラマイコン101は、横向きおよび後向きの顔領域を除外する(ステップS302)。
なお、カメラマイコン101は、例えば、顔領域の向きが正面方向から左右45度の範囲にない顔領域を除外する。このように、横向きおよび後向きの顔領域を除外することによって、露出制御の際に、例えば、髪毛の色に露出制御が影響を受けることを防止することができる。
このようにして、図7(a)に示す顔リストの並べ替えを行うと、例えば、図7(b)に示す並べ替え後の顔リストが得られる。並べ替え後の顔リストにおいては、順位にID、向き、および座標が対応付けられる。なお、図7(b)において、ID欄に「無」が挿入された顔領域は除外された顔領域である。
続いて、カメラマイコン101は、選択条件に基づいて並べ替え後の顔リストから最も優先順位の高い顔領域(選択検知結果)を選択する。つまり、カメラマイコン101は並べ替え後の顔リストにおいて最も優先順位の高い顔領域に係る向きおよび座標(顔使用判定結果)を出力して(ステップS303)、顔使用判定処理を終了する。そして、カメラマイコン101は図5に示すステップS203の処理に進む。
露出制御においては、ステップS303で出力された座標の顔領域が用いられる。なお、顔の向きについては正面方向から左右45度の範囲にある顔領域を用いるようにしたが、誤差を考慮すると被写体の状況によっては顔使用判定結果が安定しないことがある。このため、次のようにして、揺らぎ除去処理が行われることになる。
図8は、図5に示す揺らぎ除去処理を説明するためのフローチャートである。なお、複数の顔領域が検知されている場合には、揺らぎ除去処理はそれぞれの顔領域に対して行われる。
揺らぎ除去処理を開始すると、カメラマイコン101は今回の顔使用判定結果Fnと前回の顔使用判定結果F(n−1)とを比較して、同一であるか否かを判定する(ステップS401)。Fn=F(n−1)であれば(ステップS401において、YES)、カメラマイコン101は繰り返し回数判定用カウンタである変数countに1を加算する(ステップS402)。一方、Fn=F(n−1)でないと(ステップS401において、NO)、カメラマイコン101は変数countをゼロにクリアする(ステップS403)。
ステップS402又はS403の処理の後、カメラマイコン101は変数countが所定のカウント値以上、例えば、5以上となったか否かを判定する(ステップS404)。変数countが5以上であると(ステップS404において、YES)、カメラマイコン101は顔使用判定結果に対する揺らぎ除去結果Foutとして最新の顔使用判定結果Fnを用いる(ステップS405)。そして、カメラマイコン101は揺らぎ除去処理を終了して、図5に示すステップS205の処理に進む。
一方、変数countが5未満であると(ステップS404において、NO)、カメラマイコン101は揺らぎ除去処理を終了して、図5に示すステップS205の処理に進む。
図9は、図3に示すカメラで行われる揺らぎ除去動作を説明するための図である。
いま、顔領域が2回連続して検知された後、顔領域が5回連続して検知されない状態となったとする。この場合、カメラは、露出制御で用いられる顔領域について、顔領域が検知されない状態が4回続くと、顔領域なしと判定することになる。つまり、カメラは顔領域判定結果を複数回参照した後、露出制御で用いられる顔領域を切り替えることになる。これによって、顔領域判定結果の揺らぎに関して画像の露出が過敏に反応することがなくなる。
一方、物体が横切ったことによって人物の顔が遮蔽された場合においても、しばらくの間露出制御において遮蔽された人物に係る顔の座標が用いられることになる。このため、前述のように、露出制御に用いる顔領域が消失した際には、図5のステップS204に示す揺らぎ除去処理を行わない。
この結果、物体が横切った際に露出制御を移行する顔領域が別に存在する場合には速やかに当該顔領域によって露出制御を行う。そして、別に顔領域が存在しない場合には所定時間の露出を固定して(AEロック)、人物の顔領域が遮蔽されない状態となった後に再び適正な露出制御に復帰することができる。
以上のように、本発明の実施の形態では、露出制御の際に、新たに顔領域が出現した場合には揺らぎ除去処理を行い、露出制御に用いている顔領域が消失した場合には揺らぎ除去処理を行わずに、別の顔領域を露出制御に用いる。これによって、顔領域の誤検知又は検知能力の限界付近における顔領域検知結果の揺らぎに起因する画像の露出に対する影響を抑止することができる。
さらに、本発明の実施形態では、露出制御に用いていた顔領域が消失して、別に顔領域が存在しない場合には、揺らぎ除去処理を行うことなく、所定の期間の露出を固定状態とする。これによって、顔領域の誤検知又は検知能力の限界付近における顔領域検知結果の揺らぎに起因する画像の露出に対する影響を除去することができる。さらには、人物を横切った物体による露出に対する影響も抑止することができる。
上述の説明から明らかなように、図3に示す例では、カメラマイコン101および顔検知回路116が検知手段として機能し、カメラマイコン101が選択手段、第1の判定手段、第2の判定手段、および記録手段として機能する。さらに、カメラマイコン101およびレンズマイコン201は制御手段として機能する。
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
例えば、上記の実施の形態の機能を制御方法として、この制御方法を露出制御装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを露出制御装置が備えるコンピュータに実行させるようにしてもよい。なお、プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 カメラ本体
101 カメラマイコン(CCPU)
102 撮像素子
106 測光回路(AE)
111 信号処理回路
116 顔検知回路
117 顔使用判定回路
200 レンズユニット
201 レンズマイコン(LPU)
206 絞り制御回路

Claims (7)

  1. 被写体を撮像する際の露出を制御する露出制御装置であって、
    前記被写体を撮像して得られた画像において少なくとも1つの予め定められた特定領域を検知して検知結果を得る検知手段と、
    前記検知手段によって少なくとも1つの特定領域が検知された場合に、予め定められた選択条件に基づいて前記検知結果のうちの1つを選択して選択検知結果とする選択手段と、
    前記選択検知結果が存在する場合に、予め設定された第1の測光モードに応じて露出制御を行う制御手段と、
    前記選択検知結果を用いて露出制御を行っているか否かを判定する第1の判定手段と、 前記第1の判定手段によって前記選択検知結果を用いて露出制御を行っていないと判定されると、前記選択検知結果が所定の期間において変化しているか否かを判定する第2の判定手段とを有し、
    前記選択手段は、前記第2の判定手段によって前記選択検知結果が変化していないと判定された場合に前記検知手段の最新の検知結果を前記選択検知結果とし、前記第2の判定手段によって前記選択検知結果が変化していると判定された場合に前記選択検知結果を変えず、
    前記制御手段は、前記選択検知結果に基づく第1の露出を用いて露出制御が行われている状態において、前記検知手段により前記特定領域が検知されない状態となった場合に、所定の時間が経過するまで前記第1の露出を維持するように制御することを特徴とする露出制御装置。
  2. 前記露出制御に用いる前記選択検知結果が存在しないと、前記制御手段は前記第1の測光モードと異なる第2の測光モードに応じて露出制御を行うことを特徴とする請求項1に記載の露出制御装置。
  3. 前記第1の測光モードは前記画像を複数のエリアに分けて前記エリアの各々について測光を行って露出を決定するモードであり、前記第2の測光モードは前記画像の中央に重みをつけて測光を行って露出を決定するモードであることを特徴とする請求項2に記載の露出制御装置。
  4. 前記特定領域は、人物の顔領域であり、前記選択手段は、前記選択条件を用いて前記顔領域の向きが所定の範囲から外れる顔領域を除外しその大きさが最も大きい前記顔領域を前記選択検知結果として選択することを特徴とする請求項1〜3のいずれか1項に記載の露出制御装置。
  5. 前記制御手段は、前記選択検知結果に応じた第1の露出を用いて露出制御が行われている状態において、前記検知手段により前記特定領域が検知されない状態となった場合であって前記所定の時間が経過するまでに、新たに前記特定領域を検知して新たな選択検知結果が得られた場合は、当該新たな選択検知結果に基づいて露出制御を行うことを特徴とする請求項1〜4のいずれか1項に記載の露出制御装置。
  6. 被写体を撮像する際の露出を制御する露出制御装置の制御方法であって、
    前記被写体を撮像して得られた画像において少なくとも1つの予め定められた特定領域を検知して検知結果を得る検知ステップと、
    前記検知ステップで少なくとも1つの特定領域が検知された場合に、予め定められた選択条件に基づいて前記検知結果のうちの1つを選択して選択検知結果とする選択ステップと、
    前記選択検知結果が存在する場合に、予め設定された測光モードに応じて露出制御を行う制御ステップと、
    前記選択検知結果を用いて露出制御を行っているか否かを判定する第1の判定ステップと、
    前記第1の判定ステップで前記選択検知結果を用いて露出制御を行っていないと判定されると、前記選択検知結果が所定の期間において変化しているか否かを判定する第2の判定ステップとを有し、
    前記選択ステップでは、前記第2の判定ステップで前記選択検知結果が変化していないと判定された場合に前記検知ステップでの最新の検知結果を前記選択検知結果とし、前記第2の判定ステップで前記選択検知結果が変化していると判定された場合に前記選択検知結果を変えず、
    前記制御ステップでは、前記選択検知結果に基づく第1の露出を用いて露出制御が行われている状態において、前記検知ステップにより前記特定領域が検知されない状態となった場合に、所定の時間が経過するまで前記第1の露出を維持するように制御することを特徴とする制御方法。
  7. 請求項に記載の露出制御装置の制御方法をコンピュータで実行させるためのコンピュータで読み取り可能なプログラム。
JP2015002922A 2015-01-09 2015-01-09 露出制御装置、その制御方法、およびプログラム Active JP6486109B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015002922A JP6486109B2 (ja) 2015-01-09 2015-01-09 露出制御装置、その制御方法、およびプログラム
US14/990,870 US10389950B2 (en) 2015-01-09 2016-01-08 Exposure control apparatus that controls exposure during shooting and detects a region of an image, control method therefor, storage medium, and image pickup apparatus
CN201610011951.8A CN105791673B (zh) 2015-01-09 2016-01-08 曝光控制设备及其控制方法和摄像设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015002922A JP6486109B2 (ja) 2015-01-09 2015-01-09 露出制御装置、その制御方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019029679A Division JP6786643B2 (ja) 2019-02-21 2019-02-21 露出制御装置、露出制御方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2016129287A JP2016129287A (ja) 2016-07-14
JP2016129287A5 JP2016129287A5 (ja) 2018-02-15
JP6486109B2 true JP6486109B2 (ja) 2019-03-20

Family

ID=56368420

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015002922A Active JP6486109B2 (ja) 2015-01-09 2015-01-09 露出制御装置、その制御方法、およびプログラム

Country Status (3)

Country Link
US (1) US10389950B2 (ja)
JP (1) JP6486109B2 (ja)
CN (1) CN105791673B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104937921B (zh) * 2013-12-06 2019-04-26 华为终端(东莞)有限公司 一种终端及图像处理方法、图像采集方法
JP6765917B2 (ja) * 2016-09-21 2020-10-07 キヤノン株式会社 探索装置及び、その撮像装置及び、探索方法
JP6887245B2 (ja) * 2016-12-13 2021-06-16 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP6986918B2 (ja) * 2017-10-05 2021-12-22 キヤノン株式会社 電子機器、制御方法、プログラム、及び記憶媒体
JP2019110402A (ja) * 2017-12-15 2019-07-04 キヤノン株式会社 撮像装置、その制御方法およびプログラム
CN110012210B (zh) * 2018-01-05 2020-09-22 Oppo广东移动通信有限公司 拍照方法、装置、存储介质及电子设备
WO2020158200A1 (ja) * 2019-01-29 2020-08-06 富士フイルム株式会社 撮像装置の制御装置、撮像装置、撮像装置の制御方法、撮像装置の制御プログラム
CN110493524B (zh) * 2019-08-28 2021-05-28 深圳市道通智能航空技术股份有限公司 一种测光调整方法、装置、设备和存储介质
EP3883236A1 (en) * 2020-03-16 2021-09-22 Canon Kabushiki Kaisha Information processing apparatus, imaging apparatus, method, and storage medium
US20230179869A1 (en) * 2020-06-17 2023-06-08 Sony Group Corporation Imaging control apparatus, imaging control method, and program
CN112822409B (zh) * 2021-02-22 2022-06-24 浙江大华技术股份有限公司 一种曝光参数调整方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7298412B2 (en) * 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
JP2007178576A (ja) * 2005-12-27 2007-07-12 Casio Comput Co Ltd 撮像装置及びそのプログラム
JP4567618B2 (ja) * 2006-02-23 2010-10-20 富士フイルム株式会社 撮像装置およびその制御方法
JP4542058B2 (ja) * 2006-03-24 2010-09-08 富士フイルム株式会社 撮像装置および撮像方法
CN100568926C (zh) * 2006-04-30 2009-12-09 华为技术有限公司 自动曝光控制参数的获得方法及控制方法和成像装置
JP4457358B2 (ja) * 2006-05-12 2010-04-28 富士フイルム株式会社 顔検出枠の表示方法、文字情報の表示方法及び撮像装置
JP4656657B2 (ja) * 2006-07-31 2011-03-23 キヤノン株式会社 撮像装置及びその制御方法
JP2010041399A (ja) 2008-08-05 2010-02-18 Canon Inc 撮像装置及びその制御方法
US8233789B2 (en) * 2010-04-07 2012-07-31 Apple Inc. Dynamic exposure metering based on face detection
JP5594157B2 (ja) * 2011-01-14 2014-09-24 株式会社Jvcケンウッド 撮像装置および撮像方法
JP5945444B2 (ja) * 2012-04-19 2016-07-05 オリンパス株式会社 撮影機器
CN103841323A (zh) * 2014-02-20 2014-06-04 小米科技有限责任公司 配置拍摄参数的方法、装置和终端设备

Also Published As

Publication number Publication date
JP2016129287A (ja) 2016-07-14
US20160205307A1 (en) 2016-07-14
CN105791673B (zh) 2020-07-03
US10389950B2 (en) 2019-08-20
CN105791673A (zh) 2016-07-20

Similar Documents

Publication Publication Date Title
JP6486109B2 (ja) 露出制御装置、その制御方法、およびプログラム
JP6108946B2 (ja) 撮像装置、制御方法、プログラム及び記憶媒体
US9794491B2 (en) Imaging apparatus having anti-flicker timing offset, control method, and storage medium therefor
US10104299B2 (en) Zoom control apparatus, zoom control method, and storage medium
JP6257199B2 (ja) 光学機器、その制御方法、および制御プログラム
EP3588938B1 (en) Image pickup apparatus capable of performing image pickup with reduced flicker influence, method for controlling the same, program, and storage medium
US20190289191A1 (en) Imaging device and flicker detection method
US11435550B2 (en) Camera for limiting shifting of focus adjustment optical system
US9654684B2 (en) Focus adjustment device and focus adjustment method
US11012627B2 (en) Image capturing apparatus and control method thereof
US11812133B2 (en) Image processing apparatus and method for controlling image processing apparatus
JP6257198B2 (ja) 光学機器、その制御方法、および制御プログラム
JP2000180709A (ja) 測距装置
US9781347B2 (en) Image pickup apparatus having live view function, and method of controlling the same
JP6786643B2 (ja) 露出制御装置、露出制御方法、およびプログラム
US11272120B2 (en) Imaging device and control method thereof
JP6456038B2 (ja) 電子機器、光量変化特性の算出方法、プログラム及び記憶媒体
JP2020134766A (ja) 撮像装置および撮像装置の制御方法
JP2015167308A (ja) 顔検出オートフォーカス制御に適する測光方法
JP2018093527A (ja) 撮像装置、制御方法、プログラム及び記憶媒体
US11516408B2 (en) Image capturing apparatus, method for driving image capturing apparatus to detect flicker during shooting
JP2010014884A (ja) カメラ
JP6351778B2 (ja) 撮像装置、制御方法、プログラム及び記憶媒体
JP2021190992A (ja) 撮像装置及びその制御方法
JP2020068393A (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190219

R151 Written notification of patent or utility model registration

Ref document number: 6486109

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151