JP7118737B2

JP7118737B2 - 撮像装置、及びその制御方法

Info

Publication number: JP7118737B2
Application number: JP2018098053A
Authority: JP
Inventors: 康嘉宮▲崎▼
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-05-22
Filing date: 2018-05-22
Publication date: 2022-08-16
Anticipated expiration: 2038-05-22
Also published as: JP2019203959A; US20190364189A1; US11140333B2

Description

本発明は、例えばデジタルカメラやデジタルビデオカメラ等の撮像装置及びその制御方法に関し、特にストロボ発光時の調光制御技術に関する。

デジタルカメラ等の撮像装置では、ストロボ撮影時の調光制御として、本発光前に予備発光を行う予備発光方式がある。予備発光方式とは、まず非発光画像を撮影した後に予備発光を行い、その差分から反射光を測定して得られたデータを用いて適正な本発光量を算出し、本発光を行う方式である。

具体的には、非発光画像及び予備発光画像から輝度値によるブロック積分値を作成し、その輝度差分から被写体領域となる被写体重みを求め、非発光ブロック上の外光も考慮に入れたうえで、被写体を適正輝度にする発光量を算出する（特許文献１）。この撮影方式を行うことで、予備発光の到達可能な距離であれば、画面内のどのような位置に被写体がいたとしても、適正な発光量を求めることができる。

しかしながら、画角内に地面が映るようなシーンにおいて、上記調光制御を行った場合、主被写体ではない地面領域をも被写体として切り出し、結果的に適正な発光量が得られず、主被写体が適正輝度から外れてしまう場合がある。

そこで、画面内の距離情報からなる距離マップを作成し、距離が段階的に変化している箇所を背景領域として判定し、調光制御を行う手法が提案されている。この提案では、一例として、撮像素子に測距用の撮像面位相差画素が組み込まれ、映像信号を取得するのと同時に画素ごとの測距結果を得ることで距離マップを取得する。

特開平１０－３１９４７１号公報

しかしながら、上記従来技術では、上述した距離マップを作成するにあたって、対象とする領域にて距離を検出可能なレベルの輝度がでている必要がある（図９参照）。一般にストロボ撮影を行う状況においては、周囲の外光環境が暗めのケースが多く、有効な距離情報が取れない場合がある。また、予備発光方式による調光制御においては、予備発光画像で距離情報を取ることも考えられるが、通常の予備発光は被写体への照射を目的としている。このため、距離差にて切り分けたい対象の地面への照射量が不足しがちで、有効な精度の距離マップが作成できないという問題がある（図１０参照）。

そこで、本発明は、距離マップによる被写体距離の変化量判定が可能な適切な光量を状況に応じて調整することで、調光精度の向上を図るストロボ発光時の調光制御技術を提供することを目的とする。

上記の目的を達成するため、本発明による撮像装置は、画像信号を出力する画像センサと、前記画像信号に対応する予備発光画像の輝度を用いて本発光量を算出する調光手段と、前記画像信号に対応した撮像画面を複数の領域に分割する分割手段と、前記分割した領域ごとに距離情報を取得する取得手段と、前記分割した領域ごとの画像信号の輝度を調整する調整手段と、前記輝度が調整された画像信号を用いて取得された前記距離情報に基づいて、同一の被写体に対応する区域において、隣接する領域の間で距離が同一の方向に継続して変化しているか否かを判定する判定手段と、を備え、前記調光手段は、外光輝度による画像と予備発光時の輝度による画像の差分又は比を取ることで得られる反射輝度重みを生成し、前記判定手段によって得られた距離重みの情報と、前記反射輝度重みの情報を用いて、調光制御用の被写体重みを算出する算出手段をさらに備え、前記調整手段は、照射範囲が前記予備発光よりも限定される第１の発光を行うことによって前記輝度が調整された画像信号を用いて取得された前記距離情報に基づいて前記予備発光の発光量を算出したのち、算出された発光量で前記予備発光を行うことによって前記分割した領域ごとの画像信号の輝度を調整し、前記判定手段は、前記予備発光を行うことによって前記輝度が調整された画像信号を用いて取得された前記距離情報に基づいて前記距離重みの情報を得ることを特徴とする。

本発明によれば、ストロボ発光を必要とする暗所での撮影においても適切に被写体と背景を切り分けることが可能となり、良好な発光画像を得ることができる。

本発明の撮像装置の実施形態の一例に係るデジタルカメラの構成を示すブロック図である。距離マップを用いた重み算出について説明するフローチャート図である。予備発光変更による効果を説明する図である。外光の異なるシーンにおける光量対応を説明する図である。予備発光時の露出を上げた場合の調光の仕組みを説明する図である。予備発光による反射重みを説明する図である。画面内距離差を用いた距離重みの作成を説明する図である。反射重みと距離重みから調光用の重みの作成を説明する図である。背景情報による調光弊害を説明する図である。予備発光不足による弊害を説明する図である。

以下、図面を参照して、本発明の実施形態の一例を説明する。

図１は、本発明の撮像装置の実施形態の一例に係るデジタルカメラ（以下、カメラという。）の構成を示すブロック図である。

図１において、操作部１０１は、操作者がカメラに対して各種の指示を入力するために操作するスイッチやボタンなどにより構成されている。操作部１０１には、シャッタスイッチや、表示部１０７のタッチセンサも含む。制御部１０２は、ＣＰＵ，ＲＯＭ，ＲＡＭ等を有し、カメラ全体の動作を制御する。また、制御部１０２は、操作部１０１からの指示に応じて各部を制御する。

センサ部１０３は、レンズ１０８ａ、メカ機構１０９ａを介して入射される被写体光を受け、その光量に応じた電荷を出力する。Ａ／Ｄ変換部１０４は、センサ部１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、デジタル画像信号として出力する。

画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたデジタル画像信号に対して各種の画像処理を行い、処理済みのデジタル画像信号を出力する。例えば、Ａ／Ｄ変換部１０４から受けたデジタル画像信号をＹＵＶ画像信号に変換して出力する。

画面内距離取得部１０６は、画像処理部１０５にて得られた画像を基に画面内の距離情報を取得し、距離マップを生成する。距離変化判定部１１６は、取得した距離マップを基に画面内で距離変化の形態に合わせた距離重み算出を行う。

表示部１０７は、液晶画面などにより構成されている。ＡＦ処理部１０８は、画像処理部１０５によって得られた画像を基にレンズ１０８ａを制御し、ピントを合わせる。ＡＥ処理部１０９は、画像処理部１０５によって作成された画像から適正輝度との差分を算出し、メカ機構１０９ａを制御する。ＡＦ補助光発光部は、環境光が所定値より暗い場合、ＡＦのための補助光を発光させる。

ＥＦ処理部１１０は、発光判断がされた場合に被写体が適正となりうる光量をストロボ部１１１に発光させる。ここでは、予備発光にて得られた発光画像と非発光画像から被写体重みを作成する。被写体重みを作成する場合、まず非発光画像および予備発光画像を所定数のブロック積分化し、求められた非発光ブロックと予備発光ブロックの差分をとることで、主被写体の存在する領域を求める。ここで求められた存在領域に相当する位置を中央重点に配分されたデフォルト重みから抜粋し、調光演算で用いる主被写体重みを作成する。なお、主被写体重みの作成については、公知であるため、詳細な説明は省略する。

エンコーダ部１１２は、出力されたデジタル画像信号（画像データ）のフォーマットをＪＰＥＧなどのフォーマットに変換し、画像記録部１１３に出力する。画像記録部１１３は、エンコーダ部１１２から受けたフォーマット変換済みの画像データをカメラ内の不図示のメモリやカメラに挿入されている外部メモリなどに記録する処理を行う。外部接続部１１４は、撮影した画像をテレビ機器などに映像として出力する場合の接続部となる。

次に、カメラを用いて撮像を行う場合の動作について説明する。まず、操作部１０１に含まれている電源スイッチをオンにすると、制御部１０２がこれを検知し、カメラを構成する各部に電源を供給する。電源が供給されるとシャッタが開くので、センサ部１０３には、カメラ前面に配置されたレンズ１０８ａ等を介して被写体光が入光する。これにより、センサ部１０３に蓄積された電荷が読み出され、Ａ／Ｄ変換部１０４にアナログ画像信号として出力される。

Ａ／Ｄ変換部１０４は、センサ部１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、デジタル画像信号として出力する。画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたデジタル画像信号に対して各種画像処理を行い、処理済みのデジタル画像信号を出力する。

制御部１０２が撮影ボタン半押しによる信号の通知（以下、ＳＷ１オンという。）をシャッタスイッチから受けると、この時点における画像信号を用いてＡＦ、ＡＥ処理を行い、撮影に最適なピントおよび露出設定条件を取得する。また、制御部１０２は、ＳＷ１オン時にストロボ発光判定も行う。

ここで非発光と判定された場合、制御部１０２は、そのまま撮影ボタン全押しによる信号の通知（以下、ＳＷ２オンという。）をシャッタスイッチから受けると本撮影に移行し、ＳＷ１オン時点で設定された撮影条件をＡＥ処理部１０９、ＡＦ処理部１０８に伝える。そして、制御部１０２は、レンズ１０８ａ等を介してセンサ部１０３に入った光による電荷を読み出し、Ａ／Ｄ変換部１０４にアナログ画像信号として出力する。画像処理部１０５は、デジタル画像信号に対して各種の画像処理を行い、処理済みのデジタル画像信号を出力する。

また、発光と判定された場合は、制御部１０２は、ＳＷ２オンにて本撮影に移行し、ＳＷ１オン時点で設定された撮影条件をＡＥ処理部１０９、ＡＦ処理部１０８に伝え、まずはストロボを発光させない調光用の非発光画像を取得する。次に、制御部１０２は、ＥＦ処理部１１０から予備発光の指示をストロボ部１１１へ出して、調光用発光画像を取得し、この調光用画像の輝度差を用いて、本撮影時に被写体を適正輝度とするのに必要な反射輝度重みを算出する。

またここで、制御部１０２は、予備発光画像を用いて、画面内距離取得部１０６にて距離マップを生成し、この距離マップ内で隣接するブロックの距離情報の変化量を基に距離重みを算出し、得られた距離重みと反射輝度重みを用いて調光用の重みを算出する。

次に、距離マップを用いた調光用重みの算出について説明する。制御部１０２は、上述した調光用の重みを用いて、本発光量を算出して本撮影を行い、ＥＦ処理部１１０にて本発光指示が出されたのち、本発光を行う。そして、制御部１０２は、この本発光動作により、レンズ１０８等を介してセンサ部１０３に入った本発光の反射光による電荷を読み出し、Ａ／Ｄ変換部１０４にアナログ画像信号として出力する。

Ａ／Ｄ変換部１０４は、センサ部１０３から出力されたアナログ画像信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、デジタル画像信号として出力する。画像処理部１０５から出力されたデジタル信号は、エンコーダ部１１２にてＪＰＥＧなどのフォーマットに変換され、画像記録部１１３に出力される。画像記録部１１３は、フォーマット変換された画像データを所定のメモリに記録する。

図２は、距離マップを用いた重み算出について説明するフローチャート図である。図２に示す各処理は、制御部１０２のＲＯＭ等に記憶されたプログラムがＲＡＭに展開されてＣＰＵにより実行される。

図２において、ステップＳ２０１では、制御部１０２は、電源がオンされると、ライブ画像の露光を開始して、ステップＳ２０２で露光された画像信号を取得し、ステップＳ２０３に進む。ステップＳ２０３及びステップＳ２０４では、制御部１０２は、読み出された画像信号から画像の被写体輝度値Ｂｖを算出し、ステップＳ２０５に進む。ここでは、画面内をブロック分割し積分したブロック積分を用いて画面平均輝度を算出する。ステップＳ２０５では、制御部１０２は、得られた画面平均輝度が適正輝度よりずれていた場合、そのずれ分を算出して、適正となる露出値を設定し、ステップＳ２０６に進む。

ステップＳ２０６では、制御部１０２は、ＳＷ１オンされるまでステップＳ２０２～ステップＳ２０５の処理を繰り返し、ＳＷ１オンされると、ステップＳ２０７に進む。ステップＳ２０７では、制御部１０２は、測光を行ってＢｖ値を取得し、ステップＳ２０８で発光するか否かの判定を行い、ステップＳ２０９に進む。ステップＳ２０９では、制御部１０２は、非発光と判定された場合は、ステップＳ２１０に進み、発光すると判定された場合は、ステップＳ２１２に進む。

ステップＳ２１０では、制御部１０２は、測光にて取得したＢｖ値を用い、非発光用の撮影露出値（絞りＡｖ、シャッタＴｖ、ＩＳＯ感度Ｓｖ）を算出し、ＳＷ２オンとされた場合、ステップＳ２１１に進んで決定された露出値にて撮影を行い、処理を終了する。

一方、ステップＳ２１２では、制御部１０２は、測光にて取得したＢｖ値を用い、予備発光用の撮影露出値及び本発光用の撮影露出値を算出し、ステップＳ２１３に進む。ステップＳ２１３では、制御部１０２は、外光輝度があらかじめ設定されたＡＦ補助光発光用のＢｖ値より低照度か否かを判断し、低照度であれば、ステップＳ２１５に進み、低照度でなければステップＳ２１４に進む。

ステップＳ２１４では、制御部１０２は、ＡＦ補助光は発光させず、あらかじめ設定されていた予備発光量で発光させ、ステップＳ２１９に進む。一方、ステップＳ２１５では、制御部１０２は、ＡＦ補助光を発光させ、ステップＳ２１６に進む。ステップＳ２１６では、制御部１０２は、図３（ａ）に示すように、ＡＦ補助光によって照らされた画面を測距することによって、被写体の距離を取得し、ステップＳ２１７に進む。なお、距離が計測できない場合、顔の大きさから被写体距離を推定する。

ここで、ＡＦ補助光は、照射角が限定されているため、背景にまで光が到達しない可能性がある。そのため、ステップＳ２１７では、制御部１０２は、取得した被写体距離情報を用いて背景距離情報を算出し、ステップＳ２１８に進む。ステップＳ２１８では、制御部１０２は、図３（ｂ）に示すように、得られた被写体距離情報及び背景距離情報から、被写体を調光可能な範囲で高輝度にした予備発光量を算出し、ステップＳ２１９に進む。

図４（ｂ）－（２）に示すように、ステップＳ２１８で算出された予備発光量を照射することによって背景輝度をも明るくし、以降に作成する距離マップの精度向上を図ることができる。

なお、背景輝度を上げる手段として、予備発光ではなく、画面全体の露出を操作する手法もある（図４（ｂ）－（３）、図４（ｂ）－（４））。発光判定された時点で、調光時の露出及び本露光時の露出がＡｖ，Ｔｖ，Ｓｖだったとする。通常の調光動作では、図５（ａ）に示すように、予備発光にて適正輝度までに不足している光量を算出し、これを本発光量とする。

これに対し、本件では、ＡＦ補助光にて被写体を照射し、まず被写体距離情報及び被写体領域を取得する。ここで得られた被写体距離と被写体領域輝度と予め設定されている予備発光量から白とび限界を超えないレベルに予備発光時の露出を調整して予備発光を行い、得られた結果を用いて、本発光量を算出する。このときに得られた明るい予備発光画像を用いて、距離マップを作成する。図５（ｂ）例では、ＳＷ１オンにて算出された調光時露出において、Ｔｖに２段加算することで外光輝度を上げている。

ステップＳ２１９では、そのままＳＷ２オンの場合は、ステップＳ２２０に進む。ステップＳ２２０では、制御部１０２は、必要な発光量を算出するため、調光用の非発光画像と予備発光画像を取得し、ステップＳ２２１に進む。ステップＳ２２１では、制御部１０２は、ステップＳ２２０で取得した２枚の画像をそれぞれ複数のブロック分割した輝度ブロックの輝度値を用い、その輝度差分（又は比）の値から被写体の領域（反射輝度重み）を算出し、ステップＳ２２２に進む。この領域に相当する位置を中央重点のデフォルト重みから抜粋し、調光演算で用いる後述する被写体重み（調光用重み）を作成する（図６参照）。

ステップＳ２２２では、制御部１０２は、ステップＳ２２０で取得した調光用の予備発光画像（撮像画面）を用いて、距離マップを作成し、ステップＳ２２３に進む（図７参照）。

本実施形態では、撮像面位相差画素を用いて距離マップを取得することを想定しており、これは撮像素子に測距用の撮像面位相差画素が組み込まれているもので、映像信号を取得するのと同時に画素ごとの測距結果を得ることで距離マップを取得する。

ステップＳ２２３では、制御部１０２は、距離マップの距離情報から距離重みを算出し、ステップＳ２２４に進む。図７（ｂ）は、距離マップの取得動作によって得られた距離マップの距離情報がメートル単位で各ブロック（領域）に記載された例を示す図である。このブロックを用いて隣接する各ブロック間の距離差を見ていく。本件では、サーチの開始位置を左下としているが、周辺ブロックの最至近距離のブロックを開始位置としてもよい。

まず、図７（ｂ）に示すように、左下をスタートして右方向に隣接する各ブロックごとの同一の方向の距離差をみていき、その距離差に図７（ｆ）のグラフに対応した重みを入れていく。ここでは、距離差の少ない箇所（所定量以下の場合）は同一の被写体とし被写体重みは高めに設定する。また、所定範囲のなだらかな距離の差分が継続する領域は地面として被写体重みを減らす、所定量以上の距離差が発生する箇所は被写体と背景の切り替わり箇所として所定数だけ重みを減らす、設定となっている。この差分サーチを左下から画面上部に至るまで全てサーチし、図７（ｃ）の水平重みを取得する。

次に、図７（ｂ）に示すように、左下をスタートして上方向に距離差をみていき、その距離差に図７（ｆ）のグラフに対応した重みを入れていく。ここでも、水平差分と同様に重みを入れていき、図７（ｄ）の垂直重みを作成する。次いで、図７（ｃ）と図７（ｄ）の重みを掛け合わせることで、図７（ｅ）の距離重みを取得する。

ステップＳ２２４では、制御部１０２は、図８に示すように、予備発光で得られた反射重みから図７（ｅ）の距離重み（図８（ｂ））に該当する箇所を抽出して、背景除去された被写体重み（調光用重み）を算出し、ステップＳ２２５に進む。

ステップＳ２２５では、制御部１０２は、被写体重みにて重みづけされた平均輝度を目標とする輝度に近付けるように調光演算を行う。ここでは非発光時にも被写体に外光が当たっていることを想定する。そのため、予備発光画像と非発光画像との輝度差分を抽出して、これを予備発光時の光量とし、また、適正輝度と非発光画像での被写体輝度との差分を埋めるのに必要な発光量を本発光量として算出し、ステップＳ２２６に進む。ステップＳ２２６では、制御部１０２は、本発光および本露光を行い、処理を終了する。

以上説明したように、本実施形態では、ストロボ発光を必要とする暗所での撮影においても適切に被写体と背景を切り分けることが可能となり、良好なストロボ画像を得ることができる。

なお、本発明は、上記実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

例えば上記実施形態では、距離マップを得る方法について撮像面位相差画素を用いたが、これに限定されず、コントラストＡＦや外部センサによるＡＦ信号値を用いてもよい。また、距離マップを取得するタイミングは、外光の測光時或いは予備発光の調光時の何れのタイミングでもよく、予め取得しておいた距離マップを使用することも可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、本発明は、上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２制御部
１０３センサ部
１０５画像処理部
１０６画面内距離取得部
１１１ストロボ部
１１６距離変化判定部

Claims

画像信号を出力する画像センサと、
前記画像信号に対応する予備発光画像の輝度を用いて本発光量を算出する調光手段と、
前記画像信号に対応した撮像画面を複数の領域に分割する分割手段と、
前記分割した領域ごとに距離情報を取得する取得手段と、
前記分割した領域ごとの画像信号の輝度を調整する調整手段と、
前記輝度が調整された画像信号を用いて取得された前記距離情報に基づいて、同一の被写体に対応する区域において、隣接する領域の間で距離が同一の方向に継続して変化しているか否かを判定する判定手段と、を備え、
前記調光手段は、外光輝度による画像と予備発光時の輝度による画像の差分又は比を取ることで得られる反射輝度重みを生成し、
前記判定手段によって得られた距離重みの情報と、前記反射輝度重みの情報を用いて、調光制御用の被写体重みを算出する算出手段をさらに備え、
前記調整手段は、照射範囲が前記予備発光よりも限定される第１の発光を行うことによって前記輝度が調整された画像信号を用いて取得された前記距離情報に基づいて前記予備発光の発光量を算出したのち、算出された発光量で前記予備発光を行うことによって前記分割した領域ごとの画像信号の輝度を調整し、
前記判定手段は、前記予備発光を行うことによって前記輝度が調整された画像信号を用いて取得された前記距離情報に基づいて前記距離重みの情報を得ることを特徴とする撮像装置。
前記調整手段は、調光制御用の予備発光の光量を調整することを特徴とする請求項１に記載の撮像装置。
前記判定手段は、前記隣接する領域の間での前記距離の変化量が所定の範囲に含まれる場合に、前記隣接する領域の間で前記距離が継続して変化していると判定することを特徴とする請求項１又は２に記載の撮像装置。
前記判定手段は、前記隣接する領域の間での前記距離の変化量が前記所定の範囲の下限値である所定量以下の場合、前記隣接する領域は同一の被写体を示すと判定することを特徴とする請求項３に記載の撮像装置。
前記判定手段は、前記複数の領域を前記距離が変化している第２の領域と前記距離が同一の第１の領域に分け、前記第１の領域の重みよりも前記第２の領域の重みを減らすことを特徴とする請求項１又は２に記載の撮像装置。
前記第１の発光は、ＡＦのための補助光であることを特徴とする請求項１乃至５のいずれか一項に記載の撮像装置。
前記調整手段は、前記取得手段にて被写体の距離が取得できない場合、前記被写体としての人の顔の大きさから被写体の距離を推定し、推定した被写体の距離に基づいて前記予備発光の発光量を算出することを特徴とする請求項１乃至６のいずれか一項に記載の撮像装置。
前記判定手段は、前記外光輝度が所定の輝度以上である場合、前記輝度が調整されていない画像信号を用いて取得された前記距離情報に基づいて、前記同一の被写体に対応する区域において、隣接する領域の間で距離が同一の方向に継続して変化しているか否かを判定する請求項１乃至７のいずれか一項に記載の撮像装置。
画像信号を出力する画像センサを備える撮像装置の制御方法であって、
前記画像信号に対応する予備発光画像の輝度を用いて本発光量を算出する調光ステップと、
前記画像信号に対応した撮像画面を複数の領域に分割する分割ステップと、
前記分割した領域ごとに距離情報を取得する取得ステップと、
前記分割した領域ごとの画像信号の輝度を調整する調整ステップと、
前記輝度が調整された画像信号を用いて取得された前記距離情報に基づいて、同一の被写体に対応する区域において、隣接する領域の間で距離が同一の方向に継続して変化しているか否かを判定する判定ステップと、を備え、
外光輝度による画像と予備発光時の輝度による画像の差分又は比を取ることで得られる反射輝度重みが生成され、
前記判定ステップにおいて得られた距離重みの情報と、前記反射輝度重みの情報を用いて、調光制御用の被写体重みを算出する算出ステップをさらに備え、
前記調整ステップは、照射範囲が前記予備発光よりも限定される第１の発光を行うことによって前記輝度が調整された画像信号を用いて取得された前記距離情報に基づいて前記予備発光の発光量を算出したのち、算出された発光量で前記予備発光を行うことによって前記分割した領域ごとの画像信号の輝度を調整し、
前記判定ステップは、前記予備発光を行うことによって前記輝度が調整された画像信号を用いて取得された前記距離情報に基づいて前記距離重みの情報を得ることを特徴とする撮像装置の制御方法。