JP5988812B2 - 撮像装置及びその制御方法、並びにプログラム - Google Patents

Description

本発明は、撮像装置及びその制御方法、並びにプログラムに関する。

近年、高フレームレート撮影機能を搭載したデジタルカメラが一般化している。高フレームレート撮影機能に関しては、静止画に対して高フレームレートを利用して、連写など複数の画像を撮影する技術や、長秒露光が必要な撮影の際に複数フレームに分割露光した画像を合成するなど様々な技術が提案されている（例えば、特許文献１等）。また、画像を合成する際に他者のストロボ光などにより生じたノイズとなる画像を除去する技術が提案されている（例えば、特許文献２参照）。

特開２００８−１２４６２５号公報 特開２０１０−３５００８号公報

しかしながら、上記従来技術においても、時間的な連続性の観点からすると、なるべく一括の露光で撮影したいにも関わらず、必ず分割露光の撮影になってしまう。また、単純に輝度値を比較するのみだけで、ストロボ発光されたことによる輝度の変化なのかどうかが判らず、精度の向上が必要となってくる。特に、星空撮影やオーロラ撮影などで、撮影者が長いシャッタスピードで撮影しようとしているのにもかかわらず、他者からのストロボ光が入光してしまうなどの問題がある。

本発明は、上記問題に鑑みて成されたものであり、長いシャッタスピードが必要な撮影時に、他者からのストロボ光を気にすることなく撮影することが可能となる撮像装置及びその制御方法、並びにプログラムを提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、被写体を撮影する撮影手段と、前記被写体を照明するためのストロボ発光手段と、前記ストロボ発光手段の非発光時及び発光時のそれぞれで取得されたフレームの映像信号の輝度値を比較して前記ストロボ発光手段の発光に対する被写体から反射光の有無を判定する被写体判定手段と、前記被写体判定手段により反射光があると判定された場合には分割露光を実施して撮影を行う一方、前記被写体判定手段により反射光がないと判定された場合には長秒露光を実施して撮影を行うように前記撮影手段を制御する制御手段とを備えることを特徴とする。

本発明によれば、長いシャッタスピードが必要な撮影時に、他者からのストロボ光を気にすることなく撮影することが可能となる。

本発明の実施形態に係る撮像装置の一例としてデジタルカメラの概略構成を示す図である。 デジタルカメラにおけるオーロラ撮影モード時の動作処理を示すフローチャートである。 図２のステップＳ２１２の加算判定処理の詳細を示すフローチャートである。 図２に示す処理において、撮影された画像の経過を時系列に示すタイミングチャートである。

以下、本発明の実施の形態を図面を参照して詳細に説明する。なお、本実施形態では、本発明をデジタルカメラに適用した場合について説明する。

図１は、本発明の実施形態に係る撮像装置の一例としてデジタルカメラの概略構成を示す図である。

デジタルカメラ１００では、撮影レンズ１０、絞り機能を備える機械式シャッタ１２によって撮像素子１４に被写体からの光束が導かれ、撮像素子１４で電気信号に変換される。Ａ／Ｄ変換器１６では、撮像素子１４からのアナログ信号出力がデジタル信号に変換される。撮像素子１４には、温度センサ（不図示）が設けられており、温度センサによる測温結果が定期的にシステム制御回路５０に送信される。

タイミング発生回路１８は、撮像素子１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給する。また、タイミング発生回路１８は、メモリ制御回路２２及びシステム制御回路５０により制御される。また、機械式シャッタ１２以外にも、タイミング発生回路１８の撮像素子１４のリセットタイミングの制御によって、電子シャッタとして、蓄積時間を制御することが可能であり、動画撮影などに使用可能である。

画像処理回路２０は、Ａ／Ｄ変換器１６からの出力信号或いはＡ／Ｄ変換器１６からの出力信号を蓄積したメモリ制御回路２２からのデータに対して、ＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を施す。その後、ガンマ処理、補間処理、マトリックス変換からなる現像処理等を施して画像信号を生成する。

また、画像処理回路２０では、得られた画像信号に基づいて、システム制御回路５０が露光制御部４０、測距制御部４２に対して行う制御の制御量の算出を行い、ＴＴＬ方式のＡＦ処理、ＡＥ処理、ＥＦ処理を実現している。

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。

画像表示部２８は、ＴＦＴ液晶等から成り、メモリ３０に書き込まれた表示用の画像データが、メモリ制御回路２２を介して表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはデジタルカメラ１００の電力消費を大幅に低減することが出来る。

メモリ３０は、撮影した静止画像や動画像を格納するための記憶装置であり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０は、システム制御回路５０の作業領域としても使用することが可能である。

不揮発性メモリ３１は、ＦｌａｓｈＲＯＭ等で構成され、システム制御回路５０が実行するプログラムは、この不揮発性メモリ３１に書き込まれ、逐次読み出されながら実行される。また、不揮発性メモリ３１内には、システム情報を記憶する領域やユーザ設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。

圧縮・伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

露光制御部４０は絞り機能を備える機械式シャッタ１２を制御する。また、ストロボ４８と連動することによりストロボ調光機能も有するものである。測距制御部４２は撮影レンズ１０のフォーカシングを制御し、ズーム制御部４４は撮影レンズ１０のズーミングを制御する。

ストロボ４８は、被写体を照明するための発光機器であり、内蔵タイプであっても、外付けタイプであってもよい。露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う。

システム制御回路５０は、デジタルカメラ１００全体を制御する制御部である。６０，６２，６４，６６，７０及び７２は、システム制御回路５０の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

モードダイアルスイッチ６０は、電源オフ、自動撮影モード、通常撮影モード、ＨＤＲ撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、オーロラ撮影モード等の各機能モードを切り替え設定することが出来るスイッチである。

シャッタースイッチＳＷ１＿６２は、シャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。

シャッタースイッチＳＷ２＿６４は、シャッターボタンの操作完了でＯＮとなる。シャッタースイッチＳＷ２＿６４は、ストロボ撮影の場合、ＥＦ（ストロボプリ発光）処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させる処理の開始指示となる。また、シャッタースイッチＳＷ２＿６４は、ストロボ撮影の場合、露光期間中に発光させて、露光期間終了と同時に露光制御部４０により遮光することで、撮像素子１４への露光を終了させる処理の開始指示となる。撮像素子１４から読み出された信号は、Ａ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データとして書き込まれる。シャッタースイッチＳＷ２は、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出して圧縮・伸長回路３２で圧縮を行い記録媒体２００に書き込む記録処理を含む一連の処理の開始指示となる。

表示切替スイッチ６６は、画像表示部２８の表示切替をすることが出来る。この機能により、光学ファインダ１０４を用いて撮影を行う際に、ＴＦＴ ＬＣＤ等から成る画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。

操作部７０は、各種ボタン、タッチパネルや回転式ダイアル等からなり、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、ストロボ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。また、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。

ズームスイッチ７２は、ユーザが撮像画像の倍率変更指示を行うスイッチである。ズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。

電源部８６はアルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる。

Ｉ／Ｆ９０はメモリカードやハードディスク等の記録媒体とのインタフェースであり、コネクタ９２はメモリカードやハードディスク等の記録媒体と接続を行う。

光学ファインダ１０４は、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。

通信部１１０は、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信等の各種通信機能を有する。コネクタ１１２は、通信部１１０によりデジタルカメラ１００を他の機器と接続する。無線通信の場合、コネクタ１１２はアンテナである。

記録媒体２００はメモリカードやハードディスク等であり、半導体メモリや磁気ディスク等から構成される記録部２０２、デジタルカメラ１００とのインタフェース（Ｉ／Ｆ）２０４、デジタルカメラ１００と接続を行うコネクタ２０６を備えている。

次に、星空やオーロラ等を撮影するためのオーロラ撮影モード時のデジタルカメラ１００での動作処理について図２を参照して説明する。

図２は、デジタルカメラ１００におけるオーロラ撮影モード時の動作処理を示すフローチャートである。なお、本処理は、デジタルカメラ１００の動作を中心にして説明するが、主たる制御を行う部分はシステム制御回路５０である。

星空やオーロラ等を撮影する場合、一般的に長いシャッタスピードで撮影する。まず、ユーザは、モードダイアルスイッチ６０をオーロラ撮影モードに切り替えてカメラを起動する。

シャッタースイッチＳＷ１＿６２がＯＮになると、デジタルカメラ１００は、ストロボ非発光状態でＴＴＬ測光を行い、フレームの映像信号の輝度値を取得し（ステップＳ２０２）、シャッタスピードＴ（露光時間＝Ｔ秒）を決定する（ステップＳ２０３）。ここでは、ストロボ非発光状態でのＴＴＬ測光時に他者のストロボ発光が生じる可能性があるために、複数回の測光を実施し、画面全体の輝度値が最も低いものを選択する構成であってもよい。また、ＴＴＬ測光を実施し、カメラが自動的にシャッタスピードを決定する形態について説明するが、ユーザが操作部７０及び画像表示部２８でシャッタスピードを指定するマニュアルモードであってもよい。

次に、デジタルカメラ１００は、ストロボフル発光を実施し（ステップＳ２０４）、測光を実施して、ストロボ光が照射されたフレームの映像信号の輝度値を取得する（ステップＳ２０５）。

次に、デジタルカメラ１００は、ストロボ非発光時の輝度値（ステップＳ２０２）とストロボ発光時の輝度値（ステップＳ２０５）とを比較してストロボの反射光の有無を判定する（ステップＳ２０６）。ステップＳ２０６は被写体判定手段の一例である。ストロボの反射光があると判定された場合、デジタルカメラ１００は、撮影を分割露光で実施するように決定する（ステップＳ２０８）。

一方、ステップＳ２０６において、ストロボの反射光がないと判定された場合、デジタルカメラ１００は、温度センサ（温度測定手段）による撮像素子１４の測温結果を取得し、測定した温度が閾値以上か否かを判定する（ステップＳ２０７）。閾値以上だった場合には分割露光（ステップＳ２０８）へ進む一方、閾値以上でなかった場合には、露光時間Ｔ秒（長秒露光）で撮影をする（ステップＳ２１７）。このときにストロボ発光はしない。

ステップＳ２０８で分割露光撮影が決定されると、デジタルカメラ１００は、分割露光数Ｎを決定する（ステップ２０９）。この分割露光数Ｎは、シャッタ秒時やＩＳＯ感度、撮像素子１４の測温結果等に応じて決定される。

次に、デジタルカメラ１００は、カウンタｎを初期化（ｎ＝１）し（ステップＳ２１０）、露光時間Ｔ／Ｎ秒で撮影をする（ステップＳ２１１）。つづいて、デジタルカメラ１００は、加算判定処理を実行する（ステップＳ２１２）。本処理の詳細については後述する。

次に、デジタルカメラ１００は、撮影された画像を加算対象にするかどうかを判定し（ステップＳ２１３）、加算しないと判定した場合には、再びステップＳ２１１に戻り、撮影を行う。このときにストロボ発光はしない。

一方、ステップＳ２１３で加算すると判定した場合、デジタルカメラ１００は、元の画像に対して、撮影された信号を加算する（ステップＳ２１４）。

次に、デジタルカメラ１００は、カウンタｎが、ステップ２０９にて決定した分割露光数Ｎに達したかを判断する（ステップＳ２１５）。カウンタｎが分割露光数Ｎに達していないと判断した場合にはカウンタｎを１つ増加させて（ステップＳ２１６）、再びステップＳ２１１に戻り、撮影を行う。一方、カウンタｎが分割露光数Ｎに達していると判断した場合、ステップＳ２１８へ移行する。

ステップＳ２１８では、デジタルカメラ１００は、ステップＳ２１７でＴ秒で露光して撮影をしたものも含めて現像を行い、撮影を終了する。

図３は、図２のステップＳ２１２の加算判定処理の詳細を示すフローチャートである。なお、本処理も、デジタルカメラ１００の動作を中心にして説明するが、主たる制御を行う部分はシステム制御回路５０である。

まず、デジタルカメラ１００は、撮影された画像に対して、画面をＭブロックに分割し（ステップＳ３０２）、カウンタｍを初期化（ｍ＝１）する（ステップＳ３０３）。

次に、デジタルカメラ１００は、Ｍブロックに分割した画像のうちのブロックｍについて、図２のステップＳ２０２で取得したストロボ非発光時の輝度平均値Ｙｎを算出する（ステップＳ３０４）。つづいて、デジタルカメラ１００は、Ｍブロックに分割した画像のうちのブロックｍについて、図２のステップＳ２０５で取得したストロボ発光時の輝度平均値Ｙｆを算出する（ステップＳ３０５）。

次に、デジタルカメラ１００は、ストロボが発光しているかどうかを判定するための閾値Ｔｆを決定する（ステップＳ３０６）。つづいて、デジタルカメラ１００は、ストロボ発光時の輝度平均値Ｙｆとストロボ非発光時の輝度平均値Ｙｎの差分が閾値Ｔｆより大きいかどうかを判定する（ステップＳ３０７）。閾値Ｔｆよりも大きいと判定した場合、ステップＳ３０８へ進む一方、そうでない場合はステップＳ３１０へ進む。

ステップＳ３０８では、デジタルカメラ１００は、ブロックｍがストロボ光があたる（反射する）被写体があるブロックであると判断する。つづいて、ステップＳ３０９において、デジタルカメラ１００は、実際の撮影時の輝度値の判定に使用する閾値ＴをＴｆ’とする。

ステップＳ３１０では、デジタルカメラ１００は、ブロックｍがストロボ光があたる被写体がないブロックであると判断する（ステップＳ３１０）。つづいて、ステップＳ３１１において、デジタルカメラ１００は、実際の撮影時の輝度値の判定に使用する閾値ＴをＴｎとする。なお、本実施形態では、ストロボ光が当たらない部分の輝度変化を参照しているが、ストロボ光があたると判定されたブロックのみの輝度変化を注視する場合も考えられる。

ステップＳ３１２では、デジタルカメラ１００は、分割露光で得られた撮影画像のブロックｍの輝度平均値Ｙｃを算出する。

次に、ステップＳ３１３において、デジタルカメラ１００は、ステップＳ３１２で算出した撮影画像のブロックｍの輝度平均値Ｙｃとストロボ非発光時の輝度平均値Ｙｎとの差分と、閾値Ｔとを比較する。差分の方が大きい場合（ステップＳ３１３でＮＯ）、ステップＳ３１６に進み、デジタルカメラ１００は、対象となる撮影画像を加算しないと判断する。すなわち、分割露光で得られた撮影画像の複数ブロックのうち一つでも閾値Ｔよりも大きいものが存在すると、その画像は加算しないことになる。

一方、ステップＳ３１３の判別の結果、差分の方が小さいと判定した場合、ステップＳ３１４に進み、デジタルカメラ１００は、カウンタｍがＭに達したかどうか、すなわち撮影画像の全ブロックに対する処理が完了したかどうかを判定する。全ブロックに対する処理が完了していない場合、カウンタｍに１を加えて（ステップＳ３１７）、ステップＳ３０４に戻る。一方、ステップＳ３１４の判別の結果、全ブロックに対する処理が完了した場合、ステップＳ３１５へ進む。

ステップＳ３１５では、デジタルカメラ１００は、ステップＳ３１２で算出した撮影画像のブロックｍの輝度平均値Ｙｃとストロボ非発光時の輝度平均値Ｙｎとの差分が閾値Ｔより小さい場合、対象となる撮影画像を加算すると判断する。

図４は、図２に示す処理において、撮影された画像の経過を時系列に示すタイミングチャートである。

ＶＤはイメージセンサの垂直同期信号で、１周期で１画像が取得できるものとする。

Ａのような被写体を撮影する場合において、（１）でストロボ非発光時の輝度値Ｙｎを取得し、（２）でストロボ発光時の輝度値Ｙｆを取得し、それをブロック毎に比較することにより、ストロボが照射される可能性のあるブロックの判定を行う。判定結果がＢの網掛けのブロックとなる。（３）以降が分割露光している期間で、この場合には、４枚を分割露光すれば丁度よい明るさの画像が得られると判断されたものとする。

分割露光においては、まず（３）の輝度を取得し、全ブロックが（１）のストロボ非発光時の輝度値との差分が閾値Ｔよりも小さくなっているために、合成画像の対象（加算対象）と判定される。（４）についても同様である。

（５）については、網掛けされているブロックの少なくとも１つについて、（１）のストロボ非発光時の輝度値との差分が閾値Ｔよりも大きくなっているために、他者のストロボが光ったと判定し、（５）の画像を合成画像の対象から除外する。このようにして、（３）〜（８）までを撮影し、（３）（４）（６）（８）の画像が合成画像の対象となり、（８）において４枚目の加算画像を得ることができ、ここで撮影を終了している。

本実施形態によれば、長いシャッタスピードが必要な撮影時においても、他者からのストロボ光を気にすることなく撮影することが可能となる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ デジタルカメラ
１４ 撮像素子
４０ 露光制御部
４２ 測距制御部
４４ ズーム制御部
４８ ストロボ
５０ システム制御回路
６０ モードダイアルスイッチ

Claims (8)

1. 被写体を撮影する撮影手段と、
   前記被写体を照明するためのストロボ発光手段と、
   前記ストロボ発光手段の非発光時及び発光時のそれぞれで取得されたフレームの映像信号の輝度値を比較して前記ストロボ発光手段の発光に対する被写体から反射光の有無を判定する被写体判定手段と、
   前記被写体判定手段により反射光があると判定された場合には分割露光を実施して撮影を行う一方、前記被写体判定手段により反射光がないと判定された場合には長秒露光を実施して撮影を行うように前記撮影手段を制御する制御手段とを備えることを特徴とする撮像装置。
2. 前記ストロボ発光手段の発光時にはフル発光することを特徴とする請求項１記載の撮像装置。
3. 前記ストロボ非発光時に取得される輝度値は、複数回の測光を行って最も低い輝度値が選択されることを特徴とする請求項１または２に記載の撮像装置。
4. 前記撮影手段の温度を測定する温度測定手段をさらに備え、
   前記制御手段は、前記温度測定手段により測定された前記撮影手段の温度が閾値以上である場合、前記被写体判定手段により反射光がないと判定された場合であっても分割露光を実施して撮影を行うように制御することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記制御手段は、分割露光撮影において、複数ブロックに分割された画像のうちの前記ストロボ発光手段の発光に対する反射光があったブロックの輝度値と、当該ブロックの前記ストロボ発光手段の非発光時の輝度値との差分が、所定の値以上である場合には、合成画像の対象から除外して合成画像を生成することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記制御手段は、分割露光撮影において、複数ブロックに分割された画像のうちの前記ストロボ発光手段の発光に対する反射光がなかったブロックの輝度値と、当該ブロックの前記ストロボ発光手段の非発光時の輝度値との差分が、所定の値以上である場合には、合成画像の対象から除外して合成画像を生成することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
7. 被写体を撮影する撮影手段と、前記被写体を照明するためのストロボ発光手段とを備える撮像装置の制御方法において、
   前記ストロボ発光手段の非発光時及び発光時のそれぞれで取得されたフレームの映像信号の輝度値を比較して前記ストロボ発光手段の発光に対する被写体から反射光の有無を判定する被写体判定工程と、
   前記被写体判定工程にて反射光があると判定された場合には分割露光を実施して撮影を行う一方、前記被写体判定工程にて反射光がないと判定された場合には長秒露光を実施して撮影を行うように前記撮影手段を制御する制御工程とを備えることを特徴とする制御方法。
8. 請求項７に記載の制御方法を撮像装置に実行させるためのコンピュータに読み取り可能なプログラム。

Images