JP4487781B2 - 電子カメラ - Google Patents

Description

本発明は、シーン解析結果にしたがって撮影条件を設定するようにした電子カメラに関する。

撮影シーンを解析して撮影条件を設定するようにしたカメラの画像獲得制御を設定するシステムが特開２００２−１０１３５号公報に開示されている。
特開２００２−１０１３５号公報

しかしながら、特許文献１のシステムでは、ユーザが構図を決定する過程で不要なシーン解析を実行してシャッタチャンスを逃すおそれがある。あるいは、処理負荷の大きいシーン解析が実行されると、その処理に時間がかかってしまい、シャッタチャンスを逃すおそれがある。

（１）請求項１の発明による電子カメラは、被写体を撮像して画像データを出力する撮像手段と、画像データに基づいて、撮像した被写体のシーンを解析する第１のシーン解析及び第２のシーン解析を少なくとも実行可能であり、第２のシーン解析は前記第１のシーン解析より処理負荷が大きい解析手段と、解析手段から出力されるシーン解析結果に基づいて撮影条件を設定する設定手段と、撮影画面内の構図の変更の程度が所定のレベルより大きいか否かを判定する判定手段と、判定手段により、所定のレベルより大きいと判定されなかったときは解析手段に第２のシーン解析を実行させず、所定のレベルより大きいと判定されたときに第２のシーン解析を実行させるシーン解析制御手段とを備えることを特徴とする。
（２）請求項２の発明は、請求項１の電子カメラにおいて、シーン解析制御手段は、電源投入時、解析手段に前記第１のシーン解析及び第２のシーン解析を実行させることを特徴とする。
（３）請求項３の発明は、請求項１の電子カメラにおいて、シーン解析制御手段は、電源投入時、解析手段に対して、判定手段で判定された構図変更の程度が所定値以下になるまで前記第１のシーン解析及び第２のシーン解析の実行を禁止させることを特徴とする。
（４）請求項４の発明は、請求項１〜３のいずれか１項に記載の電子カメラにおいて、第２のシーン解析は、被写体像の中から顔の領域を検出する顔検出解析であることを特徴とする。
（５）請求項５の発明は、請求項１〜４のいずれか１項に記載の電子カメラにおいて、撮像手段は、撮影用の撮像手段と、撮影用の撮像手段とは共役な位置に配置され、被写体を撮像してシーン解析用の画像データを出力する解析用撮像手段とを含むことを特徴とする。
（６）請求項６の発明は、請求項１〜５のいずれか１項に記載の電子カメラにおいて、撮像手段は撮影用とシーン解析用に兼用されることを特徴とする。
（７）請求項７の発明は、請求項１〜６のいずれか１項に記載の電子カメラにおいて、判定手段は、撮像手段から出力される画像データに基づいて構図変更の有無、もしくは構図変更の程度を判定することを特徴とする。

本発明によれば、構図変更の有無や構図変更の程度に応じてシーンを解析するようにしたので、不要なシーン解析が行われにくくなり、その結果、シャッタチャンスを逃すおそれが低減される。

以下、図面を参照して本発明の実施の形態を説明する。本実施の形態の一眼レフ電子スチルカメラは、撮影画面内のシーンを解析し、その解析結果を撮影条件の設定と画像処理の双方に適用するものである。

図１に示すように、この実施の形態によるは、カメラ本体７０と、カメラ本体７０に着脱されるファインダ装置８０と、撮影レンズ９１と絞り９２を内蔵してカメラ本体７０に着脱される交換レンズ９０とを備える。被写体光は交換レンズ９０を通ってカメラ本体７０に入射し、レリーズ前は点線で示す位置にあるクイックリターンミラー７１でファインダ装置８０に導かれてファインダマット８１に結像する。その被写体像はさらにペンタプリズム８２で接眼レンズ８３に導かれる。また、被写体像はペンタプリズム８２からプリズム８４、光学素子８５によりシーン解析用撮像装置８６の受光面上に結像する。さらに、レリーズ前、被写体光は点線で示す位置にあるクイックリターンミラー７１のサブミラーで下方に反射されて焦点検出装置３６に入射する。

一方、レリーズ後はクイックリターンミラー７１が実線で示す位置に回動し、被写体光はシャッタ７２を介して撮影用撮像装置７３上に結像する。シーン解析用撮像装置８６は撮影レンズ９１に対して撮影用撮像装置７３と共役な位置に配設される。

図２は実施の形態の回路ブロック図である。半押しスイッチ１１が操作されると、解析用撮像装置８６が電荷蓄積を開始し、蓄積終了後、解析用撮像装置８６はシーン解析用ＲＧＢ画像データを解析回路１０に入力する。解析回路１０はその画像データをデジタル信号に変換し、さらにデジタル画像信号に基づいて撮影シーンを解析する。その解析結果は画像データ用制御回路２１へ転送される。なお、解析用撮像装置８６から出力される画像データは、被写界の輝度情報を含んでおり、露出演算にも使用される。後述するように、本実施の形態の電子スチルカメラは、静止画モードと動画モードで撮影可能であり、動画モードでは、撮影用撮像装置７３から出力される画像データを用いてシーン解析するため、撮影用撮像装置７３から出力される画像データも解析回路１０に入力されるように構成される。

全押しスイッチ１２が操作されるとクイックリターンミラー７１が上方に回動し、交換レンズ９０からの被写体光は撮影用撮像装置７３の受光面上で結像し、撮影用撮像装置７３には被写体像の明るさに応じた信号電荷が蓄積される。撮影用撮像装置７３に蓄積された信号電荷は、アナログ信号処理回路２２によりゲインコントロール等のアナログ処理が施された後、Ａ／Ｄ変換回路２３によってデジタル信号に変換される。デジタル変換された信号は画像処理回路２４に導かれ、そこでホワイトバランス調整、輪郭補償、ガンマ補正等の画像処理が行われてフォーマット化され、フレームメモリコントローラ２５を通ってフレームメモリ２６に一時的に格納される。画像処理回路２４で行なわれる画像処理に用いられる各種のパラメータは、シーン解析回路１０で予め算出されて制御回路２１のメモリ内に記憶されている。

フレームメモリ２６に記憶された画像データは、表示画像作成回路２７により表示用の画像データに処理され、ＬＣＤ等の外部モニタ２８に撮影結果として表示される。また、フレームメモリ２６に記憶された画像データは、圧縮回路２９によりＪＰＥＧ等の方式で所定の比率にデータ圧縮を受け、カメラ本体に装填されたフラッシュメモリ等の着脱式メモリ３０に記録される。

また、本実施の形態の電子スチルカメラでは、静止画に加えて動画を撮影することもでき、そのため、動画モードスイッチ１３が制御回路２１に接続されている。動画モードが設定されると、全押しスイッチ１２のオン操作により、１／３０秒ごとに撮像する画像を所定時間、記録することができる。

次に、シーン解析用撮像装置８６とシーン解析回路１０について詳細に説明する。シーン解析用撮像装置８６は、たとえば６４０×４８０の画素を有するＶＧＡクラスの１枚の２次元ＣＣＤである。撮像装置８６の表面には各画素に対応してＲＧＢカラーフィルタ８６１が配設されている。各画素のうち、Ｇ色は輝度信号として用いられ、Ｇ色、Ｒ色、Ｇ色の画像信号により撮影画面内の被写体のＲＧＢ分布を検出する。なお、スルー画として表示するために必要な画素数であれば、画素数は限定されない。

本明細書におけるシーン解析は、図３に示すように、被写界に含まれる人物の顔を検出する解析と、被写界に含まれる空を検出する解析と、被写界に含まれる被写体の傾きを検出する解析である。空や顔を検出する解析は、被写体の輝度分布やＲＧＢ信号の分布に基づいて、周知のアルゴリズムを使用して行うことができる。

傾きを検出する解析は、撮像した画像データの水平線を検出し、この水平線の傾きを演算して傾き検出の解析を行うアルゴリズムが用いられる。あるいは、顔の中の両目を検出し、両目を結ぶ線分の傾きを演算して求めるようなアルゴリズムでもよい。この場合、後述する顔検出の処理負荷よりも小さい負荷である。傾き検出の解析を画像処理で実行するようにしたが、重力センサを用いてカメラの実際の傾きを検出しても良い。

図４〜図６により本実施の形態による電子スチルカメラの動作を説明する。カメラの電源スイッチが投入されると、制御回路２１により撮影用プログラムが起動され、図４〜６のフローチャートで表される撮影処理が実行される。

ステップＳ１において、変数Ｓ，Ｋ，Ｆをゼロリセットする。ステップＳ２では、解析用撮像装置８６から解析用画像を取得する。ステップＳ３では、取得した解析用画像に基づいて構図の変更の程度を検出する。この実施の形態では、前回撮像された画像と今回撮像された画像の差分の絶対値を各ピクセルごとに算出して、その総和を演算することにより構図変更の程度を算出する。総和が大きいほど構図変更の程度が大きいと定義し、変更度の大小を０〜３の４段階に分類する。変更度の最小レベルが０、少し大きいレベルが１、より大きいレベルが２，最大レベルが３である。なお、電源投入時は前回の解析用画像が存在しないので、解析（構図変更の判定）不能とする。

ステップＳ４において、変更度が１以上、または変数Ｓ＝０（構図変更解析不能と等価）と判定されると、ステップＳ４１で解析用画像に基づいて被写界内に存在する空を検出する解析を行う。ステップＳ４２で、変数Ｓに１をセットしてステップＳ５へ進む。また、ステップＳ４が否定判定されるとステップＳ５へ進む。すなわち、空検出の解析は次のように制御される。電源投入時は変数Ｓが０であり、構図変更の程度が解析不能であっても空検出の解析を行い、電源投入後に空検出の解析が行われ後は、構図変更の程度がレベル１以上のとき空検出の解析を行い、構図変更の程度が最小レベル０のときは空検出の解析を行なわない。

ステップＳ５において、変数Ｋ＝０（構図変更解析不能と等価）および変更度が０、または変数Ｋ＝１および変更度が２以上と判定されると、ステップＳ５１で解析用画像に基づいて被写体の傾きを検出する解析を行い、ステップＳ５２で変数Ｋに１をセットしてステップＳ６へ進む。また、ステップＳ５が否定判定されるとステップＳ６へ進む。すなわち、傾き検出の解析は次のように制御される。変数Ｋがゼロ、すなわち電源投入後に一度も傾き検出の解析を行っていない時は、構図変更の程度が最小レベル０の場合に傾き検出の解析を行い、電源投入後に一度でも傾き検出の解析が行われた後は、構図変更の程度がより大きいレベル２以上のときに空検出の解析を行う。したがって、空検出の解析と異なり、電源投入直後は変数Ｋがゼロであるが、構図変更の程度が最小レベル１以上の場合は傾き検出の解析を実行しない。

ステップＳ６において、変更度が３以上、または変数Ｆ＝０（構図変更解析不能と等価）と判定されると、ステップＳ６１で解析用画像に基づいて人物の顔を検出する解析を行い、ステップＳ６２で変数Ｆに１をセットし、ステップＳ７に進む。また、ステップＳ６が否定判定されるとステップＳ７へ進む。すなわち、顔検出の解析は次のように制御される。電源投入時は変数Ｆが０であり、構図変更の程度が解析不能であっても顔検出の解析を行い、電源投入後は、構図変更の程度が最大レベル３以上のとき顔検出の解析を行い、構図変更の程度が最大レベル３未満ときは顔検出の解析を行なわない。

ステップＳ７では、シーン解析結果に基づいて焦点調節を行う。たとえば、焦点検出装置３６から出力される焦点検出信号に対して、顔が検出された領域の重みを大きくして焦点検出演算を行う。このステップＳ７により主要被写体に対して焦点調節が行われ、全押し操作を待つ。ステップＳ８では、シーン解析結果に基づいて露出調節を行う。たとえば、解析用撮像装置８６から出力された露出演算に用いられる画像信号に対して、空が検出された領域の重みを小さくして露出演算を行う。すなわち、空の輝度に影響を受けないように露出値を補正する。このステップＳ７により主要被写体に対して露出制御が行われ、全押し操作を待つ。

ステップＳ９では、シーン解析結果に基づいて被写体の傾き調節を行う。たとえば、撮影用撮像装置３６から出力される画像データに対して、検出された被写体の傾き分だけ回転させる処理を行う。たとえば、水平線が傾いている場合は、水平線との傾きを算出し、その差分だけ、画像を回転して傾いていた水平線を水平線に一致させる。

次いで、ステップＳ１０において、上述したように解析用撮像装置８６から出力される解析用画像に対して傾き補正した画像が、カメラ本体の背面に設けられた外部モニタ２８にスルー画として表示される。そして、ステップＳ１２で全押し判定が否定され、ステップＳ１３でタイマ切れが判定されると一連の処理を終了し、タイマ切れ判定が否定されると、ステップＳ２に戻る。全押し判定が肯定されるまでは、１／３０秒毎に撮像された画像に対して上述した処理が繰り返される。

ステップＳ１２で全押し判定が肯定されると、ステップＳ１４に進み、静止画モードか判定する。静止画モードと判定されると、ステップＳ１５において、ステップＳ７，８で設定された焦点調節状態および露出制御値で撮影を行い、このとき撮影用撮像装置７３で撮像された画像をいったん図示しないバッファメモリに格納する。そして、バッファメモリに格納した画像に対してステップＳ９と同様の傾き補正を施し、ステップＳ１６でフレームメモリ２６に記録するとともに、圧縮回路２９で圧縮して外部メモリ３０に記録する。ＲＡＷデータで記録するモードの場合は圧縮回路２９での圧縮処理は行われない。記録処理終了後、ステップＳ１７でタイマをリセットしてステップＳ１３に進む。

ステップＳ１４が否定されると、ステップＳ３０の動画処理に移行する。動画処理の終了が判定されるまで、繰り返しステップＳ３０の動画処理を実行し、１/３０秒ごとに取得する画像に対して静止画と同様のシーン解析制御による撮影を行う。ステップＳ１８で動画終了が判定されると、ステップＳ１７に進む。

図６は動画処理の詳細を示すフローチャートである。ステップＳ３１〜３８は、図４のステップＳ２〜９と同様の処理である。ただし、ステップＳ３１においては、クイックリターンミラー７１が破線の位置に跳ね上がっており、解析用撮像装置８６に被写体光が到達せず、撮影用撮像装置７３に被写体光が到達するので、動画モードでは、解析用画像は撮影用撮像装置７３から出力される画像データを用いる。そして、ステップＳ３２の構図変更の程度を検出する処理では、撮影用撮像装置７３の画素数が、解析用撮像装置８６の画素数よりも多いので、構図変更の程度を演算する処理時間を短縮化するためには、画像データを適宜間引く必要がある。また、ステップＳ３９は図５のステップＳ１０と同様の処理であるが、表示データが撮影用撮像装置８６から出力される画像データであるから、モニタ表示用に間引き処理が必要となる。

また、ステップＳ３３１，３３２はステップＳ４１，４２と、ステップＳ３４１，３４２はステップＳ５１，５２と、ステップＳ３５１，３５２はステップＳ６１，６２と同様の処理である。また、その他の図６の各ステップの処理も図５と同様であり、個々の処理の説明は省略する。

図６のステップＳ４０では、撮影用撮像装置７３で撮像を行って記録用画像を取得する。そして、ステップＳ４０Ａで傾き補正を行い、ステップＳ４０Ｂで傾き補正後の画像データを圧縮回路２９を経て外部メモリ３０に記録する。

以上説明した電子スチルカメラでは構図変更の程度に応じてシーン解析を次のように制御する。
（１）電源投入時
電源投入時に初めて図４〜６の処理を実行する時は、構図変更の程度に無関係に空検出の解析、顔検出の解析を行なうが、傾き検出の解析は、電源投入時に初めて図４の処理を実行する時でも、構図変更の程度が最小レベル０の時にのみ実行する。
（２）電源投入後
電源投入時に一度空検出の解析、顔検出の解析が実行された後は、構図変更の程度が最小レベルよりも大きいとき、すなわちレベル１以上のときは空検出の解析を行い、構図変更の程度が最小レベル０のときは空検出の解析を行なわない。また、顔検出の解析は、構図変更の程度が最大レベル３以上のときに行ない、構図変更の程度が最大レベル未満のとき、すなわちレベル２以下のときは行なわない。電源投入後に一度でも傾き検出の解析が行われた後は、構図変更の程度がより大きいレベル２以上のときに傾き検出の解析を行い、レベル１以下のときは傾き検出の解析を行わない。

このような実施の形態による電子スチルカメラでは次のような作用効果が得られる。
（１）電源投入後にすべてのシーン解析が行われた場合、その後は、構図変更の程度が最小レベル０のとき、すなわち、構図が変更されないような状況下ではいずれのシーン解析も実行しないようにした。したがって、図７で比較して示すように、条件に応じてすべてのシーン解析を行わないようにする本実施の形態の電子スチルカメラでは、全押し判定処理に進むまでの時間を短縮することができ、その結果、シャッタチャンスを逃すおそれが低減される。

（２）構図が大きく変わったとき、すなわち、構図変更の程度が最大レベルの時に、処理負荷の重い顔検出の解析を行うようにし、構図変更が小さいときに処理負荷の大きな顔検出の解析が実行されないようにした。したがって、構図を決定した後は焦点調節処理（ＡＦ）や露出制御処理（ＡＥ）がレスポンス良く実行され、シャッタチャンスを逃すおそれがない。

（３）電源投入時は、構図変更の程度に関わりなく空検出の解析と顔検出の解析を実行するようにしたので、電源投入時に構図が直ぐ決定されて全押し操作が行われる場合には、主要被写体に焦点調節と露出調節された写真を得ることができる。

（４）動画モードにおいても、構図変更の程度に基づいてシーン解析を制御し、シーン解析結果に応じて撮影条件を繰り返し設定しつつ撮影を行うようにしたので、シーンが大きく変更するような動画撮影に最適な焦点調節と露出調節を行うことができる。

本発明は、以上の実施の形態に限定されず、以下のように変形することもできる。
（１）以上では、解析用撮像装置と撮影用撮像装置を備えた一眼レフ電子スチルカメラについて説明したが、撮影用撮像装置だけを備えた電子スチルカメラにも本発明を適用できる。この場合、撮影用撮像装置からの画像データを用いてモニタ表示用データを作成し、また、撮影用撮像装置からの画像データでシーン解析を行って撮影条件の設定を行う。したがって、動画時のシーン解析で説明したことと同様に、全押しされるまでは、撮影用撮像装置からいわゆるＱＶＧＡクラスといわれる３２０×２４０ピクセル程度の画像データを取り出すようにする。そして、全押しにより、撮影用撮像装置の最高解像度の画像データ（たとえば、３０００×２０００ピクセル程度）を取り出して記録する。

（２）電源投入時は、空検出の解析と顔検出の解析を構図変更の程度に無関係に行うとともに、傾き検出の解析は、構図変更の程度が最小レベルのときのみ行うようにした。このような手順は、電源投入直後にユーザがすぐに構図を決定しない場合は無駄なシーン解析処理が実行されることになる。また、電源投入直後に直ちに構図を決定するユーザにとっては、シーン解析が終了するまでがレリーズが切れずシャッタチャンスを逃すことになる。そこで、電源投入時は、構図変更の程度が最小レベルになるまですべてのシーン解析を行わないようにするとよい。

（３）構図変更の程度は、１枚前の画像と今回取得した画像を比較して算出したが、撮像素子そのものが、１つ前の画像データを記憶しておき、差分を直接出力する網膜チップのような撮像素子を使用して構図変更の程度を算出してもよい。

（４）シーン解析は、空検出、顔検出、傾き検出に限定されず、その他のシーンを解析してもよい。すなわち、処理負荷が異なる４以上の複数のシーン解析を行い、構図変更の程度に基づいて、構図変更の程度が小さいときは処理負荷の大きいシーン解析や処理負荷の最大であるシーン解析を実行せず、構図変更の程度が大きいときに処理負荷の大きいシーン解析や処理負荷の最大であるシーン解析を実行するような電子カメラであれば、シーン解析の種類は問わない。

（５）構図変更の程度を演算してそのレベルを判定し、処理負荷の重い解析は構図変更の程度が大きいレベルと判定されたときに実行するようにしたが、撮影画面内の構図の変更の有無を判定し、構図変更があるときにシーン解析を行い、構図変更が無いときはシーン解析を行わないようにしてもよい。

（６）構図変更の程度を画像データに基づいて判定したが、カメラの振動状態やカメラのパンニング操作などを検出して構図変更やその程度を判定してもよい。

実施の形態による電子カメラの構成例を示す図である。 図１の電子カメラの制御ブロック図である。 シーン解析を説明する図である。 実施の形態による電子カメラの処理手順例を示すフローチャートである。 図４のフローチャートに引き続くフローチャートである。 図４のフローチャートの動画処理の詳細処理手順を示すフローチャートである。 実施の形態の効果を説明する図である。

符号の説明

１０：解析回路 ２１：制御回路
７３：撮影用撮像装置 ８６：解析用撮像装置

Claims (7)

1. 被写体を撮像して画像データを出力する撮像手段と、
   前記画像データに基づいて、撮像した被写体のシーンを解析する第１のシーン解析及び第２のシーン解析を少なくとも実行可能であり、前記第２のシーン解析は前記第１のシーン解析より処理負荷が大きい解析手段と、
   前記解析手段から出力されるシーン解析結果に基づいて撮影条件を設定する設定手段と、
   撮影画面内の構図の変更の程度が所定のレベルより大きいか否かを判定する判定手段と、
   前記判定手段により、前記所定のレベルより大きいと判定されなかったときは前記解析手段に第２のシーン解析を実行させず、前記所定のレベルより大きいと判定されたときに前記第２のシーン解析を実行させるシーン解析制御手段とを備えることを特徴とする電子カメラ。
2. 請求項１の電子カメラにおいて、
   前記シーン解析制御手段は、電源投入時、前記解析手段に前記第１のシーン解析及び前記第２のシーン解析を実行させることを特徴とする電子カメラ。
3. 請求項１の電子カメラにおいて、
   前記シーン解析制御手段は、電源投入時、前記解析手段に対して、前記判定手段で判定された構図変更の程度が所定値以下になるまで前記前記第１のシーン解析及び前記第２のシーン解析の実行を禁止させることを特徴とする電子カメラ。
4. 請求項１〜３のいずれか１項に記載の電子カメラにおいて、
   前記第２のシーン解析は、被写体像の中から顔の領域を検出する顔検出解析であることを特徴とする電子カメラ。
5. 請求項１〜４のいずれか１項に記載の電子カメラにおいて、
   前記撮像手段は、撮影用の撮像手段と、前記撮影用の撮像手段とは共役な位置に配置され、前記被写体を撮像してシーン解析用の画像データを出力する解析用撮像手段とを含むことを特徴とする電子カメラ。
6. 請求項１〜５のいずれか１項に記載の電子カメラにおいて、
   前記撮像手段は撮影用とシーン解析用に兼用されることを特徴とする電子カメラ。
7. 請求項１〜６のいずれか１項に記載の電子カメラにおいて、
   前記判定手段は、前記撮像手段から出力される画像データに基づいて構図変更の有無、もしくは構図変更の程度を判定することを特徴とする電子カメラ。

Images