JP6873816B2 - 撮像装置、撮像装置の制御方法、及びプログラム - Google Patents

Description

本発明は、撮影シーンを解析し、解析結果に応じて最適な撮影条件や効果を自動的に設定するシーン判別機能を有するデジタルカメラ等の撮像装置、撮像装置の制御方法及びプログラムに関する。

デジタルカメラ等の撮像装置では、カメラが自動的に撮影シーンを解析し、その解析結果に応じて最適な撮影条件や効果を設定するオートシーン判別機能を有するものが提案されている。

オートシーン判別機能を有するカメラは、絞りやシャッタスピード等の撮影条件や、コントラストや色味等の画質パラメータをユーザが意識することなく、自動的に各シーンに最適な設定を選択してくれる。そのため、ユーザは、撮りたい被写体にカメラを向けてシャッタボタンを押すだけで簡単に良好な画像を得ることが可能である。また、一般的にオートシーン判別モードでは、カメラが認識した撮影シーンをアイコン等でライブ画像上に表示し、ユーザに提示することを行うため、ユーザは、各種設定が各撮影シーンに最適化されているという安心感を明示的に得ることができる。

一方、オートシーン判別モードでは、カメラが自動的に画質を決定してしまうため、ユーザが自分好みの絵作りを楽しめないという課題があった。そこで近年では、オートシーン判別モードにおいても、ユーザがいくつかの画質パラメータを任意に変更することが可能なデジタルカメラが提案されている。

しかし、オートシーン判別機能とユーザによる画質調整を両立させると、シーン判別機能が選択する効果とユーザが設定した画像処理効果とが不整合を起こす可能性がある。

このような課題を解決するため、シーン判別結果に応じて、ユーザが設定できる画質パラメータの範囲を制限する技術が提案されている（特許文献１）。

米国特許第８８１７１５７号明細書

しかし、上記特許文献１のように、シーン判別結果に応じて、ユーザが設定できる画質パラメータの範囲を制限すると、ユーザの絵作りが可能な範囲が限定されてしまうという問題がある。

そこで、本発明は、シーン判別処理によって簡単に撮影シーンに最適な画質設定で撮影を行いつつ、ユーザ操作に基づく画質調整を反映させた撮影を行うことができる制御技術を提供することを目的とする。

上記目的を達成するため、本発明の撮像装置は、撮影シーンを自動的に判別し、判別結果に応じた効果が撮影画像に付与されるように撮像装置を制御するとともに、前記効果が付与された撮影画像をライブ表示させる制御手段を備える撮像装置であって、表示された撮影画像の画質を調整するユーザ操作を受け付ける調整手段を備え、前記制御手段は、前記撮影シーンの判別を更新する際、前記調整手段による調整内容に応じて、撮影シーンの判別処理を制限して制御することを特徴とする。

本発明によれば、シーン判別処理によって簡単に撮影シーンに最適な画質設定で撮影を行いつつ、ユーザ操作に基づく画質調整を反映させた撮影を行うことができる。

本発明の撮像装置の第１の実施形態であるデジタルカメラのシステム構成例を示すブロック図である。 シーンモードの種類と各シーンモードに応じて表示部のライブ画面上に表示するアイコン画像と各シーンモードに対する画像処理効果との関係を示す図である。 図２に示す各シーンモードに分類するためのシーン判別処理を説明するフローチャートである。 色相ヒストグラムの一例を示す図である。 表示部に表示される画質調整画面の一例を示す図である。 （ａ）は絞り値変更画面の一例を示す図、（ｂ）は彩度変更画面の一例を示す図である。 シーン判別処理とユーザ操作に基づく画像調整処理を両立させる処理を説明するフローチャートである。 効果競合判定処理の一例を示す図である。 効果競合判定処理の一例を示す図である。 効果競合判定処理の他の例を示す図である。 効果競合判定処理の他の例を示す図である。 本発明の撮像装置の第２の実施形態であるデジタルカメラにおいて、シーン判別処理とユーザ操作に基づく画像調整処理を両立させる処理を説明するフローチャートである。

以下、図面を参照して、本発明の実施形態を説明する。

（第１の実施形態）
図１は、本発明の撮像装置の第１の実施形態であるデジタルカメラのシステム構成例を示すブロック図である。

図１において、撮影光学系１は、は複数のレンズ群と絞り機構からなる撮影光学系であり、ズームレンズ１ａ、フォーカスレンズ１ｂを含む複数のレンズや絞り機構１ｃを有する。撮像素子２は、ＣＣＤセンサやＣＭＯＳセンサ等から構成され、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器を含む。撮像素子２のセンサ表面は、例えばベイヤー配列のようなＲＧＢカラーフィルタにより覆われ、カラー撮影が可能となっている。

撮影光学系１を通過した被写体像が撮像素子２の撮像面に結像されると、画像データ（画像信号）を生成して、メモリ３に記憶される。メモリ３は、撮像素子２によってＡ／Ｄ変換された画像信号やカメラ全般の処理に必要なデータを保持することができる。

画像処理回路４は、メモリ３に保持された画像信号に対して所定の画素補間処理や色変換処理、ノイズリダクション処理等の信号処理の他、オートシーン判別機能のための画像処理や判定処理も担う。また、画像処理回路４は、撮影待機中に撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて順次撮影条件を決定し、システム制御部５に撮影条件を通知する。

システム制御部５は、ＲＯＭ、ＲＡＭ、ＣＰＵ等を含み、カメラ全体の制御を司る。例えば、システム制御部５は、画像処理回路４が決定した撮影条件で撮影を行うためにシャッタ速度、絞り機構、フォーカスレンズ１ｂ及びズームレンズ１ａの制御を統括する。そして、システム制御部５は、露光量制御部６、フォーカスレンズ制御部７、及び焦点距離制御部８に対して指示を行う。また、システム制御部５は、ジャイロ（角速度）センサ１３からの出力信号に基づく画像処理回路４の解析結果を用いて防振制御等を行う。

露光量制御部６は、撮影光学系１の絞り機構１ｃ、撮像素子２の露光時間及び撮影感度を調整し、適切な露光量制御を行う。フォーカスレンズ制御部７は、撮影光学系１のフォーカスレンズ１ｂの駆動を制御する。焦点距離制御部８は、撮影光学系１のズームレンズ１ａの駆動を制御し、システム制御部５の指示に従って焦点距離を変更する。

圧縮・伸長回路９は、静止画をＪＰＥＧフォーマットに従って圧縮する機能、及び動画像をＨ.２６４/ＡＶＣに代表される圧縮アルゴリズムに従って圧縮し、ＭＰＥＧやＭＯＶファイル等に変換する機能を有する。圧縮・伸長回路９で生成された静止画や動画像は、記録媒体１０に記録される。また、圧縮・伸長回路９は、撮影された静止画や動画像を再生する場合は、逆に記録媒体１０に記録された圧縮後の動画像データを伸長し、メモリ３に保持すると共に、表示部１１に画像を表示する。

表示部１１は、カメラに内蔵されたＬＣＤや種々の外部モニタ等で構成され、画像を表示する。操作部材１２は、ユーザの入力を受け付ける部材であり、カメラに設けられた各種ボタンからのキー入力や表示部１１が備えるタッチパネル等からのユーザ操作を受け付ける。操作部材１２により受け付けたユーザ操作に従って、システム制御部５は、カメラの動作の決定や変更を行う。

次に、図２乃至図４を参照して、システム制御部５によるシーン判別処理の一例について説明する。

一般的なシーン判別処理は、撮影待機中において、撮影光学系１を通過し、撮像素子２にて受光した画像データを画像処理回路４によって解析し、現在の撮影シーンを予め定められたいくつかのシーンモードに分類する。

図２は、シーンモードの種類と各シーンモードに応じて表示部１１のライブ画面上に表示するアイコン画像と各シーンモードに対する画像処理効果との関係を示す図である。

図３は、図２に示す各シーンモードに分類するためのシーン判別処理を説明するフローチャートである。図３の各処理は、システム制御部５のＲＯＭ等に記憶されたプログラムがＲＡＭに展開されてＣＰＵ等により実行される。

図３において、ステップＳ３００では、システム制御部５は、撮影画像に所定以上の大きさを持つ顔が検出された場合、現在の撮影シーンを「人物」シーンに分類し、ステップＳ３０１に進む。ここで、顔検出アルゴリズムの詳細については、画像内から複数の特徴点を検出し、各特徴点の位置関係や特徴点領域の輝度情報から人物の顔と思しき領域を判別する公知の方法などが考えられる。

ステップＳ３０１では、システム制御部５は、フォーカスレンズ制御部７によって定められたフォーカスレンズ位置に基づき、現在撮影しようとしている被写体が近接距離（マクロ領域）に存在するか否かを判定する。そして、システム制御部５は、フォーカスレンズ１ｂが近接被写体にピントを合わせている状態の場合、現在の撮影シーンを「マクロ」シーンに分類し、ステップＳ３０２に進む。

ステップＳ３０２では、システム制御部５は、露光量制御部６により、被写体が適切な明るさで撮影できるように絞り・シャッタスピード・撮像素子２の感度が調節された露光量制御情報と画像データの信号量（明るさ）に基づき、撮影シーンの入射光量を判定する。そして、システム制御部５は、入射光量が所定量よりも小さい（暗い）シーンと判定した場合、現在のシーンを「夜景」シーンに分類し、ステップＳ３０３に進む。

ステップＳ３０３では、システム制御部５は、撮像素子２で受光し、メモリ３に保持されている画像データを複数の小領域（エリア）に分類し、各エリア内での平均のＲＧＢ値から次式（１）を用いて色相（Ｈｕｅ）を算出し、該当ブロックの代表的な色相とする。次式（１）は、ＲＧＢ値から色相Ｈを計算する一般的な式であり、ＲＧＢのうち最大値をＭＡＸ、最小値をＭＩＮとして、０〜３６０の値を取る。ただし、ＭＩＮ＝ＭＡＸのときは定義されない。

同様にして、システム制御部５は、すべてのエリアの色相を求め、図４に示すような色相のヒストグラムを生成する。

そして、システム制御部５は、図４のヒストグラムから青空領域（Ｂ）のヒストグラムの和を求め、求めたヒストグラムの和がヒストグラム全体のＮ％以上を占める場合に、現在の撮影シーンを「青空」シーンに分類する。同様にして、システム制御部５は、図４のヒストグラムから夕景領域（Ａ）のヒストグラムの和を求め、求めたヒストグラムの和がヒストグラム全体のＭ％以上を占める場合に、現在の撮影シーンを「夕景」シーンに分類する。

このようにして、システム制御部５は、現在のシーンを図２のシーンモードのいずれかに判別して分類すると共に、判別結果に応じて画像処理回路４における画像処理パラメータや露光量制御部６の設定を最適に制御する。なお、前述したいずれの判別条件にも該当しない場合は、システム制御部５は、図２の「ＡＵＴＯ」のアイコン画像をライブ画面上に表示し、特別な制御は行わない。

次に、図５及び図６を参照して、操作部材１２でのユーザ操作に基づく露出補正、彩度調整、コントラスト補正、ホワイトバランス調整等の画質調整処理について説明する。

図５は、表示部１１に表示される画質調整画面の一例を示す図である。本実施形態では、絞り・露出補正・彩度、色合い、コントラストを変更可能なシステムについて考える。

図５において、シーンアイコン１０６は、図２に示したシーン判別結果を示すアイコンである。ボタンアイコン１００は、画質調整画面を閉じるボタンであり、ユーザ操作による画像編集を終了し、通常のライブ表示画面へと戻るためのボタンである。ボタンアイコン１０１〜１０５は、各種画質パラメータの編集ボタンであり、いずれかのボタンアイコンをタッチする、あるいはキー操作によって選択すると、各種パラメータの個別変更画面へと遷移する。以下にいくつかの編集操作について例示する。

図６（ａ）は、図５のボタンアイコン１０１を選択した場合の、絞り値変更画面の一例を示す図である。図６（ａ）では、初期値として現在の絞り値に相当するスライダ位置が設定され、ユーザがスライダ２００のスライド位置を変更することにより、絞り値を任意の値に変更することが可能である。ユーザの絞り値指定入力を受け付けると、システム制御部５は、露光量制御部６を介して撮影光学系１の絞り機構１ｃをユーザが設定した絞り値へとリアルタイムに変更する。これにより、ユーザは、撮影待機中に任意の絞り値での画質を確認することが可能になる。

図６（ｂ）は、図５のボタンアイコン１０３を選択した場合の、彩度の変更画面の一例を示す図である。図６（ｂ）では、図６（ａ）で説明した絞り値と同様の操作によって画像の鮮やかさをコントロールすることができ、スライダ２００を＋方向に動かすことによって彩度を上げることも、スライダ２００を−方向に動かすことによって彩度を下げることも可能である。なお、図６（ｂ）に示すように、スライダ２００を−（マイナス）方向の端に向けて移動させて、最終的に無彩色（モノクロ）の画像にすることも可能である。システム制御部５は、ユーザの彩度設定入力を受け付けると、画像処理回路４における画像処理のパラメータを変更する。

なお、詳細は省略するが、図５の明るさ、色合い、コントラストについても同様の画面構成によってユーザが画質を調整することが可能である。これにより、ユーザは、ライブ画面上で撮影後の画質のシミュレーションを行うことができる。

次に、図７及び図８を参照して、シーン判別処理と操作部材１２でのユーザ操作に基づく画質調整処理の両立について説明する。前述したように、シーン判別処理は、撮影待機中に順次撮影シーンを解析し、最適な画像処理効果や撮影設定を選択する。また、ユーザは、シーン判別処理による効果が加えられた画質に対して、操作部材１２でのユーザ操作に基づく画質調整処理により好みの画質調整を加えることが可能である。

しかしながら、例えば図２の「マクロ」シーンのように、シーン判別処理による「絞りを開く」という効果と、操作部材１２でのユーザ操作に基づき設定された絞り値とが競合する懸念がある。そこで、本実施形態では、次のようにして、シーン判別処理とユーザ設定に基づく画像調整処理を違和感なく両立させる。

図７は、シーン判別処理とユーザ操作に基づく画像調整処理を両立させる処理を説明するフローチャートである。図７の各処理は、システム制御部５のＲＯＭ等に記憶されたプログラムがＲＡＭに展開されてＣＰＵ等により実行される。

図７において、ステップＳ７００では、システム制御部５は、図３で説明したシーン判別処理を開始し、ステップＳ７０１に進む。ステップＳ７０１では、システム制御部５は、ユーザ操作に基づく画質調整処理が指示されたか否かを判定し、指示された場合は、ステップＳ７０２に進み、指示されなければ、ステップＳ７００に戻り、シーン判別処理を継続する。

ステップＳ７０２では、システム制御部５は、現在のシーン判別処理の判別結果とユーザ操作により指定した画質調整パラメータに基づき、効果競合判定処理を実行する。そして、システム制御部５は、効果競合判定結果に従って、ステップＳ７０３、ステップＳ７０４及びステップＳ７０５のいずれかの処理に移行する。

ここで、図８乃至図１０を参照して、ステップＳ７０２における効果競合判定処理の具体例について説明する。

まず、図８（ａ）に示すように、「マクロ」シーンと判定されている状態でユーザ操作により絞り値が変更された場合を考える。図２の「マクロ」シーンの効果に従えば、絞り値（Ｆ値）をなるべく開放に設定して撮影する。しかしながら、ユーザが絞り値を「絞る」側に変更操作した場合は、シーン判別処理の効果よりもユーザ操作による調整内容を優先し、ユーザの指定した絞り値に絞りを設定するが、現在表示している「マクロ」アイコン画像の意図する効果と整合しなくなる。

このため、システム制御部５は、「マクロ」アイコン画像を「ＡＵＴＯ」アイコン画像に更新する。このように、現在のシーン判別処理の効果をユーザ操作による入力によって解除し、シーン判別処理及びアイコン画像の表示を更新する処理をステップＳ７０３の「シーンアイコン変更」とする。

「シーンアイコン変更」の他の処理方法として、例えば図９に示すように、シーンアイコン画像の表現方法を変更することによって、シーン判別処理による画像処理効果がユーザ操作による設定によって変更されていることをユーザに伝える方法もある。この場合、図９に示す効果変更中のアイコン画像の表示は、ユーザ操作による画質パラメータの設定が解除されるか、シーン判別処理によって「マクロ」シーンとは異なるシーンに変化するまで固定とする。

一方、図８（ｂ）に示すように、ユーザ操作により指定された絞り値が所定の絞り値よりも「開く」側の設定であった場合、システム制御部５は、現在表示している「マクロ」シーンの効果とユーザが指定している絞り値とは整合すると判断する。そして、システム制御部５は、「マクロ」アイコン画像を継続して表示し、これをステップＳ７０４の「変更なし」とする。

次に、図８（ｃ）に示すように、「マクロ」シーンに該当しない被写体を撮影している状態で、ユーザによって絞り値の調整量が所定値以上「絞る」側に設定された場合について説明する。この場合、ユーザによって絞り値が所定値以上「絞る」側に設定された時点でシーン判別結果とユーザ操作による絞り値設定とは整合している。しかし、システム制御部５は、以後「マクロ」シーンと判別されないように、シーン判別処理の判別アルゴリムに対して制限を加える。

これにより、図８（ｃ）に示すように、その後「マクロ」シーンと判定されるべき被写体を撮影したとしても、「マクロ」シーンと判定されなくなる。このように、ユーザ操作により指定された設定値に応じて、シーン判別処理の少なくとも一部を制限する処理をステップＳ７０５の「シーン判別制限」とする。

次に、図１０及び図１１を参照して、ステップＳ７０２における効果競合判定処理の他の具体例について説明する。

図１０は、シーン判別処理により「夜景」シーンと判別されている状態で、ユーザ操作により「明るさ」のパラメータが変更された場合を示している。図２に従えば、「夜景」シーンの効果は「夜景に露出を最適化」することであるが、ユーザ操作による明るさ変更の調整量によっては、シーン判別処理が意図する明るさにならない可能性がある。

よって、システム制御部５は、ユーザ操作による明るさ設定の調整量が＋方向に所定量以上の場合に、ステップＳ７０３で現在「夜景」と判定されているシーン判別結果を「ＡＵＴＯ」アイコン画像に変更する。又は、システム制御部５は、以後「夜景」シーンと判定されないように、ステップＳ７０５でシーン判別処理の一部を制限する。

図１１は、シーン判別処理により「青空」シーンと判別されている状態で、ユーザ操作により「彩度」パラメータが変更された場合を示している。図２に従えば、「青空」シーンの効果は「青空を色鮮やかに」することであり、ユーザ操作による彩度変更によって、例えば彩度が−（マイナス）方向に設定され、図６（ｂ）で示したように無彩色（モノクロ）に設定される場合がある。この場合、シーン判別結果が「青空」であるにも関わらず、表示されている画像はモノクロとなるという矛盾が生じる可能性がある。

よって、システム制御部５は、ユーザ操作により設定された彩度に応じて、シーン判別結果を変更又はシーン判別処理の一部を制限する。例えば、システム制御部５は、ユーザ操作により設定された彩度のパラメータの変更量が−（マイナス）方向に所定量以上の場合に、ステップＳ７０３で現在「青空」と判定されているシーン判別結果を「ＡＵＴＯ」アイコン画像に変更する。又は、システム制御部５は、以後「青空」シーンと判定されないように、ステップＳ７０５でシーン判別処理の一部を制限する。なお、図２の「夕景」シーンにおいても同様の問題が生じる可能性があるが、同様の対処方法で解決可能なため、説明は省略する。

以上説明したように、本実施形態では、シーン判別処理とユーザ操作に基づく画質調整処理を違和感なく両立させることができる。これにより、ユーザは、シーン判別処理の判別結果に応じた高画質な画像を付与することができる一方で、自分好みの画質調整を撮影画像に反映させることができる。

（第２の実施形態）
次に、図１２等を参照して、本発明の撮像装置の第２の実施形態であるデジタルカメラについて説明する。本実施形態では、上記第１の実施形態と重複する部分については、図及び符号を流用して説明する。

図１２は、シーン判別処理とユーザ操作に基づく画像調整処理を両立させる処理を説明するフローチャートである。図１２のステップＳ１２００〜Ｓ１２０２、Ｓ１２０４及びＳ１２０５の処理は、上記第１の実施形態（図７）のステップＳ７００〜Ｓ７０２、Ｓ７０４及びＳ７０５の処理と同様であるため、ステップＳ１２０３についてのみ説明する。

図８（ａ）又は図８（ｂ）に示すように「マクロ」シーンと判定されている状態でユーザ操作により絞り値が変更された場合を例に採って説明する。この場合、前述したように、図２の「マクロ」シーンの効果とユーザ操作により設定された絞り値が整合しない。このため、図７のステップＳ７０３の説明と同様に、シーン判別処理の効果よりユーザ操作による設定を優先し、絞りをユーザ操作により指定された絞り値に設定する。

ここで、図１２のステップＳ１２０３では、システム制御部５は、シーンアイコン画像の変更処理は行わず、内部的に効果（絞り値）のみを変更し、シーンアイコン画像は「マクロ」アイコンを表示し続ける。

これは、図７のステップＳ７０３のように、ユーザ操作による設定（絞り値の変更）に応じて適宜シーンアイコン画像を変更した際の画面遷移のチラつきを危惧する場合に有効である。図７のステップＳ７０３を選択するか図１２のステップＳ１２０３を選択するかは、カメラの設計方針に沿って決定する。その他の構成及び作用効果は、上記第１の実施形態と同様である。

なお、本発明は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、本発明は、上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ 撮影光学系
２ 撮像素子
３ メモリ
４ 画像処理回路
５ システム制御部
６ 露光量制御部
１１ 表示部
１２ 操作部材

Claims (9)

1. 撮影シーンを自動的に判別し、判別結果に応じた効果が撮影画像に付与されるように撮像装置を制御するとともに、前記効果が付与された撮影画像をライブ表示させる制御手段を備える撮像装置であって、
   表示された撮影画像の画質を調整するユーザ操作を受け付ける調整手段を備え、
   前記制御手段は、前記撮影シーンの判別を更新する際、前記調整手段による調整内容に応じて、撮影シーンの判別処理を制限して制御することを特徴とする撮像装置。
2. 前記調整手段は、露出補正、彩度調整、コントラスト補正、ホワイトバランス調整に用いられるパラメータのうちの少なくとも一つを調整することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、撮影シーンの判別結果と前記ユーザ操作による画質調整の効果とが整合する場合、撮影シーンの判別処理を制限することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記制御手段は、前記ユーザ操作による画質調整の調整量が所定値以上の場合、撮影シーンの判別処理を制限することを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
5. 前記制御手段は、前記判別結果をユーザに通知することを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。
6. 前記制御手段は、前記判別結果に応じてあらかじめ定められたアイコン画像を、前記撮影画像とともに表示して前記ユーザに通知することを特徴とする請求項５に記載の撮像装置。
7. 前記制御手段は、前記撮影シーンの前記判別結果をユーザに通知する前に前記ユーザ操作による前記画質調整がされた場合に、調整された画質に応じて撮影シーンの判別処理を制限することを特徴とする請求項１に記載の撮像装置。
8. 撮影シーンを自動的に判別し、判別結果に応じた効果が撮影画像に付与されるように撮像装置を制御するとともに、前記効果が付与された撮影画像をライブ表示させる制御ステップと、
   表示された撮影画像の画質を調整するユーザ操作を受け付ける調整ステップと、を備え、
   前記制御ステップは、前記撮影シーンの判別を更新する際、前記調整ステップでの調整内容に応じて、撮影シーンの判別処理を制限して制御することを特徴とする撮像装置の制御方法。
9. 請求項８に記載の撮像装置の制御方法の各ステップをコンピュータに実行させることを特徴とするプログラム。

Images