JP7398884B2 - 撮像装置、発光制御装置、撮像方法、発光制御方法、及びプログラム - Google Patents

Description

本発明は、撮像装置、発光制御装置、撮像方法、発光制御方法、及びプログラムに関する。

従来より、被写体に光を照射させ、光量不足や被写体にかかる影を取り除いた画像を取得する、フラッシュ撮影が行われている。このようなフラッシュ撮影においては、不足している光量を補うことが可能となる一方、フラッシュ光が被写体自身に遮られることにより、元々あったものとは別の影が生み出されてしまう場合がある。このような問題に対し、複数の発光装置を用いて複数の方向から照明する撮影手法が知られている。このような撮影手法においては、複数の発光装置を使用して被写体を複数の方向から照明することで影の出方を調整することが可能となる。この時、発光装置の数を増やすほど照明の自由度が増すが、その分、複数の発光装置それぞれの光量を調整する必要があり、撮影に至るまでに時間がかかってしまうという問題があった。

このような問題に対し、例えば特許文献１は、複数の発光装置を複数の発光比率それぞれで発光させた場合に対応する複数の完成イメージを生成してユーザに提示し、ユーザが選択した完成イメージに対応する発光比率で発光して撮影を行う構成を開示している。

また、特許文献２は、複数の発光装置をそれぞれ発光させた複数の撮影を行い、得られた画像を後から重み合成することにより、好ましい配光の画像を生成する構成を開示している。

特開２０１０－００８８３２号公報 特開２００２－０２７３１６号公報

特許文献１によれば、発光装置の光量の調整にかかる時間をある程度短縮することが可能である。しかしながら、発光装置の数が増えるほど選択肢が増え、結果として撮影に至るまでに時間がかかってしまうという問題がある。また、特許文献２では、例えば被写体が動いていた場合、合成により違和感のある画像が生成される可能性がある。

本発明はこのような状況に鑑みてなされたものであり、複数の発光装置の発光パターンを自動的に選択する技術を提供することを目的とする。

上記課題を解決するために、本発明は、Ｎ個の発光装置（Ｎは２以上の整数）を発光させずに撮影を行うことにより第１の画像を取得し、前記Ｎ個の発光装置を１つずつ発光させて各発光装置の発光時に撮影を行うことによりＮ個の第２の画像を取得するように制御する制御手段と、前記Ｎ個の第２の画像の各々と前記第１の画像との間の差分に対応するＮ個の差分画像と、前記Ｎ個の差分画像のうちの２個以上の差分画像を合成するＭ個の合成パターン（Ｍは１以上の整数）に対応するＭ個の合成画像と、を含む複数の第３の画像を生成する生成手段と、前記複数の第３の画像の各々の画素値に基づく所定の選択基準に基づいて、前記複数の第３の画像のうちの１つを選択する選択手段と、を備え、前記制御手段は、前記Ｎ個の発光装置のうちの、前記選択された第３の画像を構成するＰ個の差分画像（Ｐは１以上Ｎ以下の整数）に対応するＰ個の第２の画像に対応するＰ個の発光装置を発光させて撮影を行うことにより第４の画像を取得するように制御し、前記選択手段は、前記複数の第３の画像の各々について、画素値が第１の閾値以下である影領域に基づく特徴量と、画素値が前記第１の閾値より大きい第２の閾値以上である光領域に基づく特徴量と、画素値が前記第２の閾値より大きい第３の閾値以上であるハイライト領域に基づく特徴量と、画素値のコントラストに基づく特徴量と、のうちの少なくとも１つを含むＱ個の特徴量（Ｑは２以上の整数）を算出し、前記複数の第３の画像の各々について、前記Ｑ個の特徴量を重み付け加算することにより合成特徴量を生成し、前記複数の第３の画像の各々の前記合成特徴量に基づいて、前記複数の第３の画像のうちの１つを選択することを特徴とする撮像装置を提供する。

本発明によれば、複数の発光装置の発光パターンを自動的に選択することが可能となる。

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

発光制御装置を備える撮像装置１００の基本構成を示すブロック図。 自動配光制御処理の例を説明するフローチャート。 影スコア及び光スコアの算出処理の例を説明するフローチャート。 非発光画像、発光画像、差分画像、及び合成画像の例を示す図。 合成画像の画素値を元に作成したヒストグラムの例を示す図。 係数α～ζを調整するためのＵＩを示す図。 撮影設定に応じた係数の調整方法を説明する図。 画面の領域分割を説明する図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図１は、発光制御装置を備える撮像装置１００の基本構成を示すブロック図である。撮像装置１００は、例えば、デジタルカメラ及びデジタルビデオカメラなどのカメラであってもよいし、カメラ付き携帯電話及びカメラ付きコンピュータなどの、カメラ機能を備える電子機器であってもよい。

光学系１０１は、レンズ群、シャッタ、絞りなどを備える結像光学系である。レンズ群は、手振れ等の補正を行う補正レンズやフォーカスレンズなどを含む。光学系１０１は、ＣＰＵ１０３の制御信号に従って、被写体光を撮像素子１０２に結像させる。撮像素子１０２は、ＣＣＤ（電荷結合素子）イメージセンサ、ＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサなどの撮像デバイスであり、光学系１０１を通して結像した光を光電変換により画像信号に変換する。

ＣＰＵ１０３は、メモリに予め記憶されたプログラムを実行することにより、入力信号などに従って撮像装置１００を構成する各部を制御する。一次記憶装置１０４は、例えばＲＡＭ（Random Access Memory）などの揮発性記憶装置であり、一時的なデータを記憶し、ＣＰＵ１０３のワークメモリとして使用される。一次記憶装置１０４に記憶されている情報は、画像処理部１０５により使用される場合もあるし、記録媒体１０６へ記録される場合もある。二次記憶装置１０７は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの不揮発性記憶装置である。二次記憶装置１０７には、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報が記憶されており、ＣＰＵ１０３によって利用される。

記録媒体１０６は、一次記憶装置１０４に記憶されている撮影画像データなどを記録する。また、記録媒体１０６は、例えば半導体メモリカードのような、撮像装置１００から取り外し可能な記録媒体であってもよい。記録媒体１０６に記録されたデータは、ＰＣ（パーソナルコンピュータ）などの外部機器に記録媒体１０６を装着することで、外部機器により読み出すことが可能である。つまり、撮像装置１００は、記録媒体１０６の着脱機構及び読み書き機能を有する。

表示部１０８は、撮影時のビューファインダ画像の表示、撮影画像の表示、対話的な操作のためのＧＵＩ（Graphical User Interface）画像などの表示を行う。操作部１０９は、ユーザ操作を受け付けて、ＣＰＵ１０３へ入力情報を伝達する入力デバイス群であり、例えばボタン、レバー、タッチパネルなどを備える。また、音声や視線などを用いた入力機器を操作に使用することもできる。

撮像装置１００は、画像処理部１０５が撮像画像に適用する画像処理のパターンを複数有しており、このパターンを撮影モードとして操作部１０９により設定可能である。画像処理部１０５は、いわゆる現像処理と呼ばれる画像処理をはじめとして、撮影モードに応じた色調の調整などの各種処理を行う。なお、画像処理部１０５の機能の少なくとも一部は、ＣＰＵ１０３がソフトウェア処理によって実現してもよい。

発光部１１０は、被写体又は周辺に対して光を照射する。発光部１１０は、複数の発光装置を備え、各発光装置は発光・非発光を独立して制御可能である。なお、図１においては撮像装置１００の一部として発光部１１０を記載しているが、例えば発光部１１０を外部ユニットとして用意しておき、図中に表記しない通信ユニット等により、発光部１１０を制御することも可能である。

図２は、自動配光制御処理の例を説明するフローチャートである。例えば、ユーザが、操作部１０９を介して撮像装置１００の自動配光設定を有効化した後に、操作部１０９を介して撮像装置１００に対して撮影指示を行うと、本フローチャートの処理が開始する。

Ｓ２００で、ＣＰＵ１０３は、発光画像の取得を行う。発光画像とは、発光部１１０が備える複数の発光装置のうちの少なくとも１つを発光させて撮影を行うことにより生成される画像を意味する。ここでは、複数の発光装置をそれぞれ単独で発光させた場合に対応する複数の発光画像の取得を行う。また、ＣＰＵ１０３は、非発光画像の取得も行う。非発光画像とは、複数の発光装置をいずれも発光させずに撮影を行うことにより生成される画像を意味する。

以下の説明では、一例として、発光部１１０が、被写体に対して上下左右の四方向から照明するように配置された４つの発光装置を備えるものとする。この場合、図４のように、非発光画像Ａと、上下左右それぞれの方向からの照明に対応する４つの発光画像（上側発光画像Ｂ、下側発光画像Ｃ、左側発光画像Ｄ、右側発光画像Ｅ）とが得られる。非発光画像Ａ及び４つの発光画像を取得するための撮影においては、共通の露出設定が使用される。

なお、発光装置の配置は撮像装置１００の上下左右の四方向に限られるものではなく、例えば撮像装置１００から離れた複数の位置に設置した発光装置を用いることも可能である。また、発光装置の照射対象は必ずしも被写体である必要はなく、背景を照明するための発光装置を用意することも可能である。また、各発光装置は、１つの放電管を光源としてもよいし、１つ以上のＬＥＤを光源としてもよい。また、複数の発光装置が単一の機器に設けられていて、かつ、各発光装置が複数の光源を有している構成では、一部の光源が複数の発光装置で共有されていてもよい。例えば複数のＬＥＤがリング状に配置されたストロボ装置において、上側に位置するＬＥＤを発光させることを上側の発光装置の発光に対応させ、右側に位置するＬＥＤを発光させることを右側の発光装置の発光に対応させるとする。このとき、右上に位置するＬＥＤを、上側の発光装置のみを発光させるときと右側の発光装置のみを発光させるときの両方で発光させてもよい。

Ｓ２０１で、ＣＰＵ１０３は、差分画像の生成を行う。図４を参照して、差分画像生成処理を説明する。ＣＰＵ１０３は、下記の式１に従って画素毎に上側発光画像Ｂから非発光画像Ａを減算することで、差分画像Ｆを生成する。

Ｖｆ＝Ｖｂ－Ｖａ ・・・（１）

ここで、Ｖａは非発光画像Ａの画素値、Ｖｂは上側発光画像Ｂの画素値、Ｖｆは差分画像Ｆの画素値である。

同様に、ＣＰＵ１０３は、他の方向から照明した発光画像それぞれから非発光画像Ａを減算することにより、差分画像Ｇ～Ｉを生成する。なお、手振れの影響を考慮し、非発光画像Ａと各発光画像とを位置合わせしてから差分画像を生成するための演算を行ってもよい。

なお、差分画像の生成、及び以降の処理に関しては、必ずしも元の解像度で行う必要はない。例えば、ＣＰＵ１０３は、非発光画像及び各発光画像を所定の比率で縮小した後に、差分画像を生成してもよい。或いは、ＣＰＵ１０３は、非発光画像及び各発光画像を複数のブロックに分割し、ブロック内の輝度値の平均値をそのブロックの画素値として算出し、対応するブロック同士の差分を求めることにより差分画像を生成してもよい。

Ｓ２０２で、ＣＰＵ１０３は、差分画像の加算処理により合成画像を生成する。加算処理においては、ＣＰＵ１０３は、例えば差分画像Ｆに差分画像Ｇを加算することにより、合成画像Ｊを生成する。合成画像Ｊは、上側及び下側から照明する２つの発光装置を発光させた場合に対応する、光の当たり方、及び影の出方を示している。合成画像Ｊにおいては、下側からの照明により差分画像Ｇに発生していた被写体の影領域ｘに、上側からの照明が足されるため、影領域ｙのように影が薄くなっている。

合成画像Ｊは、差分画像Ｆ及び差分画像Ｇの２つの差分画像を合成したものに相当するが、他の２つの差分画像を合成したり、３つ又は４つの差分画像を合成したりすることも可能である。上下左右の方向に対応する４つの発光画像について、合成対象と［する／しない］を切り替えながら加算していくことにより、合成画像Ｊを含めて全部で１１個（_４Ｃ_２＋_４Ｃ_３＋_４Ｃ_４）の合成画像を生成することができる。また、差分画像Ｆ～Ｉについては、合成処理（加算処理）は行われていないが、便宜上合成画像として扱うと、全部で１５個の合成画像が得られる。

これら１５個の合成画像は、上下左右の各方向から照明する４つの発光装置について発光［する／しない］を切り替えた場合（全ての発光装置を発光しない場合を除く）に加わる光に相当する。即ち、どの方向からの光も当たらない領域は画素値が０に近いものとなり、光が当たる量が多いほど画素値が高いものとなっていく。

なお、合成画像の生成に関しては、必ずしも差分画像の全ての組み合わせ（合成パターン）に対応する合成画像を生成する必要はない。例えば、発光部１１０がＮ個の発光装置（Ｎは２以上の整数）を備え、Ｎ個の差分画像が取得された場合を考える。この場合、ＣＰＵ１０３は、Ｎ個の差分画像のうちの２個以上の差分画像を合成するＭ個の合成パターン（Ｍは１以上の整数）に対応するＭ個の合成画像を生成すればよい。上述の例のように、Ｎ＝４であって、差分画像の全ての組み合わせ（合成パターン）に対応する合成画像を生成する場合には、Ｍ＝１１となる。そして４個の差分画像も便宜上合成画像として扱われるので、全部で１５個の合成画像が得られる。

Ｓ２０３で、ＣＰＵ１０３は、影スコア及び光スコアの算出を行う。図３は、影スコア及び光スコアの算出処理の例を説明するフローチャートである。Ｓ３０１～Ｓ３０３は影スコアの算出に対応し、Ｓ３０４～Ｓ３０６は光スコアの算出に対応する。

図３の処理は、複数の合成画像の各々について行われる。即ち、図２のＳ２０２において１５個の合成画像が生成された場合には、各画像に対応する全部で１５組の影スコア及び光スコアが算出される。

Ｓ３０１で、ＣＰＵ１０３は、影面積スコアの算出を行う。ここでは、予め定められた、影として判定するための閾値Ｔｈ＿ｓが使用される。ＣＰＵ１０３は、合成画像において画素値（加わった光の量に相当）がＴｈ＿ｓ以下（閾値以下）となる画素数をカウントすることにより、影面積スコアを算出する。従って、影面積スコアは、発光装置の光が当たっていない、又は僅かしか当たっていない領域（影領域）の面積に相当する。即ち、影領域の面積が小さいほど影面積スコアは小さくなり、影領域の面積が大きいほど影面積スコアは大きくなる。

Ｓ３０２で、ＣＰＵ１０３は、影強度スコアの算出を行う。ここでは、合成画像において画素値（加わった光の量に相当）がＴｈ＿ｓ以下となる領域（影領域）に関して、（Ｔｈ＿ｓ－画素値）の平均値を算出することで、影強度スコアが算出される。従って、影領域の影の強度が弱いほど（大きい画素値の割合が大きいほど）影強度スコアは小さくなり、影領域の影の強度が強いほど（小さい画素値の割合が大きいほど）影強度スコアは大きくなる。

Ｓ３０３で、ＣＰＵ１０３は、Ｓ３０１及びＳ３０２において算出された影面積スコア及び影強度スコアに基づいて、影スコアを算出する。例えば、影領域の面積が小さく、影の強度が弱いほど影スコアを高く算出したいような場合には、ＣＰＵ１０３は、下記の式２に従って影スコアＳを算出する。

Ｓ＝（－Ｓｓ）×α＋（－Ｓｖ）×β ・・・（２）

ここで、Ｓｓは影面積スコア、Ｓｖは影強度スコアである。係数α，βに関しては、予め実験などにより求められた値を使用したり、後述の第３の実施形態において説明するように、ユーザ設定により変化する値を使用したりすることが可能である。

Ｓ３０４で、ＣＰＵ１０３は、光面積スコアの算出を行う。Ｓ３０１の影面積スコアの算出においては、合成画像において画素値がＴｈ＿ｓ以下となる画素数をカウントしたが、光面積スコアの算出においては、例えば合成画像において画素値がＴｈ＿ｌ以上（Ｔｈ＿ｌはＴｈ＿ｓより大きい）となる画素数をカウントする。従って、光面積スコアは、発光装置の光が一定以上の当たっている領域（光領域）の面積に相当する。即ち、光領域の面積が小さいほど光面積スコアは小さくなり、光領域の面積が大きいほど光面積スコアは大きくなる。

Ｓ３０５で、ＣＰＵ１０３は、光強度スコアの算出を行う。Ｓ３０２の影強度スコアの算出においては、影領域に関して（Ｔｈ＿ｓ－画素値）の平均値を算出したが、光強度スコアの算出においては、例えば合成画像において画素値がＴｈ＿ｌ以上となる領域に関して、（画素値－Ｔｈ＿ｌ）の平均値を算出する。従って、光領域の光の強度が弱いほど（小さい画素値の割合が大きいほど）光強度スコアは小さくなり、光領域の光の強度が強いほど（大きい画素値の割合が大きいほど）光強度スコアは大きくなる。

Ｓ３０６で、ＣＰＵ１０３は、Ｓ３０４及びＳ３０５において算出された光面積スコア及び光強度スコアに基づいて、光スコアを算出する。例えば、光領域の面積が大きく、光の強度が強いほど光スコアを高く算出したいような場合には、ＣＰＵ１０３は、下記の式３に従って光スコアＬを算出する。

Ｌ＝Ｌｓ×γ＋Ｌｖ×δ ・・・（３）

ここで、Ｌｓは光面積スコア、Ｌｖは光強度スコアである。係数γ，δに関しては、前述の係数α，βと同様に、予め実験などにより求められた値を使用したり、後述の第３の実施形態において説明するように、ユーザ設定により変化する値を使用したりすることが可能である。

全ての合成画像について影スコアＳ及び光スコアＬの算出が完了すると、図２のＳ２０４で、ＣＰＵ１０３は、各々の合成画像の影スコアＳ及び光スコアＬに基づいて１つの合成画像を選択することにより、発光パターンを選択する。例えば、ＣＰＵ１０３は、Ｓ＋Ｌが最大となる合成画像を構成するＰ個の差分画像（Ｐは１以上Ｎ以下の整数）に対応するＰ個の発光画像に対応するＰ個の発光装置が発光する発光パターンを選択する。例えば、合成画像ＪのＳ＋Ｌが最大である場合、上側及び下側の発光装置が発光する発光パターンが選択される。同様に、差分画像ＨのＳ＋Ｌが最大である場合、左側の発光装置が発光する発光パターンが選択される（前述の通り、差分画像Ｆ～Ｉも合成画像として扱われる）。

Ｓ２０５で、ＣＰＵ１０３は、Ｓ２０４において選択された発光パターンに従って、発光部１１０の発光制御を行う。また、ＣＰＵ１０３は、発光制御に合わせて撮影（本撮影）を行うことにより、本画像を生成する。

以上説明したように、第１の実施形態によれば、撮像装置１００は、Ｎ個の発光装置をいずれも発光させずに撮影を行うことにより非発光画像を取得し、Ｎ個の発光装置を１つずつ発光させて各発光装置の発光時に撮影を行うことによりＮ個の発光画像を取得する。そして、撮像装置１００は、非発光画像とＮ個の発光画像とに基づいて、複数の合成画像を生成する。複数の合成画像は、Ｎ個の発光画像の各々と非発光画像との間の差分に対応するＮ個の差分画像（便宜上合成画像として扱われる）と、Ｎ個の差分画像のうちの２個以上の差分画像を合成するＭ個の合成パターンに対応するＭ個の合成画像とを含む。そして、撮像装置１００は、各合成画像の影スコアＳ及び光スコアＬに基づいて、複数の合成画像のうちの１つを選択する。そして、撮像装置１００は、Ｎ個の発光装置のうちの、選択された合成画像を構成するＰ個の差分画像に対応するＰ個の発光画像に対応するＰ個の発光装置を発光させて撮影を行うことにより本画像を取得する。従って、本実施形態によれば、複数の発光装置の発光パターンを自動的に選択することが可能である。

なお、上の説明では、合成画像の選択基準として影スコア及び光スコアを挙げたが、選択基準はこれに限定されない。一般化すると、撮像装置１００は、複数の合成画像の各々の画素値に基づいて、複数の合成画像のうちの１つを選択すればよい。複数の合成画像の各々の影スコア及び光スコアのような特徴量に基づいて１つの合成画像を選択する構成は、複数の合成画像の各々の画素値に基づいて１つの合成画像を選択する構成の一例に過ぎない。

また、特徴量は影スコア及び光スコアに限定されない。例えば、特徴量として、影スコア及び光スコアのうちの一方のみを使用してもよいし、影面積スコア、影強度スコア、光面積スコア、及び光強度スコアのうちの１以上のものを使用してもよい。一般化すると、撮像装置１００は、各合成画像についてＱ個の特徴量（Ｑは１以上の整数）を算出し、各合成画像のＱ個の特徴量に基づいて１つの合成画像を選択する。Ｑ個の特徴量は、影領域に基づく特徴量（例えば、影面積スコア及び影強度スコアのうちの少なくとも一方）、及び光領域に基づく特徴量（例えば、光面積スコア及び光強度スコアのうちの少なくとも一方）のうちの少なくとも１つを含んでもよい。しかし、Ｑ個の特徴量はこれらに限定される訳ではなく、例えば、ハイライト領域に基づく特徴量（例えば、第２の実施形態において後述するハイライトスコア）を含んでもよい。或いは、Ｑ個の特徴量は、画素値のコントラストに基づく特徴量（例えば、第２の実施形態において後述するコントラストスコア）を含んでもよい。

また、合成画像の生成に関しては、各差分画像に様々な係数を乗じることにより、発光装置の発光量の調整をシミュレートしてもよい。例えば、ＣＰＵ１０３は、下記の式４に従って画素毎に差分画像Ｆ～Ｈを加算する。

Ｖｚ＝Ｖｆ＋０．５Ｖｇ＋０．５Ｖｈ ・・・（４）

ここで、Ｖｆは差分画像Ｆの画素値、Ｖｇは差分画像Ｇの画素値、Ｖｈは差分画像Ｈの画素値である。式４により得られる画素値Ｖｚに対応する合成画像は、上側の発光量を１（１００％）、下側及び左側の発光量を０．５（５０％）とした場合に加わる光に相当する。差分画像Ｆ～Ｉを様々な発光量（係数）の組み合わせに従って合成することにより、様々な発光パターンに対応する複数の合成画像を生成する。換言すると、上述したＭ個の合成パターンは、合成対象である２個以上の差分画像のうちの特定の差分画像に０より大きく１より小さい特定の係数を乗じる特定の合成パターンを含んでもよい。図２のＳ２０４において選択された合成画像がこのような合成パターンに対応する場合を考える。この場合、Ｓ２０５で、ＣＰＵ１０３は、係数が乗じられた差分画像に対応する発光画像に対応する発光装置の発光量を、この特定の係数に従って調整する。これにより、発光の有無だけではなく発光量も含めて、複数の発光装置の発光パターンを自動的に選択することが可能となる。

また、発光装置をＬＥＤ等の継続的に発光可能なものとすることにより、選択された発光パターンの画像を確認しながらユーザは画角を調整したりすることが可能となる。

［第２の実施形態］
第２の実施形態では、図２のＳ２０３で示した影スコア及び光スコアの算出、並びにＳ２０４で示した発光パターンの選択に関する変形例について説明する。本実施形態では、影スコア及び光スコアに加えて、ハイライト領域に基づく特徴量と、画素値のコントラストに基づく特徴量とを使用する。

なお、第２の実施形態において、撮像装置１００の基本的な構成は第１の実施形態と同様である。以下、主に第１の実施形態と異なる点について説明する。

図５は、合成画像の画素値を元に作成したヒストグラムの例を示す図である。まず、図５（Ａ）を参照して、ハイライト領域に基づく特徴量（ハイライトスコア）に関して説明する。

フラッシュ光を被写体に照明した際、被写体の形状によってはフラッシュ光が正反射することにより、被写体の一部だけが光って写る場合がある。このような現象が発生しているかどうかを判定するため、例えば図５（Ａ）のように、ある閾値Ｔｈ（ＴｈはＴｈ＿ｌより大きい）を定め、その閾値以上の画素値を有する画素数からハイライトスコアを算出することが可能である。ここで、ヒストグラムにおいて、ハイライトが発生している場合、図５（Ａ）中のＸで示したようなハイライト部以外の画素値の分布に対して、Ｙで示したように部分的に大きな値となる塊が発生することがある。そのため、例えばヒストグラムの高輝度側に存在する塊を分離する画素値として閾値Ｔｈを設け、Ｔｈ以上の画素数Ｙを元に、

Ｈ＝（－Ｙ）×ε ・・・（５）

を演算することによりハイライトスコアＨを算出可能である。なお、係数εに関しては、前述の係数α，βと同様に、予め実験などにより求められた値を使用したり、後述の第３の実施形態において説明するように、ユーザ設定により変化する値を使用したりすることが可能である。

次に、図５（Ｂ）を参照して、画素値のコントラストに基づく特徴量（コントラストスコア）に関して説明する。好ましい配光（発光パターン）を判定する指標の１つとして、画像中の明暗差を示すコントラストを算出することが可能である。そこで、どの程度明暗差があるかを判定するため、例えば図５（Ｂ）のように、画素値の低い側、及び高い側から頻度をカウントしていく。そして、画素値の低い側のカウント数がＥ％（第１の割合）となる画素値Ｚｅ（第１の画素値）と、画素値の高い側のカウント数がＦ％（第２の割合）となる画素値Ｚｆ（第２の画素値）とを算出する。即ち、画素値Ｚｅ以下（第１の画素値以下）の画素値を持つ画素の割合がＥ％（第１の割合）であり、画素値Ｚｆ以上（第２の画素値以上）の画素値を持つ画素の割合がＦ％（第２の割合）である。

このようにして算出された画素値Ｚｅ，Ｚｆを元に、

Ｃ＝（Ｚｆ－Ｚｅ）×ζ ・・・（６）

を演算することによりコントラストスコアＣを算出可能である。なお、係数ζに関しては、前述の係数α，βと同様に、予め実験などにより求められた値を使用したり、後述の第３の実施形態において説明するように、ユーザ設定により変化する値を使用したりすることが可能である。

このように算出されたハイライトスコアＨ、コントラストスコアＣを元に、Ｓ２０４において発光パターンの選択を行うことが可能である。例えば、ＣＰＵ１０３は、Ｓ＋Ｌ＋Ｈ＋Ｃが最大となる合成画像を構成するＰ個の差分画像（Ｐは１以上Ｎ以下の整数）に対応するＰ個の発光画像に対応するＰ個の発光装置が発光する発光パターンを選択する。

なお、ハイライトスコア及びコントラストスコアに関しては、最終的な見た目を考慮するため、図４の合成画像Ｊに元の非発光画像Ａを再度加えた、最終画像相当のものから画素値のヒストグラムを算出することも可能である。

このように、第２の実施形態によれば、ハイライト領域に基づく特徴量、及び画素値のコントラストに基づく特徴量として、ハイライトスコア及びコントラストスコアを使用することが可能である。

［第３の実施形態］
第３の実施形態では、２以上の特徴量の各々の重みを決定する構成について説明する。例えば、第１の実施形態で説明した影スコアＳ及び光スコアＬの加算（Ｓ＋Ｌ）については、係数α，β，γ，δの働きにより、複数の特徴量の重み付け加算が行われている。従って、発光パターンの選択（合成画像の選択）は、複数の特徴量の重み付け加算により生成される合成特徴量（Ｓ＋Ｌ）に基づいて行われている。この点は、第２の実施形態において説明したＳ＋Ｌ＋Ｈ＋Ｃについても同様である。従って、係数α～ζを調整することにより、どの特徴量を重視するかを制御することが可能である。

なお、第３の実施形態において、撮像装置１００の基本的な構成は第１の実施形態と同様である。以下、主に第１の実施形態と異なる点について説明する。

係数～ζの調整方法に関しては、例えば以下のような方法が挙げられる。
・ユーザが予め好みを設定しておく
・撮影設定に応じて設定する
・被写体の種類に応じて設定する
・後処理の種類に応じて設定する
以下では、それぞれの方法に関して説明する。

＜＜ユーザが予め好みを設定しておく＞＞
図６は、係数α～ζを調整するためのＵＩを示す図である。このＵＩでは、影の量及び影の濃さとしてユーザが好ましいと思うもの、並びに、光と影のどちらを重視したいかといったことを、ユーザが選択することが可能である。

これにより、例えば影の量として「多い」をユーザが選択した場合、ＣＰＵ１０３は、式２に示す影面積スコアＳｓの係数αに対して、影の面積が多いほど、発光パターンの選択において有利になるような値（即ち、絶対値の大きい負の値）を設定する。また、影の濃さとして「濃い」をユーザが選択した場合、ＣＰＵ１０３は、式２に示す影強度スコアＳｖの係数βに対して、影の強度が強いほど、発光パターンの選択において有利になるような値（即ち、絶対値の大きい負の値）を設定する。また、優先度として「光」を優先したいとユーザが選択した場合、ＣＰＵ１０３は、式３に示す光スコアの寄与が式３に示す影スコアよりも大きくなるように、係数α～δを設定する。

このように、図６のＵＩを介したユーザ指示に従って、各特徴量の重みを決定することができる。

＜＜撮影設定に応じて設定する＞＞
図７は、撮影設定に応じた係数の調整方法を説明する図である。撮像装置１００は、例えば、図７の列７０１に示したような、直観的な表現による選択肢をユーザに提示する。表示された選択肢の１つをユーザが選択すると、撮像装置１００は、選択された項目に応じた撮影設定で撮影を行う。この時、直観的な表現を発光パターンの選択に用いることが可能である。例えば、ユーザが「くっきり鮮やかに」という表現を選択した場合、影強度が大きいものを優先することでユーザの好みに近くなる可能性が高くなる。そこで、ＣＰＵ１０３は、式２に示す影強度スコアＳｖの係数βに対して、影の強度が強いほど、発光パターンの選択において有利になるような値（即ち、絶対値の大きい負の値）を設定する。その他の選択肢についても同様に、列７０１の各選択肢に対する、想定されるユーザの好みが列７０２に規定されており、対応する係数設定が列７０３に規定されている。

このように、図７の列７０１の選択肢を含むようなＵＩを介したユーザ指示に従って、各特徴量の重みを決定することができる。

＜＜被写体の種類に応じて設定する＞＞
第２の実施形態において説明したコントラストやハイライトに関しては、被写体によって好ましいコントラストやハイライトが変わってくる場合がある。例えば、被写体が生物等であれば、低めのコントラストが求められたり、被写体が人工物であれば、高めのコントラストが求められたりする場合もある。また、被写体がもともと光沢のあるものであれば、質感を表現する手法としてハイライトを許容できる場合もある。そこで、ＣＰＵ１０３は、例えば被写体認識技術によって認識（検出）した被写体の種類に応じて、コントラストスコアやハイライトスコアの算出に用いた係数ε，ζ等を決定する。なお、被写体認識技術としては、任意の公知の技術を用いることができる。また、係数α～δについても、被写体の種類に基づいて決定してもよい。

＜＜後処理の種類に応じて設定する＞＞
前述の特徴量は、影、光、コントラスト、及びハイライト等の出方に関係しているが、これらの要素は後処理となる画像処理により、ある程度改善させることが可能である。例えば、暗部補正技術においては、多少影が発生してしまったとしても、それを目立たなくするように画像に補正を行ったりすることが可能である。また、その他にも、コントラスト補正技術や、高ダイナミックレンジ技術によるハイライトの抑制等といった画像補正も可能となる。そこで、係数α～ζに対し、対応する要素を打ち消すような機能が有効になっているのであれば、その要素の重みを下げるように係数の値を決定してもよい。

このように、後処理となる画像処理を選択するユーザ指示に従って、各特徴量の重みを決定することができる。

以上説明したように、第３の実施形態によれば、ユーザ指示や被写体の種類などに基づいて係数α～ζを調整する（各特徴量の重みを決定する）ことにより、よりユーザの意図を反映させた発光パターンの選択を行うことが可能となる。

［第４の実施形態］
第４の実施形態では、画面内の領域を分割し、領域ごとにスコアを算出する構成について説明する。第４の実施形態において、撮像装置１００の基本的な構成は第１の実施形態と同様である。以下、主に第１の実施形態と異なる点について説明する。

図８は、画面の領域分割を説明する図である。図８（Ａ）においては、机の上に被写体が設置されているようなシーンを示しており、ここから、図８（Ｂ）に示す被写体領域と、図８（Ｃ）に示す背景領域（机）とが抽出される。なお、図８（Ｃ）では、机よりも奥にあり、フラッシュ光が届かない領域を「その他」として表記している。

まず、被写体領域に関しては、例えば合焦箇所の色を抽出し、その色と類似した色の領域を被写体領域として抽出することができる。或いは、撮像装置１００に画面内の距離を測定する機能を持たせ、合焦箇所に対して一定距離範囲内にある領域を被写体領域として抽出することができる。また、背景領域に関しては、例えば前述の被写体領域に隣接する領域に対し、同程度の輝度となる領域を抽出したり、距離が連続的に変化している領域を抽出したりすることが可能である。

このように被写体領域及び背景領域が抽出されると、図２のＳ２０３の各スコア算出の際に、領域の種類に関する情報を利用することが可能となる。第１の実施形態においては、スコア判定の対象とする領域を画面全体としていたが、本実施形態では、例えば光スコアを算出する領域に関しては被写体領域として抽出された範囲のみを対象とする。これにより、特に被写体にかかる光に関するスコアを発光パターンの選択基準として用いることが可能である。或いは、影スコアを算出する領域に関しては、背景領域として抽出された範囲のみで対象とすることにより、特に背景にかかる被写体の影に関するスコアを発光パターンの選択基準として用いることが可能である。

以上説明したように、第４の実施形態によれば、シーン（画面）を被写体領域や背景領域などの複数の領域へと分割することにより、発光パターンの選択基準に多様性を持たせることが可能となる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…撮像装置、１０１…光学系、１０２…撮像素子、１０３…ＣＰＵ、１０４…一次記憶装置、１０５…画像処理部、１０６…記録媒体、１０７…二次記憶装置、１０８…表示部、１０９…操作部、１１０…発光部

Claims (13)

1. Ｎ個の発光装置（Ｎは２以上の整数）を発光させずに撮影を行うことにより第１の画像を取得し、前記Ｎ個の発光装置を１つずつ発光させて各発光装置の発光時に撮影を行うことによりＮ個の第２の画像を取得するように制御する制御手段と、
   前記Ｎ個の第２の画像の各々と前記第１の画像との間の差分に対応するＮ個の差分画像と、前記Ｎ個の差分画像のうちの２個以上の差分画像を合成するＭ個の合成パターン（Ｍは１以上の整数）に対応するＭ個の合成画像と、を含む複数の第３の画像を生成する生成手段と、
   前記複数の第３の画像の各々の画素値に基づく所定の選択基準に基づいて、前記複数の第３の画像のうちの１つを選択する選択手段と、
   を備え、
   前記制御手段は、前記Ｎ個の発光装置のうちの、前記選択された第３の画像を構成するＰ個の差分画像（Ｐは１以上Ｎ以下の整数）に対応するＰ個の第２の画像に対応するＰ個の発光装置を発光させて撮影を行うことにより第４の画像を取得するように制御し、
   前記選択手段は、
   前記複数の第３の画像の各々について、画素値が第１の閾値以下である影領域に基づく特徴量と、画素値が前記第１の閾値より大きい第２の閾値以上である光領域に基づく特徴量と、画素値が前記第２の閾値より大きい第３の閾値以上であるハイライト領域に基づく特徴量と、画素値のコントラストに基づく特徴量と、のうちの少なくとも１つを含むＱ個の特徴量（Ｑは２以上の整数）を算出し、
   前記複数の第３の画像の各々について、前記Ｑ個の特徴量を重み付け加算することにより合成特徴量を生成し、
   前記複数の第３の画像の各々の前記合成特徴量に基づいて、前記複数の第３の画像のうちの１つを選択する
   ことを特徴とする撮像装置。
2. 前記選択手段は、ユーザ指示に従って、前記重み付け加算における前記Ｑ個の特徴量の各々の重みを決定する
   ことを特徴とする請求項１に記載の撮像装置。
3. 被写体の種類を検出する検出手段を更に備え、
   前記選択手段は、前記被写体の種類に基づいて、前記重み付け加算における前記Ｑ個の特徴量の各々の重みを決定する
   ことを特徴とする請求項１に記載の撮像装置。
4. 画面を第１の領域と第２の領域とを含む複数の領域に分割する分割手段を更に備え、
   前記選択手段は、前記第１の領域と前記第２の領域とで異なる特徴量を算出する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記影領域に基づく特徴量は、前記影領域の画素数に基づく特徴量と、前記影領域における前記第１の閾値と各画素値との差の平均値に基づく特徴量と、のうちの少なくとも一方を含む
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記光領域に基づく特徴量は、前記光領域の画素数に基づく特徴量と、前記光領域における各画素値と前記第２の閾値との差の平均値に基づく特徴量と、のうちの少なくとも一方を含む
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記ハイライト領域に基づく特徴量は、前記ハイライト領域の画素数に基づく特徴量を含む
   ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記コントラストに基づく特徴量は、第１の画素値と前記第１の画素値より大きい第２の画素値との差に基づく特徴量を含み、
   前記第１の画素値以下の画素値を持つ画素の割合が第１の割合であり、
   前記第２の画素値以上の画素値を持つ画素の割合が第２の割合である
   ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記Ｍ個の合成パターンは、合成対象である前記２個以上の差分画像のうちの特定の差分画像に０より大きく１より小さい特定の係数を乗じる特定の合成パターンを含み、
   前記選択手段により選択された第３の画像が前記特定の合成パターンに対応する場合、前記制御手段は、前記Ｐ個の発光装置を発光させる際に、前記特定の差分画像に対応する第２の画像に対応する発光装置の発光量を前記特定の係数に従って調整する
   ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. Ｎ個の発光装置（Ｎは２以上の整数）を発光させずに撮影を行うことにより生成された第１の画像と、前記Ｎ個の発光装置を１つずつ発光させて各発光装置の発光時に撮影を行うことにより生成されたＮ個の第２の画像とを取得する取得手段と、
    前記Ｎ個の第２の画像の各々と前記第１の画像との間の差分に対応するＮ個の差分画像と、前記Ｎ個の差分画像のうちの２個以上の差分画像を合成するＭ個の合成パターン（Ｍは１以上の整数）に対応するＭ個の合成画像と、を含む複数の第３の画像を生成する生成手段と、
    前記複数の第３の画像の各々の画素値に基づく所定の選択基準に基づいて、前記複数の第３の画像のうちの１つを選択する選択手段と、
    前記Ｎ個の発光装置のうちの、前記選択された第３の画像を構成するＰ個の差分画像（Ｐは１以上Ｎ以下の整数）に対応するＰ個の第２の画像に対応するＰ個の発光装置を発光させるように制御する制御手段と、を備え、
    前記選択手段は、
    前記複数の第３の画像の各々について、画素値が第１の閾値以下である影領域に基づく特徴量と、画素値が前記第１の閾値より大きい第２の閾値以上である光領域に基づく特徴量と、画素値が前記第２の閾値より大きい第３の閾値以上であるハイライト領域に基づく特徴量と、画素値のコントラストに基づく特徴量と、のうちの少なくとも１つを含むＱ個の特徴量（Ｑは２以上の整数）を算出し、
    前記複数の第３の画像の各々について、前記Ｑ個の特徴量を重み付け加算することにより合成特徴量を生成し、
    前記複数の第３の画像の各々の前記合成特徴量に基づいて、前記複数の第３の画像のうちの１つを選択する
    ことを特徴とする発光制御装置。
11. 撮像装置が実行する撮像方法であって、
    Ｎ個の発光装置（Ｎは２以上の整数）を発光させずに撮影を行うことにより第１の画像を取得し、前記Ｎ個の発光装置を１つずつ発光させて各発光装置の発光時に撮影を行うことによりＮ個の第２の画像を取得するように制御する第１の制御工程と、
    前記Ｎ個の第２の画像の各々と前記第１の画像との間の差分に対応するＮ個の差分画像と、前記Ｎ個の差分画像のうちの２個以上の差分画像を合成するＭ個の合成パターン（Ｍは１以上の整数）に対応するＭ個の合成画像と、を含む複数の第３の画像を生成する生成工程と、
    前記複数の第３の画像の各々の画素値に基づく所定の選択基準に基づいて、前記複数の第３の画像のうちの１つを選択する選択工程と、
    前記Ｎ個の発光装置のうちの、前記選択された第３の画像を構成するＰ個の差分画像（Ｐは１以上Ｎ以下の整数）に対応するＰ個の第２の画像に対応するＰ個の発光装置を発光させて撮影を行うことにより第４の画像を取得するように制御する第２の制御工程と、
    を備え、
    前記選択工程において、
    前記複数の第３の画像の各々について、画素値が第１の閾値以下である影領域に基づく特徴量と、画素値が前記第１の閾値より大きい第２の閾値以上である光領域に基づく特徴量と、画素値が前記第２の閾値より大きい第３の閾値以上であるハイライト領域に基づく特徴量と、画素値のコントラストに基づく特徴量と、のうちの少なくとも１つを含むＱ個の特徴量（Ｑは２以上の整数）を算出し、
    前記複数の第３の画像の各々について、前記Ｑ個の特徴量を重み付け加算することにより合成特徴量を生成し、
    前記複数の第３の画像の各々の前記合成特徴量に基づいて、前記複数の第３の画像のうちの１つを選択する
    ことを特徴とする撮像方法。
12. 発光制御装置が実行する発光制御方法であって、
    Ｎ個の発光装置（Ｎは２以上の整数）を発光させずに撮影を行うことにより生成された第１の画像と、前記Ｎ個の発光装置を１つずつ発光させて各発光装置の発光時に撮影を行うことにより生成されたＮ個の第２の画像とを取得する取得工程と、
    前記Ｎ個の第２の画像の各々と前記第１の画像との間の差分に対応するＮ個の差分画像と、前記Ｎ個の差分画像のうちの２個以上の差分画像を合成するＭ個の合成パターン（Ｍは１以上の整数）に対応するＭ個の合成画像と、を含む複数の第３の画像を生成する生成工程と、
    前記複数の第３の画像の各々の画素値に基づく所定の選択基準に基づいて、前記複数の第３の画像のうちの１つを選択する選択工程と、
    前記Ｎ個の発光装置のうちの、前記選択された第３の画像を構成するＰ個の差分画像（Ｐは１以上Ｎ以下の整数）に対応するＰ個の第２の画像に対応するＰ個の発光装置を発光させるように制御する制御工程と、
    を備え、
    前記選択工程において、
    前記複数の第３の画像の各々について、画素値が第１の閾値以下である影領域に基づく特徴量と、画素値が前記第１の閾値より大きい第２の閾値以上である光領域に基づく特徴量と、画素値が前記第２の閾値より大きい第３の閾値以上であるハイライト領域に基づく特徴量と、画素値のコントラストに基づく特徴量と、のうちの少なくとも１つを含むＱ個の特徴量（Ｑは２以上の整数）を算出し、
    前記複数の第３の画像の各々について、前記Ｑ個の特徴量を重み付け加算することにより合成特徴量を生成し、
    前記複数の第３の画像の各々の前記合成特徴量に基づいて、前記複数の第３の画像のうちの１つを選択する
    ことを特徴とする発光制御方法。
13. コンピュータを、請求項１乃至９のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images