JP6446777B2 - 撮像装置および電子機器 - Google Patents

Description

本発明は、撮像装置および電子機器に関する。

従来から、被写体の状態情報の変化に応じて、過去の撮像時に適用されたホワイトバランス制御値と、最新の状態情報に基づくホワイトバランス制御値とを合成し、最新の画像に適用されるホワイトバランス制御値を算出する電子カメラが知られている。

特開２００３−２３０１５６号公報

しかし、過去の撮像時に適用されたホワイトバランス制御値を用いて、最新の画像に適用されるホワイトバランス制御値を算出する場合、例えば、電光掲示板等の表示装置の画面を撮像した後に表示装置の画面を含まない被写体を撮像すると、後の撮像時には同一の照明環境にも拘わらずホワイトバランスが崩れてしまう点で改善の余地があった。

一つの観点による撮像装置は、被写体の像を撮像して画像を生成する撮像部と、ホワイトバランス制御値を算出する算出部と、第１情報生成部と、第２情報生成部と、記憶部とを備える。第１情報生成部は、画像の撮像時における被写体の状態を示す状態情報を生成する。第２情報生成部は、被写体の平面度に基づいて、表示装置の画面の影響が生じうる特殊シーンか、特殊シーンよりも表示装置の画面の影響が小さい非特殊シーンかを示すシーン情報を生成する。記憶部は、状態情報、ホワイトバランス制御値およびシーン情報を撮像ごとに対応付けて記憶する。また、算出部は、第１の状態情報と、第１の状態情報よりも過去の撮像で得られた第２の状態情報との変化に応じて、第１の状態情報に基づいて得られた第１のホワイトバランス制御値と、第２の状態情報に対応して記憶されている第２のホワイトバランス制御値とを合成して、新たなホワイトバランス制御値を算出する。そして、算出部は、撮像するシーンが特殊シーンから非特殊シーンに変化するときには、特殊シーンに対応する第２の状態情報および第２のホワイトバランス制御値を用いずに、新たなホワイトバランス制御値を算出する。

別の観点による撮像装置は、被写体を撮像して画像を生成する撮像部と、算出部と、判定部とを備える。算出部は、第１の状態情報と、第１の状態情報の取得時よりも過去の撮像で得られた第２の状態情報との変化に応じて、第１の状態情報に基づいて得られた第１のホワイトバランス制御値と、第２の状態情報に対応して記憶されている第２のホワイトバランス制御値とを合成して、ホワイトバランス制御値を算出する。判定部は、撮像部が撮像した画像に基づいて、第１シーンか、第１シーンよりも表示装置の画面に対する輝度の影響が小さい第２シーンかを判定する。判定部が、撮像するシーンが第１シーンから第２シーンに変化すると判定したときには、算出部は、第１シーンに対応する第２の状態情報および第２のホワイトバランス制御値を用いずに、新たなホワイトバランス制御値を算出する。
別の観点による電子機器は、被写体を撮像し、画像データを生成する撮像部と、算出部と、制御部とを備える。算出部は、第１の状態情報と、第１の状態情報の取得時よりも過去の撮像の際に得られた第２の状態情報と、に基づいてホワイトバランス制御値を算出する。制御部は、被写体を撮像する撮像シーンの変化を検出し、検出結果に基づいて、第１の状態情報と第２の状態情報とに基づいてホワイトバランス制御値を算出する制御と、第２の状態情報を用いずに第１の状態情報に基づいてホワイトバランス制御値を算出する制御と、のいずれか一方の制御を行う。

本件開示の発明によれば、適切なホワイトバランス制御値を得ることができる。

一の実施形態の電子カメラの構成例を示す図 第１メモリに記憶される状態情報、ＷＢ制御値およびシーン情報の対応関係の一例を示す図 合成比率のテーブル情報の一例を示す図 一の実施形態での電子カメラの動作例を示す流れ図 （ａ）：撮像範囲の一例を示す図、（ｂ）：図５（ａ）の画像に対応する距離情報の分布例を示す図

図１は、本件開示の撮像装置の一例である一の実施形態の電子カメラの構成例を示す図である。

電子カメラ１００は、撮像部１１と、状態情報検出部１２と、距離情報取得部１３と、カメラマイコン１４と、メディアインターフェース（Ｉ／Ｆ）１５とを有する。ここで、撮像部１１、状態情報検出部１２、距離情報取得部１３、メディアＩ／Ｆ１５は、それぞれカメラマイコン１４と接続されている。

撮像部１１は、撮像光学系を介して入射された光束による被写体の結像を撮像（撮影）するモジュールである。例えば、撮像部１１は、ズームレンズやフォーカスレンズを含む撮像光学系と、光電変換を行う撮像素子と、撮像素子の出力にアナログ信号処理やＡ／Ｄ変換処理などを施す信号処理回路とを含んでいる。なお、上記の撮像素子の画素には、例えば公知のベイヤ配列に従ってＲＧＢのカラーフィルタが配置されており、カラーフィルタでの色分解によって各色に対応する画像信号を出力する。これにより、撮像部１１は、撮像時に例えばＲＧＢのカラー画像を取得できる。

ここで、撮像部１１は、ユーザの撮像指示に応じて、不揮発性の記憶媒体（２６）への記録を伴う記録用の画像を撮影する。また、撮像部１１は、撮影待機時において所定の時間間隔ごとに観測用の画像（スルー画像）を撮影する。スルー画像は、記録用の画像と比べて間引きにより解像度（画像サイズ）が低くなっている。時系列に取得されたスルー画像のデータは、例えば、カメラマイコン１４等による各種の演算処理や、不図示の表示部でのライブビュー表示に使用される。

状態情報検出部１２は、第１情報生成部の一例であって、画像の撮像時における被写体の状態を示す状態情報を生成する。状態情報検出部１２は、例えば、被写体の色温度を検出する色温度検出部１６と、被写体のコントラストを検出するコントラスト検出部１７と、撮像範囲内における主要な色を定量的に示す色彩情報を検出する色彩検出部１８と、被写体の輝度を検出する測光センサ１９と、撮影時刻などを計測するタイマ２０とを有している。なお、色温度検出部１６、コントラスト検出部１７、色彩検出部１８、測光センサ１９は、撮像部１１のスルー画像を利用するものでもよく、撮像部１１以外の撮像素子等から被写体の情報を得るものであってもよい。

距離情報取得部１３は、撮像範囲の各位置での被写体の距離情報（電子カメラ１００から被写体までの奥行き）を取得する。例えば、距離情報取得部１３は、撮像範囲の各位置での被写体の距離情報として、ＡＦ（Auto Focus）制御で取得した焦点位置情報を取得する。

ここで、距離情報取得部１３は、スルー画像を用いて公知のコントラスト検出により焦点位置情報を実行するものであってもよい。あるいは、距離情報取得部１３は、公知の位相差検出方式により、瞳分割された被写体像の像ズレ量から焦点位置情報を取得するものであってもよい。位相差検出方式による場合、距離情報取得部１３は、撮像光学系から入射する光束の一部を用いて、撮像部１１から独立して焦点検出を行うモジュール（例えば、一眼レフ形式のカメラに実装される焦点検出モジュール）であってもよい。あるいは、距離情報取得部１３として、撮像部１１の撮像素子の撮像面に焦点検出用の受光素子を配置し、瞳分割された被写体の位相差の情報を撮像面で取得してもよい。

なお、距離情報は、レーザ測距装置、投影装置、二眼カメラを利用して取得したデプスマップから生成されるものであってもよい。

カメラマイコン１４は、電子カメラ１００の動作を統括的に制御するプロセッサである。例えば、カメラマイコン１４は、撮像部１１での画像の撮影制御、自動露出（Auto Exposure）制御、メディアＩ／Ｆ１５での記録制御などを行う。また、カメラマイコン１４は、平面度判定部２１と、算出部２２と、第１メモリ２３と、第２メモリ２４と、画像処理部２５とを有している。

平面度判定部２１は、距離情報取得部１３から受けた距離情報を用いて、撮像範囲に含まれる被写体の平面度（被写体が同じ平面をなす度合い）を算出する。また、平面度判定部２１は、被写体の平面度を用いて、撮像するシーンが表示装置の画面の影響が生じうる特殊シーンか、あるいは特殊シーンよりも表示装置の画面の影響が小さい非特殊シーンかを判定する。そして、平面度判定部２１は、上記の判定結果に基づいて、撮像したシーンが特殊シーンまたは非特殊シーンであることを示すシーン情報を生成する。上記のシーン情報は、例えば、特殊シーンのときに「１」を示し、非特殊シーンのときに「０」を示す２値のフラグ情報である。なお、平面度判定部２１は、第２情報生成部の一例である。

算出部２２は、オートホワイトバランスがオンに設定されているときに、状態情報検出部１２から状態情報を受けて、画像のホワイトバランス調整に適用されるホワイトバランス制御値（以下、ＷＢ制御値とも称する）を算出する。

ここで、一の実施形態での算出部２２は、ＷＢ制御値を算出するときに、所定割合で過去のＷＢ制御値を用いて新たなＷＢ制御値を算出する。例えば、算出部２２は、現在の状態情報（第１の状態情報）と、過去の撮像で得られた状態情報（第２の状態情報）との変化に応じて、第１の状態情報に基づく現在のＷＢ制御値（第１のＷＢ制御値）と第２の状態情報に基づく過去のＷＢ制御値（第２のＷＢ制御値）との合成比率を決定する。そして、算出部２２は、上記の合成比率に基づいて、現在のＷＢ制御値と過去のＷＢ制御値とを合成して、最終的にホワイトバランス調整に適用される新たなＷＢ制御値を算出する。

また、一の実施形態での算出部２２は、撮像するシーンが特殊シーンから非特殊シーンに変化するときには、特殊シーンに対応する過去の状態情報および過去のＷＢ制御値を用いずに、新たなホワイトバランス制御値を算出する（この点については動作例で詳述する）。

第１メモリ２３は、記憶部の一例であって、オートホワイトバランスがオンに設定されているときに、記録用の画像の１回の撮像ごとに、状態情報、ＷＢ制御値およびシーン情報を対応付けて記憶する記憶媒体である。

図２は、第１メモリ２３に記憶される状態情報、ＷＢ制御値およびシーン情報の対応関係の一例を示す図である。なお、第１メモリ２３に記憶される情報は、算出部２２が新たなＷＢ制御値を算出するときに使用される。

図２の例では、過去の状態情報の各パラメータ（色温度、コントラスト、色彩情報、輝度、撮影時刻）と、過去のＷＢ制御値（新たなＷＢ制御値に相当するもの）と、過去のシーン情報のフラグとが、記録用の画像の撮像ごとに１行ずつ対応付けされている。図２では、ｍ回の撮像で得られた状態情報、ＷＢ制御値およびシーン情報のｍ個分の組み合わせが、下にいくほど新しくなるように記録されている状態を示している（但し、ｍは正の整数）。また、図２では、簡単のため、状態情報およびＷＢ制御値が格納されている状態を横線で示しており、実際には横線で示した箇所には状態情報およびＷＢ制御値の値がそれぞれ格納される。

第２メモリ２４は、カメラマイコン１４が実行するプログラムや、現在のＷＢ制御値と過去のＷＢ制御値とを合成するときの合成比率を決定するテーブル情報を記憶する不揮発性のメモリである。

図３は、合成比率のテーブル情報の一例を示す図である。なお、合成比率のテーブル情報は、算出部２２が新たなＷＢ制御値を算出するときに使用される。図３のテーブル情報は、２つの状態情報におけるパラメータの変化量の組み合わせと、合成比率αの値とを対応付けて記憶している。合成比率αは０〜１の範囲をとり（０≦α≦１）、αの値が大きいほど新たなＷＢ制御値において現在のＷＢ制御値の重みが大きくなり、αの値が小さいほど新たなＷＢ制御値において過去のＷＢ制御値の重みが大きくなる。

例えば、図３では、２つの状態情報を比較して、「色温度の変化量０以上、コントラストの変化量０以上、色彩情報の変化量０以上、輝度の変化量２４以上、経過時間０以上」の組み合わせのときに合成比率が１となる。同様に、「色温度の変化量０以上、コントラストの変化量０以上、色彩情報の変化量０以上、輝度の変化量０以上、経過時間１０時間以上」の組み合わせのときに合成比率が１となる。同様に、「色温度の変化量３０以上、コントラストの変化量が１以上２未満、色彩情報の変化量０以上１未満、輝度の変化量１２以上、経過時間２０秒以上」の組み合わせのときに合成比率が１となる。なお、合成比率が「０．８」、「０．６」、「０．４」、「０．２」、「０」となるパラメータの組み合わせは、図３に例示されており、その説明については省略する。

画像処理部２５は、撮像された画像のデータに対して、色補間、階調変換、輪郭強調、ノイズ除去などの画像処理を施す。また、画像処理部２５は、オートホワイトバランスがオンに設定されているときに、算出部２２が算出した新たなＷＢ制御値を用いて、新たに撮像された画像にホワイトバランス調整処理を施す。

メディアＩ／Ｆ１５は、不揮発性の記憶媒体２６を接続するためのコネクタを有している。そして、メディアＩ／Ｆ１５は、コネクタに接続された記憶媒体２６に対してデータの書き込み／読み込みを実行する。記憶媒体２６は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードである。

次に、図４を参照しつつ、一の実施形態での電子カメラ１００の動作例を説明する。図４では、電子カメラ１００が、現在のＷＢ制御値と過去のＷＢ制御値とを合成して、新たなＷＢ制御値を算出する動作例を示している。

ここで、図４の処理は、例えば、ユーザの記録用画像の撮像指示（例えばレリーズ釦の全押し操作）に応じて撮像部１１が記録用の画像を撮像するときに、カメラマイコン１４がプログラムを実行することで開始される。なお、図４の例では、オートホワイトバランスがオンに設定された状態であって、かつ過去の撮像で取得された状態情報、ＷＢ制御値およびシーン情報の組み合わせ（図２）が第１メモリ２３に記憶されていることを前提として説明を行う。

ステップＳ１０１において、状態情報検出部１２は、第１の状態情報として、撮像時における現在の状態情報（色温度、コントラスト、色彩情報、輝度、撮影時刻）を生成する。

ステップＳ１０２において、算出部２２は、現在の状態情報（ステップＳ１０１で生成されたもの）を状態情報検出部１２から受けるとともに、現在の状態情報に含まれる色温度を用いて公知の手法で現在のＷＢ制御値（第１のＷＢ制御値）を算出する。

例えば、ステップＳ１０２での算出部２２は、ＪＩＳＺ８７２５の「光源の分布温度及び色温度・相関色温度の測定方法」に従ってＲＧＢのデータをＴＣ−Ｄｕｖ座標のデータに変換し、画像の無彩色部分を判定する。そして、座標変換後のデータが無彩色と判定された場合、算出部２２は、ＴＣ−Ｄｕｖ座標から求まる相関色温度を所定の色温度−ホワイトバランスゲインの関係式に当てはめて、現在の状態情報から現在のＷＢ制御値を演算すればよい。

ステップＳ１０３において、平面度判定部２１は、距離情報取得部１３から受けた距離情報を用いて、撮像範囲に含まれる被写体の平面度を算出する。

例えば、平面度判定部２１は、撮像範囲においてそれぞれ距離情報の示す距離が同一である隣り合う標本点（距離情報を有する画素位置）をグループ化し、そのグループに含まれる標本点の数を被写体の平面度とする。このとき、平面度判定部２１は、距離情報が無限遠の標本点は背景とみなして平面度の判定から除外してもよい。また、平面度判定部２１は、距離情報が一定方向に一定量ずつ連続的に変化している場合に撮像面に対して傾きのある平面と判断し、上記の条件に合致する標本点をグループ化し、そのグループに含まれる標本点の数を被写体の平面度としてもよい。

図５（ａ）は撮像範囲の一例を示し、図５（ｂ）は、図５（ａ）の画像に対応する距離情報の分布例を示す。図５（ａ）は、プロジェクタのスクリーン（表示装置の画面の一例）を背景としてギタリストが演奏をしている様子を示している。図５（ａ）のシーンでＡＦエリア（標本点）から距離情報を取得すると、図５（ｂ）に示すようにスクリーンの部分での距離の値はほぼ一定となり、スクリーンの部分とギタリストの部分とで距離の値が相違する。そのため、距離情報を用いれば、スクリーンの部分と他の被写体（ギタリスト）を分離でき、かつスクリーンの部分に対応する標本点の数から被写体の平面度を求めることができる。

なお、平面度判定部２１は、撮像範囲内の１つ以上の面の検出をより正確に行うために、ＲＡＮＳＡＣ（RANdom SAmple Consensus）アルゴリズムによる面検出を実行してもよい。ＲＡＮＳＡＣは、アウトライアー（異常値）に対して特に頑健なモデルの適合アルゴリズムである。ＲＡＮＳＡＣアルゴリズムの簡潔な記述として、例えば、H. Cantzler (University of Edinburg)による論文”Random Sample Consensus (RANSAC)”に開示がある。また、ＲＡＮＳＡＣアルゴリズムのより詳細な記述は、例えば、M. A. Fischler及びR. C. Bollesの”Random sample consensus: A paradigm for model fitting with application to image analysis and automated cartography”, Communications of ACM, 24(6): 381 - 395, 1981に開示がある。

また、平面度判定部２１は、１つ以上の面の検出を行うため、カメラでの光の拡がりにより惹起されるレンジ誤差を補償してもよい。また、平面度判定部２１は、例えば輝度又は距離情報にアウトライアーが少なすぎる画素のように、信頼性が低いレンジ情報を含む画素を平面度の判定対象から除外してもよい。

ステップＳ１０４において、平面度判定部２１は、現在撮像するシーンが表示装置の画面の影響が生じうる特殊シーンか否かを判定する。

例えば、ステップＳ１０３で求めた平面度が閾値以上となる被写体が撮像範囲に含まれている（すなわち、同じ平面をなす被写体の大きさが閾値以上である）場合に、平面度判定部２１は特殊シーンであると判定する。上記の閾値は、例えば、被写体の平面度が撮像範囲の大半を占める値（例えば撮像範囲内の標本点の５０％以上）に設定される。

また、平面度判定部２１は、平面度が閾値以上となる被写体のうち、被写体の無彩色部分の輝度値が閾値以上であるときに特殊シーンであると判定してもよい。

撮像するシーンが特殊シーンである場合（ＹＥＳ）には、ステップＳ１０５に処理が移行する。一方、撮像するシーンが特殊シーンではない場合（ＮＯ）には、平面度判定部２１は、撮像するシーンが特殊シーンよりも表示装置の画面の影響が小さい非特殊シーンであると判定し、ステップＳ１０６に処理が移行する。

ステップＳ１０５において、平面度判定部２１は、撮像したシーンが特殊シーンであることを示すシーン情報（シーン情報の「１」のフラグ）を生成する。その後、ステップＳ１０９に処理が移行する。

なお、ステップＳ１０５の場合、前回撮像したシーンが特殊シーンか非特殊シーンであるかに拘わらず、新たなＷＢ制御値の算出のときに、前回の撮像で生成された状態情報およびＷＢ制御値が使用される。

ステップＳ１０６において、平面度判定部２１は、撮像したシーンが非特殊シーンであることを示すシーン情報（シーン情報の「０」のフラグ）を生成する。

ステップＳ１０７において、算出部２２は、第１メモリ２３に記憶されている前回撮像時のシーン情報を参照する。そして、算出部２２は、前回の撮像したシーンが特殊シーンであるか否かを判定する。

前回の撮像したシーンが特殊シーンである場合（ＹＥＳ）には、ステップＳ１０８に処理が移行する。一方、前回の撮像したシーンが非特殊シーンである場合（ＮＯ）には、ステップＳ１０９に処理が移行する。

なお、ステップＳ１０７の否定判定の場合には、新たなＷＢ制御値の算出のときに、前回の非特殊シーンでの撮像で生成された状態情報およびＷＢ制御値が使用される。

ステップＳ１０８において、算出部２２は、第１メモリ２３に記憶されている過去の状態情報、過去のＷＢ制御値、過去のシーン情報の組み合わせを参照する。そして、算出部２２は、非特殊シーンを撮像した過去の状態情報および過去のＷＢ制御値の組み合わせのうちで、最も新しい過去の状態情報および過去のＷＢ制御値を、新たなＷＢ制御値の算出のときに使用する。つまり、ステップＳ１０８の場合には、特殊シーンを撮像した過去の状態情報および過去のＷＢ制御値が、第２の状態情報および第２のＷＢ制御値として使用されることはない。

ステップＳ１０９において、算出部２２は、第１の状態情報（ステップＳ１０１）と第２の状態情報（ステップＳ１０５、Ｓ１０７の否定判定、Ｓ１０８のいずれかで選択されたもの）と用いて、状態情報の各パラメータの変化度合いを算出する。

例えば、算出部２２は、状態情報のパラメータの変化度合いとして、色温度の変化量、コントラストの変化量、色彩情報の変化量、輝度の変化量、経過時間をそれぞれ式（１）〜式（５）によって算出する。
色温度の変化量＝|PK(1)-PK(0)| …（１）
コントラストの変化量＝|PCN(1)-PCN(0)| …（２）
色彩情報の変化量＝|PC(1)-PC(0)| …（３）
輝度の変化量＝|PLA(1)-PLA(0)| …（４）
経過時間＝|TIME(1)-TIME(0)| …（５）
上記の式（１）〜（５）において、PK(n)は色温度を示し、PCN(n)はコントラストを示し、PC(n)は色彩情報を示し、PLA(n)は輝度を示し、TIME(n)は撮影時刻を示す。また、ｎは第１の状態情報または第２の状態情報との対応を示す変数であり、ｎ＝０は第１の状態情報の値を示し、ｎ＝１は第２の状態情報の値を示す。

色彩情報は、例えば、色相環の回転方向に沿って各色に１〜１５の値が割り振られており、周期境界条件の適用により１と１５とが連続的するものとして扱われる。また、色彩情報の値のうち８を上回るものについては補数へ変換される。したがって、色彩情報の変化量は、算出部２２により０〜８で規格化された数となる。

同様に、色温度の変化量は、算出部２２により０〜２５５で表される数値に規格化される。コントラストの変化量は、算出部２２により０〜６で表される数値に規格化される。輝度の変化量は、算出部２２により０〜２５５で表される数値に規格化される。

ステップＳ１１０において、算出部２２は、第２メモリ２４の合成比率のテーブル情報に、状態情報の各パラメータの変化度合い（ステップＳ１０９）を代入することで、合成比率αの値を決定する。

ステップＳ１１１において、算出部２２は、合成比率αに基づいて、第１のＷＢ制御値（ステップＳ１０２）と第２のＷＢ制御値（ステップＳ１０５、Ｓ１０７の否定判定、Ｓ１０８のいずれかで選択されたもの）とを合成して、新たなＷＢ制御値を算出する。例えば、算出部２２は、式（６）により新たなＷＢ制御値を算出する。
新たなＷＢ制御値＝第１のＷＢ制御値×α＋第２のＷＢ制御値×（１−α） …（６）
ステップＳ１１２において、算出部２２は、今回の撮像で得られた状態情報（ステップＳ１０１）と、シーン情報（ステップＳ１０５、Ｓ１０６）と、新たなＷＢ制御値（ステップＳ１１１）との組み合わせを第１メモリ２３に記録する。

ステップＳ１１３において、画像処理部２５は、新たなＷＢ制御値を用いて、撮像された記録用の画像にホワイトバランス調整処理を施す。その後、ホワイトバランス調整の施された記録用の画像は、カメラマイコン１４の制御によりメディアＩ／Ｆ１５を介して記憶媒体２６に記録される。以上で、図４の流れ図の説明を終了する。

以下、一の実施形態において、（Ａ）非特殊シーンの被写体を連続して撮像する場合、（Ｂ）特殊シーンの被写体を連続して撮像する場合、（Ｃ）非特殊シーンの被写体を撮像した後、特殊シーンの被写体を撮像する場合、（Ｄ）特殊シーンの被写体を撮像した後、非特殊シーンの被写体を撮像する場合での電子カメラ１００の動作をそれぞれ説明する。

（Ａ）非特殊シーンの被写体を連続して撮像する場合
この場合、ステップＳ１０４およびステップＳ１０７で否定判定がなされる。ステップＳ１０９、Ｓ１１０では、算出部２２は、第１の状態情報（今回撮像時の非特殊シーンでの状態情報）と第２の状態情報（前回撮像時の非特殊シーンでの状態情報）を用いて合成比率αを決定する。そして、ステップＳ１１１では、算出部２２は、合成比率αに基づいて、第１の状態情報に基づく第１のＷＢ制御値（ステップＳ１０２）と第２のＷＢ制御値（前回撮像時の非特殊シーンでのＷＢ制御値）とを合成して、新たなＷＢ制御値を算出する。

これにより、例えば、表示装置の画面の影響が小さい非特殊シーンにおいて、同様の照明条件で被写体を撮像した場合には、前回撮像時のＷＢ制御値が新たなＷＢ制御値にある程度反映される。したがって、同様の照明条件で被写体を撮像した複数の画像間で違和感の生じにくいホワイトバランス調整がなされる。

（Ｂ）特殊シーンの被写体を連続して撮像する場合
この場合、ステップＳ１０４で肯定判定がなされる。ステップＳ１０９、Ｓ１１０では、算出部２２は、第１の状態情報（今回撮像時の特殊シーンでの状態情報）と第２の状態情報（前回撮像時の特殊シーンでの状態情報）を用いて合成比率αを決定する。そして、ステップＳ１１１では、算出部２２は、合成比率αに基づいて、第１の状態情報に基づく第１のＷＢ制御値（ステップＳ１０２）と第２のＷＢ制御値（前回撮像時の特殊シーンでのＷＢ制御値）とを合成して、新たなＷＢ制御値を算出する。

これにより、例えば、同様の照明条件で表示装置の画面を被写体として連続的に撮像した場合には、前回撮像時のＷＢ制御値が新たなＷＢ制御値にある程度反映される。したがって、同じ表示装置の画面を撮像した複数の画像間で違和感の生じにくいホワイトバランス調整がなされる。

（Ｃ）非特殊シーンの被写体を撮像した後、特殊シーンの被写体を撮像する場合
この場合、特殊シーンに切り替わったときの撮像では、ステップＳ１０４で肯定判定がなされる。ステップＳ１０９、Ｓ１１０では、算出部２２は、第１の状態情報（今回撮像時の特殊シーンでの状態情報）と第２の状態情報（前回撮像時の非特殊シーンでの状態情報）を用いて合成比率αを決定する。そして、ステップＳ１１１では、算出部２２は、合成比率αに基づいて、第１の状態情報に基づく第１のＷＢ制御値（ステップＳ１０２）と第２のＷＢ制御値（前回撮像時の非特殊シーンでのＷＢ制御値）とを合成して、新たなＷＢ制御値を算出する。

これにより、例えば、同様の照明条件で表示装置の画面以外を撮像した後に、表示装置の画面を撮像した場合には、前回撮像時のＷＢ制御値が新たなＷＢ制御値にある程度反映されうる。したがって、同様の照明条件で撮像した複数の画像間で違和感の生じにくいホワイトバランス調整がなされる。

（Ｄ）特殊シーンの被写体を撮像した後、非特殊シーンの被写体を撮像する場合
この場合、非特殊シーンに切り替わったときの撮像では、ステップＳ１０４で否定判定がなされ、ステップＳ１０７で肯定判定がなされる。ステップＳ１０８〜Ｓ１１０では、算出部２２は、第１の状態情報（今回撮像時の非特殊シーンでの状態情報）と第２の状態情報（非特殊シーンを撮像した過去の状態情報のうち最新のもの）を用いて合成比率αを決定する。そして、ステップＳ１１１では、算出部２２は、合成比率αに基づいて、第１の状態情報に基づく第１のＷＢ制御値（ステップＳ１０２）と第２のＷＢ制御値（非特殊シーンを撮像した過去のＷＢ制御値のうち最新のもの）とを合成して、新たなＷＢ制御値を算出する。

これにより、例えば、表示装置の画面を撮像した後に、表示装置の画面以外を撮像した場合には、特殊シーンに対応する前回撮像時のＷＢ制御値を全く使用せずに、直近の非特殊シーンの状態情報およびＷＢ制御値を用いて新たなＷＢ制御値が算出される。したがって、非特殊シーンの被写体を撮像した画像に対してホワイトバランス調整を施すときに、直前に撮像した表示装置の画面の影響により不自然な色付きが生じることを抑制できる。

例えば、スポーツの撮影では、試合風景を撮影する途中で、試合経過の情報としてスコアボード（電光掲示板）の画面を撮影することもある。このとき、スコアボードの撮影後に再びスポーツの試合風景を撮影する場合においても、一の実施形態では、スコアボードの色温度に基づく不適切なホワイトバランス調整が抑制される。

＜実施形態の補足事項＞
（補足１）：上記のステップＳ１０９で算出される状態情報のパラメータの変化度合い（色温度の変化量、コントラストの変化量、色彩情報の変化量、輝度の変化量）は、複数の第２の状態情報と第１の状態情報との間で算出された値を平均したものでもよい。同様に、上記のステップＳ１１１で使用する第２のＷＢ制御値も、複数のＷＢ制御値を平均したものであってもよい。

（補足２）：上記の実施形態において、カメラマイコン１４は算出した新たなＷＢ制御値でホワイトバランス調整を行うことなく、ＷＢ制御値を付帯情報として画像のデータに対応付けて記録するようにしてもよい。

（補足３）：上記の実施形態において、被写体に照明光を照射する照明装置の発光の有無を示す発光情報を状態情報に含めてもよい。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。

１００…電子カメラ、１１…撮像部、１２…状態情報検出部、１３…距離情報取得部、１４…カメラマイコン、１５…メディアＩ／Ｆ、１６…色温度検出部、１７…コントラスト検出部、１８…色彩検出部、１９…測光センサ、２０…タイマ、２１…平面度判定部、２２…算出部、２３…第１メモリ、２４…第２メモリ、２５…画像処理部、２６…記憶媒体

Claims (7)

1. 被写体の像を撮像して画像を生成する撮像部と、
   ホワイトバランス制御値を算出する算出部と、
   前記画像の撮像時における被写体の状態を示す状態情報を生成する第１情報生成部と、
   被写体の平面度に基づいて、表示装置の画面の影響が生じうる特殊シーンか、前記特殊シーンよりも前記表示装置の画面の影響が小さい非特殊シーンかを示すシーン情報を生成する第２情報生成部と、
   前記状態情報、前記ホワイトバランス制御値および前記シーン情報を撮像ごとに対応付けて記憶する記憶部と、を備え、
   前記算出部は、
   第１の状態情報と、前記第１の状態情報よりも過去の撮像で得られた第２の状態情報との変化に応じて、前記第１の状態情報に基づいて得られた第１のホワイトバランス制御値と、前記第２の状態情報に対応して記憶されている第２のホワイトバランス制御値とを合成して、新たなホワイトバランス制御値を算出し、
   撮像するシーンが前記特殊シーンから前記非特殊シーンに変化するときには、前記特殊シーンに対応する前記第２の状態情報および前記第２のホワイトバランス制御値を用いずに、前記新たなホワイトバランス制御値を算出する撮像装置。
2. 請求項１に記載の撮像装置において、
   前記第２情報生成部は、同じ平面をなす被写体の大きさが閾値以上であるときに、前記特殊シーンと判定する撮像装置。
3. 請求項１または請求項２に記載の撮像装置において、
   前記第２情報生成部は、同じ平面をなす被写体の無彩色部分の輝度値が閾値以上のときに、前記特殊シーンと判定する撮像装置。
4. 被写体を撮像して画像を生成する撮像部と、
   第１の状態情報と、前記第１の状態情報の取得時よりも過去の撮像で得られた第２の状態情報との変化に応じて、前記第１の状態情報に基づいて得られた第１のホワイトバランス制御値と、前記第２の状態情報に対応して記憶されている第２のホワイトバランス制御値とを合成して、ホワイトバランス制御値を算出する算出部と、
   前記撮像部が撮像した画像に基づいて、第１シーンか、前記第１シーンよりも表示装置の画面に対する輝度の影響が小さい第２シーンかを判定する判定部と、
   前記判定部が、撮像するシーンが前記第１シーンから前記第２シーンに変化すると判定したときには、前記算出部は、前記第１シーンに対応する前記第２の状態情報および前記第２のホワイトバランス制御値を用いずに、新たなホワイトバランス制御値を算出する撮像装置。
5. 請求項１から請求項４のいずれか１項に記載の撮像装置において、
   前記新たなホワイトバランス制御値を用いて、前記第１の状態情報に対応して撮像された前記画像にホワイトバランス調整を施す画像処理部をさらに備える撮像装置。
6. 被写体を撮像し、画像データを生成する撮像部と、
   第１の状態情報と、前記第１の状態情報の取得時よりも過去の撮像の際に得られた第２の状態情報と、に基づいてホワイトバランス制御値を算出する算出部と、
   被写体を撮像する撮像シーンの変化を検出し、検出結果に基づいて、前記第１の状態情報と前記第２の状態情報とに基づいて前記ホワイトバランス制御値を算出する制御と、前記第２の状態情報を用いずに前記第１の状態情報に基づいて前記ホワイトバランス制御値を算出する制御と、のいずれか一方の制御を行う制御部と、
   を備える電子機器。
7. 請求項６に記載の電子機器において、
   前記制御部は、撮像するシーンが、第１シーンから、前記第１シーンよりも表示装置の画面に対する輝度の影響の小さい第２シーンに変化すると、前記第２の状態情報を用いずに前記ホワイトバランス制御値を算出する電子機器。

Images