JP4026516B2

JP4026516B2 - 画像処理装置及び方法

Info

Publication number: JP4026516B2
Application number: JP2003061644A
Authority: JP
Inventors: 玄太佐藤
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2003-03-07
Filing date: 2003-03-07
Publication date: 2007-12-26
Anticipated expiration: 2023-03-07
Also published as: JP2004274344A

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理装置及び方法に係り、特に画像記録機能を備えたデジタルカメラやビデオカメラなどに好適な、画像記録の際に光源か物体色かを判別してホワイトバランス制御を行う技術を備えた画像処理装置及び方法に関する。
【０００２】
【従来の技術】
従来、デジタルカメラやビデオカメラなどに使用するオート系ホワイトバランス制御は、広範囲な色温度への追従性を保持させたい要請があり、これにより、画像に最適なホワイトバランス制御を得ようとしていた。しかし、広範囲な色温度への追従性を保持しようとすれば副作用として物体色を光源と誤って判別することがあり、これによってカラーフェリア現象がおきてしまうことがあった。このようなオートホワイトバランス制御において追従性を上げることは、同時に光源を誤って判別してしまう確率も高くなってしまうという、いわゆるトレードオフの関係が成り立っている。
【０００３】
このようなトレードオフの関係が成立する広範囲な色温度領域の中で、赤黄系の光源領域である低色温度領域においてホワイトバランス破綻を防止することが重要である。赤黄系の物体色は低色温度のタングステンなどの光源とＲＧＢ分布上で非常に酷似しており、物体色シーンか光源シーンかを判別することが難しく、物体色優先にして補正をかけない方がよいのか（この場合は、タングステン光源が補正しきれず犠牲となる）、光源優先にして物体色のカラーフェリア現象（物体色を光源と誤判別するので物体色が白く補正されてしまう）に目をつぶるのかでカメラ設計上の思想が大きく分岐していた。
【０００４】
下記特許文献１は、そのような問題を解決するために、光源が低彩度である確率が多いことに着目して、低彩度の部分でホワイトバランスをとる方法を用いたが、シーン合格率は低いものがあった。つまり、物体色シーンなどは、ほぼ過補正なく救うことができるが、青色の物体色シーンにおいてタングステン光源下で青色物体色を撮影すると、タングステン光源よりも青色の物体色の方が低彩度になってしまうというものである。
【０００５】
また、光源シーンにおいても２つ以上の光源が混ざり合った光源などの場合、低彩度の光源のみのホワイトバランスしかかからずに補正が足りなくなってしまうという問題もある。例えば、タングステン光源レストランなどで窓から夜景、ネオンサインなどが見えていた場合、ネオンサインの方が低彩度とみなされて、ホワイトバランスゲイン補正量が足りなくなりタングステン光源が残りすぎた画像になってしまう。このようなシーンは撮影頻度としては決して少なくはない。
【０００６】
【特許文献１】
特開平６−９８３３５号公報
【０００７】
【発明が解決しようとする課題】
本発明は、上記の事実を考慮し、物体色シーンか光源シーンかを可能な限り判別してトータル的に適切なホワイトバランス制御を行うことができる画像処理装置及び方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
請求項１の本発明は、光学像を電気信号に変換する撮像手段を用いて被写体を撮影して得られた画像の画像データを処理する画像処理装置であって、
被写体が撮像された画面を複数のエリアに分割し、各エリアごとに色情報を取得する色情報取得手段と、
少なくとも光源種に対応する色分布の範囲を示す検出枠を設定し、前記取得した各エリアごとの色情報を前記検出枠に分布させる分布作動手段と、
前記分布された色情報のうち低彩度領域に分布する色情報を光源による色情報と推定し、光源による色情報と推定された色情報から光源による色情報と推定された色情報の検出枠以外の検出枠の色情報までの色分布上の距離に応じて重み付けした評価値を算出する評価値算出手段と、
前記算出した評価値に基づいてホワイトバランスゲイン値を演算する演算手段と、
からなる画像処理装置、からなる。
【０００９】
請求項１の本発明によれば、光源による色情報と推定された色情報から光源による色情報と推定された色情報の検出枠以外の検出枠の色情報までの色分布上の距離が近ければ光源らしいと判断して重み付けした評価値を算出し、前記距離が遠ければもともと持っている色の影響力が強い物体色として重み付けを小さくした又は重み付けしない評価値を算出して、算出した評価値に基づいてホワイトバランスゲイン値を演算する。これによって、物体色の過補正が防止できる。
【００１０】
請求項３の本発明は、光学像を電気信号に変換する撮像手段を用いて被写体を撮影して得られた画像の画像データを処理する画像処理装置であって、
被写体が撮像された画面を複数のエリアに分割し、各エリアごとに彩度情報を取得する彩度情報取得手段と、
少なくとも光源種に対応する彩度分布の範囲を示す検出枠を設定し、前記取得した各エリアごとの彩度情報を前記検出枠に分布させる分布作動手段と、
前記検出枠に分布された彩度情報の、前記検出枠毎に所定の彩度基準に基づいた平均値を算出する平均値算出手段と、
前記算出した各検出枠の平均値のうち、前記彩度基準の最も低彩度のものを光源による彩度情報平均値と定義する定義手段と、
前記光源による彩度情報平均値と定義された平均値の属する検出枠の彩度情報から平均値の属する他の検出枠の彩度情報までの前記彩度基準上での距離を求める距離算出手段と、
前記距離算出手段によって算出した距離が短いときは光源らしいと認定して重み付けした評価値を得て、前記算出した距離が長いときは物体色らしいと認定して重み付けしない評価値を得る評価値獲得手段と、
前記評価値獲得手段で重み付けした評価値を得た場合には、当該評価値に基づいて重み付け加算をしてホワイトバランスゲイン補正を行い、前記評価値獲得手段で重み付けしない評価値を得た場合には、ホワイトバランスゲイン補正を行なわない補正手段と、
からなる画像処理装置、からなる。
【００１１】
請求項３の本発明によれば、光源による彩度情報平均値と定義された彩度情報から光源による彩度情報平均値と定義された彩度情報の検出枠以外の検出枠の彩度情報までの彩度基準上での距離が短ければ光源らしいと認定して重み付けした評価値を得て、前記距離が長ければもともと持っている色の影響力が強い物体色として重み付けしない評価値を得て、得られた評価値に基づいてホワイトバランスゲイン補正を行う。これによって、物体色の過補正が防止できる。
【００１４】
【発明の実施の形態】
以下、添付図面に従って本発明に係る画像処理装置として機能するデジタルカメラの好ましい実施の形態について説明する。
【００１５】
図１は、本発明の第１の実施形態に係る画像処理装置として機能するデジタルカメラのブロック図である。
【００１６】
このカメラ１０は、画像の記録および再生機能を備えたデジタルカメラであり、カメラ１０全体の動作は中央処理装置（ＣＰＵ）１２によって統括制御される。ＣＰＵ１２は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、自動ホワイトバランス調節（ＡＷＢ）演算など、各種演算を実施する演算手段として機能する。
【００１７】
なお、自動露出、自動焦点調節および自動ホワイトバランス調節はそれぞれＡＥ、ＡＦ、ＡＷＢと記載することがある。
【００１８】
バス１４を介してＣＰＵ１２と接続されたＲＯＭ１６には、ＣＰＵ１２が実行するプログラムおよび制御に必要な各種データ等が格納されている。なお、不揮発性記憶手段であるＲＯＭ１６は書き換え不能なものであってもよいし、ＥＥＰＲＯＭのように書き換え可能なものでもよい。
【００１９】
また、メモリ（ＳＤＲＡＭ）１８は、プログラムの展開領域およびＣＰＵ１２の演算作業用領域として利用されるとともに、画像データや音声データの一時記憶領域として利用される。ＶＲＡＭ２０は画像データ専用の一時記憶メモリであり、Ａ領域２０ＡとＢ領域２０Ｂが含まれている。メモリ１８とＶＲＡＭ２０は共用することが可能である。
【００２０】
カメラ１０にはモード選択スイッチ２２、撮影ボタン２４、その他、メニュー／ＯＫキー、十字キー、キャンセルキーなどの操作手段２６が設けられている。これら各種の操作部（２２〜２６）からの信号はＣＰＵ１２に入力され、ＣＰＵ１２は入力信号に基づいてカメラ１０の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、画像表示装置２８の表示制御などを行う。
【００２１】
モード選択スイッチ２２は、静止画撮影モード、動画撮影モードと再生モードとを切り換えるための操作手段である。モード選択スイッチ２０を操作して可動接片２２Ａを接点ａに接続させると、その信号がＣＰＵ１２に入力され、カメラ１０は静止画撮影モードに設定され、可動接片２２Ａを接点ｂに接続させると、カメラ１０は動画撮影モードに設定される。また、可動切片２２Ａを接点ｃに接続させると、カメラ１０は記録済みの画像を再生する「再生モード」に設定される。
【００２２】
再生される画像データが静止画である場合には、画像表示装置２８には静止画像が表示される。また、再生される画像が動画である場合には、まず、ファイルの代表画像が表示され、インデックスを表示させるか否かを選択する。インデックスを表示させない場合にはファイルの先頭から再生が開始され、インデックスを表示させる場合には、所望のインデックス画像を選択し、再生開始操作を行うと、画像表示装置２８には選択されたインデックス画像に対応した画像から動画が再生される。
【００２３】
撮影ボタン２４は、撮影開始の指示を入力する操作ボタンであり、動画撮影においては録画開始（スタート）／停止（ストップ）ボタンとして機能し、静止画撮影においてはレリーズボタンとして機能する。撮影ボタン２４は、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。
【００２４】
メニュー／ＯＫキーは、画像表示装置２８の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定および実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。キャンセルキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。
【００２５】
画像表示装置２８は、カラー表示可能な液晶ディスプレイで構成されている。画像表示装置２８は、撮影時に画角確認用の電子ファインダーとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、画像表示装置２８は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。液晶ディスプレイに代えて、有機ＥＬなど他の方式の表示装置（表示手段）を用いることも可能である。
【００２６】
デジタルカメラ１０は、メディアソケット（メディア装着部）３０を有し、メディアソケット３０には記録メディア３２を装着することができる。記録メディアの形態は特に限定されず、XD-PictureCard（登録商標）、スマートメディア（登録商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。
【００２７】
本発明の実施に際しては、メディアソケットの個数は特に限定されず、複数でもよい。また、画像データを記録する手段はリムーバブルメディアに限らず、デジタルカメラ１０に内蔵された記録媒体（内部メモリ）であってもよい。
【００２８】
メディアコントローラ３４は、メディアソケット３０に装着される記録メディア３２に適した入出力信号の受渡しを行うために所要の信号変換を行う。
【００２９】
また、デジタルカメラ１０はパソコンその他の外部機器と接続するための通信手段としてＵＳＢインターフェース部３６を備えている。図示せぬＵＳＢケーブルを用いてデジタルカメラ１０を外部機器と接続することにより、外部機器との間でデータの受渡しが可能となる。もちろん、通信方式はＵＳＢに限らず、IEEE1394やBluetooth その他の通信方式を適用してもよい。
【００３０】
次に、デジタルカメラ１０の撮影機能について説明する。
【００３１】
モード選択スイッチ２２によって静止画撮影モードまたは動画撮影モードが選択されると、ＣＣＤ固体撮像素子（以下ＣＣＤと記載）３８を含む撮像部に電源が供給され、撮影可能な状態になる。
【００３２】
レンズユニット４０は、フォーカスレンズを含む撮影レンズ４２と絞り兼用メカシャッター４４とを含む光学ユニットである。レンズユニット４０は、ＣＰＵ１２によって制御されるレンズ駆動部４６、絞り駆動部４８によって電動駆動され、ズーム制御、フォーカス制御およびアイリス制御が行われる。
【００３３】
レンズユニット４０を通過した光は、ＣＣＤ３８の受光面に結像される。ＣＣＤ３８の受光面には多数のフォトダイオード（受光素子）が二次元的に配列されており、各フォトダイオードに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造（ベイヤー、Ｇストライプなど）で配置されている。また、ＣＣＤ３８は、各フォトダイオードの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。ＣＰＵ１２は、タイミングジェネレータ５０を介してＣＣＤ３８での電荷蓄積時間を制御する。なお、ＣＣＤ３８に代えてＭＯＳ型など他の方式の撮像素子を用いてもよい。
【００３４】
ＣＣＤ３８の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１２の指令に従いタイミングジェネレータ５０から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。
【００３５】
ＣＣＤ３８から出力された信号はアナログ処理部（ＣＤＳ／ＡＭＰ）５２に送られ、ここで画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールド（相関二重サンプリング処理）され、増幅された後、Ａ／Ｄ変換器５４に加えられる。Ａ／Ｄ変換器５４は、順次入力するＲ、Ｇ、Ｂ信号をデジタル信号に変換して画像入力コントローラ５６に出力する。
【００３６】
画像信号処理回路５８は、画像入力コントローラ５６を介して入力するデジタルの画像信号をＣＰＵ１２の指令に従って処理する。すなわち、画像信号処理回路５８は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、輝度・色差信号生成回路、ガンマ補正回路、輪郭補正回路、ホワイトバランス補正回路等を含む画像処理手段として機能し、ＣＰＵ１２からのコマンドに従ってメモリ１８を活用しながら所定の信号処理を行う。
【００３７】
なお、画像入力コントローラ５６には、メモリ１８およびＶＲＡＭ２０のデータ読み出し制御、書き込み制御を行うメモリコントローラが含まれている。
【００３８】
画像信号処理回路５８に入力されたＲＧＢの画像データは、画像信号処理回路５８において輝度信号（Ｙ信号）および色差信号（Ｃr,Ｃb 信号）に変換されるとともに、ガンマ補正等の所定の処理が施される。画像信号処理回路５８で処理された画像データはＶＲＡＭ２０に格納される。
【００３９】
撮影画像を画像表示装置２８にモニタ出力する場合、ＶＲＡＭ２０から画像データが読み出され、バス１４を介してビデオエンコーダ６０に送られる。ビデオエンコーダ６０は、入力された画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して画像表示装置２８に出力する。
【００４０】
ＣＣＤ３８から出力される画像信号によって、１コマ分の画像を表す画像データがＡ領域２０ＡとＢ領域２０Ｂとで交互に書き換えられる。ＶＲＡＭ２０のＡ領域２０ＡおよびＢ領域２０Ｂのうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。このようにしてＶＲＡＭ２０内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が画像表示装置２８に供給されることにより、撮像中の映像がリアルタイムに画像表示装置２８に表示される。撮影者は、画像表示装置２８に表示される映像（スルームービー画）によって撮影画角を確認できる。
【００４１】
撮影ボタン２４が半押しされ、Ｓ１がオンすると、デジタルカメラ１０はＡＥおよびＡＦ処理を開始する。すなわち、ＣＣＤ３８から出力された画像信号はＡ／Ｄ変換後に画像入力コントローラ５６を介してＡＦ検出回路６２並びにＡＥ／ＡＷＢ検出回路６４に入力される。
【００４２】
ＡＥ／ＡＷＢ検出回路６４は、１画面を複数のエリア（例えば、８×８、16×16）に分割し、分割エリアごとにＲＧＢ信号を積算する回路を含み、その積算値をＣＰＵ１２に提供する。ＣＰＵ１２は、ＡＥ／ＡＷＢ検出回路６４から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。求めた露出値と所定のプログラム線図に従い、絞り値とシャッタースピードが決定され、これに従いＣＰＵ１２はＣＣＤ３８の電子シャッターおよびアイリスを制御して適正な露光量を得る。
【００４３】
また、ＡＥ／ＡＷＢ検出回路６４は、分割エリアごとにＲＧＢ信号の色別の平均積算値を算出し、その算出結果をＣＰＵ１２に提供する。ＣＰＵ１２は、Ｒの積算値、Ｂの積算値、Ｇの積算値を得て、Ｒ／ＧおよびＢ／Ｇの比を求め、これらＲ／Ｇ、Ｂ／Ｇの値から後述する方法でホワイトバランス調整値を算出し、その算出したホワイトバランス調整値に従って、ホワイトバランス調整回路のアンプゲインを制御し、各色チャンネルの信号に補正をかける。なお、ホワイトバランス制御の詳細は後述する。
【００４４】
本カメラ１０におけるＡＦ制御は、例えば映像信号のＧ信号の高周波成分が極大になるようにフォーカシングレンズ（撮影レンズ４２を構成するレンズ光学系のうちフォーカス調整に寄与する移動レンズ）を移動させるコントラストＡＦが適用される。すなわち、ＡＦ検出回路６２は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内（例えば、画面中央部）に予め設定されているフォーカス対象エリア内の信号を切り出すＡＦエリア抽出部、およびＡＦエリア内の絶対値データを積算する積算部から構成される。
【００４５】
ＡＦ検出回路６２で求めた積算値のデータはＣＰＵ１２に通知される。ＣＰＵ１２は、レンズ駆動部４６を制御してフォーカシングレンズを移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカシングレンズを移動させるようにレンズ駆動部４６を制御する。なお、ＡＦ評価値の演算はＧ信号を利用する態様に限らず、輝度信号（Ｙ信号）を利用してもよい。
【００４６】
撮影ボタン２４が半押しされ、Ｓ１オンによってＡＥ／ＡＦ処理が行われ、撮影ボタン２４が全押しされ、Ｓ２オンによって記録用の撮影動作がスタートする。Ｓ２オンに応動して取得された画像データは画像信号処理回路５８において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、メモリ１８に格納される。
【００４７】
メモリ１８に格納されたＹ／Ｃ信号は、圧縮伸張回路６６によって所定のフォーマットに従って圧縮された後、メディアコントローラ３４を介して記録メディア３２に記録される。例えば、静止画についてはJPEG（Joint Photographic Experts Group）形式、動画についてはモーションJPEG形式で記録される。
【００４８】
モーションJPEG方式では、ＣＣＤ３８から取得した画像データを一旦、内部のメモリ１８に記憶した後、画像信号処理回路５８において輝度／色差信号（Ｙ／Ｃ信号）に変換し、１画像内でJPEG圧縮しながら、外部の記録メディア３２に一定のフレームレート（例えば、３０フレーム／秒）で静止画を連続的に保存していく。
【００４９】
動画のファイル形式はモーションJPEGに限定されず、MPEGなど他のファイル形式を適用してもよい。また、静止画ファイルの記録形式もJPEG形式に限定されず、TIF 形式やBMP 形式など他の形式を用いてもよい。MPEG方式の場合は、フレーム内圧縮およびフレーム間圧縮を行いながら外部の記録メディア３２に連続的に記録する。
【００５０】
動画撮影中には、いわゆる「山登り方式」の連続的なＡＦ処理（コンティニアスＡＦ）を行う。すなわち、フォーカシングレンズを光軸に沿って前後に微小移動させて、焦点評価値の増減方向をチェックしながら、ＡＦ評価値の極大点まで、徐々にフォーカシングレンズを移動させる。
【００５１】
動画撮影時の音声はマイク（図１には不図示）によって検出され、その検出信号（音声信号）は、Ａ／Ｄ変換器（図１には不図示）によってデジタル信号に変換され、音声信号処理回路（図１には不図示）に送られる。音声信号処理回路はバス１４に接続されており、メモリ１８を利用しながらＣＰＵ１２の指令に従い音声データを所定の信号形式に変換する。こうして生成された音声データは、メモリ１８に記憶され、画像データとともに圧縮伸張回路６６で圧縮された後、記録メディア３２に記録される。
【００５２】
録画開始後に、もう一度撮影ボタン２４を押下（Ｓ１オン）すると録画動作が停止する。なお、撮影ボタン２４を押下継続している期間、録画動作を行い、押下解除により録画を停止させる態様や、録画開始後の一定時間で録画を自動停止させる態様などもある。
【００５３】
モード選択スイッチ２２により再生モードが選択されると、記録メディア３２に記録されている最終の画像ファイル（最後に記録されたファイル）の圧縮データが読み出される。最後の記録に係るファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮伸張回路６６を介して非圧縮のＹＣ信号に伸張され、画像信号処理回路５８およびビデオエンコーダ６０を介して表示用の信号に変換された後、画像表示装置２８に出力される。これにより、当該ファイルの画像内容が画像表示装置２８の画面上に表示される。
【００５４】
再生対象ファイルが動画ファイルの場合には、インデックス画像が表示され、動画再生開始の指示を受け付ける画面になる。表示されているインデックス画像から所望のインデックス画像を選択し、操作部から所定の操作（例えば、十字キーの下キー押下）を行うと、選択されたインデックス画像に対応した動画ファイルの再生処理がスタートし、画像表示装置２８に動画映像が表示されるとともに、音声信号処理回路において再生処理された音声データがＤ／Ａ変換器を介してスピーカ（図１には不図示）に出力され、動画とともに記録した音声も再生される。
【００５５】
静止画の一コマ再生中（動画の先頭フレーム再生中も含む。）に、十字キーの右キー又は左キーを操作することによって、再生対象のファイルを切り換えること（順コマ送り／逆コマ送り）ができる。コマ送りされた位置の画像ファイルが記録メディア３２から読み出され、上記と同様にして静止画像や動画が画像表示装置２８に再生表示される。
【００５６】
次に、図２乃至６を用いて、上記の如く構成されたデジタルカメラ１０のオートホワイトバランス調節機能について説明する。
【００５７】
図２は、本実施形態に係るデジタルカメラ１０のオートホワイトバランス処理に関連する部分のブロック図である。図２中、図１と同一または類似するする部分には同一の符号を付しその説明は省略する。
【００５８】
図２のデジタル信号処理回路１００は図１中、画像信号処理回路５８の一部であり、同時化回路１０２、ホワイトバランス調整回路１０４、ガンマ補正回路１０６、ＹＣ信号作成回路１０８、およびメモリ１１０から構成されている。ここで、メモリ１１０は図１のメモリ１８と同一であるが、本発明の理解を容易にするために図２ではメモリ１８とメモリ１１０とが別々に記載されている。なお、図１ではメモリ１８とメモリ１１０を合わせてメモリ１８と記載されている。
【００５９】
Ａ／Ｄ変換器５４から出力されたＲ、Ｇ、Ｂ信号は画像入力コントローラ５６を介して一旦メモリ１８に格納される。同時化回路１０２は、メモリ１８から読み出された点順次のＲ、Ｇ、Ｂ信号を同時式に変換し、Ｒ、Ｇ、Ｂ信号を同時にホワイトバランス調整回路１０４に出力する。ホワイトバランス調整回路１０４は、Ｒ、Ｇ、Ｂ信号のデジタル値をそれぞれ増減するための乗算器１０４Ｒ、１０４Ｇ、１０４Ｂから構成されており、Ｒ、Ｇ、Ｂ信号は、それぞれ乗算器１０４Ｒ、１０４Ｇ、１０４Ｂに加えられる。
【００６０】
乗算器１０４Ｒ、１０４Ｇ、１０４Ｂの他の入力には、ＣＰＵ１２からホワイトバランス制御するためのホワイトバランス補正値（ゲイン値）Ｒｇ、Ｇｇ、Ｂｇが加えられており、乗算器１０４Ｒ、１０４Ｇ、１０４Ｂはそれぞれ２入力を乗算し、この乗算によってホワイトバランス調整されたＲ’、Ｇ’、Ｂ’信号をガンマ補正回路１０６に出力する。
【００６１】
ホワイトバランス補正値をＲｇ、Ｇｇ、Ｂｇ、補正する前の信号をＲ、Ｇ、Ｂとし、ホワイトバランス調整回路１０４での補正結果をＲ’、Ｇ’、Ｂ’とすると、補正結果Ｒ’、Ｇ’、Ｂ’は次式によって表される。
【００６２】
【数１】
Ｒ’＝Ｒｇ×Ｒ
Ｇ’＝Ｇｇ×Ｇ
Ｂ’＝Ｂｇ×Ｂ
ガンマ補正回路１０６は、ホワイトバランス調整されたＲ’、Ｇ’、Ｂ’信号が所望のガンマ特性となるように入出力特性を変更し、ＹＣ信号作成回路１０８に出力する。ＹＣ信号作成回路１０８は、ガンマ補正されたＲ、Ｇ、Ｂ信号から輝度信号Ｙと色差信号であるクロマ信号Ｃｒ、Ｃｂとを作成する。これらの輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂは、メモリ１１０に格納される。メモリ１１０内のＹＣ信号を読み出し、画像表示装置２８に出力することにより、動画または静止画を画像表示装置２８に表示させることができる。
【００６３】
次に、オートホワイトバランス（ＡＷＢ）制御の流れを説明する。
【００６４】
図６は、オートホワイトバランス制御の流れを示したフローチャートである。
【００６５】
撮影ボタン全押し（Ｓ２オン）に応動してオートホワイトバランス制御が開始され（ステップ２００）、ＣＣＤ３８より取得された１画面分のＲＧＢデータはメモリ１８に記憶される。撮像画面は複数のエリア（例えば８×８、16×16など）に分割され、エリアごとにＲ、Ｇ、Ｂ信号の色別の平均積算値が算出される（ステップ２０２）。
【００６６】
得られた色別の積算値からＲ信号とＧ信号との比Ｒ／Ｇ、およびＢ信号とＧ信号との比Ｂ／Ｇが求められる（ステップ２０４）。
【００６７】
なお、エリアごとのＲ、Ｇ、Ｂ信号の色別平均積算値は、図２に示した積算回路１１２によって算出され、ＣＰＵ１２に送られる。また積算回路１１２とＣＰＵ１２との間には乗算器１１２Ｒ、１１２Ｇ、１１２Ｂが設けられており、乗算器１１２Ｒ、１１２Ｇ、１１２Ｂには、機器のばらつきを調整するため調整ゲインが加えられるようになっている。なお、図２に示した積算回路１１２は図１に示したＡＥ／ＡＷＢ検出回路６４に含まれている。
【００６８】
ここで、ホワイトバランスゲイン補正量を算出するためには、色評価値ＨＣＬｉを算出する必要がある。色評価値ＨＣＬｉは、低彩度のものを光源とするＡＷＢ計算の重み付き係数であり、低彩度のものを光源と推定する彩度評価値ＨＳｉ及び明るさの要素から計算された係数である。すなわち、
【００６９】
【数２】
Ｆ（色評価値ＨＣＬｉ）＝Ｆ（彩度評価値ＨＳｉ）×Ｆ（明るさの要素）
である。明るさの要素は、撮影露出値から算出されるＥＶ値によって決定され、被写体の明るさによって重み付けされる関数である。ここで、各エリアの輝度（ＥＶ値Ｅｖｉ）は、次式によって求められる。
【００７０】
【数３】
Ｅｖｉ＝Ｅｖ＋ｌｏｇ₂（Ｇｉ／４５）
但し、Ｅｖ：撮影ＥＶ値
Ｇｉ：各エリアのＧの平均積算値
に基づいて計算する。なお、上記式中の４５は、Ａ／Ｄ変換後の値の中での適正値である。
【００７１】
彩度評価値ＨＳｉは、以下の手順で算出される。
【００７２】
彩度評価値は、低彩度を光源とするシステムを用いた距離判別アルゴリズムを用いて物体色と光源とを分離するものである。すなわち、このアルゴリズムは、以下に述べる色温度別に枠が用意された軸上において、最も彩度が低い検出枠の分布とその他検出枠の分布との距離を求め、その他検出枠の分布が前記最も彩度が低い検出枠の分布に近ければ近いほど最も彩度が低い検出枠の分布は光源らしいと判断して評価値を高くする評価値換算法である。
【００７３】
まず、前記エリアごとに求められる色情報（Ｒ／Ｇ、Ｂ／Ｇ）が、それぞれのエリアが図３の表色座標３００上に表された検出枠のうち何れの検出枠に入るかを判別するために使用される。なお、図３における日陰検出枠や昼白色検出枠等の検出枠は、横軸をＲ／Ｇ×５０、たて軸をＢ／Ｇ×１００とする表色座標３００上に表された枠であり、検出枠ごとに光源種などの色分布の範囲を規定するものである。
【００７４】
図３では、青空検出枠、日陰検出枠、昼光色検出枠、晴れ検出枠、緑検出枠、昼白色検出枠、タングステン１検出枠、タングステン２検出枠、タングステン３検出枠が示されている。ただし、検出枠の種類や数、設定範囲などについては本例に限定されず、多様な設計が可能である。
【００７５】
図３に示した検出枠を用い、撮像画面の各エリアに対応する２５６点の分布を得て、２５６点の分布を検出枠ごとに平均化する。即ち、各検出枠に出力された点のみに関して、各検出枠に入った個数と各検出枠での平均座標（Ｒｉ／Ｇｉ，Ｂｉ／Ｇｉ）とが算出される（図６のステップ２０６）。
【００７６】
図３の表色座標３００の原点（グレー）から、分布が生じた各検出枠の上記平均座標（Ｒｉ／Ｇｉ，Ｂｉ／Ｇｉ）までの距離ΔＳｉを求め（図６のステップ２０８）、最も彩度（Ｒ／Ｇ軸，Ｂ／Ｇ軸での距離）が原点に近いものを光源らしいとして定義し（ステップ２１０、２１２）、最も彩度の低い検出枠を光源とする。
【００７７】
すなわち、ΔＳｉは以下の式によって求められる。
【００７８】
【数４】
ΔＳｉ＝｛（１−Ｒｉ／Ｇｉ）²＋（１−Ｂｉ／Ｇｉ）²｝^1/2
次に、光源らしいと定義された検出枠の平均座標から他の検出枠の平均座標までの彩度距離ΔＤｉ（Ｒ／Ｇ軸、Ｂ／Ｇ軸上のもの）を求める（ステップ２１４）。ここで、光源の平均座標（Ｒｉ／Ｇｉ，Ｂｉ／Ｇｉ）を（Ｘｎ、Ｙｎ）と置き換える。（Ｘｎ、Ｙｎ）は低彩度検出枠平均値であるので、この低彩度検出枠平均値（Ｘｎ、Ｙｎ）から各枠座標平均（Ｘｉ，Ｙｉ）の距離ΔＤｉは、以下の式によって求められる。
【００７９】
【数５】
ΔＤｉ＝｛（Ｘｎ−Ｘｉ）²＋（Ｙｎ−Ｙｉ）²｝^1/2
次に、光源からの距離に応じて、分布の存在する各検出枠での色情報の補正量を変えるために、図４の関数を用いて彩度評価値ＨＳｉを決定する（ステップ２１６）。図４の関数は、平均座標が低彩度検出枠から近い位置の分布には彩度評価値を大きくして光源らしいと補正し、平均座標が低彩度検出枠から遠くなるにしたがってその分布はもともと持っている色の影響力が強い物体色として彩度評価値を徐徐に下げるようにするものである。
【００８０】
つまり、Ｒ／Ｇ軸，Ｂ／Ｇ軸上でみると、図５のようになる。図５において、第一近隣円４００にあるものは、低彩度検出枠からの距離も近く、極めて光源らしいと判断できる。第二近隣円４０２の外側にあるものは、この円から離れれば離れるほど物体色の確率が高いと判定され、彩度評価値は低くなる。
【００８１】
以上の処理により、彩度評価値ＨＳｉが出力される（ステップ２１８）。
【００８２】
その後、上記［数２］の式により、色評価値ＨＣＬｉが算出される（ステップ２２０）。
【００８３】
算出された色評価値ＨＣＬｉを用いてホワイトバランスゲイン補正量を求める。
【００８４】
まず、それぞれの検出枠の座標平均値をグレーにもっていくようなＲ／Ｇ軸，Ｂ／Ｇ軸ゲイン補正量Ｇｒｉ，Ｇｂｉを求める（ステップ２２２）。そして、下記の式により、色評価値ＨＣＬｉとの重み付け処理によって、最終Ｒ／Ｇ，Ｂ／ＧゲインＧｒ’、Ｇｂ’が算出される（ステップ２２４）。
【００８５】
【数６】
Ｇｒ’＝Σ（Ｇｒｉ×ＨＣＬｉ）／ΣＨＣＬｉ
Ｇｂ’＝Σ（Ｇｂｉ×ＨＣＬｉ）／ΣＨＣＬｉ
このようにして、ホワイトバランスゲインＧｒ’、Ｇｂ’が算出されるとオートホワイトバランス制御は終了する。
【００８６】
第１の実施の形態により、低彩度領域を光源と推定し、光源からのＲ／Ｇ軸、Ｂ／Ｇ軸上の色の距離に応じて重み付けした評価値を算出し、その評価値に基づいてホワイトバランスゲイン補正値を演算することにより、物体色の過補正を防止することができ、カメラの画質が改善される。
【００８７】
次に、第２の実施の形態に係る画像処理装置として機能するデジタルカメラについて図７〜９を用いて説明する。
【００８８】
第２の実施の形態は、シーンによって光源の色味を生かした補正量を好む場合と、例えばグレーのものはグレーに撮って欲しい場合とがあることに着目し、光源らしさを生かすホワイトバランスゲイン補正をする場合と、シーン依存で完全追従するホワイトバランスゲイン補正をする場合との比重を切り替えて補正できる機能を持つことを特徴としている。これによって、シーン合格率をより高いものにすることができる。
【００８９】
第２の実施形態に係る画像処理装置として機能するデジタルカメラの構成は第１の実施形態のものと同様であるので説明を省略する。
【００９０】
ホワイトバランス補正値をＲｇ、Ｇｇ、Ｂｇ、補正する前の信号をＲ、Ｇ、Ｂとし、ホワイトバランス調整回路１０４での補正結果をＲ’、Ｇ’、Ｂ’とすると、補正結果Ｒ’、Ｇ’、Ｂ’が上記〔数１〕の式によって表されることも第１の実施形態と同様である。ホワイトバランスゲイン補正量の算出方法が第１の実施形態と異なるのでそれを説明する。
【００９１】
第２の実施の形態によるオートホワイトバランス（ＡＷＢ）制御の流れを説明する。
【００９２】
図９は、第２の実施の形態に係るオートホワイトバランス制御の流れを示したフローチャートである。
【００９３】
撮影ボタン全押し（Ｓ２オン）に応動してオートホワイトバランス制御が開始され（ステップ２３０）、ＣＣＤ３８より取得された１画面分のＲＧＢデータはメモリ１８に記憶される。撮像画面は複数のエリア（例えば８×８、16×16など）に分割され、エリアごとにＲ、Ｇ、Ｂ信号の色別の平均積算値が算出される（ステップ２３２）。
【００９４】
得られた色別の積算値からＲ信号とＧ信号との比Ｒ／Ｇ、およびＢ信号とＧ信号との比Ｂ／Ｇが求められる（ステップ２３４）。
【００９５】
なお、エリアごとのＲ、Ｇ、Ｂ信号の色別平均積算値は、図２に示した積算回路１１２によって算出され、ＣＰＵ１２に送られる。また積算回路１１２とＣＰＵ１２との間には乗算器１１２Ｒ、１１２Ｇ、１１２Ｂが設けられており、乗算器１１２Ｒ、１１２Ｇ、１１２Ｂには、機器のばらつきを調整するため調整ゲインが加えられるようになっている。なお、図２に示した積算回路１１２は図１に示したＡＥ／ＡＷＢ検出回路６４に含まれている。
【００９６】
ここで、ホワイトバランスゲイン補正量を算出するためには、重み付け評価値ＨＣＬｉ’を算出する必要がある。重み付け評価値ＨＣＬｉ’は、ＡＷＢ計算の重み付き係数であり、色評価値ＨＣＬｉ及び明るさの要素から計算された係数である。すなわち、
【００９７】
【数７】
Ｆ（重み付き評価値ＨＣＬｉ’）＝Ｆ（色評価値ＨＣＬｉ）×Ｆ（明るさの要素）
である。明るさの要素は、撮影露出値から算出されるＥＶ値によって決定され、被写体の明るさによって重み付けされる関数である。ここで、各エリアの輝度（ＥＶ値Ｅｖｉ）は、次式によって求められる。
【００９８】
【数８】
Ｅｖｉ＝Ｅｖ＋ｌｏｇ₂（Ｇｉ／４５）
但し、Ｅｖ：撮影ＥＶ値
Ｇｉ：各エリアのＧの平均積算値
に基づいて計算する。なお、上記式中の４５は、Ａ／Ｄ変換後の値の中での適正値である。
【００９９】
色評価値ＨＣＬｉは、シーンによって完全にグレーになる評価値（追従評価値ＨＣｉ）を算出したり彩度評価値ＨＳｉに切り替えたりできる関数である。色評価値ＨＣＬｉは、追従評価値ＨＣｉと彩度評価値ＨＳｉとを用いて以下の式で表される。
【０１００】
【数９】
α＝α’×β
ＨＣＬｉ＝ＨＳｉ×α＋ＨＣｉ×（１−α）（α＜＝１）
α’は各色温度別光源ごとにもつ値であるので、光源によって彩度評価値を重視することも可能である。αを形成する補正量βは図７の関数を用いて決定される。
【０１０１】
図７の関数では、低彩度を光源とした場合の低彩度の分布の個数（画面の面積比率）が少ないときは本当に光源であると判断できないため、彩度評価値の比重を減らすものである。これによって、全体のシーン重視の色評価値が算出される。
【０１０２】
追従評価値ＨＣｉは、次の計算で算出される（ステップ２３６）。
【０１０３】
【数１０】
Ｆ（追従評価値ＨＣｉ）＝Ｆ（分布の個数）×Ｆ（明るさの要素）
追従評価値ＨＣｉは、図８に示すように、Ｒ／Ｇ軸、Ｂ／Ｇ軸上において画面中の色の分布の中にある色の集団（かたまり）を検出し、それぞれのかたまりの個数から算出される評価値であり、分布の個数による関数である。つまり、追従評価値は画面の面積比率と明るさから算出されるものである。図８のようなＲ／Ｇ軸、Ｂ／Ｇ軸分布上で検出個数が多いものを中心に重み付けして追従評価値が決定される。
【０１０４】
上記〔数９〕の式では、光源らしさをみる彩度評価値ＨＳｉに画面の色支配率をみる追従評価値ＨＣｉを混合させているが、これにより、彩度評価値の副作用ともいえるＭＩＸ光などの、光源判別がうまくいかず補正量が足りなくなった場合の不具合を緩和させる効果をもつ。
【０１０５】
この後、追従評価値ＨＣｉが出力される（ステップ２３８）。
【０１０６】
彩度評価値ＨＳｉは第１の実施の形態と同様に算出される（ステップ２４０）。
【０１０７】
そして、色評価値ＨＣＬｉが〔数９〕の式により算出され（ステップ２４２）、出力される（ステップ２４４）。
【０１０８】
その後、上記方法により重み付き評価値ＨＣＬｉ’が算出されて（ステップ２４６）、最終的なオートホワイトバランスゲインは、以降、第１の実施の形態と同様な方法で算出される（ステップ２４８，２５０）。
【０１０９】
第２の実施の形態により、広範囲追従アルゴリズムと光源の色味を残す低彩度アルゴリズムとの間をとるような切り替えがシーンによって自動ででき、カメラの画質が改善される。完全色温度追従型アルゴリズムと低彩度光源アルゴリズムとの比率は、シーンによって変化し、主要光源確率に依存する。
【０１１０】
上記第１、第２の実施形態では、表色座標にＲ／Ｇ、Ｂ／Ｇ座標系を用いたが、表色座標系にはＲ、Ｇ、Ｂ座標系等、他の座標系を用いてもよい。
【０１１１】
【発明の効果】
請求項１〜３の本発明によれば、画面中低彩度領域のところだけでなく他の部分も重み付け処理を行うのでトータル的にホワイトバランスゲイン値を算出することができ、画質が改善される。
【図面の簡単な説明】
【図１】本発明の実施形態に係るデジタルカメラのブロック図。
【図２】本実施形態に係るデジタルカメラのホワイトバランス処理関連部分のブロック図。
【図３】表色座標上の光源種検出枠を示した図。
【図４】光源までの距離を基にして彩度評価値を算出する関数を示した図。
【図５】Ｒ／Ｇ軸，Ｂ／Ｇ軸上において光源から他の検出枠の平均座標値までの距離を示した図。
【図６】第１の実施形態のオートホワイトバランス制御の流れを示したフローチャート。
【図７】低彩度の分布の個数を基にして補正量βを算出する関数を示した図。
【図８】Ｒ／Ｇ軸、Ｂ／Ｇ軸上において画面中の色の分布の中にある色の集団を検出する模式図。
【図９】第２の実施形態のオートホワイトバランス制御の流れを示したフローチャート。
【符号の説明】
１０…デジタルカメラ、１２…ＣＰＵ、１８…メモリ、２４…撮影ボタン、５８…画像信号処理回路、６４…ＡＥ／ＡＷＢ検出回路、１０４…ホワイトバランス調整回路、１１２…積算回路、３００…表色座標

Claims

光学像を電気信号に変換する撮像手段を用いて被写体を撮影して得られた画像の画像データを処理する画像処理装置であって、
被写体が撮像された画面を複数のエリアに分割し、各エリアごとに色情報を取得する色情報取得手段と、
少なくとも光源種に対応する色分布の範囲を示す検出枠を設定し、前記取得した各エリアごとの色情報を前記検出枠に分布させる分布作動手段と、
前記分布された色情報のうち低彩度領域に分布する色情報を光源による色情報と推定し、光源による色情報と推定された色情報から光源による色情報と推定された色情報の検出枠以外の検出枠の色情報までの色分布上の距離に応じて重み付けした評価値を算出する評価値算出手段と、
前記算出した評価値に基づいてホワイトバランスゲイン値を演算する演算手段と、
からなる画像処理装置。
光学像を電気信号に変換する撮像手段を用いて被写体を撮影して得られた画像の画像データを処理する画像処理方法であって、
被写体が撮像された画面を複数のエリアに分割し、各エリアごとに色情報を取得するステップと、
少なくとも光源種に対応する色分布の範囲を示す検出枠を設定し、前記取得した各エリアごとの色情報を前記検出枠に分布させるステップと、
前記分布された色情報のうち低彩度領域に分布する色情報を光源による色情報と推定し、光源による色情報と推定された色情報から光源による色情報と推定された色情報の検出枠以外の検出枠の色情報までの色分布上の距離に応じて重み付けした評価値を算出するステップと、
前記算出した評価値に基づいてホワイトバランスゲイン値を演算するステップと、
からなる画像処理方法。
光学像を電気信号に変換する撮像手段を用いて被写体を撮影して得られた画像の画像データを処理する画像処理装置であって、
被写体が撮像された画面を複数のエリアに分割し、各エリアごとに彩度情報を取得する彩度情報取得手段と、
少なくとも光源種に対応する彩度分布の範囲を示す検出枠を設定し、前記取得した各エリアごとの彩度情報を前記検出枠に分布させる分布作動手段と、
前記検出枠に分布された彩度情報の、前記検出枠毎に所定の彩度基準に基づいた平均値を算出する平均値算出手段と、
前記算出した各検出枠の平均値のうち、前記彩度基準の最も低彩度のものを光源による彩度情報平均値と定義する定義手段と、
前記光源による彩度情報平均値と定義された平均値の属する検出枠の彩度情報から平均値の属する他の検出枠の彩度情報までの前記彩度基準上での距離を求める距離算出手段と、
前記距離算出手段によって算出した距離が短いときは光源らしいと認定して重み付けした評価値を得て、前記算出した距離が長いときは物体色らしいと認定して重み付けしない評価値を得る評価値獲得手段と、
前記評価値獲得手段で重み付けした評価値を得た場合には、当該評価値に基づいて重み付け加算をしてホワイトバランスゲイン補正を行い、前記評価値獲得手段で重み付けしない評価値を得た場合には、ホワイトバランスゲイン補正を行なわない補正手段と、
からなる画像処理装置。