JP6525503B2 - 画像処理装置および撮像装置 - Google Patents

Description

本発明は、ホワイトバランス調整を行う画像処理装置および撮像装置に関する。

デジタルカメラ、ビデオカメラ等の撮像装置においては、照明光源の色温度による発色の違いを補正するためにホワイトバランス調整が必要である。ホワイトバランス調整を自動で行うホワイトバランス自動調整の方法として各種方法が提案されている。

ホワイトバランス自動調整の方法の１つとして、撮像された画像中の無彩色と推定される被写体の画素値を用いて画像のＲＧＢバランスを調整するものがある。しかしながら、この方式では画像中に無彩色物体が無い場合は正しくホワイトバランスを調整することができないため、センサーに入射する光の光量や色分布などの他の情報を用いないと光源色を推定することができない。

また、画像中に無彩色物体が無い場合においても光源色を推定する方法として、二色性反射モデルに基づく光源色推定法がある。二色性反射モデルとは「物体からの反射光＝乱反射成分＋鏡面反射成分」とするモデルで、乱反射成分は物体表面で散乱された光であって物体色に依存する成分であり、鏡面反射成分は物体表面で鏡面反射された光であって光源色に依存する成分である。

このモデルによれば、物体の反射光から鏡面反射成分のみを抽出できれば、被写体が有彩色の物体であっても光源色の推定が可能である。鏡面反射成分の抽出には偏光フィルタを用いた光学的手法を含めていくつかの検討がなされているが、特殊な撮像系や膨大な計算が必要であり実用的でなかった。

鏡面反射成分を簡便に計算する手法として、近傍画素値の差分を用いた光源色推定方法が提案されている。これは同一物体からの反射光は輝度が異なる画素間においても乱反射成分は物体色によらず同一で鏡面反射成分の比率のみが異なると仮定し、輝度差のある画素値の差分をとることによって乱反射成分をキャンセルして鏡面反射成分を抽出するものである。

例えば、特許文献１には、輝度差がある近傍画素値の差分から鏡面反射成分のＲＧＢ比率を求め、ホワイトバランス調整を行うためのゲイン比を計算する手法が開示されている。

特開２００７−０１３４１５号公報

しかしながら、上述の特許文献１に開示された従来技術では、近傍画素値の差分を得るための手段として画像を小領域に分割して画素を輝度値で分類し、輝度レンジ毎に平均値を求めたのち、各小領域の結果を画像全体で平均したものを用いて差分計算を行う。そのため、画像に含まれる光源が一様でない場合には、複数の光源色が混じりあった平均値を使って計算することにより大きな誤差が発生するという課題があった。

これは、例えば窓から外光が差し込んでいる室内において人物を撮影するような、従来のホワイトバランス自動調整では正しい調整が困難な状況において、二色性反射モデルを用いているにもかかわらず誤った結果となる。

そこで、本発明は、二色性反射モデルを用いてホワイトバランス自動調整を行う画像処理装置において、撮影画像に色温度が異なる複数の光源によって照明された領域が存在する場合であっても、被写体を照明している光の光源色を推定することで、適切にホワイトバランス調整することを目的とする。

本発明に係る画像処理装置は、画像から被写体領域を検出する検出手段と、前記画像を複数のブロックに分割する分割手段と、前記分割手段により分割されたブロックごとに近接画素の画素値の差分を用いて光源色推定を行う推定手段と、前記検出手段により検出された前記被写体領域を含むブロックを用いた前記光源色推定の結果を用いて、主光源色を判定する判定手段と、前記判定手段により判定された主光源色に基づいて前記画像全体に色処理を施す処理手段と、を備え、前記光源色推定の結果が複数の光源種に分類された場合であり、かつ前記光源色推定の結果の分類の頻度に偏りがある場合、前記判定手段は、前記分類の頻度がより高い光源色推定の結果を用いて主光源色を判定し、前記光源色推定の結果が複数の光源種に分類された場合であり、かつ前記光源色推定の結果の分類の頻度に偏りがない場合、前記判定手段は、平均輝度がより高い光源色推定の結果を用いて主光源色を判定することを特徴とする。

本発明によれば、撮影画像に色温度が異なる複数の光源によって照明された領域が存在する場合であっても、撮像対象である被写体を照明している光の光源色を推定することで、より適切にホワイトバランス調整することができる。

本発明のホワイトバランス調整回路の概略構成図を示すブロック図である。 ホワイトバランス調整回路による被写体検出を示す図である。 被写体領域における主光源色判定の一例を示す図である。 ブロックごとに行う光源色推定の一例を示す図である。 ブロック光源色推定回路の概略構成を示すブロック図である。 光源色推定の結果についての信頼度算出の一例を示す図である。 クラスタリングによる主光源色推定の一例を示す図である。 画面中央部分に主被写体領域を設定した場合の主光源色判定を示す図である。 フォーカスエリアを基準とする領域を設定した場合の主光源色判定を示す図である。 輝度値が高い領域を被写体領域として設定した場合の主光源色判定を示す図である。

本発明の実施形態について、添付の図面を用いて説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係るホワイトバランス自動調整装置の概略構成を示すブロック図である。

端子１０１には、撮像部（図示せず）から撮影画像の画像信号が入力される。画像信号として、ＲＧＢ形式のカラー画像信号を用いて説明するが、ＸＹＺ、ＹＵＶ等の他のカラーエンコード画像信号であってもよく、他のカラーエンコード画像信号の場合は、ＲＧＢによる計算の前にカラーマトリクスによる色空間変換を行うか、光源色推定の計算式を色空間変換式によって変形したものを用いればよい。

主被写体領域検出回路１０２は、端子１０１から入力された撮影画像の画像信号を取得し、画像中の主たる被写体の領域（以下、被写体領域と称する）を検出する。主被写体領域の検出方法としては、顔認識、人体認識に代表される被写体認識技術を用いたもの、画面中央部分等撮影の際に主となる被写体が配置される確率が高い領域を使用するもの、撮像装置のフォーカスエリアを基準とする領域を設定するもの、主光源で照明された領域は明るいという仮定の下に輝度値が高い領域を設定するものなどの各種の領域検出方法が適用することができる。

図２は、顔認識と人体認識を組み合わせた検出方法を用いた被写体領域の検出を示す図である。図３は、図２の検出方法で検出された被写体領域における主光源色判定の一例を示す図である。

図２（ａ）は、被写体である人物２０１が撮影された撮影画像を示している。図２（ｂ）は、人物２０１に対して顔認識を行った結果であり、矩形状の顔領域２０２が検出されて認識されている。図２（ｃ）は、人物２０１に対して人体認識を行った結果であり、矩形状の人体領域２０３が検出されて認識されている。

図２（ｄ）は、顔領域２０２と人体領域２０３から人物の被写体領域２０４を検出した結果である。被写体領域２０４は、図２（ｄ）の実線領域で示されるように、顔領域２０２と人体領域２０３を合わせた領域である。

主被写体領域検出回路１０２は、人物２０１を含む撮影画像から、顔認識と人体認識を組み合わせた検出方法を用いて被写体領域２０４を検出する。

主被写体領域検出回路１０２は、人物２０１に対し、顔認識により矩形状の顔領域２０２を検出し、さらに人体認識により矩形状の人体領域２０３を検出する。その後、主被写体領域検出回路１０２は、検出された顔領域２０２と人体領域２０３を合成して、被写体領域２０４を検出する。

主被写体領域検出回路１０２によって検出された被写体領域２０４に関する情報は、主被写体領域検出回路１０２から主被写体領域判定回路１０５に出力される。

光源色推定ブロック分割回路１０３は、撮影画像の領域単位で光源色推定するために、画像をマトリクス状の複数のブロック（以下、光源色推定ブロックと称する）に分割する。なお、本実施形態では撮影画像をマトリクス状に分割しているが、これに限られない。

光源色推定ブロック分割回路１０３は、各光源色推定ブロックの情報をブロック光源色推定回路１０４、光源色推定信頼度判定回路１０６に供給する。光源色推定ブロックの情報として、例えば撮影画像における各ブロックの位置情報が用いることができ、その一例として撮影画像に座標軸を設定することで表現される二次元座標でもよい。

なお、撮影画像の領域単位で光源色推定を行うのは、二色性反射モデルを用いて近接する近接画素の画素値の差分から鏡面反射成分を抽出できるためには、差分をとる画素が同一の被写体領域に属している必要があるという前提条件を満たすためである。ここで画素値の差分を算出する近接する画素とは、隣接する画素を含み、同一の被写体領域に属する程度にある所定の距離以内に位置する画素を示す。

ブロック光源色推定回路１０４は、光源色推定ブロック分割回路１０３から取得した各光源色推定ブロックの情報に基づき、光源色推定ブロック毎に二色性反射モデルを用いて近接する画素の画素値の差分から光源色を推定する。

図４は、光源色推定ブロック毎に光源色推定を行う方法の一例を説明する図である。

図５は、ブロック光源色推定回路１０４の概略構成図を示す。

輝度成分抽出回路８０２は、光源色推定ブロック分割回路１０３から端子８０１に入力された光源色推定ブロックの情報を用いて、光源色推定ブロック毎に各画素の輝度値を抽出する。

輝度ステップ分割回路８０３は、抽出した輝度値を所定のステップ（輝度領域）に分割し、ステップ平均算出回路８０４では、各画素の輝度値が所属するステップ毎に画素のＲＧＢ値の平均を求める。

図４（ｂ）は輝度値によるステップ分割の例を示している。輝度値ステップＬ０〜Ｌ６について、各輝度ステップに属する画素の画素値の平均が算出される。

光源色推定を行うためには画素が存在する有効な輝度ステップのうち輝度が高いステップとそれ以下のステップの平均値間で差分計算をする必要がある。

有効輝度ステップ検出回路８０５は、輝度ステップ毎の画素数から差分計算に有効な輝度ステップを検出する。図４（ｂ）においては輝度ステップＬ５とＬ４が差分計算に有効な輝度ステップである。

ステップ平均差分算出回路８０６では有効な輝度ステップ間の平均値差分を計算する。輝度ステップＬ５でのＲＧＢ平均値をＲ５、Ｇ５、Ｂ５とし、Ｌ５でのＲＧＢ平均値をＲ４、Ｇ４、Ｂ４とすると、差分を取ることによって乱反射成分は打ち消されるため、鏡面反射成分すなわち光源色のＲＧＢ比率Ｒｓ：Ｇｓ：Ｂｓは
Ｒｓ：Ｇｓ：Ｂｓ＝（Ｒ５−Ｒ４）：（Ｇ５−Ｇ４）：（Ｂ５−Ｂ４） 式（１）
となる。

ステップ平均差分算出回路８０６は、有効輝度ステップ間において画素値平均の差分を取ることによって式（１）の右辺を計算し、ブロック光源色算出回路８０７において、求められたＲＧＢ比率より光源色を算出する。その後、光源色に関する情報が端子８０８に出力される。

主被写体領域判定回路１０５は、主被写体領域検出回路１０２からの主被写体領域情報と光源色推定ブロック分割回路１０３からのブロック位置情報を領域比較することによって、それぞれの光源色推定ブロックについて主被写体領域内のブロックであるかどうかを判定する。

図３（ｂ）において、主被写体領域判定回路１０５は、主被写体領域検出回路１０２で検出された主被写体領域を示す点線の内側にある光源色推定ブロックを、主被写体領域内のブロックであると判定する。

光源色推定信頼度判定回路１０６は、光源色推定ブロック毎に、ブロック輝度情報と予め定められた所定の閾値との比較結果から、ブロック光源色推定回路１０４による光源色推定の信頼度について判定を行う。さらに、光源色推定の信頼度を所定の判定値（所定値）と比較することで、信頼度の高低を表現することができる。

図３（Ｃ）において、光源色推定信頼度判定回路１０６は、光源色推定ブロック毎に光源色推定の信頼度を判定した結果を示しており、図中斜線のブロックは信頼度が低いと判定された光源色推定ブロックを示している。

ここで、図６に光源色推定ブロックの輝度値分布を用いて信頼度判定を行う例を示す。

図６（ａ）は、画像に白飛び、黒つぶれ等が無く、近接する画素の画素値の差分をとるための輝度差も確保できている理想的な分布を示している。

これに対して、図６（ｂ）では、画像の高輝度部分に白飛びが生じた状態を示しており、ブロック内の画素の大半が白飛び状態である場合、差分値は正しい光源色を示すことでできない。この状態は、輝度ピークとなる画素値とその頻度を所定閾値と比較することによって判定が可能である。

図６（ｃ）は一様な壁面等からなるブロックの輝度値分布であり、この場合も差分値を求めることが困難である。この状態では、輝度値の分散である輝度分散値を所定の閾値を比較することによって判定が可能である。

図６（ｄ）は暗い部分のみからなるブロックの輝度値分布であり、この場合はノイズ成分の影響により光源色の誤差が大きいと考えられる。この状態は輝度値の平均を所定の閾値を比較することによって判定が可能である。

なお、信頼度判定の指標として、ピーク輝度及び画素数、平均輝度を用いてもよい。

主光源領域判定回路１０７は、主被写体領域判定回路１０５と光源色推定信頼度判定回路１０６の結果を用いて、主被写体領域内にあり、かつ光源色推定の信頼度が所定値以上の高い光源色推定ブロックを判定する。

図３（ｄ）において、主被写体領域内にあり、かつ光源色推定の信頼度が高い光源色推定ブロックを白色で示しており、これらのブロックを用いて主光源色の推定が行われる。

スイッチ１０８は、ブロック光源色推定回路１０４の推定結果のうち、主光源領域判定回路１０７によって主被写体領域内かつ信頼度が高いと判定されたブロックの推定結果を抽出して主光源色推定回路１０９に供給する。

主光源色推定回路１０９は、主被写体領域から得られ、かつ推定信頼度が高い光源色推定結果を色平面上で光源種に分類することによって主光源の光源色を推定する。本実施の形態では、光源のＲＧＢ比率から得られる色度を黒体放射軸上に投影した分布図を用いてクラスタリングと主光源推定の説明を行うが、黒体放射軸上で分離が困難な光源を扱う場合にはｘｙ色度図等で二次元クラスタリングを行ってもよい。

図７は、クラスタリングによる主光源色推定の一例を示す図である。

図７（ａ）は、黒体放射軸上投影が単一のクラスタから成る場合であり、これは主光源が単一である場合と考えられる。この場合、主光源色はクラスタリングされた光源色の平均値によって求められる。

図７（ｂ）は、黒体放射軸上投影が複数のクラスタから成り、かつクラスタの頻度分布に偏りがある場合である。この場合においては、主光源が複数であるが、被写体を主に照射している光源と部分的に照射している別の光源がある場合と考えられる。この場合、主光源色は頻度の高いクラスタの光源色の平均値によって求められる。

図７（ｃ）は黒体放射軸上投影が複数のクラスタから成り、かつクラスタの頻度分布に偏りが無い場合である。これは主光源が複数でありかつ被写体に均等に当たっている場合と考えられる。この場合に主光源を決定する手法としては、より明るく照射されている光源を主光源と考え、各クラスタに属するブロックの平均輝度を比較することによって主光源を決定することが考えられ、主光源色はブロック平均輝度が高いクラスタの光源色の平均値によって求められる。

以上の処理によって求められた主光源色はホワイトバランス調整回路１１０に供給され、画像全体についてのＲＧＢゲインを調整することによってホワイトバランス調整して色処理が行われ、端子１１２から出力される。

メモリ１１１はこれまで述べてきた主光源色推定に要する処理時間の間、入力画像を保持するための画像メモリである。

（第２の実施形態）
第１の実施形態と異なる点のみを説明し、第１の実施形態と同様な構成や処理についての詳細な説明は省略する。

図８は、画面中央部分等撮影の際に主となる被写体が配置される確率が高いことを考慮して、画面中央部分に主被写体領域を設定した場合の主光源色判定を示す。

図８（ａ）において、点線領域は主被写体領域を示しており、主被写体領域を画面中央部分に設定している。これは、初心者向けカメラ等では画面中央付近に主被写体が配置される場合が多いという撮影状況を利用したものである。

図８（ｂ）において、主被写体領域を示す点線の内側にある光源色推定ブロックを主被写体領域内のブロックであると判定することを示している。

図８（ｃ）は、光源色推定ブロック毎に光源色推定の信頼度を判定した結果を示しており、図中斜線のブロックは信頼度が低いと判定された光源色推定ブロックを示している。

図８（ｄ）は、主被写体領域内にあり、かつ光源色推定の信頼度が高い光源色推定ブロックを白色で示しており、これらのブロックを用いて主光源色の推定が行われる。

（第３の実施形態）
第１の実施形態と異なる点のみを説明し、第１の実施形態と同様な構成や処理についての詳細な説明は省略する。

図９は、撮像装置のフォーカスエリアを基準とする領域を設定した場合の主光源色判定を示す。

図９（ａ）において、点線領域は主被写体領域を示しており、撮像装置のフォーカスエリア情報を用いてフォーカスエリアを基準とする周辺領域を主被写体領域として設定している。

図９（ｂ）において、主被写体領域を示す点線の内側にある光源色推定ブロックを主被写体領域内のブロックであると判定することを示している。

図９（ｃ）は、光源色推定ブロック毎に光源色推定の信頼度を判定した結果を示しており、図中斜線のブロックは信頼度が低いと判定された光源色推定ブロックを示している。

図９（ｄ）は、主被写体領域内にあり、かつ光源色推定の信頼度が高い光源色推定ブロックを白色で示しており、これらのブロックを用いて主光源色の推定が行われる。

（第４の実施形態）
第１の実施形態と異なる点のみを説明し、第１の実施形態と同様な構成や処理についての詳細な説明は省略する。

図１０は、主光源で照明された領域は明るいという仮定の下に輝度値が高い領域を被写体領域として設定した場合の主光源色判定を示す。

図１０（ａ）において、点線領域は主被写体領域を示しており、は輝度値が高い領域を主被写体領域として設定している。

図１０（ｂ）において、主被写体領域を示す点線の内側にある光源色推定ブロックを主被写体領域内のブロックであると判定することを示している。

図１０（ｃ）は、光源色推定ブロック毎に光源色推定の信頼度を判定した結果を示しており、図中斜線のブロックは信頼度が低いと判定された光源色推定ブロックを示している。

図１０（ｄ）は、主被写体領域内にあり、かつ光源色推定の信頼度が高い光源色推定ブロックを白色で示しており、これらのブロックを用いて主光源色の推定が行われる。

第１から第４の実施形態における主被写体領域検出方法は、本発明をデジタルカメラ等の撮像装置に組み込んで利用する場合は、デジタルカメラが備えている被写体認識機能からのエリア情報やオートフォーカス機能からのフォーカスエリア情報を利用することが可能であり、別途回路を追加すること無しに実装可能である。

また、オートフォーカスのＯＮ／ＯＦＦ、人物検出のＯＮ／ＯＦＦといったカメラのモード情報によって複数種類の被写体検出方式から最適なものを選択・組み合わせて主被写体領域検出を行うことも可能である。

さらに、本発明をソフトウェアとして撮影後の画像処理に適用する場合でも、撮影画像にメタデータとして付加された被写体認識情報や、フォーカスエリア情報を利用することも可能である。

これらの付加情報が利用できないシステムでの応用においては、被写体認識、合焦領域検出等の既存の画像処理技術と組み合わせることによって同様の主被写体領域検出を実現することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０２ 主被写体領域検出回路
１０３ 光源色推定ブロック分割回路
１０４ ブロック光源色推定回路
１０５ 主被写体領域判定回路
１０６ 光源色推定信頼度判定回路
１０７ 主光源領域判定回路
１０９ 主光源色推定回路
１１０ ホワイトバランス調整回路

Claims (6)

1. 画像から被写体領域を検出する検出手段と、
   前記画像を複数のブロックに分割する分割手段と、
   前記分割手段により分割されたブロックごとに近接画素の画素値の差分を用いて光源色推定を行う推定手段と、
   前記検出手段により検出された前記被写体領域を含むブロックを用いた前記光源色推定の結果を用いて、主光源色を判定する判定手段と、
   前記判定手段により判定された主光源色に基づいて前記画像全体に色処理を施す処理手段と、を備え、
   前記光源色推定の結果が複数の光源種に分類された場合であり、かつ前記光源色推定の結果の分類の頻度に偏りがある場合、前記判定手段は、前記分類の頻度がより高い光源色推定の結果を用いて主光源色を判定し、
   前記光源色推定の結果が複数の光源種に分類された場合であり、かつ前記光源色推定の結果の分類の頻度に偏りがない場合、前記判定手段は、平均輝度がより高い光源色推定の結果を用いて主光源色を判定することを特徴とする画像処理装置。
2. 前記ブロックに含まれる画素の輝度に関する情報から、ブロックごとに光源色推定の結果の信頼度を算出する算出手段を備え、
   前記判定手段は、前記被写体領域に含まれるブロックのうち、前記信頼度が所定値以上のブロックのみを用いて前記主光源色を判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記算出手段は、ピーク輝度及び画素数、平均輝度、輝度分散値の何れかを所定の閾値と比較して前記信頼度を算出することを特徴とする請求項２に記載の画像処理装置。
4. 前記判定手段は、前記被写体領域に含まれるブロックのうち、前記信頼度が所定値以上のブロックにおける光源色推定の結果を用いて、前記主光源色を判定することを特徴とする請求項２または３の何れかに記載の画像処理装置。
5. 画像を撮像する撮像手段と、
   請求項１から請求項４の何れか１項に記載の画像処理装置を備えることを特徴とする撮像装置。
6. 画像から被写体領域を検出する検出工程と、
   前記画像を複数のブロックに分割する分割工程と、
   前記分割工程で分割されたブロックごとに近接画素の画素値の差分を用いて光源色推定を行う推定工程と、
   前記検出工程で検出された前記被写体領域を含むブロックを用いた光源色推定の結果を用いて、主光源色を判定する判定工程と、
   前記判定工程で判定された主光源色に基づいて前記画像全体に色処理を施す工程と、を備え、
   前記光源色推定の結果が複数の光源種に分類された場合であり、かつ前記光源色推定の結果の分類の頻度に偏りがある場合、前記判定工程では、前記分類の頻度がより高い光源色推定の結果を用いて主光源色を判定し、
   前記光源色推定の結果が複数の光源種に分類された場合であり、かつ前記光源色推定の結果の分類の頻度に偏りがない場合、前記判定工程では、平均輝度がより高い光源色推定の結果を用いて主光源色を判定することを特徴とする画像処理装置の制御方法。

Images