JP6485078B2 - 画像処理方法および画像処理装置 - Google Patents

Description

本開示は、撮影した画像に対して画像処理を施す方法および装置に関する。

特許文献１は、鏡面反射を抑えた画像を取得する方法を開示する。この方法では、同一被写体に対して偏光フィルタを複数方位に設置して撮影した偏光画像を取得する。取得された複数の偏光画像の偏光方位に対する鏡面反射光強度を分析し、鏡面反射の最小値を推測することで、反射成分を抑えた画像を得ている。

特許第４３２４２３８号公報

Ｔ．Ｈｉｇｏ，Ｄ．Ｍｉｙａｚａｋｉ ａｎｄ Ｋ．Ｉｋｅｕｃｈｉ， "Ｒｅａｌｔｉｍｅ Ｒｅｍｏｖａｌ ｏｆ Ｓｐｅｃｕｌａｒ Ｒｅｆｌｅｃｔｉｏｎ Ｃｏｍｐｏｎｅｎｔ Ｂａｓｅｄ ｏｎ Ｄｉｃｈｒｏｍａｔｉｃ Ｒｅｆｌｅｃｔｉｏｎ Ｍｏｄｅｌ"， ＩＥＩＣＥ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ，Ｖｏｌ．１０６，Ｎｏ．２３０，ｐｐ．７７−８４，２００６

一般に偏光撮影した画像は、偏光フィルタによる光量損失のためＳＮ比が低い画像となる。このような偏光画像を用いた画像処理方法は、低ＳＮ比の画像を使用するため暗い撮影環境下には適用しにくいという問題がある。

本開示は、暗い環境下においても鏡面反射を抑制した高ＳＮ比の画像を取得することができる画像処理方法および画像処理装置を提供する。

本開示における画像処理方法は、被写体からの光の全偏光成分で撮影される通常画像、および、前記光の全偏光成分のうち特定の偏光成分で撮影される偏光画像を取得する取得ステップと、前記通常画像および前記偏光画像の差分画像を生成する差分ステップと、前記通常画像の画素値、および、前記偏光画像の画素値の少なくとも一方に乗算する係数を、少なくとも前記差分画像に含まれる画素値に基づいて算出する算出ステップと、前記通常画像および前記偏光画像の少なくとも一方の画素値に対して前記係数を乗算して得られる画素値を用いて、前記通常画像及びおよび前記偏光画像を合成することにより合成画像を生成する合成ステップとを含む。

本開示における画像処理方法および画像処理装置は、暗い環境下においても鏡面反射を抑制した高ＳＮ比の画像を取得するのに有効である。

図１は、実施の形態１に係る画像処理装置を示すブロック図である。 図２は、実施の形態１に係る画像処理装置における全体の動作を説明するためのフローチャートである。 図３は、処理対象となる画像信号の概略を説明するための図である。 図４は、実施の形態１に係る係数算出部における合成係数を算出する際の動作を示すフローチャートである。 図５は、被写体からの光のうち異なる偏光方向の光を用いて２枚の偏光画像を撮影した際に処理対象となる画像信号の概略を説明するための図である。 図６Ａは、通常画像と偏光画像とを撮影する撮影光学系の入光部の正面図である。 図６Ｂは、通常画像と偏光画像とを撮影する撮影光学系の入光部の正面図である。 図７Ａは、通常画像と偏光画像とを撮影する撮影光学系における開口の一部に偏光フィルタを設置した構成を示す外観斜視図である。 図７Ｂは、通常画像と偏光画像とを撮影する撮影光学系における開口の一部に偏光フィルタを設置した構成を示す外観斜視図である。 図８Ａは、通常画像と偏光画像とを撮影する撮影光学系における開口の一部に偏光フィルタを出し入れできるようにした構成を示す外観斜視図である。 図８Ｂは、通常画像と偏光画像とを撮影する撮影光学系における開口の一部に偏光フィルタを出し入れできるようにした構成を示す外観斜視図である。 図９は、通常画像と偏光画像とを撮影する撮影光学系の開口における偏光フィルタの有無の切り替えを回転機構で実現した構成を示す外観斜視図である。 図１０は、通常画像と偏光画像とを撮影する撮影装置が有するイメージセンサの一部の画素に偏光フィルタを設置した構成を示す正面図である。 図１１は、実施の形態２に係る画像処理装置における全体の動作を説明するためのフローチャートである。 図１２は、実施の形態２に係る係数算出部における合成係数を算出する際の動作を説明するためのフローチャートである。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
以下、図面を用いて実施の形態１を説明する。

［１−１．画像処理装置の全体構成］
まず、本実施の形態に係る画像処理装置１００の全体構成について図１を用いて説明する。

図１は、本実施の形態に係る画像処理装置１００のブロック図である。図１に示すように、画像処理装置１００は、画像取得部１０１、演算部１０２および表示部１０３を備える。

画像取得部１０１は、画像処理装置１００に接続される記録媒体から、同じ被写体を撮影した通常画像と偏光画像とを取得する。ここで、画像は、複数の画素で構成される。画素は、画素の明るさに関連する画素値を有する。例えば、画素が明るいほど、その画素の画素値は大きく、画素が暗いほど、その画素の画素値は小さい。そのため、画素値が大きいことを画素値が明るいと表現する場合があり、また、画素値が小さいことを画素値が暗いと表現する場合がある。画素値は、輝度値でもよいし、ＲＧＢ値の各成分でもよいし、ＹＵＶ値の各成分でもよい。以下、説明の便宜上、以下の説明において、通常画像および偏光画像はグレースケール画像として説明する。

ここで、通常画像とは、被写体からの光の全偏光成分で撮影される画像である。すなわち、通常画像とは、偏光フィルタ等を用いずに偏光特性を限定することなく撮影される画像である。一方、偏光画像とは、被写体からの光の全偏光成分のうち特定の偏光成分で撮影される画像である。すなわち、偏光画像とは、偏光フィルタ等を用いて特定の偏光成分で撮影される画像である。

演算部１０２は、画像取得部１０１で取得された通常画像および偏光画像を用いて鏡面反射成分を抑制した画像を生成する処理部である。ここで、鏡面反射成分とは、物体表面で生じる反射光のうち、入射角と反射角とが等しく、物体内部の色を反映しない反射光成分である。これに対して、拡散反射成分は、入射光が様々な方向に反射される反射光成分で、物体の色を反映する性質を持つ。この演算部１０２の詳細については後述する。

表示部１０３は、演算部１０２から出力される画像信号を表示する。なお、表示部１０３は画像信号を表示できるデバイスであればどのようなものを利用しても構わない。例えば、液晶表示パネルなどを利用することができる。

［１−２．演算部の構成］
次に、図面を参照しながら演算部１０２における詳細な動作について説明する。

演算部１０２は、図１に示すように、差分演算部１０４、係数算出部１０５および画像合成部１０６を備える。

差分演算部１０４は、通常画像と偏光画像との差分画像を計算する。具体的には、通常画像に属する画素の画素値と、この画素と同じ空間位置を示す画素であって偏光画像に属する画素の画素値との差分値を算出する。

上記のように差分画像を算出する場合、あらかじめ通常画像および偏光画像の画素値を正規化し、両者の画素値の範囲をそろえておくことが望ましい。一般的に、偏光画像は偏光フィルタを通して処理されるため、通常画像と比較して暗い画像となる。そのため、通常画像と偏光画像との画素値の範囲が異なる。この問題により、単に差分画像を算出したのでは、通常画像の画素値が優勢となり以後の処理による効果が低減される。上記のように正規化処理をすることにより、上記問題を解決することができるため、本実施の形態における処理の精度を向上させることができる。正規化の方法として、例えば、通常画像の画素値の範囲と偏光画像の画素値の範囲がほぼ一致するように、偏光画像の画素値の範囲を線形的に拡張させる方法を用いてもよい。

なお、γ補正等の非線形な画素値補正が施された画像は、入射光量と画素値が線形な特性を持つようにあらかじめ逆補正してから正規化を行う。これにより、偏光画像における画素値であって偏光特性に偏りがない領域の画素値は、通常画像の画素値に近くなっていく。

説明の便宜上、以下の説明においては正規化処理した後の通常画像および偏光画像を用いて処理する構成を説明する。なお、上記のように差分演算部１０４における処理前に正規化処理をしない構成とすることもできる。

具体的に差分演算部１０４は、下記の式１に示すように、正規化後の通常画像と偏光画像との差分画像を算出する。

ここで、（ｘ，ｙ）は画像内の画素位置のｘ座標およびｙ座標を表す。式１においてＤ（ｘ，ｙ）は、差分画像の画素値を表し、Ｉ_{ｎｏｒｍａｌ}（ｘ，ｙ）は正規化後の通常画像の画素値を表し、Ｉ_ＰＬ（ｘ，ｙ）は正規化後の偏光画像の画素値を表す。

係数算出部１０５は通常画像と偏光画像とを用いて、両者を合成する合成係数α（ｘ，ｙ）を算出する。合成係数α（ｘ，ｙ）の算出方法の詳細については後述する。

画像合成部１０６は、下記の式２に示すように、係数算出部１０５で算出した合成係数α（ｘ，ｙ）を用いて通常画像と偏光画像とを合成する。

式２においてＩ_{ｎｏ＿ｒｅｆ}（ｘ，ｙ）は、合成画像の画素値を表す。γ補正等の輝度補正が必要な場合、Ｉ_{ｎｏ＿ｒｅｆ}（ｘ，ｙ）に対して輝度補正を行う。なお、上記式２においては、通常画像および偏光画像に係数が乗算される構成を示したが、通常画像および偏光画像の少なくとも一方に係数が乗算される構成としてもよい。

［１−３．画像処理装置の動作］
次に、図面を参照しながら本実施の形態における画像処理装置１００の具体的な動作について説明する。

図２は、本実施の形態に係る画像処理装置１００における全体の動作を説明するためのフローチャートである。

図３は、処理対象となる画像信号の概略を説明するための図である。

図２に示すように、まず、画像取得部１０１が、同一被写体を撮影した通常画像４１０と偏光画像４２０を取得する（Ｓ２０１、Ｓ２０２）。ここで、図３に示す通常画像４１０および偏光画像４２０の画像例を参照する。図３の通常画像４１０において、路面上の斜線領域は鏡面反射によって空と雲が写りこみ、路面が写っていない。一方、偏光画像４２０では、鏡面反射した光の少なくとも一部が偏光フィルタなどによって遮断されて、通常画像４１０の斜線の領域に対応する領域において道路面が透けて写っている。

次に、差分演算部１０４は、通常画像および偏光画像の輝度値の範囲が一致するように輝度値を正規化処理した後、式１に基づいて両者の差分画像４３０（Ｄ（ｘ，ｙ））を算出する（Ｓ２０３）。図３に示すように、算出した差分画像４３０には、通常画像４１０および偏光画像４２０に映し出される被写体のうち相違部分が残る。差分画像４３０においては、反射領域４３１および反射領域４３２における画素値が残っている。

次に、係数算出部１０５は、差分画像４３０（Ｄ（ｘ，ｙ））から、合成係数の算出に利用する反射領域４３１および反射領域４３２を決定する（Ｓ２０４）。係数算出部１０５は、Ｄ（ｘ，ｙ）があらかじめ定めた閾値ｔｈよりも大きい領域、または、Ｄ（ｘ，ｙ）の画素値ヒストグラムの上位ｐ％（０＜ｐ＜＝１００）に含まれる画素領域を上記の反射領域として設定する。これにより、偏光成分に偏りのある領域を選択的に得ることができる。係数算出部１０５は、この反射領域を通常画像４１０、偏光画像４２０および差分画像４３０に共通で設定する。例えば係数算出部１０５はこの反射領域を（ｘ，ｙ）の座標値で設定する。反射領域を座標値で設定することで、係数算出部１０５は、通常画像４１０、偏光画像４２０および差分画像４３０の反射領域に属する画素値を参照できる。

次に、係数算出部１０５は、決定した反射領域において、通常画像と差分画像とを用いて合成係数α（ｘ，ｙ）を算出する（Ｓ２０５）。合成係数を算出する具体的動作の詳細については、後述する。

最後に、画像合成部１０６は、ステップＳ２０５で求めた合成係数を用いて式２に従って合成画像４４０を生成し、表示部１０３に出力する（Ｓ２０６）。合成画像４４０では反射領域４３１および４３２において鏡面反射が抑えられた画像が得られている。

［１−４．合成係数を算出する動作］
次に、図面を参照しながら合成係数を算出する動作の詳細について説明する。

図４は、本実施の形態に係る係数算出部１０５における合成係数を算出する際の動作を示すフローチャートである。

最初に、係数算出部１０５は、通常画像内に属する画素のうち反射領域Ｒ外に属する画素の暗部代表値を求める（Ｓ３０１）。ここで、暗部代表値とは、画像の指定領域内における暗い画素の代表値を示す。例えば、指定領域における画素値ヒストグラムの下位ｑ％（０＜ｑ＜１００）の平均値や最頻値、中央値などを用いる。簡単には最小値でもよい。

次に、下記の式３に基づき、係数算出部１０５は、反射領域Ｒにおける式３の左辺の中括弧内の暗部代表値がステップＳ３０１で求めた暗部代表値と等しくなるように係数α_０を求める（Ｓ３０２）。

ここで、式３においてｄａｒｋ｛ ｝は所定領域内の画素の暗部代表値を算出する動作を意味する。なお、右辺はステップＳ３０１で算出した反射領域Ｒ外の通常画像の画素の暗部代表値を示す。

次に、係数算出部１０５は、下記の式４に示すように、合成係数α（ｘ、ｙ）として、反射領域Ｒにおいては通常画像と差分画像から求めた係数α_０を設定し、反射領域Ｒ外では０の値を設定する（Ｓ３０３）。

以上のように、係数算出部１０５によって、合成係数α（ｘ、ｙ）が算出される。合成係数が算出されると、図２のステップＳ２０６に示すように、画像合成部１０６は、算出された合成係数α（ｘ，ｙ）および式２に基づいて、通常画像と偏光画像とを合成する。なお、上記式２〜４を参照すると、上記式３の左辺は、合成画像の反射領域Ｒにおける暗部代表値を示すことが理解される。

上記の動作においては、図２のステップＳ２０４において設定した反射領域だけで、通常画像と偏光画像との合成が行われる。そのため、式２において、α（ｘ，ｙ）＝０となる画素は合成処理の影響を受けない。よって、画像合成部１０６は入力画像の画素値をそのまま出力するようにして実現してもよい。

なお、上記において反射領域以外の領域におけるα（ｘ，ｙ）は０と設定したが、反射領域内における動作と同様の動作を利用してα（ｘ，ｙ）を算出する構成にしても構わない。

［１−５．作用効果］
通常画像において鏡面反射成分が含まれる場合、差分画像を用いて設定した反射領域Ｒは、鏡面反射成分の影響により鏡面反射がない場合に比べて全体的に明るく白浮きした画像となる。すなわち、反射領域Ｒにおける画素値は、鏡面反射がない場合より、大きい（明るい）画素値となる。一方、反射領域Ｒ以外の領域は、鏡面反射に影響を受けない領域であるため、被写体が本来含んでいる暗い画素から明るい画素をそのまま含んでいる。本開示に係る画像処理方法では、鏡面反射成分の影響で明るく撮影された反射領域Ｒの暗画素の代表値と反射領域Ｒ以外の暗画素の代表値とを整合させるように、両画像を合成する。これにより、鏡面反射成分による白浮きを抑えると共に自然な階調の画像信号を得ることができる。また、通常画像のうち反射領域Ｒ以外の領域に属する画素はそのまま出力することもできるため、画像全体としての明るさを低下させることなく、反射成分のみを抑制することができる。

また、上記において反射領域Ｒが複数設定されている場合、各反射領域に対して個別に合成係数α_０を求め、α（ｘ，ｙ）に反映させてもよい。これにより、広範囲を撮影した画像などにおいて鏡面反射による偏光の程度が画像内で大きく異なる場合でも、各反射領域Ｒに対してより適切に合成係数を算出することができる。

［１−６．複数の偏光画像を用いる構成］
上記の構成では１種類の偏光画像を用いたが、異なる方位の偏光成分に対応する複数の偏光画像を用いて同様の処理を行ってもよい。

図５は、被写体からの光のうち異なる偏光方向の光を用いて２枚の偏光画像を撮影した際に処理対象となる画像信号の概略を説明するための図である。

例えば図５に示すように、２種類の偏光画像５２０および５３０と通常画像５１０を用いてもよい。この場合、下記の式５および式６に示すように２種類の偏光画像と通常画像との差分画像をそれぞれ作成する。

ここで、Ｄ_１（ｘ，ｙ）は、通常画像５１０と偏光画像５２０から生成された差分画像５４０を表す。また、Ｄ_２（ｘ，ｙ）は、通常画像５１０と偏光画像５３０から生成された差分画像５５０を表す。

次に、式５および式６で求めた差分画像５４０および差分画像５５０を用いて反射領域Ｒ_１、Ｒ_２を設定する。そして、下記の式７〜１０に基づいてそれぞれの画像に対する合成係数α_１（ｘ，ｙ）およびα_２（ｘ，ｙ）を求める。

最後に、下記の式１１に基づいて合成画像５６０を生成する。

本構成では、複数の偏光画像を用いることで、鏡面反射成分をより正確に抑制することが可能になる。

［１−７．撮影方法］
次に、図面を参照しながら同一被写体に対して通常画像および偏光画像の少なくとも２枚の画像信号を撮影する方式について説明する。

図６Ａおよび図６Ｂは、通常画像と偏光画像とを撮影する撮影光学系の入光部の正面図である。

図６Ａに示す入光部１０Ａは、通常開口１１と、開口に偏光フィルタを設置した偏光フィルタ部１２とを備える。この入光部１０Ａを用いて撮影を行う場合には、通常開口１１および偏光フィルタ部１２を通じて、それぞれ通常画像用の光学像および偏光画像用の光学像を得る。

また、図６Ｂに示す入光部１０Ｂは、異なる２種類の偏光フィルタを併用した場合の例であり、入光部１０Ｂは、通常開口１１と、開口に偏光フィルタを設置した偏光フィルタ部１２Ａおよび１２Ｂとを備える。

図６Ａおよび図６Ｂに示す入光部の構成では、同一撮像面に像を同時に撮影することができる。

次に、他の撮影方法の例を図７Ａおよび図７Ｂを用いて説明する。

図７Ａおよび図７Ｂは、通常画像と偏光画像とを撮影する撮影光学系における開口２１の一部に偏光フィルタ２２を設置した構成を示す外観斜視図である。

図７Ａおよび図７Ｂに示すように、撮影光学系は、入射光２０を通過させる開口２１と、偏光フィルタ２２と、絞り２３とを備える。図７Ａは、偏光画像を撮影することができる状態の撮影光学系を示している。一方、図７Ｂは、偏光フィルタ２２を遮蔽するように絞り２３を配置することによって通常画像を撮影する状態の撮影光学系を示す。このように図７Ａおよび図７Ｂに示す構成では、光学系の絞り機構を利用して通常画像および偏光画像の撮影構成を切り替えることができる。

さらに別の撮影方法の例を図８Ａおよび図８Ｂを用いて説明する。

図８Ａおよび図８Ｂは、通常画像と偏光画像とを撮影する撮影光学系における開口２１の一部に偏光フィルタ２４を出し入れできるようにした構成を示す外観斜視図である。

図８Ａおよび図８Ｂに示すように、撮影光学系は、入射光２０を通過させる開口２１と、偏光フィルタ２４とを備える。図８Ａに示す状態の撮影光学系では、入射光２０が偏光フィルタ２４を透過するように配置されているため、偏光画像を撮影できる。一方、図８Ｂに示す状態の撮影光学系では、入射光２０が偏光フィルタ２４を透過しないため、通常画像が撮影できる。図８Ａおよび図８Ｂに示す構成では、光学系の全開口の状態で、通常画像と偏光画像とを時分割撮影することができる。

さらに別の撮影方法の例を図９を用いて説明する。

図９は、通常画像と偏光画像とを撮影する撮影光学系の開口における偏光フィルタ１４の有無の切り替えを回転機構で実現した構成を示す外観斜視図である。

図９に示すように、撮影光学系は、入射光２０を通過させる開口２１と、回転可能なフィルタ１０Ｃとを備える。

フィルタ１０Ｃは、複数の通常開口１３と、偏光フィルタ１４とを備える。図９に示す構成では、フィルタ１０Ｃを回転させることにより、光学系の全開口の状態で、通常画像と偏光画像とを高速に時分割撮影することができる。

さらに別の撮影方法の例を図１０を用いて説明する。

図１０は、通常画像と偏光画像とを撮影する撮影装置が有するイメージセンサの一部の画素に偏光フィルタ１４Ａを設置した構成を示す正面図である。図１０に示す構成では、斜線部の偏光フィルタ１４Ａが設けられた画素で偏光画像を取得し、同時に、通常開口１３Ａが設けられた画素で通常画像を取得する。

［１−８．まとめ］
以上のように、本開示の画像処理方法は、被写体からの光の全偏光成分で撮影される通常画像、および、上記光の全偏光成分のうち特定の偏光成分で撮影される偏光画像を取得する取得ステップ（Ｓ２０１、Ｓ２０２）と、通常画像および偏光画像の差分画像を生成する差分ステップ（Ｓ２０３）と、通常画像の画素値、および、偏光画像の画素値の少なくとも一方に乗算する係数（合成係数）を、少なくとも差分画像に含まれる画素値に基づいて算出する算出ステップ（Ｓ２０５）と、通常画像および偏光画像の少なくとも一方の画素値に対して係数を乗算して得られる画素値を用いて、通常画像および偏光画像を合成することにより合成画像を生成する合成ステップ（Ｓ２０６）とを含む。

これにより、同じ被写体を撮影した通常撮影画像と鏡面反射成分が抑制された偏光画像とを用いることで、暗い環境下においても鏡面反射を抑制した高ＳＮ比の画像を得ることができる。

また、本開示の画像処理方法において、算出ステップ（Ｓ２０５）において、差分画像の画素値に基づいて、鏡面反射している部分に対応する画素領域である反射領域を、通常画像および偏光画像に設定した後、反射領域に属する画素値に対して乗算する係数を算出してもよい。

これにより、通常画像において、鏡面反射成分を抑制する必要のある反射領域を設定することができる。したがって、当該反射領域に属する通常画像および偏光画像の少なくとも一方の画素値に対して乗算する係数を算出して、通常画像および偏光画像を合成することによって、画像処理が必要な当該反射領域に対して確実に画像処理を施すことができる。

また、算出ステップ（Ｓ２０５）において、通常画像の反射領域以外の領域に属する画素値と、合成画像のうち反射領域に属する画素値とを比較することにより、通常画像に属する画素値のうち反射領域に属する画素値に乗算する係数を算出してもよい。

これにより、反射領域の画素値を、反射領域以外の画素値に基づいて定めることができるため、合成画像における反射領域の画素値を通常画像の反射領域以外の画素値に近づけることができる。したがって、合成画像の反射領域内外の画素値の差を小さくすることによって、自然な合成画像を得ることができる。

また、算出ステップ（Ｓ２０５）において、通常画像の反射領域以外の暗部における画素値の代表値と、合成画像の反射領域の暗部における画素値の代表値とを決定し、通常画像の代表値と、合成画像の代表値とを一致させるように係数を算出してもよい。

これにより、合成画像の反射領域の暗部における画素値を、通常画像の反射領域以外の暗部の画素値と揃えることができる。したがって、自然な合成画像を得ることができる。

また、算出ステップ（Ｓ２０５）において、差分画像の画素値に基づいて複数の反射領域を設定し、複数の反射領域のそれぞれにおいて、通常画像および偏光画像に属する画素値のうち当該反射領域に属する画素値に対して乗算する係数を算出してもよい。

これにより、広範囲を撮影した画像などにおいて、鏡面反射による偏光の程度が画像内で大きく異なる場合でも、各反射領域に対してより適切に合成係数を算出することができる。

（実施の形態２）
次に、図面を用いて実施の形態２を説明する。本実施の形態では、カラー画像に対する鏡面反射成分を抑制する。主要な構成は上記実施の形態１と同等であるが、合成係数α（ｘ，ｙ）の算出方法が異なる。

以下、本実施の形態の動作について、上記実施の形態１との違いについて主として説明する。

［２−１．画像処理装置の動作］
まず、本実施の形態に係る画像処理装置１００の動作について、図面を参照しながら説明する。

図１１は、本実施の形態に係る画像処理装置における全体の動作を説明するためのフローチャートである。

図１１に示すように、まず画像取得部１０１はカラー画像である通常画像および偏光画像を取得する（Ｓ７０１、Ｓ７０２）。

次に、差分演算部１０４は、輝度補正を施した通常画像および偏光画像を用いて、下記の式１２に示すようにカラー画像の差分画像を求める（Ｓ７０３）。

ここで、上記式１２において太字のＩ_{ｎｏｒｍａｌ}（ｘ，ｙ）およびＩ_ＰＬ（ｘ，ｙ）は、輝度補正後の通常画像および偏光画像の位置（ｘ，ｙ）における色ベクトルをそれぞれ表す。また、Ｄ（ｘ，ｙ）は、位置（ｘ，ｙ）における差分画像の色ベクトルを表す。

次に、係数算出部１０５は、反射領域Ｒを決定する（Ｓ７０４）。ここで、係数算出部１０５は上記ステップＳ７０３において算出した差分画像における色ベクトルの大きさに基づいて上記実施の形態１のステップＳ２０４と同様の手順で反射領域Ｒを決定する。

次に、係数算出部１０５は色の情報に基づき合成係数α（ｘ，ｙ）を算出する（Ｓ７０５）。このステップＳ７０５の動作の詳細については後述する。

最後に、画像合成部１０６は、上記ステップＳ７０５で算出した合成係数α（ｘ，ｙ）に基づいて通常画像および偏光画像を合成し合成画像を出力する（Ｓ７０６）。

［２−２．合成係数を算出する動作］
次に、図面を参照しながら図１１に示すステップＳ７０５における動作について説明する。

図１２は、本実施の形態に係る係数算出部における合成係数を算出する際の動作を説明するためのフローチャートである。

最初に、係数算出部１０５は、反射領域Ｒ外で色相Ｈごとの拡散反射係数ｇ（Ｈ）を求める（Ｓ８０１）。ここで拡散反射係数ｇ（Ｈ）は、色相Ｈごとの彩度Ｓ（Ｓａｔｕｒａｔｉｏｎ）に対する強度Ｖ（Ｉｎｔｅｎｓｉｔｙ）の比例定数である。この比例定数は、上記非特許文献１に記載されている方法などにより通常画像から求めることができる。

次に、係数算出部１０５は反射領域Ｒにおいて下記の式１３、式１４を満たすようにα_０（ｘ，ｙ）を算出する（Ｓ８０２）。

なお、式１３の等号式に代えて、両辺の差の絶対値が最小となるようにα_０（ｘ，ｙ）を算出してもよい。

最後に、係数算出部１０５は、下記の式１５に基づき画素ごとの合成係数α（ｘ，ｙ）を設定する（Ｓ８０３）。

［２−３．作用効果］
以上の図１２を用いて説明した合成係数の算出ステップでは、カラー画像である通常画像の反射領域以外における拡散反射係数を算出し、当該拡散反射係数を用いて、鏡面反射光と拡散反射光の色特性に基づいて合成係数を算出する。そのため、反射領域Ｒまたは反射領域Ｒ外において暗画素が少ない画像においても合成係数を算出することができる。また、上記特許文献１に記載の画像処理だけでは除去が難しい、２次反射光、色が異なる複数光源などが存在する場合にでも、鏡面反射を抑制することができる。

（本開示に係る画像処理方法などの効果）
以上に述べたように、本開示に係る画像処理方法および画像処理装置では、同一被写体に対して撮影した通常画像と偏光画像とを用いて鏡面反射成分を抑えた画像を取得することができるため、暗い撮影環境下でもＳＮ比の高い画像を得ることができる。

また、従来から偏光フィルタ（光学フィルタ）のみを用いて鏡面反射光を抑制する方法が用いられることもあるが、鏡面反射によって生じる反射光を除去するためには、反射光の偏光方位と偏光フィルタの方位を一致させて撮影する必要がある。一方、本開示に係る画像処理方法および画像処理装置では、同一被写体を撮影した通常画像と偏光画像との相対的な関係から合成係数を算出することで、必ずしも偏光画像の撮影時に偏光フィルタの方位が最適に配置されなくても鏡面反射光の抑制効果を得ることができる。

また、偏光フィルタのみを用いた鏡面反射除去方法では、偏光フィルタの方位を最適に配置した場合でも物体表面における光の入射角が特定値（ブリュースター角）以外の場合には鏡面反射成分の少なくとも一部が除去されない。本開示に係る画像処理方法および画像処理装置では、通常画像から求めた暗画素もしくは拡散反射係数を用い、差分画像に合わせて合成係数を生成することで、入射角によらず鏡面反射成分を抑制することができる。

また、偏光画像を複数用いて反射特性を分析して画像処理を行う上記特許文献１に記載の方式では、異なる３方位以上の偏光画像を原理的に必要としたが、本開示に係る画像処理方法および画像処理装置では偏光画像１枚と通常画像１枚のみでも画像処理を行うことができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１、２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１、２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

例えば、実施の形態１では、グレースケール画像の画素値を用いて説明したが、カラー画像においてＲＧＢの各色成分や輝度成分のみに本実施の形態に係る画像処理方法を適用しても同様の効果を得ることができる。

また、画像処理装置１００は、本開示における複数の構成要素を選択的に備えてもよいし、画像処理方法は、本開示における複数の処理を選択的に含んでもよい。

また、本開示における各構成要素は、回路でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

また、本開示における各処理をコンピュータが実行してもよい。例えば、コンピュータが、プロセッサ（ＣＰＵ）、メモリおよび入出力回路等のハードウェア資源を用いてプログラムを実行することによって、本開示における各処理を実行する。具体的には、プロセッサが処理対象のデータをメモリまたは入出力回路等から取得してデータを演算したり、演算結果をメモリまたは入出力回路等に出力したりすることによって、各処理を実行する。

また、本開示における各処理を実行するためのプログラムが、コンピュータ読み取り可能なＣＤ−ＲＯＭ等の非一時的な記録媒体に記録されてもよい。この場合、コンピュータが、非一時的な記録媒体からプログラムを読み出して、プログラムを実行することにより、各処理を実行する。

本開示は、鏡面反射を抑えた撮影画像を取得、記録および表示する装置に適用可能である。具体的には、デジタルスチルカメラ、ムービー、カメラ機能付き携帯電話機、スマートフォン、録画装置、テレビなどのような画像処理装置に、本開示は適用可能である。

１００ 画像処理装置
１０１ 画像取得部
１０２ 演算部
１０３ 表示部
１０４ 差分演算部
１０５ 係数算出部
１０６ 画像合成部
４１０、５１０ 通常画像
４２０、５２０、５３０ 偏光画像
４３０、５４０、５５０ 差分画像
４４０、５６０ 合成画像

Claims (7)

1. 被写体からの光の全偏光成分で撮影される通常画像、および、前記光の全偏光成分のうち特定の偏光成分で撮影される偏光画像を取得する取得ステップと、
   前記通常画像および前記偏光画像の差分画像を生成する差分ステップと、
   前記通常画像の画素値、および、前記偏光画像の画素値の少なくとも一方に乗算する係数を、少なくとも前記差分画像に含まれる画素値に基づいて算出する算出ステップと、
   前記通常画像および前記偏光画像の少なくとも一方の画素値に対して前記係数を乗算して得られる画素値を用いて、前記通常画像および前記偏光画像を合成することにより合成画像を生成する合成ステップとを含む
   画像処理方法。
2. 前記算出ステップにおいて、前記差分画像の画素値に基づいて、前記被写体のうち鏡面反射している部分に対応する画素領域である反射領域を、前記通常画像および前記偏光画像に設定した後、前記反射領域に属する画素値に対して乗算する前記係数を算出する
   請求項１に記載の画像処理方法。
3. 前記算出ステップにおいて、前記通常画像の前記反射領域以外の領域に属する画素値と、前記合成画像のうち前記反射領域に属する画素値とを比較することにより、前記通常画像に属する画素値のうち前記反射領域に属する画素値に乗算する前記係数を算出する
   請求項２に記載の画像処理方法。
4. 前記算出ステップにおいて、前記通常画像の前記反射領域以外の暗部における画素値の代表値と、前記合成画像の前記反射領域の暗部における画素値の代表値とを決定し、前記通常画像の前記代表値と、前記合成画像の前記代表値とを一致させるように前記係数を算出する
   請求項３に記載の画像処理方法。
5. 前記算出ステップにおいて、前記通常画像の前記反射領域以外における拡散反射係数を算出し、前記拡散反射係数を用いて前記係数を算出する
   請求項２に記載の画像処理方法。
6. 前記算出ステップにおいて、前記差分画像の画素値に基づいて複数の前記反射領域を設定し、複数の前記反射領域のそれぞれにおいて、前記通常画像および前記偏光画像に属する画素値のうち当該反射領域に属する画素値に対して乗算する前記係数を算出する
   請求項２〜５のいずれか１項に記載の画像処理方法。
7. 被写体からの光の全偏光成分で撮影される通常画像、および、前記光の全偏光成分うち特定の偏光成分で撮影される偏光画像を取得する画像取得部と、
   前記通常画像および前記偏光画像の差分画像を生成する差分演算部と、
   前記通常画像の画素値、および、前記偏光画像の画素値の少なくとも一方に乗算する係数を、少なくとも前記差分画像に含まれる画素値に基づいて算出する係数算出部と、
   前記通常画像および前記偏光画像の少なくとも一方の画素値に対して前記係数を乗算して得られる画素値を用いて、前記通常画像および前記偏光画像を合成することにより合成画像を生成する画像合成部とを備える
   画像処理装置。

Images