JP6485078B2 - 画像処理方法および画像処理装置 - Google Patents

画像処理方法および画像処理装置 Download PDF

Info

Publication number
JP6485078B2
JP6485078B2 JP2015018503A JP2015018503A JP6485078B2 JP 6485078 B2 JP6485078 B2 JP 6485078B2 JP 2015018503 A JP2015018503 A JP 2015018503A JP 2015018503 A JP2015018503 A JP 2015018503A JP 6485078 B2 JP6485078 B2 JP 6485078B2
Authority
JP
Japan
Prior art keywords
image
polarization
pixel value
coefficient
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015018503A
Other languages
English (en)
Other versions
JP2015172926A (ja
Inventor
今川 太郎
太郎 今川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2015018503A priority Critical patent/JP6485078B2/ja
Priority to US14/623,138 priority patent/US9489728B2/en
Publication of JP2015172926A publication Critical patent/JP2015172926A/ja
Application granted granted Critical
Publication of JP6485078B2 publication Critical patent/JP6485078B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)

Description

本開示は、撮影した画像に対して画像処理を施す方法および装置に関する。
特許文献1は、鏡面反射を抑えた画像を取得する方法を開示する。この方法では、同一被写体に対して偏光フィルタを複数方位に設置して撮影した偏光画像を取得する。取得された複数の偏光画像の偏光方位に対する鏡面反射光強度を分析し、鏡面反射の最小値を推測することで、反射成分を抑えた画像を得ている。
特許第4324238号公報
T.Higo,D.Miyazaki and K.Ikeuchi, "Realtime Removal of Specular Reflection Component Based on Dichromatic Reflection Model", IEICE Technical Report,Vol.106,No.230,pp.77−84,2006
一般に偏光撮影した画像は、偏光フィルタによる光量損失のためSN比が低い画像となる。このような偏光画像を用いた画像処理方法は、低SN比の画像を使用するため暗い撮影環境下には適用しにくいという問題がある。
本開示は、暗い環境下においても鏡面反射を抑制した高SN比の画像を取得することができる画像処理方法および画像処理装置を提供する。
本開示における画像処理方法は、被写体からの光の全偏光成分で撮影される通常画像、および、前記光の全偏光成分のうち特定の偏光成分で撮影される偏光画像を取得する取得ステップと、前記通常画像および前記偏光画像の差分画像を生成する差分ステップと、前記通常画像の画素値、および、前記偏光画像の画素値の少なくとも一方に乗算する係数を、少なくとも前記差分画像に含まれる画素値に基づいて算出する算出ステップと、前記通常画像および前記偏光画像の少なくとも一方の画素値に対して前記係数を乗算して得られる画素値を用いて、前記通常画像及びおよび前記偏光画像を合成することにより合成画像を生成する合成ステップとを含む。
本開示における画像処理方法および画像処理装置は、暗い環境下においても鏡面反射を抑制した高SN比の画像を取得するのに有効である。
図1は、実施の形態1に係る画像処理装置を示すブロック図である。 図2は、実施の形態1に係る画像処理装置における全体の動作を説明するためのフローチャートである。 図3は、処理対象となる画像信号の概略を説明するための図である。 図4は、実施の形態1に係る係数算出部における合成係数を算出する際の動作を示すフローチャートである。 図5は、被写体からの光のうち異なる偏光方向の光を用いて2枚の偏光画像を撮影した際に処理対象となる画像信号の概略を説明するための図である。 図6Aは、通常画像と偏光画像とを撮影する撮影光学系の入光部の正面図である。 図6Bは、通常画像と偏光画像とを撮影する撮影光学系の入光部の正面図である。 図7Aは、通常画像と偏光画像とを撮影する撮影光学系における開口の一部に偏光フィルタを設置した構成を示す外観斜視図である。 図7Bは、通常画像と偏光画像とを撮影する撮影光学系における開口の一部に偏光フィルタを設置した構成を示す外観斜視図である。 図8Aは、通常画像と偏光画像とを撮影する撮影光学系における開口の一部に偏光フィルタを出し入れできるようにした構成を示す外観斜視図である。 図8Bは、通常画像と偏光画像とを撮影する撮影光学系における開口の一部に偏光フィルタを出し入れできるようにした構成を示す外観斜視図である。 図9は、通常画像と偏光画像とを撮影する撮影光学系の開口における偏光フィルタの有無の切り替えを回転機構で実現した構成を示す外観斜視図である。 図10は、通常画像と偏光画像とを撮影する撮影装置が有するイメージセンサの一部の画素に偏光フィルタを設置した構成を示す正面図である。 図11は、実施の形態2に係る画像処理装置における全体の動作を説明するためのフローチャートである。 図12は、実施の形態2に係る係数算出部における合成係数を算出する際の動作を説明するためのフローチャートである。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
(実施の形態1)
以下、図面を用いて実施の形態1を説明する。
[1−1.画像処理装置の全体構成]
まず、本実施の形態に係る画像処理装置100の全体構成について図1を用いて説明する。
図1は、本実施の形態に係る画像処理装置100のブロック図である。図1に示すように、画像処理装置100は、画像取得部101、演算部102および表示部103を備える。
画像取得部101は、画像処理装置100に接続される記録媒体から、同じ被写体を撮影した通常画像と偏光画像とを取得する。ここで、画像は、複数の画素で構成される。画素は、画素の明るさに関連する画素値を有する。例えば、画素が明るいほど、その画素の画素値は大きく、画素が暗いほど、その画素の画素値は小さい。そのため、画素値が大きいことを画素値が明るいと表現する場合があり、また、画素値が小さいことを画素値が暗いと表現する場合がある。画素値は、輝度値でもよいし、RGB値の各成分でもよいし、YUV値の各成分でもよい。以下、説明の便宜上、以下の説明において、通常画像および偏光画像はグレースケール画像として説明する。
ここで、通常画像とは、被写体からの光の全偏光成分で撮影される画像である。すなわち、通常画像とは、偏光フィルタ等を用いずに偏光特性を限定することなく撮影される画像である。一方、偏光画像とは、被写体からの光の全偏光成分のうち特定の偏光成分で撮影される画像である。すなわち、偏光画像とは、偏光フィルタ等を用いて特定の偏光成分で撮影される画像である。
演算部102は、画像取得部101で取得された通常画像および偏光画像を用いて鏡面反射成分を抑制した画像を生成する処理部である。ここで、鏡面反射成分とは、物体表面で生じる反射光のうち、入射角と反射角とが等しく、物体内部の色を反映しない反射光成分である。これに対して、拡散反射成分は、入射光が様々な方向に反射される反射光成分で、物体の色を反映する性質を持つ。この演算部102の詳細については後述する。
表示部103は、演算部102から出力される画像信号を表示する。なお、表示部103は画像信号を表示できるデバイスであればどのようなものを利用しても構わない。例えば、液晶表示パネルなどを利用することができる。
[1−2.演算部の構成]
次に、図面を参照しながら演算部102における詳細な動作について説明する。
演算部102は、図1に示すように、差分演算部104、係数算出部105および画像合成部106を備える。
差分演算部104は、通常画像と偏光画像との差分画像を計算する。具体的には、通常画像に属する画素の画素値と、この画素と同じ空間位置を示す画素であって偏光画像に属する画素の画素値との差分値を算出する。
上記のように差分画像を算出する場合、あらかじめ通常画像および偏光画像の画素値を正規化し、両者の画素値の範囲をそろえておくことが望ましい。一般的に、偏光画像は偏光フィルタを通して処理されるため、通常画像と比較して暗い画像となる。そのため、通常画像と偏光画像との画素値の範囲が異なる。この問題により、単に差分画像を算出したのでは、通常画像の画素値が優勢となり以後の処理による効果が低減される。上記のように正規化処理をすることにより、上記問題を解決することができるため、本実施の形態における処理の精度を向上させることができる。正規化の方法として、例えば、通常画像の画素値の範囲と偏光画像の画素値の範囲がほぼ一致するように、偏光画像の画素値の範囲を線形的に拡張させる方法を用いてもよい。
なお、γ補正等の非線形な画素値補正が施された画像は、入射光量と画素値が線形な特性を持つようにあらかじめ逆補正してから正規化を行う。これにより、偏光画像における画素値であって偏光特性に偏りがない領域の画素値は、通常画像の画素値に近くなっていく。
説明の便宜上、以下の説明においては正規化処理した後の通常画像および偏光画像を用いて処理する構成を説明する。なお、上記のように差分演算部104における処理前に正規化処理をしない構成とすることもできる。
具体的に差分演算部104は、下記の式1に示すように、正規化後の通常画像と偏光画像との差分画像を算出する。
Figure 0006485078
ここで、(x,y)は画像内の画素位置のx座標およびy座標を表す。式1においてD(x,y)は、差分画像の画素値を表し、Inormal(x,y)は正規化後の通常画像の画素値を表し、IPL(x,y)は正規化後の偏光画像の画素値を表す。
係数算出部105は通常画像と偏光画像とを用いて、両者を合成する合成係数α(x,y)を算出する。合成係数α(x,y)の算出方法の詳細については後述する。
画像合成部106は、下記の式2に示すように、係数算出部105で算出した合成係数α(x,y)を用いて通常画像と偏光画像とを合成する。
Figure 0006485078
式2においてIno_ref(x,y)は、合成画像の画素値を表す。γ補正等の輝度補正が必要な場合、Ino_ref(x,y)に対して輝度補正を行う。なお、上記式2においては、通常画像および偏光画像に係数が乗算される構成を示したが、通常画像および偏光画像の少なくとも一方に係数が乗算される構成としてもよい。
[1−3.画像処理装置の動作]
次に、図面を参照しながら本実施の形態における画像処理装置100の具体的な動作について説明する。
図2は、本実施の形態に係る画像処理装置100における全体の動作を説明するためのフローチャートである。
図3は、処理対象となる画像信号の概略を説明するための図である。
図2に示すように、まず、画像取得部101が、同一被写体を撮影した通常画像410と偏光画像420を取得する(S201、S202)。ここで、図3に示す通常画像410および偏光画像420の画像例を参照する。図3の通常画像410において、路面上の斜線領域は鏡面反射によって空と雲が写りこみ、路面が写っていない。一方、偏光画像420では、鏡面反射した光の少なくとも一部が偏光フィルタなどによって遮断されて、通常画像410の斜線の領域に対応する領域において道路面が透けて写っている。
次に、差分演算部104は、通常画像および偏光画像の輝度値の範囲が一致するように輝度値を正規化処理した後、式1に基づいて両者の差分画像430(D(x,y))を算出する(S203)。図3に示すように、算出した差分画像430には、通常画像410および偏光画像420に映し出される被写体のうち相違部分が残る。差分画像430においては、反射領域431および反射領域432における画素値が残っている。
次に、係数算出部105は、差分画像430(D(x,y))から、合成係数の算出に利用する反射領域431および反射領域432を決定する(S204)。係数算出部105は、D(x,y)があらかじめ定めた閾値thよりも大きい領域、または、D(x,y)の画素値ヒストグラムの上位p%(0<p<=100)に含まれる画素領域を上記の反射領域として設定する。これにより、偏光成分に偏りのある領域を選択的に得ることができる。係数算出部105は、この反射領域を通常画像410、偏光画像420および差分画像430に共通で設定する。例えば係数算出部105はこの反射領域を(x,y)の座標値で設定する。反射領域を座標値で設定することで、係数算出部105は、通常画像410、偏光画像420および差分画像430の反射領域に属する画素値を参照できる。
次に、係数算出部105は、決定した反射領域において、通常画像と差分画像とを用いて合成係数α(x,y)を算出する(S205)。合成係数を算出する具体的動作の詳細については、後述する。
最後に、画像合成部106は、ステップS205で求めた合成係数を用いて式2に従って合成画像440を生成し、表示部103に出力する(S206)。合成画像440では反射領域431および432において鏡面反射が抑えられた画像が得られている。
[1−4.合成係数を算出する動作]
次に、図面を参照しながら合成係数を算出する動作の詳細について説明する。
図4は、本実施の形態に係る係数算出部105における合成係数を算出する際の動作を示すフローチャートである。
最初に、係数算出部105は、通常画像内に属する画素のうち反射領域R外に属する画素の暗部代表値を求める(S301)。ここで、暗部代表値とは、画像の指定領域内における暗い画素の代表値を示す。例えば、指定領域における画素値ヒストグラムの下位q%(0<q<100)の平均値や最頻値、中央値などを用いる。簡単には最小値でもよい。
次に、下記の式3に基づき、係数算出部105は、反射領域Rにおける式3の左辺の中括弧内の暗部代表値がステップS301で求めた暗部代表値と等しくなるように係数αを求める(S302)。
Figure 0006485078
ここで、式3においてdark{ }は所定領域内の画素の暗部代表値を算出する動作を意味する。なお、右辺はステップS301で算出した反射領域R外の通常画像の画素の暗部代表値を示す。
次に、係数算出部105は、下記の式4に示すように、合成係数α(x、y)として、反射領域Rにおいては通常画像と差分画像から求めた係数αを設定し、反射領域R外では0の値を設定する(S303)。
Figure 0006485078
以上のように、係数算出部105によって、合成係数α(x、y)が算出される。合成係数が算出されると、図2のステップS206に示すように、画像合成部106は、算出された合成係数α(x,y)および式2に基づいて、通常画像と偏光画像とを合成する。なお、上記式2〜4を参照すると、上記式3の左辺は、合成画像の反射領域Rにおける暗部代表値を示すことが理解される。
上記の動作においては、図2のステップS204において設定した反射領域だけで、通常画像と偏光画像との合成が行われる。そのため、式2において、α(x,y)=0となる画素は合成処理の影響を受けない。よって、画像合成部106は入力画像の画素値をそのまま出力するようにして実現してもよい。
なお、上記において反射領域以外の領域におけるα(x,y)は0と設定したが、反射領域内における動作と同様の動作を利用してα(x,y)を算出する構成にしても構わない。
[1−5.作用効果]
通常画像において鏡面反射成分が含まれる場合、差分画像を用いて設定した反射領域Rは、鏡面反射成分の影響により鏡面反射がない場合に比べて全体的に明るく白浮きした画像となる。すなわち、反射領域Rにおける画素値は、鏡面反射がない場合より、大きい(明るい)画素値となる。一方、反射領域R以外の領域は、鏡面反射に影響を受けない領域であるため、被写体が本来含んでいる暗い画素から明るい画素をそのまま含んでいる。本開示に係る画像処理方法では、鏡面反射成分の影響で明るく撮影された反射領域Rの暗画素の代表値と反射領域R以外の暗画素の代表値とを整合させるように、両画像を合成する。これにより、鏡面反射成分による白浮きを抑えると共に自然な階調の画像信号を得ることができる。また、通常画像のうち反射領域R以外の領域に属する画素はそのまま出力することもできるため、画像全体としての明るさを低下させることなく、反射成分のみを抑制することができる。
また、上記において反射領域Rが複数設定されている場合、各反射領域に対して個別に合成係数αを求め、α(x,y)に反映させてもよい。これにより、広範囲を撮影した画像などにおいて鏡面反射による偏光の程度が画像内で大きく異なる場合でも、各反射領域Rに対してより適切に合成係数を算出することができる。
[1−6.複数の偏光画像を用いる構成]
上記の構成では1種類の偏光画像を用いたが、異なる方位の偏光成分に対応する複数の偏光画像を用いて同様の処理を行ってもよい。
図5は、被写体からの光のうち異なる偏光方向の光を用いて2枚の偏光画像を撮影した際に処理対象となる画像信号の概略を説明するための図である。
例えば図5に示すように、2種類の偏光画像520および530と通常画像510を用いてもよい。この場合、下記の式5および式6に示すように2種類の偏光画像と通常画像との差分画像をそれぞれ作成する。
Figure 0006485078
Figure 0006485078
ここで、D(x,y)は、通常画像510と偏光画像520から生成された差分画像540を表す。また、D(x,y)は、通常画像510と偏光画像530から生成された差分画像550を表す。
次に、式5および式6で求めた差分画像540および差分画像550を用いて反射領域R、Rを設定する。そして、下記の式7〜10に基づいてそれぞれの画像に対する合成係数α(x,y)およびα(x,y)を求める。
Figure 0006485078
Figure 0006485078
Figure 0006485078
Figure 0006485078
最後に、下記の式11に基づいて合成画像560を生成する。
Figure 0006485078
本構成では、複数の偏光画像を用いることで、鏡面反射成分をより正確に抑制することが可能になる。
[1−7.撮影方法]
次に、図面を参照しながら同一被写体に対して通常画像および偏光画像の少なくとも2枚の画像信号を撮影する方式について説明する。
図6Aおよび図6Bは、通常画像と偏光画像とを撮影する撮影光学系の入光部の正面図である。
図6Aに示す入光部10Aは、通常開口11と、開口に偏光フィルタを設置した偏光フィルタ部12とを備える。この入光部10Aを用いて撮影を行う場合には、通常開口11および偏光フィルタ部12を通じて、それぞれ通常画像用の光学像および偏光画像用の光学像を得る。
また、図6Bに示す入光部10Bは、異なる2種類の偏光フィルタを併用した場合の例であり、入光部10Bは、通常開口11と、開口に偏光フィルタを設置した偏光フィルタ部12Aおよび12Bとを備える。
図6Aおよび図6Bに示す入光部の構成では、同一撮像面に像を同時に撮影することができる。
次に、他の撮影方法の例を図7Aおよび図7Bを用いて説明する。
図7Aおよび図7Bは、通常画像と偏光画像とを撮影する撮影光学系における開口21の一部に偏光フィルタ22を設置した構成を示す外観斜視図である。
図7Aおよび図7Bに示すように、撮影光学系は、入射光20を通過させる開口21と、偏光フィルタ22と、絞り23とを備える。図7Aは、偏光画像を撮影することができる状態の撮影光学系を示している。一方、図7Bは、偏光フィルタ22を遮蔽するように絞り23を配置することによって通常画像を撮影する状態の撮影光学系を示す。このように図7Aおよび図7Bに示す構成では、光学系の絞り機構を利用して通常画像および偏光画像の撮影構成を切り替えることができる。
さらに別の撮影方法の例を図8Aおよび図8Bを用いて説明する。
図8Aおよび図8Bは、通常画像と偏光画像とを撮影する撮影光学系における開口21の一部に偏光フィルタ24を出し入れできるようにした構成を示す外観斜視図である。
図8Aおよび図8Bに示すように、撮影光学系は、入射光20を通過させる開口21と、偏光フィルタ24とを備える。図8Aに示す状態の撮影光学系では、入射光20が偏光フィルタ24を透過するように配置されているため、偏光画像を撮影できる。一方、図8Bに示す状態の撮影光学系では、入射光20が偏光フィルタ24を透過しないため、通常画像が撮影できる。図8Aおよび図8Bに示す構成では、光学系の全開口の状態で、通常画像と偏光画像とを時分割撮影することができる。
さらに別の撮影方法の例を図9を用いて説明する。
図9は、通常画像と偏光画像とを撮影する撮影光学系の開口における偏光フィルタ14の有無の切り替えを回転機構で実現した構成を示す外観斜視図である。
図9に示すように、撮影光学系は、入射光20を通過させる開口21と、回転可能なフィルタ10Cとを備える。
フィルタ10Cは、複数の通常開口13と、偏光フィルタ14とを備える。図9に示す構成では、フィルタ10Cを回転させることにより、光学系の全開口の状態で、通常画像と偏光画像とを高速に時分割撮影することができる。
さらに別の撮影方法の例を図10を用いて説明する。
図10は、通常画像と偏光画像とを撮影する撮影装置が有するイメージセンサの一部の画素に偏光フィルタ14Aを設置した構成を示す正面図である。図10に示す構成では、斜線部の偏光フィルタ14Aが設けられた画素で偏光画像を取得し、同時に、通常開口13Aが設けられた画素で通常画像を取得する。
[1−8.まとめ]
以上のように、本開示の画像処理方法は、被写体からの光の全偏光成分で撮影される通常画像、および、上記光の全偏光成分のうち特定の偏光成分で撮影される偏光画像を取得する取得ステップ(S201、S202)と、通常画像および偏光画像の差分画像を生成する差分ステップ(S203)と、通常画像の画素値、および、偏光画像の画素値の少なくとも一方に乗算する係数(合成係数)を、少なくとも差分画像に含まれる画素値に基づいて算出する算出ステップ(S205)と、通常画像および偏光画像の少なくとも一方の画素値に対して係数を乗算して得られる画素値を用いて、通常画像および偏光画像を合成することにより合成画像を生成する合成ステップ(S206)とを含む。
これにより、同じ被写体を撮影した通常撮影画像と鏡面反射成分が抑制された偏光画像とを用いることで、暗い環境下においても鏡面反射を抑制した高SN比の画像を得ることができる。
また、本開示の画像処理方法において、算出ステップ(S205)において、差分画像の画素値に基づいて、鏡面反射している部分に対応する画素領域である反射領域を、通常画像および偏光画像に設定した後、反射領域に属する画素値に対して乗算する係数を算出してもよい。
これにより、通常画像において、鏡面反射成分を抑制する必要のある反射領域を設定することができる。したがって、当該反射領域に属する通常画像および偏光画像の少なくとも一方の画素値に対して乗算する係数を算出して、通常画像および偏光画像を合成することによって、画像処理が必要な当該反射領域に対して確実に画像処理を施すことができる。
また、算出ステップ(S205)において、通常画像の反射領域以外の領域に属する画素値と、合成画像のうち反射領域に属する画素値とを比較することにより、通常画像に属する画素値のうち反射領域に属する画素値に乗算する係数を算出してもよい。
これにより、反射領域の画素値を、反射領域以外の画素値に基づいて定めることができるため、合成画像における反射領域の画素値を通常画像の反射領域以外の画素値に近づけることができる。したがって、合成画像の反射領域内外の画素値の差を小さくすることによって、自然な合成画像を得ることができる。
また、算出ステップ(S205)において、通常画像の反射領域以外の暗部における画素値の代表値と、合成画像の反射領域の暗部における画素値の代表値とを決定し、通常画像の代表値と、合成画像の代表値とを一致させるように係数を算出してもよい。
これにより、合成画像の反射領域の暗部における画素値を、通常画像の反射領域以外の暗部の画素値と揃えることができる。したがって、自然な合成画像を得ることができる。
また、算出ステップ(S205)において、差分画像の画素値に基づいて複数の反射領域を設定し、複数の反射領域のそれぞれにおいて、通常画像および偏光画像に属する画素値のうち当該反射領域に属する画素値に対して乗算する係数を算出してもよい。
これにより、広範囲を撮影した画像などにおいて、鏡面反射による偏光の程度が画像内で大きく異なる場合でも、各反射領域に対してより適切に合成係数を算出することができる。
(実施の形態2)
次に、図面を用いて実施の形態2を説明する。本実施の形態では、カラー画像に対する鏡面反射成分を抑制する。主要な構成は上記実施の形態1と同等であるが、合成係数α(x,y)の算出方法が異なる。
以下、本実施の形態の動作について、上記実施の形態1との違いについて主として説明する。
[2−1.画像処理装置の動作]
まず、本実施の形態に係る画像処理装置100の動作について、図面を参照しながら説明する。
図11は、本実施の形態に係る画像処理装置における全体の動作を説明するためのフローチャートである。
図11に示すように、まず画像取得部101はカラー画像である通常画像および偏光画像を取得する(S701、S702)。
次に、差分演算部104は、輝度補正を施した通常画像および偏光画像を用いて、下記の式12に示すようにカラー画像の差分画像を求める(S703)。
Figure 0006485078
ここで、上記式12において太字のInormal(x,y)およびIPL(x,y)は、輝度補正後の通常画像および偏光画像の位置(x,y)における色ベクトルをそれぞれ表す。また、D(x,y)は、位置(x,y)における差分画像の色ベクトルを表す。
次に、係数算出部105は、反射領域Rを決定する(S704)。ここで、係数算出部105は上記ステップS703において算出した差分画像における色ベクトルの大きさに基づいて上記実施の形態1のステップS204と同様の手順で反射領域Rを決定する。
次に、係数算出部105は色の情報に基づき合成係数α(x,y)を算出する(S705)。このステップS705の動作の詳細については後述する。
最後に、画像合成部106は、上記ステップS705で算出した合成係数α(x,y)に基づいて通常画像および偏光画像を合成し合成画像を出力する(S706)。
[2−2.合成係数を算出する動作]
次に、図面を参照しながら図11に示すステップS705における動作について説明する。
図12は、本実施の形態に係る係数算出部における合成係数を算出する際の動作を説明するためのフローチャートである。
最初に、係数算出部105は、反射領域R外で色相Hごとの拡散反射係数g(H)を求める(S801)。ここで拡散反射係数g(H)は、色相Hごとの彩度S(Saturation)に対する強度V(Intensity)の比例定数である。この比例定数は、上記非特許文献1に記載されている方法などにより通常画像から求めることができる。
次に、係数算出部105は反射領域Rにおいて下記の式13、式14を満たすようにα(x,y)を算出する(S802)。
Figure 0006485078
Figure 0006485078
なお、式13の等号式に代えて、両辺の差の絶対値が最小となるようにα(x,y)を算出してもよい。
最後に、係数算出部105は、下記の式15に基づき画素ごとの合成係数α(x,y)を設定する(S803)。
Figure 0006485078
[2−3.作用効果]
以上の図12を用いて説明した合成係数の算出ステップでは、カラー画像である通常画像の反射領域以外における拡散反射係数を算出し、当該拡散反射係数を用いて、鏡面反射光と拡散反射光の色特性に基づいて合成係数を算出する。そのため、反射領域Rまたは反射領域R外において暗画素が少ない画像においても合成係数を算出することができる。また、上記特許文献1に記載の画像処理だけでは除去が難しい、2次反射光、色が異なる複数光源などが存在する場合にでも、鏡面反射を抑制することができる。
(本開示に係る画像処理方法などの効果)
以上に述べたように、本開示に係る画像処理方法および画像処理装置では、同一被写体に対して撮影した通常画像と偏光画像とを用いて鏡面反射成分を抑えた画像を取得することができるため、暗い撮影環境下でもSN比の高い画像を得ることができる。
また、従来から偏光フィルタ(光学フィルタ)のみを用いて鏡面反射光を抑制する方法が用いられることもあるが、鏡面反射によって生じる反射光を除去するためには、反射光の偏光方位と偏光フィルタの方位を一致させて撮影する必要がある。一方、本開示に係る画像処理方法および画像処理装置では、同一被写体を撮影した通常画像と偏光画像との相対的な関係から合成係数を算出することで、必ずしも偏光画像の撮影時に偏光フィルタの方位が最適に配置されなくても鏡面反射光の抑制効果を得ることができる。
また、偏光フィルタのみを用いた鏡面反射除去方法では、偏光フィルタの方位を最適に配置した場合でも物体表面における光の入射角が特定値(ブリュースター角)以外の場合には鏡面反射成分の少なくとも一部が除去されない。本開示に係る画像処理方法および画像処理装置では、通常画像から求めた暗画素もしくは拡散反射係数を用い、差分画像に合わせて合成係数を生成することで、入射角によらず鏡面反射成分を抑制することができる。
また、偏光画像を複数用いて反射特性を分析して画像処理を行う上記特許文献1に記載の方式では、異なる3方位以上の偏光画像を原理的に必要としたが、本開示に係る画像処理方法および画像処理装置では偏光画像1枚と通常画像1枚のみでも画像処理を行うことができる。
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1、2を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1、2で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
例えば、実施の形態1では、グレースケール画像の画素値を用いて説明したが、カラー画像においてRGBの各色成分や輝度成分のみに本実施の形態に係る画像処理方法を適用しても同様の効果を得ることができる。
また、画像処理装置100は、本開示における複数の構成要素を選択的に備えてもよいし、画像処理方法は、本開示における複数の処理を選択的に含んでもよい。
また、本開示における各構成要素は、回路でもよい。これらの回路は、全体として1つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
また、本開示における各処理をコンピュータが実行してもよい。例えば、コンピュータが、プロセッサ(CPU)、メモリおよび入出力回路等のハードウェア資源を用いてプログラムを実行することによって、本開示における各処理を実行する。具体的には、プロセッサが処理対象のデータをメモリまたは入出力回路等から取得してデータを演算したり、演算結果をメモリまたは入出力回路等に出力したりすることによって、各処理を実行する。
また、本開示における各処理を実行するためのプログラムが、コンピュータ読み取り可能なCD−ROM等の非一時的な記録媒体に記録されてもよい。この場合、コンピュータが、非一時的な記録媒体からプログラムを読み出して、プログラムを実行することにより、各処理を実行する。
本開示は、鏡面反射を抑えた撮影画像を取得、記録および表示する装置に適用可能である。具体的には、デジタルスチルカメラ、ムービー、カメラ機能付き携帯電話機、スマートフォン、録画装置、テレビなどのような画像処理装置に、本開示は適用可能である。
100 画像処理装置
101 画像取得部
102 演算部
103 表示部
104 差分演算部
105 係数算出部
106 画像合成部
410、510 通常画像
420、520、530 偏光画像
430、540、550 差分画像
440、560 合成画像

Claims (7)

  1. 被写体からの光の全偏光成分で撮影される通常画像、および、前記光の全偏光成分のうち特定の偏光成分で撮影される偏光画像を取得する取得ステップと、
    前記通常画像および前記偏光画像の差分画像を生成する差分ステップと、
    前記通常画像の画素値、および、前記偏光画像の画素値の少なくとも一方に乗算する係数を、少なくとも前記差分画像に含まれる画素値に基づいて算出する算出ステップと、
    前記通常画像および前記偏光画像の少なくとも一方の画素値に対して前記係数を乗算して得られる画素値を用いて、前記通常画像および前記偏光画像を合成することにより合成画像を生成する合成ステップとを含む
    画像処理方法。
  2. 前記算出ステップにおいて、前記差分画像の画素値に基づいて、前記被写体のうち鏡面反射している部分に対応する画素領域である反射領域を、前記通常画像および前記偏光画像に設定した後、前記反射領域に属する画素値に対して乗算する前記係数を算出する
    請求項1に記載の画像処理方法。
  3. 前記算出ステップにおいて、前記通常画像の前記反射領域以外の領域に属する画素値と、前記合成画像のうち前記反射領域に属する画素値とを比較することにより、前記通常画像に属する画素値のうち前記反射領域に属する画素値に乗算する前記係数を算出する
    請求項2に記載の画像処理方法。
  4. 前記算出ステップにおいて、前記通常画像の前記反射領域以外の暗部における画素値の代表値と、前記合成画像の前記反射領域の暗部における画素値の代表値とを決定し、前記通常画像の前記代表値と、前記合成画像の前記代表値とを一致させるように前記係数を算出する
    請求項3に記載の画像処理方法。
  5. 前記算出ステップにおいて、前記通常画像の前記反射領域以外における拡散反射係数を算出し、前記拡散反射係数を用いて前記係数を算出する
    請求項2に記載の画像処理方法。
  6. 前記算出ステップにおいて、前記差分画像の画素値に基づいて複数の前記反射領域を設定し、複数の前記反射領域のそれぞれにおいて、前記通常画像および前記偏光画像に属する画素値のうち当該反射領域に属する画素値に対して乗算する前記係数を算出する
    請求項2〜5のいずれか1項に記載の画像処理方法。
  7. 被写体からの光の全偏光成分で撮影される通常画像、および、前記光の全偏光成分うち特定の偏光成分で撮影される偏光画像を取得する画像取得部と、
    前記通常画像および前記偏光画像の差分画像を生成する差分演算部と、
    前記通常画像の画素値、および、前記偏光画像の画素値の少なくとも一方に乗算する係数を、少なくとも前記差分画像に含まれる画素値に基づいて算出する係数算出部と、
    前記通常画像および前記偏光画像の少なくとも一方の画素値に対して前記係数を乗算して得られる画素値を用いて、前記通常画像および前記偏光画像を合成することにより合成画像を生成する画像合成部とを備える
    画像処理装置。
JP2015018503A 2014-02-18 2015-02-02 画像処理方法および画像処理装置 Active JP6485078B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015018503A JP6485078B2 (ja) 2014-02-18 2015-02-02 画像処理方法および画像処理装置
US14/623,138 US9489728B2 (en) 2014-02-18 2015-02-16 Image processing method and image processing apparatus for obtaining an image with a higher signal to noise ratio with reduced specular reflection

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014028061 2014-02-18
JP2014028061 2014-02-18
JP2015018503A JP6485078B2 (ja) 2014-02-18 2015-02-02 画像処理方法および画像処理装置

Publications (2)

Publication Number Publication Date
JP2015172926A JP2015172926A (ja) 2015-10-01
JP6485078B2 true JP6485078B2 (ja) 2019-03-20

Family

ID=53798547

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015018503A Active JP6485078B2 (ja) 2014-02-18 2015-02-02 画像処理方法および画像処理装置

Country Status (2)

Country Link
US (1) US9489728B2 (ja)
JP (1) JP6485078B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017149608A1 (ja) * 2016-02-29 2017-09-08 富士通フロンテック株式会社 撮像装置及び撮像方法
JP6620050B2 (ja) * 2016-03-28 2019-12-11 株式会社ショーワ 画像処理装置、車載用画像処理装置、プログラム、及び記録媒体
JP6818444B2 (ja) 2016-06-22 2021-01-20 キヤノン株式会社 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
JP6746404B2 (ja) * 2016-07-01 2020-08-26 キヤノン株式会社 偏光情報取得装置、偏光情報取得方法、プログラムおよび記録媒体
WO2018012096A1 (ja) * 2016-07-12 2018-01-18 ソニー株式会社 内視鏡装置及び内視鏡装置の画像合成方法
JP6900395B2 (ja) * 2016-11-30 2021-07-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体
CN107292859B (zh) * 2017-05-27 2019-12-24 西安电子科技大学 基于光学相关器的混沌介质偏振图像获取方法
JP2019074777A (ja) * 2017-10-12 2019-05-16 キヤノン株式会社 画像処理方法、画像処理装置、および撮像装置
US20210152749A1 (en) * 2018-04-18 2021-05-20 Sony Corporation Image processing apparatus, image processing method, program, and learning apparatus
US10721458B1 (en) * 2018-12-14 2020-07-21 Ambarella International Lp Stereoscopic distance measurements from a reflecting surface
JP7528929B2 (ja) * 2019-04-19 2024-08-06 ソニーグループ株式会社 撮像装置と画像処理装置および画像処理方法
JP7286452B2 (ja) * 2019-07-17 2023-06-05 キヤノン株式会社 撮像素子および撮像装置
US12030243B2 (en) * 2020-03-19 2024-07-09 Ricoh Company, Ltd. Measuring apparatus, movable apparatus, robot, electronic device, fabricating apparatus, and measuring method
US20230410464A1 (en) * 2020-11-30 2023-12-21 Sony Group Corporation Image processing device, image processing method, and program
US20240221392A1 (en) * 2022-12-28 2024-07-04 Rivian Ip Holdings, Llc Heterogeneous on-vehicle camera system for object detection

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05167925A (ja) * 1991-12-18 1993-07-02 Scala Kk 画像の処理方法
JP3341664B2 (ja) * 1997-12-15 2002-11-05 トヨタ自動車株式会社 車両用ライン検出装置及び路上ライン検出方法並びにプログラムを記録した媒体
JP2001285678A (ja) * 2000-03-30 2001-10-12 Nissan Motor Co Ltd 2画面同時撮像処理装置
JP2006254331A (ja) * 2005-03-14 2006-09-21 Fuji Photo Film Co Ltd 被写体の反射光成分を検出する画像処理方法およびこれを実行する装置
EP2202688B1 (en) 2007-02-13 2013-11-20 Panasonic Corporation System, method and apparatus for image processing and image format
EP2034743A4 (en) * 2007-05-31 2014-03-05 Panasonic Corp IMAGE PROCESSING DEVICE
CN101542232B (zh) * 2007-08-07 2011-10-19 松下电器产业株式会社 法线信息生成装置以及法线信息生成方法
CN101542233B (zh) * 2007-08-07 2011-12-28 松下电器产业株式会社 图像处理装置以及图像处理方法
EP2293541B1 (en) * 2008-06-26 2018-09-12 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus, image division program and image synthesising method
JP5340907B2 (ja) 2009-12-22 2013-11-13 花王株式会社 情報処理装置、情報処理方法、および、プログラム
JP5664152B2 (ja) * 2009-12-25 2015-02-04 株式会社リコー 撮像装置、車載用撮像システム及び物体識別装置
EP2517175A4 (en) * 2009-12-25 2018-01-10 Ricoh Company, Ltd. Object identifying apparatus, moving body control apparatus, and information providing apparatus
JP5761601B2 (ja) * 2010-07-01 2015-08-12 株式会社リコー 物体識別装置
EP2439716B1 (en) * 2010-09-16 2013-11-13 Ricoh Company, Ltd. Object identification device, moving object controlling apparatus having object identification device and information presenting apparatus having object identification device
JP5967463B2 (ja) 2010-09-16 2016-08-10 株式会社リコー 物体識別装置、並びに、これを備えた移動体制御装置及び情報提供装置
US8804122B2 (en) * 2011-09-22 2014-08-12 Brightex Bio-Photonics Llc Systems and methods for determining a surface profile using a plurality of light sources
JP5846485B2 (ja) * 2011-11-30 2016-01-20 株式会社リコー 付着物検出装置及び付着物検出方法
WO2013175686A1 (ja) * 2012-05-22 2013-11-28 パナソニック株式会社 撮像処理装置および内視鏡
JP2015026937A (ja) * 2013-07-25 2015-02-05 ソニー株式会社 撮像装置および撮像方法、並びにプログラム
US9645074B2 (en) * 2014-02-06 2017-05-09 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus
US9307159B2 (en) * 2014-03-04 2016-04-05 Panasonic Intellectual Property Management Co., Ltd. Polarization image processing apparatus

Also Published As

Publication number Publication date
US9489728B2 (en) 2016-11-08
US20150235375A1 (en) 2015-08-20
JP2015172926A (ja) 2015-10-01

Similar Documents

Publication Publication Date Title
JP6485078B2 (ja) 画像処理方法および画像処理装置
CN108668093B (zh) Hdr图像的生成方法及装置
US9613408B2 (en) High dynamic range image composition using multiple images
JP6635799B2 (ja) 画像処理装置、画像処理方法及びプログラム
US10367976B2 (en) Single image haze removal
WO2019011147A1 (zh) 逆光场景的人脸区域处理方法和装置
JP6249638B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6579868B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
WO2018228310A1 (zh) 图像处理方法、装置及终端
JP2010141653A (ja) 画像処理装置及び撮像装置
EP2958075A1 (en) Method and apparatus for dynamic range expansion of LDR video sequence
JP2018041380A (ja) 画像処理装置、画像処理方法、及びプログラム
US20150206296A1 (en) Image composition apparatus and image composition method
JP2004222231A (ja) 画像処理装置および画像処理プログラム
JP2020077165A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2015062270A (ja) 画像処理装置
JP7277158B2 (ja) 設定装置及び方法、プログラム、記憶媒体
KR102282457B1 (ko) 컬러 모아레 저감 방법, 컬러 모아레 저감 장치 및 영상 처리 장치
US20170053384A1 (en) Image-processing device, image-capturing device, image-processing method, and storage medium
EP3716617A1 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
CN107767350B (zh) 视频图像还原方法及装置
JP6786273B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2016051982A (ja) 画像処理装置、カメラおよび画像処理プログラム
JP2004222233A (ja) 画像処理装置および画像処理プログラム
JP6584173B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190204

R151 Written notification of patent or utility model registration

Ref document number: 6485078

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151