JPWO2010087162A1 - カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム - Google Patents
カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム Download PDFInfo
- Publication number
- JPWO2010087162A1 JPWO2010087162A1 JP2010548417A JP2010548417A JPWO2010087162A1 JP WO2010087162 A1 JPWO2010087162 A1 JP WO2010087162A1 JP 2010548417 A JP2010548417 A JP 2010548417A JP 2010548417 A JP2010548417 A JP 2010548417A JP WO2010087162 A1 JPWO2010087162 A1 JP WO2010087162A1
- Authority
- JP
- Japan
- Prior art keywords
- albedo
- color
- surface reflectance
- correction
- reflection component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
- H04N1/628—Memory colours, e.g. skin or sky
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
Description
I.まず、カラー画像処理装置へ入力画像および入力画像に関する情報を取得する(画像情報取得処理)。具体的には、入力画像が入力され、入力画像から特定対象物が特定される。特定対象物が特定されることによって、アルベドを補正する領域(対象物領域)が検出される。また、特定対象物の3次元形状と色情報(対象物領域の色)が取得される。
II.次に、特定対象物の反射情報を復元する(反射情報復元処理)。具体的には、3次元形状に基づいて、照明の幾何条件が復元される。続いて、色情報、3次元形状及び照明の幾何条件を用いて、表面反射成分、及びボディー反射成分が復元される。このとき、入力画像の各画素の画素値から表面反射成分が除かれ、アルベドとボディー反射成分の積で表わされる成分が分離される。ここで、ボディー反射成分は陰影情報を含む成分である。
III.特定対象物のアルベドを計算する(アルベド計算処理)。具体的には、表面反射成分が除かれた画素値を、ボディー反射成分で割ることでアルベドを算出する。
IV.アルベドを補正する(アルベド補正処理)。具体的には、特定対象物の色情報とアルベドとを用いて表面反射率を算出する。そして、算出した表面反射率を参照表面反射率に近づける。これにより、アルベドを補正する。
V.補正されたアルベドへ表面反射成分とボディー反射成分とを付加し、特定対象物の再現色を算出する(再現色算出処理)。
また、以降の説明では、特定対象物と対象物領域とは特に区別しない。
アルベドは、特定対象物の色情報から表面反射成分とボディー反射成分とを除いた色情報である。すなわち、特定対象物の画像情報(入力画像から取得した色情報)から、表面反射成分(てかり)とボディー反射成分(影)を取り除いた色情報である。したがって、特定対象物そのものの色情報ともいえる。
対象物領域の色情報は、アルベドとボディー反射成分の積に、表面反射成分を付加したものとして表わされる。ボディー反射成分には陰影情報が含まれている。
参照表面反射率は、予め特定対象物に応じて設定された表面反射率である。参照表面反射率については後述する。
画像情報取得部110は、入力画像を外部から入力し、入力画像に基づいて、特定対象物を特定し、特定対象物の対象物領域を検出する。また、画像情報取得部110は、対象物領域の色情報と3次元形状とを取得する。
アルベド計算部130は、色情報から表面反射成分を引き、さらにボディー反射成分で割ることでアルベドを算出する。
再現色算出部150は、補正アルベドへ表面反射成分とボディー反射成分とを付加して対象物領域の再現色を算出し、算出した再現色を用いて出力画像を生成する。
以下実施形態に即して説明する。
まず、本発明の実施形態1のカラー画像処理方法について、図面を用いて処理の流れを説明する。ここでは、図2に示したカラー画像処理装置100の構成例を用いて説明する。
図3は、本発明の実施形態1のカラー画像処理方法を説明するためのフローチャートである。なお、ここでの説明の便宜上、画像の表色系は、RGB表色系であるものとする。すなわち、画像の色は、R(赤)、G(緑)、B(青)の組み合わせで表されるものとし、色情報RGBと表記するものとする。なお、本発明において、RGB以外の表色系にも適用可能であることは勿論である。
図4に示したように、入力されたカラー画像中から特定対象物を、色情報、テクスチャなどを用いて検出する。以下では、特定対象物を人間の顔とした場合について説明する。特定対象物を人間の顔とした場合には、目、鼻、口などの形状特徴を利用して顔領域を検出する。
また、入力画像から顔領域を検出する方法として、特許文献2に記載された、画像中から目を検出する方法を用いることができる。つまり、入力画像中から、目の位置が検出されれば、顔領域を推定することは容易である。
ここでは、カラー画像中の対象物領域の色情報、対象物が有する表面反射特性を利用して、入力画像を撮影した際に用いたであろう照明の色情報、すなわち、照明の分光分布特性を復元する。具体的には、対象物領域の色情報RGBを取得し、取得した色情報RGBに基づいて、XYZ表色系の三刺激値XYZを求める。そして、入力画像中の対象物領域の三刺激値XYZと対象物が有する表面反射率とから、分光分布を復元する。
図4は、入力画像中の対象物領域を自動検出し、色情報を求める処理の概略を説明する図である。なお、対象物領域の色情報として、対象物が占める領域内に存在する画素の平均色、中央色(メジアン)、最頻色(モード)など、いずれか一つの色を対象物領域の色情報として利用することができる。
以下では、入力画像の色情報RGBに関して、このRGBのRGB蛍光体の色度および白色の色度はあらかじめ指定されており、RGBデータと表示機器の発光強度の関係が線形であるものとして説明する。
この場合、入力画像のRGBと三刺激値XYZとの関係は、以下の式(1)で表される。
この変換行列RXは、RGBの蛍光体の色度と白色の色度が決まれば一意に計算できる。
XYZ表色系に基づく対象物領域の色を示す三刺激値XYZは、対象物領域の表面反射率、その対象物を照射する照明の分光分布および人間視覚の等色関数から、以下の式(2)で表現される。
いま、式(1)で計算された三刺激値XYZを式(2)の左辺に代入すると、式(2)は、未知である照明の分光分布I(λ)およびR(λ)の観測方程式となる。
しかし、現状では、波長に関する連続関数であるI(λ)およびR(λ)を、式(2)から計算することはできない。
例えば、対象物を日本人の顔とした場合には、図5に例示する平均的な肌色を有する日本人の顔領域の表面反射率を、式(2)のR(λ)として用いることができる。図5は、平均的な肌色を有する日本人の顔領域の表面反射率を示すグラフである。横軸は波長(nm)、縦軸は、表面反射率(%)を表す。
照明の分光分布I(λ)の観測方程式である式(2)から、このままでは、I(λ)を解析的に計算することは出来ない。これは、本来、照明の分光分布I(λ)は、可視光領域において無限次元の波形で表されるためである。しかし、I(λ)が少ないパラメータで表現できれば、この問題は解決される。
図6は、CIE昼光の平均および第1、第2主成分ベクトルを示すグラフである。横軸は波長(nm)、縦軸は照明や光源の各波長における分光分布スペクトルパワーを表している。
このことから、照明の分光分布I(λ)を以下のように表すことができる。
ai(i=1〜2)は、各基底ベクトルの重み係数で、照明の色を表現する特性パラメータとなる。
得られた照明の色を表現する特性パラメータa1,a2を、式(3)に代入することによって、照明の分光分布I(λ)が得られる。
以上の手順にて得られた照明の分光分布を、入力画像を撮影した際の照明の分光分布I(λ)とする。
上記は、特定対象物として人間の顔に特化した場合の3D形状復元方法であるが、個体差があっても大体普遍的な形状を有する特定対象物であれば、非特許文献3をその特定対象物に拡張することで、入力画像からおおよその3次元形状を復元できる。
非特許文献5:R. Ramamoorthi and P. Hanrahan,"An efficient representation for irradiance environment maps" ,[online],Proc. ACM SIGGRAPH 01,pp. 497-500,2001,[平成21年1月26日検索]、インターネット<URL: http://www1.cs.columbia.edu/~ravir/papers/envmap/envmap.pdf>
非特許文献6:Ravi Ramamoorthi and Pat Hanrahan: "On the relationship between radiance and irradiance: determining the illumination from images of a convex Lambertian object" ,J. Opt. Soc. Am. A/Vol. 18, No. 10/October 2001.
一般に対象物の反射率は入射光と放射光の幾何条件に依存する。一般に、この反射特性は双方向反射率分布関数BRDF(Bidirectional Reflectance Distribution Function)として表現される。BRDFでは、表面反射成分(Secular component)とボディー反射成分(Body reflection component)の2つの成分から構成される場合が多い。
表面反射成分は、皮膚の表面で反射する成分である。
ボディー成分は、一旦、皮膚内部に入射し、その内部で拡散された光が、再度皮膚を通じて発散する光の成分である。
= 0のとき 上記以外 (21)
ここで、Iiは、入力画像の特定対象物領域におけるある画素の画素値を現しており、iはカラーチャネル(たとえば、R、G、Bなど)を表している。
BRi = Ii - Spi = Min(Ii, DRi) (22)
ここで、Min(x,y)は、xとyの最小値を出力する関数である。
ADi = BRi / Y (23)
いま、入力画像は、RGB表色系の画像であるものとして説明する。
特定対象物の領域におけるアルベドADiで表される各画素のRGB値から、式(1)に従って、三刺激値XYZを計算し、式(2)の左辺に代入する。
ここで、特定対象物の表面反射率についても、照明の分光分布と同様に可視光領域において無限次元の波形で表されるため、これを観測方程式(2)から解析的に計算することは出来ない。
そこで、特定対象物の表面反射率についても低次元の基底ベクトルの加重和で表す有限次元線形モデルを用いてモデル化する。
bi(i=1〜3)は、各基底ベクトルの重み係数で、物体の色を表現する未知の特性パラメータとなる。
なお、特定対象物の表面反射率を多数集めて、それらを主成分分析して得られる基底ベクトルを用いても良い。
式(25)で得られた物体の色を表現する特性パラメータbi(i=1〜3)を、式(24)に代入することで、対象物の領域における任意の画素における表面反射率が求められる。
ステップS7で算出した入力画像中の対象物における各画素の表面反射率を、その対象物領域の望ましい色が再現できるように設定された参照表面反射率を基に補正する。
この参照表面反射率は、人間の主観に依存するため一意に定義できるものではないが、主観評価実験を実施することであらかじめ求めておくことができる。例えば、画像処理ツールを用いて画像中の対象物領域の色を様々に変化させてその画質を評価する。そして、評価した中で最も好ましいと判断されたときの画像について、上述のステップS2およびステップS3を適用する。これにより、対象物領域における各画素の参照表面反射率を求めることができる。
さらに、入力画像中の対象物において形状的な特徴が利用できる場合には、その領域における色に対する表面反射率を、その対象物領域の参照表面反射率をRref(λ)としてもよい。例えば、対象物が顔の場合、頬、目尻、額などが特徴領域として与えられる。
以上の手法で、その対象物領域の参照表面反射率をあらかじめ得ておくことができる。
再現表面反射率Rmd(λ)の計算方法の一例を以下に示す。
Rmd(λ)=α・R(λ)+(1-α)・Rref(λ) (26)
ここで、αは、ゼロ以上1.0以下(0≦α≦1.0)の実数である。
まず、入力画像中の特定対象物における色の平均色、中央色(メジアン)、もしくは最頻色(モード)に相当する画素の色について、その表面反射率を求め、これをRavg(λ)とする。参照表面反射率については、上述のRref(λ)を用いる。
F(λ)= Rref(λ)/ Ravg(λ) (27)
そして、入力画像中の特定対象物における各画素の表面反射率R(λ)を、以下のように補正して、好ましい色を再現する再現表面反射率Rmd(λ)を算出する。
Rmd(λ)=α・F(λ)・R(λ)+(1-α)・R(λ) (28)
ここで、αは、ゼロ以上1.0以下(0≦α≦1.0)の実数である。
対象物領域内の色の分散が小さくなってしまうと、質感の低下を引き起こしてしまう場合があるからである。
特性パラメータbi(i=1〜3)に対する補正式の一例を以下に示す。
3×3行列が補正行列であり、その要素mij(i,j=1〜3)は以下のようにして算出する。
それぞれに対して、入力画像中の対象物領域において同じ性質を有する色を求め、それらの色について表面反射率を求める。
入力画像中の対象物領域における平均色を、好ましいと判断されたときの画像中の対象物領域における中心色に補正する。Rref(1,λ)の特性パラメータであるbr1,i(i=1〜3)を、式(29)の左辺の特性パラメータbi'(i=1〜3)に、R(1,λ)の特性パラメータをb1,i(i=1〜3)を、式(29)の右辺の特性パラメータbi(i=1〜3)に代入する。
すると、式(29)は、未知である要素mij(i,j=1〜3)に関する連立方程式となる。
対象物における3個以上の色について同様にすれば、方程式と未知数との数の関係から、未知である要素mij(i,j=1〜3)を解くことができ、式(29)の補正行列が得られる。
図8からもわかるように、入力画像中の特定対象物の領域における特性パラメータの分布が、望ましい色再現をもたらす参照表面反射率における特性パラメータの分布に維持されることで色の分散の変化(偏りや低下)を抑えることができ、補正後の色の質感が損なわれることがない。
入力画像中の対象物における各画素の表面反射率を構成する特性パラメータbi(i=1〜3)に、式(29)の補正行列を適用して、補正後の特性パラメータを算出し、式(24)に代入することで、入力画像中の対象物における各画素の補正後の再現表面反射率を得ることが出来る。
補正後のアルベドADi'に拡散反射成分の輝度を乗算し、ボディー反射成分BRi'を計算する。
BRi'= ADi'× Y (31)
ここで、Yは拡散反射成分DRiの輝度、すなわち、式(1)で求められる三刺激値のY成分である。そして、ボディー反射成分BRiに表面反射成分SPiを加算することで、色補正後の画素値Ii'が得られる。
Ii'= Bri'+ Spi (32)
上記した方法にしたがって、入力画像中の対象物領域の色を補正した画像を出力画像として出力する。
カラー画像処理装置101は、入力画像1に対して色補正を施し出力画像2を出力する装置である。カラー画像処理装置101は、対象物領域検出部3と、分光分布復元部(照明の分光分布復元部)4と、代表表面反射率保存メモリ(対象物領域の代表表面反射率保存メモリ)5と、3次元情報復元部(対象物領域の3次元情報復元部)6と、反射情報復元部(対象物領域の表面反射成分とボディー反射成分復元部)7と、アルベド計算部(対象物領域のアルベド計算部)8と、表面反射率復元部(対象物領域の表面反射率復元部)9と、補正アルベド算出部(表面反射率補正によるアルベド補正部)10と、参照表面反射率保存メモリ(対象物領域の参照表面反射率保存メモリ)11と、再現色算出部(対象物領域の再現色算出部)12と、を備える。
ここで、入力画像1から検出する対象物は、上記のように、人の顔などのようにその対象物領域の色と形状特徴がある程度限定できるものである。検出方法については、上記した手法に従えばよい。なお、入力画像1から目的とする対象物が検出されない場合には、入力画像1を出力画像2として出力する。
3次元形状は、3次元情報復元部6によって算出される。対象物領域の3次元形状は、図3のステップS4に記載したように、法線ベクトルである。反射情報復元部7では、放射照度の計算として、上述のステップS4で述べた処理が実行される。
また、反射情報復元部7は、上述のステップS5で述べた処理方法に従って、対象物領域における表面反射成分及びボディー反射成分を復元(算出)する。
画像情報取得部110は、対象物領域検出部3と、3次元情報復元部6とによって構成される。
反射情報復元部120は、反射情報復元部7に対応する。
アルベド計算部130は、アルベド計算部8に対応する。
アルベド補正処理部140において、分光分布復元部141は、分光分布復元部4と対象物領域の代表表面反射率保存メモリ5とによって構成される。また、アルベド補正部142は、表面反射率復元部9、補正アルベド算出部10、及び参照表面反射率保存メモリ11によって構成される。
再現色算出部150は、再現色算出部12に対応する。
なお、図2または図9に示したカラー画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。
カラー画像処理装置を構成する各構成要素がコンピュータで実現可能であること、およびプログラムとして実現可能であることは、実施形態1に限らず、その他の実施形態でも同様である。
次に、実施形態2のカラー画像処理方法について説明する。図10は、本発明による実施形態2のカラー画像処理方法を示すフローチャートである。実施形態2のカラー画像処理方法は、実施形態1のカラー画像処理方法のステップS7、ステップS8(図3)で行われる2つの処理を一つにまとめた処理を実施する。具体的には、入力画像中の対象物における各画素の表面反射率を復元する処理(ステップS7)と、復元された表面反射率を補正して、補正後のアルベドを計算する処理(ステップS8)とを、線形計算に基づく補正式に置き換える。これによって、実施形態1のカラー画像処理方法と同等の補正結果をもたらすカラー画像処理方法である。
図10におけるステップS1からステップS6とステップS9の処理は、実施形態1における処理と同様であるため説明を省略し、ステップS10について、図2に示す構成例を用いて説明する。
その結果、補正後の対象物領域の表面反射率R'(λ)の特性パラメータbi'(i=1〜3)は式(29)で算出される。次に、補正後の表面反射率R'(λ)は、特性パラメータbi'(i=1〜3)を式(24)に代入することで計算される。補正後の表面反射率R'(λ)は、式(33)のようになる。
このように、一つの線形計算に基づく補正式に置き換えることによって、処理時間の高速化を図ることができる。
具体的には、アルベド補正部13は、補正式の作成において、照明の分光分布とアルベドとを用いて、対象物領域の表面反射率を復元し、表面反射率を用いて、アルベドを補正する補正式を作成する。また、アルベド補正部13は、参照表面反射率を用いて表面反射率を補正して再現表面反射率を算出し、再現表面反射率を用いて補正式を作成する。参照表面反射率は、参照表面反射率保存メモリ11に記憶されている。
上記各実施形態のカラー画像処理方法及び装置は、コンピュータを用いて実現することができる。カラー画像処理方法及び装置の各処理は、ソフトウェア、ハードウェア、ファームフェアのいずれか二つ以上の組み合わせで実現することもできる。
例えば、図2に示すカラー画像処理装置100を、プログラムを用いて実現する場合、プログラム(プログラムの命令群)は、少なくとも次の手順をコンピュータに実行させる。プログラムは、コンピュータのメモリにロードされ、CPUの制御のもとで各命令が実行される。
(f)色情報を用いて照明の分光分布を復元する分光分布復元手順。(g)照明の分光分布と前記アルベドとを用いて、対象物領域の表面反射率を復元し、復元した表面反射率に基づいてアルベドを補正して補正アルベドを算出するアルベド補正手順。
さらに、参照表面反射率保存メモリは、3以上の参照表面反射率を保存することが好ましい。この場合、アルベド補正手順は、3以上の参照表面反射率を用いて、前記表面反射率を補正する。
なお、上述した各手順は、プログラムで実現する手順の一例を示したものであり、これらに限られることはない。また、複数の手順のうちの一部をハードウェアやファームウェアによって実現することも可能である。
プログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の通信媒体を介して伝送することにより提供することも可能である。また、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、CD−ROM、DVD、ROMカートリッジ、バッテリバックアップ付きRAMメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性RAMカートリッジ等が含まれる。また、通信媒体には、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等が含まれる。
2 出力画像
3 対象物領域検出部
4 分光分布復元部
5 対象物領域の代表表面反射率保存メモリ
6 3次元情報復元部
7 反射情報復元部
8 アルベド計算部
9 表面反射率復元部
10 補正アルベド算出部
11 参照表面反射率保存メモリ
12 再現色算出部
13、142 アルベド補正部
100、101、102 カラー画像処理装置
110 画像情報取得部
120 反射情報復元部
130 アルベド計算部
140 アルベド補正処理部
141 分光分布復元部
150 再現色算出部
Claims (19)
- 入力画像に基づいて対象物領域を検出し、
前記対象物領域の色情報と3次元情報とを取得し、
前記色情報と前記3次元情報とに基づいて、前記対象物領域の表面反射成分及びボディー反射成分を復元し、
前記色情報から表面反射成分とボディー反射成分とを除去してアルベドを算出し、
前記色情報と前記アルベドを用いて表面反射率を復元し、
前記表面反射率を用いて前記アルベドを補正した補正アルベドを算出し、
前記補正アルベドへ前記ボディー反射成分と前記表面反射成分とを付加して前記対象物領域の再現色を算出し、出力画像を生成するカラー画像処理方法。 - 前記表面反射率の復元は、前記色情報を用いて照明の分光分布を復元し、前記照明の分光分布と前記アルベドとを用いて、前記対象物領域の表面反射率を復元することを特徴とする請求項1記載のカラー画像処理方法。
- 前記補正アルベドの算出は、予め前記対象物領域に応じて設定され、参照表面反射率保存メモリに保存した参照表面反射率を用いて前記表面反射率を補正して再現表面反射率を算出し、前記再現表面反射率を用いてアルベドを補正することを特徴とする請求項2記載のカラー画像処理方法。
- 前記参照表面反射率保存メモリは、3以上の参照表面反射率を保存し、
前記補正アルベドの算出は、前記3以上の参照表面反射率を用いて、前記表面反射率を補正することを特徴とする請求項3記載のカラー画像処理方法。 - 前記照明の分光分布の復元は、前記色情報に加え、予め前記対象物領域に応じて設定された代表表面反射率を用いて復元することを特徴とする請求項2乃至4のいずれか一項に記載のカラー画像処理方法。
- 前記補正アルベドの算出は、前記アルベドを補正する補正式を作成し、前記補正式を用いた行列変換によって補正アルベドを算出することを特徴とする請求項1乃至5のいずれか一項に記載のカラー画像処理方法。
- 入力画像に基づいて対象物領域を検出し、前記対象物領域の色情報と3次元情報とを取得する画像情報取得手段と、
前記色情報と前記3次元情報とに基づいて、前記対象物領域の表面反射成分及びボディー反射成分を復元する反射情報復元手段と、
前記色情報から表面反射成分とボディー反射成分とを除去したアルベドを算出するアルベド計算手段と、
前記色情報と前記アルベドを用いて表面反射率を復元し、前記表面反射率を用いて前記アルベドを補正した補正アルベドを算出するアルベド補正処理手段と、
前記補正アルベドへ前記ボディー反射成分と前記表面反射成分とを付加して前記対象物領域の再現色を算出し、出力画像を生成する再現色算出手段と、を備えるカラー画像処理装置。 - 前記アルベド補正処理手段は、
前記色情報を用いて照明の分光分布を復元する分光分布復元手段と、
前記照明の分光分布と前記アルベドとを用いて、前記対象物領域の表面反射率を復元する表面反射率復元手段と、
前記表面反射率を用いて前記アルベドを補正して補正アルベドを算出する補正アルベド算出手段と、を有することを特徴とする請求項7記載のカラー画像処理装置。 - 前記アルベド補正処理手段は、
予め前記対象物領域に応じて設定された参照表面反射率を保存する参照表面反射率保存メモリを、さらに備え、
前記補正アルベド算出手段は、前記参照表面反射率を用いて前記表面反射率を補正して再現表面反射率を算出し、前記再現表面反射率を用いてアルベドを補正することを特徴とする請求項8記載のカラー画像処理装置。 - 前記参照表面反射率保存メモリは、3以上の参照表面反射率を保存し、
前記補正アルベド算出手段は、前記3以上の参照表面反射率を用いて、前記表面反射率を補正することを特徴とする請求項9記載のカラー画像処理装置。 - 前記アルベド補正処理手段は、
前記色情報を用いて照明の分光分布を復元する分光分布復元手段と、
前記照明の分光分布と前記アルベドとを用いて、対象物領域の表面反射率を復元し、前記表面反射率を用いて、前記アルベドを補正する補正式を作成し、前記補正式を用いた行列変換によって補正アルベドを算出するアルベド補正手段と、を有することを特徴とする請求項7記載のカラー画像処理装置。 - 前記アルベド補正処理手段は、
前記対象物領域の参照表面反射率を保存する参照表面反射率保存メモリを、さらに備え、
前記アルベド補正手段は、前記参照表面反射率を用いて前記表面反射率を補正して再現表面反射率を算出し、再現表面反射率を用いて前記補正式を作成することを特徴とする請求項11記載のカラー画像処理装置。 - 前記分光分布復元手段は、
前記対象物領域の代表表面反射率を保存する代表表面反射率保存メモリを備え、
前記色情報に加え、前記対象物領域の代表表面反射率を用いて前記照明の分光分布を復元することを特徴とする請求項8乃至12のいずれか一項に記載のカラー画像処理装置。 - コンピュータに、
入力画像に基づいて対象物領域を検出し、前記対象物領域の色情報と3次元情報とを取得する画像情報取得手順と、
前記色情報と前記3次元情報とに基づいて、前記対象物領域の表面反射成分及びボディー反射成分を復元する反射情報復元手順と、
前記色情報から表面反射成分とボディー反射成分とを除去してアルベドを算出するアルベド計算手順と、
前記色情報と前記アルベドを用いて表面反射率を復元し、前記表面反射率を用いて前記アルベドを補正した補正アルベドを算出するアルベド補正処理手順と、
前記補正アルベドへ前記ボディー反射成分と前記表面反射成分とを付加して前記対象物領域の再現色を算出し、出力画像を生成する再現色算出手順と、を実行させるカラー画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。 - アルベド補正処理手順は、
前記色情報を用いて照明の分光分布を復元する分光分布復元手順と、
前記照明の分光分布と前記アルベドとを用いて、前記対象物領域の表面反射率を復元し、前記表面反射率を用いてアルベドを補正して補正アルベドを算出するアルベド補正手順と、を備えることを特徴とする請求項14記載のカラー画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。 - 前記アルベド補正手順は、予め前記対象物領域に応じて設定され、参照表面反射率保存メモリに保存した参照表面反射率を用いて前記表面反射率を補正して再現表面反射率を算出し、前記再現表面反射率を用いて前記アルベドを補正することを特徴とする請求項15記載のカラー画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 前記参照表面反射率保存メモリは、3以上の参照表面反射率を保存し、
前記アルベド補正手順は、前記3以上の参照表面反射率を用いて、前記表面反射率を補正することを特徴とする請求項16記載のカラー画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。 - 前記分光分布復元手順は、前記色情報に加え、予め前記対象物領域に応じて設定された代表表面反射率を用いて復元することを特徴とする請求項15乃至17のいずれか一項に記載のカラー画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 前記アルベド補正手順は、前記アルベドを補正する補正式を作成し、前記補正式を用いた行列変換によって補正アルベドを算出することを特徴とする請求項14乃至18のいずれか一項に記載のカラー画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010548417A JP5648483B2 (ja) | 2009-01-27 | 2010-01-27 | カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009015120 | 2009-01-27 | ||
JP2009015120 | 2009-01-27 | ||
PCT/JP2010/000458 WO2010087162A1 (ja) | 2009-01-27 | 2010-01-27 | カラー画像処理方法、カラー画像処理装置および記録媒体 |
JP2010548417A JP5648483B2 (ja) | 2009-01-27 | 2010-01-27 | カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2010087162A1 true JPWO2010087162A1 (ja) | 2012-08-02 |
JP5648483B2 JP5648483B2 (ja) | 2015-01-07 |
Family
ID=42395426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010548417A Active JP5648483B2 (ja) | 2009-01-27 | 2010-01-27 | カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US8705855B2 (ja) |
EP (1) | EP2393061B1 (ja) |
JP (1) | JP5648483B2 (ja) |
CN (1) | CN102301391B (ja) |
WO (1) | WO2010087162A1 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5648483B2 (ja) * | 2009-01-27 | 2015-01-07 | 日本電気株式会社 | カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム |
WO2010087164A1 (ja) * | 2009-01-29 | 2010-08-05 | 日本電気株式会社 | カラー画像処理方法、カラー画像処理装置および記録媒体 |
JP6004481B2 (ja) * | 2010-06-30 | 2016-10-12 | 日本電気株式会社 | カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム |
US8582873B2 (en) * | 2011-06-16 | 2013-11-12 | Tandent Vision Science, Inc. | Use of an object database in an image process |
US9230344B2 (en) * | 2012-01-12 | 2016-01-05 | Christopher Joseph Vranos | Software, system, and method of changing colors in a video |
JP2014222447A (ja) * | 2013-05-14 | 2014-11-27 | ソニー株式会社 | 画像処理装置および方法 |
CN105917383B (zh) * | 2014-01-21 | 2017-10-27 | 三菱电机株式会社 | 动态图像再现装置 |
US10373344B2 (en) | 2014-04-23 | 2019-08-06 | Sony Corporation | Image processing apparatus and method for adjusting intensity of a reflective property of an object in a displayed image |
JP6350069B2 (ja) * | 2014-07-22 | 2018-07-04 | 富士ゼロックス株式会社 | 情報処理システム、情報処理装置およびプログラム |
JPWO2016181804A1 (ja) | 2015-05-08 | 2018-03-08 | ソニー株式会社 | 画像処理装置および方法 |
CN107533757B (zh) * | 2015-05-22 | 2022-06-07 | 索尼公司 | 处理图像的装置和方法 |
CN106327505B (zh) | 2015-06-26 | 2020-05-05 | 微软技术许可有限责任公司 | 机器视觉处理系统、设备、方法及计算机可读存储介质 |
JP6624827B2 (ja) * | 2015-07-13 | 2019-12-25 | キヤノン株式会社 | 情報処理装置、情報処理方法、コンピュータプログラム |
JP6584179B2 (ja) | 2015-07-13 | 2019-10-02 | キヤノン株式会社 | 情報処理装置、情報処理方法、コンピュータプログラム |
CN105574821A (zh) * | 2015-12-10 | 2016-05-11 | 浙江传媒学院 | 基于数据的软性阴影去除方法 |
KR102373926B1 (ko) * | 2016-02-05 | 2022-03-14 | 삼성전자주식회사 | 이동체 및 이동체의 위치 인식 방법 |
US11452442B2 (en) * | 2016-06-15 | 2022-09-27 | Oregon Health & Science University | Systems and methods for automated widefield optical coherence tomography angiography |
KR20180047367A (ko) | 2016-10-31 | 2018-05-10 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
JP6751773B2 (ja) * | 2016-12-07 | 2020-09-09 | オリンパス株式会社 | 画像処理装置及び画像処理装置の作動方法 |
JP2018151832A (ja) * | 2017-03-13 | 2018-09-27 | キヤノン株式会社 | 情報処理装置、情報処理方法、および、プログラム |
US11333603B2 (en) * | 2018-10-30 | 2022-05-17 | Canon Kabushiki Kaisha | Processing apparatus, processing method, and storage medium |
JP7334458B2 (ja) * | 2019-04-24 | 2023-08-29 | 富士フイルムビジネスイノベーション株式会社 | 画像処理装置及び画像処理プログラム |
CN111260577B (zh) * | 2020-01-15 | 2023-04-18 | 哈尔滨工业大学 | 基于多引导图和自适应特征融合的人脸图像复原系统 |
CN111612882B (zh) * | 2020-06-10 | 2023-04-07 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机存储介质及电子设备 |
CN112102462B (zh) * | 2020-09-27 | 2023-07-21 | 北京百度网讯科技有限公司 | 图像的渲染方法、装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006277748A (ja) * | 2005-03-29 | 2006-10-12 | Mitsubishi Electric Research Laboratories Inc | コンピュータにより実施される、顔の皮膚反射モデルを生成する方法 |
JP2008225970A (ja) * | 2007-03-14 | 2008-09-25 | Matsushita Electric Ind Co Ltd | 画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法 |
JP2008225971A (ja) * | 2007-03-14 | 2008-09-25 | Matsushita Electric Ind Co Ltd | 画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3008878B2 (ja) | 1997-02-14 | 2000-02-14 | 日本電気株式会社 | 色変換方法及びその装置並びにプログラムを記録した機械読み取り可能な記録媒体 |
JP2000090233A (ja) * | 1998-09-08 | 2000-03-31 | Olympus Optical Co Ltd | 画像処理装置 |
KR20020032595A (ko) * | 1999-09-17 | 2002-05-03 | 기타무라 가즈코 | 촬영시스템, 화상처리장치 및 카메라 |
JP3264273B2 (ja) | 1999-09-22 | 2002-03-11 | 日本電気株式会社 | 自動色補正装置及び自動色補正方法並びにその制御プログラムを記録した記録媒体 |
JP2003317084A (ja) | 2002-04-19 | 2003-11-07 | Nec Corp | 顔画像からの目検出システム、目検出方法および目検出用プログラム |
JP2004045189A (ja) | 2002-07-11 | 2004-02-12 | Matsushita Electric Ind Co Ltd | 色補正装置及び色補正方法 |
WO2007007788A1 (ja) | 2005-07-13 | 2007-01-18 | Nec Corporation | 色補正方法および色補正装置 |
JP2007264439A (ja) * | 2006-03-29 | 2007-10-11 | Kyocera Mita Corp | 画像形成装置、画像形成装置のトナー濃度調整方法、プログラム、及び記録媒体 |
CN101356546B (zh) * | 2006-05-29 | 2011-10-12 | 松下电器产业株式会社 | 图像高分辨率化装置、方法及系统 |
US8538144B2 (en) * | 2006-11-21 | 2013-09-17 | Thomson Licensing | Methods and systems for color correction of 3D images |
JP2009015120A (ja) | 2007-07-06 | 2009-01-22 | Yamaha Corp | 電子楽器の鍵盤装置 |
CN101146233A (zh) * | 2007-09-26 | 2008-03-19 | 东南大学 | 一种光源颜色计算和图像校正方法 |
CN101953148B (zh) | 2008-02-22 | 2013-05-08 | 日本电气株式会社 | 彩色图像处理方法、装置及程序 |
US8025408B2 (en) * | 2008-07-08 | 2011-09-27 | Panasonic Corporation | Method, apparatus and program for image processing and method and apparatus for image synthesizing |
US8457389B2 (en) * | 2008-09-03 | 2013-06-04 | Nec Corporation | Image processing device, image processing method and image processing program |
JP5648483B2 (ja) * | 2009-01-27 | 2015-01-07 | 日本電気株式会社 | カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム |
-
2010
- 2010-01-27 JP JP2010548417A patent/JP5648483B2/ja active Active
- 2010-01-27 CN CN2010800056100A patent/CN102301391B/zh active Active
- 2010-01-27 US US13/143,394 patent/US8705855B2/en active Active
- 2010-01-27 EP EP10735634.7A patent/EP2393061B1/en active Active
- 2010-01-27 WO PCT/JP2010/000458 patent/WO2010087162A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006277748A (ja) * | 2005-03-29 | 2006-10-12 | Mitsubishi Electric Research Laboratories Inc | コンピュータにより実施される、顔の皮膚反射モデルを生成する方法 |
JP2008225970A (ja) * | 2007-03-14 | 2008-09-25 | Matsushita Electric Ind Co Ltd | 画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法 |
JP2008225971A (ja) * | 2007-03-14 | 2008-09-25 | Matsushita Electric Ind Co Ltd | 画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法 |
Non-Patent Citations (2)
Title |
---|
岩井 儀雄、外3名: ""画像処理による顔検出と顔認識"", 情報処理学会研究報告, vol. Vo.2005, No.38, JPN6010009369, 13 May 2005 (2005-05-13), JP, pages 343 - 368, ISSN: 0002915936 * |
猪瀬 健二、川崎 洋、古川 亮: ""複数計測による全周3次元モデル生成のための複数テクスチャのシームレスな合成手法"", 情報処理学会論文誌 コンピュータビジョンとイメージメディア, vol. Vo.1, No.2, JPN6010009370, 15 November 2008 (2008-11-15), JP, pages 136 - 151, ISSN: 0002915935 * |
Also Published As
Publication number | Publication date |
---|---|
EP2393061A1 (en) | 2011-12-07 |
CN102301391A (zh) | 2011-12-28 |
WO2010087162A1 (ja) | 2010-08-05 |
US20110274351A1 (en) | 2011-11-10 |
JP5648483B2 (ja) | 2015-01-07 |
CN102301391B (zh) | 2013-07-17 |
EP2393061B1 (en) | 2016-09-07 |
EP2393061A4 (en) | 2013-08-21 |
US8705855B2 (en) | 2014-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5648483B2 (ja) | カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム | |
JP5533670B2 (ja) | カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム | |
JP6004481B2 (ja) | カラー画像処理方法、カラー画像処理装置およびカラー画像処理プログラム | |
JP5158100B2 (ja) | カラー画像処理方法、装置およびプログラム | |
US8855371B2 (en) | Color image processing method, color image processing device, and color image processing program | |
JP4288530B2 (ja) | 色補正方法および色補正装置 | |
JP4120841B2 (ja) | プロジェクタの色補正方法 | |
US9398282B2 (en) | Image processing apparatus, control method, and computer-readable medium | |
Jang et al. | Spectrum‐Based Color Reproduction Algorithm for Makeup Simulation of 3D Facial Avatar | |
JP5824423B2 (ja) | 照明光色推定装置、照明光色推定方法及び照明光色推定プログラム | |
JP4626776B2 (ja) | 色補正方法および色補正装置 | |
JP2012028973A (ja) | 照明光推定装置、照明光推定方法および照明光推定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140401 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140526 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141014 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141027 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5648483 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |