JP4683247B2 - 画像形成方法 - Google Patents

Description

本発明は、ヒトの肌や歯、大理石、宝石類等半透明物体の微細な表面凹凸状態を制御して表示する画像形成方法に関する。

基礎化粧やメイクアップにより毛穴、皺、シミ等が目立たなくなった肌や、日焼け等によりシミができた肌の様子を画像として把握できるようにするため、肌のシミュレーション画像が形成される。

肌のシミュレーション画像の形成方法としては、種々の肌について化粧により変わり得る測色値の変化をデータベース化し、そのデータベースに基づいて当該顧客の素肌の顔画像の測色値を画像処理で変化させる方法が提案されている（特許文献１）。

また、データベースの構築にあたり、肌の内部反射光のメラニン成分量とヘモグロビン成分量を使用する方法も提案されている（特許文献２）。

一方、コンピュータグラフィックス技術の進展に伴い、意図的に画像をぼかしたり、精細化することが可能となっている。例えば、精細化手法の一つとして、点広がり関数（Point Spread Function: 以下、ＰＳＦと称する）を用いてデコンボリューション演算することにより、劣化画像を復元する方法が提案されている（特許文献３）。

特開２００２−２０３２３８号公報 特開２００２−２０００５０号公報 特開２００１−４３３６１号公報

肌画像のテクスチャには、皺、毛穴等の表面凹凸に起因する陰影と、ヘモグロビン、メラニン等の色素成分による色味が影響する。また、肌が半透明物体であることにより、肌画像には表面凹凸に起因するにじみが生じやすい。そのため、従来の肌画像では、メラニンやヘモグロビンによる色むらと表面凹凸に起因する陰影とを判別できず、それ故、肌画像を、小皺や毛穴まで判別できるように高精細化すること、あるいは色味を変えることなく、皺、毛穴等の肌性状を変化させたシミュレーション画像を形成することが困難であった。

これに対して、本発明は、半透明物体の画像について、微細な表面凹凸状態を制御して表示できるようにすること、特に、肌を測定対象物とする場合には、メラニンやヘモグロビンによる色むらと表面凹凸に起因する陰影とを判別できるようにし、それにより例えば、毛穴の径や深さの測定を可能とする高精細な肌画像を得られるようにすること、また、実際の肌状態から、小じわや毛穴等の肌の表面凹凸状態を変化させたシミュレーション画像を得られるようにすることを目的とする。

本発明者らは、肌画像において、メラニンやヘモグロビンによる色むらと表面凹凸に起因する陰影とを判別できるようにするには、肌が半透明物体であることによる画像のにじみを解消することが効果的であり、そのためには肌の光学物性の計測から求めたＰＳＦを用いてデコンボリューション演算するのが有効であること、さらに、肌の色情報を変化させることなく、小じわや毛穴等の肌の表面凹凸状態を選択的に変化させたシミュレーション画像を形成するためには、肌のＰＳＦを用いて、肌画像にコンボリューション演算あるいはデコンボリューション演算すればよいことを見出した。

即ち、本発明は、半透明物体の画像を取得すると共に、該物体の光学物性の計測によりＰＳＦを取得し、取得したＰＳＦに基づいて前記画像にデコンボリューション演算又はコンボリューション演算を行い、表面凹凸状態を制御した画像を形成する画像形成方法を提供する。

また、本発明は、肌の内部反射光画像と表面反射光画像を取得し、
内部反射光画像を、独立成分分析により色素成分画像と陰影成分画像に分離し、
肌の光学物性の計測により肌の点広がり関数（Point Spread Function: ＰＳＦ）を取得し、
取得したＰＳＦに基づいて、前記の分離した画像にデコンボリューション演算又はコンボリューション演算を行い、
次いで、各画像を再合成する肌画像形成方法を提供する。

本発明の画像形成方法では、半透明物体の画像を取得すると共に、その物体の光学物性の計測によりＰＳＦを取得し、取得したＰＳＦに基づいて画像にデコンボリューション演算又はコンボリューション演算を行うので、撮影に用いるカメラの光学特性（カメラの開口数、屈折率）等に基づいて算出されるＰＳＦの理論値あるいは実験値を用いてデコンボリューション演算又はコンボリューション演算をする場合に比して、これまで考慮されていなかった対象物体そのものの光のにじみ（入射点以外からの光の出射）を解析できるという利点がある。

特に本発明の画像形成方法において、半透明物体として肌を対象とし、肌の内部反射光画像と表面反射光画像を取得し、内部反射光画像を、独立成分分析により色素成分画像と陰影成分画像に分離し、一方、肌の光学物性の計測により肌のＰＳＦを取得し、取得したＰＳＦに基づいて、前記陰影成分画像にデコンボリューション演算又はコンボリューション演算を行い、また、必要に応じて色素成分画像にもＰＳＦに基づいてデコンボリューション演算又はコンボリューション演算を行い、各画像を再合成することにより肌画像を形成すると、メラニンに起因するシミ等の色ムラや、ヘモグロビンに起因するニキビの発疹、鬱血等の色むらによる肌のテクスチャを損なうことなく、実際の肌状態から、専ら小じわや毛穴等の肌の表面凹凸状態を変化させたシミュレーション画像を得ることが可能となる。

肌画像形成方法の工程図である。 独立成分分析の説明図である。 ＰＳＦを求める光学系の説明図である。 モデル皮膚の画像を撮る光学系の説明図である。 モデル皮膚の内部反射光画像と、その輝度のグラフである。 デコンボリューション演算した画像と、その輝度のグラフである。

以下、図面を参照しつつ、半透明物体としてヒトの肌を測定対象とする場合を中心に、本発明を詳細に説明する。なお、各図中、同一符号は同一又は同等の構成要素を表している。

本発明の画像形成方法は、素肌、化粧肌、シリコーン樹脂等で形成されたモデル皮膚、歯、あるいは大理石や宝石類などの半透明物体の画像において、これらが半透明物体であることにより生じる画像のにじみをデコンボリューション演算又はコンボリューション演算で制御することにより、種々の表面凹凸状態のテクスチャに形成する方法である。

ここで、コンボリューション（Convolution）は、畳み込み積分とも言われ、入力関数に対して重みづけを行い、出力関数を求める操作である。一方、デコンボリューション（Deconvolution）はコンボリューションの逆操作、即ち出力関数と重み関数とから入力関数を求める操作であり、前述のように劣化画像の復元に応用されている。

本発明において、デコンボリューション演算又はコンボリューション演算で使用するＰＳＦは、測定対象物の光学物性の計測及び解析により取得したものとする。より具体的には、例えば、次の方法でＰＳＦを取得する。
(1)集光した光を測定対象物に照射し、その光の広がりからＰＳＦを取得する。
(2)測定対象物の等価散乱係数μs'（あるいは散乱係数μsと非等方散乱係数g）及び吸収係数μaを取得し、モンテカルロシミュレーション（Lihong Wang, Steven L. Jacques; http://omlc.ogi.edu/pubs/pdf/man_mcml.pdf）により、ＰＳＦを求める。
(3)測定対象物を構成する散乱粒子径、粒子および媒体の屈折率を取得し、Mie散乱計算（Scott Prahl；http://omlc.bme.ogi.edu/software/mie/）により、等価散乱係数μs'（あるいは散乱係数μsと非等方散乱係数g）及び吸収係数μaを求め、(2)と同様にＰＳＦを求める。
(4)測定対象物の等価散乱係数μs'（あるいは散乱係数μsと非等方散乱係数g）及び吸収係数μaを取得し、解析解（S. L. Jacques, A. Gutsche, J. A. Schwartz, L. H. Wang and F. K. Tittel: ゛Video-reflectometry to extract optical properties of tissue in vivo," Medical Optical Tomography: Functional Imaging and Monitoring, IS11 of SPIE Institute Series (SPIE, Bellingham, 1993) pp. 211-226）により、ＰＳＦを求める。

こうして取得したＰＳＦに基づいて画像にデコンボリューション演算又はコンボリューション演算を行う手法において、測定対象物を肌とし、その表面凹凸を精細化した画像を形成する場合、肌の撮影画像とその肌のＰＳＦとでデコンボリューション演算を行うことにより、撮影画像からＰＳＦの影響を取り除く。このデコンボリューション演算は、撮影画像をＩ、撮影画像のＰＳＦをＰＳＦ_０、合成画像をＯとし、フーリエ変換をＦで表すと次式で表される。

一方、撮影画像から肌の透明性を考慮して、肌の表面凹凸をぼかしたシミュレーション画像を形成する場合、ＰＳＦの影響を取り除いた前述の画像と、前述のＰＳＦと内部散乱特性の異なるＰＳＦとでコンボリューション演算する。この内部散乱特性の異なるＰＳＦは、前述のＰＳＦ取得と同様に対象物体の光学物性の計測及び解析により得たものを使用する。

このコンボリューション演算は、新たに適用するＰＳＦをＰＳＦ₁ 、合成画像をＯとし、フーリエ変換をＦで表すと次の演算式となる。

本発明において、ＰＳＦを用いてデコンボリューション演算又はコンボリューション演算を行う肌画像としては、通常の肌の撮影画像をそのまま用いても良いが、肌の内部反射光画像と表面反射光画像を分離して取得し、内部反射光画像を、独立成分分析により色素成分画像と陰影成分画像に分離し、こうして得られる陰影成分画像を、デコンボリューション演算又はコンボリューション演算を行う肌画像として使用することが好ましく、陰影成分画像にデコンボリューション演算又はコンボリューション演算した後は、その陰影成分画像と、先に分離した他の成分画像とを合成することにより、所期の表面凹凸状態を有する肌のシミュレーション画像を形成することができる。

図１は、こうした画像処理の工程図である。
図１の画像処理を行うシステムは、ＰＳＦ計測手段１、光を用いて肌の内部反射光画像と表面反射光画像を形成することのできる画像形成手段１０、画像形成手段１０により取得した画像に演算処理を行う演算手段２０、及びシミュレーション画像を表示するディスプレイ３０から構成することができる。

ＰＳＦ計測手段１は、後述する実施例の光学系により被写体に光を集光照射し、その光の広がりからＰＳＦを求めるものである。

画像形成手段１０は、例えば、照明用の光源１１、デジタルカメラ１２、光源１１とデジタルカメラ１２の前面にそれぞれ着脱自在に設けられた偏光板１３、１４から構成することができる。

また、演算手段２０としては、画像処理機能を備えたパーソナルコンピュータを使用することができる。パーソナルコンピュータには、肌の通常画像、内部反射光画像、表面反射光画像、合成シミュレーション画像等を適宜切り替え、あるいは同時に表示することのできるディスプレイ３０を接続し、さらに、プリンタを接続してもよい。

このシステムにおいて、肌のシミュレーション画像の形成には、まず、被写体とする肌について、内部反射光画像と表面反射光画像を取得する。

内部反射光画像は、デジタルカメラ１２の前面の偏光板１４を、光源１１の前面の偏光板１３に対して偏光方向が直交するように装着し、表面反射光成分を除去することにより形成することができる。

表面反射光画像は、デジタルカメラ１２の前面の偏光板１４を、光源１１の前面の偏光板１３と偏光方向が同じになるように装着して得た画像と、偏光板１４を偏光板１３と偏光方向が直交するように装着して得た画像との差分から形成することができる。

なお、画像形成手段１０では、参照用の元画像として、偏光板１３、１４を用いることなく通常の撮影を行い、画像を取得することが好ましい。

画像形成手段１０で内部反射光画像を得た後は、その内部反射光画像に対して演算手段２０で独立成分分析を行い、内部反射光画像からメラニン成分画像、ヘモグロビン成分画像といった色素成分画像と、陰影成分画像とを分離する。そして、陰影成分画像に対して、ＰＳＦ計測手段１で求めたＰＳＦを用いてデコンボリューション演算又はコンボリューション演算を行い、シミュレーション画像における肌の表面凹凸状態の見えを制御する。

また、必要に応じて、肌内部散乱特性を考慮した肌の色ムラを評価する場合には、メラニン成分画像、ヘモグロビン成分画像にも、デコンボリューション演算又はコンボリューション演算を行ってもよい。このとき使用するＰＳＦは、肌のメラニン成分、ヘモグロビン成分を日焼け試験等で変化させた肌から、メラニン成分あるいはヘモグロビン成分に対応するＰＳＦとして求めたものを使用できる。

ここで、独立成分分析とは、皮膚の層構造を、メラニンを主な色素成分として含有する表皮層と、ヘモグロビンを主な色素成分として含有する真皮層と、その他の色素成分を含有する皮下組織との積層構造であるとモデル化し、各層から独立的に信号が発せられ、それらが混合したものが画像信号になっていると考え、画像信号から各層の信号を分離抽出する分析方法である。

より具体的には、画像信号のＲＧＢについて、−log(Ｒ)、−log(Ｇ)、−log(Ｂ)をそれぞれｘ軸、ｙ軸、ｚ軸に割当て、肌の平坦部分の肌色をそこに色空間マッピングすると図２（ａ）に示すように、ほぼ平面状に分布することから、肌色には２成分が寄与していることがわかる。この独立的な２成分の信号強度を、それぞれメラニン量あるいはヘモグロビン量に対応するものと考え、図２（ｂ）に示すように、肌色は、メラニンの成分ベクトル（-log(Ｂ)に近い方）とヘモグロビンの成分ベクトル（-log(Ｇ)に近い方）の合成ベクトルであると考える。そこで、被写体とする肌の内部反射光画像の信号から、メラニン量を表す信号あるいはヘモグロビン量を表す信号を抽出し、メラニン成分量の分布画像とヘモグロビン成分量の分布画像を出力する。但し、起伏や照明ムラのある場合には、あらかじめ取得した光源成分のベクトルの方向に沿って、メラニン、ヘモグロビン両ベクトルを含む平面上に射影して陰影成分を除去したメラニン、ヘモグロビン両成分量を得る。また、内部反射光画像からメラニン成分量の分布画像とヘモグロビン成分量の分布画像を差し引くことにより、内部反射光画像の陰影成分画像を得る。

このような解析処理と画像処理の詳細はVol. 16, No. 9/ September 1999/ J. Opt. Soc. Am. A 2169に記載されており、パーソナルコンピュータに、市販の画像解析ソフト（例えば、AdobePhotoshop）を搭載することにより行うことができる。

陰影成分画像に、デコンボリューション演算又はコンボリューション演算を行い、さらに必要に応じてメラニン成分画像、ヘモグロビン成分画像を修正した後は、これら各成分画像を合成し、さらに合成した内部反射光画像と、表面反射光画像とを合成することにより表面凹凸状態を制御したシミュレーション画像を形成する。こうして得られた肌のシミュレーション画像は、元画像の肌の色や色ムラを保持しつつ、表面凹凸が増加して皺や毛穴が強調された肌画像となるか、あるいは表面凹凸が減少して滑らかな性状の肌画像となる。

本発明の肌画像形成方法においては、肌を異なる角度から複数回撮影し、３次元処理することにより、肌の表面凹凸状態を立体的に表してもよい。具体的には、ステレオ法により、まず、複数のカメラで被写体とする肌の対応点に対する視差を求め、形状を計算する。このとき、各カメラで取得した画像を、ＰＳＦを用いてデコンボリューション演算し、陰影の境界を明瞭にすることにより、対応点を見つける。これにより、従来、半透明の物体では対応点が画像上でぼやけてしまい、正確に特定するのが困難なために、正確な３次元処理をすることが困難であったのに対し、対応点を正確に容易に見つけることができ、３次元画像の形成精度を向上させることができる。なお、異なる角度からの複数回の撮影に基づく３次元処理自体は、公知の方法によることができ、例えば、特開２００２−２７４９５号公報に記載のPixel-basedマッチング、Area-basedマッチング、Feature-basedマッチングなどをあげることができる。

実施例１（デコンボリューション演算による画像の精細化）
まず、シリコーン樹脂に肌色顔料を０．５ｗｔ％含有させたモデル皮膚を作製した。このモデル皮膚には、深さ０．５ｍｍ、幅０．５ｍｍの溝を形成した。

次に、モデル皮膚のＰＳＦを、図３に示す光学系を用いて求めた。即ち、白色光源２で発せられた光を光ファイバー３で導光し、アクロマートレンズ４、絞り５、ペリクルハーフミラー６を通して各モデル皮膚Ｓにシャッタースピードを１／５０秒〜５秒の範囲で変えて集光照射し、その光の広がる様子をデジタルカメラ７で撮影し、ＰＳＦを２次元座標と輝度の値から求めた。ただし、デジタルカメラのダイナミックレンジの関係からシャッタースピードを変えた複数枚の画像を使うのが望ましい。

また、図４に示すように、モデル皮膚Ｓの内部反射光画像を、光源１１から偏光板１３を通して入射角４５°で照明し、０°で偏光板１４を通してデジタルカメラ１２で撮影した。そして、この内部反射光画像と、前述のモデル皮膚のＰＳＦを用いてデコンボリューション演算した画像を形成した。図５Ａにこの内部反射光画像と、この画像の輝度を、画像の中心から横軸方向にプロットしたグラフを示し、図５Ｂにデコンボリューション演算した画像と、この画像の輝度をプロットしたグラフを示す。図５Ｂのデコンボリューション演算した画像はにじみがなく、溝が明瞭にわかり、図５Ａの内部反射光画像に比して不透明な質感に観察された。

実施例２（コンボリューション演算とデコンボリューション演算によるシミュレーション画像と元図との対比）
肌色顔料の濃度が０．０５ｗｔ％、０．１ｗｔ％、０．１５ｗｔ％、及び０．２ｗｔ％のモデル皮膚を実施例１と同様に作製し、各モデル皮膚に実施例１と同様の溝を形成し、各モデル皮膚について、ＰＳＦを求めた。

図５Ｂの肌色顔料０．５ｗｔ％のデコンボリューション演算した画像に対して、各肌色顔料濃度のモデル皮膚について求めたＰＳＦを使用し、コンボリューション演算することにより、各肌色顔料濃度のシミュレーション画像を形成し、各肌色顔料濃度のモデル皮膚の内部反射光画像と対比した。

その結果、各肌色顔料濃度のモデル皮膚について、内部反射光画像とコンボリューション演算した画像は同様の溝の深さと質感に観察され、肌色顔料濃度が低いほど溝が目立たなくなっていた。これにより、ＰＳＦを制御してコンボリューション演算又はデコンボリューション演算することにより、肌画像において、表面凹凸状態を制御した画像を形成できることが確認できた。

本発明の画像形成方法は、半透明物体の微細な表面凹凸状態を制御して画像表示する際に使用することができ、例えば、肌を測定対象物とし、特定の化粧品を使用することにより改善される小皺や毛穴の目立ち具合をシミュレーション画像として提示し、その化粧品を推奨するといった化粧品の推奨、販売に役立てることができる。

１ ＰＳＦ計測手段
２ 白色光源
３ 光ファイバー
４ アクロマートレンズ
５ 絞り
６ ペリクルハーフミラー
７ デジタルカメラ
１０ 画像形成手段
１１ 光源
１２ デジタルカメラ
１３、１４ 偏光板
２０ 演算手段
３０ ディスプレイ

Claims (2)

1. 半透明物体の内部反射光画像を取得すると共に、該物体の光学物性の計測により該物体の点広がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ： ＰＳＦ）を取得し、
   取得したＰＳＦに基づいて前記内部反射光画像にデコンボリューション演算又はコンボリューション演算を行い、表面凹凸に起因する陰影を制御した画像を形成する画像形成方法。
2. 半透明物体がヒトの肌である請求項１記載の画像形成方法。