JP4831632B2 - 画像処理装置、画像処理方法、プログラム及び記憶媒体 - Google Patents

Description

本発明は、人の顔面に形成されたシミやソバカスを強調する画像を生成するための画像処理装置、画像処理方法、プログラム及び記憶媒体に関する。

人の顔面の色素は主にメラニンとヘモグロビンとからなり、従来、メラニン色素を抽出可能なカメラとして、紫外線カメラが用いられている。紫外線は、可視光線よりも波長が短いため、紫外線カメラを用いることにより、通常のカメラよりも鮮明に表面の状態を確認することができ、人の顔面に形成されたシミやソバカスを容易に発見することができる。

このように、メラニン色素の偏りによるシミやソバカスは、人にとって日常生活において気になる要素の一つである。したがって、人の顔において、シミやソバカスの分布状態や、シミやソバカスが分布している場合のメラニン量について測定したいという要望がある。

そこで、例えば、特許文献１には、重回帰分析によりメラニン等の成分量を測定する技術が開示されている。また、前記特許文献１に記載の技術においては、さらに、ＲＧＢからなる画像からヘモグロビンとメラニン色素の波長の吸光度を検知し、メラニン量の画像やヘモグロビン量の画像を生成したり、メラニン量の画像を平滑化処理してシミやソバカスを取り除いた画像を作成したりしている。

特開２０００−３５０７０２号公報

前述したように、メラニン色素の偏りによるシミやソバカスは、人にとって日常生活において気になる要素の一つである。そのため、日常生活において手軽にシミやソバカスを発見して、肌の手入れを行いたいという要望があるが、紫外線カメラは高価であるため、例えば、携帯電話等に内蔵されているカメラを用いて、シミやソバカスを発見できることが望ましい。

また、前記特許文献１に記載の技術では、ＲＧＢ表色系からＸＹＺ表色系へ変換してメラニン量やヘモグロビン量の画像を生成する。ところが、前記特許文献１に記載の技術は、メラニン量やヘモグロビン量を測定し、その測定量がそのまま反映されたメラニン量やヘモグロビン量の画像が生成されるため、形成されたシミやソバカスを確認するものとしては不十分な画像しか得られなかった。

本発明は前述の問題点に鑑み、シミやソバカスを画像から簡単に確認できるようにすることを目的としている。

本発明の画像処理装置は、メラニンの吸光度とヘモグロビンの吸光度との差分が所定値よりも大きい波長領域に属するＲＧＢ成分の何れか１つを画像データから抽出する抽出手段と、前記抽出手段によって抽出された成分を、他のＲＧＢ成分の積で除算することによって吸収度変化が少なくなるように修正し、前記修正した成分の白黒を反転させた画像データを生成する生成手段と、前記生成手段によって生成された画像データと、前記抽出手段によって前記ＲＧＢ成分の何れか１つが抽出された画像データとを合成する合成手段と、前記合成手段によって合成された画像データから前記修正した成分を所定の割合で除去した画像データを生成する修正画像生成手段とを有することを特徴とする。

本発明の画像処理方法は、メラニンの吸光度とヘモグロビンの吸光度との差分が所定値よりも大きい波長領域に属するＲＧＢ成分の何れか１つを画像データから抽出する抽出工程と、前記抽出工程において抽出された成分を、他のＲＧＢ成分の積で除算することによって吸収度変化が少なくなるように修正し、前記修正した成分の白黒を反転させた画像データを生成する生成工程と、前記生成工程において生成された画像データと、前記抽出工程において前記ＲＧＢ成分の何れか１つが抽出された画像データとを合成する合成工程と、前記合成工程において合成された画像データから前記修正した成分を所定の割合で除去した画像データを生成する修正画像生成工程とを有することを特徴とする。

本発明のプログラムは、前記画像処理方法の各工程をコンピュータに実行させることを特徴とする。

本発明の記憶媒体は、前記プログラムを記憶したことを特徴とする。

本発明によれば、メラニン色素やヘモグロビンを強調する画像を簡単に生成することできる。これにより、デジタルカメラや携帯電話に内蔵されているカメラを用いて撮影された人の顔の画像からシミやソバカスを簡単に確認することができる。

以下、本発明の実施形態について、図面を参照しながら説明する。
図１は、本実施形態に係るデジタルカメラ１００の構成例を示すブロック図である。
図１において、撮像部１０１は、レンズ群、レンズ駆動回路及び撮像素子から構成されている。レンズ駆動回路により絞り等のレンズ群が駆動されることにより、ＣＣＤからなる撮像素子の結像面上に被写体像が結像される。そして、撮像素子において光を電荷に変換してアナログ信号を生成し、カメラ信号処理部１０３に出力する。

カメラ信号処理部１０３は、撮像部１０１から出力されたアナログ信号に対して、不図示のＡ／Ｄ変換器によりアナログ信号をデジタル信号に変換し、さらにガンマ補正、ホワイトバランス補正等の信号処理を施すためのものである。また、本実施形態では、カメラ信号処理部１０３において、メラニン色素を強調するための画像処理や、メラニン色素を除去するための画像処理を行う。詳細な説明については後述する。

圧縮伸張回路１０４は、カメラ信号処理部１０３で信号処理された画像データを、例えばＪＰＥＧ方式などのフォーマットに従って圧縮符号化し、ＨＤＤ１１２に画像データを記録する。また、圧縮伸張回路１０４は、操作スイッチ群１１１が操作されて、画像を表示部１０６に表示する指示を受けると、ＣＰＵ１０７からの指示によりＨＤＤ１１２に記録されている画像データを読み出し、画像データを復号化して表示制御部１０５に出力する。表示制御部１０５は画像データをＤ／Ａ変換して表示部１０６に出力し、画像を表示する。

ＣＰＵ１０７は、バス１１３を介してデジタルカメラ１００全体を制御するためのものである。フラッシュＲＯＭ１０８には、ＣＰＵ１０７が実行するプログラムなどが格納されている。また、メモリ１０９は、ＣＰＵ１０７や圧縮伸張回路１０４などがワークとして使用する揮発性メモリである。ＵＳＢ端子１１４は、パーソナルコンピュータ（ＰＣ）やプリンタなど外部機器と接続するためのものである。

次に、メラニン色素を強調した画像を生成する具体的な方法について説明する。本実施形態の撮像部１０１に用いられている撮像素子（ＣＣＤ）は、ＲＧＢ３波長のフィルタをかけたものであり、得られる画像はＲＧＢがそれぞれ８ビットの色深度の画像である。したがって、被写体にＲＧＢの帯域で光の吸収に偏りがあった場合、ＲＧＢ値を別々に取り扱って互いに演算することにより、その偏りを抽出したり強調したりして、その被写体に特徴的な画像を生成することができる。

図２は、メラニン及び酸化ヘモグロビンの光の吸収特性を示す図である。
図２に示すように、人の顔面を構成する色素であるメラニン及び酸化ヘモグロビンはそれぞれ、光の吸収特性が異なっている。酸化ヘモグロビンの場合、波長が約７００ｎｍの位置にメラニンに対して特徴的な低吸収領域が存在する。また、７００ｎｍは、ＲＧＢ成分のうち、Ｒ成分の波長に該当するため、この特性を用いてメラニンを強調した画像を生成することができる。

一方、波長が４００〜４５０ｎｍの位置には、メラニンに対して特徴的な高吸収領域が存在する。また、４００〜４５０ｎｍは、ＲＧＢ成分のうち、Ｂ成分の波長に該当するため、この特性を用いて酸化ヘモグロビンを強調した画像を生成することもできる。

図３は、本実施形態におけるメラニン色素を強調した画像を生成する処理手順の一例を示すフローチャートである。
図３において、ＣＰＵ１０７は、操作スイッチ群１１１からメラニン色素を強調した画像を生成する指示を受けると、処理を開始する。まず、ステップＳ３０１において、ＨＤＤ１１２に記録されている画像データを読み出し、圧縮伸張回路１０４において、画像データを復号化してカメラ信号処理部１０３に出力する。そして、ステップＳ３０２において、カメラ信号処理部１０３は、読み出した画像データの座標値ｉを１に初期化する。

次に、ステップＳ３０３において、カメラ信号処理部１０３は、メラニン色素を強調した画像を生成するための、座標値ｉにおける修正画素値Ｘ_i′を算出する。具体的な手順としては、７００ｎｍ付近に酸化ヘモグロビンの低吸収領域が存在することから、座標値ｉのＲ成分をＲ_i、Ｂ成分をＢ_i、Ｇ成分をＧ_iとした時に、以下の数１に示す式により、吸収度変化の少ない修正画素値Ｘ_iが得られる。

ここで定数ｋは、輝度調整乗数を示す。

なお、数１に示す式を用いると画像の特徴的な箇所が白くなる。そこで、以下の数２に示す式によって、８ビットの最大値ＦＦ（１６進法）から、数１に示す式で算出した値を引くことにより画像の白黒を反転させて修正画素値Ｘ_i′を算出する。これにより、メラニン部分が黒くなるため、メラニン色素を強調した画像を生成することができる。

次に、ステップＳ１０４において、座標値ｉが最大値に達し、全ての画素において修正画素値を算出したか否かを判断する。この判断の結果、全ての画素において算出していない場合は、ステップＳ１０５に進み、座標値ｉの値をインクリメントして、ステップＳ１０３に戻る。そして、次の座標値において同様に計算する。

一方、ステップＳ１０４の判断の結果、全ての画素において修正画素値Ｘ_i′を算出した場合は、次のステップＳ３０６に進む。そして、ステップＳ３０６において、ＨＤＤ１１２から読み出した画像データの各座標のＲ_i、Ｇ_i、Ｂ_i値の代わりに、数２で算出した値を代入することによって、メラニン色素を強調した白黒画像のデータを生成する。そして、カメラ信号処理部１０３は、生成した白黒画像のデータを表示制御部１０５に出力し、白黒画像を表示部１０６に表示する。

図４（ａ）は、画像処理が施される前の人間の顔の一例を示す写真であり、図４（ｂ）は、メラニン色素を強調した人間の顔の一例を示す写真である。図４（ｂ）に示すように、顔の皮膚のメラニン色素が集中している箇所を確認することができる。

次に、ステップＳ３０７において、ステップＳ３０６で生成した白黒画像のデータと、ステップＳ３０１で読み出した画像データとを合成して、新たにメラニンを強調した画像データを生成する。そして、カメラ信号処理部１０３は、生成したメラニンを強調した画像データを表示制御部１０５に出力し、その画像を表示部１０６に表示する。ここで、画像を合成する際には、以下の数３に示す式により、元の画像データのＲＧＢ各成分をその座標における輝度で割った値に、数２に示した修正画素値Ｘ_i′を掛けあわせることにより合成画像を生成する。

本実施形態では、数１〜数３に示した式において、Ｒ_iに対してＧ_i＊Ｂ_iで除算したが、例えば、Ｒ_iに対してＧ_iで除算した式を用いてもよく、Ｒ_iに対してＢ_iで除算した式を用いてもよい。

なお、図３に示すフローチャートでは、メラニン色素を強調する画像を生成する処理手順について説明したが、前述したように、波長が４００〜４５０ｎｍの位置には、メラニンに対して特徴的な高吸収領域が存在するため、この特性を用いて酸化ヘモグロビンを強調した画像を生成することもできる。この場合、修正画素値Ｘ_i′は、以下の数４に示す式により算出する。その他についてはメラニン色素の場合と同様の計算により画像を合成する。

図５（ａ）は、画像処理が施される前の人間の顔の一例を示す写真であり、図５（ｂ）は、酸化ヘモグロビンを強調した人間の顔の一例を示す写真である。図４に示したものと同様に、画像処理を行う前の画像と比較して、顔の皮膚の酸化ヘモグロビンが集中している箇所を確認することができる。

次に、メラニン色素のシミ抜き画像を生成する手順について説明する。
シミは、メラニン色素が多く分布することにより形成されるものであるため、例えば、図４（ｂ）に示した白黒画像をさらに反転させた画像と元画像とを合成することにより、シミを除去した画像を生成することができる。

図４（ｂ）に示した白黒画像をさらに反転させた画像の画素値は、数１に示した式と同様である。但し、数１に示した式による修正画素値Ｘ_iをそのまま元画像の画素値と合成すると、メラニン色素が集中している箇所が白くなりすぎてしまうため、ガンマ補正を施してから元画像と合成するようにする。また、数１に示す式の定数ｋは、メラニン色素を強調した画像を生成するときに用いられた値とは異なる値を用いてもよい。

白黒画像をさらに反転させた画像の修正画素値Ｘ_iに対してガンマ補正を行う場合は、以下の数５に示す式により補正を行い、修正画素値Ｘ_i″を算出する。

ガンマ補正を施した画像と元画像とを合成する場合には、以下の数６に示す式により、元の画像データのＲＧＢ各成分をその座標における輝度で割った値に、数５に示した修正画素値Ｘ_i″を掛けあわせることによりメラニン色素のシミ抜き画像を生成する。

なお、さらに自然なシミ抜き画像を生成する場合には、以下の数７に示す式により、元の画像データのＲＧＢ各成分をその座標における輝度で割った値に、修正画素値Ｘ_i″とその座標における輝度とをある割合（ｐ）で足し合わせた値を掛け合わせてもよい。足し合わせの割合（ｐ）を調整することにより、さらに自然な画像を生成することができる。

以上のように本実施形態によれば、メラニンに対して特徴的な高吸収領域のＲ成分からメラニン色素の部分を抽出して白黒を反転させて重ね合わせるようにしたので、メラニン色素やヘモグロビンを強調する画像を簡単に生成することできる。これにより、抽出処理が簡単に表せるため、リアルタイムに処理が可能であり、デジタルカメラや携帯電話に内蔵されているカメラを用いて撮影された人の顔の画像からシミやソバカスを簡単に確認することができる。また、メラニン色素が抽出された白黒画像を反転させてガンマ補正した画像を合成することにより、シミ抜き画像を簡単に生成することができる。

（本発明に係る他の実施形態）
前述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図３に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の実施形態に係るデジタルカメラの構成例を示すブロック図である。 メラニン及び酸化ヘモグロビンの光の吸収特性を示す図である。 本発明の実施形態におけるメラニン色素を強調した画像を生成する処理手順の一例を示すフローチャートである。 本発明の実施形態において、画像処理が施される前の人間の顔、及びメラニン色素を強調した人間の顔の一例を示す写真である。 本発明の実施形態において、画像処理が施される前の手、及び酸化ヘモグロビンを強調した手の一例を示す写真である。

符号の説明

１００ デジタルカメラ
１０１ 撮像部
１０３ カメラ信号処理部
１０４ 圧縮伸張回路
１０５ 表示制御部
１０６ 表示部
１０７ ＣＰＵ
１０８ フラッシュＲＯＭ
１０９ メモリ
１１１ 操作スイッチ群
１１２ ＨＤＤ
１１３ バス
１１４ ＵＳＢ端子

Claims (5)

1. メラニンの吸光度とヘモグロビンの吸光度との差分が所定値よりも大きい波長領域に属するＲＧＢ成分の何れか１つを画像データから抽出する抽出手段と、
   前記抽出手段によって抽出された成分を、他のＲＧＢ成分の積で除算することによって吸収度変化が少なくなるように修正し、前記修正した成分の白黒を反転させた画像データを生成する生成手段と、
   前記生成手段によって生成された画像データと、前記抽出手段によって前記ＲＧＢ成分の何れか１つが抽出された画像データとを合成する合成手段と、
   前記合成手段によって合成された画像データから前記修正した成分を所定の割合で除去した画像データを生成する修正画像生成手段とを有することを特徴とする画像処理装置。
2. 前記合成手段によって合成された画像データに基づく画像を表示部に表示する表示制御手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
3. メラニンの吸光度とヘモグロビンの吸光度との差分が所定値よりも大きい波長領域に属するＲＧＢ成分の何れか１つを画像データから抽出する抽出工程と、
   前記抽出工程において抽出された成分を、他のＲＧＢ成分の積で除算することによって吸収度変化が少なくなるように修正し、前記修正した成分の白黒を反転させた画像データを生成する生成工程と、
   前記生成工程において生成された画像データと、前記抽出工程において前記ＲＧＢ成分の何れか１つが抽出された画像データとを合成する合成工程と、
   前記合成工程において合成された画像データから前記修正した成分を所定の割合で除去した画像データを生成する修正画像生成工程とを有することを特徴とする画像処理方法。
4. 請求項３に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするプログラム。
5. 請求項４に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な
   記憶媒体。

Images