JP3775782B2 - ディジタル画像中の肌色を検出する方法 - Google Patents
ディジタル画像中の肌色を検出する方法 Download PDFInfo
- Publication number
- JP3775782B2 JP3775782B2 JP2001322732A JP2001322732A JP3775782B2 JP 3775782 B2 JP3775782 B2 JP 3775782B2 JP 2001322732 A JP2001322732 A JP 2001322732A JP 2001322732 A JP2001322732 A JP 2001322732A JP 3775782 B2 JP3775782 B2 JP 3775782B2
- Authority
- JP
- Japan
- Prior art keywords
- skin color
- image
- color
- skin
- digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ディジタル画像処理方法に関連し、更に特定的にはディジタル画像中の肌色を検出する方法に関連する。
【０００２】
【従来の技術】
ディジタル画像処理では、画像中で肌色である領域を検出することが有用である場合が多い。この情報は、例えば画像中の肌色を見た目の良いものへと調整するために使用される。肌色の場所は、顔の検出及び認識のためのアルゴリズム、自動画像取得アルゴリズム、赤目補正アルゴリズム等にも使用されうる。例えば、Takahashi外に対して１９８０年５月２０日に発行された米国特許第４，２０３，６７１号は、赤、緑、青の色空間中の楕円の中に、又は２次元色空間中の楕円の中に存在する画素を識別することによって画像中の肌色を検出する方法を開示する。この方法における問題点は、正しくバランス調整された画像についてのみうまく作用することである。露出過多又は露出不足の画像では、この技術の信頼性は低い。更に、技術は選択された基準から逸脱する肌色についてはうまく作用しない。例えば、検出方法が白人の薄い肌色を検出するよう調整されているときは、濃い肌色を正しく検出できない。
【０００３】
【発明が解決しようとする課題】
従って、上述の課題を解決するための改善された肌色検出方法が必要である。
【０００４】
【課題を解決するための手段】
本発明は、上述の課題のうちの１つ以上を解決することを目的とする。概説するに、本発明の１つの面によれば、ＲＧＢ色空間に画素を有するディジタル画像中で肌色を検出する方法は、一般的に、平均ＲＧＢ色値を決定するためにディジタル色画像の統計的分析を行う段階と、色のうちのいずれか１つの平均値が所定の閾値以下であれば画像中の肌色を色空間の所定の領域へ向かって動かすようディジタル画像に変換を適用する段階と、ディジタル色画像中の肌色画素の位置を見つけるために変換された空間を使用する段階とを含む。
【０００５】
更に特定的には、色のうちのいずれか１つの平均値が所定の閾値以下であれば、画像中の肌色を色空間の所定の領域へ向かって動かすためにディジタル画像に対して非線形変換が適用される。次に、先行する段階に依存して、ディジタル画像又は変換されたディジタル画像のいずれかがＲＧＢ空間から一般化されたＲＧＢ空間へ変換され、ｇＲＧＢディジタル画像が生成される。肌色画素は、ｇＲＧＢディジタル画像内で検出される。第１の肌色画像マスクは、検出された肌色画素に基づいて作成される。マスクされたｇＲＧＢ画像は、第１の肌色画像マスクを用いて生成される。マスクされたｇＲＧＢ画像は、第１の肌色画像マスクを用いて生成される。マスクされたｇＲＧＢ画像は、色相画像へ変換される。金髪色画素である可能性がある画素は色相画像から除去され、変更された色相画像が生成される。第２の肌色画像マスクは、変更された色相画像中の肌色画素に基づいて作成される。第２の肌色画像マスクが第１の肌色画像マスクよりも所定の量だけ小さければ、第１の肌色画像マスクが選択され、そうでなければ、第２の肌色画像マスクが選択される。最後に、選択された肌色画像マスクは、ディジタル色画像中の肌色画素の位置を見つけるために使用される。
【０００６】
【発明の実施の形態】
本発明の上述の及び他の面、目的、特徴、及び利点については、望ましい実施例についての以下の詳細な説明、請求の範囲、及び添付の図面を参照することにより更に明らかに理解されよう。
【０００７】
画像処理のアルゴリズム及びシステムは周知であるため、本願では本発明による方法の一部をなす、又はより直接的に協働するアルゴリズム及びシステムに関連する。本願に特に示されておらず又は説明されていないかかるアルゴリズム及びシステム、並びに、それに含まれる画像信号を生成及び他の方法で処理するためのハードウエア及び／又はソフトウエアは、従来技術で知られているかかるシステム、アルゴリズム、構成要素及び要素から選択されうる。以下の詳細な説明では、本発明の望ましい実施例は一般的にはソフトウエア又はコンピュータプログラムとして実施される。当業者は、かかるソフトウエアと同等なものがハードウエア上にも構築されうることを容易に認識するであろう。以下に示すような本発明による方法が与えられていれば、本発明の実施に有用であるが本願には特に図示、示唆、又は記載されていないソフトウエアは従来通りであり、当業者の通常の知識であることを認識するであろう。
【０００８】
更に、本願では、コンピュータプログラムは、例えば、磁気ディスク（例えばフロッピーディスク又はハードドライブ）又は磁気テープといった磁気記憶媒体、光ディスク、光テープ、又は機械読み取り可能なバーコードといった光記憶媒体、ランダムアクセスメモリ（ＲＡＭ）又は読み出し専用メモリ（ＲＯＭ）といった固体電子記憶媒体、又は、コンピュータプログラムを格納するために使用される任意の他の物理的な装置又は媒体を含みうるコンピュータ読み取り可能な記憶媒体に記憶されうる。
【０００９】
まず図１を参照するに、本発明を実施するのに有用な画像処理システムは、フィルムスキャナ、ディジタルカメラ、又は、ピクチャＣＤを伴うコンパクトディスクドライブといったディジタル画像記憶装置といったカラーディジタル画像源１０を含む。ディジタル画像源１０からのディジタル画像は、プログラミングされたパーソナルコンピュータといった画像プロセッサ１２又はＳｕｎＳｐａｒｃ２０ワークステーションといったディジタル画像処理ワークステーションへ与えられる。画像プロセッサ１２は、ＣＲＴディスプレイ１４へ、また、キーボード１６及びマウス１８といった操作者インタフェースへ接続されうる。処理されたディジタル画像は、ハードコピープリンタ、長期画像記憶装置、他のプロセッサへの接続、又は例えばインターネットに接続された画像電気通信装置へ送信される。
【００１０】
図２を参照するに、ディジタル画像プロセッサ１２によって本発明により実行される処理について説明する。ｓＲＧＢ色空間といったデバイス独立なＲＧＢ色空間で表現されたディジタル画像は、順位フィルタ段階２２においてまず順位フィルタリングされる。入力ＲＧＢ画像をＩ｛Ｃi｝と表わし、但し、３つのチャネルに対してｉ＝１，２，３とし、ＣiはＣi（ｍ，ｎ）の要素を有する行列であり、ｍ＝０，．．．，Ｍ−１でありｎ＝０，．．．Ｎ−１であるとする。順位フィルタリングは、
【００１１】
【数１】
と定義され、式中、
【００１２】
【外１】
は所定の閾値ＴRankを越える値のＣi（ｍ，ｎ）の集合であり、
【００１３】
【外２】
はＩの残りのＣi（ｍ，ｎ）の集合である。この操作は、トリミングされたメディアンフィルタリングの従来の処理と同様である。尚、この順位フィルタリングの目的は、従来の画像処理のように入力画像の視覚的な質を改善させることではなく、むしろ、非常に高い強度値を有する画素が続く統計的収集段階２４に対して与える影響を減少させることである。例えば、露出過多、又は、逆光露出といった条件の場合に、２５５に近い値を有する画素は、変更されるか、平均値計算から省かれる。順位フィルタリングの結果として得られる画像は、
【００１４】
【数２】
と示すことができ、但し、
【００１５】
【外３】
の要素は元の値を有し、
【００１６】
【外４】
の要素は式１を用いて計算された値を有する。簡単化のため、順位フィルタリングされた画像を、
【００１７】
【数３】
と書き換える。
【００１８】
次の段階は、ＩRを用いて各色チャンネルについて統計値計算段階２４において色平均統計値を計算することである。この計算は、一組の平均値、即ち、
【００１９】
【数４】
を生成する。平均統計値｛ｍi｝を評価すると同時に前処理決定段階２６が行われる。ｍi＜ＴMであれば、前処理決定は「イエス」であり、但し、閾値ＴMは実験的に決定された値であり、例えば、８ビットの画像に対しては値１００が許容可能であることが分かっている。
【００２０】
前処理決定が「イエス」であれば、処理は非線形処理段階３４へ進む。非線形処理段階への入力は、元のＲＧＢ画像Ｉである。本発明で使用される非線形プロセッサは、当業者によって周知の画像処理技術であり、（例えば、"Digital Image Processing", by Gonzalez and Woods, Addison-Wesley Publishing Company, 1992といった）文献に記載される、色ヒストグラム等化である。入力画像Ｉは、まず、以下の標準的な式、
【００２１】
【数５】
を用いて、輝度成分と色度成分を分離するためにＹＩＱ空間へ変換される。ヒストグラム等化処理は、Ｙにのみ適用され、等化された輝度Ｙ’を生じさせる。ＹＩＱからＲＧＢへの逆写像は、以下の式、
【００２２】
【数６】
に従って行われる。
【００２３】
色ヒストグラム等化における重要な問題は、飽和クリッピングである。ここで、等化の結果として得られるＹ’は、Ｃ'iを、２５５を越えさせるか又は０を下回らせることに注意すべきである。これが生ずるのを防止するため、Ｃ'iに対してクリッピング手順が用いられる。クリッピング飽和のための疑似コードは、以下の通りであり、
【００２４】
【数７】
、但し、ｋ，ｋ1，ｋ2，ｋ3はゼロへ初期化される。
【００２５】
前処理決定が「ノー」であれば、元の画像ＩはｇＲＧＢ変換段階３２へ送られる。
【００２６】
概して、初期化段階２１は、前処理決定に応じて肌色検出段階３５へ画像を送り、元の画像Ｉ又はヒストグラム等化された画像Ｉ’がｇＲＧＢ変換段階３２へ送られる。表記を統一するため、ＩRGB＝｛Ｃi｝と定義し、但し、３つの色チャンネルについてｉ＝１，２，３であり、ＣiはＣi（ｍ，ｎ）の要素を有する行列であり、ｍ＝０，．．．，Ｍ−１でありｎ＝０，．．．Ｎ−１であるとする。以下、元の画像とヒストグラム等化された画像を共にＩRGBと表わすものとする。
【００２７】
やはり図２を参照するに、入力ＲＧＢ画像ＩRGBはｇＲＧＢ変換段階３２において一般化されたＲＧＢ画像ＩgRGBへ変換され、これは、ＩgRGB＝｛ｃi｝と定義され、ｃiはｃi（ｍ，ｎ）の要素を有する行列であり、ｍ＝０，．．．，Ｍ−１でありｎ＝０，．．．Ｎ−１である。変換は、以下の式、
【００２８】
【数８】
を用い、式中、Ｃiは、入力画像の個々の色チャネル（Ｒ、Ｇ、又はＢ）である。この変換操作は、
【００２９】
【数９】
のときは有効ではなく、出力はゼロに設定される。結果として得られる３つの新しい要素は線形に依存し、即ち、
【００３０】
【数１０】
であり、それにより３次元から２次元へ潰された新しい空間（ｇＲＧ平面）を有効に形成するために２つの要素のみが必要とされる。殆どの場合、ｃ1及びｃ2、即ち一般化されたＲ及びＧは、肌色分析及び肌色検出に用いられる。画像ＩgRGB中の肌色は、楕円分類器３１から多数の楕円ベクトルを受け取る肌色検出段階３０において検出される。楕円分類器３１は、事前に画像の大きな母集団で学習され、これについては図７を参照して以下説明する。検出された肌色は、セグメンテーション段階２８において任意にセグメンテーションが行われる。
【００３１】
図３中、肌色検出段階３０について詳述する。一般化されたＲＧＢ画像ＩgRGBは，まず投影段階３６においてｇＲＧ平面上に投影される。この投影は、ｇＲＧ画像ＩgRGを生成する。投影は、単にｇＲＧＢ画像から成分ｃ3を除去することによって行われる。２つの成分ｃ2及びｃ3を有するｇＲＧ画像ＩgRGは、図３に示される第１の楕円ベクトル（楕円ベクトルＩ）を受け取る第１の（Ｉ）肌色分類器３８へ渡される。図４は、肌色画素が位置する領域を指定するために使用されるｇＲＧ色空間５６中の楕円５８の例を示す図である。図４中の暗い領域６０は、実際の肌色画素領域である。
【００３２】
パラメータａ，ｂ，（ｏ1，ｏ2）及びθは、楕円の定数であり、楕円分類器３１によって生成される楕円ベクトルを定義する。パラメータａ及びｂは楕円の軸の長さであり、（ｏ1，ｏ2）は（ｃ1，ｃ2）空間５６中の楕円の中心座標であり、θはｃ1軸と楕円の長軸との間の角度である。
【００３３】
第１の肌色分類器３８については、中間色マスクをＰI＝｛ｐI（ｉ，ｊ）｝MXN、即ち、要素ｐ（ｉ，ｊ）を有するＭｘＮの行列と定義する。一般化されたＲＧＢ画像ＩgRGBの各画素について、評価関数Ｅ（ｃ1（ｉ，ｊ），ｃ2（ｉ，ｊ））、但し、ｉ＝０，．．．Ｍ−１；ｊ＝０，．．．Ｎ−１，ｃ1（ｉ，ｊ）∈［０，１］；ｃ2（ｉ，ｊ）∈［０，１］、を定義する。分類は、単純に、
【００３４】
【数１１】
に従って行われ、但し、「１」は肌色画素を示し、「０」は非肌色を示し、
Ｅ（ｃ1（ｉ，ｊ），ｃ2（ｉ，ｊ））＝ｘ2 ij／ａ2＋ｙ2 ij／ｂ2 （７）
であり、
である。
【００３５】
中間の肌色マスクＰIは、評価段階４０へ渡される。評価手順では、単純に、画像のサイズに対する検出された肌画素の数の比率γＩを計算する。評価段階４０は、２つの分岐を有する。γＩ≧Ｔγである場合、即ち評価結果が「良い」である場合、処理は肌色領域マスキング段階４２へ分岐する。この場合、第１の肌色分類段階３８からの出力ＰIは、肌色領域マスキング段階４２においてＩgRGBをマスクするために使用される。肌色領域マスキング段階４２の出力は、マスクされ一般化されたＲＧＢ画像、即ち、
【００３６】
【数１２】
である。γＩ＜Ｔγである場合、評価結果は「良くない」であり、処理は第２の肌色検出分類段階４４へ分岐する。Ｔγは適用に依存して一定の範囲の異なる値を取りうることが明らかであるが、Ｔγの望ましい値は０．１２である。
【００３７】
第２の（ＩＩ）肌色分類段階４４の構造及び操作は、（ｃ1，ｃ2）空間中の楕円の位置、寸法、及び向きを決定する異なる楕円ベクトルを使用することを除き、第１の肌色分類段階３８と同じである。図５に示すように、楕円分類器３１によって生成されうる幾つかの可能な楕円Ｅ１−Ｅ７がある。多数の楕円を用いるのは、偽陽性を減少させると共に、主肌色領域から逸脱した肌色、例えば（ｃ1，ｃ2）空間６２中のＥ１を検出する機構を提供するためである。例示される場合のように、このような楕円を２つだけ（Ｉ及びＩＩ）使用する場合については図３を参照して説明されているが、本発明ではより多くの肌色分類器及び楕円が使用されうることが理解されよう。
【００３８】
主肌色分類器（第１の分類器段階３８）から他の分類器へ切り換えることにより、検出される肌色画素が更に少なくなる場合がある。従って、第１の分類器３８からの結果が先行する評価段階４０において満足のいくものでなかったとしても、肌色分類段階３８及び４４からの結果は評価及び選択段階４６において比較される。より一般的な場合は、選択決定は、以下の式、
【００３９】
【数１３】
に従って行われ、但し、ＰはＰ＝｛ｐ（ｉ，ｊ）｝MXNとして定義される第１の肌色マスクであり、Ｐiは肌色分類器Ｉ，ＩＩからの中間肌色マスクであり、２つ以上の分類器が使用される場合も同様である。この第１の肌色マスクＰは、肌色領域マスキング段階４２において使用される。
【００４０】
主肌色検出器（第１の分類器３８）からの結果が満足のいくものであれば、ＰIは、続く肌色領域マスキング段階４２において第１の肌色マスクとして直接使用される。満足のいくものでなければ、処理は例えば第２の分類器４４といった他の分類器へ分岐し、新しい結果と主分類器（第１の分類器３８）からの結果の両方の結果が評価され、良い方（又は最も良いもの）をマスキング段階４２へ送信されるべき第１の肌色マスクとして選択する。
【００４１】
尚、図３中、肌色分類器３８及び４４に対して帰還路３９及び４１がある。これらの帰還路は、検出結果自体を評価のために分類器へ与える。評価処理とは、画像サイズに対する検出された肌画素の数の比率を計算することである。比率が所定の閾値よりも小さければ、より多くの色を含むよう分類器楕円は例えば３０％又は４０％以上だけ拡張される。
【００４２】
肌色領域マスキング段階４２から２つの出力が発生する。１つは、マスクされたｇＲＧＢ画像であり、もう１つは、肌色マスクＰ自体である。これらの２つの出力は、以下説明する続く任意の金髪色画素除去において使用される。
【００４３】
図６を参照するに、金髪の色の画素７２は肌の色の画素７１の大部分が存在するのと同じ領域であるが、金髪を有する人々の肌色領域７０に隣接して生ずることがわかる。最も最近の既存の肌検出アルゴリズムは、金髪の色の画素を考慮に入れていない。これは、例えば分類された肌色領域の実際のサイズの検出に依存する赤目検出アルゴリズムといった、肌色の領域のサイズに敏感な画像理解適応において問題となりうる。金髪の色の画素の除去の技術は、本願に参照として組み入れられ、以下詳述する、「Method of Blond-Hair-Pixel Removal in Image Skin-Color Detection」なる名称の上述の継続中の出願番号［出願人整理番号Ｎｏ．８１３２１ＤＭＷ］の明細書に記載されている。
【００４４】
金髪に関連付けられた顔を有する画像を取り扱うことが困難であることが分かっている。これらの場合、従来の肌色検出処理は、赤目検出手順に役立つような満足のいく又は所望の結果を生じさせることができない。上述された段階において得られたマスクされた肌色画像から金髪色画素を除去することが望ましい。
【００４５】
しかしながら、顔の肌の色から肌の色を分けうるように、（ｃ1，ｃ2）空間６８中で金髪色領域７２及び肌色領域７０といった副領域をパラメータ化するのは簡単な作業ではない。空間の次元が１次元まで下がれば、肌色画素から金髪色画素を分離するのはかなり容易となる。この次元の更なる低下は、色相画像へ変換する段階５４において、マスクされた一般化されたＲＧＢ画像
【００４６】
【外５】
を色相画像Ｈ＝｛ｈ（ｍ，ｎ）｝MXNへ変換することによって行われる。典型的な色相変換は、
【００４７】
【数１４】
のように行われる。
【００４８】
金髪色検出段階５２では、要素ｈ（ｍ，ｎ）が肌画素であるか金髪画素であるかを判定するために所定の区分パラメータＴH＝１５が用いられる。第２のマスク
【００４９】
【数１５】
が作成される。ｈ（ｍ，ｎ）が肌画素であれば、対応する要素は
【００５０】
【数１６】
であり、そうでなければ、
【００５１】
【数１７】
である。幾つかの場合には、金髪色画素の除去によって、真の肌色画素が除去あされることがあり、結果として得られる第２の肌色マスクは使用不可能な小さい領域にまで縮小する。従って、第１の肌色マスクＰが呼び戻され、第２の肌色マスク
【００５２】
【外６】
は捨てられる。この動作は、図３に示されるように金髪色検出段階５１に続く評価及び選択段階５０において行われる。第２の肌色画像マスクが第１の肌色マスクよりも所定の量だけ小さければ、第１の肌色画像マスクが選択され、そうでなければ第２の肌色画像マスクが選択される。マスクされたＲＧＢ色画像
【００５３】
【外７】
は、選択された肌色画像マスクと元のＲＧＢ色画像ＩRGBのＡＮＤ演算の結果として得られる。この演算は、肌色領域マスキング段階４８において行われる。
【００５４】
図７を参照するに、サンプル肌色パッチの収集のために、異なる源からの１０００以上の画像を含む大きい画像プール７４が準備される。準備された全ての画像から肌パッチを収集する必要はない。一組のランダムに選択された画像は、理論上及び実際上も、画像プール全体を代表するのに十分なはずである。画像プールから画像を取り出し、一組のランダムに選択された画像７６を形成するために、一組の均一に分布された指標が使用される。サンプル肌色パッチ７８は、取り出された画像から手動で収集される。収集された肌色パッチは、上述の式（５）を用いてＲＧＢ空間からｇＲＧＢ空間８０へ変換される。ｇＲＧＢ画像のｇＲＧＢデータは、ｇＲＧ平面８４、即ち上述の（ｃ1，ｃ2）空間中でその分布密度８２に関して評価される。実際上は、分布密度は、ｇＲＧデータのヒストグラムを用いて近似される。分布密度ピークの５％未満の長さの要素を除去した後、分布密度は（ｃ1，ｃ2）空間へ投射される。投射されたクラスタ８８は、ｇＲＧ平面８６上に楕円領域を近似的に形成する。楕円分類器学習の最後の段階は、楕円領域についてのパラメータを見つけることである。ｇＲＧ平面９０上で最もよく一致する楕円９２はモーメントに基づいて計算される。楕円は、中心（ｏ1，ｏ2）、向きθ、短軸ａ、及び長軸ｂ（図４参照）により定義される。楕円領域の中心は、以下の式、
ｏ1＝ｍ10／ｍ00
ｏ2＝ｍ01／ｍ00 （１１）
により計算され、モーメントは、以下の式、
【００５５】
【数１８】
によって計算され、但し本願ではｆ（ｃ1，ｃ2）＝１である。向きθは、最小の慣性モーメント、即ち、
【００５６】
【数１９】
を決めることにより計算され、中心モーメントは以下の式、
【００５７】
【数２０】
により計算され、最後に、短軸及び長軸の長さは、以下の式、
【００５８】
【数２１】
により計算される。上述の計算は、楕円ベクトル［ａ，ｂ，ｏ1，ｏ2，θ］９４の最初の組を与える。実際上は、最終的な楕円をｇＲＧデータクラスタ８８に最もよく当てはめるために、手動の調整が必要である。
【００５９】
本発明の主題はディジタル画像理解技術に関するものであり、これは、ディジタル画像を認識し、それにより人間が理解可能な対象、属性、又は条件に対して有用な意味を割り当て、得られた結果をディジタル画像の更なる処理に使用するために、ディジタル画像をディジタル式に処理する技術を意味すると理解される。
【００６０】
【発明の効果】
本発明の利点は、画像が正しくバランス調整されていない場合でもうまく動作し、更に種々の肌色についてもうまく動作することである。
【図面の簡単な説明】
【図１】本発明を実施するのに有用な画像処理システムを示す概略図である。
【図２】本発明の方法の段階を示すフローチャートである。
【図３】図２に示される肌色検出段階を示す詳細なフローチャートである。
【図４】２次元色空間中の楕円分類器の例を示す図である。
【図５】本発明において使用される複数の肌色分類器領域を有する２次元色空間を示す図である。
【図６】肌色領域及び金髪色領域を有する２次元色空間を示す図である。
【図７】図２に示される楕円分類器段階を学習させるために使用される処理を示す概略図である。
【符号の説明】
１０ ディジタル画像源
１２ 画像プロセッサ
１４ ディスプレイ
１６ キーボード
１８ マウス
２０ 出力装置
２２ 順位フィルタ
２４ 色平均統計計算
２６ 前処理決定
２８ セグメンテーション段階
３０ 肌色検出段階
３１ 楕円分類器
３２ ｓＲＧＢ変換段階
３４ 非線形処理段階
３５ 肌色検出段階
３６ 投影段階
３８ 第１の肌色分類段階
３９ 帰還路
４０ 評価段階
４１ 帰還路
４２ 肌色領域マスキング段階
４４ 第２の肌色分類段階
４６ 評価及び選択段階
４８ 肌色領域マスキング段階
５０ 評価及び選択段階
５２ 金髪色検出段階
５４ 色相画像への変換段階
５６ ｓＲＧＢ色空間
５８ 楕円
６０ 暗い領域
６２ ｓＲＧ（ｃ1，ｃ2）色空間
６８ ｓＲＧ（ｃ1，ｃ2）色空間
７０ 金髪の人の肌色領域
７１ 肌の色の画素
７２ 金髪の色の画素
７４ 画像プール
７６ ランダムに選択された画像
７８ サンプル肌色パッチ
８０ ｓＲＧＢ空間
８２ 分布密度
８４ ｇＲＧ平面
８６ ｇＲＧ平面
８８ 投影されたクラスタ
９０ ｇＲＧ平面
９２ 最もよく一致する楕円
９４ 楕円ベクトル
【発明の属する技術分野】
本発明は、ディジタル画像処理方法に関連し、更に特定的にはディジタル画像中の肌色を検出する方法に関連する。
【０００２】
【従来の技術】
ディジタル画像処理では、画像中で肌色である領域を検出することが有用である場合が多い。この情報は、例えば画像中の肌色を見た目の良いものへと調整するために使用される。肌色の場所は、顔の検出及び認識のためのアルゴリズム、自動画像取得アルゴリズム、赤目補正アルゴリズム等にも使用されうる。例えば、Takahashi外に対して１９８０年５月２０日に発行された米国特許第４，２０３，６７１号は、赤、緑、青の色空間中の楕円の中に、又は２次元色空間中の楕円の中に存在する画素を識別することによって画像中の肌色を検出する方法を開示する。この方法における問題点は、正しくバランス調整された画像についてのみうまく作用することである。露出過多又は露出不足の画像では、この技術の信頼性は低い。更に、技術は選択された基準から逸脱する肌色についてはうまく作用しない。例えば、検出方法が白人の薄い肌色を検出するよう調整されているときは、濃い肌色を正しく検出できない。
【０００３】
【発明が解決しようとする課題】
従って、上述の課題を解決するための改善された肌色検出方法が必要である。
【０００４】
【課題を解決するための手段】
本発明は、上述の課題のうちの１つ以上を解決することを目的とする。概説するに、本発明の１つの面によれば、ＲＧＢ色空間に画素を有するディジタル画像中で肌色を検出する方法は、一般的に、平均ＲＧＢ色値を決定するためにディジタル色画像の統計的分析を行う段階と、色のうちのいずれか１つの平均値が所定の閾値以下であれば画像中の肌色を色空間の所定の領域へ向かって動かすようディジタル画像に変換を適用する段階と、ディジタル色画像中の肌色画素の位置を見つけるために変換された空間を使用する段階とを含む。
【０００５】
更に特定的には、色のうちのいずれか１つの平均値が所定の閾値以下であれば、画像中の肌色を色空間の所定の領域へ向かって動かすためにディジタル画像に対して非線形変換が適用される。次に、先行する段階に依存して、ディジタル画像又は変換されたディジタル画像のいずれかがＲＧＢ空間から一般化されたＲＧＢ空間へ変換され、ｇＲＧＢディジタル画像が生成される。肌色画素は、ｇＲＧＢディジタル画像内で検出される。第１の肌色画像マスクは、検出された肌色画素に基づいて作成される。マスクされたｇＲＧＢ画像は、第１の肌色画像マスクを用いて生成される。マスクされたｇＲＧＢ画像は、第１の肌色画像マスクを用いて生成される。マスクされたｇＲＧＢ画像は、色相画像へ変換される。金髪色画素である可能性がある画素は色相画像から除去され、変更された色相画像が生成される。第２の肌色画像マスクは、変更された色相画像中の肌色画素に基づいて作成される。第２の肌色画像マスクが第１の肌色画像マスクよりも所定の量だけ小さければ、第１の肌色画像マスクが選択され、そうでなければ、第２の肌色画像マスクが選択される。最後に、選択された肌色画像マスクは、ディジタル色画像中の肌色画素の位置を見つけるために使用される。
【０００６】
【発明の実施の形態】
本発明の上述の及び他の面、目的、特徴、及び利点については、望ましい実施例についての以下の詳細な説明、請求の範囲、及び添付の図面を参照することにより更に明らかに理解されよう。
【０００７】
画像処理のアルゴリズム及びシステムは周知であるため、本願では本発明による方法の一部をなす、又はより直接的に協働するアルゴリズム及びシステムに関連する。本願に特に示されておらず又は説明されていないかかるアルゴリズム及びシステム、並びに、それに含まれる画像信号を生成及び他の方法で処理するためのハードウエア及び／又はソフトウエアは、従来技術で知られているかかるシステム、アルゴリズム、構成要素及び要素から選択されうる。以下の詳細な説明では、本発明の望ましい実施例は一般的にはソフトウエア又はコンピュータプログラムとして実施される。当業者は、かかるソフトウエアと同等なものがハードウエア上にも構築されうることを容易に認識するであろう。以下に示すような本発明による方法が与えられていれば、本発明の実施に有用であるが本願には特に図示、示唆、又は記載されていないソフトウエアは従来通りであり、当業者の通常の知識であることを認識するであろう。
【０００８】
更に、本願では、コンピュータプログラムは、例えば、磁気ディスク（例えばフロッピーディスク又はハードドライブ）又は磁気テープといった磁気記憶媒体、光ディスク、光テープ、又は機械読み取り可能なバーコードといった光記憶媒体、ランダムアクセスメモリ（ＲＡＭ）又は読み出し専用メモリ（ＲＯＭ）といった固体電子記憶媒体、又は、コンピュータプログラムを格納するために使用される任意の他の物理的な装置又は媒体を含みうるコンピュータ読み取り可能な記憶媒体に記憶されうる。
【０００９】
まず図１を参照するに、本発明を実施するのに有用な画像処理システムは、フィルムスキャナ、ディジタルカメラ、又は、ピクチャＣＤを伴うコンパクトディスクドライブといったディジタル画像記憶装置といったカラーディジタル画像源１０を含む。ディジタル画像源１０からのディジタル画像は、プログラミングされたパーソナルコンピュータといった画像プロセッサ１２又はＳｕｎＳｐａｒｃ２０ワークステーションといったディジタル画像処理ワークステーションへ与えられる。画像プロセッサ１２は、ＣＲＴディスプレイ１４へ、また、キーボード１６及びマウス１８といった操作者インタフェースへ接続されうる。処理されたディジタル画像は、ハードコピープリンタ、長期画像記憶装置、他のプロセッサへの接続、又は例えばインターネットに接続された画像電気通信装置へ送信される。
【００１０】
図２を参照するに、ディジタル画像プロセッサ１２によって本発明により実行される処理について説明する。ｓＲＧＢ色空間といったデバイス独立なＲＧＢ色空間で表現されたディジタル画像は、順位フィルタ段階２２においてまず順位フィルタリングされる。入力ＲＧＢ画像をＩ｛Ｃi｝と表わし、但し、３つのチャネルに対してｉ＝１，２，３とし、ＣiはＣi（ｍ，ｎ）の要素を有する行列であり、ｍ＝０，．．．，Ｍ−１でありｎ＝０，．．．Ｎ−１であるとする。順位フィルタリングは、
【００１１】
【数１】
【００１２】
【外１】
【００１３】
【外２】
【００１４】
【数２】
【００１５】
【外３】
【００１６】
【外４】
【００１７】
【数３】
【００１８】
次の段階は、ＩRを用いて各色チャンネルについて統計値計算段階２４において色平均統計値を計算することである。この計算は、一組の平均値、即ち、
【００１９】
【数４】
【００２０】
前処理決定が「イエス」であれば、処理は非線形処理段階３４へ進む。非線形処理段階への入力は、元のＲＧＢ画像Ｉである。本発明で使用される非線形プロセッサは、当業者によって周知の画像処理技術であり、（例えば、"Digital Image Processing", by Gonzalez and Woods, Addison-Wesley Publishing Company, 1992といった）文献に記載される、色ヒストグラム等化である。入力画像Ｉは、まず、以下の標準的な式、
【００２１】
【数５】
【００２２】
【数６】
【００２３】
色ヒストグラム等化における重要な問題は、飽和クリッピングである。ここで、等化の結果として得られるＹ’は、Ｃ'iを、２５５を越えさせるか又は０を下回らせることに注意すべきである。これが生ずるのを防止するため、Ｃ'iに対してクリッピング手順が用いられる。クリッピング飽和のための疑似コードは、以下の通りであり、
【００２４】
【数７】
【００２５】
前処理決定が「ノー」であれば、元の画像ＩはｇＲＧＢ変換段階３２へ送られる。
【００２６】
概して、初期化段階２１は、前処理決定に応じて肌色検出段階３５へ画像を送り、元の画像Ｉ又はヒストグラム等化された画像Ｉ’がｇＲＧＢ変換段階３２へ送られる。表記を統一するため、ＩRGB＝｛Ｃi｝と定義し、但し、３つの色チャンネルについてｉ＝１，２，３であり、ＣiはＣi（ｍ，ｎ）の要素を有する行列であり、ｍ＝０，．．．，Ｍ−１でありｎ＝０，．．．Ｎ−１であるとする。以下、元の画像とヒストグラム等化された画像を共にＩRGBと表わすものとする。
【００２７】
やはり図２を参照するに、入力ＲＧＢ画像ＩRGBはｇＲＧＢ変換段階３２において一般化されたＲＧＢ画像ＩgRGBへ変換され、これは、ＩgRGB＝｛ｃi｝と定義され、ｃiはｃi（ｍ，ｎ）の要素を有する行列であり、ｍ＝０，．．．，Ｍ−１でありｎ＝０，．．．Ｎ−１である。変換は、以下の式、
【００２８】
【数８】
【００２９】
【数９】
【００３０】
【数１０】
【００３１】
図３中、肌色検出段階３０について詳述する。一般化されたＲＧＢ画像ＩgRGBは，まず投影段階３６においてｇＲＧ平面上に投影される。この投影は、ｇＲＧ画像ＩgRGを生成する。投影は、単にｇＲＧＢ画像から成分ｃ3を除去することによって行われる。２つの成分ｃ2及びｃ3を有するｇＲＧ画像ＩgRGは、図３に示される第１の楕円ベクトル（楕円ベクトルＩ）を受け取る第１の（Ｉ）肌色分類器３８へ渡される。図４は、肌色画素が位置する領域を指定するために使用されるｇＲＧ色空間５６中の楕円５８の例を示す図である。図４中の暗い領域６０は、実際の肌色画素領域である。
【００３２】
パラメータａ，ｂ，（ｏ1，ｏ2）及びθは、楕円の定数であり、楕円分類器３１によって生成される楕円ベクトルを定義する。パラメータａ及びｂは楕円の軸の長さであり、（ｏ1，ｏ2）は（ｃ1，ｃ2）空間５６中の楕円の中心座標であり、θはｃ1軸と楕円の長軸との間の角度である。
【００３３】
第１の肌色分類器３８については、中間色マスクをＰI＝｛ｐI（ｉ，ｊ）｝MXN、即ち、要素ｐ（ｉ，ｊ）を有するＭｘＮの行列と定義する。一般化されたＲＧＢ画像ＩgRGBの各画素について、評価関数Ｅ（ｃ1（ｉ，ｊ），ｃ2（ｉ，ｊ））、但し、ｉ＝０，．．．Ｍ−１；ｊ＝０，．．．Ｎ−１，ｃ1（ｉ，ｊ）∈［０，１］；ｃ2（ｉ，ｊ）∈［０，１］、を定義する。分類は、単純に、
【００３４】
【数１１】
Ｅ（ｃ1（ｉ，ｊ），ｃ2（ｉ，ｊ））＝ｘ2 ij／ａ2＋ｙ2 ij／ｂ2 （７）
であり、
【００３５】
中間の肌色マスクＰIは、評価段階４０へ渡される。評価手順では、単純に、画像のサイズに対する検出された肌画素の数の比率γＩを計算する。評価段階４０は、２つの分岐を有する。γＩ≧Ｔγである場合、即ち評価結果が「良い」である場合、処理は肌色領域マスキング段階４２へ分岐する。この場合、第１の肌色分類段階３８からの出力ＰIは、肌色領域マスキング段階４２においてＩgRGBをマスクするために使用される。肌色領域マスキング段階４２の出力は、マスクされ一般化されたＲＧＢ画像、即ち、
【００３６】
【数１２】
【００３７】
第２の（ＩＩ）肌色分類段階４４の構造及び操作は、（ｃ1，ｃ2）空間中の楕円の位置、寸法、及び向きを決定する異なる楕円ベクトルを使用することを除き、第１の肌色分類段階３８と同じである。図５に示すように、楕円分類器３１によって生成されうる幾つかの可能な楕円Ｅ１−Ｅ７がある。多数の楕円を用いるのは、偽陽性を減少させると共に、主肌色領域から逸脱した肌色、例えば（ｃ1，ｃ2）空間６２中のＥ１を検出する機構を提供するためである。例示される場合のように、このような楕円を２つだけ（Ｉ及びＩＩ）使用する場合については図３を参照して説明されているが、本発明ではより多くの肌色分類器及び楕円が使用されうることが理解されよう。
【００３８】
主肌色分類器（第１の分類器段階３８）から他の分類器へ切り換えることにより、検出される肌色画素が更に少なくなる場合がある。従って、第１の分類器３８からの結果が先行する評価段階４０において満足のいくものでなかったとしても、肌色分類段階３８及び４４からの結果は評価及び選択段階４６において比較される。より一般的な場合は、選択決定は、以下の式、
【００３９】
【数１３】
【００４０】
主肌色検出器（第１の分類器３８）からの結果が満足のいくものであれば、ＰIは、続く肌色領域マスキング段階４２において第１の肌色マスクとして直接使用される。満足のいくものでなければ、処理は例えば第２の分類器４４といった他の分類器へ分岐し、新しい結果と主分類器（第１の分類器３８）からの結果の両方の結果が評価され、良い方（又は最も良いもの）をマスキング段階４２へ送信されるべき第１の肌色マスクとして選択する。
【００４１】
尚、図３中、肌色分類器３８及び４４に対して帰還路３９及び４１がある。これらの帰還路は、検出結果自体を評価のために分類器へ与える。評価処理とは、画像サイズに対する検出された肌画素の数の比率を計算することである。比率が所定の閾値よりも小さければ、より多くの色を含むよう分類器楕円は例えば３０％又は４０％以上だけ拡張される。
【００４２】
肌色領域マスキング段階４２から２つの出力が発生する。１つは、マスクされたｇＲＧＢ画像であり、もう１つは、肌色マスクＰ自体である。これらの２つの出力は、以下説明する続く任意の金髪色画素除去において使用される。
【００４３】
図６を参照するに、金髪の色の画素７２は肌の色の画素７１の大部分が存在するのと同じ領域であるが、金髪を有する人々の肌色領域７０に隣接して生ずることがわかる。最も最近の既存の肌検出アルゴリズムは、金髪の色の画素を考慮に入れていない。これは、例えば分類された肌色領域の実際のサイズの検出に依存する赤目検出アルゴリズムといった、肌色の領域のサイズに敏感な画像理解適応において問題となりうる。金髪の色の画素の除去の技術は、本願に参照として組み入れられ、以下詳述する、「Method of Blond-Hair-Pixel Removal in Image Skin-Color Detection」なる名称の上述の継続中の出願番号［出願人整理番号Ｎｏ．８１３２１ＤＭＷ］の明細書に記載されている。
【００４４】
金髪に関連付けられた顔を有する画像を取り扱うことが困難であることが分かっている。これらの場合、従来の肌色検出処理は、赤目検出手順に役立つような満足のいく又は所望の結果を生じさせることができない。上述された段階において得られたマスクされた肌色画像から金髪色画素を除去することが望ましい。
【００４５】
しかしながら、顔の肌の色から肌の色を分けうるように、（ｃ1，ｃ2）空間６８中で金髪色領域７２及び肌色領域７０といった副領域をパラメータ化するのは簡単な作業ではない。空間の次元が１次元まで下がれば、肌色画素から金髪色画素を分離するのはかなり容易となる。この次元の更なる低下は、色相画像へ変換する段階５４において、マスクされた一般化されたＲＧＢ画像
【００４６】
【外５】
【００４７】
【数１４】
【００４８】
金髪色検出段階５２では、要素ｈ（ｍ，ｎ）が肌画素であるか金髪画素であるかを判定するために所定の区分パラメータＴH＝１５が用いられる。第２のマスク
【００４９】
【数１５】
【００５０】
【数１６】
【００５１】
【数１７】
【００５２】
【外６】
【００５３】
【外７】
【００５４】
図７を参照するに、サンプル肌色パッチの収集のために、異なる源からの１０００以上の画像を含む大きい画像プール７４が準備される。準備された全ての画像から肌パッチを収集する必要はない。一組のランダムに選択された画像は、理論上及び実際上も、画像プール全体を代表するのに十分なはずである。画像プールから画像を取り出し、一組のランダムに選択された画像７６を形成するために、一組の均一に分布された指標が使用される。サンプル肌色パッチ７８は、取り出された画像から手動で収集される。収集された肌色パッチは、上述の式（５）を用いてＲＧＢ空間からｇＲＧＢ空間８０へ変換される。ｇＲＧＢ画像のｇＲＧＢデータは、ｇＲＧ平面８４、即ち上述の（ｃ1，ｃ2）空間中でその分布密度８２に関して評価される。実際上は、分布密度は、ｇＲＧデータのヒストグラムを用いて近似される。分布密度ピークの５％未満の長さの要素を除去した後、分布密度は（ｃ1，ｃ2）空間へ投射される。投射されたクラスタ８８は、ｇＲＧ平面８６上に楕円領域を近似的に形成する。楕円分類器学習の最後の段階は、楕円領域についてのパラメータを見つけることである。ｇＲＧ平面９０上で最もよく一致する楕円９２はモーメントに基づいて計算される。楕円は、中心（ｏ1，ｏ2）、向きθ、短軸ａ、及び長軸ｂ（図４参照）により定義される。楕円領域の中心は、以下の式、
ｏ1＝ｍ10／ｍ00
ｏ2＝ｍ01／ｍ00 （１１）
により計算され、モーメントは、以下の式、
【００５５】
【数１８】
【００５６】
【数１９】
【００５７】
【数２０】
【００５８】
【数２１】
【００５９】
本発明の主題はディジタル画像理解技術に関するものであり、これは、ディジタル画像を認識し、それにより人間が理解可能な対象、属性、又は条件に対して有用な意味を割り当て、得られた結果をディジタル画像の更なる処理に使用するために、ディジタル画像をディジタル式に処理する技術を意味すると理解される。
【００６０】
【発明の効果】
本発明の利点は、画像が正しくバランス調整されていない場合でもうまく動作し、更に種々の肌色についてもうまく動作することである。
【図面の簡単な説明】
【図１】本発明を実施するのに有用な画像処理システムを示す概略図である。
【図２】本発明の方法の段階を示すフローチャートである。
【図３】図２に示される肌色検出段階を示す詳細なフローチャートである。
【図４】２次元色空間中の楕円分類器の例を示す図である。
【図５】本発明において使用される複数の肌色分類器領域を有する２次元色空間を示す図である。
【図６】肌色領域及び金髪色領域を有する２次元色空間を示す図である。
【図７】図２に示される楕円分類器段階を学習させるために使用される処理を示す概略図である。
【符号の説明】
１０ ディジタル画像源
１２ 画像プロセッサ
１４ ディスプレイ
１６ キーボード
１８ マウス
２０ 出力装置
２２ 順位フィルタ
２４ 色平均統計計算
２６ 前処理決定
２８ セグメンテーション段階
３０ 肌色検出段階
３１ 楕円分類器
３２ ｓＲＧＢ変換段階
３４ 非線形処理段階
３５ 肌色検出段階
３６ 投影段階
３８ 第１の肌色分類段階
３９ 帰還路
４０ 評価段階
４１ 帰還路
４２ 肌色領域マスキング段階
４４ 第２の肌色分類段階
４６ 評価及び選択段階
４８ 肌色領域マスキング段階
５０ 評価及び選択段階
５２ 金髪色検出段階
５４ 色相画像への変換段階
５６ ｓＲＧＢ色空間
５８ 楕円
６０ 暗い領域
６２ ｓＲＧ（ｃ1，ｃ2）色空間
６８ ｓＲＧ（ｃ1，ｃ2）色空間
７０ 金髪の人の肌色領域
７１ 肌の色の画素
７２ 金髪の色の画素
７４ 画像プール
７６ ランダムに選択された画像
７８ サンプル肌色パッチ
８０ ｓＲＧＢ空間
８２ 分布密度
８４ ｇＲＧ平面
８６ ｇＲＧ平面
８８ 投影されたクラスタ
９０ ｇＲＧ平面
９２ 最もよく一致する楕円
９４ 楕円ベクトル
Claims (3)
- ＲＧＢ色空間に画素を有するディジタル画像中で肌色を検出する方法であって、
（ａ）平均ＲＧＢ色値を決定するためにディジタルカラー画像の統計的な解析を行う段階と、
（ｂ）上記色のうちのいずれかの平均値が所定の閾値未満である場合は、画像中の肌の色を上記色空間の所定の領域へ向かって動かすために上記ディジタル画像に変換を適用する段階と、
（ｃ）上記ディジタルカラー画像中の上記肌色画素の位置を見つけるために上記変換された空間を使用する段階とを含む方法。 - 上記段階（ｃ）は、
ｇＲＧＢディジタル画像を生成するために、ＲＧＢ空間からの上記変換されたディジタル画像を一般化されたＲＧＢ空間へ変換する段階と、
上記ｇＲＧＢディジタル画像中の肌色画素を検出する段階と、
上記検出された肌色画素に基づいて第１の肌色画像マスクを作成する段階と、
上記ディジタルカラー画像中で上記肌色画素の位置を見つけるために上記第１の肌色画像マスクを使用する段階とを更に含む、請求項１記載の方法。 - 上記段階（ｃ）は、
上記検出された肌色画素に基づいて第２の肌色画像マスクを作成する段階と、
所定の規準に基づいて、上記第１の肌色画像マスク又は上記第２の肌色画像マスクを選択する段階と、
上記ディジタルカラー画像中で上記肌色画素の位置を見つけるために上記選択された肌色画像マスクを使用する段階とを更に含む、請求項２記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US692930 | 1991-04-29 | ||
| US09/692,930 US6690822B1 (en) | 2000-10-20 | 2000-10-20 | Method for detecting skin color in a digital image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002197457A JP2002197457A (ja) | 2002-07-12 |
| JP3775782B2 true JP3775782B2 (ja) | 2006-05-17 |
Family
ID=24782627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001322732A Expired - Fee Related JP3775782B2 (ja) | 2000-10-20 | 2001-10-19 | ディジタル画像中の肌色を検出する方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6690822B1 (ja) |
| EP (1) | EP1223550B1 (ja) |
| JP (1) | JP3775782B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7719569B2 (en) | 2008-05-28 | 2010-05-18 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method |
Families Citing this family (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7088855B1 (en) * | 2001-01-22 | 2006-08-08 | Adolfo Pinheiro Vide | Method and system for removal of red eye effects |
| EP1229734A1 (en) * | 2001-01-31 | 2002-08-07 | GRETAG IMAGING Trading AG | Automatic colour defect correction |
| JP4086580B2 (ja) * | 2002-07-30 | 2008-05-14 | キヤノン株式会社 | 画像処理装置、プログラム及び方法 |
| US7039222B2 (en) * | 2003-02-28 | 2006-05-02 | Eastman Kodak Company | Method and system for enhancing portrait images that are processed in a batch mode |
| US7251363B2 (en) | 2003-07-29 | 2007-07-31 | Ventana Medical Systems, Inc. | Method and system for creating an image mask |
| EP1517542B1 (en) * | 2003-09-01 | 2010-11-10 | Samsung Electronics Co., Ltd. | Method and apparatus for adjusting colors of an image |
| DE60330471D1 (de) | 2003-12-09 | 2010-01-21 | Mitsubishi Electric Corp | Verfahren und Vorrichtung zum Trennen von Inhalten in Bildern |
| US8081818B2 (en) | 2004-09-15 | 2011-12-20 | Adobe Systems Incorporated | Locating a feature in a digital image |
| US7623707B2 (en) | 2004-09-15 | 2009-11-24 | Adobe Systems Incorporated | Hierarchically locating a feature in a digital image |
| US7577291B2 (en) * | 2005-03-07 | 2009-08-18 | Oplus Technologies Ltd. | Method of color correction |
| KR100695159B1 (ko) | 2005-08-04 | 2007-03-14 | 삼성전자주식회사 | 피부색 모델을 위한 알지비 맵 생성장치 및 방법과 이를이용한 피부색 검출장치 및 방법 |
| US7751622B2 (en) * | 2005-08-22 | 2010-07-06 | Carestream Health, Inc. | Method and system for detection of undesirable images |
| US8254630B2 (en) * | 2006-04-28 | 2012-08-28 | Nikon Corporation | Subject extracting method and device by eliminating a background region using binary masks |
| KR100862341B1 (ko) * | 2006-11-13 | 2008-10-13 | 삼성전기주식회사 | 사람의 피부 영역 검출장치 및 그 방법 |
| FR2910143B1 (fr) * | 2006-12-19 | 2009-04-03 | Eastman Kodak Co | Procede pour predire automatiquement des mots dans un texte associe a un message multimedia |
| ITVA20060079A1 (it) * | 2006-12-19 | 2008-06-20 | St Microelectronics Srl | Metodo di classificazione cromatica di pixel e metodo di miglioramento adattativo di un'immagine a colori |
| US8437514B2 (en) * | 2007-10-02 | 2013-05-07 | Microsoft Corporation | Cartoon face generation |
| WO2010082942A1 (en) * | 2008-02-01 | 2010-07-22 | Canfield Scientific, Incorporated | Automatic mask design and registration and feature detection for computer-aided skin analysis |
| US8027521B1 (en) | 2008-03-25 | 2011-09-27 | Videomining Corporation | Method and system for robust human gender recognition using facial feature localization |
| US8831379B2 (en) * | 2008-04-04 | 2014-09-09 | Microsoft Corporation | Cartoon personalization |
| US8406482B1 (en) * | 2008-08-28 | 2013-03-26 | Adobe Systems Incorporated | System and method for automatic skin tone detection in images |
| KR101549824B1 (ko) * | 2008-12-11 | 2015-09-03 | 삼성전자주식회사 | 피부색 보정 방법 및 장치, 이를 이용한 디지털 촬영 장치 |
| US20100158357A1 (en) * | 2008-12-19 | 2010-06-24 | Qualcomm Incorporated | Image processing method and system of skin color enhancement |
| US7916905B2 (en) * | 2009-02-02 | 2011-03-29 | Kabushiki Kaisha Toshiba | System and method for image facial area detection employing skin tones |
| US8319857B2 (en) * | 2009-02-26 | 2012-11-27 | Access Business Group International Llc | Apparatus and method for correcting digital color photographs |
| CN101893481B (zh) * | 2009-05-18 | 2014-04-30 | 姜宁 | 色彩属性测试判断方法和系统 |
| JP2011221812A (ja) * | 2010-04-09 | 2011-11-04 | Sony Corp | 情報処理装置及び方法、並びにプログラム |
| CN103106386A (zh) * | 2011-11-10 | 2013-05-15 | 华为技术有限公司 | 动态自适应肤色分割方法和装置 |
| JP5757259B2 (ja) * | 2012-02-28 | 2015-07-29 | ブラザー工業株式会社 | 画像処理装置及び画像処理プログラム |
| US9208749B2 (en) | 2012-11-13 | 2015-12-08 | Htc Corporation | Electronic device and method for enhancing readability of an image thereof |
| CN104123698B (zh) * | 2013-04-25 | 2018-05-08 | 北京信路威科技股份有限公司 | 应用于智能一体化摄像机的夜间图像增强方法 |
| US8983152B2 (en) | 2013-05-14 | 2015-03-17 | Google Inc. | Image masks for face-related selection and processing in images |
| US20150030243A1 (en) | 2013-07-24 | 2015-01-29 | Di Qu | Chart for evaluating skin color and its application to efficacy evaluation of anti-aging and skin lightening products |
| US9196056B2 (en) | 2013-08-19 | 2015-11-24 | Manufacturing Techniques, Inc. | Electro-optical system and method for analyzing images of a scene to identify the presence of a target color |
| GB2519620B (en) | 2013-10-23 | 2015-12-30 | Imagination Tech Ltd | Skin colour probability map |
| CN104794423B (zh) * | 2014-01-21 | 2019-02-12 | 厦门美图网科技有限公司 | 一种基于色彩空间的皮肤识别方法 |
| US9256950B1 (en) | 2014-03-06 | 2016-02-09 | Google Inc. | Detecting and modifying facial features of persons in images |
| GB2541865A (en) * | 2015-07-30 | 2017-03-08 | Emerald Medical Applications Ltd | Image processing system and method |
| US9864901B2 (en) | 2015-09-15 | 2018-01-09 | Google Llc | Feature detection and masking in images based on color distributions |
| US9547908B1 (en) | 2015-09-28 | 2017-01-17 | Google Inc. | Feature mask determination for images |
| US10497179B2 (en) | 2018-02-23 | 2019-12-03 | Hong Kong Applied Science and Technology Research Institute Company Limited | Apparatus and method for performing real object detection and control using a virtual reality head mounted display system |
| CN110706187B (zh) * | 2019-05-31 | 2022-04-22 | 成都品果科技有限公司 | 一种均匀肤色的图像调整方法 |
| US12014828B2 (en) | 2019-06-18 | 2024-06-18 | Digital Diagnostics Inc. | Using a set of machine learning diagnostic models to determine a diagnosis based on a skin tone of a patient |
| CN111861981B (zh) * | 2020-05-29 | 2023-05-30 | 北京工商大学 | 一种基于点线面的图像颜色空间脂肪点检测评估方法 |
| CN118215826A (zh) * | 2021-09-29 | 2024-06-18 | 菲特斯津公司 | 用于皮肤颜色确定的系统和方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS52156624A (en) | 1976-06-22 | 1977-12-27 | Fuji Photo Film Co Ltd | Detection of skin color of color film |
| JPH0250859A (ja) * | 1988-08-11 | 1990-02-20 | Dainippon Screen Mfg Co Ltd | 色分解条件設定方法および装置 |
| US5128711A (en) | 1989-04-28 | 1992-07-07 | Fuji Photo Film Co., Ltd. | Apparatus for recording position information of principal image and method of detecting principal image |
| US6249317B1 (en) * | 1990-08-01 | 2001-06-19 | Minolta Co., Ltd. | Automatic exposure control apparatus |
| US6072526A (en) * | 1990-10-15 | 2000-06-06 | Minolta Co., Ltd. | Image sensing device that can correct colors corresponding to skin in a video signal |
| US5488429A (en) * | 1992-01-13 | 1996-01-30 | Mitsubishi Denki Kabushiki Kaisha | Video signal processor for detecting flesh tones in am image |
| JP3370770B2 (ja) * | 1994-04-15 | 2003-01-27 | 松下電器産業株式会社 | 映像信号の肌色再生回路 |
| US5715377A (en) * | 1994-07-21 | 1998-02-03 | Matsushita Electric Industrial Co. Ltd. | Gray level correction apparatus |
| JP3799633B2 (ja) * | 1995-06-16 | 2006-07-19 | セイコーエプソン株式会社 | 顔画像処理方法および顔画像処理装置 |
| US6343141B1 (en) * | 1996-10-08 | 2002-01-29 | Lucent Technologies Inc. | Skin area detection for video image systems |
| KR100343223B1 (ko) * | 1999-12-07 | 2002-07-10 | 윤종용 | 화자 위치 검출 장치 및 그 방법 |
-
2000
- 2000-10-20 US US09/692,930 patent/US6690822B1/en not_active Expired - Fee Related
-
2001
- 2001-10-08 EP EP01203798A patent/EP1223550B1/en not_active Expired - Lifetime
- 2001-10-19 JP JP2001322732A patent/JP3775782B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7719569B2 (en) | 2008-05-28 | 2010-05-18 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1223550A2 (en) | 2002-07-17 |
| JP2002197457A (ja) | 2002-07-12 |
| US6690822B1 (en) | 2004-02-10 |
| EP1223550A3 (en) | 2004-06-30 |
| EP1223550B1 (en) | 2012-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3775782B2 (ja) | ディジタル画像中の肌色を検出する方法 | |
| JP3769487B2 (ja) | 画像肌色検出における金髪画素除去方法 | |
| US8374425B2 (en) | Method of chromatic classification of pixels and method of adaptive enhancement of a color image | |
| JP4498671B2 (ja) | イメージコンテンツに基づいて画像の特性を改善するための方法及びシステム | |
| US8194992B2 (en) | System and method for automatic enhancement of seascape images | |
| US8594439B2 (en) | Image processing | |
| US7636485B2 (en) | Method and system for enhancing portrait images that are processed in a batch mode | |
| US8285059B2 (en) | Method for automatic enhancement of images containing snow | |
| US7343028B2 (en) | Method and apparatus for red-eye detection | |
| US6807300B1 (en) | Noise reduction method utilizing color information, apparatus, and program for digital image processing | |
| JP2001126075A (ja) | 画像処理方法および装置並びに記録媒体 | |
| US20040190789A1 (en) | Automatic analysis and adjustment of digital images with exposure problems | |
| US20080285853A1 (en) | Contrast enhancement methods and apparatuses | |
| JP2004357277A (ja) | デジタル画像処理方法 | |
| JP2007047965A (ja) | デジタル画像の対象物検出方法および装置並びにプログラム | |
| Kinoshita et al. | Automatic exposure compensation using an image segmentation method for single-image-based multi-exposure fusion | |
| Luo et al. | An efficient automatic redeye detection and correction algorithm | |
| WO2011067755A1 (en) | Method and system for automatically recovering chromaticity and image variation of colour clipped image regions | |
| Raigonda et al. | Haze Removal Of Underwater Images Using Fusion Technique | |
| Islam et al. | Spatio-temporal colour correction of strongly degraded movies | |
| Saiwaeo et al. | A comparative study of image enhancement methods for human skin image | |
| JP2007243987A (ja) | 画像処理方法、画像処理システムおよび画像処理プログラム | |
| JP4100860B2 (ja) | 画像処理装置および画像処理方法および記録媒体 | |
| JP2005094452A (ja) | 画像処理方法、画像処理システムおよび画像処理プログラム | |
| JP2008283724A (ja) | 画像処理方法および装置並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040909 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060220 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100303 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100303 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110303 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120303 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130303 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130303 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140303 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |