JP4294371B2 - 肖像画像の強調方法及びシステム - Google Patents
肖像画像の強調方法及びシステム Download PDFInfo
- Publication number
- JP4294371B2 JP4294371B2 JP2003137691A JP2003137691A JP4294371B2 JP 4294371 B2 JP4294371 B2 JP 4294371B2 JP 2003137691 A JP2003137691 A JP 2003137691A JP 2003137691 A JP2003137691 A JP 2003137691A JP 4294371 B2 JP4294371 B2 JP 4294371B2
- Authority
- JP
- Japan
- Prior art keywords
- skin
- feature
- image
- face
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 210000001508 eye Anatomy 0.000 claims abstract description 47
- 210000000887 face Anatomy 0.000 claims abstract description 16
- 210000004209 hair Anatomy 0.000 claims abstract description 12
- 210000004709 eyebrow Anatomy 0.000 claims abstract description 9
- 230000002708 enhancing effect Effects 0.000 claims abstract description 6
- 230000007547 defect Effects 0.000 claims description 17
- 238000002156 mixing Methods 0.000 claims description 16
- 210000000214 mouth Anatomy 0.000 claims description 3
- 210000001331 nose Anatomy 0.000 claims description 3
- 210000003491 skin Anatomy 0.000 claims 19
- 210000003739 neck Anatomy 0.000 claims 1
- 230000001815 facial effect Effects 0.000 abstract description 44
- 101000622137 Homo sapiens P-selectin Proteins 0.000 description 28
- 102100023472 P-selectin Human genes 0.000 description 28
- 230000008569 process Effects 0.000 description 27
- 238000001514 detection method Methods 0.000 description 22
- 238000003860 storage Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 14
- 238000012937 correction Methods 0.000 description 12
- 230000036548 skin texture Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000037303 wrinkles Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 239000000203 mixture Substances 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 206010000496 acne Diseases 0.000 description 5
- 238000007639 printing Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000002087 whitening effect Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000005282 brightening Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000007635 classification algorithm Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000034656 Contusions Diseases 0.000 description 1
- 101100010343 Drosophila melanogaster lobo gene Proteins 0.000 description 1
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 206010039792 Seborrhoea Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000010923 batch production Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000035606 childbirth Effects 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000003746 feather Anatomy 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000029052 metamorphosis Effects 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000037312 oily skin Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000010517 secondary reaction Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
- H04N1/628—Memory colours, e.g. skin or sky
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、一般的にデジタル画像の分野に属するものであり、特に、人間を対象とした肖像に係る画像から得られた改良された画像生成物の創作に係るものに関する。
【０００２】
【従来の技術】
何世紀もの間、社会における裕福若しくは特別な階級の人々のみが、絵画、彫刻又はデッサンによる精巧な肖像の創作を職業として行う優れた職人を雇うことができた。多くの場合、肖像の描写は、単に現実の肖像をそのまま描くこと以上の役割を果たすものであった。肖像の対象が抱く希望や期待は、職人の作品に対して微妙な形或いは明白な形で反映される。また、二つ目の役割としては、現実の姿を向上させることにある。肖像の対象たる本人は、自らの肉体的な欠点を少なくし、自らを可能な限り最も美しい姿で見せることに努めた。
【０００３】
現代社会では、人物の肖像を描写することは、もはや裕福で権力のある者が独占する領域のものでなくなった。社会のあらゆる層で写真技術が登場したことによって、人生における大事な出来事において肖像画像の創作が普及することとなった。西洋文化では、結婚式、卒業式、誕生日、新たな子供の誕生等は、比較的一般化された態様で肖像画像に収められている。今日の技術は、素人である個人でもこれら肖像画像を捉え、更に画像の向上を図ることさえ可能ならしめているが、より品質の高い肖像画像を提供するプロの写真家もまだ健在である。即ち、今も尚、これら肖像を描写する人々の目的は、過去数世紀と同様であり、肖像の対象を最も喜ばれる姿で表現することにある。本質的には、肖像の対象たる本人は、自分のありのまま姿ではなく、自分が理想とする姿で見られることを望むのである。
【０００４】
自分のありのままの姿ではなく、自分が理想とする姿で見られたいという願望に応ずべく、プロの写真家は、肖像画像をリタッチ若しくは修正することによって肖像の対象が希望する外見を提供する。当該修正は、何らかの手法によって、もともとの写真画像には捉えられていなかったものや描写されなかったものへ写真画像を変更することに関するものである。肖像画像を修正することの目標の一つは、その人の個性を維持しつつ、その人の一時的な欠点（吹き出物、目の下の隈等）や永久的な欠点（ほくろ、しわ等）を取り除くことである。顔の吹き出物、ほくろ、あざを取り除くこと、線やしわを和らげること、目の下の隈を減らすこと、及び歯や目の白い部分を白くすることは、肖像画像における個人の外見の改善或いは向上を図るために行う修正の例である。
【０００５】
デジタル時代が到来する前は、画像の修正は、画像のネガ或いはそれが印刷されたものに対して施され、肖像画像の欠点を覆ったり或いは変更したりするのに染料が用いられていた。今日デジタル画像取込装置が日常において入手可能なため、デジタルで取込まれた画像にデジタルイメージング技術を施すことが今日好まれる修正方法である。デジタル手法は、かつてアナログ画像に対して施すことが困難若しくは不可能であった画像についての向上を可能ならしめるのである。アドビフォトショップ（登録商標）等の画像編集ソフトは、吹き出物を取り除いたり、鼻を真っ直ぐにしたり、目を均等にさせたり、デジタルメークを施したりすることによって肖像を改良できる。
【０００６】
コンピュータ技術や画像処理のアルゴリズムの発達は自動化或いは半自動化された画質の向上に係る新しい分野を生み出している。肖像画像に直接関連する開発された技術としては、人相の検出及び認識、顔特徴の検出及びマスキング、顔のリポージング（RE-POSING）、赤目の検出及び修正等がある。
【０００７】
特許文献１（Hillebrand外）で開示されているシステムは、皮膚の欠陥を検出し、皮膚の劣化指数を計算するものである。このシステムは、化粧品及びスキンケアの市場に向けられたものである。このシステムは、肌の欠点を除去或いは隠すために提案されている処置又は商品を施した場合に劣化した肌の箇所がいかに改良されるのかをシミュレートできる。かかる肌の欠点は、色情報によって検出され、また、肌の劣化した箇所の改良をシミュレートするのに、一般的なモーフィング技術が利用される。
【０００８】
特許文献２（Utsugi）に記載されている方法は、理想の顔やモデルの顔に基づいて画像処理された理想のメーク後の顔を用意するものである。この技術は、メークによって改良を施すことができる範囲内においてハイライトされた箇所や眉毛の形、目の線、唇の線を理想の顔やモデルの顔に近づけることに関するものである。
【０００９】
上記システム、とりわけ、結婚式、卒業式、学校、スポーツ、誕生日、出産の日等に係る写真を扱う場合のバッチ式肖像描写のシステムが有する問題としては、好みの入力や結果の分析など顧客との間で多大な対話が必要となることである。例えば、上記特許文献２では、モデルの顔（選択された有名タレント、女優、俳優の顔）やその顔に近づけるために必要な調整を定着させるのには、メークを施すべき対象たる顧客が実際にその場にいることが必要となる。更に、良好な結果を出すには、熟練した操作者と顧客とが共に協力する必要がある。
【００１０】
よって、デジタルのイメージング技術が登場しているものの、かかる肖像を修正すること自体は技能であり、今日も科学というよりはむしろ技芸に近いものである。更に、肖像画像の修正は、熟練した操作者によって、多くの手動的な操作及び時間を必要とする。よって、肖像の修正を容易ならしめる自動化又は半自動化された肖像画像の強調を図る手法を用いたシステムを開発することが望まれる。
【００１１】
【特許文献１】
国際公開第ＷＯ００／７６３９８号
【特許文献２】
欧州特許出願公開第ＥＰ１０３０２７６Ａ１
【発明が解決しようとする課題】
従って、本発明は、上記従来技術の問題を解消し、人間の外見を対象とした画像の自動化された強調方法及びシステムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、上記１以上の問題を解消するためになされたものである。概略して、本発明の一つの観点によると、デジタル画像内にある顔の外見の強調方法は、（ａ）１つ以上の顔を含んだデジタル画像を取得する段階、（ｂ）前記１つ以上の顔において肌、目、眉毛、鼻、口、首、髪のいずれか１つ以上を有する顕著な特徴を特定する点を含んだ顔特徴点の位置を検出する段階、（ｃ）肌、目、眉毛、鼻、口、首、髪の領域のいずれか１つ以上を含む異なる領域に前記１つ以上の顔を分割するために、前記顔特徴点の位置を利用する段階、（ｄ）前記異なる領域における顔の重要な特性を１つ以上決定する段階、（ｅ）前記異なる領域における顔の重要な特性に基づいて、▲１▼特定領域に対してそれぞれ設定された２つ以上の強調フィルタと▲２▼該強調フィルタのデフォルトパラメータとを選択する段階、及び（ｆ）前記特定領域に対して前記強調フィルタを実行する段階とを含むものである。
【００１３】
効果的に自動化又は半自動化された肖像画像強調方法を用いることによって、熟練した操作者に修正的変更を加えさせたり、管理させたりすることを必要とせずに、肖像の修正を可能ならしめることが、本発明の利点である。本発明の利点としては、さらに多くの手作業と時間を熟練した操作者によって行われることが避けられ、本発明に係る修正方法は、バッチ処理に対しても適用できることである。
【００１４】
【発明の実施の形態】
本発明の前記並びにその他の目的、特徴及び利点は、以下に掲げられた実施の形態についての詳細な説明及び特許請求の範囲を添付図面と照らし合わせることによって、より明らかになる。
【００１５】
顔の特徴を検出する手法及び特徴の強調を図る手法を利用する画像処理システムは良く知られているが、以下の説明では、特に、本発明に係るシステム及び方法との関係において、その一部を構成し或いは直接的関連性を有する特性について説明する。ここで特別に明示又は説明されていない特性等については、関連技術分野で知られているものから選択することが可能である。以下の説明において、本発明に係る実施の形態は通常ソフトウェアプログラムとして提供されるものであるが、当該ソフトウェアと均等なものを組み込んだハードウェアとしても提供できることは当業者からすれば理解できる。本発明に係るシステムは、以下に説明される構成を有するため、ここで特別に明示、示唆又は説明されていないソフトウェアであって、本発明を実行するのに役立つものについては、慣用的なものであり、当業者の通常の技術の範囲に含まれる。本発明の説明の中の名称についてだが、強調フィルタとは、デジタル画像の中の顔の視覚的外見の強調を図るものをいう。例えば、目の強調フィルタとは、目の白さ及び／又は虹彩の強調を図るものをいう。
【００１６】
もし、本発明をコンピュータプログラムとして実行する場合には、当該プログラムを一般的な電子計算機で読み取り可能な保存媒体に保存してもよく、その媒体には、例えば、磁気ディスク（フレキシブルディスク、ハードドライブ等）や磁気テープ等の磁気保存媒体、光学ディスク、光学テープ、装置で読み取り可能なバーコード等の光学保存媒体、RAM（Random Access Memory）、ROM（Read Only Memory）等の固体電子保存装置、或いは、コンピュータプログラムを保存するためのその他の有形の装置又は媒体が含まれる。
【００１７】
図１Ａは本発明を実行するのに役立つシステム１０を示している。当該システム１０は、一組の所定段階で本発明に係る方法を実行ならしめる中央処理装置（CPU）を有するパーソナルコンピュータＰＣ１２を含んでいる。デジタル保存媒体２０は、デジタル画像を保存するために、ＰＣ１２と接続されて提供されている。デジタル保存媒体２０には、RAM、ROM、ハードドライブ、フロッピー（登録商標）ドライブなど種々の異なった装置が含まれる。また、デジタル保存媒体２０は、生成された強調画像をローカルに保存するのに用いられてもよい。更に、付加的な供給源として、スキャナ２８、デジタルカメラ３０等のデジタル画像取込装置をＰＣ１２に設けることも可能である。尚、デジタル画像は、いかなる供給源から取得するものであってもよい。ユーザーは、マウス及び／又はキーボード等の入力装置及び前記コンピュータ１２と接続されているディスプレーモニタ５０を介してコンピュータ１２と対話する。システム１０は、イメージをローカルに出力するためにプリンター３４等の装置を設けることもできる。一般的に、上記構成部分は、PC１２と直接接続されているという点で、PC１２に帰する。
【００１８】
代わりとして、上記構成部分は、必ずしもホストコンピュータ（PC）１２に帰する必要はなく、通信ネットワーク７０を介してクライアントPC１２に接続されるサーバー６２に帰することも可能である。前記サーバーも、一組の所定の段階で本発明に係る方法を実行ならしめる中央処理装置（CPU）を有するパーソナルコンピュータＰＣ１２を含む構成をとることができる。前記サーバーは、保存媒体６５及び１つ以上のプリンター６０に接続されることが可能である。このようにして、画像は、通信ネットワーク７０を介してリモートに取得、保存、及び印刷されることができる。本発明を実行するためのソフトウェアは、一般的に保存メディアの中に保存されている。代わりとして、このソフトウェアは、通信ネットワーク７０を介してサーバーからダウンロードされることも可能である。クライアントがPC１２に含まれるCPUを使うことによって、若しくは、サーバーがサーバー６２に含まれるCPUを使うことによって、本発明を実行するためのソフトウェアの実行が可能となる。通信ネットワーク７０は、LAN（Local Area Network）等の私的ネットワーク、又はインターネットサービスプロバイダ（Internet Service Provider、ISP）を介して個人によるアクセスが可能であるインターネット等の公的ネットワークから構成されることも可能である。また、それらネットワークで慣習上用いられているように、リモートのネットワークサービスプロバイダは、小売的なキオスク或いは適当な通信装置を介して顧客にアクセスされることも可能である。
【００１９】
図１Ｂは、本発明を実行するためのソフトウェアのグラフィックユーザーインターフェース（Graphic User Interface、GUI）の例を示しており、そのソフトウェアは、システム１０でローカルに又はサーバー６２でリモートに稼動し、同図に示されているようにGUIスクリーン７８を作成する。ユーザーは、そのソフトウェアを起動し、強調の対象となる画像をダウンロードする。当該画像がダウンロードされると、GUIスクリーン７８はディスプレー５０で表示される。GUIスクリーン７８の左側の画像８０が、本発明に係る方法によって強調の対象となるダウンロードされた原画像である。その右側には、強調された顔の画像８２が表示されている。一つの実施の形態では、イメージがダウンロードされると、ユーザーは強調の対象となる顔の目の部分にクリックする。それに応じて、システムは、自動的に顔の特徴点を見つけ出し、顔の異なった部分（例えば、目、眉毛等）と首領域に分割する。システムはデフォルトパラメータを設定し、所定の順番で全ての強調フィルタを原画像に適用する。
【００２０】
それに対する結果画像８２は、GUIスクリーン７８の右側に表示されている。ユーザーは、スライダー９０、９２、９４、９６、９８を用いて異なる強調フィルタのパラメータを対話的（インターアクティブ）に変更することを可能にする。それらスライダーの最初の位置は、システムが自動的に設定したデフォルト値に対応している。外見強調メインスライダー９０は、全ての要部強調サブスライダーの全てを合体させている。強調サブスライダーには、テクスチャー強調スライダー９２、肌強調スライダー９４、目強調スライダー９６及び歯強調スライダー９８が含まれる。テクスチャー強調スライダー９２は、テクスチャー強調フィルタのパラメータを制御するものである。肌強調スライダー９４は、肌トーン強調フィルタのパラメータを制御するものである。目強調スライダー９６及び歯強調スライダー９８は、それぞれ目と歯の白色化フィルタのパラメータを制御するものである。全ての強調フィルタについては、次のセクションで詳細に説明する。全てのスライダーの最小レベルは「強調なし」（例えば、各スライダーの左端）と設定され、最大レベルは「最大強調」（例えば、各スライダーの右端）と設定される。
【００２１】
ユーザーは、大局的外見強調スライダー（外見強調メインスライダー）９０又は個別の強調サブスライダー９２〜９８を用いることによって顔の強調の度合いや外見を制御する。ユーザーが外見強調メインスライダー９０の位置を変える度に、システムはそのスライダーの位置をそれぞれの強調フィルタの適切なパラメータ値にマップし、それら強調フィルタ全てを所定の順番で原画像に適用する。そして、強調された画像８２はGUIスクリーン７８の右側に表示される。ユーザーが強調サブスライダー９２〜９８の一つを変える度に、システムは各々の強調サブスライダーの位置に基づいて、強調フィルタ全てを所定の順番で原画像に適用する。強調された画像８２は、GUIスクリーン７８の右側に表示される。本実施の形態におけるGUIのデザインの一部には、顔の特徴点及び首領域の境界線を変更するオプションがある。ユーザーがGUIスクリーン７８の上部にあるバーから「編集」をメニューからプルダウンすることにより、当該オプションを選択すると、顔の特徴点及び首領域の境界線箇所が原画像８０に被せられ、ユーザーは、ユーザー入力装置４０（例えば、ポインティング装置）を使って、それら表示された箇所の位置を変更できる。ツールバー８４には、ユーザーが表示された画像と対話（インターアクト）したり、変更したりすることを可能ならしめる所定のツールが含まれている。例えば、ズームイン及びズームアウトするためのツール、特徴点を編集するためのツール、強調された画像と原画像とをローカルにブレンドするためのツール、強調フィルタの結果を空間的に変更するためのツール等が該当する。
【００２２】
図２Ａは、本発明に従って、肖像画像を強調させる方法の一実施形態の概略的なフローチャートを示すものである。段階２００の開始後、取得及び表示の段階２０５において、デジタル画像がシステムによって取得され、それがディスプレーモニター５０に表示される。本発明において、デジタル画像は、写真から取得した画像のみに限定されず、あらゆる供給源から取得したデジタル画像のことをいい、例えば、デジタルカメラから、ハードコピーのイメージのスキャンから、その他の供給源から電子的に取得した画像が該当する。探知の段階２１０では、イメージの中の個別の顔が検出され、各々の顔の顔特徴点の位置が識別される。各々の顔の位置及び関連する特徴点の探知の工程は手動的にユーザーによって行われるものであってもよく、又は画像処理技術によって半自動的に又は自動的に行われてもよい。上記顔特徴点の位置は、顔の異なった領域（例えば、肌、目、鼻、口、髪）及び首領域を識別及び分割するために利用される。表示の段階２１５では、顔特徴点を画像に被せて、ディスプレーモニター５０にそれが表示される。選択的に、首領域をなぞる特徴点も表示され得る。もし顔特徴点が自動的に又は半自動的に決定されたのであれば、決定の段階２２０において、当該特徴点を調整する必要があるか否かを決定する機会がユーザーに与えられる。ユーザーが当該特徴点の調整を行う必要があると判断した場合には、変更の段階２２５において、ユーザーは、入力装置４０を用いて当該顔特徴点を調整することができる。選択的に、ユーザーは、首領域の境界をたどっている特徴点を調整することも可能である。
【００２３】
デフォルト設定の段階２３０において、システムは、顔特徴点の位置を利用して、異なる領域（例えば、肌、目、鼻、口、髪、顔の毛等）を識別及び分割して、強調フィルタの適切なデフォルトパラメータを決定する。本実施形態における首領域は、顔特徴点の位置に基づいて自動的に分割される。首領域を分割する方法の詳細は、後述する。よって、段階２３０で、システムは首領域の強調フィルタの適切なデフォルトパラメータをも決定できる。選択的に、この段階において、性や年齢の分類アルゴリズムを用いて手動的に又は自動的に顔の性や年齢を決定することができる。自動的な性の分類に関する例として、「Gender Classification with Support Vector Machines」（Proc. of 4th IEEE Int’l Conf. On Face & Gesture Recognition、March 2000）が参考として挙げられる。対象となる顔のデジタル画像において特に詳述された顔特徴点に対して分析を行うことによって、一般的なアルゴリズムで年齢分類ができ、例えば、顔特徴比率の分析やしわの分析等が行われる。本発明を実行するのに役立つ自動年齢分類アルゴリズムを開示する米国特許出願番号5,781,650（Lobo and Kwon）を参考としてあげる。性別や年齢の分類は、どの強調フィルタを性別特有のパラメータと共に実行するのかを決定するにあたって利用することができる。例えば、デフォルトとして、女性の顔のテクスチャーや肌の強調の量を男性の顔よりも多く設定すること等である。
【００２４】
そして、実行の段階２３５において、システムは、適切に選択されたパラメータを用いて強調フィルタを実行する。代わりとして、破線で示されているようにユーザー選択の段階２４０において、ユーザーは、いかなる強調フィルタを適切なパラメータと共に実行されるべきかを選択することができる。システムが強調フィルタを段階２３５において実行し終えると、強調された画像は、ディスプレーモニター５０のディスプレーに表示される（段階２４５）。この時点で、ユーザーは、その強調された画像が容認できるか否かを決定できる。もし、その画像を容認できなければ、ユーザー選択の段階２４０において、それぞれの強調フィルタ及び／又はそれらのパラメータを変更すること或いは変更の段階２２５において、顔特徴点の位置を調整することをユーザーは選択できる。一つの実施形態では、ユーザーは、順番に異なった強調フィルタを実行して、それが画像にどのように影響するかを確認することができる。本実施の形態では、ユーザーは、容認できる結果が得られるまで、それぞれの強調フィルタやパラメータを変えながら、段階２４０、２３５、２４５、２５０を繰り返すのである。もし、決定の段階２５０において、強調画像が容認できるものと判断される場合には、ローカル印刷の段階２５５において、プリンター３４を用いてローカルに印刷すること若しくはローカル保管の段階２６０において、保存媒体２０にローカルに保管することのいずれかをユーザーは選択できる。代わりとして、通信リンク７０を介してシステムがサーバー６２に接続されている場合には、リモート印刷の段階２６５においてリモートに印刷すること若しくはリモート保管の段階２７０において、保存媒体６５にリモートに保管することのいずれかをユーザーは選択できる。適切な動作が選択されて、完了すると、システムは新たな画像が存在するか否かを問いかける（問いかけ段階２７５）。その問いかけに対する回答に応じて、次の画像のために取得及び表示の段階２０５に戻る若しくは作業を終える（終了の段階２８０）。
【００２５】
図２Ｂは肖像画像の強調を図る本発明の別の実施の形態を示すものであり、より高度な自動化及びより効率的な生産を商業的写真施設で実現するのに資するものである。この実施の形態は、ユーザーの介入を必要とすることなく肖像強調システムで大量の画像の処理を図る自動的なバッチ処理を示すものである。取得の段階２８２では、強調の対象として選択された画像のリスト（コンピュータファイル）から画像が取得される。顔の検出及び探知の段階２８４では、画像の中の顔が自動的に検出され、各顔における顔特徴点の位置が自動的に特定される。強調選択の段階２８６では、システムは、その顔を特徴づけ、適切な強調フィルタの集合及びそれら強調フィルタのデフォルトパラメーターを決定する。選択的に、この段階において、前述した性別及び年齢分類のアルゴリズムを利用することによって自動的に顔の性別及び年齢を自動的に決定することも可能である。
【００２６】
代わりとして、画像と関連付けられたメタデータを介して画像の中の顔の性別及び年齢をシステムに供給することが可能であり、例えば、年齢及び性別は顧客が提供する写真仕上げ封筒によって又はユーザーに尋ねることによって取得できる。デフォルトのフィルタやパラメータは、画像と独立したメタデータによって又は強調の処理が施される前における画像と独立した設定によっても提供され得る。そして、強調実行段階２８８では、システムは、適切に選択されたパラメータを用いて強調フィルタの集合を実行する。もし、画像の中に１つ以上の顔が存在する場合は、この事実は、顔問い合わせ段階２９０で確認され、システムは、画像の中の全ての顔が強調されるまで段階２８６、２８８、及び２９０を繰り返す。保存の段階２９２では、強調された画像が保存される。入力された画像が全て強調されるまで画像を強調する処理が続けられる（画像問い合わせ段階２９４）。全ての画像が処理された後（終了の段階２９６）、それら強調された画像を図２Ａに示される活用段階２５５〜２７０に付することができる。選択的に、全ての画像が処理された後（終了の段階２９６）、それら画像の確認を可能ならしめるために図２Ａに示されているようなユーザーインターアクティヴシステムに導入することも可能であり、必要があれば活用段階（図２Ａの段階２５５〜２７０）に付する前に変更できる。
【００２７】
図３は、図２Ａ及び図２Ｂの顔検出及び特徴点探知の段階たる段階２１０に対するフローチャートであり、本発明によって画像の中にある顔の顕著な顔特徴点の位置を探知する処理を示すものである。画像の中にある全ての顔のおおよその大きさ及び位置を把握すべく顔検出モジュールをデジタル画像に適用し、検出された顔の顕著な顔特徴点の位置は、顔特徴検出器３１５によって確認される。当該顔の検出段階は、ユーザーの手動的行うことによって又は学術文献に記録されている多数の顔検出手法の一つを用いて自動的に行うことによって実現され得る。自動的顔検出の手法として好まれる例としては、「A Statistical Model for 3D Object Detection Applied to Faces and Cars」（Henry Schneiderman、Ph.D. Thesis、Robotics Institute、Carnegie Mellon University、May 2000）が参考として挙げられる。代わりとして、もし手動操作で顔の検出を行う場合には、好まれる例としては、ユーザーが画像の中に存在する１つ以上の顔の両目をクリックするという手法がある。空間的に離隔して配された目に基づいて、顔の大きさの推測が可能となる。
【００２８】
１つ以上の顔を検出した後、各顔の画像上の座標及び推測された顔の大きさは、顔特徴検出器３１５に与えられ、その顔特徴検出器３１５は、検出された顔の顕著な顔特徴点の位置の探知を行う。本実施の形態では、この顔特徴検出器として動的輪郭モデルが用いられる。動的輪郭モデルについては、「Automatic interpretation and coding of face images using flexible models」（IEEE Trans. on PAMI、Vol.19、No.7、pp743-756、1997）に記載されており、参考として挙げることとする。検出された顔特徴点は、顔の異なる領域（例えば、顔の肌の領域、目、鼻、口、眉毛、髪、顔の毛等、首の領域）を識別し、境界を描き、分割するために用いられる。検出された領域は、それに対応するバイナリマスクによって識別される。そして、当該バイナリマスクの領域は空間的にフェザー処理されて、アルファマスクが生成される。これらアルファマスクは、段階２３５及び段階２８８において、強調フィルタの結果を原画像と混ぜるのに利用される（例えば、テクスチャー強調フィルタ）。バイナリマスクをフェザー処理して、それによって作成されたアルファマスクを混ぜる処理に適用することによって、強調された領域と強調されなかった領域との間の自然な移り変わりが確保される。アルファマスクを作成するには、ぼかし機能でバイナリマスクをぼかして、バイナリマスクをフェザー処理するが、ぼかしの半径は、顔の大きさに基づいて選択される。バイナリマスクは、図２Ａ及び図２Ｂで示されるように強調フィルタを空間的にどこに適用するべきかを決定するのに用いられる。
【００２９】
図４は、検出された顔４０の顕著な特徴点４２０の位置についての視覚的な例を示している。一般的に、これらの顔特徴点は、画像処理技術を使って手動的又は自動的に探知される。
【００３０】
多くの画像は、肌強調フィルタを顔の領域だけでなく、首の領域においても適用することが重要となる場合がある。ここで好まれる実施の形態においては、改良された包括的首形状のモデルを肌色分類手段と組み合わせることによって、首の領域が決定される。図５Ａは、首領域を決定する方法のフローチャートを示すものである。包括的なマッピングの段階５５０では、首領域の包括的な確率マップが作成される。包括的な確率マップは首の形に関する事前の知識に基づくものである。本実施の形態では、強調の対象として予想される画像（例えば、肖像型の画像）の母集団をあらわす正規化された画像のサンプル母集団を平均することによって、包括的な確率マップを作成する。各画像を所定の目の位置との関係で拡大縮小し、当該サンプル画像の正規化が図られる。各サンプル画像において、首領域の境界は手動的にアウトラインされる。各ピクセルの最終的な首の確率は、採点関数の平均和であり、任意のピクセルが首領域の一部である場合、その値は１であり、その他のサンプル画像についての値は０である。包括的な首確率マップは発見的な近似式を使って作成できる。本実施の形態では、画像の中の人物の性別が把握されている場合、男女によって異なった確率マップが用いられる。一般的に、女性の肖像の肌領域の方が男性の肌領域よりも多く露出されていることが多い。拡大縮小（scaling）の段階５５４では、包括的な首確率マップは顎の線及び顔の輪郭線の特徴点にはまるように拡大縮小される。
【００３１】
肌色分類の段階５５６では、色分割に基づいて首確率マップが形成される。特定の範囲内の肌色の全てのピクセルを把握すべく、教師付きピクセルベース色分類が用いられる。当該ピクセルベース色分類は、肌に属するピクセル色Ｃの条件付確率関数であり、ガウス式の形で表される。
【００３２】
【数１】
これによって、定義付けられた肌領域から平均ベクトルμと共変マトリックスΣが推定される。当該ベクトルＣは、ピクセルの赤（Ｒ）、緑（Ｇ）青（Ｂ）の信号に対応する。Ｃが他の色空間で表されている場合（例えば、CIELAB、YUV、HSV等）においても、上記手法を適用できる。肌の条件付確率分布を判断するのに顔肌領域の部分集合が用いられる。本実施の形態では、上記数式１において、目よりも上の肌領域及び顔上の毛が検出される肌領域は、平均ベクトルμと共変マトリックスΣを推定するのに用いられない。首確率は、顔領域外及び顎の線の下に配されたピクセルに対して上記数式１に従って規定され、それ以外の領域のものについての値は、０である。
【００３３】
最終的マップ生成段階５５８において、最終確率マップは、拡大縮小された包括的首確率マップ及び肌色ベースの確率マップを合体させることにより生成される。本実施形態では、その二つの確率マップは、算術的に乗じられる。この結果として生成される首確率マップは、強調フィルタの結果をどのように原画像と混ぜるかを判断するのに用いられるアルファチャンネルとして使用される。当該バイナリ首領域マスクは、最終首確率マップを二値化処理することにより生成される。任意のピクセルの確率が０よりも大きい場合は、それに対応するマスクの値は１であり、首領域を示す。一方、それ以外の場合、マスクの値は、０であり、首以外の領域を示す。当該首領域のバイナリマスクは、強調フィルタをどこに適用するかを判断するのに用いられる。
【００３４】
図５Ｂから図５Ｄは、最終首確率マップを創作するプロセスを視覚的に表したものである。図５Ｂは、拡大縮小された包括的首確率マップを示している。まず、包括的な確率マップがその人物の顔の輪郭をたどっている特徴点に一致するように拡大縮小される。包括的な首確率マップは、上述したように顔の輪郭に対応した首の位置に関する予備情報に基づいているものである。図５Ｂに示されている包括的首確率は、上述した統計的分析に基づくものではなく、発見的なルールに基づく一例である。これは、プロセスの定性的な特徴を明らかにするものである。包括的マスク内にある中央領域５７０は、首領域の高い確率に対応して高い値を有している（例えば、０．５より大きく、かつ、１以下の値）。境界領域５７２は、首領域の低い確率に対応して低い値を有している（例えば、０より大きく、０．５よりも小さい値）。境界領域５７２の外においての首領域の確率は、０の値へと次第に減少する。一般に、確率は、中央領域５７０から境界領域５７２へと横方向及び縦方向において連続的に減少する。顎の直下に位置するマスクの中央領域はそれと最も高い確率を有している。
【００３５】
図５Ｃは、肌色分類によって決定された首確率マップの輪郭５７４を示している。当該肌色に基づく確率は、前記数式１によって計算される。当該輪郭５７４の領域外の確率の値は、０と等しい。前記数式１で規定されているように、当該輪郭５７４の領域内の確率の値は、０よりも大きい。拡大縮小された包括的首確率マップ及び肌色分類に基づいた首確率マップの二つの首確率マップは、算術的に乗じられることによって合体される。図５Ｄは、最終首確率マップの輪郭を示している。中央領域５７６は、肌色確率領域５７４によって切り取られた高確率領域５７０に対応する。領域５７８は、肌色確率領域５７４によって切り取られた低確率領域５７２に対応する。
【００３６】
このように、一旦、顔特徴点及び首領域の位置が探知されると、画像の顔及び首領域に対して外見強調フィルタの集合（二つ以上のフィルタ）を適用できる。図６は、いくつかの異なった強調フィルタを示している。本実施形態で用いられる強調フィルタは、肌テクスチャー強調フィルタ６１０、肌トーン強調フィルタ６２０、歯強調フィルタ６３０、目強調フィルタ６４０、及び顔特徴形状強調フィルタ６５０である。これらのフィルタについては、以下詳述する。これら強調フィルタはいかなる順番で適用してもよい。一実施形態では、ユーザーは、いずれの強調フィルタをも選択でき、画像の中の顔及び首領域に対して希望する順番で適用できる。しかし、好まれる実施の形態における本システムは、適切なパラメータと共に強調フィルタが適用されるデフォルトの順番を設定する。
【００３７】
ユーザーがデフォルトの設定での実施を選択する場合には、全ての強調フィルタはデフォルトのパラメータと共にデフォルトの順番で適用され、その強調された画像はモニタに表示される。強調フィルタのデフォルトの順番をあげることとすると、肌テクスチャー強調フィルタ、肌トーン強調フィルタ、歯及び目の白色化フィルタ（歯と目との間の順番はいずれでもよい）、及び顔特徴形状強調フィルタの順番である。以下において、これら強調フィルタは、それらが原画像に適用されるデフォルトの順番と同様に説明することとする。
【００３８】
〔テクスチャー強調フィルタ〕
肌のテクスチャー強調フィルタの役割としては、肌の局所的なテクスチャーをなめらかにすること、吹き出物や黒いシミ等を取り除くこと、或いはしわの長さや深さを減少させ若しくは取り除くこと等である。図７Ａは、本発明による肌のテクスチャー強調フィルタのフローチャートを示すものである。肌特徴生成段階たる段階７１０では、顔特徴点によって輪郭が描かれた肌領域の範囲内の肌特徴が検出される。そして、特徴修正段階７２０において、検出された肌特徴は修正される。肌特徴マップには、修正を希望する特徴（吹き出物、黒いシミ、しわ等）が含まれている。
【００３９】
従来技術では、特定の肌の欠点を検出するのに、色分析の手法が用いられている。更に、その従来技術では、肌領域上にかざされた有限の二次元ウィンドウ内のピクセルに関連する色信号のヒストグラムを分析することによっても、肌の欠点の発見が行われる。肌領域に関連するヒストグラムが双峰分布の場合は、その領域は肌の欠点を含んでいると判断される。これらの技術は、色情報を検出手段の主要な部分として利用されるため、そのイメージングシステムが色による換算を行うこと及び／又は分析の対象となる画像が正しく色のバランスがとられていることが必要となる。かかる色情報の使用の効果は、画像をとらえるのに制御された照明及び／又は色付きフィルタが使用されると向上する。また、検出された欠点をその欠点の色に基づいて、吹き出物、茶色のシミ等のようにより細かく分類を行うこととなると、色を正確に再生することが必要になる。
【００４０】
写真では、しわや吹き出物等の肌の欠点は、望まれない位置におけるハイライトや影という形（実際に当該肌の欠点がない場合にも、ハイライトや影のという形）で現れることがある。よって、肌の欠点は、局所的な明暗度の最大値と最小値に対応する。ハイライトは、画像の輝度のピークに対応し、影は、画像の輝度の谷間（valley、ヴァレー）に対応する。従来技術から発展して、本発明の実施の形態では、ＲＧＢ信号から構成された輝度画像に対してピーク及びヴァレーの検出手段を適用することによって、肌の欠点が検出される。ヴァレー／ピーク検出手段は、二次差分要素である。当該輝度は、以下のように赤信号Ｒ、緑信号Ｇ、青信号Ｂの重み付けられた線形の組み合わせとして定義づけられ、ｋの値は重みを示す。
Ｌ＝ｋ１Ｒ＋ｋ２Ｇ＋ｋ３Ｂ （数式２）
輝度画像を生成するのに好ましい重みの選択としては、ｋ１＝ｋ２＝ｋ３＝０．３３３である。ヴァレー／ピークの要素の例は、「Visual Communication at Very Low Data Rates」（D.E. Pearson and J.A.Robinson、Proceedings of the IEEE、Vol.73、No.4、April 1985）に記載されている。
【００４１】
ここで好まれるヴァレー／ピークの要素は一組の四方向の要素であって、上記文献「Visual Communication at Very Low Data Rates」において採用されている。縦の要素Ｖは、ピクセル位置をaからyへと定めている図７Ｂの５×５のピクセル近傍のうち、真ん中のピクセルｍに適用され、以下の数式３のように定義づけられる。
Ｖ＝ｆ＋ｋ＋ｐ＋ｊ＋ｏ＋ｔ−２（ｈ＋ｍ＋ｒ） （数式３）
この要素は輪郭内の肌領域の各ピクセルの位置に対して適用される。同じように、横の要素Ｈは、数式４で示されており、右斜めの要素ＤＲ及び左斜めの要素ＤＬは数式５及び数式６で示されており、それぞれ、下記のように輪郭内の肌領域の各ピクセルの位置に対して適用される。
Ｈ＝ｂ＋ｃ＋ｄ＋ｖ＋ｗ＋ｘ−２（ｌ＋ｍ＋ｎ） （数式４）
ＤＲ＝ｃ＋ｇ＋ｋ＋ｏ＋ｓ＋ｗ−２（ｉ＋ｍ＋ｑ） （数式５）
ＤＬ＝ｃ＋ｉ＋ｏ＋ｋ＋ｑ＋ｗ−２（ｇ＋ｍ＋ｓ） （数式６）
これらの要素は単に谷（ｖａｌｌｅｙ）／頂上（ｐｅａｋ）を検出するのみならず、エッジ（ｅｄｇｅ）の足元や肩に二次的な反応を有する。よって、それら要素は、ヴァレェッジ（ｖａｌｅｄｇｅ）／ピーケェッジ（ｐｅａｋｅｄｇｅ）検出器と呼ばれる。ヴァレェッジ特徴は、その要素の出力のプラス値に対応し、ピーケェッジ特徴は、そのマイナス値に対応する。ヴァレー／ピークのみ感知するヴァレー／ピーク検出器は要素に論理的条件を適用することによって取得される。縦のヴァレーについては、論理的ヴァレー検出器の対応は以下の式で表される。
縦のピークについては、論理的ヴァレー検出器の対応は以下の式で表される。
横及び斜めのヴァレー／ピークについての論理的検出器は似たような形式を有する。ヴァレー／ピーク要素及びヴァレェッジ／ピーケェッジの要素のいずれも、本発明に係る肌特徴マップを作成するのに有効である。以下、ヴァレー／ピーク要素という用語については、ヴァレー／ピーク要素及びヴァレェッジ／ピークエッジ要素のいずれもが含まれる用語として使うこととする。
【００４２】
方向付けられたヴァレー／ピークフィルタを画像に対して適用する前に、ノイズ軽減フィルタを適用することによって、画像のノイズの影響が抑えられる。適切なノイズフィルタとしては、ローパスフィルタ、メディアンフィルタ、その他デジタル画像のノイズを軽減するための線形フィルタ及び非線形フィルタ等がある。
【００４３】
有効（強い）肌特徴のみを保持すべく、上記要素によって生成された方向付けられたヴァレー／ピーク画像は閾値処理がされる。ヴァレー特徴マップに関しては、特定の閾値Ｔｖよりも小さい値を有するピクセルは、０に設定される。ピーク特徴マップに関しては、特定の閾値Ｔｐよりも大きい値を有するピクセルは、０に設定される。当該閾値は固定された大局閾値又は適応性のある閾値であってもよい。ここで好ましい閾値処理の方法は、適応性のある閾値を使うことであり、その値は以下の式で表される。
Ｔ＝βＬａｖｇ （数式９）
上記式では、βは定数であり、Ｌａｖｇはピクセル周囲の輝度の局所平均である。βの異なる値は、縦、横、及び斜めの要素に用いることができる。Ｌａｖｇは、ピクセル自体の値又は近傍のピクセル郡（例えば、３×３の近傍のピクセル郡）の輝度平均であってもよい。
【００４４】
ここで好まれるステップとしては、各々の方向付けられた特徴マップを合体した合体肌特徴マップＦを作成することである。
Ｆ＝ｍａｘ{Ｈ，Ｖ，ＤＲ，ＤＬ} （数式１０）
更に、どの方向付けられたフィルタに由来するものかによって合体肌特徴マップＦの中の各ピクセルをラベル付けることができる。方向付けられたラベルデータ及び／又は個人の方向付けられた肌特徴マップを、特定方向の特徴（例えば、しわ）を好みによって取り除く場合に役立たせることができる。
【００４５】
肌テクスチャー強調フィルタの役割は、肌の局所的テクスチャーをなめらかにすることである。当該肌テクスチャー強調フィルタがなめらかにするテクスチャーの空間的大きさは、顔の大きさの関数である。よって、ヴァレー／ピークのフィルタの空間的大きさは、顔の大きさに基づいて適応的に決定される。より詳細には、目と目との距離がヴァレー／ピークのフィルタの大きさを決定するのに用いられる。以下の式は、縦のヴァレー／ピーク要素の一般的な表示であり、ｗ及びｈは、顔の大きさの関数として選択されている。
【００４６】
【数２】
水平及び斜めのヴァレー／ピークの包括的なヴァレー／ピーク検出器は、似たような形式を有する。ここで好まれる等方性ヴァレー／ピーク検出器としては、輝度画像Ｉからブラー（ぼかし）輝度画像Ｉｂを減算することによってあげられる。
Ｆ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）−Ｉｂ（ｘ，ｙ） （数式１２）
ブラー輝度画像は、ガウス又はボックスフィルタ等のブラー（ぼかし）フィルタを輝度画像に適用することによって生成される。ヴァレー／ピーク検出器の出力は前述したように閾値処理されることによって、ピーク及びヴァレーの特徴マップが作成される。ブラーフィルタの半径は、顔の大きさ（デフォルトパラメータの１つの例でもある）の関数として、また、検出が望まれる肌特徴の大きさとして選択される。
【００４７】
特徴マップは、連結要素ラベリングによって連結されているピクセルをグループ化することによって更に改良される。連結要素ラベリングでは、画像は走査されて、ピクセルはピクセル連結に基づいた要素にグループ化される。即ち、連結された要素の中のピクセルは、何らかの形で互いに連結されている。全てのグループが一旦決定されると、各ピクセルは、その割り当て対象たる要素に対応してラベル付けされる。各連結要素は、肌特徴に対応する。各肌特徴は、大きさ、形状、や肌領域における位置等の特質に基づいて特徴付けられ、分類される。大きさはその要素に含まれるピクセルの数（デフォルトパラメータの１つの例でもある）に対応する。形状情報は、しわ特徴を吹き出物等の他の肌特徴との境界線を描くのに役立たせることができる。更に、肌特徴マップにおいて線で囲まれたそれら特徴については、肌特徴として識別されたピクセルと関連付けられた色彩情報を利用することによって、より詳細に分類できる。一旦肌特徴マップが作成されると、そのマップは、段階７２０で修正される肌特徴を選択するのに利用される。
【００４８】
図８は、本発明に従って肌特徴の選択及び修正を行うのに好まれる実施の形態を表すフローチャートを示している。肌特徴選択段階８１０では、修正の対象となる特徴は、それらが有する特性に基づいて選択される。上述のように、特徴の特性は、大きさ、形状、及び色彩に対応するものであり、肌領域の位置に基づいて選択される。拡張段階８２０では、選択された肌特徴は、（適宜に）拡張され、フィルタリング段階８３０で修正される。肌特徴に対する拡張の効果は、肌特徴の大きさを拡大させることである。拡張の度合は、選択された肌に対して固定的なもの又は肌特徴の特性に基づいた適応的なものであってもよい。ここで好まれる実施の形態は、肌特徴はその大きさ及び顔の大きさ（デフォルトパラメータの例でもある）に基づいて適応的に拡張される。大きな肌特徴は、小さな肌特徴よりも拡張される。標準的モルフォロジー演算子を用いて、この拡張段階を実行することができる。
【００４９】
修正の対象となる肌特徴の種類を変更しつつ、段階８１０、８２０、及び８３０を繰り返すことによって、肌特徴が順次修正されて最適な肌強調が得られる。一方、段階８１０、８２０、及び８３０を一巡することで希望される肌特徴の選択及び修正を図ることも可能である。本実施の形態の段階８１０〜８３０では、まず、第一に、ヴァレーの肌特徴が選択されて、修正される。次に、段階８１０〜８３０の対象として、残っているピークの肌特徴が選択されて、修正される。かかる肌特徴を保持するために、修正は、所定の最大サイズと最小サイズとの間の大きさを有した肌特徴のみについて行われる。また、その代わりとして、肌特徴を保持するため、所定の最小サイズよりも大きい肌特徴のみについて修正を図ることも可能である。更に、修正の対象となる肌特徴の最小及び最大の大きさは、顔の大きさの尺度と直接対応するものである。
【００５０】
段階８３０では、風車（pinwheel、ピンホィール）フィルタが拡張された特徴の各ピクセルに適用される。拡張された特徴のピクセルは、特徴ピクセルという。その他残りのピクセルは、非特徴ピクセルという。本発明の実施の形態では、特徴ピクセルはバイナリマスクによって規定され、０の値は、特徴ピクセルに対応し、１の値は、非特徴ピクセルに対応する。特徴ピクセルの中央にラインセグメントとして配列された近傍の非特徴ピクセルを利用することによって、風車フィルタは、任意の特徴ピクセルの新しい値を挿入する。この風車フィルタについては、２００年８月１５日に特許が発行された米国特許番号6,104,839（「Method and Apparatus for Correcting Pixel Values in a Digital Image」、David R.Cok等）に詳細に記載されており、参考として挙げておくこととする。明確化を図るとともに、上記米国特許で記載されているオリジナルのアルゴリズムに施されるいくつかの修正についての言及をするために、当該風車フィルタについて簡単に説明する。図９では、選択された特徴ピクセル９４０に対応する四本のラインセグメント９３０のセット（縦V、横H、二本の斜めのラインセグメントD1とD2）がグラフィック的に表現されている。これら四本のラインセグメントは４５度間隔で配されている。この拡張された特徴９２０は、灰色（影つけ）で表されている。線９１０は、顔の境界を表している。当該セットに含まれる各ラインセグメントは、ピクセル９４０の両側の特徴ピクセル及び非特徴ピクセルで構成されている。ラインセグメントに含まれる非特徴ピクセル及び特徴ピクセルは、ラインセグメントによって定められたある方向にて、その選択された特徴ピクセル９４０に対して、ローカルに配されたものである。ラインセグメントのセットの生成方法については、後述する。
【００５１】
図１０Ａ及び図１０Ｂでは、風車フィルタを適用することによって画像の各特徴ピクセルの新しい値を計算する方法が示されている。段階１００４において、ラインセグメントの数ＮＬ、ラインセグメントの片側の最大ピクセル数ＭＡＸ＿ＮＰ１、及びラインセグメントの片側の最小ピクセル数ＭＩＮ＿ＮＰ１が設定される。これらパラメータについては、図１２を参照して説明する。当該ラインセグメントの片側の最大ピクセル数ＭＡＸ＿ＮＰ１及びラインセグメントの片側の最小ピクセル数ＭＩＮ＿ＮＰ１は、顔の大きさ（デフォルトパラメータの一例である）に基づいて設定される。顔の大きさが大きいほど、それらＭＡＸ＿ＮＰ１及びＭＩＮ＿ＮＰ１の値が大きくなる。これらパラメータが顔の大きさに対して有する関連性は、上記David R.Cok等による文献に記載された方法と比べると、本発明特有なものといえる。段階１００６において、最初の特徴ピクセルＰＳＥＬが選択される。段階１００８において、ラインセグメント数ＮＬのラインセグメントのセットは、前記ピクセルＰＳＥＬを通じて生成される。本実施の形態では、ラインセグメントのセットのラインセグメント数ＮＬは、４であり、これらは、縦、横、及び２本の斜めのラインセグメントに対応する。
【００５２】
図１２は、ラインセグメントの生成方法を示している。図１２の段階１１１０において、最初のラインセグメントが選択される（例えば、縦のラインセグメント（Ｖ））。段階１１２０において、当該ラインセグメントの片側の方向が選択される。ピクセルは、この方向に当該ラインセグメントに追加されることとなり、そのピクセルの追加は、ピクセルＰＳＥＬから開始される。各ラインセグメントでは、ピクセルＰＳＥＬを中心とするラインセグメントの両側に対応する方向が規定される。段階１１３０において、ある方向に対して最初の非特徴ピクセルに到達するまで、特徴ピクセルが当該ラインセグメントに追加される。段階１１４０において、最初の非特徴ピクセルが当該ラインセグメントに追加され、次の条件のいずれかが満たされるまで、近傍の非特徴ピクセルがある方向に当該ラインセグメントに追加される。
・非特徴ピクセルがラインセグメントの片側の最大ピクセル数ＭＡＸ＿ＮＰ１に到達した場合
・顔の境界又は顔特徴境界に到達した場合
・新たな特徴ピクセルに到達した場合
非特徴ピクセルのラインセグメントの片側の最大ピクセル数ＭＡＸ＿ＮＰ１は、顔の大きさに基づいて段階１００４（図１０Ａ）で設定される。ラインセグメントは、顔の境界又はテクスチャー強調プロセスで除外された領域（例えば、目の領域、口の領域等）の境界を越えてはならない。上記David R.Cok等による文献に記載された方法と比べて、本発明において、有効なラインセグメントを生成するための上記条件は特異なものである。ラインセグメントの片側に対するピクセルの追加が完了すると、段階１１６０において、ラインセグメントの他方側の方向が設定される。そして、そのラインセグメントの他方側に対して、段階１１３０から段階１１４０へのプロセスが繰り返される。ラインセグメントの両側が完成すると（段階１１５０）、次のラインセグメントの選択が行われ（段階１１８０）、段階１１２０から段階１１６０までのプロセスが繰り返される。ラインセグメントのセットにおいてＮＬのラインセグメントが生成されると（段階１１７０）、プロセスは終了する（段階１１９０）。
【００５３】
図１０Ａにおいて、上記のようにラインセグメントのセットにおいてＮＬのラインセグメントが生成された後、そのセットを構成するラインセグメントのうち、少なくともラインセグメントの片側の非特徴点の数がラインセグメントの片側の最大ピクセル数ＭＡＸ＿ＮＰ１よりも少ないラインセグメントについては、そのセットから除外される（段階１０１０）。そのセットに有効なラインセグメントが残っていない場合には（段階１０１４）、ピクセルＰＳＥＬに対するピクセル値は変更されず、新たな特徴ピクセルが選択され（段階１０４６及び段階１０４８）、段階１００８からプロセスが繰り返される。セットに残っている有効なラインセグメントの数Ｎが０より大きい場合には（段階１０１４）、残っている有効な各ラインセグメントに対して、各チャンネルの有効なラインセグメントの非特徴ピクセルについての線形フィット関数（linear fit）が計算される（段階１０１６）。段階１０１８において、段階１０１６で算出された各チャンネルの有効なラインセグメントの非特徴ピクセルについての線形フィット関数に基づいて、フィット平均二乗誤差が計算される。段階１０２０において、任意の有効ラインセグメントの各チャンネルのフィット平均二乗誤差の平均として、フィット合計平均二乗誤差が、次の数式１３に従って計算される。この数式において、Kは、画像の中のチャンネル数を表すものである。白黒画像において、Ｋは、１である。カラー画像において、Kは、通常の場合３である（例えば、Ｒ，Ｇ，Ｂチャンネルに対応するチャンネル３つ）。
【００５４】
【数３】
段階１０２２において、前記段階１０１６で算出された線形フィット関数に基づいて、各チャンネルｋの各有効ラインセグメントｎのピクセルＰＳＥＬについてのピクセル値ＰＳＥＬｎ，ｋが計算される。段階１０２４において、各チャンネルｋについて、新しいピクセル値ＰＳＥＬｋが計算される。強調された画像の最終的なピクセル値は、前述したアルファマスクに基づきオリジナルピクセル値を各チャンネルｋの新しいピクセル値ＰＳＥＬｋとブレンドすることによって決定される。これらブレンド処理は肌の強調された領域と強調されていない領域との間のスムーズな移り変わりを保証する。段階１０２４のブレンド処理及びアルファマスクは、上記David R.Cok等による文献に記載された方法と比べると、本発明特有なものといえる。また、その代わりの実施形態では、強調された画像の最終的なピクセル値ＰＳＥＬ＿ＯＵＴｋは、各チャンネルｋのオリジナルピクセル値ＰＳＥＬ＿ＩＮｋを新しいピクセル値ＰＳＥＬｋと適応的にブレンドすることによって、決定される。
新しいピクセル値とオリジナルピクセル値とをブレンドするのに用いられるブレンド係数αは、そのピクセルが由来する肌特徴の特性に従属する。図１７において、肌特徴の大きさが小さく、図中のｍｉｎよりも小さい場合は、そのオリジナルピクセル値は修正されない。大きさがｍｉｎとｍｉｄとの間にある肌特徴については、新しいピクセル値が最終的ピクセル値として用いられる。肌特徴の大きさが大きく、図中のｍａｘよりも大きい場合は、その最終的ピクセル値は新しいピクセル値とオリジナルピクセル値とをブレンドすることにより決定される。場合によっては、ある領域（例えば、目の周辺）の肌特徴を完全に除去するのではなく、その粗さを修正した方が好ましいこともある。よって、他の実施の形態では、ブレンド係数αは、肌特徴ピクセルの位置に対しても従属し得る。新しいピクセル値ＰＳＥＬｋを計算するその他の方法については後述する。もし、選択された特徴ピクセルが最後の特徴ピクセルではない場合には、（段階１０４６）、その次の特徴ピクセルが選択され（段階１０４８）、段階１００８から再度プロセスが繰り返される。それ以外の場合は、全体のプロセスが完了する（段階１０５０）。
【００５５】
ラインセグメント数ＮＬが４である実施の形態において、選択された特徴ピクセルＰＳＥＬ（図１０Ｂの段階１０２４）の新しいピクセル値ＰＳＥＬｋを計算する段階（方法）が図１１に詳細に示されている。図１１で示されている当該方法は、上記David R.Cok等による文献に記載された方法と比べると、本発明特有なものといえる。ここでは、ラインセグメントのセットのうち、有効なラインセグメントが少なくとも１つ含まれているものとする（Ｎ＞０）。図１１において、セットの中の有効なラインセグメントの数Ｎが１である場合（段階１０２６）、各チャンネルｋの新しいピクセル値ＰＳＥＬｋは、当該ラインセグメントについて算出されたピクセル値ＰＳＥＬ１，ｋと等しい（段階１０２８）。それ以外の場合（段階１０３０）、各ラインセグメントの平均平方根誤差ＭＳＥｎに基づいて高いものから低いものの順にセットの有効ラインセグメントが整理される。段階１０３０における整理の結果、そのセットの中の最初の有効ラインセグメント（ｎ＝１）は最も高い平均平方根誤差を有し、最後の有効の有効ラインセグメント（ｎ＝Ｎ）は最も低い平均平方根誤差を有する。セットの中の有効なラインセグメントの数Ｎが２である場合には（段階１０３２）、各チャンネルｋの新しいピクセル値ＰＳＥＬｋはＰＳＥＬ１，ｋとＰＳＥＬ２，ｋとの平均値に等しい（段階１０３４）。それ以外の場合、セットの中の有効なラインセグメントの数Ｎが３であるときには（段階１０３６）、各チャンネルｋの新しいピクセル値ＰＳＥＬｋは、平均平方根誤差の中央値（ｎ＝２）を有するラインセグメントについて算出されたピクセル値ＰＳＥＬ２，ｋと等しい（段階１０３８）。それ以外の場合、セットの中の有効なラインセグメントの数Ｎは４であり、各チャンネルｋの新しいピクセル値ＰＳＥＬｋはＰＳＥＬ２，ｋとＰＳＥＬ３，ｋとの平均値に等しい（段階１０４０）。強調された画像の最終的なピクセル値は、前述したアルファマスクに基づきオリジナルピクセル値を各チャンネルｋの新しいピクセル値ＰＳＥＬｋとブレンドすること（段階１０２４）によって計算される。
【００５６】
新しいピクセル値を計算する第二の実施の形態では、各チャンネルｋの新しいピクセル値ＰＳＥＬｋ（図１０Ｂの段階１０２４）は、以下のように計算される。まず、各チャンネルｋの各ラインセグメントｎについての重みの値Ｗｎ，ｋの計算が下記数式１５に従って行われる。
【００５７】
【数４】
次に、下記数式１６に従って、各チャンネルｋ及び各有効ラインセグメントｎについてのピクセル値ＰＳＥＬｎ，ｋの重み付けられた和として、各チャンネルの新しいピクセル値ＰＳＥＬｋが計算される。
【００５８】
【数５】
強調された画像の最終的なピクセル値は、前述したアルファマスクに基づきオリジナルピクセル値を各チャンネルｋの新しいピクセル値ＰＳＥＬｋとブレンドすることによって計算される（段階１０２４）。このブレンド処理及びアルファマスクは、上記David R.Cok等による文献に記載された方法と比べると、本発明特有なものといえる。
【００５９】
修正が希望される肌特徴の大半は、谷間特徴（valley features）、即ち、明るい領域で囲まれた暗い領域である。個人が、ほくろ等のはっきりした顔特徴を写真から取り除かれることを望まない場合もあるが、多くの場合、肌特徴は、肌特徴として識別されたピクセルと関連付けられた色情報のいかんに問わず、修正処理に付されるものである。このような場合、肌特徴ピクセルと関連付けられた色情報は、いかなる肌特徴を除去の対象とすべきかを決定する上で、利用できる。また、その代わりの手法として、操作者に望まなかった修正（好まれていたほくろの除去）をもとに戻すことを可能とするツールをグラフィックユーザーインターフェース（Graphic User Interface、GUI）に設けることが挙げられる。好まれる実施の形態では、ユーザーは画面上のツールのリストからアンドゥー／リドゥー（ｕｎｄｏ／ｒｅｄｏ、元に戻す／やり直す）ツール８４を選択し、マウス等のポインティング装置４０を用いて、ユーザーが修復を望む箇所である原画像８０の中の肌特徴の位置までそのアンドゥー／リドゥーツール８４を動かす。画面の左側に表示される原画像８０の肌特徴にクリックすることで、画面の右側に表示される強調画像８２にその特徴が元通りに戻されることになる。また、原画像の復元された肌特徴に再度クリックすると、強調された画像からその肌特徴が除去されることになる。アンドゥー／リドゥーツールを用いて、このような処理を繰り返しことにより、目的の肌特徴が強調された画像中に残されている場合には、その強調された画像からその肌特徴は除去され、また、目的の肌特徴が強調された画像中に残されていない場合には、その強調された画像にその肌特徴が復元される。また、その代わりの実施の形態では、テクスチャー強調スライダー９２を「強調なし」に設定し、ユーザーがどの肌特徴を取り除くかを選択できる形で前記ツール８４を用いてもよい。
【００６０】
他の実施の形態では、グラフィックユーザーインターフェースは、一つ以上の顔を含むデジタル画像を取得し、表示する。ここでは、上述の手法を用いて、肌特徴を識別し、マップするために肌特徴マップが生成される。これにより、当該肌特徴マップにデジタル画像の中の一つ以上の顔が表される。そして、ポインティング装置４０が特定の肌特徴をポイントするために用いられる。このポインティング装置４０のポインティング及びクリック操作に対応して、その特定の肌特徴に対して肌特徴マップが参照され、そのポイントされた特定の肌特徴に対する適切な強調が適切な強調フィルタによって行われる。
【００６１】
〔肌トーン強調フィルタ〕
肌トーン強調フィルタ６２０（図６参照）の役割は、肌のトーンの全体的な外見を改善することである。当該肌トーン強調フィルタは、バランスのとれていない肌トーンを均等にし、より均整のとれた色の肌トーンが生成される。更に、肌トーン強調フィルタは、より望ましい肌の色の表現を提供するために、肌トーンの色の修正を行う。これは、個人的或いは文化的な好みに一致した肌トーンの表現を提供するために行う肌の輝度や色度の修正に該当する。また、肌トーンの問題は、テクスチャーに比べて、より大きな空間に関わるものである。よって、肌トーンを必要以上に均等にすることがないように心がけることが大切である。なぜなら、顔にハイライトや影が全く存在しないと、顔は平らで、つまらない印象を与えてしまうからである。
【００６２】
図１３は、本発明に係る肌トーン強調フィルタについての好まれる実施の形態のフローチャートを示している。以下のように、肌トーン強調フィルタは、入力画像Ｉ（ｘ）とブラー段階１２１０で取得された入力画像のぼかされたバージョンＩｂ（ｘ）とを適応的にブレンドすること（ブレンド段階１２４０）により、適応的にハイライトや影を圧縮する。
Ｏ（ｘ）＝α（ｘ）Ｉｂ（ｘ）+（１−α（ｘ））Ｉ（ｘ） （数式１７）
上記数式１７において、α（ｘ）は、係数生成段階１２３０で取得されたブレンド係数を表し、ｘ＝（ｘ，ｙ）は、ピクセルの位置を表している。このブレンド処理は、色チャンネル全てに対して適用される。このブレンド係数は、次のように影／ピーク生成段階１２２０で取得されたｘにおける影／ハイライト強度画像ＳＨ（ｘ）の関数である。
α（ｘ）＝ｆ［ＳＨ（ｘ）］ （数式１８）
図１４は、影／ハイライト強度画像を計算する本発明に係る実施の形態を示している。段階１２２０からの影／ハイライト強度画像は、輝度画像１３１０から平均輝度画像１３２０を減算することによって生成される。当該輝度画像は、前記数式２を用いることによって計算される。平均輝度画像は、局所平均輝度画像又は大局平均輝度画像であってもよい。局所平均輝度画像は、ガウスフィルタやボックスフィルタ等のブラーフィルタを輝度画像に適用することによって生成できる。一方、大局平均輝度画像は、特徴点によって境界付けられた肌領域内の肌の平均輝度を決定することによって、算出される。影／ハイライト画像を計算するのに局所平均画像を用いるときにおいて、この影／ハイライト強度は、ヴァレー／ピーク画像に類似している。一つの好まれる実施の形態では、影／ハイライトマップを計算するのに用いられるブラー半径は、前記肌テクスチャー強調フィルタで用いられるブラー半径又はヴァレー／ピークフィルタの範囲よりも大きいものであるべきである。いずれの場合においても、当該ブラー半径は、顔の大きさ（デフォルトパラメータの一つの例である）に従属するものである。
【００６３】
その最も簡単な実施の形態においては、そのブレンドの係数は、定数f [SH(x)]= α(x)=αであり（デフォルトパラメータの１つである）、図１５の(a)で示されているように影／ハイライト強度画像に従属するものではない。図１５の(b)と(c)で示されているブレンド関数は、影部分に変更を加えずに、光や油肌から起因するハイライトやホットスポットを抑えるのに有効である。
【００６４】
肌トーンフィルタは、肌の色の表情を修正するのに用いることができる。ここで、好まれる実施の形態としては、肌領域等の領域における色Ｃは、次の数式１９のように領域の肌分布の平均及び分散を変動させることによって、Ｃｍｏｄへと修正できる。
【００６５】
【数６】
ベクトルＣ（ｘ，ｙ）は、ピクセルの赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の信号に対応するものであり、Ｃｐｒｅｆｅｒｒｅｄは、好まれる色ベクトルであり、
【００６６】
【外１】
は、現平均の色ベクトルであり、ｋは、０と１との間で変動し得る定数である。その好ましい色たるＣｐｒｅｆｅｒｒｅｄ（ｘ，ｙ）は、修正の対象となる領域によって空間的に変動し得る。
【００６７】
肌領域を明るくしたり、暗くしたりするための好ましい実施の形態は、肌領域のコントラストを次のように修正するものである。
Ｃｍｏｄ（ｘ，ｙ）＝Ｃγ（ｘ，ｙ） （数式２０）
上記数式２０では、γの値が１よりも小さい場合は、肌色を明るくするのに対応し、γの値が１よりも大きい場合は、肌色を明るくするのに対応する。
【００６８】
また、肌領域を明るくするための代わりの実施の形態として、次のものがあり、
【００６９】
【数７】
更に、肌領域を暗くするための代わりの実施の形態として、次のものがあり、
【００７０】
【数８】
それぞれにおいて、γは０と１との間で変動する。
【００７１】
上記手法は、Ｃが他の色空間（例えば、ＣＩＥＬＡＢ、ＹＵＶ、ＨＳＶ等）で表される場合においても適用できる。更に、上記数式は、Ｃの全て若しくはＣの構成要素の部分集合に対して適用できる。この事実は、構成要素が輝度（Ｌ＊）や色度（ａ＊ｂ＊）と関連する色空間（例えば、ＣＩＥＬＡＢ）でＣが表される場合に特に当てはまる。
【００７２】
〔歯及び目の強調フィルタ〕
歯の強調フィルタ６３０及び目の強調フィルタ６４０（図６参照）が有する役割は、歯及び目の輝度及び白さを増加させることである。図１６は、本発明に係る歯及び目の白色化フィルタの実施の形態のフローチャートを示すものである。歯／目マスクの生成段階１５１０において、顕著な顔特徴点４２０（図４参照）は、目及び歯の領域に対応するピクセルを識別するマスクを生成するために利用される。入力画像を用いるヴァレー／ピークマップ生成段階１５２０において、そのヴァレー／ピークマップは、ブラー半径を目と目との間隔（デフォルトパラメータの１つの例である）で判断する前記数式１２を利用することによって生成される。拡大縮小要素(scaling factor) 生成段階１５３０において、ヴァレー／ピークマップ及び色情報が目及び歯のマスクのピクセルの輝度及び色度の値の拡大縮小要素（デフォルトパラメータの一例である）を計算するのに利用される。次にピクセル修正段階１５４０において、それら拡大縮小要素は、新たな輝度及び色度の値を生成するのに、目及び歯の領域のピクセルの輝度及び色度に対して適用される。
【００７３】
本実施の形態では、マスク領域におけるピクセルのＲＧＢ値は、ＣＩＥＬＡＢ（Ｌ＊ａ＊ｂ＊）空間に変換され、その輝度及び色度のそれぞれの値が次の数式のように修正され、
Ｌ＊＝Ｌ＊・（1+ｋＰ） （数式２３）
ａ＊＝ａ＊／（1+ｋＰ） （数式２４）
ｂ＊＝ｂ＊／（1+ｋＰ） （数式２５）
ｋは、前述したデフォルトパラメータであり、Ｐは、ピクセルが目又は歯の白い部分のいずれかに属する確率（probability）を表す。その確率Ｐの好ましい表現は、以下の数式で示され、
【００７４】
【数９】
Ｆは、前記数式１２を用いて計算される。当該式において、ブラー半径は顔の大きさの関数として選択され、βが閾値となる。
【００７５】
〔形状強調フィルタ〕
形状強調フィルタ６５０（図６参照）の役割は、目、鼻や口等の顔特徴の形状を修正することである。これの顔特徴の形状の強調は、標準的なワープ技術を用いて修正することで行われる。本発明を実施するための有効なワープ技術の例として、「Feature-Based Image Metamorphosis, Computer Graphics」（ T.Beir and S. Neely, 26(2):35-42, New York, NY, July, 1992, Proceedings of SIGGRAPH ’92）が参考として挙げられる。
【００７６】
図１９は、本発明に係る形状強調フィルタ６５０の実施の形態のフローチャートを示している。ソース制御点決定段階１９１０において、画像をワープするのに用いられるソース制御点１８１０（図１８参照）は、形状強調の対象となる顔特徴（例えば、目）の輪郭を描いている特徴点４２０（図４参照）によって決定される。目標制御点段階１９２０では、目標制御点１８２０が決定される。その目標制御点の位置は、形状修正されたイメージのソース制御点１８１０の新しい位置を規定するものである。目標制御点１８２０（Ｄ１、Ｄ２、Ｄ３及びＤ４）は、それぞれソース制御点１８１０（Ｓ１、Ｓ２、Ｓ３及びＳ４）の新しい位置である。ワープ段階１９３０では、ソース制御点及び目標制御点は、画像をワープするのに利用される。目標制御点１８２０は、希望される顔特徴形状の変更に規定される。例えば、目の大きさの拡大が希望される場合、目標制御点１８２０は、図１８のように配置される。
【００７７】
本実施の形態において、形状強調フィルタのパラメータは、顔特徴形状が拡大されたか或いは縮小されたかを目標制御点１８２０の位置を用いて規定するものである。その形状強調フィルタは、コントロールスライダーを追加することにより、ＧＵＩスクリーン７８（図１Ｂ参照）に含めることができる。更に、各顔特徴に対して独自の形状強調フィルタを設けても良い。本発明のシステムは、スライダーの位置を形状強調フィルタの適切なパラメータ値にマップする。当該スライダーを一方の方向に動かすことは、顔特徴の縮小を生じさせ、また、スライダーをその他方の方向に動かすことは、顔特徴の拡大を生じさせる。各スライダーのデフォルト位置（スライダーがいずれかの方向に動かされる前までの位置）は、形状強調に何ら作用させないニュートラル位置に設定しても良い。
【００７８】
以上の説明において、一定のパラメータは、本発明に係るシステムのデフォルトパラメータの候補として特定されている（例えば、強調フィルタの最初の設定やＧＵＩで用いられる強調スライダーの最初の設定として規定されているもの）。しかし、これらパラメータは、特別に限定されることなく、適切なデフォルトパラメータの例として選択されたものであり、パラメータの設定を限定又は制限するものとして捉えるべきものではない。また、本発明に係る技術分野の当業者にとって、本発明に記載されたパラメータの他に多くのパラメータをもデフォルトパラメータとして選択又は指定できることは明らかである。
【図面の簡単な説明】
【図１Ａ】本発明を実行するためのシステムを示す図である。
【図１Ｂ】本発明に係るシステムに使われるグラフィックユーザーインターフェースを示す図である。
【図２Ａ】一定限度のユーザーの介入を伴う本発明に係る実施の形態を実行するためのフローチャートである。
【図２Ｂ】ユーザーの介入を伴わずバッチ式で本発明を自動的に実行する実施の形態のフローチャートである。
【図３】図２Ａ及び図２Ｂにおける顔検出段階及び顔特徴点探知段階のフローチャートである。
【図４】検出された顔の顕著な特徴点の位置を絵で表した例を示す図である。
【図５Ａ】首領域を決定する方法のフローチャートである。
【図５Ｂ】最終的首確率マップを生成するためのプロセスの一部を絵で視覚的に表現した例を示す図である。
【図５Ｃ】最終的首確率マップを生成するためのプロセスの一部を絵で視覚的に表現した例を示す図である。
【図５Ｄ】最終的首確率マップを生成するためのプロセスの一部を絵で視覚的に表現した例を示す図である。
【図６】図２Ａ及び図２Ｂのフローチャートで示されたシステムで使用される強調フィルタの集合を示す図である。
【図７Ａ】図６で示される肌テクスチャー強調フィルタのフローチャートである。
【図７Ｂ】肌テクスチャー強調フィルタによって用いられるヴァレーエッジフィルタ核を含むピクセル近傍を示す図である。
【図８】本発明によって肌特徴の選択及び修正を行う実施の形態のフローチャートを示す図である。
【図９】欠陥ピクセルの周囲に配されたラインセグメントを示す風車フィルタを絵で描かれた例を示す図である。
【図１０Ａ】欠陥ピクセルの修正された値を推測するために図９における風車フィルタを利用するプロセスを図１０Ｂと併せて示すフローチャートである。
【図１０Ｂ】欠陥ピクセルの修正された値を推測するために図９における風車フィルタを利用するプロセスを図１０Ａと併せて示すフローチャートである。
【図１１】図１０Ａ及び図１０Ｂで示されているプロセスにおいて新しいピクセル値を計算する実施の形態を示すフローチャートである。
【図１２】図９で示されている風車フィルタの特徴ピクセルを通してラインセグメントを生成するプロセスを示すフローチャートである。
【図１３】図６で示されている肌トーン強調フィルタの実施の形態を示すフローチャートである。
【図１４】図１３における肌トーン強調フィルタで使用されるための影／ハイライト強度の計算を行う実施の形態を示すフローチャートである。
【図１５】図１３における肌トーン強調フィルタで使用される異なるブレンド係数を作用の関数を示す図である。
【図１６】図６で示されている歯及び目の強調フィルタの実施の形態を示すフローチャートである。
【図１７】肌テクスチャー強調フィルタで使用されるブレンド関数を示す図である。
【図１８】目に対して形状調整（強調）で使用される制御点を絵で表現した例を示す図である。
【図１９】図６で示されている形状強調フィルタの実施の形態のフローチャートである。
【符号の説明】
１０ システム
１２ パソコン（ＰＣ）
２０ 保存媒体
２８ スキャナー
３０ デジタルカメラ
４０ 入力装置
５０ ディスプレーモニタ
６０ プリンター
６２ サーバー
６５ 保存媒体
７０ 通信ネットワーク
７８ グラフィックユーザーインターフェース（ＧＵＩ）画面
８０ 原画像
８２ 強調画像
９０ 外見強調
９２ テクスチャー強調
９４ 肌強調
９６ 目強調
９８ 歯強調
２００ 開始段階
２０５ 取得及び表示段階
２１０ 探知段階
２１５ 表示段階
２２０ 決定段階
２２５ 変更段階
２３０ デフォルト設定段階
２３５ 実行段階
２４０ ユーザー選択段階
２４５ ディスプレー段階
２５０ 決定段階
２５５ ローカル印刷段階
２６０ ローカル保管段階
２６５ リモート印刷段階
２７０ リモート保管段階
２７５ 問いかけ段階
２８０ 終了段階
２８２ 取得段階
２８４ 顔検出及び探知段階
２８６ 強調選択段階
２８８ 強調実行段階
２９０ 顔問い合わせ段階
２９２ 保存段階
２９４ 画像問い合わせ段階
３１０ 顔検出モジュール
３１５ 顔特徴検出器
４１０ 検出された顔
４２０ 顕著な特徴点
５５０ 包括的マッピング段階
５５４ 拡大縮小段階
５５６ 肌色マッピング段階
５５８ マップ合体段階
５７０ 包括的マスクを伴った中央領域
５７２ 境界領域
５７４ 首確率マップの輪郭
５７６ 中央領域
６１０ 肌テクスチャー強調フィルタ
６２０ 肌トーン強調フィルタ
６３０ 歯強調フィルタ
６４０ 目強調フィルタ
６５０ 顔特徴形状強調フィルタ
７１０ 肌特徴生成段階
７２０ 特徴修正段階
８１０ 特徴選択段階
８２０ 拡張段階
８３０ フィルタリング段階
９１０ 顔境界
９２０ 拡張された特徴
９３０ ラインセグメント
９４０ 特徴ピクセル
１００２−１１９０ 風車フィルタ段階
１２１０ ブラー段階
１２２０ 影／ピーク生成段階
１２３０ 係数生成段階
１２４０ ブレンド段階
１３１０ 輝度画像
１３２０ 平均輝度画像
１３３０ 減算段階
１５１０ 目／歯マスク生成段階
１５２０ ヴァレー／ピークマップ生成段階
１５３０ 拡大縮小要素生成段階
１５４０ ピクセル生成段階
１８１０ ソース制御点
１８２０ 目標制御点
１９１０ ソース制御点決定段階
１９２０ 目標制御点決定段階
１９３０ ワープ段階
【発明の属する技術分野】
本発明は、一般的にデジタル画像の分野に属するものであり、特に、人間を対象とした肖像に係る画像から得られた改良された画像生成物の創作に係るものに関する。
【０００２】
【従来の技術】
何世紀もの間、社会における裕福若しくは特別な階級の人々のみが、絵画、彫刻又はデッサンによる精巧な肖像の創作を職業として行う優れた職人を雇うことができた。多くの場合、肖像の描写は、単に現実の肖像をそのまま描くこと以上の役割を果たすものであった。肖像の対象が抱く希望や期待は、職人の作品に対して微妙な形或いは明白な形で反映される。また、二つ目の役割としては、現実の姿を向上させることにある。肖像の対象たる本人は、自らの肉体的な欠点を少なくし、自らを可能な限り最も美しい姿で見せることに努めた。
【０００３】
現代社会では、人物の肖像を描写することは、もはや裕福で権力のある者が独占する領域のものでなくなった。社会のあらゆる層で写真技術が登場したことによって、人生における大事な出来事において肖像画像の創作が普及することとなった。西洋文化では、結婚式、卒業式、誕生日、新たな子供の誕生等は、比較的一般化された態様で肖像画像に収められている。今日の技術は、素人である個人でもこれら肖像画像を捉え、更に画像の向上を図ることさえ可能ならしめているが、より品質の高い肖像画像を提供するプロの写真家もまだ健在である。即ち、今も尚、これら肖像を描写する人々の目的は、過去数世紀と同様であり、肖像の対象を最も喜ばれる姿で表現することにある。本質的には、肖像の対象たる本人は、自分のありのまま姿ではなく、自分が理想とする姿で見られることを望むのである。
【０００４】
自分のありのままの姿ではなく、自分が理想とする姿で見られたいという願望に応ずべく、プロの写真家は、肖像画像をリタッチ若しくは修正することによって肖像の対象が希望する外見を提供する。当該修正は、何らかの手法によって、もともとの写真画像には捉えられていなかったものや描写されなかったものへ写真画像を変更することに関するものである。肖像画像を修正することの目標の一つは、その人の個性を維持しつつ、その人の一時的な欠点（吹き出物、目の下の隈等）や永久的な欠点（ほくろ、しわ等）を取り除くことである。顔の吹き出物、ほくろ、あざを取り除くこと、線やしわを和らげること、目の下の隈を減らすこと、及び歯や目の白い部分を白くすることは、肖像画像における個人の外見の改善或いは向上を図るために行う修正の例である。
【０００５】
デジタル時代が到来する前は、画像の修正は、画像のネガ或いはそれが印刷されたものに対して施され、肖像画像の欠点を覆ったり或いは変更したりするのに染料が用いられていた。今日デジタル画像取込装置が日常において入手可能なため、デジタルで取込まれた画像にデジタルイメージング技術を施すことが今日好まれる修正方法である。デジタル手法は、かつてアナログ画像に対して施すことが困難若しくは不可能であった画像についての向上を可能ならしめるのである。アドビフォトショップ（登録商標）等の画像編集ソフトは、吹き出物を取り除いたり、鼻を真っ直ぐにしたり、目を均等にさせたり、デジタルメークを施したりすることによって肖像を改良できる。
【０００６】
コンピュータ技術や画像処理のアルゴリズムの発達は自動化或いは半自動化された画質の向上に係る新しい分野を生み出している。肖像画像に直接関連する開発された技術としては、人相の検出及び認識、顔特徴の検出及びマスキング、顔のリポージング（RE-POSING）、赤目の検出及び修正等がある。
【０００７】
特許文献１（Hillebrand外）で開示されているシステムは、皮膚の欠陥を検出し、皮膚の劣化指数を計算するものである。このシステムは、化粧品及びスキンケアの市場に向けられたものである。このシステムは、肌の欠点を除去或いは隠すために提案されている処置又は商品を施した場合に劣化した肌の箇所がいかに改良されるのかをシミュレートできる。かかる肌の欠点は、色情報によって検出され、また、肌の劣化した箇所の改良をシミュレートするのに、一般的なモーフィング技術が利用される。
【０００８】
特許文献２（Utsugi）に記載されている方法は、理想の顔やモデルの顔に基づいて画像処理された理想のメーク後の顔を用意するものである。この技術は、メークによって改良を施すことができる範囲内においてハイライトされた箇所や眉毛の形、目の線、唇の線を理想の顔やモデルの顔に近づけることに関するものである。
【０００９】
上記システム、とりわけ、結婚式、卒業式、学校、スポーツ、誕生日、出産の日等に係る写真を扱う場合のバッチ式肖像描写のシステムが有する問題としては、好みの入力や結果の分析など顧客との間で多大な対話が必要となることである。例えば、上記特許文献２では、モデルの顔（選択された有名タレント、女優、俳優の顔）やその顔に近づけるために必要な調整を定着させるのには、メークを施すべき対象たる顧客が実際にその場にいることが必要となる。更に、良好な結果を出すには、熟練した操作者と顧客とが共に協力する必要がある。
【００１０】
よって、デジタルのイメージング技術が登場しているものの、かかる肖像を修正すること自体は技能であり、今日も科学というよりはむしろ技芸に近いものである。更に、肖像画像の修正は、熟練した操作者によって、多くの手動的な操作及び時間を必要とする。よって、肖像の修正を容易ならしめる自動化又は半自動化された肖像画像の強調を図る手法を用いたシステムを開発することが望まれる。
【００１１】
【特許文献１】
国際公開第ＷＯ００／７６３９８号
【特許文献２】
欧州特許出願公開第ＥＰ１０３０２７６Ａ１
【発明が解決しようとする課題】
従って、本発明は、上記従来技術の問題を解消し、人間の外見を対象とした画像の自動化された強調方法及びシステムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、上記１以上の問題を解消するためになされたものである。概略して、本発明の一つの観点によると、デジタル画像内にある顔の外見の強調方法は、（ａ）１つ以上の顔を含んだデジタル画像を取得する段階、（ｂ）前記１つ以上の顔において肌、目、眉毛、鼻、口、首、髪のいずれか１つ以上を有する顕著な特徴を特定する点を含んだ顔特徴点の位置を検出する段階、（ｃ）肌、目、眉毛、鼻、口、首、髪の領域のいずれか１つ以上を含む異なる領域に前記１つ以上の顔を分割するために、前記顔特徴点の位置を利用する段階、（ｄ）前記異なる領域における顔の重要な特性を１つ以上決定する段階、（ｅ）前記異なる領域における顔の重要な特性に基づいて、▲１▼特定領域に対してそれぞれ設定された２つ以上の強調フィルタと▲２▼該強調フィルタのデフォルトパラメータとを選択する段階、及び（ｆ）前記特定領域に対して前記強調フィルタを実行する段階とを含むものである。
【００１３】
効果的に自動化又は半自動化された肖像画像強調方法を用いることによって、熟練した操作者に修正的変更を加えさせたり、管理させたりすることを必要とせずに、肖像の修正を可能ならしめることが、本発明の利点である。本発明の利点としては、さらに多くの手作業と時間を熟練した操作者によって行われることが避けられ、本発明に係る修正方法は、バッチ処理に対しても適用できることである。
【００１４】
【発明の実施の形態】
本発明の前記並びにその他の目的、特徴及び利点は、以下に掲げられた実施の形態についての詳細な説明及び特許請求の範囲を添付図面と照らし合わせることによって、より明らかになる。
【００１５】
顔の特徴を検出する手法及び特徴の強調を図る手法を利用する画像処理システムは良く知られているが、以下の説明では、特に、本発明に係るシステム及び方法との関係において、その一部を構成し或いは直接的関連性を有する特性について説明する。ここで特別に明示又は説明されていない特性等については、関連技術分野で知られているものから選択することが可能である。以下の説明において、本発明に係る実施の形態は通常ソフトウェアプログラムとして提供されるものであるが、当該ソフトウェアと均等なものを組み込んだハードウェアとしても提供できることは当業者からすれば理解できる。本発明に係るシステムは、以下に説明される構成を有するため、ここで特別に明示、示唆又は説明されていないソフトウェアであって、本発明を実行するのに役立つものについては、慣用的なものであり、当業者の通常の技術の範囲に含まれる。本発明の説明の中の名称についてだが、強調フィルタとは、デジタル画像の中の顔の視覚的外見の強調を図るものをいう。例えば、目の強調フィルタとは、目の白さ及び／又は虹彩の強調を図るものをいう。
【００１６】
もし、本発明をコンピュータプログラムとして実行する場合には、当該プログラムを一般的な電子計算機で読み取り可能な保存媒体に保存してもよく、その媒体には、例えば、磁気ディスク（フレキシブルディスク、ハードドライブ等）や磁気テープ等の磁気保存媒体、光学ディスク、光学テープ、装置で読み取り可能なバーコード等の光学保存媒体、RAM（Random Access Memory）、ROM（Read Only Memory）等の固体電子保存装置、或いは、コンピュータプログラムを保存するためのその他の有形の装置又は媒体が含まれる。
【００１７】
図１Ａは本発明を実行するのに役立つシステム１０を示している。当該システム１０は、一組の所定段階で本発明に係る方法を実行ならしめる中央処理装置（CPU）を有するパーソナルコンピュータＰＣ１２を含んでいる。デジタル保存媒体２０は、デジタル画像を保存するために、ＰＣ１２と接続されて提供されている。デジタル保存媒体２０には、RAM、ROM、ハードドライブ、フロッピー（登録商標）ドライブなど種々の異なった装置が含まれる。また、デジタル保存媒体２０は、生成された強調画像をローカルに保存するのに用いられてもよい。更に、付加的な供給源として、スキャナ２８、デジタルカメラ３０等のデジタル画像取込装置をＰＣ１２に設けることも可能である。尚、デジタル画像は、いかなる供給源から取得するものであってもよい。ユーザーは、マウス及び／又はキーボード等の入力装置及び前記コンピュータ１２と接続されているディスプレーモニタ５０を介してコンピュータ１２と対話する。システム１０は、イメージをローカルに出力するためにプリンター３４等の装置を設けることもできる。一般的に、上記構成部分は、PC１２と直接接続されているという点で、PC１２に帰する。
【００１８】
代わりとして、上記構成部分は、必ずしもホストコンピュータ（PC）１２に帰する必要はなく、通信ネットワーク７０を介してクライアントPC１２に接続されるサーバー６２に帰することも可能である。前記サーバーも、一組の所定の段階で本発明に係る方法を実行ならしめる中央処理装置（CPU）を有するパーソナルコンピュータＰＣ１２を含む構成をとることができる。前記サーバーは、保存媒体６５及び１つ以上のプリンター６０に接続されることが可能である。このようにして、画像は、通信ネットワーク７０を介してリモートに取得、保存、及び印刷されることができる。本発明を実行するためのソフトウェアは、一般的に保存メディアの中に保存されている。代わりとして、このソフトウェアは、通信ネットワーク７０を介してサーバーからダウンロードされることも可能である。クライアントがPC１２に含まれるCPUを使うことによって、若しくは、サーバーがサーバー６２に含まれるCPUを使うことによって、本発明を実行するためのソフトウェアの実行が可能となる。通信ネットワーク７０は、LAN（Local Area Network）等の私的ネットワーク、又はインターネットサービスプロバイダ（Internet Service Provider、ISP）を介して個人によるアクセスが可能であるインターネット等の公的ネットワークから構成されることも可能である。また、それらネットワークで慣習上用いられているように、リモートのネットワークサービスプロバイダは、小売的なキオスク或いは適当な通信装置を介して顧客にアクセスされることも可能である。
【００１９】
図１Ｂは、本発明を実行するためのソフトウェアのグラフィックユーザーインターフェース（Graphic User Interface、GUI）の例を示しており、そのソフトウェアは、システム１０でローカルに又はサーバー６２でリモートに稼動し、同図に示されているようにGUIスクリーン７８を作成する。ユーザーは、そのソフトウェアを起動し、強調の対象となる画像をダウンロードする。当該画像がダウンロードされると、GUIスクリーン７８はディスプレー５０で表示される。GUIスクリーン７８の左側の画像８０が、本発明に係る方法によって強調の対象となるダウンロードされた原画像である。その右側には、強調された顔の画像８２が表示されている。一つの実施の形態では、イメージがダウンロードされると、ユーザーは強調の対象となる顔の目の部分にクリックする。それに応じて、システムは、自動的に顔の特徴点を見つけ出し、顔の異なった部分（例えば、目、眉毛等）と首領域に分割する。システムはデフォルトパラメータを設定し、所定の順番で全ての強調フィルタを原画像に適用する。
【００２０】
それに対する結果画像８２は、GUIスクリーン７８の右側に表示されている。ユーザーは、スライダー９０、９２、９４、９６、９８を用いて異なる強調フィルタのパラメータを対話的（インターアクティブ）に変更することを可能にする。それらスライダーの最初の位置は、システムが自動的に設定したデフォルト値に対応している。外見強調メインスライダー９０は、全ての要部強調サブスライダーの全てを合体させている。強調サブスライダーには、テクスチャー強調スライダー９２、肌強調スライダー９４、目強調スライダー９６及び歯強調スライダー９８が含まれる。テクスチャー強調スライダー９２は、テクスチャー強調フィルタのパラメータを制御するものである。肌強調スライダー９４は、肌トーン強調フィルタのパラメータを制御するものである。目強調スライダー９６及び歯強調スライダー９８は、それぞれ目と歯の白色化フィルタのパラメータを制御するものである。全ての強調フィルタについては、次のセクションで詳細に説明する。全てのスライダーの最小レベルは「強調なし」（例えば、各スライダーの左端）と設定され、最大レベルは「最大強調」（例えば、各スライダーの右端）と設定される。
【００２１】
ユーザーは、大局的外見強調スライダー（外見強調メインスライダー）９０又は個別の強調サブスライダー９２〜９８を用いることによって顔の強調の度合いや外見を制御する。ユーザーが外見強調メインスライダー９０の位置を変える度に、システムはそのスライダーの位置をそれぞれの強調フィルタの適切なパラメータ値にマップし、それら強調フィルタ全てを所定の順番で原画像に適用する。そして、強調された画像８２はGUIスクリーン７８の右側に表示される。ユーザーが強調サブスライダー９２〜９８の一つを変える度に、システムは各々の強調サブスライダーの位置に基づいて、強調フィルタ全てを所定の順番で原画像に適用する。強調された画像８２は、GUIスクリーン７８の右側に表示される。本実施の形態におけるGUIのデザインの一部には、顔の特徴点及び首領域の境界線を変更するオプションがある。ユーザーがGUIスクリーン７８の上部にあるバーから「編集」をメニューからプルダウンすることにより、当該オプションを選択すると、顔の特徴点及び首領域の境界線箇所が原画像８０に被せられ、ユーザーは、ユーザー入力装置４０（例えば、ポインティング装置）を使って、それら表示された箇所の位置を変更できる。ツールバー８４には、ユーザーが表示された画像と対話（インターアクト）したり、変更したりすることを可能ならしめる所定のツールが含まれている。例えば、ズームイン及びズームアウトするためのツール、特徴点を編集するためのツール、強調された画像と原画像とをローカルにブレンドするためのツール、強調フィルタの結果を空間的に変更するためのツール等が該当する。
【００２２】
図２Ａは、本発明に従って、肖像画像を強調させる方法の一実施形態の概略的なフローチャートを示すものである。段階２００の開始後、取得及び表示の段階２０５において、デジタル画像がシステムによって取得され、それがディスプレーモニター５０に表示される。本発明において、デジタル画像は、写真から取得した画像のみに限定されず、あらゆる供給源から取得したデジタル画像のことをいい、例えば、デジタルカメラから、ハードコピーのイメージのスキャンから、その他の供給源から電子的に取得した画像が該当する。探知の段階２１０では、イメージの中の個別の顔が検出され、各々の顔の顔特徴点の位置が識別される。各々の顔の位置及び関連する特徴点の探知の工程は手動的にユーザーによって行われるものであってもよく、又は画像処理技術によって半自動的に又は自動的に行われてもよい。上記顔特徴点の位置は、顔の異なった領域（例えば、肌、目、鼻、口、髪）及び首領域を識別及び分割するために利用される。表示の段階２１５では、顔特徴点を画像に被せて、ディスプレーモニター５０にそれが表示される。選択的に、首領域をなぞる特徴点も表示され得る。もし顔特徴点が自動的に又は半自動的に決定されたのであれば、決定の段階２２０において、当該特徴点を調整する必要があるか否かを決定する機会がユーザーに与えられる。ユーザーが当該特徴点の調整を行う必要があると判断した場合には、変更の段階２２５において、ユーザーは、入力装置４０を用いて当該顔特徴点を調整することができる。選択的に、ユーザーは、首領域の境界をたどっている特徴点を調整することも可能である。
【００２３】
デフォルト設定の段階２３０において、システムは、顔特徴点の位置を利用して、異なる領域（例えば、肌、目、鼻、口、髪、顔の毛等）を識別及び分割して、強調フィルタの適切なデフォルトパラメータを決定する。本実施形態における首領域は、顔特徴点の位置に基づいて自動的に分割される。首領域を分割する方法の詳細は、後述する。よって、段階２３０で、システムは首領域の強調フィルタの適切なデフォルトパラメータをも決定できる。選択的に、この段階において、性や年齢の分類アルゴリズムを用いて手動的に又は自動的に顔の性や年齢を決定することができる。自動的な性の分類に関する例として、「Gender Classification with Support Vector Machines」（Proc. of 4th IEEE Int’l Conf. On Face & Gesture Recognition、March 2000）が参考として挙げられる。対象となる顔のデジタル画像において特に詳述された顔特徴点に対して分析を行うことによって、一般的なアルゴリズムで年齢分類ができ、例えば、顔特徴比率の分析やしわの分析等が行われる。本発明を実行するのに役立つ自動年齢分類アルゴリズムを開示する米国特許出願番号5,781,650（Lobo and Kwon）を参考としてあげる。性別や年齢の分類は、どの強調フィルタを性別特有のパラメータと共に実行するのかを決定するにあたって利用することができる。例えば、デフォルトとして、女性の顔のテクスチャーや肌の強調の量を男性の顔よりも多く設定すること等である。
【００２４】
そして、実行の段階２３５において、システムは、適切に選択されたパラメータを用いて強調フィルタを実行する。代わりとして、破線で示されているようにユーザー選択の段階２４０において、ユーザーは、いかなる強調フィルタを適切なパラメータと共に実行されるべきかを選択することができる。システムが強調フィルタを段階２３５において実行し終えると、強調された画像は、ディスプレーモニター５０のディスプレーに表示される（段階２４５）。この時点で、ユーザーは、その強調された画像が容認できるか否かを決定できる。もし、その画像を容認できなければ、ユーザー選択の段階２４０において、それぞれの強調フィルタ及び／又はそれらのパラメータを変更すること或いは変更の段階２２５において、顔特徴点の位置を調整することをユーザーは選択できる。一つの実施形態では、ユーザーは、順番に異なった強調フィルタを実行して、それが画像にどのように影響するかを確認することができる。本実施の形態では、ユーザーは、容認できる結果が得られるまで、それぞれの強調フィルタやパラメータを変えながら、段階２４０、２３５、２４５、２５０を繰り返すのである。もし、決定の段階２５０において、強調画像が容認できるものと判断される場合には、ローカル印刷の段階２５５において、プリンター３４を用いてローカルに印刷すること若しくはローカル保管の段階２６０において、保存媒体２０にローカルに保管することのいずれかをユーザーは選択できる。代わりとして、通信リンク７０を介してシステムがサーバー６２に接続されている場合には、リモート印刷の段階２６５においてリモートに印刷すること若しくはリモート保管の段階２７０において、保存媒体６５にリモートに保管することのいずれかをユーザーは選択できる。適切な動作が選択されて、完了すると、システムは新たな画像が存在するか否かを問いかける（問いかけ段階２７５）。その問いかけに対する回答に応じて、次の画像のために取得及び表示の段階２０５に戻る若しくは作業を終える（終了の段階２８０）。
【００２５】
図２Ｂは肖像画像の強調を図る本発明の別の実施の形態を示すものであり、より高度な自動化及びより効率的な生産を商業的写真施設で実現するのに資するものである。この実施の形態は、ユーザーの介入を必要とすることなく肖像強調システムで大量の画像の処理を図る自動的なバッチ処理を示すものである。取得の段階２８２では、強調の対象として選択された画像のリスト（コンピュータファイル）から画像が取得される。顔の検出及び探知の段階２８４では、画像の中の顔が自動的に検出され、各顔における顔特徴点の位置が自動的に特定される。強調選択の段階２８６では、システムは、その顔を特徴づけ、適切な強調フィルタの集合及びそれら強調フィルタのデフォルトパラメーターを決定する。選択的に、この段階において、前述した性別及び年齢分類のアルゴリズムを利用することによって自動的に顔の性別及び年齢を自動的に決定することも可能である。
【００２６】
代わりとして、画像と関連付けられたメタデータを介して画像の中の顔の性別及び年齢をシステムに供給することが可能であり、例えば、年齢及び性別は顧客が提供する写真仕上げ封筒によって又はユーザーに尋ねることによって取得できる。デフォルトのフィルタやパラメータは、画像と独立したメタデータによって又は強調の処理が施される前における画像と独立した設定によっても提供され得る。そして、強調実行段階２８８では、システムは、適切に選択されたパラメータを用いて強調フィルタの集合を実行する。もし、画像の中に１つ以上の顔が存在する場合は、この事実は、顔問い合わせ段階２９０で確認され、システムは、画像の中の全ての顔が強調されるまで段階２８６、２８８、及び２９０を繰り返す。保存の段階２９２では、強調された画像が保存される。入力された画像が全て強調されるまで画像を強調する処理が続けられる（画像問い合わせ段階２９４）。全ての画像が処理された後（終了の段階２９６）、それら強調された画像を図２Ａに示される活用段階２５５〜２７０に付することができる。選択的に、全ての画像が処理された後（終了の段階２９６）、それら画像の確認を可能ならしめるために図２Ａに示されているようなユーザーインターアクティヴシステムに導入することも可能であり、必要があれば活用段階（図２Ａの段階２５５〜２７０）に付する前に変更できる。
【００２７】
図３は、図２Ａ及び図２Ｂの顔検出及び特徴点探知の段階たる段階２１０に対するフローチャートであり、本発明によって画像の中にある顔の顕著な顔特徴点の位置を探知する処理を示すものである。画像の中にある全ての顔のおおよその大きさ及び位置を把握すべく顔検出モジュールをデジタル画像に適用し、検出された顔の顕著な顔特徴点の位置は、顔特徴検出器３１５によって確認される。当該顔の検出段階は、ユーザーの手動的行うことによって又は学術文献に記録されている多数の顔検出手法の一つを用いて自動的に行うことによって実現され得る。自動的顔検出の手法として好まれる例としては、「A Statistical Model for 3D Object Detection Applied to Faces and Cars」（Henry Schneiderman、Ph.D. Thesis、Robotics Institute、Carnegie Mellon University、May 2000）が参考として挙げられる。代わりとして、もし手動操作で顔の検出を行う場合には、好まれる例としては、ユーザーが画像の中に存在する１つ以上の顔の両目をクリックするという手法がある。空間的に離隔して配された目に基づいて、顔の大きさの推測が可能となる。
【００２８】
１つ以上の顔を検出した後、各顔の画像上の座標及び推測された顔の大きさは、顔特徴検出器３１５に与えられ、その顔特徴検出器３１５は、検出された顔の顕著な顔特徴点の位置の探知を行う。本実施の形態では、この顔特徴検出器として動的輪郭モデルが用いられる。動的輪郭モデルについては、「Automatic interpretation and coding of face images using flexible models」（IEEE Trans. on PAMI、Vol.19、No.7、pp743-756、1997）に記載されており、参考として挙げることとする。検出された顔特徴点は、顔の異なる領域（例えば、顔の肌の領域、目、鼻、口、眉毛、髪、顔の毛等、首の領域）を識別し、境界を描き、分割するために用いられる。検出された領域は、それに対応するバイナリマスクによって識別される。そして、当該バイナリマスクの領域は空間的にフェザー処理されて、アルファマスクが生成される。これらアルファマスクは、段階２３５及び段階２８８において、強調フィルタの結果を原画像と混ぜるのに利用される（例えば、テクスチャー強調フィルタ）。バイナリマスクをフェザー処理して、それによって作成されたアルファマスクを混ぜる処理に適用することによって、強調された領域と強調されなかった領域との間の自然な移り変わりが確保される。アルファマスクを作成するには、ぼかし機能でバイナリマスクをぼかして、バイナリマスクをフェザー処理するが、ぼかしの半径は、顔の大きさに基づいて選択される。バイナリマスクは、図２Ａ及び図２Ｂで示されるように強調フィルタを空間的にどこに適用するべきかを決定するのに用いられる。
【００２９】
図４は、検出された顔４０の顕著な特徴点４２０の位置についての視覚的な例を示している。一般的に、これらの顔特徴点は、画像処理技術を使って手動的又は自動的に探知される。
【００３０】
多くの画像は、肌強調フィルタを顔の領域だけでなく、首の領域においても適用することが重要となる場合がある。ここで好まれる実施の形態においては、改良された包括的首形状のモデルを肌色分類手段と組み合わせることによって、首の領域が決定される。図５Ａは、首領域を決定する方法のフローチャートを示すものである。包括的なマッピングの段階５５０では、首領域の包括的な確率マップが作成される。包括的な確率マップは首の形に関する事前の知識に基づくものである。本実施の形態では、強調の対象として予想される画像（例えば、肖像型の画像）の母集団をあらわす正規化された画像のサンプル母集団を平均することによって、包括的な確率マップを作成する。各画像を所定の目の位置との関係で拡大縮小し、当該サンプル画像の正規化が図られる。各サンプル画像において、首領域の境界は手動的にアウトラインされる。各ピクセルの最終的な首の確率は、採点関数の平均和であり、任意のピクセルが首領域の一部である場合、その値は１であり、その他のサンプル画像についての値は０である。包括的な首確率マップは発見的な近似式を使って作成できる。本実施の形態では、画像の中の人物の性別が把握されている場合、男女によって異なった確率マップが用いられる。一般的に、女性の肖像の肌領域の方が男性の肌領域よりも多く露出されていることが多い。拡大縮小（scaling）の段階５５４では、包括的な首確率マップは顎の線及び顔の輪郭線の特徴点にはまるように拡大縮小される。
【００３１】
肌色分類の段階５５６では、色分割に基づいて首確率マップが形成される。特定の範囲内の肌色の全てのピクセルを把握すべく、教師付きピクセルベース色分類が用いられる。当該ピクセルベース色分類は、肌に属するピクセル色Ｃの条件付確率関数であり、ガウス式の形で表される。
【００３２】
【数１】
【００３３】
最終的マップ生成段階５５８において、最終確率マップは、拡大縮小された包括的首確率マップ及び肌色ベースの確率マップを合体させることにより生成される。本実施形態では、その二つの確率マップは、算術的に乗じられる。この結果として生成される首確率マップは、強調フィルタの結果をどのように原画像と混ぜるかを判断するのに用いられるアルファチャンネルとして使用される。当該バイナリ首領域マスクは、最終首確率マップを二値化処理することにより生成される。任意のピクセルの確率が０よりも大きい場合は、それに対応するマスクの値は１であり、首領域を示す。一方、それ以外の場合、マスクの値は、０であり、首以外の領域を示す。当該首領域のバイナリマスクは、強調フィルタをどこに適用するかを判断するのに用いられる。
【００３４】
図５Ｂから図５Ｄは、最終首確率マップを創作するプロセスを視覚的に表したものである。図５Ｂは、拡大縮小された包括的首確率マップを示している。まず、包括的な確率マップがその人物の顔の輪郭をたどっている特徴点に一致するように拡大縮小される。包括的な首確率マップは、上述したように顔の輪郭に対応した首の位置に関する予備情報に基づいているものである。図５Ｂに示されている包括的首確率は、上述した統計的分析に基づくものではなく、発見的なルールに基づく一例である。これは、プロセスの定性的な特徴を明らかにするものである。包括的マスク内にある中央領域５７０は、首領域の高い確率に対応して高い値を有している（例えば、０．５より大きく、かつ、１以下の値）。境界領域５７２は、首領域の低い確率に対応して低い値を有している（例えば、０より大きく、０．５よりも小さい値）。境界領域５７２の外においての首領域の確率は、０の値へと次第に減少する。一般に、確率は、中央領域５７０から境界領域５７２へと横方向及び縦方向において連続的に減少する。顎の直下に位置するマスクの中央領域はそれと最も高い確率を有している。
【００３５】
図５Ｃは、肌色分類によって決定された首確率マップの輪郭５７４を示している。当該肌色に基づく確率は、前記数式１によって計算される。当該輪郭５７４の領域外の確率の値は、０と等しい。前記数式１で規定されているように、当該輪郭５７４の領域内の確率の値は、０よりも大きい。拡大縮小された包括的首確率マップ及び肌色分類に基づいた首確率マップの二つの首確率マップは、算術的に乗じられることによって合体される。図５Ｄは、最終首確率マップの輪郭を示している。中央領域５７６は、肌色確率領域５７４によって切り取られた高確率領域５７０に対応する。領域５７８は、肌色確率領域５７４によって切り取られた低確率領域５７２に対応する。
【００３６】
このように、一旦、顔特徴点及び首領域の位置が探知されると、画像の顔及び首領域に対して外見強調フィルタの集合（二つ以上のフィルタ）を適用できる。図６は、いくつかの異なった強調フィルタを示している。本実施形態で用いられる強調フィルタは、肌テクスチャー強調フィルタ６１０、肌トーン強調フィルタ６２０、歯強調フィルタ６３０、目強調フィルタ６４０、及び顔特徴形状強調フィルタ６５０である。これらのフィルタについては、以下詳述する。これら強調フィルタはいかなる順番で適用してもよい。一実施形態では、ユーザーは、いずれの強調フィルタをも選択でき、画像の中の顔及び首領域に対して希望する順番で適用できる。しかし、好まれる実施の形態における本システムは、適切なパラメータと共に強調フィルタが適用されるデフォルトの順番を設定する。
【００３７】
ユーザーがデフォルトの設定での実施を選択する場合には、全ての強調フィルタはデフォルトのパラメータと共にデフォルトの順番で適用され、その強調された画像はモニタに表示される。強調フィルタのデフォルトの順番をあげることとすると、肌テクスチャー強調フィルタ、肌トーン強調フィルタ、歯及び目の白色化フィルタ（歯と目との間の順番はいずれでもよい）、及び顔特徴形状強調フィルタの順番である。以下において、これら強調フィルタは、それらが原画像に適用されるデフォルトの順番と同様に説明することとする。
【００３８】
〔テクスチャー強調フィルタ〕
肌のテクスチャー強調フィルタの役割としては、肌の局所的なテクスチャーをなめらかにすること、吹き出物や黒いシミ等を取り除くこと、或いはしわの長さや深さを減少させ若しくは取り除くこと等である。図７Ａは、本発明による肌のテクスチャー強調フィルタのフローチャートを示すものである。肌特徴生成段階たる段階７１０では、顔特徴点によって輪郭が描かれた肌領域の範囲内の肌特徴が検出される。そして、特徴修正段階７２０において、検出された肌特徴は修正される。肌特徴マップには、修正を希望する特徴（吹き出物、黒いシミ、しわ等）が含まれている。
【００３９】
従来技術では、特定の肌の欠点を検出するのに、色分析の手法が用いられている。更に、その従来技術では、肌領域上にかざされた有限の二次元ウィンドウ内のピクセルに関連する色信号のヒストグラムを分析することによっても、肌の欠点の発見が行われる。肌領域に関連するヒストグラムが双峰分布の場合は、その領域は肌の欠点を含んでいると判断される。これらの技術は、色情報を検出手段の主要な部分として利用されるため、そのイメージングシステムが色による換算を行うこと及び／又は分析の対象となる画像が正しく色のバランスがとられていることが必要となる。かかる色情報の使用の効果は、画像をとらえるのに制御された照明及び／又は色付きフィルタが使用されると向上する。また、検出された欠点をその欠点の色に基づいて、吹き出物、茶色のシミ等のようにより細かく分類を行うこととなると、色を正確に再生することが必要になる。
【００４０】
写真では、しわや吹き出物等の肌の欠点は、望まれない位置におけるハイライトや影という形（実際に当該肌の欠点がない場合にも、ハイライトや影のという形）で現れることがある。よって、肌の欠点は、局所的な明暗度の最大値と最小値に対応する。ハイライトは、画像の輝度のピークに対応し、影は、画像の輝度の谷間（valley、ヴァレー）に対応する。従来技術から発展して、本発明の実施の形態では、ＲＧＢ信号から構成された輝度画像に対してピーク及びヴァレーの検出手段を適用することによって、肌の欠点が検出される。ヴァレー／ピーク検出手段は、二次差分要素である。当該輝度は、以下のように赤信号Ｒ、緑信号Ｇ、青信号Ｂの重み付けられた線形の組み合わせとして定義づけられ、ｋの値は重みを示す。
Ｌ＝ｋ１Ｒ＋ｋ２Ｇ＋ｋ３Ｂ （数式２）
輝度画像を生成するのに好ましい重みの選択としては、ｋ１＝ｋ２＝ｋ３＝０．３３３である。ヴァレー／ピークの要素の例は、「Visual Communication at Very Low Data Rates」（D.E. Pearson and J.A.Robinson、Proceedings of the IEEE、Vol.73、No.4、April 1985）に記載されている。
【００４１】
ここで好まれるヴァレー／ピークの要素は一組の四方向の要素であって、上記文献「Visual Communication at Very Low Data Rates」において採用されている。縦の要素Ｖは、ピクセル位置をaからyへと定めている図７Ｂの５×５のピクセル近傍のうち、真ん中のピクセルｍに適用され、以下の数式３のように定義づけられる。
Ｖ＝ｆ＋ｋ＋ｐ＋ｊ＋ｏ＋ｔ−２（ｈ＋ｍ＋ｒ） （数式３）
この要素は輪郭内の肌領域の各ピクセルの位置に対して適用される。同じように、横の要素Ｈは、数式４で示されており、右斜めの要素ＤＲ及び左斜めの要素ＤＬは数式５及び数式６で示されており、それぞれ、下記のように輪郭内の肌領域の各ピクセルの位置に対して適用される。
Ｈ＝ｂ＋ｃ＋ｄ＋ｖ＋ｗ＋ｘ−２（ｌ＋ｍ＋ｎ） （数式４）
ＤＲ＝ｃ＋ｇ＋ｋ＋ｏ＋ｓ＋ｗ−２（ｉ＋ｍ＋ｑ） （数式５）
ＤＬ＝ｃ＋ｉ＋ｏ＋ｋ＋ｑ＋ｗ−２（ｇ＋ｍ＋ｓ） （数式６）
これらの要素は単に谷（ｖａｌｌｅｙ）／頂上（ｐｅａｋ）を検出するのみならず、エッジ（ｅｄｇｅ）の足元や肩に二次的な反応を有する。よって、それら要素は、ヴァレェッジ（ｖａｌｅｄｇｅ）／ピーケェッジ（ｐｅａｋｅｄｇｅ）検出器と呼ばれる。ヴァレェッジ特徴は、その要素の出力のプラス値に対応し、ピーケェッジ特徴は、そのマイナス値に対応する。ヴァレー／ピークのみ感知するヴァレー／ピーク検出器は要素に論理的条件を適用することによって取得される。縦のヴァレーについては、論理的ヴァレー検出器の対応は以下の式で表される。
【００４２】
方向付けられたヴァレー／ピークフィルタを画像に対して適用する前に、ノイズ軽減フィルタを適用することによって、画像のノイズの影響が抑えられる。適切なノイズフィルタとしては、ローパスフィルタ、メディアンフィルタ、その他デジタル画像のノイズを軽減するための線形フィルタ及び非線形フィルタ等がある。
【００４３】
有効（強い）肌特徴のみを保持すべく、上記要素によって生成された方向付けられたヴァレー／ピーク画像は閾値処理がされる。ヴァレー特徴マップに関しては、特定の閾値Ｔｖよりも小さい値を有するピクセルは、０に設定される。ピーク特徴マップに関しては、特定の閾値Ｔｐよりも大きい値を有するピクセルは、０に設定される。当該閾値は固定された大局閾値又は適応性のある閾値であってもよい。ここで好ましい閾値処理の方法は、適応性のある閾値を使うことであり、その値は以下の式で表される。
Ｔ＝βＬａｖｇ （数式９）
上記式では、βは定数であり、Ｌａｖｇはピクセル周囲の輝度の局所平均である。βの異なる値は、縦、横、及び斜めの要素に用いることができる。Ｌａｖｇは、ピクセル自体の値又は近傍のピクセル郡（例えば、３×３の近傍のピクセル郡）の輝度平均であってもよい。
【００４４】
ここで好まれるステップとしては、各々の方向付けられた特徴マップを合体した合体肌特徴マップＦを作成することである。
Ｆ＝ｍａｘ{Ｈ，Ｖ，ＤＲ，ＤＬ} （数式１０）
更に、どの方向付けられたフィルタに由来するものかによって合体肌特徴マップＦの中の各ピクセルをラベル付けることができる。方向付けられたラベルデータ及び／又は個人の方向付けられた肌特徴マップを、特定方向の特徴（例えば、しわ）を好みによって取り除く場合に役立たせることができる。
【００４５】
肌テクスチャー強調フィルタの役割は、肌の局所的テクスチャーをなめらかにすることである。当該肌テクスチャー強調フィルタがなめらかにするテクスチャーの空間的大きさは、顔の大きさの関数である。よって、ヴァレー／ピークのフィルタの空間的大きさは、顔の大きさに基づいて適応的に決定される。より詳細には、目と目との距離がヴァレー／ピークのフィルタの大きさを決定するのに用いられる。以下の式は、縦のヴァレー／ピーク要素の一般的な表示であり、ｗ及びｈは、顔の大きさの関数として選択されている。
【００４６】
【数２】
Ｆ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）−Ｉｂ（ｘ，ｙ） （数式１２）
ブラー輝度画像は、ガウス又はボックスフィルタ等のブラー（ぼかし）フィルタを輝度画像に適用することによって生成される。ヴァレー／ピーク検出器の出力は前述したように閾値処理されることによって、ピーク及びヴァレーの特徴マップが作成される。ブラーフィルタの半径は、顔の大きさ（デフォルトパラメータの１つの例でもある）の関数として、また、検出が望まれる肌特徴の大きさとして選択される。
【００４７】
特徴マップは、連結要素ラベリングによって連結されているピクセルをグループ化することによって更に改良される。連結要素ラベリングでは、画像は走査されて、ピクセルはピクセル連結に基づいた要素にグループ化される。即ち、連結された要素の中のピクセルは、何らかの形で互いに連結されている。全てのグループが一旦決定されると、各ピクセルは、その割り当て対象たる要素に対応してラベル付けされる。各連結要素は、肌特徴に対応する。各肌特徴は、大きさ、形状、や肌領域における位置等の特質に基づいて特徴付けられ、分類される。大きさはその要素に含まれるピクセルの数（デフォルトパラメータの１つの例でもある）に対応する。形状情報は、しわ特徴を吹き出物等の他の肌特徴との境界線を描くのに役立たせることができる。更に、肌特徴マップにおいて線で囲まれたそれら特徴については、肌特徴として識別されたピクセルと関連付けられた色彩情報を利用することによって、より詳細に分類できる。一旦肌特徴マップが作成されると、そのマップは、段階７２０で修正される肌特徴を選択するのに利用される。
【００４８】
図８は、本発明に従って肌特徴の選択及び修正を行うのに好まれる実施の形態を表すフローチャートを示している。肌特徴選択段階８１０では、修正の対象となる特徴は、それらが有する特性に基づいて選択される。上述のように、特徴の特性は、大きさ、形状、及び色彩に対応するものであり、肌領域の位置に基づいて選択される。拡張段階８２０では、選択された肌特徴は、（適宜に）拡張され、フィルタリング段階８３０で修正される。肌特徴に対する拡張の効果は、肌特徴の大きさを拡大させることである。拡張の度合は、選択された肌に対して固定的なもの又は肌特徴の特性に基づいた適応的なものであってもよい。ここで好まれる実施の形態は、肌特徴はその大きさ及び顔の大きさ（デフォルトパラメータの例でもある）に基づいて適応的に拡張される。大きな肌特徴は、小さな肌特徴よりも拡張される。標準的モルフォロジー演算子を用いて、この拡張段階を実行することができる。
【００４９】
修正の対象となる肌特徴の種類を変更しつつ、段階８１０、８２０、及び８３０を繰り返すことによって、肌特徴が順次修正されて最適な肌強調が得られる。一方、段階８１０、８２０、及び８３０を一巡することで希望される肌特徴の選択及び修正を図ることも可能である。本実施の形態の段階８１０〜８３０では、まず、第一に、ヴァレーの肌特徴が選択されて、修正される。次に、段階８１０〜８３０の対象として、残っているピークの肌特徴が選択されて、修正される。かかる肌特徴を保持するために、修正は、所定の最大サイズと最小サイズとの間の大きさを有した肌特徴のみについて行われる。また、その代わりとして、肌特徴を保持するため、所定の最小サイズよりも大きい肌特徴のみについて修正を図ることも可能である。更に、修正の対象となる肌特徴の最小及び最大の大きさは、顔の大きさの尺度と直接対応するものである。
【００５０】
段階８３０では、風車（pinwheel、ピンホィール）フィルタが拡張された特徴の各ピクセルに適用される。拡張された特徴のピクセルは、特徴ピクセルという。その他残りのピクセルは、非特徴ピクセルという。本発明の実施の形態では、特徴ピクセルはバイナリマスクによって規定され、０の値は、特徴ピクセルに対応し、１の値は、非特徴ピクセルに対応する。特徴ピクセルの中央にラインセグメントとして配列された近傍の非特徴ピクセルを利用することによって、風車フィルタは、任意の特徴ピクセルの新しい値を挿入する。この風車フィルタについては、２００年８月１５日に特許が発行された米国特許番号6,104,839（「Method and Apparatus for Correcting Pixel Values in a Digital Image」、David R.Cok等）に詳細に記載されており、参考として挙げておくこととする。明確化を図るとともに、上記米国特許で記載されているオリジナルのアルゴリズムに施されるいくつかの修正についての言及をするために、当該風車フィルタについて簡単に説明する。図９では、選択された特徴ピクセル９４０に対応する四本のラインセグメント９３０のセット（縦V、横H、二本の斜めのラインセグメントD1とD2）がグラフィック的に表現されている。これら四本のラインセグメントは４５度間隔で配されている。この拡張された特徴９２０は、灰色（影つけ）で表されている。線９１０は、顔の境界を表している。当該セットに含まれる各ラインセグメントは、ピクセル９４０の両側の特徴ピクセル及び非特徴ピクセルで構成されている。ラインセグメントに含まれる非特徴ピクセル及び特徴ピクセルは、ラインセグメントによって定められたある方向にて、その選択された特徴ピクセル９４０に対して、ローカルに配されたものである。ラインセグメントのセットの生成方法については、後述する。
【００５１】
図１０Ａ及び図１０Ｂでは、風車フィルタを適用することによって画像の各特徴ピクセルの新しい値を計算する方法が示されている。段階１００４において、ラインセグメントの数ＮＬ、ラインセグメントの片側の最大ピクセル数ＭＡＸ＿ＮＰ１、及びラインセグメントの片側の最小ピクセル数ＭＩＮ＿ＮＰ１が設定される。これらパラメータについては、図１２を参照して説明する。当該ラインセグメントの片側の最大ピクセル数ＭＡＸ＿ＮＰ１及びラインセグメントの片側の最小ピクセル数ＭＩＮ＿ＮＰ１は、顔の大きさ（デフォルトパラメータの一例である）に基づいて設定される。顔の大きさが大きいほど、それらＭＡＸ＿ＮＰ１及びＭＩＮ＿ＮＰ１の値が大きくなる。これらパラメータが顔の大きさに対して有する関連性は、上記David R.Cok等による文献に記載された方法と比べると、本発明特有なものといえる。段階１００６において、最初の特徴ピクセルＰＳＥＬが選択される。段階１００８において、ラインセグメント数ＮＬのラインセグメントのセットは、前記ピクセルＰＳＥＬを通じて生成される。本実施の形態では、ラインセグメントのセットのラインセグメント数ＮＬは、４であり、これらは、縦、横、及び２本の斜めのラインセグメントに対応する。
【００５２】
図１２は、ラインセグメントの生成方法を示している。図１２の段階１１１０において、最初のラインセグメントが選択される（例えば、縦のラインセグメント（Ｖ））。段階１１２０において、当該ラインセグメントの片側の方向が選択される。ピクセルは、この方向に当該ラインセグメントに追加されることとなり、そのピクセルの追加は、ピクセルＰＳＥＬから開始される。各ラインセグメントでは、ピクセルＰＳＥＬを中心とするラインセグメントの両側に対応する方向が規定される。段階１１３０において、ある方向に対して最初の非特徴ピクセルに到達するまで、特徴ピクセルが当該ラインセグメントに追加される。段階１１４０において、最初の非特徴ピクセルが当該ラインセグメントに追加され、次の条件のいずれかが満たされるまで、近傍の非特徴ピクセルがある方向に当該ラインセグメントに追加される。
・非特徴ピクセルがラインセグメントの片側の最大ピクセル数ＭＡＸ＿ＮＰ１に到達した場合
・顔の境界又は顔特徴境界に到達した場合
・新たな特徴ピクセルに到達した場合
非特徴ピクセルのラインセグメントの片側の最大ピクセル数ＭＡＸ＿ＮＰ１は、顔の大きさに基づいて段階１００４（図１０Ａ）で設定される。ラインセグメントは、顔の境界又はテクスチャー強調プロセスで除外された領域（例えば、目の領域、口の領域等）の境界を越えてはならない。上記David R.Cok等による文献に記載された方法と比べて、本発明において、有効なラインセグメントを生成するための上記条件は特異なものである。ラインセグメントの片側に対するピクセルの追加が完了すると、段階１１６０において、ラインセグメントの他方側の方向が設定される。そして、そのラインセグメントの他方側に対して、段階１１３０から段階１１４０へのプロセスが繰り返される。ラインセグメントの両側が完成すると（段階１１５０）、次のラインセグメントの選択が行われ（段階１１８０）、段階１１２０から段階１１６０までのプロセスが繰り返される。ラインセグメントのセットにおいてＮＬのラインセグメントが生成されると（段階１１７０）、プロセスは終了する（段階１１９０）。
【００５３】
図１０Ａにおいて、上記のようにラインセグメントのセットにおいてＮＬのラインセグメントが生成された後、そのセットを構成するラインセグメントのうち、少なくともラインセグメントの片側の非特徴点の数がラインセグメントの片側の最大ピクセル数ＭＡＸ＿ＮＰ１よりも少ないラインセグメントについては、そのセットから除外される（段階１０１０）。そのセットに有効なラインセグメントが残っていない場合には（段階１０１４）、ピクセルＰＳＥＬに対するピクセル値は変更されず、新たな特徴ピクセルが選択され（段階１０４６及び段階１０４８）、段階１００８からプロセスが繰り返される。セットに残っている有効なラインセグメントの数Ｎが０より大きい場合には（段階１０１４）、残っている有効な各ラインセグメントに対して、各チャンネルの有効なラインセグメントの非特徴ピクセルについての線形フィット関数（linear fit）が計算される（段階１０１６）。段階１０１８において、段階１０１６で算出された各チャンネルの有効なラインセグメントの非特徴ピクセルについての線形フィット関数に基づいて、フィット平均二乗誤差が計算される。段階１０２０において、任意の有効ラインセグメントの各チャンネルのフィット平均二乗誤差の平均として、フィット合計平均二乗誤差が、次の数式１３に従って計算される。この数式において、Kは、画像の中のチャンネル数を表すものである。白黒画像において、Ｋは、１である。カラー画像において、Kは、通常の場合３である（例えば、Ｒ，Ｇ，Ｂチャンネルに対応するチャンネル３つ）。
【００５４】
【数３】
【００５５】
ラインセグメント数ＮＬが４である実施の形態において、選択された特徴ピクセルＰＳＥＬ（図１０Ｂの段階１０２４）の新しいピクセル値ＰＳＥＬｋを計算する段階（方法）が図１１に詳細に示されている。図１１で示されている当該方法は、上記David R.Cok等による文献に記載された方法と比べると、本発明特有なものといえる。ここでは、ラインセグメントのセットのうち、有効なラインセグメントが少なくとも１つ含まれているものとする（Ｎ＞０）。図１１において、セットの中の有効なラインセグメントの数Ｎが１である場合（段階１０２６）、各チャンネルｋの新しいピクセル値ＰＳＥＬｋは、当該ラインセグメントについて算出されたピクセル値ＰＳＥＬ１，ｋと等しい（段階１０２８）。それ以外の場合（段階１０３０）、各ラインセグメントの平均平方根誤差ＭＳＥｎに基づいて高いものから低いものの順にセットの有効ラインセグメントが整理される。段階１０３０における整理の結果、そのセットの中の最初の有効ラインセグメント（ｎ＝１）は最も高い平均平方根誤差を有し、最後の有効の有効ラインセグメント（ｎ＝Ｎ）は最も低い平均平方根誤差を有する。セットの中の有効なラインセグメントの数Ｎが２である場合には（段階１０３２）、各チャンネルｋの新しいピクセル値ＰＳＥＬｋはＰＳＥＬ１，ｋとＰＳＥＬ２，ｋとの平均値に等しい（段階１０３４）。それ以外の場合、セットの中の有効なラインセグメントの数Ｎが３であるときには（段階１０３６）、各チャンネルｋの新しいピクセル値ＰＳＥＬｋは、平均平方根誤差の中央値（ｎ＝２）を有するラインセグメントについて算出されたピクセル値ＰＳＥＬ２，ｋと等しい（段階１０３８）。それ以外の場合、セットの中の有効なラインセグメントの数Ｎは４であり、各チャンネルｋの新しいピクセル値ＰＳＥＬｋはＰＳＥＬ２，ｋとＰＳＥＬ３，ｋとの平均値に等しい（段階１０４０）。強調された画像の最終的なピクセル値は、前述したアルファマスクに基づきオリジナルピクセル値を各チャンネルｋの新しいピクセル値ＰＳＥＬｋとブレンドすること（段階１０２４）によって計算される。
【００５６】
新しいピクセル値を計算する第二の実施の形態では、各チャンネルｋの新しいピクセル値ＰＳＥＬｋ（図１０Ｂの段階１０２４）は、以下のように計算される。まず、各チャンネルｋの各ラインセグメントｎについての重みの値Ｗｎ，ｋの計算が下記数式１５に従って行われる。
【００５７】
【数４】
【００５８】
【数５】
【００５９】
修正が希望される肌特徴の大半は、谷間特徴（valley features）、即ち、明るい領域で囲まれた暗い領域である。個人が、ほくろ等のはっきりした顔特徴を写真から取り除かれることを望まない場合もあるが、多くの場合、肌特徴は、肌特徴として識別されたピクセルと関連付けられた色情報のいかんに問わず、修正処理に付されるものである。このような場合、肌特徴ピクセルと関連付けられた色情報は、いかなる肌特徴を除去の対象とすべきかを決定する上で、利用できる。また、その代わりの手法として、操作者に望まなかった修正（好まれていたほくろの除去）をもとに戻すことを可能とするツールをグラフィックユーザーインターフェース（Graphic User Interface、GUI）に設けることが挙げられる。好まれる実施の形態では、ユーザーは画面上のツールのリストからアンドゥー／リドゥー（ｕｎｄｏ／ｒｅｄｏ、元に戻す／やり直す）ツール８４を選択し、マウス等のポインティング装置４０を用いて、ユーザーが修復を望む箇所である原画像８０の中の肌特徴の位置までそのアンドゥー／リドゥーツール８４を動かす。画面の左側に表示される原画像８０の肌特徴にクリックすることで、画面の右側に表示される強調画像８２にその特徴が元通りに戻されることになる。また、原画像の復元された肌特徴に再度クリックすると、強調された画像からその肌特徴が除去されることになる。アンドゥー／リドゥーツールを用いて、このような処理を繰り返しことにより、目的の肌特徴が強調された画像中に残されている場合には、その強調された画像からその肌特徴は除去され、また、目的の肌特徴が強調された画像中に残されていない場合には、その強調された画像にその肌特徴が復元される。また、その代わりの実施の形態では、テクスチャー強調スライダー９２を「強調なし」に設定し、ユーザーがどの肌特徴を取り除くかを選択できる形で前記ツール８４を用いてもよい。
【００６０】
他の実施の形態では、グラフィックユーザーインターフェースは、一つ以上の顔を含むデジタル画像を取得し、表示する。ここでは、上述の手法を用いて、肌特徴を識別し、マップするために肌特徴マップが生成される。これにより、当該肌特徴マップにデジタル画像の中の一つ以上の顔が表される。そして、ポインティング装置４０が特定の肌特徴をポイントするために用いられる。このポインティング装置４０のポインティング及びクリック操作に対応して、その特定の肌特徴に対して肌特徴マップが参照され、そのポイントされた特定の肌特徴に対する適切な強調が適切な強調フィルタによって行われる。
【００６１】
〔肌トーン強調フィルタ〕
肌トーン強調フィルタ６２０（図６参照）の役割は、肌のトーンの全体的な外見を改善することである。当該肌トーン強調フィルタは、バランスのとれていない肌トーンを均等にし、より均整のとれた色の肌トーンが生成される。更に、肌トーン強調フィルタは、より望ましい肌の色の表現を提供するために、肌トーンの色の修正を行う。これは、個人的或いは文化的な好みに一致した肌トーンの表現を提供するために行う肌の輝度や色度の修正に該当する。また、肌トーンの問題は、テクスチャーに比べて、より大きな空間に関わるものである。よって、肌トーンを必要以上に均等にすることがないように心がけることが大切である。なぜなら、顔にハイライトや影が全く存在しないと、顔は平らで、つまらない印象を与えてしまうからである。
【００６２】
図１３は、本発明に係る肌トーン強調フィルタについての好まれる実施の形態のフローチャートを示している。以下のように、肌トーン強調フィルタは、入力画像Ｉ（ｘ）とブラー段階１２１０で取得された入力画像のぼかされたバージョンＩｂ（ｘ）とを適応的にブレンドすること（ブレンド段階１２４０）により、適応的にハイライトや影を圧縮する。
Ｏ（ｘ）＝α（ｘ）Ｉｂ（ｘ）+（１−α（ｘ））Ｉ（ｘ） （数式１７）
上記数式１７において、α（ｘ）は、係数生成段階１２３０で取得されたブレンド係数を表し、ｘ＝（ｘ，ｙ）は、ピクセルの位置を表している。このブレンド処理は、色チャンネル全てに対して適用される。このブレンド係数は、次のように影／ピーク生成段階１２２０で取得されたｘにおける影／ハイライト強度画像ＳＨ（ｘ）の関数である。
α（ｘ）＝ｆ［ＳＨ（ｘ）］ （数式１８）
図１４は、影／ハイライト強度画像を計算する本発明に係る実施の形態を示している。段階１２２０からの影／ハイライト強度画像は、輝度画像１３１０から平均輝度画像１３２０を減算することによって生成される。当該輝度画像は、前記数式２を用いることによって計算される。平均輝度画像は、局所平均輝度画像又は大局平均輝度画像であってもよい。局所平均輝度画像は、ガウスフィルタやボックスフィルタ等のブラーフィルタを輝度画像に適用することによって生成できる。一方、大局平均輝度画像は、特徴点によって境界付けられた肌領域内の肌の平均輝度を決定することによって、算出される。影／ハイライト画像を計算するのに局所平均画像を用いるときにおいて、この影／ハイライト強度は、ヴァレー／ピーク画像に類似している。一つの好まれる実施の形態では、影／ハイライトマップを計算するのに用いられるブラー半径は、前記肌テクスチャー強調フィルタで用いられるブラー半径又はヴァレー／ピークフィルタの範囲よりも大きいものであるべきである。いずれの場合においても、当該ブラー半径は、顔の大きさ（デフォルトパラメータの一つの例である）に従属するものである。
【００６３】
その最も簡単な実施の形態においては、そのブレンドの係数は、定数f [SH(x)]= α(x)=αであり（デフォルトパラメータの１つである）、図１５の(a)で示されているように影／ハイライト強度画像に従属するものではない。図１５の(b)と(c)で示されているブレンド関数は、影部分に変更を加えずに、光や油肌から起因するハイライトやホットスポットを抑えるのに有効である。
【００６４】
肌トーンフィルタは、肌の色の表情を修正するのに用いることができる。ここで、好まれる実施の形態としては、肌領域等の領域における色Ｃは、次の数式１９のように領域の肌分布の平均及び分散を変動させることによって、Ｃｍｏｄへと修正できる。
【００６５】
【数６】
【００６６】
【外１】
【００６７】
肌領域を明るくしたり、暗くしたりするための好ましい実施の形態は、肌領域のコントラストを次のように修正するものである。
Ｃｍｏｄ（ｘ，ｙ）＝Ｃγ（ｘ，ｙ） （数式２０）
上記数式２０では、γの値が１よりも小さい場合は、肌色を明るくするのに対応し、γの値が１よりも大きい場合は、肌色を明るくするのに対応する。
【００６８】
また、肌領域を明るくするための代わりの実施の形態として、次のものがあり、
【００６９】
【数７】
【００７０】
【数８】
【００７１】
上記手法は、Ｃが他の色空間（例えば、ＣＩＥＬＡＢ、ＹＵＶ、ＨＳＶ等）で表される場合においても適用できる。更に、上記数式は、Ｃの全て若しくはＣの構成要素の部分集合に対して適用できる。この事実は、構成要素が輝度（Ｌ＊）や色度（ａ＊ｂ＊）と関連する色空間（例えば、ＣＩＥＬＡＢ）でＣが表される場合に特に当てはまる。
【００７２】
〔歯及び目の強調フィルタ〕
歯の強調フィルタ６３０及び目の強調フィルタ６４０（図６参照）が有する役割は、歯及び目の輝度及び白さを増加させることである。図１６は、本発明に係る歯及び目の白色化フィルタの実施の形態のフローチャートを示すものである。歯／目マスクの生成段階１５１０において、顕著な顔特徴点４２０（図４参照）は、目及び歯の領域に対応するピクセルを識別するマスクを生成するために利用される。入力画像を用いるヴァレー／ピークマップ生成段階１５２０において、そのヴァレー／ピークマップは、ブラー半径を目と目との間隔（デフォルトパラメータの１つの例である）で判断する前記数式１２を利用することによって生成される。拡大縮小要素(scaling factor) 生成段階１５３０において、ヴァレー／ピークマップ及び色情報が目及び歯のマスクのピクセルの輝度及び色度の値の拡大縮小要素（デフォルトパラメータの一例である）を計算するのに利用される。次にピクセル修正段階１５４０において、それら拡大縮小要素は、新たな輝度及び色度の値を生成するのに、目及び歯の領域のピクセルの輝度及び色度に対して適用される。
【００７３】
本実施の形態では、マスク領域におけるピクセルのＲＧＢ値は、ＣＩＥＬＡＢ（Ｌ＊ａ＊ｂ＊）空間に変換され、その輝度及び色度のそれぞれの値が次の数式のように修正され、
Ｌ＊＝Ｌ＊・（1+ｋＰ） （数式２３）
ａ＊＝ａ＊／（1+ｋＰ） （数式２４）
ｂ＊＝ｂ＊／（1+ｋＰ） （数式２５）
ｋは、前述したデフォルトパラメータであり、Ｐは、ピクセルが目又は歯の白い部分のいずれかに属する確率（probability）を表す。その確率Ｐの好ましい表現は、以下の数式で示され、
【００７４】
【数９】
【００７５】
〔形状強調フィルタ〕
形状強調フィルタ６５０（図６参照）の役割は、目、鼻や口等の顔特徴の形状を修正することである。これの顔特徴の形状の強調は、標準的なワープ技術を用いて修正することで行われる。本発明を実施するための有効なワープ技術の例として、「Feature-Based Image Metamorphosis, Computer Graphics」（ T.Beir and S. Neely, 26(2):35-42, New York, NY, July, 1992, Proceedings of SIGGRAPH ’92）が参考として挙げられる。
【００７６】
図１９は、本発明に係る形状強調フィルタ６５０の実施の形態のフローチャートを示している。ソース制御点決定段階１９１０において、画像をワープするのに用いられるソース制御点１８１０（図１８参照）は、形状強調の対象となる顔特徴（例えば、目）の輪郭を描いている特徴点４２０（図４参照）によって決定される。目標制御点段階１９２０では、目標制御点１８２０が決定される。その目標制御点の位置は、形状修正されたイメージのソース制御点１８１０の新しい位置を規定するものである。目標制御点１８２０（Ｄ１、Ｄ２、Ｄ３及びＤ４）は、それぞれソース制御点１８１０（Ｓ１、Ｓ２、Ｓ３及びＳ４）の新しい位置である。ワープ段階１９３０では、ソース制御点及び目標制御点は、画像をワープするのに利用される。目標制御点１８２０は、希望される顔特徴形状の変更に規定される。例えば、目の大きさの拡大が希望される場合、目標制御点１８２０は、図１８のように配置される。
【００７７】
本実施の形態において、形状強調フィルタのパラメータは、顔特徴形状が拡大されたか或いは縮小されたかを目標制御点１８２０の位置を用いて規定するものである。その形状強調フィルタは、コントロールスライダーを追加することにより、ＧＵＩスクリーン７８（図１Ｂ参照）に含めることができる。更に、各顔特徴に対して独自の形状強調フィルタを設けても良い。本発明のシステムは、スライダーの位置を形状強調フィルタの適切なパラメータ値にマップする。当該スライダーを一方の方向に動かすことは、顔特徴の縮小を生じさせ、また、スライダーをその他方の方向に動かすことは、顔特徴の拡大を生じさせる。各スライダーのデフォルト位置（スライダーがいずれかの方向に動かされる前までの位置）は、形状強調に何ら作用させないニュートラル位置に設定しても良い。
【００７８】
以上の説明において、一定のパラメータは、本発明に係るシステムのデフォルトパラメータの候補として特定されている（例えば、強調フィルタの最初の設定やＧＵＩで用いられる強調スライダーの最初の設定として規定されているもの）。しかし、これらパラメータは、特別に限定されることなく、適切なデフォルトパラメータの例として選択されたものであり、パラメータの設定を限定又は制限するものとして捉えるべきものではない。また、本発明に係る技術分野の当業者にとって、本発明に記載されたパラメータの他に多くのパラメータをもデフォルトパラメータとして選択又は指定できることは明らかである。
【図面の簡単な説明】
【図１Ａ】本発明を実行するためのシステムを示す図である。
【図１Ｂ】本発明に係るシステムに使われるグラフィックユーザーインターフェースを示す図である。
【図２Ａ】一定限度のユーザーの介入を伴う本発明に係る実施の形態を実行するためのフローチャートである。
【図２Ｂ】ユーザーの介入を伴わずバッチ式で本発明を自動的に実行する実施の形態のフローチャートである。
【図３】図２Ａ及び図２Ｂにおける顔検出段階及び顔特徴点探知段階のフローチャートである。
【図４】検出された顔の顕著な特徴点の位置を絵で表した例を示す図である。
【図５Ａ】首領域を決定する方法のフローチャートである。
【図５Ｂ】最終的首確率マップを生成するためのプロセスの一部を絵で視覚的に表現した例を示す図である。
【図５Ｃ】最終的首確率マップを生成するためのプロセスの一部を絵で視覚的に表現した例を示す図である。
【図５Ｄ】最終的首確率マップを生成するためのプロセスの一部を絵で視覚的に表現した例を示す図である。
【図６】図２Ａ及び図２Ｂのフローチャートで示されたシステムで使用される強調フィルタの集合を示す図である。
【図７Ａ】図６で示される肌テクスチャー強調フィルタのフローチャートである。
【図７Ｂ】肌テクスチャー強調フィルタによって用いられるヴァレーエッジフィルタ核を含むピクセル近傍を示す図である。
【図８】本発明によって肌特徴の選択及び修正を行う実施の形態のフローチャートを示す図である。
【図９】欠陥ピクセルの周囲に配されたラインセグメントを示す風車フィルタを絵で描かれた例を示す図である。
【図１０Ａ】欠陥ピクセルの修正された値を推測するために図９における風車フィルタを利用するプロセスを図１０Ｂと併せて示すフローチャートである。
【図１０Ｂ】欠陥ピクセルの修正された値を推測するために図９における風車フィルタを利用するプロセスを図１０Ａと併せて示すフローチャートである。
【図１１】図１０Ａ及び図１０Ｂで示されているプロセスにおいて新しいピクセル値を計算する実施の形態を示すフローチャートである。
【図１２】図９で示されている風車フィルタの特徴ピクセルを通してラインセグメントを生成するプロセスを示すフローチャートである。
【図１３】図６で示されている肌トーン強調フィルタの実施の形態を示すフローチャートである。
【図１４】図１３における肌トーン強調フィルタで使用されるための影／ハイライト強度の計算を行う実施の形態を示すフローチャートである。
【図１５】図１３における肌トーン強調フィルタで使用される異なるブレンド係数を作用の関数を示す図である。
【図１６】図６で示されている歯及び目の強調フィルタの実施の形態を示すフローチャートである。
【図１７】肌テクスチャー強調フィルタで使用されるブレンド関数を示す図である。
【図１８】目に対して形状調整（強調）で使用される制御点を絵で表現した例を示す図である。
【図１９】図６で示されている形状強調フィルタの実施の形態のフローチャートである。
【符号の説明】
１０ システム
１２ パソコン（ＰＣ）
２０ 保存媒体
２８ スキャナー
３０ デジタルカメラ
４０ 入力装置
５０ ディスプレーモニタ
６０ プリンター
６２ サーバー
６５ 保存媒体
７０ 通信ネットワーク
７８ グラフィックユーザーインターフェース（ＧＵＩ）画面
８０ 原画像
８２ 強調画像
９０ 外見強調
９２ テクスチャー強調
９４ 肌強調
９６ 目強調
９８ 歯強調
２００ 開始段階
２０５ 取得及び表示段階
２１０ 探知段階
２１５ 表示段階
２２０ 決定段階
２２５ 変更段階
２３０ デフォルト設定段階
２３５ 実行段階
２４０ ユーザー選択段階
２４５ ディスプレー段階
２５０ 決定段階
２５５ ローカル印刷段階
２６０ ローカル保管段階
２６５ リモート印刷段階
２７０ リモート保管段階
２７５ 問いかけ段階
２８０ 終了段階
２８２ 取得段階
２８４ 顔検出及び探知段階
２８６ 強調選択段階
２８８ 強調実行段階
２９０ 顔問い合わせ段階
２９２ 保存段階
２９４ 画像問い合わせ段階
３１０ 顔検出モジュール
３１５ 顔特徴検出器
４１０ 検出された顔
４２０ 顕著な特徴点
５５０ 包括的マッピング段階
５５４ 拡大縮小段階
５５６ 肌色マッピング段階
５５８ マップ合体段階
５７０ 包括的マスクを伴った中央領域
５７２ 境界領域
５７４ 首確率マップの輪郭
５７６ 中央領域
６１０ 肌テクスチャー強調フィルタ
６２０ 肌トーン強調フィルタ
６３０ 歯強調フィルタ
６４０ 目強調フィルタ
６５０ 顔特徴形状強調フィルタ
７１０ 肌特徴生成段階
７２０ 特徴修正段階
８１０ 特徴選択段階
８２０ 拡張段階
８３０ フィルタリング段階
９１０ 顔境界
９２０ 拡張された特徴
９３０ ラインセグメント
９４０ 特徴ピクセル
１００２−１１９０ 風車フィルタ段階
１２１０ ブラー段階
１２２０ 影／ピーク生成段階
１２３０ 係数生成段階
１２４０ ブレンド段階
１３１０ 輝度画像
１３２０ 平均輝度画像
１３３０ 減算段階
１５１０ 目／歯マスク生成段階
１５２０ ヴァレー／ピークマップ生成段階
１５３０ 拡大縮小要素生成段階
１５４０ ピクセル生成段階
１８１０ ソース制御点
１８２０ 目標制御点
１９１０ ソース制御点決定段階
１９２０ 目標制御点決定段階
１９３０ ワープ段階
Claims (4)
- デジタル画像内にある顔の外見を強調する方法であって：
（ａ）１つ以上の顔を含んだデジタル画像を取得する段階；
（ｂ）前記１つ以上の顔において肌、目、眉毛、鼻、口、髪のいずれか１つ以上を有する顕著な特徴を特定する点を含んだ顔特徴点の位置を検出する段階；
（ｃ）肌、目、眉毛、鼻、口、首、髪の領域のいずれか１つ以上を含む異なる領域に前記１つ以上の顔を分割するために、前記顔特徴点の位置を利用する段階；
（ｄ）特定の領域における皮膚の１つ以上の欠陥を判定する段階；
（ｅ）少なくとも、皮膚の欠陥を有する特定の領域毎にカスタマイズされたテクスチャー強調フィルターを選択する段階であって、前記テクスチャー強調フィルターは、少なくとも、前記皮膚の１つ以上の欠陥が属する顔の大きさに基づいて、前記皮膚の欠陥の画素値を調節する段階であって、
前記テクスチャー強調フィルターが、
前記デジタル画像から輝度画像を生成する段階；
ピーク／ヴァレー検出器を使用して前記輝度画像内の皮膚の複数の特徴を検出する段階；
特徴ベースの特性に応じて前記皮膚の特徴を分類する段階；
前記皮膚の特徴のうちの１つ以上を、前記皮膚の特徴を拡張し、ピンホィール・フィルターを施すことにより、修正して、修正された皮膚の特徴を生成する段階；及び
前記修正された皮膚の特徴を元の皮膚の特徴と混ぜて、強調された皮膚の特徴を生成する段階；
を含む段階；並びに
（ｆ）前記テクスチャー強調フィルターを実行して前記皮膚の欠陥の局所的なテクスチャーをなめらかにし、それにより、強調されたデジタル画像を生成する段階
を含む方法。 - 請求項１記載の方法であって、前記ピーク／ヴァレー検出器は、前記顔の大きさに依存する空間的大きさを有する方法。
- 請求項２記載の方法であって、前記特徴ベースの特性が、大きさ、形状、色及び位置のうちの少なくとも１つを含む方法。
- 請求項１記載の方法であって、前記修正された皮膚の特徴を元の皮膚の特徴と混ぜて、強調された皮膚の特徴を生成する段階は、前記ピンホィール・フィルターから得られた新たな画素値を、前記デジタル画像からの元の画素値と、皮膚の適切な特徴の大きさの関数として適応的に混ぜる段階を含む方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US10/160,421 US7082211B2 (en) | 2002-05-31 | 2002-05-31 | Method and system for enhancing portrait images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004005660A JP2004005660A (ja) | 2004-01-08 |
| JP4294371B2 true JP4294371B2 (ja) | 2009-07-08 |
Family
ID=29583145
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003137691A Expired - Lifetime JP4294371B2 (ja) | 2002-05-31 | 2003-05-15 | 肖像画像の強調方法及びシステム |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US7082211B2 (ja) |
| EP (1) | EP1372109B1 (ja) |
| JP (1) | JP4294371B2 (ja) |
| CN (1) | CN1475969B (ja) |
| AU (1) | AU2003204466B2 (ja) |
| CA (1) | CA2424963A1 (ja) |
| DE (1) | DE60320178T2 (ja) |
| TW (1) | TWI268097B (ja) |
Families Citing this family (185)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001283079A (ja) | 2000-03-28 | 2001-10-12 | Sony Corp | 通信サービス方法とその装置、通信端末装置、通信システム、広告宣伝方法 |
| EP1353516A1 (en) * | 2002-04-08 | 2003-10-15 | Mitsubishi Electric Information Technology Centre Europe B.V. | A method and apparatus for detecting and/or tracking one or more colour regions in an image or sequence of images |
| AUPS170902A0 (en) * | 2002-04-12 | 2002-05-16 | Canon Kabushiki Kaisha | Face detection and tracking in a video sequence |
| JP2004030370A (ja) * | 2002-06-27 | 2004-01-29 | Noritsu Koki Co Ltd | 画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体 |
| JP2004062651A (ja) * | 2002-07-30 | 2004-02-26 | Canon Inc | 画像処理装置、画像処理方法、その記録媒体およびそのプログラム |
| US7035461B2 (en) * | 2002-08-22 | 2006-04-25 | Eastman Kodak Company | Method for detecting objects in digital images |
| JP4045929B2 (ja) * | 2002-11-18 | 2008-02-13 | セイコーエプソン株式会社 | 被写体の大きさに応じた画質の自動調整 |
| JP4277534B2 (ja) * | 2003-02-12 | 2009-06-10 | オムロン株式会社 | 画像編集装置および画像編集方法 |
| JP4072071B2 (ja) * | 2003-02-13 | 2008-04-02 | 富士フイルム株式会社 | 顔画像補正方法および装置、並びに顔画像補正プログラム |
| US20040207743A1 (en) * | 2003-04-15 | 2004-10-21 | Nikon Corporation | Digital camera system |
| US7343028B2 (en) * | 2003-05-19 | 2008-03-11 | Fujifilm Corporation | Method and apparatus for red-eye detection |
| US7574016B2 (en) | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
| US7606417B2 (en) | 2004-08-16 | 2009-10-20 | Fotonation Vision Limited | Foreground/background segmentation in digital images with differential exposure calculations |
| US7269292B2 (en) | 2003-06-26 | 2007-09-11 | Fotonation Vision Limited | Digital image adjustable compression and resolution using face detection information |
| US8948468B2 (en) * | 2003-06-26 | 2015-02-03 | Fotonation Limited | Modification of viewing parameters for digital images using face detection information |
| US7792970B2 (en) | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
| US7844076B2 (en) * | 2003-06-26 | 2010-11-30 | Fotonation Vision Limited | Digital image processing using face detection and skin tone information |
| US7440593B1 (en) * | 2003-06-26 | 2008-10-21 | Fotonation Vision Limited | Method of improving orientation and color balance of digital images using face detection information |
| US7469072B2 (en) * | 2003-07-18 | 2008-12-23 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| US7164410B2 (en) * | 2003-07-28 | 2007-01-16 | Sig G. Kupka | Manipulating an on-screen object using zones surrounding the object |
| US7706624B2 (en) * | 2003-08-04 | 2010-04-27 | Thomson Licensing | Apparatus and method for reducing noise in an image |
| KR100580624B1 (ko) * | 2003-09-19 | 2006-05-16 | 삼성전자주식회사 | 영상 표시 방법과 장치 및 컴퓨터 프로그램을 저장하는컴퓨터로 읽을 수 있는 기록 매체 |
| US7466868B2 (en) | 2003-10-03 | 2008-12-16 | Adobe Systems Incorporated | Determining parameters for adjusting images |
| US7412105B2 (en) | 2003-10-03 | 2008-08-12 | Adobe Systems Incorporated | Tone selective adjustment of images |
| US7379071B2 (en) * | 2003-10-14 | 2008-05-27 | Microsoft Corporation | Geometry-driven feature point-based image synthesis |
| JP4344925B2 (ja) * | 2003-12-15 | 2009-10-14 | 富士フイルム株式会社 | 画像処理装置、画像処理方法およびプリントシステム |
| TWI227444B (en) * | 2003-12-19 | 2005-02-01 | Inst Information Industry | Simulation method for make-up trial and the device thereof |
| US7426296B2 (en) * | 2004-03-18 | 2008-09-16 | Sony Corporation | Human skin tone detection in YCbCr space |
| JP4396387B2 (ja) * | 2004-05-13 | 2010-01-13 | オムロン株式会社 | 画像補正装置 |
| US7397964B2 (en) * | 2004-06-24 | 2008-07-08 | Apple Inc. | Gaussian blur approximation suitable for GPU |
| JP4537779B2 (ja) * | 2004-06-30 | 2010-09-08 | 京セラ株式会社 | 撮像装置および画像処理方法 |
| US20060008174A1 (en) * | 2004-07-07 | 2006-01-12 | Ge Medical Systems Global Technology | Count adaptive noise reduction method of x-ray images |
| US7372597B2 (en) * | 2004-07-27 | 2008-05-13 | Eastman Kodak Company | Tonescales for geographically localized digital rendition of people |
| EA011562B1 (ru) * | 2004-07-27 | 2009-04-28 | Дюрр Денталь Гмбх & Ко.Кг | Способ и устройство для улучшения распознаваемости различных структур на изображениях, полученных в проходящих лучах |
| JP2006059162A (ja) * | 2004-08-20 | 2006-03-02 | Noritsu Koki Co Ltd | 歯画像補正方法及び装置 |
| JP4677753B2 (ja) * | 2004-10-01 | 2011-04-27 | 株式会社ニコン | 動画像処理装置及び方法 |
| US7593603B1 (en) | 2004-11-30 | 2009-09-22 | Adobe Systems Incorporated | Multi-behavior image correction tool |
| KR100777462B1 (ko) * | 2005-01-19 | 2007-11-21 | 삼성전자주식회사 | 스캐닝장치, 그것을 구비하는 스캐닝시스템 및 스캐닝방법 |
| JP4593314B2 (ja) * | 2005-02-28 | 2010-12-08 | 富士フイルム株式会社 | 画像再生装置、プログラム及び方法、並びにフォトムービー作成装置、プログラム及び方法 |
| US8374403B2 (en) * | 2005-05-16 | 2013-02-12 | Cisco Technology, Inc. | Methods and apparatus for efficient, automated red eye detection |
| US7831067B2 (en) * | 2005-05-16 | 2010-11-09 | Cisco Technology, Inc. | Methods and apparatus for automated, multi-level red eye correction |
| CA2553546A1 (en) * | 2005-07-29 | 2007-01-29 | Avid Technology, Inc. | Three-dimensional animation of soft tissue of characters using controls associated with a surface mesh |
| KR101303877B1 (ko) * | 2005-08-05 | 2013-09-04 | 삼성전자주식회사 | 얼굴 검출과 피부 영역 검출을 적용하여 피부의 선호색변환을 수행하는 방법 및 장치 |
| EP1912796B1 (en) | 2005-08-12 | 2013-05-15 | TCMS Transparent Beauty LLC | System and method for medical monitoring and treatment through cosmetic monitoring and treatment |
| FR2891641B1 (fr) * | 2005-10-04 | 2007-12-21 | Lvmh Rech | Procede et appareil de caracterisation des imperfections de la peau et procede d'appreciation de l'effet anti-vieillissement d'un produit cosmetique. |
| US7982747B1 (en) * | 2005-12-19 | 2011-07-19 | Adobe Systems Incorporated | Displaying generated changes to an image file |
| US8265392B2 (en) * | 2006-02-07 | 2012-09-11 | Qualcomm Incorporated | Inter-mode region-of-interest video object segmentation |
| US8150155B2 (en) | 2006-02-07 | 2012-04-03 | Qualcomm Incorporated | Multi-mode region-of-interest video object segmentation |
| US8265349B2 (en) * | 2006-02-07 | 2012-09-11 | Qualcomm Incorporated | Intra-mode region-of-interest video object segmentation |
| US7590344B2 (en) * | 2006-02-28 | 2009-09-15 | Microsoft Corp. | Adaptive processing for images captured with flash |
| JP4753025B2 (ja) * | 2006-03-22 | 2011-08-17 | 花王株式会社 | メイクアップシミュレーション方法 |
| JP4362489B2 (ja) | 2006-03-29 | 2009-11-11 | 日本電気株式会社 | ３次元顔データ登録システム、３次元顔データ登録方法、及び登録処理プログラム |
| DE602007012246D1 (de) | 2006-06-12 | 2011-03-10 | Tessera Tech Ireland Ltd | Fortschritte bei der erweiterung der aam-techniken aus grauskalen- zu farbbildern |
| US7778482B2 (en) * | 2006-07-19 | 2010-08-17 | Trident Microsystems (Far East) Ltd. | Method and system for reducing mosquito noise in a digital image |
| US8184901B2 (en) | 2007-02-12 | 2012-05-22 | Tcms Transparent Beauty Llc | System and method for applying a reflectance modifying agent to change a person's appearance based on a digital image |
| US8942775B2 (en) * | 2006-08-14 | 2015-01-27 | Tcms Transparent Beauty Llc | Handheld apparatus and method for the automated application of cosmetics and other substances |
| TWI376930B (en) * | 2006-09-04 | 2012-11-11 | Via Tech Inc | Scenario simulation system and method for a multimedia device |
| GB2442256A (en) * | 2006-09-28 | 2008-04-02 | Tandberg Television Asa | Position-dependent spatial filtering |
| KR100857463B1 (ko) * | 2006-11-17 | 2008-09-08 | 주식회사신도리코 | 포토프린팅을 위한 얼굴영역 검출장치 및 보정 방법 |
| US7945075B2 (en) * | 2006-12-19 | 2011-05-17 | Seiko Epson Corporation | Converting a digital image from color to gray-scale |
| US8055067B2 (en) | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
| US20080187184A1 (en) * | 2007-02-01 | 2008-08-07 | Kabushiki Kaisha Toshiba | System and method for facial image enhancement |
| DE602008001663D1 (de) * | 2007-02-12 | 2010-08-12 | Yeager Rich B | System und verfahren zur elektrostatischen anbringung eines wirkstoffs auf der menschlichen haut |
| US7576755B2 (en) | 2007-02-13 | 2009-08-18 | Microsoft Corporation | Picture collage systems and methods |
| US8615112B2 (en) | 2007-03-30 | 2013-12-24 | Casio Computer Co., Ltd. | Image pickup apparatus equipped with face-recognition function |
| US20080263449A1 (en) * | 2007-04-20 | 2008-10-23 | Microsoft Corporation | Automated maintenance of pooled media content |
| US10092082B2 (en) * | 2007-05-29 | 2018-10-09 | Tcms Transparent Beauty Llc | Apparatus and method for the precision application of cosmetics |
| TWI366181B (en) * | 2007-06-12 | 2012-06-11 | Au Optronics Corp | Method and apparatus for image enlargement and enhancement |
| US20090016617A1 (en) * | 2007-07-13 | 2009-01-15 | Samsung Electronics Co., Ltd. | Sender dependent messaging viewer |
| KR101414612B1 (ko) * | 2007-10-01 | 2014-07-03 | 엘지전자 주식회사 | 휴대 단말기 및 그 제어 방법 |
| US8184925B1 (en) | 2007-10-22 | 2012-05-22 | Berridge & Associates | System for converting a photograph into a portrait-style image |
| US8254716B2 (en) * | 2007-12-12 | 2012-08-28 | Intel Corporation | Method for adaptive image enhancement |
| JP5432532B2 (ja) * | 2008-01-22 | 2014-03-05 | 株式会社 資生堂 | 化粧方法、化粧シミュレーション装置、及び化粧シミュレーションプログラム |
| EP2238574A4 (en) * | 2008-02-01 | 2015-02-11 | Hewlett Packard Development Co | DENTAL AND WHITE IN A DIGITAL IMAGE |
| US20090234716A1 (en) * | 2008-03-17 | 2009-09-17 | Photometria, Inc. | Method of monetizing online personal beauty product selections |
| KR100986101B1 (ko) * | 2008-05-30 | 2010-10-08 | 이승철 | 얼굴 분석 서비스 제공 방법 및 장치 |
| US8194992B2 (en) * | 2008-07-18 | 2012-06-05 | Xerox Corporation | System and method for automatic enhancement of seascape images |
| US8520089B2 (en) * | 2008-07-30 | 2013-08-27 | DigitalOptics Corporation Europe Limited | Eye beautification |
| WO2010012448A2 (en) | 2008-07-30 | 2010-02-04 | Fotonation Ireland Limited | Automatic face and skin beautification using face detection |
| US9053524B2 (en) | 2008-07-30 | 2015-06-09 | Fotonation Limited | Eye beautification under inaccurate localization |
| JP5168030B2 (ja) * | 2008-08-28 | 2013-03-21 | 大日本印刷株式会社 | 皮革形状データ生成装置、皮革形状データ生成方法及び皮革形状データ生成プログラム |
| JP5434020B2 (ja) * | 2008-09-09 | 2014-03-05 | カシオ計算機株式会社 | 撮影装置及びプログラム |
| TWI381322B (zh) * | 2009-04-17 | 2013-01-01 | Hon Hai Prec Ind Co Ltd | 成像系統及其成像方法 |
| TWI387319B (zh) * | 2009-06-02 | 2013-02-21 | Novatek Microelectronics Corp | 影像處理電路及方法 |
| US8265410B1 (en) * | 2009-07-11 | 2012-09-11 | Luxand, Inc. | Automatic correction and enhancement of facial images |
| US8374454B2 (en) * | 2009-07-28 | 2013-02-12 | Eastman Kodak Company | Detection of objects using range information |
| US8509519B2 (en) * | 2009-07-29 | 2013-08-13 | Intellectual Ventures Fund 83 Llc | Adjusting perspective and disparity in stereoscopic image pairs |
| US8213052B2 (en) * | 2009-07-31 | 2012-07-03 | Eastman Kodak Company | Digital image brightness adjustment using range information |
| US8218823B2 (en) * | 2009-08-11 | 2012-07-10 | Eastman Kodak Company | Determining main objects using range information |
| US8270731B2 (en) * | 2009-08-19 | 2012-09-18 | Eastman Kodak Company | Image classification using range information |
| CN102028482B (zh) * | 2009-09-30 | 2012-11-14 | 同方威视技术股份有限公司 | 人体检查图像处理方法和人体检查设备 |
| US8498453B1 (en) * | 2009-09-30 | 2013-07-30 | Lifetouch, Inc. | Evaluating digital images using head points |
| JP2011090569A (ja) * | 2009-10-23 | 2011-05-06 | Sony Corp | 画像処理装置および画像処理方法 |
| US8839128B2 (en) | 2009-11-25 | 2014-09-16 | Cooliris, Inc. | Gallery application for content viewing |
| WO2011077164A2 (en) * | 2009-12-24 | 2011-06-30 | Bae Systems Plc | Image enhancement |
| US8550818B2 (en) * | 2010-05-21 | 2013-10-08 | Photometria, Inc. | System and method for providing and modifying a personalized face chart |
| US8523570B2 (en) * | 2010-05-21 | 2013-09-03 | Photometria, Inc | System and method for providing a face chart |
| JP5408037B2 (ja) * | 2010-05-28 | 2014-02-05 | カシオ計算機株式会社 | 画像処理装置及び方法、並びにプログラム |
| US8363085B2 (en) | 2010-07-06 | 2013-01-29 | DigitalOptics Corporation Europe Limited | Scene background blurring including determining a depth map |
| FR2975804B1 (fr) | 2011-05-27 | 2022-06-17 | Lvmh Rech | Procede de caracterisation du teint de la peau ou des phaneres |
| US9111130B2 (en) * | 2011-07-08 | 2015-08-18 | Microsoft Technology Licensing, Llc | Facilitating face detection with user input |
| US8760674B2 (en) | 2011-07-28 | 2014-06-24 | Xerox Corporation | Multiple setting user interface with visual icons for customized usability |
| US8811686B2 (en) * | 2011-08-19 | 2014-08-19 | Adobe Systems Incorporated | Methods and apparatus for automated portrait retouching using facial feature localization |
| JP5657494B2 (ja) * | 2011-09-22 | 2015-01-21 | 富士フイルム株式会社 | シワ検出方法、シワ検出装置およびシワ検出プログラム、並びに、シワ評価方法、シワ評価装置およびシワ評価プログラム |
| TWI467498B (zh) | 2011-12-19 | 2015-01-01 | Ind Tech Res Inst | 影像識別方法及系統 |
| US8433107B1 (en) * | 2011-12-28 | 2013-04-30 | Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. | Method of enhancing a nose area of an image and related computing device |
| US8538089B2 (en) * | 2011-12-28 | 2013-09-17 | Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. | Method of performing eyebrow shaping on an image and related computing device |
| JP5949481B2 (ja) * | 2012-03-14 | 2016-07-06 | 富士通株式会社 | 画像処理方法、プログラム及び装置 |
| US20140015854A1 (en) * | 2012-07-13 | 2014-01-16 | Research In Motion Limited | Application of Filters Requiring Face Detection in Picture Editor |
| US10192290B2 (en) * | 2012-07-23 | 2019-01-29 | Sheri Engler | Interface for revealing latent figures within images |
| US9202138B2 (en) * | 2012-10-04 | 2015-12-01 | Adobe Systems Incorporated | Adjusting a contour by a shape model |
| US8873850B2 (en) * | 2012-11-30 | 2014-10-28 | Google Inc. | Detecting exposure quality in images |
| CN103945104B (zh) * | 2013-01-21 | 2018-03-23 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
| WO2014161189A1 (en) * | 2013-04-03 | 2014-10-09 | Nokia Corporation | An apparatus and associated methods |
| WO2014189613A1 (en) * | 2013-05-24 | 2014-11-27 | Intel Corporation | Skin tone tuned image enhancement |
| US9875394B2 (en) * | 2013-07-31 | 2018-01-23 | Panasonic Intellectual Property Corporation Of America | Skin analysis method, skin analysis device, and method for controlling skin analysis device |
| CN103413270A (zh) * | 2013-08-15 | 2013-11-27 | 北京小米科技有限责任公司 | 一种图像的处理方法、装置和终端设备 |
| US9779527B2 (en) | 2013-08-15 | 2017-10-03 | Xiaomi Inc. | Method, terminal device and storage medium for processing image |
| US20150089446A1 (en) * | 2013-09-24 | 2015-03-26 | Google Inc. | Providing control points in images |
| CN104655284B (zh) * | 2013-11-25 | 2022-04-19 | 杭州美盛红外光电技术有限公司 | 分析装置、处理装置和分析方法、处理方法 |
| CN104655289B (zh) * | 2013-11-25 | 2021-11-09 | 杭州美盛红外光电技术有限公司 | 分析区域设置装置、处理装置和分析区域设置方法、处理方法 |
| CN103605975B (zh) * | 2013-11-28 | 2018-10-19 | 小米科技有限责任公司 | 一种图像处理的方法、装置及终端设备 |
| JP6113925B2 (ja) * | 2013-12-04 | 2017-04-12 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 蛍光画像処理装置及び方法 |
| US10114532B2 (en) * | 2013-12-06 | 2018-10-30 | Google Llc | Editing options for image regions |
| US9639956B2 (en) * | 2013-12-19 | 2017-05-02 | Google Inc. | Image adjustment using texture mask |
| KR102327779B1 (ko) * | 2014-02-21 | 2021-11-18 | 삼성전자주식회사 | 이미지 처리 방법 및 장치 |
| CN103914699B (zh) * | 2014-04-17 | 2017-09-19 | 厦门美图网科技有限公司 | 一种基于色彩空间的自动唇彩的图像增强的方法 |
| US9614724B2 (en) | 2014-04-21 | 2017-04-04 | Microsoft Technology Licensing, Llc | Session-based device configuration |
| US9639742B2 (en) | 2014-04-28 | 2017-05-02 | Microsoft Technology Licensing, Llc | Creation of representative content based on facial analysis |
| US9773156B2 (en) | 2014-04-29 | 2017-09-26 | Microsoft Technology Licensing, Llc | Grouping and ranking images based on facial recognition data |
| US10111099B2 (en) | 2014-05-12 | 2018-10-23 | Microsoft Technology Licensing, Llc | Distributing content in managed wireless distribution networks |
| US9384335B2 (en) | 2014-05-12 | 2016-07-05 | Microsoft Technology Licensing, Llc | Content delivery prioritization in managed wireless distribution networks |
| US9384334B2 (en) | 2014-05-12 | 2016-07-05 | Microsoft Technology Licensing, Llc | Content discovery in managed wireless distribution networks |
| US9430667B2 (en) | 2014-05-12 | 2016-08-30 | Microsoft Technology Licensing, Llc | Managed wireless distribution network |
| US9874914B2 (en) | 2014-05-19 | 2018-01-23 | Microsoft Technology Licensing, Llc | Power management contracts for accessory devices |
| FR3013871A1 (fr) * | 2014-05-22 | 2015-05-29 | Thomson Licensing | Procede et dispositif de retouche d'images de visage |
| CN104468578B (zh) * | 2014-12-10 | 2017-12-26 | 怀效宁 | 一种无线通讯的优先通讯系统和通讯方法 |
| US10037202B2 (en) | 2014-06-03 | 2018-07-31 | Microsoft Technology Licensing, Llc | Techniques to isolating a portion of an online computing service |
| US9367490B2 (en) | 2014-06-13 | 2016-06-14 | Microsoft Technology Licensing, Llc | Reversible connector for accessory devices |
| US9460493B2 (en) | 2014-06-14 | 2016-10-04 | Microsoft Technology Licensing, Llc | Automatic video quality enhancement with temporal smoothing and user override |
| US9717006B2 (en) | 2014-06-23 | 2017-07-25 | Microsoft Technology Licensing, Llc | Device quarantine in a wireless network |
| US9373179B2 (en) | 2014-06-23 | 2016-06-21 | Microsoft Technology Licensing, Llc | Saliency-preserving distinctive low-footprint photograph aging effect |
| JP6472183B2 (ja) * | 2014-07-28 | 2019-02-20 | キヤノン株式会社 | 画像処理装置、その制御方法、プログラム |
| US9390478B2 (en) | 2014-09-19 | 2016-07-12 | Intel Corporation | Real time skin smoothing image enhancement filter |
| US9471966B2 (en) * | 2014-11-21 | 2016-10-18 | Adobe Systems Incorporated | Area-dependent image enhancement |
| CN104537630A (zh) * | 2015-01-22 | 2015-04-22 | 厦门美图之家科技有限公司 | 一种基于年龄估计的图像美颜方法和装置 |
| CN104660905B (zh) * | 2015-03-04 | 2018-03-16 | 广东欧珀移动通信有限公司 | 拍照处理方法及装置 |
| JP6583660B2 (ja) * | 2015-03-26 | 2019-10-02 | パナソニックＩｐマネジメント株式会社 | 画像合成装置及び画像合成方法 |
| WO2017041289A1 (en) * | 2015-09-11 | 2017-03-16 | Intel Corporation | Scalable real-time face beautification of video images |
| US9864901B2 (en) * | 2015-09-15 | 2018-01-09 | Google Llc | Feature detection and masking in images based on color distributions |
| GB2544307B (en) * | 2015-11-12 | 2018-02-07 | Cambridge Touch Tech Ltd | Processing signals from a touchscreen panel |
| CN105447827B (zh) * | 2015-11-18 | 2018-01-16 | 广东欧珀移动通信有限公司 | 图像降噪方法和系统 |
| EP3391290A4 (en) * | 2015-12-16 | 2019-08-07 | Intel Corporation | PYRAMIDAL NETWORKS FULLY CONVOLVED FOR PEDESTRIAN DETECTION |
| US10055821B2 (en) * | 2016-01-30 | 2018-08-21 | John W. Glotzbach | Device for and method of enhancing quality of an image |
| WO2017149315A1 (en) | 2016-03-02 | 2017-09-08 | Holition Limited | Locating and augmenting object features in images |
| GB2550344B (en) * | 2016-05-13 | 2020-06-03 | Holition Ltd | Locating and augmenting object features in images |
| CN106023104B (zh) * | 2016-05-16 | 2019-01-08 | 厦门美图之家科技有限公司 | 人脸眼部区域的图像增强方法、系统及拍摄终端 |
| US10049425B2 (en) * | 2016-05-23 | 2018-08-14 | Google Llc | Merging filters for a graphic processing unit |
| CN106375747B (zh) * | 2016-08-31 | 2018-11-23 | 广州市百果园网络科技有限公司 | 一种图像处理方法、及设备 |
| US11120495B2 (en) * | 2016-09-15 | 2021-09-14 | GlamST LLC | Generating virtual makeup products |
| CN106778524A (zh) * | 2016-11-25 | 2017-05-31 | 努比亚技术有限公司 | 一种基于双摄像头测距的颜值估算装置及其方法 |
| CN106791733A (zh) * | 2016-12-05 | 2017-05-31 | 奇酷互联网络科技（深圳）有限公司 | 基于单摄像头图像合成的方法及装置 |
| US10096089B2 (en) * | 2017-01-04 | 2018-10-09 | Facebook, Inc. | Accelerated skin smoothing effect |
| CN107229905B (zh) * | 2017-05-05 | 2020-08-11 | 广州视源电子科技股份有限公司 | 嘴唇渲染颜色的方法、装置及电子设备 |
| JP2020525087A (ja) * | 2017-06-30 | 2020-08-27 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 拡張される顔のスケッチを使用してマスクを選択する方法及び装置 |
| CN109426767A (zh) * | 2017-08-24 | 2019-03-05 | 丽宝大数据股份有限公司 | 眼线描绘指引装置及其方法 |
| US10496902B2 (en) * | 2017-09-21 | 2019-12-03 | International Business Machines Corporation | Data augmentation for image classification tasks |
| JP7003558B2 (ja) * | 2017-10-12 | 2022-01-20 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| TWI638336B (zh) | 2017-11-22 | 2018-10-11 | 瑞昱半導體股份有限公司 | 影像增強方法及影像增強裝置 |
| KR102079091B1 (ko) * | 2018-01-31 | 2020-02-19 | 주식회사 하이퍼커넥트 | 단말기 및 그것의 이미지 처리 방법 |
| CN108550154A (zh) * | 2018-04-11 | 2018-09-18 | 中国科学院西双版纳热带植物园 | 一种精准量测喀斯特地表裸露岩石占比的方法 |
| US11172751B2 (en) * | 2018-12-19 | 2021-11-16 | The Procter & Gamble Company | Method of defining a treatment area of an applicator for registration with a condition to be treated |
| CN111814520A (zh) * | 2019-04-12 | 2020-10-23 | 虹软科技股份有限公司 | 肤质检测方法、肤质等级分类方法及肤质检测装置 |
| CN110796617B (zh) | 2019-10-24 | 2022-09-02 | 北京小米智能科技有限公司 | 面部图像的增强方法及装置、电子设备 |
| US20220292799A1 (en) * | 2019-10-30 | 2022-09-15 | Nec Corporation | Matching support apparatus, matching support method, and computer-readable recording medium |
| CN111028169B (zh) * | 2019-12-09 | 2024-02-06 | Oppo广东移动通信有限公司 | 图像校正方法、装置、终端设备和存储介质 |
| CN111369478B (zh) * | 2020-03-04 | 2023-03-21 | 腾讯科技（深圳）有限公司 | 人脸图像增强方法、装置、计算机设备和存储介质 |
| CN111524062B (zh) * | 2020-04-22 | 2023-11-24 | 北京百度网讯科技有限公司 | 图像生成方法和装置 |
| CN111667426B (zh) * | 2020-06-04 | 2023-10-13 | 四川轻化工大学 | 一种基于频域变分的医学图像增强方法 |
| EP4264934A1 (en) * | 2020-12-17 | 2023-10-25 | Alcon Inc. | System and method for enhancing visualization of an eye image |
| US11404061B1 (en) * | 2021-01-11 | 2022-08-02 | Ford Global Technologies, Llc | Speech filtering for masks |
| US20220237753A1 (en) * | 2021-01-22 | 2022-07-28 | Apical Limited | Image adjustment based on local contrast |
| US20230162447A1 (en) * | 2021-11-24 | 2023-05-25 | Meta Platforms, Inc. | Regionally enhancing faces in a digital video stream |
| CN114298935A (zh) * | 2021-12-27 | 2022-04-08 | 重庆港宇高科技开发有限公司 | 图像增强方法、装置及计算机可读存储介质 |
| WO2024077379A1 (en) * | 2022-10-11 | 2024-04-18 | Fitskin Inc. | Systems and methods for improved skin tone rendering in digital images |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1147822C (zh) | 1993-03-25 | 2004-04-28 | Mgi软件公司 | 图象处理的方法和系统 |
| JPH06319613A (ja) * | 1993-04-30 | 1994-11-22 | Onishi Netsugaku:Kk | 顔のメークアップ支援装置 |
| US5974189A (en) | 1993-05-24 | 1999-10-26 | Eastman Kodak Company | Method and apparatus for modifying electronic image data |
| US5781650A (en) | 1994-02-18 | 1998-07-14 | University Of Central Florida | Automatic feature detection and age classification of human faces in digital images |
| US5835616A (en) | 1994-02-18 | 1998-11-10 | University Of Central Florida | Face detection using templates |
| JPH07270862A (ja) * | 1994-04-01 | 1995-10-20 | Toshio Nokura | 遺影写真の作成パーツおよび作成方法 |
| JP3370770B2 (ja) | 1994-04-15 | 2003-01-27 | 松下電器産業株式会社 | 映像信号の肌色再生回路 |
| US5710839A (en) | 1994-04-20 | 1998-01-20 | Eastman Kodak Company | Method and apparatus for obscuring features of an image |
| US6104839A (en) | 1995-10-16 | 2000-08-15 | Eastman Kodak Company | Method and apparatus for correcting pixel values in a digital image |
| US5960099A (en) | 1997-02-25 | 1999-09-28 | Hayes, Jr.; Carl Douglas | System and method for creating a digitized likeness of persons |
| JP3912834B2 (ja) | 1997-03-06 | 2007-05-09 | 有限会社開発顧問室 | 顔画像の修正方法、化粧シミュレーション方法、化粧方法、化粧サポート装置及びファンデーション転写膜 |
| US5990901A (en) | 1997-06-27 | 1999-11-23 | Microsoft Corporation | Model based image editing and correction |
| US6160923A (en) | 1997-11-05 | 2000-12-12 | Microsoft Corporation | User directed dust and compact anomaly remover from digital images |
| JPH11143352A (ja) * | 1997-11-13 | 1999-05-28 | Onishi Netsugaku Kogyosho:Kk | 化粧シミュレーション自動描画方法および装置 |
| US6101000A (en) | 1998-01-30 | 2000-08-08 | Eastman Kodak Company | Photographic processing apparatus and method |
| US6571003B1 (en) | 1999-06-14 | 2003-05-27 | The Procter & Gamble Company | Skin imaging and analysis systems and methods |
| JP3319727B2 (ja) * | 1999-10-20 | 2002-09-03 | 日本放送協会 | 画像処理装置 |
| JP2001268594A (ja) | 2000-03-15 | 2001-09-28 | Infiniteface.Com Inc | 三次元ビューティーシミュレーション用クライアントサーバシステム |
| AU2001249481A1 (en) | 2000-03-28 | 2001-10-23 | Eyeweb Inc. | Image segmenting to enable electronic shopping for wearable goods and cosmetic services |
| WO2001075796A1 (fr) | 2000-03-30 | 2001-10-11 | Lucette Robin | Systeme teleinformatique et numerique pour la transformation d'une image, notamment de l'image d'un visage humain |
| JP4291963B2 (ja) * | 2000-04-13 | 2009-07-08 | 富士フイルム株式会社 | 画像処理方法 |
| JP2002109555A (ja) * | 2000-07-24 | 2002-04-12 | Mitsubishi Electric Corp | 仮想美容整形システム及び仮想美容整形方法 |
| JP4681166B2 (ja) * | 2000-07-28 | 2011-05-11 | 大日本印刷株式会社 | ヘアカラー商品提示方法及びヘアカラー商品検索装置 |
| US20020081003A1 (en) | 2000-12-27 | 2002-06-27 | Sobol Robert E. | System and method for automatically enhancing graphical images |
| JP3529759B2 (ja) * | 2001-01-26 | 2004-05-24 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理プログラム、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、プログラム実行装置、画像処理装置、及び画像処理方法 |
| US20030063102A1 (en) * | 2001-10-01 | 2003-04-03 | Gilles Rubinstenn | Body image enhancement |
-
2002
- 2002-05-31 US US10/160,421 patent/US7082211B2/en active Active
-
2003
- 2003-04-10 CA CA002424963A patent/CA2424963A1/en not_active Abandoned
- 2003-04-15 TW TW092108664A patent/TWI268097B/zh not_active IP Right Cessation
- 2003-05-15 JP JP2003137691A patent/JP4294371B2/ja not_active Expired - Lifetime
- 2003-05-19 EP EP03076471A patent/EP1372109B1/en not_active Expired - Fee Related
- 2003-05-19 DE DE60320178T patent/DE60320178T2/de not_active Expired - Lifetime
- 2003-05-27 CN CN031364012A patent/CN1475969B/zh not_active Expired - Fee Related
- 2003-05-30 AU AU2003204466A patent/AU2003204466B2/en not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| US7082211B2 (en) | 2006-07-25 |
| CA2424963A1 (en) | 2003-11-30 |
| EP1372109B1 (en) | 2008-04-09 |
| CN1475969A (zh) | 2004-02-18 |
| DE60320178T2 (de) | 2009-05-07 |
| TW200402231A (en) | 2004-02-01 |
| TWI268097B (en) | 2006-12-01 |
| JP2004005660A (ja) | 2004-01-08 |
| EP1372109A3 (en) | 2005-02-09 |
| EP1372109A2 (en) | 2003-12-17 |
| CN1475969B (zh) | 2011-04-13 |
| DE60320178D1 (de) | 2008-05-21 |
| US20030223622A1 (en) | 2003-12-04 |
| AU2003204466B2 (en) | 2007-06-07 |
| AU2003204466A1 (en) | 2003-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4294371B2 (ja) | 肖像画像の強調方法及びシステム | |
| US7602949B2 (en) | Method and system for enhancing portrait images that are processed in a batch mode | |
| US8254679B2 (en) | Content-based image harmonization | |
| US20120075331A1 (en) | System and method for changing hair color in digital images | |
| US20090252435A1 (en) | Cartoon personalization | |
| Kumar et al. | A comprehensive survey on non-photorealistic rendering and benchmark developments for image abstraction and stylization | |
| US8406519B1 (en) | Compositing head regions into target images | |
| JP2001313844A (ja) | 局所的な色補正を実行する方法および装置 | |
| US7212674B1 (en) | Method, apparatus and recording medium for face extraction | |
| US9092889B2 (en) | Image processing apparatus, image processing method, and program storage medium | |
| JP2004228995A (ja) | 画像トリミング装置、画像のトリミング方法、及びプログラム | |
| CN110473295B (zh) | 一种基于三维人脸模型进行美颜处理的方法和设备 | |
| WO2011152842A1 (en) | Face morphing based on learning | |
| JP2021157705A (ja) | 学習済みの機械学習モデル、および、画像生成装置、機械学習モデルのトレーニング方法 | |
| Zavalishin et al. | Visually aesthetic image contrast enhancement | |
| CN116612036A (zh) | 一种基于Unity实现人像磨皮和美白的方法 | |
| Constable et al. | Exemplar-based portrait photograph enhancement as informed by portrait paintings |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060411 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080909 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20081209 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20081212 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090107 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090113 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090305 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090331 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090408 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130417 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |