KR20100022084A - 이미지 처리 방법 및 장치 - Google Patents
이미지 처리 방법 및 장치 Download PDFInfo
- Publication number
- KR20100022084A KR20100022084A KR1020097026939A KR20097026939A KR20100022084A KR 20100022084 A KR20100022084 A KR 20100022084A KR 1020097026939 A KR1020097026939 A KR 1020097026939A KR 20097026939 A KR20097026939 A KR 20097026939A KR 20100022084 A KR20100022084 A KR 20100022084A
- Authority
- KR
- South Korea
- Prior art keywords
- face
- analyzing
- face portions
- image
- main image
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000000034 method Methods 0.000 claims abstract description 89
- 230000007547 defect Effects 0.000 claims abstract description 53
- 230000002950 deficient Effects 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 13
- 210000000887 face Anatomy 0.000 claims description 32
- 230000001815 facial effect Effects 0.000 claims description 22
- 210000001508 eye Anatomy 0.000 claims description 20
- 238000012937 correction Methods 0.000 claims description 11
- 230000008921 facial expression Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 239000002131 composite material Substances 0.000 claims description 6
- 238000002156 mixing Methods 0.000 claims description 5
- 230000014509 gene expression Effects 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims 9
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims 3
- 238000004458 analytical method Methods 0.000 description 23
- 210000000214 mouth Anatomy 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000004397 blinking Effects 0.000 description 4
- 239000000872 buffer Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 210000001061 forehead Anatomy 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 2
- 206010048232 Yawning Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 201000005111 ocular hyperemia Diseases 0.000 description 2
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013101 initial test Methods 0.000 description 1
- 210000000554 iris Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/755—Deformable models or variational models, e.g. snakes or active contours
- G06V10/7557—Deformable models or variational models, e.g. snakes or active contours based on appearance, e.g. active appearance models [AAM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20121—Active appearance model [AAM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
이미지 처리 기술은 한 장면의 메인 이미지를 포착하고, 메인 이미지 내 하나 이상의 얼굴 부분들을 판단하는 동작을 포함한다. 얼굴 부분들은 분석되어져서 그 얼굴 부분들 중 어느 하나가 결함을 포함하는지가 판단된다. 같은 장면에 대한 명목상 상대적 저 해상도 이미지들의 시퀀스가 포착된다. 저 해상도 이미지들의 시퀀스 내 저 해상도 얼굴 부분들의 한 개 이상의 집합들이 정해지고 결함에 대해 분석된다. 한 집합의 무결함 얼굴 부분들이 결합되어 고품질의 무결함 얼굴 부분을 제공한다. 메인 이미지의 어떤 결함 있는 얼굴 부분들의 적어도 일부가, 대응되는 고품질의 무결함 얼굴 부분으로부터의 이미지 정보를 가지고 정정된다.
Description
상호 관련 특허 출원
본 출원은 2007년 5월 24일 출원된 미국 특허 출원번호 11/752,925와 관련되어 있으며, 그 내용은 참조를 통해 이 명세서에 포함된다.
본 발명은 이미지 처리 방법 및 장치에 관한 것이다.
동일한 양수인에게 양도된 것으로서, 참조에 의해 이 명세서에 포함되는 미국 특허번호 6,407,777 및 미국 출원공개번호 2005/0140801, 2005/0041121, 2006/0093212 및 2006/0204054 등에 개시된 기술들의 이점이 없이 작동하는 카메라들에서 적목 현상 (red-eye deffect)이 일반적이라고 해도, 입수된 디지털 사진이 버려지거나 망쳐지는 가장 일반적인 이유들 중 하나는 사진의 얼굴 부분들 중 하나 이상이 적목현상 이외의 사진상의 결함들로 곤란을 겪기 때문이다. 사람들이 이동하거나 머리를 흔들 때; 누군가가 자신들의 눈을 감거나 깜박이거나, 누군가 하품을 할 때 흔히 볼 수 있는 예들이 발생한다. 한 사진에 여러 얼굴들이 존재하는 상황에서, 전체 샷이 망쳐지게 하는데는 얼굴 하나의 "결함"으로도 충분하다. 디지털 카메라들이 사용자들에게 같은 장면 (scene)에 대해 여러 장의 사진들을 빠르게 촬영 할 수 있어도 마찬가지이다. 통상적으로 그러한 카메라들은 얼굴에 생기 는 에러들에 대한 경고를 제공하지도, 사진을 찍는 구도 (composition) 단계들 (즉, 모두를 다시 한 그룹으로 모으기)을 반복해서 그 장면을 재촬영하지 않는다면 그러한 에러들을 정정할 방법 역시 제공하지 못한다. 이런 종류의 문제는, 흔히 재현될 수 없는 흔치 않은 즉흥적 포즈들로 사진 찍히는 어린아이들과 관련해 특히 어렵게 된다. 포착 (acquisition) 순간에 아이가 머리를 움직였다는 이유로 그러한 샷 (shot)이 망쳐질 때, 사진가에게 그것은 매우 실망스러운 일일 것이다.
미국 특허번호 6,301,440은 참고에 의해 이 명세서에 포함되는 것으로, 이미지 콘텐츠에 의해 노출 순간이 제어되는 이미지 포착 기기를 개시하고 있다. 트리거 (trigger)가 활성화될 때, 기기가 이미지를 촬영을 진행하기 전에 최적의 이미지 품질을 얻기 위해 사용자에 의해 지명된 이미지가 분석되고 이미징 파라미터들이 변경된다. 예를 들어, 그 기기는 이미지 안의 모든 사람이 웃을 때까지 이미지 포착을 연기할 수 있을 것이다.
한 신의 메인 이미지를 포착하는 단계를 포함하는 이미지 처리 방법이 제안된다. 한 개 이상의 얼굴 부분들이 그 메인 이미지 안에서 결정된다. 하나 이상의 메인 이미지 얼굴 부분들이 결함에 대해 분석되고 하나 이상이 결함이 있다고 결정된다. 그 장면 중 명목상 상대적으로 저 해상도의 이미지들의 시퀀스가 입수된다. 결함있는 메인 이미지 얼굴 부분에 해당하는 한 개 이상의 부분들을 결정하기 위해, 그 시퀀스 안에서 저 해상도 얼굴 부분들에 대한 하나 이상의 집합들이 분석된다. 결함있는 메인 이미지 얼굴 부분 중 적어도 일부는, 상기 결함있는 메인 이미지 얼굴 부분 중 상기 일부와 동일한 결함을 포함하고 있지 않은 저 해상도 얼굴 부분들에 해당하는 한 개 이상의 부분들로부터의 정보를 이용해 정정된다.
저 해상도 이미지들의 시퀀스는 특히 메인 이미지를 포착하기 위한 시간을 포함하지 않는 기간 동안 포착될 수 있다. 이 방법은 또한 결함이 없는 저해상도 얼굴 부분들을 하나의 합성 이미지 (combined image)로 결합하는 단계, 및 그 합성 이미지로부터의 이미지 정보를 가지고 결함있는 메인 이미지 얼굴 부분의 적어도 일부를 정정하는 단계를 포함할 수 있다.
한 신의 메인 이미지를 포착하는 단계를 포함하는 또 다른 이미지 처리 방법이 제안된다. 메인 이미지 안에 있는 하나 이상의 얼굴 부분들이 결정되고, 어느 하나가 결함이 있는지를 판단하기 위해 분석된다. 그 장면 중 명목상 상대적으로 저 해상도 이미지들의 시퀀스는 메인 이미지를 포착하기 위한 시간을 포함하지 않는 기간 동안에 입수된다. 그 저 해상도 이미지들의 시퀀스 내에서 저 해상도 얼굴 부분들의 하나 이상의 집합들이 결정된다. 얼굴 부분들의 집합들이 분석되어 메인 이미지 중 결함있는 얼굴 부분에 해당하는 한 집합의 어떤 얼굴 부분들이 결함을 포함하는지를 판단하도록 한다. 해당 집합 중 무결함 얼굴 부분들이 결합되어 높은 품질의 무결함 얼굴 부분을 제공하도록 한다. 상기 메인 이미지의 어떤 결함 있는 얼굴 부분들의 적어도 일부는 상응하는 높은 품질의 무결함 얼굴 부분으로부터의 이미지 정보를 가지고 정정된다.
그 기간은 메인 이미지를 포착하기 위한 시간 이전이나 이후의 기간 중 하나 이상을 포함할 수 있다. 정정 단계는 한 얼굴 부분의 외연 (periphery)을 경계짓는 다중 꼭지점들을 포함하는 한 모델을 각각의 고 품질 무결함 얼굴 부분 및 대응하는 결함있는 얼굴 부분에 적용하는 단계를 포함할 수 있다. 각자의 부분들에 대한 꼭지점들의 대응에 따라 고품질 무결함 얼굴 부분의 픽셀들이 결함있는 얼굴 부분으로 매핑될 수 있다. 그 모델은 AAM (Active Appearance Model)을 포함할 수 있다.
메인 이미지는 저 해상도 이미지들의 노출 레벨과는 다른 노출 레벨에서 포착될 수 있다. 정정 단계는 고 품질 무결함 얼굴 영역의 휘도 레벨들을 결함있는 얼굴 부분의 휘도 레벨들로 매핑하는 단계를 포함할 수 있다.
저 해상도 이미지들의 시퀀스로부터의 저 해상도 얼굴 부분들의 집합들은 메인 이미지의 이미지 헤더 파일 안에 저장될 수 있다.
상기 방법은 메인 이미지 및/또는 정정된 이미지를 디스플레이하는 단계를 포함할 수 있고, 선택되는 액션들은 사용자 요청에 의한 것 (user-initiated)일 수 있다.
상기 집합들에 대한 분석은, 두 번째 방법의 결합 전에, 얼굴 부분들의 집합 내 얼굴들의 평균 사이즈를 문턱 크기만큼 초과하는 얼굴들을 포함하는 얼굴 부분들을 상기 얼굴 부분들의 집합에서 제거하는 단계, 및/또는 얼굴 부분들의 집합 내 얼굴들의 평균 방위 (orientation)에서 문턱 크기만큼 벗어난 방위를 가진 얼굴들을 포함하는 얼굴 부분들을 상기 얼굴 부분들의 집합에서 제거하는 단계를 포함할 수 있다.
상기 집합들의 분석 단계는 다음과 같은 단계들을 포함할 수 있다:
한 얼굴 부분들의 집합의 각 얼굴로 AAM (Active Appearance Model)을 적용하는 단계;
상기 얼굴 부분들의 집합의 각 얼굴에 대한 AAM 파라미터들을 분석하여, 얼굴 표정에 대한 지시를 제공하는 단계; 및
두 번째 방법의 결합 단계 이전에, 상기 얼굴 부분들의 집합에서 결함있는 표정을 가진 얼굴들을 제거하는 단계.
상기 집합들의 분석 단계는 다음과 같은 단계들을 포함할 수 있다:
한 얼굴 부분들의 집합의 각 얼굴로 AAM (Active Appearance Model)을 적용하는 단계;
상기 얼굴 부분들의 집합의 각 얼굴에 대한 AAM 파라미터들을 분석하여, 얼굴 방위에 대한 지시를 제공하는 단계; 및
두 번째 방법의 결합 단계 이전에, 상기 얼굴 부분들의 집합에서 원치 않는 방위를 가진 얼굴들을 제거하는 단계.
얼굴 부분들의 분석 단계는, 각 얼굴 부분에 AAM (Active Appearance Model)을 적용하는 단계, 및 각 얼굴 부분에 대한 AAM 파라미터들을 분석하여, 얼굴 표정에 대한 지시를 제공하는 단계, 및/또는 대비 (contrast), 선명도 (sharpness), 텍스처 (texture), 휘도 레벨들 또는 피부색 또는 그 조합에 대해 각 얼굴 부분을 분석하는 단계, 및/또는 각 얼굴 부분을 분석하여 해당 얼굴 부분의 눈이 감겼는지, 그 얼굴 부분의 입이 벌어졌는지, 그 얼굴 부분의 입이 웃고 있는지를 판단하는 단계를 포함할 수 있다.
상기 방법은 상기 정정 단계, 및 두 번째 방법에서의 상기 결합 단계가 얼굴 부분들의 집합이 소정 수치를 초과할 때에만 일어나도록 될 수 있다. 상기 방법은 또한, 얼굴 부분들의 집합의 얼굴들을 리사이징 (resizing) 및 정렬하는 (aligning) 단계를 포함할 수 있으며, 상기 정렬 단계는 상기 얼굴 부분들의 집합의 얼굴들의 기본 방위 (cardinal points)에 맞춰 수행될 수 있다.
상기 정정 단계는 메인 이미지의 정정 부분을 그 메인 이미지의 나머지와 함께 블렌딩 (blending, 혼합하기) 및/또는 인필링 (infilling, 메꾸기)하는 단계를 포함할 수 있다.
지금부터 본 발명의 실시예들은 예로써 첨부된 도면들을 참조하여 기술될 것이다.
도 1은 본 발명의 일 실시예에 따라 동작하는 이미지 처리 장치의 블록도이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 이미지 처리 방법의 흐름도이다.
도 3 및 4는 AAM이 적용된 이미지들의 전형적 집합들을 보인 것이다.
소정 실시예들은 (i) 미리보기 이미지 스트림 (preview image stream) 상에서 작동되는 얼굴 추적기 (face tracker); (ii) 몇몇 저 해상도 이미지들의 합성 결과로부터 보다 높은 해상도의 이미지를 생성하도록 구성된 수퍼 해상도 처리 모 듈; 및 (iii) 얼굴 부분들의 품질을 판단하기 위한 얼굴 부분 품질 분석 모듈을 병합한 디지털 카메라를 가지고 구현될 수 있다.
수퍼 해상도는 얼굴 추적 도중에 추출되는 미리보기 얼굴 부분들에 적용됨이 바람직하다.
실시예들은, 미리보기 이미지 데이터를 사용하고 수퍼 해상도 기술들을 채용한 디지털 카메라 안에서 포착된 이미지의 얼굴 부분들에 있는 에러들이나 흠들에 대한 정정을 이행한다.
도 1은 소정 실시예들에 따라 동작하는, 이 실시예에서 휴대형 디지털 카메라에 해당하는 이미지 포착 기기(20)의 블록도이다. 디지털 카메라에서 구현되는 프로세스들 중 많은 것이 집약하여 프로세서(120)라고 표현되는 마이크로프로세서, 중앙 처리 유닛, 제어기, 디지털 신호 처리기 및/또는 ASIC (application specific integrated circuit)에서 동작하는 소프트웨어에 의해 구현되거나 제어된다는 것을 예상할 수 있을 것이다. 모든 사용자 인터페이스 및, 버튼과 디스플레이 같은 주변 구성요소들의 통제는 마이크로콘트롤러(122)에 의해 제어된다.
동작시, 프로세서(120)는 122에서 셔터 버튼을 절반 쯤 누르는 것 같은 (프리-캡쳐 모드(32)) 사용자 입력에 반응하여, 디지털 사진 프로세스를 개시 및 제어한다. 플래쉬가 사용되어야 할지를 자동으로 판단하기 위해 광 센서(40)를 사용해 조도 (ambient light) 노출이 정해진다. 대상에 대한 거리는, 이미지 캡처 기기(60) 상에서 이미지를 포커싱하는 포커싱 메커니즘(50)을 사용해 결정된다. 플래쉬가 사용되어야 하는 경우, 프로세서(120)는 플래쉬 기기(70)로 하여금, 셔터 버튼이 완전히 눌러질 때 이미지 캡처 기기(60)에 의한 이미지 기록과 실질적으로 부합되는 사진 플래쉬를 생성하도록 한다. 이미지 캡처 기기(60)는 이미지를 컬러로 디지털 방식에 따라 기록한다. 이미지 캡처 기기는 이 분야에 친숙한 이들에게 잘 알려져 있으며 CCD (charge coupled device) 또는 CMOS를 포함해 디지털 기록을 도모할 수 있다. 플래쉬는 광 센서(40)나 카메라 사용자로부터의 수동 입력(72) 중 어느 하나에 반응해 선택적으로 만들어질 수 있다. 이미지 캡처 기기(60)에 의해 기록된 고 해상도 이미지는 다이내믹 RAM (random access memory) 또는 비휘발성 메모리 같은 컴퓨터 메모리를 포함할 수 있는 이미지 저장부(80)에 저장된다. 카메라는 미리보기 이미지들의 디스플레이 및 카메라 제어 소프트웨어를 위한 사용자 인터페이스 디스플레이 모두를 위한 LCD 같은 디스플레이(100)를 갖춘다.
절반 눌러진 셔터 버튼을 통해 프리-캡처 모드(32)에서 생성되는 미리보기 이미지들의 경우, 디스플레이(100)는 사용자가 이미지의 구도를 짜는 것 (composing) 뿐 아니라 포커싱 및 노출을 결정하는 것을 도울 수 있다. 임시 저장부(82)는 미리보기 이미지들의 한 개 혹은 복수의 스트림들을 저장하는데 사용되며, 이미지 저장부(80)의 일부 또는 별개의 구성요소가 될 수 있다. 미리보기 이미지는 보통 이미지 캡처 기기(60)에 의해 생성된다. 속도와 메모리 효율성을 이유로, 미리보기 이미지들은 보통, 셔터 버튼이 완전히 눌려질 때 찍힌 메인 이미지보다 낮은 픽셀 해상도를 가지며, 일반 프로세서(120)나 전용 하드웨어, 또는 이들이 결합된 형태의 일부일 수 있는 소프트웨어(124)를 이용해 날 (raw) 캡처 이미지를 서브-샘플링함으로써 생성된다.
본 실시예에서, 참조로써 여기에 포함되는, 2006년 8월 11일자 미국 출원번호 11/464,083에 개시된 바와 같은 얼굴 인식 (검출) 및 추적 모듈(130)이 서브-샘플러(124)와 동작 가능하게 연결되어 얼굴 인식 및 추적 모듈의 요건에 따라 미리보기 이미지들의 서브-샘플링된 해상도를 제어한다. 임시 저장부(82)에 저장된 미리보기 이미지들은 모듈(130)에 의해 사용될 수 있고, 모듈(130)은 그 미리보기 이미지 스트림에서 추적 및 검출된 얼굴들의 위치들을 기록한다. 일 실시예에서, 모듈(130)은 인식 및 추적된 얼굴 부분들의 경계들이 미리보기 도중에 디스플레이 상에서 얼굴들 주변에 중첩될 수 있도록 (superimposed) 디스플레이(100)와 동작 가능하게 연결된다.
도 1의 실시예에서, 얼굴 추적 모듈(130)은 추적된 얼굴 부분들을, 메모리(82) 같은 메모리 버퍼에 상대적으로 낮은 해상도로, 그리고 가능하다면 메모리(80)에 저장되는 포착된 이미지 헤더 안에 메타-데이터로서 저장하기 위해 추출 및 저장하도록 구성된다. 여러 얼굴 부분들이 추적되는 경우, 각각의 추적된 얼굴 부분마다 하나의 버퍼가 설정된다. 그 버퍼들은 유한한 사이즈이며 (바람직한 일 실시예에서 10-20 개의 추출된 얼굴 부분들을 포함), 일반적으로 피포 (FIFO, first-in-first-out) 베이스로 작동한다.
바람직한 실시예에 따르면, 기기(20)는 이미지 정정 모듈(90)을 더 포함한다. 이 모듈(90)이 데스크탑 컴퓨터, 컬러 프린터나 포토 키오스크 같은 외부 처리 기기(10) 내에서, 포착된 이미지의 오프-라인 정정을 위해 구성될 때, 미리보기 이미지들 안에서 검출 및/또는 추적된 얼굴 부분들이 이미지 헤더 안에 메타-데 이터로서 저장됨이 바람직하다. 그러나, 모듈(90)이 카메라(20) 안에서 구현된 경우, 그것은 미리보기 이미지들 및/또는 얼굴 부분 정보가 저장되어 있는 버퍼(82)를 직접 액세스할 수 있다.
이 실시예에서, 모듈(90)은 저장부(80)로부터 캡처된 고 해상도 디지털 이미지를 수신하고, 그것을 분석하여 결함을 검출한다. 분석은 이어지는 실시예들에 기술된 바와 같이 수행된다. 결함이 발견되면, 모듈은 그 결함이 제거되도록 이미지를 수정할 수 있다. 수정된 이미지는 이미지 디스플레이(100) 상에 디스플레이되거나, 내장되거나 CF 카드, SD 카드 등과 같이 착탈가능한 저장부일 수 있는 영구 저장부(112)에 저장되거나, 연결되어 있거나 무선일 수 있는 이미지 출력 수단(10)을 거쳐 다른 기기로 다운로드될 수 있다. 별개의 아이템으로서 도시되고 있지만, 모듈(90)이 카메라의 일부인 경우 그것은 프로세서(120) 상의 적절한 소프트웨어에 의해 구현될 수 있을 것이다.
이미지 정정 모듈의 주요 구성요소들에는, 고 해상도나 저 해상도의 이미지들로부터 얼굴 부분들을 분석하여 이들이 얼굴 결함들을 포함하는지를 판단하도록 구성된 품질 모듈(140)이 포함된다. 수퍼 해상도 모듈(160)이 구성되어, 일반적으로 동일한 포즈 및 바람직한 얼굴 표정을 가진 동일 대상의 여러 저 해상도 얼굴 부분들을 결합해, 정정 프로세스시 사용될 고 품질 얼굴 부분을 제공하도록 한다. 이 실시예에서, AAM (active appearance model) 모듈(150)은 다시 저 해상도나 고 해상도 이미지들로부터 얼굴 부분들에 대한 AAM 파라미터들을 산출한다.
AAM 모듈들은 이미 널리 알려져 있으며, 이 실시예에 알맞은 모듈이 2004년 8월 시스템, 인간, 그리고 사이버네틱스-파트 B (Cybernetics-Part B): 사이버네틱스에 관한 IEEE 회보, 제34권 제4호, 1838-1853 페이지들에 있는 F. Dornaika와 J. Ahlberg의 "Fast and Reliable Active Appearance Model Search for 3-D Face Tracking"에 개시되어 있으나, 1998년 컴퓨터 비전 관련 유럽 회의 중 발표된 TF Cootes 등의 "Active Appearance Models"에 의한 오리지널 논문에 기초한 다른 모델들 역시 이용될 수 있을 것이다.
AAM 모듈(150)은 품질 모듈(140)과 바람직하게 협력하여, 이하에 설명될 분석 및 옵션사항인 정정 프로세스시 이미지들의 선택을 가능하게 하는 포즈 (pose) 및/또는 표정 신호들 (indicators)을 제공할 수 있다. 또, AAM 모듈(150)은 수퍼 해상도 모듈(160)과 바람직하게 협력하여, 이하에서 다시 보다 상세히 설명될 정정 프로세스시 이미지들의 선택을 가능하게 하는 포즈 신호들을 제공할 수 있다.
이제 소정 실시예들의 전형적 처리를 도시한 도 2를 참조하면, 메인 이미지가 포착될 때(230 단계), 그 메인 이미지 (고 해상도) 내 어떤 인식/추적된 얼굴 부분(들)의 위치와 사이즈가 모듈(130)로부터 모듈(90)에 알려질 것이다. 얼굴 인식이 포착된 이미지에 바로 적용되고/거나 앞서 이전 스트림 내에서 인식 및/또는 추적된 얼굴 부분들에 대한 정보가 메인 이미지의 얼굴 인식에 사용될 수 있다 (220 단계로부터 확장된 점선으로 표시됨). 250 단계에서, 얼굴 부분 품질 분석 모듈(140)은 메인 이미지에서 추적/인식된 얼굴 부분들 (240 단계)을 추출 및 분석하여 포착된 얼굴 부분들의 품질을 판단한다. 예를 들어 모듈(140)은 인식된 얼굴 부분(들)의 전체적 대비, 선명도 및/또는 텍스처를 측정하기 위한 예비 분석을 행 할 수 있다. 이것은 포착 순간 대상의 움직임으로 인해 전체적인 얼굴 부분이 흐릿해졌는지를 표시할 수 있다. 한 얼굴 부분의 윤곽이 충분히 뚜렷하지 않은 경우, 그것은 블러 효과 (blur effect)로 마크된다. 추가적이거나 선택적으로, 분석의 또 다른 단계는 얼굴(들)의 눈 부분에 초점을 맞춰, 한 쪽 혹은 두 쪽 모두의 눈이 포착 순간에 완전히, 혹은 부분적으로 감겼는지를 판단할 수 있고, 그에 따라 그 얼굴 부분에 대한 분류가 이뤄진다. 앞서 언급했다시피, 이미지에 대한 AAM 분석이 수행되면, AAM 파라미터들이 사용되어, 대상이 눈을 뜨고 있는지 아닌지 여부를 표시할 수 있다. 상기 분석들에서, 모듈(90)은 전체적 이미지 블러와는 대조적으로 대상의 국지적 움직임에서 비롯된 블러나 깜박임을 검출한다는 것을 주지해야 할 것이다.
분석의 또 다른, 혹은 다른 선택적 단계는 입 부분에 초점을 맞추고 하품으로 입을 벌리는지 실제로 웃고 있는지를 판단하며; 그에 따라 다시 그 얼굴 부분의 분류가 이뤄진다. 앞서 언급했다시피, 이미지에 AAM 분석이 수행되면, AAM 파라미터들이 사용되어 대상의 입 상태를 표시할 수 있다.
다른 전형적 테스트들에, 휘도 레벨, 피부색 및 텍스처 히스토그램, 얼굴 윤곽 (입 모양, 이마의 주름)에 큰 변화를 초래할 수 있는 돌연한 얼굴 표정들 (미소, 찡그림)이 포함될 수 있다. 특수화된 테스트들이 추가적 혹은 대안적 이미지 분석 필터들로서 구현될 수 있는 바, 이를테면, 허프 (Hough) 변환 필터가 "주름진 이마"를 나타내는 눈 위 얼굴 부분의 평행 선들을 검출하는데 사용될 수 있다. 이 분야의 업자에게 잘 알려져 있고 US 6,301,440에 개시된 것과 같은 다른 이미지 분 석 기술들 역시 메인 이미지의 얼굴 부분(들)을 분류하는데 사용될 수 있다.
이러한 분석 후, (각 얼굴 부분에 대해) 그 결함들 중 어느 하나가 생겼는지 여부가 판단되고(260 단계), 버퍼링된 (저 해상도) 얼굴 영역 데이터에 기반해 결함을 복구하는 옵션이 카메라나 외부 처리 기기 사용자에게 제공될 수 있다(265 단계).
사용자에 의해 복구 옵션이 활성화될 때, 먼저 저 해상도 얼굴 부분들 각각이 얼굴 부분 품질 분석기에 의해 분석된다(270 단계). 이러한 분석은 200/210 단계들에서 포착되어 저장된 보다 낮은 해상도 이미지들에 대해 수행되기 때문에, 이 분석은 메인 포착 이미지의 얼굴 부분들에 대한 분석 (250)과는 다를 수 있다. 그럼에도 불구하고 그 분석 단계들은, 각각의 저 해상도 얼굴 부분이 분석되어 그것이 이미지 결함을 가지는지를 판단하고, 그러한 결함을 가진 경우, 메인 이미지 내 결함 있는 얼굴 부분(들)을 재구성하는데 그것이 (280 단계에서) 선택되어서는 안 될 것이다. 이러한 분석 및 선택 후에, 저 해상도 이미지들의 스트림으로부터 이용가능한 결함있는 얼굴 부분에 대응되는 충분히 "양호한" 얼굴 부분들이 존재하지 않는다면, 이미지 복구가 불가능하다는 신호가 사용자에게 전달된다. 충분히 "양호한" 얼굴 부분들이 존재하는 경우, 그 얼굴 부분들은 리사이징 (resizing) 및 정렬 (alignment)(285 단계)을 위해 전달된다.
이 단계는 각각의 얼굴 부분을 크기 재조정하고 주요 (cardinal) 얼굴 포인트들의 어떤 로컬 정렬 (local alignment)을 수행하여, 포즈 변동을 정정하고 저 해상도 얼굴 부분들 각각이 추후 처리에 유용한 정도로 고르게 균일하게 서로 오버 랩 되도록 확실히 한다.
이러한 이미지 부분들이 잇달아 상대적으로 단기간에 포착되었기 때문에, 이들이 거의 같은 사이즈와 방위를 가진다고 예상된다는 것을 또한 주지해야 할 것이다. 따라서, 이미지 정렬은, 주요 얼굴 포인트들, 특히 눈, 입, 보통 뚜렷한 헤어라인 경계선으로 윤곽이 그려지는 얼굴 하관 (턱 부분)과 관련된 것들을 사용해 이뤄질 수 있다. 추출된 얼굴 부분들에 대한 어떤 미소한 스케일링 (scaling) 및 모핑 (morphing)이 사용되어 알맞은 정렬을 달성할 수 있으나, 이 이미지들에 대한 너무 정밀한 정렬은 바람직하지 않으며 이는 그것이 몇몇 저 해상도 이미지들로부터 보다 높은 해상도의 이미지가 결정될 수 있게 하는 수퍼 해상도 기술들의 토대를 허무는 것일 수 있기 때문이다.
200/210 단계들에서 포착 및 저장된 저 해상도 이미지들은 메인 이미지를 캡처하기 전 어떤 시기나, 메인 이미지의 캡처 이후의 어떤 시기 (230 단계로부터 확장된 점선으로 표시됨)에 캡처될 수 있다는 것을 알아야 한다. 예를 들어, 한 대상이 메인 이미지 캡처에 뒤따르는 움직임/깜박임 등을 멈춘 직후의 어떤 시기 동안 적절한 무결함 저 해상도 이미지들을 캡처하는 것이 가능할 것이다.
이 선택된 무결함 얼굴 부분들의 집합은 이어서 수퍼 해상도 모듈(160)로 보내지며, 수퍼 해상도 모듈(160)은 기존의 수퍼 해상도 방식들을 이용해 이들을 결합하여 메인 포착 이미지의 해당 부분과 양립될 수 있는 고 해상도 얼굴 부분을 산출한다.
이제, 시스템은 그 고 품질 무결함 합성 얼굴 부분 및, 일반적으로 그에 상 응하는 결함있는 얼굴 부분을 포함한 고 해상도 메인 이미지를 이용할 수 있다.
이것이 품질 분석을 위해 미리 수행되지 않았다면, 결함 있는 얼굴 부분(들) 뿐 아니라 상응하는 고 품질의 무결함 영역까지 AAM 분석을 거치게 된다(300 단계). 이제, AAM 모듈(150)에 의해 처리된 얼굴 부분들을 포함한 몇몇 이미지들을 도시한 도 3의 (a)-(d)를 참조한다. 이 예에서, 얼굴에 중첩되는 와이어 프레임 (wire frame)으로 표현되는 모델은 일반적으로 앞을 향한 얼굴과 일반적으로 곧추 선 얼굴에 대해 튜닝되어 있지만, 기울어진 얼굴들이나 옆 얼굴들에 사용하기 위해 다른 모델들이 적절히 사용될 수 있다. 모델이 적용되었으면, 그것은 와이어 프레임의 꼭지점 좌표들의 집합을 리턴한다; 또한 인접한 꼭지점들에 의해 경계지어지는 삼각 엘리먼트들 각각에 대한 텍스처 파라미터들을 리턴한다. 꼭지점들의 상대 좌표들 및 텍스처 파라미터들은 이제 위에서 언급한 바와 같은 품질 분석에 사용될 수 있는 얼굴 표정 및 기울기와 연결된 지시자들 (indicators)을 제공할 수 있다.
따라서, AAM 모듈(150)은 입이나 눈이 벌어져 있는지, 즉 웃고 있는지 깜박이고 있지는 않는지 여부를 지시자 안에 제공하기 위해 얼굴 부분 분석 단계들(250/270)에서; 또 수퍼 해상도 모듈(160)에 의해 구현되는 단계들(285/290)에서 수퍼 해상도 이전의 선택을 위해 얼굴 부분들이 비슷하게 정렬되었는지 기울어져 있는지 여부를 판단하는 것을 돕는데 사용될 수 있다.
따라서, 도 3의 (a)를 저 해상도 이미지들의 수퍼 해상도에 의해 산출된 얼굴 영역의 한 예로 사용할 때, AAM 모델의 외연을 포함하는 꼭지점들의 집합이 한 부분을 경계 짓는다는 것을 관찰할 수 있고, 그 부분은 이미지들이 사용자에 의해 결함 있는 얼굴 부분들 및 정정 후보들로서 분류 및 확인된 도 3의 (b) 내지 (d)의 대응되는 주변 꼭지점들의 집합으로 매핑될 수 있다.
도 4와 관련하여, 수퍼 해상도의 무결함 얼굴 부분들을 나타낼 수 있는 도 4의 (a) 또는 4(b)의 모델 파라미터들은, 이 얼굴 부분들의 좌-우 지향이 이들을 도 4의 (c)의 얼굴 부분을 정정하기 위한 적절한 후보들로 만들 수 없을 것임을 나타낼 수 있다. 마찬가지로, 도 4의 (d)의 얼굴 부분을 정정하기 위한 것으로, 도 4의 (f)의 얼굴 부분이 도 4의 (e)의 얼굴 부분보다 더 알맞은 후보가 될 수 있을 것이다.
어떤 경우든, 수퍼 해상도의 얼굴 부분이 결함을 가진 얼굴 부분과 양립될 수 있는 것으로 간주되는 경우, 메인 이미지의 그 얼굴 부분을 정정하기 위해 임의의 알맞은 기술에 의해 그 수퍼 해상도의 얼굴 부분으로부터의 정보가 메인 이미지 위에 페이스트 (paste) 될 수 있다(320 단계). 정정된 이미지가 보여질 수 있고, 그것이 최종적으로 수용되거나 거부되기 전에 매핑의 성격에 따라 그것은 사용자에 의해 조정될 수 있다(330 단계). 따라서, 이를테면, 정정된 얼굴 부분의 외연 주변에서 디더링 (dithering)이 정정 프로세스의 일부로서 사용될 수 있고(320 단계), 디더링의 정도 (degree)가 조정될 수 있다. 마찬가지로 정정된 부분들에서의 휘도 레벨들이나 텍스처 파라미터들이 사용자에 의해 수동적으로 조정되거나, 사용자에 의한 최종 승인 또는 거부에 앞서, 실제로 정정된 부분 및 매핑 프로세스의 어떤 파라미터가 수동적으로 조정될 수 있다.
AAM이 한 얼굴 부분의 바깥 경계를 결정하는 방식을 제공하고 있지만, 가장 자리 인식, 영역 성장법 (region growing) 및 피부색 분석 같은 기존의 다른 이미지 처리 기술들 역시 AAM에 부가되거나 그에 대한 대안으로서 사용될 수 있을 것이다. 그러나, 그들은 결함들 및/또는 포즈 정보를 위해 한 얼굴 부분을 분석함에 있어서도 유용하다는 이점을 가지지 못할 것이다. 유용성을 제공할 수 있는 다른 기술들은 얼굴 인식 실행에 앞서 저 해상도 이미지들이나 메인 이미지에 전경 (foreground)/배경 (background) 분리 적용 단계를 포함하여, 전경 부분들 및 특히 전경의 피부 세그먼트들 만을 분석함으로써 전체 처리 시간을 줄일 수 있다. 전경/배경 외곽의 경계를 따라 적용되는 국지적 컬러 세그멘트화 (local colour segmentation)가 한 얼굴 부분의 경계를 한층 정교하게 하는 것을 도울 수 있다.
사용자가 재구성된 얼굴 부분의 배치에 만족한다면, 그들은 이것을 메인 이미지와 병합하기 위해 선택할 것이다; 그와 달리, 만일 사용자들이 별로 만족하지 않는다면 그들은 재구성 프로세스를 취소할 수 있다. 이러한 액션들은, 정정 모듈이 포착 기기(20) 상에 구현되어 있는 카메라 사용자 인터페이스 상의 버튼들을 통해 보통 선택된다.
실제 예들로서, 눈의 결함을 정정하는데 사용되는 시스템의 한 예를 고려할 수 있다. 포착 중 대상이 "눈을 깜박인" 덕분에 메인 이미지 프레임에서 한 쪽 눈이 감긴 한 결함의 예가 활용될 수 있다. 메인 이미지 포착 직후, 사용자에게 그러한 결함을 정정하고 싶은지 결정하라고 촉구된다. 사용자가 이를 승인하면, 카메라는 메인 이미지 포착 직전에 포착된 미리보기 이미지들로부터 저장된 얼굴 부분들의 집합에 대한 분석을 식작한다. 이미지 포착 직전 1초의 기간에 이를테면 20 개의 이미지들의 집합이 저장되었다고 전제한다. 결함은 깜박이는 눈이었으므로, 초기 테스트는 그 미리보기 이미지들 중 마지막, 이를테면 10 개가 유효하지 않다고 결정한다. 그러나, 그 이전의 10 개의 이미지들은 적절한 것으로 정해진다. 이 이미지들의 추가 테스트에, 얼굴 포즈가 모든 미리보기들에 걸친 평균 포즈에서 5% 넘게 달라져 있는 이미지들을 제거하는 얼굴 포즈의 결정; 평균 사이즈가 전체 이미지들에 걸친 평균 사이즈에서 25%를 넘게 변화되어 있는 이미지들을 제거하는 얼굴 부분 사이즈의 결정이 포함될 수 있다. 두 번째로 언급한 테스트에 대한 문턱치가 더 높은 이유는, 포즈 변동을 정정하기 보다 얼굴 부분들을 재스케일링하는 것이 더 쉽기 때문이다.
상술한 실시예의 변형으로서, 결합될 부분들은, 메인 얼굴 부분을 둘러싼 배경 부분의 일부를 포함할 수 있다. 이것은 메인 포착 이미지 안에서 정정되어야 할 결함이 이미지 노출 도중의 얼굴 움직임으로 인한 것일 때 특히 중요하다. 그것은 메인 이미지 내에서 윤곽이 양호하지 못한 외부 경계를 갖는 얼굴 부분을 파생시키고, 그 위에 중첩되는 수퍼 해상도 이미지는 토상적으로 그 얼굴 모션 결함을 적절히 정정하기 위해 배경 중 일부를 편입시킨다. 얼굴 재구성에 배경 부분들을 포함시킬지 여부에 대한 결정은 사용자에 의해 내려지거나, 메인 포착 이미지에 대한 결함 분석이 수행된 후 자동으로 결정될 수 있다. 후자의 경우, 얼굴 모션으로 인해 결함이 블러링 (blurring)을 포함하는 경우, 수퍼 해상도 재구성 프로세스시 배경 부분들이 정상적으로 포함될 것이다. 다른 실시예에서, 재구성된 배경은 (i) 상대적으로 동종의 색과 텍스처 특성의 배경 부분에 대한 영역 인필링 (region infiling) 기술들, 또는 (ii) 미리보기 이미지 스트림으로부터 이미지 정렬 및 수퍼 해상도 기술들을 사용해 생성될 수 있다. 후자의 경우 재구성된 배경은 배경에서 전경을 분리함으로써 만들어진 메인 이미지 배경 내 갭 (gap) 안에 병합되고; 그 다음 재구성된 얼굴 부분이 그 분리된 전경 부분 안에, 특히 그 전경의 얼굴 부분 안에 병합되며, 최종적으로 그 전경이 상기 개선된 배경 부분과 재통합된다.
여러 저 해상도 미리보기 이미지들로부터 보다 높은 해상도의 얼굴 부분을 생성하기 위해 수퍼 해상도 방식들을 적용한 후, 어떤 추가 스케일링 및 정렬 동작들이 일반적으로 수반된다. 게다가, 새로 구성된 수퍼 해상도 얼굴 부분과 메인 포착 이미지의 배경 간 완만한 천이 (smooth transition)을 보장하기 위해 어떤 블렌딩 (blending), 인필링 (infilling) 및 형태학상의 기법들이 사용될 수 있다. 이것은 특히, 정정될 결함이 이미지 노출 도중 얼굴의 모션 (움직임)인 경우에 더욱 그러하다. 모션 결함들의 경우, 재구성된 얼굴 부분을 메인 이미지 안에 병합시키기에 앞서 이미지 배경 중 일부를 재구성함이 바람직할 수도 있다.
또한, 새 얼굴 부분의 전반적 휘도 레벨들을 옛 얼굴 부분의 전반적 휘도 레벨들에 매치시키는 것이 바람직할 것이며, 이러한 것은 옛 부분과 새로 구성된 부분 사이의 피부색 매칭을 통해 가장 바람직하게 달성된다. 미리보기 이미지들은 고정된 카메라 설정 (settings) 하에서 포착되며, 과다 노출/노출 부족이 될 수 있다. 그것은 수퍼 해상도 처리 도중에 완전하게 보상되지 못할 것이므로 추가적 이미지 처리 과정들이 수반될 수 있다.
상술한 실시예들은 한 이미지 내 얼굴 부분들을 교체하는 것에 관한 것이었 지만, AAM이 이미지의 어떤 유형의 특징을 모델링하는데 사용될 수도 있다. 따라서, 소정 실시예들에서, 수퍼 해상도 재구성에 사용될 패치들 (patches)이 얼굴 부분 안의 하부 부분들 (sub-regions)일 수 있다. 예를 들어, 전체적인 얼굴 부분보다는 눈이나 입 부분 같은 얼굴 부분들의 한 세그먼트만을 재구성함이 바람직할 것이다. 그런 경우, 하부 부분의 정밀한 경계에 대한 결정은 별로 중요치 않는데, 이는 하부 부분이 실질적으로 유사한 색과 텍스처 (즉, 피부색과 텍스처)의 주변 부분으로 병합될 것이기 때문이다. 따라서, 결합될 눈 부분들에 집중하거나 입 부분의 코너를 정렬하고, 주변의 피부색 영역들을 메인 이미지 안에 혼합 (블렌딩)하는데 의존하는 것으로 충분하다.
상기 실시예들 중 하나 이상에서, 각각의 얼굴 부분들이 개별적으로 추적될 수 있다 (여기 참조를 통해 포함되는 미국 출원번호 11/464,083도 참조). 부분들 (regions)은 프레임 단위로 추적될 수 있다. 미리보기나 사후보기 (post-view) 부분들이 추출되고, 분석되어 함께, 그리고 메인 또는 최종 포착 이미지 내 얼굴 부분과 함께 정렬될 수 있다. 또, 소정 실시예들에 따른 기술들에서, 얼굴에 대한 미리보기들이나 사후보기들 간 보다 미소한 디테일을 찾아 연관짓기 위해 얼굴들이 프레임들 사이에서 추적될 수 있다. 예를 들어, 미리 보기 N 안의 아무개의 얼굴로부터의 왼쪽 눈은 미리보기 N+1 안의 아무개 얼굴로부터의 왼쪽 눈과 연관될 수 있다. 이들은 함께 사용되어, 하나 이상의 개선된 아무개 눈의 이미지들을 생성하도록 할 수 있다. 이러한 것이 바람직한 이유는 작은 특징들 (눈, 입, 코, 눈꺼플이나 속눈썹, 혹은 동공이나 홍채같은 눈의 구성성분, 또는 귀, 턱, 수염, 콧수염, 이마, 헤어 스타일 등등)은, 보다 큰 특징들만큼 프레임들 사이에서 찾기가 쉽지 않기 때문이다 (그리고, 프레임들 사이에서 이들의 절대 또는 상대 위치 이동들이 그들의 사이즈에 비하여 더 효과적이기 쉽다).
본 발명은 상술한 실시예들에 국한되지 않으며, 첨부된 청구항들, 그 구조적이고도 기능적인 등가 사항들에 기술된 바와 같은 본 발명의 범위에서 벗어나지 않은체 보정되거나 수정될 수 있다.
여기서의 바람직한 실시예들에 따라 수행될 수 있고 위에서 그리고 이하의 청구범위들에서 기술되었을 수 있는 방식들에서, 동작들은 선택된 기입 상의 순차에 따라 기술되었다. 그러나, 그 순차들은 기입의 편리를 위해 선택 및 정렬된 것일 뿐, 그 동작들을 수행하기 위한 어떤 특정 순서를 의무적으로 따라야 하는 것으로 의도된 것은 아니다.
또, 본 발명의 배경기술과 정리 부분 외에, 여기서 인용된 모든 참증들은 대안적 실시예들 및 구성을 개시한 것으로서 본 발명의 바람직한 실시예들에 대한 상세 설명 안에 참조의 형식으로 포함된다. 아래에 나열되는 참증들 역시 그러한 목적으로 참조의 형식을 통해 포함될 것이다: 미국 특허출원번호 6/829,127, 60/804,546, 60/821,165, 11/554,539, 11/464,-83, 11/027,001, 10/842,244, 11/024,046, 11/233,513, 11/460,218, 11/573,713, 11/319,766, 11/464,083, 11/744,020 및 11/460,218, 및 미국 출원공개번호 2006/0285754.
Claims (61)
- 이미지 처리 방법에 있어서,a) 한 장면 (scene)의 메인 이미지를 포착하는 (acquiring) 단계;b) 상기 메인 이미지 안에서 하나 이상의 얼굴 부분들 (facial regions)을 결정하는 단계;c) 상기 얼굴 부분들 중 어느 하나가 결함을 포함하는지를 판단하기 위해 상기 하나 이상의 얼굴 부분들을 분석하는 단계;d) 상기 메인 이미지 포착을 위한 시간을 포함하지 않는 소정 기간 동안, 상기 장면에 대한 명목상 상대적 저 해상도 이미지들의 시퀀스를 포착하는 단계;e) 상기 저 해상도 이미지들의 시퀀스 내 저 해상도 얼굴 부분들의 한 개 이상의 집합들을 결정하는 단계;f) 상기 얼굴 부분들의 집합들을 분석하여, 상기 메인 이미지의 결함 있는 얼굴 부분에 대응하는 한 집합의 어느 얼굴 부분들이 결함을 포함하는지를 판단하는 단계;g) 상기 대응하는 집합의 무결함 얼굴 부분들을 결합하여, 고품질 무결함 얼굴 부분을 제공하는 단계; 및h) 대응하는 고 품질 무결함 얼굴 부분으로부터의 이미지 정보를 가지고 상기 메인 이미지의 어떤 결함 있는 얼굴 부분들의 적어도 일부를 정정하는 단계를 포함함을 특징으로 하는 방법.
- 제1항에 있어서, 상기 소정 기간은, 상기 메인 이미지 포착을 위한 기간 이전의 기간이나 이후의 기간 중 하나 이상을 포함함을 특징으로 하는 방법.
- 제1항에 있어서, 상기 정정하는 단계는,한 얼굴 부분의 외연을 경계짓는 복수의 꼭지점들을 포함한 한 모델 (model)을 각각의 고품질 무결함 얼굴 부분 및 대응하는 결함 있는 얼굴 부분에 적용하는 단계; 및상기 각 부분들에 대한 꼭지점들의 대응관계에 따라 상기 고품질 무결함 얼굴 부분의 픽셀들을 상기 결함 있는 얼굴 부분에 매핑하는 단계를 포함함을 특징으로 하는 방법.
- 제3항에 있어서, 상기 모델은 AAM (Active Appearance Model)을 포함함을 특징으로 하는 방법.
- 제1항에 있어서, 상기 메인 이미지는 상기 저해상도 이미지들의 노출 (exposure) 레벨과 다른 노출 레벨에서 포착되고, 상기 정정 단계는, 상기 고품질 무결함 얼굴 부분의 휘도 레벨들을 상기 결함 있는 얼굴 부분의 휘도 레벨들에 매핑하는 단계를 포함함을 특징으로 하는 방법.
- 제1항에 있어서,상기 메인 이미지의 이미지 헤더 파일 안에 상기 저 해상도 이미지들의 시퀀스로부터의 저 해상도 얼굴 부분들의 집합들을 저장하는 단계를 포함함을 특징으로 하는 방법.
- 제1항에 있어서, 상기 f)의 분석 단계는, 상기 결합하기에 앞서, 한 얼굴 부분들의 집합 내 얼굴들의 평균 사이즈를 문턱량 만큼 초과하는 얼굴들을 포함한 얼굴 부분들을 상기 얼굴 부분들의 집합으로부터 제거하는 단계를 더 포함함을 특징으로 하는 방법.
- 제1항에 있어서, 상기 f)의 분석 단계는, 상기 결합하기에 앞서, 한 얼굴 부분들의 집합 내 얼굴들의 평균 방위 (orientation)에서 문턱량 만큼 벗어난 방위를 가진 얼굴들을 포함한 얼굴 부분들을 상기 얼굴 부분들의 집합으로부터 제거하는 단계를 더 포함함을 특징으로 하는 방법.
- 제1항에 있어서,상기 메인 이미지를 디스플레이하는 단계; 및사용자 인터랙션 (interaction)에 반응하여, c) 단계 및 f)에서 h) 단계들을 수행하는 단계를 포함함을 특징으로 하는 방법.
- 제1항에 있어서, e) 단계는 a) 단계를 수행하기 전에 어떤 시점에 수행됨을 특징으로 하는 방법.
- 제1항에 있어서,상기 정정된 이미지를 디스플레이하는 단계; 및사용자 인터랙션 (interaction)에 반응하여, 상기 정정된 이미지를 저장하는 단계를 포함함을 특징으로 하는 방법.
- 제1항에 있어서, 상기 f) 단계의 분석하기는,AAM (Active Appearance Model)을 한 얼굴 부분들의 집합의 각 얼굴에 적용하는 단계;상기 얼굴 부분들의 집합의 각 얼굴에 대한 AAM 파라미터들을 분석하여 얼굴 표정에 대한 지시 (indication)를 제공하는 단계; 및상기 결합하기에 앞서, 상기 얼굴 부분들의 집합으로부터 결함 있는 표정을 가진 얼굴들을 제거하는 단계를 포함함을 특징으로 하는 방법.
- 제1항에 있어서, 상기 f) 단계의 분석하기는,AAM (Active Appearance Model)을 한 얼굴 부분들의 집합의 각 얼굴에 적용하는 단계;상기 얼굴 부분들의 집합의 각 얼굴에 대한 AAM 파라미터들을 분석하여 얼굴 방위에 대한 지시 (indication)를 제공하는 단계; 및상기 결합하기에 앞서, 상기 얼굴 부분들의 집합으로부터 원치 않는 방위를 가진 얼굴들을 제거하는 단계를 포함함을 특징으로 하는 방법.
- 상기 c)의 분석하는 단계는,AAM (Active Appearance Model)을 각 얼굴 부분에 적용하는 단계; 및각 얼굴 부분에 대한 AAM 파라미터들을 분석하여 얼굴 표정에 대한 지시 (indication)를 제공하는 단계를 포함함을 특징으로 하는 방법.
- 제1항에 있어서, 상기 c)의 분석하는 단계는,대비 (contrast), 선명도 (sharpness), 텍스처 (texture), 휘도 레벨들 또는 피부색 중 하나 이상에 대해 각 얼굴 부분을 분석하는 단계를 포함함을 특징으로 하는 방법.
- 제1항에 있어서, 상기 c)의 분석하는 단계는,각 얼굴 부분을 분석하여, 상기 얼굴 부분의 어떤 눈들이 감겨있는지를 판단하는 단계를 포함함을 특징으로 하는 방법.
- 제1항에 있어서, 상기 c)의 분석하는 단계는,각 얼굴 부분을 분석하여, 상기 얼굴 부분의 어떤 입이 벌어졌는지를 판단하 는 단계를 포함함을 특징으로 하는 방법.
- 제1항에 있어서, 상기 c)의 분석하는 단계는,각 얼굴 부분을 분석하여, 상기 얼굴 부분의 어떤 입이 웃고있는지를 판단하는 단계를 포함함을 특징으로 하는 방법.
- 제1항에 있어서, 상기 g) 및 h) 단계들은 상기 얼굴 부분들의 집합이 소정 수치를 초과할 때에만 수행됨을 특징으로 하는 방법.
- 제1항에 있어서,상기 결합하기에 앞서, 상기 얼굴 부분들의 집합의 얼굴들을 리사이징 (resizing) 및 정렬 (aligning)하는 단계를 포함함을 특징으로 하는 방법.
- 제20항에 있어서, 상기 정렬하는 단계는, 상기 얼굴 부분들의 집합의 얼굴들 중 중요 포인트들 (cardinal points)에 맞춰 수행됨을 특징으로 하는 방법.
- 제1항에 있어서, 상기 정정하는 단계는,상기 메인 이미지의 정정된 부분을 상기 메인 이미지의 나머지와 블렌딩 (blending); 또는 인필링 (infilling)하는 단계들 중 하나 이상을 더 포함함을 특징으로 하는 방법.
- 제1항에 있어서,상기 정정된 이미지를 디스플레이하는 단계; 및사용자 인터랙션 (interaction)에 반응해, 상기 정정된 이미지의 정정결과를 조정하는 단계를 포함함을 특징으로 하는 방법.
- 이미지 처리 방법에 있어서,a) 한 장면 (scene)의 메인 이미지를 포착하는 (acquiring) 단계;b) 상기 메인 이미지 안에서 하나 이상의 얼굴 부분들 (facial regions)을 결정하는 단계;c) 상기 하나 이상의 메인 이미지 얼굴 부분들을 결함에 대해 분석하고, 하나 이상이 결함이 있다고 결정하는 단계;d) 상기 장면에 대한 명목상 상대적 저 해상도 이미지들의 시퀀스를 포착하는 단계;e) 상기 저 해상도 이미지들의 시퀀스 내 저 해상도 얼굴 부분들의 한 개 이상의 집합들을 결정하는 단계;f) 상기 저 해상도 얼굴 부분들의 상기 하나 이상의 집합들을 분석하여, 상기 메인 이미지 얼굴 부분에 대응하는 하나 이상의 얼굴 부분들을 결정하는 단계;g) 상기 결함 있는 메인 이미지 얼굴 부분의 적어도 일부를, 상기 결함 있는 메인 이미지 얼굴 부분의 상기 일부와 같은 결함을 포함하고 있지 않은 하나 이상 의 대응되는 저 해상도 얼굴 부분들로부터의 이미지 정보를 가지고 정정하는 단계를 포함함을 특징으로 하는 방법.
- 제24항에 있어서, 상기 정정하는 단계는,한 얼굴 부분의 외연을 경계짓는 복수의 꼭지점들을 포함한 한 모델 (model)을, 상기 같은 결함을 포함하고 있지 않은 하나 이상의 저 해상도 얼굴 부분들 및, 대응되는 결함 있는 메인 이미지 얼굴 부분에 적용하는 단계; 및상기 각 부분들에 대한 꼭지점들의 대응관계에 따라 상기 하나 이상의 저 해상도 얼굴 부분들의 픽셀들을 상기 대응되는 결함 있는 메인 이미지 얼굴 부분에 매핑하는 단계를 포함함을 특징으로 하는 방법.
- 제25항에 있어서, 상기 모델은 AAM (Active Appearance Model)을 포함함을 특징으로 하는 방법.
- 제24항에 있어서, 상기 메인 이미지는 상기 저해상도 이미지들의 노출 (exposure) 레벨과 다른 노출 레벨에서 포착되고, 상기 정정 단계는, 상기 같은 결함을 포함하고 있지 않은 하나 이상의 저 해상도 얼굴 부분들의 휘도 레벨들을 상기 결함 있는 얼굴 부분의 휘도 레벨들에 매핑하는 단계를 포함함을 특징으로 하는 방법.
- 제24항에 있어서,상기 메인 이미지의 이미지 헤더 파일 안에 상기 저 해상도 이미지들의 시퀀스로부터의 저 해상도 얼굴 부분들의 집합들을 저장하는 단계를 포함함을 특징으로 하는 방법.
- 제24항에 있어서, 상기 하나 이상의 집합들을 분석하는 단계는, 적어도 한 얼굴 부분들의 집합 내 얼굴들의 평균 사이즈를 문턱량 만큼 초과하는 얼굴들을 포함한 얼굴 부분들을 상기 얼굴 부분들의 집합으로부터 제거하는 단계를 더 포함함을 특징으로 하는 방법.
- 제24항에 있어서, 상기 하나 이상의 집합들을 분석하는 단계는, 한 얼굴 부분들의 집합 내 얼굴들의 평균 방위 (orientation)에서 문턱량 만큼 벗어난 방위를 가진 얼굴들을 포함한 얼굴 부분들을 상기 얼굴 부분들의 집합으로부터 제거하는 단계를 더 포함함을 특징으로 하는 방법.
- 제24항에 있어서,상기 메인 이미지를 디스플레이하는 단계; 및사용자 인터랙션 (interaction)에 반응하여, 상기 하나 이상의 얼굴 부분들을 분석하는 단계, 상기 하나 이상의 집합들을 분석하는 단계, 또는 상기 정정하는 단계, 또는 그들의 조합 단계들을 선택적으로 수행하는 단계를 더 포함함을 특징으 로 하는 방법.
- 제24항에 있어서,상기 정정하는 단계에 기초한 상기 정정된 이미지를 디스플레이하는 단계; 및사용자 인터랙션 (interaction)에 반응하여, 상기 정정된 이미지를 저장하는 단계를 더 포함함을 특징으로 하는 방법.
- 제24항에 있어서, 상기 하나 이상의 집합들을 분석하는 단계는,AAM (Active Appearance Model)을 한 얼굴 부분들의 집합의 각 얼굴에 적용하는 단계;상기 얼굴 부분들의 집합의 각 얼굴에 대한 AAM 파라미터들을 분석하여 얼굴 표정에 대한 지시 (indication)를 제공하는 단계; 및상기 결합하기에 앞서, 상기 얼굴 부분들의 집합으로부터 결함 있는 표정을 가진 얼굴들을 제거하는 단계를 포함함을 특징으로 하는 방법.
- 제24항에 있어서, 상기 하나 이상의 집합들을 분석하는 단계는,AAM (Active Appearance Model)을 한 얼굴 부분들의 집합의 각 얼굴에 적용하는 단계;상기 얼굴 부분들의 집합의 각 얼굴에 대한 AAM 파라미터들을 분석하여 얼굴 방위에 대한 지시 (indication)를 제공하는 단계; 및상기 결합하기에 앞서, 상기 얼굴 부분들의 집합으로부터 원치 않는 방위를 가진 얼굴들을 제거하는 단계를 포함함을 특징으로 하는 방법.
- 제24항에 있어서, 상기 하나 이상의 얼굴 부분들을 분석하는 단계는,AAM (Active Appearance Model)을 각 얼굴 부분에 적용하는 단계; 및각 얼굴 부분에 대한 AAM 파라미터들을 분석하여 얼굴 표정에 대한 지시 (indication)를 제공하는 단계를 포함함을 특징으로 하는 방법.
- 제24항에 있어서, 상기 하나 이상의 얼굴 부분들을 분석하는 단계는,적어도 한 얼굴 부분을 분석하여, 상기 얼굴 부분의 한 쪽 눈이 감겨있는지를 판단하는 단계를 포함함을 특징으로 하는 방법.
- 제24항에 있어서, 상기 하나 이상의 얼굴 부분들을 분석하는 단계는,적어도 한 얼굴 부분을 분석하여, 상기 얼굴 부분의 입이 벌어졌는지를 판단하는 단계를 포함함을 특징으로 하는 방법.
- 제24항에 있어서, 상기 하나 이상의 얼굴 부분들을 분석하는 단계는,적어도 한 얼굴 부분을 분석하여, 상기 얼굴 부분의 입이 찡그리고 있는지를 판단하는 단계를 포함함을 특징으로 하는 방법.
- 제24항에 있어서,상기 정정하는 단계에 따른 정정된 이미지를 디스플레이하는 단계; 및사용자 인터랙션 (interaction)에 반응해, 상기 정정된 이미지의 정정결과를 조정하는 단계를 더 포함함을 특징으로 하는 방법.
- 제24항에 있어서, 상기 저 해상도 이미지의 시퀀스는 상기 메인 이미지를 포착하기 위한 시간이 포함되지 않은 소정 기간 동안 포착됨을 특징으로 하는 방법.
- 제24항에 있어서,무결함 저해상도 얼굴 부분들을 하나의 합성 이미지 안에 결합하는 단계, 및상기 결함 있는 메인 이미지 얼굴 부분의 적어도 일부를 상기 합성 이미지로부터의 이미지 정보를 가지고 정정하는 단계를 더 포함함을 특징으로 하는 방법.
- 이미지 처리 장치에 있어서,a) 한 장면 (scene)의 메인 이미지를 포착하기 (acquiring) 위한 수단;b) 상기 메인 이미지 안에서 하나 이상의 얼굴 부분들 (facial regions)을 결정하기 위한 수단;c) 상기 얼굴 부분들 중 어느 하나가 결함을 포함하는지를 판단하기 위해 상기 하나 이상의 얼굴 부분들을 분석하기 위한 수단;d) 상기 메인 이미지 포착을 위한 시간을 포함하지 않는 소정 기간 동안, 상기 장면에 대한 명목상 상대적 저 해상도 이미지들의 시퀀스를 포착하기 위한 수단;e) 상기 저 해상도 이미지들의 시퀀스 내 저 해상도 얼굴 부분들의 한 개 이상의 집합들을 결정하기 위한 수단;f) 상기 얼굴 부분들의 집합들을 분석하여, 상기 메인 이미지의 결함 있는 얼굴 부분에 대응하는 한 집합의 어느 얼굴 부분들이 결함을 포함하는지를 판단하기 위한 수단;g) 상기 대응하는 집합의 무결함 얼굴 부분들을 결합하여, 고품질 무결함 얼굴 부분을 제공하기 위한 수단; 및h) 대응하는 고 품질 무결함 얼굴 부분으로부터의 이미지 정보를 가지고 상기 메인 이미지의 어떤 결함 있는 얼굴 부분들의 적어도 일부를 정정하기 위한 수단을 포함함을 특징으로 하는 이미지 처리 장치.
- 제42항에 있어서, 디지털 이미지 포착 기기 또는 범용 컴퓨터 또는 그 둘 모두를 포함함을 특징으로 하는 이미지 처리 장치.
- 디지털 이미지들 내 개선된 얼굴 부분들을 갖는 이미지들을 제공하기 위한 장치에 있어서, 상기 장치는 프로세서, 및 상기 장치를 제어하여 이미지 처리 방법을 수행하도록 상기 프로세서를 프로그래밍하기 위한 하나 이상의 프로세서 판독가 능 매체들을 포함하고,상기 이미지 처리 방법은,a) 한 장면 (scene)의 메인 이미지를 포착하는 (acquiring) 단계;b) 상기 메인 이미지 안에서 하나 이상의 얼굴 부분들 (facial regions)을 결정하는 단계;c) 상기 하나 이상의 메인 이미지 얼굴 부분들을 결함에 대해 분석하고, 하나 이상이 결함이 있다고 결정하는 단계;d) 상기 장면에 대한 명목상 상대적 저 해상도 이미지들의 시퀀스를 포착하는 단계;e) 상기 저 해상도 이미지들의 시퀀스 내 저 해상도 얼굴 부분들의 한 개 이상의 집합들을 결정하는 단계;f) 상기 저 해상도 얼굴 부분들의 상기 하나 이상의 집합들을 분석하여, 상기 메인 이미지 얼굴 부분에 대응하는 하나 이상의 얼굴 부분들을 결정하는 단계;g) 상기 결함 있는 메인 이미지 얼굴 부분의 적어도 일부를, 상기 결함 있는 메인 이미지 얼굴 부분의 상기 일부와 같은 결함을 포함하고 있지 않은 하나 이상의 대응되는 저 해상도 얼굴 부분들로부터의 이미지 정보를 가지고 정정하는 단계를 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 정정하는 단계는,한 얼굴 부분의 외연을 경계짓는 복수의 꼭지점들을 포함한 한 모델 (model) 을, 상기 같은 결함을 포함하고 있지 않은 하나 이상의 저 해상도 얼굴 부분들 및, 대응되는 결함 있는 메인 이미지 얼굴 부분에 적용하는 단계; 및상기 각 부분들에 대한 꼭지점들의 대응관계에 따라 상기 하나 이상의 저 해상도 얼굴 부분들의 픽셀들을 상기 대응되는 결함 있는 메인 이미지 얼굴 부분에 매핑하는 단계를 포함함을 특징으로 하는 장치.
- 제45항에 있어서, 상기 모델은 AAM (Active Appearance Model)을 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 메인 이미지는 상기 저해상도 이미지들의 노출 (exposure) 레벨과 다른 노출 레벨에서 포착되고, 상기 정정 단계는, 상기 같은 결함을 포함하고 있지 않은 하나 이상의 저 해상도 얼굴 부분들의 휘도 레벨들을 상기 결함 있는 얼굴 부분의 휘도 레벨들에 매핑하는 단계를 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 방법은,상기 메인 이미지의 이미지 헤더 파일 안에 상기 저 해상도 이미지들의 시퀀스로부터의 저 해상도 얼굴 부분들의 집합들을 저장하는 단계를 더 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 하나 이상의 집합들을 분석하는 단계는, 적어도 한 얼굴 부분들의 집합 내 얼굴들의 평균 사이즈를 문턱량 만큼 초과하는 얼굴들을 포함한 얼굴 부분들을 상기 얼굴 부분들의 집합으로부터 제거하는 단계를 더 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 하나 이상의 집합들을 분석하는 단계는, 한 얼굴 부분들의 집합 내 얼굴들의 평균 방위 (orientation)에서 문턱량 만큼 벗어난 방위를 가진 얼굴들을 포함한 얼굴 부분들을 상기 얼굴 부분들의 집합으로부터 제거하는 단계를 더 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 방법은,상기 메인 이미지를 디스플레이하는 단계; 및사용자 인터랙션 (interaction)에 반응하여, 상기 하나 이상의 얼굴 부분들을 분석하는 단계, 상기 하나 이상의 집합들을 분석하는 단계, 또는 상기 정정하는 단계, 또는 그들의 조합 단계들을 선택적으로 수행하는 단계를 더 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 방법은,상기 정정하는 단계에 기초한 상기 정정된 이미지를 디스플레이하는 단계; 및사용자 인터랙션 (interaction)에 반응하여, 상기 정정된 이미지를 저장하는 단계를 더 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 하나 이상의 집합들을 분석하는 단계는,AAM (Active Appearance Model)을 한 얼굴 부분들의 집합의 각 얼굴에 적용하는 단계;상기 얼굴 부분들의 집합의 각 얼굴에 대한 AAM 파라미터들을 분석하여 얼굴 표정에 대한 지시 (indication)를 제공하는 단계; 및상기 결합하기에 앞서, 상기 얼굴 부분들의 집합으로부터 결함 있는 표정을 가진 얼굴들을 제거하는 단계를 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 하나 이상의 집합들을 분석하는 단계는,AAM (Active Appearance Model)을 한 얼굴 부분들의 집합의 각 얼굴에 적용하는 단계;상기 얼굴 부분들의 집합의 각 얼굴에 대한 AAM 파라미터들을 분석하여 얼굴 방위에 대한 지시 (indication)를 제공하는 단계; 및상기 결합하기에 앞서, 상기 얼굴 부분들의 집합으로부터 원치 않는 방위를 가진 얼굴들을 제거하는 단계를 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 하나 이상의 얼굴 부분들을 분석하는 단계는,AAM (Active Appearance Model)을 각 얼굴 부분에 적용하는 단계; 및각 얼굴 부분에 대한 AAM 파라미터들을 분석하여 얼굴 표정에 대한 지시 (indication)를 제공하는 단계를 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 하나 이상의 얼굴 부분들을 분석하는 단계는,적어도 한 얼굴 부분을 분석하여, 상기 얼굴 부분의 한 쪽 눈이 감겨있는지를 판단하는 단계를 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 하나 이상의 얼굴 부분들을 분석하는 단계는,적어도 한 얼굴 부분을 분석하여, 상기 얼굴 부분의 입이 벌어졌는지를 판단하는 단계를 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 하나 이상의 얼굴 부분들을 분석하는 단계는,적어도 한 얼굴 부분을 분석하여, 상기 얼굴 부분의 입이 찡그리고 있는지를 판단하는 단계를 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 방법은,상기 정정하는 단계에 따른 정정된 이미지를 디스플레이하는 단계; 및사용자 인터랙션 (interaction)에 반응해, 상기 정정된 이미지의 정정결과를 조정하는 단계를 더 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 저 해상도 이미지의 시퀀스는 상기 메인 이미지를 포착하기 위한 시간이 포함되지 않은 소정 기간 동안 포착됨을 특징으로 하는 장치.
- 제44항에 있어서, 상기 방법은,무결함 저해상도 얼굴 부분들을 하나의 합성 이미지 안에 결합하는 단계, 및상기 결함 있는 메인 이미지 얼굴 부분의 적어도 일부를 상기 합성 이미지로부터의 이미지 정보를 가지고 정정하는 단계를 더 포함함을 특징으로 하는 장치.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/US2007/069593 WO2008150285A1 (en) | 2007-05-24 | 2007-05-24 | Image processing method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20100022084A true KR20100022084A (ko) | 2010-02-26 |
| KR101380731B1 KR101380731B1 (ko) | 2014-04-02 |
Family
ID=40093953
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020097026939A KR101380731B1 (ko) | 2007-05-24 | 2007-05-24 | 이미지 처리 방법 및 장치 |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP2153374B1 (ko) |
| KR (1) | KR101380731B1 (ko) |
| CN (1) | CN202018662U (ko) |
| WO (1) | WO2008150285A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101426785B1 (ko) * | 2014-03-05 | 2014-08-06 | 성결대학교 산학협력단 | 스마트 디바이스에서 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법 |
| KR101531824B1 (ko) * | 2012-10-25 | 2015-06-25 | 국민대학교산학협력단 | 평균데이터를 이용한 이미지 관련 프로세스의 소프트 에러 보정 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체 |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7792970B2 (en) | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
| US7506057B2 (en) | 2005-06-17 | 2009-03-17 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
| US7269292B2 (en) | 2003-06-26 | 2007-09-11 | Fotonation Vision Limited | Digital image adjustable compression and resolution using face detection information |
| US7565030B2 (en) | 2003-06-26 | 2009-07-21 | Fotonation Vision Limited | Detecting orientation of digital images using face detection information |
| US7574016B2 (en) | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
| US8948468B2 (en) | 2003-06-26 | 2015-02-03 | Fotonation Limited | Modification of viewing parameters for digital images using face detection information |
| IES20070229A2 (en) | 2006-06-05 | 2007-10-03 | Fotonation Vision Ltd | Image acquisition method and apparatus |
| US8055067B2 (en) | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
| US7916971B2 (en) | 2007-05-24 | 2011-03-29 | Tessera Technologies Ireland Limited | Image processing method and apparatus |
| EP2277141A2 (en) | 2008-07-30 | 2011-01-26 | Tessera Technologies Ireland Limited | Automatic face and skin beautification using face detection |
| WO2010103527A2 (en) | 2009-03-13 | 2010-09-16 | Ramot At Tel-Aviv University Ltd. | Imaging system and method for imaging objects with reduced image blur |
| US8977012B2 (en) * | 2012-10-31 | 2015-03-10 | Google Inc. | Image denoising system and method |
| US9239957B2 (en) | 2014-04-04 | 2016-01-19 | Fotonation Limited | Image processing method and apparatus |
| US10026010B2 (en) * | 2014-05-14 | 2018-07-17 | At&T Intellectual Property I, L.P. | Image quality estimation using a reference image portion |
| KR102299847B1 (ko) | 2017-06-26 | 2021-09-08 | 삼성전자주식회사 | 얼굴 인증 방법 및 장치 |
| CN111291669B (zh) * | 2020-01-22 | 2023-08-04 | 武汉大学 | 一种双通道俯角人脸融合校正gan网络及人脸融合校正方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09212620A (ja) * | 1996-01-31 | 1997-08-15 | Nissha Printing Co Ltd | 顔画像の製作方法 |
| US7738015B2 (en) * | 1997-10-09 | 2010-06-15 | Fotonation Vision Limited | Red-eye filter method and apparatus |
| WO2003009216A1 (en) * | 2001-07-17 | 2003-01-30 | Yesvideo, Inc. | Automatic selection of a visual image based on quality |
| US20040223649A1 (en) * | 2003-05-07 | 2004-11-11 | Eastman Kodak Company | Composite imaging method and system |
| CN100440944C (zh) * | 2003-11-11 | 2008-12-03 | 精工爱普生株式会社 | 图像处理装置以及图像处理方法 |
| US7809197B2 (en) * | 2004-12-09 | 2010-10-05 | Eastman Kodak Company | Method for automatically determining the acceptability of a digital image |
| JP4906034B2 (ja) * | 2005-05-16 | 2012-03-28 | 富士フイルム株式会社 | 撮影装置および方法並びにプログラム |
| DE602006009191D1 (de) * | 2005-07-26 | 2009-10-29 | Canon Kk | Bildaufnahmegerät und -verfahren |
| JP4799101B2 (ja) | 2005-09-26 | 2011-10-26 | 富士フイルム株式会社 | 画像処理方法および装置ならびにプログラム |
| GB2447246B (en) * | 2007-03-07 | 2012-04-18 | Aurora Comp Services Ltd | Controlled high resolution sub-image capture with time domain multiplexed high speed full field of view reference video stream for image biometric application |
-
2007
- 2007-05-24 EP EP07784090.8A patent/EP2153374B1/en active Active
- 2007-05-24 WO PCT/US2007/069593 patent/WO2008150285A1/en active Application Filing
- 2007-05-24 CN CN2007900001366U patent/CN202018662U/zh not_active Expired - Lifetime
- 2007-05-24 KR KR1020097026939A patent/KR101380731B1/ko active IP Right Grant
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101531824B1 (ko) * | 2012-10-25 | 2015-06-25 | 국민대학교산학협력단 | 평균데이터를 이용한 이미지 관련 프로세스의 소프트 에러 보정 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체 |
| KR101426785B1 (ko) * | 2014-03-05 | 2014-08-06 | 성결대학교 산학협력단 | 스마트 디바이스에서 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101380731B1 (ko) | 2014-04-02 |
| WO2008150285A1 (en) | 2008-12-11 |
| CN202018662U (zh) | 2011-10-26 |
| EP2153374A1 (en) | 2010-02-17 |
| EP2153374A4 (en) | 2014-03-05 |
| EP2153374B1 (en) | 2014-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101380731B1 (ko) | 이미지 처리 방법 및 장치 | |
| US7916971B2 (en) | Image processing method and apparatus | |
| US10733472B2 (en) | Image capture device with contemporaneous image correction mechanism | |
| US9692964B2 (en) | Modification of post-viewing parameters for digital images using image region or feature information | |
| US8593542B2 (en) | Foreground/background separation using reference images | |
| US8682097B2 (en) | Digital image enhancement with reference images | |
| US8494286B2 (en) | Face detection in mid-shot digital images | |
| JP4970469B2 (ja) | デジタル画像を選択的に不適格とする方法及び装置 | |
| US8330831B2 (en) | Method of gathering visual meta data using a reference image | |
| JP2006053666A (ja) | 画像処理プログラム、画像処理方法、画像処理装置及び記録媒体 | |
| JP2004178368A (ja) | 画像処理装置 | |
| IE20070518U1 (en) | Image processing method and apparatus | |
| IES84961Y1 (en) | Image processing method and apparatus | |
| JP6390075B2 (ja) | 画像処理装置、電子カメラ及び画像処理プログラム | |
| JP5927972B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
| IE20080161U1 (en) | Face detection in mid-shot digital images | |
| IES84977Y1 (en) | Face detection in mid-shot digital images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0105 | International application |
Patent event date: 20091223 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20100618 Comment text: Request for Examination of Application |
|
| N231 | Notification of change of applicant | ||
| PN2301 | Change of applicant |
Patent event date: 20110503 Comment text: Notification of Change of Applicant Patent event code: PN23011R01D |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20111213 Patent event code: PE09021S01D |
|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| PE0601 | Decision on rejection of patent |
Patent event date: 20120731 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20111213 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |
|
| AMND | Amendment | ||
| J201 | Request for trial against refusal decision | ||
| PJ0201 | Trial against decision of rejection |
Patent event date: 20120830 Comment text: Request for Trial against Decision on Refusal Patent event code: PJ02012R01D Patent event date: 20120731 Comment text: Decision to Refuse Application Patent event code: PJ02011S01I Appeal kind category: Appeal against decision to decline refusal Decision date: 20131231 Appeal identifier: 2012101007833 Request date: 20120830 |
|
| PB0901 | Examination by re-examination before a trial |
Comment text: Amendment to Specification, etc. Patent event date: 20120830 Patent event code: PB09011R02I Comment text: Request for Trial against Decision on Refusal Patent event date: 20120830 Patent event code: PB09011R01I Comment text: Amendment to Specification, etc. Patent event date: 20120210 Patent event code: PB09011R02I |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20121108 Patent event code: PE09021S01D |
|
| E90F | Notification of reason for final refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Final Notice of Reason for Refusal Patent event date: 20130628 Patent event code: PE09021S02D |
|
| B701 | Decision to grant | ||
| PB0701 | Decision of registration after re-examination before a trial |
Patent event date: 20131231 Comment text: Decision to Grant Registration Patent event code: PB07012S01D Patent event date: 20121008 Comment text: Transfer of Trial File for Re-examination before a Trial Patent event code: PB07011S01I |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20140327 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20140328 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20170317 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20170317 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20180309 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20180309 Start annual number: 5 End annual number: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20190314 Year of fee payment: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20190314 Start annual number: 6 End annual number: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20200319 Start annual number: 7 End annual number: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20220315 Start annual number: 9 End annual number: 9 |
|
| PR1001 | Payment of annual fee |
Payment date: 20230315 Start annual number: 10 End annual number: 10 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240318 Start annual number: 11 End annual number: 11 |