KR20100022084A - 이미지 처리 방법 및 장치 - Google Patents
이미지 처리 방법 및 장치 Download PDFInfo
- Publication number
- KR20100022084A KR20100022084A KR1020097026939A KR20097026939A KR20100022084A KR 20100022084 A KR20100022084 A KR 20100022084A KR 1020097026939 A KR1020097026939 A KR 1020097026939A KR 20097026939 A KR20097026939 A KR 20097026939A KR 20100022084 A KR20100022084 A KR 20100022084A
- Authority
- KR
- South Korea
- Prior art keywords
- face
- analyzing
- face portions
- image
- main image
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000000034 method Methods 0.000 claims abstract description 89
- 230000007547 defect Effects 0.000 claims abstract description 53
- 230000002950 deficient Effects 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 13
- 210000000887 face Anatomy 0.000 claims description 32
- 230000001815 facial effect Effects 0.000 claims description 22
- 210000001508 eye Anatomy 0.000 claims description 20
- 238000012937 correction Methods 0.000 claims description 11
- 230000008921 facial expression Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 239000002131 composite material Substances 0.000 claims description 6
- 238000002156 mixing Methods 0.000 claims description 5
- 230000014509 gene expression Effects 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims 9
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims 3
- 238000004458 analytical method Methods 0.000 description 23
- 210000000214 mouth Anatomy 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000004397 blinking Effects 0.000 description 4
- 239000000872 buffer Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 210000001061 forehead Anatomy 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 2
- 206010048232 Yawning Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 201000005111 ocular hyperemia Diseases 0.000 description 2
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013101 initial test Methods 0.000 description 1
- 210000000554 iris Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/755—Deformable models or variational models, e.g. snakes or active contours
- G06V10/7557—Deformable models or variational models, e.g. snakes or active contours based on appearance, e.g. active appearance models [AAM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20121—Active appearance model [AAM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
Description
Claims (61)
- 이미지 처리 방법에 있어서,a) 한 장면 (scene)의 메인 이미지를 포착하는 (acquiring) 단계;b) 상기 메인 이미지 안에서 하나 이상의 얼굴 부분들 (facial regions)을 결정하는 단계;c) 상기 얼굴 부분들 중 어느 하나가 결함을 포함하는지를 판단하기 위해 상기 하나 이상의 얼굴 부분들을 분석하는 단계;d) 상기 메인 이미지 포착을 위한 시간을 포함하지 않는 소정 기간 동안, 상기 장면에 대한 명목상 상대적 저 해상도 이미지들의 시퀀스를 포착하는 단계;e) 상기 저 해상도 이미지들의 시퀀스 내 저 해상도 얼굴 부분들의 한 개 이상의 집합들을 결정하는 단계;f) 상기 얼굴 부분들의 집합들을 분석하여, 상기 메인 이미지의 결함 있는 얼굴 부분에 대응하는 한 집합의 어느 얼굴 부분들이 결함을 포함하는지를 판단하는 단계;g) 상기 대응하는 집합의 무결함 얼굴 부분들을 결합하여, 고품질 무결함 얼굴 부분을 제공하는 단계; 및h) 대응하는 고 품질 무결함 얼굴 부분으로부터의 이미지 정보를 가지고 상기 메인 이미지의 어떤 결함 있는 얼굴 부분들의 적어도 일부를 정정하는 단계를 포함함을 특징으로 하는 방법.
- 제1항에 있어서, 상기 소정 기간은, 상기 메인 이미지 포착을 위한 기간 이전의 기간이나 이후의 기간 중 하나 이상을 포함함을 특징으로 하는 방법.
- 제1항에 있어서, 상기 정정하는 단계는,한 얼굴 부분의 외연을 경계짓는 복수의 꼭지점들을 포함한 한 모델 (model)을 각각의 고품질 무결함 얼굴 부분 및 대응하는 결함 있는 얼굴 부분에 적용하는 단계; 및상기 각 부분들에 대한 꼭지점들의 대응관계에 따라 상기 고품질 무결함 얼굴 부분의 픽셀들을 상기 결함 있는 얼굴 부분에 매핑하는 단계를 포함함을 특징으로 하는 방법.
- 제3항에 있어서, 상기 모델은 AAM (Active Appearance Model)을 포함함을 특징으로 하는 방법.
- 제1항에 있어서, 상기 메인 이미지는 상기 저해상도 이미지들의 노출 (exposure) 레벨과 다른 노출 레벨에서 포착되고, 상기 정정 단계는, 상기 고품질 무결함 얼굴 부분의 휘도 레벨들을 상기 결함 있는 얼굴 부분의 휘도 레벨들에 매핑하는 단계를 포함함을 특징으로 하는 방법.
- 제1항에 있어서,상기 메인 이미지의 이미지 헤더 파일 안에 상기 저 해상도 이미지들의 시퀀스로부터의 저 해상도 얼굴 부분들의 집합들을 저장하는 단계를 포함함을 특징으로 하는 방법.
- 제1항에 있어서, 상기 f)의 분석 단계는, 상기 결합하기에 앞서, 한 얼굴 부분들의 집합 내 얼굴들의 평균 사이즈를 문턱량 만큼 초과하는 얼굴들을 포함한 얼굴 부분들을 상기 얼굴 부분들의 집합으로부터 제거하는 단계를 더 포함함을 특징으로 하는 방법.
- 제1항에 있어서, 상기 f)의 분석 단계는, 상기 결합하기에 앞서, 한 얼굴 부분들의 집합 내 얼굴들의 평균 방위 (orientation)에서 문턱량 만큼 벗어난 방위를 가진 얼굴들을 포함한 얼굴 부분들을 상기 얼굴 부분들의 집합으로부터 제거하는 단계를 더 포함함을 특징으로 하는 방법.
- 제1항에 있어서,상기 메인 이미지를 디스플레이하는 단계; 및사용자 인터랙션 (interaction)에 반응하여, c) 단계 및 f)에서 h) 단계들을 수행하는 단계를 포함함을 특징으로 하는 방법.
- 제1항에 있어서, e) 단계는 a) 단계를 수행하기 전에 어떤 시점에 수행됨을 특징으로 하는 방법.
- 제1항에 있어서,상기 정정된 이미지를 디스플레이하는 단계; 및사용자 인터랙션 (interaction)에 반응하여, 상기 정정된 이미지를 저장하는 단계를 포함함을 특징으로 하는 방법.
- 제1항에 있어서, 상기 f) 단계의 분석하기는,AAM (Active Appearance Model)을 한 얼굴 부분들의 집합의 각 얼굴에 적용하는 단계;상기 얼굴 부분들의 집합의 각 얼굴에 대한 AAM 파라미터들을 분석하여 얼굴 표정에 대한 지시 (indication)를 제공하는 단계; 및상기 결합하기에 앞서, 상기 얼굴 부분들의 집합으로부터 결함 있는 표정을 가진 얼굴들을 제거하는 단계를 포함함을 특징으로 하는 방법.
- 제1항에 있어서, 상기 f) 단계의 분석하기는,AAM (Active Appearance Model)을 한 얼굴 부분들의 집합의 각 얼굴에 적용하는 단계;상기 얼굴 부분들의 집합의 각 얼굴에 대한 AAM 파라미터들을 분석하여 얼굴 방위에 대한 지시 (indication)를 제공하는 단계; 및상기 결합하기에 앞서, 상기 얼굴 부분들의 집합으로부터 원치 않는 방위를 가진 얼굴들을 제거하는 단계를 포함함을 특징으로 하는 방법.
- 상기 c)의 분석하는 단계는,AAM (Active Appearance Model)을 각 얼굴 부분에 적용하는 단계; 및각 얼굴 부분에 대한 AAM 파라미터들을 분석하여 얼굴 표정에 대한 지시 (indication)를 제공하는 단계를 포함함을 특징으로 하는 방법.
- 제1항에 있어서, 상기 c)의 분석하는 단계는,대비 (contrast), 선명도 (sharpness), 텍스처 (texture), 휘도 레벨들 또는 피부색 중 하나 이상에 대해 각 얼굴 부분을 분석하는 단계를 포함함을 특징으로 하는 방법.
- 제1항에 있어서, 상기 c)의 분석하는 단계는,각 얼굴 부분을 분석하여, 상기 얼굴 부분의 어떤 눈들이 감겨있는지를 판단하는 단계를 포함함을 특징으로 하는 방법.
- 제1항에 있어서, 상기 c)의 분석하는 단계는,각 얼굴 부분을 분석하여, 상기 얼굴 부분의 어떤 입이 벌어졌는지를 판단하 는 단계를 포함함을 특징으로 하는 방법.
- 제1항에 있어서, 상기 c)의 분석하는 단계는,각 얼굴 부분을 분석하여, 상기 얼굴 부분의 어떤 입이 웃고있는지를 판단하는 단계를 포함함을 특징으로 하는 방법.
- 제1항에 있어서, 상기 g) 및 h) 단계들은 상기 얼굴 부분들의 집합이 소정 수치를 초과할 때에만 수행됨을 특징으로 하는 방법.
- 제1항에 있어서,상기 결합하기에 앞서, 상기 얼굴 부분들의 집합의 얼굴들을 리사이징 (resizing) 및 정렬 (aligning)하는 단계를 포함함을 특징으로 하는 방법.
- 제20항에 있어서, 상기 정렬하는 단계는, 상기 얼굴 부분들의 집합의 얼굴들 중 중요 포인트들 (cardinal points)에 맞춰 수행됨을 특징으로 하는 방법.
- 제1항에 있어서, 상기 정정하는 단계는,상기 메인 이미지의 정정된 부분을 상기 메인 이미지의 나머지와 블렌딩 (blending); 또는 인필링 (infilling)하는 단계들 중 하나 이상을 더 포함함을 특징으로 하는 방법.
- 제1항에 있어서,상기 정정된 이미지를 디스플레이하는 단계; 및사용자 인터랙션 (interaction)에 반응해, 상기 정정된 이미지의 정정결과를 조정하는 단계를 포함함을 특징으로 하는 방법.
- 이미지 처리 방법에 있어서,a) 한 장면 (scene)의 메인 이미지를 포착하는 (acquiring) 단계;b) 상기 메인 이미지 안에서 하나 이상의 얼굴 부분들 (facial regions)을 결정하는 단계;c) 상기 하나 이상의 메인 이미지 얼굴 부분들을 결함에 대해 분석하고, 하나 이상이 결함이 있다고 결정하는 단계;d) 상기 장면에 대한 명목상 상대적 저 해상도 이미지들의 시퀀스를 포착하는 단계;e) 상기 저 해상도 이미지들의 시퀀스 내 저 해상도 얼굴 부분들의 한 개 이상의 집합들을 결정하는 단계;f) 상기 저 해상도 얼굴 부분들의 상기 하나 이상의 집합들을 분석하여, 상기 메인 이미지 얼굴 부분에 대응하는 하나 이상의 얼굴 부분들을 결정하는 단계;g) 상기 결함 있는 메인 이미지 얼굴 부분의 적어도 일부를, 상기 결함 있는 메인 이미지 얼굴 부분의 상기 일부와 같은 결함을 포함하고 있지 않은 하나 이상 의 대응되는 저 해상도 얼굴 부분들로부터의 이미지 정보를 가지고 정정하는 단계를 포함함을 특징으로 하는 방법.
- 제24항에 있어서, 상기 정정하는 단계는,한 얼굴 부분의 외연을 경계짓는 복수의 꼭지점들을 포함한 한 모델 (model)을, 상기 같은 결함을 포함하고 있지 않은 하나 이상의 저 해상도 얼굴 부분들 및, 대응되는 결함 있는 메인 이미지 얼굴 부분에 적용하는 단계; 및상기 각 부분들에 대한 꼭지점들의 대응관계에 따라 상기 하나 이상의 저 해상도 얼굴 부분들의 픽셀들을 상기 대응되는 결함 있는 메인 이미지 얼굴 부분에 매핑하는 단계를 포함함을 특징으로 하는 방법.
- 제25항에 있어서, 상기 모델은 AAM (Active Appearance Model)을 포함함을 특징으로 하는 방법.
- 제24항에 있어서, 상기 메인 이미지는 상기 저해상도 이미지들의 노출 (exposure) 레벨과 다른 노출 레벨에서 포착되고, 상기 정정 단계는, 상기 같은 결함을 포함하고 있지 않은 하나 이상의 저 해상도 얼굴 부분들의 휘도 레벨들을 상기 결함 있는 얼굴 부분의 휘도 레벨들에 매핑하는 단계를 포함함을 특징으로 하는 방법.
- 제24항에 있어서,상기 메인 이미지의 이미지 헤더 파일 안에 상기 저 해상도 이미지들의 시퀀스로부터의 저 해상도 얼굴 부분들의 집합들을 저장하는 단계를 포함함을 특징으로 하는 방법.
- 제24항에 있어서, 상기 하나 이상의 집합들을 분석하는 단계는, 적어도 한 얼굴 부분들의 집합 내 얼굴들의 평균 사이즈를 문턱량 만큼 초과하는 얼굴들을 포함한 얼굴 부분들을 상기 얼굴 부분들의 집합으로부터 제거하는 단계를 더 포함함을 특징으로 하는 방법.
- 제24항에 있어서, 상기 하나 이상의 집합들을 분석하는 단계는, 한 얼굴 부분들의 집합 내 얼굴들의 평균 방위 (orientation)에서 문턱량 만큼 벗어난 방위를 가진 얼굴들을 포함한 얼굴 부분들을 상기 얼굴 부분들의 집합으로부터 제거하는 단계를 더 포함함을 특징으로 하는 방법.
- 제24항에 있어서,상기 메인 이미지를 디스플레이하는 단계; 및사용자 인터랙션 (interaction)에 반응하여, 상기 하나 이상의 얼굴 부분들을 분석하는 단계, 상기 하나 이상의 집합들을 분석하는 단계, 또는 상기 정정하는 단계, 또는 그들의 조합 단계들을 선택적으로 수행하는 단계를 더 포함함을 특징으 로 하는 방법.
- 제24항에 있어서,상기 정정하는 단계에 기초한 상기 정정된 이미지를 디스플레이하는 단계; 및사용자 인터랙션 (interaction)에 반응하여, 상기 정정된 이미지를 저장하는 단계를 더 포함함을 특징으로 하는 방법.
- 제24항에 있어서, 상기 하나 이상의 집합들을 분석하는 단계는,AAM (Active Appearance Model)을 한 얼굴 부분들의 집합의 각 얼굴에 적용하는 단계;상기 얼굴 부분들의 집합의 각 얼굴에 대한 AAM 파라미터들을 분석하여 얼굴 표정에 대한 지시 (indication)를 제공하는 단계; 및상기 결합하기에 앞서, 상기 얼굴 부분들의 집합으로부터 결함 있는 표정을 가진 얼굴들을 제거하는 단계를 포함함을 특징으로 하는 방법.
- 제24항에 있어서, 상기 하나 이상의 집합들을 분석하는 단계는,AAM (Active Appearance Model)을 한 얼굴 부분들의 집합의 각 얼굴에 적용하는 단계;상기 얼굴 부분들의 집합의 각 얼굴에 대한 AAM 파라미터들을 분석하여 얼굴 방위에 대한 지시 (indication)를 제공하는 단계; 및상기 결합하기에 앞서, 상기 얼굴 부분들의 집합으로부터 원치 않는 방위를 가진 얼굴들을 제거하는 단계를 포함함을 특징으로 하는 방법.
- 제24항에 있어서, 상기 하나 이상의 얼굴 부분들을 분석하는 단계는,AAM (Active Appearance Model)을 각 얼굴 부분에 적용하는 단계; 및각 얼굴 부분에 대한 AAM 파라미터들을 분석하여 얼굴 표정에 대한 지시 (indication)를 제공하는 단계를 포함함을 특징으로 하는 방법.
- 제24항에 있어서, 상기 하나 이상의 얼굴 부분들을 분석하는 단계는,적어도 한 얼굴 부분을 분석하여, 상기 얼굴 부분의 한 쪽 눈이 감겨있는지를 판단하는 단계를 포함함을 특징으로 하는 방법.
- 제24항에 있어서, 상기 하나 이상의 얼굴 부분들을 분석하는 단계는,적어도 한 얼굴 부분을 분석하여, 상기 얼굴 부분의 입이 벌어졌는지를 판단하는 단계를 포함함을 특징으로 하는 방법.
- 제24항에 있어서, 상기 하나 이상의 얼굴 부분들을 분석하는 단계는,적어도 한 얼굴 부분을 분석하여, 상기 얼굴 부분의 입이 찡그리고 있는지를 판단하는 단계를 포함함을 특징으로 하는 방법.
- 제24항에 있어서,상기 정정하는 단계에 따른 정정된 이미지를 디스플레이하는 단계; 및사용자 인터랙션 (interaction)에 반응해, 상기 정정된 이미지의 정정결과를 조정하는 단계를 더 포함함을 특징으로 하는 방법.
- 제24항에 있어서, 상기 저 해상도 이미지의 시퀀스는 상기 메인 이미지를 포착하기 위한 시간이 포함되지 않은 소정 기간 동안 포착됨을 특징으로 하는 방법.
- 제24항에 있어서,무결함 저해상도 얼굴 부분들을 하나의 합성 이미지 안에 결합하는 단계, 및상기 결함 있는 메인 이미지 얼굴 부분의 적어도 일부를 상기 합성 이미지로부터의 이미지 정보를 가지고 정정하는 단계를 더 포함함을 특징으로 하는 방법.
- 이미지 처리 장치에 있어서,a) 한 장면 (scene)의 메인 이미지를 포착하기 (acquiring) 위한 수단;b) 상기 메인 이미지 안에서 하나 이상의 얼굴 부분들 (facial regions)을 결정하기 위한 수단;c) 상기 얼굴 부분들 중 어느 하나가 결함을 포함하는지를 판단하기 위해 상기 하나 이상의 얼굴 부분들을 분석하기 위한 수단;d) 상기 메인 이미지 포착을 위한 시간을 포함하지 않는 소정 기간 동안, 상기 장면에 대한 명목상 상대적 저 해상도 이미지들의 시퀀스를 포착하기 위한 수단;e) 상기 저 해상도 이미지들의 시퀀스 내 저 해상도 얼굴 부분들의 한 개 이상의 집합들을 결정하기 위한 수단;f) 상기 얼굴 부분들의 집합들을 분석하여, 상기 메인 이미지의 결함 있는 얼굴 부분에 대응하는 한 집합의 어느 얼굴 부분들이 결함을 포함하는지를 판단하기 위한 수단;g) 상기 대응하는 집합의 무결함 얼굴 부분들을 결합하여, 고품질 무결함 얼굴 부분을 제공하기 위한 수단; 및h) 대응하는 고 품질 무결함 얼굴 부분으로부터의 이미지 정보를 가지고 상기 메인 이미지의 어떤 결함 있는 얼굴 부분들의 적어도 일부를 정정하기 위한 수단을 포함함을 특징으로 하는 이미지 처리 장치.
- 제42항에 있어서, 디지털 이미지 포착 기기 또는 범용 컴퓨터 또는 그 둘 모두를 포함함을 특징으로 하는 이미지 처리 장치.
- 디지털 이미지들 내 개선된 얼굴 부분들을 갖는 이미지들을 제공하기 위한 장치에 있어서, 상기 장치는 프로세서, 및 상기 장치를 제어하여 이미지 처리 방법을 수행하도록 상기 프로세서를 프로그래밍하기 위한 하나 이상의 프로세서 판독가 능 매체들을 포함하고,상기 이미지 처리 방법은,a) 한 장면 (scene)의 메인 이미지를 포착하는 (acquiring) 단계;b) 상기 메인 이미지 안에서 하나 이상의 얼굴 부분들 (facial regions)을 결정하는 단계;c) 상기 하나 이상의 메인 이미지 얼굴 부분들을 결함에 대해 분석하고, 하나 이상이 결함이 있다고 결정하는 단계;d) 상기 장면에 대한 명목상 상대적 저 해상도 이미지들의 시퀀스를 포착하는 단계;e) 상기 저 해상도 이미지들의 시퀀스 내 저 해상도 얼굴 부분들의 한 개 이상의 집합들을 결정하는 단계;f) 상기 저 해상도 얼굴 부분들의 상기 하나 이상의 집합들을 분석하여, 상기 메인 이미지 얼굴 부분에 대응하는 하나 이상의 얼굴 부분들을 결정하는 단계;g) 상기 결함 있는 메인 이미지 얼굴 부분의 적어도 일부를, 상기 결함 있는 메인 이미지 얼굴 부분의 상기 일부와 같은 결함을 포함하고 있지 않은 하나 이상의 대응되는 저 해상도 얼굴 부분들로부터의 이미지 정보를 가지고 정정하는 단계를 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 정정하는 단계는,한 얼굴 부분의 외연을 경계짓는 복수의 꼭지점들을 포함한 한 모델 (model) 을, 상기 같은 결함을 포함하고 있지 않은 하나 이상의 저 해상도 얼굴 부분들 및, 대응되는 결함 있는 메인 이미지 얼굴 부분에 적용하는 단계; 및상기 각 부분들에 대한 꼭지점들의 대응관계에 따라 상기 하나 이상의 저 해상도 얼굴 부분들의 픽셀들을 상기 대응되는 결함 있는 메인 이미지 얼굴 부분에 매핑하는 단계를 포함함을 특징으로 하는 장치.
- 제45항에 있어서, 상기 모델은 AAM (Active Appearance Model)을 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 메인 이미지는 상기 저해상도 이미지들의 노출 (exposure) 레벨과 다른 노출 레벨에서 포착되고, 상기 정정 단계는, 상기 같은 결함을 포함하고 있지 않은 하나 이상의 저 해상도 얼굴 부분들의 휘도 레벨들을 상기 결함 있는 얼굴 부분의 휘도 레벨들에 매핑하는 단계를 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 방법은,상기 메인 이미지의 이미지 헤더 파일 안에 상기 저 해상도 이미지들의 시퀀스로부터의 저 해상도 얼굴 부분들의 집합들을 저장하는 단계를 더 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 하나 이상의 집합들을 분석하는 단계는, 적어도 한 얼굴 부분들의 집합 내 얼굴들의 평균 사이즈를 문턱량 만큼 초과하는 얼굴들을 포함한 얼굴 부분들을 상기 얼굴 부분들의 집합으로부터 제거하는 단계를 더 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 하나 이상의 집합들을 분석하는 단계는, 한 얼굴 부분들의 집합 내 얼굴들의 평균 방위 (orientation)에서 문턱량 만큼 벗어난 방위를 가진 얼굴들을 포함한 얼굴 부분들을 상기 얼굴 부분들의 집합으로부터 제거하는 단계를 더 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 방법은,상기 메인 이미지를 디스플레이하는 단계; 및사용자 인터랙션 (interaction)에 반응하여, 상기 하나 이상의 얼굴 부분들을 분석하는 단계, 상기 하나 이상의 집합들을 분석하는 단계, 또는 상기 정정하는 단계, 또는 그들의 조합 단계들을 선택적으로 수행하는 단계를 더 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 방법은,상기 정정하는 단계에 기초한 상기 정정된 이미지를 디스플레이하는 단계; 및사용자 인터랙션 (interaction)에 반응하여, 상기 정정된 이미지를 저장하는 단계를 더 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 하나 이상의 집합들을 분석하는 단계는,AAM (Active Appearance Model)을 한 얼굴 부분들의 집합의 각 얼굴에 적용하는 단계;상기 얼굴 부분들의 집합의 각 얼굴에 대한 AAM 파라미터들을 분석하여 얼굴 표정에 대한 지시 (indication)를 제공하는 단계; 및상기 결합하기에 앞서, 상기 얼굴 부분들의 집합으로부터 결함 있는 표정을 가진 얼굴들을 제거하는 단계를 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 하나 이상의 집합들을 분석하는 단계는,AAM (Active Appearance Model)을 한 얼굴 부분들의 집합의 각 얼굴에 적용하는 단계;상기 얼굴 부분들의 집합의 각 얼굴에 대한 AAM 파라미터들을 분석하여 얼굴 방위에 대한 지시 (indication)를 제공하는 단계; 및상기 결합하기에 앞서, 상기 얼굴 부분들의 집합으로부터 원치 않는 방위를 가진 얼굴들을 제거하는 단계를 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 하나 이상의 얼굴 부분들을 분석하는 단계는,AAM (Active Appearance Model)을 각 얼굴 부분에 적용하는 단계; 및각 얼굴 부분에 대한 AAM 파라미터들을 분석하여 얼굴 표정에 대한 지시 (indication)를 제공하는 단계를 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 하나 이상의 얼굴 부분들을 분석하는 단계는,적어도 한 얼굴 부분을 분석하여, 상기 얼굴 부분의 한 쪽 눈이 감겨있는지를 판단하는 단계를 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 하나 이상의 얼굴 부분들을 분석하는 단계는,적어도 한 얼굴 부분을 분석하여, 상기 얼굴 부분의 입이 벌어졌는지를 판단하는 단계를 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 하나 이상의 얼굴 부분들을 분석하는 단계는,적어도 한 얼굴 부분을 분석하여, 상기 얼굴 부분의 입이 찡그리고 있는지를 판단하는 단계를 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 방법은,상기 정정하는 단계에 따른 정정된 이미지를 디스플레이하는 단계; 및사용자 인터랙션 (interaction)에 반응해, 상기 정정된 이미지의 정정결과를 조정하는 단계를 더 포함함을 특징으로 하는 장치.
- 제44항에 있어서, 상기 저 해상도 이미지의 시퀀스는 상기 메인 이미지를 포착하기 위한 시간이 포함되지 않은 소정 기간 동안 포착됨을 특징으로 하는 장치.
- 제44항에 있어서, 상기 방법은,무결함 저해상도 얼굴 부분들을 하나의 합성 이미지 안에 결합하는 단계, 및상기 결함 있는 메인 이미지 얼굴 부분의 적어도 일부를 상기 합성 이미지로부터의 이미지 정보를 가지고 정정하는 단계를 더 포함함을 특징으로 하는 장치.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2007/069593 WO2008150285A1 (en) | 2007-05-24 | 2007-05-24 | Image processing method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20100022084A true KR20100022084A (ko) | 2010-02-26 |
KR101380731B1 KR101380731B1 (ko) | 2014-04-02 |
Family
ID=40093953
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020097026939A KR101380731B1 (ko) | 2007-05-24 | 2007-05-24 | 이미지 처리 방법 및 장치 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP2153374B1 (ko) |
KR (1) | KR101380731B1 (ko) |
CN (1) | CN202018662U (ko) |
WO (1) | WO2008150285A1 (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101426785B1 (ko) * | 2014-03-05 | 2014-08-06 | 성결대학교 산학협력단 | 스마트 디바이스에서 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법 |
KR101531824B1 (ko) * | 2012-10-25 | 2015-06-25 | 국민대학교산학협력단 | 평균데이터를 이용한 이미지 관련 프로세스의 소프트 에러 보정 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체 |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7792970B2 (en) | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
US7506057B2 (en) | 2005-06-17 | 2009-03-17 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
US7269292B2 (en) | 2003-06-26 | 2007-09-11 | Fotonation Vision Limited | Digital image adjustable compression and resolution using face detection information |
US7565030B2 (en) | 2003-06-26 | 2009-07-21 | Fotonation Vision Limited | Detecting orientation of digital images using face detection information |
US7574016B2 (en) | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
US8948468B2 (en) | 2003-06-26 | 2015-02-03 | Fotonation Limited | Modification of viewing parameters for digital images using face detection information |
IES20070229A2 (en) | 2006-06-05 | 2007-10-03 | Fotonation Vision Ltd | Image acquisition method and apparatus |
US8055067B2 (en) | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
US7916971B2 (en) | 2007-05-24 | 2011-03-29 | Tessera Technologies Ireland Limited | Image processing method and apparatus |
EP2277141A2 (en) | 2008-07-30 | 2011-01-26 | Tessera Technologies Ireland Limited | Automatic face and skin beautification using face detection |
WO2010103527A2 (en) | 2009-03-13 | 2010-09-16 | Ramot At Tel-Aviv University Ltd. | Imaging system and method for imaging objects with reduced image blur |
US8977012B2 (en) * | 2012-10-31 | 2015-03-10 | Google Inc. | Image denoising system and method |
US9239957B2 (en) | 2014-04-04 | 2016-01-19 | Fotonation Limited | Image processing method and apparatus |
US10026010B2 (en) * | 2014-05-14 | 2018-07-17 | At&T Intellectual Property I, L.P. | Image quality estimation using a reference image portion |
KR102299847B1 (ko) | 2017-06-26 | 2021-09-08 | 삼성전자주식회사 | 얼굴 인증 방법 및 장치 |
CN111291669B (zh) * | 2020-01-22 | 2023-08-04 | 武汉大学 | 一种双通道俯角人脸融合校正gan网络及人脸融合校正方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09212620A (ja) * | 1996-01-31 | 1997-08-15 | Nissha Printing Co Ltd | 顔画像の製作方法 |
US7738015B2 (en) * | 1997-10-09 | 2010-06-15 | Fotonation Vision Limited | Red-eye filter method and apparatus |
WO2003009216A1 (en) * | 2001-07-17 | 2003-01-30 | Yesvideo, Inc. | Automatic selection of a visual image based on quality |
US20040223649A1 (en) * | 2003-05-07 | 2004-11-11 | Eastman Kodak Company | Composite imaging method and system |
CN100440944C (zh) * | 2003-11-11 | 2008-12-03 | 精工爱普生株式会社 | 图像处理装置以及图像处理方法 |
US7809197B2 (en) * | 2004-12-09 | 2010-10-05 | Eastman Kodak Company | Method for automatically determining the acceptability of a digital image |
JP4906034B2 (ja) * | 2005-05-16 | 2012-03-28 | 富士フイルム株式会社 | 撮影装置および方法並びにプログラム |
DE602006009191D1 (de) * | 2005-07-26 | 2009-10-29 | Canon Kk | Bildaufnahmegerät und -verfahren |
JP4799101B2 (ja) | 2005-09-26 | 2011-10-26 | 富士フイルム株式会社 | 画像処理方法および装置ならびにプログラム |
GB2447246B (en) * | 2007-03-07 | 2012-04-18 | Aurora Comp Services Ltd | Controlled high resolution sub-image capture with time domain multiplexed high speed full field of view reference video stream for image biometric application |
-
2007
- 2007-05-24 EP EP07784090.8A patent/EP2153374B1/en active Active
- 2007-05-24 WO PCT/US2007/069593 patent/WO2008150285A1/en active Application Filing
- 2007-05-24 CN CN2007900001366U patent/CN202018662U/zh not_active Expired - Lifetime
- 2007-05-24 KR KR1020097026939A patent/KR101380731B1/ko active IP Right Grant
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101531824B1 (ko) * | 2012-10-25 | 2015-06-25 | 국민대학교산학협력단 | 평균데이터를 이용한 이미지 관련 프로세스의 소프트 에러 보정 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체 |
KR101426785B1 (ko) * | 2014-03-05 | 2014-08-06 | 성결대학교 산학협력단 | 스마트 디바이스에서 예술감성 반영을 통한 민감영역에 대한 사용자 친화적 영상왜곡 방법 |
Also Published As
Publication number | Publication date |
---|---|
KR101380731B1 (ko) | 2014-04-02 |
WO2008150285A1 (en) | 2008-12-11 |
CN202018662U (zh) | 2011-10-26 |
EP2153374A1 (en) | 2010-02-17 |
EP2153374A4 (en) | 2014-03-05 |
EP2153374B1 (en) | 2014-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101380731B1 (ko) | 이미지 처리 방법 및 장치 | |
US7916971B2 (en) | Image processing method and apparatus | |
US10733472B2 (en) | Image capture device with contemporaneous image correction mechanism | |
US9692964B2 (en) | Modification of post-viewing parameters for digital images using image region or feature information | |
US8593542B2 (en) | Foreground/background separation using reference images | |
US8682097B2 (en) | Digital image enhancement with reference images | |
US8494286B2 (en) | Face detection in mid-shot digital images | |
JP4970469B2 (ja) | デジタル画像を選択的に不適格とする方法及び装置 | |
US8330831B2 (en) | Method of gathering visual meta data using a reference image | |
JP2006053666A (ja) | 画像処理プログラム、画像処理方法、画像処理装置及び記録媒体 | |
JP2004178368A (ja) | 画像処理装置 | |
IE20070518U1 (en) | Image processing method and apparatus | |
IES84961Y1 (en) | Image processing method and apparatus | |
JP6390075B2 (ja) | 画像処理装置、電子カメラ及び画像処理プログラム | |
JP5927972B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
IE20080161U1 (en) | Face detection in mid-shot digital images | |
IES84977Y1 (en) | Face detection in mid-shot digital images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PA0105 | International application |
Patent event date: 20091223 Patent event code: PA01051R01D Comment text: International Patent Application |
|
PG1501 | Laying open of application | ||
A201 | Request for examination | ||
PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20100618 Comment text: Request for Examination of Application |
|
N231 | Notification of change of applicant | ||
PN2301 | Change of applicant |
Patent event date: 20110503 Comment text: Notification of Change of Applicant Patent event code: PN23011R01D |
|
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20111213 Patent event code: PE09021S01D |
|
AMND | Amendment | ||
E601 | Decision to refuse application | ||
PE0601 | Decision on rejection of patent |
Patent event date: 20120731 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20111213 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |
|
AMND | Amendment | ||
J201 | Request for trial against refusal decision | ||
PJ0201 | Trial against decision of rejection |
Patent event date: 20120830 Comment text: Request for Trial against Decision on Refusal Patent event code: PJ02012R01D Patent event date: 20120731 Comment text: Decision to Refuse Application Patent event code: PJ02011S01I Appeal kind category: Appeal against decision to decline refusal Decision date: 20131231 Appeal identifier: 2012101007833 Request date: 20120830 |
|
PB0901 | Examination by re-examination before a trial |
Comment text: Amendment to Specification, etc. Patent event date: 20120830 Patent event code: PB09011R02I Comment text: Request for Trial against Decision on Refusal Patent event date: 20120830 Patent event code: PB09011R01I Comment text: Amendment to Specification, etc. Patent event date: 20120210 Patent event code: PB09011R02I |
|
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20121108 Patent event code: PE09021S01D |
|
E90F | Notification of reason for final refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Final Notice of Reason for Refusal Patent event date: 20130628 Patent event code: PE09021S02D |
|
B701 | Decision to grant | ||
PB0701 | Decision of registration after re-examination before a trial |
Patent event date: 20131231 Comment text: Decision to Grant Registration Patent event code: PB07012S01D Patent event date: 20121008 Comment text: Transfer of Trial File for Re-examination before a Trial Patent event code: PB07011S01I |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20140327 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20140328 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration | ||
FPAY | Annual fee payment |
Payment date: 20170317 Year of fee payment: 4 |
|
PR1001 | Payment of annual fee |
Payment date: 20170317 Start annual number: 4 End annual number: 4 |
|
FPAY | Annual fee payment |
Payment date: 20180309 Year of fee payment: 5 |
|
PR1001 | Payment of annual fee |
Payment date: 20180309 Start annual number: 5 End annual number: 5 |
|
FPAY | Annual fee payment |
Payment date: 20190314 Year of fee payment: 6 |
|
PR1001 | Payment of annual fee |
Payment date: 20190314 Start annual number: 6 End annual number: 6 |
|
PR1001 | Payment of annual fee |
Payment date: 20200319 Start annual number: 7 End annual number: 7 |
|
PR1001 | Payment of annual fee |
Payment date: 20220315 Start annual number: 9 End annual number: 9 |
|
PR1001 | Payment of annual fee |
Payment date: 20230315 Start annual number: 10 End annual number: 10 |
|
PR1001 | Payment of annual fee |
Payment date: 20240318 Start annual number: 11 End annual number: 11 |