KR20170033805A - 사람 얼굴 인식 방법, 장치 및 단말 - Google Patents
사람 얼굴 인식 방법, 장치 및 단말 Download PDFInfo
- Publication number
- KR20170033805A KR20170033805A KR1020167015669A KR20167015669A KR20170033805A KR 20170033805 A KR20170033805 A KR 20170033805A KR 1020167015669 A KR1020167015669 A KR 1020167015669A KR 20167015669 A KR20167015669 A KR 20167015669A KR 20170033805 A KR20170033805 A KR 20170033805A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- human face
- sub
- processed
- original image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000001815 facial effect Effects 0.000 claims description 32
- 230000003044 adaptive effect Effects 0.000 claims description 31
- 238000012545 processing Methods 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 10
- 230000005236 sound signal Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G06K9/00228—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G06K9/00234—
-
- G06K9/00288—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
본 발명은 사람 얼굴 인식 방법, 사람 얼굴 인식 장치 및 단말을 나타내고, 이미지 처리 기술 분야에 속한다. 상기 방법은: 원본 이미지를 획득하는 단계; 처리될 이미지를 획득하도록 상기 원본 이미지의 가장자리 영역에 지정된 수치의 픽셀들을 추가하는 단계; 상기 처리될 이미지에서 사람 얼굴 인식을 수행하는 단계; 및 상기 사람 얼굴 인식의 결과에 따라서 상기 원본 이미지에서의 사람 얼굴을 결정하는 단계를 포함한다. 처리될 이미지를 획득한 후 원본 이미지의 가장자리 영역에 지정된 수치의 픽셀들을 추가함으로써, 원본 이미지에서의 사람 얼굴을 결정하기 위하여 사람 얼굴 인식이 처리될 이미지에서 수행된다. 본 발명은 사람 얼굴을 인식하는 것의 정확성을 향상시킬 수 있다.
Description
본 출원은 2015년 8월 21일에 피. 알. 차이나의 국가 특허청(State Intellectual Property Office of P. R. China)에 제출된, 중국 특허 출원 번호 CN 201510520457.X 에 기반하여 우선권을 주장하고, 상기 중국 특허 출원의 전체 내용이 본원에 참고로 인용된다.
본 발명은 일반적으로 이미지 프로세싱 기술 분야(field of image processing technology)에 관한 것으로, 보다 상세하게는, 사람 얼굴 인식 방법, 사람 얼굴 인식 장치 및 단말에 관한 것이다.
최근, 사람 얼굴 인식 기술이 차세대 휴먼-머신 인터페이스(new generation human-machine interface), 콘텐츠에 기반한 이미지 검색(retrieval), 시각적 검출 및 보안 액세스 제어(security access control)의 분야에서 점점 더 높은 어플리케이션 가치를 가지면서 개발되고 있다. 결과적으로, 이미지에서 사람 얼굴들을 어떻게 인식할 것인가는 연구자들에 의해 점점 더 많은 관심을 기울여지고 있다.
종래 기술에서, 사람 얼굴은 얼굴 특색으로서 사람 얼굴 상의 장기들(organs)(눈, 코 등과 같은)의 비율을 취하는 것처럼, 얼굴 특색(face feature)에 따라 인식될 수 있다. 그러나, 사람 얼굴이 이미지의 가장자리 영역에 위치하면, 얼굴 상의 장기 사이에 유사한 비율의 프로필(profile with the ratio similar to)은 이미지가 전체 사람 얼굴을 포함하지 않기 때문에 그런 이미지에서 발견될 수 없고, 따라서 사람 얼굴 분류기는 사람 얼굴을 인식할 수 없다.
본 발명은 사람 얼굴 인식 방법 및 사람 얼굴 인식 장치 실시예들로 제공한다.
본 발명의 실시예들의 제1 측면에 따라서:
원본 이미지(original image)를 획득하는 단계;
처리될 이미지를 획득하도록 상기 원본 이미지의 가장자리 영역(edge area)에 지정된 수치의 픽셀들(specified numeric pixels)을 추가하는 단계;
상기 처리될 이미지에서(on) 사람 얼굴 인식(human face recognition)을 수행하는 단계; 및
상기 사람 얼굴 인식의 결과에 따라서 상기 원본 이미지에서의 사람 얼굴을 결정하는 단계를 포함하는 사람 얼굴 인식 방법이 제공된다.
제1 측면과 결합하여(Combining), 제1 측면의 제1 가능한 구현에서, 상기 원본 이미지의 가장자리 영역에 지정된 수치의 픽셀들을 추가하는 단계는:
상기 원본 이미지의 가장자리 영역에서 각 픽셀의 픽셀 값(pixel value)을 획득하는 단계;
얼굴 피부색 픽셀(facial complexion pixel)에 대한 미리 설정된 픽셀 값(preset pixel value) 및 상기 가장자리 영역에서의 각 픽셀의 픽셀 값에 따라서 상기 얼굴 피부색 픽셀이 있는 가장자리 영역을 결정하는 단계; 및
상기 얼굴 피부색 픽셀이 있는 상기 가장자리 영역에 상기 지정된 수치의 픽셀들을 추가하는 단계를 포함한다.
제1 측면의 제1 가능한 구현 또는 제1 측면과 결합하여, 제1 측면의 제2 가능한 구현에서, 상기 처리될 이미지에서 상기 사람 얼굴 인식을 수행하는 단계는:
상기 처리될 이미지의 복수의 서브-이미지들(a plurality of sub-images)을 획득하는 단계; 및
사전-훈련된 적응 부스트 사람 얼굴 분류기(pre-trained adaptive boost human face classifier)를 사용하여 각 서브-이미지가 사람 얼굴 서브-이미지인지를 판단하는 단계를 포함한다.
제1 측면의 제2 가능한 구현과 결합하여, 제1 측면의 제3 가능한 구현에서, 상기 처리될 이미지의 복수의 서브-이미지들을 획득하는 단계는:
슬라이딩 윈도우들(sliding windows)을 사용하여 상기 처리될 이미지를 여러 번 나누어 트래버스 하고(traversing), 매차 트래버스(traverse) 시 상기 슬라이딩 윈도우들에 의해 각 위치에서 커버되는 이미지 영역을 상기 처리될 이미지의 하나의 서브-이미지(one sub-image)로 정의하되, 임의의 처리될 이미지의 두 트래버스에서 사용된 상기 슬라이딩 윈도우들은 다른 크기들(different sizes)인 단계; 또는
여러 번 상기 처리될 이미지를 축소 확대하여(zooming) 다른 크기들의 복수의 처리될 이미지들을 획득하고, 임의의 크기들의 처리될 이미지에 대하여, 지정된 크기의 복수의 이미지 영역들로의 크기로(in a size into a plurality of image areas in a specified size) 상기 크기들의 처리될 이미지를 자르고(trimming), 상기 지정된 크기에서의 각 이미지 영역을 서브-이미지로 정의하는 단계를 포함한다.
제1 측면의 제2 가능한 구현과 결합하여, 제1 측면의 제4 가능한 구현에서, 상기 사전-훈련된 적응 부스트 사람 얼굴 분류기는 멀티스테이지 분류기(multistage classifiers)의 캐스캐이드(cascade)로서 형성되고, 상기 사전-훈련된 적응 부스트 사람 얼굴 분류기를 사용하여 각 서브-이미지가 상기 사람 얼굴 서브-이미지인지를 판단하는 단계는:
임의의 서브-이미지에 대하여, 상기 사전-훈련된 적응 부스트 사람 얼굴 분류기의 제1 스테이지 분류기로부터 시작하여 적응 부스트 사람 얼굴 분류기의 마지막 스테이지 분류기까지, 한 스테이지 한 스테이지씩 상기 서브-이미지가 상기 사람 얼굴 서브-이미지인지를 판단하는 단계; 및
모든 스테이지 분류기로부터 출력된 결과들의 각각이 상기 서브-이미지가 상기 사람 얼굴 서브-이미지인 것을 나타내면 상기 서브-이미지가 상기 사람 얼굴 서브-이미지인 것으로 결정하는 단계를 포함한다.
제1 측면의 제2 가능한 구현과 결합하여, 제1 측면의 제5 가능한 구현에서, 상기 사람 얼굴 인식의 결과에 따라서 상기 원본 이미지에서의 상기 사람 얼굴을 결정하는 단계는:
상기 사람 얼굴 서브-이미지인 상기 서브-이미지가 상기 처리될 이미지의 복수의 서브-이미지들에 존재하면, 상기 원본 이미지에서 상기 사람 얼굴 서브-이미지인 상기 서브 이미지의 위치를 결정하는 단계; 및
상기 원본 이미지에서 상기 사람 얼굴 서브-이미지인 상기 서브-이미지의 위치에 따라서 상기 원본 이미지에서의 상기 사람 얼굴을 결정하는 단계를 포함한다.
본 발명의 실시예들의 제2 측면에 따라서:
원본 이미지를 획득하도록 구성되는 획득 모듈(acquiring module);
처리될 이미지를 획득하도록 상기 획득 모듈에 의해 획득된 상기 원본 이미지의 가장자리 영역에 지정된 수치의 픽셀들을 추가하도록 구성되는 추가 모듈(adding module);
상기 추가 모듈에 의해 획득된 상기 처리될 이미지에서 사람 얼굴 인식을 수행하도록 구성되는 인식 모듈(recognizing module); 및
상기 인식 모듈로부터의 상기 사람 얼굴 인식의 결과에 따라서 상기 원본 이미지에서의 사람 얼굴을 결정하도록 구성되는 결정 모듈(determining module)을 포함하는 사람 얼굴 인식 장치가 제공된다.
제2 측면과 결합하여, 제2 측면의 제1 가능한 구현에서, 상기 추가 모듈은:
상기 원본 이미지의 가장자리 영역에서 각 픽셀의 픽셀 값을 획득하도록 구성되는 제1 획득 유닛(first acquiring unit);
얼굴 피부색 픽셀에 대한 미리 설정된 픽셀 값 및 상기 제1 획득 유닛에 의해 획득된 상기 가장자리 영역에서의 각 픽셀의 픽셀 값에 따라서 상기 얼굴 피부색 픽셀이 있는 가장자리 영역을 결정하도록 구성되는 제1 결정 유닛(first determining unit); 및
상기 제1 결정 유닛에 의해 결정된 상기 얼굴 피부색 픽셀이 있는 상기 가장자리 영역에 상기 지정된 수치의 픽셀들을 추가하는 추가 유닛(adding unit)을 포함한다.
제1 측면의 제1 가능한 구현 또는 제2 측면과 결합하여, 제2 측면의 제2 가능한 구현에서, 상기 인식 모듈은:
상기 처리될 이미지의 복수의 서브-이미지들을 획득하도록 구성되는 제2 획득 유닛(second acquiring unit); 및
사전-훈련된 적응 부스트 사람 얼굴 분류기를 사용하여 제2 획득 유닛에 의해 획득된 각 서브-이미지가 사람 얼굴 서브-이미지인지를 판단하도록 구성되는 판단 유닛(judging unit)을 포함한다.
제2 측면의 제2 가능한 구현과 결합하여, 제2 측면의 제3 가능한 구현에서, 상기 제2 획득 유닛은:
슬라이딩 윈도우들을 사용하여 상기 처리될 이미지를 여러 번 나누어 트래버스 하고, 매차 트래버스 시 상기 슬라이딩 윈도우들에 의해 각 위치에서 커버되는 이미지 영역을 상기 처리될 이미지의 하나의 서브-이미지로 정의하되, 임의의 처리될 이미지의 두 트래버스에서 사용된 상기 슬라이딩 윈도우들은 다른 크기들인; 또는
여러 번 상기 처리될 이미지를 축소 확대하여 다른 크기들의 복수의 처리될 이미지들을 획득하고, 임의의 크기들의 처리될 이미지에 대하여, 지정된 크기의 복수의 이미지 영역들로의 크기로 상기 크기들의 처리될 이미지를 자르고, 상기 지정된 크기에서의 각 이미지 영역을 서브-이미지로 정의하도록 구성된다.
제2 측면의 제2 가능한 구현과 결합하여, 제2 측면의 제4 가능한 구현에서, 상기 사전-훈련된 적응 부스트 사람 얼굴 분류기는 멀티스테이지 분류기의 캐스캐이드로서 형성되고, 상기 판단 유닛은:
임의의 서브-이미지에 대하여, 상기 사전-훈련된 적응 부스트 사람 얼굴 분류기의 제1 스테이지 분류기로부터 시작하여 적응 부스트 사람 얼굴 분류기의 마지막 스테이지 분류기까지, 한 스테이지 한 스테이지씩 상기 서브-이미지가 상기 사람 얼굴 서브-이미지인지를 판단하고; 및
모든 스테이지 분류기로부터 출력된 결과들의 각각이 상기 서브-이미지가 상기 사람 얼굴 서브-이미지인 것을 나타내면 상기 서브-이미지가 상기 사람 얼굴 서브-이미지인 것으로 결정하도록 구성된다.
제2 측면의 제2 가능한 구현과 결합하여, 제2 측면의 제5 가능한 구현에서, 상기 결정 모듈은:
상기 사람 얼굴 서브-이미지인 상기 서브-이미지가 상기 처리될 이미지의 복수의 서브-이미지들에 존재하면, 상기 원본 이미지에서 상기 사람 얼굴 서브-이미지인 상기 서브 이미지의 위치를 결정하도록 구성되는 제2 결정 유닛(second determining unit); 및
상기 원본 이미지에서 상기 사람 얼굴 서브-이미지인 상기 서브-이미지의 위치에 따라서 상기 원본 이미지에서 상기 사람 얼굴을 결정하도록 구성되는 제3 결정 유닛(third determining unit)을 포함한다.
본 발명의 실시예들의 제3 측면에 따라서:
프로세서; 및
상기 프로세서에 의해 실행 가능한 명령어들을 저장하는 메모리;
를 포함하고,
상기 프로세서는,
원본 이미지를 획득하고;
처리될 이미지를 획득하도록 상기 원본 이미지의 가장자리 영역에 지정된 수치의 픽셀들을 추가하고;
상기 처리될 이미지에서 사람 얼굴 인식을 수행하고; 및
상기 사람 얼굴 인식의 결과에 따라서 상기 원본 이미지에서의 사람 얼굴을 결정하는 단말이 제공된다.
본 발명의 실시예들에서 제공되는 솔루션들(solutions)은 다음의 이로운 효과들을 가질 수 있다.
처리될 이미지를 획득한 후 원본 이미지의 가장자리 영역에 지정된 수치의 픽셀들을 추가함으로써, 원본 이미지에서의 사람 얼굴을 결정하기 위하여 사람 얼굴 인식이 처리될 이미지에서 수행된다. 사람 얼굴 인식 동안, 원본 이미지의 가장자리 영역은 원본 이미지를 확장하는(extending) 것에 해당하는(equivalent), 지정된 수치의 픽셀들이 추가되고, 사람 얼굴이 원본 이미지의 가장자리 영역에 위치하면 사람 얼굴을 포함하는(containing) 서브-이미지가 확장된 이미지에서 발견될(found) 수 있어, 원본 이미지의 가장자리 영역에 위치하는 사람 얼굴이 인식되는 것을 보장하고, 사람 얼굴 인식의 정확성(accuracy)을 더 향상시킨다.
전술한 일반적인 설명 및 다음의 상세한 설명 모두는 예시적(exemplary)이고 설명적인(explanatory) 것으로 이해될 것이며 본 발명의 제한(restrictive)을 하는 것은 아니다.
첨부하는 도면들은, 병합되어 상세한 설명의 일부를 구성하며, 본 발명과 일치하는(consistent) 실시예들을 도시하고, 설명과 함께, 본 발명의 원리를 설명하는 역할을 한다.
도 1은 일 예시적인 실시예에 따른 사람 얼굴 인식 방법을 보여주는 플로우 차트이다.
도 2는 일 예시적인 실시예에 따른 사람 얼굴 인식 방법을 보여주는 플로우 차트이다.
도 3은 일 예시적인 실시예에 따른 원본 이미지의 개략도(schematic diagram)이다.
도 4는 일 예시적인 실시예에 따른 처리될 이미지의 개략도이다.
도 5는 일 예시적인 실시예에 따른 다른 크기들로 슬라이딩 윈도우들을 사용하여 처리될 이미지를 트래버스 하는 개략도이다.
도 6은 일 예시적인 실시예에 따른 다른 크기들로 처리될 이미지들의 개략도이다.
도 7은 일 예시적인 실시예에 따른 에이다부스트 사람 얼굴 분류기의 개략도이다.
도 8은 일 예시적인 실시예에 따른 사람 얼굴 인식 장치의 블록도이다.
도 9는 일 예시적인 실시예에 따른 추가 모듈의 블록도이다.
도 10은 일 예시적인 실시예에 따른 인식 모듈의 블록도이다.
도 11은 일 예시적인 실시예에 따른 결정 모듈의 블록도이다.
도 12는 일 예시적인 실시예에 따른 단말의 블록도이다.
도 1은 일 예시적인 실시예에 따른 사람 얼굴 인식 방법을 보여주는 플로우 차트이다.
도 2는 일 예시적인 실시예에 따른 사람 얼굴 인식 방법을 보여주는 플로우 차트이다.
도 3은 일 예시적인 실시예에 따른 원본 이미지의 개략도(schematic diagram)이다.
도 4는 일 예시적인 실시예에 따른 처리될 이미지의 개략도이다.
도 5는 일 예시적인 실시예에 따른 다른 크기들로 슬라이딩 윈도우들을 사용하여 처리될 이미지를 트래버스 하는 개략도이다.
도 6은 일 예시적인 실시예에 따른 다른 크기들로 처리될 이미지들의 개략도이다.
도 7은 일 예시적인 실시예에 따른 에이다부스트 사람 얼굴 분류기의 개략도이다.
도 8은 일 예시적인 실시예에 따른 사람 얼굴 인식 장치의 블록도이다.
도 9는 일 예시적인 실시예에 따른 추가 모듈의 블록도이다.
도 10은 일 예시적인 실시예에 따른 인식 모듈의 블록도이다.
도 11은 일 예시적인 실시예에 따른 결정 모듈의 블록도이다.
도 12는 일 예시적인 실시예에 따른 단말의 블록도이다.
참조(Reference)는 본 발명의 예시들을 상세하게 설명하게 할 것이다. 규정되거나 한정되지 않는 한, 동일하거나 유사한 구성요소들 및 동일하거나 유사한 기능들을 가지는 구성요소들은 설명 전반에 걸쳐 동일한 참조 번호들에 의해 표시된다. 본 발명의 설명적인 실시예들 및 이들의 도면들은 본 발명과 일치하는 모든 구현들을 나타내는 것으로 해석되지 않는다. 실시예들의 다음의 설명에 기재된 구현들은 본 발명과 일치하는 모든 구현들을 대변하지 않는다. 대신, 그들은 청구된 청구항에 기재된 본 발명의 일부 측면들(some aspects)과 일치하는 장치들 및 방법들의 예시들이다.
도 1은 일 예시적인 실시예에 따른 사람 얼굴 인식 방법을 보여주는 플로우 차트이고, 사람 얼굴 인식 방법은 단말에 적용된다. 도 1에 도시된 바와 같이, 본 발명의 실시예들에 제공된 사람 얼굴 인식 방법은 다음의 단계들을 포함한다.
단계(S101)에서, 원본 이미지가 획득된다.
단계(S102)에서, 지정된 수치의 픽셀들이 처리될 이미지를 획득하도록 원본 이미지의 가장자리 영역에 추가된다.
단계(S103)에서, 사람 얼굴 인식이 처리될 이미지에서 수행된다.
단계(S104)에서, 원본 이미지에서의 사람 얼굴이 사람 얼굴 인식의 결과에 따라서 결정된다.
본 발명의 실시예들에 의해 제공되는 방법으로, 처리될 이미지를 획득한 후 원본 이미지의 가장자리 영역에 지정된 수치의 픽셀들을 추가함으로써, 원본 이미지에서의 사람 얼굴을 결정하기 위하여 사람 얼굴 인식이 처리될 이미지에서 수행된다. 사람 얼굴 인식 동안, 원본 이미지의 가장자리 영역은 원본 이미지를 확장하는 것에 해당하는 지정된 수치의 픽셀들이 추가되고, 사람 얼굴이 원본 이미지의 가장자리 영역에 위치하면 사람 얼굴을 포함하는 서브-이미지가 확장된 이미지에서 발견될 수 있어, 원본 이미지의 가장자리 영역에 위치하는 사람 얼굴이 인식되는 것을 보장하고, 사람 얼굴 인식의 정확성을 더 향상시킨다.
다른 실시예에서, 원본 이미지의 가장자리 영역에 지정된 수치의 픽셀들을 추가하는 단계는:
원본 이미지의 가장자리 영역에서 각 픽셀의 픽셀 값을 획득하는 단계;
얼굴 피부색 픽셀에 대한 미리 설정된 픽셀 값 및 가장자리 영역에서 각 픽셀의 픽셀 값에 따라서 얼굴 피부색 픽셀이 있는 가장자리 영역을 결정하는 단계; 및
얼굴 피부색 픽셀이 있는 가장자리 영역에 지정된 수치의 픽셀들을 추가하는 단계를 포함한다.
다른 실시예에서, 처리될 이미지에서 사람 얼굴 인식을 수행하는 단계는:
처리될 이미지의 복수의 서브-이미지들을 획득하는 단계; 및
사전-훈련된 적응 부스트 사람 얼굴 분류기를 사용하여 각 서브-이미지가 사람 얼굴 서브-이미지인지를 판단하는 단계를 포함한다.
다른 실시예에서, 처리될 이미지의 복수의 서브-이미지들을 획득하는 단계는:
슬라이딩 윈도우들을 사용하여 처리될 이미지를 여러 번 나누어 트래버스 하고, 매차 트래버스 시 슬라이딩 윈도우들에 의해 각 위치에서 커버되는 이미지 영역을 처리될 이미지의 하나의 서브-이미지로 정의하되, 임의의 처리될 이미지의 두 트래버스에서 사용된 슬라이딩 윈도우들은 다른 크기들인; 또는
여러 번 처리될 이미지를 축소 확대하여 다른 크기들에서 복수의 처리될 이미지들을 획득하고, 임의의 크기들의 처리될 이미지에 대하여, 지정된 크기의 복수의 이미지 영역들로의 크기로 상기 크기들의 처리될 이미지를 자르고, 지정된 크기에서의 각 이미지 영역을 서브-이미지로 정의하는 단계를 포함한다.
다른 실시예에서, 사전-훈련된 적응 부스트 사람 얼굴 분류기는 멀티스테이지 분류기의 캐스캐이드로서 형성되고, 상기 사전-훈련된 적응 부스트 사람 얼굴 분류기를 사용하여 각 서브-이미지가 상기 사람 얼굴 서브-이미지인지를 판단하는 단계는:
임의의 서브-이미지에 대하여, 사전-훈련된 적응 부스트 사람 얼굴 분류기의 제1 스테이지 분류기로부터 시작하여 적응 부스트 사람 얼굴 분류기의 마지막 스테이지 분류기까지, 한 스테이지 한 스테이지씩 서브-이미지가 사람 얼굴 서브-이미지인지를 판단하는 단계; 및
모든 스테이지 분류기로부터 출력된 결과들의 각각이 서브-이미지가 사람 얼굴 서브-이미지인 것을 나타내면 서브-이미지가 사람 얼굴 서브-이미지인 것으로 결정하는 단계를 포함한다.
다른 실시예에서, 사람 얼굴 인식의 결과에 따라서 원본 이미지에서의 사람 얼굴을 결정하는 단계는:
사람 얼굴 서브-이미지인 서브-이미지가 처리될 이미지의 복수의 서브-이미지들에 존재하면, 원본 이미지에서 사람 얼굴 서브-이미지인 상기 서브 이미지의 위치를 결정하는 단계; 및
원본 이미지에서 사람 얼굴 서브-이미지인 서브-이미지의 위치에 따라서 상기 원본 이미지에서의 상기 사람 얼굴을 결정하는 단계를 포함한다.
본 발명의 대안적인 실시예들은 임의의 방식으로 상기 대언적이 기술 솔루션들을 결합함으로써 형성될 수 있으며, 이는 여기에 상세하게 설명되지는 않을 것이다.
도 2는 일 예시적인 실시예에 따른 사람 얼굴 인식 방법을 보여주는 플로우 차트이고, 사람 얼굴 인식 방법은 단말에서 적용된다. 도 2에 도시된 바와 같이, 본 발명의 실시예들에 의해 제공된 사람 얼굴 인식 방법은 다음의 단계들을 포함한다.
단계(201)에서, 원본 이미지가 획득된다.
원본 이미지는 사람 얼굴 인식 수행이 필요한 이미지이다. 본 발명의 실시예들에서, 원본 이미지가 사람 얼굴을 포함하는지를 인식하는 것과, 원본 이미지가 사람 얼굴을 포함하면 원본 이미지의 어느 영역에 사람 얼굴이 위치되는지 인식하는 것이 요구된다.
원본 이미지를 획득하는 많은 방식들이 있다. 예를 들면, 임의의 저장 디바이스(storage device)로부터 판독된 이미지는 원본 이미지로서 사용될 수 있다. 또는 인터넷으로부터 다운로드된 이미지가 원본 이미지로서 사용될 수 있다. 또한, 원본 이미지는 스캐너로 이미지를 스캔함으로써 획득될 수 있다. 또한, 카메라에 의해 촬영된 이미지가 원본 이미지로서 사용될 수 있다.
단계(S202)에서, 지정된 수치의 픽셀들이 처리될 이미지를 획득하도록 원본 이미지의 가장자리 영역에 추가된다.
예를 들어, 원본 이미지의 가장자리 영역은 원본 이미지의 각 가장자리의 네 가장 바깥쪽 측면들(four outermost sides)에서 픽셀들을 포함한다. 도 3에 도시된 바와 같이, 원본 이미지의 개략도가 도시된다. 도 3에서의 사람 얼굴은 원본 이미지의 가장자리 영역에 위치한다. 사람 얼굴이 원본 이미지의 가장자리 영역에 위치하면, 사람 얼굴을 인식할 때 사람 얼굴이 인식될 수 없다. 이 상황을 회피하기 위하여, 본 발명의 실시예들에서, 사람 얼굴을 인식하기 전, 처리될 이미지를 획득하도록 지정된 수치의 픽셀들이 원본 이미지의 가장자리 영역에 추가된다. 도 4에 도시된 바와 같이, 처리될 이미지의 개략도가 도시된다. 도 4에서의 처리될 이미지는 도 3에 도시된 원본 이미지의 네 가장자리 영역들에 픽셀들을 추가함으로써 획득된다. 도 4에서의 사선의(diagonals) 영역은 추가된 픽셀들을 나타낸다(represents).
지정된 수치의 값(specified numeric value)은 본 발명의 실시예들에서 한정되지 않으며, 이는 특정 구현에서 필요에 따라 설정될 수 있다. 예를 들면, 두 픽셀들, 다섯 픽셀들 또는 열 픽셀들은 가장 바깥쪽 측면들에서 각 픽셀의 주변(periphery)에 추가될 수 있다.
추가적으로(Additional), 원본 이미지의 가장자리 영역에 추가된 모든 픽셀들은 동일한 픽셀 값을 가질 수 있다, 즉, 모든 픽셀들은 동일한 컬러이다. 동일한 컬러는 화이트, 블랙 또는 다른 컬러들일 수 있고, 이는 본 발명의 실시예들에 한정되지 않는다. 추가된 픽셀들이 동일한 컬러를 가진 픽셀들인 상황(situation) 하에(under), 동일한 컬러의 픽셀들이 동일한 픽셀 값을 갖기 때문에, 처리될 이미지를 위한 사람 얼굴 인식 동안 처리될 이미지의 일정 영역(certain area)에서의 픽셀들이 동일한 픽셀 값을 갖는다는 것을 발견하면, 이들 픽셀들(these pixels)은 추가된 픽셀들로서 결정될 수 있어, 과도하게(overmuch) 인식 절차들(recognition procedures)이 실행되는 것이 불필요하고, 따라서 인식의 속도가 높아진다.
예를 들어, 원본 이미지의 가장자리 영역에 지정된 수치의 픽셀들을 추가할 때, 지정된 수치의 픽셀들은 원본 이미지의 모든 네 가장자리 영역들(all of the four edge areas of the original image)에 추가될 수 있다. 물론, 각 가장자리 영역에 추가된 지정된 수치의 픽셀들의 양(amounts)은 별개일(distinct) 수 있다. 예를 들면, 왼쪽 가장자리 영역에 추가된 지정된 수치의 픽셀들의 양은 오른쪽 영역에 추가된 것과 다르다. 그러나, 원본 이미지의 가장자리 영역에 픽셀들을 추가한 후, 이미지를 인식하기 위한 계산(calculation)이 증가될 수 있다. 이미지를 인식하기 위한 계산을 최소화하기 위하여, 원본 이미지의 가장자리 영역에 픽셀들을 추가하기 전, 사람 얼굴이 존재할 수 있는 곳의 가장자리 영역이(the edge area in which the human face may be present) 픽셀들로 추가된 곳으로(where is added with the pixels) 검출된다.
가능한 구현(possible implementation)에서, 얼굴 피부색 픽셀에 대한 픽셀 값이 보통 특정 값(specific value) 또는 일정 값 범위(certain value range) 내이기 때문에, 가장자리 영역에서 각 픽셀의 픽셀 값이 얼굴 피부색 픽셀에 대한 픽셀 값인지를 검출함으로써 사람 얼굴이 가장자리 영역에 존재하는지가 결정될 수 있다. 이 부분의 내용을 결합하여, 원본 이미지의 가장자리 영역에 지정된 수치의 픽셀들을 추가하는 단계를 포함하지만, 다음의 단계들(S2021-S2023)에 한정되지 않는다.
단계(S2021)은, 원본 이미지의 가장자리 영역에 각 픽셀의 픽셀 값이 획득된다.
예를 들어, 가장자리 영역에 각 픽셀의 픽셀 값은 각 픽셀의 RGB 값을 결정함으로써 획득될 수 있다. 각 픽셀의 RGB 값의 결정은 컬러 센서(color sensor)에 의해 결정될 수 있지만, 이에 대해 한정되지 않는다.
단계(S2022)에서, 얼굴 피부색 픽셀이 있는 가장자리 영역은 얼굴 피부색 픽셀에 대한 미리 설정된 픽셀 및 가장자리 영역에서의 각 픽셀의 픽셀 값에 따라서 결정된다.
가능한 구현에서, 가장자리 영역들에서 각 픽셀의 픽셀 값은 얼굴 피부색 픽셀에 대한 미리 설정된 픽셀 값과 비교될 수 있고, 얼굴 피부색 픽셀이 있는 가장자리 영역은 비교(comparison)에 따라서 결정될 수 있다.
예를 들어, 얼굴 피부색 픽셀에 대한 미리 설정된 픽셀 값과 가장자리 영역들에서의 임의의 픽셀의 픽셀 값과 비교할 때, 얼굴 피부색 픽셀의 미리 설정된 픽셀 값과 이 픽셀의 픽셀 값 사이의 차이가 제1 미리 설정된 임계값(first preset threshold)보다 크지 않으면, 이 픽셀은 얼굴 피부색 픽셀로서 결정될 수 있다. 제1 미리 설정된 픽셀 값의 특정 숫자 값은 본 발명의 실시예들에서 한정되지 않는다. 그러나, 픽셀이 얼굴 피부색 픽셀인지를 정확하게 인식하기 위하여, 제1 미리 설정된 임계값은 작은 값(small value)으로 설정될 수 있다.
예를 들어, 각 가장자리 영역에 대해, 비교에 따라서 얼굴 피부색 픽셀이 있는 가장자리 영역을 결정할 때, 가장자리 영역에서 모든 픽셀들에 얼굴 피부색 픽셀의 비율에 따라서 얼굴 피부색 픽셀이 가장자리 영역에 존재하는지가 결정될 수 있다. 비율이 제2 미리 설정된 임계값보다 크면, 얼굴 피부색 픽셀이 가장자리 영역에 존재하는 것으로 결정되고, 그렇지 않으면 얼굴 피부색 픽셀이 가장자리 영역에 부재한(absent) 것으로 결정된다. 제2 미리 설정된 임계값의 특정 숫자 값(Specific numeric value)은 필요에 따라 설정될 수 있다.
단계(S2023)에서, 지정된 수치의 픽셀들이 얼굴 피부색 픽셀이 있는 가장자리 영역에 추가된다.
다시 말해, 원본 이미지의 가장자리 영역에 픽셀들을 추가할 때, 지정된 수치의 픽셀들은 얼굴 피부색 픽셀이 있는 가장자리 영역에만(only) 추가될 수 있다. 예를 들면, 얼굴 피부색 픽셀이 원본 이미지의 상부 가장자리 영역(upper edge area)에 존재하면, 이미지를 인식하기 위한 계산을 감소시키기 위하여, 지정된 수치의 픽셀들은 상부 가장자리 영역에만 추가될 수 있다.
단계(S203)에서, 처리될 이미지의 복수의 서브-이미지들이 획득되고, 사전-훈련된 적응 부스트 사람 얼굴 분류기를 사용하여 각 서브-이미지가 사람 얼굴 서브-이미지인지 판단된다.
이 단계는 처리될 이미지에서 사람 얼굴 인식을 수행하기 위한 특정 구현이다. 본 발명의 실시예들에서, 사람 얼굴의 인식은 첫번째로(firstly) 처리될 이미지의 복수의 서브-이미지들을 획득하고 그 다음 각 서브-이미지가 사람 얼굴 서브-이미지인지를 판단함으로써 구현될 수 있다.
처리될 이미지의 복수의 서브-이미지들을 획득하는 단계를 포함하지만 다음의 두 방식들에 한정되지 않는다.
제1 방식(First way): 슬라이딩 윈도우들을 사용하여 처리될 이미지를 여러 번 나누어 트래버스 하고, 매차 트래버스 시 슬라이딩 윈도우들에 의해 각 위치에서 커버되는 이미지 영역을 처리될 이미지의 하나의 서브-이미지로 정의하되, 임의의 처리될 이미지의 두 트래버스들에서 사용된 슬라이딩 윈도우들은 다른 크기들이다.
다시 말해, 본 발명의 실시예들에서, 처리될 이미지는 각각 다른 사이즈들의 슬라이딩 윈도우들에 의해 트래버스 된다. 매차(each time) 처리될 이미지를 트래버스 하도록 사용된 슬라이딩 윈도우의 크기는 다양할 수 있다. 예를 들면, 처리될 이미지를 일정 번(certain time) 나누어 트래버스 하기 위한, 슬라이딩 윈도우의 크기는 3*3이다; 한편(while) 처리될 이미지를 다음 번(next time) 나누어 트래버스 하기 위한, 슬라이딩 윈도우는 5*5이다, 등. 도 5에 도시된 바와 같이, 다른 크기들로 슬라이딩 윈도우를 사용하여 처리될 이미지를 트래버스 하는 개략도가 도시된다. 도 5의 굵은 선(heavy line)의 각 사각형은 하나의 슬라이딩 윈도우를 나타낸다.
임의의 크기로 슬라이딩 윈도우를 사용하여 처리될 이미지를 트래버스 할 때, 슬라이딩 윈도우는 처리될 이미지의 수평 방향(X 방향) 및 수직 방향(Y 방향)으로 지정된 단계 크기(specified step size)에 의해 처리될 이미지를 트래버스 한다. 슬라이딩 윈도우가 X 방향 또는 Y 방향으로 하나의 단계 크기로 이동하기 때문에, 그것은 처리될 이미지의 새로운 위치로 이동한다. 각 위치는 하나의 이미지 범위(one image range)를 정의하고, 이는 처리될 이미지의 서브-이미지이다. 지정된 단계 크기는 하나의 픽셀(one pixel), 두 픽셀들(two pixels) 등일 수 있다.
제2 방식: 여러 번(many times) 처리될 이미지를 축소 확대하여 다른 크기들의 복수의 처리될 이미지를 획득하고, 지정된 크기의 복수의 이미지 영역들로의 임의의 크기로 처리될 이미지를 자르고, 각 이미지 영역을 서브-이미지로 정의한다.
처리될 이미지가 축소 확대 되는 매 번에서(At each time), 하나의 일정 크기로 처리될 이미지가 획득될 수 있다. 하나의 크기의 처리될 이미지를 위해, 이런 하나의 크기의 처리될 이미지는 복수의 이미지 영역들로 잘려질 수 있다. 각 이미지 영역은 3*3(픽셀*픽셀), 5*5 또는 등과 같은 지정된 크기이다.
도 6에 도시된 바와 같이, 다른 크기들로 처리될 이미지의 개략도가 도시된다. 도 6의 (a)-(c)는 일정 크기로 처리될 이미지를 각각 도시한다. 도 6의 도 (c)에 도시된 바와 같이, 일정 크기로 처리될 이미지를 자르는 개략도가 도시된다. 도 6의 도 (c)에 도시된 바와 같이, 굵은 선으로 둘러싸인 각 직사각형은 일정 크기로 처리될 이미지의 서브-이미지이다.
또한, 각 서브-이미지가 사람 얼굴 서브-이미지인지를 판단하는 것은 사전-훈련된 사람 얼굴 분류기에 의해 구현될 수 있다. 사전-훈련된 사람 얼굴 분류기의 유형은 다양할 수 있다. 예를 들면, 사전-훈련된 사람 얼굴 분류기는 서포터 벡터 머신 사람 얼굴 분류기(Support Vector Machine human face classifier), 뉴럴 네트워크 사람 얼굴 분류기(neural network human face classifie) 또는 적응 부스트(에이다부스트) 사람 얼굴 분류기 등일 수 있다. 설명의 편의를 위하여, 본 발명의 실시예들에서, 에이다부스트 사람 얼굴 분류기인 사전-훈련된 사람 얼굴 분류기가 사람 얼굴을 인식하는 시퀀트 단계(sequent step)를 설명하기 위한 예시로서 취한다(taken).
가능한 구현에서, 사람 얼굴 인식의 정밀성(precision)을 향상시키기 위하여, 본 발명의 실시예들에서, 에이다부스트 사람 얼굴 분류기는 멀티스테이지 분류기의 캐스캐이드로서 형성된다. 에이다부스트 사람 얼굴 분류기에서의 분류기의 각 스테이지는 서브-이미지가 사람 얼굴 서브-이미지인지를 판단하도록 구성된다. 분류기의 각 스테이지로부터 출력된 결과는 "0" 또는 "1"이다. 출력 결과 "1"은 분류기의 스테이지가 서브-이미지가 사람 얼굴 서브-이미지인 것으로 결정한 것을 나타낸다(indicates). 출력 결과 "0"은 분류기의 스테이지가 서브-이미지가 사람 얼굴 서브-이미지가 아닌 것으로 결정한 것을 나타낸다.
에이다부스트 사람 얼굴 분류기에서의 분류기의 각 스테이지는 스트롱 분류기(strong classifier)이다. 각 스트롱 분류기는 복수의 위크 분리기들(weak classifiers)을 포함한다. 에이다부스트 사람 얼굴 분류기에서의 분류기의 각 스테이지의 훈련은 분류기의 스테이지에 포함된 복수의 위크 분류기들을 훈련함으로써 구현될 수 있다. 분류기들의 스테이지로부터 출력된 결과는 분류기의 스테이지에 포함된 모든 위크 분류기의 데이트 프로세싱(date processing)에 따라 결정된다. 분류기의 각 스테이지로부터 출력된 결과를 결정하는 것의 방식 및 에이다부스트 사람 얼굴 분류기를 훈련하는 것의 방식에 대하여, 참조는 에이다부스트 사람 얼굴 인식기에 대하여 기존 콘텐츠에 이루어지고(made), 이는 본 발명의 실시예들에서 상세하게 설명되지 않는다.
에이다부스트 사람 얼굴 분류기에 포함된 분류기들의 스테이지들의 수는 본 발명의 실시예들에서 한정되지 않는다. 더 정확한 인식을 가능하게 하기 위하여, 에이다부스트 사람 얼굴 분류기는 분류기들의 다섯 스테이지들, 분류기들의 여덟 스테이지들과 같이, 분류기들의 훨씬 더 많은 스테이지들을 포함할 수 있다. 도 7에 도시된 바와 같이, 에이다부스트 사람 얼굴 분류기의 개략도가 도시된다. 도 7의 각 원형 영역은 분류기의 하나의 스테이지를 나타낸다.
이에 기반하여, 임의의 서브-이미지에 대하여, 사전-훈련된 적응 부스트 사람 얼굴 분류기를 사용하여 각 서브-이미지가 사람 얼굴 서브-이미지인지를 판단할 때, 서브-이미지가 사람 얼굴 서브-이미지인지를 판단하기 위하여, 이는 사전-훈련된 에이다부스트 사람 얼굴 분류기의 제1 스테이지 분류기로부터 시작하여 에이다부스트 사람 얼굴 분류기의 마지막 스테이지까지, 한 스테이지 한 스테이지씩 훈련된다. 모든 스테이지들 분류기로부터 출력된 결과들의 각각이 서브-이미지가 사람 얼굴 서브-이미지인 것을 나타내면, 서브-이미지는 사람 얼굴 서브-이미지로서 결정된다. 분류기의 임의의 스테이지로부터의 결과가 서브-이미지가 사람 얼굴 서브-이미지가 아닌 것을 나타내면, 서브-이미지는 비-사람-얼굴 서브-이미지(non-human-face sub-image)로서 결정된다.
특별히, 임의의 서브-이미지에 대해, 서브-이미지는 분류기의 마지막 스테이지까지, 제1 스테이지 분류기로부터 에이다부스트 사람 얼굴 분류기로 입력되고, 제1 스테이지 분류기가 서브-이미지가 사람 얼굴 서브-이미지인 것을 결정하면, 서브-이미지는 제2 스테이지 분류기로 입력되고, 제2 스테이지 분류기가 서브-이미지가 사람 얼굴 서브-이미지인지를 판단하고, 등등. 제1 스테이지 분류기가 서브-이미지가 사람 얼굴 서브-이미지가 아닌 것을 결정하면, 제1 스테이지 분류기는 인식을 위한 다음 서브-이미지를 획득한다.
사전-훈련된 사람 얼굴 분류기의 작업 원리(work principle)에 기반하여, 사람 얼굴이 원본 이미지의 가장자리 영역에 위치하면, 일반적으로 가장자리 영역에 위치하는 사람 얼굴은 인식될 수 없다는 것을, 주목해야 한다. 그러나, 사람 얼굴은 쉴드될(shielded) 때 정확하게 인식될 수 있다. 본 발명의 실시예들에서, 지정된 수치의 픽셀들은 원본 이미지의 가장자리 영역에 추가되어, 가장 자리 영역에 위치하는 사람 얼굴이 추가된 픽셀들에 의해 쉴드되는 것과 동등하고(is equivalent to be shield), 가장자리 영역에 위치하는 사람 얼굴은 사전-훈련된 사람 얼굴 분류기에 의해 인식될 수 있고, 따라서 가장자리 영역에 위치하는 사람 얼굴 인식의 정확성을 향상시킨다.
단계(S204)에서, 원본 이미지에서의 사람 얼굴이 사람 얼굴 인식의 결과에 따라서 결정된다.
각 서브-이미지가 사람 얼굴 서브-이미지인지를 인식한 후, 사람 얼굴에 속하는 서브-이미지는 사람 얼굴 인식의 결과에 따라서 결정될 수 있다. 그러나, 어느 영역이 원본 이미지에 위치하는 사람 얼굴인지를 결정하기 위하여, 사람 얼굴에 속하는 서브-이미지에 따라서 원본 이미지에서 사람 얼굴을 결정하는 것이 요구된다.
예를 들어, 사람 얼굴 인식의 결과에 따라서 원본 이미지에서 사람 얼굴을 결정하는 단계를 포함하지만: 사람 얼굴 서브-이미지인 서브-이미지가 처리될 이미지의 복수의 서브-이미지들에 존재하면 원본 이미지에서 사람 얼굴 서브-이미지인 서브-이미지의 위치를 결정하는 단계, 및 원본 이미지에서의 사람 얼굴 서브-이미지인 서브-이미지의 위치에 따라서 원본 이미지에서 사람 얼굴을 결정하는 단계에 한정하지 않는다.
가능한 구현에서, 임의의 서브-이미지의 인식이 그것이 사람 얼굴 서브-이미지임을 나타내기 위하여(for any sub-image whose recognition indicates that it is the human face sub-image), 원본 이미지에서 서브-이미지의 위치를 획득할 때, 서브-이미지에서 각 픽셀의 픽셀 값이 추출되고, 원본 이미지에서 각 픽셀의 픽셀 값이 추출되고, 그런 다음 서브-이미지에서의 각 픽셀의 픽셀 값은 원본 이미지에서의 각 픽셀의 픽셀 값과 비교된다. 원본 이미지의 하나의 일정 영역에서의 각 픽셀의 픽셀 값이 서브-이미지에서의 각 픽셀의 픽셀 값과 동일하면(equal), 서브-이미지의 위치는 원본 이미지에 위치할 수 있다.
또한, 사람 얼굴 서브-이미지인 서브-이미지가 처리될 이미지의 복수의 서브-이미지들에 존재하지 않으면, 원본 이미지가 사람 얼굴을 포함하지 않은 것으로 결정된다.
본 발명의 실시예들에 의해 제공되는 방법으로, 처리될 이미지를 획득한 후 원본 이미지의 가장자리 영역에 지정된 수치의 픽셀들을 추가함으로써, 원본 이미지에서의 사람 얼굴을 결정하기 위하여 사람 얼굴 인식이 처리될 이미지에서 수행된다. 사람 얼굴 인식 동안, 원본 이미지의 가장자리 영역은 원본 이미지를 확장하는 것에 해당하는 지정된 수치의 픽셀들이 추가되고, 사람 얼굴이 원본 이미지의 가장자리 영역에 위치하면 사람 얼굴을 포함하는 서브-이미지가 확장된 이미지에서 발견될 수 있어, 원본 이미지의 가장자리 영역에 위치하는 사람 얼굴이 인식되는 것을 보장하고, 사람 얼굴 인식의 정확성을 더 향상시킨다.
도 8은 일 예시적 실시예에 따른 사람 얼굴 인식 장치의 블록도이다. 도 8을 참조하면, 사람 얼굴 인식 장치는 획득 모듈(acquiring module)(801), 추가 모듈(adding module)(802), 인식 모듈(recognizing module)(803) 및 결정 모듈(determining module)(804)를 포함한다.
획득 모듈(801)은 원본 이미지를 획득하도록 구성된다.
추가 모듈(802)은 처리될 이미지를 획득하도록 획득 모듈(801)에 의해 획득된 원본 이미지의 가장자리 영역에 지정된 수치의 픽셀들을 추가하도록 구성된다.
인식 모듈(803)은 추가 모듈(802)에 의해 획득된 처리될 이미지에서 사람 얼굴 인식을 수행하도록 구성된다.
결정 모듈(804)은 인식 모듈(803)으로부터의 사람 얼굴 인식의 결과에 따라서 원본 이미지에서의 사람 얼굴을 결정하도록 구성된다.
본 발명의 실시예들에 의해 제공되는 방법으로, 처리될 이미지를 획득한 후 원본 이미지의 가장자리 영역에 지정된 수치의 픽셀들을 추가함으로써, 원본 이미지에서의 사람 얼굴을 결정하기 위하여 사람 얼굴 인식이 처리될 이미지에서 수행된다. 사람 얼굴 인식 동안, 원본 이미지의 가장자리 영역은 원본 이미지를 확장하는 것에 해당하는 지정된 수치의 픽셀들이 추가되고, 사람 얼굴이 원본 이미지의 가장자리 영역에 위치하면 사람 얼굴을 포함하는 서브-이미지가 확장된 이미지에서 발견될 수 있어, 원본 이미지의 가장자리 영역에 위치하는 사람 얼굴이 인식되는 것을 보장하고, 사람 얼굴 인식의 정확성을 더 향상시킨다.
다른 실시예에서, 도 9를 참조하면, 추가 모듈(802)은 제1 획득 유닛(first acquiring unit)(8021), 제1 결정 유닛(first determining unit)(8022) 및 추가 유닛(adding unit)(8023)을 포함한다.
제1 획득 유닛(8021)은 원본 이미지의 가장자리 영역에서 각 픽셀의 픽셀 값을 획득하도록 구성된다.
제1 결정 유닛(8022)은 얼굴 피부색 픽셀에 대한 미리 설정된 픽셀 값 및 제1 획득 유닛(8021)에 의해 획득된 가장자리 영역에서의 각 픽셀의 픽셀 값에 따라서 얼굴 피부색 픽셀이 있는 가장자리 영역을 결정하도록 구성된다.
추가 유닛(8023)은 제1 결정 유닛(8022)에 의해 결정된 얼굴 피부색 픽셀이 있는 가장자리 영역에 지정된 수치의 픽셀들을 추가하도록 구성된다.
다른 실시예에서, 도 10을 참조하면, 인식 모듈(803)은 제2 획득 유닛(8031) 및 판단 유닛(8033)을 포함한다.
제2 획득 유닛(8031)은 처리될 이미지의 복수의 서브-이미지들을 획득하도록 구성된다.
판단 유닛(8032)은 사전-훈련된 적응 부스트 사람 얼굴 분류기를 사용하여 제2 획득 유닛에 의해 획득된 각 서브-이미지가 사람 얼굴 서브-이미지인지를 판단하도록 구성된다.
다른 실시예에서, 제2 획득 유닛(8031)은 슬라이딩 윈도우들을 사용하여 처리될 이미지를 여러 번 나누어 트래버스 하고, 매차 트래버스 시 슬라이딩 윈도우들에 의해 각 위치에서 커버되는 이미지 영역을 처리될 이미지의 하나의 서브-이미지로 정의하되, 임의의 처리될 이미지의 두 트래버스에서 사용된 슬라이딩 윈도우들은 다른 크기들이고; 또는 여러 번 처리될 이미지를 축소 확대하여 다른 크기들의 복수의 처리될 이미지들을 획득하고, 임의의 크기들의 처리될 이미지들에 대하여, 지정된 크기의 복수의 이미지 영역들로의 크기로 상기 크기들의 처리될 이미지를 자르고, 지정된 크기에서의 각 이미지 영역을 서브-이미지로 정의하도록 구성된다.
다른 실시예에서, 사전-훈련된 적응 부스트 사람 얼굴 분류기는 멀티스테이지 분류기의 캐스캐이드로서 형성되고, 판단 유닛(8032)은: 임의의 서브-이미지에 대하여, 사전-훈련된 적응 부스트 사람 얼굴 분류기의 제1 스테이지 분류기로부터 시작하여 적응 부스트 사람 얼굴 분류기의 마지막 스테이지 분류기까지, 한 스테이지 한 스테이지씩 서브-이미지가 사람 얼굴 서브-이미지인지를 판단하고; 모든 스테이지 분류기로부터 출력된 결과들의 각각이 서브-이미지가 사람 얼굴 서브-이미지인 것을 나타내면 서브-이미지가 사람 얼굴 서브-이미지인 것으로 결정하도록 구성된다.
다른 실시예에서, 도 11을 참조하면, 결정 모듈(804)은: 제2 결정 유닛(second determining unit)(8041) 및 제3 결정 유닛(third determining unit)(8042)을 포함한다.
제2 결정 유닛(8041)은 사람 얼굴 서브-이미지인 서브-이미지가 처리될 이미지의 복수의 서브-이미지들에 존재하면, 원본 이미지에서 사람 얼굴 서브-이미지인 서브 이미지의 위치를 결정하도록 구성된다.
제3 결정 유닛(8042)은 원본 이미지에서 사람 얼굴 서브-이미지인 서브-이미지의 위치에 따라서 원본 이미지에서의 사람 얼굴을 결정하도록 구성된다.
상기 실시예들에서의 장치에 대하여, 개별적인 모듈들을 위한 작동들을 수행하는 특정 방식들이 사람 얼굴 인식 방법에 관한 실시예들에서 상세하게 설명되었고, 이는 여기에 상세하게 설명되지(elaborated) 않을 것이다. 본 발명의 대안적인 실시예들은 임의의 방식으로 상기 대안적인 기술 솔루션들을 결합함으로써 형성될 수 있으며, 이는 여기에 상세하게 설명되지 않을 것이다.
도 12는 일 예시적인 실시예에 따른 단말(1200)의 블록도이고, 단말은 도 1 또는 2에 대응하는 실시예들에 제공되는 사람 얼굴 인식 방법을 실행하도록 구성된다. 예를 들면, 단말(1200)은 모바일 폰(mobile phone), 컴퓨터(computer), 디지털 방송 단말(digital broadcast terminal), 메시지 장치(messaging device), 게임 콘솔(gaming console), 태블릿(tablet), 메디컬 디바이스(medical device), 운동 장비(exercise equipment), 개인 디지털 어시스턴트(PDA: Personal Digital Assistant) 등일 수 있다.
도 12를 참조하면, 단말(1200)은 다음의 하나 이상의 컴포넌트들: 프로세싱 컴포넌트(processing component)(1202), 메모리(memory)(1204), 전력 컴포넌트(power component)(1206), 멀티미디어 컴포넌트(multimedia component)(1208), 오디오 컴포넌트(audio component)(1210), 입력/출력 인터페이스(I/O interface: input/output interface)(1212), 센서 컴포넌트(sensor component)(1214), 및 통신 컴포넌트(communication component)(1216)를 포함할 수 있다.
프로세싱 컴포넌트(1202)는 단말(1200)의 녹음 작동들(recording operations), 카메라 작동들(camera operations), 데이터 통신들(data communications), 전화 통화들(telephone calls), 및 디스플레이와 관련된 작동들과 같은 전반적인 작동들(overall operations)을 일반적으로 제어한다. 프로세싱 컴포넌트(1202)는 상술한 방법들에서 단계들의 일부 또는 전부를 수행하기 위한 명령어들을 실행하는 하나 이상의 프로세서(1220)를 포함할 수 있다. 프로세싱 컴포넌트(1202)는 프로세싱 컴포넌트(1202)와 다른 컴포넌트들 사이의 인터랙션을 가능하게 하는(facilitate) 하나 이상의 모듈들을 포함할 수 있다. 예를 들어, 프로세싱 컴포넌트(1202)는 멀티미디어 컴포넌트(1208)와 프로세싱 컴포넌트(1202) 사이의 인터랙션을 가능하게 하는 멀티미디어 모듈을 포함할 수 있다.
메모리(1204)는 단말(1200)의 작동을 지원하기 위하여 데이터의 다양한 유형들을 저장하도록 구성된다. 이러한 데이터의 예시들(Examples of such data)은 단말(1200)에서 작동되는 방법들 또는 임의의 어플리케이션들을 위한 명령어들, 컨택트 데이터(contact data), 전화번호부 데이터(phonebook data), 메시지들, 사진들, 비디오, 등을 포함한다. 메모리(1204)는 정적 랜덤 액세스 메모리(SRAM: static random access memory), 전기적 소거 프로그램가능 읽기-전용 메모리(EPROM: electrically erasable programmable read-only memory), 소거 프로그램가능 읽기-전용 메모리(EPROM: erasable programmable read-only memory), 프로그램가능 읽기-전용 메모리(PROM: programmable read-only memory), 읽기-전용 메모리(ROM: read-only memory), 자기 메모리(magnetic memory), 플래쉬 메모리(flash memory), 자기 또는 광 디스크(magnetic or optical disk)와 같은, 휘발성 또는 비-휘발성 메모리 장치들(volatile or non-volatile memory devices)의 임의의 유형, 또는 이들의 조합(combination thereof)을 사용하여 구현될 수 있다.
전력 컴포넌트(1206)는 단말(1200)의 다양한 컴포넌트들에 전력을 제공한다. 전력 컴포넌트(1206)는 전력 관리 시스템(power management system), 하나 이상의 전원들(power sources), 및 단말(1200)에서의 전력의 배포, 관리 및 생성과 관련된 임의의 다른 컴포넌트들을 포함할 수 있다.
멀티미디어 컴포넌트(1208)는 단말(1200)과 사용자 사이의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예들에서, 스크린은 액정 디스플레이(LCD: liquid crystal display) 및 터치 패널(TP: touch panel)을 포함할 수 있다. 스크린이 터치 패널을 포함하면, 스크린은 사용자로부터 입력 신호들을 수신하도록 터치 스크린(touch screen)으로서 구현될 수 있다. 터치 패널은 터치 패널 상의 터치들(touches), 스와이프들(swipes), 및 제스쳐들(gestures)을 감지하는 하나 이상의 터치 센서들을 포함한다. 터치 센서들은 터치 또는 스와이프 액션(action)의 바운더리(boundary)를 감지하는 것뿐만 아니라 터치 또는 스와이프 액션과 관련된 압력 및 시간의 주기(period)를 감지할 수 있다. 일부 실시예들에서, 멀티미디어 컴포넌트(1208)는 전면 카메라(front camera) 및/또는 후면 카메라(rear camera)를 포함한다. 전면 카메라 및 후면 카메라는 단말(1200)이 촬영 모드(photographing mode) 또는 비디오 모드(video mode)와 같은 작동 모드(operation mode)에 있는 동안 외부 멀티미디어 데이텀(external multimedia datum)을 수신할 수 있다. 전면 카메라 및 후면 카메라 각각은 고정된 광학 렌즈 시스템(fixed optical lens system)일 수 있거나 또는 포커스 및 광학 줌 기능(focus and optical zoom capability)을 가질 수 있다.
오디오 컴포넌트(1210)는 오디오 신호들을 출력 및/또는 입력하도록 구성된다. 예를 들면, 단말(1200)이 전화 모드(call mode), 녹음 모드(recording mode), 및 음성 인식 모드(voice recognition mode)와 같은 작동 모드일 때, 오디오 컴포넌트(1210)는 외부 오디오 신호(external audio signal)를 수신하도록 구성된 마이크로폰(microphone)("MIC")을 포함한다. 수신된 오디오 신호는 메모리(1204)에 추가 저장될 수 있거나 또는 통신 컴포넌트(1216)을 통해 전송될 수 있다. 일부 실시예들에서, 오디오 컴포넌(1210)는 오디오 신호들을 출력하는 스피커를 더 포함한다.
입력/출력 인터페이스(1212)는 프로세싱 컴포넌트(1202)와 키보드, 클릭 휠, 버튼들 등과 같은 주변 인터페이스 모듈들(peripheral interface modules) 사이의 인터페이스를 제공한다. 버튼들은 홈 버튼, 볼륨 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있지만 이에 한정된 것은 아니다.
센서 컴포넌트(1214)는 단말(1200)의 다양한 측면들(various aspects)의 상태 평가들(status assessments)를 제공하는 하나 이상의 센서들을 포함한다. 예를 들어, 센서 컴포넌트(124)는 단말(1200)의 오픈/클로즈 상태(open/closed status), 컴포넌트들의 상대적 위치(relative positioning of components), 예컨대, 단말(1200)의, 디스플레이 및 키패드, 단말(1200)의 컴포넌트 또는 단말(1200)의 위치 변화, 단말(1200)와의 사용자 접속의 존재 또는 부재(presence or absence), 장치(1200)의 가속/감속(acceleration/deceleration) 또는 방향(orientation), 및 장치(1200)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(1214)는 임의의 물리적 접촉 없이(without any physical contact) 근처 객체들(nearby objects)의 존재를 검출하도록 구성되는 근접 센서(proximity sensor)를 포함할 수 있다. 센서 컴포넌트(1214)는 이미지 어플리케이션들(imaging applications)에서 사용하기 위하여, CMOS 또는 CCD 이미지 센서(CMOS or CCD image sensor)와 같은 광 센서(light sensor)를 포함할 수 있다. 일부 실시에들에서, 센서 컴포넌트(1214)는 가속도 센서(accelerometer sensor), 자이로 센서(gyroscope sensor), 자기 센서(magnetic sensor), 압력 센서(pressure sensor) 또는 열 센서(temperature sensor)를 또한 포함할 수 있다.
통신 컴포넌트(1216)는 단말(1200) 및 다른 디바이스들 사이의, 유선 또는 무선으로, 통신이 가능하도록 구성된다. 장치(1200)는 와이파이(WiFi), 2G, 또는 3G, 또는 이들의 조합과 같은, 통신 표준(communication standard)에 기초하는 무선 네트워크를 액세스할 수 있다. 일 실시예에서, 통신 컴포넌트(1216)는 방송 채널을 통해 외부 방송 관리 시스템으로부터의 정보와 관련된 방송 또는 방송 신호를 수신한다. 일 실시예에서, 통신 컴포넌트(1216)는 단거리 통신(short-range communications)을 가능하게 하는 근거리 무선 통신(NFC: near field communication) 모듈을 더 포함한다. 예를 들면, NFC 모듈은 전파 식별(RFID: radio frequency identification) 기술, 적외선 통신 규격(IrDA: infrared data association) 기술, 초광대역 무선(UWB: ultra-wideband) 기술, 블루투스(BT: Bluetooth) 기술 및 다른 기술들에 기초하여 구현될 수 있다.
실시예들에서, 단말(1200)은 하나 이상의 응용 주문형 집적 회로들(ASICs: application specific integrated circuits), 디지털 신호 처리기들(DSPs: digital signal processors), 디지털 신호처리 장치들(DSPDs: digital signal processing devices), 프로그램 가능 로직 장치들(PLDs: programmable logic devices), 필드 프로그램 가능 게이트 어레이들(FPGAs: field programmable gate arrays), 제어기들(controllers), 마이크로-제어기들(micro-controllers), 마이크로프로세서들(microprocessors) 또는 도 1 및 도 2에 대응하는 실시예들에 의해 제공되는 사람 얼굴 인식 방법을 수행하기 위한, 다른 전자 컴포넌트들로 구현될 수 있다.
예시적 실시예들에서, 명령어들(instructions)을 포함하는 메모리(1204)와 같이, 명령어들을 포함하는 비-일시적 컴퓨터-판독 가능한 기억 매체(non-transitory computer-readable storage medium) 또한 제공된다. 명령어들은 상술한 방법들을 수행하기 위하여, 단말(1200)에서 프로세서(1220)에 의해 실행 가능할 수 있다(executable). 예를 들면, 비-일시적 컴퓨터-판독 가능한 기억 매체는 롬(ROM), 램(RAM), 씨디-롬(CD-ROM), 자기 테이프(magnetic tape), 플로피 디스크(floppy disc), 광 데이터 저장 장치(optical data storage device), 등일 수 있다.
본 발명의 다른 실시예들은 여기에 개시된 발명의 실시(practice) 및 명세서의 고찰(consideration)로부터 당업자에게 명백할 것이다. 본 출원은 당업계에 공지 또는 관습 내에 있는 본 발명에서의 변경들(departures)을 포함하고 이들의 일반적인 원리들을 따르는 본 발명의 임의의 변형들(variations), 사용들(uses), 또는 적용들(adaptations)을 커버하도록(cover) 의도된다. 명세서 및 실시예들은 다음의 청구항들에 의해 의도되는 본 발명의 기질(spirit) 및 진정한 범위(true scope)로, 단지 예시로서 고려되는 것이 의도된다.
본 발명은 첨부하는 도면들에 도시되고 상술된 정확한 구성(exact construction)에 한정되지 않는다는 것을 이해할 수 있을 것이며, 다양한 수정들(modifications) 및 변경들(changes)은 본 발명의 범위를 벗어나지 않고 이루어질 수 있다. 본 발명의 범위는 청구된 청구항에 의해서만 한정되는 것이 의도된다.
Claims (13)
- 사람 얼굴 인식 방법에 있어서,
원본 이미지를 획득하는 단계;
처리될 이미지를 획득하도록 상기 원본 이미지의 가장자리 영역에 지정된 수치의 픽셀들을 추가하는 단계;
상기 처리될 이미지에서 사람 얼굴 인식을 수행하는 단계; 및
상기 사람 얼굴 인식의 결과에 따라서 상기 원본 이미지에서의 사람 얼굴을 결정하는 단계
를 포함하는 방법. - 제1항에 있어서,
상기 원본 이미지의 가장자리 영역에 상기 지정된 수치의 픽셀들을 추가하는 단계는,
상기 원본 이미지의 가장자리 영역에서 각 픽셀의 픽셀 값을 획득하는 단계;
얼굴 피부색 픽셀에 대한 미리 설정된 픽셀 값 및 상기 가장자리 영역에서의 각 픽셀의 픽셀 값에 따라서 상기 얼굴 피부색 픽셀이 있는 가장자리 영역을 결정하는 단계; 및
상기 얼굴 피부색 픽셀이 있는 상기 가장자리 영역에 상기 지정된 수치의 픽셀들을 추가하는 단계
를 포함하는 방법. - 제1항 또는 제2항에 있어서,
상기 처리될 이미지에서 상기 사람 얼굴 인식을 수행하는 단계는,
상기 처리될 이미지의 복수의 서브-이미지들을 획득하는 단계; 및
사전-훈련된 적응 부스트 사람 얼굴 분류기를 사용하여 각 서브-이미지가 사람 얼굴 서브-이미지인지를 판단하는 단계
를 포함하는 방법. - 제3항에 있어서,
상기 처리될 이미지의 복수의 서브-이미지들을 획득하는 단계는,
슬라이딩 윈도우들을 사용하여 상기 처리될 이미지를 여러 번 나누어 트래버스 하고, 매차 트래버스 시 상기 슬라이딩 윈도우들에 의해 각 위치에서 커버되는 이미지 영역을 상기 처리될 이미지의 하나의 서브-이미지로 정의하되, 임의의 처리될 이미지의 두 트래버스에서 사용된 상기 슬라이딩 윈도우들은 다른 크기들인 단계; 또는
여러 번 상기 처리될 이미지를 축소 확대하여 다른 크기들의 복수의 처리될 이미지들을 획득하고, 임의의 크기들의 처리될 이미지에 대하여, 지정된 크기의 복수의 이미지 영역들로의 크기로 상기 크기들의 처리될 이미지를 자르고, 상기 지정된 크기에서의 각 이미지 영역을 서브-이미지로 정의하는 단계
를 포함하는 방법. - 제3항에 있어서,
상기 사전-훈련된 적응 부스트 사람 얼굴 분류기는 멀티스테이지 분류기의 캐스캐이드로서 형성되고, 상기 사전-훈련된 적응 부스트 사람 얼굴 분류기를 사용하여 각 서브-이미지가 상기 사람 얼굴 서브-이미지인지를 판단하는 단계는,
임의의 서브-이미지에 대하여, 상기 사전-훈련된 적응 부스트 사람 얼굴 분류기의 제1 스테이지 분류기로부터 시작하여 적응 부스트 사람 얼굴 분류기의 마지막 스테이지 분류기까지, 한 스테이지 한 스테이지씩 상기 서브-이미지가 상기 사람 얼굴 서브-이미지인지를 판단하는 단계; 및
모든 스테이지 분류기로부터 출력된 결과들의 각각이 상기 서브-이미지가 상기 사람 얼굴 서브-이미지인 것을 나타내면 상기 서브-이미지가 상기 사람 얼굴 서브-이미지인 것으로 결정하는 단계
를 포함하는 방법. - 제3항에 있어서,
상기 사람 얼굴 인식의 결과에 따라서 상기 원본 이미지에서의 상기 사람 얼굴을 결정하는 단계는,
상기 사람 얼굴 서브-이미지인 상기 서브-이미지가 상기 처리될 이미지의 복수의 서브-이미지들에 존재하면, 상기 원본 이미지에서 상기 사람 얼굴 서브-이미지인 상기 서브 이미지의 위치를 결정하는 단계; 및
상기 원본 이미지에서 상기 사람 얼굴 서브-이미지인 상기 서브-이미지의 위치에 따라서 상기 원본 이미지에서의 상기 사람 얼굴을 결정하는 단계
를 포함하는 방법. - 사람 얼굴 인식 장치에 있어서,
원본 이미지를 획득하도록 구성되는 획득 모듈;
처리될 이미지를 획득하도록 상기 획득 모듈에 의해 획득된 상기 원본 이미지의 가장자리 영역에 지정된 수치의 픽셀들을 추가하도록 구성되는 추가 모듈;
상기 추가 모듈에 의해 획득된 상기 처리될 이미지에서 사람 얼굴 인식을 수행하도록 구성되는 인식 모듈; 및
상기 인식 모듈로부터의 상기 사람 얼굴 인식의 결과에 따라서 상기 원본 이미지에서의 사람 얼굴을 결정하도록 구성되는 결정 모듈
을 포함하는 장치. - 제7항에 있어서,
상기 추가 모듈은,
상기 원본 이미지의 가장자리 영역에서 각 픽셀의 픽셀 값을 획득하도록 구성되는 제1 획득 유닛;
얼굴 피부색 픽셀에 대한 미리 설정된 픽셀 값 및 상기 제1 획득 유닛에 의해 획득된 상기 가장자리 영역에서의 각 픽셀의 픽셀 값에 따라서 상기 얼굴 피부색 픽셀이 있는 가장자리 영역을 결정하도록 구성되는 제1 결정 유닛; 및
상기 제1 결정 유닛에 의해 결정된 상기 얼굴 피부색 픽셀이 있는 상기 가장자리 영역에 상기 지정된 수치의 픽셀들을 추가하는 추가 유닛
을 포함하는 장치. - 제7항 또는 제8항에 있어서,
상기 인식 모듈은,
상기 처리될 이미지의 복수의 서브-이미지들을 획득하도록 구성되는 제2 획득 유닛; 및
사전-훈련된 적응 부스트 사람 얼굴 분류기를 사용하여 제2 획득 유닛에 의해 획득된 각 서브-이미지가 사람 얼굴 서브-이미지인지를 판단하도록 구성되는 판단 유닛
을 포함하는 장치. - 제9항에 있어서,
상기 제2 획득 유닛은,
슬라이딩 윈도우들을 사용하여 상기 처리될 이미지를 여러 번 나누어 트래버스 하고, 매차 트래버스 시 상기 슬라이딩 윈도우들에 의해 각 위치에서 커버되는 이미지 영역을 상기 처리될 이미지의 하나의 서브-이미지로 정의하되, 임의의 처리될 이미지의 두 트래버스에서 사용된 상기 슬라이딩 윈도우들은 다른 크기들인; 또는
여러 번 상기 처리될 이미지를 축소 확대하여 다른 크기들의 복수의 처리될 이미지들을 획득하고, 임의의 크기들의 처리될 이미지에 대하여, 지정된 크기의 복수의 이미지 영역들로의 크기로 상기 크기들의 처리될 이미지를 자르고, 상기 지정된 크기에서의 각 이미지 영역을 서브-이미지로 정의하도록 구성되는 장치. - 제9항에 있어서,
상기 사전-훈련된 적응 부스트 사람 얼굴 분류기는 멀티스테이지 분류기의 캐스캐이드로서 형성되고, 상기 판단 유닛은,
임의의 서브-이미지에 대하여, 상기 사전-훈련된 적응 부스트 사람 얼굴 분류기의 제1 스테이지 분류기로부터 시작하여 적응 부스트 사람 얼굴 분류기의 마지막 스테이지 분류기까지, 한 스테이지 한 스테이지씩 상기 서브-이미지가 상기 사람 얼굴 서브-이미지인지를 판단하고; 및
모든 스테이지 분류기로부터 출력된 결과들의 각각이 상기 서브-이미지가 상기 사람 얼굴 서브-이미지인 것을 나타내면 상기 서브-이미지가 상기 사람 얼굴 서브-이미지인 것으로 결정하도록 구성되는 장치. - 제9항에 있어서,
상기 결정 모듈은,
상기 사람 얼굴 서브-이미지인 상기 서브-이미지가 상기 처리될 이미지의 복수의 서브-이미지들에 존재하면, 상기 원본 이미지에서 상기 사람 얼굴 서브-이미지인 상기 서브 이미지의 위치를 결정하도록 구성되는 제2 결정 유닛; 및
상기 원본 이미지에서 상기 사람 얼굴 서브-이미지인 상기 서브-이미지의 위치에 따라서 상기 원본 이미지에서 상기 사람 얼굴을 결정하도록 구성되는 제3 결정 유닛
을 포함하는 장치. - 단말에 있어서,
프로세서; 및
상기 프로세서에 의해 실행 가능한 명령어들을 저장하는 메모리;
를 포함하고,
상기 프로세서는,
원본 이미지를 획득하고;
처리될 이미지를 획득하도록 상기 원본 이미지의 가장자리 영역에 지정된 수치의 픽셀들을 추가하고;
상기 처리될 이미지에서 사람 얼굴 인식을 수행하고; 및
상기 사람 얼굴 인식의 결과에 따라서 상기 원본 이미지에서의 사람 얼굴을 결정하는 단말.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510520457.X | 2015-08-21 | ||
| CN201510520457.XA CN105095881B (zh) | 2015-08-21 | 2015-08-21 | 人脸识别方法、装置及终端 |
| PCT/CN2015/099696 WO2017031901A1 (zh) | 2015-08-21 | 2015-12-30 | 人脸识别方法、装置及终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20170033805A true KR20170033805A (ko) | 2017-03-27 |
Family
ID=54576269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167015669A KR20170033805A (ko) | 2015-08-21 | 2015-12-30 | 사람 얼굴 인식 방법, 장치 및 단말 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US10007841B2 (ko) |
| EP (1) | EP3133527A1 (ko) |
| JP (1) | JP6374986B2 (ko) |
| KR (1) | KR20170033805A (ko) |
| CN (1) | CN105095881B (ko) |
| MX (1) | MX2017008481A (ko) |
| RU (1) | RU2664688C2 (ko) |
| WO (1) | WO2017031901A1 (ko) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9286509B1 (en) * | 2012-10-19 | 2016-03-15 | Google Inc. | Image optimization during facial recognition |
| CN105095881B (zh) | 2015-08-21 | 2023-04-07 | 小米科技有限责任公司 | 人脸识别方法、装置及终端 |
| EP3136289A1 (en) * | 2015-08-28 | 2017-03-01 | Thomson Licensing | Method and device for classifying an object of an image and corresponding computer program product and computer-readable medium |
| CN106485567B (zh) * | 2016-09-14 | 2021-11-30 | 北京小米移动软件有限公司 | 物品推荐方法及装置 |
| CN106372616B (zh) * | 2016-09-18 | 2019-08-30 | Oppo广东移动通信有限公司 | 人脸识别方法、装置及终端设备 |
| CN106446884A (zh) * | 2016-09-19 | 2017-02-22 | 广东小天才科技有限公司 | 一种图像的快速截取的方法和装置 |
| US10474881B2 (en) * | 2017-03-15 | 2019-11-12 | Nec Corporation | Video retrieval system based on larger pose face frontalization |
| CN108280420A (zh) * | 2018-01-19 | 2018-07-13 | 百度在线网络技术（北京）有限公司 | 用于处理图像的系统、方法和装置 |
| CN109492550B (zh) * | 2018-10-25 | 2023-06-06 | 腾讯科技（深圳）有限公司 | 活体检测方法、装置及应用活体检测方法的相关系统 |
| US10650564B1 (en) * | 2019-04-21 | 2020-05-12 | XRSpace CO., LTD. | Method of generating 3D facial model for an avatar and related device |
| CN113596449B (zh) * | 2019-06-05 | 2023-11-03 | 西安万像电子科技有限公司 | 图像处理方法及装置 |
| CN110248107A (zh) * | 2019-06-13 | 2019-09-17 | Oppo广东移动通信有限公司 | 图像处理方法和装置 |
| CN110533002B (zh) * | 2019-09-06 | 2022-04-12 | 厦门久凌创新科技有限公司 | 基于人脸识别的大数据处理方法 |
| JP2022522551A (ja) * | 2020-02-03 | 2022-04-20 | ベイジン センスタイム テクノロジー ディベロップメント カンパニー リミテッド | 画像処理方法及び装置、電子機器並びに記憶媒体 |
| CN112132030B (zh) * | 2020-09-23 | 2024-05-28 | 湖南快乐阳光互动娱乐传媒有限公司 | 视频处理方法及装置、存储介质及电子设备 |
| CN112966136B (zh) * | 2021-05-18 | 2021-09-07 | 武汉中科通达高新技术股份有限公司 | 一种人脸分类方法及装置 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4551839B2 (ja) * | 2004-08-16 | 2010-09-29 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
| US7430369B2 (en) | 2004-08-16 | 2008-09-30 | Canon Kabushiki Kaisha | Image capture apparatus and control method therefor |
| RU2295152C1 (ru) * | 2005-09-15 | 2007-03-10 | Роман Павлович Худеев | Способ распознавания лица человека по видеоизображению |
| JP5354842B2 (ja) * | 2006-05-26 | 2013-11-27 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
| JP2008181439A (ja) * | 2007-01-26 | 2008-08-07 | Sanyo Electric Co Ltd | 顔検出装置及び方法並びに撮像装置 |
| CN101488181B (zh) * | 2008-01-15 | 2011-07-20 | 华晶科技股份有限公司 | 多方向的人脸检测方法 |
| KR100973588B1 (ko) | 2008-02-04 | 2010-08-02 | 한국과학기술원 | 얼굴검출기의 부윈도우 설정방법 |
| KR101105435B1 (ko) | 2009-04-14 | 2012-01-17 | 경북대학교 산학협력단 | 얼굴 검출과 얼굴 인지 방법 |
| CN102096802B (zh) * | 2009-12-11 | 2012-11-21 | 华为技术有限公司 | 人脸检测方法及装置 |
| WO2012000135A1 (en) * | 2010-07-02 | 2012-01-05 | Intel Corporation | Face detecting method and apparatus |
| CN102270308B (zh) * | 2011-07-21 | 2013-09-11 | 武汉大学 | 一种基于五官相关aam模型的面部特征定位方法 |
| AU2013205535B2 (en) * | 2012-05-02 | 2018-03-15 | Samsung Electronics Co., Ltd. | Apparatus and method of controlling mobile terminal based on analysis of user's face |
| CN105095881B (zh) * | 2015-08-21 | 2023-04-07 | 小米科技有限责任公司 | 人脸识别方法、装置及终端 |
-
2015
- 2015-08-21 CN CN201510520457.XA patent/CN105095881B/zh active Active
- 2015-12-30 KR KR1020167015669A patent/KR20170033805A/ko active Search and Examination
- 2015-12-30 MX MX2017008481A patent/MX2017008481A/es unknown
- 2015-12-30 RU RU2017102521A patent/RU2664688C2/ru active
- 2015-12-30 WO PCT/CN2015/099696 patent/WO2017031901A1/zh active Application Filing
- 2015-12-30 JP JP2016567408A patent/JP6374986B2/ja active Active
-
2016
- 2016-06-14 EP EP16174462.8A patent/EP3133527A1/en not_active Ceased
- 2016-06-28 US US15/195,368 patent/US10007841B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP6374986B2 (ja) | 2018-08-15 |
| CN105095881B (zh) | 2023-04-07 |
| CN105095881A (zh) | 2015-11-25 |
| MX2017008481A (es) | 2017-10-31 |
| EP3133527A1 (en) | 2017-02-22 |
| RU2664688C2 (ru) | 2018-08-21 |
| US20170053156A1 (en) | 2017-02-23 |
| WO2017031901A1 (zh) | 2017-03-02 |
| RU2017102521A3 (ko) | 2018-07-26 |
| US10007841B2 (en) | 2018-06-26 |
| RU2017102521A (ru) | 2018-07-26 |
| JP2017534090A (ja) | 2017-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20170033805A (ko) | 사람 얼굴 인식 방법, 장치 및 단말 | |
| CN111310616B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| US10157326B2 (en) | Method and device for character area identification | |
| US10284773B2 (en) | Method and apparatus for preventing photograph from being shielded | |
| EP2977959B1 (en) | Method and device for adjusting skin color | |
| EP3226204B1 (en) | Method and apparatus for intelligently capturing image | |
| RU2577188C1 (ru) | Способ, аппарат и устройство для сегментации изображения | |
| US10346669B2 (en) | Fingerprint entry prompting method and device | |
| US10534972B2 (en) | Image processing method, device and medium | |
| EP3057304B1 (en) | Method and apparatus for generating image filter | |
| EP2998960B1 (en) | Method and device for video browsing | |
| CN107944367B (zh) | 人脸关键点检测方法及装置 | |
| US20170177209A1 (en) | Screen unlocking method and apparatus | |
| CN111047526A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN105631803B (zh) | 滤镜处理的方法和装置 | |
| US11403789B2 (en) | Method and electronic device for processing images | |
| EP3208742A1 (en) | Method and apparatus for detecting pressure | |
| CN107730448A (zh) | 基于图像处理的美颜方法及装置 | |
| EP3974953A1 (en) | Icon position determination method and device | |
| CN106469446B (zh) | 深度图像的分割方法和分割装置 | |
| EP3327718B1 (en) | Method and device for processing a page | |
| CN114185444B (zh) | 触控屏防误触方法、装置及存储介质 | |
| US10068151B2 (en) | Method, device and computer-readable medium for enhancing readability | |
| CN113422910A (zh) | 视频处理方法、装置、电子设备和存储介质 | |
| CN106227505A (zh) | 图像检测方法、装置和用于图像检测的装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0105 | International application |
Patent event date: 20160613 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20170602 Patent event code: PE09021S01D |
|
| E601 | Decision to refuse application | ||
| PE0601 | Decision on rejection of patent |
Patent event date: 20171229 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20170602 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |
|
| AMND | Amendment | ||
| PX0901 | Re-examination |
Patent event code: PX09011S01I Patent event date: 20171229 Comment text: Decision to Refuse Application |
|
| PX0601 | Decision of rejection after re-examination |
Comment text: Decision to Refuse Application Patent event code: PX06014S01D Patent event date: 20180214 Comment text: Amendment to Specification, etc. Patent event code: PX06012R01I Patent event date: 20180122 Comment text: Decision to Refuse Application Patent event code: PX06011S01I Patent event date: 20171229 Comment text: Notification of reason for refusal Patent event code: PX06013S01I Patent event date: 20170602 |