KR101748372B1 - 얼굴 인식 서비스 시스템, 그 시스템에서의 얼굴 인식 서비스 장치 및 방법 - Google Patents
얼굴 인식 서비스 시스템, 그 시스템에서의 얼굴 인식 서비스 장치 및 방법 Download PDFInfo
- Publication number
- KR101748372B1 KR101748372B1 KR1020110014709A KR20110014709A KR101748372B1 KR 101748372 B1 KR101748372 B1 KR 101748372B1 KR 1020110014709 A KR1020110014709 A KR 1020110014709A KR 20110014709 A KR20110014709 A KR 20110014709A KR 101748372 B1 KR101748372 B1 KR 101748372B1
- Authority
- KR
- South Korea
- Prior art keywords
- facial expression
- face
- face recognition
- facial
- recognition
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000008921 facial expression Effects 0.000 claims abstract description 159
- 230000001815 facial effect Effects 0.000 claims abstract description 64
- 230000033001 locomotion Effects 0.000 claims description 32
- 239000000284 extract Substances 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 238000000513 principal component analysis Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 동영상 촬영으로 얻어진 영상을 분석하여 얼굴의 표정 변화에 따른 표정을 인식하기 위한 얼굴 인식 서비스 시스템, 그 의 얼굴 인식 서비스 장치 및 방법에 관한 것으로서, 동영상 촬영을 통해 획득한 촬영 영상에서 얼굴 영역을 정규화하고, 정규화된 얼굴 영역에서 얼굴 패턴을 추출하여 얼굴의 특징점을 추출하고, 추출된 특징점을 추적하여 얼굴의 표정 변화 값을 표현함으로써 얼굴 표정 변화에 따른 표정을 인식함으로써, 표정 인식 결과를 통해 다양한 컨텐츠에 적용하여 얼굴 인식 관련된 다양한 서비스에 확대하여 제공할 수 있는 효과가 있다.
Description
본 발명은 얼굴 인식 서비스 시스템에 관한 것으로서, 더욱 상세하게는 동영상 촬영으로 얻어진 영상을 분석하여 얼굴의 변화에 따른 표정을 인식하고, 이를 통해 표정 변화 기반의 서비스를 제공하기 위한 얼굴 인식 서비스 시스템, 그 시스템에서의 얼굴 인식 서비스 장치 및 방법에 관한 것이다.
일반적으로 얼굴 인식 기술은 이미지로부터 추출된 얼굴 특징과 안면 데이터베이스를 서로 비교함으로써 디지털 이미지를 통해 사용자를 자동으로 식별하는 시스템이다. 이러한 얼굴 인식 기술은 주로 보안 시스템으로 사용되어 왔다.
얼굴 인식 기술은 동일인을 인식하는 기술과, 얼굴의 특징 정보 값을 비교하여 그 얼굴의 표정을 분석하기 위한 기술로 구분할 수 있다. 얼굴의 표정은 다양한 의미를 담고 있으며, 이러한 표정도 커뮤니케이션을 위한 중요한 요소 중 하나이다. 최근에는 이러한 얼굴 표정을 분석하는 기술이 개발되고 있는 추세이다.
최근 스마트 폰 및 웹 캠 등의 보급 확대에 따라서 이를 통한 화상 서비스가 확대됨에 따라 정지된 화면이 아닌 동영상 촬영 등에서도 얼굴 또는 얼굴 표정 인식을 위한 서비스를 제공받기를 기대하고 있다.
따라서 스마트 폰 등에서 이용될 수 있는 동영상 촬영을 통한 얼굴 영상을 분석하여 얼굴의 표정 변화를 인식할 수 있는 기술이 필요하게 되었다.
또한, 고객들도 다양한 엔터테인먼트 요소가 있는 표정 변화 값을 관련 서비스와 연계하여 제공받기를 기대하고 있다.
이에 본 발명은 종래의 불편함을 해소하기 위하여 제안된 것으로서, 동영상 촬영을 통해 얻어진 얼굴 영상을 분석하여 얼굴 표정 변화를 인식하기 위한 얼굴 인식 서비스 시스템, 그의 얼굴 인식 서비스 장치 및 방법을 제공하기 위한 것이다.
더하여, 본 발명은 얼굴 인식 서비스 시스템에서 동영상 촬영을 통해 얻어진 얼굴 영상을 분석하여 얼굴의 표정 변화 값을 인식하여 표정 변화에 기반한 관련 서비스를 제공하기 위한 얼굴 인식 서비스 시스템, 그의 얼굴 인식 서비스 장치 및 방법을 제공하기 위한 것이다.
본 발명은 과제를 해결하기 위한 수단으로서, 동영상 촬영을 통해 촬영 영상을 획득하여 얼굴 인식 서비스 장치로 전송하고, 얼굴 인식 서비스 장치로부터 촬영 영상에서 얻은 표정 인식 결과에 대응하는 기능 실행에 따른 얼굴 인식 서비스를 제공받아 사용자에게 출력하는 단말 장치; 및 촬영 영상에서 얼굴 영역을 추출하여 정규화하고, 정규화된 얼굴 영역에서 얼굴의 특징점을 추출하고, 추출된 특징점을 추적하여 얼굴의 표정 변화 값을 표현함으로써, 얼굴 표정 변화에 따른 표정을 인식하고, 표정 인식 결과에 대응하는 기능을 실행하여 기능 실행에 따른 얼굴 인식 서비스를 단말 장치로 제공하는 얼굴 인식 서비스 장치를 포함하는 것을 특징으로 하는 얼굴 인식 서비스 시스템을 제공한다.
본 발명에 의한 얼굴 인식 서비스 시스템은, 특징점 추출에 이용되는 미리 설정된 얼굴 인식 정보에 대한 탬플릿, 및 얼굴 인식 서비스 실행을 위한 컨텐츠를 저장하는 컨텐츠 제공 장치를 더 포함할 수 있다.
더하여, 본 발명은 상술한 과제를 해결하기 위한 수단으로서, 단말 장치와 데이터를 송수신하면서, 단말 장치로부터 동영상으로 촬영된 촬영 영상을 수신하고, 단말 장치로 얼굴 인식 서비스 데이터를 전송하는 통신부; 및 촬영 영상에서 얼굴 영역을 정규화하여 얼굴을 인식하고, 인식된 얼굴 패턴에서 특징점을 추출하고, 추출된 특징점을 추적하여 얼굴 표정 변화에 따른 표정을 인식하고, 표정 인식 결과 또는 표정 인식 결과에 대응하는 기능의 실행에 따른 얼굴 인식 서비스를 단말 장치로 제공하는 얼굴 인식부를 포함하는 것을 특징으로 하는 얼굴 인식 서비스 장치를 제공한다.
본 발명에 의한 얼굴 인식 서비스 장치는, 얼굴 인식 서비스 제공에 필요한 데이터 및 표정 인식 결과를 저장하는 저장부를 더 포함할 수 있다.
본 발명에 의한 얼굴 인식 서비스 장치에 있어서, 얼굴 인식부는, 촬영된 영상에서 얼굴 영역을 기준으로 정규화 이미지를 생성하고, 생성된 정규화 이미지에서 얼굴 패턴을 추출하여 추출된 얼굴 패턴에서 특징점을 추출하는 특징점 추출부; 및 얼굴 패턴에서 추출된 특징점을 추적하여 얼굴 표정 변화에 따른 표정을 인식하는 표정 인식부를 포함할 수 있다.
본 발명에 의한 얼굴 인식 서비스 장치에 있어서, 특징점 추출부는, 촬영된 영상에서 얼굴 영역을 정규화하고, 얼굴을 인식하고, 얼굴 인식을 위한 수학적 계산 및 영상을 처리하는 라이브러리 및 알고리즘을 구비한 얼굴 인식 코어 엔진 모듈; 및 얼굴 패턴에서 특징점을 추출하는 특징점 추출 모듈을 포함하여 이루어질 수 있다.
본 발명에 의한 얼굴 인식 서비스 장치에 있어서, 표정 인식부는, 인식 라이브러리, 얼굴 인식 라이브러리, 특징점 추출 라이브러리 및 응용 프로그램 인터페이스를 정의한 라이브러리 중 하나 이상을 이용하여 얼굴 패턴에서 추출된 특징점의 움직임을 추적하여 특징점 움직임 벡터를 구하는 얼굴 인식 코어 엔진부; 및 특징점 움직임 벡터를 이용하여 얼굴의 변화에 따른 표정을 인식하는 표정 인식 모듈을 포함하여 이루어질 수 있다.
본 발명에 의한 얼굴 인식 서비스 장치에 있어서, 표정 인식부는, 추출된 특징점을 추적하여 획득한 특징점 움직임 벡터를 매개 변수로 하여 은닉 마르코프 모델을 적용하여 얼굴 표정 변화에 따른 표정 변화값들을 표현하고, 각 표정 변화값 중 중간 값을 통계적으로 검출함을 특징으로 한다.
더하여, 본 발명은 상술한 과제를 해결하기 위한 다른 수단으로서, 네트워크를 통해 데이터를 송수신하는 통신부; 통신부를 통해서 얼굴 인식 서비스 장치에 동영상으로 촬영된 촬영 영상을 전송하고, 얼굴 인식 서비스 장치로부터 촬영 영상에서 인식된 표정 인식 결과에 대응하는 기능을 실행하는 얼굴 인식 서비스를 제공받아 사용자에게 출력하도록 제어하는 제어부; 및 얼굴 인식 서비스의 실행 결과를 사용자에게 출력하는 출력부를 포함하는 것을 특징으로 하는 단말 장치를 제공한다.
본 발명에 의한 단말 장치는, 제어부의 제어에 따라서, 동영상 촬영을 실행하고, 동영상 촬영을 통해 얻은 촬영 영상을 제공하는 촬영부를 더 포함할 수 있다.
본 발명에 의한 단말 장치에 있어서, 얼굴 인식 서비스에 필요한 데이터 및 표정 인식 결과를 저장하는 저장부를 더 포함할 수 있다.
본 발명에 의한 단말 장치에 있어서, 제어부는 촬영 영상에서 얼굴을 인식하고, 인식된 얼굴 영역에서 특징점을 추출하고, 추출된 특징점의 움직임을 추적하여 얼굴 표정 변화에 따른 표정을 인식하는 얼굴 인식부; 및 얼굴 표정 인식 결과에 대응하는 기능의 실행을 통해 얼굴 인식 서비스를 사용자에게 제공하는 서비스 실행부 중에서 하나 이상을 포함하여 이루어질 수 있다.
본 발명에 의한 단말 장치는, 표정 인식 결과에 대응하는 기능에 대한 미리 설정된 컨텐츠 정보를 저장하는 데이터베이스, 얼굴 영역에서 특징점을 추출하기 위해 이용되는 탬플릿 정보를 저장하는 데이터베이스 및 통계 데이터베이스 중 하나 이상을 저장하는 저장부를 더 포함할 수 있다.
더하여, 본 발명은 상술한 과제를 해결하기 위한 다른 수단으로서, 동영상 촬영 영상을 수신하는 단계; 촬영 영상에서 얼굴 영역을 추출하여 얼굴을 인식하는 단계; 인식된 얼굴 영역에서 특징점을 추출하는 단계; 추출된 특징점을 추적하여 얼굴 변화에 따른 표정을 인식하는 단계; 표정 인식을 통해 얻은 표정 인식 결과에 대응하는 기능을 실행하는 단계; 및 기능 실행에 따른 얼굴 인식 서비스를 단말 장치로 제공하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식 장치에서의 얼굴 인식 서비스 방법을 제공한다.
본 발명에 의한 얼굴 인식 서비스 방법에 있어서, 얼굴을 인식하는 단계는, 영상에서 얼굴 영역을 추출하는 단계; 추출된 얼굴 영역에서 정규화 이미지를 생성하는 단계; 및 생성된 정규화 이미지에서 얼굴을 패턴을 추출하여 얼굴을 인식하는 단계를 포함하여 이루어질 수 있다.
본 발명에 의한 얼굴 인식 서비스 방법에 있어서, 인식된 얼굴 영역에서 특징점을 추출하는 단계는, 컨텐츠 제공 장치로부터 미리 설정된 얼굴 인식 정보에 대한 탬플릿을 수신하는 단계; 수신된 탬플릿을 얼굴 영역에서 추출된 얼굴 패턴에 매칭하는 단계; 및 매칭 결과에 따라서 얼굴 영역에서 특징점을 추출하는 단계를 포함할 수 있다.
본 발명에 의한 얼굴 인식 서비스 방법에 있어서, 얼굴 변화에 따른 표정을 인식하는 단계는, 추출된 특징점의 움직임에 따른 변화를 추적하여 특징점 움직임 벡터를 구하는 단계; 특징점 움직임 벡터를 매개변수로 하여 얼굴의 표정 변화값들을 표현하는 단계; 및 얼굴 표정 변화값들을 이용하여 표정을 인식하는 단계를 포함할 수 있다.
본 발명에 의한 얼굴 인식 서비스 방법에 있어서, 얼굴 변화에 따른 표정을 인식하는 단계는, 얼굴 표정 변화값들 중 중간값을 통계적으로 검출하여 표정을 인식하는 단계를 더 포함할 수 있다.
더하여, 본 발명은 상술한 과제를 해결하기 위한 수단으로서, 동영상 촬영 영상을 통해 촬영 영상을 획득하는 단계; 얼굴 인식 서비스 장치로 촬영 영상을 전송하여, 촬영 영상에서 인식한 얼굴의 표정 변화에 따른 표정 인식 결과를 수신하는 단계; 표정 인식 결과에 대응하는 기능을 실행하는 단계; 및 기능 실행에 따른 얼굴 인식 서비스를 사용자에게 제공하는 단계를 포함하는 것을 특징으로 하는 단말 장치에서의 얼굴 인식 서비스 방법을 제공한다.
본 발명에 의한 얼굴 인식 서비스 방법은, 촬영 영상에서 얼굴 영역을 추출하여 얼굴을 인식하는 단계; 인식된 얼굴 영역에서 특징점을 추출하는 단계; 및 추출된 특징점을 추적하여 얼굴 변화에 따른 표정을 인식하는 단계 중에서 하나 이상을 더 포함할 수 있다.
본 발명은 동영상 촬영을 통해 획득한 영상에서 얼굴을 인식하고, 인식된 얼굴에서 특징점을 추출하고, 추출된 특징점의 움직임을 추적함으로써 얼굴 표정 변화를 인식할 수 있으며, 표정 인식 결과를 다양한 컨텐츠에 적용하여 얼굴 인식에 관련된 다양한 서비스에 확대하여 제공할 수 있는 효과가 있다.
특히, 본 발명은 표정 인식 결과를 적용하여 아바타 메시징, 멀티미디어 MMS 서비스를 포함하는 다양한 응용 서비스를 사용자에게 제공할 수 있으며, 이를 통해 서비스의 차별화 및 경쟁력 향상을 도모할 수 있다.
도 1은 본 발명의 실시 예에 따른 얼굴 인식 서비스 시스템의 구성을 나타낸 블럭도이다.
도 2는 본 발명의 실시 예에 따른 얼굴 인식 서비스 시스템에서의 단말 장치의 구성을 나타낸 블럭도이다.
도 3는 본 발명의 실시 예에 따른 얼굴 인식 서비스 시스템에서의 얼굴 인식 서비스 장치의 구성을 나타낸 블럭도이다.
도 4는 본 발명의 실시 예에 따른 얼굴 서비스 장치의 얼굴 인식부에서 특징점 추출부의 구성을 나타낸 블럭도다.
도 5는 본 발명의 실시 예에 따른 얼굴 서비스 장치의 얼굴 인식부에서 표정 인식부의 구성을 나타낸 블럭도다.
도 6은 본 발명의 일 실시 예에 따른 얼굴 인식 서비스 시스템에서의 얼굴 인식 서비스 과정을 나타낸 흐름도이다.
도 7은 본 발명의 다른 실시 예에 따른 단말 장치에서의 얼굴 인식 서비스 방법을 나타낸 순서도이다.
도 8은 본 발명의 실시 예에 따라 얼굴 인식을 위해 적용되는 아다브스트 케스케이드 방식을 나타낸 도면이다.
도 9는 본 발명의 실시 예에 따라 특징점을 추출하는 방법을 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 얼굴 인식 서비스 시스템에서의 단말 장치의 구성을 나타낸 블럭도이다.
도 3는 본 발명의 실시 예에 따른 얼굴 인식 서비스 시스템에서의 얼굴 인식 서비스 장치의 구성을 나타낸 블럭도이다.
도 4는 본 발명의 실시 예에 따른 얼굴 서비스 장치의 얼굴 인식부에서 특징점 추출부의 구성을 나타낸 블럭도다.
도 5는 본 발명의 실시 예에 따른 얼굴 서비스 장치의 얼굴 인식부에서 표정 인식부의 구성을 나타낸 블럭도다.
도 6은 본 발명의 일 실시 예에 따른 얼굴 인식 서비스 시스템에서의 얼굴 인식 서비스 과정을 나타낸 흐름도이다.
도 7은 본 발명의 다른 실시 예에 따른 단말 장치에서의 얼굴 인식 서비스 방법을 나타낸 순서도이다.
도 8은 본 발명의 실시 예에 따라 얼굴 인식을 위해 적용되는 아다브스트 케스케이드 방식을 나타낸 도면이다.
도 9는 본 발명의 실시 예에 따라 특징점을 추출하는 방법을 나타낸 도면이다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
그러면 동영상 촬영을 통해 얻어진 영상(또는 이미지)을 분석하여 얼굴의 표정을 인식하고, 인식된 표정 인식 결과에 따라서 설정된 기능을 실행하는 얼굴 인식 서비스를 제공하기 위한 본 발명의 실시 예를 첨부된 도면을 참조하여 구체적으로 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 얼굴 인식 서비스 시스템의 구성을 나타낸 블럭도이다.
도 1을 참조하면, 본 발명에 따른 얼굴 인식 서비스 시스템은 네트워크(10)를 통해서 연결된 단말 장치(100), 얼굴 인식 서비스 장치(200) 및 컨텐츠 제공 장치(300)를 포함하여 이루어질 수 있다.
본 발명의 일 실시 예에 따른 얼굴 인식 서비스 시스템에 있어서, 단말 장치(100)는 사용자의 얼굴을 촬영하고, 촬영된 얼굴을 포함한 영상을 얼굴 인식 서비스 장치(200)로 전송한다. 더하여, 단말 장치(100)는 상기 촬영된 얼굴에서의 특징점을 추출한 후, 추출한 특징점을 얼굴 인식 서비스 장치(200)로 전송할 수 도 있다. 이 경우, 특징점 정보가 영상 자체보다 데이터 량이 작기 때문에 전송 시의 통신 부하를 줄일 수 있고, 또한, 얼굴 인식 서비스 장치(200)에서 특징점 추출에 따른 처리를 수행하지 않아도 되므로 얼굴 인식 서비스 장치(200)의 동작 부하를 감소시킬 수 있다. 그리고 단말 장치(100)는 얼굴 인식 서비스 장치(200)에서의 얼굴 인식 결과에 따라서 컨텐츠 제공 장치(300)로부터 제공되는 특정 서비스 혹은 기능을 제공받아 사용자에게 출력할 수 있다. 이러한 단말 장치(100)는 데스크톱 컴퓨터, 노트북, 휴대폰, 스마트 폰, 태블릿 PC, PDA, PMP가 해당될 수 있으며, 이외에도 현재 개발되어 상용화되었거나 향후 개발될 모든 사용자 장치를 포함할 수 있다.
얼굴 인식 서비스 장치(200)는 단말 장치(100)로부터 전송된 얼굴 영상 또는 촬영된 영상의 특징점 정보를 수신하여 사용자 및 얼굴의 표정을 인식하고, 인식된 표정 인식 결과를 단말 장치(100)로 제공하거나, 표정 인식 결과에 따라서 대응하는 기능을 실행하고, 이러한 기능 실행에 따른 서비스를 단말 장치(100)로 제공한다. 특히 얼굴 인식 서비스 장치(200)는 얼굴 표정 인식을 위하여, 촬영된 영상에서 얼굴을 정규화하여 얼굴 패턴을 추출하고, 얼굴 패턴에서 얼굴의 특징점을 추출하고, 추출된 특징점의 움직임을 추적하여 얼굴의 표정 변화를 인식함으로써 표정 변화에 따른 설정된 기능을 실행하고, 이에 대한 얼굴 인식 서비스를 제공한다.
컨텐츠 제공 장치(300)는 중계기(웹 게이트웨이)를 통해 단말 장치(100) 및 얼굴 인식 서비스 장치(200)와 연동하며, 얼굴 인식 서비스의 성능을 향상시키기 위해 얼굴 표정 인식을 위한 미리 설정된 표정 인식 정보를 관리하는 탬플릿 데이터베이스와, 표정 인식 후에 사전에 설정된 컨텐츠를 제공하기 위한 컨텐츠 데이터베이스와, 통계(statistics) 데이터베이스를 포함하여 구성할 수 있다. 여기서 사전에 설정된 컨텐츠는 음원 다운로드, 아바타 동작 알림, 전화 걸기, 이메일(E-mail), 멀티미디어 메시지(MMS: multi-media message service), 트위터(Twitter) 등을 포함할 수 있으며, 이외에도 표정 인식 결과를 적용하여 얼굴 인식 서비스를 제공할 수 있는 다양한 컨텐츠들이 포함될 수 있다.
한편, 상기 네트워크(10)는, 데이터 전송에 이용되는 네트워크라면 어떠한 종류라도 이용될 수 있으며, 예를 들면, 유무선 방식의 PAN(Personal Area Network), LAN(Local Area Network), 이동 통신망, Wi-Fi망 등 어떠한 종류의 네트워크라도 가능하다.
한편, 본 발명의 다른 실시 예에 있어서, 상기 얼굴 인식 서비스는 얼굴 인식 서비스 장치(200)의 개입 없이 단말 장치(100)의 동작만으로 이루어질 수 도 있다. 즉, 단말 장치(100)가 특징점 추출 및 얼굴 표정 인식 처리를 위한 프로그램을 구비하고, 상기 프로그램을 통해서 촬영한 영상에서 특징점 정보를 추출하고, 이를 기반으로 사용자의 얼굴 표정 변화를 인식한 후, 얼굴 표정 인식 결과에 따라서 대응하는 기능을 실행하여 관련 서비스를 제공받을 수 있다.
도 2는 본 발명의 일 실시 예에 따른 얼굴 인식 서비스 시스템에 있어서, 단말 장치의 구성을 나타낸 블럭도이다.
도 2를 참조하면, 단말 장치(100)는 촬영부(110), 통신부(120), 입력부(130), 제어부(140) 및 저장부(150)를 포함하여 구성할 수 있다.
촬영부(110)는 사용자 입력에 따라서 촬영 대상의 얼굴을 포함하는 동영상을 촬영한다. 상기 촬영부(110)는 단말 장치(100)에 내장될 수 도 있으며, 예를 들어, 카메라, 캠코더, 웹 캠 등과 같은 외부 촬영 장치가 단말 장치(100)와 연결되어 구현될 수도 있다.
통신부(120)는 유선 방식 및 무선 방식뿐만 아니라 다양한 통신 방식을 통해서 얼굴 인식 서비스 장치(200) 및 컨텐츠 제공 장치(300)와 데이터를 송수신하는 것으로서, 얼굴 인식 서비스 장치(200)로 촬영된 동영상 또는 추출된 특징점 정보를 전송하고, 얼굴 인식 서비스 장치(200)로부터 얼굴의 표정 인식 결과 및 표정 인식 결과 별로 대응되는 기능을 실행하여 제공되는 얼굴 인식 서비스를 제공받는다. 또한, 통신부(120)는 표정 인식 결과에 따라 미리 설정된 기능에 대한 컨텐츠를 컨텐츠 제공 장치(300)로부터 수신한다.
입력부(130)는 사용자의 조작에 따라서 사용자의 요청이나 정보에 해당하는 사용자 입력 신호를 발생한다. 본 발명에서 사용자 입력 신호는, 예를 들어, 동영상 촬영 입력 신호, 얼굴 인식 서비스 관련 입력 신호들 중 하나 이상을 포함할 수 있다. 이러한 입력부(130)는 현재 상용화되어 있거나 향후 상용화가 가능한 다양한 입력 수단으로 구현될 수 있으며, 예를 들면, 키보드, 마우스, 조이스틱, 터치 스크린, 터치 패드 등과 같은 일반적인 입력 장치뿐만 아니라, 사용자의 모션을 감지하여 특정 입력 신호를 발생하는 제스처 입력 수단을 포함할 수 있다.
제어부(140)는 단말 장치(100)의 전반적인 동작을 제어하는 것으로서, 본 발명에 따른 얼굴 인식 서비스를 위하여, 얼굴 인식부(141) 및 서비스 실행부(142) 중에서 하나 이상을 포함하여 구성될 수 있다.
얼굴 인식부(141)는 촬영된 영상에서 얼굴 영역을 인식하고, 인식된 얼굴 영역에서 얼굴 형상과 미리 설정된 탬플릿을 기반으로 특징점을 추출하고, 추출된 특징점의 움직임을 추적함으로써 얼굴의 표정 변화에 따른 표정 인식을 수행한다.
서비스 실행부(142)는 표정 인식 결과에 따른 대응되는 미리 설정된 기능을 실행하여 이에 대한 얼굴 인식 서비스를 사용자에게 제공한다. 이는 얼굴 인식 서비스 장치(200)로부터 표정 인식 결과 별로 대응하는 미리 설정된 기능 실행에 따른 얼굴 인식 서비스를 제공받고, 제공받은 얼굴 인식 서비스를 실행하여 사용자에게 제공함에 의해 이루어질 수 있다. 상기 서비스 실행부(142)는 상기 표정 인식 결과를 상기 얼굴 인식부(141)로부터 전달받거나, 통신부(120)를 통해서 얼굴 인식 서비스 장치(200)로부터 전송받을 수 있다.
저장부(150)는 얼굴 인식 서비스에 필요한 데이터 및 표정 인식 결과를 저장하는 것으로서, 촬영된 영상 정보, 얼굴 인식 정보, 특징점 추출 및 추적 정보(특징점 움직임 벡터) 및 표정 인식 결과 정보(표정 인식 변화값) 중 하나 이상을 저장한다. 이러한 저장부(150)는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리를 포함하는 개념으로 해석될 수 있다.
다음으로 본 발명의 실시 예에 따른 얼굴 인식 서비스 시스템에서 얼굴 인식 서비스 장치의 구성에 대해 첨부된 도면을 참조하여 설명하면 다음과 같다.
도 3은 본 발명의 다른 실시 예에 따른 얼굴 인식 서비스 시스템에서의 얼굴 인식 서비스 장치의 구성을 나타낸 블럭도이다.
도 3을 참조하면, 얼굴 인식 서비스 장치(200)는 통신부(210), 얼굴 인식부(220) 및 저장부(230)를 포함하여 구성할 수 있다.
통신부(210)는 네트워크(10)를 통해서 단말 장치(100) 및 컨텐츠 제공 장치(300)와 데이터를 송수신하기 위한 것으로서, 유선 방식 및 무선 방식뿐만 아니라 다양한 통신 방식을 통해서 데이터를 송수신할 수 있다. 더 구체적으로 통신부(210)는 단말 장치(100)로부터 촬영된 동영상을 수신하고, 수신된 동영상에서 얼굴의 표정 변화를 인식하고, 인식한 표정 인식 결과에 따라서 사전에 설정된 기능(컨텐츠) 실행에 따른 얼굴 인식 서비스를 단말 장치(100)로 제공한다. 또한, 통신부(210)는 컨텐츠 제공 장치(300)로부터 표정 인식 결과에 대응하는 사전에 설정된 기능에 대한 컨텐츠를 수신할 수 있다.
얼굴 인식부(220)는 통신부(210)를 통해 수신한 동영상에서 얼굴 영역을 추출하고, 추출된 얼굴 영역에서 특징점 정보를 추출한 후, 특징점 정보를 추적하여 얼굴의 표정 변화를 인식하는데, 더 구체적으로는, 아다브스타 방식(Adaboost Cascade)을 이용한 정규화를 통해서 얼굴 영역에서 특징점 정보를 추출하고, 추출된 특징점 정보의 변화를 추적하여 얼굴의 표정 변화를 인식한다. 이를 위해 얼굴 인식부(220)는 특징점 추출부(221) 및 표정 인식부(222)를 포함할 수 있다.
특징점 추출부(221)는 첨부된 도 4에 도시된 바와 같이, 얼굴 영역을 인식하는 얼굴 인식 코어 엔진 모듈 및 얼굴의 특징점을 검출하는 특징점 추출 모듈을 포함하며, 여기에 자바(Java)로 만들어진 프로그램에서 해당 플랫폼에서만 실행 가능한 네이티브 코드(native code)에 접근하기 위해 만들어진 응용 프로그램 인터페이스(API)(예를 들어, 자바 네이티브 인터페이스(JNI: Java Native Interface)) 및 개발 도구인 NDK(Native Development Kit)를 포함할 수 있다. 또한, 특징점 추출부(221)는 얼굴의 형상과 컨텐츠 제공 장치(300)에서 제공된 탬플릿 정보를 기반으로 주성분분석(PCA: Principal Component Analysis) 기법을 적용하여 특징점을 추출한다. 즉, 얼굴 형상과 탬플릿 정보를 비교함으로써 특징점을 추출한다. 더하여, 특징점 추출부(221)는 동영상 기반으로 표정의 변화를 인식하기 위해 옵티컬 플로우(Optical Flow)를 이용하여 특징점의 움직임을 추정한다. 즉, 동영상 촬영에는 얼굴의 위치 값이 변화므로 그 변화 값을 고려하여 표정인식에 적용할 수 있도록 특징점 추적 결과 정보를 표정 인식부(222)로 전송한다.
특징점 추출부(221)의 얼굴 인식 코어 엔진모듈은 이미지 정규화 모듈, 얼굴 인식 모듈, 수치 계산 라이브러리, 이미지 처리 라이브러리, 이미지 알고리즘 라이브러리를 포함할 수 있다. 여기서 이미지 정규화 모듈은 촬영된 영상에서 얼굴 영역을 기준으로 정규화 이미지를 생성하고, 얼굴 인식 모듈은 촬영된 영상에서 얼굴을 인식한다. 수치 계산 라이브러리는 얼굴 인식을 위한 수학적인 계산을 처리하는 라이브러리이며, 이미지 처리 라이브러리는 이미지 처리 및 영상 필터링을 위한 라이브러리이다.
표정 인식부(222)는 첨부된 도 5에 도시된 바와 같이, 얼굴 인식 코어 엔진부 및 표정 인식 모듈을 포함하며, 여기에 해당 플랫폼에서만 실행 가능한 네이티브 코드(native code)에 접근하기 위해 만들어진 응용 프로그램 인터페이스(예를 들어, JNI) 및 어플리케이션 개발자를 위한 개발 도구 NDK를 포함할 수 있다.
표정 인식부(222)의 얼굴 인식 코어 엔진모듈은 촬영된 영상에서 얼굴을 인식하고, 인식된 얼굴에서 특징점의 변화를 추적한다. 이를 위해 얼굴 인식 코어 엔진부는 옵티컬 플로워 라이브러리, 인식 라이브러리, Open CV(Open Computer vision) 라이브러리, 얼굴 인식 라이브러리, 특징점 추출 라이브러리를 포함할 수 있다. 여기서 옵티컬 플로워 라이브러리는 얼굴에서 특징점의 변화를 트래킹하기 위한 옵티컬 플로워를 구현한 모듈이고, 얼굴 인식 라이브러리는 얼굴인식/특징점추출/표정인식을 위한 라이브러리(PCA/SVM(Support Vector Machine)/HMM(Hidden Markov Model) 등)이며, Open CV 라이브러리는 인식하고자 하는 얼굴의 벡터와 고유벡터를 비교하여 얼굴을 인식하는 라이브러리로서, 연동 응용 프로그램 인터페이스(API)를 정의한다. 얼굴 인식 라이브러리는 입력 이미지 또는 영상에서 얼굴을 인식하고, 특징점 추출 라이브러리는 인식된 얼굴에서 특징점 정보를 추출한다. 여기서 얼굴 인식 코어 엔진부는 컨텐츠 제공장치(300)로부터 미리 설정된 탬플릿을 제공받아 이를 기반으로 PCA 기법을 적용하여 특징점 정보 추출할 수 있다.
표정 인식부(222)의 표정 인식 모듈은 얼굴 인식 코어 엔진모듈에서 특징점의 변화를 추적하여 얻은 특징점 변화값을 이용하여 얼굴 표정을 인식한다. 이때, 표정 인식 모듈은 특징점 움직임 벡터를 매개변수로 하여 AAM(Active Appearance Model)과 HMM(은닉 마르코프 모델)을 적용하여 표정 변화 값을 표현하고, 각각의 변화값 중간 값을 통계적으로 검출하여 표정인식의 인식률을 높일 수 있다.
저장부(230)는 얼굴 인식 서비스 제공에 필요한 데이터 및 표정 인식 결과를 저장하는 것으로서, 촬영된 영상 정보, 얼굴 인식 정보, 특징점 추출 및 추적 정보(특징점 움직임 벡터) 및 표정 인식 결과 정보(표정 인식 변화값) 중 하나 이상을 저장한다. 이러한 저장부(230)는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리를 포함한다.
상술한 바와 같이 구성된 얼굴 인식 서비스 장치(200) 및 컨텐츠 제공 장치(300)는 클라우드 컴퓨팅 기반으로 동작하는 하나 이상의 서버로 구현될 수 있다. 여기서, 클라우드 컴퓨팅이란 인터넷 기술을 활용하여 가상화된 IT 자원, 예를 들어, 하드웨어(서버, 스토리지, 네트워크 등), 소프트웨어(데이터베이스, 보안, 웹 서버 등), 서비스, 데이터 등을 온 디맨드(on demand) 방식으로 서비스하는 기술을 의미한다.
즉, 얼굴 인식 서비스 장치(200)는 얼굴 인식, 특징점 추출 및 추적, 표정 인식 및 얼굴 인식 서비스 제공에 필요한, 하드웨어, 소프트웨어, 서비스, 데이터 중에서 하나 이상을 포함하는 컴퓨팅 자원을 제공할 수 있다.
다음으로 본 발명에 의한 얼굴 인식 서비스 시스템에서 얼굴의 표정을 인식하여 얼굴 인식 서비스를 제공하기 위한 방법을 첨부된 도면을 참조하여 구체적으로 설명하기로 한다.
도 6은 본 발명의 실시 예에 따라 얼굴 인식 서비스 시스템에서 얼굴의 표정을 인식하여 얼굴 인식 서비스를 제공하는 과정을 나타낸 순서도이다.
도 6을 참조하면, 단말 장치(100)는 동영상 촬영을 통해 사용자의 얼굴을 포함하는 촬영 영상을 획득한다(S101). 이후, 단말 장치(100)는 얼굴 인식 서비스 장치(200)로부터 촬영 영상 요청 메시지를 수신하면(S102), 획득한 촬영 영상 정보를 포함한 촬영 영상 메시지를 얼굴 인식 서비스 장치(200)로 전송한다(S103).
얼굴 인식 서비스 장치(200)는 수신된 촬영 영상에서 얼굴 영역을 추출하고, 추출된 얼굴 영역을 정규화하여 얼굴을 인식한다(S104). 더 구체적으로는, 첨부된 도 8에 도시된 바와 같이, 약한 분류기 여러 개를 선형적으로 결합하여 하나의 강한 분류기로 만든 아다브스트 케스케이드(Adaboost Cascade) 방식을 이용하여 여러 단계를 거쳐 서브 윈도우(sub window)를 제거하면서 최종적으로 얼굴 패턴을 추출한다. 그리고, 얼굴 인식 서비스 장치(200)는 컨텐츠 제공 장치(300)로 얼굴 형상과 비교하기 위한 해당 템플릿 정보를 요청하는 템플릿 정보 요청 메시지를 전송한다(S105). 이에, 컨텐츠 제공 장치(300)는 수신된 템플릿 정보 요청 메시지에 포함된 정보를 기반으로 해당 템플릿 정보를 포함한 템플릿 정보 메시지를 얼굴 인식 서비스 장치(200)로 전송한다(S106).
얼굴 인식 서비스 장치(200)는 인식된 얼굴 형상과 수신한 템플릿 정보를 비교하여 특징점을 추출하고, 특징점의 움직임을 추적하여 얼굴의 표정 변화에 따른 표정을 인식한다(S107). 더 구체적으로 설명하면, 첨부된 도 9에 도시된 바와 같이, PCA 기법을 적용하여 얼굴 패턴에서의 얼굴 형상(a)에 수신된 탬플릿 정보를 매칭시켜 얼굴의 특징점(b)을 추출할 수 있다. 더하여, 동영상 기반으로 표정의 변화를 인식하기 위해 옵티컬 플로우를 이용하여 추출된 특징점의 움직임을 추적한다. 즉, 동영상 촬영에서는 얼굴의 위치 값이 변하므로 그 변화 값을 고려하여 표정인식에 적용되도록 하여야 한다. 그리고, 얼굴 인식 서비스 장치(200)는 특징점 움직임 추적 결과 즉, 특징점 움직임 벡터를 매개변수로 하여 AAM과 HMM(은닉 마르코프 모델)을 적용하여 표정 변화에 따른 표정을 인식한다. 예를 들어, 얼굴 인식 서비스 장치(200)는 변화 값을 표현하고, 각각의 변화값 중간 값을 통계적으로 검출하여 표정인식의 인식률을 높일 수 있다. 여기서, 더미(Dummy) 값으로 인식된 D값은 의미가 없는 값이며, 인근의 값으로 자동 유도하게 된다. 즉, 더미 값의 표현으로 통계적 인식률을 증대할 수 있다. 이러한 표정인식은 놀람, 보통, 즐거움, 화남 등으로 인식될 수 있다.
이후, 얼굴 인식 서비스 장치(200)는 단말 장치(100)로부터 표정 인식 결과 요청 메시지를 수신하면(S108), 표정 인식 결과 정보를 포함한 표정 인식 결과 메시지를 단말 장치(100)로 전송한다(S109).
이에 따라 단말 장치(100)는 표정 인식 결과에 대응하는 기능을 실행하고, 이에 따른 얼굴 인식 서비스를 실행함으로써 사용자에게 얼굴 인식 서비스를 제공할 수 있게 된다(S110).
이와 달리, 단말 장치(100)는 얼굴 인식 서비스 장치(200)에서 실행되는 기능에 따른 얼굴 인식 서비스를 제공받아 이를 실행할 수도 있다.
즉, 상기 단계(S107)에서 표정을 인식한 후, 얼굴 인식 서비스 장치(200)는 표정 인식 결과에 대응하는 기능을 실행하기 위해 기능에 대한 컨텐츠 정보 요청 즉, 표정 인식 결과 정보를 포함한 컨텐츠 정보 요청 메시지를 컨텐츠 제공 장치(300)로 전송한다(S111). 이에 따라 컨텐츠 제공 장치(300)는 컨텐츠 정보 요청 메시지에 포함된 표정 인식 결과 정보를 확인하여 대응되는 컨텐츠 정보를 컨텐츠 정보 메시지에 포함하여 얼굴 인식 서비스 장치(200)로 전송한다(S112).
그러면 얼굴 인식 서비스 장치(200)는 컨텐츠 제공 메시지를 수신하여(S112) 해당 컨텐츠에 대한 기능을 실행한다(S113). 예를 들어, 얼굴의 표정이 놀람 표정으로 인식된 경우, 놀람에 대응하는 컨텐츠, 예를 들어 놀람에 대한 문자나 형상을 표시한 MMS를 제공받아 MMS를 실행시킨다. 이때, 실행된 MMS에 새로운 내용을 추가하여 실행할 수 있다. 이에 따라 얼굴 인식 서비스 장치(200)는 이러한 실행되는 기능(예를 들어 MMS)을 얼굴 인식 서비스로 단말 장치(100)로 전송한다(S114).
그러면 단말 장치(100)에서는 수신된 얼굴 인식 서비스 메시지를 수신하여 사용자에게 대응하는 얼굴 인식 서비스를 제공한다(S115).
한편, 본 발명의 다른 실시 예에서는, 본 발명에 따른 얼굴 인식 서비스가 단말 장치(100)의 동작만으로 이루어질 수 있다.
도 7은 본 발명에 실시 예에 따라 단말 장치에서 얼굴의 표정을 인식하여 얼굴 인식 서비스를 제공하기 위한 방법을 나타낸 순서도이다.
도 7을 참조하면, 단말 장치(100)는 사용자 입력 신호에 따라서, 사용자의 얼굴을 포함하는 영상(또는 이미지)을 촬영한다(S205).
단말 장치(100)는 촬영된 영상에서 얼굴 영역을 정규화하고(S210), 정규화된 얼굴 영상에서 얼굴 패턴을 추출하여 얼굴을 인식한다(S215). 즉, 단말 장치(100)는 첨부된 도 8에 도시된 바와 같이, 약한 분류기 여러 개를 선형적으로 결합하여 하나의 강한 분류기로 만든 아다브스트 케스케이드(Adaboost Cascade) 방식을 이용하여 여러 단계를 거쳐 서브 윈도우(sub window)를 제거하면서 최종적으로 얼굴 패턴을 추출한다.
이후, 단말 장치(100)는 추출된 얼굴 패턴에서 특징점을 추출한다(S220). 이를 위해 단말 장치(100)는 컨텐츠 제공 장치(300)로부터 미리 설정된 탬플릿 정보를 수신하고, 첨부된 도 9에 도시된 바와 같이, PCA 기법을 적용하여 얼굴 패턴에서의 얼굴 형상(a)에 수신된 탬플릿 정보를 매칭시켜 얼굴의 특징점(b)을 추출할 수 있다.
그런 다음 단말 장치(100)는 동영상 기반으로 표정의 변화를 인식하기 위해 옵티컬 플로우를 이용하여 추출된 특징점의 움직임을 추적한다(S225). 즉, 동영상 촬영에서는 얼굴의 위치 값이 변하므로 그 변화 값을 고려하여 표정인식에 적용되도록 하여야 한다.
그리고 단말 장치(100)는 특징점 움직임 추적 결과 즉, 특징점 움직임 벡터를 매개변수로 하여 AAM과 HMM(은닉 마르코프 모델)을 적용하여 표정 변화에 따른 표정을 인식한다(S230). 이때 단말 장치(100)는 특징점의 변화 값을 표현하고, 각각의 변화값 중간 값을 통계적으로 검출하여 표정인식의 인식률을 높일 수 있다. 여기서, 더미(Dummy) 값으로 인식된 D값은 의미가 없는 값이며, 인근의 값으로 자동 유도하게 된다. 즉, 더미 값의 표현으로 통계적 인식률을 증대할 수 있다. 이러한 표정인식은 놀람, 보통, 즐거움, 화남 등으로 인식될 수 있다.
그런 다음 단말 장치(100)는 표정 인식 결과를 저장하고, 표정 인식 결과에 대응하여 미리 설정된 기능을 추출하여 실행한다(S235, S240). 이때, 컨텐츠 제공 장치(300)로부터 표정 인식 결과를 전송하여, 대응하는 기능을 수신하거나, 얼굴 인식 서비스 장치(200)로 표정 인식 결과를 전송하여, 표정 인식 결과에 대응하는 서비스를 제공받을 수 있다.
상술한 바와 같은 방법을 통해 단말 장치(100)는 촬영된 영상에서 얼굴을 인식하고, 인식된 얼굴의 특징점을 검출하여 얼굴 변화에 따른 표정 인식을 수행할 수 있으며, 이러한 표정 인식 결과에 따라 대응하는 기능을 실행함으로써 이에 대한 얼굴 인식 서비스를 사용자에게 제공할 수 있다.
상술한 과정에 있어서, 단계(S210~S230) 중 하나 이상의 단계를 단말 장치(100)에서 직접 실행하지 않고, 얼굴 인식 서비스 장치(200)를 통해 실행할 수 있다. 예를 들면, 단말 장치(100)가 얼굴 영역을 인식하여 특징점의 추출하여 얼굴 인식 서비스 장치(200)로 전송한 후, 얼굴 인식 서비스 장치(200)로부터 해당 특징점 정보의 추적에 기초한 표정 인식 결과를 제공받을 수 있다.본 발명에 따른 얼굴 인식 서비스 방법은 다양한 컴퓨터 수단을 통하여 판독 가능한 소프트웨어 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시 예에 대하여 개시하였으나, 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.
본 발명은, 얼굴 인식을 위한 기술에 적용할 수 있으며, 동영상 촬영을 통해 획득한 영상에서 얼굴을 인식하고, 인식된 얼굴에서 특징점을 추출하여 특징점 움직임을 추적함으로써 얼굴 표정 변화에 따른 표정을 인식할 수 있으며, 이로 인해 표정 인식 결과를 통해 다양한 컨텐츠에 적용하여 얼굴 인식 관련된 다양한 서비스에 확대하여 제공할 수 있는 효과가 있다.
또한, 본 발명은 표정 인식 결과를 적용하여 아바타 메시징, 멀티미디어 MMS 서비스 등 다양한 응용 서비스가 가능하며, 이를 통해 서비스의 경쟁력 및 차별화를 도모할 수 있다.
100: 단말 장치 110: 촬영부 120: 통신부
130: 입력부 140: 제어부 150: 저장부
141: 얼굴 인식부 142: 서비스 실행부 200: 얼굴 인식 서비스 장치
210: 통신부 220: 얼굴 인식부 230: 저장부
221: 특징점 추출부 222: 표정 인식부 300: 컨텐츠 제공 장치
310: 중계기
130: 입력부 140: 제어부 150: 저장부
141: 얼굴 인식부 142: 서비스 실행부 200: 얼굴 인식 서비스 장치
210: 통신부 220: 얼굴 인식부 230: 저장부
221: 특징점 추출부 222: 표정 인식부 300: 컨텐츠 제공 장치
310: 중계기
Claims (20)
- 동영상 촬영을 통해 촬영 영상을 획득하여 얼굴 인식 서비스 장치로 전송하고, 상기 얼굴 인식 서비스 장치로부터 촬영 영상에서 얻은 표정 인식 결과에 대응하는 기능 실행에 따른 얼굴 인식 서비스를 제공받아 사용자에게 출력하는 단말 장치; 및
상기 촬영 영상에서 얼굴 영역을 추출하여 정규화하고, 정규화된 얼굴 영역에서 얼굴의 특징점을 추출하고, 추출된 특징점을 추적하여 얼굴의 표정 변화 값을 확인하고, 상기 표정 변화 값에 대한 중간 값을 검출하여 얼굴 표정 변화에 따른 표정을 인식하고, 표정 인식 결과에 대응하는 기능을 실행하여, 상기 기능 실행에 따른 얼굴 인식 서비스를 상기 단말 장치로 제공하는 얼굴 인식 서비스 장치;
를 포함하며,
상기 얼굴 인식 서비스 장치는
상기 표정 변화 값에 대한 중간 값 검출 시, 더미 값으로 확인되면, 인근의 다른 값으로 유도하여 얼굴 표정 변화에 따른 표정을 인식하는 것을 특징으로 하는 얼굴 인식 서비스 시스템. - 제1항에 있어서,
상기 특징점 추출에 이용되는 미리 설정된 얼굴 인식 정보에 대한 탬플릿, 및 얼굴 인식 서비스 실행을 위한 컨텐츠를 저장하는 컨텐츠 제공 장치;
를 더 포함하는 것을 특징으로 하는 얼굴 인식 서비스 시스템. - 단말 장치와 데이터를 송수신하면서, 단말 장치로부터 동영상으로 촬영된 촬영 영상을 수신하고, 상기 단말 장치로 얼굴 인식 서비스 데이터를 전송하는 통신부; 및
상기 촬영 영상에서 얼굴 영역을 정규화하여 얼굴을 인식하고, 인식된 얼굴 영역에서 특징점을 추출하고, 추출된 특징점을 추적하여 얼굴의 표정 변화 값을 확인하고, 상기 표정 변화 값에 대한 중간 값을 검출하여 얼굴 표정 변화에 따른 표정을 인식하고, 표정 인식 결과에 대응하는 기능 실행에 따른 얼굴 인식 서비스를 단말 장치로 제공하는 얼굴 인식부;
를 포함하며,
상기 얼굴 인식부는
상기 표정 변화 값에 대한 중간 값 검출 시, 더미 값으로 확인되면, 인근의 다른 값으로 유도하여 얼굴 표정 변화에 따른 표정을 인식하는 것을 특징으로 하는 얼굴 인식 서비스 장치. - 제3항에 있어서,
상기 얼굴 인식 서비스의 제공에 필요한 데이터 및 표정 인식 결과를 저장하는 저장부;
를 더 포함하는 것을 특징으로 하는 얼굴 인식 서비스 장치. - 제3항에 있어서, 상기 얼굴 인식부는
상기 촬영 영상에서 얼굴 영역을 기준으로 정규화 이미지를 생성하고, 생성된 정규화 이미지에서 얼굴 패턴을 추출하여 추출된 얼굴 패턴에서 특징점을 추출하는 특징점 추출부; 및
상기 얼굴 패턴에서 추출된 특징점을 추적하여 얼굴 표정 변화에 따른 표정을 인식하는 표정 인식부;
를 포함하는 것을 특징으로 하는 얼굴 인식 서비스 장치. - 제5항에 있어서, 상기 특징점 추출부는
상기 촬영 영상에서 얼굴 영역을 정규화하고, 얼굴을 인식하고, 얼굴 인식을 위한 수학적 계산 및 영상을 처리하는 라이브러리 및 알고리즘을 구비한 얼굴 인식 코어 엔진 모듈; 및
상기 얼굴 패턴에서 특징점을 추출하는 특징점 추출 모듈을 포함하는 것을 특징으로 하는 얼굴 인식 서비스 장치. - 제5항에 있어서, 상기 표정 인식부는
인식 라이브러리, 얼굴 인식 라이브러리, 특징점 추출 라이브러리 및 응용 프로그램 인터페이스를 정의한 라이브러리 중 하나 이상을 이용하여 상기 얼굴 패턴에서 추출된 특징점의 움직임을 추적하여 특징점 움직임 벡터를 구하는 얼굴 인식 코어 엔진부; 및
상기 특징점 움직임 벡터를 이용하여 얼굴의 변화에 따른 표정을 인식하는 표정 인식 모듈을 포함하는 것을 특징으로 하는 얼굴 인식 서비스 장치. - 청구항 8은(는) 설정등록료 납부시 포기되었습니다.제5항에 있어서, 상기 표정 인식부는
상기 추출된 특징점을 추적하여 획득한 특징점 움직임 벡터를 매개 변수로 하여 은닉 마르코프 모델을 적용하여 얼굴 표정 변화에 따른 표정 변화값들을 표현하고, 각 표정 변화값 중 중간 값을 통계적으로 검출함을 특징으로 하는 얼굴 인식 서비스 장치. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 동영상 촬영 영상을 수신하는 단계;
상기 촬영 영상에서 얼굴 영역을 추출하여 얼굴을 인식하는 단계;
인식된 얼굴 영역에서 특징점을 추출하는 단계;
상기 추출된 특징점을 추적하여 얼굴의 표정 변화 값을 확인하고, 상기 표정 변화 값에 대한 중간 값을 검출하여 얼굴 표정 변화에 따른 표정을 인식하는 단계;
표정 인식을 통해 얻은 표정 인식 결과에 대응하는 기능을 실행하는 단계; 및
상기 기능 실행에 따른 얼굴 인식 서비스를 단말 장치로 제공하는 단계를 포함하며,
상기 얼굴 표정 변화에 따른 표정을 인식하는 단계에서,
상기 표정 변화 값에 대한 중간 값 검출 시, 더미 값으로 확인되면, 인근의 다른 값으로 유도하여 얼굴 표정 변화에 따른 표정을 인식하는 것을 특징으로 하는 얼굴 인식 장치에서의 얼굴 인식 서비스 방법. - 제14항에 있어서, 상기 얼굴을 인식하는 단계는
상기 영상에서 얼굴 영역을 추출하는 단계;
상기 추출된 얼굴 영역에서 정규화 이미지를 생성하는 단계; 및
생성된 정규화 이미지에서 얼굴을 패턴을 추출하여 얼굴을 인식하는 단계;
를 포함하는 것을 특징으로 하는 얼굴 인식 장치에서의 얼굴 인식 서비스 방법. - 청구항 16은(는) 설정등록료 납부시 포기되었습니다.제15항에 있어서, 상기 인식된 얼굴 영역에서 특징점을 추출하는 단계는
컨텐츠 제공 장치로부터 미리 설정된 얼굴 인식 정보에 대한 탬플릿을 수신하는 단계;
수신된 탬플릿을 상기 얼굴 영역에서 추출된 얼굴 패턴에 매칭하는 단계; 및
상기 매칭 결과에 따라서 얼굴 영역에서 특징점을 추출하는 단계;
를 포함하는 것을 특징으로 하는 얼굴 인식 장치에서의 얼굴 인식 서비스 방법. - 청구항 17은(는) 설정등록료 납부시 포기되었습니다.제14항에 있어서,
상기 표정을 인식하는 단계는
상기 추출된 특징점의 움직임에 따른 변화를 추적하여 특징점 움직임 벡터를 구하는 단계;
상기 특징점 움직임 벡터를 매개변수로 하여 얼굴의 표정 변화 값들을 확인하는 단계; 및
상기 표정 변화 값에 대한 중간 값을 검출하여 상기 검출된 중간 값에 따라 표정을 인식하는 단계;
를 포함하는 것을 특징으로 하는 얼굴 인식 장치에서의 얼굴 인식 서비스 방법. - 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110014709A KR101748372B1 (ko) | 2011-02-18 | 2011-02-18 | 얼굴 인식 서비스 시스템, 그 시스템에서의 얼굴 인식 서비스 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110014709A KR101748372B1 (ko) | 2011-02-18 | 2011-02-18 | 얼굴 인식 서비스 시스템, 그 시스템에서의 얼굴 인식 서비스 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120095193A KR20120095193A (ko) | 2012-08-28 |
| KR101748372B1 true KR101748372B1 (ko) | 2017-06-19 |
Family
ID=46885817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110014709A KR101748372B1 (ko) | 2011-02-18 | 2011-02-18 | 얼굴 인식 서비스 시스템, 그 시스템에서의 얼굴 인식 서비스 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101748372B1 (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101443031B1 (ko) | 2013-04-04 | 2014-09-23 | 주식회사 슈프리마 | 얼굴 인식 서비스 제공 방법 |
| KR102065362B1 (ko) | 2013-05-14 | 2020-01-13 | 삼성전자주식회사 | 연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법 |
| KR101484190B1 (ko) * | 2014-04-01 | 2015-01-20 | 한국과학기술원 | 신체 반응에 의한 동영상 콘텐츠 감상 지원 시스템 및 방법과 그 방법을 구현하기 위한 컴퓨터 프로그램이 기록된 기록매체 |
| KR102349059B1 (ko) | 2014-11-07 | 2022-01-10 | 삼성전자주식회사 | 영상의 관심영역으로부터 랜드마크를 결정하는 장치 및 방법 |
| KR102518244B1 (ko) * | 2016-01-04 | 2023-04-06 | 한국전자통신연구원 | 얼굴 표정을 이용한 조명 제어 장치 및 그 방법 |
| KR20180077680A (ko) * | 2016-12-29 | 2018-07-09 | 재단법인대구경북과학기술원 | 얼굴 표정 인식 기반의 서비스 제공 장치 및 그 방법 |
-
2011
- 2011-02-18 KR KR1020110014709A patent/KR101748372B1/ko active IP Right Grant
Non-Patent Citations (3)
| Title |
|---|
| 광류와 표정 HMM에 의한 동영상으로부터의 실시간 얼굴표정 인식, 한국인터넷정보학회 |
| 모바일 기기에서 애니메이션 캐릭터의 얼굴표현을 이용한 인터랙티브 아바타에 관한 연구, 한국콘텐츠학회 |
| 표정별 가버 웨이블릿 주성분특징을 이용한 실시간 표정 인식 시스템, 한국지능시스템학회 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20120095193A (ko) | 2012-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6732317B2 (ja) | 顔活動検出方法および装置、ならびに電子デバイス | |
| US10331942B2 (en) | Face liveness detection | |
| US11630974B2 (en) | Prioritized device actions triggered by device scan data | |
| US9436883B2 (en) | Collaborative text detection and recognition | |
| De Marsico et al. | Firme: Face and iris recognition for mobile engagement | |
| JP6694829B2 (ja) | ルールに基づくビデオ重要度解析 | |
| US8879803B2 (en) | Method, apparatus, and computer program product for image clustering | |
| US20190102531A1 (en) | Identity authentication method and apparatus | |
| CN107077551B (zh) | 基于传感器输入的可缩放验证过程选择 | |
| US9390340B2 (en) | Image-based character recognition | |
| KR101748372B1 (ko) | 얼굴 인식 서비스 시스템, 그 시스템에서의 얼굴 인식 서비스 장치 및 방법 | |
| WO2017088727A1 (zh) | 一种图像处理方法和装置 | |
| WO2014028286A1 (en) | Method and apparatus for facial recognition | |
| Smith-Creasey et al. | Continuous face authentication scheme for mobile devices with tracking and liveness detection | |
| CN107220614B (zh) | 图像识别方法、装置及计算机可读存储介质 | |
| CN109214178B (zh) | App应用恶意行为检测方法及装置 | |
| CN111898561B (zh) | 一种人脸认证方法、装置、设备及介质 | |
| Du et al. | Patronus: A system for privacy-preserving cloud video surveillance | |
| US20220130019A1 (en) | Electronic device and method for processing image by same | |
| CN113194281A (zh) | 视频解析方法、装置、计算机设备和存储介质 | |
| CN109684927A (zh) | 活体检测方法、装置、计算机可读存储介质和电子设备 | |
| Abate et al. | Smartphone enabled person authentication based on ear biometrics and arm gesture | |
| CN112381091A (zh) | 视频内容识别方法、装置、电子设备及存储介质 | |
| Mukherjee et al. | Energy efficient face recognition in mobile-fog environment | |
| CN111753266A (zh) | 用户认证方法、多媒体内容的推送方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |