KR20210060126A - 표정 인식 네트워크 시스템 및 이를 이용한 표정 인식 방법 - Google Patents
표정 인식 네트워크 시스템 및 이를 이용한 표정 인식 방법 Download PDFInfo
- Publication number
- KR20210060126A KR20210060126A KR1020190147775A KR20190147775A KR20210060126A KR 20210060126 A KR20210060126 A KR 20210060126A KR 1020190147775 A KR1020190147775 A KR 1020190147775A KR 20190147775 A KR20190147775 A KR 20190147775A KR 20210060126 A KR20210060126 A KR 20210060126A
- Authority
- KR
- South Korea
- Prior art keywords
- sensor data
- correction
- expression recognition
- facial expression
- user
- Prior art date
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims description 18
- 238000013528 artificial neural network Methods 0.000 title 1
- 238000012937 correction Methods 0.000 claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000013135 deep learning Methods 0.000 claims abstract description 7
- 230000014509 gene expression Effects 0.000 claims description 28
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 abstract description 5
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G06K9/00221—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 사용자의 얼굴로부터 복수 개의 센서 데이터를 입력받는 센서 데이터 입력부, 상기 입력받은 복수 개의 센서 데이터를 변형시켜 각각의 보정 영상을 생성하는 보정 영상 생성부, 상기 생성된 각각의 보정 영상을 딥러닝(Deep Learning)에 기반하여 분류하는 데이터 분류부, 상기 분류에 기초하여 상기 사용자의 얼굴의 표정을 검출하는 표정 검출부를 포함하여, 사용자 얼굴 데이터를 처리하여 표정을 인식할 수 있는 효과를 가진다.
Description
본 발명은 표정 인식에 관한 것으로, 보다 상세하게는 표정 인식 기능을 위한 영상 처리 네트워크에 관한 표정 인식 네트워크 시스템 및 이를 이용한 표정 인식 방법에 관한 것이다.
현재 시판되는 웨어러블(Wearable) 장치나, VR HMD 중에서 사용자의 감정을 인식하는 기능을 가진 HMD는 없는 것으로 판단된다. 그 이유는 웨어러블 장치나 VR HMD 등을 통해 사용자의 영상을 취득할 경우, 제한된 카메라-피사체 거리로 인하여 표정 인식이 어렵기 때문이다. 이에 이러한 한계점을 보완한 표정 인식 기술을 개발할 필요성이 있다.
이에 본 발명은 상기와 같은 제반 사항을 고려하여 제안된 것으로, 착용형 헤드셋 장치의 내/외부에 장착된 카메라를 통해 얻은 사용자 얼굴 데이터를 처리하여 표정을 인식하는 것을 목적으로 한다.
또한, 본 발명은 데이터 보정 네트워크 및 표정 인식을 수행하는 데이터 분류 네트워크를 통해 표정 인식의 정확도를 향상시키는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 표정 인식 네트워크 시스템은 사용자의 얼굴로부터 복수 개의 센서 데이터를 입력받는 센서 데이터 입력부, 상기 입력받은 복수 개의 센서 데이터를 변형시켜 각각의 보정 영상을 생성하는 보정 영상 생성부, 상기 생성된 각각의 보정 영상을 딥러닝(Deep Learning)에 기반하여 분류하는 데이터 분류부, 상기 분류에 기초하여 상기 사용자의 얼굴의 표정을 검출하는 표정 검출부를 포함할 수 있다.
이 때 상기 보정 영상 생성부는 상기 입력받은 복수 개의 센서 데이터를 Barrel distortion, Rotation, Affine transform 중 적어도 하나 이상의 보정 방법을 이용하여 보정 영상을 생성할 수 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 기술적 사상에 의한 표정 인식 네트워크를 이용한 표정 인식 방법은 센서 데이터 입력부에서 사용자의 얼굴로부터 복수 개의 센서 데이터를 입력받는 센서 데이터 입력단계, 보정 영상 생성부에서 상기 입력받은 복수 개의 센서 데이터를 변형시켜 각각의 보정 영상을 생성하는 보정 영상 생성단계, 데이터 분류부에서 상기 생성된 각각의 보정 영상을 딥러닝(Deep Learning)에 기반하여 분류하는 데이터 분류단계, 표정 검출부에서 상기 분류에 기초하여 상기 사용자의 얼굴의 표정을 검출하는 표정 검출단계를 포함할 수 있다.
이 때 상기 보정 영상 생성단계는 상기 입력받은 복수 개의 센서 데이터를 Barrel distortion, Rotation, Affine transform 중 적어도 하나 이상의 보정 방법을 이용하여 보정 영상을 생성할 수 있다.
본 발명에 의한 표정 인식 네트워크 시스템 및 이를 이용한 표정 인식 방법은,
첫째, 착용형 헤드셋 장치의 내/외부에 장착된 카메라를 통해 얻은 사용자 얼굴 데이터를 처리하여 표정을 인식할 수 있는 효과를 가진다.
둘째, 데이터 보정 네트워크 및 표정 인식을 수행하는 데이터 분류 네트워크를 통해 표정 인식의 정확도를 향상시킬 수 있는 효과를 가진다.
도 1은 본 발명의 실시예에 따른 표정 인식 네트워크 시스템을 나타낸 구성도.
도 2는 본 발명의 실시예에 따른 표정 인식 네트워크 시스템을 이용한 표정 인식 방법을 나타낸 순서도.
도 2는 본 발명의 실시예에 따른 표정 인식 네트워크 시스템을 이용한 표정 인식 방법을 나타낸 순서도.
첨부한 도면을 참조하여 본 발명의 실시예들에 의한 표정 인식 네트워크 시스템 및 이를 이용한 표정 인식 방법에 대하여 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하거나, 개략적인 구성을 이해하기 위하여 실제보다 축소하여 도시한 것이다.
또한, 제1 및 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 한편, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 실시예에 따른 표정 인식 네트워크 시스템을 나타낸 구성도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 표정 인식 네트워크 시스템은 센서 데이터 입력부(100), 보정 영상 생성부(200), 데이터 분류부(300), 표정 검출부(400)를 포함할 수 있다.
센서 데이터 입력부(100)는 사용자의 얼굴로부터 복수 개의 센서 데이터를 입력받을 수 있다.
보정 영상 생성부(200)는 상기 입력받은 복수 개의 센서 데이터를 변형시켜 각각의 보정 영상을 생성할 수 있다. 이 때 상기 보정 영상 생성부(200)는 상기 입력받은 복수 개의 센서 데이터를 Barrel distortion, Rotation, Affine transform 중 적어도 하나 이상의 보정 방법을 이용하여 보정 영상을 생성할 수 있다. 이는 표정
데이터 분류부(300)는 상기 생성된 각각의 보정 영상을 딥러닝(Deep Learning)에 기반하여 분류할 수 있다.
표정 검출부(400)는 상기 분류에 기초하여 상기 사용자의 얼굴의 표정을 검출할 수 있다.
도 2는 본 발명의 실시예에 따른 표정 인식 네트워크 시스템을 이용한 표정 인식 방법을 나타낸 순서도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 표정 인식 네트워크 시스템을 이용한 표정 인식 방법은 센서 데이터 입력단계(S100), 보정 영상 생성단계(S200), 데이터 분류단계(S300), 표정 검출단계(S400)를 포함할 수 있다.
센서 데이터 입력부(100)에서 사용자의 얼굴로부터 복수 개의 센서 데이터를 입력받을 수 있다.(S100)
보정 영상 생성부(200)에서 상기 입력받은 복수 개의 센서 데이터를 변형시켜 각각의 보정 영상을 생성할 수 있다.(S200) 이 때 상기 보정 영상 생성단계(S200)는 상기 입력받은 복수 개의 센서 데이터를 Barrel distortion, Rotation, Affine transform 중 적어도 하나 이상의 보정 방법을 이용하여 보정 영상을 생성할 수 있다.
데이터 분류부(300)에서 상기 생성된 각각의 보정 영상을 딥러닝(Deep Learning)에 기반하여 분류할 수 있다.(S300)
표정 검출부(400)에서 상기 분류에 기초하여 상기 사용자의 얼굴의 표정을 검출할 수 있다.(S400)
보다 상세하게, 본 발명의 실시예에 따른 표정 인식 네트워크 시스템 및 이를 이용한 표정 인식 방법은 착용형 헤드셋 장치의 형태로 구현할 수 있다. 착용형 헤드셋 장치의 내/외부에 장착된 카메라를 통해 얻은 사용자 얼굴 데이터를 처리하여 표정을 인식하기 위한 네트워크로 구현하는 것이라 할 수 있다.
본 발명은 임의의 센서로부터 입력된 얼굴 영상의 표정을 구별할 수 있으며, 크게 보정 영상 생성부(200)에 해당하는 영상 보정 네트워크와 데이터 분류부(300)에 해당하는 표정 분류 네트워크가 주요 구성요소라 할 수 있다.
이 때 영상 보정 네트워크는 착용형 헤드셋 장치에 설치되는 카메라에 생길 수 있는 왜곡(Barrel distortion, Rotation, Affine transform 등)의 보정에 필요한 파라미터를 학습에 사용될 파라미터로 설정할 수 있다.
그리고 학습 파라미터를 이용하여 입력된 원본 영상을 Transform하여 보정 영상을 만드는 네트워크를 설계할 수 있다. 보정 영상은 분류기 네트워크의 입력으로 사용할 수 있다.
전체 네트워크가 학습되면서 전체 네트워크의 표정 분류 성능이 향상되는 방향으로 센서 데이터 보정 네트워크의 보정 파라미터들이 학습될 수 있다.
이상에서 본 발명의 바람직한 실시예를 설명하였으나, 본 발명은 다양한 변화와 변경 및 균등물을 사용할 수 있다. 본 발명은 상기 실시예를 적절히 변형하여 동일하게 응용할 수 있음이 명확하다. 따라서 상기 기재 내용은 하기 특허청구범위의 한계에 의해 정해지는 본 발명의 범위를 한정하는 것이 아니다.
100 : 센서 데이터 입력부
200 : 보정 영상 생성부
300 : 데이터 분류부 400 : 표정 검출부
300 : 데이터 분류부 400 : 표정 검출부
Claims (4)
- 사용자의 얼굴로부터 복수 개의 센서 데이터를 입력받는 센서 데이터 입력부;
상기 입력받은 복수 개의 센서 데이터를 변형시켜 각각의 보정 영상을 생성하는 보정 영상 생성부;
상기 생성된 각각의 보정 영상을 딥러닝(Deep Learning)에 기반하여 분류하는 데이터 분류부; 및
상기 분류에 기초하여 상기 사용자의 얼굴의 표정을 검출하는 표정 검출부;를 포함하는 표정 인식 네트워크 시스템. - 제 1 항에 있어서, 상기 보정 영상 생성부는,
상기 입력받은 복수 개의 센서 데이터를 Barrel distortion, Rotation, Affine transform 중 적어도 하나 이상의 보정 방법을 이용하여 보정 영상을 생성하는 표정 인식 네트워크 시스템. - 센서 데이터 입력부에서 사용자의 얼굴로부터 복수 개의 센서 데이터를 입력받는 센서 데이터 입력단계;
보정 영상 생성부에서 상기 입력받은 복수 개의 센서 데이터를 변형시켜 각각의 보정 영상을 생성하는 보정 영상 생성단계;
데이터 분류부에서 상기 생성된 각각의 보정 영상을 딥러닝(Deep Learning)에 기반하여 분류하는 데이터 분류단계; 및
표정 검출부에서 상기 분류에 기초하여 상기 사용자의 얼굴의 표정을 검출하는 표정 검출단계;를 포함하는 표정 인식 방법. - 제 3 항에 있어서, 상기 보정 영상 생성단계는,
상기 입력받은 복수 개의 센서 데이터를 Barrel distortion, Rotation, Affine transform 중 적어도 하나 이상의 보정 방법을 이용하여 보정 영상을 생성하는 표정 인식 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190147775A KR20210060126A (ko) | 2019-11-18 | 2019-11-18 | 표정 인식 네트워크 시스템 및 이를 이용한 표정 인식 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190147775A KR20210060126A (ko) | 2019-11-18 | 2019-11-18 | 표정 인식 네트워크 시스템 및 이를 이용한 표정 인식 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210060126A true KR20210060126A (ko) | 2021-05-26 |
Family
ID=76137588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190147775A KR20210060126A (ko) | 2019-11-18 | 2019-11-18 | 표정 인식 네트워크 시스템 및 이를 이용한 표정 인식 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20210060126A (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2962549B2 (ja) | 1997-03-11 | 1999-10-12 | 株式会社エイ・ティ・アール知能映像通信研究所 | 顔動画像からの表情認識方法 |
-
2019
- 2019-11-18 KR KR1020190147775A patent/KR20210060126A/ko unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2962549B2 (ja) | 1997-03-11 | 1999-10-12 | 株式会社エイ・ティ・アール知能映像通信研究所 | 顔動画像からの表情認識方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10699102B2 (en) | Image identification apparatus and image identification method | |
| JP5755012B2 (ja) | 情報処理装置、その処理方法、プログラム及び撮像装置 | |
| KR101179497B1 (ko) | 얼굴 검출 방법 및 장치 | |
| US7929771B2 (en) | Apparatus and method for detecting a face | |
| US10713475B2 (en) | Face detection, pose estimation, and distance from a camera estimation using a single network | |
| US10726573B2 (en) | Object detection method and system based on machine learning | |
| US20190370529A1 (en) | Robust face detection | |
| US20120155718A1 (en) | Face recognition apparatus and method | |
| CN111598065B (zh) | 深度图像获取方法及活体识别方法、设备、电路和介质 | |
| US10445564B2 (en) | Method and device for recognizing facial expressions | |
| JP2007140823A (ja) | 顔照合装置、顔照合方法及びプログラム | |
| US9349071B2 (en) | Device for detecting pupil taking account of illuminance and method thereof | |
| CN111552984A (zh) | 显示信息的加密方法、装置、设备及存储介质 | |
| KR100899804B1 (ko) | 2차원 정준상관 분석법을 이용한 얼굴 인식 방법 | |
| KR20110054886A (ko) | 조명변화에 견고한 얼굴 표정 인식방법 | |
| EP2998928B1 (en) | Apparatus and method for extracting high watermark image from continuously photographed images | |
| US20220172505A1 (en) | Biometrics authentication device and biometrics authentication method for authenticating a person with reduced computational complexity | |
| KR20210060126A (ko) | 표정 인식 네트워크 시스템 및 이를 이용한 표정 인식 방법 | |
| JP2021103538A (ja) | 情報処理装置、情報処理方法、および、情報処理プログラム | |
| KR102212125B1 (ko) | 조건부 적대적 생성 신경망을 이용하는 홍채 인식 장치 및 방법 | |
| KR102101481B1 (ko) | 인공지능 기반의 휴대용 보안영상 학습장치 및 방법 | |
| CN112819040A (zh) | 基于权值生成机制的用于水泥加工的智能控制方法 | |
| CN111243159A (zh) | 伪造证件的识别方法、装置及电子设备 | |
| KR101149603B1 (ko) | 표정 인식 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 | |
| JP6763408B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム |