KR102435556B1 - 표현대상을 이용한 감정인식장치 및 그 동작방법 - Google Patents
표현대상을 이용한 감정인식장치 및 그 동작방법 Download PDFInfo
- Publication number
- KR102435556B1 KR102435556B1 KR1020210063702A KR20210063702A KR102435556B1 KR 102435556 B1 KR102435556 B1 KR 102435556B1 KR 1020210063702 A KR1020210063702 A KR 1020210063702A KR 20210063702 A KR20210063702 A KR 20210063702A KR 102435556 B1 KR102435556 B1 KR 102435556B1
- Authority
- KR
- South Korea
- Prior art keywords
- emotion
- user
- expression
- expression target
- information
- Prior art date
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 178
- 230000014509 gene expression Effects 0.000 title claims abstract description 133
- 238000011017 operating method Methods 0.000 title 1
- 230000008909 emotion recognition Effects 0.000 claims abstract description 82
- 230000002996 emotional effect Effects 0.000 claims description 49
- 238000001514 detection method Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 description 12
- 238000013135 deep learning Methods 0.000 description 11
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000001939 inductive effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 206010011469 Crying Diseases 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 230000016571 aggressive behavior Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 206010001488 Aggression Diseases 0.000 description 1
- 208000020706 Autistic disease Diseases 0.000 description 1
- 206010063659 Aversion Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 208000012761 aggressive behavior Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000009223 counseling Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H3/00—Dolls
- A63H3/003—Dolls specially adapted for a particular function not connected with dolls
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H3/00—Dolls
- A63H3/36—Details; Accessories
- A63H3/365—Details; Accessories allowing a choice of facial features, e.g. to change the facial expression
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H3/00—Dolls
- A63H3/36—Details; Accessories
- A63H3/38—Dolls' eyes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H3/00—Dolls
- A63H3/36—Details; Accessories
- A63H3/48—Mounting of parts within dolls, e.g. automatic eyes or parts for animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Educational Administration (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Educational Technology (AREA)
- Artificial Intelligence (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 사용자의 조작을 통하여 감정을 표현하는 표현대상이 노출된 촬영이미지 및 표현대상에서 표현이 가능한 감정을 학습하기 위한 학습데이터를 이용하여 표현대상의 감정을 인식하여, 상기 표현대상의 감정을 인식하여 사용자의 감정을 알아내기 위한 감정파악, 사용자의 감정에 공감하기 위한 감정공감 및 사용자에게 감정을 구분하는 능력을 학습시키기 위한 감정학습 중 적어도 하나가 가능한 것을 특징으로 하는 표현대상을 이용한 감정인식장치 및 그 동작방법을 개시한다.
Description
본 발명은 표현대상을 이용한 감정인식장치 및 그 동작방법에 관한 것으로서, 더욱 상세하게는 사용자의 조작을 통하여 사용자의 감정을 표현하는 표현대상의 감정묘사를 인식하여 사용자의 감정을 알아내는 기술에 관한 것이다.
<아동의 비대면 감정치료에 관하여>
사회적 민감성이 높고 위험회피를 하는 특정 기질을 갖는 아동은 높은 자의식으로 자신의 감정을 솔직하게 표현하기 어려워하며, 충동적인 성향을 가진 아동은 공격적 행동 및 감정폭발 등 부적절한 방식으로 감정을 표현하는 경향이 있다. 자폐성 장애를 가지거나 반사회적 성향을 가진 아동은 사회성의 결함으로 인해 사람의 얼굴을 잘 바라보지 않고, 사람의 얼굴표정을 통하여 감정을 추론하는 동기와 공감능력이 부족할 수 있다.
유아기에 가정에서 부모와 좋은 관계를 형성하기 위해서는 평소 감정에 대한 대화를 많이 나누는 것이 도움된다. 실제로 한 연구에서 3세에 가정에서 감정 상태에 대하여 자주 이야기를 나눈 아동은 6세가 되어 감정에 대한 이해가 높고, 타인의 감정을 잘 헤아리며 친사회적 행동이 증가한다는 결과가 보고되었다(Dunn, 1991).
부모의 공감능력은 유아기 자녀의 정서발달 및 조절능력에 매우 중요한 영향을 미친다(조용주, 2010). 그러나 여전히 많은 가정에서 부모님들은 구체적인 공감표현 방법에 대한 정보와 경험이 부족하여 여전히 소통의 어려움을 겪고 있는 실정이다. 종래에는 부모는 상담실을 방문하거나 육아도서, 블로그 및 게시글 등을 통하여 공감해주는 방법에 대해 익힐 수 있었다.
종래에는 이러한 아동에게 감정을 구분하는 능력을 학습시키거나, 아동의 감정을 파악하기 위하여 감정카드, 동물 또는 인형의 매개체로 하여 자신의 감정을 표현할 수 있고, 상기 매개체를 감정발산의 수단으로 사용할 수 있으며, 매개체로 아동의 심리적 방어수준을 낮출 수 있다.
최근에는 인체를 전염시키는 바이러스로 인하여 비대면 서비스들이 증가되고 있으나, 온라인 또는 애플리케이션을 이용한 아동의 비대면 감정치료를 제공하지 못하고 있는 실정이다.
<매개체를 이용한 감정인식 기술에 관하여>
종래에는 선행기술로 기재된 특허문헌과 같이 사람의 다양한 얼굴 표정을 나타내는 학습데이터를 딥러닝하여 특정 사람을 촬영한 촬영이미지로부터 특정 사람의 감정을 인식할 수 있지만, 감정표현이 어려운 아동을 촬영하여도 아동의 감정을 정확하게 인식하기 어려울 수 있으므로, 인형과 같은 매개체로 아동의 감정을 알아낼 수 있다.
그러나 종래에는 인형과 같은 매개체를 촬영하여 아동의 감정을 알아내는 기술이 개발되지 않은 실정이다. 더욱 상세하게는 종래에는 사람얼굴 딥러닝 기술을 인형에 적용하는 서비스를 제공하지 않았고, 표정이 아닌 기호로 감정을 인식하는 서비스를 제공하지 않았다. 예를 들어 종래에는 아동이 하트무늬의 기호를 인형의 가슴 쪽에 부착하여 자신의 감정상태를 묘사하였고, 이를 인식할 수 있는 기술이 미비한 실정이다.
상기 문제점을 해결하기 위하여 본 발명은 표현대상의 감정묘사를 인식하는 감정인식장치를 통하여 감정인식목적별로 다양한 감정학습의 커리큘럼을 제공하고자 한다.
상기의 해결하고자 하는 과제를 위한 본 발명의 제1 실시예에 따른 표현대상을 이용한 감정인식장치는, 표현대상에서 표현이 가능한 감정묘사를 학습데이터로 저장하는 저장부(110); 사용자의 감정을 알아내기 위한 감정파악, 사용자의 감정에 공감하기 위한 감정공감 및 사용자에게 감정을 구분하는 능력을 학습시키기 위한 감정학습 중 하나의 감정인식목적을 설정하는 제어부(190); 설정된 감정인식목적에 대응하는 질의정보를 출력하는 입출력부(120); 상기 사용자의 조작을 통하여 사용자의 감정을 표현하는 표현대상을 촬영하는 촬영부(140) 및 상기 촬영부의 촬영이미지와 학습데이터를 이용하여 표현대상의 감정묘사를 인식하는 감정 인식부(150)를 포함하는 것을 특징으로 한다.
본 발명의 제2 실시예에 따른 표현대상을 이용한 감정인식장치는, 표현대상에서 표현이 가능한 감정묘사를 학습데이터로 저장하는 저장부; 사용자의 감정을 알아내기 위한 설정된 질의정보를 출력하는 입출력부; 상기 사용자의 조작을 통하여 사용자의 감정을 표현하는 표현대상을 촬영하는 촬영부 및 상기 촬영부의 촬영이미지와 학습데이터를 이용하여 표현대상의 감정묘사를 인식하는 감정 인식부를 포함하여, 상기 표현대상의 감정묘사는 사용자의 비대면 감정치료에 필요한 기초정보로 사용이 가능한 것을 특징으로 한다.
본 발명의 제3 실시예에 따른 표현대상을 이용한 감정인식장치는, 표현대상에서 표현이 가능한 감정묘사를 학습데이터로 저장하는 저장부; 사용자의 감정에 공감하기 위한 설정된 질의정보를 출력하는 입출력부; 상기 사용자의 조작을 통하여 사용자의 감정을 표현하는 표현대상을 촬영하는 촬영부; 상기 촬영부의 촬영이미지와 학습데이터를 이용하여 표현대상의 감정묘사를 인식하는 감정 인식부 및 상기 표현대상의 감정묘사에 공감하는 공감정보를 생성하는 정보 생성부(160)를 포함하는 것을 특징으로 한다.
본 발명의 제4 실시예에 따른 표현대상을 이용한 감정인식장치는, 표현대상에서 표현이 가능한 감정묘사를 학습데이터로 저장하는 저장부; 사용자에게 감정을 구분하는 능력을 학습시키기 위한 설정된 질의정보를 출력하는 입출력부; 상기 사용자의 조작을 통하여 사용자의 감정을 표현하는 표현대상을 촬영하는 촬영부; 상기 촬영부의 촬영이미지와 학습데이터를 이용하여 표현대상의 감정묘사를 인식하는 감정 인식부 및 상기 질의정보에 대응하는 예상정보와 표현대상의 감정묘사를 비교하여 학습결과정보를 생성하는 정보 생성부를 포함하는 것을 특징으로 한다.
본 발명의 제5 실시예에 따른 표현대상을 이용한 감정인식장치는, 표현대상에서 표현이 가능한 감정묘사와 사람의 표정으로 구성된 학습데이터를 저장하는 저장부; 사용자의 조작을 통하여 사용자의 감정을 표현하는 표현대상과 사용자를 촬영하는 촬영부; 상기 촬영부의 촬영이미지와 학습데이터를 이용하여 표현대상의 감정묘사와 사용자의 감정상태를 인식하는 감정 인식부 및 상기 표현대상의 감정묘사와 사용자의 감정상태를 비교한 비교정보를 생성하는 정보 생성부를 포함하는 것을 특징으로 한다.
본 발명의 제6 실시예에 따른 표현대상을 이용한 감정인식장치의 동작방법은, 사용자의 조작을 통하여 감정을 표현하는 표현대상이 노출된 촬영이미지 및 표현대상에서 표현이 가능한 감정을 학습하기 위한 학습데이터를 이용하여 표현대상의 감정을 인식하는 단계를 포함하여, 상기 표현대상의 감정을 인식하여 사용자의 감정을 알아내기 위한 감정파악, 사용자의 감정에 공감하기 위한 감정공감 및 사용자에게 감정을 구분하는 능력을 학습시키기 위한 감정학습 중 적어도 하나가 가능한 것을 특징으로 한다.
본 발명은 감정인식장치를 통하여 감정인식목적별로 다양한 감정학습의 커리큘럼을 제공함으로써, 사용자의 감정학습에 대한 질을 향상시킬 수 있고, 감정학습의 효율을 향상시킬 수 있으며, 고품질의 비대면 감정학습 서비스를 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 감정발산 유도시스템을 도시한 블록도이다.
도 2는 표현대상을 도시한 예이다.
도 3은 표현대상에 부착 가능한 감정표식을 도시한 예이다.
도 4는 표현대상에 감정표식을 부착하는 예를 도시한 것이다.
도 5는 도 1의 감정인식장치를 상세하게 도시한 블록도이다.
도 6은 표현대상의 감정종류를 도시한 예이다.
도 7은 정답형태의 감정표식은 인식하는 예를 도시한 것이다.
도 8은 본 발명의 실시예에 따른 감정인식장치의 동작방법을 도시한 흐름도이다.
도 9는 본 발명의 실시예에 따른 감정인식장치의 화면을 도시한 것이다.
도 2는 표현대상을 도시한 예이다.
도 3은 표현대상에 부착 가능한 감정표식을 도시한 예이다.
도 4는 표현대상에 감정표식을 부착하는 예를 도시한 것이다.
도 5는 도 1의 감정인식장치를 상세하게 도시한 블록도이다.
도 6은 표현대상의 감정종류를 도시한 예이다.
도 7은 정답형태의 감정표식은 인식하는 예를 도시한 것이다.
도 8은 본 발명의 실시예에 따른 감정인식장치의 동작방법을 도시한 흐름도이다.
도 9는 본 발명의 실시예에 따른 감정인식장치의 화면을 도시한 것이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 발명의 실시예에 따른 감정발산 유도시스템을 도시한 블록도로서, 감정발산 유도시스템(10)은 표현대상 및 감정인식장치(100)를 포함한다. 표현대상은 사용자의 조작을 통하여 사용자의 감정을 표현하고, 감정인식장치(100)는 표현대상을 촬영하여 표현대상의 감정묘사를 인식한다. 여기서 사용자는 감정을 정확하게 인식하지 못하는 아동 또는 어른일 수 있다.
감정을 정확하게 인식하지 못하는 아동은 분노의 감정을 슬픈 표정이나 눈물로 표현할 수 있는데, 종래에는 아동의 표정을 통해 정확한 감정을 추론하기 어려운 문제점이 있다. 따라서 본 발명은 표현대상이라는 매개체를 통하여 부호화된 감정표식으로 아동의 감정을 발산할 수 있게 한다.
도 2는 표현대상을 도시한 예로서, 표현대상은 봉제인형, 장난감, 살아있는 동물과 같은 객체 또는 감정카드일 수 있고, 다양한 객체일 수 있고, 이에 한정하지 않는다. 본 발명에서는 인형을 예로 들어 표현대상을 설명하기로 한다.
표현대상은 객체감지영역과 감정인식영역으로 구분될 수 있고, 감정인식영역은 사용자의 조작을 통하여 감정표식이 형성될 수 있다. 본 발명에서 표현대상을 2개의 영역으로 구분한 이유는, 촬영이미지에서 표현대상을 감지하고 표현대상의 감정묘사를 인식하기 위함이다.
도 3은 표현대상에 부착 가능한 감정표식을 도시한 예로서, 감정표식은 표정과 감정기호로 구분될 수 있다. 감정표식은 눈, 눈썹, 입 모양 등 표정의 형상을 가질 수 있다. 감정표식은 하트, 번개, 물음표 또는 반창고 등 감정기호의 형상을 가질 수 있다.
도 4는 표현대상에 감정표식을 부착하는 예를 도시한 것으로서, 아동과 같은 사용자는 벨크로 형태의 감정표식을 표현대상에 탈부착시킬 수 있다. 본 발명에서는 탈부착의 형태로 감정표식을 표현대상에 탈부착시킬 수 있고, 감정표식이 표현대상에 세트화될 수 있으며, 다양한 형태로 감정표식을 표현대상에 표현시킬 수 있다. 예를 들어 인형과 같은 표현대상은 울고 있는 표정, 우울한 표정, 심술난 표정 및 웃는 표정 등 4개의 감정표식이 세트화 되어 있고, 사용자가 표현대상의 얼굴을 90도로 회전시키면 표현대상의 표정을 바꿀 수 있다.
봉제인형의 감정표식이 부착되는 부분은 라이렉스의 특수소재가 사용될 수 있고, 감정표식의 뒷면은 벨크로가 사용될 수 있다. 또한 감정표식은 벨크로가 아닌 버튼 등 다양한 부착수단이 형성될 수 있다.
도 5는 도 1의 감정인식장치를 상세하게 도시한 블록도로서, 감정인식장치(100)는 스마트폰, 데스크톱, 랩톱 또는 촬영이 가능한 다양한 단말기일 수 있고, 이에 한정하지 않는다.
감정인식장치(100)는 저장부(110), 입출력부(120), 촬영부(140), 감정 인식부(150), 정보 생성부(160) 및 제어부(190)를 포함한다. 저장부(110)는 표현대상에서 표현이 가능한 감정묘사를 학습데이터로 저장한다. 저장부(110)는 표현대상을 감지하기 위한 표현대상의 형상 및 감정표식을 인식하기 위한 감정표식의 형상을 포함하는 학습이미지를 데이터의 형태로 저장할 수 있다.
제어부(190)는 사용자의 감정을 알아내기 위한 감정파악, 사용자의 감정에 공감하기 위한 감정공감 및 사용자에게 감정을 구분하는 능력을 학습시키기 위한 감정학습 중 하나의 감정인식목적을 설정한다.
입출력부(120)는 음성 또는 화면으로 입출력을 제공할 수 있고, 터치패드의 형태로 제작될 수 있으며, 다양한 수단을 통하여 입출력을 제공할 수 있고, 이에 한정하지 않는다.
입출력부(120)는 설정된 감정인식목적에 대응하는 질의정보를 출력한다. 저장부(110)는 표현대상에서 표현이 가능한 감정을 학습하기 위한 학습데이터, 감정인식목적별로 사용자의 감정교육을 가이드하기 위한 가이드데이터, 감정인식목적별로 감정표현을 질의하기 위한 질의데이터 및 표현대상의 감정별로 대응하는 솔루션데이터를 저장할 수 있다.
사용자는 감정 표현이 미숙한 아동이나 어른일 수 있고, 보호자는 사용자를 보호하는 자일 수 있으며, 전문가는 사용자의 감정교습을 수행하는 자일 수 있다. 가이드데이터는 사용자 또는 보호자에게 제공되는 데이터일 수 있고, 감정인식장치(100)의 활용방법을 가이드하는 정보를 포함할 수 있으며, 전문가의 영상을 포함할 수 있다. 보호자는 가이드데이터를 이용하여 감정인식장치(100)의 활용방법을 습득할 수 있다.
질의데이터는 감정인식목적별로 카테고리화 되어 있고, 감정표현을 질의하기 위한 질의정보를 포함할 수 있다. 더욱 상세하게는 질의데이터는 감정파악, 감정공감 및 감정학습으로 분류될 수 있다. 질의정보는 입출력부(120)의 음성이나 화면을 통하여 출력될 수 있다. 예를 들어 음성은 아동의 공감을 유발시키기 위하여 어린 아이의 음성이다.
솔루션데이터는 표현대상의 감정별로 대응하는 정보로서, 감정파악의 목적일 때 사용자의 감정을 알아내는 감정정보를 포함할 수 있고, 감정공감의 목적일 때 사용자의 감정표현에 공감하는 공감정보를 포함할 수 있으며, 감정학습의 목적일 때 질의정보에 대응하는 예상정보 또는 상기 예상정보와 표현대상의 감정묘사를 비교하여 생성되는 학습결과정보를 포함할 수 있다.
질의데이터와 솔루션데이터는 서로 매칭되어 사용자의 비대면 감정치료에 필요한 기초정보로 사용이 가능하다. 기초정보는 보호자 또는 전문가에게 제공될 수 있다.
촬영부(140)는 카메라로서 사용자의 조작을 통하여 사용자의 감정을 표현하는 표현대상을 촬영하고, 표현대상을 포함하는 촬영이미지를 생성한다. 감정 인식부(150)는 촬영이미지와 학습데이터를 이용하여 표현대상의 감정묘사를 인식한다. 감정묘사를 인식하는 기술은 딥러닝 기술이다.
딥러닝 기술은 사물이나 데이터를 군집화하거나 분류하는데 사용되는 기술이고, 수많은 데이터 속에서 패턴을 발견해 인간이 사물을 구분하듯 컴퓨터가 데이터를 나누는 기술이다. 본 발명은 딥러닝 기술을 이용하여 표현대상과 같은 객체를 인식하고자 한다. 본 발명에서는 YOLO 방식의 딥러닝 기술을 채용할 수 있다.
감정 인식부(150)는 복수의 학습 이미지를 입력받고, 각각의 학습 이미지별로 객체에 대응하는 레이블링값을 입력받으며, 레이블된(labeled) 학습 이미지를 딥러닝하여 객체 검출 모델을 구축할 수 있다.
감정 인식부(150)는 사용자의 조작을 통하여 감정을 표현하는 표현대상이 노출된 촬영이미지 및 표현대상에서 표현이 가능한 감정을 학습하기 위한 학습데이터를 이용하여 표현대상의 감정을 인식한다.
본 발명은 학습데이터가 표정이 불명확할 수 있는 사람이 아니라, 표정이 명확한 인형과 같은 표현대상이므로, 학습데이터의 양을 획기적으로 줄일 수 있고, 딥러닝 처리속도를 향상시킬 수 있다. 또한 본 발명은 학습데이터가 속성이 명확한 감정기호를 인식하는 것이므로, 학습데이터의 양을 획기적으로 줄일 수 있고, 딥러닝 처리속도를 향상시킬 수 있다.
촬영이미지는 표현대상이 아닌 사용자 또는 특정 물건과 같은 객체를 포함할 수 있으므로, 감정 인식부(150)는 촬영이미지에서 객체감지영역을 통하여 표현대상을 감지하고, 감정인식영역에 형성된 감정표식을 통하여 표현대상의 감정묘사를 인식할 수 있다. 감정 인식부(150)는 표현대상의 표정 및 감정기호 중 적어도 하나에 대한 감정표식을 인식할 수 있다.
본 발명은 종래의 딥러닝 기술과 구분된 영역을 인식하는 기술을 사용함으로써, 딥러닝 처리속도 등 객체의 감지와 인식에 대한 속도를 향상시킬 수 있고, 감지와 인식에 대한 정확도를 향상시킬 수 있다.
입출력부(120)는 설정된 목적에 대응하여 사용자의 감정을 알아내기 위한 설정된 질의정보를 출력할 수 있고, 사용자의 감정에 공감하기 위한 설정된 질의정보를 출력할 수 있으며, 사용자에게 감정을 구분하는 능력을 학습시키기 위한 설정된 질의정보를 출력할 수 있다.
정보 생성부(160)는 질의정보에 대응하여 솔루션정보를 생성한다. 표현대상의 감정묘사는 사용자의 비대면 감정치료에 필요한 기초정보로 사용이 가능하고, 기초정보를 솔루션정보에 포함된다.
정보 생성부(160)는 질의정보에 대응하여 표현대상의 감정묘사에 공감하는 공감정보를 생성할 수 있고, 질의정보에 대응하는 예상정보와 표현대상의 감정묘사를 비교하여 학습결과정보를 생성할 수 있다.
감정인식장치(100)는 표현대상의 감정을 인식하여 사용자의 감정을 알아내기 위한 감정파악, 사용자의 감정에 공감하기 위한 감정공감 및 사용자에게 감정을 구분하는 능력을 학습시키기 위한 감정학습 중 적어도 하나가 가능하다.
촬영이미지는 표현대상이 아닌 사용자 또는 특정 물건과 같은 객체를 포함할 수 있다. 학습데이터는 사람의 얼굴형상 또는 표정과 관련된 데이터를 포함할 수 있고, 정보 생성부(160)는 사용자의 감정상태를 인식할 수 있으며, 정보 생성부(160)는 표현대상과 사용자의 감정을 비교한 비교정보를 생성할 수 있다.
본 발명은 보호자 또는 전문가가 비교정보를 통하여 사용자의 감정치료의 효과가 있는지 알아낼 수 있고, 향후 치료를 위한 설계로 활용될 수 있다.
도 6은 표현대상의 감정종류를 도시한 예로서, 학습데이터는 도 6에 도시된 바와 같이 20가지로 정답형태의 감정표식으로 구분될 수 있다. 또한 학습데이터는 오답형태의 감정표식을 포함할 수 있다.
도 7은 정답형태의 감정표식은 인식하는 예를 도시한 것으로서, 정보 생성부(160)는 정답형태 또는 오답형태의 감정표식을 해석하는 해석정보를 생성할 수 있다. 예를 들어 사용자는 표현대상의 한 쪽 눈에 웃는 눈모양을 부착시키고, 다른 한 쪽 눈에 우는 눈모양을 부착시켜 오답형태의 감정표식을 표현이 가능하다. 감정 인식부(150)는 오답형태의 감정표식을 인식할 수 있고, 정보 생성부(160)는 사용자가 감정을 구분하는 능력이 부족하다는 해석정보 또는 사용자의 감정상태가 불안하다는 해석정보를 생성할 수 있다.
도 8은 본 발명의 실시예에 따른 감정인식장치의 동작방법을 도시한 흐름도로서, 감정인식장치(100)는 질의, 감정인식 및 인식결과에 해결책과 관련된 데이터를 저장한다. 감정인식장치(100)는 보호자 또는 전문가의 입력을 수신하여 감정인식목적을 설정한다. 감정인식장치(100)는 설정된 목적에 관한 가이드정보를 목적을 설정하기 전 또는 후에 제공할 수 있고, 보호자는 가이드정보에 대한 열람을 선택할 수 있다.
감정인식장치(100)는 사용자 또는 상기 사용자와 관련된 가족에 관한 가족정보를 사전에 입력을 받아 저장할 수 있고, 사용자와 가족의 기질 또는 양육태도에 관한 설문정보를 입력을 받을 수 있다. 감정인식장치(100)는 가족정보와 설문정보에 기반하여 감정인식목적을 쉽게 선택할 수 있도록 감정인식목적의 종류를 표시할 수 있다.
도 9는 본 발명의 실시예에 따른 감정인식장치의 화면을 도시한 것으로서, 감정인식장치(100)는 설정된 목적에 대응하여 질의정보를 출력할 수 있다. 예를 들어 도 9에 도시된 바와 같이 "무디야, 네 표정을 보여줘!"라는 텍스트와 음성을 출력한다. 여기서 무디는 표현대상의 명칭이다.
사용자는 감정표식을 선택하여 표현대상에 부착시키고, 감정인식장치(100)는 촬영을 지시하는 보호자의 입력을 수신하면 표현대상을 촬영한다. 감정인식장치(100)는 표현대상의 감정묘사를 인식하고, 감정묘사에 관한 솔루션정보를 생성한다. 예를 들어 감정인식장치(100)는 도 9에 도시된 바와 같이 "무디야 표정이 슬퍼보여. 내가 여기 곁에 있을게."라는 솔루션정보를 출력한다. 또한 감정인식장치(100)는 "무디야. 오늘의 기분을 일기로 남겨보자!"라는 솔루션정보를 출력하고, 기록하는 입력을 수신하면 기분에 대한 일기를 포함하는 기초정보를 생성한다.
감정발산 유도시스템(10)은 제작서버(200), 보호자단말기(300) 및 전문가단말기(400)를 더 포함할 수 있다. 보호자단말기(300) 또는 전문가단말기(400)는 감정인식장치(100)의 구조와 유사할 수 있다.
감정인식장치(100)는 솔루션정보 또는 기초정보를 제작서버(200), 보호자단말기(300) 또는 전문가단말기(400)에게 전송하는 통신부(130)를 더 포함할 수 있다.
제작서버(200)는 표현대상에서 표현이 가능한 감정을 학습하기 위한 학습데이터, 감정인식목적별로 사용자의 감정교육을 가이드하기 위한 가이드데이터, 감정인식목적별로 감정표현을 질의하기 위한 질의데이터 및 표현대상의 감정별로 대응하는 솔루션데이터를 제작하고, 각각의 데이터를 활용하여 감정교육의 환경을 제공하는 애플리케이션을 제작할 수 있다.
감정인식장치(100), 보호자단말기(300) 또는 전문가단말기(400)는 제작서버(200) 또는 앱스토어를 통하여 애플리케이션을 다운받아 설치될 수 있다.
솔루션 정보 또는 기초정보는 사용자의 기질의 유형을 분류하여 조합의 적합성을 평가하고, 각 조합에 따른 양육태도에 관한 솔루션을 제공하는 정보이다. 솔루션 정보 또는 기초정보는 전문가의 피드백과 관련된 상담정보를 포함할 수 있다.
본 발명은 감정인식장치(100)를 통하여 감정인식목적별로 다양한 감정학습의 커리큘럼을 제공함으로써, 사용자의 감정학습에 대한 질을 향상시킬 수 있고, 감정학습의 효율을 향상시킬 수 있으며, 고품질의 비대면 감정학습 서비스를 제공할 수 있다.
본 발명은 표현대상과 감정인식장치(100)를 이용하여 사용자의 감정발산을 유도할 수 있고, 사용자의 감정학습에 대한 질을 향상시킬 수 있으며, 감정학습의 효율을 향상시킬 수 있고, 고품질의 비대면 감정학습 서비스를 제공할 수 있다.
본 발명은 애플리케이션이 설치된 감정인식장치(100), 표현대상 및 감정표식을 이용하여 비대면 감정학습 서비스를 제공할 수 있고, 비대면 부모놀이 코칭 서비스를 제공할 수 있다. 예를 들어 사용자는 감정인식장치(100), 표현대상 및 감정표식을 이용하여 부모놀이 형태의 서비스를 제공받는다.
부모놀이 서비스 방법은 질의정보를 제공하고, 표현대상을 조작하는 사용자를 촬영하여 동영상 형태의 감성정보를 생성하며, 질의정보에 대응하는 놀이주제에 관한 감성정보를 분석하여 놀이주제에 대한 사용자의 심리상태, 공격성, 양육 및 배열 등 부모놀이에 관한 분석정보를 생성한다. 분석정보는 기저장된 데이터를 통하여 생성될 수 있고, 전문가의 입력을 수신하여 생성될 수 있다. 질의정보는 사용자와의 대화형태로 출력될 수 있다.
10: 감정발산 유도시스템 100: 감정인식장치
110: 저장부 120: 입출력부
130: 통신부 140: 촬영부
150: 감정 인식부 160: 정보 생성부
190: 제어부 200: 제작서버
300: 보호자단말기 400: 전문가단말기
110: 저장부 120: 입출력부
130: 통신부 140: 촬영부
150: 감정 인식부 160: 정보 생성부
190: 제어부 200: 제작서버
300: 보호자단말기 400: 전문가단말기
Claims (6)
- 표현대상에서 표현이 가능한 감정묘사를 학습데이터로 저장하는 저장부(110);
사용자의 감정을 알아내기 위한 감정파악, 사용자의 감정에 공감하기 위한 감정공감 및 사용자에게 감정을 구분하는 능력을 학습시키기 위한 감정학습 중 하나의 감정인식목적을 설정하는 제어부(190);
설정된 감정인식목적에 대응하는 질의정보를 출력하는 입출력부(120);
상기 사용자의 조작을 통하여 부호화된 감정표식이 형성되고 사용자의 감정을 표현하는 표현대상을 촬영하는 촬영부(140) 및
상기 촬영부의 촬영이미지와 학습데이터를 이용하여 표현대상의 감정묘사를 인식하는 감정 인식부(150)를 포함하고,
상기 표현대상은 객체감지영역과 감정인식영역으로 구분되고,
상기 감정표식은 표정기호와 감정기호로 구분되고, 사용자의 조작을 통하여 감정인식영역에 부착이 가능하며,
상기 입출력부는 사용자에게 감정을 구분하는 능력을 학습시키기 위한 질의정보를 출력하고,
상기 감정 인식부는 촬영부의 촬영이미지와 학습데이터를 이용하여 표현대상의 감정묘사를 인식하되, 촬영이미지에서 객체감지영역을 통하여 표현대상을 감지하고, 감정인식영역에 형성된 감정표식을 통하여 표현대상의 감정묘사를 인식하며,
상기 질의정보에 대응하는 예상정보와 표현대상의 감정묘사를 비교하여 학습결과정보를 생성하는 정보 생성부(160)를 더 포함하고,
상기 학습데이터는 정답형태와 오답형태의 감정표식을 포함하며,
상기 정보 생성부는 감정 인식부에서 오답형태의 감정표식을 인식하면 오답형태에 관한 해석정보를 포함하는 학습결과정보를 생성하는 것을 특징으로 하는 표현대상을 이용한 감정인식장치. - 제1항에 있어서,
상기 입출력부는 사용자의 감정을 알아내기 위한 설정된 질의정보를 출력하고,
상기 표현대상의 감정묘사는 사용자의 비대면 감정치료에 필요한 기초정보로 사용이 가능한 것을 특징으로 하는 표현대상을 이용한 감정인식장치. - 삭제
- 삭제
- 제1항에 있어서,
상기 정보 생성부는 상기 표현대상의 감정묘사와 사용자의 감정상태를 비교한 비교정보를 생성하는 것을 특징으로 하는 표현대상을 이용한 감정인식장치. - 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210063702A KR102435556B1 (ko) | 2021-05-17 | 2021-05-17 | 표현대상을 이용한 감정인식장치 및 그 동작방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210063702A KR102435556B1 (ko) | 2021-05-17 | 2021-05-17 | 표현대상을 이용한 감정인식장치 및 그 동작방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102435556B1 true KR102435556B1 (ko) | 2022-08-22 |
Family
ID=83103042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210063702A KR102435556B1 (ko) | 2021-05-17 | 2021-05-17 | 표현대상을 이용한 감정인식장치 및 그 동작방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102435556B1 (ko) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101450163B1 (ko) * | 2014-02-28 | 2014-10-13 | 주식회사 심지 | 이동통신단말기를 이용한 유아의 감정 인지 학습 방법 |
| KR20160029895A (ko) * | 2014-09-05 | 2016-03-16 | 강원대학교산학협력단 | 감정 캐릭터 추천 장치 및 감정 캐릭터 추천 방법 |
| KR101880159B1 (ko) * | 2017-09-14 | 2018-07-19 | (주)마인드엘리베이션 | 스마트폰 어플리케이션 연계 그림 심리검사 전용 검사지 및 그 검사지와 스마트폰 어플리케이션을 이용한 그림 심리검사 서비스 제공시스템과 방법 |
| KR20200028522A (ko) * | 2018-09-06 | 2020-03-17 | 주식회사 아이앤나 | 아기의 감정 상태 증강을 이용한 아기와 대화 제공 방법 |
| KR102147052B1 (ko) | 2018-11-16 | 2020-08-21 | 광운대학교 산학협력단 | 얼굴 영상 기반의 감정 인식 시스템 및 방법 |
| KR20200105446A (ko) * | 2019-02-28 | 2020-09-07 | 주식회사 하가 | 감정 인식 장치 및 감정 인식 방법 |
| KR102240485B1 (ko) * | 2020-11-06 | 2021-04-15 | 주식회사 메이팜소프트 | 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템 및 그 분석 방법 |
-
2021
- 2021-05-17 KR KR1020210063702A patent/KR102435556B1/ko active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101450163B1 (ko) * | 2014-02-28 | 2014-10-13 | 주식회사 심지 | 이동통신단말기를 이용한 유아의 감정 인지 학습 방법 |
| KR20160029895A (ko) * | 2014-09-05 | 2016-03-16 | 강원대학교산학협력단 | 감정 캐릭터 추천 장치 및 감정 캐릭터 추천 방법 |
| KR101880159B1 (ko) * | 2017-09-14 | 2018-07-19 | (주)마인드엘리베이션 | 스마트폰 어플리케이션 연계 그림 심리검사 전용 검사지 및 그 검사지와 스마트폰 어플리케이션을 이용한 그림 심리검사 서비스 제공시스템과 방법 |
| KR20200028522A (ko) * | 2018-09-06 | 2020-03-17 | 주식회사 아이앤나 | 아기의 감정 상태 증강을 이용한 아기와 대화 제공 방법 |
| KR102147052B1 (ko) | 2018-11-16 | 2020-08-21 | 광운대학교 산학협력단 | 얼굴 영상 기반의 감정 인식 시스템 및 방법 |
| KR20200105446A (ko) * | 2019-02-28 | 2020-09-07 | 주식회사 하가 | 감정 인식 장치 및 감정 인식 방법 |
| KR102240485B1 (ko) * | 2020-11-06 | 2021-04-15 | 주식회사 메이팜소프트 | 신청자의 심리 상태를 분석하기 위한 영상 이미지 통합 분석 시스템 및 그 분석 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Williams et al. | AI+ ethics curricula for middle school youth: Lessons learned from three project-based curricula | |
| Matthen | Seeing, doing, and knowing: A philosophical theory of sense perception | |
| Gardenfors | The geometry of meaning: Semantics based on conceptual spaces | |
| Awad et al. | Intelligent eye: A mobile application for assisting blind people | |
| Sarrafzadeh et al. | “How do you know that I don’t understand?” A look at the future of intelligent tutoring systems | |
| Ambadar et al. | Deciphering the enigmatic face: The importance of facial dynamics in interpreting subtle facial expressions | |
| Bachorowski | Vocal expression and perception of emotion | |
| Ren | Affective information processing and recognizing human emotion | |
| Nasir et al. | What if social robots look for productive engagement? Automated assessment of goal-centric engagement in learning applications | |
| Jia et al. | Intentonomy: a dataset and study towards human intent understanding | |
| Sharma et al. | Student concentration evaluation index in an e-learning context using facial emotion analysis | |
| Javed et al. | Toward an automated measure of social engagement for children with autism spectrum disorder—a personalized computational modeling approach | |
| CN114298497A (zh) | 教师课堂教学质量的评估方法以及装置 | |
| Martin | “Girls don't talk about garages!”: Perceptions of conversation in same‐and cross‐sex friendships | |
| Alshammari et al. | Robotics Utilization in Automatic Vision-Based Assessment Systems From Artificial Intelligence Perspective: A Systematic Review | |
| Walker-Andrews | Perceiving social affordances: The development of emotion understanding | |
| Shogry | The Stoic Appeal to Expertise: Platonic Echoes in the Reply to Indistinguishability | |
| Villegas-Ch et al. | Identification of emotions from facial gestures in a teaching environment with the use of machine learning techniques | |
| Vinciarelli et al. | Multimodal analysis of social signals | |
| KR20200022065A (ko) | 부모의 성향과 아이의 성향을 동시에 고려한 육아가이드를 제공하는 육아코칭 및 상담 서비스 제공방법 및 제공시스템 | |
| KR102435556B1 (ko) | 표현대상을 이용한 감정인식장치 및 그 동작방법 | |
| KR102391154B1 (ko) | 감정발산 유도시스템 | |
| Wilson | Learning to see with Deleuze: understanding affective responses in image-viewer research assemblages | |
| Douven et al. | Similarity-based reasoning in conceptual spaces | |
| KR20210053661A (ko) | 심리케어 시스템 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |