KR102285482B1 - 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 방법 및 장치 - Google Patents

생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR102285482B1
KR102285482B1 KR1020200109409A KR20200109409A KR102285482B1 KR 102285482 B1 KR102285482 B1 KR 102285482B1 KR 1020200109409 A KR1020200109409 A KR 1020200109409A KR 20200109409 A KR20200109409 A KR 20200109409A KR 102285482 B1 KR102285482 B1 KR 102285482B1
Authority
KR
South Korea
Prior art keywords
content
information
biometric information
user
electronic device
Prior art date
Application number
KR1020200109409A
Other languages
English (en)
Inventor
임세라
이동익
배희기
Original Assignee
주식회사 마블러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 마블러스 filed Critical 주식회사 마블러스
Priority to KR1020200109409A priority Critical patent/KR102285482B1/ko
Application granted granted Critical
Publication of KR102285482B1 publication Critical patent/KR102285482B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Neurosurgery (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 방법 및 장치에 관한 것이다. 구체적으로, 본 발명은 사용자의 컨텐츠 시청에 따른 생체 정보 변화와 컨텐츠 정보의 맵핑에 대한 누적 데이터에 대하여 기계 학습(machine learning)을 수행한 뒤, 사용자의 집중도가 떨어진 경우 학습된 기계 학습 모델에 기반하여 사용자의 집중도 및 행복 감정 비율을 상승시킬 수 있는 컨텐츠로 조정하기 위한 방법 및 장치에 관한 것이다.

Description

생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 방법 및 장치 {METHOD AND APPARATUS FOR PROVIDING CONTENT BASED ON MACHINE LEARNING ANALYSIS OF BIOMETRIC INFORMATION}
본 발명은 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 방법 및 장치에 관한 것이다. 구체적으로, 본 발명은 사용자의 컨텐츠 시청에 따른 생체 정보 변화와 컨텐츠 정보의 맵핑에 대한 누적 데이터에 대하여 기계 학습(machine learning)을 수행한 뒤, 사용자의 집중도가 떨어진 경우 학습된 기계 학습 모델에 기반하여 사용자의 집중도 및 행복 감정 비율을 상승시킬 수 있는 컨텐츠로 조정하기 위한 방법 및 장치에 관한 것이다.
최근 레거시 미디어라 불리며 단방향으로 컨텐츠를 제공하던 텔레비전 등 기존 매체의 시대가 지나가고, 스마트폰 애플리케이션, 라이브 스트리밍 등 양방향 소통하는 디지털 매체의 선호도가 증가하면서 컨텐츠 소비자의 감성적인 공감을 위한 서비스 수요가 높아지고 있다. 시청각 교재를 이용한 교육 서비스의 경우 일방적으로 강의만 하는 과거의 방식에서 탈피하여, 사용자의 학습 중 감정 및 집중 상태를 감지하고 상황에 따라 재미 요소를 추가하여 집중도 및 학습 능률을 높이는 방식을 지향한다.
사용자의 학습 중 생체 정보의 누적 데이터, 즉, 바이오 로그(bio log)를 수집하여, 개인별 생체 정보의 변화에 따른 맞춤형 콘텐츠를 제공할 수 있다면 사용자의 학습 컨텐츠를 시청 중 흥미와 집중도를 높일 수 있다. 사용자의 컨텐츠 별 반응과 해당 컨텐츠 정보의 맵핑에 대한 누적 데이터를 기계 학습(machine learning) 등의 도구를 사용하여 분석한다면, 사용자가 몰입한 순간과 유사하거나 연계되는 컨텐츠의 리스트를 제공할 수 있다. 또한, 사용자가 학습 컨텐츠 시청 중 집중도가 하락하는 경우, 컨텐츠의 조정을 적기에 적절히 함으로써 사용자의 학습 중 행복감과 집중도를 향상시킬 수 있다.
따라서, 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 방법 및 장치가 필요한 실정이다.
대한민국 특허 등록번호 제10-1465756호 (2014.11.20.) (감정 분석 장치 및 방법과 이를 이용한 영화 추천 방법)
본 발명은 전술한 문제점을 해결하기 위하여 다음과 같은 해결 과제를 목적으로 한다.
본 발명은 감정, 심전도 정보, 집중도 등 비언어적 요소에 따른 생체 정보를 파악함으로써 사용자가 직접 표현하지 않더라도 정확한 생체 정보를 파악하고, 이에 기반한 컨텐츠를 제공하는 것을 목적으로 한다.
본 발명은 사용자의 생체 정보 및 컨텐츠 정보의 맵핑에 대한 누적 데이터에 대하여 기계 학습을 수행함으로써, 자동화된 도구를 이용하여 컨텐츠와 사용자 감정의 연관 관계를 파악하는 것을 목적으로 한다.
본 발명은 사용자의 집중도에 따라서 컨텐츠의 조정을 수행하며, 이 때 조정 컨텐츠의 정보를 해당 사용자의 누적 데이터로 학습된 기계 학습 모델을 이용하여 결정함으로써, 효율적으로 사용자의 집중도 및 행복 감정을 향상시키는 것을 목적으로 한다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자가 명확하게 이해할 수 있을 것이다.
본 발명의 다양한 실시 예들은 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 전자 장치의 동작 방법을 제공한다. 상기 전자장치는 카메라, 출력 장치, 메모리, 송수신기 및 적어도 하나의 프로세서를 포함하며, 상기 출력 장치는 디스플레이 및 스피커 중 하나 이상을 포함한다. 상기 동작 방법은, 사용자의 얼굴을 포함하는 상반신에 대한 화상 이미지를 누적하여 획득하는 과정과, 서버로부터 수신한 하나 이상의 컨텐츠를 연속하여 출력하는 과정과, 상기 화상 이미지에 기반하여, 상기 컨텐츠의 출력 전의 상기 사용자의 제1 생체 정보 및 상기 컨텐츠의 출력 후의 상기 사용자의 제2 생체 정보를 획득하는 과정과, 상기 제1 생체 정보 및 상기 제2 생체 정보는 심전도 정보, 집중도 수치, 행복 감정 비율을 포함하고, 상기 컨텐츠의 컨텐츠 정보와 상기 제1 생체 정보 및 상기 제2 생체 정보의 맵핑 정보를 저장하는 과정과, 상기 컨텐츠 정보, 상기 제1 생체 정보 및 상기 제2 생체 정보를 학습 데이터로 사용하여, 상기 사용자의 특정 컨텐츠 출력 전 생체 정보 및 특정 컨텐츠의 정보를 입력할 경우 상기 사용자의 특정 컨텐츠 출력 후 생체 정보를 도출하는 기계 학습 모델을 학습하는 과정과, 상기 사용자의 상기 집중도 수치의 분당 평균 값이 임계 집중도 수치 이하로 떨어지는지 여부에 기반하여 컨텐츠 조정 여부를 결정하는 과정과, 컨텐츠 조정을 결정한 경우, 상기 기계 학습 모델에 상기 사용자의 현재 생체 정보를 입력하여 도출된 컨텐츠 조정 후 생체 정보를 기초로, 상기 사용자의 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상이 될 수 있는 조정 컨텐츠 정보를 결정하는 과정과, 상기 서버에게 상기 조정 컨텐츠 정보를 전송하는 과정과, 상기 서버로부터 상기 조정 컨텐츠 정보에 대응하는 조정 컨텐츠를 수신하는 과정과, 상기 조정 컨텐츠를 출력하는 과정을 포함한다.
본 발명의 다양한 실시 예들은 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 전자 장치를 제공한다. 상기 전자 장치는, 카메라, 녹음 장치, 출력 장치, 메모리, 송수신기 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 본 발명의 다양한 실시 예들은 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 동작 방법을 수행하도록 구성된다.
본 발명의 다양한 실시 예들은 본 발명의 다양한 실시 예들은 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 전자 장치의 동작 방법을 수행하도록 구성되며, 컴퓨터 판독 가능한 저장 매체에 기록된 컴퓨터 프로그램을 제공한다.
본 발명은 감정, 심전도 정보, 집중도 등 비언어적 요소에 따른 생체 정보를 파악함으로써 사용자가 직접 표현하지 않더라도 정확한 생체 정보를 파악하고, 이에 기반한 컨텐츠를 제공할 수 있다.
본 발명은 사용자의 생체 정보 및 컨텐츠 정보의 맵핑에 대한 누적 데이터에 대하여 기계 학습을 수행함으로써, 자동화된 도구를 이용하여 컨텐츠와 사용자 감정의 연관 관계를 파악할 수 있다.
본 발명은 사용자의 집중도에 따라서 컨텐츠의 조정을 수행하며, 이 때 조정 컨텐츠의 정보를 해당 사용자의 누적 데이터로 학습된 기계 학습 모델을 이용하여 결정함으로써, 효율적으로 사용자의 집중도 및 행복 감정을 향상시킬 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당해 기술분야에 있어서의 통상의 지식을 가진 자가 명확하게 이해할 수 있을 것이다.
도 1은 본 발명의 다양한 실시 예들에 따른 통신 시스템을 도시한다.
도 2는 본 발명의 다양한 실시 예들에 따른 전자 장치의 구성에 대한 블록도를 도시한다.
도 3은 본 발명의 다양한 실시 예들에 따른 서버의 구성에 대한 블록도를 도시한다.
도 4는 본 발명의 다양한 실시 예들에 따른 전자 장치의 동작 방법을 도시한다.
도 5는 본 발명의 다양한 실시 예들에 따른 기계 학습 모델의 구조를 도시한다.
도 6은 본 발명의 다양한 실시 예들에 따른 생체 정보 획득 과정의 일 예를 도시한다.
도 7은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 8은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 9는 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 10은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 11은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 12는 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
도 13은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반하여 심장 반응 정보 및 사용자 표정 정보를 인식하는 과정의 일 예를 도시한다.
도 14는 본 발명의 다양한 실시 예들에 따라서, 감정 인식에 기초하여 데이터를 수집하고 서비스 솔루션을 제공하는 과정을 도시한다.
도 15는 본 발명의 다양한 실시 예들에 따라서, 감정 인식에 기초하여 데이터를 수집하고 서비스 솔루션을 제공하는 과정을 도시한다.
도 16은 본 발명의 다양한 실시 예들에 따른 생체 정보의 일 예를 도시한다.
도 17은 본 발명의 다양한 실시 예들에 따른 생체 정보의 일 예를 도시한다.
도 18은 본 발명의 다양한 실시 예들에 따라서 집중도(focus) 몰입도(engagement)의 관계를 도시한다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
도 1은 본 발명의 다양한 실시 예들에 따른 통신 시스템을 도시한다.
도 1을 참고하면, 본 발명의 다양한 실시 예들에 따른 통신 시스템은 전자 장치(110), 유/무선 통신 네트워크(120), 서버(130)를 포함한다. 전자 장치(110)는 사용자(100)의 생체 정보를 획득하고, 사용자(100)에게 시청각 컨텐츠를 출력한다.
전자 장치(110)는, 유/무선 통신 네트워크(120)를 통하여 서버(130)로부터 사용자의 컨텐츠 시청에 따른 생체 정보 변화와 컨텐츠 정보의 맵핑에 대한 누적 데이터, 요청된 컨텐츠의 데이터를 수신하고, 서버(130)에게 사용자의 컨텐츠 시청에 따른 생체 정보 변화와 컨텐츠 정보의 맵핑에 대하여 새로 획득한 데이터, 출력할 컨텐츠에 대한 요청 정보를 전송할 수 있는 단말 장치이다. 전자 장치(110)는 퍼스널 컴퓨터, 셀룰러 폰, 스마트 폰 및 태블릿 컴퓨터 등과 같이, 정보를 저장할 수 있는 메모리, 정보의 송수신을 수행할 수 있는 송수신부, 정보의 연산을 수행할 수 있는 적어도 하나의 프로세서를 포함하는 전자 장치일 수 있다.
유/무선 통신 네트워크(120)는, 전자 장치(110) 및 서버(130)가 서로 신호 및 데이터를 송수신할 수 있는 통신 경로를 제공한다. 유/무선 통신 네트워크(120)는 특정한 통신 프로토콜에 따른 통신 방식에 한정되지 않으며, 구현 예에 따라 적절한 통신 방식이 사용될 수 있다. 예를 들어, 인터넷 프로토콜(IP) 기초의 시스템으로 구성되는 경우 유/무선 통신 네트워크(120)는 유무선 인터넷망으로 구현될 수 있으며, 전자 장치(110) 및 서버(130)가 이동 통신 단말로서 구현되는 경우 유/무선 통신 네트워크(120)는 셀룰러 네트워크 또는 WLAN(wireless local area network) 네트워크와 같은 무선망으로 구현될 수 있다.
서버(130)는, 유/무선 통신 네트워크(120)를 통하여 전자 장치(110)에게 사용자의 컨텐츠 시청에 따른 생체 정보 변화와 컨텐츠 정보의 맵핑에 대한 누적 데이터, 요청된 컨텐츠의 데이터를 전송하고, 전자 장치(110)로부터 사용자의 컨텐츠 시청에 따른 생체 정보 변화와 컨텐츠 정보의 맵핑에 대하여 새로 획득한 데이터, 출력할 컨텐츠에 대한 요청 정보를 수신할 수 있는 단말 장치이다. 서버(130)는 정보를 저장할 수 있는 메모리, 정보의 송수신을 수행할 수 있는 송수신부, 정보의 연산을 수행할 수 있는 적어도 하나의 프로세서를 포함하는 전자 장치일 수 있다.
도 2는 본 발명의 다양한 실시 예들에 따른 전자 장치의 구성에 대한 블록도를 도시한다.
도 2를 참고하면, 본 발명의 다양한 실시 예들에 따른 전자 장치(110)는 메모리(111), 송수신부(112) 및 프로세서(113)를 포함한다.
메모리(111)는, 송수신부(112)와 연결되고 통신을 통해 서버(130)로부터 수신한 사용자의 컨텐츠 시청에 따른 생체 정보 변화와 컨텐츠 정보의 맵핑에 대한 누적 데이터, 컨텐츠의 데이터, 기계 학습 모델 등을 저장할 수 있다. 또한, 메모리(111)는, 프로세서(113)와 연결되고 프로세서(113)의 동작을 위한 기본 프로그램, 응용 프로그램, 설정 정보, 프로세서(113)의 연산에 의하여 생성된 정보 등의 데이터를 저장할 수 있다. 메모리(111)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 메모리(111)는 프로세서(113)의 요청에 따라 저장된 데이터를 제공할 수 있다.
송수신부(112)는, 프로세서(113)와 연결되고 신호를 전송 및/또는 수신한다. 송수신부(113)의 전부 또는 일부는 송신기(transmitter), 수신기(receiver), 또는 송수신기(transceiver)로 지칭될 수 있다. 송수신기(112)는 유선 접속 시스템 및 무선 접속 시스템들인 IEEE(institute of electrical and electronics engineers) 802.xx 시스템, IEEE Wi-Fi 시스템, 3GPP(3rd generation partnership project) 시스템, 3GPP LTE(long term evolution) 시스템, 3GPP 5G NR(new radio) 시스템, 3GPP2 시스템, 블루투스(bluetooth) 등 다양한 무선 통신 규격 중 적어도 하나를 지원할 수 있다.
프로세서(113)는, 본 발명에서 제안한 절차 및/또는 방법들을 구현하도록 구성될 수 있다. 프로세서(113)는 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 전자 장치(110)의 전반적인 동작들을 제어한다. 예를 들어, 프로세서(116)는 송수신부(115)를 통해 정보 등을 전송 또는 수신한다. 또한, 프로세서(116)는 메모리(112)에 데이터를 기록하고, 읽는다. 프로세서(116)는 적어도 하나의 프로세서(processor)를 포함할 수 있다.
도 3은 본 발명의 다양한 실시 예들에 따른 서버의 구성에 대한 블록도를 도시한다.
도 3을 참고하면, 본 발명의 다양한 실시 예들에 따른 서버(130)는 메모리(131), 송수신부(132) 및 프로세서(133)를 포함한다.
서버(130)는 사용자의 컨텐츠 시청에 따른 생체 정보 변화와 컨텐츠 정보의 맵핑에 대한 누적 데이터를 저장하고, 전자 장치(110)의 요청에 따라서 컨텐츠의 데이터를 전송할 수 있는 서버를 의미한다.
메모리(131)는, 송수신부(132)와 연결되고 통신을 통해 수신한 정보 등을 저장할 수 있다. 또한, 메모리(131)는, 프로세서(133)와 연결되고 프로세서(133)의 동작을 위한 기본 프로그램, 응용 프로그램, 설정 정보, 프로세서(133)의 연산에 의하여 생성된 정보 등의 데이터를 저장할 수 있다. 메모리(131)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 메모리(131)는 프로세서(133)의 요청에 따라 저장된 데이터를 제공할 수 있다.
송수신부(132)는, 프로세서(133)와 연결되고 신호를 전송 및/또는 수신한다. 송수신부(132)의 전부 또는 일부는 송신기(transmitter), 수신기(receiver), 또는 송수신기(transceiver)로 지칭될 수 있다. 송수신기(132)는 유선 접속 시스템 및 무선 접속 시스템들인 IEEE(institute of electrical and electronics engineers) 802.xx 시스템, IEEE Wi-Fi 시스템, 3GPP(3rd generation partnership project) 시스템, 3GPP LTE(long term evolution) 시스템, 3GPP 5G NR(new radio) 시스템, 3GPP2 시스템, 블루투스(bluetooth) 등 다양한 무선 통신 규격 중 적어도 하나를 지원할 수 있다.
프로세서(133)는, 본 발명에서 제안한 절차 및/또는 방법들을 구현하도록 구성될 수 있다. 프로세서(133)는 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위하여 서버(130)의 전반적인 동작들을 제어한다. 예를 들어, 프로세서(133)는 송수신부(132)를 통해 정보 등을 전송 또는 수신한다. 또한, 프로세서(133)는 메모리(131)에 데이터를 기록하고, 읽는다. 프로세서(135)는 적어도 하나의 프로세서(processor)를 포함할 수 있다.
도 4는 본 발명의 다양한 실시 예들에 따른 전자 장치의 동작 방법을 도시한다. 도 4의 실시 예에서, 전자 장치는 카메라, 출력 장치, 메모리, 송수신기 및 적어도 하나의 프로세서를 포함하며, 상기 출력 장치는 디스플레이 및 스피커 중 하나 이상을 포함한다.
도 4를 참조하면, S401 단계에서, 전자 장치는 사용자의 얼굴을 포함하는 상반신에 대한 화상 이미지를 누적하여 획득한다.
S402 단계에서, 전자 장치는 서버로부터 수신한 하나 이상의 컨텐츠를 연속하여 출력한다. 각각의 상기 하나 이상의 컨텐츠는 각각의 상기 하나 이상의 컨텐츠 직전에 출력된 컨텐츠와 연관되는 컨텐츠이다.
S403 단계에서, 전자 장치는 화상 이미지에 기반하여, 상기 컨텐츠의 출력 전의 상기 사용자의 제1 생체 정보 및 상기 컨텐츠의 출력 후의 상기 사용자의 제2 생체 정보를 획득한다. 상기 제1 생체 정보 및 상기 제2 생체 정보는 심전도 정보, 집중도 수치, 행복 감정 비율을 포함한다. 일 실시 예에 따르면, 심전도 정보는 화상 이미지 중 얼굴의 미세 떨림 정보를 이용하여 획득되고, 집중도 수치는 심전도 정보에 기반하여 획득될 수 있다. 일 실시 예에 따르면, 행복 감정 비율은 상기 화상 이미지 중 얼굴 내 특정 감정 점들의 패턴, 상반신 내 특정 움직임 점들의 패턴에 기반하여 획득될 수 있다.
S404 단계에서, 전자 장치는 컨텐츠의 컨텐츠 정보와 제1 생체 정보 및 제2 생체 정보의 맵핑 정보를 저장한다. 일 실시 예에 따르면, 컨텐츠 정보는 컨텐츠 장르, 컨텐츠 주제, 컨텐츠 채널 중 적어도 하나를 포함할 수 있다.
S405 단계에서, 전자 장치는 컨텐츠 정보, 상기 제1 생체 정보 및 상기 제2 생체 정보를 학습 데이터로 사용하여, 상기 사용자의 특정 컨텐츠 출력 전 생체 정보 및 특정 컨텐츠의 정보를 입력할 경우 상기 사용자의 특정 컨텐츠 출력 후 생체 정보를 도출하는 기계 학습 모델을 학습한다. 일 실시 예에 따르면, 기계 학습 모델은 입력 계층, 복수의 은닉 계층 및 출력 계층으로 구성될 수 있다.
S406 단계에서, 전자 장치는 사용자의 상기 집중도 수치의 분당 평균 값이 임계 집중도 수치 이하로 떨어지는지 여부에 기반하여 컨텐츠 조정 여부를 결정한다.
S407 단계에서, 전자 장치는 컨텐츠 조정을 결정한 경우, 상기 기계 학습 모델에 상기 사용자의 현재 생체 정보를 입력하여 도출된 컨텐츠 조정 후 생체 정보를 기초로, 상기 사용자의 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상이 될 수 있는 조정 컨텐츠 정보를 결정한다.
일 실시 예에 따르면, S407 단계는, 입력 계층에 상기 사용자의 상기 현재 생체 정보와 임의의 컨텐츠 정보를 입력하는 과정과, 상기 복수의 은닉 계층 각각 내에 저장된 복수 개의 노드로 정의되는 유닛들과 상기 사용자의 상기 현재 생체 정보를 연결하는 과정과, 상기 사용자의 상기 현재 생체 정보와 상기 유닛들 간의 상관 관계에 기초하여 상기 사용자의 상기 임의의 컨텐츠 정보에 해당하는 컨텐츠 조정 후 생체 정보 중 집중도 수치와 행복 감정 비율이 상기 임계 집중도 수치 및 상기 임계 행복 감정 비율 이상일지 여부에 대한 예측 값을 생성하는 과정과, 상기 예측 값이 소정의 임계 예측 값 이상인 경우, 상기 임의의 컨텐츠 정보로써 상기 조정 컨텐츠 정보를 생성하는 과정을 포함할 수 있다. 일 실시 예에 따르면, 상기 임의의 컨텐츠는, 상기 저장된 맵핑 정보에 기반하여, 집중도 수치와 행복 감정 비율이 상기 임계 집중도 수치 및 상기 임계 행복 감정 비율 이상인 제2 생체 정보에 맵핑된 복수의 컨텐츠 정보 중 임의의 컨텐츠 정보일 수 있다.
일 실시 예에 따르면, 유닛들은 상기 현재 생체 정보를 구성하는 값들을 규합시켜 형성되고, 상기 출력 계층은 상기 컨텐츠 조정 후 생체 정보 중 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상이라는 예측 결과 유닛인 참(true) 유닛과 상기 컨텐츠 조정 후 생체 정보 중 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 미만이라는 예측 결과 유닛인 거짓(false) 유닛을 포함할 수 있다. 또한, 현재 생체 정보와 상기 유닛들 간의 상관 관계에 기초하여 상기 컨텐츠 조정 후 생체 정보 중 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상일지 여부에 대한 예측 값을 생성하는 과정은, 상기 유닛들 중 어느 하나가 상기 제2 생체 정보를 구성하는 각 값들이 상기 컨텐츠 조정 후 생체 정보 중 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상일 가능성이 높다고 예측되는 경우, 상기 참 유닛과의 연결에 대해서 양의 값을 갖는 가중치를 부여하고, 상기 거짓 유닛과의 연결에 대해서 음의 값을 가중치를 부여하는 과정과, 상기 유닛들 중 어느 하나가 상기 컨텐츠 조정 후 생체 정보 중 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상일 가능성이 낮다고 예측되는 경우, 상기 참 유닛과의 연결에 대해서 음의 값을 갖는 가중치를 부여하고, 상기 거짓 유닛과의 연결에 대해서 양의 값을 갖는 가중치를 부여하는 과정과, 상기 유닛들과 상기 참 유닛 사이의 연결들에 대한 총합이 양이거나 미리 설정된 값보다 큰 경우, 상기 컨텐츠 조정 후 생체 정보 중 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상이라는 예측 값을 생성하는 과정을 포함할 수 있다.
S408 단계에서, 전자 장치는 서버에게 상기 조정 컨텐츠 정보를 전송한다. 일 실시 예에 따르면, 조정 컨텐츠 정보는 조정 컨텐츠의 컨텐츠 장르, 컨텐츠 주제, 컨텐츠 채널 중 적어도 하나를 포함할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 상술한 S405 단계, S407 및 S408 단계는 전자 장치가 아닌 서버에 의하여 수행될 수도 있다. 구체적으로, 전자 장치는 상술한 S405 단계를 수행하는 대신, S404 단계에서 새로 획득된 컨텐츠 정보, 제1 생체 정보 및 제2 생체 정보의 맵핑 정보를 서버에게 전송할 수 있다. 전자 장치로부터 수신한 서버가 컨텐츠 정보, 제1 생체 정보 및 제2 생체 정보의 맵핑 정보에 기반하여 기계 학습 모델을 학습할 수 있다. 또한, 전자 장치는 상술한 S407 단계 및 S408 단계를 수행하는 대신, 컨텐츠 조정을 결정한 경우, 서버에게 사용자의 현재 생체 정보를 포함하는 조정 컨텐츠 요청 메시지를 전송할 수 있다. 서버는 전자 장치로부터 수신한 사용자의 현재 생체 정보를 서버 내 기계 학습 모델에 입력하여, 사용자의 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상이 될 수 있는 조정 컨텐츠 정보를 결정할 수 있다.
S409 단계에서, 전자 장치는 서버로부터 상기 조정 컨텐츠 정보에 대응하는 조정 컨텐츠를 수신한다. 조정 컨텐츠는 기계 학습 모델에 의하여 사용자의 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상으로 변동할 수 있는 컨텐츠이다.
S410 단계에서, 전자 장치는 조정 컨텐츠를 출력한다. 기계 모델의 예측 결과에 기반하면, 사용자는 조정 컨텐츠를 시청함에 따라서, 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상으로 변동할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치는 녹음 장치를 더 포함할 수 있다. 또한, 전자 장치는 S401 단계에서, 사용자의 얼굴을 포함하는 상반신에 대한 화상 이미지에 더하여, 추가적으로, 사용자의 음성 정보를 누적하여 획득할 수 있다. 또한, 전자 장치는 S403 단계에서, 제1 생체 정보 및 상기 제2 생체 정보를 상기 음성 정보에 추가로 기반하여 획득할 수 있다. 또한, 제1 생체 정보 및 제2 생체 정보에 포함된 행복 감정 비율은 음향 특성 정보에 추가로 기반하여 획득될 수 있다. 상기 음향 특성 정보는 상기 음성 정보 내 운율 특성, 음성 스펙트럼 특성 중 하나 이상을 포함할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치는 사용자의 요청에 따라서 사용자의 집중도 및 행복 감정 비율의 시간 별 및/또는 컨텐츠 별 변화에 대한 리포트를 출력할 수 있다. 상기 리포트는 시간의 흐름 및 전자 장치의 컨텐츠 조정에 의하여 사용자의 집중도 수치와 행복 감정 비율이 구체적으로 어떻게 변화하였는지를 나타낼 수 있다. 또한, 상기 리포트는 컨텐츠 조정 이전 연속적으로 출력되던 각각의 컨텐츠에 대하여 사용자의 집중도 수치와 행복 감정 비율이 어떠하였는지를 나타낼 수 있다. 사용자는 상기 리포트를 통하여 자신의 집중도와 행복 감정 비율이 시간 별 및/또는 컨텐츠 별로 어떻게 변화하였는지에 대한 양상을 표 또는 그래프로 확인할 수 있다. 전자 장치로부터 제공되는 시간 별 및/또는 컨텐츠 별 집중도 및 행복 감정 비율에 대한 리포트를 통해 사용자는 스스로 몰입이 잘 이루어졌던 순간의 컨텐츠 특징에 대하여 파악할 수 있다.
도 5는 본 발명의 다양한 실시 예들에 따른 기계 학습 모델의 구조를 도시한다.
본 발명의 다양한 실시 예들에 따른 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 다층 인공 신경망(multi-layer perceptron, MLP)의 구조를 도시한다.
심층 학습(deep learning)은 최근 기계 학습 분야에서 대두되고 있는 기술 중 하나로써, 복수 개의 은닉 계층(hidden layer)과 이들에 포함되는 복수 개의 유닛(hidden unit)으로 구성되는 신경망(neural network)이다. 심층 학습 모델에 기본 특성(low level feature)들을 입력하는 경우, 이러한 기본 특성들이 복수 개의 은닉 계층을 통과하면서 예측하고자 하는 문제를 보다 잘 설명할 수 있는 상위 레벨 특성(high level feature)로 변형된다. 이러한 과정에서 전문가의 사전 지식 또는 직관이 요구되지 않기 때문에 특성 추출에서의 주관적 요인을 제거할 수 있으며, 보다 높은 일반화 능력을 갖는 모델을 개발할 수 있게 된다. 나아가, 심층 학습의 경우 특징 추출과 모델 구축이 하나의 세트로 구성되어 있기 때문에 기존의 기계학습 이론들 대비 보다 단순한 과정을 통하여 최종 모델을 형성할 수 있다는 장점이 있다.
다층 인공 신경망(multi-layer perceptron, MLP)은 심층 학습에 기반하여 여러 개의 노드가 있는 인공 신경망(artificial neural network, ANN)의 한 종류이다. 각 노드는 동물의 연결 패턴과 유사한 뉴런으로 비선형 활성화 기능을 사용한다. 이 비선형 성질은 분리할 수 없는 데이터를 선형적으로 구분할 수 있게 한다.
도 5를 참고하면, 본 발명의 다양한 실시 예들에 따른 MLP 모델의 인공 신경망(500)은 하나 이상의 입력 계층(input layer)(510), 복수 개의 은닉 계층(hidden layer)(530), 하나 이상의 출력 계층(output layer)(550)으로 구성된다.
입력 계층(510)의 노드에는 단위 시간별 적어도 하나의 초음파 이미지 내 각각의 픽셀의 RGB 값과 같은 입력 데이터가 입력된다. 여기서, 사용자의 생체 정보, 예를 들어, 심전도 정보, 집중도 수치, 행복 감정 비율의 정보, 및, 조정 컨텐츠의 정보, 예를 들어, 컨텐츠 장르, 컨텐츠 주제, 컨텐츠 채널의 정보 각각(511)은 심층 학습 모델의 기본 특성(low level feature)에 해당한다.
은닉 계층(530)의 노드에서는 입력된 인자들에 기초한 계산이 이루어진다. 은닉 계층(530)은 사용자의 생체 정보 및 조정 컨텐츠의 정보(511)를 규합시켜 형성된 복수 개의 노드로 정의되는 유닛들이 저장된 계층이다. 은닉 계층(530)은 도 5에 도시된 바와 같이 복수 개의 은닉 계층으로 구성될 수 있다.
예를 들어, 은닉 계층(530)이 제1 은닉 계층(531) 및 제2 은닉 계층(533)으로 구성될 경우, 제1 은닉 계층(531)은 사용자의 생체 정보 및 조정 컨텐츠의 정보(511)를 규합시켜 형성된 복수 개의 노드로 정의되는 제1 유닛들(532)이 저장되는 계층으로서, 제1 유닛(532)은 사용자의 생체 정보 및 조정 컨텐츠의 정보(511)의 상위 특징에 해당된다. 제2 은닉 계층(533)은 제1 은닉 계층(531)의 제1 유닛들을 규합시켜 형성된 복수 개의 노드로 정의되는 제2 유닛들(534)이 저장되는 계층으로, 제2 유닛(534)은 제1 유닛(532)의 상위 특징에 해당된다.
출력 계층(550)의 노드에서는 계산된 예측 결과를 나타낸다. 출력 계층(550)에는 복수 개의 예측 결과 유닛들(551)이 구비될 수 있다. 구체적으로 복수 개의 예측 결과 유닛들(551)은 참(true) 유닛 및 거짓(false) 유닛의 두 개의 유닛들로 구성될 수 있다. 구체적으로, 참 유닛은 조정 컨텐츠로의 컨텐츠 조정 후 사용자의 생체 정보 중 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상일 가능성이 높다는 의미를 지닌 예측 결과 유닛이고, 거짓 유닛은 조정 컨텐츠로의 컨텐츠 조정 후 사용자의 생체 정보 중 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상일 가능성이 낮다는 의미를 지닌 예측 결과 유닛이다.
은닉 계층(530) 중 마지막 계층인 제2 은닉 계층(533)에 포함된 제2 유닛들(534)과 예측 결과 유닛들(551) 간의 연결에 대하여 각각의 가중치들이 부여되게 된다. 이러한 가중치에 기초하여 조정 컨텐츠로의 컨텐츠 조정 후 사용자의 생체 정보 중 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상일지 여부를 예측하게 된다.
예를 들어, 제2 유닛(534) 중 어느 하나의 유닛이 조정 컨텐츠로의 컨텐츠 조정 후 사용자의 생체 정보 중 집중도 수치와 행복 감정 비율을 임계 집중도 수치 및 임계 행복 감정 비율 이상으로 예측하는 경우 참 유닛 및 거짓 유닛과 각각 연결되는데, 참 유닛 과의 연결에 대해서는 양의 값을 갖는 가중치가 부여될 것이고, 거짓 유닛과의 연결에 대해서는 음의 값을 갖는 가중치가 부여될 것이다. 반대로, 제2 유닛(534) 중 어느 하나의 유닛이 조정 컨텐츠로의 컨텐츠 조정 후 사용자의 생체 정보 중 집중도 수치와 행복 감정 비율을 임계 집중도 수치 및 임계 행복 감정 비율 미만으로 예측하는 경우 참 유닛 및 거짓 유닛과 각각 연결되는데, 참 유닛 과의 연결에 대해서는 음의 값을 갖는 가중치가 부여될 것이고, 거짓 유닛과의 연결에 대해서는 양의 값을 갖는 가중치가 부여될 것이다.
복수 개의 제2 유닛들(534)과 참 유닛 사이에는 복수 개의 연결선들이 형성될 것이다. 복수 개의 연결선들의 총 합이 양의 값을 갖는 경우, 입력 계층(510)에서의 사용자의 생체 정보 및 조정 컨텐츠의 정보(511)은 조정 컨텐츠로의 컨텐츠 조정 후 사용자의 생체 정보 중 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상인 인자들로 예측될 것이다. 일 실시 예에 따라서, 조정 컨텐츠로의 컨텐츠 조정 후 사용자의 생체 정보 중 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상인지 여부는 복수 개의 연결선들의 총 합과 미리 설정된 값을 비교하여 예측할 수도 있다.
MLP 모델의 인공 신경망(500)은 학습 파라미터들을 조정하여 학습한다. 일 실시 예에 따라서, 학습 파라미터들은 가중치 및 편차 중 적어도 하나를 포함한다. 학습 파라미터들은 기울기 하강법(gradient descent)이라는 최적화 알고리즘을 통해 반복적으로 조정된다. 주어진 데이터 샘플로부터 예측 결과가 계산될 때마다(순방향 전파, forward propagation), 예측 오류를 측정하는 손실 함수를 통해 네트워크의 성능이 평가된다. 인공 신경망(500)의 각 학습 파라미터는 손실 함수의 값을 최소화하는 방향으로 조금식 증가하여 조정되는데, 이 과정은 역 전파(back-propagation)라고 한다.
상기와 같은 모델을 통해 조정 컨텐츠로의 컨텐츠 조정 후 사용자의 생체 정보 중 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상인지 여부를 예측하고, 적절한 조정 컨텐츠를 결정할 수 있다.
도 6은 본 발명의 다양한 실시 예들에 따른 생체 정보 획득 과정의 일 예를 도시한다.
도 6을 참조하면, 사용자의 얼굴을 포함하는 상반신에 대한 화상 이미지로부터 사용자의 생체 정보를 획득하는 과정의 일 예를 도시한다.
구체적으로, 전자 장치는 화상 이미지 중 얼굴 내 특정 감정 점들의 패턴, 상반신 내 특정 움직임 점들의 패턴을 분석함으로써 사용자의 감정 종류, 감정 비율의 정보를 획득할 수 있다. 보다 상세하게는, 사용자로부터 기본 표정(무표정)과 이에 비교되는 다수의 감정상태에 따르는 감정 표정의 안면 영상을 획득하고, 기본 표정 또는 감정 표현의 안면 영상에, 안면 부위별 기준 정점을 정의하는 표준 모델을 마스킹(매칭)하여 사용자의 안면 영상에 안면 부위별로 다수의 정점들을 맵핑한 이후에 기본 표정과 감정 표현의 안면 영상에서 동일 안면 부위에서의 정점간의 좌표 변화 값을 추출하고 상기 정점들을 인체 안면에 정의되어 있는 표정단위(Action Unit)으로 별로 그룹화하고, 표정단위 그룹별 정점들의 중점(Centroid)의 변화 값을 포함하는 표정단위 안면 움직임 정보를 추출하고 추출한 안면 움직임 정보를 다수의 감정 상태 별로 데이터 베이스화 하여 감정의 종류와 감정 비율의 정보를 획득할 수 있다.
이 때, 표정단위 안면 움직임 정보는 행복(happy), 중립(neutral), 분노(angry), 공포(fear), 놀람(surprise), 슬픔(sad), 혐오(disgust) 등에 대한 정보를 포함할 수 있다.
도 7은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
본 발명의 다양한 실시 예들에서, 감정과 감성은 서로 대체할 수 있는 용어, 즉, emotion의 동일한 의미를 지칭하는 용어로 사용한다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치는 i) 화상 이미지 중 얼굴 검출, ii) 얼굴 포인트 검출, iii) 얼굴 근육 정의, iv) 근육 움직임 추적, v) 유효 감성 파라미터 추출, vi) 룰 베이스 구축, vii) 감성 인식을 수행할 수 있다.
i) 얼굴 검출에 대하여, 전자 장치는 얼굴 특징 기반 Haar 모델을 이용한 Viola-Jones 알고리즘을 이용한다. 이에 따라, 얼굴 특징 기반으로 기존 색상 기반 모델에 비해 조명으로 인한 항계를 극복하고, 얼굴 모델 기반의 통계적 접근법인 AAM 기반 방법보다 적은 컴퓨팅 비용을 보여 실시간 프로세스에 적용 가능하다.
ii) 얼굴 포인트 검출에 대하여, 전자 장치는 DLIB 기반 Regression Trees 앙상블 알고리즘을 사용하여, 눈, 코, 입에 대한 얼굴 포인트 68개를 검출할 수 있다.
iii) 얼굴 근육 정의에 대하여, 전자 장치는, facial action coding system에 따른 얼굴 포인트 기반 얼굴 근육 정의에 따라서, 표정에 민감한 얼굴 근육 39개를 정의할 수 있다.
iv) 근육 움직임 추적에 대하여, 전자 장치는 영상 프레임에 따른 얼굴 근육의 움직임을 추적하고, 표정에 따른 얼굴 근육의 XY 좌표 및 면적 변화량을 추적할 수 있다.
v) 유효 감성 파라미터 추출에 대하여, 전자 장치는 6가지 기본 감성에 대한 얼굴 근육의 움직임 특징 기반 유효 감성 파라미터를 추출하여, 행복, 슬픔, 놀람, 화남, 역겨움, 두려움의 감정을 추출할 수 있다.
v) 룰 베이스 구축에 대하여, 전자 장치는 실제 얼굴 표정 데이터로부터 감성 인식을 위한 룰 베이스를 구축하여, 보편적 중립 얼굴 모델을 이용해 개인화 문제를 극복하고, 통계 분석 기반 룰 베이스 구축을 통해 감성 인식을 위한 얼굴 모델을 구축할 수 있다.
vi) 감성 인식에 대하여, 전자 장치는 Fuzzy 기반 감성 인식 알고리즘을 이용해, 룰 베이스 기반 각성 별 확률을 계산하고, 각 감성의 확률적 접근을 통해 감성 인식의 민감성을 최소화할 수 있다.
도 8은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
구체적으로, 도 8은 사용자의 얼굴을 포함한 상반신에 대한 화상 이미지로부터 얼굴 이미지 데이터를 추출하는 과정을 도시한다.
우선, 전자 장치는 Haar 특징 추출을 수행한다. 구체적으로, 전자 장치는 눈, 코와 같은 얼굴 특징에 해당하는 커널을 이용해 이미지의 각 부분을 픽셀 단위로 비교하여 입력 영상 이미지로부터 얼굴이 존재할 확률을 계산한다. 전자 장치는 입력 영상에서 검정 영역과 흰색 영역에 해당하는 밝기 값을 빼서 임계 값 이상인 것을 찾는다.
다음으로, 전자 장치는 캐스케이드(cascade) 분류를 수행한다. 구체적으로, 전자 장치는 Haar 특징으로 얼굴 여부를 인식할 수 있는 캐스케이드 분류기를 사용하여 얼굴을 검출한다. 도 8의 실시 예에서는 미리 트레이닝된 Frontalface_alt2 모델을 적용하였다. 전자 장치는 눈과 같은 확실한 Haar 특징으로부터 후보를 축소한 후, 자세한 얼굴 요소의 Haar 특징으로 최종 얼굴을 검출한다.
다음으로, 전자 장치는 랜드마크를 검출한다. 도 8의 실시 예에서는, 전자 장치가 iBUG 300-W 데이터셋으로 트레이닝 된 DLIB 기반 Regression Trees 앙상블 모델을 적용하였다. Haar 모델로부터 검출된 정면 얼굴에 대해 눈, 코, 입, 눈썹, 턱 등에 대한 얼굴 포인트 68개를 검출한다. 각 얼굴 포인트는 2차원 공간에서 x, y 좌표 값을 지니고 있다.
다음으로, 전자 장치는 좌표계 정규화를 수행한다. 구체적으로, 검출된 얼굴 포인트는 화면의 왼쪽 상단을 원점으로 하는 좌표계에 위치하고 있다. 이는 동일한 표정임에도 불구하고 얼굴의 위치에 따라 다른 값을 보일 수 있어 노이즈로 작용한다. 따라서 미간을 원점으로 하는 상대좌표계로 정규화하여 이러한 문제를 해결할 수 있다.
도 9는 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
구체적으로, 도 9는 AU(action unit)의 명칭 별 얼굴 포인트 인덱스를 도시한다.
Facial Action Coding System(FACS)에 따른 얼굴 포인트 기반 얼굴 근육 정의는 다음과 같다. Facial Action Coding System(FACS)은 감성을 표현하는데 사용되는 얼굴 근육의 움직임을 정의한 기준 시스템이다 (Ekman P, 1978). 이에 대응하는 얼굴 근육을 분석하기 위해 얼굴 포인트 68개를 기반으로 얼굴 근육(Action Unit) 39개를 정의한다. 이 때, 얼굴의 해부학적 요인을 고려하여 FACS에서 정의된 근육의 움직임을 적합하게 표현할 수 있도록 고려한다.
도 10은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
구체적으로, 도 10은 폴리곤(polygon) 형태의 얼굴 근육의 예시를 도시한다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치는 얼굴 근육 특징 추출할 수 있다. 구체적으로, 전자 장치는 얼굴 포인트의 XY 좌표로부터 얼굴 근육의 면적과 중심 x, y 좌표를 계산하고, 정형화되지 않은 얼굴 근육의 Polygon 형태를 고려하여 면적을 계산하며, 중심 x, y 좌표 또한 Polygon 형태를 고려하여 무게중심을 계산할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치는 얼굴 근육의 움직임을 추적할 수 있다. 구체적으로, 전자 장치는 얼굴 근육의 움직임을 추적하기 위해 매 프레임마다 각 근육의 면적과 중심 x, y 좌표를 추출하고, 평상시 얼굴을 기준으로 현재 얼굴과의 근육 특징의 변화량을 계산하며, 이를 이용해 영상 프레임에 따라 변화하는 근육 움직임을 추적할 수 있다.
도 11은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
구체적으로, 도 11은 얼굴 근육의 움직임에 기초하여 각 감정 또는 감성의 데이터를 획득하는 과정을 도시한다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치는 기본 감성 또는 기본 감정에 따른 얼굴 근육 움직임 특징을 결정할 수 있다. FACS에 의해 정의된 감성에 따른 얼굴 근육의 움직임 특징을 정의한다. 6가지 기본감성인 행복, 슬픔, 놀람, 화남, 역겨움, 두려움을 모두 고려한다.
도 12는 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반한 감정 또는 감성(emotion)을 인식하는 과정의 일 예를 도시한다.
구체적으로, 도 12는 감정 인식을 위한 룰 베이스를 도시한다. 도 12의 룰 베이스는 통계 분석 및 룰 베이스 구축을 통해 도출된 결과이다.
구체적으로, 통계 분석은 다음과 같이 수행되었다. 감성 인식을 위한 룰 베이스를 구축하기 위해 실제 얼굴 표정 데이터로부터 근육 움직임 특징 변수에 대한 통계 분석을 실시하고, 62명에 대해 6가지 기본감성인 행복, 슬픔, 놀람, 화남, 역겨움, 두려움의 얼굴 표정 사진을 각각 취득하며, 평상시 사진을 포함하여 7그룹에 대한 특징 변수들의 비교를 위해 ANOVA를 실시하였다. 각 감성의 샘플의 수가 동일하기 때문에 Tukey를 이용해 사후분석을 실시하였다.
또한, 룰 베이스 구축은 다음과 같이 수행되었다. 통계 분석 결과, 감성에 따라 차이를 보이는 근육 움직임 특징 변수들을 감성 인식을 위한 룰 베이스로 구축하였다. 또한 개인마다 약간씩 차이를 보이는 얼굴 구조의 한계를 극복하기 위해 보편적 중립 얼굴 모델을 구축하였다.
최종적으로, 본 발명의 다양한 실시 예들에 따르면, 전자 장치는 Fuzzy 기반 감성 인식 알고리즘으로 감정을 계산한다. 구체적으로, 전자 장치는 실제 데이터로부터 구축된 룰 베이스를 기반으로 현재 얼굴에 대해 각 감성 별로 확률을 계산하고, 최종 감성을 인식하기 위해 하나의 감성이 다른 감성들에 비해 각각 얼마나 높은 확률을 보이는지를 모두 고려하여 최종 확률을 계산한다. 예를 들어, 전자 장치는 현재 얼굴이 행복일 확률을 계산하기 위해서 다음과 같은 조건들을 모두 고려한다. i) 현재 얼굴이 평상시와 비교해 행복일 확률은? ii) 현재 얼굴이 슬픔과 비교해 행복일 확률은? iii) 현재 얼굴이 놀람과 비교해 행복일 확률은? iv) 현재 얼굴이 화남과 비교해 행복일 확률은? v) 현재 얼굴이 역겨움과 비교해 행복일 확률은? vi) 현재 얼굴이 두려움과 비교해 행복일 확률은? 상기 사항들을 고려한 결과, 최종적으로 전자 장치는 가장 확률이 높은 감정을 현재 감정으로 인식한다.
도 13은 본 발명의 다양한 실시 예들에 따른 사용자의 화상 이미지에 기반하여 심장 반응 정보 및 사용자 표정 정보를 인식하는 과정의 일 예를 도시한다.
구체적으로, 도 13은 본 발명의 다양한 실시 예들에 따른 비접촉 영상 기반 센싱 기술을 도시한다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치는 영상 기반 비접촉으로 사용자의 내면 반응을 실시간으로 센싱하고, 영상에서 감지된 얼굴의 미세 떨림에 기반하여 사용자의 심장 반응, 감정 반응을 분석할 수 있다.
도 13을 참조하면, 1 단계로, 전자 장치는 영상 기반 비접촉 실시간 얼굴 이미지를 검출 및 추적할 수 있다. 전자 장치는 영상 기반 비접촉식 얼굴 특징 영역을 검출할 수 있다. 전자 장치는 사용자의 얼굴 특징 영역 별 실시간 신호를 추적해서 분석할 수 있다.
2 단계로, 전자 장치는 얼굴 미세 떨림 추출 및 의식적 움직임 노이즈 제거를 수행할 수 있다. 구체적으로, 전자 장치는 1 단계에서 분석한 신호에 대하여 주파수 스펙트럼을 분석하고, 움직임을 노이즈 필터링하여, 사용자의 무의식적인 미세 움직임을 추출할 수 있다.
3 단계로, 전자 장치는 사용자의 무의식적 미세 떨림에 기반하여 사용자의 심장 반응을 분석할 수 있다. 구체적으로, 사용자의 무의식적 미세 움직임 데이터에 기반하여 ECG(electrocardiogram), RRI(R-R interval)을 추출하고, ECG, RRI에 대한 시간 도메인 분석하며, ECG, RRI를 주파수 파워 스펙트럼 변환 후 주파수 도메인 분석함으로써, 심장 반응의 유효 변수들을 추출할 수 있다. 전자 장치는 심장 반응의 유효 변수들에 기반하여 사용자의 심장 반응을 분석할 수 있다.
4 단계로, 전자 장치는 사용자의 무의식적 미세 떨림에 기반하여 사용자의 표정을 분석할 수 있다. 구체적으로, 전자 장치는 얼굴 이미지 내 AU(action units)-특징점을 맵핑하고, 모든 AU에 대하여 프레임 평균을 도출하며, 임계 값에 기반하여 모든 AU 후보 중 특정 AU를 선택하고, 선택된 AU로부터 표정 유효 변수들을 추출할 수 있다. 전자 장치는 표정 유효 변수들에 기반하여 사용자의 감정을 분석할 수 있다.
본 발명의 다양한 실시 예들에 따른 전자 장치는 카메라에 기반하여 사용자의 심장 반응, 표정, 시선, 음성 등 여러 변수들의 유기적인 관계를 고려하여 사용자의 내면 반응을 비접촉으로 분석할 수 있다.
전자 장치는 화상 이미지 중 얼굴의 미세 떨림 정보를 이용하여 심박수 정보 및 진폭 정보를 포함하는 심전도 정보를 획득할 수 있다. 이 때, 비접촉 형태의 카메라를 이용하여 영상으로부터 미세한 움직임 정보를 추출하여 이로부터 심전도 정보를 획득할 수 있다. 구체적으로, 아래와 같은 방법으로 심전도 정보를 획득 할 수 있다.
1) (영상 획득) 사용자의 얼굴이 포함되는 상반신 화상이미지로부터 연속적인 영상 데이터를 생성한다.
2) (안면 트랙킹-Face Tracking) 인체의 미세한 움직임을 머리에서 추출하기 위하여 OpenCV를 이용한 안면인식을 통하여 영상정보를 분리한다. OpenCV에 기반을 둔 안면인식시스템(facial recognition system)은 디지털 이미지를 통해 각 사람을 자동으로 식별하는 컴퓨터 지원 응용 프로그램을 말하며, 이는 화상이미지에 나타나는 선택된 얼굴 특징과 안면 데이터베이스를 서로 비교함으로써 이루어진다. 도 6의 원본 영상에 나타나는 사각형이 안면부분의 트랙킹 영역을 나타낸다. 이것은 사용자의 움직임에 대응하여 안면 부분에 대한 트랙킹이 수행된다.
3) (공간 분리-Spatial Decomposition) 잘 알려진 영상의 공간 분리 기법으로 가우시안(Gaussian blur)와 다운 샘플링(down sample)을 통하여 각 주파수(Frequency)별 공간을 분리한다.
4) (미세움직임 정보 추출) 생체신호간 상관성이 있는 주파수 대역을 선정하고 그 선정된 대역의 미세움직임 정보를 취득한다.
5) (시간 처리-Temporal Processing) 상기 추출된 미세움직임 정보를 시간처리를 이용해 시간의 흐름에 따른 미세움직임 정보와 관련된 주파수 대역의 데이터를 추출하고 추출된 데이터를 증폭한다.
6) (심전도 정보 추출) 미세움직임 정보와 관련된 주파수 대역의 데이터 값을 매 일정 시간마다 측정되는 영상의 움직임 데이터의 1프레임의 평균의 차이 값을 계산하여 이전 상태와 현 상태의 평균적으로 움직임의 차이 값을 계산하여 미세 움직임의 양을 추출하여 이를 심전도 정보로 변환할 수 있다.
나아가, 전자 장치는 심전도 정보인 심박수 및 진폭 정보에 기반하여 사용자의 집중도 수치에 대한 정보를 획득할 수 있다.
일 예로, 사용자는 게임과 같은 흥미로운 컨텐츠를 통해 자극을 받게 되는데, 이때 퀘스트 등이 주어지는 경우 교감적 활성화가 나타내게 되고, 집중도 수준에 따라 심박과 진폭 간의 특정 관계가 도출될 수 있다.
즉, 일반적으로 사용자에게 자극이 적은 중립상태에서는 서맥(느린 맥박) 범위에서는 심박 빠르기가 느리며 이에 따라 1회 심박출량이 커져야 하는 반면에, 고몰입(High Engagement) 및 저몰입(Low Engagement)에서는 중립상태에 비해 상대적으로 심박수가 높아지고 진폭이 작아지는 패턴을 보이게 된다.
구체적으로, 심박수와 진폭의 상호작용의 룰을 분석하여 집중도를 정량적으로 해석할 수 있으며, 특정 자극에 대해 집중하고 있는 사용자의 심전도 신호를 검출하고, 심전도 신호로부터 심박수(BPM)과 실제 진폭(actual amplitude) 데이터를 검출한다. 검출된 데이터를 분석하여 심박수와 실제 진폭 간의 상관관계를 통해 집중도를 도출해 낼 수 있다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치는, 화상 이미지를 획득하면서 동시에 추가적으로 사용자의 음성 정보를 획득할 수 있다. 전자 장치는 음성 정보 내 운율 특성, 음성 스펙트럼 특성을 분석함으로써 사용자의 감정 종류, 감정 비율의 정보를 획득할 수 있다. 즉, 전자 장치는 화상 이미지 중 얼굴 내 특정 감정 점들의 패턴, 상반신 내 특정 움직임 점들의 패턴과 함께 음성 정보 내 운율 특성, 음성 스펙트럼 특성에 기반하여 사용자의 감정 종류, 감정 비율의 정보를 획득할 수 있다.
한편, 본 발명의 다른 실시예에서 전자 장치는 웨어러블 디바이스로부터 수신한 심전도 정보, 영상정보 및 음성정보에 따라 사용자의 생체정보를 획득할 수 있다. 즉, 사용자가 스마트 와치(smart watch)와 같은 웨어러블 장치를 착용하고, 웨어러블 장치가 사용자의 신체와 접촉하면서 심전도 정보를 측정할 수 있다. 이 경우, 전자 장치는 웨어러블 장치로부터 블루투스 등의 무선 통신을 통해 측정된 심전도 정보를 수신할 수 있다. 전자 장치는 수신한 심전도 정보에 기반하여 사용자의 심박수, 집중도 등의 생체 정보를 산출할 수 있다. 또한, 전자 장치는 상술한 화상 이미지와 웨어러블 장치로부터 수신한 심전도 정보를 함께 고려하여 사용자의 심박수, 집중도 등의 생체 정보를 산출할 수 있다.
도 14는 본 발명의 다양한 실시 예들에 따라서, 감정 인식에 기초하여 데이터를 수집하고 서비스 솔루션을 제공하는 과정을 도시한다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치는 메모리에 저장된 프로그램 및 프로세서의 구동을 통하여 비대면 학습 시 발생하는 학습자의 비언어적 표현, 학습매체와의 상호작용 등을 인공지능 기술로 분석하여 사용자 감정 및 인지 상태를 정량적으로 측정하는 감정인식 엔진을 구현할 수 있다. 예를 들어, 전자 장치는 i) 카메라 및 마이크 기반 사용자의 영상 및/또는 음성 데이터를 수집 및 축적하고, ii) 얼굴의 반응 요소(표정, 시선 처리), 생체 반응 요소(몰입도, 긴장도, 집중도), 음성 반응 요소(운율 특성, 스펙트럼 특성, 음가/음질 특성, 강세, 발음, 억양)를 추출 및 분석하며, iii) 반응 요소 별 데이터를 처리 및 가공(반응 요소 별 측정 값 통합, 유효 변수 분석, 유효 변수 별 감정 인식 판별, 필터링 및 통합 분석, 멀티 모달 데이터 정제 및 가공)하며, iv) 감정 데이터를 분석 및 연동 연계(감정 분석 결과 기반 리포트 생성, 맞춤형 활동 교수 설계 및 추천)를 할 수 있다.
도 15는 본 발명의 다양한 실시 예들에 따라서, 감정 인식에 기초하여 데이터를 수집하고 서비스 솔루션을 제공하는 과정을 도시한다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치는 감정, 인지 상태 판별을 위한 표정, 행동 및 발화 등의 반응요소를 카메라 및 마이크로 수집하고, 학습자의 감정과 학습성과를 통합적으로 분석하여 학습효과 향상을 지원할 수 있는 콘텐츠를 제공할 수 있다. 예를 들어, 전자 장치는 i) 반응 요소 센싱 및 데이터 수집 단계에서, 별도의 바이오 센서 없이 카메라 및 마이크 만으로 사용자의 반응 요소를 인식 및 추출하고, ii) 반응 요소 별 대응 감정 분석 단계에서, 영상 정보, 생체 정보, 음성 정보의 멀티 모달 분석으로 감정 인식률 및 정확도를 제고하며, iii) 감정 결과 데이터 활용 단계에서, 감정, 인지 상태에 따라 학습 몰입을 유도(감정 및 인지 상태의 실시간 분석에 기초하여 재미 요소를 추가하여 학습 완료를 장려)하거나, 흥미 유발 콘텐츠를 제공(학습자 감정 및 인지 상태에 따라 맞춤형 콘텐츠를 제공 및 추천)할 수 있다. 추가적으로, 전자 장치는 iv) 학습자 반응 인식 결과(몰입도, 집중도 등)에 기반하여 학부모 용 분석 리포트를 제공할 수 있다.
도 16은 본 발명의 다양한 실시 예들에 따른 생체 정보의 일 예를 도시한다.
도 16의 그래프들은 본 발명의 다양한 실시 예들에 따라서 획득한 사용자의 생체 정보 중 감정의 종류, 감정의 비율에 대한 정보를 나타낸다.
도 16의 좌측 그래프는 사용자의 시간별 감정의 분포를 나타낸다. 즉, 도 16의 좌측 그래프는 사용자의 각 시간별 행복(happy), 중립(neutral), 분노(angry), 공포(fear), 놀람(surprise), 슬픔(sad), 혐오(disgust)의 감정의 비율을 도시한다. 구체적으로, y 축은 각각의 감정 종류의 비율을 나타내며, x 축은 시간을 나타낸다. 도 16의 좌측 그래프의 하단은 특정 시점, 예를 들어, 2020년 8월 14일 13시 35분 14.336초의 시점에서 사용자의 감정 분포 비율을 나타낸다. 도 16을 참조하면, 해당 시점에서 사용자의 감정 중 행복이 46.47%, 중립이 39.93%, 분노가 10%, 공포가 2.7%의 비율을 갖는다.
도 16의 우측 그래프는 사용자의 시간별 감정 상태를 나타낸다. 도 16의 우측 그래프는 도 16의 좌측 그래프에 기초하여 시간별 판정된 감정 상태를 나타낸다. 구체적으로, y축은 판정된 감정의 비율을 종류를 나타내며, x 축은 시간을 나타낸다. y 축에서 0부터 6까지의 수치는 감정의 종류를 나열한 것이다. 예를 들어, 0은 분노의 감정을 의미하며, 도 16의 좌측 그래프에서 분노의 감정이 가장 비율이 높은 경우 최종적으로 해당 시점에 사용자의 감정이 분노라고 판정되었음을 의미한다. 예를 들어, 6은 놀람의 감정을 의미하며, 도 16의 좌측 그래프에서 놀람의 감정이 가장 비율이 높은 경우 최종적으로 해당 시점에 사용자의 감정이 놀람이라고 판정되었음을 의미한다.
본 발명의 다양한 실시 예들은, 도 16의 그래프들과 같이 추출한 사용자의 감정 중 행복 감정의 비율을 높이는 것을 목적으로 한다.
도 17은 본 발명의 다양한 실시 예들에 따른 생체 정보의 일 예를 도시한다.
도 17의 그래프들은 본 발명의 다양한 실시 예들에 따라서 획득한 사용자의 생체 정보 중 심박수(heart rate, HR), 집중도(focus), 몰입도(engagement)에 대한 정보를 나타낸다.
도 17의 좌측 그래프는 사용자의 시간별 심박수(heart rate, HR), 집중도(focus), 몰입도(engagement)의 평균 값 대비 시간별 상대적 변화를 도시한다. 구체적으로, y축은 심박수, 집중도의 평균 값을 50으로 하였을 때 시간 별 상대적 수치를 도시하며, x 축은 시간을 나타낸다. 도 17의 좌측 그래프에 따르면, 집중(focused) 상태가 일정 시간 지속되면 몰입(engagement) 상태가 나타남을 알 수 있다. 즉, 집중도가 증가하고 유지가 되어야 일정 시간 후 몰입도가 상승한다.
도 17의 우측 그래프는 사용자의 시간별 집중도를 나타낸다. 구체적으로, y축은 집중도의 수치를 나타내며, x 축은 시간을 나타낸다. y 축에서 2는 가장 높은 집중도를 의미하고, 0은 가장 낮은 집중도를 의미한다. y 축 값에 대하여, 0은 노말(normal), 1은 집중(focus), 2는 몰입(engage)을 의미할 수 있다. 예를 들어, 0의 노말 상태에서 집중도가 높아지면 사용자는 집중 상태에 들어가고, 사용자의 집중도가 집중 상태에서 더 높아져 2에 이르면 몰입 상태에 들어갈 수 있다.
본 발명의 다양한 실시 예들은, 도 17의 그래프들과 같이 추출한 사용자의 집중도를 높이는 것을 목적으로 한다.
도 18은 본 발명의 다양한 실시 예들에 따라서 집중도(focus) 몰입도(engagement)의 관계를 도시한다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치는 심장 반응 기반 감정 인식을 수행할 수 있다. 본 발명의 다양한 실시 예들에 따른 심장 반응 메커니즘은 다음과 같다. 심박수(heart rate, HR)는 동방결절의 심박 조율 세포의 자발성에 자율 신경계가 영향을 줌으로써 결정된다. 동방 결절은 자율 신경계(autonomic nervous system)의 교감 신경계(sympathetic)와 부교감 신경계(parasympathetic)의 균형 상태에 의해 심박 수를 결정한다. 교감 신경계는 각성 상태로 향하게 하는 반면, 부교감 신경계는 신체를 조용하고 이완 상태로 향하게 하는 특징을 보인다. 본 발명의 다양한 실시 예들에 따른 심장 반응과 감정의 분석은 다음과 같다. 호흡, 혈압, 호르몬, 감정 등에 대한 반응으로 심장의 변동성이 발생하고, 그에 따른 심박수의 상승이 이루어지면 교감 신경계 반응을 통한 각성 상태인 집중(focused)으로 판단한다. 이러한 집중 상태가 일정 시간 지속되면, 몰입(engagement) 상태로 판단한다. 따라서, 전자 장치는 i) 카메라를 이용한 사용자의 얼굴을 포함한 상반신 영상 입력, ii) 영상을 통한 사용자의 심박수 추출, iii) 심박수 기반 감정 인식을 통해, 심장 반응을 통한 감정 인식을 수행할 수 있다.
몰입(engagement)이란 헝가리 심리학자인 Csikszentmihalyi Mihaly에 의해 정의되었으며, 주위의 모든 잡념, 방해물들을 차단하고 원하는 어느 한 곳에 자신의 모든 정신을 집중하는 일을 의미한다. 몰입은 활동에 의해 만들어지는 어떤 즐거움과 관련이 있으며, 이런 감정이 동기 부여를 유발해 활동을 다시 하도록 유도하는 것이다. 따라서, 몰입의 상태는 즐거움(enjoyment) 및 주의력 집중(focused attention)과 밀접한 연관이 있다.
심리적 몰입의 상태에서 신체 반응은 다음과 같다. 사람의 감정은 신체적 무의식적 생리 반응을 유발하여, 관찰과 측정이 가능하다. 역-U 이론(Inverted-U theory)에 따르면, 각성 상태를 통해 작업 효율(performance)을 높일 수 있다. 따라서, 몰입은 각성으로 인해 평상시보다 집중이 이루어지는 상태로 정의할 수 있다. 도 18의 우측 그래프에 따르면, 집중(focused) 상태가 일정 시간 지속되면 몰입(engagement) 상태가 나타남을 알 수 있다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치는 감정, 심박수, 집중도 등 비언어적 요소에 따라 감성 데이터와 집중 데이터를 수집한다. 전자 장치는 감정과 심박수 인식을 통해 획득한 호감도, 흥미, 몰입도 등의 생체 정보 데이터를 누적하여 사용자의 반응도가 높은 컨텐츠를 분석 및 매칭할 수 있다. 사용자의 활동에 대한 설문을 받고 활동 컨텐츠를 카테고리화 하여 각 컨텐츠 별 데이터를 연동할 수 있다. 전자 장치는 수집된 데이터를 기계 학습 모델로 학습하여 컨텐츠 조정 후 예상되는 사용자의 생체 정보 반응을 도출하고 사용자의 현재 생태 정보에 미루어 긍정적 변화가 높은 확률로 예상되는 컨텐츠를 제공할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치는 사용자의 활동 중 감정이나 심박수와 같은 바이오 로그를 데이터로 수집하여 사용자의 몰입이 높은 시점을 분석하고, 사용자가 웃고 싶을 때, 울고 싶을 때, 또는 스트레스 해소를 원할 때 등 각종 감정에 따라서 적절한 컨텐츠를 제공할 수 있다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치는 사용자의 감정 및 인지 상태에 대한 생체 정보를 실시간으로 분석하고, 일정 구간 행복과 집중이 높은 경우 사용자가 어떤 활동 또는 컨텐츠를 즐기고 있는지에 대한 데이터를 누적하여 저장할 수 있다.
본 발명의 다양한 실시 예들에 따른 전자 장치를 아동 학습 서비스 애플리케이션 분야에 적용할 경우, 전자 장치는 사용자의 학습 중 평균 집중도가 일정 수치 이하로 낮아질 때 미리 준비해둔 컨텐츠를 무작위로 제공하고 흥미도를 체크할 수 있다. 전자 장치는 누적된 데이터에 기반하여 높은 흥미도를 달성한 카테고리에 맞는 컨텐츠를 자주 노출함으로써 사용자의 평균 집중도를 향상시킬 수 있다.
본 발명의 다양한 실시 예들에 따르면, 전자 장치는 사용자의 컨텐츠 별 데이터가 장기적으로 쌓이면 기계 학습을 통해 빅데이터 분석을 하여 컨텐츠 조정 후 예상되는 사용자의 생체 정보 반응을 도출하고 사용자의 현재 생태 정보에 미루어 긍정적 변화가 높은 확률로 예상되는 컨텐츠를 제공할 수 있다.
하드웨어를 이용하여 본 발명의 실시 예를 구현하는 경우에는, 본 발명을 수행하도록 구성된 ASICs(application specific integrated circuits) 또는 DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays) 등이 본 발명의 프로세서에 구비될 수 있다.
한편, 상술한 방법은, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능한 저장 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 코드를 포함하는 저장 디바이스를 설명하기 위해 사용될 수 있는 프로그램 저장 디바이스들은, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하는 것으로 이해되지는 않아야 한다. 상기 컴퓨터 판독 가능한 저장 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함한다.
이상에서 설명된 실시 예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시 예를 구성하는 것도 가능하다. 발명의 실시 예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시 예의 일부 구성이나 특징은 다른 실시 예에 포함될 수 있고, 또는 다른 실시 예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시 예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.
본 발명이 본 발명의 기술적 사상 및 본질적인 특징을 벗어나지 않고 다른 형태로 구체화될 수 있음은 본 발명이 속한 분야 통상의 기술자에게 명백할 것이다. 따라서, 상기 실시 예는 제한적인 것이 아니라 예시적인 모든 관점에서 고려되어야 한다. 본 발명의 권리범위는 첨부된 청구항의 합리적 해석 및 본 발명의 균등한 범위 내 가능한 모든 변화에 의하여 결정되어야 한다.
100: 사용자 110: 전자 장치
111: 메모리 112: 송수신부
113: 프로세서 114: 카메라
115: 녹음 장치 116: 출력 장치
120: 유/무선 통신 네트워크 130: 서버
131: 메모리 132: 송수신부
133: 프로세서 500: 인공 신경망
510: 입력 계층 511: 입력 정보
530: 은닉 계층 531: 제1 은닉 계층
532: 제1 유닛 533: 제2 은닉 계층
534: 제2 유닛 550: 출력 계층
551: 예측 결과 유닛

Claims (10)

  1. 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 전자 장치의 동작 방법에 있어서, 상기 전자장치는 카메라, 출력 장치, 메모리, 송수신기 및 적어도 하나의 프로세서를 포함하며, 상기 출력 장치는 디스플레이 및 스피커 중 하나 이상을 포함하고,
    사용자의 얼굴을 포함하는 상반신에 대한 화상 이미지를 누적하여 획득하는 과정과,
    서버로부터 수신한 하나 이상의 컨텐츠를 연속하여 출력하는 과정과,
    상기 화상 이미지에 기반하여, 상기 컨텐츠의 출력 전의 상기 사용자의 제1 생체 정보 및 상기 컨텐츠의 출력 후의 상기 사용자의 제2 생체 정보를 획득하는 과정과, 상기 제1 생체 정보 및 상기 제2 생체 정보는 심전도 정보, 집중도 수치, 행복 감정 비율을 포함하고,
    상기 컨텐츠의 컨텐츠 정보와 상기 제1 생체 정보 및 상기 제2 생체 정보의 맵핑 정보를 저장하는 과정과,
    상기 컨텐츠 정보, 상기 제1 생체 정보 및 상기 제2 생체 정보를 학습 데이터로 사용하여, 상기 사용자의 특정 컨텐츠 출력 전 생체 정보 및 특정 컨텐츠의 정보를 입력할 경우 상기 사용자의 특정 컨텐츠 출력 후 생체 정보를 도출하는 기계 학습 모델을 학습하는 과정과,
    상기 사용자의 상기 집중도 수치의 분당 평균 값이 임계 집중도 수치 이하로 떨어지는지 여부에 기반하여 컨텐츠 조정 여부를 결정하는 과정과,
    컨텐츠 조정을 결정한 경우, 상기 기계 학습 모델에 상기 사용자의 현재 생체 정보를 입력하여 도출된 컨텐츠 조정 후 생체 정보를 기초로, 상기 사용자의 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상이 될 수 있는 조정 컨텐츠 정보를 결정하는 과정과,
    상기 서버에게 상기 조정 컨텐츠 정보를 전송하는 과정과,
    상기 서버로부터 상기 조정 컨텐츠 정보에 대응하는 조정 컨텐츠를 수신하는 과정과,
    상기 조정 컨텐츠를 출력하는 과정을 포함하는,
    동작 방법.
  2. 청구항 1에 있어서,
    상기 심전도 정보는 상기 화상 이미지 중 얼굴의 미세 떨림 정보를 이용하여 획득되고,
    상기 집중도 수치는 상기 심전도 정보에 기반하여 획득되는,
    동작 방법.
  3. 청구항 1에 있어서,
    상기 행복 감정 비율은 상기 화상 이미지 중 얼굴 내 특정 감정 점들의 패턴, 상반신 내 특정 움직임 점들의 패턴에 기반하여 획득되는,
    동작 방법.
  4. 청구항 1에 있어서,
    상기 컨텐츠 정보는 컨텐츠 장르, 컨텐츠 주제, 컨텐츠 채널 중 적어도 하나를 포함하는,
    동작 방법.
  5. 청구항 1에 있어서,
    상기 기계 학습 모델은 입력 계층, 복수의 은닉 계층 및 출력 계층으로 구성되며,
    상기 조정 컨텐츠 정보를 결정하는 과정은,
    상기 입력 계층에 상기 사용자의 상기 현재 생체 정보와 임의의 컨텐츠 정보를 입력하는 과정과,
    상기 복수의 은닉 계층 각각 내에 저장된 복수 개의 노드로 정의되는 유닛들과 상기 사용자의 상기 현재 생체 정보를 연결하는 과정과,
    상기 사용자의 상기 현재 생체 정보와 상기 유닛들 간의 상관 관계에 기초하여 상기 사용자의 상기 임의의 컨텐츠 정보에 해당하는 컨텐츠 조정 후 생체 정보 중 집중도 수치와 행복 감정 비율이 상기 임계 집중도 수치 및 상기 임계 행복 감정 비율 이상일지 여부에 대한 예측 값을 생성하는 과정과,
    상기 예측 값이 소정의 임계 예측 값 이상인 경우, 상기 임의의 컨텐츠 정보로써 상기 조정 컨텐츠 정보를 생성하는 과정을 포함하는,
    동작 방법.
  6. 청구항 5에 있어서,
    상기 유닛들은 상기 현재 생체 정보를 구성하는 값들을 규합시켜 형성되고,
    상기 출력 계층은 상기 컨텐츠 조정 후 생체 정보 중 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상이라는 예측 결과 유닛인 참(true) 유닛과 상기 컨텐츠 조정 후 생체 정보 중 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 미만이라는 예측 결과 유닛인 거짓(false) 유닛을 포함하며,
    상기 현재 생체 정보와 상기 유닛들 간의 상관 관계에 기초하여 상기 컨텐츠 조정 후 생체 정보 중 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상일지 여부에 대한 예측 값을 생성하는 과정은,
    상기 유닛들 중 어느 하나가 상기 제2 생체 정보를 구성하는 각 값들이 상기 컨텐츠 조정 후 생체 정보 중 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상일 가능성이 높다고 예측되는 경우, 상기 참 유닛과의 연결에 대해서 양의 값을 갖는 가중치를 부여하고, 상기 거짓 유닛과의 연결에 대해서 음의 값을 갖는 가중치를 부여하는 과정과,
    상기 유닛들 중 어느 하나가 상기 컨텐츠 조정 후 생체 정보 중 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상일 가능성이 낮다고 예측되는 경우, 상기 참 유닛과의 연결에 대해서 음의 값을 갖는 가중치를 부여하고, 상기 거짓 유닛과의 연결에 대해서 양의 값을 갖는 가중치를 부여하는 과정과,
    상기 유닛들과 상기 참 유닛 사이의 연결들에 대한 총합이 양이거나 미리 설정된 값보다 큰 경우, 상기 컨텐츠 조정 후 생체 정보 중 집중도 수치와 행복 감정 비율이 임계 집중도 수치 및 임계 행복 감정 비율 이상이라는 예측 값을 생성하는 과정을 포함하는,
    동작 방법.
  7. 청구항 5에 있어서,
    상기 임의의 컨텐츠는,
    상기 저장된 맵핑 정보에 기반하여, 집중도 수치와 행복 감정 비율이 상기 임계 집중도 수치 및 상기 임계 행복 감정 비율 이상인 제2 생체 정보에 맵핑된 복수의 컨텐츠 정보 중 임의의 컨텐츠 정보인,
    동작 방법.
  8. 청구항 1에 있어서,
    상기 전자 장치는 녹음 장치를 더 포함하고,
    상기 동작 방법은,
    상기 사용자의 음성 정보를 누적하여 획득하는 과정을 더 포함하며,
    상기 제1 생체 정보 및 상기 제2 생체 정보는 상기 음성 정보에 추가로 기반하여 획득되고,
    상기 행복 감정 비율은 음향 특성 정보에 기반하여 획득되고,
    상기 음향 특성 정보는 상기 음성 정보 내 운율 특성, 음성 스펙트럼 특성 중 하나 이상을 포함하는,
    동작 방법.
  9. 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 전자 장치에 있어서,
    카메라, 녹음 장치, 출력 장치, 메모리, 송수신기 및 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는, 제1 항 내지 제8 항 중 어느 한 항에 따른 동작 방법을 수행하도록 구성된,
    전자 장치.
  10. 제1 항 내지 제8 항 중 어느 한 항에 따른 전자 장치의 동작 방법을 수행하도록 구성되며, 컴퓨터 판독 가능한 저장 매체에 기록된 컴퓨터 프로그램.
KR1020200109409A 2020-08-28 2020-08-28 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 방법 및 장치 KR102285482B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200109409A KR102285482B1 (ko) 2020-08-28 2020-08-28 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200109409A KR102285482B1 (ko) 2020-08-28 2020-08-28 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102285482B1 true KR102285482B1 (ko) 2021-08-03

Family

ID=77314239

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200109409A KR102285482B1 (ko) 2020-08-28 2020-08-28 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102285482B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102543337B1 (ko) * 2022-03-21 2023-06-14 가천대학교 산학협력단 아바타를 생성한 사용자의 생체정보 기반 색채힐링콘텐츠를 제공하기 위한 사용자 맞춤 색채힐링콘텐츠 제공 시스템 및 방법
WO2023146030A1 (ko) * 2022-01-28 2023-08-03 주식회사 마블러스 감성, 집중도, 대화를 통합한 인공지능 기반 상호작용 장치, 방법 및 프로그램

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101465756B1 (ko) 2013-12-03 2014-12-03 주식회사 그리핀 감정 분석 장치 및 방법과 이를 이용한 영화 추천 방법
KR20160095464A (ko) * 2015-02-03 2016-08-11 한국전자통신연구원 얼굴 감정 인식 방법을 적용한 사이니지용 콘텐츠 추천 장치 및 그 동작 방법
KR20190105536A (ko) * 2019-08-26 2019-09-17 엘지전자 주식회사 선호도 기반 서비스 제공 시스템, 장치 및 방법
KR102114946B1 (ko) * 2019-01-04 2020-05-25 주식회사 엠투에스 가상현실(vr) 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 콘텐츠 퀄리티를 평가하는 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101465756B1 (ko) 2013-12-03 2014-12-03 주식회사 그리핀 감정 분석 장치 및 방법과 이를 이용한 영화 추천 방법
KR20160095464A (ko) * 2015-02-03 2016-08-11 한국전자통신연구원 얼굴 감정 인식 방법을 적용한 사이니지용 콘텐츠 추천 장치 및 그 동작 방법
KR102114946B1 (ko) * 2019-01-04 2020-05-25 주식회사 엠투에스 가상현실(vr) 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 콘텐츠 퀄리티를 평가하는 시스템 및 방법
KR20190105536A (ko) * 2019-08-26 2019-09-17 엘지전자 주식회사 선호도 기반 서비스 제공 시스템, 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023146030A1 (ko) * 2022-01-28 2023-08-03 주식회사 마블러스 감성, 집중도, 대화를 통합한 인공지능 기반 상호작용 장치, 방법 및 프로그램
KR102543337B1 (ko) * 2022-03-21 2023-06-14 가천대학교 산학협력단 아바타를 생성한 사용자의 생체정보 기반 색채힐링콘텐츠를 제공하기 위한 사용자 맞춤 색채힐링콘텐츠 제공 시스템 및 방법

Similar Documents

Publication Publication Date Title
Zhang Expression-EEG based collaborative multimodal emotion recognition using deep autoencoder
US20200175262A1 (en) Robot navigation for personal assistance
WO2019144542A1 (en) Affective interaction systems, devices, and methods based on affective computing user interface
US11151610B2 (en) Autonomous vehicle control using heart rate collection based on video imagery
CN112766173B (zh) 一种基于ai深度学习的多模态情感分析方法及其系统
US20160358085A1 (en) System and method for multimodal human state recognition
US11430561B2 (en) Remote computing analysis for cognitive state data metrics
WO2018151628A1 (ru) Алгоритм комплексного дистанционного бесконтактного мультиканального анализа психоэмоционального и физиологического состояния объекта по аудио- и видеоконтенту
KR102285482B1 (ko) 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 방법 및 장치
CN112016367A (zh) 一种情绪识别系统、方法及电子设备
Monkaresi et al. Classification of affects using head movement, skin color features and physiological signals
Zhuang et al. Real-time emotion recognition system with multiple physiological signals
KR20220001875A (ko) 원격재가훈련이 가능한 치매예방 인지기능 훈련 서비스 제공 방법
KR102528595B1 (ko) 사용자의 음성 분석에 기반하여 사용자의 학습 집중력을 지원하기 위한 방법 및 장치
Gomez et al. Exploring facial expressions and action unit domains for Parkinson detection
Uluyagmur-Ozturk et al. ADHD and ASD classification based on emotion recognition data
Yusuf et al. Evolving an emotion recognition module for an intelligent agent using genetic programming and a genetic algorithm
Mousannif et al. The human face of mobile
Gómez-Gómez et al. Exploring facial expressions and affective domains for Parkinson detection
KR20220075908A (ko) 온라인 가상 교실 학습을 지원하기 위한 방법 및 장치
Khorrami How deep learning can help emotion recognition
Bhatia et al. A multimodal system to characterise melancholia: cascaded bag of words approach
Poria et al. Evaluation of the intricacies of emotional facial expression of psychiatric patients using computational models
Hou Deep Learning-Based Human Emotion Detection Framework Using Facial Expressions
Adibuzzaman et al. In situ affect detection in mobile devices: a multimodal approach for advertisement using social network

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant