KR102569000B1 - 감성 적응형 UI(User Interface)를 제공하는 방법 및 장치 - Google Patents

감성 적응형 UI(User Interface)를 제공하는 방법 및 장치 Download PDF

Info

Publication number
KR102569000B1
KR102569000B1 KR1020190005622A KR20190005622A KR102569000B1 KR 102569000 B1 KR102569000 B1 KR 102569000B1 KR 1020190005622 A KR1020190005622 A KR 1020190005622A KR 20190005622 A KR20190005622 A KR 20190005622A KR 102569000 B1 KR102569000 B1 KR 102569000B1
Authority
KR
South Korea
Prior art keywords
service
information
emotion
adaptive
user
Prior art date
Application number
KR1020190005622A
Other languages
English (en)
Other versions
KR20200089042A (ko
Inventor
노경주
정현태
김가규
임지연
정승은
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020190005622A priority Critical patent/KR102569000B1/ko
Priority to US16/547,755 priority patent/US10983808B2/en
Publication of KR20200089042A publication Critical patent/KR20200089042A/ko
Application granted granted Critical
Publication of KR102569000B1 publication Critical patent/KR102569000B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Abstract

감성 컴퓨팅(affective computing)에 기반하여 장치가 감성 적응형 UI(User Interface)를 제공하는 방법 및 장치에 대한 것으로, 보다 상세하게는 제공되는 서비스는 서비스의 목적 정보를 기초로 하여, 서비스의 동작 조건, 서비스의 종료 조건 및 감성 UI 서비스 유형 중 적어도 하나 이상으로 구성되고, 서비스의 목적 정보 및 유용성 정보 등에 기초하여 서비스의 세부 패턴이 변경되어 제공되는 것을 포함한다.

Description

감성 적응형 UI(User Interface)를 제공하는 방법 및 장치 {Method and apparatus for providing emotional adaptive UI(User Interface)}
본 발명은 사용자의 감성 정보에 기반을 두는 감성 컴퓨팅(affective computing) 서비스에서 활용 가능한 감성 적응형 UI 제공 방법 및 장치에 관한 것이다.
일상 경험데이터를 저장하고 분석하여, 사용자에게 유용한 서비스를 제공하기 위한 라이프로깅(life-logging)과 관련된 연구개발은 최근까지 꾸준히 진행되고 있다. 일 예로 다양한 개인 착용형 및 휴대용 장치와 이를 기반으로 하여 사용자의 운동량과 맥박 등의 생체신호를 센싱하여, 사용자가 하루 동안의 목표 운동량에 도달하였는지의 여부에 따라 진동과 같은 사용자 인터페이스를 제공하는 웨어러블 장치 등이 있다. 최근에는 사용자에게 단순한 행위 모니터링이나 알람 서비스를 제공 기능을 넘어 사용자의 경험 데이터를 기반으로 사용자의 신체 및 정서적인 삶의 질을 능동적으로 향상 시킬 수 있는 감성 컴퓨팅 서비스가 요구되고 있다.
감성 컴퓨팅(affective computing) 측면에서의 서비스 및 사용자 인터페이스(UI; User Interface)는 유용성(usefulness), 사용성(usability) 및 감성(emotional)적 측면의 서비스 질(quality) 향상을 목적으로 한다. 따라서 감성 컴퓨팅 서비스를 제공하기 위해서는 사용자의 감성 정보를 효율적으로 인식하고, 해당 감성 서비스의 목적에 부합되도록 동작하는 감성 적응형 사용자 인터페이스(UI)를 제공 할 수 있는 방법이 필수적이다.
종래의 관련 연구로 선행 문헌 1 (생체 신호 기반의 감성 인터랙션 장치 및 방법 Apparatus and method for emotion interaction based on biological signals, US2014-0234815)은 생체 신호 기반의 사용자의 감정 상태를 인식하여 사람과 제품 간에 감성을 전달하는 기술에 관한 것이다.
선행 문헌 2(감성 신호 감지 장치와 감성 서비스 제공 장치 간의 감성 통신 방법, Method for emotion communication between emotion signal sensing device and emotion service providing device, US8775186)는 감성 신호 감지 장치와 감성 서비스 제공 장치 간의 감성 통신 프로토콜을 기술하고 있다.
하지만 감성 컴퓨팅 서비스의 목적(purpose) 정보, 실시간으로 인식된 사용자 감정, 기존의 해당 UI에 대한 사용자 UX 정보에 기반을 두어 해당 서비스 목적에 도달하기 위한 방향으로 UI의 패턴을 동적으로 변경하여 제공 하는 방법에 관한 연구는 미비한 실정이다.
본 발명은 사용자의 경험 데이터를 기반으로 사용자의 신체 및 정서적인 삶의 질을 능동적으로 향상 시킬 수 있는 감성 컴퓨팅 서비스를 위한 감성 적응형 UI를 제공하기 위한 것이다.
본 발명은 UI가 목적에 맞는 서비스를 제공하기 하기 위한 것이다.
본 발명은 서비스 목적을 인식하고, 사용자의 감성에 적응하여 운용되도록 사용자 경험 정보(UX)를 활용하기 위한 것이다.
본 발명은 생체신호 및 음성/비디오 데이터를 기반으로 하여 인식된 사용자 감성정보를 기반으로 한 서비스를 제공하기 위한 것이다.
본 발명은 감성 서비스의 목적 정보와 사용자 감정상태 정보에 기반을 두어 동적으로 계산되는 해당 UI의 유용성 정보를 기반으로 하여 사용자의 감성에 적응하는 UI를 제공하기 위한 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명은 감성 컴퓨팅(affective computing)에 기반하여 장치가 감성 적응형 UI(User Interface)를 제공하는 방법 및 장치에 관한 것이다.
본 발명은 사용자의 감성 정보에 대한 입력 신호를 획득하는 감정 인식부, 감성 적응형 UI를 통하여 인식된 감성 정보에 대한 입력 신호에 기초한 서비스를 제공하고, 서비스에 대한 유용성(usefulness) 정보를 계산하는 감성 UI 수행부 및 제공된 서비스 과정에서의 감성UI에 대해 상기 유용성 정보를 포함하는 사용자 UX 정보를 관리하는 감성 UI/UX 관리부를 포함할 수 있다.
이 때 서비스는 서비스의 목적 정보를 기초로 하여, 서비스의 동작 조건, 서비스의 종료 조건 및 감성 UI 서비스 유형 중 적어도 하나 이상으로 구성되고, 감성 UI 서비스 유형은 한 개 이상의 세부 패턴들로 구성될 수 있다.
이때 서비스가 제공되는 경우, 서비스의 목적 정보 및 유용성 정보를 포함한 사용자 경험 정보 중 적어도 하나 이상의 정보에 기초하여 제공되는 상기 세부 패턴이 변경될 수 있다.
본 발명의 일 실시예에 따라 본 발명의 장치는 사운드 서비스, 디스플레이 서비스, 진동 서비스 및 촉각 서비스 중 하나 이상의 감성 UI 서비스 유형이 구동될 수 있다.
본 발명의 일 실시예에 따라 본 발명의 장치는 웨어러블 장치에 해당될 수 있다.
본 발명의 일 실시예에 따라 유용성 정보는 감성 적응형 UI를 통하여 제공되는 서비스에 대한 평가 지표에 해당되고, 서비스의 목적 정보에 기초하여 결정될 수 있다.
본 발명의 일 실시예에 따라 서비스가 제공되는 경우, 서비스의 목적 정보에 기초하여, 서비스의 목적 정보를 효율적으로 충족시키기 위한 방향으로 서비스에 포함된 세부 패턴들이 변경될 수 있다.
본 발명의 일 실시예에 따라 서비스의 목적 정보를 충족시키기 위한 방향으로 세부 패턴이 변경되는 경우, 세부 패턴을 가진 서비스가 제공된 결과에 따라 세부 패턴에 대해 계산된 유용성이 임계값 이상인 경우, 서비스의 목적 정보가 충족된 것으로 판단될 수 있다.
본 발명의 일 실시예에 따라 유용성 정보 중 서비스 유용성 정보는 상기 세부 패턴이 시작될 때의 상기 감성 정보, 상기 서비스의 세부 패턴이 종료될 때의 상기 감성 정보 및 상기 서비스의 목적 정보 중 적어도 하나 이상의 정보에 기초하여 계산될 수 있다.
본 발명의 일 실시예에 따라 유용성 정보 중 세부 패턴 유용성 정보는 세부 패턴이 시작될 때의 감성 정보와 세부 패턴이 종료될 때의 감성 정보간의 차이 및 서비스의 목적 정보 중 적어도 하나 이상의 정보에 기초하여 계산될 수 있다.
본 발명의 일 실시예에 따라 서비스의 동작 조건 및 서비스의 종료 조건에는 서비스를 동작하기 위한 시간 속성, 현재 감성 정보 및 목표 감성 정보, 장소 정보 중 적어도 하나 이상이 포함될 수 있다.
본 발명의 일 실시예에 따라 감성 UI 서비스 유형에는 사운드 서비스, 디스플레이 서비스, 진동 서비스 및 촉각 서비스가 포함되며, 감성 적응형 UI를 통하여 제공되는 서비스는 사운드 서비스, 디스플레이 서비스, 진동 서비스 및 촉각 서비스 중 하나 이상이 제공될 수 있다.
본 발명의 일 실시예에 따라 세부 패턴은 감성 UI 서비스 유형에 대한 세부 속성에 해당되며, 감성 UI 서비스 유형을 제어하는 방식에 해당될 수 있다.
본 발명의 일 실시예에 따라 서비스가 제공되는 경우, 사용자 경험 정보 중 서비스의 목적 정보와 대응되는 정보를 확인하고, 대응되는 정보에 포함된 유용성 정보에 기초하여 서비스에 포함된 세부 패턴이 결정될 수 있다.
본 발명의 일 실시예에 따라 사용자의 감성 정보에 대한 입력 신호에는 사용자의 생체 신호 데이터, 음성 데이터 및 비디오 데이터 중 적어도 하나 이상의 데이터가 포함되고, 감정 인식 모델을 사용하여 상기 입력 신호에 기초하여 상기 감성 정보를 인식할 수 있다.
본 발명의 일 실시예에 따라, 서비스의 목적 정보에 대해 기본 목적 정보 중 하나가 선택되는 경우, 기본 목적 정보에는 감성 각성(awakening) 목적, 감성 제어(control) 목적, 감성 위안(consolation) 목적이 포함될 수 있다.
본 발명의 일 실시예에 따라, 제공된 서비스에 대해 유용성 정보에 기초한 피드백을 반영하는 경우, 제공된 서비스에 대한 상기 세부패턴에 대한 정보가 갱신될 수 있다.
본 발명은 사용자의 경험 데이터를 기반으로 사용자의 신체 및 정서적인 삶의 질을 능동적으로 향상 시킬 수 있는 감성 컴퓨팅 서비스를 위하여, 사용자의 감성 상황에 적절한 감성 적응형 UI를 제공하기 위한 것이다.
본 발명은 UI가 목적에 맞는 서비스를 제공하기 하기 위한 것이다.
본 발명은 서비스 목적 목적을 인식하고, 사용자의 감성에 적응하여 운용되도록 사용자 경험 정보(UX)를 활용하기 위한 것이다.
본 발명은 생체신호 및 음성/비디오 데이터를 기반으로 하여 인식된 사용자 감성정보를 기반으로 한 서비스를 제공하는 효과가 있다.
본 발명은 감성 서비스의 목적 정보에 기반을 두어 사용자의 감성상태 정보에 따라 동적으로 계산되는 해당 UI의 유용성 정보를 기반으로 하여 사용자의 감성에 적응하는 UI의 제공 방법과 이를 위한 장치가 제공될 수 있다.
본 발명의 감성 적응형 UI 제공 방식을 통하여 사용자의 감성 변화에 적응할 수 있는 서비스를 제공할 수 있는 효과가 있다.
본 발명은 사용자의 경험정보를 활용함으로써 사용자에 적합한 개인화되고, 사용자 신체 및 감정 상황에 적합한 UI을 제공 할 수 있다.
본 발명의 구현을 통하여 다양한 감성 컴퓨팅 서비스의 목적에 맞는 UI가 운용 될 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따라 감성 컴퓨팅(affective computing)에 기반하여 장치가 감성 적응형 UI(User Interface)를 제공하는 방법에 대한 흐름도에 해당된다.
도 2은 본 발명의 일 실시예에 따라 서비스가 동작 하는 서비스 시스템의 구성을 나타낸 도면이다.
도 3는 본 발명의 일 실시예에 따른 감성 UI의 속성 구성을 보인다.
도 4는 착용형 장치나 휴대용 장치에서 수행되는 본 발명의 감성 적응형 UI 기능 블록 구조를 보인다.
도 5는 본 발명의 일 실시예에 따른 감성 적응형 UI 패턴 동작을 나타낸 도면이다.
도 6는 감성 적응형 UI 및 패턴 유용성 계산을 위한 감성 변화 유용성 정보 계산을 위한 도면에 해당된다.
도 7은 본 발명의 감성 적응형 UI 수행 부(320)의 구성도에 해당한다.
도 8은 본 발명의 감성 적응형 UI 수행을 지원하는 웨어러블 장치 중 손목 착용형 장치(110)의 일실시 예를 보인다.
도 9는 본 발명의 일 실시예에 따른 본 발명의 감성 적응형 UI의 동작 순서도이다.
이하에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 발명의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 발명에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 발명의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.
본 발명에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 발명의 범위에 포함된다.
본 발명에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시예도 본 발명의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 발명의 범위에 포함된다.
본 발명은 감성 컴퓨팅 서비스를 위한 감성 적응형 UI 제공 방법 및 장치에 관한 것이다. 보다 상세하게는 본 발명의 감성 적응형 UI는 인식된 감성 정보를 기반으로 서비스 과정에서 동적으로 계산되는 해당 UI의 유용성(usefulness) 정보를 추출하고, 해당 UI에 대해 해당 유용성 정보를 포함하는 기존의 사용자 경험(UX) 정보를 활용하는 사용자의 감성에 적응하는 UI의 제공 방법과 이를 위한 장치에 관한 것이다.
사용자의 신체 및 정서적 삶의 질을 능동적으로 향상 시킬 수 있는 다양한 감성 컴퓨팅 서비스에서 감정 적응형 UI는 서비스에서 사용자에게 최종적으로 제공하고자 하는 목적에 따라 동작하여야 한다.
본 발명의 감성 적응형 UI(이하, 감성 UI)는 다양한 감성 서비스의 목적에 맞도록 동작할 수 있다. 본 발명에서 감성 적응형 UI는 감성 UI로 호칭될 수 있다.
본 발명의 동작을 위하여 사용자 감성 정보, 감성 서비스 목적 정보 및 사용자 경험(UX; User eXperience) 정보에 기초하여 감성 UI의 세부 패턴이 동적으로 조정될 수 있다. 이때 사용자의 감성 정보는 사용자의 생체 신호, 음성 및 비디오 데이터를 기반으로 인식되는 정보에 해당될 수 있다. 사용자 경험 정보는 감성 UI에 대한 사용자의 유용성 정보를 포함할 수 있다. 이 때 사용자 경험 정보에 포함된 사용자의 유용성 정보는 이전에 감성 UI를 동작하였을 때, 해당 감성 UI에 대한 평가 지표에 해당될 수 있다.
사용자의 경험데이터로부터 인식되는 감성 정보에는 슬픔, 기쁨, 분노와 같은 특정 감정(emotion) 레이블이나 중립(neutral), 각성 상태, 이완 상태, 수면과 같은 극 이완 상태, 긍정 상태, 부정 상태 등의 사용자의 생체리듬을 포괄하는 다양한 감성(sensitivity) 레이블이 해당 될 수 있다.
본 발명의 다양한 감성 서비스의 목적은 감성 각성(awakening), 감성 제어(control), 감성 위안(consolation) 등을 포함할 수 있다.
사용자 감정 각성(awakening) 목적은 주기적으로 인식되는 생체리듬 상태 및 감성 정보에 따라 감성UI의 세부 패턴을 변경함으로서, 사용자를 각성 상태로 도달하게 만드는 목적에 해당될 수 있다.
감성 제어(control) 목적은 사용자 특정 감정 상태에 대해 사용자로 하여금 자신의 감정을 제대로 인지하여 감정을 제어 할 수 있도록 하기 위한 목적에 해당될 수 있다.
감성 위안(consolation) 목적은 사용자의 생체신호 및 감정에 따라 감성UI의 세부 패턴을 변경하여 사용자에게 감정적 위안을 제공하기 위한 목적에 해당될 수 있다.
감성 적응형 UI는 이러한 같은 감성 서비스의 목적 정보에 기반을 두어 감정 UI의 패턴을 변화하며 동작한다.
다만 상기의 목적들에 한정될 것은 아니며, 상기의 목적들은 본 장치에서 기본적으로 설정될 수 있는 목적 정보에 해당될 수 있다.
또한 본 발명의 일 실시예에 따라 사용자가 목적 정보를 설정할 수도 있다.
감성 적응형 UI는 해당 서비스의 목적을 충족하기 위한 방향으로 동적으로 감성UI 패턴을 변화하며 동작한다.
또한, 본 발명의 감성 적응형 UI는 서비스의 목적 정보와 인식된 감성 정보를 기반으로 서비스 과정에서 동적으로 계산되는 해당 UI의 유용성(usefulness) 정보를 추출하고, 추출된 유용성 정보에 대한 사용자 경험(UX) 정보를 감성 UI 패턴 변화에 활용한다.
이하에서는, 본 발명의 실시예에 장치 및 방법을 첨부한 도면들을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따라 감성 컴퓨팅(affective computing)에 기반하여 장치가 감성 적응형 UI(User Interface)를 제공하는 방법에 대한 흐름도에 해당된다.
종래의 선행 기술들에는 감정에 따라 적합한 서비스를 제공(추천)하는 것에 목적을 둔 기술들이 많았으나, 본 발명의 경우 서비스의 목적에 최대의 효율을 가지고 도달하기 위한 방법을 개시하고 있다. 이때 서비스의 목적은 기본적으로 설정되어 있는 디폴트 서비스 목적 및 사용자가 정의한 목적으로 구분될 수 있다.
이때 본 발명은 등록된 감성 UI의 세부 패턴을 조정하고, 세부패턴을 조정함에 있어서 사용자 감성상태 변화 정보(경험)에 따른 효율성을 계산하여 조정할 수 있다.
또한 본 발명은 감성 UI에 반응 정보를 추출 할 수 있다. 이때 추출된 반응 정보는 해당 감정 UI의 경험 정보로 저장됨으로써 다음번 해당 감성UI의 동작을 위한 초기값 설정 시 참조하여 결정될 수 있다.
장치가 감성 적응형 UI(User Interface)를 제공하는 경우, 먼저 장치는 사용자의 감성 정보에 대한 입력 신호를 획득할 수 있다. (S110)
이때 사용자의 감성 정보에 대한 입력 신호에는 사용자의 생체 신호 데이터, 음성 데이터 및 비디오 데이터 중 적어도 하나 이상의 데이터가 포함될 수 있다. 또한 본 발명의 일 실시예에 따라 감정 인식 모델을 사용하여 입력 신호에 기초하여 상기 감성 정보를 인식할 수 있다.
그리고 장치는 감성 적응형 UI를 통하여 감성 정보에 기초한 서비스를 제공할 수 있다 (S120).
본 발명에서 상기 감성 적응형 UI를 통하여 제공되는 서비스는 서비스의 목적 정보를 기초로 하여, 서비스의 동작 조건, 서비스의 종료 조건 및 감성 UI 서비스 유형 중 적어도 하나 이상으로 구성되어 사용자에게 제공되는 서비스를 의미할 수 있다.
본 발명에서 서비스의 동작 조건 및 상기 서비스의 종료 조건에는 서비스를 동작하기 위한 시간 속성, 현재 감성 정보 및 목표 감성 정보, 장소 정보 중 적어도 하나 이상이 포함될 수 있다.
본 발명에서 감성 UI 서비스 유형에는 사운드 서비스, 디스플레이 서비스, 진동 서비스 및 촉각 서비스가 포함될 수 있다. 다만 해당 구성에 한정할 것은 아니다. 이 때 감성 적응형 UI를 통하여 제공되는 서비스는 사운드 서비스, 디스플레이 서비스, 진동 서비스 및 촉각 서비스 중 하나 이상이 제공될 수 있다.
본 발명에서 감성 UI 서비스 유형은 한 개 이상의 세부 패턴들로 구성될 수 있다. 이때 세부 패턴은 감성 UI 서비스 유형에 대한 세부 속성에 해당될 수 있다. 또한 세부 패턴은 감성 UI 서비스 유형을 제어하는 방식에 해당될 수 있다.
본 발명의 일 실시예에 따라 서비스가 제공되는 경우, 서비스의 목적 정보 및 유용성 정보를 포함한 사용자 경험 정보 중 적어도 하나 이상의 정보에 기초하여 상기 세부 패턴이 변경되어 제공될 수 있다.
본 발명의 일 실시예에 따라 서비스가 제공되는 경우, 서비스의 목적 정보에 기초하여, 서비스의 목적 정보를 충족시키기 위한 방향으로 서비스에 포함된 세부 패턴들이 변경될 수 있다.
이 때 제공되는 서비스는 서비스의 목적 정보를 충족시키기 위한 방향으로 상기 세부 패턴이 변경될 수 있다. 이 경우 세부 패턴을 가진 서비스가 제공된 결과에 따라 상기 세부 패턴에 대해 계산된 상기 유용성이 임계값 이상인 경우, 서비스의 목적 정보가 충족된 것으로 판단될 수 있다. 이때 임계값은 사용자의 지정값에 해당될 수 있다.
본 발명의 일 실시예에 따라 서비스가 제공되는 경우, 사용자 경험 정보 중 서비스의 목적 정보와 대응되는 정보를 확인하고, 대응되는 정보에 포함된 유용성 정보에 기초하여 상기 서비스에 포함된 상기 세부 패턴이 결정될 수 있다.
그 후 장치는 서비스에 대한 유용성(usefulness) 정보를 계산할 수 있다 (S130).
본 발명에서 유용성 정보는 감성 적응형 UI를 통하여 제공되는 서비스에 대한 평가 지표에 해당되고, 서비스의 목적 정보에 기초하여 결정되는 정보를 의미할 수 있다. 이 때 유용성 정보는 서비스 유용성 정보와 세부 패턴 유용성 정보를 포함할 수 있다.
유용성 정보 중 서비스 유용성 정보는 세부 패턴이 시작될 때의 상기 감성 정보, 상기 서비스의 세부 패턴이 종료될 때의 상기 감성 정보 및 상기 서비스의 목적 정보 중 적어도 하나 이상의 정보에 기초하여 계산될 수 있다.
유용성 정보 중 세부 패턴 유용성 정보는 세부 패턴이 시작될 때의 상기 감성 정보와 상기 세부 패턴이 종료될 때의 상기 감성 정보간의 차이 및 상기 서비스의 목적 정보 중 적어도 하나 이상의 정보에 기초하여 계산될 수 있다.
마지막으로 장치는 제공된 서비스에 대해 유용성 정보에 기초한 피드백을 반영할 수 있다 (S140).
본 발명의 일 실시예에 따라 제공된 서비스에 대해 상기 유용성 정보에 기초한 피드백을 반영하는 경우, 제공된 서비스에 대한 상기 세부패턴에 대한 정보가 갱신될 수 있다.
본 발명의 동작 및 구성에 대한 구체적인 사항들은 이하 도면에서 설명된다.
도 2은 본 발명의 일 실시예에 따라 서비스가 동작 하는 서비스 시스템의 구성을 나타낸 도면이다.
본 발명의 일 실시예에 따라 서비스가 동작할 수 있는 서비스 시스템은 사용자 착용형 장치(110), 사용자 휴대장치(120) 및 주변의 사물인터넷기기(130) 등을 포함할 수 있다.
이때 사용자의 감성인식을 위한 사용자(100)의 생체신호 및 음성/비디오 데이터는 사용자 착용형 장치(110), 사용자 휴대장치(120) 및 주변의 사물인터넷기기(130)를 통해 수집 될 수 있다.
이들 기기로부터 수집된 사용자 경험 데이터 및 인식된 감성정보는 장치 간 통신 방식을 통해 서로 교환 될 수 있다. 서로 교환되는 사용자 경험 및 인식된 감성 정보에 기반하여 동작하는 감성 적응형 UI 모듈 또한 각 장치에서 구현 될 수 있다.
이때 수집되는 생체신호에는 심박(HR; Heart Rate), 심박정보를 통해 계산되는 심박변화 (HRV: Heart Rate Variation), 피부 긴장도(GSR: Galvanic Skin Response), 맥파(PPG; Photoplethysmogram) 등의 데이터가 포함될 수 있다. 다만 본 발명의 일 실시예에 따른 생체 신호이며 이에 한정할 것은 아니다.
착용형 장치(110), 사용자 휴대장치(120) 및 주변기기(130)의 동작(시작, 종료) 등에 대해서는 사용자 경험 데이터를 통해 인식된 감정 정보에 기초하여 결정될 수 있다.
보다 상세하게는 착용형 장치(110), 사용자 휴대장치(120) 및 주변기기(130)에서는 수집된 사용자 경험 데이터를 통해 감성 정보가 인식될 수 있다. 또한 해당 감성 UI 동작상황에 대한 시간과 같은 다른 속성과의 조합을 통하여 감성 적응형 UI가 동작해야 하는 감성 UI 동작상황의 시작 및 종료가 판단될 수 있다. 그리고 사용자가 등록한 감성 적응형 UI가 수행될 수 있다.
이때 감성 적응형 UI 동작의 종료는 감성 UI 동작상황에서 지정된 시간이나 감성 상태의 변화 상태에 도달하였거나, 착용형 장치나 휴대장치를 통하여 지정된 사용자의 명시적 종료 인터페이스가 발생하였을 경우에 종료 될 수 있다.
도 3는 본 발명의 일 실시예에 따른 감성 UI의 속성 구성을 보인다.
본 발명의 서비스는 서비스의 목적 정보를 기초로 하여, 서비스의 동작 조건, 서비스의 종료 조건 및 감성 UI 서비스 유형 중 적어도 하나 이상으로 구성될 수 있다.
본 발명의 일 실시예에 따라 서비스의 동작 조건 및 서비스의 종료 조건은 구성들은 도 3에 구현된 속성들과 대응될 수 있고, 도 3에 구현된 속성들이 조합되어 지정될 수도 있다. 다만, 도 3에서 구현된 속성들은 본 발명의 일 실시에 에 해당될 수 있다.
본 발명의 서비스의 목적 정보는 도 3의 감성 UI 목적(230)과 대응되는 정보에 해당할 수 있다.
본 발명의 감성 UI 서비스 유형은 도 3의 감성 UI 유형(240)과 대응되는 정보에 해당될 수 있다.
본 발명에 따른 UI를 제공하기 위하여, 본 발명의 일 실시예에 따라 사용자는 서비스의 목적 정보(230), 서비스의 동작 조건, 서비스의 종료 조건 및 감성 UI 서비스 유형(240)을 설정할 수 있다. 또한 본 발명의 일 실시예에 따라 서비스의 목적 정보, 서비스의 동작 조건, 서비스의 종료 조건 및 감성 UI 서비스 유형에 대해 미리 설정된 서비스를 이용할 수도 있다.
본 발명이 동작하기 위한 서비스의 동작 조건 및 서비스의 종료 조건에는 수 개 이상의 속성들이 조합되어 표현될 수 있다.
본 발명의 일 실시예에 따라, 본 발명이 동작하기 위한 서비스의 동작 조건들은 서비스를 동작하기 위한 시간 속성(210), 현재 감성 정보 및 목표 감성 정보(220), 장소 정보 등에 기초하여 설정된 조건에 해당될 수 있다.
본 발명의 일 실시예에 따라, 서비스의 종료 조건들은 서비스를 동작하기 위한 시간 속성(210), 현재 감성 정보 및 목표 감성 정보(220), 장소 정보 에 기초하여 설정된 조건에 해당될 수 있다.
따라서 도 3의 속성은 본 발명의 일 예시에 해당될 수 있다. 본 발명의 감성 UI가 시스템에서 구현될 때, 각 서비스에 적합하도록 지정될 수 있는 UI의 속성의 종류 및 값이 제한되지 않는다. 또한 각 서비스에 적합하도록 지정될 수 있는 다양한 방식의 UI가 설정될 수도 있다.
감성 UI 동작상황의 시간(210) 속성으로, 세계 표준시각에 근거한 절대시간의 범위 또는 '아침', '점심', '저녁'같은 의미적(semantic) 속성이 지정될 수 있다.
감성 UI 동작상황의 감성(220) 속성으로는 슬픔, 기쁨, 분노와 같은 특정 감정(emotion) 레이블이 해당될 수 있다. 또한 감성(220) 속성으로 중립(neutral), 각성 상태, 이완 상태, 수면과 같은 극 이완 상태, 긍정 상태, 부정 상태 등의 사용자 생체리듬 및 감정을 포괄하는 다양한 감성(sensitivity) 레이블이 지정 될 수도 있다.
[표 1]은 감성 적응형 UI의 목적, 유형 및 세부 패턴 속성의 종류를 보인다.
본 발명의 일 실시예에 따라 [표 1]에서와 같이 감성 적응형 UI 목적(230) 속성은 사용자 각성(awakening), 특정 감정 조절(control), 감정 위안(consolation) 등의 목적이 지정 될 수 있다.
지정된 감성 적응형 UI의 목적(230) 속성에 따라 지정한 목적에 도달하기 위한 방향으로 사용자의 감성 상태에 따른 최적의 UI 유형 패턴 속성이 결정되어 운용된다.
감성 UI 목적 속성 감성 UI 유형 속성 세부 패턴 속성
각성(awakening)
감정 제어(control)
감정 위안(consolation)		 사운드 사운드 종류, 사운드 간격
디스플레이 색, 텍스트, 아이콘
진동 진동 종류, 진동 간격
촉각 상/하/좌/우/기타 촉각 패턴, 세기
감성 적응형 UI의 목적(230) 속성은 동작한 감성 적응형 UI의 세부 패턴 변화를 결정하기 위한 속성으로 활용될 수 있다. 보다 구체적으로는 해당 감성 적응형 UI 수행시의 세부 패턴 변화를 결정하기 위해 기존에 수행된 세부 패턴 및 해당 감성 UI의 유용성(usefulness) 계산을 위한 기반 정보로 활용될 수 있다.
본 발명의 감성 UI는 계산된 유용성 정보를 통해 해당 감성 UI에 지정된 목적 속성에 적합한 방향 및 감성 상황에 따라 변화되도록 운용될 수 있다.
본 발명의 일 실시예에 따라 서비스의 목적 정보(230)에 대해 기본 목적 정보 중 하나가 선택되는 경우, 기본 목적 정보에는 감성 각성(awakening) 목적, 감성 제어(control) 목적 및 감성 위안(consolation) 목적이 포함될 수 있다.
3가지 디폴트 서비스 목적의 UI를 등록할 경우에는 기본적으로 동작하는 세부 패턴이 초기에 자동으로 설정되어 있을 수 있다. 또한 디플트 서비스 목적의 UI를 등록할 경우에는 세부 패턴이 조정되어야 하는 방향성이 초기에 자동으로 설정되어 있을 수 있다.
본 발명의 일 실시예에 따라 감정 제어(control)의 목적을 갖는 감성 서비스를 사용자 단말에 설치하여 서비스 받는 상황이 가정될 수 있다. 이때 설치된 서비스로부터 본 발명의 감성 UI의 목적은 '감정 제어'의 목적으로 자동으로 설정될 수 있다. 또한 이때의 진동, 햅틱, 사운드와 같은 인터페이스는 사용자가 해당 서비스에서 제공하는 UI를 통해 임의로 설정 할 수 있다. 해당 서비스가 활성화 될 경우 사용자는 자신의 신체리듬, 감정 상태 및 세기에 따라 변화되는 감성 UI를 제공받음으로써, 사용자는 자신의 감정 상태를 정확히 인지함하여 감정 조절을 위해 노력 할 수 있다.
본 발명을 적용하여 구현되는 실시예로서, 감정 위안(consolation)의 목적을 갖고 동작하는 감성 UI를 가정할 수 있다. 이 경우는 인식된 사용자 감성의 상태 및 감정의 세기에 대한 선형적인 UI 패턴을 제공하는 사용자 감정 제어를 목적으로 하는 UI의 패턴과는 다르게 동작 할 수 있다. 일 실시예로 감정 위안의 목적으로 동작하는 감성 UI의 경우 사용자의 부정적인 감정이 인식될 경우 사용자에게 심리적 안정감을 제공하는 목적으로 UI 패턴이 변경 될 수 있다.
또한 서비스의 목적 정보(230)에 대해 사용자에 의해 새로운 목적 정보가 정의될 수 있다. 이 때 사용자가 설정한 서비스의 목적 정보(230)에 대해서, 사용자는 서비스의 동작 조건, 서비스의 종료 조건 및 감성 UI 서비스 유형 중 적어도 하나 이상을 선택하여 제공되는 서비스를 생성할 수 있다.
이때 사용자는 사용자가 정의한 서비스 목적을 갖는 UI의 시작 조건을 지정할 수 있으며, 보다 상세하게는 시작 감성(220) 및 시작 시간(210) 등을 설정할 수 있다.
또한 사용자는 감정 UI의 종료조건을 설정할 수 있으며, 이 때 종료시의 사용자의 감성 정보(220), 종료 시간(210) 등이 이에 해당될 수 있다.
또한 감정 UI의 유형(240)을 결정할 수 있으며, 보다 상세하게는 진동, 사운드와 같은 장치의 동작을 선택할 수 있다. 이를 통해 사용자가 지정하는 서비스의 목적으로 지정되는 방식으로 감정 UI가 동작될 수 있다.
사용자 등록 서비스 UI에 대한 유용성을 측정하는 경우, 필요한 해당 서비스 목적의 바람직한 서비스의 목적 벡터는 등록된 시작 조건의 감성 속성 값과 종료 조건의 감성 속성 값에 기초하여 결정될 수 있다.
사용자가 감성 UI의 목적 정보를 지정하는 경우, 특정 두려움을 느끼는 환경에 대한 감정 완화를 위한 진동 감성 UI를 사용자가 등록하는 것을 본 발명의 일 실시예로 할 수 있다.
보다 상세하게는 본 발명의 일 실시예에 따라 감성 UI의 동작 시작 조건 중 '장소 속성'을 회사로 선정할 수 있다. 또한 감성 UI의 동작 시작 조 중 '감성 속성'으로 두려움을 선정할 수 있다.
감성 UI의 종료 조건 중 '감성 속성'으로 각성도를 로우(low) 상태로 지정 할 수 있다. 또한 해당 서비스의 '목적'으로 두려움을 완화하기 위한 목적을 설정할 수 있다.
감성 적응형 UI의 유형(240)으로는 사운드(sound), 디스플레이(display), 진동(vibration), 촉각(tactile) 등이 될 수 있으며, 각각 세부 패턴 속성을 갖는다. 다만 상기의 구성들에 한정되는 것은 아니다.
본 발명의 일 실시예에 따라 상기 감성 적응형 UI를 통하여 제공되는 서비스는 사운드 서비스, 디스플레이 서비스, 진동 서비스 및 촉각 서비스 중 하나 이상이 제공될 수 있다. 즉, 서비스에 대해 설정된 조건에 따라 감성 적응형 UI 유형으로 하나 이상의 유형의 조합(예로 진동 및 촉각 기능)으로 제공될 수도 있다. 또한 서비스에 대해 설정된 조건에 따라 감성 적응형 UI 유형으로 하나의 유형만 제공될 수도 있다.
이 때 세부 패턴은 감성 UI 서비스 유형(240)에 대한 세부 속성에 해당될 수 있다. 또한 세부 패턴은 감성 UI 서비스 유형을 제어하는 방식에 해당될 수 있다.
본 발명에서 감성 UI 속성은 본 발명의 일 실시예에 따라 사용자에 의해 명시적으로 등록될 수 있다. 또한 감성 UI 속성은 다양한 감성 컴퓨팅 서비스 과정에서 자동으로 결정 될 수도 있다.
감성 UI 동작상황의 각 속성 요소는 속성에서 지정된 조건이 모두 부합하거나 특정 조건만 부합되는 경우에 대해 조건 조합(AND, OR, 등)형태로 지정 될 수 있다. 즉 본 발명의 일 예시로 시간 속성, 감성 속성 등에 대해서 각각 조건을 지정하고, 지정된 조건들이 조건 조합이 성립하도록 설정할 수 있다.
먼저 사용자에 의해 명시적으로 감성 적응형 UI가 지정된 경우, 사용자는 착용형 장치 및 휴대장치를 통해 감성 UI 동작상황의 발생 시간(210) 및 이때의 사용자 감성 속성(220)을 지정 할 수 있다.
본 발명의 일 실시예에 따른 감성 UI 동작상황 속성 설정의 예시로서 아침 시간에 자신의 감성 상태를 '각성 상태'의 감성으로 도달 시키는 목적을 갖는 감성 적응형 UI를 등록할 경우, 사용자는 '오전 7시' 시간에 '극 이완 상태'인 감성 상태를 지정하여 감성 UI 동작상황을 지정 할 수 있다. 즉, 감성 UI 목적(230)으로 '각성 상태'를 갖고, 시간(210) 속성으로 '오전 7시', 감성 속성(220)으로 '극 이완 상태'가 설정될 수 있다. 또한, 해당 감성 UI의 목적(230)을 '각성(awakening)'으로 지정하고, 감성 UI유형 속성(240)을 '진동'으로 설정 할 수 있다.
또한 본 발명의 감성 적응형 UI가 구현될 때 다양한 감성 컴퓨팅 서비스 과정에서 자동으로 감성 UI 동작상황 및 감성 UI의 속성이 설정될 수도 있다.
본 발명의 일 실시예에 따라 사용자가 운전을 하는 중 제공되는 감성 UI가 해당될 수 있다. 이때 사용자와 사전에 운전 중 내비게이션 서비스에서 감성 UI를 제공하는 것에 대한 사용자의 동의가 필요할 수 있다. 사용자가 운전을 하는 중 사용자의 감성 상태(220) 속성으로 '극 이완 상태'가 감지되면, 사용자의 감성 상태를 다시 '각성 상태'의 감성 상태로 변화시키기 위한 감성 UI가 제공될 수 있다. 이 때 감성 UI 목적(230)은 '각성(awakening)'에 해당될 수 있다. 또한 피드백 유형 속성(240)은 '사운드', ‘진동’ 또는 '촉각' 등의 값이 자동으로 지정 될 수 있다.
본 발명을 적용하여 구현되는 일 실시예로, 감성 UI의 속성 중 일부는 서비스와의 연동을 통해 자동으로 지정되고, 일부는 사용자의 명시적인 등록으로 지정될 수도 있다.
또한 본 발명의 일 실시예에 따라 감성 UI는 감성 UI 목적(230)에 기초하여 동작할 수 있다.
도 4는 착용형 장치나 휴대용 장치에서 수행되는 본 발명의 감성 적응형 UI 기능 블록 구조를 보인다.
본 발명은 감성 인식부(310), 감성 UI 수행부(320) 및 감성 UI/UX 관리부(33)을 포함할 수 있다.
감성 인식부(310)의 생체신호 인식 블록(311)은 사용자(100)의 생체신호를 수집하여 감성인식을 위한 정보로 가공할 수 있다.
감성 인식부(310)의 음성/비디오 인식 블록(312)은 사용자의 음성/비디오 데이터로부터 감성인식 위한 정보를 추출할 수 있다.
감성 인식 모델 관리 블록(313)은 감정 인식 모델과 추출된 감성인식 정보를 기반으로 사용자의 감성 상태를 인식할 수 있다.
사용자 착용형 장치(110), 사용자 휴대장치(120), 주변 IoT 기기(130)는 사용자 경험데이터 및 인식된 감정정보를 서로 교환할 수 있다. 이때 정보 교환을 위한 장치간 정보교환 관리 블록(314)가 포함 될 수 있다.
감성 인식부(310)로부터 인식된 사용자 감성 정보는 감성 적응형 UI 수행부(320)로 전달될 수 있다. 이때 감성 적응형 UI 수행부(320)는 등록된 감성 적응형 UI가 지정된 목적에 따라 패턴 속성을 변경하여 수행 될 수 있도록 한다. 또한 감성 적응형 UI 수행부(320)는 UI 제어부(321) 및 UI 수행부(322)로 구성될 수 있다.
UI 제어부(321)는 감성 인식부(310)로부터 사용자 감성 정보를 전달받을 수 있다. 또한 UI 제어부(321)는 사용자로부터 해당 감성 적응형 UI에 대한 종료 인터페이스 정보를 수신할 수 있다. 또한 UI 제어부(321)는 감성 적응형 UI/UX 정보 관리부(330)와 연동을 수행할 수 있다.
즉, UI 제어부(321)은 상기 입력 받은 정보들인 사용자 감성 정보, 종료 인터페이스 정보 및 감성 적응형 UI/UX 정보 관리부에서 전달된 정보를 통해 감성 적응형 UI의 시작과 종료 시점을 판단할 수 있다. 또한 UI 제어부(321)은 해당 감성 적응형 UI의 세부 패턴 속성을 조정할 수 있으며, 세부 패턴 속성이 수행되도록 할 수 있다.
이 때 해당 감성 적응형 UI의 세부 패턴 속성을 조정하는 경우, 유용성 정보 및 사용자 경험(UX) 정보 디스크립터(UI-UX descriptor)에서 제공되는 정보에 기초하여 세부 패턴 속성이 조정될 수 있다. 이 때 유용성 정보는 서비스가 제공되는 과정에서 변화하는 사용자의 감성 상태 인식 정보를 기반으로 계산되는 정보에 해당된다. 또한 사용자 경험(UX) 정보 디스크립터(UI-UX descriptor)는 과거의 유용성 정보를 포함하는 정보로서, 감성 적응형 UI-UX 정보 관리부(332)에서 관리되는 해당 UI에 대한 정보에 해당된다.
감성 UI/UX 관리부(330)은 감성 적응형 UI 정보 관리부(331) 및 감성 UI-UX 정보 관리부(332)를 포함할 수 있다.
감성 적응형 UI 정보 관리부(331)는 등록된 감성 적응형 UI의 속성 정보를 관리할 수 있다.
감성 적응형 UI-UX 정보 관리부(331)는 서비스되는 감성 적응형 UI 동작에 대한 유용성 정보를 포함하는 사용자 경험정보에 대한 디스크립터를 관리할 수 있다.
이 때 사용자 경험정보(UX) 디스크립터에는 본 발명의 UI 속성 정보, 인식된 감성 정보, 인식된 감성 상태에서 수행된 세부 UI 패턴 속성과 이때의 해당 패턴에 대한 유용성 측정 값이 해당 감성UI의 사용자 경험 정보로 포함 될 수 있다.
본 발명의 감성 적응형 UI 동작의 일 실시의 예로서, 감성 적응형 UI의 초기 패턴 속성이 결정되어 제공될 수 있다. 본 발명의 일 실시예로 종래 동작했던 UI에 대한 사용자 경험 정보 디스크립터에서 제공된 정보를 활용할 수 있다. 즉, 특정 UI가 동작하는 시점에 인식된 사용자 감성정보를 기반으로, 사용자 경험정보 디스크립터에서 해당 감성 정보일 때 기존의 높은 유용성을 보였던 UI 패턴 속성을 결정하여 해당 패턴으로 초기 감성 적응형 UI를 수행할 수 있다. 이때 경험정보 디스크립터에는 감성 UI의 세부 패턴의 수행 시작과 종료 근접 시간에 인식된 감성정보와 해당 감성 적응형 UI의 목적과의 부합여부를 반영하는 유용성정보가 계산되어 저장된다.
본 발명의 감성 적응형 UI는 사용자의 생체신호 및 음성정보를 기반으로 하는 사용자의 감성 정보에 적응하여 실제 해당 UI의 세부 패턴의 속성을 변경한다. 이를 위해 해당 감정 UI가 동작 될 때 해당 UI 유용성 및 UI를 구성하는 세부 패턴의 유용성이 계산되어, 사용자 경험 정보로 관리된다. 기존에 저장되어 있는 경험 정보를 참조하여, 해당 UI의 세부 패턴이 조정된다.
도 5는 본 발명의 일 실시예에 따른 감성 적응형 UI 패턴 동작을 나타낸 도면이다.
도 5는 감성 적응형 UI-UX 정보 관리 블록에서 특정 k-번째 감성 적응형 UI()에 대한 유용성 및 해당 UI()의 i-번째 세부 패턴(420;)의 유용성 정보를 추출하기 위한 운영을 도식화한 것이다.
UI()의 i-번째 세부 패턴() 시작 및 종료 최근 인접 시간에 인식되는 감성 정보(430;), 해당 UI()의 시작시점(410;)과 종료시점(420;)에서 인식된 감성 정보(440,450; ,), 해당 UI()에 대한 동작 종료 시까지의 해당 UI의 동작 지속시간(460; )을 도식화한다.
[수학식 1]은 특정 감성 적응형 UI()의 유용성() 계산 방식을 보인다. 본 발명의 특정 감성 적응형 UI()의 유용성()은 해당 감성 UI의 시작과 종료시점에서 인식한 사용자 감성 정보의 변화(), 사용자가 해당 감성 적응형 UI를 통해 얻고자 하는 목적에 맞도록 동작하는지에 대한 효과() 정보를 활용하여 계산된다.
또한, 해당 감성 적응형 UI의 유용성 계산 시 해당 UI의 시작과 종료 시까지의 총 동작 시간() 정보를 활용할 수 있다.
해당 감성 UI의 유용성 계산 시에 활용되는 효과 정보()와 동작 시간정보()는 감성 적응형 UI의 목적에 따라 각 정보에 대한 중요도를 나타내는 가중치 값(,)을 활용하여 결정될 수 있다. 이때 가중치 값(,)는 감성 적응형 UI의 목적에 따라 시스템 구현 방식에 따라 명시적으로 지정되거나, 구현되는 서비스 및 동작에 따라 학습된 결과로 지정 될 수 있다.
계산된 상기 UI의 유용성은 사용자 경험(UX) 정보 디스크립터(UI-UX descriptor)에 저장되어 서비스 과정에서 활용 될 수 있다. [수학식 1]은 특정 UI(Fk)의 유용성을 계산하는 식에 해당된다.
[수학식2]는 특정 UI()에 속하는 세부 패턴()의 유용성을 계산하는 식에 해당된다.
본 발명에서는 특정 UI()에 속하는 세부 패턴()의 유용성()은 해당 감성 UI 패턴의 시작과 종료 최 인접 시점에서 측정된 사용자 생체신호 및 음성/비디오 데이터에 기반을 두어 인식되는 사용자 감성 정보의 차이(), 사용자가 해당 감성 적응형 UI를 통해 얻고자 하는 목적에 맞도록 동작하는지의 효과 () 정보를 활용하여 계산될 수 있다.
도 6는 감성 적응형 UI 및 패턴 유용성 계산을 위한 감성 변화 유용성 정보 계산을 위한 도면에 해당된다.
도 6은 본 발명의 감성 적응형 UI와 세부 패턴이 해당 UI의 목적에 부합하였는지의 효과(,) 정보에 대한 계산 방식을 도식화한 것에 해당된다.
도 6와 같이 목적벡터(490)와 동작벡터(480)의 차이 정보(470)를 활용하여 계산될 수 있다.
이 때 동작 벡터는 동작 과정에서 인식된 감성 정보들(430;,)의 차이()로 구성될 수 있다.
이때 목적벡터에는 해당 감성 적응형 UI의 목적(230)에 부합하는 바람직한 감성 변화 정도가 나타날 수 있다.
목적벡터와 동작벡터는 감성 적응형 UI 동작 구간 내에서 유용성을 측정하고자 하는 구간의 시작과 끝 지점에 측정된 감성 정보를 기반으로 동적으로 생성 될 수 있다.
본 발명의 유용성 계산의 일 구현의 예로, 목적 벡터와 동작 벡터의 차이는 유클리안(Euclidean) 거리 계산, 코사인(cosine) 유사도 등의 방식을 적용하여 계산하여, 목적벡터와 거리가 가까울수록 유용성은 높은 수치로 계산 될 수 있다. 감성 적응형 UI의 목적벡터의 바람직한 변화 방향 및 변화량은 시스템 구현 방식에 따라 서비스와 사용자에 의해 명시적으로 지정되거나 사용자 경험 데이터와 같은 데이터를 활용한 학습 결과로 지정 될 수 있다.
도 7은 본 발명의 감성 적응형 UI 수행 부(320)의 구성도에 해당한다.
감성 적응형 UI 수행 부(320)는 UI 제어부(321) 및 UI 수행 기능 부(322)를 포함할 수 있다. 사용자 착용형 장치 및 휴대 인터페이스 장치에 따라 UI 제어 기능부에는 해당 장치의 디스플레이(display) 제어, 진동(vibration) 제어, 사운드(sound) 제어, 촉각(tactile) 제어를 위한 기능 모듈이 포함될 수 있다.
도 8은 본 발명의 감성 적응형 UI 수행을 지원하는 웨어러블 장치 중 손목 착용형 장치(110)의 일 실시 예를 보인다.
본 발명이 구현될 수 있는 착용형 손목 장치에는 생체신호 인식(311), 디스플레이, 진동과 같은 감성UI 제어 및 수행(321, 322)의 기능 모듈이 포함될 수 있다.
본 발명의 서비스는 서비스의 목적 정보를 기초로 하여, 상기 서비스의 동작 조건, 상기 서비스의 종료 조건 및 감성 UI 서비스 유형 중 적어도 하나 이상으로 구성될 수 있다. 따라서 사용자는 해당 구성을 등록하거나, 상기의 구성들은 제공되는 서비스에 의해 자동으로 설정될 수 이다.
보다 구체적으로 본 발명의 감성 UI 동작상황에 대한 시간, 감정, 감성 UI 목적 및 감성 UI 인터페이스 유형은 웨어러블 장치를 통해 사용자가 명시적으로 등록하거나, 구동되는 서비스와의 연동을 통해 자동으로 설정 될 수 있다(210~240).
또한, 촉각 유형을 제공하는 장치일 경우 상, 하, 좌, 우, 복합 방향의 촉각을 제공하기 위한 하드웨어 장치(322-1)의 촉각 유형 UI 제공을 위한 장치 구성(322)이 포함 될 수 있다.
도 9는 본 발명의 일 실시예에 따른 본 발명의 감성 적응형 UI의 동작 순서도이다.
사용자는 감성 적응형 UI가 동작하는 특정 감성 UI 동작상황의 시간 및 감정 속성에 대한 조건 조합을 통하여 특정 감성 UI 동작상황의 감성 적응형 UI를 등록할 수 있다 (S901).
본 발명의 시스템은 사용자가 등록한 감성 적응형 UI의 속성 정보를 관리(S902) 할 수 있다.
사용자의 생체신호 및 음성/비디오 데이터에 기반을 두어 사용자 감성 정보를 인식할 수 있다. (S903).
인식된 사용자 감성 정보와 감성 UI 동작상황에서 지정된 시간과 같은 컨텍스트 정보를 통해 해당 감성 적응형 UI를 실행해야 하는 상황 인지를 수행할 수 있다(S904).
감성 적응형 UI 동작을 위하여 해당 감성 적응형 UI의 목적을 갖는 UI-UX 디스크립터 정보를 참조할 수 있다 (S905).
이 때 해당 감성 서비스의 목적의 UI 패턴에 대한 유용성 정보가 관리되는 감성 적응형 UI-UX 정보 디스크립터를 활용할 수 있다. 감성 적응형 UI-UX 정보 디스크립터, 인식된 사용자 생체리듬 및 감성 정보와 연관되어 기존의 높은 유용성을 보였던 해당 UI의 동작 정보를 기반으로 세부 패턴 정보(S906)를 참조하여 감성 UI를 수행할 수 있다(S907).
사용자의 생체신호 및 음성/비디오 데이터를 기반으로 추출된 감성정보와 사용자가 지정한 해당 UI의 목적 유형에 따른 유용성 정보를 측정할 수 있다. 그리고 측정된 유용성 정보에 기초하여 감성 적응형 UI-UX의 유용성 정보가 갱신될 수 있다 (S908, S909).
계산된 세부 패턴의 유용성 정보와 해당 UI-UX 디스크립터에 저장된 정보를 활용하여 다음에 수행할 패턴의 종류가 결정될 수 있다 (S906).
또한, 감성 적응형 UI의 세부 패턴을 조정함에 있어서, 유용성 값이 임계값 이상인지를 판단할 수 있다. 이 때 직전에 수행한 패턴에 대해 계산된 유용성이 임계값(threshold) 이상으로 감성 UI의 목적에 맞게 운용되고 있을 경우, 해당 패턴의 수행을 지속 할 수도 있다(S907).
유용성() 정보가 감성 적응형 UI-UX 디스크립터에 저장될 수 있다(S909). 이 때 유용성() 정보는 감성 적응형 UI의 세부 패턴의 수행 시작과 종료 근접 시간에 인식된 감성정보와 해당 감성 적응형 UI의 목적과의 부합여부를 반영하여 계산될 수 있다.
감성 적응형 UI 수행의 종료는 "stop"와 같은 특정 단어에 대한 명시적인 사용자 발화, 버튼과 같은 명시적인 인터페이스 및 해당 감성 UI 동작상황에서 지정된 시간이나 사용자 감성이 해당 UI에서 지정된 목적 감성으로의 변화하였을 경우, 해당 감성 적응형 UI의 종료 상황으로 인식 될 수 있다(S910).
해당 감성 적응형 UI의 종료 상황으로 인지될 경우 감성 적응형 UI-UX 정보 관리 기능 블록에서는 해당 감성 적응형 UI에 대한 유용성 정보를 추출하여 갱신한다(S911).
본 발명은 감성 적응형 UI를 제공하는 방법에 대한 것으로 감성 적응형 UI에 대한 동작 목적이 사용자 및 서비스로부터 지정되는 방식, 감성 적응형 UI를 수행하는 과정에서 해당 감성 UI의 목적 정보를 기반으로 감성 UI 및 세부 패턴에 대한 유용성을 측정하는 방식, 감성 적응형 UI를 수행하는 과정에서 세부 패턴의 유용성에 대한 사용자 경험 정보를 저장하는 방식, 감성 적응형 UI를 수행하는 과정에서 측정된 세부 패턴 유용성과 기존의 저장되어 있는 각 패턴의 유용성에 대한 사용자 경험정보를 기반으로 해당 UI의 세부 패턴을 조정 하는 방식과 같은 특징을 갖는다.
또한 본 발명의 일 실시예에 따라 감성 적응형 UI 제공 웨어러블 장치가 제공될 수 있다. 이 때 본 발명의 일 실시예에 따라 사용자 생체리듬 및 감정 인식을 위한 생체신호, 음성과 같은 경험 데이터에 대한 수집부 포함하고, 촉각 유형의 감성 적응형 UI를 지원하기 위해 상, 하, 좌, 우, 복합 방향의 촉각 및 세기에 대한 패턴 변화를 수행 할 수 있는 착용형 손목 장치가 제공될 수 있다.
본 발명의 이점 및 특징, 그것들을 달성하는 방법은 첨부되어 있는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 제시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

Claims (20)

  1. 감성 컴퓨팅(affective computing)에 기반하여 장치가 감성 적응형 UI(User Interface)를 제공하는 방법에 있어서,
    사용자의 감성 정보에 대한 입력 신호를 획득하는 단계;
    상기 감성 적응형 UI를 통하여 상기 감성 정보에 기초한 서비스를 제공하는 단계;
    상기 서비스에 대한 유용성(usefulness) 정보를 계산하는 단계; 및
    상기 제공된 서비스에 대해 상기 유용성 정보에 기초한 피드백을 반영하는 단계; 를 포함하되,
    상기 서비스는
    서비스의 목적 정보를 기초로 하여,
    상기 서비스의 동작 조건, 상기 서비스의 종료 조건 및 감성 UI 서비스 유형 중 적어도 하나 이상으로 구성되고,
    상기 감성 UI 서비스 유형은 한 개 이상의 세부 패턴들로 구성되고,
    상기 서비스가 제공되는 경우,
    상기 서비스의 목적 정보 및 상기 유용성 정보를 포함한 사용자 경험 정보 중 적어도 하나 이상의 정보에 기초하여 상기 세부 패턴이 변경되어 제공되며,
    상기 유용성 정보를 계산하는 단계는,
    상기 감성 적응형 UI의 시작과 종료 시점에서 인식한 상기 사용자의 감성 정보의 변화, 상기 사용자의 감성 정보의 변화와 상기 서비스의 목적 정보 간의 관계, 상기 감성 적응형 UI의 시작과 종료 시점까지의 총 동작 시간, 상기 사용자의 감성 정보의 변화와 상기 서비스의 목적 정보 간의 관계에 대해 미리 설정된 제1 가중치 및 상기 총 동작 시간에 대해 미리 설정된 제2 가중치를 이용하여 상기 감성 적응형 UI의 유용성 정보를 계산하며,
    상기 서비스의 목적 정보는 감성 각성(awakening) 목적, 감성 제어(control) 목적 및 감성 위안(consolation) 목적을 포함하는 기본 목적 정보인 것을 특징으로 하는 감성 적응형 UI를 제공하는 방법.
  2. 제 1항에 있어서
    상기 유용성 정보는
    상기 감성 적응형 UI를 통하여 제공되는 서비스에 대한 평가 지표에 해당되고,
    상기 서비스의 목적 정보에 기초하여 결정되는 것을 특징으로 하는 감성 적응형 UI를 제공하는 방법.
  3. 제 1항에 있어서
    상기 서비스가 제공되는 경우,
    상기 서비스의 목적 정보에 기초하여, 상기 서비스의 목적 정보를 충족시키기 위한 방향으로 상기 서비스에 포함된 상기 세부 패턴들이 변경되는 것을 특징으로 하는 감성 적응형 UI를 제공하는 방법.
  4. 제 3항에 있어서,
    상기 서비스의 목적 정보를 충족시키기 위한 방향으로 상기 세부 패턴이 변경되는 경우,
    상기 세부 패턴을 가진 서비스가 제공된 결과에 따라 상기 세부 패턴에 대해 계산된 상기 유용성이 임계값 이상인 경우,
    상기 서비스의 목적 정보가 충족된 것으로 판단되는 것을 특징으로 하는 감성 적응형 UI를 제공하는 방법.
  5. 제 1항에 있어서
    상기 유용성 정보 중 서비스 유용성 정보는
    상기 세부 패턴이 시작될 때의 상기 감성 정보, 상기 서비스의 세부 패턴이 종료될 때의 상기 감성 정보 및 상기 서비스의 목적 정보 중 적어도 하나 이상의 정보에 기초하여 계산되는 것을 특징으로 하는 감성 적응형 UI를 제공하는 방법.
  6. 제 1항에 있어서
    상기 유용성 정보 중 세부 패턴 유용성 정보는
    상기 세부 패턴이 시작될 때의 상기 감성 정보와 상기 세부 패턴이 종료될 때의 상기 감성 정보간의 차이 및 상기 서비스의 목적 정보 중 적어도 하나 이상의 정보에 기초하여 계산되는 것을 특징으로 하는 감성 적응형 UI를 제공하는 방법.
  7. 제 1항에 있어서
    상기 서비스의 동작 조건 및 상기 서비스의 종료 조건에는
    상기 서비스를 동작하기 위한 시간 속성, 현재 감성 정보 및 목표 감성 정보, 장소 정보 중 적어도 하나 이상이 포함되는 것을 특징으로 하는 감성 적응형 UI를 제공하는 방법.
  8. 제 1항에 있어서
    상기 감성 UI 서비스 유형에는 사운드 서비스, 디스플레이 서비스, 진동 서비스 및 촉각 서비스가 포함되며,
    상기 감성 적응형 UI를 통하여 제공되는 서비스는 사운드 서비스, 디스플레이 서비스, 진동 서비스 및 촉각 서비스 중 하나 이상이 제공되는 것을 특징으로 하는 감성 적응형 UI를 제공하는 방법.
  9. 제 1항에 있어서
    상기 세부 패턴은 상기 감성 UI 서비스 유형에 대한 세부 속성에 해당되며,
    상기 감성 UI 서비스 유형을 제어하는 방식에 해당되는 것을 특징으로 하는 감성 적응형 UI를 제공하는 방법.
  10. 제 1항에 있어서
    상기 서비스가 제공되는 경우
    상기 사용자 경험 정보 중 상기 서비스의 목적 정보와 대응되는 정보를 확인하고,
    상기 대응되는 정보에 포함된 상기 유용성 정보에 기초하여 상기 서비스에 포함된 상기 세부 패턴이 결정되는 것을 특징으로 하는 감성 적응형 UI를 제공하는 방법.
  11. 제 1항에 있어서
    상기 사용자의 감성 정보에 대한 입력 신호에는 사용자의 생체 신호 데이터, 음성 데이터 및 비디오 데이터 중 적어도 하나 이상의 데이터가 포함되고,
    감정 인식 모델을 사용하여 상기 입력 신호에 기초하여 상기 감성 정보를 인식하는 것을 특징으로 하는 감성 적응형 UI를 제공하는 방법.
  12. 제 1항에 있어서
    상기 서비스의 목적 정보는 사용자에 의해 설정된 목적 정보를 더 포함하는 감성 적응형 UI를 제공하는 방법.
  13. 제 1항에 있어서
    상기 제공된 서비스에 대해 상기 유용성 정보에 기초한 피드백을 반영하는 경우,
    상기 제공된 서비스에 대한 상기 세부패턴에 대한 정보가 갱신되는 것을 특징으로 하는 감성 적응형 UI를 제공하는 방법.
  14. 감성 컴퓨팅(affective computing)에 기반하여 감성 적응형 UI(User Interface)를 제공하는 장치에 있어서
    사용자의 감성 정보에 대한 입력 신호를 획득하는 감정 인식부;
    상기 감성 적응형 UI를 통하여 상기 인식된 감성 정보에 대한 입력 신호에 기초한 서비스를 제공하고, 상기 서비스에 대한 유용성(usefulness) 정보를 계산하는 감성 UI 수행부; 및
    상기 제공된 서비스에 대해 상기 유용성 정보에 기초한 피드백을 반영하는 감성 UI/UX 관리부;를 포함하되,
    상기 서비스는
    서비스의 목적 정보를 기초로 하여,
    상기 서비스의 동작 조건, 상기 서비스의 종료 조건 및 감성 UI 서비스 유형 중 적어도 하나 이상으로 구성되고,
    상기 감성 UI 서비스 유형은 한 개 이상의 세부 패턴들로 구성되고,
    상기 서비스가 제공되는 경우,
    상기 서비스의 목적 정보 및 상기 유용성 정보를 포함한 사용자 경험 정보 중 적어도 하나 이상의 정보에 기초하여 제공되는 상기 세부 패턴이 변경되며,
    상기 감성 UI 수행부는,
    상기 감성 적응형 UI의 시작과 종료 시점에서 인식한 상기 사용자의 감성 정보의 변화, 상기 사용자의 감성 정보의 변화와 상기 서비스의 목적 정보 간의 관계, 상기 감성 적응형 UI의 시작과 종료 시점까지의 총 동작 시간, 상기 사용자의 감성 정보의 변화와 상기 서비스의 목적 정보 간의 관계에 대해 미리 설정된 제1 가중치 및 상기 총 동작 시간에 대해 미리 설정된 제2 가중치를 이용하여 상기 감성 적응형 UI의 유용성 정보를 계산하며,
    상기 서비스의 목적 정보는 감성 각성(awakening) 목적, 감성 제어(control) 목적 및 감성 위안(consolation) 목적을 포함하는 기본 목적 정보인 것을 특징으로 하는 감성 적응형 UI를 제공하는 장치.
  15. 제 14항에 있어서
    상기 장치는 사운드 서비스, 디스플레이 서비스, 진동 서비스 및 촉각 서비스 중 하나 이상의 감성 UI 서비스 유형이 구동되는 것을 특징으로 하는 감성 적응형 UI를 제공하는 장치.
  16. 제 14항에 있어서
    상기 장치는 웨어러블 장치에 해당되는 것을 특징으로 하는 감성 적응형 UI를 제공하는 장치.
  17. 제 14항에 있어서
    상기 서비스가 제공되는 경우,
    상기 서비스의 목적 정보에 기초하여, 상기 서비스의 목적 정보를 충족시키기 위한 방향으로 상기 서비스에 포함된 상기 세부 패턴들이 변경되는 것을 특징으로 하는 감성 적응형 UI를 제공하는 장치.
  18. 제 17항에 있어서,
    상기 서비스의 목적 정보를 충족시키기 위한 방향으로 상기 세부 패턴이 변경되는 경우,
    상기 세부 패턴을 가진 서비스가 제공된 결과에 따라 상기 세부 패턴에 대해 계산된 상기 유용성이 임계값 이상인 경우,
    상기 서비스의 목적 정보가 충족된 것으로 판단되는 것을 특징으로 하는 감성 적응형 UI를 제공하는 장치.
  19. 삭제
  20. 제 14항에 있어서
    상기 사용자의 감성 정보에 대한 입력 신호에는 사용자의 생체 신호 데이터, 음성 데이터 및 비디오 데이터 중 적어도 하나 이상의 데이터가 포함되고,
    감정 인식 모델을 사용하여 상기 입력 신호에 기초하여 상기 감성 정보를 인식하는 것을 특징으로 하는 감성 적응형 UI를 제공하는 장치.
KR1020190005622A 2019-01-16 2019-01-16 감성 적응형 UI(User Interface)를 제공하는 방법 및 장치 KR102569000B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190005622A KR102569000B1 (ko) 2019-01-16 2019-01-16 감성 적응형 UI(User Interface)를 제공하는 방법 및 장치
US16/547,755 US10983808B2 (en) 2019-01-16 2019-08-22 Method and apparatus for providing emotion-adaptive user interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190005622A KR102569000B1 (ko) 2019-01-16 2019-01-16 감성 적응형 UI(User Interface)를 제공하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200089042A KR20200089042A (ko) 2020-07-24
KR102569000B1 true KR102569000B1 (ko) 2023-08-23

Family

ID=71516074

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190005622A KR102569000B1 (ko) 2019-01-16 2019-01-16 감성 적응형 UI(User Interface)를 제공하는 방법 및 장치

Country Status (2)

Country Link
US (1) US10983808B2 (ko)
KR (1) KR102569000B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102569000B1 (ko) * 2019-01-16 2023-08-23 한국전자통신연구원 감성 적응형 UI(User Interface)를 제공하는 방법 및 장치
US11625922B2 (en) * 2021-03-08 2023-04-11 Motorola Solutions, Inc. Event summarization facilitated by emotions/reactions of people near an event location

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101436152B1 (ko) * 2013-10-24 2014-09-01 더디엔에이 주식회사 건강 관리 서비스를 위한 가상 환경 시뮬레이션 방법 및 서버 그리고 이를 이용한 컴퓨터 판독 가능한 기록 매체

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100534103C (zh) * 2004-09-10 2009-08-26 松下电器产业株式会社 用于通告人的情感的信息处理终端和方法
US20090002178A1 (en) * 2007-06-29 2009-01-01 Microsoft Corporation Dynamic mood sensing
CN108279781B (zh) * 2008-10-20 2022-01-14 皇家飞利浦电子股份有限公司 在再现环境下控制对用户的影响
US9386139B2 (en) * 2009-03-20 2016-07-05 Nokia Technologies Oy Method and apparatus for providing an emotion-based user interface
KR101562792B1 (ko) 2009-06-10 2015-10-23 삼성전자주식회사 목표 예측 인터페이스 제공 장치 및 그 방법
KR101303648B1 (ko) * 2009-12-08 2013-09-04 한국전자통신연구원 감성신호 감지 장치 및 그 방법
KR101299220B1 (ko) 2010-01-08 2013-08-22 한국전자통신연구원 감성 신호 감지 장치와 감성 서비스 제공 장치 간의 감성 통신 방법
US10019962B2 (en) * 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
KR20140073294A (ko) 2012-12-06 2014-06-16 한국전자통신연구원 심장 박동수 변화를 이용한 실시간 감성 인식장치 및 그 방법
US9196248B2 (en) * 2013-02-13 2015-11-24 Bayerische Motoren Werke Aktiengesellschaft Voice-interfaced in-vehicle assistance
KR20140104537A (ko) 2013-02-18 2014-08-29 한국전자통신연구원 생체 신호 기반의 감성 인터랙션 장치 및 방법
US9569424B2 (en) * 2013-02-21 2017-02-14 Nuance Communications, Inc. Emotion detection in voicemail
WO2015033153A2 (en) * 2013-09-04 2015-03-12 Zero360, Inc. Processing system and method
KR102302439B1 (ko) 2014-02-21 2021-09-15 삼성전자주식회사 전자 장치
US20150277683A1 (en) * 2014-03-28 2015-10-01 Foneclay Inc. Adaptive user experience
US10285634B2 (en) 2015-07-08 2019-05-14 Samsung Electronics Company, Ltd. Emotion evaluation
US10835168B2 (en) * 2016-11-15 2020-11-17 Gregory Charles Flickinger Systems and methods for estimating and predicting emotional states and affects and providing real time feedback
KR102569000B1 (ko) * 2019-01-16 2023-08-23 한국전자통신연구원 감성 적응형 UI(User Interface)를 제공하는 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101436152B1 (ko) * 2013-10-24 2014-09-01 더디엔에이 주식회사 건강 관리 서비스를 위한 가상 환경 시뮬레이션 방법 및 서버 그리고 이를 이용한 컴퓨터 판독 가능한 기록 매체

Also Published As

Publication number Publication date
KR20200089042A (ko) 2020-07-24
US20200225963A1 (en) 2020-07-16
US10983808B2 (en) 2021-04-20

Similar Documents

Publication Publication Date Title
US11237635B2 (en) Nonverbal multi-input and feedback devices for user intended computer control and communication of text, graphics and audio
CN108292317B (zh) 问题和答案处理方法以及支持该方法的电子设备
US10366778B2 (en) Method and device for processing content based on bio-signals
CN103561652B (zh) 用于辅助患者的方法和系统
EP2974658B1 (en) Information processing terminal and communication system
CN108629313A (zh) 情绪调节方法、装置、系统以及计算机存储介质
KR102569000B1 (ko) 감성 적응형 UI(User Interface)를 제공하는 방법 및 장치
US11386474B2 (en) System and method for generating a product recommendation in a virtual try-on session
KR102324431B1 (ko) 뇌파신호를 센싱하는 헤드폰겸용 호흡명상유도장치 및 그 장치를 이용하여 뇌파신호를 표시 및 저장하는 호흡명상유도시스템
CN109949438B (zh) 异常驾驶监测模型建立方法、装置及存储介质
KR20190141348A (ko) 전자 장치에서 생체 정보 제공 방법 및 장치
CN111105852A (zh) 一种电子病历推荐方法、装置、终端及存储介质
Yang et al. Design of virtual keyboard using blink control method for the severely disabled
CN113287175A (zh) 互动式健康状态评估方法及其系统
KR20190041343A (ko) 사용자 발화를 처리하는 전자 장치 및 서버
CN110462647A (zh) 电子设备及执行电子设备的功能的方法
CN105374366A (zh) 一种穿戴设备识别语义的方法与系统
KR20210103372A (ko) 대화형 뇌-컴퓨터 인터페이스 기반 스마트 홈 제어 방법 및 서버
WO2023027578A1 (en) Nose-operated head-mounted device
CN116917923A (zh) 内容推荐系统、内容推荐方法、内容库、用于生成内容库的方法和目标输入用户接口
KR101781778B1 (ko) 사용자 맞춤형 가상현실 사후세계 체험 서비스를 제공하는 방법 및 시스템
CN105493026B (zh) 一种智能穿戴设备屏显方法及装置
CN108600502A (zh) 电子装置、拨号方法及相关产品
CN110795986A (zh) 一种手写输入的识别方法和系统
US20220331196A1 (en) Biofeedback-based control of sexual stimulation devices

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)