KR20170029398A - 어플리케이션 제공 방법 및 이를 위한 전자 기기 - Google Patents

어플리케이션 제공 방법 및 이를 위한 전자 기기 Download PDF

Info

Publication number
KR20170029398A
KR20170029398A KR1020160115252A KR20160115252A KR20170029398A KR 20170029398 A KR20170029398 A KR 20170029398A KR 1020160115252 A KR1020160115252 A KR 1020160115252A KR 20160115252 A KR20160115252 A KR 20160115252A KR 20170029398 A KR20170029398 A KR 20170029398A
Authority
KR
South Korea
Prior art keywords
user
application
information
electronic device
emotion
Prior art date
Application number
KR1020160115252A
Other languages
English (en)
Inventor
핑 후
김재현
문영수
긍유 마
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20170029398A publication Critical patent/KR20170029398A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06K9/00315—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

전자 기기에서 제공되는 어플리케이션에 대한 사용자의 조작 정보를 획득하는 단계; 사용자의 감정 정보를 획득하는 단계; 사용자의 조작 정보 및 사용자의 감정 정보에 기초하여, 어플리케이션의 사용자 인터페이스를 수정하는 단계; 및 수정된 사용자 인터페이스를 포함하는 어플리케이션을 제공하는 단계를 포함하는, 전자 기기의 어플리케이션 제공 방법을 개시한다.

Description

어플리케이션 제공 방법 및 이를 위한 전자 기기{METHOD AND ELECTRONIC APPARATUS FOR PROVIDING APPLICATION}
사용자의 조작 정보 및 감정 정보에 기초한 어플리케이션 제공 방법 및 이를 위한 전자 기기에 관한 것이다.
인터넷의 빠른 발전과 함께, 전자 기기에 의해 제공되는 스마트 서비스는 점점 풍부해졌다. 대개의 전자 기기들은 어플리케이션에 의해 다양한 스마트 서비스를 사용자에게 제공한다. 이에 따라, 사용자는 다양한 어플리케이션을 사용하는 동안 다양한 감정을 가질 수 있다. 어플리케이션의 조작과 관련된 사용자의 감정을 파악함으로써, 사용자의 감정을 어플리케이션에 반영하여, 해당 어플리케이션에 대한 UX(user experience)를 향상시킬 수 있다.
일 실시예에 의하면, 사용자의 조작 정보 및 감정 정보에 기초하여, 어플리케이션을 제공하는 방법 및 이를 위한 전자 기기가 제공될 수 있다.
일 실시예에 따르는 어플리케이션 제공 방법은, 전자 기기에서 제공되는 어플리케이션에 대한 사용자의 조작 정보를 획득하는 단계; 사용자의 감정 정보를 획득하는 단계; 사용자의 조작 정보 및 사용자의 감정 정보에 기초하여, 어플리케이션의 사용자 인터페이스를 수정하는 단계; 및 수정된 사용자 인터페이스를 포함하는 어플리케이션을 제공하는 단계를 포함할 수 있다.
일 실시예에 따르는 사용자의 조작 정보를 획득하는 단계는, 사용자가 어플리케이션을 조작하는 조작 위치, 조작 힘 및 조작 빈도 중 적어도 하나를 획득하는 단계를 포함할 수 있다.
일 실시예에 따르는 사용자의 감정 정보를 획득하는 단계는, 어플리케이션을 조작하는 사용자의 표정을 식별하는 단계; 및 사용자의 표정에 기초하여, 사용자의 감정 상태를 결정하는 단계를 포함할 수 있다.
일 실시예에 따르는 사용자의 표정을 식별하는 단계는, 이미지 센서를 통해 어플리케이션을 조작하는 사용자의 얼굴 영상을 획득하는 단계; 사용자의 얼굴 영상으로부터 특징점들을 추출하는 단계; 추출된 특징점들과 기 정의된 표정 정보에 포함된 특징점들을 비교하는 단계; 및 상기 비교한 결과에 기초하여, 사용자의 표정을 식별하는 단계를 포함할 수 있다.
일 실시예에 따르는 사용자의 감정 정보를 획득하는 단계는, 어플리케이션을 조작하는 사용자의 땀 배출량 정보, 근육 수축 정보, 손가락 떨림 정보, 심박수 정보 및 맥박 정보 중 적어도 하나를 검출하는 단계; 및 검출된 적어도 하나의 정보에 기초하여, 사용자의 감정 상태를 결정하는 단계를 포함할 수 있다.
일 실시예에 따르는 어플리케이션의 사용자 인터페이스를 수정하는 단계는, 사용자의 조작 정보 및 사용자의 감정 정보를 분석하여, 어플리케이션에서 제공하는 기능들 간의 우선 순위를 결정하는 단계; 및 결정된 기능들 간의 우선 순위에 기초하여, 사용자 인터페이스를 수정하는 단계를 포함할 수 있다.
일 실시예에 따르는 어플리케이션의 사용자 인터페이스를 수정하는 단계는, 사용자의 조작 정보 및 사용자의 감정 정보에 기초하여, 어플리케이션에서 표시되는 컨텐트들 간의 우선 순위를 결정하는 단계; 및 결정된 컨텐트들 간의 우선 순위에 따라, 컨텐트들의 배치를 변경하는 단계를 포함할 수 있다.
일 실시예에 따르는 어플리케이션의 사용자 인터페이스를 수정하는 단계는, 제 1기능을 실행하는 경로에 관한 정보를 획득하는 단계; 제 1기능을 실행하는 경로에 대한 사용자의 선호 여부를 결정하는 단계; 및 상기 결정된 사용자의 선호 여부에 기초하여, 제 1기능을 실행하는 경로와 관련된 구조를 선택적으로 변경하는 단계를 포함할 수 있다.
일 실시예에 따르는 어플리케이션 제공 방법은, 사용자의 조작 정보 및 사용자의 감정 정보에 기초하여, 사용자에게 다른 어플리케이션을 추천하는 단계를 더 포함할 수 있다.
일 실시예에 따르는 어플리케이션의 사용자 인터페이스를 수정하는 단계는, 외부 기기로부터 어플리케이션에 대한 다른 사용자의 조작 정보 및 감정 정보를 획득하는 단계; 및 다른 사용자의 조작 정보 및 감정 정보를 고려하여, 어플리케이션의 사용자 인터페이스를 수정하는 단계를 포함할 수 있다.
일 실시예에 따르는 전자 기기는, 어플리케이션에 대한 사용자의 조작 정보를 획득하고, 사용자의 감정 정보를 획득하고, 사용자의 조작 정보 및 사용자의 감정 정보에 기초하여, 어플리케이션의 사용자 인터페이스를 수정하는 제어부; 및 수정된 사용자 인터페이스를 포함하는 어플리케이션을 제공하는 디스플레이부를 포함할 수 있다.
일 실시예의 또 다른 측면에 따르면, 프로세서에 의해 실행되었을 때, 어플리케이션 제공 방법의 단계들을 수행하는 적어도 하나의 컴퓨터 프로그램 코드를 저장하는 컴퓨터로 판독할 수 있는 기록 매체가 제공될 수 있다.
도 1은 일 실시예에 따르는 어플리케이션 제공 시스템을 설명하기 위한 도면이다.
도 2 는 일 실시예에 따르는 전자 기기의 어플리케이션 제공 방법을 설명하기 위한 순서도이다.
도 3은 일 실시예에 따르는 사용자의 조작 정보를 설명하기 위한 도면이다.
도 4는 일 실시예에 따르는 사용자의 얼굴에 나타난 감정 정보 획득 방법을 설명하기 위한 순서도이다.
도 5는 일 실시예에 따르는 기 정의된 표정 정보를 설명하기 위한 도면이다.
도 6은 일 실시예에 따르는 사용자의 감정 상태 결정 방법을 설명하기 위한 순서도이다.
도 7은 일 실시예에 따르는 감정 상태를 결정하기 위한 테이블이다.
도 8은 일 실시예에 따르는 전자 기기가 어플리케이션에서 제공하는 기능들 간의 우선 순위를 결정하는 방법을 설명하기 위한 순서도이다.
도 9는 일 실시예에 따르는 전자 기기가 어플리케이션에서 제공하는 기능들 간의 우선 순위를 결정하는 동작을 설명하기 위한 도면이다.
도 10은 일 실시예에 따르는 어플리케이션에서 제공하는 기능을 실행하는 경로와 관련된 구조를 변경하는 방법을 설명하기 위한 순서도이다.
도 11은 일 실시예에 따르는 어플리케이션의 구조를 나타내는 도면이다.
도 12는 일 실시예에 따르는 어플리케이션의 구조의 변경 전, 후를 나타내는 도면이다.
도 13은 일 실시예에 따르는 어플리케이션의 컨텐트들 간의 배치를 변경하는 방법을 설명하기 위한 순서도이다.
도 14는 일 실시예에 따르는 어플리케이션의 컨텐트들 간의 배치를 변경하는 동작을 설명하기 위한 도면이다.
도 15는 일 실시예에 따르는 어플리케이션들 간의 배치를 변경하는 동작을 설명하기 위한 도면이다.
도 16은 일 실시예에 따르는 어플리케이션의 사용자 인터페이스의 수정에 의한 사용자의 상태 변화를 설명하기 위한 도면이다.
도 17은 일 실시예에 따르는 사용자에게 다른 어플리케이션을 추천하는 방법을 설명하기 위한 순서도이다.
도 18은 일 실시예에 따르는 다른 사용자의 조작 정보 및 감정 정보를 고려하여, 어플리케이션의 사용자 인터페이스를 수정하는 방법을 설명하기 위한 순서도이다.
도 19는 일 실시예에 따르는 서버의 데이터 수집을 설명하기 위한 도면이다.
도 20 및 도 21은 일 실시예에 따르는 전자 기기의 구성을 설명하기 위한 블록도이다.
본 명세서는 본 발명의 권리범위를 명확히 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 실시할 수 있도록, 본 발명의 원리를 설명하고, 실시예들을 개시한다. 개시된 실시예들은 다양한 형태로 구현될 수 있다.
명세서 전체에서 "어플리케이션"은 특정한 업무를 수행하기 위해 고안된 일련의 컴퓨터 프로그램 집합을 의미할 수 있다. 본 명세서에 기술되는 어플리케이션은 다양할 수 있다. 예를 들어, 어플리케이션에는 웹 브라우저, 카메라 어플리케이션, 사전 어플리케이션, 번역 어플리케이션, 데이터 전송 어플리케이션, 음악 재생 어플리케이션, 동영상 재생 어플리케이션, 메일 어플리케이션, 메시지 어플리케이션, 소셜 커뮤니케이터 어플리케이션, 소셜 미디어 어플리케이션, 지도 어플리케이션, 사진 폴더 어플리케이션, 방송 어플리케이션, 게임 어플리케이션, 운동 지원 어플리케이션, 결제 어플리케이션, 메모 어플리케이션, 캘린더 어플리케이션, 폰 북 어플리케이션 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
명세서 전체에서, 사용자 인터페이스(user interface)는 전자 기기와 사용자가 상호 작용할 수 있도록 만들어진 매개체를 의미할 수 있다. 사용자는 사용자 인터페이스를 통해 전자 기기를 조작할 수 있고, 전자 기기는 사용자 인터페이스를 통해 사용자의 조작에 대한 결과를 표시할 수 있다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부' (part, portion)라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부' 가 하나의 요소(unit, element)로 구현되거나, 하나의 '부' 가 복수의 요소들을 포함하는 것도 가능하다. 이하 첨부된 도면들을 참고하여 본 발명의 작동 원리 및 실시예들에 대해 설명한다.
도 1은 일 실시예에 따르는 어플리케이션 제공 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 일 실시예에 따른 어플리케이션 제공 시스템은 전자 기기(100)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 어플리케이션 제공 시스템이 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 어플리케이션 제공 시스템이 구현될 수 있다. 예를 들어, 어플리케이션 제공 시스템은 전자 기기(100) 및 서버(미도시)를 포함할 수 있다.
일 실시예에 따른 전자 기기(100)는 다양한 형태로 구현될 수 있다. 예를 들어, 전자 기기(100)는, 스마트 폰(smart phone), 스마트 TV, 디지털 카메라, 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어 등이 있을 수 있으나, 이에 한정되는 것은 아니다. 본 명세서에서 기술되는 전자 기기(100)는 사용자에 의해 착용될 수 있는 장치(wearable device)일 수 있다. 웨어러블 디바이스는 액세서리형 장치(예컨대, 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈), 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형 장치(예: 전자 의복), 신체 부착형 장치(예컨대, 스킨 패드(skin pad)), 또는 생체 이식형 장치(예: implantable circuit) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 하지만, 이하에서는, 설명의 편의상 전자 기기(100)가 모바일 단말인 경우를 예로 들어 설명하기로 한다.
일 실시예에 따라, 전자 기기(100)는 사용자가 어플리케이션을 조작하는 정보 및 어플리케이션의 조작과 관련된 사용자의 감정 정보를 메모리에 저장하거나, 서버에 업로드할 수 있다. 예를 들어, 전자 기기(100)는, 네트워크를 통해 사용자의 조작 정보 및 감정 정보를 서버에 전송할 수 있다. 여기서, 네트워크는, Wi-Fi(Wireless Fidelity), 홈RF, 블루투스, HR WPAN, UWB, LR WPAN, IEEE 1394 등과 같은 무선 통신 기술 또는 이동 통신 기술로 구현될 수 있으나, 이에 한정되는 것은 아니다.
한편, 일 실시예에 의하면, 전자 기기(100)는 사용자에게 적어도 하나의 어플리케이션을 제공할 수 있다. 이때, 사용자는 전자 기기(100)에서 제공되는 어플리케이션을 조작하면서, 어플리케이션에 대한 특정 감정을 가질 수 있다.
예를 들어, 사용자는 제 1 어플리케이션(10)의 사용자 인터페이스를 매우 편리하게 느낄 수 있다. 이 경우, 사용자는 제 1 어플리케이션(10)에 대해 긍정적인 감정을 가지고, 자주 사용하게 될 수 있다.
반면에, 사용자는 제 2 어플리케이션(20)의 사용자 인터페이스를 불편하게 느낄 수도 있다. 예를 들어, 제 2 어플리케이션(20)에서 특정 기능을 찾는 것이 복잡하거나 어려운 경우, 사용자는 제 2 어플리케이션(20)에 대해 부정적인 감정을 가지고, 자주 사용하지 않을 수 있다.
따라서, 전자 기기(100)는 각각의 어플리케이션에 대한 사용자의 감정을 파악하고, 적응적으로 어플리케이션의 사용자 인터페이스를 수정해줄 필요가 있다. 예를 들어, 제 1 어플리케이션(10)에 대해서는 사용자가 긍정적인 감정을 가지고 있으므로, 전자 기기(100)는 제 1 어플리케이션(10)의 사용자 인터페이스를 유지할 수 있다. 반면에, 제 2 어플리케이션(20)에 대해서는 사용자가 부정적인 감정을 가지고 있으므로, 전자 기기(100)는, 제 2 어플리케이션(20)의 사용자 인터페이스를 수정해줄 수 있다.
이하에서는, 도 2를 참조하여, 전자 기기(100)가 사용자의 감정에 따라 어플리케이션의 사용자 인터페이스를 적응적으로 수정하는 동작에 대해서 자세히 살펴보기로 한다.
도 2는 일 실시예에 따르는 전자 기기(100)의 어플리케이션 제공 방법을 설명하기 위한 순서도이다.
단계 S210에서, 전자 기기(100)는 전자 기기(100)에서 제공되는 어플리케이션에 대한 사용자의 조작 정보를 획득할 수 있다. 사용자의 조작 정보는, 전자 기기(100)에서 실행되는 적어도 하나의 어플리케이션의 조작과 관련된 정보로서, 예를 들어, 어플리케이션에서 제공하는 기능들 중에서 사용자에 의해 선택된 기능에 관한 정보, 어플리케이션을 조작하는 힘(이하, 조작 힘)에 관한 정보, 어플리케이션 또는 어플리케이션에서 제공하는 기능들 각각에 대한 이용 빈도(이하, 조작 빈도)에 관한 정보, 및 어플리케이션을 조작하는 위치(이하, 조작 위치)에 대한 정보 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 사용자의 조작 정보에 대해서는 도 3을 참조하여 후에 자세히 살펴보기로 한다.
단계 S220에서, 전자 기기(100)는 전자 기기(100)에서 제공되는 어플리케이션의 조작과 관련된 사용자의 감정 정보를 획득할 수 있다.
사용자의 감정 정보는, 전자 기기(100)에서 실행되는 특정 어플리케이션의 조작에 대응하는 사용자의 감정 상태에 관한 정보일 수 있다. 사용자의 감정 상태는, 예를 들어, 화남, 경멸, 역겨움, 두려움, 행복, 슬픔, 놀람, 기쁨 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 이때, 화남, 경멸, 역겨움, 두려움, 슬픔은 부정적인 감정으로 분류될 수 있고, 행복, 놀람, 기쁨 등은 긍정적인 감정으로 분류될 수 있다.
예를 들어, 사용자의 감정 정보는 제 1 어플리케이션에 대한 제 1 감정(예컨대, 행복), 제 2 어플리케이션에 대한 제 2 감정(예컨대, 화남), 제 3 어플리케이션에 대한 제 3 감정(예컨대, 짜증) 등을 포함할 수 있다.
일 실시예에 의하면, 사용자의 감정 정보는 어플리케이션에서 제공하는 기능들 각각에 대응하는 사용자의 감정 상태에 관한 정보일 수도 있다. 예를 들어, 사용자의 감정 정보는, 제 1 어플리케이션에서 제공하는 제 4 기능에 대한 제 4 감정(예컨대, 놀람 제 5 기능에 대한 제 5 감정(예컨대, 슬픔), 제 6 기능에 대한 제 6 감정(예컨대, 역겨움)을 포함할 수 있다.
한편, 일 실시예에 의하면, 전자 기기(100)는 사용자의 얼굴 표정 정보로부터 사용자의 감정 정보를 획득할 수 있다. 또한 전자 기기(100)는 사용자의 신체 변화 정보(예컨대, 땀 배출량 정보, 근육 수축 정보, 손가락 떨림 정보, 심박수 정보 및 맥박 정보 등)으로부터 사용자의 감정 정보를 획득할 수도 있다. 전자 기기(100)가 사용자의 감정 정보를 획득하는 동작에 대해서는 도 4 내지 도 7을 참조하여, 후에 좀 더 자세히 살펴보기로 한다.
단계 S230에서, 전자 기기(100)는 사용자의 조작 정보 및 사용자의 감정 정보에 기초하여, 어플리케이션의 사용자 인터페이스를 수정할 수 있다.
일 실시예에 의하면, 전자 기기(100)는 사용자의 조작 정보 및 사용자의 감정 정보를 분석하여, 어플리케이션의 조작에 대한 분석 데이터를 획득할 수 있다.
일 실시예에 의하면, 전자 기기(100)는 사용자의 조작 정보 및 사용자의 감정 정보를 분석하여, 사용자 인터페이스를 수정할지 여부를 결정할 수 있다.
예를 들어, 사용자가 제 1 인터페이스를 조작하는 힘이 기준값 이상으로 강하고, 제 1 인터페이스에 대해 슬픈 감정 상태인 경우, 전자 기기(100)는 제 1 인터페이스를 수정해야겠다고 판단할 수 있다.
또한, 전자 기기(100)는, 제 2 인터페이스의 조작 빈도가 높고, 제 2 인터페이스에 대해 행복한 감정 상태인 경우, 전자 기기(100)는 제 2 인터페이스를 유지해야겠다고 판단할 수 있다.
일 실시예에 따르는, 사용자의 감정 정보를 기초로 하여 어플리케이션의 사용자 인터페이스를 수정하는 경우, 어플리케이션의 조작과 관련되지 않은 사용자의 감정도 어플리케이션의 사용자 인터페이스를 수정하는데 반영되는 문제점이 있었다. 그러나, 사용자의 조작 정보 및 감정 정보를 기초로 하여 어플리케이션의 사용자 인터페이스를 수정하는 경우, 사용자의 조작 정보도 감정 정보와 함께 고려되어, 사용자의 감정 정보만을 기초로 하여 사용자 인터페이스를 수정할 때 보다 정확하게 어플리케이션의 조작과 관련된 사용자의 감정을 반영할 수 있다.
일 실시예에 의하면, 어플리케이션의 사용자 인터페이스를 수정한다는 것은, 기능, 구조, 인터페이스 레이아웃, 컨텐트 중 적어도 하나를 조정하는 것을 의미할 수 있다.
일 실시예에 의하면, 전자 기기(100)는, 어플리케이션에서 제공하는 기능들에 대한 사용자의 선호도에 기초하여, 사용자 인터페이스를 수정할 수 있다. 전자 기기(100)가 기능들에 대한 사용자의 선호도에 기초하여, 사용자 인터페이스를 수정하는 동작에 대해서는 도 8 및 도 9를 참조하여, 후에 자세히 설명하기로 한다.
일 실시예에 의하면, 전자 기기(100)는, 어플리케이션에서 표시되는 컨텐트들에 대한 사용자의 선호도에 기초하여, 컨텐트들의 배치를 변경할 수도 있다. 예를 들어, 사용자가 자주 조작하는 조작 위치에 사용자가 선호하는 컨텐트를 배치할 수 있다.
전자 기기(100)는 어플리케이션에서 제공하는 기능들 각각을 실행하는 경로에 대한 사용자의 선호 여부를 고려하여, 기능들의 실행 경로와 관련된 구조를 변경할 수도 있다. 전자 기기(100)가 기능들의 실행 경로와 관련된 구조를 변경하는 동작에 대해서는 도 10 내지 도 12를 참조하여, 후에 자세히 살펴보기로 한다.
일 실시예에 의하면, 전자 기기(100)는, 다른 사용자의 조작 정보 및 감정 정보를 고려하여, 어플리케이션의 사용자 인터페이스를 수정할 수도 있다. 여기서, 다른 사용자는 전자 기기(100)의 사용자와 소셜 네트워크를 통해 연결된 사용자들(예컨대, 가족 또는 친구)일 수도 있고, 임의의 사용자들일 수도 있다. 전자 기기(100)가, 다른 사용자의 조작 정보 및 감정 정보를 고려하여, 어플리케이션의 사용자 인터페이스를 수정하는 동작에 대해서는 도 18 및 도 19를 참조하여 후에 자세히 살펴보기로 한다.
단계 S240에서, 전자 기기(100)는 사용자 인터페이스를 수정한 어플리케이션을 사용자에게 제공할 수 있다.
일 실시예에 의하면, 전자 기기(100)는 사용자 요청에 따라, 어플리케이션을 실행하고, 어플리케이션의 실행 화면에 수정된 사용자 인터페이스를 제공할 수 있다. 예를 들어, 전자 기기(100)는, 사용자가 선호하는 기능들의 아이콘이 메인 페이지에 표시되도록 할 수 있다.
한편, 전자 기기(100)는 사용 습관들에 관한 정보를 반영하여, 사용자 인터페이스를 수정할 수도 있다. 사용 습관에 대한 정보는, 사용자의 성격, 및 사용자의 선호 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 전자 기기(100)는 어플리케이션을 조작하는 사용자의 행동 패턴으로부터 사용 습관들에 관한 정보를 획득할 수 있다.
예를 들어, 제 1 사용자는, 쇼핑 어플리케이션을 조작할 때, 먼저 구매하고 싶은 물품의 유형(예컨대, 청소기)을 검색할 수 있다. 그리고 제 1 사용자는 검색한 결과로서 도출된 물품들(예컨대, 제 1 사의 제 1청소기, 제 1 사의 제 2 청소기, 제 2 사의 제 3 청소기 등)을 둘러볼 수 있다. 이후, 제 1 사용자는 상기 물품들 중 구매하기 원하는 물품(예컨대, 제 2 사의 제 3 청소기)을 선택할 수 있다.
반면, 제 2 사용자는, 쇼핑 어플리케이션을 조작할 때, 구매하기 원하는 물품의 유형을 정해놓지 않고, 복수의 유형의 물품들을 둘러볼 수 있다. 이후, 제 2 사용자는, 상기 복수의 유형의 물품들 중 구매하기 원하는 물품을 선택할 수 있다.
일 실시예에 의하면, 제 1 사용자의 전자 기기(100)는, 제 1 사용자의 쇼핑 습관에 대한 정보를 반영하여, 카테고리 별로 검색할 수 있는 창을 쇼핑 어플리케이션의 메인 페이지에 표시되도록 할 수 있다.
일 실시예에 의하면, 제 2 사용자가 조작하는 전자 기기(100)는, 제 2 사용자의 쇼핑 습관에 대한 정보를 반영하여, 최신 물품들 또는 다른 사용자들이 많이 구매한 물품들 순서대로 쇼핑 어플리케이션의 사용자 인터페이스에 표시되도록 할 수 있다.
일 실시예에 의하면, 전자 기기(100)는 사용자의 감정에 따라 적응적으로 어플리케이션의 사용자 인터페이스를 변경해 줌으로써, 어플리케이션 조작에 대한 사용자의 만족도를 증가시킬 수 있다.
도 3은 일 실시예에 따르는 사용자의 조작 정보를 설명하기 위한 도면이다.
일 실시예에 의하면, 전자 기기(100)는 사용자의 조작 위치(310), 조작 힘(320), 및 조작 빈도(330) 중 적어도 하나를 사용자의 조작 정보로 획득할 수 있다.
조작 위치(310)는 전자 기기(100)의 화면 상에서 터치가 감지되는 포인트의 위치를 의미할 수 있다. 예를 들어, 사용자가 터치한 A 지점의 좌표 값이 (X1, Y1)인 경우, 조작 위치(310)는 (X1, Y1)으로 나타낼 수 있다. 전자 기기(100)는 터치 센서를 이용하여, 사용자가 화면의 어떤 부분을 터치하였는지 감지할 수 있다.
조작 힘(320)은 전자 기기(100)를 터치하는 강도에 관한 것이다. 전자 기기(100)는 터치 센서를 이용하여 터치 강도를 구별할 수 있다. 조작 힘(320) 그래프에 도시된 바와 같이, 그라데이션이 짙어질수록, 더 강한 조작 힘을 나타낼 수 있다.
조작 빈도(330)는 어플리케이션(또는 어플리케이션의 기능)에 대한 이용 시간 및 이용 횟수 중 적어도 하나를 측정하여, 시간에 따라, 사용자가 어플리케이션 또는 어플리케이션의 일 기능을 얼마나 자주 이용하는지 나타내는 지표이다. 예를 들어, 조작 빈도(330)에는 시간의 흐름에 따른 어플리케이션의 클릭 횟수(또는 터치 횟수)가 있을 수 있다.
일 실시예에 따르면, 전자 기기(100)는 어플리케이션 유형에 따라 달라지는 조작 정보도 고려할 수 있다.
예를 들어, 게임 어플리케이션을 조작하는 사용자는, 게임 어플리케이션 내의 몬스터를 공격할 때, 몬스터가 있는 특정 조작 위치에서 큰 조작 힘으로 여러 번의 공격 조작을 수행할 수 있다.
따라서, 전자 기기(100)는, 일반적인 어플리케이션(예컨대, 검색 어플리케이션) 실행 화면에서 사용자가 터치하는 힘보다 더 큰 힘(또는 더 많은 빈도)으로 게임 어플리케이션 실행 화면을 터치하더라도, 큰 조작 힘 (또는 많은 조작 빈도)로 조작되었다고 판단하지 않을 수 있다.
또한, 일반적인 사용자의 행동 패턴(예컨대, 사용 순서), 사용자의 성격 또는 사용자의 선호도도 조작 정보에 포함될 수 있다.
도 3에서는 사용자의 조작이 터치 입력인 경우를 예로 들어 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 사용자의 조작은 키 입력, 음성 입력, 벤딩 입력 등을 포함할 수 있다. 전자 기기(100)가 플렉서블 디스플레이인 경우, 사용자의 조작 정보는 벤딩 위치, 벤딩 각도, 벤딩하는 힘 등을 포함할 수 있다.
도 4는 일 실시예에 따르는 사용자의 얼굴에 나타난 감정 정보 획득 방법을 설명하기 위한 순서도이다.
단계 S410에서, 전자 기기(100)는 어플리케이션을 조작하는 사용자의 얼굴 영상을 획득할 수 있다. 일 실시예에 따르면, 전자 기기(100)는 카메라의 이미지 센서를 이용하여 사용자의 얼굴 영상을 획득할 수 있다. 사용자의 얼굴 영상은 정지 영상일 수도 있고, 동영상일 수도 있다.
단계 S420에서, 전자 기기(100)는 사용자의 얼굴 영상으로부터 특징점들을 추출할 수 있다.
일 실시예에 따르면, 특징점들은 표정 변화에 따라 움직임이 풍부한 눈가, 입가, 이마, 눈썹 등에 주로 분포할 수 있다. 따라서, 전자 기기(100)는 눈가, 입가, 이마, 눈썹 등을 위주로 특징점들을 추출할 수 있다. 한편, 표정이 변화하더라도 코의 움직임은 미미하므로, 표정 식별 속도를 빠르게 하기 위해, 전자 기기(100)는 코에서는 특징점을 추출하지 않을 수 있다.
단계 S430에서, 전자 기기(100)는 사용자의 얼굴 영상으로부터 추출된 특징점들과 기 정의된 표정 정보에 포함된 특징점들을 비교할 수 있다.
기 정의된 표정 정보는, 소정 기준으로 분류된 인간의 표정에 관한 정보일 수 있다. 예를 들어, 기 정의된 표정 정보는, 표정에 따른 얼굴 이미지, 표정에 대응하는 특징점 (또는 특정 벡터)에 관한 정보 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 기 정의된 표정 정보는, 전자 기기(100)의 메모리에 저장되어 있을 수 있다. 이 경우, 전자 기기(100)는 메모리로부터 기 정의된 표정 정보를 추출할 수 있다. 또한, 일 실시예에 의하면, 전자 기기(100)는 기 정의된 표정 정보를 서버 또는 외부 기기(예컨대, 표정 분류기(expression classifier))로부터 수신할 수도 있다.
기 정의된 표정 정보는, 추후 도 5에서 보다 자세히 살펴보기로 한다.
단계 S440에서, 전자 기기(100)는 사용자의 얼굴 영상으로부터 추출된 특징점들과 기 정의된 표정 정보에 포함된 특징점들을 비교한 결과에 기초하여, 사용자의 표정을 식별할 수 있다.
일 실시예에 의하면, 전자 기기(100)는 사용자의 얼굴 영상으로부터 추출된 특징점들과 가장 잘 매칭되는 기 정의된 표정 정보에 포함된 특징점들을 찾아, 해당 기 정의된 표정을 사용자의 표정으로 식별할 수 있다.
예를 들어, 도 5을 참조하면, 행복을 나타내는 표정(550)은, 약간의 미소를 띠면서, 눈 주위 근육이 움직임에 따라 눈가의 주름이 생기고, 광대가 살짝 올라간다는 특징이 있다. 따라서, 사용자의 얼굴 영상으로부터 추출된 제 1 특징점들이 행복을 나타내는 표정(550)에 포함된 제 2 특징점들과 유사한 경우, 전자 기기(100)는 행복을 나타내는 표정(550)을 사용자의 표정으로 식별할 수 있다.
일 실시예에 따르면, 전자 기기(100)는 사용자의 표정을 식별하기 위하여, 외부 기기를 이용할 수도 있다. 전자 기기(100)는 사용자의 얼굴 영상을 외부 기기로 전송할 수 있다. 외부 기기는 사용자의 얼굴 영상으로부터 특징점들을 추출할 수 있고, 추출된 특징점들을 외부 기기에 기 정의된 표정 정보에 포함된 특징점들과 비교함으로써, 외부 기기는 사용자의 표정을 식별할 수 있다. 또한, 외부 기기는, 표정 식별의 정확도를 높이기 위해, 지지 벡터 기계 모델(support vector machine model) 또는 뉴럴 네트워크 모델(neural network model)등을 이용할 수 있다. 외부 기기는 식별한 사용자의 표정에 관한 정보를 전자 기기(100)로 전송할 수 있다.
단계 S450에서, 전자 기기(100)는 사용자의 표정에 기초하여 사용자의 감정 상태를 결정할 수 있다.
일 실시예에 따르는 전자 기기(100)는, 식별된 사용자의 표정과 가장 잘 매칭되는 기 정의된 표정 정보가 나타내는 기 정의된 감정 상태를, 사용자의 감정 상태로 결정할 수 있다. 예를 들어, 전자 기기(100)가 행복을 나타내는 표정(550)을 사용자의 표정으로 식별하였다면, 사용자의 감정 상태는 행복이라고 결정할 수 있다.
도 5는 일 실시예에 따르는 기 정의된 표정 정보를 설명하기 위한 도면이다.
심리학적인 연구들은 사람들이 주로 7가지 감정 상태를 나타내는 표정들을 짓는다는 것을 찾아내었다. 여기서, 7가지 감정 상태는 화남(anger), 경멸(contempt), 역겨움(disgust), 두려움(fear), 행복(happiness), 슬픔(sadness), 및 놀람(surprise)일 수 있다.
예를 들어, 화남을 나타내는 표정(510)은, 이마와 미간에 주름이 지고, 바깥쪽 눈썹이 위로 올라간다는 것으로 정의될 수 있고, 경멸을 나타내는 표정(520)은, 눈을 내리깔면서, 한쪽 입꼬리가 위로 올라간다는 것으로 정의될 수 있다.
또한, 역겨움을 나타내는 표정(530)은, 미간에 주름이 지고, 윗 입술이 위로 올라간다는 것으로 정의될 수 있다.
또한, 두려움을 나타내는 표정(540)은, 눈썹이 위로 올라가고, 미간이 찌푸려지면서 두 눈썹이 서로 모이고, 위쪽 눈꺼풀이 올라가고, 아래쪽 눈꺼풀이 긴장하고(tense), 입이 살짝 귀쪽으로 늘어난다는 것으로 정의될 수 있다.
또한, 행복을 나타내는 표정(550)은, 약간의 미소를 띠면서, 눈 주위 근육이 움직임에 따라 눈가의 주름이 생기고, 광대가 살짝 올라간다는 것으로 정의될 수 있다.
또한, 슬픔을 나타내는 표정(560)은, 위쪽 눈꺼풀이 살짝 내려가고, 눈이 초점을 잃고, 입꼬리가 아래로 쳐진다는 것으로 정의될 수 있다.
또한, 놀람을 나타내는 표정(570)은, 눈이 커지고 눈썹이 위로 올라가며, 입이 벌어지는 것으로 정의될 수 있다. 앞서 설명한 기 정의된 표정의 특징들은 예시적인 것이고, 얼마든지 다른 특징에 따라 재정의될 수 있다.
도 6은 일 실시예에 따르는 사용자의 감정 상태 결정 방법을 설명하기 위한 순서도이다.
단계 S610에서, 전자 기기(100)는 어플리케이션을 조작하는 사용자의 땀 배출량 정보, 근육 수축 정보, 손가락 떨림 정보, 심박수 정보 및 맥박 정보 중 적어도 하나를 검출할 수 있다.
일 실시예에 따르면, 전자 기기(100)는 광 센서를 이용한 심박 센서를 통해 어플리케이션을 조작하는 사용자의 심박수 정보를 획득할 수 있다. 심박 센서는 전자 기기(100) 내에 위치할 수도 있고, 전자 기기(100) 외부에 위치할 수도 있다.
예를 들어, 도 7을 참조하면, 전자 기기(100)는 어플리케이션을 조작하는 사용자의 심전도 다이어그램(710)을 획득할 수 있다. 일 실시예에 따르는 심전도 다이어그램(710)의 가로축은 시간을, 세로축은 심전도를 나타낸다. 전자 기기(100)는 심전도 다이어그램(710)을 통해, 사용자의 분당 심박수(beats per minute, bmp)가 기 설정된 값을 초과하는지 판단할 수 있다.
일 실시예에 따르면, 사용자의 신체 변화 정보(예컨대, 땀 배출량 정보, 근육 수축 정보, 손가락 떨림 정보, 심박수 정보 및 맥박 정보 등)는 전자 기기(100)의 적어도 하나의 센서에 의해 획득될 수 있다.
단계 S620에서, 전자 기기(100)는 검출된 적어도 하나의 정보에 기초하여 사용자의 감정 상태를 결정할 수 있다. 또는, 사용자의 신체 변화 정보는 전자 기기(100) 외부에 위치한 웨어러블 디바이스에서 측정될 수도 있다. 이 경우, 전자 기기(100)는 웨어러블 디바이스로부터 사용자의 신체 변화 정보를 수신할 수 있다.
일 실시예에 의하면, 전자 기기(100)는 메모리에 저장된 감정 상태 결정 테이블을 참조하여, 사용자의 신체 변화 정보에 따른 감정 상태를 확인할 수 있다.
도 7을 참조하여, 감정 상태 결정 테이블(720)에 대해 살펴보자. 감정 상태 결정 테이블(720)은 사용자의 신체 변화 정보에 대응하는 감정 상태를 정의한 테이블일 수 있다.
예를 들어, 온/습도 센서가 사용자의 땀 배출량이 제 1 임계값보다 크다고 감지한 경우, 전자 기기(100)는 감정 상태 결정 테이블(720)을 참조하여, 사용자가 두려운 감정 상태라고 결정할 수 있다.
또한, 예를 들어, 온/습도 센서가 사용자의 땀 배출량이 제 1 임계값 이하라고 감지한 경우, 전자 기기(100)는 감정 상태 결정 테이블(720)을 참조하여, 사용자가 평온한 감정 상태라고 결정할 수 있다.
또한, 예를 들어, EMG 센서가 사용자의 근육 수축 정도가 제 2 임계값보다 크다고 감지할 경우, 전자 기기(100)는 감정 상태 결정 테이블(720)을 참조하여, 사용자가 역겨운 감정 상태라고 결정할 수 있다.
또한, 예를 들어, 가속도 센서, 자이로스코프 센서, 및 이미지 센서가 사용자의 손가락 떨림 정도가 제 3 임계값보다 크다고 감지한 경우, 전자 기기(100)는 감정 상태 결정 테이블(720)을 참조하여, 사용자가 화난 감정 상태라고 결정할 수 있다.
또한, 예를 들어, 심박 센서가 심박수가 제 4 임계값보다 크다고 감지한 경우, 전자 기기(100)는 감정 상태 결정 테이블(720)을 참조하여, 사용자가 놀란 감정 상태라고 결정할 수 있다.
또한, 예를 들어, 맥박 센서가 사용자의 맥박수가 제 5 임계값보다 크다고 결정한 경우, 전자 기기(100)는 감정 상태 결정 테이블(720)을 참조하여, 사용자가 기쁜 감정 상태라고 결정할 수 있고, 맥박 센서가 사용자의 맥박수가 제 6 임계값 이하라고 감지한 경우, 전자 기기(100)는 사용자가 슬픈 감정 상태라고 결정할 수 있다.
도 8은 일 실시예에 따르는 어플리케이션에서 제공하는 기능들 간의 우선 순위를 결정하는 방법을 설명하기 위한 순서도이다.
단계 S810에서, 전자 기기(100)는 사용자의 조작 정보 및 사용자의 감정 정보를 분석하여, 어플리케이션에서 제공하는 기능들 간의 우선 순위를 결정할 수 있다.
도 9를 참조하여, 일 실시예에 따르는 기능들 간의 우선 순위 결정 동작에 대해서는 살펴보자.
일 실시예에 의하면, 전자 기기(100)는 클릭 조작 횟수 및 사용자의 감정 정보를 반영하여, 어플리케이션에서 제공하는 기능들 간의 우선 순위를 결정할 수 있다. 일 실시예에 따르는 클릭 조작은 사용자가 키보드, 마우스로 화면의 특정 지점을 클릭하거나, 손가락 또는 스타일러스 등으로 화면을 터치함으로써 수행될 수 있다.
예를 들어, 도표(900)에 도시된 바와 같이, 제 1 어플리케이션에서 제공하는 제 1 기능에 관한 클릭 횟수가 많고, 제 1 기능에 대해 사용자가 행복한 감정 상태를 가질 경우, 제 1 기능은 높은 우선 순위를 가질 수 있다.
또한, 제 1 어플리케이션에서 제공하는 제 2 기능에 관한 클릭 횟수가 보통(common)이고, 제 2 기능에 대해 사용자가 보통의(normal) 감정 상태를 가질 경우, 제 2 기능은 중간 정도의 우선 순위를 가질 수 있다. 제 1 어플리케이션에서 제공하는 제 3 기능에 관한 클릭 횟수가 적고, 제 3 기능에 대해 사용자가 화난 감정 상태를 가질 경우, 제 3 기능은 낮은 우선 순위를 가질 수 있다.
단계 S820에서, 전자 기기(100)는 결정된 기능들 간의 우선 순위에 기초하여, 사용자 인터페이스를 수정할 수 있다.
일 실시예에 따르면, 전자 기기(100)는 우선 순위가 높은 순서대로 배치되도록, 사용자 인터페이스를 수정할 수 있다. 예를 들면, 전자 기기(100)는 우선 순위가 높은 제 1 기능의 아이콘을 화면 상단에 위치시킬 수 있다.
또한, 예를 들어, 전자 기기(100)는, 우선 순위가 높은 기능의 아이콘에 대해서는, 사용자의 빠른 조작을 위해 메인 페이지에 추가적으로 표시되도록 하거나, 팝업 창으로 표시할 수 있다.
일 실시예에 따르면, 전자 기기(100)는 우선 순위가 낮은 제 3 기능에 대해서는, 사용자에게 팝업 창을 제공하지 않도록 결정할 수 있다. 이때, 사용자는 추가 설정으로, 제 3 기능에 대해 다시 팝업 창이 나타나도록 할 수도 있다.
도 10은 일 실시예에 따르는 어플리케이션에서 제공하는 기능을 실행하는 경로와 관련된 구조를 변경하는 방법을 설명하기 위한 순서도이다.
단계 S1010에서, 전자 기기(100)는 제 1 기능을 실행하는 경로에 관한 정보를 획득할 수 있다.
여기서, 제 1 기능을 실행하는 경로에 관한 정보는 제 1 기능을 제공하는 목적 페이지에 관한 식별 정보, 목적 페이지로 이동할 수 있는 아이콘(버튼)에 관한 정보를 포함할 수 있다.
예를 들어, 도 11을 참조하면, 전자 기기(100)는 제 1 기능이 어플리케이션 구조(1100)의 레벨 1(1110) 리프 노드(leaf node)에 있는 경우, 제 1 기능을 실행하기 위해서는, 레벨 4(1140) 루트 노드(root node)에서, 레벨 3(1130) 브랜치 노드(branch node)를 거쳐, 레벨 2(1120) 트위그 노드(twig node)를 지나, 레벨 1(1110) 리프 노드에 도달해야 한다는 제 2 기능의 경로에 관한 정보를 획득할 수 있다.
또한, 제 1 기능이 어플리케이션 구조(1100)의 레벨 4(1140) 루트 노드에 있는 경우, 별도의 경로를 거칠 필요 없이, 사용자는 어플리케이션의 메인 페이지에서 즉시 제 1 기능을 실행할 수 있다. 이때, 제 1 기능을 실행하는 경로에 관한 정보는, 메인 페이지에 표시된 제 1 기능을 실행하기 위한 제 1 아이콘에 관한 정보일 수 있다.
단계 S1020에서, 전자 기기(100)는 제 1 기능을 실행하는 경로에 대한 사용자의 선호 여부를 결정할 수 있다.
일 실시예에 따르는 선호 여부는 특정 기능을 실행하는 경로에 대해 사용자가 선호하는지, 선호하지 않는지를 나타내는 것으로서, 전자 기기(100)는 사용자의 조작 정보 및 감정 정보에 기초하여 선호 여부를 결정할 수 있다.
예를 들어, 앞서 살펴본 리프 노드의 제 1 기능을 실행하는 경로가 복잡한 것에 비해, 제 1 기능이 사용자가 자주 사용하거나 선호하는 기능일 경우, 사용자는 제 1 기능을 실행하는 경로에 대해 부정적인 감정을 가질 수 있다. 전자 기기(100)는 앞서 설명한 사용자의 조작 정보 및 감정 정보 획득 방법에 의해 사용자의 조작 정보 및 감정 정보를 획득할 수 있고, 획득한 정보를 반영하여 사용자의 선호 여부를 결정할 수 있다.
일 실시예에 따르면, 전자 기기(100)는 특정 기능을 실행하는 경로에 대한 선호 정도를 수치화한 선호 값을 산출할 수 있다. 전자 기기(100)는 산출된 선호 값과 임계값을 비교하여, 사용자의 선호 여부를 결정할 수 있다.
임계값은 전자 기기(100)에서 기 설정된 값으로서, 어플리케이션의 구조를 빈번하게 변경하기 원하면, 임계값은 크게 설정될 수 있다. 또한, 임계값은 사용자에 의해 재설정될 수 있다.
일 실시예에 따르면, 선호 값이 임계값보다 크거나 같을 경우, 전자 기기(100)는 사용자가 제 1 기능을 실행하는 경로에 대한 어플리케이션의 구조를 선호한다고 결정할 수 있다.
일 실시예에 따르면, 선호 값이 임계값보다 작은 경우, 전자 기기(100)는 사용자가 제 1 기능을 실행하는 경로에 대한 어플리케이션의 구조를 선호하지 않는다고 결정할 수 있다.
단계 S1030에서, 사용자의 선호 여부에 기초하여, 제 1 기능을 실행하는 경로와 관련된 구조를 선택적으로 변경할 수 있다.
일 실시예에 따르면, 전자 기기(100)가 제 1 기능을 실행하는 경로에 관련된 구조를 선호한다고 결정하는 경우, 구조를 변경할 필요성이 없으므로, 전자 기기(100)는 제 1 기능을 실행하는 경로에 대한 현재의 구조를 유지할 수 있다.
일 실시예에 따르면, 전자 기기(100)가 사용자가 제 1 기능을 실행하는 경로에 관련된 구조를 선호하지 않는다고 결정하는 경우, 전자 기기(100)는 제 1 기능을 실행하는 경로와 관련된 구조를 변경할 수 있다.
예를 들면, 제 1 기능이 사용자가 선호하지 않는 기능일 경우, 전자 기기(100)는 제 1 기능을 실행하기 위한 제 1 아이콘을 변경 전의 레벨보다 낮은 레벨 노드의 페이지에 위치하도록 변경할 수 있다.
일 실시예에 따르는 전자 기기(100)가 어플리케이션의 구조를 변경하는 동작에 대해서는 도 12를 참조하여 자세히 살펴보기로 한다.
도 12는 일 실시예에 따르는 어플리케이션의 구조의 변경 전, 후를 나타내는 도면이다.
일 실시예에 따르는 변경 전의 구조(1210)는 레벨 2 노드의 D 페이지에서 레벨 1 노드의 F, G, 및 H 페이지로 이동할 수 있도록 설정되어 있다. 예를 들어, 변경 전의 구조(1210)에서, 사용자가 D 페이지에서 F 페이지로 바로 가는 제 1 경로보다, F 페이지를 가기 전에 C 페이지에 갔다가, D 페이지로 와서 F 페이지로 가는 제 2 경로를 이용하는 경우가 많다고 가정하자. F 페이지를 가기 전에 C 페이지를 가는 경우가 많은데, D 페이지를 거쳐서, F 페이지를 가야 하는 제 1 경로에 대해 사용자는 불만이 있을 수 있다. 따라서, 변경 후의 구조(1220)와 같이, C 페이지에서 F 페이지로 바로 이동할 수 있도록, 전자 기기(100)는 D 페이지와 연결되어 있던 F 페이지를 C 페이지와 연결되도록 구조를 변경할 수 있다.
도 13은 일 실시예에 따르는 어플리케이션의 컨텐트들 간의 배치를 변경하는 방법을 설명하기 위한 순서도이다.
단계 S1310에서, 전자 기기(100)는 사용자의 조작 정보 및 사용자의 감정 정보에 기초하여, 어플리케이션에서 표시되는 컨텐트들 간의 우선 순위를 결정할 수 있다.
도 14를 참조하여, 일 실시예에 따르는 어플리케이션에서 표시되는 컨텐트들 간의 우선 순위 결정 동작에 대해서 설명하도록 하겠다.
일 실시예에 의하면, 메시지 어플리케이션(1410)에서, 전자 기기(100)는 자주 메시지를 주고 받는 사람을 높은 우선 순위로 결정할 수 있다.
일 실시예에 의하면, 메일 어플리케이션(1420)에서, 전자 기기(100)는 메일을 주고 받은 사람 별로 컨텐트를 정렬할 수 있고, 최근에 수신한 메일을 높은 우선 순위로 결정할 수도 있다.
일 실시예에 의하면, 메모 어플리케이션(1430)에서, 전자 기기(100)는 메모에 기재된 마감 기한이 임박한 컨텐트를 높은 우선 순위로 결정할 수 있다.
단계 S1320에서, 전자 기기(100)는 결정된 컨텐트들 간의 우선 순위에 따라 컨텐트들의 배치를 변경할 수 있다.
일 실시예에 따르는 컨텐트들의 배치를 변경하는 동작에 대해서는 도 14를 참조하여 살펴보기로 한다.
도 14는 일 실시예에 따르는 어플리케이션의 컨텐트들 간의 배치를 변경하는 동작을 설명하기 위한 도면이다.
일 실시예에 따르면, 메시지 어플리케이션(1410)에서, "Use intelligent sort?"라고 묻는 GUI(graphic user interface, 1440)에 대해 "Yes"라고 응답할 경우, 전자 기기(100)는 앞서 결정된 우선 순위 결정 동작대로 컨텐트들을 배치하는 인텔리전트 소트(intelligently sort) 기능에 따라, 자주 메시지를 주고 받는 사람 순서대로 컨텐츠를 배치할 수 있다.
일 실시예에 따르면, 메일 어플리케이션(1420)에서, "Use intelligent sort?"라고 묻는 GUI(1440)에 대해 "Yes"라고 응답할 경우, 전자 기기(100)는 결정된 우선 순위에 따라 컨텐트들을 배치하는 인텔리전트 소트(intelligently sort) 기능에 의해, 메일을 주고 받은 사람 별로 관련된 메일을 정렬하여 배치할 수 있고, 최근에 수신한 메일을 상단에 표시할 수 있다.
예를 들어, 전자 기기(100)의 사용자(me)가 스티븐(Steven)으로부터 메일을 수신하였고, 사용자가 스티븐에게 답장을 한 후, 다시 재답장을 스티븐이 사용자에게 전송하였다면, 전자 기기(100)는 인텔리전트 소트 기능에 의해 상기 세 개의 메일을 me, Steven(3)으로 정렬한 컨텐트를 배치할 수 있다. 또한, maoz로부터 오늘 수신한 메일은, 상기 스티븐으로부터 10월 13일자로 수신한 재답장 메일보다 최근에 수신하였으므로, maoz로부터 수신한 메일이 스티븐으로부터 수신한 재답장 메일보다 상단에 배치될 수 있다.
일 실시예에 따르면, 메모 어플리케이션(1430)에서, "Use intelligent sort?"라고 묻는 GUI(1440)에 대해 "Yes"라고 응답할 경우, 전자 기기(100)는 결정된 우선 순위에 따라 컨텐트들을 배치하는 인텔리전트 소트(intelligently sort) 기능에 의해, 메모에 기재된 마감 기한 순서대로 컨텐트를 배치할 수 있다.
예를 들어, 오늘이 2016년 3월 16일인 경우, 오늘까지가 기한인, "오늘까지 서류 제출 기한 마감"및 "모레까지 마트에서 우유 사기"를 상단에 배치하고, 이미 기한이 지난 "내일 Steven 생일"과 "내일 Patrick과 점심"을 하단에 배치할 수 있다.
일 실시예에 따르면, "Use intelligent sort?"라고 묻는 GUI(graphic user interface, 1440)에 대해 "No"라고 응답할 경우, 전자 기기(100)는 인텔리전트 소트(intelligently sort) 기능을 이용하지 않고, 컨텐트들 간의 배치를 변경하지 않을 수 있다.
도 15는 일 실시예에 따르는 어플리케이션들 간의 배치를 변경하는 동작을 설명하기 위한 도면이다.
도 15의 1500-1을 참조하면, 전자 기기(100)는 같은 유형의 어플리케이션들인 단문 메시지 어플리케이션(1510), 이메일 어플리케이션(1520), 채팅 어플리케이션(1530), 및 메모 어플리케이션(1540)을 한 페이지 내에 배치할 수 있다. 그리고 전자 기기(100)는, 단문 메시지 어플리케이션(1510), 이메일 어플리케이션(1520), 채팅 어플리케이션(1530), 또는 메모 어플리케이션(1540)을 각각 조작하는 사용자의 조작 정보 및 감정 정보를 획득할 수 있다. 이때, 전자 기기(100)는, 사용자의 조작 정보 및 감정 정보를 이용하여, 각각의 어플리케이션들(1510 ~ 1540)에 대한 사용자의 선호도를 판단할 수 있다.
예를 들어, 채팅 어플리케이션(1530)의 조작 빈도가 이메일 어플리케이션(1520)의 조작 빈도보다 높고, 사용자가 채팅 어플리케이션(1530)에 대해 매우 긍정적인 감정 상태인 경우, 전자 기기(100)는 채팅 어플리케이션(1530) 이 이메일 어플리케이션(1520)보다 선호된다고 판단할 수 있다.
또한, 예를 들어, 단문 메시지 어플리케이션(1510)의 조작 빈도가 이메일 어플리케이션(1520)의 조작 빈도보다 낮고, 사용자가 단문 메시지 어플리케이션(1510)에 대해 보통의(normal) 감정 상태를 가지는 경우, 전자 기기(100)는 단문 메시지 어플리케이션(1510)이 이메일 어플리케이션(1520) 보다 덜 선호된다고 판단할 수 있다.
도 15의 1500-2를 참조하면, 전자 기기(100)는 각각의 어플리케이션들(1510 ~ 1540)에 대한 사용자의 선호도에 따라, 어플리케이션들(1510 ~ 1540) 간의 배치를 변경할 수 있다. 예를 들어, 전자 기기(100)는 채팅 어플리케이션(1530), 이메일 어플리케이션(1520), 단문 메시지 어플리케이션(1510), 메모 어플리케이션(1540) 순으로 배치를 변경할 수 있다.
도 16은 일 실시예에 따르는 어플리케이션의 사용자 인터페이스의 수정에 의한 사용자의 상태 변화를 설명하기 위한 도면이다.
일 실시예에 따르면, 수정 전의 제 1 사용자 인터페이스에 대한 사용자 상태(1610)가 지루한 상태였다면, 수정된 제 1 사용자 인터페이스에 대한 사용자 상태(1630)는 흥분된(exciting) 상태로 변경 될 수 있다.
다른 일 실시예에 따르면, 수정 전의 제 2 사용자 인터페이스에 대한 사용자 상태(1610)가 언짢은 상태일 경우, 수정된 제 2 사용자 인터페이스에 대한 사용자 상태(1630)는 평화로운(peace) 상태로 변경 될 수 있다.
또 다른 일 실시예에 따르면, 수정 전의 제 3 사용자 인터페이스에 대한 사용자 상태(1610)가 두려운 상태일 경우, 수정된 제 3 사용자 인터페이스에 대한 사용자 상태(1630)는 두렵지 않은 상태로 변경 될 수 있다.
일 실시예에 의하면, 별도의 사용자 입력 없이도 사용자의 조작 정보 및 감정 정보를 전자 기기(100)가 획득하고, 상기 획득한 정보를 반영하여 사용자 인터페이스를 수정해 줌으로써, 어플리케이션에 대한 사용자 경험(UX)을 향상시킬 수 있다.
도 17은 일 실시예에 따르는 사용자에게 다른 어플리케이션을 추천하는 방법을 설명하기 위한 순서도이다.
단계 S1710에서, 전자 기기(100)는 제 1 어플리케이션에 대한 사용자의 조작 정보 및 사용자의 감정 정보를 획득할 수 있다. 단계 S1710은, 도 2의 단계 S210 내지 S220에 대응되므로 구체적인 설명은 생략하기로 한다.
단계 S1720에서, 전자 기기(100)는 제 1 어플리케이션에 대한 사용자의 조작 정보 및 사용자의 감정 정보에 기초하여, 사용자에게 제 2 어플리케이션을 추천할 수 있다.
일 실시예에 따르면, 제 1 어플리케이션에 대한 사용자의 조작 빈도가 낮고, 제 1 어플리케이션에 대한 사용자의 감정 상태가 부정적일 경우, 전자 기기(100)는 사용자가 제 1 어플리케이션에 만족하지 못한다고 결정할 수 있다. 이 경우, 전자 기기(100)는 제 1 어플리케이션 대신에 제 2 어플리케이션을 사용자에게 추천할 수 있다.
일 실시예에 의하면, 제 2 어플리케이션은 제 1 어플리케이션과 동종의 어플리케이션일 수 있다. 또한, 제 2 어플리케이션은 제 1 어플리케이션의 다른 버전 또는 최신 버전일 수 있다.
도 18은 일 실시예에 따르는 다른 사용자의 조작 정보 및 감정 정보를 고려하여, 어플리케이션의 사용자 인터페이스를 수정하는 방법을 설명하기 위한 순서도이다.
단계 S1810에서, 전자 기기(100)는 제 1 어플리케이션에 대한 제 1 사용자의 조작 정보를 획득할 수 있다. 단계 S1810은, 도 2의 단계 S210에 대응되므로 구체적인 설명은 생략하기로 한다.
단계 S1820에서, 전자 기기(100)는 제 1 어플리케이션에 대한 제 1 사용자의 감정 정보를 획득할 수 있다. 단계 S1820은, 도 2의 단계 S220에 대응되므로 구체적인 설명은 생략하기로 한다.
단계 S1830에서, 외부 기기(300)는 제 1 어플리케이션에 대한 제 2 사용자의 조작 정보를 획득할 수 있다. 이때, 외부 기기(300)는 하나일 수도 있고, 복수 개일 수도 있다. 외부 기기(300)가 복수 개인 경우, 외부 기기(300)는 제 1 어플리케이션에 대한 제 3 사용자, 제 4 사용자, 제 5 사용자 등 복수의 사용자들의 조작 정보를 더 획득할 수 있다.
제 1 어플리케이션에 대한 제 2 사용자의 조작 정보는, 제 1 어플리케이션에서 제공하는 기능들 중에서 제 2 사용자에 의해 선택된 기능에 관한 정보, 제 1 어플리케이션을 조작하는 힘(이하, 조작 힘)에 관한 정보, 제 1 어플리케이션 또는 제 1 어플리케이션에서 제공하는 기능들 각각에 대한 이용 빈도(이하, 조작 빈도)에 관한 정보, 및 제 1 어플리케이션을 조작하는 위치(이하, 조작 위치)에 대한 정보 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
단계 S1840에서, 외부 기기(300)는 제 1 어플리케이션에 대한 제 2 사용자의 감정 정보를 획득할 수 있다. 또한, 외부 기기(300)가 복수 개인 경우, 외부 기기(300)는 제 1 어플리케이션에 대한 제 3 사용자, 제 4 사용자, 제 5 사용자 등 복수의 사용자들의 감정 정보를 더 획득할 수 있다.
일 실시예에 따르는 제 2 사용자의 감정 정보는, 제 1 어플리케이션의 조작에 대응하는 외부 기기(300) 사용자들 각각의 감정 상태에 관한 정보일 수 있다. 예를 들어, 외부 기기(300) 사용자들 각각의 감정 정보는 제 2 사용자의 제 2 감정, 제 3 사용자의 제 3 감정 등을 포함할 수 있다.
일 실시예에 의하면, 제 2 사용자의 감정 정보는 제 1 어플리케이션에서 제공하는 기능들 각각에 대응하는 외부 기기(300) 사용자들의 감정 상태에 관한 정보일 수도 있다. 예를 들어, 외부 기기(300) 사용자들 각각의 감정 정보는, 제 1 어플리케이션에서 제공하는 제 1 기능에 대한 제 2 사용자의 제 4 감정, 제 1 어플리케이션에서 제공하는 제 1 기능에 대한 제 3 사용자의 제 5 감정, 제 1 어플리케이션에서 제공하는 제 2 기능에 대한 제 4 사용자의 제 6 감정, 제 1 어플리케이션에서 제공하는 제 3 기능에 대한 제 3 사용자의 제 7 감정 등을 포함할 수 있다.
단계 S1850에서, 외부 기기(300)는 서버(200)로 제 1 어플리케이션에 대한 제 2 사용자의 조작 정보 및 감정 정보를 전송할 수 있다. 또한, 외부 기기(300)는 제 1 어플리케이션에 대한 제 3 사용자, 제 4 사용자, 제 5 사용자 등 복수의 사용자들의 조작 정보 및 감정 정보를 서버(200)로 전송할 수 있다.
단계 S1860에서, 서버(200)는 외부 기기(300)로부터 수신한 제 2 사용자의 조작 정보 및 감정 정보에 기초하여, 제 1 어플리케이션에 대한 분석 데이터를 생성할 수 있다. 제 1 어플리케이션에 대한 분석 데이터는, 제 2 사용자가 제 1 어플리케이션에서 선호하는 기능, 컨텐트, 구조에 관한 정보를 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 따르면, 서버(200)는 제 1 어플리케이션에 대한 복수의 사용자들의 조작 정보 및 감정 정보를 수신하여, 제 1 어플리케이션에 대한 데이터 집합(data set)을 생성할 수 있다. 예를 들어, 서버(200)는 데이터 집합을 제 1 어플리케이션의 각각의 기능, 컨텐트, 구조, 및 사용자 인터페이스 별로 데이터를 분류할 수도 있고, 또한, 서버(200)는 데이터 집합을 수집된 감정에 따라 분류할 수도 있다.
예를 들어, 서버(200)는 제 1 어플리케이션에서 제공하는 제 1 기능에 대한 데이터를 추출하고, 복수의 사용자들의 제 1 기능에 대한 감정 정보를 분석하여, 대다수의 사용자들이 제 1 기능에 대해 느끼는 감정 정보를 획득할 수 있다. 이때, 서버(200)는 대다수의 사용자들이 제 1 기능에 대해 느끼는 감정 정보를 제 1 기능에 대한 분석 데이터로 활용할 수 있다.
또한, 서버(200)는 복수의 사용자가 제 1 감정(예컨대, 행복)을 가지는 제 1 어플리케이션의 기능, 컨텐트, 구조를 추출하고, 추출된 기능, 컨텐트, 구조를 분석하여, 복수의 사용자가 주로 어떠한 기능, 컨텐트, 구조에 대해 제 1 감정을 가지는지 확인할 수도 있다.
단계 S1870에서, 서버(200)는 제 1 어플리케이션에 대한 분석 데이터를 전자 기기(100)로 전송할 수 있다.
일 실시예에 의하면, 서버(200)는 소정 주기로 전자 기기(100)에 분석 데이터를 전송할 수 있다. 또는, 서버(200)는, 전자 기기(100)로부터 요청이 있는 경우에 분석 데이터를 전자 기기(100)로 전송할 수도 있다.
일 실시예에 의하면, 서버(200)는, 분석 데이터 전체를 전자 기기(100)로 전송할 수도 있고, 분석 데이터 중 일부만을 전자 기기(100)로 전송할 수도 있다. 예를 들어, 서버(200)는, 제 1 어플리케이션에서 제공하는 기능들 중에서 제 2 사용자가 행복한 감정을 가지는 기능들을 분석한 데이터만을 전자 기기(100)로 전송할 수 있다.
단계 S1880에서, 전자 기기(100)는 서버(200)로부터 수신한 분석 데이터와 제 1 사용자의 조작 정보 및 감정 정보에 기초하여 어플리케이션의 사용자 인터페이스를 수정할 수 있다.
예를 들어, 제 1 어플리케이션의 제 3 기능에 대해 다른 사용자들이 행복한 감정을 느낀다는 데이터를 수신하였고, 제 1 사용자도 제 3 기능에 대해 조작 빈도도 높고, 긍정적인 감정 상태를 가지고 있을 경우, 전자 기기(100)는 제 3 기능을 높은 우선 순위에 둘 수 있다. 그리고, 전자 기기(100)는 제 3 기능을 실행할 수 있는 아이콘이 메인 페이지에 표시되도록 제 1 어플리케이션의 사용자 인터페이스를 수정할 수 있다.
또한, 전자 기기(100)가 제 1 어플리케이션의 제 4 기능을 실행하는 특정 경로에 관한 구조에 대해 다른 사용자들이 행복한 감정을 느낀다는 데이터를 수신하였으나, 제 1 사용자는 부정적인 감정을 가지고 있을 경우, 전자 기기(100)는 제 4 기능을 실행하는 현재 경로에 관한 구조를 다른 사용자들이 행복한 감정을 느끼는 특정 경로에 관한 구조로의 변경을 허용하지 않을 수 있다.
단계 S1890에서, 전자 기기(100)는 수정된 사용자 인터페이스를 포함하는 어플리케이션을 제공할 수 있다. 단계 S1890은, 도 2의 단계 S240에 대응되므로 구체적인 설명은 생략하기로 한다.
도 19는 일 실시예에 따르는 서버의 데이터 수집을 설명하기 위한 도면이다.
도 19에 대해서는, 도 18과 중복되는 설명 부분은 생략하기로 한다.
일 실시예에 따르면, 제 1 사용자(1910)의 전자 기기는, 제 1 어플리케이션(1951) 내지 제 6 어플리케이션(1956)을 포함하는 복수의 어플리케이션들(1951 ~ 1956)에 대한 제 1 사용자의 조작 정보 및 감정 정보를 획득할 수 있다. 마찬가지로, 제 2 사용자(1920), 제 3 사용자(1930), 및 제 4 사용자(1940)를 포함하는 복수의 사용자들의 전자 기기들은, 복수의 어플리케이션들(1951 ~ 1956) 각각에 대한 사용자 각각의 조작 정보 및 감정 정보를 획득할 수 있다.
일 실시예에 따르면, 복수의 전자 기기들은, 각각의 어플리케이션에 대한 복수의 사용자들(1910 ~ 1940)의 조작 정보 및 감정 정보를 서버(200)로 전송하여, 서버(200)에서 데이터 집합(1960)을 생성할 수 있다.
일 실시예에 따르면, 서버(200)는 데이터 집합(1960)을 어플리케이션(1970) 및 감정(1980) 등의 카테코리로 분류할 수 있다. 어플리케이션(1970)의 카테고리에는 복수의 어플리케이션들(1951 ~ 1956) 각각의 기능, 구조, 컨텐트, 사용자 인터페이스 등이 포함될 수 있다. 감정(1980)의 카테고리에는 행복, 화남, 경멸 등의 감정 상태 등이 포함될 수 있다.
일 실시예에 의하면, 서버(200)는 제 3 어플리케이션에서 제공하는 제 2 구조에 대한 데이터를 추출하여, 복수의 사용자들의 제 3 어플리케이션에서 제공하는 제 2 구조에 대한 감정 정보를 분석할 수 있다.
일 실시예에 의하면, 서버(200)는 제 1 감정을 가지는 기능, 컨텐트, 구조 및 사용자 인터페이스를 추출하여, 사용자들이 주로 어떠한 어플리케이션, 기능, 컨텐트, 구조, 또는 사용자 인터페이스에 대해 제 1 감정을 가지는지 분석할 수도 있다. 예를 들어, 서버(200)는 제 1 어플리케이션 및 제 3 어플리케이션의 제 3 기능에 대해 2043명의 사용자 중 92% 이상의 사용자가 화난 감정 상태를 가진다는 분석 데이터를 생성할 수 있다.
도 20 및 도 21은 일 실시예에 따르는 전자 기기의 구성을 설명하기 위한 블록도이다.
도 20에 도시된 바와 같이, 일 실시예에 따른 전자 기기(100)는, 디스플레이부(111) 및 제어부(130)를 포함할 수 있다. 그러나, 도 20에 도시된 구성 요소 모두가 전자 기기(100)의 필수 구성 요소인 것은 아니다. 도 20에 도시된 구성 요소보다 많은 구성 요소에 의해 전자 기기(100)가 구현될 수도 있고, 도 20에 도시된 구성 요소보다 적은 구성 요소에 의해 전자 기기(100)가 구현될 수도 있다.
예를 들어, 도 21에 도시된 바와 같이, 일 실시예에 따른 전자 기기(100)는, 디스플레이부(111) 및 제어부(130) 이외에 출력부(110), 사용자 입력부(120), 통신부(140), 센싱부(150), A/V 입력부(160), 및 메모리(170)를 더 포함할 수도 있다.
출력부(110)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있다. 예를 들어, 출력부(110)는 디스플레이부(111), 음향 출력부(112), 및 진동 모터(113)를 포함할 수 있다.
디스플레이부(111)는 전자 기기(100)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(111)는, 어플리케이션의 사용자 인터페이스를 디스플레이할 수 있다.
한편, 디스플레이부(111)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(111)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(111)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 전자 기기(100)의 구현 형태에 따라 전자 기기(100)는 디스플레이부(111)를 2개 이상 포함할 수도 있다. 이때, 2개 이상의 디스플레이부(111)는 힌지(hinge)를 이용하여 마주보게 배치될 수 있다.
디스플레이부(111)는, 사용자의 조작 정보 및 사용자의 감정 정보에 기초하여 수정된 사용자 인터페이스를 포함하는 어플리케이션을 제공할 수 있다.
음향 출력부(112)는 통신부(140)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(112)는 전자 기기(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(112)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
진동 모터(113)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(113)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(113)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
사용자 입력부(120)는, 사용자가 전자 기기(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(120)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
제어부(130)는, 통상적으로 전자 기기(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(130)는, 메모리(170)에 저장된 프로그램들을 실행함으로써, 출력부(110), 사용자 입력부(120), 통신부(140), 센싱부(150), A/V 입력부(160) 등을 전반적으로 제어할 수 있다.
제어부(130)는, 어플리케이션에 대한 사용자의 조작 정보를 획득할 수 있다. 예를 들어, 제어부(130)는, 사용자가 어플리케이션을 조작하는 조작 위치, 조작 힘 및 조작 빈도 중 적어도 하나를 조작 정보로 획득할 수 있다.
제어부(130)는, 어플리케이션의 조작과 관련된 사용자의 감정 정보를 획득할 수도 있다. 예를 들어, 제어부(130)는, 어플리케이션을 조작하는 사용자의 표정을 식별하고, 식별된 사용자의 표정에 기초하여, 사용자의 감정 상태를 결정할 수 있다. 예를 들어, 제어부(130)는, 이미지 센서(154)를 통해 획득된 어플리케이션을 조작하는 사용자의 얼굴 영상으로부터 특징점들을 추출하고, 추출된 특징점들과 기 정의된 표정 정보에 포함된 특징점들을 비교한 결과에 기초하여, 사용자의 표정을 식별할 수 있다.
일 실시예에서, 제어부(130)는 어플리케이션을 조작하는 사용자의 땀 배출량, 근육 수축 정보, 손가락 떨림 정보, 심박수 정보 및 맥박 정보 중 적어도 하나를 검출하도록 센싱부(150)를 제어하고, 검출된 적어도 하나의 정보에 기초하여, 사용자의 감정 상태를 결정할 수도 있다.
일 실시예에서, 제어부(130)는 사용자의 조작 정보 및 상기 사용자의 감정 정보에 기초하여, 어플리케이션의 사용자 인터페이스를 수정할 수 있다. 예를 들어, 제어부(130)는, 사용자의 조작 정보 및 사용자의 감정 정보를 분석하여, 어플리케이션에서 제공하는 기능들 간의 우선 순위를 결정할 수 있다. 제어부(130)는, 결정된 기능들 간의 우선 순위에 기초하여, 사용자 인터페이스를 수정할 수 있다.
또한, 제어부(130)는, 사용자의 조작 정보 및 사용자의 감정 정보에 기초하여, 어플리케이션에서 표시되는 컨텐트들 간의 우선 순위를 결정하고, 결정된 컨텐트들의 우선 순위에 따라, 컨텐트들의 배치를 변경할 수 있다.
제어부(130)는, 제 1 기능을 실행하는 경로에 관한 정보를 획득하고, 제 1 기능을 실행하는 경로에 대한 사용자의 선호 여부를 결정할 수 있다. 제어부(130)는, 사용자의 선호 여부에 기초하여, 제 1 기능을 실행하는 경로와 관련된 구조를 선택적으로 변경할 수 있다.
일 실시예에 의하면, 제어부(130)는, 사용자의 조작 정보 및 사용자의 감정 정보에 기초하여, 사용자에게 다른 어플리케이션을 추천할 수도 있다.
통신부(140)는, 전자 기기(100)와 외부 기기(300) 또는 전자 기기(100)와 서버(200) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(140)는, 근거리 통신부(141), 이동 통신부(142), 방송 수신부(1530)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(141)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(142)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(143)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 전자 기기(100)가 방송 수신부(143)를 포함하지 않을 수도 있다.
또한, 통신부(140)는, 사용자 인터페이스를 수정하기 위하여 필요한 정보를, 서버(200) 및 외부 기기(300)와 송수신할 수 있다.
센싱부(150)는, 전자 기기(100)의 상태 또는 전자 기기(100) 주변의 상태를 감지하고, 감지된 정보를 제어부(130)로 전달할 수 있다.
센싱부(150)는, 지자기 센서(Magnetic sensor)(151), 가속도 센서(Acceleration sensor)(152), 온/습도 센서(153), 이미지 센서(154), 자이로스코프 센서(155), 위치 센서(예컨대, GPS)(156), 기압 센서(157), EMG 센서(158), 광 센서(159), 적외선 센서(미도시), 근접 센서(미도시), 및 RGB 센서(illuminance sensor)(미도시) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
A/V(Audio/Video) 입력부(160)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(161)와 마이크로폰(162) 등이 포함될 수 있다. 카메라(161)는 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(130) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라(161)에서 처리된 화상 프레임은 메모리(170)에 저장되거나 통신부(140)를 통하여 외부로 전송될 수 있다. 카메라(161)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크로폰(162)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(162)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(162)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
메모리(170)는, 제어부(130)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 기기(100)로 입력되거나 전자 기기(100)로부터 출력되는 데이터를 저장할 수도 있다.
메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(170)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(171), 표정 식별 모듈(172)등으로 분류될 수 있다.
UI 모듈(171)은, 어플리케이션 별로 전자 기기(100)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다.
표정 식별 모듈(172)은, 어플리케이션을 조작하는 사용자의 얼굴 영상으로부터 특징점들을 추출하고, 추출된 특징점들과 기 정의된 표정 정보에 포함된 특징점들을 비교하고, 비교한 결과에 기초하여, 사용자의 표정을 식별할 수 있다.
일 실시예에 의하면, 전자 기기(100)는 사용자의 감정에 따라 적응적으로 어플리케이션의 사용자 인터페이스를 변경해 줌으로써, 어플리케이션 조작에 대한 사용자의 만족도를 증가시킬 수 있다.
일 실시예에 의하면, 전자 기기(100)는, 별도의 사용자 입력 없이도 사용자의 조작 정보 및 감정 정보를 획득하고, 획득한 정보를 반영하여 사용자 인터페이스를 수정해 줌으로써, 어플리케이션에 대한 사용자 경험(UX)을 향상시킬 수 있다.
본 발명의 일 실시예에 따른 어플리케이션 제공 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (20)

  1. 전자 기기에서 제공되는 어플리케이션에 대한 사용자의 조작 정보를 획득하는 단계;
    상기 사용자의 감정 정보를 획득하는 단계;
    상기 사용자의 조작 정보 및 상기 사용자의 감정 정보에 기초하여, 상기 어플리케이션의 사용자 인터페이스를 수정하는 단계; 및
    상기 수정된 사용자 인터페이스를 포함하는 상기 어플리케이션을 제공하는 단계;
    를 포함하는, 전자 기기의 어플리케이션 제공 방법.
  2. 제 1항에 있어서,
    상기 사용자의 조작 정보를 획득하는 단계는,
    상기 사용자가 상기 어플리케이션을 조작하는 조작 위치, 조작 힘 및 조작 빈도 중 적어도 하나를 획득하는 단계를 포함하는, 전자 기기의 어플리케이션 제공 방법.
  3. 제 1항에 있어서,
    상기 사용자의 감정 정보를 획득하는 단계는,
    상기 어플리케이션을 조작하는 상기 사용자의 표정을 식별하는 단계; 및
    상기 사용자의 표정에 기초하여, 상기 사용자의 감정 상태를 결정하는 단계;
    를 포함하는, 전자 기기의 어플리케이션 제공 방법.
  4. 제 3항에 있어서,
    상기 사용자의 표정을 식별하는 단계는,
    이미지 센서를 통해 상기 어플리케이션을 조작하는 상기 사용자의 얼굴 영상을 획득하는 단계;
    상기 사용자의 얼굴 영상으로부터 특징점들을 추출하는 단계;
    상기 추출된 특징점들과 기 정의된 표정 정보에 포함된 특징점들을 비교하는 단계; 및
    상기 비교한 결과에 기초하여, 상기 사용자의 표정을 식별하는 단계;
    를 포함하는, 전자 기기의 어플리케이션 제공 방법.
  5. 제 1항에 있어서,
    상기 사용자의 감정 정보를 획득하는 단계는,
    상기 어플리케이션을 조작하는 상기 사용자의 땀 배출량 정보, 근육 수축 정보, 손가락 떨림 정보, 심박수 정보 및 맥박 정보 중 적어도 하나를 검출하는 단계; 및
    상기 검출된 적어도 하나의 정보에 기초하여, 상기 사용자의 감정 상태를 결정하는 단계;
    를 포함하는, 전자 기기의 어플리케이션 제공 방법.
  6. 제 1항에 있어서,
    상기 어플리케이션의 사용자 인터페이스를 수정하는 단계는,
    상기 사용자의 조작 정보 및 상기 사용자의 감정 정보를 분석하여, 상기 어플리케이션에서 제공하는 기능들 간의 우선 순위를 결정하는 단계; 및
    상기 결정된 기능들 간의 우선 순위에 기초하여, 상기 사용자 인터페이스를 수정하는 단계를 포함하는, 전자 기기의 어플리케이션 제공 방법.
  7. 제 1항에 있어서,
    상기 어플리케이션의 사용자 인터페이스를 수정하는 단계는,
    상기 사용자의 조작 정보 및 상기 사용자의 감정 정보에 기초하여, 상기 어플리케이션에서 표시되는 컨텐트들 간의 우선 순위를 결정하는 단계; 및
    상기 결정된 컨텐트들 간의 우선 순위에 따라, 상기 컨텐트들의 배치를 변경하는 단계를 포함하는, 전자 기기의 어플리케이션 제공 방법.
  8. 제 1항에 있어서, 상기 어플리케이션의 사용자 인터페이스를 수정하는 단계는,
    제 1기능을 실행하는 경로에 관한 정보를 획득하는 단계;
    상기 제 1기능을 실행하는 경로에 대한 사용자의 선호 여부를 결정하는 단계; 및
    상기 결정된 사용자의 선호 여부에 기초하여, 상기 제 1기능을 실행하는 경로와 관련된 구조를 선택적으로 변경하는 단계를 포함하는, 전자 기기의 어플리케이션 제공 방법.
  9. 제 1항에 있어서, 상기 전자 기기의 어플리케이션 제공 방법은,
    상기 사용자의 조작 정보 및 상기 사용자의 감정 정보에 기초하여, 상기 사용자에게 다른 어플리케이션을 추천하는 단계를 더 포함하는, 전자 기기의 어플리케이션 제공 방법.
  10. 제 1항에 있어서,
    상기 어플리케이션의 사용자 인터페이스를 수정하는 단계는,
    외부 기기로부터 상기 어플리케이션에 대한 다른 사용자의 조작 정보 및 감정 정보를 획득하는 단계; 및
    상기 다른 사용자의 조작 정보 및 감정 정보를 고려하여, 상기 어플리케이션의 사용자 인터페이스를 수정하는 단계를 포함하는, 전자 기기의 어플리케이션 제공 방법.
  11. 어플리케이션에 대한 사용자의 조작 정보를 획득하고, 상기 사용자의 감정 정보를 획득하고, 상기 사용자의 조작 정보 및 상기 사용자의 감정 정보에 기초하여, 상기 어플리케이션의 사용자 인터페이스를 수정하는 제어부; 및
    상기 수정된 사용자 인터페이스를 포함하는 어플리케이션을 제공하는 디스플레이부를 포함하는, 전자 기기.
  12. 제 11항에 있어서, 상기 제어부는,
    상기 사용자가 상기 어플리케이션을 조작하는 조작 위치, 조작 힘 및 조작 빈도 중 적어도 하나를 획득하는, 전자 기기.
  13. 제 11항에 있어서, 상기 제어부는,
    상기 어플리케이션을 조작하는 상기 사용자의 표정을 식별하고, 상기 사용자의 표정에 기초하여, 상기 사용자의 감정 상태를 결정하는, 전자 기기.
  14. 제 13항에 있어서, 상기 제어부는,
    이미지 센서를 통해 획득된 상기 어플리케이션을 조작하는 상기 사용자의 얼굴 영상으로부터 특징점들을 추출하고, 상기 추출된 특징점들과 기 정의된 표정 정보에 포함된 특징점들을 비교하고, 상기 비교한 결과에 기초하여, 상기 사용자의 표정을 식별하는, 전자 기기.
  15. 제 11항에 있어서, 상기 제어부는,
    상기 어플리케이션을 조작하는 상기 사용자의 땀 배출량 정보, 근육 수축 정보, 손가락 떨림 정보, 심박수 정보 및 맥박 정보 중 적어도 하나를 검출하도록 센서를 제어하고, 상기 검출된 적어도 하나의 정보에 기초하여, 상기 사용자의 감정 상태를 결정하는, 전자 기기.
  16. 제 11항에 있어서, 상기 제어부는,
    상기 사용자의 조작 정보 및 상기 사용자의 감정 정보를 분석하여, 상기 어플리케이션에서 제공하는 기능들 간의 우선 순위를 결정하고, 상기 결정된 기능들 간의 우선 순위에 기초하여, 상기 사용자 인터페이스를 수정하는, 전자 기기.
  17. 제 11항에 있어서, 상기 제어부는,
    상기 사용자의 조작 정보 및 상기 사용자의 감정 정보에 기초하여, 상기 어플리케이션에서 표시되는 컨텐트들 간의 우선 순위를 결정하고, 상기 결정된 컨텐트들 간의 우선 순위에 따라, 상기 컨텐트들의 배치를 변경하는, 전자 기기.
  18. 제 11항에 있어서, 상기 제어부는,
    제 1기능을 실행하는 경로에 관한 정보를 획득하고, 상기 제 1기능을 실행하는 경로에 대한 사용자의 선호 여부를 결정하고, 상기 결정된 사용자의 선호 여부에 기초하여, 상기 제 1기능을 실행하는 경로와 관련된 구조를 선택적으로 변경하는, 전자 기기.
  19. 제 11항에 있어서, 상기 제어부는,
    상기 사용자의 조작 정보 및 상기 사용자의 감정 정보에 기초하여, 상기 사용자에게 다른 어플리케이션을 추천하는, 전자 기기.
  20. 제 1항 내지 제 10항 중 어느 한 항의 어플리케이션 제공 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020160115252A 2015-09-07 2016-09-07 어플리케이션 제공 방법 및 이를 위한 전자 기기 KR20170029398A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510564774.1A CN106502712A (zh) 2015-09-07 2015-09-07 基于用户操作的app改进方法和系统
CN201510564774.1 2015-09-07

Publications (1)

Publication Number Publication Date
KR20170029398A true KR20170029398A (ko) 2017-03-15

Family

ID=58240853

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160115252A KR20170029398A (ko) 2015-09-07 2016-09-07 어플리케이션 제공 방법 및 이를 위한 전자 기기

Country Status (5)

Country Link
US (1) US10552004B2 (ko)
EP (1) EP3321787B1 (ko)
KR (1) KR20170029398A (ko)
CN (1) CN106502712A (ko)
WO (1) WO2017043857A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734437A (zh) * 2017-04-13 2018-11-02 普天信息技术有限公司 一种业务系统优化方法及装置
US10790053B2 (en) * 2017-04-18 2020-09-29 International Business Machines Corporation Appetite improvement system through memory association
CN109976710B (zh) * 2017-12-27 2022-06-07 航天信息股份有限公司 一种数据处理方法及设备
CN108363602B (zh) * 2018-01-23 2022-04-19 平安普惠企业管理有限公司 智能ui界面布局方法、装置、终端设备及存储介质
CN108958605A (zh) * 2018-06-29 2018-12-07 河南工业大学 适应性判断智能移动终端使用状态的方法和系统
CN108845744A (zh) * 2018-06-29 2018-11-20 河南工业大学 由用户操作电子设备的行为判断其情感状态的方法及系统
US11386474B2 (en) * 2018-10-09 2022-07-12 Rovi Guides, Inc. System and method for generating a product recommendation in a virtual try-on session
CN109542624B (zh) * 2018-11-23 2021-09-28 中国农业银行股份有限公司 一种应用变更的资源调配方法及装置
CN109948426A (zh) * 2019-01-23 2019-06-28 深圳壹账通智能科技有限公司 应用程序调整方法、装置、电子设备及存储介质
CN109885787B (zh) * 2019-02-21 2021-06-22 百度在线网络技术（北京）有限公司 App页面显示方法及系统、移动终端和计算机可读介质
WO2020236147A1 (en) * 2019-05-20 2020-11-26 Hewlett-Packard Development Company, L.P. Signal combination of physiological sensor signals
CN110225196B (zh) * 2019-05-30 2021-01-26 维沃移动通信有限公司 终端控制方法及终端设备
CN112667325A (zh) * 2019-09-27 2021-04-16 宝能汽车集团有限公司 显示界面布局方法、控制装置及电子设备
CN110825423B (zh) * 2019-10-31 2023-09-29 天津大学 一种基于用户在线评论情感和偏好分析的app持续改善方法
CN114258529A (zh) * 2019-10-31 2022-03-29 深圳市欢太科技有限公司 参数配置方法、装置、电子设备及计算机可读介质
CN112416859B (zh) * 2020-11-05 2023-08-01 武汉木仓科技股份有限公司 一种用于iOS应用内的意见反馈方法及相关设备
CN116048708B (zh) * 2023-03-31 2024-02-23 成都齐之之知识产权运营有限公司 基于人工智能的软件窗口调整方法、系统、设备和介质

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5280275A (en) * 1992-01-24 1994-01-18 International Business Machines Corporation Graphical interface control buttons with scalar values
US20070033634A1 (en) * 2003-08-29 2007-02-08 Koninklijke Philips Electronics N.V. User-profile controls rendering of content information
US20070005449A1 (en) * 2005-06-30 2007-01-04 Microsoft Corporation Optimized retail application user interface and architecture
US8037421B2 (en) * 2005-10-11 2011-10-11 Research In Motion Limited System and method for organizing application indicators on an electronic device
TWI454955B (zh) 2006-12-29 2014-10-01 Nuance Communications Inc 使用模型檔產生動畫的方法及電腦可讀取的訊號承載媒體
US20090002178A1 (en) * 2007-06-29 2009-01-01 Microsoft Corporation Dynamic mood sensing
US20090150919A1 (en) * 2007-11-30 2009-06-11 Lee Michael J Correlating Media Instance Information With Physiological Responses From Participating Subjects
KR101494388B1 (ko) 2008-10-08 2015-03-03 삼성전자주식회사 이동통신단말기에서 감정 표시 서비스를 제공하기 위한 장치 및 방법
US20110016102A1 (en) * 2009-07-20 2011-01-20 Louis Hawthorne System and method for identifying and providing user-specific psychoactive content
US8626141B2 (en) 2009-07-30 2014-01-07 Qualcomm Incorporated Method and apparatus for customizing a user interface menu
US20110154384A1 (en) * 2009-12-21 2011-06-23 Electronics And Telecommunications Research Institute Apparatus and method for offering user-oriented sensory effect contents service
WO2011142898A1 (en) * 2010-05-12 2011-11-17 United Video Properties, Inc. Systems and methods for adjusting media guide interaction modes
WO2011153318A2 (en) * 2010-06-02 2011-12-08 Q-Tec Systems Llc Method and apparatus for monitoring emotion in an interactive network
US10398366B2 (en) 2010-07-01 2019-09-03 Nokia Technologies Oy Responding to changes in emotional condition of a user
US20120011477A1 (en) 2010-07-12 2012-01-12 Nokia Corporation User interfaces
US20120182309A1 (en) 2011-01-14 2012-07-19 Research In Motion Limited Device and method of conveying emotion in a messaging application
US8806444B1 (en) 2011-04-07 2014-08-12 Intuit Inc. Modifying software based on tracked activities
US20130120429A1 (en) 2011-11-16 2013-05-16 Nickolas S. Sukup Method of representing emotion in a text message
US8869115B2 (en) 2011-11-23 2014-10-21 General Electric Company Systems and methods for emotive software usability
US9348479B2 (en) * 2011-12-08 2016-05-24 Microsoft Technology Licensing, Llc Sentiment aware user interface customization
KR20130084543A (ko) * 2012-01-17 2013-07-25 삼성전자주식회사 사용자 인터페이스 제공 장치 및 방법
KR20130131059A (ko) 2012-05-23 2013-12-03 삼성전자주식회사 감정 정보를 포함한 폰북 서비스를 제공하기 위한 방법 및 그 전자 장치
US20130339849A1 (en) * 2012-06-19 2013-12-19 Microsoft Corporation Digital content preparation and presentation
KR101917070B1 (ko) 2012-06-20 2018-11-08 엘지전자 주식회사 이동 단말기, 서버, 시스템, 이동 단말기 및 서버의 제어 방법
CN103699547B (zh) * 2012-09-28 2019-03-22 北京三星通信技术研究有限公司 一种应用程序推荐方法及终端
WO2014085910A1 (en) * 2012-12-04 2014-06-12 Interaxon Inc. System and method for enhancing content using brain-state data
KR102091848B1 (ko) 2013-01-04 2020-03-20 삼성전자주식회사 전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법
US20140195619A1 (en) 2013-01-07 2014-07-10 Farhang Ray Hodjat Emotive Text Messaging System
CN104007807B (zh) * 2013-02-25 2019-02-05 腾讯科技（深圳）有限公司 获取用户端使用信息的方法及电子设备
CN104298682B (zh) * 2013-07-18 2018-02-23 广州华久信息科技有限公司 一种基于人脸表情图像的信息推荐效果的评价方法及手机
CN104572053A (zh) * 2013-10-21 2015-04-29 比亚迪股份有限公司 用于移动终端中用户界面的布局方法及移动终端
KR101592178B1 (ko) * 2013-11-14 2016-02-05 신동현 휴대용 단말기 및 이의 사용자 감정상태 결정 방법
US10275583B2 (en) * 2014-03-10 2019-04-30 FaceToFace Biometrics, Inc. Expression recognition in messaging systems
CN103916540B (zh) * 2014-03-31 2018-03-16 惠州Tcl移动通信有限公司 一种信息反馈的方法及移动终端
CN104462468A (zh) * 2014-12-17 2015-03-25 百度在线网络技术（北京）有限公司 信息提供方法及装置
CN104484044B (zh) * 2014-12-23 2018-07-31 上海斐讯数据通信技术有限公司 一种广告推送方法和系统
US9734410B2 (en) * 2015-01-23 2017-08-15 Shindig, Inc. Systems and methods for analyzing facial expressions within an online classroom to gauge participant attentiveness
US10169827B1 (en) * 2015-03-27 2019-01-01 Intuit Inc. Method and system for adapting a user experience provided through an interactive software system to the content being delivered and the predicted emotional impact on the user of that content
CN104793977B (zh) * 2015-04-29 2018-06-19 无锡天脉聚源传媒科技有限公司 一种移动终端皮肤的转换方法及装置
US10416846B2 (en) * 2016-11-12 2019-09-17 Google Llc Determining graphical element(s) for inclusion in an electronic communication
US20180176168A1 (en) * 2016-11-30 2018-06-21 Fujitsu Limited Visual feedback system

Also Published As

Publication number Publication date
EP3321787A1 (en) 2018-05-16
EP3321787B1 (en) 2020-07-22
US20180253196A1 (en) 2018-09-06
WO2017043857A1 (ko) 2017-03-16
CN106502712A (zh) 2017-03-15
US10552004B2 (en) 2020-02-04
EP3321787A4 (en) 2018-07-04

Similar Documents

Publication Publication Date Title
EP3321787B1 (en) Method for providing application, and electronic device therefor
US10997768B2 (en) Emoji recording and sending
US11024070B2 (en) Device and method of managing user information based on image
US10845968B2 (en) Emoji recording and sending
US11960701B2 (en) Using an illustration to show the passing of time
CN107003827B (zh) 由包括可切换镜子的设备执行的图像显示方法和设备
CN104838336B (zh) 基于设备接近度的数据和用户交互
KR20180089855A (ko) 상품을 추천하는 디바이스 및 방법
EP3217254A1 (en) Electronic device and operation method thereof
KR20210013323A (ko) 아바타 생성 및 편집
KR20170140085A (ko) 데이터 기반 자연 언어 이벤트 검출 및 분류
TWI680400B (zh) 基於影像管理使用者資訊的裝置與方法
CN111698564B (zh) 信息推荐方法、装置、设备及存储介质
US20200019242A1 (en) Digital personal expression via wearable device
US11714536B2 (en) Avatar sticker editor user interfaces
US20230305688A1 (en) Avatar sticker editor user interfaces
JP2024522087A (ja) アバターステッカーエディタユーザインタフェース
KR20220149803A (ko) 정보를 공유하기 위한 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal