KR20170122305A - 뇌파 및 생체 신호에 따라 동작하는 사용자 단말 장치 및 그 제어 방법 - Google Patents

뇌파 및 생체 신호에 따라 동작하는 사용자 단말 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20170122305A
KR20170122305A KR1020160049321A KR20160049321A KR20170122305A KR 20170122305 A KR20170122305 A KR 20170122305A KR 1020160049321 A KR1020160049321 A KR 1020160049321A KR 20160049321 A KR20160049321 A KR 20160049321A KR 20170122305 A KR20170122305 A KR 20170122305A
Authority
KR
South Korea
Prior art keywords
user
state
application
user terminal
improving
Prior art date
Application number
KR1020160049321A
Other languages
English (en)
Inventor
이민호
강준수
말리페디 람모한
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020160049321A priority Critical patent/KR20170122305A/ko
Publication of KR20170122305A publication Critical patent/KR20170122305A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자 단말 장치가 개시된다. 사용자 단말 장치는, 상기 사용자 단말 장치가 활성화되면, 상기 사용자 단말 장치에 설치된 적어도 하나의 어플리케이션의 아이콘을 표시하는 디스플레이부, 사용자의 뇌파 및 생체 변화를 센싱한 뇌파 및 생체 신호를 전달받는 인터페이스부 및 상기 수신된 뇌파 및 생체 신호에 기초하여 상기 사용자의 상태를 판단하고, 판단 결과에 기초하여 상기 디스플레이부에 표시된 각 아이콘의 표시 위치를 변경하는 제어부를 포함한다.

Description

뇌파 및 생체 신호에 따라 동작하는 사용자 단말 장치 및 그 제어 방법{USER TERMINAL APPARATUS FOR PERFORMING BASED ON BRAIN/BODY SIGNAL AND CONTROL METHOD THEREOF}
본 발명은 뇌파 및 생체 신호에 따라 동작하는 사용자 단말 장치 및 그 제어 방법에 대한 것으로, 보다 상세하게는, 사용자의 뇌파 및 생체 신호에 기초하여 사용자 상태를 개선시킬 수 있는 동작을 수행하는 사용자 단말 장치 및 그 제어 방법에 대한 것이다.
전자 기술의 발달에 힘입어 태블릿 PC, 휴대폰과 같은 다양한 유형의 전자 장치가 개발되고 있다. 또한, 이러한 전자 장치는 대부분의 사람이 사용할 정도로 보급율이 높다.
최근에는 더 새롭고 다양한 기능을 원하는 사용자의 니즈(needs)에 부합하기 위하여, 더 다양한 기능을 가지는 전자 장치를 개발하기 위한 노력이 이어지고 있다.
한편, 센싱 기술의 발달로 혈압, 혈당, 체온, 심박 등 다양한 생체 신호가 센싱되어 제공됨에 따라, 생체 신호에 기초하여 특정 기능을 수행하는 전자 장치의 개발에 대한 관심이 커지고 있다. 이러한 관심으로, 사람의 혈압을 측정하여 고혈압 여부를 진단하거나, 당뇨 환자의 혈당 변화를 센싱하여 인슐린 투약 시기를 알려주는 전자 장치가 개발된 바 있다.
하지만, 우리가 사용하는 일반적인 전자 장치는 제조사나 사용자에 의해 기설정된 환경 설정에 따라 기능을 수행하고 있을 뿐, 사용자의 생체 변화에 따른 특징을 전자 장치의 사용 환경에 전혀 반영하지 못하고 있다.
이에 따라, 사용자의 생체 변화를 전자 장치의 사용 환경에 반영하고자 하는 노력의 필요성이 대두되고 있다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 사용자의 상태에 따라 제어되는 사용자 단말 장치 및 그 제어 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 사용자 단말 장치는, 상기 사용자 단말 장치가 활성화되면, 상기 사용자 단말 장치에 설치된 적어도 하나의 어플리케이션의 아이콘을 표시하는 디스플레이부, 사용자의 뇌파 및 생체 변화를 센싱한 뇌파 및 생체 신호를 전달받는 인터페이스부 및 상기 수신된 뇌파 및 생체 신호에 기초하여 상기 사용자의 상태를 판단하고, 판단 결과에 기초하여 상기 디스플레이부에 표시된 각 아이콘의 표시 위치를 변경하는 제어부를 포함한다.
여기서, 상기 제어부는, 상기 사용자의 상태가 기설정된 임계 조건 미만이면, 상기 사용자의 상태를 개선시키기 위한 어플리케이션의 아이콘을, 상기 디스플레이부에서 제공되는 복수의 디스플레이 레이어 중에서 메인 레이어로 이동하여 표시할 수 있다.
또한, 상기 제어부는, 사용자 상태 개선 용으로 기설정된 어플리케이션, 사용 횟수가 상대적으로 높은 어플리케이션, 이전 사용 시에 사용자 상태가 개선되는 것으로 확인된 어플리케이션 중 적어도 하나의 어플리케이션을 상기 사용자의 상태를 개선시키기 위한 어플리케이션으로 선택할 수 있다.
또한, 상기 제어부는, 상기 사용자의 상태를 개선시키기 위한 어플리케이션에서 제공하는 컨텐츠의 제공 순서를 상기 사용자의 상태 판단 결과에 따라 변경할 수 있다.
또한, 상기 제어부는, 상기 사용자의 상태가 기설정된 임계 조건 미만이면, 상기 사용자의 상태를 개선시키기 위한 이미지를 상기 디스플레이부에 표시되는 배경 화면 및 잠금 화면 중 적어도 하나로 표시할 수 있다.
이 경우, 상기 사용자의 상태는, 상기 사용자의 감정 및 집중도 중 적어도 하나이고, 상기 제어부는, 상기 수신된 뇌파 및 생체 신호에 기초하여 상기 사용자의 감정 및 집중도 중 적어도 하나를 판단할 수 있다.
한편, 상기 사용자 단말 장치는, 상기 사용자의 뇌파 및 생체 변화를 센싱하기 위한 감지부를 더 포함하고, 상기 사용자 단말 장치는, 상기 사용자의 신체에 착용 또는 부착이 가능한 웨어러블(wearable) 디바이스일 수 있다.
한편, 본 발명의 일 실시 예에 따른 사용자 단말 장치의 제어 방법은, 사용자의 생체 변화를 센싱한 뇌파 및 생체 신호를 전달받는 단계, 상기 수신된 뇌파 및 생체 신호에 기초하여 상기 사용자의 상태를 판단하는 단계 및 상기 판단 결과에 기초하여 상기 사용자 단말 장치의 디스플레이부에 표시된 각 아이콘의 표시 위치를 변경하는 단계를 포함한다.
여기서, 상기 변경하는 단계는, 상기 사용자의 상태가 기설정된 임계 조건 미만이면, 상기 사용자의 상태를 개선시키기 위한 어플리케이션의 아이콘을, 상기 디스플레이부에서 제공되는 복수의 디스플레이 레이어 중에서 메인 레이어로 이동하여 표시할 수 있다.
또한, 상기 변경하는 단계는, 사용자 상태 개선용으로 기설정된 어플리케이션, 사용 횟수가 상대적으로 높은 어플리케이션, 이전 사용 시에 사용자 상태가 개선되는 것으로 확인된 어플리케이션 중 적어도 하나의 어플리케이션을 상기 사용자의 상태를 개선시키기 위한 어플리케이션으로 선택할 수 있다.
한편, 상기 제어 방법은, 상기 사용자의 상태를 개선시키기 위한 어플리케이션에서 제공하는 컨텐츠의 제공 순서를 상기 사용자의 상태 판단 결과에 따라 변경하는 단계를 더 포함할 수 있다.
또한, 상기 제어 방법은, 상기 사용자의 상태가 기설정된 임계 조건 미만이면, 상기 사용자의 상태를 개선시키기 위한 이미지를 상기 디스플레이부에 표시되는 배경 화면 및 잠금 화면 중 적어도 하나로 표시하는 단계를 더 포함할 수 있다.
여기서, 상기 사용자의 상태는, 상기 사용자의 감정 및 집중도 중 적어도 하나이고, 상기 판단하는 단계는, 상기 수신된 뇌파 및 생체 신호에 기초하여 상기 사용자의 감정 및 집중도 중 적어도 하나를 판단할 수 있다.
또한, 상기 제어 방법은, 상기 사용자의 생체 변화를 센싱하는 단계를 더 포함하고, 상기 사용자 단말 장치는, 상기 사용자의 신체에 착용 또는 부착이 가능한 웨어러블 디바이스일 수 있다.
상술한 바와 같이 본 발명의 다양한 실시 예에 따르면, 사용자의 상태를 전자 장치의 사용 환경에 반영함으로써, 전자 장치에서 제공되는 서비스의 질을 높일 수 있다.
도 1은 본 발명의 일 실시 예에 따른 뇌파 및 생체 신호 감지 시스템을 설명하기 위한 도면이다.
도 2a 내지 2c는 본 발명의 일 실시 예에 따른 센싱 디바이스를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 사용자 단말 장치를 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 아이콘의 표시 변경을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시 예에 따른 아이콘의 표시 변경을 설명하기 위한 도면이다.
도 6a 내지 6c는 본 발명의 일 실시 예에 따른 어플리케이션의 컨텐츠 제공방법을 설명하기 위한 도면이다.
도 7a 및 7b는 본 발명의 일 실시 예에 따른 메인 화면 및 잠금 화면 변경 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 세부 구성을 설명하기 위한 블록도이다.
도 9는 본 발명의 일 실시 예에 따른 사용자 단말 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
그 밖에도, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다.
이하 첨부된 도면들을 참조하여 본 발명의 일 실시 예를 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시 예에 따른 뇌파 및 생체 신호 감지 시스템을 설명하기 위한 도면이다.
본 발명의 일 실시 예에 따른 뇌파 및 생체 신호 감지 시스템(10)은 사용자 단말 장치(100) 및 센싱 디바이스(200)를 포함한다.
여기서, 생체 신호는 사용자(11)의 신체에서 발생되는 신호로, 예를 들어, 생체 신호는 사용자(11) 피부의 전기전도도, 체온. 심박 등을 포함할 수 있으며, 그 밖에도 사용자(11)의 신체에서 기인하는 다양한 신호를 포함할 수 있다. 한편, 뇌파는 사용자(11)의 뇌에서 발생되는 전기 신호를 의미한다.
사용자 단말 장치(100)는 사용자가 임의로 사용할 수 있는 다양한 유형의 전자 장치를 의미한다. 구체적으로는, 사용자 단말 장치(100)는 휴대폰, 태블릿 PC, 랩탑 PC, PDA, MP3 플레이어, 전자 액자 장치, TV, PC, 키오스크, 스마트 안경, 스마트 워치, 스마트 팔찌, 등과 같은 다양한 유형의 장치로 구현될 수 있다.
사용자 단말 장치(100)는 뇌파 및 생체 신호를 처리한다. 구체적으로, 사용자 단말 장치(100)는 센싱 디바이스(200)로부터 제공받은 뇌파 및 생체 신호를 처리하여 사용자의 상태를 판단할 수 있다. 또한, 사용자 단말 장치(100)는 판단된 사용자의 상태에 기초하여 사용자 단말 장치(100)의 설정을 변경하거나 특정 기능을 수행할 수 있다. 사용자 단말 장치(100)가 뇌파 및 생체 신호를 처리하는 것과 관련하여는 도 3을 참조하여 상세히 후술한다.
센싱 디바이스(200)는 사용자의 신체에 착용하여 사용자의 뇌파 및 다양한 생체 신호를 센싱할 수 있는 디바이스를 의미한다. 센싱 디바이스(200)는 센싱 기능만을 구비한 디바이스일 수도 있으나, 센싱 기능 이외에 음향 출력 기능, 마이크 기능, 비디오 출력 기능 등과 같이 다양한 부가 기능을 갖춘 디바이스일 수도 있다. 예를 들어, 센싱 디바이스(200)는 헤드폰이나 이어폰, 머리띠, 헤어밴드, 팔찌, 목걸이, 반지 등 다양한 형태로 구현될 수 있다. 본 명세서에서는 센싱 기능을 갖추었다는 점을 고려하여 센싱 디바이스(200)라고 명명하였으나, 다르게는 웨어러블 디바이스(wearable device)라고도 명명할 수 있다.
구체적으로, 센싱 디바이스(200)는 사용자(11)의 뇌파 신호 및 다양한 생체 신호를 센싱하기 위한 하나 또는 복수의 센서(미도시)를 포함할 수 있다.
예를 들어, 센싱 디바이스(200)는 전기전도도센서(미도시), 체온측정센서(미도시), 심박측정센서(미도시), EEG 센서(미도시) 등을 포함할 수 있다.
전위 전도도 센서는 피부의 전기 전도도를 센싱한다. 예를 들어, 사용자(10)의 두부(머리)에 일정한 간격을 두고 전기 전도도 센서의 제1 측 및 제2 측이 접촉된 상태에서 제1 측에서 제2 측으로 전기를 전도시켜 전기 전도도(단위:uS(마이크로지멘스))를 산출할 수 있다. 여기서, 사용자(11) 피부의 땀샘(sweet gland)은 교감 신경계(sympathetic nervous system)의 통제하에 있기 때문에 피부의 전기 전도도는 사용자(11)의 심리적, 신체적 각성 상태를 나타낼 수 있다.
체온측정센서 및 심박측정센서는 사용자(11)의 체온 및 심박을 센싱한다.
EEG 센서는 사용자(11)의 뇌파를 센싱한다. 뇌파(EEG;Electroencephalogram)는 뇌의 전기적인 활동을 머리 표면에 부착한 전극에 의해 비침습적으로 측정한 전기 신호이다. 뇌파의 특성을 이용하여 사용자(11)의 감정 및 집중도를 산출할 수 있다. 예를 들어, 부정적 감정일 때 뇌의 왼쪽 전두엽 부분이 비 활성화되는 경향이 있고, 긍정적 감정일 때 뇌의 오른쪽 전두엽 부분이 비 활성화되는 경향이 있는데 이러한 뇌의 비활성화 여부를 뇌파의 특성을 분석해 알 수 있다. 다른 예로, 후술할 뇌파 중 SMR파 파워, mid 베타파 파워 및 쎄타파 파워를 이용하거나((SMR파 파워 + mid 베타파 파워)/쎄타파 파워), high 베타파 파워 값의 증가 여부에 따라 집중도를 판단할 수 있다.
구체적으로, 뇌파는 진동하는 주파수의 범위에 따라 인위적으로 델타 -δ파(0.2 ~ 3.99 Hz), 쎄타 -θ파(4 ~ 7.99 Hz), 알파 -α파(8 ~ 12.99 Hz), 베타 -β파(13 ~ 29.99 Hz), 감마- g파(30~50 Hz)로 구분될 수 있다. 여기서, 12~15 Hz의 파를 SMR(Sensory Motor Rhythm)파(감각운동파)로 정의할 수도 있다.
여기서, 델타파는 주로 정상인의 깊은 수면 상태에 있을 때나 신생아의 경우 나타나고, 쎄타파는 정서 안정 또는 수면으로 이어지는 과정에서 주로 나타나며 기억력, 초능력, 창의력, 집중력, 불안해소 등과 연관되는 것으로 알려져 있다. 알파파는 긴장이 이완된 상태와 같이 편안한 상태에서 주로 나타나며, 안정되고 편안한 상태일수록 진폭이 증가한다. 일반적으로 규칙적인 파동의 형태로 연속적으로 나타나며, 두정부와 후두부에서 가장 크게 기록되고 전두부에서 가장 작게 나타나는 특성이 있다. 특히, 안정된 알파파가 나타나는 때는 눈을 감고 진정한 상태에 있을 때이며, 눈을 뜨고 물체를 주시하거나 정신적으로 흥분하게 되면 알파파는 억제된다(알파 저지 현상). 알파파는 뇌의 발달과 밀접한 관계가 있고 유아기에는 4~6 Hz에서 측정되나, 그 후 나이가 들수록 주파수도가 증가하여 20세 정도 됐을 때 성인의 값에 이르게 된다. 베타파는 주로 전두부에 많이 나타나며, 깨어 있을 때나 말할 때와 같이 모든 의식적인 활동을 할 때 나타난다. 특히, 불안한 상태나 긴장시, 복잡한 계산 처리시에 우세하게 나타난다. 감마파는 베타파보다 더 빠르게 진동하는 형태로 정서적으로 더욱 초조한 상태이거나 추리, 판단 등의 고도의 인지정보처리와 관련 깊은 것으로 알려져있다.
여기서, 델타, 쎄타, 알파, 베타, 감마파는 작위적으로 분류한 뇌파의 주파수 영역으로 예를 들어, Low 알파, Middle 알파, High 알파 등으로 더욱 세분화하여 정의될 수도 있음은 물론이다.
상술한 바와 같이, 뇌파는 사람의 다양한 심리적 특성 정보를 담고 있다. 특히, 뇌파를 구성하는 각 파를 분석하여 사람의 감정 또는 집중도를 평가할 수 있다.
예를 들어, 사람의 정서적 안정을 나타내는 쎄타파의 파워와, 사람의 편안한 상태를 나타내 주는 알파파 및 불안한 상태를 나타내는 베타파의 비율을 이용하여 사용자의 심리적 상태(이하, 사용자의 상태라 한다) 즉, 감정 또는 집중도를 평가할 수 있다.
상술한 예에서, 전기전도도센서(미도시), 체온측정센서(미도시), 심박측정센서(미도시), EEG 센서를 이용한 사용자(11)의 뇌파 및 생체 신호 센싱을 설명하였다. 이러한 생체 신호의 센싱은 본 발명의 일 실시 예에 따른 뇌파 및 생체 신호 감지 시스템(10)에서는 센싱 디바이스(200)에 구비된 센서들에 의해 센싱되고, 사용자 단말 장치(100)로 제공될 수 있다.
도 1에서는 사용자 단말 장치(100) 및 센싱 디바이스(200)가 무선 인터페이스로 연결된 경우를 도시하였으나, 두 장치는 유선으로 서로 연결될 수도 있다. 또한, 실시 예에 따라서는 사용자 단말 장치(100) 및 센싱 디바이스(200)는 일체화가 될 수도 있다. 예를 들어, 사용자 단말 장치(100) 자체가 스마트 안경, 스마트 워치, 스마트 팔찌, 스마트 반지, 직물센서, 스마트 웨어, 의류 일체형 컴퓨터 등과 같은 웨어러블 디바이스로 구현된 경우에는, 사용자 단말 장치(100)가 직접적으로 사용자의 뇌파 및 생체 신호를 센싱하고, 그에 따른 동작을 수행할 수 있다. 이 경우, 사용자 단말 장치(100)의 착용 위치에 따라 센싱 가능한 생체 신호의 종류도 달라질 수 있다. 예를 들어, 사용자 단말 장치(100)가 디스플레이를 갖춘 스마트 워치 형태로 구현된 경우, 팔목에 착용하는 것이 일반적이므로 사용자의 뇌파 측정은 불가능하다. 이 경우에는 사용자 단말 장치(100)는 사용자의 체온, 전기전도도, 심박 등만을 센싱하여, 이에 기초한 동작 제어를 수행할 수도 있다.
도 2a 내지 2c는 본 발명의 일 실시 예에 따른 센싱 디바이스를 설명하기 위한 도면이다. 구체적으로는, 도 2a 내지 도 2c는 헤드폰(200')으로 구현된 센싱 디바이스(200)를 나타낸다.
도 2a에 따르면, 헤드폰(200')은 제1 및 제2 이어폰부(210, 220), 헤드밴드부(230)를 포함한다.
여기서, 헤드폰(200')은 하나 이상의 센서를 포함할 수 있는데, 사용자(11)의 두부에서 각 센서가 센싱 하고자 하는 생체 신호를 센싱하기에 적당한 부위에 접촉될 수 있도록, 각 센서는 헤드폰(200')의 적절한 부분에 구비될 수 있다.
예를 들어, 도 2b는 헤드폰(200')의 제1 이어폰부(210)를 도시한다. 제1 이어폰부(210)는 사람의 왼쪽 귀를 대응되는 것으로 가정한다. 이하에서는, 전기전도도센서(2110, 체온측정센서(212), 심박측정센서(213)가 제1 이어폰부(210)에 포함되는 것으로 설명할 것이나, 센서들 중 일부 또는 전부가 제2 이어폰부(220)나 헤드밴드부(230)에 포함될 수 있음은 물론이다.
도 2b를 참조하면, 양극부(미도시) 및 음극부(미도시)를 포함하는 전기 전도도 센서(211)는 제1 이어폰부(210) 중 사람의 귀 뒷부분과 접촉하는 부분에 구비될 수 있다. 체온측정센서(212)는 제1 이어폰부(210)의 영역 중 사람의 귀 아랫부분과 접촉되는 부분에 구비될 수 있다. 심박측정센서(213)는 제1 이어폰부(210)의 영역 중 사람의 관자놀이에 접촉되는 부분에 구비될 수 있다.
도 2c는 EEG 센서(231)의 일 예를 도시한다. EEG 센서(231)는 뇌파를 센싱한다. 일반적으로, EEG 센서(231)의 측정 가능한 전극 수가 많을수록 정밀한 센싱이 가능하기 때문에, 도 2c처럼, EEG 센서(231)는 다수의 전극으로 이루어질 수 있다. 이때, EEG 센서(231)는 빗(comb)과 같은 형태의 다수의 돌기를 가질 수 있는데, 이를 통해 두부의 머리카락 내측의 두피와 수월하게 접촉될 수 있다. 또한, EEG(231) 센서가 많을수록, 동시에 여러 부위의 뇌파의 양상을 센싱할 수 있다. 따라서, 도 2a와 같이, EEG 센서(231)는 헤드밴드부(230)를 따라 복수 개로 구비될 수 있다.
상술한 예는 하나의 실시 예일 뿐이다. 예를 들어, 상술한 각 센서들은 사용자(11)의 뇌파 및 생체 신호를 센싱하기 용이한 헤드폰(200')의 각 부분에 임의로 구비될 수 있다. 또한, 헤드폰(200')의 제1 및 제2 이어폰부(210, 220), 헤드밴드부(230)의 크기나 모양 등은 임의로 변경되어 설계될 수 있음은 물론이다. 또한, 헤드폰(200'은) 상기 복수의 센서들의 일부 또는 전부를 포함하거나, 다른 종류의 센서를 더 포함할 수 있다. 또한, 센싱 디바이스(200)는 헤드폰(200')으로 제한되지 않는다.
이와 같이, 센싱 디바이스(200)는 사용자(11)의 뇌파 및 생체 신호를 감지한다. 센싱 디바이스(200)는 감지된 뇌파 및 생체 신호를 사용자 단말 장치(100)와 같은 타 전자 장치에 전송하거나, 센싱 디바이스(200) 스스로 뇌파 및 생체 신호를 이용하여 특정 기능을 수행할 수 있다.
먼저, 도 3을 참조하여, 뇌파 및 생체 신호를 분석하여 특정 기능을 수행하는 사용자 단말 장치(100)를 예로 들어 설명한다.
도 3은 본 발명의 일 실시 예에 따른 사용자 단말 장(100)치를 설명하기 위한 블록도이다. 사용자 단말 장치(100)는 센싱 디바이스(200)에서 감지된 뇌파 및 생체 신호에 따라 사용자의 감정이나 집중도 등과 같은 상태를 판단한다. 사용자 단말 장치(100)는 판단된 상태에 따라 상이한 동작을 수행할 수 있다.
도 3에 따르면, 사용자 단말 장치(100)는 디스플레이부(110), 인터페이스부(120) 및 제어부(130)를 포함한다.
디스플레이부(110)는 다양한 화면을 디스플레이한다. 예를 들어, 사용자 단말 장치(100)가 활성화되면, 사용자 단말 장치(100)의 메인 화면을 디스플레이할 수 있다. 이 경우, 디스플레이부(110)는 메인 화면에 사용자 단말 장치(100)에 설치된 적어도 하나의 어플리케이션의 아이콘을 표시할 수 있다. 여기서, 사용자 단말 장치(100)의 메인 화면은 사용자 단말 장치(100)가 온 되거나 잠금이 해제되었을 때 처음으로 디스플레이되는 화면일 수 있다.
인터페이스부(120)는 다양한 신호를 송수신할 수 있다. 예를 들어, 사용자의 뇌파 및 생체 변화를 센싱한 뇌파 및 생체 신호를 전달받을 수 있다.
인터페이스부(120)는 뇌파 및 생체 신호를 외부의 센싱 디바이스(200)로부터 전달받을 수 있다. 이때, 인터페이스부(120)는 통신 인터페이스부의 기능을 수행할 수 있다. 이를 위해, 인터페이스부(120)는 외부의 센싱 디바이스(200)와 유무선 통신을 통해 연결될 수 있다.
한편, 인터페이스부(120)는 사용자 단말 장치(100) 내부에 포함된 감지부(미도시)로부터 뇌파 및 생체 신호를 전달받을 수도 있다. 여기서, 감지부는 사용자의 뇌파 및 생체 변화를 센싱하기 위한 구성이다. 이 경우, 사용자 단말 장치(100)는 사용자의 신체에 작용 또는 부착이 가능한 웨어러블 디바이스일 수 있다. 웨어러블 디바이스의 예는 상술한 바 있다.
제어부(130)는 사용자 단말 장치(100)를 전반적으로 제어한다. 특히, 제어부(130)는 뇌파 및 생체 신호를 분석하여 사용자 단말 장치(100)를 제어한다.
구체적으로, 제어부(130)는 뇌파 및 생체 신호에 기초하여 사용자의 상태를 판단한다. 즉, 제어부는(130) 상술한 피부 전기 전도도, 체온, 심박, EEG 등과 같은 생체 신호에 기초하여 사용자의 상태 예를 들어, 감정, 집중도 등을 판단할 수 있다. 이 경우, 사용자의 감정 상태는 우울함, 기쁨, 화남 등 다양한 상태일 수 있고, 집중도는 단계로서 표현될 수 있다.
제어부(130)는 사용자의 상태의 하나로 사용자의 감정을 판단할 수 있다. 예를 들어, 긍정적 감정과 관련 있는 심박수 변화율, 각성 및 편안한 정도와 관련 있는 피부 전기전도 변화율, 흥분 여부와 관련 있는 체온, 정서적 안정 여부를 나타내는 EEG 신호의 각 파들의 수치를 독립적으로 또는 조합하여 사용자의 감정을 판단할 수 있다.
제어부(130)는 사용자의 상태 하나로 사용자의 집중도를 판단할 수도 있다. 예를 들어, 뇌파 중 하나인 쎄타파와, 알파파 및 베타파의 비율, 심박수의 감소율, 피부의 전기 전도도, 체온의 변화율 등에 기초하여 사용자의 집중도를 판단할 수 있다.
일 예로, 제어부(130)는 심박수, 전기 전도도 및 체온이 기설정된 값 이하이고, 뇌파의 감마파의 세기가 기설정된 값 이상인 경우 사용자의 감정 상태는 우울한 상태인 것으로 판단할 수 있다. 다른 예로, 제어부(130)는 심박수가 기설정된 값을 만족하고 뇌파의 쎄타파의 세기가 기설정된 값을 만족하는 경우, 사용자의 집중도가 높은 단계에 있는 것으로 판단할 수 있다. 이러한 생체 신호의 종류 및 그 크기와 사용자의 기분 또는 집중도 사이의 관계는 반복 실험을 통해 미리 검출하여 저장해 둘 수 있다.
한편, 제어부(130)는 특정 어플리케이션을 상태 개선용으로 선택할 수 있다. 구체적으로, 제어부(130)는 사용자의 상태 즉, 감정 및 집중도를 개선하기 위한 상태 개선용 어플리케이션을 복수의 어플리케이션 중에서 선택할 수 있다.
예를 들어, 제어부(130)는 상태 개선용으로 기설정된 어플리케이션을 상태 개선용 어플리케이션으로 설정할 수 있다.
또는, 제어부(130)는 사용 횟수가 상대적으로 높은 어플리케이션을 상태 개선용 어플리케이션으로 설정할 수 있다. 일 예로, 제어부(130)는 사용자 단말 장치(100)에서 구동되는 각각의 어플리케이션의 사용 횟수를 카운팅하고 이를 업데이트 한다. 이를 통해, 제어부(130)는 사용자 단말 장치(100)에서 구동되는 복수의 어플리케이션의 순위를 결정하고, 선 순위의 어플리케이션을 상태 개선용 어플리케이션으로 선택할 수 있다.
또한, 제어부(130)는 이전 사용 시에 사용자 상태가 개선되는 것으로 확인된 어플리케이션을 상태 개선용 어플리케이션으로 선택할 수 있다. 예를 들어, 음악 재생용 어플리케이션이 재생되는 경우, 제어부(130)는 사용자의 감정 및 집중도 중 적어도 하나를 판단한다. 제어부(130)는 음악 재생용 어플리케이션 재생시의 감정 및 집중도를 판단하여 감정 및 집중도 중 적어도 하나가 개선된 경우, 음악 재생용 어플리케이션을 상태 개선용 어플리케이션으로 선택할 수 있다.
한편, 제어부(130)는 사용자 상태의 판단 결과에 기초하여 사용자 단말 장치(100)를 제어할 수 있다. 예를 들어, 제어부(130)는 사용자 상태의 판단 결과를 이용하여 디스플레이부(110)에 표시된 각 아이콘의 표시 위치를 변경할 수 있다.
여기서, 표시 위치의 변경은 하나의 화면 배치된 아이콘의 위치가 변경되는 경우뿐만 아니라, 복수의 디스플레이 레이어 중 어느 하나의 레이어에 있는 아이콘이 다른 레이어로 이동하여 표시되는 경우를 포함한다.
아이콘의 표시 위치를 변경하는 예를 이하 도 4 및 도 5를 참조하여 설명한다.
도 4는 본 발명의 일 실시 예에 따른 아이콘의 표시 변경을 설명하기 위한 도면이다.
도 4를 참조하면, 복수의 아이콘은 디스플레이부(110)의 제1 영역 및 제2 영역(101, 102)에 배치된다. 일반적으로, 제1 영역(101)에 배치된 아이콘의 어플리케이션은 제2 영역(102)에 배치된 아이콘의 어플리케이션보다 많이 사용되는 어플리케이션이며, 제1 영역(101)은 사용자가 아이콘을 조작하여 어플리케이션을 실행시키기 수월한 영역이라고 가정한다.
이 경우, 제어부(130)는 사용자 상태를 판단하여 사용자의 상태가 기설정된 임계 조건 미만이면, 사용자의 상태를 개선시키기 위한 어플리케이션의 아이콘을 제1 영역에 배치할 수 있다.
예를 들어, 사용자의 상태가 기설정된 임계 조건 미만 즉, 사용자 감정이 우울한 상태 또는 사용자의 집중도가 기설정된 단계 이하에 있는 것으로 판단되면, 제어부(130)는 사용자 상태를 개선시키기 위한 어플리케이션의 아이콘 H와 제1 영역(101)에 배치된 아이콘 A, B, C, D 중 하나의 위치를 교환하여 배치할 수 있다. 이때, 제어부는 제1 영역(101)에 새롭게 배치된 아이콘 H를 하이라이트, 색 반전 등으로 강조하여 표시할 수 있다. 여기서, 사용자 상태를 개선시키기 위한 어플리케이션의 아이콘이 메인 화면에 기존에 있는 것으로 예로 들었으나, 다른 디스플레이 레이어에 포함된 아이콘이거나, 새롭게 설치되는 어플리케이션의 아이콘일 수도 있다.
도 5는 본 발명의 다른 실시 예에 따른 아이콘의 표시 변경을 설명하기 위한 도면이다.
도 5를 참조하면, 디스플레이부(110)는 복수의 디스플레이 레이어를 제공한다. 여기서, 복수의 디스플레이 레이어는 어플리케이션의 아이콘을 표시할 수 있는 공간일 수 있다.
구체적으로, 복수의 디스플레이 레이어의 순위가 기설정되어 있을 수 있다. 예를 들어, 사용자 단말 장치(100)가 턴 온 된 경우나, 잠금 해제된 경우에 가장 먼저 디스플레이되는 레이어가 제1 레이어 또는 메인 레이어로 기설정되어 있을 수 있다. 또한, 메인 레이어가 디스플레이된 이후 순차적으로 조작을 통해서 선택될 수 있는 레이어를 조작의 횟수에 따라 제2 레이어, 제3 레이어 등으로 기설정할 수 있다. 여기서, 후 순위 디스플레이 레이어는 사용자의 접근성이 선 순위 디스플레이 레이어보다 낮기 때문에 중요도가 낮은 레이어일 수 있다. 이러한 복수의 레이어는 터치 앤 드래그나, 특정 아이콘을 터치하는 이벤트 등에 의해 선택될 수 있다.
도 5에서는, 복수의 디스플레이 레이어는 제1 또는 메인 레이어(110-1), 제2 레이어(110-2), 제3 레이어(110-3), 제4 레이어(110-4)로 구성되는 것으로 가정한다.
한편, 사용자의 상태가 기설정된 임계 조건 미만이면, 제어부(130)는 사용자의 상태를 개선시키기 위한 어플리케이션의 아이콘을, 디스플레이부(110)에서 제공되는 복수의 디스플레이 레이어 중 하나로 이동하여 표시할 수 있다. 구체적으로, 제어부(130)는 사용자의 상태를 개선시키기 위한 어플리케이션의 아이콘을 후 순위 레이어에서 선 순위 레이어로 이동하여 표시할 수 있다. 또는, 제어부(130)는 사용자의 상태를 개선시키기 위한 어플리케이션의 아이콘을 메인 레이어로 이동하여 표시할 수 있다.
예를 들어, 사용자의 상태가 기설정된 임계 조건 미만 즉, 사용자의 감정 상태가 화난 상태이거나 사용자의 집중도가 기설정된 단계 이하인 것으로 판단되는 경우, 제어부(130)는 제2 레이어(110-2)에 표시된 사용자의 상태를 개선시키기 위한 어플리케이션의 아이콘 M을 메인 레이어(110-2)의 일 영역 예를 들어 참조 번호 103 영역에 이동하여 표시할 수 있다. 여기서, 제어부(130)는 아이콘 M 및 아이콘 I, J, K, L 중 하나의 위치를 교환하여 표시할 수도 있음은 물론이다.
한편, 본 발명의 일 실시 예에 따르면, 제어부(130)는 사용자의 감정 상태에 따라 상태를 개선시키기 위한 어플리케이션을 자동으로 실행시킬 수도 있다. 예를 들면, 사용자의 감정 상태가 슬픈 상태인 경우, 제어부(130)는 상태를 개선시키는 어플리케이션으로 동영상 재생용 어플리케이션을 선택하여 자동으로 실행시킬 수 있다.
한편, 제어부(130)는 사용자의 상태 판단 결과에 따라 어플리케이션의 구동 상태를 변경할 수 있다. 구체적으로, 제어부(130)는 사용자의 상태 판단 결과에 따라 사용자의 상태를 개선시키기 위한 어플리케이션에서 제공하는 컨텐츠의 제공 순서를 변경할 수도 있다. 이하, 도 6a 내지 6c를 참조하여 어플리케이션에서 제공하는 컨텐츠의 제공 순서를 변경하는 예를 상세히 설명한다.
도 6a 내지 6c는 본 발명의 일 실시 예에 따른 어플리케이션의 컨텐츠 제공방법을 설명하기 위한 도면이다.
제어부(130)는 사용자의 상태를 개선 시킬 필요가 있는 것으로 판단되는 경우, 사용자의 상태를 개선시키기 위한 컨텐츠를 선 순위로 제공한다. 여기서, 사용자의 상태를 개선시키기 위한 컨텐츠는 기설정되거나, 사용 횟수가 상대적으로 높거나, 이전 사용 시에 사용자 상태가 개선되는 것으로 확인된 컨텐츠 중 적어도 하나일 수 있다.
도 6a를 참조하면, 사용자의 상태가 기설정된 임계 조건 미만인 경우 사진 어플리케이션이 실행되면, 제어부(130)는 사용자의 상태를 개선시키기 위한 컨텐츠 예를 들면, 고양이와 같은 동물 관련 사진(104-1), 어린이 관련 사진(104-2), 풍경 관련 사진(104-3) 등을 우선 순위로 디스플레이 할 수 있다.
도 6b를 참조하면, 사용자의 상태가 기설정된 임계 조건 미만인 경우 음악 재생용 어플리케이션이 실행되면, 제어부(130)는 사용자의 상태를 개선시키기 위한 컨텐츠 예를 들면, 댄스 음악(105-1), 힙합 음악(105-2), 일렉트릭 음악(105-3)을 선택하기 위한 GUI를 우선 순위로 디스플레이 할 수 있다.
도 6c를 참조하면, 사용자의 상태가 기설정된 임계 조건 미만인 경우 동영상 어플리케이션이 실행되면, 제어부(130)는 사용자의 상태를 개선시키기 위한 컨텐츠 예를 들면, 코미디(106-1), 음악 방송(106-2), 뮤지컬(106-3)을 선택하기 위한 GUI를 우선 순위로 디스플레이할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 제어부(130)는 사용자의 상태에 따라 메인 화면(예를 들어, 홈 화면) 및 잠금 화면 중 적어도 하나를 변경할 수 있다. 이를, 도 7a 및 7b를 참조하여 예를 들어 설명한다.
도 7a 및 7b는 본 발명의 일 실시 예에 따른 메인 화면 및 잠금 화면 변경 방법을 설명하기 위한 도면이다.
도 7a 및 7b를 참조하면, 제어부(130)는 사용자의 상태가 기설정된 임계 조건 미만인 경우, 사용자 단말 장치(100)의 메인 화면(107) 및 잠금 화면(108) 중 적어도 하나를 사용자 상태를 개선하기 위한 이미지로 변경할 수 있다. 여기서 사용자 상태를 개선하기 위한 이미지는 기설정되거나, 메인 화면 또는 잠금 화면으로 사용하는 횟수가 상대적으로 높거나, 이전 사용 시에 사용자 상태가 개선되는 것으로 확인된 이미지 중 적어도 하나일 수 있다.
한편, 제어부(130)는 사용자의 상태에 기초하여 사용자 단말 장치(100)의 벨 소리나 효과음 등을 변경할 수도 있다. 예를 들어, 제어부(130)는 사용자의 감정 및 집중도 중 적어도 하나가 기설정된 임계 값 이하인 경우, 기존의 벨소리를 경쾌한 벨소리로 변경하거나, 특정 효과음을 밝은 음으로 변경할 수 있다.
이상에서, 사용자의 상태에 따라 어플리케이션의 표시, 어플리케이션의 컨텐츠 제공 순서, 어플리케이션의 자동 실행, 어플리케이션의 배경 화면을 변경하는 실시 예를 상세히 설명하였다. 이러한 실시 예는 독립적으로 실시될 수 있음은 물론, 둘 이상의 실시 예가 다양한 조합으로 실시될 수 있음도 배제하지 않는다.
상술한 실시 예와 같이, 사용자의 상태 즉, 감정 및 집중도 중 적어도 하나에 따라 사용자 단말 장치(100)의 환경을 변경함으로써, 사용자의 상태를 더 좋은 상태로 개선 시킬 수 있다. 이를 통하여, 사용자 단말 장치(100)는 사용자의 명령에 따라 기능을 수행하는 수동적 기기에서 한 발 나아가 사용자의 상태 정보를 적극 수용하여 사용자의 상태를 향상시킴과 더불어 사용자의 건강을 증진시키는데 큰 역할을 할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 사용자 단말 장치의 세부 구성을 설명하기 위한 블록도이다.
도 8은 사용자 단말 장치(100)가 통신 기능, GPS 수신 기능, 디스플레이 기능 등과 같은 다양한 기능을 종합적으로 지원하는 휴대폰(800)으로 구현되었을 경우에 탑재 가능한 각종 구성 요소들을 종합적으로 도시한 것이다. 따라서, 실시 예에 따라서는, 도 8에 도시된 구성 요소 중 일부는 생략 또는 변경될 수 있고, 다른 구성 요소가 더 추가될 수도 있다. 여기서, 상술한 사용자 단말 장치(100)와 중복되는 구성에 대하여는 상세한 설명을 생략한다.
휴대폰(800)은 저장부(810), 통신부(820), 제어부(830) 및 디스플레이(840)를 포함할 수 있다.
저장부(810)는 휴대폰(800)을 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 멀티미디어 컨텐츠와 같은 다양한 데이터를 저장할 수 있다.
특히, 저장부(810)는 사용자 상태를 증진시키기 위한 어플리케이션의 목록 및 컨텐츠를 저장할 수 있다.
통신부(820)는 네트워크(통신망)를 통하여 통신을 수행한다. 이를 위해, 통신부(820)는 근거리 통신 모듈(미도시) 및 무선 통신 모듈(미도시)을 포함할 수 있다.
근거리 무선 통신 모듈(미도시)은 근거리에 위치한 외부 기기(미도시)(예를 들어, 센싱 디바이스)와 무선 통신을 수행하는 통신 모듈로써, 예를 들어, 블루투스(Bluetooth), 지그비(Zigbee) 등이 될 수 있다. 무선 통신 모듈(미도시)은 와이파이(WiFi), IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 모듈이다. 이 밖에 무선 통신 모듈은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있다.
제어부(830)는 저장부(810)에 저장된 각종 프로그램을 이용하여 휴대폰(800)의 전반적인 동작을 제어하기 위한 구성요소이다. 도 8에 따르면, 제어부(830)는 RAM(831), ROM(832), 메인 CPU(833), 그래픽 처리부(834), 제1 내지 제n 인터페이스(835-1 ~ 835-n)을 포함한다.
RAM(831), ROM(832), 메인 CPU(833), 그래픽 처리부(834), 제1 내지 n 인터페이스(835-1 ~ 835-n) 등은 버스(836)를 통해 서로 연결될 수 있다.
제1 내지 n 인터페이스(835-1 내지 835-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
메인 CPU(833)는 저장부(810)에 액세스하여, 저장부(810)에 저장된 O/S 및 ROM(832)을 이용하여 부팅을 수행할 수 있다. 메인 CPU(833)는 저장부(810)에 저장된 각종 모듈을 불러들여 RAM(831)에 저장하고, 저장된 모듈을 이용하여 각종 기능을 수행할 수 있다. 그리고 메인 CPU(833)는 저장부(810)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다. 메인 CPU(833)는 상술한 여러 실시 예에서 언급한 프로세서에 대응되는 역할을 수행할 수 있다.
ROM(832)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(833)는 ROM(832)에 저장된 명령어에 따라 저장부(810)에 저장된 O/S를 RAM(831)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(833)는 저장부(810)에 저장된 각종 어플리케이션 프로그램을 RAM(831)에 복사하고, RAM(831)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(834)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부(미도시)에서 생성된 화면은 디스플레이(840)에 디스플레이된다. 그래픽 처리부(834)는 UI 렌더링도 수행한다. 구체적으로는, 메인 CPU(833)가 OS를 변경하게 되면, 그래픽 처리부(834)는 변경된 OS에 대응되는 그래픽 데이터를 이용하여, 변경된 OS의 레이아웃 화면을 구성하여 디스플레이(840)에 디스플레이한다.
한편, 상술한 제어부(830)의 동작은 저장부(810)에 저장된 프로그램에 의해 이루어질 수 있다.
디스플레이(840)는 운영체제 및 어플리케이션에 의해 생성되는 이미지를 디스플레이한다. 구체적으로, 디스플레이(840)는 그래픽 처리부(843)에서 생성된 다양한 화면을 디스플레이할 수 있다. 이를 위해 디스플레이(840)는 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Display, OLED) 등으로 구현될 수 있다.
이에 더하여, 도 8에는 도시되지 않았지만, 휴대폰(800)은 카메라(미도시) 및 마이크(미도시) 등의 구성을 더 포함할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 사용자 단말 장치의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 제어 방법은, 사용자의 뇌파 및 생체 변화를 센싱한 뇌파 및 생체 신호를 전달받고(S910), 수신된 뇌파 및 생체 신호에 기초하여 사용자의 상태를 판단하며(S920), 판단 결과에 기초하여 사용자 단말 장치의 디스플레이부에 표시된 각 아이콘의 표시 위치를 변경한다(S930).
여기서, 변경하는 단계는, 사용자의 상태가 기설정된 임계 조건 미만이면, 사용자의 상태를 개선시키기 위한 어플리케이션의 아이콘을, 디스플레이부에서 제공되는 복수의 디스플레이 레이어 중에서 메인 레이어로 이동하여 표시할 수 있다.
또한, 변경하는 단계는, 사용자 상태 개선 용으로 기설정된 어플리케이션, 사용 횟수가 상대적으로 높은 어플리케이션, 이전 사용 시에 사용자 상태가 개선되는 것으로 확인된 어플리케이션 중 적어도 하나의 어플리케이션을 사용자의 상태를 개선시키기 위한 어플리케이션으로 선택할 수 있다.
이 경우, 제어 방법은, 사용자의 상태를 개선시키기 위한 어플리케이션에서 제공하는 컨텐츠의 제공 순서를 사용자의 상태 판단 결과에 따라 변경하는 단계를 더 포함할 수 있다.
또한, 제어 방법은, 사용자의 상태가 기설정된 임계 조건 미만이면, 사용자의 상태를 개선시키기 위한 이미지를 디스플레이부에 표시되는 배경 화면 및 잠금 화면 중 적어도 하나로 표시하는 단계를 더 포함할 수 있다.
이 경우, 사용자의 상태는, 사용자의 감정 및 집중도 중 적어도 하나이고, 판단하는 단계는, 수신된 생체 신호에 기초하여 사용자의 감정 및 집중도 중 적어도 하나를 판단할 수 있다.
한편, 제어 방법은, 사용자의 뇌파 및 생체 변화를 센싱하는 단계를 더 포함하고, 사용자 단말 장치는, 사용자의 신체에 착용 또는 부착이 가능한 웨어러블 디바이스일 수 있다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 사용자 단말 장치(100)의 동행자 판단 방법은 컴퓨터로 실행 가능한 프로그램 코드로 구현되어 다양한 비 일시적 판독 가능 매체(non-transitory computer readable medium)에 저장된 상태로 제어부(130)에 의해 실행되도록 각 서버 또는 기기들에 제공될 수 있다.
일 예로, 사용자의 뇌파 및 생체 변화를 센싱한 뇌파 및 생체 신호를 전달받는 단계, 수신된 생체 신호에 기초하여 사용자의 상태를 판단하는 단계 및 판단 결과에 기초하여 사용자 단말 장치의 디스플레이부에 표시된 각 아이콘의 표시 위치를 변경하는 단계를 수행하는 프로그램이 저장된 비 일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비 일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비 일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 사용자 단말 장치 200 : 센싱 디바이스
110 : 디스플레이 120 : 인터페이스부
130 : 제어부

Claims (14)

  1. 사용자 단말 장치에 있어서,
    상기 사용자 단말 장치가 활성화되면, 상기 사용자 단말 장치에 설치된 적어도 하나의 어플리케이션의 아이콘을 표시하는 디스플레이부;
    사용자의 뇌파 및 생체 변화를 센싱한 뇌파 및 생체 신호를 전달받는 인터페이스부; 및
    상기 뇌파 및 생체 신호에 기초하여 상기 사용자의 상태를 판단하고, 판단 결과에 기초하여 상기 디스플레이부에 표시된 각 아이콘의 표시 위치를 변경하는 제어부;를 포함하는, 사용자 단말 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 사용자의 상태가 기설정된 임계 조건 미만이면, 상기 사용자의 상태를 개선시키기 위한 어플리케이션의 아이콘을, 상기 디스플레이부에서 제공되는 복수의 디스플레이 레이어 중에서 메인 레이어로 이동하여 표시하는, 사용자 단말 장치.
  3. 제2항에 있어서,
    상기 제어부는,
    사용자 상태 개선용으로 기설정된 어플리케이션, 사용 횟수가 상대적으로 높은 어플리케이션, 이전 사용 시에 사용자 상태가 개선되는 것으로 확인된 어플리케이션 중 적어도 하나의 어플리케이션을 상기 사용자의 상태를 개선시키기 위한 어플리케이션으로 선택하는, 사용자 단말 장치.
  4. 제2항에 있어서,
    상기 제어부는,
    상기 사용자의 상태를 개선시키기 위한 어플리케이션에서 제공하는 컨텐츠의 제공 순서를 상기 사용자의 상태 판단 결과에 따라 변경하는, 사용자 단말 장치.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 사용자의 상태가 기설정된 임계 조건 미만이면, 상기 사용자의 상태를 개선시키기 위한 이미지를 상기 디스플레이부에 표시되는 배경 화면 및 잠금 화면 중 적어도 하나로 표시하는, 사용자 단말 장치.
  6. 제1항에 있어서,
    상기 사용자의 상태는,
    상기 사용자의 감정 및 집중도 중 적어도 하나이고,
    상기 제어부는,
    상기 수신된 뇌파 및 생체 신호에 기초하여 상기 사용자의 감정 및 집중도 중 적어도 하나를 판단하는, 사용자 단말 장치.
  7. 제1항에 있어서,
    상기 사용자의 뇌파 및 생체 변화를 센싱하기 위한 감지부;를 더포함하고,
    상기 사용자 단말 장치는, 상기 사용자의 신체에 착용 또는 부착이 가능한 웨어러블(wearable) 디바이스인, 사용자 단말 장치.
  8. 사용자 단말 장치의 제어 방법에 있어서,
    사용자의 생체 변화를 센싱한 생체 신호를 전달받는 단계;
    상기 생체 신호에 기초하여 상기 사용자의 상태를 판단하는 단계; 및
    상기 판단 결과에 기초하여 상기 사용자 단말 장치의 디스플레이부에 표시된 각 아이콘의 표시 위치를 변경하는 단계;를 포함하는, 제어 방법.
  9. 제8항에 있어서,
    상기 변경하는 단계는,
    상기 사용자의 상태가 기설정된 임계 조건 미만이면, 상기 사용자의 상태를 개선시키기 위한 어플리케이션의 아이콘을, 상기 디스플레이부에서 제공되는 복수의 디스플레이 레이어 중에서 메인 레이어로 이동하여 표시하는, 제어 방법.
  10. 제9항에 있어서,
    상기 변경하는 단계는,
    사용자 상태 개선용으로 기설정된 어플리케이션, 사용 횟수가 상대적으로 높은 어플리케이션, 이전 사용 시에 사용자 상태가 개선되는 것으로 확인된 어플리케이션 중 적어도 하나의 어플리케이션을 상기 사용자의 상태를 개선시키기 위한 어플리케이션으로 선택하는, 제어 방법.
  11. 제9항에 있어서,
    상기 사용자의 상태를 개선시키기 위한 어플리케이션에서 제공하는 컨텐츠의 제공 순서를 상기 사용자의 상태 판단 결과에 따라 변경하는 단계;를 더 포함하는, 제어 방법.
  12. 제8항에 있어서,
    상기 사용자의 상태가 기설정된 임계 조건 미만이면, 상기 사용자의 상태를 개선시키기 위한 이미지를 상기 디스플레이부에 표시되는 배경 화면 및 잠금 화면 중 적어도 하나로 표시하는 단계;를 더 포함하는, 제어 방법.
  13. 제8항에 있어서,
    상기 사용자의 상태는,
    상기 사용자의 감정 및 집중도 중 적어도 하나이고,
    상기 판단하는 단계는,
    상기 수신된 뇌파 및 생체 신호에 기초하여 상기 사용자의 감정 및 집중도 중 적어도 하나를 판단하는, 제어 방법.
  14. 제8항에 있어서,
    상기 사용자의 뇌파 및 생체 변화를 센싱하는 단계;를 더 포함하고,
    상기 사용자 단말 장치는, 상기 사용자의 신체에 착용 또는 부착이 가능한 웨어러블 디바이스인, 제어 방법.
KR1020160049321A 2016-04-22 2016-04-22 뇌파 및 생체 신호에 따라 동작하는 사용자 단말 장치 및 그 제어 방법 KR20170122305A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160049321A KR20170122305A (ko) 2016-04-22 2016-04-22 뇌파 및 생체 신호에 따라 동작하는 사용자 단말 장치 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160049321A KR20170122305A (ko) 2016-04-22 2016-04-22 뇌파 및 생체 신호에 따라 동작하는 사용자 단말 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20170122305A true KR20170122305A (ko) 2017-11-06

Family

ID=60384229

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160049321A KR20170122305A (ko) 2016-04-22 2016-04-22 뇌파 및 생체 신호에 따라 동작하는 사용자 단말 장치 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR20170122305A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020145806A1 (ko) * 2019-01-08 2020-07-16 이정용 생체전기신호의 무선 송수신장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020145806A1 (ko) * 2019-01-08 2020-07-16 이정용 생체전기신호의 무선 송수신장치 및 방법

Similar Documents

Publication Publication Date Title
US10366778B2 (en) Method and device for processing content based on bio-signals
US10854103B2 (en) Modular wearable device for conveying affective state
KR101809131B1 (ko) 웨어러블 디바이스 및 그것의 동작방법
TWI778935B (zh) 電子裝置、藉由電子裝置測量生物徵像的方法以及非暫時性電腦可讀取媒體
Gürkök et al. Brain–computer interfaces for multimodal interaction: a survey and principles
Cernea et al. A survey of technologies on the rise for emotion-enhanced interaction
KR102361026B1 (ko) 생체신호 측정 장치
US20150351681A1 (en) Monitoring a driver of a vehicle
AU2016370291A1 (en) Drowsiness onset detection
KR20150112621A (ko) 이동 단말기 및 그것의 제어 방법
KR20160024627A (ko) 전자 장치 및 전자 장치에서 수면 모니터링 방법
KR20180055660A (ko) 전자 장치 및 그 제어 방법
US20210096646A1 (en) Creation of optimal working, learning, and resting environments on electronic devices
US20170112445A1 (en) Heart Rate Detection with Multi-Use Capacitive Touch Sensors
KR20170122305A (ko) 뇌파 및 생체 신호에 따라 동작하는 사용자 단말 장치 및 그 제어 방법
JP6721718B2 (ja) 睡眠中の脳活動を監視することなく睡眠必要性消失を判定するシステムおよび方法
AU2016201929A1 (en) System and method for modifying display of augmented reality content
Liu et al. Facing a trend of icon simplicity: Evidence from event-related potentials
CN108837271B (zh) 电子装置、提示信息的输出方法及相关产品
JPWO2019225244A1 (ja) 生体信号取得用電極、生体信号取得用電極対及び生体信号測定システム
Matthies Reflexive interaction-extending peripheral interaction by augmenting humans
TWI670095B (zh) 智慧型睡眠輔助系統及其方法
US11224347B2 (en) Biometric information measurement system and biometric information measurement apparatus
KR20230069804A (ko) 수면 모니터링 장치 및 그 동작 방법
JP2021159527A (ja) 不安障害緩和システム、及び、不安障害緩和方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment