KR102191966B1 - 디스플레이 장치 제어 방법 및 장치 - Google Patents

디스플레이 장치 제어 방법 및 장치 Download PDF

Info

Publication number
KR102191966B1
KR102191966B1 KR1020130114687A KR20130114687A KR102191966B1 KR 102191966 B1 KR102191966 B1 KR 102191966B1 KR 1020130114687 A KR1020130114687 A KR 1020130114687A KR 20130114687 A KR20130114687 A KR 20130114687A KR 102191966 B1 KR102191966 B1 KR 102191966B1
Authority
KR
South Korea
Prior art keywords
user
display device
stimulus
selection menu
stimulation
Prior art date
Application number
KR1020130114687A
Other languages
English (en)
Other versions
KR20140133767A (ko
Inventor
김미영
오은미
황보민수
황태호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/273,870 priority Critical patent/US9996154B2/en
Publication of KR20140133767A publication Critical patent/KR20140133767A/ko
Application granted granted Critical
Publication of KR102191966B1 publication Critical patent/KR102191966B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Abstract

사용자 환경에 대한 정보를 이용하여 사용자에게 자극을 제시하고, 제시된 자극에 대한 사용자의 뇌전도 신호를 획득하고, 획득된 뇌전도 신호에 기초하여 디스플레이 장치를 제어하는 방법 및 장치가 제공된다.
본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법 및 장치에 의하면, 사용자 환경에 대한 정보에 따라 적합한 자극을 제시함으로써, 사용자가 보다 편리하게 디스플레이 장치를 제어할 수 있고, 사용자의 의도에 따라 높은 정확도로 디스플레이 장치를 제어할 수 있다.

Description

디스플레이 장치 제어 방법 및 장치{APPARATUS AND METHOD FOR CONTROLLING DISPLAY APPARATUS}
본 발명은 디스플레이 장치를 제어하는 방법 및 장치에 관한 것으로서, 보다 상세하게는, 사용자의 뇌파와 연동하여 디스플레이 장치를 제어하는 방법 및 장치에 관한 것이다.
다양한 형태의 디스플레이 장치 (예를 들어, TV 세트, 휴대폰, PDA (Personal Digital Assistants 및 이와 유사한 것 등) 가 개발됨에 따라, 사용자는 일상 생활에서 디스플레이 장치를 조작해야 하는 상황과 자주 마주치게 된다. 디스플레이 장치를 조작하는 일반적인 방법에 있어서, 사용자는 버튼, 스위치, 휠 등의 입력 수단을 통해 입력 명령을 입력한다. 이 때, 사용자는, 입력 수단을 조작하기 위해서 손을 이용한다.
도 1 에는, 디스플레이 장치의 일례로서 TV 가 도시된다. 도 1 에 도시된 바와 같이, 사용자 (105) 는 손을 이용해 리모콘 (20) 에 포함되는 버튼을 누름으로써, TV (10) 를 제어할 수 있다. 사용자 (105) 는 리모콘 (20)을 통해 채널 전환, 볼륨 조절, 및 화면 밝기 조절 등의 기본적인 제어 명령을 TV (10) 로 입력할 수 있다.
그러나, 사용자가 예를 들어, 가사, 아이 돌보기, 운전 등과 같은 작업을 위해 양 손을 모두 사용하고 있는 경우, 손을 이용하여 디스플레이 장치에 대한 입력 명령을 입력하는데 매우 어려움이 발생한다.
또한, 스마트 TV 와 같이 많은 기능을 포함하는 TV 가 개발됨에 따라, 사용자는 TV 가 제공하는 다양한 기능, 예를 들어, 인터넷, 소셜 네트워크 서비스(Social Networking Service, 이하 SNS), 게임 등을 이용하기 위한 제어 명령을 디스플레이 장치로 입력할 필요가 있다.
이러한 필요에 따라, 디스플레이 장치를 제어하기 위한 방법 및 장치는 다기능화, 및 고도화 되고 있는 추세이다.
따라서, 사용자가 디스플레이 장치를 보다 손쉽게 제어할 수 있는 기술의 개발이 요구된다.
이에 대한 해답으로서, 최근 사용자의 생체 신호를 이용하여 디스플레이 장치를 제어하는 방법이 개발되었다. 특히, 사용자의 생체 신호 중에서 사용자의 뇌전도 (EEG: Electroencephalography) 신호를 분석하여, 사용자의 생각이나 감정을 판단하는 기술에 대한 연구가 활발히 진행되고 있다.
본 발명의 일 실시예는, 사용자가 보다 편리하게 디스플레이 장치를 제어할 수 있는 디스플레이 장치 제어 방법 및 장치를 제공한다.
또한, 본 발명의 일 실시예는, 사용자 환경에 대한 정보에 따라 사용자에게 적합한 자극을 결정하고 제시함으로써, 사용자의 의도에 따라 높은 정확도로 동작하고, 뇌전도 신호 검출을 위한 자극으로 인하여 사용자가 느끼는 피로도를 감소시킬 수 있는 디스플레이 장치 제어 방법 및 장치를 제공한다.
본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법은, 사용자 환경에 대한 정보를 이용하여 사용자에게 제시할 자극을 결정하는 단계; 상기 사용자에게 상기 자극을 제시하는 단계; 상기 자극에 대한 상기 사용자의 뇌전도 (electroencephalogram; EEG) 신호를 획득하는 단계; 및 상기 뇌전도 신호에 기초하여 디스플레이 장치를 제어하는 단계를 포함한다.
본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법에 있어서, 상기 사용자 환경에 대한 정보는, 상기 디스플레이 장치와 상기 사용자 사이의 거리, 상기 디스플레이 장치 주변의 조도, 및 사용자 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법에 있어서, 상기 자극을 결정하는 단계는, 상기 사용자의 어떠한 신체 감각에 의해 인식되는 자극을 제시할지 결정하는 단계; 및 자극 파라미터를 결정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법에 있어서, 상기 자극을 결정하는 단계는, 상기 디스플레이 장치와 상기 사용자 사이의 거리가 소정 거리 이상일 경우, 상기 사용자에게 청각 자극을 제시할 것을 결정하는 단계; 및 상기 청각 자극의 주파수, 음압, 음색, 및 상기 사용자가 느끼는 청각 자극의 방향 중 적어도 하나를 포함하는 자극 파라미터를 결정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법에 있어서, 상기 자극은 시각 자극을 포함하고, 상기 자극을 결정하는 단계는, 상기 디스플레이 장치의 화면 상에서 상기 시각 자극의 표시 위치, 상기 시각 자극의 밝기, 상기 시각 자극의 형태, 상기 시각 자극의 색, 상기 시각 자극의 지속 시간, 및 상기 시각 자극의 반복 횟수 중 적어도 하나를 포함하는 자극 파라미터를 결정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법에 있어서, 상기 시각 자극을 제시하는 단계는, 상기 디스플레이 장치의 화면상에 적어도 하나의 선택 메뉴를 디스플레이하는 단계; 및 소정 횟수와 간격에 따라 임의의 순서로 상기 적어도 하나의 선택 메뉴에 포함되는 각 선택 메뉴를 강조 표시 (highlight) 하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법에 있어서, 상기 선택 메뉴를 강조 표시하는 단계는, 상기 선택 메뉴의 테두리의 적어도 일부분의 밝기가 변경되거나 상기 선택 메뉴의 표시 위치가 변경되도록 표시하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법에 있어서, 상기 디스플레이 장치를 제어하는 단계는, 상기 뇌전도 신호에 기초하여 상기 적어도 하나의 선택 메뉴 중에 적어도 하나를 선택하고 실행하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법에 있어서, 상기 디스플레이 장치를 제어하는 단계는, 상기 뇌전도 신호에 기초하여 상기 사용자가 수면 상태에 있는 경우로 판단되면, 상기 디스플레이 장치의 전원을 끄는 단계를 포함할 수 있다.본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법에 있어서, 상기 자극을 제시하는 단계는, 상기 사용자의 뇌전도 신호를 이용하여 상기 사용자의 정신 상태 (mental state) 및 상기 사용자의 눈 동작 중 적어도 하나를 감지하는 단계; 및 상기 정신 상태 및 상기 눈 동작 중 적어도 하나에 기초하여 상기 디스플레이 장치의 화면 상에 적어도 하나의 선택 메뉴를 디스플레이하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법에 있어서, 상기 시각 자극을 제시하는 단계는, 상기 디스플레이 장치 상에 디스플레이 된 적어도 하나의 선택 메뉴에 대한 시각 자극을 제시하는 단계를 포함하고, 상기 디스플레이 장치를 제어하는 단계는, 복수의 알고리즘을 이용하여 상기 적어도 하나의 선택 메뉴 중에 어떠한 선택 메뉴에 대해 상기 사용자가 반응하였는지 판단하는 단계; 및 상기 판단된 결과에 기초하여 상기 적어도 하나의 선택 메뉴 중에 적어도 하나를 선택하고 실행하는 단계를 포함할 수 있다.
한편, 본 발명의 일 실시예에 따른 디스플레이 제어 장치는, 사용자 환경에 대한 정보를 이용하여 사용자에게 제시할 자극을 결정하는 자극자극 결정부; 상기 사용자에게 상기 자극을 제시하는 자극 제시부; 상기 자극에 대한 상기 사용자의 뇌전도 신호를 획득하는 신호 획득부; 및 상기 뇌전도 신호에 기초하여 디스플레이 장치를 제어하는 제어부를 포함한다.
본 발명의 일 실시예에 따른 디스플레이 제어 장치에 있어서, 상기 사용자 환경에 대한 정보는, 상기 디스플레이 장치와 상기 사용자 사이의 거리, 상기 디스플레이 장치 주변의 조도, 및 사용자 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 제어 장치에 있어서, 상기 자극 결정부는, 상기 사용자의 어떠한 신체 감각에 의해 인식되는 자극을 제시할지 결정하고, 자극 파라미터를 결정할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 제어 장치에 있어서, 상기 자극 결정부는, 상기 디스플레이 장치와 상기 사용자 사이의 거리가 소정 거리 이상일 경우, 상기 사용자에게 청각 자극을 제시할 것을 결정하고, 상기 청각 자극의 주파수, 음압, 음색, 및 상기 사용자가 느끼는 청각 자극의 방향 중 적어도 하나를 포함하는 자극 파라미터를 결정할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 제어 장치에 있어서, 상기 자극은 시각 자극을 포함하고, 상기 자극 결정부는, 상기 디스플레이 장치의 화면 상에서 상기 시각 자극의 표시 위치, 상기 시각 자극의 밝기, 상기 시각 자극의 형태, 상기 시각 자극의 색, 상기 시각 자극의 지속 시간, 및 상기 시각 자극의 반복 횟수 중 적어도 하나를 포함하는 자극 파라미터를 결정할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 제어 장치에 있어서, 상기 자극 제시부는, 상기 디스플레이 장치의 화면 상에 적어도 하나의 선택 메뉴를 디스플레이하고, 소정 횟수와 간격에 따라 임의의 순서로 상기 적어도 하나의 선택 메뉴에 포함되는 각 선택 메뉴를 강조 표시할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 제어 장치에 있어서, 상기 자극 제시부는, 상기 선택 메뉴의 테두리의 적어도 일부분의 밝기가 변경되거나 상기 선택 메뉴의 표시 위치가 변경되도록 상기 선택 메뉴를 강조 표시할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 제어 장치에 있어서, 상기 제어부는, 상기 뇌전도 신호에 기초하여 상기 적어도 하나의 선택 메뉴 중에 적어도 하나를 선택하고 실행할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 제어 장치에 있어서, 상기 제어부는, 상기 뇌전도 신호에 기초하여 상기 사용자가 수면 상태에 있는 경우로 판단되면, 상기 디스플레이 장치의 전원을 끌 수 있다.
본 발명의 일 실시예에 따른 디스플레이 제어 장치에 있어서, 상기 자극 제시부는, 상기 사용자의 뇌전도 신호를 이용하여 상기 사용자의 정신 상태 및 상기 사용자의 눈 동작 중 적어도 하나를 감지하고, 상기 정신 상태 및 상기 눈 동작 중 적어도 하나에 기초하여 상기 디스플레이 장치의 화면 상에 적어도 하나의 선택 메뉴를 디스플레이할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 제어 장치에 있어서, 상기 자극 제시부는, 상기 디스플레이 장치 상에 디스플레이된 적어도 하나의 선택 메뉴에 대한 시각 자극을 제시하고, 상기 제어부는, 복수의 알고리즘을 이용하여 상기 적어도 하나의 선택 메뉴 중에 어떠한 선택 메뉴에 대해 상기 사용자가 반응하였는지 판단하고, 상기 판단된 결과에 기초하여 상기 적어도 하나의 선택 메뉴 중에 적어도 하나를 선택하고 실행할 수 있다.
한편, 본 발명의 일 실시예에 따른, 디스플레이 장치를 제어하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 기록매체에 있어서, 상기 방법은, 사용자 환경에 대한 정보를 이용하여 사용자에게 제시할 자극을 결정하는 단계; 상기 사용자에게 상기 자극을 제시하는 단계; 상기 자극에 대한 상기 사용자의 뇌전도 신호를 획득하는 단계; 및 상기 뇌전도 신호에 기초하여 디스플레이 장치를 제어하는 단계를 포함할 수 있다.
도 1 은 종래의 디스플레이 장치 제어 방법을 설명하기 위한 도면이다.
도 2 는 디스플레이 장치를 제어하기 위한 본 발명의 일 실시예에 따른 디스플레이 제어 장치를 설명하기 위한 개념도이다.
도 3 은 본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법을 설명하기 위한 흐름도이다.
도 4 는 본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법에 있어서, 시각 자극을 생성하는 방법을 설명하기 위한 흐름도이다.
도 5a 및 도 5b 는 본 발명의 일 실시예에 따른 디스플레이 제어 방법에 따라 디스플레이되는 화면의 일례를 설명하기 위한 도면이다.
도 6 은 본 발명의 일 실시예에 따른 디스플레이 제어 방법에 따라 디스플레이되는 시각 자극의 일례를 설명하기 위한 도면이다.
도 7 은 본 발명의 일 실시예에 따른 디스플레이 제어 장치를 설명하기 위한 블록도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, “디스플레이 장치” 란, 사용자에게 화면을 디스플레이할 수 있는 모든 장치를 의미한다. 구체적으로, 디스플레이 장치는 노트북, 넷북 또는 태블릿 PC 등과 같은 휴대용 컴퓨터, 스마트 폰 또는 PDA 와 같은 휴대용 단말기, TV 등과 같이 디스플레이 부를 통하여 화면(screen)을 출력할 수 있는 모든 전자기기를 포함할 수 있다.
“뇌전도 신호” 란, 신경계 (nervous system) 에서 뇌신경 사이에 신호가 전달될 때 생기는 전기의 흐름을 의미한다. 본 명세서에서 뇌전도 신호는 뇌파와 동일한 의미로 사용될 수 있다. 뇌전도 신호는, 심신의 상태에 따라 다르게 나타나며 뇌의 활동 상황을 측정하기 위한 가장 중요한 지표이다.
뇌전도 신호는, 두피에 부착된 복수의 센서들을 통해 감지되며, 각 센서들은 뇌전도 신호를 수신하는 채널이 될 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
뇌전도 신호를 이용하여 디스플레이 장치를 제어하는데 있어서, 사용자의 관심을 끄는 소정 자극에 대해 발생하는 사건 관련 전위 (ERP: Event-related potential) 를 이용하여 사용자의 의도를 파악하고 디스플레이 장치를 제어하는 방식이 이용될 수 있다.
예를 들어, 사용자가 자극을 받은 후 약 300ms 이후에 검출되는 사건 관련 전위인 P3 성분을 검출하고, 검출된 P3 성분을 이용하여 사용자의 의도를 판단하고, 판단된 사용자의 의도에 기초하여 디스플레이 장치를 제어하는 방식이 이용될 수 있다. 이러한 제어 방식은, 뇌전도 신호로부터 P3 성분을 검출하기 전에 사용자에 대해 디스플레이 제어 장치의 교정 (calibration) 을 수행할 수 있다.
디스플레이 제어 장치의 교정이란, 사용자의 실제 의도와 뇌전도 신호에 기초하여 판단된 사용자의 의도가 높은 정확도로 부합하도록 P3 성분 검출 방법을 조정 (adjustment) 하는 것을 의미한다. P3 성분 검출 방법을 조정하기 위해서는, 다양한 자극에 대한 P3 성분과 해당 자극 간의 상관 관계를 정의하여 데이터 베이스에 저장하고, 해당 자극에 대한 P3 성분 검출 시 미리 저장된 데이터 베이스를 이용하는 방법이 이용될 수 있다.
예를 들어, 디스플레이 제어 장치의 교정 동작은, 사용자로부터 시각 자극에 의한 P3 성분을 검출하기 전에 시각 이외의 추가적인 자극을 제시함으로써, 시각 이외의 추가적인 자극에 의해 발생하는 사건 관련 전위를 이용하여 디스플레이 제어 장치를 교정할 수 있다.
한편, 디스플레이 제어 장치가 사용자에게 제시되는 자극에 대한 뇌전도 신호를 이용하여 디스플레이 장치를 제어함에 있어서, 사용자 환경에 따라 뇌전도 신호로부터 디스플레이 장치 제어의 정확도가 달라질 수 있다.
디스플레이 장치 제어의 정확도란, 사용자의 실제 의도와, 뇌전도 신호에 기초하여 판단된 사용자의 의도가 일치하는 정도를 의미한다. 즉, 사용자의 실제 의도대로 디스플레이 장치가 제어되는 정확도를 의미한다.
따라서, 디스플레이 장치 제어의 정확도를 높이기 위해서 디스플레이 제어 장치는, 사용자 환경을 고려할 필요가 있다. 예를 들어, TV 와 같은 디스플레이 장치의 경우, 사용자와 TV 사이의 거리에 따라 디스플레이 장치 제어의 정확도가 많은 영향을 받을 수 있다. 예를 들어, TV 화면을 통해 사용자에게 시각 자극을 제시하고, 시각 자극에 대한 뇌전도 신호를 이용하여 TV 를 제어하는데 있어서, TV 로부터 일반적인 TV 시청 거리인 3m 떨어져 있는 사용자로부터 획득된 뇌전도 신호를 이용하여 TV 를 제어하는 것과, TV 로부터 1m 또는 5m 떨어져 있는 사용자로부터 획득된 뇌전도 신호를 이용하여 TV 를 제어하는 것은 제어의 정확도가 차이가 발생한다.
따라서, 디스플레이 장치 제어의 정확도를 높이기 위해서는, 디스플레이 장치와 사용자 사이의 거리와 같은 사용자 환경에 대한 정보에 따라, 사용자에게 제시되는 자극 및 화면 구성을 변화시키는 것이 요구된다.
본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법 및 장치는, 자극에 대한 사용자의 뇌파 반응을 잘 유도하기 위해, 사용자의 주변 환경, 사용자의 뇌파 반응 특성, 및 사용자 선호도 중 적어도 하나에 기초하여 자극이 제시되는 조건을 조정할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법 및 장치에 의하면, 사용자 환경에 대한 정보를 이용하여 사용자에게 제시될 자극을 결정하고, 결정된 자극에 대한 뇌전도 신호에 기초하여 디스플레이 장치를 제어함으로써, 디스플레이 장치 제어의 정확도를 높일 수 있다.
이하에서는, 본 발명의 일 실시예에 따른 디스플레이 제어 장치 (200) 에 대해서 도 2 를 참조하여 자세히 살펴보기로 한다. 도 2 는 디스플레이 장치를 제어하기 위한 본 발명의 일 실시예에 따른 디스플레이 제어 장치를 설명하기 위한 개념도이다.
도 2 에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디스플레이 제어 장치 (200) 는, 사용자 (105) 의 뇌로부터 획득되는 뇌전도 (EEG: Electroencephalography) 신호를 활용하여 디스플레이 장치 (10) 를 제어한다.
뇌전도 신호는 사용자 (105) 의 머리 상에 부착되는 센서를 통해 획득되고, 디스플레이 제어 장치 (200) 로 유선 또는 무선으로 전송될 수 있다. 디스플레이 제어 장치 (200) 는, 사용자 (105) 로부터 획득된 뇌전도 신호를 분석함으로써, 디스플레이 장치 (10) 를 제어하고자 하는 사용자 (105) 의 의도를 판단하고, 판단된 결과에 기초하여 디스플레이 장치 (10) 를 제어한다.
디스플레이 제어 장치 (200) 와 디스플레이 장치 (10) 는 유, 무선으로 연결될 수 있다. 또한, 디스플레이 제어 장치 (200) 와 디스플레이 장치 (10) 는 도 2 에 도시된 바와 달리 물리적으로 분리되어 있지 않고 통합된 형태일 수 있다.
본 발명의 일 실시예에 따른 디스플레이 제어 장치 (200) 에 의해 디스플레이 장치 (10) 를 제어하는 방법은, 사용자 환경에 대한 정보를 고려하여 자극을 결정하고, 결정된 자극을 제시하고, 제시된 자극에 대한 사용자의 뇌전도 신호를 분석함으로써 디스플레이 제어 장치 (200) 의 정확도를 높일 수 있다.
사용자 환경에 대한 정보는, 예를 들어, 디스플레이 장치와 사용자 사이의 거리, 디스플레이 장치 주변의 조도, 사용자 주변의 조도, 및 시각 자극에 대한 사용자의 민감도 등을 포함할 수 있으나, 이에 한정되지 않는다.
본 발명의 일 실시예에 따른 디스플레이 장치 (10) 를 제어하는 방법은, 사용자 환경에 대한 정보를 고려하여 사용자의 오감 중에서 어떠한 신체 감각에 의해 인식되는 자극을 제시할지 결정할 수 있다. 사용자에게 제시되는 자극은, 시각, 청각, 촉각, 미각, 및 후각 중 적어도 하나에 대한 자극을 포함할 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 디스플레이 제어 장치 (200) 는, 사용자가 디스플레이 장치의 화면으로부터 소정 거리 이상 멀리 떨어져 있어 디스플레이 장치가 제시하는 시각 자극을 제시받기 어려운 경우, 청각 자극을 제시하는 방식 또는 수의 운동의 심상 (imagery of voluntary movement) 을 감지하는 방식 등을 이용할 수 있다.
수의 운동의 심상을 감지하는 방식이란, 사용자가 상상하는 동작을 검출하는 뇌-컴퓨터 인터페이스 (Brain Computer Interface; BCI) 방식 중의 하나이다. 예를 들어, 디스플레이 제어 장치 (200) 는, 왼쪽 손을 들고자 하는 사용자의 심상에 기초하여 디스플레이 장치 (10) 에 디스플레이된 메뉴 중 가장 왼쪽 메뉴를 실행하도록 디스플레이 장치 (10) 를 제어할 수 있다.
또한, 본 발명의 일 실시예에 따른 디스플레이 장치 (10) 를 제어하는 방법은, 사용자 환경에 대한 정보를 고려하여, 자극 파라미터를 결정할 수 있다. 예를 들어, 자극이 청각 자극을 포함하는 경우, 자극 파라미터는, 청각 자극의 주파수, 음압, 음색, 및 사용자가 느끼는 청각 자극의 방향 중 적어도 하나를 포함할 수 있다. 또한, 자극이 시각 자극을 포함하는 경우, 자극 파라미터는, 시각 자극의 밝기, 시각 자극의 형태, 시각 자극의 색, 시각 자극의 지속 시간, 및 시각 자극의 반복 횟수 등을 결정할 수 있으나, 이에 한정되지 않는다.
이하에서는, 본 발명의 일 실시예에 따른 디스플레이 제어 장치 (200) 가 디스플레이 장치 (10) 를 제어하는 방법에 대해서 도 3 을 참조하여 자세히 살펴보기로 한다.
도 3 은 본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법을 설명하기 위한 흐름도이다.
단계 S310 에서, 본 발명의 일 실시예에 따른 디스플레이 제어 장치 (200) 는, 사용자 환경에 대한 정보를 이용하여 사용자에게 제시할 자극을 결정한다.
디스플레이 제어 장치 (200) 는, 사용자 환경에 대한 정보를 이용하여 자극의 종류를 결정할 수 있다. 즉, 디스플레이 제어 장치 (200) 는, 자극의 종류로서, 사용자의 오감 중에서 어떠한 신체 감각에 의해 인식되는 자극을 제시할지 결정할 수 있다. 예를 들어, 디스플레이 제어 장치 (200) 는, 디스플레이 장치 (10) 를 통해 시각 자극을 제시하거나, 디스플레이 장치 (10) 에 포함되는 또는 별도의 헤드셋 또는 스피커 등에 의해 청각 자극을 제시할 수 있으나 이에 한정되지 않는다.
디스플레이 제어 장치 (200) 는, 시각 자극을 기본 자극으로서 사용자에게 제시하고, 사용자 환경에 대한 정보를 이용하여 사용자가 시각 자극을 제공받기 어렵다고 판단되는 경우, 청각 자극을 사용자에게 제시할 수 있다. 예를 들어, 디스플레이 장치와 사용자 사이의 거리가 소정 거리 이상일 경우, 디스플레이 제어 장치 (200) 는 청각 자극을 사용자에게 제시할 것을 결정할 수 있다.
또한, 디스플레이 제어 장치 (200) 는, 자극 파라미터를 결정할 수 있다. 자극 파라미터란, 자극의 세기, 자극의 지속 시간, 및 자극의 반복 횟수와 같이, 자극의 특정한 성질을 나타내는 값을 의미한다.
일 예로서, 청각 자극에 대한 파라미터는, 청각 자극으로서 사용자에게 제시되는 소리의 주파수, 음압, 음색, 및 사용자가 느끼는 소리의 방향 중 적어도 하나를 포함할 수 있다. 디스플레이 제어 장치 (200) 는 사용자의 좌이와 우이에 세기 및 시간이 각각 다른 소리를 제시함으로써, 사용자가 특정 방향에 위치한 음원으로부터 소리가 전달된 듯한 느낌을 받도록 할 수 있다.
다른 예로서, 시각 자극에 대한 파라미터는, 디스플레이 장치 (10) 의 화면 상에서 시각 자극의 표시 위치, 시각 자극의 밝기, 시각 자극의 형태, 시각 자극의 색, 시각 자극의 지속 시간, 및 시각 자극의 반복 횟수 중 적어도 하나를 포함할 수 있다.
이 때, 사용자 환경에 대한 정보는, 디스플레이 장치 (10) 와 사용자 간의 거리, 디스플레이 장치 (10) 주변의 조도, 사용자 주변의 조도 및 사용자 정보 중 적어도 하나를 포함할 수 있다.
사용자 정보는, 사용자 별로 소정의 자극에 대해 민감하게 반응하는 정도, 피로도를 느끼는 정도, 특정 사용자에 대해서 미리 결정된 자극 파라미터 등을 포함할 수 있다.
사용자 정보의 일 예로서, 디스플레이 제어 장치 (200) 는, 사용자 별 뇌전도 신호 특성을 이용할 수 있다.
디스플레이 제어 장치 (200) 는, 과거에 획득된 뇌전도 신호들로부터 사용자 별 뇌전도 신호 특성을 결정할 수 있다. 디스플레이 제어 장치 (200) 는, 각 사용자와 해당 사용자에 대해 결정된 뇌전도 신호 특성을 미리 매핑하여 저장할 수 있다. 예를 들어, 디스플레이 제어 장치 (200) 는, 사용자가 과거에 강하게 반응하였던 자극의 종류 또는 자극 파라미터를 해당 사용자의 뇌전도 신호 특성으로서 미리 저장할 수 있다.
디스플레이 제어 장치 (200) 는 사용자를 식별하고, 식별된 사용자에 대해 매핑된 뇌전도 신호 특성을 이용하여 자극의 종류를 결정하거나 자극 파라미터를 결정할 수 있다.
또한, 사용자 정보의 다른 예로서, 디스플레이 제어 장치 (200) 는, 사용자 별로 미리 저장된 자극 파라미터를 이용할 수 있다.
디스플레이 제어 장치 (200) 는, 사용자로부터, 해당 사용자에 대한 자극 파라미터를 입력 받을 수 있다. 즉, 사용자는 피로도를 가장 적게 느끼는 자극 파라미터를 미리 설정해둠으로써, 디스플레이 제어 장치 (200) 를 이용함으로써 느끼는 자극에 의한 피로도를 최소화할 수 있다.
디스플레이 제어 장치 (200) 는, 각 사용자와 해당 사용자에 대한 자극 파라미터를 미리 매핑하여 저장할 수 있다. 디스플레이 제어 장치 (200) 는 사용자를 식별하고, 식별된 사용자에 대해 미리 저장된 자극 파라미터를 사용자 정보로서 이용할 수 있다.
단계 S320 에서, 본 발명의 일 실시예에 따른 디스플레이 제어 장치 (200) 는, 단계 S310 에서 결정된 자극을 사용자에게 제시한다.
디스플레이 제어 장치 (200) 는, 결정된 자극의 종류 및 자극 파라미터에 기초하여 자극을 생성하고, 생성된 자극을 디스플레이 (10) 장치 또는 별도의 장치를 통해 사용자에게 제시 (present) 할 수 있다.
시각 자극에 대한 사용자의 뇌전도 신호를 이용하는 경우, 먼저, 디스플레이 제어 장치 (200) 는 디스플레이 장치 (10) 상에 적어도 하나의 선택 메뉴를 디스플레이 할 수 있다. 사용자는 디스플레이 장치 (10) 상에 디스플레이 된 적어도 하나의 선택 메뉴를 선택함으로써 디스플레이 장치 (10) 를 조작 (manipulate) 할 수 있다.
예를 들어, 적어도 하나의 선택 메뉴는, 적어도 하나의 TV 채널과 관련된 메뉴를 포함할 수 있다. TV 채널과 관련된 메뉴는, TV 채널을 바꿀 수 있는 사용자 인터페이스, 예를 들어, 화살표, 또는 숫자 패드 등으로 채널 전환 명령을 입력하거나 채널에 대응되는 숫자를 입력할 수 있는 인터페이스, 또는 복수의 TV 채널에 대응되는 영상을 포함하는 아이콘들을 포함할 수 있다. 예를 들어, 사용자는 TV 상에 디스플레이되는 적어도 하나의 TV 채널과 관련된 메뉴를 선택함으로써 TV 채널을 전환할 수 있다.
다음으로, 디스플레이 제어 장치 (200) 는, 소정 횟수와 간격에 따라 소정 순서에 따라, 적어도 하나의 선택 메뉴에 포함되는 각 선택 메뉴를 강조 표시 (highlight) 함으로써 사용자에게 시각 자극을 제시할 수 있다. 선택 메뉴를 강조 표시하는 횟수와 간격은 사용자의 입력에 의해 미리 결정되거나, 디스플레이되는 선택 메뉴들의 종류 또는 갯수에 따라 미리 저장될 수 있다. 각 선택 메뉴가 강조 표시되는 소정 순서는, 미리 저장된 순서이거나, 랜덤하게 결정된 순서일 수 있다.
예를 들어, 디스플레이 제어 장치 (200) 는, 선택 메뉴를 강조 표시하기 위해서, 선택 메뉴의 테두리의 적어도 일부분의 밝기가 변경되거나 선택 메뉴의 표시 위치가 변경되거나 또는 선택 메뉴의 모양 또는 색상이 변경되도록, 디스플레이 장치 (10) 상에 선택 메뉴를 디스플레이 할 수 있다.
시각 자극을 제시하는 방법과 관련하여서는, 후에 도 4 를 참조하여 보다 구체적으로 살펴보도록 한다.
청각 자극에 대한 사용자의 뇌전도 신호를 이용하는 경우, 디스플레이 제어 장치 (200) 는 디스플레이 장치 (10) 상에 적어도 하나의 선택 메뉴에 대응되는 소리를 생성할 수 있다. 사용자는 디스플레이 장치 (10) 에 의해 제시된 적어도 하나의 선택 메뉴에 대응되는 소리에 반응함으로써, 적어도 하나의 선택 메뉴를 선택하고, 디스플레이 장치 (10) 를 조작 (manipulate) 할 수 있다. 각 선택 메뉴에 대응되는 소리는, 서로 다른 청각 자극 파라미터를 갖는 소리일 수 있다. 예를 들어, 선택 메뉴가 TV 채널을 선택하기 위한 메뉴인 경우, 각 선택 메뉴에 대응되는 소리는, 각 선택 메뉴에 대응되는 TV 채널을 통해 방송되는 소리를 포함할 수 있다.
단계 S330 에서, 본 발명의 일 실시예에 따른 디스플레이 제어 장치 (200) 는, 단계 S320 에서 제시된 자극에 대한 사용자의 뇌전도 신호를 획득한다.
디스플레이 제어 장치 (200) 는 사용자의 두피에서 감지되는 뇌전도 신호를 획득할 수 있다. 디스플레이 제어 장치 (200) 는 사용자의 두피에 부착되어 뇌전도 신호를 획득하는 복수의 센싱 모듈을 포함할 수 있다.
뇌전도 신호는, 사용자의 두피에 부착되는 복수의 센싱 모듈 각각에 대응하는 복수의 채널을 통해 획득될 수 있다. 예를 들어, 획득되는 뇌전도 신호는, 시각 자극이 제시된 후 약 300ms 이후에 검출되는 사건 관련 전위인 P3 성분을 포함할 수 있다.
디스플레이 제어 장치 (200) 는, 사용자가 선택 의도를 가지고 특정 선택 메뉴에 집중하는 경우, 특정 선택 메뉴에 대해 제시된 시각 자극에 대한 사용자의 뇌전도 신호를 획득할 수 있다.
예를 들어, 디스플레이 제어 장치 (200) 는, 디스플레이 장치 (10) 를 통해, 적어도 하나의 선택 메뉴 및 각 선택 메뉴에 대한 시각 자극을 디스플레이하면, 사용자는 적어도 하나의 선택 메뉴 중에서 선택하고자 하는 선택 메뉴에 집중하게 된다. 디스플레이 제어 장치 (200) 는, 제시되는 시각 자극에 동기화하여, 하나 이상의 채널로부터 수신되는 뇌전도 신호를 획득할 수 있다.
단계 S340 에서, 본 발명의 일 실시예에 따른 디스플레이 제어 장치 (200) 는, 단계 S330 에서 획득된 뇌전도 신호에 기초하여 디스플레이 장치 (10) 를 제어한다.
디스플레이 장치 (10) 를 제어하기 위해서, 디스플레이 제어 장치 (200) 는, 획득된 뇌전도 신호를 전처리 하고, 전처리 된 뇌전도 신호로부터 사용자가 반응을 보인 시각 자극을 판단하는 과정을 거칠 수 있다.
예를 들어, 디스플레이 제어 장치 (200) 는, 획득된 뇌전도 신호를 다음과 같이 전처리 할 수 있다. 먼저, 디스플레이 제어 장치 (200) 는, 획득된 뇌전도 신호에 대해서, 뇌전도 신호에 포함되어 있을 수 있는 다양한 노이즈를 제거하기 위해서 다양한 필터링을 적용할 수 있다.
일 예로서, 획득된 뇌전도 신호에 대해서, 특정한 임계 주파수, 예를 들어, 0.5~20Hz 이내의 신호만을 남기는 밴드 패스 필터링 (band pass filtering)을 실시할 수 있다.
또한, 다른 일 예로서, 디스플레이 제어 장치 (200) 는, 획득된 뇌전도 신호에 대해서, 평균 공통 기준 도출 (common average reference derivation), 라플라스 필터링 (Laplacian filtering), 독립 성분 분석 (Independent Component Analysis) 및 이와 유사한 필터링 방식을 적용할 수 있다.
다음으로, 디스플레이 제어 장치 (200) 는, 노이즈를 제거한 보정된 뇌전도 신호와 사용자에게 자극이 제시된 시점을 매칭시킴으로써, 자극이 제시된 시점으로부터 소정 시간 전후, 예를 들어, 자극이 제시되기 100ms 이전부터 자극이 제시된 후 300ms, 의 뇌전도 신호를 관심 영역 (ROI, region of interest) 뇌전도 데이터로서 획득한다.
디스플레이 제어 장치 (200) 는, 각 자극 별로 관심 영역 뇌전도 데이터가 얻어지게 되면, 제시된 자극에 따라 관심 영역 뇌전도 데이터를 비교한다. 디스플레이 제어 장치 (200) 는, 비교 결과에 기초하여, 사용자가 어떤 자극에 가장 강하게 반응했는지 판단한다.
사용자가 어떤 자극에 가장 강하게 반응했는지는, 자극에 대한 사건 관련 전위를 분석함으로써 판단될 수 있다. 특히, 사용자의 신체 감각에 의해 인식되는 자극과 관련된 사건 관련 전위를 분석하는데 있어서, 대표적으로 활용되는 P3, N2 등의 진폭의 크기 또는 출연 시점 (latency) 에 기초하여 사용자가 가장 강하게 반응한 자극을 판단할 수 있다.
디스플레이 제어 장치 (200) 는, 사용자가 어떤 자극에 가장 강하게 반응했는지 판단하기 위해서, 단일한 자극에 대한 관심 영역 뇌전도 데이터를 활용할 수 있다. 또한 정확도를 높이기 위하여, 동일한 종류의 자극을 반복적으로 제시함으로써 동일한 종류의 반복된 자극에 대한 관심 영역 뇌전도 데이터를 활용할 수도 있다.
한편, 디스플레이 제어 장치 (200) 는, 사용자 별로 누적된 사용자 별 뇌전도 신호 특성을 활용하여 관심 영역 뇌전도 데이터를 교정하는 동작을 추가적으로 수행할 수 있다.
사용자 별 뇌전도 신호 특성은, 사용자가 자극에 반응할 때 사건 관련 전위가 검출되는 채널, 검출되는 사건 관련 전위의 진폭 및 진폭 발생 시간 중 하나 이상을 포함할 수 있다.
디스플레이 제어 장치 (200) 는, 자극에 대한 사용자 별 뇌전도 신호 특성에 기초하여, 사용자가 목표로 하는 자극 (예를 들어, 선택하고자 하는 선택 메뉴에 대한 자극) 에 대해 반응할 때와 다른 자극에 대해 반응할 때의 뇌전도 신호를 학습할 수 있다. 따라서, 디스플레이 제어 장치 (200) 는, 미리 학습된 사용자 별 뇌전도 신호 특성을 이용하여 새롭게 획득된 뇌전도 신호를 분석함으로써, 해당 자극에 대해 사용자가 반응하였는지 여부를 판단할 수 있다.
디스플레이 제어 장치 (200) 는, 사용자의 뇌전도 신호에 기초하여 디스플레이 장치 (10) 상에 디스플레이 된 적어도 하나의 선택 메뉴 중에 적어도 하나를 선택하고 실행할 수 있다.
디스플레이 제어 장치 (200) 는, 디스플레이 장치 (10) 상에 디스플레이 된 적어도 하나의 선택 메뉴 중에 어떠한 선택 메뉴에 대해 사용자가 반응하였는지, 복수의 알고리즘을 이용하여 뇌전도 신호를 분석하여 결정할 수 있다. 사용자의 뇌전도 신호를 분석하는 알고리즘에는, 선형 판별 분석 (LDA: Linear Discriminant Analysis), 서포트 벡터 머신 (SVM: Support Vector Machine), 랜덤 포리스트 (Random Forest) 또는 이와 유사한 알고리즘이 이용될 수 있다.
디스플레이 제어 장치 (200) 는, 복수의 알고리즘을 이용하여 결정된 결과에 기초하여, 디스플레이 장치 (10) 상에 디스플레이 된 적어도 하나의 선택 메뉴 중에 적어도 하나를 선택할 수 있다.
디스플레이 제어 장치 (200) 는, 복수의 알고리즘에 포함되는 각각의 알고리즘을 이용하여, 디스플레이 장치 (10) 상에 디스플레이 된 적어도 하나의 선택 메뉴 중에 사용자가 반응한 선택 메뉴를 결정할 수 있다. 디스플레이 제어 장치 (200) 는, 복수의 알고리즘에 의해 결정된 결과를 종합하여, 사용자가 선택하려는 선택 메뉴를 최종적으로 결정할 수 있다.
예를 들어, 디스플레이 제어 장치 (200) 는, 복수의 알고리즘에 의해 결정된 결과에 따라, 가장 많이 선택된 선택 메뉴를 사용자가 선택하려는 선택 메뉴로서 최종적으로 결정할 수 있다. 또는, 디스플레이 제어 장치 (200) 는, 복수의 알고리즘에 의해 결정된 결과들의 평균 값에 기초하여, 사용자가 선택하려는 선택 메뉴로서 최종적으로 결정할 수 있다.
디스플레이 제어 장치 (200) 는, 최종적으로 선택된 선택 메뉴를 실행하도록 디스플레이 장치 (10) 를 제어할 수 있다. 예를 들어, 디스플레이 제어 장치 (200) 는 선택된 선택 메뉴에 대응되는 하위 메뉴를 디스플레이 하거나, 선택된 선택 메뉴에 대응되는 어플리케이션을 실행하거나, 선택된 선택 메뉴에 대응되는 영상/동영상을 재생하거나, 선택된 선택 메뉴에 대응되는 TV 채널로 채널을 전환할 수 있다.
또한, 디스플레이 제어 장치 (200) 는, 사용자의 뇌전도 신호에 기초하여, 사용자가 수면 상태에 있는 경우로 판단되면, 디스플레이 장치 (10) 의 전원을 끌 수 있다.
사용자가 수면 상태에 있는지 여부는, 사용자의 뇌전도 신호에 기초하여 수면 뇌파를 검출하거나, 사용자의 집중도가 지속적으로 저하된 상태를 검출하거나, 또는 사용자가 눈을 감고 있는 상태를 검출함으로써 판단될 수 있다. 또한, 이러한 검출 결과를 종합적으로 고려하여 판단될 수 있다. 사용자의 집중도가 지속적으로 저하된 상태는, 사용자의 뇌전도 신호에 기초하여 결정된 집중도를 특정 기준값과 비교하여 결정될 수 있다. 사용자가 눈을 감고 있는 상태는, 뇌전도 신호에 기초하여 검출될 수 있으며 또한, 사용자의 눈 동작을 감지하는 별도의 동작 센서등을 통해서 검출될 수 있다.
예를 들어, 디스플레이 제어 장치 (200) 는, 사용자의 집중도가 특정 기준값 이하인 경우, 사용자에게 사용자의 집중도에 대한 피드백을 제시함과 함께 사용자가 수면 상태에 있는 것으로 판단하고, 디스플레이 장치 (10) 의 전원을 끌 수 있다. 또는, 디스플레이 제어 장치 (200) 는, 사용자의 뇌전도 신호에 기초하여 사용자가 소정 시간 이상 눈을 감고 있다고 감지되는 경우, 사용자가 수면 상태에 있는 것으로 판단하고, 디스플레이 장치 (10) 의 전원을 끌 수 있다.
도 4 는 본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법에 있어서, 시각 자극을 생성하는 방법을 설명하기 위한 흐름도이다.
디스플레이 제어 장치 (200) 는, 도 3 에 도시된 바와 같이, 단계 S320 에서, 단계 S310 에서 결정된 자극을 사용자에게 제시한다. 이 때, 디스플레이 제어 장치 (200) 는, 뇌전도 신호를 획득하기 위한 자극으로서 시각 자극을 사용자에게 제시할 수 있다. 이하, 사용자의 뇌전도 신호에 기초하여 적어도 하나의 선택 메뉴를 선택하고 실행할 수 있도록, 적어도 하나의 선택 메뉴에 대한 시각 자극을 사용자에게 제시하는 방법에 대해 도 4 를 참고하여 설명하도록 한다.
단계 S422 에서, 본 발명의 일 실시예에 따른 디스플레이 제어 장치 (200) 는, 선택 메뉴를 디스플레이 하기 위한 트리거 신호를 수신할 수 있다.
일 실시예에 따르면, 선택 메뉴를 디스플레이 하기 위한 트리거 신호는, 사용자의 뇌전도 신호를 이용하여 감지된 눈 동작에 기초하여 생성된 신호를 포함할 수 있다.
디스플레이 제어 장치 (200) 는, 사용자의 뇌전도 신호를 이용하여 감지된 눈 동작이 미리 결정된 소정의 눈 동작과 대응되는 경우, 선택 메뉴를 디스플레이 하도록 제어하는 트리거 신호가 수신된 것으로 판단할 수 있다.
예를 들어, 디스플레이 제어 장치 (200) 는, 사용자로부터 획득된 뇌전도 신호를 이용하여 감지된 눈 동작이 눈의 연속적인 깜빡이는 동작이거나, 특정 시간 동안 눈을 감는 동작인 경우, 선택 메뉴를 디스플레이 할 수 있다.
다른 실시예에 따르면, 선택 메뉴를 디스플레이하기 위한 트리거 신호는, 사용자의 뇌전도 신호를 이용하여 감지된 사용자의 정신 상태 (mental state) 에 기초하여 생성된 신호를 포함할 수 있다.
사용자의 뇌전도 신호를 이용하여 감지된 사용자의 정신 상태는, 사용자의 집중도, 지루함을 느끼는 정도, 피로함을 느끼는 정도로 나타내질 수 있다. 따라서, 디스플레이 제어 장치 (200) 는, 사용자의 정신 상태를 나타내는 소정값을 미리 결정된 기준값과 비교하여, 선택 메뉴를 디스플레이 하도록 제어하는 트리거 신호가 수신된 것으로 판단할 수 있다.
예를 들어, 디스플레이 제어 장치 (200) 는, 디스플레이 장치 (10) 에 의해 디스플레이 되고 있는 일반 화면을 시청하고 있는 사용자의 정신 상태를 감지하여, 사용자의 집중도가 특정 기준값 이하인 경우, 사용자로 하여금 현재 집중도에 대한 피드백을 제시함과 함께 선택 메뉴를 포함하는 화면으로의 전환 여부를 디스플레이 장치 (10) 상에 디스플레이 할 수 있다.
또는, 디스플레이 제어 장치 (200) 는, 사용자의 집중도가 특정 기준값 이하인 경우, 자동으로 현재 디스플레이 되고 있는 화면을 선택 메뉴를 포함하는 화면으로 전환하도록 디스플레이 장치 (10) 를 제어할 수 있다.
또 다른 실시예에 따르면, 선택 메뉴를 디스플레이하기 위한 트리거 신호는, 사용자의 뇌전도 신호를 이용하여 감지된 사용자의 정신 상태 및 눈 동작에 기초하여 생성된 신호를 포함할 수 있다. 디스플레이 제어 장치 (200) 는, 사용자의 집중도가 특정 기준값 이하이고, 감지된 눈동작이 미리 결정된 소정의 눈 동작과 대응되는 경우, 선택 메뉴를 디스플레이 하도록 제어하는 트리거 신호가 수신된 것으로 판단할 수 있다.
또 다른 실시예에 따르면, 선택 메뉴를 디스플레이하기 위한 트리거 신호는, 사용자의 제스처, 사용자의 음성, 사용자의 눈 동작 중 적어도 하나에 기초하여 생성된 신호를 포함할 수 있다. 디스플레이 제어 장치 (200) 는, 검출된 사용자의 제스처, 사용자의 음성, 사용자의 눈 동작 중 적어도 하나가 미리 결정된 조건에 대응되는 경우, 선택 메뉴를 디스플레이 하도록 제어하는 트리거 신호가 수신된 것으로 판단할 수 있다.
단계 S424 에서, 본 발명의 일 실시예에 따른 디스플레이 제어 장치 (200) 는, 선택 메뉴를 디스플레이하기 위한 트리거 신호가 수신되면, 선택 메뉴를 디스플레이 할 수 있다.
디스플레이 제어 장치 (200) 는, 선택 메뉴를 디스플레이하기 위한 트리거 신호가 수신되면, 디스플레이 되고 있는 기본 화면을 선택 메뉴를 포함하는 화면으로 전환하도록 디스플레이 장치 (10) 를 제어할 수 있다.
선택 메뉴는 영상, 동영상, 또는 텍스트 등의 형태로 디스플레이 장치 (10) 상에 디스플레이 될 수 있다.
도 5a 및 도 5b 는, 디스플레이 제어 장치 (200) 에 의해, 디스플레이 장치 (10) 상에 디스플레이되는 선택 메뉴를 포함하는 화면의 예를 도시한다.
도 5a 및 도 5b 에 도시된 바와 같이, 선택 메뉴를 디스플레이하기 위한 트리거 신호가 수신되면, 디스플레이 장치 (10) 상에 디스플레이 되고 있던 기본 화면 (510) 은 부분 화면 (525, 535)으로 전환될 수 있다.
예를 들어, 디스플레이 장치 (10) 가 기본 화면으로서 동영상을 재생하고 있는 경우, 선택 메뉴를 디스플레이하기 위한 트리거 신호가 수신됨에 따라, 재생되고 있던 동영상은 부분 화면으로 전환될 수 있다. 디스플레이 제어 장치 (200) 는, 부분 화면으로 전환된 경우에도 계속적으로 동영상이 재생되도록 디스플레이 장치 (10) 를 제어할 수 있다.
도 5a 에 도시된 바와 같이, 선택 메뉴를 디스플레이하기 위한 트리거 신호가 수신되면, 디스플레이 장치 (10) 상에 선택 메뉴 (521, 522, 523, 524) 를 포함하는 화면 (520) 이 디스플레이 될 수 있다.
예를 들어, 선택 메뉴 (521, 522, 523, 524) 는, 디스플레이 장치 (10) 를 통해 디스플레이 될 수 있는, 영상 또는 동영상에 대한 썸네일 (thumbnail), TV 채널에 대한 썸네일, 어플리케이션 (application) 을 실행하기 위한 아이콘, 디스플레이 장치 (10) 또는 디스플레이 제어 장치 (200) 의 기능을 설정하기 위한 GUI (graphical user interface), 및 이와 유사한 것 등을 포함할 수 있다.
디스플레이 장치 (10) 가 TV 인 경우, 디스플레이 제어 장치 (200) 는, 사용자의 정신 상태에 기초하여 가장 적합한 TV 프로그램을 방송하고 있는 채널을 선택할 수 있다. 이 경우, 디스플레이 제어 장치 (200) 는, 선택된 채널에 대한 썸네일을 선택 메뉴로서 디스플레이 장치 (10) 상에 표시할 수 있다.
또는, 디스플레이 제어 장치 (200) 는, 사용자의 과거 TV 시청 기록을 분석하여, 사용자의 TV 시청 빈도가 높았던 TV 프로그램들을 방송 중인 채널들을 선택하고, 선택된 채널에 대한 썸네일을 디스플레이 장치 (10) 상에 표시할 수 있다.
도 5b 에 도시된 바와 같이, 선택 메뉴를 디스플레이하기 위한 트리거 신호가 수신되면, 기본 화면 (510) 은 부분 화면 (535)으로 전환되고, 디스플레이 장치 (10) 상에 선택 메뉴 (531, 532, 533, 534) 를 포함하는 화면 (530) 이 디스플레이 될 수 있다.
디스플레이 제어 장치 (200) 는, 복수의 하위 메뉴 (531.1, 531.2, 531.3, 531.4) 를 묶어서 하나의 선택 메뉴 (531) 로서 디스플레이 장치 (10) 상에 표시할 수 있다.
예를 들어, 디스플레이 제어 장치 (200) 는, 복수의 TV 채널을 카테고리에 따라 분류하고, 카테고리를 선택할 수 있는 선택 메뉴를 디스플레이 장치 (10) 상에 디스플레이 할 수 있다. 사용자에 의해 카테고리가 선택되면, 선택된 카테고리에 포함되는 복수의 TV 채널을 선택할 수 있는 선택 메뉴를 디스플레이 장치 (10) 상에 디스플레이 할 수 있다.
단계 S426 에서, 본 발명의 일 실시예에 따른 디스플레이 제어 장치 (200) 는, 시각 자극을 제시하기 위한 트리거 신호를 수신할 수 있다.
예를 들어, 시각 자극을 제시하기 위한 트리거 신호는, 사용자의 뇌전도 신호를 이용하여 감지된 눈 동작에 기초하여 생성된 신호 또는 사용자의 뇌전도 신호를 이용하여 감지된 사용자의 정신 상태에 기초하여 생성된 신호를 포함할 수 있다.
또 다른 예로서, 시각 자극을 제시하기 위한 트리거 신호는, 사용자의 제스처, 사용자의 음성, 사용자의 눈 동작 중 적어도 하나에 기초하여 생성된 신호를 포함할 수 있다. 디스플레이 제어 장치 (200) 는, 검출된 사용자의 제스처, 사용자의 음성, 사용자의 눈 동작 중 적어도 하나가 미리 결정된 조건에 대응되는 경우, 시각 자극을 제시하기 위한 트리거 신호가 수신된 것으로 판단할 수 있다.
단계 S428 에서, 본 발명의 일 실시예에 따른 디스플레이 제어 장치 (200) 는, 시각 자극을 제시하기 위한 트리거 신호가 수신되면, 디스플레이 장치 (10) 상에 디스플레이 되고 있는 적어도 하나의 선택 메뉴를 강조 표시할 수 있다.
사용자는, 디스플레이 되고 있는 선택 메뉴 중에 선택하고자 하는 선택 메뉴가 없는 경우, 미리 결정된 눈 동작을 수행함으로써 기본 화면으로 돌아가도록 디스플레이 장치 (10) 를 제어할 수 있다. 디스플레이 제어 장치 (200) 는, 사용자의 뇌전도 신호를 이용하여 감지된 눈동작이 미리 결정된 소정의 눈 동작과 대응되는 경우, 선택 메뉴를 포함하는 화면을 기본 화면으로 전환하도록 디스플레이 장치 (10) 를 제어할 수 있다.
또한, 디스플레이 제어 장치 (200) 는, 소정 시간 동안 사용자가 제시된 시각 자극에 대해 반응하지 않는 경우, 선택 메뉴를 포함하는 화면을 기본 화면으로 전환하도록 디스플레이 장치 (10) 를 제어할 수 있다.
도 6 은 본 발명의 일 실시예에 따른 디스플레이 제어 방법에 따라 디스플레이되는 시각 자극의 일례를 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 디스플레이 제어 장치 (200) 는, 선택 메뉴를 강조 표시함으로써 사용자에게 시각 자극을 제시할 수 있다.
예를 들어, 디스플레이 제어 장치 (200) 는, 선택 메뉴가 표시되는 화면의 일부분이 깜박이거나, 화면의 일부분이 진동하는 등의 시각적 효과를 이용하여 시각 자극을 제시함으로써, 시각 자극에 의한 사용자의 피로도를 최소화할 수 있다.
도 6 의 (a) 에 도시된 바와 같이, 디스플레이 제어 장치 (200) 는 선택 메뉴 (610) 의 테두리의 일부분 (620) 의 밝기가 변경되도록 선택 메뉴 (610) 를 표시함으로써 사용자에게 시각 자극을 제시할 수 있다.
또한, 디스플레이 제어 장치 (200) 는, 도 6 의 (b) 에 도시된 바와 같이, 선택 메뉴 (610) 의 테두리 (630) 의 밝기가 변경되도록 선택 메뉴 (610) 를 표시함으로써 사용자에게 시각 자극을 제시할 수 있다.
또한, 디스플레이 제어 장치 (200) 는, 도 6 의 (c) 에 도시된 바와 같이, 선택 메뉴 (610) 의 표시 위치가 변경되도록, 예를 들어, 선택 메뉴 (610) 가 진동하거나 회전하는 등의 시각적 효과가 나타나도록 선택 메뉴 (610) 를 표시함으로써 사용자에게 시각 자극을 제시할 수 있다.
본 발명의 일 실시예에 따른 디스플레이 제어 장치 (200) 는, 변경 가능한 시각 자극 파라미터에 기초하여 시각 자극을 생성하도록 구성됨으로써, 시각 자극에 의한 사용자의 피로도를 최소화할 수 있다.
일 예로서, 시각 자극을 제시하기에 앞서, 디스플레이 제어 장치 (200) 는, 사용자의 입력에 기초하여, 시각 자극의 표시 위치, 시각 자극의 색상, 시각 자극의 크기, 시각 자극의 타입, 시각 자극의 지속 시간 등을 결정함으로써, 시각 자극에 의한 사용자의 피로도를 감소시킬 수 있다.
다른 예로서, 디스플레이 제어 장치 (200) 는, 사용자 환경에 대한 정보에 기초하여, 시각 자극의 표시 위치, 시각 자극의 색상, 시각 자극의 크기, 시각 자극의 타입, 시각 자극의 지속 시간 등을 결정함으로써, 시각 자극에 의한 사용자의 피로도를 감소시킬 수 있다.
예를 들어, 디스플레이 제어 장치 (200) 는 디스플레이 장치 (10) 와 사용자 간의 거리에 기초하여, 사용자가 시각 자극에 대해 민감하게 반응하는 정도를 판단할 수 있다. 디스플레이 제어 장치 (200) 는, 사용자가 시각 자극에 대해 민감하게 반응할수록 시각 자극의 강도를 낮출 수 있다.
디스플레이 장치 (10) 를 통해 제시되는 시각 자극은, 디스플레이 장치 (10) 상에 디스플레이 된 적어도 하나의 선택 메뉴 각각에 대해서, 미리 결정된 횟수와 지속 시간에 따라 미리 결정된 순서로 제시될 수 있다. 또는 디스플레이 장치 (10) 상에 디스플레이된 적어도 하나의 선택 메뉴 각각에 대한 시각 자극은, 랜덤 (random) 하게 제시될 수 있다. 따라서, 디스플레이 장치 (10) 를 통해 제시되는 시각 자극은 사용자가 미리 예측할 수 없는 순서로 제시될 수 있다.
도 7 은 본 발명의 일 실시예에 따른 디스플레이 제어 장치를 설명하기 위한 블록도이다.
본 발명의 일 실시예에 따른 디스플레이 제어 장치 (200) 의 각 구성 요소는 도 3 에 도시된 디스플레이 장치 제어 방법의 각 단계를 수행하도록 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 3 에 도시된 디스플레이 장치 제어 방법에 관하여 이상에서 기술된 내용은 도 7 의 디스플레이 제어 장치 (200) 에도 적용됨을 알 수 있다.
본 발명의 일 실시예에 따른 디스플레이 제어 장치 (200) 는, 사용자 (105) 의 뇌로부터 획득되는 뇌전도 신호를 활용하여 디스플레이 장치 (10) 를 제어한다. 본 발명의 일 실시예에 따른 디스플레이 제어 장치 (200) 는, 다양한 형태로 구현이 가능하다. 예를 들어, 디스플레이 제어 장치 (200) 는, 디스플레이 장치 (10) 와 유, 무선으로 연결된 장치이거나, 디스플레이 장치 (10) 에 포함된 장치일 수 있다.
도 7 을 참조하면, 본 발명의 일 실시예에 따른 디스플레이 제어 장치 (200) 는, 자극 결정부 (210), 자극 제시부 (220), 신호 획득부 (230), 및 제어부 (240) 를 포함할 수 있다.
자극 결정부 (210) 는, 사용자 환경에 대한 정보를 이용하여 사용자에게 제시할 자극을 결정한다. 사용자 환경에 대한 정보는 사용자에 의해 입력되거나, 다양한 센서를 통해 획득되거나, 외부의 장치로부터 수신될 수 있다. 사용자 환경에 대한 정보는, 디스플레이 장치 (10) 와 사용자 간의 거리, 디스플레이 장치 (10) 주변의 조도, 사용자 주변의 조도 및 사용자 정보 중 적어도 하나를 포함할 수 있다.
자극 제시부 (220) 는, 자극 결정부 (210) 에서 결정된 자극을 생성하고 사용자에게 제시한다. 자극 제시부 (220) 는, 사용자의 오감 중 적어도 하나의 감각에 의해 인식되는 자극을 사용자에게 제시할 수 있다.
일 예로서, 자극 제시부 (220) 는, 신호 획득부 (230) 에서 획득되는 사용자 (105) 의 뇌전도 신호에 기초하여 시각 자극을 제시할 수 있다. 즉, 자극 제시부 (220) 는 뇌전도 신호를 이용하여 감지된 사용자의 정신 상태 및 눈 동작 중 적어도 하나에 기초하여 생성된 신호를, 선택 메뉴를 디스플레이하도록 제어하는 트리거 신호로서 수신할 수 있다. 자극 제시부 (220) 는 트리거 신호가 수신되면, 선택 메뉴를 디스플레이하고, 적어도 하나의 선택 메뉴를 강조 표시하는 시각 자극을 제시할 수 있다.
다른 예로서, 자극 제시부 (220) 는, 신호 획득부 (230) 에서 획득되는 사용자 (105) 의 뇌전도 신호에 기초하여 청각 자극을 제시할 수 있다. 즉, 자극 제시부 (220) 는 뇌전도 신호를 이용하여 감지된 사용자의 정신 상태 및 눈 동작 중 적어도 하나에 기초하여 생성된 신호를, 선택 메뉴에 대한 소리를 발생시키도록 디스플레이 장치 (10) 를 제어하는 트리거 신호로서 수신할 수 있다. 자극 제시부 (220) 는 트리거 신호가 수신되면, 선택 메뉴에 대한 소리를 발생시키고, 적어도 하나의 선택 메뉴에 대응되는 서로 다른 자극 파라미터를 갖는 청각 자극을 제시할 수 있다.
신호 획득부 (230) 는, 시각 자극에 대한 사용자의 뇌전도 신호를 획득한다. 신호 획득부 (230) 는, 사용자 (105) 의 두피에서 감지되는 뇌전도 신호를 획득할 수 있다. 신호 획득부 (230) 는 사용자 (105) 의 두피에 부착된 복수의 센싱 모듈로부터 뇌전도 신호를 수신할 수 있다. 또한, 신호 획득부 (230) 는 사용자 (105) 의 두피에 부착되어 뇌전도 신호를 획득하는 복수의 센싱 모듈을 포함할 수 있다. 제어부 (240) 는, 뇌전도 신호에 기초하여 디스플레이 장치 (10) 를 제어한다.
또한, 제어부 (240) 는, 디스플레이 제어 장치 (200) 의 전체 동작을 제어하며, 본 발명에 따른 디스플레이 장치 제어 방법을 수행할 수 있도록 자극 결정부 (210), 자극 제시부 (220), 및 신호 획득부 (230) 를 제어할 수 있다.
제어부 (240) 는, 뇌전도 신호에 기초하여, 적어도 하나의 선택 메뉴를 디스플레이 하도록 디스플레이 장치 (10) 를 제어할 수 있다. 제어부 (240) 는, 자극 제시부 (220) 가 시각 자극을 생성하고, 디스플레이 장치 (10) 가 생성된 시각 자극을 사용자에게 제시하도록 제어할 수 있다. 시각 자극을 제시함에 있어서, 제어부 (240) 는, 소정 횟수와 간격에 따라 임의의 순서로 적어도 하나의 선택 메뉴를 강조 표시하도록 디스플레이 장치 (10) 를 제어할 수 있다.
또한, 제어부 (240) 는, 디스플레이 장치 (10) 상에 디스플레이 된 적어도 하나의 선택 메뉴 중에서 어떠한 선택 메뉴에 대해 사용자 (105) 가 반응하였는지 결정할 수 있다. 사용자 (105) 가 반응한 선택 메뉴를 결정함에 있어서, 제어부 (240) 는 다양한 알고리즘으로부터 도출된 결과를 종합하고, 종합된 결과를 이용할 수 있다.
제어부 (240) 는, 사용자 (105) 가 선택한 것으로 결정된 선택 메뉴에 대응하는 동작 (예를 들어, 하위 선택 메뉴 디스플레이, 어플리케이션 실행, 동영상 재생, 채널 전환 등)을 수행하도록 디스플레이 장치 (10) 를 제어할 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 디스플레이 장치 제어 방법 및 장치에 의하면, 사용자가 보다 편리하게 디스플레이 장치를 제어할 수 있고, 사용자의 의도에 따라 높은 정확도로 디스플레이 장치를 제어할 수 있으며, 뇌전도 신호 검출을 위한 자극으로 인하여 사용자가 느끼는 피로도를 줄일 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (23)

  1. 디스플레이 장치와 사용자 사이의 거리, 상기 디스플레이 장치의 주변의 조도, 또는 사용자 정보 중 적어도 하나를 포함하는 사용자 환경에 대한 정보에 근거하여, 상기 사용자에게 제시할 자극에 대한 자극 파라미터를 결정하는 단계;
    상기 디스플레이 장치와 상기 사용자 사이의 거리가 소정 거리 이상이면, 상기 자극 파라미터에 근거하여 상기 사용자에게 청각 자극을 제시하고, 상기 디스플레이 장치와 상기 사용자 사이의 거리가 상기 소정 거리 미만이면, 상기 자극 파라미터에 근거하여 상기 사용자에게 시각 자극을 제시하는 단계;
    상기 청각 자극 또는 상기 시각 자극에 대한 상기 사용자의 뇌전도 (electroencephalogram; EEG) 신호를 획득하는 단계; 및
    상기 뇌전도 신호에 기초하여 상기 디스플레이 장치를 제어하는 단계를 포함하는, 디스플레이 장치 제어 방법.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 자극 파라미터를 결정하는 단계는,
    상기 청각 자극의 주파수, 음압, 음색, 및 상기 사용자가 느끼는 청각 자극의 방향 중 적어도 하나를 포함하는 상기 청각 자극에 대한 자극 파라미터를 결정하는 단계를 포함하는 것을 특징으로 하는, 디스플레이 장치 제어 방법.
  5. 제 1 항에 있어서,
    상기 자극 파라미터를 결정하는 단계는,
    상기 디스플레이 장치의 화면 상에서 상기 시각 자극의 표시 위치, 상기 시각 자극의 밝기, 상기 시각 자극의 형태, 상기 시각 자극의 색, 상기 시각 자극의 지속 시간, 및 상기 시각 자극의 반복 횟수 중 적어도 하나를 포함하는 상기 시각 자극에 대한 자극 파라미터를 결정하는 단계를 포함하는 것을 특징으로 하는 디스플레이 장치 제어 방법.
  6. 제 1 항에 있어서,
    상기 시각 자극을 제시하는 단계는,
    상기 디스플레이 장치의 화면 상에 적어도 하나의 선택 메뉴를 디스플레이 하는 단계; 및
    소정 횟수와 간격에 따라 임의의 순서로 상기 적어도 하나의 선택 메뉴에 포함되는 각 선택 메뉴를 강조 표시 (highlight) 하는 단계를 포함하는 것을 특징으로 하는 디스플레이 장치 제어 방법.
  7. 제 6 항에 있어서,
    상기 선택 메뉴를 강조 표시하는 단계는,
    상기 선택 메뉴의 테두리의 적어도 일부분의 밝기가 변경되거나 상기 선택 메뉴의 표시 위치가 변경되도록 표시하는 단계를 포함하는 것을 특징으로 하는 디스플레이 장치 제어 방법.
  8. 제 6 항에 있어서,
    상기 디스플레이 장치를 제어하는 단계는,
    상기 뇌전도 신호에 기초하여 상기 적어도 하나의 선택 메뉴 중에 적어도 하나를 선택하고 실행하는 단계를 포함하는 것을 특징으로 하는 디스플레이 장치 제어 방법.
  9. 제 1 항에 있어서,
    상기 디스플레이 장치를 제어하는 단계는,
    상기 뇌전도 신호에 기초하여 상기 사용자가 수면 상태에 있는 경우로 판단되면, 상기 디스플레이 장치의 전원을 끄는 단계를 포함하는 것을 특징으로 하는 디스플레이 장치 제어 방법.
  10. 제 1 항에 있어서,
    상기 시각 자극을 제시하는 단계는,
    상기 사용자의 뇌전도 신호를 이용하여 상기 사용자의 정신 상태 (mental state) 및 상기 사용자의 눈 동작 중 적어도 하나를 감지하는 단계; 및
    상기 정신 상태 및 상기 눈 동작 중 적어도 하나에 기초하여, 상기 디스플레이 장치의 화면 상에 적어도 하나의 선택 메뉴를 디스플레이 하는 단계를 포함하는 것을 특징으로 하는 디스플레이 장치 제어 방법.
  11. 제 1 항에 있어서,
    상기 시각 자극을 제시하는 단계는,
    상기 디스플레이 장치 상에 디스플레이 된 적어도 하나의 선택 메뉴에 대한 시각 자극을 제시하는 단계를 포함하고,
    상기 디스플레이 장치를 제어하는 단계는,
    복수의 알고리즘을 이용하여 상기 적어도 하나의 선택 메뉴 중에 어떠한 선택 메뉴에 대해 상기 사용자가 반응하였는지 판단하는 단계; 및
    상기 판단된 결과에 기초하여 상기 적어도 하나의 선택 메뉴 중에 적어도 하나를 선택하고 실행하는 단계를 포함하는 것을 특징으로 하는 디스플레이 장치 제어 방법.
  12. 디스플레이 장치와 사용자 사이의 거리, 상기 디스플레이 장치의 주변의 조도, 또는 사용자 정보 중 적어도 하나를 포함하는 사용자 환경에 대한 정보에 근거하여, 상기 사용자에게 제시할 자극에 대한 자극 파라미터를 결정하는 자극 결정부;
    상기 디스플레이 장치와 상기 사용자 사이의 거리가 소정 거리 이상이면, 상기 자극 파라미터에 근거하여 상기 사용자에게 청각 자극을 제시하고, 상기 디스플레이 장치와 상기 사용자 사이의 거리가 상기 소정 거리 미만이면, 상기 자극 파라미터에 근거하여 상기 사용자에게 상기 시각 자극을 제시하는 자극 제시부;
    상기 청각 자극 또는 상기 시각 자극에 대한 상기 사용자의 뇌전도 신호를 획득하는 신호 획득부; 및
    상기 뇌전도 신호에 기초하여 상기 디스플레이 장치를 제어하는 제어부를 포함하는, 디스플레이 제어 장치.
  13. 삭제
  14. 삭제
  15. 제 12 항에 있어서,
    상기 자극 결정부는,
    상기 청각 자극의 주파수, 음압, 음색, 및 상기 사용자가 느끼는 청각 자극의 방향 중 적어도 하나를 포함하는 상기 청각 자극에 대한 자극 파라미터를 결정하는 것을 특징으로 하는, 디스플레이 제어 장치.
  16. 제 12 항에 있어서,
    상기 자극 결정부는,
    상기 디스플레이 장치의 화면 상에서 상기 시각 자극의 표시 위치, 상기 시각 자극의 밝기, 상기 시각 자극의 형태, 상기 시각 자극의 색, 상기 시각 자극의 지속 시간, 및 상기 시각 자극의 반복 횟수 중 적어도 하나를 포함하는 상기 시각 자극에 대한 자극 파라미터를 결정하는 것을 특징으로 하는 디스플레이 제어 장치.
  17. 제 12 항에 있어서,
    상기 자극 제시부는,
    상기 디스플레이 장치의 화면 상에 적어도 하나의 선택 메뉴를 디스플레이하고, 소정 횟수와 간격에 따라 임의의 순서로 상기 적어도 하나의 선택 메뉴에 포함되는 각 선택 메뉴를 강조 표시하는 것을 특징으로 하는 디스플레이 제어 장치.
  18. 제 17 항에 있어서,
    상기 자극 제시부는,
    상기 선택 메뉴의 테두리의 적어도 일부분의 밝기가 변경되거나 상기 선택 메뉴의 표시 위치가 변경되도록 상기 선택 메뉴를 강조 표시하는 것을 특징으로 하는 디스플레이 제어 장치.
  19. 제 17 항에 있어서,
    상기 제어부는,
    상기 뇌전도 신호에 기초하여 상기 적어도 하나의 선택 메뉴 중에 적어도 하나를 선택하고 실행하는 것을 특징으로 하는 디스플레이 제어 장치.
  20. 제 12 항에 있어서,
    상기 제어부는,
    상기 뇌전도 신호에 기초하여 상기 사용자가 수면 상태에 있는 경우로 판단되면, 상기 디스플레이 장치의 전원을 끄는 것을 특징으로 하는 디스플레이 제어 장치.
  21. 제 12 항에 있어서,
    상기 자극 제시부는,
    상기 사용자의 뇌전도 신호를 이용하여 상기 사용자의 정신 상태 및 상기 사용자의 눈 동작 중 적어도 하나를 감지하고, 상기 정신 상태 및 상기 눈 동작 중 적어도 하나에 기초하여 상기 디스플레이 장치의 화면 상에 적어도 하나의 선택 메뉴를 디스플레이하는 것을 특징으로 하는 디스플레이 제어 장치.
  22. 제 12 항에 있어서,
    상기 자극 제시부는,
    상기 디스플레이 장치 상에 디스플레이된 적어도 하나의 선택 메뉴에 대한 시각 자극을 제시하고,
    상기 제어부는,
    복수의 알고리즘을 이용하여 상기 적어도 하나의 선택 메뉴 중에 어떠한 선택 메뉴에 대해 상기 사용자가 반응하였는지 판단하고, 상기 판단된 결과에 기초하여 상기 적어도 하나의 선택 메뉴 중에 적어도 하나를 선택하고 실행하는 것을 특징으로 하는 디스플레이 제어 장치.
  23. 디스플레이 장치를 제어하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 기록매체에 있어서,
    상기 방법은,
    상기 디스플레이 장치와 사용자 사이의 거리, 상기 디스플레이 장치의 주변의 조도, 또는 사용자 정보 중 적어도 하나를 포함하는 사용자 환경에 대한 정보에 근거하여, 상기 사용자에게 제시할 자극에 대한 자극 파라미터를 결정하는 단계;
    상기 디스플레이 장치와 상기 사용자 사이의 거리가 소정 거리 이상이면, 상기 자극 파라미터에 근거하여 상기 사용자에게 청각 자극을 제시하고, 상기 디스플레이 장치와 상기 사용자 사이의 거리가 상기 소정 거리 미만이면, 상기 자극 파라미터에 근거하여 상기 사용자에게 시각 자극을 제시하는 단계;
    상기 청각 자극 또는 상기 시각 자극에 대한 상기 사용자의 뇌전도 신호를 획득하는 단계; 및
    상기 뇌전도 신호에 기초하여 디스플레이 장치를 제어하는 단계를 포함하는 것을 특징으로 하는, 컴퓨터 판독 가능 기록매체.
KR1020130114687A 2013-05-09 2013-09-26 디스플레이 장치 제어 방법 및 장치 KR102191966B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/273,870 US9996154B2 (en) 2013-05-09 2014-05-09 Apparatus and method of controlling display apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361821318P 2013-05-09 2013-05-09
US61/821,318 2013-05-09

Publications (2)

Publication Number Publication Date
KR20140133767A KR20140133767A (ko) 2014-11-20
KR102191966B1 true KR102191966B1 (ko) 2020-12-17

Family

ID=52454224

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130114687A KR102191966B1 (ko) 2013-05-09 2013-09-26 디스플레이 장치 제어 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102191966B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022186580A1 (ko) * 2021-03-02 2022-09-09 삼성전자주식회사 전자 장치 및 그 제어 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101663252B1 (ko) * 2015-08-12 2016-10-14 고려대학교 산학협력단 신속 순차 움직임 시각 자극을 이용한 정보 처리 장치 및 이를 이용한 정보 처리 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005315802A (ja) * 2004-04-30 2005-11-10 Olympus Corp ユーザ支援装置
US20090247895A1 (en) * 2006-11-15 2009-10-01 Koji Morikawa Apparatus, method, and computer program for adjustment of electroencephalograms distinction method
US20100004556A1 (en) * 2006-11-06 2010-01-07 Panasonic Corporation Brain wave identification method adjusting device and method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050108258A (ko) * 2004-05-12 2005-11-16 엘지전자 주식회사 수면감지장치 및 그 제어방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005315802A (ja) * 2004-04-30 2005-11-10 Olympus Corp ユーザ支援装置
US20100004556A1 (en) * 2006-11-06 2010-01-07 Panasonic Corporation Brain wave identification method adjusting device and method
US20090247895A1 (en) * 2006-11-15 2009-10-01 Koji Morikawa Apparatus, method, and computer program for adjustment of electroencephalograms distinction method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022186580A1 (ko) * 2021-03-02 2022-09-09 삼성전자주식회사 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
KR20140133767A (ko) 2014-11-20

Similar Documents

Publication Publication Date Title
US9996154B2 (en) Apparatus and method of controlling display apparatus
US10366778B2 (en) Method and device for processing content based on bio-signals
US10824232B2 (en) Sound outputting apparatus, electronic apparatus, and control method thereof
US9778736B2 (en) Methods and systems for calibrating user devices
US11445972B2 (en) Brain-computer interface for user's visual focus detection
US10345901B2 (en) Sound outputting apparatus, electronic apparatus, and control method thereof
JP6939797B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20140011204A (ko) 컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치
CN113383295A (zh) 调节数字内容以激发更大的瞳孔半径响应的生物反馈方法
US11467662B1 (en) Identifying object of user focus with eye tracking and visually evoked potentials
US20160374616A1 (en) Electrode contact quality
US20220276707A1 (en) Brain-computer interface
KR20190066428A (ko) 기계학습에 기반한 가상 현실 콘텐츠의 사이버 멀미도 예측 모델 생성 및 정량화 조절 장치 및 방법
US20230032492A1 (en) Brain-computer interface
KR20150137453A (ko) 뇌파를 이용한 제어 방법 및 휴대 장치
KR102191966B1 (ko) 디스플레이 장치 제어 방법 및 장치
WO2008145957A2 (en) Inter-active systems
KR20220098021A (ko) 휴먼-머신 인터페이스 디바이스
KR20220093380A (ko) 시각적 뇌-컴퓨터 인터페이스
KR102564202B1 (ko) 사용자의 스트레스 완화를 위해 상호작용하는 가상동물을 제공하는 전자장치 및 이의 제어방법
US20230359275A1 (en) Brain-computer interface
KR20180054400A (ko) 초음파를 이용한 콘텐츠 기반 체감각 제공 전자 장치, 웨어러블 디바이스, 및 방법
CN108887961A (zh) 座椅和基于座椅的专注度评测方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant