KR20140011204A - 컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치 - Google Patents

컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치 Download PDF

Info

Publication number
KR20140011204A
KR20140011204A KR1020120078309A KR20120078309A KR20140011204A KR 20140011204 A KR20140011204 A KR 20140011204A KR 1020120078309 A KR1020120078309 A KR 1020120078309A KR 20120078309 A KR20120078309 A KR 20120078309A KR 20140011204 A KR20140011204 A KR 20140011204A
Authority
KR
South Korea
Prior art keywords
content
gaze
preference
user
display
Prior art date
Application number
KR1020120078309A
Other languages
English (en)
Inventor
이준석
이상원
조성구
유경화
정진용
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120078309A priority Critical patent/KR20140011204A/ko
Priority to EP13173882.5A priority patent/EP2687946A1/en
Priority to CN201310298001.4A priority patent/CN103576853A/zh
Priority to US13/943,957 priority patent/US9535499B2/en
Priority to JP2013148223A priority patent/JP2014021986A/ja
Publication of KR20140011204A publication Critical patent/KR20140011204A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Position Input By Displaying (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치가 제공된다. 본 컨텐츠 제공 방법은 복수의 컨텐츠가 포함된 컨텐츠 UI를 디스플레이하고, 컨텐츠 UI 내에 사용자가 응시하는 영역을 검출하며, 사용자의 뇌파를 측정하여 사용자가 응시하는 영역에 위치하는 응시 컨텐츠의 선호도를 판단하고, 판단된 선호도를 바탕으로 컨텐츠 UI를 제공한다. 이에 의해, 사용자는 더욱 직관적이고 편리하게 자신의 선호도에 따라 구성된 컨텐츠 UI를 제공받을 수 있게 된다.

Description

컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치{Method for providing contents and Display apparatus thereof}
본 발명은 컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치에 관한 것으로, 더욱 상세하게는 사용자의 뇌파를 이용하여 컨텐츠의 선호도를 판단하여 컨텐츠 UI를 제공하는 컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치에 관한 것이다.
근래에는 인터넷의 발달, 문화산업의 발달, 교육 수준의 증가 등으로 인하여 컨텐츠의 양이 급격히 늘어나고 있으며, 컨텐츠 제공 방법 역시 다양해 지고 있다. 특히, 디지털 시대에 접어들면서, 컴팩트 디스크(Compact Disc: CD), 책, 신문과 같은 유형의 컨텐츠 저장매체에 의한 컨텐츠 전달 방식 외에도, 인터넷을 통한 무형의 컨텐츠 전달 방식이 대중화되고 있다.
한편, 컨텐츠의 양이 많아지면서 사용자 역시 자신이 선호하는 컨텐츠가 어디에 위치하는지를 찾기가 점점 어려워지고 있다. 이에 반해, 종래의 디스플레이 장치는 사용자가 선호하는 컨텐츠와 무관하게 컨텐츠 UI를 제공하고 있다. 또한, 사용자가 선호하는 컨텐츠를 사용자가 직접 설정하더라고 하더라도, 마우스 또는 키보드와 같은 입력 장치를 이용하여 사용자가 일일이 자신이 선호하는 컨텐츠를 설정해야 하는 불편함이 존재하였다.
한편, 최근 인간의 판단, 감정에 알아보기 위하여, 인간의 뇌파에 대한 연구가 활발히 진행되고 있다. 구체적으로, 뇌파는 사용자의 눈 주변 근육의 움직임뿐 아니라 인간의 판단, 감정까지 반영한다. 그리하여, 뇌파를 측정하고, 측정된 뇌파를 데이터화 한 후, 다시 인간의 뇌파를 측정하면, 측정된 뇌파를 통해 인간의 판단이나 감정을 알 수 있게 된다. 최근에는 인간의 뇌파만으로 사용자의 감정을 판단하는 연구가 활발히 진행되고 있다.
따라서, 더욱 직관적이고 편리하게 사용자가 선호하는 컨텐츠를 제공하기 위해, 사용자의 뇌파를 검출하여 사용자가 선호하는 컨텐츠를 제공하는 방안의 모색이 요청된다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 더욱 직관적이고 편리하게 사용자가 선호하는 컨텐츠를 제공하기 위하여, 사용자가 응시하는 컨텐츠에 대한 선호도를 사용자의 뇌파를 측정하여 판단하고, 판단된 선호도를 바탕으로 컨텐츠를 제공하는 컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 디스플레이 장치의 컨텐츠 제공 방법은, 복수의 컨텐츠가 포함된 컨텐츠 UI를 디스플레이하는 단계; 상기 컨텐츠 UI 내에 사용자가 응시하는 영역을 검출하는 단계; 상기 사용자의 뇌파를 측정하여 상기 사용자가 응시하는 영역에 위치하는 응시 컨텐츠의 선호도를 판단하는 단계;및 상기 판단된 선호도를 바탕으로 상기 컨텐츠 UI를 제공하는 단계;를 포함한다.
그리고, 상기 제공하는 단계는, 상기 응시 컨텐츠의 선호도가 기 설정된 값 이상인 경우, 상기 응시 컨텐츠와 유사한 컨텐츠를 추천 컨텐츠로 제공할 수 있다.
또한, 상기 제공하는 단계는, 상기 응시 컨텐츠의 선호도가 기 설정된 값 이상인 경우, 상기 응시 컨텐츠 및 상기 응시 컨텐츠와 유사한 컨텐츠 중 적어도 하나의 크기를 증가시켜 디스플레이할 수 있다.
그리고, 상기 컨텐츠 UI 내의 복수의 영역에 대한 선호도를 판단하는 단계;를 더 포함하고, 상기 제공하는 단계는, 상기 응시 컨텐츠의 선호도가 기 설정된 값 이상인 경우, 상기 응시 컨텐츠 및 상기 응시 컨텐츠와 유사한 컨텐츠 중 적어도 하나를 상기 컨텐츠 UI 내에서 선호도가 높은 영역에 디스플레이할 수 있다.
또한, 상기 제공하는 단계는, 상기 응시 컨텐츠의 선호도가 기 설정된 값 미만인 경우, 상기 응시 컨텐츠 및 상기 응시 컨텐츠와 유사한 컨텐츠 중 적어도 하나를 상기 컨텐츠 UI 내에서 선호도가 낮은 영역에 디스플레이할 수 있다.
그리고, 상기 제공하는 단계는, 상기 응시 컨텐츠의 선호도가 기설정된 값 미만인 경우, 상기 응시 컨텐츠 및 상기 응시 컨텐츠와 유사한 컨텐츠 중 적어도 하나를 삭제하거나 크기를 축소시켜 디스플레이할 수 있다.
또한, 상기 검출하는 단계는, 상기 사용자의 얼굴 방향 및 눈동자의 움직임 중 적어도 하나를 추적하여 사용자가 응시하는 영역을 검출할 수 있다.
그리고, 상기 디스플레이 장치가 3D 디스플레이 장치인 경우, 상기 사용자의 뇌파는 상기 3D 디스플레이 장치와 연동하는 3D 안경에 부착된 뇌파 측정기를 이용하여 측정될 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 디스플레이 장치는, 복수의 컨텐츠가 포함된 컨텐츠 UI를 디스플레이하는 디스플레이부; 상기 컨텐츠 UI 내에 사용자가 응시하는 영역을 검출하는 응시 영역 검출부; 상기 사용자의 뇌파를 측정하는 뇌파 측정부; 및 상기 뇌파 측정부에서 측정된 사용자의 뇌파를 이용하여 상기 사용자가 응시하는 영역에 위치하는 응시 컨텐츠의 선호도를 판단하고, 상기 판단된 선호도를 바탕으로 상기 컨텐츠 UI를 제공하도록 상기 디스플레이부를 제어하는 제어부;를 포함한다.
그리고, 상기 제어부는, 상기 응시 컨텐츠의 선호도가 기 설정된 값 이상인 경우, 상기 응시 컨텐츠와 유사한 컨텐츠를 추천 컨텐츠로 제공할 수 있다.
또한, 상기 제어부는, 상기 응시 컨텐츠의 선호도가 기 설정된 값 이상인 경우, 상기 응시 컨텐츠 및 상기 응시 컨텐츠와 유사한 컨텐츠 중 적어도 하나의 크기를 증가시켜 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
그리고, 상기 제어부는, 상기 컨텐츠 UI 내의 복수의 영역에 대한 선호도를 판단하고, 상기 응시 컨텐츠의 선호도가 기 설정된 값 이상인 경우, 상기 응시 컨텐츠 및 상기 응시 컨텐츠와 유사한 컨텐츠 중 적어도 하나를 상기 컨텐츠 UI 내에서 선호도가 높은 영역에 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 제어부는, 상기 응시 컨텐츠의 선호도가 기 설정된 값 미만인 경우, 상기 응시 컨텐츠 및 상기 응시 컨텐츠와 유사한 컨텐츠 중 적어도 하나를 상기 컨텐츠 UI 내에서 선호도가 낮은 영역에 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
그리고, 상기 제어부는, 상기 응시 컨텐츠의 선호도가 기설정된 값 미만인 경우, 상기 응시 컨텐츠 및 상기 응시 컨텐츠와 유사한 컨텐츠 중 적어도 하나를 삭제하거나 크기를 축소시켜 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
또한, 상기 응시 영역 검출부는, 상기 사용자의 얼굴 방향 및 눈동자의 움직임 중 적어도 하나를 추적하여 사용자가 응시하는 영역을 검출할 수 있다.
그리고, 상기 디스플레이 장치가 3D 디스플레이 장치인 경우, 상기 뇌파 측정부는 상기 3D 디스플레이 장치와 연동하는 3D 안경에 부착될 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 사용자는 더욱 직관적이고 편리하게 자신의 선호도에 따라 구성된 컨텐츠 UI를 제공받을 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 디스플레이 장치의 구성을 간략히 도시한 블럭도,
도 2는 본 발명의 다른 실시예에 따른, 디스플레이 장치의 구성을 자세히 도시한 블럭도,
도 3은 본 발명의 일 실시예에 따른, 뇌파 검출부의 구성을 나타내는 블럭도,
도 4 내지 도 8은 다양한 발명의 일 실시예에 따른, 사용자 선호도 바탕으로 구성된 컨텐츠 UI를 도시한 도면, 그리고,
도 9는 본 발명의 일 실시예에 따른, 컨텐츠 제공 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명에 대해 더욱 상세히 설명하도록 한다. 도 1은 본 발명의 일 실시예에 따른, 디스플레이 장치(100)의 구성을 간략히 도시한 도면이다. 도 1에 도시된 바와 같이, 디스플레이 장치(100)는 응시 영역 검출부(110), 뇌파 측정부(120), 디스플레이부(130) 및 제어부(140)를 포함한다. 한편, 본 발명의 일 실시예에 따른, 디스플레이 장치(100)는 스마트 TV일 수 있으나, 이는 일 실시예에 불과할 뿐, 데스크탑 PC, 태블릿 PC, 스마트폰 등과 같은 다양한 디스플레이 장치로도 구현될 수 있다.
응시 영역 검출부(110)는 디스플레이부(130) 내에서 사용자가 응시하는 영역을 검출한다. 이때, 응시 영역 검출부(110)는 사용자의 얼굴 방향 또는 사용자의 안구 움직임 등을 추적하여 사용자가 응시하는 영역을 검출할 수 있다.
뇌파 측정부(120)는 복수의 뇌파 센싱 전극을 이용하여 사용자의 뇌파를 측정한다. 이때, 뇌파 측정부(120)는 사용자의 뇌파를 측정하기 위하여 사용자 얼굴에 접촉되어야 하므로, 디스플레이 장치(100)와 분리되어 구현될 수 있다. 특히, 디스플레이 장치(100)가 3D 디스플레이 장치인 경우, 뇌파 측정부(120)는 3D 디스플레이 장치와 연동하는 3D 안경에 부착될 수 있다.
디스플레이부(130)는 복수의 컨텐츠를 포함하는 컨텐츠 UI를 디스플레이한다. 이때, 컨텐츠 UI는 복수의 컨텐츠에 대응되는 복수의 아이콘이 포함된 컨텐츠 리스트일 수 있으나, 이에 한정되는 것은 아니다.
그리고, 디스플레이부(130)는 제어부(140)의 제어에 의해 사용자 선호도에 따라 컨텐츠 UI를 구성할 수 있다.
제어부(140)는 뇌파 측정부(120)에서 측정된 사용자의 뇌파를 이용하여 사용자가 응시하는 영역에 위치하는 응시 컨텐츠의 선호도를 판단한다. 그리고, 제어부(140)는 판단된 선호도를 바탕으로 컨텐츠 UI를 제공하도록 디스플레이부(130)를 제어한다.
구체적으로, 응시 컨텐츠의 선호도가 기 설정된 값 이상인 경우, 제어부(140)는 응시 컨텐츠와 유사한 컨텐츠를 추천 컨텐츠로 제공할 수 있다. 이때, 응시 컨텐츠와 유사한 컨텐츠는 응시 컨텐츠의 제목, 장르, 주인공, 감독, 제작사 중 적어도 하나가 일치하는 컨텐츠 일 수 있다.
또한, 응시 컨텐츠의 선호도가 기 설정된 값 이상인 경우, 제어부(140)는 응시 컨텐츠 및 응시 컨텐츠와 유사한 컨텐츠의 크기를 증가시켜 디스플레이하도록 디스플레이부(140)를 제어할 수 있다.
그러나, 응시 컨텐츠의 선호도가 기설정된 값 미만인 경우, 제어부(140)는 응시 컨텐츠 및 응시 컨텐츠와 유사한 컨텐츠를 삭제하거나 크기를 축소시켜 디스플레이하도록 디스플레이부(130)를 제어할 수 있다.
또한, 제어부(140)는 컨텐츠 UI 내의 복수의 영역에 대한 선호도를 판단할 수 있다. 그리고, 응시 컨텐츠의 선호도가 기 설정된 값 이상인 경우, 제어부(140)는 응시 컨텐츠 및 응시 컨텐츠와 유사한 컨텐츠를 컨텐츠 UI 내에서 선호도가 높은 영역에 디스플레이하도록 디스플레이부(130)를 제어할 수 있다.
그러나, 응시 컨텐츠의 선호도가 기 설정된 값 미만인 경우, 제어부(140)는 응시 컨텐츠 및 응시 컨텐츠와 유사한 컨텐츠를 컨텐츠 UI 내에서 선호도가 낮은 영역에 디스플레이하도록 디스플레이부(130)를 제어할 수 있다.
상술한 바와 같이, 뇌파를 측정하여 사용자가 응시하는 컨텐츠의 사용자 선호도를 검출하고, 사용자 선호도에 따라 컨텐츠 UI를 제공함으로써, 사용자는 더욱 직관적이고 편리하게 자신의 선호도에 따라 구성된 컨텐츠 UI를 제공받을 수 있게 된다.
이하에서는 도 2 내지 도 8을 참조하여, 디스플레이 장치에 대해 더욱 상세히 설명하도록 한다. 도 2는 본 발명의 일 실시예에 따른, 디스플레이 장치(200)의 구성을 자세히 나타내는 블럭도를 도시한 도면이다. 도 2에 도시된 바와 같이, 디스플레이 장치(200)는 응시 영역 검출부(210), 뇌파 측정부(220), 저장부(230), 디스플레이부(240), 통신부(250), 사용자 입력부(260) 및 제어부(270)를 포함한다.
응시 영역 검출부(210)는 디스플레이 화면 내에서 사용자가 응시하는 영역을 검출한다. 특히, 응시 영역 검출부(210)는 사용자 안구의 움직임을 추적하여 사용자가 응시하는 영역을 검출할 수 있다.
구체적으로, 응시 영역 검출부(210)는 얼굴 모델링(face modeling) 기술을 통해 촬영부(미도시)에 의해 촬영된 사용자 촬영 영상으로부터 안구 영상을 식별한다. 이때, 얼굴 모델링 기술은 촬영부에 의해 획득된 얼굴 영상의 가공 처리 및 전송을 위한 디지털 정보로 변환하는 분석 과정으로, ASM(Active Shape Modeling) 기법 및 AAM(Active Appearance Modeling) 기법 중 하나가 이용될 수 있다. 여기서, ASM 기법은 얼굴의 부위 중 눈의 위치를 먼저 검출하고, 검출된 눈의 위치를 기준으로 일반적인 모델(generic model)에 따른 다른 부위(예를 들어 코, 입, 눈썹 등)의 모양(shape) 정보를 이용하여 위치를 결정하여 얼굴 부위의 특징점을 검출하는 모델이다. AAM 기법은 모양 정보뿐만 아니라, 질감 정보(texture information)를 더욱 고려하여 얼굴 특징을 효율적으로 설명할 수 있는 특징점을 검출하는 모델이다.
그리고, 응시 영역 검출부(210)는 식별된 안구 영상을 이용하여 안구의 움직임을 판단할 수 있다. 그리고, 응시 영역 검출부(210)는 안구 움직임을 이용하여 사용자가 응시하는 방향을 검출하고, 기 저장된 디스플레이 화면의 좌표 정보와 사용자가 응시하는 방향을 비교함으로써, 사용자가 응시하는 영역을 판단할 수 있다.
예를 들어, 도 10의 (가)에 도시된 바와 같이, 기 저장된 사용자의 홍채(1010)과 동공(1020)의 영상 정보를 바탕으로 촬영된 사용자의 동공(1020)이 중앙에 위치하는 것이라고 판단된 경우, 응시 영역 검출부(210)는 사용자가 디스플레이 화면의 중심(0,0)을 응시하고 있다고 판단할 수 있다. 또는, 도 10의 (나)에 도시된 바와 같이 사용자의 동공(1020)의 위치가 중앙에서 좌측으로 이동되었다고 판단된 경우, 응시 영역 검출부(210)는 사용자의 동공(1020)의 이동거리에 따라 디스플레이 화면의 좌표점(a,b)을 산출하여, 사용자가 산출된 좌표점을 갖는 지점을 응시하고 있다고 판단할 수 있다. 또는, 도 10의 (다)에 도시된 바와 같이, 사용자의 동공(1020)의 위치가 중앙에서 우측 상단으로 이동된 것이라고 판단된 경우, 응시 영역 검출부(210)는 사용자의 동공(1020)의 움직임에 따라 디스플레이 화면의 좌표점(c,d)을 산출하여, 사용자가 산출된 좌표점을 갖는 지점을 응시하고 있다고 판단할 수 있다.
한편, 상술한 바와 같이, 사용자가 응시하는 영역을 판단하는 방법은 일 실시예에 불과할 뿐, 다른 방법을 이용하여 사용자가 응시하는 영역을 판단할 수 있다. 예를 들어, 응시 영역 검출부(210)는 사용자의 얼굴 방향을 추적하여 사용자가 응시하는 영역을 판단할 수도 있다.
뇌파 측정부(220)는 복수 개의 뇌파 센싱 전극으로부터 사용자 뇌파를 측정한다. 특히, 뇌파 측정부(220)는 사용자의 뇌파를 측정하기 위해 사용자 머리에 부착되어야 하므로, 디스플레이 장치(100)와 분리되어 구현될 수 있다.
뇌파 측정부(220)에 대해서는 도 3을 참조하여 자세히 설명하기로 한다. 도 3에 도시된 바와 같이, 뇌파 측정부(220)는 뇌파 센싱 전극(221), 필터부(222), 증폭부(223), A/D 변환부(224) 및 송신부(225)를 포함한다. 뇌파 센싱 전극(221)은 뇌파 검출부(220) 외부에 배치되어 사용자의 뇌파를 센싱한다. 특히, 뇌파 검출부(220)가 3D 안경에 포함된 경우, 뇌파 센싱 전극(221)은 3D 안경의 안경다리, 이마 접촉부 등에 배치되어, 사용자의 뇌파를 센싱할 수 있다. 이때, 뇌파 센싱 전극(221)은 뇌파의 주파수에 따라 8 ~ 13Hz 범위의 뇌파를 검출하는 알파(alpha) 전극, 13 ~ 30Hz 범위의 뇌파를 검출하는 베타(beta) 전극, 30 ~ 50Hz 범위의 뇌파를 검출하는 감마(gamma) 전극, 0 ~ 4Hz 범위의 뇌파를 검출하는 델타 전극(delta) 및 4 ~ 8Hz 범위의 뇌파를 검출하는 세타(theta) 전극 중 적어도 하나를 포함한다.
필터부(222)는 뇌파 센싱 전극(221)에서 센싱된 뇌파를 필터링하여, 필터링된 뇌파를 증폭부(223)로 출력한다. 이때, 필터부(222)는 저역통과필터(Low Pass Filter: LPF)로 구현될 수 있다. 증폭부(223)는 필터부(222)에서 필터링된 뇌파를 증폭하여, A/D 변환부(224)로 출력한다. A/D 변환부(224)는 증폭된 뇌파 정보를 아날로그 신호에서 디지털 신호로 변환한다. 송신부(225)는 디지털 신호로 변환된 뇌파를 디스플레이 장치(200)의 본체로 전송한다. 이때, 송신부(225)는 Wi-Fi 모듈 또는 IR 모듈 등을 이용하여 구현될 수 있으나, 이에 한정되는 것은 아니다.
저장부(230)는 디스플레이 장치(200)를 구동하기 위한 다양한 데이터 및 프로그램을 저장한다. 특히, 저장부(230)는 히스토그램 또는 매트릭스 형태의 뇌파 정보를 사용자 선호도와 맵핑하여 저장한다. 예를 들어, 저장부(230)는 제1 뇌파 정보를 "선호도 높음"으로 매핑하여 저장하고, 제2 뇌파 정보를 "선호도 중간"으로 매핑하여 저장하며, 제3 뇌파 정보를 "선호도 낮음"으로 매핑하여 저장할 수 있다. 그러나, 상술한 바와 같이, 3가지 단계의 선호도는 일 실시예에 불과할 뿐, 3가지 이외의 복수의 단계의 선호도를 뇌파 정보와 매핑하여 저장할 수 있다.
디스플레이부(240)는 제어부(270)의 제어에 의해 영상 데이터를 디스플레이한다. 특히, 디스플레이부(240)는 복수의 컨텐츠가 포함된 컨텐츠 UI를 디스플레이할 수 있다. 이때, 컨텐츠 UI는 복수의 컨텐츠에 대응되는 아이콘을 포함하는 컨텐츠 리스트일 수 있으나, 이에 한정되는 것은 아니다. 또한, 복수의 컨텐츠는 영화 컨텐츠, 방송 컨텐츠, 음악 컨텐츠, 사진 컨텐츠, 광고 컨텐츠 등이 포함될 수 있으나, 이에 한정되는 것은 아니다.
이때, 디스플레이부(240)는 제어부(270)의 제어에 의해 사용자 선호도에 따라 컨텐츠 UI를 구성할 수 있다. 이에 대해서는 도 4 내지 도 8을 참조하여 추후에 자세히 설명하기로 한다.
통신부(250)는 외부의 장치 또는 서버와 통신을 수행한다. 이때, 통신부(250)는 외부의 장치 또는 서버로부터 컨텐츠 정보를 수신할 수 있다.
한편, 통신부(250)는 Wi-Fi, IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 통신을 수행하는 무선 통신 모듈로 구현될 수 있다. 이 밖에 무선 통신 모듈은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신 망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있다.
사용자 입력부(260)는 디스플레이 장치(200)를 제어하기 위한 사용자 명령을 입력받는다. 이때, 사용자 입력부(260)는 리모컨, 마우스, 키보드, 터치 스크린과 같은 다양한 입력 장치로 구현될 수 있다.
제어부(270)는 사용자 입력부(260)를 통해 입력된 사용자 명령에 따라 디스플레이 장치(200)의 전반적인 동작을 제어한다. 특히, 제어부(270)는 뇌파 측정부(220)에서 측정된 사용자의 뇌파를 이용하여 사용자가 응시하는 영역에 위치하는 응시 컨텐츠의 선호도를 판단한다. 그리고, 제어부(270)는 판단된 선호도를 바탕으로 컨텐츠 UI를 제공하도록 디스플레이부(240)를 제어한다.
구체적으로, 제어부(270)는 통신부(250)를 통해 외부로부터 전송된 복수의 컨텐츠가 포함된 컨텐츠 UI(User Interface)를 디스플레이하도록 디스플레이부(240)를 제어한다. 예를 들어, 제어부(270)는 도 4에 도시된 바와 같이, 제1 컨텐츠 및 제6 컨텐츠(410 내지 460)가 포함된 컨텐츠 UI(400)를 디스플레이하도록 제어할 수 있다.
그리고, 제어부(270)는 응시 영역 검출부(210)를 통해 사용자가 응시하는 컨텐츠를 판단한다. 구체적으로, 제어부(270)는 응시 영역 검출부(210)를 통해 사용자가 응시하는 영역의 좌표 정보를 획득하고, 사용자가 응시하는 영역의 좌표 정보를 이용하여 현재 디스플레이되고 있는 컨텐츠 UI 내에서 사용자가 응시하는 응시 컨텐츠를 판단할 수 있다.
그리고, 뇌파 측정부(220)로부터 사용자 뇌파 정보가 전송되면, 제어부(270)는 뇌파 측정부(220)로부터 전송된 사용자의 뇌파 정보를 바탕으로 응시 컨텐츠의 선호도를 판단한다. 구체적으로, 뇌파 측정부(220)로부터 사용자 뇌파 정보가 전송되면, 제어부(270)는 뇌파 정보를 히스토그램(Histogram) 또는 매트릭스(Matrix) 형태로 처리한다. 그리고, 제어부(270)는 처리된 사용자 뇌파 정보와 일치하는 뇌파 정보가 있는지 저장부(230)에 기 저장된 뇌파 정보를 검색한다. 그리고, 검색 결과 처리된 사용자 뇌파 정보와 일치하는 기 저장된 뇌파 정보가 존재하는 경우, 제어부(270)는 사용자 뇌파 정보와 일치하는 기 저장된 뇌파 정보와 매칭되는 사용자 선호도를 이용하여 사용자가 응시하는 컨텐츠의 선호도를 판단한다. 이때, 처리된 사용자 뇌파 정보와 기 저장된 뇌파 정보가 일치하는 것은 현재 수신되는 뇌파 정보와 기 저장된 뇌파 정보가 완전히 일치하는 것뿐 아니라, 기 설정된 오차 범위 내에 존재하는 경우 역시 포함한다.
한편, 상술한 바와 같이, 복수의 단계의 사용자 선호도와 매칭되어 저장된 사용자 뇌파 정보를 이용하여 응시 컨텐츠의 선호도를 판단할 수 있으나, 이는 일 실시예에 불과할 뿐, 다른 방법에 따라 사용자 뇌파를 이용하여 응시 컨텐츠의 선호도를 판단할 수 있다. 예를 들어, 뇌파 정보 중 특정 주파수의 뇌파가 많이 검출된 경우, 제어부(270)는 특정 주파수의 뇌파에 따라 응시 컨텐츠의 사용자 선호도를 판단할 수 있다.
또한, 상술한 바와 같이, 기저장된 사용자 뇌파 정보를 이용하여 사용자의 응시 컨텐츠의 선호도를 판단할 수 있을 뿐 아니라, 사용자 뇌파 정보를 학습하여 사용자의 응시 컨텐츠의 선호도를 판단할 수 있다. 예를 들어, 기 저정된 주파수 이외의 특정 주파수의 뇌파가 검출된 이후 특정 컨텐츠를 장시간 시청한 경우, 제어부(270)는 특정 주파수의 뇌파 정보를 높은 선호도와 매칭하여 새로 저장할 수 있다. 따라서, 추후에 임의의 컨텐츠를 응시하면서 특정 주파수의 뇌파가 검출된 경우, 제어부(270)는 임의의 컨텐츠의 선호도가 높다고 판단할 수 있다.
(코멘트: 발명자님께서 특정 주파수대역의 뇌파가 검출된 컨텐츠의 경우 시청 이력이 전혀 없는 사례를 추가해 주실 것을 요청하셨으나, 본 발명의 기술적 사상은 우선적으로 뇌파 정보와 선호도가 먼저 매칭되어 저장되고, 검출된 특정 주파수와 매칭된 선호도 정보에 따라 응시 컨텐츠의 선호도를 판단하게 됩니다. 그러나, 발명자님께서 요청하신 실시예들은 뇌파 정보와 응시 컨텐츠를 바로 매칭하는 것이라 사료됩니다. 즉, 뇌파 정보와 선호도를 먼저 저장하는 것이 아닌 놔파 정보와 응시 컨텐츠를 직접적으로 매칭하여 저장하는 것이므로, 본 발명과는 다소 차이가 있다고 사료됩니다.)
선호도가 판단되면, 제어부(270)는 응시 컨텐츠와 선호도를 저장부(230)에 저장하고, 선호도에 따라 컨텐츠 UI를 제공할 수 있다.
구체적으로, 응시 컨텐츠의 선호도가 기 설정된 값 이상인 경우, 제어부(270)는 응시 컨텐츠와 유사한 컨텐츠를 추천 컨텐츠로 제공할 수 있다. 예를 들어, 응시 컨텐츠가 "컨텐츠 1"(410)이고, "컨텐츠 1"의 선호도가 "선호도 높음"이라고 판단된 경우, 제어부(270)는 도 5에 도시된 바와 같이, 응시 컨텐츠와 유사한 컨텐츠인 "컨텐츠 7"(570), "컨텐츠 8"(580) 및 "컨텐츠 9"(590)를 컨텐츠 UI 내의 기설정된 영역에 추천 컨텐츠로 제공할 수 있다.
이때, 응시 컨텐츠와 유사한 컨텐츠는 응시 컨텐츠와 제목, 장르, 주인공, 감독, 제작사 중 적어도 하나가 일치하는 컨텐츠 일 수 있다.
또한, 응시 컨텐츠의 선호도가 기 설정된 값 이상인 경우, 제어부(270)는 응시 컨텐츠 및 응시 컨텐츠와 유사한 컨텐츠 중 적어도 하나의 크기를 증가시켜 디스플레이할 수 있다. 예를 들어, 응시 컨텐츠가 "컨텐츠 1"(410)이고, "컨텐츠 1"의 선호도가 "선호도 높음"이라고 판단된 경우, 제어부(270)는 도 6에 도시된 바와 같이, 응시 컨텐츠인 "컨텐츠 1"(610)의 크기를 증가시켜 디스플레이할 수 있다. 한편, 도 6에서는 응시 컨텐츠만의 크기를 증가시켜 디스플레이하였으나, 이는 일 실시예에 불과할 뿐, 응시 컨텐츠와 유사한 컨텐츠의 크기 역시 증가시켜 디스플레이할 수 있다.
또한, 제어부(270)는 컨텐츠 UI 내의 복수의 영역에 대한 선호도를 판단할 수 있다. 구체적으로, 제어부(270)는 컨텐츠 UI 내의 복수의 영역에 대해, 각각의 영역을 응시할 경우, 사용자 뇌파를 측정하여 복수의 영역에 대한 사용자 선호도를 측정할 수 있다. 예를 들어, 제어부(270)는 컨텐츠 UI를 6개의 영역(좌측 상단, 상단 가운데, 우측 상단, 좌측 하단, 하단 가운데, 우측 하단)으로 구분하고, 각 영역에 대한 선호도를 조사하여 사용자 선호도가 가장 높은 영역과 가장 낮은 영역을 판단할 수 있다.
그리고, 응시 컨텐츠의 선호도가 기 설정된 값 이상인 경우, 제어부(270)는 응시 컨텐츠 및 응시 컨텐츠와 유사한 컨텐츠 중 적어도 하나를 컨텐츠 UI 내에서 선호도가 높은 영역에 디스플레이할 수 있다. 예를 들어, 사용자가 선호하는 영역이 "우측 상단" 영역이고, 응시 컨텐츠가 "컨텐츠 1"(410)이며, "컨텐츠 1"의 선호도가 "선호도 높음"이라고 판단된 경우, 제어부(270)는 도 7에 도시된 바와 같이, 응시 컨텐츠인 "컨텐츠 1"(710)을 컨텐츠 UI(700)의 우측 상단 영역에 디스플레이하도록 디스플레이부(240)를 제어할 수 있다.
또한, 응시 컨텐츠의 선호도가 기설정된 값 미만인 경우, 제어부(270)는 응시 컨텐츠 및 응시 컨텐츠와 유사한 컨텐츠 중 적어도 하나를 컨텐츠 UI 내에서 선호도가 낮은 영역에 디스플레이할 수 있다. 예를 들어, 사용자가 선호하는 영역이 "좌측 하단" 영역이고, 응시 컨텐츠가 "컨텐츠 2"(420)이며, "컨텐츠 2"의 선호도가 "선호도 낮음"이라고 판단된 경우, 제어부(270)는 응시 컨텐츠인 "컨텐츠 2"를 컨텐츠 UI의 좌측 하단 영역에 디스플레이하도록 디스플레이부(240)를 제어할 수 있다.
또한, 응시 컨텐츠의 선호도가 기설정된 값 미만인 경우, 제어부(270)는 응시 컨텐츠 및 응시 컨텐츠와 유사한 컨텐츠 중 적어도 하나를 삭제하거나 크기를 축소시켜 디스플레이하도록 디스플레이부(240)를 제어할 수 있다. 예를 들어, 응시 컨텐츠가 "컨텐츠 2"(420)이며, "컨텐츠 2"의 선호도가 "선호도 낮음"이라고 판단된 경우, 제어부(270)는 도 8에 도시된 바와 같이, 응시 컨텐츠인 "컨텐츠 2"(820) 및 "컨텐츠 2"(820)와 유사한 컨텐츠인 "컨텐츠 8"(880)을 컨텐츠 UI(800)의 하단 영역에 크기를 축소시켜 디스플레이할 수 있다. 그러나, 도 8에서는 선호도가 기설정된 값 미만인 컨텐츠의 크기를 축소하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 선호도가 기설정된 값 미만인 컨텐츠를 컨테츠 UI에서 삭제하는 실시예 역시 본 발명의 기술적 사상이 포함될 수 있다.
한편, 상술한 실시예에서는 제어부(270)가 응시 컨텐츠의 선호도를 판단한 후, 바로 컨텐츠 UI를 재구성하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 응시 컨텐츠의 선호도를 판단한 후, 응시 컨텐츠 및 응시 컨텐츠의 선호도를 매핑하여 저장하고, 추후에 새로운 컨텐츠 UI를 생성할 때, 응시 컨텐츠의 선호도를 반영하여 컨텐츠 UI를 생성할 수도 있다.
상술한 바와 같이, 사용자의 뇌파를 측정하여 사용자의 선호도를 판단한 후, 사용자의 선호도가 반영된 컨텐츠 UI를 제공함으로써, 사용자는 더욱 직관적이고 편리하게 자신의 선호도에 따라 구성된 컨텐츠 UI를 제공받을 수 있게 된다.
이하에서는 도 9를 참조하여, 디스플레이 장치(100)의 컨텐츠 제공 방법에 대해 설명하기로 한다.
우선, 디스플레이 장치(100)는 복수의 컨텐츠가 포함된 컨텐츠 UI를 디스플레이한다(S910). 이때, 여기서, 컨텐츠 UI는 복수의 컨텐츠와 대응되는 아이콘이 포함된 컨텐츠 리스트일 수 있으며, 복수의 컨텐츠에는 영화 컨텐츠, 방송 컨텐츠, 음악 컨텐츠, 광고 컨텐츠 중 적어도 하나가 포함될 수 있다.
그리고, 디스플레이 장치(100)는 사용자가 응시하는 영역을 검출한다(S920). 구체적으로, 디스플레이 장치(100)는 사용자의 얼굴을 촬영한 후, 사용자 얼굴의 방향 또는 사용자 안구의 움직임을 추적하여 사용자가 응시하는 영역을 검출할 수 있다.
그리고, 디스플레이 장치(100)는 사용자가 응시하는 영역에 대해 뇌파 측정부(120)를 이용하여 사용자 뇌파를 측정한다(S930). 이때, 디스플레이 장치(100)가 3D 디스플레이 장치인 경우, 뇌파 측정부(120)는 3D 디스플레이 장치와 연동하는 3D 안경에 부착될 수 있다.
그리고, 디스플레이 장치(100)는 사용자가 응시하는 영역에 위치하는 응시 컨텐츠의 선호도를 판단한다(S940). 구체적으로, 디스플레이 장치(100)는 측정된 사용자의 뇌파를 분석하여 사용자가 응시하는 응시 컨텐츠의 선호도를 판단할 수 있다. 이때, 디스플레이 장치(100)는 복수의 단계로 구성된 응시 컨텐츠의 선호도를 판단할 수 있다.
그리고, 디스플레이 장치(100)는 응시 컨텐츠의 선호도를 바탕으로 컨텐츠 UI를 제공한다(S950). 구체적으로, 응시 컨텐츠의 선호도가 기 설정된 값 이상인 경우, 디스플레이 장치(100)는 응시 컨텐츠와 유사한 컨텐츠를 추천 컨텐츠로 제공할 수 있다. 이때, 응시 컨텐츠와 유사한 컨텐츠는 응시 컨텐츠의 제목, 장르, 주인공, 감독, 제작사 중 적어도 하나가 일치하는 컨텐츠 일 수 있다. 또한, 응시 컨텐츠의 선호도가 기 설정된 값 이상인 경우, 디스플레이 장치(100)는 응시 컨텐츠 및 응시 컨텐츠와 유사한 컨텐츠의 크기를 증가시켜 디스플레이할 수 있다. 또한, 응시 컨텐츠의 선호도가 기설정된 값 미만인 경우, 디스플레이 장치(100)는 응시 컨텐츠 및 응시 컨텐츠와 유사한 컨텐츠를 삭제하거나 크기를 축소시켜 디스플레이할 수 있다.
또한, 디스플레이 장치(100)는 컨텐츠 UI의 복수의 영역에 대한 선호도를 판단하고, 응시 컨텐츠의 선호도에 따라 응시 컨텐츠를 복수의 영역 중 하나에 디스플레이할 수 있다. 구체적으로, 응시 컨텐츠의 선호도가 기 설정된 값 이상인 경우, 디스플레이 장치(100)는 응시 컨텐츠 및 응시 컨텐츠와 유사한 컨텐츠를 컨텐츠 UI 내에서 선호도가 높은 영역에 디스플레이할 수 있다. 그러나, 응시 컨텐츠의 선호도가 기 설정된 값 미만인 경우, 디스플레이 장치(100)는 응시 컨텐츠 및 응시 컨텐츠와 유사한 컨텐츠를 컨텐츠 UI 내에서 선호도가 낮은 영역에 디스플레이할 수 있다. .
상술한 바와 같이, 뇌파를 측정하여 사용자가 응시하는 컨텐츠의 사용자 선호도를 검출하고, 사용자 선호도에 따라 컨텐츠를 제공함으로써, 사용자는 더욱 직관적이고 편리하게 자신의 선호도에 따라 구성된 컨텐츠 UI를 제공받을 수 있게 된다.
이상과 같은 다양한 실시 예에 따른 컨텐츠 제공 방법을 수행하기 위한 프로그램 코드는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장될 수 있다. 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
210: 응시 영역 검출부 220: 뇌파 측정부
230: 저장부 240: 디스플레이부
250: 통신부 260: 사용자 입력부
270: 제어부

Claims (16)

  1. 디스플레이 장치의 컨텐츠 제공 방법에 있어서,
    복수의 컨텐츠가 포함된 컨텐츠 UI를 디스플레이하는 단계;
    상기 컨텐츠 UI 내에 사용자가 응시하는 영역을 검출하는 단계;
    상기 사용자의 뇌파를 측정하여 상기 사용자가 응시하는 영역에 위치하는 응시 컨텐츠의 선호도를 판단하는 단계;및
    상기 판단된 선호도를 바탕으로 상기 컨텐츠 UI를 제공하는 단계;를 포함하는 컨텐츠 제공 방법.
  2. 제1항에 있어서,
    상기 제공하는 단계는,
    상기 응시 컨텐츠의 선호도가 기 설정된 값 이상인 경우, 상기 응시 컨텐츠와 유사한 컨텐츠를 추천 컨텐츠로 제공하는 것을 특징으로 하는 컨텐츠 제공 방법.
  3. 제1항에 있어서,
    상기 제공하는 단계는,
    상기 응시 컨텐츠의 선호도가 기 설정된 값 이상인 경우, 상기 응시 컨텐츠 및 상기 응시 컨텐츠와 유사한 컨텐츠 중 적어도 하나의 크기를 증가시켜 디스플레이하는 것을 특징으로 하는 컨텐츠 제공 방법.
  4. 제1항에 있어서,
    상기 컨텐츠 UI 내의 복수의 영역에 대한 선호도를 판단하는 단계;를 더 포함하고,
    상기 제공하는 단계는,
    상기 응시 컨텐츠의 선호도가 기 설정된 값 이상인 경우, 상기 응시 컨텐츠 및 상기 응시 컨텐츠와 유사한 컨텐츠 중 적어도 하나를 상기 컨텐츠 UI 내에서 선호도가 높은 영역에 디스플레이하는 것을 특징으로 하는 컨텐츠 제공 방법.
  5. 제4항에 있어서,
    상기 제공하는 단계는,
    상기 응시 컨텐츠의 선호도가 기 설정된 값 미만인 경우, 상기 응시 컨텐츠 및 상기 응시 컨텐츠와 유사한 컨텐츠 중 적어도 하나를 상기 컨텐츠 UI 내에서 선호도가 낮은 영역에 디스플레이하는 것을 특징으로 하는 컨텐츠 제공 방법.
  6. 제1항에 있어서,
    상기 제공하는 단계는,
    상기 응시 컨텐츠의 선호도가 기설정된 값 미만인 경우, 상기 응시 컨텐츠 및 상기 응시 컨텐츠와 유사한 컨텐츠 중 적어도 하나를 삭제하거나 크기를 축소시켜 디스플레이하는 것을 특징으로 하는 컨텐츠 제공 방법.
  7. 제1항에 있어서,
    상기 검출하는 단계는,
    상기 사용자의 얼굴 방향 및 눈동자의 움직임 중 적어도 하나를 추적하여 사용자가 응시하는 영역을 검출하는 것을 특징으로 하는 컨텐츠 제공 방법.
  8. 제1항에 있어서,
    상기 디스플레이 장치가 3D 디스플레이 장치인 경우,
    상기 사용자의 뇌파는 상기 3D 디스플레이 장치와 연동하는 3D 안경에 부착된 뇌파 측정기를 이용하여 측정되는 것을 특징으로 하는 컨텐츠 제공 방법.
  9. 디스플레이 장치에 있어서,
    복수의 컨텐츠가 포함된 컨텐츠 UI를 디스플레이하는 디스플레이부;
    상기 컨텐츠 UI 내에 사용자가 응시하는 영역을 검출하는 응시 영역 검출부;
    상기 사용자의 뇌파를 측정하는 뇌파 측정부; 및
    상기 뇌파 측정부에서 측정된 사용자의 뇌파를 이용하여 상기 사용자가 응시하는 영역에 위치하는 응시 컨텐츠의 선호도를 판단하고, 상기 판단된 선호도를 바탕으로 상기 컨텐츠 UI를 제공하도록 상기 디스플레이부를 제어하는 제어부;를 포함하는 디스플레이 장치.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 응시 컨텐츠의 선호도가 기 설정된 값 이상인 경우, 상기 응시 컨텐츠와 유사한 컨텐츠를 추천 컨텐츠로 제공하는 것을 특징으로 하는 디스플레이 장치.
  11. 제9항에 있어서,
    상기 제어부는,
    상기 응시 컨텐츠의 선호도가 기 설정된 값 이상인 경우, 상기 응시 컨텐츠 및 상기 응시 컨텐츠와 유사한 컨텐츠 중 적어도 하나의 크기를 증가시켜 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  12. 제9항에 있어서,
    상기 제어부는,
    상기 컨텐츠 UI 내의 복수의 영역에 대한 선호도를 판단하고, 상기 응시 컨텐츠의 선호도가 기 설정된 값 이상인 경우, 상기 응시 컨텐츠 및 상기 응시 컨텐츠와 유사한 컨텐츠 중 적어도 하나를 상기 컨텐츠 UI 내에서 선호도가 높은 영역에 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  13. 제12항에 있어서,
    상기 제어부는,
    상기 응시 컨텐츠의 선호도가 기 설정된 값 미만인 경우, 상기 응시 컨텐츠 및 상기 응시 컨텐츠와 유사한 컨텐츠 중 적어도 하나를 상기 컨텐츠 UI 내에서 선호도가 낮은 영역에 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  14. 제9항에 있어서,
    상기 제어부는,
    상기 응시 컨텐츠의 선호도가 기설정된 값 미만인 경우, 상기 응시 컨텐츠 및 상기 응시 컨텐츠와 유사한 컨텐츠 중 적어도 하나를 삭제하거나 크기를 축소시켜 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  15. 제9항에 있어서,
    상기 응시 영역 검출부는,
    상기 사용자의 얼굴 방향 및 눈동자의 움직임 중 적어도 하나를 추적하여 사용자가 응시하는 영역을 검출하는 것을 특징으로 하는 디스플레이 장치.
  16. 제9항에 있어서,
    상기 디스플레이 장치가 3D 디스플레이 장치인 경우,
    상기 뇌파 측정부는 상기 3D 디스플레이 장치와 연동하는 3D 안경에 부착된 것을 특징으로 하는 디스플레이 장치.
KR1020120078309A 2012-07-18 2012-07-18 컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치 KR20140011204A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020120078309A KR20140011204A (ko) 2012-07-18 2012-07-18 컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치
EP13173882.5A EP2687946A1 (en) 2012-07-18 2013-06-26 Method for providing content and display apparatus adopting the same
CN201310298001.4A CN103576853A (zh) 2012-07-18 2013-07-16 用于提供内容的方法和显示装置
US13/943,957 US9535499B2 (en) 2012-07-18 2013-07-17 Method and display apparatus for providing content
JP2013148223A JP2014021986A (ja) 2012-07-18 2013-07-17 コンテンツ提供方法及びそれを適用したディスプレイ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120078309A KR20140011204A (ko) 2012-07-18 2012-07-18 컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치

Publications (1)

Publication Number Publication Date
KR20140011204A true KR20140011204A (ko) 2014-01-28

Family

ID=48782872

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120078309A KR20140011204A (ko) 2012-07-18 2012-07-18 컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치

Country Status (5)

Country Link
US (1) US9535499B2 (ko)
EP (1) EP2687946A1 (ko)
JP (1) JP2014021986A (ko)
KR (1) KR20140011204A (ko)
CN (1) CN103576853A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101648017B1 (ko) * 2015-03-23 2016-08-12 현대자동차주식회사 디스플레이 장치, 차량 및 디스플레이 방법
US10284537B2 (en) 2015-02-11 2019-05-07 Google Llc Methods, systems, and media for presenting information related to an event based on metadata
US10425725B2 (en) * 2015-02-11 2019-09-24 Google Llc Methods, systems, and media for ambient background noise modification based on mood and/or behavior information
KR20210114085A (ko) * 2020-03-09 2021-09-23 주식회사 컴플렉시온 사용자의 성향 및 몰입정도에 기반한 콘텐츠 추천 방법 및 제공장치
US11392580B2 (en) 2015-02-11 2022-07-19 Google Llc Methods, systems, and media for recommending computerized services based on an animate object in the user's environment
US11494426B2 (en) 2015-02-11 2022-11-08 Google Llc Methods, systems, and media for modifying the presentation of contextually relevant documents in browser windows of a browsing application

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5885049B2 (ja) * 2013-10-17 2016-03-15 Dic株式会社 重合性液晶組成物の製造方法
US20150113454A1 (en) * 2013-10-21 2015-04-23 Motorola Mobility Llc Delivery of Contextual Data to a Computing Device Using Eye Tracking Technology
CN107210830B (zh) * 2015-02-05 2020-01-10 华为技术有限公司 一种基于生物特征的对象呈现、推荐方法和装置
EP3392739B1 (en) 2015-12-17 2022-04-20 Looxid Labs Inc. Eye-brain interface (ebi) system and method for controlling same
US20170322679A1 (en) * 2016-05-09 2017-11-09 John C. Gordon Modifying a User Interface Based Upon a User's Brain Activity and Gaze
EP3316117A1 (en) * 2016-10-31 2018-05-02 Nokia Technologies OY Controlling content displayed in a display
WO2018088186A1 (ja) 2016-11-08 2018-05-17 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
WO2018164960A1 (en) * 2017-03-07 2018-09-13 Cornell University Sensory evoked response based attention evaluation systems and methods
CN107273489B (zh) * 2017-06-14 2019-08-30 掌阅科技股份有限公司 内容推送方法、电子设备及计算机存储介质
US10091554B1 (en) * 2017-12-06 2018-10-02 Echostar Technologies L.L.C. Apparatus, systems and methods for generating an emotional-based content recommendation list
JP6911809B2 (ja) * 2018-05-09 2021-07-28 日本電信電話株式会社 推定方法、推定プログラム及び推定装置
CN110769341B (zh) * 2018-07-27 2021-06-29 深圳博科智能科技有限公司 一种智能耳机的控制方法及智能耳机
KR102168968B1 (ko) * 2019-01-28 2020-10-22 주식회사 룩시드랩스 생체 데이터를 이용한 하이라이트 영상 생성 방법 및 그 장치
US11904866B2 (en) * 2019-07-31 2024-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for brain-machine interfaces and EEG-based driver identification
CN114594852A (zh) * 2020-12-07 2022-06-07 北京小米移动软件有限公司 电子设备的控制方法及装置、电子设备及存储介质
US11899839B1 (en) * 2022-03-01 2024-02-13 Hrl Laboratories, Llc System for multimodal machine-aided comprehension analysis and assistance

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5740812A (en) * 1996-01-25 1998-04-21 Mindwaves, Ltd. Apparatus for and method of providing brainwave biofeedback
JP2004156922A (ja) * 2002-11-01 2004-06-03 Mitsubishi Electric Corp ナビゲーション装置
EP1611499A2 (en) * 2003-03-21 2006-01-04 Queen's University At Kingston Method and apparatus for communication between humans and devices
JP2006196995A (ja) * 2005-01-11 2006-07-27 Matsushita Electric Ind Co Ltd ３次元めがね視聴検知
US20060252979A1 (en) * 2005-05-09 2006-11-09 Vesely Michael A Biofeedback eyewear system
JP4609244B2 (ja) * 2005-08-30 2011-01-12 ソニー株式会社 コンテンツ再生装置及びコンテンツ再生方法
JP2007156877A (ja) * 2005-12-06 2007-06-21 Fuji Xerox Co Ltd 多層ワーク支援装置、多層ワーク支援装置の表示方法及びプログラム
US20080065468A1 (en) * 2006-09-07 2008-03-13 Charles John Berg Methods for Measuring Emotive Response and Selection Preference
US20090112849A1 (en) * 2007-10-24 2009-04-30 Searete Llc Selecting a second content based on a user's reaction to a first content of at least two instances of displayed content
US9582805B2 (en) 2007-10-24 2017-02-28 Invention Science Fund I, Llc Returning a personalized advertisement
CN101681201B (zh) * 2008-01-25 2012-10-17 松下电器产业株式会社 脑波接口系统、脑波接口装置、方法
US8255827B2 (en) * 2009-01-26 2012-08-28 Microsoft Corporation Dynamic feature presentation based on vision detection
JP4733242B2 (ja) * 2009-10-15 2011-07-27 パナソニック株式会社 運転注意量判別装置、方法、および、コンピュータプログラム
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US8982160B2 (en) * 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
CN102289285B (zh) * 2011-08-16 2016-06-08 海尔集团公司 一种基于意识实现对电子设备控制的方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11516580B2 (en) 2015-02-11 2022-11-29 Google Llc Methods, systems, and media for ambient background noise modification based on mood and/or behavior information
US10284537B2 (en) 2015-02-11 2019-05-07 Google Llc Methods, systems, and media for presenting information related to an event based on metadata
US10425725B2 (en) * 2015-02-11 2019-09-24 Google Llc Methods, systems, and media for ambient background noise modification based on mood and/or behavior information
US10785203B2 (en) 2015-02-11 2020-09-22 Google Llc Methods, systems, and media for presenting information related to an event based on metadata
US10880641B2 (en) 2015-02-11 2020-12-29 Google Llc Methods, systems, and media for ambient background noise modification based on mood and/or behavior information
US11392580B2 (en) 2015-02-11 2022-07-19 Google Llc Methods, systems, and media for recommending computerized services based on an animate object in the user's environment
US11494426B2 (en) 2015-02-11 2022-11-08 Google Llc Methods, systems, and media for modifying the presentation of contextually relevant documents in browser windows of a browsing application
US11671416B2 (en) 2015-02-11 2023-06-06 Google Llc Methods, systems, and media for presenting information related to an event based on metadata
US11841887B2 (en) 2015-02-11 2023-12-12 Google Llc Methods, systems, and media for modifying the presentation of contextually relevant documents in browser windows of a browsing application
US11910169B2 (en) 2015-02-11 2024-02-20 Google Llc Methods, systems, and media for ambient background noise modification based on mood and/or behavior information
US10310600B2 (en) 2015-03-23 2019-06-04 Hyundai Motor Company Display apparatus, vehicle and display method
KR101648017B1 (ko) * 2015-03-23 2016-08-12 현대자동차주식회사 디스플레이 장치, 차량 및 디스플레이 방법
KR20210114085A (ko) * 2020-03-09 2021-09-23 주식회사 컴플렉시온 사용자의 성향 및 몰입정도에 기반한 콘텐츠 추천 방법 및 제공장치

Also Published As

Publication number Publication date
US9535499B2 (en) 2017-01-03
JP2014021986A (ja) 2014-02-03
EP2687946A1 (en) 2014-01-22
CN103576853A (zh) 2014-02-12
US20140022157A1 (en) 2014-01-23

Similar Documents

Publication Publication Date Title
KR20140011204A (ko) 컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치
US9996155B2 (en) Manipulation of virtual object in augmented reality via thought
US9996983B2 (en) Manipulation of virtual object in augmented reality via intent
US11257459B2 (en) Method and apparatus for controlling an electronic device
KR102333704B1 (ko) 생체 신호에 기초하여 컨텐츠를 처리하는 방법, 및 그에 따른 디바이스
US10552004B2 (en) Method for providing application, and electronic device therefor
US9996154B2 (en) Apparatus and method of controlling display apparatus
CN110968189A (zh) 作为认知控制信号的瞳孔调制
US20160374616A1 (en) Electrode contact quality
JP2015152938A (ja) 情報処理装置、情報処理方法、及びプログラム
KR20160101605A (ko) 제스처 입력 처리 방법 및 이를 지원하는 전자 장치
CN104615231B (zh) 一种输入信息的确定方法和设备
JP2022094784A (ja) コンテンツ提案装置、感情測定端末、コンテンツ提案システム、及びプログラム

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid