KR101230566B1 - Control device and method thereof - Google Patents

Control device and method thereof Download PDF

Info

Publication number
KR101230566B1
KR101230566B1 KR1020110042813A KR20110042813A KR101230566B1 KR 101230566 B1 KR101230566 B1 KR 101230566B1 KR 1020110042813 A KR1020110042813 A KR 1020110042813A KR 20110042813 A KR20110042813 A KR 20110042813A KR 101230566 B1 KR101230566 B1 KR 101230566B1
Authority
KR
South Korea
Prior art keywords
gaze
user
contents
external device
preference
Prior art date
Application number
KR1020110042813A
Other languages
Korean (ko)
Other versions
KR20120124893A (en
Inventor
이민호
장영민
정성문
김범휘
황병훈
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020110042813A priority Critical patent/KR101230566B1/en
Publication of KR20120124893A publication Critical patent/KR20120124893A/en
Application granted granted Critical
Publication of KR101230566B1 publication Critical patent/KR101230566B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

제어 디바이스가 개시된다. 본 제어 디바이스는 외부 장치에서 제공하는 복수의 컨텐츠를 촬상하는 촬상부, 외부 장치에서 제공하는 복수의 컨텐츠에 대한 사용자의 시선 경로를 검출하는 검출부, 검출된 시선 경로에 기초하여 시선 특징 정보를 추출하는 추출부, 추출된 시선 특징 정보에 기초하여 복수의 컨텐츠 각각에 대한 사용자의 선호도를 판단하는 판단부, 판단된 사용자 선호도에 따른 제어 명령을 생성하는 제어부, 및, 생성된 제어 명령을 외부 장치에 전송한다. The control device is disclosed. The control device includes an image pickup unit that captures a plurality of contents provided by an external device, a detection unit that detects a user's gaze path for a plurality of contents provided by the external device, and extracts gaze feature information based on the detected gaze path. An extractor, a determiner that determines a user's preference for each of a plurality of contents based on the extracted gaze feature information, a controller that generates a control command according to the determined user preference, and transmits the generated control command to an external device do.

Description

제어 디바이스 및 그 제어 방법{CONTROL DEVICE AND METHOD THEREOF}Control device and its control method {CONTROL DEVICE AND METHOD THEREOF}

본 발명은 제어 디바이스 및 그 제어 방법에 관한 것으로, 보다 상세하게는 사용자의 시선을 이용하여 컨텐츠에 대한 사용자의 선호도를 판단하고, 판단된 사용자 선호도에 따라 외부 장치를 제어할 수 있는 제어 디바이스 및 그 제어 방법에 관한 것이다. The present invention relates to a control device and a control method thereof, and more particularly, a control device capable of determining a user's preference for content using a user's gaze and controlling an external device according to the determined user's preference. It relates to a control method.

최근 기술이 발달함에 따라 다양한 전자 기기들이 계발되고 있다. 그러나 이러한 전자 기기를 제어하기 위한 인터페이스의 발달은 더딘 실정이다. With the recent development of technology, various electronic devices have been developed. However, development of an interface for controlling such electronic devices is slow.

이러한 점에서, 최근 사용자 인터페이스(Human Computer Interface, HCI) 및 인간과 로봇 상호 작용(Human-Robot Interaction, HRI) 분야에서 사용자의 시선을 이용하여 인터페이스를 제공할 수 있는 방법의 연구가 활발하다. In this regard, researches on how to provide an interface using a user's gaze in the field of human computer interface (HCI) and human-robot interaction (HRI) have been actively conducted.

그러나 사용자의 시선은 사용자의 의도 및 심리 상태에 따라서 변화하며, 키보드 및 컴퓨터 마우스를 사용하여 전해지는 명백한 의도가 아닌 의사 표시라는 점에서, 사용자의 시선을 이용하여 사용자 명령을 인식하기에 용이하지 않았다. However, the user's gaze changes according to the user's intention and psychological state, and it is not easy to recognize the user command using the user's gaze in that it is not a clear intention conveyed by using a keyboard and a computer mouse. .

사용자의 시선을 통하여 컨텐츠에 대한 사용자 선호도를 판단하고, 판단된 사용자 선호도에 따라 외부 장치를 제어할 수 있는 제어 디바이스 및 그 제어 방법을 제공하는 데 있다. The present invention provides a control device capable of determining a user's preference for content through a user's eyes and controlling an external device according to the determined user's preference, and a control method thereof.

이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 제어 디바이스는, 상기 외부 장치에서 제공하는 복수의 컨텐츠를 촬상하는 촬상부, 상기 외부 장치에서 제공하는 복수의 컨텐츠에 대한 사용자의 시선 경로를 검출하는 검출부, 상기 검출된 시선 경로에 기초하여 시선 특징 정보를 추출하는 추출부, 상기 추출된 시선 특징 정보에 기초하여 상기 복수의 컨텐츠 각각에 대한 사용자의 선호도를 판단하는 판단부, 상기 판단된 사용자 선호도에 따른 제어 명령을 생성하는 제어부, 및, 상기 생성된 제어 명령을 상기 외부 장치에 전송하는 통신 인터페이스부를 포함한다. The control device according to an embodiment of the present invention for achieving the above object, the image pickup unit for capturing a plurality of contents provided by the external device, the user's gaze path to the plurality of contents provided by the external device A detection unit for detecting a gaze path, an extraction unit for extracting gaze feature information based on the detected gaze path, a determination unit for determining a user's preference for each of the plurality of contents based on the extracted gaze feature information, and the determined unit And a control unit for generating a control command according to a user preference, and a communication interface unit for transmitting the generated control command to the external device.

이 경우, 상기 시선 특징 정보는, 상기 복수의 컨텐츠 각각에서 시선이 머무는 위치, 상기 복수의 컨텐츠 각각에 대한 응시 시간, 눈 깜박임 횟수, 동공크기 변화 중 적어도 하나의 정보인 것이 바람직하다. In this case, the gaze characteristic information is preferably at least one of a position where the gaze stays in each of the plurality of contents, a gaze time for each of the plurality of contents, the number of blinks, and a change in pupil size.

한편, 상기 판단부는, 선택적 주의 집중 모델을 이용하여 추출된 시선 특징 정보에 대응하는 사용자의 선호도를 파악하는 것이 바람직하다. On the other hand, the determination unit, it is preferable to grasp the user's preference corresponding to the gaze feature information extracted by using the selective attention model.

이 경우, 상기 판단부는, 생물학적 기반 선택적 주의 집중 모델을 이용하여 상기 촬상부를 통해 촬상된 이미지에서 복수의 영역을 검출하고, IPCA(Incremental Principal Componet Analysis) 모델을 이용하여 상기 검출된 복수의 영역 각각의 점진적 특징을 추출하고, 뉴럴 네트워크(Neural network) 모델 및 상기 추출된 복수의 영역 각각의 점진적 특징을 이용하여 상기 촬상된 이미지 상에서 복수의 컨텐츠를 인식하는 것이 바람직하다. In this case, the determination unit detects a plurality of regions in the image captured by the imaging unit using a biologically-based selective attention model, and uses each of the detected plurality of regions using an incremental principal computation analysis (IPCA) model. It is desirable to extract progressive features and to recognize a plurality of contents on the captured image using a neural network model and the progressive features of each of the extracted plurality of regions.

한편, 상기 제어 명령은, 채널 변경 명령, 상기 복수의 컨텐츠 중 적어도 하나의 컨텐츠에 대한 선택 명령 중 적어도 하나의 제어 명령인 것이 바람직하다. The control command may be at least one control command among a channel change command and a selection command for at least one of the plurality of contents.

한편, 상기 제어 디바이스는 안경 형태를 갖는 것이 바람직하다. On the other hand, the control device preferably has the form of glasses.

한편, 본 실시 예에 따른 제어 방법은, 상기 외부 장치에서 제공하는 복수의 컨텐츠를 촬상하는 단계, 상기 외부 장치에서 제공하는 복수의 컨텐츠에 대한 사용자의 시선 경로를 검출하는 단계, 상기 검출된 시선 경로에 기초하여 시선 특징 정보를 추출하는 단계, 상기 추출된 시선 특징 정보에 기초하여 상기 복수의 컨텐츠 각각에 대한 사용자의 선호도를 판단하는 단계, 상기 판단된 사용자 선호도에 따른 제어 명령을 생성하는 단계, 및, 상기 생성된 제어 명령을 상기 외부 장치에 전송하는 단계를 포함한다. On the other hand, the control method according to the present embodiment, photographing a plurality of contents provided by the external device, detecting a user's gaze path for a plurality of contents provided by the external device, the detected gaze path Extracting gaze feature information based on the determined gaze feature information; determining a user's preference for each of the plurality of contents based on the extracted gaze feature information; generating a control command according to the determined user preference; And transmitting the generated control command to the external device.

이 경우, 상기 시선 특징 정보는, 상기 복수의 컨텐츠 각각에서 시선이 머무는 위치, 상기 복수의 컨텐츠 각각에 대한 응시 시간, 눈 깜박임 횟수, 동공크기 변화 중 적어도 하나의 정보인 것이 바람직하다. In this case, the gaze characteristic information is preferably at least one of a position where the gaze stays in each of the plurality of contents, a gaze time for each of the plurality of contents, the number of blinks, and a change in pupil size.

한편, 상기 판단부는, 선택적 주의 집중 모델을 이용하여 추출된 시선 특징 정보에 대응하는 사용자의 선호도를 파악하는 것이 바람직하다. On the other hand, the determination unit, it is preferable to grasp the user's preference corresponding to the gaze feature information extracted using the selective attention model.

한편, 상기 제어 명령은, 채널 변경 명령, 상기 복수의 컨텐츠 중 적어도 하나의 컨텐츠에 대한 선택 명령 중 적어도 하나의 제어 명령인 것이 바람직하다. The control command may be at least one control command among a channel change command and a selection command for at least one of the plurality of contents.

도 1은 본 발명의 일 실시 예에 따른 홈 네트워크 시스템의 구성을 도시한 블록도,
도 2는 도 1의 제어 디바이스의 구체적인 구성을 도시한 블록도,
도 3은 도 1의 외부 장치의 구체적인 구성을 도시한 블록도,
도 4는 도 1의 제어 디바이스의 구체적인 형상을 도시한 도면,
도 5는 도 3의 외부 장치에서 표시될 수 있는 사용자 인터페이스 창의 일 예를 도시한 도면, 그리고,
도 6은 본 실시 예에 따른 제어 방법을 설명하기 위한 흐름도이다. 1 is a block diagram showing the configuration of a home network system according to an embodiment of the present invention;
2 is a block diagram showing a specific configuration of the control device of FIG.
3 is a block diagram illustrating a specific configuration of an external device of FIG. 1;
4 shows a specific shape of the control device of FIG. 1, FIG.
5 is a diagram illustrating an example of a user interface window that may be displayed on the external device of FIG. 3, and
6 is a flowchart illustrating a control method according to the present embodiment.

이하 첨부된 도면들을 참조하여 본 발명에 대하여 보다 상세하게 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will now be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시 예에 따른 홈 네트워크 시스템의 구성을 도시한 블록도이다. 1 is a block diagram showing the configuration of a home network system according to an embodiment of the present invention.

도 1을 참고하면, 홈 네트워크 시스템(1000)은 제어 디바이스(100) 및 외부 장치(200)를 포함한다. Referring to FIG. 1, the home network system 1000 includes a control device 100 and an external device 200.

제어 디바이스(100)는 외부 장치(200)를 제어하는 구성으로, 외부 장치(200)에 대한 제어 명령을 전송한다. 구체적으로, 제어 디바이스(100)는 사용자의 시선 경로를 검출하고, 검출된 시선 경로에서 시선 특징 정보를 추출하고, 추출된 시선 특징 정보를 통하여 외부 장치(200)가 제공하는 컨텐츠 각각에 대한 사용자 선호도를 판단할 수 있다. 그리고 제어 디바이스(100)는 판단된 사용자 선호도에 따른 제어 명령을 생성하고, 생성된 제어 명령을 외부 장치(200)에 전송할 수 있다. 이러한 제어 디바이스(100)는 휴대폰, 리모컨, MP3 player, PMP, 내비게이션, 디지털 액자, 3D 안경일 수 있으며, 이러한 제어 디바이스(100)는 안경 형태를 가질 수 있다. 제어 디바이스(100)의 구체적인 구성 및 동작에 대해서는 도 2를 참고하여 후술한다. The control device 100 controls the external device 200 and transmits a control command to the external device 200. In detail, the control device 100 detects a gaze path of the user, extracts gaze feature information from the detected gaze path, and user preferences for each content provided by the external device 200 through the extracted gaze feature information. Can be determined. The control device 100 may generate a control command according to the determined user preference and transmit the generated control command to the external device 200. The control device 100 may be a mobile phone, a remote controller, an MP3 player, a PMP, a navigation device, a digital picture frame, 3D glasses, and the control device 100 may have a glasses shape. A detailed configuration and operation of the control device 100 will be described later with reference to FIG. 2.

외부 장치(200)는 사용자에게 영상 또는 영상/음성 정보를 제공하는 장치로, 디지털 TV, STB(Set Top Box), PC, 노트북, PMP 등으로 구현될 수 있다. 그리고 외부 장치(200)는 사용자에게 컨텐츠를 제공하고, 제어 디바이스(100)로부터 수신되는 제어 명령에 따라 제어될 수 있다. 외부 장치(200)의 구체적인 구성 및 동작에 대해서는 도 3을 참고하여 후술한다. The external device 200 is a device that provides video or video / audio information to a user, and may be implemented as a digital TV, a set top box (STB), a PC, a notebook, a PMP, or the like. The external device 200 may provide content to the user and may be controlled according to a control command received from the control device 100. A detailed configuration and operation of the external device 200 will be described later with reference to FIG. 3.

도 2는 도 1의 제어 디바이스(100)의 구체적인 구성을 도시한 블록도이다. 2 is a block diagram showing a specific configuration of the control device 100 of FIG.

도 2를 참고하면, 제어 디바이스(100)는 통신 인터페이스부(110), 저장부(120), 촬상부(130), 검출부(140), 추출부(150), 판단부(160) 및 제어부(170)로 구성될 수 있다. Referring to FIG. 2, the control device 100 includes a communication interface 110, a storage 120, an imaging unit 130, a detector 140, an extractor 150, a determiner 160, and a controller ( 170).

통신 인터페이스부(110)는 제어 명령을 송신한다. 구체적으로, 통신 인터페이스부(110)는 외부 장치(200)의 통신 인터페이스부(210)와 링크를 형성하며, 양방향 무선 통신을 통해 외부 장치(200)의 통신 인터페이스부(210)에 후술할 제어부(170)에서 생성한 제어 명령을 전송할 수 있다. 여기서, 여기서 양방향 무선통신이란, BT(BlueTooth), RF(Radio Frequency), WI-FI(Wireless Fiedlity), HDMI-CEC(High Definition Multimedia Interface), Wireless HDMI-CEC 등 현존하는 모든 통신 기술과, 미래의 모든 양방향 무선통신 기술을 포함할 수 있다. 한편, 본 실시 예에서는 양방향 무선 통신 방식으로 제어 명령을 외부 장치(200)에 전송하는 예에 대해서만 설명하였지만, IR 코드로 제어 명령을 생성하여, 단방향 통신을 통하여 외부 장치(200)에 제어 명령을 전송하는 형태로도 구현할 수 있다. The communication interface 110 transmits a control command. In detail, the communication interface unit 110 forms a link with the communication interface unit 210 of the external device 200, and controls the communication unit 210 to be described later with the communication interface unit 210 of the external device 200 through two-way wireless communication. The control command generated at 170 may be transmitted. Here, bidirectional wireless communication refers to all existing communication technologies such as BT (BlueTooth), RF (Radio Frequency), WI-FI (Wireless Fiedlity), HDMI-CEC (High Definition Multimedia Interface), Wireless HDMI-CEC, and the future. It may include all of the two-way radio communication technology. Meanwhile, in the present embodiment, only an example of transmitting a control command to the external device 200 in a bidirectional wireless communication method has been described. However, the control command is generated by using an IR code and the control command is transmitted to the external device 200 through unidirectional communication. It can also be implemented in the form of sending.

저장부(120)는 컨텐츠에 대한 사용자 선호도 정보를 저장한다. 구체적으로, 저장부(120)는 IPCA(Incremental Principal Componet Analysis) 알고리즘의 특징 추출 방법과 뉴럴 네트워크(Neural Network) 알고리즘의 트레이닝 모드에 따라 생성되는 선호도 정보를 저장할 수 있다. 여기서 선호도 정보는 어떠한 객체(컨텐츠)에 대한 사용자의 안구운동(시선 경로, 응시 시간, 응시점, 눈깜박임, 동공크기변화)의 정보로 사용자의 선호하는 정도에 대한 학습 정보이다. The storage unit 120 stores user preference information about content. In detail, the storage unit 120 may store preference information generated according to a feature extraction method of an IPCA (Incremental Principal Componet Analysis) algorithm and a training mode of a neural network algorithm. Here, the preference information is learning information about the user's preference as information of the user's eye movement (eye path, gaze time, gaze point, blinking, and pupil size change) with respect to an object (content).

촬상부(130)는 CCD 소자 및 CMOS 소자와 같은 촬상 소자를 이용하여 외부 장치(200)에서 제공하는 복수의 컨텐츠를 촬상할 수 있다. 그리고 촬상부(130)는 촬상된 이미지상에서 복수의 컨텐츠를 식별할 수 있다. 즉, 촬상부(130)는 외부 장치(200)가 제공하는 컨텐츠를 인식할 수 있다. 본 실시 예에서는 촬상 소자를 이용하여 외부 장치(200)가 제공하는 컨텐츠를 인식하는 실시 예만을 설명하지만, 구현시에는 통신 인터페이스부(110)를 이용하여 외부 장치(200)가 제공하는 컨텐츠에 대한 정보를 외부 장치(200)로부터 수신하는 형태로도 구현할 수 있다. The imaging unit 130 may capture a plurality of contents provided by the external device 200 using an imaging device such as a CCD device and a CMOS device. In addition, the imaging unit 130 may identify a plurality of contents on the captured image. That is, the imaging unit 130 may recognize content provided by the external device 200. In the present embodiment, only the embodiment of recognizing the content provided by the external device 200 using the imaging device will be described. However, in the implementation, the content provided by the external device 200 is communicated using the communication interface 110. It may also be implemented in the form of receiving information from the external device 200.

검출부(140)는 복수의 컨텐츠에 대한 사용자의 시선 경로를 검출한다. 구체적으로, 검출부(140)는 촬상 소자(또는 촬상 장치, 촬영장치)를 이용하여 사용자의 눈을 촬상하고, 촬상된 이미지상에서 사용자의 동공 위치를 검출하고, 촬상된 이미지상의 검출된 동공 위치에 기초하여 사용자의 시선을 검출할 수 있다. 그리고 검출부(140)는 이러한 시선 검출 동작을 실시간으로 수행하여 사용자의 시선 경로를 검출할 수 있다. 검출부(140)에서 검출된 사용자의 시선 경로는 저장부(120)에 저장할 수 있다. The detector 140 detects a gaze path of the user with respect to the plurality of contents. Specifically, the detection unit 140 captures the user's eyes using an imaging device (or imaging device, imaging device), detects the user's pupil position on the captured image, and based on the detected pupil position on the captured image. The gaze of the user can be detected. In addition, the detection unit 140 may detect the gaze path of the user by performing the gaze detection operation in real time. The gaze path of the user detected by the detector 140 may be stored in the storage 120.

추출부(150)는 검출된 사용자의 시선 경로에서 시선 특징 정보를 추출할 수 있다. 구체적으로, 추출부(150)는 검출부(140)에서 검출된 사용자의 시선 경로에서, '최초 고정 시간(time to first fixation)', '머무는 위치', '고정 길이(fixation length)', '고정 횟수(fixation count)', '관찰 길이(observation length)', '관찰 횟수(observation count)', '고정 비포(fixation before)', '참여율(Paricipant %)', '눈 깜박임 횟수', '동공크기 변화'와 같은 시선 특징 정보를 추출할 수 있다. The extraction unit 150 may extract gaze feature information from the detected gaze path of the user. Specifically, the extraction unit 150 is a 'time to first fixation', 'staying position', 'fixation length', 'fixed' in the gaze path of the user detected by the detector 140 'Fixation count', 'observation length', 'observation count', 'fixation before', 'Paricipant%', 'eye blink', 'pupil' Gaze characteristic information such as 'change in size' can be extracted.

여기서 '최초 고정 시간(time to first fixation)'은 자극(시각적 이미지)을 제공받은 이후에 사용자의 시선이 고정될 때까지의 시간, 즉, 사용자 시선의 첫 번째로 고정될 때까지의 시간이고, '머무는 위치'는 복수의 컨텐츠 중 사용자가 응시한 컨텐츠이고, '고정 길이(fixation length)'은 복수의 컨텐츠 각각에서 사용자의 응시 시간이며, '고정 횟수(fixation count)'는 이미지의 특정 컨텐츠에서 사용자의 시선이 머무는 횟수이며, '관찰 길이(observation length)'는 특정 컨텐츠에서 사용자의 시선이 머무는 총 시간이고, '관찰 횟수(observation count)'는 특정 컨텐츠에 사용자의 시선이 다시 머무는 횟수이고, '고정 비포(fixation before)'는 특정 컨텐츠 안에서 첫 번째로 시선이 머무르기 전까지 시선이 정지한 횟수이고, '참여율(Paricipant %)'은 특정 컨텐츠 내에 적어도 한번 시선이 머물렀던 사용자들의 퍼선테지, 즉, 특정 컨텐츠에 대한 사용자들의 시선 고정 빈도이다. 그리고 '눈 깜박임 횟수'는 기설정된 시간 동안 사용자의 눈 깜박임 횟수이고, '동공크기 변화'는 자극을 제공받은 이후에 사용자의 시선이 고정될 때까지의 동공 크기 변화이다. 시선 특징 정보 각각을 사용자의 시선 경로에서 추출하는 방법은 널리 알려져 있는바, 각각의 시선 특징 정보를 추출하는 구체적인 방법에 대한 설명은 생략한다. Here, 'time to first fixation' is the time until the user's gaze is fixed after receiving the stimulus (visual image), that is, the time from the first fixation of the user's gaze, 'Location stayed' is the content stared by the user among the plurality of contents, 'fixation length' is the user's gaze time in each of the plurality of contents, 'fixation count' is the specific content of the image The number of times the user's eyes stay, the 'observation length' is the total time the user's eyes stay on the specific content, the 'observation count' is the number of times the user's eyes stay on the specific content, 'Fixation before' is the number of times the gaze has stopped before the first line of sight stays in the specific content, and 'Paricipant%' is the number of times that the line of sight Persistence of the users who stayed, that is, the fixed frequency of the eyes of the user for the specific content. The number of eye blinks is the number of eye blinks of the user for a predetermined time, and the change in pupil size is the change in pupil size until the user's gaze is fixed after the stimulus is provided. Since a method of extracting each gaze feature information from a gaze path of a user is widely known, a description of a specific method of extracting each gaze feature information is omitted.

판단부(160)는 촬상부(130)에서 촬상된 이미지 상에서 복수의 컨텐츠를 인식할 수 있다. 구체적으로, 판단부(160)는 생물학적 기반 선택적 주의 집중 모델을 이용하여 촬상부(160)를 통해 촬상된 이미지에서 복수의 영역(컨텐츠라고 예상되는 영역)을 검출하고, IPCA(Incremental Principal Componet Analysis) 모델을 이용하여 검출된 복수의 영역 각각의 점진적 특징을 추출하고, 뉴럴 네트워크(Neural network) 모델에 추출된 복수의 영역 각각의 점진적 특징 입력하여 촬상된 이미지 상에서 존재하는 복수의 컨텐츠를 인식할 수 있다. The determination unit 160 may recognize the plurality of contents on the captured image from the imaging unit 130. In detail, the determination unit 160 detects a plurality of regions (regions expected to be contents) in the image captured by the imaging unit 160 using a biologically-based selective attention model, and performs an incremental principle analysis (IPCA). It is possible to extract a gradual feature of each of the detected regions using the model, and input a gradual feature of each of the regions extracted in the neural network model to recognize a plurality of contents existing on the captured image. .

판단부(160)는 추출된 시선 특징 정보에 기초하여 복수의 컨텐츠 각각에 대한 사용자의 선호도를 판단한다. 구체적으로, 판단부(160)는 촬상부(130)에서 식별된 복수의 컨텐츠 각각에 대해서 사용자의 시선이 머무는 위치 및 컨텐츠 각각에 대한 응시 시간 등의 시선 특징 정보에 기초하여 사용자가 선호하는 컨텐츠를 파악할 수 있다. 이때, 판단부(160)는 IPCA 알고리즘 및 뉴럴 네트워크 알고리즘이 적용된 선택적 주의 집중 모델을 이용하여 사용자의 선호도를 파악할 수 있다. 이러한 컨텐츠 각각에 대한 선호도 정보는 저장부(120)에 저장될 수 있다. 따라서, 판단부(160)는 식별된 컨텐츠 각각에 대한 기저장된 선호도 정보 및 추출된 시선 특징 정보에 따라 현재 외부 장치(200)가 제공하는 컨텐츠에 대한 사용자 선호도를 판단할 수 있다. The determination unit 160 determines a user's preference for each of the plurality of contents based on the extracted gaze feature information. In detail, the determination unit 160 selects the content that the user prefers based on the gaze characteristic information such as the location where the user's gaze stays and the gaze time for each of the contents for each of the plurality of contents identified by the imaging unit 130. I can figure it out. At this time, the determination unit 160 may determine the user's preference by using the selective attention model to which the IPCA algorithm and the neural network algorithm are applied. The preference information for each of these contents may be stored in the storage 120. Accordingly, the determination unit 160 may determine a user preference for content currently provided by the external device 200 according to previously stored preference information and extracted gaze feature information for each identified content.

제어부(170)는 제어 디바이스(100) 내의 각 구성을 제어한다. 구체적으로, 외부 장치(200)에서 복수의 컨텐츠가 제공되는 경우, 제어부(170)는 외부 장치(200)가 제공하는 복수의 컨텐츠가 촬상되도록 촬상부(130)를 제어하고, 사용자의 시선 경로가 검출되도록 검출부(140)를 제어할 수 있다. 그리고 검출된 시선 경로에 따라 사용자의 선호도가 판단되도록 추출부(150) 및 판단부(160)를 제어할 수 있다. The controller 170 controls each component in the control device 100. In detail, when a plurality of contents are provided by the external device 200, the controller 170 controls the imaging unit 130 to capture a plurality of contents provided by the external device 200, and the user's gaze path The detector 140 may be controlled to be detected. The extractor 150 and the determiner 160 may be controlled to determine the user's preference according to the detected gaze path.

그리고 제어부(170)는 판단된 사용자 선호도에 따른 제어 명령을 생성할 수 있다. 구체적으로, 특정 컨텐츠에 대한 사용자의 선호도가 기설정된 값 이상을 갖는 경우, 제어부(170) 사용자의 선호도가 높은 컨텐츠를 선택하는 제어 명령을 생성할 수 있으며, 외부 장치(200)가 제공하는 복수의 컨텐츠 모두에 대한 사용자의 선호도가 기설정된 값 이하를 갖는 경우, 제어부(170)는 채널 변경 제어 명령 또는 전원 오프 제어 명령을 생성할 수 있다. 그리고 제어부(170)는 외부 장치(200)가 제공하는 컨텐츠에 대한 사용자 선호도가 기설정된 값 이상을 갖는 경우, 별도의 제어 명령을 생성할 수 있다. The controller 170 may generate a control command according to the determined user preference. In detail, when a user's preference for a specific content has a preset value or more, the controller 170 may generate a control command for selecting a content having a high user preference, and the plurality of external devices 200 may provide a plurality of control commands. If the user's preference for all of the contents has a preset value or less, the controller 170 may generate a channel change control command or a power off control command. If the user preference of the content provided by the external device 200 has a predetermined value or more, the controller 170 may generate a separate control command.

그리고 제어부(170)는 생성된 제어 명령이 외부 장치(200)에 전송되도록 통신 인터페이스부(110)를 제어할 수 있다. The controller 170 may control the communication interface 110 to transmit the generated control command to the external device 200.

이상과 같이 본 실시 예에 따른 제어 디바이스(100)는 사용자의 시선을 검출하여, 외부 장치(200)가 제공하는 복수의 컨텐츠 각각에 대한 사용자 선호도를 파악할 수 있으며, 파악된 사용자 선호도에 따라 외부 장치(200)에 대한 제어를 수행할 수 있게 된다. As described above, the control device 100 according to the present embodiment detects the gaze of the user, and may grasp the user preferences for each of the plurality of contents provided by the external device 200, and the external device according to the determined user preferences. It is possible to perform the control of the (200).

도 2를 설명함에 있어서, 통신 인터페이스부(110), 저장부(120), 촬상부(130), 검출부(140), 추출부(150), 판단부(160) 및 제어부(170)가 하나의 장치에 집적되는 것으로 설명하였으나, 촬상부(130), 검출부(140) 구성은 별도의 기기로 구현될 수도 있다. 2, the communication interface 110, the storage 120, the imaging unit 130, the detection unit 140, the extraction unit 150, the determination unit 160, and the control unit 170 are one unit. Although described as being integrated in the device, the configuration of the imaging unit 130 and the detector 140 may be implemented as a separate device.

도 3은 도 1의 외부 장치의 구체적인 구성을 도시한 블록도이다. 3 is a block diagram illustrating a specific configuration of the external device of FIG. 1.

도 3을 참고하면, 외부 장치(200)는 통신 인터페이스부(210), 저장부(220), 사용자 인터페이스부(230) 및 제어부(240)를 포함한다. Referring to FIG. 3, the external device 200 includes a communication interface 210, a storage 220, a user interface 230, and a controller 240.

통신 인터페이스부(210)는 양방향 통신을 통하여 제어 디바이스(100)로부터 제어 명령을 입력받는다. 구체적으로, 통신 인터페이스부(210)는 양방향 통신을 통행 제어 디바이스(100)의 통신 인터페이스부(110)와 연결되며, 제어 디바이스(100)로부터 제어 명령을 수신할 수 있다. 그리고 통신 인터페이스부(210)는 외부 장치(200)가 사용자 인터페이스부(230)를 통해 표시하는 컨텐츠에 대한 정보를 제어 디바이스(100)에 전송할 수 있다. 예를 들어, 현재 외부 장치(200)가 표시하는 사용자 인터페이스 창에 포함된 컨텐츠의 목록 및 각 컨텐츠의 UI 상의 위치를 제어 디바이스(100)에 제공할 수 있다. The communication interface 210 receives a control command from the control device 100 through bidirectional communication. In detail, the communication interface 210 may be connected to the communication interface 110 of the traffic control device 100 through bidirectional communication, and receive a control command from the control device 100. In addition, the communication interface 210 may transmit information about the content displayed by the external device 200 through the user interface 230 to the control device 100. For example, the list of contents included in the user interface window displayed by the external device 200 and the location of each of the contents may be provided to the control device 100.

저장부(220)는 외부 장치(200)에서 지원하는 각종 서비스에 대응하는 콘텐츠를 저장할 수 있다. 이와 같은 저장부(220)는 외부 장치(200) 내의 저장매체 및 외부 저장매체, 예를 들어, USB 메모리를 포함한 Removable Disk, 별도의 호스트(host)에 연결된 저장매체, 네트워크를 통하여 웹서버(Web server)로 구현될 수 있다. The storage unit 220 may store contents corresponding to various services supported by the external device 200. The storage unit 220 may include a storage medium and an external storage medium in the external device 200, for example, a removable disk including a USB memory, a storage medium connected to a separate host, and a web server through a network. server).

사용자 인터페이스부(230)는 외부 장치(200)에서 제공하는 정보를 표시할 수 있다. 사용자 인터페이스부(230)는 터치패드 등과 같이 입력과 출력이 동시에 구현되는 장치로 구현될 수 있고, LCD, PDP, CRT 와 같은 영상 표시장치일 수 있다. 이에 따라 사용자는 외부 장치(200)에서 제공되는 각종 서비스에 대응하는 콘텐츠를 제공받을 수 있다. The user interface 230 may display information provided by the external device 200. The user interface 230 may be implemented as a device in which input and output are simultaneously implemented, such as a touch pad, or may be an image display device such as an LCD, a PDP, or a CRT. Accordingly, the user may be provided with content corresponding to various services provided by the external device 200.

제어부(240)는 외부 장치(200) 내의 각 구성을 제어한다. 구체적으로, 제어부(240)는 통신 인터페이스부(210)를 통해 수신된 제어 명령에 기초한 동작이 수행되도록 외부 장치(200) 내의 각 구성을 제어할 수 있다. The controller 240 controls each component in the external device 200. In detail, the controller 240 may control each component in the external device 200 to perform an operation based on a control command received through the communication interface 210.

도 4는 도 1의 제어 디바이스의 구체적인 형상을 도시한 도면이다.4 is a view showing a specific shape of the control device of FIG.

도 4를 참고하면, 제어 디바이스(100)는 안경 형태를 가지며, 외부 장치(200)에서 제공하는 복수의 컨텐츠를 촬상하기 위한 촬상부가 제어 디바이스(100)의 전방 방향으로 배치되고, 사용자의 시선 경로를 검출하기 위한 검출부(140)는 제어 디바이스(100)의 후방 방향으로 배치된다. Referring to FIG. 4, the control device 100 has a shape of glasses, and an imaging unit for capturing a plurality of contents provided by the external device 200 is disposed in a forward direction of the control device 100, and a user's gaze path is provided. Detecting unit 140 for detecting the is arranged in the rear direction of the control device 100.

이러한 제어 디바이스(100)는 외부 장치(200)가 제공하는 3D 컨텐츠를 감상하기 위한 3D 안경일 수 있다. The control device 100 may be 3D glasses for viewing 3D content provided by the external device 200.

도 4에서는 하나의 촬상 소자를 이용하여 사용자의 시선 경로를 검출하는 것을 설명하였으나, 구현시에는 두 개의 촬상 소자를 이용하여 사용자의 시선 경로를 검출하는 형태로 구현할 수 있다. 즉, 검출부(140)가 안경 형태의 제어 디바이스(100)의 양측에 배치되는 형태로 구현될 수도 있다. In FIG. 4, the detection of the gaze path of the user using one imaging device has been described. However, in the implementation, the gaze path of the user may be detected using two imaging devices. That is, the detector 140 may be implemented in the form of being disposed on both sides of the control device 100 in the form of glasses.

도 5는 도 3의 외부 장치에서 표시될 수 있는 사용자 인터페이스 창의 일 예를 도시한 도면이다. FIG. 5 is a diagram illustrating an example of a user interface window that may be displayed on the external device of FIG. 3.

도 5를 참고하면 외부 장치(200)의 사용자 인터페이스 창(500)은 현재 사용자가 선택한 컨텐츠를 출력하는 제1 영역(510) 및 사용자가 선택할 수 있는 다른 컨텐츠의 목록을 표시하는 제2 영역(520)을 포함한다. Referring to FIG. 5, the user interface window 500 of the external device 200 may include a first area 510 that outputs a content selected by the current user, and a second area 520 that displays a list of other content that can be selected by the user. ).

이러한 사용자 인터페이스 창(500)을 표시하고 있는 중에, 제어 디바이스(100)는 사용자의 시선을 검출하고, 사용자의 시선이 제1 영역(510)에 계속 위치하면, 별도의 제어 명령을 생성하지 않는다. 그러나 사용자의 시선이 제2 영역(520)에 반복적으로 위치하고, 사용자가 선택한 영역의 컨텐츠가 사용자가 선호하는 컨텐츠인 경우, 제어 디바이스(100)는 사용자가 선호하는 컨텐츠를 선택하는 제어 명령을 외부 장치(200)에 전송할 수 있다. While displaying the user interface window 500, the control device 100 detects the line of sight of the user, and does not generate a separate control command if the line of sight of the user continues to be located in the first area 510. However, when the user's gaze is repeatedly positioned in the second area 520 and the content of the area selected by the user is the user's preferred content, the control device 100 issues a control command for selecting the user's preferred content. And transmit to 200.

한편, 사용자의 시선이 제1 영역(510) 및 제2 영역(520) 이외의 영역에 계속 위치하는 경우, 제어 디바이스(100)는 채널 변경 명령을 선택하는 제어 명령 또는 외부 장치(200)의 전원을 종료하는 제어 명령을 외부 장치(200)에 전송할 수 있다. On the other hand, when the user's gaze continues to be located in an area other than the first area 510 and the second area 520, the control device 100 may select a channel change command or a power source of the external device 200. The control command to terminate the control may be transmitted to the external device 200.

도 6은 본 실시 예에 따른 제어 방법을 설명하기 위한 흐름도이다. 6 is a flowchart illustrating a control method according to the present embodiment.

도 6을 참고하면, 먼저, 외부 장치에서 제공하는 복수의 컨텐츠를 촬상한다(S610). 구체적으로, 외부 장치(200)에서 제공하는 복수의 컨텐츠를 촬상하고, 촬상된 이미지에 포함된 복수의 컨텐츠를 식별할 수 있다. Referring to FIG. 6, first, a plurality of contents provided by an external device are captured (S610). In detail, the plurality of contents provided by the external device 200 may be captured, and the plurality of contents included in the captured image may be identified.

그리고 외부 장치에서 제공하는 복수의 컨텐츠에 대한 사용자의 시선 경로를 검출한다(S620). 구체적으로, 촬상 소자(또는 촬상 장치, 촬영장치)를 이용하여 사용자의 눈을 촬상하고, 촬상된 이미지상에서 사용자의 동공 위치를 검출하고, 촬상된 이미지상의 검출된 동공 위치에 기초하여 사용자의 시선을 검출할 수 있다. 그리고 이러한 시선 검출 동작을 실시간으로 수행하여 사용자의 시선 경로를 검출할 수 있다. In operation S620, a gaze path of the user with respect to the plurality of contents provided by the external device is detected. Specifically, an image of the user's eyes is captured using an imaging device (or an imaging device or an imaging device), the user's pupil position is detected on the captured image, and the user's gaze is based on the detected pupil position on the captured image. Can be detected. The gaze detection operation may be performed in real time to detect a gaze path of the user.

그리고 검출된 시선 경로에 기초하여 시선 특징 정보를 추출한다(S630). 구체적으로, 검출된 사용자의 시선 경로에서, '최초 고정 시간(time to first fixation)', '머무는 위치', '고정 길이(fixation length)', '고정 횟수(fixation count)', '관찰 길이(observation length)', '관찰 횟수(observation count)', '고정 비포(fixation before)', '참여율(Paricipant %)', '눈 깜박임 횟수', '동공크기 변화'와 같은 시선 특징 정보를 추출할 수 있다. The gaze feature information is extracted based on the detected gaze path (S630). Specifically, in the detected user's gaze path, 'time to first fixation', 'staying position', 'fixation length', 'fixation count', 'observation length ( eye feature information such as 'observation length', 'observation count', 'fixation before', 'Paricipant%', 'eye blink count', and 'change in pupil size' Can be.

그리고 추출된 시선 정보에 기초하여 복수의 컨텐츠 각각에 대한 사용자의 선호도를 판단한다(S640). 구체적으로, 식별된 복수의 컨텐츠 각각에 대해서 사용자의 시선이 머무는 위치 및 컨텐츠 각각에 대한 응시 시간 등의 시선 특징 정보에 기초하여 사용자가 선호하는 컨텐츠를 파악할 수 있다. The user's preference for each of the plurality of contents is determined based on the extracted gaze information (S640). In detail, the user's preferred content may be grasped based on gaze characteristic information such as a location where the user's gaze stays on each of the identified plurality of contents and a gaze time for each content.

그리고 판단된 사용자 선호도에 따른 제어 명령을 생성한다(S650). 구체적으로, 특정 컨텐츠에 대한 사용자의 선호도가 기설정된 값 이상을 갖는 경우, 사용자의 선호도가 높은 컨텐츠를 선택하는 제어 명령을 생성할 수 있으며, 외부 장치(200)가 제공하는 복수의 컨텐츠 모두에 대한 사용자의 선호도가 기설정된 값 이하를 갖는 경우, 채널 변경 제어 명령 또는 전원 오프 제어 명령을 생성할 수 있다. In operation S650, a control command is generated according to the determined user preference. In detail, when a user's preference for a specific content has a preset value or more, a control command for selecting a content having a high user's preference may be generated, and the user's preference for all of the plurality of contents provided by the external device 200 may be generated. When the user's preference has a preset value or less, a channel change control command or a power off control command may be generated.

그리고 생성된 제어 명령을 외부 장치(200)에 전송한다(S650). 구체적으로, 생성된 제어 명령을 양방향 무선 통신 또는 단방향 무선 통신을 통해 외부 장치(200)에 전송할 수 있다. In operation S650, the generated control command is transmitted to the external device 200. In detail, the generated control command may be transmitted to the external device 200 through bidirectional wireless communication or unidirectional wireless communication.

따라서, 본 실시 예에 따른 제어 방법은, 사용자의 시선을 통하여 사용자의 선호도를 분석하고, 분석된 사용자 선호도에 따른 제어 명령을 통해 외부 장치를 제어할 수 있다. 도 6과 같은 제어 방법은, 도 2의 구성을 가지는 제어 디바이스 상에서 실행될 수 있으며, 그 밖의 다른 구성을 가지는 사용자 다중의도 분석장치상에서도 실행될 수 있다. Therefore, the control method according to the present embodiment may analyze the user's preference through the eyes of the user and control the external device through the control command according to the analyzed user preference. The control method as shown in FIG. 6 may be executed on the control device having the configuration of FIG. 2 or may be executed on the user multi-intention analysis apparatus having another configuration.

이상에서는 본 발명의 바람직한 실시 예에 대해서 도시하고, 설명하였으나, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 누구든지 다양한 변형 실시할 수 있는 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다. Although the above has been illustrated and described with respect to preferred embodiments of the present invention, the present invention is not limited to the above-described specific embodiments, and the present invention belongs to the present invention without departing from the gist of the present invention as claimed in the claims. Anyone of ordinary skill in the art can make various modifications, and such changes are within the scope of the claims.

1000: 홈 네트워크 시스템 100: 제어 디바이스
110: 통신 인터페이스부 120: 저장부
130: 촬상부 140: 검출부
150: 추출부 160: 판단부
170: 제어부 200: 외부 장치
210: 통신 인터페이스부 220: 저장부
230: 사용자 인터페이스부 240: 제어부1000: home network system 100: control device
110: communication interface unit 120: storage unit
130: imaging unit 140: detection unit
150: extraction unit 160: determination unit
170: control unit 200: external device
210: communication interface unit 220: storage unit
230: user interface unit 240: control unit

Claims (10)

외부 장치를 제어하는 제어 디바이스에 있어서,
상기 외부 장치에서 제공하는 복수의 컨텐츠를 촬상하는 촬상부;
상기 외부 장치에서 제공하는 복수의 컨텐츠에 대한 사용자의 시선 경로를 검출하는 검출부;
상기 검출된 시선 경로에 기초하여 시선 특징 정보를 추출하는 추출부;
상기 추출된 시선 특징 정보에 기초하여 상기 복수의 컨텐츠 각각에 대한 사용자의 선호도를 판단하는 판단부;
상기 판단된 사용자 선호도에 따른 제어 명령을 생성하는 제어부; 및
상기 생성된 제어 명령을 상기 외부 장치에 전송하는 통신 인터페이스부;를 포함하고,
상기 판단부는 선택적 주의 집중 모델을 이용하여 추출된 시선 특징 정보에 대응하는 사용자의 선호도를 파악하는 것을 특징으로 하는 제어 디바이스. In the control device for controlling an external device,
An imaging unit for capturing a plurality of contents provided by the external device;
A detector for detecting a gaze path of a user with respect to a plurality of contents provided by the external device;
An extraction unit to extract gaze feature information based on the detected gaze path;
A determination unit to determine a user's preference for each of the plurality of contents based on the extracted gaze feature information;
A controller configured to generate a control command according to the determined user preference; And
And a communication interface unit for transmitting the generated control command to the external device.
And the determining unit determines a user's preference corresponding to the extracted gaze feature information by using a selective attention model. 제1항에 있어서,
상기 시선 특징 정보는,
상기 복수의 컨텐츠 각각에서 시선이 머무는 위치, 상기 복수의 컨텐츠 각각에 대한 응시 시간, 눈 깜박임 횟수, 동공크기 변화 중 적어도 하나의 정보인 것을 특징으로 하는 제어 디바이스. The method of claim 1,
The gaze feature information,
And at least one of a position at which the gaze stays in each of the plurality of contents, a gaze time for each of the plurality of contents, the number of eye blinks, and a change in pupil size. 삭제delete 제1항에 있어서,
상기 판단부는,
생물학적 기반 선택적 주의 집중 모델을 이용하여 상기 촬상부를 통해 촬상된 이미지에서 복수의 영역을 검출하고, IPCA(Incremental Principal Componet Analysis) 모델을 이용하여 상기 검출된 복수의 영역 각각의 점진적 특징을 추출하고, 뉴럴 네트워크(Neural network) 모델 및 상기 추출된 복수의 영역 각각의 점진적 특징을 이용하여 상기 촬상된 이미지 상에서 복수의 컨텐츠를 인식하는 것을 특징으로 하는 제어 디바이스. The method of claim 1,
The determination unit,
Detects a plurality of regions in the image captured by the imaging unit using a biologically-based selective attention model, and extracts a progressive feature of each of the detected plurality of regions using an incremental principal computation analysis (IPCA) model. And a plurality of contents are recognized on the picked-up image by using a network model and the progressive features of each of the extracted plurality of regions. 제1항에 있어서,
상기 제어 명령은,
채널 변경 명령, 상기 복수의 컨텐츠 중 적어도 하나의 컨텐츠에 대한 선택 명령 중 적어도 하나의 제어 명령인 것을 특징으로 하는 제어 디바이스. The method of claim 1,
The control command,
And a control command of at least one of a channel change command and a selection command for at least one of the plurality of contents. 제1항에 있어서,
상기 제어 디바이스는 안경 형태를 갖는 것을 특징으로 하는 제어 디바이스. The method of claim 1,
And the control device has a form of glasses. 외부 장치를 제어하는 제어 디바이스에서의 제어 방법에 있어서,
상기 외부 장치에서 제공하는 복수의 컨텐츠를 촬상하는 단계;
상기 외부 장치에서 제공하는 복수의 컨텐츠에 대한 사용자의 시선 경로를 검출하는 단계;
상기 검출된 시선 경로에 기초하여 시선 특징 정보를 추출하는 단계;
상기 추출된 시선 특징 정보에 기초하여 상기 복수의 컨텐츠 각각에 대한 사용자의 선호도를 판단하는 단계;
상기 판단된 사용자 선호도에 따른 제어 명령을 생성하는 단계; 및
상기 생성된 제어 명령을 상기 외부 장치에 전송하는 단계;를 포함하고,
상기 사용자의 선호도를 판단하는 단계는 선택적 주의 집중 모델을 이용하여 추출된 시선 특징 정보에 대응하는 사용자의 선호도를 파악하는 것을 특징으로 하는 제어 방법. In the control method in the control device which controls an external apparatus,
Capturing a plurality of contents provided by the external device;
Detecting a gaze path of a user with respect to a plurality of contents provided by the external device;
Extracting gaze feature information based on the detected gaze path;
Determining a user's preference for each of the plurality of contents based on the extracted gaze feature information;
Generating a control command according to the determined user preference; And
Transmitting the generated control command to the external device;
The determining of the user's preference may include determining a user's preference corresponding to the extracted gaze feature information by using a selective attention model. 제7항에 있어서,
상기 시선 특징 정보는,
상기 복수의 컨텐츠 각각에서 시선이 머무는 위치, 상기 복수의 컨텐츠 각각에 대한 응시 시간, 눈 깜박임 횟수, 동공크기 변화 중 적어도 하나의 정보인 것을 특징으로 하는 제어 방법. The method of claim 7, wherein
The gaze feature information,
And at least one of information on a position where the gaze stays in each of the plurality of contents, a gaze time for each of the plurality of contents, the number of eye blinks, and a change in pupil size. 삭제delete 제7항에 있어서,
상기 제어 명령은,
채널 변경 명령, 상기 복수의 컨텐츠 중 적어도 하나의 컨텐츠에 대한 선택 명령 중 적어도 하나의 제어 명령인 것을 특징으로 하는 제어 방법. The method of claim 7, wherein
The control command,
And a control command of at least one of a channel change command and a selection command for at least one of the plurality of contents.
KR1020110042813A 2011-05-06 2011-05-06 Control device and method thereof KR101230566B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110042813A KR101230566B1 (en) 2011-05-06 2011-05-06 Control device and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110042813A KR101230566B1 (en) 2011-05-06 2011-05-06 Control device and method thereof

Publications (2)

Publication Number Publication Date
KR20120124893A KR20120124893A (en) 2012-11-14
KR101230566B1 true KR101230566B1 (en) 2013-02-07

Family

ID=47510152

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110042813A KR101230566B1 (en) 2011-05-06 2011-05-06 Control device and method thereof

Country Status (1)

Country Link
KR (1) KR101230566B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060019681A (en) * 2004-08-28 2006-03-06 삼성전자주식회사 Method and apparatus for proactive recording and displaying of preferred television program by user's eye gaze
KR100949743B1 (en) * 2009-03-20 2010-03-25 동국대학교 산학협력단 Apparatus and method for wearable eye tracking having goggle typed

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060019681A (en) * 2004-08-28 2006-03-06 삼성전자주식회사 Method and apparatus for proactive recording and displaying of preferred television program by user's eye gaze
KR100949743B1 (en) * 2009-03-20 2010-03-25 동국대학교 산학협력단 Apparatus and method for wearable eye tracking having goggle typed

Also Published As

Publication number Publication date
KR20120124893A (en) 2012-11-14

Similar Documents

Publication Publication Date Title
KR101794842B1 (en) System and method for providing haptic feedback to assist in capturing images
US20120105447A1 (en) Augmented reality-based device control apparatus and method using local wireless communication
KR101922589B1 (en) Display apparatus and eye tracking method thereof
KR101978299B1 (en) Apparatus for service contents in contents service system
CN105468147A (en) Intelligent device, system and method for preventing myopia
CN105204642A (en) Adjustment method and device of virtual-reality interactive image
US20160034037A1 (en) Display device and control method thereof, gesture recognition method, and head-mounted display device
KR102238330B1 (en) Display device and operating method thereof
CN103914150A (en) Camera control method and device
US20140340498A1 (en) Using distance between objects in touchless gestural interfaces
EP2834774A1 (en) Analyzing human gestural commands
US20150244984A1 (en) Information processing method and device
CN109782968B (en) Interface adjusting method and terminal equipment
CN103135954B (en) Display device and its control method
TW201426405A (en) Smart switching device and smart switching method and system thereof
KR20220127568A (en) Method for providing home tranninig service and a display apparatus performing the same
CN104077784B (en) Extract the method and electronic equipment of destination object
US20170147274A1 (en) Separation control video system in which mobile terminal and hmd device are independently separated and operating method thereof
KR20180025754A (en) Display apparatus and control method thereof
KR101230566B1 (en) Control device and method thereof
CN106126148B (en) Display control method and electronic equipment
CN104394461A (en) Television self-adaption shutdown control method
RU2015136790A (en) METHOD AND SYSTEM FOR DISPLAYING AN OBJECT AND METHOD AND SYSTEM FOR DISPLAYING AN OBJECT
US11852811B2 (en) Linked display system and head-mounted display
US10606920B2 (en) Eye control of a text stream

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160108

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161219

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171208

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 8