KR101978743B1 - 디스플레이 장치, 상기 디스플레이 장치를 제어하는 원격 제어 장치, 디스플레이 장치 제어 방법, 서버 제어 방법 및 원격 제어 장치 제어 방법 - Google Patents

디스플레이 장치, 상기 디스플레이 장치를 제어하는 원격 제어 장치, 디스플레이 장치 제어 방법, 서버 제어 방법 및 원격 제어 장치 제어 방법 Download PDF

Info

Publication number
KR101978743B1
KR101978743B1 KR1020120116955A KR20120116955A KR101978743B1 KR 101978743 B1 KR101978743 B1 KR 101978743B1 KR 1020120116955 A KR1020120116955 A KR 1020120116955A KR 20120116955 A KR20120116955 A KR 20120116955A KR 101978743 B1 KR101978743 B1 KR 101978743B1
Authority
KR
South Korea
Prior art keywords
information
user
remote control
display device
situation
Prior art date
Application number
KR1020120116955A
Other languages
English (en)
Other versions
KR20140052154A (ko
Inventor
김인지
이용훈
최상언
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120116955A priority Critical patent/KR101978743B1/ko
Priority to US14/055,130 priority patent/US9210359B2/en
Priority to CN201310486566.5A priority patent/CN103826146B/zh
Priority to EP13189108.7A priority patent/EP2723089B1/en
Priority to MX2015004842A priority patent/MX342502B/es
Priority to PCT/KR2013/009342 priority patent/WO2014062032A1/en
Priority to MX2016007262A priority patent/MX362270B/es
Priority to IN3275DEN2015 priority patent/IN2015DN03275A/en
Priority to RU2015114594A priority patent/RU2614519C2/ru
Priority to JP2013218183A priority patent/JP6525496B2/ja
Publication of KR20140052154A publication Critical patent/KR20140052154A/ko
Priority to US14/929,919 priority patent/US9769413B2/en
Priority to JP2019016970A priority patent/JP2019083564A/ja
Application granted granted Critical
Publication of KR101978743B1 publication Critical patent/KR101978743B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen

Abstract

본 발명은 디스플레이 장치, 상기 디스플레이 장치를 제어하는 원격 제어 장치와 상기 디스플레이 장치 제어 방법, 상기 원격 제어 장치 제어 방법 및 이와 관련된 서버 제어 방법에 관한 것으로, 디스플레이 장치의 제어 방법은 적어도 하나의 상황 정보를 수집하거나 원격 제어 장치로부터 적어도 하나의 상황 정보를 수신하는 단계, 상기 수집되거나 상기 수신된 적어도 하나의 상황 정보를 기초로 사용자의 현재 상태를 판단하는 단계, 원격 제어 장치가 상기 사용자의 현재 상태에 상응하는 알림 신호를 출력하도록 원격 제어 장치에 지시하는 단계 및 상기 사용자의 현재 상태에 따라 제어 명령을 생성하고 상기 제어 명령에 따라서 사용자에게 감성 기반의 영상 서비스를 제공하는 단계를 포함한다.

Description

디스플레이 장치, 상기 디스플레이 장치를 제어하는 원격 제어 장치, 디스플레이 장치 제어 방법, 서버 제어 방법 및 원격 제어 장치 제어 방법{Display device, remote controlling device for controlling the display device and method for controlling a display device, server and remote controlling device}
본 발명은 디스플레이 장치, 상기 디스플레이 장치를 제어하는 원격 제어 장치와 상기 디스플레이 장치 제어 방법, 상기 원격 제어 장치 제어 방법 및 이와 관련된 서버 제어 방법에 관한 것이다.
디스플레이 장치(display device)는 전기적 정보를 시각적 정보로 표현하여 사용자에게 표시하는 출력 장치의 일종으로, 텔레비젼(television, 이하 TV), 컴퓨터 모니터 뿐만 아니라 각종 휴대용 단말기기, 예를 들어 스마트폰, 태블릿피씨 등도 포함할 수 있다.
원격 제어 장치는 디스플레이 장치를 원거리에서 제어하기 위한 단말 장치이다. 사용자는 디스플레이 장치를 용이하게 조작할 수 있는 근거리에서 디스플레이 장치를 이용하여 영상 콘텐츠를 시청할 수도 있으나, 디스플레이 장치를 조작하기 위해서는 반드시 이동해야 하는 거리에 위치할 수도 있다. 원격 제어 장치는 사용자가 물리적으로 먼 거리에 위치하는 경우, 디스플레이 장치를 원거리에서 조작할 수 있도록 한다.
이와 같은 원격 제어 장치의 일례로 리모트 컨트롤(remote control, 이하 리모컨) 등이 있다. 리모컨은 소정의 주파수의 적외선을 디스플레이 장치(200)로 조사한다. 디스플레이 장치는 조사된 적외선을 수신하고 이를 적외선의 주파수에 상응하는 전기적 신호로 변환하고 이를 프로세서로 전달하여 디스플레이 장치의 채널의 변환, 음량 조절 등의 여러 동작을 수행한다.
근자에는 원격 제어 장치로 스마트폰과 같은 무선 통신 기능이 마련된 각종 단말 장치가 사용되기도 한다. 이 경우 원격 제어 장치 및 디스플레이 장치는, 블루투스™, 와이파이(Wifi) 또는3GPP, 3GPP2 또는 와이맥스 계열 등의 각종 이동 통신 표준을 이용하는 무선 통신망을 통하여 상호 전기적 신호를 송수신할 수 있는 무선 통신 모듈을 구비하고 있다. 이때 스마트폰과 같은 원격 제어 장치는 사용자의 터치 조작 등에 따라서 소정의 신호를 생성하고, 이를 디스플레이 장치로 전송하며 디스플레이 장치는 소정의 신호에 따라서 제어 명령을 생성한 후 제어 명령에 따라서 채널의 변환, 음량 조절 등의 동작을 수행하게 된다.
본 발명이 이루고자 하는 기술적 과제는, TV와 같은 영상을 표시하는 디스플레이 장치를 사용하는 사용자의 기분, 행동이나, 또는 주변 환경과 같은, 사람 또는 환경에 대한 현재 상황을 기반으로 하여 디스플레이 장치를 제어할 수 있는 수단을 제공하는 것이다.
아울러 본 발명은, 사용자의 현재 상황을 기초로 디스플레이 장치를 제어하여 사용자에게 감성 기반의 다양한 서비스를 제공할 수 있도록 하는 것을 목적으로 한다.
본 발명의 다른 목적은 원격 제어 장치 또는 디스플레이 장치가 외부 환경으로부터 사용자의 생체 상태나 감정 상태를 판단하기 위한 상황 정보를 다양한 수단 및 루트를 통하여 획득할 수 있도록 하고, 아울러 본 발명의 또 다른 목적은 사용자의 생체 상태나 감정 상태를 적절히 파악할 수 있도록 하는 수단을 제공하는 것이다.
또한 본 발명의 또 다른 목적은 사용자의 기분이나 행동 기반의 디스플레이 장치를 이용한 다양한 서비스를 제공 가능할 수 있도록 하되, 이를 통해서 사용자의 감성을 유발할 수 있게 하고, 더 나아가 사용자가 정서적 경험 확대를 위한 사용자 경험(user's experience, UX)을 체험할 수 있도록 한다.
구체적으로 사용자의 상태 등을 판단하고 이를 기반으로 주변 환경에 대한 정보를 추가로 확보하도록 하거나, 또는 사용자의 상태를 기초로 사용자에게 소정의 서비스 또는 추가로 확보된 정보를 이용하는 서비스를 제공할 수 있도록 하는 것을 다른 목적으로 한다.
이에 따라 디스플레이 장치를 이용하는 사용자의 흥미, 호기심을 유발하여, 또한 사용자가 긍정적인 정서, 즐거움이나 감동을 느낄 수 있도록 하는 것 역시 본 발명의 목적이 된다.
더불어 디스플레이 장치를 시청하거나 또는 사용자가 디스플레이 장치 근처에 위치할 때의 사용자의 행동 습관, 패턴, 선호도에 따라서, 사용자에게 적합한 콘텐츠나 서비스를 제공할 수 있도록 하는 수단을 제공하는 것 역시 본 발명의 또 다른 목적이 될 것이다.
뿐만 아니라 사용자의 반응이나 선호도에 따라서 사용자에게 감성을 유발하는 콘텐츠나 서비스를 업데이트함으로써, 자가 학습 기능을 구비한 디스플레이 장치를 제공하는 것을 또 다른 목적으로 한다.
본 발명은 상기와 같은 과제를 해결하기 위하여 안출된 것으로, 디스플레이 장치, 상기 디스플레이 장치를 제어하는 원격 제어 장치, 디스플레이 장치 제어 방법, 서버 제어 방법 및 원격 제어 장치 제어 방법을 제공한다.
여기서 디스플레이 장치는, 원격 제어 장치에서 수신되거나 정보수집부에서 수집된 적어도 하나의 상황 정보를 기초로 사용자의 현재 상태를 판단하는 상황판단부, 상기 사용자의 현재 상태에 따라 상기 원격 제어 장치가 알림 신호를 출력하도록 지시하고, 상기 사용자의 현재 상태에 따라 사용자에게 감성 기반의 영상 서비스를 제공하도록 제어하는 제어 정보를 생성하는 제어부를 포함한다. 여기서 원격 제어 장치는 알림부를 통해서 알림 신호를 출력한다.
디스플레이 장치는 상황 정보를 기초로 사용자의 현재 상태를 판단하기 위한 판단 정보를 저장하고 있는 판단 정보 데이터베이스를 더 포함할 수 있으며, 이 경우 상기 상황판단부는, 상기 판단 정보 데이터베이스를 열람하여, 상기 상황 정보에 상응하는 판단 정보를 검색하고, 상기 상황 정보에 상응하는 판단 정보가 존재하는 경우 상기 상황 정보에 상응하는 판단 정보로 사용자의 현재 상태를 판단한다.
또한 디스플레이 장치는 사용자의 현재 상태에 상응하는 원격 제어 장치 또는 디스플레이 장치에 대한 제어 정보를 포함하는 제어 정보 데이터베이스를 포함할 수 있으며, 이 경우 상기 제어부는, 상기 제어 정보 데이터베이스를 참조하여 상기 사용자의 현재 상태에 상응하는 디스플레이 장치에 대한 제어 정보를 검출하고, 상기 검출된 제어 정보에 따라서 상기 디스플레이 장치를 제어할 수 있다.
한편 디스플레이 장치의 상기 제어부는, 상기 알림 신호에 응하여 상기 원격 제어 장치를 통하여 사용자로부터 사용자 명령을 입력받고, 상기 사용자 명령에 따라서 상기 생성된 제어 정보를 수정하여 새로운 제어 정보를 생성하도록 할 수 있다.
이 경우 디스플레이 장치는 상기 제어부에 의해 생성되는 새로운 제어 정보를 저장하는 저장부 및 상기 저장된 제어 정보를 기초로 사용자의 조작에 대한 패턴을 분석하고 상기 분석 결과를 기초로 상기 제어 정보 데이터베이스를 갱신하는 업데이트부를 더 포함할 수도 있다.
한편 정보수집부는, 빛을 감지하는 광센서, 소리를 감지하는 음향센서, 동작을 감지하는 동작센서, 온도를 감지하는 온도센서 및 인간의 체온, 맥박, 분당 호흡수 또는 심박수를 감지하는 생체신호센서 중 적어도 하나를 포함할 수 있으며, 또한 영상으로부터 얼굴 형태를 검출하고 상기 검출된 얼굴 형태로부터 얼굴의 특징 지점을 검출한 후 상기 얼굴의 특징 지점의 위치를 분석하여 얼굴 정보 및 표정 정보를 생성하여 상황 정보를 수집하는 얼굴인식부를 포함할 수도 있다.
그리고 알림부는, 빛을 발광하는 발광 모듈, 진동을 발생시키는 진동 발생 모듈 및 사운드를 출력하는 음향 출력 모듈 중 적어도 하나의 모듈일 수 있다.
한편 상기 디스플레이 장치를 제어하는 제어 정보는, 상기 디스플레이 장치의 카메라가 영상을 촬영하도록 제어하거나, 상기 디스플레이 장치의 카메라에 의해 촬영된 영상을 상기 디스플레이 장치에 픽쳐인픽쳐 방식으로 표시하도록 제어하거나, 상기 디스플레이 장치의 카메라에 의해 촬영된 적어도 하나의 영상에 대한 섬네일 이미지를 디스플레이 장치의 화면상에 표시하도록 제어하거나, 또는 디스플레이 장치의 화면상에 표시되는 영상에 관련된 영상 관련 정보를 상기 디스플레이 장치의 화면상에 표시되도록 제어하기 위한 제어 정보일 수 있다.
한편 디스플레이 장치는, 외부의 투사면에 영상을 투사하는 빔 프로젝트 모듈을 더 포함할 수 있다.
또한 디스플레이 장치의 상황판단부는, 상황 정보 및 상기 디스플레이 장치에서 재생되는 영상에 대한 영상 정보를 종합하여 사용자의 현재 상태를 판단하도록 할 수도 있다.
원격 제어 장치는 디스플레이 장치를 원격에서 제어하는데, 구체적으로 적어도 하나의 상황 정보를 수집하는 정보수집부, 상기 정보수집부에서 수집되는 적어도 하나의 상황 정보를 기초로 사용자의 현재 상태를 판단하는 상황판단부, 상기 판단된 사용자의 현재 상태에 상응하는 알림 신호를 출력하는 알림부 및 상기 알림 신호가 출력된 후, 상기 사용자의 현재 상태에 따라 디스플레이 장치가 사용자에게 감성 기반의 영상 서비스를 제공하기 위한 제어 정보를 생성하고, 상기 제어 정보를 상기 디스플레이 장치로 전송하는 제어부를 포함할 수 있다.
여기서 원격 제어 장치는 외부 환경의 특수한 상황에 대한 특징을 수치화한 정보인 상황 정보를 기초로 사용자의 현재 상태를 판단하기 위한 판단 정보에 대한 판단 정보 데이터베이스를 더 포함할 수 있으며, 이때 상황판단부는, 판단 정보 데이터베이스를 열람하여 상기 수집된 상황 정보에 상응하는 판단 정보를 검색하고, 상기 상황 정보에 상응하는 판단 정보가 존재하는 경우 상기 상황 정보에 상응하는 판단 정보를 기반으로 하여 사용자의 현재 상태를 판단하도록 할 수 있다.
또한 원격 제어 장치는 사용자의 현재 상태에 대한 디스플레이 제어 정보를 포함하는 제어 정보 데이터베이스 및 상기 제어 정보 데이터베이스를 참조하여 상기 사용자의 현재 상태에 상응하는 디스플레이 장치에 대한 제어 정보를 검출하는 제어부를 더 포함할 수 있다.
원격 제어 장치는 상기 알림 신호가 출력된 후에 사용자로부터 디스플레이 조작 명령을 입력받는 명령입력부를 더 포함할 수 있다.
이 경우 원격 제어 장치의 제어부는, 상기 제어 정보 데이터베이스를 참조하여 상기 사용자의 현재 상태에 상응하는 디스플레이 장치에 대한 제어 정보를 검출하고, 상기 명령입력부를 통해 입력된 사용자 명령에 따라서 상기 생성된 제어 정보를 수정하고, 원격 제어 장치는 제어부에 의해 생성된 제어 정보를 저장하는 저장부 및 상기 저장된 제어 정보를 기초로 사용자의 조작에 대한 패턴을 분석하고 상기 분석 결과를 기초로 상기 제어 정보 데이터베이스를 갱신하는 업데이트부를 더 포함할 수 있다.
한편 원격 제어 장치의 정보수집부는, 빛을 감지하는 광센서, 소리를 감지하는 음향센서, 동작을 감지하는 동작센서, 온도를 감지하는 온도센서, 인간의 체온, 맥박, 분당 호흡수 또는 심박수를 감지하는 생체신호센서 및 상기 원격 제어 장치의 움직임을 감지하는 동작인식센서 중 적어도 하나일 수 있으며, 또한 영상으로부터 얼굴 형태를 검출하고 상기 검출된 얼굴 형태로부터 얼굴의 특징 지점을 검출한 후 상기 얼굴의 특징 지점의 위치를 분석하여 얼굴 정보 및 표정 정보를 생성하여 상황 정보를 수집하는 얼굴인식부일 수도 있다.
원격 제어 장치의 알림부는, 빛을 발광하는 발광 모듈, 진동을 발생시키는 진동 발생 모듈 및 사운드를 출력하는 음향 출력 모듈 중 적어도 하나일 수 있다.
원격 제어 장치의 상황판단부는, 상기 적어도 하나의 상황 정보 및 상기 디스플레이 장치에서 재생되는 영상에 대한 영상 정보를 기초로 사용자의 현재 상태를 판단하도록 할 수 있다.
한편, 원격 제어 장치는 적어도 하나의 상황 정보를 수집하는 정보수집부 및 알림 신호를 출력하는 알림부를 포함할 수 있으며, 이 경우 정보수집부에 의해 수집된 상황 정보를 디스플레이 장치 또는 서버로 전송하고, 상기 디스플레이 장치 또는 상기 서버로부터 상기 수집된 상황 정보를 기초로 판단된 사용자의 현재 상태에 대한 정보를 수신하며, 알림부에 의해 알림 신호가 출력된 후에 상기 수집된 상황 정보 또는 상기 판단된 사용자의 현재 상태에 상응하는 제어 정보를 디스플레이 장치로 전달하여 상기 디스플레이 장치를 제어하도록 할 수 있다.
여기서 원격 제어 장치는 상기 알림 신호가 출력된 후에 사용자로부터 디스플레이 조작 명령을 입력받고 상기 조작 명령을 디스플레이 장치로 전송하는 명령입력부를 더 포함할 수 있다.
이때 원격 제어 장치의 정보수집부 역시 빛을 감지하는 광센서, 소리를 감지하는 음향센서, 동작을 감지하는 동작센서, 온도를 감지하는 온도센서 및 인간의 체온, 맥박, 분당 호흡수 또는 심박수를 감지하는 생체신호센서 중 적어도 하나를 포함할 수 있으며, 영상으로부터 얼굴 형태를 검출하고 상기 검출된 얼굴 형태로부터 얼굴의 특징 지점을 검출한 후 상기 얼굴의 특징 지점의 위치를 분석하여 얼굴 정보 및 표정 정보를 생성하여 상황 정보를 수집하는 얼굴인식부를 포함할 수도 있다.
아울러 알림부 역시 빛을 발광하는 발광 모듈, 진동을 발생시키는 진동 발생 모듈 및 사운드를 출력하는 음향 출력 모듈 중 적어도 하나일 수 있다.
또한 상황판단부도, 상술한 바와 같이 상황 정보 및 상기 디스플레이 장치에서 재생되는 영상에 대한 영상 정보를 기초로 사용자의 현재 상태를 판단할 수 있다.
또한 원격 제어 장치는 디스플레이 장치로부터 수집된 상황 정보를 기초로 판단된 사용의 현재 상태를 수신받는 수신부, 상기 수신된 사용자의 현재 상태에 따라서 알림 신호를 출력하는 알림부, 상기 알림 신호가 출력된 후에 사용자의 조작에 따라 명령을 입력받는 입력부 및 상기 알림 신호가 출력된 후에 상기 수집된 상황 정보 또는 상기 판단된 사용자의 현재 상태에 상응하는 제어 정보를 생성하고, 상기 제어 정보를 상기 디스플레이 장치로 전달하는 제어부를 포함할 수도 있다.
한편 디스플레이 장치의 제어 방법은, 적어도 하나의 상황 정보를 수집하거나 원격 제어 장치로부터 적어도 하나의 상황 정보를 수신하는 단계, 상기 수집되거나 상기 수신된 적어도 하나의 상황 정보를 기초로 사용자의 현재 상태를 판단하는 단계, 원격 제어 장치가 상기 사용자의 현재 상태에 상응하는 알림 신호를 출력하도록 원격 제어 장치에 지시하는 단계 및 상기 사용자의 현재 상태에 따라 제어 명령을 생성하고 상기 제어 명령에 따라서 사용자에게 감성 기반의 영상 서비스를 제공하는 단계를 포함할 수 있다.
여기서 상황 정보는, 빛을 감지하고 광량을 측정하거나, 소리의 크기를 측정하거나, 동작을 감지하거나, 온도를 측정하거나, 인간의 맥박 또는 체온을 측정하거나 또는 위성으로부터 방사되거나 제어부로부터 출력되는 시간 정보를 측정함으로써 수집된 것일 수 있다.
또한 상황 정보를 수집하는 단계는, 구체적으로 영상으로부터 얼굴 형태를 검출하는 단계, 상기 검출된 얼굴 형태로부터 얼굴의 특징 지점을 더 검출하는 단계 및 상기 얼굴의 특징 지점의 위치를 분석하여 상기 영상에 표시된 얼굴 정보 및 표정 정보를 포함하는 상황 정보를 수집하는 단계를 포함할 수 있으며, 이로써 디스플레이 장치가 사용자의 얼굴 정보 및 표정 정보를 얻을 수 있게 한다.
한편 사용자의 현재 상태를 판단하는 단계는, 구체적으로 상황 정보를 기초로 사용자의 현재 상태를 판단하기 위한 판단 정보를 포함하는 데이터베이스를 열람하는 단계 및 상기 수집된 상황 정보와 상기 판단 정보 데이터베이스의 판단 정보를 비교하고, 상기 수집된 상황 정보에 상응하는 판단 정보가 존재하는 경우, 상기 판단 정보로부터 사용자의 현재 상태를 판단하는 단계를 포함하고 있을 수 있다.
또한 상술한 바와 같은 감성 기반의 영상 서비스는, 예로써 디스플레이 장치의 카메라가 영상을 촬영하거나, 디스플레이 장치의 카메라에 의해 촬영된 영상을 상기 디스플레이 장치에 픽쳐인픽쳐 방식으로 표시하거나, 디스플레이 장치의 카메라에 의해 촬영된 적어도 하나의 영상에 대한 섬네일 이미지를 디스플레이 장치의 화면상에 표시하거나, 디스플레이 장치의 화면상에 표시되는 영상에 관련된 영상 관련 정보를 상기 디스플레이 장치의 화면상에 표시되도록 제어하거나, 또는 디스플레이 장치에 부가된 빔프로젝터가 투사면에 영상을 투사하도록 하는 것 중 어느 하나이거나 또는 이들의 조합일 수 있다.
한편, 상기 사용자의 현재 상태에 따라 제어 명령을 생성하는 단계는, 사용자의 현재 상태에 대한 디스플레이 제어 정보를 포함하는 제어 정보 데이터베이스를 열람하는 단계, 상기 사용자의 현재 상태에 상응하는 디스플레이 장치에 대한 제어 정보를 검출하는 단계 및 상기 제어 정보에 따라서 제어 명령을 생성하는 단계를 포함할 수 있다.
아울러 사용자의 현재 상태를 판단하는 단계는, 상황 정보 및 상기 디스플레이 장치에서 재생되는 영상에 대한 영상 정보를 기초로 사용자의 현재 상태를 판단하도록 할 수도 있다.
디스플레이 장치의 제어 방법은, 적어도 하나의 상황 정보를 수집하거나 원격 제어 장치로부터 적어도 하나의 상황 정보를 수신하는 단계, 상기 수집하거나 상기 수신된 상황 정보를 기초로 사용자의 현재 상태를 판단하는 단계, 원격 제어 장치가 상기 사용자의 현재 상태에 상응하는 알림 신호를 출력하도록 상기 원격 제어 장치에 지시하는 단계 및 상기 원격 제어 장치에 의해 출력된 알림 신호에 응하여 사용자로부터 입력된 사용자 명령을 수신하고, 상기 수집하거나 상기 수신된 상황 정보 및 상기 사용자 명령을 기초로 상기 사용자의 현재 상태에 따라 사용자에게 감성 기반의 영상 서비스를 제공하는 단계를 포함할 수도 있다.
한편 서버 제어 방법은, 서버가 디스플레이 장치 또는 원격 제어 장치로부터 적어도 하나의 상황 정보를 수신받는 단계, 상기 수신된 상황 정보를 기초로 사용자의 현재 상태를 판단하는 단계, 원격 제어 장치가 상기 사용자의 현재 상태에 상응하는 알림 신호를 출력하도록 상기 원격 제어 장치에 지시하는 단계 및 상기 사용자의 현재 상태에 따라 사용자에게 감성 기반의 영상 서비스를 제공하기 위한 제어 명령을 상기 디스플레이 장치로 전송하여 디스플레이 장치가 상기 제어 명령에 따라 사용자에게 감성 기반의 영상 서비스를 제공하도록 하는 단계를 포함할 수 있다.
한편 원격 제어 장치의 제어 방법은, 적어도 하나의 상황 정보를 수집하는 단계, 상기 수집된 상황 정보를 기초로 사용자의 현재 상태를 판단하는 단계, 사용자의 현재 상태에 상응하는 알림 신호를 출력하는 단계, 상기 원격 제어 장치에 의해 출력된 알림 신호에 응하여 사용자로부터 사용자 명령을 입력받는 단계 및 상기 수집된 상황 정보 및 상기 사용자 명령을 기초로 디스플레이 장치에 대한 제어 명령을 생성하고, 상기 제어 명령을 디스플레이 장치로 전송하여 디스플레이 장치가 상기 제어 명령에 따라 사용자에게 감성 기반의 영상 서비스를 제공하도록 하는 단계를 포함할 수 있다.
또한 원격 제어 장치의 제어 방법은, 적어도 하나의 상황 정보를 수집하는 단계, 상기 수집된 상황 정보를 기초로 사용자의 현재 상태를 판단하는 단계, 사용자의 현재 상태에 상응하는 알림 신호를 출력하는 단계 및 상기 수집된 상황 정보를 기초로 디스플레이 장치에 대한 제어 명령을 생성하고, 상기 제어 명령을 디스플레이 장치로 전송하여 디스플레이 장치가 상기 제어 명령에 따라 사용자에게 감성 기반의 영상 서비스를 제공하도록 하는 단계를 포함할 수도 있다.
본 발명은 상술한 바와 같이 디스플레이 장치, 상기 디스플레이 장치를 제어하는 원격 제어 장치 및 상황 기반 디스플레이 장치 제어 방법을 제공함으로써, 디스플레이 장치를 사용하는 사용자의 기분, 행동이나, 또는 주변 환경과 같은 현재 상황을 기반으로 하여 디스플레이 장치를 제어할 수 있게 된다.
이에 따라 사용자의 현재 상황을 기초로, 사용자가 사용자의 감정 상태, 주변 분위기 등에 타당한 감성 기반의 다양한 서비스를 제공받을 수 있게 된다.
본 발명에 따르면 사용자의 기분, 행동이나 주변 환경을 통하여 사용자의 생체 상태나 감정 상태를 판단하기 위한 상황 정보를 다양한 수단이나 루트를 통하여 획득할 수 있게 되어 다양한 상황 정보를 확보할 수 있게 되어, 사용자의 상태나 감정 등을 더욱 정확하게 판단할 수 있게 되고, 따라서 사용자의 상황에 적절한 디스플레이 장치 제어를 수행할 수 있게 된다.
또한 사용자의 상황에 적절하게 디스플레이 장치를 제어함으로써 사용자의 감성을 효과적으로 자극하도록 하여, 사용자가 사용자 본인의 상태, 행동 또는 감성 기반의 사용자 경험을 제공받을 수 있게 된다. 이를 통해 사용자는 디스플레이 장치 등을 통해서 긍정적인 정서적 효과를 얻게 되는 효과가 있다.
아울러 사용자에게, 사용자의 기분이나 행동을 기반으로 하여 여러 감정을 유발할 수 있는 다양한 콘텐츠 및 서비스의 개발 및 제공이 가능해진다.
뿐만 아니라 디스플레이 장치가 사용자의 반응이나 선호도에 따라서 사용자에게 감성을 유발하는 콘텐츠나 서비스를 스스로 학습, 개선할 수 있게 됨으로써, 사용자는 사용자 최적의 콘텐츠나 서비스를 제공받을 수 있게 되는 효과도 얻을 수 있다.
도 1은 본 발명의 일실시예에 따른 디스플레이 장치와 상기 디스플레이 장치를 제어하는 원격 제어 장치를 포함하는 디스플레이 장치 제어 시스템에 대한 전체 구성도이다.
도 2는 본 발명의 일실시예에 따른 디스플레이 장치와 원격 제어 장치의 블록도이다.
도 3은 본 발명의 일실시예에 따른 디스플레이 장치의 정보수집부를 설명하기 위한 블록도이다.
도 4a는 본 발명의 다른 일실시예에 따른 원격 제어 장치에 대한 블록도이다.
도 4b는 본 발명의 다른 일실시예에 따른 원격 제어 장치의 정면도이다.
도 5는 본 발명의 일실시예에 따른 디스플레이 장치, 원격 제어 장치 및 서버를 포함하는 시스템에 대한 구성도이다.
도 6은 본 발명의 일실시예에 따른 디스플레이 장치, 원격 제어 장치 및 서버에 대한 블록도이다.
도 7은 본 발명의 일실시예에 따른 상황 기반 디스플레이 장치 제어 방법에 대한 흐름도이다.
도 8은 본 발명의 다른 일실시예에 따른 상황 기반 디스플레이 장치 제어 방법에 대한 흐름도이다.
도 9는 본 발명의 또 다른 일실시예에 따른 상황 기반 디스플레이 장치 제어 방법에 대한 흐름도이다.
도 10은 본 발명의 또 다른 일실시예에 따른 상황 기반 디스플레이 장치 제어 방법에 대한 흐름도이다.
도 11은 본 발명의 또 다른 일실시예에 따른 상황 기반 디스플레이 장치 제어 방법에 대한 흐름도이다.
도 12는 본 발명의 일 실시예에 따른 상황 기반 디스플레이 장치 제어 방법에 따라 디스플레이 장치가 제어되는 방법을 설명하기 위한 도면이다.
도 13은 본 발명의 또 다른 일 실시예에 따른 상황 기반 디스플레이 장치 제어 방법에 따라 디스플레이 장치가 제어되는 방법을 설명하기 위한 도면이다.
도 14는 본 발명의 또 다른 일 실시예에 따른 상황 기반 디스플레이 장치 제어 방법에 따라 디스플레이 장치가 제어되는 방법을 설명하기 위한 도면이다.
도 15는 본 발명의 일실시예에 따른 사용자의 얼굴을 인식하여 디스플레이 장치를 제어하는 방법을 설명하기 위한 도면이다.
(1) 이하 도 1 내지 도 6을 참조하여 본 발명의 일실시예에 있어서 디스플레이 장치 및 상기 디스플레이 장치를 제어하는 원격 제어 장치에 대해서 설명할 것이다.
도 1은 본 발명의 일실시예에 따른 디스플레이 장치와 상기 디스플레이 장치를 제어하는 원격 제어 장치를 포함하는 디스플레이 장치 제어 시스템에 대한 구성도이다.
본 발명의 일 실시예에 있어서 디스플레이 장치 제어 시스템은 원격 제어 장치(100)와 원격 제어 장치(100)에 의해서도 제어될 수 있는 디스플레이 장치(200)를 포함하고 있으며, 여기서 원격 제어 장치(100)와 디스플레이 장치(200)는 상호 간에 무선 통신망, 예를 들어 블루투스™, 와이파이 또는 3GPP, 3GPP2 또는 와이맥스 계열 등의 각종 이동 통신 표준을 이용하는 무선 통신망 등을 통하여 서로 명령이나 데이터를 송수신할 수 있다.
원격 제어 장치(100)는 디스플레이 장치(200), 예를 들어 TV를 원격으로 제어할 수 있는 장치이다.
본 발명의 일 실시예에 있어서 원격 제어 장치(100)는, 소정의 버튼이 일면 또는 다면에 형성되어 있고 사용자에 의해 조작된 버튼에 따라서, 예를 들어 소정의 주파수의 적외선을 디스플레이 장치(200)로 조사하여 디스플레이 장치(200)를 제어할 수 있는 리모컨 장치(remote controller)일 수 있다.
본 발명의 다른 일 실시예에 따르면 원격 제어 장치(100)는, 터치스크린 또는 외면에 형성된 소정의 물리적 버튼이 형성되고, 터치스크린 또는 물리적 버튼에 대한 사용자의 조작에 상응하여 소정의 제어 신호를 생성한 후, 생성된 제어 신호를, 다양한 무선 통신망을 통하여, 디스플레이 장치(200)로 전달하여 디스플레이 장치(200)를 제어하는, 무선 통신 모듈을 구비한 각종 단말 장치, 예를 들어 무선 통신 모듈을 구비한 리모컨 장치나 스마트폰일 수도 있다.
이외에도 디스플레이 장치(200)를 일정한 범위의 거리에서 제어할 수 있는 모든 종류의 원격 제어 수단이 본 발명의 원격 제어 장치(100)의 일 실시예가 될 수 있을 것이다.
본 발명의 일 실시예에 있어서 디스플레이 장치(200)는, 외부에 영상 또는 영상과 사운드를 동시에 출력하여 사용자에게 각종 시각 또는 시청각 콘텐츠를 제공할 수 있는 장치이다.
디스플레이 장치(200)는, 본 발명의 실시예에 따라서, 상술한 원격 제어 장치(100)로부터 일정한 제어를 받기 위하여 원격 제어 장치(100)로부터 조사되는 적외선을 수신할 수 있는 적외선 수신 수단이나, 또는 원격 제어 장치(100)로부터 소정의 제어 명령을 전송받을 수 있는 전송 수단, 예를 들어 무선 통신칩을 구비하고 있을 수 있다.
이외에 외부의 원격 제어 장치(100)로부터 제어될 수 있는 다양한 종류의 디스플레이 장치 역시 본 발명의 일 실시예가 될 수 있다. 예를 들어 디스플레이 장치(200)는 TV일 수도 있고, 또는 각종 전자 영상 기기, 예를 들어 냉장고 등의 외장에 착설된 냉장고 디스플레이일 수도 있다. 또한 스크린 등을 통해서 영상을 표시할 수 있는 가전 기기, 예를 들어 컴퓨터, 게임기, 스마트폰 등 역시 디스플레이 장치의 일례가 될 수 있다. 뿐만 아니라 투사면에 레이저와 같은 빛을 투사하여 영상을 표시하는 빔 프로젝트 모듈과 스크린 역시 본 발명에 있어서 디스플레이 장치의 일례가 될 수 있다.
본 발명은, 일 실시예에 따르면, 이와 같은 원격 제어 장치(100)와 디스플레이 장치(200)를 이용하여 외부의 상황에 대한 상황 정보를 수집하고, 수집된 상황 정보를 기초로 사용자나 주변 환경의 현재 상태를 파악하고, 파악된 현재 상태를 기초로 디스플레이 장치(200)에 대한 제어 명령을 생성하여 디스플레이 장치(200)를 제어할 수 있도록 하는 것이다. 아울러 이와 더불어, 본 발명의 일 실시예에 따르면 원격 제어 장치에 대한 제어 명령 역시 함께 제어되도록 할 수 있다.
이하 도 2를 참조하여 원격 제어 장치(100) 및 디스플레이 장치(200)를 포함하는 시스템의 일 실시예에 대해서 설명하도록 한다.
도 2는 본 발명의 일실시예에 따른 원격 제어 장치를 포함하는 디스플레이 장치 제어 시스템의 블록도이다.
도 2에 도시된 바를 참조하면 본 발명의 일 실시예에 있어서 원격 제어 장치(100)는, 예를 들어 다양한 종류의 센서를 이용하여 외부 환경으로부터 상황 정보를 수집하는 정보수집부(110)와, 빛, 소리 등을 출력하여 사용자에게 알림부(140)를 포함한다. 이하 후술하는 디스플레이 장치(200)의 정보수집부(210)와 구별하기 위하여 원격 제어 장치(100)의 정보수집부(110)를 제1 정보수집부(110)라 한다.
디스플레이 장치(200)는, 본 발명의 일 실시예에 따르면, 원격 제어 장치(100)의 제1 정보수집부(110)로부터 수집된, 외부 상황에 대한 상황 정보를 기초로 사용자의 현재 상태를 판단하는 상황판단부(220, 이하 후술하는 원격 제어 장치(100)의 상황판단부(210)와 구별하기 위하여 디스플레이 장치(200)의 상황판단부를 제2 상황판단부라 한다), 제2 상황판단부(220)의 판단 결과를 원격 제어 장치(100)로 전송하도록 하거나, 판단 결과에 따라서 제어 명령을 생성하여 디스플레이 장치(200)를 제어하는 제어부(230, 이하 원격 제어 장치(100)의 제어부(130)와 구별하기 위하여 디스플레이 장치(200)의 제어부를 제2 제어부라 칭한다)를 포함할 수 있다.
본 발명의 다른 실시예에 따르면 디스플레이 장치(200)는 외부 환경으로부터 상황 정보를 수집하는 정보수집부(210, 상기 원격 제어 장치(100)의 제1 정보수집부와 구별하기 위해 이하 제2 정보수집부라 칭한다)를 더 포함할 수도 있다. 이 경우 제2 상황판단부(220)는 디스플레이 장치(200)의 제2 정보수집부(210)를 통해 수집된 상황 정보를 이용하여 상황을 판단하도록 할 수도 있고, 원격 제어 장치(100)와 디스플레이 장치(200)의 정보수집부(110, 220) 양자로부터 수집된 상황 정보를 이용하여 현재 상황을 판단하도록 할 수도 있다.
본 발명의 일 실시예에 있어서 디스플레이 장치(200)는, 도 2에 도시된 바와 같이, 제2 상황판단부(220)의 외부 상황에 대한 판단을 위한 정보가 저장된 판단 정보 데이터베이스(221) 또는 제2 제어부(230)에 의한 디스플레이 장치(220)의 제어 명령의 생성을 위한 정보가 저장된 제어 정보 데이터베이스(231)를 포함할 수도 있다. 실시예에 따라서, 디스플레이 장치(200)는 유무선 통신망을 통하여 외부의 판단 정보 데이터베이스(221) 또는 제어 정보 데이터베이스(231)와 연결될 수도 있다.
아울러 디스플레이 장치(200)는, 실시예에 따라서, 각종 시청각 콘텐츠를 사용자에게 표시하는 디스플레이부(240), 제2 정보수집부(210)에 의해 수집된 정보나 제2 제어부(230)의 제어 명령 또는 디스플레이 장치(200)의 정면, 측면 또는 후면에 설치된 카메라(270)에 의해 촬영된 영상 데이터 등을 저장하는 저장부(250), 저장된 정보를 기초로 사용자의 조작 패턴을 분석하고 상기 분석 결과를 기초로 학습을 수행하도록 하는 업데이트부(260)를 더 포함할 수 있다.
또한 도 2에 도시된 바와 같이, 실시예에 따라서, 디스플레이 장치(200)는 디스플레이 장치(200)에 설치되고 영상을 촬영하는 카메라 모듈(270) 또는 외부의 투사면에 빔을 조사하여 투사면 상에 영상을 표시하는 프로젝터 모듈(280)을 더 포함할 수도 있다.
따라서 본 발명의 일 실시예에 따르는 디스플레이 장치와 원격 제어 장치를 포함하는 디스플레이 장치 제어 시스템에 의하면, 원격 제어 장치(100) 또는 디스플레이 장치(200)의 정보수집부(110, 210)에 의해 수집된 상황 정보를 디스플레이 장치(200)로 전송하고 디스플레이 장치(200)는 수집된 상황 정보를 기초로 상황을 판단하고, 이에 상응하는 제어 명령을 생성하여 디스플레이 장치(200)를 제어하도록 한다.
물론 다른 실시예에 따르면 도 4a에 도시된 바와 같이 원격 제어 장치(100)에 상황 정보를 판단하는 상황 판단부(120)와, 제어 명령을 생성하는 제어부(130)가 형성되어, 상황을 판단하고 제어 명령을 생성하도록 할 수도 있다.
이하, 도 2와 같이 상황 판단부(220)와 제어부(230)가 디스플레이 장치(200)에 형성된 일 실시예를 중심으로 하여 각각의 구성요소를 설명하도록 한다.
먼저, 본 발명의 일 실시예에 있어서 상황 정보를 수집하는 정보수집부(110, 210)에 대해서 도 3 및 도 4a를 참조하여 설명하도록 한다.
본 발명에 있어서 정보수집부(110, 210), 즉 제1 정보수집부(110) 및/또는 제2 정보수집부(210)는, 외부의 상황에 대한 상황 정보, 즉 예를 들어 신체 상태에 대한 상황 정보(a1)나 주변 환경에 대한 상황 정보(a2)를 수집한다.
구체적으로 외부 환경의 다양한 현상, 예를 들어 빛, 소리, 온도, 움직임을 감지하여 이를 디지털 데이터로 변환하거나, 또는 외부의 별도의 장치로부터 주어지는 정보, 예를 들어 인공 위성과의 상호 통신을 통해서 지피에스(GPS, global positioning system)값 등을 수신받거나, 또는 재생되는 프로그램 정보에 대한 정보를 유무선 통신망을 통하여 수신받는 등 다양한 방법을 통해서 여러 상황 정보를 획득한다.
신체 상태에 대한 상황 정보(a1)는 신체의 상태를 지시하는 다양한 정보, 예를 들어 맥박, 분당호흡수, 체온 등의 정보를 의미한다.
주변 환경에 대한 상황 정보(a2)는, 광량, 주변의 소리, 주변에 위치한 인원수, 사람의 동작, 디스플레이 장치(200)에서 재생되는 프로그램에 대한 정보, 시각(time) 정보 등 다양한 주변 환경이나 재생되는 프로그램의 정보를 모두 포함한다.
본 발명의 정보수집부(110, 210)는, 실시예에 따라서, 원격 제어 장치(100)나 디스플레이 장치(200) 중 어느 하나에만 포함되어 있을 수도 있고, 원격 제어 장치(100) 및 디스플레이 장치(200) 모두에 포함될 수도 있다.
또한 정보수집부(110, 210)는, 원격 제어 장치(100)나 디스플레이 장치(200)의 임의의 위치에 랜덤(random)하게 배치될 수도 있고, 또 한편으로는 감지하여 상황 정보를 얻고자 하는 주변 환경, 예를 들어 빛, 소리, 진동이나 각종 생체 신호를 감지하기에 적합하도록 최적의 위치에 배치되어 설계될 수도 있다.
한편 본 발명의 실시예에 따라서 이와 같은 정보수집부(110, 220)는 사용자가 센서의 유무를 인식하지 못하도록 설계되도록 할 수도 있다.
본 발명의 일 실시예에 따르면, 원격 제어 장치의 제1 정보수집부(110) 또는 디스플레이 장치(200)의 제2 정보수집부(210)는, 도 3 및 도 4a에 도시된 바와 같이, 생체신호센서(111, 211), 광센서(112, 212), 음향센서(113, 213), 동작센서(114, 214), 온도센서(115, 215) 및 얼굴인식부(117, 216) 중 적어도 하나 이상을 포함할 수 있으며, 필요에 따라서 도면에 도시되지 않거나 언급되지 않은 다른 센서와 같은 정보 수집 수단을 더 포함할 수도 있다.
생체 신호 센서(111, 211)는 사용자의 신체 상태를 감지하여 사용자의 신체 상태에 대한 상황 정보(a1)를 수집하는 센서이다.
여기서 신체 상태에 대한 상황 정보(a1)는, 인간, 예를 들어 디스플레이 장치를 시청하는 시청자의 신체 상태와 관련된 정보를 의미한다. 다시 말해서 예를 들어 사용자가 수면 상태인지, 지친 상태인지, 흥분하였거나 하는 것과 같이 사용자의 신체 상태를 파악하기 위한 각종 정보를 의미한다.
구체적으로 신체 상태에 대한 상황 정보(a1)는, 예를 들어 체온, 맥박, 분당 호흡수, 뇌파나 심박수와 같은 생체 정보를 포함할 수 있다.
생체 신호 센서(111, 211)는 이와 같은 신체 상태에 대한 상황 정보(a1)를 수집하기 위한 센서인데, 생체 신호 센서(111, 121)는 사용자로부터 생체 신호를 용이하고 정확하게 측정할 수 있도록, 주로 사용자의 근처에 위치되는 원격 제어 장치(100)에 설치되는 것이 일반적일 것이다.
이 경우 생체 신호 센서(111)는 원격 제어 장치(100) 내의 임의의 위치에 착설될 수도 있고, 또는 생체 신호의 감지를 취한 최적의 위치에 설치될 수도 있다.
본 발명의 일 실시예에 따르면, 생체 신호 센서(111, 211)는 원격 제어 장치(100)의 특정 위치, 예를 들어 원격 제어 장치(100)의 그립(grip)의 내부에 설치되는 사람의 체온을 측정하는 열 감지 센서일 수도 있고, 또한 사람 인체의 일부, 예를 들어 손가락 말단 등을 거치하여 맥박 등을 측정하도록 하는 맥박 센서일 수도 있다.
물론 생체 신호 센서(111, 211)는, 도 2에 도시된 바와 같이 획득하고자 하는 신체 상태에 대한 상황 정보(a1)에 따라서 디스플레이 장치(200)에 설치될 수도 있다.
광센서(112, 212)는 빛을 감지하고 이와 관련되는, 주변 환경에 대한 상황 정보(a2)를 수집하는 센서이다.
주변 환경에 대한 상황 정보(a2)란 원격 제어 장치(100) 또는 디스플레이 장치(200) 주변의 각종 환경 요소, 예를 들어 빛의 존재, 광량, 음향의 존재 및 그 크기, 외부 사물의 존재, 동작 등 각종 환경적인 요소들에 대한 정보를 의미한다.
광센서(112, 212)는 주변 환경 중에서 빛을 감지함으로써, 빛의 량(광량)을 측정하거나, 외부 사물의 존재 여부, 사물의 동작이나 형태 등을 감지하고, 감지된 결과를 전기적 신호로 변환하여 주변 환경에 대한 상황 정보(a2)를 획득하도록 한다. 이와 같은 광센서(112, 212)로는, 예를 들어 빛을 전기 신호로 변환하는 포토 다이오드나 포토 트랜지스터가 사용될 수 있고, 적외선을 전기 신호로 변환하는 적외발광다이오드도 사용될 수 있다.
본 발명의 실시예에 따라서는 광센서(112, 212)는, 광센서(112, 212)가 대상체에 반사된 빛을 수광하여 대상체를 검출할 수 있도록, 대상체를 향하여 적외선이나 가시광선과 같은 빛을 조사하는 별도의 발광 모듈을 더 포함할 수도 있다.
음향 센서(113, 213)는 디스플레이 장치(200) 주변의 음성이나 음향을 감지하고, 이를 계측하여 주변 환경에 대한 상황 정보(a2)를 획득하는 기능을 제공한다.
음향 센서(113, 213)는, 예를 들어 트랜스듀서(transducer) 등을 이용하여 공기를 통하여 전달되는 소정의 주파수의 파동, 예를 들어 가청음을 감지하고 이를 전기적 신호로 변환함으로써, 주변 상황의 각종 음성이나 음향, 예를 들어 사람들의 떠드는 소리에 대한 상황 정보(a2)를 얻을 수 있게 한다.
음향 센서(113, 213)의 일례로 마이크로폰(microphone) 등이 있다.
동작 센서(114, 214)는 장치의 움직임을 감지하는 센서이다. 예를 들어 동작 센서(114, 214)는, 동작 센서(114, 214)가 장착된 원격 제어 장치(100)나 디스플레이 장치(200)의 움직임을 감지하고, 감지 결과를 전기적 신호로 변환하도록 한다.
동작 센서(114, 214)로는, 예를 들어 가속 센서(accelerometer), 틸트 센서(tilt sensor), 회전 센서(rotation sensor)나 자이로스코프(gyroscope) 등이 사용될 수 있다.
이와 같은 동작 센서(114, 214)는, 예를 들어 사용자가 원격 제어 장치, 일례로 리모컨 장치를 흔들거나 또는 움직이고 있는지 여부, 리모컨 장치를 어떤 방향으로 어떻게 움직이고 있는 여부 등을 감지할 수 있게 한다.
디스플레이 장치(200)는, 보통 일정 위치에 고정되어 움직이지 않으므로, 이와 같은 동작 센서(114, 214)는 주로 사용자에 의해서 조작되는 원격 제어 장치(100)에 설치되어 있는 것이 일반적일 것이다.
온도 센서(115, 215)는 주변의 공기나 접촉한 물체의 열을 측량하여 온도를 계측하는 센서이다. 이와 같은 온도 센서(115, 215)로는 백금저항온도계, 서미스터(thermister), 서모커플(thermocouple) 등 외부의 온도를 측정할 수 있는 다양한 센서가 사용될 수 있다.
온도 센서(115, 215)를 통해서 원격 제어 장치(100)나 디스플레이 장치(200)는, 디스플레이 장치(200) 주변, 예를 들어 디스플레이 장치(200)가 위치하는 방 내부가 따뜻한지 추운지 여부 등을 파악하도록 한다.
또한 본 발명의 일 실시예에 있어서 원격 제어 장치(100)나 디스플레이 장치(200)의 정보수집부(110, 210)는, 얼굴인식부(117, 216)를 포함할 수 있다.
얼굴인식부(117, 216)는, 원격 제어 장치(100) 또는 디스플레이 장치(200)에 설치된 카메라(270)로부터 입력되는 영상으로부터 얼굴을 인식하여 사용자에 대한 상황 정보를 수집한다.
본 발명의 일 실시예에 있어서 디스플레이 장치(200)의 얼굴인식부(216)는, 먼저 카메라(270)를 통해 입력되는 영상으로부터 얼굴을 검출하고, 이어서 검출한 얼굴로부터 얼굴의 특징 지점, 예를 들어 눈동자나 입꼬리와 같이 얼굴의 특징이 되는 특징 지점을 더 검출한다. 특징 지점이 검출된 후, 특징 지점들 각각의 위치와, 미리 정의된 특징 지점의 위치를 기초로 한 얼굴의 형태나 표정에 대한 정보를 비교하여 특징 지점들을 분석하여, 영상 내의 얼굴에 대한 얼굴 정보 및 표정 정보를 포함하는 상황 정보를 생성한다.
또한 본 발명의 일 실시예에 있어서 정보수집부(110, 210)는, 감압 센서(116)를 포함하고 있을 수 있다.
감압 센서(116)는 센서에 가해지는 압력을 측정하는 센서로, 감압 센서의 일례로 도전성 고무에 가해지는 압력에 따른 도전성 고무의 변형력에 따라서 압력을 측정하는 도전성 고무 센서 등이 있다.
감압 센서(116)는 감압 소재에 따라서 도전성 고무, 감압 고분자, 압전 고분자를 이용한 감압 센서가 있을 수 있으며, 검출 방식에 따라서 집중형 감압 센서나 분포형 감압 센서가 사용될 수도 있다.
감압 센서(116)는 일반적으로 사용자의 접촉이 빈번한 원격 제어 장치(100)에 설치될 것이나, 필요에 따라서 디스플레이 장치(200)에도 설치될 수 있다.
본 발명의 일 실시예에 있어서 제2 정보수집부(210)는 카메라 모듈(270)을 더 포함할 수 있다.
카메라 모듈(270)은 외부의 대상체를 촬영하는데, 구체적으로 외부로부터 입사되는 가시광선 등의 빛을 감지하고 이를 전기적 신호로 변환함으로써 최종적으로 정지 또는 움직이는 영상을 얻을 수 있도록 한다.
카메라 모듈(270)을 통해 입력되는 영상은 디스플레이 장치(250) 등의 저장부(250)에 저장되어 상술한 얼굴인식부(217)가 얼굴을 인식할 수 있도록 하거나, 또는 디스플레이 장치(200)의 디스플레이부(240)에 의해서 표시될 수 있다.
도면에 도시되어 있지 않으나 본 발명의 일 실시예에 있어서 원격 제어 장치(100) 또는 디스플레이 장치(200)의 정보수집부(110, 210)는 상술한 바와 같은 센서(111 내지 270)들 외에도 각종 상황 정보를 수집할 수 있는 다양한 센서와 같은 수단을 더 포함하고 있을 수 있다.
예를 들어 정보수집부(110, 210)는 초음파를 감지할 수 있는 초음파 센서를 포함할 수도 있다.
초음파 센서는, 불가청의 초음파를 외부의 대상체로 조사하고 대상체에서 반사되어 오는 에코 초음파를 감지함으로써 대상체의 존재 여부, 대상체의 형태나 동작 등에 대한 정보를 수집할 수 있게 한다.
또한 정보수집부(110, 210)는, 원격 제어 장치(100)나 디스플레이 장치(200)의 프로세서에서 출력되거나 또는 외부의 인공 위성 등으로부터 수신되는 시간 정보를 수집하여, 상황 정보가 수집된 시각에 따라 차별되는 제어 명령을 후술하는 제어부(130, 230)가 생성하도록 할 수도 있다.
뿐만 아니라 정보수집부(110, 210)는 디스플레이 장치(200)의 화면, 즉 디스플레이부(240)에서 재생되는 콘텐츠에 대한 정보, 예를 들어 프로그램 가이드 정보(EPG, electronic program guide)를 수집할 수도 있다. 이는 유무선 통신망을 통해 수신받거나, 또는 사용자의 사용 로그 정보를 원격 제어 장치(100)나 디스플레이 장치(200)의 저장부로부터 읽어들임으로써 수행될 수 있다.
여기서 로그 정보란, 하나의 콘텐츠에 대한 재생 여부 등의 작동에 대한 기록이나 관련 데이터와 같은 메타 정보로, 예를 들어 하나의 콘텐츠에 대한 사용자의 시청 회수, 시청 중단 회수, 최종 시청 시각 등과 같은 히스토리 정보를 포함한다.
이와 같은 정보수집부(110, 210)을 통해서 신체 상태에 대한 상황 정보(a1), 예를 들어 사용자의 존재 여부나 사용자의 행위에 대한 정보나 주변 환경에 대한 상황 정보(a2), 예를 들어 광량, 온도, 시각, 디스플레이 장치(200) 주변의 인원수, 사용자와 디스플레이 장치(200) 사이의 다른 물체의 존재 여부에 대한 정보, 재생되는 프로그램 정보 등 상황 판단, 더 나아가 사용자의 기분 등을 파악할 수 있는 다양한 정보를 수집할 수 있게 된다.
이상 상술한 바와 같이 정보수집부(110, 210)에 의해서 수집된 신체 상태 또는 주변 환경에 대한 상황 정보(a1, a2)는 도 2에 도시된 바와 같이 디스플레이 장치(200)의 제2 상황판단부(220)나, 도 3a에 도시된 바와 같이 원격 제어 장치(100)의 제1 상황판단부(120)로 전달되고, 이후 각 장치(100, 200)에 의해서 이용된다.
이하, 도 3을 참조하여 본 발명에 있어서 상황판단부 및 제어부가 시스템의 디스플레이 장치(200)에 포함된 일 실시예에 따라서 각 구성 요소에 대해서 설명하도록 한다.
디스플레이 장치(200)의 구성 요소 중 도 2 및 도 3에 도시된 정보수집부(110, 210)에 대해선 상술하였다. 이하, 도 3을 참조하여 본 발명의 일 실시예에 있어서 디스플레이 장치(200)의 제2 상황판단부(220)에 대해 설명하도록 한다.
본 발명의 일 실시예에 있어서 제2 상황판단부(220)는, 수집된 외부 환경에 대한 상황 정보(a1, a2)를 기초로 사용자의 현재 상태를 판단하여 현재 상황을 결정한다. 즉, 제2 상황판단부(220)는 상기 제2 정보수집부(210)를 통해 수집한 복수의 상황 정보, 예를 들어 사용자의 체온, 맥박과 같은 신체 상태에 대한 상황 정보(a1)와, 광량, 음량, 동작, 사용자 얼굴 표정, 재생되는 프로그램의 정보, 현재 시각 등을 이용하여 사용자의 현재 상태, 특히 더 나아가 사용자의 감정 상태를 파악하도록 한다.
이때 제2 상황판단부(220)는, 외부 환경으로부터 수집된 상황 정보, 예를 들어 광량, 온도, 음향의 크기, 사용자의 생체 상태 등을 입력값으로 하고, 기정해진 소정의 상황 판단 알고리즘에 이를 대입하여 결과값을 연산한 후, 결과값에 따라서 사용자나 주변 환경의 현재 상태를 판단하도록 할 수 있다.
다시 말해서 제2 상황판단부(220)는, 사용자가 어떠한 환경에서 어떤 상태로 있는지를 판단할 수 있게 된다.
예를 들어 제2 상황판단부(220)는, 광센서(112, 212)에 의해 감지되는 광량과, 음향 센서(113, 213)에 의해 감지되는 음량, 사용자의 생체 신호(211)에 따라서 사용자가 수면 중인지, 어떤 환경에서 수면 중인지, 예를 들어 조명을 점등한 채로 또는 소등한 채로 수면 중인지 여부 등을 판단할 수 있게 한다.
제2 상황판단부(220)가 상황을 판단하기 위하여, 수집된 상황 정보와 이를 통해 판단하고자 하는 내용에 따라서 복수의 상황 판단 알고리즘이 사용될 수 있다. 또한 하나의 알고리즘에 여러 상황 정보가 입력값으로 이용될 수도 있고, 하나의 상황 정보가 복수의 상황 판단 알고리즘의 입력값으로 사용될 수도 있다. 또한 여러 알고리즘을 복합적으로 사용하여 개별 상황을 판단한 후, 다시 판단된 개별 상황을 종합하여 원격 제어 장치(100)와 디스플레이 장치(200) 제어를 위한 전체적인 상황을 판단하도록 할 수도 있다.
상술한 예와 같이 사용자의 생체 신호로부터 일정한 알고리즘을 이용하여 사용자가 깨어 있는지 자고 있는지를 판단하고, 광량에 대한 정보로 조명의 점등 여부를 판단하고, 프로세서에서 출력되는 시간 정보를 기초로 현재 시각이나, 또는 조명이 점등된 후 경과된 시간을 판단한 후, 판단 결과를 기초로 사용자가 밤에 불면 상태에 있는지를 판단하도록 할 수 있다.
본 발명의 일 실시예에 있어서 도 2에 도시된 바와 같이 상술한 제2 상황판단부(220)의 판단을 위한 판단 정보 데이터베이스(221)가 이용될 수 있다.
판단 정보 데이터베이스(221)는, 상황 정보를 기초로 사용자의 현재 상태를 판단하기 위한 판단 정보에 대한 데이터베이스이다.
판단 정보는 수집되는 상황 정보가 일정한 범위에 해당하거나, 또는 일정한 값을 갖는 경우에 어떻게 판단할 것인지 여부에 대한 정보를 의미한다. 예를 들어서 감지된 빛의 양이 일정 범위 이내이면 소등 상태로 판단하거나, 얼굴 인식 결과 웃는 얼굴이라는 판단 결과를 얻으면 사용자가 기분 좋은 상태로 판단하는 등 각각의 수집된 상황 정보에 따르는 판단 방법에 대한 정보를 의미한다.
이 경우 제2 상황판단부(220)는 수집된 상황 정보(a1, a2)와 관련하여, 먼저 판단 정보 데이터베이스(221)를 열람하여, 상기 상황 정보에 상응하는 판단 정보를 검색한다. 그리고 상황 정보에 상응하는 판단 정보가 존재하는 경우에는 상황 정보에 상응하는 판단 정보에 따라서 사용자의 현재 상태에 대한 판단을 수행한다. 만약 상황 정보에 대응되는 판단 정보가 존재하지 않는 경우에는 판단을 종료하고 다른 상황 정보가 수집될 때까지 대기하도록 할 수 있다.
제2 상황판단부(220)의 판단에 따라서, 사용자의 탐지 및 인식, 디스플레이 장치 앞의 인원수, 기쁨, 행복, 우울, 슬픔, 지루함, 화남, 무서움, 기타 등과 같은 다양한 사용자의 감정, 사용자의 수면 상태 여부, 주변 공간의 조도, 사용자의 스트레스 등 다양한 사용자의 상태 및 주변 환경에 대한 상황 판단 결과를 얻을 수 있다.
이상 상술한 바와 같은 제2 상황판단부(220)가 판단한 판단 결과는 도 2 및 도 3에 도시된 바와 같이 제2 제어부(230)로 전달되고, 이에 따라서 디스플레이 장치(200)의 제2 제어부(230)는 판단 결과에 상응하는 제어 명령을 생성하여 제어 대상으로 전달한다.
이하 본 발명의 일 실시예에 있어서 디스플레이 장치(200)의 제2 제어부(230)에 대해서 설명하도록 한다.
본 발명의 일 실시예에 있어서 디스플레이 장치(200)의 제2 제어부(230)는 수집된 상황 정보를 기초로 판단된 현재 상태에 대한 판단 결과에 따라서 원격 제어 장치(100) 및/또는 디스플레이 장치(200), 예를 들어 디스플레이 장치(200)의 디스플레이부(240)나 영상 프로젝터 모듈, 예를 들어 빔 프로젝트 모듈(280)을 제어하는 제어 명령을 생성한다. 뿐만 아니라 제2 제어부(230)는 디스플레이 장치(200)를 이루는 각종 구성 요소의 동작을 제어하는 제어 명령도 생성할 수도 있다.
이를 통해서 디스플레이 장치(200)를 제어함으로써, 디스플레이 장치(200)가, 사용자의 상태나 감정, 주변 환경을 기반으로 하여 사용자의 감성을 유발하는 서비스를 사용자에게 제공할 수 있게 된다.
본 발명의 실시예에 따르면 제2 제어부(230)는 판단 결과에 따라서 원격 제어 장치(100)가 소정의 알림 신호를 출력하도록 제어하는 제어 정보를 생성하고, 이를 도 2에 도시된 바와 같이 원격 제어 장치(100)로 전송한다. 여기서 전달되는 제어 정보는 원격 제어 장치(100)의 알림부(140)의 동작에 대한 정보, 예를 들어 알림부(140)의 발광 모듈(도 3a의 151)이 어떤 패턴으로 발광할 것인지, 알림부(140)의 음향 출력 모듈(153)이 어떤 사운드를 출력할 것인지와 같은 알림 신호에 대한 정보를 함께 포함할 수 있으며, 원격 제어 장치(100)의 알림부(140)는 이에 따라서 동작하게 된다.
본 발명의 다른 실시예에 따르면 제2 제어부(230)는 판단 결과만을 원격 제어 장치(100)로 전송하도록 할 수 있으며, 이 경우 원격 제어 장치(100)는 수신한 판단 결과를 기초로 출력될 알림 신호를 결정하고 이에 따라 알림부(140)를 제어하여, 소정의 빛 또는 사운드와 같은 알림 신호를 외부로 출력하도록 할 수도 있다.
본 발명의 일 실시예에 있어서 제2 제어부(230)는, 도 2에 도시된 바와 같이, 제어 정보 데이터베이스(231)를 참조하여 제2 상황판단부(220)의 판단 결과에 따른 제어 명령을 생성하도록 할 수도 있다.
제어 정보 데이터베이스(231)는, 상황 정보를 기초로 판단된 사용자의 현재 상태에 상응하는 원격 제어 장치(100) 및/또는 디스플레이 장치(200)에 대한 제어 정보를 저장하고 있다.
제어 정보는, 예를 들어서 수집된 상황 정보가 소정의 조건에 해당하는 경우에는, 디스플레이 장치의 카메라가 영상을 촬영하도록 제어하는 제어 정보일 수도 있고, 디스플레이 장치의 카메라에 의해 촬영된 영상을 상기 디스플레이 장치에 픽쳐인픽쳐(PIP, picture in picture) 방식으로 표시하도록 제어하는 제어 정보일 수도 있다. 또한 디스플레이 장치의 카메라에 의해 촬영된 적어도 하나의 영상에 대한 섬네일 이미지를 디스플레이 장치의 화면상에 일정하게 배치되어 표시하도록 제어하기 위한 제어 정보일 수도 있고, 디스플레이 장치의 화면상에 표시되는 영상에 관련된 영상 관련 정보를 디스플레이 장치의 화면상에 표시하도록 제어하는 제어 정보일 수도 있다.
이뿐만 아니라 디스플레이 장치(200)를 통해 사용자의 감성을 자극하는 다양한 종류의 서비스에 따라서 다양한 제어 정보가 있을 수 있다.
제2 제어부(230)는, 본 발명의 일 실시예에 있어서, 제2 상황판단부(220)가 판단한 사용자의 현재 상태에 따라서 제어 정보 데이터베이스(231)를 열람하고, 제어 정보 데이터베이스(231)에 현재 상황에 상응하는 원격 제어 장치(100) 및/또는 디스플레이 장치(200)에 대한 제어 정보가 존재하는 경우, 이를 독출하고 이에 상응하는 제어 명령을 생성하도록 한다. 만약 현재 상황에 상응하는 원격 제어 장치(100) 및/또는 디스플레이 장치(200)에 대한 제어 정보가 존재하지 않는 경우에는 제어 명령의 생성을 종료하고, 제2 상황판단부(220)로부터 다른 판단 결과가 전달될 때까지 대기 상태로 전환되도록 할 수도 있다.
한편 제2 제어부(230)는 본 발명의 일 실시예에 있어서 원격 제어 장치(100)의 입력부, 예를 들어 리모컨 외부에 배열되어 설치되는 각종 버튼들(도 4의 140, 도 4b의 140a 참조)을 통하여 입력받은 사용자 명령에 따라서 새로운 제어 정보를 생성하도록 하거나, 또는 이미 생성한 제어 정보를 수정하여 새로운 제어 정보를 생성하도록 할 수도 있다.
특히 이 경우에 있어서 상기 원격 제어 장치(100)의 입력부는, 알림부(140)가 사용자에게 알림 신호를 출력한 후에 비로소 사용자로부터 사용자 명령을 받을 수 있다.
즉, 알림부(140)가 출력한 알림 신호에 응하여 사용자가 소정의 조작을 원격 제어 장치(100)에 가하면, 그 정보가 디스플레이 장치(200)의 제2 제어부(230)로 전송되고, 제2 제어부(230)는 이에 상응하여 새로운 제어 정보를 생성하는 것이다.
예를 들어 제2 제어부(230)가 수집된 상황 정보로부터 사용자가 밤에 장시간 수면을 취하지 못하고 있다고 하자. 그러면 제2 제어부(230)는 이에 따라서 디스플레이 장치(200)의 프로젝터 모듈(280)을 동작시켜 빔을 투사함으로써 사용자의 방 천장에 별자리가 표시되도록 할 수도 있다. 이때 사용자가 원격 제어 장치(100)를 조작하여 프로젝터 모듈(280)의 동작을 정지시키는 명령을 입력하면, 제2 제어부(230)는 입력된 사용자 명령에 따라서 프로젝터 모듈(280)의 동작을 정지시키는 새로운 제어 명령을 생성하도록 할 수도 있다.
또한 본 발명의 일 실시예에 있어서 제2 제어부(230)는 제2 상황 판단부(220)의 판단 결과에 따라서 이에 상응하는 제어 명령을 반드시 생성하도록 할 수도 있지만, 다른 일 실시에에 있어서 제2 제어부(230)는 판단 결과에 상응하는 제어 명령을 랜덤하게 생성할 수도 있다. 다시 말해서, 제어부(230)는 상황 판단부(220)의 판단 결과가 동일하다고 하더라도, 임의적으로 원격 제어 장치(100)나 디스플레이 장치(200) 등을 제어하는 제어 명을 생성할 수도 있고, 또는 생성하지 않을 수도 있다.
이에 따라서 사용자는 기대하지 않은 상황에서 디스플레이 장치(200)를 이용한 서비스를 제공받게 되고, 이에 따라서 사용자의 감성이 더욱 자극될 수도 있다.
본 발명의 일 실시예에 있어서 디스플레이 장치(200)는, 제2 제어부(230)의 제어 명령에 따라서 외부로부터 수신되거나 또는 내부의 저장 공간에 저장된 각종 영상을 재생하는 디스플레이부(240)를 포함하고 있다.
본 발명의 일 실시예에 있어서 디스플레이 장치(200)는 상술한 바와 같은 제어 명령을 저장하거나, 또는 상술한 제어 명령에 따라 카메라(270) 등을 통해 촬영된 영상 또는 인터넷망을 통하여 외부로부터 수집한 각종 정보, 예를 들어 디스플레이 장치(200)를 통해 재생되는 영상에 대한 각종 메타 정보를 저장하는 저장부(250)를 더 포함할 수 있다. 저장부(250)에 저장된 데이터는 필요에 따라서 제2 제어부(230)에 의해 호출되어 디스플레이 제어에 있어서 디스플레이 장치(200)가 학습하기 위해 사용될 수도 있고, 또한 디스플레이부(240)를 통해서 외부에 표시될 수도 있다.
본 발명의 일 실시예에 의하면 디스플레이 장치(200)는, 저장부(250)에 저장된 제어 정보를 기초로 사용자의 조작에 대한 패턴을 분석하고 상기 분석 결과를 기초로 제어 정보 데이터베이스(231)를 업데이트하는 업데이트부(260)를 더 포함할 수 있다.
제어 정보 데이터베이스(231)는, 원격 제어 장치를 포함하는 디스플레이 장치 제어 시스템을 이용하여 서비스를 제공하는 서비스 제공자에 의해 구축된 것이므로, 사용자 개개인의 특성을 그대로 반영하고 있는 것은 아니다.
따라서 사용자의 조작, 예를 들어 상술한 바와 같이 원격 제어 장치(100)의 입력부(150)를 통한 사용자의 조작을 통계적으로 분석하여, 개별 상황에 대해서 사용자의 반응이나 기호에 따라 디스플레이 장치(200)를 제어하는 제어 명령을 업데이트할 수 있도록 해야 하는데, 이와 같이 제어 정보 데이터베이스(231)의 업데이트는 업데이트부(260)에 의해서 수행된다.
다시 말해서 업데이트부(260)를 통하여 디스플레이 장치(200)는, 사용자의 기호에 적합하도록 어떻게 디스플레이 장치(200)를 제어하여 서비스를 제공할 것인지를 학습할 수 있게 된다.
한편 본 발명의 일 실시예에 있어서 디스플레이 장치(200)는 외부의 영상을 촬영하는 카메라 모듈(270)을 더 포함할 수 있다. 여기서 카메라 모듈(270)은 정지 영상, 동영상을 모두 촬영할 수 있다.
또한 본 발명의 일 실시예에 있어서 디스플레이 장치(200)는, 외부의 투사면에 영상을 투사하는 프로젝터 모듈(280)을 더 포함할 수 있다.
프로젝터 모듈(280)은 외부의 투사면, 예를 들어 스크린이나 벽, 천장 등으로 일정한 빛, 예를 들어 가시광이나 레이저광을 투사하여 투사면에 소정의 영상이 맺혀지도록 한다.
이하, 도 4a를 참조하여 원격 제어 장치(100)가 상황을 판단하고 제어 명령을 생성하는 일례에 대해서 설명하도록 한다.
도 4a는 본 발명의 일 실시예에 따른 원격 제어 장치에 대한 블록도이다.
도 4a에 도시된 바에 따르면 본 발명의 일 실시예에 따른 원격 제어 장치는, 제1 정보수집부(110), 제1 상황판단부(120), 제1 제어부(130) 및 알림부(140)를 포함할 수 있다. 여기서 제1 정보수집부(110)는 이미 설명한 바 있다.
원격 제어 장치(100)의 제1 상황판단부(120)는 상술한 디스플레이 장치(200)의 제2 상황판단부(220)와 동일하게 제1 정보수집부(110)를 통하여 수집된 상황 정보를 기반으로 하여 사용자의 현재 상태를 판단하도록 한다.
본 발명의 일 실시예에 따라서 제1 상황판단부(120)는 원격 제어 장치의 제1 정보수집부(110)만을 이용하여 사용자의 현재 상태를 판단할 뿐만 아니라 디스플레이 장치(200)의 제2 정보수집부(210)에 의해 수집된 상황 정보를 수신받아 사용자의 현재 상태를 판단할 수도 있다.
원격 제어 장치의 제1 상황판단부(120)에 의해 획득된 판단 결과는, 본 발명의 일 실시예에 따라서 디스플레이 장치(200)로 전송되어, 디스플레이 장치(200)의 제2 제어부(230)가 판단 결과를 이용하여 제어 명령을 생성하도록 할 수도 있다.
한편으로는 본 발명의 다른 실시예에 의하면 원격 제어 장치의 제1 상황판단부(120)에 의해 획득된 판단 결과는 원격 제어 장치(100)의 제1 제어부(130)로 전달될 수도 있다.
본 발명의 일 실시예에 있어서 원격 제어 장치(100)는 제1 상황판단부(120)의 판단 결과를 기초로 소정의 제어 명령을 생성하는 제1 제어부(130)를 더 포함할 수 있다.
원격 제어 장치(100)의 제1 제어부(130)는 상기 판단 결과에 따라서 원격 제어 장치(100)의 알림부(140)의 동작을 제어하는 제어 명령을 생성하고 이를 알림부(140)로 전달한다. 또한 원격 제어 장치(100)의 제1 제어부(130)는 디스플레이 장치(200)를 제어하는 제어 명령, 예를 들어 카메라 모듈(270) 또는 프로젝터 모듈(280)을 구동시키는 제어 명령 등을 생성하여 이를 디스플레이 장치(200)로 전달하도록 할 수도 있다.
다만 만약 상술한 바와 같이 디스플레이 장치(200)가 제2 제어부(230)를 포함하고 있고, 제2 제어부(230)가 판단 결과에 따라서 원격 제어 장치(100)의 알림부(140)의 동작을 제어하는 제어 명령을 생성하여 원격 제어 장치(100)로 전달한다면, 원격 제어 장치(100)의 제1 제어부(130)가 알림부(140)를 제어하는 제어 명령을 생성할 필요는 없을 것이다.
또한 상술한 바와 같이 디스플레이 장치(200)의 제2 제어부(230)가 디스플레이 장치(200)에 대한 제어 명령을 생성하는 경우에도, 마찬가지로 원격 제어 장치(100)의 제1 제어부(130)가 디스플레이 장치(200)에 대한 제어 명령을 생성하지 않을 수도 있다.
예를 들어 본 발명의 일 실시예에 따르면 원격 제어 장치(100)의 제1 제어부(130)는 상황 정보를 이용하여 판단된 사용자의 현재 상태에 대한 판단 결과를 기초로 원격 제어 장치(100)의 알림부(140)만을 제어하는 제어 명령을 생성하고, 판단 결과를 디스플레이 장치(200)로 전달하여 디스플레이 장치(200)의 제2 제어부(230)가 판단 결과를 기초로 디스플레이 장치(200)를 제어하는 제어 명령을 생성하도록 할 수도 있을 것이다.
도 2를 통하여 상술한 바와 같이 제어부(110)는, 실시예에 따라서 제어 명령을 생성함에 있어서 원격 제어 장치(100) 내의 메모리 장치에 저장되거나, 또는 원격 제어 장치(100)가 무선 통신망을 통하여 접근할 수 있는 제어 정보 데이터베이스를 참조할 수도 있다.
본 발명의 일 실시예에 있어서 원격 제어 장치(100)는 알림부(140)를 더 포함한다.
알림부는, 원격 제어 장치(100)의 제1 상황판단부(120) 또는 디스플레이 장치(200)의 제2 상황판단부(220)를 통해 판단된 사용자의 현재 상태에 상응하는 소정의 알림 신호를 출력하는 기능을 수행한다.
다시 말해서 상황판단부(120, 220)에 의해서 사용자의 상황이 판단된 후, 판단 결과에 따라 디스플레이 장치(200)가 제어될 때, 이를 사용자에게 미리 알림으로써 사용자가 디스플레이 장치(200)를 통해 새로운 서비스가 제공될 수 있음을 알린다.
아울러 사용자가 원격 제어 장치(100)의 입력부(150)를 조작하여, 디스플레이 장치(200)의 제어에 필요한 사용자 명령을 입력하도록 요청할 수 있게 된다.
알림부(140)는 본 발명의 일 실시예에 있어서 외부로 빛을 출력하는 발광 모듈(141), 원격 제어 장치(100)를 진동시키는 진동 발생 모듈(142) 및 사운드를 출력하는 음향 출력 모듈(143) 중 적어도 하나 이상을 포함하고 있다.
발광 모듈(141)은, 제어부(130, 230)로부터 전달되는 발광 제어 명령에 따라서 발광체를 발광시켜 소정의 빛을 외부로 출력한다.
발광 모듈(141)은, 원격 제어 장치(100)의 외면에 설치되는 필라민트를 사용하는 전구 또는 전계 발광 효과를 이용하는 발광다이오드(LED, light emitting diode)와 같은 발광체와, 발광체를 제어하기 위한 회로를 포함하고 있다.
본 발명의 일 실시예에 따르면 또한 발광 모듈(141)은 상황 정보에 의한 판단 결과에 따라서 다른 색상이나 다른 에너지의 빛을 출력하거나, 다른 패턴으로 빛을 출력하도록 할 수 있다. 예를 들어 판단 결과에 따라서 출력되는 빛의 광원색이나 출력되는 빛의 점멸 주기를 각각 다르게 할 수 있다. 또한 각각의 판단 결과에 따라서 빛이 표시되는 패턴, 예를 들어 초반에는 적색 빛이 점멸하도록 한 후 일정 시간이 경과한 후에는 황색 빛이 점멸되도록 한다거나 하는 패턴을 다르게 하거나, 또는 시간의 경과에 따라서 빛이 표시되는 패턴을 바꾸는 것도 가능할 것이다.
따라서 사용자는 발광 모듈(141)을 통해 빛이 출력되는 형태나 패턴을 통하여 원격 제어 장치(100)나 디스플레이 장치(200)가 어떤 판단 결과를 생성하였는지, 디스플레이 장치(200)가 어떻게 제어될 것인지 여부를 직관적으로 알 수 있게 된다.
본 발명의 일 실시에에 있어서 원격 제어 장치(100)는, 발광부(141)의 동작에 따라서 원격 제어 장치(100)의 전체 또는 일부의 색 자체가 변경될 수도 있다.
본 발명의 일 실시예에 따르면, 원격 제어 장치(100)의 하우징은 그 전부 또는 일부가 투명하거나 또는 반투명한 소재로 이루어져 빛을 투과시킬 수 있고, 하우징의 전부 또는 일부의 하부에는 발광 모듈(141)이 배치된다. 이에 따라서 발광 모듈(141)에 출력되는 빛의 광량이나 광원색이 변경되면, 그에 따라서 원격 제어 장치(100)의 전부 또는 일부의 색상이 변경되도록 할 수 있다.
본 발명의 실시예에 따라서, 발광 모듈(141)은 원격 제어 장치(100)의 상태에 따라서 서로 다른 색을 표시하도록 할 수 있다.
원격 제어 장치(100)가 구동되지 않거나 원격 제어 장치(100)나 디스플레이 장치(200) 등으로부터 소정의 제어 명령이 전달되지 않은 디폴트(default) 상태에서는, 발광 모듈(141)은 회색 또는 흑색의 빛을 출력하거나 또는 어떠한 빛도 출력하지 않음으로써 원격 제어 장치(100)가 회색 또는 흑색의 색으로 보이도록 할 수 있다.
만약 원격 제어 장치(100)나 디스플레이 장치(200) 등으로부터 소정의 제어 명령이 전달된 경우에는, 발광 모듈(141)은 다른 색, 예를 들어 채도, 명도가 높지 않은 은은한 색을 출력하도록 하여, 원격 제어 장치(100)가 일반적인 경우와는 다른 색으로 변경되도록 할 수 있다. 이와 같은 색의 변경은 일 회에 한정되지 않으며, 일정한 패턴에 따라서 변경될 수도 있다. 또한 변경될 색은 랜덤하게 선택될 수도 있다.
그리고 이와 같이 원격 제어 장치(100)가 다른 색으로 변경된 후 소정의 시간, 예를 들어 3~4초 후에 디스플레이 장치(200)의 제어가 시작될 수 있다.
아울러 디스플레이 장치(200)의 제어가 시작된 후에 원격 제어 장치(100)의 발광 모듈(141)은, 본 발명의 일 실시예에 따르면, 디스플레이 장치(200)의 제어가 종료될 때까지 지속적으로 동일한 색의 빛을 출력하도록 할 수 있다. 따라서 디스플레이 장치(200)가 지속적으로 제어되는 이상, 원격 제어 장치(100)는 그에 상응하는 색을 유지하게 된다.
본 발명의 다른 실시예에 따르면, 디스플레이 장치(200)의 제어가 시작됨과 동시에, 또는 제어가 시작되고 소정의 시간이 경과된 후에 원격 제어 장치(100)의 발광 모듈(141)은 다시 회색 또는 흑색의 빛을 출력하거나 빛의 출력을 중단할 수도 있다. 그러면 상술한 바와 같은 디폴트 상태로 전환되어 원격 제어 장치(100)가 회색 또는 흑색이 되도록 할 수도 있다.
따라서 사용자는 원격 제어 장치(100)의 색의 변화로 원격 제어 장치(100)나 디스플레이 장치(200)가 어떤 판단 결과를 생성하였는지, 디스플레이 장치(200)가 어떻게 제어될 것인지 여부를 직관적으로 알 수 있게 된다.
진동 발생 모듈(142)은 상황 정보에 의한 판단 결과에 따라 원격 제어 장치(100)에 대해 진동을 발생시킨다.
이와 같은 진동 발생 모듈(142)은, 예를 들어 원격 제어 장치(100) 내에 설치된 진동 모터를 이용하여 원격 제어 장치(100)를 진동시킬 수 있다.
본 발명의 실시예에 따라서 판단 결과를 기초로 진동의 강도를 다르게 하거나, 또는 원격 제어 장치(100)를 진동시키는 패턴을 다르게 하여, 사용자가 판단 결과가 무엇인지, 디스플레이 장치(200)가 어떻게 제어될 것인지를 알 수 있게 된다.
한편 음향 출력 모듈(143)은, 상황 정보에 의한 판단 결과에 따라서 소정의 사운드, 음악 또는 녹음된 음성 등을 출력하여 사용자에게 알리도록 한다.
본 발명의 일 실시예에 있어서 음향 출력 모듈(143)은, 음향 출력 제어 명령을 제1 제어부(130) 등으로부터 수신하고, 제어 명령에 따라서 원격 제어 장치(100)의 메모리 장치 등에 저장된 각종 음향 데이터, 예를 들어 음성 데이터, 음악 데이터, 각종 사운드 데이터 중 적어도 하나를 선택하고 이를, 출력 수단, 예를 들어 스피커 등을 통하여 출력하도록 한다.
상술한 바와 마찬가지로 사용자는 출력되는 음성, 음악 또는 사운드 등을 통하여 판단 결과가 무엇인지, 디스플레이 장치(200)가 어떻게 제어될 것인지를 미리 알 수 있게 된다.
본 발명의 일 실시예에 있어서 원격 제어 장치(100)는 사용자의 조작에 따라 사용자 명령을 입력받고, 이에 상응하는 제어 명령을 생성하여 전달하는 입력부(150)를 포함할 수 있다.
입력부(150)는, 예를 들어 도 4b에 도시된 바와 같이 원격 제어 장치(100)의 외면에 배치된 복수의 버튼(140a) 또는 또한 가상의 버튼이 표시되는 터치스크린을 포함할 수 있으며, 이를 통해서 사용자로부터 명령을 입력받는다.
본 발명의 일 실시예에 따르면 알림부(140)가 소정의 알림 신호가 출력한 후, 입력부(150)는 사용자로부터 알림 신호에 대응되는 사용자 명령을 입력받도록 할 수 있다. 다시 말해서 알림 신호의 출력 후, 입력부(150)는 알림 신호에 대응되는 사용자로부터 명령을 입력받기 위한 대기 상태로 전환되고, 사용자가 입력부(150)의 복수의 버튼(140a)이나 터치스크린을 정해진 방식에 따라 조작하면, 입력부(150)는 이에 상응하는 입력 명령을 생성한다. 그리고 생성된 입력 명령을 제어부(140)나 또는 디스플레이 장치(200)로 전달하여, 제어부(140) 또는 디스플레이 장치(200)가 다음 동작을 수행하도록 한다.
물론 본 발명의 다른 실시예에 따르면 입력부(140)가 사용자 명령을 입력받지 않고도, 디스플레이 장치(200)가 기예정된 동작을 수행하도록 제어될 수도 있다.
상술한 바와 같은 원격 제어 장치(100)의 일례가 도 4b에 도시되어 있다.
도 4b는 본 발명의 다른 일 실시예에 따른 원격 제어 장치의 정면도이다.
도 4b에 도시된 바를 참조하면, 본 발명의 일 실시예에 있어서 원격 제어 장치(100)는, 디스플레이 장치(200)를 제어할 수 있는 리모컨 장치(100a)일 수 있다.
여기서 리모컨(100) 장치는, 본 발명의 일 실시예에 있어서, 상술한 바와 같이 제1 정보수집부(110), 예를 들어 빛을 감지하는 광센서(112a)와 알림부(140), 예를 들어 외부로 소정의 빛을 출력하여 사용자에게 표시하는 엘이디 모듈(LED module, 141a)을 포함하고 있다. 아울러 리모컨(100a) 장치는 디스플레이 장치(200)로 제어 명령을 전송하기 위하여 전송부, 예를 들어 적외선 조사부(131)를 포함할 수 있다. 또한 사용자로부터 소정의 명령을 입력받기 위하여 복수의 버튼(150a)이 외면에 배치되어 있을 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 있어서 리모컨 장치(100a)는, 광센서(112a)를 통해서 주변의 조도를 측정하여 상황 정보를 얻고, 이를 원격 제어 장치(100)나 디스플레이 장치(200)의 상황판단부(110, 210)로 전달한다. 이에 따라 원격 제어 장치(100)나 디스플레이 장치(200)가 수집된 상황 정보를 기초로 판단 결과를 생성하고, 판단 결과에 따라서 리모컨 장치(100a)의 엘이디 모듈(141a)이 소정의 패턴으로 소정의 색의 빛을 출력하여 사용자에게 알린다.
그 후 리모컨 장치(100a)의 복수의 버튼(150a)을 사용자가 가압하면 리모컨 장치(100a)의 입력부에 의해 소정의 제어 명령이 생성되고, 이는 적외선 조사부(131)를 통해서 디스플레이 장치(200)로 전송된다. 그리고 디스플레이 장치(200)는 전송된 제어 명령에 상응하는 동작을 수행하는 것이다.
이하 본 발명의 일 실시예에 있어서 디스플레이 장치, 원격 제어 장치 및 서버를 포함하는 시스템에 대해서 설명하도록 한다.
도 5는 본 발명의 일실시예에 따른 디스플레이 장치, 원격 제어 장치 및 서버를 포함하는 시스템에 대한 구성도이고, 도 6은 본 발명의 일실시예에 따른 디스플레이 장치, 원격 제어 장치 및 서버에 대한 블록도이다.
도 5 및 도 6에 도시된 바와 같이 본 발명의 일 실시예에 있어서 서버(300)를 더 포함할 수 있다.
서버(300)는, 원격 제어 장치(100)나 디스플레이 장치(200)로부터 수집된 상황 정보들을 수신하고, 상황 정보들로부터 현재의 상황을 판단하고 이에 따라 상응하는 제어 명령을 생성한다.
본 발명의 일 실시예에 따르면 서버(300)는, 도 6에 도시된 바와 같이, 상황판단부(310, 이하 구별을 위하여 제3 상황 판단부라 한다), 제어부(320, 이하 구별을 위해서 제3 제어부라 칭한다), 저장부(330) 및 업데이트부(340)를 포함하고 있을 수 있다.
이 경우 도 6에 도시된 바를 참조하면, 원격 제어 장치(100)나, 디스플레이 장치(200) 또는 원격 제어 장치(100) 및 디스플레이 장치(200) 모두가 정보수집부(110, 210)를 통해서 외부의 상황에 대한 상황 정보(a1, a2)를 수집하면, 수집된 정보는 서버(300)로 유무선 통신망을 통하여 전송된다.
그러면 제3 상황판단부(310)가 수집된 상황 정보를 이용하여 상황을 판단하고, 판단 결과를 제3 제어부(320)에 전달한다. 제3 제어부(320)는 판단 결과를 기초로 상응하는 제어 명령을 생성하여 원격 제어 장치(100)나, 디스플레이 장치(200) 또는 원격 제어 장치(100) 및 디스플레이 장치(200) 모두로 제어 명령을 전송한다.
본 발명의 일 실시예에 따르면, 원격 제어 장치(100)로는 알림부(140)를 제어하기 위한 제어 명령(m)을, 디스플레이 장치(200)로는 디스플레이 장치(220)나 프로젝터 모듈(230)을 제어하기 위한 제어 명령(n)을 전송할 수 있다. 다시 말해서 서버(300)에서 원격 제어 장치(100)나, 디스플레이 장치(200)로 전송되는 제어 명령은 서로 차별될 수 있다.
이 외 원격 제어 장치(100), 디스플레이 장치(200) 나 서버(300)의 다른 구성요소들은 앞서 상술한 바와 실질적으로 동일하다. 다만 각각의 구성요소들을 포함하는 장치의 특성에 따라서 일부 변형된 기능을 수행할 수는 있다.
(2) 이하 도 7 내지 도 11을 참조하여 본 발명의 일실시예에 있어서 상황 기반 디스플레이 장치 제어 방법에 대해서 설명할 것이다.
도 7은 본 발명의 일실시예에 따른 상황 기반 디스플레이 장치 제어 방법에 대한 흐름도이다.
도 7에 도시된 바와 같이 본 발명의 일실시예에 의하면, 상황 기반 디스플레이 장치 제어 방법은, 상황 정보를 수집하는 단계(s400), 수집된 상황 정보를 기초로 사용자의 현재 상태를 판단하는 단계(s410), 원격 제어 장치(100)가 판단 결과에 따라 알림 신호를 출력하는 단계(s420) 및 디스플레이 장치(200)를 사용자의 현재 상태에 따라 제어하는 단계(s430)를 포함한다.
본 발명의 일 실시예에 의하면 상황 정보를 수집하는 단계(s400)에서는, 원격 제어 장치(100)나 디스플레이 장치(200)가 정보수집부(110, 210)를 통하여 사용자 등의 신체 상태나 주변 환경에 대한 상황 정보를 수집한다.
예를 들어, 원격 제어 장치(100) 또는 디스플레이 장치(200)의 각종 센서 등을 이용하여, 디스플레이 장치(200)에서 일정 이상의 거리 밖에 위치한 원거리 사용자의 표정이나 시선 또는 사용자의 음성 등을 인식하여 원거리의 사용자의 생체나 음색을 인식하도록 하거나, 또는 사용자의 움직임이나 원격 제어 장치(100) 등에 대해 사용자에 의해 가압되는 압력 등을 감지하는 등 다양한 방법을 통해서 상황 정보를 확보하도록 한다.
원격 제어 장치(100) 및 디스플레이 장치(200)의 정보수집부(110, 210)은, 사용자가 디스플레이 장치(200)를 사용하거나 또는 사용하지 않는 도중에도 상황 정보를 수집할 수 있으며, 이와 같은 사용자 및 주변 환경에 대한 상황 정보의 수집은 지속적으로, 또는 일정한 주기에 따라서, 또는 임의적으로 수행될 수 있다.
그리고 수집된 상황 정보를 기초로 사용자의 현재 상태를 판단하도록 한다.(s410)
이 경우 기저장된 판단 정보 데이터베이스(221)를 열람하고 이에 수집된 상황 정보에 매칭되는 정보를 검색하여 현재 상태를 판단하도록 할 수도 있고, 또는 기저장된 상황 판단 알고리즘에 상황 정보를 대입하여 사용자의 현재 상태를 판단하도록 할 수도 있다.
이를 통해서 최종적으로 사용자의 감정, 생체 상태를 판단하도록 한다.
본 발명의 일 실시예에 있어서 사용자의 감정 상태나 주변 환경을 판단하는 과정에 대해서 설명한다.
사용자의 감정 상태를 판단하기 위하여 먼저 원격 제어 장치(100)나 디스플레이 장치(200)의 카메라 및 얼굴 인식부(117, 216)를 이용하여 사용자의 표정을 인식하고, 또한 음향 센서(113, 213), 예를 들어 마이크로폰을 이용하여 사용자의 목소리를 수집한 후, 수집된 상황 정보를 기초로 사용자의 감정 상태를 판단하여 판단 결과를 생성한다. 여기서 판단 결과는, 사용자의 다양한 감정을 의미하는데, 예를 들어 기쁨, 우울, 분노, 기타와 같이 일정 범주로 분류되어 생성될 수 있다.
또한 수면/비수면 여부를 탐지하기 위하여 먼저 원격 제어 장치(100)나 디스플레이 장치(200)의 생체 신호 센서(111, 211), 온도 센서(115, 215), 카메라(270) 등을 통해서 사용자의 상태 및 주변 환경에 대한 상황 정보를 얻고, 이에 따라 사용자의 수면/비수면 상태를 판단하도록 할 수도 있다. 이 경우 수면/비수면 상태 판단의 정확도를 높이기 위하여 광센서(212)를 이용하여 판단된 주변의 조도 데이터 또는 제어부(130, 230) 등에서 출력되는 시각(time) 정보를 보충적으로 이용할 수도 있을 것이다.
이와 같이 상황이 판단되면, 원격 제어 장치(100)가 판단 결과에 따라 알림 신호를 출력한다.(s420)
알림 신호는 원격 제어 장치(100)의 발광 모듈(141)을 통해 출력되는 빛, 진동 모듈(141)을 통한 원격 제어 장치(100)의 진동 또는 음향 출력 모듈(143)을 통해 출력되는 각종 음성이나 사운드, 음악 등일 수도 있다.
또한 이와 같은 알림 신호는, 상술한 바와 같이 원격 제어 장치(100) 자체의 색이 변경됨으로써 사용자에게 표시될 수도 있다. 즉, 다시 말해서 그 전부 또는 일부가 투명하거나 또는 반투명한 소재로 이루어져 빛을 투과시킬 수 있는 하우징을 구비한 원격 제어 장치(100)에 있어서, 하우징의 전부 또는 일부의 하부에는 발광 모듈(141)이 소정의 빛을 출력하여 원격 제어 장치(100)의 전부 또는 일부의 색상이 변경되도록 할 수 있다. 사용자는 원격 제어 장치(100)의 전부 또는 일부의 색상 변경을 감지한다.
알림 신호가 출력된 후 디스플레이 장치(200)가 사용자의 현재 상태에 따라 제어된다.(s430)
만약 디스플레이 장치(200)를 통해 스포츠 경기 등을 시청하는 도중 사용자가 스포츠 경기 중에 흥분하거나 또는 기뻐하는 경우, 이에 대한 상황 정보가 수집되어 사용자가 상태가 예를 들어 기쁨으로 판단되고, 디스플레이 장치(200)의 카메라(270)가 기뻐하는 사용자의 영상을 촬영하고, 촬영 데이터를 저장부(250)에 저장하도록 제어될 수 있다. 이 경우에 당시 디스플레이 장치(200)를 통해 표시되던 영상과 사용자의 영상을 결합하여 픽쳐인픽쳐(PIP, picture in picture) 방식으로 표시될 수 있도록 할 수도 있다.
만약 사용자가 무료해 하는 경우에는, 상기 디스플레이 장치의 카메라에 의해 촬영된 영상이나 픽쳐인픽쳐 방식으로 편집된 영상을 표시하도록 제어할 수도 있다. 이 경우에 있어서 촬영된 사용자의 영상이 많은 경우에는 각각의 사용자 영상으로부터 섬네일(thumbnail) 이미지를 추출하고 이를 일정하게 배열하여 디스플레이 장치의 화면상에 표시하도록 제어하는 것도 가능하다.
만약 사용자가 디스플레이 장치(200)를 통하여 영화나 드라마와 같은 영상 콘텐츠를 시청하는 도중에, 사용자가 지루해 하는 경우 디스플레이 장치(200)의 화면(240)상에 표시되는 영상에 관련된 각종 영상 관련 정보, 예를 들어 주인공 정보, 시청률, 관련 검색어, 배경 정보 등을 디스플레이 장치의 일정 위치에 표시되도록 제어할 수도 있다. 이 경우 각종 영상 관련 정보의 표시에 앞서 사용자로부터 선택 명령을 입력받을 수 있도록 예를 들어 선택 버튼을 사용자의 화면에 표시하는 것도 가능하다. 또한 로그 정보에 따라서 사용자가 최초로 재생되는 콘텐츠를 시청하거나 또는 복수 회 시청하는 경우에도 이와 동일한 동작을 수행하도록 할 수도 있다.
또한 사용자가 디스플레이 장치(200)를 통하여 동일한 영상 콘텐츠를 복수 회, 예를 들어 3회 이상 시청한 경우에는, 디스플레이 장치(200)가 표시하는 영상을 자동으로 저장하도록 제어할 수도 있다.
이하 상술한 바와 같은 상황 기반 디스플레이 장치 제어 방법의 다양한 일례에 대해서 설명하도록 한다.
도 8은 본 발명의 다른 일실시예에 따른 상황 기반 디스플레이 장치 제어 방법에 대한 흐름도이다.
도 8에 도시된 바와 같이 본 발명의 다른 일실시예에 따른 상황 기반 디스플레이 장치 제어 방법은 다음과 같은 단계를 통하여 수행될 수 있다.
원격 제어 장치(100) 또는 디스플레이 장치(200)가 상황 기반 디스플레이 장치 제어 방법에 대한 대기 모드에서 작동된다.(s500) 물론 이때 디스플레이 장치(200)는 소정의 영상 콘텐츠를 표시할 수 있고, 원격 제어 장치(100)는 사용자의 조작에 따라서 디스플레이 장치(200)를 제어하여 디스플레이 장치(200)의 채널이 변경되도록 하거나, 음량이 조절되도록 할 수 있다.
만약 예를 들어 사용자 맥박이나 분당 호흡수가 변화하거나, 방 안의 조도가 크게 되거나 또는 작아지는 것과 같이 사용자의 행동 또는 주변 환경이 변화하거나, 또는 소정의 영상 콘텐츠가 재생되기 시작한다. 또는 사용자가 원격 제어 장치(100) 또는 디스플레이 장치(200)가 상황 정보를 수집하도록, 원격 제어 장치(100) 또는 디스플레이 장치(200)의 입력 버튼을 조작한다.(s510)
그러면 원격 제어 장치(100) 또는 디스플레이 장치(200)가 상황 정보를 수집하기 시작한다.(s520) 즉, 사용자의 맥박이나 호흡수가 변화하거나, 일정한 영상 콘텐츠가 재생되거나 또는 사용자가 상황 정보 수집 명령을 입력하면, 원격 제어 장치(100) 또는 디스플레이 장치(200)의 정보수집부(110, 210)가 동작을 시작하여 상황 정보를 수집한다.
물론 본 발명의 실시예에 따라선, 원격 제어 장치(100) 또는 디스플레이 장치(200)가 사용자의 행동이나 조작, 주변의 환경의 변화 등과 무관하게 상황 정보를 지속적으로 수집하는 것도 가능할 것이다. 이 경우에는 상황 기반 디스플레이 장치 제어 방법에 대한 대기 모드가 필요한 것은 아니다.
상황 정보가 수집되면 원격 제어 장치(100)의 제1 제어부(130)는, 원격 제어 장치(100) 또는 디스플레이 장치(200)가 수집한 상황 정보를 판단 정보 데이터베이스의 각각의 판단 정보와 비교하여(s530) 수집된 상황 정보에 상응하는 판단 정보가 존재하는지 여부를 확인한다.
만약 수집된 상황 정보에 상응하는 판단 정보가 존재하지 않는 경우, 원격 제어 장치(100)는 다시 대기 모드(s500)로 전환될 수도 있다. 또는 지속적으로 사용자의 행동이나 주변 환경에 대한 상황 정보를 수집하도록 할 수도 있다.(s520)
만약 수집된 상황 정보에 상응하는 판단 정보가 존재하는 경우, 이를 기초로 하여 사용자의 현재 상태, 예를 들어 기쁨, 행복, 우울, 슬픔, 지루함, 화남, 무서움과 같은 상태를 판단한다.(s532)
그러면 판단 결과에 따라서 원격 제어 장치(100)의 제1 제어부(130)는 소정의 제어 명령을 생성한다. 이때 하나의 제어 명령은 알림부(140)를 제어하기 위한 제어 명령이다.
원격 제어 장치는 알림부(140)를 제어하기 위한 제어 명령에 따라서 알림 신호를 출력하도록 한다. 예를 들어 발광 모듈(141)을 통해 빛을 출력하거나, 또는 스피커와 같은 음향 모듈(143)을 통해 음성, 사운드를 출력하는 것도 가능하다. 또한 상술한 바와 같이 원격 제어 장치(100)의 전부 또는 일부의 색상을 변경하도록 하는 것도 가능할 것이다.
그리고 디스플레이 장치(200)로 판단 결과를 전송할 것인지 여부를 결정한다. 만약 디스플레이 장치(200) 내의 제2 제어부(230)가 판단 결과에 따라 디스플레이 장치(200)를 제어하는 제어 명령을 생성하는 경우라면, 제어 명령의 생성을 위해 판단 결과를 디스플레이 장치(200)로 전송할 필요가 있다. 이와 같은 전송은 각종 블루투스나 와이파이와 같은 무선 통신망을 통해서 수행될 수 있다.
원격 제어 장치(100)는 이후 판단 결과에 상응하는 제어 명령을 생성한다.
본 발명의 실시예에 따라서 원격 제어 장치(100)는, 알림부(140)에 의해 알림 신호가 출력된 후에 입력부(150)를 통하여 사용자로부터 사용자 명령을 입력받을 수 있다.
사용자는 알림 신호를 통해서 디스플레이 장치(200)가 별도의 제어 명령에 따라서 제어될 수 있음을 알게 된다. 다시 말해서 디스플레이 장치(200)를 이용하여 제공되는 서비스가 존재한다는 것을 인식하게 된다.
그 후에 사용자는 서비스를 제공받을 것인지 여부, 즉, 디스플레이 장치(200)가 제어 정보 데이터베이스(231)에 의해 정해진 동작에 따라 구동되길 원하는지, 어떻게 디스플레이 장치(200)가 동작할 것인지, 또는 복수의 예정된 동작에 대해서 어떤 동작이 선택되어 행해질 것인지 등을 결정하게 된다.
이에 따라서 사용자의 원격 제어 장치(100)를 조작, 예를 들어 소정의 버튼(150a)을 누르면, 이와 같은 사용자의 조작에 응하여 원격 제어 장치(100)의 제1 제어부(130)가 제어 명령을 생성하게 된다.
본 발명의 다른 실시예에서는 사용자로부터 어떠한 명령의 입력도 받지 않고, 알림 신호가 출력됨과 동시에, 알림 신호가 출력되기 전에 또는 알림 신호가 출력된 후 약간의 시간이 경과된 후에 자동으로 제어 명령이 생성될 수도 있다.
만약 제어 명령을 생성하지 않는 경우, 예를 들어 디스플레이 장치(200)나 서버(300)의 제어부(230, 320)에 의해서 모든 제어 명령이 생성되는 경우에는 원격 제어 장치(100)에 의한 동작은 종료한다.(s560)
만약 제어 명령을 생성하는 경우(s560)에는, 판단 결과에 따른 사용자의 현재 상태에 상응하는 제어 명령을 생성한다. 이는 상술한 바와 같이 디스플레이 장치(200)의 동작을 제어하기 위한 제어 명령이다. 이와 같은 제어 명령은, 예를 들어 사용자 등의 영상을 촬영하도록 디스플레이 장치(200)의 카메라(270)를 조작하는 제어 명령일 수도 있고, 투사면에 빔을 투사하여 소정의 영상을 생성하기 위하여 빔 프로젝트 모듈(280)을 조작하는 제어 명령일 수도 있다.(s561)
이와 같이 원격 제어 장치(100)에 의해서 생성된 제어 명령은 디스플레이 장치(200)로 전송되고,(s570) 상기 제어 명령에 따라서 디스플레이 장치(200)가 동작하게 된다.(s580)
도 9는 본 발명의 또 다른 일실시예에 따른 상황 기반 디스플레이 장치 제어 방법에 대한 흐름도이다.
도 9에 도시된 바와 같이 상황 기반 디스플레이 장치 제어 방법의 또 다른 일실시예는 다음과 같다.
원격 제어 장치(100) 및 디스플레이 장치(200)가 대기 모드(s600)에 있을 때, 사용자의 행동 또는 주변 환경이 변화하면,(s610) 원격 제어 장치(100) 및/또는 디스플레이 장치(200)가 사용자의 행동이나 주변 상황을 감지하여 상황 정보를 수집한다.(s620)
그 후 원격 제어 장치(100)는 수집한 상황 정보를, 디스플레이 장치(200)로, 블루투스™, 와이파이(Wifi) 또는 3GPP, 3GPP2 또는 와이맥스 계열 등의 각종 이동 통신 표준을 이용하는 무선 통신망 등을 이용하여 전송한다.(s630)
디스플레이 장치(200)는 원격 제어 장치(100)에서 수집한 상황 정보를 이용하여 사용자의 현재 상황을 판단한다.
본 발명의 일 실시예에 따르면 디스플레이 장치(200)는 원격 제어 장치(100)에서 수집한 상황 정보뿐만 아니라 디스플레이 장치(200)의 제2 정보수집부(210)를 통하여 수집한 상황 정보를 함께 이용할 수도 있다. 다시 말해서 원격 제어 장치(100)가 수집한 상황 정보와 디스플레이 장치(200)가 수집한 상황 정보를 취합하여 이용하거나, 이중 어느 하나의 장치(100, 200)에서 수집한 상황 정보만을 선택적으로 이용할 수도 있다.
본 발명의 일 실시예에 있어서 디스플레이 장치(200)는 판단 정보 데이터베이스(221)를 참조하여, 판단 정보 데이터베이스의 판단 정보와 수집된 상황 정보를 비교하여 현재 상황을 판단하도록 할 수도 있다.(s640)
이 경우, 만약 수집한 상황 정보에 상응하는 판단 정보가 판단 정보 데이터베이스(221)에 존재한다면 이를 기초로 하여 사용자의 현재 상태를 판단하도록 한다.(s641, s642) 만약 수집한 상황 정보에 상응하는 판단 정보가 검출되지 않는다면, 원격 제어 장치(100)나 디스플레이 장치(200)는, 상황 정보에 따른 제어 명령 생성을 위한 대기 모드로 전환될 수도 있다.
사용자의 현재 상태가 판단된 이후, 디스플레이 장치(200)의 제2 제어부(230)는 판단 결과에 따라 알림 신호를 출력하는 제어 명령을 원격 제어 장치(100)로 전달한다. 이때 제어 명령의 전송을 위해서 블루투스™, 와이파이(Wifi) 또는 3GPP, 3GPP2 또는 와이맥스 계열 등의 각종 이동 통신 표준을 이용하는 무선 통신망 등이 이용될 수 있다. 그러면 원격 제어 장치(100)는 알림 신호를 출력하는 제어 명령에 응하여 알림 신호를 출력한다.(s650)
그리고 다시 디스플레이 장치(200)의 제2 제어부(230)는 사용자의 현재 상태에 상응하는 디스플레이 장치(200)를 제어하는 제어 명령을 생성한다.(s660)
본 발명의 일 실시예에 따르면 이와 같은 제어 명령은, 원격 제어 장치(100)가 엘이디 모듈과 같은 발광 모듈(141) 등의 알림부(140)를 통하여 알림 신호를 출력하기 전 또는 후에 외부로부터 입력되는 어떠한 명령도 없이 순차적으로 생성될 수도 있다.
본 발명의 다른 실시예에 따르면 원격 제어 장치(100)가 알림부(140)를 통해 알림 신호를 출력하고, 사용자가 원격 제어 장치(100)의 입력부(150)를 조작하여 사용자 명령을 입력받은 후에, 사용자 명령에 따라서 제어 명령이 생성될 수도 있다.
예를 들어 원격 제어 장치(100)의 엘이디 모듈이 소정의 패턴으로 발광하면서, 동시에 또는 순차적으로 사용자에게 출력되는 음성 또는 디스플레이 장치(200)의 화면에 표시되는 글자 등을 통하여 디스플레이 장치(200)가 제어 정보 데이터베이스(231)에 의해 정해진 동작에 따라 구동되길 원하는지, 즉 서비스를 제공받길 원하는지 여부를 질의하도록 할 수 있다. 이때 사용자가 원격 제어 장치(100)의 버튼(150a)을 조작하여 디스플레이 장치(200)로부터 서비스를 제공받을 것인지, 또는 서비스 제공 중에 디스플레이 장치(200)의 일부가 어떻게 구동될지 여부를 결정할 수도 있다.
그리고 디스플레이 장치(200)는, 디스플레이 장치(200)에 의해 자동으로, 또는 사용자의 원격 제어 장치(100)에 대한 조작에 따라서 생성된 제어 명령에 따라서 제어된다. 예를 들어 디스플레이 장치(200)가 사용자 등을 촬영하여 영상을 생성하거나, 화면상에 픽쳐인픽쳐 방식으로 종래 촬영된 영상과 재생되던 영상을 함께 표시하도록 할 수도 있다. 또한 디스플레이 장치(200)의 빔 프로젝트 모듈이 구동할 수도 있다.(s670)
도 10은 본 발명의 또 다른 일 실시예에 따른 상황 기반 디스플레이 장치 제어 방법에 대한 흐름도이다.
도 10에 도시된 바와 같이 상황 기반 디스플레이 장치 제어 방법의 또 다른 실시예는 다음과 같다.
먼저 상술한 바와 마찬가지로 원격 제어 장치(100) 또는 디스플레이 장치(200)가 사용자의 행동, 상황을 감지하여 상황 정보를 수집한다.(s700)
그리고 원격 제어 장치(100) 또는 디스플레이 장치(200)에 의해 수집된 상황 정보가 유무선 통신망을 통하여, 도 5에 도시된 서버(300)로 전송된다.(s710)
그러면 서버(300)가 원격 제어 장치(100) 또는 디스플레이 장치(200)에 의해 수집된 상황 정보를 이용하여 현재 상황을 판단한다. 이 경우 본 발명의 일 실시예에 따르면 서버(300) 내에 구축되거나 또는 서버(300)와 유무선 통신망을 통하여 연결된 외부의 판단 정보 데이터베이스(221)를 열람하여 상황 정보와 판단 정보를 비교하고 수집된 상황 정보에 상응하는 판단 정보를 독출한다.(s720, s721)
그리고 독출된 판단 정보를 기초로 사용자의 현재 상태를 판단하여 판단 결과 정보를 생성한다.(s722)
서버(300)는 판단 결과를 원격 제어 장치(100)로 전송하고,(s730) 원격 제어 장치(100)는 판단 결과를 수신하고 판단 결과에 상응하는 알림 신호를 출력한다.(s731)
본 발명의 실시예에 따라서, 서버(300)는 판단 결과를 원격 제어 장치(100)로 전송함과 동시에 또는 판단 결과를 원격 제어 장치(100)로 전송한 후에 순차적으로 디스플레이 장치(200)로 판단 결과를 전송할 수 있다.(s740, 741)
만약 판단 결과가 디스플레이 장치(200) 전송되는 경우(s740에서'예'의 경우)에는 디스플레이 장치(200)에서 판단 결과를 기초로 제어 명령을 생성한다. 이 경우에는 서버(300)가 제어 명령을 생성할 필요는 없을 것이다.(s750의 '아니오'의 경우) 이때 디스플레이 장치(200)의 제2 제어부(230)는 도 9의 단계 s660와 같이 사용자의 현재 상태에 상응하는 제어 명령을 생성하여 디스플레이 장치(200)를 제어한다.
만약 판단 결과가 디스플레이 장치(200)로 전송되지 않는 경우(s740에서 '아니오'의 경우, s750에서 '예'의 경우)에는 서버(300)는 판단 결과에 따라서 제어 명령을 생성한다.(s751) 본 발명의 실시예에 따라서 서버(300) 내에 구축되거나 또는 서버(300)와 유무선 통신망을 통하여 연결된 외부의 제어 정보 데이터베이스(231)가 제어 명령의 생성을 위해 참조될 수 있을 것이다.
이후 생성된 제어 명령을 디스플레이 장치(200)로 전송하고,(s752) 디스플레이 장치(200)는 서버(300)에서 생성된 제어 명령에 따라서 사용자에게 서비스를 제공하기 위하여 제어된다.(s760)
도 11은 본 발명의 또 다른 일실시예에 따른 상황 기반 디스플레이 장치 제어 방법에 대한 흐름도이다.
도 11에 도시된 바와 같이 상황 기반 디스플레이 장치 제어 방법의 또 다른 실시예는 다음과 같다.
도 11에 따르면 본 발명의 일 실시예에 있어서, 오직 디스플레이 장치(200)의 제2 정보수집부(210)만이 상황 정보를 수집하도록 할 수 있다.(s800) 예를 들어 디스플레이 장치(200)의 제2 정보수집부(210) 중 얼굴 인식부(216)가 디스플레이 장치(200) 앞의 사용자의 얼굴로부터 얼굴 정보나 표정 정보를 획득한다.
그러면 디스플레이 장치(200)는, 예를 들어 판단 정보 데이터베이스(221)의 판단 정보와 수집된 상황 정보, 예를 들어 얼굴 정보나 표정 정보를 비교한다.(s810)
만약 수집된 상황 정보에 상응하는 판단 정보가 판단 정보 데이터베이스(221)에 존재하면(s820) 이를 기초로 사용자의 현재 상태를 판단한다.(s830)
그러면 디스플레이 장치는 현재 상태에 상응하는 원격 제어 장치(100)에 대한 제어 명령과 디스플레이 장치(200)에 대한 제어 명령을 생성한다.(s840)
원격 제어 장치(100)에 대한 제어 명령은 원격 제어 장치(100)의 알림부(140)를 제어하기 위한 제어 명령으로 원격 제어 장치(100)로 전송되고, 원격 제어 장치는 제어 명령에 응하여 사용자의 현재 상태에 상응하는 알림 신호를 출력한다.(s850)
그리고 디스플레이 장치(200)에 대한 제어 명령을 기초로 디스플레이 장치(200)가 제어된다. 예를 들어 사용자의 표정 정보에 따른 판단 결과 사용자의 표정이 웃는 표정이라고 판단되면, 디스플레이 장치(200)가 카메라를 통해 입력되는 사용자의 얼굴 영상 중 어느 한 순간의 영상 또는 일정한 시간 동안 입력되는 영상을 저장하고 이를 영상 처리하여 사용자의 얼굴에 대한 영상 파일을 생성함으로써 사용자의 얼굴이 촬영되도록 할 수 있다.
(3) 이하 도 12 내지 도 15를 참조하여 상황 기반 디스플레이 장치 제어 방법에 따라 디스플레이 장치가 제어됨으로써 사용자에게 제공되는 서비스에 대한 다양한 실시예에 대해 설명하도록 한다.
도 12는 본 발명의 일 실시예에 따른 상황 기반 디스플레이 장치 제어 방법에 따라 디스플레이 장치가 제어되는 방법을 설명하기 위한 도면이다.
사용자가 디스플레이 화면(p1)을 통해 스포츠나 드라마와 같은 영상을 시청하고 있다.(도 12의 (a)) 이 경우 원격제어장치(100) 및 디스플레이 장치(200)는 정보수집부(110, 210)를 통해 상황을 수집하고 있을 수 있다.
만약 도 12의 (b)에 도시된 바와 같이 사용자가 흥분하는 경우, 생체신호센서(111, 211)를 통해서 사용자의 맥박이나 호흡과 같은 생체 정보를 수집하고, 음향 센서(113) 등을 통해서 사용자가 외치는 소리를 감지하여 음향 정보를 수집하고, 광센서(112)를 통해서 사용자의 행동을 감지하여 사용자 행동 정보를 수집한다.
그리고 수집된 정보를 기초로 상황판단부(120, 220 또는 310)가 사용자가 흥분한 상태라고 판단하면, 먼저 원격 제어 장치(100)가 알림 신호를 출력하고, 사용자의 원격 제어 장치(100)에 대한 조작 이후 또는 원격 제어 장치(100)에 대한 조작없이 디스플레이 장치의 카메라(270) 모듈을 구동시켜 사용자의 모습에 대한 동영상을 촬영한다. 촬영된 동영상은 저장부(250)에 저장된다.
이후 일정한 상황 하에서 재생되는 영상(p1)의 하단에 선택 버튼이 표시된다. (도 12의 (c))
여기서 일정한 상황이란, 동영상이 촬영된 후 일정한 시간의 경과 후이거나, 동일하거나 또는 동일한 장르의 영상 콘텐츠를 시청하는 경우와 같이 미리 저장된 설정에 따를 수 있다.
뿐만 아니라 일정한 상황이란, 상술한 바와 같이 제1 상황판단부(120)가 수집된 상황을 기초로 판단한 결과 사용자가 녹화된 영상을 다시 보고 싶을 수 있는 상황, 예를 들어 사용자가 우울하거나 침울하다고 판단한 상황일 수도 있다. 이와 같은 상황의 판단을 위하여 상술한 바와 같은 상황 기반 디스플레이 장치 제어 방법이 수행될 수 있다. 이 경우 생성되는 디스플레이 장치(200)에 대한 제어 명령은 재생되는 영상(p1) 하단에 선택 버튼을 표시하도록 하는 것일 것이다.
이후 사용자의 원격 제어 장치(100)에 대한 조작에 따라서 저장된 동영상(p2)을 픽쳐인픽쳐 방식으로 현재 재생되는 영상 콘텐츠(p1)와 함께 표시한다. 이 경우 당시 재생되던 영상에 대한 정보, 예를 들어 프로그램 가이드 정보가 동시에 자막으로 표시될 수도 있다.(도 12의 (d))
따라서 이와 같이 본 발명은 디스플레이 장치(200)를 제어하여 사용자 감성을 유발할 수 있는 서비스를 제공할 수 있게 됨으로써, 사용자는 일정 시간이 지난 후, 또는 기분에 따라서 예전에 스포츠나 드라마를 시청하던 자신의 모습을 볼 수 있게 되고, 당시 스포츠나 드라마를 시청하던 기억을 떠올리며 긍정적인 정서를 느끼며, 감상에 빠질 수 있게 된다.
도 13은 본 발명의 또 다른 일실시예에 따른 상황 기반 디스플레이 장치 제어 방법에 따라 디스플레이 장치가 제어되는 방법을 설명하기 위한 도면이다.
도 13에 도시된 바에 따르면 본 발명의 또 다른 일실시예에 따른 상황 기반 디스플레이 장치 제어 방법에 따라 디스플레이 장치가 제어되는 방법은, 사용자가 TV를 통해 동영상 콘텐츠(p1)를 시청하는 도중,(도 13의 (a)) 상황판단부(120, 220, 310)가 사용자가 시청하는 동영상 콘텐츠(p1)가 이미 사용자가 반복해서 시청하고 있는 동영상 콘텐츠라고 판단하면, 재생되는 동영상 콘텐츠의 프로그램 가이드 정보와 시청 시간을 함께 저장하도록 할 수도 있다.
그리고 추후 사용자의 선택 등에 따라서 저장된 콘텐츠의 타이틀이 디스플레이 장치(200)의 화면에 표시될 수 있다.(p3) 이 경우 콘텐츠의 타이틀은 사용자가 시청한 회수나 시청 빈도에 따라서 그 크기가 다르게 표시될 수 있다. 예를 들어 시청 회수나 시청 빈도가 큰 경우에는 타이틀의 크기가 크게 표시되고, 시청 회수나 시청 빈도가 낮은 경우에는 타이틀을 작게 표시할 수도 있다.(도 13의 (b))
이때 사용자는 원격 제어 장치(100)를 조작하여 어느 하나의 타이틀을 선택하고, 디스플레이 장치(200)는 선택된 타이틀에 상응하는 동영상을 디스플레이 화면에서 재생하여, 사용자의 시청 빈도가 높은 동영상을 신속하게 사용자에게 제공할 수 있게 한다.
도 14는 본 발명의 또 다른 일실시예에 따른 상황 기반 디스플레이 장치 제어 방법에 따라 디스플레이 장치가 제어되는 방법을 설명하기 위한 도면이다.
도 14에 도시된 바와 같이 사용자가 밤에 수면을 취하려고 하나 쉽게 잠이 못 들 수 있다.
이때, 본 발명의 일 실시예에 따라 원격 제어 장치(100) 또는 디스플레이 장치(200)는 신체 환경에 대한 상황 정보(a1) 및 주변 환경에 대한 상황 정보(a2)를 수집한다. 이때 신체 환경에 대한 상황 정보(a1)는, 사용자는 깨어있되, 움직임은 거의 없다는 정보일 것이고, 주변 환경에 대한 상황 정보(a2)는 조도가 일정 수준 이하이고, 시간대는 심야, 예를 들어 밤 0시이며, 이와 같이 조도가 일정 수준 이하로 소정의 시간, 예를 들어 30분이 경과하였다는 정보 등일 것이다.
그러면 이에 따라 원격 제어 장치(100) 또는 디스플레이 장치(200)는, 이와 같은 상황 정보를 기초로, 사용자가 밤에 장시간 동안 수면을 취하지 못하는 상태라고 판단하고, 이에 상응하는 원격 제어 장치(100) 및 디스플레이 장치(200)를 제어하는 제어 명령을 생성한다. 특히 여기서 디스플레이 장치(200)를 제어하는 제어 명령에는 빔 프로젝트 모듈(280)의 구동을 제어하는 제어 명령을 포함한다.
생성된 제어 명령에 따라서 원격 제어 장치(100)는, 일정 시간 동안 알림 신호를 출력한다. 이때 발광 모듈을 이용하여 원격 제어 장치(100)의 일부 또는 전부가 은은한 색으로 빛나도록 할 수 있다. 이 경우에 있어서 원격 제어 장치(100)는 사용자로부터 별도의 추가 명령은 입력받지 않을 수 있다. 다시 말해서 도 11을 통해 설명한 것처럼 사용자의 원격 제어 장치(100)에 대한 별도의 조작 없이 자동으로 디스플레이 장치(200)가 제어될 수 있다.
이후 디스플레이 장치(200)의 빔 프로젝트 모듈(280)이 제어 명령에 따라서 투사면, 예를 들어 천정에 빔을 조사하여 투사면, 예를 들어 천정에 소정의 영상, 예를 들어 도 14에 도시된 바와 같은 별자리와 밤하늘 영상, 영화나 드라마와 같은 영상 콘텐츠, 사용자에 대한 과거의 영상 등이 표시되도록 한다.
이후 사용자는 원격 제어 장치(100)를 좌우 등 일정한 형태로 움직이거나 원격 제어 장치(100)의 입력부(150)를 조작하여 천정 등의 투사면에 투사되는 영상을 움직이도록 할 수 있다. 이 경우 사용자의 원격 제어 장치(100)를 어떻게 움직이고 있느냐를 판단하기 위하여 원격 제어 장치(100)의 동작 센서(114)가 이용될 수 있다. 다시 말해서 사용자가 원격 제어 장치(100)를 투사된 영상을 향한 채로 좌우나 상하로 움직이거나 회전시키면, 동작 센서(114)가 이를 감지하여 전기적 신호로 변환하고, 이에 따라 원격 제어 장치(100)의 제1 제어부(130)나 디스플레이 장치(200)의 제2 제어부(230)가 투사면에 투사된 영상이 원격 제어 장치(130)의 움직임에 상응하여 변하도록 빔 프로젝트 모듈(280)을 제어한다.
이후 원격 제어 장치(100) 또는 디스플레이 장치(200)의 상황 수집부(110, 210)는, 사용자에 대한 상황 정보를 지속적으로 또는 일정 주기로 수집하고, 수집된 상황 결과에 따른 판단 결과 사용자가 수면 상태가 되었다고 판단되면, 다시 빔 프로젝트 모듈(280)에 대한 제어 명령을 생성하여 빔 프로젝트 모듈(280)의 작동을 중지시킨다.
따라서 사용자가 밤에 용이하게 잠들지 못하는 경우, 빔 프로젝트 모듈(280)을 통해서 투사면에 별자리나, 과거의 영상 등을 표시하여 사용자가 기분 좋게 잠이 들 수 있도록 할 수 있으며, 아울러 무의미하게 디스플레이 장치(200), 특히 프로젝트 모듈(280)이 동작하는 것을 차단하도록 할 수 있다.
본 발명의 일 실시예에 있어서 근접한 사용자의 표정을 인식하여 디스플레이 장치(200)가 영상을 촬영하도록 하도록 할 수도 있다. 이를 도 15를 참조하여 좀 더 자세히 설명하도록 한다.
도 15는 본 발명의 일실시예에 따른 사용자의 얼굴을 인식하여 디스플레이 장치를 제어하는 방법에 있어서 얼굴 정보 및 표정 정보와 같은 상황 정보를 수집하는 과정을 설명하기 위한 도면이다.
도 15에 도시된 바에 따르면 얼굴 정보 및 표정 정보를 획득하는 과정은 다음과 같다.
본 발명의 일 실시예에 따르면 먼저 카메라(270)로 사용자, 특히 사용자의 얼굴이 접근한다. 이때 사용자는 복수이어도 무방하다.(s900) 그러면 디스플레이 장치(200)의 광센서(212)가 사람의 접근을 인식하여 카메라(270)와 얼굴 인식부(216)을 구동시킨다.(s910)
본 발명의 다른 실시예에 따르면 사용자의 접근을 감지하지 않고, 사용자의 조작에 따라서 카메라(270) 및 얼굴 인식부(216)가 동작을 개시할 수도 있다.
적어도 하나의 사용자의 얼굴의 접근에 따라서, 카메라(270)가 사용자의 얼굴을 촬영하여, 적어도 하나의 사용자의 얼굴을 포함하는 임시적인 영상 데이터를 얻는다.(s920)
이후 촬영된 영상, 즉 생성된 영상 데이터로부터 얼굴을 검출한다.(s930) 본 발명의 실시예에 따라서, 명암 또는 피부색을 식별하고 이에 대한 화소를 추출하여 얼굴이 위치하는 부분을 검출하거나, 추출된 화소를 조합하고 이를 복수의 인간의 얼굴 형태에 대한 데이터들과 비교하여 촬영된 영상 중에서 얼굴을 검출해낼 수도 있다.
검출된 얼굴로부터 얼굴의 특징 지점, 예를 들어 동공, 입꼬리 등과 같은 얼굴의 특징 지점을 검출해낸다.(s940) 이 경우 특징 지점의 형태를 기초로, 얼굴로부터 특징 지점을 검출할 수 있다.
그리고 얼굴의 특징 지점의 위치를 기저장된 사용자 또는 일반인의 얼굴에 대한 데이터와 비교하여, 누구의 얼굴인지 또는 어떤 표정인지를 판단 및 분석하고,(s950) 그 판단 결과에 따라서 얼굴 정보 및 표정 정보를 생성한다.(s960)
이렇게 생성된 얼굴 정보 및 표정 정보를 기초로 예를 들어 제2 상황 판단부(210)가 사용자가 웃고 있다고 판단하면, 그 판단 결과에 따라서 제2 제어부(220)는 카메라(270)를 제어하여 사용자를 촬영하도록 하고, 촬영 결과 얻어진 데이터를 영상 파일로 변환하여 별도의 저장 공간에 저장하도록 할 수 있다.
도면상 도시되지는 않았으나 본 발명의 실시예에 따라서는, 상황 판단의 결과에 따라서 원격 제어 장치(100)가 소정의 알림 신호를 출력하도록 하고, 동시에 디스플레이 장치(200) 화면 하단에 프로그램에 대한 정보를 표시하도록 디스플레이 장치를 제어하는 것도 가능하다. 이 경우 화면 하단에 표시되는 정보는 웹을 통해 수집된 관련 정보일 수도 있고, 영상과 함께 전송되는 프로그램 가이드 정보일 수도 있다.
이와 같이 사용자는 상황을 기반으로 디스플레이 장치(200)를 제어함으로써 제공되는 다양한 서비스를 통해서 다양한 사용자 경험을 체험할 수 있게 된다. 아울러 이와 같은 서비스는 하나의 디스플레이 장치(200)에서 오직 하나의 종류만 제공되는 것이 아니라 복수의 종류가 제공될 수 있다. 아울러 사용자가 디스플레이 장치(200)를 사용한 기간이나 빈도에 따라서 서로 다른 서비스가 제공될 수도 있다.
예를 들어 초기에는 사용자의 행동을 녹화하여 동영상을 생성하거나, 사용자가 영상 콘텐츠를 시청하는 빈도나 시간 등을 기록하도록 디스플레이 장치(200)가 제어된다. 또한 이 시기에 심야에 잠을 못 이룰 때 상술한 바와 같이 별자리 등이 천정에 표시되도록 제어될 수도 있다.
초기가 지나면 녹화된 사용자의 행동이 재생되거나 또는 재시청하는 프로그램에 대한 각종 정보, 예를 들어 프로그램 가이드 정보나 시청률 정보 등을 제공하도록 할 수도 있다.
본 발명의 일 실시예에 있어서 이와 같이 디스플레이 장치(200)가 제어된 내용이나 상황 판단 결과는 별도로 기록될 수 있으며, 일정 기간, 예를 들어 99일이 경과된 후 사용자가 임의로 열람할 수 있도록 할 수도 있다. 이때 기록된 내용은 다이어리 형태의 유저 인터페이스(user interface)의 형태로 디스플레이 화면에 표시될 수 있으며, 이에 따라 사용자는 일기장과 같은 느낌으로 자신의 감정과 이에 따라 디스플레이 장치(200)가 어떻게 제어되었는지를 알 수 있게 된다.
이상 설명한 바와 같이 본 발명에 있어서 디스플레이 장치를 제어하여 서비스를 제공함에 있어서, 사용자의 상태에 따라서 사용자가 예상하지 못한 상황에서, 필요에 따라서는 임의로, 즉 랜덤하게 사용자에게 제공할 수 있다. 그러면 사용자는 뜻밖의 순간에 서비스를 제공받게 되어, 인간의 감정적인 측면을 더욱 자극할 수 있게 된다. 따라서 사용자는 디스플레이 장치 등을 통해서 긍정적인 정서적 효과를 얻을 수 있게 된다.
100 : 원격 제어 장치 110 : 제1 정보수집부
120 : 제1 상황판단부 130 : 제1 제어부
140 : 알림부 200 : 디스플레이 장치
210 : 제2 정보수집부 220 : 제2 상황판단부
221 : 판단정보 데이터베이스 230 : 제2 제어부
231 : 제어정보 데이터베이스 240 : 디스플레이부
250 : 저장부 260 :업데이트부
270 : 카메라 280 : 빔 프로젝트 모듈
300 : 서버 310 : 제3 상황판단부

Claims (39)

  1. 원격 제어 장치와 명령 또는 데이터를 송수신하는 무선 통신망;
    상기 무선 통신망을 이용하여 상기 원격 제어 장치에서 수신되거나 정보수집부에서 수집된 적어도 하나의 상황 정보를 기초로 사용자의 현재 상태를 판단하는 상황판단부; 및
    상기 사용자의 현재 상태에 따라 상기 무선 통신망을 이용하여 상기 원격 제어 장치와 명령 또는 데이터를 송수신함으로써, 상기 사용자의 현재 상태에 따라 상기 사용자에게 감성 기반의 영상 서비스를 제공하도록 하는 제어 정보를 생성하는 제어부를 포함하되,
    상기 원격 제어 장치는 알림부를 통해 알림 신호를 출력하고, 상기 알림 신호의 출력 후에 사용자 명령을 송신할 수 있고,
    상기 제어부는 상기 원격 제어 장치로부터 상기 사용자 명령을 수신한 후에 상기 제어 정보를 생성하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 상황 정보를 기초로 사용자의 현재 상태를 판단하기 위한 판단 정보를 저장하고 있는 판단 정보 데이터베이스를 더 포함하고,
    상기 상황판단부는,
    상기 판단 정보 데이터베이스를 열람하여, 상기 상황 정보에 상응하는 판단 정보를 검색하고, 상기 상황 정보에 상응하는 판단 정보가 존재하는 경우 상기 상황 정보에 상응하는 판단 정보로 사용자의 현재 상태를 판단하는 디스플레이 장치.
  3. 제1항에 있어서,
    사용자의 현재 상태에 상응하는 원격 제어 장치 또는 디스플레이 장치에 대한 제어 정보를 포함하는 제어 정보 데이터베이스를 더 포함하는 디스플레이 장치.
  4. 제3항에 있어서,
    상기 제어부는, 상기 제어 정보 데이터베이스를 참조하여 상기 사용자의 현재 상태에 상응하는 디스플레이 장치에 대한 제어 정보를 검출하고, 상기 검출된 제어 정보에 따라서 상기 디스플레이 장치를 제어하는 디스플레이 장치.
  5. 제1항에 있어서,
    상기 제어부는, 상기 알림 신호에 응하여 상기 원격 제어 장치를 통하여 사용자로부터 사용자 명령을 입력받고, 상기 사용자 명령에 따라서 상기 생성된 제어 정보를 수정하여 새로운 제어 정보를 생성하는 디스플레이 장치.
  6. 제5항에 있어서,
    상기 제어부에 의해 생성되는 새로운 제어 정보를 저장하는 저장부; 및
    상기 저장된 제어 정보를 기초로 사용자의 조작에 대한 패턴을 분석하고 상기 분석 결과를 기초로 제어 정보 데이터베이스를 갱신하는 업데이트부를 더 포함하는 디스플레이 장치.
  7. 제1항에 있어서,
    상기 정보수집부는,
    빛을 감지하는 광센서, 소리를 감지하는 음향센서, 동작을 감지하는 동작센서, 온도를 감지하는 온도센서 및 인간의 체온, 맥박, 분당 호흡수 또는 심박수를 감지하는 생체신호센서 중 적어도 하나를 포함하는 디스플레이 장치.
  8. 제1항에 있어서,
    상기 정보수집부는,
    영상으로부터 얼굴 형태를 검출하고 상기 검출된 얼굴 형태로부터 얼굴의 특징 지점을 검출한 후 상기 얼굴의 특징 지점의 위치를 분석하여 얼굴 정보 및 표정 정보를 생성하여 상황 정보를 수집하는 얼굴인식부를 포함하는 디스플레이 장치.
  9. 제1항에 있어서,
    상기 알림부는, 빛을 발광하는 발광 모듈, 진동을 발생시키는 진동 발생 모듈 및 사운드를 출력하는 음향 출력 모듈 중 적어도 하나의 모듈인 디스플레이 장치.
  10. 제1항에 있어서,
    상기 디스플레이 장치를 제어하는 제어 정보는,
    상기 디스플레이 장치의 카메라가 영상을 촬영하도록 제어하거나,
    상기 디스플레이 장치의 카메라에 의해 촬영된 영상을 상기 디스플레이 장치에 픽쳐인픽쳐(PIP, picture in picture) 방식으로 표시하도록 제어하거나,
    상기 디스플레이 장치의 카메라에 의해 촬영된 적어도 하나의 영상에 대한 섬네일 이미지를 디스플레이 장치의 화면상에 표시하도록 제어하거나, 또는
    디스플레이 장치의 화면상에 표시되는 영상에 관련된 영상 관련 정보를 상기 디스플레이 장치의 화면상에 표시되도록 제어하기 위한 제어 정보인 디스플레이 장치.
  11. 제1항에 있어서,
    외부의 투사면에 영상을 투사하는 빔 프로젝트 모듈을 더 포함하는 디스플레이 장치.
  12. 제1항에 있어서,
    상기 상황판단부는,
    상황 정보 및 상기 디스플레이 장치에서 재생되는 영상에 대한 영상 정보를 종합하여 사용자의 현재 상태를 판단하는 디스플레이 장치.
  13. 디스플레이 장치를 제어하는 원격 제어 장치에 있어서,
    상기 디스플레이 장치와 명령 또는 데이터를 송수신하는 무선 통신망;
    적어도 하나의 상황 정보를 수집하는 정보수집부;
    상기 정보수집부에서 수집되는 적어도 하나의 상황 정보를 기초로 사용자의 현재 상태를 판단하는 상황판단부;
    상기 판단된 사용자의 현재 상태에 상응하는 알림 신호를 출력하는 알림부; 및
    상기 알림 신호가 출력된 후, 상기 사용자의 현재 상태에 따라 디스플레이 장치가 사용자에게 감성 기반의 영상 서비스를 제공하기 위한 제어 정보를 생성하고, 상기 무선 통신망을 이용하여 상기 제어 정보를 상기 디스플레이 장치로 전송하는 제어부를 포함하되,
    상기 무선 통신망은 상기 알림부가 상기 알림 신호를 출력한 후에 상기 제어 정보를 전송할 수 있는 원격 제어 장치.
  14. 제13항에 있어서,
    외부 환경의 특수한 상황에 대한 특징을 수치화한 정보인 상황 정보를 기초로 사용자의 현재 상태를 판단하기 위한 판단 정보에 대한 판단 정보 데이터베이스를 더 포함하고,
    상기 상황판단부는,
    상기 판단 정보 데이터베이스를 열람하여 상기 수집된 상황 정보에 상응하는 판단 정보를 검색하고, 상기 상황 정보에 상응하는 판단 정보가 존재하는 경우 상기 상황 정보에 상응하는 판단 정보를 기반으로 하여 사용자의 현재 상태를 판단하는 원격 제어 장치.
  15. 제13항에 있어서,
    사용자의 현재 상태에 대한 디스플레이 제어 정보를 포함하는 제어 정보 데이터베이스; 및
    상기 제어 정보 데이터베이스를 참조하여 상기 사용자의 현재 상태에 상응하는 디스플레이 장치에 대한 제어 정보를 검출하는 제어부를 더 포함하는 원격 제어 장치.
  16. 제13항에 있어서,
    상기 알림 신호가 출력된 후에 사용자로부터 디스플레이 조작 명령을 입력받는 명령입력부를 더 포함하는 원격 제어 장치.
  17. 제16항에 있어서,
    상기 제어부는,
    제어 정보 데이터베이스를 참조하여 상기 사용자의 현재 상태에 상응하는 디스플레이 장치에 대한 제어 정보를 검출하고, 상기 명령입력부를 통해 입력된 사용자 명령에 따라서 상기 생성된 제어 정보를 수정하고,
    상기 원격 제어 장치는,
    상기 제어부에 의해 생성된 제어 정보를 저장하는 저장부; 및
    상기 저장된 제어 정보를 기초로 사용자의 조작에 대한 패턴을 분석하고 상기 분석 결과를 기초로 상기 제어 정보 데이터베이스를 갱신하는 업데이트부를 더 포함하는 원격 제어 장치.
  18. 제13항에 있어서,
    상기 정보수집부는,
    빛을 감지하는 광센서, 소리를 감지하는 음향센서, 동작을 감지하는 동작센서, 온도를 감지하는 온도센서, 인간의 체온, 맥박, 분당 호흡수 또는 심박수를 감지하는 생체신호센서 및 상기 원격 제어 장치의 움직임을 감지하는 동작인식센서 중 적어도 하나인 원격 제어 장치.
  19. 제13항에 있어서,
    상기 정보수집부는,
    영상으로부터 얼굴 형태를 검출하고 상기 검출된 얼굴 형태로부터 얼굴의 특징 지점을 검출한 후 상기 얼굴의 특징 지점의 위치를 분석하여 얼굴 정보 및 표정 정보를 생성하여 상황 정보를 수집하는 얼굴인식부를 포함하는 원격 제어 장치.
  20. 제13항에 있어서,
    상기 알림부는,
    빛을 발광하는 발광 모듈, 진동을 발생시키는 진동 발생 모듈 및 사운드를 출력하는 음향 출력 모듈 중 적어도 하나인 원격 제어 장치.
  21. 제13항에 있어서,
    상기 상황판단부는,
    상기 적어도 하나의 상황 정보 및 상기 디스플레이 장치에서 재생되는 영상에 대한 영상 정보를 기초로 사용자의 현재 상태를 판단하는 원격 제어 장치.
  22. 디스플레이 장치 및 서버 중 적어도 하나와 명령 또는 데이터를 송수신하는 무선 통신망;
    적어도 하나의 상황 정보를 수집하는 정보수집부; 및
    알림 신호를 출력하는 알림부를 포함하고,
    상기 정보수집부에 의해 수집된 상황 정보를 상기 디스플레이 장치 또는 상기 서버로 전송하고, 상기 디스플레이 장치 또는 상기 서버로부터 상기 수집된 상황 정보를 기초로 판단된 사용자의 현재 상태에 대한 정보를 수신하며, 알림부에 의해 알림 신호가 출력된 후에 상기 수집된 상황 정보 또는 상기 판단된 사용자의 현재 상태에 상응하는 제어 정보를 상기 디스플레이 장치로 전달하여 상기 디스플레이 장치를 제어하는 원격 제어 장치.
  23. 제22항에 있어서,
    상기 알림 신호가 출력된 후에 사용자로부터 디스플레이 조작 명령을 입력받고 상기 조작 명령을 디스플레이 장치로 전송하는 명령입력부를 더 포함하는 원격 제어 장치.
  24. 제22항에 있어서,
    상기 정보수집부는,
    빛을 감지하는 광센서, 소리를 감지하는 음향센서, 동작을 감지하는 동작센서, 온도를 감지하는 온도센서 및 인간의 체온, 맥박, 분당 호흡수 또는 심박수를 감지하는 생체신호센서 중 적어도 하나를 포함하는 원격 제어 장치.
  25. 제22항에 있어서,
    상기 정보수집부는,
    영상으로부터 얼굴 형태를 검출하고 상기 검출된 얼굴 형태로부터 얼굴의 특징 지점을 검출한 후 상기 얼굴의 특징 지점의 위치를 분석하여 얼굴 정보 및 표정 정보를 생성하여 상황 정보를 수집하는 얼굴인식부를 포함하는 원격 제어 장치.
  26. 제22항에 있어서,
    상기 알림부는,
    빛을 발광하는 발광 모듈, 진동을 발생시키는 진동 발생 모듈 및 사운드를 출력하는 음향 출력 모듈 중 적어도 하나인 원격 제어 장치.
  27. 제22항에 있어서,
    상기 디스플레이 장치는,
    상황 정보 및 상기 디스플레이 장치에서 재생되는 영상에 대한 영상 정보를 기초로 사용자의 현재 상태를 판단하는 상황판단부를 더 포함하는 원격 제어 장치.
  28. 디스플레이 장치로부터 수집된 상황 정보를 기초로 판단된 사용자의 현재 상태에 관한 명령 또는 데이터를 수신하는 무선 통신망;
    상기 무선 통신망에 의해 수신된 상기 명령 또는 데이터에 기초한 상기 사용자의 현재 상태에 따라서 알림 신호를 출력하는 알림부; 및
    상기 알림부가 상기 알림 신호를 출력한 후 상기 무선 통신망을 이용하여 상기 디스플레이 장치에 사용자 명령을 송신할 수 있는 제어부를 포함하되,
    상기 디스플레이 장치가 상기 사용자 명령을 수신한 후, 상기 디스플레이 장치가 상기 사용자의 상기 현재 상태에 따라 상기 사용자에게 감성 기반의 영상 서비스를 제공하는 제어 정보를 생성하는 원격 제어 장치.
  29. 적어도 하나의 상황 정보를 수집하거나 원격 제어 장치로부터 적어도 하나의 상황 정보를 수신하는 단계;
    상기 수집되거나 상기 수신된 적어도 하나의 상황 정보를 기초로 사용자의 현재 상태를 판단하는 단계;
    원격 제어 장치에 의해 알림 신호를 출력하는 단계;
    상기 알림 신호가 출력된 후 상기 원격 제어 장치로 하여금 사용자 명령을 수신할 수 있도록 하는 단계;
    상기 사용자의 현재 상태에 따라 상기 사용자에게 감성 기반의 영상 서비스를 제공하는 제어 정보를 생성하는 단계를 포함하는 디스플레이 장치의 제어 방법.
  30. 제29항에 있어서,
    상기 상황 정보는,
    빛을 감지하고 광량을 측정하거나, 소리의 크기를 측정하거나, 동작을 감지하거나, 온도를 측정하거나, 인간의 맥박 또는 체온을 측정하거나 또는 위성으로부터 방사되거나 제어부로부터 출력되는 시간 정보를 측정함으로써 수집된 것인 디스플레이 장치의 제어 방법.
  31. 제29항에 있어서,
    상기 상황 정보를 수집하는 단계는,
    영상으로부터 얼굴 형태를 검출하는 단계;
    상기 검출된 얼굴 형태로부터 얼굴의 특징 지점을 더 검출하는 단계; 및
    상기 얼굴의 특징 지점의 위치를 분석하여 상기 영상에 표시된 얼굴 정보 및 표정 정보를 포함하는 상황 정보를 수집하는 단계를 포함하는 디스플레이 장치의 제어 방법.
  32. 제29항에 있어서,
    상기 사용자의 현재 상태를 판단하는 단계는,
    상황 정보를 기초로 사용자의 현재 상태를 판단하기 위한 판단 정보를 포함하는 판단 정보 데이터베이스를 열람하는 단계; 및
    상기 수집된 상황 정보와 상기 판단 정보 데이터베이스의 판단 정보를 비교하고, 상기 수집된 상황 정보에 상응하는 판단 정보가 존재하는 경우, 상기 판단 정보로부터 사용자의 현재 상태를 판단하는 단계를 포함하는 디스플레이 장치의 제어 방법.
  33. 제29항에 있어서,
    상기 감성 기반의 영상 서비스는,
    디스플레이 장치의 카메라가 영상을 촬영하거나,
    디스플레이 장치의 카메라에 의해 촬영된 영상을 상기 디스플레이 장치에 픽쳐인픽쳐 방식으로 표시하거나,
    디스플레이 장치의 카메라에 의해 촬영된 적어도 하나의 영상에 대한 섬네일 이미지를 디스플레이 장치의 화면상에 표시하거나,
    디스플레이 장치의 화면상에 표시되는 영상에 관련된 영상 관련 정보를 상기 디스플레이 장치의 화면상에 표시되도록 제어하거나, 또는
    디스플레이 장치에 부가된 빔 프로젝트 모듈이 투사면에 영상을 투사하도록 하는 것인 디스플레이 장치의 제어 방법.
  34. 제29항에 있어서,
    상기 사용자의 현재 상태에 따라 제어 명령을 생성하는 단계는,
    사용자의 현재 상태에 대한 디스플레이 제어 정보를 포함하는 제어 정보 데이터베이스를 열람하는 단계;
    상기 사용자의 현재 상태에 상응하는 디스플레이 장치에 대한 제어 정보를 검출하는 단계; 및
    상기 제어 정보에 따라서 제어 명령을 생성하는 단계를 포함하는 디스플레이 장치의 제어 방법.
  35. 제29항에 있어서
    사용자의 현재 상태를 판단하는 단계는,
    상황 정보 및 상기 디스플레이 장치에서 재생되는 영상에 대한 영상 정보를 기초로 사용자의 현재 상태를 판단하는 디스플레이 장치의 제어 방법.
  36. 적어도 하나의 상황 정보를 수집하거나 원격 제어 장치로부터 적어도 하나의 상황 정보를 수신하는 단계;
    상기 수집하거나 상기 수신된 상황 정보를 기초로 사용자의 현재 상태를 판단하는 단계;
    상기 원격 제어 장치가 알림 신호를 출력하도록 상기 원격 제어 장치에 지시하는 단계; 및
    상기 알림 신호가 출력된 후 상기 원격 제어 장치로 하여금 상기 원격 제어 장치에 의해 출력된 상기 알림 신호에 응하여 상기 사용자로부터 사용자 명령을 수신할 수 있도록 하는 단계; 및
    상기 수집하거나 상기 수신된 상황 정보 및 상기 사용자 명령에 따라 상기 사용자에게 감성 기반의 영상 서비스를 제공하는 단계를 포함하는 디스플레이 장치의 제어 방법.
  37. 서버가 디스플레이 장치 또는 원격 제어 장치로부터 적어도 하나의 상황 정보를 수신받는 단계;
    상기 수신된 상황 정보를 기초로 사용자의 현재 상태를 판단하는 단계;
    상기 원격 제어 장치가 알림 신호를 출력하도록 상기 원격 제어 장치에 지시하는 단계;
    상기 원격 제어 장치에 의해 알림 신호가 출력된 후 상기 사용자의 현재 상태에 따라 상기 사용자에게 감성 기반의 영상 서비스를 제공하기 위한 제어 명령을 상기 디스플레이 장치로 전송하는 단계; 및
    상기 디스플레이 장치로 하여금 상기 제어 명령에 따라 상기 사용자에게 감성 기반의 영상 서비스를 제공하도록 하는 단계를 포함하는 서버 제어 방법.
  38. 적어도 하나의 상황 정보를 수집하는 단계;
    상기 수집된 상황 정보를 기초로 사용자의 현재 상태를 판단하는 단계;
    원격 제어 장치에 의해, 사용자의 현재 상태에 상응하는 알림 신호를 출력하는 단계;
    상기 원격 제어 장치로부터 상기 알림 신호가 출력된 후 상기 원격 제어 장치로 하여금 사용자 명령을 수신하도록 하는 단계;
    상기 수집된 상황 정보 및 상기 사용자 명령을 기초로 디스플레이 장치에 대한 제어 명령을 생성하는 단계; 및
    상기 제어 명령을 디스플레이 장치로 전송하여 상기 디스플레이 장치가 상기 제어 명령에 따라 상기 사용자에게 감성 기반의 영상 서비스를 제공하도록 하는 단계를 포함하는 원격 제어 장치의 제어 방법.
  39. 적어도 하나의 상황 정보를 수집하는 단계;
    상기 수집된 상황 정보를 기초로 사용자의 현재 상태를 판단하는 단계;
    원격 제어 장치에 의해, 사용자의 현재 상태에 상응하는 알림 신호를 출력하는 단계; 및
    상기 원격 제어 장치로부터 상기 알림 신호가 출력된 후 상기 수집된 상황 정보를 기초로 디스플레이 장치에 대한 제어 명령을 생성하는 단계; 및
    상기 디스플레이 장치로 하여금 상기 제어 명령에 따라 상기 사용자에게 감성 기반의 영상 서비스를 제공하도록 하는 단계를 포함하는 원격 제어 장치의 제어 방법.
KR1020120116955A 2012-10-19 2012-10-19 디스플레이 장치, 상기 디스플레이 장치를 제어하는 원격 제어 장치, 디스플레이 장치 제어 방법, 서버 제어 방법 및 원격 제어 장치 제어 방법 KR101978743B1 (ko)

Priority Applications (12)

Application Number Priority Date Filing Date Title
KR1020120116955A KR101978743B1 (ko) 2012-10-19 2012-10-19 디스플레이 장치, 상기 디스플레이 장치를 제어하는 원격 제어 장치, 디스플레이 장치 제어 방법, 서버 제어 방법 및 원격 제어 장치 제어 방법
US14/055,130 US9210359B2 (en) 2012-10-19 2013-10-16 Display device, remote control device to control display device, method of controlling display device, method of controlling server and method of controlling remote control device
EP13189108.7A EP2723089B1 (en) 2012-10-19 2013-10-17 Apparatus and method of controlling display device
CN201310486566.5A CN103826146B (zh) 2012-10-19 2013-10-17 显示设备、控制显示设备的遥控设备及其方法
PCT/KR2013/009342 WO2014062032A1 (en) 2012-10-19 2013-10-18 Display device, remote control device to control display device, method of controlling display device, method of controlling server and method of controlling remote control device
MX2016007262A MX362270B (es) 2012-10-19 2013-10-18 Dispositivo de despliegue, dispositivo de control remoto para controlar el dispositivo de despliegue, metodo para controlar el dispositivo de despliegue, metodo para controlar el servidor y metodo para controlar el dispositivo de control remoto.
MX2015004842A MX342502B (es) 2012-10-19 2013-10-18 Dispositivo de despliegue, dispositivo de control remoto para controlar el dispositivo de despliegue, método para controlar el dispositivo de despliegue, método para controlar el servidor y método para cotrolar el dispositivo de control remoto.
IN3275DEN2015 IN2015DN03275A (ko) 2012-10-19 2013-10-18
RU2015114594A RU2614519C2 (ru) 2012-10-19 2013-10-18 Устройство отображения, устройство дистанционного управления для управления устройством отображения, способ управления устройством отображения, способ управления сервером и способ управления устройством дистанционного управления
JP2013218183A JP6525496B2 (ja) 2012-10-19 2013-10-21 ディスプレイ装置、ディスプレイ装置を制御する遠隔制御装置、ディスプレイ装置の制御方法、サーバーの制御方法、及び遠隔制御装置の制御方法
US14/929,919 US9769413B2 (en) 2012-10-19 2015-11-02 Display device, remote control device to control display device, method of controlling display device, method of controlling server and method of controlling remote control device
JP2019016970A JP2019083564A (ja) 2012-10-19 2019-02-01 ディスプレイ装置、ディスプレイ装置を制御する遠隔制御装置、ディスプレイ装置の制御方法、サーバーの制御方法、及び遠隔制御装置の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120116955A KR101978743B1 (ko) 2012-10-19 2012-10-19 디스플레이 장치, 상기 디스플레이 장치를 제어하는 원격 제어 장치, 디스플레이 장치 제어 방법, 서버 제어 방법 및 원격 제어 장치 제어 방법

Publications (2)

Publication Number Publication Date
KR20140052154A KR20140052154A (ko) 2014-05-07
KR101978743B1 true KR101978743B1 (ko) 2019-08-29

Family

ID=49517252

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120116955A KR101978743B1 (ko) 2012-10-19 2012-10-19 디스플레이 장치, 상기 디스플레이 장치를 제어하는 원격 제어 장치, 디스플레이 장치 제어 방법, 서버 제어 방법 및 원격 제어 장치 제어 방법

Country Status (9)

Country Link
US (2) US9210359B2 (ko)
EP (1) EP2723089B1 (ko)
JP (2) JP6525496B2 (ko)
KR (1) KR101978743B1 (ko)
CN (1) CN103826146B (ko)
IN (1) IN2015DN03275A (ko)
MX (2) MX342502B (ko)
RU (1) RU2614519C2 (ko)
WO (1) WO2014062032A1 (ko)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170039867A1 (en) 2013-03-15 2017-02-09 Study Social, Inc. Mobile video presentation, digital compositing, and streaming techniques implemented via a computer network
WO2015107681A1 (ja) 2014-01-17 2015-07-23 任天堂株式会社 情報処理システム、情報処理サーバ、情報処理プログラム、および情報提供方法
JP7150413B2 (ja) 2014-03-17 2022-10-11 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 多関節アームにおける分離クラッチ操作のためのシステム及び方法
US10070178B2 (en) 2014-05-21 2018-09-04 Pcms Holdings, Inc. Methods and systems for contextual adjustment of thresholds of user interestedness for triggering video recording
JP2016110631A (ja) 2014-12-02 2016-06-20 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 状態推定装置、状態推定方法およびプログラム
JPWO2016088566A1 (ja) * 2014-12-03 2017-09-14 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム
EP3035656B1 (en) 2014-12-18 2021-08-04 Samsung Electronics Co., Ltd. Method and apparatus for controlling an electronic device
US10649088B1 (en) * 2015-01-13 2020-05-12 DSCG Solutions, Inc. Absolute object position location identification
CN104539995B (zh) * 2015-01-19 2016-05-11 无锡桑尼安科技有限公司 一种基于观众状态检测的电视遥控方法
CN104581313B (zh) * 2015-01-19 2016-09-21 泰州市海陵区一马商务信息咨询有限公司 观众睡眠时电视节目信息记录系统
CN104539992B (zh) * 2015-01-19 2016-08-17 青岛青知企业管理咨询有限公司 电视机防沉迷观看设备
CN104540020B (zh) * 2015-01-19 2016-05-11 无锡桑尼安科技有限公司 一种观众睡眠时电视节目信息记录方法
JP6426484B2 (ja) * 2015-01-28 2018-11-21 京セラ株式会社 携帯端末
CN106033255B (zh) * 2015-03-13 2019-04-26 联想(北京)有限公司 一种信息处理方法及电子设备
CN104991464B (zh) * 2015-05-08 2019-01-15 联想(北京)有限公司 一种信息处理方法及控制系统
JP6520406B2 (ja) * 2015-05-29 2019-05-29 セイコーエプソン株式会社 表示装置及び画質設定方法
CN106412469B (zh) * 2015-08-03 2019-05-24 中强光电股份有限公司 投影系统、投影装置与投影系统的投影方法
US20170070066A1 (en) * 2015-09-04 2017-03-09 Chris Ng Remote Control Assembly
KR102520402B1 (ko) * 2015-10-27 2023-04-12 엘지전자 주식회사 와치 타입 이동 단말기 및 그 동작 방법
KR102587452B1 (ko) * 2015-12-09 2023-10-11 삼성전자주식회사 생체 정보에 기반하여 장비를 제어하는 기법
JP6720575B2 (ja) * 2016-02-29 2020-07-08 株式会社ニコン 動画再生装置および動画処理装置
KR20170111459A (ko) * 2016-03-28 2017-10-12 삼성전자주식회사 다면 원격 제어 장치 및 그의 동작 제어 방법
WO2017187692A1 (ja) * 2016-04-27 2017-11-02 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
KR101904453B1 (ko) * 2016-05-25 2018-10-04 김선필 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이
CN106203037A (zh) * 2016-06-28 2016-12-07 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN109983780B (zh) * 2016-11-28 2023-03-31 松下知识产权经营株式会社 影像输出装置以及影像输出方法
US10579151B2 (en) * 2017-01-04 2020-03-03 Htc Corporation Controller for finger gesture recognition and method for recognizing finger gesture
DE102018100122A1 (de) 2017-01-04 2018-07-05 Htc Corporation Steuereinheit zur Fingergestenerkennung und Verfahren zum Erkennen einer Fingergeste
KR102591292B1 (ko) 2017-02-14 2023-10-19 삼성전자주식회사 디스플레이 장치와 방법 및 광고 서버
US11562271B2 (en) 2017-03-21 2023-01-24 Huawei Technologies Co., Ltd. Control method, terminal, and system using environmental feature data and biological feature data to display a current movement picture
US10547817B2 (en) * 2017-04-12 2020-01-28 Mr. Christmas Incorporated Programmable laser device
KR102392087B1 (ko) 2017-07-10 2022-04-29 삼성전자주식회사 원격 조정 장치 및 원격 조정 장치의 사용자 음성 수신방법
US11029834B2 (en) * 2017-12-20 2021-06-08 International Business Machines Corporation Utilizing biometric feedback to allow users to scroll content into a viewable display area
KR102184885B1 (ko) * 2018-07-02 2020-12-01 이상윤 프로젝터 제어 시스템
US11081227B2 (en) 2018-08-03 2021-08-03 Sony Corporation Monitoring and reporting the health condition of a television user
JP7440211B2 (ja) * 2019-03-08 2024-02-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報出力方法、情報出力装置及びプログラム
US20220319463A1 (en) * 2019-05-10 2022-10-06 Semiconductor Energy Laboratory Co., Ltd. Composite Device And Driving Method Of Electronic Device
KR102217926B1 (ko) * 2019-11-13 2021-02-19 한국광기술원 파장분할 광 송수신기를 이용한 지능형 디스플레이 장치 및 시스템
CN111277755B (zh) * 2020-02-12 2021-12-07 广州小鹏汽车科技有限公司 一种拍照控制方法、系统及车辆
JPWO2021171915A1 (ko) * 2020-02-28 2021-09-02
US11672934B2 (en) 2020-05-12 2023-06-13 Covidien Lp Remote ventilator adjustment
KR20220003197A (ko) * 2020-07-01 2022-01-10 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2022015907A1 (en) 2020-07-16 2022-01-20 Invacare Corporation System and method for concentrating gas
CA3189534A1 (en) 2020-07-16 2022-01-20 Invacare Corporation System and method for concentrating gas
CN116194914A (zh) * 2020-09-24 2023-05-30 Jvc建伍株式会社 信息处理装置、信息处理方法和程序

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011166332A (ja) * 2010-02-08 2011-08-25 Hitachi Consumer Electronics Co Ltd 情報処理装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3223026B2 (ja) * 1993-12-22 2001-10-29 三洋電機株式会社 テレビジョン受像機
JPH07288875A (ja) 1994-04-14 1995-10-31 Matsushita Electric Ind Co Ltd 人体動作認識センサ及び非接触型操作装置
JP2000244830A (ja) * 1999-02-19 2000-09-08 Omron Corp 視聴制限機能付きテレビジョン装置及び画像再生装置並びにそれらのリモコン装置
AU2001249994A1 (en) 2000-02-25 2001-09-03 Interval Research Corporation Method and system for selecting advertisements
JP3994682B2 (ja) * 2000-04-14 2007-10-24 日本電信電話株式会社 放送情報送受信システム
JP2002042115A (ja) * 2000-07-26 2002-02-08 Fujitsu Ltd 疲労緩和システム、疲労緩和方法及び記録媒体
US20030063222A1 (en) * 2001-10-03 2003-04-03 Sony Corporation System and method for establishing TV setting based on viewer mood
JP3915618B2 (ja) * 2002-07-16 2007-05-16 松下電器産業株式会社 監視システム
US20030126593A1 (en) * 2002-11-04 2003-07-03 Mault James R. Interactive physiological monitoring system
JP4349046B2 (ja) * 2003-09-17 2009-10-21 パナソニック株式会社 電子機器
US20050154264A1 (en) * 2004-01-08 2005-07-14 International Business Machines Corporation Personal stress level monitor and systems and methods for using same
JP4175515B2 (ja) * 2004-03-26 2008-11-05 株式会社エスアンドケイ カラオケシステムおよびリモコン装置
US20060107281A1 (en) * 2004-11-12 2006-05-18 Dunton Randy R Remotely controlled electronic device responsive to biometric identification of user
EP1686804A1 (en) * 2005-01-26 2006-08-02 Alcatel Predictor of multimedia system user behavior
WO2007034442A2 (en) * 2005-09-26 2007-03-29 Koninklijke Philips Electronics N.V. Method and apparatus for analysing an emotional state of a user being provided with content information
JP2007215046A (ja) * 2006-02-10 2007-08-23 Sharp Corp 情報処理装置、情報処理方法、情報処理プログラム、および記録媒体
KR100778757B1 (ko) 2006-03-03 2007-11-23 엘지전자 주식회사 동작인식 장치를 이용한 사용자별 맞춤형 스마트 텔레비젼장치 및 방법
JP2007281602A (ja) * 2006-04-03 2007-10-25 Canon Inc 受信装置及び番組予約方法
US8199113B2 (en) * 2006-09-13 2012-06-12 Savant Systems, Llc Programmable on screen display and remote control
JP2008085938A (ja) * 2006-09-29 2008-04-10 Hitachi Ltd 生体認証機能付える映像処理装置
JP2009010867A (ja) * 2007-06-29 2009-01-15 Toshiba Corp リモートコントロール装置および電子機器
WO2010020924A1 (en) 2008-08-20 2010-02-25 Koninklijke Philips Electronics N.V. Method, portable device and system for providing feedback related to a user's physical state
JP4775671B2 (ja) * 2008-12-26 2011-09-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP5330005B2 (ja) * 2009-02-03 2013-10-30 オリンパス株式会社 デジタルフォトフレーム、情報処理システム及び制御方法
KR20100100380A (ko) * 2009-03-06 2010-09-15 중앙대학교 산학협력단 상황 정보와 감정 인식을 사용한 유비쿼터스 환경의 최적 서비스 추론 방법 및 시스템
JP2010237392A (ja) * 2009-03-31 2010-10-21 Ntt Docomo Inc 通信端末及び画面表示制御方法
EP2256590A1 (en) 2009-05-26 2010-12-01 Topspeed Technology Corp. Method for controlling gesture-based remote control system
EP2442565B1 (en) 2009-06-12 2018-08-08 Panasonic Intellectual Property Corporation of America Content playback apparatus, content playback method, program, and integrated circuit
KR101708682B1 (ko) * 2010-03-03 2017-02-21 엘지전자 주식회사 영상표시장치 및 그 동작 방법.
CN101853568A (zh) 2010-04-13 2010-10-06 鸿富锦精密工业（深圳）有限公司 手势遥控装置
US8458748B2 (en) 2010-04-20 2013-06-04 Time Warner Cable, Inc. System and method for commanding a controlled device
JP2011253375A (ja) * 2010-06-02 2011-12-15 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
JP2012080258A (ja) * 2010-09-30 2012-04-19 Sharp Corp 録画予約支援システム、録画予約支援装置及びそれを備えた録画装置、テレビジョン受信装置
RU114537U1 (ru) * 2011-10-10 2012-03-27 Михаил Викторович Юсупов Система беспроводного распознавания управляющих команд пользователя для воздействия на системы аудиовизуального отображения
US20130132199A1 (en) * 2011-10-21 2013-05-23 Point Inside, Inc. Optimizing the relevance of mobile content based on user behavioral patterns

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011166332A (ja) * 2010-02-08 2011-08-25 Hitachi Consumer Electronics Co Ltd 情報処理装置

Also Published As

Publication number Publication date
MX342502B (es) 2016-10-03
RU2614519C2 (ru) 2017-03-28
US20140111690A1 (en) 2014-04-24
CN103826146A (zh) 2014-05-28
JP2019083564A (ja) 2019-05-30
KR20140052154A (ko) 2014-05-07
EP2723089B1 (en) 2018-12-05
CN103826146B (zh) 2019-03-08
MX362270B (es) 2019-01-10
EP2723089A1 (en) 2014-04-23
US20160057374A1 (en) 2016-02-25
RU2015114594A (ru) 2016-11-10
IN2015DN03275A (ko) 2015-10-09
WO2014062032A1 (en) 2014-04-24
US9210359B2 (en) 2015-12-08
US9769413B2 (en) 2017-09-19
MX2015004842A (es) 2015-07-21
JP6525496B2 (ja) 2019-06-05
JP2014087064A (ja) 2014-05-12

Similar Documents

Publication Publication Date Title
KR101978743B1 (ko) 디스플레이 장치, 상기 디스플레이 장치를 제어하는 원격 제어 장치, 디스플레이 장치 제어 방법, 서버 제어 방법 및 원격 제어 장치 제어 방법
US7698238B2 (en) Emotion controlled system for processing multimedia data
JP6574937B2 (ja) 通信システム、制御方法、および記憶媒体
US10083578B2 (en) Crowd-based haptics
US8704760B2 (en) Image display apparatus capable of recommending contents according to emotional information
US10924606B2 (en) Artificial intelligence audio apparatus and operation method thereof
KR101871526B1 (ko) 콘텐츠의 시청자 기반 제공 및 맞춤화
US20150381885A1 (en) Glass-type terminal and method for controlling the same
JP2010134629A (ja) 情報処理装置および情報処理方法
JP2020039029A (ja) 動画配信システム、動画配信方法、及び動画配信プログラム
KR101847200B1 (ko) 객체 제어 방법 및 시스템
US10820040B2 (en) Television time shifting control method, system and computer-readable storage medium
KR20180113503A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
CN109819167A (zh) 一种图像处理方法、装置和移动终端
CN112074804A (zh) 信息处理系统、信息处理方法和记录介质
CN115086094B (zh) 设备选择方法及相关装置
JP5330005B2 (ja) デジタルフォトフレーム、情報処理システム及び制御方法
JP2019082982A (ja) 調理支援装置、調理情報生成装置、調理支援システム、調理支援方法、及びプログラム
US11687049B2 (en) Information processing apparatus and non-transitory computer readable medium storing program
WO2022009338A1 (ja) 情報処理端末、遠隔制御方法およびプログラム
JP2018051648A (ja) ロボット制御装置、ロボット、ロボット制御方法、及びプログラム
CN114788295A (zh) 信息处理装置、信息处理方法及信息处理程序
TW201619953A (zh) 複合節拍特效系統及複合節拍特效處理方法
TW201619954A (zh) 複合節拍特效系統及複合節拍特效處理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant