WO2014010869A1 - 사용자의 위치와 상태에 따른 자동 제어 스마트 tv - Google Patents

사용자의 위치와 상태에 따른 자동 제어 스마트 tv Download PDF

Info

Publication number
WO2014010869A1
WO2014010869A1 PCT/KR2013/005936 KR2013005936W WO2014010869A1 WO 2014010869 A1 WO2014010869 A1 WO 2014010869A1 KR 2013005936 W KR2013005936 W KR 2013005936W WO 2014010869 A1 WO2014010869 A1 WO 2014010869A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
smart
information
sensor
image
Prior art date
Application number
PCT/KR2013/005936
Other languages
English (en)
French (fr)
Inventor
조준동
이동훈
김종학
이정후
김용한
Original Assignee
인텔렉추얼 디스커버리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔렉추얼 디스커버리 주식회사 filed Critical 인텔렉추얼 디스커버리 주식회사
Publication of WO2014010869A1 publication Critical patent/WO2014010869A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4436—Power management, e.g. shutting down unused components of the receiver

Definitions

  • the present invention relates to a smart TV, and more particularly, to a smart TV with improved user convenience.
  • TV a representative home appliance
  • smart TV have various types of sensors, thereby enabling various types of new interfaces.
  • Patent Application No. 10-2010-0054437 discloses an audio signal with a volume control unit for adjusting the sound volume by the distance from the three-dimensional glasses device calculated by the distance calculation and control unit, and a sound volume adjusted by the volume control unit.
  • a three-dimensional image display system including an audio signal processing unit for processing.
  • the present invention has been made in the technical background as described above, and an object thereof is to provide a smart TV that can be conveniently used through automatic control without special user recognition or operation.
  • the present invention is equipped with an image sensor and a motion recognition sensor in the three-dimensional glasses for watching a smart TV to measure the user's eye blink and the user position, thereby determining the sleep state or movement state Control the functions of your smart TV.
  • the receiving unit for receiving the image information from the image sensor mounted on the three-dimensional glasses, and the information for determining the position of the user from the motion recognition sensor mounted on the three-dimensional glasses ;
  • a data processor for processing the received image information to derive the number of eye blinks;
  • a sleep determining unit determining whether to sleep according to the derived number of blinks;
  • a position determination unit for deriving a position of a user according to the received position determination information;
  • a controller configured to control power and volume of the display device according to the determination result of the sleep determiner and the position determiner.
  • the image information received by the receiver is raw data that does not process the information obtained by the image sensor, and the data processor uses the dispersion value or the average value of the received image information. Eye blink can be determined.
  • the motion recognition sensor may be an inertial measurement unit (IMU) consisting of a gyro three-axis sensor and an acceleration three-axis sensor.
  • IMU inertial measurement unit
  • the receiver may further receive motion information of the user from the motion recognition sensor, and the image display device may turn on / off a volume control function of the display device according to the motion information.
  • the present invention when the user is in the sleep state without a special user's recognition or operation can automatically cut off the power to save power, and automatically adjust the volume in accordance with the user's viewing position deviation of the convenience of watching TV Can be increased.
  • FIG. 1 is a view schematically showing the overall configuration of the automatic control smart TV system according to the position and state of the user according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing in more detail the configuration of the automatic control smart TV system according to the position and state of the user according to an embodiment of the present invention.
  • FIG 3 is a view illustrating in more detail the configuration of the determination unit in the TV of the automatic control smart TV system according to the position and state of the user according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating an automatic control method of an automatic control smart TV system according to a location and a state of a user according to an exemplary embodiment of the present invention.
  • FIG. 1 is a view schematically showing the overall configuration of the automatic control smart TV system according to the position and state of the user according to an embodiment of the present invention.
  • an automatic control smart TV system displays a TV 200 capable of displaying a TV image and a 3D image displayed on the TV 200. It consists of three-dimensional glasses 100 worn by the user to watch.
  • FIG. 2 is a block diagram showing in more detail the configuration of the automatic control smart TV system according to the position and state of the user according to an embodiment of the present invention.
  • the 3D glasses 100 of the automatic control smart TV system may include an image sensor 110, a motion recognition sensor 120, and a wireless transmitter ( 130).
  • the automatic control smart TV system can prevent this by using automatic power management when an unwanted power consumption occurs when the user falls asleep while watching TV.
  • the user can determine the content of the video through automatic volume control.
  • the small image sensor 110 is mounted on the 3D glasses 100, and the eyes blink of the viewer is measured using the same to determine whether the user sleeps.
  • the motion recognition sensor 120 detects the user's position and increases the volume when the user moves away from the TV 200, and decreases the volume when the user approaches again.
  • the contents of the video being used can be grasped by sound.
  • the volume automatic adjustment state can be changed according to the set motion through the motion recognition sensor 120 mounted on the 3D glasses 100.
  • the TV 200 of the automatic control smart TV system receives eye blink information and motion recognition information from the glasses 100.
  • TV 200 of the automatic control smart TV system receives information from the image sensor 110 and the motion recognition sensor 120 of the eyeglasses 100, the eye blinks And the user's location change.
  • the distance measurement for determining the change in the position of the user may be provided with a separate distance measuring sensor, but there is also a method of estimating the distance to the TV by measuring the change in the position of the user using the motion recognition sensor 120.
  • the TV 200 determines whether the user is currently sleeping based on the blinking data. In other words, if a user's blink is not detected for a certain period of time, the device determines that it is sleeping and automatically cuts off the power of the TV. If the user blinks continuously, the TV will remain ON.
  • the senor periodically measures the distance between the TV and the user through transmission and reception with the TV. If the measured distance is far from the TV more than a certain distance, the user determines that it is not the distance to watch TV, and increases the volume so that the user can keep track of what is currently being broadcast. However, in consideration of the situation where the volume should not increase, such as when the user is in a hurry to answer a phone call, it provides a mute function through simple motion (nod up and down, nod twice to the left, etc ..) . And when the TV is closer to the user, the volume is automatically reduced so that you can watch TV comfortably.
  • FIG 3 illustrates the configuration of the determination unit 260 in the TV 200 of the automatic control smart TV system according to the location and state of the user according to an embodiment of the present invention.
  • the TV 200 of the automatic control smart TV system determines whether to sleep, motion, and movement of the user for function control.
  • 260 includes a motion determiner 262, a position determiner 264, and a sleep determiner 266.
  • FIG. 4 is a flowchart illustrating an automatic control method of an automatic control smart TV system according to a location and a state of a user according to an exemplary embodiment of the present invention.
  • the camera and the sensor attached to the 3D glasses are turned on (sensor ON)
  • the camera measures eye blink (S410) and transmits the sensor data to the TV (S420).
  • the TV receives data from the glasses (S430), and classifies the received data into flickering data and sensor data to obtain flickering degree and sensor distance.
  • the user determines that the user is away from the TV, increases the volume, and provides the user with a sound state of the TV (S460).
  • the sensor data can be used to identify motion to perform some functions of the smart TV, such as automatic volume control on / off, volume up / down, channel change, and 3D function on / off.
  • the raw data of the image frame captured by the image sensor 110 is directly transmitted to the TV 200.
  • the values are converted into gray values (0 to 255).
  • gray values are distributed in various ways such as black eyes, whites, and flesh color around the eyes.
  • various gray level values exist, resulting in a large dispersion value.
  • the skin captured by the image sensor 110 will mostly have flesh colors.
  • a constant gray level value is present, resulting in a low variance value.
  • This feature eliminates the need for computationally demanding techniques such as eye tracking, and allows for quick blink measurements in real time.
  • the variance equation for eye blink measurement is as follows.
  • V is the variance value
  • Pn is the nth pixel data of the current frame
  • Fmean average of pixel data of current frame
  • n pixel address
  • the test sets the reference value between the variance value when you open your eyes and the variance value when you close them. When the value becomes larger than the reference value and becomes smaller again, it is determined that the eye blink occurs and counts it.
  • the eye blink measurement uses the same method as the eye blink measurement method 1 described above, but the average value of the frame may be used instead of the variance value.
  • the average value between closing and closing eyes is different. In other words, eyes blink by using the characteristic that the average value of the brightness data (gray value) of the black part, the white part, and flesh color of the eyes when the eyes are closed is different from the average value of the brightness data (gray value) of the flesh colors when the eyes are closed. Can be measured.
  • Motion can be taken by moving the head with glasses on, and simple TV control of the various motions can be preset.
  • the motion recognition sensor can use an IMU (inertial measurement unit) consisting of a gyro three-axis sensor and an acceleration three-axis sensor, and a sensor applied to a geomagnetic sensor to determine a more precise angle. Sensors that can measure other motion can also be used.
  • IMU intial measurement unit
  • a motion recognition sensor can be used as it is.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Neurosurgery (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

스마트 TV를 시청하기 위한 3차원 안경에 이미지 센서와 모션 인식 센서를 장착하여 사용자의 눈 깜박임과 사용자 위치를 측정하고, 이에 따라 수면 상태나 이동 상태를 판단하여 스마트 TV의 전원과 볼륨 기능을 제어한다. 본 발명에 따른 스마트 TV는, 3차원 안경에 장착된 이미지 센서로부터 영상 정보를 수신하고, 상기 3차원 안경에 장착된 모션 인식 센서로부터 사용자의 위치를 결정하기 위한 정보를 수신하는 수신부; 수신된 상기 영상 정보를 처리하여 눈 깜박임 횟수를 도출하는 데이터 처리부; 도출된 눈 깜박임 횟수에 따라 수면 여부를 판단하는 수면 판단부; 수신된 상기 위치 결정 정보에 따라 사용자의 위치를 도출하는 위치 판단부; 및 상기 수면 판단부 및 상기 위치 판단부의 판단 결과에 따라 상기 표시 장치의 전원 및 음량을 제어하는 제어부를 포함한다.

Description

사용자의 위치와 상태에 따른 자동 제어 스마트 TV
본 발명은 스마트 TV에 관한 것으로서, 더 구체적으로는 사용자의 사용 편의성을 향상시킨 스마트 TV에 관한 것이다.
최근 통신 및 정보기술의 발달로 대표적인 가전제품인 TV 또한 스마트 TV로 발전하고 있다. 화면과 스피커를 통해 정보를 전달했던 과거의 TV와는 달리 스마트 TV에는 다양한 형태의 센서들이 내장되어 이에 따라 다양한 형태의 새로운 인터페이스가 가능해진다.
이에 따라, 특별한 사용자의 인식이나 동작이 없이도 TV의 상태를 적절히 조절함으로써 편리하게 이용할 수 있도록 하는 다양한 시도가 이루어지고 있다.
예를 들면, 특허출원 제10-2010-0054437호에서는 거리 계산 및 제어부에서 게산된 3차원 안경 장치와의 거리로 음향 크기를 조절하는 볼륨 조절부와, 볼륨 조절부에서 조절된 음향 크기로 오디오 신호를 처리하는 오디오 신호 처리부를 포함하는 3차원 영상 디스플레이 시스템을 개시하고 있다.
본 발명은 상술한 바와 같은 기술적 배경에서 안출된 것으로서, 특별한 사용자의 인식이나 동작이 없이 자동 제어를 통해 편리하게 사용할 수 있는 스마트 TV를 제공하는 것을 그 과제로 한다.
이와 같은 과제를 해결하기 위하여 본 발명에서는 스마트 TV를 시청하기 위한 3차원 안경에 이미지 센서와 모션 인식 센서를 장착하여 사용자의 눈 깜박임과 사용자 위치를 측정하고, 이에 따라 수면 상태나 이동 상태를 판단하여 스마트 TV의 기능을 제어한다.
즉, 본 발명의 일면에 따른 스마트 TV는, 3차원 안경에 장착된 이미지 센서로부터 영상 정보를 수신하고, 상기 3차원 안경에 장착된 모션 인식 센서로부터 사용자의 위치를 결정하기 위한 정보를 수신하는 수신부; 수신된 상기 영상 정보를 처리하여 눈 깜박임 횟수를 도출하는 데이터 처리부; 도출된 눈 깜박임 횟수에 따라 수면 여부를 판단하는 수면 판단부; 수신된 상기 위치 결정 정보에 따라 사용자의 위치를 도출하는 위치 판단부; 및 상기 수면 판단부 및 상기 위치 판단부의 판단 결과에 따라 상기 표시 장치의 전원 및 음량을 제어하는 제어부를 포함하여 이루어진다.
여기에서, 상기 수신부에서 수신하는 영상 정보는 상기 이미지 센서에 의해 획득된 정보를 가공하지 않은 로 데이터(raw data)인 것이 바람직하며, 상기 데이터 처리부는 수신된 영상 정보의 분산값 또는 평균값을 이용하여 눈 깜박임을 판단할 수 있다.
상기 모션 인식 센서는 자이로 3축 센서와 가속도 3축 센서로 이루어진 IMU(inertial measurement unit)일 수 있다.
상기 수신부는 상기 모션 인식 센서로부터 상기 사용자의 모션 정보를 더 수신하고, 상기 영상 표시 장치는 상기 모션 정보에 따라 상기 표시 장치의 음량 제어 기능을 온/오프할 수도 있다.
본 발명에 따르면, 특별한 사용자의 인식이나 동작이 없이도 사용자가 수면 상태로 되면 전원을 자동으로 차단하여 전력을 절감할 수 있으며, 사용자의 시청 위치 이탈에 따라 볼륨을 자동으로 조절하여 TV 시청의 편의를 증가시킬 수 있다.
사용자의 상태를 측정하기 위해 안경에 장착되는 이미지 센서와 모션 인식 센서는 무게와 크기 면에서 무시할 수 있는 정도이므로 이의 추가에 따른 불편이 거의 없으며, 저비용으로 구현될 수 있다.
도 1은 본 발명의 실시예에 따른 사용자의 위치와 상태에 따른 자동 제어 스마트 TV 시스템의 전체 구성을 간략히 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 사용자의 위치와 상태에 따른 자동 제어 스마트 TV 시스템의 구성을 좀 더 자세히 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 사용자의 위치와 상태에 따른 자동 제어 스마트 TV 시스템의 TV에서 판단부의 구성을 좀 더 자세히 도시한 것이다.
도 4는 본 발명의 실시예에 따른 사용자의 위치와 상태에 따른 자동 제어 스마트 TV 시스템의 자동 제어 방법을 나타내는 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하에서, 첨부한 도면을 참고로 하여 본 발명의 실시예에 따른 사용자의 위치와 상태에 따른 자동 제어 스마트 TV에 대하여 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 사용자의 위치와 상태에 따른 자동 제어 스마트 TV 시스템의 전체 구성을 간략히 도시한 도면이다.
도 1에 나타난 바와 같이, 본 발명의 실시예에 따른 사용자의 위치와 상태에 따른 자동 제어 스마트 TV 시스템은 TV 영상을 표시할 수 있는 TV(200)와 TV(200)에서 표시하는 3차원 영상을 시청하기 위하여 사용자가 착용하는 3차원 안경(100)으로 구성된다.
도 2는 본 발명의 실시예에 따른 사용자의 위치와 상태에 따른 자동 제어 스마트 TV 시스템의 구성을 좀 더 자세히 나타낸 블록도이다.
도 2에 나타난 바와 같이, 본 발명의 실시예에 따른 사용자의 위치와 상태에 따른 자동 제어 스마트 TV 시스템의 3차원 안경(100)은 이미지 센서(110)와 모션 인식 센서(120) 및 무선 송신부(130)를 포함한다.
본 발명의 실시예에 따른 사용자의 위치와 상태에 따른 자동 제어 스마트 TV 시스템은, TV 시청 도중 잠이 들 경우 원치 않는 전력 소모가 발생하게 될 때 자동 전원관리를 이용하여 이를 방지할 수 있다. 또한 TV 시청 도중 원치 않게 자리를 이탈할 경우 영상물의 내용을 놓치는 경우가 있는데, 자동 볼륨 조절을 통해 사용자가 영상물의 내용을 파악할 수 있게 한다.
사용자의 수면상태를 파악하기 위해 소형 이미지 센서(110)를 3차원 안경(100)에 장착하고 이를 이용해 시청자의 눈 깜박임을 측정하여 수면 여부를 판단한다.
사용자의 위치에 따른 자동 볼륨 조절을 위해서는 모션 인식 센서(120)를 이용하여 사용자의 위치를 파악하고 TV(200)에서 멀어질 경우 볼륨을 증가시키고 다시 가까워지면 볼륨을 감소시키는 방식으로써 사용자로 하여금 시청 중이던 영상물의 내용을 소리로써 파악할 수 있게 한다.
하지만 자리를 이탈하여 TV와 멀어질 경우에도 TV 볼륨이 커지지 않아야 하는 경우가 있을 수 있다. 예를 들면 전화통화를 위해 TV 앞을 뜨는 경우 등이다. 이 경우, 3차원 안경(100)에 장착된 모션 인식 센서(120)를 통해 설정된 모션에 따라 볼륨 자동 조절 상태를 변경할 수 있게 하여 해결할 수 있다.
이를 위하여 본 발명의 실시예에 따른 사용자의 위치와 상태에 따른 자동 제어 스마트 TV 시스템의 TV(200)는, 도 2에 나타난 바와 같이, 안경(100)으로부터 눈 깜박임 정보와 모션 인식 정보를 수신하는 무선 수신부(230), 수신한 정보를 저장하는 메모리(240), 수신한 정보를 처리하는 데이터 처리부(250), 처리된 데이터를 기반으로 사용자의 상태를 판단하는 판단부(260), 판단부(260)의 판단 결과에 따라 스마트 TV(200)의 기능을 제어하는 기능 제어부(270)를 포함한다.
본 발명의 실시예에 따른 사용자의 위치와 상태에 따른 자동 제어 스마트 TV 시스템의 TV(200)는 안경(100)의 이미지 센서(110) 및 모션 인식 센서(120)로부터 정보를 수신하여, 눈 깜박임과 사용자의 위치 변화를 판단한다. 사용자의 위치 변화를 판단하기 위한 거리 측정은 별도의 거리 측정 센서를 두어 할 수도 있지만, 모션 인식 센서(120)를 이용하여 사용자의 위치변화를 측정하여 TV와의 거리를 추정하는 방법도 있다.
TV(200)는 눈 깜박임 데이터를 바탕으로 하여 사용자가 현재 수면 중인지 아닌지를 판단한다. 즉, 일정 시간 동안 사용자의 눈 깜박임이 감지되지 않으면 수면 중으로 판단하여 TV의 전원을 자동으로 차단한다. 사용자의 눈 깜박임이 계속적으로 감지되면 TV는 계속 ON 상태를 유지하게 된다.
한편, 수면 상태로 판단되는 경우 바로 TV 전원을 오프하는 대신 대기 모드로 진입하게 하거나, 대기 모드로 진입한 지 일정 시간이 경과하여도 눈 깜박임이 없는 경우 TV 전원을 오프하도록 하는 등의 다양한 방식의 제어가 가능하다.
또한 센서는 주기적으로 TV와의 송수신을 통하여 TV와 사용자 사이의 거리를 측정한다. 측정한 거리가 TV에서 일정 거리 이상 멀어지면 사용자는 TV를 시청할 거리가 되지 않는다고 판단하여 볼륨을 증가시켜 사용자에게 현재 방송되고 있는 상황을 계속하여 알 수 있게 한다. 하지만 사용자가 전화를 받기 위해 급하게 자리를 이동할 경우와 같이 볼륨이 커져서는 안되는 상황 등을 고려하여 간단한 모션(상하로 고개를 끄덕임, 좌로 두 번 끄덕임 등..) 등을 통해 음 소거 기능을 제공한다. 그리고 TV와 사용자의 사이가 가까워지게 되면 볼륨을 자동적으로 줄여주어 편안히 TV를 시청할 수 있게 해준다.
도 3은 본 발명의 실시예에 따른 사용자의 위치와 상태에 따른 자동 제어 스마트 TV 시스템의 TV(200)에서 판단부(260)의 구성을 좀 더 자세히 도시한 것이다.
도 3에 나타난 바와 같이, 본 발명의 실시예에 따른 사용자의 위치와 상태에 따른 자동 제어 스마트 TV 시스템의 TV(200)에서는 기능 제어를 위해 수면 여부와 모션, 사용자의 이동을 판단하므로, 판단부(260)는 모션 판단부(262), 위치 판단부(264), 수면 판단부(266)를 포함하여 구성된다.
도 4는 본 발명의 실시예에 따른 사용자의 위치와 상태에 따른 자동 제어 스마트 TV 시스템의 자동 제어 방법을 나타내는 흐름도이다.
도 4에 나타난 바와 같이, 3D 안경에 부착된 카메라와 센서가 켜지면(센서 ON), 카메라는 눈의 깜박임을 측정하고(S410), 센서 데이터와 함께 TV로 송신한다(S420).
TV는 안경으로부터 데이터를 수신하고(S430), 수신된 데이터를 깜박임 데이터와 센서 데이터를 분류하여 깜박임 정도와 센서 거리를 구한다.
즉, 깜박임 정도를 체크하여 눈 깜박임이 없으면(S440의 "아니오"), 사용자가 자는 것으로 판단하여 TV의 전원을 끈다(S490).
깜박임 정도를 체크하여 눈 깜박임이 있으면(S440의 "예"), TV를 계속 시청할 수 있도록 전원을 유지한다.
다음, 센서와 TV와의 거리가 증가하면(S450의 "예"), 사용자가 TV와 멀어졌다고 판단하여 볼륨을 증가시켜 사용자에게 소리로 TV의 상황을 들려준다(S460).
반대로 센서와 TV와의 거리가 감소하면(S470의 "예"), 사용자가 다시 TV와 가까워졌다고 판단하여 볼륨을 감소시킨다(S480).
원치않는 자동볼륨 설정을 해제하기 위해 설정된 모션을 취하여 기능을 해제할 수 있다. 또는 센서 데이터를 통해 모션을 파악하여 스마트 TV의 몇 가지 기능-자동 볼륨 조절 on/off, 볼륨 up/down, 채널 변경, 3D 기능 on/off 등-을 실행할 수 있다.
눈 깜박임을 측정하는 방법에는 특별한 제한이 없으나, 아래에서 몇 가지 예를 제시한다.
<눈 깜박임 측정 방법 1>
이미지 센서(110)를 통해 촬영된 영상 프레임의 로 데이터(raw data)를 TV(200)로 바로 전송한다.
다음, 이미지 센서(110)로부터 수신받은 RGB 데이터의 모든 값을 사용하지 않고 연산을 간단하게 하기 위해 gray 값(0~255)으로 변환한다.
사람이 눈을 뜨고 있을 경우 검은 눈동자, 흰자, 눈 주위 살색 등으로 gray값이 다양하게 분포하게 된다. 이런 경우 다양한 gray level 값이 존재하게 되어 분산값이 크게 나오게 되지만, 반대로 눈을 감았을 경우, 이미지 센서(110)에 캡처되는 프레임에는 살색이 대부분일 것이다. 이런 경우 일정한 gray level 값이 존재하게 되어 분산 값이 낮게 나온다.
이런 특성을 이용하면 눈동자 추적과 같은 계산량이 큰 기술이 필요없게 되고, 실시간으로 빠르게 눈 깜박임을 측정할 수 있다.
눈 깜박임 측정을 위한 분산 식은 다음과 같다.
수학식 1
Figure PCTKR2013005936-appb-M000001
V : 분산값, Pn : 현재 프레임의 n번째 픽셀 데이터,
Fmean : 현재 프레임의 픽셀데이터의 평균, n : 픽셀 주소
테스트를 통해 눈을 떴을 때의 분산값과 감았을 때의 분산값 사이의 값을 기준값으로 정한다. 기준값보다 큰 값이 되었다가 다시 작은 값이 되었을 때 눈 깜박임이 발생하였음을 판단하고 이를 카운트한다.
<눈 깜박임 측정 방법 2>
눈 깜박임의 측정은 상술한 눈 깜박임 측정 방법 1과 동일한 방법을 사용하지만, 분산값이 아닌 프레임의 평균값을 이용할 수 있다. 눈을 떴을 때와 감았을 때의 평균값은 다르게 나온다. 즉, 눈을 떴을 때 눈동자의 검은 부위, 흰 부위, 살색의 밝기 데이터(gray값)의 평균값과 눈을 감았을 때 살색의 픽셀들의 밝기 데이터(gray값)의 평균이 다르다는 특성을 이용하여 눈 깜박임을 측정할 수 있다.
모션은 안경을 쓴 채로 머리를 움직임으로써 취할 수 있으며 여러 모션에 대한 간단한 TV 제어는 사전에 설정 가능하다.
모션 인식 센서로는 자이로 3축 센서와 가속도 3축 센서로 이루어진 IMU(inertial measurement unit)를 사용할 수 있으며 좀더 정밀한 각을 판단하기 위해 지자기 센서까지 적용된 센서를 사용할 수 있다. 이외의 모션을 측정할 수 있는 센서를 사용할 수도 있다.
사용자와 TV간의 거리 측정 센서로는 모션 인식 센서를 그대로 이용할 수가 있다. 안경을 착용한 지점을 사용자의 초기 위치로 설정하고 센서로부터 출력되는 각도 (roll, pitch, yaw) 값을 이용해 방향을 파악, 가속도 센서로부터 출력되는 값을 (x, y, z) 처리하여 이동거리를 구해 사용자의 위치 및 TV와의 거리를 추측 한다.
이상에서 바람직한 실시예를 기준으로 본 발명을 설명하였지만, 본 발명의 장치 및 방법은 반드시 상술된 실시예에 제한되는 것은 아니며 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 따라서, 첨부된 특허청구의 범위는 본 발명의 요지에 속하는 한 이러한 수정이나 변형을 포함할 것이다.

Claims (5)

  1. 3차원 안경에 장착된 이미지 센서로부터 영상 정보를 수신하고, 상기 3차원 안경에 장착된 모션 인식 센서로부터 사용자의 위치를 결정하기 위한 정보를 수신하는 수신부;
    수신된 상기 영상 정보를 처리하여 눈 깜박임 횟수를 도출하는 데이터 처리부;
    도출된 눈 깜박임 횟수에 따라 수면 여부를 판단하는 수면 판단부;
    수신된 상기 위치 결정 정보에 따라 사용자의 위치를 도출하는 위치 판단부; 및
    상기 수면 판단부 및 상기 위치 판단부의 판단 결과에 따라 상기 표시 장치의 전원 및 음량을 제어하는 제어부를 포함하는 스마트 TV.
  2. 제1항에 있어서, 상기 수신부에서 수신하는 영상 정보는,
    상기 이미지 센서에 의해 획득된 정보를 가공하지 않은 로 데이터(raw data)인 스마트 TV.
  3. 제1항에 있어서, 상기 데이터 처리부는,
    수신된 영상 정보의 분산값 또는 평균값을 이용하여 눈 깜박임을 판단하는 스마트 TV.
  4. 제1항에 있어서, 상기 모션 인식 센서는,
    자이로 3축 센서와 가속도 3축 센서로 이루어진 IMU(inertial measurement unit)인 스마트 TV.
  5. 제1항에 있어서,
    상기 수신부는 상기 모션 인식 센서로부터 상기 사용자의 모션 정보를 더 수신하고,
    상기 영상 표시 장치는 상기 모션 정보에 따라 상기 표시 장치의 음량 제어 기능을 온/오프할 수 있는 스마트 TV.
PCT/KR2013/005936 2012-07-09 2013-07-04 사용자의 위치와 상태에 따른 자동 제어 스마트 tv WO2014010869A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120074272A KR101349702B1 (ko) 2012-07-09 2012-07-09 사용자의 위치와 상태에 따른 자동 제어 스마트 ｔｖ
KR10-2012-0074272 2012-07-09

Publications (1)

Publication Number Publication Date
WO2014010869A1 true WO2014010869A1 (ko) 2014-01-16

Family

ID=49916267

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/005936 WO2014010869A1 (ko) 2012-07-09 2013-07-04 사용자의 위치와 상태에 따른 자동 제어 스마트 tv

Country Status (2)

Country Link
KR (1) KR101349702B1 (ko)
WO (1) WO2014010869A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015126198A1 (en) * 2014-02-23 2015-08-27 Samsung Electronics Co., Ltd. Method of operating function and resource of electronic device
KR20190102161A (ko) * 2019-08-23 2019-09-03 삼성전자주식회사 전자 장치의 기능 및 리소스 운용 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0549165A (ja) * 1991-07-18 1993-02-26 Sony Corp めがね型デイスプレイ装置の電源オンオフ装置
JPH11288259A (ja) * 1998-02-06 1999-10-19 Sanyo Electric Co Ltd 省電力制御方法及びその装置
KR20110115703A (ko) * 2010-04-16 2011-10-24 삼성전자주식회사 셔터 안경 및 이를 포함하는 디스플레이장치
KR20110134710A (ko) * 2010-06-09 2011-12-15 엘지이노텍 주식회사 3차원 영상 디스플레이 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0549165A (ja) * 1991-07-18 1993-02-26 Sony Corp めがね型デイスプレイ装置の電源オンオフ装置
JPH11288259A (ja) * 1998-02-06 1999-10-19 Sanyo Electric Co Ltd 省電力制御方法及びその装置
KR20110115703A (ko) * 2010-04-16 2011-10-24 삼성전자주식회사 셔터 안경 및 이를 포함하는 디스플레이장치
KR20110134710A (ko) * 2010-06-09 2011-12-15 엘지이노텍 주식회사 3차원 영상 디스플레이 시스템

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015126198A1 (en) * 2014-02-23 2015-08-27 Samsung Electronics Co., Ltd. Method of operating function and resource of electronic device
KR20150099885A (ko) * 2014-02-23 2015-09-02 삼성전자주식회사 전자 장치의 기능 및 리소스 운용 방법
US10064030B2 (en) 2014-02-23 2018-08-28 Samsung Electronics Co., Ltd. Method of operating function and resource of electronic device
KR102016644B1 (ko) * 2014-02-23 2019-08-30 삼성전자주식회사 전자 장치의 기능 및 리소스 운용 방법
US10623915B2 (en) 2014-02-23 2020-04-14 Samsung Electronics Co., Ltd. Method of operating function and resource of electronic device
US11082815B2 (en) 2014-02-23 2021-08-03 Samsung Electronics Co., Ltd Method of operating function and resource of electronic device
KR20190102161A (ko) * 2019-08-23 2019-09-03 삼성전자주식회사 전자 장치의 기능 및 리소스 운용 방법
KR102113550B1 (ko) 2019-08-23 2020-05-21 삼성전자주식회사 전자 장치의 기능 및 리소스 운용 방법

Also Published As

Publication number Publication date
KR101349702B1 (ko) 2014-01-10

Similar Documents

Publication Publication Date Title
US10638046B2 (en) Wearable device, control apparatus, photographing control method and automatic imaging apparatus
US10691194B2 (en) Electronic apparatus and method of controlling power supply
US11921293B2 (en) Head-mounted display, head-mounted display linking system, and method for same
US9245389B2 (en) Information processing apparatus and recording medium
CN112799508B (zh) 显示方法与装置、电子设备及存储介质
EP3067782B1 (en) Information processing apparatus, control method, and program
KR20140083741A (ko) 디스플레이 방법 및 장치
CN108600557B (zh) 一种屏幕亮灭控制方法和移动终端
CN107995437B (zh) 照片拍摄打光方法及移动终端
WO2022151887A1 (zh) 睡眠监测方法及相关装置
WO2014010869A1 (ko) 사용자의 위치와 상태에 따른 자동 제어 스마트 tv
CN112733673B (zh) 一种内容显示方法、装置、电子设备及可读存储介质
CN107888780B (zh) 一种移动终端的照明控制方法及移动终端
CN111314964B (zh) 数据流量控制方法及电子设备
CN109618042B (zh) 显示距离控制方法、可折叠终端及计算机可读存储介质
WO2022089625A1 (zh) 一种增强现实功能控制方法和电子设备
CN111725864B (zh) 电量转移方法、电子设备及可读存储介质
CN210690949U (zh) 一种vr设备
CN114661152A (zh) 一种降低视觉疲劳的ar显示控制系统及方法
KR102134419B1 (ko) 열화상 감지 디바이스
CN210328089U (zh) 一种照明控制装置
CN110049248B (zh) 一种拍摄对象调控方法、设备及计算机可读存储介质
CN107872619B (zh) 一种拍照处理方法、装置及设备
WO2021120564A1 (zh) 一种屏幕亮度调节方法及头盔
CN209324719U (zh) 送风装置的调节系统以及智能送风设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13817185

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13817185

Country of ref document: EP

Kind code of ref document: A1