KR101314685B1 - Display apparatus having camera, remote controller for controlling the display apparatus, and display control method thereof - Google Patents

Display apparatus having camera, remote controller for controlling the display apparatus, and display control method thereof Download PDF

Info

Publication number
KR101314685B1
KR101314685B1 KR1020110033484A KR20110033484A KR101314685B1 KR 101314685 B1 KR101314685 B1 KR 101314685B1 KR 1020110033484 A KR1020110033484 A KR 1020110033484A KR 20110033484 A KR20110033484 A KR 20110033484A KR 101314685 B1 KR101314685 B1 KR 101314685B1
Authority
KR
South Korea
Prior art keywords
unit
user
image
display
control
Prior art date
Application number
KR1020110033484A
Other languages
Korean (ko)
Other versions
KR20120115898A (en
Inventor
이민호
정찬웅
정성문
박윤중
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020110033484A priority Critical patent/KR101314685B1/en
Publication of KR20120115898A publication Critical patent/KR20120115898A/en
Application granted granted Critical
Publication of KR101314685B1 publication Critical patent/KR101314685B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208Display device provided on the remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42221Transmission circuitry, e.g. infrared [IR] or radio frequency [RF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Abstract

디스플레이 장치가 개시된다. 본 장치는, 화면 상에 영상 신호를 출력하는 디스플레이부, 디스플레이 장치의 전방을 촬영하는 촬영부, 사용자 별로 매칭된 선호 특성 정보를 저장하는 저장부, 촬영부에서 촬영된 이미지에 사용자가 포함된 경우, 사용자에 대응되는 선호 특성 정보에 따라 영상 신호를 출력하도록 디스플레이부를 제어하고, 촬영된 이미지에 상기 화면을 향하는 레이저 포인터가 포함된 경우, 레이저 포인터의 지정 위치 또는 이동 궤적에 따라 제어 동작을 수행하는 제어부를 포함한다. 이에 따라, 디스플레이 제어를 편리하게 수행할 수 있다.A display device is disclosed. The apparatus may include a display unit for outputting an image signal on a screen, a photographing unit for photographing the front of the display device, a storage unit for storing preference characteristic information matched for each user, and a case where a user is included in an image photographed by the photographing unit. And controlling the display unit to output an image signal according to preference characteristic information corresponding to the user, and when the captured image includes a laser pointer facing the screen, performing a control operation according to a specified position or a movement trajectory of the laser pointer. It includes a control unit. Accordingly, display control can be conveniently performed.

Description

촬영부를 구비한 디스플레이 장치 및 이를 제어하는 리모콘, 그 디스플레이 제어 방법 { DISPLAY APPARATUS HAVING CAMERA, REMOTE CONTROLLER FOR CONTROLLING THE DISPLAY APPARATUS, AND DISPLAY CONTROL METHOD THEREOF } Display device having a photographing unit, a remote control for controlling the same, a display control method thereof {DISPLAY APPARATUS HAVING CAMERA, REMOTE CONTROLLER FOR CONTROLLING THE DISPLAY APPARATUS, AND DISPLAY CONTROL METHOD THEREOF}

본 발명은 디스플레이 장치 및 이를 제어하기 위한 리모콘과 그 디스플레이 제어 방법에 대한 것으로, 보다 상세하게는, 촬영부를 이용하여 촬영된 이미지를 통해 디스플레이 동작을 제어하는 디스플레이 장치 및 이를 제어하기 위한 리모콘과 그 디스플레이 제어 방법에 대한 것이다. The present invention relates to a display apparatus, a remote controller for controlling the same, and a display control method thereof, and more particularly, to a display apparatus for controlling a display operation through an image photographed using a photographing unit, a remote controller for controlling the same, and a display thereof. Control method.

전자 기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있다. 그 중에서도, 일반 가정에 많이 보급되어 있는 TV와 같은 디스플레이 장치에 있어서는 더욱더 많은 기능이 탑재되어 구매자를 유혹하고 있다.Various types of electronic products are being developed and distributed by the development of electronic technology. Among them, more and more functions are installed in display devices such as TVs, which are widely used in general homes, to attract buyers.

사용자는 디스플레이 장치를 이용하여 다양한 기능을 수행할 수 있다. 즉, 기존과 같이 단순히 방송 채널을 선국하여 시청하는 것 이외에, 다른 장치와의 연결을 통해 데이터를 송수신할 수도 있고, 인터넷에 연결하여 각종 웹사이트를 시청할 수도 있다. The user may perform various functions using the display device. In other words, in addition to simply selecting and watching a broadcast channel as in the related art, data may be transmitted / received through a connection with another device or may be connected to the Internet to watch various websites.

또한, 디스플레이 장치에 구비된 다양한 기능을 자신의 선호도에 맞게 직접 설정하여 시청할 수도 있다. In addition, various functions included in the display device may be directly set and watched according to a user's preference.

특히, 디지털 방송이 개시됨에 따라, 과거에 비해 훨씬 더 많은 방송 채널과 컨텐츠가 제공되고 있다. 이러한 상황에서, 사용자가 자신이 주로 시청하는 채널을 용이하게 선국할 수 있도록 하는 기술의 필요성이 대두되었다.In particular, with the advent of digital broadcasting, much more broadcasting channels and contents have been provided than in the past. In this situation, a need has arisen for a technology that allows a user to easily tune into a channel he or she primarily watches.

또한, 디스플레이 장치에 마련된 다양한 기능을 좀 더 편리하게 이용할 수 있도록, 사용자와의 인터페이스 방식을 다양화시킬 필요성도 대두되고 있다.In addition, there is a need to diversify the interface with the user so that various functions provided in the display device can be used more conveniently.

본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 촬영부를 이용하여 촬영한 이미지에 따라, 각종 제어 동작을 수행할 수 있는 디스플레이 장치, 그 디스플레이 장치의 동작을 제어하는 리모콘, 그 디스플레이 제어 방법을 제공함에 있다. The present invention is in accordance with the above-described needs, an object of the present invention, a display device capable of performing various control operations according to the image photographed using the photographing unit, a remote control for controlling the operation of the display device, the display control In providing a method.

이상과 같은 목적을 달성하기 위하여, 본 발명의 일 실시 예에 따른 디스플레이 장치는, 화면 상에 영상 신호를 출력하는 디스플레이부, 상기 디스플레이 장치의 전방을 촬영하는 촬영부, 사용자 별로 매칭된 선호 특성 정보를 저장하는 저장부, 상기 촬영부에서 촬영된 이미지에 사용자가 포함된 경우, 상기 사용자에 대응되는 선호 특성 정보에 따라 상기 영상 신호를 출력하도록 상기 디스플레이부를 제어하고, 상기 촬영된 이미지에 상기 화면을 향하는 레이저 포인터가 포함된 경우, 상기 레이저 포인터의 지정 위치 및 이동 궤적에 따라 제어 동작을 수행하는 제어부를 포함한다.In order to achieve the above object, the display device according to an embodiment of the present invention, the display unit for outputting an image signal on the screen, the photographing unit for photographing the front of the display device, the preference characteristics matched for each user A storage unit for storing the image, if the user is included in the image photographed by the photographing unit, controlling the display unit to output the image signal according to preference characteristic information corresponding to the user, and displaying the screen on the captured image. When the laser pointer is included, the controller includes a control unit configured to perform a control operation according to a designated position and a movement trajectory of the laser pointer.

여기서, 본 디스플레이 장치는, 상기 촬영부에서 촬영된 이미지를 파싱하여 사용자 이미지를 검출하는 파싱부 및 상기 파싱부에 의해 검출된 사용자 이미지를 리모콘으로 전송하는 통신부를 더 포함할 수 있다.Here, the display apparatus may further include a parsing unit for parsing the image photographed by the photographing unit to detect a user image and a communication unit for transmitting the user image detected by the parsing unit to a remote controller.

또는, 본 디스플레이 장치는, 상기 촬영부에서 촬영된 이미지를 리모콘으로 전송하는 통신부를 더 포함할 수도 있다. 그리고, 상기 제어부는, 상기 리모콘으로부터 상기 이미지에 포함된 사용자의 선호 특성 정보에 따른 제어 신호를 수신하여, 상기 제어 신호에 따라 상기 영상 신호를 출력하도록 상기 디스플레이부를 제어할 수 있다.Alternatively, the display device may further include a communication unit which transmits the image photographed by the photographing unit to a remote controller. The controller may receive a control signal according to the user's preference characteristic information included in the image from the remote controller and control the display unit to output the video signal according to the control signal.

한편, 상기 제어부는, 상기 촬영부에서 촬영된 이미지 상에서, 상기 레이저 포인터에서 발사된 적외선 레이저가 표시된 위치를 검출하고, 상기 이미지의 크기 및 상기 화면의 크기 간의 비율에 따라 상기 화면 상에서 상기 레이저 포인터가 지정한 지점을 추정할 수 있다.On the other hand, the control unit, on the image taken by the photographing unit, detects the position where the infrared laser emitted from the laser pointer is displayed, and the laser pointer on the screen according to the ratio between the size of the image and the size of the screen You can estimate the point you specify.

여기서, 상기 제어부는, 상기 추정된 지점에 커서를 표시하고, 상기 레이저 포인터의 이동 궤적에 따라 상기 커서를 이동시키도록 상기 디스플레이부를 제어할 수 있다.Here, the controller may display the cursor at the estimated point and control the display unit to move the cursor according to the movement trajectory of the laser pointer.

그리고, 상기 제어부는, 상기 촬영부에서 촬영된 이미지 상에서 상기 레이저 포인터에서 발사된 적외선 레이저가 표시된 위치가 이동되면, 그 이동 궤적이 상기 저장부에 기 저장된 모션 정보에 매칭되는지 판단하고, 매칭되면 매칭되는 모션 정보에 대응되는 제어 동작을 수행할 수도 있다.The controller determines whether the movement trajectory matches the motion information previously stored in the storage unit when the position where the infrared laser emitted from the laser pointer is displayed is moved on the image photographed by the photographing unit. The control operation corresponding to the motion information may be performed.

이상과 같은 실시 예들에서, 상기 선호 특성 정보는 상기 인식된 사용자의 시청 빈도가 높은 선호 채널 정보일 수 있다. 그리고, 상기 제어부는, 상기 사용자가 인식되면 상기 인식된 사용자에 대응되는 선호 채널을 바로 선국하여 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.In the above embodiments, the preference characteristic information may be preference channel information having a high viewing frequency of the recognized user. When the user is recognized, the controller may control the display unit to select and display a preferred channel corresponding to the recognized user immediately.

또는, 이상과 같은 실시 예들에서, 상기 선호 특성 정보는, 상기 인식된 사용자의 시청 빈도가 높은 선호 채널 정보, 상기 인식된 사용자가 마지막으로 시청하던 채널 정보, 상기 인식된 사용자가 기 설정한 볼륨 상태, 색상, 밝기, 콘트라스트, 화면 크기, 언어, 해상도, 선명도, 주파수 정보 중 적어도 하나가 될 수도 있다.Alternatively, in the above embodiments, the preference characteristic information may include preference channel information with a high frequency of viewing of the recognized user, channel information last viewed by the recognized user, and a volume state preset by the recognized user. And at least one of color, brightness, contrast, screen size, language, resolution, sharpness, and frequency information.

한편, 본 발명의 다른 실시 예에 따른 디스플레이 장치는, 화면 상에 영상 신호를 출력하는 디스플레이부, 상기 디스플레이부의 전방을 촬영하는 촬영부, 사용자 별로 매칭된 선호 특성 정보를 저장하는 저장부, 상기 촬영부에서 촬영된 이미지를 파싱하여 사용자 이미지를 검출하는 파싱부, 상기 사용자 이미지가 검출되면 상기 사용자 이미지에 대응되는 선호 특성 정보에 따라 상기 영상 신호를 출력하도록 상기 디스플레이부를 제어하는 제어부를 포함한다. 여기서, 상기 선호 특성 정보는, 상기 인식된 사용자의 시청 빈도가 높은 선호 채널 정보, 상기 인식된 사용자가 마지막으로 시청하던 채널 정보, 상기 인식된 사용자가 기 설정한 볼륨 상태, 색상, 밝기, 콘트라스트, 화면 크기, 언어, 해상도, 선명도, 주파수 정보 중 적어도 하나가 될 수 있다.On the other hand, the display device according to another embodiment of the present invention, a display unit for outputting an image signal on the screen, a photographing unit for photographing the front of the display unit, a storage unit for storing the preference characteristic information matched for each user, the photographing And a parsing unit for detecting a user image by parsing the captured image, and a controller for controlling the display unit to output the image signal according to preference characteristic information corresponding to the user image when the user image is detected. Here, the preference characteristic information includes preference channel information having a high viewing frequency of the recognized user, channel information last viewed by the recognized user, volume state, color, brightness, contrast, preset by the recognized user, It may be at least one of screen size, language, resolution, sharpness, and frequency information.

본 발명의 또 다른 실시 예에 따른 디스플레이 장치는, 화면 상에 영상 신호를 출력하는 디스플레이부, 상기 디스플레이 장치의 전방을 촬영하는 촬영부, 레이저 포인터의 모션 정보를 저장하는 저장부, 상기 촬영부에서 촬영된 이미지를 파싱하여 상기 화면을 향하는 레이저 포인터가 인식하는 파싱부, 상기 레이저 포인터가 인식되면, 상기 레이저 포인터의 지정 위치 및 이동 궤적에 대응되는 모션 정보를 확인하고, 확인된 모션 정보에 대응되는 제어 동작을 수행하는 제어부를 포함한다.According to another aspect of the present invention, a display apparatus includes a display unit for outputting an image signal on a screen, a photographing unit for photographing the front of the display device, a storage unit for storing motion information of a laser pointer, and A parsing unit for parsing the photographed image and recognizing the laser pointer toward the screen, and when the laser pointer is recognized, confirms the motion information corresponding to the designated position and the movement trajectory of the laser pointer, and corresponds to the identified motion information. It includes a control unit for performing a control operation.

여기서, 상기 제어부는, 상기 화면의 크기 및 상기 촬영부에서 촬영된 이미지의 크기 간의 비율을 고려하여 상기 화면 상에서 상기 레이저 포인터가 지정하는 지점을 추정하고, 추정된 지점에 커서를 표시하며 상기 레이저 포인터의 이동 궤적에 따라 상기 커서를 이동시키도록 상기 디스플레이부를 제어할 수 있다.Here, the controller estimates a point designated by the laser pointer on the screen in consideration of a ratio between the size of the screen and the size of the image photographed by the photographing unit, and displays a cursor on the estimated point. The display unit may be controlled to move the cursor according to the movement trajectory of.

본 발명의 일 실시 예에 따른 리모콘은, 상기 디스플레이 장치를 제어하기 위한 선택 신호를 입력받는 입력부, 일 방향으로 컬러 레이저를 발산하는 제1 발산부, 상기 컬러 레이저와 평행하게 적외선 레이저를 발산하는 제2 발산부, 상기 제1 발산부 및 상기 제2 발산부를 각각 턴-온/턴-오프/홀드시키기 위한 제어버튼, 상기 디스플레이 장치로부터 전송되는 이미지를 디스플레이하는 디스플레이부를 포함한다.According to an embodiment of the present disclosure, a remote controller may include an input unit configured to receive a selection signal for controlling the display device, a first diverging unit emitting a color laser in one direction, and an infrared laser emitting unit parallel to the color laser; A second diverging part, a control button for turning on / turning off / holding the first diverging part and the second diverging part, respectively, and a display part displaying an image transmitted from the display apparatus.

그리고, 본 발명의 일 실시 예에 따른 디스플레이 장치의 디스플레이 제어 방법은, 상기 디스플레이 장치의 전방을 촬영하는 단계, 상기 촬영된 이미지에 사용자가 포함된 경우, 상기 사용자에 대응되는 선호 특성 정보에 따라 상기 영상 신호를 출력하는 단계, 상기 촬영된 이미지에 상기 디스플레이 장치의 화면을 향하는 레이저 포인터가 포함된 경우, 상기 레이저 포인터의 지정 위치 및 이동 궤적에 따라 제어 동작을 수행하는 단계를 포함한다. In addition, the display control method of the display apparatus according to an embodiment of the present invention, photographing the front of the display device, when the user is included in the photographed image, according to the preference characteristic information corresponding to the user Outputting an image signal; and performing a control operation according to a designated position and a movement trajectory of the laser pointer when the photographed image includes a laser pointer facing the screen of the display device.

이상과 같이 본 발명의 다양한 실시 예에 따르면, 디스플레이 장치는 전방의 이미지를 촬영하여 그 이미지를 이용하여 제어 동작을 수행할 수 있다. 이에 따라, 사용자의 만족도를 향상시킬 수 있다.As described above, according to various embodiments of the present disclosure, the display apparatus may photograph a front image and perform a control operation using the image. Accordingly, the user's satisfaction can be improved.

도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도,
도 2 내지 4는 본 발명의 일 실시 예에 따른 디스플레이 장치에서 사용자를 인식하는 과정의 일 예를 설명하기 위한 도면,
도 5 및 6은 본 발명의 일 실시 예에 따른 디스플레이 장치에서 레이저 포인터의 이동 궤적을 인식하는 과정의 일 예를 설명하기 위한 도면,
도 7은 본 발명의 다양한 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도,
도 8은 본 발명의 일 실시 예에 따른 리모콘의 구성을 나타내는 도면, 그리고,
도 9는 본 발명의 일 실시 예에 따른 디스플레이 장치에서의 디스플레이 제어 방법을 설명하기 위한 흐름도이다.
1 is a block diagram showing a configuration of a display device according to an embodiment of the present invention,
2 to 4 are views for explaining an example of a process of recognizing a user in a display apparatus according to an embodiment of the present invention;
5 and 6 are views for explaining an example of a process of recognizing a movement trace of a laser pointer in a display device according to an embodiment of the present invention;
7 is a block diagram illustrating a configuration of a display apparatus according to various embodiments of the present disclosure;
8 is a view showing the configuration of a remote control according to an embodiment of the present invention, and
9 is a flowchart illustrating a display control method of a display apparatus according to an exemplary embodiment.

이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다. 도 1에 따르면, 본 디스플레이 장치는, 촬영부(110), 제어부(120), 저장부(130), 디스플레이부(140)를 포함한다. 도 1의 디스플레이 장치는, TV가 될 수도 있으며, 그 밖에, 모니터, PC, 전자 액자, 노트북 PC, 전자 책 등과 같은 다양한 형태의 전자 장치가 될 수 있다. 1 is a block diagram showing a configuration of a display device according to an embodiment of the present invention. According to FIG. 1, the display device includes a photographing unit 110, a control unit 120, a storage unit 130, and a display unit 140. The display device of FIG. 1 may be a TV, or may be various types of electronic devices such as a monitor, a PC, an electronic picture frame, a notebook PC, an e-book, and the like.

촬영부(110)는 디스플레이 장치(100)의 일측에 마련되어, 디스플레이 장치(100)의 전방을 촬영한다. 디스플레이 장치(100)의 전방이란, 디스플레이 장치의 화면을 시청하는 시청자를 향하는 방향을 의미한다. 일 예로, 촬영부(110)는 화면의 상측이나, 하측, 좌우측 중에 설치된 적어도 하나 이상의 카메라를 포함할 수 있다. 이에 따라, 디스플레이 장치(100)를 이용하거나 이용하고자 하는 사용자나, 디스플레이 장치(100)의 앞에 놓인 여러 가지 객체들을 촬영할 수 있다.The photographing unit 110 is provided at one side of the display apparatus 100 to photograph the front of the display apparatus 100. The front of the display apparatus 100 refers to a direction toward the viewer viewing the screen of the display apparatus. For example, the photographing unit 110 may include at least one or more cameras installed on the upper side, the lower side, or the left and right sides of the screen. Accordingly, a user who uses or intends to use the display apparatus 100 or various objects placed in front of the display apparatus 100 may be photographed.

디스플레이부(140)는 화면 상에 영상 신호를 출력하는 구성이다. 도 1에서는 디스플레이부(140)의 세부 구성을 도시하지 않았으나, 디스플레이부(140)는 튜너부(미도시), 신호처리부(미도시), 디스플레이 패널(미도시), 백라이트 유닛(미도시) 등과 같은 다양한 구성을 포함할 수 있다. 이들 각 구성에 대해서는 이미 공지된 바 있으므로, 구체적인 설명은 생략한다. 다만, 튜너부는 디스플레이 장치(100)가 TV와 같은 방송 수신 장치로 구현되었을 경우에만 포함될 수 있으며, 그 밖에 저장된 데이터를 재생하여 출력하는 장치인 경우에는 튜너부는 생략될 수도 있음은 물론이다.The display unit 140 is configured to output an image signal on the screen. Although the detailed configuration of the display unit 140 is not illustrated in FIG. 1, the display unit 140 may include a tuner unit (not shown), a signal processing unit (not shown), a display panel (not shown), a backlight unit (not shown), and the like. The same may include various configurations. Since each of these configurations is already known, a detailed description thereof will be omitted. However, the tuner unit may be included only when the display apparatus 100 is implemented as a broadcast receiving apparatus such as a TV. In addition, the tuner unit may be omitted if the display apparatus 100 reproduces and outputs the stored data.

저장부(130)는 다양한 형태의 데이터 및 프로그램을 저장하는 구성이다. 일 예로, 저장부(130)는 사용자 별로 매칭되는 선호 특성 정보, 모션 별로 매칭되는 제어 동작 정보 등을 저장할 수 있다. 여기서, 선호 특성 정보란 실시 예에 따라 다양하게 나타난다. 일 예로, 선호 특성 정보란, 각 사용자 별로 가장 많이 시청되었던 채널 정보, 즉, 시청 빈도가 높은 선호 채널 정보가 될 수 있다. 또는, 각 사용자 별로 최종 시청하던 채널 정보가 될 수도 있다. 그 밖에, 각 사용자가 설정해 둔 출력 상태 정보, 즉, 볼륨 상태, 색상, 밝기, 콘트라스트, 화면 크기, 언어, 해상도, 선명도, 주파수 정보 등이 될 수 있다. 이와 같이, 선호 특성 정보란 사용자 별로 결정된 다양한 정보가 될 수 있다. The storage unit 130 is a component that stores various types of data and programs. For example, the storage 130 may store preference characteristic information matched for each user and control operation information matched for each motion. Here, the preference characteristic information may appear in various ways according to the embodiment. For example, the preference characteristic information may be channel information that has been most viewed for each user, that is, preference channel information having a high viewing frequency. Alternatively, it may be channel information that was last viewed for each user. In addition, it may be output state information set by each user, that is, volume state, color, brightness, contrast, screen size, language, resolution, sharpness, frequency information, and the like. As such, the preference characteristic information may be various information determined for each user.

제어부(120)는 촬영부(110)에서 촬영되는 이미지를 이용하여 각종 제어 동작을 수행한다. The controller 120 performs various control operations by using the image photographed by the photographing unit 110.

구체적으로는, 제어부(120)는 촬영부(110)에서 촬영된 이미지에 사용자가 포함되어 있는 경우에는, 그 사용자에 대응되는 선호 특성 정보에 따라 영상 신호를 출력하도록 디스플레이부(140)를 제어할 수 있다. 즉, 이미지로부터 파싱된 사용자가 A라면, A가 자주 시청하던 "10"번 채널을 자동으로 선국하여 출력하도록 디스플레이부(140)를 제어할 수 있다. 또는, A가 세팅해둔 볼륨이나, 색상, 밝기, 콘트라스트, 화면 크기, 언어, 해상도, 선명도, 주파수 정보 등과 같은 정보 중 적어도 하나의 정보를 저장부(130)로부터 독출하여, 그 독출된 정보에 맞게 영상 신호를 출력하도록 디스플레이부(140)를 제어할 수도 있다. 이 경우, 볼륨 정보나 언어의 경우에는 스피커(미도시) 또는 음성 처리부(미도시)를 제어할 수도 있다. In detail, when a user is included in the image photographed by the photographing unit 110, the controller 120 may control the display unit 140 to output an image signal according to preference characteristic information corresponding to the user. Can be. That is, if the user parsed from the image is A, the display unit 140 may be controlled to automatically tune and output channel "10" that A frequently watches. Alternatively, at least one piece of information such as volume, color, brightness, contrast, screen size, language, resolution, sharpness, frequency information, etc. set by A is read from the storage unit 130 to match the read information. The display unit 140 may be controlled to output an image signal. In this case, in the case of volume information or language, a speaker (not shown) or a voice processor (not shown) may be controlled.

한편, 제어부(120)는 촬영부(110)에서 촬영된 이미지에 디스플레이부(140)의 화면을 향하는 레이저 포인터가 포함된 경우에는, 레이저 포인터의 지정 위치 또는 이동 궤적에 따른 제어 동작을 수행할 수도 있다. 즉, 사용자는 레이저 포인터를 이용하여 화면 상의 특정 영역에 레이저를 주사하거나, 동그라미 등과 같은 간단한 모양을 그리는 모션을 취할 수 있다. 제어부(120)는 촬영부(110)에서 촬영된 이미지를 파싱하여 레이저 포인터의 지정 위치를 추정하거나, 이동 궤적을 확인하여 그에 대응되는 제어 동작을 수행한다. 모션 별 제어 동작에 대해서는 저장부(130)에 미리 저장되어 있을 수 있다. 레이저 포인터의 지정 위치나 이동 궤적을 확인하는 동작에 대해서는 후술하는 부분에서 구체적으로 설명한다.Meanwhile, when the image captured by the photographing unit 110 includes a laser pointer that faces the screen of the display unit 140, the controller 120 may perform a control operation according to a specified position or a movement trajectory of the laser pointer. have. That is, the user may use a laser pointer to scan a laser on a specific area of the screen or take a motion of drawing a simple shape such as a circle. The controller 120 parses the image photographed by the photographing unit 110 to estimate a designated position of the laser pointer, or checks a movement trajectory and performs a control operation corresponding thereto. The control operation for each motion may be stored in advance in the storage 130. The operation of confirming the designated position or the movement trajectory of the laser pointer will be described in detail later.

도 2는 디스플레이 장치(100)의 전방에 위치한 사용자의 얼굴을 인식하는 과정의 일 예를 설명하기 위한 도면이다. 도 2와 같이 촬영부(110)는 디스플레이 장치(100)의 일 측에 부착되어, 전방의 사용자 등을 촬영한다. 이에 따라, 리모콘(20)을 소지한 사용자(10)가 촬영부(110)에 의해 촬영될 수 있다. 촬영된 이미지는 제어부(120) 또는 별도로 마련된 파싱부(미도시)로 직접 제공되거나, 저장부(130)에 저장될 수 있다. 2 is a diagram for describing an example of a process of recognizing a face of a user located in front of the display apparatus 100. As illustrated in FIG. 2, the photographing unit 110 is attached to one side of the display apparatus 100 to photograph a user in front of the display apparatus 100. Accordingly, the user 10 carrying the remote controller 20 may be photographed by the photographing unit 110. The captured image may be directly provided to the controller 120 or a parser (not shown) provided separately or stored in the storage unit 130.

제어부(120) 또는 파싱부는 다양한 방식으로 이미지 상에서 사용자의 얼굴을 인식할 수 있다. 즉, 사용자 인식 작업은 제어부(120)에서 수행될 수도 있고 별도로 마련된 파싱부에서 수행될 수도 있다. 파싱부는 디스플레이 장치(100) 내부에 마련될 수도 있고, 외부 리모콘이나 외부 서버 등에서 수행될 수도 있다. 본 실시 예에서는 제어부(120)가 이미지를 파싱하는 경우에 대하여 설명한다. The controller 120 or the parser may recognize the face of the user on the image in various ways. That is, the user recognition task may be performed by the controller 120 or may be performed by a parser provided separately. The parser may be provided inside the display apparatus 100 or may be performed by an external remote controller or an external server. In the present embodiment, a case in which the controller 120 parses an image will be described.

도 3 및 4는 사용자의 얼굴 인식 방법의 일 예를 설명하기 위한 도면이다. 도 3에 따르면, 제어부(120)는 촬영부(120)에서 촬영된 각 이미지 프레임을 복수 개의 블럭으로 구분한다. 각 블럭은 n*m 개수의 픽셀로 이루어진다. n, m은 자연수이며 그 값은 동일할 수도 있다. 제어부(120)는 구분된 각 블럭에 포함된 픽셀 값의 평균을 연산하거나, 픽셀 값 중 가장 큰 값, 중간값, 최소값 등을 확인하여, 확인된 값을 해당 블럭의 대표값으로 결정할 수 있다. 이에 따라, 각 블럭들의 대표값이 서로 소정의 오차 범위 내에 존재하고 연속적으로 배치되어 있다면, 같은 객체를 지칭하는 것으로 인식하여 해당 블럭들을 하나의 그룹으로 구분한다. 3 and 4 are diagrams for describing an example of a face recognition method of a user. According to FIG. 3, the controller 120 divides each image frame photographed by the photographing unit 120 into a plurality of blocks. Each block consists of n * m pixels. n and m are natural numbers and their values may be the same. The controller 120 may calculate an average of pixel values included in each of the divided blocks, or determine the largest value, the median value, the minimum value, and the like among the pixel values, and determine the determined value as a representative value of the corresponding block. Accordingly, if the representative values of the blocks exist within a predetermined error range and are arranged consecutively, the blocks are recognized as referring to the same object, and the corresponding blocks are divided into one group.

도 4는 p(i,j), p(i+1, j), p(i+2,j), p(i+3,j), p(i-1,j+1), p(i,j+1), p(i+1,j+1), p(i+2,j+1), p(i+3,j+1), p(i-1,j+2), p(i,j+2), p(i+1,j+2), p(i+2,j+2), p(i+3,j+2), p(i-1,j+3), p(i,j+3), p(i+1,j+3), p(i+2,j+3), p(i+3,j+3), p(i-1,j+4), p(i,j+4), p(i+1,j+4), p(i+2,j+4), p(i+3,j+4), p(i,j+5), p(i+1,j+5), p(i+2,j+5)가 얼굴 영역에 해당하는 블럭 그룹으로 구분될 수 있다. 여기서, 얼굴 영역에 해당하는지에 대해서는 실험적으로 측정된 얼굴 부분의 픽셀 값과 비교하여 판단할 수 있다. 즉, 황인종, 백인종, 흑인종 각각에 대하여 복수 개의 얼굴 사진들의 픽셀 값들을 평균하면 각 인종 별로 평균 픽셀 값 범위가 얻어 질 수 있다. 이 경우, 얻어진 평균 픽셀 값 범위에 해당하면, 얼굴 영역으로 인식할 수 있다.4 shows p (i, j), p (i + 1, j), p (i + 2, j), p (i + 3, j), p (i-1, j + 1), p ( i, j + 1), p (i + 1, j + 1), p (i + 2, j + 1), p (i + 3, j + 1), p (i-1, j + 2) , p (i, j + 2), p (i + 1, j + 2), p (i + 2, j + 2), p (i + 3, j + 2), p (i-1, j +3), p (i, j + 3), p (i + 1, j + 3), p (i + 2, j + 3), p (i + 3, j + 3), p (i- 1, j + 4), p (i, j + 4), p (i + 1, j + 4), p (i + 2, j + 4), p (i + 3, j + 4), p (i, j + 5), p (i + 1, j + 5), and p (i + 2, j + 5) may be divided into block groups corresponding to face regions. In this case, it may be determined whether the result corresponds to the face area by comparing the pixel value of the face part measured experimentally. That is, by averaging pixel values of a plurality of face photographs for each of a yellow race, a white race, and a black race, an average pixel value range may be obtained for each race. In this case, if it corresponds to the obtained average pixel value range, it may be recognized as a face area.

제어부(120)는 얼굴 영역으로 인식된 블럭들 내에서 눈썹, 눈, 코, 입에 해당하는 블럭을 찾은 후, 전체 얼굴에 각 블럭의 위치를 확인하여 얼굴 특징을 추출한다. 이에 따라 추출된 얼굴 특징에 해당하는 사용자가 누구인지를 판단한다.The controller 120 finds blocks corresponding to eyebrows, eyes, noses, and mouths in the blocks recognized as face regions, and then extracts facial features by checking the positions of the blocks on the entire face. Accordingly, it is determined who the user corresponds to the extracted facial feature.

한편, 또 다른 방법으로는, 한국 출원 10-2010-0029526호에 기재된 "얼굴 인식 시스템 및 그 얼굴 인식 방법"에 기재된 내용에 따라 얼굴을 인식하여, 사용자가 누구인지를 판단할 수도 있다.Meanwhile, as another method, a face may be recognized according to the contents described in "Face Recognition System and Face Recognition Method" described in Korean Application No. 10-2010-0029526, and it may be determined who the user is.

또는, 한국 특허 출원 10-2010-0048629호에 기재된 "영상 처리 시스템에서의 객체 후보 영역 검출 방법 및 시스템"에 기재된 내용에 따라 얼굴을 인식하여 사용자가 누구인지를 판단할 수도 있다.Alternatively, a face may be recognized according to the contents described in "Object candidate region detection method and system in an image processing system" described in Korean Patent Application No. 10-2010-0048629 to determine who the user is.

이와 같이, 제어부(120)는 촬영된 사용자를 다양한 방법을 이용하여 판별할 수 있다. 이에 따라, 판단된 사용자에 대응되는 선호 특성 정보를 저장부(130)로부터 독출한 후, 그 선호 특성 정보에 따라 출력을 하도록 디스플레이부(140)를 제어할 수 있다.As such, the controller 120 may determine the photographed user by using various methods. Accordingly, after reading the preference characteristic information corresponding to the determined user from the storage unit 130, the display unit 140 may be controlled to output according to the preference characteristic information.

한편, 제어부(120)는 촬영된 이미지에서 레이저 포인터의 지정 위치 또는 이동 궤적도 판단할 수 있다. The controller 120 may also determine a designated position or a movement trajectory of the laser pointer in the captured image.

도 5는 레이저 포인터를 이용하여 디스플레이 장치(100)를 제어하는 동작을 설명하기 위한 도면이다. 도 5에 따르면, 디스플레이 장치(100)의 일 측에 구비된 촬영부(110)는 레이저 포인터(200)를 포함하는 전방의 이미지들을 촬영한다. 레이저 포인터(200)는 디스플레이 장치(100)를 제어하기 위한 리모콘에 구비된 것일 수도 있고, 별도로 마련된 레이저 포인터일 수도 있다.5 is a diagram for describing an operation of controlling the display apparatus 100 using a laser pointer. According to FIG. 5, the photographing unit 110 provided at one side of the display apparatus 100 captures images of the front including the laser pointer 200. The laser pointer 200 may be provided in a remote controller for controlling the display apparatus 100 or may be a laser pointer provided separately.

제어부(120)는 촬영부(110)에서 촬영된 이미지의 크기와 디스플레이 장치(100)의 화면 이미지의 크기를 비례적으로 비교하여, 화면 상에 레이저 포인터가 지시하는 포인트를 추정할 수 있다.The controller 120 may estimate the point indicated by the laser pointer on the screen by proportionally comparing the size of the image photographed by the photographing unit 110 to the size of the screen image of the display apparatus 100.

도 6은 그 포인트 추정 방법의 일 예를 설명하기 위한 도면이다.6 is a view for explaining an example of the point estimation method.

레이저 포인터에서 적외선 레이저를 발사하면, 촬영부(110)는 그 적외선 레이저가 발사되는 레이저 포인터의 전단부의 위치를 인식할 수 있다. 이를 위해, 촬영부(110)에 포함된 카메라 모듈에서는 적외선 필터가 제거될 수 있다. 이에 따라, 적외선 레이저가 필터링되지 않고 촬영 이미지에 그대로 나타난다.When the infrared laser is emitted from the laser pointer, the photographing unit 110 may recognize the position of the front end portion of the laser pointer from which the infrared laser is emitted. To this end, the infrared filter may be removed from the camera module included in the photographing unit 110. As a result, the infrared laser is not filtered and appears in the captured image.

도 6에서 촬영 이미지(30) 중에서 레이저 포인터의 위치(k)가 좌측 이미지 경계로부터 a 만큼 떨어지고, 우측 이미지 경계로부터 b 만큼 떨어져 있고, 상측 이미지 경계로부터 c, 하측 이미지 경계로부터 d만큼 떨어진 곳에 위치하도록 나타난다. 제어부는 화면 이미지(40)와 촬영 이미지(30) 간의 크기 비율에 맞게 실제 화면 상에서는 좌상단을 기준으로 (a',c') 좌표를 포인터가 지정하고 있다고 추정할 수 있다. In FIG. 6, the position k of the laser pointer in the captured image 30 is located a distance from the left image boundary, a distance from the right image boundary, and b away from the upper image boundary, and d from the lower image boundary. appear. The controller may estimate that the pointer designates (a ', c') coordinates based on the upper left corner in accordance with the size ratio between the screen image 40 and the captured image 30.

즉, 촬영 이미지보다 화면 이미지가 가로 세로 비율이 동일하고, 사이즈면에서 3배 크다고 가정하면, a, c가 각각 2cm, 4cm라면, a', c'는 각각 6cm, 12cm로 나타난다. 따라서, 화면 상에서 좌측 이미지 경계로부터 6cm 떨어지고 상측 이미지 경계로부터 12cm 떨어진 지점을 포인터가 지정하고 있다고 추정할 수 있다.That is, assuming that the screen image has the same aspect ratio than the photographed image and is three times larger in size, if a and c are 2 cm and 4 cm, respectively, a 'and c' appear as 6 cm and 12 cm, respectively. Therefore, it can be estimated that the pointer designates a point 6 cm away from the left image boundary and 12 cm away from the upper image boundary on the screen.

제어부(120)는 추정된 지점에 커서를 표시하여 줄 수 있다. 이에 따라 사용자가 레이저 포인터를 이동시키면, 그 이동 거리 및 방향에 따라 커서를 이동시킬 수 있다. 이 경우, 레이저 포인터의 지정 위치와 커서 표시 위치가 정확하게 매칭되지 않더라도, 사용자는 자신의 레이저 포인터에 대응되는 커서 위치를 육안으로 확인하면서 레이저 포인터를 이동시켜, 커서를 화면상에서 원하는 영역으로 이동시킬 수 있다. 이에 따라, 커서가 화면 상의 특정 메뉴에 위치하게 되면, 리모콘의 선택 버튼을 누르거나 음성 명령어 등을 입력하는 방식으로, 해당 메뉴를 선택할 수 있다.The controller 120 may display a cursor at the estimated point. Accordingly, when the user moves the laser pointer, the cursor can be moved according to the moving distance and direction. In this case, even if the specified position of the laser pointer and the cursor display position do not exactly match, the user can visually check the cursor position corresponding to the laser pointer while moving the laser pointer to move the cursor to a desired area on the screen. have. Accordingly, when the cursor is located in a specific menu on the screen, the menu may be selected by pressing a selection button of a remote controller or inputting a voice command.

또는, 제어부(120)는 레이저 포인터의 이동 궤적을 확인하여 그 궤적에 대응되는 제어 동작을 수행할 수 있다. 이를 위해, 저장부(130)는 레이저 포인터의 모션 별 제어 동작 정보를 저장하여 둘 수 있다. 가령, 동그라미 모션에 대해서는 파워-온 또는 파워-오프 동작을 수행하고, V, U, N, M, W와 같은 다양한 모션에 대해서는 채널 업/다운, 볼륨 업/다운, 외부 입력 변경 등과 같은 다양한 제어 동작을 수행할 수 있다. 레이저 포인터의 이동 궤적은 촬영부(110)에서 촬영되는 연속적인 이미지 프레임들에서의 레이저 포인터의 표시 위치를 비교하여 확인할 수 있다. Alternatively, the controller 120 may check the movement trajectory of the laser pointer and perform a control operation corresponding to the trajectory. To this end, the storage unit 130 may store the control operation information for each laser pointer. For example, perform a power-on or power-off operation on a circle motion, and various controls such as channel up / down, volume up / down, and external input change for various motions such as V, U, N, M, and W. You can perform the operation. The movement trajectory of the laser pointer may be confirmed by comparing the display position of the laser pointer in successive image frames photographed by the photographing unit 110.

이상에서는, 사용자 얼굴 인식과, 레이저 포인터의 인식이 함께 사용되는 실시 예에 대하여 설명하였으나, 다른 실시 예에서는 사용자 얼굴 인식만을 수행할 수도 있고, 레이저 포인터의 인식만을 수행할 수도 있다. 또한, 디스플레이 장치(100)에서 직접 사용자의 얼굴을 인식하지 않고, 촬영 이미지를 외부 리모콘이나 기타 외부 장치로 전송하여 외부 리모콘이나 장치에서 사용자의 얼굴을 인식하도록 구현될 수도 있다. 또한, 사용자의 얼굴 이미지를 외부 리모콘이나 기타 외부 장치로 제공하여, 외부 리모콘이나 장치 등에서 사용자의 얼굴 이미지를 확인 가능하도록 구현될 수도 있다.In the above, the embodiment in which the user face recognition and the laser pointer recognition are used together has been described, but in another embodiment, only the user face recognition may be performed or only the laser pointer recognition may be performed. In addition, the display apparatus 100 may be implemented to recognize the user's face in the external remote controller or device by transmitting the captured image to the external remote controller or other external device without directly recognizing the user's face. In addition, the user's face image may be provided to the external remote controller or other external device so that the user's face image may be confirmed by the external remote controller or the device.

도 7은 이상과 같은 다양한 실시 예들을 설명하기 위한 디스플레이 장치의 구성을 나타내는 블럭도이다. FIG. 7 is a block diagram illustrating a configuration of a display apparatus for describing various exemplary embodiments as described above.

도 7에 따르면, 디스플레이 장치는 촬영부(110), 제어부(120), 저장부(130), 디스플레이부(140), 파싱부(150), 통신부(160)를 포함한다. According to FIG. 7, the display apparatus includes a photographing unit 110, a controller 120, a storage 130, a display 140, a parser 150, and a communicator 160.

파싱부(150)란 촬영부(110)에서 촬영된 이미지를 파싱하여 얼굴 이미지 또는 레이저 포인터 위치를 검출해내는 구성을 의미한다. The parser 150 refers to a configuration for parsing an image photographed by the photographing unit 110 to detect a face image or a laser pointer position.

즉, 본 발명의 다른 실시 예에서는 제어부(120) 대신에 파싱부(150)가 별도로 마련되어 얼굴 이미지나 레이저 포인터 위치를 검출해 낼 수 있다. 그 검출 방식에 대해서는 도 2 내지 도 6에서 설명한 바와 동일하므로, 중복 설명은 생략한다.That is, in another embodiment of the present invention, the parser 150 may be separately provided instead of the controller 120 to detect the face image or the laser pointer position. Since the detection method is the same as that described with reference to FIGS. 2 to 6, the redundant description is omitted.

한편, 통신부(160)는 외부 장치와의 통신을 중계하는 구성이다. 즉, 본 발명의 다른 실시 예에 따르면, 제어부(120)는 촬영부(110)에서 촬영된 이미지 그 자체를 외부 장치로 전송하여 줄 수 있다. 여기서의 외부 장치는 리모콘이나 서버와 같은 기타 장치가 될 수 있으나, 이하에서는 리모콘으로 전송하는 경우에 대하여 설명한다. 통신부(160)는 블루투스나 무선 랜(Wireless LAN) 규격에 따라 리모콘 또는 기타 외부 장치와 통신을 수행할 수 있다. On the other hand, the communication unit 160 is a configuration for relaying communication with the external device. That is, according to another embodiment of the present disclosure, the controller 120 may transmit the image itself photographed by the photographing unit 110 to an external device. Here, the external device may be another device such as a remote controller or a server. Hereinafter, a case of transmitting to the remote controller will be described. The communication unit 160 may communicate with a remote controller or other external device according to a Bluetooth or Wireless LAN standard.

촬영부(110)에서 촬영된 이미지가 리모콘으로 전송되면, 리모콘은 그 이미지로부터 사용자의 얼굴 이미지를 검출할 수 있다. 검출 방식은 상술한 부분에서 구체적으로 설명하였으므로, 중복 설명은 생략한다. When the image photographed by the photographing unit 110 is transmitted to the remote controller, the remote controller may detect a face image of the user from the image. Since the detection method has been described in detail in the above-described part, redundant description will be omitted.

리모콘은 사용자의 얼굴 이미지가 검출되고 그에 따라 사용자의 신원이 확인되면, 리모콘 자체에 구비된 저장부에서 사용자에 대응되는 선호 출력 정보를 확인한다. 이에 따라, 해당 선호 출력 정보에 따라 출력하도록 하는 제어 신호를 생성하고, 그 제어 신호를 디스플레이 장치(100)로 전송한다. 이에 따라, 제어부(120)는 리모콘의 제어 신호에 맞추어 제어 동작을 수행할 수 있다.When the user's face image is detected and the user's identity is confirmed, the remote controller checks the preferred output information corresponding to the user in the storage provided in the remote controller itself. Accordingly, the control signal is generated to be output according to the corresponding preferred output information, and the control signal is transmitted to the display apparatus 100. Accordingly, the controller 120 may perform a control operation according to the control signal of the remote controller.

한편, 본 발명의 또 다른 실시 예에 따르면, 통신부(160)는 파싱부(150) 또는 제어부(120)에서 검출된 얼굴 이미지만을 리모콘으로 전송하여 줄 수도 있다. 이에 따라, 리모콘은 단순히 수신된 얼굴 이미지를 자체 구비된 디스플레이 화면 상에 디스플레이하여, 사용자가 자신이 정확하게 인식되었는지 여부를 확인하도록 구현될 수도 있다.Meanwhile, according to another exemplary embodiment of the present disclosure, the communication unit 160 may transmit only the face image detected by the parser 150 or the controller 120 to the remote controller. Accordingly, the remote controller may be implemented to simply display the received face image on the self-equipped display screen to confirm whether the user is correctly recognized.

도 7에서 파싱부(150), 통신부(160), 제어부(120) 이외의 다른 구성요소의 동작에 대해서는 도 1에 기재된 실시 예에서 설명한 내용과 동일하므로, 중복 설명은 생략한다.In FIG. 7, operations of components other than the parser 150, the communicator 160, and the controller 120 are the same as those described in the exemplary embodiment of FIG. 1, and thus descriptions thereof will not be repeated.

또한, 도시의 편의상 도 7에서는 파싱부(150), 통신부(160)를 모두 포함하는 디스플레이 장치(100)를 도시하였으나, 실시 예에 따라서는 파싱부(150) 및 통신부(160) 중 하나만이 포함될 수도 있음은 물론이다. In addition, although FIG. 7 illustrates the display apparatus 100 including both the parser 150 and the communicator 160 in FIG. 7, only one of the parser 150 and the communicator 160 may be included. Of course you can.

도 8은 본 발명의 일 실시 예에 따른 리모콘의 구성을 나타내는 도면이다. 8 is a view showing the configuration of a remote control according to an embodiment of the present invention.

도 8에 따르면, 리모콘은 입력부(210), 제1 발산부(220), 제2 발산부(230), 제어 버튼(240), 디스플레이부(250)를 포함한다.According to FIG. 8, the remote controller includes an input unit 210, a first diverging unit 220, a second diverging unit 230, a control button 240, and a display unit 250.

입력부(210)란 리모콘에 통상적으로 구비되는 각종 버튼에 해당한다. 입력부(210)는 디스플레이 장치를 제어하기 위한 다양한 선택 신호를 입력받을 수 있다.The input unit 210 corresponds to various buttons normally provided on the remote controller. The input unit 210 may receive various selection signals for controlling the display device.

제1 발산부(220)는 일 방향으로 컬러 레이저를 발산한다. 발산 방향은 리모콘의 전단부 방향이 될 수 있다. 컬러 레이저는 사용자가 자신이 지정하는 위치를 보여주는 가시성을 부여하기 위하여 발산된다.The first diverging unit 220 emits a color laser in one direction. The diverging direction may be the front end of the remote controller. The color laser is emitted to give visibility to the location that the user specifies.

제2 발산부(230)는 제1 발산부에서 발산되는 컬러 레이저와 평행하게 적외선 레이저를 발산한다. 제2 발산부(230)에서 발산된 적외선 레이저는 디스플레이 장치(100)의 촬영부(110)에 의해 촬영된다. 이에 따라, 사용자가 어떠한 위치를 지정하였는지, 리모콘을 어떠한 형태로 이동시키는 모션을 취하였는지를 파악할 수 있게 된다. The second diverging unit 230 emits an infrared laser in parallel with the color laser emitted from the first diverging unit. The infrared laser emitted from the second diverging unit 230 is photographed by the photographing unit 110 of the display apparatus 100. Accordingly, it is possible to determine what position the user has designated and how the user has taken the motion of moving the remote controller.

한편, 제1 발산부(220) 및 제2 발산부(230)는 사용자의 선택에 따라 사용하지 않을 수도 있다. 즉, 리모콘을 통상의 리모콘 기능만 사용할 경우에는 굳이 제1 발산부(220), 제2 발산부(230)를 활성화시킬 필요가 없다.Meanwhile, the first diverging unit 220 and the second diverging unit 230 may not be used according to a user's selection. That is, when the remote controller uses only a normal remote controller function, it is not necessary to activate the first diverging unit 220 and the second diverging unit 230.

이에 따라, 제1 및 제2 발산부(220, 230)를 각각 제어하기 위한 제어 버튼(240)이 별도로 마련될 수 있다. Accordingly, a control button 240 for controlling the first and second diverging units 220 and 230 may be separately provided.

제어 버튼(240)은, 푸쉬 상태에서만 제1 발산부(220)를 턴-온시켜 컬러 레이저를 발산하도록 하는 제1 버튼(241), 한번 푸쉬 되면 제1 발산부(220)를 턴-온시킨 후 턴-온 상태를 홀드시키고 다시 한번 푸쉬되면 제1 발산부(220)를 턴-오프시키는 제2 버튼(242), 푸쉬 상태에서만 제2 발산부(230)를 턴-온시켜 컬러 레이저를 발산하도록 하는 제3 버튼(243), 한번 푸쉬 되면 제2 발산부(230)를 턴-온시킨 후 턴-온 상태를 홀드시키고 다시 한번 푸쉬되면 제2 발산부(230)를 턴-오프시키는 제4 버튼(244)을 포함할 수 있다. The control button 240, the first button 241 to turn on the first diverging unit 220 to emit the color laser only in the push state, and once pushed on to turn on the first diverging unit 220 After holding the turn-on state and pushing once again, the second button 242 turns off the first diverging unit 220, and turns on the second diverging unit 230 only in the push state to emit the color laser. The third button 243, which is pushed once, turns on the second diverging unit 230 and then holds the turn-on state, and if pushed again, the fourth button 243 turns off the second diverging unit 230. Button 244 may be included.

디스플레이부(250)는 디스플레이 장치로부터 전송되는 이미지를 디스플레이하는 부분이다. 즉, 상술한 실시 예들 중 디스플레이 장치에서 얼굴 이미지를 전송하는 경우, 디스플레이부(250)에서 수신된 얼굴 이미지를 디스플레이하여 줄 수 있다.The display unit 250 is a portion for displaying an image transmitted from the display device. That is, in the case of transmitting the face image from the display device, the face image received by the display unit 250 may be displayed.

본 리모콘(200)의 경우, 기존 리모콘에 비해 스마트 TV나 IP TV 등과 같은 고사양 디스플레이 장치의 제어 편의성을 크게 증대시킬 수 있는 지능형 리모콘이 될 수 있다. 특히, 두 종류의 파장이 다른 레이저 다이오드를 사용하여 화면을 직접 지정하고 디스플레이 장치(100)의 동작을 제어할 수 있으므로, 인터페이스 만족도가 크게 향상될 수 있다. 따라서, 게임 콘솔로 사용되기에 적합하고, 마우스를 대신하여 컴퓨터 인터페이스를 하는 수단으로 확장될 수도 있다.The remote controller 200 may be an intelligent remote controller that can greatly increase the control convenience of a high specification display device such as a smart TV or an IP TV, compared to the existing remote controller. In particular, since two types of laser diodes having different wavelengths may be used to directly designate a screen and control the operation of the display apparatus 100, the interface satisfaction may be greatly improved. Thus, it is suitable for use as a game console and may be extended to means for computer interface in place of a mouse.

도 9는 본 발명의 일 실시 예에 따른 디스플레이 장치의 디스플레이 제어 방법을 설명하기 위한 흐름도이다. 9 is a flowchart illustrating a display control method of a display apparatus according to an exemplary embodiment.

도 9에 따르면, 촬영이 이루어지면(S910), 촬영된 이미지 내에 사용자가 포함되어 있는지 확인한다. 이에 따라 포함되어 있다면(S920), 해당 사용자를 인식하여 그 사용자에 매칭되는 선호 특성 정보를 확인한다. 그리고 나서, 확인된 선호 특성 정보에 따라 영상 신호를 출력한다(S940). According to FIG. 9, when photographing is performed (S910), it is checked whether the user is included in the photographed image. Accordingly, if it is included (S920), the corresponding user is recognized and the preference characteristic information matching the user is checked. Then, the video signal is output according to the checked preference characteristic information (S940).

또한, 촬영된 이미지 내에 레이저 포인터가 포함되어 있는지도 확인한다(S940). 확인 결과, 레이저 포인터가 포함되어 있다면 레이저 포인터의 위치 또는 이동 궤적에 따라, 적절한 제어 동작을 수행한다(S950). Also, it is checked whether the laser pointer is included in the captured image (S940). As a result of the check, if the laser pointer is included, an appropriate control operation is performed according to the position or movement trajectory of the laser pointer (S950).

사용자의 인식 방법이나 레이저 포인터의 인식 방법에 대해서는 상술한 바 있으므로, 중복 설명은 생략한다.Since the recognition method of the user and the recognition method of the laser pointer have been described above, the redundant description is omitted.

한편, 도 9에서는 사용자인식 및 레이저 포인터 인식 단계를 모두 포함하는 실시 예에 대하여 설명하고 있으나, 상술한 바와 같이 본 발명의 다른 실시 예에서는 사용자 인식만이 이루어지거나 레이저 포인터 인식만이 이루어질 수도 있음은 물론이다. Meanwhile, although FIG. 9 illustrates an embodiment including both a user recognition and a laser pointer recognition step, as described above, in another embodiment of the present invention, only user recognition or laser pointer recognition may be performed. Of course.

상술한 본 발명의 다양한 실시 예들에 따른 디스플레이 제어 방법은, 다양한 유형의 기록 매체에 저장되어, 디스플레이 장치에 구비된 프로세서에 의해 실행될 수 있는 프로그램 코드에 의해 구현될 수도 있다.The display control method according to various embodiments of the present disclosure described above may be implemented by program codes stored in various types of recording media and executed by a processor included in the display apparatus.

구체적으로는, 상술한 디스플레이 제어 방법을 수행하기 위한 코드는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다. Specifically, the code for performing the above-described display control method may include random access memory (RAM), flash memory, read only memory (ROM), erasable programmable ROM (EPROM), electronically erasable and programmable ROM (EPROM), and registers. , A hard disk, a removable disk, a memory card, a USB memory, a CD-ROM, and the like, may be stored in various types of recording media readable by the terminal.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention.

110 : 촬영부 120 : 제어부
130 : 저장부 140 : 디스플레이부
150 : 파싱부 160 : 통신부
110: recording unit 120: control unit
130: storage unit 140: display unit
150: parsing unit 160: communication unit

Claims (13)

디스플레이 장치에 있어서,
화면 상에 영상 신호를 출력하는 디스플레이부;
상기 디스플레이 장치의 전방을 촬영하는 촬영부;
상기 촬영부에서 촬영된 이미지를 리모콘으로 전송하는 통신부; 및
상기 리모콘으로부터 상기 촬영된 이미지에 대응하는 사용자의 선호 특성 정보에 따른 제어 신호를 수신하여, 상기 제어 신호에 따라 상기 영상 신호를 출력하도록 상기 디스플레이부를 제어하는 제어부;를 포함하는 디스플레이 장치.
In the display device,
A display unit which outputs an image signal on a screen;
A photographing unit which photographs the front of the display device;
A communication unit which transmits the image photographed by the photographing unit to a remote controller; And
And a controller configured to receive a control signal according to preference characteristic information of the user corresponding to the captured image from the remote controller and to control the display unit to output the image signal according to the control signal.
제1항에 있어서,
상기 촬영부에서 촬영된 이미지를 파싱하여 사용자 이미지를 검출하는 파싱부;를 더 포함하며,
상기 통신부는, 상기 파싱부에 의해 검출된 사용자 이미지를 리모콘으로 전송하는 것을 특징으로 하는 디스플레이 장치.
The method of claim 1,
And a parser configured to detect a user image by parsing the image photographed by the photographing unit.
The communication unit transmits a user image detected by the parser to a remote controller.
제1항에 있어서,
상기 제어부는,
상기 촬영부에서 촬영된 이미지에 상기 화면을 향하는 레이저 포인터가 포함된 경우, 상기 레이저 포인터의 지정 위치 또는 이동 궤적에 따라 제어 동작을 수행하는 것을 특징으로 하는 디스플레이 장치.
The method of claim 1,
The control unit,
And a laser pointer directed to the screen in the image photographed by the photographing unit, and performs a control operation according to a specified position or a movement trajectory of the laser pointer.
제3항에 있어서,
상기 제어부는,
상기 촬영부에서 촬영된 이미지 상에서, 상기 레이저 포인터에서 발사된 적외선 레이저가 표시된 위치를 검출하고, 상기 이미지의 크기 및 상기 화면의 크기 간의 비율에 따라 상기 화면 상에서 상기 레이저 포인터가 지정한 지점을 추정하는 것을 특징으로 하는 디스플레이 장치.
The method of claim 3,
The control unit,
Detecting the position at which the infrared laser emitted from the laser pointer is displayed on the image photographed by the photographing unit, and estimating a point designated by the laser pointer on the screen according to a ratio between the size of the image and the size of the screen; Display device characterized in that.
제4항에 있어서,
상기 제어부는,
상기 추정된 지점에 커서를 표시하고, 상기 레이저 포인터의 이동 궤적에 따라 상기 커서를 이동시키도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
5. The method of claim 4,
The control unit,
And displaying the cursor on the estimated point and controlling the display unit to move the cursor according to the movement trajectory of the laser pointer.
제4항에 있어서,
모션 정보를 저장하는 저장부;를 더 포함하며,
상기 제어부는,
상기 촬영부에서 촬영된 이미지 상에서 상기 레이저 포인터에서 발사된 적외선 레이저가 표시된 위치가 이동되면, 그 이동 궤적이 상기 저장부에 저장된 모션 정보에 매칭되는지 판단하고, 매칭되면 매칭되는 모션 정보에 대응되는 제어 동작을 수행하는 것을 특징으로 하는 디스플레이 장치.
5. The method of claim 4,
Further comprising: a storage unit for storing the motion information,
The control unit,
When the position where the infrared laser emitted from the laser pointer is displayed is moved on the image photographed by the photographing unit, it is determined whether the movement trajectory matches the motion information stored in the storage unit, and when the match is matched, the control corresponding to the matched motion information Display device, characterized in that performing the operation.
제1 내지 6항 중 어느 한 항에 있어서,
상기 선호 특성 정보는 사용자의 시청 빈도가 높은 선호 채널 정보이며,
상기 제어부는, 상기 선호 채널 정보에 대응되는 선호 채널을 바로 선국하여 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
The method according to any one of claims 1 to 6,
The preference characteristic information is preference channel information with a high frequency of viewing by the user.
And the control unit controls the display unit to directly select and display a preferred channel corresponding to the preferred channel information.
제1 내지 6항 중 어느 한 항에 있어서,
상기 선호 특성 정보는,
사용자의 시청 빈도가 높은 선호 채널 정보, 사용자가 마지막으로 시청하던 채널 정보, 사용자가 기 설정한 볼륨 상태, 색상, 밝기, 콘트라스트, 화면 크기, 언어, 해상도, 선명도, 주파수 정보 중 적어도 하나인 것을 특징으로 하는 디스플레이 장치.
The method according to any one of claims 1 to 6,
The preference characteristic information is
At least one of a favorite channel information frequently watched by the user, the channel information last watched by the user, the volume state set by the user, color, brightness, contrast, screen size, language, resolution, sharpness, frequency information Display device.
디스플레이 장치에 있어서,
화면 상에 영상 신호를 출력하는 디스플레이부;
상기 디스플레이부의 전방을 촬영하는 촬영부;
상기 촬영부에서 촬영된 이미지를 파싱하여 사용자 이미지를 검출하는 파싱부;
상기 파싱부에 의해 검출된 사용자 이미지를 리모콘으로 전송하는 통신부; 및
상기 리모콘으로부터 상기 사용자 이미지에 대응하는 사용자의 선호 특성 정보에 따른 제어 신호를 수신하여, 상기 제어 신호에 따라 상기 영상 신호를 출력하도록 상기 디스플레이부를 제어하는 제어부;를 포함하며,
상기 선호 특성 정보는,
사용자의 시청 빈도가 높은 선호 채널 정보, 사용자가 마지막으로 시청하던 채널 정보, 사용자가 기 설정한 볼륨 상태, 색상, 밝기, 콘트라스트, 화면 크기, 언어, 해상도, 선명도, 주파수 정보 중 적어도 하나인 것을 특징으로 하는 디스플레이 장치.
In the display device,
A display unit which outputs an image signal on a screen;
A photographing unit which photographs the front of the display unit;
A parsing unit for parsing an image photographed by the photographing unit to detect a user image;
A communication unit for transmitting a user image detected by the parser to a remote controller; And
And a control unit configured to receive a control signal according to preference characteristic information of the user corresponding to the user image from the remote controller and to control the display unit to output the image signal according to the control signal.
The preference characteristic information is
At least one of a favorite channel information frequently watched by the user, the channel information last watched by the user, the volume state set by the user, color, brightness, contrast, screen size, language, resolution, sharpness, frequency information Display device.
디스플레이 장치에 있어서,
화면 상에 영상 신호를 출력하는 디스플레이부;
상기 디스플레이부의 전방을 촬영하는 촬영부;
레이저 포인터의 모션 정보를 저장하는 저장부;
상기 촬영부에서 촬영된 이미지를 파싱하여 상기 화면을 향하는 레이저 포인터를 인식하는 파싱부;
상기 레이저 포인터가 인식되면, 상기 레이저 포인터의 지정 위치 또는 이동 궤적에 대응되는 모션 정보를 확인하고, 확인된 모션 정보에 대응되는 제어 동작을 수행하는 제어부;를 포함하며,
상기 제어부는,
상기 화면의 크기 및 상기 촬영부에서 촬영된 이미지의 크기 간의 비율을 고려하여 상기 화면 상에서 상기 레이저 포인터가 지정하는 지점을 추정하고, 추정된 지점에 커서를 표시하며 상기 레이저 포인터의 이동 궤적에 따라 상기 커서를 이동시키도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
In the display device,
A display unit which outputs an image signal on a screen;
A photographing unit which photographs the front of the display unit;
A storage unit which stores motion information of the laser pointer;
A parsing unit which parses an image photographed by the photographing unit and recognizes a laser pointer directed to the screen;
And a controller configured to, when the laser pointer is recognized, identify motion information corresponding to a specified position or movement trajectory of the laser pointer, and perform a control operation corresponding to the identified motion information.
The control unit,
In consideration of the ratio between the size of the screen and the size of the image taken by the photographing unit, the point designated by the laser pointer on the screen is estimated, the cursor is displayed on the estimated point, and the movement point of the laser pointer is And controlling the display unit to move a cursor.
삭제delete 촬영부를 구비한 디스플레이 장치를 제어하기 위한 리모콘에 있어서,
상기 디스플레이 장치를 제어하기 위한 선택 신호를 입력받는 입력부;
사용자가 지정하는 위치에 가시성을 부여하기 위한 일 방향으로 컬러 레이저를 발산하는 제1 발산부;
사용자가 지정하는 위치 또는 사용자의 모션을 상기 디스플레이 장치의 촬영부가 판단할 수 있도록, 상기 컬러 레이저와 평행하게 적외선 레이저를 발산하는 제2 발산부;
상기 제1 발산부 및 상기 제2 발산부를 각각 턴-온/턴-오프/홀드시키기 위한 제어버튼;
상기 디스플레이 장치로부터 전송되는 이미지를 디스플레이하는 디스플레이부;를 포함하는 리모콘.
In the remote control for controlling a display device having a photographing unit,
An input unit to receive a selection signal for controlling the display device;
A first diverging unit which emits a color laser in one direction for giving visibility to a position designated by a user;
A second diverging unit which emits an infrared laser in parallel with the color laser, so that the photographing unit of the display device can determine a position designated by a user or a motion of the user;
A control button for turning on / turning off / holding the first diverging part and the second diverging part;
And a display unit which displays an image transmitted from the display device.
디스플레이 장치의 디스플레이 제어 방법에 있어서,
상기 디스플레이 장치의 전방을 촬영하는 단계;
상기 촬영에 따라 촬영된 이미지를 리모콘으로 전송하는 단계;
상기 리모콘으로부터 상기 촬영된 이미지에 대응하는 사용자의 선호 특성 정보에 따른 제어 신호를 수신하는 단계; 및
상기 제어 신호에 따라 영상 신호를 출력하는 단계;를 포함하는 디스플레이 장치의 디스플레이 제어 방법.
In the display control method of the display device,
Photographing the front of the display device;
Transmitting an image photographed according to the photographing to a remote controller;
Receiving a control signal according to preference characteristic information of a user corresponding to the photographed image from the remote controller; And
And outputting an image signal according to the control signal.
KR1020110033484A 2011-04-11 2011-04-11 Display apparatus having camera, remote controller for controlling the display apparatus, and display control method thereof KR101314685B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110033484A KR101314685B1 (en) 2011-04-11 2011-04-11 Display apparatus having camera, remote controller for controlling the display apparatus, and display control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110033484A KR101314685B1 (en) 2011-04-11 2011-04-11 Display apparatus having camera, remote controller for controlling the display apparatus, and display control method thereof

Publications (2)

Publication Number Publication Date
KR20120115898A KR20120115898A (en) 2012-10-19
KR101314685B1 true KR101314685B1 (en) 2013-10-07

Family

ID=47284430

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110033484A KR101314685B1 (en) 2011-04-11 2011-04-11 Display apparatus having camera, remote controller for controlling the display apparatus, and display control method thereof

Country Status (1)

Country Link
KR (1) KR101314685B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101381366B1 (en) * 2012-11-09 2014-04-04 주식회사 매크론 Apparatus for gesture recognition remote controller and operating method for the same
KR101980546B1 (en) * 2013-01-04 2019-08-28 엘지전자 주식회사 Operating Method for Image Display apparatus
CN112462938A (en) * 2020-11-24 2021-03-09 深圳市易平方网络科技有限公司 Interactive control method and device based on remote controller body state change

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005340981A (en) * 2004-05-25 2005-12-08 Hitachi Ltd Cursor control system
KR100877506B1 (en) * 2007-08-31 2009-01-07 한국산업기술대학교산학협력단 A remote laser controller and remote control device thereof
KR20100056837A (en) * 2008-11-20 2010-05-28 주식회사 대우일렉트로닉스 Apparatus and method for servicing a air program using a face recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005340981A (en) * 2004-05-25 2005-12-08 Hitachi Ltd Cursor control system
KR100877506B1 (en) * 2007-08-31 2009-01-07 한국산업기술대학교산학협력단 A remote laser controller and remote control device thereof
KR20100056837A (en) * 2008-11-20 2010-05-28 주식회사 대우일렉트로닉스 Apparatus and method for servicing a air program using a face recognition

Also Published As

Publication number Publication date
KR20120115898A (en) 2012-10-19

Similar Documents

Publication Publication Date Title
US9959681B2 (en) Augmented reality contents generation and play system and method using the same
KR101731346B1 (en) Method for providing display image in multimedia device and thereof
EP2453384B1 (en) Method and apparatus for performing gesture recognition using object in multimedia device
EP2453388A1 (en) Method for user gesture recognition in multimedia device and multimedia device thereof
CN103916592A (en) Apparatus and method for photographing portrait in portable terminal having camera
US9961394B2 (en) Display apparatus, controlling method thereof, and display system
US20140324623A1 (en) Display apparatus for providing recommendation information and method thereof
KR101758271B1 (en) Method for recognizing user gesture in multimedia device and multimedia device thereof
US20150373283A1 (en) Photographing system, photographing method, and computer-readable storage medium for computer program
KR101647969B1 (en) Apparatus for detecting user gaze point, and method thereof
US20200068122A1 (en) Display device, system, and recording medium
KR101314685B1 (en) Display apparatus having camera, remote controller for controlling the display apparatus, and display control method thereof
KR20130076977A (en) Broadcasting receiver and controlling method thereof
KR102208893B1 (en) Display apparatus and channel map manage method thereof
KR20120050617A (en) Multimedia device, multiple image sensors having different types and the method for controlling the same
CN110620955B (en) Live broadcasting system and live broadcasting method thereof
US9552059B2 (en) Information processing method and electronic device
US9563252B2 (en) Display apparatus and display method thereof
KR20120051213A (en) Method for image photographing of multimedia device and multimedia device thereof
CN108924614B (en) Control method, control system and electronic equipment
US20130127841A1 (en) Three-dimensional (3d) image display method and apparatus for 3d imaging and displaying contents according to start or end of operation
KR20170057056A (en) Remote Control Apparatus, Driving Method of Remote Control Apparatus, Image Display Apparatus, Driving Method of Image Display Apparatus, and Computer Readable Recording Medium
EP3568993B1 (en) Display device for recognizing user interface and controlling method thereof
KR102246754B1 (en) Method, apparatus and computer-readable recording medium for synthesis with selectable images through identification code
CN115842957A (en) Display apparatus, control method of display apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160818

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170817

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180822

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190827

Year of fee payment: 7