KR101274619B1 - Interactive remocon and remocon control method of using mirroring - Google Patents

Interactive remocon and remocon control method of using mirroring Download PDF

Info

Publication number
KR101274619B1
KR101274619B1 KR1020130036360A KR20130036360A KR101274619B1 KR 101274619 B1 KR101274619 B1 KR 101274619B1 KR 1020130036360 A KR1020130036360 A KR 1020130036360A KR 20130036360 A KR20130036360 A KR 20130036360A KR 101274619 B1 KR101274619 B1 KR 101274619B1
Authority
KR
South Korea
Prior art keywords
mirroring
remote control
control signal
unit
smart device
Prior art date
Application number
KR1020130036360A
Other languages
Korean (ko)
Inventor
곽병진
Original Assignee
리모트솔루션주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 리모트솔루션주식회사 filed Critical 리모트솔루션주식회사
Priority to KR1020130036360A priority Critical patent/KR101274619B1/en
Application granted granted Critical
Publication of KR101274619B1 publication Critical patent/KR101274619B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

PURPOSE: A dialog type remote controller using mirroring and a control method thereof are provided to control a smart device by touch or voice by effectively implementing mirroring by using a frame buffer in the smart device implemented by using an Android platform. CONSTITUTION: A mirroring transmission and reception unit(200) compresses video data extracted from a frame buffer of a smart device and converts the scale of the data. The mirroring transmission and reception unit transmits a mirror image to a remote controller. The mirroring transmission and reception unit transmits the control signal of the remote controller to a corresponding application of the smart device. The remote controller displays the mirror image received from the mirroring transmission and reception unit. A remote controller terminal transmits a control signal for a user interface of the corresponding application to the mirroring transmission and reception unit by receiving control by a user. [Reference numerals] (100) Smart TV; (112) System application(based on android); (118) Synthesis; (120) Frame buffer; (122) LCD buffer; (124) Display(LCD); (126) Tuner; (128) Broadcasting screen; (200) Mirroring transmission and reception unit; (210) Reception unit; (212) Parsing unit; (220) Remote controller buffer; (222) Compressor; (224) Scale conversion unit; (226) Transmission unit; (AA) From the remote controller; (BB) To the remote controller

Description

미러링을 이용한 대화형 리모컨 및 그 제어방법{INTERACTIVE REMOCON AND REMOCON CONTROL METHOD OF USING MIRRORING}Interactive remote control using mirroring and its control method {INTERACTIVE REMOCON AND REMOCON CONTROL METHOD OF USING MIRRORING}

본 발명은 스마트 기기를 원격 제어하기 위한 리모컨에 관한 것으로, 더욱 상세하게는 스마트 기기의 화면을 미러링(Mirroring)하여 대화형으로 사용자 인터페이스를 제공할 수 있는 미러링(Mirroring)을 이용한 대화형 리모컨 및 그 제어방법에 관한 것이다.
The present invention relates to a remote control for remote control of a smart device, and more particularly, an interactive remote control using mirroring (Mirroring) which can provide a user interface interactively by mirroring the screen of the smart device and its It relates to a control method.

가정이나 사무실에서 텔레비전, DVD 플레이어, 에어컨, 전등스위치와 같은 각종의 전기전자 기기를 원격제어장치(리모컨)로 제어하는 기술이 종래로부터 널리 사용되어 왔다. 이러한 원격제어장치에는 미리 설정된 기능에 따른 각종 버튼이 배치되어 있으며, 이들 버튼의 종류와 개수는 그 원격제어장치가 제어하려는 장치에 따라 정해진다. Background Art A technique for controlling various electric and electronic devices such as a television, a DVD player, an air conditioner, a light switch, and the like by a remote control device (remote control) has been widely used in the home or office. The remote control apparatus is arranged with various buttons according to a preset function, and the type and number of these buttons are determined according to the device to be controlled by the remote control apparatus.

최근에 TV가 인터넷을 비롯한 다양한 기능을 탑재한 스마트 TV로 진화하고 있고, 이러한 스마트 TV에는 인터넷 브라우저, 유튜브, 구글 지도, 날씨/뉴스 등의 위젯(widget), 동영상 재생 등을 비롯하여 각종의 기능이 추가된다. 다양한 기능이 스마트 TV가 출현하면서 리모컨으로 대변되는 TV 입력장치가 TV 성능을 차별화하는 한 요소로 주목을 받고 있고, 그로 인해 TV 업체들은 TV 사용자 특성을 고려해 최소한 입력으로 최대 효율을 낼 수 있는 입력장치 개발에 주력하고 있다.Recently, the TV is evolving into a smart TV with various functions including the Internet, and these smart TVs have various functions such as internet browser, YouTube, Google Maps, widgets such as weather / news, and video playback. Is added. With the emergence of smart TVs, various TV input devices, which are represented by remote controls, have attracted attention as one of the factors that differentiate TV performance. As a result, TV makers can achieve maximum efficiency with minimum input considering TV user characteristics. We are focusing on development.

한국공개특허 제2003-0077513호는 스마트 리모컨 및 이를 이용한 홈 네트워킹 시스템 및 방법에 관한 것으로서, 소정의 디바이스와 적외선 통신을 수행하는 적외선 통신부, 제어 정보가 내장된 RFID 태그가 각각 부착된 복수의 디바이스로부터 상기 RFID 태그에 내장된 상기 제어 정보를 읽어 들이는 RFID 리더/라이터, 상기 RFID 리더/라이터로부터 읽어 들인 상기 제어 정보를 저장하는 메모리부, 상기 제어 정보에 기초하여 상기 복수의 디바이스들의 동작을 제어할 수 있는 사용자 그래픽 인터페이스를 표시하는 디스플레이부, 및 스마트 리모컨의 전체 동작을 제어하는 제어부를 포함하여 구성된다. Korean Patent Laid-Open Publication No. 2003-0077513 relates to a smart remote controller and a home networking system and method using the same, comprising: an infrared communication unit performing infrared communication with a predetermined device, and a plurality of devices each having an RFID tag embedded therein with control information An RFID reader / writer for reading the control information embedded in the RFID tag, a memory unit storing the control information read from the RFID reader / writer, and controlling operations of the plurality of devices based on the control information. And a control unit for controlling the overall operation of the smart remote controller.

한국공개특허 제2009-0125910호는 양방향 텔레비전 시스템 및 그를 위한 리모컨에 관한 것으로서, 전원을 공급하는 전원공급부, TV 세트를 제어하기 위한 제어신호를 입력받는 키입력부, 상기 입력된 제어신호를 상기 TV 세트로 전달하는 원격제어부, 사용자의 고유정보를 입력받는 인증부, 상기 사용자에 따른 결제 수단 정보를 입력받는 결제부, 상기 사용자 고유정보 및 상기 결제 수단 정보를 상기 TV 세트로 전송하기 위해 데이터 패킷으로 변환하는 인터페이스부 및 상기 변환된 데이터 패킷을 TV 세트로 전송하는 무선통신부를 포함하여 구성된다.Korean Patent Laid-Open Publication No. 2009-0125910 relates to a two-way television system and a remote control for the same, a power supply unit for supplying power, a key input unit for receiving a control signal for controlling a TV set, the input control signal to the TV set A remote control unit for transmitting to the remote control unit, an authentication unit for receiving the unique information of the user, a payment unit for receiving the payment means information according to the user, and converting the user unique information and the payment means information into a data packet for transmission to the TV set. And a wireless communication unit for transmitting the converted data packet to a TV set.

이와 같이, 기존의 디지털 양방향 TV에서 게임과 같은 양방향 콘텐츠를 이용하기 위해서는 리모컨을 이용하고 있지만, 리모컨은 양방향 콘텐츠의 제어를 위해 각종 버튼을 누르는 방식을 이용함으로써, 요즈음 널리 보급된 스마트폰 등의 터치 방식, 화면 위를 손가락으로 가볍게 쓸 듯이 사용하는 슬라이딩 방식 등에 익숙한 사용자들에게는 매우 낡은 방식이라는 느낌을 주어 왔다. 특히 최신의 게임 등을 즐기는 사용자들에게는 일반 TV 리모컨으로는 게임에 필요한 다양한 제어방식을 사용할 수 없어 양방향 TV를 통한 게임이 매우 시대에 뒤떨어진 느낌을 주어, 게임 이용에서도 흥미를 잃게 하는 요소가 되고 있다.As described above, although a remote controller is used to use interactive contents such as a game in a conventional digital interactive TV, the remote controller uses a method of pushing various buttons to control interactive contents, such as a smart phone widely used these days. Users who are used to the method, the sliding method to use lightly with a finger on the screen, etc. have been given a very old way. In particular, users who enjoy the latest games, etc. can not use a variety of control methods for the game with a regular TV remote control, the game through the interactive TV gives a very out of date, it becomes a factor that loses interest in game use. have.

예를 들어, IPTV에 있어서, 기존 리모컨 신호의 경우 IPTV를 수신하는 수신기(셋톱박스, STB)에 의해 처리되는데, 그 특성상 응용 콘텐츠가 리모컨 신호를 수신하기 위해서는 시스템의 계층적인 모듈의 처리절차에 의해 처리된 후 최종적으로 응용 콘텐츠에 전달되게 된다. 즉, 리모컨 신호는 STB 하드웨어의 IR Receiver가 수신하고, STB의 운영체제(RTOS)는 디바이스 드라이버를 통해 그 신호를 수신한다. 이에 따라 양방향 콘텐츠는 리모컨 신호를 미들웨어(M/W)를 통해 수신하여 사용자의 요청을 처리할 수 있게 된다. For example, in the IPTV, the existing remote control signal is processed by a receiver (set-top box, STB) that receives the IPTV. In order to receive the remote control signal, the application content is processed by a hierarchical module of the system. After processing, it is finally delivered to the application content. That is, the remote control signal is received by the IR receiver of the STB hardware, and the operating system (RTOS) of the STB receives the signal through the device driver. Accordingly, the bidirectional content can receive a remote control signal through the middleware (M / W) to process the user's request.

이러한 계층적 처리구조는 리모컨 제어에 의한 응답 시간을 길게 함으로써, 사용자로 하여금 빠른 응답시간이 요구되는 양방향 콘텐츠 사용에 있어서 불편을 느끼게 하는 요소가 되고 있다.
Such a hierarchical processing structure has a long response time by controlling the remote control, which makes the user feel inconvenient in using the interactive content requiring a fast response time.

KRKR 2003-00775132003-0077513 AA KRKR 2009-1259102009-125910 AA

본 발명은 상기와 같은 문제점을 해소하기 위해 제안된 것으로, 본 발명의 목적은 안드로이드 플랫폼을 이용하여 구현된 스마트 기기에서 프레임 버퍼를 이용하여 미러링을 용이하게 구현하여 스마트 기기를 터치나 음성으로 제어할 있는 미러링(Mirroring)을 이용한 대화형 리모컨 및 그 제어방법을 제공하는 것이다.
The present invention has been proposed to solve the above problems, an object of the present invention is to implement a mirroring using a frame buffer in a smart device implemented using the Android platform to control the smart device by touch or voice The present invention provides an interactive remote controller using a mirroring method and a control method thereof.

상기와 같은 목적을 달성하기 위하여 본 발명의 장치는 앱이 제공하는 영상을 디스플레이하기 위한 프레임 버퍼를 구비하는 스마트 기기; 상기 스마트 기기의 프레임 버퍼로부터 비디오 데이터를 가져와 압축 및 스케일링 변환하여 미러 영상을 리모컨 단말로 전송하고, 리모컨 단말의 제어신호를 수신받아 상기 스마트 기기의 해당 앱으로 전달하는 미러링 송수신부; 및 상기 미러링 송수신부로부터 수신된 미러 영상을 디스플레이하고, 사용자의 조작을 입력받아 해당 앱의 사용자 인터페이스를 위한 제어신호를 상기 미러링 송수신부로 전송하는 리모컨 단말을 포함하는 것을 특징으로 한다.In order to achieve the above object, the device of the present invention comprises a smart device having a frame buffer for displaying an image provided by the app; A mirroring transmitting / receiving unit which takes video data from the frame buffer of the smart device, compresses and scales it, transmits a mirror image to the remote control terminal, receives a control signal of the remote control terminal, and transmits the mirror signal to a corresponding app of the smart device; And a remote control terminal for displaying a mirror image received from the mirroring transceiver, and receiving a user's manipulation to transmit a control signal for a user interface of the app to the mirroring transceiver.

상기 미러링 송수신부는 상기 스마트 기기의 프레임 버퍼로부터 가져온 데이터를 저장하기 위한 리모컨 버퍼와, 상기 리모컨 버퍼의 비디오 데이터를 압축하는 압축부와, 압축된 비디오 데이터를 리모컨의 디스플레이 화면에 맞게 스케일링하는 스케일링 변환부와, 스케일링 변환된 미러 영상 데이터를 리모컨 단말측으로 무선 송신하는 송신부와, 상기 리모컨 단말의 원격 제어신호를 수신하는 수신부와, 수신된 원격제어신호를 파싱하여 상기 스마트 기기의 해당 응용으로 전송하는 파싱부로 구성된다.The mirroring transceiver may include a remote controller buffer for storing data obtained from the frame buffer of the smart device, a compressor for compressing video data of the remote controller buffer, and a scaling converter for scaling the compressed video data to a display screen of the remote controller. And a transmitter for wirelessly transmitting the scaled converted mirror image data to the remote controller terminal, a receiver for receiving a remote control signal of the remote controller terminal, and a parser for parsing the received remote control signal and transmitting the received remote control signal to a corresponding application of the smart device. It is composed.

상기 리모컨 단말은 상기 미러링 송수신부의 송신 데이터를 수신하는 수신부와, 수신된 데이터의 압축을 푸는 압축 해제부와, 미러 영상을 표시하고 사용자의 터치를 입력받기 위한 터치 스크린과, 마이크와, 상기 마이크로부터 입력된 사용자의 음성을 인식하기 위한 음성인식부와, 제어신호를 상기 미러링 송수신부로 송신하기 위한 송신부와, 상기 압축해제부로부터 수신된 미러 영상을 상기 터치 스크린에 표시하고 사용자의 터치입력이나 상기 음성인식부로부터 음성명령을 수신하면 상기 스마트 기기를 제어하기 위한 제어신호를 생성하여 상기 송신부로 전송하는 제어부로 구성된다.The remote control terminal includes a receiver for receiving transmission data of the mirroring transceiver, a decompression unit for decompressing the received data, a touch screen for displaying a mirror image and receiving a user's touch, a microphone, and the microphone. A voice recognition unit for recognizing an input voice of the user, a transmitter for transmitting a control signal to the mirroring transceiver, and a mirror image received from the decompression unit on a touch screen to display a user's touch input or the voice Receiving a voice command from the recognition unit comprises a control unit for generating a control signal for controlling the smart device to transmit to the transmitter.

상기 리모컨 단말은 사용자의 조작을 입력받기 위한 버튼부와, 상기 버튼부의 조작에 따라 상기 스마트 기기를 RF 방식으로 직접 제어하기 위한 RF 제어부를 더 구비할 수 있다.The remote control terminal may further include a button unit for receiving a user's manipulation, and an RF control unit for directly controlling the smart device in an RF manner according to the manipulation of the button unit.

상기와 같은 목적을 달성하기 위하여 본 발명의 방법은 앱이 제공하는 디스플레이 화면 데이터가 저장된 프레임 버퍼의 데이터를 리모컨 버퍼로 복사하는 단계; 상기 리모컨 버퍼에 복사된 미러 영상을 압축하는 단계; 압축된 미러 영상을 리모컨 단말의 디스플레이에 맞게 스케일링 변환하는 단계; 미러 영상을 무선방식으로 리모컨 단말로 전송하는 단계; 상기 리모컨 단말에서 미러 영상을 표시하는 단계; 사용자의 조작을 입력받는 단계; 사용자의 조작이 터치이면, 터치입력에 따른 제어신호를 생성하는 단계; 사용자의 조작이 음성입력이면, 마이크를 통해 입력된 음성을 인식하고, 음성인식 명령에 따른 제어신호를 생성하는 단계; 제어신호를 무선방식으로 미러링 송수신부로 전송하는 단계; 및 제어신호를 해당 스마트 기기의 앱으로 전송하는 단계로 구성된 것을 특징으로 한다.
In order to achieve the above object, the method of the present invention comprises the steps of copying the data of the frame buffer in which the display screen data provided by the app to the remote control buffer; Compressing the mirror image copied to the remote controller buffer; Scaling converting the compressed mirror image according to the display of the remote control terminal; Transmitting the mirror image to the remote control terminal in a wireless manner; Displaying a mirror image on the remote control terminal; Receiving a user's manipulation; Generating a control signal according to a touch input when the user's manipulation is a touch; Recognizing a voice input through a microphone and generating a control signal according to a voice recognition command if the user's manipulation is a voice input; Transmitting a control signal to a mirror transmission / reception unit in a wireless manner; And transmitting a control signal to an app of the corresponding smart device.

본 발명에 따르면, 안드로이드 기반의 스마트 기기에서 프레임 버퍼를 이용하여 미러링을 용이하게 구현할 수 있어 스마트 기기의 화면을 직접 터치하지 않고서도 리모컨의 미러화면을 통해 용이하게 스마트 기기를 제어할 수 있는 효과가 있다.According to the present invention, it is possible to easily implement mirroring using a frame buffer in an Android-based smart device, so that the smart device can be easily controlled through the mirror screen of the remote controller without directly touching the screen of the smart device. have.

또한 본 발명에 따르면, 스케일링 변환을 통해 다양한 리모컨의 디스플레이 규격을 충족시킬 수 있어 대형의 스마트 기기 화면도 리모컨으로 용이하게 컨트롤할 수 있다.
In addition, according to the present invention, it is possible to meet the display specifications of the various remote control through the scaling conversion, it is possible to easily control the screen of a large smart device with a remote control.

도 1은 본 발명에 따른 미러링을 이용한 대화형 리모컨을 스마트 TV에 적용한 예의 개략도,
도 2는 본 발명에 따른 리모컨으로 스마트 TV를 제어하는 개략적인 절차를 도시한 순서도,
도 3은 본 발명에 따른 미러링을 이용한 대화형 리모컨을 스마트 TV에 적용한 예의 구성 블럭도,
도 4는 본 발명에 따른 미러링을 이용한 대화형 리모컨 단말의 구성을 도시한 블럭도,
도 5는 본 발명에 따라 리모컨 단말에 미러링 화면을 표시하는 절차를 도시한 순서도,
도 6은 본 발명에 따라 리모컨 단말의 제어신호를 스마트 TV로 전달하는 절차를 도시한 순서도이다.1 is a schematic diagram of an example in which an interactive remote controller using mirroring according to the present invention is applied to a smart TV;
2 is a flowchart illustrating a schematic procedure for controlling a smart TV with a remote control according to the present invention;
3 is a block diagram of an example in which an interactive remote controller using mirroring according to the present invention is applied to a smart TV;
4 is a block diagram showing the configuration of an interactive remote control terminal using mirroring according to the present invention;
5 is a flowchart illustrating a procedure of displaying a mirroring screen on a remote control terminal according to the present invention;
6 is a flowchart illustrating a procedure of transmitting a control signal of a remote control terminal to a smart TV according to the present invention.

본 발명과 본 발명의 실시에 의해 달성되는 기술적 과제는 다음에서 설명하는 본 발명의 바람직한 실시예들에 의하여 보다 명확해질 것이다. 다음의 실시예들은 단지 본 발명을 설명하기 위하여 예시된 것에 불과하며, 본 발명의 범위를 제한하기 위한 것은 아니다. BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features, and advantages of the present invention will become more apparent from the following detailed description of the present invention when taken in conjunction with the accompanying drawings. The following examples are merely illustrative of the present invention and are not intended to limit the scope of the present invention.

먼저, 본 발명에서 스마트 기기는 스마트폰, 스마트 패드, IPTV, 스마트TV, PC, 태블릿PC, 디지털 케이블 박스(Digital Cable Box), 위성 박스(Satellite Box) 등 다양한 멀티미디어 정보기기들 중 어느 하나가 될 수 있으나 본 발명의 바람직한 실시예에서는 스마트 TV를 예로 들어 설명한다. First, in the present invention, the smart device may be any one of various multimedia information devices such as a smart phone, a smart pad, an IPTV, a smart TV, a PC, a tablet PC, a digital cable box, and a satellite box. But in the preferred embodiment of the present invention will be described taking a smart TV as an example.

도 1은 본 발명에 따른 미러링을 이용한 대화형 리모컨을 스마트 TV에 적용한 예의 개략도이고, 도 2는 본 발명에 따른 리모컨으로 스마트 TV를 제어하는 개략적인 절차를 도시한 순서도이다.1 is a schematic diagram of an example in which an interactive remote controller using mirroring according to the present invention is applied to a smart TV, and FIG. 2 is a flowchart illustrating a schematic procedure of controlling the smart TV using the remote controller according to the present invention.

본 발명이 적용된 스마트 TV(100)는 도 1에 도시된 바와 같이, 운영체제(OS)와 중앙처리장치(CPU)를 탑재한 통상의 스마트 TV(100)에 본 발명에 따른 미러링 리모컨 기능을 구현하기 위하여 프레임 버퍼의 비디오 데이터를 스케일링 변환하여 리모컨 단말(300)로 전송하고 리모컨 단말(300)로부터 제어신호를 수신하여 스마트 TV(100)의 앱으로 전송하는 미러링 송수신부(200)가 구비되어 있다.Smart TV 100 to which the present invention is applied, as shown in Figure 1, to implement a mirroring remote control function according to the present invention on a conventional smart TV (100) equipped with an operating system (OS) and a central processing unit (CPU) In order to scale and convert the video data of the frame buffer is transmitted to the remote control terminal 300, and receives a control signal from the remote control terminal 300 is provided with a mirroring transceiver 200 for transmitting to the app of the smart TV (100).

도 1을 참조하면, 스마트 TV(100)는 예컨대, 안드로이드 OS와 인텔의 CPU를 장착해 안드로이드 마켓에서 각종 애플리케이션(응용 프로그램)을 이용할 수 있으며, 시청자들은 TV를 쌍방향 콘텐츠 정보 단말기로 활용할 수 있다. 이러한 스마트 TV(100)는 LCD TV 화면(102)에 TV 영상이나 응용 영상을 표시하며, LCD와 시스템이 하나로 된 일체형이나 통상의 LCD TV에 연결되는 셋톱박스(STB)형으로 구현될 수 있다.Referring to FIG. 1, the smart TV 100 may be equipped with an Android OS and an Intel CPU to use various applications (applications) in the Android market, and viewers may use the TV as an interactive content information terminal. The smart TV 100 displays a TV image or an application image on the LCD TV screen 102, and may be implemented as a set-top box (STB) type in which an LCD and a system are integrated into one unit or connected to a conventional LCD TV.

본 발명에 따른 미러링 송수신부(200)는 스마트 기기(100)에 하드웨어 칩이나 소프트웨어로 구현될 수 있으며, 스마트 TV의 화면(102)을 리모컨 단말의 화면(302)에 맞게 스케일링 변환하여 미러 영상을 리모컨 단말(300)로 송신하고, 리모컨 단말(300)로부터 스마트 TV(100)를 원격제어하기 위한 제어신호를 수신하여 스마트 TV의 해당 앱측으로 전달한다. The mirroring transceiver 200 according to the present invention may be implemented as a hardware chip or software in the smart device 100, and converts the mirror image by scaling the screen 102 of the smart TV to fit the screen 302 of the remote control terminal. Transmitting to the remote control terminal 300, and receives a control signal for remote control of the smart TV 100 from the remote control terminal 300 and transmits to the app side of the smart TV.

본 발명에 따른 리모컨 단말(300)은 미러링 송수신부(200)와 WiFi(10)나 블루투스 등 무선으로 통신하여 미러링 송수신부(200)가 송신한 미러 영상을 LCD에 디스플레이하고 사용자의 터치입력이나 음성입력을 인식하여 제어신호를 무선신호로 변환하여 미러링 송수신부(200)를 통해 스마트 TV(100)로 전송하여 스마트 TV에 대한 사용자 인타페이스를 제공한다. 또한 도면에는 도시하지 않았으나 종래와 같이 적외선 리모컨 기능도 구비하여 스마트 기기의 전원 온/오프와 같은 일방향성의 단순 기능은 별도의 적외선 리모컨 방식으로 제어할 수도 있다.The remote control terminal 300 according to the present invention wirelessly communicates with the mirroring transceiver 200 and the WiFi 10 or Bluetooth, and displays the mirror image transmitted by the mirroring transceiver 200 on the LCD and touches a user's touch or voice. Recognizing an input, converts a control signal into a wireless signal, and transmits the control signal to the smart TV 100 through the mirroring transceiver 200 to provide a user interface for the smart TV. In addition, although not shown in the drawing, the infrared remote control function may be provided as in the related art, so that a simple one-way function such as power on / off of a smart device may be controlled by a separate infrared remote control method.

이러한 본 발명에 따른 미러링을 이용한 대화형 리모컨은 도 2에 도시된 바와 같이 리모컨의 제어에 따라 스마트 기기의 전원이 온되면 스마트 기기는 정상동작하게 되고, 본 발명에 따른 미러링 송수신부(200)는 스마트 TV의 프레임 버퍼에서 미러 영상을 가져와 스케일링 변환한 후 무선방식으로 리모컨 단말(300)로 전송한다(S101~S106).In the interactive remote control using the mirroring according to the present invention, when the power of the smart device is turned on under the control of the remote control as shown in FIG. 2, the smart device operates normally, and the mirroring transmission / reception unit 200 according to the present invention The mirror image is taken from the frame buffer of the smart TV, scaled, converted, and then transmitted to the remote control terminal 300 in a wireless manner (S101 to S106).

이에 따라 리모컨 단말(300)은 수신된 미러 비디오 데이터를 압축해제하여 리모컨 단말(300)의 LCD에 미러 영상을 디스플레이하고, 이에 따라 사용자는 미러 영상을 보면서 제어방식을 선택하여 터치방식이나 음성인식 방식으로 스마트 기기를 제어하기 위한 조작을 입력한다(S107.S108). 그리고 리모컨 단말(300)은 사용자의 조작에 대응하는 제어신호를 생성하여 무선신호(WiFi)로 변조한 후 미러링 송수신부(200)로 전송하고, 미러링 송수신부(200)는 이를 수신하여 파싱(parsing) 후 스마트 TV(100)로 제어신호를 전달한다(S109~S110). 이에 따라 스마트 TV(100)는 사용자의 조작에 반응하는 동작을 수행하고, 다시 미러 화면은 미러링 송수신부(200)를 통해 리모컨 단말(300)로 전달되며 이러한 동작이 반복된다(S111~S115).Accordingly, the remote control terminal 300 decompresses the received mirror video data and displays a mirror image on the LCD of the remote control terminal 300. Accordingly, the user selects a control method while viewing the mirror image and touch or voice recognition method. An operation for controlling the smart device is input (S107.S108). In addition, the remote control terminal 300 generates a control signal corresponding to a user's operation, modulates it into a wireless signal (WiFi), transmits it to the mirroring transceiver 200, and the mirroring transceiver 200 receives and parses it. ) And transmits a control signal to the smart TV (100) (S109 ~ S110). Accordingly, the smart TV 100 performs an operation in response to the user's operation, and again the mirror screen is transmitted to the remote control terminal 300 through the mirroring transmission / reception unit 200, and the operation is repeated (S111 ˜ S115).

도 3은 본 발명에 따른 미러링을 이용한 대화형 리모컨을 스마트 TV에 적용한 예의 구성 블럭도이고, 도 4는 본 발명에 따른 미러링을 이용한 대화형 리모컨 단말의 구성 블럭도이다.3 is a block diagram of an example in which an interactive remote controller using mirroring according to the present invention is applied to a smart TV, and FIG. 4 is a block diagram of an interactive remote controller using mirroring according to the present invention.

본 발명이 적용된 스마트 TV(100)는 도 3에 도시된 바와 같이, 안드로이드 기반의 시스템 앱(112)과 응용 앱(114), 시스템 앱이나 응용 앱이 제공하는 서페이스1(Surface1;116-1) 내지 서페이스 N(Surface N;116-N)을 합성하여 하나의 화면을 구성하는 합성부(118)와, 합성부(118)가 제공하는 방송 이외의 LCD에 디스플레이할 프레임의 데이터를 저장하고 있는 프레임 버퍼(120)와, LCD에 디스플레이되는 모든 화면의 데이터를 저장하고 있는 LCD 버퍼(122)와, LCD 디스플레이(124)와, TV방송을 수신하기 위한 튜너(126)와, 튜너의 비디오 데이터를 처리하여 LCD 버퍼(122)에 저장하기 위한 방송화면처리부(128)로 구성된다. 프레임 버퍼(120)는 방송화면을 제외한 시스템 앱(112)이나 응용 앱(114), 사용자 인터페이스(UI) 화면 등 안드로이드 기기의 화면에 출력되는 모든 정보를 가지고 있다. 따라서 본 발명에서는 프레임 버퍼(1200의 데이터를 별도의 리모컨 버퍼(220)로 카피하여 안드로이드 화면을 캡춰함과 아울러 압축기(222)로 압축한 후 스케일(Scale) 변환해서 무선으로 송신하고, 이 신호를 리모컨 단말(300)이 수신하여 압축을 풀어 복원한 후 미러 영상을 디스플레이하는 것이다. 그리고 리모컨 단말(300)에서 터치 이벤트나 음성인식으로 사용자 조작이 입력되면, 이를 미러링 송수신부(200)를 통해 스마트 기기의 해당 앱으로 전송해서 상호 연동에 의한 미러링을 구현할 수 있다. Smart TV 100 to which the present invention is applied, as shown in Figure 3, Android-based system app 112 and application app 114, the surface of the system 1 or surface provided by the application (Surface1; 116-1) A frame storing data of a frame to be displayed on an LCD other than the broadcast provided by the combining unit 118 and the combining unit 118 to form a single screen by synthesizing the surface N (Surface N; 116-N). Processes the buffer 120, the LCD buffer 122 which stores data of all screens displayed on the LCD, the LCD display 124, the tuner 126 for receiving TV broadcasts, and the video data of the tuner. And a broadcast screen processor 128 for storing in the LCD buffer 122. The frame buffer 120 has all the information output on the screen of the Android device, such as the system app 112, the application app 114, and the user interface (UI) screen except for the broadcast screen. Therefore, in the present invention, the data of the frame buffer 1200 is copied to a separate remote controller buffer 220 to capture an Android screen, and to be compressed by the compressor 222, and then scaled and transmitted wirelessly. The remote control terminal 300 receives and decompresses and restores the mirror image to display the mirror image, and when a user operation is input by a touch event or voice recognition on the remote control terminal 300, the smart transmission and reception through the mirroring transceiver 200 is performed. It can be transmitted to the app of the device to implement mirroring by mutual interworking.

이러한 스마트 TV(300)는 하드웨어와 소프트웨어의 복합 시스템으로 구현되며, 인터넷을 통해 연결됨과 아울러 무선으로 방송신호를 수신할 수 있는 통상의 스마트 기기로서 다양한 방식으로 구현될 수 있다. 특히 본 발명에 적용되는 스마트 TV(300)는 프레임 버퍼(120)를 이중(핑퐁 버퍼)으로 구성하여 하나의 프레임 버퍼가 디스플레이에 사용될 때 다른 하나의 프레임 버퍼는 데이터를 저장함으로써 화면의 지연없이 영상을 처리할 수 있다.The smart TV 300 is implemented as a complex system of hardware and software, and can be implemented in various ways as a conventional smart device that can be connected via the Internet and can receive broadcast signals wirelessly. In particular, the smart TV 300 applied to the present invention configures the frame buffer 120 in a double (ping-pong buffer) so that when one frame buffer is used for display, the other frame buffer stores data without delaying the screen. Can be processed.

본 발명에 따른 미러링 송수신부(200)는 스마트 기기에 하드웨어나 소프트웨어로 구현되어 도 3에 도시된 바와 같이, 프레임 버퍼(120)로부터 TV 화면(102)에 출력되는 영상과 동일한 미러 영상을 위한 데이터를 가져와 저장하고 있는 리모컨 버퍼(220)와, 리모컨 버퍼(220)의 미러 영상 데이터를 압축하기 위한 압축기(222)와, 압축된 미러 영상 데이터를 리모컨 단말(300)의 LCD 화면 크기에 맞게 해상도를 조정하는 스케일링 변환부(224)와, 스케일링 변환된 영상을 무선신호로 변조하여 WiFi나 블루투스 등의 방식으로 송신하는 송신부(226)와, 리모컨 단말(300)로부터 제어신호를 수신하는 수신부(210)와, 수신된 제어 데이터의 형식을 파싱(parsing)하여 스마트 TV의 시스템(122)으로 전송하는 파싱부(212)로 구성된다.Mirroring transmission and reception unit 200 according to the present invention is implemented in hardware or software in a smart device, as shown in Figure 3, the same data for the mirror image output from the frame buffer 120 to the TV screen 102 as shown in FIG. A remote controller buffer 220 storing the remote controller buffer 220, a compressor 222 for compressing mirror image data of the remote controller buffer 220, and compressing the mirror image data to match the LCD screen size of the remote controller terminal 300. A scaling converter 224 to adjust, a transmitter 226 for modulating the scaled image into a wireless signal and transmitting the signal by WiFi or Bluetooth, and a receiver 210 for receiving a control signal from the remote control terminal 300. And a parsing unit 212 for parsing the received control data format and transmitting it to the system 122 of the smart TV.

본 발명에 따른 리모컨 단말(300)은 도 4에 도시된 바와 같이, 미러링 송수신부(200)로부터 미러 영상 데이터를 수신하는 수신부(310)와, 수신된 데이터의 압축을 해제하는 압축해제부(312)와, 미러 영상(302)을 표시하고 사용자의 터치를 입력받기 위한 터치 스크린(322)과, 사용자의 조작을 입력받기 위한 버튼부(314)와, 마이크(316)와, 마이크(316)로부터 입력된 사용자의 음성을 인식하기 위한 음성인식부(318)와, 제어신호를 미러링 송수신부(200)로 송신하기 위한 송신부(324)와, 압축해제부(312)로부터 수신된 미러 영상을 터치스크린(322)에 표시하고 사용자의 터치입력이나 음성인식부(318)로부터 음성명령을 수신하면 스마트 기기를 제어하기 위한 제어신호를 생성하여 송신부(324)로 전송하는 제어부(320)로 구성된다.As shown in FIG. 4, the remote control terminal 300 according to the present invention includes a receiver 310 for receiving mirror image data from the mirroring transceiver 200 and a decompression unit 312 for decompressing the received data. ), A touch screen 322 for displaying a mirror image 302 and receiving a user's touch, a button unit 314 for receiving a user's operation, a microphone 316, and a microphone 316. A voice recognition unit 318 for recognizing an input voice of the user, a transmitter 324 for transmitting a control signal to the mirroring transceiver 200, and a mirror image received from the decompressor 312 may be touch screened. The control unit 320 is displayed on 322 and generates a control signal for controlling the smart device when the user receives a voice command from the user's touch input or voice recognition unit 318 and transmits to the transmitter 324.

이어서, 상기와 같이 구성되는 본 발명에 따른 미러링을 이용한 대화형 리모컨의 동작을 설명하면 다음과 같다.Next, the operation of the interactive remote controller using mirroring according to the present invention configured as described above is as follows.

도 5는 본 발명에 따라 리모컨 단말에 미러링 화면을 표시하는 절차를 도시한 순서도이고, 도 6은 본 발명에 따라 리모컨 단말의 제어신호를 스마트 TV로 전달하는 절차를 도시한 순서도이다.5 is a flowchart illustrating a procedure of displaying a mirroring screen on a remote control terminal according to the present invention, and FIG. 6 is a flowchart illustrating a procedure of transferring a control signal of the remote control terminal to the smart TV according to the present invention.

본 발명에 따라 리모컨 단말에 미러링 화면을 표시하는 절차는 도 5에 도시된 바와 같이, 시스템 앱이 제공하는 디스플레이 화면 데이터가 저장된 프레임 버퍼(120)의 데이터를 리모컨 버퍼(220)로 복사하는 단계(S201,S202)와, 리모컨 버퍼(220)에 복사된 미러 영상을 압축하는 단계(S203)와, 압축된 미러 화면을 리모컨 단말의 디스플레이에 맞게 스케일링 변환하는 단계(S204)와, 미러 영상을 무선방식으로 리모컨 단말(300)로 전송하는 단계(S205)와, 리모컨 단말(300)에서 미러 영상을 표시하는 단계(S206)로 구성된다.According to the present invention, the procedure for displaying the mirroring screen on the remote control terminal is shown in FIG. 5, copying the data of the frame buffer 120 storing the display screen data provided by the system app to the remote control buffer 220 ( S201 and S202, compressing the mirror image copied to the remote controller buffer 220 (S203), scaling converting the compressed mirror screen according to the display of the remote controller terminal (S204), and wirelessly mirroring the mirror image. In step S205, the remote control terminal 300 transmits the mirror image to the remote control terminal 300.

그리고 본 발명에 따라 리모컨 단말의 제어신호를 스마트 TV로 전송하는 절차 도 6에 도시된 바와 같이, 미러 영상(302)을 리모컨 단말의 터치 스크린(322)에 표시하는 단계(S301)와, 사용자의 조작을 입력받는 단계(S302)와, 사용자의 조작이 터치이면 터치입력에 따른 제어신호를 생성하는 단계(S303,S304)와, 사용자의 조작이 음성입력이면 마이크를 통해 입력된 음성을 인식하는 단계(S305,S306)와, 음성인식 명령에 따른 제어신호를 생성하는 단계(S307)와, 제어신호를 무선방식으로 미러링 송수신부(200)로 전송하는 단계(S308)와, 수신된 제어신호를 파싱하는 단계(S309)와, 제어신호를 스마트 기기의 해당 앱으로 전송하는 단계(S310)로 구성된다.In addition, as shown in FIG. 6, displaying the mirror image 302 on the touch screen 322 of the remote control terminal according to the present invention (S301). Receiving an operation (S302), generating a control signal according to a touch input when the user's operation is a touch (S303, S304); and recognizing a voice input through a microphone when the user's operation is a voice input. (S305, S306), generating a control signal according to the voice recognition command (S307), transmitting the control signal to the mirroring transceiver 200 in a wireless manner (S308) and parsing the received control signal The step (S309) and the step of transmitting a control signal to the app of the smart device (S310).

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims It can be understood that

100: 스마트 TV 200: 미러링 송수신부
210: 수신부 212: 파싱부
220: 리모컨 버퍼 222: 압축기
224: 스케일링 변환부 226: 송신부
300: 리모컨 단말 302: 미러 화면
310: 수신부 312: 압축해제부
314: 버튼 316: 마이크
318: 음성인식부 320: 제어부
322: 터치스크린 324: 송신부100: smart TV 200: mirroring transmission and reception unit
210: receiver 212: parser
220: remote control buffer 222: compressor
224: scaling converter 226: transmitter
300: remote control terminal 302: mirror screen
310: receiver 312: decompression unit
314: button 316: microphone
318: speech recognition unit 320: control unit
322: touch screen 324: transmitter

Claims (5)

앱이 제공하는 영상을 디스플레이하기 위한 프레임 버퍼를 구비하는 스마트 기기;
상기 스마트 기기의 프레임 버퍼로부터 비디오 데이터를 가져와 압축 및 스케일링 변환하여 미러 영상을 리모컨 단말로 전송하고, 리모컨 단말의 제어신호를 수신받아 상기 스마트 기기의 해당 앱으로 전달하는 미러링 송수신부; 및
상기 미러링 송수신부로부터 수신된 미러 영상을 디스플레이하고, 사용자의 조작을 입력받아 해당 앱의 사용자 인터페이스를 위한 제어신호를 상기 미러링 송수신부로 전송하는 리모컨 단말을 포함하고,
상기 미러링 송수신부는
상기 스마트 기기의 프레임 버퍼로부터 가져온 데이터를 저장하기 위한 리모컨 버퍼와,
상기 리모컨 버퍼의 비디오 데이터를 압축하는 압축부와,
압축된 비디오 데이터를 리모컨의 디스플레이 화면에 맞게 스케일링하는 스케일링 변환부와,
스케일링 변환된 미러 영상 데이터를 리모컨 단말측으로 무선 송신하는 송신부와,
상기 리모컨 단말의 원격 제어신호를 수신하는 수신부와,
수신된 원격제어신호를 파싱하여 상기 스마트 기기의 해당 앱으로 전송하는 파싱부로 구성된 것을 특징으로 하는 미러링(mirroring)을 이용한 대화형 리모컨.
A smart device having a frame buffer for displaying an image provided by the app;
A mirroring transmitting / receiving unit which takes video data from the frame buffer of the smart device, compresses and scales it, transmits a mirror image to the remote control terminal, receives a control signal of the remote control terminal, and transmits the mirror signal to a corresponding app of the smart device; And
And a remote control terminal for displaying a mirror image received from the mirroring transceiver, receiving a user's manipulation, and transmitting a control signal for a user interface of the corresponding app to the mirroring transceiver;
The mirroring transceiver
A remote control buffer for storing data obtained from the frame buffer of the smart device;
A compression unit for compressing video data of the remote control buffer;
A scaling converter which scales the compressed video data to the display screen of the remote controller;
A transmitter for wirelessly transmitting the scaled converted mirror image data to the remote control terminal;
A receiver for receiving a remote control signal of the remote controller terminal;
Interactive remote control using a mirroring (mirroring) characterized in that the parsing unit for parsing the received remote control signal and transmits to the app of the smart device.
삭제delete 제1항에 있어서, 상기 리모컨 단말은
상기 미러링 송수신부의 송신 데이터를 수신하는 수신부와,
수신된 데이터의 압축을 푸는 압축 해제부와,
미러 영상을 표시하고 사용자의 터치를 입력받기 위한 터치 스크린과,
마이크와,
상기 마이크로부터 입력된 사용자의 음성을 인식하기 위한 음성인식부와,
제어신호를 상기 미러링 송수신부로 송신하기 위한 송신부와,
상기 압축해제부로부터 수신된 미러 영상을 상기 터치 스크린에 표시하고 사용자의 터치입력이나 상기 음성인식부로부터 음성명령을 수신하면 상기 스마트 기기를 제어하기 위한 제어신호를 생성하여 상기 송신부로 전송하는 제어부로 구성된 것을 특징으로 하는 미러링(mirroring)을 이용한 대화형 리모컨.
The method of claim 1, wherein the remote control terminal
A receiver which receives the transmission data of the mirroring transceiver;
A decompression unit for decompressing the received data;
A touch screen for displaying a mirror image and receiving a user's touch;
With the microphone,
A voice recognition unit for recognizing a user's voice input from the microphone;
A transmitter for transmitting a control signal to the mirroring transceiver;
The control unit for displaying the mirror image received from the decompression unit on the touch screen and generates a control signal for controlling the smart device when the user receives a voice command from the user's touch input or the voice recognition unit and transmits the control signal to the transmitter. Interactive remote control using a mirror (mirroring) characterized in that configured.
제3항에 있어서, 상기 리모컨 단말은
사용자의 조작을 입력받기 위한 버튼부와, 상기 버튼부의 조작에 따라 상기 스마트 기기를 RF 방식으로 직접 제어하기 위한 RF 제어부를 더 구비한 것을 특징으로 하는 미러링(mirroring)을 이용한 대화형 리모컨.
The method of claim 3, wherein the remote control terminal
And an RF control unit for directly controlling the smart device by an RF method in accordance with an operation of the button unit.
앱이 제공하는 디스플레이 화면 데이터가 저장된 프레임 버퍼의 데이터를 리모컨 버퍼로 복사하는 단계;
상기 리모컨 버퍼에 복사된 미러 영상을 압축하는 단계;
압축된 미러 영상을 리모컨 단말의 디스플레이에 맞게 스케일링 변환하는 단계;
미러 영상을 무선방식으로 리모컨 단말로 전송하는 단계;
상기 리모컨 단말에서 미러 영상을 표시하는 단계;
사용자의 조작을 입력받는 단계;
사용자의 조작이 터치이면, 터치입력에 따른 제어신호를 생성하는 단계;
사용자의 조작이 음성입력이면, 마이크를 통해 입력된 음성을 인식하고, 음성인식 명령에 따른 제어신호를 생성하는 단계;
제어신호를 무선방식으로 미러링 송수신부로 전송하는 단계;
제어신호를 해당 스마트 기기의 앱으로 전송하는 단계로 구성된 것을 특징으로 하는 미러링을 이용한 대화형 리모컨 제어 방법.Copying the data of the frame buffer in which the display screen data provided by the app is stored to the remote controller buffer;
Compressing the mirror image copied to the remote controller buffer;
Scaling converting the compressed mirror image according to the display of the remote control terminal;
Transmitting the mirror image to the remote control terminal in a wireless manner;
Displaying a mirror image on the remote control terminal;
Receiving a user's manipulation;
Generating a control signal according to a touch input when the user's manipulation is a touch;
Recognizing a voice input through a microphone and generating a control signal according to a voice recognition command if the user's manipulation is a voice input;
Transmitting a control signal to a mirror transmission / reception unit in a wireless manner;
Interactive control method using a remote control, characterized in that consisting of transmitting the control signal to the app of the smart device.
KR1020130036360A 2013-04-03 2013-04-03 Interactive remocon and remocon control method of using mirroring KR101274619B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130036360A KR101274619B1 (en) 2013-04-03 2013-04-03 Interactive remocon and remocon control method of using mirroring

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130036360A KR101274619B1 (en) 2013-04-03 2013-04-03 Interactive remocon and remocon control method of using mirroring

Publications (1)

Publication Number Publication Date
KR101274619B1 true KR101274619B1 (en) 2013-06-13

Family

ID=48866965

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130036360A KR101274619B1 (en) 2013-04-03 2013-04-03 Interactive remocon and remocon control method of using mirroring

Country Status (1)

Country Link
KR (1) KR101274619B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015076608A1 (en) * 2013-11-21 2015-05-28 엘지전자 주식회사 Video processing method and video processing apparatus
KR101581138B1 (en) * 2014-12-05 2015-12-30 박남태 The method and apparatus of Rhythm game
WO2020158997A1 (en) * 2019-01-30 2020-08-06 주식회사 오투오 Usb-c dmp device and playback method for same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020021829A (en) * 2000-09-18 2002-03-23 표주찬 Remote controller having search function by speech recognition for accompaniment apparatus and remote controlling method thereof
JP3172006U (en) 2011-07-14 2011-12-01 川仕 呉 Screen transfer control device for smartphone display
JP2012034401A (en) * 2005-07-19 2012-02-16 Marvell World Trade Ltd Two-way remote control
KR20130037330A (en) * 2011-10-06 2013-04-16 엘지전자 주식회사 Mobile terminal and operation control method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020021829A (en) * 2000-09-18 2002-03-23 표주찬 Remote controller having search function by speech recognition for accompaniment apparatus and remote controlling method thereof
JP2012034401A (en) * 2005-07-19 2012-02-16 Marvell World Trade Ltd Two-way remote control
JP3172006U (en) 2011-07-14 2011-12-01 川仕 呉 Screen transfer control device for smartphone display
KR20130037330A (en) * 2011-10-06 2013-04-16 엘지전자 주식회사 Mobile terminal and operation control method thereof

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015076608A1 (en) * 2013-11-21 2015-05-28 엘지전자 주식회사 Video processing method and video processing apparatus
US9936236B2 (en) 2013-11-21 2018-04-03 Lg Electronics Inc. Video processing method and video processing apparatus
KR101581138B1 (en) * 2014-12-05 2015-12-30 박남태 The method and apparatus of Rhythm game
WO2020158997A1 (en) * 2019-01-30 2020-08-06 주식회사 오투오 Usb-c dmp device and playback method for same
KR20200094501A (en) * 2019-01-30 2020-08-07 주식회사 오투오 Type-c universal serial bus digital media player device and playback method thererof
KR102196628B1 (en) * 2019-01-30 2020-12-30 주식회사 오투오 Type-c universal serial bus digital media player device
US11399205B2 (en) 2019-01-30 2022-07-26 O2O Co., Ltd. USB-C DMP device and playback method for same

Similar Documents

Publication Publication Date Title
CN107147769B (en) Equipment control method and device based on mobile terminal and mobile terminal
WO2020244266A1 (en) Remote control method for smart television, mobile terminal, and smart television
US8751973B2 (en) Display method and system for portable device using external display device
CN111447498A (en) Awakening method of display equipment and display equipment
WO2021109418A1 (en) Video resource display method, mobile terminal and server
CN111405338B (en) Intelligent image quality switching method and display device
CN111479145A (en) Display device and television program pushing method
CN112543359B (en) Display device and method for automatically configuring video parameters
US20210303253A1 (en) Electronic device and method for same controlling external device
US8601527B2 (en) Wireless communication device, information processing device, wireless communication method, and information processing system
CN111654743B (en) Audio playing method and display device
KR101274619B1 (en) Interactive remocon and remocon control method of using mirroring
US20140111699A1 (en) Broadcast receiving apparatus, method of controlling the same, user terminal device, and method of providing screen thereof
CN111385621A (en) Display device and Bluetooth audio transmission method
CN111542031A (en) Display device and Bluetooth device pairing method
CN111417027A (en) Method for switching small window playing of full-screen playing of webpage video and display equipment
CN114501158B (en) Display device, external sound equipment and audio output method of external sound equipment
CN111857363A (en) Input method interaction method and display equipment
KR101239177B1 (en) Input apparatus for controlling smart device using mirroring system
CN202677355U (en) Remote control type electronic whiteboard
CN113329246A (en) Display device and shutdown method
CN112004127A (en) Signal state display method and display equipment
CN111083538A (en) Background image display method and device
CN202721747U (en) System for realizing television channel changing and television
US20230120103A1 (en) Device switching method for display apparatus and display apparatus

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160705

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170425

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180409

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190328

Year of fee payment: 7