KR101284472B1 - Method for controlling a electronic device and portable terminal thereof - Google Patents

Method for controlling a electronic device and portable terminal thereof Download PDF

Info

Publication number
KR101284472B1
KR101284472B1 KR1020110104331A KR20110104331A KR101284472B1 KR 101284472 B1 KR101284472 B1 KR 101284472B1 KR 1020110104331 A KR1020110104331 A KR 1020110104331A KR 20110104331 A KR20110104331 A KR 20110104331A KR 101284472 B1 KR101284472 B1 KR 101284472B1
Authority
KR
South Korea
Prior art keywords
electronic device
portable terminal
image
information
control program
Prior art date
Application number
KR1020110104331A
Other languages
Korean (ko)
Other versions
KR20120105340A (en
Inventor
권희원
박근량
김대중
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to EP12001567.2A priority Critical patent/EP2501143A3/en
Priority to US13/421,362 priority patent/US8937664B2/en
Priority to CN201210068737.8A priority patent/CN102685582B/en
Publication of KR20120105340A publication Critical patent/KR20120105340A/en
Application granted granted Critical
Publication of KR101284472B1 publication Critical patent/KR101284472B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • H04Q9/04Arrangements for synchronous operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q2209/00Arrangements in telecontrol or telemetry systems
    • H04Q2209/40Arrangements in telecontrol or telemetry systems using a wireless architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 휴대용 단말기를 이용하여 전자 기기를 제어하는 방법에 관한 것이다. 그 방법은, 상기 휴대용 단말기에 구비된 카메라를 이용하여 상기 전자 기기가 촬영된 영상을 획득하는 단계; 상기 전자 기기에 대한 정보를 포함하는 사용자 음성을 인식하는 단계; 상기 카메라를 이용해 획득된 전자 기기 영상과 상기 사용자 음성으로부터 추출된 전자 기기 정보를 기초하여 전자 기기의 제품명을 식별하는 단계; 상기 식별된 전자 기기의 제품명에 속하는 복수의 모델들에 대한 정보를 디스플레이하는 단계; 상기 디스플레이되는 복수의 모델들 중 어느 하나를 선택하는 단계; 상기 선택된 모델의 전자기기에 대응되는 제어 프로그램을 검색하는 단계; 상기 검색된 제어 프로그램을 이용하여 상기 전자 기기를 제어하는 단계;를 포함하고, 상기 제어 프로그램이 검색되지 않으면 상기 식별된 전자기기에 대한 정보를 서버로 전송하는 단계; 상기 서버로부터 상기 전자기기에 대한 정보를 기초하여 검색된 제어프로그램을 다운로드하는 단계;를 더 포함한다.The present invention relates to a method of controlling an electronic device using a portable terminal. The method includes: acquiring an image captured by the electronic device by using a camera provided in the portable terminal; Recognizing a user voice including information about the electronic device; Identifying a product name of the electronic device based on the electronic device image acquired using the camera and the electronic device information extracted from the user voice; Displaying information on a plurality of models belonging to a product name of the identified electronic device; Selecting any one of the displayed plurality of models; Searching for a control program corresponding to the electronic device of the selected model; Controlling the electronic device using the searched control program; if the control program is not searched, transmitting information on the identified electronic device to a server; And downloading the searched control program based on the information about the electronic device from the server.

Description

전자 기기 제어 방법 및 그를 이용한 휴대용 단말기{Method for controlling a electronic device and portable terminal thereof}Method for controlling a electronic device and a portable terminal using the same

본 발명은 휴대용 단말기를 이용하여 전자 기기를 제어하는 방법에 관한 것이다.The present invention relates to a method of controlling an electronic device using a portable terminal.

휴대용 단말기는 휴대가 가능하면서 음성 및 영상 통화를 수행할 수 있는 기능, 정보를 입·출력할 수 있는 기능, 및 데이터를 저장할 수 있는 기능 등을 하나 이상 갖춘 휴대용 기기이다.A portable terminal is a portable device that is portable and has one or more functions of making voice and video calls, inputting and outputting information, and storing data.

이러한 휴대 단말기는 그 기능이 다양화됨에 따라, 사진이나 동영상의 촬영, 음악 파일이나 동영상 파일의 재생, 게임, 방송의 수신, 무선 인터넷 등과 같은 복잡한 기능들을 갖추게 되었으며, 종합적인 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.As the functions of the portable terminal have diversified, they have complicated functions such as photographing and photographing of a movie, playback of a music file or a video file, reception of a game, reception of broadcasting, wireless Internet, etc., and a comprehensive multimedia device .

본 발명은 다양한 전자 기기들의 동작을 효율적으로 제어할 수 있도록 하는 휴대용 단말기를 이용한 전자 기기 제어 방법 및 그를 이용한 휴대용 단말기를 제공하는 것을 목적으로 한다.An object of the present invention is to provide an electronic device control method using a portable terminal and a portable terminal using the same that can efficiently control the operation of various electronic devices.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 휴대용 단말기를 이용한 전자 기기 제어 방법은, 상기 휴대용 단말기에 구비된 카메라를 이용하여 상기 전자 기기가 촬영된 영상을 획득하는 단계; 상기 전자 기기에 대한 정보를 포함하는 사용자 음성을 인식하는 단계; 상기 카메라를 이용해 획득된 전자 기기 영상과 상기 사용자 음성으로부터 추출된 전자 기기 정보를 기초하여 전자 기기의 제품명을 식별하는 단계; 상기 식별된 전자 기기의 제품명에 속하는 복수의 모델들에 대한 정보를 디스플레이하는 단계; 상기 디스플레이되는 복수의 모델들 중 어느 하나를 선택하는 단계; 상기 선택된 모델의 전자기기에 대응되는 제어 프로그램을 검색하는 단계; 상기 검색된 제어 프로그램을 이용하여 상기 전자 기기를 제어하는 단계;를 포함하고, 상기 제어 프로그램이 검색되지 않으면 상기 식별된 전자기기에 대한 정보를 서버로 전송하는 단계; 상기 서버로부터 상기 전자기기에 대한 정보를 기초하여 검색된 제어프로그램을 다운로드하는 단계;를 더 포함한다.In order to achieve the above object, an electronic device control method using a portable terminal according to an embodiment of the present invention, using the camera provided in the portable terminal to obtain an image captured by the electronic device; Recognizing a user voice including information about the electronic device; Identifying a product name of the electronic device based on the electronic device image acquired using the camera and the electronic device information extracted from the user voice; Displaying information on a plurality of models belonging to a product name of the identified electronic device; Selecting any one of the displayed plurality of models; Searching for a control program corresponding to the electronic device of the selected model; Controlling the electronic device using the searched control program; if the control program is not searched, transmitting information on the identified electronic device to a server; And downloading the searched control program based on the information about the electronic device from the server.

한편, 본 발명의 실시예에 따른 휴대용 단말기는, 상기 전자 기기가 촬영된 영상을 획득하는 카메라; 사용자 음성을 획득하는 마이크; 적어도 하나의 전자기기에 대한 식별정보 및 그에 대응되는 제어프로그램을 저장하는 저장부; 상기 획득된 전자 기기의 영상과 상기 획득된 사용자 음성으로부터 추출된 전자 기기 정보를 조합하여 상기 전자 기기를 식별하고, 상기 식별된 전자 기기의 제품명에 속하는 복수의 모델들에 대한 정보를 검색하고, 해당 정보를 기초하여 사용자로부터 선택된 전자기기에 대응되는 제어 프로그램를 이용해 상기 전자 기기를 제어하기 위한 제어 신호를 생성하는 제어부; 및 상기 생성된 제어 신호를 상기 전자 기기로 전송하고 상기 전자기기에 대한 제어 프로그램을 서버로부터 수신하는 송수신부를 포함하고,상기 제어부는 상기 선택된 전자기기에 대응되는 제어 프로그램이 상기 저장부에 존재하지 않으면 상기 송수신부를 통해 서버에 제어프로그램을 요청하고, 상기 서버로부터 수신되는 제어프로그램을 이용해 상기 전자기기를 제어 포함한다.On the other hand, a portable terminal according to an embodiment of the present invention, the camera to obtain an image captured by the electronic device; A microphone for obtaining a user voice; A storage unit storing identification information of at least one electronic device and a control program corresponding thereto; Identifying the electronic device by combining the acquired image of the electronic device and the electronic device information extracted from the obtained user voice, retrieve information about a plurality of models belonging to the product name of the identified electronic device, A controller configured to generate a control signal for controlling the electronic device using a control program corresponding to the electronic device selected by the user based on the information; And a transmission / reception unit configured to transmit the generated control signal to the electronic device and receive a control program for the electronic device from a server. The control unit may include a control program corresponding to the selected electronic device if the storage program does not exist. Requesting a control program from the server through the transceiver, and controlling the electronic device using the control program received from the server.

삭제delete

본 발명의 실시예에 따르면, 카메라로 촬영된 전자 기기의 영상과 함께 사용자 음성으로부터 추출된 전자 기기 정보를 이용해 제어하고자 하는 전자 기기를 식별함으로써, 제어 대상 기기를 보다 정확하게 인식하여 오류 없이 제어할 수 있으며, 다양한 전자 기기들을 하나의 제어 장치를 이용해 제어하여 사용자의 편의성을 향상시킬 수 있다.According to an embodiment of the present invention, by identifying the electronic device to be controlled using the electronic device information extracted from the user's voice together with the image of the electronic device captured by the camera, it is possible to recognize the control target device more accurately and control without error In addition, various electronic devices may be controlled using a single control device to improve user convenience.

도 1은 본 발명의 실시예에 따른 전자 기기 제어 시스템의 구성을 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 영상 표시 장치의 구성을 나타내는 블록도이다.
도 3은 휴대용 단말기를 이용하여 영상 표시 장치의 동작을 제어하는 방법에 대한 일실시예를 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 휴대용 단말기의 구성을 나타내는 블록도이다.
도 5는 본 발명의 실시예에 따른 전자 기기 제어 방법을 나타내는 흐름도이다.
도 6 내지 도 12는 휴대용 단말기를 이용하여 전자 기기를 제어하는 방법에 대한 실시예들을 나타내는 도면들이다.
도 13은 휴대용 단말기를 이용하여 전자 기기를 제어하는 방법에 대한 또 다른 실시예를 나타내는 도면이다.
1 is a block diagram showing the configuration of an electronic device control system according to an embodiment of the present invention.
2 is a block diagram illustrating a configuration of a video display device according to an embodiment of the present invention.
3 is a diagram illustrating an embodiment of a method of controlling an operation of an image display device using a portable terminal.
4 is a block diagram showing the configuration of a portable terminal according to an embodiment of the present invention.
5 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present invention.
6 to 12 illustrate embodiments of a method of controlling an electronic device using a portable terminal.
FIG. 13 is a diagram illustrating still another embodiment of a method of controlling an electronic device using a portable terminal.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예에 따른 전자 기기 제어 방법 및 그를 이용한 휴대용 단말기에 관하여 상세히 설명한다.Hereinafter, an electronic device control method and a portable terminal using the same according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings and accompanying drawings, but the present invention is not limited to or limited by the embodiments.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.As used herein, terms used in the present invention are selected from general terms that are widely used in the present invention while taking into account the functions of the present invention, but these may vary depending on the intention or custom of a person skilled in the art or the emergence of new technologies. In addition, in certain cases, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in the corresponding description of the invention. Therefore, it is intended that the terminology used herein should be interpreted based on the meaning of the term rather than on the name of the term, and on the entire contents of the specification.

도 1은 본 발명의 실시예에 따른 전자 기기 제어 시스템의 구성을 블록도로 도시한 것으로, 도시된 시스템은 영상 표시 장치(100), 휴대용 단말기(200) 및 복수의 전자 기기들(300 내지 320)을 포함하여 구성될 수 있다.1 is a block diagram illustrating a configuration of an electronic device control system according to an exemplary embodiment of the present invention. The illustrated system includes a video display device 100, a portable terminal 200, and a plurality of electronic devices 300 to 320. It may be configured to include.

도 1을 참조하면, 영상 표시 장치(100)는 방송 수신 기능에 컴퓨터 지원 기능을 추가한 지능형 영상 표시 장치로서, 방송 수신 기능에 충실하면서도 인터넷 기능 등이 추가되어, 수기 방식의 입력 장치, 터치 스크린 또는 공간 리모콘 등 보다 사용에 편리한 인터페이스를 갖출 수 있다. 그리고, 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹브라우징, 뱅킹 또는 게임 등의 기능도 수행가능하다. 이러한 다양한 기능을 위해 표준화된 범용 OS가 사용될 수 있다.Referring to FIG. 1, the video display device 100 is an intelligent video display device in which a computer support function is added to a broadcast reception function. The video display device 100 is faithful to the broadcast reception function and has an Internet function added thereto. Or it can be equipped with a more convenient interface, such as a space remote control. In addition, by being connected to the Internet and a computer with the support of a wired or wireless Internet function, it is possible to perform functions such as e-mail, web browsing, banking or gaming. A standardized general-purpose OS can be used for these various functions.

따라서 본 발명의 일실시예에 따른 영상 표시 장치(100)는, 예를 들어 범용의 OS 커널 상에, 다양한 애플리케이션이 자유롭게 추가되거나 삭제 가능하므로, 사용자 친화적인 다양한 기능이 수행될 수 있다. 상기 영상 표시 기기는, 보다 구체적으로 예를 들면, 네트워크 TV, HBBTV, 스마트 TV 등이 될 수 있으며, 경우에 따라 스마트폰에도 적용 가능하다.Accordingly, the video display device 100 according to an embodiment of the present invention may freely add or delete various applications, for example, on a general-purpose OS kernel, and thus may perform various user-friendly functions. More specifically, the video display device may be, for example, a network TV, an HBBTV, a smart TV, or the like, and may be applied to a smartphone according to circumstances.

한편, 휴대용 단말기(200)는 영상 표시 장치(100)의 동작을 제어하기 위한 원격 제어 장치일 수 있으나, 본 발명은 이에 한정되지 아니하며, 스마트폰 등과 같은 이동통신 단말기이나 태블릿 PC 등과 같은 휴대 가능한 다양한 장치들일 수 있다.On the other hand, the portable terminal 200 may be a remote control device for controlling the operation of the image display device 100, the present invention is not limited to this, and various portable devices such as a mobile communication terminal or a tablet PC, such as a smartphone Devices.

본 발명의 일실시예에 따르면, 휴대용 단말기(200)는 영상 표시 장치(100) 뿐 아니라, 주변에 위치하는 다양한 전자 기기들(300 내지 320)의 동작을 제어하는 기능을 수행할 수 있다.According to an embodiment of the present invention, the portable terminal 200 may control not only the image display device 100 but also the operations of various electronic devices 300 to 320 located nearby.

또한, 영상 표시 장치(100)는 인터넷 등과 같은 유무선 네트워크를 이용해 인터넷 서버(400)에 연결되어, 컨텐츠 제공자(CP, Contents Provider)로부터 영화, 음악, 게임, 애플리케이션 등의 다양한 컨텐츠들을 수신할 수 있다.In addition, the video display device 100 may be connected to the Internet server 400 using a wired or wireless network such as the Internet, and receive various contents such as movies, music, games, applications, etc. from a content provider (CP). .

도 2는 본 발명의 실시예에 따른 영상 표시 장치의 구성을 블록도로 도시한 것으로, 도시된 영상 표시 장치(100)는 방송 수신부(130), 외부장치 인터페이스부(135), 저장부(140), 사용자입력 인터페이스부(150), 제어부(170), 디스플레이부(180), 오디오 출력부(185), 전원공급부(190)를 포함할 수 있다. 한편, 방송 수신부(130)는 튜너(131), 복조부(132) 및 네트워크 인터페이스부(133)를 포함할 수 있다. 2 is a block diagram illustrating a configuration of an image display apparatus according to an exemplary embodiment of the present invention. The image display apparatus 100 illustrated in FIG. 2 includes a broadcast receiver 130, an external device interface 135, and a storage 140. , A user input interface unit 150, a controller 170, a display unit 180, an audio output unit 185, and a power supply unit 190. Meanwhile, the broadcast receiver 130 may include a tuner 131, a demodulator 132, and a network interface unit 133.

도 2를 참조하면, 튜너(131)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기저장된 모든 채널에 해당하는 RF 방송 신호를 선택하며, 상기 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성신호로 변환할 수 있다.Referring to FIG. 2, the tuner 131 selects an RF broadcast signal corresponding to a channel selected by a user or all pre-stored channels from a radio frequency (RF) broadcast signal received through an antenna, and selects the selected RF broadcast signal. It can be converted into an intermediate frequency signal or a baseband video or audio signal.

예를 들어, 튜너(131)는 상기 선택된 RF 방송 신호가 디지털 방송 신호이면 디지털 IF 신호(DIF)로 변환하고, 아날로그 방송 신호이면 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)로 변환할 수 있다.For example, the tuner 131 may convert the selected RF broadcast signal into a digital IF signal (DIF) if the selected RF broadcast signal is a digital broadcast signal, and convert it into an analog baseband video or audio signal (CVBS / SIF) if the analog broadcast signal is a digital broadcast signal. .

즉, 튜너(131)는 디지털 방송 신호 또는 아날로그 방송 신호를 모두 처리할 수 있으며, 튜너(131)에서 출력되는 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)는 제어부(170)로 직접 입력될 수 있다.That is, the tuner 131 may process both a digital broadcast signal or an analog broadcast signal, and the analog baseband video or audio signal CVBS / SIF output from the tuner 131 may be directly input to the controller 170. have.

또한, 튜너(131)는 ATSC(Advanced Television System Committee) 방식에 따른 단일 캐리어의 RF 방송 신호 또는 DVB(Digital Video Broadcasting) 방식에 따른 복수 캐리어의 RF 방송 신호를 수신할 수 있다. In addition, the tuner 131 may receive an RF broadcast signal of a single carrier according to an Advanced Television System Committee (ATSC) scheme or an RF broadcast signal of multiple carriers according to a digital video broadcasting (DVB) scheme.

한편, 튜너(131)는 안테나를 통해 수신되는 RF 방송 신호 중 채널 기억 기능을 통하여 저장된 모든 방송 채널의 RF 방송 신호를 순차적으로 선택하여 이를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환할 수 있다. Meanwhile, the tuner 131 may sequentially select RF broadcast signals of all broadcast channels stored through a channel memory function among RF broadcast signals received through an antenna and convert the RF broadcast signals into intermediate frequency signals or baseband video or audio signals. .

복조부(132)는 튜너(131)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행할 수 있다. 예를 들어, 튜너(131)에서 출력되는 디지털 IF 신호가 ATSC 방식인 경우, 복조부(132)는 8-VSB(8-Vestigal Side Band) 복조를 수행할 수 있다.The demodulator 132 may perform a demodulation operation by receiving the digital IF signal DIF converted by the tuner 131. For example, when the digital IF signal output from the tuner 131 is an ATSC scheme, the demodulator 132 may perform 8-VSB (8-Vestigal Side Band) demodulation.

또한, 복조부(132)는 채널 복호화를 수행할 수도 있으며, 그를 위해 트렐리스 디코더(Trellis Decoder), 디인터리버(De-interleaver), 및 리드 솔로먼 디코더(Reed Solomon Decoder) 등을 구비하여 트렐리스 복호화, 디인터리빙, 및 리드 솔로먼 복호화를 수행할 수 있다.In addition, the demodulator 132 may perform channel decoding, and includes a trellis decoder, a de-interleaver, a reed solomon decoder, and the like. Release decoding, deinterleaving, and read solo decoding may be performed.

예를 들어, 튜너(131)에서 출력되는 디지털 IF 신호가 DVB 방식인 경우, 복조부(132)는 COFDMA(Coded Orthogonal Frequency Division Modulation) 복조를 수행할 수 있다.For example, when the digital IF signal output from the tuner 131 is a DVB scheme, the demodulator 132 may perform coded orthogonal frequency division modulation (COFDMA) demodulation.

또한, 복조부(132)는 채널 복호화를 수행할 수도 있으며, 그를 위해 컨벌루션 디코더(convolution decoder), 디인터리버, 및 리드-솔로먼 디코더 등을 구비하여 컨벌루션 복호화, 디인터리빙, 및 리드 솔로먼 복호화를 수행할 수 있다.In addition, the demodulator 132 may perform channel decoding, and includes a convolution decoder, a deinterleaver, a reed-soloman decoder, and the like for convolutional decoding, deinterleaving, and reed soloman decoding. Can be done.

복조부(132)는 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있으며, 상기 스트림 신호는 영상 신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다.The demodulator 132 may output a stream signal TS after demodulation and channel decoding, and the stream signal may be a signal multiplexed with a video signal, an audio signal, or a data signal.

예를 들어, 상기 스트림 신호는 MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transport Stream)일수 있다. 구체적으로, 상기 MPEG-2 TS는 4 바이트(byte)의 헤더와 184 바이트의 페이로드(payload)를 포함할 수 있다.For example, the stream signal may be an MPEG-2 Transport Stream (TS) multiplexed with an MPEG-2 standard video signal, a Dolby AC-3 standard audio signal, and the like. In detail, the MPEG-2 TS may include a header of 4 bytes and a payload of 184 bytes.

한편, 복조부(132)는 ATSC 방식과, DVB 방식에 따라 ATSC 복조부 및 DVB 복조부를 각각 별개로 포함할 수 있다.Meanwhile, the demodulator 132 may separately include the ATSC demodulator and the DVB demodulator according to the ATSC scheme and the DVB scheme.

복조부(132)로부터 출력된 상기 스트림 신호는 제어부(170)로 입력될 수 있으며, 제어부(170)는 역다중화, 영상/음성 신호 처리 등을 수행한 후 디스플레이부(180)에 영상을 출력하고, 오디오 출력부(185)로 음성을 출력할 수 있다.The stream signal output from the demodulator 132 may be input to the controller 170. The controller 170 outputs an image to the display unit 180 after performing demultiplexing, image / audio signal processing, and the like. The voice may be output to the audio output unit 185.

외부장치 인터페이스부(135)는 외부 장치와 영상 표시 장치(100)를 접속할 수 있으며, 그를 위해 A/V 입출력부(미도시) 또는 무선 통신부(미도시) 등을 포함할 수 있다.The external device interface unit 135 may connect the external device to the image display device 100, and may include an A / V input / output unit (not shown) or a wireless communication unit (not shown).

외부장치 인터페이스부(135)는 DVD(Digital Versatile Disk), 블루레이(Blu ray), 게임기기, 카메라, 캠코더, 컴퓨터(노트북) 등과 같은 외부 장치와 유/무선으로 접속될 수 있다.The external device interface unit 135 may be connected to an external device such as a digital versatile disk (DVD), a Blu-ray, a game device, a camera, a camcorder, a computer (laptop), or the like by wire / wireless.

또한, 외부장치 인터페이스부(135)는 연결된 외부 장치를 통하여 외부에서 입력되는 영상, 음성 또는 데이터 신호를 영상 표시 장치(100)의 제어부(170)로 전달하며, 제어부(170)에서 처리된 영상, 음성 또는 데이터 신호를 연결된 외부 장치로 출력할 수 있다.In addition, the external device interface unit 135 transmits an externally input image, audio, or data signal to the controller 170 of the video display device 100, and processes the image, processed by the controller 170, The voice or data signal can be output to a connected external device.

상기 A/V 입출력부는 외부 장치의 영상 및 음성 신호를 영상 표시 장치(100)로 입력할 수 있도록, USB 단자, CVBS(Composite Video Banking Sync) 단자, 컴포넌트 단자, S-비디오 단자(아날로그), DVI(Digital Visual Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, RGB 단자, D-SUB 단자 등을 포함할 수 있다.The A / V input / output unit may use a USB terminal, a Composite Video Banking Sync (CVBS) terminal, a component terminal, an S-video terminal (analog), and a DVI to input video and audio signals of an external device to the video display device 100. (Digital Visual Interface) terminal, HDMI (High Definition Multimedia Interface) terminal, RGB terminal, D-SUB terminal and the like.

한편, 상기 무선 통신부는 다른 전자기기와 근거리 무선 통신을 수행할 수 있다. 예를 들어, 영상 표시 장치(100)는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), DLNA (Digital Living Network Alliance) 등의 통신 규격에 따라 다른 전자기기와 네트워크 연결될 수 있다.The wireless communication unit may perform short range wireless communication with another electronic device. For example, the video display device 100 may include Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and Digital Living Network Alliance. It can be networked with other electronic devices according to communication standards.

또한, 외부장치 인터페이스부(135)는 다양한 셋탑 박스와 상술한 각종 단자 중 적어도 하나를 통해 접속되어, 셋탑 박스와 입력/출력 동작을 수행할 수도 있다. In addition, the external device interface unit 135 may be connected through various set top boxes and at least one of the various terminals described above to perform input / output operations with the set top box.

한편, 외부장치 인터페이스부(135)는 인접하는 외부 장치 내의 애플리케이션 또는 애플리케이션 목록을 수신하여, 제어부(170) 또는 저장부(140)로 전달할 수 있다.Meanwhile, the external device interface unit 135 may receive an application or a list of applications in a neighboring external device and transmit the received application or list to the controller 170 or the storage 140.

네트워크 인터페이스부(133)는 영상 표시 장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 예를 들어, 네트워크 인터페이스부(133)는 유선 네트워크와의 접속을 위해 이더넷(Ethernet) 단자 등을 구비할 수 있으며, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 통신 규격 등을 이용하여 무선 네트워크에 접속할 수 있다.The network interface unit 133 may provide an interface for connecting the video display device 100 to a wired / wireless network including an internet network. For example, the network interface unit 133 may include an Ethernet terminal for connection with a wired network, and may include a wireless LAN (WLAN), a Wi-Fi, a Wibro, and a Wimax (World). Interoperability for Microwave Access (HSDPA) and High Speed Downlink Packet Access (HSDPA) communication standards can be used to access wireless networks.

한편, 네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다. Meanwhile, the network interface unit 133 may transmit or receive data with another user or another electronic device through the connected network or another network linked to the connected network.

또한, 영상 표시 장치(100)에 미리 등록된 다른 사용자 또는 다른 전자 기기 중 선택된 사용자 또는 선택된 전자기기에, 영상 표시 장치(100)에 저장된 일부의 컨텐츠 데이터를 송신할 수 있다.In addition, some content data stored in the image display apparatus 100 may be transmitted to another user who is registered in advance in the image display apparatus 100 or a user selected among other electronic apparatuses or a selected electronic apparatus.

네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다.The network interface unit 133 may access a predetermined web page through a connected network or another network linked to the connected network. That is, by accessing a predetermined web page through the network, it is possible to send or receive data with the server.

그리고, 네트워크 인터페이스부(133)는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크 인터페이스부(133)는 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다.In addition, the network interface unit 133 may receive content or data provided by a content provider or a network operator. That is, the network interface unit 133 may receive content such as a movie, an advertisement, a game, a VOD, a broadcast signal, and related information provided from a content provider or a network provider through a network.

또한, 네트워크 인터페이스부(133)는 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있으며, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.In addition, the network interface unit 133 may receive the update information and the update file of the firmware provided by the network operator, and may transmit data to the Internet or the content provider or the network operator.

네트워크 인터페이스부(133)는 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다. The network interface unit 133 may select and receive a desired application from among applications that are open to the public through the network.

저장부(140)는 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램을 저장하고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수 있다.The storage unit 140 may store a program for processing and controlling each signal in the controller 170, and may store a signal-processed video, audio, or data signal.

또한, 저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있으며, 채널 기억 기능을 통하여 소정 방송 채널에 관한 정보를 저장할 수도 있다.In addition, the storage unit 140 may perform a function for temporarily storing an image, audio, or data signal input from the external device interface unit 135 or the network interface unit 133. Information about a broadcast channel may be stored.

저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 애플리케이션 또는 애플리케이션 목록을 저장할 수 있다.The storage unit 140 may store an application or a list of applications input from the external device interface unit 135 or the network interface unit 133.

저장부(140)는 예를 들어 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.The storage unit 140 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, an SD or XD memory Etc.), RAM, ROM (EEPROM, etc.), and the like.

영상 표시 장치(100)는 저장부(140) 내에 저장되어 있는 컨텐츠 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.The video display device 100 may play a content file (video file, still image file, music file, document file, application file, etc.) stored in the storage 140 and provide the same to the user.

사용자입력 인터페이스부(150)는 사용자가 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달할 수 있다. 예를 들어, 사용자입력 인터페이스부(150)는 RF(Radio Frequency) 통신 방식 또는 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 휴대용 단말기(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호를 수신하여 처리하거나, 제어부(170)로부터의 제어 신호를 휴대용 단말기(200)로 송신하도록 처리할 수 있다.The user input interface unit 150 may transmit a signal input by the user to the controller 170, or may transmit a signal from the controller 170 to the user. For example, the user input interface unit 150 may power on / off, channel selection, screen setting, etc. from the portable terminal 200 according to various communication methods such as a radio frequency (RF) communication or an infrared (IR) communication method. The control signal may be received and processed, or may be processed to transmit the control signal from the controller 170 to the portable terminal 200.

또한, 사용자입력 인터페이스부(150)는, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 제어 신호를 제어부(170)에 전달할 수 있다.In addition, the user input interface unit 150 may transmit a control signal input from a local key (not shown) such as a power key, a channel key, a volume key, and a set value to the controller 170.

예를 들어, 사용자입력 인터페이스부(150)는 사용자의 제스처를 센싱하는 센싱부(미도시)로부터 입력되는 제어 신호를 제어부(170)에 전달하거나, 제어부(170)로부터의 신호를 센싱부(미도시)로 송신할 수 있다. 한편, 상기 센싱부(미도시)는 터치 센서, 음성 센서, 위치 센서, 동작 센서 등을 포함할 수 있다. For example, the user input interface unit 150 transmits a control signal input from a sensing unit (not shown) that senses a user's gesture to the controller 170 or transmits a signal from the controller 170 to the sensing unit (not shown). Can be sent. The sensing unit (not shown) may include a touch sensor, a voice sensor, a position sensor, an operation sensor, and the like.

제어부(170)는 튜너(131) 또는 복조부(132) 또는 외부장치 인터페이스부(135)로부터 입력되는 스트림을 역다중화하거나, 역다중화된 신호들을 처리하여, 영상 또는 음성 출력을 위한 신호를 생성 및 출력할 수 있다.The controller 170 demultiplexes the stream input from the tuner 131 or the demodulator 132 or the external device interface unit 135, or processes the demultiplexed signals to generate a signal for video or audio output. You can print

제어부(170)에서 영상 처리된 영상 신호는 디스플레이부(180)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.The image signal processed by the controller 170 may be input to the display unit 180 and displayed as an image corresponding to the image signal. The video signal processed by the controller 170 may be input to the external output device through the external device interface 135. [

제어부(170)에서 처리된 음성 신호는 오디오 출력부(185)로 오디오 출력될 수 있다. 또한, 제어부(170)에서 처리된 음성 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다. The audio signal processed by the control unit 170 may be output to the audio output unit 185 through audio. In addition, the voice signal processed by the controller 170 may be input to the external output device through the external device interface unit 135.

도 2에서는 도시되어 있지 않으나, 제어부(170)는 역다중화부, 영상처리부 등을 포함할 수 있다.Although not shown in FIG. 2, the controller 170 may include a demultiplexer, an image processor, and the like.

그 외, 제어부(170)는, 영상 표시 장치(100) 내의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(170)는, 튜너(131)를 제어하여, 사용자가 선택한 채널 또는 기저장된 채널에 해당하는 RF 방송을 선택(Tuning)하도록 제어할 수 있다. In addition, the controller 170 may control overall operations of the video display device 100. For example, the controller 170 may control the tuner 131 so as to select an RF broadcast corresponding to a channel selected by a user or a pre-stored channel.

또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 영상 표시 장치(100)를 제어할 수 있으며, 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 영상 표시 장치(100) 내로 다운받을 수 있도록 할 수 있다.In addition, the controller 170 may control the image display apparatus 100 by a user command or an internal program input through the user input interface unit 150, and access the network to display an application or a list of applications desired by the user. The display device 100 may be downloaded into the display device 100.

예를 들어, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 수신한 소정 채널 선택 명령에 따라 선택한 채널의 신호가 입력되도록 튜너(131)를 제어하며, 선택한 채널의 영상, 음성 또는 데이터 신호를 처리할 수 있다.For example, the controller 170 controls the tuner 131 so that a signal of a selected channel is input according to a predetermined channel selection command received through the user input interface unit 150, and an image, audio or data signal of the selected channel. Can be processed.

제어부(170)는 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이부(180) 또는 오디오 출력부(185)를 통하여 출력될 수 있도록 한다.The controller 170 may output the channel information selected by the user together with the processed video or audio signal through the display unit 180 or the audio output unit 185.

또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부장치 인터페이스부(135)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이부(180) 또는 오디오 출력부(185)를 통해 출력될 수 있도록 한다.In addition, the controller 170 may output an external device input through the external device interface unit 135, for example, from a camera or a camcorder, according to an external device image playback command received through the user input interface unit 150. The video signal or the audio signal may be output through the display unit 180 or the audio output unit 185.

한편, 제어부(170)는 영상을 표시하도록 디스플레이부(180)를 제어할 수 있으며, 예를 들어 튜너(131)를 통해 입력되는 방송 영상, 또는 외부장치 인터페이스부(135)를 통해 입력되는 외부 입력 영상, 또는 네트워크 인터페이스부를 통해 입력되는 영상, 또는 저장부(140)에 저장된 영상이 디스플레이부(180)에서 표시되도록 제어할 수 있다. 이 경우, 디스플레이부(180)에 표시되는 영상은 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.Meanwhile, the controller 170 may control the display unit 180 to display an image, for example, a broadcast image input through the tuner 131 or an external input input through the external device interface 135. An image, an image input through a network interface unit, or an image stored in the storage 140 may be controlled to be displayed on the display unit 180. In this case, the image displayed on the display unit 180 may be a still image or a video, and may be a 2D image or a 3D image.

또한, 제어부(170)는 영상 표시 장치(100) 내에 저장된 컨텐츠, 또는 수신된 방송 컨텐츠, 외부로 부터 입력되는 외부 입력 컨텐츠가 재생되도록 제어할 수 있으며, 상기 컨텐츠는 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 등 다양한 형태일 수 있다.In addition, the controller 170 may control the content stored in the image display apparatus 100, the received broadcast content, or the external input content input from the outside to be played, and the content may be a broadcast image, an external input image, or audio. It may be in various forms such as a file, a still image, a connected web screen, and a document file.

도 3은 휴대용 단말기를 이용하여 영상 표시 장치의 동작을 제어하는 방법에 대한 일실시예를 도시한 것으로, 휴대용 단말기(200)가 영상 표시 장치(100)의 동작을 제어하기 위한 원격 제어 장치의 기능을 수행하는 경우를 나타낸 것이다.3 illustrates an embodiment of a method of controlling an operation of an image display apparatus using a portable terminal, and a function of a remote control apparatus for the portable terminal 200 to control an operation of the image display apparatus 100. It shows the case of performing.

도 3의 (a)에 도시된 바와 같이, 휴대용 단말기(200)에 대응하는 포인터(205)가 디스플레이부(180)에 표시되는 것을 예시한다.As illustrated in FIG. 3A, a pointer 205 corresponding to the portable terminal 200 is displayed on the display unit 180.

사용자는 휴대용 단말기(200)를 상하, 좌우, 앞뒤로 움직이거나 회전할 수 있다. 영상표시기기의 디스플레이부(180)에 표시된 포인터(205)는 휴대용 단말기(200)의 움직임에 대응한다. 이러한 휴대용 단말기(200)는, 도면과 같이, 3D 공간 상의 움직임에 따라 해당 포인터(205)가 이동되어 표시되므로, 공간 리모콘이라 명명할 수 있다. The user may move or rotate the portable terminal 200 up, down, left, and right. The pointer 205 displayed on the display unit 180 of the image display device corresponds to the movement of the portable terminal 200. The portable terminal 200 may be referred to as a spatial remote controller because the pointer 205 is moved and displayed according to the movement in the 3D space as shown in the figure.

도 3의 (b)는 사용자가 휴대용 단말기(200)를 왼쪽으로 이동하면, 영상표시기기의 디스플레이부(180)에 표시된 포인터(205)도 이에 대응하여 왼쪽으로 이동하는 것을 예시한다. 3B illustrates that when the user moves the portable terminal 200 to the left side, the pointer 205 displayed on the display unit 180 of the image display apparatus also moves to the left side correspondingly.

휴대용 단말기(200)의 센서를 통하여 감지된 휴대용 단말기(200)의 움직임에 관한 정보는 영상표시기기로 전송된다. 영상표시기기는 휴대용 단말기(200)의 움직임에 관한 정보로부터 포인터(205)의 좌표를 산출할 수 있다. 영상표시기기는 산출한 좌표에 대응하도록 포인터(205)를 표시할 수 있다.Information about the movement of the portable terminal 200 detected through the sensor of the portable terminal 200 is transmitted to the image display device. The image display device may calculate the coordinates of the pointer 205 from the information about the movement of the portable terminal 200. The image display device may display the pointer 205 to correspond to the calculated coordinates.

도 3의 (c)는, 휴대용 단말기(200) 내의 특정 버튼을 누른 상태에서, 사용자가 휴대용 단말기(200)를 디스플레이부(180)에서 멀어지도록 이동하는 경우를 예시한다. 이에 의해, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌인되어 확대 표시될 수 있다.3C illustrates a case in which the user moves the portable terminal 200 away from the display unit 180 while pressing a specific button in the portable terminal 200. As a result, the selection area in the display unit 180 corresponding to the pointer 205 may be zoomed in to be enlarged and displayed.

이와 반대로, 사용자가 휴대용 단말기(200)를 디스플레이부(180)에 가까워지도록 이동하는 경우, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌아웃되어 축소 표시될 수 있다.On the contrary, when the user moves the portable terminal 200 closer to the display unit 180, the selection area in the display unit 180 corresponding to the pointer 205 may be zoomed out and reduced.

한편, 휴대용 단말기(200)가 디스플레이부(180)에서 멀어지는 경우, 선택 영역이 줌아웃되고, 휴대용 단말기(200)가 디스플레이부(180)에 가까워지는 경우, 선택 영역이 줌인될 수도 있다.Meanwhile, when the portable terminal 200 moves away from the display unit 180, the selection area is zoomed out, and when the portable terminal 200 approaches the display unit 180, the selection area may be zoomed in.

또한, 휴대용 단말기(200) 내의 특정 버튼을 누른 상태에서는 상하, 좌우 이동의 인식이 배제될 수 있다. 즉, 휴대용 단말기(200)가 디스플레이부(180)에서 멀어지거나 접근하도록 이동하는 경우, 상, 하, 좌, 우 이동은 인식되지 않고, 앞뒤 이동만 인식되도록 할 수 있다. 휴대용 단말기(200) 내의 특정 버튼을 누르지 않은 상태에서는, 휴대용 단말기(200)의 상, 하, 좌, 우 이동에 따라 포인터(205)만 이동하게 된다. In addition, recognition of up, down, left and right movements may be excluded when a specific button in the portable terminal 200 is pressed. That is, when the portable terminal 200 moves away from or approaches the display unit 180, the up, down, left, and right movements are not recognized, and only the front and back movements may be recognized. In a state where a specific button in the portable terminal 200 is not pressed, only the pointer 205 moves according to the up, down, left, and right movement of the portable terminal 200.

한편, 포인터(205)의 이동속도나 이동방향은 휴대용 단말기(200)의 이동속도나 이동방향에 대응할 수 있다.Meanwhile, the moving speed or the moving direction of the pointer 205 may correspond to the moving speed or the moving direction of the portable terminal 200.

한편, 본 명세서에서의 포인터는, 휴대용 단말기(200)의 동작에 대응하여, 디스플레이부(180)에 표시되는 오브젝트를 의미한다. 따라서, 포인터(205)로 도면에 도시된 화살표 형상 외에 다양한 형상의 오브젝트가 가능하다. 예를 들어, 점, 커서, 프롬프트, 두꺼운 외곽선 등을 포함하는 개념일 수 있다. 그리고, 포인터(205)가 디스플레이부(180) 상의 가로축과 세로축 중 어느 한 지점(point)에 대응하여 표시되는 것은 물론, 선(line), 면(surface) 등 복수 지점에 대응하여 표시되는 것도 가능하다.Meanwhile, the pointer in the present specification means an object displayed on the display unit 180 in response to the operation of the portable terminal 200. Thus, the pointer 205 may be an object of various shapes in addition to the arrow shape shown in the drawing. For example, the concept may include a point, a cursor, a prompt, a thick outline, and the like. In addition, the pointer 205 may be displayed corresponding to any one of the horizontal axis and the vertical axis of the display unit 180, or may be displayed corresponding to a plurality of points such as a line and a surface. Do.

도 4는 본 발명의 실시예에 따른 휴대용 단말기의 구성을 블록도로 도시한 것으로, 도시된 휴대용 단말기(200)는 무선통신부(225), 사용자 입력부(235), 센서부(240), 출력부(250), 전원공급부(260), 저장부(270), 제어부(280)를 포함할 수 있다.4 is a block diagram illustrating a configuration of a portable terminal according to an exemplary embodiment of the present invention. The portable terminal 200 illustrated includes a wireless communication unit 225, a user input unit 235, a sensor unit 240, and an output unit ( 250, a power supply unit 260, a storage unit 270, and a controller 280 may be included.

도 4을 참조하면, 무선통신부(225)는 전술하여 설명한 본 발명의 실시예들에 따른 영상표시기기 중 임의의 어느 하나와 신호를 송수신한다.4, the wireless communication unit 225 transmits and receives a signal with any one of the image display device according to the embodiments of the present invention described above.

휴대용 단말기(200)는 RF 통신규격에 따라 영상표시기기(100)와 신호를 송수신할 수 있는 RF 모듈(221)을 구비하며, IR 통신규격에 따라 영상표시기기(100)와 신호를 송수신할 수 있는 IR 모듈(223)을 구비할 수 있다. The portable terminal 200 includes an RF module 221 that can transmit and receive a signal to and from the image display device 100 according to the RF communication standard, and can transmit and receive a signal to and from the image display device 100 according to the IR communication standard. IR module 223 can be provided.

또한, 휴대용 단말기(200)는 영상표시기기(100)로 휴대용 단말기(200)의 움직임 등에 관한 정보가 담긴 신호를 RF 모듈(221)을 통하여 전송한다. In addition, the portable terminal 200 transmits a signal containing information on the movement of the portable terminal 200 to the image display apparatus 100 through the RF module 221.

한편, 휴대용 단말기(200)는 영상표시기기(100)가 전송한 신호를 RF 모듈(221)을 통하여 수신할 수 있으며, 필요에 따라 IR 모듈(223)을 통하여 영상표시기기(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.Meanwhile, the portable terminal 200 may receive a signal transmitted from the image display device 100 through the RF module 221 and, if necessary, turn on the power to the image display device 100 through the IR module 223. Commands regarding on / off, channel change, volume change, etc. can be sent.

사용자 입력부(235)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력부(235)를 조작하여 휴대용 단말기(200)으로 영상표시기기(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(235)가 하드키 버튼을 구비할 경우 사용자는 하드키 버튼의 푸쉬 동작을 통하여 휴대용 단말기(200)으로 영상표시기기(100)와 관련된 명령을 입력할 수 있다.The user input unit 235 may be configured as a keypad, a button, a touch pad, or a touch screen. The user may input a command related to the image display apparatus 100 to the portable terminal 200 by manipulating the user input unit 235. When the user input unit 235 includes a hard key button, the user may input a command related to the image display device 100 to the portable terminal 200 through a push operation of the hard key button.

사용자 입력부(235)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트키를 터치하여 휴대용 단말기(200)으로 영상표시기기(100)와 관련된 명령을 입력할 수 있다. 또한, 사용자 입력부(235)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수 있으며 본 실시예는 본 발명의 권리범위를 제한하지 아니한다.When the user input unit 235 includes a touch screen, a user may input a command related to the image display device 100 to the portable terminal 200 by touching a soft key of the touch screen. In addition, the user input unit 235 may include various kinds of input means that the user can operate, such as a scroll key or a jog key, and the present embodiment does not limit the scope of the present invention.

본 발명의 실시예에 따르면, 휴대용 단말기(200)는 카메라(236)와 마이크(237)을 포함할 수 있다.According to an embodiment of the present invention, the portable terminal 200 may include a camera 236 and a microphone 237.

카메라(236)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 획득되는 정지영상 또는 동영상 등의 화상 프레임을 처리하며, 상기 처리된 영상은 디스플레이 모듈(257)을 통해 표시될 수 있다.The camera 236 processes an image frame such as a still image or a video obtained by an image sensor in a video call mode or a photographing mode, and the processed image may be displayed through the display module 257.

또한, 카메라(236)를 획득된 영상은 저장부(270)에 저장되거나 RF 모듈(221)을 통해 영상 표시 장치(100) 등과 같은 외부 장치로 전송될 수 있다. 또한, 카메라(236)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.In addition, the image obtained by the camera 236 may be stored in the storage unit 270 or transmitted to an external device such as the image display device 100 through the RF module 221. In addition, two or more cameras 236 may be provided according to a configuration aspect of the terminal.

한편, 마이크(237)는 통화 모드 또는 녹음 모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부, 예를 들어 사용자의 음성을 인식하여 획득한 후 전기적인 음성 데이터로 처리한다.On the other hand, the microphone 237 recognizes an external, for example, user's voice by a microphone in a call mode, a recording mode, a voice recognition mode, or the like, and processes the voice into electrical voice data.

센서부(240)는 자이로 센서(241) 또는 가속도 센서(243)를 구비할 수 있으며, 자이로 센서(241)는 휴대용 단말기(200)의 움직임에 관한 정보를 센싱할 수 있다. The sensor unit 240 may include a gyro sensor 241 or an acceleration sensor 243, and the gyro sensor 241 may sense information about the movement of the portable terminal 200.

예를 들어, 자이로 센서(241)는 휴대용 단말기(200)의 동작에 관한 정보를 x,y,z 축을 기준으로 센싱할 수 있으며, 가속도 센서(243)는 휴대용 단말기(200)의 이동속도 등에 관한 정보를 센싱할 수 있다. 한편, 휴대용 단말기(200)는 거리측정센서를 더 구비할 수 있여, 영상 표시 장치(100)의 디스플레이부(180)와의 거리를 센싱할 수 있다.For example, the gyro sensor 241 may sense information about the operation of the portable terminal 200 based on the x, y, and z axes, and the acceleration sensor 243 may be related to the moving speed of the portable terminal 200. Information can be sensed. Meanwhile, the portable terminal 200 may further include a distance measuring sensor, and may sense a distance from the display unit 180 of the image display apparatus 100.

출력부(250)는 사용자 입력부(235)의 조작에 대응하거나 영상표시기기(100)에서 전송한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다. 출력부(250)를 통하여 사용자는 사용자 입력부(235)의 조작 여부 또는 영상표시기기(100)의 제어 여부를 인지할 수 있다. The output unit 250 may output a video or audio signal corresponding to a manipulation of the user input unit 235 or a signal transmitted from the image display apparatus 100. The user may recognize whether the user input unit 235 is manipulated or whether the image display device 100 is controlled through the output unit 250.

예를 들어, 출력부(250)는 사용자 입력부(235)가 조작되거나 무선 통신부(225)를 통하여 영상표시기기(100)와 신호가 송수신되면 점등되는 LED 모듈(251), 진동을 발생하는 진동 모듈(253), 음향을 출력하는 음향 출력 모듈(255), 또는 영상을 출력하는 디스플레이 모듈(257)을 구비할 수 있다. For example, the output unit 250 is an LED module 251 that is turned on when the user input unit 235 is operated or a signal is transmitted and received with the image display device 100 through the wireless communication unit 225, the vibration module for generating a vibration 253, a sound output module 255 for outputting sound, or a display module 257 for outputting an image.

또한, 전원공급부(260)는 휴대용 단말기(200)으로 전원을 공급하며, 휴대용 단말기(200)이 소정 시간 동안 움직이지 않은 경우 전원 공급을 중단함으로서 전원 낭비를 줄일 수 있다. 전원공급부(260)는 휴대용 단말기(200)에 구비된 소정 키가 조작된 경우에 전원 공급을 재개할 수 있다.In addition, the power supply unit 260 supplies power to the portable terminal 200, and can reduce power waste by stopping the power supply when the portable terminal 200 does not move for a predetermined time. The power supply unit 260 may resume power supply when a predetermined key provided in the portable terminal 200 is operated.

저장부(270)는 휴대용 단말기(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등이 저장될 수 있다. 만일 휴대용 단말기(200)가 영상표시기기(100)와 RF 모듈(221)을 통하여 무선으로 신호를 송수신할 경우 휴대용 단말기(200)과 영상표시기기(100)는 소정 주파수 대역을 통하여 신호를 송수신한다.The storage unit 270 may store various types of programs, application data, and the like necessary for controlling or operating the portable terminal 200. If the portable terminal 200 transmits and receives a signal wirelessly through the image display device 100 and the RF module 221, the portable terminal 200 and the image display device 100 transmit and receive signals through a predetermined frequency band. .

휴대용 단말기(200)의 제어부(280)는 휴대용 단말기(200)과 페어링된 영상표시기기(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 저장부(270)에 저장하고 참조할 수 있다.The controller 280 of the portable terminal 200 stores and refers to the storage unit 270 with information about a frequency band for wirelessly transmitting and receiving a signal with the image display device 100 paired with the portable terminal 200. Can be.

제어부(280)는 휴대용 단말기(200)의 제어에 관련된 제반사항을 제어한다. 제어부(280)는 사용자 입력부(235)의 소정 키 조작에 대응하는 신호 또는 센서부(240)에서 센싱한 휴대용 단말기(200)의 움직임에 대응하는 신호를 무선 통신부(225)를 통하여 영상표시기기(100)로 전송할 수 있다.The controller 280 controls various items related to the control of the portable terminal 200. The controller 280 transmits a signal corresponding to a predetermined key manipulation of the user input unit 235 or a signal corresponding to the movement of the portable terminal 200 sensed by the sensor unit 240 through the wireless communication unit 225 through the image display device ( 100).

도 4은 휴대용 단말기(200)의 구성에 대한 일실시예를 도시한 것으로, 본 발명은 이에 한정되지 아니하며, 필요에 따라 도 4에 도시된 구성 요소들 중 일부가 생략되거나 또는 하나 이상의 구성 요소들이 추가될 수 있다.4 illustrates an embodiment of the configuration of the portable terminal 200. The present invention is not limited thereto, and some of the components shown in FIG. 4 may be omitted or one or more components may be omitted. Can be added.

예를 들어, 휴대용 단말기(200)가 이동 통신 단말기인 경우, 상기 무선 통신부(225)는 방송 수신 모듈(미도시), 이동통신 모듈(미도시), 무선 인터넷 모듈(미도시), 근거리 통신 모듈(미도시) 또는 위치정보 모듈(미도시) 등을 더 포함하여 구성될 수 있다.For example, when the portable terminal 200 is a mobile communication terminal, the wireless communication unit 225 may include a broadcast receiving module (not shown), a mobile communication module (not shown), a wireless internet module (not shown), and a short range communication module. (Not shown) or location information module (not shown) may be further included.

본 발명의 실시예에 따르면, 휴대용 단말기(200)는 카메라(236)를 이용해 획득된 영상과 마이크(237)를 이용해 획득된 사용자 음성을 조합하여 제어하고자 하는 전자 기기(300)를 식별한 후, 상기 식별된 전자 기기에 대응되는 제어 코드를 이용해 전자 기기(300)를 제어할 수 있다.According to an embodiment of the present invention, the portable terminal 200 identifies the electronic device 300 to be controlled by combining the image acquired using the camera 236 and the user voice obtained using the microphone 237, The electronic device 300 may be controlled using a control code corresponding to the identified electronic device.

그에 따라, 사용자는 휴대용 단말기(200)를 이용해 영상 표시 장치(100) 뿐 아니라, 카메라를 이용한 촬영 및 음성을 통해 다양한 전자 기기들을 식별하여 제어할 수 있다.Accordingly, the user can identify and control not only the image display device 100 but also various electronic devices by using a camera and shooting by using the portable terminal 200.

이하, 도 5 내지 도 13을 참조하여 본 발명의 실시예에 따른 휴대용 단말기를 이용한 전자 기기 제어 방법에 대해 상세히 설명하기로 한다.Hereinafter, a method of controlling an electronic device using a portable terminal according to an embodiment of the present invention will be described in detail with reference to FIGS. 5 to 13.

도 5는 본 발명의 실시예에 따른 전자 기기 제어 방법을 흐름도로 도시한 것으로, 도시된 제어 방법을 도 4에 도시된 휴대용 단말기(200)의 구성을 나타내는 블록도와 결부시켜 설명하기로 한다.FIG. 5 is a flowchart illustrating a method for controlling an electronic device according to an embodiment of the present invention. The control method shown in FIG. 4 will be described with reference to a block diagram showing the configuration of the portable terminal 200 shown in FIG.

도 5를 참조하면, 휴대용 단말기(200)의 카메라(236)는 전자 기기가 촬영된 영상을 획득하고(S500 단계), 마이크(237)는 상기 전자 기기에 대한 정보를 포함하는 사용자 음성을 인식하여 획득한다(S510 단계).Referring to FIG. 5, the camera 236 of the portable terminal 200 acquires an image captured by the electronic device (step S500), and the microphone 237 recognizes a user voice including information about the electronic device. Acquire (step S510).

사용자는 휴대용 단말기(200)에 구비된 카메라(236)를 이용해 제어하고자 하는 전자 기기(300)를 촬영한 후, 휴대용 단말기(200)의 안내에 따라 자신이 알고 있는 전자 기기(300)에 대한 정보를 마이크(237)를 향해 음성으로 입력할 수 있다.The user photographs the electronic device 300 to be controlled by using the camera 236 provided in the mobile terminal 200, and then, according to the guidance of the portable terminal 200, information about the electronic device 300 that he / she knows. May be input to the microphone 237 by voice.

그 후, 제어부(280)는 상기 전자 기기 영상과 상기 사용자 음성으로부터 추출된 전자 기기 정보를 조합하여 전자 기기를 식별한다(S520 단계).Thereafter, the controller 280 identifies the electronic device by combining the electronic device image and the electronic device information extracted from the user voice (S520).

예를 들어, 제어부(280)는 카메라(236)로부터 출력되는 영상으로부터 전자 기기(300)의 제품명 또는 모델명 등과 같은 정보를 인식할 수 있으며, 그를 위해 상기 영상에 포함된 전자 기기(300)와 외형이 유사한 제품을 검색하기 위한 데이터 베이스가 저장부(270)에 구축되어 있거나, 상기 영상으로부터 전자 기기(300)의 제품명 또는 모델명을 인식하기 위한 문자 인식 알고리듬이 제어부(280)에 의해 수행될 수 있다.For example, the controller 280 may recognize information such as a product name or a model name of the electronic device 300 from an image output from the camera 236, and for this purpose, the controller 280 and the appearance of the electronic device 300 included in the image may be recognized. A database for searching for a similar product is built in the storage unit 270, or a character recognition algorithm for recognizing a product name or a model name of the electronic device 300 from the image may be performed by the controller 280. .

또한, 상기 S520 단계에서 수행되는 전자 기기 식별 과정은 휴대용 단말기(200)의 제어부(280)에서 직접 수행되지 아니할 수도 있다.In addition, the electronic device identification process performed in step S520 may not be directly performed by the controller 280 of the portable terminal 200.

예를 들어, 휴대용 단말기(200)의 카메라(236)를 통해 획득된 전자 기기(300)의 영상이 인터넷 서버(400)로 전송되어, 인터넷 서버(400)가 상기 전송된 영상을 이용해 데이터 베이스를 검색하거나 문자 인식 알고리듬을 수행함으로써 전자 기기(300)의 제품명 또는 모델명 등을 인식한 후 상기 인식된 전자 기기(300)에 대한 식별 정보를 휴대용 단말기(200)로 전송할 수도 있다.For example, an image of the electronic device 300 obtained through the camera 236 of the portable terminal 200 is transmitted to the internet server 400, so that the internet server 400 uses the transmitted image to generate a database. After recognizing a product name or a model name of the electronic device 300 by searching or performing a character recognition algorithm, the identification information of the recognized electronic device 300 may be transmitted to the portable terminal 200.

한편, 상기한 바와 같은 휴대용 단말기(200)와 인터넷 서버(400)와 사이의 영상 및 식별 정보 송수신은 인터넷 연결이 가능한 영상 표시 장치(100)를 통해 이루어질 수도 있다.On the other hand, the image and identification information transmission and reception between the portable terminal 200 and the Internet server 400 as described above may be made through the image display apparatus 100 that can be connected to the Internet.

또한, 상기한 바와 같은 방법에 의해 카메라(236)에 의해 획득된 영상을 이용하여 인식되는 전자 기기(300)에 대한 정보가 해당 전자 기기를 식별하기 위해 충분한 경우, 예를 들어 제어부(280)가 전자 기기(300)의 모델명을 확정할 수 있는 경우, 상기 S510 단계에서의 사용자 음성 인식 과정은 생략될 수도 있다.In addition, when the information on the electronic device 300 recognized using the image acquired by the camera 236 by the method as described above is sufficient to identify the electronic device, for example, the control unit 280 If the model name of the electronic device 300 can be determined, the user voice recognition process in step S510 may be omitted.

한편, 카메라(236)에 의해 획득된 영상을 이용하여 인식되는 전자 기기(300)에 대한 정보가 해당 전자 기기를 식별하기 위해 불충분한 경우, 예를 들어 제어부(280)가 전자 기기(300)의 모델명을 확정할 수 없는 경우, 제어부(280)는 상기 카메라(236)에 의해 획득된 영상으로부터 얻어지는 전자 기기(300)에 대한 정보와 마이크(237)를 통해 인식된 사용자 음성으로부터 추출되는 전자 기기(300)에 대한 정보를 조합하여 전자 기기(300)를 식별할 수 있다.On the other hand, when information on the electronic device 300 recognized using the image acquired by the camera 236 is insufficient to identify the electronic device, for example, the controller 280 of the electronic device 300 If the model name cannot be determined, the controller 280 may extract information about the electronic device 300 obtained from the image acquired by the camera 236 and the user's voice recognized through the microphone 237. The information about 300 may be combined to identify the electronic device 300.

예를 들어, 카메라(236)에 의해 획득된 영상을 이용하여 전자 기기(300)의 제품명이 식별된 후, 제어부(280)는 상기 사용자 음성으로부터 인식되는 전자 기기 정보를 이용하여 해당 제품에 속하는 모델명들 중에서 어느 하나를 선택할 수 있다.For example, after the product name of the electronic device 300 is identified using the image acquired by the camera 236, the controller 280 uses the electronic device information recognized from the user's voice to identify the model name belonging to the product. You can choose any one of these.

그 후, 제어부(280)는 상기 식별된 전자 기기에 대응되는 제어 코드를 이용해 제어 신호를 생성하고(S530 단계), 무선 통신부(225)는 상기 생성된 제어 신호를 전자 기기로 전송한다(S540 단계).Thereafter, the controller 280 generates a control signal using the control code corresponding to the identified electronic device (step S530), and the wireless communication unit 225 transmits the generated control signal to the electronic device (step S540). ).

예를 들어, 상기 S530 단계에서 식별된 전자 기기(300)를 제어하기 위한 제어 코드들이 저장부(270)에 저장되어 있는 경우, 제어부(280)는 상기 저장된 제어 코드들을 이용하여 사용자 요청에 대응되는 제어 신호를 생성할 수 있다.For example, when control codes for controlling the electronic device 300 identified in step S530 are stored in the storage unit 270, the controller 280 may respond to a user request using the stored control codes. A control signal can be generated.

한편, 전자 기기(300)를 제어하기 위한 제어 코드들이 저장부(270)에 저장되어 있지 않은 경우, 상기 제어 코드들을 포함하는 제어 프로그램이 외부로부터 다운로드되어 휴대용 단말기(200)에 설치된 후, 제어부(280)는 상기 설치된 제어 프로그램을 이용해 사용자 요청에 대응되는 제어 신호를 생성할 수 있다.Meanwhile, when control codes for controlling the electronic device 300 are not stored in the storage unit 270, a control program including the control codes is downloaded from the outside and installed in the portable terminal 200. 280 may generate a control signal corresponding to a user request using the installed control program.

도 6 내지 도 12는 휴대용 단말기를 이용하여 전자 기기를 제어하는 방법에 대한 실시예들을 도시한 것이다.6 to 12 illustrate embodiments of a method of controlling an electronic device using a portable terminal.

도 6을 참조하면, 사용자가 휴대용 단말기(200)에서 전자 기기 제어 기능을 실행시키는 경우, 휴대용 단말기(200)에 구비된 카메라(236)에 전원이 공급되면서 촬영 기능이 활성화될 수 있다.Referring to FIG. 6, when the user executes the electronic device control function in the portable terminal 200, the photographing function may be activated while power is supplied to the camera 236 provided in the portable terminal 200.

그 후, 도 7에 도시된 바와 같이, 사용자는 제어하고자 하는 전자 기기(300)가 휴대용 단말기(200)의 화면(290) 내에 위치하도록 카메라(236)의 방향 및 위치를 조절한 후 촬영 버튼(291)을 선택하여, 전자 기기(300)를 촬영할 수 있다.Thereafter, as illustrated in FIG. 7, the user adjusts the direction and position of the camera 236 so that the electronic device 300 to be controlled is located within the screen 290 of the portable terminal 200, and then the shooting button ( 291, the electronic device 300 may be photographed.

도 8을 참조하면, 상기 촬영된 전자 기기(300)의 영상을 이용하여 식별된 해당 전자 기기의 제품명(예를 들어, 비디오 플레이어(Video Player))이 휴대용 단말기(200)의 화면(290)에 나타날 수 있다.Referring to FIG. 8, a product name (eg, a video player) of the corresponding electronic device identified using the captured image of the electronic device 300 is displayed on the screen 290 of the portable terminal 200. May appear.

그와 함께, 전자 기기(300)의 모델명을 음성으로 입력하라는 안내 메시지가 화면(290)에 표시되거나, 또는 음향 출력 모듈(255)을 통해 음성으로 출력될 수 있다.In addition, a guide message for inputting the model name of the electronic device 300 by voice may be displayed on the screen 290 or may be output by voice through the sound output module 255.

사용자는 상기 안내 메시지에 따라 전자 기기(300)의 모델명을 확인한 후, 상기 확인된 모델명을 말하여 마이크(237)를 통해 해당 모델명을 포함하는 음성이 입력되도록 할 수 있다.After confirming the model name of the electronic device 300 according to the guide message, the user may say the confirmed model name so that a voice including the corresponding model name is input through the microphone 237.

다만, 상기 촬영된 전자 기기(300)의 영상을 이용하여 해당 전자 기기의 제품명 및 모델명이 모두 식별될 수 있는 경우, 상기 안내 메시지는 출력되지 않고 상기한 바와 같은 사용자 음성 입력 과정도 생략될 수 있다.However, when both the product name and the model name of the electronic device can be identified using the captured image of the electronic device 300, the guide message is not output and the user voice input process as described above may be omitted. .

또한, 사용자는, 전자 기기(300)의 모델명을 확인할 수 없는 경우 등에 있어서, 'Skip' 버튼(292)을 선택하여, 상기한 바와 같은 사용자 음성 입력 과정이 생략되도록 할 수 있다.In addition, when the model name of the electronic device 300 cannot be confirmed, the user may select the 'Skip' button 292 so that the user voice input process as described above may be omitted.

상기한 바와 같이, 카메라(236)를 통해 촬영된 전자 기기(300)의 영상을 이용하여 해당 전자 기기의 제품명이 먼저 식별됨으로써, 이후 사용자 음성으로부터 해당 전자 기기의 모델명을 식별하는 과정이 보다 단순화될 수 있으며, 그에 따라 전자 기기 식별의 정확도가 향상될 수 있다.As described above, the product name of the electronic device is first identified using the image of the electronic device 300 photographed through the camera 236, thereby further simplifying the process of identifying the model name of the electronic device from the user's voice. The accuracy of electronic device identification can be improved accordingly.

도 9를 참조하면, 상기한 바와 같이 카메라(236)를 통해 촬영된 전자 기기(300)의 영상과 마이크(237)를 통해 입력된 사용자 음성을 이용하여 인식된 전자 기기 모델명(예를 들어, 'LG Video Player VP560')이 화면(290)에 표시될 수 있다.Referring to FIG. 9, as described above, an electronic device model name (eg, “recognized using an image of the electronic device 300 captured by the camera 236 and a user voice input through the microphone 237) may be used. LG Video Player VP560 ′ may be displayed on the screen 290.

사용자가 화면(290) 상의 '확인' 버튼(293)을 선택하면, 휴대용 단말기(200)가 'LG Video Player VP560'의 모델명을 가지는 전자 기기(300)를 제어할 수 있는 상태로 전환될 수 있다.When the user selects the OK button 293 on the screen 290, the portable terminal 200 may be switched to a state in which the portable terminal 200 can control the electronic device 300 having the model name of LG Video Player VP560. .

'재인식' 버튼(294)이 선택되면, 상기 도 6 내지 도 8을 참조하여 설명한 바와 같은 전자 기기(300)를 식별하는 과정이 반복하여 수행될 수 있다.When the 'recognition' button 294 is selected, the process of identifying the electronic device 300 as described above with reference to FIGS. 6 to 8 may be repeatedly performed.

한편, 도 8에 도시된 화면(290)에서 사용자가 'Skip' 버튼(292)을 선택하는 경우, 도 10에 도시된 바와 같이, 상기 촬영된 전자 기기(300)의 영상을 이용하여 식별된 제품명에 속하는 복수의 모델들에 대한 정보가 화면(290)에 표시되고, 사용자는 화면(290)에 표시된 모델명들 중 하나를 선택할 수 있다.Meanwhile, when the user selects the 'Skip' button 292 on the screen 290 illustrated in FIG. 8, as illustrated in FIG. 10, a product name identified using an image of the photographed electronic device 300. Information about a plurality of models belonging to is displayed on the screen 290, and the user may select one of the model names displayed on the screen 290.

또한, 도 9에 도시된 화면(290)에서 사용자가 '유사 모델' 버튼(295)을 선택하는 경우에도, 휴대용 단말기(200)의 화면(290)이 도 10에 도시된 바와 같이 변경될 수 있다.In addition, even when the user selects the 'similar model' button 295 on the screen 290 illustrated in FIG. 9, the screen 290 of the portable terminal 200 may be changed as illustrated in FIG. 10. .

도 11을 참조하면, 상기와 같이 인식된 제품명 및 모델명을 가지는 전자 기기를 제어하기 위한 제어 프로그램이 휴대용 단말기(200)에 설치되어 있지 않은 경우, 휴대용 단말기(200)는 전자 기기(300)에 대응되는 제어 프로그램을 인터넷 서버(400)로부터 다운로드할 수 있다.Referring to FIG. 11, when a control program for controlling an electronic device having a product name and a model name recognized as described above is not installed in the portable terminal 200, the portable terminal 200 corresponds to the electronic device 300. The control program can be downloaded from the Internet server 400.

이 경우, 휴대용 단말기(200)는 인터넷 연결이 가능한 영상 표시 장치(100)를 통해 인터넷 서버(400)와 데이터를 송수신할 수 있으며, 사용자는 화면(290)상의 '취소' 버튼(296)을 선택하여 상기 제어 프로그램의 다운로드를 취소할 수 있다.In this case, the portable terminal 200 may transmit / receive data with the Internet server 400 through the image display apparatus 100 capable of connecting to the Internet, and the user selects a 'cancel' button 296 on the screen 290. It is possible to cancel the download of the control program.

도 12를 참조하면, 제어하고자 하는 전자 기기(300)의 제품명 및 모델명이 식별되고 해당 전자 기기를 위한 제어 프로그램의 다운로드 및 설치가 완료된 후, 휴대용 단말기(200)의 화면(290)에 전자 기기(300)를 제어할 수 있도록 하는 스크린 리모컨 형태의 사용자 인터페이스가 표시될 수 있다.Referring to FIG. 12, after a product name and a model name of the electronic device 300 to be controlled are identified and the download and installation of the control program for the electronic device is completed, the electronic device may be displayed on the screen 290 of the portable terminal 200. A user interface in the form of a screen remote controller for controlling 300 may be displayed.

사용자는 화면(290)상에 표시된 사용자 인터페이스를 이용하여 전자 기기(300)에 대해 원하는 기능을 요청할 수 있으며, 휴대용 단말기(200)의 제어부(280)는 상기 사용자 요청에 대응되는 제어 신호를 생성하여 무선 통신부(225)를 통해 전자 기기(300)로 전송할 수 있다.The user may request a desired function for the electronic device 300 using the user interface displayed on the screen 290, and the controller 280 of the portable terminal 200 generates a control signal corresponding to the user request. The electronic device 300 may be transmitted to the electronic device 300 through the wireless communication unit 225.

도 13은 휴대용 단말기를 이용하여 전자 기기를 제어하는 방법에 대한 또 다른 실시예를 도시한 것이다.13 illustrates another embodiment of a method of controlling an electronic device using a portable terminal.

도 13을 참조하면, 휴대용 단말기(200)가 디스플레이 모듈을 구비하지 않는 경우, 휴대용 단말기(200)에 구비된 카메라(236)를 이용하여 획득되는 전자 기기(300)의 영상은 영상 표시 장치(100)의 화면(181)을 통해 표시될 수 있다.Referring to FIG. 13, when the portable terminal 200 does not have a display module, an image of the electronic device 300 obtained by using the camera 236 provided in the portable terminal 200 is displayed on the image display device 100. ) May be displayed on the screen 181.

한편, 도 6 내지 도 12에 도시된 바와 같은 화면 영상은, 휴대용 단말기(200)의 무선 통신부(225)를 통해 영상 표시 장치(100)로 전송되어, 영상 표시 장치(100)의 화면(181)을 통해 표시될 수 있다.Meanwhile, the screen image as illustrated in FIGS. 6 to 12 is transmitted to the video display device 100 through the wireless communication unit 225 of the portable terminal 200, and thus the screen 181 of the video display device 100. Can be displayed through.

상술한 본 발명에 따른 전자 기기 제어 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.The above-described method for controlling an electronic device according to the present invention may be stored in a computer-readable recording medium that is produced as a program for execution on a computer, and examples of the computer-readable recording medium include ROM, RAM, CD-ROM. Magnetic tapes, floppy disks, optical data storage devices, and the like, and also include those implemented in the form of carrier waves (eg, transmission over the Internet).

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The computer readable recording medium may be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner. And, functional programs, codes and code segments for implementing the above method can be easily inferred by programmers of the technical field to which the present invention belongs.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention.

Claims (13)

휴대용 단말기를 이용하여 전자 기기를 제어하는 방법에 있어서,
상기 휴대용 단말기에 구비된 카메라를 이용하여 상기 전자 기기가 촬영된 영상을 획득하는 단계;
상기 전자 기기에 대한 정보를 포함하는 사용자 음성을 인식하는 단계;
상기 카메라를 이용해 획득된 전자 기기 영상과 상기 사용자 음성으로부터 추출된 전자 기기 정보를 기초하여 전자 기기의 제품명을 식별하는 단계;
상기 식별된 전자 기기의 제품명에 속하는 복수의 모델들에 대한 정보를 디스플레이하는 단계;
상기 디스플레이되는 복수의 모델들 중 어느 하나를 선택하는 단계;
상기 선택된 모델의 전자기기에 대응되는 제어 프로그램을 검색하는 단계;
상기 검색된 제어 프로그램을 이용하여 상기 전자 기기를 제어하는 단계;를 포함하고,
상기 제어 프로그램이 검색되지 않으면 상기 식별된 전자기기에 대한 정보를 서버로 전송하는 단계;
상기 서버로부터 상기 전자기기에 대한 정보를 기초하여 검색된 제어프로그램을 다운로드하는 단계;를 더 포함하는
휴대용 단말기를 이용한 전자 기기 제어 방법.
In the method for controlling an electronic device using a portable terminal,
Acquiring an image captured by the electronic device by using a camera provided in the portable terminal;
Recognizing a user voice including information about the electronic device;
Identifying a product name of the electronic device based on the electronic device image acquired using the camera and the electronic device information extracted from the user voice;
Displaying information on a plurality of models belonging to a product name of the identified electronic device;
Selecting any one of the displayed plurality of models;
Searching for a control program corresponding to the electronic device of the selected model;
Controlling the electronic device using the searched control program;
Transmitting information about the identified electronic device to a server if the control program is not found;
Downloading the retrieved control program based on the information on the electronic device from the server;
Electronic device control method using a portable terminal.
제1항에 있어서, 상기 식별 단계는
상기 획득된 전자 기기의 영상을 이용하여 상기 전자 기기의 제품명을 결정하는 단계를 포함하는 휴대용 단말기를 이용한 전자 기기 제어 방법.
The method of claim 1, wherein the identifying step
And determining a product name of the electronic device using the obtained image of the electronic device.
제1항에 있어서, 상기 식별 단계는
상기 사용자 음성으로부터 상기 전자 기기의 모델명을 추출하는 단계를 포함하는 휴대용 단말기를 이용한 전자 기기 제어 방법.
The method of claim 1, wherein the identifying step
And extracting a model name of the electronic device from the user's voice.
제1항에 있어서, 상기 음성 인식 단계는
상기 획득된 전자 기기 영상을 이용하여 상기 전자 기기를 식별할 수 없는 경우에 한하여 수행되는 휴대용 단말기를 이용한 전자 기기 제어 방법.
The method of claim 1, wherein the voice recognition step
The method of controlling an electronic device using a portable terminal performed only when the electronic device cannot be identified using the obtained electronic device image.
제1항에 있어서,
상기 카메라를 이용해 획득된 전자 기기 영상과 상기 사용자 음성으로부터 추출된 전자 기기 정보 중 적어도 하나를 서버로 전송하는 단계; 및
상기 전자 기기의 모델명을 포함하는 식별 정보를 상기 서버로부터 수신하는 단계를 더 포함하는 휴대용 단말기를 이용한 전자 기기 제어 방법.
The method of claim 1,
Transmitting at least one of an electronic device image obtained by using the camera and electronic device information extracted from the user voice to a server; And
And receiving identification information including a model name of the electronic device from the server.
삭제delete 제1항에 있어서,
상기 휴대용 단말기는 인터넷 연결이 가능한 영상 표시 장치를 통해 상기 서버와 데이터를 송수신하는 휴대용 단말기를 이용한 전자 기기 제어 방법.
The method of claim 1,
The method of claim 1, wherein the portable terminal transmits and receives data to and from the server through an image display device capable of connecting to the Internet.
삭제delete 전자 기기를 제어하기 위한 휴대용 단말기에 있어서,
상기 전자 기기가 촬영된 영상을 획득하는 카메라;
사용자 음성을 획득하는 마이크;
적어도 하나의 전자기기에 대한 식별정보 및 그에 대응되는 제어프로그램을 저장하는 저장부;
상기 획득된 전자 기기의 영상과 상기 획득된 사용자 음성으로부터 추출된 전자 기기 정보를 조합하여 상기 전자 기기를 식별하고, 상기 식별된 전자 기기의 제품명에 속하는 복수의 모델들에 대한 정보를 검색하고, 해당 정보를 기초하여 사용자로부터 선택된 전자기기에 대응되는 제어 프로그램를 이용해 상기 전자 기기를 제어하기 위한 제어 신호를 생성하는 제어부; 및
상기 생성된 제어 신호를 상기 전자 기기로 전송하고 상기 전자기기에 대한 제어 프로그램을 서버로부터 수신하는 송수신부를 포함하고,
상기 제어부는 상기 선택된 전자기기에 대응되는 제어 프로그램이 상기 저장부에 존재하지 않으면 상기 송수신부를 통해 서버에 제어프로그램을 요청하고, 상기 서버로부터 수신되는 제어프로그램을 이용해 상기 전자기기를 제어하는 휴대용 단말기.
In a portable terminal for controlling an electronic device,
A camera for acquiring an image captured by the electronic device;
A microphone for obtaining a user voice;
A storage unit storing identification information of at least one electronic device and a control program corresponding thereto;
Identifying the electronic device by combining the acquired image of the electronic device and the electronic device information extracted from the obtained user voice, retrieve information about a plurality of models belonging to the product name of the identified electronic device, A controller configured to generate a control signal for controlling the electronic device using a control program corresponding to the electronic device selected by the user based on the information; And
And a transmitting / receiving unit which transmits the generated control signal to the electronic device and receives a control program for the electronic device from a server.
If the control program corresponding to the selected electronic device does not exist in the storage unit, the controller requests a control program from the server through the transceiver, and controls the electronic device using the control program received from the server.
제9항에 있어서, 상기 제어부는
상기 획득된 전자 기기의 영상을 이용하여 상기 전자 기기의 제품명을 결정한 후, 상기 획득된 사용자 음성으로부터 상기 전자 기기의 모델명을 추출하는 휴대용 단말기.
10. The apparatus of claim 9, wherein the control unit
And determining a product name of the electronic device by using the obtained image of the electronic device, and then extracting a model name of the electronic device from the obtained user voice.
제9항에 있어서, 상기 송수신부는
상기 카메라를 이용해 획득된 전자 기기 영상과 상기 사용자 음성으로부터 추출된 전자 기기 정보 중 적어도 하나를 서버로 전송하고, 상기 전자 기기의 모델명을 포함하는 식별 정보를 상기 서버로부터 수신하는 휴대용 단말기.
The method of claim 9, wherein the transceiver unit
And transmitting at least one of electronic device information obtained by using the camera and electronic device information extracted from the user voice to a server, and receiving identification information including a model name of the electronic device from the server.
제11항에 있어서, 상기 송수신부는
인터넷 연결이 가능한 영상 표시 장치를 통해 상기 서버와 데이터를 송수신하는 휴대용 단말기.
The method of claim 11, wherein the transceiver unit
A portable terminal for transmitting and receiving data to and from the server through an image display device capable of internet connection.
삭제delete
KR1020110104331A 2011-03-15 2011-10-12 Method for controlling a electronic device and portable terminal thereof KR101284472B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP12001567.2A EP2501143A3 (en) 2011-03-15 2012-03-07 Method of controlling electronic device and portable terminal thereof
US13/421,362 US8937664B2 (en) 2011-03-15 2012-03-15 Method of controlling electronic device and portable terminal thereof
CN201210068737.8A CN102685582B (en) 2011-03-15 2012-03-15 Method of controlling electronic device and portable terminal thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161452646P 2011-03-15 2011-03-15
US61/452,646 2011-03-15

Publications (2)

Publication Number Publication Date
KR20120105340A KR20120105340A (en) 2012-09-25
KR101284472B1 true KR101284472B1 (en) 2013-07-09

Family

ID=47112371

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020110104331A KR101284472B1 (en) 2011-03-15 2011-10-12 Method for controlling a electronic device and portable terminal thereof
KR1020110104333A KR101220037B1 (en) 2011-03-15 2011-10-12 Method for controlling connection between electronic devices and portable terminal thereof
KR1020110135195A KR101899597B1 (en) 2011-03-15 2011-12-15 Method for searching object information and dispaly apparatus thereof

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020110104333A KR101220037B1 (en) 2011-03-15 2011-10-12 Method for controlling connection between electronic devices and portable terminal thereof
KR1020110135195A KR101899597B1 (en) 2011-03-15 2011-12-15 Method for searching object information and dispaly apparatus thereof

Country Status (1)

Country Link
KR (3) KR101284472B1 (en)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101486545B1 (en) * 2013-01-15 2015-01-26 네이버 주식회사 Apparatus, method and computer readable recording medium for providing a search about a broadcasting image using the application of a television
KR102178481B1 (en) * 2013-04-29 2020-11-13 삼성전자주식회사 Method for connectivity information control and an electronic device thereof
KR101537651B1 (en) * 2013-05-09 2015-07-17 주식회사 라임페이퍼 System for supplying virtual menu conneted and method thereof
KR102065405B1 (en) * 2013-05-10 2020-01-13 엘지전자 주식회사 Terminal and method for controlling the same
KR101515174B1 (en) * 2013-10-16 2015-04-27 한양대학교 에리카산학협력단 Smart display
KR101467524B1 (en) * 2014-03-17 2014-12-01 (주)아이지솔루션즈 digital broadcasting signal generating apparatus
KR102246270B1 (en) 2014-05-09 2021-04-29 삼성전자주식회사 Electronic device and interconnecting method thereof
KR102437104B1 (en) * 2014-07-29 2022-08-29 삼성전자주식회사 Mobile device and method for pairing with electric device
KR101686451B1 (en) * 2015-08-28 2016-12-14 주식회사 앱포스터 Method and apparatus for setting a screen of a smart watch
KR101706371B1 (en) * 2015-10-08 2017-02-28 이영신 A mobile terminal for performing a lifelog service and a server therefor
KR102557735B1 (en) * 2016-03-16 2023-07-20 삼성전자주식회사 Electronic device and operation method for the same
KR102423044B1 (en) * 2017-09-08 2022-07-21 엘지전자 주식회사 Display device
KR102058972B1 (en) * 2018-07-09 2019-12-24 엘지전자 주식회사 Registration method of home appliance
KR102268786B1 (en) * 2019-08-27 2021-06-24 엔에이치엔애드 (주) Network server and method to provide web pages
KR102145253B1 (en) * 2019-10-11 2020-08-18 김용훈 Transceiver for controlling electronic device using cctv image
KR20210073094A (en) * 2019-12-10 2021-06-18 삼성전자주식회사 User terminal device and control method thereof
KR20230120798A (en) * 2022-02-10 2023-08-17 엘지전자 주식회사 Display system
KR20230129279A (en) 2022-03-01 2023-09-08 김용훈 A control module capable of changing a control code to a receiving unit and a transmitting unit.
KR20240027214A (en) 2022-08-23 2024-03-04 김용훈 Control codes can be changed in multiple group control storage or multiple group control receivers, operation order (sender), and control module.
KR102562917B1 (en) 2022-12-22 2023-08-03 김용훈 Device for integrated control of various types of electronic devices

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007235613A (en) * 2006-03-01 2007-09-13 Murata Mach Ltd Remote controller
KR20100128490A (en) * 2009-05-28 2010-12-08 엘지전자 주식회사 Mobile terminal and method for controlling the same

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4174279B2 (en) * 2002-09-19 2008-10-29 日本放送協会 Video object identification / tracking apparatus, method and program thereof
KR20090063459A (en) * 2007-12-14 2009-06-18 엘지전자 주식회사 Authentication method using short-range communication and terminal and system using the same
KR101200364B1 (en) * 2008-08-27 2012-11-12 키위플 주식회사 Method of providing object based wireless communication service
KR20100109686A (en) * 2009-04-01 2010-10-11 삼성전자주식회사 Method for providing gui and multimedia device using the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007235613A (en) * 2006-03-01 2007-09-13 Murata Mach Ltd Remote controller
KR20100128490A (en) * 2009-05-28 2010-12-08 엘지전자 주식회사 Mobile terminal and method for controlling the same

Also Published As

Publication number Publication date
KR20120105340A (en) 2012-09-25
KR20120105346A (en) 2012-09-25
KR20120105341A (en) 2012-09-25
KR101899597B1 (en) 2018-09-18
KR101220037B1 (en) 2013-01-09

Similar Documents

Publication Publication Date Title
KR101284472B1 (en) Method for controlling a electronic device and portable terminal thereof
US8937664B2 (en) Method of controlling electronic device and portable terminal thereof
KR102402262B1 (en) Display device and universal remote controller setting method thereof
CN108886634B (en) Display device and method for operating the same
KR102570379B1 (en) Display device for providing a screen mirroring function and operating method thereof
KR102217238B1 (en) Remote controller and operating method thereof
US10448107B2 (en) Display device
KR20150146067A (en) Video display device and operating method thereof
US10162423B2 (en) Image display apparatus and operation method thereof
KR20170123184A (en) Display device for providing a scrap function and operating method thereof
KR102334860B1 (en) Display apparatus and the control method thereof
KR20200102861A (en) Display device and operating method thereof
CN113573095B (en) Display device and method of operating the same
KR102267194B1 (en) Terminal and operating method thereof
KR102319680B1 (en) Display device and operating method thereof
KR20190034856A (en) Display device and operating method thereof
JP7345579B2 (en) Display device and its operating method {DISPLAY DEVICE AND OPERATING METHOD THEREOF}
US20240015814A1 (en) Display device and audio output system
KR102696550B1 (en) Display device and operating method thereof
KR102204566B1 (en) Display device and its operating method
EP3992816A1 (en) Display device
KR20240151195A (en) Display device
KR20190069096A (en) Mobile terminal and display device
KR20190000173A (en) Display device
KR20150145438A (en) Video display device and operating method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160624

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170623

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190624

Year of fee payment: 7