KR101435773B1 - Remote control device and remote control method of smart TV. - Google Patents

Remote control device and remote control method of smart TV. Download PDF

Info

Publication number
KR101435773B1
KR101435773B1 KR1020120140033A KR20120140033A KR101435773B1 KR 101435773 B1 KR101435773 B1 KR 101435773B1 KR 1020120140033 A KR1020120140033 A KR 1020120140033A KR 20120140033 A KR20120140033 A KR 20120140033A KR 101435773 B1 KR101435773 B1 KR 101435773B1
Authority
KR
South Korea
Prior art keywords
screen
touch
information
finger
remote controller
Prior art date
Application number
KR1020120140033A
Other languages
Korean (ko)
Other versions
KR20140072482A (en
Inventor
김경희
Original Assignee
김경희
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김경희 filed Critical 김경희
Priority to KR1020120140033A priority Critical patent/KR101435773B1/en
Publication of KR20140072482A publication Critical patent/KR20140072482A/en
Application granted granted Critical
Publication of KR101435773B1 publication Critical patent/KR101435773B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42221—Transmission circuitry, e.g. infrared [IR] or radio frequency [RF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Details Of Television Systems (AREA)

Abstract

리모컨 상의 터치 화면상의 사용자의 터치 정보를 무선 통신으로 TV 장치와 상호 교신하게 구성하여서, 리모컨 조작 신호에 따라 리모컨의 터치 화면 상에 TV 의 영상 화면이 표시되게 하여서 사용자가 리모컨 상의 영상을 보면서 필요한 위치를 터치하게 하고, 이어서 리모컨의 터치 정보가 TV 장치 측으로 전송되게 하고, 또한 각종의 실제 인간 손가락의 터치 동작이 캡쳐된 데이터를 이용하여 TV 화면상에서 표현되는 가상의 손가락 캐릭터 생성 수단을 구성하여서, 사용자가 리모컨 상의 영상을 보면서 터치 동작들을 하면, 상기 터치 정보에 따라 TV 화면상의 가상의 손가락 캐릭터가 마치 실제의 손가락처럼 자연스런 동작의 모습으로 TV 화면상에서 움직이면서 클릭하거나, 드래그 인드롭하거나, 스코롤 시키거나, 또는 확대 축소 등의 조작 동작을 표현 하고, 이어서 TV 화면이 리모컨의 터치 화면 상의 터치 정보에 따라 제어되게 한 구성을 특징으로 하는 스마트 TV 의 원격 제어 장치 및 방법.The touch information of the user on the touch screen on the remote control is communicated with the TV set by wireless communication so that the video screen of the TV is displayed on the touch screen of the remote control in accordance with the remote control operation signal, And then the touch information of the remote controller is transmitted to the TV apparatus side and also various virtual human finger touch operations are constituted by the virtual finger character generation means expressed on the TV screen using the captured data, The virtual finger character on the TV screen is clicked, dragged, scrolled, or scrolled while moving on the TV screen in a natural motion like a real finger, according to the touch information , Or an operation operation such as enlargement / reduction, And then the remote control apparatus and method for a smart TV, characterized by a TV screen is configured to be controlled in response to a touch on the touch screen of the remote control information.

또 다른 예로써는, 상술한 리모컨의 터치 화면을 터치 스크린으로 구성할 수도 있으며, 이 경우엔 사용자가 TV 화면상의 가상의 캐릭터 손가락의 위치를 보면서 리모컨의 터치 스크린 상의 터치 위치나 제스쳐를 조작한다.As another example, the touch screen of the remote controller may be configured as a touch screen. In this case, the user operates the touch position or the gesture on the touch screen of the remote controller while viewing the position of the virtual character finger on the TV screen.

Description

스마트 TV 의 원격 제어 장치 및 원격 제어 방법.{omitted}Remote control device and remote control method of smart TV

본 발명은 스마트 TV 를 원격에서 제어하기 위한 장치 및 원격 제어 방법에 관한 것이다.The present invention relates to an apparatus and a remote control method for remotely controlling a smart TV.

종래 TV 장치는 방송국에서 일방적으로 송신하는 영상을 수동적으로 시청하는 형태의 TV 장치였다. 따라서 사용자가 임의의 영상을 요청할 수도 없는 단점이 있었다.Conventionally, a TV apparatus is a type of TV apparatus that manually watches an image transmitted unilaterally from a broadcasting station. Therefore, there is a disadvantage that the user can not request any image.

최근의 종래 TV 기술은 TV 장치가 인터넷 망에 연결되어서 사용자가 원하는 정보를 다양하게 전송 받아서 시청할 수 있게 되는 스마트 TV 가 제안되어 상용화되고 있다. 이러한 상기 스마트 TV 는 인터넷 망을 연결할 수 있는 셋톱박스를 내장시키거나 외장시켜서 마치 종래의 PC 처럼 다양한 화면 작동 기능과 화면 조작 방법들이 제공되고 있다. 예를 들어서 화면상의 커스를 이용하여 종래의 PC 처럼 화면상의 특정 부위를 클릭하거나, 또는 화면을 스크롤 하거나, 또는 드래그 앤 드롭 하거나, 등등의 다양한 화면 조작을 요구하고 있고, 이를 위한 조작이 복잡한 리모컨이 제공되고 있다. 또한 종래 PC 에서 할 수 있었던 모든 기능들이 인터넷에 연결되는 스마트 TV 에서도 가능하게 되었다.Recently, the conventional TV technology has been proposed and commercialized, in which a TV device is connected to the Internet network, and a user can receive desired information in various ways to view the TV. Such a smart TV is provided with a variety of screen operation functions and screen operation methods like a conventional PC by incorporating or externally mounting a set-top box capable of connecting to the Internet network. For example, a remote controller that requires a variety of screen operations such as clicking a specific portion on the screen, scrolling the screen, dragging and dropping, etc., using a screen on the screen, as in the conventional PC, . In addition, all the functions that could be done in the conventional PC became possible in the smart TV connected to the Internet.

이러한 종래 스마트 TV 에서는 리모컨에 구성된 버튼이나 또는 마우스 기능의 수단, 또는 터치 스크린 수단을 이용하여 이동시키면서 화면중의 커서를 이동시켜서 화면상의 원하는 메뉴에 커스를 위치시킨 후에 특정 버튼이나 특정 터치 조작 등을 통하여 클릭하는 조작을 함으로써 TV 장치를 원격에서 제어하고 있었다. 예를 들어서, 종래의 스마트 TV 장치는 PC 처럼 화면상의 커스를 이용하여 채널을 선택하거나 음량을 조절하거나, 화면의 밝기나 색상 조절, 스크롤 바 조작, 화면의 축소 확대용 버튼의 조작 등을 리모컨을 이용하여 원격에서 조절하고 있었다.
만약 다수의 메뉴들 중에서 사용자가 어떤 메뉴를 선택하여 어떤 기능을 조작하고자 하는 경우에는 메뉴 판을 표시하게 하는 리모컨상의 특정 버튼을 누르면 이 신호가 TV 장치 측으로 전송되어서 TV 화면에 다수의 메뉴들이 표시된 메뉴 판이 표시되고, 이와 동시에 상기 메뉴 판 주변에는 특정 모양의 커스(예: 십자, 화살표, 손 모양의 커스들 중에서 선택된 커스)가 표시된다. 이런 상태에서 사용자는 리모컨에 설치된 커스 조작 버튼이나 마우스 기능의 수단(예: 볼 타입 마우스)을 조작하여서 TV 장치 화면 상의 커서를 상하 좌우 방향으로 이동시켜서 원하는 메뉴 위치에 커서를 이동시킨 후에 리모컨에 설치된 확인 버튼을 누름으로써 해당 메뉴를 선택하고 있었다.In such a conventional smart TV, a cursor in the screen is moved by moving a button, a mouse function means, or a touch screen means in the remote controller, and a cursor is positioned on a desired menu on the screen, So that the user can control the TV device remotely. For example, a conventional smart TV device uses a screen cursor to select a channel or adjust a volume, adjust a brightness or color of a screen, operate a scroll bar, And was remotely controlled.
If a user wants to operate a certain function by selecting a menu among a plurality of menus, the user presses a specific button on the remote controller to display the menu board, and the signal is transmitted to the TV apparatus to display a menu At the same time, a curse of a specific shape (e.g., a curse selected from crosses, arrows, and hand-shaped cursors) is displayed around the menu plate. In this state, the user operates the cursor operation buttons provided on the remote controller or the means of the mouse function (for example, a ball type mouse) to move the cursor on the TV device screen in the up, down, left and right directions to move the cursor to a desired menu position, By pressing the OK button, the corresponding menu was selected.

종래의 볼륨 조절이나, 화면의 밝기 조절이나. 기타 화면의 색상 조절 등과 같은 각종 조절들도 모두 커스를 중간 매개로 하여 조절하고 있었다.Conventional volume control or brightness control of the screen. And other controls such as color adjustment of the screen were all controlled by the curse as an intermediate.

TV 화면상에서 어떤 문장을 입력하고자 하는 경우에는, 다수의 철자나 부호를 지시하는 버튼들이 배치된 리모컨상의 자판으로 글자나 문자를 입력하여 이 정보가 TV 장치 측으로 무선으로 전송되게 함으로써 화면상의 커서가 위치한 위치에서부터 글자가 입력되게 하고 있었다.When a user wishes to input a certain sentence on the TV screen, a character or a letter is input to a keyboard on a remote controller on which a plurality of buttons indicating a spelling or a sign are arranged, and this information is wirelessly transmitted to the TV apparatus side. I was trying to input letters from the location.

이에 따라, 상기한 다수의 버튼이 구성된 리모컨을 이용한 각종의 메뉴 선택이나 글자 입력 방식은 수 많은 버튼들을 필요로 하고, 또한 사용자는 각 버튼마다의 기능을 숙지하여야만 사용 할 수 있는 사용상의 불편한 단점이 있었다.Accordingly, various menu selections and letter input methods using the remote controller configured with the above-described plurality of buttons require a large number of buttons, and the user has a disadvantage in that the user can use the buttons only when he / there was.

또 다른 종래 기술로는 대한민국 특허 제 0980741 및 특허 공개번호 2011-0134810 이 있었다. 이 기술은 터치 화면을 갖는 리모컨으로 구성되고, 상기 리모컨과 TV 장치가 상호 교신으로 리모컨의 터치 화면 상의 터치 정보와 제스쳐 정보를 TV 장치가 수신하여 TV 상에 표시되는 커스를 이동시켜서 사용자가 원하는 화면 조작을 하고 있었다. 또한 메뉴 판이 필요한 화면 조작 시에는 화면 상의 메뉴 판이 리모컨의 터치 화면상에도 표시되게 하지만 이 역시 TV 장치 화면 상의 커스가 특정 메뉴에 위치하도록 조작하여 클릭하는 형태로 작동되고 있었다. 상기 대한민국 특허 제 0980741 및 특허 공개번호 2011-0134810 인 종래 기술은 사용자가 리모컨 터치 화면상에서 손 가락으로 화면을 터치한 상태에서 손 가락의 위치를 옮기면 TV 화면상의 커서도 이에 대응하여 이동하도록 함으로써 원하는 위치로 커서를 이동시켜서 원하는 동작을 지시할 수 있도록 구성한 것이었다. 즉, 상기 대한민국 특허 제 0980741 및 특허 공개번호 2011-0134810 인 종래 기술은 리모컨 상의 터치 화면상에서의 터치 정보 및 터치 제스처 정보를 이용하여 TV 화면상의 커서를 이동시켜서 원하는 메뉴를 선택하거나 또는 원하는 TV 장치의 기능들을 조작하게 하고 있었다. 또한 글자를 입력하고자 하는 경우에는 TV 화면에 표시된 글자의 철자들이 표시된 자판 메뉴를 리모컨 측으로도 전송하여서 리모컨 터치 화면 상에 표시된 자판 메뉴에서 글자를 터치하여 입력하면 이 정보가 TV 장치 측으로 전송되어서 TV 화면 상의 자판 상에서 특정 철자를 지정한 것으로 인식하여 글자가 입력되게 한 구성이었다.Another prior art is Korean Patent No. 0980741 and Patent Publication No. 2011-0134810. This technology is composed of a remote controller having a touch screen. The remote controller and the TV device communicate with each other to receive touch information and gesture information on the touch screen of the remote controller, and the TV device receives the cursor to move the cursor displayed on the TV, I was doing the operation. In addition, at the time of the screen operation requiring the menu plate, the menu plate on the screen is displayed on the touch screen of the remote controller. However, this operation is also operated in such a manner that the cursor on the screen of the TV apparatus is operated to be positioned in the specific menu. Korean Patent No. 0980741 and Patent Publication No. 2011-0134810 disclose that when a user touches a screen with a fingertip on the remote control touch screen and moves the position of the fingertip to move the cursor on the TV screen accordingly, So that a desired operation can be instructed. That is, according to the related art of Korean Patent No. 0980741 and Patent Publication No. 2011-0134810, a cursor on a TV screen is moved using touch information and touch gesture information on a touch screen on a remote controller to select a desired menu, Functions. In addition, when a character is to be input, a keyboard menu having letters of characters displayed on the TV screen is transmitted to the remote controller, and when a character is touched and input in the keyboard menu displayed on the remote controller touch screen, the information is transmitted to the TV device, And recognizes that a certain spelling is designated on the keyboard of the computer, so that letters are inputted.

상기 대한민국 특허 제 0980741 및 특허 공개번호 2011-0134810 인 종래 기술을 보다 자세히 설명하면, 리모컨의 버튼을 대신하여 리모컨 상의 터치 화면에서 손가락으로 터치하고, 터치된 상태에서 필요한 위치로 손가락을 이동시키고, 이때의 리모컨의 터치 화면상에서의 터치 및 이동 정보(제스쳐 정보)를 TV 측으로 전송하여 TV 화면 상의 커서를 움직이게 한 것이었다. 또한 메뉴 판이 있는 경우에는 메뉴 판의 영상 정보를 TV 장치로부터 전송 받아서 리모컨의 터치 화면상에 표시하여서, 리모컨 터치 화면상에 표시된 메뉴 판을 보면서 사용자가 원하는 메뉴를 터치하여 메뉴를 선택하면 TV 장치의 화면 상의 커스가 해당 메뉴를 클릭하는 방법을 제시하였다.In the above-mentioned Korean Patent No. 0980741 and Patent Publication No. 2011-0134810, a finger is touched on a touch screen on a remote controller instead of a button on a remote controller, a finger is moved to a required position in a touched state, And the touch and movement information (gesture information) on the touch screen of the remote controller of the remote controller is transmitted to the TV so as to move the cursor on the TV screen. If there is a menu plate, the image information of the menu plate is received from the TV apparatus and displayed on the touch screen of the remote controller. When the user touches a menu desired by the user while looking at the menu plate displayed on the remote controller touch screen, The curs on the screen showed how to click on the menu.

이러한 종래 기술은 리모컨의 버튼을 이용하던, 또는 터치 화면으로 하던 결과적으로 TV 화면 상의 커서를 매개로 하여 인간의 TV 화면 조작을 수행하고 있었다. 상술한 바와 같은 특허 제 0980741 및 특허 공개번호 2011-0134810 인 종래 기술에서는 인간의 TV 장치의 제어 조작 행동이 항상 TV 장치 화면 상의 커서를 매개로 하여 간접적으로 실행되는 단점이 있었다. 이와 같이 커스라는 중간 매개체를 통하여 무언가를 조작하는 행동은 인간의 직관적이고 자연스런 행동 형태와 일치하지 않는 단점이 있었다. 인간의 자연스런 행동 양태는 중간의 어떤 매개체(예: 커서)를 이용하지 않고 직접적으로 자신의 신체(예: 손가락)를 이용하여 이동시키거나 조작하려 하는 것이 특징인데, 종래 기술들은 이러한 인간의 자연스런 행동 형태와는 많이 달라서 사용상의 불편한 단점이 있었다.Such conventional technology has been used to manipulate a human TV screen through a cursor on a TV screen as a result of using a button on a remote controller or a touch screen. In the prior arts such as the above-mentioned Japanese Patent No. 0980741 and Japanese Patent Laid-Open No. 2011-0134810, there is a disadvantage in that the control operation behavior of the human TV apparatus is always indirectly performed via the cursor on the screen of the TV apparatus. Thus, the act of manipulating something through an intermediary medium called kurs has the disadvantage that it does not coincide with the intuitive and natural behavior of man. The natural behavior of a human being is characterized in that it is intended to move or manipulate directly with his / her own body (e.g., a finger) without using any intermediary mediator (such as a cursor) It has a disadvantage that it is inconvenient to use because it is very different from the form.

또한 상기 특허 제 0980741 및 특허 공개번호 2011-0134810 는 TV 장치 화면에 표시된 메뉴 판 정보만을 리모컨 화면 상에 표시되게 한 후에 리모컨 상에서 선택하게 함으로 인하여 메뉴 선택이 아닌 화면의 이동이나 확대와 같은 종래 태블릿 PC 의 화면 조작과 같은 다양한 화면 조작이 불가능한 단점이 있었다.In addition, since the above-mentioned Patent No. 0980741 and Patent Publication No. 2011-0134810 allow only the menu plate information displayed on the TV apparatus screen to be displayed on the remote controller screen and select it on the remote controller, the conventional tablet PC It is impossible to perform various screen operations such as screen manipulation of the screen.

종래의 TV 원격 제어 기술은 화면 조작을 위하여 커서라는 중간 매개체를 이용하여 최종적으로 TV 를 제어하는 방식의 사용자 인터페이스(UI) 를 가지고 있었다. 이러한 종래 기술의 사용자 인터페이스(UI)는 직관적이고 자연스런 인간의 동작 형태와는 달라서 사용에 불편한 단점이 있었다.Conventional TV remote control technology has a user interface (UI) in which a TV is finally controlled using an intermediary medium called a cursor for screen manipulation. Such a conventional UI is disadvantageous in that it is uncomfortable to use because it is different from an intuitive and natural human action form.

상술한 바대로, 인간의 자연스런 행동 양식은 어떤 것을 선택 할 때엔 직접적으로 손가락으로 지적하거나, 또는 자신의 손을 이용하여 직접적으로 무엇을 이동시키려는 형태를 취하여 할 뿐 어떠한 중간 매개체를 통하여 간접적으로 원하는 조작을 하려고 하지 않는 행동상의 특성을 갖지만, 종래 기술들은 이러한 인간의 행동 양식을 따르지 않아서 인간의 자연스런 행동 양식과는 다른 양식으로 실행할 것을 사용자들에 강요함으로써 사용상의 자연스러움이 없어서 사용이 불편한 문제점이 있었다.As mentioned above, the natural behavior of human beings is not only to point directly to a finger when selecting something, or to take a form to directly move something by using his or her own hand, However, the prior arts do not follow this human behavior style and force users to perform them in a form different from the natural behavior style of the human being, so that there is a problem that the use is inconvenient because there is no naturalness in use there was.

삭제delete

삭제delete

따라서 인간의 직관적이고 자연스런 행동 양식을 적용한 사용자 인터페이스(UI)가 적용된 스마트 폰이나 태블릿 PC 에서와 같은 다양한 화면 조작 효과가 원격에서 시청하는 스마트 TV 에서도 실현될 것이 요구되고 있으나 종래 기술에서는 아직 이를 실현하지 못 하고 있다.Therefore, it is demanded that a variety of screen manipulation effects such as a smart phone or a tablet PC to which a user interface (UI) using an intuitive and natural behavior pattern of a human being is applied is realized in a smart TV that is remotely watched. However, I can not.

스마트 TV 는 원격에서 시청하는 장치이기 때문에 사용자가 손으로 직접 TV 장치의 화면을 터치하는 조작을 할 수는 없다. 따라서 종래의 스마트 폰이나 태블릿 PC 에서 실현되었던 직관적이고 자연스런 행동 양식의 사용자 인터페이스가(UI)가 종래의 TV 장치에서는 실현되지 못하고 있다.Since the smart TV is a device for remote viewing, the user can not manipulate the screen of the TV device by hand. Therefore, a user interface (UI) of an intuitive and natural behavior style realized in a conventional smart phone or a tablet PC is not realized in a conventional TV device.

터치 화면을 갖는 스마트 폰이나 태블릿 PC 에서 실현되고 있는 다양한 터치 방식의 화면 조작 효과를 원격에서 시청하는 스마트 TV 장치에서도 실현되게 한다.The present invention can be realized even in a smart TV device that remotely watches various touch-type screen manipulation effects realized in a smart phone or a tablet PC having a touch screen.

스마트 TV 내에 인터넷 접속 수단과, TV 영상 수신 및 재생 수단과, 동시 다중 브라우징 운영(멀티 태스킹) 수단과, 외부 리모컨상의 터치 스크린 조작에 대응하여 TV 화면을 조작하게 한다.(TV) image receiving and reproducing means, a simultaneous multiple browsing operation (multitasking) means, and a touch screen operation on an external remote control.

TV 장치의 화면 조작은 드래그 앤 드롭, 스코롤, 바운스 백, 확대 및 축소 등 기존의 스마트 폰 및 태블릿 PC 에서의 화면 조작 기능을 모두 갖게 한다.The screen operation of the TV device has all the screen manipulation functions on the existing smartphone and tablet PC such as drag and drop, scrolling, bounce back, enlargement and reduction.

TV 장치와 리모컨이 상호 통신할 수 있는 무선 통신 수단을 설치한다.Wireless communication means is provided for enabling the TV apparatus and the remote controller to communicate with each other.

TV 장치의 화면 영상 정보가 리모컨 측으로 전송되고, 리모컨 상의 터치 스크린 상의 터치 정보가 TV 장치 측으로 전송되게 한다.The screen image information of the TV apparatus is transmitted to the remote controller side, and the touch information on the touch screen on the remote controller is transmitted to the TV apparatus side.

리모컨은 터치 스크린과 함께 영상 재생 수단을 구비한다.The remote control has a video playback means together with a touch screen.

또 다른 실시 방법으로는, 리모컨은 터치 스크린 만을 구비할 수도 있다.In another embodiment, the remote control may have only a touch screen.

TV 장치 내에 가상 캐릭터 손가락을 생성하는 수단을 설치한다.A means for creating virtual character fingers in the TV apparatus is provided.

상기 가상 캐릭터 손가락은 리모컨으로부터 전송되는 터치 정보에 대응하여 이동하고 동작하게 한다.The virtual character finger moves and operates in accordance with the touch information transmitted from the remote controller.

가상 캐릭터 손가락의 끝 부위의 TV 장치 화면상에서의 위치는 리모컨의 터치 스크린의 터치된 위치 정보에 대응하는 위치에 위치한다.The position of the end portion of the virtual character finger on the TV apparatus screen is located at the position corresponding to the touched position information of the touch screen of the remote controller.

실시 예 1.Example 1.

본 실시 예 1 에서는 본 발명의 리모컨에는 터치 스크린을 갖는 영상 재생 수단(이하 "터치 화면"이라 칭한다)이 구성되고, 또한 TV 장치와 무선 교신하는 통신 수단을 갖게 구성된다.In the first embodiment, the remote control of the present invention is configured to have video playback means (hereinafter referred to as a "touch screen") having a touch screen and communication means for wireless communication with the TV device.

리모컨 1(2) 측으로부터 특정한 조작을 지시하는 신호가 수신되면, 이를 수신한 TV 장치(1)는 지시되는 명령에 따른 화면을 디스플레이 한 후 이 영상을 무선 통신 수단(6)을 통하여 리모컨 1(2) 측으로 재전송한다. 만약 리모컨 1(2)으로부터 지시되는 명령이 현재 TV 장치(1)의 화면 영상 정보 전체의 전송을 지시하는 경우에는 TV 장치(1)는 현재 디스플레이 중인 TV 장치(1)의 화면 전체의 영상 정보를 리모컨 1(2) 측으로 전송한다. 만약 리모컨 1(2)의 지시가 특정 메뉴 판 제시를 지시하는 명령 신호인 경우에는 TV 장치(1)의 화면에 메뉴 판(11)을 표시한 상태에서 이 메뉴 판(11)이 표시된 TV 장치의 화면 영상을 상기 무선통신 수단(6)을 통하여 리모컨 1(2) 측으로 전송한다. 또 다른 방법으로는 TV 장치(1)의 화면상에는 메뉴 판(11)을 표시하지 않은 채로 리모컨 1(2) 측으로만 메뉴 판(11) 영상 정보를 전송하게 할 수도 있다.When a signal instructing a specific operation is received from the remote controller 1 (2) side, the TV apparatus 1 which has received the signal displays a screen according to the command to be commanded and then transmits the image through the wireless communication means 6 to the remote controller 1 2) side. If the command instructed from the remote controller 1 (2) instructs the transmission of the entire screen image information of the current TV apparatus 1, the TV apparatus 1 displays the image information of the entire screen of the TV apparatus 1 currently being displayed To the remote controller 1 (2). If the instruction of the remote controller 1 (2) is a command signal instructing to present a specific menu plate, the menu board 11 is displayed on the screen of the TV apparatus 1, And transmits the screen image to the remote controller 1 (2) through the wireless communication means (6). Alternatively, the image information of the menu plate 11 may be transmitted only to the remote controller 1 (2) side without displaying the menu plate 11 on the screen of the TV apparatus 1.

리모컨의 1(2) 터치 화면(터치 스크린 + 영상재생 수단)에서는 TV 장치(1)에서 전송된 영상이 재생되고, 이 영상이 재생중인 터치 화면 상에서 사용자가 실시하는 터치 정보 및 제스쳐 정보가 무선 통신 수단(6)을 통하여 리모컨 1(2)으로부터 TV 장치(1) 측으로 전송된다.In the touch screen (touch screen + image reproduction means) of the remote controller, the image transmitted from the TV apparatus 1 is reproduced, and the touch information and gesture information that the user performs on the touch screen on which the image is reproduced is transmitted Is transmitted from the remote controller 1 (2) to the TV apparatus (1) through the means (6).

리모컨 1(2)이 전송하는 터치 스크린 위에서의 대한 터치 및 제스쳐 정보에 따라 TV 장치(1)는 자신의 화면을 조작하여 TV 장치(1)의 화면 영상으로써 디스플레이 시킨 후 이 영상 정보를 리모컨 1(2) 측으로 다시 전송한다.According to the touch and gesture information on the touch screen transmitted from the remote controller 1 (2), the TV apparatus 1 operates its own screen to display it as a screen image of the TV apparatus 1, 2) side.

일정 시간 내에 리모컨 1(2) 측으로부터 어떠한 터치 및 제스처 정보가 없으면 TV 장치(1)는 리모컨 1(2) 측으로 전송하던 영상 정보 전송을 중단하고 수신 스탠바이 상태로 돌입한다.If there is no touch or gesture information from the remote controller 1 (2) within a predetermined time, the TV apparatus (1) stops transmitting the video information transmitted to the remote controller 1 (2) and enters the reception standby state.

TV 장치(1)는 수신 스탠바이 상태에서, 만약 리모컨 1(2) 측으로부터 특정한 화면을 요청하는 신호(예: 메뉴 판 보기를 지시하는 신호) 가 다시 접수되면, 상기 TV 장치(1)는 이에 따라 재생중인 화면 영상에 지시된 영상으로 조작된(예: 재생중인 영상에 겹쳐서 메뉴 판이 표시된 영상)을 리모컨 1(2) 측으로 전송하고, 이에 따라 사용자가 리모컨 상에 다시 표시된 영상을 보면서 리모컨의 터치 화면상에서 터치 조작하면 이 조작 신호가 리모컨 1(2) 으로부터 TV 장치(1)측으로 다시 전송된다. 이에 따라, 리모컨 1(2) 상의 사용자가 실시한 터치 화면 조작 신호에 따라 TV 장치는 자신의 화면을 변화 조작시킨 후에 이 영상을 리모컨 측으로 다시 전송하여 리모컨 상의 화면에 또 다시 표시된다. 이 영상을 수신하여 재생하는 리모컨 1(2) 상에서 사용자가 또 다시 터치 화면에서 터치 조작을 하면, 이 조작 신호가 다시 TV 장치(1) 측으로 전송되어서 TV 장치(1)는 이에 따른 화면을 또 다시 조작한 후 조작된 영상을 다시 리모컨 측으로 재전송하는 과정을 반복한다. 이후 일정 시간 동안 리모컨 측으로부터 아무런 화면 터치 정보가 수신되지 않으면 TV 장치는 더 이상 재생중인 영상 정보를 전송하지 않은 채로 수신 스탠바이 상태로 돌입한다.When receiving a signal requesting a specific screen from the remote controller 1 (2) side (for example, a signal instructing a menu display) again in the reception standby state, the TV apparatus 1 (For example, an image in which a menu sheet is overlaid on an image being reproduced) is transmitted to the remote controller 1 (2) side while the user views the image again displayed on the remote controller, The operation signal is transmitted again from the remote controller 1 (2) to the TV apparatus 1 side. Accordingly, the TV apparatus changes its screen according to the touch screen operation signal performed by the user on the remote controller 1 (2), and then transmits the image to the remote controller side again and is displayed again on the screen on the remote controller. When the user performs a touch operation again on the touch screen on the remote controller 1 (2) for receiving and reproducing the image, the operation signal is transmitted again to the TV apparatus 1, and the TV apparatus 1 again displays the corresponding screen After the operation, repeat the process of retransmitting the manipulated image back to the remote controller. If no screen touch information is received from the remote controller for a certain period of time, the TV apparatus enters the reception standby state without transmitting the video information being reproduced.

실시 예 2.Example 2.

본 실시 예 2 에서는 다음과 같은 과제를 해결한다.The second embodiment solves the following problems.

리모컨은 터치 화면과 텃치 정보를 전송하는 송신 수단을 갖고 실시 예 1 과는 달리 영상을 재생하는 수단은 구성되지 않는다.The remote control has a transmitting means for transmitting the touch screen and the touch information, and unlike Embodiment 1, means for reproducing the image is not constituted.

리모컨은 TV 장치 측으로 리모컨 상의 텃치 화면의 텃치 및 터치 제스쳐 정보만 전송하고, TV 장치는 이를 수신하여 자신의 화면을 조작한다.The remote controller transmits only the touch and touch gesture information of the touch screen on the remote controller to the TV apparatus side, and the TV apparatus receives the touch and touch gesture information and operates the screen of itself.

TV 장치에는 가상 손 생성 수단을 갖는다.The TV apparatus has virtual hand generating means.

상기 가상 손은 리모컨으로부터 전송되는 텃치 정보 및 제스쳐 정보에 따라 TV 화면상에서 이동되고 TV 화면상의 메뉴나 아이콘을 클릭하는 동작을 보여주게 구성된다.The virtual hand is configured to move on the TV screen in accordance with the touch information and gesture information transmitted from the remote controller and to display an operation of clicking a menu or an icon on the TV screen.

상기 가상 손의 손가락 조작 정보에 따라 TV 장치는 자신을 제어하여 자신의 화면이나 기능들을 조작한다.The TV apparatus controls itself and manipulates its own screen or functions in accordance with the finger manipulation information of the virtual hand.

상기 가상 손의 텃치 정보 및 제스쳐 정보에 따라 TV 장치는 볼륨 제어, 메뉴 선택, 화면 이동, 화면 확대 등을 수행한다.The TV apparatus performs volume control, menu selection, screen movement, and screen enlargement in accordance with the tactile information and the gesture information of the virtual hand.

스마트 폰이나 태블릿 PC 에서 실현되는 다양한 화면 조작 기능이 원격에서 시청하는 스마트 TV 화면상에서도 실현되는 효과가 있다.Various screen operation functions realized in a smart phone or a tablet PC can be realized on a smart TV screen remotely viewed.

[구성][Configuration]

실시 예 1.Example 1.

본 실시 예 1 은 리모컨 1(2)이 터치 화면(7)(영상 재생 수단과 터치 스크린이 겹쳐진 상태로 설치 된 구성, 이하 터치 화면이라 칭한다)을 갖게 구성하고, TV 장치(1) 내에 가상 캐릭터 손가락 생성 수단을 설치하고, 리모컨 1(2)과 TV 장치(1)가 상호 무선 통신하는 경우의 본 발명의 일 예이다.In the first embodiment, the remote controller 1 (2) is configured to have a touch screen 7 (a configuration in which a video playback means and a touch screen are overlapped, hereinafter referred to as a touch screen) Finger generating means is provided, and the remote controller 1 (2) and the TV apparatus 1 communicate with each other by wireless communication.

본 실시 예 1 의 구성은 다음과 같다.The configuration of the first embodiment is as follows.

스마트 TV 장치는 유무선의 디지털 TV 영상 수신 수단 및 재생 수단과, 인터넷 접속 수단과 주문형 서비스를 가능하게 하는 셋톱박스 수단과, 가상 캐릭터 손가락 생성 수단, 가상 캐릭터 손가락 제어 수단과, 화면 및 기능 조작 수단, 리모컨 1(2)과 상호 교신하는 무선 통신 수단(6)을 포함하여 구성된다.The smart TV apparatus includes a set-top box means for enabling a wired / wireless digital TV video receiving means and a reproducing means, an internet connecting means and an on-demand service, a virtual character finger generating means, a virtual character finger controlling means, And wireless communication means (6) for mutual communication with the remote controller (1) (2).

또한 리모컨 1(2)은 터치 화면(7)(터치 스크린이 겹쳐지게 설치된 영상 재생 수단)과, TV 장치와 무선 통신하는 무선 통신 수단(6)과, 버튼과, 전원을 포함하여 구성된다.Also, the remote controller 1 (2) comprises a touch screen 7 (image reproducing means provided so as to overlap the touch screen), wireless communication means 6 for wirelessly communicating with the TV apparatus, buttons, and power source.

가상 캐릭터 손가락 생성 수단(5) 및 가상 캐릭터 손가락 제어 수단은 리모컨 1(2)의 터치 화면 상에서 실시된 터치 정보 및 제스쳐 정보에 따라 터치된 위치에 매칭되는 TV 장치 화면상의 위치에 상기 가상 캐릭터 손가락(5)의 끝 부위가 위치하도록 가상 캐릭터 손가락이 TV 장치의 화면에 표시되게 하고, 또한 상기 리모컨 1(2)의 터치 정보 및 제스쳐 정보에 따라 상기 가상 캐릭터 손가락(5)의 영상이 가상 캐릭터 손가락 제어 수단을 이용하여 움직이도록 구성된다.The virtual character finger generating means 5 and the virtual character finger control means are arranged to place the virtual character finger 1 at the position on the TV apparatus screen matched to the touched position according to the touch information and the gesture information on the touch screen of the remote controller 1 The virtual character finger is displayed on the screen of the TV device so that the end portion of the virtual character finger 5 is positioned on the virtual character finger 5, and the image of the virtual character finger 5 is displayed in accordance with the touch information and gesture information of the remote controller 1 And is configured to move using means.

상기 TV 장치(1)의 각종 기능 제어 및 화면 제어 수단은 리모컨 1(2)으로부터 수신한 터치 및 제스쳐 정보 및 버튼 조작 정보에 따라 스마트 TV 장치의 각종 기능(예: 볼륨, 화면 조정 등) 및 TV 장치(1)의 화면 조작이 실시되도록 구성된다.The various function control and screen control means of the TV apparatus 1 are able to control various functions (e.g., volume, screen adjustment, etc.) of the smart TV apparatus and the TV So that the screen operation of the apparatus 1 is performed.

상기 TV 장치(1)의 각종 기능 제어에는 볼륨 제어, 화면 밝기 제어, 화면 조 정 제어 등의 종래의 기본적인 TV 기능 제어들이 모두 포함된다.Various functions of the TV apparatus 1 include all the conventional basic TV function controls such as volume control, screen brightness control, and screen adjustment control.

또한 상기 TV 장치(1)의 화면 조작은 종래의 컴퓨터에서 실시되던 각종 화면조작 기능들, 예를 들어, 화면 확대 축소, 드래그 앤 드롭, 메뉴 선택, 스코롤, 페이지 넘김 모습의 영상 제어 등 기존의 태블릿 PC, 스마트 폰 등에서 터치 화면으로 조작되던 각종의 화면 조작 기능들이 모두 포함된다.In addition, the screen operation of the TV apparatus 1 can be performed by various kinds of conventional screen operation functions such as screen enlargement / reduction, drag & drop, menu selection, scrolling, Tablet PC, smart phone, etc., all of which are operated by the touch screen.

TV 장치(1)는 리모컨 1(2)으로부터 수신한 지시 정보에 따라 조작한 자신의 조작된 화면 영상 정보를 리모컨 1(2) 측으로 재 전송하도록 구성된다.The TV apparatus 1 is configured to re-transmit the manipulated screen image information manipulated in accordance with the instruction information received from the remote controller 1 (2) to the remote controller 1 (2) side.

또한 상기 리모컨 1(2)은 TV 장치(1)에서 전송하는 TV 화면의 영상 정보를 수신하여 이를 리모컨 1(2)의 터치 화면 상에서 재생하게 구성된다.The remote controller 1 (2) is configured to receive image information of a TV screen transmitted from the TV apparatus 1 and reproduce the image information on the touch screen of the remote controller 1 (2).

또한 상기 리모컨 1(2)은 자신의 터치 화면 상의 터치 및 제스쳐 정보 및 버튼 조작 정보를 무선 통신 수단을 이용하여 TV 측으로 전송하는 기능을 갖게 구성된다.Also, the remote controller 1 (2) has a function of transmitting touch and gesture information and button operation information on its own touch screen to the TV side using wireless communication means.

또한 상기 리모컨 1(2)은 터치 화면(7) 주변에 TV 측으로 지시 정보를 전송할 수 있는 하나 이상의 버튼을 터치 화면(7)과 함께 구성할 수도 있다.Also, the remote controller 1 (2) may configure one or more buttons together with the touch screen 7 to transmit the instruction information to the TV side around the touch screen 7.

상기 리모컨 1(2)의 터치 화면 상에는 TV 장치에서 전송된 한 화면 전체의 영상이 재생된다. 또는 필요 시엔, TV 장치(1)의 전체 화면 대신에 조작에 필요한 특정의 메뉴 판 정보만 전송되게 한 후에 이를 리모컨 상에서 재생되게 구성될 수도 있다.On the touch screen of the remote controller 1 (2), an entire screen image transmitted from the TV apparatus is reproduced. Alternatively, if necessary, only specific menu information necessary for the operation may be transmitted instead of the full screen of the TV apparatus 1, and then it may be configured to be reproduced on the remote controller.

상기 리모컨 1(2)의 터치 및 제스쳐 정보에 대응하는 TV 장치(1)의 화면 조작 방법은 미리 프로그램되어 TV 장치의 제어 부 내에 설치되어 구성된다.The screen operation method of the TV apparatus 1 corresponding to the touch and gesture information of the remote controller 1 (2) is previously programmed and installed in the control unit of the TV apparatus.

상기 가상 캐릭터 손가락(5)의 영상은 다양한 형상들을 미리 내장시킨 후에 이들 중에서 사용자가 원하는 형상을 선택하도록 구성할 수도 있다.The image of the virtual character finger 5 may be configured to embed various shapes in advance and then select a shape desired by the user.

상기 리모컨 1(2)의 터치 화면 상에서 특정 아이콘을 손가락으로 터치하면, TV 화면 상의 매칭되는 아이콘 위치에 상기 가상 캐릭터 손가락의 끝 부위가 위치하게 구성된다. 가상 캐릭터 손가락(5)이 특정 아이콘상에 위치하면 이때 TV 장치(1)의 화면 상의 해당 아이콘이 하이라이트 되게 구성할 수도 있다. 이후 하이라이트 된 아이콘이 클릭된 것으로 감지될 수 있는 조작을 사용자가 리모건 1(2) 상에서 실시하면, 이에 따라 상기 하이라이트 된 아이콘에 연결된 화면이 디스플레이 되게 구성된다.When a specific icon is touched with a finger on the touch screen of the remote controller 1 (2), the end portion of the virtual character finger is positioned at a matching icon position on the TV screen. When the virtual character finger 5 is positioned on a specific icon, the corresponding icon on the screen of the TV device 1 may be highlighted. When the user performs an operation on the remote 1 (2) that can be detected as being clicked on the highlighted icon, the screen linked to the highlighted icon is displayed.

상기 리모컨 1(2)의 터치 화면(7) 상에서 손가락(4)으로 임의의 위치에 터치하면, 터치된 위치에 매칭되는 TV 장치(1)의 화면상에 가상 캐릭터 손가락(5)의 손가락 끝 부위가 위치하고, 손가락(4)이 터치 화면(7) 상에서 터치된 상태에서 리모컨 1(2)의 터치 화면(7) 위를 이동시키면, 상기 가상 캐릭터의 손가락(5)도 가상 캐릭터 손가락 제어 수단에 의해서 같은 방향과 속도로 이동하며, 만약 가상 캐릭터의 손가락(5)이 TV 장치(1)의 화면 상의 특정 아이콘 위에 위치하면 해당 아이콘이 하이라이트 되게 구성될 수 있다.When the user touches the finger 4 at an arbitrary position on the touch screen 7 of the remote controller 1 (2), the fingertip of the virtual character finger 5 on the screen of the TV apparatus 1 matched to the touched position When the finger 4 is moved on the touch screen 7 of the remote controller 1 while the finger 4 is touched on the touch screen 7, the finger 5 of the virtual character is also controlled by the virtual character finger control means If the finger 5 of the virtual character is positioned on a specific icon on the screen of the TV apparatus 1, the icon may be configured to be highlighted.

특정 아이콘이 클릭 된 것으로 인식하게 하는 방법으로는 여러 가지 방법이 가능하다. 즉, 상기 아이콘이 하이라이트 되면 클릭한 것으로 간주하게 구성할 수도 있다.There are a variety of ways to make a particular icon recognized as being clicked. That is, when the icon is highlighted, the icon may be regarded as being clicked.

또 다른 방법으로는 상기 아이콘이 하이라이트 된 상태에서 가상 캐릭터 손 가락(5)이 다시 한번 더 해당 아이콘을 재 터치하는 동작을 하도록 리모컨 1(2) 상의 터치 화면 상에서 손가락을 뗐다가 다시 터치 함으로써 해당 아이콘이 선택된 것으로 간주하도록 구성할 수도 있다.Alternatively, in a state where the icon is highlighted, a finger is touched on the touch screen on the remote controller 1 (2) so that the virtual character hand cursor 5 again touches the corresponding icon again, May be regarded as being selected.

즉, 상기 TV 장치(1) 측으로 전송되는 상기 리모컨 1(2)의 터치 화면 상의 터치 정보 및 터치 상태에서의 손가락(4) 이동 정보는 리모컨 터치 화면 상의 터치된 좌표 정보 및 상기 터치 위치 좌표의 이동 정보가 포함된다.That is, the touch information on the touch screen of the remote controller 1 (2) transmitted to the TV apparatus 1 and the finger (4) movement information in the touch state are transmitted to the remote controller 1 Information.

상기 TV (1)장치 측으로 전송되는 상기 리모컨 1(2)의 터치 화면상의 터치 정보는 리모컨 터치 화면(7) 상의 좌표 정보와 함께 리모컨 상에서의 클릭 손동작에 따른 동일 위치에서의 재 터치 여부 정보가 포함되어 전송되게 구성될 수 있다.Touch information on the touch screen of the remote controller 1 (2) transmitted to the TV 1 device includes coordinate information on the remote controller touch screen 7 and information on whether or not the touch information is re-touched at the same position due to a click operation on the remote controller And then transmitted.

상기 TV 장치(1) 측으로 전송되는 상기 리모컨의 터치 화면상의 터치 제스쳐 정보는 리모컨 터치 화면(7) 상의 터치된 회수 정보 및 터치된 좌표 정보의 변화 정보가 포함되어 전송되게 구성될 수 있다.The touch gesture information on the touch screen of the remote controller transmitted to the TV apparatus 1 may be transmitted including the touch count information on the remote control touch screen 7 and the change information of the touched coordinate information.

상기 가상 캐릭터 손가락(5)은 가상 캐릭터 손가락의 검지 끝 부분 위치가 리모컨 터치 화면상의 터치된 면적 부위의 중심 위치에 매칭되는 위치가 되도록 구성될 수 있다.The virtual character finger 5 may be configured such that the detection end position of the virtual character finger is a position that matches the center position of the touched area on the remote control touch screen.

리모컨 1(2)으로부터 터치된 위치가 두 곳이라는 정보를 TV 장치(1)가 수신한 경우에는, 상기 가상 캐릭터 손가락(5)은 두 개의 손가락이 펼쳐진 영상을 가상 캐릭터 손가락 생성 수단이 생성하여서 TV 장치(1)의 화면 상에 표시하고, 두 손가락의 끝 부위 위치는 리모컨 1(2)의 터치 화면 상의 터치 좌표에 매칭되는 TV 장치(1)의 화면 위치에 가상 캐릭터 손가락(5)의 두 개의 손가락 중에서 위 측에 위치 하는 손가락이 위치하게 하고, 리모컨 1(2)의 두 곳의 터치 위치 중에서 아래 측 터치 좌표에 매칭되는 TV 화면상의 위치에는 가상 캐릭터 손가락(5)의 두 개의 손가락 중에서 아래에 위치하는 손가락이 위치하도록 구성된다.When the TV apparatus 1 receives information indicating that there are two positions touched from the remote controller 1 (2), the virtual character finger 5 generates an image in which two fingers are spread, The position of the end portion of the two fingers is displayed on the screen of the device 1 and the position of the end of the two fingers is positioned on the screen position of the TV apparatus 1 matched with the touch coordinates on the touch screen of the remote controller 1 A finger positioned on the upper side among the fingers is positioned on the TV screen and a position on the TV screen matching the lower side touch coordinates among the two touch positions of the remote controller 1 (2) is positioned below the two fingers of the virtual character finger 5 So that the positioned finger is positioned.

상기 가상 캐릭터 손가락(5)가 두 개의 손가락인 경우에는 엄지와 검지일 수도 있고, 또는 검지와 장지일 수도 있다.When the virtual character finger 5 is two fingers, it may be a thumb and a finger, or may be a finger and a finger.

상기 가상 캐릭터 손가락(5)의 동작은 실제 손가락에 마크(광학 마크, 또는 자성 마크)를 설치하여 캡쳐한 동작 데이트를 이용하여 작동되게 구성할 수도 있다.The operation of the virtual character finger 5 may be configured to operate using a captured action date by providing a mark (optical mark or magnetic mark) on the actual finger.

상기 캡쳐된 동작 데이터는 리모컨 1(2)의 터치 화면상의 터치 점을 사용자의 실제 손가락 끝 부위의 마크 점으로 인식하여 상기 가상 캐릭터 손가락의 동작을 제어하게 구성될 수 있다.The captured operation data may be configured to recognize the touch point on the touch screen of the remote controller 1 (2) as a mark point of the actual fingertip portion of the user to control the operation of the virtual character finger.

TV 장치(1)의 제어는 리모컨 상에서의 터치 정보 및 터치 제스쳐 정보를 리모컨 측으로부터 TV 장치가 전송 받아서 TV 장치의 제어 정보로써 사용하도록 구성할 수도 있다. 또 다른 방법으로는 리모컨 상의 터치 및 제스쳐 정보에 따라 동작하는 TV 장치(1)의 화면 상의 가상 캐릭터 손가락(5)의 터치 위치 및 터치 제스쳐 정보를 TV 장치(1)의 제어 정보로써 사용하도록 구성할 수도 있다.The control of the TV apparatus 1 may be configured such that the TV apparatus receives the touch information and the touch gesture information on the remote controller from the remote controller and uses the touch information and the touch gesture information as the control information of the TV apparatus. Alternatively, the touch position and the touch gesture information of the virtual character finger 5 on the screen of the TV apparatus 1 operating in accordance with the touch and gesture information on the remote controller are configured to be used as the control information of the TV apparatus 1 It is possible.

이에 따라, 리모컨 1(2)의 터치 화면(7) 상에서의 터치 조작 및 제스쳐에 조작에 따라서, TV 장치(1)의 화면 상에서는 상기 가상 캐릭터 손가락(5)이 작동하고, 이에 따라 TV 장치(1)의 화면상에서 드래그 앤 드롭, 스크롤, 확대, 축소, 바운스 백, 책장 넘김 기능 등이 실시되도록 구성된다.Thus, the virtual character finger 5 operates on the screen of the TV apparatus 1 according to the touch operation on the touch screen 7 of the remote controller 1 (2) and the operation of the gesture, Drag and drop, scrolling, enlarging, reducing, bounce back, turning over a book, and so on.

상기 리모컨 1(2)의 터치 화면(7)을 구성하는 영상 재생 수단은 LCD, OLED, e-ink 수단 등으로 구성될 수 있다.The image reproducing means constituting the touch screen 7 of the remote controller 1 (2) may be constituted by an LCD, an OLED, an e-ink means, or the like.

지금까지 상술한 실시 예 1 에 있어서, 상기 가상 캐릭터 손가락(5) 영상은 3D 입체 영상으로 구성되게 할 수도 있다. 또한 가상 캐릭터 손가락(5)은 가상의 임의의 형태일 수도 있음은 물론이다. 일 예로써, 막대 형태일수도 있고, 또는 동물의 신체 형태 일 수도 있고 로보트의 손가락 형태일 수도 있고, 또는 가상 캐릭터가 손에 들고 있는 지시 봉 일 수도 있다.In the above-described first embodiment, the virtual character finger 5 image may be configured as a 3D stereoscopic image. It goes without saying that the virtual character finger 5 may be a virtual arbitrary form. As an example, it may be in the form of a rod, a body shape of an animal, a finger shape of a robot, or an indicator rod held by a virtual character.

글자나 문자를 입력하는 경우에는 TV 장치(1) 화면에 문자 입력 난이 표시되고, 화면 하단부 일부에 자판 그림이 표시되고, 이러한 TV 장치(1)의 화면 영상을 전송 받아 재생되는 리모컨 1(2)의 터치 화면(7) 상에도 동일한 자판 영상과 문자 입력 난 영상이 표시되고, 리모컨 1(2) 터치 화면(7) 상의 자판 위에서의 사용자의 터치 정보에 따라 TV 장치(1) 화면 상의 자판 위에서 가상 캐릭터 손가락(5)이 움직이게 구성할 수 있다.In the case of inputting letters or characters, a character input column is displayed on the screen of the TV apparatus 1, a keyboard picture is displayed on a part of the lower end of the screen, and a remote controller 1 (2 The same keyboard image and character input image are also displayed on the touch screen 7 of the remote controller 1 (2) on the keyboard screen on the screen of the TV apparatus 1 in accordance with the user's touch information on the keyboard on the remote controller 1 The virtual character finger 5 can be configured to move.

또 다른 방법으로는 글자나 문자를 입력하는 경우에는 TV 장치(1) 화면에는 문자 입력 난만 표시되고, 이와 동시에 리모컨 1(2)의 터치 화면(7) 상에는 자판 영상과 문자 입력 난 영상만이 함께 표시되게 구성할 수도 있다.In the case of inputting letters or characters, only a character input indication is displayed on the screen of the TV apparatus 1, and at the same time, only a keyboard image and a character input image are displayed on the touch screen 7 of the remote controller 1 (2) It can also be configured to be displayed.

본 실시 예 1 에서도 아래의 실시 예 2 에서처럼 리모컨의 터치 정보에 두 곳이 터치되었고, 두 개의 터치 위치가 동일한 방향으로 이동하는 정보가 포함된 경우에는 이를 스코롤 정보로 TV 장치가 인식하도록 한 구성할 수도 있다. 이러한 스코롤 인식은 ebook 모드에서는 페이지 넘김 신호로 인식되게 할 수도 있다.Also in the first embodiment, when two pieces of touch information are touched in the touch information of the remote controller as in the second embodiment below and the information that the two touch parts move in the same direction is included, You may. Such scrolling may be recognized as a page turn signal in the ebook mode.

실시 예 2.Example 2.

본 실시 예 2 는 상기 실시 예 1 과 비교하여, 리모컨 2(3)에는 영상 재생 수단이 구성되지 않고 오직 터치 및 제스쳐 정보만 입력되는 터치 스크린(14)과, TV 장치(1) 측으로 터치 및 버튼(9)의 조작 정보를 교신하는 무선 통신 수단(6)을 갖게 구성하고, TV 장치(1)엔 가상 캐릭터 손가락 생성 수단을 갖게 구성하고, 상기 가상 캐릭터 손가락(5)이 리모컨 2(3)으로부터 전송되는 터치 및 제스쳐 정보에 따라 TV 장치(1)의 화면 상에서 움직여서 가상의 손가락이 마치 실제로 TV 장치(1)의 화면 상에서 특정 부위를 터치하거나 특정 부위에서 터치 제스쳐 하는 모습을 보여주면서 TV 장치(1)는 이에 따라 자신을 제어하여서 기능 및 화면을 조작하는 구성이다.Compared with the first embodiment, the second embodiment is different from the first embodiment in that the remote controller 2 (3) is provided with a touch screen 14, in which only the image and the gesture information are input, (6) for communicating operation information of the virtual character finger (9), and the TV apparatus (1) is provided with virtual character finger generating means, and the virtual character finger (5) The virtual finger moves on the screen of the TV apparatus 1 according to the transmitted touch and gesture information and displays a state in which a virtual finger actually touches a specific region on the screen of the TV apparatus 1 or performs a touch gesture at a specific region, ) Is a configuration for controlling the function and the screen by controlling itself accordingly.

실시 예 1 과 비교하여 본 실시 예 2 의 구성 상의 차이점은 리모컨 2(3)의 터치 스크린(14)에는 영상을 재생하는 화면 재생 수단이 함께 구성되지 않는 차이점이 있다.Compared with the first embodiment, the second embodiment differs from the first embodiment in that the touch screen 14 of the remote controller 2 (3) is not provided with a screen reproducing means for reproducing images.

본 실시 예 2 의 구성은 다음과 같다.The configuration of the second embodiment is as follows.

스마트 TV 장치는 유무선의 디지털 TV 영상 수신 수단 및 재생 수단과, 인터넷에 접속 수단과 주문형 서비스를 가능하게 하는 셋톱 박스 수단과, 가상 캐릭터 손가락 생성 수단, 가상 캐릭터 손가락 제어 수단, 화면 및 기능 조작 수단, 리모컨 2(3)와 교신하는 무선 통신 수단(6)을 포함하여 구성된다.The smart TV device includes a set-top box means for enabling a digital TV video receiving means and a playback means of wired and wireless digital TV, a means for connecting to the Internet and a service on demand, a virtual character finger generating means, a virtual character finger controlling means, And wireless communication means (6) for communicating with the remote controller (2) (3).

또한 리모컨 2(3)는 영상 재생 기능이 없는 터치 스크린(14), TV 장치(1)와 무선 통신하는 무선 통신 수단(6), 버튼(9)과 전원을 포함하여 구성된다.The remote controller 2 (3) includes a touch screen 14 having no image reproduction function, wireless communication means 6 for wireless communication with the TV apparatus 1, a button 9, and a power source.

가상 캐릭터 손가락 생성 수단 및 가상 캐릭터 손가락 제어 수단은 리모컨 2(3)의 터치 스크린(14) 상에서의 터치 정보 및 제스쳐 정보에 따라 터치된 위치에 매칭되는 TV 장치(1)의 화면 상의 위치에 가상의 캐릭터 손가락(5) 끝 부위가 위치하도록 영상을 표시하고, 또한 상기 가상 캐릭터 손가락 제어 수단으로 상기 리모컨 2(3)의 터치 정보 및 제스쳐 정보에 따라 상기 가상 캐릭터 손가락(5) 영상을 움직이도록 제어하게 구성된다.The virtual character finger generating means and the virtual character finger controlling means are configured to control the virtual character finger generating means and the virtual character finger controlling means so that the virtual character finger generating means and the virtual character finger controlling means generate virtual Controls the virtual character finger control means to move the image of the virtual character finger 5 according to the touch information and the gesture information of the remote controller 2 (3) by displaying the image such that the end of the character finger 5 is positioned .

TV 장치(1)의 기능 제어 및 화면 제어 수단은 리모컨 2(3)으로부터 수신한 터치 및 제스쳐 정보와 버튼 조작 정보에 따라 스마트 TV 장치의 각종 기능(예: 볼륨, 화면 조정 등) 및 TV 장치(1)의 화면 조작이 실시되도록 구성된다.The function control and screen control means of the TV apparatus 1 controls various functions of the smart TV apparatus such as volume and screen adjustment according to the touch and gesture information and the button operation information received from the remote controller 2 1) is performed.

상기 TV 장치(1)의 각종 기능 제어에는 볼륨 제어, 화면 밝기 제어, 화면 조정 제어 등의 종래의 기본적인 TV 기능 제어들이 모두 포함된다.Various functions of the TV apparatus 1 include conventional basic TV function controls such as volume control, screen brightness control, screen adjustment control, and the like.

또한 상기 TV 장치 화면 조작은 종래의 터치 화면을 갖는 디지털 장치인 스마트 폰이나 태블릿 PC 등에서 실시되던 각종의 화면 조작 기능들, 예를 들어, 화면 확대 축소, 드래그 앤 드롭, 메뉴 선택, 스코롤, 페이지 넘김 모습의 영상 제어 등의 화면 조작 기능들이 모두 포함된다.In addition, the TV apparatus screen operation may include various screen operation functions, such as screen enlargement and reduction, drag and drop, menu selection, scrolling, page display, and the like, which are performed in a smart phone or a tablet PC, And screen control functions such as turning control of the image.

리모컨 2(3)의 터치 및 제스쳐 정보에 대응하는 TV 장치(1)의 화면 조작 방법은 미리 프로그램 되어 TV 장치의 제어 부에 설치되어 구성된다.The screen operation method of the TV apparatus 1 corresponding to the touch and gesture information of the remote controller 2 (3) is preliminarily programmed and provided in the control section of the TV apparatus.

상기 가상 캐릭터 손가락(5) 영상은 미리 준비된 다양한 형상들 중에서 사용자가 한 형상을 선택하게 구성할 수도 있다.The virtual character finger 5 image may be configured to select a shape of a user from among various shapes prepared in advance.

TV 장치(1)의 화면 상의 특정 아이콘 위치에 상기 가상 캐릭터 손가락(5)이 위치하면 해당 아이콘이 하이라이트 되게 구성할 수도 있다. 이 경우엔 상기 하이라이트 된 아이콘에 연결된 화면이 디스플레이 되게 구성될 수도 있다.When the virtual character finger 5 is positioned at a specific icon position on the screen of the TV apparatus 1, the corresponding icon may be highlighted. In this case, a screen linked to the highlighted icon may be displayed.

상기 리모컨 2(3)의 터치 스크린(14) 상에서 손가락(4)으로 임의의 위치에 터치하면, 터치 된 위치에 매칭되는 TV 장치(1)의 화면 상에 가상 캐릭터 손가락(5)의 끝 부위가 위치하고, 사용자의 손가락이 터치 스크린(14) 상에서 터치된 상태로 리모컨 2(3)의 터치 스크린(14) 위를 움직이면, 이 정보가 TV 장치(1) 측으로 전송되어서 가상 캐릭터 손가락 제어 수단에 의해서 상기 가상 캐릭터 손가락(5)도 TV 장치(1)의 화면 상에서 같은 방향과 속도로 움직이게 구성된다. 만약 가상 캐릭터 손가락(5)이 TV 장치(1)의 화면 상의 특정 아이콘 위에 위치하면 해당 아이콘이 하이라이트 되게 구성될 수 있다.When the user touches the finger 4 on the touch screen 14 of the remote controller 2 or 3 at an arbitrary position, the end portion of the virtual character finger 5 is displayed on the screen of the TV apparatus 1 matched to the touched position When the user's finger is touched on the touch screen 14 and moves on the touch screen 14 of the remote controller 2 (3), this information is transmitted to the TV apparatus 1 side and the virtual character finger control means The virtual character finger 5 is also configured to move in the same direction and speed on the screen of the TV apparatus 1. [ If the virtual character finger 5 is positioned on a specific icon on the screen of the TV apparatus 1, the icon may be configured to be highlighted.

상기 아이콘이 하이라이트 되면 클릭한 것으로 간주하게 구성할 수도 있다.If the icon is highlighted, it can be regarded as being clicked.

또 다른 방법으로는 상기 아이콘이 하이라이트 된 상태에서 가상 캐릭터의 손가락이 다시 한번 더 해당 아이콘을 클릭하는 동작을 하도록 리모컨 2(3) 상의 터치 스크린(14) 상에서 손가락을 뗐다가 다시 터치 하는 재 터치(클릭) 동작을 하면 하이라이트 된 해당 아이콘이 선택된 것으로 간주하도록 구성할 수도 있다.Alternatively, in a state where the icon is highlighted, the virtual character's finger again touches the corresponding icon on the touch screen 14 on the remote controller 2 (3) Click) operation can be configured to regard the highlighted icon as selected.

상기 TV 장치 측으로 전송되는 상기 리모컨의 터치 스크린(14) 상의 터치 정보 및 터치 상태에서의 이동 정보는 리모컨 터치 스크린(14) 상의 터치된 좌표 정보 및 상기 터치 위치 좌표의 이동 정보가 포함되어 전송되게 구성된다.The touch information on the touch screen 14 of the remote control and the movement information in the touch state transmitted to the TV apparatus side include the touch coordinates information on the remote control touch screen 14 and the movement information of the touch position coordinates, do.

상기 TV 장치 측으로 전송되는 상기 리모컨의 터치 스크린(14) 상의 터치 정보는 리모컨 터치 스크린(14) 상의 좌표 정보와 함께 및 리모컨 터치 스크린(14) 상에서의 클릭 손동작에 따른 동일 위치에서의 재 터치 여부 정보가 포함되어 전송되게 구성된다.The touch information on the touch screen 14 of the remote control transmitted to the TV apparatus side is transmitted together with coordinate information on the remote control touch screen 14 and information on whether or not the touch information is re-touched at the same position due to a click operation on the remote control touch screen 14 To be transmitted.

상기 TV 장치 측으로 전송되는 상기 리모컨의 터치 스크린(14) 상의 터치 및 제스쳐 정보는 리모컨 터치 스크린(14) 상의 터치된 회수 정보 및 터치된 좌표 정보의 변화 정보가 포함되어 전송되게 구성된다.The touch and gesture information on the touch screen 14 of the remote control transmitted to the TV apparatus side is configured to include information on the touched number on the remote control touch screen 14 and information on the change in the touched coordinate information.

상기 가상 캐릭터 손가락(5)은 가상 캐릭터 손가락(5)의 검지 끝 부위 위치가 리모컨 2(3) 터치 스크린(14) 상의 터치된 위치에 매칭되는 위치가 되도록 구성된다.The virtual character finger 5 is configured such that the position of the detection end portion of the virtual character finger 5 is a position matched to the touched position on the remote control 2 (3) touch screen 14. [

리모컨 2(3)으로부터 터치된 위치가 두 곳이라는 정보를 TV 장치(1)가 수신한 경우, 상기 가상 캐릭터 손가락(5)은 가상 캐릭터 손가락 생성 수단에 의해서 두 개의 손가락을 펼친 영상으로 표시되고, 이때의 가상 캐릭터의 두 손가락 위치는 터치 스크린(14)에서 터치된 두 좌표 중에서 위 측 터치 좌표에 매칭되는 TV 장치(1)의 화면 위치에 가상 캐릭터 손가락(5)의 두 개의 손가락 중에서 위 측에 위치하는 손가락이 위치하게 하고, 아래 측 터치 좌표에 매칭되는 TV 장치(1)의 화면 상의 위치에는 가상 캐릭터의 두 손가락 중에서 아래에 위치하는 손가락이 위치하도록 구성된다.When the TV apparatus 1 receives information that the two positions touched from the remote controller 2 (3) are received, the virtual character finger 5 is displayed as an image in which two fingers are expanded by the virtual character finger generating means, At this time, the position of the two fingers of the virtual character is positioned on the upper side among the two fingers of the virtual character finger 5 at the screen position of the TV apparatus 1 matched with the upper touch coordinate among the two coordinates touched by the touch screen 14 And the finger positioned below the two fingers of the virtual character is positioned at the position on the screen of the TV apparatus 1 matched with the lower touch coordinates.

상기 가상 손가락의 두 개의 손가락은 엄지와 검지일 수도 있고, 또는 검지와 장지일 수도 있다.The two fingers of the virtual finger may be a thumb and a finger, or may be a finger and a finger.

상기 가상 캐릭터 손가락(5)의 동작은 실제 손가락(4)에 마크(광학 마크, 또는 자성 마크)를 설치하여 캡쳐한 동작 데이트를 이용하여 작동되게 구성할 수도 있다.The operation of the virtual character finger 5 may be configured to be operated using a captured operation date by providing a mark (optical mark or magnetic mark) on the actual finger 4.

상기 캡쳐된 동작 데이터는 리모컨의 터치 스크린(14) 상의 터치 점을 사용자의 실제 손가락(4)의 마크 점으로 인식하여 상기 가상 캐릭터 손가락(5)의 동작을 제어하게 구성될 수 있다.The captured operation data may be configured to recognize the touch point on the touch screen 14 of the remote control as a mark point of the user's actual finger 4 to control the operation of the virtual character finger 5.

TV 장치(1)의 제어는 리모컨 2(3)의 터치 스크린(14) 상에서의 터치 정보 및 터치 제스쳐 정보를 리모컨 2(3) 측으로부터 TV 장치(1)가 전송 받아서 TV 장치(1)의 제어 정보로써 사용하도록 구성할 수도 있고, 또는 리모컨 2(3)의 터치 스크린(14) 상의 터치 및 제스쳐 정보에 따라 동작하는 TV 장치(1)의 화면상의 가상 캐릭터 손가락(5)의 제스쳐 정보를 TV 장치의 제어 정보로써 사용하도록 구성할 수도 있다.The control of the TV apparatus 1 is performed by the TV apparatus 1 receiving the touch information and the touch gesture information on the touch screen 14 of the remote controller 2 (3) from the remote controller 2 (3) Or the gesture information of the virtual character finger 5 on the screen of the TV apparatus 1 operating in accordance with the touch and gesture information on the touch screen 14 of the remote controller 2 (3) As the control information of the control unit.

이에 따라, 리모컨 터치 스크린(14) 상에서의 터치 조작 및 제스쳐 조작에 따라서 TV 장치(1)의 화면 상에서 가상 캐릭터 손가락(5)이 움직이면서 드래그 앤 드롭, 스크롤, 바운스 백, 화면의 확대 및 축소, 책장 넘김 기능 등의 화면 조작이 실시되도록 구성된다.As a result, the virtual character finger 5 moves on the screen of the TV apparatus 1 in accordance with the touch operation and the gesture operation on the remote control touch screen 14 to perform drag and drop, scrolling, bounce back, And a screen operation such as a turning function is performed.

글자나 문자를 입력하는 경우에는 TV 장치(1)의 화면에는 문자 입력 난과, 자판 영상과, 상기 자판 영상 위에 가상 캐릭터 손가락(5) 영상이 표시되게 구성할 수 있다.In the case of inputting characters or characters, a character input line, a keyboard image, and a virtual character finger 5 image can be displayed on the screen of the TV device 1.

또 다른 방법으로는 글자나 문자를 입력하는 경우에는 TV 장치(1)의 화면에는 문자 입력 난만 표시되고, 별도의 자판은 리모컨의 터치 스크린(14)과는 구별되는 별도 구간에 설치되게 구성할 수도 있다. 이 경우의 자판은 기계식 자판 일 수 도 있고, 또는 자판이 표시된 다른 터치 스크린(도시하지 않았음) 일수도 있다Alternatively, in the case of inputting letters or characters, only a character input indication may be displayed on the screen of the TV device 1, and a separate keyboard may be provided in a separate section different from the touch screen 14 of the remote controller have. The keyboard in this case may be a mechanical keyboard, or it may be another touch screen (not shown) in which the keyboard is displayed

지금까지 상술한 실시 예 1 및 2 에 있어서, 상기 가상 캐릭터 손가락(5) 영상은 3D 입체 영상으로 구성되게 할 수도 있다.In the above-described first and second embodiments, the virtual character finger 5 image may be configured as a 3D stereoscopic image.

또한 가상 캐릭터 손가락(5)은 가상의 임의의 형태일 수도 있음은 물론이다. 일 예로써, 막대 형태일수도 있고, 또는 동물의 신체 형태 일 수도 있고 로보트의 손가락 형태일 수도 있고, 또는 캐릭터가 들고 있는 지시 봉일 수도 있다.It goes without saying that the virtual character finger 5 may be a virtual arbitrary form. As an example, it may be in the form of a rod, a body form of an animal, a finger of a robot, or an indicator rod carried by a character.

본 실시 예 2 에서, 리모컨의 터치 정보에 두 곳이 터치되었고, 두 개의 터치 위치가 동일한 방향으로 이동하는 정보가 포함된 경우에는 이를 스코롤 정보로 TV 장치가 인식하도록 한 구성할 수도 있다. 이러한 스코롤 인식은 ebook 모드에서는 페이지 넘김 신호로 인식되게 할 수도 있다.In the second embodiment, when two pieces of touch information are touched in the touch information of the remote controller and two pieces of touch information are moved in the same direction, the TV device may recognize the pieces of information as scroller information. Such scrolling may be recognized as a page turn signal in the ebook mode.

[작용][Action]

실시 예 1.Example 1.

실시 예 1 의 작용을 상술하면 다음과 같다.The operation of Embodiment 1 will be described in detail as follows.

리모컨 1(2) 상의 버튼(9)가 TV 장치(1)를 온 오프(ON OFF) 시키는 신호를 전송하도록 구성시킨 경우를 예로 들어서 본 실시 예 1 의 작동 과정을 상술한다.The operating procedure of the first embodiment will be described by taking as an example the case where the button 9 on the remote controller 1 (2) is configured to transmit a signal for turning the TV apparatus 1 ON and OFF.

사용자가 리모컨 1(2) 상의 버튼(9)을 한번 누르면, 이러한 버튼(9)의 조작 신호가 무선 통신 수단(6)을 통하여 TV 장치(1) 측으로 전송되고, 이에 따라 TV 장치(1)는 온(ON) 되면서 TV 장치(1)의 화면에는 초기 메뉴 화면이 도 1처럼 나타난다.When the user presses the button 9 on the remote controller 1 2 once, the operation signal of the button 9 is transmitted to the TV apparatus 1 via the wireless communication means 6, The initial menu screen is displayed on the screen of the TV apparatus 1 as shown in FIG.

이어서, 상기 TV 장치(1)는 자신의 화면에 표현된 영상을 리모컨 1(2) 측으 로 무선 통신 수단(6)을 통하여 전송하고, 이에 따라 리모컨 1(2)의 터치 화면(터치 스크린이 함께 설치된 영상 재생 수단)(7) 상에서도 TV 장치(1)의 화면과 동일한 영상이 재생된다.Subsequently, the TV apparatus 1 transmits the image represented on its own screen to the remote controller 1 (2) via the wireless communication means 6, and accordingly the touch screen of the remote controller 1 (2) The same image as that of the TV apparatus 1 is reproduced on the installed image reproducing means 7).

사용자가 리모컨 1(2) 의 터치 화면(7) 상에서 원하는 메뉴(예: Movies)를 손가락(4)으로 터치하면, 터치된 좌표 정보 또는 터치된 메뉴 정보가 리모컨 1(2)으로부터 TV 장치(1) 측으로 무선 통신 수단(6)을 통하여 전송되고, 이를 수신한 TV 장치(1)는 가상 캐릭터 손가락 생성 수단 측으로 신호를 보내어서 가상 캐릭터 손가락(5)을 생성하게 하여 제어부 측으로 전송한다. 이에 따라, TV 장치(1)의 제어부는 수신한 가상 캐릭터 손가락(5) 영상을 리모컨 1(2)이 전송한 터치 위치 정보에 매칭되는 위치의 TV 장치(1)의 화면 상에서 재생한다. 이어서 가상 캐릭터 손가락 제어 수단은 TV 장치(1)의 화면 상에 나타난 가상 캐릭터 손가락(5)을 해당 메뉴를 클릭 하는 모습으로 동작하는 동작 모습으로 제어하여 TV 장치(1)의 화면상에서 재생시킨다.When the user touches a desired menu (e.g., Movies) on the touch screen 7 of the remote controller 1 (2) with the finger 4, the touched coordinate information or the touched menu information is transmitted from the remote controller 1 (2) ) Via the wireless communication means 6, and the TV apparatus 1 receiving the signal transmits a signal to the virtual character finger generating means to generate the virtual character finger 5, and transmits it to the control unit side. Accordingly, the control unit of the TV apparatus 1 reproduces the received virtual character finger 5 image on the screen of the TV apparatus 1 at the position matched with the touch position information transmitted by the remote controller 1 (2). Then, the virtual character finger control means controls the virtual character finger 5 displayed on the screen of the TV device 1 to display the operation of the virtual character finger 5 in a state of clicking the corresponding menu, and reproduces it on the screen of the TV device 1.

상기 가상 캐릭터 손가락(5)의 클릭하는 모습의 동작 영상은 TV 장치(1) 내의 가상 캐릭터 생성 수단 내에 미리 저장된 손가락(4)의 클릭 동작이 캡쳐 된 정보를 이용하여 실현될 수 있다.The action image of the click of the virtual character finger 5 can be realized by using the captured information of the click operation of the finger 4 previously stored in the virtual character generation means in the TV apparatus 1. [

또 다른 방법으로, TV 장치(1) 내의 가상 캐릭터 생성 수단 내에 미리 저장된 손가락(4)의 클릭 동작 시의 연속 동작에 해당하는 여러 프레임의 정지 영상들을 순서대로 표현되게 제어함으로 클릭 하는 모습의 동영상을 실현시킬 수도 있다. 이에 따라, TV 장치(1)의 화면에는 도 2 처럼 가상 캐릭터 손가락(5)의 끝 부위가 사용자가 리모컨 1(2)으로 선택한 메뉴(예: Movies) 위에서 클릭하는 동작을 하는 영상이 재생되게 된다. 이때 클릭되어 선택되는 메뉴는 선택되는 메뉴를 더 잘 보이도록 하기 위하여 도 2 처럼 하이라이트 되게 할 수도 있다. 상술한 작동 과정에 따라, TV 장치(1)의 화면 상에는 마치 가상 캐릭터 손가락(5)이 클릭 동작으로 특정 메뉴(예: Movies 메뉴)를 선택한 것처럼 보여진다.Still another method is to control the display of still images of various frames corresponding to the continuous operation at the time of the click operation of the finger 4 previously stored in the virtual character generation means in the TV apparatus 1 so as to be displayed in order, It can be realized. As a result, an image in which the end portion of the virtual character finger 5 is clicked on the menu (e.g., Movies) selected by the remote controller 1 (2) by the user is reproduced on the screen of the TV apparatus 1 . At this time, the menu to be clicked and highlighted may be highlighted as shown in FIG. 2 to make the selected menu more visible. The virtual character finger 5 appears as if a specific menu (e.g., a Movies menu) is selected on the screen of the TV device 1 by the click operation.

이어서 TV 장치(1)는 선택된 메뉴에 대한 정보를 유무선 망으로 연결된 외부 서버 측으로 전송하면서 이에 따른 정보의 전송을 요청하는 신호를 보내고, 이에 따라 외부 서버는 선택된 메뉴에 해당하는 검색된 정보들(예: Movie 종류들 정보)을 TV 장치(1) 측으로 전송하여서 TV 장치(1)의 화면 상에 도 2 처럼 표시되고, 이어서 이러한 변화된 TV 장치(1)의 화면 정보는 다시 리모컨 1(2) 측으로 전송되어서 리모컨 1(2)의 터치 화면(7) 상에서도 TV 장치(1)의 화면이 동일하게 표시된다.Subsequently, the TV apparatus 1 transmits information on the selected menu to the external server connected to the wired / wireless network, and sends a signal requesting transmission of the information. Accordingly, the external server transmits the retrieved information corresponding to the selected menu Movie types information) is transmitted to the TV apparatus 1 and displayed on the screen of the TV apparatus 1 as shown in FIG. 2, and then the changed screen information of the TV apparatus 1 is transmitted to the remote controller 1 side The screen of the TV apparatus 1 is also displayed on the touch screen 7 of the remote controller 1 (2).

사용자가 도 3 처럼 리모컨 1(2)의 터치 화면(7) 상에 표시된 검색된 정보(예: 영화 종류 정보들)들 중에서 원하는 정보(예: Movie)를 손가락(4)으로 도 3 처럼 터치하는 형태로 클릭하면, 이러한 터치 정보가 리모컨 1(2)으로부터 TV 장치(1) 측으로 전송되고, 이에 따라 TV 장치(1)의 화면 상에는 상술한 방법과 동일한 방법에 의해서 가상 캐릭터 손가락(5)이 검색된 정보들 중에서 특정 정보(예: 특정 영화)를 클릭하는 동작 모습을 보여준다. 이에 따라, TV 장치(1) 는 외부 서버 측으로 클릭으로 선택된 해당 정보(예: 영화 명)를 전송하고, 이에 따라 외부 서버는 사용자가 선택한 정보에 해당하는 컨텐츠를 유무선망을 통하여 TV 장치(1) 측으로 전송하고, 이를 수신한 TV 장치(1)는 이를 재생하게 된다.The user touches desired information (e.g., Movie) among the searched information (e.g., movie type information) displayed on the touch screen 7 of the remote controller 1 (2) The touch information is transmitted from the remote controller 1 to the TV apparatus 1 so that the virtual character finger 5 is displayed on the screen of the TV apparatus 1 in the same manner as the above- (For example, a specific movie) among the plurality of movies. Accordingly, the TV apparatus 1 transmits corresponding information (e.g., movie name) selected by clicking on the external server side, and accordingly, the external server transmits the content corresponding to the information selected by the user to the TV apparatus 1 through the wired / , And the TV apparatus 1 that has received it transmits it.

컨텐츠가 재생되는 TV 화면의 정보도 다시 TV 장치(1)가 리모컨 192) 측으로 전송하여 리모컨 1(2)의 터치 화면(7) 상에서도 동일한 정보들(예:Movie 정보들)이 재생되게 할 수도 있지만, 또 다른 방법으로, 최종적으로 선택되어 재생되는 컨텐츠 재생 화면은 TV 장치(1)가 다시 리모컨 1(2) 측으로 전송하지 않도록 구성할 수도 있음은 물론이다.The information on the TV screen on which the content is reproduced may be transmitted to the remote controller 192 side again by the TV apparatus 1 so that the same information (e.g., Movie information) is reproduced on the touch screen 7 of the remote controller 1 Alternatively, it is needless to say that the content playback screen which is finally selected and reproduced may be configured so that the TV apparatus 1 does not transmit back to the remote controller 1 (2) side.

또 다른 방법으로, 컨텐츠가 재생 중인 TV 화면 영상은 TV 장치(1)가 리모컨 1(2) 측으로 전송하지 않은 채로 작동하다가 예를 들어서 리모컨 1(2)의 터치 화면 상의 임의의 위치에서 손가락(4)으로 터치하면, 이에 따라 리모컨 1(2) 측으로부터 재생중인 화면의 전송을 요청하는 특정 신호가 TV 장치(1) 측으로 전송되고, 이를 수신하면, 그때는 즉각적으로 TV 장치(1)가 재생중인 영상을 리모컨 1(2) 측으로 전송하게 할 수도 있다. 이때 전송되는 영상은 동영상 일 수도 있고, 또는 전송을 요청 받은 순간에 재생 중이던 동영상의 한 프레임의 정지 영상일 수도 있다.Alternatively, the TV screen image in which the content is being reproduced is operated while the TV apparatus 1 is not transmitted to the remote controller 1 (2) side. For example, when the finger 4 (4) is displayed at an arbitrary position on the touch screen of the remote controller 1 The specific signal requesting transmission of the screen being reproduced is transmitted from the remote controller 1 (2) side to the TV apparatus 1 side. When receiving the specific signal, the TV apparatus 1 is immediately reproduced So that the image can be transmitted to the remote controller 1 (2). The transmitted image may be a moving image or a still image of one frame of a moving image that was being reproduced at the moment of transmission.

도 4 의 기능을 상술하면 다음과 같다.The functions of FIG. 4 will be described in detail as follows.

도 4 의 기능은 TV 장치(1)의 화면에서 화면을 좌우, 또는 상하로 스코롤 시킬 수 있는 기능을 설명한다.The function shown in Fig. 4 explains the function of scrolling the screen left, right, up or down on the screen of the TV apparatus 1. Fig.

만약 외부 서버 측에서 전송한 검색된 정보들 중에서 TV 장치(1)의 화면에 표시된 일부의 정보들 중에서 원하는 정보를 찾을 수 없을 때에는 가상 캐릭터 손가락(5)이 도 4 처럼 검색된 정보들이 표시된 화면 부위에 위치하도록 손가락(4)을 리모컨 1(2) 상의 터치 화면 상에 표시된 검색된 정보들이 표시된 위치에 터치한 상태에서 도 4 처럼 손가락(4)을 좌우, 또는 상하로 이동시키면, 이러한 터치 정보 가 리모컨 1(2)으로부터 TV 장치(1) 측으로 전송되어서 TV 장치(1)의 화면 상에 표시된 가상 캐릭터 손가락(5)도 가상 캐릭터 손가락 생성 수단과, 가상 캐릭터 손가락 제어 수단에 의해서 상술한 방법에 의해서 TV 장치(1)의 화면 상에서 좌우, 또는 상하로 이동하면서 TV 장치(1)의 화면은 제어부의 제어에 의해서 스코롤 된다. 이에 따라 검색된 여러 정보들이 추가로 더 보이게 된다. 스코롤 방향은 좌우, 또는 상하로 진행되게 할 수도 있고, 또는 좌우 상하 모든 방향으로 스코롤 되게 할 수도 있다. 이러한 스코롤 되어 변화된 TV 장치(1)의 화면 정보는 다시 리모컨 1(2) 측으로 전송되어서 리모컨 1(2 의 터치 화면(7) 상에서도 동일한 화면이 재생된다. 이에 따라, 사용자가 리모컨 1(2)의 터치 화면상에서 스코롤 된 정보들 중에서 원하는 정보를 클릭하면, 이러한 터치 정보가 다시 TV 장치(1) 측으로 전송되어서, TV 장치(1) 의 화면상에서 표시되는 가상 캐릭터 손가락(5)이 상술한 방법대로 작동하여서 사용자가 원하는 정보(예: Movie)가 클릭되는 듯이 작동하고, 이어서 클릭된 해당 메뉴나 아이콘에 대한 정보(예: Movie)가 TV 장치(1)로부터 외부 서버 측으로 전송하면서 해당 컨텐츠의 전송을 요청하고, 이에 따라 외부 서버는 해당 컨텐츠를 자신의 컨텐츠 저장 메모리 수단에서 찾아서 TV 장치(1) 측으로 전송하여서 사용자가 선택한 컨텐츠가 재생되게 된다.If desired information can not be found among some pieces of information displayed on the screen of the TV apparatus 1 among the searched information transmitted from the external server side, the virtual character finger 5 is positioned on the screen portion where the searched information is displayed The finger 4 is moved leftward or rightward or upward or downward as shown in FIG. 4 while the finger 4 is touched at a position where the information displayed on the touch screen on the remote controller 1 (2) is displayed, The virtual character finger 5 transmitted from the TV apparatus 1 to the TV apparatus 1 and displayed on the screen of the TV apparatus 1 is also displayed on the TV apparatus 1 by the virtual character finger generating means and the virtual character finger controlling means by the above- 1, the screen of the TV apparatus 1 is scrolled under the control of the control unit. As a result, the retrieved information becomes more visible. The scrolling direction may be left or right or up and down, or may be scrolled in all directions up, down, left and right. The screen information of the scrolled and changed TV apparatus 1 is transmitted to the remote controller 1 side 2 again and the same screen is reproduced on the touch screen 7 of the remote controller 1. Accordingly, The touch information is transmitted again to the TV apparatus 1 so that the virtual character finger 5 displayed on the screen of the TV apparatus 1 can be displayed on the screen of the TV apparatus 1 by the above- (For example, Movie) is clicked and the information (e.g., Movie) about the clicked menu or icon is transmitted from the TV apparatus 1 to the external server side, The external server finds the content in its own content storage memory means and transmits it to the TV apparatus 1 so that the content selected by the user is reproduced.

이러한 스코롤 기능을 수행함에 있어서 종래의 스마트 기기들에서 사용한 "바운스 백" 기능을 갖게 구성될 수 있으며, 이 경우에는 사진이나 문서 등의 "바운스 백" 기능이 수행되어서 스코롤 작업에 따른 최종 화면의 경계 면이 화면상에서 지나치게 되면 튕겨져 반발되면서 돌려져서 온전한 한 화면이 보여지게 된다.In this case, a "bounce back" function, such as a photograph or a document, is performed and the final screen corresponding to the scrolling operation Is overturned, it is repelled and turned, and a full screen is displayed.

도 5 의 기능을 상술하면 다음과 같다.The functions of FIG. 5 will be described in detail as follows.

도 5 는 TV 장치(1) 화면의 축소나 확대를 실시할 수 있는 기능이다.Fig. 5 is a function capable of reducing or enlarging the screen of the TV apparatus 1.

사용자가 리모컨 1(2) 의 터치 화면(7)을 보면서 원하는 부위의 화면을 확대, 또는 축소시키고자 할 때에는 도 5 처럼 두 손가락을 리모컨 1(2) 터치 화면의 해당 위치에 터치한 상태에서 두 손가락을 벌리거나 좁히는 제스쳐 동작을 하면, 이러한 제스쳐 정보가 리모컨 1(2)으로부터 TV 장치(1) 측으로 전송된다. 이에 따라 상술한 방법에 의해서 TV 장치(1)의 매칭되는 화면 위치에 두 개의 가상 캐릭터 손가락(5)이 표시되면서 벌리거나 축소시키는 동작을 하게 된다. 이에 따라, 제어부는 TV 장치(1)는 두 개의 가상 캐릭터 손가락(5)이 위치한 화면을 확대하거나 또는 축소시키는 화면 제어를 한다. 이러한 특정 위치의 화면의 확대나 축소를 제어하는 기술 자체는 이미 공지되어 있음은 물론이다. 본 발명에서는 이러한 공지된 기술을 이용하여 가상 캐릭터 손가락(5)의 제스쳐 동작에 따라 TV 장치(1)의 화면을 확대 또는 축소시킨다.When the user views the touch screen 7 of the remote controller 1 (2) and wants to enlarge or reduce the screen of the desired area, touch the two fingers to corresponding positions on the touch screen of the remote controller 1 (2) This gesture information is transmitted from the remote controller 1 (2) to the TV apparatus 1 side when a gesture operation is performed to open or narrow the fingers. Accordingly, the two virtual character fingers 5 are displayed on the matching screen position of the TV apparatus 1 by the above-described method, and the operation is performed to expand or contract. Accordingly, the control unit causes the TV apparatus 1 to perform screen control for enlarging or reducing the screen where the two virtual character fingers 5 are located. Needless to say, the technique itself for controlling the enlargement or reduction of the screen of the specific position is already known. According to the present invention, the screen of the TV apparatus 1 is enlarged or reduced according to the gesture operation of the virtual character finger 5 by using this known technique.

상술한 과정을 통하여, 시청자는 마치 TV 장치(1) 화면상의 가상 캐릭터 손가락(5)의 제스쳐에 따라서 화면이 확대, 또는 축소되는 듯한 모습을 보게 된다. 이때 TV 장치(1)의 해당 화면의 확대나 축소 비율은 리모컨 1(2) 터치 화면(7) 상에서의 두 손가락(4) 벌림이나 좁힘의 정도에 비례하여 확대나 축소가 실행되게 제어된다.Through the above-described process, the viewer sees that the screen is enlarged or reduced according to the gesture of the virtual character finger 5 on the screen of the TV apparatus 1. At this time, the enlargement or reduction ratio of the corresponding screen of the TV apparatus 1 is controlled so as to be enlarged or reduced in proportion to the degree of opening or narrowing of the two fingers 4 on the remote control 1 (2) touch screen 7.

종래의 스마트 폰이나 태블릿 PC 등에서 작동하던 기능들 중의 또 다른 기능인 드래그 앤 드롭 기능도 상술한 방법으로 가능하게 된다. 즉, 리모컨 1(2) 터치 화면(7) 상의 특정 아이콘 위치 손가락(4)을 터치한 상태에서 손가락(4)을 이동시키면, 이러한 터치 정보가 리모컨 1(2)으로부터 TV 장치(1) 측으로 전송된다. 이에 따라, 상술한 방법에 의해서 가상 캐릭터 생성 수단과 가상 캐릭터 제어 수단에 의해서 TV 장치(1)의 매칭되는 화면 상에 표시된 가상 캐릭터 손가락(5)이 TV 화면상의 특정 아이콘에 위치하도록 표시된 후에 특정 아이콘과 함께 가상 캐릭터 손가락(5)이 이동하도록 제어되고, 이후 리모컨 1(2)의 터치 화면에서 손가락(4)의 터치가 해제된 위치에 매칭되는 TV 장치(1)의 화면 위치까지 특정 아이콘이 이동되게 제어된다. 이후 일정 시간 동안 리모컨 1(2)으로부터 추가적인 터치 정보가 없으면 TV 장치(1)의 화면에 표시된 가상 캐릭터 손가락(5) 영상은 사라진다. 이러한 과정을 통하여 TV 장치(1)는 마치 가상 캐릭터 손가락(5)에 의해서 드래그 앤 드롭 기능이 실행되는 것처럼 보여지게 된다.The drag-and-drop function, which is another function among the functions that have been operated in the conventional smartphone or tablet PC, is also possible by the above-described method. That is, when the finger 4 is moved while the specific icon position finger 4 on the remote controller 1 (2) touch screen 7 is touched, such touch information is transmitted from the remote controller 1 (2) to the TV apparatus 1 do. Thereby, by the above-described method, after the virtual character finger 5 displayed on the matching screen of the TV apparatus 1 by the virtual character generating means and the virtual character controlling means is displayed to be positioned on the specific icon on the TV screen, The specific character is moved to the screen position of the TV apparatus 1 matched to the position where the touch of the finger 4 is released on the touch screen of the remote controller 1 (2) Respectively. If there is no additional touch information from the remote controller 1 (2) for a certain period of time, the image of the virtual character finger 5 displayed on the screen of the TV apparatus 1 disappears. Through this process, the TV apparatus 1 appears as though the drag-and-drop function is performed by the virtual character finger 5.

가상 캐릭터 손가락(5)의 동작에 따라 책장을 한 페이지씩 넘기는 형태로 화면을 조작할 수도 있음은 물론이다. 페이지 넘김 형태로 화면을 조작하는 기술은 종래에 공지된 기술임은 물론이다. 본 발명에서는 이러한 종래 기술을 이용하여 가상 캐릭터 손가락(5)의 동작에 맞추어서 페이지 넘김 화면이 표시되게 된다. 이러한 페이지 넘김 표현은 책(Book) 내용을 표시하는 컨텐츠를 표시된 상태에서 사용자가 리모컨 1(2) 터치 화면(7) 상에서 손가락(4)을 터치 상태로 이동시키면 이러한 터치 정보가 리모컨 1(2)으로부터 TV 장치(1) 측으로 전송되고, 이에 따라 TV 장치(1)의 화면상에 재생중인 책의 페이지가 넘겨지는 화면으로 조작되면서 다음 페이지가 표시되게 된다It is needless to say that the screen can be operated in such a manner that the book characters are turned over one page at a time according to the operation of the virtual character finger 5. It is needless to say that the technique of operating the screen in the page turning mode is a conventionally known technique. According to the present invention, a page turnover screen is displayed in accordance with the operation of the virtual character finger 5 by using this conventional technique. When the user moves the finger 4 to the touch state on the remote control 1 (2) touch screen 7 in a state in which the contents displaying the contents of the book are displayed, The next page is displayed on the screen of the TV apparatus 1 while the page of the book being reproduced is handed over to the screen of the TV apparatus 1

글자나 문자를 입력하는 경우에는 도 11 처럼 TV 장치 화면에 문자 입력 난이 표시되게 제어 된다. 이때 TV 장치의 화면 하단부 일부에 자판 그림이 표시되게 된다. TV 장치(1)의 이러한 영상은 리모컨 1(2) 측으로 전송되어서 리모컨 1(2) 에도 동일한 자판 영상과 문자 입력 난 영상이 표시된다. 이에 따라 사용자는 리모컨 1 의 터치 화면(7) 상에 재생된 자판을 이용하여 문자나 글자를 입력하면, 이러한 터치 정보가 TV 장치(1) 측으로 전송되고, 이에 따라 사용자의 리모컨 1(2) 터치 화면 상에서의 터치 정보에 따라 TV 장치 화면 상의 자판 위에서 가상 캐릭터 손가락이 따라 움직이면서 글자나 문자를 타이핑 하는 듯한 모습이 나타나게 되면서 글자나 문자가 글자 입력 난에 타이핑되어 나타나게 된다. 즉, 사용자가 리모컨 1 상의 자판 상에서 타이핑 하고자 하는 글자 위에서 한번 클릭 하는 형태로 터치하면 이 정보가 TV 장치 측으로 전송되어서 TV 장치의 화면상의 커서가 있는 위치에 가상 캐릭터 손가락(5)이 타이핑 하는 형태의 동작 모습을 보이면서 해당 글자가 타이핑 되는 형태로 표시되고, 이러한 TV 장치 화면의 영상은 다시 리모컨 1 측으로 전송되어 리모컨 1 상의 화면상의 문자 입력 난에도 동일한 글자나 표시된다. 본 실시 예 1 에서는 사용자는 문자나 기호를 입력할 시에 리모컨 1 상의 화면 영상에 나타나는 자판과 문자 입력 난에 표시되는 글자를 보면서 타이핑 하여 입력할 수 있게 된다.In the case of inputting letters or characters, a character input column is controlled to be displayed on the TV apparatus screen as shown in FIG. At this time, the keyboard picture is displayed on a part of the lower part of the screen of the TV apparatus. This image of the TV apparatus 1 is transmitted to the remote controller 1 (2) side, and the same keyboard image and character input image are also displayed on the remote controller 1 (2). Accordingly, when the user inputs a character or a letter using the keyboard reproduced on the touch screen 7 of the remote controller 1, the touch information is transmitted to the TV apparatus 1 side, and accordingly the touch of the user's remote controller 1 (2) The virtual character fingers are moved along the keyboard on the screen of the TV apparatus according to the touch information on the screen, so that the characters or characters are typed in the character entry box. That is, when the user touches the character on the keyboard of the remote controller 1 by clicking once on the character to be typed, this information is transmitted to the TV apparatus side so that the virtual character finger 5 is typed in the position of the cursor on the screen of the TV apparatus The characters of the TV screen are displayed on the screen of the remote controller 1, and the same characters are displayed on the screen of the remote controller 1. In the first embodiment, the user can input characters and symbols while typing while looking at the keyboard displayed on the screen image on the remote controller 1 and the characters displayed on the character input field.

또 다른 방법으로는 글자나 문자를 입력하는 경우에는 TV 장치 화면에는 자판은 표현되지 않은 채로 문자 입력 난만 표시되고, 이와 동시에 리모컨 1 화면상에는 자판 영상과 문자 입력 난 영상만이 표시되게 작동되게 할 수도 있다. 이런 경우에는 자판이 TV 장치(1)에 표현되지 않음으로 인하여 TV 장치(1)의 화면에는 가상 캐릭터 손가락(5)이 표현되지 않는다.Alternatively, when a character or a letter is input, only a character input word is displayed on the TV device screen without displaying the keyboard, and at the same time, only the keyboard image and character input image are displayed on the remote controller 1 screen have. In this case, the virtual character finger 5 is not displayed on the screen of the TV apparatus 1 because the keyboard is not represented in the TV apparatus 1. [

실시 예 2.Example 2.

본 실시 예 2 은 상기 실시 예 1 과 비교하여, 리모컨 2 에는 영상 재생 수단이 구성되지 않고 오직 터치 및 제스쳐 정보만 입력되는 터치 화면 수단과, TV 장치 측으로 정보를 전송하는 무선 교신 수단을 갖게 구성하고, TV 장치엔 가상 캐릭터 손가락 생성 수단을 갖게 구성하고, 상기 가상 캐릭터 손가락이 리모컨으로부터 전송되는 터치 및 제스쳐 정보에 따라 TV 화면 상에서 움직여서 가상의 손(손가락)이 마치 실제로 TV 화면 상에서 특정 부위를 터치하거나 특정 부위에서 터치 제스쳐 하는 모습을 보여주면서 TV 장치는 이에 따라 자신을 제어하여서 기능 및 화면을 조작하는 구성인 경우의 작동이다.The second embodiment is different from the first embodiment in that the remote controller 2 is provided with touch screen means in which only the image of the touch and gesture information is input and the wireless communication means for transmitting information to the TV apparatus side, And a virtual character finger generating means in the TV apparatus. The virtual character finger moves on the TV screen according to the touch and gesture information transmitted from the remote controller, so that the virtual hand (finger) touches a specific region on the TV screen The operation is performed in the case of a configuration in which the TV device controls the function and the screen by controlling the TV device while displaying a state of touch gesture at a specific area.

본 실시 예 2 의 작동을 상세히 설명하면 다음과 같다.The operation of the second embodiment will be described in detail as follows.

사용자가 리모컨 2(3) 터치 화면상에서 약속된 위치나 약속된 터치 방법으로 터치하거나, 또는 리모컨 상에 별도로 설치된 버튼(9)을 조작하면, 이에 따라, 일 예로써 TV 장치(1)는 초기 화면으로써 도 6 처럼 각종 메뉴가 표시되는 화면이 표시된다.When the user touches the predetermined position on the touch panel of the remote controller 2 (3) or touches the predetermined position on the remote controller or touches the button 9 separately installed on the remote controller, the TV device 1, as an example, A screen on which various menus are displayed is displayed as shown in FIG.

사용자가 자신의 손가락(4)으로 리모컨 2 상의 터치 화면(7) 위에서 원하는 메뉴를 선택하기 위하여 임의의 위치에 터치하면, 터치된 리모컨 2(3) 상의 위치 좌표가 TV 장치 측으로 무선 통신 수단(6)을 통하여 전송된다. 이에 따라 TV 장치(1)는 가상 캐릭터 손가락 생성 수단을 가동시켜서 가상 캐릭터 손가락이 TV 장치 의 화면의 매칭되는 위치에 표시되게 한다. 즉, 상기 가상 캐릭터 손가락(5) 영상이 표시되는 TV 장치 화면상의 위치는 상기 리모컨 2(3)의 터치 화면상에서의 터치된 좌표에 매칭되는 TV 장치 화면 상의 좌표 위치에 상기 가상 캐릭터 손가락(5)의 끝 부위가 위치하도록 제어된다.When the user touches an arbitrary position to select a desired menu on the touch screen 7 on the remote controller 2 with his / her finger 4, the positional coordinates on the touched remote controller 2 (3) Lt; / RTI > Thus, the TV apparatus 1 activates the virtual character finger generating means so that the virtual character finger is displayed at the matching position of the screen of the TV apparatus. That is, the position of the virtual character finger 5 on the screen of the TV apparatus on which the video image is displayed corresponds to the position of the virtual character finger 5 at the coordinate position on the TV apparatus screen matched with the touched coordinate on the touch screen of the remote controller 2 (3) As shown in FIG.

사용자가 TV 장치(1) 화면상에 표시된 가상 캐릭터 손가락(5)위치를 보면서 리모컨 2(3)상의 터치된 손가락 위치를 자신이 원하는 메뉴 선택용 아이콘이 있는 위치 측으로 이동시키면, 이러한 터치된 좌표의 변동 정보가 리모컨 2(3)로부터 TV 장치(1) 측으로 전송되어서 상기 가상 캐릭터 손가락(5)의 위치도 터치 화면의 터치 정보 이동에 대응하여 이동한다. 이에 따라 상기 가상 캐릭터 손가락(5)이 도 7 처럼 사용자가 선택하고자 하는 특정 메뉴의 아이콘 위치에 오게 되면 TV 장치 화면 상의 특정 메뉴 아이콘이 하이라이트 된다.When the user moves the position of the touched finger on the remote controller 2 (3) toward the position of the icon for the menu selection by looking at the position of the virtual character finger 5 displayed on the screen of the TV apparatus 1, The variation information is transmitted from the remote controller 2 (3) to the TV apparatus 1 side so that the position of the virtual character finger 5 also moves corresponding to the movement of the touch information on the touch screen. Accordingly, when the virtual character finger 5 comes to the icon position of the specific menu to be selected by the user as shown in FIG. 7, the specific menu icon on the TV device screen is highlighted.

사용자가 도 7 처럼 상기 하이라이트 된 특정 메뉴를 선택하고자 하는 경우에는 상기 리모컨 2(3)상의 현재 터치된 위치에서 손가락을 떼어서 터치를 해제하는 동작을 하거나, 또는 손가락을 터치된 위치에서 뗐다가 다시 터치하거나 하는 등의 미리 약속된 클릭을 의미하는 동작을 한다. 그러면 이러한 클릭을 의미하는 터치 정보가 리모컨 2(3)로부터 TV 장치 측으로 전송되고, 이에 따라 TV 정치의 제어부는 이러한 수신 정보를 하이라이트 된 메뉴를 클릭한 것으로 간주한다. 이에 따라 사용자가 리모컨 2 를 사용하여 가상 캐릭터 손가락(5)으로 지정한 메뉴가 선택되어서 외부 서버 측으로 전송되면, 외부 서버의 검색 결과가 TV 장치(1) 측으로 전송되어서 도 7 처럼 선택된 메뉴에 해당되는 검색된 정보들(예: Movies)이 TV 장 치의 화면상에 도 7 처럼 표시된다.When the user desires to select the highlighted specific menu as shown in FIG. 7, the user performs an operation of releasing the finger by releasing the finger from the currently touched position on the remote control 2 (3) Quot; or " clicked " Then, the touch information indicating such a click is transmitted from the remote controller 2 (3) to the TV apparatus side, and accordingly, the control unit of the TV station regards this reception information as clicking the highlighted menu. Accordingly, when the user selects the menu designated by the virtual character finger 5 using the remote controller 2 and transmits the selected menu to the external server, the search result of the external server is transmitted to the TV device 1, Information (such as Movies) is displayed on the screen of the TV device as shown in FIG.

상기 검색된 정보들(예: Movies)중에서 사용자가 보고자 원하는 정보를 선택하기 위하여 사용자는 리모컨 2(3) 터치 스크린(14) 상에서 손가락(4) 터치 위치를 이동시키면, 이에 따라 TV 장치(1) 화면상의 가상 캐릭터 손가락(5)도 이동하고, 상기 가상 캐릭터 손가락(5)의 끝 부위가 도 8 처럼 사용자가 원하는 정보(예: Movie)위에 위치하면 이때 사용자는 리모컨 2(3) 상의 터치를 해제하거나, 또는 동일한 터치 위치에서 손가락을 뗐다가 다시 터치하는 등의 클릭을 의미하는 제조 자에 의해서 미리 약속된 동작을 한다. 그러면 상기 가상 캐릭터 손가락(5)이 지정한 정보(예: Movie)가 선택되어서 실시 예 1 에서 상술한 방법에 의해서 TV 장치(1)의 화면 상에서 선택된 정보의 컨텐츠의 재생이 개시된다.When the user moves the touch position of the finger 4 on the remote control 2 (3) touch screen 14 in order to select the information desired by the user from among the searched information (e.g., Movies) The virtual character finger 5 on the remote controller 2 is also moved and if the end of the virtual character finger 5 is positioned on the information desired by the user (e.g., Movie) as shown in FIG. 8, , Or a predetermined operation by a manufacturer, which means a click, such as a finger being touched and touched again at the same touch position. Then, the information (e.g., Movie) specified by the virtual character finger 5 is selected, and the reproduction of the content of the information selected on the screen of the TV apparatus 1 is started by the method described in the first embodiment.

본 발명의 스코롤 기능을 설명하면 다음과 같다.The scrolling function of the present invention will be described as follows.

도 9 에서, 만약 특정 메뉴의 선택에 표시된 도 7 의 화면에 표시된 정보들(Movies) 중에서 원하는 정보가 없어서 검색된 다른 정보들을 더 보고자 하는 경우에는 사용자는 리모컨 2(3) 상에서 한 개의 손가락(4)의 터치를 이동시켜서 스코롤이 가능한 정보들(Movies)이 표시된 위치에 한 개의 상기 가상 캐릭터 손가락(5)이 위치하도록 한 개의 상기 가상 캐릭터 손가락(5)을 이동시킨 후에 스크롤을 위하여 리모컨의 터치 스크린(14) 상에 두 손가락(4)을 도 9 처럼 터치한 상태에서 손가락(4)을 좌우, 또는 상하 측으로 터치 스크린(14) 상에서 이동시킨다. 그러면 이러한 두 손가락의 터치 및 이동 정보가 상술한 방법으로 TV 장치 측으로 전송되고, 이를 수신한 TV 장치(1)는 터치 위치가 두 곳인 상태에서 이동함을 인식하여 이를 스코 롤 신호로 인식한다. 이에 따라 TV 장치 화면 상의 가상 캐릭터 손가락(5)의 영상도 좌 우, 또는 상하 방향으로 이동하면서 표시된 정보들(예: movies)이 스코롤 되도록 제어되면서 새로운 정보들이 표시된다. 이러한 새로운 정보들 중에서 사용자가 원하는 정보(예: Movie)가 나타나면 이 정보 위에 상기 가상 캐릭터 손가락(5)이 이동하도록 한 개의 손가락(4)을 터치 화면 상에서 이동시킨 후에 해당 정보가 표시된 아이콘 위에서 클릭을 의미하는 동작을 하여서 원하는 정보를 최종적으로 선택하게 된다. 이러한 스코롤 기능을 수행함에 있어서 종래의 스마트 기기들에서 사용한 "바운스 백" 기능을 갖게 구성될 수 있으며, 이 경우에는 사진이나 문서 등의 "바운스 백" 기능이 수행되어서 스코롤 작업에 따른 최종 화면의 경계 면이 화면상에서 지나치게 되면 튕겨져 반발되면서 돌려져서 온전한 한 화면이 보여지게 된다.9, if there is no desired information among the information (Movies) displayed on the screen of FIG. 7 displayed on the selection of the specific menu, the user desires to view one finger 4 on the remote controller 2 (3) Moves one virtual character finger (5) so that one virtual character finger (5) is positioned at a position where scrolling possible information (Movies) is displayed by moving the touch of the virtual character finger The finger 4 is moved on the touch screen 14 from left to right or up and down with the two fingers 4 touched on the touch screen 14 as shown in Fig. Then, the touch and movement information of these two fingers is transmitted to the TV apparatus side in the above-described manner, and the receiving TV apparatus 1 recognizes that the touch position moves in two positions and recognizes it as a scrolling signal. Accordingly, the image of the virtual character finger 5 on the TV apparatus screen is also moved in the left-right direction or the up-down direction, so that the displayed information (for example, movies) is scrolled and new information is displayed. When information (for example, Movie) desired by the user is displayed among the new information, one finger 4 is moved on the touch screen so that the virtual character finger 5 moves on the information, and then clicked on the icon It performs the meaningful operation and finally selects the desired information. In this case, a "bounce back" function, such as a photograph or a document, is performed and the final screen corresponding to the scrolling operation Is overturned, it is repelled and turned, and a full screen is displayed.

TV 장치(1)는 리모컨 2(3)로부터 수신한 터치 정보에서 본 발명의 스코롤 기능을 수행하기 위한 손가락(4)의 이동인지? 아니면 특정 아이콘이나 메뉴를 찾아가지 위한 손가락(4)의 이동인지 여부를 구분하기 위하여 터치 위치가 한 개인지? 아니면 터치 위치가 두 개인 상태에서 동일한 방향으로 이동하는지 여부로부터 판단한다.The TV apparatus 1 determines whether movement of the finger 4 for performing the scrolling function of the present invention from the touch information received from the remote controller 2 (3) Or is there only one touch location to distinguish whether the movement of the finger 4 is to move to a specific icon or menu? Or whether or not the touch position moves in the same direction in the state of two touches.

만약 터치 위치가 두 개이면서 두 개의 터치 위치가 동시에 같은 방향으로 이동하면 이를 스코롤 지시로 판단한다.If the two touch positions are moved in the same direction at the same time, the two touch positions are judged as scrolling instructions.

본 실시 예 2 에서, TV 장치(1)에서 Ebook 을 볼 때의 페이지 넘김의 화면 조작의 경우에도 사용자가 리모컨 2(3)의 터치 스크린(14) 상에서 두 손가락(4)으 로 터치한 상태로 좌, 또는 우 측 방향으로 이동시키면, 이러한 터치 정보를 수신한 TV 장치(1)의 제어부는 두 곳의 터치 위치가 동일한 방향으로 이동함을 감지하여서 이를 페이지 넘김 신호로 인식하고, 이에 따라 TV 장치(1)는 자신의 화면을 조작하여 페이지 넘김 화면 동작의 영상을 보여주면서 다음 페이지를 보여주게 된다.In the second embodiment, even in the case of screen operation of page turning when the Ebook is viewed on the TV apparatus 1, the user is touched with the two fingers 4 on the touch screen 14 of the remote controller 2 (3) The control unit of the TV apparatus 1 receiving the touch information detects that the two touch positions move in the same direction and recognizes the movement as a page turn signal, (1) displays the next page while displaying the image of the page turn screen operation by manipulating its own screen.

본 실시 예 2 의 줌(Zoom) 기능에 상술하면 다음과 같다.The zoom function of the second embodiment will be described in detail as follows.

도 10 처럼, 만약 사용자가 TV 장치(1)의 화면에 제시된 정보들(예; Movies)을 보다 더 클로즈업 시켜서 자세히 보고자 하는 경우에는 리모컨 2(3)의 터치 스크린(14) 상에서 두 개의 손가락(예: 엄지와 검지, 또는 검지와 장지) 터치 위치를 이동시켜서 TV 장치(1)의 화면 상의 가상 캐릭터 손가락(5)의 두 손가락 위치를 원하는 위치에 오도록 한 후에 일 예로써, 두 개의 손가락(4)의 간격을 벌린다. 그러면 이 정보가 TV 장치 측으로 전송되어서 상기 가상 캐릭터 손가락(5)의 두 손가락 간격도 벌어지는 형태의 동작을 보여주고, 이와 동시에 TV 장치(1)는 두 손가락이 리모컨 터치 스크린(14) 상에서 터치된 위치에 매칭되는 TV 장치(1)의 화면 위치 부위의 화면 영상을 확대하는 화면 조작을 하게 된다. 이때 확대 및 축소 비율을 터치 스크린(14) 상에서의 두 손가락 사이의 간격에 비례하도록 된다.As shown in FIG. 10, if the user wishes to view the information (e.g., Movies) presented on the screen of the TV apparatus 1 more closely, The thumb, the index finger, or the index finger and the finger) are moved to move the two finger positions of the virtual character finger 5 on the screen of the TV apparatus 1 to a desired position. . This information is transmitted to the TV apparatus side so that the distance between the two fingers of the virtual character finger 5 is widened. At the same time, the TV apparatus 1 displays an operation in which the two fingers are positioned on the remote control touch screen 14 The screen image of the screen position portion of the screen position portion of the TV apparatus 1 matched with the screen image is enlarged. At this time, the enlargement / reduction ratio is proportional to the distance between the two fingers on the touch screen 14.

만약 사용자가 터치 스크린(14)상에서 한 개의 손가락(4)을 터치 상태에서 이동시켜서 특정 위치에 한 개의 가상 캐릭터 손가락(5)이 위치하도록 한 후, 상기 위치에서 리모컨 2(3)의 터치 스크린(14) 상에 두 손가락을 터치하면, TV 장치(1)의 화면 상에는 두 개 손가락이 펼쳐진 가상 캐릭터 손가락(5)이 표시된다. 이러한 상태에서 사용자가 리모컨 2(3) 터치 스크린(14) 상에서 터치된 두 손가락(4)의 사이의 간격을 좁히거나 벌리면, 두 손가락에 의한 두 곳의 터치 위치의 제스쳐 정보가 TV 장치(1) 측으로 전송되고, 이에 따라 TV 장치(1)는 매칭되는 위치의 화면을 확대 또는 축소 조작하여서 표시하게 된다.If the user moves one finger 4 on the touch screen 14 in a touched state so that one virtual character finger 5 is positioned at a specific position, 14, the virtual character finger 5 spreading two fingers is displayed on the screen of the TV apparatus 1. [0043] When the user narrows or opens the gap between the two fingers 4 touched on the remote control 2 (3) touch screen 14 in this state, the gesture information of the two touch positions by the two fingers is displayed on the TV device 1, So that the TV apparatus 1 displays the matching screen by enlarging or reducing the screen of the matching position.

TV 장치(1)가 두 곳의 동시 터치 정보로부터 확대나 축소의 정보임을 인식하는 방법은 두 곳의 터치가 동일한 방향으로 이동하는 제스쳐 동작이면 이를 스코롤(Ebook 을 볼 때는 패이지 넘김) 신호로 인식하고, 만약 두 곳의 터치 위치가 서로 반대 방향으로 멀어지거나, 또는 가까워지는 형태로 이동하는 제스쳐 동작이면 이를 화면 확대나 축소로 인식한다.The method of recognizing that the TV apparatus 1 is the information of enlargement or reduction from the two simultaneous touch information is as follows. If the two touches move in the same direction, the gesture operation is recognized as a scrolling (when the ebook is viewed) And if the two touch positions move away from each other or close to each other, the gesture operation is recognized as a screen enlargement or reduction.

화면의 확대나 축소는 다양한 방법으로 실현될 수도 있음은 물론이다. 일 예로써, 리모컨 1(2)의 터치 화면(7)상의 특정 위치에서, 또는 리모컨 2(3)의 터치 스크린(14) 상의 특정 위치에서 손가락(4)으로 시계 방향으로 원을 그리면, 이에 따라 가상 캐릭터 손가락(5)이 TV 장치(1)의 화면 상의 매칭되는 위치에서 동일한 제스쳐를 하게 되고, 이에 따라, 리모컨의 터치 위치에 매칭되는 TV 화면 부위가 확대되고, 만약 반 시계 방향으로 원을 그리면 축소되게 할 수도 있다.It is needless to say that the enlargement or reduction of the screen may be realized by various methods. As an example, when a circle is drawn in a clockwise direction at a specific position on the touch screen 7 of the remote controller 1 (2) or at a specific position on the touch screen 14 of the remote controller 2 (3) in the clockwise direction, The virtual character finger 5 makes the same gesture at the matched position on the screen of the TV apparatus 1 and accordingly the area of the TV screen matched with the touch position of the remote control is enlarged and if the circle is drawn counterclockwise It can be reduced.

실시 예 2 에서, 리모컨 2 를 이용하여 문자나 기호를 입력하는 경우를 상술하면 다음과 같다.In the second embodiment, the case of inputting characters or symbols using the remote controller 2 will be described in detail as follows.

본 실시 예 2 에서는 도 12 처럼 문자나 기호를 입력할 수 있다. 즉, 리모컨 2(3)의 터치 스크린 상에서 손가락(4)을 터치하면 이 정보가 TV 장치 측으로 전송되어서 TV 장치(1)의 화면 상에는 가상 캐릭터 손가락(5)이 매칭되는 위치에 표시 되고, 이 가상 캐릭터 손가락(5)의 위치를 보면서 사용자는 리모컨 2(3)의 터치 스크린 상에서 손가락(5)을 터치한 상태로 이동시켜서 상기 가상 캐릭터 손가락(5)을 TV 장치(1) 화면상의 자판상에서 원하는 글자 위에 위치하면, 클릭을 의미하는 동작을 한다. 즉, 일 예로써 리모컨 2(3)상에서의 손가락(4)의 터치를 해제시킴으로써 해당 글자를 클릭한 것으로 간주하거나, 또는 손가락(4)을 터치 상태에서 해제 후 즉시 재 터치하는 형태의 클릭 동작을 하면 이런 터치 정보를 클릭으로 간주하여서 상기 가상 캐릭터 손가락(5)이 위치한 글자를 선택하여 문자 입력 난의 커서가 있는 위치에 선택된 글자를 표시하게 된다. 이때 리모컨 2(3) 상에서 손가락(4)의 터치를 해제시키면, 그 순간에 TV 장치의 화면상에서 가상 캐릭터 손가락(5)이 위치된 글자가 하이라이트 되게 할 수도 있다. 또는 손가락(4)을 리모컨 상에서 재 터치하는 형태로 클릭할 때에 이순간의 TV 장치 화면상의 가상 캐릭터 손가락(5) 위치된 글자가 하이라이트 되게 할 수도 있다.In the second embodiment, characters or symbols can be input as shown in FIG. That is, when the finger 4 is touched on the touch screen of the remote controller 2 (3), this information is transmitted to the TV apparatus side so that the virtual character finger 5 is displayed on the screen of the TV apparatus 1 at the matching position, The user moves the finger 5 in a touched state on the touch screen of the remote controller 2 (3) while looking at the position of the character finger 5 so that the virtual character finger 5 is displayed on the keyboard on the screen of the TV device 1 If it is located on the top, it means that it means click. In other words, for example, the touch of the finger 4 on the remote controller 2 (3) is canceled to regard the corresponding character as being clicked, or the click operation in which the finger 4 is re-touched immediately after being released The touch information is regarded as a click, and the character at which the virtual character finger 5 is located is selected to display the selected character at the cursor position. At this time, by releasing the touch of the finger 4 on the remote controller 2 (3), the character on which the virtual character finger 5 is positioned may be highlighted on the screen of the TV apparatus at that moment. Or when the finger 4 is clicked again on the remote control, the character positioned on the virtual character finger 5 on the TV device screen at this moment may be highlighted.

본 실시 예 2 의 문자 입력 방법의 또 다른 방법은 리모컨 2 의 터치 스크린(14) 상에 도 13 처럼 자판을 인쇄나 조각 등의 방법으로 표시되게 구성하여서, 문자 입력 모드에서는 리모컨 2(3)에 자판이 인쇄 또는 조각된 터치 스크린(14) 부위는 자판의 각 글자를 지정하는 위치로써 작동하여서 자판의 기능으로써 작동하게 된다. 그러나 문자 입력 모드가 아닌 경우에는 전체의 터치 스크린(14) 면적은 모두 다 도 12 의 터치 스크린(14)으로써 작동하게 된다.Another method of the character input method of the second embodiment is such that the keyboard is displayed on the touch screen 14 of the remote controller 2 by a method such as printing or sculpture as shown in FIG. The portion of the touch screen 14 on which the keyboard is printed or engraved operates as a position for designating each letter of the keyboard to function as a function of the keyboard. However, if the mode is not the character input mode, the entire area of the touch screen 14 operates as the touch screen 14 of FIG.

지금까지 상술한 본 발명의 실시 예 1 및 실시 예 2 에서, TV 장치(1)의 화면 상의 가상 캐릭터 손가락(5)이 리모컨의 터치 화면(7)이나 터치 스크린(14) 상 에서의 터치 정보에 따라 움직이는 일 예의 작동 과정에 대해서 상술하면 다음과 같다.The virtual character finger 5 on the screen of the TV apparatus 1 is displayed on the touch screen 7 of the remote controller or the touch information on the touch screen 14 in the first and second embodiments of the present invention described above The operation of the example of moving along will be described in detail as follows.

일 예로써, 한 개의 손가락(예: 검지)(4)을 펼친 형태로 실제의 TV 장치 화면 앞에 서서 실험자가 TV 화면의 이곳 저곳 위치를 바꿔가면서 터치하는 모습을 모션 캡쳐하여 터치 위치 정보에 연결되어 데이터화 한다. 이때 실제 손가락(4) 및 손의 여러 부위에 마크들을 부착한 상태로 TV 장치 화면의 좌측, 우측, 위, 아래 등 여러 위치를 터치할 때 그에 따른 손가락의 방향과 손의 방향과 모습들이 사전에 캡쳐되어 몇 개의 위치 군으로 분류된 터치 위치 정보에 연결되어 데이터화 할 수도 있다. 상기 예는 하나의 예이지만 이렇게 하는 경우에는 가상 캐릭터 손가락의 TV 장치(1) 화면 상에서의 위치에 따라 해당 터치 위치 군의 데이터에서 사전에 캡쳐된 데이터를 이용할 수 있어서 매우 사실적인 가상 캐릭터 손가락(5)의 모습을 재생할 수 있는 특징이 있다. 그러나 위치를 달리하면서 캡쳐하지 않아도 가능함은 물론이며, 이런 경우에는 가상 캐릭터 손가락(5)이 표시된 좌 우 위치에 관계없이 동일한 모습의 가상 캐릭터 손가락(5)이 표시되되, 단지 상하 위치의 변동에 따라 도 1, 2, 6, 7 처럼 손가락만 보이게 표시될 수도 있고, 또는 도 3, 4, 5, 8, 9, 10 처럼 손가락이 포함된 손가락 아래의 부위(예: 손, 팔 부위 등)들이 보이도록 표시될 수도 있다.As an example, a state in which an experimenter places a finger on the TV screen while changing positions of the TV screen is displayed on the screen of an actual TV apparatus in the form of one finger (e.g., index finger) 4 spread. Data. At this time, when touching various positions such as the left, right, top, and bottom of the TV device screen with the marks attached to the actual finger (4) and various parts of the hand, And may be connected to the touch location information classified into a plurality of location groups to capture data. In this case, data captured in advance in the data of the corresponding touch location group can be used in accordance with the position of the virtual character finger on the screen of the TV apparatus 1, so that the very real virtual character finger 5 ) Can be played back. In this case, the virtual character finger 5 having the same appearance is displayed irrespective of the left and right positions of the virtual character finger 5, but the virtual character finger 5 is displayed only in accordance with the change in the vertical position (E.g., hands, arms, and the like) including fingers as shown in Figs. 3, 4, 5, 8, 9, .

또한 클릭을 의미하는 약속된 동작을 할 때의 손가락(4)의 동작 상태와 손의 동작 모습들도 사전에 캡쳐되어서 데이터화 된다.In addition, the operation state of the finger 4 and the motion patterns of the hand at the time of performing a promised action, which means a click, are also captured and data are previously captured.

또한 두 손가락으로 실시하는 동작들에 대해서도 동작들을 캡쳐하여 몇 개의 위치 군으로 분류된 터치 위치 정보에 연결하여 데이터화 한다.Also, the operations are captured for the operations performed by the two fingers, and are connected to the touch location information classified into a plurality of location groups and data is formed.

손가락 동작의 모션 캡쳐 시엔 손가락 및 손의 주요 부위들에는 다수의 마크들이 설치되어 모션 캡쳐됨은 물론이다. 마크들로는 광학식 마크, 또는 자석식 마크들이 사용될 수 있으며, 이러한 마크들을 이용하여 동작을 캡쳐하는 기술은 이미 공지된 기술이다. 종래 기술들 중에는 마크 프리 방식으로 캡쳐할 수 있는 기술들도 제안되고 있으며, 이런 마크 프리 기술도 본 발명에 사용할 수도 있음은 물론이다.It is a matter of course that a plurality of marks are installed in the main parts of the finger and the hand when motion capture of the finger movement is performed to capture the motion. Optical marks, or magnetic marks, may be used as the marks, and techniques for capturing motion using these marks are well known in the art. Techniques that can be captured in the mark-free manner have also been proposed in the prior art, and such mark-free techniques may also be used in the present invention.

모션 캡쳐된 동작 데이터들이 가상 캐릭터 손가락(5)의 동작에 가상 캐릭터 손가락 제어 수단에 의해서 어떻게 이용되어서 적용되는지에 대하여 그 한 예를 들어 상술하면 다음과 같다.An example of how the motion-captured motion data is used and applied by the virtual-character finger control means to the operation of the virtual-character finger 5 will be described in detail as follows.

TV 장치(1)가 사용자의 리모컨 2(3)로부터 터치 화면상의 터치 위치(좌표) 및 터치된 곳의 수 및 터치 제스쳐에 대한 정보를 수신하면, 이에 매칭되는 TV 장치(1)의 화면상의 매칭되는 위치에 수신된 터치 정보 및 제스쳐 정보에 해당하는 미리 모션 캡쳐된 데이터를 찾아내어 TV 장치의 제어부로 전송하고 이에 따라 TV 장치(1)의 화면에는 리모컨 2(3)의 터치 정보에 해당하는 위치에 가상 캐릭터 손가락(5)의 모션이 재생되어 표시된다.When the TV apparatus 1 receives the touch position (coordinates) on the touch screen, the number of touched places, and the information on the touch gesture from the user's remote controller 2 (3), the matching on the screen of the TV apparatus 1 The control unit of the TV apparatus detects the touch information and the gesture information in advance, and the screen of the TV apparatus 1 displays a position corresponding to the touch information of the remote controller 2 (3) The motion of the virtual character finger 5 is reproduced and displayed.

지금까지 상술한 본 발명의 실시 예 1 및 실시 예 2 에서, 상기 손가락(4)의 터치 정보 및 제스쳐 동작 정보가 리모컨 1(2), 또는 리모컨 2(3)으로부터 수신되면, 이를 수신한 TV 장치(1)의 가상 캐릭터 손가락 제어 수단은 터치 위치에 모션 캡쳐된 손가락(4)끝 부위의 마크가 대응하도록 하여서 상기 가상 캐릭터 손가락(5) 을 동작을 제어할 수 있다. 이러한 모션 캡쳐된 데이터를 활용하여 가상의 캐릭터를 동작시키는 기술은 이미 공지된 기술임은 물론이다. 본 발명은 이러한 공지된 모션 캡쳐 기술을 이용한 가상 캐릭터 작동 기술을 이용하여 실현된다.When touch information and gesture operation information of the finger 4 are received from the remote controller 1 (2) or the remote controller 2 (3) in the first and second embodiments of the present invention described above, The virtual character finger control means of the virtual character finger 1 can control the operation of the virtual character finger 5 by causing the mark at the end of the motion captured finger 4 to correspond to the touch position. The technique of operating a virtual character using such motion-captured data is a well-known technique. The present invention is realized using a virtual character operation technique using this known motion capture technique.

만약 확대나 축소를 의미하는 터치 정보가 수신되면, TV 장치(1)는 화면에 표시된 가상 캐릭터 손가락(5)의 두 손가락 사이의 폭을 좁히거나 넓히면서 모션 캡쳐된 데이터를 이용하여 두 곳의 터치 위치 각각에 두 손가락 끝에 설치되었던 마크 각각을 대응시켜서 가상 캐릭터의 두 손가락의 동작을 실현하도록 제어하게 된다.If the touch information indicating enlargement or reduction is received, the TV apparatus 1 narrows or widens the width between the two fingers of the virtual character finger 5 displayed on the screen, while using the motion-captured data, And controls the two fingers of the virtual character to be realized by associating each of the marks provided at the two fingers with each other.

가상 캐릭터 손가락(5)의 기타 동작들, 예를 들면, 스코롤 동작, 페이지 넘김 동작 등들도 해당 동작을 모션 캡쳐한 데이터를 이용하고, 또한 터치 스크린 상에서의 손가락(4)의 터치 위치를 모션 캡쳐 시의 마크 위치에 대응하도록 하는 방법으로 가상 캐릭터 손가락(5)의 동작을 제어하도록 할 수도 있다.Other operations of the virtual character finger 5, for example, scrolling operation, page turning operation, etc., may also be performed by using the motion-captured data of the corresponding operation and also by moving the touch position of the finger 4 on the touch screen to motion It is also possible to control the operation of the virtual character finger 5 in such a manner as to correspond to the mark position at the time of capture.

클릭을 의미하는 가상 캐릭터 손가락(5)의 클릭 동작도 상술한 방법과 동일한 방법으로 클릭 동작을 표현하도록 제어될 수 있다.The click action of the virtual character finger 5, which means click, can also be controlled to express the click action in the same manner as described above.

지금까지는 캡쳐된 데이터를 이용하여 실시 예 1 및 실시 예 2 에서 가상 캐릭터 손가락(5)을 동작시키게 한 경우에 대한 설명이었다. 그러나 동작의 자연스러움은 부족하지만 제작이 간단한 플래시 방법으로 가상 캐릭터 손가락(5)을 동작되게 할 수도 있다.Up to now, it has been described that the virtual character finger 5 is operated in the first and second embodiments using the captured data. However, the natural character of the operation is insufficient, but the virtual character finger 5 may be operated with a simple flash method of production.

즉, 가상 캐릭터 손가락(5) 의 동작 영상들을 구성하는 다수의 정지 영상들을 미리 만들어서 데이터로써 저장한 후, 가상 캐릭터 손가락(5) 영상을 리모컨 2(3)의 터치 제스쳐 동작 정보에 대응하여 플래시 기법으로 움직이는 것처럼 표시되게 할 수도 있다. 이러한 방법으로 두 손가락의 제스쳐 동작이나 한 손가락의 클릭 동작 등의 가상 캐릭터 손가락(5)의 동작 모습들을 실현할 수도 있다. 플래시 기법으로 가상 캐릭터 손가락(5)을 움직일 경우에도 가상 캐릭터 손가락(5)의 끝 부위는 리모컨 2(3)의 터치된 위치에 대응된 TV 장치(1) 화면상의 매칭되는 위치에서 표시됨은 물론이다. 리모컨으로부터 TV 장치(1) 측으로 전송된 터치 정보 내에 만약 터치된 곳의 수가 한 곳인 것이라는 의미의 정보가 포함되어 전송된 경우에는 검지 하나를 펼치고 있는 가상 캐릭터 손가락이 표시되고, 만약 터치된 곳의 수가 두 곳인 정보가 포함된 경우에는 두 손가락이 펼쳐진 모습의 가상 캐릭터 손가락(5)이 표시된다.That is, a plurality of still images constituting the operation images of the virtual character finger 5 are preliminarily created and stored as data, and then the virtual character finger 5 image is read by the flash technique corresponding to the touch gesture operation information of the remote controller 2 (3) As shown in FIG. In this way, it is possible to realize the operations of the virtual character finger 5 such as a gesture operation of two fingers or a click operation of one finger. The end portion of the virtual character finger 5 is displayed at a matching position on the screen of the TV apparatus 1 corresponding to the touched position of the remote controller 2 (3) even when the virtual character finger 5 is moved by the flash technique . If the touch information transmitted from the remote controller to the TV apparatus 1 contains information indicating that the number of touched places is one, the virtual character finger expanding the detected one is displayed. If the number of touched places When two pieces of information are included, a virtual character finger 5 in which two fingers are spread is displayed.

이러한 플래시 기법은 이미 공지된 영상의 동작 기술임은 물론이다.Of course, this flash technique is an operation technique of a known image.

상술한 모션 캡쳐된 데이터는 여러 위치의 터치 위치 분류 군에 따른 가상 캐릭터 손가락 영상 데이터를 각각 별도로 구비할 수도 있지만, 또 다른 방법으로는 임의의 한 종류의 가상 캐릭터 손가락(5) 영상을 터치 위치에 따라 시계 방향, 또는 반 시계 방향으로 적절한 각도로 회전시켜서 사용할 수도 있다. 예를 들어서, 가상 캐릭터 손가락(5)이 TV 장치(1)의 화면의 좌측 부위 영역을 지시하는 경우에는 가상 캐릭터 손가락(5)이 반 시계 방향으로 일정 각도 회전한 상태로 제어되어서 표시되게 함으로써 자연스런 모습을 재연할 수 있다. 반대로, TV 장치(1)의 화면의 우측 영역을 가상 캐릭터 손가락(5)이 지시하는 경우에는 시계 방향으로 일정 각도 회전시켜서 표현되게 제어할 수도 있다. 이를 위한 회전각도에 대한 데이터는 사전에 미리 실험적으로 측정하여 결정될 수 있다.The above-described motion-captured data may include virtual character finger image data according to the touch location classification group at various positions. Alternatively, an arbitrary virtual character finger image of one kind may be displayed at the touch position It may be rotated clockwise or counterclockwise at an appropriate angle. For example, when the virtual character finger 5 indicates a region on the left side of the screen of the TV apparatus 1, the virtual character finger 5 is controlled and displayed in a state of rotating counterclockwise at a constant angle, You can recreate the figure. Conversely, when the virtual character finger 5 instructs the right area of the screen of the TV set 1, it can be controlled so as to be rotated by a predetermined angle in the clockwise direction. The data on the angle of rotation for this purpose can be determined by previously experimentally measuring in advance.

지금까지 상술한 본 발명의 실시 예 1 및 실시 예 2 에서, 가상 캐릭터 손가락 생성 수단에서 생성하는 가상 캐릭터 손가락(5) 영상을 다수 준비하여 사용자가 이들 중에서 어느 하나를 선택하도록 구성할 수도 있음은 물론이다. 다수의 가상 캐릭터 손가락 영상들 중에는 종래의 PC 에서 사용되던 커서 모양도 포함되게 할 수도 있음은 물론이다. 이런 경우에는 손가락의 제스쳐 동작을 실현시키는 가상 캐릭터 손가락 제어 수단은 구성되지 않을 수도 있다. 또한 커서 모양을 표시할 경우에는, 커스의 모양은 단순한 + 모양일 수도 있고, 작은 모양의 임의의 형태일 수도 있다. 만약 커스 형태로 생성시킬 경우에는 가상 캐릭터 손가락(5) 영상일 시에 보여주던 TV 장치(1)의 화면 상에서의 가상 캐릭터 손가락(5)이 표현되는 위치에 따른 가상 캐릭터 손가락 및 손 부위의 보여지는 부위의 변화는 실현되지 않는다. 그러나 리모컨 1(2), 또는 리모컨 2(3) 상의 터치가 한 곳이면, TV 장치(1)의 화면상의 매칭되는 위치에는 한 개의 커서가 표시되고, 만약 리모컨 상의 두 곳에서 터치되면 TV 장치(1)의 화면 상에는 매칭되는 위치에 두 개의 커서가 각각 표시된다. 이러한 커서는 리모컨 터치 화면(7), 또는 터치 스크린(14) 상에서의 손가락(4)의 터치 정보에 따라 TV 장치(1)의 화면 상의 커서가 이동하는 형태로 제어되게 된다.
지금까지 상술한 본 발명에서, 상기 가상 캐릭터 손가락은 항상 손가락만 표시되는 것이 아니고, TV 화면상에서의 표시 위치(TV 화면의 하단 부 위치 시)에 따라서는 손가락만 보여지기도 하지만, 때로는 손가락이 붙은 손의 모습을 보여주기도 하고(TV 화면상의 중앙 부위 위치 시), 때로는 손가락/손/팔의 모습을 보여주기도 한다(TV 화면상의 상단 부 위치 시). 본 발명의 설명시의 편의를 위하여 주로 가상 캐릭터 손가락으로만 표현되었음을 밝힌다.In the first and second embodiments of the present invention described above, it is possible to arrange a plurality of images of the virtual character fingers (5) generated by the virtual character finger creation means and select one of them to be. Of course, a plurality of virtual character finger images may include a cursor shape used in a conventional PC. In this case, the virtual character finger control means for realizing the gesture operation of the finger may not be constituted. Also, when displaying a cursor shape, the shape of the curse may be a simple + shape, or it may be any shape of a small shape. When the virtual character finger 5 is generated in the cursive form, the virtual character finger and the hand part are displayed according to the position where the virtual character finger 5 is displayed on the screen of the TV apparatus 1, The change of the site is not realized. However, if there is one touch on the remote controller 1 (2) or the remote controller 2 (3), one cursor is displayed at the matched position on the screen of the TV device 1, 1), two cursors are displayed at the matching positions. These cursors are controlled in such a manner that the cursor on the screen of the TV apparatus 1 moves according to the touch information of the finger 4 on the remote control touch screen 7 or the touch screen 14. [
In the present invention described above, the virtual character fingers are not always displayed only on the fingers, but only the fingers are displayed depending on the display position on the TV screen (at the lower end position of the TV screen), but sometimes the fingers (At the center of the TV screen), and sometimes a finger / hand / arm (at the top of the TV screen). And it is expressed mainly for virtual character fingers only for convenience of explanation of the present invention.

도 1 은 실시 예 1 에서, 본 발명의 리모컨이 메뉴가 표시된 TV 초기 화면을 수신하여 리모컨 상에 동일하게 재생한 모습을 보여주는 정면도.FIG. 1 is a front view showing a remote control according to a first embodiment of the present invention in which a TV initial screen on which a menu is displayed is received and reproduced on the remote controller in the same manner. FIG.

도 2 는 실시 예 1 에서, 리모컨 상에서 특정 메뉴(예: Movies)를 손가락으로 터치하면 TV 화면 상에 나타난 가상 캐릭터 손가락이 TV 화면상에서 해당 메뉴를 클릭하고, 이에 따른 정보(예: 영화 정보)가 TV 화면과 리모컨 상에 나타나는 모습을 보여주는 설명도.Fig. 2 is a diagram showing a case where, in Embodiment 1, when a specific menu (e.g., Movies) on the remote controller is touched with a finger, the virtual character finger displayed on the TV screen clicks the corresponding menu on the TV screen, An illustration showing what appears on the TV screen and on the remote control.

도 3 은 실시 예 1 에서, 도 2 의 터치 결과에 따라 TV 화면과 리모컨 화면에 디스플레이 된 해당 정보(예: Movie 정보)들 중에서 사용자가 원하는 특정 정보 부분(예: 특정 영화)을 리모컨 상에서 지정하여 선택할 때의 TV 화면상의 가상 캐릭터 손가락도 TV 화면상에서 해당 정보를 클릭하는 모습을 보여주는 설명도.FIG. 3 is a diagram illustrating a specific information part (for example, a specific movie) desired by the user among corresponding information (e.g., Movie information) displayed on the TV screen and the remote control screen on the remote controller in accordance with the touch result of FIG. A virtual character on a TV screen at the time of selection is also an explanatory view showing a state in which the finger clicks the corresponding information on the TV screen.

도 4 는 실시 예 1 에서, 손가락으로 상하 좌우로 밀어서 리모컨 상에 표시된 정보 표시판(예: 영화 정보들)을 스코롤(화면 스코롤)시키면, 이에 따라 TV 화면상의 가상 캐릭터 손가락도 상하좌우로 움직이면서 TV 화면상의 정보 표시면을 스크롤 시키는 모습을 보여주는 설명도.FIG. 4 is a view showing a state in which the virtual character fingers on the TV screen are moved up, down, left, and right by sliding the information display panel (e.g., movie information) displayed on the remote controller by scrolling And the information display surface on the TV screen is scrolled.

도 5 는 실시 예 1 에서, 리모컨 상에서 두 손가락이 터치된 상태에서 제스쳐(예: 벌리거나 좁히는 동작)를 하면, 이에 따라 TV 화면상의 가상 캐릭터 두 손가락도 매칭되는 TV 화면상의 위치에서 동일한 제스쳐를 하는 모습을 보여주는 설명도.FIG. 5 shows a case where, when the two fingers are touched on the remote controller and the gesture (e.g., opening or closing operation) is performed in the first embodiment, the two fingers of the virtual character on the TV screen are also subjected to the same gesture Explanation showing the figure.

도 6 은 실시 예 2 에서, 본 발명의 리모컨이 메뉴가 표시된 TV 초기 화면을 수신하여 리모컨 상에 동일하게 재생한 모습을 보여주는 정면도.FIG. 6 is a front view showing a remote control according to the second embodiment of the present invention in which a TV initial screen on which a menu is displayed is received and reproduced on the remote controller in the same manner. FIG.

도 7 는 실시 예 2 에서, 리모컨 상에서 특정 메뉴(예: Movies)를 손가락으로 터치하면 TV 화면 상에 나타난 가상 캐릭터 손가락이 TV 화면상에서 해당 메뉴를 클릭하고, 이에 따른 정보(예: 영화 정보)가 TV 화면과 리모컨 상에 나타나는 모습을 보여주는 설명도.FIG. 7 is a diagram showing a case where, in Embodiment 2, a virtual character finger displayed on a TV screen clicks a corresponding menu on a TV screen when a specific menu (e.g., Movies) on the remote controller is touched with a finger and information (e.g., movie information) An illustration showing what appears on the TV screen and on the remote control.

도 8 은 실시 예 2 에서, 도 2 의 터치 결과에 따라 TV 화면과 리머컨 화면에 디스플레인 된 해당 정보(예: Movie 정보)들 중에서 사용자가 원하는 특정 정보 부분(예: 특정 영화)을 리모컨 상에서 지정하여 선택할 때의 TV 화면상의 가상 캐릭터 손가락도 TV 화면상에서 해당 정보를 클릭하는 모습을 보여주는 설명도.FIG. 8 is a diagram showing a specific information part (for example, a specific movie) desired by the user among corresponding information (e.g., Movie information) displayed on a TV screen and a remocon screen according to the touch result of FIG. A virtual character on a TV screen when a user designates and selects a finger, and an illustration showing how a user clicks the corresponding information on a TV screen.

도 9 는 실시 예 2 에서, 손가락으로 상하 좌우로 밀어서 리모컨 상에 표시된 정보 표시 판(예: 영화 정보들)을 스코롤(화면 스코롤)시키면, 이에 따라 TV 화면상의 가상 캐릭터 손가락도 상하좌우로 움직이면서 TV 화면상의 정보 표시면을 스크롤 시키는 모습을 보여주는 설명도.Fig. 9 is a view for explaining a method of displaying a virtual character finger on a TV screen by horizontally, vertically, horizontally and vertically moving a finger on the TV screen by sliding the information display panel (e.g., movie information) The display showing how the information display surface on the TV screen is scrolled while moving.

도 10 은 실시 예 2 에서, 리모컨 상에서 두 손가락이 터치된 상태에서 제스쳐(예: 벌리거나 좁히는 동작)를 하면, 이에 따라 TV 화면상의 가상 캐릭터 두 손가락도 TV 화면상의 매칭되는 위치에서 동일한 제스쳐를 하는 모습을 보여주는 설명도.FIG. 10 shows a case where two fingers on a remote control are subjected to a gesture (e.g., opening or closing operation) in a state in which the two fingers are touched, so that two fingers of a virtual character on the TV screen perform the same gesture at matching positions on the TV screen Explanation showing the figure.

도 11 은 실시 예 1 에서, 문자나 기호를 리모컨상의 자판 영상 상에서 타이핑하는 모습을 보여주는 설명도.11 is an explanatory diagram showing a manner in which characters or symbols are typed on a keyboard image on a remote controller in the first embodiment;

도 12 는 실시 예 2 에서, 자판이 표시되지 않은 리모컨을 이용하여 문자나 기호를 타이핑 하는 모습을 보여주는 설명도.FIG. 12 is an explanatory view showing a manner in which characters or symbols are typed by using a remote control in which a keyboard is not displayed in the second embodiment; FIG.

도 13 은 실시 예 2 에서, 리모컨의 터치 화면 상에 그려진 자판을 이용하여 문자나 기호를 타이핑하는 모습을 보여주는 설명도.Fig. 13 is an explanatory view showing a manner of typing a character or a symbol by using a keyboard drawn on a touch screen of a remote control in Embodiment 2; Fig.

※ 도면 중 주요 부호에 대한 설명* Explanation of key symbols in the drawing

1. TV 장치 2. 리모컨 11. TV unit 2. Remote control 1

3. 리모컨 2 4. 손가락3. Remote control 2 4. Finger

5. 가상 캐릭터 손가락 6. 무선 통신 수단5. Virtual character finger 6. Wireless communication means

7. 리모컨 터치 화면 8. TV 장치 화면7. Remote control touch screen 8. TV device screen

9. 버튼 10. 하이라이트 표시9. Button 10. Highlight indication

11. 메뉴 판 12. 정보들(예: 영화 정보)11. Menu version 12. Information (eg movie information)

13. 리모컨 영상 화면. 14. 터치 스크린13. Remote control video screen. 14. Touch screen

Claims (12)

리모컨상의 터치 정보 및 제스쳐 정보와 TV 의 화면 정보를 무선 통신을 통하여 상호 교신하면서 TV 를 원격 제어하는 구성을 포함하는 통상의 스마트 TV 원격 제어 장치에 있어서,A conventional smart TV remote control device comprising a remote control unit for controlling the TV while mutually communicating touch information and gesture information on the remote control and screen information of the TV through wireless communication, 가상 캐릭터 손가락 생성 수단, 가상 캐릭터 손가락 제어 수단, 리모컨과 무선 통신하는 무선 통신 수단, 화면 및 기능 조작 수단을 TV 장치 내에 설치 구성하고, 상기 리모컨에는 터치 스크린과 영상 재생 수단이 겹쳐진 상태로 함께 구성된 터치 화면을 구성하여서, 상기 TV 장치의 화면 영상이 수신되어 재생되는 터치 화면 상에서의 터치 및 터치 제스쳐 정보가 리모컨으로부터 TV 장치 측으로 무선 통신 수단을 통하여 전송되게 구성하고, 이를 수신한 TV 장치가 수신된 터치 및 제스쳐 정보에 따라 TV 화면 상에 가상 캐릭터 손가락 생성 수단을 이용하여 가상 캐릭터 손가락을 생성하고, 이어서 손가락/손 동작이 모션 캡쳐된 데이터를 이용하여 상기 생성된 가상 캐릭터 손가락의 동작을 제어하되, 상기 터치 정보 및 제스쳐 정보에 따라 제어되도록 하는 구성과, 상기 리모컨의 터치 화면 상에서의 터치 및 제스쳐 정보에 따라 TV 장치의 화면과 기능이 제어되고, 이에 따라 제어되어 조작된 변화된 TV 화면을 TV 장치가 다시 리모컨 측으로 전송하는 구성이 포함된 것을 특징으로 하는 스마트 TV 원격 제어 장치.A virtual character finger generating means, a virtual character finger controlling means, a wireless communication means for wirelessly communicating with the remote controller, and a screen and a function operating means are installed in the TV apparatus, and the remote control is provided with a touch Wherein the touch and gesture information on the touch screen on which the screen image of the TV apparatus is received and reproduced is transmitted from the remote controller to the TV apparatus through the wireless communication means, And generating a virtual character finger using the virtual character finger generating means on the TV screen in accordance with the gesture information, and then controlling the operation of the generated virtual character finger using the motion-captured data of the finger / To be controlled in accordance with the touch information and the gesture information And a configuration in which the screen and function of the TV apparatus are controlled in accordance with the touch and gesture information on the touch screen of the remote controller and the TV apparatus again controls the manipulated changed TV screen to transmit to the remote controller Smart TV remote control device. 리모컨상의 터치 정보 및 제스쳐 정보와 TV 의 화면 정보를 무선 통신을 통하여 상호 교신하면서 TV 를 원격 제어하는 구성을 포함하는 통상의 스마트 TV 원격 제어 장치에 있어서,A conventional smart TV remote control device comprising a remote control unit for controlling the TV while mutually communicating touch information and gesture information on the remote control and screen information of the TV through wireless communication, TV 장치 내에 가상 캐릭터 손가락 생성 수단, 가상 캐릭터 손가락 제어 수단, 리모컨과 무선 통신하는 무선 통신 수단, 화면 및 기능 조작 수단이 포함되게 구성하고, 상기 TV 를 원격 제어하는 리모컨에는 버튼과 터치 스크린이 포함되어 구성되어서, 상기 터치 스크린 상에서의 터치 및 터치 제스쳐 정보가 리모컨으로 부터 TV 장치 측으로 무선 통신 수단을 통하여 전송되게 구성하고, 이를 수신한 TV 장치가 수신된 터치 및 제스쳐 정보에 따라 자신의 화면 상의 매칭되는 위치에 가상 캐릭터 손가락 생성 수단을 이용하여 가상 캐릭터 손가락을 생성하고, 손가락/손 동작을 모션 캡쳐한 데이터를 이용하는 가상 캐릭터 제어 수단을 이용하여 상기 생성된 가상 캐릭터 손가락의 동작을 제어 하는 구성과, 리모컨의 터치 스크린 상에서의 터치 및 제스쳐 정보에 따라 TV 장치의 화면과 기능을 제어하게 하고, 이에 따라 제어되어 조작된 변화된 TV 화면을 TV 장치가 다시 리모컨 측으로 전송하는 구성을 포함하는 것을 특징으로 하는 스마트 TV 원격 제어 장치.A virtual character finger generating means, a virtual character finger controlling means, a wireless communication means for wirelessly communicating with the remote controller, and a screen and a function operating means are included in the TV apparatus, and the remote control for remote controlling the TV includes a button and a touch screen And the touch and touch gesture information on the touch screen is transmitted from the remote controller to the TV apparatus through the wireless communication means. The TV apparatus receives the touch and touch gesture information from the remote controller, A virtual character finger is generated using the virtual character finger generating means at a position of the virtual character finger generating means and the operation of the virtual character finger generated by using the virtual character controlling means using the motion capture data of the finger / Touch and gesture information on the touch screen of Smart TV remote control device according to a TV system of the screen and control of the function, and thereby changes the TV screen is the control operation according to, it characterized in that it comprises a configuration in which the device is re-transmitted to the TV remote control. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 리모컨상의 터치 정보 및 제스쳐 정보와 TV 의 화면 정보를 무선 통신을 통하여 상호 교신하는 단계와, 리모컨상의 터치 정보 및 제스쳐 정보에 따라 TV 를 원격 제어하는 단계가 포함된 통상의 스마트 TV 원격 제어 방법에 있어서,A step of mutually communicating touch information and gesture information on the remote controller with screen information of the TV through wireless communication and remote control of the TV according to the touch information and gesture information on the remote controller, , 리모컨상의 터치 정보 및 제스쳐 정보가 TV 장치 측으로 무선 전송되는 단계;A step of wirelessly transmitting touch information and gesture information on a remote controller to a TV apparatus side; 수신된 상기 터치 정보 및 제스쳐 정보를 이용하고, 또한 실제의 손가락/손/팔 동작이 모션 캡쳐된 데이터를 이용하여서, 가상 캐릭터 생성 수단에서 생성된 가상 캐릭터 손가락/손/팔이 TV 장치의 화면 상에서 실제처럼 자연스러운 모습으로 상기 터치 정보 및 제스쳐 정보에 따라 작동하는 단계;The virtual character finger / hand / arm generated by the virtual character generating means is displayed on the screen of the TV device using the received touch information and the gesture information and using the motion-captured data of the actual finger / hand / Operating in accordance with the touch information and the gesture information in a natural manner as in an actual case; TV 장치가 리모컨의 상기 터치 정보 및 제스쳐 정보에 따라 제어되는 단계;가 포함되는 것을 특징으로 하는 스마트 TV 원격 제어 방법.And controlling the TV device according to the touch information and the gesture information of the remote controller. 삭제delete
KR1020120140033A 2012-12-05 2012-12-05 Remote control device and remote control method of smart TV. KR101435773B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120140033A KR101435773B1 (en) 2012-12-05 2012-12-05 Remote control device and remote control method of smart TV.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120140033A KR101435773B1 (en) 2012-12-05 2012-12-05 Remote control device and remote control method of smart TV.

Publications (2)

Publication Number Publication Date
KR20140072482A KR20140072482A (en) 2014-06-13
KR101435773B1 true KR101435773B1 (en) 2014-08-28

Family

ID=51126323

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120140033A KR101435773B1 (en) 2012-12-05 2012-12-05 Remote control device and remote control method of smart TV.

Country Status (1)

Country Link
KR (1) KR101435773B1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346040B (en) * 2014-10-23 2018-08-07 京东方科技集团股份有限公司 A kind of information fast searching method, display control program and input equipment
CN110557666B (en) * 2019-07-23 2022-01-11 广州视源电子科技股份有限公司 Remote control interaction method and device and electronic equipment
KR102537459B1 (en) * 2021-03-31 2023-06-23 주식회사 딘포 Capsule container vending machine
KR20230087152A (en) * 2021-12-09 2023-06-16 김병수 Remote control system
KR20240066885A (en) 2022-11-08 2024-05-16 주식회사 오성전자 A remote control capable of checking the position of a finger and a finger positioning system including the remote control
KR102634742B1 (en) 2022-11-23 2024-02-08 주식회사 오성전자 Remote control that detects direction change

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100980741B1 (en) * 2010-06-09 2010-09-07 백규현 A remote controller and a method for remote contrlling a display
KR20100129586A (en) * 2009-06-01 2010-12-09 엘지전자 주식회사 Operating a image display apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100129586A (en) * 2009-06-01 2010-12-09 엘지전자 주식회사 Operating a image display apparatus
KR100980741B1 (en) * 2010-06-09 2010-09-07 백규현 A remote controller and a method for remote contrlling a display

Also Published As

Publication number Publication date
KR20140072482A (en) 2014-06-13

Similar Documents

Publication Publication Date Title
US11126343B2 (en) Information processing apparatus, information processing method, and program
KR101233562B1 (en) Gui applications for use with 3d remote controller
KR101435773B1 (en) Remote control device and remote control method of smart TV.
JP6215534B2 (en) Information processing apparatus, information processing method, and computer program
TWI332359B (en) Multimedia user interface
TWI592857B (en) Display system and tv apparatus
US9467729B2 (en) Method for remotely controlling smart television
US9513802B2 (en) Methods for displaying a user interface on a remote control device and a remote control device applying the same
US20150215676A1 (en) Configured Input Display for Communicating to Computational Apparatus
US20140258903A1 (en) Display device and display method for enhancing visibility
EP2870526B1 (en) Display device including touchscreen and method for controlling the same
KR102169521B1 (en) Input apparatus, display apparatus and control method thereof
JP2010536076A (en) Virtual keypad system and method
WO2012133272A1 (en) Electronic device
KR101515454B1 (en) Remote controller having dual touch pad and method for controlling using the same
JP2013016060A (en) Operation input device, operation determination method, and program
CN106716493A (en) Method of styling content and touch screen device for styling content
CN103037253B (en) Remote control system and method for remotely controlling
JP5875262B2 (en) Display control device
EP1735685A1 (en) Method of navigating, electronic device, user interface and computer program product
JP5165661B2 (en) Control device, control method, control program, and recording medium
KR20110013076A (en) Ring input device for gestural and touch interface use camera system
KR101439178B1 (en) System and Method for remote control using camera
JP2018194801A (en) Display, display method, and program
JP7030529B2 (en) Electronic devices, information processing methods, programs and storage media

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170823

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190114

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190808

Year of fee payment: 6