KR101329086B1 - Including a multi-touch pad remote control apparatus using by stroke function and it's data processing method - Google Patents

Including a multi-touch pad remote control apparatus using by stroke function and it's data processing method Download PDF

Info

Publication number
KR101329086B1
KR101329086B1 KR1020110006014A KR20110006014A KR101329086B1 KR 101329086 B1 KR101329086 B1 KR 101329086B1 KR 1020110006014 A KR1020110006014 A KR 1020110006014A KR 20110006014 A KR20110006014 A KR 20110006014A KR 101329086 B1 KR101329086 B1 KR 101329086B1
Authority
KR
South Korea
Prior art keywords
touch
touch pad
code
touch point
pad
Prior art date
Application number
KR1020110006014A
Other languages
Korean (ko)
Other versions
KR20120084579A (en
Inventor
김규학
Original Assignee
케이제이엘이디(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 케이제이엘이디(주) filed Critical 케이제이엘이디(주)
Priority to KR1020110006014A priority Critical patent/KR101329086B1/en
Publication of KR20120084579A publication Critical patent/KR20120084579A/en
Application granted granted Critical
Publication of KR101329086B1 publication Critical patent/KR101329086B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Abstract

본 발명은 멀티 터치 패드 포함형 3-D 원격제어장치에 관한 것으로, 다수의 손동작을 인식할 수 있는 2-D 평면형 터치패드를 키입력부에 장착하여 3-D Mice 기능을 수행할 수 있게 한 것이다.
이를 위하여 본 발명은, 사용자로부터 전자기기에 대한 조작명령을 입력받는 키입력부, 전자기기의 동작을 제어하는 제어코드를 출력하는 출력부, 키입력부에 장착되며 다수의 손동작을 인식할 수 있도록 다수 포인트의 좌표값을 가지는 터치패널로 이루어지고 터치패널 상의 손동작에 따른 터치를 감지하여 터치포인트 입력값을 출력하는 멀티 터치 패드, 및 사용자로부터 조작명령을 입력받아 출력부로 조작명령에 해당하는 제어코드를 출력하도록 하는 제어명령을 출력하거나 또는 멀티 터치 패드로부터 터치포인트 입력값을 수집하여 그 수집된 터치포인트의 변위데이터로 스트로크 인식 및 좌표변환을 수행하여 3-D 마우스 기능을 수행하도록 출력부의 동작을 제어하는 제어부를 포함하는 멀티 터치패드가 포함된 3-D 원격제어장치를 제공한다.The present invention relates to a 3-D remote control device with a multi-touch pad, and is equipped with a 2-D flat touch pad capable of recognizing a plurality of hand gestures to perform a 3-D Mice function. .
To this end, the present invention, the key input unit for receiving an operation command for the electronic device from the user, an output unit for outputting a control code for controlling the operation of the electronic device, the key input unit is mounted to a plurality of points to recognize a plurality of hand gestures The touch panel is composed of a touch panel having a coordinate value of and detects a touch according to a hand gesture on the touch panel, and outputs a touch point input value, and receives a control command from a user and outputs a control code corresponding to the control command to an output unit. Outputting a control command or collecting touchpoint input values from the multi-touch pad and performing stroke recognition and coordinate transformation with the collected displacement data of the touchpoint to control the operation of the output unit to perform a 3-D mouse function. Provided is a 3-D remote control apparatus including a multi-touch pad including a control unit.

Description

스트로크 기능을 이용한 멀티 터치 패드 포함형 쓰리디 원격제어장치 및 그 기기기에서의 데이터 처리방법{Including a multi-touch pad remote control apparatus using by stroke function and it's data processing method}Including a multi-touch pad remote control apparatus using by stroke function and it's data processing method}

본 발명은 멀티 터치 패드 포함형 3-D 원격제어장치 및 그 데이터 처리방법에 관한 것으로, 보다 상세하게는 영상, 오디오, PC 등의 멀티미디어 가전기기 제어용 원격제어장치에 멀티 터치 패드를 장착하고 터치패드 접촉시의 스트로크 동작을 구별할 수 있는 스트로크 인식 알고리즘과 평면 패드로부터 3-D 공간상의 좌표를 추출할 수 있는 좌표 변환 알고리즘을 탑재하여 3-D 마우스 기능을 수행할 수 있도록 한 스트로크 기능을 이용한 멀티 터치 패드 포함형 3-D 원격제어장치 및 그 기기에서의 데이터 처리방법에 관한 것이다.The present invention relates to a 3-D remote control device including a multi-touch pad and a data processing method thereof, and more particularly, to a multi-touch pad mounted on a remote control device for controlling a multimedia home appliance such as an image, an audio, a PC, and a touch pad. Multi stroke using stroke function to perform 3-D mouse function with stroke recognition algorithm that can distinguish stroke motion on contact and coordinate conversion algorithm that can extract coordinates in 3-D space from plane pad The present invention relates to a 3-D remote control device including a touch pad and a data processing method in the device.

3-D 마우스는 최근 MEMS 기술을 이용한 3축 가속도(Accelerometer)를 이용하여 X-Y-Z축의 센서 센싱값을 판독하고 멀티미디어 응용프로그램 내의 공간좌표계로 변환하여 3-D 제어가 가능하게 하고 있으며, 이러한 3-D 마우스는 컴퓨터 주변기기로 출시되어 주로 CAD/CAM 응용프로그램 및 게임용 엔터테인먼트 장비에 사용되고 있다.The 3-D mouse uses 3-axis accelerometer using MEMS technology to read the sensor sensing value of the XYZ axis and convert it to the spatial coordinate system in the multimedia application to enable 3-D control. The mouse is released as a computer peripheral and is mainly used for entertainment equipment for CAD / CAM applications and games.

도 1에는 종래 기술에 의한 게임용 3-D 마우스의 사용방법이 예시되어 있으며, 원형모양의 콘솔을 한 손에 잡고 전후좌우 및 360°회전, 밀고, 당길 수 있어서 응용프로그램 내에서 기존의 마우스 기능은 물론 카메라 뷰나 목적물(object)을 밀고(push), 당기고(pull), 틸트(tilt), 팬(pan), 줌(zoom), 회전(rotate) 등을 부드럽게 제어할 수 있게 한다.Figure 1 illustrates a method of using a 3-D mouse for gaming according to the prior art, while holding a circular-shaped console in one hand, and can rotate, push, and pull back, forth, left and right, and 360 °, the existing mouse function in the application Of course, you have smooth control of pushing, pulling, tilting, panning, zooming, and rotating camera views or objects.

한편, 움직임 인식 패드는 기존 펜이나 마우스에 기본 기능 외에 움직임 인식이라는 사용자 편의성을 부가하는 목적으로 개발되어 컴퓨터 주변기기로 적용되는 추세에 있으며, 노트북 컴퓨터에는 거의 기본으로 장착되어 단순히 마우스를 대신하는 컴퓨터의 Mice 보조 주변기기로서 역할을 하고 있다.On the other hand, the motion recognition pad has been developed to add user convenience of motion recognition to the existing pen or mouse and is applied as a computer peripheral device, and a notebook computer is almost basically installed to replace a mouse. Mice acts as an auxiliary peripheral.

최근 A/V용 리모트 컨트롤러는 멀티미디어 컨텐트를 원격 컨트롤하기 위한 Mice 기능이 탑재되는 추세에 있으며, 트랙볼(trackball)이나 조그키(Jog key)를 이용하여 2-D 평면에 동작하는 마우스 기능을 구현한 사례가 있다. 특히 최근에는 3-축 MEMS형 가속도 센서를 다수 이용한 6 DOF(degrees of freedom) 기술을 도입하여, 3 차원 공간에서의 여섯 가지 움직임(x 축 방향 움직임, y 축 방향 움직임, z 축 방향 움직임, x 축 회전각(roll angle), y 축 회전각(pitch angle), 그리고 z 축 회전각(yaw angle))에 대한 추적을 가능하게 한다.Recently, the remote controller for A / V has been equipped with the Mice function for remote control of multimedia contents, and implemented a mouse function that operates on a 2-D plane using a trackball or a jog key. There is an example. In particular, 6 DOF (degrees of freedom) technology using a large number of three-axis MEMS type acceleration sensors is introduced, and six movements in three-dimensional space (x-axis movement, y-axis movement, z-axis movement, x Enables tracking of axial roll angle, y-axis pitch angle, and z-axis yaw angle.

그러나 이러한 종래의 기술에서는 트랙볼이나 조그키를 사용하는 경우 기구적인 신뢰성 및 조작 그리고 위치 인식 분해능에서 문제가 있으며 가속도 센서를 이용하는 경우에는 제작비용 및 3-D 인식 민감도(Sensitivity) 및 구현의 어려움을 극복해야 하는 단점이 있다.However, this conventional technique has problems in mechanical reliability, operation, and position recognition resolution when using a trackball or jog key, and overcomes manufacturing costs, 3-D recognition sensitivity, and implementation difficulties when using an acceleration sensor. There is a downside to it.

본 발명이 해결하고자 하는 기술적 과제는, 다수의 손동작을 인식할 수 있는 2-D 평면형 터치패드를 키입력부에 장착하고 손동작의 터치에 따른 터치 포인트의 변위 데이터를 수집하여 스트로크 인식과 2-D 및 3-D 공간 좌표계 변환을 통해 3-D Mice 기능을 수행할 수 있도록 한 멀티 터치 패드 포함형 3-D 원격제어장치 및 그 기기에서의 데이터 처리방법을 제공하고자 하는 것이다. The technical problem to be solved by the present invention is to mount a 2-D flat touch pad that can recognize a plurality of hand gestures in the key input unit and collect displacement data of the touch point according to the touch of the hand gestures stroke recognition and 2-D and The present invention is to provide a 3-D remote control device with a multi-touch pad and a data processing method in the device to perform a 3-D Mice function through a 3-D spatial coordinate system transformation.

본 발명이 해결하고자 하는 다른 기술적 과제는, A/V 기기용 원격제어장치에 3-D 마우스 기능을 추가하여 손쉬운 멀티미디어 유저 인터페이스를 수행할 수 있는 멀티 터치 패드 포함형 3-D 원격 제어장치 및 그 기기에서의 데이터 처리방법을 제공하고자 하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 멀티 터치패드는 2-D 평면형 패드로 구성되되, 멀티 터치패드로부터 터치포인트 입력값을 입력받아 그 터치포인트 입력값에 대한 변동여부를 체크하여 손동작에 대한 스트로크 및 방향 분류를 위한 코드매핑을 수행하고 상기 각 영역에서의 터치포인트 입력값에 대한 스트로크 분류코드와 변위 데이터를 이용한 2-D 공간 좌표계로부터 3-D 좌표계로의 변환을 통해 3-D 위치좌표를 결정하여 출력하는, 멀티 터치 패드 포함형 3-D 원격 제어장치 및 그 기기에서의 데이터 처리방법을 제공하고자 하는 것이다.Another technical problem to be solved by the present invention is to add a 3-D mouse function to the remote control device for the A / V device, a multi-touch pad-type 3-D remote control device that can perform an easy multimedia user interface and its It is to provide a data processing method in a device.
Another technical problem to be solved by the present invention, the multi-touch pad is composed of a 2-D planar pad, and receives a touch point input value from the multi-touch pad to check whether the change of the touch point input value for hand gestures 3-D position coordinate by performing code mapping for stroke and direction classification and converting from 2-D spatial coordinate system to 3-D coordinate system using stroke classification code and displacement data for touchpoint input value in each area. To determine and output the multi-touch pad included 3-D remote control device and a data processing method in the device.

상기 목적을 달성하기 위한 본 발명의 일 실시 형태는, 사용자로부터 전자기기에 대한 조작명령을 입력받는 키입력부, 전자기기의 동작을 제어하는 제어코드를 출력하는 출력부, 키입력부에 장착되며 다수의 손동작을 인식할 수 있도록 다수 포인트의 좌표값을 가지는 터치패널로 이루어지고 터치패널 상의 손동작에 따른 터치를 감지하여 터치포인트 입력값을 출력하는 멀티 터치 패드, 및 사용자로부터 조작명령을 입력받아 출력부로 조작명령에 해당하는 제어코드를 출력하도록 하는 제어명령을 출력하거나 또는 멀티 터치 패드로부터 터치포인트 입력값을 수집하여 그 수집된 터치포인트의 변위데이터로 스트로크 인식 및 좌표변환을 수행하여 3-D 마우스 기능을 수행하도록 출력부의 동작을 제어하는 제어부를 포함하는 멀티 터치패드가 포함된 3-D 원격제어장치이다.One embodiment of the present invention for achieving the above object is a key input unit for receiving an operation command for the electronic device from the user, an output unit for outputting a control code for controlling the operation of the electronic device, a key input unit is mounted a plurality of It consists of a touch panel having a coordinate value of a plurality of points to recognize the hand gestures and detects the touch according to the hand gestures on the touch panel and outputs the touch point input value, and receives an operation command from the user to operate the output unit Outputs a control command to output a control code corresponding to the command, or collects touch point input values from the multi-touch pad, performs stroke recognition and coordinate transformation with the collected displacement data of the touch point, and performs a 3-D mouse function. 3 including the multi-touch pad including a control unit for controlling the operation of the output unit to perform -D Remote control device.

상기 목적을 달성하기 위한 본 발명의 다른 실시 형태는, 사용자로부터 적어도 하나의 전자기기에 대한 장치아이디의 설정/변경명령과 장치아이디 및 조작명령을 입력받는 키입력부, 전자기기의 동작을 제어하는 제어코드를 출력하는 출력부, 키입력부에 장착되며 다수의 손동작을 인식할 수 있는 다수 포인트의 좌표값을 가지는 터치패널로 이루어지고 터치패널 상의 손동작에 따른 터치를 감지하여 터치포인트 입력값을 출력하는 멀티 터치 패드, 및 사용자로부터 장치 아이디 및 조작명령을 입력받아 출력부로 장치 아이디의 조작명령에 해당하는 제어코드를 출력하도록 하는 제어명령을 출력하거나 또는 멀티 터치 패드로부터 터치포인트 입력값을 수집하여 그 수집된 터치포인트의 변위데이터로 스트로크 인식 및 좌표변환을 수행하여 3-D 마우스 기능을 수행하도록 출력부의 동작을 제어하는 제어부를 포함하는 멀티 터치패드가 포함된 3-D 원격제어장치이다.Another embodiment of the present invention for achieving the above object is a key input unit for receiving a setting / change command of the device ID and the device ID and the operation command for the at least one electronic device from the user, the control for controlling the operation of the electronic device An output unit for outputting a code and a key input unit, which is composed of a touch panel having a coordinate value of a plurality of points capable of recognizing a plurality of hand gestures, and a multi-point outputting touch point input value by detecting a touch according to a hand gesture on the touch panel. Outputs a control command for receiving a device ID and an operation command from the touch pad and a user, and outputs a control code corresponding to the device ID operation command to the output unit, or collects touch point input values from the multi-touch pads 3-D mouse by performing stroke recognition and coordinate transformation with displacement data of touch point 3-D remote control device including a multi-touch pad including a control unit for controlling the operation of the output unit to perform a function.

상기 목적을 달성하기 위한 본 발명의 또 다른 실시 형태는, 멀티 터치 패드를 포함하는 원격 제어장치에서의 데이터 처리방법에 있어서, 멀티 터치패드의 2-D 인식영역 및 3-D 인식영역으로부터 터치포인트 입력값을 입력받아 그 터치포인트 입력값에 대한 변동여부를 체크하는 단계; 터치포인트에 터치되는 손동작에 대한 스트로크 및 방향 분류를 위한 코드 매핑을 수행하는 단계; 및 각 영역에서의 터치포인트 입력값에 대한 스트로크 코드와 변위 데이터를 이용한 2-D 공간 좌표계로부터 3-D 좌표계로의 변환을 통해 3-D 위치좌표를 결정하는 단계;로 이루어지는 멀티 터치패드가 포함된 3-D 원격제어장치에서의 데이터 처리방법이다..Another embodiment of the present invention for achieving the above object is a data processing method in a remote control device including a multi-touch pad, the touch point from the 2-D recognition area and the 3-D recognition area of the multi-touch pad Receiving an input value and checking whether the touch point input value is changed; Performing code mapping to classify strokes and directions for hand gestures touched by touch points; And determining a 3-D position coordinate by converting from a 2-D spatial coordinate system to a 3-D coordinate system using a stroke code and displacement data of a touch point input value in each region. Data processing method in the 3-D remote controller.

본 발명에 따른 멀티 터치 패드가 포함된 3-D 원격제어장치 및 그 데이터 처리방법에 의하면, 가전기기용 원격 제어장치를 이용하여 3-D 마우스 기능을 수행할 수 있게 되는 이점이 있으며, 또한 다양한 영상, 오디오, PC 등의 멀티미디어 가전기기 제어용 원격제어장치에 멀티 터치 패드를 이용한 3-D 마우스 기능이 탑재될 수 있게 되므로, 손쉬운 멀티미디어 유저 인터페이스를 수행할 수 있는 이점이 있다.
또한, 본 발명은, 멀티 터치패드는 2-D 평면형 패드로 구성되되, 멀티 터치패드로부터 터치포인트 입력값을 입력받아 그 터치포인트 입력값에 대한 변동여부를 체크하여 손동작에 대한 스트로크 및 방향 분류를 위한 코드매핑을 수행하고 상기 각 영역에서의 터치포인트 입력값에 대한 스트로크 분류코드와 변위 데이터를 이용한 2-D 공간 좌표계로부터 3-D 좌표계로의 변환을 통해 3-D 위치좌표를 결정하여 출력하는, 멀티 터치 패드 포함형 3-D 원격 제어장치 및 그 기기에서의 데이터 처리방법을 제공합니다.According to the 3-D remote control device and a data processing method including a multi-touch pad according to the present invention, there is an advantage that can perform a 3-D mouse function using a remote control device for home appliances, and also various Since a 3-D mouse function using a multi-touch pad can be mounted on a remote control device for controlling multimedia home appliances such as video, audio, and PC, there is an advantage in that an easy multimedia user interface can be performed.
In addition, the present invention, the multi-touch pad is composed of a 2-D planar pad, and receives the touch point input value from the multi-touch pad to check the variation of the touch point input value to classify the stroke and direction for hand gestures Performing code mapping and determining and outputting 3-D position coordinates by converting from 2-D spatial coordinate system to 3-D coordinate system using stroke classification code and displacement data for touchpoint input value in each area. , 3-D remote controller with multi-touch pad and data processing method in the device.

도 1은 종래 기술에 의한 게임용 3-D 마우스의 사용방법을 설명하기 위하여 나타낸 움직임 인식 패드의 동작상태 예시도이다.
도 2는 본 발명의 일 실시 형태에 의한 멀티 터치 패드 포함형 3-D 원격제어장치의 전체적인 구성을 예시한 블록도이다.
도 3은 일반 A/V 기기용 원격 제어장치에 본 발명의 멀티 터치 패드가 장착된 상태의 외관을 예시한 평면도이다.
도 4는 도 3의 멀티 터치 패드 영역 내에서 구분되는 2-D 인식영역과 3-D 인식영역을 예시한 참고도이다.
도 5는 도 2의 멀티 터치 패드 내의 정전용량 측정방법을 설명하기 위하여 예시한 참고도이다.
도 6은 본 발명에 의한 멀티 터치패드 포함형 3-D 원격 제어장치의 제어부에서 이루어되는 터치 상태 판단 흐름도이다.
도 7a와 도 7b는 본 발명에 의한 멀티 터치패드 포함형 3-D 원격제어장치의 제어부에서 수행되는 스트로크 및 방향 인식과 좌표변환 과정을 예시한 동작 흐름도이다.
도 8a와 도 8b는 각각 도 7의 좌표변환 과정을 설명하기 위하여 예시한 원기둥 좌표계와 구좌표계이다.1 is a view illustrating an operation state of a motion recognition pad shown to explain a method of using a 3-D mouse for gaming according to the prior art.
Figure 2 is a block diagram illustrating the overall configuration of a multi-touch pad-containing 3-D remote control apparatus according to an embodiment of the present invention.
3 is a plan view illustrating an appearance of a state in which a multi-touch pad of the present invention is mounted on a remote control device for a general A / V device.
FIG. 4 is a reference diagram illustrating a 2-D recognition area and a 3-D recognition area divided within the multi-touch pad area of FIG. 3.
FIG. 5 is a reference diagram illustrating a method for measuring capacitance in the multi-touch pad of FIG. 2.
6 is a flowchart illustrating a touch state determination performed by the controller of the multi-touch pad included 3-D remote controller according to the present invention.
7A and 7B are flowcharts illustrating a stroke and direction recognition and a coordinate conversion process performed by the controller of the multi-touch pad included 3-D remote controller according to the present invention.
8A and 8B are a cylindrical coordinate system and a spherical coordinate system respectively illustrated to explain the coordinate transformation process of FIG. 7.

이하, 본 발명의 일 실시예에 의한 멀티 터치패드가 포함된 3-D 원격제어장치의 구성 및 동작을 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, the configuration and operation of a 3-D remote control apparatus including a multi-touch pad according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되지 아니하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.It is to be understood that the words or words used in the present specification and claims are not to be construed in a conventional or dictionary sense and that the inventor can properly define the concept of a term in order to describe its invention in the best possible way And should be construed in light of the meanings and concepts consistent with the technical idea of the present invention. Therefore, it should be understood that the embodiments described herein and the configurations shown in the drawings are only the most preferred embodiments of the present invention, and that various equivalents and modifications may be substituted for them at the time of the present application shall.

도 2는 본 발명의 일 실시 형태에 의한 멀티 터치 패드 포함형 3-D 원격제어장치의 전체적인 구성을 예시한 블록도이고, 도 3은 일반 A/V 기기용 원격 제어장치에 본 발명의 멀티 터치 패드가 장착된 상태의 외관을 예시한 평면도이고, 도 4는 도 3의 멀티 터치 패드 영역 내에서 구분되는 2-D 인식영역과 3-D 인식영역을 예시한 참고도이고, 도 5는 도 2의 멀티 터치 패드 내의 정전용량 측정방법을 설명하기 위하여 예시한 참고도이다.Figure 2 is a block diagram illustrating the overall configuration of a multi-touch pad-type 3-D remote control device according to an embodiment of the present invention, Figure 3 is a multi-touch of the present invention to a remote control device for general A / V equipment 4 is a plan view illustrating an appearance of a pad mounted state, FIG. 4 is a reference diagram illustrating a 2-D recognition region and a 3-D recognition region divided within the multi-touch pad region of FIG. 3, and FIG. 5 is FIG. The reference diagram exemplarily described to describe a method for measuring capacitance in a multi-touch pad.

도 2에 도시된 바와 같이 본 발명의 일 실시 형태에 따른 멀티 터치 패드가 포함된 3-D 원격제어장치는 키입력부(110), 멀티 터치 패드(120), 제어부(130), 및 출력부(140)을 포함하여 구성될 수 있으며, 또한 멀티 터치 패드(120)와 제어부(130) 사이에는 A/D 변환기(121)를 더 개재시켜 다른 실시 예를 구성할 수도 있다.As shown in FIG. 2, the 3-D remote control apparatus including the multi touch pad according to the exemplary embodiment of the present invention includes a key input unit 110, a multi touch pad 120, a controller 130, and an output unit ( 140 may be configured, and another embodiment may be configured by further interposing an A / D converter 121 between the multi-touch pad 120 and the controller 130.

키입력부(110)는 도 3에 도시된 바와 같이 다수 개의 키를 구비하며, 이러한 키들의 조작을 통해 사용자로부터 전자기기에 대한 조작명령을 입력할 수 있다. 본 발명에 의한 원격 제어장치는 적어도 하나 이상의 전자 기기에 대한 장치 아이디 및 조작 명령을 입력할 수 있는 통합형인 경우에도 사용 가능하며, 이 경우 키입력부를 통해서는 사용자로부터 적어도 하나의 전자기기에 대한 장치아이디의 설정/변경명령, 장치아이디 및 조작명령을 입력할 수 있도록 구성될 것이다.The key input unit 110 includes a plurality of keys as shown in FIG. 3, and may input an operation command for an electronic device from a user through manipulation of these keys. The remote control apparatus according to the present invention can be used in the case of an integrated type capable of inputting device IDs and operation commands for at least one or more electronic devices, and in this case, a device for at least one electronic device from a user through a key input unit. It will be configured to input setting / change command of ID, device ID and operation command.

멀티 터치 패드(120)는 도 3에 예시된 바와 같이 키입력부(110)에 장착될 수 있으며, 다수의 손동작을 인식할 수 있도록 다수 포인트의 좌표값을 가지는 터치패널로 이루어진다. 이 멀티 터치 패드(120)는 2-D 평면형 터치 패드로서, 도 4에 예시된 바와 같이 X-Y 영역의 터치포인트를 인식하기 위한 2-D 인식영역과 Z 영역의 터치포인트를 인식하기 위한 3-D 인식영역으로 각각 구분되어, 2-D 인식에 필요한 터치포인트 입력값은 X-Y 공간에서 추출되고, 3-D 인식에 필요한 터치포인트 입력값은 Z 공간에서 추출된다. 이러한 본 발명의 멀티 터치 패널은 도 5에 도시된 바와 같이 LCD 패널과 터치 패널, 투명 필름형태의 ITO 전극 패턴이 포함된 필름, 얇은 유리막/플라스틱으로 구성된 커버로 구성되어, 손동작에 따른 터치를 감지하여 각 포인트에 대한 터치포인트 입력값을 구분하여 출력된다.As illustrated in FIG. 3, the multi-touch pad 120 may be mounted on the key input unit 110 and may include a touch panel having a coordinate value of a plurality of points to recognize a plurality of hand gestures. The multi-touch pad 120 is a 2-D planar touch pad and, as illustrated in FIG. 4, 3-D recognition region for recognizing touch points in the XY region and 3-D for recognizing touch points in the Z region. The touch point input values required for 2-D recognition are extracted in XY space, and the touch point input values required for 3-D recognition are extracted in Z space. As shown in FIG. 5, the multi-touch panel of the present invention includes an LCD panel, a touch panel, a film including an ITO electrode pattern in the form of a transparent film, and a cover composed of a thin glass film / plastic to sense a touch according to a hand gesture. The touch point input value for each point is output separately.

A/D 변환기(121)는 멀티 터치 패드(120)와 제어부(130) 사이에 개재되며, 이 A/D 변환기(121)는 멀티 터치 패드(120)에서 출력되는 아날로그 신호를 디지털 신호로 변환하여 제어부(130)로 전달할 수 있도록 연결된다.The A / D converter 121 is interposed between the multi touch pad 120 and the controller 130, and the A / D converter 121 converts an analog signal output from the multi touch pad 120 into a digital signal. It is connected to be delivered to the controller 130.

제어부(130)는 사용자로부터 조작명령 또는 장치아이디와 조작명령을 입력받고, 출력부(140)로 조작명령 또는 장치아이디와 조작명령에 해당하는 제어코드를 출력하도록 하는 제어명령을 출력하며, 또한 멀티 터치 패드(120)로부터 A/D 변환기(121)를 통해 들어오는 X-Y 공간(2-D 인식영역) 및 Z 공간(3-D 인식영역)에서의 각 터치포인트에 대한 입력값을 각각 수집하고 X-Y 공간에서의 첫 번째 터치포인트의 변위데이터를 이용하여 스트로크 코드 및 방향 코드를 인식하며, 아울러 첫 번째 터치포인트의 변위데이터로부터 2-D에서 3-D로의 공간좌표변환을 위한 다수의 파라미터들을 산출하여 3-D 공간 인식에 필요한 좌표 변환을 실시하고, 그 좌표변환 결과를 출력부(140)로 출력하여 3-D 마우스 기능을 수행할 수 있게 한다. 아울러 상기 제어부(130)는 X-Y 공간에서의 두 번째 터치포인트가 검출되는 경우 상기 첫 번째 터치포인트와 두 번째 터치포인트 간의 변위데이터를 이용하여 확대 및 축소를 위한 스트로크 코드 및 방향 코드를 인식하기도 한다. The control unit 130 receives the operation command or the device ID and the operation command from the user, and outputs a control command to output the control command corresponding to the operation command or the device ID and the operation command to the output unit 140, and also multi The input values for each touch point in the XY space (2-D recognition area) and Z space (3-D recognition area) coming from the touch pad 120 through the A / D converter 121 are collected, respectively. Recognize stroke code and direction code by using displacement data of first touch point at, and calculate a number of parameters for spatial coordinate transformation from 2-D to 3-D from displacement data of first touch point. Coordinate transformation necessary for space recognition is performed, and the coordinate transformation result is output to the output unit 140 to perform a 3-D mouse function. In addition, when the second touch point is detected in the X-Y space, the controller 130 may recognize a stroke code and a direction code for enlargement and reduction by using displacement data between the first touch point and the second touch point.

출력부(140)는 제어부(130)의 제어명령에 따라 적어도 하나의 전자기기에 대한 동작을 제어하는 제어코드를 출력한다.The output unit 140 outputs a control code for controlling an operation of at least one electronic device according to a control command of the controller 130.

한편, 도 6은 제어부(130)에서 이루어지는 스트로크 코드 및 방향 코드 인식을 위한 터치 상태 판단 흐름도이고, 도 7a와 도 7b는 제어부(130)에서 수행되는 스트로크 및 방향 인식과 좌표변환 과정을 예시한 동작 흐름도이고, 도 8a와 도 8b는 각각 도 7a 및 도 7b의 좌표변환 과정을 설명하기 위하여 예시한 원기둥 좌표계와 구좌표계이다.6 is a flowchart illustrating a touch state determination for recognizing a stroke code and a direction code made by the controller 130, and FIGS. 7A and 7B illustrate an example of a stroke and direction recognition and coordinate conversion process performed by the controller 130. 8A and 8B are a cylindrical coordinate system and a spherical coordinate system illustrated to explain the coordinate transformation process of FIGS. 7A and 7B, respectively.

도 6에 도시된 바와 같이 제어부(130)에서는 초기상태, 첫 번째 포인트 터치상태, 두 번째 포인트 터치상태로의 상태 판단이 이루어진다. 초기상태는 첫 번째 포인트 터치상태에서 첫 번째 포인트의 터치가 해제되거나 또는 두 번째 포인트 터치상태에서 첫 번째 및 두 번째 포인트의 터치가 모두 해제되는 상태이다. 첫 번째 포인트 터치상태는 초기상태에서 첫 번째 포인트의 터치가 시작되거나 또는 두 번째 포인트 터치상태에서 두 번째 포인트의 터치가 해제되는 상태이다. 두 번째 포인트 터치상태는 첫 번째 포인트 터치상태에서 두 번째 포인트의 터치가 시작되거나 또는 두 번째 포인트 터치상태에서 첫 번째 및 두 번째 포인트의 터치가 모두 유지되는 상태이다.As shown in FIG. 6, the controller 130 determines a state of an initial state, a first point touch state, and a second point touch state. The initial state is a state in which the touch of the first point is released in the first point touch state or the touch of both the first and second points is released in the second point touch state. The first point touch state is a state in which the touch of the first point starts in the initial state or the touch of the second point is released in the second point touch state. The second point touch state is a state in which the touch of the second point is started in the first point touch state or the touch of both the first and second points is maintained in the second point touch state.

이를 위해서 제어부(130)에는 도 7a 및 도 7b에 도시된 바와 같이 멀티 터치 패드의 2-D 인식영역 및 3-D 인식영역으로부터 첫 번째 터치포인트에 대한 입력값(A(X,Y),Z)을 각각 수집하여 그 수집된 첫 번째 터치포인트의 변동여부(A(X',Y'),Z')를 체크하는 단계(S101-S103)(S201-S203), 상기 2-D 인식영역의 첫 번째 터치포인트에 대한 변위데이터(△X,△Y)의 산출 및 이 변위데이터들로부터 2-D에서 3-D로의 공간좌표변환을 위한 다수의 파라미터들(φ,x,y,r)을 산출하고, 상기 2-D 인식영역에서 검출된 첫 번째 터치포인트의 변위데이터(△X,△Y,△φ)로 손동작에 대한 스트로크 코드 및 방향 코드를 분류하기 위한 코드 매핑을 수행하여 스트로크 코드 및 방향코드를 인식하는 단계(S104), 및 상기 2-D 인식영역 및 3-D 인식영역의 첫 번째 터치포인트에 대한 변위데이터로부터 산출된 다수의 파라미터들로 2-D 공간 좌표계로부터 3-D 좌표계로의 좌표 변환을 실시하여 상기 멀티 터치 패드 상에서의 첫 번째 터치포인트에 대한 3-D 위치좌표를 결정하는 단계(S105,S106)를 포함하는 터치포인트 및 그 변위 데이터를 이용한 데이터 처리루틴이 탑재된다. 아울러 상기 제어부(130)는 X-Y 공간에서의 두 번째 터치포인트(B(X,Y))가 검출되는지를 판단하는 단계(S107), 그 판단 결과 두 번째 터치 포인트가 입력되면 상기 첫 번째 터치포인트(A(X,Y))와 두 번째 터치포인트(B(X,Y)) 간의 변위데이터(C(△X,△Y)=A(X,Y)-B(X,Y))를 산출하고 그 두 포인트 간의 변위데이터로 스트로크 코드 및 방향 코드를 분류하기 위한 코드 매핑을 수행하여 확대 및 축소를 위한 스트로크 코드 및 방향 코드를 인식하는 단계(S108)를 더 포함하여 이루어질 수 있다.To this end, as shown in FIGS. 7A and 7B, the controller 130 has input values A (X, Y) and Z for the first touch point from the 2-D recognition area and the 3-D recognition area of the multi-touch pad. ) And checking whether the collected first touch points are variated (A (X ', Y'), Z ') (S101-S103) (S201-S203), and checking the 2-D recognition area. Calculation of displacement data (ΔX, ΔY) for the first touch point and multiple parameters (φ, x, y, r) for spatial coordinate transformation from 2-D to 3-D from these displacement data Calculates and performs code mapping to classify the stroke code and the direction code for the hand motion by the displacement data (ΔX, ΔY, Δφ) of the first touch point detected in the 2-D recognition area. Recognizing the direction code (S104), and calculated from the displacement data for the first touch point of the 2-D recognition region and the 3-D recognition region Performing coordinate transformation from the 2-D spatial coordinate system to the 3-D coordinate system with a plurality of parameters to determine the 3-D position coordinate for the first touch point on the multi-touch pad (S105, S106). The data processing routine using the touch point and the displacement data is mounted. In addition, the controller 130 determines whether a second touch point B (X, Y) is detected in the XY space (S107), and when the second touch point is input as a result of the determination, the first touch point ( Calculate displacement data C (ΔX, ΔY) = A (X, Y) -B (X, Y) between A (X, Y) and the second touch point B (X, Y) The method may further include a step S108 of recognizing the stroke code and the direction code for enlargement and reduction by performing code mapping for classifying the stroke code and the direction code with the displacement data between the two points.

이러한 구성의 본 발명에 따른 멀티 터치패드 포함형 3-D 원격제어장치의 전체적인 동작을 설명한다.The overall operation of the multi-touch pad-containing 3-D remote control apparatus according to the present invention having such a configuration will be described.

먼저 원격제어장치의 키입력부(110)를 통해 사용자로부터 조작명령 또는 장치아이디와 조작명령이 입력되면 제어부(130)에서는 조작명령 또는 장치아이디와 조작명령에 해당하는 제어코드를 출력하도록 하는 제어명령을 출력부(140)로 내보내고, 이 출력부(140)에서는 무선 송신수단을 통해 제어코드를 무선 송출하여 사용자에 의해 설정되는 명령이 전자 기기의 본체에 전달될 수 있게 한다. First, when an operation command or a device ID and an operation command are input from the user through the key input unit 110 of the remote control device, the controller 130 outputs a control command corresponding to the operation command or the device ID and the operation command. It outputs to the output unit 140, which outputs the control code wirelessly through the wireless transmission means so that the command set by the user can be transmitted to the main body of the electronic device.

또한 사용자로부터 멀티 터치 패드(120)의 X-Y 공간을 통해 첫 번째 포인트의 터치가 발생되면(S101의 Y분기) 제어부(130)에서는 초기상태에서 A/D 변환기(121)를 통해 들어오는 X-Y 공간(2-D 인식영역)에서의 터치포인트에 대한 입력값(A(X,Y))을 수집(S102)하고 X-Y 공간에서의 첫 번째 터치포인트의 변동여부를 체크(S103)하여 그 첫 번째 터치포인트에 대한 변위데이터(△X,△Y)로부터 2-D에서 3-D로의 공간좌표변환을 위한 다수의 파라미터들(φ,x,y,r)을 산출한다. 즉 첫 번째 터치포인트 A(X,Y)에 대한 변위데이터 A(X,Y)-A(X',Y')→(△X,△Y)로부터 φ=tan-1(△Y,△X), x=rcosφ, r=(x2+y2)1/2, φA(X,Y)-φA(X',Y')→△φ 값을 차례로 산출하고 각 변위 데이터(△X,△Y,△φ)의 부호와 포인트 접촉시간 및 반복횟수로 스트로크에 대한 방향, 길게누르기, 반복, 및 회전 등을 인식한다. 아울러 사용자로부터 멀티 터치 패드(120)의 Z 공간을 통해 첫 번째 포인트의 터치가 발생되면(S201의 Y분기) 제어부(130)에서는 A/D 변환기(121)를 통해 들어오는 Z 공간(3-D 인식영역)에서의 첫 번째 터치포인트에 대한 입력값(Z)을 수집(S202)하고 Z 공간에서의 첫 번째 터치포인트의 변동여부를 체크(S203)하여 그 첫 번째 터치 포인트의 변위가 없는 경우 좌표계 변환을 위한 3-D 인식영역의 입력값을 설정 및 제공한다.In addition, when a touch of the first point is generated from the user through the XY space of the multi-touch pad 120 (Y branch in S101), the control unit 130 enters the XY space (2) received through the A / D converter 121 in an initial state. (D102) collects input values A (X, Y) for the touch points in the D recognition area) and checks whether the first touch point changes in the XY space (S103). Calculate a plurality of parameters φ, x, y, r for the spatial coordinate transformation from 2-D to 3-D from the displacement data ΔX, ΔY. That is, from the displacement data A (X, Y) -A (X ', Y') → (ΔX, ΔY) for the first touch point A (X, Y), φ = tan -1 (ΔY, △ X) ), x = rcosφ, r = (x 2 + y 2 ) 1/2 , φA (X, Y) -φA (X ', Y') → △ φ values are calculated in turn and the respective displacement data (△ X, △ Y, DELTA φ) and the point contact time and the number of repetitions recognize the direction, the long press, the repetition, the rotation, and the like with respect to the stroke. In addition, when a touch of the first point is generated from the user through the Z space of the multi-touch pad 120 (Y branch in S201), the controller 130 receives the Z space (3-D recognition) that is input through the A / D converter 121. The input value (Z) for the first touch point in the area) is collected (S202), and if the first touch point is not changed in the Z space (S203), the coordinate system is transformed when there is no displacement of the first touch point. Set and provide the input value of 3-D recognition area.

이어서 제어부(130)에서는 상기 2-D 인식영역에서 검출된 첫 번째 터치포인트의 변위데이터(△X,△Y,△φ)로 손동작에 대한 스트로크 코드 및 방향 코드를 분류하기 위한 코드 매핑을 수행하여 스트로크 코드 및 방향코드를 인식(S104)하고, 아울러 2-D 인식영역 및 3-D 인식영역의 첫 번째 터치포인트에 대한 변위데이터로부터 산출된 다수의 파라미터들(φ,x,y,r 및 z)로 2-D 공간 좌표계로부터 3-D 좌표계로의 좌표 변환(S105,S106)을 차례로 실시하여 상기 멀티 터치 패드 상에서의 첫 번째 터치포인트에 대한 3-D 위치좌표를 결정한다. 여기서 상기 좌표 변환과정(S105,S106)은 2-D 공간 좌표계로부터 도 8a와 같은 원기둥 좌표계로의 변환, 및 원기둥 좌표계로부터 도 8b와 같은 구 좌표계로의 변환과정을 통해 이루어진다.Subsequently, the controller 130 performs code mapping to classify the stroke code and the direction code for the hand motion using the displacement data (ΔX, ΔY, Δφ) of the first touch point detected in the 2-D recognition area. Recognizes the stroke code and the direction code (S104), and also calculates a plurality of parameters φ, x, y, r and z from the displacement data for the first touch point of the 2-D recognition area and the 3-D recognition area. In order to determine the 3-D position coordinate for the first touch point on the multi-touch pad, coordinate transformation (S105, S106) from 2-D spatial coordinate system to 3-D coordinate system is sequentially performed. In this case, the coordinate conversion processes S105 and S106 are performed through the conversion from the 2-D spatial coordinate system to the cylindrical coordinate system as shown in FIG. 8A, and the conversion from the cylindrical coordinate system to the spherical coordinate system as shown in FIG. 8B.

다음에서는 2-D 공간 좌표계에서 3-D 공간 좌표계로의 변환 과정(S105,S106)을 통해 3-D 위치를 결정하는 동작에 대하여 설명한다. Next, an operation of determining the 3-D position through the conversion process (S105, S106) from the 2-D spatial coordinate system to the 3-D spatial coordinate system will be described.

터치 패드 상에 X-Y 영역에서의 스트로크 아이디와 변위 데이터를 이용하여 추후 3-D공간 좌표로 변환하기 위하여는, 먼저 2-D 공간 좌표계 내에서 X-Y 데카르트 좌표계(Cartesian coordinate)에서 극좌표계(Polar coordinate)로 변환한다. 이때 데카르트 좌표계에서 극좌표계로 변환하는 전달함수(transformation equation)는 다음의 수학식 1과 같다.In order to convert to 3-D spatial coordinates later using stroke ID and displacement data in the XY region on the touchpad, first, in the 2-D spatial coordinate system, in the XY Cartesian coordinate system, the Polar coordinate system is used. Convert to In this case, the transformation equation that is transformed from the Cartesian coordinate system to the polar coordinate system is represented by Equation 1 below.

Figure 112011004888600-pat00001
Figure 112011004888600-pat00001

이와 같이 변환된 극좌표계를 Z영역의 스트로크 아이디와 변위 데이터를 추가적으로 이용하여 도 8a와 같이 Z축을 고정하는 원기둥 좌표계(Cylindrical Coordinate system)로 변환한다.The polar coordinate system thus converted is converted into a cylindrical coordinate system for fixing the Z axis as shown in FIG. 8A by additionally using the stroke ID and the displacement data of the Z region.

3-D의 공간좌표를 사용할 경우에 먼저 데카르트 좌표계에서 원기둥 좌표계로 변환하는 전달함수(transformation equation)는 다음의 수학식 2와 같다.In the case of using 3-D spatial coordinates, the transformation equation that first converts the Cartesian coordinate system to the cylindrical coordinate system is shown in Equation 2 below.

Figure 112011004888600-pat00002
Figure 112011004888600-pat00002

3-D 좌표계를 지구좌표계와 유사하게 모델링하여 도 8b와 같이 극(Polar) 축과 수직면(equatorial plane)을 원점으로 하는 구 좌표계(spherical coordinate)를 정의하면 다음과 같이 정의할 수 있다.Modeling the 3-D coordinate system similarly to the global coordinate system, as shown in Figure 8b to define a spherical coordinate (Spherical coordinate) of the polar axis and the vertical plane (equatorial plane) can be defined as follows.

데카르트 좌표계에서 구 좌표계로 변환하는 전달함수(transformation equation)는 다음의 수학식 3과 같다.The transformation equation transforming from the Cartesian coordinate system to the spherical coordinate system is shown in Equation 3 below.

Figure 112011004888600-pat00003
Figure 112011004888600-pat00003

여기에서 φ(azimuth) 범위는 0에서 2π(360°)이고, θ(zenith) 범위는 0에서 π(180°)이다.Here, azimuth ranges from 0 to 2π (360 °) and θ (zenith) ranges from 0 to π (180 °).

이어서 상기 제어부(130)에서는 X-Y 공간에서의 두 번째 터치포인트(B(X,Y))가 검출되는지를 판단(S107)하고, 그 판단 결과 두 번째 터치 포인트가 입력되면(S105의 Y분기) 상기 첫 번째 터치포인트(A(X,Y))와 두 번째 터치포인트(B(X,Y)) 간의 변위데이터(C(△X,△Y)=A(X,Y)-B(X,Y))를 산출하고 그 두 포인트 간의 변위데이터로 스트로크 코드 및 방향 코드를 분류하기 위한 코드 매핑을 수행하여 확대 및 축소를 위한 스트로크 코드 및 방향 코드를 인식(S108)한다.Subsequently, the controller 130 determines whether the second touch point B (X, Y) in the XY space is detected (S107), and if the second touch point is input as a result of the determination (Y branch of S105), Displacement data between first touch point A (X, Y) and second touch point B (X, Y) C (ΔX, ΔY) = A (X, Y) -B (X, Y )) And code mapping for classifying the stroke code and the direction code by the displacement data between the two points to recognize the stroke code and the direction code for the enlargement and reduction (S108).

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, Modification is possible. Accordingly, the spirit of the present invention should be understood only in accordance with the following claims, and all equivalents or equivalent variations thereof are included in the scope of the present invention.

110 : 키입력부 120 : 멀티터치패드
121 : A/D 변환기 130 : 제어부
140 : 출력부110: key input unit 120: multi-touch pad
121: A / D converter 130: control unit
140:

Claims (10)

삭제delete 사용자로부터 하나의 전자기기에 대한 장치아이디의 설정 또는 변경명령, 상기 장치아이디 및 조작명령을 입력받는 키입력부;
상기 전자기기의 동작을 제어하는 제어코드를 출력하는 출력부;
상기 키입력부에 장착되며, 다수의 손동작을 인식할 수 있는 다수 포인트의 좌표값을 가지는 터치패널로 이루어지고, 상기 터치패널 상의 손동작에 따른 터치를 감지하여 터치포인트 입력값을 출력하는 멀티 터치패드; 및
사용자로부터 장치 아이디 및 조작명령을 상기 키입력부로부터 수신하여, 상기 출력부로 상기 장치 아이디의 조작명령에 해당하는 제어코드를 출력하도록 하는 제어명령을 출력하거나, 또는 상기 멀티 터치패드로부터 터치포인트 입력값을 수집하여 수집된 터치포인트의 변위데이터로 스트로크 인식 및 좌표변환을 수행하여 3-D 마우스 기능을 수행하도록 상기 출력부의 동작을 제어하는 제어부;를 포함하는 멀티 터치패드가 포함된 3-D 원격제어장치에 있어서,
상기 멀티 터치패드는 2-D 평면형 패드로 구성되며,
상기 멀티 터치패드는,
상기 터치패널이 X-Y 영역의 터치포인트를 인식하기 위한 2-D 인식영역과 Z 영역의 터치포인트를 인식하기 위한 3-D 인식영역으로 각각 구분되고, 각 포인트에 대한 터치포인트 입력값을 구분하여 출력하는 것을 특징으로 하는 멀티 터치패드가 포함된 3-D 원격제어장치.A key input unit configured to receive a setting or change command of a device ID and a device ID and an operation command from a user;
An output unit for outputting a control code for controlling the operation of the electronic device;
A multi-touch pad mounted to the key input unit, the touch panel having a coordinate value of a plurality of points capable of recognizing a plurality of hand gestures, and detecting a touch according to a hand gesture on the touch panel and outputting a touch point input value; And
Receiving a device ID and operation command from the key input unit from the user, and outputs a control command to output a control code corresponding to the operation command of the device ID to the output unit, or to obtain a touch point input value from the multi-touch pad 3-D remote control device including a multi-touch pad including a; control unit for controlling the operation of the output unit to perform a 3-D mouse function by performing stroke recognition and coordinate transformation with the collected displacement data of the touch point To
The multi-touch pad is composed of a 2-D flat pad,
The multi-touch pad,
The touch panel is divided into a 2-D recognition region for recognizing touch points in the XY region and a 3-D recognition region for recognizing touch points in the Z region, and separately outputs touch point input values for each point. 3-D remote control device comprising a multi-touch pad, characterized in that. 삭제delete 삭제delete 제2항에 있어서,
상기 제어부는,
상기 멀티 터치패드로부터 터치포인트 입력값을 입력받아 그 터치포인트 입력값에 대한 변동여부를 체크하여 손동작에 대한 스트로크 및 방향 분류를 위한 코드매핑을 수행하고 상기 각 영역에서의 터치포인트 입력값에 대한 스트로크 분류코드와 변위 데이터를 이용한 2-D 공간 좌표계로부터 3-D 좌표계로의 변환을 통해 3-D 위치좌표를 결정하여 출력하는 것을 특징으로 하는 멀티 터치패드가 포함된 3-D 원격제어장치.3. The method of claim 2,
The control unit,
Receives a touch point input value from the multi-touch pad and checks whether the touch point input value is fluctuated to perform code mapping for stroke and direction classification for hand gestures, and strokes for touch point input values in the respective areas. 3-D remote control device including a multi-touch pad, characterized in that for outputting the 3-D position coordinates by converting from 2-D spatial coordinate system to 3-D coordinate system using the classification code and displacement data. 사용자로부터 적어도 하나의 전자기기에 대한 장치아이디의 설정 또는 변경명령, 상기 장치아이디 및 조작명령을 입력받는 키입력부;
상기 전자기기의 동작을 제어하는 제어코드를 출력하는 출력부;
상기 키입력부에 장착되며, 다수의 손동작을 인식할 수 있는 터치패널로 이루어지고, 상기 터치패널이 X-Y 영역의 터치포인트를 인식하기 위한 2-D 인식영역과 Z 영역의 터치포인트를 인식하기 위한 3-D 인식영역으로 각각 구분되고, 상기 터치패널의 정전용량을 감지하여 각 포인트에 대한 터치포인트 입력값을 출력하는 멀티 터치패드; 및
사용자로부터 상기 전자기기에 대한 상기 장치아이디 또는 상기 조작명령을 상기 키입력부로부터 수신하여, 상기 출력부로 상기 장치 아이디 및 상기 조작명령에 해당하는 제어코드를 출력하도록 하는 제어명령을 출력하거나, 또는 상기 멀티 터치패드로부터 터치포인트 입력값을 입력받아 그 터치포인트 입력값에 대한 변동여부를 체크하여 손동작에 대한 스트로크 및 방향 분류를 위한 코드매핑을 수행하고 상기 각 영역에서의 터치포인트 입력값에 대한 스트로크 분류코드와 변위 데이터를 이용한 2-D 공간 좌표계로부터 3-D 좌표계로의 변환을 통해 3-D 위치좌표를 결정하여 출력하는 제어부;를 포함하는 것을 특징으로 하는 멀티 터치패드가 포함된 3-D 원격제어장치.A key input unit for receiving a setting or changing command of a device ID for the at least one electronic device, a device ID, and an operation command from a user;
An output unit for outputting a control code for controlling the operation of the electronic device;
A touch panel mounted on the key input unit, the touch panel capable of recognizing a plurality of hand gestures, wherein the touch panel is configured to recognize a touch point of a ZD region and a 2-D recognition region for recognizing touch points of the XY region; A multi-touch pad, each divided into a D recognition region, configured to sense capacitance of the touch panel and output a touch point input value for each point; And
Receiving the device ID or the operation command for the electronic device from the key input unit from the user, outputs a control command to output the device ID and the control code corresponding to the operation command to the output unit, or the multi It receives the touch point input value from the touch pad and checks whether the touch point input value is changed to perform code mapping for stroke and direction classification for hand gestures, and stroke classification code for the touch point input value in each area. And a controller for determining and outputting a 3-D position coordinate by converting from a 2-D spatial coordinate system to a 3-D coordinate system using a displacement data and a displacement data. Device. 제2항 또는 제6항 중 어느 한 항에 있어서,
상기 멀티 터치 패드와 제어부 사이에는 상기 멀티 터치패드에서 출력되는 아날로그 신호를 디지털 신호로 변환하여 제어부로 전달하는 A/D 변환부가 개재된 것을 특징으로 하는 멀티 터치 패드가 포함된 3-D 원격 제어장치.The method according to any one of claims 2 to 6,
3-D remote control device including a multi-touch pad between the multi-touch pad and the control unit is interposed an A / D conversion unit for converting the analog signal output from the multi-touch pad to a digital signal transmitted to the control unit . 삭제delete 멀티 터치 패드를 포함하는 원격 제어장치에서의 데이터 처리방법에 있어서,
멀티 터치 패드의 2-D 인식영역 및 3-D 인식영역으로부터 첫 번째 터치포인트에 대한 입력값(A(X,Y),Z)을 각각 수집하여 그 수집된 첫 번째 터치포인트의 변동여부를 체크하는 제1단계;
상기 2-D 인식영역의 첫 번째 터치포인트에 대한 변위데이터(△X,△Y,△φ)의 산출 및 이 변위데이터로부터 2-D에서 3-D로의 공간좌표변환을 위한 다수의 파라미터들(φ,x,y,r)을 산출하고, 상기 2-D 인식영역에서 검출된 첫 번째 터치포인트의 변위데이터(△X,△Y,△φ)로 손동작에 대한 스트로크 코드 및 방향 코드를 분류하기 위한 코드 매핑을 수행하여 스트로크 코드 및 방향코드를 인식하는 제2단계; 및
상기 2-D 인식영역 및 3-D 인식영역의 첫 번째 터치포인트에 대한 변위데이터로부터 산출된 다수의 파라미터들로 2-D 공간 좌표계로부터 3-D 좌표계로의 좌표 변환을 실시하여 상기 멀티 터치 패드 상에서의 첫 번째 터치포인트에 대한 3-D 위치좌표를 결정하는 제3단계;로 이루어지는 것을 특징으로 하는 멀티 터치패드가 포함된 3-D 원격제어장치에서의 데이터 처리방법.In the data processing method in a remote control device including a multi-touch pad,
Collect input values (A (X, Y), Z) for the first touch point from 2-D recognition area and 3-D recognition area of the multi-touch pad, respectively, and check whether the collected first touch points are changed. The first step to do;
A plurality of parameters for calculating displacement data (ΔX, ΔY, Δφ) for the first touch point of the 2-D recognition region and transforming spatial coordinates from 2-D to 3-D from the displacement data ( Calculate φ, x, y, r and classify stroke code and direction code for hand motion by displacement data (ΔX, ΔY, Δφ) of first touch point detected in the 2-D recognition area A second step of recognizing a stroke code and a direction code by performing code mapping for each other; And
Coordinate transformation from 2-D spatial coordinate system to 3-D coordinate system using a plurality of parameters calculated from the displacement data of the first touch points of the 2-D recognition area and the 3-D recognition area to perform the multi-touch pad. And a third step of determining a 3-D position coordinate with respect to the first touch point on the data processing method of a 3-D remote control device including a multi-touch pad. 제9항에 있어서,
X-Y 공간에서의 두 번째 터치포인트(B(X,Y))가 검출되는지를 판단하여 두 번째 터치 포인트가 입력되면 상기 첫 번째 터치포인트(A(X,Y))와 두 번째 터치포인트(B(X,Y)) 간의 변위데이터(C(△X,△Y)=A(X,Y)-B(X,Y))를 산출하고 그 두 포인트 간의 변위데이터로 스트로크 코드 및 방향 코드를 분류하기 위한 코드 매핑을 수행하여 확대 및 축소를 위한 스트로크 코드 및 방향 코드를 인식하는 제4단계;를 더 포함하는 이루어지는 것을 특징으로 하는 멀티 터치패드가 포함된 3-D 원격제어장치에서의 데이터 처리방법.10. The method of claim 9,
It is determined whether the second touch point B (X, Y) in the XY space is detected, and when the second touch point is input, the first touch point A (X, Y) and the second touch point B ( Calculate the displacement data (C (ΔX, ΔY) = A (X, Y) -B (X, Y)) between X, Y)) and classify the stroke code and direction code by the displacement data between the two points And a fourth step of recognizing a stroke code and a direction code for enlarging and reducing by performing code mapping for the multi-touch pad.
KR1020110006014A 2011-01-20 2011-01-20 Including a multi-touch pad remote control apparatus using by stroke function and it's data processing method KR101329086B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110006014A KR101329086B1 (en) 2011-01-20 2011-01-20 Including a multi-touch pad remote control apparatus using by stroke function and it's data processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110006014A KR101329086B1 (en) 2011-01-20 2011-01-20 Including a multi-touch pad remote control apparatus using by stroke function and it's data processing method

Publications (2)

Publication Number Publication Date
KR20120084579A KR20120084579A (en) 2012-07-30
KR101329086B1 true KR101329086B1 (en) 2013-11-14

Family

ID=46715465

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110006014A KR101329086B1 (en) 2011-01-20 2011-01-20 Including a multi-touch pad remote control apparatus using by stroke function and it's data processing method

Country Status (1)

Country Link
KR (1) KR101329086B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902100A (en) * 2014-04-01 2014-07-02 西北工业大学 Speed characteristics based stroke partitioning method for intelligent freehand sketching

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060032483A (en) * 2004-10-12 2006-04-17 주식회사 팬택앤큐리텔 Apparatus and method for three-dimensional user interface in the mobile communication terminal
KR20060125468A (en) * 2005-06-02 2006-12-06 삼성전자주식회사 Electronic device for inputting command 3-dimensionally
KR20100030473A (en) * 2008-09-10 2010-03-18 (주)씨이에스티 A combination remote controller which has lce and touch screen together
KR20100085490A (en) * 2009-01-20 2010-07-29 남기원 Iptv remote-control device and set-top apparatus and key-signal processing method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060032483A (en) * 2004-10-12 2006-04-17 주식회사 팬택앤큐리텔 Apparatus and method for three-dimensional user interface in the mobile communication terminal
KR20060125468A (en) * 2005-06-02 2006-12-06 삼성전자주식회사 Electronic device for inputting command 3-dimensionally
KR20100030473A (en) * 2008-09-10 2010-03-18 (주)씨이에스티 A combination remote controller which has lce and touch screen together
KR20100085490A (en) * 2009-01-20 2010-07-29 남기원 Iptv remote-control device and set-top apparatus and key-signal processing method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902100A (en) * 2014-04-01 2014-07-02 西北工业大学 Speed characteristics based stroke partitioning method for intelligent freehand sketching
CN103902100B (en) * 2014-04-01 2016-08-17 西北工业大学 Stroke segmentation method based on velocity characteristic for intelligence Freehandhand-drawing input

Also Published As

Publication number Publication date
KR20120084579A (en) 2012-07-30

Similar Documents

Publication Publication Date Title
US9575562B2 (en) User interface systems and methods for managing multiple regions
US8749486B2 (en) Control surface for touch and multi-touch control of a cursor using a micro electro mechanical system (MEMS) sensor
EP2733574B1 (en) Controlling a graphical user interface
JP6617111B2 (en) Aerial ultrasonic pen gesture
JP6539816B2 (en) Multi-modal gesture based interactive system and method using one single sensing system
KR101234111B1 (en) Apparatus for contact-free input interfacing and contact-free input interfacing method using the same
US20090183930A1 (en) Touch pad operable with multi-objects and method of operating same
US20140210748A1 (en) Information processing apparatus, system and method
US8810514B2 (en) Sensor-based pointing device for natural input and interaction
JP2012515966A (en) Device and method for monitoring the behavior of an object
WO2019150468A1 (en) Touch panel device
US11402922B2 (en) Method for outputting command by detecting object movement and system thereof
US20100271332A1 (en) Optical input device, electronic device, and optical input system
US20170068440A1 (en) Touch sensor gesture recognition for operation of mobile devices
US9347762B2 (en) Near-surface object sensing device and sensing method
TWI471792B (en) Method for detecting multi-object behavior of a proximity-touch detection device
KR101329086B1 (en) Including a multi-touch pad remote control apparatus using by stroke function and it's data processing method
JP6255321B2 (en) Information processing apparatus, fingertip operation identification method and program
TWI478017B (en) Touch panel device and method for touching the same
US9395858B2 (en) Capacitive finger navigation device with hybrid mode and operating method thereof
TWI483162B (en) Method for detecting multi-object behavior of a proximity-touch detection device
JP5992380B2 (en) Pointing device, notebook personal computer, and operation method.
US20120182231A1 (en) Virtual Multi-Touch Control Apparatus and Method Thereof
Arif et al. Graphite-on-Paper Based Capacitive Touch Arrays for Wireless Mouse Curser Control Pad
CN102393800A (en) Mouse for flat computer

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161115

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171107

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181107

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191108

Year of fee payment: 7