KR20160070535A - Touch input control and virtual mapping method - Google Patents
Touch input control and virtual mapping method Download PDFInfo
- Publication number
- KR20160070535A KR20160070535A KR1020140177597A KR20140177597A KR20160070535A KR 20160070535 A KR20160070535 A KR 20160070535A KR 1020140177597 A KR1020140177597 A KR 1020140177597A KR 20140177597 A KR20140177597 A KR 20140177597A KR 20160070535 A KR20160070535 A KR 20160070535A
- Authority
- KR
- South Korea
- Prior art keywords
- terminal
- screen
- touch
- coordinates
- specific area
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
Abstract
Description
본 발명은 터치 입력 제어 및 가상 매핑 방법에 관한 것으로서, 좀더 구체적으로는 정보기기인 제1단말기를 터치하여 제1단말기와 연결된 원격의 제2단말기 화면의 터치를 제어하기 위한 터치 입력 제어 및 가상 매핑 방법에 관한 것이다.
The present invention relates to a touch input control and a virtual mapping method, and more particularly, to a touch input control and a virtual mapping method for controlling a touch of a remote second terminal screen connected to a first terminal by touching a first terminal, ≪ / RTI >
일반적으로 MP3, 휴대폰 등의 정보기기인 스마트기기는 점진적인 기술발전을 통해 초기의 단순한 음악 및 동영상 재생, 음성 통화 및 단문메시지 전송 기능에 더하여 일정관리, 금융, 인터넷 기능 등과 같이 다양한 기능을 구비하게 되었고, 최근의 스마트폰이나 태블릿PC 등의 스마트기기는 일반 PC와 같은 다양한 기능 지원을 위하여 보다 발전된 형태의 하드웨어와 소프트웨어가 적용되고 있다. In general, smart devices, which are information devices such as MP3 and mobile phones, are equipped with various functions such as schedule management, finance, and Internet functions in addition to initial simple music and video playback, voice call and short message transmission functions through gradual technological development Recently, smart devices such as smart phones and tablet PCs are adopting more advanced forms of hardware and software to support various functions such as general PCs.
하지만 스마트기기의 작은 화면을 통해 터치 입력과 화상 출력의 두 가지 역할을 모두 구현하도록 되어 있으므로, 협소한 화면에 터치, 펜, 또는 마우스를 입력하는 경우 사용자에게 세밀한 입력이 어려운 등 사용상 답답한 부분이 있다. 특히, 입력장치가 터치스크린인 스마트 기기에서 게임시의 예를 들면, 게임 캐릭터를 터치하여 제어하도록 하고 있지만, 캐릭터 터치시에 그 부분의 화면이 가려지고 이로 인해 신속하고 원활한 제어가 어려운 점이 있다. 또한, 마우스 입력의 경우 일부 PC에서 원격으로 태블릿PC에 연결하여 PC의 마우스로 태블릿PC 화면의 마우스를 원격 제어하는 방법을 사용하고 있지만, 이 또한 PC 및 마우스를 별도로 구비하여 사용해야 하는 불편함이 있다.
However, since it is required to implement both roles of touch input and image output through a small screen of a smart device, there is a use part which is difficult to input to a user when a touch, a pen, or a mouse is inputted on a narrow screen . Particularly, although the smart device in which the input device is a touch screen is controlled by touching, for example, a game character at the time of a game, the screen of the character portion is hidden at the time of character touch, which makes it difficult to control quickly and smoothly. In addition, in the case of a mouse input, a method of remotely controlling a mouse of a tablet PC screen using a PC mouse by connecting to a tablet PC remotely from some PCs is used, but this also inconveniently requires using a PC and a mouse separately .
대한민국 특허등록 제10-2012-006728호Korea Patent Registration No. 10-2012-006728
대한민국 특허등록 제10-2008-011954호
Korean Patent Registration No. 10-2008-011954
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 두 대의 제1, 2단말기를 연결하고 제1단말기의 화면에서 제2단말기의 터치를 가상화하여 제2단말기의 터치를 원격 제어함으로써, 사용자가 보다 세밀하고 편리하게 제2단말기의 터치를 원격으로 제어하는 방법을 제공하기 위한 것이다.
SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and it is an object of the present invention to provide a method and apparatus for connecting a first terminal and a second terminal by remote control of a second terminal by virtualizing a touch of the second terminal on a screen of the first terminal, And a method for remotely controlling the touch of the second terminal in a detailed and convenient manner.
본 발명의 목적을 달성하기 위해, 본 발명의 일 양태에 따른, In order to accomplish the objects of the present invention, there is provided, in accordance with an aspect of the present invention,
본 발명은 상기한 목적을 달성하기 위한 수단으로 터치스크린이 구비된 두 대의 제1,2 단말기를 연결하고 제1,2 단말기의 좌표 간에 축소 혹은 확대 대응하여 매핑하고, 제1단말기 화면에서 터치 시, 터치된 좌표를 제2단말기의 상대 좌표로 변환하고, 제2단말기의 터치이벤트를 생성하여 상기와 같은 과제를 해결할 수 있다. According to an aspect of the present invention, there is provided a method of connecting two first and second terminals having a touch screen, mapping the first and second terminals with each other in correspondence with the coordinates of the first and second terminals, , The touch coordinates are converted into the relative coordinates of the second terminal, and the touch event of the second terminal is generated, thereby solving the above problem.
또한, 본 발명의 목적을 달성하기 위해, 본 발명의 다른 일 양태에 따른 매핑방법으로, 제1단말기와 제2단말기를 유,무선 네트워크로 연결하는 단계; 제2단말기 화면의 특정영역과 제1단말기 화면의 특정영역을 간접 매핑하는 단계; 제1단말기의 가상 매핑된 특정영역을 터치하여 제2 단말기의 화면의 특정영역을 원격으로 제어하는 방법을 제공함으로써, 상기와 같은 과제를 해결할 수 있다.
According to another aspect of the present invention, there is provided a mapping method for connecting a first terminal and a second terminal over a wireless network. Indirectly mapping a specific area of the second terminal screen and a specific area of the first terminal screen; The present invention provides a method of remotely controlling a specific area of a screen of a second terminal by touching a virtual mapped specific area of the first terminal.
본 발명을 이용하면, 두 대의 스마트폰, 즉 제1단말기 및 제2단말기의 터치 좌표를 확대/축소 혹은 이중 매핑 방법을 통해 사용자가 직관적으로 원격의 스마트기기 화면의 메뉴나 게임 캐릭터를 원격으로 편리하게 제어가 가능한 기술을 제공한다. 더 나아가, 본 발명은 제1단말기에서 제2단말기의 특정영역을 확대 매핑하게 되므로 제2단말기 화면의 캐릭터나 터치컨트롤을 제1단말기의 화면에서 더욱 세밀하게 제어가 가능하다.
By using the present invention, a user can intuitively remotely navigate a menu or a game character of a remote smart device screen through zooming or double mapping of touch coordinates of two smart phones, i.e., first and second terminals And provides a technique that can be controlled. Further, since the first terminal magnifies and maps a specific area of the second terminal, the character or the touch control of the second terminal screen can be finely controlled on the screen of the first terminal.
도 1은 본 발명의 일 실시예에 따른 제1단말기와 제2단말기의 좌표를 상대 매핑하여, 제1단말기의 터치에 의해 제2단말기를 터치 제어하는 예를 나타낸 예시도면이다.
도 2는 본 발명의 일 실시예에 따른 제1단말기와 제2단말기 화면의 특정영역을 축소 혹은 확대 매핑하여, 제1단말기 화면의 특정영역 터치로 제2단말기 화면의 특정영역의 터치 제어하는 예를 나타낸 예시도면이다.
도 3은 본 발명의 다른 일 실시예에 따른 제1단말기의 특정영역과 제2단말기 화면의 특정좌표를 매핑하여, 제1단말기 화면의 특정영역 범위 내에서 터치로 제2단말기 화면의 특정좌표 터치를 제어하는 예를 나타낸 예시도면이다.
도 4는 본 발명의 또다른 일 실시예에 따른, 제1단말기 화면의 특정영역을 확대 혹은 축소한 제2특정영역을 매핑하여, 제1단말기의 제2특정영역 범위 내에서 터치하여 제2단말기 화면의 상대좌표를 터치 제어하는 예를 나타낸 예시도면이다.FIG. 1 is a diagram illustrating an example in which a coordinate of a first terminal and a coordinate of a second terminal are mapped relative to each other and a second terminal is touch-controlled by a touch of the first terminal according to an embodiment of the present invention.
2 is a diagram illustrating an example of touch control of a specific area of a second terminal screen by touching a specific area of a first terminal screen by reducing or enlarging a specific area of a first terminal and a second terminal screen according to an embodiment of the present invention Fig.
FIG. 3 is a diagram illustrating a specific coordinate of a first terminal screen and a specific coordinate of a second terminal screen according to another embodiment of the present invention, As shown in Fig.
FIG. 4 is a diagram illustrating a second specific area of a first terminal screen, mapping a second specific area enlarged or reduced in a specific area of the first terminal screen, And an example of touch control of the relative coordinates of the screen.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세히 설명한다. 이 과정에서 도면에 도시된 구성요소의 크기나 형상 등은 설명의 명료성과 편의상 과장되게 도시될 수 있다. 또한, 본 발명의 구성 및 작용을 고려하여 특별히 정의된 용어들은 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The sizes and shapes of the components shown in the drawings may be exaggerated for clarity and convenience. In addition, terms defined in consideration of the configuration and operation of the present invention may be changed according to the intention or custom of the user, the operator.
제1단말기는 이동 단말기, 스마트폰, 태블릿 PC 중에서 하나가 될 수 있고, 제2 단말기는 스마트폰, 태블릿PC, 스마트TV, PC 중에서 선택된 하나가 될 수 있다. The first terminal may be a mobile terminal, a smart phone, a tablet PC, and the second terminal may be one selected from a smart phone, a tablet PC, a smart TV, and a PC.
본원 실시예의 계산식에서 [ ]는 x,y좌표의 행렬 표현을 위한 괄호이고, ( )는 수치 계산을 위한 괄호이다. 또한 본원 실시예의 특정영역 간 혹은 특정좌표 간 매핑 순서는 달라질 수 있다.
In the equation of the embodiment, [] is a parenthesis for matrix representation of x, y coordinates, and () is a parenthesis for numerical calculation. Also, the mapping order between specific regions or specific coordinates in the embodiment of the present invention may be changed.
<제1 실시예>≪ Embodiment 1 >
도 1은 본 발명의 일 실시예에 따른 제1단말기와 제2단말기의 좌표를 상대 매핑하여, 제1단말기로 제2단말기의 터치를 제어하는 예를 나타낸 예시도면이다. 본 발명의 일 양태에서, 도 1에서와 같이 터치스트린이 구비된 제1단말기와 제2단말기를 연결하고, 제1단말기 화면을 터치하여 제2단말기 화면를 원격으로 제어한다. 제1단말기의 화면(110) 크기는 가로 200, 세로 100이고, 제2단말기의 화면(120) 크기는 가로 400, 세로200으로 제1단말기 화면의 두 배이다.
FIG. 1 is a view illustrating an example in which a first terminal controls a touch of a second terminal by mapping the coordinates of a first terminal and a second terminal relative to each other according to an embodiment of the present invention. In an aspect of the present invention, a first terminal equipped with a touch screen and a second terminal are connected as shown in FIG. 1, and a second terminal screen is remotely controlled by touching the first terminal screen. The size of the
예를 들어 제1단말기에서 특정좌표인 [50,50]에 대한 제2단말기의 상대 특정좌표의 계산은 아래와 같다.
For example, the calculation of the relative specific coordinates of the second terminal for a specific coordinate [50, 50] in the first terminal is as follows.
- 제2단말기의 상대좌표 = 제1단말기의 터치좌표 * [가로배율,세로배율]
- relative coordinates of the second terminal = touch coordinates of the first terminal * [horizontal magnification, vertical magnification]
- [100,100] = [50,50] * [2,2] - [100,100] = [50,50] * [2,2]
상기 제1단말기에서 특정 좌표인 [50,50]을 터치하면, 터치좌표와 화면크기를 상대 단말기인 제2단말기에 송신한다. 상기 제2단말기는 제1단말기의 화면에 대한 제2단말기 화면의 가로배율[400/200=2배]과 세로배율[200/100=2배]을 계산한다. 계산된 화면배율로 제1단말기의 터치좌표[50,50]에 대한 제2단말기의 상대좌표[100,100]를 구하여, 제2단말기 화면의 상대좌표에서 터치나 클릭 이벤트를 발생시킨다. 그리고 제1단말기에서 제2단말기의 화면크기를 수신하여, 제2단말기의 상대좌표 계산하여, 제1단말기에서 계산된 제2단말기의 상대좌표를 제2단말기로 송신할 수 있다. 단말기 화면 사이즈나 화면설정 등 하드웨어 요소나 소프트웨어 요소에 의해서 제1단말기와 제2단말기의 좌우 가로 대 세로의 화면비율이 서로 다른 경우가 있을 수 있는데, 이러한 경우, 가로 대 세로의 비율을 비례적으로 계산하여 적용하면 될 것이며, 이는 제1 실시예 뿐 아니라 다른 실시예에서도 마찬가지이다.
When the first terminal touches the specific coordinates [50, 50], the touch coordinates and the screen size are transmitted to the second terminal as the other terminal. The second terminal computes the horizontal magnification [400/200 = 2 times] and the vertical magnification [200/100 = 2 times] of the second terminal screen on the screen of the first terminal. The relative coordinates [100,100] of the second terminal with respect to the touch coordinates [50,50] of the first terminal are calculated with the calculated screen magnification, and a touch or a click event is generated in the relative coordinates of the second terminal screen. The first terminal receives the screen size of the second terminal, calculates the relative coordinates of the second terminal, and transmits the relative coordinates of the second terminal calculated by the first terminal to the second terminal. There may be a case where the aspect ratios of the first terminal and the second terminal are different from each other due to a hardware element or a software element such as a terminal screen size or a screen setting. In such a case, And it is the same in other embodiments as well as the first embodiment.
<제2 실시예>≪ Embodiment 2 >
도 2는 본 발명의 일 실시예에 따른 제1단말기 화면(110)과 제2단말기 화면(120)의 특정영역을 축소 혹은 확대 매핑하여, 제1단말기 화면의 특정영역에서 제2단말기 화면의 특정영역의 터치를 제어하는 예를 나타낸 예시도면이다.
FIG. 2 is a diagram illustrating a process of reducing or enlarging a specific area of a first
제1, 2단말기에 미리 등록된 제1단말기 화면의 특정영역(213)을 터치하여, 연결된 제2단말기 화면의 특정영역(223) 내의 터치를 원격 제어 한다.
A
도 2와 같이 제1단말기의 특정영역(213)의 시작좌표는 [20,20]이고 종료좌표는 [80,80]으로, 가로와 세로 크기는 각각 60이다. 제2단말기의 특정영역(223)의 시작좌표는 [200,100]이고 종료좌표는 [230,130]으로, 가로와 세로 크기는 각각 30이다. 제2단말기 특정영역(223)은 제1단말기 특정영역(213)에 대한 화면의 가로배율과 세로배율은 각각 0.5 [30/60=0.5]이다. 상기와 같이 미리 등록된 특정영역에 대한 매핑정보를 기반으로, 제1단말기의 특정영역(213) 내에서 좌표가 [40,50]인 특정좌표(211)를 터치하면, 제2단말기의 상대좌표(221)의 계산식은 아래와 같다.
2, the start coordinates of the
- 제2단말기의 상대좌표 = 제2단말기의 특정영역 시작좌표 + ( 제1단말기 터치좌표 - 제1단말기의 특정영역 시작좌표 ) x [가로배율, 세로배율]
Relative coordinate of the second terminal = specific region start coordinate of the second terminal + (first terminal touch coordinate - specific region start coordinate of the first terminal) x [horizontal magnification, vertical magnification]
- 제2단말기의 [x,y] = [200,100] + ( [40,50] - [20,20] ) x [0.5 ,05][X, y] = [200,100] + ([40,50] - [20,20]) x [0.5, 05]
= [200,100] + [20,30] x [0.5,05] = [200,100] + [20,30] x [0.5,05]
= [210,115]
= [210,115]
위와 같은 특정영역 매핑방법에 따라, 제1단말기의 특정영역내의 좌표(211) 터치시, 제2단말기의 특정영역내의 상대좌표에서 터치 혹은 클릭 이벤트를 발생시킨다. 여기서 제2단말기의 특정영역은 범위가 아닌 특정좌표가 될 수 있다. 결국 상기와 같은 특정영역 확대 매핑 방법에 의해 원격의 단말기(제2단말기)의 작은 범위(223)의 버튼이나 게임 컨트롤 버튼을 제1단말기의 더 큰 범위(213)에서 터치하여 제어함으로서, 원격의 단말기의 특정영역(223)을 더욱 상세하게 제어할 수 있는 효과를 제공할 수 있다. 또한 제2단말기의 고정된 범위나 버튼(223)을 제1단말기에서는 다른 위치(214)로 변경할 수 있어, 사용자의 기호에 맞게 터치영역(214)를 변경하여, 제2단말기의 버튼이나 메뉴를 제어할 수 있게 된다.
According to the specific area mapping method as described above, a touch or a click event is generated in a relative coordinate within a specific area of the second terminal when a
<제 3실시예>≪ Third Embodiment >
도 3은 본 발명의 일 실시예에 따른 제1단말기의 특정영역과 제2단말기 화면의 특정좌표를 간접 매핑하여, 제1단말기 화면의 특정영역 범위 내에서 터치하여 제2단말기 화면의 특정좌표 터치를 제어하는 예를 나타낸 예시도면이다.
FIG. 3 is a flowchart illustrating a method of indirectly mapping a specific region of a first terminal and a specific coordinate of a second terminal according to an embodiment of the present invention, As shown in Fig.
제1,2단말기에 미리에 등록된 제1단말기 화면의 특정영역(312)을 터치하여, 연결된 제2단말기 화면의 특정좌표(321) 내의 터치를 원격제어 한다.
A
도 3과 같이 제1단말기 화면에서 위치가 [150,50]인 특정좌표(311)에 대해 제2단말기 화면의 상대좌표는 도 1의 계산과정 통해 다음 계산식과 같이 계산된다.
As shown in FIG. 3, the relative coordinates of the second terminal screen with respect to the
- 제2단말기의 상대좌표 = 제1단말기의 터치좌표 x [가로배율,세로배율]Relative coordinate of the second terminal = touch coordinate x of the first terminal [horizontal magnification, vertical magnification]
- [300,100] = [15,50] x [2,2]
- [300,100] = [15,50] x [2,2]
여기서 추가적으로 제1단말기의 특정좌표(311)를 제1단말기의 특정영역(312)으로 간접 매핑하여, 제1단말기의 특정영역내(312)에서 터치 시, 제1단말기의 특정좌표(311)를 경유하여 최종 제2단말기의 상대좌표(321)에서 터치나 클릭이벤트를 발생시킨다.
The
보다 상세한 예로, 제1,2단말기 연결 후, 제2단말기의 컨트롤 버튼(321)이 포함된 게임화면을 캡쳐하여 제1단말기로 송신하다. 제1단말기는 수신한 제2단말기 게임화면을 제1단말기 화면크기에 맞게 축소 혹은 확대 출력한다. 이후 제1단말기에서 게임컨트롤 버튼의 위치를 특정좌표(311)로 지정하고, 지정된 특정좌표(311)에 대해 특정영역(312)을 매핑한다. 물론 상기의 매핑순서와 다르게 특정영역을 먼저 지정하고, 지정된 특정영역에 대해 특정좌표를 매핑할 수 있다. 여기서 특정영역(312)내의 좌표(313,314)는 모두 하나의 특정좌표(311)로 매핑된다. 제1단말기의 특정영역을 터치하면, 매핑된 제1단말기의 특정좌표(311)로 제2단말기의 상대적인 특정좌표(321)를 계산하여, 제2단말기에서 계산된 특정좌표(321)에서 터치나 클릭 이벤트가 발생된다.
In more detail, after the first and second terminals are connected, a game screen including the
상기와 같이 단말기 화면의 특정좌표에 대해 특정영역으로 재 매핑함으로서, 원격의 단말기의 상대좌표에 대한 터치를 제1단말기에서 원격으로 용이하게 할 수 있다.
By remapping the specific coordinates of the terminal screen to a specific area as described above, it is possible to easily remotely touch the relative coordinates of the remote terminal from the first terminal.
<제 4실시예><Fourth Embodiment>
도 4는 본 발명의 일 실시예에 따른 제1단말기 화면의 제1특정영역(413)을 확대 혹은 축소한 제2특정영역(414)을 매핑하여, 제1단말기의 제2특정영역(414) 범위내에 터치로 제2단말기 화면의 상대좌표(421)의 터치를 원격 제어하는 예를 나타낸 그림이다.
4 is a diagram illustrating a second
도 4와 같이 제1단말기의 제1특정영역(411)의 시작좌표는 [100,40]이고 종료좌표는 [130,70]으로, 가로와 세로 크기는 각각 30이다. 제1특정영역과 매핑되는 제2특정영역(414)의 시작좌표는 [20,20]이고 종료좌표는 [80,80]으로, 가로와 세로크기는 각각 60이다.
4, the start coordinates of the first
상기와 같이 미리 등록된 제1,2특정영역에 대한 매핑정보를 기반으로, 제2특정영역 내의 위치가 [60,40]인 제2특정좌표(412)를 터치하면, 상대적인 제1특정좌표(411)의 계산식은 아래와 같다.
If the second specific coordinate 412 whose position is [60,40] in the second specific area is touched based on the mapping information for the first and second specific areas registered in advance as described above, relative first specific coordinates ( 411) is as follows.
- 제1특정좌표 = 제1특정영역 시작좌표 + (제2특정영역 터치좌표 - 제2특정영역 시작좌표) x [가로배율,세로배율]- first specific coordinate = first specific area start coordinate + (second specific area touch coordinate - second specific area start coordinate) x [horizontal magnification, vertical magnification]
- 제1특정좌표 [x,y] = [100,40] + ( [60,40] - [20,20] ) x [0.5 ,05]- the first specific coordinate [x, y] = [100,40] + ([60,40] - [20,20]) x [0.5,05]
= [100,40] + [40,20] x [0.5 ,05] = [100,40] + [40,20] x [0.5,05]
= [120,50]
= [120,50]
또한, 상기에서 계산된 제1단말기의 제1특정좌표에 대한 제2단말기 상대좌표 계산은 도 1의 과정과 마찬가지로 아래와 같이 계산된다.
In addition, the second terminal relative coordinate calculation for the first specific coordinate of the first terminal calculated above is calculated as follows, as in the process of FIG.
- 제2단말기의 상대좌표 = 제1단말기의 제1특정좌표 x [가로배율,세로배율]Relative coordinate of the second terminal = first specific coordinate x of the first terminal [horizontal magnification, vertical magnification]
- [240,100] = [120,50] x [2,2]
- [240,100] = [120,50] x [2,2]
이와 같이 간접 매핑 과정을 통해, 제1단말기의 제2특정영역 내(414)에서 좌표 [60,40]인 제2특정좌표(412) 터치하면, 사전에 매핑된 제1특정영역에서 제1특정좌표(411)를 계산 후, 산출된 제1특정좌표(411)에 대한 제2단말기의 상대좌표(421)를 계산하여, 제2단말기에서 상대좌표(421)의 터치나 클릭이벤트를 생성할 수 있다.
If the second specific coordinate 412 in the second
본 발명은 상술한 실시예들과 같이 축소/확대 매핑과 간접 매핑 방법을 통해 원격지 단말기 화면에 대한 매핑과정을 간소화하고 원격터치 제어의 편의성을 개선시킬 수 있다.The present invention simplifies the mapping process for the remote terminal screen through the reduction / enlargement mapping and the indirect mapping method and improves the convenience of the remote touch control as in the above-described embodiments.
이상에서 설명한 본 발명은 본 발명의 요지와 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다.
The present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof.
110 : 제1단말기 화면
120 : 제2단말기 화면
111 : 제1단말기 특정좌표
121 : 제2단말기 상대좌표
211,212 : 제1단말기 화면의 터치좌표
213,214 : 제1단말기 화면의 특정영역
221 : 제2단말기 화면의 상대좌표
223 : 제2단말기 화면의 특정영역
313,314 : 제1단말기 화면의 터치좌표
312 : 제1단말기 화면의 특정영역
321 : 제2단말기 화면의 상대좌표
411 : 제1단말기 화면의 매핑좌표
412 : 제1단말기 화면의 터치좌표
413 : 제1단말기 화면의 제1특정영역
414 : 제2단말기 화면의 제2특정영역110: first terminal screen
120: second terminal screen
111: first terminal specific coordinate
121: Second terminal relative coordinate
211, 212: Touch coordinates of the first terminal screen
213, 214: a specific area of the first terminal screen
221: relative coordinates of the second terminal screen
223: a specific area of the second terminal screen
313,314: Touch coordinates of the first terminal screen
312: a specific area of the first terminal screen
321: relative coordinates of the second terminal screen
411: Mapping coordinates of the first terminal screen
412: Touch coordinates of the first terminal screen
413: a first specific area of the first terminal screen
414: second specific area of the second terminal screen
Claims (9)
상기 제1단말기와 상기 제2단말기를 유선 혹은 무선통신으로 연결하는 단계와;
상기 제1단말기 화면좌표와 상기 제2단말기 화면좌표를 상대 화면의 크기 비율로 매핑하는 단계와;
상기 제1단말기 화면에서 터치 시에 상기 제1단말기의 화면크기와 상기 제2단말기의 화면크기 가로와 세로 배율에 따라 상기 제1단말기의 터치 좌표가 상기 제2단말기의 좌표로 변환되어 상기 제2단말기에서 변환된 좌표로 터치나 클릭 이벤트를 발생시키되, 상기 매핑하는 단계에서 화면크기 배율은 <계산식1>을 만족하는 알고리즘으로 수행되어 상기 제1단말기 화면 터치에 대응하여 상기 제2단말기에서 상대 화면크기 배율로서 터치나 클릭 이벤트를 발생시키는 단계를;
포함하는 것을 특징으로 하는 터치 입력 제어 및 가상 매핑 방법.
<계산식1>
제2단말기의 상대좌표 = 제1단말기의 터치좌표 x (가로배율, 세로배율)
A method for remotely controlling a screen of a second terminal, which is an opposite terminal, with a first terminal screen having a touch screen,
Connecting the first terminal and the second terminal by wire or wireless communication;
Mapping the first terminal screen coordinates and the second terminal screen coordinates to a relative screen size ratio;
Wherein the touch coordinates of the first terminal are converted into the coordinates of the second terminal according to a screen size of the first terminal and a screen size width and a vertical ratio of the second terminal when the first terminal screen is touched, The screen size magnification is performed by an algorithm that satisfies Equation (1) so that the second terminal responds to the touch of the first terminal by touching or clicking on the relative screen Generating a touch or click event as a magnification factor;
Wherein the touch input control method comprises:
<Formula 1>
Relative coordinate of the second terminal = touch coordinate x (transverse magnification, vertical magnification) of the first terminal [
상기 제1단말기와 상기 제2단말기를 유선 혹은 무선통신으로 연결하는 단계와;
상기 제2단말기 화면에서 특정영역을 지정하는 단계와;
상기 제1단말기 화면에서 상기 제2단말기 화면의 특정영역을 축소 혹은 확대하여 매핑한 가상 터치영역을 지정하는 단계와;
상기 제1단말기 가상터치 영역에서 터치가 발생하면, 이 터치좌표를 제2단말기 특정영역의 상대좌표로 변환하여 상기 제2단말기의 특정영역에서 터치나 클릭이벤트를 발생시키는 단계를;
포함하는 것을 특징으로 하는 터치 입력 제어 및 가상 매핑 방법.
A method for remotely controlling a screen of a second terminal, which is an opposite terminal, with a first terminal screen having a touch screen,
Connecting the first terminal and the second terminal by wire or wireless communication;
Designating a specific area on the second terminal screen;
Designating a virtual touch region in which the specific area of the second terminal screen is reduced or enlarged and mapped on the first terminal screen;
Converting touch coordinates into relative coordinates of a second terminal specific area when a touch occurs in the first terminal virtual touch area and generating a touch or a click event in a specific area of the second terminal;
Wherein the touch input control method comprises:
상기 터치스크린이 구비된 제1단말기 화면의 특정좌표를 지정하는 단계와;
상기 제1단말기 화면의 지정된 특정좌표를 제1단말기의 특정영역(312)으로 매핑하는 단계와;
상기 제1단말기의 특정영역 내에서 터치 시, 제1단말기의 특정좌표(311)와 대응되는 제2단말기의 상대좌표(321)를 변환하는 단계와;
상기 변환된 제2단말기의 상대좌표(321)에서 터치나 클릭이벤트를 발생시키는 단계를;
포함하는 것을 특징으로 하는 터치 입력 제어 및 가상 매핑 방법.
A method for remotely controlling a screen of a second terminal, which is an opposite terminal, with a first terminal screen having a touch screen,
Specifying a specific coordinate of a first terminal screen having the touch screen;
Mapping the specified specific coordinates of the first terminal screen to a specific area (312) of the first terminal;
Converting a relative coordinate (321) of a second terminal corresponding to a specific coordinate (311) of the first terminal when touching within a specific area of the first terminal;
Generating a touch or click event in a relative coordinate (321) of the converted second terminal;
Wherein the touch input control method comprises:
상기 제1단말기 화면에서 제1특정영역을 지정하는 단계와;
상기 제1특정영역을 축소 혹은 확대 매핑한 가상 터치영역인 제2특정영역을 지정하는 단계와;
상기 제2특정영역에서 터치가 발생하면 이 터치좌표를 제1특정영역의 상대좌표로 변환하는 단계와;
상기 제1특정영역의 상대좌표를 제2단말기의 상대좌표로 변환하는 단계와;
상기 제2단말기의 상대좌표에서 터치나 클릭 이벤트를 발생시키는 단계를;
포함하는 것을 특징으로 하는 터치 입력 제어 및 가상 매핑 방법.
A method for remotely controlling a screen of a second terminal, which is an opposite terminal, with a first terminal screen having a touch screen,
Designating a first specific area on the first terminal screen;
Designating a second specific area that is a virtual touch area in which the first specific area is reduced or enlarged;
Converting the touch coordinates into relative coordinates of a first specific area when a touch occurs in the second specific area;
Converting the relative coordinates of the first specific region to the relative coordinates of the second terminal;
Generating a touch or click event in the relative coordinates of the second terminal;
Wherein the touch input control method comprises:
상기 제1 단말기 화면의 특정영역과 제2단말기 화면의 특정영역을 서로 축소 혹은 확대 매핑하여 제1 단말기의 터치좌표를 제2단말기의 상대좌표로 변환하는 방법은 <계산식2>로 계산하여 변환하는 것을 특징으로 하는 터치 입력 제어 및 가상 매핑 방법.
<계산식2>
제2단말기의 상대좌표 = 제2단말기의 특정영역 시작좌표 + (제1단말기 터치좌표 - 제1단말기의 특정영역 시작좌표) x [제1,2단말기화면의 가로배율, 세로배율]
The method according to claim 2,
The method of converting the touch coordinates of the first terminal to the relative coordinates of the second terminal by reducing or enlarging mapping a specific region of the first terminal screen and a specific region of the second terminal screen to each other is calculated by Equation 2, Wherein the touch input control method comprises:
<Formula 2>
Relative coordinate of the second terminal = starting point of the specific region of the second terminal + (first terminal touch coordinate - starting point of the specific region of the first terminal) x [horizontal and vertical magnifications of the first and second terminal screens]
상기 제1단말기 화면 내에서 두 개의 제1,2특정영역을 서로 축소 혹은 확대하여 매핑하여, 제2특정영역의 터치좌표를 제1특정영역의 상대좌표로 변환하는 방법은 <계산식3>으로 계산하여 변환하고, 제1특정영역의 상대좌표를 <계산식4>을 만족하는 알고리즘으로 계산하여 제2 단말기의 상대좌표로 변환하는 것을 특징으로 하는 터치 입력 제어 및 가상 매핑 방법.
<계산식3>
제1특정영역의 상대좌표 = 제2특정영역 시작좌표 + (제1특정영역 터치좌표 - 제1특정영역 시작좌표) x [제1,2특정영역의 가로배율, 세로배율]
<계산식4>
제2단말기의 상대좌표 = 제1단말기의 제1특정좌표 x [가로배율,세로배율]
=> 제2단말기의 상대좌표 = 제1특정영역의 상대좌표 x [가로배율,세로배율]
The method of claim 4,
The method of reducing or enlarging the two first and second specific areas in the first terminal screen to convert the touch coordinates of the second specific area to the relative coordinates of the first specific area is calculated by Equation 3 And converting the relative coordinates of the first specific region into the relative coordinates of the second terminal by calculating the relative coordinates of the first specific region with an algorithm satisfying Equation (4).
<Expression 3>
Relative coordinate of the first specific area = second specific area start coordinate + (first specific area touch coordinate - first specific area start coordinate) x [horizontal and vertical magnifications of the first and second specific areas]
<Formula 4>
Relative coordinate of the second terminal = first specific coordinate x of the first terminal [horizontal magnification, vertical magnification]
=> Relative coordinate of the second terminal = relative coordinate x of the first specific region [horizontal magnification, vertical magnification]
상기 터치스크린이 구비된 제1단말기 화면의 특정영역을 지정하는 단계와;
상기 제1단말기 화면의 지정된 특정영역을 제1단말기의 특정좌표로 매핑하는 단계와;
상기 제1단말기의 특정영역 내에서 터치 시, 제1단말기의 특정좌표와 대응되는 상기 제2단말기의 상대좌표로 변환하는 단계와;
상기 변환된 제2단말기의 상대좌표에서 터치나 클릭 이벤트를 발생시키는 단계를;
포함하는 것을 특징으로 하는 터치 입력 제어 및 가상 매핑 방법.
A method for remotely controlling a screen of a second terminal, which is an opposite terminal, with a first terminal screen having a touch screen,
Designating a specific area of the first terminal screen having the touch screen;
Mapping a specified specific area of the first terminal screen to specific coordinates of the first terminal;
Converting, into a relative coordinate of the second terminal corresponding to a specific coordinate of the first terminal, when touching within a specific area of the first terminal;
Generating a touch or a click event in the relative coordinates of the converted second terminal;
Wherein the touch input control method comprises:
상기 제1단말기 화면에서 제1특정영역을 지정하는 단계와;
상기 제1특정영역을 축소 혹은 확대 매핑한 가상 터치영역인 제2특정영역을 지정하는 단계와;
상기 제1특정영역에서 터치가 발생하면 이 터치좌표를 제2특정영역의 상대좌표로 변환하는 단계와;
상기 제2특정영역의 상대좌표를 제2단말기의 상대좌표로 변환하는 단계와;
상기 제2단말기의 상대좌표에서 터치나 클릭 이벤트를 발생시키는 단계를;
포함하는 것을 특징으로 하는 터치 입력 제어 및 가상 매핑 방법.
A method for remotely controlling a screen of a second terminal, which is an opposite terminal, with a first terminal screen having a touch screen,
Designating a first specific area on the first terminal screen;
Designating a second specific area that is a virtual touch area in which the first specific area is reduced or enlarged;
Converting the touch coordinates into relative coordinates of a second specific area when a touch occurs in the first specific area;
Transforming the relative coordinates of the second specific region to the relative coordinates of the second terminal;
Generating a touch or click event in the relative coordinates of the second terminal;
Wherein the touch input control method comprises:
상기 제2단말기의 실행중인 화면을 캡처하는 단계와;
상기 캡처한 이미지를 제1,2 단말기 화면의 가로 및 세로배율에 따라, 상기 제1단말기의 화면 맞추어 축소 혹은 확대하여, 상기 제1단말기의 화면에 출력하는 단계;를
포함하는 것을 특징으로 하는 터치 입력 제어 및 가상 매핑 방법.
9. The method according to any one of claims 1 to 8,
Capturing a running screen of the second terminal;
And outputting the captured image to a screen of the first terminal by scaling down or enlarging the captured image of the first terminal according to the horizontal and vertical magnifications of the first and second terminal screens,
Wherein the touch input control method comprises:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140177597A KR101652776B1 (en) | 2014-12-10 | 2014-12-10 | Touch input control and virtual mapping method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140177597A KR101652776B1 (en) | 2014-12-10 | 2014-12-10 | Touch input control and virtual mapping method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160070535A true KR20160070535A (en) | 2016-06-20 |
| KR101652776B1 KR101652776B1 (en) | 2016-09-01 |
Family
ID=56354358
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140177597A KR101652776B1 (en) | 2014-12-10 | 2014-12-10 | Touch input control and virtual mapping method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101652776B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210044487A (en) * | 2019-10-15 | 2021-04-23 | 포인트아이 주식회사 | SMART IoT TOUCH PANEL CONTROLLER AND METHOD FOR THE SAME |
| WO2022216091A1 (en) * | 2021-04-07 | 2022-10-13 | 에이케이시스 주식회사 | Display input system for display connected to touch terminal and using controller and display input method for display connected to touch terminal by using controller |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080011954A (en) | 2006-08-01 | 2008-02-11 | 엘지전자 주식회사 | Touch screen apparatus and file search method thereof |
| KR20120006728A (en) | 2010-07-13 | 2012-01-19 | (주)티아이스퀘어 | Method and system for application hosting service in circumstances of smart phone |
| JP2012093940A (en) * | 2010-10-27 | 2012-05-17 | Kddi Corp | Remote operation system, remote operation method and program |
| JP2013246658A (en) * | 2012-05-25 | 2013-12-09 | Panasonic Corp | Display control device and display control method |
-
2014
- 2014-12-10 KR KR1020140177597A patent/KR101652776B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080011954A (en) | 2006-08-01 | 2008-02-11 | 엘지전자 주식회사 | Touch screen apparatus and file search method thereof |
| KR20120006728A (en) | 2010-07-13 | 2012-01-19 | (주)티아이스퀘어 | Method and system for application hosting service in circumstances of smart phone |
| JP2012093940A (en) * | 2010-10-27 | 2012-05-17 | Kddi Corp | Remote operation system, remote operation method and program |
| JP2013246658A (en) * | 2012-05-25 | 2013-12-09 | Panasonic Corp | Display control device and display control method |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210044487A (en) * | 2019-10-15 | 2021-04-23 | 포인트아이 주식회사 | SMART IoT TOUCH PANEL CONTROLLER AND METHOD FOR THE SAME |
| WO2022216091A1 (en) * | 2021-04-07 | 2022-10-13 | 에이케이시스 주식회사 | Display input system for display connected to touch terminal and using controller and display input method for display connected to touch terminal by using controller |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101652776B1 (en) | 2016-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11532072B2 (en) | Multifunctional environment for image cropping | |
| US20130234959A1 (en) | System and method for linking and controlling terminals | |
| US20150177843A1 (en) | Device and method for displaying user interface of virtual input device based on motion recognition | |
| KR102474244B1 (en) | Image display apparatus and operating method for the same | |
| KR20130017241A (en) | Method and apparauts for input and output in touch screen terminal | |
| TW201624256A (en) | Interface switching method and electric device using the same | |
| US10466948B2 (en) | Image display device, image display control method, and image display system | |
| US20170068418A1 (en) | Electronic apparatus, recording medium, and operation method of electronic apparatus | |
| KR20150026360A (en) | Method and apparatus for providing multiple applications | |
| WO2016138661A1 (en) | Processing method for user interface of terminal, user interface and terminal | |
| TW201445421A (en) | Automatically manipulating visualized data based on interactivity | |
| CN103747308A (en) | Method and system for controlling smart television with analog keys, and mobile terminal | |
| JP2017011334A (en) | Parameter control device and parameter control program | |
| CN108279848B (en) | Display method and electronic equipment | |
| KR101652776B1 (en) | Touch input control and virtual mapping method | |
| US10025420B2 (en) | Method for controlling display of touchscreen, and mobile device | |
| US20140215347A1 (en) | Portable device and control method thereof | |
| CN103905752B (en) | Remote terminal remote control thereof, device and display terminal display packing, device | |
| CN104793862A (en) | Control method for zooming in and out wireless projection photos | |
| CN111880718B (en) | Method and device for remotely controlling playing equipment through touch | |
| KR20160072757A (en) | Virtual Remote Touch controller configuration and control method | |
| JP2014021933A (en) | Projection device, and projection method | |
| WO2011142044A1 (en) | Program and electronic apparatus | |
| KR20150000278A (en) | Display apparatus and control method thereof | |
| CN103616989B (en) | Method and device for automatically adjusting position of cursor and mobile terminal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |