KR101397812B1 - Input system of touch and drag type in remote - Google Patents

Input system of touch and drag type in remote Download PDF

Info

Publication number
KR101397812B1
KR101397812B1 KR1020120138051A KR20120138051A KR101397812B1 KR 101397812 B1 KR101397812 B1 KR 101397812B1 KR 1020120138051 A KR1020120138051 A KR 1020120138051A KR 20120138051 A KR20120138051 A KR 20120138051A KR 101397812 B1 KR101397812 B1 KR 101397812B1
Authority
KR
South Korea
Prior art keywords
touch
finger
information
drag
virtual finger
Prior art date
Application number
KR1020120138051A
Other languages
Korean (ko)
Inventor
김상균
Original Assignee
강원대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강원대학교산학협력단 filed Critical 강원대학교산학협력단
Priority to KR1020120138051A priority Critical patent/KR101397812B1/en
Application granted granted Critical
Publication of KR101397812B1 publication Critical patent/KR101397812B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention includes a virtual finger information input device which processes the recognized finger motion information as the touch-and-drag information and a virtual finger overlapping device which receives the touch-and-drag information from the virtual finger information input device and processes the received touch-and-drag information to overlap a virtual finger image on a display screen, and performs a touch-and-drag operation on the display screen according to the touch-and-drag information. The present invention installs a device which acquires a user′s finger motion nearby to process and transmit or receive the information, and displays the user′s fingers on a display screen in a remote place in a virtual form to input a touch-and-drag operation.

Description

원격 터치 및 드래그 방식 입력 시스템 {Input system of touch and drag type in remote}[0001] The present invention relates to a remote touch and drag type input system,

본 발명은 원격에서 터치 및 드래그 방식으로 터치 디스플레이 장치에 입력하는 기술에 관한 것이다.
The present invention relates to a technique for remotely inputting to a touch display device in a touch and drag manner.

전자 기기의 종류가 다양해지면서, 전자 기기를 소형화하면서 표시 화면을 대형화할 수 있는 다양한 기술이 제안되고 있다. 전자 기기의 소형화에 따라 접촉 입력 장치를 통해 사용자의 입력을 인식하는 전자 기기가 늘어나고 있으며, 특히 표시 화면에 입력 기능을 탑재한 터치스크린 패널은 휴대용 전자 기기를 포함한 다양한 장치에 적용되고 있다.Various kinds of electronic devices have been proposed, and various technologies have been proposed that can miniaturize electronic devices and enlarge the display screen. 2. Description of the Related Art [0002] Electronic apparatuses that recognize a user's input through a contact input apparatus have been increasing in size with the miniaturization of electronic apparatuses. In particular, a touch screen panel having an input function on a display screen has been applied to various apparatuses including portable electronic apparatuses.

터치스크린 패널은 동작 방식에 따라 저항막 방식, 정전용량 방식, 초음파 방식, 적외선 방식 등으로 구분할 수 있는데, 정전용량 방식은 얇은 두께의 터치스크린 패널을 제조할 수 있으며, 내구성이 높고 멀티 터치가 가능하여 다양한 전자 기기에 널리 사용되고 있다.The touch screen panel can be classified into resistive type, capacitive type, ultrasonic type, and infrared type depending on the operation type. Capacitive type can manufacture a thin thickness touch screen panel, and is durable and multi-touchable And is widely used in various electronic devices.

정전용량 방식의 터치스크린 패널은 투명 기판 상에 소정의 형상으로 패터닝되는 투명 전극을 부착하고, 투명전극은 투명 기판 상에 배치되는 연결 패드와 전기적으로 연결된다. 연결 패드는 제어 모듈과 연결되고, 접촉에 따라 투명 전극에서 발생하는 커패시턴스 변화가 제어 모듈로 전달되어 접촉 위치 등을 판단할 수 있다.The capacitive touch screen panel is provided with a transparent electrode patterned on a transparent substrate in a predetermined shape, and the transparent electrode is electrically connected to a connection pad disposed on the transparent substrate. The connection pad is connected to the control module, and a capacitance change generated in the transparent electrode due to the contact is transmitted to the control module to determine the contact position and the like.

일반적으로, 터치 스크린은 손가락이나 볼펜모양의 터치 펜을 이용해서 스크린을 직접 건드리면 접촉이 일어난 부분을 인지해서 명령이 실행되거나 커서의 위치를 이동하도록 설계된 스크린을 말한다. 터치 스크린은 현재 PDA, LCD, 은행이나 관광서, 각종 의료장비, 관광 및 주요 기관의 안내, 교통안내 등 많은 분야에서 적용되고 있는 사용자 인터페이스 방식이다.Generally speaking, a touch screen is a screen designed to touch a screen directly using a finger or a ballpoint pen touch pen to recognize a contact and execute a command or move the position of the cursor. The touch screen is a user interface method that is applied in many fields such as PDA, LCD, banking, tourist book, various medical equipment, guide of sightseeing and major institutions, and traffic information.

터치 스크린이 작동하는 원리는 감압식, 정전식 등이 있다. 감압식은 스크린 표면에 가해지는 압력에 반응하는 센서를 촘촘하게 설치해 압력이 가해질 경우 위치를 좌표로 알아내는 방식이다. 감압식은 많이 쓰이는 방식이지만 정밀도에서 다소 떨어지는 단점이 있다. 정전식은 스크린에 정밀도를 높이기 위해, 스크린 표면에 전하를 충전하고, 그 둘레에 센서들을 설치한 후, 접촉시에 전하가 상실된 정도를 감지해 접촉이 이루어진 좌표를 파악하는 방식이다.The principle of operation of touch screen is depressurization type, electrostatic type. The pressure-sensitive type is a method in which a sensor responsive to the pressure applied to the screen surface is densely installed and the position is detected as coordinates when pressure is applied. The decompression type is a widely used method, but it has a disadvantage of being somewhat inferior in accuracy. Electrostatic is a method to charge the charge on the surface of the screen and install the sensors around the screen to detect the degree of loss of charge during the contact to ascertain the contact coordinates.

근래 각종 영상기기의 발달과 더불어 사용자들은 상기 영상기기를 통해 획득하는 영상에 대하여 더욱 생동감과 입체감이 가미된 영상을 감상하고자 하는 요구가 증대되고 있으며, 영상기기 사업자들은 이러한 요구에 발맞추어 영상 콘텐츠 처리 방식을 변형하여 입체감 있는 영상을 제공하거나, 영상제공 기기에 다양한 부가수단을 연결하여 사용자로 하여금 실제와 가상을 구분하기 어려울 정도의 영상을 제공하는 영상기기의 발전이 두드러지고 있다.In recent years, along with the development of various video devices, there has been a growing demand for users to enjoy images with more liveliness and stereoscopic effect with respect to the videos acquired through the video devices. In response to these demands, The development of a video device that provides a three-dimensional image by modifying the system or provides a video with a degree of difficulty for a user to distinguish between actual and virtual by connecting various additional means to the video providing apparatus is remarkable.

상술한 바와 같은 영상 제공 방식의 일례로 양안의 시각차를 이용하여 서로 다른 각도에서 촬영된 영상을 디스플레이에 동시에 구현토록 함으로써 입체감 있는 영상을 제공하거나, 부가수단을 이용하여 사용자의 시야 각도를 영상 전체로 덮어 파노라마 형태로 제공함으로써 사용자가 실제 영상의 환경에 참여한 듯한 효과를 제공할 수도 있다.As an example of the image providing method as described above, it is possible to provide stereoscopic images by simultaneously implementing the images photographed at different angles on the display using the binocular visual difference, or to add the viewing angle of the user to the entire image It is possible to provide the effect that the user participates in the environment of the actual image.

이때, 상기 부가수단의 하나로서 부각되고 있는 것이 헤드 마운트 디스플레이(Head Mount Display: 이하, HMD)로서, HMD는 안경이나 모자, 헬멧 등의 형태로 사용자의 두부에 착용되어 렌즈 부위에 부착된 디스플레이를 통해 영상을 제공한다. 특히, 상기 HMD와 연결된 영상기기가 제공하는 영상 포맷을 자체 디코딩하여 영상을 제공함으로써 휴대용으로서의 이점을 가지며, 사용자의 양안을 상기 디스플레이로 차단하여 파노라마 형태의 영상을 제공할 수 있어 일반 PMP(Portable Multimedia Player)보다 현저히 작은 화면크기에서도 실제 외부 영상기기의 화면보다 넓은 화면을 제공하는 효과를 볼 수 있어 가상현실에 대한 체감도를 높일 수 있다.In this case, a head mounted display (hereinafter referred to as HMD) is highlighted as one of the attachment means, and the HMD is mounted on a head of a user in the form of a glasses, a hat, a helmet, To provide images. Particularly, since the image format provided by the video device connected to the HMD is decoded to provide an image, it has an advantage as a portable device. The user can block both eyes of the user with the display to provide a panoramic image, Player), it is possible to provide a wider screen than the screen of the actual external image device, thereby enhancing the visibility of the virtual reality.

보통 사용자의 손가락을 이용한 터치 및 드래그(touch and drag) 방식의 입력은 사용자가 자신의 손가락을 직접 화면에 접촉하여 움직이는 방식으로 입력된다. 그러나, 이러한 터치 및 드래그 입력 방식은, 화면이 매우 큰 대형 TV 등의 디스플레이 기기의 경우, 화면과 사용자의 거리가 멀리 떨어져 있는 경우, HMD와 같이 화면이 매우 작으면서 두부에 직접 착용하는 경우 등에서는 그 사용이 매우 제한적이거나, 아예 적용이 불가능하다는 문제점이 있다.
Usually, a touch and drag type input using a user's finger is input in such a manner that the user moves his / her finger directly on the screen. However, in the case of a display device such as a large-sized TV having a very large screen, such a touch and drag input method has a problem that when the distance between the screen and the user is far away or when the screen is very small like the HMD, There is a problem in that the use thereof is very limited or can not be applied at all.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 사용자의 근거리에 사용자의 손가락 움직임을 획득하고, 처리하여 송수신할 수 있는 장치를 설치하고, 원거리에 있는 디스플레이 화면에 사용자의 손가락을 가상으로 나타내어, 터치 및 드래그 동작을 입력할 수 있는 원격 터치 및 드래그 방식 입력 시스템을 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION The present invention is conceived to solve the problems described above, and it is an object of the present invention to provide a device capable of transmitting and receiving a finger movement of a user in a short distance from a user, And to provide a remote touch and drag type input system capable of inputting touch and drag operations.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

이와 같은 목적을 달성하기 위한 본 발명은 사용자의 손가락 움직임을 인식하고, 인식된 손가락 움직임 정보를 터치 및 드래그(Touch and drag) 정보로 처리하여 송신하는 가상 손가락 정보 입력 장치 및 상기 가상 손가락 정보 입력 장치로부터 터치 및 드래그 정보를 수신하고, 수신된 터치 및 드래그 정보를 처리하여 디스플레이 화면 상에 가상 손가락 형상을 오버랩(overlap)하고, 상기 터치 및 드래그 정보에 따라 상기 디스플레이 화면 상에 터치 및 드래그 동작을 수행하는 가상 손가락 오버랩 장치를 포함한다. According to an aspect of the present invention, there is provided a virtual finger information input device that recognizes a finger movement of a user, processes the recognized finger movement information as touch and drag information and transmits the touch and drag information, And performs processing of the received touch and drag information to overlap the virtual finger shape on the display screen and to perform a touch and drag operation on the display screen in accordance with the touch and drag information A virtual finger overlap device.

상기 가상 손가락 정보 입력 장치는, 사용자의 손가락 움직임을 촬영하기 위한 카메라, 사용자의 손가락의 이동 거리를 감지하기 위한 거리센서, 사용자의 손가락에 의해 발생하는 진동을 감지하기 위한 진동센서, 상기 카메라, 거리센서 및 진동센서를 통해 획득된 사용자의 손가락 움직임 정보를 터치 및 드래그 정보로 변환하여 처리하는 제1 데이터 처리 모듈 및 상기 제1 데이터 처리 모듈에서 처리된 터치 및 드래그 정보를 원격지의 상기 가상 손가락 오버랩 장치에 송신하기 위한 송신 모듈을 포함할 수 있다.The virtual finger information input device includes a camera for photographing a finger movement of a user, a distance sensor for sensing a movement distance of the user's finger, a vibration sensor for sensing vibration generated by the user's finger, A first data processing module for converting the finger motion information of the user obtained through the sensor and the vibration sensor into touch and drag information and processing the touch and drag information, And a transmission module for transmitting the data to the mobile terminal.

상기 가상 손가락 오버랩 장치는, 상기 터치 및 드래그 정보를 수신하기 위한 수신모듈, 상기 수신모듈에서 수신된 터치 및 드래그 정보를 분석하고, 분석된 정보를 기반으로 디스플레이 화면 상에 가상 손가락 형상을 오버랩(overlap)하고, 대응하는 터치 및 드래그 동작을 수행하도록 하는 제2 데이터 처리 모듈, 상기 제2 데이터 처리 모듈의 제어에 따라 디스플레이 화면 상에 가상 손가락 형상을 오버랩하기 위한 가상 손가락 오버랩 모듈 및 상기 제2 데이터 처리 모듈의 제어에 따라 디스플레이 화면 상의 가상 손가락 형상에 대응되는 부분에 터치 및 드래그 동작을 수행하는 터치 및 드래그 실행 모듈을 포함할 수 있다.The virtual finger overlap device includes a receiving module for receiving the touch and drag information, a touch module for analyzing the touch and drag information received by the receiving module, and a virtual finger shape overlapped on the display screen based on the analyzed information. And a virtual finger overlap module for overlapping the virtual finger shape on the display screen under the control of the second data processing module and a virtual finger overlap module for overlapping the virtual finger shape on the display screen under the control of the second data processing module, And a touch and drag execution module for performing a touch and a drag operation on a portion corresponding to the virtual finger shape on the display screen under the control of the module.

상기 가상 손가락 오버랩 장치는, 사용자의 손가락과 동일한 형상을 상기 가상 손가락 형상으로 구현하거나, 정해진 표준 손가락 모델 중에서 하나를 상기 가상 손가락 형상으로 구현할 수 있다.The virtual finger overlap device may implement the same shape as the user's finger in the virtual finger shape or implement one of the predetermined standard finger models in the virtual finger shape.

상기 가상 손가락 오버랩 장치는, 상기 가상 손가락 형상을 반투명 상태 또는 불투명 상태로 디스플레이 화면 상에 오버랩시킬 수 있다.
The virtual finger overlap device may overlap the virtual finger shape in a translucent state or an opaque state on a display screen.

본 발명의 크게 사용자 측면의 사용성 개선과, 제조업체 측면의 원가 절감의 두 가지 효과로 나뉜다.There are two major effects of the present invention, namely, usability improvement on the user side and cost reduction on the manufacturer side.

먼저, 사용자 측면의 사용성 개선에 대한 효과는 다음과 같다. 첫째, 큰 화면을 가진 모니터 또는 TV에 대해 손가락을 이용한 터치 및 드래그가 가능하다. 둘째, 사용자가 팔을 뻗어서 직접 터치하기가 어려운 거리의 화면이나 자세를 잡기 어려운 경우에도 손가락을 이용한 터치 및 드래그가 가능하다. 셋째, HMD, 안경형 모니터 등과 같이 머리에 직접 착용하며, 화면의 크기가 매우 작고, 화면이 눈과 매우 가까운 거리에 위치해서, 직접적인 접촉을 통한 터치와 드래그가 불가한 경우에도 자신의 손가락을 이용한 터치 및 드래그가 가능하다. 요컨대, 기존에 터치와 드래그 기술을 적용하기 어려웠거나, 실제 적용하여도 그 사용성이 매우 낮았던 영역에 대해 본 발명을 적용하여 사용성을 높일 수 있다.First, the effect of improving the user usability is as follows. First, it is possible to touch and drag with a finger on a monitor or TV having a large screen. Second, it is possible to touch and drag with the finger even when the user is unable to grasp the screen or the posture of the distance which is difficult to directly touch by extending the arm. Third, it is worn directly on the head such as HMD, eye monitor, etc., and the size of the screen is very small, and the screen is located at a very close distance to the eye. Even if the touch and drag through direct contact are impossible, And dragging is possible. In other words, the present invention can be applied to an area where the touch and drag techniques have been difficult to apply, or where the usability has been very low even when actually applied.

다음, 제조업체 측면의 원가 절감효과는 다음과 같다. 본 기술을 적용할 경우 디스플레이에는 센서 장치를 장착할 필요가 없다. 따라서 대 화면 디스플레이에 터치 및 드래그 기술을 적용하려는 경우, 디스플레이에 센서를 장착하지 않고 본 기술을 적용하여 제조 원가를 절감할 수 있는 효과가 있다.
Next, the cost reduction effect of the manufacturer side is as follows. When this technology is applied, it is not necessary to mount a sensor device on the display. Therefore, when the touch and drag technique is applied to the large screen display, the manufacturing cost can be reduced by applying the present technology without mounting the sensor on the display.

도 1은 본 발명의 일 실시예에 따른 원격 터치 및 드래그 방식 입력 시스템의 설치예를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 가상 손가락 정보 입력 장치의 내부 구성을 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 가상 손가락 오버랩 장치의 내부 구성을 보여주는 블록도이다.1 is a diagram illustrating an example of the installation of a remote touch and drag type input system according to an embodiment of the present invention.
2 is a block diagram illustrating an internal configuration of a virtual finger information input device according to an embodiment of the present invention.
3 is a block diagram illustrating an internal configuration of a virtual finger overlap apparatus according to an embodiment of the present invention.

이하, 첨부된 도면을 참조해서 본 발명의 실시예를 상세히 설명하면 다음과 같다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 명세서 전반에 걸쳐서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used for the same reference numerals even though they are shown in different drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. Also, throughout this specification, when a component is referred to as "comprising ", it means that it can include other components, aside from other components, .

도 1은 본 발명의 일 실시예에 따른 원격 터치 및 드래그 방식 입력 시스템의 설치예를 도시한 도면이다.1 is a diagram illustrating an example of the installation of a remote touch and drag type input system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 원격 터치 및 드래그 방식 입력 시스템은 가상 손가락 정보 입력 장치(100)와, 가상 손가락 오버랩 장치(200)를 포함한다. Referring to FIG. 1, the remote touch and drag type input system of the present invention includes a virtual finger information input device 100 and a virtual finger overlap device 200.

가상 손가락 정보 입력 장치(100)는 사용자의 손가락 움직임을 인식하고, 인식된 손가락 움직임 정보를 터치 및 드래그(Touch and drag) 정보로 처리하여 송신한다.The virtual finger information input device 100 recognizes the finger movement of the user and processes the recognized finger movement information as touch and drag information.

가상 손가락 오버랩 장치(200)는 가상 손가락 정보 입력 장치(100)로부터 터치 및 드래그 정보를 수신하고, 수신된 터치 및 드래그 정보를 처리하여 디스플레이 화면 상에 가상 손가락 형상을 오버랩(overlap)하고, 터치 및 드래그 정보에 따라 디스플레이 화면 상에 터치 및 드래그 동작을 수행한다. The virtual finger overlap device 200 receives the touch and drag information from the virtual finger information input device 100 and processes the received touch and drag information to overlap the virtual finger shape on the display screen, And performs a touch and a drag operation on the display screen in accordance with the drag information.

본 발명에서 가상 손가락 정보 입력 장치(100)는 비교적 소형으로 제작되어 다양한 위치에 설치될 수 있다. 예를 들어, 가상 손가락 정보 입력 장치(100)는 목걸이, 탁상형 스탠드, 모니터 등에 부착될 수 있으며, 사용자의 주변에 있는 평면인 테이블, 공책, 벽면, 바닥면 등에 부착될 수 있다. 도 1의 실시예에서는 가상 손가락 정보 입력 장치(100)가 책상에 부착된 예가 도시되어 있다.In the present invention, the virtual finger information input apparatus 100 can be manufactured in a relatively small size and installed in various positions. For example, the virtual finger information input device 100 may be attached to a necklace, a tabletop stand, a monitor, and the like, and may be attached to a table, notebook, wall, floor, In the embodiment of FIG. 1, an example in which the virtual finger information input apparatus 100 is attached to a desk is shown.

본 발명에서 가상 손가락 정보 입력 장치(100)를 이용하여 사용자가 터치 및 드래그 동작을 수행하면, 가상 손가락 정보 입력 장치(100)에서 사용자의 손가락 움직임 정보를 획득하고, 이를 터치 및 드래그 정보로 변환하여 유무선 통신망을 통해 원격지의 가상 손가락 오버랩 장치(200)로 전송한다.In the present invention, when the user performs a touch and drag operation using the virtual finger information input device 100, the virtual finger information input device 100 acquires finger motion information of the user and converts the information into touch and drag information To the virtual finger overlap device 200 at a remote location via a wire / wireless communication network.

본 발명에서 가상 손가락 오버랩 장치(200)는 디스플레이 장치에 장착되는데, 도 1에서는 모니터와 안경형태의 디스플레이 장치에 장착된 예이다. In the present invention, the virtual finger overlap device 200 is mounted on a display device, which is an example in FIG. 1 mounted on a monitor and a glasses type display device.

도 1에서 모니터와 안경형태의 디스플레이 장치에 가상 손가락 형상(a)이 오버랩된 모습이 도시되어 있다.In FIG. 1, a virtual finger shape (a) is overlapped with a monitor and a glasses type display device.

본 발명의 일 실시예에서 가상 손가락 오버랩 장치(200)는 사용자의 손가락과 동일한 형상을 가상 손가락 형상(a)으로 구현할 수 있다. 또는, 가상 손가락 오버랩 장치(200)는 정해진 표준 손가락 모델 중에서 하나를 가상 손가락 형상(a)으로 구현할 수도 있다.In an embodiment of the present invention, the virtual finger overlap device 200 may implement the same shape as the user's finger with the virtual finger shape (a). Alternatively, the virtual finger overlap device 200 may implement one of the predetermined standard finger models with the virtual finger shape (a).

본 발명의 일 실시예에서 가상 손가락 오버랩 장치(200)는 가상 손가락 형상(a)을 반투명 상태로 디스플레이 화면 상에 오버랩시킬 수 있다. 또는, 가상 손가락 오버랩 장치(200)는 가상 손가락 형상(a)을 불투명 상태로 디스플레이 화면 상에 오버랩시킬 수도 있다.
In an embodiment of the present invention, the virtual finger overlap device 200 can overlap the virtual finger shape a in a translucent state on the display screen. Alternatively, the virtual finger overlap device 200 may overlap the virtual finger shape (a) in an opaque state on the display screen.

도 2는 본 발명의 일 실시예에 따른 가상 손가락 정보 입력 장치의 내부 구성을 보여주는 블록도이다.2 is a block diagram illustrating an internal configuration of a virtual finger information input device according to an embodiment of the present invention.

도 2를 참조하면, 가상 손가락 정보 입력 장치(100)는 카메라(110), 거리센서(120), 진동센서(130), 데이터 처리 모듈(140), 송신모듈(150)을 포함한다.Referring to FIG. 2, the virtual finger information input device 100 includes a camera 110, a distance sensor 120, a vibration sensor 130, a data processing module 140, and a transmission module 150.

카메라(110)는 사용자의 손가락 움직임을 촬영하는 역할을 한다.The camera 110 serves to photograph the movement of the user's finger.

거리센서(120)는 사용자의 손가락의 이동 거리를 감지하는 역할을 한다.The distance sensor 120 senses the moving distance of the user's finger.

진동센서(130)는 사용자의 손가락에 의해 발생하는 진동을 감지하는 역할을 한다.The vibration sensor 130 senses the vibration generated by the user's finger.

제1 데이터 처리 모듈(140)은 카메라(110), 거리센서(120) 및 진동센서(130)를 통해 획득된 사용자의 손가락 움직임 정보를 터치 및 드래그 정보로 변환하여 처리한다.The first data processing module 140 converts the finger motion information of the user obtained through the camera 110, the distance sensor 120, and the vibration sensor 130 into touch and drag information and processes the touch and drag information.

송신모듈(150)은 제1 데이터 처리 모듈(140)에서 처리된 터치 및 드래그 정보를 유무선 통신망을 통해 원격지의 가상 손가락 오버랩 장치(200)에 송신하는 역할을 한다.
The transmission module 150 transmits the touch and drag information processed in the first data processing module 140 to the virtual finger overlap device 200 at a remote location via a wire / wireless communication network.

도 3은 본 발명의 일 실시예에 따른 가상 손가락 오버랩 장치의 내부 구성을 보여주는 블록도이다.3 is a block diagram illustrating an internal configuration of a virtual finger overlap apparatus according to an embodiment of the present invention.

도 3을 참조하면, 가상 손가락 오버랩 장치(200)는 수신모듈(210), 제2 데이터 처리 모듈(220), 가상 손가락 오버랩 모듈(230), 터치 및 드래그 실행 모듈(240)을 포함한다.Referring to FIG. 3, the virtual finger overlap device 200 includes a receiving module 210, a second data processing module 220, a virtual finger overlap module 230, and a touch and drag execution module 240.

수신모듈(210)은 터치 및 드래그 정보를 수신하는 역할을 한다.The receiving module 210 serves to receive touch and drag information.

제2 데이터 처리 모듈(220)은 수신모듈(210)에서 수신된 터치 및 드래그 정보를 분석하고, 분석된 정보를 기반으로 디스플레이 화면 상에 가상 손가락 형상을 오버랩(overlap)하고, 대응하는 터치 및 드래그 동작을 수행하도록 한다.The second data processing module 220 analyzes the touch and drag information received from the receiving module 210, overlaps the virtual finger shape on the display screen based on the analyzed information, To perform an operation.

가상 손가락 오버랩 모듈(230)은 제2 데이터 처리 모듈(220)의 제어에 따라 디스플레이 화면 상에 가상 손가락 형상을 오버랩시키는 역할을 한다. The virtual finger overlap module 230 overlaps the virtual finger shape on the display screen under the control of the second data processing module 220.

터치 및 드래그 실행 모듈(240)은 제2 데이터 처리 모듈(220)의 제어에 따라 디스플레이 화면 상의 가상 손가락 형상에 대응되는 부분에 터치 및 드래그 동작을 수행한다.The touch and drag execution module 240 performs a touch and a drag operation on the portion corresponding to the virtual finger shape on the display screen under the control of the second data processing module 220.

본 발명의 일 실시예에서 제2 데이터 처리 모듈(200)은 사용자의 손가락과 동일한 형상을 가상 손가락 형상(a)으로 구현할 수 있다. 또는, 제2 데이터 처리 모듈(200)은 정해진 표준 손가락 모델 중에서 하나를 가상 손가락 형상(a)으로 구현할 수도 있다.In an embodiment of the present invention, the second data processing module 200 may embody a virtual finger shape (a) having the same shape as a user's finger. Alternatively, the second data processing module 200 may implement one of the predetermined standard finger models as the virtual finger shape (a).

본 발명의 일 실시예에서 제2 데이터 처리 모듈(200)은 가상 손가락 형상(a)을 반투명 상태로 디스플레이 화면 상에 오버랩시킬 수 있다. 또는, 제2 데이터 처리 모듈(200)은 가상 손가락 형상(a)을 불투명 상태로 디스플레이 화면 상에 오버랩시킬 수도 있다.
In an embodiment of the present invention, the second data processing module 200 may overlap the virtual finger shape (a) in a translucent state on the display screen. Alternatively, the second data processing module 200 may overlap the virtual finger shape (a) in an opaque state on the display screen.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
While the present invention has been described with reference to several preferred embodiments, these embodiments are illustrative and not restrictive. It will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit of the invention and the scope of the appended claims.

100 가상 손가락 정보 입력 장치 200 가상 손가락 오버랩 장치
110 카메라 120 거리센서
130 진동센서 140 제1 데이터 처리 모듈
150 송신모듈 210 수신모듈
220 제2 데이터 처리 모듈 230 가상 손가락 오버랩 모듈
240 터치 및 드래그 실행 모듈100 virtual finger information input device 200 virtual finger overlap device
110 Camera 120 Distance sensor
130 Vibration sensor 140 First data processing module
150 transmitting module 210 receiving module
220 second data processing module 230 virtual finger overlap module
240 Touch and Drag Execution Module

Claims (7)

사용자의 손가락 움직임을 인식하고, 인식된 손가락 움직임 정보를 터치 및 드래그(Touch and drag) 정보로 처리하여 송신하는 가상 손가락 정보 입력 장치; 및
상기 가상 손가락 정보 입력 장치로부터 터치 및 드래그 정보를 수신하고, 수신된 터치 및 드래그 정보를 처리하여 디스플레이 화면 상에 가상 손가락 형상을 오버랩(overlap)하고, 상기 터치 및 드래그 정보에 따라 상기 디스플레이 화면 상에 터치 및 드래그 동작을 수행하는 가상 손가락 오버랩 장치를 포함하되,
상기 가상 손가락 정보 입력 장치는,
사용자의 손가락 움직임을 촬영하기 위한 카메라;
사용자의 손가락의 이동 거리를 감지하기 위한 거리센서;
사용자의 손가락에 의해 발생하는 진동을 감지하기 위한 진동센서;
상기 카메라, 거리센서 및 진동센서를 통해 획득된 사용자의 손가락 움직임 정보를 터치 및 드래그 정보로 변환하여 처리하는 제1 데이터 처리 모듈; 및
상기 제1 데이터 처리 모듈에서 처리된 터치 및 드래그 정보를 원격지의 상기 가상 손가락 오버랩 장치에 송신하기 위한 송신 모듈을 포함하고,
상기 가상 손가락 오버랩 장치는,
상기 터치 및 드래그 정보를 수신하기 위한 수신모듈;
상기 수신모듈에서 수신된 터치 및 드래그 정보를 분석하고, 분석된 정보를 기반으로 디스플레이 화면 상에 가상 손가락 형상을 오버랩(overlap)하고, 대응하는 터치 및 드래그 동작을 수행하도록 하는 제2 데이터 처리 모듈;
상기 제2 데이터 처리 모듈의 제어에 따라 디스플레이 화면 상에 가상 손가락 형상을 오버랩하기 위한 가상 손가락 오버랩 모듈; 및
상기 제2 데이터 처리 모듈의 제어에 따라 디스플레이 화면 상의 가상 손가락 형상에 대응되는 부분에 터치 및 드래그 동작을 수행하는 터치 및 드래그 실행 모듈을 포함하는 것을 특징으로 하는 원격 터치 및 드래그 방식 입력 시스템.
A virtual finger information input device for recognizing the movement of the user's finger, processing the recognized finger motion information as touch and drag information, and transmitting the information; And
And a controller for receiving the touch and drag information from the virtual finger information input device and processing the received touch and drag information to overlap the virtual finger shape on the display screen, A virtual finger overlap device for performing a touch and drag operation,
Wherein the virtual finger information input device comprises:
A camera for photographing a finger movement of a user;
A distance sensor for detecting a moving distance of a user's finger;
A vibration sensor for sensing a vibration generated by a user's finger;
A first data processing module converting the finger motion information of the user obtained through the camera, the distance sensor, and the vibration sensor into touch and drag information and processing the touch and drag information; And
And a transmitting module for transmitting the touch and drag information processed in the first data processing module to the virtual finger overlap device at a remote location,
The virtual finger overlap device includes:
A receiving module for receiving the touch and drag information;
A second data processing module that analyzes the touch and drag information received by the receiving module, overlaps the virtual finger shape on the display screen based on the analyzed information, and performs a corresponding touch and drag operation;
A virtual finger overlap module for overlapping the virtual finger shape on the display screen under the control of the second data processing module; And
And a touch and drag execution module for performing a touch and a drag operation on a portion corresponding to a virtual finger shape on the display screen under the control of the second data processing module.
삭제delete 삭제delete 제1항에 있어서,
상기 가상 손가락 오버랩 장치는,
사용자의 손가락과 동일한 형상을 상기 가상 손가락 형상으로 구현하는 것을 특징으로 하는 원격 터치 및 드래그 방식 입력 시스템.
The method according to claim 1,
The virtual finger overlap device includes:
Wherein the same shape as the user's finger is implemented in the virtual finger shape.
제1항에 있어서,
상기 가상 손가락 오버랩 장치는,
정해진 표준 손가락 모델 중에서 하나를 상기 가상 손가락 형상으로 구현하는 것을 특징으로 하는 원격 터치 및 드래그 방식 입력 시스템.
The method according to claim 1,
The virtual finger overlap device includes:
Wherein one of the predetermined standard finger models is implemented as the virtual finger shape.
제1항에 있어서,
상기 가상 손가락 오버랩 장치는,
상기 가상 손가락 형상을 반투명 상태로 디스플레이 화면 상에 오버랩시키는 것을 특징으로 하는 원격 터치 및 드래그 방식 입력 시스템.
The method according to claim 1,
The virtual finger overlap device includes:
And the virtual finger shape is overlapped on the display screen in a translucent state.
제1항에 있어서,
상기 가상 손가락 오버랩 장치는,
상기 가상 손가락 형상을 불투명 상태로 디스플레이 화면 상에 오버랩시키는 것을 특징으로 하는 원격 터치 및 드래그 방식 입력 시스템.
The method according to claim 1,
The virtual finger overlap device includes:
And the virtual finger shape is overlapped on the display screen in an opaque state.
KR1020120138051A 2012-11-30 2012-11-30 Input system of touch and drag type in remote KR101397812B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120138051A KR101397812B1 (en) 2012-11-30 2012-11-30 Input system of touch and drag type in remote

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120138051A KR101397812B1 (en) 2012-11-30 2012-11-30 Input system of touch and drag type in remote

Publications (1)

Publication Number Publication Date
KR101397812B1 true KR101397812B1 (en) 2014-05-20

Family

ID=50894865

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120138051A KR101397812B1 (en) 2012-11-30 2012-11-30 Input system of touch and drag type in remote

Country Status (1)

Country Link
KR (1) KR101397812B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107632729A (en) * 2017-08-01 2018-01-26 北京硬壳科技有限公司 The control method and device of touch-screen
CN114721576A (en) * 2020-12-18 2022-07-08 华为技术有限公司 Finger touch operation display method and device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH075978A (en) * 1993-06-18 1995-01-10 Sony Corp Input device
KR20100047793A (en) * 2008-10-29 2010-05-10 한국전자통신연구원 Apparatus for user interface based on wearable computing environment and method thereof
KR20110134810A (en) * 2010-08-26 2011-12-15 백규현 A remote controller and a method for remote contrlling a display
JP2012022458A (en) 2010-07-13 2012-02-02 Canon Inc Information processing apparatus and control method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH075978A (en) * 1993-06-18 1995-01-10 Sony Corp Input device
KR20100047793A (en) * 2008-10-29 2010-05-10 한국전자통신연구원 Apparatus for user interface based on wearable computing environment and method thereof
JP2012022458A (en) 2010-07-13 2012-02-02 Canon Inc Information processing apparatus and control method thereof
KR20110134810A (en) * 2010-08-26 2011-12-15 백규현 A remote controller and a method for remote contrlling a display

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107632729A (en) * 2017-08-01 2018-01-26 北京硬壳科技有限公司 The control method and device of touch-screen
CN114721576A (en) * 2020-12-18 2022-07-08 华为技术有限公司 Finger touch operation display method and device

Similar Documents

Publication Publication Date Title
US20210181536A1 (en) Eyewear device with finger activated touch sensor
US10444908B2 (en) Virtual touchpads for wearable and portable devices
KR102031142B1 (en) Electronic device and method for controlling image display
KR102638956B1 (en) Electronic device and augmented reality device for providing augmented reality service and operation method thereof
EP3093751A1 (en) Display apparatus and method of controlling display apparatus
CN107407959B (en) Manipulation of three-dimensional images based on gestures
US20160216792A1 (en) Head mounted display, and control method and control program for head mounted display
CN108027656B (en) Input device, input method, and program
US20120092300A1 (en) Virtual touch system
US10809910B2 (en) Remote touch detection enabled by peripheral device
KR102110208B1 (en) Glasses type terminal and control method therefor
US10540023B2 (en) User interface devices for virtual reality system
US10509489B2 (en) Systems and related methods for facilitating pen input in a virtual reality environment
WO2017057107A1 (en) Input device, input method, and program
CN110968190B (en) IMU for touch detection
CN104298340A (en) Control method and electronic equipment
US11308704B2 (en) Mobile terminal for controlling VR image and control method therefor
KR101397812B1 (en) Input system of touch and drag type in remote
TWI499938B (en) Touch control system
CN103713387A (en) Electronic device and acquisition method
CN110968248A (en) Generating 3D models of fingertips for visual touch detection
KR20090060698A (en) Interface apparatus and its control method using by virtual multi touch screen
WO2017043691A1 (en) Display apparatus on which gui is displayed through statistical processing of usage patterns and control method therefor
US20230386093A1 (en) Changing Locked Modes Associated with Display of Computer-Generated Content
KR20160031940A (en) User input apparatus using location or change thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170329

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190321

Year of fee payment: 6