KR20100075281A - Apparatus having function of space projection and space touch and the controlling method thereof - Google Patents

Apparatus having function of space projection and space touch and the controlling method thereof Download PDF

Info

Publication number
KR20100075281A
KR20100075281A KR1020080133930A KR20080133930A KR20100075281A KR 20100075281 A KR20100075281 A KR 20100075281A KR 1020080133930 A KR1020080133930 A KR 1020080133930A KR 20080133930 A KR20080133930 A KR 20080133930A KR 20100075281 A KR20100075281 A KR 20100075281A
Authority
KR
South Korea
Prior art keywords
user
spatial
space
module
terminal device
Prior art date
Application number
KR1020080133930A
Other languages
Korean (ko)
Other versions
KR101019254B1 (en
Inventor
안양근
박영충
최광순
정광모
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020080133930A priority Critical patent/KR101019254B1/en
Publication of KR20100075281A publication Critical patent/KR20100075281A/en
Application granted granted Critical
Publication of KR101019254B1 publication Critical patent/KR101019254B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

PURPOSE: A terminal device having space projection and a space touch function for offering an interactive user interface to users is provided to implement the command of a user according to location information. CONSTITUTION: A display module(120) projects an image on a space. A space touch recognition module(110) recognizes a location of an indicating unit. A user position sensing module(130) senses the presence of a user within the recognition distance of the space touch recognition module. If a user is detected within the recognition distance, a computing module(140) projects an image by the control of the display module. The computing module performs a function corresponding to the recognized position information.

Description

공간 투영 및 공간 터치 기능이 구비된 단말 장치 및 그 제어 방법{apparatus having function of space projection and space touch and the controlling method thereof}Apparatus having function of space projection and space touch and the controlling method

본 발명은 공간 투영 및 공간 터치 기능이 구비된 단말 장치 및 그 제어 방법에 관한 것으로, 특히 공간상에 영상을 투영하고, 이 투영 영상에 대한 사용자의 지시수단(예컨대, 손끝이나 스틱)의 위치를 감지하며, 감지한 위치 정보를 토대로 사용자의 명령을 실행할 수 있도록 한 공간 투영 및 공간 터치 기능이 구비된 단말 장치 및 그 제어 방법에 관한 것이다.The present invention relates to a terminal apparatus equipped with a spatial projection and a spatial touch function and a control method thereof, and particularly, to project an image onto a space, and to determine a position of a user's indicating means (for example, a fingertip or a stick) with respect to the projection image. The present invention relates to a terminal device having a spatial projection and a spatial touch function, which senses and executes a user's command based on the detected position information and a control method thereof.

최근, 키보드를 사용하지 않고, 화면(스크린)에 나타난 문자나 특정 위치에 사람의 손 또는 물체가 닿으면, 그 위치를 파악하여 저장된 소프트웨어에 의해 특정 처리를 할 수 있도록 화면에서 직접 입력을 받을 수 있게 한 터치스크린이 널리 사용되고 있다.Recently, when a person's hand or an object touches a character or a specific location displayed on the screen (screen) without using a keyboard, the user can grasp the location and receive input directly on the screen so that specific processing can be performed by the stored software. Touch screens are widely used.

터치 스크린은 문자나 그림 정보를 미리 표시하여 사용자가 선택할 기능을 용이하게 파악할 수 있어 지하철, 백화점, 은행 등의 장소에서 안내용 기기, 각종 점포에서 판매용 단말기 및 일반 업무용 기기 등에 적용되어 다양하게 활용되고 있 다.The touch screen displays text or picture information in advance, so that the user can easily grasp the function to select. The touch screen is applied to information devices at various places such as subways, department stores, banks, etc. have.

한편, 현재 주로 쓰이고 있는 키오스크 장치는 터치스크린과 CRT, LDC, PDP 등 일반 2D디스플레이를 결합한 형태이다.On the other hand, the kiosk device currently used is a combination of a touch screen and a general 2D display such as CRT, LDC, PDP.

도 1은 종래, 터치스크린을 구비한 키오스크 장치의 블록 구성도이다.1 is a block diagram of a conventional kiosk device having a touch screen.

도 1에 도시한 바와 같이, 종래 키오스크 장치(10)는 터치스크린(11)과, 일반적인 2차원 영상을 표시하기 위한 디스플레이모듈(12)과, 터치스크린(11)의 조작에 상응하는 터치신호를 발생시키는 터치스크린 인터페이스모듈(13)과, 터치스크린 인터페이스모듈(13)로부터 입력되는 터치신호를 토대로 디스플레이모듈(12) 및 외부기기(미도시; 예컨대, 홈네트워크 가정기기)를 제어하기 위한 컴퓨팅모듈(14)을 포함하여 이루어질 수 있다.As shown in FIG. 1, the conventional kiosk device 10 includes a touch screen 11, a display module 12 for displaying a general two-dimensional image, and a touch signal corresponding to an operation of the touch screen 11. A computing module for controlling the display module 12 and an external device (eg, home network home appliance) based on the touch screen interface module 13 to generate the touch signal and the touch signal input from the touch screen interface module 13. 14 may be included.

여기서, 컴퓨팅모듈(14)은 유선 혹는 무선 네트워크를 통해 가정기기 등과 연결되게 된다.Here, the computing module 14 is connected to a home appliance or the like through a wired or wireless network.

이러한 구성에 따라, 종래 키오스크 장치(10)는 터치 스크린(11)에 손끝이나 기타 물체가 소정영역에 접촉될 때 해당 영역의 특성이 변화하는 것으로 사용자의 입력을 인지하였다.According to this configuration, the conventional kiosk device 10 recognizes the user's input that the characteristics of the corresponding area change when a fingertip or other object is in contact with the predetermined area on the touch screen 11.

이러한 터치스크린은 전체 화면을 2차원 격자 형태로 구분하여 접촉된 위치를 해석하였으며, 이는 정전용량, 초음파, 적외선, 저항막, 음파인식 등을 적용한 터치 패널이 물체의 접촉에 대해 특성이 변화하는 원리를 이용한다.The touch screen divides the entire screen into a two-dimensional grid and analyzes the contact position. This is because the touch panel applied with capacitance, ultrasonic wave, infrared ray, resistive film, sound wave recognition, etc. changes the characteristics of the touch panel. Use

즉, 종래 키오스크 장치는 디스플레이 화면과 터치 패널(터치스크린)이 동일한 면에 위차하는 2차원 형태로 구성되기 때문에, 공간상에 투영된 삼차원 메뉴 아 이콘의 터치에 대한 감지는 지원하지 못하고, 2차원적인 영상만 제공가능하기에 실감나는 정보제공에 한계가 있다는 못한다는 문제점이 있었다.That is, since the conventional kiosk device is configured in a two-dimensional form in which the display screen and the touch panel (touch screen) are located on the same plane, the conventional kiosk device does not support the detection of the touch of the three-dimensional menu icon projected on the space, There is a problem in that there is no limit to providing realistic information because only image can be provided.

본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 공간상에 투영한 영상에 대한 사용자의 터치 위치를 감지하고, 이 터치 위치 정보를 토대로 사용자가 요구하는 각종 기능들을 실행할 수 있도록 한 공간 투영 및 공간 터치 기능이 구비된 단말 장치 및 그 제어 방법을 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems, and includes a spatial projection for detecting a user's touch position with respect to an image projected onto a space and executing various functions required by the user based on the touch position information. An object of the present invention is to provide a terminal device having a spatial touch function and a control method thereof.

전술한 목적을 달성하기 위해 본 발명의 공간 투영 및 공간 터치 기능이 구비된 단말 장치는 공간상에 영상을 투영하기 위한 디스플레이모듈; 사용자의 지시수단이 상기 공간상에 투영된 영상의 어느 부분에 위치하는지를 인식하는 공간 터치 인식모듈; 사용자가 상기 공간 터치 인식모듈의 인식거리 내에 위치하는지 여부를 감지하는 사용자 위치 감지모듈; 및 상기 사용자 위치 감지모듈에 의해 사용자가 상기 인식거리 내에 위치한 것으로 감지되면 영상을 투영하도록 상기 디스플레이모듈을 제어하고, 상기 공간 터치 인식모듈이 인식한 위치 정보에 해당되는 기능을 수행하는 컴퓨팅모듈을 포함하여 이루어진다.In order to achieve the above object, a terminal device having a spatial projection and a spatial touch function of the present invention includes a display module for projecting an image on a space; A spatial touch recognition module for recognizing which part of the image projected by the user's indicating means is located on the space; A user position sensing module configured to detect whether a user is located within a recognition distance of the spatial touch recognition module; And a computing module configured to control the display module to project an image when the user detects that the user is located within the recognition distance by the user position sensing module, and perform a function corresponding to the position information recognized by the spatial touch recognition module. It is done by

또한, 상기 컴퓨팅모듈은 네트워크를 통해 외부기기와 연결되되, 상기 공간 터치 인식모듈이 인식한 위치 정보를 이용하여 상기 외부기기를 제어하는 것이 될 수 있다.The computing module may be connected to an external device through a network, and control the external device using location information recognized by the spatial touch recognition module.

또한, 상기 사용자 위치 감지모듈은 초음파 센서를 포함하여 구현될 수 있다.In addition, the user position detection module may be implemented including an ultrasonic sensor.

또한, 상기 디스플레이모듈은 3차원 입체영상 또는 2차원 영상을 표시할 수 있다.In addition, the display module may display a 3D stereoscopic image or a 2D image.

본 발명의 공간 투영 및 공간 터치 기능이 구비된 단말 장치의 제어방법은 사용자가 인식거리 내에 위치하는지 여부를 감지하는 단계; 상기 인식거리 내에 사용자가 위치한 경우에는 공간상에 영상을 투영하는 단계; 사용자의 지시수단이 상기 공간상에 투영된 영상의 어느 부분에 위치하는지를 인식하는 단계; 및 상기 인식한 위치 정보에 해당되는 기능을 수행하는 단계를 포함하여 이루어진다.According to an aspect of the present invention, there is provided a method of controlling a terminal device having a spatial projection and a spatial touch function, the method including: detecting whether a user is located within a recognition distance; Projecting an image in space when the user is located within the recognition distance; Recognizing which part of the image projected by the user's indicating means is located on the space; And performing a function corresponding to the recognized location information.

또한, 본 발명의 공간 투영 및 공간 터치 기능이 구비된 단말 장치의 제어방법은, 상기 단말 장치가 네트워크를 통해 외부기기와 연결되되, 상기 인식한 위치 정보를 이용하여 상기 외부기기를 제어하는 단계를 더 포함하여 이루어질 수 있다.In addition, the control method of the terminal device equipped with the spatial projection and the space touch function of the present invention, the terminal device is connected to an external device through a network, the step of controlling the external device using the recognized position information It can be made to include more.

또한, 본 발명의 공간 투영 및 공간 터치 기능이 구비된 단말 장치의 제어방법은 상기 인식거리 밖에 사용자가 위치한 경우에는 2차원 영상을 표시하는 단계를 더 포함하여 이루어질 수 있다.In addition, the method of controlling a terminal device having a spatial projection and a spatial touch function according to the present invention may further include displaying a 2D image when the user is located outside the recognition distance.

또한, 사용자가 인식거리 내에 위치하는지 여부는 초음파 센서를 이용할 수 있다.In addition, whether the user is located within the recognition distance may use an ultrasonic sensor.

본 발명의 공간 투영 및 공간 터치 기능이 구비된 단말 장치 및 그 제어 방법은 사용자들에게 보다 실감나는, 인터렉티브(interactive)한 사용자 인터페이스를 제공할 수 있고, 사용자에게 재미와 편리함을 줄 수 있는 효과가 있다. 따라서, 가까운 장래에 본 발명이 적용된 키오스크들은 이러한 실감형 사용자 인터페이스를 사용하게 될 것이다.The terminal device having the spatial projection and the spatial touch function and the control method thereof according to the present invention can provide users with a more realistic, interactive user interface, and can provide fun and convenience to the user. have. Therefore, in the near future, kiosks to which the present invention is applied will use such a realistic user interface.

이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따라 공간 투영 및 공간 터치 기능이 구비된 단말 장치 및 그 제어 방법에 대해서 상세하게 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail with respect to the terminal device equipped with the spatial projection and spatial touch function and its control method according to an embodiment of the present invention.

도 2는 본 발명의 일 실시예에 따른 공간 투영 및 공간 터치 기능이 구비된 단말 장치의 블록 구성도이다.2 is a block diagram of a terminal device having a spatial projection and a spatial touch function according to an exemplary embodiment of the present invention.

도 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 단말 장치(100)는 공간(20) 상에 영상을 투영하기 위한 디스플레이모듈(120)과, 사용자의 지시수단이 상기 공간상에 투영된 영상의 어느 부분에 위치하는지를 인식하는 공간 터치 인식모듈(110)과, 사용자가 공간 터치 인식모듈(110)의 인식거리 내에 위치하는지 여부를 감지하는 사용자 위치 감지모듈(130)과, 사용자가 인식거리 내에 위치한 것으로 감지되면 영상을 투영하도록 디스플레이모듈(120)을 제어하고, 공간 터치 인식모듈(110)이 인식한 위치 정보에 해당되는 기능을 수행하는 컴퓨팅모듈(140)을 포함하여 이루어진다.As shown in FIG. 2, the terminal device 100 according to an embodiment of the present invention includes a display module 120 for projecting an image on the space 20, and a user's indicating means projecting the space on the space 20. A spatial touch recognition module 110 for recognizing which part of the image is located, a user position detection module 130 for detecting whether the user is located within a recognition distance of the spatial touch recognition module 110, and a user recognition If it is detected to be located within a distance control the display module 120 to project the image, and comprises a computing module 140 for performing a function corresponding to the position information recognized by the spatial touch recognition module 110.

전술한 구성에서, 디스플레이모듈(120)은 임의의 공간상에 3차원 입체영상 예컨대, 오브젝트 및 메뉴 아이콘으로 구성된 선택 키 등의 디스플레이 형상을 투영하는 3차원 디스플레이장치로서, 일명 헬리오디스플레이(heliodisplay)라 하여 IO2 technology사에 제조한 것으로 구현될 수 있다. 또한, 근래에는 2차원 영상과 3차원 입체영상, 둘 다를 표시할 수 있는 2D/3D 겸용 디스플레이장치가 개발되어 상용화되었다. 여기서, 디스플레이모듈(120)에 의해 투영되는 오브젝트 및 메뉴 아이콘은 디스플레이모듈(120)로부터 적어도 5cm 이상 이격되는 것이 바람직하다.In the above-described configuration, the display module 120 is a three-dimensional display device for projecting a display shape such as a three-dimensional stereoscopic image, for example, a selection key composed of an object and a menu icon, in a certain space, which is called a helio display. It can be implemented as manufactured by IO2 technology. In addition, recently, a 2D / 3D combined display device capable of displaying both 2D and 3D stereoscopic images has been developed and commercialized. Here, the object and the menu icon projected by the display module 120 are preferably spaced at least 5 cm from the display module 120.

공간 터치 인식모듈(110)은, 사용자의 지시수단이 디스플레이모듈(120)에 의해 공간상에 투영된 영상의 어느 부분에 위치하는지를 인식하여 이를 3차원 위치 정보로 해석하는 감지부(미도시) 예컨대, 초음파센서를 포함한다. 여기서, 사용자의 지시수단은 사용자의 손끝 및 터치 펜 등을 포함한다. The spatial touch recognition module 110 recognizes which part of an image projected by the display module 120 on the space by the display module 120 and detects it as three-dimensional position information, for example. And ultrasonic sensors. Here, the user's indicating means includes a user's fingertips and a touch pen.

또한, 공간 터치 인식모듈(110)은 전체 디스플레이 영역에 대한 소정영역의 위치 정보를 X, Y, Z 축으로 구분한 공간좌표로 해석한다.In addition, the spatial touch recognition module 110 interprets the position information of the predetermined area of the entire display area as spatial coordinates divided into X, Y, and Z axes.

사용자 위치 감지모듈(130)은 사용자가 공간 터치 인식모듈(110)의 인식 거리 내에 위치하는지를 센싱하는 것으로서, 예컨대 초음파 센서를 포함하여 구현될 수 있다.The user position sensing module 130 senses whether the user is located within a recognition distance of the spatial touch recognition module 110, and may be implemented, for example, by including an ultrasonic sensor.

컴퓨팅모듈(140)은 사용자 위치 감지모듈(130)로부터 상기한 인식 거리 내에 사용자가 위치하고 있음을 나타내는 메시지를 수신하게 되면, 2차원 영상을 3차원 입체 영상으로 전환하도록 디스플레이모듈(120)을 제어하게 된다. 다시 말해, 컴퓨팅모듈(140)은 디스플레이모듈(120)을 제어하여 영상을 투영하도록 한다.When the computing module 140 receives a message indicating that the user is located within the recognition distance from the user location detecting module 130, the computing module 140 controls the display module 120 to convert the 2D image into the 3D stereoscopic image. do. In other words, the computing module 140 controls the display module 120 to project an image.

또한, 컴퓨팅모듈(140)은, 공간 터치 인식모듈(110)이 위치 정보를 출력하게 되면, 이 위치 정보를 기능의 선택으로 인지하여 해당 기능 예컨대, 화면 전환을 수행하게 된다. In addition, when the spatial touch recognition module 110 outputs the location information, the computing module 140 recognizes the location information as a selection of a function and performs a corresponding function, for example, a screen switching.

또한, 컴퓨팅 모듈(140)은 유선 혹은 무선 네트워크를 통해 외부기기와 연결 된다. 그렇다고 한다면, 공간 터치 인식모듈(110)이 인식한 위치 정보를 이용하여 상기 외부기기를 제어할 수 있게 된다. 다시 말해, 상기한 위치 정보가 외부기기에 대한 제어 명령에 해당되는 경우, 외부기기가 해당기능을 수행하도록 한다. 여기서, 외부기기는 네트워크로 연결된 홈네트워크 가전기기 및 서버일 수 있다.In addition, the computing module 140 is connected to an external device through a wired or wireless network. If so, the external device can be controlled using the location information recognized by the spatial touch recognition module 110. In other words, when the location information corresponds to a control command for the external device, the external device performs the corresponding function. Here, the external device may be a home network home appliance and a server connected by a network.

또한, 컴퓨팅모듈(140)은 유선 혹은 무선 네트워크를 통해 서버와 통신하여 서비가 전달한 소프트웨어에 따라 네트워크로 연결된 외부기기를 제어할 수 있다.In addition, the computing module 140 may communicate with a server through a wired or wireless network to control external devices connected to the network according to the software delivered by the service.

도 3은 본 발명의 일 실시예에 따른 공간 투영 및 공간 터치 기능이 구비된 단말 장치의 제어방법을 설명하기 위한 흐름도로서, 위에서 예시한 단말 장치에서 수행될 수 있다.3 is a flowchart illustrating a method for controlling a terminal device having a spatial projection and a spatial touch function according to an embodiment of the present invention, which may be performed in the terminal device illustrated above.

도 3에 도시한 바와 같이, 먼저, 단계 S10에서는 광고 내용을 담은 2차원 영상을 표시한다. 이와 함께, 사용자가 상기한 인식거리 내에 위치하는지 여부를 판단하게 된다(단계 S20).As shown in FIG. 3, first, in step S10, a two-dimensional image including advertisement contents is displayed. At the same time, it is determined whether the user is located within the recognition distance (step S20).

단계 S20에서의 판단 결과, 사용자가 상기한 인식거리 밖에 위치한 경우 즉, 사용자가 인식되지 않는 경우에는 일반 광고를 계속 방영하고 반면, 상기한 인식거리 내에 사용자가 위치한 경우에는 단계 S30으로 진행하여 공간상에 3차원 입체영상을 투영하게 된다. As a result of the determination in step S20, when the user is located outside the above-mentioned recognition distance, that is, when the user is not recognized, the general advertisement continues to be broadcasted. On the other hand, when the user is located within the above-mentioned recognition distance, the process proceeds to step S30 in terms of space. Project a 3D stereoscopic image on the

다음으로, 단계 S40에서는 감지영역 내 즉, 3차원 입체영상이 투영되는 공간(20) 상에 사용자의 지시수단이 존재하는지를 판단한다.Next, in step S40, it is determined whether the user's indicating means exists in the sensing area, that is, in the space 20 where the 3D stereoscopic image is projected.

단계 S40에서의 판단 결과, 사용자의 지시수단이 존재하는 경우에는 단계 S50으로 진행하여 사용자의 지시수단이 공간상에 투영된 영상의 어느 부분에 위치 하는지를 인식하게 된다.As a result of the determination in step S40, if the user's indicating means exists, the flow advances to step S50 to recognize where the user's indicating means is located in the image projected onto the space.

여기서, 단말장치는 위치정보를 X,Y,Z 축에 대한 공간좌표로 해석하고, 해석된 좌표 영역에 대해 지정된 메뉴, 선택 기능 및 선택 외부기기를 파악한다.Here, the terminal device interprets the position information as spatial coordinates for the X, Y, and Z axes, and grasps a menu, a selection function, and a selected external device designated for the analyzed coordinate region.

다음으로, 단계 S60에서는 위치정보가 내부 기능을 수행하도록 하는 것인지, 외부기기를 제어하도록 하는 것인지를 판단한다.Next, in step S60, it is determined whether the location information performs an internal function or controls an external device.

단계 S60에서의 판단 결과, 전자인 경우에는 해당 내부 기능을 수행하고 후자인 경우에는 외부기기가 해당기능을 수행하도록 한다.As a result of the determination in step S60, in the former case, the corresponding internal function is performed, and in the latter case, the external device performs the corresponding function.

본 발명의 공간 투영 및 공간 터치 기능이 구비된 단말 장치 및 그 제어 방법은 전술한 실시 예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위에서 다양하게 변형하여 실시할 수가 있다. 따라서, 본 발명의 보호 범위는 전술한 실시 예에 국한되어서는 아니 되며, 이하의 특허 청구범위의 기재에 의하여 정해져야 할 것이다.The terminal device having the spatial projection and the spatial touch function and the control method thereof according to the present invention are not limited to the above-described embodiments and can be modified in various ways within the scope of the technical idea of the present invention. Therefore, the protection scope of the present invention should not be limited to the above-described embodiment, but should be defined by the following claims.

도 1은 종래, 터치스크린을 구비한 키오스크 장치의 블록 구성도이다.1 is a block diagram of a conventional kiosk device having a touch screen.

도 2는 본 발명의 일 실시예에 따른 공간 투영 및 공간 터치 기능이 구비된 단말 장치의 블록 구성도이다.2 is a block diagram of a terminal device having a spatial projection and a spatial touch function according to an exemplary embodiment of the present invention.

도 3은 본 발명의 일 실시예에 따른 공간 투영 및 공간 터치 기능이 구비된 단말 장치의 제어방법을 설명하기 위한 흐름도이다.3 is a flowchart illustrating a control method of a terminal device having a spatial projection and a spatial touch function according to an exemplary embodiment of the present invention.

*** 도면의 주요 부분에 대한 부호의 설명 ****** Explanation of symbols for the main parts of the drawing ***

10: 키오스크 장치 11: 터치스크린10: kiosk device 11: touch screen

12: 일반 2D 디스플레이모듈 13: 터치스크린 인터페이스모듈12: general 2D display module 13: touch screen interface module

14: 컴퓨팅모듈14: Compute Module

100: 공간 투영 및 공간 터치 기능이 구비된 단말 장치100: terminal device equipped with a spatial projection and spatial touch function

110: 공간 터치 인식모듈 120: 2D/3D 겸용 디스플레이모듈110: spatial touch recognition module 120: 2D / 3D display module

130: 사용자 위치 감지모듈 140: 컴퓨팅모듈130: user position detection module 140: computing module

Claims (9)

공간상에 영상을 투영하기 위한 디스플레이모듈;A display module for projecting an image in space; 사용자의 지시수단이 상기 공간상에 투영된 영상의 어느 부분에 위치하는지를 인식하는 공간 터치 인식모듈;A spatial touch recognition module for recognizing which part of the image projected by the user's indicating means is located on the space; 사용자가 상기 공간 터치 인식모듈의 인식거리 내에 위치하는지 여부를 감지하는 사용자 위치 감지모듈; 및A user position sensing module configured to detect whether a user is located within a recognition distance of the spatial touch recognition module; And 상기 사용자 위치 감지모듈에 의해 사용자가 상기 인식거리 내에 위치한 것으로 감지되면 영상을 투영하도록 상기 디스플레이모듈을 제어하고, 상기 공간 터치 인식모듈이 인식한 위치 정보에 해당되는 기능을 수행하는 컴퓨팅모듈을 포함하여 이루어진 공간 투영 및 공간 터치 기능이 구비된 단말 장치.And a computing module that controls the display module to project an image when the user is detected to be located within the recognition distance by the user position sensing module, and performs a function corresponding to the position information recognized by the spatial touch recognition module. Terminal device equipped with the space projection and the space touch function. 제 1 항에 있어서,The method of claim 1, 상기 컴퓨팅모듈은 네트워크를 통해 외부기기와 연결되되, 상기 공간 터치 인식모듈이 인식한 위치 정보를 이용하여 상기 외부기기를 제어하는 것을 특징으로 하는 공간 투영 및 공간 터치 기능이 구비된 단말 장치.The computing module is connected to an external device through a network, the terminal device equipped with a spatial projection and spatial touch function, characterized in that for controlling the external device using the location information recognized by the spatial touch recognition module. 제 1 항에 있어서,The method of claim 1, 상기 사용자 위치 감지모듈은 초음파 센서를 포함하여 구현되는 것을 특징으로 하는 공간 투영 및 공간 터치 기능이 구비된 단말 장치.The user position detection module is a terminal device having a spatial projection and a space touch function, characterized in that implemented by including an ultrasonic sensor. 제 1 항에 있어서,The method of claim 1, 상기 디스플레이모듈은 3차원 입체영상 또는 2차원 영상을 표시하는 것을 특징으로 하는 공간 투영 및 공간 터치 기능이 구비된 단말 장치.The display module is a terminal device having a spatial projection and a space touch function, characterized in that for displaying a three-dimensional stereoscopic image or a two-dimensional image. 사용자가 인식거리 내에 위치하는지 여부를 감지하는 단계;Detecting whether the user is located within a recognition distance; 상기 인식거리 내에 사용자가 위치한 경우에는 공간상에 영상을 투영하는 단계;Projecting an image in space when the user is located within the recognition distance; 사용자의 지시수단이 상기 공간상에 투영된 영상의 어느 부분에 위치하는지를 인식하는 단계; 및Recognizing which part of the image projected by the user's indicating means is located on the space; And 상기 인식한 위치 정보에 해당되는 기능을 수행하는 단계를 포함하여 이루어진 공간 투영 및 공간 터치 기능이 구비된 단말 장치의 제어 방법.Control method of the terminal device with a spatial projection and spatial touch function comprising the step of performing a function corresponding to the recognized position information. 제 5 항에 있어서,The method of claim 5, 상기 단말 장치는 네트워크를 통해 외부기기와 연결되되,The terminal device is connected to an external device through a network, 상기 인식한 위치 정보를 이용하여 상기 외부기기를 제어하는 단계를 더 포함하여 이루어진 것을 특징으로 하는 공간 투영 및 공간 터치 기능이 구비된 단말 장치의 제어 방법.And controlling the external device by using the recognized position information. The method of claim 1, further comprising controlling the external device. 제 5 항에 있어서,The method of claim 5, 상기 인식거리 밖에 사용자가 위치한 경우에는 2차원 영상을 표시하는 단계를 더 포함하여 이루어진 것을 특징으로 하는 공간 투영 및 공간 터치 기능이 구비된 단말 장치의 제어 방법.If the user is located outside the recognition distance, the method of controlling a terminal device having a spatial projection and a space touch function further comprising the step of displaying a two-dimensional image. 제 5 항에 있어서,The method of claim 5, 사용자가 인식거리 내에 위치하는지 여부는 초음파 센서를 이용하는 것을 특징으로 하는 공간 투영 및 공간 터치 기능이 구비된 단말 장치의 제어 방법.The method of controlling the terminal device equipped with the spatial projection and the spatial touch function, characterized in that the user is located within the recognition distance using an ultrasonic sensor. 제 5 항 내지 제 8 항 중 어느 한 항의 공간 투영 및 공간 터치 기능이 구비된 단말 장치의 제어 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.A computer-readable medium having recorded thereon a program for executing a method of controlling a terminal device having the spatial projection and the spatial touch function according to any one of claims 5 to 8.
KR1020080133930A 2008-12-24 2008-12-24 apparatus having function of space projection and space touch and the controlling method thereof KR101019254B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080133930A KR101019254B1 (en) 2008-12-24 2008-12-24 apparatus having function of space projection and space touch and the controlling method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080133930A KR101019254B1 (en) 2008-12-24 2008-12-24 apparatus having function of space projection and space touch and the controlling method thereof

Publications (2)

Publication Number Publication Date
KR20100075281A true KR20100075281A (en) 2010-07-02
KR101019254B1 KR101019254B1 (en) 2011-03-04

Family

ID=42637669

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080133930A KR101019254B1 (en) 2008-12-24 2008-12-24 apparatus having function of space projection and space touch and the controlling method thereof

Country Status (1)

Country Link
KR (1) KR101019254B1 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101156734B1 (en) * 2010-11-05 2012-06-14 전자부품연구원 Interactive 3d system of table type
KR101296365B1 (en) * 2011-11-17 2013-08-14 재단법인대구경북과학기술원 hologram touch detection method using camera
WO2013129730A1 (en) * 2012-02-28 2013-09-06 주식회사 케이쓰리아이 Server-based system for extracting original object by using user fingertip recognition on augmented screen
WO2013162236A1 (en) * 2012-04-23 2013-10-31 Kim Seok-Joong Transparent display virtual touch apparatus not displaying pointer
KR101356528B1 (en) * 2012-10-18 2014-02-03 엘지전자 주식회사 Device and method for providing a floating image
KR101364133B1 (en) * 2011-06-15 2014-02-21 주식회사 브이터치 Apparatus for 3D using virtual touch and apparatus for 3D game of the same
CN103714483A (en) * 2013-12-15 2014-04-09 谭希妤 Banking service two-dimension code entering method and banking service two-dimension code entering system
WO2015182955A1 (en) * 2014-05-26 2015-12-03 이윤택 Holographic touch technology and projector touch technology
CN107229342A (en) * 2017-06-30 2017-10-03 宇龙计算机通信科技(深圳)有限公司 Document handling method and user equipment
KR102400513B1 (en) * 2020-12-07 2022-05-24 한국전자통신연구원 air screen detector device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105677151A (en) * 2015-12-31 2016-06-15 魅族科技（中国）有限公司 Information display method and terminal

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070037773A (en) * 2005-10-04 2007-04-09 엘지전자 주식회사 Apparatus and method for inputting user command in display device

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101156734B1 (en) * 2010-11-05 2012-06-14 전자부품연구원 Interactive 3d system of table type
KR101364133B1 (en) * 2011-06-15 2014-02-21 주식회사 브이터치 Apparatus for 3D using virtual touch and apparatus for 3D game of the same
KR101296365B1 (en) * 2011-11-17 2013-08-14 재단법인대구경북과학기술원 hologram touch detection method using camera
WO2013129730A1 (en) * 2012-02-28 2013-09-06 주식회사 케이쓰리아이 Server-based system for extracting original object by using user fingertip recognition on augmented screen
WO2013162236A1 (en) * 2012-04-23 2013-10-31 Kim Seok-Joong Transparent display virtual touch apparatus not displaying pointer
KR101343748B1 (en) * 2012-04-23 2014-01-08 주식회사 브이터치 Transparent display virtual touch apparatus without pointer
CN104246664A (en) * 2012-04-23 2014-12-24 维塔驰有限公司 Transparent display virtual touch apparatus not displaying pointer
CN104246664B (en) * 2012-04-23 2017-03-15 维塔驰有限公司 The transparent display virtual touch device of pointer is not shown
KR101356528B1 (en) * 2012-10-18 2014-02-03 엘지전자 주식회사 Device and method for providing a floating image
CN103714483A (en) * 2013-12-15 2014-04-09 谭希妤 Banking service two-dimension code entering method and banking service two-dimension code entering system
WO2015182955A1 (en) * 2014-05-26 2015-12-03 이윤택 Holographic touch technology and projector touch technology
CN107229342A (en) * 2017-06-30 2017-10-03 宇龙计算机通信科技(深圳)有限公司 Document handling method and user equipment
KR102400513B1 (en) * 2020-12-07 2022-05-24 한국전자통신연구원 air screen detector device
US11961270B2 (en) 2020-12-07 2024-04-16 Electronics And Telecommunications Research Institute Air screen detector device

Also Published As

Publication number Publication date
KR101019254B1 (en) 2011-03-04

Similar Documents

Publication Publication Date Title
KR101019254B1 (en) apparatus having function of space projection and space touch and the controlling method thereof
US20200409529A1 (en) Touch-free gesture recognition system and method
US20190250714A1 (en) Systems and methods for triggering actions based on touch-free gesture detection
US9244544B2 (en) User interface device with touch pad enabling original image to be displayed in reduction within touch-input screen, and input-action processing method and program
US9753547B2 (en) Interactive displaying method, control method and system for achieving displaying of a holographic image
US8436832B2 (en) Multi-touch system and driving method thereof
JP6027328B2 (en) Display device and object display method thereof
US20130159940A1 (en) Gesture-Controlled Interactive Information Board
JP2012027515A (en) Input method and input device
KR20130092074A (en) Method and apparatus for controlling of electronic device using a control device
CN105353904B (en) Interactive display system, touch interactive remote controller thereof and interactive touch method
US20150009136A1 (en) Operation input device and input operation processing method
KR101019255B1 (en) wireless apparatus and method for space touch sensing and screen apparatus using depth sensor
US11392237B2 (en) Virtual input devices for pressure sensitive surfaces
US20140168106A1 (en) Apparatus and method for processing handwriting input
CN104407692B (en) Hologram image interactive display method, control method and system based on ultrasound
JP5575027B2 (en) Display-integrated coordinate input device and virtual keyboard function activation method
KR101682527B1 (en) touch keypad combined mouse using thin type haptic module
CN110538460B (en) Mobile device
KR100573895B1 (en) User interface method using 3dimension displaying picture and display device using that method
KR101004671B1 (en) Network Apparatus having Function of Space Projection and Space Touch and the Controlling Method thereof
CN103092491B (en) Method and device for generating control commands and electronic equipment
KR101573287B1 (en) Apparatus and method for pointing in displaying touch position electronic device
JP6074403B2 (en) System, program, and method capable of pointer operation on head mounted display by touch panel type device
KR20200034348A (en) Touchscreen device and method for controlling the same and display apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131231

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150109

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151224

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161229

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20171207

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190527

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20200205

Year of fee payment: 10