KR20110068512A - Apparatus and method input and output in three-dimensional space - Google Patents

Apparatus and method input and output in three-dimensional space Download PDF

Info

Publication number
KR20110068512A
KR20110068512A KR1020090125502A KR20090125502A KR20110068512A KR 20110068512 A KR20110068512 A KR 20110068512A KR 1020090125502 A KR1020090125502 A KR 1020090125502A KR 20090125502 A KR20090125502 A KR 20090125502A KR 20110068512 A KR20110068512 A KR 20110068512A
Authority
KR
South Korea
Prior art keywords
data
image
input
coordinate data
coordinate
Prior art date
Application number
KR1020090125502A
Other languages
Korean (ko)
Inventor
최은정
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090125502A priority Critical patent/KR20110068512A/en
Publication of KR20110068512A publication Critical patent/KR20110068512A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PURPOSE: An input and output apparatus and method in three-dimensional space are provided to enable a user to effectively use a 3D graphics interface or multimedia by providing both tactile sensation and sound effect corresponding to the reaction data. CONSTITUTION: An operation recognition part(103) recognizes 3D space input motion measured by a sensor(102) and creates 3D input coordinate and motion data. An image analysis part(104) analyzes outputted 3D image and creates 3D image coordinate data. A reaction controller(106) creates the mapping results of the input coordinate data and the image coordinate data and the reaction data based on the operation data, and then transmits the 3D image corresponding to the reaction data.

Description

3차원 공간 입출력 장치 및 방법{ APPARATUS AND METHOD INPUT AND OUTPUT IN THREE-DIMENSIONAL SPACE}3D spatial input / output device and method {APPARATUS AND METHOD INPUT AND OUTPUT IN THREE-DIMENSIONAL SPACE}

본 발명은, 3차원 공간에 출력되는 영상과 사용자의 3차원 상의 입력에 대한 상호작용 기술에 관한 것이다. 더욱 자세하게는, 3차원 공간에 출력되는 영상의 좌표와 사용자의 3차원 상의 입력의 좌표를 매핑하고, 입력과 영상의 좌표 상의 매핑 결과와 인식된 입력 동작에 근거하여 새로운 3차원 영상을 출력하는 기술에 관한 것이다.The present invention relates to an interaction technique for inputting an image output in a three-dimensional space and a user's three-dimensional image. More specifically, a technique for mapping the coordinates of the image output in the three-dimensional space and the coordinates of the user's input on the three-dimensional, and outputs a new three-dimensional image based on the mapping result of the input and the coordinate of the image and the recognized input operation It is about.

본 발명은 지식경제부의 사업의 일환으로 수행한 연구로부터 도출된 것이다. [과제명: 비접촉식 멀티포인트 실감 인터랙션 기술 개발]The present invention is derived from a study conducted as part of the Ministry of Knowledge Economy. [Project Name: Development of Contactless Multipoint Realistic Interaction Technology]

컴퓨터 및 유무선 통신망의 발달에 힘입어 멀티미디어 산업의 발전이 가속화되고 있다. 특히, 보급형 컴퓨터 성능의 고급화에 힘입어, 3차원의 그래픽을 이용한 멀티미디어 산업이 확대되고 있다. 또한, 이동통신 수단의 고성능화에 따라서, 3차원 그래픽을 이용한 멀티미디어 산업이 이제는 이동통신 수단에 까지 확장되고 있어, 멀티미디어 산업에 있어서 중요한 이슈가 되고 있다.The development of the multimedia industry is accelerating with the development of computers and wired and wireless communication networks. In particular, thanks to the advancement of low-end computer performance, the multimedia industry using three-dimensional graphics is expanding. In addition, with the high performance of the mobile communication means, the multimedia industry using three-dimensional graphics is now expanding to the mobile communication means, which is an important issue in the multimedia industry.

현재 사용되는 컴퓨터 상의 그래픽 사용자 인터페이스(Graphical User Interface)는 대부분 2차원이다. 하지만 최근, 스마트폰 등 이동 통신 수단의 고성능화에 힘입어, 3차원 그래픽을 이용한 이동통신 수단이 등장하고 있다. 컴퓨터의 그래픽 사용자 인터페이스 또한, 윈도우 비스타 등 3차원의 그래픽을 이용한 그래픽 사용자 인터페이스 또는 멀티미디어 컨텐츠의 보급이 확장되고 있는 추세이다. 그러나 상기 언급한 3차원 그래픽 사용자 인터페이스 또는 멀티미디어 컨텐츠는, 기존 2차원 디스플레이에 2차원 응용 프로그램을 그대로 사용하여, 3차원인 것처럼 보이는 것이 대부분이다.Currently, the graphical user interface on a computer is mostly two-dimensional. Recently, however, thanks to the high performance of mobile communication means such as smart phones, mobile communication means using three-dimensional graphics have emerged. Graphical user interface of computers In addition, the spread of graphic user interfaces or multimedia contents using three-dimensional graphics such as Windows Vista is expanding. However, the above-mentioned three-dimensional graphical user interface or multimedia content is mostly used as a two-dimensional application program on the existing two-dimensional display, and appear to be three-dimensional.

또한, 최근 급격하게 확장되고 있는 기술로서 가상 현실 체험 기술이 있다. 가상 현실 체험 기술은, 사용자가 일정한 출력 수단을 구비하면, 사용자에게 사실적인 출력을 제공하여 실제 생활에서 일어나는 것처럼 느끼게 하는 기술이다. 그러나, 이러한 기술 역시, 사용자는 출력되는 영상을 보기만 할 뿐, 사용자와 3차원 영상간의 상호작용은 존재하지 않는 것이 대부분이며, 또한 그 출력의 형태 또한 제한적인 점이 있었다.In addition, a technology that is rapidly expanding recently is a virtual reality experience technology. Virtual reality experience technology is a technology that, when the user has a certain output means, gives the user a realistic output to make it feel as if it is happening in real life. However, in such a technique, the user only sees the output image, and most of the interactions between the user and the 3D image do not exist, and the form of the output is also limited.

상기 언급한 문제점을 해결하기 위하여, 본 발명은 사용자에게 더욱 다양한 출력을 제공하고, 사용자와 3차원 영상간의 상호작용을 위한 기술을 제공하는 데 그 목적이 있다. 더욱 자세하게는, 사용자와 3차원 영상을 분석하고 이를 매핑하여, 사용자와 3차원 영상의 상호작용을 유도한다. 한편 사용자의 동작을 인식하고 이를 매핑된 결과에 적용시켜, 3차원 영상이 사용자에 의해서 변화되는 모습 또는 3차원 영상에 포함된 다양한 출력(예를 들어 촉각, 음향)들을 제공한다. 이를 통해 사용자에게 향상된 3차원 영상 기술을 제공하는 데 그 목적이 있다.In order to solve the above-mentioned problems, an object of the present invention is to provide a variety of output to the user, and to provide a technology for interaction between the user and the three-dimensional image. In more detail, the user and the 3D image are analyzed and mapped to induce interaction between the user and the 3D image. On the other hand, by recognizing a user's motion and applying it to the mapped result, the 3D image is changed by the user or various outputs (eg, tactile and sound) included in the 3D image are provided. The purpose is to provide improved 3D imaging technology to users.

상기 목적을 달성하기 위하여, 본 발명의 실시 예에 따른 3차원 공간 입출력 장치는, 센서부에 의해 측정된 3차원 공간 입력 동작을 인식하여 3차원의 입력 좌표 데이터 및 동작 데이터를 생성하는 동작 인식부와, 출력되는 3차원 영상을 분석하여 3차원의 영상 좌표 데이터를 생성하는 영상 분석부와, 입력 좌표 데이터와 영상 좌표 데이터를 매핑한 결과 및 동작 데이터에 근거한 반응 데이터를 생성하고 반응 데이터에 대응하는 3차원 영상을 실시간으로 송출하는 반응 제어부를 포함하는 것을 특징으로 한다.In order to achieve the above object, the three-dimensional space input and output device according to an embodiment of the present invention, the motion recognition unit for generating three-dimensional input coordinate data and motion data by recognizing the three-dimensional space input operation measured by the sensor unit And an image analyzer configured to analyze the output 3D image to generate 3D image coordinate data, and generate response data based on a result of mapping input coordinate data and image coordinate data and motion data and corresponding to the response data. It characterized in that it comprises a reaction control unit for transmitting a three-dimensional image in real time.

또한 본 발명의 실시 예에 따른 3차원 공간 입출력 방법은, 동작 인식부가 센서부에 의해 측정된 3차원 공간 입력 동작인 인식하여 3차원의 입력 좌표 데이터 및 동작 데이터를 생성하는 단계; 영상 분석부가 출력되고 있는 3차원 영상을 분석 하여 3차원의 영상 좌표 데이터를 생성하는 단계; 반응 제어부가 입력좌표 데이터와 영상 좌표 데이터를 매핑한 결과 및 동작 데이터에 근거한 반응 데이터를 생성하는 단계; 및 반응 제어부가 반응 데이터에 대응하는 3차원 영상을 실시간으로 송출하는 단계를 포함하는 것을 특징으로 한다.In addition, the three-dimensional space input and output method according to an embodiment of the present invention, the motion recognition unit recognizes that the three-dimensional space input operation measured by the sensor unit to generate three-dimensional input coordinate data and motion data; Generating three-dimensional image coordinate data by analyzing the three-dimensional image output from the image analyzer; Generating, by the reaction controller, response data based on a result of mapping input coordinate data and image coordinate data and motion data; And transmitting, by the reaction controller, a 3D image corresponding to the reaction data in real time.

본 발명의 실시 예에 따른 3차원 공간 입출력 장치 및 방법에 의하면, 사용자는 3차원의 그래픽을 체험하는 데 그치지 않고 3차원 영상과 상호작용할 수 있다. 또한, 사용자에게 영상의 출력뿐 아니라 반응 데이터에 대응하는 촉각, 음향 효과 등 다양한 출력을 함께 제공할 수 있다. 이에 의해서, 사용자는 3차원 그래픽 인터페이스 또는 멀티미디어를 효과적으로 사용할 수 있을 뿐 아니라, 3차원 영상을 활용한 장치 제어 또는 로봇 제어 기술에도 활용할 수 있는 효과가 있다.According to the three-dimensional space input and output device and method according to an embodiment of the present invention, the user can interact with the three-dimensional image, not just experience the three-dimensional graphics. In addition, the user may be provided with various outputs such as tactile and sound effects corresponding to the response data as well as the output of the image. As a result, the user may not only effectively use the 3D graphic interface or the multimedia, but also use the device control or the robot control technology using the 3D image.

이하, 도 1을 참조하여 본 발명의 실시 예에 따른 3차원 공간 입출력 장치에 대해서 설명하기로 한다. 이하의 설명에서 좌표축이 설정되는 공간은, 실제의 공간을 의미할 수 있다. 따라서 실제 공간상에 예를 들어 홀로그램 등을 이용하여 디스플레이되는 3차원 영상에 대한 입력 수단과의 관계는 실제 공간 상에서 이루어질 수 있을 것이다. 하지만 실제 공간 이외에도, 디스플레이 화면 등 본 발명의 기능이 수행될 수 있는 공간이면 어느 공간이라도 가능할 것이다.Hereinafter, a three-dimensional space input and output device according to an embodiment of the present invention will be described with reference to FIG. 1. In the following description, the space where the coordinate axis is set may mean an actual space. Therefore, the relation with the input means for the three-dimensional image displayed on the real space using, for example, a hologram may be made in the real space. However, in addition to the actual space, any space may be used as long as the space in which the functions of the present invention, such as a display screen, can be performed.

도 1은 본 발명의 실시 예에 따른 3차원 공간 입출력 장치에 대한 블록도이다.1 is a block diagram of a three-dimensional space input and output device according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시 예에 따른 3차원 공간 입출력 장치는, 동작 인식부(103), 영상 분석부(104), 및 반응 제어부(106)를 포함한다. 추가적으로, 입출력부(105) 또는 센서부(102)를 포함할 수 있다.Referring to FIG. 1, a three-dimensional spatial input / output device according to an embodiment of the present invention includes a motion recognition unit 103, an image analyzer 104, and a reaction controller 106. In addition, the input / output unit 105 or the sensor unit 102 may be included.

동작 인식부(103)는, 센서부(102)에 의해 측정된 3차원 상의 공간 입력 동작을 인식하여 3차원의 입력 좌표 데이터 및 동작 데이터를 생성하는 기능을 수행한다. 예를 들어 실제 공간(100) 상에서 사람의 손동작을 입력 수단(107)으로 할 때, 손의 위치 및 동작을 인식하여, 손의 위치에 따른 3차원의 입력 좌표 데이터를 생성한다. 또한, 손이 어떤 자세 또는 동작을 취하고 있는지를 인식하여 동작 데이터를 생성한다. 이를 통해서, 소정 좌표 상에서 입력 수단(107)(예를 들어 손)이 어떠한 자세와 동작으로 입력을 수행하는지 인식하는 기능을 수행한다. 본 발명의 실시 예에서 3차원 공간 입력 동작은 입력 수단(107)이 3차원 영상 데이터(101)가 출력되고 있는 공간 상에서 취할 수 있는 모든 동작을 의미할 것이다.The motion recognition unit 103 recognizes a three-dimensional spatial input operation measured by the sensor unit 102 and generates a three-dimensional input coordinate data and motion data. For example, when the hand gesture of the person is the input means 107 on the real space 100, the position and the motion of the hand are recognized, and three-dimensional input coordinate data according to the position of the hand is generated. It also recognizes which posture or action the hand is taking and generates motion data. In this way, the input unit 107 (for example, the hand) performs a function of recognizing which posture and operation are performed on the predetermined coordinates. In the embodiment of the present invention, the 3D space input operation will mean all operations that the input unit 107 can take in the space in which the 3D image data 101 is being output.

센서부(102)는, 상기 언급한 입력 수단(107)의 위치, 자세 또는 동작을 인식할 수 있는 복수의 센서들을 포함할 수 있다. 예를 들어, 일반 촬영장치(예를 들어 카메라), GPS 기능을 포함하는 촬영장치, 적외선 센서, 자기장 센서, 초음파 센서 등이 입력 수단(107)의 위치를 감지하는 데 사용될 수 있다. 이외에도, 별도의 입력수단(예를 들어 적외선 센서가 포함된 글러브형 입력 장치)를 구비하고 이에 센서들을 부착하여 사용자가 착용한 입력 수단(107)의 위치를 감지할 수 있는 센서를 포함할 수 있을 것이다. 입력 수단(107)의 위치를 감지하여 위치 정보를 생성할 수 있는 센서라면 어느 것이나 가능할 것이다.The sensor unit 102 may include a plurality of sensors capable of recognizing the position, posture, or motion of the input means 107 mentioned above. For example, a general photographing apparatus (for example, a camera), an imaging apparatus including a GPS function, an infrared sensor, a magnetic field sensor, an ultrasonic sensor, or the like may be used to detect the position of the input means 107. In addition, it may include a sensor having a separate input means (for example, a glove type input device including an infrared sensor) and attached to the sensor to detect the position of the input means 107 worn by the user. will be. Any sensor capable of detecting the position of the input means 107 and generating position information may be used.

센서부(102)에 포함되는 센서들은, 동작 인식을 수행하는 센서가 될 수 있다. 입력 수단(107)의 자세(또는 제스처) 또는 움직이는 동작을 인식한 정보를 동작 인식부(103)에 전달할 수 있는 센서들이 포함될 것이다. 예를 들어, 3차원 이미지를 생성하는 카메라를 포함하는 영상 촬영 장치, 손가락 굽힘 센서, 자이로 센서 등이 상기 센서에 포함될 수 있을 것이다. 이 외에도, 상기 언급한 별도의 입력 수단(107)에 센서들이 부착되어 있을 수 있다.The sensors included in the sensor unit 102 may be sensors that perform motion recognition. Sensors capable of transmitting the information recognizing the posture (or gesture) or the moving motion of the input means 107 to the motion recognition unit 103 will be included. For example, an image photographing apparatus including a camera for generating a 3D image, a finger bending sensor, a gyro sensor, and the like may be included in the sensor. In addition, the sensors may be attached to the separate input means 107 mentioned above.

동작 인식부(103)는 센서부(102)에 포함된 복수의 센서들로부터 입력 수단(107)의 위치, 자세, 또는 동작 정보를 수신한다. 이후, 영상 분석, GPS 좌표 분석, 자기장 분석, 초음파 데이터 분석 등을 통해, 소정의 3차원 입력 좌표 상에 입력 수단(107)의 위치를 매핑하고, 상기 입력 수단(107)의 위치에 대한 매핑 결과에 근거하여 3차원 공간 입력 좌표 데이터를 생성한다. 3차원 공간 입력 좌표 데이터는, x, y, z 축을 갖는 좌표축에 대한 입력 수단(107)의 위치 데이터를 의미한다. 따라서, 동작 인식부(103)는 센서들의 종류에 따른 센서 정보를 가공하여 좌표 데이터를 생성하는 연산 장치를 포함할 수 있을 것이다.The motion recognition unit 103 receives the position, posture, or motion information of the input means 107 from a plurality of sensors included in the sensor unit 102. Thereafter, the position of the input means 107 is mapped onto a predetermined three-dimensional input coordinate through image analysis, GPS coordinate analysis, magnetic field analysis, ultrasonic data analysis, and the like, and a mapping result with respect to the position of the input means 107. Generate 3D spatial input coordinate data based on. Three-dimensional space input coordinate data means the position data of the input means 107 with respect to the coordinate axis which has x, y, z axes. Accordingly, the motion recognition unit 103 may include an arithmetic device that generates coordinate data by processing sensor information according to types of sensors.

또한, 동작 인식부(103)는 동작 데이터를 생성한다. 동작 데이터는, 상기 언급한 바와 같이 입력 수단(107)의 자세 또는 움직이는 동작을 의미한다. 센서부(102)에 포함된 복수의 센서들의 센서 정보에 근거하여, 입력 수단(107)이 어떠한 동작을 하고 있는지를 인식하게 된다. 동작 데이터에는, 입력 수단(107)의 자세(또는 제스처), 입력 수단(107)의 동작(예를 들어 소정 시간 내에 감지된 위치의 변화)이 포함될 수 있다. 자세의 변화 또한, 동작 데이터에 포함될 수 있을 것이 다.In addition, the motion recognition unit 103 generates motion data. The motion data means a posture or a moving motion of the input means 107 as mentioned above. Based on the sensor information of the plurality of sensors included in the sensor unit 102, it is recognized what kind of operation the input means 107 is performing. The motion data may include a posture (or gesture) of the input means 107 and an operation of the input means 107 (for example, a change in a position sensed within a predetermined time). Changes in posture may also be included in the motion data.

동작 인식부(103)는, 생성된 3차원 입력 좌표 데이터 및 동작 데이터를 반응 제어부(106)에 송신하게 된다.The motion recognition unit 103 transmits the generated three-dimensional input coordinate data and motion data to the reaction control unit 106.

영상 분석부(104)는 입출력부(105)와 연결되어, 현재 출력되고 있는 3차원 영상을 분석하여 3차원의 영상 좌표 데이터를 생성하는 기능을 수행한다. 입출력부(105)는, 현재 출력되고 있는 3차원 영상 데이터를 영상 분석부(104)에 송신하고, 반응 제어부(106)에 의해 생성된 새로운 3차원 영상을 다시 출력하는 기능을 수행한다.The image analyzer 104 is connected to the input / output unit 105 and performs a function of analyzing three-dimensional images currently being output to generate three-dimensional image coordinate data. The input / output unit 105 transmits the currently output 3D image data to the image analysis unit 104 and performs a function of outputting a new 3D image generated by the reaction control unit 106 again.

따라서 입출력부(105)는 실제 공간상에 3차원 영상을 출력하여 사용자가 볼 수 있도록 하는 기능을 포함할 것이다. 따라서, 입출력부(105)는 예를 들어 3차원 영상을 표시하는 레이저 디스플레이 장치를 포함할 수 있을 것이다. 레이저 디스플레이 장치는 예를 들어 리니어 모터 시스템 및 고휘도 적외펄스 레이저를 조합하여 3차원 공간상에 입체 영상을 표현할 수 있는 장치가 될 수 있다. 입출력부(105)는 3차원 영상을 출력하는 기능 이외에도, 3차원 영상 데이터를 영상 분석부에 송신하고, 반응 제어부에 의해 생성된 새로운 3차원 영상 데이터를 수신하는 기능 역시 수행할 것이다.Therefore, the input / output unit 105 may include a function of outputting a 3D image on a real space so that a user can view it. Therefore, the input / output unit 105 may include, for example, a laser display device that displays a 3D image. The laser display device may be, for example, a device capable of expressing a stereoscopic image in a three-dimensional space by combining a linear motor system and a high brightness infrared pulse laser. In addition to the function of outputting the 3D image, the input / output unit 105 may transmit the 3D image data to the image analyzer and receive the new 3D image data generated by the reaction controller.

영상 분석부(104)는 입출력부(105)로부터 현재 출력되고 있는 3차원 영상 데이터를 수신한다. 이후, 수신한 3차원 영상 데이터를 분석하여 3차원 영상을 3차원 좌표 상에 매핑한다. 결과적으로, 영상 분석부(104)는 3차원 영상 데이터가 존재하는 복수의 좌표 데이터를 연산하여 3차원 영상 좌표 데이터를 생성하게 되는 것이 다. 영상 분석부(104)는, 복수의 좌표 데이터 연산시에, 3차원 영상을 분석하여 소정 개수(예를 들어 60개)의 3차원 영상을 대표하는 점들을 설정한다. 그리고 소정 개수의 점에 대한 복수의 좌표 데이터를 연산하게 된다. 이를 통해 3차원 영상 좌표 데이터를 생성하게 되는 것이다. 따라서 3차원 영상 좌표 데이터는 소정 개수의 점에 대한 복수의 좌표 데이터를 포함할 수 있을 것이다.The image analyzer 104 receives 3D image data currently output from the input / output unit 105. Thereafter, the received 3D image data is analyzed to map the 3D image onto 3D coordinates. As a result, the image analyzer 104 generates three-dimensional image coordinate data by calculating a plurality of coordinate data in which the three-dimensional image data exists. The image analyzer 104 analyzes the 3D image and calculates points representing a predetermined number (for example, 60) of the 3D image when calculating a plurality of coordinate data. And a plurality of coordinate data for a predetermined number of points is calculated. Through this, three-dimensional image coordinate data is generated. Therefore, the 3D image coordinate data may include a plurality of coordinate data for a predetermined number of points.

반응 제어부(106)는 동작 인식부(103)로부터 3차원 입력 좌표 데이터와 동작 데이터를 수신한다. 그리고 영상 분석부(104)로부터는 3차원 영상 좌표 데이터를 수신한다. 이후, 반응 제어부(106)는 입력 좌표 데이터, 영상 좌표 데이터, 및 동작 데이터에 근거하여 3차원 영상의 반응 데이터를 생성하고, 반응 데이터에 대응하는 새로운 3차원 영상을 실시간으로 송출하는 기능을 수행한다.The reaction controller 106 receives 3D input coordinate data and motion data from the motion recognition unit 103. The image analyzer 104 receives 3D image coordinate data. Thereafter, the reaction controller 106 generates a response data of the 3D image based on the input coordinate data, the image coordinate data, and the motion data, and performs a function of transmitting a new 3D image corresponding to the response data in real time. .

반응 제어부(106)가 반응 데이터를 생성하는 기능을 수행하는 방법은 다음과 같다. 먼저, 입력 좌표 데이터와 영상 좌표 데이터를 매핑한다. 즉, 입력 좌표 데이터와 영상 좌표 데이터가 설정된 좌표축을 하나로 결합하여, 입력 좌표 데이터와 영상 좌표 데이터를 하나의 좌표축 상에 나타내는 것이다.The reaction controller 106 performs the function of generating the response data as follows. First, input coordinate data and image coordinate data are mapped. That is, the input coordinate data and the image coordinate data are combined into one coordinate axis, and the input coordinate data and the image coordinate data are represented on one coordinate axis.

입력 좌표 데이터가 설정된 좌표축과, 영상 좌표 데이터가 설정된 좌표축, 및 반응 제어부(106)에서 입력 좌표 데이터와 영상 좌표 데이터를 매핑시에 사용하는 좌표축은 본 발명의 실시 예에서 동일한 좌표축이다. 동일한 좌표축이라함은, 동일한 위치 및 방향에 설정된 좌표축을 의미한다. 즉, 반응 제어부(106)는 입력 좌표 데이터와 영상 좌표 데이터를 매핑시에, 좌표축이 조절된 입력 또는 영상 좌표 데이터를 생성할 필요가 없다. 따라서, 반응 제어부(106)는 동작 인식부(103) 및 영상 분석부(104)에서 입력 또는 영상 좌표 데이터를 생성하기 위해 설정된 좌표축과 동일한 좌표축을 저장할 수 있다. The coordinate axis in which the input coordinate data is set, the coordinate axis in which the image coordinate data is set, and the coordinate axis used in mapping the input coordinate data and the image coordinate data by the reaction controller 106 are the same coordinate axes in the embodiment of the present invention. The same coordinate axis means a coordinate axis set at the same position and direction. That is, the reaction control unit 106 does not need to generate input or image coordinate data whose coordinate axes are adjusted when mapping the input coordinate data and the image coordinate data. Accordingly, the reaction controller 106 may store the same coordinate axis as the coordinate axis set for generating input or image coordinate data by the motion recognition unit 103 and the image analyzer 104.

그러나, 본 발명의 다른 실시 예에서는 동작 인식부(103), 영상 분석부(104) 및 반응 제어부(106)에 설정된 좌표축이 서로 동일한 좌표축이 아닐 수 있다. 따라서, 반응 제어부(106)에는 동작 인식부(103) 및 영상 분석부(104)에서 설정된 좌표축에 근거한 입력 또는 영상 좌표 데이터를 수정하는 기능을 더 포함할 수 있다. 반응 제어부(106)에 설정된 좌표축에 대응하도록 입력 또는 영상 좌표 데이터를 수정한다.However, in another embodiment of the present invention, the coordinate axes set in the motion recognition unit 103, the image analyzer 104, and the reaction controller 106 may not be the same coordinate axis. Therefore, the reaction controller 106 may further include a function of correcting input or image coordinate data based on the coordinate axis set by the motion recognition unit 103 and the image analyzer 104. The input or image coordinate data is modified to correspond to the coordinate axis set in the reaction controller 106.

반응 제어부(106)에 의해 입력 또는 영상 좌표 데이터를 하나의 좌표축에 매핑하면, 영상 데이터(101)와 입력 수단(107)의 접촉 여부를 포함한 위치 관계를 판단할 수 있다. 반응 제어부(106)는 영상 데이터(101)와 입력 수단(107)의 위치 관계와, 수신한 동작 데이터에 근거하여 반응 데이터를 생성한다.When the input or image coordinate data is mapped to one coordinate axis by the reaction controller 106, a positional relationship including whether the image data 101 contacts the input means 107 may be determined. The reaction control unit 106 generates reaction data based on the positional relationship between the image data 101 and the input unit 107 and the received operation data.

본 발명의 실시 예에서 반응 데이터는, 영상 데이터(101)의 변화 또는 영상 데이터(101)를 통해 사용자에게 전달되는 감각적 효과에 대한 데이터이다. 반응 데이터에는, 영상 데이터의 위치, 모양, 또는 형태의 변화 및 상기 변화의 연속적인 동작을 포함하여 사용자가 시각적으로 인식할 수 있는 모든 효과에 대한 데이터가 포함될 수 있다. 또한 추가적으로, 사용자가 감지할 수 있는 촉각 효과 데이터 또는 영상 데이터의 시각적 효과에 대응하는 음향 효과 데이터 역시 반응 데이터에 포함될 수 있다.In an embodiment of the present invention, the response data is data about a sensory effect transmitted to the user through the change of the image data 101 or the image data 101. The response data may include data about all effects visually recognizable by the user, including a change in the position, shape, or shape of the image data, and a continuous operation of the change. Additionally, the response data may also include sound effect data corresponding to the visual effect of the tactile effect data or the image data that can be sensed by the user.

따라서 반응 제어부(106)에는, 반응 데이터를 효과별로 데이터베이스화하여 저장하는 기능을 더 포함할 수 있다. 상기 반응 데이터를 데이터베이스화하여 저장하는 저장부(도시되지 않음)가 반응 제어부(106)에 연결되어 있을 수도 있다.Therefore, the reaction control unit 106 may further include a function of storing the reaction data in a database for each effect. A storage unit (not shown) for storing the reaction data in a database may be connected to the reaction control unit 106.

반응 제어부(106)는, 반응 데이터 생성시에, 영상 데이터와 입력 수단(107)의 위치 관계와 동작 데이터에 대응하는 반응 데이터를 저장된 데이터베이스에서 검색하게 된다. 즉, 반응 데이터를 생성한다는 것은, 기 저장된 반응 데이터 중 영상 데이터와 입력 수단(107)의 위치 관계와 동작 데이터에 대응하는 반응 데이터를 검색하는 것을 의미할 수 있다. 물론 새로운 반응 데이터를 상기 위치 관계와 동작 데이터에 매칭하는 기능을 더 포함할 수 있으며, 이 때에는 반응 데이터를 새로 생성하거나, 반응 데이터를 생성하지 않고 현재 출력되는 3차원 영상 데이터에 포함된 효과를 유지할 수 있을 것이다.The reaction control unit 106 retrieves the reaction data corresponding to the positional relationship between the image data and the input unit 107 and the operation data when generating the reaction data from the stored database. That is, generating the response data may mean searching for the response data corresponding to the positional relationship between the image data and the input means 107 and the operation data among the previously stored reaction data. Of course, the method may further include a function of matching the new response data with the positional relationship and the motion data, in which case the effects included in the currently output 3D image data may be maintained without generating new response data or generating the response data. Could be.

반응 제어부(106)는 반응 데이터가 생성되면 반응 데이터에 대응하는 새로운 3차원 영상 데이터를 생성한다. 반응 데이터에 포함된 복수의 효과들을 반영하여, 현재 출력되고 있는 3차원 영상 데이터를 변환한 3차원 영상 데이터를 생성한다. 그리고 입출력부(105)를 통해 3차원 영상 데이터를 실제 공간상에 실시간으로 출력하여, 사용자는 일련의 반응 효과를 포함하는 3차원 영상 데이터를 체험할 수 있는 것이다.When the reaction data is generated, the reaction controller 106 generates new 3D image data corresponding to the reaction data. The 3D image data obtained by converting the 3D image data currently being output is generated by reflecting a plurality of effects included in the response data. The 3D image data is output in real time through the input / output unit 105 in real time, and the user can experience the 3D image data including a series of reaction effects.

도 2는 반응 제어부(106)에서의 입력 좌표 데이터와 영상 좌표 데이터를 비교한 것을 간략하게 도시한 것이다.FIG. 2 illustrates a brief comparison of input coordinate data and image coordinate data in the reaction controller 106.

도 2를 참조하면, 영상 데이터(201)은 제1 공간(200a) 내에 존재하게 된다. 영상 데이터(201)는 복수개 존재할 수 있다. 제1 공간(200a)은 예를 들어, 입출력 부(105)의 레이저 디스플레이 장치에 의해 표현될 수 있는 공간을 의미한다. 제1 공간(200a)내에 존재하는 영상 데이터(201)를 영상 분석부(104)가 분석하여 영상 좌표 데이터가 생성된다. 영상 좌표 데이터 생성시에는, 영상 분석부(104)에 저장된 제1 좌표축(204a)에 근거하여 영상 좌표 데이터가 생성된다. 상기 언급한 바와 같이, 영상 좌표 데이터는 영상 데이터(201)를 대표하는 소정 개수의 점들의 좌표 데이터를 포함할 수 있다.Referring to FIG. 2, the image data 201 is present in the first space 200a. There may be a plurality of image data 201. The first space 200a means, for example, a space that can be represented by the laser display device of the input / output unit 105. The image analysis unit 104 analyzes the image data 201 existing in the first space 200a to generate image coordinate data. When generating image coordinate data, image coordinate data is generated based on the first coordinate axis 204a stored in the image analyzer 104. As mentioned above, the image coordinate data may include coordinate data of a predetermined number of points representing the image data 201.

입력 수단(202)은 제2 공간(200b) 내에 존재한다. 제2 공간(200a)은 본 발명의 실시 예에서 제1 공간(200a)과 일치한다. 제2 공간(200a) 내에 존재하는 입력 수단(202)의 위치를 동작 인식부(103)가 분석하여 입력 좌표 데이터를 생성하게 된다. 입력 좌표 데이터는 도 2에서는 입력 수단(202)인 손의 가운데 손가락 끝(203)이 위치하는 좌표 데이터를 의미한다. 그러나, 본 발명의 실시 예에서는 상기 영장 좌표 데이터와 마찬가지로, 입력 수단(202)을 대표하는 소정 개수(예를 들어 60개)의 점들의 좌표 데이터를 포함할 수 있다. 동작 인식부(103)에 설정된 제2 좌표축(204b)는 본 발명의 실시 예에서 제1 좌표축(204a)와 일치한다. 그러나 상기 언급한 바와 같이 제1 좌표축과 제2 좌표축은 다를 수도 있다.The input means 202 is present in the second space 200b. The second space 200a corresponds to the first space 200a in an embodiment of the present invention. The motion recognition unit 103 analyzes the position of the input means 202 existing in the second space 200a to generate input coordinate data. The input coordinate data refers to the coordinate data where the middle finger tip 203 of the hand, which is the input means 202, is located in FIG. 2. However, in the exemplary embodiment of the present invention, like the warrant coordinate data, the coordinate data of the predetermined number (for example, 60 points) representing the input means 202 may be included. The second coordinate axis 204b set in the motion recognition unit 103 coincides with the first coordinate axis 204a in the embodiment of the present invention. However, as mentioned above, the first coordinate axis and the second coordinate axis may be different.

반응 제어부(106)는 입력 좌표 데이터와 영상 좌표 데이터를 매핑하게 된다. 즉, 제1 좌표축 및 제2 좌표축과 동일한 좌표축이 반응 제어부(106)에 저장되어 있으므로, 반응 제어부는 좌표축에 영상 좌표 데이터 및 입력 좌표 데이터를 매핑한다. 매핑 결과에 의해서 영상 좌표 데이터와 입력 좌표 데이터가 일치하는 점이 있는 것으로 판단되는 경우, 이에 대응하는 반응 데이터를 검색하고, 검색된 반응 데 이터에 대응하는 소정의 효과를 포함한 새로운 영상 데이터를 출력하게 되는 것이다. 반응 데이터 검색시에는, 동작 데이터 역시 검색 조건에 포함될 수 있을 것이다. 영상 좌표 데이터와 입력 좌표 데이터가 일치하는 점이 없는 경우에도, 동작 데이터와 영상 좌표 데이터와 입력 좌표 데이터의 위치 관계에 대응하는 반응 데이터가 존재할 수 있을 것이다.The reaction controller 106 maps the input coordinate data and the image coordinate data. That is, since the same coordinate axis as the first coordinate axis and the second coordinate axis is stored in the reaction controller 106, the reaction controller maps the image coordinate data and the input coordinate data to the coordinate axis. If it is determined that there is a point where the image coordinate data and the input coordinate data match by the mapping result, the corresponding response data is searched and new image data including a predetermined effect corresponding to the retrieved reaction data is output. . In the response data search, the motion data may also be included in the search condition. Even when the image coordinate data and the input coordinate data do not coincide with each other, there may be reaction data corresponding to the positional relationship between the motion data and the image coordinate data and the input coordinate data.

도 3은, 본 발명의 실시 예에 따른 영상 데이터 출력의 예를 도시한 것이다.3 illustrates an example of image data output according to an exemplary embodiment of the present invention.

도 3을 참조하면, 소정의 공간(300) 내에 영상 데이터(301)가 입출력부(105)에 의해 출력되고 있다. 센서부(102)에 의해 입력 수단(302)의 위치 또는 움직임이 감지되면, 동작 인식부(103)는 입력 수단(302)에 관한 입력 좌표 데이터 및 동작 데이터를 생성한다. 이와 동시에 영상 분석부(104)는 현재 출력되고 있는 영상 데이터(301)의 영상 좌표 데이터를 생성한다. 반응 제어부는 입력 좌표 데이터 및 동작 데이터에 근거하여 입력 수단(302)이 영상 데이터(301) 쪽으로 움직이고 있으며, 영상 데이터와 입력 수단(302)이 접촉하는 지 여부를 판단하게 된다.Referring to FIG. 3, image data 301 is output by the input / output unit 105 in a predetermined space 300. When the position or movement of the input means 302 is detected by the sensor unit 102, the motion recognition unit 103 generates input coordinate data and motion data regarding the input means 302. At the same time, the image analyzer 104 generates image coordinate data of the image data 301 currently being output. The reaction controller determines whether the input means 302 is moving toward the image data 301 based on the input coordinate data and the operation data, and whether the image data is in contact with the input means 302.

반응 제어부(106)는 입력 수단(302)이 영상 데이터(301)에 접촉하기까지 입력 수단(302)과 영상 데이터(301)의 위치 및 동작 관계에 대응하는 반응 데이터를 실시간으로 생성하게 된다. 입력 수단(302)이 영상 데이터(301)를 때리는 순간, 영상 데이터(301)가 반응하는 방향으로 움직이면서 형태가 변하는 반응 데이터가 생성된다. 반응 데이터에 대응하는 새로운 출력, 즉 실시간으로 오른쪽으로 움직이면서 형태가 휘는 새로운 영상 데이터(303)의 움직임에 대한 출력이 이루어지게 된다.The reaction control unit 106 generates the reaction data corresponding to the position and the operation relationship between the input unit 302 and the image data 301 in real time until the input unit 302 contacts the image data 301. The moment the input means 302 hits the image data 301, the reaction data is changed in shape as it moves in the direction in which the image data 301 reacts. The new output corresponding to the response data, that is, the output of the movement of the new image data 303, which bends while moving to the right in real time, is made.

도 4는, 본 발명의 실시 예에 따른 3차원 공간 입출력 방법에 대한 플로우 차트이다. 도 4에 대한 설명에서는 상기 언급한 3차원 공간 입출력 장치에 대한 설명과 중복되는 부분은 생략하기로 한다.4 is a flowchart illustrating a three-dimensional space input and output method according to an embodiment of the present invention. In the description of FIG. 4, portions overlapping with the description of the above-described three-dimensional space input / output device will be omitted.

도 4를 참조하면, 본 발명의 실시 예에 따른 3차원 공간 입출력 방법은, 사용자가 입력 수단(예를 들어 사람의 손)을 통해 동작을 입력하면, 동작 인식부(103)가 센서부(102)의 감지 정보를 통해 입력 좌표 데이터 및 동작 데이터를 생성하는 단계(S1)가 수행된다. 사용자가 입력 수단을 통해 동작을 입력한다는 것은, 영상 데이터가 존재하는 소정의 공간(예를 들어 레이저 디스플레이가 출력하는 영상의 범위) 내에 입력 수단이 존재하게 되는 경우를 의미할 것이다. Referring to FIG. 4, in the three-dimensional space input / output method according to an exemplary embodiment of the present disclosure, when a user inputs an operation through an input means (for example, a human hand), the motion recognition unit 103 may include a sensor unit 102. Step S1 of generating input coordinate data and motion data through the sensed information of) is performed. The user inputting an operation through the input means will mean a case where the input means exists in a predetermined space (eg, the range of the image output by the laser display) in which the image data exists.

S1 단계의 수행과 동시에, 즉 입력 수단의 동작 입력이 개시되면, 영상 분석부(104)는 3차원 영상 데이터를 분석하여 영상 좌표 데이터를 생성하는 단계(S2)를 수행한다. 반응 제어부(106)는 생성된 영상 좌표 데이터, 입력 좌표 데이터, 및 동작 데이터 중 하나 이상을 입력 받고, 영상 좌표 데이터와 입력 좌표 데이터를 매핑한다(S3). 즉 본 발명의 실시 예에서는 손동작과 영상을 매핑하는 것이다.Simultaneously with the execution of the step S1, that is, when the operation input of the input means is started, the image analyzer 104 analyzes the 3D image data to generate the image coordinate data (S2). The reaction controller 106 receives one or more of the generated image coordinate data, input coordinate data, and motion data, and maps the image coordinate data and the input coordinate data (S3). That is, in the embodiment of the present invention, the hand gesture and the image are mapped.

S3 단계가 수행되면, 반응 제어부(106)는 영상 좌표 데이터와 입력 좌표 데이터의 매핑 결과 및 동작 데이터에 근거하여 반응 데이터를 생성하는 단계(S4)를 수행한다. S4 단계는 상기 언급한 바와 같이 미리 반응 제어부(106) 또는 반응 제어부(106)에 연결된 저장부에 저장된 반응 데이터을 검색하는 것이다. 검색의 기준은, 상기 언급한 바와 같이 영상 좌표 데이터와 입력 좌표 데이터의 매핑 결과 및 동작 데이터이다.When the step S3 is performed, the reaction control unit 106 generates a response data based on the mapping result and the motion data of the image coordinate data and the input coordinate data (S4). In step S4, as described above, the reaction data stored in advance in the reaction control unit 106 or the storage unit connected to the reaction control unit 106 are retrieved. The criteria of the search are the mapping result and the motion data of the image coordinate data and the input coordinate data as mentioned above.

반응 제어부(106)는 이후 반응 데이터에 대응하여 효과를 발휘하는 새로운 3차원 영상 데이터를 생성하게 되며(S5), 이후 입출력부(105)를 통해서 실제 공간상에 반응 데이터에 대응하는 새로운 3차원 영상 데이터를 출력하게 된다.The reaction control unit 106 generates new three-dimensional image data exerting an effect corresponding to the reaction data (S5), and then the new three-dimensional image corresponding to the reaction data on the real space through the input / output unit 105. Will output the data.

상기 언급한 본 발명의 실시 예에 따른 3차원 공간 입출력 장치 및 방법에 대한 설명은 오로지 설명적인 용도로만 사용되어야 할 것이며, 특허청구범위를 제한해서는 안 될 것이다. 또한, 본 발명의 실시 예 이외에도, 본 발명과 동일한 기능을 수행하는 균등한 발명 역시 본 발명의 권리 범위에 포함될 것임은 당연할 것이다.Description of the above-described three-dimensional space input and output device and method according to an embodiment of the present invention should be used only for explanatory purposes and should not limit the claims. In addition, in addition to the embodiment of the present invention, it will be obvious that the equivalent invention that performs the same function as the present invention will be included in the scope of the present invention.

도 1은 본 발명의 실시 예에 따른 3차원 공간 입출력 장치에 대한 블록도이다.1 is a block diagram of a three-dimensional space input and output device according to an embodiment of the present invention.

도 2는 반응 제어부(106)에서의 입력 좌표 데이터와 영상 좌표 데이터를 비교한 것을 간략하게 도시한 것이다.FIG. 2 illustrates a brief comparison of input coordinate data and image coordinate data in the reaction controller 106.

도 3은, 본 발명의 실시 예에 따른 영상 데이터 출력의 예를 도시한 것이다.3 illustrates an example of image data output according to an exemplary embodiment of the present invention.

도 4는, 본 발명의 실시 예에 따른 3차원 공간 입출력 방법에 대한 플로우 차트이다.4 is a flowchart illustrating a three-dimensional space input and output method according to an embodiment of the present invention.

Claims (1)

센서부에 의해 측정된 3차원 공간 입력 동작을 인식하여 3차원의 입력 좌표 데이터 및 동작 데이터를 생성하는 동작 인식부와,A motion recognition unit recognizing a three-dimensional space input motion measured by the sensor unit to generate three-dimensional input coordinate data and motion data; 출력되는 3차원 영상을 분석하여 3차원의 영상 좌표 데이터를 생성하는 영상 분석부와,An image analyzer for analyzing the output 3D image and generating 3D image coordinate data; 상기 입력 좌표 데이터와 상기 영상 좌표 데이터를 매핑한 결과 및 상기 동작 데이터에 근거한 반응 데이터를 생성하고 상기 반응 데이터에 대응하는 3차원 영상을 실시간으로 송출하는 반응 제어부를 포함하는 것을 특징으로 하는 3차원 공간 입출력 장치.And a reaction controller configured to generate response data based on the result of mapping the input coordinate data and the image coordinate data and the motion data and to transmit a 3D image corresponding to the response data in real time. I / O device.
KR1020090125502A 2009-12-16 2009-12-16 Apparatus and method input and output in three-dimensional space KR20110068512A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090125502A KR20110068512A (en) 2009-12-16 2009-12-16 Apparatus and method input and output in three-dimensional space

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090125502A KR20110068512A (en) 2009-12-16 2009-12-16 Apparatus and method input and output in three-dimensional space

Publications (1)

Publication Number Publication Date
KR20110068512A true KR20110068512A (en) 2011-06-22

Family

ID=44400748

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090125502A KR20110068512A (en) 2009-12-16 2009-12-16 Apparatus and method input and output in three-dimensional space

Country Status (1)

Country Link
KR (1) KR20110068512A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10001841B2 (en) 2015-02-05 2018-06-19 Electronics And Telecommunications Research Institute Mapping type three-dimensional interaction apparatus and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10001841B2 (en) 2015-02-05 2018-06-19 Electronics And Telecommunications Research Institute Mapping type three-dimensional interaction apparatus and method

Similar Documents

Publication Publication Date Title
EP3997552B1 (en) Virtual user interface using a peripheral device in artificial reality environments
CN110753899B (en) Displacement orientation interaction in computer-mediated reality
JP5936155B2 (en) 3D user interface device and 3D operation method
EP3629129A1 (en) Method and apparatus of interactive display based on gesture recognition
JP5871345B2 (en) 3D user interface device and 3D operation method
CN105659295B (en) For indicating the method for point of interest in the view of true environment on the mobile apparatus and for the mobile device of the method
JP6057396B2 (en) 3D user interface device and 3D operation processing method
JP6288372B2 (en) Interface control system, interface control device, interface control method, and program
KR101082829B1 (en) The user interface apparatus and method for 3D space-touch using multiple imaging sensors
EP2879098A1 (en) Three-dimensional environment sharing system, and three-dimensional environment sharing method
EP2814000A1 (en) Image processing apparatus, image processing method, and program
CN105593787A (en) Systems and methods of direct pointing detection for interaction with digital device
Lu et al. Immersive manipulation of virtual objects through glove-based hand gesture interaction
EP3036718A1 (en) Approaches for simulating three-dimensional views
KR102057531B1 (en) Mobile devices of transmitting and receiving data using gesture
EP3118722B1 (en) Mediated reality
WO2017021902A1 (en) System and method for gesture based measurement of virtual reality space
US20150339859A1 (en) Apparatus and method for navigating through volume image
KR20130068191A (en) 3d interface device and method based motion tracking of user
KR101338958B1 (en) system and method for moving virtual object tridimentionally in multi touchable terminal
KR20190048810A (en) Apparatus and method for providing augmented reality contents
JPWO2014054317A1 (en) User interface device and user interface method
WO2019127325A1 (en) Information processing method and apparatus, cloud processing device, and computer program product
KR20110068512A (en) Apparatus and method input and output in three-dimensional space
KR20150048608A (en) Smart device with touchless controlling operation function and the control method of using the same

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination