KR20110037053A - The user interface apparatus and method for 3d space-touch using multiple imaging sensors - Google Patents

The user interface apparatus and method for 3d space-touch using multiple imaging sensors Download PDF

Info

Publication number
KR20110037053A
KR20110037053A KR1020090094304A KR20090094304A KR20110037053A KR 20110037053 A KR20110037053 A KR 20110037053A KR 1020090094304 A KR1020090094304 A KR 1020090094304A KR 20090094304 A KR20090094304 A KR 20090094304A KR 20110037053 A KR20110037053 A KR 20110037053A
Authority
KR
South Korea
Prior art keywords
output screen
finger
image
point
indicator
Prior art date
Application number
KR1020090094304A
Other languages
Korean (ko)
Other versions
KR101082829B1 (en
Inventor
백문기
Original Assignee
(주)휴비드씨엔에스
백문기
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)휴비드씨엔에스, 백문기 filed Critical (주)휴비드씨엔에스
Priority to KR1020090094304A priority Critical patent/KR101082829B1/en
Publication of KR20110037053A publication Critical patent/KR20110037053A/en
Application granted granted Critical
Publication of KR101082829B1 publication Critical patent/KR101082829B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Abstract

PURPOSE: A three-dimensional space touch input apparatus which uses an image sensor is provided to transmit three-dimensional mapping information and an output screen control signal to an output apparatus. CONSTITUTION: A control unit(200) receives first and second photographing images from first and second image sensors. The control unit analyzes one outline and an RGB value among photographing images. The control unit recognizes the movement of user fingers or a pointer. The control unit transmits an output screen control signal to an output unit(300).

Description

영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법{The user interface apparatus and method for 3D space-touch using multiple imaging sensors}3D space touch input device using image sensor and its method {The user interface apparatus and method for 3D space-touch using multiple imaging sensors}

본 발명은 영상센서를 이용한 3차원 공간 터치 입력장치에 관한 것으로, 보다 상세하게는 출력장치가 출력화면을 출력함에 있어서, 출력화면의 일측 및 그 타측에 영상센서를 구비하고, 출력화면 제어장치가 그 영상센서가 촬영한 촬영영상을 분석하여, 어느 사용자가 그 사용자의 손 또는 지시봉(예컨대, 볼펜, 나무막대 등)을 이용하여 출력화면을 제어하는 출력화면 제어신호(예컨대, 출력화면의 소정영역을 더블클릭 하는 동작 등)를 입력하는 동작을 수행하고 있다고 판단을 하면, 그 출력화면 제어신호와 매핑정보를 생성하여 출력장치에 전송함으로써, 사용자가 별도의 입력장치를 구비하지 않아도, 출력화면을 제어할 수 있고 3차원 입력정보를 제공할 수 있어 사용자에게 편의성을 제공하고, 사용자의 흥미를 배가시키는 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법에 관한 것이다.The present invention relates to a three-dimensional spatial touch input device using an image sensor, and more particularly, in output device outputting an output screen, the image sensor is provided on one side and the other side of the output screen, An output screen control signal (for example, a predetermined area of the output screen) in which a user controls the output screen by analyzing a photographed image captured by the image sensor using a user's hand or an indicator stick (for example, a ballpoint pen or a wooden stick). If it is determined that the user is performing the operation of double-clicking, etc.), the output screen control signal and mapping information are generated and transmitted to the output device, so that the output screen can be displayed even if the user does not have a separate input device. 3rd order using image sensor that can control and provide 3D input information to provide convenience to the user and multiply user's interest Space touch relates to input apparatus and method.

본 발명은 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법에 관한 것이다.The present invention relates to a three-dimensional spatial touch input device using an image sensor and a method thereof.

종래에는 사용자가 프레젠테이션 중에 그 프레젠테이션 화면 중 어느 특정 지정위치를 가리키거나 컴퓨터의 모니터 화면 중 어느 특정 지정위치를 가리키기 위해서는 유무선 키보드와 마우스가 널리 사용된다.Conventionally, a wired / wireless keyboard and a mouse are widely used for a user to point to a specific designated position of the presentation screen or to a specific designated position of the monitor screen of the computer during the presentation.

이때, 마우스는 컴퓨터 화면 위의 어떤 특정 지정위치를 가리키거나, 그 위치로부터 다른 곳으로 이동하기 위해 사용되는 입력장치의 하나로서, 미국의 애플 컴퓨터사가 매킨토시의 표준 입력장치로 개발한 후 기능을 향상시켜가며 컴퓨터 하드웨어의 하나로 널리 사용된다. In this case, the mouse is an input device used to point to a specific designated location on the computer screen or to move from that location to another. It is developed by Apple Computer of the United States as a standard input device of the Macintosh. It is widely used as one of the computer hardware.

그리고 최근에는 마우스와 같은 기능을 수행하는 포인팅(pointing) 장치들이 사용되기도 한다. 그러나 이러한 포인팅 장치들은 출력화면의 특정부분을 가리키기만 할 뿐 입력을 수행할 수는 없다.Recently, pointing devices that perform functions such as a mouse have also been used. However, these pointing devices only point to specific parts of the output screen and cannot perform input.

또한, 최근에는 마우스와 같은 기능을 수행하기 위한 장갑 형태의 입력장치등이 개발되어 사용되기도 한다. 이 장갑 형태의 입력장치는 그 장갑형태의 입력장치를 사용한 사용자가 미리 설정된 공간 상에서 그 장갑형태의 입력장치를 착용하면, 그 장갑을 착용한 손의 움직임(예컨대, 손이 출력화면의 특정 위치를 가리키거나, 클릭하는 움직임 등)을 판단하여 손이 미리 설정된 동작을 하는 경우 포인팅 위치를 잡는 것이다. In addition, recently, a glove-type input device for performing a function such as a mouse has been developed and used. This glove-type input device, when a user using the glove-type input device wears the glove-type input device in a predetermined space, the movement of the hand wearing the glove (for example, the hand moves to a specific position of the output screen). Pointing or clicking) to determine the pointing position when the hand performs a preset motion.

상술된 바와 같이 종래의 마우스를 이용하여 작업을 수행하는 경우에는, 사용자의 움직임이 책상 위에서만 가능하여 공간상의 제약을 받는 문제점이 있다. As described above, when performing a task using a conventional mouse, there is a problem that a user's movement is possible only on a desk and thus is restricted in space.

또한, 종래의 입력장치들은 유무선 마우스 키보드 그리고 장갑형태의 입력장치와 같은 별도의 장치가 꼭 구비되어야 가능하기 때문에 비용이 발생하고, 이러한 장치들은 무선일 경우, 별도의 통신 기능도 가져야 하기 때문에 비용이 발생하며, 사용자가 그 장치를 이용하여 별도의 입력작업을 수행해야 하기 때문에 장애가 있는 사용자가 있다거나, 장치가 없는 사용자는 사용할 수 없어 불편함을 겪는 문제점이 있다.In addition, conventional input devices are expensive because separate devices such as a wired / wireless mouse keyboard and a glove-type input device are required, and these devices have a separate communication function when they are wireless. There is a problem that a user with a disability or a user without a device cannot use it because a user needs to perform a separate input operation using the device.

따라서 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 출력화면의 일측 및 그 타측에 영상센서를 구비하고, 출력화면 제어장치가 그 영상센서가 촬영한 촬영영상을 분석하여, 어느 사용자가 그 사용자의 손가락 또는 지시봉(예컨대, 볼펜, 나무막대 등)을 이용하여 출력화면을 제어하는 출력화면 제어신호(예컨대, 출력화면의 소정영역을 더블클릭 하는 동작 등)를 입력하는 동작을 수행하고 있다고 판단을 하면, 그 출력화면 제어신호와 3차원 매핑정보를 생성하여 출력장치에 전송함으로써, 사용자가 별도의 입력장치를 구비하지 않아도, 출력화면을 제어할 수 있고 3차원 입력정보를 제공할 수 있어 사용자에게 편의성을 제공하고, 사용자의 흥미를 배가시키는 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법을 제공하는 데에 있다.Therefore, the present invention has been made to solve the above-mentioned conventional problems, an object of the present invention is provided with an image sensor on one side and the other side of the output screen, the output screen control device is a photographed image taken by the image sensor By analyzing the output screen control signal (e.g., double-clicking a predetermined area of the output screen) to control the output screen using the user's finger or the indicator bar (for example, a ballpoint pen or a wooden stick). If it is determined that the input operation is performed, the output screen control signal and the 3D mapping information are generated and transmitted to the output device, so that the user can control the output screen without having a separate input device. 3D spatial touch input device using image sensor that can provide input information and provide convenience to the user and increase the user's interest And a method thereof.

상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면, 본 발명은 출력화면의 일측에 설치되어 미리 지정된 구역을 촬영하고, 제1촬영영상을 생성하여 출력화면 제어장치에 전송하는 제1영상센서; 출력화면의 타측에 설치되어 미리 지정된 구역을 촬영하고, 제2촬영영상을 생성하여 출력화면 제어장치에 전송하는 제2영상센서; 출력화면을 제어하는 손가락 동작 데이터 및 지시봉 동작 데이터가 저장되는 저장부; 및 상기 제1촬영영상 및 제2촬영영상을 전송받고, 상기 제1촬 영영상 또는 제2촬영영상 중 어느 하나의 촬영영상의 외곽선 및 RGB값을 분석하여 촬영영상에서 손가락 또는 지시봉을 추출한 뒤, 그 손가락 또는 지시봉의 움직임을 인식하며, 그 손가락 또는 지시봉의 움직임이 상기 저장부에 저장된 출력화면을 제어하는 동작 인가를 판단하고, 출력화면을 제어하는 동작인 경우 그 동작에 대응되는 출력화면 제어신호를 생성하며, 제1촬영영상 및 제2촬영영상에서 각각 눈 및 손가락 또는 지시봉을 추출하고, 그 눈 및 손가락 또는 지시봉의 위치에 근거하여 사용자가 가리키는 출력화면의 매핑포인트를 판단하고, 상기 출력화면 제어신호, 매핑 포인트, 그리고 손가락 또는 지시봉에 의한 3차원 입력 정보를 출력장치에 전송하는 출력화면 제어장치;를 포함한다.According to a feature of the present invention for achieving the object as described above, the present invention is installed on one side of the output screen to shoot a predetermined area, the first image to generate a first photographed image and to transmit to the output screen control device sensor; A second image sensor installed at the other side of the output screen, photographing a predetermined area, and generating a second captured image and transmitting the second captured image to the output screen control apparatus; A storage unit for storing finger motion data and indicator bar motion data for controlling the output screen; And receiving the first and second photographed images, extracting a finger or indicator rod from the photographed image by analyzing an outline and an RGB value of any one of the first photographed image and the second photographed image, Recognizes the movement of the finger or the indicator rod, determines whether the movement of the finger or the indicator rod controls the output screen stored in the storage unit, and when the movement of the finger or the indicator rod controls the output screen, the output screen control signal corresponding to the operation. And extract eye and finger or indicator rods from the first photographed image and the second photographed image, and determine a mapping point of the output screen pointed to by the user based on the position of the eye, finger or indicator rod, and the output screen. And an output screen control device for transmitting the control signal, the mapping point, and the 3D input information by the finger or the indicator bar to the output device. The.

이때, 상기 출력화면 제어장치는, 상기 출력화면을 제어하는 손가락 동작 또는 지시봉 동작이 입력되었다고 판단하는 경우, 상기 출력화면을 제어하는 손가락 동작 또는 지시봉 동작이 입력된 시점의 제1촬영영상 및 제2촬영영상을 가져온 뒤, 상기 제1촬영영상의 외곽선 및 RGB값을 추출하여 사람의 오른쪽 눈, 왼쪽 눈, 그리고 손가락 또는 지시봉 끝 지점의 위치를 판단하고, 그 위치정보를 이용하여 상기 제1촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉 끝 지점의 2차원 좌표값을 구하며, 상기 제2촬영영상의 외곽선 및 RGB값을 추출하여 사람의 오른쪽 눈, 왼쪽 눈, 그리고 손가락 또는 지시봉 끝 지점의 위치를 판단하고, 그 위치정보를 이용하여 상기 제2촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉 끝 지점 2차원 좌표값을 구하며, 제1촬영영상의 오른쪽 눈 2차원 좌표값과 제2촬영영상의 오른쪽 눈 2차원 좌표값을 삼각측량법에 적용하여 오른쪽 눈의 3차원 위치좌표를 구하며, 제1 촬영영상의 왼쪽 눈 2차원 좌표값과 제2촬영영상의 왼쪽 눈 2차원 좌표값을 삼각측량법에 적용하여 왼쪽 눈의 3차원 위치좌표를 구하고, 제1촬영영상의 손가락 또는 지시봉 끝 지점 2차원 좌표값과 제2촬영영상의 손가락 또는 지시봉 끝 지점 2차원 좌표값을 삼각측량법에 적용하여 손가락 또는 지시봉 끝 지점의 3차원 위치좌표를 구하며, 오른쪽 눈의 3차원 위치좌표, 왼쪽 눈의 3차원 위치좌표 중 어느 하나를 제1포인트로 판단하고, 손가락 또는 지시봉의 끝 지점의 3차원 위치좌표를 제2포인트로 판단하며, 상기 제1포인트와 제2포인트를 연결한 연장선과 출력화면이 만나는 포인트를 매핑포인트로 판단하는 것이 바람직하다.In this case, when the output screen control device determines that a finger operation or an indicator bar operation for controlling the output screen is input, the first photographed image and the second photographed image at the time when the finger operation or the indicator bar operation for controlling the output screen is input After importing the photographed image, the contours and RGB values of the first photographed image are extracted to determine the positions of the right eye, the left eye, and the end point of the finger or the indicator rod, and the first photographed image is obtained using the location information. 2D coordinate values of the right eye, the left eye, the end of the finger or the indicator bar, and the outline and the RGB value of the second photographed image are extracted to determine the position of the right eye, the left eye, and the end of the finger or the indicator bar. And determining 2D coordinate values of the right eye, the left eye, the finger, or the end of the indicator bar by using the position information. The three-dimensional position coordinate of the right eye is obtained by applying the two-dimensional coordinate value of the right eye of the image and the two-dimensional coordinate value of the right eye of the second captured image, and the two-dimensional coordinate value of the left eye of the first captured image and the second 3D position coordinates of the left eye are obtained by applying two-dimensional coordinate values of the left eye of the photographed image to the triangulation method, and end points of fingers or indicator rods of the first captured image and end points of fingers or indicator rods of the second captured image By applying two-dimensional coordinates to triangulation, three-dimensional position coordinates of the finger or the point of the end of the pointer are obtained, and one of the three-dimensional position coordinates of the right eye and the three-dimensional position coordinates of the left eye is determined as the first point. Or judging the three-dimensional position coordinate of the end of the indicator rod as a second point, and determining the point where the extension line connecting the first point and the second point meets the output screen as a mapping point. It is preferred.

상기한 바와 같은 목적을 달성하기 위한 본 발명의 다른 특징에 따르면, 본 발명은 (A)출력화면의 일측 및 타측에 설치된 제1영상센서 및 제2영상센서가 지정된 구역을 촬영하고 제1촬영영상 및 제2촬영영상을 출력화면 제어장치에 전송하는 단계; (B)출력화면 제어장치가 상기 (A)단계에 의해 전송받은 제1촬영영상 또는 제2촬영영상의 외곽선 및 RGB값을 분석하여 촬영영상에서 손가락 또는 지시봉을 추출하는 단계; (C)출력화면 제어장치가 상기 (B)단계에 의해 추출된 손가락 또는 지시봉의 움직임을 인식하여 그 손가락 또는 지시봉의 움직임이 미리 설정된 출력화면을 제어하는 동작인지 판단하는 단계; (D)출력화면 제어장치가 상기 (C)단계의 판단결과, 미리 설정된 출력화면을 제어하는 손가락 또는 지시봉의 동작인 경우, 그 동작에 대응되는 출력화면 제어신호를 생성하는 단계; (E)출력화면 제어장치가 상기 (C)단계의 판단결과, 미리 설정된 출력화면을 제어하는 동작인 경우, 그 동작을 한 시점의 제1촬영영상 및 제2촬영영상을 가져온뒤, 그 제1촬영영상 및 제2촬영영 상의 외곽선 및 RGB값을 분석하여 눈 및 손가락 또는 지시봉의 위치를 판단하고, 그 위치에 근거하여 사용자가 가리키는 출력화면의 매핑포인트를 생성하는 단계; 및 (F)출력화면 제어장치가 상기 출력화면 제어신호, 매핑 포인트, 그리고 손가락 또는 지시봉에 의한 3차원 입력 정보를 출력장치에 전송하는 단계;를 포함한다.According to another feature of the present invention for achieving the object as described above, the present invention (A) the first image sensor and the second image sensor installed on one side and the other side of the output screen to the designated area and the first photographed image And transmitting the second captured image to the output screen control device. (B) extracting a finger or indicator rod from the captured image by analyzing an outline and an RGB value of the first captured image or the second captured image transmitted by the output screen controller (A); (C) the output screen controller recognizing the movement of the finger or the indicator rod extracted by the step (B) and determining whether the movement of the finger or the indicator rod controls the preset output screen; (D) generating an output screen control signal corresponding to the operation when the output screen control device is the operation of the finger or the indicator bar that controls the preset output screen as a result of the determination of step (C); (E) In the case where the output screen control device is an operation of controlling the preset output screen as a result of the determination in the step (C), the first screened image and the second captured image of the time point at which the operation is performed are imported, and the first Analyzing the outline and RGB values of the photographed image and the second photographed image to determine the position of the eye, the finger or the indicator rod, and generating a mapping point of the output screen indicated by the user based on the position; And (F) the output screen control device transmitting the output screen control signal, the mapping point, and three-dimensional input information by a finger or an indicator bar to an output device.

이때, 상기 (E)단계는 (E1)출력화면 제어장치가 (C)단계의 판단결과, 미리 설정된 출력화면을 제어하는 손가락 또는 지시봉의 동작인 경우, 그 손가락 또는 지시봉의 동작이 입력된 시점의 제1촬영영상 및 제2촬영영상을 가져오는 단계; (E2)출력화면 제어장치가 상기 (E1)단계에 의해 획득된 제1촬영영상 및 제2촬영영상의 외곽선 및 RGB값을 추출하여 사람의 오른쪽 눈, 왼쪽 눈 그리고 손가락 또는 지시봉 끝 지점의 위치를 판단하는 단계; (E3)출력화면 제어장치가 상기 (E2)단계에 의해 판단된 제1촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉 끝 지점의 위치에 근거하여, 상기 제1촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉 끝 지점 2차원 좌표값을 구하며, (E2)단계에 의해 판단된 제2촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 끝 지점의 위치에 근거하여, 상기 제2촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉 끝 지점 2차원 좌표값을 구하는 단계; (E4)출력화면 제어장치가 제1촬영영상의 오른쪽 눈 2차원 좌표값과 제2촬영영상의 오른쪽 눈 2차원 좌표값을 삼각측량법에 적용하여 오른쪽 눈의 3차원 위치좌표를 구하며, 제1촬영영상의 왼쪽 눈 2차원 좌표값과 제2촬영영상의 왼쪽 눈 2차원 좌표값을 삼각측량법에 적용하여 왼쪽 눈의 3차원 위치좌표를 구하고, 제1촬영영상의 손가락 또는 지시봉 끝 지점 2차원 좌표값과 제2촬영영상의 손가락 또는 지시봉 끝 지점 2차원 좌표값 을 삼각측량법에 적용하여 손가락 또는 지시봉 끝 지점의 3차원 위치좌표를 구하는 단계; 및 (E5)출력화면 제어장치가 오른쪽 눈, 왼쪽 눈의 3차원 위치좌표 중 어느 하나의 지점을 제1포인트로 판단하고, 손가락 또는 지시봉의 끝 지점의 3차원 위치좌표를 제2포인트로 판단하며, 상기 제1포인트와 제2포인트를 연결한 연장선과 출력화면이 만나는 포인트를 매핑포인트로 판단하는 단계;를 포함하는 것이 바람직하다.In this case, in the step (E), when the output screen controller (E1) determines that the finger or the indicator bar controls the preset output screen as a result of the determination in the step (C), Importing a first photographed image and a second photographed image; (E2) The output screen controller extracts the outlines and RGB values of the first and second captured images acquired in step (E1) to determine the position of the right eye, left eye and the end of the finger or indicator rod. Determining; (E3) The right eye and the left eye of the first captured image, based on the position of the right eye, the left eye, the finger, or the end of the indicator bar of the first captured image determined by the output screen controller (E2). 2D coordinates of the finger or the indicator rod end point, and based on the position of the right eye, left eye, and fingertip point of the second captured image determined by the step (E2), the right eye of the second captured image, Obtaining a two-dimensional coordinate value of a left eye, a finger, or an indicator rod end point; (E4) The output screen controller obtains the three-dimensional position coordinates of the right eye by applying triangulation method to the right eye two-dimensional coordinate value of the first captured image and the right eye two-dimensional coordinate value of the second captured image. The left eye 2D coordinates of the image and the left eye 2D coordinates of the second photographed image are applied to the triangulation method to obtain the 3D position coordinates of the left eye, and the 2D coordinates of the finger or indicator bar of the first captured image. Obtaining a three-dimensional position coordinate of a finger or indicator rod end point by applying a two-dimensional coordinate value of the finger or indicator rod end point of the second photographed image to triangulation; And (E5) the output screen controller determines one point of the three-dimensional position coordinates of the right eye and the left eye as the first point, and determines the three-dimensional position coordinate of the end point of the finger or the indicator rod as the second point. And determining a point where the extension line connecting the first point and the second point and the output screen meet as a mapping point.

위에서 설명한 바와 같은 본 발명에 따르면, 본 발명은 출력화면의 일측 및 그 타측에 영상센서를 구비하고, 출력화면 제어장치가 그 영상센서가 촬영한 촬영영상을 분석하여, 어느 사용자가 그 사용자의 손가락 또는 지시봉(예컨대, 볼펜, 나무막대 등)을 이용하여 출력화면을 제어하는 출력화면 제어신호(예컨대, 출력화면의 소정영역을 더블클릭 하는 동작 등)를 입력하는 동작을 수행하고 있다고 판단을 하면, 그 출력화면 제어신호와 3차원 매핑정보를 생성하여 출력장치에 전송함으로써, 사용자가 별도의 입력장치를 구비하지 않아도, 출력화면을 제어할 수 있고 3차원 입력정보를 제공할 수 있어 사용자에게 편의성을 제공하고, 사용자의 흥미를 배가시키는 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법을 제공할 수 있다.According to the present invention as described above, the present invention is provided with an image sensor on one side and the other side of the output screen, the output screen control device analyzes the image taken by the image sensor, a user of the user's finger Alternatively, if it is determined that an operation of inputting an output screen control signal (for example, double-clicking a predetermined region of the output screen) using an indicator rod (for example, a ballpoint pen or a wooden stick) is performed, The output screen control signal and 3D mapping information are generated and transmitted to the output device, so that the user can control the output screen and provide 3D input information without the user having a separate input device. It is possible to provide a three-dimensional spatial touch input device using the image sensor and to increase the interest of the user and a method thereof.

이하에서는 상기한 바와 같은 본 발명에 의한 영상센서를 이용한 입력장치 의 바람직한 실시예를 첨부된 도면을 참고로 하여 상세하게 설명한다.Hereinafter, a preferred embodiment of an input device using an image sensor according to the present invention as described above will be described in detail with reference to the accompanying drawings.

도 1에는 본 발명의 바람직한 실시예에 의한 영상센서를 이용한 3차원 공간 터치 입력장치의 전체구성을 도시한 시스템도가 도시되어 있고, 도 2에는 발명의 바람직한 실시예에 의한 영상센서를 이용한 3차원 공간 터치 입력장치의 내부구성을 도시한 블럭도가 도시되어 있다.1 is a system diagram showing the overall configuration of a three-dimensional space touch input device using an image sensor according to a preferred embodiment of the present invention, Figure 2 is a three-dimensional using the image sensor according to a preferred embodiment of the invention A block diagram showing the internal structure of the spatial touch input device is shown.

도 1 및 도 2를 참조하면, 본 발명은 출력화면(100), 제1영상센서(111), 제2영상센서(113), 출력화면 제어장치(200) 그리고 출력장치(300)를 포함한다.1 and 2, the present invention includes an output screen 100, a first image sensor 111, a second image sensor 113, an output screen control apparatus 200, and an output apparatus 300. .

이때, 출력장치(300)는 출력화면(100)과 연결되고, 출력화면(100)에 소정 영상이 출력되도록 처리한다. 좀 더 구체적으로, 그 출력화면(100)은 스크린 일 수 있고, 출력장치(300)는 빔프로젝터 같은 장비를 이용하여 그 출력화면(100)에 출력장치(300)의 자기화면이 출력되도록 처리할 수 있다. 빔 프로젝터와 같은 장비를 사용하지 않고도, 출력장치(300)와 출력화면을 케이블과 같은 장비로 연결하여 사용할 수도 있다.At this time, the output device 300 is connected to the output screen 100, and processes to output a predetermined image on the output screen 100. More specifically, the output screen 100 may be a screen, and the output device 300 may process the magnetic screen of the output device 300 to be output to the output screen 100 by using a device such as a beam projector. Can be. Even without using a device such as a beam projector, the output device 300 and the output screen may be connected by using a device such as a cable.

제1영상센서(111)는 출력화면(100)의 일측에 설치되어 미리 지정된 구역을 촬영하고, 그 촬영영상을 출력화면 제어장치의 영상수신부(210)에 전송한다.The first image sensor 111 is installed on one side of the output screen 100 to photograph a predetermined area, and transmits the photographed image to the image receiver 210 of the output screen controller.

그리고 제2영상센서(113)는 출력화면(100)의 타측에 설치되어 미리 지정된 구역을 촬영하고, 그 촬영영상을 출력화면 제어장치의 영상수신부(210)에 전송한다.The second image sensor 113 is installed on the other side of the output screen 100 to photograph a predetermined area, and transmits the photographed image to the image receiver 210 of the output screen controller.

한편, 출력화면 제어장치(200)는 저장부(250), 영상수신부(210), 영상분석부(220), 좌표산출부(230), 제어신호 생성부(240)를 포함한다.The output screen controller 200 includes a storage unit 250, an image receiver 210, an image analyzer 220, a coordinate calculator 230, and a control signal generator 240.

저장부(250)에는 출력화면을 제어하는 손가락동작 데이터 또는 지시봉(예컨대, 볼펜, 나무막대 등)동작 데이터가 저장된다. 예컨대, 출력화면을 제어하는 손동작 데이터는 "둘째 손가락만을 뻗은 손모양을 미리 설정된 시간(예컨대;1초)내에 두번 움직이는 경우 더블클릭으로 판단 또는 다섯개의 손가락을 모두 뻗은 손모양을 미리 설정된 시간(예컨대;1초)내에 다섯번 움직이는 경우 화면종료로 판단 또는 지시봉을 미리 설정된 시간(예컨대;1초)내에 두번 움직이는 경우 더블클릭으로 판단" 등이 될 수 있다. 상기 저장부(250)에는 저장되는 데이터의 용량에 따라, 이이피롬(EPROM), 플래쉬메모리, 외장형메모리와 같은 다양한 저장매체가 제공될 수 있다.The storage unit 250 stores finger gesture data or indicator bar (for example, ballpoint pen, wooden stick, etc.) gesture data for controlling the output screen. For example, the hand gesture data for controlling the output screen may be determined by "double-clicking the second finger only within a preset time (e.g., 1 second) or judging by double-clicking or setting the elongated hand of all five fingers. ; 5 seconds within 1 second), the screen may be judged to be finished, or when the indicator rod is moved twice within the preset time (for example, 1 second), it may be determined by double clicking. The storage unit 250 may be provided with various storage media such as an EPROM, a flash memory, or an external memory according to the capacity of data to be stored.

영상수신부(210)는 제1영상센서(111) 및 제2영상센서(113)로부터 각각의 촬영영상을 전송받는다. 이하에서는 설명의 이해를 돕고자 제1영상센서가 촬영한 영상을 제1촬영영상, 제2영상센서가 촬영한 영상을 제2촬영영상이라 하기로 한다.The image receiver 210 receives each captured image from the first image sensor 111 and the second image sensor 113. Hereinafter, to help the understanding of the description, the first image captured by the first image sensor and the image captured by the second image sensor will be referred to as a second image.

그리고 영상분석부(220)는 제1촬영영상 또는 제2촬영영상의 외곽선 및 RGB값을 분석하여 촬영영상 내 손가락 또는 지시봉을 추출한 뒤, 그 손가락 또는 지시봉의 움직임을 인식하며, 손가락 또는 지시봉의 움직임이 상기 저장부에 저장된 출력화면을 제어하는 손가락 또는 지시봉 동작인가를 판단한 뒤, 출력화면을 제어하는 손가락 또는 지시봉 동작인 경우 그 동작에 대응되는 출력화면 제어신호를 생성한 다. 이때, 영상분석부(220)는 촬영영상 내에서 미리 설정된 RGB값(예컨대, 피부색)을 가지고, 미리 설정된 형태(예컨대, 손의 형태)를 가지는 것을 손으로 판단한다. 또한, 영상분석부(220)는 촬영영상 내에서 미리 설정된 형태(예컨대, 가늘고 긴 막대기의 형태)를 가지는 것을 지시봉으로 판단한다. 여기서, 영상분석부(220)가 지시봉을 용이하게 판단하기 위하여, 사용자는 미리 지정된 형태의 지시봉만을 이용하는 것이 바람직하다. 여기서 지시봉은 가늘고 긴 막대기의 형태를 가지는 볼펜, 나무막대인 것이 바람직하나, 다양한 변형과 개작을 할 수 있다는 것이 자명하다. The image analyzer 220 extracts the finger or the indicator rod in the photographed image by analyzing the outline and the RGB value of the first photographed image or the second photographed image, recognizes the movement of the finger or the indicator rod, and moves the finger or the indicator rod. After determining whether it is a finger or indicator bar operation to control the output screen stored in the storage unit, in the case of a finger or indicator bar operation to control the output screen, an output screen control signal corresponding to the operation is generated. In this case, the image analyzer 220 determines by hand that the camera has a predetermined RGB value (eg, skin color) and has a preset shape (eg, a hand shape) in the captured image. In addition, the image analyzer 220 determines that the indicator rod has a predetermined shape (eg, a long, long stick) in the captured image. Here, in order for the image analyzer 220 to easily determine the indicator rod, the user may use only the indicator rod of a predetermined type. Here, it is preferable that the indicator rod is a ballpoint pen or a wooden rod having the shape of a long stick, but it is obvious that various modifications and modifications can be made.

그리고 좌표산출부(230)는 출력화면을 제어하는 손가락 또는 지시봉의 동작이 입력되었다고 판단하는 경우, 그 손가락 또는 지시봉 동작이 입력된 시점의 제1촬영영상 및 제2촬영영상을 가져온 뒤, 그 제1촬영영상의 외곽선 및 RGB값을 추출하여 사람의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉 끝 지점의 위치를 판단하고, 그 위치정보를 이용하여 제1촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉 끝 지점 2차원 좌표값을 구하며, 그 제2촬영영상의 외곽선 및 RGB값을 추출하여 사람의 오른쪽 눈, 왼쪽 눈, 손가락 끝 지점의 위치를 판단하고, 그 위치정보를 이용하여 제2촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉 끝 지점 2차원 좌표값을 구한다.When the coordinate calculation unit 230 determines that an action of a finger or an indicator rod for controlling the output screen is input, the coordinate calculation unit 230 imports a first photographed image and a second photographed image at the time when the finger or indicator rod is input, and then 1Determine the position of the right eye, left eye, finger or indicator rod end point by extracting the outline and RGB values of the captured image, and using the position information, the right eye, left eye, finger or indicator rod of the first captured image 2D coordinates of the end point are obtained, and the position of the right eye, left eye, and finger tip of the person is determined by extracting the outline and RGB values of the second captured image, and using the position information, Find the two-dimensional coordinates of the right eye, left eye, finger, or end of the pointer.

이후, 좌표산출부(230)는 제1촬영영상의 오른쪽 눈 2차원 좌표값과 제2촬영영상의 오른쪽 눈 2차원 좌표값을 삼각측량법에 적용하여 오른쪽 눈의 3차원 위치좌표를 구하며, 제1촬영영상의 왼쪽 눈 2차원 좌표값과 제2촬영영상의 왼쪽 눈 2차원 좌표값을 삼각측량법에 적용하여 왼쪽 눈의 3차원 위치좌표를 구하고, 제1촬영 영상의 손가락 또는 지시봉 끝 지점 2차원 좌표값과 제2촬영영상의 손가락 또는 지시봉 끝 지점 2차원 좌표값을 삼각측량법에 적용하여 손가락 또는 지시봉 끝 지점의 3차원 위치좌표를 구한다.Thereafter, the coordinate calculation unit 230 obtains the three-dimensional position coordinates of the right eye by applying two-dimensional coordinate values of the right eye of the first photographed image and two-dimensional coordinate values of the right eye of the second photographed image to triangulation. The left eye 2D coordinates of the captured image and the left eye 2D coordinates of the second captured image are applied to the triangulation method to obtain the 3D position coordinates of the left eye, and the 2D coordinates of the finger or indicator rod end points of the first captured image. Value and the two-dimensional coordinate value of the finger or indicator rod end point of the second photographed image are applied to triangulation to obtain a three-dimensional position coordinate of the finger or indicator rod end point.

그리고 좌표산출부(230)는 오른쪽 눈, 왼쪽 눈의 3차원 위치좌표 중 어느 하나의 지점을 제1포인트(101)로 판단하고, 손가락 또는 지시봉의 끝 지점의 3차원 위치좌표를 제2포인트(103)로 판단하며, 상기 제1포인트, 제2포인트를 연결한 연장선과 출력화면이 만나는 포인트를 3차원 매핑포인트(107)로 판단하는 것이 바람직하다.The coordinate calculation unit 230 determines one of the three-dimensional position coordinates of the right eye and the left eye as the first point 101, and determines the three-dimensional position coordinates of the end point of the finger or the indicator rod as the second point ( 103), it is preferable to determine the point where the extension line connecting the first point, the second point and the output screen as the three-dimensional mapping point 107.

도 4에는 좌표산출부(230)가 3차원 매핑포인트를 판단하는 것을 설명하는 설명도가 도시되어 있다. 4 is an explanatory diagram illustrating that the coordinate calculation unit 230 determines the 3D mapping point.

도 4를 참조하면, 좌표산출부(230)는 제1촬영영상 및 제2촬영영상에서 획득한 상기 목표물(본 발명에서는 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉 끝지점)의 각각의 2차원 좌표를 스테레오 사진측량법의 삼각측량법에 적용하여 변이영상의 깊이값을 포함하는 공간상의 하나의 3차원 좌표로 변환할 수 있는 것이다.Referring to FIG. 4, the coordinate calculation unit 230 may calculate respective two-dimensional coordinates of the target (in the present invention, the right eye, the left eye, the finger or the indicator rod end point) acquired from the first and second captured images. By applying to the triangulation method of stereophotogrammetry it can be converted to one three-dimensional coordinates in space containing the depth value of the disparity image.

스테레오 사진측량법의 삼각측량법은 [수학식 1]이 사용된다.Equation 1 is used for the triangulation method of the stereoscopic photogrammetry.

Figure 112009060885325-PAT00001
Figure 112009060885325-PAT00001

Figure 112009060885325-PAT00002
Figure 112009060885325-PAT00002

여기서, 제1영상센서에 의해 영상이 맺히는 부분의 좌표를 P1(x1, y1)이라 하고, 제2영상센서에 의해 영상이 맺히는 부분의 좌표를 P2(x2, y2)이라 하며, 원점은 P1 이 위치한 제1영상센서의 중심점이고, Pt(X',Y',Z')는 눈 또는 손가락 끝의 좌표이다.Here, the coordinate of the part where the image is formed by the first image sensor is called P1 (x1, y1), and the coordinate of the part where the image is formed by the second image sensor is called P2 (x2, y2), and the origin is P1. Is the center point of the first image sensor, and Pt (X ', Y', Z ') is the coordinate of the eye or fingertip.

여기서 B는 제1영상센서와 제2영상센서간의 거리를 나타내고, f는 제1영상센서와 제2영상센서의 초점까지의 거리를 나타낸다.Here, B represents a distance between the first image sensor and the second image sensor, f represents a distance to the focus of the first image sensor and the second image sensor.

이하에서는 도 4를 참조하여, 일 예를 들어 출력화면의 매핑포인트를 구하는 것을 설명하기로 한다.Hereinafter, referring to FIG. 4, for example, obtaining a mapping point of an output screen will be described.

우선, [수학식 1]의 (식 1)을 이용하면, Z1, Z2를 구할 수 있다. 또한 눈과 손가락 사이의 거리(이하에서는 'Zd'라고 함)는 [수학식 2]를 이용하여 구할 수 있다.First, using (Equation 1) in [Equation 1], Z1 and Z2 can be obtained. In addition, the distance between the eye and the finger (hereinafter referred to as 'Zd') can be obtained using Equation 2.

Figure 112009060885325-PAT00003
Figure 112009060885325-PAT00003

도 4를 참조하여, Pt(X',Y',Z')를 입력평면(여기서, 입력평면은 가상화면을 의미한다.) 내의 손가락 끝의 좌표 Pt라고 가정하면, 이 3차원 좌표 Pt(X', Y', Z')를 출력평면(여기서, 출력평면은 출력화면을 의미한다.)에 투사시켜 Pt'(x,y)좌표를 구할 수 있는 것이다. 여기서, Pt'(x,y) 좌표값은 [수학식 3]를 이용하여 구할 수 있다. Referring to FIG. 4, assuming that Pt (X ', Y', Z ') is the coordinate Pt of the fingertip in the input plane (where the input plane means a virtualization plane), this three-dimensional coordinate Pt (X ', Y', Z ') can be projected onto the output plane (where the output plane is the output screen) to obtain the Pt' (x, y) coordinates. Here, the Pt '(x, y) coordinate value can be obtained by using Equation 3.

이때, 이 Pt'의 좌표에 투사되는 입력평면 상의 점은 입력평면의 위치가 실시간으로 변하면서 Pt와 Pt' 직선상의 여러 점에 대응될 수 있으나, 각각의 대응점들의 Z'좌표는 다를 것이므로 이를 이용하여 사용자의 3차원 입력정보를 화면 출력장치에 전송하게 된다. 즉, Pt에 의해서 입력되는 2차원 정보인 Pt'로 투사되어 사용되고, 또한 3차원 입력정보인 Pt도 추가적인 활용이 가능해지는 것이다.At this time, the point on the input plane projected to the coordinate of Pt 'may correspond to various points on the Pt and Pt' straight lines as the position of the input plane changes in real time, but since the Z 'coordinates of the corresponding points will be different, The 3D input information of the user is transmitted to the screen output device. In other words, Pt ', which is two-dimensional information input by Pt, is projected and used, and Pt, which is three-dimensional input information, can be further utilized.

Figure 112009060885325-PAT00004
Figure 112009060885325-PAT00004

제어신호 전송부(240)는 상기 영상분석부(220)에 의해 생성된 출력화면 제어신호 및 좌표산출부(230)에 의해 생성된 그 출력화면 제어신호가 발생한 시점의 매핑포인트를 출력장치(300)에 전송한다. 그러면 출력장치(300)는 그 출력화면 제어신호 및 매핑포인트에 따라 출력화면에 출력되는 출력화면이 변경되도록 할 수 있 는 것이다.The control signal transmitter 240 outputs the mapping point at the time point at which the output screen control signal generated by the image analyzer 220 and the output screen control signal generated by the coordinate calculator 230 are generated. To be sent). Then, the output device 300 may change the output screen output on the output screen according to the output screen control signal and the mapping point.

상기한 바와 같은 구성을 가지는 본 발명에 의하면, 본 발명은 출력화면을 제어하는 출력장치가 멀리 떨어져 있거나, 아예 접근이 차단된 공간에 설치되어 있는 경우에 용이하게 사용될 수 있는 장점이 있으며, 또한 출력화면을 제어하기 위한 출력화면 제어신호를 입력받는 입력장치(예컨대, 마우스 등)의 조작이 힘든 장애우에게도 용이하게 사용될 수 있는 장점이 있다.According to the present invention having the configuration as described above, the present invention has an advantage that can be easily used when the output device for controlling the output screen is far away, or installed in a space blocked from access at all, and also the output It is advantageous in that it can be easily used even for a handicapped person who has difficulty in operating an input device (eg, a mouse) that receives an output screen control signal for controlling a screen.

이하에서는 본 발명에 따른 영상센서를 이용한 3차원 공간 터치 입력장치의 동작과정을 첨부된 도면을 참조하여 상세하게 설명하기로 한다.Hereinafter, an operation process of a 3D space touch input device using an image sensor according to the present invention will be described in detail with reference to the accompanying drawings.

출력화면(100)의 일측 및 타측에 설치된 제1영상센서(111) 및 제2영상센서(113)가 지정된 구역을 촬영하여 제1촬영영상 및 제2촬영영상을 생성하고(단계 S100), 그 제1촬영영상 및 제2촬영영상을 출력화면 제어장치(200)의 영상수신부(210)에 전송한다(단계 S110).The first image sensor 111 and the second image sensor 113 installed on one side and the other side of the output screen 100 photograph the designated area to generate the first photographed image and the second photographed image (step S100), and The first photographed image and the second photographed image are transmitted to the image receiving unit 210 of the output screen control apparatus 200 (step S110).

이후, 영상분석부(220)가 단계 S110에 의해 전송받은 제1촬영영상 또는 제2촬영영상의 외곽선 및 RGB값을 분석하여 촬영영상에서 손을 추출하고, 그 추출된 손가락 또는 지시봉의 움직임을 인식하여 그 손가락 또는 지시봉의의 움직임이 미리 설정된 출력화면을 제어하는 동작인지 판단한다(단계 S130).Thereafter, the image analyzer 220 extracts a hand from the photographed image by analyzing an outline and an RGB value of the first photographed image or the second photographed image transmitted in step S110, and recognizes the movement of the extracted finger or indicator rod. Then, it is determined whether the movement of the finger or the indicator rod controls the preset output screen (step S130).

그리고 영상분석부(220)가 단계 S130의 판단결과, 미리 설정된 출력화면을 제어하는 손가락 또는 지시봉의 동작인 경우, 그 동작에 대응되는 출력화면 제어신 호를 생성한다. In addition, when the image analyzing unit 220 determines the operation of the finger or the indicator bar that controls the preset output screen as a result of the determination of step S130, the image analysis unit 220 generates an output screen control signal corresponding to the operation.

한편, 좌표산출부(230)는 단계 S130의 판단결과, 미리 설정된 출력화면을 제어하는 손동작인 경우, 상기 출력화면을 제어하는 손동작이 입력된 시점의 제1촬영영상 및 제2촬영영상을 가져온 뒤, 상기 제1촬영영상의 외곽선 및 RGB값을 추출하여 사람의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉의 끝 지점의 위치를 판단하고, 그 위치정보를 이용하여 상기 제1촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉의 끝 지점 2차원 좌표값을 구하며(단계 S140), 상기 제2촬영영상의 외곽선 및 RGB값을 추출하여 사람의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉의 끝 지점의 위치를 판단하고, 그 위치정보를 이용하여 상기 제2촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉의 끝 지점 2차원 좌표값을 구한다(단계 S150).On the other hand, the coordinate calculation unit 230, when the result of the determination in step S130, the hand gesture to control the preset output screen, and after the first photographed image and the second photographed image of the time when the hand gesture to control the output screen is input And extracting an outline and an RGB value of the first captured image to determine the position of the right eye, the left eye, the end of the finger or the indicator bar, and using the position information, the right eye and the left of the first captured image. A two-dimensional coordinate value of an end point of an eye, a finger, or an indicator rod is obtained (step S140), and the position of an end point of the right eye, left eye, finger, or the indicator rod of the person is determined by extracting the outline and the RGB value of the second photographed image. The two-dimensional coordinate value of the end point of the right eye, the left eye, the finger or the indicator rod of the second captured image is obtained using the position information (step S150).

이후, 좌표산출부(230)는 제1촬영영상의 오른쪽 눈 2차원 좌표값과 제2촬영영상의 오른쪽 눈 2차원 좌표값을 삼각측량법에 적용하여 오른쪽 눈의 3차원 위치좌표를 구하며, 제1촬영영상의 왼쪽 눈 2차원 좌표값과 제2촬영영상의 왼쪽 눈 2차원 좌표값을 삼각측량법에 적용하여 왼쪽 눈의 3차원 위치좌표를 구하고, 제1촬영영상의 손가락 또는 지시봉의 끝 지점 2차원 좌표값과 제2촬영영상의 손가락 또는 지시봉의 끝 지점 2차원 좌표값을 삼각측량법에 적용하여 손가락 또는 지시봉의 끝 지점의 3차원 위치좌표를 구한다.Thereafter, the coordinate calculation unit 230 obtains the three-dimensional position coordinates of the right eye by applying two-dimensional coordinate values of the right eye of the first photographed image and two-dimensional coordinate values of the right eye of the second photographed image to triangulation. Triangulation method is applied to the left eye two-dimensional coordinate value of the captured image and the left eye two-dimensional coordinate value of the second captured image to obtain the three-dimensional position coordinate of the left eye, and to the end point of the finger or indicator rod of the first captured image. The coordinate values and the two-dimensional coordinate values of the end points of the fingers or the indicator rods of the second photographed image are applied to triangulation to obtain the three-dimensional position coordinates of the end points of the fingers or the indicator rods.

그리고 좌표산출부(230)는 오른쪽 눈, 왼쪽 눈의 3차원 위치좌표 중 어느 하나의 지점을 제1포인트로 판단하고, 손가락 또는 지시봉의 끝 지점의 3차원 위치좌표를 제2포인트로 판단하며, 상기 제1포인트, 제2포인트를 연결한 연장선과 출력화 면이 만나는 포인트를 매핑포인트로 판단한다(단계 S160).The coordinate calculation unit 230 determines one of the three-dimensional position coordinates of the right eye and the left eye as the first point, and determines the three-dimensional position coordinate of the end point of the finger or the indicator rod as the second point. The point where the extension line connecting the first point and the second point and the output screen meet is determined as a mapping point (step S160).

이후, 제어신호 생성부(240)는 상기 출력화면 제어신호, 매핑포인트 그리고 손가락 또는 지시봉에 의한 3차원 입력 정보를 그 출력화면을 제어하는 출력장치(300)에 전송한다.Thereafter, the control signal generator 240 transmits the output screen control signal, the mapping point, and the 3D input information by the finger or the indicator bar to the output device 300 that controls the output screen.

본 발명의 권리는 위에서 설명된 실시예에 한정되지 않고 청구범위에 기재된바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.The rights of the present invention are not limited to the embodiments described above, but are defined by the claims, and a person skilled in the art can make various modifications and adaptations within the scope of the claims. It is self-evident.

도 1은 본 발명의 바람직한 실시예에 의한 영상센서를 이용한 3차원 공간 터치 입력장치의 전체구성을 도시한 시스템도.1 is a system diagram showing the overall configuration of a three-dimensional space touch input device using an image sensor according to an embodiment of the present invention.

도 2는 발명의 바람직한 실시예에 의한 영상센서를 이용한 3차원 공간 터치 입력장치의 내부구성을 도시한 블럭도.2 is a block diagram showing the internal configuration of a three-dimensional space touch input device using an image sensor according to a preferred embodiment of the present invention.

도 3은 발명의 바람직한 실시예에 의한 영상센서를 이용한 3차원 공간 터치 입력장치가 동작하는 모습을 도시한 순서도.3 is a flow chart showing a state in which the three-dimensional spatial touch input device using the image sensor according to an embodiment of the present invention.

* 도면의 주요 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings

100 : 출력화면 101 : 제1포인트100: output screen 101: first point

103 : 제2포인트 105 : 가상화면103: second point 105: virtualization screen

110 : 영상센서 200 : 출력화면 제어장치110: image sensor 200: output screen control device

210 : 영상수신부 220 : 영상분석부210: image receiver 220: image analyzer

230 : 좌표산출부 240 : 제어신호 생성부230: coordinate calculation unit 240: control signal generation unit

250 : 저장부 300 : 출력장치250: storage 300: output device

Claims (4)

출력화면의 일측에 설치되어 미리 지정된 구역을 촬영하고, 제1촬영영상을 생성하여 출력화면 제어장치에 전송하는 제1영상센서;A first image sensor installed at one side of the output screen, photographing a predetermined area, and generating a first photographed image and transmitting the first photographed image to an output screen controller; 출력화면의 타측에 설치되어 미리 지정된 구역을 촬영하고, 제2촬영영상을 생성하여 출력화면 제어장치에 전송하는 제2영상센서;A second image sensor installed at the other side of the output screen, photographing a predetermined area, and generating a second captured image and transmitting the second captured image to the output screen control apparatus; 출력화면을 제어하는 손가락 동작 데이터 및 지시봉 동작 데이터가 저장되는 저장부; 및A storage unit for storing finger motion data and indicator bar motion data for controlling the output screen; And 상기 제1촬영영상 및 제2촬영영상을 전송받고, 상기 제1촬영영상 또는 제2촬영영상 중 어느 하나의 촬영영상의 외곽선 및 RGB값을 분석하여 촬영영상에서 손가락 또는 지시봉을 추출한 뒤, 그 손가락 또는 지시봉의 움직임을 인식하며, 그 손가락 또는 지시봉의 움직임이 상기 저장부에 저장된 출력화면을 제어하는 동작 인가를 판단하고, 출력화면을 제어하는 동작인 경우 그 동작에 대응되는 출력화면 제어신호를 생성하며, 제1촬영영상 및 제2촬영영상에서 각각 눈 및 손가락 또는 지시봉을 추출하고, 그 눈 및 손가락 또는 지시봉의 위치에 근거하여 사용자가 가리키는 출력화면의 매핑포인트를 판단하고, 상기 출력화면 제어신호, 매핑 포인트, 그리고 손가락 또는 지시봉에 의한 3차원 입력 정보를 출력장치에 전송하는 출력화면 제어장치;를 포함하는 영상센서를 이용한 3차원 공간 터치 입력장치.After receiving the first photographing image and the second photographing image, and extracting a finger or an indicator rod from the photographing image by analyzing an outline and an RGB value of any one of the first photographing image or the second photographing image, the finger Or recognizing the movement of the indicator rod, and determining whether the movement of the finger or the indicator rod controls the output screen stored in the storage unit, and generating an output screen control signal corresponding to the operation when controlling the output screen. Extracting an eye, a finger, or an indicator rod from the first photographed image and a second photographed image, and determining a mapping point of an output screen indicated by the user based on the position of the eye, finger, or indicator rod, and outputting the control signal And an output screen controller for transmitting 3D input information by a mapping point and a finger or an indicator bar to an output device. 3D spatial touch input device using image sensor. 제1항에 있어서, 상기 출력화면 제어장치는,The apparatus of claim 1, wherein the output screen control device comprises: 상기 출력화면을 제어하는 손가락 동작 또는 지시봉 동작이 입력되었다고 판단하는 경우, When it is determined that a finger gesture or an indicator bar gesture for controlling the output screen is input, 상기 출력화면을 제어하는 손가락 동작 또는 지시봉 동작이 입력된 시점의 제1촬영영상 및 제2촬영영상을 가져온 뒤, 상기 제1촬영영상의 외곽선 및 RGB값을 추출하여 사람의 오른쪽 눈, 왼쪽 눈, 그리고 손가락 또는 지시봉 끝 지점의 위치를 판단하고, 그 위치정보를 이용하여 상기 제1촬영영상의 오른쪽 눈, 왼쪽 눈,손가락 또는 지시봉 끝 지점의 2차원 좌표값을 구하며, After importing the first photographing image and the second photographing image at the time when the finger motion or the indicator bar motion for controlling the output screen is input, the outline and RGB values of the first photographing image are extracted, and the right eye, left eye, And determining the position of the finger or the point of the end of the indicator bar, and using the position information to obtain a two-dimensional coordinate value of the right eye, the left eye, the finger or the point of the end of the indicator bar, 상기 제2촬영영상의 외곽선 및 RGB값을 추출하여 사람의 오른쪽 눈, 왼쪽 눈, 그리고 손가락 또는 지시봉 끝 지점의 위치를 판단하고, 그 위치정보를 이용하여 상기 제2촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉 끝 지점 2차원 좌표값을 구하며, Determining the position of the right eye, the left eye, and the end point of the finger or the indicator rod by extracting the outline and the RGB value of the second captured image, and using the position information, the right eye and the left eye of the second captured image , The two-dimensional coordinates of the finger or pointer end, 제1촬영영상의 오른쪽 눈 2차원 좌표값과 제2촬영영상의 오른쪽 눈 2차원 좌표값을 삼각측량법에 적용하여 오른쪽 눈의 3차원 위치좌표를 구하며, 제1촬영영상의 왼쪽 눈 2차원 좌표값과 제2촬영영상의 왼쪽 눈 2차원 좌표값을 삼각측량법에 적용하여 왼쪽 눈의 3차원 위치좌표를 구하고, 제1촬영영상의 손가락 또는 지시봉 끝 지점 2차원 좌표값과 제2촬영영상의 손가락 또는 지시봉 끝 지점 2차원 좌표값을 삼각측량법에 적용하여 손가락 또는 지시봉 끝 지점의 3차원 위치좌표를 구하며, The three-dimensional coordinates of the right eye are obtained by applying the two-dimensional coordinate values of the right eye of the first photographed image and the two-dimensional coordinate values of the right eye of the second photographed image. 3D position coordinates of the left eye are obtained by applying two-dimensional coordinate values of the left eye of the second captured image to the triangulation method, and the two-dimensional coordinate value of the finger of the first captured image or the end of the indicator rod, Apply the two-dimensional coordinates of the tip of the indicator to triangulation to find the three-dimensional coordinates of the finger or the tip of the indicator. 오른쪽 눈의 3차원 위치좌표, 왼쪽 눈의 3차원 위치좌표 중 어느 하나를 제1 포인트로 판단하고, 손가락 또는 지시봉의 끝 지점의 3차원 위치좌표를 제2포인트로 판단하며, 상기 제1포인트와 제2포인트를 연결한 연장선과 출력화면이 만나는 포인트를 매핑포인트로 판단하는 것을 특징으로 하는 영상센서를 이용한 3차원 공간 터치 입력장치.One of the three-dimensional position coordinates of the right eye and the three-dimensional position coordinates of the left eye is determined as the first point, and the three-dimensional position coordinates of the end point of the finger or the indicator rod are determined as the second point, and the first point and 3D spatial touch input device using an image sensor, characterized in that the point where the extension line connecting the second point and the output screen meet as a mapping point. (A)출력화면의 일측 및 타측에 설치된 제1영상센서 및 제2영상센서가 지정된 구역을 촬영하고 제1촬영영상 및 제2촬영영상을 출력화면 제어장치에 전송하는 단계;(A) photographing the designated area by the first image sensor and the second image sensor installed on one side and the other side of the output screen, and transmitting the first photographed image and the second photographed image to the output screen control device; (B)출력화면 제어장치가 상기 (A)단계에 의해 전송받은 제1촬영영상 또는 제2촬영영상의 외곽선 및 RGB값을 분석하여 촬영영상에서 손가락 또는 지시봉을 추출하는 단계;(B) extracting a finger or indicator rod from the captured image by analyzing an outline and an RGB value of the first captured image or the second captured image transmitted by the output screen controller (A); (C)출력화면 제어장치가 상기 (B)단계에 의해 추출된 손가락 또는 지시봉의 움직임을 인식하여 그 손가락 또는 지시봉의 움직임이 미리 설정된 출력화면을 제어하는 동작인지 판단하는 단계;(C) the output screen controller recognizing the movement of the finger or the indicator rod extracted by the step (B) and determining whether the movement of the finger or the indicator rod controls the preset output screen; (D)출력화면 제어장치가 상기 (C)단계의 판단결과, 미리 설정된 출력화면을 제어하는 손가락 또는 지시봉의 동작인 경우, 그 동작에 대응되는 출력화면 제어신호를 생성하는 단계;(D) generating an output screen control signal corresponding to the operation when the output screen control device is the operation of the finger or the indicator bar that controls the preset output screen as a result of the determination of step (C); (E)출력화면 제어장치가 상기 (C)단계의 판단결과, 미리 설정된 출력화면을 제어하는 동작인 경우, 그 동작을 한 시점의 제1촬영영상 및 제2촬영영상을 가져온 뒤, 그 제1촬영영상 및 제2촬영영상의 외곽선 및 RGB값을 분석하여 눈 및 손가락 또는 지시봉의 위치를 판단하고, 그 위치에 근거하여 사용자가 가리키는 출력화면의 3차원 매핑포인트를 생성하는 단계; 및(E) In the case where the output screen control device is the operation of controlling the preset output screen as a result of the determination in the step (C), the first screened image and the second captured image at the time when the operation is performed, and then the first screen Analyzing the outlines and RGB values of the photographed image and the second photographed image to determine the position of the eye, the finger or the indicator rod, and generating a three-dimensional mapping point of the output screen pointed to by the user based on the position; And (F)출력화면 제어장치가 상기 출력화면 제어신호, 매핑 포인트, 그리고 손가락 또는 지시봉에 의한 3차원 입력 정보를 출력장치에 전송하는 단계;를 포함하는 영상센서를 이용한 3차원 공간 터치 입력장치의 입력방법.(F) an output screen control device transmitting the output screen control signal, the mapping point, and three-dimensional input information by a finger or an indicator bar to an output device; input of the three-dimensional space touch input device using an image sensor Way. 제3항에 있어서, 상기 (E)단계는The method of claim 3, wherein step (E) (E1)출력화면 제어장치가 (C)단계의 판단결과, 미리 설정된 출력화면을 제어하는 손가락 또는 지시봉의 동작인 경우, 그 손가락 또는 지시봉의 동작이 입력된 시점의 제1촬영영상 및 제2촬영영상을 가져오는 단계;(E1) when the output screen controller is the operation of the finger or the indicator bar that controls the preset output screen as a result of the determination in step (C), the first photographed image and the second photographed image at the time when the operation of the finger or the indicator bar is input; Importing an image; (E2)출력화면 제어장치가 상기 (E1)단계에 의해 획득된 제1촬영영상 및 제2촬영영상의 외곽선 및 RGB값을 추출하여 사람의 오른쪽 눈, 왼쪽 눈 그리고 손가락 또는 지시봉 끝 지점의 위치를 판단하는 단계;(E2) The output screen controller extracts the outlines and RGB values of the first and second captured images acquired in step (E1) to determine the position of the right eye, left eye and the end of the finger or indicator rod. Determining; (E3)출력화면 제어장치가 상기 (E2)단계에 의해 판단된 제1촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉 끝 지점의 위치에 근거하여, 상기 제1촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉 끝 지점 2차원 좌표값을 구하며, (E2)단계에 의해 판단된 제2촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 끝 지점의 위치에 근거하여, 상기 제2촬영영상의 오른쪽 눈, 왼쪽 눈, 손가락 또는 지시봉 끝 지점 2차원 좌표값을 구하는 단계;(E3) The right eye and the left eye of the first captured image, based on the position of the right eye, the left eye, the finger, or the end of the indicator bar of the first captured image determined by the output screen controller (E2). 2D coordinates of the finger or the indicator rod end point, and based on the position of the right eye, left eye, and fingertip point of the second captured image determined by the step (E2), the right eye of the second captured image, Obtaining a two-dimensional coordinate value of a left eye, a finger, or an indicator rod end point; (E4)출력화면 제어장치가 제1촬영영상의 오른쪽 눈 2차원 좌표값과 제2촬영영상의 오른쪽 눈 2차원 좌표값을 삼각측량법에 적용하여 오른쪽 눈의 3차원 위치좌표를 구하며, 제1촬영영상의 왼쪽 눈 2차원 좌표값과 제2촬영영상의 왼쪽 눈 2차원 좌표값을 삼각측량법에 적용하여 왼쪽 눈의 3차원 위치좌표를 구하고, 제1촬영영상의 손가락 또는 지시봉 끝 지점 2차원 좌표값과 제2촬영영상의 손가락 또는 지시봉 끝 지점 2차원 좌표값을 삼각측량법에 적용하여 손가락 또는 지시봉 끝 지점의 3차원 위치좌표를 구하는 단계; 및 (E4) The output screen controller obtains the three-dimensional position coordinates of the right eye by applying triangulation method to the right eye two-dimensional coordinate value of the first captured image and the right eye two-dimensional coordinate value of the second captured image. The left eye 2D coordinates of the image and the left eye 2D coordinates of the second photographed image are applied to the triangulation method to obtain the 3D position coordinates of the left eye, and the 2D coordinates of the finger or indicator bar of the first captured image. Obtaining a three-dimensional position coordinate of a finger or indicator rod end point by applying a two-dimensional coordinate value of a finger or indicator rod end point of the second photographed image to triangulation; And (E5)출력화면 제어장치가 오른쪽 눈, 왼쪽 눈의 3차원 위치좌표 중 어느 하나의 지점을 제1포인트로 판단하고, 손가락 또는 지시봉의 끝 지점의 3차원 위치좌표를 제2포인트로 판단하며, 상기 제1포인트와 제2포인트를 연결한 연장선과 출력화면이 만나는 포인트를 매핑포인트로 판단하는 단계;를 포함하는 영상센서를 이용한 3차원 공간 터치 입력장치의 입력방법.(E5) the output screen controller determines one of the three-dimensional position coordinates of the right eye and the left eye as the first point, and determines the three-dimensional position coordinate of the end point of the finger or the indicator rod as the second point, And determining a point where the extension line connecting the first point and the second point and the output screen meet as a mapping point. 3.
KR1020090094304A 2009-10-05 2009-10-05 The user interface apparatus and method for 3D space-touch using multiple imaging sensors KR101082829B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090094304A KR101082829B1 (en) 2009-10-05 2009-10-05 The user interface apparatus and method for 3D space-touch using multiple imaging sensors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090094304A KR101082829B1 (en) 2009-10-05 2009-10-05 The user interface apparatus and method for 3D space-touch using multiple imaging sensors

Publications (2)

Publication Number Publication Date
KR20110037053A true KR20110037053A (en) 2011-04-13
KR101082829B1 KR101082829B1 (en) 2011-11-11

Family

ID=44044587

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090094304A KR101082829B1 (en) 2009-10-05 2009-10-05 The user interface apparatus and method for 3D space-touch using multiple imaging sensors

Country Status (1)

Country Link
KR (1) KR101082829B1 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012154001A2 (en) * 2011-05-12 2012-11-15 Kim Seok-Joong Touch recognition method in a virtual touch device that does not use a pointer
WO2012173373A2 (en) * 2011-06-15 2012-12-20 Kim Seok-Joong 3d device and 3d game device using a virtual touch
WO2013009040A3 (en) * 2011-07-11 2013-03-07 Kim Seok-Joong Remote manipulation device and method using a virtual touch of a three-dimensionally modeled electronic device
WO2013162236A1 (en) * 2012-04-23 2013-10-31 Kim Seok-Joong Transparent display virtual touch apparatus not displaying pointer
WO2013162235A1 (en) * 2012-04-23 2013-10-31 Kim Seok-Joong Apparatus for obtaining virtual 3d object information without requiring pointer
KR101321274B1 (en) * 2012-05-29 2013-11-08 주식회사 브이터치 Virtual touch apparatus without pointer on the screen using two cameras and light source
KR101335394B1 (en) * 2012-02-06 2013-12-03 크레신 주식회사 Screen touch apparatus at long range using 3D position of eyes and pointy object
US9207779B2 (en) 2012-09-18 2015-12-08 Samsung Electronics Co., Ltd. Method of recognizing contactless user interface motion and system there-of
KR101667510B1 (en) * 2016-02-11 2016-10-18 윤일식 Apparatus and Method for controlling the Motion of an Elevator using a Monitor
WO2020184890A1 (en) * 2019-03-11 2020-09-17 주식회사 브이터치 Method and system for supporting object control by using two-dimensional camera, and non-transitory computer-readable recording medium
WO2021118115A1 (en) * 2019-12-10 2021-06-17 주식회사 브이터치 Method and system for supporting object control, and non-transitory computer-readable recording medium

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101453815B1 (en) * 2014-08-01 2014-10-22 스타십벤딩머신 주식회사 Device and method for providing user interface which recognizes a user's motion considering the user's viewpoint
KR101807513B1 (en) 2015-05-13 2017-12-12 한국전자통신연구원 The analysis apparatus and method of user intention using video information in three dimensional space

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012154001A2 (en) * 2011-05-12 2012-11-15 Kim Seok-Joong Touch recognition method in a virtual touch device that does not use a pointer
WO2012154001A3 (en) * 2011-05-12 2013-03-21 Kim Seok-Joong Touch recognition method in a virtual touch device that does not use a pointer
WO2012173373A2 (en) * 2011-06-15 2012-12-20 Kim Seok-Joong 3d device and 3d game device using a virtual touch
WO2012173373A3 (en) * 2011-06-15 2013-02-07 Kim Seok-Joong 3d device and 3d game device using a virtual touch
KR101364133B1 (en) * 2011-06-15 2014-02-21 주식회사 브이터치 Apparatus for 3D using virtual touch and apparatus for 3D game of the same
WO2013009040A3 (en) * 2011-07-11 2013-03-07 Kim Seok-Joong Remote manipulation device and method using a virtual touch of a three-dimensionally modeled electronic device
CN103688236B (en) * 2011-07-11 2017-03-22 维塔驰有限公司 Remote manipulation device and method using a virtual touch of a three-dimensionally modeled electronic device
US9367138B2 (en) 2011-07-11 2016-06-14 VTouch Co., Ltd. Remote manipulation device and method using a virtual touch of a three-dimensionally modeled electronic device
EP2733585A4 (en) * 2011-07-11 2015-01-14 Vtouch Co Ltd Remote manipulation device and method using a virtual touch of a three-dimensionally modeled electronic device
CN103688236A (en) * 2011-07-11 2014-03-26 维塔驰有限公司 Remote manipulation device and method using a virtual touch of a three-dimensionally modeled electronic device
EP2733585A2 (en) * 2011-07-11 2014-05-21 VTouch Co., Ltd. Remote manipulation device and method using a virtual touch of a three-dimensionally modeled electronic device
KR101335394B1 (en) * 2012-02-06 2013-12-03 크레신 주식회사 Screen touch apparatus at long range using 3D position of eyes and pointy object
CN104246664A (en) * 2012-04-23 2014-12-24 维塔驰有限公司 Transparent display virtual touch apparatus not displaying pointer
CN104620201A (en) * 2012-04-23 2015-05-13 维塔驰有限公司 Apparatus for obtaining virtual 3d object information without requiring pointer
KR101533320B1 (en) * 2012-04-23 2015-07-03 주식회사 브이터치 Apparatus for acquiring 3 dimension object information without pointer
WO2013162235A1 (en) * 2012-04-23 2013-10-31 Kim Seok-Joong Apparatus for obtaining virtual 3d object information without requiring pointer
CN104246664B (en) * 2012-04-23 2017-03-15 维塔驰有限公司 The transparent display virtual touch device of pointer is not shown
WO2013162236A1 (en) * 2012-04-23 2013-10-31 Kim Seok-Joong Transparent display virtual touch apparatus not displaying pointer
KR101321274B1 (en) * 2012-05-29 2013-11-08 주식회사 브이터치 Virtual touch apparatus without pointer on the screen using two cameras and light source
US9207779B2 (en) 2012-09-18 2015-12-08 Samsung Electronics Co., Ltd. Method of recognizing contactless user interface motion and system there-of
KR101667510B1 (en) * 2016-02-11 2016-10-18 윤일식 Apparatus and Method for controlling the Motion of an Elevator using a Monitor
WO2017138687A1 (en) * 2016-02-11 2017-08-17 윤일식 Device and method for controlling operation of elevator by using monitor
WO2020184890A1 (en) * 2019-03-11 2020-09-17 주식회사 브이터치 Method and system for supporting object control by using two-dimensional camera, and non-transitory computer-readable recording medium
US11294510B2 (en) 2019-03-11 2022-04-05 VTouch Co., Ltd. Method, system and non-transitory computer-readable recording medium for supporting object control by using a 2D camera
WO2021118115A1 (en) * 2019-12-10 2021-06-17 주식회사 브이터치 Method and system for supporting object control, and non-transitory computer-readable recording medium

Also Published As

Publication number Publication date
KR101082829B1 (en) 2011-11-11

Similar Documents

Publication Publication Date Title
KR101082829B1 (en) The user interface apparatus and method for 3D space-touch using multiple imaging sensors
JP5936155B2 (en) 3D user interface device and 3D operation method
US10007351B2 (en) Three-dimensional user interface device and three-dimensional operation processing method
JP5871345B2 (en) 3D user interface device and 3D operation method
CN105637559B (en) Use the structural modeling of depth transducer
JP5843340B2 (en) 3D environment sharing system and 3D environment sharing method
JP6723061B2 (en) Information processing apparatus, information processing apparatus control method, and program
EP2977924A1 (en) Three-dimensional unlocking device, three-dimensional unlocking method and program
KR101556992B1 (en) 3d scanning system using facial plastic surgery simulation
CN104364733A (en) Position-of-interest detection device, position-of-interest detection method, and position-of-interest detection program
KR20120068253A (en) Method and apparatus for providing response of user interface
JP6344530B2 (en) Input device, input method, and program
JP2015082288A (en) Information processing device and control method of the same
US20150339859A1 (en) Apparatus and method for navigating through volume image
TW201606574A (en) Operation screen display device, operation screen display method, and non-temporary recording medium
US20130187890A1 (en) User interface apparatus and method for 3d space-touch using multiple imaging sensors
JP6127465B2 (en) Information processing apparatus, information processing system, and program
US10798360B2 (en) Information processing system, method for controlling same, and program
WO2019127325A1 (en) Information processing method and apparatus, cloud processing device, and computer program product
KR20150076574A (en) Method and apparatus for space touch
JP2019046096A (en) Information processing device and method thereof
KR20200120467A (en) Head mounted display apparatus and operating method thereof
JP2021131490A (en) Information processing device, information processing method, and program
US20230343052A1 (en) Information processing apparatus, information processing method, and program
RU2693197C2 (en) Universal operator intelligent 3-d interface

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141030

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151109

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161227

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee