KR200452031Y1 - Recognition system for selecting menu using space touch - Google Patents

Recognition system for selecting menu using space touch Download PDF

Info

Publication number
KR200452031Y1
KR200452031Y1 KR2020080010743U KR20080010743U KR200452031Y1 KR 200452031 Y1 KR200452031 Y1 KR 200452031Y1 KR 2020080010743 U KR2020080010743 U KR 2020080010743U KR 20080010743 U KR20080010743 U KR 20080010743U KR 200452031 Y1 KR200452031 Y1 KR 200452031Y1
Authority
KR
South Korea
Prior art keywords
user
motion
camera
selection menu
movement
Prior art date
Application number
KR2020080010743U
Other languages
Korean (ko)
Other versions
KR20100001851U (en
Inventor
정순철
이성호
Original Assignee
(주)티원시스템즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)티원시스템즈 filed Critical (주)티원시스템즈
Priority to KR2020080010743U priority Critical patent/KR200452031Y1/en
Publication of KR20100001851U publication Critical patent/KR20100001851U/en
Application granted granted Critical
Publication of KR200452031Y1 publication Critical patent/KR200452031Y1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Abstract

본 고안에 따른 공간 터치를 이용한 선택 메뉴 인식 시스템은, 사용자에 의해 선택되는 적어도 하나의 선택 메뉴 영역이 화면 상에 구성되는 영상을 출력하며, 사용자가 출력 영상을 시각적으로 인지하되 화면을 직접 터치할 수 없도록 이격되어 설치되는 디스플레이 장치와, 사용자의 손동작을 검출, 추적, 인식하는 동작인식 카메라와, 및 상기 동작인식 카메라의 촬영 영상을 수신하여, 사용자의 손동작 영역을 추출하고 상기 사용자의 손동작의 움직임 벡터를 연산하여, 상기 선택 메뉴 영역과 대응되는 좌표 영역을 지정한 경우 상기 선택 메뉴가 선택되는 것으로 처리하는 제어 장치를 포함한다.In the selection menu recognition system using the space touch according to the present invention, at least one selection menu area selected by the user outputs an image configured on the screen, and the user visually recognizes the output image but directly touches the screen. A display device that is spaced apart from each other, a motion recognition camera that detects, tracks, and recognizes a user's hand gesture, and receives a captured image of the motion recognition camera, extracts a user's hand region, and moves the user's hand gesture. And a control device which processes the selection menu as being selected when a coordinate region corresponding to the selection menu region is designated by calculating a vector.

공간 터치, 카메라, 인식 Space touch, camera, recognition

Description

공간 터치를 이용한 선택 메뉴 인식 시스템{RECOGNITION SYSTEM FOR SELECTING MENU USING SPACE TOUCH}Select menu recognition system using spatial touch {RECOGNITION SYSTEM FOR SELECTING MENU USING SPACE TOUCH}

본 고안은 카메라를 통해 얻어진 영상을 이용한 손동작 검출, 추적, 및 인식을 통해 해당 좌표를 인식하는 공간 터치를 이용한 선택 메뉴 인식 시스템에 관한 것이다.The present invention relates to a selection menu recognition system using a spatial touch for recognizing a corresponding coordinate through hand gesture detection, tracking, and recognition using an image obtained through a camera.

터치 스크린은 일반 모니터 화면에 덧붙여져 있는 터치 패널(touch pannel)을 일컫는다. 정전 용량 터치 패널을 기준으로 설명하자면, 터치 패널은 유리판과 필름막이 겹쳐진 모양새를 하고 있고 여기에는 미약한 전압이 걸린다. 스크린 표면에 접촉 등 힘이 가해지면 전극막이 눌리면서 전위차(전기신호)가 발생하며, 전위차가 발생한 지점의 좌표가 컴퓨터로 입력된다. 적외선 방식의 터치스크린도 있다. 터치 패널 안에 적외선을 흐르게 해 화면에 수많은 사각형 격자가 생기도록 함으로써, 물체가 격자에 닿으면 위치를 파악하는 방식이다. The touch screen refers to a touch panel attached to a general monitor screen. Referring to the capacitive touch panel, the touch panel has a shape in which a glass plate and a film film are overlapped, and a slight voltage is applied thereto. When a force such as a contact is applied to the screen surface, the electrode film is pressed to generate a potential difference (electrical signal), and the coordinates of the point where the potential difference occurs are input to the computer. There is also an infrared touch screen. Infrared light flows through the touch panel to create a number of rectangular grids on the screen.

기존의 터치 스크린은 한 순간에 오로지 하나의 접촉만을 인지하는 단점이 있었다. 그러나 최근에는 '멀티 터치'라는 신기술이 나왔다. 여러 손가락을 동시에 눌러도 두 군데의 신호를 터치 스크린이 인지하는 기술이다. Conventional touch screens have the disadvantage of recognizing only one contact at a time. Recently, however, a new technology called 'multi-touch' has emerged. The touch screen recognizes two signals even when multiple fingers are pressed at the same time.

멀티 터치 기능은 애플사가 출시한 신개념의 휴대전화 '아이폰'에 탑재돼 화제를 모았다. 아이폰은 내장된 디지털카메라로 사진을 찍은 뒤 손가락 두 개를 터치 스크린 상의 이미지에 갖다 대고 당기는 방법으로 사진의 크기를 조절할 수 있다. 터치 스크린을 씌우지 않고도 터치 스크린 기능을 구현하는 제품이 나왔다. LCD모니터의 패널을 손가락으로 접촉하면 거기에 비친 그림자 위치를 좌표로 읽어내는 기술이 그것이다. 이 제품의 경우 LCD모니터에 터치 스크린을 덧씌울 필요가 없어 원가 절감은 물론이고 두께도 25% 정도 줄일 수 있다는 장점이 있다. The multi-touch function was put on the new concept mobile phone 'iPhone' released by Apple. The iPhone can be resized by taking a picture with the built-in digital camera and then pulling two fingers to the image on the touch screen. There is a product that implements the touch screen function without covering the touch screen. When you touch the panel of the LCD monitor with your finger, it is a technology that reads the shadow position reflected by the coordinates. This product does not need to add a touch screen to the LCD monitor, which can reduce costs and reduce thickness by 25%.

터치 스크린과 화이트 보드가 결합된 제품 '액티브 보드'가 개발되었다. 액티브 보드는 대형 모니터로 활용되는 스크린 위에 글씨를 마음대로 썼다가 지웠다가 할 수 있는 신개념의 칠판이다. 강의 내용을 파워포인트로 만들어 액티브보드에 띄워놓고 칠판에 글씨를 쓰듯 내용을 변경하거나 수정하면서 강의를 진행할 수 있다.The product 'Active Board', which combines a touch screen and a white board, has been developed. The active board is a new concept of blackboard that can be written and erased freely on the screen used as a large monitor. You can make a lecture PowerPoint and put it on an active board, and then change or modify the contents as if writing on a blackboard.

하지만, 이러한 터치 스크린에서는 사용자가 직접 화면을 터치하기 때문에 장치의 오염, 성능 저하, 혹은 파손 등의 문제점이 야기된다.However, in such a touch screen, the user directly touches the screen, causing problems such as contamination of the device, degradation of performance, or damage.

본 고안의 목적은 실내에 설치된 디스플레이장치에서 출력되는 화면에 구성되는 선택메뉴를 쇼윈도우 밖에서도 선택할 수 있도록 하기 위하여, 사용자가 직접 화면을 터치하지 않는 공간 터치를 통한 선택 메뉴 인식 시스템을 제공하는 데 있다.An object of the present invention is to provide a selection menu recognition system through a space touch that the user does not touch the screen in order to be able to select the selection menu configured on the screen output from the display device installed in the room outside the show window. have.

본 고안에 따른 공간 터치를 이용한 선택 메뉴 인식 시스템은, 사용자에 의해 선택되는 적어도 하나의 선택 메뉴 영역이 화면상에 구성되는 영상을 출력하며, 사용자가 출력 영상을 시각적으로 인지하되 화면을 직접 터치할 수 없도록 이격되어 설치되는 디스플레이 장치; 사용자의 손동작을 검출, 추적, 인식하는 동작인식 카메라; 및 상기 동작인식 카메라의 촬영 영상을 수신하여, 사용자의 손동작 영역을 추출하고 상기 사용자의 손동작의 움직임 벡터를 연산하여, 상기 선택 메뉴 영역과 대응되는 좌표 영역을 지정한 경우 상기 선택 메뉴가 선택되는 것으로 처리하는 제어 장치;를 포함한다.In the selection menu recognition system using the space touch according to the present invention, at least one selection menu area selected by the user outputs an image configured on the screen, and the user visually recognizes the output image but directly touches the screen. Display devices spaced apart from each other; A motion recognition camera for detecting, tracking, and recognizing a user's hand gesture; And receiving the captured image of the motion recognition camera, extracting a user's hand gesture region, calculating a motion vector of the user's hand gesture, and designating a coordinate region corresponding to the selection menu region. It includes; a control device.

실시 예에 있어서, 상기 디스플레이 장치는 쇼윈도우를 사이에 두고 사용자와 이격되어 설치되며, 사용자는 상기 디스플레이 장치의 화면 상에 포함된 선택 메뉴를 선택하기 위해 상기 쇼윈도우를 간접적으로 터치하는 것을 특징으로 한다.The display apparatus may be installed spaced apart from a user with a show window interposed therebetween, and the user may indirectly touch the show window to select a selection menu included on a screen of the display apparatus. do.

실시 예에 있어서, 상기 제어 장치는, 상기 동작인식 카메라로부터 촬영된 영상을 수신하는 카메라 영상 수신부; 상기 선택 메뉴 영역의 좌표 정보를 저장하는 저장부; 및 사용자의 손동작 영역을 추출하고 상기 손동작의 움직임 벡터를 연산하며, 상기 연산결과 상기 선택 메뉴 영역과 대응되는 좌표 영역을 지정한 경우 상기 선택 메뉴가 선택된 것으로 제어하는 제어부;를 포함한다.The control device may include a camera image receiving unit configured to receive an image captured by the motion recognition camera; A storage unit which stores coordinate information of the selection menu area; And a controller configured to extract a user's hand gesture region, calculate a motion vector of the hand gesture, and control the selection menu to be selected when a coordinate region corresponding to the selection menu region is designated as a result of the calculation.

실시 예에 있어서, 상기 제어 장치는, 상기 디스플레이 장치로 영상을 출력하는 영상 출력부; 및 상기 출력 영상을 저장하는 저장부;를 더 포함하여 이루질 수도 있다.The control apparatus may include an image output unit configured to output an image to the display apparatus; And a storage unit which stores the output image.

실시 예에 있어서, 상기 제어 장치는, 상기 동작인식 카메라로부터 움직임 영상을 수신하여, 입력 영상의 윤곽선을 추출한 후, 현재 프레임을 기준으로 과거 프레임을 비교한 차이를 구하여 움직임 벡터를 산출하고 움직임 좌표를 구하는 것을 특징으로 한다.The control device may receive a motion image from the motion recognition camera, extract a contour of an input image, calculate a motion vector by obtaining a difference comparing a past frame based on a current frame, and calculate a motion coordinate. It is characterized by obtaining.

또한, 상기 동작인식 카메라는, 움직임이 검출되는 경우 카메라의 움직임을 정지시키고 연속되는 적어도 두 개 이상의 프레임을 촬영하여 상기 제어 장치로 전송하며, 상기 제어 장치는, 상기 동작인식 카메라부터 수신된 각 프레임의 차이를 구해 움직임 영역을 제한함으로써 카메라의 움직임을 결정하는 것이 바람직하다.In addition, the motion recognition camera stops the movement of the camera when motion is detected and captures at least two consecutive frames and transmits them to the control device, wherein the control device receives each frame received from the motion recognition camera. It is desirable to determine the movement of the camera by obtaining the difference of and limiting the movement area.

실시 예에 있어서, 상기 동작인식 카메라는, 움직임이 검출되는 경우 카메라의 움직임을 정지시키고 연속되는 적어도 두 개 이상의 프레임을 촬영하여 상기 제어 장치로 전송하며, 상기 제어 장치는, 상기 동작인식 카메라부터 수신된 각 프레임의 차이를 구해 손동작 영역을 제한하여 추출하는 것을 특징으로 한다.In example embodiments, the motion recognition camera may stop the movement of the camera when motion is detected and capture at least two consecutive frames and transmit the same to the control device, wherein the control device receives the motion recognition camera from the motion recognition camera. It is characterized by extracting by limiting the hand motion area by obtaining the difference of each frame.

실시 예에 있어서, 상기 동작인식 카메라는, 적어도 하나 이상의 위치에 적 어도 하나 이상이 설치되며, 상기 사용자의 움직임을 검출하고, 상기 검출된 사용자의 움직임에서 손동작의 움직임을 검출하고 인식하는 것을 특징으로 한다.In at least one of the motion recognition cameras, at least one or more positions are installed, the motion detection camera detects the movement of the user, and detects and recognizes the movement of the hand motion from the detected movement of the user. do.

실시 예에 있어서, 상기 디스플레이 장치는, 사용자의 선택으로 혹은 인식된 사용자에 키에 따라 그 높이가 자동으로 조절되도록 이루어지는 것을 특징으로 한다.The display device may be configured to automatically adjust a height of the display device according to a user's selection or a recognized user's key.

본 고안의 공간 터치를 이용한 선택 메뉴 시스템은 카메라를 이용하여 사용자의 손동작을 감지하여 영상 장비를 직접 터치하지 않고 터치 기능을 수행할 수 있게 된다.The selection menu system using the space touch of the present invention detects a user's hand movement using a camera and can perform a touch function without directly touching the video equipment.

본 고안의 공간 터치를 이용한 선택 메뉴 시스템은 종래의 터치 스크린을 이용한 시스템과 비교하여 스크린 장치의 오염, 성능 저하, 혹은 파손 등을 방지할 수 있게 된다.The selection menu system using the space touch of the present invention can prevent contamination, degradation of performance, or damage of the screen device, as compared with a system using a conventional touch screen.

본 고안의 공간 터치를 이용한 선택 메뉴 시스템은 손동작 검출 알고리즘의 연산량을 줄여 빠르고 직접적인 메뉴 선택이 가능하도록 해 준다.The selection menu system using the spatial touch of the present invention reduces the amount of computation of the hand gesture detection algorithm and enables fast and direct menu selection.

이하, 본 고안이 속하는 기술분야에서 통상의 지식을 가진 자가 본 고안의 기술적 사상을 용이하게 실시할 수 있도록 본 고안의 실시 예를 첨부된 도면을 참조하여 설명한다.Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings so that those skilled in the art may easily implement the technical idea of the present invention.

본 고안에 따른 공간 터치를 이용한 선택 메뉴 인식 시스템은 카메라를 이용하여 손동작을 검출, 추적, 및 인식하여 직접적인 스크린 터치 없이 터치 스크린 기능을 수행할 수 있다. 이로써, 본 고안의 선택 메뉴 인식 시스템은 종래의 터치 스크린을 이용한 시스템과 비교하여 스크린 장치의 오염, 성능 저하, 혹은 파손 등을 방지할 수 있게 된다.The selective menu recognition system using a space touch according to the present invention can detect, track, and recognize a hand gesture using a camera to perform a touch screen function without a direct screen touch. As a result, the selection menu recognition system of the present invention can prevent contamination, degradation of performance, or damage of the screen device, as compared with a system using a conventional touch screen.

도 1은 본 고안의 공간 터치를 이용한 선택 메뉴 인식 시스템(100)에 대한 실시 예를 보여주는 도면이다. 도 1을 참조하면, 선택 메뉴 인식 시스템(100)은 영상을 출력하는 디스플레이 장치(120), 사용자의 손동작을 검출, 추적, 인식하는 동작인식 카메라(140), 및 디스플레이 장치(120)와 동작인식 카메라(140)를 제어하는 제어 장치(160)를 포함한다. 본 고안의 동작인식 카메라(140)는 사용자의 손동작을 검출, 추적, 인식하여 디스플레이 장치(120)의 화면을 공간 터치하는 것을 인식하는 기능을 수행한다. 여기서 화면을 터치하는 것은 화면 상의 메뉴를 선택하는 의미이다.1 is a view showing an embodiment of a selection menu recognition system 100 using a spatial touch of the present invention. Referring to FIG. 1, the selection menu recognition system 100 includes a display device 120 for outputting an image, a motion recognition camera 140 for detecting, tracking, and recognizing a user's hand motion, and a motion recognition with the display device 120. It includes a control device 160 for controlling the camera 140. The motion recognition camera 140 of the present invention detects, tracks, and recognizes a user's hand motion to perform a function of recognizing a space touch on the screen of the display device 120. Touching the screen here means selecting a menu on the screen.

디스플레이 장치(120)는 사용자에 의해 선택되는 적어도 하나의 선택 메뉴 영역이 화면 상에 구성되는 영상을 출력하며, 사용자가 출력 영상을 시각적으로 인지하되 화면을 직접 터치할 수 없도록 이격되어 설치되어 있다. 이러한 디스플레이 장치(120)로는 모니터 혹은 패널 등이 사용될 수 있다. 여기서 영상은 시스템 설계자에 의하여 상품 소개 혹은 기타 정보 제공을 위한 서비스가 제어 장치(160)로부터 출력된다. 디스플레이 장치(120)는 제어 장치(160)와 RGB 케이블 혹은 DVI 케이 블로 연결되어 있다.The display device 120 outputs an image in which at least one selection menu area selected by the user is configured on the screen, and is spaced apart from each other so that the user visually recognizes the output image but cannot directly touch the screen. As the display device 120, a monitor or a panel may be used. In this case, the image is output from the control device 160 by the system designer to provide a product introduction or other information. The display device 120 is connected to the control device 160 by an RGB cable or a DVI cable.

디스플레이 장치(120)는 도 1에 도시된 바와 같이 인테리어 벽체(102)에 고정되어 있다. 여기서 디스플레이 장치(120)는 사용자에게 정보 제공을 보다 편리하게 할 수 있도록 인테리어 벽체(102)의 적당한 위치에 설치될 것이다. 본 고안의 인테리어 벽체(102)는 사용자의 선택에 따라 디스플레이 장치(120)의 높이를 선택할 수 있도록 구현될 수 있다. 또한, 인테리어 벽체(102)는 사용자를 인식한 동작인식 카메라(140)에 의하여 자동으로 사용자에게 최적의 디스플레이 장치(120)의 높이를 조절하도록 구현될 수 있다. 이때 인테리어 벽체(102)는 제어 장치(160)에 의해 제어를 받게 될 것이다.The display device 120 is fixed to the interior wall 102 as shown in FIG. 1. In this case, the display device 120 may be installed at an appropriate position of the interior wall 102 to provide information to the user more conveniently. The interior wall 102 of the present invention may be implemented to select the height of the display device 120 according to the user's selection. In addition, the interior wall 102 may be implemented to automatically adjust the height of the display device 120 that is optimal for the user by the motion recognition camera 140 that recognizes the user. At this time, the interior wall 102 will be controlled by the control device 160.

본 고안의 디스플레이 장치(120)는 터치 스크린 기능을 포함할 필요는 없으나, 반드시 여기에 국한될 필요는 없다. 본 고안의 디스플레이 장치(120)는 터치 스크린 기능을 포함할 수도 있다.The display device 120 of the present invention need not include a touch screen function, but is not necessarily limited thereto. The display device 120 of the present invention may include a touch screen function.

동작인식 카메라(140)는 사용자의 손동작을 검출, 추적, 인식하는 기능을 수행한다. 즉, 동작인식 카메라(140)는 사용자의 손가락 움직임을 감지하여 직접적으로 터치 스크린을 터치하여 동작하는 것과 동일한 동작 효과를 얻는다. 동작인식 카메라(140)는 도 1에 도시된 바와 같이 천장에 설치되어 있다. 하지만 본 고안의 동작인식 카메라(140)가 반드시 천장에 설치된다고 국한될 필요는 없다. 본 고안의 동작인식 카메라(140)는 디스플레이 장치(120)의 내부에 설치되거나, 디스플레이 장치(120)의 외부에 설치될 수 있다. 또한, 동작인식 카메라(140)는 적어도 하나 이상의 위치에 적어도 하나 이상의 인식 카메라들로 설치될 것이다. 또한, 동작인식 카메라(140)는 제어 장치(160)와 LAN 케이블 혹은 USB 케이블로 연결되어 있다. 동작인식 카메라(140)의 자세한 동작 설명은 도 4에서 하도록 하겠다.The motion recognition camera 140 detects, tracks, and recognizes a user's hand gesture. That is, the motion recognition camera 140 detects a user's finger movement and obtains the same operation effect as operating by directly touching the touch screen. Motion recognition camera 140 is installed on the ceiling as shown in FIG. However, the motion recognition camera 140 of the present invention is not necessarily limited to being installed on the ceiling. The motion recognition camera 140 of the present invention may be installed inside the display device 120 or may be installed outside the display device 120. In addition, the motion recognition camera 140 may be installed with at least one or more recognition cameras in at least one or more positions. In addition, the motion recognition camera 140 is connected to the control device 160 with a LAN cable or a USB cable. Detailed operation of the motion recognition camera 140 will be described with reference to FIG. 4.

제어 장치(160)는 동작인식 카메라(140)의 촬영 영상을 수신하여, 사용자의 손동작 영역을 추출하고, 사용자의 손동작의 움직임 벡터를 연산하여, 선택 메뉴 영역과 대응되는 좌표 영역을 지정한 경우 선택 메뉴가 선택되는 것으로 처리하는 기능을 수행한다.The control device 160 receives a captured image of the motion recognition camera 140, extracts a user's hand motion region, calculates a motion vector of the user's hand motion, and designates a coordinate region corresponding to the selection menu area. Performs the function of processing as being selected.

제어 장치(160)는 동작인식 카메라(140)로부터 촬영된 영상을 수신하는 카메라 영상 수신부(도시되지 않음)와, 선택 메뉴 영역의 좌표 정보를 저장하는 저장부(도시되지 않음), 및 사용자의 손동작 영역을 추출하고 손동작의 움직임 벡터를 연산하며, 연산결과 상기 선택 메뉴 영역과 대응되는 좌표 영역을 지정한 경우 상기 선택 메뉴가 선택된 것으로 제어하는 제어부(도시되지 않음)를 포함한다.The control device 160 may include a camera image receiver (not shown) for receiving an image captured by the motion recognition camera 140, a storage unit (not shown) for storing coordinate information of a selection menu area, and a user's hand gesture. And a control unit (not shown) for extracting an area, calculating a motion vector of a hand gesture, and controlling the selection menu to be selected when a coordinate region corresponding to the selection menu area is designated as a result of the calculation.

제어 장치(160)는, 디스플레이 장치(120)로 영상을 출력하는 장치와 별개로 설치될 수도 있으나, 디스플레이 장치(120)로 영상을 출려하는 기능을 포함하여 이루어질 수도 있다. 즉, 디스플레이 장치(120)로 영상을 출력하는 영상 출력부(도시되지 않음), 및 출력 영상을 저장하는 저장부(도시되지 않음)를 더 포함하도록 구성될 수 있다.The control device 160 may be installed separately from the device for outputting an image to the display device 120, or may include a function of displaying an image to the display device 120. That is, the display device 120 may further include an image output unit (not shown) for outputting an image to the display device 120 and a storage unit (not shown) for storing the output image.

실시 예에 있어서, 제어 장치(160)는 개인용 컴퓨터(PC)가 될 수 있다.In an embodiment, the control device 160 can be a personal computer (PC).

실시 예에 있어서, 도 1에 도시된 바와 같이 사용자와 디스플레이 장치(120) 는 쇼윈도우를 사이에 두고 이격될 수 있다. 사용자와 디스플레이 장치는 사용자는 쇼윈도우(108) 밖에서 디스플레이 장치(120)를 간접적으로 터치하는 기능을 수행한다. 여기서 쇼윈도우(108)는 디스플레이 장치(120)의 외곽에 위치한다. 쇼윈도우(108)는 강화유리를 이용하여 설치될 수 있다.In an embodiment, as shown in FIG. 1, the user and the display device 120 may be spaced apart from each other with a show window therebetween. The user and the display device perform a function of indirectly touching the display device 120 outside the show window 108. The show window 108 is located outside the display device 120. The show window 108 may be installed using tempered glass.

도 2는 도 1에 도시된 선택 메뉴 인식 시스템(100)의 전면부를 보여주는 도면이다. 도 2을 참조하면, 사용자는 쇼윈도우(108) 밖에서 디스플레이 장치(120)에 대한 간접적인 터치 기능을 수행한다. 도 2에 도시된 바와 같이 두 개의 동작인식 카메라(140)는 사용자의 손동작을 인식하고, 인식된 손동작에 따라 제어 장치(160)가 디스플레이 장치(120)를 제어한다. 이로써, 본 고안의 선택 메뉴 인식 시스템(100)에서는 사용자가 디스플레이 장치(120)를 직접적으로 터치한 것과 동일한 터치 기능이 수행된다.FIG. 2 is a diagram illustrating a front portion of the selection menu recognition system 100 shown in FIG. 1. Referring to FIG. 2, a user performs an indirect touch function on the display device 120 outside the show window 108. As shown in FIG. 2, the two gesture recognition cameras 140 recognize a user's hand gesture, and the control device 160 controls the display apparatus 120 according to the recognized hand gesture. Thus, in the selection menu recognition system 100 of the present invention, the same touch function as the user directly touches the display apparatus 120 is performed.

도 3은 도 1에 도시된 선택 메뉴 인식 시스템(100)의 상부를 보여주는 도면이다. 도 3을 참조하면, 사용자는 전시공간 밖에서 터치 기능을 수행한다. 전시 공간 안에는 선택 메뉴 인식 시스템(100)이 설치되어 있다. 이로써, 본 고안의 선택 메뉴 인식 시스템(100)의 사용자의 직접적인 터치를 받지 않기 때문에 사용자에 의한 오염, 파손, 혹은 터치 기능의 성능 저하를 원천적으로 방지할 수 있게 된다.FIG. 3 is a diagram illustrating an upper portion of the selection menu recognition system 100 shown in FIG. 1. Referring to FIG. 3, the user performs a touch function outside the exhibition space. The selection menu recognition system 100 is installed in the exhibition space. As a result, since the user does not receive a direct touch of the user of the selection menu recognition system 100 of the present invention, it is possible to prevent contamination, damage, or performance degradation of the touch function by the user.

본 고안의 선택 메뉴 인식 시스템(100)은 터치 방식을 사용하면서 안전하게 상품 소개 및 정보 제공을 수행할 수 있게 된다. 상술 된 바와 같이 선택 메뉴 인 식 시스템(100)은 상품 소개 및 정보 제공에 아주 적합한 시스템이다.The selection menu recognition system 100 of the present invention can safely introduce a product and provide information while using a touch method. As described above, the selection menu recognition system 100 is a system suitable for product introduction and information providing.

도 4는 본 고안의 선택 메뉴 인식 시스템(100)에서 사용되는 카메라의 손동작 인식 방법에 대한 실시 예를 보여주는 흐름도이다. 도 1 및 도 4를 참조하면 본 고안의 손동작 인식하는 방법은 다음과 같다.4 is a flowchart illustrating an embodiment of a method for recognizing a hand gesture of a camera used in the selection menu recognition system 100 of the present invention. 1 and 4 are as follows.

공간인식 카메라(140)는 쇼윈도우(108) 밖의 사용자의 움직임을 감시한다(S110). 만약 움직임이 없으면, 제어 장치(160)는 사용자 위치에 대한 정보를 인식한다(S115). 만약 움직임이 있다면, 공간인식 카메라(140)는 사용자의 움직임을 추적하게 된다(S120). 추적에 성공하면, 제어 장치(160)는 사용자의 움직에 대한 정보를 인식한다(S225). 한편, 추적에 성공하면, 제어 장치(160)는 추적된 사용자의 움직임 정보에서 손동작 영역을 추출한다(S130). 추적된 사용자의 움직임 정보에서 손동작 영역 추출이 실패하면, 공간인식 카메라(140)는 다시 사용자의 움직임을 추적한다(S140). 만약, 추적된 사용자의 움직임 정보에서 손동작 영역을 추출하게 되면, 제어 장치(160)는 손동작 영역을 획득한다(S150). 만약 손동작 영역 획득이 실패하면, 공간인식 카메라(140)는 다시 사용자의 움직임을 추적한다. 만약 손동작 영역 획득이 성공하면, 제어 장치(140)는 화면 좌표를 계산하게 된다(S160). 이로써, 손동작 움직임의 인식이 완료된다. 손동작의 화면 좌표가 계산되면, 이를 미리 계산되어 저장된 선택 메뉴 영역의 좌표 영역과 비교하여 선택 메뉴 영역의 좌표 영역 내에 존재하는 경우 해당 메뉴가 선택된 것으로 처리한다.The space recognition camera 140 monitors the movement of the user outside the show window 108 (S110). If there is no movement, the control device 160 recognizes information about the user's location (S115). If there is movement, the space recognition camera 140 tracks the user's movement (S120). If tracking is successful, the control device 160 recognizes information about the user's movement (S225). On the other hand, if the tracking is successful, the control device 160 extracts the hand motion region from the tracked user's motion information (S130). If the hand gesture region extraction fails from the tracked user's movement information, the space recognition camera 140 again tracks the user's movement (S140). If the hand gesture region is extracted from the tracked user's movement information, the control device 160 obtains the hand gesture region (S150). If the hand motion area acquisition fails, the space recognition camera 140 tracks the user's movement again. If the hand motion area acquisition is successful, the control device 140 calculates screen coordinates (S160). This completes the recognition of the hand movement. When the screen coordinates of the hand gesture are calculated, the corresponding menu is selected as the selected menu when the screen coordinates of the hand gesture are present in the coordinate area of the selection menu area compared with the previously calculated and stored coordinate areas of the selection menu area.

본 고안의 동작인식 카메라(100)는 팬틸트(pan/tilt) 카메라를 이용할 수 있 다. 아래는 팬틸트 카메라를 이용한 카메라 움직임 보정 및 움직임 영역 분리에 대하여 설명하도록 하겠다.The motion recognition camera 100 of the present invention may use a pan / tilt camera. The following describes camera motion compensation and motion region separation using a pan tilt camera.

카메라를 통해 입력되는 영상으로 카메라의 움직임 정보를 얻어내기 위한 많은 연구들이 현재까지 이루어지고 있다. PMM(Perspective Motion Model)을 이용한 방법과 AMM(Affine Motion Model)을 이용한 방법 등이 그 예이다. 본 고안의 팬틸드 카메라에서는 현재와 과거의 프레임을 가지고 이미지의 컬럼(column)과 로(row)을 이동시켜 유사도를 비교하는 방법을 적용한다. 본 고안에서는 이 방법을 적용하기 전에 전처리 과정으로 입력 영상의 윤곽선을 추출하여 이용한다. 이는 원영상 자체를 이용하여 유사도를 검사하는 것보다 높은 계산 값의 차이를 나타내기 때문에 보다 안정적인 카메라의 움직임 값을 얻어낼 수 있다. Many studies have been made to obtain the motion information of the camera with the image input through the camera. For example, a method using a Perspective Motion Model (PMM) and a method using an Affine Motion Model (AMM) are examples. In the pan-tilt camera of the present invention, a method of comparing similarities by moving columns and rows of an image with current and past frames is applied. In the present invention, the contour of the input image is extracted and used as a preprocessing process before applying this method. This represents a higher difference in the calculated values than checking the similarity using the original image itself, so that a more stable camera motion value can be obtained.

전술한 방법은 우선 현재 프레임을 기준으로 과거의 프레임의 각 라인을 좌/우(pan)로 이동시켜 각 위치별 두 영상 간의 차이를 구한다. 그 후 영상 간의 차가 가장 작게 나타나는 움직임을 구하여 그 값을 라인의 움직임 값으로 선택한다. 각 라인의 움직임 값을 모두 구한 후 가장 높은 빈도를 나타내는 움직임 값을 카메라의 움직임에 따른 영상의 움직임으로 선택한다. 상/하(tilt)로의 이동에 대해서도 위와 같은 과정을 적용한다. 이렇게 구해진 상/하(tilt)와 좌/우(pan)의 움직임 값을 이용하여 과거 프레임을 이동하여 현재 프레임과의 차이를 구하면 카메라의 움직임과 실제로 이동하는 물체의 움직임을 구별해낼 수 있다. In the above-described method, first, each line of a past frame is moved left / right based on a current frame to obtain a difference between two images for each position. After that, the smallest difference between the images is obtained, and the value is selected as the movement value of the line. After all the motion values of each line are obtained, the motion value representing the highest frequency is selected as the motion of the image according to the movement of the camera. The same process applies to the movement up and down. The difference between the current frame and the current frame can be distinguished by moving the past frame using the motion values of up / down and left / pan.

이러한 방법에서는 카메라의 움직임을 구할 때 각 라인의 움직임 값들 중 가 장 높은 빈도를 가지는 움직임 값을 선택하기 때문에 영상 내에서 움직이는 물체로 인해 발생하는 오류가 없다. 또한, 상하좌우(pan/tilt)의 움직임이 동시에 일어났을 경우에도 카메라의 움직임에 의한 영상의 변화가 크게 일어나지 않으므로 계산 값의 오차가 발생되지 않는다.In this method, when the motion of the camera is selected, the motion value having the highest frequency is selected among the motion values of each line, so that there is no error caused by the moving object in the image. In addition, even when the movement of the pan / tilt (pan / tilt) occurs at the same time, since the change of the image due to the movement of the camera does not occur significantly, the error of the calculated value does not occur.

움직이는 카메라의 영상에서 움직임이 검출되면 움직임 영역을 추출하여야 한다. 이는 손동작을 찾아내는 관심 영역을 제한하여 줌으로써 손동작 검출 알고리즘의 연산량을 상대적으로 감소시켜주는 역할을 하게 된다. 움직임이 검출이 되면 카메라의 움직임을 일시적으로 정지시킨 후, 연속되는 세 개의 프레임을 얻어 두 프레임 사이의 차이를 구해보다 정확한 움직임 영역을 찾아낸다. 또한 움직이는 물체의 대략적인 움직임 정보 즉 움직임의 방향과 움직임 속도(픽셀 단위)를 추출한다. 이렇게 얻어진 영역 정보와 움직임 정보를 통해 손동작 검출 영역을 제한하고 카메라의 움직임을 결정한다. 움직임 영역의 중심과 카메라로부터의 입력 영상의 중심을 카메라의 움직임 값을 적용하여 일치시켜 주는 방법으로 카메라의 움직임의 양을 결정한다.If motion is detected in the image of a moving camera, the motion area should be extracted. This restricts the region of interest for detecting hand gestures, thereby reducing the amount of computation of the hand gesture detection algorithm. When the motion is detected, the camera movement is stopped temporarily, and three consecutive frames are obtained to find the difference between the two frames to find a more accurate movement area. In addition, it extracts the approximate motion information of the moving object, that is, the direction of motion and the speed of motion (in pixels). The area information and the motion information thus obtained are used to limit the hand gesture detection area and determine the camera movement. The amount of movement of the camera is determined by matching the center of the movement region with the center of the input image from the camera by applying the movement value of the camera.

본 고안의 공간 터치 시스템에서는, 움직이는 팬틸트 카메라를 이용해 움직이는 물체를 추적하는 동시에 손동작 영역을 검출하는 시스템이 구현되었다. 손동작 영역을 검출하는데 있어서 관심 영역을 움직이는 영역으로 제한해 주어 불필요한 영역을 검색하는 것을 피하도록 하였으며, 이는 곧 손동작 영역 검출에서의 계산량을 감소시켜 주어 성능이 향상되도록 하였다. 순수한 손동작 영역 검출에서는 초당 3 프레임 정도의 향상된 속도가 예상된다.In the spatial touch system of the present invention, a system for detecting a hand motion area while tracking a moving object using a moving pan tilt camera has been implemented. In detecting the hand motion area, the ROI is limited to the moving area to avoid searching for unnecessary areas, which reduces the amount of computation in the hand motion area detection, thereby improving performance. In pure hand region detection, an improved rate of about 3 frames per second is expected.

한편, 본 고안의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나, 본 고안의 범위에서 벗어나지 않는 한도 내에서 여러 가지로 변형할 수 있다. 그러므로 본 고안의 범위는 상술한 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구범위 뿐만 아니라 이 고안의 특허청구범위와 균등한 것들에 의해 정해져야 한다.On the other hand, in the detailed description of the present invention has been described with respect to specific embodiments, it can be modified in various ways without departing from the scope of the present invention. Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be determined by the claims below and equivalents to those of the present invention.

도 1은 본 고안에 따른 공간 터치를 이용한 선택 메뉴 인식 시스템에 대한 실시 예를 보여주는 도면이다.1 is a view showing an embodiment of a selection menu recognition system using a space touch according to the present invention.

도 2는 도 1에 도시된 선택 메뉴 인식 시스템의 전반부를 보여주는 도면이다.FIG. 2 is a diagram illustrating the first half of the selection menu recognition system illustrated in FIG. 1.

도 3은 도 1에 도시된 선택 메뉴 인식 시스템의 상부를 보여주는 도면이다.FIG. 3 is a diagram illustrating an upper portion of the selection menu recognition system illustrated in FIG. 1.

도 4는 본 고안의 선택 메뉴 인식 시스템의 손가락 움직임 인식 방법을 보여주는 도면이다.4 is a view showing a finger movement recognition method of the selection menu recognition system of the present invention.

*도면의 주요부분에 대한 부호의 설명** Description of the symbols for the main parts of the drawings *

100: 선택 메뉴 인식 시스템 102: 인테리어 벽체100: selection menu recognition system 102: interior wall

104: RGB/DVI 케이블 106: LAN/USB 케이블104: RGB / DVI cable 106: LAN / USB cable

108: 쇼윈도우 120: 디스플레이 장치108: show window 120: display device

140: 동작인식 카메라 160: 제어 장치140: motion recognition camera 160: control device

Claims (7)

사용자에 의해 선택되는 적어도 하나의 선택 메뉴 영역이 화면 상에 구성되는 영상을 출력하며, 사용자가 출력 영상을 시각적으로 인지하되 화면을 직접 터치할 수 없도록 이격되어 설치되는 디스플레이 장치;A display device at least one selection menu area selected by a user to output an image configured on a screen, the display device being spaced apart so that the user visually recognizes the output image but cannot directly touch the screen; 사용자의 손동작을 검출, 추적, 인식하는 동작인식 카메라; 및A motion recognition camera for detecting, tracking, and recognizing a user's hand gesture; And 상기 동작인식 카메라의 촬영 영상을 수신하여, 사용자의 손동작 영역을 추출하고, 상기 사용자의 손동작의 움직임 벡터를 연산하여 상기 선택 메뉴 영역과 대응되는 좌표 영역을 지정한 경우 상기 선택 메뉴가 선택되는 것으로 처리하는 제어 장치;Receiving the captured image of the motion recognition camera, extracting a user's hand gesture region, and calculating a motion vector of the user's hand gesture to designate a coordinate region corresponding to the selection menu region; controller; 를 포함하여 이루어지되, , ≪ / RTI > 상기 디스플레이 장치는,The display device, 사용자의 선택으로 혹은 인식된 사용자에 키에 따라 그 높이가 자동으로 조절되도록 이루어지는 것을 특징으로 하는 공간 터치를 이용한 선택 메뉴 인식 시스템.Selective menu recognition system using a space touch, characterized in that the height is automatically adjusted according to the user's selection or a recognized user key. 제 1항에 있어서,The method of claim 1, 상기 디스플레이 장치는 쇼윈도우를 사이에 두고 사용자와 이격되어 설치되며, 사용자는 상기 디스플레이 장치의 화면 상에 포함된 선택 메뉴를 선택하기 위해 상기 쇼윈도우를 간접적으로 터치하는 것을 특징으로 하는 공간 터치를 이용한 선택 메뉴 인식 시스템.The display device is installed spaced apart from the user with a show window interposed therebetween, and the user indirectly touches the show window to select a selection menu included on the screen of the display device. Select menu recognition system. 제 1항에 있어서,The method of claim 1, 상기 제어 장치는,The control device, 상기 동작인식 카메라로부터 촬영된 영상을 수신하는 카메라 영상 수신부;A camera image receiver configured to receive an image captured by the motion recognition camera; 상기 선택 메뉴 영역의 좌표 정보를 저장하는 저장부; 및A storage unit which stores coordinate information of the selection menu area; And 사용자의 손동작 영역을 추출하고 상기 손동작의 움직임 벡터를 연산하며, 상기 연산결과 상기 선택 메뉴 영역과 대응되는 좌표 영역을 지정한 경우 상기 선택 메뉴가 선택된 것으로 제어하는 제어부;A controller configured to extract a user's hand gesture region, calculate a motion vector of the hand gesture, and control the selection menu when the coordinate region corresponding to the selection menu region is selected as a result of the calculation; 를 포함하여 이루어지는 공간 터치를 이용한 선택 메뉴 인식 시스템.Selected menu recognition system using a space touch comprising a. 제 1항에 있어서,The method of claim 1, 상기 제어 장치는, The control device, 상기 동작인식 카메라로부터 움직임 영상을 수신하여, 입력 영상의 윤곽선을 추출한 후, 현재 프레임을 기준으로 과거 프레임을 비교한 차이를 구하여 움직임 벡터를 산출하고 움직임 좌표를 구하는 것을 특징으로 하는 공간 터치를 이용한 선택 메뉴 인식 시스템.After receiving the motion image from the motion recognition camera, extract the contour of the input image, calculates the motion vector by obtaining the difference comparing the past frame with respect to the current frame, and obtains the motion coordinates. Menu recognition system. 제 1항에 있어서,The method of claim 1, 상기 동작인식 카메라는, 움직임이 검출되는 경우 카메라의 움직임을 정지시 키고 연속되는 적어도 두 개 이상의 프레임을 촬영하여 상기 제어 장치로 전송하며,The motion recognition camera stops the movement of the camera when a motion is detected, photographs at least two consecutive frames, and transmits them to the control device. 상기 제어 장치는, 상기 동작인식 카메라부터 수신된 각 프레임의 차이를 구해 움직임 영역을 제한함으로써 카메라의 움직임을 결정하는 것을 특징으로 하는 공간 터치를 이용한 선택 메뉴 인식 시스템.The control device is a menu selection system using a spatial touch, characterized in that for determining the movement of the camera by limiting the movement area by obtaining the difference of each frame received from the motion recognition camera. 제 1항에 있어서,The method of claim 1, 상기 동작인식 카메라는,The motion recognition camera, 적어도 하나 이상의 위치에 적어도 하나 이상이 설치되며,At least one is installed in at least one or more locations, 상기 사용자의 움직임을 검출하고, 상기 검출된 사용자의 움직임에서 손동작의 움직임을 검출하고 인식하는 것을 특징으로 하는 공간 터치를 이용한 선택 메뉴 인식 시스템.And detecting the movement of the user, and detecting and recognizing the movement of the hand movement from the detected movement of the user. 삭제delete
KR2020080010743U 2008-08-12 2008-08-12 Recognition system for selecting menu using space touch KR200452031Y1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR2020080010743U KR200452031Y1 (en) 2008-08-12 2008-08-12 Recognition system for selecting menu using space touch

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR2020080010743U KR200452031Y1 (en) 2008-08-12 2008-08-12 Recognition system for selecting menu using space touch

Publications (2)

Publication Number Publication Date
KR20100001851U KR20100001851U (en) 2010-02-22
KR200452031Y1 true KR200452031Y1 (en) 2011-02-01

Family

ID=44244177

Family Applications (1)

Application Number Title Priority Date Filing Date
KR2020080010743U KR200452031Y1 (en) 2008-08-12 2008-08-12 Recognition system for selecting menu using space touch

Country Status (1)

Country Link
KR (1) KR200452031Y1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101523712B1 (en) * 2013-06-13 2015-05-29 (주)티원시스템즈 Hologram transparent display mediabox or its play method
KR101668440B1 (en) * 2016-01-29 2016-10-27 김현식 Pattern recognition apparatus and method using code value

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100331693B1 (en) 1997-10-29 2002-09-26 다께나까 코포레이션 Hand Pointing Device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100331693B1 (en) 1997-10-29 2002-09-26 다께나까 코포레이션 Hand Pointing Device

Also Published As

Publication number Publication date
KR20100001851U (en) 2010-02-22

Similar Documents

Publication Publication Date Title
US10761610B2 (en) Vehicle systems and methods for interaction detection
EP2790089A1 (en) Portable device and method for providing non-contact interface
US8897490B2 (en) Vision-based user interface and related method
US9405373B2 (en) Recognition apparatus
US9619042B2 (en) Systems and methods for remapping three-dimensional gestures onto a finite-size two-dimensional surface
US9285885B2 (en) Gesture recognition module and gesture recognition method
US20140118244A1 (en) Control of a device by movement path of a hand
US20140104161A1 (en) Gesture control device and method for setting and cancelling gesture operating region in gesture control device
CN105763917A (en) Terminal booting control method and terminal booting control system
US9652850B2 (en) Subject tracking device and subject tracking method
TWI581127B (en) Input device and electrical device
JP2012238293A (en) Input device
US20150242179A1 (en) Augmented peripheral content using mobile device
KR20210010930A (en) Method, system and computer program for remote control of a display device via head gestures
JP2014029656A (en) Image processor and image processing method
US20150078617A1 (en) Mobile terminal and method for generating control command using marker attached to finger
KR200452031Y1 (en) Recognition system for selecting menu using space touch
KR101134245B1 (en) Electronic device including 3-dimension virtualized remote controller and driving methed thereof
KR20150112198A (en) multi-user recognition multi-touch interface apparatus and method using depth-camera
WO2011096571A1 (en) Input device
US11106278B2 (en) Operation method for multi-monitor and electronic system using the same
US11557065B2 (en) Automatic segmentation for screen-based tutorials using AR image anchors
KR101265296B1 (en) Apparatus and Method for Recognizing User Input using Camera
TWI444875B (en) Multi-touch input apparatus and its interface method using data fusion of a single touch sensor pad and imaging sensor
Ukita et al. Wearable Virtual Tablet: Fingertip Drawing Interface Using an Active-Infrared Camera.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
REGI Registration of establishment
FPAY Annual fee payment

Payment date: 20140115

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141208

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160120

Year of fee payment: 6