KR101564089B1 - Presentation Execution system using Gesture recognition. - Google Patents
Presentation Execution system using Gesture recognition. Download PDFInfo
- Publication number
- KR101564089B1 KR101564089B1 KR1020150033838A KR20150033838A KR101564089B1 KR 101564089 B1 KR101564089 B1 KR 101564089B1 KR 1020150033838 A KR1020150033838 A KR 1020150033838A KR 20150033838 A KR20150033838 A KR 20150033838A KR 101564089 B1 KR101564089 B1 KR 101564089B1
- Authority
- KR
- South Korea
- Prior art keywords
- page
- signal
- motion recognition
- motion
- hand motion
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G06K9/00355—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Abstract
Description
본 발명은 손동작 인식을 이용한 프리젠테이션 실행시스템에 관한 것으로서, 더욱 상세하게는 사무용, 교육용 등 프리젠테이션을 하는 경우에 포인터 대신 손의 동작인식을 통해 다음 페이지 혹은 이전 페이지 넘김, 페이지 확대 혹은 축소, 페이지 내 이동, 그림 그리기 혹은 글씨 쓰기 중 어느 하나의 동작을 수행할 수 있는 동작 UI가 적용된 손동작 인식을 이용한 프리젠테이션 실행시스템에 관한 것이다.
The present invention relates to a presentation execution system using hand movement recognition. More particularly, the present invention relates to a presentation execution system using hand movement recognition, and more particularly, The present invention relates to a presentation execution system using a handwriting recognition system to which an operation UI capable of performing movement, drawing, or writing operation can be performed.
첨단 그린 도시는 신 성장 동력 정책의 일환으로, U-City를 비롯하여 ITS(지능형교통시스템), 공간정보산업, 하이 그린 홈 등 다양한 산업을 포함하고 있다.As a part of the new growth engine policy, the high-tech green city includes various industries such as U-City, ITS (intelligent transportation system), spatial information industry, and high green home.
이 중 정보통신과 관련된 산업과 공간정보 산업은 사용자의 직접적 활용과 밀접한 관련이 있는 산업 군으로 무엇보다도 효율적인 작업이 가능한 인터페이스 환경이 필수적이다.Among them, the industries related to information and communication and the spatial information industry are industry groups closely related to the direct utilization of users, and most importantly, an interface environment capable of efficient operation is essential.
특히, 공간정보 산업은 3차원 정보를 기반으로 하기 때문에 기존의 2차원 정보 기반 인터페이스 방식으로는 이를 제어하는데 여러 제한이 따른다. In particular, since the spatial information industry is based on three-dimensional information, existing two-dimensional information-based interface methods have various limitations in controlling them.
따라서 3차원 공간의 제약을 받지 않으면서도 이동성과 효율성이 보장되고, 유/무선 통합 환경에서 사용될 수 있으며, 사용이 용이한 새로운 인터페이스 방식이 필요하다.Therefore, mobility and efficiency are guaranteed without restriction of three-dimensional space, and a new interface method that can be used in a wired / wireless integrated environment and is easy to use is needed.
이를 위한 종래의 사용자 인터페이스 장치는 가속도 센서를 주 센서로 사용하며, 기준점에 따른 움직임의 궤도를 추적하여 가상의 필기구 및 포인터의 기능을 수행하는 것이거나 혹은 각 손가락의 움직임을 측정하여 입력장치로서의 기능을 구현하는 것으로서, 각각의 기능을 조합 및 응용한 복수의 기능을 가지는 인터페이스 방법을 구현하지는 못하였으며, 동작 인식 범위에 따른 제한이 있었다.The conventional user interface device for this purpose uses an acceleration sensor as a main sensor and performs a function of a virtual writing instrument and a pointer by tracing a trajectory of movement according to a reference point or by measuring the movement of each finger to function as an input device It is not possible to implement an interface method having a plurality of functions in which functions are combined and applied.
특히, 모션 인식기술은 interface영역으로 플랫폼, 컨텐츠 영역을 차별화시켜줄 수 있는 특성화되고, 차별화된 필수 요소가 되고 있다.
In particular, the motion recognition technology has become a specialized and differentiated essential element that can differentiate the platform and the content area as an interface area.
따라서, 본 발명은 상기 종래의 문제점을 해소하기 위해 안출된 것으로,SUMMARY OF THE INVENTION Accordingly, the present invention has been made keeping in mind the above problems occurring in the prior art,
본 발명의 목적은 사무용, 교육용 등 프리젠테이션을 하는 경우에 포인터 대신 손의 동작인식을 통해 다음 페이지 혹은 이전 페이지 넘김, 페이지 확대 혹은 축소, 페이지 내 이동, 그림 그리기 혹은 글씨 쓰기 중 어느 하나의 동작을 수행하도록 하는데 있다.An object of the present invention is to provide a method and apparatus for performing a presentation such as an office or an education by using one or more operations of turning the next page or previous page, enlarging or reducing a page, moving within a page, .
본 발명의 다른 목적은, 왼손 및 오른손에 착용하는 밴드타입의 동작인식수단을 제공하며, 기준점으로 활용하는 의도동작판별수단을 제공하여 기준점을 중심으로 의도된 동작인지를 판별하여 일상적인 손짓 등에 따른 오류 동작을 방지할 수 있는 기술을 제공하고자 한다.
Another object of the present invention is to provide a motion recognition means of a band type to be worn on the left and right hands and to provide an intentional motion discrimination means to be used as a reference point to discriminate whether or not an intentional motion is based on a reference point, And to provide a technique capable of preventing an error operation.
본 발명이 해결하고자 하는 과제를 달성하기 위하여,In order to achieve the object of the present invention,
본 발명의 일실시예에 따른 손동작 인식을 이용한 프리젠테이션 실행시스템은,A presentation execution system using hand movement recognition according to an embodiment of the present invention includes:
사용자의 왼손 동작을 인식하기 위한 왼손동작인식센서(210)를 포함하여 구성되되, 왼손에 착용하기 위한 왼손동작인식수단(200)과;A left-hand
사용자의 오른손 동작을 인식하기 위한 오른손동작인식센서(310)를 포함하여 구성되되, 오른손에 착용하기 위한 오른손동작인식수단(300)과;A right hand motion recognizing means 300 for recognizing a right hand motion of a user, and a right hand motion recognizing means 300 for wearing the right hand
사용자의 상체 중앙 부위에 착용되어 기준점을 설정하며, 기준점을 기준으로 상기 왼손동작인식수단과 오른손동작인식수단의 동작 인식 정보가 의도된 동작인지를 판별하여 의도된 동작일 경우에 해당 동작 인식 정보를 동작인식제어수단으로 제공하기 위한 의도동작판별수단(100)과;The left-hand motion recognition means and the right-hand motion recognition means determine whether the motion recognition information of the left-hand motion recognition means and the right-hand motion recognition means is an intended motion based on the reference point, An intentional operation discriminating means (100) for providing the result to the motion recognition control means;
의도동작판별수단에서 제공한 동작 인식정보를 참조하여 화면에 출력되는 프리젠테이션 페이지의 다음 페이지 혹은 이전 페이지 넘김, 페이지 확대 혹은 축소, 페이지 내 이동, 그림 그리기 혹은 글씨 쓰기 중 어느 하나의 동작을 수행하도록 제어하기 위한 동작인식제어수단(400);을 포함하여 구성되어 본 발명의 과제를 해결하게 된다.
Referring to the motion recognition information provided by the intentional motion determination means, performs a motion of either the next page of the presentation page displayed on the screen, the previous page turning, enlarging or reducing the page, moving within the page, drawing or writing And an operation recognition control means (400) for controlling the operation of the apparatus.
본 발명에 따른 손동작 인식을 이용한 프리젠테이션 실행시스템은,The present invention provides a presentation execution system using hand movement recognition,
사무용, 교육용 등 프리젠테이션을 하는 경우에 포인터 대신 손의 동작인식을 통해 다음 페이지 혹은 이전 페이지 넘김, 페이지 확대 혹은 축소, 페이지 내 이동, 그림 그리기 혹은 글씨 쓰기 중 어느 하나의 동작을 수행하도록 함으로써, 간단한 손동작만으로도 다양한 동작을 구현할 수 있는 확장성과 편리성을 제공하게 된다.By performing the operation of turning the next page or the previous page, enlarging or reducing the page, moving within the page, drawing or writing by the recognition of the motion of the hand instead of the pointer in the case of presentation such as office or education, It provides scalability and convenience that can realize various operations with only a hand gesture.
또한, 왼손 및 오른손에 착용하는 밴드타입의 동작인식수단을 제공하며, 기준점으로 활용하는 의도동작판별수단을 제공하여 기준점을 중심으로 의도된 동작인지를 판별하여 일상적인 손짓 등에 따른 오류 동작을 방지할 수 있게 되어 오동작율을 제거하는 효과를 제공한다.
Also, it is possible to provide a motion recognition means of a band type to be worn on the left and right hands, and to provide an intention motion discrimination means to be used as a reference point, to determine whether an intended motion is centered on a reference point, Thereby providing an effect of eliminating the malfunction rate.
도 1은 본 발명의 일실시예에 따른 손동작 인식을 이용한 프리젠테이션 실행시스템의 전체 구성도이다.
도 2는 본 발명의 일실시예에 따른 손동작 인식을 이용한 프리젠테이션 실행시스템의 왼손동작인식수단의 예시도이며, 도 3은 오른손동작인식수단의 예시도이다.
도 4는 본 발명의 일실시예에 따른 손동작 인식을 이용한 프리젠테이션 실행시스템의 의도동작판별수단 블록도이며, 도 5는 동작인식제어수단 블록도이다.
도 6은 본 발명의 일실시예에 따른 손동작 인식을 이용한 프리젠테이션 실행시스템의 왼손동작인식수단 혹은 오른손동작인식수단이 의도동작판별수단의 수평기준점을 넘어서는 예시도이며, 도 7은 페이지 축소 예시도이며, 도 8은 기준점 위쪽에서만 동작하도록 설정된 동작 인식범위를 나타낸 예시도이다.1 is an overall configuration diagram of a presentation execution system using hand movement recognition according to an embodiment of the present invention.
FIG. 2 illustrates an example of a left-hand motion recognition unit of a presentation execution system using hand movement recognition according to an embodiment of the present invention, and FIG. 3 illustrates an example of a right-hand motion recognition unit.
FIG. 4 is a block diagram of an intention operation discriminating means of a presentation execution system using hand movement recognition according to an embodiment of the present invention, and FIG. 5 is a block diagram of an action recognition control means.
6 is a diagram illustrating an example in which the left-hand motion recognition means or the right-hand motion recognition means of the presentation execution system using the hand movement recognition according to the embodiment of the present invention exceeds the horizontal reference point of the intended motion determination means, And FIG. 8 is an exemplary view showing an operation recognition range set to operate only above the reference point.
이하, 본 발명에 의한 손동작 인식을 이용한 프리젠테이션 실행시스템의 실시예를 통해 상세히 설명하도록 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of a presentation execution system using hand movement recognition according to the present invention will be described in detail.
도 1은 본 발명의 일실시예에 따른 손동작 인식을 이용한 프리젠테이션 실행시스템의 전체 구성도이다.1 is an overall configuration diagram of a presentation execution system using hand movement recognition according to an embodiment of the present invention.
도 1에 도시한 바와 같이, 본 발명의 일실시예에 따른 손동작 인식을 이용한 프리젠테이션 실행시스템은 왼손동작인식수단(200)과; 오른손동작인식수단(300)과; 의도동작판별수단(100)과; 동작인식제어수단(400);을 포함하여 구성된다.As shown in FIG. 1, a presentation execution system using hand movement recognition according to an embodiment of the present invention includes a left hand
상기 왼손동작인식수단(200)은 도 2에 도시한 바와 같이, 사용자의 왼손 동작을 인식하기 위한 왼손동작인식센서(210)를 포함하여 구성되되, 왼손에 착용하기 위한 형상을 가지게 된다.As shown in FIG. 2, the left-hand motion recognizing means 200 includes a left-hand
바람직하게는 손가락에 삽입이 가능한 밴드타입의 형상을 가지고 있으며, 밴드 내부에 상기 왼손동작인식센서를 구성하게 된다.And preferably has a band-type shape that can be inserted into a finger, and constitutes the left-hand motion recognition sensor inside the band.
또한, 상기 오른손동작인식수단(300)은 사용자의 오른손 동작을 인식하기 위한 오른손동작인식센서(310)를 포함하여 구성되되, 오른손에 착용하기 위한 형상을 가지게 된다.In addition, the right hand motion recognizing means 300 includes a right hand
왼손과 동일하게 밴드 타입으로 구성하게 된다.The band type is the same as the left hand.
일반적으로 인체의 팔은 어깨를 중심으로 X-Y-Z로 회전하기 때문에 동작인식센서를 손가락에 삽입이 가능한 밴드에 형성하게 되며, 동작 인식 기술의 경우에는 일반적인 기술이므로 상세한 설명은 생략하겠다.Generally, since the human's arm rotates about X-Y-Z around the shoulder, the motion recognition sensor is formed in a band that can be inserted into the finger. In the case of motion recognition technology, the description is omitted.
현재 존재하는 동작 인식 기술 중 카메라 방식은 카메라의 허용 각도를 벗어나면 인식이 불가능하고, 인체의 좌우, 측면, 후면을 비추면 인식이 어려운 문제점이 있었다.Of the existing motion recognition technologies, the camera system is not recognizable if it is out of the allowable angle of the camera, and it is difficult to recognize it if the left, right, side, and rear sides of the human body are illuminated.
이를 극복하기 위하여 여러 대의 카메라를 사용하여야 하며, 조명 등의 외부 빛에 민감하고 휴대성이 떨어지는 문제점이 발생하게 된다.In order to overcome this problem, a plurality of cameras must be used, which is sensitive to external light such as illumination and has a problem of low portability.
반면에 본 발명과 같이 구성하게 된다면 상기한 인식 오류를 줄일 수 있으며, 휴대의 간편성을 동시에 제공할 수 있게 된다.On the other hand, if the present invention is configured as described above, it is possible to reduce the recognition error and simplify portability.
한편, 의도동작판별수단(100)을 구성하게 되는데, 이는 사용자의 상체 중앙 부위에 착용되어 기준점을 설정하며, 기준점을 기준으로 상기 왼손동작인식수단과 오른손동작인식수단의 동작 인식 정보가 의도된 동작인지를 판별하여 의도된 동작일 경우에 해당 동작 인식 정보를 동작인식제어수단으로 제공하게 되는 것이다.Meanwhile, the intentional motion determining means 100 is configured to set the reference point by being worn on the central portion of the upper body of the user, and based on the reference point, the motion recognition information of the left- And provides the motion recognition information to the motion recognition control means in the case of the intended motion.
도 6과 같이, 왼손동작인식수단이 의도동작판별수단의 기준점을 넘어서게 되면 이는 의도된 동작으로 판단하게 되는 것이며, 오른손의 경우에도 오른손동작인식수단이 의도동작판별수단의 기준점을 넘어서게 되면 이 또한 의도된 동작으로 판단하게 되는 것이다.As shown in FIG. 6, when the left-hand motion recognizing means exceeds the reference point of the intentional motion determining means, the intentional motion recognizing means determines that the intentional motion is determined. In the case of the right hand, As shown in FIG.
이때, 상기 동작인식제어수단(400)은 의도동작판별수단에서 제공한 동작 인식정보를 참조하여 화면에 출력되는 프리젠테이션 페이지의 다음 페이지 혹은 이전 페이지 넘김, 페이지 확대 혹은 축소, 페이지 내 이동, 그림 그리기 혹은 글씨 쓰기 중 어느 하나의 동작을 수행하도록 제어하게 되는 것이다.At this time, the motion recognition control means (400) refers to the motion recognition information provided by the intention motion determination means and displays the next page or previous page of the presentation page outputted on the screen, enlarging or reducing the page, Or to perform a writing operation or a writing operation.
특징적인 것은 종래의 포인터들처럼 페이지 이동을 수행하는 것 뿐만 아니라, 확대 혹은 축소, 페이지 내 이동, 그림 그리기 혹은 글씨 쓰기 등의 판서 기능까지 제공할 수 있는 것이다.What is characteristic is not only to perform page movement like conventional pointers, but also to provide enlarging or reducing, moving within a page, drawing or writing, and so on.
한편, 도 2에 도시한 바와 같이, 상기 왼손동작인식수단(200)은 어느 일측에 형성되어 커서 발생 신호 및 커서 오프 신호를 의도동작판별수단으로 제공하기 위한 커서버튼부(220)를 더 포함하여 구성하게 된다.2, the left-hand motion recognizing means 200 further includes a
즉, 커서버튼부를 구성하여 이를 사용자가 누르게 되면 커서 발생 신호를 제공하고, 일정 시간 이후에 다시 누르게 되면 커서 오프 신호를 제공하게 되는 것이다.That is, the cursor button unit is configured to provide a cursor generation signal when the user presses the cursor button unit, and a cursor off signal if the user presses the cursor button unit after a predetermined time.
따라서, 프리젠테이션 화면에 커서가 출력될 수 있게 되는 것이다.Therefore, the cursor can be output to the presentation screen.
한편, 상기 오른손동작인식수단(300)은 어느 일측에 형성되어 눌림이 감지되면 레이저 빔을 발생시키기 위한 레이저포인터를 더 포함하여 구성될 수도 있다.Meanwhile, the right hand motion recognizing means 300 may further comprise a laser pointer for generating a laser beam when the pressing operation is detected.
즉, 이는 사용자가 집중을 유도하기 위하여 레이저 포인터를 송출하기 위하여 구성되는 것이며, 하기에서 설명한 판서버튼부를 누르면 레이저 포인터가 동작되는 것이다.That is, this is configured to send out the laser pointer in order to induce the user to concentrate, and the laser pointer is operated by pressing the panel button portion described below.
그리고, 오른손동작인식수단의 타측에는 그림 그리기 혹은 글씨 쓰기를 원할 경우에 지속적인 누름 동작 신호를 의도동작판별수단으로 제공하기 위한 판서버튼부(320)를 더 포함하여 구성되게 된다.Further, the right hand motion recognizing means further comprises a
상기 판서버튼부는 판서 기능을 수행하거나, 레이저 포인터 기능을 수행하기 위하여 구성된 것이다.The writer button unit is configured to perform a writer function or to perform a laser pointer function.
동작 원리의 예를 들자면, 왼손동작인식수단에 형성된 커서버튼부(220)를 누르게 되면 커서가 화면에 나타나게 되며, 이때 오른손동작인식수단에 형성된 판서버튼부를 누르고 원하는 그림 혹은 글씨를 쓰게 되면 판서버튼부를 지속적으로 누르고 있는 동안은 화면에 사용자가 판서한 내용이 출력되게 되는 것이다.For example, when the user presses the
예를 들어, 원형을 그리게 되면 원형의 그림이 화면에 나타나게 되는 것이다.For example, if you draw a circle, you will see a circle picture on the screen.
판서가 끝난 후, 다시 커서버튼부를 한번 더 누르게 되면 커서가 화면에서 사라지게 되는 것이다.After finishing the writing, once again press the cursor button part, the cursor disappears from the screen.
즉, 상기한 커서버튼부는 마우스의 포인터 역할을 수행하게 되는 것이다.That is, the cursor button unit functions as a pointer of a mouse.
상기와 같이 판서가 가능한 것은 사용자의 동작을 인식할 수 있는 기술이 발달되었기 때문이다.As described above, it is because the technology capable of recognizing the operation of the user is developed.
도 4는 본 발명의 일실시예에 따른 손동작 인식을 이용한 프리젠테이션 실행시스템의 의도동작판별수단 블록도이다.4 is a block diagram of an intentional operation discriminating means of a presentation execution system using hand movement recognition according to an embodiment of the present invention.
도 4에 도시한 바와 같이, 의도동작판별수단의 구성은 사용자의 손짓이 의도된 동작인지를 판별하여 일상적인 손짓 등에 따른 오류를 방지하기 위한 구성이며, 동작 인식 정보 획득시에 화면에 출력되는 프리젠테이션 페이지의 다음 페이지 혹은 이전 페이지 넘김, 페이지 확대 혹은 축소, 페이지 내 이동, 그림 그리기 혹은 글씨 쓰기 중 어느 하나의 동작을 수행하기 위한 구성인 것이다.As shown in FIG. 4, the configuration of the intentional motion determination means is configured to determine whether the gesture of the user is an intended motion and to prevent errors due to ordinary hand gestures or the like. The next page or previous page of the page, the enlargement or reduction of the page, the movement within the page, the drawing, or the writing of the text.
즉, 의도동작판별수단(100)은 동작인식정보획득부(110)와, 페이지넘김신호생성부(120)와, 페이지확대/축소신호생성부(130)와, 페이지내이동신호생성부(140)를 포함하여 구성된다.That is, the intentional motion determination means 100 includes an operation recognition information acquisition unit 110, a page turn
또한, 그 형상을 예를 들어, 넥타이 핀 형태로 구성하게 되면 넥타이 핀으로서 넥타이에 착용하게 되면 해당 위치가 기준점이 되는 것이다.Further, if the shape is formed, for example, in the form of a tie pin, when the tie pin is worn as a tie pin, the position becomes a reference point.
상기 동작인식정보획득부(110)는 왼손동작인식수단과 오른손동작인식수단의 동작 인식 정보를 획득하게 된다.The motion recognition information acquisition unit 110 acquires motion recognition information of the left-hand motion recognition means and the right-hand motion recognition means.
본 발명에서 설명하고 있는 동작 인식 정보는 일반적으로 감지값(가속도 및 중력값 등)을 수학적인 방법으로 변환한 값을 다시 2차원/3차원 좌표로 변환하여 화면을 움직이게 하거나 값을 추적하여 미리 정의된 동작과 비교하여 일치 여부를 판단하기 위한 정보를 의미하며, 이러한 동작 인식 기술은 이미 해당 분야에 널리 알려진 기술이므로 구체적인 설명은 생략해도 당업자들은 본 발명의 동작 인식 과정을 쉽게 이해할 수 있을 것이다.The motion recognition information described in the present invention generally converts a detection value (such as acceleration and gravity value) by a mathematical method into a two-dimensional / three-dimensional coordinate again to move the screen, And the motion recognition technology is already well known in the related art. Therefore, even if a detailed description is omitted, those skilled in the art can easily understand the motion recognition process of the present invention.
이때, 상기 페이지넘김신호생성부(120)는 동작 인식 정보가 기준점을 넘어가는지를 판단하여 기준점을 넘어갈 경우에 페이지 넘김 신호를 생성하여 동작인식제어수단으로 제공하게 된다.At this time, the page
본 발명의 의도동작판별수단은 동작 인식의 기준점으로 활용하는 것이기 때문에 사용자의 신체 일부에 착용이 되게 된다.Since the intention operation determining means of the present invention is utilized as a reference point of the motion recognition, it is worn by a part of the user's body.
따라서, 예를 들어, 넥타이핀으로 구성하게 된다면, 명치 정도의 높이 중앙에 착용하면 해당 위치가 동작 인식의 기준점이 되는 것이다.Thus, for example, if it is constituted by a tie pin, if it is worn at the center of the height of the lightness level, the position becomes the reference point of motion recognition.
즉, 도 8과 같이 기준점 위쪽에서만 동작하도록 설정할 수 있으며, 도 6에 도시한 바와 같이, 수평기준점을 넘어갈때만 페이지 넘김으로 인식하는 것이다.That is, as shown in FIG. 8, it can be set to operate only above the reference point, and as shown in FIG. 6, only when the reference point exceeds the horizontal reference point is recognized as page turning.
한편, 페이지확대/축소신호생성부(130)는 왼손동작인식수단과 오른손동작인식수단에서 동작 인식 정보가 동시에 획득될 경우에, 페이지 확대 혹은 축소 신호를 생성하여 동작인식제어수단으로 제공하게 된다.On the other hand, the page enlargement / reduction
즉, 도 7과 같이, 페이지 확대 혹은 축소는 양손 모두 수평기준점을 기준으로 기준점 위쪽에서 양손의 동작인식수단들이 가까워지면 축소, 멀어지면 확대로 인식하게 된다.In other words, as shown in FIG. 7, the enlargement or reduction of the page is performed when the hands recognition means of both hands approaches the horizontal reference point on the upper side of the reference point.
따라서, 페이지 확대 혹은 축소 신호를 생성하여 동작인식제어수단으로 송출하게 되는 것이다.Therefore, a page enlargement or reduction signal is generated and transmitted to the motion recognition control means.
한편, 페이지내이동신호생성부(140)는 페이지확대/축소신호생성부에서 판단 결과, 확대 신호일 경우에 사용자가 자료 내에서 보기를 원하는 위치를 맞추기 위하여 양손을 동시에 원하는 방향으로 이동할 때 명령으로 인식하는 신호를 생성하도록 구성한 것이다.On the other hand, when the page enlargement / reduction
이때, 사용자가 화면을 볼 수 있는 일정 시간을 대기 모드로 설정하고, 대기 모드시 왼손동작인식수단과 오른손동작인식수단으로부터 동작 인식 정보가 동시에 획득될 경우에 한하여 해당 위치 좌표 정보를 동작인식제어수단으로 제공하게 된다.At this time, the user sets the predetermined time for viewing the screen to the standby mode, and only when the motion recognition information is simultaneously obtained from the left-hand motion recognition means and the right-hand motion recognition means in the standby mode, .
한편, 부가적인 양상에 따라 상기 의도동작판별수단(100)은,Meanwhile, according to an additional aspect, the intention operation determination means 100,
커서 발생 신호 혹은 커서 오프 신호를 획득하기 위한 커서신호획득부(150)와,A cursor
상기 커서신호획득부에서 획득된 신호가 커서 발생 신호이면서 오른손동작인식수단으로부터 누름 동작 신호를 획득할 경우에 판서 신호를 생성하여 동작인식제어수단으로 제공하기 위한 판서신호생성부(160)를 더 포함하여 구성될 수 있다.And a writing signal generating unit (160) for generating a writing signal when the signal obtained by the cursor signal obtaining unit is a cursor generating signal and acquiring a pressing operation signal from the right hand motion recognizing means and providing the writing signal to the motion recognizing controlling means .
상기 구성은 커서를 화면상에 디스플레이시키기 위한 것이다.The above configuration is for displaying the cursor on the screen.
즉, 상기 커서신호획득부(150)에서 커서 발생 신호 혹은 커서 오프 신호를 획득할 경우에 커서를 생성하거나 생성된 커서를 화면상에서 제거하게 된다.That is, when the cursor
이때, 상기 판서신호생성부(160)는 커서신호획득부에서 획득된 신호가 커서 발생 신호이면서 오른손동작인식수단으로부터 누름 동작 신호를 획득할 경우에 판서 신호를 생성하여 동작인식제어수단으로 제공하게 되는 것이다.At this time, when the signal obtained by the cursor
상기 판서는 그림이나 글씨 등을 화면 위에 표시하는 것을 의미한다.The written form means to display a picture or a text on the screen.
동작 원리를 설명하자면, 그림이나 글씨 등을 화면에 제공하고 싶을 경우에 사용자가 왼손동작인식수단(200)의 커서버튼부(220)를 한 번 누른 후, 오른손동작인식수단(300)의 판서버튼부(320)를 누르면 작동하게 되며, 예를 들어, 지속적으로 누른 상태에서 글씨를 쓰거나 그림을 그릴 경우에 해당 판서 내용이 화면에 나타나게 되는 것이다.When a user wants to provide a picture or a letter on the screen, the user presses the
상기 판서 내용이 화면에 출력되는 기술은 일반적인 전자칠판 등에서 널리 활용되고 있는 기술이므로 상세한 설명은 생략하겠다.The technique of outputting the content of the written form on the screen is a technique widely used in general electronic boards, and therefore, a detailed description thereof will be omitted.
만약, 레이저 포인터를 사용하고 싶을 경우에 상기 판서 상태라면 커서버튼부를 한번 더 눌러 커서를 화면에서 제거한 상태에서 레이저포인터를 동작시키기 위하여 판서버튼부를 누르면 된다.If the user wishes to use the laser pointer, the cursor button portion is pressed once more to depress the pen button portion to operate the laser pointer while the cursor is removed from the screen.
한편, 다른 동작 예로서, 모든 동작 인식은 양손이 같이 동작할 때 외에는 기준점 위에서 수직값이 증가할 때에만 동작으로 인식하도록 설정할 수도 있다.On the other hand, as another example of operation, all of the motion recognition may be set to be recognized as an operation only when the vertical value increases above the reference point, except when both hands are operated together.
상기와 같이, 의도동작판별수단(100)을 구성하는 이유는 발표자가 제스처를 취하게 되는데, 제스처 중 상쪽 혹은 하쪽으로 가리키는 제스처를 하게 되면 동작인식제어수단이 이를 인식하게 되어 페이지를 발표자의 의도와는 상관없이 이동시키는 오류를 범하기 때문에 이를 방지하고자 기준점을 주는 것이다.As described above, the reason why the intention motion determining means 100 is configured is that the presenter takes a gesture. When the gesture pointing to the upper or lower side of the gesture is performed, the motion recognition control means recognizes the gesture. , It gives a reference point to prevent it.
결론적으로 상기와 같은 구성 및 동작에 의해 사무용, 교육용 등 프리젠테이션을 하는 경우에 포인터 대신 손의 동작인식을 통해 다음 페이지 혹은 이전 페이지 넘김, 페이지 확대 혹은 축소, 페이지 내 이동, 그림 그리기 혹은 글씨 쓰기 중 어느 하나의 동작을 수행하도록 함으로써, 간단한 손 동작만으로도 다양한 동작을 구현할 수 있는 확장성과 편리성을 제공하게 된다.In conclusion, when the present invention is applied to a business or educational presentation, it is possible to display the next page or previous page, enlarge or reduce a page, move within a page, draw a picture, or write By performing any one of the operations, it is possible to provide a scalability and convenience that can realize various operations by a simple hand operation.
이상에서와 같은 내용의 본 발명이 속하는 기술분야의 당업자는 본 발명의 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시된 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. It will be appreciated by those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is to be understood, therefore, that the embodiments described above are to be considered in all respects as illustrative and not restrictive.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구 범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.
100 : 의도동작판별수단
200 : 왼손동작인식수단
300 : 오른손동작인식수단
400 : 동작인식제어수단100: Intentional motion discrimination means
200: Left hand motion recognition means
300: right hand motion recognition means
400: motion recognition control means
Claims (8)
사용자의 왼손 동작을 인식하기 위한 왼손동작인식센서(210)를 포함하여 구성되되, 왼손에 착용하기 위한 왼손동작인식수단(200)과;
사용자의 오른손 동작을 인식하기 위한 오른손동작인식센서(310)를 포함하여 구성되되, 오른손에 착용하기 위한 오른손동작인식수단(300)과;
사용자의 상체 중앙 부위에 착용되어 기준점을 설정하며, 기준점을 기준으로 상기 왼손동작인식수단이 기준점을 넘어서게 되거나, 오른손동작인식수단이 기준점을 넘어서게 되면, 왼손 동작 인식 정보 혹은 오른손 동작 인식 정보를 동작인식제어수단으로 제공하기 위한 의도동작판별수단(100)과;
의도동작판별수단에서 제공한 동작 인식정보를 참조하여 화면에 출력되는 프리젠테이션 페이지의 다음 페이지 혹은 이전 페이지 넘김, 페이지 확대 혹은 축소, 페이지 내 이동, 그림 그리기 혹은 글씨 쓰기 중 어느 하나의 동작을 수행하도록 제어하기 위한 동작인식제어수단(400);을 포함하여 구성되는 것을 특징으로 하는 손동작 인식을 이용한 프리젠테이션 실행시스템.
A presentation execution system using hand movement recognition,
A left-hand motion recognition unit 200 configured to include a left-hand motion recognition sensor 210 for recognizing a left-hand motion of a user,
A right hand motion recognizing means 300 for recognizing a right hand motion of a user, and a right hand motion recognizing means 300 for wearing the right hand motion recognizing sensor 310;
When the left hand motion recognition means exceeds the reference point on the basis of the reference point, or when the right hand motion recognition means exceeds the reference point, the left hand motion recognition information or the right hand motion recognition information is recognized as motion recognition An intention operation determination means (100) for providing the control means with control means;
Referring to the motion recognition information provided by the intentional motion determination means, performs a motion of either the next page of the presentation page displayed on the screen, the previous page turning, enlarging or reducing the page, moving within the page, drawing or writing And a motion recognition control unit (400) for controlling the motion recognition unit (400).
상기 왼손동작인식수단(200)은,
어느 일측에 형성되어 커서 발생 신호 및 커서 오프 신호를 의도동작판별수단으로 제공하기 위한 커서버튼부(220)를 더 포함하여 구성되는 것을 특징으로 하는 손동작 인식을 이용한 프리젠테이션 실행시스템.
The method according to claim 1,
The left-hand motion recognition means (200)
And a cursor button unit (220) formed on one side for providing a cursor generation signal and a cursor off signal to the intentional motion determination means.
상기 오른손동작인식수단(300)은,
어느 일측에 형성되어 눌림이 감지되면 레이저 빔을 발생시키기 위한 레이저포인터를 더 포함하여 구성되는 것을 특징으로 하는 손동작 인식을 이용한 프리젠테이션 실행시스템.
The method according to claim 1,
The right hand motion recognition means (300)
And a laser pointer for generating a laser beam when the pressed part is formed on one side.
상기 오른손동작인식수단(300)은,
어느 일측에 형성되어 그림 그리기 혹은 글씨 쓰기를 원할 경우에 지속적인 누름 동작 신호를 의도동작판별수단으로 제공하기 위한 판서버튼부(320)를 더 포함하여 구성되는 것을 특징으로 하는 손동작 인식을 이용한 프리젠테이션 실행시스템.
The method according to claim 1,
The right hand motion recognition means (300)
And a writing button unit (320) for providing a continuous pressing operation signal to the intentional motion determining means when the user desires to draw or write a character on either side. system.
상기 의도동작판별수단(100)은,
왼손동작인식수단과 오른손동작인식수단의 동작 인식 정보를 획득하기 위한 동작인식정보획득부(110)와,
상기 동작 인식 정보가 기준점을 넘어가는지를 판단하여 기준점을 넘어갈 경우에 페이지 넘김 신호를 생성하여 동작인식제어수단으로 제공하기 위한 페이지넘김신호생성부(120)와,
상기 왼손동작인식수단과 오른손동작인식수단에서 동작 인식 정보가 동시에 획득될 경우에, 페이지 확대 혹은 축소 신호를 생성하여 동작인식제어수단으로 제공하기 위한 페이지확대/축소신호생성부(130)와,
상기 페이지확대/축소신호생성부에서 판단 결과, 확대 신호일 경우에 일정 시간 대기 모드로 설정하고, 대기 모드시 왼손동작인식수단과 오른손동작인식수단으로부터 동작 인식 정보가 동시에 획득될 경우에 한하여 해당 위치 좌표 정보를 동작인식제어수단으로 제공하기 위한 페이지내이동신호생성부(140)를 포함하여 구성되는 것을 특징으로 하는 손동작 인식을 이용한 프리젠테이션 실행시스템.
The method according to claim 1,
The intention operation determination means (100)
An operation recognition information acquisition unit (110) for acquiring motion recognition information of the left-hand motion recognition means and the right-hand motion recognition means,
A page turn signal generating unit 120 for generating a page turn signal when the motion recognition information exceeds a reference point and for providing a page turn signal to the motion recognition control unit,
A page enlargement / reduction signal generation unit 130 for generating a page enlargement or reduction signal and providing the page enlargement / reduction signal to the motion recognition control means when the motion recognition information is simultaneously obtained from the left-hand motion recognition means and the right-
When the magnification signal is enlarged as a result of the page enlargement / reduction signal generation unit, the mode is set to the standby mode for a predetermined time, and only when the motion recognition information is simultaneously obtained from the left- And an in-page movement signal generation unit (140) for providing information to the motion recognition control means.
상기 의도동작판별수단(100)은,
커서 발생 신호 혹은 커서 오프 신호를 획득하기 위한 커서신호획득부(150)와,
상기 커서신호획득부에서 획득된 신호가 커서 발생 신호이면서 오른손동작인식수단으로부터 누름 동작 신호를 획득할 경우에 판서 신호를 생성하여 동작인식제어수단으로 제공하기 위한 판서신호생성부(160)를 더 포함하여 구성되는 것을 특징으로 하는 손동작 인식을 이용한 프리젠테이션 실행시스템.
6. The method of claim 5,
The intention operation determination means (100)
A cursor signal acquisition unit 150 for acquiring a cursor generation signal or a cursor off signal,
And a writing signal generating unit (160) for generating a writing signal when the signal obtained by the cursor signal obtaining unit is a cursor generating signal and acquiring a pressing operation signal from the right hand motion recognizing means and providing the writing signal to the motion recognizing controlling means And a display unit for displaying the presentation information.
상기 동작인식제어수단(400)은,
페이지 넘김 신호를 획득할 경우에, 설정된 다음 페이지로 넘김 혹은 이전 페이지로 넘김 정보를 참조하여 출력된 프리젠테이션 페이지를 다음 페이지로 넘기거나 이전 페이지로 넘기기 위한 페이지넘김처리부(410)와,
페이지 확대 혹은 축소 신호를 획득할 경우에, 화면에 출력되는 페이지를 확대 혹은 축소시키기 위한 페이지확대/축소처리부(420)와,
상기 페이지확대/축소처리부에서 획득된 신호가 페이지 확대 신호일 경우에, 왼손동작인식수단과 오른손동작인식수단으로부터 동작 인식 정보를 동시에 획득할 경우에 송출된 해당 위치 좌표로 화면에 출력된 페이지 내 위치를 이동시키기 위한 페이지내이동처리부(430)를 포함하여 구성되는 것을 특징으로 하는 손동작 인식을 이용한 프리젠테이션 실행시스템.
The method according to claim 1,
The operation recognition control means (400)
A page turnover processing unit 410 for turning the outputted presentation page to the next page or turning it to the previous page by referring to the set page turning information or the previous page turning information when acquiring the page turning signal,
A page enlargement / reduction processing unit 420 for enlarging or reducing a page output on a screen when acquiring a page enlargement or reduction signal,
Wherein when the signal obtained by the page enlargement / reduction processing section is a page enlargement signal, the position in the page outputted on the screen with the corresponding position coordinates transmitted when the motion recognition information is simultaneously obtained from the left-hand motion recognition means and the right- And a page in-movement processing unit (430) for moving the page.
상기 동작인식제어수단(400)은,
판서 신호를 획득할 경우에, 화면에 출력되는 페이지 내 커서가 위치한 좌표에서부터 판서를 수행하며, 오른손동작인식수단으로부터 누름 동작 신호를 획득하지 못할 경우에 판서를 중지시키기 위한 판서신호처리부(440)를 더 포함하여 구성되는 것을 특징으로 하는 손동작 인식을 이용한 프리젠테이션 실행시스템.
8. The method of claim 7,
The operation recognition control means (400)
A signer signal processor 440 for executing a signer from the coordinates at which the cursor in the page is outputted on the screen when the signer signal is acquired and stopping the signer if the signer can not obtain the pusher operation signal from the right- Wherein the presentation execution system comprises:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150033838A KR101564089B1 (en) | 2015-03-11 | 2015-03-11 | Presentation Execution system using Gesture recognition. |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150033838A KR101564089B1 (en) | 2015-03-11 | 2015-03-11 | Presentation Execution system using Gesture recognition. |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101564089B1 true KR101564089B1 (en) | 2015-10-30 |
Family
ID=54431082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150033838A KR101564089B1 (en) | 2015-03-11 | 2015-03-11 | Presentation Execution system using Gesture recognition. |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101564089B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107305431A (en) * | 2016-04-25 | 2017-10-31 | 钦赛勇 | Projection demonstration device and method based on gesture operation |
| WO2019235855A1 (en) * | 2018-06-05 | 2019-12-12 | Park Seong Jin | Presenter device having hand gesture recognition function and presentation system comprising same |
| CN111078008A (en) * | 2019-12-04 | 2020-04-28 | 东北大学 | Control method of early education robot |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101211808B1 (en) | 2011-06-30 | 2012-12-12 | 박상준 | Gesture cognitive device and method for recognizing gesture thereof |
-
2015
- 2015-03-11 KR KR1020150033838A patent/KR101564089B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101211808B1 (en) | 2011-06-30 | 2012-12-12 | 박상준 | Gesture cognitive device and method for recognizing gesture thereof |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107305431A (en) * | 2016-04-25 | 2017-10-31 | 钦赛勇 | Projection demonstration device and method based on gesture operation |
| WO2019235855A1 (en) * | 2018-06-05 | 2019-12-12 | Park Seong Jin | Presenter device having hand gesture recognition function and presentation system comprising same |
| CN111078008A (en) * | 2019-12-04 | 2020-04-28 | 东北大学 | Control method of early education robot |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200285322A1 (en) | System and method for data and command input | |
| KR101844390B1 (en) | Systems and techniques for user interface control | |
| KR101809636B1 (en) | Remote control of computer devices | |
| JP5802667B2 (en) | Gesture input device and gesture input method | |
| JP6233314B2 (en) | Information processing apparatus, information processing method, and computer-readable recording medium | |
| JP5930618B2 (en) | Spatial handwriting system and electronic pen | |
| US20130307796A1 (en) | Touchscreen Device Integrated Computing System And Method | |
| JP6165485B2 (en) | AR gesture user interface system for mobile terminals | |
| US11714540B2 (en) | Remote touch detection enabled by peripheral device | |
| US11644907B2 (en) | Systems, devices, and methods for physical surface tracking with a stylus device in an AR/VR environment | |
| Guimbretière et al. | Bimanual marking menu for near surface interactions | |
| JP6386897B2 (en) | Electronic blackboard, information processing program, and information processing method | |
| US11397478B1 (en) | Systems, devices, and methods for physical surface tracking with a stylus device in an AR/VR environment | |
| TW201218036A (en) | Method for combining at least two touch signals in a computer system | |
| KR101564089B1 (en) | Presentation Execution system using Gesture recognition. | |
| US20150253918A1 (en) | 3D Multi-Touch | |
| CN105488832B (en) | Optical digital ruler | |
| TW201439813A (en) | Display device, system and method for controlling the display device | |
| KR20160072306A (en) | Content Augmentation Method and System using a Smart Pen | |
| KR20160011451A (en) | Character input apparatus using virtual keyboard and hand gesture recognition and method thereof | |
| Kudale et al. | Human computer interaction model based virtual whiteboard: A review | |
| Tian et al. | An exploration of pen tail gestures for interactions | |
| US8913008B2 (en) | Image data generation using a handheld electronic device | |
| Ramsundar | Interactive touch board using IR camera | |
| EP2677401B1 (en) | Image data generation using a handheld electronic device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190909 Year of fee payment: 5 |