KR20120086223A - Presentation system for providing control function using user's hand gesture and method thereof - Google Patents
Presentation system for providing control function using user's hand gesture and method thereof Download PDFInfo
- Publication number
- KR20120086223A KR20120086223A KR1020110007551A KR20110007551A KR20120086223A KR 20120086223 A KR20120086223 A KR 20120086223A KR 1020110007551 A KR1020110007551 A KR 1020110007551A KR 20110007551 A KR20110007551 A KR 20110007551A KR 20120086223 A KR20120086223 A KR 20120086223A
- Authority
- KR
- South Korea
- Prior art keywords
- hand
- image
- shadow
- region
- screen
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Abstract
Description
본 발명은 프리젠테이션 시스템에 관한 것으로, 특히, 스크린에 투사된 영상으로부터 손 그림자를 검출하여 그 검출한 손 그림자에 상응하는 사용자의 손 동작을 인식하고 그 인식한 사용자의 손 동작에 따라 제어 기능을 수행할 수 있는 사용자의 손 동작을 이용하여 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법에 관한 것이다.The present invention relates to a presentation system, and more particularly, detects a hand shadow from an image projected on a screen, recognizes a user's hand motion corresponding to the detected hand shadow, and performs a control function according to the recognized user's hand motion. A presentation system and method for providing a control function using a user's hand gesture that can be performed.
기업, 학교뿐 아니라 사회 전반적으로 프리젠테이션의 중요성이 부각되고 있다. 일반적으로 발표자가 프리젠테이션을 진행할 때에는 준비한 파일을 컴퓨터 장치에 연결한 다음, 스크린을 통해 파일 내용을 디스플레이시켜 회의 참석자들에게 설명하게 된다.The importance of presentation is gaining importance not only in companies and schools but also in society as a whole. Typically, when a presenter presents a presentation, he or she connects the prepared file to a computer device and then displays the file contents on a screen to explain to meeting participants.
이때, 발표자는 설명의 편의와 참석자들의 집중력 향상을 위해 레이저 포인터나 지시봉 등과 같은 도구를 이용하여 설명을 진행하게 된다.At this time, the presenter will explain using a tool such as a laser pointer or an indicator rod for convenience of explanation and improvement of concentration of attendees.
그러나 발표자가 프리젠테이션을 진행하는 동안 설명하는 내용에 따라 프리젠테이션 화면을 신속하게 전환시켜 내용의 흐름을 연속시켜야 하지만 컴퓨터가 있는 곳으로 일정 거리 이동하여 제어한 후에 다시 발표를 수행하여야 한다.However, while the presenter is giving a presentation, the presentation screen must be quickly switched to continue the flow of the contents according to the description, but the presenter must move to a certain distance to control the location and then present the presentation again.
이것은 발표자의 행동을 제약하고 발표를 수시로 중단해야 하는 문제점이 있고, 대단위 발표회장의 경우 발표문을 제어하기 위한 별도의 전담 인력을 필요로 하는 등의 문제점이 있다.This has the problem of restricting the presenter's behavior and stopping the presentation from time to time, and in the case of a large presentation chair, there is a problem such as requiring a separate dedicated person to control the presentation.
또한, 무선 마우스를 이용하여 발표문을 제어하는 방법이 있는데, 이 역시 서서 진행하는 프리젠테이션에서 마우스를 손에 쥐고 마우스패드 위에서 움직여 인식시켜야 하고, 인식점의 오차로 인해 원하는 곳을 지정할 수 없는 문제점이 있었다.In addition, there is a method of controlling a presentation by using a wireless mouse, which also needs to be recognized by moving a mouse on a mouse pad while holding a mouse in a presentation that is standing and progressing. there was.
따라서 이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 스크린에 투사된 영상으로부터 손 그림자를 검출하여 그 검출한 손 그림자에 상응하는 사용자의 손 동작을 인식하고 그 인식한 사용자의 손 동작에 따라 제어 기능을 수행할 수 있는 사용자의 손 동작을 이용하여 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법을 제공하는데 있다.Accordingly, an object of the present invention is to detect a hand shadow from an image projected on a screen, recognize a user's hand motion corresponding to the detected hand shadow, and recognize the user's hand motion. The present invention provides a presentation system and a method for providing a control function using a user's hand operation capable of performing the control function.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.However, the objects of the present invention are not limited to those mentioned above, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.
상기 목적들을 달성하기 위하여, 본 발명의 한 관점에 따른 제어 기능을 제공하기 위한 프리젠테이션 시스템은 프로젝터로부터 스크린에 투사된 프리젠테이션 화면의 영상을 촬영하는 카메라; 및 상기 카메라에 의해 촬영된 영상을 입력받으면, 입력받은 상기 영상으로부터 손 그림자 영역을 검출하고, 검출한 상기 손 그림자 영역에 상응하는 사용자의 손 동작을 인식하여 그 인식한 상기 사용자의 손 동작에 따라 제어 기능을 수행하는 사용자 단말기를 포함하는 것을 특징으로 한다.In order to achieve the above objects, a presentation system for providing a control function according to an aspect of the present invention comprises a camera for taking an image of the presentation screen projected on the screen from the projector; And when receiving an image photographed by the camera, detecting a hand shadow region from the input image, recognizing a user's hand motion corresponding to the detected hand shadow region, according to the recognized user's hand gesture. It characterized in that it comprises a user terminal for performing a control function.
바람직하게, 상기 사용자 단말기는 손 그림자가 없는 영상에서 스크린에 투사된 영상 내의 프리젠테이션 화면의 코너 정보를 검출하고, 손 그림자가 있는 영상에서 손 그림자 영역을 검출하며, 상기 프리젠테이션 화면의 코너 정보와 상기 손 그림자 영역을 이용하여 상기 사용자의 손 동작을 인식하는 것을 특징으로 한다.Preferably, the user terminal detects the corner information of the presentation screen in the image projected on the screen in the image without the hand shadow, detects the hand shadow area in the image with the hand shadow, and the corner information of the presentation screen. The user's hand motion may be recognized using the hand shadow area.
필요에 따라, 상기 사용자 단말기는 상기 손 그림자가 없는 영상을 화면 영역과 비화면 영역으로 구분하고 그 구분한 영상에 모폴로지 연산을 수행하여 전처리된 영상을 얻고, 상기 전처리된 영상을 허프 변환하여 상기 손 그림자가 없는 영상 내의 프리젠테이션 화면의 코너 정보를 검출하는 것을 특징으로 한다.If necessary, the user terminal divides the image having no hand shadow into a screen region and a non-screen region, performs a morphology operation on the divided image, obtains a preprocessed image, and huff-converts the preprocessed image. And detecting corner information of the presentation screen in the shadowless image.
필요에 따라, 상기 사용자 단말기는 상기 손 그림자가 있는 영상과 그림자 후보 영상을 비교하여 그림자 후보 영역을 검출하고 검출한 상기 그림자 후보 영역을 레이블링하여 그 레이블링한 그림자 후보 영역 중 가장 큰 면적을 차지하는 영역을 상기 손 그림자 영역으로 검출하는 것을 특징으로 한다.If necessary, the user terminal detects a shadow candidate region by comparing the shadowed image with the shadow candidate image, labels the detected shadow candidate region, and selects an area occupying the largest area among the labeled shadow candidate regions. And detecting by the hand shadow area.
필요에 따라, 상기 그림자 후보 영상은 입력받은 상기 영상을 R, G, B 영상으로 분할하여 그 분할한 R, G, B 영상 각각의 픽셀값을 계산하여 R, G, B 후보 영상을 생성하고, 생성한 상기 R, G, B 후보 영상을 결합하여 생성되는 것을 특징으로 한다.If necessary, the shadow candidate image divides the received image into R, G, and B images, calculates pixel values of each of the divided R, G, and B images, and generates R, G, and B candidate images. The R, G, and B candidate images generated are generated by combining the candidate images.
필요에 따라, 상기 사용자 단말기는 상기 프리젠테이션 화면의 코너 정보와 상기 손 그림자 영역을 이용하여 손 영역을 추출하고, 추출된 상기 손 영역에 상응하는 사용자의 손 동작을 인식하는 것을 특징으로 한다.If necessary, the user terminal may extract a hand region by using the corner information of the presentation screen and the hand shadow region, and recognize a user's hand motion corresponding to the extracted hand region.
필요에 따라, 상기 사용자 단말기는 PCA(Principal Component Analysis) 방식을 이용하여 상기 손 영역의 데이터 차원을 축소시키고, SVM(Support Vector Machine) 방식을 이용하여 손 동작을 분류하여 인식하는 것을 특징으로 한다.
If necessary, the user terminal may reduce the data dimension of the hand region by using a Principal Component Analysis (PCA) method and classify and recognize the hand motion by using a support vector machine (SVM) method.
본 발명의 다른 한 관점에 따른 제어 기능을 제공하기 위한 프리젠테이션 시스템은 프로젝터로부터 스크린에 투사된 프리젠테이션 화면의 영상을 카메라를 통해 입력받으면, 손 그림자가 없는 영상에서 스크린에 투사된 영상 내의 프리젠테이션 화면의 코너 정보를 검출하는 코너 검출부; 손 그림자가 있는 영상에서 손 그림자 영역을 검출하는 그림자 검출부; 상기 프리젠테이션 화면의 코너 정보와 상기 손 그림자 영역을 이용하여 손 영역을 추출하는 추출부; 추출된 손 영역에 상응하는 사용자의 손 동작을 인식하는 인식부; 및 인식한 상기 사용자의 손 동작에 상응하는 다양한 제어 기능을 수행하는 처리부를 포함하는 것을 특징으로 한다.Presentation system for providing a control function according to another aspect of the present invention when the image of the presentation screen projected on the screen from the projector through the camera, the presentation in the image projected on the screen in the image without the hand shadow A corner detector detecting corner information of the screen; A shadow detector which detects a hand shadow area in the image with the hand shadow; An extraction unit for extracting a hand region using corner information of the presentation screen and the hand shadow region; A recognition unit for recognizing a user's hand motion corresponding to the extracted hand region; And a processing unit that performs various control functions corresponding to the recognized hand motion of the user.
필요에 따라, 상기 코너 검출부는 상기 손 그림자가 없는 영상을 화면 영역과 비화면 영역으로 구분하고 그 구분한 영상에 모폴로지 연산을 수행하여 전처리된 영상을 얻고, 상기 전처리된 영상을 허프 변환하여 상기 손 그림자가 없는 영상 내의 프리젠테이션 화면의 코너 정보를 검출하는 것을 특징으로 한다.If necessary, the corner detector divides the image without the hand shadow into a screen region and a non-screen region, performs a morphology operation on the divided image, obtains a preprocessed image, and huff-converts the preprocessed image. And detecting corner information of the presentation screen in the shadowless image.
필요에 따라, 상기 그림자 검출부는 상기 손 그림자가 있는 영상과 그림자 후보 영상을 비교하여 그림자 후보 영역을 검출하고 검출한 상기 그림자 후보 영역을 레이블링하여 그 레이블링한 그림자 후보 영역 중 가장 큰 면적을 차지하는 영역을 상기 손 그림자 영역으로 검출하는 것을 특징으로 한다.If necessary, the shadow detection unit detects a shadow candidate region by comparing the shadow candidate image with the shadow candidate image, labels the detected shadow candidate region, and selects an area occupying the largest area among the labeled shadow candidate regions. And detecting by the hand shadow area.
필요에 따라, 상기 그림자 후보 영상은 입력받은 상기 영상을 R, G, B 영상으로 분할하여 그 분할한 R, G, B 영상 각각의 픽셀값을 계산하여 R, G, B 후보 영상을 생성하고, 생성한 상기 R, G, B 후보 영상을 결합하여 생성되는 것을 특징으로 한다.If necessary, the shadow candidate image divides the received image into R, G, and B images, calculates pixel values of each of the divided R, G, and B images, and generates R, G, and B candidate images. The R, G, and B candidate images generated are generated by combining the candidate images.
필요에 따라, 상기 추출부는 상기 손 그림자 영역에서 그림자 영역의 특징을 나타내는 주축을 검출하고 검출한 상기 주축을 이용하여 손목의 위치를 검출한 후에 손목의 위치에서부터 손가락 끝부분까지를 손 영역으로 추출하는 것을 특징으로 한다.If necessary, the extracting unit detects a main axis representing the characteristic of the shadow area in the shadow area of the hand and detects the position of the wrist using the detected main axis, and then extracts the position from the wrist to the tip of the finger as the hand area. It is characterized by.
필요에 따라, 상기 인식부는 PCA(Principal Component Analysis) 방식을 이용하여 상기 손 영역의 데이터 차원을 축소시키고, SVM(Support Vector Machine) 방식을 이용하여 손 동작을 분류하여 인식하는 것을 특징으로 한다.
If necessary, the recognition unit may reduce the data dimension of the hand region by using a Principal Component Analysis (PCA) method, and classify and recognize a hand motion by using a support vector machine (SVM) method.
본 발명의 또 다른 한 관점에 따른 프리젠테이션 시스템의 제어 기능을 제공하기 위한 방법은 (a)프로젝터로부터 스크린에 투사된 프리젠테이션 화면의 영상을 카메라를 통해 입력받으면, 손 그림자가 없는 영상에서 스크린에 투사된 영상 내의 프리젠테이션 화면의 코너 정보를 검출하는 단계; (b)손 그림자가 있는 영상에서 손 그림자 영역을 검출하는 단계; (c)상기 프리젠테이션 화면의 코너 정보와 상기 손 그림자 영역을 이용하여 손 영역을 추출하는 단계; (d)추출된 손 영역에 상응하는 사용자의 손 동작을 인식하는 단계; 및 (e)인식한 상기 사용자의 손 동작에 상응하는 다양한 제어 기능을 수행하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, a method for providing a control function of a presentation system includes (a) when an image of a presentation screen projected on a screen from a projector is input through a camera, an image without a hand shadow is displayed on the screen. Detecting corner information of the presentation screen in the projected image; (b) detecting a hand shadow area in an image having hand shadows; (c) extracting a hand region using the corner information of the presentation screen and the hand shadow region; (d) recognizing a user's hand gesture corresponding to the extracted hand region; And (e) performing various control functions corresponding to the recognized user's hand motion.
필요에 따라, 상기 (a) 단계는 상기 손 그림자가 없는 영상을 화면 영역과 비화면 영역으로 구분하고 그 구분한 영상에 모폴로지 연산을 수행하여 전처리된 영상을 얻고, 상기 전처리된 영상을 허프 변환하여 상기 손 그림자가 없는 영상 내의 프리젠테이션 화면의 코너 정보를 검출하는 것을 특징으로 한다.If necessary, the step (a) divides the image without the hand shadow into a screen region and a non-screen region, performs a morphology operation on the divided image to obtain a preprocessed image, and Huff transforms the preprocessed image. And detecting corner information of the presentation screen in the image without the hand shadow.
필요에 따라, 상기 (b) 단계는 상기 손 그림자가 있는 영상과 그림자 후보 영상을 비교하여 그림자 후보 영역을 검출하고 검출한 상기 그림자 후보 영역을 레이블링하여 그 레이블링한 그림자 후보 영역 중 가장 큰 면적을 차지하는 영역을 상기 손 그림자 영역으로 검출하는 것을 특징으로 한다.If necessary, the step (b) detects a shadow candidate area by comparing the shadowed candidate image with the shadow candidate image, labels the detected shadow candidate area, and occupies the largest area among the labeled shadow candidate areas. An area is detected as the hand shadow area.
필요에 따라, 상기 그림자 후보 영상은 입력받은 상기 영상을 R, G, B 영상으로 분할하여 그 분할한 R, G, B 영상 각각의 픽셀값을 계산하여 R, G, B 후보 영상을 생성하고, 생성한 상기 R, G, B 후보 영상을 결합하여 생성되는 것을 특징으로 한다.If necessary, the shadow candidate image divides the received image into R, G, and B images, calculates pixel values of each of the divided R, G, and B images, and generates R, G, and B candidate images. The R, G, and B candidate images generated are generated by combining the candidate images.
필요에 따라, 상기 (c) 단계는 손 그림자 영역에서 그림자 영역의 특징을 나타내는 주축을 검출하고 검출한 상기 주축을 이용하여 손목의 위치를 검출한 후에 손목의 위치에서부터 손가락 끝부분까지를 손 영역으로 추출하는 것을 특징으로 한다.If necessary, the step (c) detects the main axis representing the characteristic of the shadow area in the shadow area of the hand and detects the position of the wrist using the detected main axis, and then moves from the wrist position to the tip of the finger as the hand area. It is characterized in that the extraction.
필요에 따라, 상기 (c) 단계는 PCA(Principal Component Analysis) 방식을 이용하여 상기 손 영역의 데이터 차원을 축소시키고, SVM(Support Vector Machine) 방식을 이용하여 손 동작을 분류하여 인식하는 것을 특징으로 한다.If necessary, the step (c) may reduce the data dimension of the hand region by using a Principal Component Analysis (PCA) method and classify and recognize the hand motion by using a support vector machine (SVM) method. do.
이를 통해, 본 발명은 스크린에 투사된 영상으로부터 손 그림자를 검출하여 그 검출한 손 그림자에 상응하는 사용자의 손 동작을 인식하고 그 인식한 사용자의 손 동작에 따라 제어 기능을 수행함으로써, 사용자의 편리성을 향상시킬 수 있는 효과가 있다.Accordingly, the present invention detects a hand shadow from the image projected on the screen, recognizes the user's hand motion corresponding to the detected hand shadow, and performs a control function according to the recognized user's hand motion. There is an effect to improve the sex.
또한, 본 발명은 스크린에 투사된 영상으로부터 손 그림자를 검출하여 그 검출한 손 그림자에 상응하는 사용자의 손 동작을 인식하고 그 인식한 사용자의 손 동작에 따라 제어 기능을 수행함으로써, 불필요한 조작 시간을 줄일 수 있는 효과가 있다.In addition, the present invention detects a hand shadow from the image projected on the screen, recognizes the user's hand motion corresponding to the detected hand shadow, and performs a control function according to the recognized user's hand motion, thereby reducing unnecessary operation time There is an effect that can be reduced.
도 1은 본 발명의 실시예에 따른 프리젠테이션 시스템을 나타내는 예시도이다.
도 2는 본 발명의 실시예에 따른 제어 기능을 제공하기 위한 방법을 나타내는 예시도이다.
도 3은 본 발명의 실시예에 따른 카메라를 통해 촬영된 영상을 나타내는 예시도이다.
도 4는 도 2에 도시된 코너 정보를 검출하는 상세한 방법을 나타내는 예시도이다.
도 5는 본 발명의 실시예에 따른 코너 정보를 검출하는 원리를 설명하기 위한 예시도이다.
도 6은 도 2에 도시된 손 그림자 영역을 검출하는 상세한 방법을 나타내는 예시도이다.
도 7은 본 발명의 실시예에 따른 손 그림자 영역을 검출하는 원리를 설명하기 위한 제1 예시도이다.
도 8은 본 발명의 실시예에 따른 손 그림자 영역을 검출하는 원리를 설명하기 위한 제2 예시도이다.
도 9는 본 발명의 실시예에 따른 손 그림자 영역을 검출하는 원리를 설명하기 위한 제3 예시도이다.
도 10은 본 발명의 실시예에 따른 그림자 후보 영상을 생성하는 원리를 설명하기 위한 제1 예시도이다.
도 11은 본 발명의 실시예에 따른 그림자 후보 영상을 생성하는 원리를 설명하기 위한 제2 예시도이다.
도 12는 본 발명의 실시예에 따른 그림자 후보 영상을 나타내는 예시도이다.
도 13은 본 발명의 실시예에 따른 투영 변환하여 얻은 영상을 나타내는 예시도이다.
도 14는 도 2에 도시된 손 영역을 추출하는 상세한 방법을 나타내는 예시도이다.
도 15는 본 발명의 실시예에 따른 손 영역을 추출하는 원리를 설명하기 위한 예시도이다.
도 16은 도 2에 도시된 손 동작을 인식하는 상세한 방법을 나타내는 예시도이다.
도 17는 본 발명의 실시예에 따른 손 동작을 인식하는 원리를 설명하기 위한 제1 예시도이다.
도 18는 본 발명의 실시예에 따른 손 동작을 인식하는 원리를 설명하기 위한 제2 예시도이다.
도 19은 본 발명의 실시예에 따른 손 동작을 인식하는 원리를 설명하기 위한 제3 예시도이다.
도 20은 본 발명의 실시예에 따른 제어 기능을 수행하는 원리를 설명하기 위한 예시도이다.
도 21은 도 1에 도시된 사용자 단말기(140)의 상세한 구성을 나타내는 예시도이다.1 is an exemplary view showing a presentation system according to an embodiment of the present invention.
2 is an exemplary view showing a method for providing a control function according to an embodiment of the present invention.
3 is an exemplary view showing an image captured by a camera according to an embodiment of the present invention.
4 is an exemplary diagram illustrating a detailed method of detecting corner information illustrated in FIG. 2.
5 is an exemplary view for explaining a principle of detecting corner information according to an embodiment of the present invention.
6 is an exemplary diagram illustrating a detailed method of detecting a hand shadow area illustrated in FIG. 2.
7 is a first exemplary view for explaining a principle of detecting a hand shadow area according to an exemplary embodiment of the present invention.
8 is a second exemplary view for explaining a principle of detecting a hand shadow area according to an exemplary embodiment of the present invention.
9 is a third exemplary view for explaining a principle of detecting a hand shadow area according to an exemplary embodiment of the present invention.
10 is a first exemplary diagram for explaining a principle of generating a shadow candidate image according to an embodiment of the present invention.
11 is a second exemplary view for explaining a principle of generating a shadow candidate image according to an embodiment of the present invention.
12 is an exemplary diagram illustrating a shadow candidate image according to an embodiment of the present invention.
13 is an exemplary view showing an image obtained by projection conversion according to an embodiment of the present invention.
14 is an exemplary diagram illustrating a detailed method of extracting a hand region illustrated in FIG. 2.
15 is an exemplary diagram for explaining a principle of extracting a hand region according to an exemplary embodiment of the present invention.
FIG. 16 is an exemplary diagram illustrating a detailed method of recognizing a hand gesture illustrated in FIG. 2.
17 is a first exemplary view for explaining a principle of recognizing a hand gesture according to an exemplary embodiment of the present invention.
18 is a second exemplary view for explaining a principle of recognizing a hand gesture according to an exemplary embodiment of the present invention.
19 is a third exemplary view for explaining a principle of recognizing a hand gesture according to an exemplary embodiment of the present invention.
20 is an exemplary diagram for explaining a principle of performing a control function according to an embodiment of the present invention.
21 is an exemplary view showing a detailed configuration of the
이하에서는, 본 발명의 실시예에 따른 사용자의 손 동작을 이용한 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법을 첨부한 도 1 내지 도 21을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 상세히 설명한다. 명세서 전체를 통하여 각 도면에서 제시된 동일한 참조 부호는 동일한 구성 요소를 나타낸다.Hereinafter, a presentation system and a method for providing a control function using a user's hand motion according to an embodiment of the present invention will be described with reference to FIGS. 1 to 21. It will be described in detail focusing on the parts necessary to understand the operation and action according to the present invention. Like reference numerals in the drawings denote like elements throughout the specification.
본 발명에서는 스크린에 투사된 프리젠테이션 화면의 영상으로부터 손 그림자를 검출하여 그 검출한 손 그림자에 상응하는 사용자의 손 동작을 인식하고 그 인식한 사용자의 손 동작에 따라 다양한 제어 기능을 수행할 수 있는 방안을 제안한다.The present invention detects a hand shadow from an image of a presentation screen projected on a screen, recognizes a user's hand motion corresponding to the detected hand shadow, and performs various control functions according to the recognized user's hand motion. Suggest a solution.
도 1은 본 발명의 실시예에 따른 프리젠테이션 시스템을 나타내는 예시도이다.1 is an exemplary view showing a presentation system according to an embodiment of the present invention.
도 1에 도시한 바와 같이, 본 발명에 따른 프리젠테이션 시스템은 스크린(110), 프로젝터(120), 카메라(130), 및 사용자 단말기(140) 등을 포함하여 구성될 수 있다.As shown in FIG. 1, the presentation system according to the present invention may include a
프로젝터(120)는 발표하고자 하는 프리젠테이션 화면 또는 영상을 스크린(110)에 투사하고, 카메라(130)는 스크린(110)에 투사된 영상을 촬영할 수 있다.The
사용자 단말기(140)는 카메라(130)에 의해 촬영된 영상을 입력받고 그 입력받은 영상에 손 그림자가 포함되어 있는지를 확인하고 그 확인한 결과로 손 그림자가 포함되어 있는 영상으로부터 손 그림자를 검출할 수 있다. 사용자 단말기(140)는 검출한 손 그림자에 상응하는 사용자의 손 동작을 인식하고 그 인식한 사용자의 손 동작에 따라 다양한 제어 기능을 수행할 수 있다.The
이때, 사용자 단말기는 휴대폰, PDA, PC, 및 노트북 등을 포괄하는 개념일 수 있다.
In this case, the user terminal may be a concept encompassing a mobile phone, a PDA, a PC, and a notebook.
도 2는 본 발명의 실시예에 따른 제어 기능을 제공하기 위한 방법을 나타내는 예시도이다.2 is an exemplary view showing a method for providing a control function according to an embodiment of the present invention.
도 2에 도시한 바와 같이, 본 발명에 따른 제어 기능 제공방법은 프로젝터로부터 스크린에 투사된 프리젠테이션 화면의 영상을 카메라를 통해 입력받는 단계(S210), 입력받은 영상에 손 그림자가 있는지를 확인하는 단계(S220), 손 그림자가 없는 영상에서 프리젠테이션 화면의 코너 정보를 검출하는 단계(S230), 손 그림자가 있는 영상에서 손 그림자 영역을 검출하는 단계(S240), 프리젠테이션 화면의 코너 정보를 이용하여 손 그림자 영역이 있는 영상을 투영 변환하는 단계(S250), 투영 변환된 영상의 손 그림자 영역으로부터 손 영역을 추출하는 단계(S260), 추출된 손 영역에 상응하는 사용자의 손 동작을 인식하는 단계(S270), 인식한 손 동작에 따른 제어 기능을 수행하는 단계(S280) 등을 포함할 수 있다.As shown in Figure 2, the control function providing method according to the invention step of receiving an image of the presentation screen projected on the screen from the projector through the camera (S210), to check whether there is a hand shadow on the input image Step S220, detecting corner information of the presentation screen in the image without the hand shadow (S230), detecting hand shadow area in the image with the hand shadow (S240), using the corner information of the presentation screen Projecting and converting an image having a hand shadow region (S250), extracting a hand region from the hand shadow region of the projection-converted image (S260), and recognizing a user's hand motion corresponding to the extracted hand region. In operation S270, a control function according to the recognized hand motion may be performed in operation S280.
이러한 일련의 동작 원리를 도 3 내지 도 20을 참조하여 설명하면 다음과 같다.
This series of operating principles will be described with reference to FIGS. 3 to 20.
먼저, 본 발명에 따른 사용자 단말기는 프로젝터로부터 스크린에 투사된 프리젠테이션 화면의 영상을 카메라를 통해 입력받을 수 있다(S210).First, the user terminal according to the present invention may receive an image of a presentation screen projected on a screen from a projector through a camera (S210).
도 3은 본 발명의 실시예에 따른 카메라를 통해 촬영된 영상을 나타내는 예시도이다.3 is an exemplary view showing an image captured by a camera according to an embodiment of the present invention.
도 3에 도시한 바와 같이, 사용자 단말기는 프로젝터로부터 스크린에 투사된 프리젠테이션 화면의 영상을 카메라를 통해 입력받을 수 있다. 카메라를 통해 입력되는 영상은 크게 두 가지의 종류로 구분될 수 있는데, 손 그림자가 없는 영상과 손 그림자가 있는 영상이다.As shown in FIG. 3, the user terminal may receive an image of a presentation screen projected on a screen from a projector through a camera. The images input through the camera can be classified into two types: images without hand shadows and images with hand shadows.
예컨대, 그림(a) 는 손 그림자가 없는 영상을 나타내고, 그림 (b)는 손 그림자가 있는 영상을 나타낼 수 있다.
For example, figure (a) may represent an image without hand shadow, and figure (b) may represent an image with hand shadow.
다음으로, 사용자 단말기는 카메라를 통해 영상을 입력 받으면, 입력 받은 영상에 손 그림자가 있는지를 판단할 수 있다(S220). 즉, 사용자 단말기는 입력 받은 영상과 그림자 후보 영상을 비교하여 그림자 후보 영역을 추출하고, 그 판단된 그림자 후보 영역의 픽셀 수가 일정값 이상인지의 여부에 따라 손 그림자가 있는지를 판단할 수 있다. 그림자 후보 영상에 대해서는 아래에서 다시 설명하기로 한다.Next, when the user terminal receives an image through the camera, the user terminal may determine whether there is a hand shadow in the received image (S220). That is, the user terminal may compare the input image with the shadow candidate image to extract the shadow candidate region, and determine whether there is a hand shadow according to whether the number of pixels of the determined shadow candidate region is greater than or equal to a predetermined value. The shadow candidate image will be described again below.
즉, 사용자 단말기는 그림자 후보 영역의 픽셀 수가 일정값 이상이면 입력 받은 영상을 손 그림자가 있는 영상으로 판단하고 그렇지 않으면 손 그림자가 없는 영상으로 판단할 수 있다.
That is, if the number of pixels of the shadow candidate area is equal to or greater than a predetermined value, the user terminal may determine that the received image is an image having a hand shadow, and otherwise, may determine that the image has no hand shadow.
다음으로, 사용자 단말기는 손 그림자가 없는 영상에서 프리젠테이션 화면의 코너 정보를 검출할 수 있다(S230).Next, the user terminal may detect the corner information of the presentation screen in the image without the hand shadow (S230).
도 4는 도 2에 도시된 코너 정보를 검출하는 상세한 방법을 나타내는 예시도이고, 도 5는 본 발명의 실시예에 따른 코너 정보를 검출하는 원리를 설명하기 위한 예시도이다.4 is an exemplary diagram illustrating a detailed method of detecting corner information illustrated in FIG. 2, and FIG. 5 is an exemplary diagram for describing a principle of detecting corner information according to an exemplary embodiment of the present invention.
도 4 내지 도 5를 참조하면, 사용자 단말기는 카메라를 통해 입력받은 손 그림자가 없는 영상에서 프리젠테이션 화면의 코너 정보를 검출하기 위해 전처리 과정을 수행할 수 있다. 사용자 단말기는 예컨대, 도 5의 (a)와 같이 각 픽셀마다 그 R, G, B값과 명암값을 각각의 특정 임계값과 비교하여 조건을 만족시키면 프리젠테이션 화면의 화면 영역으로 그렇지 않으면 비화면 영역으로 각각 구분할 수 있다.4 to 5, the user terminal may perform a preprocessing process to detect the corner information of the presentation screen in the image without the hand shadow received through the camera. For example, the user terminal compares the R, G, and B values and the contrast values with each specific threshold value for each pixel as shown in FIG. Each can be divided into areas.
그리고 사용자 단말기는 모폴로지 연산(morphology operation)을 통해 도 5의 (b)와 같이 전처리된 영상을 얻을 수 있다.The user terminal may obtain a preprocessed image as shown in FIG. 5B through a morphology operation.
그리고나서 사용자 단말기는 전처리된 영상으로부터 스크린에 투사된 프리젠테이션 화면 영역의 코너 정보를 검출하기 위한 허프 변환(hough transform)을 수행할 수 있다.The user terminal may then perform a hough transform for detecting corner information of the presentation screen area projected onto the screen from the preprocessed image.
이때, 허프 변환은 영상에서 직선이나 원 등과 같은 특징을 찾는데 이용되는 방법이다. 임의의 점을 지나는 직선은 극좌표계에서 다음의 [수학식 1]과 같이 표현될 수 있다.In this case, the Hough transform is a method used to find a feature such as a straight line or a circle in an image. The straight line passing through an arbitrary point may be expressed in the following
[수학식 1][Equation 1]
xcosθ + ysinθ = rxcosθ + ysinθ = r
여기서, x와 y는 상수이고, θ는 직선과 x축이 이루는 각도, r은 원점으로부터 직선까지의 거리를 의미한다.Here, x and y are constants, θ is an angle between the straight line and the x-axis, r means the distance from the origin to the straight line.
(x,y)에 대한 H[r,θ] 곡선을 그려보면, 같은 직선의 성분들은 하나의 H[r,θ] 곡선들의 교차점을 갖게 된다. 이 특징을 이용하여 도 5의 (c)와 같이 4개의 성분을 검출할 수 있다. 그리고나서 간단한 수학적 수식에 의해 4개의 코너를 계산할 수 있다.If we plot the H [r, θ] curve for (x, y), the components of the same straight line have the intersection of one H [r, θ] curves. Using this feature, four components can be detected as shown in FIG. Then four corners can be calculated by a simple mathematical formula.
즉, 직선의 방정식을 ax + by + 1 = 0이라고 했을 때, 허프 변환을 통해 얻은 한 선분의 양 끝점 (x1,y1)과 (x2,y2)를 대입하여 a와 b를 구할 수 있는데, 다음의 [수학식 2]와 같이 나타낼 수 있다.In other words, ax + by + 1 = 0, a and b can be obtained by substituting both end points (x1, y1) and (x2, y2) of a line obtained through Hough transform. It can be expressed as shown in [Equation 2].
[수학식 2]&Quot; (2) "
위의 식에서 
코너 정보는 이렇게 얻은 두 직선 간의 교점이기 때문에 그 교점의 좌표를 얻으면 된다. 즉, 두 직선 a1x + b1y +c1 = 0, a2x + b2y + c2 = 0의 교점 좌표는 다음의 [수학식 3]과 같이 나타낼 수 있다.Since the corner information is the intersection point between these two straight lines, we need to get the coordinates of the intersection point. That is, the intersection coordinates of the two straight lines a1x + b1y + c1 = 0 and a2x + b2y + c2 = 0 can be expressed as Equation 3 below.
[수학식 3]&Quot; (3) "
위의 식에서 
In the above expression
다음으로, 사용자 단말기는 손 그림자가 있는 영상에서 손 그림자 영역을 검출할 수 있다(S240).Next, the user terminal may detect a hand shadow area in the image with the hand shadow (S240).
도 6은 도 2에 도시된 손 그림자 영역을 검출하는 상세한 방법을 나타내는 예시도이고, 도 7은 본 발명의 실시예에 따른 손 그림자 영역을 검출하는 원리를 설명하기 위한 제1 예시도이며, 도 8은 본 발명의 실시예에 따른 손 그림자 영역을 검출하는 원리를 설명하기 위한 제2 예시도이며, 도 9는 본 발명의 실시예에 따른 손 그림자 영역을 검출하는 원리를 설명하기 위한 제3 예시도이다.6 is an exemplary view illustrating a detailed method of detecting a hand shadow area illustrated in FIG. 2, and FIG. 7 is a first exemplary view for explaining a principle of detecting a hand shadow area according to an embodiment of the present invention. 8 is a second exemplary view for explaining the principle of detecting a hand shadow area according to an embodiment of the present invention, Figure 9 is a third example for explaining the principle of detecting a hand shadow area according to an embodiment of the present invention It is also.
도 6 내지 도 9를 참조하면, 사용자 단말기는 손 그림자가 있는 영상과 그림자 후보 영상을 비교하여 그림자 후보 영역을 검출할 수 있다. 즉, 사용자 단말기는 입력 영상의 픽셀값과 그림자 후보 영상의 픽셀값의 차이를 산출하고 그 산출한 차이가 일정값 이하이면 그 픽셀은 그림자 후보 영역이라고 판단할 수 있다.
6 to 9, the user terminal may detect a shadow candidate area by comparing an image having a hand shadow with a shadow candidate image. That is, the user terminal may calculate the difference between the pixel value of the input image and the pixel value of the shadow candidate image, and determine that the pixel is the shadow candidate area if the calculated difference is less than or equal to a predetermined value.
이때, 그림자 후보 영상은 스크린에 투사된 프리젠테이션 화면의 주변 색상을 기준으로 생성되는데, 이를 도 10 내지 도 12를 참조하여 설명한다.In this case, the shadow candidate image is generated based on the surrounding color of the presentation screen projected on the screen, which will be described with reference to FIGS. 10 to 12.
도 10은 본 발명의 실시예에 따른 그림자 후보 영상을 생성하는 원리를 설명하기 위한 제1 예시도이고, 도 11은 본 발명의 실시예에 따른 그림자 후보 영상을 생성하는 원리를 설명하기 위한 제2 예시도이며, 도 12는 본 발명의 실시예에 따른 그림자 후보 영상을 나타내는 예시도이다.FIG. 10 is a first exemplary view for explaining a principle of generating a shadow candidate image according to an embodiment of the present invention, and FIG. 11 is a second diagram for explaining the principle of generating a shadow candidate image according to an embodiment of the present invention. 12 is an exemplary diagram and FIG. 12 is an exemplary diagram illustrating a shadow candidate image according to an embodiment of the present invention.
도 10에서 실선은 투사된 프리젠테이션 화면의 가장자리를 나타내고 점선은 실선으로부터 일정한 거리만큼 떨어져 있는 부분을 나타내고 있다. 이 점선 위에 위치한 점들의 픽셀값을 이용하여 투사된 프리젠테이션 화면 안에 그림자라고 판단할 수 있는 값을 구할 수 있다.In FIG. 10, a solid line indicates an edge of the projected presentation screen and a dotted line indicates a portion away from the solid line by a certain distance. By using the pixel values of the points on the dotted line, a value that can be determined as a shadow in the projected presentation screen can be obtained.
먼저, 투사된 프리젠테이션 화면 이외 부분의 픽셀값은 모두 0(검정색)으로 설정한다. 투사된 프리젠테이션 화면 안의 픽셀값은 도 11에 도시된 과정을 통해 구할 수 있다.First, all pixel values other than the projected presentation screen are set to 0 (black). The pixel value in the projected presentation screen can be obtained through the process shown in FIG.
다채널 입력 영상을 R, G, B 단일 채널 영상으로 분할하고 분할된 각 채널 영상의 관심영역에서 픽셀들의 R, G, B 값들을 계산할 수 있다. 여기서, 관심영역이란 스크린에 투사된 프리젠테이션 화면의 영역을 나타내는데, 도 10에서와 같이 실선으로 둘러싸인 부분을 나타낼 수 있다. 도 10을 참조하여 이 실선 안에 위치한 픽셀들의 R, G, B 값은 다음의 [수학식 4]에 의해 계산할 수 있다.The multi-channel input image may be divided into R, G, and B single channel images, and R, G, and B values of pixels may be calculated in the ROI of each divided channel image. Here, the region of interest indicates an area of the presentation screen projected on the screen, and may indicate a portion surrounded by a solid line as shown in FIG. 10. Referring to FIG. 10, the R, G, and B values of the pixels located in the solid line may be calculated by Equation 4 below.
[수학식 4]&Quot; (4) "
여기서, Rx, Gx, Bx는 프리젠테이션 화면의 영역 내에 있는 점 X에서의 R, G, B 값을 각각 의미하고, 
즉, 점 x에서의 픽셀값들은 점 A, B, C, D의 픽셀값과 그 점들까지의 거리를 이용하여 구할 수 있다.That is, the pixel values at the point x can be obtained by using the pixel values of the points A, B, C, and D and the distances to the points.
점 A, B, C, D는 투사된 프리젠테이션 화면의 가장자리 즉, 점선에 위치한 점들로서, 점 X에서 점선에 수선을 내렸을 때 얻어지는 수선의 발을 나타낼 수 있다. 이 점들의 픽셀값과 점 X에서 각 점들까지의 거리를 고려하여 점 X에서의 픽셀값을 계산할 수 있다.Points A, B, C, and D are points located at the edges of the projected presentation screen, that is, the dotted lines, and may indicate the foot of the waterline obtained when the waterline is dropped on the dotted line at the point X. The pixel value at point X can be calculated by considering the pixel value of these points and the distance from point X to each point.
각 점들까지의 거리를 고려하는 이유는 조명 변화와 같은 주변 환경을 적용하기 위함이다. 관심영역 안의 픽셀은 근접해 있는 주변의 영향을 많이 받는다는 가정하에 점 X와 가깝게 위치한 점 A와 B에는 상대적으로 더 멀리 위치한 점 C와 D보다 큰 가중치를 부여하여 픽셀값을 계산할 수 있다. 즉, 서로 마주보고 있는 점 A와 점 C, 점 B와 점 D끼리 가중치를 적용하여 픽셀값을 계산한 후 둘 사이의 평균값을 구할 수 있다. 이 값이 점 X에서의 최종 픽셀값이 될 수 있다.The reason for considering the distance to each point is to apply the surrounding environment such as lighting change. Assuming that the pixels in the region of interest are heavily influenced by the nearby surroundings, the pixel values can be calculated by giving a greater weight to the points A and B located closer to the point X than the points C and D located relatively farther. That is, after calculating the pixel values by applying the weights of the points A and C, and the points B and D facing each other, the average value between the two can be obtained. This value can be the final pixel value at point X.
이러한 계산 과정을 통해 분할된 각 R, G, B 영상으로부터 각 R, G, B 후보 영상을 생성하게 되고 단일 채널이었던 R, G, B 후보 영상을 다채널 영상으로 합쳐서 그림자 후보 영상을 생성할 수 있다. 이렇게 생성된 그림자 후보 영상은 도 12와 같다.
Through this calculation process, each R, G, and B candidate image is generated from each of the divided R, G, and B images, and a shadow candidate image can be generated by combining R, G, and B candidate images, which were single channels, into multichannel images. have. The generated shadow candidate image is as shown in FIG. 12.
그리고 사용자 단말기는 검출된 그림자 후보 영역을 레이블링하고 그 레이블링한 그림자 후보 영역 중 가장 큰 면적을 차지하는 영역을 손 그림자 영역으로 결정할 수 있다.The user terminal may label the detected shadow candidate area and determine the area occupying the largest area among the labeled shadow candidate areas as the hand shadow area.
여기서 레이블링 기법은 인접한 이웃 픽셀과의 연결성을 근거로 특정 픽셀 집합에 고유의 숫자를 매기는 기법을 일컫는다. 예컨대, 도 7에서는 4개의 인접한 이웃 픽셀과의 연결성을 보여주고, 도 8에서는 레이블링 기법의 한 예를 보여주고 있다.In this case, the labeling technique refers to a technique of uniquely numbering a specific set of pixels based on connectivity with adjacent neighboring pixels. For example, FIG. 7 shows connectivity with four adjacent neighboring pixels, and FIG. 8 shows an example of a labeling technique.
사용자 단말기는 이러한 과정을 통해 도 9처럼 손 그림자 영역을 검출할 수 있다.
Through this process, the user terminal may detect a hand shadow area as shown in FIG. 9.
다음으로, 사용자 단말기는 영상의 프리젠테이션 화면의 코너 정보를 이용하여 손 그림자 영역이 있는 영상을 투영 변환(perspective projection)할 수 있다(S250).Next, the user terminal may perform perspective projection of the image having the hand shadow area by using the corner information of the presentation screen of the image (S250).
도 13은 본 발명의 실시예에 따른 투영 변환하여 얻은 영상을 나타내는 예시도이다.13 is an exemplary view showing an image obtained by projection conversion according to an embodiment of the present invention.
도 13에 도시한 바와 같이, 사용자 단말기는 손 그림자가 있는 영상을 사용자 단말기의 디스플레이 해상도에 맞춰 손 그림자 영상을 투영 변환할 수 있다. 이를 통해, 사용자 단말기를 제어하는데 필요한 디스플레이 상에서의 손의 위치를 알 수 있다.As shown in FIG. 13, the user terminal may project-convert the hand shadow image to the display resolution of the user terminal. Through this, the position of the hand on the display required to control the user terminal can be known.
사용자 단말기는 투영 변환 과정에서 왜곡된 영상을 바로잡기 위한 와핑 과정을 수행하는데, 와핑 방식은 크게 두가지 방식으로 구분될 수 있다.The user terminal performs a warping process to correct the distorted image in the projection conversion process. The warping method may be largely divided into two methods.
1)첫째로, 입력 영상의 좌표에 대한 출력 영상의 좌표를 계산한 다음 픽셀값을 대입하는 전위 매핑(forward mapping) 방식이 있는데, 이 방식은 픽셀이 정수단위이기 때문에 홀이 발생한다는 단점을 갖고 있다.First, there is a forward mapping method that calculates coordinates of the output image with respect to the coordinates of the input image and then substitutes pixel values. This method has a disadvantage in that holes are generated because pixels are integer units. have.
2)둘째로, 앞의 전위 매핑과는 반대로 출력 영상의 좌표를 기준으로 입력 영상의 좌표를 계산한 다음 픽셀값을 대입하는 후위 매핑(backward mapping) 방식이 있다.Secondly, there is a backward mapping method in which the coordinates of the input image are calculated based on the coordinates of the output image and then substituted with pixel values, as opposed to the preceding potential mapping.
본 발명에서는 영상에 홀이 생기는 것을 방지하기 위해 후위 매핑 방식을 사용하는 것이 바람직하다.
In the present invention, it is preferable to use the back mapping method to prevent the generation of holes in the image.
다음으로, 사용자 단말기는 투영 변환된 영상의 손 그림자 영역으로부터 손 영역을 추출할 수 있다(S260).Next, the user terminal may extract the hand region from the hand shadow region of the projection-converted image (S260).
도 14는 도 2에 도시된 손 영역을 추출하는 상세한 방법을 나타내는 예시도이고, 도 15는 본 발명의 실시예에 따른 손 영역을 추출하는 원리를 설명하기 위한 예시도이다.FIG. 14 is an exemplary view showing a detailed method of extracting a hand region shown in FIG. 2, and FIG. 15 is an exemplary diagram for explaining a principle of extracting a hand region according to an embodiment of the present invention.
도 14 내지 도 15를 참조하면, 사용자 단말기는 손 그림자 영역에서 방향성을 찾기 위하여 그림자 영역의 특징을 잘 나타내는 주축을 검출할 수 있다. 이 주축은 데이터들의 고유벡터(eigenvector)와 고유값(eigenvalue)을 구함으로써 구할 수 있다.Referring to FIGS. 14 to 15, the user terminal may detect a main axis well representing the feature of the shadow area in order to find the direction in the shadow area of the hand. This principal axis can be found by finding the eigenvectors and eigenvalues of the data.
사용자 단말기는 그림 (a)의 영상에서 구한 주축과 가로축이 평행하도록 회전하여 그림 (b)의 영상을 구할 수 있다. 그리고 사용자 단말은 그림 (b)의 추축에 직교하는 선을 그어 그 영역에서의 그림자 두께를 측정하기 위한 영상을 구할 수 있다.The user terminal may obtain the image of FIG. (B) by rotating the main axis and the horizontal axis obtained from the image of FIG. The user terminal may draw a line orthogonal to the axis of FIG. (B) to obtain an image for measuring the shadow thickness in the region.
이때, 사용자 단말기는 그림 (c)로부터 그림자 두께를 측정하여 손목의 위치를 검출할 수 있다. 이러한 손목의 위치는 그림자 영역에서 두께가 다른 부분에 비해 얇고 그 주변의 두께가 점점 줄어들다가 다시 증가한다는 특징이 있기 때문에 이러한 특징을 고려하여 검출할 수 있다. 또한, 손가락 부분의 두께는 손목보다 얇기 때문에 그 부분은 손목 검출을 위한 영역에서 제외하는 것이 바람직하다.In this case, the user terminal may detect the position of the wrist by measuring the shadow thickness from the figure (c). Such a wrist position can be detected in consideration of such a feature because the thickness of the wrist is thinner than other parts of the shadow area, and the thickness of the wrist is gradually reduced and then increased again. In addition, since the thickness of the finger portion is thinner than the wrist, it is preferable to exclude the portion from the region for wrist detection.
그래서 사용자 단말기는 그림 (d)와 같이 이렇게 검출한 손목의 위치로부터 손가락 끝부분까지를 관심 영역 즉, 손 영역으로 추출할 수 있다.
Thus, the user terminal can extract the area of the finger from the position of the wrist thus detected as shown in (d) to the region of interest, that is, the hand region.
다음으로, 사용자 단말기는 추출된 손 영역에 상응하는 사용자의 손 동작을 인식할 수 있다(S270).Next, the user terminal may recognize a user's hand motion corresponding to the extracted hand region (S270).
도 16은 도 2에 도시된 손 동작을 인식하는 상세한 방법을 나타내는 예시도이고, 도 17은 본 발명의 실시예에 따른 손 동작을 인식하는 원리를 설명하기 위한 제1 예시도이며, 도 18은 본 발명의 실시예에 따른 손 동작을 인식하는 원리를 설명하기 위한 제2 예시도이며, 도 19는 본 발명의 실시예에 따른 손 동작을 인식하는 원리를 설명하기 위한 제3 예시도이다.FIG. 16 is an exemplary diagram illustrating a detailed method of recognizing a hand gesture illustrated in FIG. 2, and FIG. 17 is a first exemplary diagram for describing a principle of recognizing a hand gesture according to an exemplary embodiment of the present invention. FIG. 19 is a second exemplary view for explaining a principle of recognizing a hand gesture according to an exemplary embodiment of the present invention, and FIG. 19 is a third exemplary diagram for explaining a principle of recognizing a hand gesture according to an exemplary embodiment of the present invention.
도 16 내지 도 19를 참조하면, 본 발명에 따른 손 동작은 크게 3가지로 구분하는데, 도 17에서 그림 (a)는 기본 자세로 사용자 단말기를 제어하기 위한 손 동작을 나타낼 수 있는데, 모든 제어 기능을 수행하기 위해서는 반드시 필요한 손 동작이다.16 to 19, hand gestures according to the present invention are largely classified into three types. In FIG. 17, FIG. 17A shows hand gestures for controlling a user terminal in a basic posture. In order to perform this is absolutely necessary hand operation.
그림 (b)는 선택된 아이콘을 더블 클릭하여 실행하기 위한 손 동작을 나타내며, 그림 (c)는 아이콘을 선택하여 이동시키기 위한 손 동작을 나타낼 수 있다.Figure (b) shows a hand gesture for executing the selected icon by double-clicking. Figure (c) can show a hand gesture for selecting and moving the icon.
사용자 단말기는 손 동작을 인식하기 위해 주성분 분석(Principal Component Analysis; PCA) 방식과 서포트 벡터 머신(Support Vector Machine; SVM) 방식을 사용할 수 있다. 주성분 분석 방식이란 주어진 데이터의 정보를 최대한 유지하면서 차원을 축소시켜 데이터를 처리하는 방식이고, 서포트 벡터 머신 방식은 여러 종류의 데이터를 분류하는 최적의 초평면(hyper plane)을 학습하여 새로 들어온 데이터의 클래스를 예측하는 방식을 일컫는다.The user terminal may use a Principal Component Analysis (PCA) method and a Support Vector Machine (SVM) method to recognize hand gestures. Principal component analysis is a method of processing data by reducing the dimension while maintaining the information of the given data as much as possible, and the support vector machine method is a class of newly introduced data by learning the optimal hyper plane for classifying various types of data. Refers to the way to predict.
즉, 사용자 단말기는 주성분 분석 방식에 따라 고유 벡터와 고유값을 구하여 데이터를 잘 표현할 수 있는 주성분 축을 구하고 그 축에 데이터를 사영시켜 차원을 축소한 후에, 서포트 벡터 머신 방식에 따라 앞서 차원을 축소한 데이터를 분류할 수 있다.In other words, the user terminal obtains the eigenvectors and eigenvalues according to the principal component analysis method, obtains the principal component axis capable of representing the data well, reduces the dimension by projecting the data on the axis, and then reduces the dimension previously according to the support vector machine method. You can sort your data.
도 18에서 그림 (a)는 본 발명에서 사용하는 3가지 손 동작을 보여주고, 그림 (b)는 본 발명에서 사용하지 않는 여러 종류의 손 동작 즉, 네거티브 샘플(negative sample)을 보여주고 있다.In Figure 18, Figure (a) shows three hand gestures used in the present invention, Figure (b) shows several types of hand gestures that are not used in the present invention, that is, negative samples (negative sample).
그래서 사용자 단말기는 여러 종류의 데이터 즉, 손 동작을 분류하는 최적의 초평면을 학습하고 그 최적의 초평면을 이용하여 손 영역에 상응하는 손 동작의 종류를 인식할 수 있다.Therefore, the user terminal may learn an optimal hyperplane for classifying various types of data, that is, hand gestures, and recognize the type of hand gesture corresponding to the hand region by using the optimal hyperplane.
도 19에서 사용자 단말기는 손 영역의 손목 중심으로부터 가장 멀리 떨어져 있는 손가락의 위치를 파악하여 해당 손가락의 위치에 있는 아이콘을 제어할 수 있다.
In FIG. 19, the user terminal may determine the position of the finger farthest from the center of the wrist of the hand region and control an icon located at the position of the finger.
도 20은 본 발명의 실시예에 따른 제어 기능을 수행하는 원리를 설명하기 위한 예시도이다.20 is an exemplary diagram for explaining a principle of performing a control function according to an embodiment of the present invention.
도 20에 도시한 바와 같이, 그림 (a)에서는 아이콘을 실행하기 위한 손 동작을 나타내고 있다. 즉, 사용자는 제어 기능을 수행하기 위한 손 동작을 취하고, 손가락이 위치한 아이콘을 더블 클릭하여 실행하기 위한 손 동작을 취함으로써, 선택된 아이콘을 실행할 수 있다.As shown in Fig. 20, the figure (a) shows a hand gesture for executing an icon. That is, the user may execute the selected icon by taking a hand operation for performing a control function and taking a hand operation for executing by double-clicking the icon where the finger is located.
그림 (b)에서는 아이콘을 이동하기 위한 손 동작을 나타내고 있다. 즉, 사용자는 제어 기능을 수행하기 위한 손 동작을 취하고, 아이콘을 선택하여 이동시키기 위한 손 동작을 취한 후 다시 제어 기능을 수행하기 위한 손 동작을 취함으로써, 마지막 손 동작의 손가락이 가리키는 위치에 아이콘을 이동시킬 수 있다.Figure (b) shows a hand gesture for moving an icon. That is, the user takes a hand gesture for performing a control function, takes a hand gesture for selecting and moving an icon, and then takes a hand gesture for performing a control function again, whereby the icon at the position of the finger of the last hand gesture is indicated. Can be moved.
물론, 본 발명에서 사용하지 않는 손 동작이 입력되는 경우에는 아무런 동작을 하지 않는다.
Of course, if a hand gesture that is not used in the present invention is input, no operation is performed.
도 21은 도 1에 도시된 사용자 단말기(140)의 상세한 구성을 나타내는 예시도이다.21 is an exemplary view showing a detailed configuration of the
도 21에 도시한 바와 같이, 본 발명에 따른 사용자 단말기(140)는 송수신부(141), 처리부(142), 코너 검출부(143), 그림자 검출부(144), 투영 변환부(145), 추출부(146), 인식부(147), 및 메모리(148) 등을 포함하여 구성될 수 있다.As shown in FIG. 21, the
송수신부(141)는 프로젝터로부터 스크린에 투사된 영상을 카메라를 통해 입력받고, 처리부(142)는 입력받은 영상에 손 그림자가 있는지를 확인할 수 있다.The
코너 검출부(143)는 손 그림자가 없는 영상에서 프리젠테이션 화면의 코너 정보를 검출할 수 있다. 즉, 코너 검출부(143)는 입력 받은 손 그림자가 없는 영상에 전처리 과정을 수행하고 그 전처리 과정을 수행한 영상으로부터 허프 변환을 이용하여 코너 정보를 검출할 수 있다.The
그림자 검출부(144)는 손 그림자가 있는 영상에서 손 그림자 영역을 검출하는데, 손 그림자가 있는 영상과 그림자 후보 영상을 비교하여 그림자 후보 영역을 검출하고 그 검출한 그림자 후보 영역을 레이블링하여 그 레이블링한 그림자 후보 영역 중 가장 큰 면적을 차지하는 영역을 손 그림자 영역으로 검출할 수 있다.The
투영 변환부(145)는 검출한 프리젠테이션 화면의 코너 정보를 이용하여 손 그림자 영역이 있는 영상을 투영 변환할 수 있다.The
추출부(146)는 투영 변환된 영상에서 손 영역을 추출하는데, 손 그림자 영역에서 그림자 영역의 특징을 잘 나타내는 주축을 검출하고 그 검출한 주축을 이용하여 손목의 위치를 검출한 후에 손목의 위치에서부터 손가락 끝부분까지를 손 영역으로 추출할 수 있다.The
인식부(147)는 추출된 손 영역에 상응하는 사용자의 손 동작을 인식하는데, 주성분 분석 방식을 이용하여 손 영역의 데이터 차원을 축소시키고, 서포트 벡터 머신 방식을 이용하여 손 동작을 분류함으로써, 사용자의 손 동작을 인식할 수 있다.The
이때, 메모리(148)에는 본 발명에서 사용하는 손 동작과 사용하지 않는 손 동작에 대한 정보가 저장될 수 있다.In this case, the
처리부(142)는 그 인식한 손 동작에 따른 다양한 제어 기능을 수행할 수 있다.
The
이와 같이, 본 발명은 본 발명은 스크린에 투사된 영상으로부터 손 그림자를 검출하여 그 검출한 손 그림자에 상응하는 사용자의 손 동작을 인식하고 그 인식한 사용자의 손 동작에 따라 제어 기능을 수행함으로써, 사용자의 편리성을 향상시킬 수 있고, 발표하려는 내용과 상관없는데 소요되는 불필요한 조작 시간을 줄일 수 있는 효과가 있다.
As described above, the present invention detects a hand shadow from an image projected on a screen, recognizes a user's hand motion corresponding to the detected hand shadow, and performs a control function according to the recognized user's hand motion. There is an effect that can improve the user's convenience, and reduce unnecessary operation time required regardless of the content to be presented.
본 발명에 의한 사용자의 손 동작을 이용한 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Presentation system for providing a control function using the user's hand motion according to the present invention and those skilled in the art belong to a variety of modifications and variations without departing from the essential characteristics of the present invention. will be. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.
110: 스크린
120: 프로젝터
130: 카메라
140: 사용자 단말기
141: 송수신부
142: 처리부
143: 코너 검출부
144: 그림자 검출부
145: 투영 변환부
146: 추출부
147: 인식부
148: 메모리110: screen
120: projector
130: camera
140: user terminal
141: transceiver
142: processing unit
143: corner detection unit
144: shadow detection unit
145: projection conversion unit
146: extraction unit
147: recognition unit
148: memory
Claims (19)
상기 카메라에 의해 촬영된 영상을 입력받으면, 입력받은 상기 영상으로부터 손 그림자 영역을 검출하고, 검출한 상기 손 그림자 영역에 상응하는 사용자의 손 동작을 인식하여 그 인식한 상기 사용자의 손 동작에 따라 제어 기능을 수행하는 사용자 단말기
를 포함하는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템.A camera for capturing an image of the presentation screen projected from the projector onto the screen; And
When the image photographed by the camera is received, a hand shadow region is detected from the input image, and a user's hand motion corresponding to the detected hand shadow region is recognized and controlled according to the recognized user's hand motion. User terminal performing the function
Presentation system for providing a control function comprising a.
상기 사용자 단말기는,
손 그림자가 없는 영상에서 스크린에 투사된 영상 내의 프리젠테이션 화면의 코너 정보를 검출하고,
손 그림자가 있는 영상에서 손 그림자 영역을 검출하며,
상기 프리젠테이션 화면의 코너 정보와 상기 손 그림자 영역을 이용하여 상기 사용자의 손 동작을 인식하는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템.The method according to claim 1,
The user terminal comprises:
Detects the corner information of the presentation screen in the image projected on the screen in the image without hand shadow,
Detects hand shadow areas in images with hand shadows.
And a hand function of the user using the corner information of the presentation screen and the hand shadow area.
상기 사용자 단말기는,
상기 손 그림자가 없는 영상을 화면 영역과 비화면 영역으로 구분하고 그 구분한 영상에 모폴로지 연산을 수행하여 전처리된 영상을 얻고, 상기 전처리된 영상을 허프 변환하여 상기 손 그림자가 없는 영상 내의 프리젠테이션 화면의 코너 정보를 검출하는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템.The method of claim 2,
The user terminal comprises:
The image having no hand shadow is divided into a screen region and a non-screen region, and a morphological operation is performed on the divided image to obtain a preprocessed image, and the Huff transform of the preprocessed image to present the presentation screen in the image without the hand shadow. A presentation system for providing a control function characterized in that it detects the corner information of.
상기 사용자 단말기는,
상기 손 그림자가 있는 영상과 그림자 후보 영상을 비교하여 그림자 후보 영역을 검출하고 검출한 상기 그림자 후보 영역을 레이블링하여 그 레이블링한 그림자 후보 영역 중 가장 큰 면적을 차지하는 영역을 상기 손 그림자 영역으로 검출하는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템.The method of claim 2,
The user terminal comprises:
Comparing the shadow candidate image with the shadow candidate image to detect a shadow candidate region, labeling the detected shadow candidate region, and detecting a region occupying the largest area among the labeled shadow candidate regions as the hand shadow region. A presentation system for providing a control function.
상기 그림자 후보 영상은,
입력받은 상기 영상을 R, G, B 영상으로 분할하여 그 분할한 R, G, B 영상 각각의 픽셀값을 계산하여 R, G, B 후보 영상을 생성하고, 생성한 상기 R, G, B 후보 영상을 결합하여 생성되는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템.5. The method of claim 4,
The shadow candidate image is
The input image is divided into R, G, and B images, the pixel values of the divided R, G, and B images are calculated, and R, G, and B candidate images are generated, and the generated R, G, and B candidates are generated. Presentation system for providing a control function, characterized in that generated by combining the image.
상기 사용자 단말기는,
상기 프리젠테이션 화면의 코너 정보와 상기 손 그림자 영역을 이용하여 손 영역을 추출하고, 추출된 상기 손 영역에 상응하는 사용자의 손 동작을 인식하는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템.The method of claim 2,
The user terminal comprises:
And extracting a hand region by using corner information of the presentation screen and the hand shadow region, and recognizing a user's hand motion corresponding to the extracted hand region.
상기 사용자 단말기는,
PCA(Principal Component Analysis) 방식을 이용하여 상기 손 영역의 데이터 차원을 축소시키고, SVM(Support Vector Machine) 방식을 이용하여 손 동작을 분류하여 인식하는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템.The method of claim 6,
The user terminal comprises:
Presentation system for providing a control function characterized in that the data dimension of the hand region is reduced by using a Principal Component Analysis (PCA) method, and the hand motion is classified and recognized using a support vector machine (SVM) method. .
손 그림자가 있는 영상에서 손 그림자 영역을 검출하는 그림자 검출부;
상기 프리젠테이션 화면의 코너 정보와 상기 손 그림자 영역을 이용하여 손 영역을 추출하는 추출부;
추출된 손 영역에 상응하는 사용자의 손 동작을 인식하는 인식부; 및
인식한 상기 사용자의 손 동작에 상응하는 다양한 제어 기능을 수행하는 처리부
를 포함하는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템.A corner detector which detects corner information of a presentation screen in an image projected on the screen from an image without a hand shadow when the image of the presentation screen projected on the screen from the projector is input through a camera;
A shadow detector which detects a hand shadow area in the image with the hand shadow;
An extraction unit for extracting a hand region using corner information of the presentation screen and the hand shadow region;
A recognition unit for recognizing a user's hand motion corresponding to the extracted hand region; And
A processor that performs various control functions corresponding to the recognized user's hand gesture.
Presentation system for providing a control function comprising a.
상기 코너 검출부는,
상기 손 그림자가 없는 영상을 화면 영역과 비화면 영역으로 구분하고 그 구분한 영상에 모폴로지 연산을 수행하여 전처리된 영상을 얻고, 상기 전처리된 영상을 허프 변환하여 상기 손 그림자가 없는 영상 내의 프리젠테이션 화면의 코너 정보를 검출하는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템.The method of claim 8,
The corner detector,
The image having no hand shadow is divided into a screen region and a non-screen region, and a morphological operation is performed on the divided image to obtain a preprocessed image, and the Huff transform of the preprocessed image to present the presentation screen in the image without the hand shadow. A presentation system for providing a control function characterized in that it detects the corner information of.
상기 그림자 검출부는,
상기 손 그림자가 있는 영상과 그림자 후보 영상을 비교하여 그림자 후보 영역을 검출하고 검출한 상기 그림자 후보 영역을 레이블링하여 그 레이블링한 그림자 후보 영역 중 가장 큰 면적을 차지하는 영역을 상기 손 그림자 영역으로 검출하는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템.The method of claim 8,
The shadow detector,
Comparing the shadow candidate image with the shadow candidate image to detect a shadow candidate region, labeling the detected shadow candidate region, and detecting a region occupying the largest area among the labeled shadow candidate regions as the hand shadow region. A presentation system for providing a control function.
상기 그림자 후보 영상은,
입력받은 상기 영상을 R, G, B 영상으로 분할하여 그 분할한 R, G, B 영상 각각의 픽셀값을 계산하여 R, G, B 후보 영상을 생성하고, 생성한 상기 R, G, B 후보 영상을 결합하여 생성되는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템.The method of claim 10,
The shadow candidate image is
The input image is divided into R, G, and B images, the pixel values of the divided R, G, and B images are calculated, and R, G, and B candidate images are generated, and the generated R, G, and B candidates are generated. Presentation system for providing a control function, characterized in that generated by combining the image.
상기 추출부는,
상기 손 그림자 영역에서 그림자 영역의 특징을 나타내는 주축을 검출하고 검출한 상기 주축을 이용하여 손목의 위치를 검출한 후에 손목의 위치에서부터 손가락 끝부분까지를 손 영역으로 추출하는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템.The method of claim 8,
The extraction unit,
A control function of detecting a main axis representing a characteristic of the shadow area in the shadow area of the hand and detecting the position of the wrist using the detected main axis, and then extracting from the wrist position to the tip of the finger as the hand area; Presentation system to provide.
상기 인식부는,
PCA(Principal Component Analysis) 방식을 이용하여 상기 손 영역의 데이터 차원을 축소시키고, SVM(Support Vector Machine) 방식을 이용하여 손 동작을 분류하여 인식하는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템.The method of claim 8,
The recognition unit,
Presentation system for providing a control function characterized in that the data dimension of the hand region is reduced by using a Principal Component Analysis (PCA) method, and the hand motion is classified and recognized using a support vector machine (SVM) method. .
(b)손 그림자가 있는 영상에서 손 그림자 영역을 검출하는 단계;
(c)상기 프리젠테이션 화면의 코너 정보와 상기 손 그림자 영역을 이용하여 손 영역을 추출하는 단계;
(d)추출된 손 영역에 상응하는 사용자의 손 동작을 인식하는 단계; 및
(e)인식한 상기 사용자의 손 동작에 상응하는 다양한 제어 기능을 수행하는 단계
를 포함하는 것을 특징으로 하는 프리젠테이션 시스템의 제어 기능을 제공하기 위한 방법.(a) if the image of the presentation screen projected on the screen from the projector is input through the camera, detecting corner information of the presentation screen in the image projected on the screen in the image without the hand shadow;
(b) detecting a hand shadow area in an image having hand shadows;
(c) extracting a hand region using the corner information of the presentation screen and the hand shadow region;
(d) recognizing a user's hand gesture corresponding to the extracted hand region; And
(e) performing various control functions corresponding to the recognized user's hand gesture;
Method for providing a control function of the presentation system comprising a.
상기 (a) 단계는,
상기 손 그림자가 없는 영상을 화면 영역과 비화면 영역으로 구분하고 그 구분한 영상에 모폴로지 연산을 수행하여 전처리된 영상을 얻고, 상기 전처리된 영상을 허프 변환하여 상기 손 그림자가 없는 영상 내의 프리젠테이션 화면의 코너 정보를 검출하는 것을 특징으로 하는 프리젠테이션 시스템의 제어 기능을 제공하기 위한 방법.15. The method of claim 14,
The step (a)
The image having no hand shadow is divided into a screen region and a non-screen region, and a morphological operation is performed on the divided image to obtain a preprocessed image, and the Huff transform of the preprocessed image to present the presentation screen in the image without the hand shadow. Detecting the corner information of the presentation system.
상기 (b) 단계는,
상기 손 그림자가 있는 영상과 그림자 후보 영상을 비교하여 그림자 후보 영역을 검출하고 검출한 상기 그림자 후보 영역을 레이블링하여 그 레이블링한 그림자 후보 영역 중 가장 큰 면적을 차지하는 영역을 상기 손 그림자 영역으로 검출하는 것을 특징으로 하는 프리젠테이션 시스템의 제어 기능을 제공하기 위한 방법.15. The method of claim 14,
The step (b)
Comparing the shadowed candidate image with the shadowed candidate image to detect a shadowed candidate area, labeling the detected shadowed candidate area, and detecting the area occupying the largest area among the labeled shadowed candidate areas as the handed shadowed area. A method for providing a control function of a presentation system characterized by the above-mentioned.
상기 그림자 후보 영상은,
입력받은 상기 영상을 R, G, B 영상으로 분할하여 그 분할한 R, G, B 영상 각각의 픽셀값을 계산하여 R, G, B 후보 영상을 생성하고, 생성한 상기 R, G, B 후보 영상을 결합하여 생성되는 것을 특징으로 하는 프리젠테이션 시스템의 제어 기능을 제공하기 위한 방법.17. The method of claim 16,
The shadow candidate image is
The input image is divided into R, G, and B images, the pixel values of the divided R, G, and B images are calculated, and R, G, and B candidate images are generated, and the generated R, G, and B candidates are generated. Method for providing a control function of the presentation system, characterized in that it is generated by combining the image.
상기 (c) 단계는,
손 그림자 영역에서 그림자 영역의 특징을 나타내는 주축을 검출하고 검출한 상기 주축을 이용하여 손목의 위치를 검출한 후에 손목의 위치에서부터 손가락 끝부분까지를 손 영역으로 추출하는 것을 특징으로 하는 프리젠테이션 시스템의 제어 기능을 제공하기 위한 방법.15. The method of claim 14,
The step (c)
The present invention is characterized by detecting a main axis representing the characteristic of the shadow area in the shadow area of the hand and detecting the position of the wrist using the detected main axis, and then extracting from the wrist position to the tip of the finger as the hand area. Method for providing control.
상기 (c) 단계는,
PCA(Principal Component Analysis) 방식을 이용하여 상기 손 영역의 데이터 차원을 축소시키고, SVM(Support Vector Machine) 방식을 이용하여 손 동작을 분류하여 인식하는 것을 특징으로 하는 프리젠테이션 시스템의 제어 기능을 제공하기 위한 방법.
19. The method of claim 18,
The step (c)
Providing a control function of the presentation system, characterized in that the data dimension of the hand region is reduced by using a Principal Component Analysis (PCA) method, and the hand motion is classified and recognized using a support vector machine (SVM) method. Way.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110007551A KR101200009B1 (en) | 2011-01-25 | 2011-01-25 | Presentation system for providing control function using user's hand gesture and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110007551A KR101200009B1 (en) | 2011-01-25 | 2011-01-25 | Presentation system for providing control function using user's hand gesture and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120086223A true KR20120086223A (en) | 2012-08-02 |
| KR101200009B1 KR101200009B1 (en) | 2012-11-12 |
Family
ID=46872130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110007551A KR101200009B1 (en) | 2011-01-25 | 2011-01-25 | Presentation system for providing control function using user's hand gesture and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101200009B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101327052B1 (en) * | 2012-10-16 | 2013-11-08 | 이화여자대학교 산학협력단 | Method for comparing shadow image and terminal thereof |
| WO2014157944A1 (en) * | 2013-03-29 | 2014-10-02 | Samsung Electronics Co., Ltd. | Method and apparatus for recognizing hand in image |
| CN104683720A (en) * | 2013-11-28 | 2015-06-03 | 联想(北京)有限公司 | Electronic equipment and control method |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7853041B2 (en) * | 2005-01-07 | 2010-12-14 | Gesturetek, Inc. | Detecting and tracking objects in images |
| JP2010117917A (en) * | 2008-11-13 | 2010-05-27 | Toyota Infotechnology Center Co Ltd | Motion detection apparatus and operation system |
-
2011
- 2011-01-25 KR KR1020110007551A patent/KR101200009B1/en not_active IP Right Cessation
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101327052B1 (en) * | 2012-10-16 | 2013-11-08 | 이화여자대학교 산학협력단 | Method for comparing shadow image and terminal thereof |
| WO2014157944A1 (en) * | 2013-03-29 | 2014-10-02 | Samsung Electronics Co., Ltd. | Method and apparatus for recognizing hand in image |
| CN104683720A (en) * | 2013-11-28 | 2015-06-03 | 联想(北京)有限公司 | Electronic equipment and control method |
| CN104683720B (en) * | 2013-11-28 | 2019-12-03 | 联想(北京)有限公司 | A kind of electronic equipment and control method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101200009B1 (en) | 2012-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9710109B2 (en) | Image processing device and image processing method | |
| US9405182B2 (en) | Image processing device and image processing method | |
| KR101472455B1 (en) | User interface apparatus based on hand gesture and method thereof | |
| US8442269B2 (en) | Method and apparatus for tracking target object | |
| US9734392B2 (en) | Image processing device and image processing method | |
| JP6221505B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JPWO2011007390A1 (en) | Image processing apparatus and interface apparatus | |
| US9836130B2 (en) | Operation input device, operation input method, and program | |
| US9430039B2 (en) | Apparatus for controlling virtual mouse based on hand motion and method thereof | |
| JP2015153120A (en) | Image processor, image processing method and image processing program | |
| JP2014142737A (en) | Input program, input device, and input method | |
| JP5887264B2 (en) | Object recognition apparatus, method, program, and computer-readable medium storing the software | |
| JP2014186505A (en) | Visual line detection device and imaging device | |
| JP2014029656A (en) | Image processor and image processing method | |
| JP2016103137A (en) | User interface system, image processor and control program | |
| KR101200009B1 (en) | Presentation system for providing control function using user's hand gesture and method thereof | |
| JP2016099643A (en) | Image processing device, image processing method, and image processing program | |
| US10013602B2 (en) | Feature vector extraction device based on cell positioning | |
| CN108255298B (en) | Infrared gesture recognition method and device in projection interaction system | |
| Wang et al. | Skin Color Weighted Disparity Competition for Hand Segmentation from Stereo Camera. | |
| US10796435B2 (en) | Image processing method and image processing apparatus | |
| JP6273686B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2011175347A (en) | Information processing apparatus and method | |
| US10235776B2 (en) | Information processing device, information processing method, and information processing program | |
| US20240070889A1 (en) | Detecting method, detecting device, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160105 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20171023 Year of fee payment: 6 |
|
| LAPS | Lapse due to unpaid annual fee |