KR101200009B1 - 사용자의 손 동작을 이용하여 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법 - Google Patents

사용자의 손 동작을 이용하여 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법 Download PDF

Info

Publication number
KR101200009B1
KR101200009B1 KR1020110007551A KR20110007551A KR101200009B1 KR 101200009 B1 KR101200009 B1 KR 101200009B1 KR 1020110007551 A KR1020110007551 A KR 1020110007551A KR 20110007551 A KR20110007551 A KR 20110007551A KR 101200009 B1 KR101200009 B1 KR 101200009B1
Authority
KR
South Korea
Prior art keywords
hand
shadow
image
region
screen
Prior art date
Application number
KR1020110007551A
Other languages
English (en)
Other versions
KR20120086223A (ko
Inventor
이상윤
김수연
김상기
반유석
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020110007551A priority Critical patent/KR101200009B1/ko
Publication of KR20120086223A publication Critical patent/KR20120086223A/ko
Application granted granted Critical
Publication of KR101200009B1 publication Critical patent/KR101200009B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 의한 사용자의 손 동작을 이용한 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법이 개시된다.
본 발명에 따른 제어 기능을 제공하기 위한 프리젠테이션 시스템은 프로젝터로부터 스크린에 투사된 프리젠테이션 화면의 영상을 촬영하는 카메라; 및 상기 카메라에 의해 촬영된 영상을 입력받으면, 입력받은 상기 영상으로부터 손 그림자 영역를 검출하고, 검출한 상기 손 그림자 영역에 상응하는 사용자의 손 동작을 인식하여 그 인식한 상기 사용자의 손 동작에 따라 제어 기능을 수행하는 사용자 단말기를 포함하는 것을 특징으로 한다.
이를 통해, 본 발명은 사용자의 편리성을 향상시킬 수 있고, 불필요한 조작 시간을 줄일 수 있다.

Description

사용자의 손 동작을 이용하여 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법{PRESENTATION SYSTEM FOR PROVIDING CONTROL FUNCTION USING USER'S HAND GESTURE AND METHOD THEREOF}
본 발명은 프리젠테이션 시스템에 관한 것으로, 특히, 스크린에 투사된 영상으로부터 손 그림자를 검출하여 그 검출한 손 그림자에 상응하는 사용자의 손 동작을 인식하고 그 인식한 사용자의 손 동작에 따라 제어 기능을 수행할 수 있는 사용자의 손 동작을 이용하여 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법에 관한 것이다.
기업, 학교뿐 아니라 사회 전반적으로 프리젠테이션의 중요성이 부각되고 있다. 일반적으로 발표자가 프리젠테이션을 진행할 때에는 준비한 파일을 컴퓨터 장치에 연결한 다음, 스크린을 통해 파일 내용을 디스플레이시켜 회의 참석자들에게 설명하게 된다.
이때, 발표자는 설명의 편의와 참석자들의 집중력 향상을 위해 레이저 포인터나 지시봉 등과 같은 도구를 이용하여 설명을 진행하게 된다.
그러나 발표자가 프리젠테이션을 진행하는 동안 설명하는 내용에 따라 프리젠테이션 화면을 신속하게 전환시켜 내용의 흐름을 연속시켜야 하지만 컴퓨터가 있는 곳으로 일정 거리 이동하여 제어한 후에 다시 발표를 수행하여야 한다.
이것은 발표자의 행동을 제약하고 발표를 수시로 중단해야 하는 문제점이 있고, 대단위 발표회장의 경우 발표문을 제어하기 위한 별도의 전담 인력을 필요로 하는 등의 문제점이 있다.
또한, 무선 마우스를 이용하여 발표문을 제어하는 방법이 있는데, 이 역시 서서 진행하는 프리젠테이션에서 마우스를 손에 쥐고 마우스패드 위에서 움직여 인식시켜야 하고, 인식점의 오차로 인해 원하는 곳을 지정할 수 없는 문제점이 있었다.
따라서 이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 스크린에 투사된 영상으로부터 손 그림자를 검출하여 그 검출한 손 그림자에 상응하는 사용자의 손 동작을 인식하고 그 인식한 사용자의 손 동작에 따라 제어 기능을 수행할 수 있는 사용자의 손 동작을 이용하여 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법을 제공하는데 있다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적들을 달성하기 위하여, 본 발명의 한 관점에 따른 제어 기능을 제공하기 위한 프리젠테이션 시스템은 프로젝터로부터 스크린에 투사된 프리젠테이션 화면의 영상을 촬영하는 카메라; 및 상기 카메라에 의해 촬영된 영상을 입력받으면, 입력받은 상기 영상으로부터 손 그림자 영역을 검출하고, 검출한 상기 손 그림자 영역에 상응하는 사용자의 손 동작을 인식하여 그 인식한 상기 사용자의 손 동작에 따라 제어 기능을 수행하는 사용자 단말기를 포함하는 것을 특징으로 한다.
바람직하게, 상기 사용자 단말기는 손 그림자가 없는 영상에서 스크린에 투사된 영상 내의 프리젠테이션 화면의 코너 정보를 검출하고, 손 그림자가 있는 영상에서 손 그림자 영역을 검출하며, 상기 프리젠테이션 화면의 코너 정보와 상기 손 그림자 영역을 이용하여 상기 사용자의 손 동작을 인식하는 것을 특징으로 한다.
필요에 따라, 상기 사용자 단말기는 상기 손 그림자가 없는 영상을 화면 영역과 비화면 영역으로 구분하고 그 구분한 영상에 모폴로지 연산을 수행하여 전처리된 영상을 얻고, 상기 전처리된 영상을 허프 변환하여 상기 손 그림자가 없는 영상 내의 프리젠테이션 화면의 코너 정보를 검출하는 것을 특징으로 한다.
필요에 따라, 상기 사용자 단말기는 상기 손 그림자가 있는 영상과 그림자 후보 영상을 비교하여 그림자 후보 영역을 검출하고 검출한 상기 그림자 후보 영역을 레이블링하여 그 레이블링한 그림자 후보 영역 중 가장 큰 면적을 차지하는 영역을 상기 손 그림자 영역으로 검출하는 것을 특징으로 한다.
필요에 따라, 상기 그림자 후보 영상은 입력받은 상기 영상을 R, G, B 영상으로 분할하여 그 분할한 R, G, B 영상 각각의 픽셀값을 계산하여 R, G, B 후보 영상을 생성하고, 생성한 상기 R, G, B 후보 영상을 결합하여 생성되는 것을 특징으로 한다.
필요에 따라, 상기 사용자 단말기는 상기 프리젠테이션 화면의 코너 정보와 상기 손 그림자 영역을 이용하여 손 영역을 추출하고, 추출된 상기 손 영역에 상응하는 사용자의 손 동작을 인식하는 것을 특징으로 한다.
필요에 따라, 상기 사용자 단말기는 PCA(Principal Component Analysis) 방식을 이용하여 상기 손 영역의 데이터 차원을 축소시키고, SVM(Support Vector Machine) 방식을 이용하여 손 동작을 분류하여 인식하는 것을 특징으로 한다.
본 발명의 다른 한 관점에 따른 제어 기능을 제공하기 위한 프리젠테이션 시스템은 프로젝터로부터 스크린에 투사된 프리젠테이션 화면의 영상을 카메라를 통해 입력받으면, 손 그림자가 없는 영상에서 스크린에 투사된 영상 내의 프리젠테이션 화면의 코너 정보를 검출하는 코너 검출부; 손 그림자가 있는 영상에서 손 그림자 영역을 검출하는 그림자 검출부; 상기 프리젠테이션 화면의 코너 정보와 상기 손 그림자 영역을 이용하여 손 영역을 추출하는 추출부; 추출된 손 영역에 상응하는 사용자의 손 동작을 인식하는 인식부; 및 인식한 상기 사용자의 손 동작에 상응하는 다양한 제어 기능을 수행하는 처리부를 포함하는 것을 특징으로 한다.
필요에 따라, 상기 코너 검출부는 상기 손 그림자가 없는 영상을 화면 영역과 비화면 영역으로 구분하고 그 구분한 영상에 모폴로지 연산을 수행하여 전처리된 영상을 얻고, 상기 전처리된 영상을 허프 변환하여 상기 손 그림자가 없는 영상 내의 프리젠테이션 화면의 코너 정보를 검출하는 것을 특징으로 한다.
필요에 따라, 상기 그림자 검출부는 상기 손 그림자가 있는 영상과 그림자 후보 영상을 비교하여 그림자 후보 영역을 검출하고 검출한 상기 그림자 후보 영역을 레이블링하여 그 레이블링한 그림자 후보 영역 중 가장 큰 면적을 차지하는 영역을 상기 손 그림자 영역으로 검출하는 것을 특징으로 한다.
필요에 따라, 상기 그림자 후보 영상은 입력받은 상기 영상을 R, G, B 영상으로 분할하여 그 분할한 R, G, B 영상 각각의 픽셀값을 계산하여 R, G, B 후보 영상을 생성하고, 생성한 상기 R, G, B 후보 영상을 결합하여 생성되는 것을 특징으로 한다.
필요에 따라, 상기 추출부는 상기 손 그림자 영역에서 그림자 영역의 특징을 나타내는 주축을 검출하고 검출한 상기 주축을 이용하여 손목의 위치를 검출한 후에 손목의 위치에서부터 손가락 끝부분까지를 손 영역으로 추출하는 것을 특징으로 한다.
필요에 따라, 상기 인식부는 PCA(Principal Component Analysis) 방식을 이용하여 상기 손 영역의 데이터 차원을 축소시키고, SVM(Support Vector Machine) 방식을 이용하여 손 동작을 분류하여 인식하는 것을 특징으로 한다.
본 발명의 또 다른 한 관점에 따른 프리젠테이션 시스템의 제어 기능을 제공하기 위한 방법은 (a)프로젝터로부터 스크린에 투사된 프리젠테이션 화면의 영상을 카메라를 통해 입력받으면, 손 그림자가 없는 영상에서 스크린에 투사된 영상 내의 프리젠테이션 화면의 코너 정보를 검출하는 단계; (b)손 그림자가 있는 영상에서 손 그림자 영역을 검출하는 단계; (c)상기 프리젠테이션 화면의 코너 정보와 상기 손 그림자 영역을 이용하여 손 영역을 추출하는 단계; (d)추출된 손 영역에 상응하는 사용자의 손 동작을 인식하는 단계; 및 (e)인식한 상기 사용자의 손 동작에 상응하는 다양한 제어 기능을 수행하는 단계를 포함하는 것을 특징으로 한다.
필요에 따라, 상기 (a) 단계는 상기 손 그림자가 없는 영상을 화면 영역과 비화면 영역으로 구분하고 그 구분한 영상에 모폴로지 연산을 수행하여 전처리된 영상을 얻고, 상기 전처리된 영상을 허프 변환하여 상기 손 그림자가 없는 영상 내의 프리젠테이션 화면의 코너 정보를 검출하는 것을 특징으로 한다.
필요에 따라, 상기 (b) 단계는 상기 손 그림자가 있는 영상과 그림자 후보 영상을 비교하여 그림자 후보 영역을 검출하고 검출한 상기 그림자 후보 영역을 레이블링하여 그 레이블링한 그림자 후보 영역 중 가장 큰 면적을 차지하는 영역을 상기 손 그림자 영역으로 검출하는 것을 특징으로 한다.
필요에 따라, 상기 그림자 후보 영상은 입력받은 상기 영상을 R, G, B 영상으로 분할하여 그 분할한 R, G, B 영상 각각의 픽셀값을 계산하여 R, G, B 후보 영상을 생성하고, 생성한 상기 R, G, B 후보 영상을 결합하여 생성되는 것을 특징으로 한다.
필요에 따라, 상기 (c) 단계는 손 그림자 영역에서 그림자 영역의 특징을 나타내는 주축을 검출하고 검출한 상기 주축을 이용하여 손목의 위치를 검출한 후에 손목의 위치에서부터 손가락 끝부분까지를 손 영역으로 추출하는 것을 특징으로 한다.
필요에 따라, 상기 (c) 단계는 PCA(Principal Component Analysis) 방식을 이용하여 상기 손 영역의 데이터 차원을 축소시키고, SVM(Support Vector Machine) 방식을 이용하여 손 동작을 분류하여 인식하는 것을 특징으로 한다.
이를 통해, 본 발명은 스크린에 투사된 영상으로부터 손 그림자를 검출하여 그 검출한 손 그림자에 상응하는 사용자의 손 동작을 인식하고 그 인식한 사용자의 손 동작에 따라 제어 기능을 수행함으로써, 사용자의 편리성을 향상시킬 수 있는 효과가 있다.
또한, 본 발명은 스크린에 투사된 영상으로부터 손 그림자를 검출하여 그 검출한 손 그림자에 상응하는 사용자의 손 동작을 인식하고 그 인식한 사용자의 손 동작에 따라 제어 기능을 수행함으로써, 불필요한 조작 시간을 줄일 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 프리젠테이션 시스템을 나타내는 예시도이다.
도 2는 본 발명의 실시예에 따른 제어 기능을 제공하기 위한 방법을 나타내는 예시도이다.
도 3은 본 발명의 실시예에 따른 카메라를 통해 촬영된 영상을 나타내는 예시도이다.
도 4는 도 2에 도시된 코너 정보를 검출하는 상세한 방법을 나타내는 예시도이다.
도 5는 본 발명의 실시예에 따른 코너 정보를 검출하는 원리를 설명하기 위한 예시도이다.
도 6은 도 2에 도시된 손 그림자 영역을 검출하는 상세한 방법을 나타내는 예시도이다.
도 7은 본 발명의 실시예에 따른 손 그림자 영역을 검출하는 원리를 설명하기 위한 제1 예시도이다.
도 8은 본 발명의 실시예에 따른 손 그림자 영역을 검출하는 원리를 설명하기 위한 제2 예시도이다.
도 9는 본 발명의 실시예에 따른 손 그림자 영역을 검출하는 원리를 설명하기 위한 제3 예시도이다.
도 10은 본 발명의 실시예에 따른 그림자 후보 영상을 생성하는 원리를 설명하기 위한 제1 예시도이다.
도 11은 본 발명의 실시예에 따른 그림자 후보 영상을 생성하는 원리를 설명하기 위한 제2 예시도이다.
도 12는 본 발명의 실시예에 따른 그림자 후보 영상을 나타내는 예시도이다.
도 13은 본 발명의 실시예에 따른 투영 변환하여 얻은 영상을 나타내는 예시도이다.
도 14는 도 2에 도시된 손 영역을 추출하는 상세한 방법을 나타내는 예시도이다.
도 15는 본 발명의 실시예에 따른 손 영역을 추출하는 원리를 설명하기 위한 예시도이다.
도 16은 도 2에 도시된 손 동작을 인식하는 상세한 방법을 나타내는 예시도이다.
도 17는 본 발명의 실시예에 따른 손 동작을 인식하는 원리를 설명하기 위한 제1 예시도이다.
도 18는 본 발명의 실시예에 따른 손 동작을 인식하는 원리를 설명하기 위한 제2 예시도이다.
도 19은 본 발명의 실시예에 따른 손 동작을 인식하는 원리를 설명하기 위한 제3 예시도이다.
도 20은 본 발명의 실시예에 따른 제어 기능을 수행하는 원리를 설명하기 위한 예시도이다.
도 21은 도 1에 도시된 사용자 단말기(140)의 상세한 구성을 나타내는 예시도이다.
이하에서는, 본 발명의 실시예에 따른 사용자의 손 동작을 이용한 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법을 첨부한 도 1 내지 도 21을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 상세히 설명한다. 명세서 전체를 통하여 각 도면에서 제시된 동일한 참조 부호는 동일한 구성 요소를 나타낸다.
본 발명에서는 스크린에 투사된 프리젠테이션 화면의 영상으로부터 손 그림자를 검출하여 그 검출한 손 그림자에 상응하는 사용자의 손 동작을 인식하고 그 인식한 사용자의 손 동작에 따라 다양한 제어 기능을 수행할 수 있는 방안을 제안한다.
도 1은 본 발명의 실시예에 따른 프리젠테이션 시스템을 나타내는 예시도이다.
도 1에 도시한 바와 같이, 본 발명에 따른 프리젠테이션 시스템은 스크린(110), 프로젝터(120), 카메라(130), 및 사용자 단말기(140) 등을 포함하여 구성될 수 있다.
프로젝터(120)는 발표하고자 하는 프리젠테이션 화면 또는 영상을 스크린(110)에 투사하고, 카메라(130)는 스크린(110)에 투사된 영상을 촬영할 수 있다.
사용자 단말기(140)는 카메라(130)에 의해 촬영된 영상을 입력받고 그 입력받은 영상에 손 그림자가 포함되어 있는지를 확인하고 그 확인한 결과로 손 그림자가 포함되어 있는 영상으로부터 손 그림자를 검출할 수 있다. 사용자 단말기(140)는 검출한 손 그림자에 상응하는 사용자의 손 동작을 인식하고 그 인식한 사용자의 손 동작에 따라 다양한 제어 기능을 수행할 수 있다.
이때, 사용자 단말기는 휴대폰, PDA, PC, 및 노트북 등을 포괄하는 개념일 수 있다.
도 2는 본 발명의 실시예에 따른 제어 기능을 제공하기 위한 방법을 나타내는 예시도이다.
도 2에 도시한 바와 같이, 본 발명에 따른 제어 기능 제공방법은 프로젝터로부터 스크린에 투사된 프리젠테이션 화면의 영상을 카메라를 통해 입력받는 단계(S210), 입력받은 영상에 손 그림자가 있는지를 확인하는 단계(S220), 손 그림자가 없는 영상에서 프리젠테이션 화면의 코너 정보를 검출하는 단계(S230), 손 그림자가 있는 영상에서 손 그림자 영역을 검출하는 단계(S240), 프리젠테이션 화면의 코너 정보를 이용하여 손 그림자 영역이 있는 영상을 투영 변환하는 단계(S250), 투영 변환된 영상의 손 그림자 영역으로부터 손 영역을 추출하는 단계(S260), 추출된 손 영역에 상응하는 사용자의 손 동작을 인식하는 단계(S270), 인식한 손 동작에 따른 제어 기능을 수행하는 단계(S280) 등을 포함할 수 있다.
이러한 일련의 동작 원리를 도 3 내지 도 20을 참조하여 설명하면 다음과 같다.
먼저, 본 발명에 따른 사용자 단말기는 프로젝터로부터 스크린에 투사된 프리젠테이션 화면의 영상을 카메라를 통해 입력받을 수 있다(S210).
도 3은 본 발명의 실시예에 따른 카메라를 통해 촬영된 영상을 나타내는 예시도이다.
도 3에 도시한 바와 같이, 사용자 단말기는 프로젝터로부터 스크린에 투사된 프리젠테이션 화면의 영상을 카메라를 통해 입력받을 수 있다. 카메라를 통해 입력되는 영상은 크게 두 가지의 종류로 구분될 수 있는데, 손 그림자가 없는 영상과 손 그림자가 있는 영상이다.
예컨대, 그림(a) 는 손 그림자가 없는 영상을 나타내고, 그림 (b)는 손 그림자가 있는 영상을 나타낼 수 있다.
다음으로, 사용자 단말기는 카메라를 통해 영상을 입력 받으면, 입력 받은 영상에 손 그림자가 있는지를 판단할 수 있다(S220). 즉, 사용자 단말기는 입력 받은 영상과 그림자 후보 영상을 비교하여 그림자 후보 영역을 추출하고, 그 판단된 그림자 후보 영역의 픽셀 수가 일정값 이상인지의 여부에 따라 손 그림자가 있는지를 판단할 수 있다. 그림자 후보 영상에 대해서는 아래에서 다시 설명하기로 한다.
즉, 사용자 단말기는 그림자 후보 영역의 픽셀 수가 일정값 이상이면 입력 받은 영상을 손 그림자가 있는 영상으로 판단하고 그렇지 않으면 손 그림자가 없는 영상으로 판단할 수 있다.
다음으로, 사용자 단말기는 손 그림자가 없는 영상에서 프리젠테이션 화면의 코너 정보를 검출할 수 있다(S230).
도 4는 도 2에 도시된 코너 정보를 검출하는 상세한 방법을 나타내는 예시도이고, 도 5는 본 발명의 실시예에 따른 코너 정보를 검출하는 원리를 설명하기 위한 예시도이다.
도 4 내지 도 5를 참조하면, 사용자 단말기는 카메라를 통해 입력받은 손 그림자가 없는 영상에서 프리젠테이션 화면의 코너 정보를 검출하기 위해 전처리 과정을 수행할 수 있다. 사용자 단말기는 예컨대, 도 5의 (a)와 같이 각 픽셀마다 그 R, G, B값과 명암값을 각각의 특정 임계값과 비교하여 조건을 만족시키면 프리젠테이션 화면의 화면 영역으로 그렇지 않으면 비화면 영역으로 각각 구분할 수 있다.
그리고 사용자 단말기는 모폴로지 연산(morphology operation)을 통해 도 5의 (b)와 같이 전처리된 영상을 얻을 수 있다.
그리고나서 사용자 단말기는 전처리된 영상으로부터 스크린에 투사된 프리젠테이션 화면 영역의 코너 정보를 검출하기 위한 허프 변환(hough transform)을 수행할 수 있다.
이때, 허프 변환은 영상에서 직선이나 원 등과 같은 특징을 찾는데 이용되는 방법이다. 임의의 점을 지나는 직선은 극좌표계에서 다음의 [수학식 1]과 같이 표현될 수 있다.
[수학식 1]
xcosθ + ysinθ = r
여기서, x와 y는 상수이고, θ는 직선과 x축이 이루는 각도, r은 원점으로부터 직선까지의 거리를 의미한다.
(x,y)에 대한 H[r,θ] 곡선을 그려보면, 같은 직선의 성분들은 하나의 H[r,θ] 곡선들의 교차점을 갖게 된다. 이 특징을 이용하여 도 5의 (c)와 같이 4개의 성분을 검출할 수 있다. 그리고나서 간단한 수학적 수식에 의해 4개의 코너를 계산할 수 있다.
즉, 직선의 방정식을 ax + by + 1 = 0이라고 했을 때, 허프 변환을 통해 얻은 한 선분의 양 끝점 (x1,y1)과 (x2,y2)를 대입하여 a와 b를 구할 수 있는데, 다음의 [수학식 2]와 같이 나타낼 수 있다.
[수학식 2]
Figure 112011006175397-pat00001
위의 식에서
Figure 112011006175397-pat00002
의 역행렬이 존재하지 않는 경우에는 직선의 방정식이 원점을 지나는 것으로 간주하고 직선의 기울기를 직접 계산할 수 있다. 그리고 하나의 변수 c를 설정하여 역행렬이 존재하는 경우에는 1의 값을, 존재하지 않는 경우에는 0의 값을 갖도록 한다. 이 과정을 통해 얻은 4개의 직선 정보를 얻을 수 있다.
코너 정보는 이렇게 얻은 두 직선 간의 교점이기 때문에 그 교점의 좌표를 얻으면 된다. 즉, 두 직선 a1x + b1y +c1 = 0, a2x + b2y + c2 = 0의 교점 좌표는 다음의 [수학식 3]과 같이 나타낼 수 있다.
[수학식 3]
Figure 112011006175397-pat00003
위의 식에서
Figure 112011006175397-pat00004
의 역행렬이 존재하지 않으면 두 직선은 평행이거나 일치하는 직선이므로 이 경우는 제외한다. 또한, 이 과정을 통해 얻은 교점이 음수값을 갖거나 입력 영상의 크기보다 더 큰 값을 가져 영상 밖에 위치한다면 그 교점도 제외한다.
다음으로, 사용자 단말기는 손 그림자가 있는 영상에서 손 그림자 영역을 검출할 수 있다(S240).
도 6은 도 2에 도시된 손 그림자 영역을 검출하는 상세한 방법을 나타내는 예시도이고, 도 7은 본 발명의 실시예에 따른 손 그림자 영역을 검출하는 원리를 설명하기 위한 제1 예시도이며, 도 8은 본 발명의 실시예에 따른 손 그림자 영역을 검출하는 원리를 설명하기 위한 제2 예시도이며, 도 9는 본 발명의 실시예에 따른 손 그림자 영역을 검출하는 원리를 설명하기 위한 제3 예시도이다.
도 6 내지 도 9를 참조하면, 사용자 단말기는 손 그림자가 있는 영상과 그림자 후보 영상을 비교하여 그림자 후보 영역을 검출할 수 있다. 즉, 사용자 단말기는 입력 영상의 픽셀값과 그림자 후보 영상의 픽셀값의 차이를 산출하고 그 산출한 차이가 일정값 이하이면 그 픽셀은 그림자 후보 영역이라고 판단할 수 있다.
이때, 그림자 후보 영상은 스크린에 투사된 프리젠테이션 화면의 주변 색상을 기준으로 생성되는데, 이를 도 10 내지 도 12를 참조하여 설명한다.
도 10은 본 발명의 실시예에 따른 그림자 후보 영상을 생성하는 원리를 설명하기 위한 제1 예시도이고, 도 11은 본 발명의 실시예에 따른 그림자 후보 영상을 생성하는 원리를 설명하기 위한 제2 예시도이며, 도 12는 본 발명의 실시예에 따른 그림자 후보 영상을 나타내는 예시도이다.
도 10에서 실선은 투사된 프리젠테이션 화면의 가장자리를 나타내고 점선은 실선으로부터 일정한 거리만큼 떨어져 있는 부분을 나타내고 있다. 이 점선 위에 위치한 점들의 픽셀값을 이용하여 투사된 프리젠테이션 화면 안에 그림자라고 판단할 수 있는 값을 구할 수 있다.
먼저, 투사된 프리젠테이션 화면 이외 부분의 픽셀값은 모두 0(검정색)으로 설정한다. 투사된 프리젠테이션 화면 안의 픽셀값은 도 11에 도시된 과정을 통해 구할 수 있다.
다채널 입력 영상을 R, G, B 단일 채널 영상으로 분할하고 분할된 각 채널 영상의 관심영역에서 픽셀들의 R, G, B 값들을 계산할 수 있다. 여기서, 관심영역이란 스크린에 투사된 프리젠테이션 화면의 영역을 나타내는데, 도 10에서와 같이 실선으로 둘러싸인 부분을 나타낼 수 있다. 도 10을 참조하여 이 실선 안에 위치한 픽셀들의 R, G, B 값은 다음의 [수학식 4]에 의해 계산할 수 있다.
[수학식 4]
Figure 112011006175397-pat00005
여기서, Rx, Gx, Bx는 프리젠테이션 화면의 영역 내에 있는 점 X에서의 R, G, B 값을 각각 의미하고, ,
Figure 112011006175397-pat00007
,
Figure 112011006175397-pat00008
는 점 X와 점 A, 점 X와 점 B, 점 X와 점 c 사이의 거리를 각각 의미할 수 있다.
즉, 점 x에서의 픽셀값들은 점 A, B, C, D의 픽셀값과 그 점들까지의 거리를 이용하여 구할 수 있다.
점 A, B, C, D는 투사된 프리젠테이션 화면의 가장자리 즉, 점선에 위치한 점들로서, 점 X에서 점선에 수선을 내렸을 때 얻어지는 수선의 발을 나타낼 수 있다. 이 점들의 픽셀값과 점 X에서 각 점들까지의 거리를 고려하여 점 X에서의 픽셀값을 계산할 수 있다.
각 점들까지의 거리를 고려하는 이유는 조명 변화와 같은 주변 환경을 적용하기 위함이다. 관심영역 안의 픽셀은 근접해 있는 주변의 영향을 많이 받는다는 가정하에 점 X와 가깝게 위치한 점 A와 B에는 상대적으로 더 멀리 위치한 점 C와 D보다 큰 가중치를 부여하여 픽셀값을 계산할 수 있다. 즉, 서로 마주보고 있는 점 A와 점 C, 점 B와 점 D끼리 가중치를 적용하여 픽셀값을 계산한 후 둘 사이의 평균값을 구할 수 있다. 이 값이 점 X에서의 최종 픽셀값이 될 수 있다.
이러한 계산 과정을 통해 분할된 각 R, G, B 영상으로부터 각 R, G, B 후보 영상을 생성하게 되고 단일 채널이었던 R, G, B 후보 영상을 다채널 영상으로 합쳐서 그림자 후보 영상을 생성할 수 있다. 이렇게 생성된 그림자 후보 영상은 도 12와 같다.
그리고 사용자 단말기는 검출된 그림자 후보 영역을 레이블링하고 그 레이블링한 그림자 후보 영역 중 가장 큰 면적을 차지하는 영역을 손 그림자 영역으로 결정할 수 있다.
여기서 레이블링 기법은 인접한 이웃 픽셀과의 연결성을 근거로 특정 픽셀 집합에 고유의 숫자를 매기는 기법을 일컫는다. 예컨대, 도 7에서는 4개의 인접한 이웃 픽셀과의 연결성을 보여주고, 도 8에서는 레이블링 기법의 한 예를 보여주고 있다.
사용자 단말기는 이러한 과정을 통해 도 9처럼 손 그림자 영역을 검출할 수 있다.
다음으로, 사용자 단말기는 영상의 프리젠테이션 화면의 코너 정보를 이용하여 손 그림자 영역이 있는 영상을 투영 변환(perspective projection)할 수 있다(S250).
도 13은 본 발명의 실시예에 따른 투영 변환하여 얻은 영상을 나타내는 예시도이다.
도 13에 도시한 바와 같이, 사용자 단말기는 손 그림자가 있는 영상을 사용자 단말기의 디스플레이 해상도에 맞춰 손 그림자 영상을 투영 변환할 수 있다. 이를 통해, 사용자 단말기를 제어하는데 필요한 디스플레이 상에서의 손의 위치를 알 수 있다.
사용자 단말기는 투영 변환 과정에서 왜곡된 영상을 바로잡기 위한 와핑 과정을 수행하는데, 와핑 방식은 크게 두가지 방식으로 구분될 수 있다.
1)첫째로, 입력 영상의 좌표에 대한 출력 영상의 좌표를 계산한 다음 픽셀값을 대입하는 전위 매핑(forward mapping) 방식이 있는데, 이 방식은 픽셀이 정수단위이기 때문에 홀이 발생한다는 단점을 갖고 있다.
2)둘째로, 앞의 전위 매핑과는 반대로 출력 영상의 좌표를 기준으로 입력 영상의 좌표를 계산한 다음 픽셀값을 대입하는 후위 매핑(backward mapping) 방식이 있다.
본 발명에서는 영상에 홀이 생기는 것을 방지하기 위해 후위 매핑 방식을 사용하는 것이 바람직하다.
다음으로, 사용자 단말기는 투영 변환된 영상의 손 그림자 영역으로부터 손 영역을 추출할 수 있다(S260).
도 14는 도 2에 도시된 손 영역을 추출하는 상세한 방법을 나타내는 예시도이고, 도 15는 본 발명의 실시예에 따른 손 영역을 추출하는 원리를 설명하기 위한 예시도이다.
도 14 내지 도 15를 참조하면, 사용자 단말기는 손 그림자 영역에서 방향성을 찾기 위하여 그림자 영역의 특징을 잘 나타내는 주축을 검출할 수 있다. 이 주축은 데이터들의 고유벡터(eigenvector)와 고유값(eigenvalue)을 구함으로써 구할 수 있다.
사용자 단말기는 그림 (a)의 영상에서 구한 주축과 가로축이 평행하도록 회전하여 그림 (b)의 영상을 구할 수 있다. 그리고 사용자 단말은 그림 (b)의 추축에 직교하는 선을 그어 그 영역에서의 그림자 두께를 측정하기 위한 영상을 구할 수 있다.
이때, 사용자 단말기는 그림 (c)로부터 그림자 두께를 측정하여 손목의 위치를 검출할 수 있다. 이러한 손목의 위치는 그림자 영역에서 두께가 다른 부분에 비해 얇고 그 주변의 두께가 점점 줄어들다가 다시 증가한다는 특징이 있기 때문에 이러한 특징을 고려하여 검출할 수 있다. 또한, 손가락 부분의 두께는 손목보다 얇기 때문에 그 부분은 손목 검출을 위한 영역에서 제외하는 것이 바람직하다.
그래서 사용자 단말기는 그림 (d)와 같이 이렇게 검출한 손목의 위치로부터 손가락 끝부분까지를 관심 영역 즉, 손 영역으로 추출할 수 있다.
다음으로, 사용자 단말기는 추출된 손 영역에 상응하는 사용자의 손 동작을 인식할 수 있다(S270).
도 16은 도 2에 도시된 손 동작을 인식하는 상세한 방법을 나타내는 예시도이고, 도 17은 본 발명의 실시예에 따른 손 동작을 인식하는 원리를 설명하기 위한 제1 예시도이며, 도 18은 본 발명의 실시예에 따른 손 동작을 인식하는 원리를 설명하기 위한 제2 예시도이며, 도 19는 본 발명의 실시예에 따른 손 동작을 인식하는 원리를 설명하기 위한 제3 예시도이다.
도 16 내지 도 19를 참조하면, 본 발명에 따른 손 동작은 크게 3가지로 구분하는데, 도 17에서 그림 (a)는 기본 자세로 사용자 단말기를 제어하기 위한 손 동작을 나타낼 수 있는데, 모든 제어 기능을 수행하기 위해서는 반드시 필요한 손 동작이다.
그림 (b)는 선택된 아이콘을 더블 클릭하여 실행하기 위한 손 동작을 나타내며, 그림 (c)는 아이콘을 선택하여 이동시키기 위한 손 동작을 나타낼 수 있다.
사용자 단말기는 손 동작을 인식하기 위해 주성분 분석(Principal Component Analysis; PCA) 방식과 서포트 벡터 머신(Support Vector Machine; SVM) 방식을 사용할 수 있다. 주성분 분석 방식이란 주어진 데이터의 정보를 최대한 유지하면서 차원을 축소시켜 데이터를 처리하는 방식이고, 서포트 벡터 머신 방식은 여러 종류의 데이터를 분류하는 최적의 초평면(hyper plane)을 학습하여 새로 들어온 데이터의 클래스를 예측하는 방식을 일컫는다.
즉, 사용자 단말기는 주성분 분석 방식에 따라 고유 벡터와 고유값을 구하여 데이터를 잘 표현할 수 있는 주성분 축을 구하고 그 축에 데이터를 사영시켜 차원을 축소한 후에, 서포트 벡터 머신 방식에 따라 앞서 차원을 축소한 데이터를 분류할 수 있다.
도 18에서 그림 (a)는 본 발명에서 사용하는 3가지 손 동작을 보여주고, 그림 (b)는 본 발명에서 사용하지 않는 여러 종류의 손 동작 즉, 네거티브 샘플(negative sample)을 보여주고 있다.
그래서 사용자 단말기는 여러 종류의 데이터 즉, 손 동작을 분류하는 최적의 초평면을 학습하고 그 최적의 초평면을 이용하여 손 영역에 상응하는 손 동작의 종류를 인식할 수 있다.
도 19에서 사용자 단말기는 손 영역의 손목 중심으로부터 가장 멀리 떨어져 있는 손가락의 위치를 파악하여 해당 손가락의 위치에 있는 아이콘을 제어할 수 있다.
도 20은 본 발명의 실시예에 따른 제어 기능을 수행하는 원리를 설명하기 위한 예시도이다.
도 20에 도시한 바와 같이, 그림 (a)에서는 아이콘을 실행하기 위한 손 동작을 나타내고 있다. 즉, 사용자는 제어 기능을 수행하기 위한 손 동작을 취하고, 손가락이 위치한 아이콘을 더블 클릭하여 실행하기 위한 손 동작을 취함으로써, 선택된 아이콘을 실행할 수 있다.
그림 (b)에서는 아이콘을 이동하기 위한 손 동작을 나타내고 있다. 즉, 사용자는 제어 기능을 수행하기 위한 손 동작을 취하고, 아이콘을 선택하여 이동시키기 위한 손 동작을 취한 후 다시 제어 기능을 수행하기 위한 손 동작을 취함으로써, 마지막 손 동작의 손가락이 가리키는 위치에 아이콘을 이동시킬 수 있다.
물론, 본 발명에서 사용하지 않는 손 동작이 입력되는 경우에는 아무런 동작을 하지 않는다.
도 21은 도 1에 도시된 사용자 단말기(140)의 상세한 구성을 나타내는 예시도이다.
도 21에 도시한 바와 같이, 본 발명에 따른 사용자 단말기(140)는 송수신부(141), 처리부(142), 코너 검출부(143), 그림자 검출부(144), 투영 변환부(145), 추출부(146), 인식부(147), 및 메모리(148) 등을 포함하여 구성될 수 있다.
송수신부(141)는 프로젝터로부터 스크린에 투사된 영상을 카메라를 통해 입력받고, 처리부(142)는 입력받은 영상에 손 그림자가 있는지를 확인할 수 있다.
코너 검출부(143)는 손 그림자가 없는 영상에서 프리젠테이션 화면의 코너 정보를 검출할 수 있다. 즉, 코너 검출부(143)는 입력 받은 손 그림자가 없는 영상에 전처리 과정을 수행하고 그 전처리 과정을 수행한 영상으로부터 허프 변환을 이용하여 코너 정보를 검출할 수 있다.
그림자 검출부(144)는 손 그림자가 있는 영상에서 손 그림자 영역을 검출하는데, 손 그림자가 있는 영상과 그림자 후보 영상을 비교하여 그림자 후보 영역을 검출하고 그 검출한 그림자 후보 영역을 레이블링하여 그 레이블링한 그림자 후보 영역 중 가장 큰 면적을 차지하는 영역을 손 그림자 영역으로 검출할 수 있다.
투영 변환부(145)는 검출한 프리젠테이션 화면의 코너 정보를 이용하여 손 그림자 영역이 있는 영상을 투영 변환할 수 있다.
추출부(146)는 투영 변환된 영상에서 손 영역을 추출하는데, 손 그림자 영역에서 그림자 영역의 특징을 잘 나타내는 주축을 검출하고 그 검출한 주축을 이용하여 손목의 위치를 검출한 후에 손목의 위치에서부터 손가락 끝부분까지를 손 영역으로 추출할 수 있다.
인식부(147)는 추출된 손 영역에 상응하는 사용자의 손 동작을 인식하는데, 주성분 분석 방식을 이용하여 손 영역의 데이터 차원을 축소시키고, 서포트 벡터 머신 방식을 이용하여 손 동작을 분류함으로써, 사용자의 손 동작을 인식할 수 있다.
이때, 메모리(148)에는 본 발명에서 사용하는 손 동작과 사용하지 않는 손 동작에 대한 정보가 저장될 수 있다.
처리부(142)는 그 인식한 손 동작에 따른 다양한 제어 기능을 수행할 수 있다.
이와 같이, 본 발명은 본 발명은 스크린에 투사된 영상으로부터 손 그림자를 검출하여 그 검출한 손 그림자에 상응하는 사용자의 손 동작을 인식하고 그 인식한 사용자의 손 동작에 따라 제어 기능을 수행함으로써, 사용자의 편리성을 향상시킬 수 있고, 발표하려는 내용과 상관없는데 소요되는 불필요한 조작 시간을 줄일 수 있는 효과가 있다.
본 발명에 의한 사용자의 손 동작을 이용한 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: 스크린
120: 프로젝터
130: 카메라
140: 사용자 단말기
141: 송수신부
142: 처리부
143: 코너 검출부
144: 그림자 검출부
145: 투영 변환부
146: 추출부
147: 인식부
148: 메모리

Claims (19)

  1. 프로젝터로부터 스크린에 투사된 프리젠테이션 화면의 영상을 촬영하는 카메라; 및
    상기 카메라에 의해 촬영된 영상을 입력받으면, 입력받은 상기 영상으로부터 손 그림자 영역을 검출하고, 검출한 상기 손 그림자 영역에 상응하는 사용자의 손 동작을 인식하여 그 인식한 상기 사용자의 손 동작에 따라 제어 기능을 수행하는 사용자 단말기
    를 포함하고, 상기 사용자 단말기는 손 그림자가 있는 영상과 그림자 후보 영상을 비교하여 그림자 후보 영역을 검출하고 검출한 상기 그림자 후보 영역을 레이블링하여 그 레이블링한 그림자 후보 영역 중 가장 큰 면적을 차지하는 영역을 상기 손 그림자 영역으로 검출하되,
    상기 그림자 후보 영상은 입력받은 상기 영상을 R, G, B 영상으로 분할하여 그 분할한 R, G, B 영상 각각의 픽셀값을 각 픽셀에서 프리젠테이션 화면의 가장자리에 수선을 그어 얻어지는 점들의 픽셀값의 평균으로 계산하여 R, G, B 후보 영상을 생성하고, 생성한 상기 R, G, B 후보 영상을 결합하여 생성되는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템.
  2. 제1 항에 있어서,
    상기 사용자 단말기는,
    손 그림자가 없는 영상에서 스크린에 투사된 영상 내의 프리젠테이션 화면의 코너 정보를 검출하고,
    손 그림자가 있는 영상에서 손 그림자 영역을 검출하며,
    상기 프리젠테이션 화면의 코너 정보와 상기 손 그림자 영역을 이용하여 상기 사용자의 손 동작을 인식하는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템.
  3. 제2 항에 있어서,
    상기 사용자 단말기는,
    상기 손 그림자가 없는 영상을 화면 영역과 비화면 영역으로 구분하고 그 구분한 영상에 모폴로지 연산을 수행하여 전처리된 영상을 얻고, 상기 전처리된 영상을 허프 변환하여 상기 손 그림자가 없는 영상 내의 프리젠테이션 화면의 코너 정보를 검출하는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템.
  4. 삭제
  5. 제1 항에 있어서,
    상기 분할한 R, G, B 영상 각각의 픽셀값은,
    각 픽셀에서 프리젠테이션 화면의 가장자리에 수선을 그어 얻어지는 점들에 가중치를 부여하여 계산된 픽셀값의 평균으로 계산되는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템.
  6. 제2 항에 있어서,
    상기 사용자 단말기는,
    상기 프리젠테이션 화면의 코너 정보와 상기 손 그림자 영역을 이용하여 손 영역을 추출하고, 추출된 상기 손 영역에 상응하는 사용자의 손 동작을 인식하는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템.
  7. 제6 항에 있어서,
    상기 사용자 단말기는,
    PCA(Principal Component Analysis) 방식을 이용하여 상기 손 영역의 데이터 차원을 축소시키고, SVM(Support Vector Machine) 방식을 이용하여 손 동작을 분류하여 인식하는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템.
  8. 프로젝터로부터 스크린에 투사된 프리젠테이션 화면의 영상을 카메라를 통해 입력받으면, 손 그림자가 없는 영상에서 스크린에 투사된 영상 내의 프리젠테이션 화면의 코너 정보를 검출하는 코너 검출부;
    손 그림자가 있는 영상에서 손 그림자 영역을 검출하는 그림자 검출부;
    상기 프리젠테이션 화면의 코너 정보와 상기 손 그림자 영역을 이용하여 손 영역을 추출하는 추출부;
    추출된 손 영역에 상응하는 사용자의 손 동작을 인식하는 인식부; 및
    인식한 상기 사용자의 손 동작에 상응하는 다양한 제어 기능을 수행하는 처리부
    를 포함하고, 상기 그림자 검출부는 손 그림자가 있는 영상과 그림자 후보 영상을 비교하여 그림자 후보 영역을 검출하고 검출한 상기 그림자 후보 영역을 레이블링하여 그 레이블링한 그림자 후보 영역 중 가장 큰 면적을 차지하는 영역을 상기 손 그림자 영역으로 검출하되,
    상기 그림자 후보 영상은 입력받은 상기 영상을 R, G, B 영상으로 분할하여 그 분할한 R, G, B 영상 각각의 픽셀값을 각 픽셀에서 프리젠테이션 화면의 가장자리에 수선을 그어 얻어지는 점들의 픽셀값의 평균으로 계산하여 R, G, B 후보 영상을 생성하고, 생성한 상기 R, G, B 후보 영상을 결합하여 생성되는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템.
  9. 제8 항에 있어서,
    상기 코너 검출부는,
    상기 손 그림자가 없는 영상을 화면 영역과 비화면 영역으로 구분하고 그 구분한 영상에 모폴로지 연산을 수행하여 전처리된 영상을 얻고, 상기 전처리된 영상을 허프 변환하여 상기 손 그림자가 없는 영상 내의 프리젠테이션 화면의 코너 정보를 검출하는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템.
  10. 삭제
  11. 제8 항에 있어서,
    상기 분할한 R, G, B 영상 각각의 픽셀값은,
    각 픽셀에서 프리젠테이션 화면의 가장자리에 수선을 그어 얻어지는 점들에 가중치를 부여하여 계산된 픽셀값의 평균으로 계산되는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템.
  12. 제8 항에 있어서,
    상기 추출부는,
    상기 손 그림자 영역에서 그림자 영역의 특징을 나타내는 주축을 검출하고 검출한 상기 주축을 이용하여 손목의 위치를 검출한 후에 손목의 위치에서부터 손가락 끝부분까지를 손 영역으로 추출하는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템.
  13. 제8 항에 있어서,
    상기 인식부는,
    PCA(Principal Component Analysis) 방식을 이용하여 상기 손 영역의 데이터 차원을 축소시키고, SVM(Support Vector Machine) 방식을 이용하여 손 동작을 분류하여 인식하는 것을 특징으로 하는 제어 기능을 제공하기 위한 프리젠테이션 시스템.
  14. (a)프로젝터로부터 스크린에 투사된 프리젠테이션 화면의 영상을 카메라를 통해 입력받으면, 손 그림자가 없는 영상에서 스크린에 투사된 영상 내의 프리젠테이션 화면의 코너 정보를 검출하는 단계;
    (b)손 그림자가 있는 영상에서 손 그림자 영역을 검출하는 단계;
    (c)상기 프리젠테이션 화면의 코너 정보와 상기 손 그림자 영역을 이용하여 손 영역을 추출하는 단계;
    (d)추출된 손 영역에 상응하는 사용자의 손 동작을 인식하는 단계; 및
    (e)인식한 상기 사용자의 손 동작에 상응하는 다양한 제어 기능을 수행하는 단계
    를 포함하고, 상기 검출하는 단계는 손 그림자가 있는 영상과 그림자 후보 영상을 비교하여 그림자 후보 영역을 검출하고 검출한 상기 그림자 후보 영역을 레이블링하여 그 레이블링한 그림자 후보 영역 중 가장 큰 면적을 차지하는 영역을 상기 손 그림자 영역으로 검출하되,
    상기 그림자 후보 영상은 입력받은 상기 영상을 R, G, B 영상으로 분할하여 그 분할한 R, G, B 영상 각각의 픽셀값을 각 픽셀에서 프리젠테이션 화면의 가장자리에 수선을 그어 얻어지는 점들의 픽셀값의 평균으로 계산하여 R, G, B 후보 영상을 생성하고, 생성한 상기 R, G, B 후보 영상을 결합하여 생성되는 것을 특징으로 하는 프리젠테이션 시스템의 제어 기능을 제공하기 위한 방법.
  15. 제14 항에 있어서,
    상기 (a) 단계는,
    상기 손 그림자가 없는 영상을 화면 영역과 비화면 영역으로 구분하고 그 구분한 영상에 모폴로지 연산을 수행하여 전처리된 영상을 얻고, 상기 전처리된 영상을 허프 변환하여 상기 손 그림자가 없는 영상 내의 프리젠테이션 화면의 코너 정보를 검출하는 것을 특징으로 하는 프리젠테이션 시스템의 제어 기능을 제공하기 위한 방법.
  16. 삭제
  17. 제14 항에 있어서,
    상기 분할한 R, G, B 영상 각각의 픽셀값은,
    각 픽셀에서 프리젠테이션 화면의 가장자리에 수선을 그어 얻어지는 점들에 가중치를 부여하여 계산된 픽셀값의 평균으로 계산되는 것을 특징으로 하는 프리젠테이션 시스템의 제어 기능을 제공하기 위한 방법.
  18. 제14 항에 있어서,
    상기 (c) 단계는,
    손 그림자 영역에서 그림자 영역의 특징을 나타내는 주축을 검출하고 검출한 상기 주축을 이용하여 손목의 위치를 검출한 후에 손목의 위치에서부터 손가락 끝부분까지를 손 영역으로 추출하는 것을 특징으로 하는 프리젠테이션 시스템의 제어 기능을 제공하기 위한 방법.
  19. 제18 항에 있어서,
    상기 (c) 단계는,
    PCA(Principal Component Analysis) 방식을 이용하여 상기 손 영역의 데이터 차원을 축소시키고, SVM(Support Vector Machine) 방식을 이용하여 손 동작을 분류하여 인식하는 것을 특징으로 하는 프리젠테이션 시스템의 제어 기능을 제공하기 위한 방법.
KR1020110007551A 2011-01-25 2011-01-25 사용자의 손 동작을 이용하여 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법 KR101200009B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110007551A KR101200009B1 (ko) 2011-01-25 2011-01-25 사용자의 손 동작을 이용하여 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110007551A KR101200009B1 (ko) 2011-01-25 2011-01-25 사용자의 손 동작을 이용하여 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20120086223A KR20120086223A (ko) 2012-08-02
KR101200009B1 true KR101200009B1 (ko) 2012-11-12

Family

ID=46872130

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110007551A KR101200009B1 (ko) 2011-01-25 2011-01-25 사용자의 손 동작을 이용하여 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101200009B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101327052B1 (ko) * 2012-10-16 2013-11-08 이화여자대학교 산학협력단 그림자 영상 비교 방법 및 상기 방법을 수행하는 단말기
KR20140118398A (ko) * 2013-03-29 2014-10-08 삼성전자주식회사 이미지에서 손 인식 방법 및 장치
CN104683720B (zh) * 2013-11-28 2019-12-03 联想(北京)有限公司 一种电子设备及控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008527541A (ja) * 2005-01-07 2008-07-24 ジェスチャー テック，インコーポレイテッド 画像中の物体の検出及び追跡
JP2010117917A (ja) * 2008-11-13 2010-05-27 Toyota Infotechnology Center Co Ltd 動作検出装置および操作システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008527541A (ja) * 2005-01-07 2008-07-24 ジェスチャー テック，インコーポレイテッド 画像中の物体の検出及び追跡
JP2010117917A (ja) * 2008-11-13 2010-05-27 Toyota Infotechnology Center Co Ltd 動作検出装置および操作システム

Also Published As

Publication number Publication date
KR20120086223A (ko) 2012-08-02

Similar Documents

Publication Publication Date Title
US9710109B2 (en) Image processing device and image processing method
US8442269B2 (en) Method and apparatus for tracking target object
US9405182B2 (en) Image processing device and image processing method
KR101472455B1 (ko) 손동작 기반 사용자 인터페이스장치 및 그 방법
JP5297530B2 (ja) 画像処理装置、及びインターフェース装置
US9734392B2 (en) Image processing device and image processing method
JP6221505B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US9836130B2 (en) Operation input device, operation input method, and program
US9430039B2 (en) Apparatus for controlling virtual mouse based on hand motion and method thereof
US9064178B2 (en) Edge detection apparatus, program and method for edge detection
JP2009265809A (ja) 情報端末装置
JP2015153120A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2014186505A (ja) 視線検出装置及び撮像装置
JP5887264B2 (ja) 物体認識装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体
KR101200009B1 (ko) 사용자의 손 동작을 이용하여 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법
JP2016099643A (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR101517538B1 (ko) 중심 가중치 맵을 이용한 중요도 영역 검출 장치 및 방법, 이를 위한 프로그램을 기록한 기록 매체
US10013602B2 (en) Feature vector extraction device based on cell positioning
CN108255298B (zh) 一种投影交互系统中的红外手势识别方法及设备
KR101909326B1 (ko) 얼굴 모션 변화에 따른 삼각 매쉬 모델을 활용하는 사용자 인터페이스 제어 방법 및 시스템
US10796435B2 (en) Image processing method and image processing apparatus
JP6273686B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2011175347A (ja) 情報処理装置および情報処理方法
KR101386655B1 (ko) 3d 공간 터치 시스템 및 방법
KR101212316B1 (ko) 공간 변환과 움직임 추정을 이용한 프레임 중앙점의 이동 경로 추출방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160105

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171023

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee