KR101807241B1 - 단일 카메라 기반의 3차원 영상 해석 장치 및 방법, 3차원 영상 해석을 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체 - Google Patents

단일 카메라 기반의 3차원 영상 해석 장치 및 방법, 3차원 영상 해석을 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체 Download PDF

Info

Publication number
KR101807241B1
KR101807241B1 KR1020167027839A KR20167027839A KR101807241B1 KR 101807241 B1 KR101807241 B1 KR 101807241B1 KR 1020167027839 A KR1020167027839 A KR 1020167027839A KR 20167027839 A KR20167027839 A KR 20167027839A KR 101807241 B1 KR101807241 B1 KR 101807241B1
Authority
KR
South Korea
Prior art keywords
image
change
length
dimensional
feature points
Prior art date
Application number
KR1020167027839A
Other languages
English (en)
Inventor
이제훈
Original Assignee
주식회사 딥픽셀
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥픽셀 filed Critical 주식회사 딥픽셀
Application granted granted Critical
Publication of KR101807241B1 publication Critical patent/KR101807241B1/ko

Links

Images

Classifications

    • G06K9/00355—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G06K9/00201—
    • G06K9/46—
    • G06K9/481—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명에 따른 단일 카메라 기반의 3차원 영상 해석 방법은, 단일 카메라에 의해 획득된 영상을 프레임 단위로 저장하는 단계, 저장된 영상에 포함된 손모양을 구성하는 복수 개의 특징점들을 파악하여 상기 특징점들에 기초한 인식 영역을 추출하는 단계, 기 설정된 시간 구간 동안 인식 영역의 특징점들로 구성된 2차원 길이 성분의 변화를 추적하는 단계, 및 2차원 길이 성분의 변화에 기초하여 특징점들의 3차원 좌표 변화를 해석하고, 기 설정된 시간 구간 동안의 특징점들의 이동 벡터로 변환하는 단계, 및 상기 변환된 이동 벡터에 기초하여 손모양이 지시하는 동작을 판단하는 수행하는 단계를 포함한다.

Description

단일 카메라 기반의 3차원 영상 해석 장치 및 방법, 3차원 영상 해석을 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체{Apparatus and method for assuming finger location based on image acquired by single camera and computer readable media storing program performing the method}
본 발명의 다양한 실시 예들은 단일 카메라를 기반으로 사용자의 손가락의 위치를 추정하는 방법 및 이러한 방법을 실행하기 위한 프로그램을 저장한 기록매체, 및 단일 카메라 기반의 3차원 영상 해석 장치와 관련된다.
영상처리 과정에서 3차원 깊이 정보를 획득하기 위해서는 구조 광(structured light), 스테레오 카메라(stereo camera), 적외선 카메라(infra-red camera), 적외선 레이저(infra-red laser)와 같은 장치를 활용하여 영상정보를 획득하고 영상을 3차원으로 복원하여 영상 내의 3차원 위치 정보를 획득할 수 있다.
한편으로는 사용자가 손에 입력 장갑을 끼거나 신체 일부에 3차원 마커(3-dimensional marker)를 부착하여 3차원 위치 정보를 얻는 방법도 있다.
이러한 방법 뿐만 아니라, 단일 카메라와 거울로 이루어진 장치에서 적외선 카메라로부터 얻은 영상과 거울을 통해 반사된 영상에서 얻은 영상을 이용하여 두 개의 서로 다른 시야각을 가지는 것으로 시스템을 구성하여 3차원 위치 정보를 획득하는 방법도 제안된 바 있다.
그런데 이러한 방법들은 3차원 위치 정보를 획득하기 위해 별도의 장비를 필요로 하고 영상에 대한 연산 처리 과정이 복잡하여 처리 과정에 부하가 발생할 수 있다.
본 발명은 단일 카메라를 이용하여 사용자의 손가락 위치와 위치 변화를 3차원으로 추정하고 이러한 위치 추정을 통하여 인터페이스를 수행하는 단일 카메라 기반의 3차원 영상 해석 방법, 3차원 영상 해석을 위한 프로그램을 기록한 매체, 및 3차원 영상 해석 장치를 제공한다.
본 발명의 일 실시 예에 따른 단일 카메라 기반의 손가락 위치 추정 방법은, 단일 카메라에 의해 획득된 영상을 프레임 단위로 저장하는 단계, 상기 저장된 영상에 포함된 손모양을 구성하는 복수 개의 특징점들을 파악하여 상기 특징점들에 기초한 인식 영역을 추출하는 단계, 기 설정된 시간 구간 동안 상기 인식 영역의 특징점들로 구성된 2차원 길이 성분의 변화를 추적하는 단계, 및 상기 2차원 길이 성분의 변화에 기초하여 상기 특징점들의 3차원 좌표 변화를 해석하고, 상기 해석에 기초하여 상기 기 설정된 시간 구간 동안의 상기 특징점들의 이동 벡터를 도출하는 단계를 포함한다.
일 실시 예에 있어서, 상기 인식 영역을 추출하는 단계는, 상기 손모양의 인접하는 두 손가락 말단(末端)의 손가락 특징점 및 상기 두 손가락 사이의 손바닥 경계의 손바닥 특징점을 파악하는 단계, 상기 손가락 특징점과 사각형을 구성하는 가상 특징점을 설정하는 단계, 및 상기 가상 특징점과 상기 손가락 특징점들로 구성된 상기 사각형 영역을 상기 인식 영역으로 추출하는 단계를 포함할 수 있다. 예를 들어, 상기 길이 성분의 변화를 추적하는 단계는 상기 손가락 특징점 및 상기 손바닥 특징점으로 구성된 두 길이 성분의 변화를 추적하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 길이 성분의 변화를 추적하는 단계는, 뼈대 모델(skeleton model)에 기초하여 상기 길이 성분에 상응하는 손모양 뼈대를 완성하는 단계, 및 특정 프레임 단위 영상에 있어서 두 길이 성분 중 적어도 하나의 길이 성분이 정의되지 않는 경우, 상기 완성된 손모양 뼈대에 기초하여 상기 길이 성분을 정의하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 길이 성분의 변화를 추적하는 단계는 상기 두 길이 성분의 사잇각 변화 또는 상기 두 길이 성분의 위치 이동을 추적하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 이동 벡터로 변환하는 단계는, 상기 두 길이 성분 중 적어도 하나의 길이 변화에 기초하여 상기 손가락 특징점에 대한 깊이(z-axis) 방향의 좌표 변화를 추정하는 단계, 및 상기 추정된 깊이 방향의 좌표 변화, 상기 사잇각 변화, 및 상기 위치 이동 중 적어도 하나에 기초해 상기 특징점들에 대한 3차원 좌표 변화를 해석하여 상기 이동 벡터로 변환하는 단계를 포함할 수 있다. 예를 들어, 상기 깊이 방향 좌표 변화에 기초하여 상기 손모양 뼈대 중심축의 회전 변화를 추정하는 단계를 포함할 수 있다.
실시 예에 따라, 본 발명에 따른 단일 카메라를 이용한 3차원 영상 해석 방법은 상기 변환된 이동 벡터에 기초하여 상기 손모양이 지시하는 동작을 판단하는 단계를 더 포함할 수 있다.
실시 예에 따라, 상기 손모양이 지시하는 동작에 매칭되는 명령을 도출하여 상기 도출된 명령을 실행하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 상술한 3차원 영상 해석 방법 중 적어도 하나의 방법을 수행하는 프로그램을 기록한 컴퓨터로 독출 가능한 기록 매체도 본 발명의 범위에 속한다.
본 발명의 일 실시 예에 따른 단일 카메라를 이용한 3차원 영상 해석 장치는 단일 카메라에 의해 획득된 영상을 프레임 단위로 저장하는 영상 획득부, 상기 저장된 영상에 포함된 손모양을 구성하는 복수 개의 특징점들을 파악하여 상기 특징점들에 기초한 인식 영역을 추출하는 영상 추출부, 기 설정된 시간 구간 동안 상기 인식 영역의 특징점들로 구성된 2차원 길이 성분의 변화를 추적하는 영상 추적부, 및 상기 2차원 길이 성분의 변화에 기초하여 상기 특징점들의 3차원 좌표 변화를 해석하고, 상기 해석에 기초하여 상기 기 설정된 시간 구간 동안의 상기 특징점들의 이동 벡터를 도출하는 영상 해석부를 포함한다.
일 실시 예에 있어서, 상기 영상 추출부는 상기 손모양의 인접하는 두 손가락 말단(末端)의 손가락 특징점 및 상기 두 손가락 사이의 손바닥 경계의 손바닥 특징점을 파악하고 해당 특징점들로 구성된 사각형 영역의 상기 인식 영역을 추출할 수 있다.
일 실시 예에 있어서, 상기 영상 획득부는 디스플레이를 통하여 상기 사용자 초기 입력을 위한 손모양 가이드(guide)를 제공할 수 있다.
일 실시 예에 있어서, 상기 영상 추적부는 상기 손가락 특징점 및 상기 손바닥 특징점으로 구성된 두 길이 성분들을 뼈대 모델에 기초하여 손모양 뼈대를 완성하고, 상기 완성된 손모양 뼈대에 기초하여 상기 두 길이 성분의 변화를 추적할 수 있다.
일 실시 예에 있어서, 상기 영상 추적부는 특정 시점의 프레임 단위 영상에서 상기 두 길이 성분 중 적어도 하나를 정의할 수 없는 경우, 상기 손모양 뼈대에 기초하여 상기 길이 성분을 추정할 수 있다.
일 실시 예에 있어서, 상기 영상 추적부는 상기 두 길이 성분의 사잇각 변화 또는 상기 두 길이 성분의 위치 이동을 추적할 수 있다.
일 실시 예에 있어서, 상기 영상 해석부는 상기 두 길이 성분 중 적어도 하나의 길이 변화에 기초하여 상기 손가락 특징점에 대한 깊이(z-axis) 방향의 좌표 변화를 추정하고, 상기 추정된 깊이 방향의 좌표 변화, 상기 사잇각 변화, 및 상기 위치 이동 중 적어도 하나에 기초해 상기 특징점들에 대한 3차원 좌표 변화를 해석하여 상기 이동 벡터로 변환할 수 있다.
일 실시 예에 있어서, 상기 영상 해석부는 상기 변환된 이동 벡터에 기초하여 상기 손모양이 지시하는 동작을 판단할 수 있다.
본 문서에 개시되는 다양한 실시 예들에 따르면, 단일 카메라로부터 획득된 영상을 분석하여 깊이 정보를 포함한 손가락의 3차원 위치 정보를 파악할 수 있다. 따라서 별도의 장비 없이 단일 카메라로부터 획득된 영상에 기초하여 3차원 영상 해석을 수행할 수 있으며 3차원 영상 해석을 위한 연산의 복잡도를 줄일 수 있다.
아울러 본 문서에 개시되는 다양한 실시 예들은 예시를 위한 것으로, 당업자라면 첨부된 특허청구범위의 기술적 사상과 범위를 통해 다양한 수정, 변경, 대체 및 부가가 가능할 것이며, 이러한 수정 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.
도 1은 본 발명의 실시 예들에 따른 3차원 영상 해석 장치를 나타낸 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 3차원 영상 해석 장치를 이용해 영상을 획득하는 것을 예시적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시 예에 따른 3차원 영상 해석 장치의 동작을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 3차원 영상 해석 방법을 설명하기 위한 흐름도이다.
도 5 내지 도 7은 본 발명의 실시 예들에 따른 3차원 영상 해석을 설명하기 위하여 다양한 손동작을 예시적으로 나타낸 도면들이다.
이하, 첨부한 도면을 참조하여 본 발명의 다양한 실시 예들에 대해 상세히 설명하고자 한다. 본 문서에서 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대한 중복된 설명은 생략한다.
본 문서에 개시되어 있는 본 발명의 다양한 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 다양한 실시 예들은 여러 가지 형태로 실시될 수 있으며 본 문서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.
다양한 실시 예에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성요소들을 한정하지 않는다. 예를 들면, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미를 가지는 것으로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 발명의 실시 예들을 배제하도록 해석될 수 없다.
도 1은 본 발명의 실시 예에 3차원 영상 해석 장치를 나타내는 블록도이고, 도 2는 본 발명의 일 실시 예에 따른 3차원 영상 해석 장치를 활용하는 일 예를 도시한 도면이며, 도 3은 본 발명의 일 실시 예에 따라 획득한 영상의 해석을 설명하기 위한 도면이다. 이하에서 도 1 내지 도 3을 참조하여 본 발명의 실시 예에 따른 영상 해석 장치의 동작을 설명하도록 한다.
도 1을 참조하면, 3차원 영상 해석 장치(100)는 영상 획득부(110), 영상 추출부(120), 영상 추적부(130), 및 영상 해석부(140)를 포함할 수 있다.
영상 획득부(110)는 카메라와 같은 영상 획득 수단을 이용하여 연속적인 영상을 프레임 단위로 획득한다. 예를 들어, 영상 획득부(110)는 기 설정된 시간 동안의 동영상을 실시간으로 획득하며 획득한 영상을 캐시(cache)와 같은 저장수단에 프레임 단위로 저장할 수 있다.
본 발명의 일 실시예에 따른 3차원 영상 해석 장치(100)는 단일 카메라를 통해 단일 시점에서 획득한 영상에 기초하여 영상의 3차원 좌표 변화를 추정하는 것을 특징으로 한다. 실시 예에 따라 영상 획득부(110)는 영상을 획득하기 위한 영상 획득 수단을 포함할 수 있다.
영상 추출부(120)는 영상 획득부(110)에서 획득한 프레임 단위의 영상 중에서 처리해야 하는 인식 영역(ROI, Region Of Interest)만을 추출한다. 실시 예에 따라, 영상 추출부(120)는 프레임 단위의 영상에 포함된 손모양에서 복수 개의 특징점들을 파악하고 파악된 특징점들에 기초한 인식 영역을 추출할 수 있다. 본 명세서에서 인식 영역은 획득된 영상 중에서 특징점을 파악하여 기 설정된 시간 구간 동안에 위치 변화의 분석이 필요한 영상 영역을 지칭할 수 있다. 영상 추출부(120)는 영상 획득부(110)에서 획득한 프레임 단위의 영상에서 인식 영역을 추출할 수 있다.
본 발명에 있어서, 영상 추출부(120)는 다양한 특징점 파악 방식에 따라 특징점을 지정할 수 있으며 하나의 프레임 단위의 영상에 대해서도 서로 다른 방식으로 인식 영역을 추출할 수 있다.
본 명세서에서는 획득된 영상이 손모양을 포함하고 있는 것을 중심으로 설명하였으나 이에 한정되는 것은 아니다. 예를 들어, 영상 추출부(120)는 획득된 영상에 포함된 손모양 중에서 손가락과 손바닥을 인식하고 두 손가락의 말단의 손가락 특징점 및 두 손가락 사이의 손바닥 경계의 손바닥 특징점을 파악하여 해당 특징점들로 구성된 사각형 영역을 인식 영역으로 추출할 수 있다.
도 3을 참조하면, 영상 추출부(120)는 손모양에서 엄지 손가락(thumb)과 검지 손가락(index finger)의 말단을 손가락 특징점(P1, P3)으로 파악하고, 두 손가락 사이의 손바닥 경계의 손바닥 특징점(P2)을 파악할 수 있다.
실시 예에 따라 영상 추출부(120)는 손가락 특징점과 손바닥 특징점을 포함하는 사각형 영역을 구성하기 위한 가상 특징점을 설정할 수도 있다. 영상 추출부(120)는 세 특징점들(P1, P2, P3)과 함께 사각형을 구성할 수 있는 가상 특징점(P4)을 설정하고, 특징점들(P1, P2, P3, P4)로 이루어진 사각형 영역을 인식 영역(ROI)으로 추출할 수 있다.
영상 추출부(120)에서 인식 영역을 얻기 위해서 영상 처리(image processing) 알고리즘인 영역 분할(image segmentation) 알고리즘과 특징 추출(feature extraction) 알고리즘이 함께 수행될 수 있다. 영역 분할 및 특징 추출을 위해 획득된 영상을 다른 칼라 채널(color channel)로 변환하거나, 영상 필터링(image filtering) 기법을 이용하여 노이즈(noise)를 제거할 수 있다. 또는 영상 추출부(120)는 획득된 영상을 규격화(image normalization)하는 등의 영상 전-처리(image pre-processing)를 수행할 수 있다.
실시 예에 따라, 영상 추출부(120)는 관측 모델(observation model)을 정의할 수 있다. 예를 들어 손톱과 손가락 부위가 일반적으로 다른 색깔을 가지는 특징을 이용하거나, 사용자의 피부색을 미리 등록하고 영상 해석을 수행할 때마다 조명에 의한 피부색의 미세한 변화를 학습하여 모델링할 수 있다.
실시 예에 따라, 영상 추출부(120)는 매 프레임마다 변화하는 손가락 주변 영역의 특징 값을 추적 모델에 실시간으로 업데이트할 수 있다. 관측 모델의 정의에 따라 영상 추출부(120)는 보다 정확하게 특징점을 파악할 수 있다.
영상 추적부(130)는 인식 영역(ROI)에서 손가락 특징점 및 손바닥 특징점으로 구성된 길이 성분들의 변화를 추적할 수 있다. 실시 예에 따라, 영상 추적부(130)는 두 개의 손가락 특징점과 그 손가락 사이의 손바닥 특징점 사이의 두 길이 성분의 변화를 추적할 수 있다.
도 3을 참조하면, 영상 추적부(130)는 엄지 손가락의 말단의 제1 손가락 특징점(P1)과 손바닥 특징점(P2) 사이의 제1 길이 성분(L1), 검지 손가락 말단의 제2 손가락 특징점(P3)과 손바닥 특징점(P2) 사이의 제2 길이 성분(L2)의 변화를 추적할 수 있다.
실시 예에 따라, 영상 추적부(130)는 뼈대 모델에 기초하여 길이 성분(L1, L2)에 상응하는 손모양 뼈대를 완성할 수 있다. 도 3를 참조하면, 두 길이 성분(L1, L2)에 해당하는 손모양 뼈대(SKM)를 완성하고, 손모양 뼈대(SKM)에 따라 손모양의 중심(Pc)을 설정할 수 있다.
손모양 뼈대(SKM)를 완성함에 따라서 기 설정된 시간 구간 동안에 특정한 길이 성분이 완전히 정의되지 못하는 경우, 예를 들어, 특정 프레임 단위에서 손가락 말단에 대한 영상이 획득되지 않는 경우에도 손모양 뼈대(SKM)에 기초하여 길이 성분을 정의할 수 있다. 즉 손가락의 말단의 위치를 추정할 수 있다. 본 발명에 있어서 영상 추적부(130)는 추적 알고리즘과 뼈대 모델링을 적용하여 강건한(Robust) 위치 추적이 가능하도록 한다. 추적 알고리즘은 반복적인 베이지안(Bayesian) 기반의 칼만 필터(Kalman filters) 및 파티클 필터(particle filters)와 영상의 확률밀도함수(probability density function)의 모드(mode)를 반복적으로 추정하는 민쉬프트(mean-shift) 알고리즘을 조합하여 구성할 수 있다.
영상 추적부(130)는 두 길이 성분(L1, L2)의 위치 이동과 길이 변화를 추적할 수 있다.
실시 예에 따라, 영상 추적부(130)는 두 길이 성분(L1, L2)의 사잇각(θ1)을 설정하여 사잇각(θ1) 변화를 추적할 수도 있다.
영상 해석부(140)는 2차원의 두 길이 성분(L1, L2)의 변화에 기초하여 특징점들(P1 내지 P4) 중 적어도 하나의 3차원 좌표 변화를 해석할 수 있다. 예를 들어 2차원 길이 성분(L1, L2)의 변화는 위치의 변화 또는 길이의 변화일 수 있다. 두 길이 성분(L1, L2)의 변화는 독립적인 변화이거나 상대적인 변화일 수 있다.
영상 해석부(140)는 해석 결과에 기초하여 기 설정된 시간 구간 동안의 특징점들(P1 내지 P4) 중 적어도 하나의 이동 벡터를 도출할 수 있다.
실시 예에 따라, 영상 해석부(140)는 표 1과 같은 기준으로 특징점들의 3차원 좌표 변화를 해석할 수 있다.
케이스 길이 성분 변화 깊이 방향 좌표 변화
L1 L2 P1 P3
1 길이 감소 길이 감소 증가 증가
2 길이 증가 길이 증가 감소 감소
3 변화 없음 길이 감소 변화 없음 증가
4 변화 없음 길이 증가 변화 없음 감소
5 길이 감소 변화 없음 증가 변화 없음
6 길이 증가 변화 없음 감소 변화 없음
7 변화 없음 변화 없음 변화 없음 변화 없음
제1 케이스의 경우, 제1 길이 성분(L1) 및 제2 길이 성분(L2)이 모두 감소하는 경우이다. 이 경우는 두 손가락이 동일하게 영상 획득 수단으로부터 멀어지는 것으로 판단할 수 있으므로, 제1 특징점(P1) 및 제3 특징점(P3)의 깊이 방향의 좌표가 증가하는 것으로 판단할 수 있다. 본 명세서에서는 영상 획득 수단으로 멀어지는 것을 깊이 방향의 좌표가 증가하는 것으로 표현하였으나 이에 한정되는 것은 아니다.
반대로 제2 케이스의 경우, 제1 길이 성분(L1)과 제2 길이 성분(L2)이 모두 증가한다. 두 손가락이 모두 영상 획득 수단으로부터 다가오는 것으로 판단할 수 있으므로, 제1 특징점(P1) 및 제3 특징점(P3)의 깊이 방향의 좌표가 감소하는 것으로 판단할 수 있다.
제3 케이스 및 제4 케이스는 제1 길이 성분(L1)의 길이는 변화가 없고 제2 길이 성분(L2)의 길이만 각각 감소하고 증가하는 경우이다. 해당 케이스들에 있어서 제1 길이 성분(L1)의 변화가 없으므로 손이 전체적으로 이동하는 것은 아니라는 전제 하에, 제2 길이 성분(L2)이 감소하는 것은 검지 손가락으로 아래를 향하는 동작으로 해석할 수 있다. 해당 동작은 도 6를 참조하여 설명하도록 한다.
도 6의 (a)를 참조하면, 제2 길이 성분(L2)의 길이가 가장 길게 관측되는 경우는 검지 손가락이 영상 획득 수단에 대하여 정면을 바라본 상태이다. 이러한 상태에서 검지 손가락이 도 6의 (b)에 나타낸 것처럼 손등에서 손바닥을 향하여 아래로 이동하면, 정면에서 바라보는 제2 길이 성분(L2)의 길이는 상대적으로 작아진다. 따라서 도 6의 (a)에서 도 6의 (b)의 시간 구간 동안에 제3 특징점(P3)의 깊이 방향의 좌표는 증가한다 (CASE 3).
반대로 도 6의 (b)의 상태에서 도 6의 (c) 상태로 손가락을 들어올려 다시 영상 획득 수단의 정면을 바라보도록 검지 손가락을 이동하면, 제2 길이 성분(L2)이 점차적으로 증가한다. 따라서 도 6의 (b)에서 도 6의 (c)의 시간 구간 동안에는 제3 특징점(P3)의 깊이 방향의 좌표가 감소한다 (CASE 4).
본 발명의 일 실시 예에 따른 3차원 영상 해석 장치(100)는 이와 같이 기 설정된 시간 구간 동안의 2차원 길이 성분(L1, L2)의 변화를 관찰하여 특징점(P1, P3)의 3차원 좌표 변화를 해석한다. 또한, 좌표 변화 해석에 따라서 제3 케이스의 경우에는 제3 특징점(P3)을 구성하는 벡터는 영상 획득 수단으로부터 멀어지는 벡터, 제4 케이스의 경우에 제3 특징점(P3)을 구성하는 벡터는 영상 획득 수단을 향하는 벡터로 도출될 수 있다.
제5 케이스 및 제6 케이스는 제2 길이 성분(L2)의 길이는 변화가 없고 제1 길이 성분(L1)의 길이만 각각 감소하고 증가하는 경우이다. 제3 및 제4 케이스들과 마찬가지로, 제5 및 제6 케이스들에 있어서 제2 길이 성분(L2)의 변화가 없으므로 손이 전체적으로 이동하는 것은 아니라는 전제 하에 판단한다.
제5 케이스와 같이 제1 길이 성분(L1)이 감소하는 것은 정면을 향하여 가장 길게 관찰되었던 엄지 손가락이 아래로 향하여 그 길이가 점차 감소되는 동작으로 해석할 수 있다.
반대로 제6 케이스는 감소하였던 제1 길이 성분(L1)이 점차 증가하는 것으로, 아래로 향했던 엄지 손가락이 다시 위로 이동하면서 길이가 점점 길어지는 동작으로 해석할 수 있다.
따라서 영역 해석부(140)는 제5 케이스의 경우에는 제1 특징점(P1)의 깊이 방향의 좌표가 증가하고, 제6 케이스의 경우에는 제1 특징점(P1)의 깊이 방향의 좌표가 감소하는 것으로 해석할 수 있다.
이러한 좌표 변화 해석에 기초하여, 영역 해석부(140)는 제5 케이스의 경우에는 제1 특징점(P1)을 구성하는 벡터가 영상 획득 수단으로부터 멀어지는 벡터, 제6 케이스의 경우에 제1 특징점(P1)을 구성하는 벡터는 영상 획득 수단을 향하는 벡터로 도출될 수 있다.
제7 케이스는 제1 및 제2 길이 성분(L1, L2)의 변화가 없다. 이 경우는 깊이 방향의 이동은 없이 손모양이 2차원 평면을 이동하거나, 제1 및 제2 길이 성분(L1, L2)의 사잇각이 변화하는 경우로 해석할 수 있다.
도 7을 참조하면, 제1 길이 성분(L1)과 제2 길이 성분(L2)의 길이 변화는 없되, 둘 사이의 사잇각(θ1)이 변화하는 동작을 확인할 수 있다. 이 경우, 제1 특징점(P1)의 벡터는 오른쪽 상단을 향하는 이동 벡터로 변환될 수 있다.
실시 예에 따라, 영상 해석부(140)는 깊이 방향 좌표 변화에 기초하여 손모양 뼈대의 중심축의 회전 변화를 추정할 수 있다.
도 3을 참조하면, 손모양의 중심(Pc)에 대하여 3차원의 가상의 축을 설정할 수 있다. 이들 각 축의 회전을 피치(pitch), 요(yaw), 롤(roll)로 일컬을 수 있다. 다만 가상의 축은 손모양의 중심(Pc)에 대하여 상대적인 것으로 축을 일컫는 용어는 달라질 수 있다.
상기 표 1을 참조하여 설명한 각각의 케이스에 있어서, 제 3 케이스 및 제4 케이스의 경우는 도 3의 X 축을 중심으로 손을 회전하는 경우로 해석할 수 있다.
또한, 제5 케이스 및 제6 케이스의 경우는 도 3의 Y 축을 중심으로 손을 회전하는 경우로 해석할 수 있다.
마지막으로 제 7 케이스의 경우에는 제1 길이 성분(L1)과 제2 길이 성분(L2)의 길이가 모두 변화하지는 않지만 Z 축을 중심으로 손을 회전하는 경우로 해석할 수 있다.
영상 해석부(140)는 제1 길이 성분(L1)과 제2 길이 성분(L2)의 변화에 기초하여 손모양의 중심(Pc)의 가상의 축의 회전 변화의 동작을 해석할 수도 있다.
회전 변화의 동작 또한 기 설정된 시간 구간 동안의 동작의 변화이므로 영상 해석부(140)는 해석의 결과에 기초하여 각 특징점의 위치 및 그 변화를 이동 벡터로 변환할 수 있다.
영상 해석부(140)는 손모양의 움직임 패턴에 기초하여 특정한 패턴이 지시하는 동작을 입력신호로 변환할 수 있다. 예를 들어, 손모양의 움직임 패턴에 기초하여 2차원의 기본적인 사용자 상호작용을 제공하는 마우스(mouse)와 같이 3차원 인터페이스를 구현할 수 있다.
또한, 실시 예에 따라, 영상 해석부(140)는 사용자의 입력에 따라 특정한 손모양의 움직임 패턴에 대하여 특정한 명령어를 매칭하여 관리할 수도 있다. 영상 해석부(140)는 휘발성 및/또는 비 휘발성 메모리에 저장된 이동 벡터에 매칭되는 명령어들을 도출하고 해당된 명령어를 실행하도록 할 수 있다. 영상 해석부(140)는 저장 공간을 구비하여 구비된 저장 공간에 명령어와 매칭관 이동 벡터를 관리하거나, 외부의 저장 공간으로부터 이동 벡터와 매칭된 명령어를 도출할 수 있다.
예를 들어, 손가락으로 사각형을 그리는 동작을 수행하는 것이 특정한 창(window)을 여는(open) 동작 명령을 제공하는 것으로 정의하거나, 손가락을 지속적으로 영상 획득 수단에서부터 멀어지는 방향으로 즉, 깊이 방향으로 이동하는 것은 창(window)을 축소(decrease) 시키는 명령을 제공하는 것으로 정의할 수 있다.
실시 예에 따라, 영상 해석부(140)에서는 두 길이 성분들(L1, L2)의 변화에 기초하여 판단된 제1 및 제3 특징점들(P1, P3)의 이동 벡터들 각각 또는 이들의 조합에 기초하여 매칭된 명령어를 도출할 수 있다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 3차원 영상 해석 장치는, 물리적인 실체를 가진 장치(200)와 같은 하드웨어 내에 포함될 수 있다. 장치(200)는 영상 획득 수단(210) 및 디스플레이(220)를 포함할 수 있다. 또한 도시되지는 않았으나, 장치(200) 내에는 컴퓨터로 읽을 수 있는 매체가 포함되어 있으며, 본 명세서에서 설명하는 3차원 영상 해석 방법을 수행하기 위한 프로그램이 기록될 수 있으며, 장치(200) 내에는 본 발명의 일 실시 예에 따른 3차원 영상 해석 방법을 실행하기 위한 중앙 제어 장치(CPU)가 구비될 수 있다.
다른 실시 예에 있어서, 장치(200)의 영상 획득 수단(210)을 통하여 영상을 획득하고 프레임 단위로 저장하기는 하지만, 이러한 영상의 인식 영역을 추출하거나, 2차원 길이 성분의 변화를 추적하고, 이동 벡터를 도출하는 등의 영상 처리 동작은 장치(200)와 다양한 통신 방식을 통하여 연결된 다른 장치, 예를 들어 서버에서 수행될 수도 있다.
장치(200)는 서버에서 처리된 영상 결과를 수신하여 디스플레이(220)를 통하여 사용자에게 전달할 수도 있다.
도 2에서는 장치(200)를 사용자가 손에 들고 있는 휴대전화와 같은 형태로 도시하였으나, 장치(200)는 이에 한정되는 것은 아니며, 영상 획득 수단(210)을 구비하여 손모양의 영상을 획득하고 획득된 영상의 모습을 사용자가 확인할 수 있는 형태로 디스플레이(220)를 통해 표시할 수 있는 수단을 가진 장치를 모두 포함할 수 있다. 실시 예에 따라, 장치(200)는 가상현실(Virtual Reality, VR) 고글, 헤드기어를 포함할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 3차원 영상 해석 방법을 설명하기 위한 흐름도이다.
도 4를 참조하면, 3차원 영상 해석 장치(100)의 영상 획득부(110)는 단일 카메라에 의해 획득된 영상을 프레임 단위로 저장한다 (단계 S410).
영상 획득부(110)로부터 획득된 영상을 수신한 영상 추출부(120)는 저장된 영상에 포함된 손모양을 구성하는 복수 개의 특징점들을 파악하여 파악된 특징점들에 기초한 인식 영역(ROI)을 추출한다 (단계 S420).
실시 예에 따라, 영상 획득부(110)는 디스플레이(예를 들어 도 2의 디스플레이(220))를 통해 사용자의 초기 입력을 자연스럽게 유도하기 위해 손모양 가이드(Guide)를 제공할 수 있다. 도 5의 (a) 에서와 같이 초기의 입력을 위한 점을 표시하면, 사용자가 점과 손가락 말단을 맞춘 이후에 동작을 수행하도록 할 수 있다.
실시 예에 따라, 초기의 가이드를 표시하는 것만 아니라, 도 5의 (a) 내지 (e)에서 확인할 수 있듯이 인식된 특징점들의 궤적을 모두 디스플레이를 통해 표시할 수도 있다. 이때, 실시 예에 따라, 깊이 방향의 좌표의 증가와 감소를 표현하기 위해 점의 크기를 다르게 하여 표시할 수도 있다. 초기의 가이드를 표시하는 것은 영상 획득부(110)에서 수행될 수 있으나, 사용자의 동작을 추적하여 해석한 결과로서 깊이 방향의 좌표의 증가와 감소를 표시하는 것은 영상 추적부(130) 또는 영상 해석부(140)에서 이루어질 수 있다.
실시 예에 따라, 초기 가이드 화면에서 획득된 손모양 영상의 위치를 특징점 좌표의 기준 원점으로 정의할 수 있다.
영상 획득부(110)는 별도의 저장 수단을 구비할 수 있으며, 영상 추출부(120)가 인식 영역(ROI)을 추출함으로써 영상 처리를 위한 연산 부하를 최소화할 수 있다. 상술한 바와 같이 인식 영역(ROI)은 손모양의 인접하는 두 손가락 말단의 손가락 특징점(도 3의 P1, P3) 및 두 손가락 사이의 손바닥 경계의 손바닥 특징점(도 3의 P2)으로 구성된 사각형 영역에 상응할 수 있다.
실시 예에 따라, 영상 추출부(120)는 손가락 특징점과 손바닥 특징점을 파악하고, 이들과 사각형을 구성하는 가상 특징점(도 3의 P4)을 설정하는 단계를 수행할 수 있다.
영상 추적부(130)는 기 설정된 시간 구간 동안 인식 영역의 특징점들로 구성된 2차원 길이 성분의 변화를 추적한다 (단계 S430). 실시 예에 따라, 영상 추적부(130)는 제1 손가락 특징점(P1)과 손바닥 특징점(P2)으로 구성된 제1 길이 성분(L1)과 제3 손가락 특징점(P3)과 손바닥 특징점(P2)으로 구성된 제2 길이 성분(L2)의 변화를 추적할 수 있다.
실시 예에 따라, 영상 추적부는 뼈대 모델에 기초하여 길이 성분에 상응하는 손모양 뼈대(도 3의 SKM)를 완성할 수 있다. 손모양 뼈대를 활용함으로 인해 특정한 프레임 단위 영상에서 제1 길이 성분(L1) 또는 제2 길이 성분(L2)이 정의되지 않는 경우에는 손가락 특징점(P1, P3)의 위치를 추정하여 길이 성분을 정의할 수 있다.
실시 예에 따라, 영상 추적부(130)는 두 길이 성분(L1, L2)의 사잇각(θ1) 변화 또는 두 길이 성분(L1, L2)의 위치 이동을 추적할 수 있다.
영상 해석부(140)는 2차원 길이 성분의 변화에 기초하여 특징점들의 3차원 좌표 변화를 해석하고, 이러한 해석에 기초하여 기 설정된 시간 구간 동안의 특징점들의 이동 벡터를 도출한다 (단계 S440).
영상 해석부(140)는 표 1에서 나타낸 바와 같이 길이 성분(L1, L2) 중 적어도 하나의 길이 변화에 기초하여 손가락 특징점(P1, P3)에 대한 깊이 방향의 좌표 변화를 추정할 수 있다. 실시 예에 따라, 영상 해석부(140)는 길이 성분(L1, L2) 중 적어도 하나의 길이 변화에 기초하여 손모양의 중심(Pc)의 가상의 축을 중심으로 한 회전 변화를 추정할 수도 있다.
이렇게 해석된 결과에 기초하여 영상 해석부(140)는 기 설정된 시간 구간 동안 특징점(P1, P3)의 이동 벡터로 변환할 수 있다.
실시 예에 따라, 영상 해석부(140)는 이동 벡터, 손모양 중심축의 회전 변화와 사잇각(θ1) 변화 중 적어도 하나에 기초하여 손모양의 3차원 변화 방향, 즉 움직임 패턴을 판단할 수 있다.
영상 해석부(140)는 이동 벡터에 기초하여 손모양이 지시하는 동작을 판단할 수 있으며, 판단된 동작에 매칭된 명령어를 도출하여 도출된 명령을 실행할 수도 있다.
영상 해석부(140)는 특정한 이동 벡터에 대하여 매칭되는 명령어를 관리할 수 있다.
도 5 내지 도 7은 본 발명의 일 실시 예에 따른 3차원 영상 해석 방법을 설명하기 위하여 기 설정된 시간 구간 동안에 변화하는 다양한 손모양의 실시 예들을 나타낸 도면들이다.
도 5를 참조하면, 검지 손가락 말단에 가이드(guide)가 지속적으로 표시된다. 이러한 가이드가 디스플레이를 통해 표시되는 것을 통해 사용자는 자신의 동작이 어떠한 이동 벡터로 해석될지, 그리고 결과적으로 어떠한 명령을 수행하게 될 것인지 인지할 수 있다.
도 5에서는 검지 손가락이 지속적으로 이동하는 동작으로 파악될 수 있다. 또한 검지 손가락이 지속적으로 이동하는 한편으로 길이 방향의 성분들이 둘 사이의 길이 비율은 유지하되 지속적으로 길이가 감소하였다가 증가하는 것으로 보아, 손모양이 멀어졌다가 가까워지는 동작을 병행하는 것으로 해석될 수 있다. 이러한 깊이 방향의 좌표 판단 결과에 따라 가이드의 크기가 커졌다가 작아졌다 하는 등으로 표시될 수도 있다.
도 6는 상술한 바와 같이 검지 손가락 말단의 제2 길이 성분(L2)의 길이가 (a)에서 (b) 시간 구간 동안에는 감소하였다가 (b)에서 (c) 시간 구간 동안에는 다시 증가하는 동작이다. 실시 예에 따라 영상 해석부(140)는 제3 특징점(P3)의 이동 벡터가 영상 획득 수단을 향하거나 그로부터 멀어지는 방향으로 전환되는 경우에는 태핑(tapping) 동작으로 해석하고 해당 동작과 매핑된 명령을 수행할 수 있다. 예를 들어, 태핑(tapping) 동작의 경우에는 마우스의 클릭에 해당하는 명령을 수행할 수 있다.
도 7의 (a)에서 (b)의 시간 구간 동안에는 제1 길이 성분(L1)과 제2 길이 성분(L2)의 길이는 변화가 없으며 사잇각(θ1)이 줄어든다. 그리고 (b)에서 (c) 시간 구간 동안에는 사잇각(θ1)이 더 줄어들고, 제1 길이 성분(L1)의 길이가 감소할 수도 있다.
도 7에서 나타낸 동작은 잡기(holding) 동작으로 해석될 수 있으며, 이러한 동작은 특정한 객체를 선택하는 것, 즉 마우스를 길게 누른 것과 같은 동작을 수행하는 명령으로 해석될 수 있다. 만일 잡기 동작을 한 상태에서 특징점이 이동(moving) 하는 경우에는 특정한 객체를 끄는 동작을 수행할 수 있다.
사잇각(θ1)이 다시 커지는 경우에는 영상 해석부(140)는 잡기 동작을 해제한 것으로 해석할 수 있다.
상술한 바와 같이 본 발명의 일 실시 예에 따른 3차원 영상 해석 장치 및 방법은 손모양의 영상 처리를 통하여 특징점을 파악하고 기 설정된 시간 구간 동안에 특징점들로 구성된 2차원 길이 성분의 변화를 관찰한다. 2차원 길이 성분의 변화를 관찰하여 3차원 깊이 방향의 좌표 변화를 해석하고 이러한 해석에 기초하여 기 설정된 시간 구간 동안의 특징점들의 이동 벡터를 도출한다.
이와 같은 방법을 통하여 본 발명의 일 실시 예에 따른 3차원 영상 해석 장치 및 3차원 영상 해석 방법은 단일 카메라를 통해 획득된 영상에 대하여 3차원의 깊이 정보를 파악할 수 있다. 나아가 본 발명의 일 실시 예에 따른 3차원 영상 해석 장치 및 3차원 영상 해석 방법은 3차원 깊이 정보 파악에 근거하여 손모양을 통한 다양한 인터페이스를 수행하도록 함으로써 가상현실과 증강현실의 인터페이스에 유용하게 활용할 수 있다.
본 발명에 있어서, 상술한 3차원 영상 해석 방법을 수행하는 프로그램을 기록한 컴퓨터로 독출 가능한 기록 매체도 본 발명의 범위에 포함될 수 있다.
다양한 실시 예들에 따른 시스템은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 그리고 본 문서에 개시된 실시 예는 개시된 기술 내용의 설명 및 이해를 위해 제시된 것이며 본 발명의 범위를 한정하는 것은 아니다. 따라서 본 문서의 범위는 본 발명의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.

Claims (20)

  1. 단일 카메라에 의해 획득된 영상을 프레임 단위로 저장하는 단계;
    상기 저장된 영상에 포함된 손모양을 구성하는 복수 개의 특징점들을 파악하여 상기 특징점들에 기초한 인식 영역을 추출하는 단계;
    기 설정된 시간 구간 동안 상기 인식 영역의 특징점들로 구성된 2차원 길이 성분의 변화를 추적하는 단계; 및
    상기 기 설정된 시간 구간 동안 상기 2차원 길이 성분의 길이 증감에 기초하여 상기 2차원 길이 성분을 구성하는 특징점들의 3차원 좌표 성분의 변화를 해석하고, 상기 해석에 기초하여 상기 기 설정된 시간 구간 동안의 상기 특징점들의 이동 벡터를 도출하는 단계를 포함하며,
    상기 3차원 좌표 성분의 변화는 한 시점(時点)에 상기 단일 카메라에 의해 획득된 영상에만 기초하여 상기 기 설정된 시간 구간 동안 추적된 상기 2차원 길이 성분의 변화만으로 유추되는 단일 카메라 기반의 3차원 영상 해석 방법.
  2. 청구항 1에 있어서,
    상기 인식 영역을 추출하는 단계는,
    상기 손모양의 인접하는 두 손가락 말단(末端)의 손가락 특징점 및 상기 두 손가락 사이의 손바닥 경계의 손바닥 특징점을 파악하는 단계;
    상기 손가락 특징점과 사각형을 구성하는 가상 특징점을 설정하는 단계; 및
    상기 가상 특징점과 상기 손가락 특징점들로 구성된 상기 사각형 영역을 상기 인식 영역으로 추출하는 단계를 포함하는 단일 카메라 기반의 3차원 영상 해석 방법.
  3. 청구항 2에 있어서,
    상기 길이 성분의 변화를 추적하는 단계는,
    상기 손가락 특징점 및 상기 손바닥 특징점으로 구성된 두 길이 성분의 변화를 추적하는 단계를 포함하는 단일 카메라 기반의 3차원 영상 해석 방법.
  4. 청구항 3에 있어서,
    상기 길이 성분의 변화를 추적하는 단계는,
    뼈대 모델(skeleton model)에 기초하여 상기 길이 성분에 상응하는 손모양 뼈대를 완성하는 단계; 및
    특정 프레임 단위 영상에 있어서 두 길이 성분 중 적어도 하나의 길이 성분이 정의되지 않는 경우, 상기 완성된 손모양 뼈대에 기초하여 상기 길이 성분을 정의하는 단계를 포함하는 단일 카메라 기반의 3차원 영상 해석 방법.
  5. 청구항 4에 있어서,
    상기 길이 성분의 변화를 추적하는 단계는,
    상기 두 길이 성분의 사잇각 변화 또는 상기 두 길이 성분의 위치 이동을 추적하는 단계를 포함하는 단일 카메라 기반의 3차원 영상 해석 방법.
  6. 청구항 5에 있어서,
    상기 이동 벡터로 변환하는 단계는,
    상기 두 길이 성분 중 적어도 하나의 길이 변화에 기초하여 상기 손가락 특징점에 대한 깊이(z-axis) 방향의 좌표 변화를 추정하는 단계; 및
    상기 추정된 깊이 방향의 좌표 변화, 상기 사잇각 변화, 및 상기 위치 이동 중 적어도 하나에 기초해 상기 특징점들에 대한 3차원 좌표 변화를 해석하여 상기 이동 벡터로 변환하는 단계를 포함하는 단일 카메라 기반의 3차원 영상 해석 방법.
  7. 청구항 6에 있어서,
    상기 깊이 방향 좌표 변화에 기초하여 상기 손모양 뼈대 중심축의 회전 변화를 추정하는 단계를 포함하는 단일 카메라 기반의 3차원 영상 해석 방법.
  8. 청구항 6에 있어서,
    상기 변환된 이동 벡터에 기초하여 상기 손모양이 지시하는 동작을 판단하는 단계를 더 포함하는 단일 카메라 기반의 3차원 영상 해석 방법.
  9. 청구항 8에 있어서,
    상기 손모양이 지시하는 동작에 매칭되는 명령을 도출하여 상기 도출된 명령을 실행하는 단계를 포함하는 단일 카메라 기반의 3차원 영상 해석 방법.
  10. 청구항 1에 있어서,
    디스플레이를 통해 손모양 초기 입력을 위한 가이드(guide)를 제공하는 단계를 더 포함하는 단일 카메라 기반의 3차원 영상 해석 방법.
  11. 청구항 1에 있어서,
    디스플레이를 통해 상기 손모양의 특징점들, 상기 특징점들의 이동 경로 중 적어도 하나를 표시하는 단계를 더 포함하는 단일 카메라 기반의 3차원 영상 해석 방법.
  12. 청구항 1 내지 청구항 11 중 어느 한 항에 기재된 방법을 수행하는 프로그램을 기록한 컴퓨터로 독출 가능한 기록 매체.
  13. 단일 카메라에 의해 획득된 영상을 프레임 단위로 저장하는 영상 획득부;
    상기 저장된 영상에 포함된 손모양을 구성하는 복수 개의 특징점들을 파악하여 상기 특징점들에 기초한 인식 영역을 추출하는 영상 추출부;
    기 설정된 시간 구간 동안 상기 인식 영역의 특징점들로 구성된 2차원 길이 성분의 변화를 추적하는 영상 추적부; 및
    상기 기 설정된 시간 구간 동안의 상기 2차원 길이 성분의 길이 증감에 기초하여 상기 2차원 길이 성분을 구성하는 특징점들의 3차원 좌표 성분의 변화를 해석하고, 상기 해석에 기초하여 상기 기 설정된 시간 구간 동안의 상기 특징점들의 이동 벡터를 도출하는 영상 해석부를 포함하며,
    상기 3차원 좌표 성분의 변화는 한 시점(時点)에 상기 단일 카메라에 의해 획득된 영상에만 기초하여 상기 기 설정된 시간 구간 동안 추적된 상기 2차원 길이 성분의 변화만으로 유추되는 단일 카메라 기반의 3차원 영상 해석 장치.
  14. 청구항 13에 있어서,
    상기 영상 추출부는,
    상기 손모양의 인접하는 두 손가락 말단(末端)의 손가락 특징점 및 상기 두 손가락 사이의 손바닥 경계의 손바닥 특징점을 파악하고 해당 특징점들로 구성된 사각형 영역의 상기 인식 영역을 추출하는 단일 카메라 기반의 3차원 영상 해석 장치.
  15. 청구항 14에 있어서,
    상기 영상 획득부는,
    디스플레이를 통하여 사용자 초기 입력을 위한 손모양 가이드(guide)를 제공하는 단일 카메라 기반의 3차원 영상 해석 장치.
  16. 청구항 15에 있어서,
    상기 영상 추적부는,
    상기 손가락 특징점 및 상기 손바닥 특징점으로 구성된 두 길이 성분들을 뼈대 모델에 기초하여 손모양 뼈대를 완성하고, 상기 완성된 손모양 뼈대에 기초하여 상기 두 길이 성분의 변화를 추적하는 단일 카메라 기반의 3차원 영상 해석 장치.
  17. 청구항 16에 있어서,
    상기 영상 추적부는,
    특정 시점의 프레임 단위 영상에서 상기 두 길이 성분 중 적어도 하나를 정의할 수 없는 경우, 상기 손모양 뼈대에 기초하여 상기 길이 성분을 추정하는 단일 카메라 기반의 3차원 영상 해석 장치.
  18. 청구항 16에 있어서,
    상기 영상 추적부는,
    상기 두 길이 성분의 사잇각 변화 또는 상기 두 길이 성분의 위치 이동을 추적하는 단일 카메라 기반의 3차원 영상 해석 장치.
  19. 청구항 18에 있어서,
    상기 영상 해석부는,
    상기 두 길이 성분 중 적어도 하나의 길이 변화에 기초하여 상기 손가락 특징점에 대한 깊이(z-axis) 방향의 좌표 변화를 추정하고, 상기 추정된 깊이 방향의 좌표 변화, 상기 사잇각 변화, 및 상기 위치 이동 중 적어도 하나에 기초해 상기 특징점들에 대한 3차원 좌표 변화를 해석하여 상기 이동 벡터로 변환하는 단일 카메라 기반의 3차원 영상 해석 장치.
  20. 청구항 19에 있어서,
    상기 영상 해석부는,
    상기 변환된 이동 벡터에 기초하여 상기 손모양이 지시하는 동작을 판단하는 단일 카메라 기반의 3차원 영상 해석 장치.
KR1020167027839A 2016-09-12 2016-09-12 단일 카메라 기반의 3차원 영상 해석 장치 및 방법, 3차원 영상 해석을 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체 KR101807241B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2016/010273 WO2018048000A1 (ko) 2016-09-12 2016-09-12 단일 카메라 기반의 3차원 영상 해석 장치 및 방법, 3차원 영상 해석을 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체

Publications (1)

Publication Number Publication Date
KR101807241B1 true KR101807241B1 (ko) 2017-12-08

Family

ID=60920001

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020167027839A KR101807241B1 (ko) 2016-09-12 2016-09-12 단일 카메라 기반의 3차원 영상 해석 장치 및 방법, 3차원 영상 해석을 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체
KR1020187012787A KR102160236B1 (ko) 2016-09-12 2017-04-17 단일 카메라 기반의 3차원 영상 해석에 기초한 가상현실 인터페이스 구현 방법, 단일 카메라 기반의 3차원 영상 해석에 기초한 가상현실 인터페이스 구현 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020187012787A KR102160236B1 (ko) 2016-09-12 2017-04-17 단일 카메라 기반의 3차원 영상 해석에 기초한 가상현실 인터페이스 구현 방법, 단일 카메라 기반의 3차원 영상 해석에 기초한 가상현실 인터페이스 구현 장치

Country Status (3)

Country Link
US (2) US10636156B2 (ko)
KR (2) KR101807241B1 (ko)
WO (2) WO2018048000A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6688990B2 (ja) * 2016-04-28 2020-04-28 パナソニックＩｐマネジメント株式会社 識別装置、識別方法、識別プログラムおよび記録媒体
WO2018173790A1 (ja) * 2017-03-22 2018-09-27 ソニー株式会社 画像処理装置および方法、並びにプログラム
EP3605300A4 (en) * 2017-03-22 2020-02-26 Sony Corporation IMAGE PROCESSING DEVICE AND METHOD AND PROGRAM
US10782793B2 (en) * 2017-08-10 2020-09-22 Google Llc Context-sensitive hand interaction
CN109407824B (zh) * 2018-08-30 2020-11-06 百度在线网络技术（北京）有限公司 人体模型的同步运动方法与装置
CN109325450A (zh) * 2018-09-25 2019-02-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN117590582A (zh) * 2019-04-11 2024-02-23 三星电子株式会社 头戴式显示设备及其操作方法
KR102068929B1 (ko) * 2019-05-23 2020-01-21 박배억 3차원 카메라 시스템
CN110188664B (zh) * 2019-05-28 2022-05-24 福州大学 一种基于Snake的车载激光点云矢量道路边界精细提取方法
US11073902B1 (en) * 2019-12-30 2021-07-27 Facebook Technologies, Llc Using skeletal position to predict virtual boundary activation
CN111282266B (zh) * 2020-02-14 2021-08-03 腾讯科技（深圳）有限公司 三维虚拟环境中的技能瞄准方法、装置、终端及存储介质
EP4111291A4 (en) * 2020-02-26 2023-08-16 Magic Leap, Inc. HAND GESTURE INPUT FOR A PORTABLE SYSTEM
CN111368675B (zh) * 2020-02-26 2023-06-20 深圳市瑞立视多媒体科技有限公司 手势深度信息的处理方法、装置、设备及存储介质
CN112434711B (zh) * 2020-11-27 2023-10-13 杭州海康威视数字技术股份有限公司 一种数据管理方法、装置及电子设备
CN115643485B (zh) * 2021-11-25 2023-10-24 荣耀终端有限公司 拍摄的方法和电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101171239B1 (ko) * 2011-06-01 2012-08-06 군산대학교산학협력단 영상처리를 이용한 비접촉 데이터 입력 및 조작 방법
US20150378444A1 (en) * 2011-08-12 2015-12-31 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8872899B2 (en) * 2004-07-30 2014-10-28 Extreme Reality Ltd. Method circuit and system for human to machine interfacing by hand gestures
KR100800859B1 (ko) 2004-08-27 2008-02-04 삼성전자주식회사 Ｈｍｄ 정보 단말기에서 키를 입력하는 장치 및 방법
US20120050480A1 (en) * 2010-08-27 2012-03-01 Nambi Seshadri Method and system for generating three-dimensional video utilizing a monoscopic camera
US20130154913A1 (en) 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
KR20120071230A (ko) 2010-12-22 2012-07-02 한국전자통신연구원 증강 현실 환경에서 손가락 끝 트래킹 방법 및 이를 위한 장치
CN104246682B (zh) 2012-03-26 2017-08-25 苹果公司 增强的虚拟触摸板和触摸屏
KR101543287B1 (ko) * 2013-04-23 2015-08-11 한국과학기술원 현실 객체의 물리적 동작-증강 현실 상호작용형 전자책 시스템 및 구현 방법
RU2013148582A (ru) 2013-10-30 2015-05-10 ЭлЭсАй Корпорейшн Процессор обработки изображений, содержащий систему распознавания жестов с вычислительно-эффективным распознаванием неподвижной позы руки
RU2014108820A (ru) * 2014-03-06 2015-09-20 ЭлЭсАй Корпорейшн Процессор изображений, содержащий систему распознавания жестов с функциональными возможностями обнаружения и отслеживания пальцев
KR102303115B1 (ko) 2014-06-05 2021-09-16 삼성전자 주식회사 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법
KR101687017B1 (ko) 2014-06-25 2016-12-16 한국과학기술원 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
WO2015199470A1 (ko) * 2014-06-25 2015-12-30 한국과학기술원 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
KR101865655B1 (ko) 2014-06-26 2018-06-11 한국과학기술원 증강현실 상호 작용 서비스 제공 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101171239B1 (ko) * 2011-06-01 2012-08-06 군산대학교산학협력단 영상처리를 이용한 비접촉 데이터 입력 및 조작 방법
US20150378444A1 (en) * 2011-08-12 2015-12-31 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction

Also Published As

Publication number Publication date
US20180275764A1 (en) 2018-09-27
US20180365848A1 (en) 2018-12-20
WO2018048000A1 (ko) 2018-03-15
KR102160236B1 (ko) 2020-09-25
KR20180053416A (ko) 2018-05-21
US10664983B2 (en) 2020-05-26
WO2018048054A1 (ko) 2018-03-15
US10636156B2 (en) 2020-04-28

Similar Documents

Publication Publication Date Title
KR101807241B1 (ko) 단일 카메라 기반의 3차원 영상 해석 장치 및 방법, 3차원 영상 해석을 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체
Segen et al. Shadow gestures: 3D hand pose estimation using a single camera
Soutschek et al. 3-d gesture-based scene navigation in medical imaging applications using time-of-flight cameras
US6624833B1 (en) Gesture-based input interface system with shadow detection
JP4332649B2 (ja) 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
CN103941866B (zh) 一种基于Kinect深度图像的三维手势识别方法
US6147678A (en) Video hand image-three-dimensional computer interface with multiple degrees of freedom
JP4625074B2 (ja) サインに基づく人間−機械相互作用
WO2016054896A1 (zh) 深度确定方法、装置及电子设备
JP6066093B2 (ja) 手指形状推定装置、手指形状推定方法、及び手指形状推定プログラム
KR101360149B1 (ko) 센서리스 기반 손가락 모션 트래킹 방법 및 그 장치
EP2956908A1 (en) Model-based multi-hypothesis target tracker
Triesch et al. Robotic gesture recognition
CN105892633A (zh) 手势识别方法及虚拟现实显示输出设备
CN106909871A (zh) 手势指令识别方法
JP6651388B2 (ja) ジェスチャモデリング装置、ジェスチャモデリング方法、ジェスチャモデリングシステム用のプログラム、およびジェスチャモデリングシステム
KR101465894B1 (ko) 손가락에 부착한 마커를 이용하여 제어 명령을 생성하는 이동 단말 및 손가락에 부착한 마커를 이용하여 단말에서 제어 명령을 생성하는 방법
KR101525011B1 (ko) Nui 기반의 실감형 가상공간 디스플레이 제어장치 및 제어방법
Kopinski et al. A time-of-flight-based hand posture database for human-machine interaction
Siam et al. Human computer interaction using marker based hand gesture recognition
KR101465896B1 (ko) 전면부 카메라 및 후면부 카메라를 이용하여 제어 명령을 생성하는 이동 단말
Kondori et al. A direct method for 3d hand pose recovery
Vančo et al. Gesture identification for system navigation in 3D scene
Chipantasi et al. Novel Method for using Hand Recognition as Computer Remote Control with Computer Vision Techniques
Babu et al. Touchless User Interface for Sketching Using Hand Gesture Recognition

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant