KR101593950B1 - 손동작 기반의 인터페이스 장치 및 이를 이용한 포인팅 방법 - Google Patents

손동작 기반의 인터페이스 장치 및 이를 이용한 포인팅 방법 Download PDF

Info

Publication number
KR101593950B1
KR101593950B1 KR1020140064361A KR20140064361A KR101593950B1 KR 101593950 B1 KR101593950 B1 KR 101593950B1 KR 1020140064361 A KR1020140064361 A KR 1020140064361A KR 20140064361 A KR20140064361 A KR 20140064361A KR 101593950 B1 KR101593950 B1 KR 101593950B1
Authority
KR
South Korea
Prior art keywords
normal vector
intersection
hand
extracted
region
Prior art date
Application number
KR1020140064361A
Other languages
English (en)
Other versions
KR20150136833A (ko
Inventor
최형일
주성일
원선희
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020140064361A priority Critical patent/KR101593950B1/ko
Publication of KR20150136833A publication Critical patent/KR20150136833A/ko
Application granted granted Critical
Publication of KR101593950B1 publication Critical patent/KR101593950B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명인 손동작 기반 인터페이스 장치는 깊이 카메라로부터 촬영된 깊이 영상으로부터 사용자의 손 영역을 검출하는 영역 검출부, 상기 검출된 손 영역 중 손바닥을 평면으로 근사하여 법선 벡터를 추출하는 법선 벡터 추출부, 상기 추출된 법선 벡터에 기초하여 가상 스크린과의 교점을 추출하는 교점 추출부 및 시그모이드 함수에 기초하여 상기 추출된 교점에 가중치를 적용하는 가중치 적용부를 포함하되, 상기 가중치는 현재 추출된 교점과 이전 추출된 교점의 거리 차이에 기초하여 산출된다.

Description

손동작 기반의 인터페이스 장치 및 이를 이용한 포인팅 방법{APPARATUS FOR HAND GESTURE BASED INTERFACE AND POINTING METHOD USING THE SAME}
본 발명은 손동작 기반의 인터페이스 장치 및 이를 이용한 포인팅 방법이다.
스마트 디바이스를 사용하기 위한 입력 수단으로 종래에는 리모콘이나 휴대용 기기 등이 주로 사용되었다. 이러한 입력 수단들은 해당 기기를 사용자가 항상 소지해야만 하는 불편함이 존재하였다. 이와 같은 문제점을 해결하기 위한 기술로 제스처 인식 인터페이스 기술이 대두되고 있다.
스마트 인터페이스의 가장 대표적이고 활성화된 기술인 제스처 인식 인터페이스 기술은 컴퓨터 비전 분야에서 수십 년간 연구되고 있는 기술로서, 카메라 정보를 통해 입력 영상에서의 모션을 관측하는 기술이다.
기존에 개발된 제스처 인식 인터페이스 기술은 크게 3가지 종류가 있다. 첫째로, 시계열 정보를 이용하여 손이 움직이는 궤적(Motion)을 분석하고 인식함으로써 명령을 인지하는 동적 제스처 인식 기술이 있다. 둘째로, 손의 형태(Pose)를 분석하여 명령을 인식하는 정적 제스처 인식 기술이 있다. 마지막으로, 손의 위치와 변위 정보를 인식하여 마우스와 같은 역할을 수행하도록 하는 핸드 마우스 방식 기술이 있다.
한편, 종래의 핸드 마우스 방식 기술은 좁은 공간에서 사용하기 힘든 환경적인 제약 사항이 있다. 즉, 스크린 상의 마우스를 현재 손의 위치로부터 멀리 떨어진 위치로 이동시키기 위해서는 상대적으로 많은 움직임을 필요로 하기 때문에, 좁은 공간에서는 사용하기 힘든 문제가 있게 된다.
이와 더불어, 종래의 핸드 마우스 방식 기술은 제스처를 수행하기 위해 팔 전체를 움직여서 사용하기 때문에 편의성이 낮다는 문제점이 있었다.
이와 관련하여, 한국공개특허공보 제2014-0005590호(발명의 명칭: 손동작 인식 및 추적을 이용한 컨트롤 장치)는 카메라를 통해 사용자 영상을 촬상하고 모션을 디텍팅한 후 손 형상과 이동을 인식하여 손동작으로 전자기기를 컨트롤할 수 있는 기술을 개시하고 있다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 본 발명의 일부 실시예는 깊이 영상에서 손 영역을 검출하고 손바닥의 평면 근사를 통해 획득한 법선 방향을 이용하여 3차원 포인팅을 할 수 있는 손동작 기반의 인터페이스 장치 및 이를 이용한 포인팅 방법에 관한 것이다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 손동작 기반 인터페이스 장치는 깊이 카메라로부터 촬영된 깊이 영상으로부터 사용자의 손 영역을 검출하는 영역 검출부, 상기 검출된 손 영역 중 손바닥을 평면으로 근사하여 법선 벡터를 추출하는 법선 벡터 추출부, 상기 추출된 법선 벡터에 기초하여 가상 스크린과의 교점을 추출하는 교점 추출부 및 시그모이드 함수에 기초하여 상기 추출된 교점에 가중치를 적용하는 가중치 적용부를 포함하되, 상기 가중치는 현재 추출된 교점과 이전 추출된 교점의 거리 차이에 기초하여 산출된다.
또한, 본 발명의 제 2 측면에 따른 손동작 기반 인터페이스 장치를 이용한 포인팅 방법은 깊이 카메라로부터 촬영된 깊이 영상에서 사용자의 손 영역을 검출하는 단계, 상기 검출된 손 영역 중 손바닥을 검출하여 관심 영역을 추출하는 단계, 상기 검출된 관심 영역을 평면으로 근사하는 단계, 상기 평면으로 근사된 관심 영역을 기준으로 법선 벡터를 추출하는 단계, 상기 추출된 법선 벡터에 기초하여 가상 스크린과의 교점을 추출하는 단계 및 시그모이드 함수에 기초하여 상기 추출된 교점에 가중치를 적용하는 단계를 포함하되, 상기 가중치는 현재 추출된 교점과 이전 추출된 교점의 거리 차이에 기초하여 산출된다.
전술한 본 발명의 과제 해결 수단에 의하면, 손의 움직임 정보를 입력하는 방식을 통하여 사용자 인터페이스의 편의성 및 직관성을 제공할 수 있다.
또한, 본 발명은 손바닥의 평면 근사를 통한 방향 검출과 손의 위치 이동을 통해 좁은 공간에서 작은 움직임만으로 큰 공간을 제어할 수 있으며, 이에 따라 기존의 핸드 마우스 방식이 가지는 사용자 제어의 편의성 부족 문제를 해결할 수 있다.
또한, 시그모이드 함수를 이용한 동적 가중치를 적용함으로써 보다 안정적으로 포인팅 제어를 할 수 있다.
이와 더불어, 본 발명은 손목을 이용하여 마우스 포인터를 움직이므로 속도 측면에서 기존의 핸드 마우스 방식에 비해 빠르게 제어할 수 있다.
도 1은 본 발명의 일 실시예에 따른 손동작 기반의 인터페이스 장치의 개념도이다.
도 2는 본 발명의 일 실시예에 따른 손동작 기반의 인터페이스 장치의 블록도이다.
도 3은 깊이 영상을 이용하여 추출된 손 영역으로부터 관심 영역을 추출하는 일 예시를 도시한 도면이다.
도 4는 추출된 관심 영역 중 손바닥을 평면으로 근사하여 법선 벡터를 추출하는 일 예시를 도시한 도면이다.
도 5는 법선 벡터를 보간하는 방법을 설명하기 위한 도면이다.
도 6은 가상 스크린과 법선 벡터로부터 교점을 추출하는 방법을 설명하기 위한 도면이고, 도 7은 가상 스크린과 법선 벡터와의 교점을 도시한 도면이다.
도 8은 추출된 교점에 적용되는 가중치를 산출하기 위한 시그모이드 함수의 일 예시를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 손동작 기반의 인터페이스 장치를 이용한 포인팅 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
도 1은 본 발명의 일 실시예에 따른 손동작 기반의 인터페이스 장치(100)의 개념도이다.
본 발명에 따른 손동작 기반의 인터페이스 장치(100)는 도 1에 도시된 바와 같이 추적된 손바닥의 방향으로 연장된 직선과 3차원 가상공간 안에 있는 평면과의 교점을 계산하고, 계산된 교점에 기초하여 실제로 제어하고자 하는 장치의 좌표계로 변환하는 과정을 통해 구현된다. 이때, 손동작 기반의 인터페이스 장치(100)는 핸드 마우스 방식의 인터페이스 장치로 사용될 수 있다.
기존의 핸드 마우스 방식은 마우스 커서를 현재 위치로부터 많이 떨어진 위치로 이동시키기 위해서 상대적으로 많은 움직임이 필요하다는 문제점이 있었다. 그러나 본 발명에 따른 손동작 기반의 인터페이스 장치(100)를 이용할 경우 간편하게 손바닥의 방향과 손의 위치의 이동을 이용하여 쉽게 큰 공간상에서 제어할 수 있다.
도 2는 본 발명의 일 실시예에 따른 손동작 기반의 인터페이스 장치(100)의 블록도이다.
본 발명에 따른 손동작 기반의 인터페이스 장치(100)는 영역 검출부(110), 법선 벡터 추출부(120), 교점 추출부(140) 및 가중치 적용부(150)를 포함한다.
참고로, 본 발명의 실시예에 따른 도 2에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 구성 요소를 의미하며, 소정의 역할들을 수행한다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
영역 검출부(110)는 깊이 카메라로부터 촬영된 깊이 영상으로부터 사용자의 손 영역을 검출한다.
법선 벡터 추출부(120)는 영역 검출부(110)를 통해 검출된 손 영역 중 손바닥을 평면으로 근사하여 법선 벡터를 추출한다. 이때, 법선 벡터 추출부(120)는 임계값에 기초하여 검출된 손 영역에서 관심 영역을 추출하고, 추출된 관심 영역에 기초하여 법선 벡터를 추출할 수 있다. 이때의 임계값은 깊이 카메라와 사용자의 손의 거리에 기초하여 설정될 수 있다. 이하에서는 도 3 및 도 4를 참조하여 검출된 손 영역으로부터 관심 영역 및 법선 벡터를 추출하는 방법에 대하여 설명하도록 한다.
도 3은 깊이 영상을 이용하여 추출된 손 영역으로부터 관심 영역을 추출하는 일 예시를 도시한 도면이다.
법선 벡터 추출부(120)는 깊이 영상으로부터 획득한 손 영역으로부터 관심 영역을 추출할 수 있다. 관심 영역을 추출하는 이유는 도 3과 같이 손바닥 영역만을 검출하기 위함이다. 따라서, 추적점을 기준으로 유클라디언(Euclidean) 거리를 이용하여 관심 화소를 선택한다. 한편, 관심 영역 검출을 위한 임계값은 카메라로부터 손의 거리를 이용하여 산출된다.
도 4는 추출된 관심 영역 중 손바닥을 평면으로 근사하여 법선 벡터를 추출하는 일 예시를 도시한 도면이다.
법선 벡터 추출부(120)는 검출된 손 영역 중 손바닥을 평면(10)으로 근사하여 법선 벡터(20)를 추출할 수 있으며, 구체적으로 손 영역으로부터 관심 영역을 추출하고, 추출된 관심 영역에 기초하여 법선 벡터(20)를 추출할 수 있다.
이때, 손바닥의 평면(10) 근사 및 법선 벡터(20) 추출을 위해 수학식 1 내지 4와 같은 최소 자승법(Least Square Method)을 이용할 수 있다.
[수학식 1]
Figure 112014050561837-pat00001
[수학식 2]
Figure 112014050561837-pat00002
[수학식 3]
Figure 112014050561837-pat00003
[수학식 4]
Figure 112014050561837-pat00004
먼저, 수학식 1과 같이 평면의 방정식을 세우고, 여러 개의 데이터들을 이용하기 위해 수학식 1에 따른 평면의 방정식을 수학식 2와 같이 행렬식으로 표현한다. 수학식 1을 행렬식으로 표현하면 수학식 3과 같은 형태로 정리할 수 있다. 마지막으로, 수학식 3을 의사 역행렬(pseudo inverse)을 이용하여 정리한 수학식 4를 계산함으로써 최종적으로 평면의 방정식을 산출할 수 있다. 이에 따라, 손바닥의 방향 벡터는 평면의 방정식에 의해
Figure 112014050561837-pat00005
로 정의될 수 있다.
위 수학식을 이용하여 산출한 평면 및 법선 벡터의 일 예시를 도 4에 도시된 바와 같이 나타낼 수 있다. 포인팅 방향은 평면(10)에 대한 법선 벡터(20)로 나타낼 수 있으며, 이때 법선 벡터(20)는 관심 영역의 평균 위치를 기준으로 표현할 수 있다. 도 4에 도시된 바와 같이 손바닥이 평평하지 않아도 평면(10) 근사를 통해 안정적으로 법선 벡터(20)를 통해 방향을 확인할 수 있다.
다시 도 2를 참조하면, 본 발명에 따른 손동작 기반의 인터페이스 장치(100)는 보간부(130)를 더 포함할 수 있다. 보간부(130)는 깊이 영상의 이전 프레임에 추출된 법선 벡터와 현재 프레임에 추출된 법선 벡터에 기초하여 법선 벡터를 보간할 수 있다. 도 5를 참조하여 법선 벡터를 보간하는 방법에 대하여 설명하면 다음과 같다.
도 5는 법선 벡터를 보간하는 방법을 설명하기 위한 도면이다.
도 5에서 St는 관심 영역의 중심 좌표를 나타내고, Et는 St를 기준으로 t번째 프레임에서 검출된 방향 벡터의 끝점을 나타낸다. 도 5에 도시된 바와 같이, 이전 프레임 E'(t-1)과 현재 프레임 Et를 보간하여 수학식 5, 수학식 6을 통해 E't를 계산할 수 있다.
[수학식 5]
Figure 112014050561837-pat00006
[수학식 6]
수학식 5는 Et를 계산하기 위한 수식으로
Figure 112014050561837-pat00008
는 평면의 방정식으로부터 획득한 법선 벡터이다. 또한, l은 방향 벡터의 길이를 나타낸다.
수학식 6은 이전 방향 벡터와 현재 방향 벡터를 이용하여 보간하는 수식으로 α에 의해 법선 벡터를 보간할 수 있다. 이에 따라, 최종적인 방향 벡터는 St를 원점으로 하는 수학식 7과 같이 나타낼 수 있다.
[수학식 7]
Figure 112014050561837-pat00009
다시 도 2를 참조하면, 교점 추출부(140)는 추출된 법선 벡터에 기초하여 가상 스크린과의 교점을 추출한다. 이때, 교점 추출부(140)는 추출된 교점을 가상 스크린의 2차원 좌표계 상에 표시되도록 변환할 수 있다.
가중치 적용부(150)는 시그모이드 함수에 기초하여 추출된 교점에 가중치를 적용한다. 이때, 가중치는 현재 추출된 교점과 이전 추출된 교점의 거리 차이에 기초하여 산출된다. 이하에서는, 도 6 내지 도 8을 참조하여 교점 추출 및 가중치 적용 방법에 대하여 구체적으로 설명하도록 한다.
도 6은 가상 스크린과 법선 벡터로부터 교점을 추출하는 방법을 설명하기 위한 도면이고, 도 7은 가상 스크린과 법선 벡터와의 교점을 도시한 도면이다.
먼저, 방향을 나타내는 법선 벡터로부터 직선의 방정식을
Figure 112014050561837-pat00010
으로 나타낼 수 있다. 이때, St는 관심 영역의 평균 좌표를 의미하고,
Figure 112014050561837-pat00011
은 손바닥의 방향을 나타내는 법선 벡터를 의미한다.
도 6의 P0와 P1은 가상 스크린 평면 위의 임의의 점으로, 이를 통해 평면의 방정식을
Figure 112014050561837-pat00012
으로 표현할 수 있다. 이때,
Figure 112014050561837-pat00013
는 내적 기호를 나타내며, P0와 P1이 가상 스크린 평면 위에 있으므로 (P0-P1) 또한 평면 상의 벡터가 된다. 이때, 가상 스크린의 법선 벡터
Figure 112014050561837-pat00014
과 평면 상의 (P0-P1) 벡터는 수직이므로 0을 만족한다. 따라서, 손바닥의 방향 벡터 위에 존재하며, 가상 스크린의 평면의 방정식을 만족하는 c를 구하면 가상 스크린 상의 좌표를 찾을 수 있다.
아래의 수학식 8은 도 6에서 P1에 c를 대입한 식이다.
[수학식 8]
Figure 112014050561837-pat00015
수학식 8에서 c는 손바닥의 방향을 나타내는 직선 위의 한 점을 의미하며, 동시에 평면 상의 점이므로 아래의 수학식 9와 같이 나타낼 수 있으며, 최종적으로 수학식 10과 같이 나타낼 수 있다.
[수학식 9]
Figure 112014050561837-pat00016
[수학식 10]
Figure 112014050561837-pat00017
이때,δ는 St점으로부터
Figure 112014050561837-pat00018
방향으로 δ만큼의 거리의 위치가 교점이라는 것을 의미한다. 따라서, 교점의 위치는
Figure 112014050561837-pat00019
으로부터 산출할 수 있다.
위와 같은 수학식을 이용하여 도 7에 도시된 바와 같이 교점을 추출할 수 있다. 즉, 도 7과 같이 사용자의 손바닥을 근사한 평면의 법선 벡터와 가상 스크린의 교점을 획득할 수 있다.
한편,
Figure 112014050561837-pat00020
는 가상 3차원 공간 상에서 손바닥의 방향과 가상 스크린상의 3차원 교점을 의미한다. 따라서, 마우스의 좌표를 결정하기 위해서는 3차원 상의 좌표를 실제 스크린 상의 2차원 좌표계로 변환해야 한다.
예를 들어, 3차원 공간 상의 가상 스크린을 원점을 중심으로 z축에 수직인 Vw과 Vh의 길이를 갖는 평면으로 정의할 경우, 가상 스크린 상의 좌표는 스크린 상의 원점을 기준으로 x축과 y축의 좌표만을 이용해서 변환을 수행할 수 있다.
[수학식 11]
Figure 112014050561837-pat00021
[수학식 12]
Figure 112014050561837-pat00022
위 수학식 11과 12는 실제 스크린 상의 좌표계 (Rx, Ry)를 계산하기 위한 수식이다.
Figure 112014050561837-pat00023
와
Figure 112014050561837-pat00024
는 가상 스크린과 손바닥 방향의 교점
Figure 112014050561837-pat00025
의 x, y 좌표이며, vox와voy는 가상 스크린의 중심 좌표이다. 또한, Vw와 Vh는 가상 스크린의 가로, 세로 길이이며, Rw와 Rh는 실제 스크린 상의 가로, 세로 해상도를 의미한다. Ry를 계산할 때 Rx와 다르게 Rh에서 감산을 수행하는 이유는 가상 스크린의 y 좌표계와 실제 스크린 상의 y 좌표계가 서로 반대 방향이기 때문이다.
도 6 내지 도 7에서 설명한 바와 같이, 교점 추출부(140)가 추출된 법선 벡터에 기초하여 가상 스크린과의 교점을 추출하면, 본 발명에 따른 손동작 기반 인터페이스 장치(100)의 가중치 적용부(150)는 시그모이드 함수에 기초하여 추출된 교점에 가중치를 적용하게 된다. 이하에서는 도 8을 참조하여 추출된 교점에 가중치를 적용하는 방법에 대하여 구체적으로 설명하도록 한다.
도 8은 추출된 교점에 적용되는 가중치를 산출하기 위한 시그모이드 함수의 일 예시를 도시한 도면이다.
본 발명에 따른 손동작 기반 인터페이스 장치(100)는 손 영역을 검출하고 손바닥의 평면 근사 후 법선 벡터를 추출하며, 추출된 법선 벡터와 가상 스크린 상의 교점을 추출하여 포인팅을 수행할 수 있다. 이때, 손바닥의 방향으로 가상 스크린과의 교점을 계산하므로, 깊이 영상의 잡음으로 인하여 실제 스크린 좌표가 떨리는 현상이 발생하게 된다. 다시 말해, 깊이맵의 부정확함과 손의 움직임에 민감한 문제로 인해 좌표가 불안정한 현상이 발생할 수 있으며, 이에 따라 작은 움직임에도 급격한 좌표 이동이 발생하는 문제점이 발생할 수 있다. 따라서, 사용자는 스크린 상에서 정확한 위치를 포인팅하기 어려운 문제가 있다.
이와 같은 문제를 해결하기 위해 본 발명에 따른 손동작 기반 인터페이스 장치(100)는 가중치 적용부(150)를 통해 이전 교점과 현재 교점의 거리 차이를 이용하여 가중치를 계산하고, 이를 현재 교점에 적용하여 해결할 수 있으며, 가중치 산출시 도 8과 같은 시그모이드 함수를 적용하여 산출할 수 있다.
가중치는 아래의 수학식 13 내지 15를 이용하여 산출할 수 있으며, 가중치가 적용된 최종적인 교점을 결정할 수 있다. 수학식 13은 가중치를 산출하기 위한 파라미터를 구하기 위한 수식이다. 이때,
Figure 112014050561837-pat00026
는 t시점의 가상 스크린과의 교점을 나타내고, x는 손바닥이 향하는 방향으로 인해 생성되는 교점의 속도를 나타낸다.
[수학식 13]
Figure 112014050561837-pat00027
수학식 14는 가중치를 산출하기 위한 수식으로서, 가중치는 이전 교점과 현재 교점의 거리 차이 x에 의해 결정된다. 이때, δ는 가중치 함수의 경사도를 결정하는 상수를 의미한다. 그리고 τ는 x가 항상 0보다 같거나 크기 때문에 가중치 함수 w(x)가 x=0일 경우에 근접하게 만들어 주기 위한 상수이다.
[수학식 14]
Figure 112014050561837-pat00028
수학식 15는 최종적인 교점을 결정하기 위한 수식으로, 현재 계산된 교점에 가중치를 곱하고, 이전 교점에는 1에서 가중치를 감산한 가중치를 곱하여 최종적인 교점을 검출한다. 따라서, 사용자가 손의 방향을 크게 변화시킬 경우 가중치는 1이 되어 검출된 교점 위치대로 이동하며, 손 떨림 현상으로 교점의 위치가 약간의 변화를 갖는다면 현재 검출된 교점의 영향력을 0에 가깝게 줄여 떨림 현상을 제거할 수 있다.
[수학식 15]
Figure 112014050561837-pat00029
수학식 14에서 δ=0.1, τ=60일 경우, 도 8에 도시된 그래프 형태를 얻을 수 있다. 도 8과 같이 시간에 따른 교점
Figure 112014050561837-pat00030
의 변화가 클 경우 가중치는 1의 값을 가지게 되며, 교점의 변화가 20 미만일 경우 0.1 이하의 가중치를 적용함으로써 떨림 현상을 해결할 수 있다.
도 9는 본 발명의 일 실시예에 따른 손동작 기반의 인터페이스 장치(100)를 이용한 포인팅 방법의 순서도이다.
본 발명에 따른 포인팅 방법은 먼저, 깊이 카메라로부터 촬영된 깊이 영상에서 사용자의 손 영역을 검출하고(S110), 검출된 손 영역 중 손바닥을 검출하여 관심 영역을 추출한다(S120). 이때, 관심 영역은 임계값에 기초하여 추출될 수 있으며, 임계값은 깊이 카메라와 사용자의 손의 거리에 기초하여 설정될 수 있다.
다음으로, 검출된 관심 영역을 평면으로 근사하고(S130), 평면으로 근사된 관심 영역을 기준으로 법선 벡터를 추출한다(S140). 관심 영역을 평면으로 근사하고, 이를 기준으로 법선 벡터를 추출하기 위해 최소 자승법을 이용할 수 있다.
한편, 본 발명에 따른 포인팅 방법은 추출된 법선 벡터를 깊이 영상의 이전 프레임에 추출된 법선 벡터와 현재 프레임에 추출된 법선 벡터에 기초하여 보간할 수 있다.
최소 자승법을 이용하여 법선 벡터를 추출하는 방법 및 법선 벡터를 보간하는 방법은 도 4 및 도 5에서 구체적으로 설명하였으므로 이하에서는 생략하도록 한다.
다음으로, 추출된 법선 벡터에 기초하여 가상 스크린과의 교점을 추출한다(S150). 이와 같이 추출된 교점은 3차원 가상 공간 좌표 상에 존재하는 것이므로 가상 스크린의 2차원 좌표계 상에 표시되도록 변환할 수 있다.
다음으로, 시그모이드 함수에 기초하여 추출된 교점에 가중치를 적용한다(S160). 이때, 가중치는 현재 추출된 교점과 이전 추출된 교점의 거리 차이에 기초하여 산출한다. 시그모이드 함수를 이용하여 가중치를 적용하는 방법에 대해서는 도 9에서 설명하였으므로 구체적인 설명은 생략하도록 한다.
이와 같이, 본 발명에 따른 포인팅 방법은 손바닥을 검출하여 법선 벡터를 추출하고 교점을 추출하여 포인팅을 수행할 수 있다. 그러나, 깊이 영상의 잡음으로 인하여 실제 스크린 좌표가 떨리는 현상을 방지하기 위해 가중치를 적용한다. 이에 따라, 본 발명에 따른 포인팅 방법은 작은 움직임에도 좌표가 급격하게 이동하는 문제점을 해결할 수 있다.
이와 더불어, 본 발명에 따른 손동작 기반 인터페이스 장치 및 이를 이용한 포인팅 방법은 손의 움직임 정보를 입력하는 방식을 통하여 사용자 인터페이스의 편의성 및 직관성을 제공할 수 있다.
또한, 본 발명은 손목을 이용하여 마우스 포인터를 움직이므로 속도 측면에서 기존의 핸드 마우스 방식에 비해 빠르게 제어할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 손동작 기반 인터페이스 장치 110: 영역 검출부
120: 법선 벡터 추출부 130: 보간부
140: 교점 추출부 150: 가중치 적용부

Claims (8)

  1. 손동작 기반 인터페이스 장치에 있어서,
    깊이 카메라로부터 촬영된 깊이 영상으로부터 사용자의 손 영역을 검출하는 영역 검출부,
    상기 검출된 손 영역 중 손바닥을 평면으로 근사하여 법선 벡터를 추출하는 법선 벡터 추출부,
    상기 추출된 법선 벡터와 사용자의 손으로부터 소정 간격 이격하여 배치된 가상 스크린과의 교점을 추출하는 교점 추출부 및
    시그모이드 함수에 기초하여 상기 추출된 교점에 가중치를 적용하는 가중치 적용부를 포함하되,
    상기 가중치는 현재 추출된 교점과 이전 추출된 교점의 거리 차이에 상기 시그모이드 함수를 적용하여 산출되는 것인 손동작 기반의 인터페이스 장치.
  2. 제 1 항에 있어서,
    상기 법선 벡터 추출부는 임계값에 기초하여 상기 검출된 손 영역에서 관심 영역을 추출하고, 상기 추출된 관심 영역에 기초하여 법선 벡터를 추출하되,
    상기 임계값은 상기 깊이 카메라와 상기 사용자의 손의 거리에 기초하여 설정되는 것인 손동작 기반의 인터페이스 장치.
  3. 제 1 항에 있어서,
    상기 깊이 영상의 이전 프레임에 추출된 법선 벡터와 현재 프레임에 추출된 법선 벡터에 기초하여 법선 벡터를 보간하는 보간부를 더 포함하는 손동작 기반의 인터페이스 장치.
  4. 제 1 항에 있어서,
    상기 교점 추출부는 상기 추출된 교점을 상기 가상 스크린의 2차원 좌표계 상에 표시되도록 변환하는 것인 손동작 기반의 인터페이스 장치.
  5. 손동작 기반 인터페이스 장치를 이용한 포인팅 방법에 있어서,
    깊이 카메라로부터 촬영된 깊이 영상에서 사용자의 손 영역을 검출하는 단계,
    상기 검출된 손 영역 중 손바닥을 검출하여 관심 영역을 추출하는 단계,
    상기 검출된 관심 영역을 평면으로 근사하는 단계,
    상기 평면으로 근사된 관심 영역을 기준으로 법선 벡터를 추출하는 단계,
    상기 추출된 법선 벡터와 사용자의 손으로부터 소정 간격 이격하여 배치된 가상 스크린과의 교점을 추출하는 단계 및
    시그모이드 함수에 기초하여 상기 추출된 교점에 가중치를 적용하는 단계를 포함하되,
    상기 가중치는 현재 추출된 교점과 이전 추출된 교점의 거리 차이에 상기 시그모이드 함수를 적용하여 산출되는 것인 포인팅 방법.
  6. 제 5 항에 있어서,
    상기 관심 영역을 추출하는 단계는 임계값에 기초하여 관심 영역을 추출하되,
    상기 임계값은 상기 깊이 카메라와 상기 사용자의 손의 거리에 기초하여 설정되는 것인 포인팅 방법.
  7. 제 5 항에 있어서,
    상기 깊이 영상의 이전 프레임에 추출된 법선 벡터와 현재 프레임에 추출된 법선 벡터에 기초하여 법선 벡터를 보간하는 단계를 더 포함하는 포인팅 방법.
  8. 제 5 항에 있어서,
    상기 추출된 교점을 상기 가상 스크린의 2차원 좌표계 상에 표시되도록 변환하는 단계를 더 포함하는 포인팅 방법.
KR1020140064361A 2014-05-28 2014-05-28 손동작 기반의 인터페이스 장치 및 이를 이용한 포인팅 방법 KR101593950B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140064361A KR101593950B1 (ko) 2014-05-28 2014-05-28 손동작 기반의 인터페이스 장치 및 이를 이용한 포인팅 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140064361A KR101593950B1 (ko) 2014-05-28 2014-05-28 손동작 기반의 인터페이스 장치 및 이를 이용한 포인팅 방법

Publications (2)

Publication Number Publication Date
KR20150136833A KR20150136833A (ko) 2015-12-08
KR101593950B1 true KR101593950B1 (ko) 2016-02-15

Family

ID=54872785

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140064361A KR101593950B1 (ko) 2014-05-28 2014-05-28 손동작 기반의 인터페이스 장치 및 이를 이용한 포인팅 방법

Country Status (1)

Country Link
KR (1) KR101593950B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022250238A1 (ko) * 2021-05-25 2022-12-01 (주) 이즈커뮤니케이션즈 컴퓨터에의 정보 입력 시스템 및 이 정보 입력 시스템을 이용한 입력 정보의 좌표 산출 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109683710B (zh) * 2018-12-20 2019-11-08 北京字节跳动网络技术有限公司 一种手掌法向量确定方法、装置、设备及存储介质
CN113642493B (zh) * 2021-08-20 2024-02-09 北京有竹居网络技术有限公司 一种手势识别方法、装置、设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022250238A1 (ko) * 2021-05-25 2022-12-01 (주) 이즈커뮤니케이션즈 컴퓨터에의 정보 입력 시스템 및 이 정보 입력 시스템을 이용한 입력 정보의 좌표 산출 방법

Also Published As

Publication number Publication date
KR20150136833A (ko) 2015-12-08

Similar Documents

Publication Publication Date Title
US10638117B2 (en) Method and apparatus for gross-level user and input detection using similar or dissimilar camera pair
CN108198044B (zh) 商品信息的展示方法、装置、介质及电子设备
US10410089B2 (en) Training assistance using synthetic images
US11062475B2 (en) Location estimating apparatus and method, learning apparatus and method, and computer program products
US9542745B2 (en) Apparatus and method for estimating orientation of camera
CN107852447B (zh) 基于设备运动和场景距离使电子设备处的曝光和增益平衡
CN105283905A (zh) 使用点和线特征的稳健跟踪
EP2901236B1 (en) Video-assisted target location
CN112506340B (zh) 设备控制方法、装置、电子设备及存储介质
KR101593950B1 (ko) 손동작 기반의 인터페이스 장치 및 이를 이용한 포인팅 방법
US20220277595A1 (en) Hand gesture detection method and apparatus, and computer storage medium
KR101806453B1 (ko) 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치 및 방법
CN114859938A (zh) 机器人、动态障碍物状态估计方法、装置和计算机设备
JP5863034B2 (ja) 情報端末装置
CN111489376B (zh) 跟踪交互设备的方法、装置、终端设备及存储介质
Jo et al. Tracking and interaction based on hybrid sensing for virtual environments
Akman et al. Multi-cue hand detection and tracking for a head-mounted augmented reality system
US9761009B2 (en) Motion tracking device control systems and methods
US20200167005A1 (en) Recognition device and recognition method
CN118379865B (zh) 指向遥控方法、装置、设备及存储介质
Zea et al. Robot Joint Tracking With Mobile Depth Cameras for Augmented Reality Applications
EP3059664A1 (en) A method for controlling a device by gestures and a system for controlling a device by gestures
CN115393427A (zh) 一种相机位姿的确定方法、装置、计算机设备和存储介质
JP2023026123A (ja) 人体姿勢検出方法、装置及びデータ処理装置
CN115981492A (zh) 三维笔迹生成方法、设备及系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190122

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200203

Year of fee payment: 5