KR101229088B1 - Ｌｅｄ 조명을 이용한 적외선 카메라에 의한 거리 측정 및 손 동작 추적 장치 및 방법 - Google Patents

Ｌｅｄ 조명을 이용한 적외선 카메라에 의한 거리 측정 및 손 동작 추적 장치 및 방법 Download PDF

Info

Publication number
KR101229088B1
KR101229088B1 KR1020110011161A KR20110011161A KR101229088B1 KR 101229088 B1 KR101229088 B1 KR 101229088B1 KR 1020110011161 A KR1020110011161 A KR 1020110011161A KR 20110011161 A KR20110011161 A KR 20110011161A KR 101229088 B1 KR101229088 B1 KR 101229088B1
Authority
KR
South Korea
Prior art keywords
image
variable
hand
motion
skin
Prior art date
Application number
KR1020110011161A
Other languages
English (en)
Other versions
KR20120090630A (ko
Inventor
이찬수
천성용
Original Assignee
영남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 영남대학교 산학협력단 filed Critical 영남대학교 산학협력단
Priority to KR1020110011161A priority Critical patent/KR101229088B1/ko
Publication of KR20120090630A publication Critical patent/KR20120090630A/ko
Application granted granted Critical
Publication of KR101229088B1 publication Critical patent/KR101229088B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Abstract

동작 검출 장치는 동작 변수 및 시점 변수에 상응하는 명령어 코드를 저장하는 저장부, 사용자의 손을 촬영하여 적외선 영상으로부터 피부 검출과 거리 측정을 바탕으로 손에 대한 촬영 이미지를 생성하는 카메라부, 상기 촬영 이미지에 포함된 상기 손의 윤곽선을 포함하는 윤곽선 이미지를 생성하는 윤곽선 검출부 및 상기 윤곽선 이미지에 상응하는 상기 동작 변수 및 상기 시점 변수를 산출하고, 산출된 상기 동작 변수 및 상기 시점 변수에 상응하는 명령어 코드를 상기 저장부로부터 추출하는 패턴 검출부를 포함한다.

Description

ＬＥＤ 조명을 이용한 적외선 카메라에 의한 거리 측정 및 손 동작 추적 장치 및 방법{APPARATUS AND METHOD FOR MEASURING 3D DEPTH BY AN INFRARED CAMERA USING LED LIGHTING AND TRACKING HAND MOTION}
본 발명은 단일 적외선 카메라와 파장이 다른 LED 조명의 조합을 이용하여 거리 측정하는 방법과 동작 검출에 관련된 것으로, 보다 자세하게는 피부 검출을 바탕으로 한 거리 측정과 손의 움직임과 손 모양의 변화를 검출하는 기술에 관한 것이다.
수많은 전자제품을 조작하기 위해 다양한 입력 방식이 이용되고 있다. 대표적인 입력 방식으로는 버튼, 터치스크린을 통한 입력 방식이 있다. 하지만 버튼, 터치스크린은 전자제품 또는 리모트 컨트롤러에 장착되어, 사용자가 직접 버튼과 터치스크린을 누르거나 터치해야 하는 불편한 점이 있다.
이에 따라, 새로운 입력 방식인 사람의 신체 움직임을 감지하여, 감지된 움직임의 형태에 따라 입력을 수행하는 방식이 제안되었다.
사람의 신체 중 손은 다양한 움직임을 표현할 수 있다. 따라서, 손의 움직임을 정확하게 감지한다면 손의 움직임만으로 다양한 입력을 수행할 수 있다.하지만, 손은 다양한 움직임을 표현할 수 있는 반면 그 형태가 복잡하여 일반적인 움직임 인식 알고리즘으로는 정확하게 인식되기 어려운 문제점이 있다.
일반적인 손을 감지하는 방법은 모델 기반 검출 방법이 있다. 모델 기반 방법은 손의 형상을 한 3D 또는 2D cardboard 모델과 실제 손을 촬영한 형상을 비교하여 실제 손을 촬영한 형상과 가장 유사한 모델을 선정하여, 사용자의 손의 모양을 손 모델의 형태로 추측하는 방법이다. 하지만 모델 기반 검출 방법은 계산 복잡도가 상당히 높아 실시간으로 동작 검출하기 어려운 점이 있다.
또한 손의 피부색을 이용하여 손을 검출하는 방법이 있으나, 피부색은 조명에 영향을 많이 받기 때문에 환경에 따라 변동이 커서 손을 검출하기 어려운 점이 있다.
본 발명은 적외선 LED 조명을 이용한 피부 검출과 LED 조명의 세기 조절을 통한 단일 적외선 카메라를 이용한 거리 측정과 이를 바탕으로 한 효과적인 손검출 방법, 또한 검출된 손에서 정확한 손모양을 추적하고 인식하는 동작 검출 장치를 제공하고자 한다.
본 발명의 일 측면에 따르면, 동작 변수 및 시점 변수에 상응하는 명령어 코드를 저장하는 저장부; 사용자의 손을 촬영하여 촬영 이미지를 생성하는 카메라부; 상기 촬영 이미지에 포함된 상기 손의 윤곽선을 포함하는 윤곽선 이미지를 생성하는 윤곽선 검출부; 및 상기 윤곽선 이미지에 상응하는 상기 동작 변수 및 상기 시점 변수를 산출하고, 산출된 상기 동작 변수 및 상기 시점 변수에 상응하는 명령어 코드를 상기 저장부로부터 추출하는 패턴 검출부를 포함하는 동작 검출 장치가 제공된다.
상기 패턴 검출부는 상기 명령어 코드를 외부 장치로 전송하여, 상기 외부 장치가 상기 명령어 코드에 따라 동작하도록 제어할 수 있다.
상기 패턴 검출부는 상기 윤곽선 이미지에 상응하는 원통형 좌표계 좌표를 산출하고, 상기 원통형 좌표계 좌표를 상기 동작 변수 및 상기 시점 변수로 변환할 수 있다.
상기 카메라부는 파장이 상이한 적외선에 대한 반사광을 감지하여 제1 피부 검출 이미지 및 제2 피부 검출 이미지를 생성하고, 상기 동작 검출 장치는 상기 제1 피부 검출 이미지와 상기 제2 피부 검출 이미지 간의 픽셀 값 차이가 미리 지정된 값 이상인 픽셀에 상응하는 좌표를 포함하는 피부 영역 정보를 생성하는 피부 검출부; 및 상기 피부 영역 정보에 상응하는 각 픽셀 중 픽셀 값이 미리 지정된 범위에 해당하는 픽셀에 좌표에 상응하는 좌표를 포함하는 손 영역 정보를 생성하는 거리 검출부를 더 포함할 수 있다.
상기 카메라부는 미리 지정된 제1 파장의 적외선을 투사하는 제1 조명모듈; 및 미리 지정된 제2 파장의 적외선을 투사하는 제2 조명모듈를 포함할 수 있다.
상기 윤곽선 검출부는 상기 촬영 이미지에서 상기 손 영역 정보에 상응하는 좌표에 해당하는 픽셀을 추출하고, 추출한 픽셀을 포함하는 상기 윤곽선 이미지를 생성할 수 있다.
본 발명의 다른 측면에 따르면, 동작 검출 장치가 사용자의 손의 동작을 검출하는 방법에 있어서, 사용자의 손을 촬영하여 촬영 이미지를 생성하는 단계; 상기 촬영 이미지에 포함된 상기 손의 윤곽선을 포함하는 윤곽선 이미지를 생성하는 단계; 상기 윤곽선 이미지에 상응하는 상기 동작 변수 및 상기 시점 변수를 산출하는 단계; 미리 저장된 명령어 코드 중 상기 동작 변수 및 상기 시점 변수에 상응하는 명령어 코드를 추출하는 단계를 포함하는 동작 검출 방법이 제공된다.
상기 동작 검출 방법은 상기 명령어 코드를 외부 장치로 전송하여, 상기 외부 장치가 상기 명령어 코드에 따라 동작하도록 제어하는 단계를 더 포함할 수 있다.
상기 동작 변수 및 상기 시점 변수를 산출하는 단계는 상기 윤곽선 이미지에 상응하는 원통형 좌표계 좌표를 산출하는 단계; 및 상기 원통형 좌표계 좌표를 상기 동작 변수 및 상기 시점 변수로 변환하는 단계를 포함할 수 있다.
상기 동작 검출 방법은 파장이 상이한 적외선에 대한 반사광을 감지하여 제1 피부 검출 이미지 및 제2 피부 검출 이미지를 생성하는 단계; 상기 제1 피부 검출 이미지와 상기 제2 피부 검출 이미지 간의 픽셀 값 차이가 미리 지정된 값 이상인 픽셀에 상응하는 좌표를 포함하는 피부 영역 정보를 생성하는 단계; 상기 피부 영역 정보에 상응하는 각 픽셀 중 픽셀 값이 미리 지정된 범위에 해당하는 픽셀에 좌표에 상응하는 좌표를 포함하는 손 영역 정보를 생성하는 단계를 더 포함할 수 있다.
상기 윤곽선 이미지를 생성하는 단계는 상기 촬영 이미지에서 상기 손 영역 정보에 상응하는 좌표에 해당하는 픽셀을 추출하는 단계; 및 추출한 상기 픽셀을 포함하는 상기 윤곽선 이미지를 생성하는 단계를 포함할 수 있다.
본 발명의 실시 예에 의하면, 손목의 회전과 같이 시점이 변하는 복잡한 손의 움직임을 정확하게 인식할 수 있는 효과가 있다.
또한 본 발명의 실시 예에 의하면, 단일 적외선 카메라를 이용하여 거리 정보를 측정하고, 거리 정보를 이용하여 손을 정확하게 검출할 수 있는 효과가 있다.
도 1은 동작 검출 장치를 간략히 예시한 블록도.
도 2는 동작 검출 장치의 저장부에 저장된 동작 변수 및 시점 변수에 상응하는 샘플 이미지를 예시한 도면.
도 3은 동작 검출 장치가 사용자의 손가락의 동작을 검출하는 방법을 예시한 순서도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소로 신호를 "전송한다"로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되어 신호를 전송할 수 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 신호를 전송할 수도 있다고 이해되어야 할 것이다.
도 1은 동작 검출 장치를 간략히 예시한 블록도이다.
도 1을 참조하면, 동작 검출 장치는 카메라부(110), 윤곽선 검출부(120), 저장부(130) 및 패턴 검출부(140)를 포함한다.
카메라부(110)는 사용자의 손을 촬영하여 이미지를 생성하는 카메라이다. 이 때, 카메라부(110)는 조명의 밝기가 변하는 환경 및 어두운 환경에서도 효과적인 인식을 위하여 적외선 카메라일 수 있다. 또한 카메라부(110)는 구현 방법에 따라 가시광 영역을 촬영하는 일반 카메라일 수 있다. 카메라부(110)는 생성한 이미지를 윤곽선 검출부(120)로 전송한다.
카메라부(110)는 피부영역 및 거리정보를 산출하기 위해 부가적인 촬영을 수행한다. 이하 도 2를 참조하여 카메라부(110)에서 부가적인 촬영 과정을 설명하도록 한다. 카메라부(110)는 적외선을 투사하는 제1 조명모듈(111) 및 제2 조명모듈(112)를 포함한다. 제1 조명모듈(111) 및 제2 조명모듈(112)는 각각의 미리 정해진 파장의 적외선을 투사할 수 있다. 예를 들어, 제1 조명모듈(111)은 파장이
Figure 112011009002018-pat00001
인 적외선을 투사하고, 카메라부(110)는 반사된 적외선을 감지하여 제1 피부 검출 이미지를 생성한다. 이어서, 제2 조명모듈(112)은 파장이
Figure 112011009002018-pat00002
인 적외선을 투사하고, 카메라부(110)는 반사된 적외선을 감지하여 제2 피부 검출 이미지를 생성한다. 카메라부(110)는 제1 피부 검출 이미지 및 제2 피부 검출 이미지를 피부 검출부(114)로 전송한다.
피부 검출부(114)는 카메라부(110)로부터 수신한 제1 피부 검출 이미지 및 제2 피부 검출 이미지의 픽셀 차이에 따라 피부에 해당하는 영역을 검출한다. 피부는 적외선 파장이 변할 경우, 반사율의 변화가 다른 매질에 비해 크다. 따라서, 피부 검출부(114)는 제1 피부 검출 이미지의 각 픽셀로부터 해당 픽셀의 좌표에 대응하는 제2 피부 검출 이미지의 픽셀을 차감한 값을 산출한다. 피부 검출부(114)는 차감한 값이 지정된 수치 이상인 좌표들을 피부에 해당하는 영역으로 선정한다. 피부 검출부(114)는 제1 피부 검출 이미지 또는 제2 피부 검출 이미지와 피부에 해당하는 각 픽셀의 좌표를 포함하는 피부 영역 정보를 거리 검출부(117)로 전송한다.
거리 검출부(117)는 제1 피부 검출 이미지 또는 제2 피부 검출 이미지에서 피부 영역 정보에 포함된 각 좌표에 해당하는 픽셀들에 대해 거리를 검출한다. 각 픽셀 i에서 검출되는 적외선 영상의 밝기 li에 대하여 다음의 관계로 성립한다.
[수학식 1]
Figure 112011009002018-pat00003
수학식 1에 의하면, 각 픽셀 i에 밝기 li는 반사율
Figure 112011009002018-pat00004
와 시간 t에서의 조명의 밝기 Lt에 비례하고 픽셀 i의 거리 ri에 반비례한다. 즉 조명의 밝기가 밝을수록 카메라에 가깝고, 카메라에서 멀어질수록 밝기가 어두워진다. 따라서, 거리 검출부(117)는 피부에 해당하는 각 픽셀 중 그 값이 미리 지정된 범위에 해당하는 픽셀을 추출한다. 거리 검출부(117)는 추출한 픽셀들에 상응하는 좌표를 포함하는 손 영역 정보를 생성하여 윤곽선 검출부(120)로 전송한다.
윤곽선 검출부(120)는 거리 검출부(117)로부터 수신한 손 영역 정보에 따라 카메라부(110)로부터 수신한 이미지에서 손에 해당하는 영역만을 추출한 윤곽선 이미지를 생성한다. 윤곽선 검출부(120)는 윤곽선 이미지를 패턴 검출부(140)로 전송한다.
저장부(130)는 하나 이상의 포즈를 취한 손을 하나 이상의 시점에서 촬영한 샘플 이미지에 상응하는 원통 좌표계 상의 좌표에 상응하는 동작 변수 및 시점 변수를 저장한다. 또한 저장부(130)는 각 동작 변수 및 시점 변수의 조합에 상응하는 명령어 코드를 저장한다. 명령어 코드는 외부 장치에서 지정된 동작을 지시하는 코드이다.
패턴 검출부(140)는 윤곽선 검출부(120)로부터 윤곽선에 상응하는 명령어 코드를 저장부(130)에서 추출하여 외부로 출력한다. 패턴 검출부(140)는 윤곽선 이미지로부터 시점 변수 및 동작 변수를 산출하고, 산출된 시점 변수 및 동작 변수에 매칭되는 명령어 코드를 저장부(130)로부터 추출할 수 있다. 이 때, 시점 변수는 윤곽선 이미지에 나타난 손의 방향을 나타내는 값이고, 동작 변수는 윤곽선 이미지에 나타난 손의 모양을 나타내는 값이다.
이하 패턴 검출부(140)가 윤곽선 이미지를 이용하여 시점 변수 및 동작 변수를 생성하는 과정에 대해 설명하도록 한다.
우선 패턴 검출부(140)는 윤곽선 이미지를 칼럼(column) 누적하여 크기가 n(미리 정해진 상수)인 행렬(이하 누적 행렬이라 지칭)로 나타낸다. 예를 들어, 패턴 검출부(140)는 가로 4 픽셀, 세로 3픽셀인 윤곽선 이미지에서 각각의 행을 차례대로 누적하여 1 x 12의 누적 행렬을 산출한다.
패턴 검출부(140)는 누적 행렬을 하기의 수학식 2에 적용하여 원통형 좌표계 상의 좌표를 산출한다.
[수학식 2]
Figure 112011009002018-pat00005
Figure 112011009002018-pat00006

이 때, B는 커널 공간
Figure 112011009002018-pat00007
에서 미리 지정된 프로젝션 계수이고, j는 윤곽선 이미지의 누적 행렬이고. S-1은 SVD(singular value decomposition)에 따라 산출된 프로젝션 계수 B에 대한 의사역행렬이다.
Figure 112011009002018-pat00008
는 각 샘플 이미지를 원통형 좌표계 좌표이고,
Figure 112011009002018-pat00009
는
Figure 112011009002018-pat00010
를 최소화하는 추정된 촬영한 이미지에 대한 원통 좌표계 좌표이다. B에 대하여 singular value decomposition(SVD)를 적용하면 아래식과 같이 메트릭스를 분리할 수 있으며, 이렇게 분리된 메트릭스에 대하여 두개의 orthonormal 한 행렬이 각각 U, V이다. S는 diagonal에만 값을 가지는 매트릭스이며 S의 역함수는 diagonal 항목에서 0을 제외한 값에 대하여 역수값, 즉 값이 x라면 1/x의 값을 가지는 함수이다.
패턴 검출부(140)는 산출한 원통형 좌표계 좌표
Figure 112011009002018-pat00011
를 하기의 수학식 3에 적용하여 시점 변수(Circular view variation) 및 동작 변수(Non-cyclic motion variation)를 산출한다. 이 때,
Figure 112011009002018-pat00012
는 3차원 좌표로써 (x, y, z)라고 가정한다.
[수학식 3]
Figure 112011009002018-pat00013
이 때, Ra 및 Rb는 미리 정해진 상수이고,
Figure 112011009002018-pat00014
는 시점 변수이고,
Figure 112011009002018-pat00015
는 동작 변수이다.
Figure 112011009002018-pat00016
및
Figure 112011009002018-pat00017
는 0 이상 1 이하의 실수일 수 있다.
이 때, 패턴 검출부(140)는 산출한 원통형 좌표계의 좌표가 하기의 수학식 4 및 수학식 5의 조건을 만족하는 경우에만 상술한 수학식 3에 따른 시점 변수 및 동작 변수를 산출 이후의 과정을 바로 수행한다. 즉, 패턴 검출부(140)는 수학식 4를 만족하지 않는 윤곽선 이미지의 원통형 좌표계 좌표가 산출되는 경우, 윤곽선 이미지의 원통형 좌표계 좌표 (x, y, z)에 대해 x 및 y 각각의 제곱을 합한 값의 제곱근(Rest)를 산출한다. 패턴 검출부(140)는 x 및 y에 Ra/Rest를 곱하여, (x*Ra/Rest , y*Ra/Rest, z)를 산출한다. 이후 패턴 검출부(140)는 산출된 좌표 (x*Ra/Rest , y*Ra/Rest , z)에 따른 시점 변수 및 동작 변수를 산출한다.
패턴 검출부(140)는 수학식 5를 만족하지 않는 윤곽선 이미지의 원통형 좌표계 좌표가 산출되는 경우, 저장부(130)에 저장된 각 샘플 이미지에 상응하는 원통형 좌표계의 좌표 중 윤곽선 이미지의 원통형 좌표계 좌표와 가장 가까운 좌표로 근사화될 수 있다. 이후 패턴 검출부(140)는 근사화된 좌표에 따른 시점 변수 및 동작 변수를 산출할 수 있다.
[수학식 4]
Figure 112011009002018-pat00018

[수학식 5]
Figure 112011009002018-pat00019
패턴 검출부(140)는 산출된 시점 변수 및 동작 변수에 상응하는 명령어 코드를 저장부(130)로 질의한다. 패턴 검출부(140)는 저장부(130)로부터 명령어 코드를 수신받아 외부로 출력한다.
패턴 검출부(140)로부터 수신한 해당 명령어 코드에 따라 외부 장치는 동작을 수행할 수 있다. 즉, 동작 검출 장치는 사용자의 손을 촬영하여 생성한 이미지를 분석하여, 손의 모양 및 움직임에 상응하는 명령어 코드를 외부 장치로 출력한다. 예를 들어, 사용자가 TV 채널의 변경을 위한 미리 지정된 형태로 손을 움직이면, 동작 검출 장치는 사용자의 손을 촬영하여 이미지를 생성하고, 생성한 이미지에 상응하는 윤곽선 이미지를 생성한다. 동작 검출 장치는 윤곽선 이미지의 칼럼을 누적하여 누적 행렬을 생성하고, 누적 행렬에 상응하는 원통형 좌표계 좌표를 산출한다. 동작 검출 장치는 원통형 좌표계 좌표에 상응하는 시점 변수 및 동작 변수를 산출한다. 동작 검출 장치는 산출된 시점 변수 및 동작 변수에 상응하는 채널 변경을 위한 명령어 코드를 저장부(130)로부터 추출하고 텔레비전으로 전송한다. 텔레비전은 명령어 코드에 따라 채널을 변경할 수 있다.
도 2는 동작 검출 장치의 저장부에 저장된 동작 변수 및 시점 변수에 상응하는 샘플 이미지를 예시한 도면이다.
도 2를 참조하면, 동작 검출 장치의 저장부(130)에 저장된 동작 변수 및 시점 변수는 도 2에 예시된 바와 같이 시점과 손의 모양이 상이한 복수의 샘플 이미지 각각에 상응하도록 산출된 동작 변수 및 시점 변수이다. 즉, 도 2에 예시된 시점 및 모양이 상이한 윤곽선 이미지인 샘플 이미지 각각에 대해 동작 변수 및 시점 변수가 매칭될 수 있다.
복수의 샘플 이미지로부터 동작 변수 및 시점 변수를 산출하는 과정은 공지의 기술로써, 이하 간략히 설명하도록 한다.
도 2에 예시된 각 샘플 이미지는 정규화되어 크기가
Figure 112011009002018-pat00020
인 2차원 배열로 표현될 수 있다. 2차원 배열을 칼럼 누적에 의하여 나타낸 값을 크기가
Figure 112011009002018-pat00021
인 1차원 벡터로 나타낼 수 있고, 이 벡터를 J라고 가정하도록 한다. 각 샘플 이미지에 상응하는 벡터를
Figure 112011009002018-pat00022
라고 가정하면, k개의 샘플 이미지 각 샘플에 대응하는 시점 변수 u와 동작변수 v가 주어진다면, u, 와 v를 바탕으로 원통형 좌표계의 좌표 (x,y,z)가 하기의 수학식 6에 의하여 산출될 수 있다.
[수학식 6]
Figure 112011009002018-pat00023

원통형 좌표계의 좌표와 이미지 쌍에 대하여, 공지의 기술인 비선형 관계를 Generalized Radial Basis Function(GRBF)이나 또는 이와 유사한 비선형 매핑 함수를 학습하여 실린더형 임베딩 공간과 주어진 이미지 사이의 관계를 배울 수있다. GRBF의 경우에 손모양 샘플의 각 요소에 대하여 수학식 7과 같은 형태의 매핑 함수를 배울 수 있으며, 매핑 함수의 누적에 의하여 수식 8과 같은 메트릭스가 산출될 수 있다.
[수학식 7]
Figure 112011009002018-pat00024

[수학식 8]
Figure 112011009002018-pat00025

이 때, 수식 5 및 6의 e는 원통형 좌표계의 점인 수학식 4의 (x, y, z)를 의미한다. 또한 B는 매핑 매개변수 B로써 φ() 커널공간에서 프로젝션 계수이다. ei는 i번째의 학습데이터에 대한 원통형 좌표계 좌표이며, wi k는 각 학습 데이터와 이에 대한 임베딩 좌표에 대한 쌍에 따른 i번째 학습데이터에 대한 k 번째 픽셀값을 위한 가중치이다.
수학식 7에 따른 행렬 f(e)에 따라 원통형 좌표계상의 임베딩 공간이 설정될 수 있고, 동작 검출 장치의 저장부(130)는 f(e)에 포함되는 각 원통형 좌표계 좌표와 각 좌표에 상응하는 시점 변수 및 동작 변수, 각 시점 변수 및 동작 변수의 조합에 따른 명령어 코드를 저장한다. 따라서, 저장부(130)는 패턴 검출부(140)의 요청에 따라 시점 변수 및 동작 변수에 대한 명령어 코드를 검색하여 제공할 수 있다.
도 3은 동작 검출 장치가 사용자의 손가락의 동작을 검출하는 방법을 예시한 순서도이다.
도 3을 참조하면, 단계 310에서 동작 검출 장치는 사용자의 손을 촬영하여 이미지를 생성한다. 예를 들어, 동작 검출 장치는 카메라부(110)를 통해 사용자의 손을 촬영하여 하나 이상의 이미지를 생성한다.
단계 320에서 동작 검출 장치는 단계 310에서 생성한 이미지에서 윤곽선을 검출하여 윤곽선 이미지를 생성한다.
단계 330에서 동작 검출 장치는 윤곽선 이미지에 따른 시점 변수 및 동작 변수를 산출한다. 윤곽선 이미지에서 시점 변수 및 동작 변수를 산출하는 과정은 수학식 2 및 수학식 3을 참조하여 상술하였듯이, 윤곽선 이미지로부터 원통형 좌표계 좌표를 산출하고, 원통형 좌표계 좌표를 시점 변수 및 동작 변수로 변환하는 과정일 수 있다.
윤곽선 이미지에 대한 시점 변수와 동작 변수를 산출하는 수식은 기본적으로 두개의 대표 손모양에 사이의 연속적인 변화에 대하여 동작변수의 변화를 바탕으로 표현하며, 이러한 대표 손모양이 여러 개인 경우에는 각쌍의 두개의 손모양에 대하여 제안된 방법을 적용함으로 다중 손모양에 대하여 확장 가능하다.
단계 340에서 동작 검출 장치는 시점 변수 및 동작 변수에 매칭되어 저장부(130)에 저장된 명령어 코드를 검색하여 추출한다. 이 때, 저장부(130)는 미리 시점 변수 및 동작 변수에 상응하는 명령어 코드를 저장할 수 있다.
단계 350에서 동작 검출 장치는 추출한 명령어 코드를 외부로 출력한다. 예를 들어, 동작 검출 장치가 텔레비전과 연결되고, 동작 검출 장치가 사용자의 손가락의 동작에 따른 명령어 코드를 텔레비전으로 전송하면, 텔레비전은 해당 명령어 코드에 따른 동작을 수행한다. 이 때, 동작 검출 장치는 동작 검출 장치와 연결되는 외부 장치에서 지정된 명령어 코드일 수 있다.
이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았다. 전술한 실시 예 외의 많은 실시 예들이 본 발명의 특허청구범위 내에 존재한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (11)

  1. 동작 변수 및 시점 변수에 상응하는 명령어 코드를 저장하는 저장부;
    사용자의 손을 촬영하여 촬영 이미지를 생성하는 카메라부;
    상기 촬영 이미지에 포함된 상기 손의 윤곽선을 포함하는 윤곽선 이미지를 생성하는 윤곽선 검출부; 및
    상기 윤곽선 이미지에 상응하는 상기 동작 변수 및 상기 시점 변수를 산출하고, 산출된 상기 동작 변수 및 상기 시점 변수에 상응하는 명령어 코드를 상기 저장부로부터 추출하는 패턴 검출부
    를 포함하되,
    상기 카메라부는 파장이 상이한 적외선에 대한 반사광을 감지하여 제1 피부 검출 이미지 및 제2 피부 검출 이미지를 생성하고,
    상기 제1 피부 검출 이미지와 상기 제2 피부 검출 이미지 간의 픽셀 값 차이가 미리 지정된 값 이상인 픽셀에 상응하는 좌표를 포함하는 피부 영역 정보를 생성하는 피부 검출부; 및
    상기 피부 영역 정보에 상응하는 각 픽셀 중 픽셀 값이 미리 지정된 범위에 해당하는 픽셀에 좌표에 상응하는 좌표를 포함하는 손 영역 정보를 생성하는 거리 검출부를 더 포함하는 동작 검출 장치.
  2. 제1 항에 있어서,
    상기 패턴 검출부는 상기 명령어 코드를 외부 장치로 전송하여, 상기 외부 장치가 상기 명령어 코드에 따라 동작하도록 제어하는 것을 특징으로 하는 동작 검출 장치.
  3. 제1 항에 있어서,
    상기 패턴 검출부는 상기 윤곽선 이미지에 상응하는 원통형 좌표계 좌표를 산출하고, 상기 원통형 좌표계 좌표를 상기 동작 변수 및 상기 시점 변수로 변환하는 것을 특징으로 하는 동작 검출 장치.
  4. 삭제
  5. 제1 항에 있어서,
    상기 카메라부는
    미리 지정된 제1 파장의 적외선을 투사하는 제1 조명모듈; 및
    미리 지정된 제2 파장의 적외선을 투사하는 제2 조명모듈를 포함하는 것을 특징으로 하는 동작 검출 장치.
  6. 제1 항에 있어서,
    상기 윤곽선 검출부는 상기 촬영 이미지에서 상기 손 영역 정보에 상응하는 좌표에 해당하는 픽셀을 추출하고, 추출한 픽셀을 포함하는 상기 윤곽선 이미지를 생성하는 것을 특징으로 하는 동작 검출 장치.
  7. 동작 검출 장치가 사용자의 손의 동작을 검출하는 방법에 있어서,
    사용자의 손을 촬영하여 촬영 이미지를 생성하는 단계;
    파장이 상이한 적외선에 대한 반사광을 감지하여 제1 피부 검출 이미지 및 제2 피부 검출 이미지를 생성하는 단계;
    상기 제1 피부 검출 이미지와 상기 제2 피부 검출 이미지 간의 픽셀 값 차이가 미리 지정된 값 이상인 픽셀에 상응하는 좌표를 포함하는 피부 영역 정보를 생성하는 단계;
    상기 피부 영역 정보에 상응하는 각 픽셀 중 픽셀 값이 미리 지정된 범위에 해당하는 픽셀에 좌표에 상응하는 좌표를 포함하는 손 영역 정보를 생성하는 단계;
    상기 손 영역 정보에 따라 상기 촬영 이미지에 포함된 상기 손의 윤곽선을 포함하는 윤곽선 이미지를 생성하는 단계;
    상기 윤곽선 이미지에 상응하는 동작 변수 및 시점 변수를 산출하는 단계; 및
    미리 저장된 명령어 코드 중 상기 동작 변수 및 상기 시점 변수에 상응하는 명령어 코드를 추출하는 단계
    를 포함하는 동작 검출 방법.
  8. 제7 항에 있어서,
    상기 명령어 코드를 외부 장치로 전송하여, 상기 외부 장치가 상기 명령어 코드에 따라 동작하도록 제어하는 단계를 더 포함하는 동작 검출 방법.
  9. 제7 항에 있어서,
    상기 동작 변수 및 상기 시점 변수를 산출하는 단계는
    상기 윤곽선 이미지에 상응하는 원통형 좌표계 좌표를 산출하는 단계; 및
    상기 원통형 좌표계 좌표를 상기 동작 변수 및 상기 시점 변수로 변환하는 단계를 포함하는 것을 특징으로 하는 동작 검출 방법.

  10. 삭제
  11. 제7 항에 있어서,
    상기 윤곽선 이미지를 생성하는 단계는
    상기 촬영 이미지에서 상기 손 영역 정보에 상응하는 좌표에 해당하는 픽셀을 추출하는 단계; 및
    추출한 상기 픽셀을 포함하는 상기 윤곽선 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 동작 검출 방법.
KR1020110011161A 2011-02-08 2011-02-08 Ｌｅｄ 조명을 이용한 적외선 카메라에 의한 거리 측정 및 손 동작 추적 장치 및 방법 KR101229088B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110011161A KR101229088B1 (ko) 2011-02-08 2011-02-08 Ｌｅｄ 조명을 이용한 적외선 카메라에 의한 거리 측정 및 손 동작 추적 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110011161A KR101229088B1 (ko) 2011-02-08 2011-02-08 Ｌｅｄ 조명을 이용한 적외선 카메라에 의한 거리 측정 및 손 동작 추적 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120090630A KR20120090630A (ko) 2012-08-17
KR101229088B1 true KR101229088B1 (ko) 2013-02-01

Family

ID=46883657

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110011161A KR101229088B1 (ko) 2011-02-08 2011-02-08 Ｌｅｄ 조명을 이용한 적외선 카메라에 의한 거리 측정 및 손 동작 추적 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101229088B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101393570B1 (ko) 2012-12-28 2014-05-27 현대자동차 주식회사 선택적 조명을 이용한 손 제스처 인식 방법 및 시스템
KR102041191B1 (ko) * 2014-03-03 2019-11-06 한국전자통신연구원 손 동작 인식 방법 및 장치
KR102095098B1 (ko) * 2018-02-14 2020-03-30 전자부품연구원 안정적 손 제스처 검출을 위한 스테레오 거리정보 기반 ir 광원 조사 감도 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040042002A (ko) * 2002-11-12 2004-05-20 한국과학기술원 소그룹 기반 분류에 의한 수신호 인식 방법 및 이를기록한 기록매체
KR20080014283A (ko) * 2006-08-10 2008-02-14 삼성전자주식회사 생체 정보 측정 장치
KR20080029730A (ko) * 2006-09-29 2008-04-03 김철우 손의 움직임 인식을 이용한 사용자인터페이스 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040042002A (ko) * 2002-11-12 2004-05-20 한국과학기술원 소그룹 기반 분류에 의한 수신호 인식 방법 및 이를기록한 기록매체
KR20080014283A (ko) * 2006-08-10 2008-02-14 삼성전자주식회사 생체 정보 측정 장치
KR20080029730A (ko) * 2006-09-29 2008-04-03 김철우 손의 움직임 인식을 이용한 사용자인터페이스 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이찬수 외3명, 모바일 카메라 기기를 이용한 손 제스처 인터페이스, 컴퓨팅의 실제 및 레터 제16권 제5호, 2010.5. *

Also Published As

Publication number Publication date
KR20120090630A (ko) 2012-08-17

Similar Documents

Publication Publication Date Title
EP3284011B1 (en) Two-dimensional infrared depth sensing
CN104808795B (zh) 一种增强现实眼镜的手势识别方法及增强现实眼镜系统
Berman et al. Sensors for gesture recognition systems
US9041775B2 (en) Apparatus and system for interfacing with computers and other electronic devices through gestures by using depth sensing and methods of use
CN106156778B (zh) 用于识别机器视觉系统的视野中的已知对象的方法
US20140037135A1 (en) Context-driven adjustment of camera parameters
US10803616B1 (en) Hand calibration using single depth camera
US10706584B1 (en) Hand tracking using a passive camera system
KR20120045667A (ko) 움직임 인식을 이용한 사용자 인터페이스 장치 및 방법
KR101612605B1 (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
KR102369989B1 (ko) 적외선 이미징을 사용한 색상 식별
WO2020044180A2 (en) Method and system for gaze estimation
EP2894851B1 (en) Image processing device, image processing method, program, and computer-readable storage medium
CN105892633A (zh) 手势识别方法及虚拟现实显示输出设备
JP2019164842A (ja) 人体行動分析方法、人体行動分析装置、機器及びコンピュータ可読記憶媒体
WO2018235198A1 (ja) 情報処理装置、制御方法、及びプログラム
CN111259755A (zh) 数据关联方法、装置、设备及存储介质
KR101229088B1 (ko) Ｌｅｄ 조명을 이용한 적외선 카메라에 의한 거리 측정 및 손 동작 추적 장치 및 방법
CN105892637A (zh) 手势识别方法及虚拟现实显示输出设备
Ruchay et al. Accuracy analysis of 3D object reconstruction using RGB-D sensor
KR102041191B1 (ko) 손 동작 인식 방법 및 장치
KR102173608B1 (ko) 제스처 기반 nui를 이용한 조명효과 제어 시스템 및 방법
JP6311461B2 (ja) 視線分析システムおよび視線分析装置
Periverzov et al. 3D Imaging for hand gesture recognition: Exploring the software-hardware interaction of current technologies
Li et al. Robust depth camera based multi-user eye tracking for autostereoscopic displays

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151230

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170123

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee