KR101156547B1 - 알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법 - Google Patents
알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법 Download PDFInfo
- Publication number
- KR101156547B1 KR101156547B1 KR1020100138588A KR20100138588A KR101156547B1 KR 101156547 B1 KR101156547 B1 KR 101156547B1 KR 1020100138588 A KR1020100138588 A KR 1020100138588A KR 20100138588 A KR20100138588 A KR 20100138588A KR 101156547 B1 KR101156547 B1 KR 101156547B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- depth
- algibi
- camera
- face
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 얼굴 및 손에 대한 이미지를 각각 포함하고 있는 알지비 이미지와 깊이 이미지로부터, 얼굴 및 손에 정보를 포함하는 매칭 이미지를 생성하는 알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법을 개시(introduce)한다. 상기 알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법은, 이미지 생성단계, 제1차 위치보정 단계 및 매칭단계를 포함한다. 상기 이미지 생성단계는 대상물체에 대하여 알지비(RGB) 이미지 및 깊이(depth) 이미지를 생성한다. 상기 제1차 위치보정 단계는 삼각기법을 이용하여 알지비 카메라와 깊이 카메라의 간격에 따른 상기 알지비 이미지와 상기 깊이 이미지의 위치를 보정한다. 상기 매칭단계는 상기 알지비 이미지 및 상기 깊이 이미지를 상기 대상물체에 포함된 특정 부위에 대하여 매칭시킨다.
Description
본 발명은 얼굴 및 손 탐색 방법에 관한 것으로, 특히 알지비 이미지 및 깊이 이미지를 이용하여 얼굴 및 손을 탐색하는 방법에 관한 것이다.
일반 카메라로 촬영한 영상을 알지비 이미지(RGB image)라고 할 때 촬영의 대상이 되는 물체와 깊이 카메라 사이의 거리를 표현하는 이미지를 깊이 이미지(depth image)하고 한다. 깊이 이미지는 깊이 카메라와 대상 물체와의 거리에 따라서 밝기를 다르게 함으로써 거리를 표현한다. 깊이 이미지는 카메라의 종류에 따라서 가까울수록 밝을 수도 있고, 멀수록 밝을 수도 있다.
알지비 이미지와 깊이 이미지는 고유의 정보를 포함하고 있으므로 각각에 할당된 적합한 기능이 있다. 특히 깊이 이미지는 객체의 인식이나 움직임 등을 측정하기에 유용하기 때문에, 게임기나 등에 활용될 수 있다. 그러나 깊이 이미지에서 사람의 얼굴이나 손을 인식하는 것은 매우 어려우며, 사람의 몸 중심에 손이 포함되는 경우 사람의 손을 인식하는 것은 더 어렵다.
깊이 이미지는 깊이 이미지 기반 표현 3차원 객체 표현(Depth Image Based Representation, DIBR)에 유용하므로 깊이 이미지의 특정 부분을 추출해 내는 것은 상당히 의미 있는 일이다.
본 발명이 해결하고자 하는 기술적 과제는, 얼굴 및 손에 대한 이미지를 각각 포함하고 있는 알지비 이미지와 깊이 이미지로부터, 얼굴 및 손에 정보를 포함하는 매칭 이미지를 생성하는 알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법을 제공하는 것에 있다.
상기 기술적 과제를 이루기 위한 본 발명에 따른 알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법은, 이미지 생성단계, 제1차 위치보정 단계 및 매칭단계를 포함한다. 상기 이미지 생성단계는 대상물체에 대하여 알지비(RGB) 이미지 및 깊이(depth) 이미지를 생성한다. 상기 제1차 위치보정 단계는 삼각기법을 이용하여 알지비 카메라와 깊이 카메라의 간격에 따른 상기 알지비 이미지와 상기 깊이 이미지의 위치를 보정한다. 상기 매칭단계는 상기 알지비 이미지 및 상기 깊이 이미지를 상기 대상물체에 포함된 특정 부위에 대하여 매칭시킨다.
본 발명에서 생성하는 얼굴 및 손에 대한 알지비 이미지 및 깊이 이미지를 를 모두 포함하는 매칭 이미지는 깊이 이미지 기반 표현 3차원 객체 표현(Depth Image Based Representation, DIBR)에 유용하게 사용될 수 있다.
도 1은 본 발명에 따른 얼굴 및 손 탐색 방법에 사용되는 알지비 이미지 및 깊이 이미지를 나타낸다.
도 2는 본 발명에 따른 얼굴 및 손 탐색 방법에서 수행하는 제1차 위치보정단계를 설명한다.
도 3은 제1차 위치 보정단계가 적용되는 예를 나타낸다.
도 4는 본 발명에 따른 얼굴 및 손 탐색 방법에서 수행하는 제2차 위치보정단계 중 깊이 바이너리 이미지가 생성되는 과정을 나타낸다.
도 5는 본 발명에 따른 얼굴 및 손 탐색 방법에서 수행하는 제2차 위치보정단계 중 알지비 바이너리 이미지가 생성되는 과정을 나타낸다.
도 6은 2개의 정렬방법을 사용하여 정렬한 결과를 나타낸다.
도 7은 하르 라이크 피쳐스를 이용한 얼굴 추출 결과를 나타낸다.
도 8은 시프트를 이용하여 손을 추출한 결과를 나타낸다.
도 9는 여러 명의 사람이 하나의 화면에 존재하는 경우에 대한 예를 나타낸다.
도 2는 본 발명에 따른 얼굴 및 손 탐색 방법에서 수행하는 제1차 위치보정단계를 설명한다.
도 3은 제1차 위치 보정단계가 적용되는 예를 나타낸다.
도 4는 본 발명에 따른 얼굴 및 손 탐색 방법에서 수행하는 제2차 위치보정단계 중 깊이 바이너리 이미지가 생성되는 과정을 나타낸다.
도 5는 본 발명에 따른 얼굴 및 손 탐색 방법에서 수행하는 제2차 위치보정단계 중 알지비 바이너리 이미지가 생성되는 과정을 나타낸다.
도 6은 2개의 정렬방법을 사용하여 정렬한 결과를 나타낸다.
도 7은 하르 라이크 피쳐스를 이용한 얼굴 추출 결과를 나타낸다.
도 8은 시프트를 이용하여 손을 추출한 결과를 나타낸다.
도 9는 여러 명의 사람이 하나의 화면에 존재하는 경우에 대한 예를 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 예시적인 실시 예를 설명하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명에 따른 얼굴 및 손 탐색 방법에 사용되는 알지비 이미지 및 깊이 이미지를 나타낸다.
도 1을 참조하면, 왼쪽에 도시된 알지비 이미지에서 사람의 얼굴 위치(사각형)를 검출하고, 오른쪽에 도시된 깊이 이미지에서 검출한 사각형에 포함된 형상을 사람의 얼굴이라고 판단한다.
상술한 바와 같이, 본 발명에서는 깊이 이미지에서 사람의 얼굴 및 손을 추출하기 위하여, 알지비 이미지에서 추출한 사람의 얼굴 및 손에 대한 정보를 이용한다.
알지비 이미지를 생성하는 알지비 센서는 휴대폰, 노트북 등 다양한 IT 기기에서 널리 사용되고 있으며, 깊이 이미지와 알지비 이미지를 동시에 생성시키는 것이 일반적이다. 따라서 동일한 대상물체에 대하여 동시에 생성시킨 알지비 이미지와 깊이 이미지는 거의 동일하다고 할 수 있으므로 이를 화면으로 대응시키는 것이 가능하다.
그러나 알지비 카메라와 깊이 카메라는 서로 다르며, 이들을 서로 하나로 묶어서 이미지를 생성시킨다고 해도, 이들 사이의 거리 및 렌즈의 위치, 카메라의 길이 등에 따라 생성된 이미지가 정확하게 1대 1로 일치되지는 않는다.
본 발명에서는 이러한 오차를 보정하는 과정을 포함한다.
1차적으로는 삼각기법을 이용하여 2개의 카메라의 거리오차에 따른 위치를 보정하고, 필요한 경우 기타의 이유에 의한 오차를 2차적으로 보정한다.
도 2는 본 발명에 따른 얼굴 및 손 탐색 방법에서 수행하는 제1차 위치보정단계를 설명한다.
도 2를 참조하면, 본 발명에 따른 얼굴 및 손 탐색방법에서 수행하는 제1차 위치보정단계는 삼각기법을 이용하여 알지비 카메라로 깊이 카메라의 위치 특히 거리에 따른 오차를 보정한다.
알지비 이미지에서 구한 사람의 얼굴 및 손에 대한 정보를 깊이 이미지에 적용하기 위해서는, 하나의 물체가 두 이미지의 동일한 위치에 존재한다는 가정이 필요하다. 그러나 실제 시스템의 경우 알지비 카메라와 깊이 카메라는 일정한 거리를 두고 설치되기 때문에, 동일 물체에 대하여 2개의 카메라의 각도가 다르므로, 알지비 이미지와 깊이 이미지가 정확하게 일치하지 않는다.
도 2를 참조하면, 2개의 카메라(Depth, RGB) 사이의 거리를 d, 깊이 카메라(Depth)와 중앙의 큰 물체와의 거리를 z, 깊이 카메라(Depth)의 초점을 f, 알지비 카메라(RGB)의 초점을 f', 거리 z와 비례한 깊이 카메라(Depth) 내부의 거리를 k라고 가정한다.
2개의 카메라(Depth, RGB)를 연결하는 가상의 선의 임의의 지점으로부터 중앙 상부의 큰 물체로 수직 상승하는 직선의 길이 z'는 수학식 1과 같이 표시할 수 있다.
여기서 깊이 카메라(Depth)와 중앙의 큰 물체와의 거리를 z는 수학식 2와 같이 표시할 수 있다.
여기서 x는 중앙 상부의 물체가 깊이 카메라(Depth)에서 생성시킨 깊이 이미지에서의 2차원 위치 중 가로방향 또는 수평방향의 위치를 의미한다.
2개의 카메라(Depth, RGB)를 연결하는 가상의 선과 중앙 상부의 큰 물체로부터 수직 하강하는 직선이 상기 가상의 선이 만나는 지점과 상기 깊이 카메라(Depth)와의 거리를 U라 하고, 상기 지점과 상기 알지비 카메라(RGB)와의 거리를 V라고 하면, 거리 U 및 V는 수학식 3 및 4와 같이 각각 구할 수 있다.
상기 깊이 이미지의 임의의 가로 위치 x에 대응되는 알지비 이미지의 임의의 가로 위치 x'는 상기의 수학식 1 내지 4를 이용하면, 수학식 5와 같이 연산할 수 있다.
상기 깊이 이미지의 임의의 세로 위치 y(미도시)에 대응되는 알지비 이미지의 임의의 세로 위치 y'(미도시)도 수학식 1 내지 4를 이용하면, 수학식 6과 같이 연산할 수 있다.
수학식 5 및 수학식 6을 이용하여 각 물체들 사이의 상대적인 위치를 구할 수 있다. 수학식 5 및 수학식 6은 깊이 이미지와 관련된 연산 파라미터를 이용하여 이에 대응되는 알지비 이미지 파라미터를 추출하는 것을 나타내었지만, 반대의 경우는 이 분야의 일반적인 기술자라면 누구든지 용이하게 구현할 수 있고 이를 이해할 수 있으므로 여기서는 설명을 생략한다.
도 3은 제1차 위치 보정단계가 적용되는 예를 나타낸다.
도 3을 참조하면, 왼쪽의 깊이 이미지의 손의 위치에 해당하는 좌표(x, y)는 오른쪽의 알지비 이미지의 손의 위치에 해당하는 좌표(x', y')에 대응된다. (1)은 깊이 이미지로부터 이에 대응되는 알지비 이미지의 위치를 추정하는 것에 대하여 그리고 (2)는 반대로 알지비 이미지로부터 이에 대응되는 깊이 이미지의 위치를 추정하는 것에 대하여 설명한다.
도 4는 본 발명에 따른 얼굴 및 손 탐색 방법에서 수행하는 제2차 위치보정단계 중 깊이 바이너리 이미지가 생성되는 과정을 나타낸다.
도 5는 본 발명에 따른 얼굴 및 손 탐색 방법에서 수행하는 제2차 위치보정단계 중 알지비 바이너리 이미지가 생성되는 과정을 나타낸다.
도 6은 2개의 정렬방법을 사용하여 정렬한 결과를 나타낸다.
도 4 및 도 5를 참조하면, 왼쪽의 이미지는 배경이미지, 중간의 이미지는 깊이 이미지 및 알지비 이미지이다. 오른쪽의 이미지는 배경이미지와 깊이 이미지 그리고 배경이미지와 알지비 이미지를 이용하여 각각 생성시킨 깊이 바이너리 이미지 및 알지비 바이너리 이미지이다. 본 발명에서는 제2차 위치보정을 위하여, 깊이 이미지에 대하여 깊이 바이너리 이미지를 생성하고 알지미 이미지에 대하여 알지비 바이너리 이미지를 생성한다.
여기서 바이너리(binary)라는 용어가 사용된 이유는, 깊이 이미지 및 알지비 이미지에서 사람과 배경을 구분하기 위하여, 왼쪽의 배경이미지와 가운데의 인물이미지와의 대응하는 화소간의 차이가 일정한 기준값보다 큰 경우와 그렇지 않은 경우 2개의 값(binary) 중 하나를 각각의 화소에 할당하여 이미지를 생성시켰기 때문이다.
이러한 바이너리 이미지를 생성하는 과정을 이 분야의 기술자라면 용이하게 구현할 수 있으므로, 여기서는 과정에 대하여 설명하지 않는다.
도 4의 오른쪽에 도시된 깊이 바이너리 이미지는 왼쪽에 도시된 깊이 이미지를 이용하여 생성된 것이고, 도 5의 오른쪽에 도시된 알지비 바이너리 이미지는 왼쪽에 도시된 알지비 이미지를 이용하여 생성된 것이다.
도 4의 오른쪽에 에 도시된 깊이 바이너리 이미지의 크기가 도 5의 오른쪽에 도시된 알지비 바이너리 이미지에 비해 크기가 작으므로, 깊이 바이너리 이미지의 크기를 증가시켜 알지비 바이너리 이미지와 동일한 크기가 되게 함으로써 2개의 바이너리 이미지를 정렬(alignment)할 수 있다. 반대로 알지비 바이너리 이미지의 크기를 감소시켜 깊이 바이너리 이미지와 동일한 크기가 되게 함으로써 2개의 바이너리 이미지를 정렬할 수도 있다.
크기가 동일할 경우에는 2개의 바이너리 이미지 중 하나의 위치를 상하좌우로 이동시키면서 일치하는 영역으로 정렬할 수도 있다.
상술한 2개의 정렬 방법은 하나만 수행하더라고 2개의 바이너리 이미지를 정렬시킬 수 있지만, 그렇지 않을 경우 2개의 정렬 방법을 모두 사용하여 정렬하여 원하는 정렬을 이룰 수 있다.
본 발명에서 사용하는 정렬방법이 종래의 방법에 비해서 계산이 간단함에도 불구하고, 아래와 같은 방식으로 연산을 수행한다면, 계산량을 더욱 더 감소시킬 수 있다.
1. 예를 들면 두 개의 원본 이미지를 서브 샘플링(sub sampling)하는 것고 같은 방식으로 이미지의 크기를 동일한 비율로 줄인 후,
2. 두 이미지의 정렬을 위한 대략적인 크기조절비율 및 상하좌우 이동시키는 이동조절비율을 구한 뒤,
3. 크기조절비율 및 이동조절비율을 두 개의 원본 이미지에 적용함으로써 계산량을 감소시킨다.
상기 3번째 단계에서는 단계2에서 구한 크기조절비율 및 이동조절비율은 2개의 원본 이미지에 바로 적용하는 것이 아니라, 단계 2에서 구한 대략적인 크기조절비율 및 상하좌우 이동조절비율을 구한 뒤, 그 값들을 중심으로 두 개의 원본이미지에 대해서 세부적인 크기조절비율 및 상하좌우 이동조절비율을 구함으로 써 계산량을 감소시킨다.
원본이미지는 일반적으로 해상도가 높기 때문에 정확한 위치를 구하기 위해서는 많은 연산이 필요하므로, 이미지 크기를 줄이거나 서브 샘플링해서 데이터의 사이즈를 줄인 뒤, 데이터의 양이 적은 이미지에 대한 대략적인 비율을 구하고 그 값을 중심으로 원본이미지에 대해서 세부적인 비율을 구한다.
깊이 이미지 기반 표현 3차원 객체 표현(DIBR)에서는 특정 부분의 알지비 이미지에 대한 정보뿐만 아니라 해당 부분의 깊이 이미지에 대한 정보가 필요하다. 따라서, 상기의 과정을 거쳐 깊이 이미지와 알지비 이미지의 특정 부분에 대한 탐색이 종료된 경우, 아래에 설명하는 것과 같은 특정부분 즉, 얼굴 및 손에 대한 2개의 이미지 정보를 모두 추출하여야 한다. 본 발명에서는 2개의 이미지 정보를 합한 것을 매칭 이미지라고 정의하였다.
도 7은 하르 라이크 피쳐스를 이용한 얼굴 추출 결과를 나타낸다.
도 7을 참조하면, 알지비 이미지로부터 알지비 이미지에 포함된 사람의 얼굴을 추출하였으며, 추출된 부분은 사각형 처리되었다. 알지비 이미지로부터 얼굴을 추출하는 알고리즘은 다양한데, 본 발명에서는 발명의 설명을 위하여 일반적으로 사용되는 하르 라이크 피쳐(Haar-like feature) 방식을 사용하였다.
도 8은 시프트를 이용하여 손을 추출한 결과를 나타낸다.
도 8을 참조하면, 알지비 이미지로부터 알지비 이미지에 포함된 사람의 손을 추출하였으며, 추출된 부분은 왼쪽 상단 모서리에 표시되었다. 본 발명에서는설명의 편의를 위해 일반적으로 사용되는 시프트(Shift Invariant Feature Transform, SIFT) 방식을 사용하였다.
도 9는 여러 명의 사람이 하나의 화면에 존재하는 경우에 대한 예를 나타낸다.
도 9를 참조하면, 2명의 사람의 손이 사람의 몸통에 포함되어 있으므로, 깊이 이미지 만으로는 각 사람의 손을 인식할 수 없다는 것을 알 수 있다. 본 발명에서는 이러한 문제를 해소하기 위하여 본 발명에서는 아다부스트 훈련 알고리즘(AdaBoost training Algorithm)을 이용하여 알지비 이미지로부터 손의 위치를 파악하고 이를 깊이 이미지에 적용하였다.
아다부스트 훈련 알고리즘은 얼굴 검출 분야뿐만 아니라 패턴 분류 기법을 이용하는 다양한 분야에서 사용되고 있다. 얼굴 검출을 위해 사용되는 아다부스트(Adaboost)는 바이올라(Viola)에 의해 처음 제안되었고, 기존의 얼굴 검출 방법보다 복잡한 환경이나 기타 외부 변수에서도 뛰어난 검출 능력을 나타낸다.
이상에서는 본 발명에 대한 기술사상을 첨부 도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시 예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 이라면 누구나 본 발명의 기술적 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방 가능함은 명백한 사실이다.
+d: 2개의 카메라(Depth, RGB) 사이의 거리
z: 깊이 카메라(Depth)와 중앙의 큰 물체와의 거리
f: 깊이 카메라(Depth)의 초점
f': 알지비 카메라(RGB)의 초점
k: 거리 z와 비례한 깊이 카메라(Depth) 내부의 거리
z: 깊이 카메라(Depth)와 중앙의 큰 물체와의 거리
f: 깊이 카메라(Depth)의 초점
f': 알지비 카메라(RGB)의 초점
k: 거리 z와 비례한 깊이 카메라(Depth) 내부의 거리
Claims (11)
- 대상물체에 대하여 알지비(RGB) 이미지 및 깊이(depth) 이미지를 생성하는 이미지 생성단계;
삼각기법을 이용하여 알지비 카메라와 깊이 카메라의 간격에 따른 상기 알지비 이미지와 상기 깊이 이미지의 위치를 보정하는 제1차 위치보정 단계; 및
상기 알지비 이미지 및 상기 깊이 이미지를 상기 대상물체에 포함된 특정 부위에 대하여 매칭시키는 매칭단계를 구비하며,
상기 위치보정 단계에 적용되는 삼각기법은,
상기 알지비 카메라와 상기 깊이 카메라 사이의 간격,
상기 알지비 카메라와 상기 깊이 카메라의 각각의 초점,
상기 알지비 카메라 및 상기 깊이 카메라와 상기 대상물체와의 각각의 거리; 및
상기 알지비 카메라 및 상기 깊이 카메라와 상기 대상물체와의 각각의 거리와 비례한 상기 알지비 카메라와 상기 깊이 카메라의 각각의 내부거리를 이용하며,
상기 깊이 이미지의 임의의 지점(x, y)에 대응되는 상기 알지비 이미지의 대응되는 지점(x', y')은,
상기 알지비 카메라와 상기 깊이 카메라 사이의 간격이 d이고,
상기 알지비 카메라와 상기 깊이 카메라의 각각의 초점이 f 및 f'이며,
상기 깊이 카메라와 상기 대상물체와의 각각의 거리가 z이고,
상기 깊이 카메라와 상기 대상물체와의 거리와 비례한 상기 깊이 카메라의 각각의 내부거리를 k라고 할 때,
로 표현되며, 여기서,
, , , 이며,
z'는 상기 대상물체로부터 상기 2개의 카메라를 연결하는 직선의 수직성분이고,
U는 상기 대상물체로부터 상기 2개의 카메라를 연결하는 직선이 만나는 지점으로부터 상기 깊이 카메라까지의 거리, 그리고
V는 상기 대상물체로부터 상기 2개의 카메라를 연결하는 직선이 만나는 지점으로부터 상기 알지비 카메라까지의 거리인 얼굴 및 손 탐색 방법. - 제1항에 있어서,
상기 대상물체는 적어도 하나의 사람과 배경이며,
상기 알지비 이미지 및 상기 깊이 이미지 각각은 상기 적어도 하나의 사람과 상기 배경을 구분하여 촬영하고 이를 중첩시킨 이미지인 얼굴 및 손 탐색 방법. - 제2항에 있어서, 상기 특정 부위는,
상기 적어도 하나의 사람의 얼굴 및 손 중 적어도 하나인 얼굴 및 손 탐색 방법. - 삭제
- 삭제
- 제3항에 있어서,
상기 2개의 카메라가 평행하지 않거나 높이가 서로 다른 상태에서 상기 이미지를 생성한 경우,
상기 알지비 이미지 및 상기 깊이 이미지를 보정하는 제2차 위치보정 단계를 더 포함하는 얼굴 및 손 탐색 방법. - 제6항에 있어서, 상기 제2차 위치보정 단계는,
상기 알지비 이미지 및 상기 깊이 이미지에 일정한 기준값을 적용하여 알지비 바이너리 이미지 및 깊이 바이너리 이미지를 각각 생성하는 바이너리 이미지 생성단계; 및
상기 알지비 바이너리 이미지와 상기 깊이 바이너리 이미지를 정렬(alignment) 시키는 이미지 정렬 단계를 포함하는 얼굴 및 손 탐색 방법. - 제7항에 있어서,
상기 알지비 바이너리 이미지 및 상기 깊이 바이너리 이미지 각각은 상기 배경과 상기 적어도 하나의 사람과의 이미지의 차이가 상기 기준값 보다 큰 경우에는 '1(one)'을 할당하고 작은 경우에는 '0(zero)'을 할당하여 생성되는 얼굴 및 손 탐색 방법. - 제7항에 있어서, 상기 이미지 정렬 단계는,
상기 바이너리 이미지 중 하나의 크기를 증감시키면서 다른 하나의 바이너리 이미지와 크기를 일치시키는 크기 조절 단계; 및
상기 바이너리 이미지 중 하나의 위치를 상하좌우로 이동시키면서 다른 하나의 바이너리 이미지와 일치시키는 이동 조절 단계 중
적어도 하나의 단계를 수행하는 얼굴 및 손 탐색 방법. - 제9항에 있어서, 상기 이미지 정렬 단계는,
상기 2개의 바이너리 이미지의 크기를 일정한 스케일로 감소시킨 후 상기 크기 조절 단계 및 상기 이동 조절 단계 중 적어도 하나를 수행하고,
상기 크기 조절 단계에서 결정된 크기조절비율 및 상기 이동 조절 단계에서 결정된 이동조절비율을 감소시키기 전의 원본 바이너리 이미지에 대응되는 비율로 변환한 후, 상기 비율을 상기 감소시키지 않은 원본 바이너리 이미지에 적용하여 상기 이미지 정렬 단계를 수행하는 얼굴 및 손 탐색 방법. - 제1항에 있어서, 상기 매칭단계는,
상기 특정 부위에 대응되는 상기 알지비 이미지 및 상기 깊이 이미지에 대한 정보를 포함하는 매칭 이미지를 더 생성하는 얼굴 및 손 탐색 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100138588A KR101156547B1 (ko) | 2010-12-30 | 2010-12-30 | 알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100138588A KR101156547B1 (ko) | 2010-12-30 | 2010-12-30 | 알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101156547B1 true KR101156547B1 (ko) | 2012-06-20 |
Family
ID=46688980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100138588A KR101156547B1 (ko) | 2010-12-30 | 2010-12-30 | 알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101156547B1 (ko) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113743191A (zh) * | 2021-07-16 | 2021-12-03 | 深圳云天励飞技术股份有限公司 | 人脸图像对齐检测方法、装置、电子设备及存储介质 |
CN115475349A (zh) * | 2021-06-15 | 2022-12-16 | 丰田自动车株式会社 | 步行状态测量系统、步行状态测量方法和非暂时性计算机可读介质 |
US12094134B2 (en) | 2021-08-04 | 2024-09-17 | Hyundai Motor Company | Electronic device and method for tracking object thereof |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090027003A (ko) * | 2007-09-11 | 2009-03-16 | 삼성전자주식회사 | 영상 매칭 장치 및 방법 |
KR20090087638A (ko) * | 2008-02-13 | 2009-08-18 | 삼성전자주식회사 | 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치 |
KR100916836B1 (ko) * | 2008-05-29 | 2009-09-14 | 고려대학교 산학협력단 | 지시형 제스처를 인식하는 방법 및 장치 |
-
2010
- 2010-12-30 KR KR1020100138588A patent/KR101156547B1/ko active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090027003A (ko) * | 2007-09-11 | 2009-03-16 | 삼성전자주식회사 | 영상 매칭 장치 및 방법 |
KR20090087638A (ko) * | 2008-02-13 | 2009-08-18 | 삼성전자주식회사 | 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치 |
KR100916836B1 (ko) * | 2008-05-29 | 2009-09-14 | 고려대학교 산학협력단 | 지시형 제스처를 인식하는 방법 및 장치 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115475349A (zh) * | 2021-06-15 | 2022-12-16 | 丰田自动车株式会社 | 步行状态测量系统、步行状态测量方法和非暂时性计算机可读介质 |
CN113743191A (zh) * | 2021-07-16 | 2021-12-03 | 深圳云天励飞技术股份有限公司 | 人脸图像对齐检测方法、装置、电子设备及存储介质 |
CN113743191B (zh) * | 2021-07-16 | 2023-08-01 | 深圳云天励飞技术股份有限公司 | 人脸图像对齐检测方法、装置、电子设备及存储介质 |
US12094134B2 (en) | 2021-08-04 | 2024-09-17 | Hyundai Motor Company | Electronic device and method for tracking object thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108764024B (zh) | 人脸识别模型的生成装置、方法及计算机可读存储介质 | |
US10444617B2 (en) | Image processing apparatus and image processing method | |
JP5952001B2 (ja) | 深さ情報を用いたカメラモーションの推定方法および装置、拡張現実システム | |
US6671399B1 (en) | Fast epipolar line adjustment of stereo pairs | |
WO2017041731A1 (en) | Markerless multi-user multi-object augmented reality on mobile devices | |
KR101633359B1 (ko) | 투사 불변량을 이용한 무표식 증강 현실 구현 시스템 및 그 방법 | |
US20130051626A1 (en) | Method And Apparatus For Object Pose Estimation | |
EP3182371A1 (en) | Threshold determination in for example a type ransac algorithm | |
WO2015037178A1 (ja) | 姿勢推定方法及びロボット | |
KR101261409B1 (ko) | 영상 내 노면표시 인식시스템 | |
CN103530599A (zh) | 一种真实人脸和图片人脸的区别方法和系统 | |
CN103252778A (zh) | 用于估计机器人位置的设备及其方法 | |
WO2014017006A1 (ja) | 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム | |
KR20080029080A (ko) | 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법 | |
US9268408B2 (en) | Operating area determination method and system | |
CN110189347B (zh) | 一种测量物体体积的方法及终端 | |
CN105957107A (zh) | 行人检测与跟踪方法及装置 | |
EP3185212B1 (en) | Dynamic particle filter parameterization | |
KR101156547B1 (ko) | 알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법 | |
CN107392953A (zh) | 基于等高线的深度图像识别方法 | |
KR20120020711A (ko) | 물체 인식 시스템 및 그 물체 인식 방법 | |
JPH07103715A (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
Lee et al. | A Hand gesture recognition system based on difference image entropy | |
JP6016242B2 (ja) | 視点推定装置及びその分類器学習方法 | |
CN109410272B (zh) | 一种变压器螺母识别与定位装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160510 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20180625 Year of fee payment: 7 |