KR101156547B1 - 알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법 - Google Patents

알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법 Download PDF

Info

Publication number
KR101156547B1
KR101156547B1 KR1020100138588A KR20100138588A KR101156547B1 KR 101156547 B1 KR101156547 B1 KR 101156547B1 KR 1020100138588 A KR1020100138588 A KR 1020100138588A KR 20100138588 A KR20100138588 A KR 20100138588A KR 101156547 B1 KR101156547 B1 KR 101156547B1
Authority
KR
South Korea
Prior art keywords
image
depth
algibi
camera
face
Prior art date
Application number
KR1020100138588A
Other languages
English (en)
Inventor
이혁재
성한수
프렌시올리 브라이언
김대현
강영규
권동준
Original Assignee
주식회사 나무가
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 나무가, 서울대학교산학협력단 filed Critical 주식회사 나무가
Priority to KR1020100138588A priority Critical patent/KR101156547B1/ko
Application granted granted Critical
Publication of KR101156547B1 publication Critical patent/KR101156547B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/571Depth or shape recovery from multiple images from focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 얼굴 및 손에 대한 이미지를 각각 포함하고 있는 알지비 이미지와 깊이 이미지로부터, 얼굴 및 손에 정보를 포함하는 매칭 이미지를 생성하는 알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법을 개시(introduce)한다. 상기 알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법은, 이미지 생성단계, 제1차 위치보정 단계 및 매칭단계를 포함한다. 상기 이미지 생성단계는 대상물체에 대하여 알지비(RGB) 이미지 및 깊이(depth) 이미지를 생성한다. 상기 제1차 위치보정 단계는 삼각기법을 이용하여 알지비 카메라와 깊이 카메라의 간격에 따른 상기 알지비 이미지와 상기 깊이 이미지의 위치를 보정한다. 상기 매칭단계는 상기 알지비 이미지 및 상기 깊이 이미지를 상기 대상물체에 포함된 특정 부위에 대하여 매칭시킨다.

Description

알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법{SEARCHING METHOD OF FACE AND HANDS USING RGB COLOR IMAGE AND DEPTH IMAGE}
본 발명은 얼굴 및 손 탐색 방법에 관한 것으로, 특히 알지비 이미지 및 깊이 이미지를 이용하여 얼굴 및 손을 탐색하는 방법에 관한 것이다.
일반 카메라로 촬영한 영상을 알지비 이미지(RGB image)라고 할 때 촬영의 대상이 되는 물체와 깊이 카메라 사이의 거리를 표현하는 이미지를 깊이 이미지(depth image)하고 한다. 깊이 이미지는 깊이 카메라와 대상 물체와의 거리에 따라서 밝기를 다르게 함으로써 거리를 표현한다. 깊이 이미지는 카메라의 종류에 따라서 가까울수록 밝을 수도 있고, 멀수록 밝을 수도 있다.
알지비 이미지와 깊이 이미지는 고유의 정보를 포함하고 있으므로 각각에 할당된 적합한 기능이 있다. 특히 깊이 이미지는 객체의 인식이나 움직임 등을 측정하기에 유용하기 때문에, 게임기나 등에 활용될 수 있다. 그러나 깊이 이미지에서 사람의 얼굴이나 손을 인식하는 것은 매우 어려우며, 사람의 몸 중심에 손이 포함되는 경우 사람의 손을 인식하는 것은 더 어렵다.
깊이 이미지는 깊이 이미지 기반 표현 3차원 객체 표현(Depth Image Based Representation, DIBR)에 유용하므로 깊이 이미지의 특정 부분을 추출해 내는 것은 상당히 의미 있는 일이다.
본 발명이 해결하고자 하는 기술적 과제는, 얼굴 및 손에 대한 이미지를 각각 포함하고 있는 알지비 이미지와 깊이 이미지로부터, 얼굴 및 손에 정보를 포함하는 매칭 이미지를 생성하는 알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법을 제공하는 것에 있다.
상기 기술적 과제를 이루기 위한 본 발명에 따른 알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법은, 이미지 생성단계, 제1차 위치보정 단계 및 매칭단계를 포함한다. 상기 이미지 생성단계는 대상물체에 대하여 알지비(RGB) 이미지 및 깊이(depth) 이미지를 생성한다. 상기 제1차 위치보정 단계는 삼각기법을 이용하여 알지비 카메라와 깊이 카메라의 간격에 따른 상기 알지비 이미지와 상기 깊이 이미지의 위치를 보정한다. 상기 매칭단계는 상기 알지비 이미지 및 상기 깊이 이미지를 상기 대상물체에 포함된 특정 부위에 대하여 매칭시킨다.
본 발명에서 생성하는 얼굴 및 손에 대한 알지비 이미지 및 깊이 이미지를 를 모두 포함하는 매칭 이미지는 깊이 이미지 기반 표현 3차원 객체 표현(Depth Image Based Representation, DIBR)에 유용하게 사용될 수 있다.
도 1은 본 발명에 따른 얼굴 및 손 탐색 방법에 사용되는 알지비 이미지 및 깊이 이미지를 나타낸다.
도 2는 본 발명에 따른 얼굴 및 손 탐색 방법에서 수행하는 제1차 위치보정단계를 설명한다.
도 3은 제1차 위치 보정단계가 적용되는 예를 나타낸다.
도 4는 본 발명에 따른 얼굴 및 손 탐색 방법에서 수행하는 제2차 위치보정단계 중 깊이 바이너리 이미지가 생성되는 과정을 나타낸다.
도 5는 본 발명에 따른 얼굴 및 손 탐색 방법에서 수행하는 제2차 위치보정단계 중 알지비 바이너리 이미지가 생성되는 과정을 나타낸다.
도 6은 2개의 정렬방법을 사용하여 정렬한 결과를 나타낸다.
도 7은 하르 라이크 피쳐스를 이용한 얼굴 추출 결과를 나타낸다.
도 8은 시프트를 이용하여 손을 추출한 결과를 나타낸다.
도 9는 여러 명의 사람이 하나의 화면에 존재하는 경우에 대한 예를 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 예시적인 실시 예를 설명하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명에 따른 얼굴 및 손 탐색 방법에 사용되는 알지비 이미지 및 깊이 이미지를 나타낸다.
도 1을 참조하면, 왼쪽에 도시된 알지비 이미지에서 사람의 얼굴 위치(사각형)를 검출하고, 오른쪽에 도시된 깊이 이미지에서 검출한 사각형에 포함된 형상을 사람의 얼굴이라고 판단한다.
상술한 바와 같이, 본 발명에서는 깊이 이미지에서 사람의 얼굴 및 손을 추출하기 위하여, 알지비 이미지에서 추출한 사람의 얼굴 및 손에 대한 정보를 이용한다.
알지비 이미지를 생성하는 알지비 센서는 휴대폰, 노트북 등 다양한 IT 기기에서 널리 사용되고 있으며, 깊이 이미지와 알지비 이미지를 동시에 생성시키는 것이 일반적이다. 따라서 동일한 대상물체에 대하여 동시에 생성시킨 알지비 이미지와 깊이 이미지는 거의 동일하다고 할 수 있으므로 이를 화면으로 대응시키는 것이 가능하다.
그러나 알지비 카메라와 깊이 카메라는 서로 다르며, 이들을 서로 하나로 묶어서 이미지를 생성시킨다고 해도, 이들 사이의 거리 및 렌즈의 위치, 카메라의 길이 등에 따라 생성된 이미지가 정확하게 1대 1로 일치되지는 않는다.
본 발명에서는 이러한 오차를 보정하는 과정을 포함한다.
1차적으로는 삼각기법을 이용하여 2개의 카메라의 거리오차에 따른 위치를 보정하고, 필요한 경우 기타의 이유에 의한 오차를 2차적으로 보정한다.
도 2는 본 발명에 따른 얼굴 및 손 탐색 방법에서 수행하는 제1차 위치보정단계를 설명한다.
도 2를 참조하면, 본 발명에 따른 얼굴 및 손 탐색방법에서 수행하는 제1차 위치보정단계는 삼각기법을 이용하여 알지비 카메라로 깊이 카메라의 위치 특히 거리에 따른 오차를 보정한다.
알지비 이미지에서 구한 사람의 얼굴 및 손에 대한 정보를 깊이 이미지에 적용하기 위해서는, 하나의 물체가 두 이미지의 동일한 위치에 존재한다는 가정이 필요하다. 그러나 실제 시스템의 경우 알지비 카메라와 깊이 카메라는 일정한 거리를 두고 설치되기 때문에, 동일 물체에 대하여 2개의 카메라의 각도가 다르므로, 알지비 이미지와 깊이 이미지가 정확하게 일치하지 않는다.
도 2를 참조하면, 2개의 카메라(Depth, RGB) 사이의 거리를 d, 깊이 카메라(Depth)와 중앙의 큰 물체와의 거리를 z, 깊이 카메라(Depth)의 초점을 f, 알지비 카메라(RGB)의 초점을 f', 거리 z와 비례한 깊이 카메라(Depth) 내부의 거리를 k라고 가정한다.
2개의 카메라(Depth, RGB)를 연결하는 가상의 선의 임의의 지점으로부터 중앙 상부의 큰 물체로 수직 상승하는 직선의 길이 z'는 수학식 1과 같이 표시할 수 있다.
Figure 112010087513043-pat00001
여기서 깊이 카메라(Depth)와 중앙의 큰 물체와의 거리를 z는 수학식 2와 같이 표시할 수 있다.
Figure 112010087513043-pat00002
여기서 x는 중앙 상부의 물체가 깊이 카메라(Depth)에서 생성시킨 깊이 이미지에서의 2차원 위치 중 가로방향 또는 수평방향의 위치를 의미한다.
2개의 카메라(Depth, RGB)를 연결하는 가상의 선과 중앙 상부의 큰 물체로부터 수직 하강하는 직선이 상기 가상의 선이 만나는 지점과 상기 깊이 카메라(Depth)와의 거리를 U라 하고, 상기 지점과 상기 알지비 카메라(RGB)와의 거리를 V라고 하면, 거리 U 및 V는 수학식 3 및 4와 같이 각각 구할 수 있다.
Figure 112010087513043-pat00003
Figure 112010087513043-pat00004
상기 깊이 이미지의 임의의 가로 위치 x에 대응되는 알지비 이미지의 임의의 가로 위치 x'는 상기의 수학식 1 내지 4를 이용하면, 수학식 5와 같이 연산할 수 있다.
Figure 112010087513043-pat00005
상기 깊이 이미지의 임의의 세로 위치 y(미도시)에 대응되는 알지비 이미지의 임의의 세로 위치 y'(미도시)도 수학식 1 내지 4를 이용하면, 수학식 6과 같이 연산할 수 있다.
Figure 112010087513043-pat00006
수학식 5 및 수학식 6을 이용하여 각 물체들 사이의 상대적인 위치를 구할 수 있다. 수학식 5 및 수학식 6은 깊이 이미지와 관련된 연산 파라미터를 이용하여 이에 대응되는 알지비 이미지 파라미터를 추출하는 것을 나타내었지만, 반대의 경우는 이 분야의 일반적인 기술자라면 누구든지 용이하게 구현할 수 있고 이를 이해할 수 있으므로 여기서는 설명을 생략한다.
도 3은 제1차 위치 보정단계가 적용되는 예를 나타낸다.
도 3을 참조하면, 왼쪽의 깊이 이미지의 손의 위치에 해당하는 좌표(x, y)는 오른쪽의 알지비 이미지의 손의 위치에 해당하는 좌표(x', y')에 대응된다. (1)은 깊이 이미지로부터 이에 대응되는 알지비 이미지의 위치를 추정하는 것에 대하여 그리고 (2)는 반대로 알지비 이미지로부터 이에 대응되는 깊이 이미지의 위치를 추정하는 것에 대하여 설명한다.
도 4는 본 발명에 따른 얼굴 및 손 탐색 방법에서 수행하는 제2차 위치보정단계 중 깊이 바이너리 이미지가 생성되는 과정을 나타낸다.
도 5는 본 발명에 따른 얼굴 및 손 탐색 방법에서 수행하는 제2차 위치보정단계 중 알지비 바이너리 이미지가 생성되는 과정을 나타낸다.
도 6은 2개의 정렬방법을 사용하여 정렬한 결과를 나타낸다.
도 4 및 도 5를 참조하면, 왼쪽의 이미지는 배경이미지, 중간의 이미지는 깊이 이미지 및 알지비 이미지이다. 오른쪽의 이미지는 배경이미지와 깊이 이미지 그리고 배경이미지와 알지비 이미지를 이용하여 각각 생성시킨 깊이 바이너리 이미지 및 알지비 바이너리 이미지이다. 본 발명에서는 제2차 위치보정을 위하여, 깊이 이미지에 대하여 깊이 바이너리 이미지를 생성하고 알지미 이미지에 대하여 알지비 바이너리 이미지를 생성한다.
여기서 바이너리(binary)라는 용어가 사용된 이유는, 깊이 이미지 및 알지비 이미지에서 사람과 배경을 구분하기 위하여, 왼쪽의 배경이미지와 가운데의 인물이미지와의 대응하는 화소간의 차이가 일정한 기준값보다 큰 경우와 그렇지 않은 경우 2개의 값(binary) 중 하나를 각각의 화소에 할당하여 이미지를 생성시켰기 때문이다.
이러한 바이너리 이미지를 생성하는 과정을 이 분야의 기술자라면 용이하게 구현할 수 있으므로, 여기서는 과정에 대하여 설명하지 않는다.
도 4의 오른쪽에 도시된 깊이 바이너리 이미지는 왼쪽에 도시된 깊이 이미지를 이용하여 생성된 것이고, 도 5의 오른쪽에 도시된 알지비 바이너리 이미지는 왼쪽에 도시된 알지비 이미지를 이용하여 생성된 것이다.
도 4의 오른쪽에 에 도시된 깊이 바이너리 이미지의 크기가 도 5의 오른쪽에 도시된 알지비 바이너리 이미지에 비해 크기가 작으므로, 깊이 바이너리 이미지의 크기를 증가시켜 알지비 바이너리 이미지와 동일한 크기가 되게 함으로써 2개의 바이너리 이미지를 정렬(alignment)할 수 있다. 반대로 알지비 바이너리 이미지의 크기를 감소시켜 깊이 바이너리 이미지와 동일한 크기가 되게 함으로써 2개의 바이너리 이미지를 정렬할 수도 있다.
크기가 동일할 경우에는 2개의 바이너리 이미지 중 하나의 위치를 상하좌우로 이동시키면서 일치하는 영역으로 정렬할 수도 있다.
상술한 2개의 정렬 방법은 하나만 수행하더라고 2개의 바이너리 이미지를 정렬시킬 수 있지만, 그렇지 않을 경우 2개의 정렬 방법을 모두 사용하여 정렬하여 원하는 정렬을 이룰 수 있다.
본 발명에서 사용하는 정렬방법이 종래의 방법에 비해서 계산이 간단함에도 불구하고, 아래와 같은 방식으로 연산을 수행한다면, 계산량을 더욱 더 감소시킬 수 있다.
1. 예를 들면 두 개의 원본 이미지를 서브 샘플링(sub sampling)하는 것고 같은 방식으로 이미지의 크기를 동일한 비율로 줄인 후,
2. 두 이미지의 정렬을 위한 대략적인 크기조절비율 및 상하좌우 이동시키는 이동조절비율을 구한 뒤,
3. 크기조절비율 및 이동조절비율을 두 개의 원본 이미지에 적용함으로써 계산량을 감소시킨다.
상기 3번째 단계에서는 단계2에서 구한 크기조절비율 및 이동조절비율은 2개의 원본 이미지에 바로 적용하는 것이 아니라, 단계 2에서 구한 대략적인 크기조절비율 및 상하좌우 이동조절비율을 구한 뒤, 그 값들을 중심으로 두 개의 원본이미지에 대해서 세부적인 크기조절비율 및 상하좌우 이동조절비율을 구함으로 써 계산량을 감소시킨다.
원본이미지는 일반적으로 해상도가 높기 때문에 정확한 위치를 구하기 위해서는 많은 연산이 필요하므로, 이미지 크기를 줄이거나 서브 샘플링해서 데이터의 사이즈를 줄인 뒤, 데이터의 양이 적은 이미지에 대한 대략적인 비율을 구하고 그 값을 중심으로 원본이미지에 대해서 세부적인 비율을 구한다.
깊이 이미지 기반 표현 3차원 객체 표현(DIBR)에서는 특정 부분의 알지비 이미지에 대한 정보뿐만 아니라 해당 부분의 깊이 이미지에 대한 정보가 필요하다. 따라서, 상기의 과정을 거쳐 깊이 이미지와 알지비 이미지의 특정 부분에 대한 탐색이 종료된 경우, 아래에 설명하는 것과 같은 특정부분 즉, 얼굴 및 손에 대한 2개의 이미지 정보를 모두 추출하여야 한다. 본 발명에서는 2개의 이미지 정보를 합한 것을 매칭 이미지라고 정의하였다.
도 7은 하르 라이크 피쳐스를 이용한 얼굴 추출 결과를 나타낸다.
도 7을 참조하면, 알지비 이미지로부터 알지비 이미지에 포함된 사람의 얼굴을 추출하였으며, 추출된 부분은 사각형 처리되었다. 알지비 이미지로부터 얼굴을 추출하는 알고리즘은 다양한데, 본 발명에서는 발명의 설명을 위하여 일반적으로 사용되는 하르 라이크 피쳐(Haar-like feature) 방식을 사용하였다.
도 8은 시프트를 이용하여 손을 추출한 결과를 나타낸다.
도 8을 참조하면, 알지비 이미지로부터 알지비 이미지에 포함된 사람의 손을 추출하였으며, 추출된 부분은 왼쪽 상단 모서리에 표시되었다. 본 발명에서는설명의 편의를 위해 일반적으로 사용되는 시프트(Shift Invariant Feature Transform, SIFT) 방식을 사용하였다.
도 9는 여러 명의 사람이 하나의 화면에 존재하는 경우에 대한 예를 나타낸다.
도 9를 참조하면, 2명의 사람의 손이 사람의 몸통에 포함되어 있으므로, 깊이 이미지 만으로는 각 사람의 손을 인식할 수 없다는 것을 알 수 있다. 본 발명에서는 이러한 문제를 해소하기 위하여 본 발명에서는 아다부스트 훈련 알고리즘(AdaBoost training Algorithm)을 이용하여 알지비 이미지로부터 손의 위치를 파악하고 이를 깊이 이미지에 적용하였다.
아다부스트 훈련 알고리즘은 얼굴 검출 분야뿐만 아니라 패턴 분류 기법을 이용하는 다양한 분야에서 사용되고 있다. 얼굴 검출을 위해 사용되는 아다부스트(Adaboost)는 바이올라(Viola)에 의해 처음 제안되었고, 기존의 얼굴 검출 방법보다 복잡한 환경이나 기타 외부 변수에서도 뛰어난 검출 능력을 나타낸다.
이상에서는 본 발명에 대한 기술사상을 첨부 도면과 함께 서술하였지만 이는 본 발명의 바람직한 실시 예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 이라면 누구나 본 발명의 기술적 사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방 가능함은 명백한 사실이다.
+d: 2개의 카메라(Depth, RGB) 사이의 거리
z: 깊이 카메라(Depth)와 중앙의 큰 물체와의 거리
f: 깊이 카메라(Depth)의 초점
f': 알지비 카메라(RGB)의 초점
k: 거리 z와 비례한 깊이 카메라(Depth) 내부의 거리

Claims (11)

  1. 대상물체에 대하여 알지비(RGB) 이미지 및 깊이(depth) 이미지를 생성하는 이미지 생성단계;
    삼각기법을 이용하여 알지비 카메라와 깊이 카메라의 간격에 따른 상기 알지비 이미지와 상기 깊이 이미지의 위치를 보정하는 제1차 위치보정 단계; 및
    상기 알지비 이미지 및 상기 깊이 이미지를 상기 대상물체에 포함된 특정 부위에 대하여 매칭시키는 매칭단계를 구비하며,
    상기 위치보정 단계에 적용되는 삼각기법은,
    상기 알지비 카메라와 상기 깊이 카메라 사이의 간격,
    상기 알지비 카메라와 상기 깊이 카메라의 각각의 초점,
    상기 알지비 카메라 및 상기 깊이 카메라와 상기 대상물체와의 각각의 거리; 및
    상기 알지비 카메라 및 상기 깊이 카메라와 상기 대상물체와의 각각의 거리와 비례한 상기 알지비 카메라와 상기 깊이 카메라의 각각의 내부거리를 이용하며,
    상기 깊이 이미지의 임의의 지점(x, y)에 대응되는 상기 알지비 이미지의 대응되는 지점(x', y')은,
    상기 알지비 카메라와 상기 깊이 카메라 사이의 간격이 d이고,
    상기 알지비 카메라와 상기 깊이 카메라의 각각의 초점이 f 및 f'이며,
    상기 깊이 카메라와 상기 대상물체와의 각각의 거리가 z이고,
    상기 깊이 카메라와 상기 대상물체와의 거리와 비례한 상기 깊이 카메라의 각각의 내부거리를 k라고 할 때,
    Figure 112012019929377-pat00022

    Figure 112012019929377-pat00023

    로 표현되며, 여기서,
    Figure 112012019929377-pat00024
    ,
    Figure 112012019929377-pat00025
    ,
    Figure 112012019929377-pat00026
    ,
    Figure 112012019929377-pat00027
    이며,
    z'는 상기 대상물체로부터 상기 2개의 카메라를 연결하는 직선의 수직성분이고,
    U는 상기 대상물체로부터 상기 2개의 카메라를 연결하는 직선이 만나는 지점으로부터 상기 깊이 카메라까지의 거리, 그리고
    V는 상기 대상물체로부터 상기 2개의 카메라를 연결하는 직선이 만나는 지점으로부터 상기 알지비 카메라까지의 거리인 얼굴 및 손 탐색 방법.
  2. 제1항에 있어서,
    상기 대상물체는 적어도 하나의 사람과 배경이며,
    상기 알지비 이미지 및 상기 깊이 이미지 각각은 상기 적어도 하나의 사람과 상기 배경을 구분하여 촬영하고 이를 중첩시킨 이미지인 얼굴 및 손 탐색 방법.
  3. 제2항에 있어서, 상기 특정 부위는,
    상기 적어도 하나의 사람의 얼굴 및 손 중 적어도 하나인 얼굴 및 손 탐색 방법.
  4. 삭제
  5. 삭제
  6. 제3항에 있어서,
    상기 2개의 카메라가 평행하지 않거나 높이가 서로 다른 상태에서 상기 이미지를 생성한 경우,
    상기 알지비 이미지 및 상기 깊이 이미지를 보정하는 제2차 위치보정 단계를 더 포함하는 얼굴 및 손 탐색 방법.
  7. 제6항에 있어서, 상기 제2차 위치보정 단계는,
    상기 알지비 이미지 및 상기 깊이 이미지에 일정한 기준값을 적용하여 알지비 바이너리 이미지 및 깊이 바이너리 이미지를 각각 생성하는 바이너리 이미지 생성단계; 및
    상기 알지비 바이너리 이미지와 상기 깊이 바이너리 이미지를 정렬(alignment) 시키는 이미지 정렬 단계를 포함하는 얼굴 및 손 탐색 방법.
  8. 제7항에 있어서,
    상기 알지비 바이너리 이미지 및 상기 깊이 바이너리 이미지 각각은 상기 배경과 상기 적어도 하나의 사람과의 이미지의 차이가 상기 기준값 보다 큰 경우에는 '1(one)'을 할당하고 작은 경우에는 '0(zero)'을 할당하여 생성되는 얼굴 및 손 탐색 방법.
  9. 제7항에 있어서, 상기 이미지 정렬 단계는,
    상기 바이너리 이미지 중 하나의 크기를 증감시키면서 다른 하나의 바이너리 이미지와 크기를 일치시키는 크기 조절 단계; 및
    상기 바이너리 이미지 중 하나의 위치를 상하좌우로 이동시키면서 다른 하나의 바이너리 이미지와 일치시키는 이동 조절 단계 중
    적어도 하나의 단계를 수행하는 얼굴 및 손 탐색 방법.
  10. 제9항에 있어서, 상기 이미지 정렬 단계는,
    상기 2개의 바이너리 이미지의 크기를 일정한 스케일로 감소시킨 후 상기 크기 조절 단계 및 상기 이동 조절 단계 중 적어도 하나를 수행하고,
    상기 크기 조절 단계에서 결정된 크기조절비율 및 상기 이동 조절 단계에서 결정된 이동조절비율을 감소시키기 전의 원본 바이너리 이미지에 대응되는 비율로 변환한 후, 상기 비율을 상기 감소시키지 않은 원본 바이너리 이미지에 적용하여 상기 이미지 정렬 단계를 수행하는 얼굴 및 손 탐색 방법.
  11. 제1항에 있어서, 상기 매칭단계는,
    상기 특정 부위에 대응되는 상기 알지비 이미지 및 상기 깊이 이미지에 대한 정보를 포함하는 매칭 이미지를 더 생성하는 얼굴 및 손 탐색 방법.
KR1020100138588A 2010-12-30 2010-12-30 알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법 KR101156547B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100138588A KR101156547B1 (ko) 2010-12-30 2010-12-30 알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100138588A KR101156547B1 (ko) 2010-12-30 2010-12-30 알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법

Publications (1)

Publication Number Publication Date
KR101156547B1 true KR101156547B1 (ko) 2012-06-20

Family

ID=46688980

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100138588A KR101156547B1 (ko) 2010-12-30 2010-12-30 알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법

Country Status (1)

Country Link
KR (1) KR101156547B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743191A (zh) * 2021-07-16 2021-12-03 深圳云天励飞技术股份有限公司 人脸图像对齐检测方法、装置、电子设备及存储介质
CN115475349A (zh) * 2021-06-15 2022-12-16 丰田自动车株式会社 步行状态测量系统、步行状态测量方法和非暂时性计算机可读介质
US12094134B2 (en) 2021-08-04 2024-09-17 Hyundai Motor Company Electronic device and method for tracking object thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090027003A (ko) * 2007-09-11 2009-03-16 삼성전자주식회사 영상 매칭 장치 및 방법
KR20090087638A (ko) * 2008-02-13 2009-08-18 삼성전자주식회사 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치
KR100916836B1 (ko) * 2008-05-29 2009-09-14 고려대학교 산학협력단 지시형 제스처를 인식하는 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090027003A (ko) * 2007-09-11 2009-03-16 삼성전자주식회사 영상 매칭 장치 및 방법
KR20090087638A (ko) * 2008-02-13 2009-08-18 삼성전자주식회사 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치
KR100916836B1 (ko) * 2008-05-29 2009-09-14 고려대학교 산학협력단 지시형 제스처를 인식하는 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115475349A (zh) * 2021-06-15 2022-12-16 丰田自动车株式会社 步行状态测量系统、步行状态测量方法和非暂时性计算机可读介质
CN113743191A (zh) * 2021-07-16 2021-12-03 深圳云天励飞技术股份有限公司 人脸图像对齐检测方法、装置、电子设备及存储介质
CN113743191B (zh) * 2021-07-16 2023-08-01 深圳云天励飞技术股份有限公司 人脸图像对齐检测方法、装置、电子设备及存储介质
US12094134B2 (en) 2021-08-04 2024-09-17 Hyundai Motor Company Electronic device and method for tracking object thereof

Similar Documents

Publication Publication Date Title
CN108764024B (zh) 人脸识别模型的生成装置、方法及计算机可读存储介质
US10444617B2 (en) Image processing apparatus and image processing method
JP5952001B2 (ja) 深さ情報を用いたカメラモーションの推定方法および装置、拡張現実システム
US6671399B1 (en) Fast epipolar line adjustment of stereo pairs
WO2017041731A1 (en) Markerless multi-user multi-object augmented reality on mobile devices
KR101633359B1 (ko) 투사 불변량을 이용한 무표식 증강 현실 구현 시스템 및 그 방법
US20130051626A1 (en) Method And Apparatus For Object Pose Estimation
EP3182371A1 (en) Threshold determination in for example a type ransac algorithm
WO2015037178A1 (ja) 姿勢推定方法及びロボット
KR101261409B1 (ko) 영상 내 노면표시 인식시스템
CN103530599A (zh) 一种真实人脸和图片人脸的区别方法和系统
CN103252778A (zh) 用于估计机器人位置的设备及其方法
WO2014017006A1 (ja) 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム
KR20080029080A (ko) 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법
US9268408B2 (en) Operating area determination method and system
CN110189347B (zh) 一种测量物体体积的方法及终端
CN105957107A (zh) 行人检测与跟踪方法及装置
EP3185212B1 (en) Dynamic particle filter parameterization
KR101156547B1 (ko) 알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법
CN107392953A (zh) 基于等高线的深度图像识别方法
KR20120020711A (ko) 물체 인식 시스템 및 그 물체 인식 방법
JPH07103715A (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
Lee et al. A Hand gesture recognition system based on difference image entropy
JP6016242B2 (ja) 視点推定装置及びその分類器学習方法
CN109410272B (zh) 一种变压器螺母识别与定位装置及方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160510

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180625

Year of fee payment: 7