KR20060057627A - 웨이팅 정보를 이용하는 객체 자세 추정/조합 시스템 - Google Patents

웨이팅 정보를 이용하는 객체 자세 추정/조합 시스템 Download PDF

Info

Publication number
KR20060057627A
KR20060057627A KR1020067004282A KR20067004282A KR20060057627A KR 20060057627 A KR20060057627 A KR 20060057627A KR 1020067004282 A KR1020067004282 A KR 1020067004282A KR 20067004282 A KR20067004282 A KR 20067004282A KR 20060057627 A KR20060057627 A KR 20060057627A
Authority
KR
South Korea
Prior art keywords
image
dimensional
posture
weighting coefficient
pose
Prior art date
Application number
KR1020067004282A
Other languages
English (en)
Other versions
KR100831187B1 (ko
Inventor
마사히코 하마나카
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Publication of KR20060057627A publication Critical patent/KR20060057627A/ko
Application granted granted Critical
Publication of KR100831187B1 publication Critical patent/KR100831187B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

자세의 상이한 조건, 조명에 따라 캡쳐된 객체의 이미지에 대하여, 적절한 웨이팅 계수를 설정함으로써 매우 정확하게 객체의 자세를 추정 및 조합시키기 위해 객체 자세 추정 및 조합 시스템이 개시된다. 자세 후보 판정 유닛은 객체에 대한 자세 후보를 판정한다. 비교 이미지 생성 유닛은, 참조 3 차원 객체 모델에 기초하여, 자세 후보에 따라 입력 이미지에 가까운 비교 이미지를 생성시킨다. 웨이팅 계수 변환 유닛은, 표준 3 차원 기준 포인트와 참조 3 차원 기준 포인트를 이용하여, 표준 3 차원 웨이팅 계수와 참조 3 차원 객체 모델 사이의 좌표 대응을 판정하고, 표준 3 차원 웨이팅 계수를 자세 후보에 따라 2 차원 웨이팅 계수로 변환한다. 웨이팅 조합 및 자세 선택 유닛은, 2 차원 웨이팅 계수를 이용하여, 상기 입력 이미지와 비교 이미지 사이의 웨이팅 거리 값 또는 유사도를 계산하고, 비교 이미지들 중, 객체까지의 거리 값이 가장 작거나 객체에 관한 유사도가 가장 큰 하나의 비교 이미지를 선택함으로써, 객체의 자세를 추정 및 조합시킨다.

Description

웨이팅 정보를 이용하는 객체 자세 추정/조합 시스템{OBJECT POSTURE ESTIMATION/CORRELATION SYSTEM USING WEIGHT INFORMATION}
기술분야
본 발명은 자세, 조명 등의 상이한 조건에 따라 캡쳐된 객체 (인물의 얼굴을 포함함) 의 입력 이미지를, 데이터베이스 (DB) 에 저장된 참조 이미지 및 3 차원 객체 모델에 대하여 조합 (matching) 시킴으로써 객체의 자세를 추정 및 조합하는 객체 자세 추정 및 조합 시스템에 관한 것이다.
배경 기술
종래의 객체 자세 추정 및 조합 시스템의 일 예는, Shimada 등의 "Method of constructing a dictionary for personal identification independent of face orientation" IEICE TRANSACTIONS D-Ⅱ, Vol.J78-D-Ⅱ, No. 11, 1639 ~ 1649 페이지, 1995 (이하, 제 1 종래 기술로 지칭됨) 에 개시되어 있다. 도 1 에 도시된 바와 같이, 제 1 종래 기술에 따른 객체 자세 추정 및 조합 시스템은, 이미지 입력 유닛 (10), 정규화부 (normalizer; 15), 조합 및 자세 선택 유닛 (41), 및 자세별 참조 이미지 저장 유닛 (85) 을 갖는다.
이와 같이 구성된 종래의 객체 자세 추정 및 조합 시스템은 다음과 같이 동작한다: 즉, 자세별 참조 이미지 저장 유닛 (85) 은 하나 이상의 자세 조건에 따라 하나 이상의 객체에 대해 캡쳐된 적어도 하나의 자세별 참조 이미지를 저장한다. 각각의 자세별 참조 이미지는, 하나의 이미지 또는 각각의 자세에 대해 캡쳐된 이미지들의 평균으로부터 생성된다. 이미지 입력 유닛 (10) 은 카메라 등에 의해 구현되며, 캡쳐된 입력 이미지를 메모리 (도시되지 않음) 에 저장한다. 입력 이미지는 기록 파일로부터 판독될 수도 있고, 또는 네트워크를 통해 획득될 수도 있다. 정규화부 (15) 는, 객체로부터 추출된 피쳐 포인트 (feature point) 를 이용하여 입력 이미지를 정렬하고, 정규화 이미지를 생성시킨다. 도시된 시스템에서, 정규화부 (15) 는, 피쳐 포인트로서, 예를 들어, 눈이나 입과 같은 특징적인 부분의 위치를 검출함으로써 입력 이미지를 정렬시킨다. 또한, 자세별 참조 이미지는 정규화되어 저장된다. 종종, 정규화 이미지는 피쳐 추출 프로세스에 의해 획득된 피쳐를 이용한다. 조합 및 자세 선택 유닛 (41) 은, 자세별 참조 이미지 저장 유닛 (85) 으로부터 획득된 각각의 객체의 자세별 참조 이미지와 정규화 이미지 사이의 거리 값 (또는, 유사도) 을 계산하며, 참조 이미지들 중, 객체까지의 거리 값이 가장 작은 (유사도가 가장 큰) 하나의 참조 이미지를 선택함으로써, 최적의 자세를 추정한다. 예를 들어, 정규화 상관도나 유클리드 거리를 이용하여 거리 값이 계산된다. 입력 이미지가 하나의 객체에 대하여 조합 (일 대 일 조합) 되는 경우, 최소 거리 값이 임계값과 비교되어 입력 이미지가 객체와 동일한지 여부를 판정한다. 입력 이미지에 가장 가까운 복수의 객체들 (참조 이미지들) 중 하나가 탐색되는 경우 (일 대 N 조합), 각각의 객체까지의 판정된 최소의 거리 값들 중 가장 작은 거리 값을 갖는 객체들 중 하나가 추출된다.
종래의 객체 자세 추정 및 조합 시스템의 또 다른 예는 JP-2003-58896A (이 하, 제 2 종래 기술로 지칭됨) 에 개시되어 있다. 도 2 에 도시된 바와 같이, 제 2 종래 기술에 따른 종래의 객체 자세 추정 및 조합 시스템은, 이미지 입력 유닛 (10), 비교 이미지 생성부 (20), 자세 후보 판정 유닛 (30), 조합 및 자세 선택 유닛 (41), 및 참조 3 차원 객체 모델 저장 유닛 (55) 을 갖는다.
이와 같이 구성된 종래의 객체 자세 추정 및 조합 시스템은 다음과 같이 동작한다: 즉, 참조 3 차원 객체 모델 저장 유닛 (55) 에는, 각각의 객체의 참조 3 차원 객체 모델 (객체의 3 차원 형상 및 객체 표면 질감) 을 등록한다. 자세 후보 판정 유닛 (30) 은 적어도 하나의 자세 후보를 판정한다. 비교 이미지 생성부 (20) 는, 참조 3 차원 객체 모델 저장 유닛 (55) 으로부터 획득된 참조 3 차원 객체 모델에 기초하여, 입력 이미지의 조명 조건에 가까운 조명 조건을 갖는 비교 이미지를 생성시킨다. 조합 및 자세 선택 유닛 (41) 은, 입력 이미지와 비교 이미지 사이의 거리 값 (또는, 유사도) 을 계산하고, 비교 이미지들 중, 모델 (객체) 까지의 거리 값이 가장 작은 하나의 비교 이미지 (자세 후보) 를 선택함으로써, 최적의 자세를 추정한다.
종래의 객체 조합 시스템의 또 다른 예는, Guo 등의 "Human face recognition based on spatially weighted Hausdorff distance" Pattern Recognition Letters, Vol.24, 499 ~ 507 페이지, 2003 (이하, "제 3 종래 기술" 로 지칭됨) 에 개시되어 있다. 도 3 에 도시된 바와 같이, 제 3 종래 기술에 따른 종래의 객체 조합 시스템은, 이미지 입력 유닛 (10), 정규화부 (15), 웨이팅 조합 유닛 (45), 참조 이미지 저장 유닛 (89), 및 웨이팅 계수 저장 유닛 (99) 을 갖는다.
이와 같이 구성된 종래의 객체 조합 시스템은 다음과 같이 동작한다: 즉, 이미지 입력 유닛 (10) 및 정규화부 (15) 는 제 1 종래 기술에 따라, 동일한 참조 부호로 표시된 컴포넌트와 동일한 방식으로 동작한다. 참조 이미지 저장 유닛 (89) 은 각각의 객체에 대한 적어도 하나의 참조 이미지를 저장한다. 웨이팅 계수 저장 유닛 (99) 은 정규화 이미지와 참조 이미지를 비교하기 위해 이용될 픽셀 (또는, 피쳐) 에 대한 웨이팅 계수를 저장한다. 웨이팅 조합 유닛 (45) 은, 참조 이미지 저장 유닛 (89) 으로부터 획득된 각각의 객체의 참조 이미지와 정규화 이미지 사이의 거리 값 (또는, 유사도) 을 계산하며, 참조 이미지들 중, 거리 값이 가장 작은 하나의 참조 이미지를 선택함으로써, 입력 이미지를 조합시킨다. 예를 들어, 유클리드 거리가 거리를 계산하기 위해 이용되는 경우, 웨이팅 유클리드 거리는
Figure 112006015005348-PCT00001
에 따라 계산되며, x(r) 은 정규화 이미지를 나타내고, m(r) 은 비교 이미지를 나타내며, w(r) 은 웨이팅 계수를 나타낸다 (r 은 픽셀 또는 피쳐 인덱스를 나타낸다).
상술된 종래의 객체 조합 시스템은, 다음의 문제점들을 갖는다:
제 1 종래 기술 및 제 2 종래 기술에 의하면, 자세가 추정 및 조합될 수 있지만, 객체의 국부 변형 및 상이한 이미지 캡쳐링 조건으로 인해, DB 로부터의 참조 이미지 또는 비교 이미지와, 입력 이미지 사이에 큰 국부 차이가 발생하는 경우에, 자세가 추정되고 조합되는 것에 대한 정밀도가 낮아지는 문제점을 갖는다.
객체가 변형되는 경우, 객체의 자세가 참조 이미지 또는 비교 이미지의 자세와 대체로 정렬될지라도, 객체는 참조 이미지 또는 비교 이미지와 정렬되지 않는 국부 영역을 갖기 때문에, 국부 영역에 상이한 픽셀 값 (또는, 피쳐) 을 야기한다는 것이 상기 문제점에 대한 이유이다. 객체가 변형되지 않고 국부 영역과 정렬된 경우에도, 제 1 종래 기술에 의하면, 입력 이미지와 참조 이미지가 상이한 조건에 따라 캡쳐되는 경우, 크게 상이한 픽셀 값을 갖는 국부 영역이 발생하게 되었다. 예를 들어, 입력 이미지와 참조 이미지가 상이한 조명 조건에 따라 캡쳐되는 경우, 그림자가 상이한 영역에 생기게 된다. 제 2 종래 기술에 의하면, 3 차원 객체 측정에서의 에러의 관측 및 비교 이미지를 생성하는 간략화된 프로세스 때문에, 입력 이미지에 가장 가까운 비교 이미지가 생성되는 경우라도, 상이한 국부 영역을 갖는다.
제 3 종래 기술에는, 입력 이미지와 참조 이미지에 있어서의 객체 자세 및 조명 조건이 서로 상이한 경우, 조합 정밀도가 감소되는 문제가 있다.
웨이팅 계수가 객체의 영역에 대해 설정되며, 자세 조건이 상이한 경우, 객체는 불일치 영역을 갖기 때문에, 적절한 웨이팅 조합을 수행하는 것이 불가능하다는 것이 제 3 종래 기술의 문제점에 대한 이유이다. 또한, 조명 조건이 상이한 경우, 조합을 위해 중요한 영역이 종종 변한다. 그러나, 웨이팅 계수가 동일하게 유지되기 때문에, 적절한 웨이팅 조합이 수행될 수 없다.
본 발명의 설명
본 발명의 목적은, 큰 국부 차이가 입력 이미지와 DB 로부터의 이미지들 사 이의 비교에 의해 발생되는 경우라도, 자세에 따라 적절한 웨이팅 계수를 설정함으로써, 객체의 자세를 매우 정확하게 추정 및 조합시키는 객체 자세 추정 및 조합 시스템을 제공하는 것이다.
본 발명의 또 다른 목적은, 변형 및 조명 조건 변동으로 발생할 수도 있는 변동에 따라 적절한 웨이팅 계수를 설정함으로써, 객체의 자세를 추정 및 조합시키는 객체 자세 추정 및 조합 시스템을 제공하는 것이다.
본 발명의 제 1 양태에 의하면, 객체 자세 추정 및 조합 시스템은,
객체의 참조 3 차원 객체 모델을 미리 저장하는 참조 3 차원 객체 모델 저장 수단,
상기 참조 3 차원 객체 모델에 대응하는 참조 3 차원 웨이팅 계수를 미리 저장하는 참조 3 차원 웨이팅 계수 저장 수단,
객체에 대한 자세 후보를 판정하는 자세 후보 판정 수단,
상기 참조 3 차원 객체 모델에 기초하여, 상기 자세 후보에 따라 입력 이미지에 가까운 비교 이미지를 생성하는 비교 이미지 생성 수단,
상기 참조 3 차원 객체 모델을 이용하여, 상기 참조 3 차원 웨이팅 계수를, 상기 자세 후보에 따라 2 차원 웨이팅 계수로 변환하는 웨이팅 계수 변환 수단, 및
상기 2 차원 웨이팅 계수를 이용하여, 상기 입력 이미지와 상기 비교 이미지 사이의 웨이팅 거리 값 또는 유사도를 계산하고, 비교 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 비교 이미지를 선택함으로써, 상기 객체의 자세를 추정 및 조합시키는, 웨이팅 조합 및 자세 선택 수단을 포함한다.
3 차원 객체 모델에 대응하는 3 차원 웨이팅 계수가 생성되어 저장된다. 입력 이미지를 조합시키기 위해, 자세 후보에 따라 참조 3 차원 객체 모델로부터 비교 이미지가 생성되고, 3 차원 웨이팅 계수가 2 차원 웨이팅 계수로 변환되어, 웨이팅 거리가 계산된다. 따라서, 자세에 따라 적절한 웨이팅 계수를 설정함으로써, 매우 정확한 자세 추정 및 조합이 수행될 수 있다.
본 발명의 제 2 양태에 의하면, 객체 자세 추정 및 조합 시스템은,
객체의 참조 3 차원 객체 모델을 미리 저장하는 참조 3 차원 객체 모델 저장 수단,
표준 3 차원 웨이팅 계수를 미리 저장하는 표준 3 차원 웨이팅 계수 저장 수단,
상기 참조 3 차원 객체 모델에 대응하는 참조 3 차원 기준 포인트를 미리 저장하는 참조 3 차원 기준 포인트 저장 수단,
표준 3 차원 객체 모델에 대응하는 표준 3 차원 기준 포인트를 미리 저장하는 표준 3 차원 기준 포인트 저장 수단,
객체에 대한 자세 후보를 판정하는 자세 후보 판정 수단,
상기 참조 3 차원 객체 모델에 기초하여, 상기 자세 후보에 따라 입력 이미지에 가까운 비교 이미지를 생성하는 비교 이미지 생성 수단,
상기 표준 3 차원 기준 포인트와 상기 참조 3 차원 기준 포인트를 이용하여, 상기 표준 3 차원 웨이팅 계수와 상기 참조 3 차원 객체 모델 사이의 좌표 대응을 판정하고, 상기 표준 3 차원 웨이팅 계수를, 상기 자세 후보에 따라 2 차원 웨이팅 계수로 변환하는, 웨이팅 계수 변환 수단, 및
상기 2 차원 웨이팅 계수를 이용하여, 상기 입력 이미지와 비교 이미지들 사이의 웨이팅 거리 값 또는 유사도를 계산하고, 비교 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 비교 이미지를 선택함으로써, 상기 객체의 자세를 추정 및 조합시키는, 웨이팅 조합 및 자세 선택 수단을 포함한다.
자세 후보에 따라 참조 3 차원 객체 모델로부터 비교 이미지가 생성되고, 3 차원 웨이팅 계수가 2 차원 웨이팅 계수로 변환되어, 웨이팅 거리가 계산된다. 따라서, 자세에 따라 적절한 웨이팅 계수를 설정함으로써, 매우 정확한 자세 추정 및 조합이 수행될 수 있다.
본 발명의 제 3 양태에 의하면, 객체 자세 추정 및 조합 시스템은,
객체의 참조 3 차원 객체 모델을 미리 저장하는 참조 3 차원 객체 모델 저장 수단,
상기 참조 3 차원 객체 모델과 이미지 변동에 대응하는 참조 3 차원 웨이팅 계수를 미리 저장하는 변동별 참조 3 차원 웨이팅 계수 저장 수단,
객체에 대한 자세 후보를 판정하는 자세 후보 판정 수단,
상기 자세 후보와 상기 참조 3 차원 객체 모델을 이용하여, 3 차원 객체 모델의 영역과 입력 이미지 사이의 대응을 판정하고, 상기 입력 이미지의 소정의 영역의 이미지 정보에 기초하여 변동을 추정하는, 변동 추정 수단,
상기 참조 3 차원 객체 모델에 기초하여, 상기 자세 후보에 따라 입력 이미지에 가까운 비교 이미지를 생성하는 비교 이미지 생성 수단,
상기 참조 3 차원 객체 모델을 이용하여, 추정된 변동에 대응하는 상기 참조 3 차원 웨이팅 계수를 상기 자세 후보에 따라 2 차원 웨이팅 계수로 변환하는 웨이팅 계수 변환 수단, 및
상기 2 차원 웨이팅 계수를 이용하여, 상기 입력 이미지와 상기 비교 이미지 사이의 웨이팅 거리 값 또는 유사도를 계산하고, 비교 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 비교 이미지를 선택함으로써, 상기 객체의 자세를 추정 및 조합시키는, 웨이팅 조합 및 자세 선택 수단을 포함한다.
자세 후보에 따라 참조 3 차원 객체 모델로부터 비교 이미지가 생성되고, 3 차원 웨이팅 계수가 2 차원 웨이팅 계수로 변환되어, 웨이팅 거리가 계산된다. 따라서, 자세에 따라 적절한 웨이팅 계수를 설정함으로써, 매우 정확한 자세 추정 및 조합이 수행될 수 있다. 또한, 입력 이미지에서 발생할 수 있는 변동에 대응하는 변동별 3 차원 웨이팅 계수가 지지되고, 입력 이미지로부터 변동이 추정되며, 대응하는 3 차원 웨이팅 계수가 사용된다. 따라서, 객체 변형 및 조명 조건 변동으로 발생할 수도 있는 변동에 따라 적절한 웨이팅 계수를 설정함으로써, 매우 정확한 자세 추정 및 조합이 수행될 수 있다.
본 발명의 제 4 양태에 의하면, 객체 자세 추정 및 조합 시스템은,
객체의 참조 3 차원 객체 모델을 미리 저장하는 참조 3 차원 객체 모델 저장 수단,
이미지 변동에 대응하는 표준 3 차원 웨이팅 계수를 미리 저장하는 변동별 표준 3 차원 웨이팅 계수 저장 수단,
상기 참조 3 차원 객체 모델에 대응하는 참조 3 차원 기준 포인트를 미리 저장하는 참조 3 차원 기준 포인트 저장 수단,
표준 3 차원 객체 모델에 대응하는 표준 3 차원 기준 포인트를 미리 저장하는 표준 3 차원 기준 포인트 저장 수단,
객체에 대한 자세 후보를 판정하는 자세 후보 판정 수단,
상기 자세 후보 및 상기 참조 3 차원 객체 모델을 이용하여, 3 차원 객체 모델의 영역과 입력 이미지 사이의 대응을 판정하고, 상기 입력 이미지의 소정의 영역의 이미지 정보에 기초하여 변동을 추정하는, 변동 추정 수단,
상기 참조 3 차원 객체 모델에 기초하여, 상기 자세 후보에 따라 입력 이미지에 가까운 비교 이미지를 생성하는 비교 이미지 생성 수단,
상기 표준 3 차원 기준 포인트와 상기 참조 3 차원 기준 포인트를 이용하여, 추정된 변동에 대응하는 상기 표준 3 차원 웨이팅 계수와 상기 참조 3 차원 객체 모델 사이의 좌표 대응을 판정하고, 상기 표준 3 차원 웨이팅 계수를 상기 자세 후보에 따라 2 차원 웨이팅 계수로 변환하는, 웨이팅 계수 변환 수단, 및
상기 2 차원 웨이팅 계수를 이용하여, 상기 입력 이미지와 상기 비교 이미지 사이의 웨이팅 거리 값 또는 유사도를 계산하고, 비교 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 비교 이미지 를 선택함으로써, 상기 객체의 자세를 추정 및 조합시키는, 웨이팅 조합 및 자세 선택 수단을 포함한다.
자세 후보에 따라 참조 3 차원 객체 모델로부터 비교 이미지가 생성되고, 3 차원 웨이팅 계수가 2 차원 웨이팅 계수로 변환되어, 웨이팅 거리가 계산된다. 따라서, 자세에 따라 적절한 웨이팅 계수를 설정함으로써, 매우 정확한 자세 추정 및 조합이 수행될 수 있다. 또한, 입력 이미지에서 발생할 수 있는 변동에 대응하는 변동별 3 차원 웨이팅 계수가 지지되고, 변동이 입력 이미지로부터 추정되며, 대응하는 3 차원 웨이팅 계수가 사용된다. 따라서, 객체 변형 및 조명 조건 변동으로 발생할 수도 있는 변동에 따라 적절한 웨이팅 계수를 설정함으로써, 매우 정확한 자세 추정 및 조합이 수행될 수 있다.
본 발명의 제 5 양태에 의하면, 객체 자세 추정 및 조합 시스템은,
객체의 자세별 참조 이미지를 미리 저장하는 자세별 참조 이미지 저장 수단,
상기 참조 이미지에 대응하는 자세별 참조 웨이팅 계수를 미리 저장하는 자세별 참조 웨이팅 계수 저장 수단,
졍규화 이미지를 생성하기 위해 입력 이미지를 정규화하는 정규화 수단, 및
상기 자세별 웨이팅 계수를 이용하여, 상기 정규화 이미지와 상기 참조 이미지 사이의 웨이팅 거리 값 또는 유사도를 계산하고, 참조 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 참조 이미지를 선택함으로써, 상기 객체의 자세를 추정 및 조합시키는, 웨이팅 조합 및 자세 선택 수단을 포함한다.
자세별 참조 이미지에 대응하는 자세별 웨이팅 계수를 이용하여, 웨이팅 거리가 계산된다. 따라서, 자세에 따라 적절한 웨이팅 계수를 설정함으로써, 매우 정확한 자세 추정 및 조합이 수행될 수 있다.
본 발명의 제 6 양태에 의하면, 객체 자세 추정 및 조합 시스템은,
객체의 자세별 참조 이미지를 미리 저장하는 자세별 참조 이미지 저장 수단,
자세별 표준 웨이팅 계수를 미리 저장하는 자세별 표준 웨이팅 계수 저장 수단,
정규화 이미지를 생성하기 위해 입력 이미지를 정규화하는 정규화 수단, 및
상기 자세별 웨이팅 계수를 이용하여, 상기 정규화 이미지와 상기 참조 이미지 사이의 웨이팅 거리 값 또는 유사도를 계산하고, 참조 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 참조 이미지를 선택함으로써, 상기 객체의 자세를 추정 및 조합시키는, 웨이팅 조합 및 자세 선택 수단을 포함한다.
자세별 참조 이미지에 대응하는 자세별 웨이팅 계수를 이용하여, 웨이팅 거리가 계산된다. 따라서, 자세에 따라 적절한 웨이팅 계수를 설정함으로써, 매우 정확한 자세 추정 및 조합이 수행될 수 있다.
본 발명의 제 7 양태에 의하면, 객체 자세 추정 및 조합 시스템은,
객체의 자세별 참조 이미지를 미리 저장하는 자세별 참조 이미지 저장 수단,
상기 참조 이미지와 이미지 변동에 대응하는 자세- 및 변동-별 참조 웨이팅 계수를 미리 저장하는 자세- 및 변동-별 참조 웨이팅 계수 저장 수단,
표준 3 차원 객체 모델을 미리 저장하는 표준 3 차원 객체 모델 저장 수단,
정규화 이미지를 생성하기 위해 입력 이미지를 정규화하는 정규화 수단,
상기 참조 이미지의 자세 정보와 상기 표준 3 차원 객체 모델을 이용하여, 3 차원 객체 모델의 영역과 정규화 이미지 사이의 대응을 판정하고, 상기 정규화 이미지의 소정의 영역의 이미지 정보에 기초하여 변동을 추정하는, 변동 추정 수단, 및
추정된 변동에 대응하는 자세- 및 변동-별 웨이팅 계수와 상기 참조 이미지의 자세 정보를 이용하여, 상기 정규화 이미지와 상기 참조 이미지 사이의 웨이팅 거리 값 또는 유사도를 계산하고, 참조 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 참조 이미지를 선택함으로써, 상기 객체의 자세를 추정 및 조합시키는, 웨이팅 조합 및 자세 선택 수단을 포함한다.
자세별 참조 이미지에 대응하는 자세별 웨이팅 계수를 이용하여 웨이팅 거리가 계산된다. 따라서, 자세에 따라 적절한 웨이팅 계수를 설정함으로써, 매우 정확한 자세 추정 및 조합이 수행될 수 있다. 또한, 입력 이미지에서 발생할 수 있는 변동에 대응하는 자세- 및 변동-별 웨이팅 계수가 지지되고, 변동이 정규화 이미지로부터 추정되며, 대응하는 웨이팅 계수가 사용된다. 따라서, 객체 변형 및 조명 조건 변동으로 발생할 수도 있는 변동에 따라 적절한 웨이팅 계수를 설정함으로써, 매우 정확한 자세 추정 및 조합이 수행될 수 있다.
본 발명의 제 8 양태에 의하면, 객체 자세 추정 및 조합 시스템은,
객체의 자세별 참조 이미지를 미리 저장하는 자세별 참조 이미지 저장 수단,
이미지 변동에 대응하는 자세- 및 변동-별 표준 웨이팅 계수를 미리 저장하는 자세- 및 변동-별 표준 웨이팅 계수 저장 수단,
표준 3 차원 객체 모델을 미리 저장하는 표준 3 차원 객체 모델 저장 수단,
정규화 이미지를 생성하기 위해 입력 이미지를 정규화하는 정규화 수단,
상기 참조 이미지의 자세 정보 및 상기 표준 3 차원 객체 모델을 이용하여, 3 차원 객체 모델의 영역과 정규화 이미지 사이의 대응을 판정하고, 상기 정규화 이미지의 소정의 영역의 이미지 정보에 기초하여 변동을 추정하는, 변동 추정 수단, 및
추정된 변동에 대응하는 상기 자세- 및 변동-별 웨이팅 계수 및 상기 참조 이미지의 자세 정보를 이용하여, 상기 정규화 이미지와 상기 참조 이미지 사이의 웨이팅 거리 값 또는 유사도를 계산하며, 참조 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 참조 이미지를 선택함으로써, 상기 객체의 자세를 추정 및 조합시키는, 웨이팅 조합 및 자세 선택 수단을 포함한다.
자세별 참조 이미지에 대응하는 자세별 웨이팅 계수를 이용하여, 웨이팅 거리가 계산된다. 따라서, 자세에 따라 적절한 웨이팅 계수를 설정함으로써, 매우 정확한 자세 추정 및 조합이 수행될 수 있다. 또한, 입력 이미지에서 발생할 수 있는 변동에 대응하는 자세- 및 변동-별 웨이팅 계수가 지지되고, 변동이 정규화 이미지로부터 추정되며, 대응하는 웨이팅 계수가 사용된다. 따라서, 객체 변형 및 조명 조건 변동으로 발생할 수도 있는 변동에 따라 적절한 웨이팅 계수를 설정함으로써, 매우 정확한 자세 추정 및 조합이 수행될 수 있다.
도면의 간단한 설명
도 1 은 제 1 종래 기술에 따른 구성을 나타낸 블록도이다.
도 2 는 제 2 종래 기술에 따른 구성을 나타낸 블록도이다.
도 3 은 제 3 종래 기술에 따른 구성을 나타낸 블록도이다.
도 4 는 본 발명의 제 1 실시형태에 따른 객체 자세 추정 및 조합 시스템의 구성을 나타낸 블록도이다.
도 5 는 제 1 실시형태의 동작 시퀀스 (자세 추정) 를 나타낸 흐름도이다.
도 6 은 제 1 실시형태의 동작 시퀀스 (일 대 일 조합) 를 나타낸 흐름도이다.
도 7 은 제 1 실시형태의 동작 시퀀스 (일 대 N 조합) 를 나타낸 흐름도이다.
도 8 은 제 1 실시형태의 동작 시퀀스 (등록) 를 나타낸 흐름도이다.
도 9 는 제 1 실시형태에 따른 3 차원 객체 모델의 좌표의 특정한 예를 도시한 도면이다.
도 10 은 제 1 실시형태에 따른 참조 3 차원 객체 모델의 특정한 예를 도시한 도면이다.
도 11 은 제 1 실시형태에 따른 참조 3 차원 웨이팅 계수의 특정한 예를 도시한 도면이다.
도 12 는 제 1 실시형태에 따른 입력 이미지의 특정한 예를 도시한 도면이다.
도 13 은 제 1 실시형태에 따른 비교 이미지의 특정한 예를 도시한 도면이다.
도 14 는 제 1 실시형태에 따른 2 차원 웨이팅 계수의 특정한 예를 도시한 도면이다.
도 15 는 제 1 실시형태에 따른 학습용 이미지의 특정한 예를 도시한 도면이다.
도 16 은 제 1 실시형태에 따른 비교 이미지의 특정한 예를 도시한 도면이다.
도 17 은 본 발명의 제 2 실시형태에 따른 객체 자세 추정 및 조합 시스템의 구성을 나타낸 블록도이다.
도 18 은 제 2 실시형태의 동작 시퀀스 (자세 추정) 를 나타낸 흐름도이다.
도 19 는 제 2 실시형태에 따른 표준 3 차원 웨이팅 계수의 특정한 예를 도시한 도면이다.
도 20 은 제 2 실시형태에 따른 표준 3 차원 기준 포인트의 특정한 예를 도시한 도면이다.
도 21 은 제 2 실시형태에 따른 참조 3 차원 기준 포인트의 특정한 예를 도시한 도면이다.
도 22 는 제 2 실시형태에 따른 2 차원 웨이팅 계수의 특정한 예를 도시한 도면이다.
도 23 은 본 발명의 제 3 실시형태에 따른 객체 자세 추정 및 조합 시스템의 구성을 나타낸 블록도이다.
도 24 는 제 23 실시형태의 동작 시퀀스 (자세 추정) 를 나타낸 흐름도이다.
도 25 는 제 3 실시형태의 동작 시퀀스 (등록) 를 나타낸 흐름도이다.
도 26 은 제 3 실시형태에 따른 변동 (조명 조건) 의 특정한 예를 도시한 도면이다.
도 27 은 제 3 실시형태에 따른 변동별 참조 3 차원 웨이팅 계수의 특정한 예를 도시한 도면이다.
도 28 은 제 3 실시형태에 따른 입력 이미지의 특정한 예를 도시한 도면이다.
도 29 는 제 3 실시형태에 따른 비교 이미지의 특정한 예를 도시한 도면이다.
도 30 은 제 3 실시형태에 따른 2 차원 웨이팅 계수의 특정한 예를 도시한 도면이다.
도 31 은 본 발명의 제 4 실시형태에 따른 객체 자세 추정 및 조합 시스템의 구성을 나타낸 블록도이다.
도 32 는 제 4 실시형태의 동작 시퀀스 (자세 추정) 를 나타낸 흐름도이다.
도 33 은 제 4 실시형태에 따른 변동별 참조 3 차원 웨이팅 계수의 특정한 예를 도시한 도면이다.
도 34 는 제 4 실시형태에 따른 2 차원 웨이팅 계수의 특정한 예를 도시한 도면이다.
도 35 는 본 발명의 제 5 실시형태에 따른 객체 자세 추정 및 조합 시스템의 구성을 나타낸 블록도이다.
도 36 은 제 5 실시형태의 동작 시퀀스 (자세 추정) 를 나타낸 흐름도이다.
도 37 은 제 5 실시형태의 동작 시퀀스 (등록) 를 나타낸 흐름도이다.
도 38 은 제 5 실시형태에 따른 자세별 참조 이미지의 특정한 예를 도시한 도면이다.
도 39 는 제 5 실시형태에 따른 자세별 참조 웨이팅 계수의 특정한 예를 도시한 도면이다.
도 40 은 제 5 실시형태에 따른 정규화 이미지의 특정한 예를 도시한 도면이다.
도 41 은 본 발명의 제 6 실시형태에 따른 객체 자세 추정 및 조합 시스템의 구성을 나타낸 블록도이다.
도 42 는 제 6 실시형태의 동작 시퀀스 (자세 추정) 를 나타낸 순서도이다.
도 43 은 제 6 실시형태에 따른 자세별 표준 웨이팅 계수의 특정한 예를 도시한 도면이다.
도 44 는 본 발명의 제 7 실시형태에 따른 객체 자세 추정 및 조합 시스템의 구성을 나타낸 블록도이다.
도 45 는 제 7 실시형태의 동작 시퀀스 (자세 추정) 를 나타낸 흐름도이다.
도 46 은 제 7 실시형태의 동작 시퀀스 (등록) 를 나타낸 흐름도이다.
도 47 은 제 7 실시형태에 따른 자세- 및 변동-별 참조 웨이팅 계수의 특정한 예를 도시한 도면이다.
도 48 은 본 발명의 제 8 실시형태에 따른 객체 자세 추정 및 조합 시스템의 구성을 나타낸 블록도이다.
도 49 는 제 8 실시형태의 동작 시퀀스 (자세 추정) 를 나타낸 흐름도이다.
도 50 은 제 8 실시형태에 따른 자세- 및 변동-별 표준 웨이팅 계수의 특정한 예를 도시한 도면이다.
본 발명을 실시하기 위한 최선의 형태
[제 1 실시형태]
도 4 를 참조하면, 본 발명의 제 1 실시형태에 따른 객체 자세 추정 및 조합 시스템은, 이미지 입력 유닛 (10), 비교 이미지 생성부 (20), 자세 후보 판정 유닛 (30), 웨이팅 조합 및 자세 선택 유닛 (40), 웨이팅 계수 변환부(60), 참조 3 차원 객체 모델 저장 유닛 (55), 참조 3 차원 웨이팅 계수 저장 유닛 (65), 및 등록 유닛 (2) 을 포함한다. 등록 유닛 (2) 은, 3 차원 객체 모델 등록부 (50), 조합 및 자세 선택 유닛 (41), 및 3 차원 웨이팅 계수 생성부 (62) 를 포함한다.
이미지 입력 유닛 (10), 비교 이미지 생성부 (20), 자세 후보 판정 유닛 (30), 참조 3 차원 객체 모델 저장 유닛 (55), 및 조합 및 자세 선택 유닛 (41) 은, 도 2 에 도시된 제 2 종래 기술에 따라, 동일한 참조 부호로 표시된 컴포넌트와 동일한 방식으로 동작한다.
참조 3 차원 웨이팅 계수 저장 유닛 (65) 은 각각의 객체의 참조 3 차원 객체 모델에 대응하는 참조 3 차원 웨이팅 계수를 저장한다.
웨이팅 계수 변환부 (60) 는, 참조 3 차원 객체 모델 저장 유닛 (55) 으로부터 획득된 참조 3 차원 객체 모델을 이용하여, 참조 3 차원 웨이팅 계수 저장 유닛 (65) 으로부터 획득된 참조 3 차원 웨이팅 계수를, 자세 후보 판정 유닛 (30) 으로부터 획득된 자세 후보에 따라 2 차원 웨이팅 계수로 변환시킨다.
웨이팅 조합 및 자세 선택 유닛 (40) 은, 웨이팅 계수 변환부 (60) 로부터 획득된 2 차원 웨이팅 계수를 이용하여, 비교 이미지 생성부 (20) 로부터 획득된 각각의 자세 후보들에 따른 비교 이미지와 이미지 입력 유닛 (10) 으로부터 획득된 입력 이미지 사이의 웨이팅 거리 값 (또는, 유사도) 을 계산하고, 모델 (객체) 까지의 거리 값이 가장 작은 비교 이미지 (자세 후보) 를 선택함으로써, 최적의 자세를 추정한다.
또한, 제 1 종래 기술과 마찬가지로, 입력 이미지를 하나의 객체에 대하여 조합 (일 대 일 조합) 시키기 위해, 최소 거리 값을 임계값과 비교하여, 입력 이미지가 객체와 동일한지 여부를 판정한다. 입력 이미지에 가장 가까운 일 객체에 대한 복수의 객체들을 탐색 (일 대 N 조합) 하기 위해, 각각의 객체까지의 판정된 최소 거리 값들 중에서 거리 값이 가장 작은 객체가 추출된다.
3 차원 객체 모델 등록부 (50) 는 참조 3 차원 객체 모델 저장 유닛 (55) 에 참조 3 차원 객체 모델을 등록한다.
3 차원 웨이팅 계수 생성부 (62) 는, 조합 및 자세 선택 유닛 (41) 으로부터 획득된 최적의 자세의 비교 이미지와 입력 이미지를 이용하여, 참조 3 차원 객체 모델 저장 유닛 (55) 으로부터 획득된 참조 3 차원 객체 모델, 최적의 자세에 의해 판정된 2 차원 이미지, 및 3 차원 모델 사이의 픽셀 대응에 기초한 3 차원 모델에 대한 각각의 픽셀의 조합에 있어서의 중요도를 학습함으로써 참조 3 차원 웨이팅 계수를 생성하고, 생성된 참조 3 차원 웨이팅 계수를 참조 3 차원 웨이팅 계수 저장 유닛 (65) 에 등록한다.
도 5 의 흐름도 및 도 4 를 참조하여, 자세 추정에 대한 본 실시형태의 전체 동작을 이하에 상세히 기술한다.
우선, 모델 (객체) 의 입력 이미지는 이미지 입력 유닛 (10) 에 의해 획득된다 (도 5 의 단계 100). 그 후, 자세 후보 판정 유닛 (30) 은 자세 후보 그룹 {ej} 을 판정한다 (단계 110). 그 후, 비교 이미지 생성부 (20) 는, 참조 3 차원 객체 모델 저장 유닛 (55) 으로부터 획득된 참조 3 차원 객체 모델 (Ck) 에 기초하여, 입력 이미지의 조명 조건에 가까운 조명 조건을 갖는 비교 이미지를 각각의 자세 후보에 관하여 생성시킨다 (단계 120). 웨이팅 계수 변환부 (60) 는, 참조 3 차원 객체 모델을 이용하여, 참조 3 차원 웨이팅 계수 저장 유닛 (65) 으로부터 획득된 참조 3 차원 웨이팅 계수를, 자세 후보에 따라 2 차원 웨이팅 계수로 변환시킨다 (단계 130). 마지막으로, 웨이팅 조합 및 자세 선택 유닛 (40) 은, 2 차원 웨이팅 계수를 이용하여, 입력 이미지와 비교 이미지 사이의 웨이팅 거리 값 (Dkj ; 또는, 유사도) 를 계산하고 (단계 140), 입력 이미지에 대한 모델 (객체) 까 지의 거리 값이 가장 작은 비교 이미지 (자세 후보) 를 선택함으로써, 최적의 자세를 추정한다 (단계 150).
상기 흐름도에서, 거리 값이 가장 작은 자세 후보가 소정의 자세 후보 그룹으로부터 선택된다. 그러나, 자세 후보 판정 유닛 (30) 으로 반환되어, 자세 후보를 연속하여 변경시킴으로써 거리 값이 가장 작은 자세 후보를 탐색할 수도 있다.
도 6 에 도시된 흐름도 및 도 4 를 참조하여, 1 대 1 조합에 대한 본 실시형태의 전체 동작이 이하에 상세히 기술된다.
도 6 에 도시된 단계 100 내지 단계 150 은 도 5 에 도시된 단계 100 내지 단계 150 과 동일하다. 마지막으로, 웨이팅 조합 및 자세 선택 유닛 (40) 은, 최소 거리 값을 임계값과 비교하여, 입력 이미지가 객체와 동일한지 여부를 판정한다 (단계 160).
도 7 에 도시된 흐름도 및 도 4 를 참조하여, 일 대 N 조합에 대한 본 실시형태의 전체 동작이 이하에 상세히 기술된다.
우선, 이미지 입력 유닛 (10) 은 모델 (객체) 의 입력 이미지를 산출한다 (도 7 의 단계 100). 그 후, 웨이팅 조합 및 자세 선택 유닛 (40) 은 모델 넘버 (k) 를 1 로 설정한다 (단계 170). 그 후에, 도 6 에 도시된 자세 추정을 위한 단계 100 내지 단계 150 과 동일한 단계가 각각의 모델 (Ck) 에 대해 실행되어, 각각의 모델 (Ck) 에 대한 최적의 자세에 따라 최소의 거리 값을 판정한다. 그 후 , 모델 넘버 (k) 는 1 씩 증가된다 (단계 171). k 가 모델의 개수 이하인 경우 (단계 172), 그 다음 모델에 대한 최소 거리 값을 계산하기 위해, 단계 110 으로 되 돌아간다. 마지막으로, 가장 작은 최소 거리 값을 갖는 모델 (Ck) 은 조합 프로세스의 결과로서 판정된다 (단계 175).
도 8 에 도시된 흐름도 및 도 4 를 참조하여 등록에 대한 본 실시형태의 전체 동작이 이하에 상세히 기술된다.
우선, 3 차원 객체 모델 등록부 (50) 는 객체 (Ck) 의 참조 3 차원 객체 모델을 참조 3 차원 객체 모델 저장 유닛 (55) 에 등록한다 (도 8 의 단계 300). 그 후, 3 차원 웨이팅 계수 생성부 (62) 는, 우선, 이미지 넘버 (h) 를 1 로 설정 (단계 210) 한 후, 학습용 이미지 및 참조 3 차원 객체 모델을 이용하여, 참조 3 차원 웨이팅 계수를 학습하기 위해 이미지 넘버 (h) 를 갖는 학습용 이미지를 이미지 입력 유닛 (10) 으로부터 입력한다. 그 후, 자세 후보 판정 유닛 (30) 은 자세 후보 그룹 {ej} 을 판정한다 (단계 110). 그 후, 비교 이미지 생성부 (20) 는, 참조 3 차원 객체 모델 저장 유닛 (55) 으로부터 획득된 참조 3 차원 객체 모델 (Ck) 에 기초하여, 이미지의 조명 조건에 가까운 조명 조건을 갖는 비교 이미지를 각각의 자세 후보에 관하여 생성시킨다 (단계 120). 조합 및 자세 선택 유닛 (41) 은 입력 이미지와 비교 이미지 사이의 거리 값 (Dkj'; 또는, 유사도) 을 계산하고 (단계 141), 비교 이미지들(자세 후보들) 중 모델 (객체) 까지의 거리 값이 가장 작은 비교 이미지를 선택함으로써, 최적의 자세를 추정한다 (단계 150). 그 후, 3 차원 웨이팅 계수 생성부 (62) 는 이미지 넘버 (h) 를 1 씩 증가시킨다 (단계 211). 이미지 넘버 (h) 가 학습용 이미지의 개수 (N) 이하인 경우 (단계 212), 그 다음 학습용 이미지에 대응하는 최적의 자세를 갖는 비교 이미지를 판정하기 위해, 단계 200 으로 되 돌아간다. 이미지 넘버 (h) 가 학습용 이미지의 개수 (N) 를 초과한 경우, 3 차원 웨이팅 계수 생성부 (62) 는, 모든 학습용 이미지에 대응하는 최적의 자세의 비교 이미지를 이용하여, 참조 3 차원 객체 모델, 최적의 자세에 의해 판정된 2 차원 이미지, 및 3 차원 모델 사이의 픽셀 대응에 기초하여 3 차원 모델에 대한 각각의 픽셀의 조합에 있어서의 중요도를 학습함으로써, 참조 3 차원 웨이팅 계수를 생성시킨다 (단계 220). 마지막으로, 3 차원 웨이팅 계수 생성부 (62) 는 생성된 참조 3 차원 웨이팅 계수를 참조 3 차원 웨이팅 계수 저장 유닛 (65) 에 등록한다 (단계 230).
이하에, 제 1 실시형태의 이점이 기술된다.
본 실시형태에 의하면, 3 차원 객체 모델에 대응하는 3 차원 웨이팅 계수가 생성되어 저장된다. 입력 이미지를 조합시키기 위해, 자세 후보에 따라 참조 3 차원 객체 모델로부터 비교 이미지가 생성되고, 3 차원 웨이팅 계수가 2 차원 웨이팅 계수로 변환되어, 웨이팅 거리가 계산된다. 따라서, 자세에 따라 적절한 웨이팅 계수를 설정함으로써, 매우 정확한 자세 추정 및 조합이 수행될 수 있다.
또한, 본 발명에 의하면, 오직 하나의 3 차원 웨이팅 계수가 모든 자세를 위해 이용되기 때문에, 2 차원 웨이팅 계수가 각각의 자세에 대해 지지될 경우보다 더 적은 저장 용량에서, 원하는 자세에 따라 적절한 3 차원 웨이팅 계수가 설정될 수 있다.
또한, 본 실시형태에 의하면, 각각의 픽셀의 조합에 있어서의 중요도가 3 차원 모델에 대해 학습되기 때문에, 원하는 자세에 따른 적절한 3 차원 웨이팅 계수가, 모든 자세에 대응하는 학습용 이미지보다 더 작은 학습용 이미지로 판정될 수 있다.
이하에, 제 1 실시형태의 동작의 특정한 예가 기술된다. 하술된 특정한 예에서, 인물의 얼굴이 객체의 예로서 기술된다. 그러나, 제 1 실시형태가 다른 객체에도 적용될 수 있다.
도 10 에 도시된 바와 같이, 참조 3 차원 객체 모델 저장 유닛 (55) 은 객체 (Ck) 의 참조 3 차원 객체 모델 (3 차원 형상 및 질감) 을 저장한다. 예를 들어, JP-2001-12925A 에 개시된 3 차원 형상 측정 장치, 또는 JP-H09-91436A 에 개시된 다수의 카메라에 의해 캡쳐된 복수의 이미지로부터의 3 차원 형상을 재저장하는 장치에 의해, 3 차원 객체 모델이 생성될 수 있다.
도 9 에 도시된 바와 같이, 3 차원 객체 모델은 형상 PQ(x, y, z) 및 질감 TQ(x, y, z) 을 나타내는 정보를, 객체 표면의 3 차원 스페이스 (x, y, z) 에 갖는다. Q 는 객체 표면 상의 포인트의 인덱스를 나타낸다. 예를 들어, 인덱스 (Q) 는, 객체의 중심으로부터 선을 따라, 객체의 중심을 자신의 중심으로 한 구체 (spherical body) 에, 객체 표면상의 일 포인트로부터 사영 (project) 된 점 Q 의 좌표 (s,t) 에 대응한다. 조합시키기 위하여, 3 차원 객체 모델은, 컴퓨터 그래픽에 따른 다양한 조명 조건에 따라 학습용 CG 이미지를 생성하기 위해 이용되고, 학습용 CG 이미지는 그들의 메인 컴포넌트에 대해 분석됨으로써, 기준 이미지 그룹을 판정한다.
도 11 에 도시된 바와 같이, 참조 3 차원 웨이팅 계수 저장 유닛 (65) 은 객체에 대한 참조 3 차원 웨이팅 계수 (VQ k ) 를 저장한다. 예를 들어, 참조 3 차원 웨이팅 계수는 흑색 영역을 위해 VQ k = 1 의 값을 갖고, 백색 영역을 위해 VQ k = 0 의 값을 갖으며, 회색 영역을 위해 0< VQ k <1 의 범위의 값을 갖는다.
이하에, 모델 (C1) 에 관한 자세의 추정이 기술된다. 도 12 에 도시된 것과 같은 입력 이미지 I(r) 가 이미지 입력 유닛 (10) 에 의해 획득 (도 5 의 단계 100) 된다고 가정한다. 자세 후보 판정 유닛 (30) 은 자세 후보 그룹 {ej} 을 판정한다 (단계 110).
자세 후보 그룹은 입력 이미지에 상관없이 미리 설정될 수도 있다. 그러나, 눈, 코, 입 등과 같은 참조 포인트는 입력 이미지 및 3 차원 모델로부터 수동 또는 자동으로 추출될 수도 있고, JP-2001-283229A 에 개시된 객체의 위치 및 방향을 계산하는 프로세스에 따라 적절한 자세가 추정될 수도 있다. 이러한 추정된 자세의 부근에서 자세 후보 그룹을 생성하는 것이 효율적이다.
비교 이미지 생성부 (20) 는, 참조 3 차원 객체 모델 (C1) 에 기초하여, 입력 이미지의 조명 조건에 가까운 조명 조건을 갖는 비교 이미지 (G1j(r)) 를 각각의 자세 후보 (ej) 에 관하여 생성시킨다 (단계 120).
입력 이미지의 조명 조건에 가까운 조명 조건을 갖는 비교 이미지는 다음과 같이 생성된다: 즉, 미리 판정된 기준 이미지 그룹이 각각의 자세 후보에 기초하여 좌표-변환되고, 좌표-변환 기준 이미지의 선형 합의 계수가 최소 자승법에 따라 판정되기 때문에, 선형 합이 입력 이미지에 가까워진다. 객체 (C1) 에 관하여 생성된 비교 이미지의 예가 도 13 에 도시된다.
웨이팅 계수 변환부 (60) 는, 참조 3 차원 객체 모델 (C1) 을 이용하여, 참조 3 차원 웨이팅 계수 저장 유닛 (65) 으로부터 획득된 참조 3 차원 웨이팅 계수 (VQ 1) 를, 자세 후보 (ej) 에 따라 2 차원 웨이팅 계수 (W1j(r)) 로 변환시킨다 (단계 130). 객체 (C1) 에 관하여 생성된 2 차원 웨이팅 계수의 예가 도 14 에 도시된다.
웨이팅 조합 및 자세 선택 유닛 (40) 은, 2 차원 웨이팅 계수 (W1j(r)) 를 이용하여, 입력 이미지 (I(r)) 와 비교 이미지 (G1j(r)) 사이의 웨이팅 거리 값 (Dkj) 을 계산한다 (단계 140). 예를 들어, 유클리드 거리가 이용되는 경우, 웨 이팅은,
Figure 112006015005348-PCT00002
에 따라 계산되며, 유사도 (Skj) 가 이용되는 경우, 웨이팅은
Figure 112006015005348-PCT00003
에 따라 계산된다.
마지막으로, 웨이팅 조합 및 자세 선택 유닛 (40) 은, 모델 (C1) 까지의 거리 값이 가장 작은 비교 이미지 (자세 후보) 를 선택함으로써, 최적의 자세를 추정한다 (단계 150). 도 13 에 도시된 비교 이미지에 대해, 예를 들어, 자세 (e3) 는, 거리 값이 가장 작은 비교 이미지로서 선택된다.
이하에, 등록에 대한 제 1 실시형태의 동작의 특정한 예가 기술된다. 이하에, 객체 (C1) 의 참조 3 차원 객체 모델의 등록이 기술된다.
우선, 3 차원 객체 모델 등록부 (50) 는 객체 (C1) 의 참조 3 차원 객체 모델을, 참조 3 차원 객체 모델 저장 유닛 (55) 에 등록한다 (도 8 의 단계 300). 도 15 에 도시된 것과 같은 3 개의 이미지가 학습용 이미지로서 획득된다 (학습용 이미지는 객체 (C1) 의 다양한 자세 조건에 따라 캡쳐된 이미지이다).
그 후, 3 차원 웨이팅 계수 생성부 (62) 가 우선, 이미지 넘버 (h) 를 1 로 설정 (단계 210) 한 후, 학습용 이미지 및 참조 3 차원 객체 모델을 이용하여, 참조 3 차원 웨이팅 계수를 학습하기 위해, 이미지 넘버 (h) 를 갖는 학습용 이미지 (Ih(r)) 를 이미지 입력 유닛 (10) 으로부터 입력한다 (단계 200).
그 후, 자세 후보 판정 유닛 (30) 은 자세 후보 그룹 {ej} 을 판정한다 (단 계 110). 비교 이미지 생성부 (20) 는, 참조 3 차원 객체 모델 저장 유닛 (55) 으로부터 획득된 참조 3 차원 객체 모델 (C1) 에 기초하여, 입력 이미지의 조명 조건에 가까운 조명 조건을 갖는 비교 이미지 (G1j h(r)) 를 각각의 자세 후보 (ej) 에 관하여 생성시킨다 (단계 120).
조합 및 자세 선택 유닛 (41) 은 입력 이미지 (Ih(r)) 와 비교 이미지 (G1j h(r)) 사이의 거리 값 (D1j h ; 또는, 유사도) 을 계산한다 (단계 141). 예를 들어, 유클리드 거리가 이용되는 경우, 거리 값은
Figure 112006015005348-PCT00004
에 따라 계산된다.
조합 및 자세 선택 유닛 (41) 은, 모델 (객체) 까지의 거리 값이 가장 작은 비교 이미지 (자세 후보) 를 선택함으로써, 최적의 자세를 판정한다 (단계 150). 또한, 3 차원 웨이팅 계수 생성부 (62) 는 이미지 넘버 (h) 를 1 씩 증가시킨다 (단계 211). 이미지 넘버 (h) 가 학습용 이미지의 개수 N=3 이하 (단계 212) 인 경우, 그 다음 학습용 이미지에 대응하는 최적의 자세를 갖는 비교 이미지를 판정하기 위해 단계 200 로 되 돌아간다. 도 15 에 도시된 각각의 학습용 이미지 (Ih(r)) 에 대응하도록 판정된 최적의 자세를 갖는 비교 이미지의 예가 도 16 에 도시된다.
이미지 넘버 (h) 가 학습용 이미지의 개수 N=3 를 초과하는 경우, 3 차원 웨 이팅 계수 생성부 (62) 는, 모든 학습용 이미지 (Ih(r)) 에 대응하는 최적의 자세의 비교 이미지 (G1j h(r)) 를 이용하여, 참조 3 차원 객체 모델, 최적의 자세에 의해 판정된 2 차원 이미지, 및 3 차원 모델 사이의 픽셀 대응에 기초한 3 차원 모델에 대한 각각의 픽셀의 조합에 있어서의 중요도를 학습함으로써, 참조 3 차원 웨이팅 계수를 생성시킨다 (단계 220). 예를 들어, 학습용 이미지와 비교 이미지 사이의 에러가 적은 영역이 조합을 위해 중요한 영역인 경우, 웨이팅 계수는 평균 에러의 역수로서 규정된다. 2 차원 이미지로서의 비교 이미지 (GKj h(r)) 와 학습용 이미지 (Ih(r)) 사이의 에러는
Figure 112006015005348-PCT00005
에 따라 계산된다.
3 차원 객체 모델로부터, 자세 ej 에 기초하여 비교 이미지가 생성될 때, 3 차원 객체 모델 상의 좌표 (s,t) 와 2 차원 이미지 상의 좌표 (r) 사이의 관계가 r=F(s,t) 로 나타내지는 경우, 2 차원 이미지 상의 픽셀 (r) 에 대응하는 3 차원 모델 상의 일 포인트의 좌표는 역 변환에 따른 {s,t}=F-1(r) 에 따라 판정된다. 각각의 픽셀의 에러 (dkj h(r)) 가 역 변환에 의해 3 차원 모델 상의 포인트 {s,t} 에 매핑되고, 모든 학습용 이미지의 평균 에러가 EQ k 로 나타내지는 경우, 3 차원 웨이팅 계수는 VQ k=A/EQ k (A 는 정규화 계수를 나타냄) 에 따라 계산된다. 3 차 원 웨이팅 계수 (VQ k) 는 자세 후보들 (ej) 각각에 대해 획득된 변환 r=F(s,t) 에 따라 2 차원 웨이팅 계수 (Wkj(r)) 로 변환된다. 마지막으로, 객체 (C1) 의 3 차원 웨이팅 계수 (VQ 1) 는 참조 3 차원 웨이팅 계수 저장 유닛 (65) 에 등록된다 (단계 230).
[제 2 실시형태]
도 17 을 참조하면, 본 발명의 제 2 실시형태에 따른 객체 자세 추정 및 조합 시스템은, 이미지 입력 유닛 (10), 비교 이미지 생성부 (20), 자세 후보 판정 유닛 (30), 웨이팅 조합 및 자세 선택 유닛 (40), 웨이팅 계수 변환부 (61), 참조 3 차원 객체 모델 저장 유닛 (55), 표준 3 차원 웨이팅 계수 저장 유닛 (66), 참조 3 차원 기준 포인트 저장 유닛 (75), 표준 3 차원 기준 포인트 저장 유닛 (76), 및 등록 유닛 (4) 을 포함한다. 등록 유닛 (4) 은, 3 차원 객체 모델 등록부 (50) 및 3 차원 기준 포인트 등록부 (70) 를 포함한다.
이미지 입력 유닛 (10), 비교 이미지 생성부 (20), 자세 후보 판정 유닛 (30), 웨이팅 조합 및 자세 선택 유닛 (40), 참조 3 차원 객체 모델 저장 유닛 (55), 및 3 차원 객체 모델 등록부 (50) 는 도 4 에 도시된 제 1 실시형태에 따라, 동일한 참조 부호로 표시된 컴포넌트와 동일한 방식으로 동작한다.
표준 3 차원 웨이팅 계수 저장 유닛 (66) 은 표준 3 차원 웨이팅 계수를 저장한다. 참조 3 차원 기준 포인트 저장 유닛 (75) 은 객체의 참조 3 차원 객체 모델에 대응하는 참조 3 차원 기준 포인트를 저장한다. 표준 3 차원 기준 포인트 저장 유닛 (76) 은 표준 3 차원 객체 모델에 대응하는 표준 3 차원 기준 포인트를 저장한다.
웨이팅 계수 변환부 (61) 는, 표준 3 차원 기준 포인트 저장 유닛 (76) 으로부터 획득된 표준 3 차원 기준 포인트, 및 참조 3 차원 기준 포인트 저장 유닛 (75) 으로부터 획득된 참조 3 차원 기준 포인트를 이용하여, 표준 3 차원 웨이팅 계수 저장 유닛 (66) 으로부터 획득된 표준 3 차원 웨이팅 계수와 참조 3 차원 객체 모델 사이의 좌표 대응을 판정하고, 표준 3 차원 웨이팅 계수를, 자세 후보 판정 유닛 (30) 으로부터 획득된 자세 후보에 따라 2 차원 웨이팅 계수로 변환시킨다.
3 차원 기준 포인트 등록부 (70) 는, 3 차원 객체 모델 등록부 (50) 로부터 획득된 참조 3 차원 객체 모델에 관하여 참조 3 차원 기준 포인트를 판정하고, 판정된 3 차원 기준 포인트를 참조 3 차원 기준 포인트 저장 유닛 (75) 에 등록한다.
도 18 에 도시된 흐름도 및 도 17 을 참조하여, 자세 추정에 대한 제 2 실시형태의 전체 동작이 이하에 상세히 기술된다. 일 대 일 조합 및 일 대 N 조합에 대한 제 2 실시형태의 동작은, 제 1 실시형태와 마찬가지로, 부가된 판정 프로세스 (도 6 의 단계 160), 및 최소 거리 값을 갖는 모델을 판정하는 부가된 프로세스 (도 7 에 도시된 단계 170 내지 단계 175) 를 제외하고는 자세 추정을 위한 동작과 유사하므로, 이하에 기술되지 않는다.
우선, 입력 이미지는 이미지 입력 유닛 (10) 에 의해 획득된다 (도 18 의 단 계 100). 그 후, 자세 후보 판정 유닛 (30) 은 자세 후보 그룹 (ej} 을 판정한다 (단계 110). 그 후, 비교 이미지 생성부 (20) 는, 참조 3 차원 객체 모델 저장 유닛 (55) 으로부터 획득된 참조 3 차원 객체 모델 (Ck) 에 기초하여, 입력 이미지의 조명 조건에 가까운 조명 조건을 갖는 비교 이미지를 각각의 자세 후보에 관하여 생성시킨다 (단계 120).
웨이팅 계수 변환부 (61) 는, 표준 3 차원 기준 포인트 저장 유닛 (76) 으로부터 획득된 표준 3 차원 기준 포인트 및 참조 3 차원 기준 포인트 저장 유닛 (75) 으로부터 획득된 참조 3 차원 기준 포인트를 이용하여, 표준 3 차원 웨이팅 계수 저장 유닛 (66) 으로부터 획득된 표준 3 차원 웨이팅 계수와 참조 3 차원 객체 모델 사이의 좌표 대응을 판정하고, 표준 3 차원 웨이팅 계수를, 자세 후보에 따라 2 차원 웨이팅 계수로 변환시킨다 (단계 131).
마지막으로, 웨이팅 조합 및 자세 선택 유닛 (40) 은, 2 차원 웨이팅 계수를 이용하여, 입력 이미지와 비교 이미지 사이의 웨이팅 거리 값 (Dkj ; 또는, 유사도) 을 계산하고 (단계 140), 모델 (객체) 까지의 거리 값이 가장 작은 비교 이미지 (자세 후보) 를 선택함으로써, 최적의 자세를 추정한다 (단계 150).
이하에, 등록에 대한 본 실시형태의 전체 동작이 상세히 기술된다. 우선, 3 차원 객체 모델 등록부 (50) 는 객체 (Ck) 의 참조 3 차원 객체 모델을 참조 3 차원 객체 모델 저장 유닛 (55) 에 등록한다. 그 후, 3 차원 기준 포인트 등록부 (70) 는, 3 차원 객체 모델 등록부 (50) 로부터 획득된 참조 3 차원 객체 모 델에 관하여 참조 3 차원 기준 포인트를 판정하고, 판정된 3 차원 기준 포인트를 참조 3 차원 기준 포인트 저장 유닛 (75) 에 등록한다.
이하에, 제 2 실시형태의 이점이 기술된다.
본 실시형태에 의하면, 자세 후보에 따라 참조 3 차원 객체 모델로부터 비교 이미지가 생성되고, 3 차원 웨이팅 계수가 2 차원 웨이팅 계수로 변환되어, 웨이팅 거리가 계산된다. 따라서, 자세에 따라 적절한 웨이팅 계수를 설정함으로써, 매우 정확한 자세 추정 및 조합이 수행될 수 있다.
또한, 본 발명에 의하면, 오직 하나의 3 차원 웨이팅 계수가 모든 자세를 위해 이용되기 때문에, 2 차원 웨이팅 계수가 각각의 자세에 대해 지원될 경우보다 더 작은 저장 용량에서, 원하는 자세에 따른 적절한 3 차원 웨이팅 계수가 설정될 수 있다.
또한, 본 실시형태에 의하면, 복수의 객체의 3 차원 웨이팅 계수의 평균을 나타내는 표준 3 차원 웨이팅 계수가 지지되기 때문에, 참조 3 차원 웨이팅 계수가 객체에 대해 지지될 경우보다, 표준 3 차원 웨이팅 계수를 저장하는 저장 용량이 더 적다. 등록시에 참조 3 차원 객체 모델에 대응하는 학습용 이미지를 캡쳐할 필요는 없다.
이하에, 제 2 실시형태의 동작의 특정한 예가 기술된다.
도 10 에 도시된 바와 같이, 참조 3 차원 객체 모델 저장 유닛 (55) 은 객체 (Ck) 의 참조 3 차원 객체 모델 (3 차원 형상 PQ k(x,y,z) 및 질감 TQ k(R,G,B)) 을 저 장한다. 도 19 에 도시된 바와 같이, 표준 3 차원 웨이팅 계수 저장 유닛 (66) 은 표준 3 차원 웨이팅 계수 (VQ 0) 를 저장한다.
또한, 도 20 에 도시된 바와 같이, 표준 3 차원 기준 포인트 저장 유닛 (76) 은 표준 3 차원 기준 포인트 (Ni 0) 의 좌표를 저장한다. 도 21 에 도시된 바와 같이, 참조 3 차원 기준 포인트 저장 유닛 (75) 은 참조 3 차원 기준 포인트 (Ni k) 의 좌표를 저장한다. 기준 포인트는 위치 정렬을 위한 포인트이며, 도 20 및 도 21 에서, 좌측 눈 중앙 포인트, 우측 눈 중앙 포인트, 코 상부 포인트, 좌측 입 코너 포인트, 및 우측 입 코너 포인트를 포함하는 5 개의 포인트를 나타낸다.
참조 3 차원 기준 포인트는 수동으로 미리 설정될 수도 있다. 그러나, 참조 3 차원 기준 포인트는, Marugame and Sakamoto "Extraction of feature areas from facial three-dimensional data using shape information and color information", FIT (Forum of information science Technology), 2002, I-100, 199 ~ 200 페이지에 개시된 얼굴의 피쳐 추출 프로세스에 따라 자동으로 설정될 수도 있다. 표준 3 차원 기준 포인트는, 학습용으로 미리 준비된 3 차원 객체 모델의 3 차원 기준 포인트 또는 참조 3 차원 기준 포인트의 평균 좌표로부터 판정될 수도 있다. 표준 3 차원 웨이팅 계수는 학습용으로 미리 준비된 3 차원 객체 모델의 3 차원 웨이팅 계수 또는 참조 3 차원 웨이팅 계수를 위치적으로 정렬시킴으로써 판정될 수도 있어, 3 차원 기준 포인트가 표준 3 차원 기준 포인트와 정렬 된 후, 위치적으로 정렬된 3 차원 웨이팅 계수를 평균 낸다.
기준 포인트 이외의 포인트들을 위치적으로 정렬하기 위해, 3 차원 웨이팅 계수의 좌표 {s,t} 와 표준 3 차원 웨이팅 계수의 좌표 {s0, t0} 에 대한 변환 방정식 s0 = Hs(s,t), t0 = Ht(s,t) 은, 내삽 또는 외삽에 따른 기준 포인트들 사이의 대응을 판정함으로써 설정될 수 있다. 표준 3 차원 웨이팅 계수는, 학습용 이미지를 이용하여, 픽셀의 에러를 표준 3 차원 모델에 직접 조합시킴으로써 생성될 수 있다.
이하에, 모델 (C1) 에 관한 자세의 추정이 기술된다. 도 12 에 도시된 것과 같은 입력 이미지 (I(r)) 는 이미지 입력 유닛 (10) 에 의해 획득된다고 가정한다 (도 18 의 단계 100). 자세 후보 판정 유닛 (30) 은 자세 후보 그룹 {ej} 을 판정한다 (단계 110). 비교 이미지 생성부 (20) 는, 참조 3 차원 객체 모델 (C1) 에 기초하여, 입력 이미지의 조명 조건에 가까운 조명 조건을 갖는 비교 이미지 (G1j(r)) 를 각각의 자세 후보 (ej) 에 관하여 생성시킨다 (단계 120). 도 13 에 객체 (C1) 에 관하여 생성된 비교 이미지의 예가 도시된다.
웨이팅 계수 변환부 (61) 는, 표준 3 차원 기준 포인트 (Ni 0) 및 참조 3 차원 기준 포인트 (Ni k) 를 이용하여, 표준 3 차원 웨이팅 계수 (VQ 0) 와 참조 3 차원 객체 모델 (PQ k) 사이의 좌표 대응을 판정하고, 표준 3 차원 웨이팅 계수 (VQ 0) 를, 자세 후보 (ej) 에 따라 2 차원 웨이팅 계수 (W1j(r)) 로 변환시킨다 (단계 131). 좌표 대응이, 표준 3 차원 웨이팅 계수 (VQ 0) 와 참조 3 차원 객체 모델 (PQ k ; 좀더 상세하게, 질감 (TQ k)) 사이에서 판정되는 경우, 참조 3 차원 웨이팅 계수 (VQ k) 가 가상적으로 생성될 수 있다 (실제로, 참조 3 차원 웨이팅 계수 (VQ k) 가 생성되지 않고, 2 차원 웨이팅 계수가 표준 3 차원 웨이팅 계수로부터 직접 생성된다). 표준 3 차원 기준 포인트 (Ni 0) 및 참조 3 차원 기준 포인트 (Ni k) 는, 참조 3 차원 객체 모델의 질감 (TQ k) 과 표준 3 차원 웨이팅 계수 (VQ 0) 사이의 대응을 판정하기 위해 이용된다. 2 차원 이미지에서의 좌표 (r) 에 대응하는 표준 3 차원 웨이팅 계수의 좌표 {s0, t0} 는 s0 = Hs(F-1(r)), t0 = Ht(F-1(r)) 에 따라 판정된다. 객체 (C1) 에 관하여 생성된 2 차원 웨이팅 계수의 예가 도 18 에 도시된다.
웨이팅 조합 및 자세 선택 유닛 (40) 은, 2 차원 웨이팅 계수 (W1j(r)) 를 이용하여, 입력 이미지 (I(r)) 와 비교 이미지 (G1j(r)) 사이의 웨이팅 거리 값 (D1j) 을 계산한다 (단계 140). 마지막으로, 웨이팅 조합 및 자세 선택 유닛 (40) 은, D1 = minjD1j 에 따라, 모델 (C1) 까지의 거리 값이 가장 작은 비교 이미지 (자세 후보) 를 선택함으로써, 최적의 자세를 추정한다 (단계 150).
[제 3 실시형태]
도 23 을 참조하면, 본 발명의 제 3 실시형태에 따른 객체 자세 추정 및 조합 시스템은, 이미지 입력 유닛 (10), 비교 이미지 생성부 (20), 자세 후보 판정 유닛 (30), 웨이팅 조합 및 자세 선택 유닛 (40), 웨이팅 계수 변환부 (60), 참조 3 차원 객체 모델 저장 유닛 (55), 변동 추정부 (35), 변동별 참조 3 차원 웨이팅 계수 저장 유닛 (67), 및 등록 유닛 (3) 을 포함한다. 등록 유닛 (3) 은, 3 차원 객체 모델 등록부 (50), 조합 및 자세 선택 유닛 (41), 및 변동별 3 차원 웨이팅 계수 생성부 (63) 를 포함한다.
이미지 입력 유닛 (10), 비교 이미지 생성부 (20), 자세 후보 판정 유닛 (30), 웨이팅 조합 및 자세 선택 유닛 (40), 웨이팅 계수 변환부 (60), 참조 3 차원 객체 모델 저장 유닛 (55), 3 차원 객체 모델 등록부 (50), 및 조합 및 자세 선택 유닛 (41) 은, 도 4 에 도시된 제 1 실시형태에 따라, 동일한 참조 부호로 표시된 컴포넌트와 동일한 방식으로 동작한다.
변동별 참조 3 차원 웨이팅 계수 저장 유닛 (67) 은 참조 3 차원 객체 모델과 이미지 변동에 대응하는, 참조 3 차원 웨이팅 계수를 저장한다. 변동 추정부 (35) 는, 자세 후보 판정 유닛 (30) 으로부터 획득된 자세 후보와 참조 3 차원 객체 모델 저장 유닛 (55) 으로부터 획득된 참조 3 차원 객체 모델을 이용하여, 이 미지 입력 유닛 (10) 으로부터 획득된 입력 이미지와 3 차원 객체 모델의 영역 사이의 대응을 판정하고, 소정의 영역의 이미지 정보에 기초하여 변동을 추정한다. 또한, 변동 추정부 (35) 는, 변동별 참조 3 차원 웨이팅 계수 저장 유닛 (67) 에 저장된 변동별 참조 웨이팅 계수들 중에서, 추정된 변동에 기초한 참조 웨이팅 계수를 웨이팅 계수 변환부 (61) 로 송신한다.
변동별 3 차원 웨이팅 계수 생성부 (63) 는, 조합 및 자세 선택 유닛 (41) 으로부터 획득된 최적의 자세의 비교 이미지 및 입력 이미지를 이용하여, 참조 3 차원 객체 모델 저장 유닛 (55) 으로부터 획득된 참조 3 차원 객체 모델, 최적의 자세에 의해 판정된 2 차원 이미지, 및 3 차원 모델 사이의 픽셀 대응에 기초하여, 변동 추정부 (35) 로부터 획득된 각각의 이미지 변동에 대해, 3 차원 모델에 대한 각각의 픽셀의 조합에 있어서의 중요도를 학습함으로써, 변동별 참조 3 차원 웨이팅 계수를 생성하고, 생성된 참조 3 차원 웨이팅 계수를 변동별 참조 3 차원 웨이팅 계수 저장 유닛 (67) 에 등록한다.
도 24 에 도시된 흐름도 및 도 23 을 참조하여, 자세 추정에 대한 제 3 실시형태의 전체 동작이 이하에 상세히 기술된다.
우선, 모델 (객체) 의 입력 이미지가 이미지 입력 유닛 (10) 에 의해 획득된다 (도 24 의 단계 100). 그 후, 자세 후보 판정 유닛 (30) 이 자세 후보 그룹 {ej} 을 판정한다 (단계 110). 그 후, 비교 이미지 생성부 (20) 는, 참조 3 차원 객체 모델 저장 유닛 (55) 으로부터 획득된 참조 3 차원 객체 모델 (Ck) 에 기초 하여, 입력 이미지의 조명 조건에 가까운 조명 조건을 갖는 비교 이미지를 각각의 자세 후보에 관하여 생성시킨다 (단계 120).
변동 추정부 (35) 는, 자세 후보 (ej) 및 참조 3 차원 객체 모델 (Ck) 을 이용하여, 3 차원 객체 모델의 영역과 입력 이미지 사이의 대응을 판정하고, 소정의 영역의 입력 정보에 기초하여 변동 (b) 을 추정한다. 또한, 변동 추정부 (35) 는, 변동별 참조 3 차원 웨이팅 계수 저장 유닛 (67) 에 저장된 변동별 참조 웨이팅 계수들 중에서, 추정된 변동 (b) 에 기초한 참조 웨이팅 계수를 웨이팅 계수 변환부 (61) 로 송신한다 (단계 180).
웨이팅 계수 변환부 (60) 는, 참조 3 차원 객체 모델을 이용하여, 변동별 참조 3 차원 웨이팅 계수 저장 유닛 (67) 으로부터 획득된 변동 (b) 의 참조 3 차원 웨이팅 계수를 자세 후보에 따라 2 차원 웨이팅 계수로 변환시킨다 (단계 130). 마지막으로, 웨이팅 조합 및 자세 선택 유닛 (40) 은, 2 차원 웨이팅 계수를 이용하여, 입력 이미지와 비교 이미지 사이의 웨이팅 거리 값 (Dkj ; 또는, 유사도) 을 계산하고 (단계 140), 입력 이미지에 대한 모델 (객체) 까지의 거리 값이 가장 작은 비교 이미지 (자세 후보) 를 선택함으로써, 최적의 자세를 추정한다 (단계 150).
도 25 에 도시된 흐름도 및 도 23 을 참조하여, 등록에 대한 본 실시형태의 전체 동작이 이하에 상세히 기술된다.
우선, 3 차원 객체 모델 등록부 (50) 는 참조 3 차원 객체 모델을 참조 3 차 원 객체 모델 저장 유닛 (55) 에 등록한다 (도 25 의 단계 300).
그 후, 변동별 3 차원 웨이팅 계수 생성부 (63) 는, 우선, 이미지 넘버 (h) 를 1 로 설정한 (단계 210) 후, 학습용 이미지와 참조 3 차원 객체 모델을 이용하여, 참조 3 차원 웨이팅 계수를 학습하기 위해, 이미지 넘버 (h) 를 갖는 학습용 이미지를 이미지 입력 유닛 (10) 으로부터 입력한다 (단계 200).
그 후, 자세 후보 판정 유닛 (30) 은 자세 후보 그룹 {ej} 을 판정한다 (단계 110). 그 후, 비교 이미지 생성부 (20) 는, 참조 3 차원 객체 모델 저장 유닛 (55) 으로부터 획득된 참조 3 차원 객체 모델 (Ck) 에 기초하여, 입력 이미지의 조명 조건에 가까운 조명 조건을 갖는 비교 이미지를 각각의 자세 후보에 관하여 생성시킨다 (단계 120).
조합 및 자세 선택 유닛 (41) 은, 입력 이미지와 비교 이미지 사이의 거리 값 (Dkj' ; 또는, 유사도) 을 계산하고 (단계 141), 비교 이미지들 (자세 후보들) 중 모델 (객체) 까지의 거리 값이 가장 작은 하나의 비교 이미지를 선택함으로써, 최적의 자세를 추정한다 (단계 150).
그 후, 변동 추정부 (35) 는, 자세 후보 (ej) 및 참조 3 차원 객체 모델 (Ck) 을 이용하여, 3 차원 객체 모델의 영역과 입력 이미지 사이의 대응을 판정하고, 소정의 영역의 이미지 정보에 기초하여 변동 (b) 을 추정하다 (단계 180).
그 후, 변동별 3 차원 웨이팅 계수 생성부 (63) 는, 이미지 넘버 (h) 를 1 씩 증가시킨다 (단계 211). 이미지 넘버 (h) 가 학습용 이미지의 개수 (N) 이하인 경우 (단계 212), 그 다음 학습용 이미지에 대응하는 최적의 자세를 갖는 비교 이미지를 판정하기 위해 단계 200 으로 되 돌아간다.
이미지 넘버 (h) 가 학습용 이미지의 개수 (N) 를 초과하는 경우, 변동별 3 차원 웨이팅 계수 생성부 (63) 는, 모든 학습용 이미지에 대응하는 최적의 자세의 비교 이미지를 이용하여, 참조 3 차원 객체 모델, 최적의 자세에 의해 판정된 2 차원 이미지, 및 3 차원 모델 사이의 픽셀 대응에 기초하여, 변동 추정부 (35) 로부터 획득된 각각의 이미지 변동 (b) 에 대해, 3 차원 모델에 대한 각각의 픽셀의 조합에 있어서의 중요도를 학습함으로써, 변동별 참조 3 차원 웨이팅 계수를 생성시킨다 (단계 221).
마지막으로, 변동별 3 차원 웨이팅 계수 생성부 (63) 는 생성된 참조 3 차원 웨이팅 계수를 변동별 참조 3 차원 웨이팅 계수 저장 유닛 (67) 에 등록한다 (단계231).
이하에, 제 3 실시형태의 이점이 기술된다.
본 실시형태에 의하면, 비교 이미지는 자세 후보에 따라 참조 3 차원 객체 모델로부터 생성되고, 3 차원 웨이팅 계수가 2 차원 웨이팅 계수로 변환되어, 웨이팅 거리가 계산된다. 따라서, 자세에 따라 적절한 웨이팅 계수를 설정함으로써, 매우 정확한 자세 추정 및 조합이 수행될 수 있다.
또한, 본 발명에 의하면, 오직 하나의 3 차원 웨이팅 계수가 모든 자세를 위해 이용되기 때문에, 2 차원 웨이팅 계수가 각각의 자세에 대해 지지될 경우보다 더 적은 저장 용량에서, 원하는 자세에 따라 적절한 3 차원 웨이팅 계수가 설정될 수 있다.
또한, 본 실시형태에 의하면, 각각의 픽셀의 조합에 있어서의 중요도가 3 차원 모델에 대해 학습되기 때문에, 임의의 자세에 관한 적절한 3 차원 웨이팅 계수가 모든 자세에 대응하는 학습용 이미지보다 더 작은 학습용 이미지로 판정될 수 있다.
또한, 본 실시형태에 의하면, 입력 이미지에서 발생할 수 있는 변동에 대응하는 변동별 3 차원 웨이팅 계수가 지지되고, 변동이 입력 이미지로부터 추정되며, 대응하는 3 차원 웨이팅 계수가 사용된다. 따라서, 객체 변형 및 조명 조건 변동으로 발생할 수도 있는 변동에 따라 적절한 웨이팅 계수를 설정함으로써, 매우 정확한 자세 추정 및 조합이 수행될 수 있다.
이하에, 제 3 실시형태의 동작의 특정한 예가 기술된다.
예를 들어, 객체 변형 및 조명 조건 변동에 의해 이미지 변동이 나타내질 수도 있다. 조명 조건 변동은 3 가지 변동이 있을 수 있으며, 3 가지 변동에는 예를 들어, 도 26 에 도시된 바와 같이, 우측 조명 방향 (b=1), 정면 조명 방향 (b=2), 및 좌측 조명 방향 (b=3) 이 있다.
도 10 에 도시된 바와 같이, 참조 3 차원 객체 모델 저장 유닛 (55) 은, 객체 (Ck) 의 참조 3 차원 객체 모델 (3 차원 형상 PQ k(x,y,z) 및 질감 TQ k(R,G,B)) 을 저장한다. 도 27 에 도시된 바와 같이, 변동별 참조 3 차원 웨이팅 계수 저장 유닛 (67) 은 변동별 참조 3 차원 웨이팅 계수 (VQ kb) 를 저장한다. 변동별 참조 3 차원 웨이팅 계수는, 변동 추정부 (35) 를 수동 또는 자동으로 이용하여 각각의 변동에 관하여 학습용 이미지를 그룹핑하고, 각각의 그룹에 관하여 참조 3 차원 웨이팅 계수를 학습함으로써 생성될 수 있다.
이하에, 모델 (C1) 에 관한 자세의 추정이 기술된다. 도 28 에 도시된 것과 같은 입력 이미지 (I(r)) 는 이미지 입력 유닛 (10) 에 의해 획득된다고 가정한다 (도 24 에 도시된 단계 100). 자세 후보 판정 유닛 (30) 은 자세 후보 그룹 {ej} 을 판정한다 (단계 110). 비교 이미지 생성부 (20) 는, 참조 3 차원 객체 모델 (C1) 에 기초하여, 입력 이미지의 조명 조건에 가까운 조명 조건을 갖는 비교 이미지 (G1j(r)) 를 각각의 자세 후보 (ej) 에 관하여 생성시킨다 (단계 120). 모델 (C1) 에 관하여 생성된 비교 이미지의 예가 도 29 에 도시된다.
변동 추정부 (35) 는, 자세 후보 (ej) 및 참조 3 차원 객체 모델 (Ck) 을 이용하여, 3 차원 객체 모델의 영역과 입력 이미지 사이의 대응을 판정하고, 소정의 영역의 이미지 정보에 기초하여 변동 (b) 을 추정하며, 변동별 참조 3 차원 웨이팅 계수 저장 유닛 (67) 에 저장된 변동별 참조 웨이팅 계수들 중에서, 추정된 변동 (b) 에 기초한 참조 웨이팅 계수를, 웨이팅 계수 변환부 (60) 로 송신한다 (단계 180).
조명 변동은 다음과 같이 추정된다: 즉, 얼굴의 우측 반과 좌측 반의 평균 휘도 값이 각각, L1, L2 로 나타내지는 경우, |L1 - L2|
Figure 112006015005348-PCT00006
Th (Th 는 임계 값을 나타냄) 일 때, 정면 조명 방향 (b=2) 이 추정되고, L1 > L2 + Th 일 때, 우측 조명 방향 (b=1) 이 추정되며, L2 > L1 +Th 일 때, 좌측 조명 방향 (b=3) 이 추정된다.
도 28 에 도시된 입력 이미지에 대한 자세 후보가 e1 에 의해 나타내지는 것으로 가정되는 경우, 자세가 입력 이미지와 조합하지 않기 때문에, 얼굴의 좌측 반 상의 그림자가 크지 않은 것으로 해석되고, 평균 휘도 값들 사이의 차이가 관계 수식 |L1 - L2|
Figure 112006015005348-PCT00007
Th 을 만족하며, 정면 조명 방향 (b=2) 이 판정된다. 유사하게, 입력 이미지에 대한 자세 후보가 e2 에 의해 나타내지는 것으로 가정되는 경우도 또한, 정면 조명 방향 (b=2) 이 판정된다. 입력 이미지에 대한 자세 후보가 e3 에 의해 나타내지는 것으로 가정되는 경우, 우측 조명 방향 (b=1) 이 정확하게 판정된다. 예를 들어, JP-2002-24830A 에 개시된 이미지 조합 방법의 광원 방향 추정 수단을 이용함으로써, 자세가 더 정확하게 추정될 수 있다. 웨이팅 계수 변환부 (60) 는, 변동 (b) 의 참조 3 차원 웨이팅 계수 (VQ 1b) 를 자세 후보 (ej) 에 따라 2 차원 웨이팅 계수 (W1jb(r)) 로 변환시킨다 (단계 132). 상기 자세 추정의 결과에 기초하여 생성된 2 차원 웨이팅 계수의 예가 도 30 에 도시된다.
웨이팅 조합 및 자세 선택 유닛 (40) 은, 2 차원 웨이팅 계수 (W1jb(r)) 를 이용하여, 입력 이미지 (I(r)) 와 비교 이미지 (G1j(r)) 사이의 웨이팅 거리 값 (D1j) 을 계산한다 (단계 140). 마지막으로, 웨이팅 조합 및 자세 선택 유닛 (40) 은, D1 = minjD1j 에 따라, 모델 (C1) 까지의 거리 값이 가장 작은 비교 이미지 (자세 후보) 를 선택함으로써, 최적의 자세를 추정한다 (단계 150).
[제 4 실시형태]
도 31 을 참조하면, 본 발명의 제 4 실시형태에 따른 객체 자세 추정 및 조합 시스템은, 이미지 입력 유닛 (10), 비교 이미지 생성부 (20), 자세 후보 판정 유닛 (30), 웨이팅 조합 및 자세 선택 유닛 (40), 웨이팅 계수 변환부 (61), 참조 3 차원 객체 모델 저장 유닛 (55), 참조 3 차원 기준 포인트 저장 유닛 (75), 표준 3 차원 기준 포인트 저장 유닛 (76), 변동 추정부 (35), 변동별 표준 3 차원 웨이팅 계수 저장 유닛 (68), 및 등록 유닛 (4) 을 포함한다. 등록 유닛 (4) 은, 3 차원 객체 모델 등록부 (50) 및 3 차원 기준 포인트 등록부 (70) 를 포함한다.
이미지 입력 유닛 (10), 비교 이미지 생성부 (20), 자세 후보 판정 유닛 (30), 웨이팅 조합 및 자세 선택 유닛 (40), 웨이팅 계수 변환부 (61), 참조 3 차원 객체 모델 저장 유닛 (55), 참조 3 차원 기준 포인트 저장 유닛 (75), 표준 3 차원 기준 포인트 저장 유닛 (76), 3 차원 객체 모델 등록부 (50), 및 3 차원 기준 포인트 등록부 (70) 는, 도 17 에 도시된 제 2 실시형태에 따라, 동일한 참조 부호로 표시된 컴포넌트와 동일한 방식으로 동작한다. 변동 추정부 (35) 는 도 23 에 도시된 제 3 실시형태에 따른 변동 추정부 (35) 와 동일한 방식으로 동작한다. 변동별 표준 3 차원 웨이팅 계수 저장 유닛 (68) 은 이미지 변동에 대응하는 표준 3 차원 웨이팅 계수를 저장한다.
도 32 의 흐름도 및 도 31 을 참조하여 자세 추정에 대한 본 실시형태의 전체 동작이 이하에 상세히 기술된다.
우선, 모델 (객체) 의 입력 이미지는 이미지 입력 유닛 (10) 에 의해 획득된다 (도 32 의 단계 100). 그 후, 자세 후보 판정 유닛 (30) 은 자세 후보 그룹 {ej} 을 판정한다 (단계 110). 그 후, 비교 이미지 생성부 (20) 는, 참조 3 차원 객체 모델 저장 유닛 (55) 으로부터 획득된 참조 3 차원 객체 모델 (Ck) 에 기초하여, 입력 이미지의 조명 조건에 가까운 조명 조건을 갖는 비교 이미지를 각각의 자세 후보에 관하여 생성시킨다 (단계 120).
변동 추정부 (35) 는, 자세 후보 (ej) 와 참조 3 차원 객체 모델 (Ck) 을 이용하여, 3 차원 객체 모델의 영역과 입력 이미지 사이의 대응을 판정하고, 소정의 영역의 이미지 정보에 기초하여 변동 (b) 을 추정하며, 변동별 표준 3 차원 웨이팅 계수 저장 유닛 (68) 에 저장된 변동별 표준 웨이팅 계수들 중에서, 추정된 변동 (b) 에 기초한 표준 웨이팅 계수를 웨이팅 계수 변환부 (61) 로 송신한다 (단계 180).
웨이팅 계수 변환부 (61) 는, 표준 3 차원 기준 포인트 저장 유닛 (76) 으로부터 획득된 표준 3 차원 기준 포인트 및 참조 3 차원 기준 포인트 저장 유닛 (75) 으로부터 획득된 참조 3 차원 기준 포인트를 이용하여, 자세 후보에 따라, 변동별 표준 3 차원 웨이팅 계수 저장 유닛 (68) 으로부터 획득된 변동 (b) 의 표준 3 차원 웨이팅 계수와 참조 3 차원 객체 모델 사이의 좌표 대응을 판정하고, 표준 3 차원 웨이팅 계수를 2 차원 웨이팅 계수로 변환한다.
마지막으로, 웨이팅 조합 및 자세 선택 유닛 (40) 은, 2 차원 웨이팅 계수를 이용하여, 입력 이미지와 비교 이미지 사이의 웨이팅 거리 값 (Dkj ; 또는, 유사도) 을 계산하고 (단계 140), 모델 (객체) 까지의 거리 값이 가장 작은 비교 이미지 (자세 후보) 를 선택함으로써, 최적의 자세를 추정한다 (단계 150).
이하에, 제 4 실시형태의 이점이 기술된다.
본 실시형태에 의하면, 비교 이미지는 자세 후보에 따라 참조 3 차원 객체 모델로부터 생성되며, 3 차원 웨이팅 계수가 2 차원 웨이팅 계수로 변환되어, 웨이팅 거리가 계산된다. 따라서, 자세에 따라 적절한 웨이팅 계수를 설정함으로써, 매우 정확한 자세 추정 및 조합이 수행될 수 있다.
또한, 본 발명에 의하면, 오직 하나의 3 차원 웨이팅 계수가 모든 자세를 위해 이용되기 때문에, 2 차원 웨이팅 계수가 각각의 자세에 대해 지지될 경우보다 더 적은 저장 용량에서, 임의의 자세에 따라 적절한 3 차원 웨이팅 계수가 설정될 수 있다.
또한, 본 실시형태에 의하면, 복수의 객체의 3 차원 웨이팅 계수의 평균을 나타내는 표준 3 차원 웨이팅 계수가 지지되기 때문에, 참조 3 차원 웨이팅 계수가 객체에 대해 지지될 경우보다 표준 3 차원 웨이팅 계수를 저장하는 저장 용량이 더 적다. 등록 시에 참조 3 차원 객체 모델에 대응하는 학습용 이미지를 캡쳐할 필요가 없다.
또한, 본 실시형태에 의하면, 입력 이미지에서 발생할 수 있는 변동에 대응하는 변동별 3 차원 웨이팅 계수가 지지되고, 변동이 입력 이미지로부터 추정되며, 대응하는 3 차원 웨이팅 계수가 사용된다. 따라서, 객체 변형 및 조명 조건 변동으로 발생할 수도 있는 변동에 따라 적절한 웨이팅 계수를 설정함으로써, 매우 정확한 자세 추정 및 조합이 수행될 수 있다.
이하에, 제 4 실시형태의 동작의 특정한 예가 기술된다.
도 10 에 도시된 바와 같이, 참조 3 차원 객체 모델 저장 유닛 (55) 은, 객체 (Ck) 의 참조 3 차원 객체 모델 (3 차원 형상 PQ k(x,y,z) 및 질감 TQ k(R,G,B)) 을 저장한다. 도 20 에 도시된 바와 같이, 표준 3 차원 기준 포인트 저장 유닛 (76) 은 표준 3 차원 기준 포인트 (Ni 0) 의 좌표를 저장한다. 도 21 에 도시된 바와 같이, 참조 3 차원 기준 포인트 저장 유닛 (75) 은 참조 3 차원 기준 포인트 (Ni k) 의 좌표를 저장한다. 또한, 도 33 에 도시된 바와 같이, 변동별 표준 3 차원 웨이팅 계수 저장 유닛 (68) 은 변동에 따라 분류된 표준 3 차원 웨이팅 계수 (VQ 0b) 를 저장한다. 변동별 표준 3 차원 웨이팅 계수는, 변동 추정부 (35) 를 수동 또는 자동으로 이용하여, 각각의 변동에 관하여 학습용 이미지를 그룹핑하고, 그룹들 각각에 관하여 표준 3 차원 웨이팅 계수를 학습함으로써 생성될 수 있다.
이하에, 모델 (C1) 에 관한 자세의 추정이 기술된다. 도 28 에 도시된 것과 같은 입력 이미지 (I(r)) 는 이미지 입력 유닛 (10) 에 의해 획득된다고 가정한다 (도 33 에 도시된 단계 100). 자세 후보 판정 유닛 (30) 은 자세 후보 그룹 {ej} 를 판정한다 (단계 110). 비교 이미지 생성부 (20) 는, 참조 3 차원 객체 모델 (C1) 에 기초하여, 입력 이미지의 조명 조건에 가까운 조명 조건을 갖는 비교 이미지 (G1j(r)) 를 각각의 자세 후보 (ej) 에 관하여 생성시킨다 (단계 120). 모델 (C1) 에 관하여 생성된 비교 이미지의 예가 도 29 에 도시된다.
변동 추정부 (35) 는, 자세 후보 (ej) 및 참조 3 차원 객체 모델 (Ck) 을 이용하여, 3 차원 객체 모델의 영역과 입력 이미지 사이의 대응을 판정하고, 소정의 영역의 이미지 정보에 기초하여 변동 (b) 을 추정하며, 변동별 표준 3 차원 웨이팅 계수 저장 유닛 (68) 에 저장된 변동별 표준 웨이팅 계수들 중에서, 대응하는 변동 (b) 의 표준 웨이팅 계수를 웨이팅 계수 변환부 (61) 로 송신한다 (단계 180).
웨이팅 계수 변환부 (61) 는, 표준 3 차원 기준 포인트 (Ni 0) 및 참조 3 차원 기준 포인트 (Ni k) 를 이용하여, 자세 후보 (ej) 에 따라 변동 (b) 의 표준 3 차 원 웨이팅 계수 (VQ 0b) 와 참조 3 차원 객체 모델 (PQk) 사이의 좌표 대응을 판정하고, 표준 3 차원 웨이팅 계수 (Vq 0b) 를 2 차원 웨이팅 계수 (W1jb(r)) 로 변환시킨다 (단계 133). 상기 자세 추정의 결과에 기초하여 생성된 2 차원 웨이팅 계수의 예가 도 34 에 도시된다.
웨이팅 조합 및 자세 선택 유닛 (40) 은, 2 차원 웨이팅 계수 (W1jb(r)) 를 이용하여, 입력 이미지 (I(r)) 와 비교 이미지 (G1j(r)) 사이의 웨이팅 거리 값 (D1j) 을 계산한다 (단계 140). 마지막으로, 웨이팅 조합 및 자세 선택 유닛 (40) 은, D1 =minjD1j 에 따라, 모델 (C1) 까지의 거리 값이 가장 작은 비교 이미지 (자세 후보) 를 선택함으로써, 최적의 자세를 추정한다 (단계 150).
[제 5 실시형태]
도 35 를 참조하면, 본 발명의 제 5 실시형태에 따른 객체 자세 추정 및 조합 시스템은, 이미지 입력 유닛 (10), 정규화부 (15), 웨이팅 조합 및 자세 선택 유닛 (40), 자세별 참조 이미지 저장 유닛 (85), 자세별 참조 웨이팅 계수 저장 유닛 (95), 및 등록 유닛 (7) 을 포함한다. 등록 유닛 (7) 은, 자세별 참조 이미지 등록부 (80), 조합 및 자세 선택 유닛 (41), 및 자세별 웨이팅 계수 생성부 (90) 를 포함한다.
이미지 입력 유닛 (10), 정규화부 (15), 조합 및 자세 선택 유닛 (41) 및 자 세별 참조 이미지 저장 유닛 (85) 은, 제 1 종래 기술에 따라, 동일한 참조 부호로 표시된 컴포넌트와 동일한 방식으로 동작한다. 웨이팅 조합 및 자세 선택 유닛 (40) 은, 자세별 참조 웨이팅 계수 저장 유닛 (95) 으로부터 획득된 자세별 웨이팅 계수를 이용하여, 자세별 참조 이미지 저장 유닛 (85) 으로부터 획득된 자세별 참조 이미지와 정규화 이미지 사이의 웨이팅 거리 값을 계산하고, 거리 값이 가장 작은 참조 이미지를 선택함으로써, 최적의 자세를 추정한다. 자세별 참조 이미지 등록부 (80) 는 자세별 참조 이미지를 자세별 참조 이미지 저장 유닛 (85) 에 등록한다. 자세별 웨이팅 계수 등록부 (90) 는, 조합 및 자세 선택 유닛 (41) 으로부터 획득된 최적의 자세의 참조 이미지와 입력 이미지를 이용하여, 각각의 자세에 관하여, 각각의 픽셀의 조합에 있어서의 중요도를 학습함으로써, 자세별 참조 웨이팅 계수를 생성하고, 생성된 자세별 참조 웨이팅 계수를 자세별 참조 웨이팅 계수 저장 유닛 (95) 에 등록한다.
도 36 의 흐름도 및 도 35 를 참조하여, 자세 추정에 대한 제 5 실시형태의 전체 동작이 이하에 상세히 기술된다.
우선, 입력 이미지는 이미지 입력 유닛 (10) 에 의해 획득된다 (도 36 의 단계 100). 그 후, 정규화부 (15) 는 객체로부터 추출된 피쳐 포인트를 이용하여 입력 이미지를 정렬하고, 정규화 이미지를 생성시킨다 (단계 101).
마지막으로, 웨이팅 조합 및 자세 선택 유닛 (40) 은, 자세별 참조 웨이팅 계수 저장 유닛 (95) 으로부터 획득된 자세별 참조 웨이팅 계수를 이용하여, 자세별 참조 이미지 저장 유닛 (85) 으로부터 획득된 자세별 참조 이미지와 정규화 이 미지 사이의 웨이팅 거리 값 (또는, 유사도) 을 계산하고 (단계 145), 객체까지의 거리 값이 가장 작은 참조 이미지 (자세) 를 선택함으로써, 최적의 자세를 추정한다 (단계 155).
도 37 의 흐름도 및 도 35 를 참조하여, 등록에 대한 제 5 실시형태의 전체 동작이 이하에 기술된다.
우선, 자세별 참조 이미지 등록부 (80) 는 객체 (Ck) 의 참조 이미지를 자세별 참조 이미지 저장 유닛 (85) 에 등록한다 (도 37 의 단계 310). 그 후, 자세별 웨이팅 계수 생성부 (90) 는 우선, 이미지 넘버 (h) 를 1 로 설정한 (단계 210) 후, 학습용 이미지와 참조 이미지를 이용하여 참조 3 차원 웨이팅 계수를 학습하기 위하여, 이미지 넘버 (h) 를 갖는 학습용 이미지를 이미지 입력 유닛 (10) 으로부터 입력한다 (단계 200).
그 후, 정규화부 (15) 는 객체로부터 추출된 피쳐 포인트를 이용하여 입력 이미지를 정렬하고, 정규화 이미지를 생성시킨다 (단계 101). 조합 및 자세 선택 유닛 (41) 은, 입력 이미지와 참조 이미지 사이의 거리 값 (Dkj' ; 또는, 유사도) 을 계산하고, 참조 이미지들 (자세 후보들) 중 모델 (객체) 까지의 거리 값이 가장 작은 하나의 참조 이미지를 선택함으로써, 최적의 자세를 추정하다 (단계 155).
그 후, 자세별 웨이팅 계수 생성부 (90) 는 이미지 넘버 (h) 를 1 씩 증가시킨다 (단계 211). 이미지 넘버 (h) 가 학습용 이미지의 개수 (N) 이하인 경우 (단계 212), 그 다음 학습용 이미지에 대응하는 최적의 자세를 갖는 비교 이미지를 판정하기 위해 단계 200 으로 되 돌아간다. 이미지 넘버 (h) 가 학습용 이미지의 개수 (N) 를 초과하는 경우, 자세별 웨이팅 계수 생성부 (90) 는, 모든 학습용 이미지에 대응하는 최적의 자세의 참조 이미지를 이용하여, 각각의 자세들에 관하여 각각의 픽셀의 조합에 있어서의 중요도를 학습함으로써, 자세별 참조 웨이팅 계수를 생성시킨다 (단계 225). 제 5 실시형태는, 하나의 참조 3 차원 객체 모델, 및 참조 3 차원 웨이팅 계수 대신에, 자세별 참조 이미지와 참조 웨이팅 계수를 갖는 다는 것만 제 1 실시형태와 다르다. 즉, 제 1 실시형태에서의 각각의 자세 후보에 대한 비교 이미지 및 2 차원 웨이팅 계수는, 제 5 실시형태에서의 참조 이미지 및 참조 웨이팅 계수에 대응한다. 따라서, 중요도의 학습과 관련하여, 제 1 실시형태의 에러 (dkj h(r)) 가 비교 이미지 (G) 의 적소의 참조 이미지를 이용하여 계산되고, 그것의 (2 차원) 평균 에러가 Ekj 에 의해 나타내지는 경우, 참조 웨이팅 계수는 Wkj = A/Ekj 에 따라 계산될 수 있다.
마지막으로, 자세별 참조 웨이팅 계수는 자세별 참조 웨이팅 계수 저장 유닛 (95) 에 등록된다 (단계 235).
이하에, 제 5 실시형태의 이점이 기술된다.
본 실시형태에 의하면, 자세별 참조 이미지에 대응하는 자세별 웨이팅 계수를 이용하여 웨이팅 거리가 계산된다. 따라서, 자세에 따라 적절한 웨이팅 계 수를 설정함으로써, 매우 정확한 자세 추정 및 조합이 수행될 수 있다.
이하에, 제 5 실시형태의 동작의 특정한 예가 기술된다.
도 38 에 도시된 바와 같이, 자세별 참조 이미지 저장 유닛 (85) 은 객체 (Ck) 의 자세별 참조 이미지 (Rkj) 를 저장한다. 도 39 에 도시된 바와 같이, 참조 웨이팅 계수 저장 유닛 (95) 은 자세별 참조 웨이팅 계수 (Wkj) 를 저장한다.
이하에, 모델 (C1) 에 관한 자세의 추정이 기술된다. 도 12 에 도시된 것과 같은 입력 이미지 (I(r)) 가 이미지 입력 유닛 (10) 에 의해 획득된다고 가정한다 (도 36 에 도시된 단계 100). 그 후, 정규화부 (15) 는 객체로부터 추출된 피쳐 포인트를 이용하여 입력 이미지를 정렬하고, 정규화 이미지 (I'(r)) 를 생성시킨다 (단계 101). 도 12 에 도시된 입력 이미지에 관한 정규화 이미지의 예는 도 40 에 도시된다. 마지막으로, 웨이팅 조합 및 자세 선택 유닛 (40) 은, 자세별 참조 웨이팅 계수 저장 유닛 (95) 으로부터 획득된 각각의 객체의 자세별 참조 웨이팅 계수 (W1j) 를 이용하여, 자세별 참조 이미지 저장 유닛 (85) 으로부터 획득된 자세별 참조 이미지 (R1j(r)) 와 정규화 이미지 (I'(r)) 사이의 웨이팅 거리 값 (D1j ; 또는, 유사도) 을 계산하고 (단계 145), 객체까지의 거리 값이 가장 작은 참조 이미지 (자세) 를 선택함으로써, 최적의 자세를 추정한다 (단계 155). 유클리드 거리가 이용되는 경우, 웨이팅은
Figure 112006015005348-PCT00008
에 따 라 계산된다. 도 40 에 도시된 정규화 이미지에 대해, 예를 들어, 자세 (e3) 의 R13 은, 거리 값이 가장 작은 비교 이미지로서 선택된다.
[제 6 실시형태]
도 41 을 참조하면, 본 발명의 제 6 실시형태에 따른 객체 자세 추정 및 조합 시스템은, 이미지 입력 유닛 (10), 정규화부 (15), 웨이팅 조합 및 자세 선택 유닛 (40), 자세별 참조 이미지 저장 유닛 (85), 자세별 표준 웨이팅 계수 저장 유닛 (96), 및 등록 유닛 (9) 을 포함한다. 등록 유닛 (9) 은 자세별 참조 이미지 등록부 (80) 를 포함한다.
이미지 입력 유닛 (10), 정규화부 (15), 및 자세별 참조 이미지 저장 유닛 (85) 은, 도 35 에 도시된 제 5 실시형태에 따라, 동일한 참조 부호로 표시된 컴포넌트와 동일한 방식으로 동작한다. 자세별 표준 웨이팅 계수 저장 유닛 (96) 은 자세별 표준 웨이팅 계수를 저장한다. 웨이팅 조합 및 자세 선택 유닛 (40) 은, 자세별 표준 웨이팅 계수 저장 유닛 (96) 으로부터 획득된 자세별 표준 웨이팅 계수를 이용하여, 자세별 참조 이미지 저장 유닛 (85) 으로부터 획득된 자세별 참조 이미지와 정규화 이미지 사이의 웨이팅 거리 값을 계산하고, 거리 값이 가장 작은 기준 이미지를 선택함으로써, 최적의 자세를 추정한다.
도 42 의 흐름도 및 도 41 을 참조하여, 자세 추정에 대한 제 6 실시형태의 전체 동작이 이하에 상세히 기술된다.
우선, 입력 이미지는 이미지 입력 유닛 (10) 에 의해 획득된다 (도 42 의 단 계 100). 그 후, 정규화부 (15) 는 객체로부터 추출된 피쳐 포인트를 이용하여 입력 이미지를 정렬하고, 정규화 이미지를 생성시킨다 (단계 101). 마지막으로, 웨이팅 조합 및 자세 선택 유닛 (40) 은, 자세별 표준 웨이팅 계수 저장 유닛 (96) 으로부터 획득된 자세별 표준 웨이팅 계수를 이용하여, 자세별 참조 이미지 저장 유닛 (85) 으로부터 획득된 각각의 객체의 자세별 참조 이미지와 정규화 이미지 사이의 웨이팅 거리 값 (또는 유사도) 을 계산하고 (단계 146), 객체까지의 거리 값이 가장 작은 참조 이미지 (자세) 를 선택함으로써, 최적의 자세를 추정한다 (단계 155).
이하에 제 6 실시형태의 이점이 기술된다.
본 실시형태에 의하면, 자세별 참조 이미지에 대응하는 자세별 웨이팅 계수를 이용하여 웨이팅 거리가 계산된다. 따라서, 자세에 따라 적절한 웨이팅 계수를 설정함으로써, 매우 정확한 자세 추정 및 조합이 수행될 수 있다.
또한, 본 실시형태에 의하면, 복수의 객체의 웨이팅 계수의 평균을 나타내는 표준 웨이팅 계수가 지지되기 때문에, 참조 3 차원 웨이팅 계수가 객체에 대해 지지될 경우보다 표준 3 차원 웨이팅 계수를 저장하는 저장 용량이 더 적다. 등록 시에 참조 이미지에 대응하는 학습용 이미지를 캡쳐할 필요가 없다.
이하에, 제 6 실시형태의 동작의 특정한 예가 기술된다.
도 38 에 도시된 바와 같이, 자세별 참조 이미지 저장 유닛 (85) 은 객체 (Ck) 의 자세별 참조 이미지 (Rkj) 를 저장한다. 도 43 에 도시된 바와 같이, 자세별 표준 웨이팅 계수 저장 유닛 (96) 은 자세별 표준 웨이팅 계수 (W0j) 를 저장한다. 각각의 자세에 대한 자세별 참조 웨이팅 계수를 평균내거나 각각의 자세에 대해 준비된 학습용 참조 이미지를 학습함으로써 자세별 표준 웨이팅 계수가 판정될 수 있다.
이하에, 모델 (C1) 에 관한 자세의 추정이 기술된다. 도 12 에 도시된 것과 같은 입력 이미지 (I(r)) 는 이미지 입력 유닛 (12) 에 의해 획득된다고 가정한다 (도 42 에 도시된 단계 100). 그 후, 정규화부 (15) 는 객체로부터 추출된 피쳐 포인트를 이용하여 입력 이미지를 정렬하고, 정규화 이미지 (I'(r)) 를 생성시킨다 (단계 101). 도 12 에 도시된 입력 이미지에 관한 정규화 이미지의 예가 도 40 에 도시된다. 마지막으로, 웨이팅 조합 및 자세 선택 유닛 (40) 은, 자세별 표준 웨이팅 계수 저장 유닛 (96) 으로부터 획득된 자세별 표준 웨이팅 계수 (W0j) 를 이용하여, 자세별 참조 이미지 저장 유닛 (85) 으로부터 획득된 각각의 객체의 자세별 참조 이미지 (R1j(r)) 와 정규화 이미지 (I'(r)) 사이의 웨이팅 거리 값 (D1j ; 또는, 유사도) 을 계산하고 (단계 146), 객체까지의 거리 값이 가장 작은 참조 이미지 (자세) 를 선택함으로써, 최적의 자세를 추정한다 (단계 155).
[제 7 실시형태]
도 44 를 참조하면, 본 발명의 제 7 실시형태에 따른 객체 자세 추정 및 조합 시스템은, 이미지 입력 유닛 (10), 정규화부 (15), 웨이팅 조합 및 자세 선택 유닛 (40), 자세별 참조 이미지 저장 유닛 (85), 자세- 및 변동-별 참조 웨이팅 계수 저장 유닛 (97), 변동 추정부 (36), 표준 3 차원 객체 모델 저장 유닛 (56), 및 등록 유닛 (8) 을 포함한다. 등록 유닛 (8) 은, 자세별 참조 이미지 등록부 (80), 조합 및 자세 선택 유닛 (41), 및 자세- 및 변동-별 웨이팅 계수 생성부 (91) 를 포함한다.
이미지 입력 유닛 (10), 정규화부 (15), 웨이팅 조합 및 자세 선택 유닛 (40), 자세별 참조 이미지 저장 유닛 (85), 자세별 참조 이미지 등록부 (80), 및 조합 및 자세 선택 유닛 (41) 은, 제 5 실시형태에 따라, 동일한 참조 부호로 표시된 컴포넌트와 동일한 방식으로 동작한다.
자세- 및 변동-별 참조 웨이팅 계수 저장 유닛 (97) 은 자세- 및 변동-별 웨이팅 계수를 저장한다. 표준 3 차원 객체 모델 저장 유닛 (56) 은 표준 3 차원 객체 모델을 저장한다.
변동 추정부 (36) 는, 자세별 참조 이미지 저장 유닛 (85) 으로부터 획득된 참조 이미지의 자세 정보 및 표준 3 차원 객체 모델 저장 유닛 (56) 으로부터 획득된 표준 3 차원 객체 모델을 이용하여, 정규화부 (15) 로부터 획득된 정규화 이미지와 3 차원 객체 모델의 영역 사이의 대응을 판정하고, 소정의 영역의 이미지 정보에 기초하여 변동을 추정한다. 또한, 변동 추정부 (36) 는, 자세- 및 변동-별 참조 3 차원 웨이팅 계수 저장 유닛 (97) 에 저장된 자세- 및 변동-별 웨이팅 계수들 중에서, 추정된 변동에 기초한 대응 자세- 및 변동-별 웨이팅 계수를 웨이팅 조합 및 자세 선택 유닛 (40) 으로 송신한다.
자세- 및 변동-별 웨이팅 계수 생성부 (91) 는, 조합 및 자세 선택 유닛 (41) 으로부터 획득된 최적의 자세의 참조 이미지, 및 입력 이미지를 이용하여, 변동 추정부 (36) 로부터 획득된 각각의 이미지 변동에 대한 각각의 픽셀의 조합에 있어서의 중요도를 학습함으로써, 자세- 및 변동-별 참조 웨이팅 계수를 생성하고, 생성된 자세- 및 변동-별 참조 웨이팅 계수를 자세- 및 변동-별 참조 웨이팅 계수 저장 유닛 (97) 에 등록한다.
도 45 의 흐름도 및 도 44 를 참조하여, 자세 추정에 대한 제 7 실시형태의 전체 동작이 이하에 상세히 기술된다.
우선, 입력 이미지는 이미지 입력 유닛 (10) 에 의해 획득된다 (도 45 의 단계 100). 그 후, 정규화부 (15) 는 객체로부터 추출된 피쳐 포인트를 이용하여 입력 이미지를 정렬하고, 정규화 이미지를 생성시킨다 (단계 101).
변동 추정부 (36) 는, 자세별 참조 이미지 저장 유닛 (85) 으로부터 획득된 참조 이미지의 자세 정보 및 표준 3 차원 객체 모델 저장 유닛 (56) 으로부터 획득된 표준 3 차원 객체 모델을 이용하여, 3 차원 객체 모델의 영역과 정규화 이미지 사이의 대응을 판정하고, 자세- 및 변동-별 참조 3 차원 웨이팅 계수 저장 유닛 (97) 에 저장된 자세- 및 변동-별 웨이팅 계수들 중에서, 추정된 변동에 기초한 대응 자세- 및 변동-별 웨이팅 계수를, 웨이팅 조합 및 자세 선택 유닛 (40) 으로 송신한다 (단계 181).
마지막으로, 웨이팅 조합 및 자세 선택 유닛 (40) 은, 자세- 및 변동-별 참조 웨이팅 계수 저장 유닛 (97) 으로부터 획득된 자세- 및 변동-별 참조 웨이팅 계 수를 이용하여, 자세-별 참조 이미지 저장 유닛 (85) 으로부터 획득된 자세-별 참조 이미지와 정규화 이미지 사이의 웨이팅 거리 값 (또는, 유사도) 을 계산하고 (단계 147), 객체까지의 거리 값이 가장 작은 참조 이미지 (자세) 를 선택함으로써, 최적의 자세를 추정한다 (단계 155).
도 46 의 흐름도 및 도 44 를 참조하여, 등록에 대한 제 7 실시형태의 전체 동작이 이하에 상세히 기술된다.
우선, 자세별 참조 이미지 등록부 (80) 는 객체 (Ck) 의 참조 이미지를 자세별 참조 이미지 저장 유닛 (85) 에 등록한다 (도 46 의 단계 310).
그 후, 자세- 및 변동-별 웨이팅 계수 등록부 (91) 는 우선, 이미지 넘버 (h) 를 1 로 설정한 (단계 210) 후, 학습용 이미지와 참조 이미지를 이용하여, 참조 웨이팅 계수를 학습하기 위해, 이미지 넘버 (h) 를 갖는 학습용 이미지를 이미지 입력 유닛 (10) 으로부터 입력한다 (단계 200).
그 후, 정규화부 (15) 는 객체로부터 추출된 피쳐 포인트를 이용하여 입력 이미지를 정렬하고, 정규화 이미지를 생성시킨다 (단계 101). 조합 및 자세 선택 유닛 (41) 은 입력 이미지와 참조 이미지 사이의 거리 값 (Dkj' ; 또는, 유사도) 을 계산하고 (단계 145), 참조 이미지들 (자세 후보들) 중 모델 (객체) 까지의 거리 값이 가장 작은 하나의 참조 이미지를 선택함으로써, 최적의 자세를 추정한다 (단계 155).
그 후, 변동 추정부 (36) 는, 자세별 참조 이미지 저장 유닛 (85) 으로부터 획득된 참조 이미지의 자세 정보 및 표준 3 차원 객체 모델 저장 유닛 (56) 으로부터 획득된 표준 3 차원 객체 모델을 이용하여, 3 차원 객체 모델의 영역과 정규화 이미지 사이의 대응을 판정하고, 소정의 영역의 이미지 정보에 기초하여 변동 (b) 을 추정한다 (단계 181).
그 후, 자세- 및 변동-별 웨이팅 계수 생성부 (91) 는 이미지 넘버 (h) 를 1 씩 증가시킨다 (단계 211). 이미지 넘버 (h) 가 학습용 이미지의 개수 (N) 이하인 경우 (단계 212), 그 다음 학습용 이미지에 대응하는 최적의 자세를 갖는 비교 이미지를 판정하기 위해 단계 200 으로 되 돌아간다.
이미지 넘버 (h) 가 학습용 이미지의 개수 (N) 를 초과하는 경우, 자세- 및 변동-별 웨이팅 계수 생성부 (91) 는, 모든 학습용 이미지에 대응하는 최적의 자세의 참조 이미지를 이용하여, 각각의 자세 및 변동 (b) 에 관하여 각각의 픽셀의 조합에 있어서의 중요도를 학습함으로써, 자세- 및 변동-별 참조 웨이팅 계수를 생성시킨다 (단계 226).
마지막으로, 자세- 및 변동-별 웨이팅 계수 생성부 (91) 는 생성된 자세- 및 변동-별 참조 웨이팅 계수를 자세- 및 변동-별 참조 웨이팅 계수 저장 유닛 (97) 에 등록한다 (단계 236).
이하에, 제 7 실시형태의 이점이 기술된다.
본 실시형태에 따라, 자세별 참조 이미지에 대응하는 자세별 웨이팅 계수를 이용하여 웨이팅 거리가 계산된다. 따라서, 자세에 따라 적절한 웨이팅 계수를 설정함으로써, 매우 정확한 자세 추정 및 조합이 수행될 수 있다.
또한, 본 발명에 의하면, 입력 이미지에서 발생할 수도 있는 변동에 대응하는 자세- 및 변동-별 웨이팅 계수가 지지되고, 변동은 정규화 이미지로부터 추정되며, 대응하는 웨이팅 계수가 사용된다. 따라서, 객체 변형 및 조명 조건 변동으로 발생할 수도 있는 변동에 따라 적절한 웨이팅 계수를 설정함으로써, 매우 정확한 자세 추정 및 조합이 수행될 수 있다.
이하에, 제 7 실시형태의 동작의 특정한 예가 기술된다.
도 38 에 도시된 바와 같이, 자세별 참조 이미지 저장 유닛 (85) 은 객체 (Ck) 의 자세별 참조 이미지 (Rkj) 를 저장한다. 도 47 에 도시된 바와 같이, 자세- 및 변동-별 참조 웨이팅 계수 저장 유닛 (97) 은 자세- 및 변동-별 참조 웨이팅 계수 (Wkjb) 를 저장한다.
이하에, 모델 (C1) 에 관한 자세의 추정이 기술된다. 도 28 에 도시된 것과 같은 입력 이미지 (I(r)) 는 이미지 입력 유닛 (12) 에 의해 획득된다고 가정한다 (도 45 에 도시된 단계 100).
그 후, 정규화부 (15) 는 객체로부터 추출된 피쳐 포인트를 이용하여 입력 이미지를 정렬하고, 정규화 이미지 (I'(r)) 를 생성시킨다 (단계 101).
변동 추정부 (36) 는, 자세별 참조 이미지 저장 유닛 (85) 으로부터 획득된 참조 이미지 (R1j) 의 자세 정보 (ej), 및 표준 3 차원 객체 모델 저장 유닛 (56) 으로부터 획득된 표준 3 차원 객체 모델을 이용하여, 3 차원 객체 모델의 영역과 정규화 이미지 사이의 대응을 판정하며, 소정의 영역의 이미지 정보에 기초하여 변 동 (b) 을 추정하며, 자세- 및 변동-별 참조 3 차원 웨이팅 계수 저장 유닛 (97) 에 저장된 자세- 및 변동-별 웨이팅 계수들 (Wkjb) 중에서, 추정된 변동에 기초한 대응 자세- 및 변동-별 웨이팅 계수를 웨이팅 조합 및 자세 선택 유닛 (40) 으로 송신한다 (단계 181). 참조 이미지의 각각의 픽셀이 표준 3 차원 객체 모델의 어느 영역에 대응하는지가 참조 이미지의 자세 정보와 표준 3 차원 객체 모델로부터 판정된다. 정규화 이미지가, 가정된 자세로, 참조 이미지에 대하여 조합되기 때문에, 정규화 이미지와 참조 이미지 사이의 픽셀의 대응을 이용하여 정규화 이미지의 각각의 픽셀이 표준 3 차원 객체 모델의 어느 영역에 대응하는지가 판정된다. 소정의 영역의 이미지 정보에 기초하여 변동을 추정하는 프로세스는 제 3 실시형태의 프로세스와 동일하다. 예를 들어, 변동은 얼굴의 우측 반 및 좌측 반의 평균 휘도 값으로부터 추정된다. 정규화 이미지의 각각의 픽셀이 표준 3 차원 객체 모델의 어느 영역에 대응하는지가 판정되기 때문에, 얼굴의 우측 반과 좌측 반의 평균 휘도 값이 정규화 이미지의 픽셀의 휘도 값을 이용하여 계산될 수 있고, 변동이 추정될 수 있다.
조명 변동은 다음과 같이 추정된다: 정면 조명 방향 (b=2), 정면 조명 방향 (b=2), 및 우측 조명 방향 (b=1) 이 자세 정보 (e1, e2, e3) 에 관하여 각각 판정되는 경우, 자세- 및 변동-별 웨이팅 계수 (W112, W122, W131) 가 선택된다. 마지막으로, 웨이팅 조합 및 자세 선택 유닛 (40) 은, 자세- 및 변동-별 웨이팅 계수 저장 유닛 (97) 으로부터 획득된 자세- 및 변동-별 참조 웨이팅 계수 (W1jb(r)) 를 이 용하여, 정규화 이미지 (I'(r)) 와 자세별 참조 이미지 (R1j) 사이의 웨이팅 거리 값 (D1j) 을 계산하고 (단계 147), 객체까지의 거리 값이 가장 작은 참조 이미지 (자세) 를 선택함으로써, 최적의 자세를 추정한다 (단계 155). 도 40 에 도시된 정규화 이미지에 대해, 자세가 e3 으로 나타내지고, 변동 (조명 조건; b) 가 1 인 동안, 자세- 및 변동-별 웨이팅 계수가 W131 로 나타내지는 경우, 거리 값이 가장 작고, 거리 값이 가장 작은 비교 이미지 R13 가 선택된다.
[제 8 실시형태]
도 48 을 참조하면, 본 발명의 제 8 실시형태에 따른 객체 자세 추정 및 조합 시스템은, 이미지 입력 유닛 (10), 정규화부 (15), 웨이팅 조합 및 자세 선택 유닛 (40), 자세-별 참조 이미지 저장 유닛 (85), 자세- 및 변동-별 표준 웨이팅 계수 저장 유닛 (98), 변동 추정부 (36), 표준 3 차원 객체 모델 저장 유닛 (56), 및 등록 유닛 (9) 을 포함한다. 등록 유닛 (9) 은 자세-별 참조 이미지 등록부 (80) 를 포함한다.
이미지 입력 유닛 (10), 정규화부 (15), 웨이팅 조합 및 자세 선택 유닛 (40), 자세-별 참조 이미지 저장 유닛 (85), 변동 추정부 (36), 표준 3 차원 객체 모델 저장 유닛 (56), 및 자세-별 참조 이미지 등록부 (80) 는, 도 44 에 도시된 제 7 실시형태에 따라, 동일한 참조 부호로 표시된 컴포넌트와 동일한 방식으로 동작한다. 웨이팅 조합 및 자세 선택 유닛 (40) 은, 자세- 및 변동-별 표준 웨이 팅 계수 저장 유닛 (98) 으로부터 획득된 자세- 및 변동-별 표준 웨이팅 계수를 이용하여, 정규화부 (15) 로부터 획득된 정규화 이미지와 자세별 참조 이미지 저장 유닛 (85) 으로부터 획득된 자세별 참조 이미지 사이의 웨이팅 거리 값을 계산하고, 거리 값이 가장 작은 참조 이미지를 선택함으로써, 최적의 자세를 추정한다.
도 49 의 흐름도 및 도 44 를 참조하여, 자세 추정에 대한 제 8 실시형태의 전체 동작이 이하에 상세히 기술된다.
우선, 입력 이미지는 이미지 입력 유닛 (10) 에 의해 획득된다 (도 49 의 단계 100). 그 후, 정규화부 (15) 는 객체로부터 추출된 피쳐 포인트를 이용하여 입력 이미지를 정렬하고, 정규화 이미지를 생성시킨다 (단계 101).
변동 추정부 (36) 는, 자세-별 참조 이미지 저장 유닛 (85) 으로부터 획득된 참조 이미지의 자세 정보 및 표준 3 차원 객체 모델 저장 유닛 (56) 으로부터 획득된 표준 3 차원 객체 모델을 이용하여, 3 차원 객체 모델의 영역과 정규화 이미지 사이의 대응을 판정하고, 소정의 영역의 이미지 정보에 기초하여 변동 (b) 을 추정하며, 자세- 및 변동-별 표준 웨이팅 계수 저장 유닛 (98) 에 저장된 자세- 및 변동-별 웨이팅 계수들 중에서, 추정된 변동에 기초한 대응 자세- 및 변동-별 표준 웨이팅 계수를 웨이팅 조합 및 자세 선택 유닛 (40) 으로 송신한다 (단계 181).
마지막으로, 웨이팅 조합 및 자세 선택 유닛 (40) 은, 자세- 및 변동-별 표준 웨이팅 계수 저장 유닛 (98) 으로부터 획득된 자세- 및 변동-별 표준 웨이팅 계수를 이용하여, 자세-별 참조 이미지 저장 유닛 (85) 으로부터 획득된 자세-별 참조 이미지와 정규화 이미지 사이의 웨이팅 거리 값 (또는 유사도) 을 계산하고 (단 계 147), 객체까지의 거리 값이 가장 작은 참조 이미지 (자세) 를 선택함으로써, 최적의 자세를 추정한다 (단계 155).
이하에, 제 8 실시형태의 이점이 기술된다.
제 8 실시형태에 의하면, 자세-별 참조 이미지에 대응하는 자세-별 웨이팅 계수를 이용하여 웨이팅 거리가 계산된다. 따라서, 자세에 따라 적절한 웨이팅 계수를 설정함으로써, 매우 정확한 자세 추정 및 조합이 수행될 수 있다.
또한, 본 실시형태에 의하면, 복수의 객체의 웨이팅 계수의 평균을 나타내는 표준 웨이팅 계수가 지지되기 때문에, 참조 3 차원 웨이팅 계수가 객체에 대해 지지될 경우보다 표준 3 차원 웨이팅 계수를 저장하기 위한 저장 용량이 더 적다. 등록시에 참조 이미지에 대응하는 학습용 이미지를 캡쳐할 필요가 없다.
또한, 본 발명에 의하면, 입력 이미지에서 발생할 수 있는 변동에 대응하는 자세- 및 변동-별 웨이팅 계수가 지지되며, 변동이 정규화 이미지로부터 추정되며, 대응하는 웨이팅 계수가 사용된다. 따라서, 객체 변형 및 조명 조건 변동으로 발생할 수도 있는 변동에 따라 적절한 웨이팅 계수를 설정함으로써, 매우 정확한 자세 추정 및 조합이 수행될 수 있다.
이하에, 제 8 실시형태의 동작의 특정한 예가 기술된다.
도 38 에 도시된 바와 같이, 자세-별 참조 이미지 저장 유닛 (85) 은 객체 (Ck) 의 자세-별 참조 이미지 (Rkj) 를 저장한다. 도 43 에 도시된 바와 같이, 자세- 및 변동-별 표준 웨이팅 계수 저장 유닛 (98) 은 자세- 및 변동-별 표준 웨 이팅 계수 (W0jb) 를 저장한다. 자세- 및 변동-별 표준 웨이팅 계수는 각각의 자세 및 변동에 대한 자세- 및 변동-별 참조 웨이팅 계수를 평균냄으로써 또는, 각각의 자세 및 변동에 대해 미리 준비된 학습용 참조 이미지를 학습함으로써 판정될 수 있다.
이하에, 모델 (C1) 에 관한 자세의 추정이 기술된다. 도 28 에 도시된 것과 같은 입력 이미지 (I(r)) 는 이미지 입력 유닛 (10) 에 의해 획득된다고 가정한다 (도 49 에 도시된 단계 100).
또한, 정규화부 (15) 는 객체로부터 추출된 피쳐 포인트를 이용하여 입력 이미지를 정렬하고, 정규화 이미지 (I'(r)) 를 발생시킨다 (단계 101). 변동 추정부 (36) 는, 자세-별 참조 이미지 저장 유닛 (85) 으로부터 획득된 참조 이미지 (R1j) 의 자세 정보 (ej), 및 표준 3 차원 객체 모델 저장 유닛 (56) 으로부터 획득된 표준 3 차원 객체 모델을 이용하여, 3 차원 객체 모델의 영역과 정규화 이미지 사이의 대응을 판정하고, 소정의 영역의 이미지 정보에 기초하여 변동 (b) 을 추정하며, 자세- 및 변동-별 웨이팅 계수 저장 유닛 (98) 에 저장된 자세- 및 변동-별 웨이팅 계수들 (W0jb) 중에서, 추정된 변동에 기초한 대응 자세- 및 변동-별 표준 웨이팅 계수를 웨이팅 조합 및 자세 선택 유닛 (40) 으로 송신한다 (단계 181).
조명 변동은 다음과 같이 추정된다: 즉, 정면 조명 방향 (b=2), 정면 조명 방향 (b=2), 및 우측 조명 방향 (b=1) 이 자세 정보 (e1, e2, e3) 에 관하여 각각 판정되는 경우, 자세- 및 변동-별 웨이팅 계수 (W112, W122, W131) 가 선택된다.
마지막으로, 웨이팅 조합 및 자세 선택 유닛 (40) 은, 자세- 및 변동-별 표준 웨이팅 계수 저장 유닛 (98) 으로부터 획득된 자세- 및 변동-별 표준 웨이팅 계수 (W0jb(r)) 를 이용하여, 자세-별 참조 이미지 (R1j) 와 정규화 이미지 (I'(r)) 사이의 웨이팅 거리 값 (D1j) 을 계산하고 (단계 147), 객체까지의 거리 값이 가장 작은 참조 이미지 (자세) 를 선택함으로써, 최적의 자세를 추정한다 (단계 155).
본 발명의 제 2 실시형태 및 제 4 실시형태에서, 표준 3 차원 웨이팅 계수와 참조 3 차원 모델 사이의 대응은 기준 포인트를 이용하여 판정되고, 2 차원 웨이팅 계수가 생성된다. 그러나, 그 대응은 미리 계산될 수도 있고, 표준 3 차원 웨이팅 계수는 참조 3 차원 웨이팅 계수로 변환될 수도 있으며, 이러한 참조 3 차원 웨이팅 계수가 저장될 수도 있다.
본 발명의 제 5 실시형태 내지 제 8 실시형태에서, 자세-별 참조 웨이팅 계수, 자세-별 표준 웨이팅 계수, 자세- 및 변동-별 참조 웨이팅 계수, 및 자세- 및 변동-별 표준 웨이팅 계수는, 자세-별 학습용 참조 이미지를 이용하여, 각각의 자세 (및 각각의 변동) 에 관하여 학습된다. 그러나, 제 1 실시형태 내지 제 4 실시형태와 마찬가지로, 참조 3 차원 객체 모델이 이용될 수도 있으며, 입력 이미지와 참조 이미지 사이의 에러가 3 차원 객체 모델에 대한 것으로 역 변환될 수도 있으며, 또한 3 차원 웨이팅 계수가 학습된 후, 자세에 따라 변환될 수도 있기 때문에, 웨이팅 계수를 생성시킨다. 참조 3 차원 객체 모델은 학습용 참조 이미 지로부터 생성될 수도 있고, 또는 3 차원 형상 측정 장치를 이용하여 생성될 수도 있다. 학습용 참조 이미지는 자세에 따라 반드시 준비될 필요는 없다.
제 3 실시형태, 제 4 실시형태, 제 7 실시형태, 및 제 8 실시형태에서, 조명 조건에서의 발생과 같은 변동이 기술된다. 그러나, 변동이 조명 조건에서 발생하는 것으로 제한되지 않는다. 변동이 객체 형상 변형 (객체가 인물의 얼굴인 경우, 얼굴의 변경) 으로 발생하는 경우, 소정의 영역의 이미지 정보를 이용하여 변동이 추정될 수 있다. 예를 들어, 이미지 템플릿 (template) 을 준비하고 그 이미지 템플릿에 대하여 눈 또는 입을 조합시킴으로써, 눈의 개폐 또는 입의 개폐가 추정될 수 있다. 또한, 변동의 추정이 수행되지 않고, 모든 변동-별 3 차원 웨이팅 계수 또는 자세- 및 변동-별 웨이팅 계수가 웨이팅 조합을 수행하기 위해 이용될 수도 있으며, 또한 거리 값이 가장 작은 (유사도가 가장 큰) 변동이 선택될 수도 있다.
본 발명의 실시형태들 각각에서, 자세 추정을 위해, 웨이팅 계수가 이용되고 가장 거리가 계산된다. 그러나, 조합이 달성될 목적인 경우, 자세 추정을 위해, 웨이팅 계수를 이용하지 않는 거리 계산이 최적의 자세를 판정하도록 수행될 수도 있고, 그 후, 웨이팅 거리가 다시 계산될 수도 있다.
본 발명의 실시형태들 각각에서, 입력 이미지 (또는, 정규화 이미지) 와 참조 이미지 (또는, 비교 이미지) 사이의 픽셀의 에러의 평균의 역수에 따라 웨이팅 계수가 판정된다. 그러나, 웨이팅 계수가 상기 방식으로 판정되도록 제한되지 않는다. 참조 이미지에서와 동일한 객체의 입력 이미지 이외에, 상이한 객체의 입력 이미지가 이용되고 학습될 수도 있다. 이 때, 객체 (Ck) 의 학습용 이미지에 걸쳐 평균내진 평균 에러가 EQ k 로 나타내지고 또 다른 객체의 학습용 이미지에 걸쳐 평균내진 평균 에러가 EQ k 로 나타내지는 경우, 참조 3 차원 웨이팅 계수가 예를 들어,
Figure 112006015005348-PCT00009
(A' 는 정규화 계수를 나타냄) 에 따라 설정될 수도 있다.
본 발명에 따른 객체 자세 추정 및 조합 시스템의 컴포넌트와 같은 수단의 기능이 하드웨어-구현될 수도 있고 또는, 상기 수단의 기능을 수행하는 객체 자세 추정 및 조합 시스템 (어플리케이션) 을 컴퓨터의 메모리로 로딩하고 컴퓨터를 제어함으로써 수행될 수도 있다. 객체 자세 추정 및 조합 프로그램은, 자기 디스크, 반도체 메모리 등과 같은 기록 매체에 저장되고, 기록 매체로부터 컴퓨터로 로딩된다.
이상, 본 발명의 바람직한 실시형태가 상술되었다. 본 발명은 상기 실시형태로 제한되는 것이 아니라, 본 발명의 기술적 사상의 범위내에서 다양한 방식으로 변형될 수도 있다.

Claims (34)

  1. 객체의 참조 3 차원 객체 모델을 미리 저장하는 참조 3 차원 객체 모델 저장 수단;
    상기 참조 3 차원 객체 모델에 대응하는 참조 3 차원 웨이팅 계수를 미리 저장하는 참조 3 차원 웨이팅 계수 저장 수단;
    객체에 대한 자세 후보를 판정하는 자세 후보 판정 수단;
    상기 참조 3 차원 객체 모델에 기초하여, 상기 자세 후보에 따라 입력 이미지에 가까운 비교 이미지를 생성하는 비교 이미지 생성 수단;
    상기 참조 3 차원 객체 모델을 이용하여, 상기 참조 3 차원 웨이팅 계수를 상기 자세 후보에 따라 2 차원 웨이팅 계수로 변환하는 웨이팅 계수 변환 수단; 및
    상기 2 차원 웨이팅 계수를 이용하여, 상기 입력 이미지와 상기 비교 이미지 사이의 웨이팅 거리 값 또는 유사도를 계산하고, 상기 비교 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 비교 이미지를 선택함으로써, 상기 객체의 자세를 추정 및 조합 (match) 시키는, 웨이팅 조합 및 자세 선택 수단을 포함하는, 객체 자세 추정 및 조합 시스템
  2. 객체의 참조 3 차원 객체 모델을 미리 저장하는 참조 3 차원 객체 모델 저장 수단;
    표준 3 차원 웨이팅 계수를 미리 저장하는 표준 3 차원 웨이팅 계수 저장 수 단;
    상기 참조 3 차원 객체 모델에 대응하는 참조 3 차원 기준 포인트를 미리 저장하는 참조 3 차원 기준 포인트 저장 수단;
    표준 3 차원 객체 모델에 대응하는 표준 3 차원 기준 포인트를 미리 저장하는 표준 3 차원 기준 포인트 저장 수단;
    객체에 대한 자세 후보를 판정하는 자세 후보 판정 수단;
    상기 참조 3 차원 객체 모델에 기초하여, 상기 자세 후보에 따라 입력 이미지에 가까운 비교 이미지를 생성하는 비교 이미지 생성 수단;
    상기 표준 3 차원 기준 포인트와 상기 참조 3 차원 기준 포인트를 이용하여, 상기 표준 3 차원 웨이팅 계수와 상기 참조 3 차원 객체 모델 사이의 좌표 대응을 판정하고, 상기 표준 3 차원 웨이팅 계수를 상기 자세 후보에 따라 2 차원 웨이팅 계수로 변환하는 웨이팅 계수 변환 수단; 및
    상기 2 차원 웨이팅 계수를 이용하여, 상기 입력 이미지와 상기 비교 이미지 사이의 웨이팅 거리 값 또는 유사도를 계산하고, 비교 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 비교 이미지를 선택함으로써, 상기 객체의 자세를 추정 및 조합시키는, 웨이팅 조합 및 자세 선택 수단을 포함하는, 객체 자세 추정 및 조합 시스템.
  3. 객체의 참조 3 차원 객체 모델을 미리 저장하는 참조 3 차원 객체 모델 저장 수단;
    상기 참조 3 차원 객체 모델과 이미지 변동에 대응하는 참조 3 차원 웨이팅 계수를 미리 저장하는 변동별 참조 3 차원 웨이팅 계수 저장 수단;
    객체에 대한 자세 후보를 판정하는 자세 후보 판정 수단;
    상기 자세 후보와 상기 참조 3 차원 객체 모델을 이용하여, 3 차원 객체 모델의 영역과 입력 이미지 사이의 대응을 판정하고, 상기 입력 이미지의 소정의 영역의 이미지 정보에 기초하여 변동을 추정하는, 변동 추정 수단;
    상기 참조 3 차원 객체 모델에 기초하여, 상기 자세 후보에 따라 상기 입력 이미지에 가까운 비교 이미지를 생성하는 비교 이미지 생성 수단;
    상기 참조 3 차원 객체 모델을 이용하여, 상기 추정된 변동에 대응하는 상기 참조 3 차원 웨이팅 계수를 상기 자세 후보에 따라 2 차원 웨이팅 계수로 변환하는 웨이팅 계수 변환 수단; 및
    상기 2 차원 웨이팅 계수를 이용하여, 상기 입력 이미지와 상기 비교 이미지 사이의 웨이팅 거리 값 또는 유사도를 계산하고, 비교 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 비교 이미지를 선택함으로써, 상기 객체의 자세를 추정 및 조합시키는, 웨이팅 조합 및 자세 선택 수단을 포함하는, 객체 자세 추정 및 조합 시스템.
  4. 객체의 참조 3 차원 객체 모델을 미리 저장하는 참조 3 차원 객체 모델 저장 수단;
    이미지 변동에 대응하는 표준 3 차원 웨이팅 계수를 미리 저장하는 변동별 표준 3 차원 웨이팅 계수 저장 수단;
    상기 참조 3 차원 객체 모델에 대응하는 참조 3 차원 기준 포인트를 미리 저장하는 참조 3 차원 기준 포인트 저장 수단;
    표준 3 차원 객체 모델에 대응하는 표준 3 차원 기준 포인트를 미리 저장하는 표준 3 차원 기준 포인트 저장 수단;
    객체에 대한 자세 후보를 판정하는 자세 후보 판정 수단;
    상기 자세 후보 및 상기 참조 3 차원 객체 모델을 이용하여, 3 차원 객체 모델의 영역과 입력 이미지 사이의 대응을 판정하고, 상기 입력 이미지의 소정의 영역의 이미지 정보에 기초하여 변동을 추정하는, 변동 추정 수단;
    상기 참조 3 차원 객체 모델에 기초하여, 상기 자세 후보에 따라 상기 입력 이미지에 가까운 비교 이미지를 생성하는 비교 이미지 생성 수단;
    상기 표준 3 차원 기준 포인트와 상기 참조 3 차원 기준 포인트를 이용하여, 상기 추정된 변동에 대응하는 상기 표준 3 차원 웨이팅 계수와 상기 참조 3 차원 객체 모델 사이의 좌표 대응을 판정하고, 상기 표준 3 차원 웨이팅 계수를 상기 자세 후보에 따라 2 차원 웨이팅 계수로 변환하는, 웨이팅 계수 변환 수단; 및
    상기 2 차원 웨이팅 계수를 이용하여, 상기 입력 이미지와 상기 비교 이미지 사이의 웨이팅 거리 값 또는 유사도를 계산하고, 상기 비교 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 비교 이미지를 선택함으로써, 상기 객체의 자세를 추정 및 조합시키는, 웨이팅 조합 및 자세 선택 수단을 포함하는, 객체 자세 추정 및 조합 시스템.
  5. 제 1 항에 있어서,
    참조 3 차원 객체 모델을 상기 참조 3 차원 객체 모델 저장 수단에 등록하는 3 차원 객체 모델 등록 수단;
    상기 참조 3 차원 객체 모델로부터 상기 자세 후보에 따라 생성된 비교 이미지와 학습용 입력 이미지 사이의 거리 값 또는 유사도를 계산하고, 상기 비교 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 비교 이미지를 선택함으로써, 상기 객체의 자세를 추정 및 조합시키는, 조합 및 자세 선택 수단; 및
    최적의 자세의 상기 비교 이미지, 및 상기 입력 이미지를 이용하여, 상기 참조 3 차원 객체 모델, 상기 최적의 자세로부터 판정된 2 차원 이미지, 및 상기 3 차원 모델 사이의 픽셀 대응에 기초하여, 3 차원 모델에 대한 각각의 픽셀의 조합에 있어서의 중요도를 학습함으로써, 참조 3 차원 웨이팅 계수를 생성하고, 상기 생성된 참조 3 차원 웨이팅 계수를 상기 참조 3 차원 웨이팅 계수 저장 수단에 등록하는, 3 차원 웨이팅 계수 생성 수단을 더 포함하는, 객체 자세 추정 및 조합 시스템.
  6. 제 3 항에 있어서,
    참조 3 차원 객체 모델을 상기 참조 3 차원 객체 모델 저장 수단에 등록하는 3 차원 객체 모델 등록 수단;
    상기 참조 3 차원 객체 모델로부터 상기 자세 후보에 따라 생성된 비교 이미지와 학습용 입력 이미지 사이의 거리 값 또는 유사도를 계산하고, 비교 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 비교 이미지를 선택함으로써, 상기 객체의 자세를 추정 및 조합시키는, 조합 및 자세 선택 수단; 및
    최적의 자세의 상기 비교 이미지 및 상기 입력 이미지를 이용하여, 상기 참조 3 차원 객체 모델, 상기 최적의 자세로부터 판정된 2 차원 이미지, 및 상기 3 차원 모델 사이의 픽셀 대응에 기초하여, 상기 입력 이미지의 각각의 이미지 변동에 관한 3 차원 모델에 대한 각각의 픽셀의 조합에 있어서의 중요도를 학습함으로써, 변동별 참조 3 차원 웨이팅 계수를 생성하고, 상기 생성된 변동별 참조 3 차원 웨이팅 계수를 상기 변동별 참조 3 차원 웨이팅 계수 저장 수단에 등록하는, 3 차원 웨이팅 계수 생성 수단을 더 포함하는, 객체 자세 추정 및 조합 시스템.
  7. 제 2 항 또는 제 4 항에 있어서,
    참조 3 차원 객체 모델을 상기 참조 3 차원 객체 모델 저장 수단에 등록하는 3 차원 객체 모델 등록 수단; 및
    상기 참조 3 차원 객체 모델에 관한 참조 3 차원 기준 포인트를 판정하고, 상기 판정된 참조 3 차원 기준 포인트를 상기 참조 3 차원 기준 포인트 저장 수단에 등록하는, 3 차원 기준 포인트 등록 수단을 더 포함하는, 객체 자세 추정 및 조합 시스템.
  8. 객체의 자세별 참조 이미지를 미리 저장하는 자세별 참조 이미지 저장 수단;
    상기 참조 이미지에 대응하는 자세별 참조 웨이팅 계수를 미리 저장하는 자세별 참조 웨이팅 계수 저장 수단;
    정규화 이미지를 생성하기 위해 입력 이미지를 정규화하는 정규화 수단; 및
    상기 자세별 웨이팅 계수를 이용하여, 상기 정규화 이미지와 상기 참조 이미지 사이의 웨이팅 거리 값 또는 유사도를 계산하고, 참조 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 참조 이미지를 선택함으로써, 상기 객체의 자세를 추정 및 조합시키는, 웨이팅 조합 및 자세 선택 수단을 포함하는, 객체 자세 추정 및 조합 시스템.
  9. 객체의 자세별 참조 이미지를 미리 저장하는 자세별 참조 이미지 저장 수단;
    자세별 표준 웨이팅 계수를 미리 저장하는 자세별 표준 웨이팅 계수 저장 수단;
    정규화 이미지를 생성하기 위해 입력 이미지를 정규화하는 정규화 수단; 및
    상기 자세별 웨이팅 계수를 이용하여, 상기 정규화 이미지와 상기 참조 이미지 사이의 웨이팅 거리 값 또는 유사도를 계산하고, 참조 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 참조 이미지를 선택함으로써, 상기 객체의 상기 자세를 추정 및 조합시키는, 웨이팅 조합 및 자세 선택 수단을 포함하는, 객체 자세 추정 및 조합 시스템.
  10. 객체의 자세별 참조 이미지를 미리 저장하는 자세별 참조 이미지 저장 수단;
    상기 참조 이미지 및 이미지 변동에 대응하는 자세- 및 변동-별 참조 웨이팅 계수를 미리 저장하는 자세- 및 변동-별 참조 웨이팅 계수 저장 수단;
    표준 3 차원 객체 모델을 미리 저장하는 표준 3 차원 객체 모델 저장 수단;
    정규화 이미지를 생성하기 위해 입력 이미지를 정규화하는 정규화 수단;
    상기 참조 이미지의 자세 정보 및 상기 표준 3 차원 객체 모델을 이용하여, 3 차원 객체 모델의 영역과 상기 정규화 이미지 사이의 대응을 판정하고, 상기 정규화 이미지의 소정의 영역의 이미지 정보에 기초하여 변동을 추정하는 변동 추정 수단; 및
    상기 참조 이미지의 상기 자세 정보 및 상기 추정된 변동에 대응하는 상기 자세- 및 변동-별 웨이팅 계수를 이용하여, 상기 정규화 이미지와 상기 참조 이미지 사이의 웨이팅 거리 값 또는 유사도를 계산하고, 참조 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 참조 이미지를 선택함으로써, 상기 객체의 상기 자세를 추정 및 조합시키는, 웨이팅 조합 및 자세 선택 수단을 포함하는, 객체 자세 추정 및 조합 시스템.
  11. 객체의 자세별 참조 이미지를 미리 저장하는 자세별 참조 이미지 저장 수단;
    이미지 변동에 대응하는 자세- 및 변동-별 표준 웨이팅 계수를 미리 저장하는 자세- 및 변동-별 표준 웨이팅 계수 저장 수단;
    표준 3 차원 객체 모델을 미리 저장하는 표준 3 차원 객체 모델 저장 수단;
    정규화 이미지를 생성하기 위해 입력 이미지를 정규화하는 정규화 수단;
    상기 참조 이미지의 자세 정보 및 상기 표준 3 차원 객체 모델을 이용하여, 3 차원 객체 모델의 영역과 정규화 이미지 사이의 대응을 판정하고, 상기 정규화 이미지의 소정의 영역의 이미지 정보에 기초하여 변동을 추정하는 변동 추정 수단; 및
    상기 참조 이미지의 상기 자세 정보 및 상기 추정된 변동에 대응하는 상기 자세- 및 변동-별 웨이팅 계수를 이용하여, 상기 정규화 이미지와 상기 참조 이미지 사이의 웨이팅 거리 값 또는 유사도를 계산하고, 상기 참조 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 참조 이미지를 선택함으로써, 상기 객체의 상기 자세를 추정 및 조합시키는, 웨이팅 조합 및 자세 선택 수단을 포함하는, 객체 자세 추정 및 조합 시스템.
  12. 제 8 항에 있어서,
    자세별 참조 이미지를 상기 자세별 참조 이미지 저장 수단에 등록하는 자세별 참조 이미지 등록 수단;
    학습용 입력 이미지와 상기 참조 이미지 사이의 거리 값 또는 유사도를 계산하고, 상기 참조 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 참조 이미지를 선택함으로써, 상기 객체의 상기 자세를 추정 및 조합시키는, 조합 및 자세 선택 수단; 및
    최적의 자세의 상기 참조 이미지와 상기 입력 이미지를 이용하여, 각각의 자세에 관하여 각각의 픽셀의 조합에 있어서의 중요도를 학습함으로써, 자세별 참조 웨이팅 계수를 생성하고, 상기 생성된 자세별 참조 웨이팅 계수를 상기 자세별 참조 웨이팅 계수 저장 수단에 등록하는, 자세별 웨이팅 계수 생성 수단을 더 포함하는, 객체 자세 추정 및 조합 시스템.
  13. 제 10 항에 있어서,
    자세별 참조 이미지를 상기 자세별 참조 이미지 저장 수단에 등록하는 자세별 참조 이미지 등록 수단;
    학습용 입력 이미지와 상기 참조 이미지 사이의 거리 값 또는 유사도를 계산하고, 상기 참조 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 참조 이미지를 선택함으로써, 상기 객체의 상기 자세를 추정 및 조합시키는, 조합 및 자세 선택 수단; 및
    최적의 자세의 상기 참조 이미지와 상기 입력 이미지를 이용하여, 상기 입력 이미지의 각각의 자세 및 각각의 이미지 변동에 관하여 각각의 픽셀의 조합에 있어서의 중요도를 학습함으로써, 자세- 및 변동-별 참조 웨이팅 계수를 생성하고, 상기 생성된 자세- 및 변동-별 참조 웨이팅 계수를 상기 자세- 및 변동-별 참조 웨이팅 계수 저장 수단에 등록하는, 자세- 및 변동-별 웨이팅 계수 생성 수단을 더 포함하는, 객체 자세 추정 및 조합 시스템.
  14. 제 9 항 또는 제 11 항에 있어서,
    자세별 참조 이미지를 상기 자세별 참조 이미지 저장 수단에 등록하는 자세별 참조 이미지 등록 수단을 더 포함하는, 객체 자세 추정 및 조합 시스템.
  15. 제 3 항, 제 4 항, 제 6 항, 제 7 항, 제 10 항, 제 11 항, 제 13 항, 및 제 14 항 중 어느 한 항에 있어서,
    상기 이미지 변동은 조명 조건의 변동을 포함하는, 객체 자세 추정 및 조합 시스템.
  16. 제 3 항, 제 4 항, 제 6 항, 제 7 항, 제 10 항, 제 11 항, 제 13 항, 및 제 14 항 중 어느 한 항에 있어서,
    상기 이미지 변동은 형상 변형을 포함하는, 객체 자세 추정 및 조합 시스템.
  17. 제 1 항 내지 제 14 항 중 어느 한 항에 있어서,
    상기 객체는 얼굴을 포함하는, 객체 자세 추정 및 조합 시스템.
  18. 객체의 참조 3 차원 객체 모델을 미리 저장하는 단계,
    상기 참조 3 차원 객체 모델에 대응하는 참조 3 차원 웨이팅 계수를 미리 저장하는 단계;
    객체에 대한 자세 후보를 판정하는 단계;
    상기 참조 3 차원 객체 모델에 기초하여, 상기 자세 후보에 따라 입력 이미지에 가까운 비교 이미지를 생성하는 단계;
    상기 참조 3 차원 객체 모델을 이용하여, 상기 참조 3 차원 웨이팅 계수를 상기 자세 후보에 따라 2 차원 웨이팅 계수로 변환하는 단계; 및
    상기 2 차원 웨이팅 계수를 이용하여, 상기 입력 이미지와 상기 비교 이미지 사이의 웨이팅 거리 값 또는 유사도를 계산하고, 상기 비교 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 비교 이미지를 선택함으로써, 상기 객체의 상기 자세를 추정 및 조합시키는 단계를 포함하는, 프로세스를 컴퓨터로 하여금 수행하게 할 수 있는 객체 자세 추정 및 조합 프로그램.
  19. 객체의 참조 3 차원 객체 모델을 미리 저장하는 단계;
    표준 3 차원 웨이팅 계수를 미리 저장하는 단계;
    상기 참조 3 차원 객체 모델에 대응하는 참조 3 차원 기준 포인트를 미리 저장하는 단계;
    표준 3 차원 객체 모델에 대응하는 표준 3 차원 기준 포인트를 미리 저장하는 단계;
    객체에 대한 자세 후보를 판정하는 단계;
    상기 참조 3 차원 객체 모델에 기초하여, 상기 자세 후보에 따라 입력 이미지에 가까운 비교 이미지를 생성하는 단계;
    상기 표준 3 차원 기준 포인트와 상기 참조 3 차원 기준 포인트를 이용하여, 상기 표준 3 차원 웨이팅 계수와 상기 참조 3 차원 웨이팅 계수 사이의 좌표 대응을 판정하고 상기 표준 3 차원 웨이팅 계수를 상기 자세 후보에 따라 2 차원 웨이팅 계수로 변환하는 단계; 및
    상기 2 차원 웨이팅 계수를 이용하여, 상기 입력 이미지와 상기 비교 이미지 사이의 웨이팅 거리 값 또는 유사도를 계산하고, 상기 비교 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 비교 이미지를 선택함으로써, 상기 객체의 상기 자세를 추정 및 조합시키는 단계를 포함하는, 프로세스를 컴퓨터로 하여금 수행하게 할 수 있는 객체 자세 추정 및 조합 프로그램.
  20. 객체의 차조 3 차원 객체 모델을 미리 저장하는 단계;
    상기 참조 3 차원 객체 모델 및 이미지 변동에 대응하는 참조 3 차원 웨이팅 계수를 미리 저장하는 단계;
    객체에 대한 자세 후보를 판정하는 단계;
    상기 자세 후보 및 상기 참조 3 차원 객체 모델을 이용하여, 3 차원 객체 모델의 영역과 입력 이미지 사이의 대응을 판정하고, 상기 입력 이미지의 소정의 영역의 이미지 정보에 기초하여 변동을 추정하는 단계;
    상기 참조 3 차원 객체 모델에 기초하여, 상기 자세 후보에 따라 상기 입력 이미지에 가까운 비교 이미지를 생성하는 단계;
    상기 참조 3 차원 객체 모델을 이용하여, 상기 추정된 변동에 대응하는 상기 참조 3 차원 웨이팅 계수를 상기 자세 후보에 따라 2 차원 웨이팅 계수로 변환하는 단계; 및
    상기 2 차원 웨이팅 계수를 이용하여, 상기 입력 이미지와 상기 비교 이미지 사이의 웨이팅 거리 값 또는 유사도를 계산하고, 상기 비교 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 비교 이미지를 선택함으로써, 상기 객체의 상기 자세를 추정 및 조합시키는 단계를 포함하는, 프로세스를 컴퓨터로 하여금 수행하게 할 수 있는 객체 자세 추정 및 조합 프로그램.
  21. 객체의 참조 3 차원 객체 모델을 미리 저장하는 단계;
    이미지 변동에 대응하는 표준 3 차원 웨이팅 계수를 미리 저장하는 단계;
    상기 참조 3 차원 객체 모델에 대응하는 참조 3 차원 기준 포인트를 미리 저장하는 단계;
    표준 3 차원 객체 모델에 대응하는 표준 3 차원 기준 포인트를 미리 저장하는 단계;
    객체에 대한 자세 후보를 판정하는 단계;
    상기 자세 후보와 상기 참조 3 차원 객체 모델을 이용하여, 3 차원 객체 모델의 영역과 입력 이미지 사이의 대응을 판정하고, 상기 입력 이미지의 소정의 영역의 이미지 정보에 기초하여 변동을 추정하는 단계;
    상기 참조 3 차원 객체 모델에 기초하여, 상기 자세 후보에 따라 상기 입력 이미지에 가까운 비교 이미지를 생성하는 단계;
    상기 표준 3 차원 기준 포인트와 상기 참조 3 차원 기준 포인트를 이용하여, 상기 추정된 변동에 대응하는 상기 표준 3 차원 웨이팅 계수와 상기 참조 3 차원 객체 모델 사이의 좌표 대응을 판정하고, 상기 표준 3 차원 웨이팅 계수를 상기 자세 후보에 따라 2 차원 웨이팅 계수로 변환하는 단계; 및
    상기 2 차원 웨이팅 계수를 이용하여, 상기 입력 이미지와 상기 비교 이미지 사이의 웨이팅 거리 값 또는 유사도를 계산하고, 상기 비교 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 비교 이미지를 선택함으로써, 상기 객체의 상기 자세를 추정 및 조합시키는 단계를 포함하는, 프로세스를 컴퓨터로 하여금 수행하게 할 수 있는 객체 자세 추정 및 조합 프로그램.
  22. 제 18 항에 있어서,
    상기 프로세스는,
    참조 3 차원 객체 모델을 등록하는 단계;
    상기 참조 3 차원 객체 모델로부터 상기 자세 후보에 따라 생성된 비교 이미지와 학습용 입력 이미지 사이의 거리 값 또는 유사도를 계산하고, 상기 비교 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 비교 이미지를 선택함으로써, 상기 객체의 상기 자세를 추정 및 조합시 키는 단계; 및
    최적의 자세의 상기 비교 이미지와 상기 입력 이미지를 이용하여, 상기 참조 3 차원 객체 모델, 상기 최적의 자세로부터 판정된 2 차원 이미지, 및 3 차원 모델 사이의 픽셀 대응에 기초하여, 3 차원 모델에 대한 각각의 픽셀의 조합에 있어서의 중요도를 학습함으로써, 참조 3 차원 웨이팅 계수를 생성하고, 상기 생성된 참조 3 차원 웨이팅 계수를 등록하는 단계를 더 포함하는, 객체 자세 추정 및 조합 프로그램.
  23. 제 20 항에 있어서,
    상기 프로세스는,
    참조 3 차원 객체 모델을 등록하는 단계;
    상기 참조 3 차원 객체 모델로부터 상기 자세 후보에 따라 생성된 비교 이미지와 학습용 입력 이미지 사이의 거리 값 또는 유사도를 계산하고, 상기 비교 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 비교 이미지를 선택함으로써, 상기 객체의 상기 자세를 추정 및 조합시키는 단계; 및
    최적의 자세의 상기 비교 이미지와 상기 입력 이미지를 이용하여, 상기 참조 3 차원 객체 모델, 상기 최적의 자세로부터 판정된 2 차원 이미지, 상기 3 차원 모델 사이의 픽셀 대응에 기초하여, 상기 입력 이미지의 각각의 이미지 변동에 관하여 3 차원 모델에 대한 각각의 픽셀의 조합에 있어서의 중요도를 학습함으로써, 변 동별 참조 3 차원 웨이팅 계수를 생성하고, 상기 생성된 변동별 참조 3 차원 웨이팅 계수를 등록하는 단계를 더 포함하는, 객체 자세 추정 및 조합 프로그램.
  24. 제 19 항 또는 제 21 항에 있어서,
    상기 프로세스는,
    참조 3 차원 객체 모델을 등록하는 단계; 및
    상기 참조 3 차원 객체 모델에 관하여 참조 3 차원 기준 포인트를 판정하고, 상기 판정된 참조 3 차원 기준 포인트를 등록하는 단계를 더 포함하는, 객체 자세 추정 및 조합 프로그램.
  25. 객체의 자세별 참조 이미지를 미리 저장하는 단계;
    상기 참조 이미지에 대응하는 자세별 참조 웨이팅 계수를 미리 저장하는 단계;
    정규화 이미지를 생성하기 위해 입력 이미지를 정규화하는 단계; 및
    상기 자세별 웨이팅 계수를 이용하여, 상기 정규화 이미지와 상기 참조 이미지 사이의 웨이팅 거리 값 또는 유사도를 계산하고, 상기 참조 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 참조 이미지를 선택함으로써, 상기 객체의 상기 자세를 추정 및 조합시키는 단계를 포함하는, 프로세스를 컴퓨터로 하여금 수행할 수 있게 하는 객체 자세 추정 및 조합 프로그램.
  26. 객체의 자세별 참조 이미지를 미리 저장하는 단계;
    자세별 표준 웨이팅 계수를 미리 저장하는 단계;
    정규화 이미지를 생성하기 위해 입력 이미지를 정규화하는 단계; 및
    상기 자세별 웨이팅 계수를 이용하여, 상기 정규화 이미지와 상기 참조 이미지 사이의 웨이팅 거리 값 또는 유사도를 계산하고, 상기 참조 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 참조 이미지를 선택함으로써, 상기 객체의 상기 자세를 추정 및 조합시키는 단계를 포함하는, 프로세스를 컴퓨터로 하여금 수행할 수 있게 하는 객체 자세 추정 및 조합 프로그램.
  27. 객체의 자세별 참조 이미지를 미리 저장하는 단계;
    상기 참조 이미지와 이미지 변동에 대응하는 자세- 및 변동-별 참조 웨이팅 계수를 미리 저장하는 단계;
    표준 3 차원 객체 모델을 미리 저장하는 단계;
    정규화 이미지를 생성하기 위해 입력 이미지를 정규화하는 단계;
    상기 참조 이미지의 자세 정보와 상기 표준 3 차원 객체 모델을 이용하여, 3 차원 객체 모델의 영역과 상기 정규화 이미지 사이의 대응을 판정하고, 상기 정규화 이미지의 소정의 영역의 이미지 정보에 기초하여 변동을 추정하는 단계; 및
    상기 추정된 변동에 대응하는 상기 자세- 및 변동-별 웨이팅 계수 및 상기 참조 이미지의 상기 자세 정보를 이용하여, 상기 정규화 이미지와 상기 참조 이미지 사이의 웨이팅 거리 값 또는 유사도를 계산하고, 상기 참조 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 참조 이미지를 선택함으로써, 상기 객체의 상기 자세를 추정 및 조합시키는 단계를 포함하는, 프로세스를 컴퓨터로 하여금 수행하게 할 수 있는 객체 자세 추정 및 조합 프로그램.
  28. 객체의 자세별 참조 이미지를 미리 저장하는 단계;
    이미지 변동에 대응하는 자세- 및 변동-별 표준 웨이팅 계수를 미리 저장하는 단계;
    표준 3 차원 객체 모델을 미리 저장하는 단계;
    정규화 이미지를 생성하기 위해 입력 이미지를 정규화하는 단계;
    상기 참조 이미지의 자세 정보 및 상기 표준 3 차원 객체 모델을 이용하여, 3 차원 객체 모델의 영역과 상기 정규화 이미지 사이의 대응을 판정하고, 상기 정규화 이미지의 소정의 영역의 이미지 정보에 기초하여 변동을 추정하는 단계; 및
    상기 추정된 변동에 대응하는 상기 자세- 및 변동-별 웨이팅 계수 및 상기 참조 이미지의 상기 자세 정보를 이용하여, 상기 정규화 이미지와 상기 참조 이미지 사이의 웨이팅 거리 값 또는 유사도를 계산하고, 상기 참조 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 참조 이미지를 선택함으로써, 상기 객체의 상기 자세를 추정 및 조합시키는 단계를 포함하는, 프로세스를 컴퓨터로 하여금 수행하게 할 수 있는 객체 자세 추정 및 조합 프로그램.
  29. 제 25 항에 있어서,
    상기 프로세스는,
    자세별 참조 이미지를 등록하는 단계;
    학습용 입력 이미지와 상기 참조 이미지 사이의 거리 값 또는 유사도를 계산하고, 상기 참조 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체에 관한 유사도가 가장 큰 하나의 참조 이미지를 선택함으로써, 상기 객체의 상기 자세를 추정 및 조합시키는 단계; 및
    최적의 자세의 상기 참조 이미지 및 상기 입력 이미지를 이용하여, 각각의 자세에 관하여 각각의 픽셀의 조합에 있어서의 중요도를 학습함으로써, 자세별 참조 웨이팅 계수를 생성하고, 상기 생성된 자세별 참조 웨이팅 계수를 등록하는 단계를 더 포함하는 객체 자세 추정 및 조합 프로그램.
  30. 제 27 항에 있어서,
    상기 프로세스는,
    자세별 참조 이미지를 등록하는 단계;
    학습용 입력 이미지와 상기 참조 이미지 사이의 거리 값 또는 유사도를 계산하고, 상기 참조 이미지들 중, 상기 객체까지의 거리 값이 가장 작거나 상기 객체 에 관한 유사도가 가장 큰 하나의 참조 이미지를 선택함으로써, 상기 객체의 상기 자세를 추정 및 조합시키는 단계; 및
    최적의 자세의 상기 참조 이미지와 상기 입력 이미지를 이용하여, 각각의 자세 및 상기 입력 이미지의 각각의 이미지 변동에 관하여, 각각의 픽셀의 조합에 있어서의 중요도를 학습함으로써 자세- 및 변동-별 참조 웨이팅 계수를 생성하고, 상기 생성된 자세- 및 변동-별 참조 웨이팅 계수를 등록하는 단계를 더 포함하는, 객체 자세 추정 및 조합 프로그램.
  31. 제 26 항 또는 제 28 항에 있어서,
    상기 프로세스는, 자세별 참조 이미지를 등록하는 단계를 더 포함하는, 객체 자세 추정 및 조합 프로그램.
  32. 제 20 항, 제 21 항, 제 23 항, 제 24 항, 제 27 항, 제 28 항, 제 30 항, 및 제 31 항 중 어느 한 항에 있어서,
    상기 이미지 변동은 조명 조건의 변동을 포함하는, 객체 자세 추정 및 조합 프로그램.
  33. 제 20 항, 제 21 항, 제 23 항, 제 24 항, 제 27 항, 제 28 항, 제 30 항, 및 제 31 항 중 어느 한 항에 있어서,
    상기 이미지 변동은 형상 변형을 포함하는, 객체 자세 추정 및 조합 프로그 램.
  34. 제 14 항 내지 제 31 항 중 어느 한 항에 있어서,
    상기 객체는 얼굴을 포함하는, 객체 자세 추정 및 조합 프로그램.
KR1020067004282A 2003-08-29 2004-08-27 웨이팅 정보를 이용하는 객체 자세 추정/조합 시스템 KR100831187B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2003-00305789 2003-08-29
JP2003305789 2003-08-29

Publications (2)

Publication Number Publication Date
KR20060057627A true KR20060057627A (ko) 2006-05-26
KR100831187B1 KR100831187B1 (ko) 2008-05-21

Family

ID=34308390

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067004282A KR100831187B1 (ko) 2003-08-29 2004-08-27 웨이팅 정보를 이용하는 객체 자세 추정/조합 시스템

Country Status (7)

Country Link
US (1) US7706601B2 (ko)
EP (1) EP1667068A4 (ko)
JP (1) JP4553141B2 (ko)
KR (1) KR100831187B1 (ko)
CN (1) CN1846232A (ko)
AU (1) AU2004273275A1 (ko)
WO (1) WO2005027048A1 (ko)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4165350B2 (ja) * 2003-09-08 2008-10-15 松下電工株式会社 画像処理方法並びに画像処理装置
JP4964057B2 (ja) * 2007-08-08 2012-06-27 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法及びプログラム
JP4961582B2 (ja) * 2008-04-07 2012-06-27 富士フイルム株式会社 画像処理システム、画像処理方法、およびプログラム
JP5106459B2 (ja) * 2009-03-26 2012-12-26 株式会社東芝 立体物判定装置、立体物判定方法及び立体物判定プログラム
IL197996A (en) 2009-04-05 2014-07-31 Rafael Advanced Defense Sys A method for locating people
JP5567908B2 (ja) * 2009-06-24 2014-08-06 キヤノン株式会社 ３次元計測装置、その計測方法及びプログラム
US8442305B2 (en) * 2009-06-30 2013-05-14 Mitsubishi Electric Research Laboratories, Inc. Method for determining 3D poses using points and lines
JP5597956B2 (ja) * 2009-09-04 2014-10-01 株式会社ニコン 音声データ合成装置
DE102009049849B4 (de) * 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
JP5618569B2 (ja) * 2010-02-25 2014-11-05 キヤノン株式会社 位置姿勢推定装置及びその方法
JP5393531B2 (ja) * 2010-02-25 2014-01-22 キヤノン株式会社 位置姿勢推定装置、位置姿勢推定方法、プログラム、記憶媒体
JP5753966B2 (ja) * 2010-08-05 2015-07-22 パナソニックＩｐマネジメント株式会社 顔画像登録装置および方法
JP5652649B2 (ja) * 2010-10-07 2015-01-14 株式会社リコー 画像処理装置、画像処理方法および画像処理プログラム
JP5839929B2 (ja) * 2010-11-19 2016-01-06 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP5839971B2 (ja) * 2010-12-14 2016-01-06 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN103503025B (zh) 2011-02-25 2016-09-07 弗劳恩霍夫应用研究促进协会 基于对对象的模型进行变换来确定模型参数
JP5771413B2 (ja) * 2011-03-02 2015-08-26 パナソニック株式会社 姿勢推定装置、姿勢推定システム、および姿勢推定方法
US20210390330A1 (en) * 2012-12-20 2021-12-16 Sarine Technologies Ltd. System and method for determining the traceability of gemstones based on gemstone modeling
CN103927729A (zh) * 2013-01-10 2014-07-16 清华大学 图像处理方法及图像处理装置
JP6430102B2 (ja) * 2013-05-21 2018-11-28 沖電気工業株式会社 人物属性推定装置、人物属性推定方法及びプログラム
US9280827B2 (en) * 2013-07-03 2016-03-08 Mitsubishi Electric Research Laboratories, Inc. Method for determining object poses using weighted features
JP6271953B2 (ja) * 2013-11-05 2018-01-31 キヤノン株式会社 画像処理装置、画像処理方法
KR102256057B1 (ko) * 2014-03-17 2021-05-25 에스케이플래닛 주식회사 객체의 자세 기반 검색 결과 제공 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
JP6537332B2 (ja) * 2014-04-28 2019-07-03 キヤノン株式会社 画像処理方法および撮影装置
JP6624794B2 (ja) * 2015-03-11 2019-12-25 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9830703B2 (en) * 2015-08-12 2017-11-28 Nvidia Corporation Model-based three-dimensional head pose estimation
US10739142B2 (en) 2016-09-02 2020-08-11 Apple Inc. System for determining position both indoor and outdoor
US20180225799A1 (en) * 2017-02-03 2018-08-09 Cognex Corporation System and method for scoring color candidate poses against a color image in a vision system
CN108269309B (zh) * 2018-02-11 2021-04-06 长沙市凯旭达测控技术有限公司 一种跳伞操纵动作量化评估方法及系统
AU2019208182B2 (en) 2018-07-25 2021-04-08 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US10825199B2 (en) 2018-09-12 2020-11-03 Cognex Corporation Methods and apparatus for processing image data for machine vision
US10878299B2 (en) * 2018-09-12 2020-12-29 Cognex Corporation Methods and apparatus for testing multiple fields for machine vision
US10846563B2 (en) 2018-09-12 2020-11-24 Cognex Corporation Methods and apparatus for generating a dense field of three dimensional data for machine vision
US11080833B2 (en) * 2019-11-22 2021-08-03 Adobe Inc. Image manipulation using deep learning techniques in a patch matching operation
EP4352451A1 (en) * 2021-05-20 2024-04-17 Eigen Innovations Inc. Texture mapping to polygonal models for industrial inspections
WO2024059953A1 (en) * 2022-09-23 2024-03-28 Eigen Innovations Inc. Inspection camera deployment solution

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7243945B2 (en) * 1992-05-05 2007-07-17 Automotive Technologies International, Inc. Weight measuring systems and methods for vehicles
US7415126B2 (en) * 1992-05-05 2008-08-19 Automotive Technologies International Inc. Occupant sensing system
US4654872A (en) * 1983-07-25 1987-03-31 Omron Tateisi Electronics Co. System for recognizing three-dimensional objects
US4935810A (en) * 1988-10-26 1990-06-19 Olympus Optical Co., Ltd. Three-dimensional measuring apparatus
DE69125146T2 (de) * 1990-11-19 1997-10-09 Olympus Optical Co Vorrichtung und verfahren zur verarbeitung von endoskopischen bildsignalen
JP3347385B2 (ja) * 1992-03-27 2002-11-20 オリンパス光学工業株式会社 内視鏡画像処理装置
JPH0991436A (ja) 1995-09-21 1997-04-04 Toyota Central Res & Dev Lab Inc 画像処理方法及びその装置
US6850646B1 (en) * 1997-12-31 2005-02-01 Cognex Corporation Fast high-accuracy multi-dimensional pattern inspection
DE10080012B4 (de) * 1999-03-19 2005-04-14 Matsushita Electric Works, Ltd., Kadoma Dreidimensionales Verfahren zum Erkennen von Gegenständen und System zum Aufnehmen eines Gegenstandes aus einem Behältnis mit Verwendung des Verfahrens
JP2000306095A (ja) 1999-04-16 2000-11-02 Fujitsu Ltd 画像照合・検索システム
JP2000306099A (ja) 1999-04-20 2000-11-02 Ntt Data Corp 三次元物体の認識方法及びシステム、記録媒体
JP3417377B2 (ja) 1999-04-30 2003-06-16 日本電気株式会社 三次元形状計測方法及び装置並びに記録媒体
JP4219521B2 (ja) * 2000-02-07 2009-02-04 富士フイルム株式会社 マッチング方法および装置並びに記録媒体
US6580821B1 (en) 2000-03-30 2003-06-17 Nec Corporation Method for computing the location and orientation of an object in three dimensional space
JP2001283216A (ja) 2000-04-03 2001-10-12 Nec Corp 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体
JP2002024830A (ja) 2000-07-05 2002-01-25 Nec Corp 画像照合装置、方法及びコンピュータ読み取り可能な記憶媒体
JP4167390B2 (ja) 2000-11-20 2008-10-15 日本電気株式会社 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体
JP4384366B2 (ja) * 2001-01-12 2009-12-16 富士通株式会社 画像照合処理システムおよび画像照合方法
JP2002288687A (ja) 2001-03-22 2002-10-04 Olympus Optical Co Ltd 特徴量算出装置および方法
JP4573085B2 (ja) * 2001-08-10 2010-11-04 日本電気株式会社 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム
US7221809B2 (en) * 2001-12-17 2007-05-22 Genex Technologies, Inc. Face recognition system and method
KR100816607B1 (ko) * 2003-10-21 2008-03-24 닛본 덴끼 가부시끼가이샤 화상 대조 시스템, 화상 대조 방법 및 컴퓨터로 판독가능한 기록 매체

Also Published As

Publication number Publication date
KR100831187B1 (ko) 2008-05-21
AU2004273275A1 (en) 2005-03-24
EP1667068A4 (en) 2011-09-28
JP4553141B2 (ja) 2010-09-29
EP1667068A1 (en) 2006-06-07
WO2005027048A1 (ja) 2005-03-24
JPWO2005027048A1 (ja) 2007-11-08
US20060165293A1 (en) 2006-07-27
CN1846232A (zh) 2006-10-11
US7706601B2 (en) 2010-04-27

Similar Documents

Publication Publication Date Title
KR100831187B1 (ko) 웨이팅 정보를 이용하는 객체 자세 추정/조합 시스템
JP4556873B2 (ja) 画像照合システム及び画像照合方法
Rogez et al. Mocap-guided data augmentation for 3d pose estimation in the wild
JP4167390B2 (ja) 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体
Malik et al. Computing local surface orientation and shape from texture for curved surfaces
CN109299643B (zh) 一种基于大姿态对准的人脸识别方法及系统
Sun et al. Depth estimation of face images using the nonlinear least-squares model
CN111862299A (zh) 人体三维模型构建方法、装置、机器人和存储介质
CN107563323A (zh) 一种视频人脸特征点定位方法
CN109858433B (zh) 一种基于三维人脸模型识别二维人脸图片的方法及装置
JP3926059B2 (ja) 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体
JP4952267B2 (ja) ３次元形状処理装置、３次元形状処理装置の制御方法、および３次元形状処理装置の制御プログラム
CN111524183A (zh) 一种基于透视投影变换的目标行列定位方法
Niese et al. Emotion recognition based on 2d-3d facial feature extraction from color image sequences
JP4379459B2 (ja) 物体照合方法，物体照合装置，およびそのプログラムを記録した記録媒体
JP4552431B2 (ja) 画像照合装置、画像照合方法及び画像照合プログラム
CN116958420A (zh) 一种数字人教师三维人脸的高精度建模方法
Bowden Learning non-linear Models of Shape and Motion
CN108694348B (zh) 一种基于自然特征的跟踪注册方法及装置
Yunqi et al. Geometric Features of 3D Face and Recognition of It by PCA.
Chang et al. Collaborative face orientation detection in wireless image sensor networks
CN107316025B (zh) 一种手部姿态识别方法及识别系统
Efraty et al. Towards 3D-aided profile-based face recognition
Qiu et al. Edge-Feature-Based Aircraft Cover Recognition and Pose Estimation for AR-Aided Inner Components Inspection
CN115131504A (zh) 一种宽视场大场景下的多人三维重建方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee