KR20090037967A - 자세 추정 방법 및 시스템, 자세 추정 및 대조 방법 및 시스템, 물체 자세 조명 추정 방법 및 시스템, 물체 조명 추정 방법 및 시스템, 대조 시스템, 물체 상위도 계산 방법, 물체 대조 방법, 및 이들을 위한 프로그램이 기록된 컴퓨터 판독가능한 기록 매체 - Google Patents

자세 추정 방법 및 시스템, 자세 추정 및 대조 방법 및 시스템, 물체 자세 조명 추정 방법 및 시스템, 물체 조명 추정 방법 및 시스템, 대조 시스템, 물체 상위도 계산 방법, 물체 대조 방법, 및 이들을 위한 프로그램이 기록된 컴퓨터 판독가능한 기록 매체 Download PDF

Info

Publication number
KR20090037967A
KR20090037967A KR1020097004377A KR20097004377A KR20090037967A KR 20090037967 A KR20090037967 A KR 20090037967A KR 1020097004377 A KR1020097004377 A KR 1020097004377A KR 20097004377 A KR20097004377 A KR 20097004377A KR 20090037967 A KR20090037967 A KR 20090037967A
Authority
KR
South Korea
Prior art keywords
image
generated
sharpness
illumination
estimation
Prior art date
Application number
KR1020097004377A
Other languages
English (en)
Inventor
마사히꼬 하마나까
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Publication of KR20090037967A publication Critical patent/KR20090037967A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/164—Detection; Localisation; Normalisation using holistic features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

자세 추정 및 대조 시스템은 자세 추정 및 대조부(20)를 포함한다. 자세 추정 및 대조부(20)에 있어서는, 자세 후보 결정부(30)가 자세 후보를 결정한다. 비교 화상 생성부(40)는, 결정된 자세 후보에 따라, 3차원 물체 모델 기억부(45)로부터 얻어지는 3차원 물체 모델을 2차원의 화상에 사영하면서 입력 화상에 가까운 비교 화상을 복수개 생성한다. 선명도 추출부(60)는, 생성된 비교 화상으로부터 선명도를 반영한 제1 선명도 특징량을 추출한다. 가중 상위도 계산부(50)는, 입력 화상과 비교 화상의 상위도에 제1 선명도 특징량을 가중한 복수개의 가중 상위도를 계산한다. 판정부(52)는, 최소의 가중 상위도를 갖는 비교 화상을, 입력 화상에 가장 가까운 비교 화상으로서 선출함으로써 자세 추정 및 대조를 행한다.
자세 추정, 대조, 자세 후보, 3차원 물체 모델, 선명도, 가중 상위도

Description

자세 추정 방법 및 시스템, 자세 추정 및 대조 방법 및 시스템, 물체 자세 조명 추정 방법 및 시스템, 물체 조명 추정 방법 및 시스템, 대조 시스템, 물체 상위도 계산 방법, 물체 대조 방법, 및 이들을 위한 프로그램이 기록된 컴퓨터 판독가능한 기록 매체{OBJECT POSTURE ESTIMATION/CORRELATION SYSTEM, OBJECT POSTURE ESTIMATION/CORRELATION METHOD, AND PROGRAM FOR THE SAME}
본 발명은 물체의 자세 추정 및 대조 시스템, 물체의 자세 추정 및 대조 방법, 및 이를 위한 프로그램에 관한 것이다. 본 발명은 특히 여러 가지 자세나 조명의 조건 하에서 촬영된 물체의 화상을 물체 모델과 대조하고, 물체의 자세 추정이나 대조를 행하는 시스템 및 방법 그리고 프로그램에 관한 것이다.
종래의 물체 자세 추정 시스템의 일례(이하, 종래 기술이라 함)가, 예를 들면 일본특허공개공보 제2003-58896호에 개시되어 있다. 도 1에 도시한 바와 같이, 종래의 물체 자세 추정 시스템은 화상 입력부(10)와, 3차원 물체 모델 기억부(45)와, 자세 추정부(25)로 구성되어 있다. 자세 추정부(25)는 자세 후보 결정부(30)와, 비교 화상 생성부(40)와, 상위도(相違度) 계산부(55)와, 판정부(56)를 포함한다.
이와 같은 구성을 갖는 종래의 물체 자세 추정 시스템은 다음과 같이 동작한다. 3차원 물체 모델 기억부(45)에는, 복수개의 물체를 계측하여 생성한 복수개의 3차원 물체 모델이 미리 기억되어 있다. 자세 추정부(25)는 화상 입력부(10)로부터 입력된 입력 화상과 3차원 물체 모델 기억부(45)로부터 판독된 3차원 물체 모델을 비교함으로써 자세 추정을 행한다.
구체적으로는, 최초로 자세 후보 결정부(30)가 복수개의 자세 후보를 생성하고, 비교 화상 생성부(40)에 출력한다. 비교 화상 생성부(40)는 생성된 자세 후보에 따라, 3차원 물체 모델을 2차원의 화상에 사영(射影)하면서 조명 조건 등이 입력 화상에 가까운 비교 화상을 복수개 생성하고, 상위도 계산부(55)에 출력한다. 상위도 계산부(55)는 화상 입력부(10)로부터의 입력 화상과 비교 화상 생성부(40)로부터의 비교 화상을 비교하여 각 비교 화상마다 상위도를 산출하고, 산출한 상위도를 판정부(56)에 출력한다. 판정부(56)는 산출된 상위도에 기초하여 복수개의 비교 화상 중에서 입력 화상에 가장 가까운 비교 화상을 선출하여 최적의 자세를 추정하고, 추정 결과를 출력한다.
상기의 종래 기술에는 이하와 같은 문제점이 있다. 대상으로 되는 3차원 물체 모델의 물체와 입력 화상의 물체가 동일하더라도, 3차원 물체 모델로부터 추정된 자세가 입력 화상의 물체의 자세와 맞지 않는 경우, 입력 화상과 비교 화상의 상위도가 충분히 작아져서(또는 유사도가 충분히 커져서), 틀린 자세 추정 결과를 발생하는 경우가 있다. 또는, 대상으로 되는 3차원 물체 모델의 물체와 입력 화상의 물체가 상이한 경우에도, 입력 화상과 비교 화상의 상위도가 충분히 작아져서, 틀린 자세 추정 결과를 발생하는 경우가 있다.
그 이유는 종래 기술에서는, 3차원 물체 모델로부터 입력 화상에 가까운 비교 화상을 몇가지 생성하고, 입력 화상과 몇가지 비교 화상의 비교에 의해서만 입력 화상에 가장 가까운 비교 화상을 선출하여 자세 추정을 행하고 있기 때문이다. 즉 3차원 물체 모델로부터 추정된 자세가 입력 화상의 물체의 자세와 맞지 않는 경우, 입력 화상과 동일 정도의 선명도의 비교 화상이 생성되면 에지부 등의 위치가 틀리기 때문에 비교적 상위도는 높다. 그러나, 입력 화상보다 선명도가 낮은 비교 화상이 생성되면 비교 화상의 에지부의 오차가 저감된다. 이 경우, 입력 화상과 비교 화상의 상위도는 비교적 작아져서, 입력 화상과 틀린 자세의 비교 화상의 상위도가 약간의 노이즈 등에 의해 가장 작아지게 되는 경우가 있다.
한편, 물체의 대조를 행하는 경우, 대조는 각 3차원 물체 모델로부터 구해진 최적의 비교 화상과 입력 화상의 상위도가 가장 작은 물체를 선출함으로써 실행된다. 그러나, 입력 화상과 비교 화상의 비교에 의해서만 상위도를 구하면, 틀린 물체의 경우이더라도 상위도가 충분히 작아지게 되는 경우가 있어서, 틀린 대조 결과를 발생하는 경우가 있다.
본 발명의 목적은 여러 가지 자세나 조명의 조건 하에서 촬영된 물체의 화상에 대하여, 고정밀도로 자세 추정이나 대조를 행할 수 있는 물체의 자세 추정 및 대조 시스템 및 물체의 자세 추정 및 대조 방법을 제공하는데 있다.
본 발명의 다른 목적은 여러 가지 조명의 조건 하에서 촬영된 물체의 화상에 대하여, 고정밀도로 대조가 가능한 물체 대조 시스템 및 물체 대조 방법을 제공하는데 있다.
본 발명의 제1 양태에 따르면, 입력 화상과 3차원 물체 모델을 비교하여 물체의 자세 추정을 행하는 자세 추정 시스템이 제공된다. 본 자세 추정 시스템은 적어도 하나의 자세 후보를 생성하는 자세 후보 결정부와, 생성된 자세 후보에 따라, 3차원 물체 모델을 2차원 화상에 사영하면서 입력 화상에 가까운 비교 화상을 복수개 생성하는 비교 화상 생성부와, 복수개의 비교 화상 각각으로부터 선명도를 반영한 제1 선명도 특징량을 추출하는 제1 선명도 특징 추출부를 포함한다. 자세 추정 시스템은 또한, 입력 화상과 비교 화상의 상위도에 제1 선명도 특징량을 가중한 복수개의 가중 상위도를 계산하는 가중 상위도 계산부와, 복수개의 가중 상위도 중에서 최소의 가중 상위도를 갖는 비교 화상을 선출하고, 선출된 비교 화상에 기초하여 최적의 자세를 추정하는 판정부를 포함한다.
본 발명의 제2 양태에 따르면, 상기의 자세 추정 시스템을 이용한 자세 추정 및 대조 시스템이 제공된다. 본 자세 추정 및 대조 시스템에 있어서는, 판정부가 또한, 추정한 최적 자세의 최소 가중 상위도를 미리 정해진 임계값과 비교함으로써 물체 대조도 행한다.
본 발명의 제3 양태에 따르면, 입력 화상과 물체 모델을 비교하여 물체의 대조를 행하는 대조 시스템이 제공된다. 본 대조 시스템은 물체 모델로부터 입력 화상에 가까운 비교 화상을 복수개 생성하는 비교 화상 생성부와, 복수개의 비교 화상 각각으로부터 선명도를 반영한 제1 선명도 특징량을 추출하는 제1 선명도 특징 추출부를 포함한다. 대조 시스템은 또한, 입력 화상과 비교 화상의 상위도에 제1 선명도 특징량을 가중한 복수개의 가중 상위도를 계산하는 가중 상위도 계산부와, 계산된 복수개의 가중 상위도를 미리 정해진 임계값과 비교함으로써 물체의 대조를 행하는 판정부를 포함한다.
제1∼제3 양태의 어느 것에 있어서도, 입력 화상으로부터 선명도를 반영한 제2 선명도 특징량을 추출하는 제2 선명도 특징 추출부를 더 포함해도 된다. 이 경우, 가중 상위도 계산부는 입력 화상과 비교 화상의 상위도에, 입력 화상의 제2 선명도 특징량과 비교 화상의 제1 선명도 특징량의 상위도를 가중한 복수개의 가중 상위도를 계산한다.
본 발명의 제4 양태에 따르면, 입력 화상과 3차원 물체 모델을 비교하여 물체의 자세 추정을 행하는 자세 추정 방법이 제공된다. 본 자세 추정 방법에 있어서는, 적어도 하나의 자세 후보를 생성하고, 생성된 자세 후보에 따라, 3차원 물체 모델을 2차원의 화상에 사영하면서 입력 화상에 가까운 비교 화상을 복수개 생성한 다. 본 자세 추정 방법에 있어서는 또한, 복수개의 비교 화상 각각으로부터 선명도를 반영한 제1 선명도 특징량을 추출하고, 입력 화상과 비교 화상의 상위도에 제1 선명도 특징량을 가중한 복수개의 가중 상위도를 계산한다.
본 발명의 제5 양태에 따르면, 상기 제4 양태에 따른 자세 추정 방법을 이용한 자세 추정 및 대조 방법이 제공된다. 본 자세 추정 및 대조 방법에 있어서는, 또한, 복수개의 가중 상위도 중에서 최소의 가중 상위도를 갖는 비교 화상을 선출하고, 선출된 비교 화상에 기초하여 최적의 자세를 추정한다.
제4, 제5 양태의 어느 것에 있어서도, 또한, 입력 화상으로부터 선명도를 반영한 제2 선명도 특징량을 추출하도록 해도 된다. 이 경우, 가중 상위도 계산에 있어서는, 입력 화상과 비교 화상의 상위도에, 입력 화상의 제2 선명도 특징량과 비교 화상의 제1 선명도 특징량의 상위도를 가중한 복수개의 가중 상위도를 계산한다.
본 발명의 제6 양태에 따르면, 입력 화상과 물체 모델을 비교하기 위한 물체 상위도 계산 방법이 제공된다. 본 물체 상위도 계산 방법에 있어서는, 물체 모델로부터 입력 화상에 가까운 비교 화상을 복수개 생성하고, 복수개의 비교 화상 각각으로부터 선명도를 반영한 제1 선명도 특징량을 추출하고, 입력 화상과 비교 화상의 상위도에 제1 선명도 특징량을 가중한 복수개의 가중 상위도를 계산한다.
본 물체 상위도 계산 방법에 있어서는, 또한, 입력 화상으로부터 선명도를 반영한 제2 선명도 특징량을 추출해도 된다. 이 경우, 가중 상위도 계산에 있어서는, 입력 화상과 비교 화상의 상위도에, 입력 화상의 제2 선명도 특징량과 비교 화 상의 제1 선명도 특징량의 상위도를 가중한 복수개의 가중 상위도를 계산한다.
본 발명의 제7 양태에 따르면, 상기 물체 상위도 계산 방법을 이용한 물체 대조 방법이 제공된다. 본 물체 대조 방법에 있어서는, 또한, 계산된 복수개의 가중 상위도의 비교를 행함으로써 물체 대조를 행할 수 있다.
본 발명의 제8 양태에 따르면, 컴퓨터에, 입력 화상과 3차원 물체 모델을 비교하여 물체의 자세 추정을 실행시키기 위한 자세 추정 프로그램이 제공된다. 본 자세 추정 프로그램에 있어서는, 적어도 하나의 자세 후보를 생성하는 자세 후보 결정 처리와, 생성된 자세 후보에 따라, 3차원 물체 모델을 2차원 화상에 사영하면서 입력 화상에 가까운 비교 화상을 복수개 생성하는 비교 화상 생성 처리와, 복수개의 비교 화상 각각으로부터 선명도를 반영한 제1 선명도 특징량을 추출하는 제1 선명도 특징 추출 처리가 실행된다. 본 자세 추정 프로그램에 있어서는 또한, 입력 화상과 비교 화상의 상위도에 제1 선명도 특징량을 가중한 복수개의 가중 상위도를 계산하는 가중 상위도 계산 처리와, 복수개의 가중 상위도 중에서 최소의 가중 상위도를 갖는 비교 화상을 선출하고, 선출된 비교 화상에 기초하여 최적의 자세를 추정하는 자세 추정 처리가 실행된다.
본 발명의 제9 양태에 따르면, 상기의 자세 추정 프로그램을 이용한 자세 추정 및 대조 프로그램이 제공된다. 본 자체 추정 및 대조 프로그램에 있어서는, 자세 추정 처리에 있어서, 또한, 추정한 최적 자세의 최소 가중 상위도를 미리 정해진 임계값과 비교함으로써 물체 대조가 행해진다.
본 발명의 제10 양태에 따르면, 컴퓨터에, 입력 화상과 물체 모델을 비교하 여 물체의 대조를 실행시키기 위한 대조 프로그램이 제공된다. 본 대조 프로그램에 있어서는, 물체 모델로부터 입력 화상에 가까운 비교 화상을 복수개 생성하는 비교 화상 생성 처리와, 복수개의 비교 화상 각각으로부터 선명도를 반영한 제1 선명도 특징량을 추출하는 제1 선명도 특징 추출 처리와, 입력 화상과 비교 화상의 상위도에 제1 선명도 특징량을 가중한 복수개의 가중 상위도를 계산하는 가중 상위도 계산 처리와, 계산된 복수개의 가중 상위도의 비교를 행함으로써 대조를 행하는 대조 처리가 실행된다.
제8∼제10 양태의 어느 것에 있어서도, 또한, 입력 화상으로부터 선명도를 반영한 제2 선명도 특징량을 추출하는 제2 선명도 특징 추출 처리가 실행되어도 된다. 이 경우, 가중 상위도 계산 처리에 있어서는, 입력 화상과 비교 화상의 상위도에, 입력 화상의 제2 선명도 특징량과 비교 화상의 제1 선명도 특징량의 상위도를 가중한 복수개의 가중 상위도를 계산한다.
본 발명에 따르면, 이하의 효과가 얻어진다.
여러 가지 자세나 조명의 조건 하에서 촬영된 물체의 화상에 대하여, 고정밀도로 자세 추정이나 대조가 가능하다. 그 제1 이유는, 물체 모델로부터 생성된 복수개의 비교 화상으로부터 선명도를 반영하는 제1 선명도 특징량을 추출하여, 상위도 계산에 부가함으로써, 물체 모델의 물체와 입력 화상의 물체가 맞지 않는 경우에는 큰 상위도가 생기기 쉬워지기 때문이다. 비교 화상을 생성한 물체 모델이 입력 화상과 동일한 물체이고, 아울러 추정 자세가 맞는 경우, 생성되는 비교 화상은 선명한 화상으로 되는 것이 기대된다. 이로 인해, 선명도를 반영한 제1 선명도 특징량을 상위도 계산에 이용함으로써, 자세 추정이나 대조 정밀도가 향상된다.
제2 이유는, 비교 화상과 입력 화상으로부터 각각 선명도를 반영하는 제1, 제2 선명도 특징량을 추출하여 상위도 계산에 부가함으로써, 마찬가지로 물체 모델의 물체와 입력 화상의 물체가 맞지 않는 경우에는 큰 상위도가 생기기 쉬워지기 때문이다. 비교 화상을 생성한 물체 모델이 입력 화상과 동일한 물체이고, 아울러 추정 자세가 맞는 경우, 생성되는 비교 화상의 선명도는 입력 화상의 선명도에 가까워지는 것이 기대된다. 이로 인해, 선명도를 반영한 제1, 제2 선명도 특징량을 상위도 계산에 이용함으로써, 자세 추정이나 대조 정밀도가 향상된다.
본 발명을 몇 개의 실시 형태에 대하여 도면을 참조하여 상세히 설명한다.
도 2는 본 발명에 따른 물체의 자세 추정 및 대조 시스템의 제1 실시 형태를 도시한다. 도 2에 있어서, 도 1에서 설명한 요소와 동일 요소에는 동일 번호를 붙이고 있다. 물체의 자세 추정 및 대조 시스템은 비디오 카메라 등에 의한 화상 입력부(10)와, 3차원 물체 모델 기억부(45)와, 자세 추정 및 대조부(20)로 구성되어 있다. 자세 추정 및 대조부(20)는 자세 후보 결정부(30), 비교 화상 생성부(40), 선명도 특징 추출부(제1 선명도 특징 추출부)(60), 가중 상위도 계산부(50), 판정부(52)를 포함한다.
3차원 물체 모델 기억부(45)에는 복수개의 물체의 3차원 물체 모델이 미리 기억되어 있다. 3차원 물체 모델은 예를 들면 일본특허공개공보 제2001-12925호에 개시된 3차원 형상 계측 장치를 이용함으로써 생성할 수 있다. 또는, 3차원 물체 모델은 일본특허공개공보 평9-91436호에 개시된, 다수개의 카메라로 촬영된 복수개의 화상으로부터 3차원 형상을 복원하는 장치를 이용함으로써 생성할 수 있다. 어느 것으로 하든지, 3차원 물체 모델의 생성 방법은 본 발명의 요지가 아니므로 상세한 설명은 생략한다.
자세 추정 및 대조부(20)는 화상 입력부(10)로부터 얻어지는 입력 화상과 3차원 물체 모델 기억부(45)로부터 얻어지는 3차원 물체 모델을 비교함으로써 물체의 자세 추정 및 물체 대조를 행한다.
구체적으로는, 먼저 자세 후보 결정부(30)는 적어도 하나의 자세 후보를 생성한다. 자세 후보는 복수개 생성되는 것이 바람직하고, 이하에서는 자세 후보가 복수개 생성되는 경우에 대하여 설명한다. 비교 화상 생성부(40)는 화상 입력부(10)로부터 입력 화상을 수취한다. 비교 화상 생성부(40)는 또한, 생성된 복수개의 자세 후보에 따라, 3차원 물체 모델 기억부(45)로부터 얻어지는 3차원 물체 모델을 2차원 화상에 사영하면서 조명 조건 등이 입력 화상에 가까운 비교 화상을 복수개 생성한다. 선명도 특징 추출부(60)는 생성된 각 비교 화상으로부터 선명도를 반영한 특징량을 선명도 특징(이하, 제1 선명도 특징량이라 함)으로서 추출한다. 가중 상위도 계산부(50)는 화상 입력부(10)로부터의 입력 화상과 비교 화상 생성부(40)에서 생성된 비교 화상의 상위도에 제1 선명도 특징량을 가중한 상위도(이하, 가중 상위도라 함)을 비교 화상마다 산출한다. 판정부(52)는 계산된 복수개의 가중 상위도에 기초하여 복수개의 비교 화상 중에서 입력 화상에 가장 가까 운(즉 최소 상위도) 비교 화상을 선출하고, 선출된 비교 화상으로부터 최적의 자세를 추정한다.
이후에 상세히 설명하는 바와 같이, 판정부(52)는, 하나의 물체(3차원 물체 모델)와의 대조 처리인 1대1 대조와, 복수개의 3차원 물체 모델로부터 입력 화상에 가장 가까운 물체를 검색하는 1대N 물체 대조를 행할 수 있다. 판정부(52)는, 1대1 대조를 행하는 경우에는, 최소 상위도를 미리 설정되어 있는 임계값과 비교하여, 동일 물체인지의 여부를 판정한다. 한편, 판정부(52)는 1대N 대조를 행하는 경우에는, 복수개의 3차원 물체 모델에 대하여 얻어지는 복수개의 최소 상위도 중에서 가장 작은 3차원 물체 모델을 선출하고, 물체 대조를 행한다.
다음으로, 도 2 및 도 3을 참조하여 제1 실시 형태의 자세 추정에 있어서의 전체 동작에 대하여 상세히 설명한다. 여기서는, 입력 화상과 3차원 물체 모델 Ck를 비교하는 경우에 대하여 설명한다.
도 3에 있어서, 먼저 화상 입력부(10)에 의해 입력 화상이 얻어진다(스텝 100). 다음으로, 자세 후보 결정부(30)에 있어서, 복수개의 자세 후보 {ej}가 결정된다(스텝 110). 다음으로, 비교 화상 생성부(40)는 결정된 자세 후보 {ej}에 따라, 3차원 물체 모델 기억부(45)로부터 얻어지는 3차원 물체 모델 Ck을 2차원의 화상에 사영하면서 입력 화상에 가까운 비교 화상을 복수개 생성한다(스텝 120). 다음으로, 선명도 특징 추출부(60)는 생성된 각 비교 화상으로부터 선명도를 반영한 제1 선명도 특징량을 추출한다(스텝 130). 가중 상위도 계산부(50)는 제1 선명도 특징량을 이용하여, 입력 화상과 생성된 비교 화상의 가중 상위도 D(1) kj를 비교 화상마다 계산한다(스텝 140). 판정부(52)는 계산된 가중 상위도 D(1) kj에 기초하여, 복수개의 비교 화상으로부터 최소 상위도 Dk=minD(1) kj를 갖는 비교 화상을 산출함으로써, 최적의 자세 ej를 구한다(스텝 150). 또한, 도 2에 있어서, 가중 상위도 계산부(50)로부터 자세 후보 결정부(30)를 향하는 선은 이하의 것을 나타내고 있다. 상기의 동작에서는 결정된 복수개의 자세 후보 {ej} 중에서 상위도가 가장 작은 자세를 선택하고 있지만, 자세 후보 결정부(30)로 돌아가서 순차로 자세 후보를 변화시키면서, 상위도가 가장 작은 자세를 검색해도 된다.
다음으로, 도 2 및 도 4를 참조하여 제1 실시 형태의 1대1 대조에 있어서의 전체 동작에 대하여 상세히 설명한다.
도 4의 스텝 100 내지 150은 도 3에 있어서의 스텝 100 내지 150과 동일한 처리이다. 스텝 150에 이어지는 최후의 스텝 165에 있어서, 판정부(52)는 최소 상위도 Dk와 미리 정해진 임계값을 비교하여, 3차원 모델 Ck의 물체와 입력 화상의 물체가 동일한지의 여부를 판정한다. 즉 최소 상위도 Dk가 미리 결정된 임계값보다 작으면 양자는 동일 물체라고 판정한다.
다음으로, 도 2 및 도 5를 참조하여 제1 실시 형태의 1대N 대조에 있어서의 전체 동작에 대하여 상세히 설명한다.
먼저, 화상 입력부(10)에 의해 입력 화상이 얻어진다(스텝 100). 다음으로, 3차원 물체 모델의 모델 번호 k가 1로 된다(스텝 160). 스텝 110 내지 150은 도 3에 있어서의 스텝 110 내지 150과 동일한 처리이다. 스텝 150 후에, 판정부(52)는 모델 번호 k를 1 증가한다(스텝 161). 계속하여, 스텝 162로 이행하여, 판정부(52)는 증가된 모델 번호 k가 미리 결정된 모델수 M에 도달했는지의 여부를 판별한다. 증가된 모델 번호 k가 모델수 M 이하인 경우에는 스텝 110으로 복귀하여, 스텝 110 내지 150이 실행된다. 이에 따라, 모델 번호 (k+1)의 3차원 물체 모델의 최소 상위도가 구해진다. 스텝 162에 있어서, 증가된 모델 번호 k가 모델수 M에 도달해 있으면, 스텝 163으로 이행하고, 판정부(52)는 M개의 최소 상위도 Dk 중의 가장 작은 최소 상위도 Dk가 얻어진 3차원 물체 모델 Ck를 대조 결과로서 출력한다.
다음으로, 제1 실시 형태의 효과에 대하여 설명한다.
제1 실시 형태에서는, 3차원 물체 모델로부터 생성된 비교 화상의 선명도를 반영한 제1 선명도 특징량을, 입력 화상과 비교 화상의 상위도 계산에 가중하도록 구성되어 있다. 이로 인해, 3차원 물체 모델의 자세나 물체가 입력 화상의 자세나 물체와 맞지 않는 경우에는 큰 상위도가 발생하기 쉬워져서, 고정밀도로 자세 추정이나 대조가 가능하다.
다음으로, 구체적인 실시예를 이용하여 제1 실시 형태의 자세 추정에 있어서의 동작을 설명한다. 또한, 본 실시예에서는 인물의 얼굴을 예로 들어 설명하였으나, 다른 물체에도 적용할 수 있다는 것은 물론이다.
3차원 물체 모델 기억부(45)에는 도 6에 도시한 바와 같은, 물체 k의 3차원 물체 모델이 기억되어 있다. 도 6은 3차원 물체 모델 기억부(45)에 기억되어 있는복수개의 3차원 물체 모델의 한 가지 예만을 도시하고 있다. 3차원 물체 모델은 물체 표면의 3차원 공간(x, y, z) 내에서의 형상 PQ(x, y, z)과 텍스쳐 TQ(R, G, B)를 정보로서 담고 있다. Q는 물체 표면 상의 점의 인덱스를 나타내고, 예를 들면 물체의 무게 중심을 중심으로 한 구체에 물체 표면 상의 점을 무게 중심으로부터 사영한 점 Q(s, t)의 좌표에 대응해 있다. 추정의 효율화를 위하여, 미리 3차원 물체 모델로부터 여러 가지 조명 조건에 의한 학습용 CG 화상을 컴퓨터 그래픽에 의해 생성하고, 당해 학습용 CG 화상을 주성분 분석함으로써 기저 화상군을 구해 둔다.
먼저, 화상 입력부(10)에 의해 도 7에 도시한 바와 같은 입력 화상 I(r)이 얻어지는 것으로 한다(도 3의 스텝 100). 여기서 r은 화소를 나타낸다.
다음으로, 자세 후보 결정부(30)에 있어서, 복수개의 자세 후보 {ej}를 결정한다(스텝 110). 자세 후보 {ej}는 입력 화상에 관계없이 미리 설정해 두어도 무방하지만, 이하와 같이 해도 된다. 예를 들면, 입력 화상 및 3차원 물체 모델로부터 눈, 코, 입 등의 특징점을 수동 또는 자동으로 추출한다. 이어서, 추출된 특징점에 기초하여 주지의 물체의 위치 및 방향을 계산하는 방법에 의해 대략 그 자세를 추정하고, 추정된 자세의 근변에서 자세 후보 {ej}를 생성한다. 상기의 물체의 위치 및 방향을 계산하는 방법은 예를 들면 전술한 특허문헌 3에 개시되어 있다.
다음으로, 비교 화상 생성부(40)는 생성된 자세 후보 {ej}에 따라 3차원 물체 모델을 2차원 화상에 사영하면서 입력 화상의 조명 조건에 가까운 비교 화상 Gkj(r)을 복수개 생성한다(스텝 120). 여기서, 입력 화상의 조명 조건에 가까운 비교 화상의 생성은 이하와 같이 하여 행해진다. 미리 구해져 있는 기저 화상군을 각 자세 후보에 기초하여 좌표 변환하고, 당해 좌표 변환된 기저 화상의 선형 합이 당해 입력 화상에 가까워지도록, 선형 합의 계수를 최소 제곱법으로 구한다. 도 7의 입력 화상에 대하여 생성된 비교 화상의 예를 도 8에 나타내지만, 농담 정보는 도시하지 않는다.
다음으로, 선명도 특징 추출부(60)는 비교 화상 Gkj(r)로부터 선명도를 반영한 제1 선명도 특징량 Skj를 추출한다(스텝 130). 선명도 특징량은 화상의 휘도(색)의 변화 정도를 나타내는 양이다. 예를 들면, 화상 G(r)의 제1 선명도 특징량 S은 화상 G(r)의 에지 회상 G'(r)에 있어서의 에지 강도가 임계값 이상인 화소수 Ee의 전체 화소수 E에 대한 비율 Ee/E로 정의할 수 있다. 또한, 제1 선명도 특징량 S는 화상의 콘트라스트(휘도값의 범위)나 휘도값의 분산 등을 이용하여 나타내어도 된다.
다음으로, 가중 상위도 계산부(50)는 제1 선명도 특징량 Skj을 이용하여, 입력 화상 I(r)과 비교 화상 Gkj(r)의 가중 상위도 D(1) kj를 구한다(스텝 140). 가중 상위도는 비교 화상으로부터 추출된 제1 선명도 특징량이 큰 경우에 상위도가 작아 지도록 설정된다. 예를 들면, 입력 화상 I(r)과 비교 화상 Gkj(r)의 상위도 D(0) kj에 유클리드 거리를 이용하는 경우, 이하의 식에 의해 계산된다.
D(0) kj=Σr{I(r)-Gkj(r)}2
또한, 가중 상위도 D(1) kj는 이하의 식에 의해 계산된다.
D(1) kj=D(0) kj/{1+aSkj}(단, a는 가중 계수)
다음으로, 판정부(52)는 복수개의 비교 화상 중에서 최소 가중 상위도 D(1) kj=minjD(1) kj를 갖는 비교 화상을 선출함으로써, 최적의 자세 ej를 구한다(스텝 150).
예를 들면, 도 8의 경우, 자세 e1(비교 화상 Gk1)이 최적 자세이다. 여기서, 각 비교 화상과 입력 화상의 상위도 D(0) kj가 노이즈 등에 의해 상위도 D(0) kj={100, 95, 120}으로 된 경우에도, 각 비교 화상의 제1 선명도 특징량 Skj가 Skj={0.5, 0.3, 0.2}로 된 것으로 하면, 가중 상위도 D(1) kj는 가중 계수 a=1의 경우, D(1) kj={67, 73, 100}으로 된다. 그 결과, 비교 화상 Gk1이 선출되고, 자세 e1이 최적 자세로 된다.
또한, 상기의 설명은 물체의 자세 추정 및 대조 시스템으로서 적용하는 경우 이지만, 대조를 행하지 않는 물체 자세 추정 시스템 또는 자세 추정을 수반하지 않는 물체 대조 시스템으로서의 적용도 가능함은 물론이다. 이것은 후술되는 제2 실시 형태에 있어서도 마찬가지이다.
다음으로, 본 발명의 제2 실시 형태에 대하여 상세히 설명한다.
도 9를 참조하여, 본 발명의 제2 실시 형태에 따른, 물체의 자세 추정 및 대조 시스템은 화상 입력부(10)와, 제2 선명도 특징 추출부(61)와, 3차원 물체 모델 기억부(45)와, 자세 추정 및 대조부(21)로 구성되어 있다. 자세 추정 및 대조부(21)는 자세 후보 결정부(30)와, 비교 화상 생성부(40)와, 선명도 특징 추출부(제1 선명도 특징 추출부)(60)와, 가중 상위도 계산부(51)와, 판정부(52)를 포함한다.
화상 입력부(10)와, 3차원 물체 모델 기억부(45)와, 자세 후보 결정부(30)와, 비교 화상 생성부(40)와, 선명도 특징 추출부(60)는, 도 2에서 설명한 것과 동일한 처리를 실행한다.
제2 선명도 특징 추출부(61)는 화상 입력부(10)로부터 얻어지는 입력 화상의 선명도를 반영한 제2 선명도 특징량을 추출한다.
자세 추정 및 대조부(21)는 화상 입력부(10)로부터 얻어지는 입력 화상과 제2 선명도 특징 추출부(61)로부터 얻어지는 입력 화상의 제2 선명도 특징량을 이용하여, 3차원 물체 모델 기억부(45)로부터 얻어지는 3차원 물체 모델과 비교함으로써 자세 추정 및 대조를 행한다.
구체적으로는, 자세 후보 결정부(30)는 복수개의 자세 후보를 생성한다. 비 교 화상 생성부(40)는 생성된 자세 후보에 따라, 3차원 물체 모델을 2차원의 화상에 사영하면서 조명 조건 등이 입력 화상에 가까운 비교 화상을 복수개 생성한다. 선명도 특징 추출부(60)는 생성된 각 비교 화상으로부터 제1 선명도 특징량을 추출한다. 가중 상위도 계산부(51)는 입력 화상과 비교 화상의 상위도에, 입력 화상의 제2 선명도 특징량과 비교 화상의 제1 선명도 특징량의 상위도를 가중한 가중 상위도를 각 비교 화상마다 계산한다. 판정부(52)는 계산된 가중 상위도에 기초하여 복수개의 비교 화상 중에서 입력 화상에 가장 가까운, 즉 최소 상위도를 갖는 비교 화상을 선출함으로써 최적의 자세를 추정한다. 또한, 판정부(52)는 1대1 대조의 경우에는 최소 상위도와 미리 정해진 임계값을 비교하여, 3차원 물체 모델의 물체와 입력 화상의 물체가 동일한지의 여부를 판정한다. 한편, 1대N 대조의 경우에는 판정부(52)는 도 5에서 설명한 바와 같이, M개의 3차원 물체 모델 중에서 최소 상위도가 가장 작은 3차원 물체 모델을 선출한다.
다음으로, 도 9 및 도 10을 참조하여 제2 실시 형태의 자세 추정에 있어서의 전체 동작에 대하여 상세히 설명한다. 또한, 1대1 대조의 동작의 경우, 도 10의 스텝 151의 후에 도 4의 스텝 165가 실행되는 것은 명확하다. 한편, 1대N 대조의 동작의 경우, 도 10의 스텝 110의 전에 도 5의 스텝 160이 실행되고, 도 10의 스텝 151의 후에 도 5의 스텝 161 내지 163이 실행되는 것도 명백하다. 그러므로, 도 10의 스텝 151 이후의 동작 설명은 생략한다.
먼저, 화상 입력부(10)에 의해 입력 화상이 얻어진다(도 10의 스텝 100). 다음으로, 제2 선명도 특징 추출부(61)는 입력 화상의 제2 선명도 특징량을 추출한 다(스텝 101). 다음으로, 자세 후보 결정부(30)에 있어서, 복수개의 자세 후보 {ej}를 결정한다(스텝 110). 다음으로, 비교 화상 생성부(40)는 결정된 자세 후보에 따라, 3차원 물체 모델 Ck를 2차원 화상에 사영하면서 입력 화상에 가까운 비교 화상을 복수개 생성한다(스텝 120). 다음으로, 선명도 특징 추출부(60)는 생성된 비교 화상으로부터 제1 선명도 특징량을 추출한다(스텝 130). 가중 상위도 계산부(51)는 입력 화상과 생성된 비교 화상 및 입력 화상의 제2 선명도 특징량과 비교 화상의 제1 선명도 특징량을 이용한 가중 상위도 D(2) kj를 각 비교 화상마다 구한다(스텝 141).
예를 들면, 입력 화상과 비교 화상의 상위도를 D(0) kj, 입력 화상의 제2 선명도 특징량과 비교 화상의 제1 선명도 특징량의 상위도를 D(e) kj로 한 경우, 가중 상위도 D(2) kj는 이하의 식으로 계산된다.
D(2) kj=D(0) kj+bD(e) kj (단, b는 가중 계수)
제1, 제2 선명도 특징량의 상위도는 유클리드 거리 등에 의해 계산할 수 있다. 판정부(52)는 복수개의 비교 화상 중에서 최소 상위도를 갖는 비교 화상을 선출함으로써, 최적의 자세 ej를 구한다(스텝 151).
다음으로, 제2 실시 형태의 효과에 대하여 설명한다.
제2 실시 형태에서는, 입력 화상의 제2 선명도 특징량과 비교 화상의 제1 선명도 특징량의 상위도를 입력 화상과 비교 화상의 상위도 계산에 가중하도록 구성되어 있다. 이로 인해, 3차원 물체 모델의 자세나 물체가 입력 화상의 자세나 물체와 맞지 않는 경우에는 큰 상위도가 생기기 쉬워져서, 고정밀도로 자세 추정이나 대조가 가능하다.
다음으로, 본 발명의 제3 실시 형태에 대하여 도면을 참조하여 설명한다.
도 11을 참조하여, 본 발명의 제3 실시 형태에 따른 물체 대조 시스템은 화상 입력부(10)와, 물체 모델 기억부(46)와, 대조부(22)로 구성되어 있다. 대조부(22)는 비교 화상 생성부(41)와, 선명도 특징 추출부(60)와, 가중 상위도 계산부(50)와, 판정부(54)를 포함한다.
제3 실시 형태는 물체의 자세 변동이 적은 경우의 대조를 고려하여, 제1 실시 형태에 있어서의 자세 후보 결정부(30)를 생략하고 있다. 물체의 자세 변동이 적은 경우의 대조라는 것은 예를 들면 물체를 정면에서 촬영한 화상에 대해서만 대조를 행하는 경우이다.
화상 입력부(10)와, 선명도 특징 추출부(60)는 도 2에 도시한 것과 동일한 처리를 실행한다.
물체 모델 기억부(46)에는 복수개의 물체의 물체 모델이 미리 기억되어 있다. 물체 모델은 물체를 촬영했을 때의 여러 가지 화상 변동의 정보를 포함한다. 예를 들면, 각 물체의 여러 가지 조명 조건에서의 정면 얼굴 화상을 미리 준비하고, 당해 정면 얼굴 화상을 주성분 분석함으로써 기저 화상군을 구해 두면, 비교 화상 생성부(41)에 있어서, 당해 기저 화상군의 합성에 의해 입력 화상에 가까운 비교 화상을 생성할 수 있다.
대조부(22)는 화상 입력부(10)로부터 얻어지는 입력 화상과 물체 모델 기억부(46)로부터 얻어지는 물체 모델을 비교함으로써 대조를 행한다.
구체적으로는, 비교 화상 생성부(41)는 물체 모델 기억부(46)로부터 얻어지는 물체 모델로부터 조명 조건 등이 입력 화상에 가까운 비교 화상을 생성한다. 선명도 특징 추출부(60)는 생성된 비교 화상으로부터 선명도를 반영한 제1 선명도 특징량을 추출한다. 가중 상위도 계산부(50)는 입력 화상과 생성된 비교 화상의 상위도에 제1 선명도 특징량을 가중한 가중 상위도를 계산한다. 또한, 판정부(54)는 1대1 대조의 경우에는 계산된 가중 상위도와 미리 설정된 임계값을 비교하여, 물체 모델의 물체와 입력 화상의 물체가 동일한지의 여부를 판정한다. 한편, 1대N 대조의 경우에는 판정부(54)는 복수개의 물체 모델 중에서 가장 작은 최소 상위도를 갖는 물체 모델을 선출한다.
다음으로, 도 11 및 도 12를 참조하여 제3 실시 형태의 1대1 대조에 있어서의 전체 동작에 대하여 상세히 설명한다.
먼저, 화상 입력부(10)에 의해 입력 화상이 얻어진다(도 12의 스텝 100). 다음으로, 비교 화상 생성부(41)는 물체 모델 기억부(46)로부터 얻어지는 물체 모델 Ck로부터 입력 화상에 가까운 비교 화상을 복수개 생성한다(스텝 121). 다음으로, 선명도 특징 추출부(60)는 각 비교 화상으로부터 선명도를 반영한 제1 선명도 특징량을 추출한다(스텝 130). 가중 상위도 계산부(50)는 입력 화상과 비교 화상의 상위도에 제1 선명도 특징량을 가중한 가중 상위도 Dk=D(1) k를 각 비교 화상마다 계산한다(스텝 142). 마지막으로, 판정부(54)는 계산된 가중 상위도와 미리 설정된 임계값을 비교하여, 물체 모델의 물체와 입력 화상의 물체가 동일한지의 여부를 판정한다(스텝 165). 즉 계산된 가중 상위도가 미리 설정된 임계값보다 작은 경우에 동일하다고 판정한다.
1대N 대조의 경우에는, 도 5에서 설명한 1대N 대조에 있어서의 3차원 물체 모델이 물체 모델을 대신하는 것을 제외하면, 거의 동일하므로 설명은 생략한다.
다음으로, 제3 실시 형태의 효과에 대하여 설명한다.
제3 실시 형태에서는, 제1 선명도 특징량을 입력 화상과 비교 화상의 상위도 계산에 가중하도록 구성되어 있다. 이로 인해, 물체 모델의 물체와 입력 화상의 물체가 맞지 않는 경우에는 큰 상위도가 발생하기 쉬워져서, 고정밀도로 대조가 가능하다.
다음으로, 본 발명의 제4 실시 형태에 대하여 도면을 참조하여 상세히 설명한다.
도 13을 참조하여, 본 발명의 제4 실시 형태에 따른 물체 대조 시스템은 화상 입력부(10)와, 제2 선명도 특징 추출부(61)와, 물체 모델 기억부(46)와, 대조부(23)로 구성되어 있다. 대조부(23)는 비교 화상 생성부(41)와, 선명도 특징 추출부(제1 선명도 특징 추출부)(60)와, 가중 상위도 계산부(51)와, 판정부(54)를 포 함한다.
제4 실시 형태는 제3 실시 형태와 마찬가지로, 물체의 자세 변동이 적은 경우의 대조를 고려하여, 제2 실시 형태에 있어서의 자세 후보 결정부(30)를 생략한 형태이다. 물체의 자세 변동이 적은 경우의 대조라는 것은, 전술한 바와 같이, 예를 들면, 물체를 정면에서 촬영한 화상에 대해서만 대조를 행하는 경우이다.
화상 입력부(10)와, 제2 선명도 특징 추출부(61)와, 가중 상위도 계산부(51)는 도 9에서 설명한 제2 실시 형태에 있어서의 각 부와 동일한 처리를 실행한다. 한편, 물체 모델 기억부(46)와, 비교 화상 생성부(41)와, 선명도 특징 추출부(60)는 도 11에서 설명한 제3 실시 형태에 있어서의 각 부와 동일한 처리를 실행한다.
다음으로, 도 13 및 도 14를 참조하여 제4 실시 형태에 따른 1대1 대조의 전체 동작에 대하여 상세히 설명한다.
먼저, 화상 입력부(10)에 의해 입력 화상이 얻어진다(도 14의 스텝 100). 다음으로, 제2 선명도 특징 추출부(61)는 입력 화상으로부터 선명도를 반영한 제2 선명도 특징량을 추출한다(스텝 101). 다음으로, 비교 화상 생성부(41)는 물체 모델 기억부(46)로부터 얻어지는 물체 모델 Ck로부터 입력 화상에 가까운 비교 화상을 복수개 생성한다(스텝 121). 다음으로, 선명도 특징 추출부(60)는 생성된 비교 화상으로부터 선명도를 반영한 제1 선명도 특징량을 추출한다(스텝 130). 가중 상위도 계산부(51)는 입력 화상과 생성된 비교 화상 및 입력 화상의 제2 선명도 특징량과 비교 화상의 제1 선명도 특징량을 이용한 가중 상위도 Dk=D(2) k를 비교 화상마다 계산한다(스텝 143). 마지막으로, 판정부(54)는 계산된 가중 상위도를 미리 설정된 임계값과 비교하여, 물체 모델의 물체와 입력 화상의 물체가 동일한지의 여부를 판정한다(스텝 165).
1대N 대조의 경우에는 도 5에서 설명한 1대N 대조에 있어서의 3차원 물체 모델이 물체 모델을 대신하는 것을 제외하면, 거의 동일하므로 설명은 생략한다.
다음으로, 제4 실시 형태의 효과에 대하여 설명한다.
제4 실시 형태에서는, 입력 화상의 제2 선명도 특징량과 비교 화상의 제1 선명도 특징량의 상위도를, 입력 화상과 비교 화상의 상위도 계산에 가중하도록 구성되어 있다. 이로 인해, 물체 모델의 물체와 입력 화상의 물체가 맞지 않는 경우에는 큰 상위도가 생기기 쉬워지고, 고정밀도로 대조가 가능하다.
전술한 제2 및 제4 실시 형태에서는, 선명도 특징량은 1차원의 특징량으로 하였으나, 더욱 고차의 특징량이어도 된다. 예를 들면, 에지 화상을 고차의 선명도 특징량으로 하여, 각 화소마다 또는 각 소영역마다 선명도 특징량의 상위도를 구해도 된다. 또한, 화상이 선명하지 않은 경우에는 특징점을 안정되게 추출할 수 없기 때문에, 선명도를 반영한 선명도 특징량으로서 특징점을 이용해도 된다. 특징점은 얼굴의 경우, 눈, 코, 입 등의 위치가 일반적이고, 주지의 얼굴 특징 추출 방법 등을 이용하여 자동적으로 추출할 수 있다. 얼굴 특징 추출 방법은 예를 들면 「얼굴 특징점의 자동 추출과 추적」(이나다 등) 2001년 1월, 전자 정보 통신 학회 신학 기법, PRMU2000-151에 개시되어 있다. 특징점의 상위도는 특징점의 좌표값을 특징량으로 하여, 유클리드 거리 등에 의해 계산할 수 있다.
또한, 어느 실시 형태에 있어서도, 추출된 특징점의 수를 선명도 특징량으로서 이용해도 된다.
어느 실시 형태에 있어서도, 3차원 물체 모델 또는 물체 모델은 미리 기억되고, 화상은 화상 입력부로부터 입력된다. 그러나, 본 발명은 화상을 미리 기억 장치에 기억해 두고, 3차원 물체 모델 또는 물체 모델을 다른 입력부를 통해 입력하는 경우에도 적용 가능하다. 본 발명은 또한 화상과 3차원 물체 모델 또는 물체 모델의 양자를 입력부를 통해 입력하는 경우에도 적용 가능하다.
본 발명에 따른 물체의 자세 추정 및 대조 시스템은 구성 요소인 각 부의 기능을 하드웨어적으로 실현할 수 있음은 물론이다. 한편, 상기 각 부의 기능을 소프트웨어적으로 실현할 수도 있다. 이것은 상기한 각 부의 기능을 실행하는 자세 추정 및 대조 프로그램(애플리케이션)을 컴퓨터 처리 장치의 메모리에 로드해 두고, 자세 추정 및 대조 프로그램에 기초하여 컴퓨터 처리 장치를 제어함으로써 실현할 수 있다. 이 자세 추정 및 대조 프로그램은 자기 디스크, 반도체 메모리 그 밖의 기록 매체에 저장되고, 그 기록 매체로부터 컴퓨터 처리 장치에 로드되어, 컴퓨터 처리 장치의 동작을 제어한다. 이에 따라, 전술한 각 기능이 실현된다. 이것은 물체의 자세 추정 프로그램, 물체의 대조 프로그램에 대해서도 동일하다.
도 1은 종래의 물체의 자세 추정 시스템의 구성을 도시한 블록도.
도 2는 본 발명의 제1 실시 형태에 따른 물체의 자세 추정 및 대조 시스템의 구성을 도시한 블록도.
도 3은 제1 실시 형태에 따른 물체의 자세 추정의 동작을 설명하기 위한 플로우차트.
도 4는 제1 실시 형태에 따른 1대1 대조의 동작을 설명하기 위한 플로우차트.
도 5는 제1 실시 형태에 따른 1대N 대조의 동작을 설명하기 위한 플로우차트.
도 6은 제1 실시 형태에 있어서의 3차원 물체 모델의 구체적인 예를 설명하기 위한 도면.
도 7은 제1 실시 형태에 있어서의 입력 화상의 구체예를 설명하기 위한 도면.
도 8은 제1 실시 형태에 있어서의 비교 화상의 구체예를 설명하기 위한 도면.
도 9는 본 발명의 제2 실시 형태에 따른 물체의 자세 추정 및 대조 시스템의 구성을 도시한 블록도.
도 10은 제2 실시 형태에 따른 물체의 자세 추정의 동작을 설명하기 위한 플로우차트.
도 11은 본 발명의 제3 실시 형태에 따른 물체 대조 시스템의 구성을 도시한 블록도.
도 12는 제3 실시 형태에 따른 1대1 대조의 동작을 설명하기 위한 플로우차트.
도 13은 본 발명의 제4 실시 형태에 따른 물체 대조 시스템의 구성을 도시한 블록도.
도 14는 제4 실시 형태에 따른 1대1 대조의 동작을 설명하기 위한 플로우차트.

Claims (18)

  1. 물체의 3차원 모델을 이용하여 상기 물체의 자세와 조명 조건 중 적어도 하나를 변경하면서 상기 물체의 2차원 화상을 생성하고, 그 2차원 화상을 입력 화상과 비교하여 상위도를 구하고, 자세와 조명 조건 중 적어도 한쪽을 추정하는 물체 자세 조명 추정 방법으로서,
    생성된 2차원 화상으로부터 선명도를 추출하고,
    상기 상위도에, 생성된 2차원 화상의 선명도를 반영시키는 것을 특징으로 하는 물체 자세 조명 추정 방법.
  2. 물체의 3차원 모델을 이용하여 상기 물체의 자세와 조명 조건 중 적어도 하나를 변경하면서 상기 물체의 2차원 화상을 생성하는 화상 생성부와,
    생성된 2차원 화상으로부터 선명도를 추출하는 추출부와,
    생성된 2차원 화상을 입력 화상과 비교하여 상위도를 계산할 때, 추출된 선명도를 반영시켜서 계산하는 계산부와,
    상기 계산부의 결과에 기초하여 자세와 조명 조건 중 적어도 한쪽을 추정하는 판정부
    를 포함한 것을 특징으로 하는 물체 자세 조명 추정 시스템.
  3. 컴퓨터에, 물체의 자세, 조명 조건 중 적어도 한쪽의 추정을 실행시키기 위 한 물체 자세 조명 추정 프로그램이 기록된 컴퓨터 판독가능한 기록 매체로서, 상기 물체 자세 조명 추정 프로그램은,
    물체의 3차원 모델을 이용하여 상기 물체의 자세와 조명 조건 중 적어도 하나를 변경하면서 상기 물체의 2차원 화상을 생성하는 화상 생성 처리와,
    생성된 2차원 화상으로부터 선명도를 추출하는 추출 처리와,
    생성된 2차원 화상을 입력 화상과 비교하여 상위도를 계산할 때, 추출된 선명도를 반영시켜서 계산하는 계산 처리와,
    상기 계산 처리의 결과에 기초하여 자세와 조명 조건 중 적어도 한쪽을 추정하는 추정 처리
    를 실행하는 것을 특징으로 하는 물체 자세 조명 추정 프로그램이 기록된 컴퓨터 판독가능한 기록 매체.
  4. 물체의 3차원 모델을 이용하여 상기 물체의 자세와 조명 조건 중 적어도 하나를 변경하면서 상기 물체의 2차원 화상을 생성하고, 그 2차원 화상을 입력 화상과 비교하여 휘도값의 상위도를 구하고, 자세와 조명 조건 중 적어도 한쪽을 추정하는 물체 자세 조명 추정 방법으로서,
    생성된 2차원 화상으로부터 선명도를 추출하고,
    상기 휘도값의 상위도가 가장 낮아지는 2차원 화상이 선명하지 않은 경우에는, 입력 화상에 대한 상기 추정을 채용하지 않는 것을 특징으로 하는 물체 자세 조명 추정 방법.
  5. 물체의 3차원 모델을 이용하여 상기 물체의 자세와 조명 조건 중 적어도 하나를 변경하면서 상기 물체의 2차원 화상을 생성하는 화상 생성부와,
    생성된 2차원 화상으로부터 선명도를 추출하는 추출부와,
    생성된 2차원 화상을 입력 화상과 비교하여 휘도값의 상위도를 구하는 계산부와,
    상기 계산부의 결과에 기초하여 자세와 조명 조건 중 적어도 한쪽을 추정하는 판정부
    를 포함하고,
    상기 판정부는, 상기 휘도값의 상위도가 가장 낮아지는 2차원 화상이 선명하지 않은 경우에는, 입력 화상에 대한 상기 추정을 채용하지 않는 것을 특징으로 하는 물체 자세 조명 추정 시스템.
  6. 컴퓨터에, 물체의 자세, 조명 조건 중 적어도 한쪽의 추정을 실행시키기 위한 물체 자세 조명 추정 프로그램이 기록된 컴퓨터 판독가능한 기록 매체로서, 상기 물체 자세 조명 추정 프로그램은,
    물체의 3차원 모델을 이용하여 상기 물체의 자세와 조명 조건 중 적어도 하나를 변경하면서 상기 물체의 2차원 화상을 생성하는 화상 생성 처리와,
    생성된 2차원 화상으로부터 선명도를 추출하는 추출 처리와,
    생성된 2차원 화상을 입력 화상과 비교하여 휘도값의 상위도를 구하는 계산 처리와,
    상기 계산 처리의 결과에 기초하여 자세와 조명 조건 중 적어도 한쪽을 추정하는 판정 처리
    를 포함하고,
    상기 판정 처리는, 상기 휘도값의 상위도가 가장 낮아지는 2차원 화상이 선명하지 않은 경우에는, 입력 화상에 대한 상기 추정을 채용하지 않는 것을 특징으로 하는 물체 자세 조명 추정 프로그램이 기록된 컴퓨터 판독가능한 기록 매체.
  7. 물체의 자세와 조명 조건 중 적어도 하나를 변경하면서 상기 물체의 2차원 화상을 생성하고, 그 2차원 화상을 입력 화상과 비교하여 상위도를 구하고, 자세와 조명 조건 중 적어도 한쪽을 추정하는 물체 자세 조명 추정 방법으로서,
    생성된 2차원 화상으로부터 선명도를 추출하고,
    상기 상위도에, 생성된 2차원 화상의 선명도를 반영시키는 것을 특징으로 하는 물체 자세 조명 추정 방법.
  8. 물체의 자세와 조명 조건 중 적어도 하나를 변경하면서 상기 물체의 2차원 화상을 생성하는 화상 생성부와,
    생성된 2차원 화상으로부터 선명도를 추출하는 추출부와,
    생성된 2차원 화상을 입력 화상과 비교하여 상위도를 계산할 때, 추출된 선명도를 반영시켜서 계산하는 계산부와,
    상기 계산부의 결과에 기초하여 자세와 조명 조건 중 적어도 한쪽을 추정하는 판정부
    를 포함한 것을 특징으로 하는 물체 자세 조명 추정 시스템.
  9. 컴퓨터에, 물체의 자세, 조명 조건 중 적어도 한쪽의 추정을 실행시키기 위한 물체 자세 조명 추정 프로그램이 기록된 컴퓨터 판독가능한 기록 매체로서, 상기 물체 자세 조명 추정 프로그램은,
    물체의 자세와 조명 조건 중 적어도 하나를 변경하면서 상기 물체의 2차원 화상을 생성하는 화상 생성 처리와,
    생성된 2차원 화상으로부터 선명도를 추출하는 추출 처리와,
    생성된 2차원 화상을 입력 화상과 비교하여 상위도를 계산할 때, 추출된 선명도를 반영시켜서 계산하는 계산 처리와,
    상기 계산 처리의 결과에 기초하여 자세와 조명 조건 중 적어도 한쪽을 추정하는 추정 처리
    를 실행하는 것을 특징으로 하는 물체 자세 조명 추정 프로그램이 기록된 컴퓨터 판독가능한 기록 매체.
  10. 물체의 자세와 조명 조건 중 적어도 하나를 변경하면서 상기 물체의 2차원 화상을 생성하고, 그 2차원 화상을 입력 화상과 비교하여 휘도값의 상위도를 구하고, 자세와 조명 조건 중 적어도 한쪽을 추정하는 물체 자세 조명 추정 방법으로 서,
    생성된 2차원 화상으로부터 선명도를 추출하고,
    상기 휘도값의 상위도가 가장 낮아지는 2차원 화상이 선명하지 않은 경우에는, 입력 화상에 대한 상기 추정을 채용하지 않는 것을 특징으로 하는 물체 자세 조명 추정 방법.
  11. 물체의 자세와 조명 조건 중 적어도 하나를 변경하면서 상기 물체의 2차원 화상을 생성하는 화상 생성부와,
    생성된 2차원 화상으로부터 선명도를 추출하는 추출부와,
    생성된 2차원 화상을 입력 화상과 비교하여 휘도값의 상위도를 구하는 계산부와,
    상기 계산부의 결과에 기초하여 자세와 조명 조건 중 적어도 한쪽을 추정하는 판정부
    를 포함하고,
    상기 판정부는, 상기 휘도값의 상위도가 가장 낮아지는 2차원 화상이 선명하지 않은 경우에는, 입력 화상에 대한 상기 추정을 채용하지 않는 것을 특징으로 하는 물체 자세 조명 추정 시스템.
  12. 컴퓨터에, 물체의 자세, 조명 조건 중 적어도 한쪽의 추정을 실행시키기 위한 물체 자세 조명 추정 프로그램이 기록된 컴퓨터 판독가능한 기록 매체로서, 상 기 물체 자세 조명 추정 프로그램은,
    물체의 자세와 조명 조건 중 적어도 하나를 변경하면서 상기 물체의 2차원 화상을 생성하는 화상 생성 처리와,
    생성된 2차원 화상으로부터 선명도를 추출하는 추출 처리와,
    생성된 2차원 화상을 입력 화상과 비교하여 휘도값의 상위도를 구하는 계산 처리와,
    상기 계산 처리의 결과에 기초하여 자세와 조명 조건 중 적어도 한쪽을 추정하는 판정 처리
    를 포함하고,
    상기 판정 처리는, 상기 휘도값의 상위도가 가장 낮아지는 2차원 화상이 선명하지 않은 경우에는, 입력 화상에 대한 상기 추정을 채용하지 않는 것을 특징으로 하는 물체 자세 조명 추정 프로그램이 기록된 컴퓨터 판독가능한 기록 매체.
  13. 물체의 복수의 조명 조건이 서로 다른 화상을 이용하여 상기 물체의 화상을 생성하고, 그 화상을 입력 화상과 비교하여 상위도를 구하고, 조명 조건을 추정하는 물체 조명 추정 방법으로서,
    생성된 화상으로부터 선명도를 추출하고,
    상기 상위도에, 생성된 화상의 선명도를 반영시키는 것을 특징으로 하는 물체 조명 추정 방법.
  14. 물체의 복수의 조명 조건이 서로 다른 화상을 이용하여 상기 물체의 화상을 생성하는 화상 생성부와,
    생성된 화상으로부터 선명도를 추출하는 추출부와,
    생성된 화상을 입력 화상과 비교하여 상위도를 계산할 때, 추출된 선명도를 반영시켜서 계산하는 계산부와,
    상기 계산부의 결과에 기초하여 조명 조건을 추정하는 판정부
    를 포함한 것을 특징으로 하는 물체 조명 추정 시스템.
  15. 컴퓨터에, 물체의 조명 조건의 추정을 실행시키기 위한 물체 조명 추정 프로그램이 기록된 컴퓨터 판독가능한 기록 매체로서, 상기 물체 조명 추정 프로그램은,
    물체의 복수의 조명 조건이 서로 다른 화상을 이용하여 상기 물체의 화상을 생성하는 화상 생성 처리와,
    생성된 화상으로부터 선명도를 추출하는 추출 처리와,
    생성된 화상을 입력 화상과 비교하여 상위도를 계산할 때, 추출된 선명도를 반영시켜서 계산하는 계산 처리와,
    상기 계산 처리의 결과에 기초하여 조명 조건을 추정하는 추정 처리
    를 실행하는 것을 특징으로 하는 물체 조명 추정 프로그램이 기록된 컴퓨터 판독가능한 기록 매체.
  16. 물체의 복수의 조명 조건이 서로 다른 화상을 이용하여 상기 물체의 화상을 생성하고, 그 화상을 입력 화상과 비교하여 휘도값의 상위도를 구하고, 조명 조건을 추정하는 물체 조명 추정 방법으로서,
    생성된 화상으로부터 선명도를 추출하고,
    상기 휘도값의 상위도가 가장 낮아지는 화상이 선명하지 않은 경우에는, 입력 화상에 대한 상기 추정을 채용하지 않는 것을 특징으로 하는 물체 조명 추정 방법.
  17. 물체의 복수의 조명 조건이 서로 다른 화상을 이용하여 상기 물체의 화상을 생성하는 화상 생성부와,
    생성된 화상으로부터 선명도를 추출하는 추출부와,
    생성된 화상을 입력 화상과 비교하여 휘도값의 상위도를 구하는 계산부와,
    상기 계산부의 결과에 기초하여 조명 조건을 추정하는 판정부
    를 포함하고,
    상기 판정부는, 상기 휘도값의 상위도가 가장 낮아지는 화상이 선명하지 않은 경우에는, 입력 화상에 대한 상기 추정을 채용하지 않는 것을 특징으로 하는 물체 조명 추정 시스템.
  18. 컴퓨터에, 물체의 조명 조건의 추정을 실행시키기 위한 물체 조명 추정 프로그램이 기록된 컴퓨터 판독가능한 기록 매체로서, 상기 물체 조명 추정 프로그램 은,
    물체의 복수의 조명 조건이 서로 다른 화상을 이용하여 상기 물체의 화상을 생성하는 화상 생성 처리와,
    생성된 화상으로부터 선명도를 추출하는 추출 처리와,
    생성된 화상을 입력 화상과 비교하여 휘도값의 상위도를 구하는 계산 처리와,
    상기 계산 처리의 결과에 기초하여 조명 조건을 추정하는 판정 처리
    를 포함하고,
    상기 판정 처리는, 상기 휘도값의 상위도가 가장 낮아지는 화상이 선명하지 않은 경우에는, 입력 화상에 대한 상기 추정을 채용하지 않는 것을 특징으로 하는 물체 조명 추정 프로그램이 기록된 컴퓨터 판독가능한 기록 매체.
KR1020097004377A 2004-03-03 2005-03-03 자세 추정 방법 및 시스템, 자세 추정 및 대조 방법 및 시스템, 물체 자세 조명 추정 방법 및 시스템, 물체 조명 추정 방법 및 시스템, 대조 시스템, 물체 상위도 계산 방법, 물체 대조 방법, 및 이들을 위한 프로그램이 기록된 컴퓨터 판독가능한 기록 매체 KR20090037967A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004059531 2004-03-03
JPJP-P-2004-059531 2004-03-03

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020067020826A Division KR20060116253A (ko) 2004-03-03 2005-03-03 물체의 자세 추정 및 대조 시스템, 물체의 자세 추정 및대조 방법, 및 이를 위한 프로그램

Publications (1)

Publication Number Publication Date
KR20090037967A true KR20090037967A (ko) 2009-04-16

Family

ID=34917977

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020097004377A KR20090037967A (ko) 2004-03-03 2005-03-03 자세 추정 방법 및 시스템, 자세 추정 및 대조 방법 및 시스템, 물체 자세 조명 추정 방법 및 시스템, 물체 조명 추정 방법 및 시스템, 대조 시스템, 물체 상위도 계산 방법, 물체 대조 방법, 및 이들을 위한 프로그램이 기록된 컴퓨터 판독가능한 기록 매체
KR1020067020826A KR20060116253A (ko) 2004-03-03 2005-03-03 물체의 자세 추정 및 대조 시스템, 물체의 자세 추정 및대조 방법, 및 이를 위한 프로그램

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020067020826A KR20060116253A (ko) 2004-03-03 2005-03-03 물체의 자세 추정 및 대조 시스템, 물체의 자세 추정 및대조 방법, 및 이를 위한 프로그램

Country Status (7)

Country Link
US (1) US7986813B2 (ko)
EP (1) EP1727087A1 (ko)
JP (1) JP4692773B2 (ko)
KR (2) KR20090037967A (ko)
CN (1) CN1950844A (ko)
AU (1) AU2005218408A1 (ko)
WO (1) WO2005086089A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190068409A (ko) * 2017-12-08 2019-06-18 가부시끼가이샤 도시바 그래디언트 추정 장치, 그래디언트 추정 방법, 컴퓨터 프로그램 제품 및 제어 시스템
KR20190136042A (ko) * 2017-12-14 2019-12-09 캐논 가부시끼가이샤 3차원 모델의 생성 장치, 생성 방법, 및 프로그램

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101309647B (zh) * 2006-01-10 2013-03-20 株式会社东芝 超声波诊断装置和超声波图像生成方法
JP4991317B2 (ja) * 2006-02-06 2012-08-01 株式会社東芝 顔特徴点検出装置及びその方法
US7483054B2 (en) * 2006-03-16 2009-01-27 Altek Corporation Image unsharpness test method for a camera device
FR2913128B1 (fr) * 2007-02-23 2009-08-28 Total Immersion Sa Procede et dispositif de determination de la pose d'un objet tridimensionnel dans une image et procede et dispositif de creation d'au moins une image cle
US8363909B2 (en) 2007-03-20 2013-01-29 Ricoh Company, Limited Image processing apparatus, image processing method, and computer program product
JP5009172B2 (ja) * 2007-03-20 2012-08-22 株式会社リコー 画像処理装置、撮像装置、画像処理方法、顔検出プログラムおよび記録媒体
CN101271515B (zh) 2007-03-21 2014-03-19 株式会社理光 能识别多角度目标的图像检测装置
US20090324024A1 (en) * 2008-06-25 2009-12-31 Postureminder Ltd System and method for improving posture
US8605989B2 (en) * 2009-02-13 2013-12-10 Cognitech, Inc. Registration and comparison of three dimensional objects in facial imaging
US9208400B2 (en) 2009-02-13 2015-12-08 Cognitech, Inc. Registration and comparison of three-dimensional objects
JP4735783B2 (ja) * 2009-03-13 2011-07-27 日本電気株式会社 画像識別子照合装置
JP5290864B2 (ja) * 2009-05-18 2013-09-18 キヤノン株式会社 位置姿勢推定装置及び方法
WO2012046392A1 (ja) * 2010-10-08 2012-04-12 パナソニック株式会社 姿勢推定装置及び姿勢推定方法
JP5771413B2 (ja) * 2011-03-02 2015-08-26 パナソニック株式会社 姿勢推定装置、姿勢推定システム、および姿勢推定方法
GB2492779B (en) * 2011-07-11 2016-03-16 Toshiba Res Europ Ltd An image processing method and system
US9626798B2 (en) * 2011-12-05 2017-04-18 At&T Intellectual Property I, L.P. System and method to digitally replace objects in images or video
JP5877053B2 (ja) * 2011-12-14 2016-03-02 パナソニック株式会社 姿勢推定装置および姿勢推定方法
US9618327B2 (en) * 2012-04-16 2017-04-11 Digimarc Corporation Methods and arrangements for object pose estimation
US20130314541A1 (en) * 2012-04-16 2013-11-28 Digimarc Corporation Methods and arrangements for object pose estimation
JP6192088B2 (ja) * 2013-02-20 2017-09-06 国立大学法人九州工業大学 物体検出方法および物体検出装置
JP6189170B2 (ja) * 2013-10-16 2017-08-30 セコム株式会社 姿勢推定装置
US9305345B2 (en) * 2014-04-24 2016-04-05 General Electric Company System and method for image based inspection of an object
DE102016210538A1 (de) * 2016-06-14 2017-12-14 Eos Gmbh Electro Optical Systems Verfahren und Vorrichtung zum Fertigen von Objekten mit verbesserter Oberflächenbeschaffenheit
JP6894685B2 (ja) * 2016-09-29 2021-06-30 株式会社カブク 情報処理装置、情報処理方法及びプログラム
JP6936974B2 (ja) * 2017-12-19 2021-09-22 オムロン株式会社 位置姿勢推定装置、位置姿勢推定方法及びプログラム
EP3594902B1 (en) * 2018-07-09 2021-04-07 Argo AI GmbH Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle
AU2019208182B2 (en) 2018-07-25 2021-04-08 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0991436A (ja) 1995-09-21 1997-04-04 Toyota Central Res & Dev Lab Inc 画像処理方法及びその装置
US6002782A (en) * 1997-11-12 1999-12-14 Unisys Corporation System and method for recognizing a 3-D object by generating a 2-D image of the object from a transformed 3-D model
JP2000099722A (ja) * 1998-09-22 2000-04-07 Toshiba Corp 人物顔認識装置及び人物顔認識方法
JP3417377B2 (ja) 1999-04-30 2003-06-16 日本電気株式会社 三次元形状計測方法及び装置並びに記録媒体
EP1297691A2 (en) * 2000-03-07 2003-04-02 Sarnoff Corporation Camera pose estimation
JP4573085B2 (ja) * 2001-08-10 2010-11-04 日本電気株式会社 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム
JP3903783B2 (ja) * 2001-12-14 2007-04-11 日本電気株式会社 顔メタデータ生成方法および装置、並びに顔類似度算出方法および装置
JP3962607B2 (ja) * 2002-02-28 2007-08-22 キヤノン株式会社 画像処理装置及び方法及びプログラム及び記憶媒体
JP2004054947A (ja) 2002-07-16 2004-02-19 Nec Corp 物体照合システム、物体照合方法および物体照合プログラム
JP4340553B2 (ja) * 2004-02-06 2009-10-07 富士通株式会社 生体情報照合装置
US7236615B2 (en) * 2004-04-21 2007-06-26 Nec Laboratories America, Inc. Synergistic face detection and pose estimation with energy-based models
JP2007096405A (ja) * 2005-09-27 2007-04-12 Fujifilm Corp ぶれ方向判定方法および装置ならびにプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190068409A (ko) * 2017-12-08 2019-06-18 가부시끼가이샤 도시바 그래디언트 추정 장치, 그래디언트 추정 방법, 컴퓨터 프로그램 제품 및 제어 시스템
KR20190136042A (ko) * 2017-12-14 2019-12-09 캐논 가부시끼가이샤 3차원 모델의 생성 장치, 생성 방법, 및 프로그램
KR20200129184A (ko) * 2017-12-14 2020-11-17 캐논 가부시끼가이샤 3차원 모델의 생성 장치, 생성 방법, 및 프로그램
US11151787B2 (en) 2017-12-14 2021-10-19 Canon Kabushiki Kaisha Generation device, generation method and storage medium for three-dimensional model from object images and structure images

Also Published As

Publication number Publication date
AU2005218408A1 (en) 2005-09-15
KR20060116253A (ko) 2006-11-14
CN1950844A (zh) 2007-04-18
JP4692773B2 (ja) 2011-06-01
US7986813B2 (en) 2011-07-26
WO2005086089A1 (ja) 2005-09-15
EP1727087A1 (en) 2006-11-29
US20070269080A1 (en) 2007-11-22
JPWO2005086089A1 (ja) 2008-01-24

Similar Documents

Publication Publication Date Title
KR20090037967A (ko) 자세 추정 방법 및 시스템, 자세 추정 및 대조 방법 및 시스템, 물체 자세 조명 추정 방법 및 시스템, 물체 조명 추정 방법 및 시스템, 대조 시스템, 물체 상위도 계산 방법, 물체 대조 방법, 및 이들을 위한 프로그램이 기록된 컴퓨터 판독가능한 기록 매체
JP4556873B2 (ja) 画像照合システム及び画像照合方法
JP4553141B2 (ja) 重み情報を用いた物体姿勢推定・照合システム
US20190179420A1 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
CN104573614B (zh) 用于跟踪人脸的设备和方法
JP6011102B2 (ja) 物体姿勢推定方法
JP4644248B2 (ja) 多重視野特徴記述子を用いた同時位置決め及びマッピング
CN109934847B (zh) 弱纹理三维物体姿态估计的方法和装置
JP4353246B2 (ja) 法線情報推定装置、登録画像群作成装置および画像照合装置ならびに法線情報推定方法
US20160086017A1 (en) Face pose rectification method and apparatus
US11615547B2 (en) Light field image rendering method and system for creating see-through effects
US20110158540A1 (en) Pattern recognition method and pattern recognition apparatus
JP4774818B2 (ja) 画像処理装置及び画像処理方法
KR101994319B1 (ko) 깊이 영상을 이용하는 객체 인식 장치 및 그 장치를 이용한 방법
JP2018113021A (ja) 情報処理装置およびその制御方法、プログラム
EP3440628A1 (en) An image processing device, an image processing method, and computer-readable recording medium
JP2004054947A (ja) 物体照合システム、物体照合方法および物体照合プログラム
CN114022567A (zh) 位姿跟踪方法、装置、电子设备及存储介质
KR20180082739A (ko) 단일 카메라를 이용한 영상에서 움직이는 객체 검출 방법 및 시스템
Tsalakanidou et al. Exploitation of 3D images for face authentication under pose and illumination variations

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application