KR100951890B1 - 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법 - Google Patents

상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법 Download PDF

Info

Publication number
KR100951890B1
KR100951890B1 KR1020080008162A KR20080008162A KR100951890B1 KR 100951890 B1 KR100951890 B1 KR 100951890B1 KR 1020080008162 A KR1020080008162 A KR 1020080008162A KR 20080008162 A KR20080008162 A KR 20080008162A KR 100951890 B1 KR100951890 B1 KR 100951890B1
Authority
KR
South Korea
Prior art keywords
evidence
information
real
time
pose
Prior art date
Application number
KR1020080008162A
Other languages
English (en)
Other versions
KR20090081968A (ko
Inventor
이석한
백승민
이제훈
이장원
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020080008162A priority Critical patent/KR100951890B1/ko
Priority to US12/032,427 priority patent/US8503760B2/en
Publication of KR20090081968A publication Critical patent/KR20090081968A/ko
Application granted granted Critical
Publication of KR100951890B1 publication Critical patent/KR100951890B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

본 발명은 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 시스템 및 방법에 관한 것으로, 실시간 영상정보를 입력받아 단일 혹은 다수의 증거를 추출하고, 상기 추출된 증거 등을 모델 상의 정보와 비교하여 물체를 인식하고, 물체의 위치 및 자세를 공간상의 확률적인 입자형태로 표현하는 제1 단계; 입자형태로 생성된 물체의 다양한 위치 및 자세를 확률적으로 융합하고 부정확한 정보를 제거하여 물체의 위치 및 자세를 최종적으로 판단하는 제2 단계; 실시간 영상정보와 상기 제2 단계에서의 물체의 위치 및 자세 정보를 입력받아 관심 영역을 생성하고 실시간 환경 정보를 수집 및 계산하는 제3 단계; 상기 제3 단계의 정보를 입력받아 증거 혹은 증거의 집합을 확률적으로 선택하고 수집하는 제4 단계; 및 상기 제1, 2 단계와 상기 제3, 4 단계를 병렬적으로 구성하고, 물체의 인식 및 자세 추정 결과가 확률적으로 만족될 때까지 반복하여 실행하는 제5 단계를 구비하는 것을 특징으로 한다.
이와 같은 구성을 구비함으로써, 환경 변화에 대한 상황 모니터링에 기초하여 최적의 증거를 자동으로 선택 및 수집하여 사용함으로써, 잡음, 텍스쳐, 어클루젼(occlusion) 등 열악한 환경 조건에서도 강인한 물체 인식 및 자세 추정을 할 수 있는 이점이 있다.
물체 인식, 자세 추정, 상황 모니터링, 증거선택, 확률적 정보 융합

Description

상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법{METHOD FOR SIMULTANEOUS RECOGNITION AND POSE ESTIMATION OF OBJECT USING IN-SITU MONITORING}
본 발명은 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 시스템 및 방법에 관한 것으로, 보다 구체적으로는 2차원 및 3차원 영상 정보를 수신하여 찾고자 하는 대상 물체의 위치와 자세를 환경 변화에 강인하게 인식하는 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 시스템 및 방법에 관한 것이다.
물체 인식의 문제는 컴퓨터 비전에서 주된 관심 분야 중 하나이다.
종래 물체 인식에 대한 가장 일반적인 접근 방법으로서 모델 기반 인식 방법이 있다. 이 방법은 장면으로부터 추출된 특징을 물체에 대해 미리 저장된 특징과 매칭함으로써 물체를 인식하는 방법으로, M. F. S. Farias 등의 “Multi-view Technique For 3D Polyhedral Object Rocognition Using Surface Representation”(Revista Controle & Automacao., pp. 107-117, 1999), Y. Shirai의 “Three- Dimensional Computer Vision”(New York: Springer Verlag), J. Ben-Arie 등의 “Iconic recognition with affine-invariant spectral”(In Proc. IAPR-IEEE International Conference on Pattern an Recognition, volume 1, pp. 672-676, 1996) 등에 이와 같은 방법이 개시되어 있다. 이 밖에도 미리 정의된 모델 정보를 사용하여 물체를 인식하는 여러 방법들이 공지되어 있다.
Fischler와 Bolles는 “Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography”( Comm. Assoc. Comp. Mach, 24(6):381-395, 1981)에서 RANSAC을 이용하여 물체를 인식하는 방법으로, 장면 위에 모든 모델의 점들을 투사하여 투사된 점들이 검출된 장면의 점들과 근접한지 여부를 결정함으로써 물체를 인식하는 방법을 제안하였다. 그러나 이 방법은 여러번의 가설과 검증 과정을 거쳐야 하기 때문에 그리 효율적인 방법이 아닌 것으로 평가되었다. 또한, Olson은 "Efficient pose clustering using a randomized algorithm”(IJCV, 23(2):131-147, June 1997)에서 자세 클러스터링(pose clustering) 방법을 통해서 물체를 인식하는 방법을 제안하였다. 이 방법은 자세 공간을 이산적으로 발생시키고, 조사할 물체를 포함하여 클러스터(cluster)를 발견함으로써 물체를 인식한다. 그러나, 자세 공간이 6차원이기 때문에 데이터 크기가 상당히 크고, 충분히 정확한 자세가 생성될 때에만 자세 클러스터가 검출될 수 있다는 단점이 있었다. 다음으로, David 등은 "Softposit: Simultaneous pose and correspondence determination"(7th ECCV, volume III, pages 698-703, Copenhagen, Denmark, May 2002)에서 에너지 함수를 최소화함으로 써 매칭과 자세 추정이 동시에 해결되는 인식방법을 제안하였다. 그러나, 이는 비용 함수의 높은 비선형성으로 인하여 함수적 최소화 방법에서 최소값으로 수렴하지 않을 우려가 있었다.
또한, Johnson과 Herbert는 “Using spin images for efficient object recognition in cluttered 3D scenes”(IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 21, May 1999)에서 복잡한 3D 장면에서 스핀 이미지 기반의 인식 알고리즘을 제안하였고, Andrea Frome 등은 “Recognizing Objects in Range Data Using Regional Point Descriptors”(European Conference on Computer Vision, Prague, Czech Republic, 2004)에서 3D 형태 상황(shape context)의 성능을 스핀 이미지와 비교하였다. Jean Ponce 등은 “3D Object Modeling and Recognition Using Affine-Invariant Patches and Multi-View Spatial Constraints”(CVPR, volume 2, pp. 272-280, 2003)에서 아핀 인베리언트 패치(Affine invariant patches)를 이용한 3D 물체 인식 접근 방법을 소개하였고, 가장 최근에는 D. Lowe.의 “Object recognition from local scale invariant features”(Proc. 7th International Conf. Computer Vision (ICCV’99), pp.1150.1157, Kerkyra, Greece, September 1999)에서와 같이 여러 문헌들이 이미지 패치에서 디스크립터의 사용을 제안하였다.
물체 인식과 관련한 또 다른 접근 방법에는, Belongie 등이 “Shape matching and object recognition using shape contexts”(IEEE Trans. On Pattern Analysis and Machine Intelligence, 24(4):509-522, April 2002)에서 제안하고 있 는 바와 같은 형태 상황(shape context)에 의해 착안된 로컬 형태 특징에 기반을 둔 방법이 있다. Owen Carmichael 등의 “Shape-Based Recognition of Wiry Object”(IEEE PAMI, May 2004)에서는, 이미지의 각각의 에지 픽셀에서 히스토그램 또는 형태 상황이 계산된 다음, 히스토그램에서 각각의 빈(bin)이 상기 픽셀 근처에 있는 에지 픽셀의 수로 고려되고, 가장 가까운 이웃(neighbor) 검색 및 히스토그램 거리를 측정한 다음, 모델 이미지로부터 형태 상황 및 테스트 이미지로부터 형태 상황 간의 일치 여부를 결정하는 방법을 개시하고 있다. 그러나 이 방법은 배경(background)이 관여될 때는 효과적이지 못한 문제가 있었고, 최근 A. Thayananthan 등은 “Shape context and chamfer matching in cluttered scenes”(Proc. IEEE Conference On Computer Vision and Pattern Recognition, 2003)에서 이 문제를 해결하기 위하여 고도로 복잡한 장면에서 형태 상황 매칭을 평가하는 방법을 제안하였다.
상술한 방법들 이외에도 물체 인식에 관한 많은 연구들이 알려져 있다. 그러나, 알려진 방법들은 대부분 제한된 특징을 갖는 단일의 장면 정보에서 완전한 텍스쳐 환경 또는 정확한 3D 데이터가 구비되는 조건하에서만 잘 동작할 수 있다는 문제가 있었다.
본 발명은 상기한 바와 같은 문제를 해결하기 위하여 안출된 것으로, 다양한 시각의 연속 이미지 정보를 이용한 입자 필터 기반의 확률적 방법을 채택함으로써, 저 품질 센서로부터의 많은 잡음과 불확실성을 극복하고 강인한 물체 인식 및 자세 추정을 가능하게 하는 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 시스템 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 측면에 따르면, 2차원 및 3차원 실시간 영상 정보를 입력받아 단일 혹은 다수의 증거를 추출하고, 상기 추출된 증거 등을 모델 상의 정보와 비교하여 물체를 인식하고, 물체의 위치 및 자세를 공간상의 확률적인 입자형태(particles)로 표현하는 제1 단계; 입자형태로 생성된 물체의 다양한 위치 및 자세를 확률적으로 융합(fusion)하고 부정확한 정보를 제거하여(filtering) 물체의 위치 및 자세를 최종적으로 판단하는 제2 단계; 2차원 및 3차원 실시간 영상 정보와 상기 제2 단계에서의 물체의 위치 및 자세 정보를 입력받아 관심 영역(Region Of Interest, ROI)을 생성하고 실시간 환경 정보를 수집 및 계산하는 제3 단계; 상기 제3 단계의 정보를 입력받아 증거(Evidence) 혹은 증거의 집합을 확률적으로 선택하고 증거가 부족한 경우 추가적인 증거를 수집하기 위한 로봇의 인지적 행위를 제안하는 제4 단계; 및 상기 제1, 2 단계와 상기 제3, 4 단계를 병렬적으로 구성하 고, 물체의 인식 및 자세 추정 결과가 확률적으로 만족될 때까지 반복하여 실행하는 제5 단계를 구비하는 것을 특징으로 하는 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법이 제공된다.
상기 제1 단계에서의 증거는 색상(color), 선(line) 또는 SIFT(Scale Invariant Feature Tranform)와 같은 영상 정보로부터 얻어지는 특징 및 둘 이상의 다양한 특징의 조합으로 이루어진다.
상기 제2 단계는, 상기 제1 단계에서 다양한 증거를 이용하여 생성된 자세로부터 관측 가능도(Observation likelihood)를 생성하는 제2-1 단계; 물체의 자세를 나타내는 입자들을 움직임 정보를 사용하여 이전 상태로부터 전파시켜 예측하고, 예측된 입자들을 상기 관측 가능도에 의해 업데이트하는 제2-2 단계; 및 상기 제2-2 단계에서 융합된 가중치가 다른 입자들을 균일한 가중치를 갖는 입자들로 나타내기 위해 가중치에 따라 입자를 리샘플링하는 제2-3 단계를 구비하는 것을 특징으로 한다.
상기 제3 단계에서는, 상기 제2 단계의 결과값을 입력받아 입력 영상으로부터 관심 영역을 생성하고 상기 영역에서의 조도, 텍스쳐(texture) 밀도, 로봇과 기대 물체 간의 거리를 계산하는 것을 특징으로 한다.
상기 제4 단계에서는, 상기 제3 단계에서 수집된 관심 영역에서의 조도 정보, 텍스쳐(texture) 밀도 정보, 로봇과 기대 물체 간의 거리 정보 등을 이용하여 물체 인식 및 자세 추정을 위한 최적의 증거를 선택하는 것을 특징으로 한다.
한편, 본 발명의 다른 측면에 의하면, 실제의 주변환경을 포함하여 인식할 물체를 다양한 시각으로 연속하여 촬영하는 영상 획득부; 상기 영상 획득부로부터 2차원 및 3차원 영상 정보를 입력받아 실시간 환경 정보를 계산 및 수집하는 실시간 환경 감시부; 상기 실시간 영상 정보로부터 다양한 증거를 추출하고, 추출된 증거와 모델 상의 정보를 비교하여 다양한 물체의 위치 및 자세를 생성하는 다중 증거 추출부; 상기 실시간 환경 정보와 모델 상의 정보를 이용하여 물체와 환경에 맞는 가장 적합한 증거를 선택하고 증거를 수집하기 위한 추가적인 로봇의 행동을 제안하는 증거 선택 및 증거 수집부; 및 상기 생성된 다양한 위치 및 자세를 입자 필터링을 통해 추정하여, 물체의 위치 및 자세를 입자들의 임의 분포(arbitrary distribution)로 나타내는 확률적 정보 융합부를 구비하는 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 시스템이 제공된다.
본 발명의 상황모니터링을 적용한 실시간 물체 인식 및 자세 추정 시스템 및 방법에 의하면, 다양한 시각의 실시간 연속 영상을 이용하고, 환경 변화에 대한 상황 모니터링에 기초하여 최적의 증거를 자동으로 선택 및 수집하여 사용함으로써, 잡음, 텍스쳐, 어클루젼(occlusion) 등 열악한 환경 조건에서도 강인한 물체 인식 및 자세 추정을 할 수 있는 효과가 있다.
이하, 첨부되는 도면을 참조하여 본 발명의 실시예를 보다 구체적으로 설명 한다.
도 1에 본 발명의 일실시예에 의한 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 시스템의 구성을 나타내었다. 본 발명에 의한 물체 인식 및 자세 추정 시스템은 서비스 로봇 등에 탑재되어 로봇 시각에서 물체 인식 및 자세 추정을 위한 프로세스가 수행되도록 한다. 도시된 바와 같이, 본 발명에 의한 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 시스템은, 영상 획득부(100)와, 실시간 환경 감시부(200)와, 다중 증거 추출부(300)와, 증거 선택 및 증거 수집부(400) 및 확률적 정보 융합부(500)를 구비하는 구성으로 이루어진다.
영상 획득부(100)는 실시간으로 실제의 주변환경이 포함된 인식할 물체에 대한 장면을 연속으로 촬영하여 2차원 및 3차원 영상정보를 획득한다. 본 발명의 영상 획득부의 구성에 특별한 제한이 있는 것은 아니어서, 예컨대, 정확한 3차원 데이터의 제공이 어려운 비디오 스테레오 카메라로 구성하는 것도 가능하다.
실시간 환경 감시부(200)는 상기 영상 획득부(100)로부터 제공되는 2차원 및 3차원 영상 정보를 입력받아 실시간 환경 정보를 계산하고 수집한다.
다중 증거 추출부(300)는 상기 영상 획득부(100)로부터 실시간 영상정보를 입력받아 다양한 증거를 추출하고, 추출된 증거와 모델상의 정보를 비교하여 다양한 물체의 위치 및 자세를 생성한다. 이와 동시에, 다중 증거 추출부(300)는 증거 선택 및 증거 수집부(400)에서 선택된 증거를 입력받아 상기 생성된 물체의 위치 및 자세를 교정한다.
증거 선택 및 증거 수집부(400)는 상기 실시간 환경 감시부(300)로부터의 실 시간 환경 정보와 모델 상의 정보를 이용하여 물체와 환경에 맞는 가장 적합한 증거를 선택하고 증거를 수집하기 위한 추가적인 로봇의 행동을 제안한다.
확률적 정보 융합부(500)는 상기 다중 증거 추출부(300)에서 생성된 물체의 다양한 위치 및 자세를 입자 필터링을 통해 추정하여, 물체의 위치 및 자세를 입자들의 임의 분포(arbitrary distribution)로 나타낸다.
도 2에 본 발명의 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 시스템에 의한 물체 인식 및 자세 추정 방법을 순서도로 나타내었다.
도시된 바와 같이, 본 발명에 의한 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법은, 실시간 영상 정보로부터 물체를 인식하고 그 위치 및 자세를 입자형태(particles)로 표현하는 제1 단계(S101); 상기 제1 단계에서 생성된 물체의 다양한 위치 및 자세를 입자필터링을 통해 추정하여 물체의 위치 및 자세를 입자들의 임의 분포(arbitrary distribution)로 나타내는 제2 단계(S102); 실시간 영상 정보 및 상기 제2 단계에서의 물체의 위치 및 자세 정보를 이용하여 실시간 환경 정보를 수집하고 계산하는 제3 단계(S201); 상기 제3 단계의 정보로부터 증거(Evidence) 또는 증거의 집합을 확률적으로 선택하는 제4 단계(S202); 및 상기 제1, 2 단계(S100)와 제3, 4 단계(S200)를 병렬적으로 구성하고, 물체의 인식 및 자세추정 결과가 확률적으로 만족될 때까지 반복하여 실행하는 제5 단계(S300)로 이루어진다.
구체적으로, 상기 제1 단계에서 다중 증거 추출부(300)는 영상 획득부(100)로부터 2차원 및 3차원 영상 정보를 실시간으로 입력받아 이들 영상 정보로부터 하 나의 또는 그 이상의 증거를 추출하고, 이를 모델 상의 정보와 비교하여 물체를 인식하고, 물체의 위치 및 자세를 공간상의 확률적인 입자형태(particles)로 표현한다. 또한, 다중 증거 추출부(300)는, 후술되는 제4 단계에서 증거 선택 및 증거 수집부(400)에 의해 선택된 증거를 이용하여 물체의 위치 및 자세를 확률적인 입자형태로 표현한다. 상기 증거는 색상(color), 선(line) 또는 SIFT(Scale Invariant Feature Transform)와 같은 영상 정보로부터 얻어지는 특징 및 둘 이상의 다양한 특징의 조합으로 이루어진다.
추출된 증거로부터 물체의 위치 및 자세를 표현하는 방법은 사용하고자 하는 특징에 따라 다음과 같은 프로세스에 의해 물체의 위치 및 자세를 생성하게 된다.
즉, 추출된 증거 중에서 선(line) 특징을 사용하는 경우, 먼저 입력된 2차원 영상으로부터 모든 선들을 추출하고, 추출된 2차원 선에 대응되는 3차원 점들을 맵핑하여 2차원 선을 3차원 선으로 전환한 후, 이를 데이터베이스에 미리 저장된 모델 상의 3차원 선 정보와 비교하여 다양한 물체의 위치 및 자세를 생성한다. 2차원 영상으로부터 물체의 자세를 생성하는데 필요한 모든 선들을 추출하기 위하여, 먼저 캐니 에지(canny edge) 알고리즘에 의해 에지들을 그리고, 그려진 에지를 그들의 연결관계에 기초하여 수평선, 수직선 및 대각선 세그먼트로 분류한다. 다음에, 2차원에서 선들의 앨리어싱(aliasing) 문제에 기초하여 각 선들의 세그먼트를 인접하는 선들의 세그먼트와 연결함으로써 2차원 선들을 추출한다. 추출한 2차원 선들의 픽셀에 대응하는 3차원 점들이 있는 경우, 3차원 선들이 획득될 수 있다. 한편, 인식될 물체는 데이터베이스에 정의된 3차원 선들의 세트로 표현된다. 데이터베이 스에 미리 저장된 모델 상의 두드러진 선들을 방향(orientation)과 관계(relationship)라는 두 개의 파라미터에 기초하여 사용함으로써, 장면에서 3차원 선들의 근처에 생성될 수 있는 가능한 자세들을 효율적으로 발견할 수 있다.
또한, 추출된 증거 중에서 SIFT 특징을 사용하는 경우에는, 현재 프레임에서 측정된 SIFT 특징과 데이터베이스에서 대응되는 SIFT 특징 간의 변환(Transformation)을 계산함으로써 물체의 위치 및 자세를 생성할 수 있다. 상기 변환은 동차 변환 행렬(homogeneous transform matrix)에 의해 표현될 수 있다. 구체적으로, 장면으로부터 SIFT 특징들과 물체로부터 SIFT 특징들 간의 특징 거리(feature distance)를 먼저 계산한 다음, 유사한 특성을 갖는 특징 세트들을 제외한다. 대응되는 특징들이 3개 또는 그 이상인 경우, 물체의 자세는 거리 영상(depth image)으로부터 3차원 위치를 사용하여 생성할 수 있다.
한편, 특정 색상을 갖는 물체는 현재 장면에서 상기 색상에 의해 세그먼트될 수 있다. 세그먼트된 영역이 물체의 방향(orientation)을 제공할 수는 없지만, 세그먼트된 영역과 거리 영상을 이용하여 물체의 위치를 생성하는 것이 가능하다. 이와 같이 색상 정보만으로는 물체의 자세를 추정할 수 없기 때문에, 색상 정보는 다른 특징들과 결합되어 물체의 위치 및 자세를 생성하는데 사용될 수 있다. 추출된 증거 중 둘 이상의 다양한 특징들을 조합하여 사용하는 경우에는, 현재 입력된 영상으로부터 추출된 다양한 특징들과 데이터베이스에 미리 저장된 모델 상의 특징을 비교하여 다양한 물체의 위치 및 자세를 생성할 수 있을 것이다.
다음으로, 상기 제2 단계에서 확률적 정보 융합부(500)는 상기 제1 단계에서 입자 형태로 생성된 물체의 다양한 위치 및 자세를 확률적으로 융합(fusion)하고 부정확한 정보를 제거(filtering)하여 물체의 위치 및 자세를 최종적으로 추정한다. 구체적으로, 제2 단계에서 확률적 정보 융합부(500)는, 상기 제1 단계에서 다양한 증거를 이용하여 생성된 자세로부터 관측 가능도(Observation likelihood)를 생성하는 제2-1 단계; 물체의 자세를 나타내는 입자들을 움직임 정보를 사용하여 이전 상태로부터 전파시켜 예측하고, 예측된 입자들을 상기 관측 가능도에 의해 업데이트하는 제2-2 단계; 상기 2-2 단계에서 융합된 가중치가 다른 입자들을 균일한 가중치를 갖는 입자들로 나타내기 위해 가중치에 따라 입자를 리샘플링하는 제2-3 단계를 순차적으로 수행하게 된다.
상기 제2-1 단계에서 관측 가능도는 다음과 같이 생성된다. 도 3은 관측 가능도를 생성하기 위하여 지정된 4개의 점을 나타낸다. 도 3(a)에 도시된 바와 같이 카메라 프레임에서 4개의 점(P1, P2, P3, P4)을 지정한다. 상기 4개의 점을 6개의 공간 자유도 파라미터로 표현되는 동차 변환 행렬에 의해 변환하면, 도 3(b)에 도시된 바와 같이 점(TP1, TP2, TP3, TP4)로 나타낼 수 있다. 현재 프레임에서 다양한 물체의 자세를 구성하는 동차 변환 행렬 {O [1], ..., O [m]} 및 사전 입자(prior particles)를 나타내는 동차 변환 행렬 {O t [1], ..., O t [k]}를 이용하여, (P1, P2, P3, P4)로부터 변환된 4개의 점(TP1, TP2, TP3, TP4) 세트를 얻을 수 있다. {Ob_TP1[i], Ob_TP2[i], Ob_TP3[i], Ob_TP4[i]}가 O [i]를 표현하는 변환된 4점들을 나타내고, {St_TP1[i], St_TP2[i], St_TP3[i], St_TP4[i]}는 O t [i]를 표현하는 변환된 4점들을 의미한다고 하자. 그러면, 마할라노비스 거리(Mahalanobis distance metric)를 사용하여, 관측 가능도(Observation likelihood) p(Z t│O t [i])는 다음의 수학식 1과 같이 정의될 수 있다.
Figure 112008006529813-pat00001
(O [j]: t 시점 관측으로부터 생성된 물체 자세를 나타내는 동차 변환 행렬, O t [i]: t-1 시점 입자로부터 t 시점까지 예측된 물체 자세를 나타내는 동차 변환 행렬, wj: t 시점 관측으로부터 생성된 입자인 O [j]에 대한 유사성 가중치, m: t 시점 관측으로 생성된 입자의 개수, {Ob_TP1 j, Ob_TP2 j, Ob_TP3 j, Ob_TP4 j} : O [j]를 표현하는 변환된 4점들, {St_TP1 i, St_TP2 i, St_TP3 i, St_TP4 i} : O t [i]를 표현하는 변환된 4점들, S j: O [j]를 표현하는 점들에 대한 매칭 에러 공분산)
상기 관측 가능도를 생성하기 위해 지정된 4개의 점들은 물체의 위치뿐 아니 라 방향을 나타내는데 사용된다. 만일 관측이 물체의 위치만을 측정한다면, 카메라 프레임에서 원점으로부터 변환된 하나의 점이 사용될 수 있을 것이다. 이와 같이, 상태 및 특징들로부터 추출된 입자들이 동차 변환 행렬로 표현되는 경우에 있어서도, 점들 간의 마할라노비스 거리에 의해 관측 가능도가 용이하게 계산될 수 있다.
상기 수학식 1에서 매칭 에러 공분산 S j는 입자 필터링에서 물체의 자세를 교정하기 위한 인자로서 다음의 방법에 의해 계산된다. 즉, 현재 프레임에서 측정된 점을 P1, P2, P3라고 하고, 상기 점들에 대응하는 데이터베이스의 점들을 동차 변환 행렬을 이용하여 변환시킨 점들을 TP1, TP2, TP3 라고 하자. 이 경우, 각 점들의 매칭 에러 e i는 다음의 수학식 2와 같이 나타낼 수 있다.
Figure 112008006529813-pat00002
(x, y, z: 3차원 위치좌표)
j번째 물체 자세에 대한 매칭 에러 공분산 S j은 다음의 수학식 3과 같이 나타낼 수 있다.
Figure 112008006529813-pat00003
(n: 대응되는 점들의 개수)
한편, 상기 수학식 1에서 유사성 가중치(similarity weight) wj는 다음의 방법에 의해 계산된다. 먼저, 유사성을 할당하기 위해서는 인식된 물체와 그 추정된 자세 및 실제 물체와 그 자세 간에 일치하는 부분이 얼마나 많은지가 고려되어야 한다. 확률적 용어로 말하면, 본 발명은 베이즈 관념(Bayesian sense)에서 다양한 특징에 의해 생성된 물체 자세의 가장 좋은 해석을 생성하는 물체의 자세를 추정하고자 한다. 본 발명의 입자 필터 기반 확률적 방법에 의하면 유사성 가중치 wj는 수학식 4의 사후 분포에 근접한다.
wj = p(Ot , Object│E) = p(Ot , id, Ot , pose│E)
OObject가 인식할 물체를 나타낸다고 할 때, OObject는 인식할 정보에 대한 Oid와 자세 추정 정보에 대한 Opose로 각각 나뉜다. 즉, Oid는 인식된 물체가 맞는지 틀리는지 그 진위 여부를 의미하고, Opose는 추정된 물체 자세의 정확도를 나타낸다. E는 실시간 2차원 영상정보 및 2차원 영상정보로부터 획득한 실시간 3차원 점군 데이터로부터 추출된 증거를 나타내며, E={Z1, Z2,...,Zn}과 같이 다양한 특징을 나타내도록 재정의될 수 있다. 유사성 가중치를 나타내기 위하여, 물체 식별은 자세 추정과 분리해서 고려되기 때문에, Oid와 Opose는 독립 사건으로 가정될 수 있다. 이는 매우 잘 인식된 물체가 물체 자세의 정확한 추정을 보장하지 않는다는 것을 의미하고, 그 역의 경우도 마찬가지이다. 상기 가정에 따라서 유사성 가중치는 수학식 5와 같이 나타낼 수 있다.
p(Ot , id, Ot , pose│E) = p(Ot , id│E)p(Ot, pose│E)
사용된 특징의 종류에 따라 유사성 가중치를 계산하는 과정을 설명하면 다음과 같다.
먼저, 상기 제1 단계에서 SIFT 특징을 이용하여 물체의 자세가 생성된 경우, 유사성 가중치 wj는 상기 수학식 5로부터 수학식 6과 같이 나타낼 수 있다.
wj=p(Ot , Object│ESIFT)=p(Ot , id,Ot , pose│ESIFT)=p(Ot , id│ESIFT)p(Ot, pose│ESIFT)
물체의 자세는 현재 프레임에서 측정된 SIFT 특징과 데이터베이스 모델 상의 대응되는 특징들 간의 변환을 계산함으로써 생성될 수 있다. 상기 변환은 동차 변환 행렬에 의해 표시된다. 하나의 장면이 SIFT 특징과 대응되는 여러 개의 후보를 가질 때, 입자 필터링 과정에서의 확률적 융합을 위하여 상기 모든 후보들로부터 3차원 자세가 생성된다. 그러나, 상기 각각의 후보에 유사성 가중치를 할당하기 위하여, 사후분포가 상기 수학식 6으로부터 계산되어야 한다. 수학식 6에서 p(Ot , id│ESIFT)는 측정을 통해 대응된 SIFT 수를 기준으로 시그모이드(sigmoid) 함수를 이용하여 계산된다. 그리고, p(Ot , pose│ESIFT)는 평균 거리 오차로 정의된다. 도 4에 대응된 SIFT 수의 평균 측정값이 23이고, 다수의 시행 결과 특정 편차로 평균거리 오차 가 5mm인 경우, 수학식 6을 통해 얻어지는 확률 분포의 형태를 나타내었다.
또한, 상기 제1 단계에서 선(line) 특징을 이용하여 물체의 자세가 생성된 경우, 유사성 가중치 wj는 상기 수학식 5로부터 수학식 7과 같이 나타낼 수 있다.
w=p(Ot , Object│ELine)=p(Ot , id,Ot , pose│ELine)=p(Ot , id│ELine)p(Ot, pose│ELine)
선 특징에 대한 유사성 가중치의 계산에 있어서, 물체의 식별 p(Ot , id│ELine)과 자세의 정확성 p(Ot , pose│ELine)에 대하여 두 종류의 가정을 한다. 즉, 물체의 식별 p(Ot , id│ELi ne)는 모델 상의 선 정보와 대응된 선이 얼마나 많은가를 의미하는 커버리지(coverage)로 정의된다. 커버리지가 높을수록 물체의 식별 확률은 높아질 것이다. 상기 커버리지는 다음의 수학식 8에 의해 계산될 수 있다.
커버리지(covergae) = 대응된 선 거리/모델의 전체 선 거리
또한, 자세의 정확성 p(Ot , pose│ELine)은 매칭 에러로 정의된다. 예컨대, 선 매칭방법으로 ICP(Iterative Closest Point)를 이용할 경우에 p(Ot , pose│ELine)은 ICP 매칭 에러가 될 것이다. SIFT와 마찬가지로, 선 매칭에서도 하나의 장면에서 여러 개의 대응되는 세트를 찾을 수 있다. 그래서, 각각의 후보에 대한 p(Ot , object│ELine)가 수학식 8을 통해 얻어질 수 있으며, 이를 결합 확률(joint probability)로 나타내면 도 5와 같다.
한편, 상기 제1 단계에서 색상(color) 특징을 이용하여 물체의 위치가 생성된 경우, 유사성 가중치 wj는 미리 정의된 상수 또는 모델과 일치하는 색상의 화소수를 고려하여 계산된다. 색상 특징의 경우 유사성 가중치는 다른 특징들에 의해 생성된 물체 자세의 유사성 가중치보다 비교적 작은 값을 갖도록 설정된다.
다음으로, 상기 제2-2 단계를 통하여 예측한 시점 t에서의 물체 자세를 나타내는 입자들의 확률적 분포는 다음의 수학식 9와 같다.
Ot[i]~p(O t│O t -1 [i], u t), (i=1,...,k)
(k: 입자들의 개수, O t -1 [i]: 시점 t-1에서의 물체의 자세를 나타내는 입자, u t: t-1 시점과 t 시점 사이의 카메라 움직임 제어)
즉, t 시점에서의 물체의 자세를 나타내는 입자들의 분포는 t-1 시점의 물체의 자세를 나타내는 입자들을 카메라 움직임 정보 u t를 이용하여 전파시킴으로써 예측된다. 그 다음, 수학식 1의 관측 가능도를 이용하여 예측된 물체의 자세를 나타내는 각 입자들에 가중치가 할당된다.
마지막으로, 상기 제2-3 단계에서는 업데이트된 예측 입자들을 가중치에 따라 리샘플링(resampling)한다. 이는 상기 제2-2 단계에서 융합된 가중치가 다른 입자들을 균일한 가중치를 갖는 입자들로 재분포시키는 과정이다. 이와 같은 사후분포 갱신의 횟수가 늘어남에 따라 입자들은 점점 추정되는 위치 및 자세로 집중된 다.
한편, 상기 제3 단계에서 실시간 환경 감시부(200)는 영상획득부(100)로부터 실시간 영상 정보 및 확률적 정보 융합부(500)로부터 생성된 물체의 위치 및 자세 정보를 입력받아, 관심 영역(Region Of Interest, ROI)을 생성하고 실시간 환경 정보를 수집 및 계산하는 과정을 수행한다. 상기 계산되는 실시간 환경 정보는 관심영역에서의 조도, 텍스쳐 밀도, 로봇과 대상 물체 간의 거리 등으로 이루어진다. 여기서, 계산되는 조도 및 텍스쳐 밀도는 실제의 값이 아닌 환경 변화에 대한 상대적인 값으로 나타낸다.
도 6(a)에 도시된 바와 같이, 대상 물체가 존재하는 영역에 관하여 어떠한 정보도 가지고 있지 않다면, 로봇은 가능한 모든 영역을 검사해야 한다. 그러나, 도 6(b)에 도시된 바와 같이, 로봇이 대상 물체의 대략적인 위치를 알고 있다면, 그 후보 영역들을 관측하는 것이 더 효율적일 것이다. 실시간 환경 정보를 감시하는 구체적인 프로세스는 다음과 같다. 먼저, 실시간 환경 감시부(200)는 2차원 영상 및 3차원 점군 데이터, 상기 제2 단계의 인식 결과를 입력받아, 2차원 영상에 기초한 캐니 에지 영상(Canny edge image)을 생성하고, HSI 색상 공간을 이용하여 세기(intensity)에 대한 데이터를 얻는다. 다음에, 전체 영역을 관측하고 환경 변화를 검사한다. 그 후, 상기 제2 단계로부터의 인식결과가 존재할 경우에는 이전 입자들을 이용하여 관심영역(ROI)을 생성하고, 그렇지 않을 경우에는 다시 이전 단계로 되돌아가 전체 영역을 관측하고 환경 변화를 검사한다. 그리고, 관심영역(ROI)에서의 텍스쳐 밀도, 조도, 거리의 평균값들을 계산한다. 상술한 과정들을 인식 임무가 종료될 때까지 반복한다.
상기 조도는 현재 영상에서 세기(intensity) 정보를 의미하는데, 이는 절대적인 값이 아니라 환경 변화와 같은 상대적인 값으로 계산된다. 각 영역에서 텍스쳐 밀도는 현재 프레임의 캐니 에지 영상(Canny edge image)에 의해 처리되는 픽셀로 고려된다. 그리하여, 유효 3D 점군 데이터와 그 값들의 평균치로 처리된 영상 픽셀을 이용하여 각 영역의 거리를 계산한다. 예컨대, 입력 영상을 균일하게 5개의 컬럼(column)과 5개의 열(row), 즉 25개 영역으로 나누고, 각 영역에서 조도, 텍스쳐 밀도, 거리 값들을 계산할 수 있을 것이다.
다음으로, 제4 단계에서 증거 선택 및 증거 수집부(400)는 상기 제3 단계에서 계산된 값들을 이용하여 증거(Evidence) 또는 증거의 집합을 확률적으로 선택하게 된다. 즉, 상기 제3 단계에서 수집된 관심 영역에서의 조도 정보, 텍스쳐 밀도 정보, 로봇과 대상 물체 간의 거리 정보 등을 이용하여 물체 인식 및 자세 추정을 위한 최적의 증거를 선택한다.
본 발명에서는 현재 장면에서 각각의 물체를 인식하기 위한 유효 특징들은 이미 증거 선택 및 증거 수집부(400)에 정의되어 있다고 가정한다. 예를 들면, 상기 정보는 SRIS(Service Robot Information System)로부터 전달될 수 있을 것이다. 증거 선택 및 증거 수집부(400)는, 물체 인식에 사용할 증거로 적절한 N개의 특징들 중에서, N이 너무 커서 모든 특징들에 적용될 수 없는 것으로 판단될 경우, 유효성과 효율성 측면에서 M (M<N)개의 특징을 최적한 것으로 선택한다. 최초에, 공간에 물체 자세에 대한 확률 분포 정보가 없을 경우, 텍스쳐 밀도, 조도 및 거리에 기초하여 로봇 카메라에 의해 획득된 장면이 전체로서 최적의 특징 세트를 결정하기 위하여 사용된다. 물체 자세의 확률 분포가 얻어진 후에는, 로봇은 확률이 높은 곳으로 이동하도록 되어 있다. 이 경우에는, 물체 확률 분포에 의해 가중치가 부여된 장면의 텍스쳐, 조도 및 거리 정보에 기초하여 최적의 증거 세트를 결정하게 된다.
구체적으로, 본 발명에서는 적절한 증거 선택을 위하여 베이즈 정리(Bayesian Theorem)에 기초한 확률적 방법을 이용한다. 최적의 증거는 증거가 있을 때 물체가 있을 확률 P(Object│Evidence)가 가장 높은 증거를 의미한다. 그러나, 일반적으로 P(Object│Evidence)를 직접적으로 구하기는 쉽지 않다. 그래서, 본 발명에서는 상기 확률값을 계산하기 위하여 베이즈 정리를 이용하였다. 확률을 할당하기 위하여, 인식된 물체 및 인식에 이용할 수 있는 증거들 사이에 얼마나 많은 일치점이 있는지가 고려된다. 즉, 확률적 용어로 말하면, 베이즈 관념에서 제안된 가정에 의해 생성된 증거의 가장 좋은 해석을 산출하는 증거를 평가하는 것이다. 베이즈 정리를 이용하여, 인식 결과의 후보를 생성하는데 이용되는 각 확률을 계산하기 위한 식을 유도하면 다음의 수학식 10과 같다.
Figure 112008006529813-pat00004
(P(Evidence|Object): 물체가 있을 때 각 증거가 있을 확률(positive information),
Figure 112008006529813-pat00005
: 물체가 없을 때 각 증거가 있을 확률(negative information), P(Object): 공간상에 물체가 있을 확률(prior probability),
Figure 112008006529813-pat00006
: 공간상에 물체가 없을 확률)
상기 수학식 10에서 중요한 부분은 현재 장면에서 대상 물체가 없을 때 각 증거의 확률을 의미하는 네거티브 정보(negative information)
Figure 112008006529813-pat00007
이다. 먼저, 대상 물체가 없을 때 상기 네거티브 정보는 각 증거의 실험적 데이터에 의해 획득된다. 이후, 상기 네거티브 정보는 이전의 인식 결과에 의해 업데이트될 수 있다. 상기 네거티브 정보에 관한 보다 구체적인 사항은 후술하기로 한다.
한편, 상기 제3 단계에서 수집된 조도 정보, 텍스쳐(texture) 밀도 정보, 로봇과 대상 물체 간의 거리 정보는 서로 독립 사건이므로, SIFT, 색상, 선 등 각 증거에 대한 P(Evidence│Object)는 다음의 수학식 11과 같이 나타낼 수 있다.
Figure 112008006529813-pat00008
상기 수학식 11에서 각 증거에 대한 P(Edistance│O), P(Etexture│O), P(Eillumination│O)는 조도 정보, 텍스쳐 밀도 정보, 로봇과 물체 간의 예측 거리 정보에 따른 각 증거의 기 정의된 확률 분포에 의해 계산된다. 상기 기 정의된 확률 분 포는 환경 정보의 변화에 따라 다른 특성을 나타내는 각각의 증거에 대하여 생성된 실험적 확률분포이다.
먼저, SIFT 증거에 대해 생성된 실험적 확률분포에 대해 설명한다. SIFT 특징은 다음과 같은 특성을 나타낸다. 1) SIFT는 거리 변화에 민감하다. 실제로 SIFT 매칭은 2차원 매칭이며, 매칭 알고리즘은 거리 변화에 대해 비교적 강인하다. 그러나, 정확한 물체 자세를 얻기 위하여, 3차원 점군 데이터를 이용한 3차원 매칭이 시도된다. 이는 카메라 렌즈의 크기에 의존하지만, 3차원 점군 데이터는 로봇과 대상 물체 사이의 거리가 긴 경우 부정확하다. 따라서, SIFT 특징은 거리 변화에 약점을 갖는다. 2) 대상 물체의 텍스쳐 양이 많을수록, 물체를 모델과 대응시키는 것은 용이하다. 3) SIFT 점은 조도 조건이 330 Lux 부근에서 가장 잘 추출되며, 점들은 정점으로부터 감소된다. 도 7에 실험결과에 의한 SIFT 특징의 특성을 나타내었다.
상기 특성에 기초하여, 가우시안(Gaussian) 및 선형(Linear)의 두 함수를 이용하여 SIFT 확률 모델이 생성된다. 거리에서의 확률공간의 경우, 상기 함수는 0.6m 평균값을 갖는 가우시안 함수가 된다. 이는, 흔히 그 거리에서 SIFT 매칭을 위한 모델 데이터베이스가 만들어지기 때문이다. 또한, 텍스쳐 변화에 대한 확률 공간은 선형적으로 생성된다. 텍스쳐가 많을수록 더 좋은 SIFT 특징들이 추출되기 때문이다. 조도의 경우는 거리에서의 확률 공간과 매우 유사하며, 그 평균값은 실험에 기초하여 SIFT 특징을 추출하기 위한 가장 좋은 조건인 330lux 이다. SIFT에 대한 전체 확률은 수학식 11에서와 같이 각각의 하위 확률을 연속적으로 곱함으로 써 구해질 수 있다. 도 8에 환경 변화에 대한 SIFT 특징의 확률 공간을 나타내었다.
색상 특징에 대해 생성된 실험적 확률분포에 대해 설명한다. 색상 특징은 텍스쳐와 무관하고 거리 및 조도 변화에만 영향을 받는다. 대상 물체와 유사한 색상이 없는 경우, 거리 변화에 대해 색상 특징은 강인하다. 그리고 이 특징의 정확도는 조도 변화에서 가우시안 분포를 나타낸다. 도 9에 실험결과에 의한 색상 특징의 특성을 나타내었다.
따라서 색상 특징의 확률공간은 가우시안 함수를 이용하여 생성될 수 있다.거리 변화에서의 확률 공간은 1.0m 평균값을 갖는 가우시안 함수로 나타내어진다. 거리가 1.0m보다 긴 경우, 그 근처의 경우보다 확률값이 더 빠르게 감소하도록 구성된다. 이는 대상 물체와 유사한 색상의 물체가 있는 경우, 긴 거리로 인하여 잘못 대응시키는 경우가 자주 발생하기 때문이다. 조도는 지배적인 요인이 아니므로, 조도 변화에서의 확률공간은 분산이 큰 가우시안 함수로 생성된다. 이 경우, 평균값은 330lux 이다. 도 10에 색상 특징에서 계산된 확률 공간의 결과값을 나타내었다.
다음으로 선 특징에 대해 생성된 실험적 확률분포에 대해 설명한다. 선 특징을 이용한 물체 인식은 그다지 좋은 방법이 아니고 잘못 대응시키는 경우가 발생될 수 있지만, 선 특징은 그 풍부함 때문에 물체를 인식하는데 널리 적용될 수 있다. 선 특징은 3개의 환경 요인에 의해 영향을 받는다. 즉, 1) 로봇과 대상 물체의 거리가 매우 멀거나 가까운 경우, 선 특징은 부정확하다. 선 특징의 유효 거리는 대 략 1.0m이다. 2) 선 특징은 텍스쳐 양이 특정 레벨보다 많을 경우 민감하지 않다. 3) 선 특징은 밝은 조도 조건보다 어두운 조도 조건에서 더욱 민감하다. 도 11에 실험결과에 의한 선 특징의 특성을 나타내었다.
선 특징의 확률은 가우시안 함수로 나타낼 수 있다. 특히, 공간에 텍스쳐 양이 일정 레벨 이상 있다면, 선 특징은 거의 텍스쳐와 무관하다. 따라서 선 특징의 분산은 충분히 커야한다. 도 12에 선 특징의 확률 공간을 나타내었다.
추출된 증거가 둘 이상의 다양한 특징의 조합인 경우, 각 특징에 대하여 기 정의된 확률 분포는 서로 독립 사건이므로, 색상 특징과 SIFT 특징의 조합을 이용하는 증거라면, 그 증거의 확률 분포는 다음의 수학식 12와 같이 나타낼 수 있다.
P(EColor + SIFT|Object) = P(EColor|Object)·P(ESIFT|Object)
또한, 색상 특징과 선 특징의 조합을 이용하는 증거라면, 그 증거의 확률 분포는 다음의 수학식 13과 같이 나타낼 수 있다.
P(EColor + Line|Object) = P(EColor|Object)·P(ELine|Object)
나아가 보다 다양한 특징 feature1과 feature2 및 feature3 등을 이용하는 증거라면, 그 증거의 확률 분포는 다음의 수학식 14와 같이 나타낼 수 있을 것이다.
P(EFeature1 + Feature2 + Feature3 +··· |Object) =
P(EFeature1|Object)·P(EFeature2|Object)·P(EFeature3|Object)×···
다음으로, 상기 수학식 10에서
Figure 112008006529813-pat00009
는 기대 물체가 없는 공간 영역에 대하여 각 영상의 특징이 나올 확률을 배경의 텍스쳐 정보, 색상 정보 등을 이용하여 계산된다.
어떤 종류의 증거가 물체 인식 P(Object│Evidence)에 가장 좋은지를 계산하는데 있어서, 네거티브 정보(Negative information)는 민감한 항이다. 그러나 물체가 존재하지 않을 때 증거가 있을 확률을 발견하는 것은 어려운 일이다. 그래서 본 발명에서는 이전의 t-1시점의 인식 결과를 사용한다.
먼저, 각 특징의 네거티브 정보는 실험적 결과를 이용하여 얻어진다. 이를 위하여, 거리, 조도와 같은 환경 요인의 변화에 따른 P(Evidence│Object)의 확률을 관측한다. 그리고
Figure 112008006529813-pat00010
의 초기값을 P(Evidence│Object)의 하한선으로 설정한다. 네거티브 정보의 초기값을 정의하는 이유는, 상기 확률이 각 증거에서의 에러의 일종으로 고려되었기 때문이다. 이와 같이 환경 요인을 이용하여 P(Evidence│Object)의 확률을 생성하였기 때문에, 물체가 없을 때에도 P(Evidence│Object)가 존재할 수 있다. 도 13에 각 특징에 대한 네거티브 정보를 나타내었다. 각 그래프의 하한선이 수학식 10에서 네거티브 항의 초기값이 된다.
다음에는, 네거티브 항을 t-1 시점에서의 확률인 이전의 인식 결과에 의해 업데이트한다. 업데이트 알고리즘은 증거 선택 및 증거 수집부(400)에서 가장 좋은 증거 또는 증거 세트가 선택되었을 때, 현재 장면에서 선택된 증거가 없다면, 선택된 증거의 네거티브 항을 증가시키는 것이다. 또한, 증거 선택 및 증거 수집부(400)에서 선택된 증거를 이용하여 인식 임무를 수행하였음에도 불구하고, 물체 인식 및 자세 추정에 실패하였을 경우에도, 네거티브 항을 증가시킨다. 이때, 선택된 증거가 사용하는 영상 특징의 네거티브 정보를 포지티브 정보(Positive information)의 상한선을 넘지 않는 범위 안에서 증가시키도록 한다. 예컨대, SIFT 증거가 가장 좋은 증거로 선택된 경우, 대응된 SIFT 점들이 인식에 부족하다면, SIFT 증거의 네거티브 항을 증가시킨다. 그러나, 선택된 증거를 이용하여 인식에 성공하였다면, 네거티브 항을 상기 초기값으로 감소시킨다. 이와 같은 피드백 시스템을 이용함으로써, 강인한 물체 인식 및 자세 추정을 위한 최적의 증거를 선택할 수 있게 된다.
즉, 상기 제4 단계에서 증거 선택 및 증거 수집부(400)를 통하여 선택된 증거 또는 증거의 집합은 다중 증거 추출부(300)로 입력되고, 다중 증거 추출부(300) 및 확률적 정보 융합부(500)를 거치면서 상기 제1, 2 단계가 수행되어 선택된 증거에 의한 물체 인식 및 자세 추정이 이루어진다. 이때, 제2 단계에서의 인식 결과는 다시 제4 단계의 증거 선택 및 증거 수집부(400)의 증거 선택 프로세스에 피드백되고, 이에 따라 최적의 증거 및 증거의 집합을 제공하게 되는 것이다.
선택적으로, 다양한 증거에 대해 얻어진 P(Object│Evidence)로부터 엔트로피(entropy)를 계산함으로써 최적의 증거를 선택하는 것도 가능하다.
가장 좋은 증거를 선택하였어도, 이를 이용한 인식에 시간이 많이 소요된다면, 실제의 환경에서 실시간으로 물체를 인식하고 자세 추정을 해야하는 상황에서 아무런 소용이 없을 것이다. 그래서 상기 확률 P(Object│Evidence)를 다음의 수학식 15에서와 같이 유틸리티 함수(utility function)를 이용하여 개선하였다. 유틸리티 함수는 시간 소모에 의해 가중치가 부여된 정규화 함수의 일종이다.
P(i) = α·P(Object│Evidence)+(1-α)·(1-ExpTimei/MaxTimei)
(α: 시간 소모에 대한 가중치, ExpTime: 실제의 실행시간, MaxTime: 실험적 인식 결과에 기초한 최대 소모 시간)
상기 수학식 15로부터 계산된 유틸리티 함수를 이용하면 각 증거에 대한 엔트로피(entropy)를 계산할 수 있다. 엔트로피는 다음의 수학식 16과 같이 나타낼 수 있다.
Figure 112008006529813-pat00011
증거를 선택하는데 있어서 엔트로피를 이용하게 되면, 로봇 행동에 의한 증거 수집에 보다 유리하다. 예컨대, SIFT와 선의 두 개 증거가 있고, SIFT에 대한 확률은 0.7이지만 선에 대한 확률은 0.1인 경우, 로봇이 후보 영역으로 접근하였지만 대상 물체가 없는 경우 그 후보 영역을 제거하기 위해서는, 선 특징이 검출되는 후보 영역으로 이동하는 것이 더 효율적이다. 따라서 현재 장면에서 최소 엔트로피 를 갖는 증거를 선택하고 수집하는 방법에 의해, 효율적인 물체 인식 및 자세 추정 작업을 수행할 수 있게 된다.
한편, 상기 제4 단계에서 증거가 부족하여 추가적인 증거가 필요할 경우, 증거 선택 및 증거 수집부(400)는 증거 수집을 위한 로봇의 인지적 행위를 제안하도록 동작한다.
예를 들면, 로봇의 행동에 의한 증거수집 프로세스를 위하여 2차원 상호작용 공간(interaction space)이 고려될 수 있다. 도 14에 능동적인 증거 탐색을 위한 상호작용 공간의 개념을 나타내었다. 상기 계산된 엔트로피를 상호작용 공간에 삽입한 후, 로봇이 이 상호작용 공간에서 엔트로피를 최소화하는 증거에 접근하고 그러한 증거를 탐색하도록 한다. 그러나, 로봇이 현재 장면에서 엔트로피만을 이용하여 이동하게 된다면, 실제의 환경에서는 현재 장면의 정보가 동적으로 변화하기 때문에 로봇의 행동은 불안정해질 것이다. 그래서 본 발명에서는 이전 상호작용 공간에서의 엔트로피 값을 누적시키고, 이를 현재 정보와 통합하여 이용하는 방법을 채택한다. 이러한 상황에서, 이전 정보는 로봇의 움직임에 따라 전파되고, 로봇은 최종적으로 최소 엔트로피를 갖는 셀을 선택하여 선택된 셀에 접근함으로써, 다른 증거들을 발견하여 대상 물체를 인식할 수 있게 된다.
상술한 바와 같이, 상기 제1, 2 단계와 제3, 4 단계는 상호 병렬적인 실행 과정으로 구성될 수 있다. 그리고, 제5 단계에서는 상기 제1, 2 단계와 상기 제3, 4 단계의 과정을 물체의 인식 및 자세추정 결과가 확률적으로 만족될 때까지 반복하여 실행하게 된다. 즉, 인식한 물체의 위치 및 자세가 단일의 자세로 수렴할 때 까지, 상기 제1, 2 단계와 상기 제3, 4 단계의 동작이 동시에 반복적으로 실행된다.
본 발명자들은 상술한 본 발명의 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법의 신뢰성을 검증하기 위하여, 시나리오에 기초한 두 개의 실험 세트를 구성하였다.
첫 번째 실험 세트는 380lux 의 조도 조건에서 거리 변화에 따라 대상 물체를 인식하는 것이다. 대상 물체는 앞면에 텍스쳐가 풍부한 파란색 물체이며, 실제의 복잡한 환경과 유사한 조건을 구성하기 위하여 주변에 다른 여러 물체들을 배치하였다. 일부 물체들은 대상 물체와 동일한 색상을 가지며, 몇몇 물체는 대상물체와 유사한 형상으로 하였다. 두 번째 실험 세트는 어클루젼(occlusion) 조건에서 대상 물체를 인식하기 위한 것이다. 여기서 로봇과 대상 물체 간의 거리는 80cm로 고정하였으며, 조도는 250lux 로 하였다. 실험은 범블비 스테레오 카메라(Bumblebee Stereo Camera)가 구비된 PowerBot-AGV 플랫폼에 의해 수행되었으며, 실험 환경에서 조도는 조도계로 측정되었다.
본 실험에서 물체 인식 및 자세 추정에 사용된 증거는 SIFT, 색상, 선, 선과 색상의 조합, SIFT와 색상의 조합, SIFT와 선의 조합으로 모두 6개이다.
첫 번째 실험 결과를 도 15에 나타내었다. 도 15의 그래프에서 X축은 시간의 변화에 따른 프레임의 수를 나타낸다. 그리고 Y축은 선택된 증거를 이용하여 측정된 거리, 선택된 경로의 엔트로피 및 선택된 증거 또는 증거 집합을 각각 나타낸 다. 도 15의 상단 그래프에서, 각각의 증거는 로봇과 대상 물체 간의 거리에 따라 다른 특성을 나타냄을 알 수 있다. 예컨대, SIFT 특징은 0.5~1m의 짧은 거리 구간에서 정확하였고, 선 특징은 1~2m 구간에서 정확하였지만 거리가 2.5m이상인 경우에는 검출되지 않았다. 또한, SIFT 특징은 먼 거리에서는 약간의 에러를 나타내었다. 그러나 본 발명의 프로세스에 의해 선택된 증거를 이용하는 경우, 모든 거리 구간에 대하여 정확도가 상당히 높게 나타났음을 확인할 수 있다. 한편, 도 15의 하단에 두 개의 그래프는 엔트로피에 근거한 증거 선택 결과를 나타낸다. 먼 거리에서는 색상 특징이 선택되고, 중간 거리에서는 선이 결합된 증거, 짧은 거리에서는 SIFT가 결합된 증거가 선택되었음을 알 수 있다.
두 번째 실험 결과를 도 16에 나타내었다. 본 발명의 프로세스에 의하면, 두 번째 실험 세트와 같이 거리가 가깝고 조도 조건 및 텍스쳐 양이 충분한 경우, 우선적으로 SIFT가 결합된 조건이 선택된다. 그러나, 어클루젼(occlusion) 상황에서는 SIFT 특징이 추출되지 않는다. 따라서 SIFT 매칭에 실패하게 되고, 매칭이 성공할 때까지 SIFT 특징의 네거티브 정보가 증가하게 된다. 마침내, 본 발명의 피드백 시스템을 이용하여 증거가 선택될 수 있었으며, 도 16에 도시된 바와 같이 28개의 프레임 후에 선이 결합된 증거가 가장 적합한 증거로 선택되었다.
상술한 본 발명의 구성에 의하면, 다양한 시각의 실시간 연속 영상을 이용하고, 환경 변화에 대한 상황 모니터링에 기초하여 최적의 증거를 자동으로 선택 및 수집하여 사용함으로써, 잡음, 텍스쳐, 어클루젼(occlusion) 등 열악한 환경 조건 에서도 강인한 물체 인식 및 자세 추정이 가능하게 된다.
또한, 본 발명은 물체의 자세를 나타내는 각 입자에 유사성 가중치(similarity weight)를 할당함에 있어서 베이즈 정리(Bayesian Theorem) 및 확률적 접근을 사용하여 대응되는 특징뿐 아니라 대응되는 자세 에러까지 고려함으로써, 보다 체계적인 인식 프레임 워크를 제공할 수 있게 된다.
또한, 본 발명에 의하면, 측광학적 특징(SIFT, 색상) 및 기하학적 특징(선 등)과 같은 다양한 증거들을 용이하게 입자 필터링 과정에 편입시킬 수 있으므로, 개별적인 특성을 갖는 다양한 물체의 위치 및 자세를 추정할 수 있게 된다.
이상에서는 본 발명을 특정의 바람직한 실시예에 대해서 도시하고 설명하였다. 그러나, 본 발명은 상술한 실시예에 국한되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 다음의 청구범위에 기재된 본 발명의 기술적 사상을 벗어남이 없이 얼마든지 다양하게 변경실시할 수 있을 것이다.
도 1은 본 발명의 일실시예에 의한 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 시스템의 구성을 나타내는 도면,
도 2는 본 발명의 일실시예에 의한 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법을 나타내는 도면,
도 3은 본 발명의 관측 가능도(Observation likelihood) 생성방법을 나타내는 도면,
도 4는 본 발명의 일실시예에 따라 획득된 P(Ot , Object│ESIFT)의 그래프,
도 5는 본 발명의 일실시예에 따라 획득된 P(Ot , Object│ELine)의 그래프,
도 6은 본 발명의 상황 모니터링 방법을 나타내는 도면,
도 7은 SIFT 특징의 특성을 나타내는 그래프,
도 8은 환경 변화에 따른 SIFT 특징의 확률공간을 나타내는 도면,
도 9는 색상 특징의 특성을 나타내는 그래프,
도 10은 색상 특징의 확률공간을 나타내는 도면,
도 11은 선 특징의 특성을 나타내는 그래프,
도 12는 선 특징의 확률공간을 나타내는 도면,
도 13은 다양한 특징의 네거티브 정보(Negative information)를 나타내는 도면,
도 14는 증거 수집을 위한 상호작용 공간의 개념을 나타내는 도면,
도 15는 거리 변화에 따른 첫 번째 실험결과를 나타내는 도면,
도 16은 어클루젼(occlusion) 조건에서의 두 번째 실험결과를 나타내는 도면.

Claims (22)

  1. 이동 서비스 로봇의 물체 인식 및 자세 추정방법으로서,
    실시간 2차원 영상 정보 및 상기 2차원 영상정보로부터 획득한 실시간 3차원 점군 데이터(3D Point Cloud)를 입력받아 인식할 대상 물체에 대한 단일 혹은 다수의 증거(Evidence)를 추출하고, 추출된 증거를 데이터베이스에 미리 저장된 대상 물체의 특징(이하, '데이터베이스에 미리 저장된 모델 상의 정보'라 함)과 매칭하여, 물체를 인식 및 물체의 위치 및 자세를 공간 상의 확률적인 입자형태(particles)로 표현하는 제1 단계;
    입자형태로 생성된 물체의 다양한 위치 및 자세를 확률적으로 융합(fusion)하고 부정확한 정보를 제거하여(filtering) 물체의 위치 및 자세를 최종적으로 판단하는 제2 단계;
    실시간 2차원 영상 정보 및 상기 2차원 영상정보로부터 획득한 실시간 3차원 점군 데이터와 상기 제2 단계에서의 물체의 위치 및 자세 정보를 입력받아 관심 영역(Region Of Interest, ROI)을 생성하고 실시간 환경 정보를 수집 및 계산하는 제3 단계;
    상기 제3 단계의 정보를 입력받아 물체인식 및 자세 추정을 위한 증거(Evidence) 혹은 증거의 집합을 확률적으로 선택하여, 실시간 환경정보로부터 증거를 선택하고 상기 제1 단계의 추출된 증거에 추가시키는 제4 단계; 및
    상기 제1, 2 단계와 상기 제3, 4 단계를 병렬적으로 구성하고, 물체의 인식 및 자세 추정 결과가 확률적으로 만족될 때까지 반복하여 실행하는 제5 단계를 구비하는 것을 특징으로 하는 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법.
  2. 제1 항에 있어서,
    상기 제1 단계에서의 증거는 색상(color), 선(line) 또는 SIFT(Scale Invariant Feature Tranform)의 영상 정보로부터 얻어지는 특징 및 상기 특징 중 둘 이상의 다양한 특징의 조합으로 이루어지는 증거로 구성되는 것을 특징으로 하는 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법.
  3. 제2 항에 있어서,
    상기 제1 단계는,
    추출된 증거 중 선(line) 특징을 이용하는 경우,
    입력된 2차원 영상으로부터 모든 선을 추출하는 단계;
    추출된 선에 대응되는 3차원 점(point)을 맵핑하여 2차원 선을 3차원 선으로 전환하는 단계; 및
    데이터베이스에 미리 저장된 모델 상의 3차원 선 정보와 비교하여 다양한 물체의 위치 및 자세를 생성하는 단계를 구비하는 것을 특징으로 하는 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법.
  4. 제2 항에 있어서,
    상기 제1 단계는,
    추출된 증거 중 SIFT 특징을 이용하는 경우,
    실시간으로 입력되는 영상정보로부터 현재 장면에서 추출된 SIFT 특징과 데이터베이스에 미리 저장된 모델 상의 대응되는 SIFT 특징 간의 거리를 계산함으로써 물체의 위치 및 자세를 생성하는 것을 특징으로 하는 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법.
  5. 제2 항에 있어서,
    상기 제1 단계는,
    추출된 증거 중 둘 이상의 다양한 특징의 조합을 이용하는 경우,
    현재 입력된 영상으로부터 추출되어 둘 이상으로 조합된 특징들과 데이터베이스에 미리 저장된 모델 상의 특징을 비교하여 다양한 물체의 위치 및 자세를 생성하는 단계를 구비하는 것을 특징으로 하는 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법.
  6. 제1 항에 있어서,
    상기 제2 단계는,
    상기 제1 단계에서 생성된 입자 형태의 물체의 자세(이하, '관측된 물체의 자세'라 함)로부터 관측 가능도(Observation likelihood)를 생성하는 제2-1 단계;
    인식할 대상 물체 주변에서 선택된 물체의 자세를 나타내는 입자들을 로봇에 장착된 카메라의 움직임 정보를 사용하여 시간이 증가함에 따라 최초 상태로부터 전파시켜 현시점의 물체의 자세를 예측(이하, '예측된 물체의 자세'라 함)하고,
    예측된 물체의 자세를 나타내는 입자들을 상기 관측 가능도에 의해 업데이트하되, 상기 예측된 물체의 자세를 관측된 물체의 자세에 대해 비교하여 관측된 물체의 자세와 유사한 예측된 물체 자세의 입자일수록 높은 가중치를 부여하는 방식으로 예측된 물체 자세의 입자들을 업데이트하는 제2-2 단계; 및
    상기 제2-2 단계에서 부여된 가중치가 다른 예측된 물체 자세의 입자들을 동일한 가중치를 갖는 예측된 물체 자세의 입자별로 나타내기 위해 가중치에 따라 예측된 물체 자세의 입자들을 리샘플링하는 제2-3 단계를 구비하는 것을 특징으로 하는 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법.
  7. 제6 항에 있어서,
    상기 제2-1 단계에서, 상기 관측 가능도(Observation likelihood)는,
    Figure 112009059530915-pat00035
    (O [j]: t 시점 관측으로부터 생성된 물체 자세를 나타내는 동차 변환 행렬, O t [i]: t-1 시점 입자로부터 t 시점까지 예측된 물체 자세를 나타내는 동차 변환 행렬, wj: t 시점 관측으로부터 생성된 입자인 O [j]에 대한 유사성 가중치, m: t 시점 관측으로 생성된 입자의 개수, {Ob_TP1 j, Ob_TP2 j, Ob_TP3 j, Ob_TP4 j} : O [j]를 표현하는 변환된 4점들, {St_TP1 i, St_TP2 i, St_TP3 i, St_TP4 i} : O t [i]를 표현하는 변환된 4점들, S j: O [j]를 표현하는 점들에 대한 매칭 에러 공분산)
    의 식에 의해 생성되는 것을 특징으로 하는 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법.
  8. 제7 항에 있어서,
    상기 유사성 가중치 wj는,
    wj = p(Ot,Object│E)=p(Ot,id, Ot,pose│E)
    (Ot,Object: 인식할 물체, Ot,id: 인식할 물체의 진위 여부, Ot,pose: 추정된 물체 자세의 정확도, E: 실시간 영상정보로부터 추출된 증거)
    에 의해 계산되는 것을 특징으로 하는 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법.
  9. 제8 항에 있어서,
    상기 제1 단계에서 SIFT 특징을 이용하여 물체의 자세가 생성된 경우, 유사성 가중치 wj는, Oid와 Opose가 독립 사건이라고 가정할 때,
    wj=p(Ot,Object│ESIFT)=p(Ot,id,Ot,pose│ESIFT)=p(Ot,id│ESIFT)p(Ot,pose│ESIFT)
    의 식에 의해 계산되며,
    상기 p(Ot,id│ESIFT)는 실시간 영상정보로부터 추출된 SIFT 특징 중 모델 상의 SIFT 정보와 대응된 SIFT 수를 기준으로 시그모이드(sigmoid) 함수를 이용하여 계산하며, 상기 p(Ot,pose│ESIFT)는 평균 거리 오차로 정의되는 것을 특징으로 하는 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법.
  10. 제8 항에 있어서,
    상기 제1 단계에서 선(line) 특징을 이용하여 물체의 자세가 생성된 경우, 유사성 가중치 wj는, Oid와 Opose가 독립 사건이라고 가정할 때,
    w=p(Ot , Object│ELine)=p(Ot , id,Ot , pose│ELine)=p(Ot , id│ELine)p(Ot, pose│ELine)
    의 식에 의해 계산되며,
    상기 p(Ot , id│ELine)는, '커버리지(covergae) = 대응된 선 거리/모델의 전체 선 거리'의 식에 의해 정의되고, 상기 p(Ot , pose│ELine)는 매칭 에러로 정의되는 것을 특징으로 하는 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법.
  11. 제8 항에 있어서,
    상기 제1 단계에서 색상(color) 특징을 이용하여 물체의 위치가 생성된 경우, 유사성 가중치 wj는 미리 정의된 상수로 설정되거나 모델과 일치하는 색상의 화소수를 고려하여 계산되는 것을 특징으로 하는 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법.
  12. 제6 항에 있어서,
    상기 제2-2 단계에서, 예측된 시점 t에서의 물체 자세를 나타내는 입자의 확률분포는,
    Ot[i]~p(O t│O t-1 [i], u t), (i=1,...,k)
    (u t: t-1 시점과 t 시점 사이의 카메라 움직임 제어 데이터, k: 입자의 수)
    의 식으로 표현되는 것을 특징으로 하는 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법.
  13. 제1 항에 있어서,
    상기 제3 단계는 상기 제2 단계의 결과 값을 입력 받아 입력 영상으로부터 관심 영역을 생성하고 상기 영역에서의 조도, 텍스쳐(texture) 밀도, 로봇과 기대 물체 간의 거리를 계산하는 것을 특징으로 하는 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법.
  14. 제13 항에 있어서,
    상기 제4 단계는, 상기 제3 단계에서 수집된 관심 영역에서의 조도 정보, 텍스쳐(texture) 밀도 정보, 로봇과 기대 물체 간의 거리 정보를 이용하여 물체 인식 및 자세 추정을 위한 최적의 증거를 선택하는 것을 특징으로 하는 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법.
  15. 제14 항에 있어서, 상기 제4 단계는,
    Figure 112009059530915-pat00036
    (P(Evidence|Object): 물체가 있을 때 각 증거가 있을 확률(positive information),
    Figure 112009059530915-pat00037
    : 물체가 없을 때 각 증거가 있을 확률(negative information), P(Object): 공간상에 물체가 있을 확률(prior probability),
    Figure 112009059530915-pat00038
    : 공간상에 물체가 없을 확률)
    식에 의해 계산되는 P(Object|Evidence)가 가장 높은 증거를 선택하는 것을 특징으로 하는 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법.
  16. 제15 항에 있어서,
    P(Evidence|Object)는, 상기 제3 단계에서 수집된 조도 정보, 텍스쳐(texture) 밀도 정보, 로봇과 기대 물체 간의 거리 정보는 서로 독립 사건이므로,
    Figure 112009059530915-pat00039
    의 식에 의해 계산되며,
    각 증거에 대하여 상기 P(Edistance|O), 상기 P(Etexture|O), 상기 P(Eillumination|O)는 조도 정보, 텍스쳐 밀도 정보, 로봇과 기대 물체 간의 거리 정보에 따른 각 증거의 기 정의된 확률 분포를 이용하는 것을 특징으로 하는 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법.
  17. 제16 항에 있어서,
    각 증거에 대하여 기 정의된 확률 분포는,
    조도 정보의 변화, 텍스쳐 밀도 정보의 변화, 로봇과 물체 간의 예측 거리 정보의 변화에 따른 실험적인 확률 분포를 갖는 것을 특징으로 하는 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법.
  18. 제16 항에 있어서,
    추출된 증거 중 둘 이상의 다양한 특징의 조합을 이용하는 경우, 각 특징에 대하여 기 정의된 확률 분포는 서로 독립 사건이므로,
    색상 특징과 SIFT 특징의 조합을 이용하는 증거라면, 그 증거의 확률 분포는,
    P(EColor + SIFT|Object) = P(EColor|Object)·P(ESIFT|Object)
    색상 특징과 선 특징의 조합을 이용하는 증거라면, 그 증거의 확률 분포는,
    P(EColor + Line|Object) = P(EColor|Object)·P(ELine|Object)
    보다 다양한 특징 feature1과 feature2 및 feature3 등을 이용하는 증거라면, 그 증거의 확률 분포는,
    P(EFeature1 + Feature2 + Feature3 +··· |Object) =
    P(EFeature1|Object)·P(EFeature2|Object)·P(EFeature3|Object)×···
    의 식에 의해 계산되는 것을 특징으로 하는 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법.
  19. 제15 항에 있어서,
    Figure 712010001027359-pat00040
    (negative information)은 , 기대 물체가 없는 공간 영역에 대하여 각 영상의 특징이 나올 확률을 배경의 텍스쳐 정보, 색상 정보를 이용해 계산하게 되며,
    현 시점의 이전 시점에서 P(Object|Evidence)가 가장 높은 것으로 계산되어 선택 된 증거를 이용하여 인식 임무를 수행하였음에도 불구하고 물체 인식 및 자세추정에 실패하였을 경우,
    상기 선택된 증거가 사용하는 영상 특징의 네거티브 정보(negative information)를 포지티브 정보(positive info rmation)의 상한선을 넘지 않는 범위 안에서 증가시키는 방식으로 현 시점에서의 네거티브 정보를 계산하는 것을 특징으로 하는 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법.
  20. 삭제
  21. 제14 항에 있어서,
    상기 제4 단계는 증거가 부족하여 추가적 인 증거가 필요한 경우, 추가적인 증거를 수집하는 단계를 더 구비하며,
    상기 추가적인 증거 수집 단계는, 로봇이 인식할 대상 물체에 접근 이동하여 증거를 추가적으로 탐색 및 수집하는 것을 특징으로 하는 상황 모니 터링을 적용한 실시간 물체 인식 및 자세 추정 방법.
  22. 실시간 2차원 영상 정보 및 상기 2차원 영상정 보로부터 획득한 실시간 3차원 점군 데이터(3D Point Cloud)를 입력받아 인식할 대상 물체에 대한 단일 혹은 다수의 증거(Evidence)를 추출하고, 상기 추출된 증거를 데이터베이스에 미리 저장된 대상 물체의 특징(이하, '데이터베이스에 미리 저장된 모델 상의 정보'라 함)과 매칭하여, 물체를 인식 및 물체의 위치와 자세를 공간상의 확률적인 입자형태(particles)로 표현하는 제1 단계;
    입자형태로 생성된 물체의 다양한 위치 및 자세를 확률적으로 융합(fusion)하고 부정확한 정보를 제거하여(filtering) 물체의 위치 및 자세를 최종적으로 판단하는 제2 단계;
    실시간 2차원 영상 정보 및 상기 2차원 영상정보 로부터 획득한 실시간 3차원 점군 데이터와 상기 제2 단계에서의 물체의 위치 및 자세 정보를 입력받아 관심 영역(Region Of Interest, ROI)을 생성하고 실시간 환경정보를 수집 및 계산하는 제3 단계;
    상기 제3 단계의 정보를 입력받아 물체인식 및 자세 추정을 위한 증거 혹은 증거의 집합을 확률적으로 선택하여, 실시간 환경정보로부터 증거를 선택하고 상기 제1 단계의 추출된 증거에 추가시키는 제4 단계; 및
    상기 제1, 2 단계와 상기 제3, 4 단계를 병렬적으로 구성하고, 물체의 인식 및 자세 추정 결과가 확률적으로 만족될 때까지 반복하여 실행하는 제5 단계를 구비하는 것을 특징으로 하는 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법.
KR1020080008162A 2008-01-25 2008-01-25 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법 KR100951890B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080008162A KR100951890B1 (ko) 2008-01-25 2008-01-25 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법
US12/032,427 US8503760B2 (en) 2008-01-25 2008-02-15 System and method for real-time object recognition and pose estimation using in-situ monitoring

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080008162A KR100951890B1 (ko) 2008-01-25 2008-01-25 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법

Publications (2)

Publication Number Publication Date
KR20090081968A KR20090081968A (ko) 2009-07-29
KR100951890B1 true KR100951890B1 (ko) 2010-04-12

Family

ID=40899273

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080008162A KR100951890B1 (ko) 2008-01-25 2008-01-25 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법

Country Status (2)

Country Link
US (1) US8503760B2 (ko)
KR (1) KR100951890B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101225644B1 (ko) * 2010-07-16 2013-01-24 성균관대학교산학협력단 로봇의 물체 인식 및 자세 추정 방법
KR102290857B1 (ko) 2020-03-30 2021-08-20 국민대학교산학협력단 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 방법 및 장치
KR20210106703A (ko) * 2020-02-21 2021-08-31 전남대학교산학협력단 3차원 공간의 의미적 분할 시스템 및 이를 이용한 3차원 공간의 의미적 분할 방법

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007045835B4 (de) 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
DE102007045834B4 (de) * 2007-09-25 2012-01-26 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
US20100209019A1 (en) * 2009-01-23 2010-08-19 Confoy Robert E Shipping package that converts into a backpack
US8970690B2 (en) 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
DE102009049849B4 (de) 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
US8488877B1 (en) * 2009-12-02 2013-07-16 Hrl Laboratories, Llc System for object recognition in colorized point clouds
KR101064224B1 (ko) * 2009-12-30 2011-09-14 성균관대학교산학협력단 인식과 추적의 결합을 통한 물체의 포즈 실시간 추정 방법
US20110232719A1 (en) * 2010-02-17 2011-09-29 Freda Robert M Solar power system
JP5423567B2 (ja) * 2010-04-30 2014-02-19 株式会社明電舎 電気鉄道保守用車両位置測定装置
KR101054736B1 (ko) * 2010-05-04 2011-08-05 성균관대학교산학협력단 3차원 물체 인식 및 자세 추정 방법
EP2569721A4 (en) * 2010-05-14 2013-11-27 Datalogic Adc Inc SYSTEMS AND METHODS FOR OBJECT DETECTION USING A LARGE DATABASE
GB2493887B (en) * 2010-05-20 2016-01-13 Irobot Corp Mobile human interface robot
KR101813922B1 (ko) * 2010-07-12 2018-01-02 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
US8730238B2 (en) * 2010-10-27 2014-05-20 Lockheed Martin Corporation Visual three dimensional simulation system and method
US8600172B2 (en) * 2011-03-16 2013-12-03 Sensormatic Electronics, LLC Video based matching and tracking by analyzing one or more image abstractions
US10006896B2 (en) 2011-11-14 2018-06-26 University of Pittsburgh—of the Commonwealth System of Higher Education Method, apparatus and system for food intake and physical activity assessment
US9336302B1 (en) 2012-07-20 2016-05-10 Zuci Realty Llc Insight and algorithmic clustering for automated synthesis
US10678259B1 (en) * 2012-09-13 2020-06-09 Waymo Llc Use of a reference image to detect a road obstacle
US9633263B2 (en) * 2012-10-09 2017-04-25 International Business Machines Corporation Appearance modeling for object re-identification using weighted brightness transfer functions
CN105164700B (zh) 2012-10-11 2019-12-24 开文公司 使用概率模型在视觉数据中检测对象
US10572774B2 (en) * 2012-12-06 2020-02-25 Toyota Motor Engineering & Manufacturing North America. Inc. Methods and robots for adjusting object detection parameters, object recognition parameters, or both object detection parameters and object recognition parameters
US9224064B2 (en) * 2013-02-15 2015-12-29 Samsung Electronics Co., Ltd. Electronic device, electronic device operating method, and computer readable recording medium recording the method
JP6233706B2 (ja) * 2013-04-02 2017-11-22 パナソニックＩｐマネジメント株式会社 自律移動装置及び自律移動装置の自己位置推定方法
US9818150B2 (en) 2013-04-05 2017-11-14 Digimarc Corporation Imagery and annotations
US9406138B1 (en) 2013-09-17 2016-08-02 Bentley Systems, Incorporated Semi-automatic polyline extraction from point cloud
US9787904B2 (en) * 2013-10-31 2017-10-10 InsideMaps Inc. Methods and apparatuses for capturing images used for generating 3D models of rooms
US9269150B1 (en) 2013-11-22 2016-02-23 Google Inc. Using pose data and positioning information to locate online photos of a user
US10083368B2 (en) 2014-01-28 2018-09-25 Qualcomm Incorporated Incremental learning for dynamic feature database management in an object recognition system
CN105095905B (zh) * 2014-04-18 2018-06-22 株式会社理光 目标识别方法和目标识别装置
CN105320917B (zh) * 2014-06-27 2018-09-04 南京理工大学 一种基于头肩轮廓及bp神经网络的行人检测及跟踪方法
KR101593187B1 (ko) * 2014-07-22 2016-02-11 주식회사 에스원 3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법
US9875427B2 (en) * 2015-07-28 2018-01-23 GM Global Technology Operations LLC Method for object localization and pose estimation for an object of interest
US20170161546A1 (en) * 2015-12-08 2017-06-08 Mitsubishi Electric Research Laboratories, Inc. Method and System for Detecting and Tracking Objects and SLAM with Hierarchical Feature Grouping
US9818038B2 (en) 2016-01-06 2017-11-14 Toshiba Tec Kabushiki Kaisha Image recognition apparatus
CN105953796A (zh) * 2016-05-23 2016-09-21 北京暴风魔镜科技有限公司 智能手机单目和imu融合的稳定运动跟踪方法和装置
CN106023211B (zh) * 2016-05-24 2019-02-26 深圳前海勇艺达机器人有限公司 基于深度学习的机器人图像定位方法及系统
CN108780575B (zh) 2016-06-30 2022-04-01 微软技术许可有限责任公司 用于检测突起对象的显著点的方法和装置
US10482621B2 (en) 2016-08-01 2019-11-19 Cognex Corporation System and method for improved scoring of 3D poses and spurious point removal in 3D image data
US10739142B2 (en) 2016-09-02 2020-08-11 Apple Inc. System for determining position both indoor and outdoor
JP6896401B2 (ja) * 2016-11-25 2021-06-30 東芝テック株式会社 物品認識装置
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
US10163033B2 (en) 2016-12-13 2018-12-25 Caterpillar Inc. Vehicle classification and vehicle pose estimation
CN106778649A (zh) * 2016-12-26 2017-05-31 曲东阳 一种判断景点标识物的图像识别算法
US10940587B2 (en) * 2017-04-28 2021-03-09 Technion Research & Development Foundation Ltd. Data association aware belief space planning and perception
EP3624059A4 (en) * 2017-05-10 2020-05-27 Fujitsu Limited METHOD, DEVICE, TARGET OBJECT RECOGNITION SYSTEM, AND PROGRAM
CN108171796A (zh) * 2017-12-25 2018-06-15 燕山大学 一种基于三维点云的巡检机器人视觉系统及控制方法
JP6973302B2 (ja) * 2018-06-06 2021-11-24 トヨタ自動車株式会社 物標認識装置
CN109241870B (zh) * 2018-08-16 2022-02-22 中国矿业大学(北京) 基于步态识别的煤矿井下人员身份识别方法
JP7031540B2 (ja) * 2018-09-07 2022-03-08 オムロン株式会社 対象物認識装置、マニピュレータ、および移動ロボット
CN109584296A (zh) * 2018-09-28 2019-04-05 上海神添实业有限公司 一种基于单目视觉的叉车识别测距方法
US10839220B2 (en) 2018-10-15 2020-11-17 Kepler Vision Technologies B.V. Method for categorizing a scene comprising a sub-scene with machine learning
US10452913B1 (en) * 2019-01-31 2019-10-22 Palantir Technologies Inc. Systems and methods for coherent monitoring
US10867178B2 (en) 2019-01-31 2020-12-15 Palantir Technologies Inc. Systems and methods for coherent monitoring
US10943401B2 (en) 2019-02-01 2021-03-09 International Business Machines Corporation Active visual recognition in mobile augmented reality
CN110008985B (zh) * 2019-02-03 2022-09-30 河南科技大学 基于改进d-s证据理论规则的舰载机群目标识别方法
RU2698157C1 (ru) * 2019-02-12 2019-08-22 Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" (АО НПЦ "ЭЛВИС") Система поиска нарушений в порядке расположения объектов
US11356606B2 (en) 2019-02-26 2022-06-07 Insidemaps, Inc. Imaging using mobile computing device in communication with wide field of view (FOV) camera
CN110033007B (zh) * 2019-04-19 2022-08-09 福州大学 基于深度姿态预估和多特征融合的行人衣着属性识别方法
EP3832598A1 (en) * 2019-12-05 2021-06-09 Aptiv Technologies Limited Methods and systems for determining an initial ego-pose for initialization of self-localization
CN111012254A (zh) * 2019-12-30 2020-04-17 北京太坦科技有限公司 智能扫地机器人
US11822630B2 (en) * 2020-01-28 2023-11-21 Gaurav Upadhyay System and method for securely accessing a user account
CN111650936B (zh) * 2020-06-03 2023-01-17 杭州迦智科技有限公司 一种伺服控制方法、处理器、存储介质和可移动平台
CN111505632B (zh) * 2020-06-08 2023-03-03 北京富奥星电子技术有限公司 基于功率谱和多普勒特征的超宽带雷达动作姿态识别方法
CN114063572A (zh) * 2020-07-31 2022-02-18 北京熵行科技有限公司 一种无感知智能设备控制方法、电子设备及控制系统
CN112990148B (zh) * 2021-05-07 2021-08-03 武汉理工大学 智能搬运机器人目标识别方法及系统
US20230196751A1 (en) * 2021-12-22 2023-06-22 Rakuten Mobile, Inc. Method, apparatus, and computer readable medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001092980A (ja) 1999-09-24 2001-04-06 Nec Corp 輪郭抽出方法及び装置
KR20020013891A (ko) * 1999-05-25 2002-02-21 구타라기 켄 영상들을 생성하는 방법 및 장치
KR20030043637A (ko) * 2001-11-27 2003-06-02 삼성전자주식회사 깊이 이미지 기반 3차원 객체 표현 장치 및 방법
KR100635883B1 (ko) 2005-05-27 2006-10-18 성균관대학교산학협력단 실시간 물체 추적 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5990900A (en) * 1997-12-24 1999-11-23 Be There Now, Inc. Two-dimensional to three-dimensional image converting system
US6499025B1 (en) * 1999-06-01 2002-12-24 Microsoft Corporation System and method for tracking objects by fusing results of multiple sensing modalities
US6956569B1 (en) * 2000-03-30 2005-10-18 Nec Corporation Method for matching a two dimensional image to one of a plurality of three dimensional candidate models contained in a database
US7221809B2 (en) * 2001-12-17 2007-05-22 Genex Technologies, Inc. Face recognition system and method
JP4865557B2 (ja) * 2003-08-15 2012-02-01 スカーペ テクノロジーズ アクティーゼルスカブ 有界三次元対象物の分類と空間ローカライゼーションのためのコンピュータ視覚システム
KR100816607B1 (ko) * 2003-10-21 2008-03-24 닛본 덴끼 가부시끼가이샤 화상 대조 시스템, 화상 대조 방법 및 컴퓨터로 판독가능한 기록 매체
US7809159B2 (en) * 2003-10-30 2010-10-05 Nec Corporation Estimation system, estimation method, and estimation program for estimating object state
US7672911B2 (en) * 2004-08-14 2010-03-02 Hrl Laboratories, Llc Graph-based cognitive swarms for object group recognition in a 3N or greater-dimensional solution space
US8108072B2 (en) * 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
JP4691158B2 (ja) * 2005-06-16 2011-06-01 ストライダー ラブス，インコーポレイテッド 三次元クラスモデルを用いた二次元画像における認識システムおよび方法
US7555363B2 (en) * 2005-09-02 2009-06-30 Neato Robotics, Inc. Multi-function robotic device
US7450736B2 (en) * 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
JP2007310741A (ja) * 2006-05-19 2007-11-29 Fuji Heavy Ind Ltd 立体物認識装置
JP4208898B2 (ja) * 2006-06-09 2009-01-14 株式会社ソニー・コンピュータエンタテインメント 対象物追跡装置および対象物追跡方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020013891A (ko) * 1999-05-25 2002-02-21 구타라기 켄 영상들을 생성하는 방법 및 장치
JP2001092980A (ja) 1999-09-24 2001-04-06 Nec Corp 輪郭抽出方法及び装置
KR20030043637A (ko) * 2001-11-27 2003-06-02 삼성전자주식회사 깊이 이미지 기반 3차원 객체 표현 장치 및 방법
KR100635883B1 (ko) 2005-05-27 2006-10-18 성균관대학교산학협력단 실시간 물체 추적 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101225644B1 (ko) * 2010-07-16 2013-01-24 성균관대학교산학협력단 로봇의 물체 인식 및 자세 추정 방법
KR20210106703A (ko) * 2020-02-21 2021-08-31 전남대학교산학협력단 3차원 공간의 의미적 분할 시스템 및 이를 이용한 3차원 공간의 의미적 분할 방법
KR102333682B1 (ko) * 2020-02-21 2021-11-30 전남대학교산학협력단 3차원 공간의 의미적 분할 시스템 및 이를 이용한 3차원 공간의 의미적 분할 방법
KR102290857B1 (ko) 2020-03-30 2021-08-20 국민대학교산학협력단 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 방법 및 장치

Also Published As

Publication number Publication date
KR20090081968A (ko) 2009-07-29
US20090190798A1 (en) 2009-07-30
US8503760B2 (en) 2013-08-06

Similar Documents

Publication Publication Date Title
KR100951890B1 (ko) 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법
Fehr et al. TSDF-based change detection for consistent long-term dense reconstruction and dynamic object discovery
US11703951B1 (en) Gesture recognition systems
Fan et al. Rethinking road surface 3-d reconstruction and pothole detection: From perspective transformation to disparity map segmentation
JP5940453B2 (ja) 画像のシーケンス内のオブジェクトのリアルタイム表現のハイブリッド型追跡のための方法、コンピュータプログラム、および装置
JP4644248B2 (ja) 多重視野特徴記述子を用いた同時位置決め及びマッピング
Li et al. An overlapping-free leaf segmentation method for plant point clouds
KR101380628B1 (ko) 복수의 카메라를 사용한 객체 추적 방법 및 장치
Košecka Detecting changes in images of street scenes
CN112784873A (zh) 一种语义地图的构建方法及设备
Gedik et al. 3-D rigid body tracking using vision and depth sensors
Iqbal et al. Real-time target detection and tracking: A comparative in-depth review of strategies
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
Asif et al. Unsupervised segmentation of unknown objects in complex environments
Katsoulas et al. Superquadric segmentation in range images via fusion of region and boundary information
Fehr et al. Reshaping our model of the world over time
CN112070035A (zh) 基于视频流的目标跟踪方法、装置及存储介质
Ji et al. 3d reconstruction of dynamic textures in crowd sourced data
CN117036653A (zh) 基于超体素聚类的点云分割方法及系统
CN111160255B (zh) 一种基于三维卷积网络的捕鱼行为识别方法及系统
Ginhoux et al. Model-based object tracking using stereo vision
CN114399532A (zh) 一种相机位姿确定方法和装置
Gheissari et al. Parametric model-based motion segmentation using surface selection criterion
Lee et al. A Particle Filter Based Probabilistic Fusion Framework for Simultaneous Recognition and Pose Estimation of 3D Objects in a Sequence of Images
KR101178176B1 (ko) 확률적 다중 해석에 기반한 3차원 물체 인식 및 자세 추정 시스템과 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130401

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140402

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee