KR20220106567A - 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법 - Google Patents

특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법 Download PDF

Info

Publication number
KR20220106567A
KR20220106567A KR1020210009634A KR20210009634A KR20220106567A KR 20220106567 A KR20220106567 A KR 20220106567A KR 1020210009634 A KR1020210009634 A KR 1020210009634A KR 20210009634 A KR20210009634 A KR 20210009634A KR 20220106567 A KR20220106567 A KR 20220106567A
Authority
KR
South Korea
Prior art keywords
feature point
image
feature
unit
point matching
Prior art date
Application number
KR1020210009634A
Other languages
English (en)
Other versions
KR102577663B1 (ko
Inventor
김정윤
송기흔
장호진
Original Assignee
한길씨앤씨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한길씨앤씨 주식회사 filed Critical 한길씨앤씨 주식회사
Priority to KR1020210009634A priority Critical patent/KR102577663B1/ko
Publication of KR20220106567A publication Critical patent/KR20220106567A/ko
Application granted granted Critical
Publication of KR102577663B1 publication Critical patent/KR102577663B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 방법에 관한 것으로, 본 발명에 따르면, 특징점의 매칭시에 잘못된 매칭쌍이 생성되는 경우가 많아 이를 필터링하기 위한 과정이 요구되며, 필터링시 군집된 특징점을 선택하는 경우가 많고 기하학적으로 잘못된 거짓정보를 완전히 필터링하지 못하여 호모그래피(Homography)를 잘못 추정할 가능성이 있는 문제점이 있었던 종래기술의 특징점 매칭쌍 필터링 알고리즘 및 이를 이용한 포즈 추정 시스템 및 방법들의 문제점을 해결하기 위해, 랜색(RANSAC) 알고리즘과 원순열의 개념을 이용하여, 군집된 특징점을 선택하는 것을 방지하는 동시에 추정된 호모그래피가 기하학적인 오류를 가지지 않도록 하는 특징점 매칭쌍을 선택할 수 있도록 구성됨으로써, 3차원 공간상의 2차원 이미지의 포즈를 더욱 정확하게 추정할 수 있도록 구성되는 특징점 매칭쌍 필터링 알고리즘을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법이 제공된다.

Description

특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법{Image pose estimation system using feature point matching pair filtering and image pose estimation method using thereof}
본 발명은 3차원 공간상의 2차원 이미지의 포즈를 정확하게 추정하기 위한 이미지 포즈 추정 시스템 및 방법에 관한 것으로, 본 발명에 따르면, 특징점의 매칭시에 잘못된 매칭쌍이 생성되는 경우가 많이 발생하여 거짓정보를 필터링하고 참정보만 남기는 필터링 과정이 요구되는 한계가 있었던 종래기술의 특징점 매칭 알고리즘을 이용한 포즈 추정 시스템 및 방법들의 문제점을 해결하기 위해, 랜색(RANdom SAmple Consensus ; RANSAC) 알고리즘과 원순열(circular permutation)의 개념을 이용하여 특징점 매칭쌍을 필터링하는 것에 의해 3차원 공간상의 2차원 이미지의 포즈를 더욱 정확하게 추정할 수 있도록 구성되는 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법에 관한 것이다.
또한, 본 발명은, 군집된 특징점을 선택하는 경우가 많고 기하학적으로 잘못된 거짓정보를 완전히 필터링하지 못하여 호모그래피(Homography)를 잘못 추정할 가능성이 있는 문제점이 있었던 종래기술의 특징점 매칭쌍 필터링 알고리즘의 문제점을 해결하기 위해, 군집된 특징점을 선택하는 것을 방지하는 동시에 추정된 호모그래피가 기하학적인 오류를 가지지 않도록 하는 특징점 매칭쌍을 선택할 수 있도록 하는 것에 의해 3차원 공간상의 2차원 이미지의 포즈를 더욱 정확하게 추정할 수 있도록 구성되는 특징점 매칭쌍 필터링 알고리즘을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법에 관한 것이다.
아울러, 본 발명은, 상기한 바와 같은 종래기술의 특징점 매칭쌍 필터링 알고리즘 및 이를 이용한 이미지 포즈 추정 시스템 및 방법들의 문제점을 해결하기 위해, 미리 구축된 참조이미지를 입력받아 특징점을 추출하고 특징점의 주변정보를 표현하는 참조이미지의 서술자를 추출하며, 카메라로 촬영되거나 파일로 저장된 대상이미지를 입력받아 특징점을 추출하고 특징점의 주변정보를 표현하는 대상이미지의 서술자를 추출하며, 참조이미지의 서술자와 대상이미지의 서술자 값을 기반으로 참조이미지의 특징점과 대상이미지의 특징점을 매칭시키며, 참조이미지의 특징점을 기반으로 특징점의 원순열을 구축하고 원순열을 응용하여 특징점간의 각도 및 거리의 비율을 검사하며, 랜색의 참정보 비율로 종료조건을 검사하고 만족하는 특징점 매칭쌍을 이용하여 기하학적인 오류가 없는 호모그래피를 계산하고 이미지의 포즈를 추정하도록 구성됨으로써, 3차원 공간상의 2차원 이미지의 포즈를 더욱 정확하게 추정할 수 있도록 구성되는 특징점 매칭쌍 필터링 알고리즘을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법에 관한 것이다.
최근, 컴퓨터 비전 기술이 발전함에 따라 이미지를 기반으로 사람이나 사물의 2차원(2D) 및 3차원(3D) 포즈(자세)를 추정하는 이미지 포즈 추정 시스템 및 방법에 관한 연구가 활발히 진행되고 있다.
이러한 포즈 추정(pose estimation) 기술은, 특히, 이미지나 비디오 분석에서 행동, 상태, 의도 파악을 위한 핵심 요소가 되기 때문에 상당히 중요하며, 이에 따라, 단순한 얼굴인식이나 모션인식뿐만 아니라, 예를 들면, 의료영상 분석, 자율주행차의 사물인식 및 상품검색 등과 같이, 다양한 기술분야에 걸쳐 이미지 인식 기술이 널리 응용되고 있다.
여기서, 상기한 바와 같이 이미지를 기반으로 사람이나 사물의 포즈를 추정하는 이미지 포즈 추정 시스템 및 방법에 대한 종래기술의 예로는, 예를 들면, 한국 등록특허공보 제10-1994316호에 제시된 바와 같은 "객체 포즈 추정을 위한 장치 및 방법"이 있다.
더 상세하게는, 상기한 등록특허 제10-1994316호는, 객체 포즈(pose)를 추정(estimate)하는 장치에 있어서, 객체를 객체추적부 및 객체식별부에 입력하기 위한 객체입력부; 추적방법에 기초하여 객체의 추적 포즈 확률밀도를 획득하기 위한 객체추적부; 트레이닝(training) 모델에 기초하여 객체의 식별 포즈 확률밀도를 획득하기 위한 객체식별부; 및 추적 포즈 확률밀도와 식별 포즈 확률밀도를 융합하여 객체의 추정 포즈 확률밀도를 획득하고 객체의 추정 포즈 확률밀도에 기초하여 객체의 객체 포즈를 추정하기 위한 결합부를 포함하여, 객체의 연속적인 포즈를 추정할 수 있도록 구성되는 객체 포즈 추정을 위한 장치 및 방법에 관한 것이다.
또한, 상기한 바와 같이 이미지를 기반으로 사람이나 사물의 포즈를 추정하는 이미지 포즈 추정 시스템 및 방법에 대한 종래기술의 다른 예로는, 예를 들면, 한국 등록특허공보 제10-1819730호에 제시된 바와 같은 "3차원 객체 검출 및 자세추정 방법"이 있다.
더 상세하게는, 상기한 등록특허 10-1819730호는, 촬영기기로부터 검출대상 객체가 포함된 촬영영상을 제공받아 촬영영상에 대한 포인트 클라우드(point cloud)를 생성하는 장면 스캐닝 단계; 촬영영상으로부터 객체를 검출하기 위해 객체에 대응되는 형상의 모델을 촬영하여 모델에 대한 포인트 클라우드를 생성하는 모델 스캐닝 단계; 모델에 대한 포인트 클라우드와 촬영영상에 대한 포인트 클라우드를 매칭하는 것으로서, 촬영영상에 대한 포인트 클라우드의 포인트 밀도와 유사한 포인트 밀도를 갖도록 모델에 대한 포인트 클라우드를 일부 걸러낸 다음, 촬영영상에 대한 포인트 클라우드와 매칭하는 특징점 매칭단계; 특징점 매칭단계에 의해 매칭된 포인트들을 통해 촬영영상에서 객체를 검출하거나 객체의 자세를 추정하는 모델 검출 및 자세 추정단계를 포함하여, 검출대상 모델에 대한 포인트 클라우드를 여러 단계로 다운 샘플링하고, 촬영영상에 대한 포인트 클라우드와의 매칭시에 포인트 밀도를 비교하는 것을 통해 포인트 밀도에 불변한 3차원 객체 검출 및 자세 추정이 가능하도록 구성되는 3차원 객체 검출 및 자세추정 방법에 관한 것이다.
상기한 바와 같이, 종래, 이미지 포즈 추정 시스템 및 방법에 대하여 여러 가지 기술내용들이 제시된 바 있으나, 상기한 바와 같은 종래기술의 내용들은 다음과 같은 문제점이 있는 것이었다.
더 상세하게는, 일반적으로, 종래, 이미지 포즈 추정 시스템에 있어서 특징점 매칭 알고리즘이 널리 이용되고 있으나, 종래의 특징점 매칭 알고리즘은 특징점의 매칭시에 잘못된 매칭쌍이 생성되는 경우가 많이 발생하는 문제가 있었다.
이에, 이러한 문제를 해소하기 위해, 기존의 이미지 포즈 추정 시스템 및 방법에서는, 이른바 랜색(RANdom SAmple Consensus ; RANSAC)과 같은 특징점 매칭쌍 필터링 알고리즘을 이용하여 매칭쌍 중에서 거짓정보를 필터링하고 참정보만 남기는 과정이 필요하다.
그러나 상기한 랜색(RANSAC)과 같은 종래기술의 특징점 매칭쌍 필터링 알고리즘은 군집된 특징점을 선택하는 경우가 많고, 기하학적으로 잘못된 거짓정보를 완전히 필터링하지 못하여 호모그래피(Homography)를 잘못 추정할 가능성이 있으며, 호모그래피를 추정하고자 하는 물체 이외의 배경에 특징점이 많을 경우 정확한 호모그래피를 추정할 수 없다는 문제점이 있었다.
이에, 상기한 바와 같은 종래기술의 랜색(RANSAC)과 같은 특징점 매칭쌍 필터링 알고리즘 및 이를 이용한 이미지 포즈 추정 시스템 및 방법들의 문제점을 해결하기 위하여는, 군집된 특징점을 선택하는 것을 방지하는 동시에, 추정된 호모그래피가 기하학적인 오류를 가지지 않도록 하는 특징점 매칭쌍을 선택할 수 있도록 구성되는 새로운 구성의 특징점 매칭쌍 필터링 알고리즘 및 이를 이용한 이미지 포즈 추정 시스템 및 방법을 제시하는 것이 바람직하나, 아직까지 그러한 요구를 모두 만족시키는 장치나 방법은 제시되지 못하고 있는 실정이다.
한국 등록특허공보 제10-1994316호 (2019.06.24.) 한국 등록특허공보 제10-1819730호 (2018.01.11.)
본 발명은 상기한 바와 같은 종래기술의 문제점을 해결하고자 하는 것으로, 따라서 본 발명의 목적은, 특징점의 매칭시에 잘못된 매칭쌍이 생성되는 경우가 많이 발생하여 거짓정보를 필터링하고 참정보만 남기는 필터링 과정이 요구되는 한계가 있었던 종래기술의 특징점 매칭 알고리즘을 이용한 포즈 추정 시스템 및 방법들의 문제점을 해결하기 위해, 랜색(RANSAC) 알고리즘과 원순열의 개념을 이용하여 특징점 매칭쌍을 필터링하는 것에 의해 3차원 공간상의 2차원 이미지의 포즈를 더욱 정확하게 추정할 수 있도록 구성되는 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법을 제공하고자 하는 것이다.
또한, 본 발명의 다른 목적은, 군집된 특징점을 선택하는 경우가 많고 기하학적으로 잘못된 거짓정보를 완전히 필터링하지 못하여 호모그래피(Homography)를 잘못 추정할 가능성이 있는 문제점이 있었던 종래기술의 특징점 매칭쌍 필터링 알고리즘의 문제점을 해결하기 위해, 군집된 특징점을 선택하는 것을 방지하는 동시에 추정된 호모그래피가 기하학적인 오류를 가지지 않도록 하는 특징점 매칭쌍을 선택할 수 있도록 하는 것에 의해 3차원 공간상의 2차원 이미지의 포즈를 더욱 정확하게 추정할 수 있도록 구성되는 특징점 매칭쌍 필터링 알고리즘을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법을 제공하고자 하는 것이다.
아울러, 본 발명의 또 다른 목적은, 상기한 바와 같은 종래기술의 특징점 매칭쌍 필터링 알고리즘 및 이를 이용한 이미지 포즈 추정 시스템 및 방법들의 문제점을 해결하기 위해, 미리 구축된 참조이미지를 입력받아 특징점을 추출하고 특징점의 주변정보를 표현하는 참조이미지의 서술자를 추출하며, 카메라로 촬영되거나 파일로 저장된 대상이미지를 입력받아 특징점을 추출하고 특징점의 주변정보를 표현하는 대상이미지의 서술자를 추출하며, 참조이미지의 서술자와 대상이미지의 서술자 값을 기반으로 참조이미지의 특징점과 대상이미지의 특징점을 매칭시키며, 참조이미지의 특징점을 기반으로 특징점의 원순열을 구축하고 원순열을 응용하여 특징점간의 각도 및 거리의 비율을 검사하며, 랜색의 참정보 비율로 종료조건을 검사하고 만족하는 특징점 매칭쌍을 이용하여 기하학적인 오류가 없는 호모그래피를 계산하고 이미지의 포즈를 추정하도록 구성됨으로써, 3차원 공간상의 2차원 이미지의 포즈를 더욱 정확하게 추정할 수 있도록 구성되는 특징점 매칭쌍 필터링 알고리즘을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법을 제공하고자 하는 것이다.
상기한 바와 같은 목적을 달성하기 위해, 본 발명에 따르면, 특징점 매칭쌍 필터링 알고리즘을 이용한 이미지 포즈 추정 시스템에 있어서, 이미지 포즈 추정의 기준이 되는 참조 이미지를 입력받기 위한 참조 이미지 입력부; 카메라를 통해 실시간으로 촬영되는 이미지 및 미리 저장된 이미지 파일을 포함하는 대상 이미지를 입력받기 위한 대상 이미지 입력부; 상기 참조 이미지 및 상기 대상 이미지로부터 각각의 이미지의 특징이 되는 지점인 특징점을 각각 추출하는 특징점 추출부; 상기 참조 이미지의 의 특징점에 대한 참조 이미지 서술자와, 상기 대상 이미지의 특징점에 대한 대상 이미지 서술자를 각각 추출하는 서술자 추출부; 상기 특징점 추출부로부터 수신된 특징점과 상기 서술자 추출부로부터 수신된 서술자에 근거하여, 상기 참조 이미지의 서술자 값과 상기 대상 이미지의 서술자 값을 기반으로 상기 참조 이미지의 특징점과 상기 대상 이미지의 특징점을 매칭하는 특징점 매칭부; 랜색 알고리즘과 원순열의 개념을 이용하여, 상기 특징점 매칭부에서 매칭된 특징점 매칭쌍을 필터링하는 특징점 매칭쌍 분석수단; 및 상기 특징점 매칭쌍 분석수단으로부터 반환된 특징점 매칭쌍을 이용하여 3차원 공간상의 2차원 이미지의 포즈를 추정하는 이미지 포즈 추정부를 포함하여 구성되는 것을 특징으로 하는 이미지 포즈 추정 시스템이 제공된다.
여기서, 상기 특징점 추출부는, 상기 참조 이미지 입력부와 상기 대상 이미지 입력부를 통해 입력된 각각의 참조 이미지와 대상 이미지에서 이미지의 픽셀값이 미리 정해진 기준보다 크게 변화하는 부분을 특징점으로 추출하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
또한, 상기 서술자 추출부는, 상기 특징점 추출부에서 추출된 상기 참조 이미지의 특징점과 상기 대상 이미지의 특징점의 주변 픽셀값의 경향을 다차원 벡터로 표현하는 참조 이미지 서술자와 대상 이미지 서술자를 각각 추출하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
아울러, 상기 특징점 매칭부는, 픽셀값을 변환한 다차원 벡터로 표현되는 각각의 상기 참조 이미지의 서술자 값과 상기 대상 이미지의 서술자 값을 전체탐색(Brute Force) 알고리즘이나 최근접이웃(FLANN) 알고리즘으로 비교하여 상기 참조 이미지의 특징점과 상기 대상 이미지의 특징점을 하나의 데이터 쌍으로 매칭하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
더욱이, 상기 특징점 매칭쌍 분석수단은, 상기 특징점 매칭부로부터 수신된 특징점 매칭쌍중에서 임의의 특징점 매칭쌍을 선택하는 특징점 매칭쌍 선택부; 상기 특징점 매칭쌍 선택부에서 선택된 4개의 특징점 매칭쌍에 대하여 상기 참조 이미지의 특징점의 중점을 기준으로 원순열을 생성하는 참조 이미지 원순열 계산부; 상기 참조 이미지 원순열 계산부에서 생성된 원순열을 이용하여 상기 참조 이미지의 특징점과 상기 대상 이미지의 특징점 사이의 각도를 계산하고 계산된 각도의 비율을 검사하는 특징점 간 각도 검사부; 상기 참조 이미지 원순열 계산부에서 생성된 원순열을 이용하여 상기 참조 이미지와 상기 대상 이미지에서 교차하는 두 특징점의 거리를 계산하고 계산된 거리의 비율을 검사하는 특징점 교차비율 검사부; 특징점 매칭쌍 분석의 종료조건이 만족되었는지를 검사하는 종료조건 검사부; 및 상기 종료조건 검사부에 의해 상기 종료조건이 만족된 것으로 판단되면 상기 특징점 매칭쌍 선택부에서 수신된 4개의 특징점 매칭쌍을 상기 이미지 포즈 추정부로 반환하는 특징점 매칭쌍 반환부를 포함하여 구성되는 것을 특징으로 한다.
여기서, 상기 특징점 매칭쌍 선택부는, 상기 특징점 매칭부로부터 수신된 특징점 매칭쌍중에서 4개의 특징점 매칭쌍을 임의로 선택하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
또한, 상기 참조 이미지 원순열 계산부는, 상기 특징점 매칭쌍 선택부에서 선택된 4개의 특징점 매칭쌍을 수신하고 4개의 특징점 사이의 중점을 계산하는 단계; 상기 중점과 4개의 특징점 사이의 기울기와 각각의 특징점의 색인을 각각 구하여 저장하고, 상기 중점의 x 좌표와 4개의 특징점의 x 좌표 사이의 대소관계를 각각 비교하여 저장하는 단계; 계산된 기울기를 기준으로 하여 기울기의 색인과 x 좌표의 대소관계를 오름차순으로 정렬하는 단계; 4개의 특징점의 대소관계를 비교하여 상기 중점보다 작으면 왼쪽 순열에 기울기 색인을 추가하고, 상기 중점보다 크면 오른쪽 순열에 기울기 색인을 추가하는 단계; 및 구해진 왼쪽 순열과 오른쪽 순열을 하나의 원순열로 병합하는 단계를 포함하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
아울러, 상기 특징점 간 각도 검사부는, 상기 참조 이미지 원순열 계산부로부터 반환받은 원순열을 기준으로 각각의 특징점과 특징점의 중점을 연결한 직선에 의해 이루어지는 모든 각도(A1 ~ A4, A'1 ~ A'4)가 미리 정해진 최소값(MIN)과 미리 정해진 최대값 (MAX) 사이에 존재하는지를 검사하고(MIN < A1 ~ A4 < MAX, MIN < A'1 ~ A'4 < MAX), 상기 참조 이미지와 상기 대상 이미지에서 같은 색인의 각도의 비율(A1/A'1 ~ A4/A'4)이 미리 정해진 특정값(R)과 상기 특정값의 역수(1/R) 사이에 존재하는지를 검사하는(1/R < A1/A'1 ~ A4/A'4 < R) 처리가 수행되도록 구성되는 것을 특징으로 한다.
더욱이, 상기 특징점 교차비율 검사부는, 상기 참조 이미지 원순열 계산부에서 반환받은 원순열을 기준으로 상기 참조 이미지와 상기 대상 이미지에서 교차하는 2개의 특징점과 중점 사이의 거리(D1 ~ D4, D'1 ~ D'4)의 비율을 계산하고(D1/D3, D2/D4, D'1/D'3, D'2/D'4), 상기 참조 이미지와 상기 대상 이미지에 대한 상기 거리의 비율의 비율값이 미리 정해진 특정값(S)과 상기 특정값의 역수(1/S) 사이에 존재하는지를 검사하는(1/S <(D1/D3)/(D1'/D3') < S, 1/S < (D2/D4)/(D'2/D'4) < S) 처리가 수행되도록 구성되는 것을 특징으로 한다.
또한, 상기 종료조건 검사부는, 상기 특징점 간 각도 검사부와 상기 특징점 교차 비율 검사부의 검사조건이 만족되거나, 또는, 상기 특징점 매칭쌍 분석수단의 분석처리의 반복실행 횟수가 미리 정해진 일정 횟수 이상인 경우 상기 분석처리를 종료하도록 하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
아울러, 상기 특징점 매칭쌍 반환부는, 상기 특징점 매칭쌍 분석수단의 분석 종료시에 최종적으로 선택된 4개의 특징점 매칭쌍을 상기 이미지 포즈 추정부에 반환하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
더욱이, 상기 이미지 포즈 추정부는, 상기 특징점 매칭쌍 반환부로부터 반환된 특징점 매칭쌍의 좌표를 기반으로 상기 대상 이미지의 공간상에서 상기 대상 이미지의 포즈를 추정하는 처리가 수행되도록 구성되는 것을 특징으로 한다.
또한, 본 발명에 따르면, 상기에 기재된 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템을 이용하여 이미지 포즈를 추정하도록 구성되는 이미지 포즈 추정방법에 있어서, 상기 이미지 포즈 추정 시스템의 참조 이미지 입력부를 통하여 미리 구축된 참조 이미지 파일을 입력받는 처리가 수행되는 참조 이미지 입력단계; 상기 이미지 포즈 추정 시스템의 특징점 추출부를 통하여 상기 참조 이미지로부터 이미지의 특징을 표현할 수 있는 특징점을 추출하는 처리가 수행되는 참조 이미지 특징점 추출단계; 상기 이미지 포즈 추정 시스템의 서술자 추출부를 통하여 상기 참조 이미지의 특징점에 대한 서술자를 추출하는 처리가 수행되는 참조 이미지 서술자 추출단계; 상기 이미지 포즈 추정 시스템의 대상 이미지 입력부를 통하여 실시간으로 촬영된 카메라 이미지 또는 이미지 파일을 포함하는 대상 이미지를 입력받는 처리가 수행되는 대상 이미지 입력단계; 상기 특징점 추출부를 통하여 상기 대상 이미지로부터 이미지의 특징을 표현할 수 있는 특징점을 추출하는 처리가 수행되는 대상 이미지 특징점 추출단계; 상기 서술자 추출부를 통하여 상기 대상 이미지의 특징점에 대한 서술자를 추출하는 처리가 수행되는 대상 이미지 서술자 추출단계; 상기 이미지 포즈 추정 시스템의 특징점 매칭부를 통하여 상기 참조 이미지의 특징점과 상기 대상 이미지의 특징점을 하나의 데이터쌍으로 매칭하는 처리가 수행되는 특징점 매칭단계; 상기 이미지 포즈 추정 시스템의 특징점 매칭쌍 분석수단을 통하여, 상기 특징점 매칭부로부터 수신된 매칭쌍 중에서 임의의 특징점 매칭쌍을 선택하고 원순열을 구축하여 특징점 간 각도 및 특징점 교차비율을 검사하는 과정을 반복하여 것에 의해 특징점 매칭쌍을 필터링하는 처리가 수행되는 특징점 매칭쌍 분석단계; 상기 이미지 포즈 추정 시스템의 이미지 포즈 추정부를 통하여, 상기 특징점 매칭쌍 분석단계에서 필터링된 특징점 매칭쌍을 이용하여 상기 대상 이미지의 포즈를 추청하는 처리가 수행되는 이미지 포즈 추정단계를 포함하여 구성되는 것을 특징으로 하는 이미지 포즈 추정방법이 제공된다.
상기한 바와 같이, 본 발명에 따르면, 미리 구축된 참조이미지를 입력받아 특징점을 추출하고 특징점의 주변정보를 표현하는 참조이미지의 서술자를 추출하며, 카메라로 촬영되거나 파일로 저장된 대상이미지를 입력받아 특징점을 추출하고 특징점의 주변정보를 표현하는 대상이미지의 서술자를 추출하며, 참조이미지의 서술자와 대상이미지의 서술자 값을 기반으로 참조이미지의 특징점과 대상이미지의 특징점을 매칭시키며, 참조이미지의 특징점을 기반으로 특징점의 원순열을 구축하고 원순열을 응용하여 특징점간의 각도 및 거리의 비율을 검사하며, 랜색의 참정보 비율로 종료조건을 검사하고 만족하는 특징점 매칭쌍을 이용하여 기하학적인 오류가 없는 호모그래피를 계산하고 이미지의 포즈를 추정하도록 구성되는 특징점 매칭쌍 필터링 알고리즘을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법이 제공됨으로써, 종래기술의 특징점 매칭 알고리즘을 이용한 포즈 추정 시스템 및 방법들의에 비해 3차원 공간상의 2차원 이미지의 포즈를 더욱 정확하게 추정할 수 있다.
또한, 본 발명에 따르면, 상기한 바와 같이 랜색(RANSAC) 알고리즘과 원순열의 개념을 이용하여 특징점 매칭쌍을 필터링하는 것에 의해 군집된 특징점을 선택하는 것을 방지하는 동시에 추정된 호모그래피가 기하학적인 오류를 가지지 않도록 하는 특징점 매칭쌍을 선택할 수 있도록 구성되는 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법이 제공됨으로써, 3차원 공간상의 2차원 이미지의 포즈를 더욱 정확하게 추정할 수 있는데 더하여, 특징점의 매칭시에 잘못된 매칭쌍이 생성되는 경우가 많이 발생하여 거짓정보를 필터링하고 참정보만 남기는 필터링 과정이 요구되는 한계가 있었던 종래기술의 특징점 매칭 알고리즘을 이용한 포즈 추정 시스템 및 방법들의 문제점을 해결할 수 있다.
아울러, 본 발명에 따르면, 상기한 바와 같이 랜색(RANSAC) 알고리즘과 원순열의 개념을 이용하여 특징점 매칭쌍을 필터링하는 것에 의해 군집된 특징점을 선택하는 것을 방지하는 동시에 추정된 호모그래피가 기하학적인 오류를 가지지 않도록 하는 특징점 매칭쌍을 선택할 수 있도록 구성되는 특징점 매칭쌍 필터링 알고리즘을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법이 제공됨으로써, 3차원 공간상의 2차원 이미지의 포즈를 더욱 정확하게 추정할 수 있는데 더하여, 군집된 특징점을 선택하는 경우가 많고 기하학적으로 잘못된 거짓정보를 완전히 필터링하지 못하여 호모그래피(Homography)를 잘못 추정할 가능성이 있는 한계가 있었던 종래기술의 특징점 매칭쌍 필터링 알고리즘의 문제점을 해결할 수 있다.
도 1은 본 발명의 실시예에 따른 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템의 전체적인 구성을 개략적으로 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템에서 참조 이미지의 특징점으로 원순열을 구성하는 알고리즘의 처리 흐름을 개략적으로 나타내는 플로차트이다.
도 3은 본 발명의 실시예에 따른 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템에서 참조 이미지의 특징점으로 원순열을 구성하는 알고리즘의 의사 코드(pseudo code)를 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템에서 참조 이미지와 대상 이미지의 특징점 매칭쌍 선택결과의 예를 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템에서 참조 이미지와 대상 이미지 특징점 매칭쌍간 각도검사시 사용되는 각도의 예를 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템에서 참조 이미지와 대상 이미지 특징점 매칭쌍간 각도검사 조건의 공식을 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템에서 참조 이미지와 대상 이미지 특징점 매칭쌍간 교차비율 검사시 사용되는 특징점 거리의 예를 나타내는 도면이다.
도 8은 본 발명의 실시예에 따른 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템에서 참조 이미지와 대상 이미지 특징점 매칭쌍간 교차비율 검사조건의 공식을 나타내는 도면이다.
도 9는 본 발명의 실시예에 따른 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 방법의 전체적인 구성 및 처리 흐름을 개략적으로 나타내는 플로차트이다.
이하, 첨부된 도면을 참조하여, 본 발명에 따른 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법의 구체적인 실시예에 대하여 설명한다.
여기서, 이하에 설명하는 내용은 본 발명을 실시하기 위한 하나의 실시예일 뿐이며, 본 발명은 이하에 설명하는 실시예의 내용으로만 한정되는 것은 아니라는 사실에 유념해야 한다.
또한, 이하의 본 발명의 실시예에 대한 설명에 있어서, 종래기술의 내용과 동일 또는 유사하거나 당업자의 수준에서 용이하게 이해하고 실시할 수 있다고 판단되는 부분에 대하여는, 설명을 간략히 하기 위해 그 상세한 설명을 생략하였음에 유념해야 한다.
즉, 본 발명은, 후술하는 바와 같이, 특징점의 매칭시에 잘못된 매칭쌍이 생성되는 경우가 많이 발생하여 거짓정보를 필터링하고 참정보만 남기는 필터링 과정이 요구되는 한계가 있었던 종래기술의 특징점 매칭 알고리즘을 이용한 포즈 추정 시스템 및 방법들의 문제점을 해결하기 위해, 랜색(RANSAC) 알고리즘과 원순열의 개념을 이용하여 특징점 매칭쌍을 필터링하는 것에 의해 3차원 공간상의 2차원 이미지의 포즈를 더욱 정확하게 추정할 수 있도록 구성되는 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법에 관한 것이다.
아울러, 본 발명은, 후술하는 바와 같이, 군집된 특징점을 선택하는 경우가 많고 기하학적으로 잘못된 거짓정보를 완전히 필터링하지 못하여 호모그래피(Homography)를 잘못 추정할 가능성이 있는 문제점이 있었던 종래기술의 특징점 매칭쌍 필터링 알고리즘의 문제점을 해결하기 위해, 군집된 특징점을 선택하는 것을 방지하는 동시에 추정된 호모그래피가 기하학적인 오류를 가지지 않도록 하는 특징점 매칭쌍을 선택할 수 있도록 하는 것에 의해 3차원 공간상의 2차원 이미지의 포즈를 더욱 정확하게 추정할 수 있도록 구성되는 특징점 매칭쌍 필터링 알고리즘을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법에 관한 것이다.
더욱이, 본 발명은, 후술하는 바와 같이, 상기한 바와 같은 종래기술의 특징점 매칭쌍 필터링 알고리즘 및 이를 이용한 이미지 포즈 추정 시스템 및 방법들의 문제점을 해결하기 위해, 미리 구축된 참조이미지를 입력받아 특징점을 추출하고 특징점의 주변정보를 표현하는 참조이미지의 서술자를 추출하며, 카메라로 촬영되거나 파일로 저장된 대상이미지를 입력받아 특징점을 추출하고 특징점의 주변정보를 표현하는 대상이미지의 서술자를 추출하며, 참조이미지의 서술자와 대상이미지의 서술자 값을 기반으로 참조이미지의 특징점과 대상이미지의 특징점을 매칭시키며, 참조이미지의 특징점을 기반으로 특징점의 원순열을 구축하고 원순열을 응용하여 특징점간의 각도 및 거리의 비율을 검사하며, 랜색의 참정보 비율로 종료조건을 검사하고 만족하는 특징점 매칭쌍을 이용하여 기하학적인 오류가 없는 호모그래피를 계산하고 이미지의 포즈를 추정하도록 구성됨으로써, 3차원 공간상의 2차원 이미지의 포즈를 더욱 정확하게 추정할 수 있도록 구성되는 특징점 매칭쌍 필터링 알고리즘을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법에 관한 것이다.
계속해서, 도면을 참조하여, 본 발명에 따른 특징점 매칭쌍 필터링 알고리즘을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법의 구체적인 내용에 대하여 설명한다.
먼저, 도 1을 참조하면, 도 1은 본 발명의 실시예에 따른 특징점 매칭쌍 필터링 알고리즘을 이용한 이미지 포즈 추정 시스템의 전체적인 구성을 개략적으로 나타내는 도면이다.
도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 특징점 매칭쌍 필터링 알고리즘을 이용한 이미지 포즈 추정 시스템(10)은, 크게 나누어, 이미지 포즈 추정의 기준이 되는 참조 이미지를 입력받기 위한 참조 이미지 입력부(20)와, 실시간 카메라 이미지나 미리 저장된 이미지 파일 등의 대상 이미지를 입력받기 위한 대상 이미지 입력부(30)와, 참조 이미지 및 대상 이미지로부터 이미지의 특징이 되는 지점인 특징점을 추출하는 특징점 추출부(40)와, 참조 이미지의 특징점에 대한 주변정보의 경향을 다차원 벡터로 표현하는 참조 이미지 서술자와 대상 이미지의 특징점에 대한 주변정보의 경향을 다차원 벡터로 표현하는 대상 이미지 서술자를 각각 추출하는 서술자 추출부(50)와, 특징점 추출부(40)로부터 수신된 특징점과 서술자 추출부(50)로부터 수신된 서술자에 근거하여 참조 이미지의 서술자 값과 대상 이미지의 서술자 값을 기반으로 참조 이미지의 특징점과 대상 이미지의 특징점을 매칭하는 특징점 매칭부(60)와, 랜색 알고리즘과 원순열의 개념을 이용하여 특징점 매칭부(60)에서 매칭된 특징점 매칭쌍을 필터링하는 특징점 매칭쌍 분석수단(70) 및 특징점 매칭쌍 분석수단(70)으로부터 반환된 특징점 매칭쌍을 이용하여 3차원 공간상의 2차원 이미지의 포즈를 추정하는 이미지 포즈 추정부(80)를 포함하여 구성될 수 있다.
여기서, 상기한 특징점 매칭쌍 분석 수단(70)은, 도 1에 나타낸 바와 같이, 특징점 매칭부(60)로부터 특징점 매칭쌍을 수신하여 4개의 특징점 매칭쌍을 임의로 선택하는 특징점 매칭쌍 선택부(71)와, 특징점 매칭쌍 선택부(71)에서 선택된 4개의 특징점 매칭쌍에 대하여 참조 이미지의 특징점의 중점을 기준으로 특징점의 원순열을 생성하는 참조 이미지 원순열 계산부(72)와, 참조 이미지 원순열 계산부(72)에서 생성된 원순열을 이용하여 참조 이미지 및 대상 이미지의 특징점 사이의 각도를 계산하고 각도의 비율을 검사하는 특징점 간 각도 검사부(73)와, 참조 이미지 원순열 계산부(72)에서 생성된 원순열을 이용하여 참조 이미지 및 대상 이미지에서 교차하는 두 특징점의 거리를 계산하고 거리의 비율을 검사하는 특징점 교차비율 검사부(74)와, 랜색 알고리즘의 종료조건을 검사하는 종료조건 검사부(75) 및 특징점 교차비율 검사부(74) 및 종료조건 검사부(75)로부터 종료판단을 반환받았을 때 특징점 매칭쌍 선택부(71)로부터 수신된 4개의 특징점 매칭쌍을 반환하는 특징점 매칭쌍 반환부(76)를 포함하여 구성될 수 있다.
더 상세하게는, 먼저, 상기한 참조 이미지 입력부(20)는 미리 구축된 참조 이미지 파일을 입력받는 처리가 수행되도록 이루어지고, 대상 이미지 입력부(30)는 카메라로부터 실시간으로 촬영되는 이미지를 입력받거나, 저장되어 있는 이미지 파일을 입력받는 처리가 수행되도록 구성될 수 있다.
여기서, 상기한 참조 이미지 입력부(20) 및 대상 이미지 입력부(30)는 동일한 하드웨어 수단을 이용하여, 즉, 단일의 입력수단을 통해 참조 이미지와 대상 이미지를 모두 동시에 또는 선택적으로 입력받도록 구성될 수 있다.
또한, 특징점 추출부(40)는, 참조 이미지 입력부(20)와 대상 이미지 입력부(30)를 통해 입력된 각각의 참조 이미지와 대상 이미지로부터 이미지의 특징을 표현할 수 있는 지점인 특징점을 추출하는 처리가 수행되도록 구성되는 것으로, 이때, 특징점은 일반적으로 이미지의 픽셀값이 크게 변하는 부분이 될 수 있다.
아울러, 서술자 추출부(50)는, 특징점 추출부(40)에서 추출된 참조 이미지의 특징점과 대상 이미지의 특징점의 주변정보를 표현하는, 참조 이미지와 대상 이미지의 서술자를 추출하는 처리가 수행되도록 구성될 수 있고, 이때, 서술자는 특징점의 주변 픽셀값의 경향을 표현하는 정보이며, 일반적으로 다차원 공간상의 벡터로 표현되고, 두 특징점간의 유사도는 이러한 공간상의 두 벡터의 거리로 표현될 수 있다.
더욱이, 특징점 매칭부(60)는, 참조 이미지의 서술자 값과 대상 이미지의 서술자 값을 비교하여 참조 이미지의 특징점과 대상 이미지의 특징점을 쌍으로 매칭하는 처리가 수행되도록 구성될 수 있으며, 이때, 이러한 특징점 매칭과정은 픽셀값을 변환한 다차원 벡터로 표현되는 서술자 값을 전체탐색(Brute Force) 알고리즘이나 최근접이웃(FLANN) 알고리즘으로 비교하여 참조 이미지의 특징점과 대상 이미지의 특징점을 하나의 쌍이 되는 데이터로 구조화하는 과정을 포함하여 구성될 수 있다.
또한, 특징점 매칭쌍 분석수단(70)은, 특징점 매칭쌍 필터링의 핵심부로서, 참조 이미지의 특징점과 대상 이미지의 특징점을 매칭하여 쌍으로 만들고, 특징점 매칭쌍에서 임의의 대상을 선택하며, 참조 이미지의 특징점을 기준으로 특징점 매칭쌍의 원순열을 구축하고, 구축한 원순열 정보를 응용하여 특징점간의 각도와 거리의 비율을 이용하여 조건을 검사하고, 랜색 기반의 반복 종료조건을 검사하며, 특징점 매칭쌍을 반환하는 처리가 수행되도록 구성될 수 있다.
더 상세하게는, 특징점 매칭쌍 분석수단(70)은, 도 1에 나타낸 바와 같이, 특징점 매칭쌍 선택부(71), 참조 이미지 원순열 계산부(72), 특징점 간 각도 검사부(73), 특징점 교차 비율 검사부(74), 종료조건 검사부(75) 및 특징점 매칭쌍 반환부(76)를 포함하여 구성될 수 있다.
먼저, 특징점 매칭쌍 선택부(71)는, 일반적인 랜색 알고리즘과 같이 특징점 매칭쌍 중에서 4개를 임의로 선택하여 반환하는 처리가 수행되도록 구성될 수 있으며, 참조 이미지 원순열 계산부(72)는, 참조 이미지에서 선택된 4개의 특징점을 시계방향으로 정렬한 원순열로 구축하는 처리가 수행되도록 구성될 수 있다.
계속해서, 도 2 및 도 3을 참조하여, 참조 이미지의 특징점으로 원순열을 구축하는 과정에 대하여 설명한다.
즉, 도 2 및 도 3을 참조하면, 도 2는 본 발명의 실시예에 따른 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템(10)에서 참조 이미지의 특징점으로 원순열을 구성하는 알고리즘의 처리 흐름을 개략적으로 나타내는 플로차트이고, 도 3은 도 2에 나타낸 참조 이미지의 특징점으로 원순열을 구성하는 알고리즘의 의사 코드(pseudo code)를 나타내는 도면이다.
여기서, 도 2에 나타낸 플로차트에 있어서, SC는 원순열의 구축단계(Steps of Circular permutation)를 의미한다.
도 2에 나타낸 바와 같이, 참조 이미지의 특징점으로 원순열을 구성하는 알고리즘의 처리 흐름은, 먼저, 4개의 특징점을 입력받고(SC10), 4개의 특징점 간에 중점을 계산한다(SC20).
다음으로, 중점과 4개의 특징점 간의 기울기와 특징점의 색인을 각각 구하여 저장하고(SC30), 중점의 x 좌표와 4개의 특징점의 x 좌표 간의 대소관계를 각각 검사하여 저장한다(SC40).
이어서, 상기한 단계(SC30)에서 계산된 기울기의 색인과 이전 단계(SC40)에서 구해진 x 좌표의 대소관계를 상기한 단계(SC30)에서 계산된 기울기를 기준으로 하여 오름차순으로 정렬한다(SC 50).
그 후, 4개의 특징점의 대소관계를 검사하여 중점보다 작으면 왼쪽 순열에 기울기 색인을 추가하고, 중점보다 크면 오른쪽 순열에 기울기 색인을 추가한다(SC60).
마지막으로, 상기한 바와 같이 하여 단계(SC60)에서 구해진 왼쪽 순열과 오른쪽 순열을 하나의 원순열로 병합하여 반환한다(SC70).
또한, 도 3을 참조하면, 도 3은 도 2에 나타낸 참조 이미지 원순열 계산부(72)의 처리절차를 의사 코드로 나타내고 있다.
아울러, 특징점 간 각도 검사부(73)는, 참조 이미지 원순열 계산부(72)로부터 반환받은 원순열을 기준으로 2개의 특징점과 특징점의 중점으로 구성되는 각도의 비율을 검사하는 처리가 수행되도록 구성될 수 있다.
계속해서, 도 4 내지 도 8을 참조하여 특징점 간에 각도를 검사하는 방법에 대하여 설명한다.
먼저, 도 4 내지 도 6을 참조하면, 도 4는 동일한 대상을 서로 다른 각도에서 찍은 참조 이미지와 대상 이미지를 나타내는 도면이고, 도 5는 도 4에서 4개의 특징점과 중점 간의 각도(A1 ~ A4, A'1 ~ A'4)를 나타내는 도면이며, 도 6은 각도의 범위와 비율을 검사하는 공식을 각각 나타내는 도면이다.
여기서, 도 4 및 도 5에 있어서, 8개의 원은 각각 4개의 특징점 매칭쌍을 내타내고, X자는 이미지 별로 4개의 특징점의 중점의 위치를 나타낸다.
아울러, 도 6은 각도의 범위와 비율을 검사하는 공식을 나타내는 것으로, 각도범위 검사의 경우 각각의 특징점과 특징점의 중점을 연결한 직선에 의해 이루어지는 8개의 모든 각도(A1 ~ A4, A'1 ~ A'4)가 미리 정해진 최소값(MIN)과 미리 정해진 최대값 (MAX) 사이에 존재하는지를 검사하고(즉, MIN < A1 ~ A4 < MAX, MIN < A'1 ~ A'4 < MAX), 각도비율 검사의 경우 참조 이미지와 대상 이미지에서 같은 색인의 각도의 비율 4개(A1/A'1 ~ A4/A'4)에 대하여 각각의 비율이 특정값의 역수(1/R)와 특정값(R) 사이에 존재하는지 검사한다(즉, 1/R < A1/A'1 ~ A4/A'4 < R).
다음으로, 도 4, 도 7 및 도 8을 참조하여, 특징점 교차비율을 검사하는 방법에 대하여 설명한다.
더 상세하게는, 도 7 및 도 8을 참조하면, 도 7은 도 4에서 4개의 특징점과 중점 간의 거리(D1 ~ D4, D'1 ~ D4)를 나타낸 도면이고, 도 8은 특징점과 중점이 교차하는 거리의 비율의 비율을 검사하는 공식을 나타내는 도면이다.
즉, 특징점 교차비율 검사부(74)는, 참조 이미지와 대상 이미지에서 각각 참조 이미지 원순열 계산부(72)에서 반환받은 원순열을 기준으로 교차하는 2개의 특징점과 중점 간의 비율(D1/D3, D2/D4, D'1/D'3, D'2/D'4)을 계산하여 다시 참조 이미지와 대상 이미지 간의 비율의 비율값을 검사하는((D1/D3)/(D1'/D'3), (D2/D4)/(D'2/D'4)) 처리가 수행되도록 구성될 수 있으며, 이를 위해, 도 8에 나타낸 바와 같이, 색인 1과 색인 3 사이의 비율의 비율과 색인 2와 색인 4 사이의 비율의 비율이 특정값의 역수(1/S)와 특정값(S) 사이에 존재하는지를 검사하는는(1/S <(D1/D3)/(D1'/D3') < S, 1/S < (D2/D4)/(D'2/D'4) < S) 처리가 수행되도록 구성될 수 있다.
다음으로, 종료조건 검사부(75)는, 일반적인 랜색 알고리즘에서 반복문을 제어하는 방법과 유사하게, 특징점 매칭쌍 분석수단(70)의 반복실행 횟수가 일정 횟수 이상이거나, 특징점 간 각도 검사부(73)와 특징점 교차 비율 검사부(74)의 검사조건을 만족하였을 경우 처리를 종료하도록 판단하는 처리가 수행되도록 구성될 수 있다.
이어서, 특징점 매칭쌍 반환부(76)는, 특징점 매칭쌍 분석수단(70)의 분석 종료시에 최종적으로 선택된 4개의 특징점 매칭쌍을 이미지 포즈 추정부(80)에 반환하는 처리가 수행되도록 구성될 수 있다.
즉, 이미지 포즈 추정부(80)는, 특징점 매칭쌍 반환부(76)로부터 반환된 특징점 매칭쌍의 좌표를 기반으로 대상 이미지 공간상에서 대상 이미지의 포즈를 추정하는 처리가 수행되도록 구성될 수 있다.
따라서 상기한 바와 같이 하여 본 발명의 실시예에 따른 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템(10)을 구현할 수 있으며, 계속해서, 상기한 바와 같이 하여 구성되는 본 발명의 실시예에 따른 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템(10)을 이용한 이미지 포즈 추정방법의 구체적인 구성 및 동작에 대하여 설명한다.
즉, 도 9를 참조하면, 도 9는 본 발명의 실시예에 따른 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정방법의 전체적인 구성 및 처리흐름을 개략적으로 나타내는 플로차트이며, 여기서, 도 9에 있어서, S는 단계(step)를 의미한다.
도 9에 나타낸 바와 같이, 본 발명의 실시예에 따른 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정방법은, 크게 나누어, 참조 이미지 입력단계(S10)와, 참조 이미지 특징점 추출단계(S20)와, 참조 이미지 서술자 추출단계(S30)와, 대상 이미지 입력단계(S40)와, 대상 이미지 특징점 추출단계(S50)와, 대상 이미지 서술자 추출단계(S60)와, 특징점 매칭단계(S70)와, 특징점 매칭쌍 임의선택 단계(S80)와, 참조 이미지 특징점 원순열 계산단계(S90)와, 특징점 간 각도 검사단계(S100)와, 특징점 교차비율 검사단계(S110)와, 종료조건 검사단계(S120)와, 특징점 매칭쌍 반환단계(S130) 및 이미지 포즈 추정단계(S140)를 포함하여 구성될 수 있다.
더 상세하게는, 먼저, 상기한 참조 이미지 입력단계(S10)는, 본 발명의 실시예에 따른 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템(10)의 참조 이미지 입력부(20)를 통하여 미리 구축된 참조 이미지 파일을 입력받는 처리가 수행되도록 구성될 수 있다.
또한, 참조 이미지 특징점 추출단계(S20)는, 상기한 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템(10)의 특징점 추출부(40)를 통하여 참조 이미지로부터 이미지의 특징을 표현할 수 있는 특징점을 추출하는 처리가 수행되도록 구성될 수 있다.
아울러, 참조 이미지 서술자 추출단계(S30)는, 상기한 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템(10)의 서술자 추출부(50)를 통하여 참조 이미지의 특징점의 주변정보를 표현하는 참조 이미지의 서술자를 추출하는 처리가 수행되도록 구성될 수 있다.
더욱이, 대상 이미지 입력단계(S40)는, 상기한 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템(10)의 대상 이미지 입력부(30)를 통하여 실시간으로 촬영된 카메라 이미지 또는 이미지 파일 등으로 대상 이미지를 입력받는 처리가 수행되도록 구성될 수 있다.
마찬가지로, 대상 이미지 특징점 추출단계(S50)는 상기한 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템(10)의 특징점 추출부(40)를 통하여 대상 이미지로부터 이미지의 특징을 표현할 수 있는 특징점을 추출하는 처리가 수행되고, 대상 이미지 서술자 추출단계(S60)는 상기한 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템(10)의 서술자 추출부(50)를 통하여 대상 이미지의 특징점의 주변정보를 표현하는 대상 이미지의 서술자를 추출하는 처리가 각각 수행되도록 구성될 수 있다.
다음으로, 특징점 매칭단계(S70)는, 상기한 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템(10)의 특징점 매칭부(60)를 통하여, 각각의 서술자 추출단계(S30, S60)에서 서술자 추출부(50)로부터 수신된 참조 이미지의 서술자 값과 대상 이미지의 서술자 값을 전체탐색(Brute Force) 알고리즘이나 최근접 이웃(FLANN) 알고리즘을 이용하여 비교하고, 참조 이미지의 특징점과 대상 이미지의 특징점을 하나의 쌍이 되는 데이터로 구조화하는 처리가 수행되도록 구성될 수 있다.
또한, 특징점 매칭쌍 임의선택 단계(S80)는, 상기한 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템(10)의 특징점 매칭쌍 선택부(71)를 통하여 특징점 매칭부(60)로부터 수신된 매칭쌍 중에서 4개의 특징점 매칭쌍을 임의로 선택하는 처리가 수행되고, 참조 이미지 특징점 원순열 계산단계(S90)는, 상기한 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템(10)의 참조 이미지 원순열 계산부(72)를 통하여 참조 이미지상의 4개의 특징점을 4개의 특징점의 중점을 기준으로 시계방향으로 정렬하여 원순열을 구축하는 처리가 수행되도록 구성될 수 있다.
이어서, 특징점 간 각도 검사단계(S100)는, 상기한 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템(10)의 특징점 간 각도 검사부(73)를 통하여, 참조 이미지 특징점의 원순열을 이용하여 참조 이미지의 특징점의 중점을 기준으로 참조 이미지의 특징점 간 각도를 계산하고, 대상 이미지의 특징점의 중점을 기준으로 대상 이미지의 특징점 간 각도를 계산하여, 특징점 매칭쌍 간의 각도의 비율이 일정 값 범위 내인지 검사하는 처리가 수행되도록 구성될 수 있다.
아울러, 특징점 교차비율 검사단계(S110)는, 상기한 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템(10)의 특징점 교차 비율 검사부(74)를 통하여, 참조 이미지 특징점의 원순열을 이용하여 참조 이미지의 특징점의 중점을 기준으로 참조 이미지의 교차하는 2개의 특징점 간의 거리를 계산하고, 대상 이미지의 특징점의 중점을 기준으로 대상 이미지의 교차하는 2개의 특징점 간의 거리를 계산하여, 특징점과 특징점의 중점의 거리의 비율과 특징점 매칭쌍 간의 거리의 비율이 일정 값 범위 내인지 검사하는 처리가 수행되도록 구성될 수 있다.
즉, 특징점 간 각도 검사단계(S100)는 이전 단계(S90)에서 계산된 원순열의 색인을 기준으로 각 2개의 특징점과 4개의 특징점의 중점이 이루는 각도와 각도의 비율을 검사하는 처리가 이루어지며, 특징점 교차비율 검사단계(S110)는 이전 단계(S90)에서 계산된 원순열의 색인을 기준으로 교차하는 2개의 특징점 매칭쌍의 거리의 비율의 비율을 검사하는 처리가 수행되도록 구성될 수 있다.
아울러, 종료조건 검사단계(S120)는, 상기한 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템(10)의 종료조건 검사부(75)를 통하여, 특징점 간 각도 검사나 특징점 교차비율 검사가 실패했을 경우 랜색 알고리즘을 기반으로 종료조건을 검사하는 처리가 수행되도록 구성될 수 있다.
즉, 종료조건 검사단계(S120)는 이전 단계(S100, S110)에서 검사한 조건이 만족되었는지 또는 특징점 매칭쌍 분석수단(70)의 반복처리 횟수가 일정 이상인지를 검사하여 반복처리의 종료여부를 확인하며, 종료시에는 다음 단계로 진행하고 종료하지 않을 경우에는 상기한 특징점 매칭쌍 임의선택 단계(S80)로 되돌아가는 처리가 수행되도록 구성될 수 있다.
더욱이, 특징점 매칭쌍 반환단계(S130)는, 상기한 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템(10)의 특징점 매칭쌍 반환부(76)를 통하여, 종료조건 만족시 4개의 특징점 매칭쌍, 즉, 이전 단계(S80)에서 최근에 선택된 4개의 특징점 매칭쌍을 반환하는 처리가 수행되도록 구성될 수 있다.
마지막으로, 이미지 포즈 추정단계(S140)는, 상기한 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템(10)의 이미지 포즈 추정부(80)를 통하여, 이전 단계(S130)에서 반환받은 4개의 특징점 매칭쌍을 이용하여 3차원 공간(즉, 대상 이미지 공간)상의 의 2차원 이미지(즉, 대상 이미지)의 포즈를 추청하는 처리가 수행되도록 구성될 수 있다.
상기한 바와 같이, 본 발명의 실시예에 따른 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 방법을 이용하면, 미리 구축된 참조 이미지와 카메라로 촬영되거나 파일로 저장된 대상 이미지를 각각 입력받고, 이러한 참조 이미지와 대상 이미지로부터 이미지의 특징을 표현할 수 있는 특징점을 추출하며, 참조 이미지의 특징점과 대상 이미지의 특징점의 주변정보를 표현하는 참조 이미지와 대상 이미지의 서술자를 추출하고, 참조 이미지의 서술자와 대상 이미지의 서술자의 값을 기반으로 두 이미지의 특징점을 매칭시키며, 참조 이미지상의 특징점으로 구축된 원순열 정보를 기반으로 특징점 사이의 각도와 각도의 비율을 검사하고 특징점 간에 교차하는 거리의 비율을 검사하며, 특징점 사이의 각도와 각도의 비율 검사 및 특징점 간에 교차하는 거리의 비율 검사를 만족하는 특징점을 이용하여 이미지의 포즈를 추정함으로써, 이미지 포즈 추정의 오류를 감소하고 더욱 정확한 추정이 가능해진다.
따라서 상기한 바와 같이 하여 본 발명의 실시예에 따른 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법을 구현할 수 있으며, 그것에 의해, 본 발명에 따르면, 미리 구축된 참조이미지를 입력받아 특징점을 추출하고 특징점의 주변정보를 표현하는 참조이미지의 서술자를 추출하며, 카메라로 촬영되거나 파일로 저장된 대상이미지를 입력받아 특징점을 추출하고 특징점의 주변정보를 표현하는 대상이미지의 서술자를 추출하며, 참조이미지의 서술자와 대상이미지의 서술자 값을 기반으로 참조이미지의 특징점과 대상이미지의 특징점을 매칭시키며, 참조이미지의 특징점을 기반으로 특징점의 원순열을 구축하고 원순열을 응용하여 특징점간의 각도 및 거리의 비율을 검사하며, 랜색의 참정보 비율로 종료조건을 검사하고 만족하는 특징점 매칭쌍을 이용하여 기하학적인 오류가 없는 호모그래피를 계산하고 이미지의 포즈를 추정하도록 구성되는 특징점 매칭쌍 필터링 알고리즘을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법이 제공됨으로써, 종래기술의 특징점 매칭 알고리즘을 이용한 포즈 추정 시스템 및 방법들의에 비해 3차원 공간상의 2차원 이미지의 포즈를 더욱 정확하게 추정할 수 있다.
또한, 본 발명에 따르면, 상기한 바와 같이 랜색(RANSAC) 알고리즘과 원순열의 개념을 이용하여 특징점 매칭쌍을 필터링하는 것에 의해 군집된 특징점을 선택하는 것을 방지하는 동시에 추정된 호모그래피가 기하학적인 오류를 가지지 않도록 하는 특징점 매칭쌍을 선택할 수 있도록 구성되는 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법이 제공됨으로써, 3차원 공간상의 2차원 이미지의 포즈를 더욱 정확하게 추정할 수 있는데 더하여, 특징점의 매칭시에 잘못된 매칭쌍이 생성되는 경우가 많이 발생하여 거짓정보를 필터링하고 참정보만 남기는 필터링 과정이 요구되는 한계가 있었던 종래기술의 특징점 매칭 알고리즘을 이용한 포즈 추정 시스템 및 방법들의 문제점을 해결할 수 있다.
아울러, 본 발명에 따르면, 상기한 바와 같이 랜색(RANSAC) 알고리즘과 원순열의 개념을 이용하여 특징점 매칭쌍을 필터링하는 것에 의해 군집된 특징점을 선택하는 것을 방지하는 동시에 추정된 호모그래피가 기하학적인 오류를 가지지 않도록 하는 특징점 매칭쌍을 선택할 수 있도록 구성되는 특징점 매칭쌍 필터링 알고리즘을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법이 제공됨으로써, 3차원 공간상의 2차원 이미지의 포즈를 더욱 정확하게 추정할 수 있는데 더하여, 군집된 특징점을 선택하는 경우가 많고 기하학적으로 잘못된 거짓정보를 완전히 필터링하지 못하여 호모그래피(Homography)를 잘못 추정할 가능성이 있는 한계가 있었던 종래기술의 특징점 매칭쌍 필터링 알고리즘의 문제점을 해결할 수 있다.
이상, 상기한 바와 같은 본 발명의 실시예를 통하여 본 발명에 따른 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법의 상세한 내용에 대하여 설명하였으나, 본 발명은 상기한 실시예에 기재된 내용으로만 한정되는 것은 아니며, 따라서 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 설계상의 필요 및 기타 다양한 요인에 따라 여러 가지 수정, 변경, 결합 및 대체 등이 가능한 것임은 당연한 일이라 하겠다.
10. 특징점 매칭쌍 필터링 알고리즘을 이용한 이미지 포즈 추정 시스템
20. 참조 이미지 입력부 30. 대상 이미지 입력부
40. 특징점 추출부 50. 서술자 추출부
60. 특징점 매칭부 70. 특징점 매칭쌍 분석수단
71. 특징점 매칭쌍 선택부 72. 참조 이미지 원순열 계산부
73. 특징점 간 각도 검사부 74. 특징점 교차비율 검사부
75. 종료조건 검사부 76. 특징점 매칭쌍 반환부
80. 이미지 포즈 추정부

Claims (13)

  1. 특징점 매칭쌍 필터링 알고리즘을 이용한 이미지 포즈 추정 시스템에 있어서,
    이미지 포즈 추정의 기준이 되는 참조 이미지를 입력받기 위한 참조 이미지 입력부;
    카메라를 통해 실시간으로 촬영되는 이미지 및 미리 저장된 이미지 파일을 포함하는 대상 이미지를 입력받기 위한 대상 이미지 입력부;
    상기 참조 이미지 및 상기 대상 이미지로부터 각각의 이미지의 특징이 되는 지점인 특징점을 각각 추출하는 특징점 추출부;
    상기 참조 이미지의 의 특징점에 대한 참조 이미지 서술자와, 상기 대상 이미지의 특징점에 대한 대상 이미지 서술자를 각각 추출하는 서술자 추출부;
    상기 특징점 추출부로부터 수신된 특징점과 상기 서술자 추출부로부터 수신된 서술자에 근거하여, 상기 참조 이미지의 서술자 값과 상기 대상 이미지의 서술자 값을 기반으로 상기 참조 이미지의 특징점과 상기 대상 이미지의 특징점을 매칭하는 특징점 매칭부;
    랜색 알고리즘과 원순열의 개념을 이용하여, 상기 특징점 매칭부에서 매칭된 특징점 매칭쌍을 필터링하는 특징점 매칭쌍 분석수단; 및
    상기 특징점 매칭쌍 분석수단으로부터 반환된 특징점 매칭쌍을 이용하여 3차원 공간상의 2차원 이미지의 포즈를 추정하는 이미지 포즈 추정부를 포함하여 구성되는 것을 특징으로 하는 이미지 포즈 추정 시스템.
  2. 제 1항에 있어서,
    상기 특징점 추출부는,
    상기 참조 이미지 입력부와 상기 대상 이미지 입력부를 통해 입력된 각각의 참조 이미지와 대상 이미지에서 이미지의 픽셀값이 미리 정해진 기준보다 크게 변화하는 부분을 특징점으로 추출하는 처리가 수행되도록 구성되는 것을 특징으로 하는 이미지 포즈 추정 시스템.
  3. 제 1항에 있어서,
    상기 서술자 추출부는,
    상기 특징점 추출부에서 추출된 상기 참조 이미지의 특징점과 상기 대상 이미지의 특징점의 주변 픽셀값의 경향을 다차원 벡터로 표현하는 참조 이미지 서술자와 대상 이미지 서술자를 각각 추출하는 처리가 수행되도록 구성되는 것을 특징으로 하는 이미지 포즈 추정 시스템.
  4. 제 1항에 있어서,
    상기 특징점 매칭부는,
    픽셀값을 변환한 다차원 벡터로 표현되는 각각의 상기 참조 이미지의 서술자 값과 상기 대상 이미지의 서술자 값을 전체탐색(Brute Force) 알고리즘이나 최근접이웃(FLANN) 알고리즘으로 비교하여 상기 참조 이미지의 특징점과 상기 대상 이미지의 특징점을 하나의 데이터 쌍으로 매칭하는 처리가 수행되도록 구성되는 것을 특징으로 하는 이미지 포즈 추정 시스템.
  5. 제 1항에 있어서,
    상기 특징점 매칭쌍 분석수단은,
    상기 특징점 매칭부로부터 수신된 특징점 매칭쌍중에서 임의의 특징점 매칭쌍을 선택하는 특징점 매칭쌍 선택부;
    상기 특징점 매칭쌍 선택부에서 선택된 4개의 특징점 매칭쌍에 대하여 상기 참조 이미지의 특징점의 중점을 기준으로 원순열을 생성하는 참조 이미지 원순열 계산부;
    상기 참조 이미지 원순열 계산부에서 생성된 원순열을 이용하여 상기 참조 이미지의 특징점과 상기 대상 이미지의 특징점 사이의 각도를 계산하고 계산된 각도의 비율을 검사하는 특징점 간 각도 검사부;
    상기 참조 이미지 원순열 계산부에서 생성된 원순열을 이용하여 상기 참조 이미지와 상기 대상 이미지에서 교차하는 두 특징점의 거리를 계산하고 계산된 거리의 비율을 검사하는 특징점 교차비율 검사부;
    특징점 매칭쌍 분석의 종료조건이 만족되었는지를 검사하는 종료조건 검사부; 및
    상기 종료조건 검사부에 의해 상기 종료조건이 만족된 것으로 판단되면 상기 특징점 매칭쌍 선택부에서 수신된 4개의 특징점 매칭쌍을 상기 이미지 포즈 추정부로 반환하는 특징점 매칭쌍 반환부를 포함하여 구성되는 것을 특징으로 하는 이미지 포즈 추정 시스템.
  6. 제 5항에 있어서,
    상기 특징점 매칭쌍 선택부는,
    상기 특징점 매칭부로부터 수신된 특징점 매칭쌍중에서 4개의 특징점 매칭쌍을 임의로 선택하는 처리가 수행되도록 구성되는 것을 특징으로 하는 이미지 포즈 추정 시스템.
  7. 제 5항에 있어서,
    상기 참조 이미지 원순열 계산부는,
    상기 특징점 매칭쌍 선택부에서 선택된 4개의 특징점 매칭쌍을 수신하고 4개의 특징점 사이의 중점을 계산하는 단계;
    상기 중점과 4개의 특징점 사이의 기울기와 각각의 특징점의 색인을 각각 구하여 저장하고, 상기 중점의 x 좌표와 4개의 특징점의 x 좌표 사이의 대소관계를 각각 비교하여 저장하는 단계;
    계산된 기울기를 기준으로 하여 기울기의 색인과 x 좌표의 대소관계를 오름차순으로 정렬하는 단계;
    4개의 특징점의 대소관계를 비교하여 상기 중점보다 작으면 왼쪽 순열에 기울기 색인을 추가하고, 상기 중점보다 크면 오른쪽 순열에 기울기 색인을 추가하는 단계; 및
    구해진 왼쪽 순열과 오른쪽 순열을 하나의 원순열로 병합하는 단계를 포함하는 처리가 수행되도록 구성되는 것을 특징으로 하는 이미지 포즈 추정 시스템.
  8. 제 5항에 있어서,
    상기 특징점 간 각도 검사부는,
    상기 참조 이미지 원순열 계산부로부터 반환받은 원순열을 기준으로 각각의 특징점과 특징점의 중점을 연결한 직선에 의해 이루어지는 모든 각도(A1 ~ A4, A'1 ~ A'4)가 미리 정해진 최소값(MIN)과 미리 정해진 최대값 (MAX) 사이에 존재하는지를 검사하고(MIN < A1 ~ A4 < MAX, MIN < A'1 ~ A'4 < MAX),
    상기 참조 이미지와 상기 대상 이미지에서 같은 색인의 각도의 비율(A1/A'1 ~ A4/A'4)이 미리 정해진 특정값(R)과 상기 특정값의 역수(1/R) 사이에 존재하는지를 검사하는(1/R < A1/A'1 ~ A4/A'4 < R) 처리가 수행되도록 구성되는 것을 특징으로 하는 이미지 포즈 추정 시스템.
  9. 제 5항에 있어서,
    상기 특징점 교차비율 검사부는,
    상기 참조 이미지 원순열 계산부에서 반환받은 원순열을 기준으로 상기 참조 이미지와 상기 대상 이미지에서 교차하는 2개의 특징점과 중점 사이의 거리(D1 ~ D4, D'1 ~ D'4)의 비율을 계산하고(D1/D3, D2/D4, D'1/D'3, D'2/D'4),
    상기 참조 이미지와 상기 대상 이미지에 대한 상기 거리의 비율의 비율값이 미리 정해진 특정값(S)과 상기 특정값의 역수(1/S) 사이에 존재하는지를 검사하는(1/S <(D1/D3)/(D1'/D3') < S, 1/S < (D2/D4)/(D'2/D'4) < S) 처리가 수행되도록 구성되는 것을 특징으로 하는 이미지 포즈 추정 시스템.
  10. 제 5항에 있어서,
    상기 종료조건 검사부는,
    상기 특징점 간 각도 검사부와 상기 특징점 교차 비율 검사부의 검사조건이 만족되거나, 또는, 상기 특징점 매칭쌍 분석수단의 분석처리의 반복실행 횟수가 미리 정해진 일정 횟수 이상인 경우 상기 분석처리를 종료하도록 하는 처리가 수행되도록 구성되는 것을 특징으로 하는 이미지 포즈 추정 시스템.
  11. 제 5항에 있어서,
    상기 특징점 매칭쌍 반환부는,
    상기 특징점 매칭쌍 분석수단의 분석 종료시에 최종적으로 선택된 4개의 특징점 매칭쌍을 상기 이미지 포즈 추정부에 반환하는 처리가 수행되도록 구성되는 것을 특징으로 하는 이미지 포즈 추정 시스템.
  12. 제 5항에 있어서,
    상기 이미지 포즈 추정부는,
    상기 특징점 매칭쌍 반환부로부터 반환된 특징점 매칭쌍의 좌표를 기반으로 상기 대상 이미지의 공간상에서 상기 대상 이미지의 포즈를 추정하는 처리가 수행되도록 구성되는 것을 특징으로 하는 이미지 포즈 추정 시스템.
  13. 청구항 1항 내지 청구항 12항 중 어느 한 항에 기재된 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템을 이용하여 이미지 포즈를 추정하도록 구성되는 이미지 포즈 추정방법에 있어서,
    상기 이미지 포즈 추정 시스템의 참조 이미지 입력부를 통하여 미리 구축된 참조 이미지 파일을 입력받는 처리가 수행되는 참조 이미지 입력단계;
    상기 이미지 포즈 추정 시스템의 특징점 추출부를 통하여 상기 참조 이미지로부터 이미지의 특징을 표현할 수 있는 특징점을 추출하는 처리가 수행되는 참조 이미지 특징점 추출단계;
    상기 이미지 포즈 추정 시스템의 서술자 추출부를 통하여 상기 참조 이미지의 특징점에 대한 서술자를 추출하는 처리가 수행되는 참조 이미지 서술자 추출단계;
    상기 이미지 포즈 추정 시스템의 대상 이미지 입력부를 통하여 실시간으로 촬영된 카메라 이미지 또는 이미지 파일을 포함하는 대상 이미지를 입력받는 처리가 수행되는 대상 이미지 입력단계;
    상기 특징점 추출부를 통하여 상기 대상 이미지로부터 이미지의 특징을 표현할 수 있는 특징점을 추출하는 처리가 수행되는 대상 이미지 특징점 추출단계;
    상기 서술자 추출부를 통하여 상기 대상 이미지의 특징점에 대한 서술자를 추출하는 처리가 수행되는 대상 이미지 서술자 추출단계;
    상기 이미지 포즈 추정 시스템의 특징점 매칭부를 통하여 상기 참조 이미지의 특징점과 상기 대상 이미지의 특징점을 하나의 데이터쌍으로 매칭하는 처리가 수행되는 특징점 매칭단계;
    상기 이미지 포즈 추정 시스템의 특징점 매칭쌍 분석수단을 통하여, 상기 특징점 매칭부로부터 수신된 매칭쌍 중에서 임의의 특징점 매칭쌍을 선택하고 원순열을 구축하여 특징점 간 각도 및 특징점 교차비율을 검사하는 과정을 반복하여 것에 의해 특징점 매칭쌍을 필터링하는 처리가 수행되는 특징점 매칭쌍 분석단계;
    상기 이미지 포즈 추정 시스템의 이미지 포즈 추정부를 통하여, 상기 특징점 매칭쌍 분석단계에서 필터링된 특징점 매칭쌍을 이용하여 상기 대상 이미지의 포즈를 추청하는 처리가 수행되는 이미지 포즈 추정단계를 포함하여 구성되는 것을 특징으로 하는 이미지 포즈 추정방법.
KR1020210009634A 2021-01-22 2021-01-22 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법 KR102577663B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210009634A KR102577663B1 (ko) 2021-01-22 2021-01-22 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210009634A KR102577663B1 (ko) 2021-01-22 2021-01-22 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법

Publications (2)

Publication Number Publication Date
KR20220106567A true KR20220106567A (ko) 2022-07-29
KR102577663B1 KR102577663B1 (ko) 2023-09-13

Family

ID=82606777

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210009634A KR102577663B1 (ko) 2021-01-22 2021-01-22 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법

Country Status (1)

Country Link
KR (1) KR102577663B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117066702A (zh) * 2023-08-25 2023-11-17 上海频准激光科技有限公司 一种基于激光器的激光打标控制系统
CN117495970A (zh) * 2024-01-03 2024-02-02 中国科学技术大学 基于模板多级匹配的化学仪器位姿估计方法、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101276314B1 (ko) * 2013-02-27 2013-06-18 주식회사 케이쓰리아이 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법
US20140212027A1 (en) * 2012-05-04 2014-07-31 Aaron Hallquist Single image pose estimation of image capture devices
KR101819730B1 (ko) 2016-04-19 2018-01-17 광주과학기술원 3차원 객체 검출 및 자세추정 방법
KR101994316B1 (ko) 2011-12-23 2019-06-28 삼성전자주식회사 객체 포즈 추정을 위한 장치 및 방법
KR102167071B1 (ko) * 2019-11-29 2020-10-16 한길씨앤씨 주식회사 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101994316B1 (ko) 2011-12-23 2019-06-28 삼성전자주식회사 객체 포즈 추정을 위한 장치 및 방법
US20140212027A1 (en) * 2012-05-04 2014-07-31 Aaron Hallquist Single image pose estimation of image capture devices
KR101276314B1 (ko) * 2013-02-27 2013-06-18 주식회사 케이쓰리아이 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법
KR101819730B1 (ko) 2016-04-19 2018-01-17 광주과학기술원 3차원 객체 검출 및 자세추정 방법
KR102167071B1 (ko) * 2019-11-29 2020-10-16 한길씨앤씨 주식회사 서술자 매칭쌍 분석 기술을 적용한 이미지 인식 시스템 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
송기흔 등, 특징점 배치의 기하학적 유사성을 이용한 GS-RANSAC, 정보과학회논문지 제47권 제3호 (2020.03.31.)* *
최희승 등, 모바일 증강현실을 위한 특징점 인식, 추적 기술 및 사례 연구, 한국HCI학회 논문지 제10권 제2호 (2015.11.30.)* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117066702A (zh) * 2023-08-25 2023-11-17 上海频准激光科技有限公司 一种基于激光器的激光打标控制系统
CN117066702B (zh) * 2023-08-25 2024-04-19 上海频准激光科技有限公司 一种基于激光器的激光打标控制系统
CN117495970A (zh) * 2024-01-03 2024-02-02 中国科学技术大学 基于模板多级匹配的化学仪器位姿估计方法、设备及介质
CN117495970B (zh) * 2024-01-03 2024-05-14 中国科学技术大学 基于模板多级匹配的化学仪器位姿估计方法、设备及介质

Also Published As

Publication number Publication date
KR102577663B1 (ko) 2023-09-13

Similar Documents

Publication Publication Date Title
Zeisl et al. Camera pose voting for large-scale image-based localization
JP6464934B2 (ja) カメラ姿勢推定装置、カメラ姿勢推定方法およびカメラ姿勢推定プログラム
Bourdis et al. Constrained optical flow for aerial image change detection
US10909369B2 (en) Imaging system and method for object detection and localization
JP3954484B2 (ja) 画像処理装置およびプログラム
EP3786900A2 (en) Markerless multi-user multi-object augmented reality on mobile devices
US9418313B2 (en) Method for searching for a similar image in an image database based on a reference image
US9767383B2 (en) Method and apparatus for detecting incorrect associations between keypoints of a first image and keypoints of a second image
US20110134221A1 (en) Object recognition system using left and right images and method
AU2007285683A1 (en) Method of image processing
KR20190098858A (ko) 딥러닝 기반의 포즈 변화에 강인한 얼굴 인식 방법 및 장치
KR20220106567A (ko) 특징점 매칭쌍 필터링을 이용한 이미지 포즈 추정 시스템 및 이를 이용한 이미지 포즈 추정방법
CN114782499A (zh) 一种基于光流和视图几何约束的图像静态区域提取方法及装置
Hinterstoisser et al. N3m: Natural 3d markers for real-time object detection and pose estimation
Le et al. Acquiring qualified samples for RANSAC using geometrical constraints
CN111126436B (zh) 视觉匹配方法及装置
KR101715782B1 (ko) 물체 인식 시스템 및 그 물체 인식 방법
Chater et al. Robust Harris detector corresponding and calculates the projection error using the modification of the weighting function
Phogat et al. Different image registration methods—an overview
KR101900797B1 (ko) 루빅스 큐브를 이용한 증강현실 제공 방법
WO2017042852A1 (en) Object recognition appratus, object recognition method and storage medium
Bujnak et al. Robust focal length estimation by voting in multi-view scene reconstruction
CN112016495A (zh) 人脸识别的方法、装置和电子设备
You et al. Pattern matching for industrial object recognition using geometry-based vector mapping descriptors
Taraglio et al. Evolutionary approach to epipolar geometry estimation

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right