KR20210051001A - 포즈 추정 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 - Google Patents

포즈 추정 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20210051001A
KR20210051001A KR1020190135694A KR20190135694A KR20210051001A KR 20210051001 A KR20210051001 A KR 20210051001A KR 1020190135694 A KR1020190135694 A KR 1020190135694A KR 20190135694 A KR20190135694 A KR 20190135694A KR 20210051001 A KR20210051001 A KR 20210051001A
Authority
KR
South Korea
Prior art keywords
image
pose
feature points
size
estimating
Prior art date
Application number
KR1020190135694A
Other languages
English (en)
Inventor
임승욱
유연걸
윤찬민
정준영
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020190135694A priority Critical patent/KR20210051001A/ko
Publication of KR20210051001A publication Critical patent/KR20210051001A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/002—Denoising; Smoothing
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

실시예의 포즈 추정 방법은 입력 영상을 제1 기준 크기의 제1 영상과 상기 제1 영상의 크기보다 큰 제2 기준 크기의 제2 영상을 포함하는 복수의 영상으로 생성하는 단계와, 상기 제1 영상의 특징점을 추출하는 단계와, 상기 제1 영상의 특징점과 복수의 DB 영상의 특징점을 매칭시켜 상기 제1 영상의 포즈를 추정하는 단계와, 상기 제1 영상의 포즈를 이용하여 관심 영역(ROI)을 설정하는 단계와, 상기 관심 영역 내에서 상기 제2 영상의 특징점을 추출하는 단계와, 상기 제2 영상의 특징점을 상기 복수의 DB 영상의 특징점과 매칭시켜 상기 제2 영상의 포즈를 추정하는 단계와, 상기 추정된 복수의 포즈 중 미리 설정된 기준에 따라 하나의 포즈를 결정하는 단계를 포함할 수 있다.
실시에는 ROI 영역 내에서만 제2 특징점을 추출함으로써, 불필요한 특징점들을 추출하지 않게 되어 연산의 속도가 향상되는 효과가 있다.

Description

포즈 추정 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램{METHOD FOR ESTIMATING POSE, COMPUTER-READABLE STORAGE MEDIUM AND COMPUTER PROGRAM FOR CONTROLLING THE HOLDER DEVICE}
실시예는 단말에 구비된 카메라의 포즈를 효과적으로 추정하기 위한 포즈 추정 방법에 관한 것이다.
증강 현실(Augmented Reality: AR)은 위치 및 방향 정보를 이용하여 대략적인 위치를 파악하고 주변의 건물 정보와 같은 시설물 정보와 카메라의 움직임에 따라 입력되는 실사 영상 정보 간의 비교를 통해 사용자가 원하는 서비스를 파악하여 관련 정보를 제공하는 기술이다.
더욱 구체적으로, 증강 현실은 가상현실(Virtual Reality: VR)의 한 분야로서 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이며, 증강 현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상 현실과 달리 현실 세계의 기반에 가상 사물을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 기술이다.
이러한 증강 현실 기술은 5G 통신의 상용화에 따라 통신 단말기에서 사용되는 모바일 AR 기술 분야에서 각광받고 있으며, 현재의 모바일 AR 기술의 어플리케이션에는 마커 기반의 모바일 AR 기술 또는 센서 기반의 모바일 AR 기술이 일반적으로 사용되고 있다.
마커 기반의 모바일 AR 기술은 가상 객체를 이용하여 증강시키고자 하는 실물 객체를 촬영할 때, 상기 실물 객체에 대응되는 마커를 같이 촬영함으로써, 마커의 인식을 통해 상기 실물 객체를 인식하는 기술이며, 센서 기반의 모바일 AR 기술은 단말기에 탑재된 GPS와 전자 나침반(Digital Compass) 등을 이용하여 단말기의 현재 위치와 바라보고 있는 방향을 유추하여 유추된 방향으로 영상에 해당하는 POI(Point of Interests) 정보를 오버레이(Overlay) 시켜주는 기술이다.
하지만, 마커 기반의 모바일 AR 기술은 마커가 없이는 가상 객체를 증강할 수 없다는 문제가 있으며, 센서 기반의 모바일 AR 기술은 감지된 단말의 현재 위치 및 방향의 오차로 인해, 특정 물체 상에 정확히 가상 객체를 증강시키지 못하는 문제가 있다.
상술한 문제점을 해결하기 위해, 실시예는 단말의 현재 위치를 정확하게 추정하기 위한 포즈 추정 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램을 제공하는 것을 그 목적으로 한다.
실시예의 포즈 추정 방법은 카메라로부터 수집된 입력 영상을 기초로 제1 기준 크기의 제1 영상과 상기 제1 영상의 크기보다 큰 제2 기준 크기의 제2 영상을 포함하는 복수의 영상을 생성하는 단계와, 상기 제1 영상의 특징점을 추출하는 단계와, 상기 제1 영상의 특징점과 복수의 DB 영상의 특징점을 매칭시켜 상기 제1 영상의 포즈를 추정하는 단계와, 상기 제1 영상의 포즈를 이용하여 관심 영역(ROI)을 설정하는 단계와, 상기 관심 영역 내에서 상기 제2 영상의 특징점을 추출하는 단계와, 상기 제2 영상의 특징점을 상기 복수의 DB 영상의 특징점과 매칭시켜 상기 제2 영상의 포즈를 추정하는 단계와, 상기 추정된 복수의 상기 제2 영상의 포즈 중 미리 설정된 기준에 따라 하나의 포즈를 결정하는 단계를 포함할 수 있다.
상기 관심 영역을 설정하는 단계는 상기 제2 영상에 상기 DB 영상의 3D 좌표값을 사영시켜 상기 관심 영역(ROI)을 설정할 수 있다.
상기 관심 영역은 상기 3D 좌표값을 이용하여 평균과 공분산 행렬을 구하고, 상기 공분산 행렬을 이용하여 상기 관심 영역의 크기를 결정할 수 있다.
상기 공분산 행렬은 3D 좌표, 롤(Roll), 피치(Pitch) 및 요(Yaw) 값을 이용하여 계산될 수 있다.
상기 제1 영상과 상기 제2 영상을 생성하는 단계는 상기 입력 영상을 장축 방향으로 크기를 변경하여 상기 제1 영상과 상기 제2 영상을 생성할 수 있다.
상기 제1 영상과 상기 제2 영상을 생성하는 단계는 상기 입력 영상의 크기가 상기 제2 기준 크기 보다 크면 상기 입력 영상의 크기를 상기 제1 영상과 상기 제2 영상 사이의 크기로 변경하고, 상기 입력 영상의 크기가 상기 제2 기준 크기 보다 작으면 상기 입력 영상을 상기 제2 영상으로 사용할 수 있다.
상기 제1 영상의 포즈를 추정하는 단계는 상기 제1 영상의 특징점과 상기 복수의 DB 영상의 특징점을 매칭시키는 단계와, 상기 매칭된 복수의 특징점 중 불필요한 특징점을 제거하는 단계와, 상기 제1 영상의 포즈를 추정하는 단계를 포함할 수 있다.
상기 미리 설정된 기준에 따라 하나의 포즈를 결정하는 단계는 상기 제2 영상과 상기 복수의 DB 영상과의 매칭된 복수의 특징점의 개수 또는 상기 매칭된 복수의 특징점 사이의 거리 평균의 에러율을 고려하여 상기 하나의 포즈를 결정할 수 있다.
실시예는 특징점들의 개수가 적은 영상을 이용함으로써, 단말기 포즈의 추정 속도를 향상시킬 수 있는 효과가 있다.
또한, 실시예는 제1 영상의 포즈를 이용하여 제2 영상의 포즈를 추정함으로써, 단말기의 포즈 추정 속도를 향상시킬 수 있는 효과가 있다.
또한, 실시에는 ROI 영역 내에서만 제2 특징점을 추출함으로써, 불필요한 특징점들을 추출하지 않게 되어 연산의 속도가 향상되는 효과가 있다.
또한, 실시예는 관심 영역 내에 마련된 특징점들을 매칭시킴으로써, 매칭의 정확성을 높여 단말기의 포즈를 정확하게 추정할 수 있는 효과가 있다.
또한, 실시예는 매칭된 특징점들의 개수, 매칭된 특징점들 사이의 거리 평균 에러율을 고려하여 복수의 포즈 중 최적의 포즈를 결정함으로써, 보다 정확한 AR 서비스를 제공할 수 있는 기반을 마련할 수 있다.
도 1은 실시예에 따른 포즈 추정 방법을 수행하는 장치를 개략적으로 나타낸 블럭도이다.
도 2는 실시예에 따른 포즈 추정 방법을 나타낸 순서도이다.
도 3은 실시예에 따른 영상을 생성하는 단계를 설명하기 위한 도면이다.
도 4는 실시예에 따른 제1 영상의 특징점을 나타낸 도면이다.
도 5는 실시예에 따른 제1 영상의 포즈를 추정하는 방법을 나타낸 순서도이다.
도 6 및 도 7은 실시예에 따른 제1 영상의 포즈를 추정하는 방법을 설명하기 위한 도면이다.
도 8 내지 도 10은 실시예에 따른 제2 영상의 포즈를 추정하는 방법을 설명하기 위한 도면이다.
이하, 도면을 참조하여 실시예를 상세히 설명하기로 한다.
도 1은 실시예에 따른 포즈 추정 방법을 수행하는 장치를 개략적으로 나타낸 블럭도이다.
도 1을 참조하면, 실시예에 따른 포즈 추정 방법은 포즈 추정 장치(100)에서 수행될 수 있다.
포즈 추정 장치(100)는 단말기(200)로부터 입력 영상을 제공받을 수 있다. 단말기(200)는 휴대폰, 컴퓨터 등의 각종 단말기들을 포함할 수 있다. 단말기(200)에는 카메라 또는 센서가 장착될 수 있다. 포즈 추정 장치(100)는 단말기(200)의 카메라 또는 센서로부터 입력 영상을 얻을 수 있다.
포즈 추정 장치(100)는 DB(300)로부터 DB 영상을 제공받을 수 있다. DB(300)는 정확한 영상 정보들이 저장되는 영역일 수 있다. DB(300)는 실제 영상을 수집하여 자체적으로 제작될 수 있으며, 네이버, 다음 구글과 같은 포털 사이트의 영역일 수 있다.
포즈 추정 장치(100)는 입력 영상과 DB 영상을 이용하여 단말기(200)의 위치를 추정하고, 이를 이용하여 AR 서비스를 제공할 수 있는 기반을 마련할 수 있다.
포즈 추정 장치(100)는 입력 영상을 복수의 영상으로 생성할 수 있다.
포즈 추정 장치(100)는 입력 영상을 제1 기준 크기를 가지는 제1 영상과 제1 기준 크기보다 큰 제2 기준 크기의 제2 영상을 가지도록 생성할 수 있다. 이와 다르게, 포즈 추정 장치(100)는 3개 이상의 영상을 생성할 수도 있다.
제1 영상 및 제2 영상의 크기는 입력 영상의 크기보다 작도록 변경될 수 있다. 제2 영상은 입력 영상의 크기와 동일할 수도 있다.
포즈 추정 장치(100)는 제1 영상에 대한 특징점을 추출할 수 있다. 제1 영상의 크기는 제2 영상의 크기보다 작기 때문에 제1 영상이 가지는 특징점들의 개수는 제2 영상이 가지는 특징점들의 개수보다 적을 수 있다.
포즈 추정 장치(100)는 제1 영상에 대한 포즈를 추정할 수 있다. 포즈 추정 장치(100)는 제1 영상에 대한 특징점들을 복수의 DB 영상들의 특징점들과 비교하여 특징점을 매칭하고, 이로부터 제1 영상의 포즈를 추정할 수 있다. 포즈 추정 장치(100)는 매칭된 특징점들 중에서 불필요한 특징점들을 제거할 수 있다.
제1 영상과 DB 영상들과의 특징점을 비교하는 과정에서 제1 영상과 DB 영상들과 특징점이 매칭되지 않게 되어 포즈 추정이 불가능할 경우가 발생될 수 있다. 따라서, 포즈 추정 장치(100) 제1 영상과 DB 영상들과 특징점이 매칭되어 포즈 추정이 가능한 경우에 대해서만 제2 영상에 대한 포즈를 추정하도록 진행할 수 있다.
포즈 추정 장치(100)는 제1 영상의 포즈값을 이용하여 제2 영상의 포즈값을 추정할 수 있다. 포즈 추정장치(100)는 제2 영상에 관심 영역을 설정할 수 있다. 포즈 추정장치(100)는 DB 영상의 3D 좌표값을 이용하여 제2 영상에 사영시켜 관심 영역(이하 'ROI'라 칭함)을 설정할 수 있다.
포즈 추정장치(100)는 ROI 내에서 특징점을 추출할 수 있다. 포즈 추정장치(100)는 불필요한 특징점을 추출하는 연산을 제거할 수 있다. 이로부터 포즈를 추정하는 속도를 향상시킬 수 있다.
포즈 추정장치(100) ROI 내의 제2 영상의 특징점과 복수의 DB 영상들의 특징점들을 각각 매칭시킴으로써, 복수의 포즈를 얻을 수 있다.
포즈 추정 장치(100)는 제2 영상에 대한 복수의 포즈들 중 최적의 포즈를 결정할 수 있다. 최적의 포즈는 미리 설정된 기준에 따라 하나의 포즈를 결정하여 얻을 수 있다. 포즈 추정 장치(100)는 매칭된 특징점들의 개수, 매칭된 특징점들 사이의 거리 평균의 에러율을 고려하여 복수의 포즈 중 최적의 포즈를 결정할 수 있다.
실시예는 제1 영상의 특징점들의 개수가 적기 때문에 입력 영상에 대한 포즈를 추정하는 속도가 빠르다. 따라서, 포즈 추정 장치는 제1 영상과 DB 영상들간의 매칭이 잘 이루어져 포즈가 추정된 영상들에 대해서만 제2 영상에 대한 포즈를 추정함으로써, 속도와 정확성을 향상시킬 수 있는 효과를 가지게 된다.
또한, 실시예는 제1 영상의 포즈를 이용하여 제2 영상의 포즈를 추정함으로써, 단말기의 포즈 추정 속도를 향상시킬 수 있는 효과가 있다.
또한, 실시예는 관심 영역을 설정하고 그 내에 마련된 특징점들을 매칭시킴으로써, 매칭의 정확성을 높여 단말기의 포즈를 정확하게 추정할 수 있는 효과가 있다.
또한, 실시예는 매칭된 특징점들의 개수, 매칭된 특징점들 사이의 거리 평균 에러율을 고려하여 복수의 포즈 중 최적의 포즈를 결정함으로써, 보다 정확한 AR 서비스를 제공할 수 있는 기반을 마련할 수 있다.
이하에서는 도 2 내지 도 10을 참조하여, 실시예에 따른 포즈 추장 장치에서 수행되는 포즈 추정 방법을 보다 상세히 살펴본다.
도 2는 실시예에 따른 포즈 추정 방법을 나타낸 순서도이고, 도 3은 실시예에 따른 영상을 생성하는 단계를 설명하기 위한 도면이고, 도 4는 실시예에 따른 제1 영상의 특징점을 나타낸 도면이고, 도 5는 실시예에 따른 제1 영상의 포즈를 추정하는 방법을 나타낸 순서도이고, 도 6 및 도 7은 실시예에 따른 제1 영상의 포즈를 추정하는 방법을 설명하기 위한 도면이고, 도 8 내지 도 10은 실시예에 따른 제2 영상의 포즈를 추정하는 방법을 설명하기 위한 도면이다.
도 2를 참조하면, 실시예에 따른 포즈 추정 방법은 영상을 수집하는 단계(S100)를 수행할 수 있다.
영상을 수집하는 단계(S100)는 사용자의 단말기로부터 입력 영상을 수집할 수 있다. 입력 영상은 단말기의 카메라 또는 센서로부터 얻은 영상일 수 있다. 포즈 추정 장치는 DB로부터 DB 영상을 수집할 수 있다. DB 영상은 실제 영상 정보들이 포함된 영상일 수 있다.
실시예에 따른 포즈 추정 방법은 입력 영상을 복수의 영상으로 생성하는 단계(S200)를 수행할 수 있다.
도 3에 도시된 바와 같이, 입력 영상은 제1 영상(10)과 제2 영상(20)으로 생성될 수 있다. 제1 영상(10)의 크기와 제2 영상(20)의 크기는 서로 다르게 형성될 수 있다. 제1 영상(10)은 제1 기준 크기(a)를 가질 수 있으며, 제2 영상(20)은 제2 기준 크기(b)를 가질 수 있다.
제1 기준 크기(a)는 640일 수 있으며, 제2 기준 크기(b)는 1280 크기를 포함할 수 있다. 입력 영상은 장축을 기준으로 제1 기준 크기(a)의 제1 영상(10)으로 생성될 수 있으며, 입력 영상은 장축을 기준으로 제2 기준 크기(b)의 제2 영상(20)으로 생성될 수 있다. 여기서, 기준 크기는 하나의 실시예로서 변경될 수 있다.
도 3a에 도시된 바와 같이, 세로축이 장축일 경우, 세로축을 기준으로 제1 영상(10)과 제2 영상(20)의 크기를 변경할 수 있다. 도 3b에 도시된 바와 같이, 가로축이 장축일 경우, 가로축을 기준으로 제1 영상(10)과 제2 영상(20)의 크기를 변경할 수 있다.
입력 영상이 제2 기준 크기(b)보다 클 경우, 입력 영상은 제1 영상(10)과 제2 영상(20)의 사이의 크기로 변경될 수 있다. 이와 다르게, 입력 영상이 제2 기준 크기(b)보다 작을 경우, 입력 영상을 제2 영상(20)으로 사용할 수 있다.
실시예에 따른 포즈 추정 방법은 제1 영상의 특징점들을 추출하는 단계(S300)를 수행할 수 있다.
도 4에 도시된 바와 같이, 제1 영상(10)은 복수의 제1 특징점(12)을 포함할 수 있다. 제1 특징점(12)은 영상 내의 랜드 마크에 대한 꼭지점 또는 랜드 마크와 배경의 경계면 사이에 대한 특징점일 수 있으나, 이에 한정되지 않는다.
제1 영상(10)의 크기는 제2 영상의 크기보다 작기 때문에 제1 영상(10)의 제1 특징점(12)들의 개수는 제2 영상의 제2 특징점들의 개수들 보다 적을 수 있다. 이로 인해 제1 영상(10)에 대한 포즈를 추정하는 시간은 제2 영상에 대한 포즈를 추정하는 시간에 비해 현저하게 빠르게 진행될 수 있다.
실시예에 따른 포즈 추정 방법은 영상의 포즈를 추정하는 단계(S400)를 수행할 수 있다.
도 5에 도시된 바와 같이, 제1 영상의 포즈를 추정하는 단계(S400)는 제1 영상의 제1 특징점과 복수의 DB 영상의 제3 특징점을 매칭시키는 단계(S410)와, 불필요한 특징점을 제거하는 단계(S420)와, 제1 영상의 포즈를 추정하는 단계(S430)를 수행할 수 있다.
도 6에 도시된 바와 같이, 제1 영상(10)의 제1 특징점(12)과 DB 영상(30)의 제3 특징점(32)을 매칭시킬 수 있다. 매칭된 특징점은 영상 내의 랜드 마크에 대한 특징점들과 배경에 대한 특징점들을 포함할 수 있다. 이때, 제1 영상(10)은 불필요한 제1 특징점(14)을 포함할 수 있으며, DB 영상(30)은 불필요한 제3 특징점(34)을 포함할 수 있다.
제1 영상(10)의 제1 특징점(12)과 복수의 DB 영상(30)의 제3 특징점(32)이 매칭이 완료되면, 불필요한 특징점을 제거하는 단계(S420)를 수행할 수 있다. 이때, 매칭이 수행되는 동안 제1 영상(10)의 불필요한 제1 특징점(14)과 DB 영상(30)의 불필요한 제3 특징점(34)들도 매칭될 수 있다.
도 7에 도시된 바와 같이, 매칭된 제1 영상(10) 내의 배경에 대한 불필요한 제1 특징점(14)과 DB 영상(30) 내의 불필요한 제3 특징점(34)들을 제거할 수 있다.
불필요한 특징점의 제거가 완료되면, 남은 특징점들을 이용하여 제1 영상의 포즈를 측정하는 단계(S430)를 수행할 수 있다.
이때, 제1 영상(10)과 복수의 DB 영상(30)들의 특징점들을 각각 매칭시키기 때문에 제1 영상(10)의 포즈는 복수개를 포함할 수 있다.
제1 영상(10)의 포즈는 매칭된 제1 영상(10)의 제1 특징점(12)과 상기 DB 영상(30)의 제3 특징점(32)들을 이용하여 상기 제1 영상(10)의 포즈를 추정할 수 있다.
실시예에 따른 포즈 추정 방법은 ROI를 설정하는 단계(S500)를 수행할 수 있다.
도 8에 도시된 바와 같이, ROI를 설정하는 단계(S500)는 제2 영상(20)에 DB 영상(30)의 제3 특징점(32)에 대한 3D 좌표값을 사영시켜 설정할 수 있다.
도 9에 도시된 바와 같이, 관심 영역(P)은 제1 영상의 포즈의 불확실성에 의해 공분산을 이용하여 설정되는 영역일 수 있다. 관심 영역(P)은 제1 영상의 포즈가 일정 거리의 부정확성이 있을 경우, 그 거리를 픽셀 에러로 변환함으로써 그 크기를 설정할 수 있다. 관심 영역(P)의 크기는 계산되는 식에 의해 다양하게 설정될 수 있다.
관심 영역(P)은 사영시킨 영상에 대해 평균 영상과 공분산 행렬을 구하고, 공분산 행렬을 이용하여 관심 영역(P)의 크기를 설정할 수 있다. 예컨대, 특징점들은 롤(Roll), 피치(Pitch), 요(Yaw) 값을 포함할 수 있다. 여기서, 요는 Z축 방향 회전을 의미하고, 롤은 좌우로 회전하는 것을 의미할 수 있다. 또한, 중력 방향을 기준으로 얼마나 기울어져 있는지를 나타내는 값이 롤과 피치이다.
따라서, 이러한 정보를 이용하여 평균 영상(means)과 공분산 행렬(cov)을 구할 수 있다. 공분산 행렬은 포즈가 얼마나 불확실한가를 나타내는 요소일 수 있다. 따라서, 관심 영역(P)은 공분산 행렬을 이용하여 구할 수 있다.
위 정보를 이용하여 아래와 같은 수학식 1을 정의할 수 있다.
[수학식 1]
Figure pat00001
실시예에 따른 포즈 추정 방법은 제2 영상의 특징점을 추출하는 단계(S600)를 수행할 수 있다.
도 10에 도시된 바와 같이, 제2 영상(20)은 복수의 제2 특징점(22)을 포함할 수 있다. 제2 특징점(22)은 영상 내의 랜드 마크에 대한 꼭지점 또는 랜드 마크와 배경의 경계면 사이에 대한 특징점일 수 있으나, 이에 한정되지 않는다.
제2 영상의 특징점을 추출하는 단계(S600)는 ROI(P) 내의 제2 영상(20)의 제2 특징점(22)을 추출할 수 있다.
종래에는 제2 특징점(22)이 영상 내에서 모두 추출함으로써 불필요한 특징점들을 포함하였다. 이에 불필요한 연산이 수행되어 연산 속도가 느린 단점이 있었다.
실시예는 ROI(P) 내에서만 제2 특징점(22)을 추출함으로써, 불필요한 특징점들을 추출하지 않게 되어 연산의 속도가 향상되는 효과가 있다.
실시예에 따른 포즈 추정 방법은 제2 영상의 포즈들을 추정하는 단계(S700)를 수행할 수 있다.
도 10에 도시된 바와 같이, 제2 영상의 포즈들을 추정하는 단계(S700)는 ROI(P)의 범위 내에 제2 영상(20)의 제2 특징점(22)들과 DB 영상의 제3 특징점(32)들이 모두 존재하게 되면 특징점들의 매칭을 수행할 수 있게 된다.
제2 영상(20)의 포즈는 ROI(P) 내에 매칭된 제2 영상(20)의 제2 특징점(22)들과 복수의 DB 영상의 제3 특징점(32)들에 의해 추정될 수 있다. 이때, 제2 영상(20)은 복수의 DB 영상과 매칭시켜 포즈를 추정하기 때문에 복수의 제2 영상(20) 포즈를 수집할 수 있게 된다.
실시예에 따른 포즈 추정 방법은 미리 설정된 기준에 따라 하나의 포즈를 결정하는 단계(S800)를 수행할 수 있다. 기준은 매칭된 특징점들의 개수, 매칭된 특징점들 사이의 거리 평균의 에러율일 수 있다
미리 설정된 기준에 따라 하나의 포즈를 결정하는 단계(S800)는 매칭된 특징점들의 개수 또는 매칭된 특징점들 사이의 거리 평균의 에러율을 고려하여 결정될 수 있다.
반면, 미리 설정된 기준에 따라 하나의 포즈를 결정하는 단계(S800)는 매칭된 특징점들의 개수와 매칭된 특징점들 사이의 거리 평균의 에러율을 모두 고려하여 결정될 수 있다.
이 경우, 미리 설정된 기준에 따라 하나의 포즈를 결정하는 단계(S800)는 아래 수학식 2에 의해 결정될 수 있다.
[수학식 2]
Figure pat00002
따라서, 실시예는 복수의 제2 영상의 포즈들 중 최적의 포즈를 결정하게 되어 단말기의 포즈를 효과적으로 추정할 수 있는 효과가 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)(예: 메모리(내장 메모리 또는 외장 메모리))에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램)로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치를 포함할 수 있다. 상기 명령이 제어부에 의해 실행될 경우, 제어부가 직접, 또는 상기 제어부의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, 비일시적은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다.
일 실시예에 따르면, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 입력 영상을 제1 기준 크기의 제1 영상과 상기 제1 영상의 크기보다 큰 제2 기준 크기의 제2 영상을 포함하는 복수의 영상으로 생성하는 동작과, 상기 제1 영상의 특징점을 추출하는 동작과, 상기 제1 영상의 특징점과 복수의 DB 영상의 특징점을 매칭시켜 상기 제1 영상의 포즈를 추정하는 동작과, 상기 제1 영상의 포즈를 이용하여 관심 영역(ROI)을 설정하는 동작과, 상기 관심 영역 내에서 상기 제2 영상의 특징점을 추출하는 동작과, 상기 제2 영상의 특징점을 상기 복수의 DB 영상의 특징점과 매칭시켜 상기 제2 영상의 포즈를 추정하는 동작과, 상기 추정된 복수의 포즈 중 미리 설정된 기준에 따라 하나의 포즈를 결정하는 동작을 포함하는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.
일 실시예에 따르면, 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 입력 영상을 제1 기준 크기의 제1 영상과 상기 제1 영상의 크기보다 큰 제2 기준 크기의 제2 영상을 포함하는 복수의 영상으로 생성하는 동작과, 상기 제1 영상의 특징점을 추출하는 동작과, 상기 제1 영상의 특징점과 복수의 DB 영상의 특징점을 매칭시켜 상기 제1 영상의 포즈를 추정하는 동작과, 상기 제1 영상의 포즈를 이용하여 관심 영역(ROI)을 설정하는 동작과, 상기 관심 영역 내에서 상기 제2 영상의 특징점을 추출하는 동작과, 상기 제2 영상의 특징점을 상기 복수의 DB 영상의 특징점과 매칭시켜 상기 제2 영상의 포즈를 추정하는 동작과, 상기 추정된 복수의 포즈 중 미리 설정된 기준에 따라 하나의 포즈를 결정하는 동작을 포함하는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.
상기에서는 도면 및 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 실시예의 기술적 사상으로부터 벗어나지 않는 범위 내에서 실시예는 다양하게 수정 및 변경시킬 수 있음은 이해할 수 있을 것이다.
100: 포즈 추정 장치
200: 단말기
300: DB

Claims (10)

  1. 단말기에 구비된 카메라의 포즈를 추정하는 포즈 추정 장치에서 수행되는 방법에 있어서,
    상기 카메라로부터 수집된 입력 영상을 기초로 제1 기준 크기의 제1 영상과 상기 제1 영상의 크기보다 큰 제2 기준 크기의 제2 영상을 포함하는 복수의 영상을 생성하는 단계;
    상기 제1 영상의 특징점을 추출하는 단계;
    상기 제1 영상의 특징점과 복수의 DB 영상의 특징점을 매칭시켜 상기 제1 영상의 포즈를 추정하는 단계;
    상기 제1 영상의 포즈를 이용하여 관심 영역(ROI)을 설정하는 단계;
    상기 관심 영역 내에서 상기 제2 영상의 특징점을 추출하는 단계;
    상기 제2 영상의 특징점을 상기 복수의 DB 영상의 특징점과 매칭시켜 상기 제2 영상의 포즈를 추정하는 단계; 및
    상기 추정된 복수의 상기 제2 영상의 포즈 중 미리 설정된 기준에 따라 하나의 포즈를 결정하는 단계
    를 포함하는 포즈 추정 방법.
  2. 제1항에 있어서,
    상기 관심 영역을 설정하는 단계는,
    상기 제2 영상에 상기 DB 영상의 3D 좌표값을 사영시켜 상기 관심 영역(ROI)을 설정하는 포즈 추정 방법.
  3. 제2항에 있어서,
    상기 관심 영역은 상기 3D 좌표값을 이용하여 평균과 공분산 행렬을 구하고, 상기 공분산 행렬을 이용하여 상기 관심 영역의 크기를 결정하는 포즈 추정 방법.
  4. 제3항에 있어서,
    상기 공분산 행렬은 3D 좌표, 롤(Roll), 피치(Pitch) 및 요(Yaw) 값을 이용하여 계산되는 포즈 추정 방법.
  5. 제1항에 있어서,
    상기 제1 영상과 상기 제2 영상을 생성하는 단계는,
    상기 입력 영상의 크기가 상기 제2 기준 크기 보다 크면 상기 입력 영상의 크기를 상기 제1 영상과 상기 제2 영상 사이의 크기로 변경하고, 상기 입력 영상의 크기가 상기 제2 기준 크기 보다 작으면 상기 입력 영상을 상기 제2 영상으로 사용하는 포즈 추정 방법.
  6. 제1항에 있어서,
    상기 제1 영상의 포즈를 추정하는 단계는,
    상기 제1 영상의 특징점과 상기 복수의 DB 영상의 특징점을 매칭시키는 단계;
    상기 매칭된 복수의 특징점 중 불필요한 특징점을 제거하는 단계; 및
    상기 제1 영상의 포즈를 추정하는 단계
    를 포함하는 포즈 추정 방법.
  7. 제1항에 있어서,
    상기 미리 설정된 기준에 따라 하나의 포즈를 결정하는 단계는 상기 제2 영상과 상기 복수의 DB 영상과의 매칭된 복수의 특징점의 개수 또는 상기 매칭된 복수의 특징점 사이의 거리 평균의 에러율을 고려하여 상기 하나의 포즈를 결정하는 포즈 추정 방법.
  8. 제1항에 있어서,
    상기 제1 영상과 상기 제2 영상을 생성하는 단계는,
    상기 입력 영상을 장축 방향으로 크기를 변경하여 상기 제1 영상과 상기 제2 영상을 생성하는 포즈 추정 방법.
  9. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
    상기 컴퓨터 프로그램은,
    제1항 내지 제8항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 판독 가능한 기록매체.
  10. 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은,
    제1항 내지 제8항 중 어느 한 항에 따른 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 프로그램.
KR1020190135694A 2019-10-29 2019-10-29 포즈 추정 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 KR20210051001A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190135694A KR20210051001A (ko) 2019-10-29 2019-10-29 포즈 추정 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190135694A KR20210051001A (ko) 2019-10-29 2019-10-29 포즈 추정 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR20210051001A true KR20210051001A (ko) 2021-05-10

Family

ID=75917377

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190135694A KR20210051001A (ko) 2019-10-29 2019-10-29 포즈 추정 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR20210051001A (ko)

Similar Documents

Publication Publication Date Title
US10068344B2 (en) Method and system for 3D capture based on structure from motion with simplified pose detection
CN111325796B (zh) 用于确定视觉设备的位姿的方法和装置
JP6338021B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6100380B2 (ja) 特に装置に係る視覚ベースの位置決めに使用される画像処理方法
JP5538667B2 (ja) 位置姿勢計測装置及びその制御方法
JP5740884B2 (ja) 繰り返し撮影用ａｒナビゲーション及び差異抽出のシステム、方法及びプログラム
JP4677536B1 (ja) ３次元物体認識装置及び３次元物体認識方法
JP6503906B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6491517B2 (ja) 画像認識ａｒ装置並びにその姿勢推定装置及び姿勢追跡装置
US11062475B2 (en) Location estimating apparatus and method, learning apparatus and method, and computer program products
EP3410353A1 (en) Method for estimating a timestamp in a video stream and method of augmenting a video stream with information
JP6817742B2 (ja) 情報処理装置およびその制御方法
JP2016212784A (ja) 画像処理装置、画像処理方法
CN105809664B (zh) 生成三维图像的方法和装置
JPWO2017094140A1 (ja) 物体検出装置及び物体検出方法
JP2018173882A (ja) 情報処理装置、方法、及びプログラム
KR20210050997A (ko) 포즈 추정 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
JP2006113832A (ja) ステレオ画像処理装置およびプログラム
JP2015005220A (ja) 情報表示装置及び情報表示方法
CN110555874B (zh) 一种图像处理方法及装置
JP2017184136A (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
KR20210051001A (ko) 포즈 추정 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
KR20210051000A (ko) 포즈 추정 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
KR20210050999A (ko) 포즈 추정 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램
KR20210051002A (ko) 포즈 추정 방법 및 장치, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램