KR102297124B1 - 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템 - Google Patents

이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템 Download PDF

Info

Publication number
KR102297124B1
KR102297124B1 KR1020180128595A KR20180128595A KR102297124B1 KR 102297124 B1 KR102297124 B1 KR 102297124B1 KR 1020180128595 A KR1020180128595 A KR 1020180128595A KR 20180128595 A KR20180128595 A KR 20180128595A KR 102297124 B1 KR102297124 B1 KR 102297124B1
Authority
KR
South Korea
Prior art keywords
line
image patch
camera
feature
mobile terminal
Prior art date
Application number
KR1020180128595A
Other languages
English (en)
Other versions
KR20190116039A (ko
Inventor
명현
정광익
윤필립
김예은
임현준
송승원
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to PCT/KR2019/003920 priority Critical patent/WO2019194561A1/ko
Priority to US16/374,106 priority patent/US10997744B2/en
Publication of KR20190116039A publication Critical patent/KR20190116039A/ko
Application granted granted Critical
Publication of KR102297124B1 publication Critical patent/KR102297124B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)
  • Telephone Function (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 이동형 단말기에서의 증강 현실을 위한 위치 인식 방법 및 시스템에 관한 것으로, 이동형 단말기 내 카메라에서 획득되는 이미지 데이터를 서브 샘플링(sub-sampling)하며, 저화질 이미지 데이터에서 라인(line) 및 포인트(point)를 포함한 이미지 패치를 추출하는 단계, 상기 카메라의 움직임에 따른, 상기 이미지 패치와 이전 이미지 패치 간의 포인트 특징 요소의 특징 쌍을 매칭하고, 상기 이미지 패치에 대한 서브픽셀(subpixel)의 라인을 산출하는 단계 및 상기 산출된 라인과 관성에 의해 추정된 라인 간의 차이를 기반으로, 상기 이동형 단말기 내 카메라의 위치를 추정하는 단계를 포함한다.

Description

이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템{LOCALIZATION METHOD AND SYSTEM FOR AUGMENTED REALITY IN MOBILE DEVICES}
본 발명은 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템에 관한 것으로, 보다 상세하게는 저화질 이미지 데이터의 유효 정보 부분만을 추출하여 이동형 단말기 내 카메라의 위치를 추정하는 기술에 관한 것이다.
하이엔드(high-end) 모바일 단말기가 보급되고, 네트워크가 발전함에 따라 스마트폰은 모바일 콘텐츠 소비 채널로 진화하고 있으며, 모바일 콘텐츠 시장도 급성장하고 있다. 특히, 위치기반 서비스(Location Based Service; LBS)는 킬러 콘텐츠로 여겨진다.
모바일 플랫폼을 대상으로 하는 기존의 위치 인식 알고리즘은 GPS 위성 신호, 와이파이(Wi-Fi) AP, 기지국 ID 순으로 위치 측위를 수행하고 있으나, 통합된 데이터베이스의 부재로 실내 측위를 수행할 수 없었다. 또한, 하이엔드 모바일 단말기가 보급됨에 따라 카메라와 가속도계를 이용한 영상 인식 기술 기반의 위치 인식 연구가 활발히 진행되고 있으나, 현재까지는 저비용(low cost)의 마커기반 위치 인식이 주를 이루고 있다.
나아가, 단말기 내 단일 카메라를 이용하는 이미지 기반의 기존 위치 인식 알고리즘은 사전에 크기를 알고 있는 마커(marker) 또는 물체를 이용하지 않는 한 스케일 정보(scale)를 알 수 없다는 한계가 존재하였다.
또한, 기존의 위치 인식 알고리즘은 특징점 추출이 어려운 복도나 대규모 공간 또는 균등한 재질/질감으로 이루어진 이미지에서는 정확한 알고리즘 동작이 불가능하며, 직선 특징 데이터를 모델링 방식으로 접근하여 특징 데이터를 표현함에 따른 불확실성이 증가되는 문제점이 존재하였다.
즉, 기존의 카메라 이미지 기반 위치 인식 알고리즘은 정확도 및 연산의 한계와, 특징(feature)/라인(line) 기반 알고리즘의 한계가 존재하였다.
본 발명의 목적은 이미지의 특징 요소를 추출하는 과정과, 특징 요소를 직접 비교(point matching)하는 과정에서 저화질 이미지 데이터의 이미지 패치를 사용함으로써, 이동형 단말기의 연산량을 최소화하고자 한다.
또한, 본 발명의 목적은 이미지 패치 상의 특징 쌍을 매칭하기 위해, 관성측정장치(Inertial Measurement Unit; IMU) 기반의 카메라 움직임 및 포인트 특징 요소를 이용하여 이중 매칭함으로써, 라인 비교 대상 추출의 오류를 최소화하고자 한다.
또한, 본 발명의 목적은 서브픽셀(subpixel)의 정확도 높은 라인을 추출하여 각 이미지 패치 상의 특징 요소를 비교함으로써, 적은 연산량으로 높은 정확도를 보장하고자 한다.
본 발명의 실시예에 따른 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 시스템의 동작 방법에 있어서, 상기 이동형 단말기 내 카메라에서 획득되는 이미지 데이터를 서브 샘플링(sub-sampling)하며, 저화질 이미지 데이터에서 라인(line) 및 포인트(point)를 포함한 이미지 패치를 추출하는 단계, 상기 카메라의 움직임에 따른, 상기 이미지 패치와 이전 이미지 패치 간의 포인트 특징 요소의 특징 쌍을 매칭하고, 상기 이미지 패치에 대한 서브픽셀(subpixel)의 라인을 산출하는 단계 및 상기 산출된 라인과 관성에 의해 추정된 라인 간의 차이를 기반으로, 상기 이동형 단말기 내 카메라의 위치를 추정하는 단계를 포함한다.
상기 이미지 패치를 추출하는 단계는 상기 이동형 단말기 내 상기 카메라로부터 고화질 이미지 데이터를 수신하는 단계, 상기 고화질 이미지 데이터를 서브 샘플링(sub-sampling)하여 상기 저화질 이미지 데이터를 획득하는 단계, 상기 저화질 이미지 데이터에서 라인(line) 및 포인트(point)의 특징 요소를 추출하는 단계 및 상기 라인(line) 및 포인트(point)의 특징 요소를 포함하는 상기 이미지 패치를 추출하는 단계를 포함할 수 있다.
상기 라인(line) 및 포인트(point)의 특징 요소를 포함하는 이미지 패치를 추출하는 단계는 상기 저화질 이미지 데이터에서, 라인(line) 특징 요소 및 포인트(point) 특징 요소를 모두 포함하는 원형의 상기 이미지 패치를 추출할 수 있다.
상기 특징 쌍을 매칭하고, 이미지 패치에 대한 서브픽셀의 라인을 산출하는 단계는 관성측정장치(Inertial Measurement Unit; IMU) 및 상기 이미지 패치 상의 포인트 특징 요소(point feature)를 이용하여 특징 쌍에 대한 매칭 여부를 확인하는 단계 및 3차원 라인 분포식으로 상기 이미지 패치에 대한 상기 서브픽셀의 라인을 추출하는 단계를 포함할 수 있다.
상기 특징 쌍을 검색하여 매칭 여부를 확인하는 단계는 이전 이미지 패치(t-1)를 기준으로, 상기 관성측정장치로부터 감지되는 상기 카메라의 움직임[R/t]에 따른 이미지 패치(t)의 포인트 특징 요소를 검색하며, 이전 이미지 패치(t-1)의 포인트 특징 요소와 상기 이미지 패치(t)의 포인트 특징 요소 각각을 매칭하여 동일 직선 선분을 가진 복수의 특징 쌍을 획득할 수 있다.
상기 이미지 패치에 대한 서브픽셀의 라인을 추출하는 단계는 3차원 가우시안 커널(3D Gaussian kernel)의 상기 3차원 라인 분포식을 이용하여 상기 이미지 패치(t)에 대한 3차원 분포를 확장하고, 3차원 분포 결과에서의 최대 포인트(maximum point)를 연결한 최대 라인(maximum line)을 산출하여 정밀한 상기 서브픽셀의 라인을 획득할 수 있다.
상기 이동형 단말기 내 카메라의 위치를 추정하는 단계는 상기 이동형 단말기에 포함된 관성항법센서(Inertial Navigation Sensor)를 이용하여 획득되는 상기 이전 이미지 패치(t-1)에 대한 상기 추정된 라인과, 상기 이미지 패치(t)에 대한 상기 산출된 라인 간의 이노베이션 항목(innovation term)을 산출하여 상기 카메라에 대한 위치를 추정할 수 있다.
상기 이동형 단말기 내 카메라의 위치를 추정하는 단계는 상기 이미지 패치(t)에서 상기 산출된 라인의 라인 기울기(at)와 상기 이전 이미지 패치(t-1)에서 상기 추정된 라인의 라인 기울기(at-1) 사이의 기울기 차이를 고려하여 카메라 위치(state x) 추정의 정확도를 향상시킬 수 있다.
본 발명의 실시예에 따른 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 시스템에 있어서, 상기 이동형 단말기 내 카메라에서 획득되는 이미지 데이터를 서브 샘플링(sub-sampling)하며, 저화질 이미지 데이터에서 라인(line) 및 포인트(point)를 포함한 이미지 패치를 추출하는 이미지 패치 추출부, 상기 카메라의 움직임에 따른, 상기 이미지 패치와 이전 이미지 패치 간의 포인트 특징 요소의 특징 쌍을 매칭하고, 상기 이미지 패치에 대한 서브픽셀(subpixel)의 라인을 산출하는 산출부 및 상기 산출된 라인과 관성에 의해 추정된 라인 간의 차이를 기반으로, 상기 이동형 단말기 내 카메라의 위치를 추정하는 위치 추정부를 포함한다.
상기 이미지 패치 추출부는 상기 이동형 단말기 내 상기 카메라로부터 고화질 이미지 데이터를 수신하는 이미지 데이터 수신부, 상기 고화질 이미지 데이터를 서브 샘플링(sub-sampling)하여 라인(line) 및 포인트(point)를 내포한 상기 저화질 이미지 데이터를 획득하는 저화질 이미지 데이터 획득부 및 상기 저화질 이미지 데이터에서 라인(line) 및 포인트(point)의 특징 요소를 포함하는 상기 이미지 패치를 추출하는 특징 요소 추출부를 포함할 수 있다.
상기 특징 요소 추출부는 상기 저화질 이미지 데이터에서, 라인(line) 특징 요소 및 포인트(point) 특징 요소를 모두 포함하는 원형의 상기 이미지 패치를 추출할 수 있다.
상기 산출부는 관성측정장치(Inertial Measurement Unit; IMU) 및 상기 이미지 패치 상의 포인트 특징 요소(point feature)를 이용하여 특징 쌍에 대한 매칭 여부를 확인하는 매칭 확인부 및 3차원 라인 분포식으로 상기 이미지 패치에 대한 상기 서브픽셀의 라인을 추출하는 라인 추출부를 포함할 수 있다.
상기 매칭 확인부는 이전 이미지 패치(t-1)를 기준으로, 상기 관성측정장치로부터 감지되는 상기 카메라의 움직임[R/t]에 따른 이미지 패치(t)의 포인트 특징 요소를 검색하며, 이전 이미지 패치(t-1)의 포인트 특징 요소와 상기 이미지 패치(t)의 포인트 특징 요소 각각을 매칭하여 동일 직선 선분을 가진 복수의 특징 쌍을 획득할 수 있다.
상기 라인 추출부는 3차원 가우시안 커널(3D Gaussian kernel)의 상기 3차원 라인 분포식을 이용하여 상기 이미지 패치(t)에 대한 3차원 분포를 확장하고, 3차원 분포 결과에서의 최대 포인트(maximum point)를 연결한 최대 라인(maximum line)을 산출하여 정밀한 상기 서브픽셀의 라인을 추출할 수 있다.
상기 위치 추정부는 상기 이동형 단말기에 포함된 관성항법센서(Inertial Navigation Sensor)를 이용하여 획득되는 상기 이전 이미지 패치(t-1)에 대한 상기 추정된 라인과, 상기 이미지 패치(t)에 대한 상기 산출된 라인 간의 이노베이션 항목(innovation term)을 산출하여 상기 카메라에 대한 위치를 추정할 수 있다.
상기 위치 추정부는 상기 이미지 패치(t)에서 상기 산출된 라인의 라인 기울기(at)와 상기 이전 이미지 패치(t-1)에서 상기 추정된 라인의 라인 기울기(at-1) 사이의 기울기 차이를 고려하여 카메라 위치(state x) 추정의 정확도를 향상시킬 수 있다.
본 발명의 실시예에 따르면, 이미지의 특징 요소를 추출하는 과정과, 특징 요소를 직접 비교(point matching)하는 과정에서 저화질 이미지 데이터의 이미지 패치를 사용함으로써, 이동형 단말기의 연산량을 최소화할 수 있다.
또한, 본 발명의 실시예에 따르면, 이미지 패치 상의 특징 쌍을 매칭하기 위해, 관성측정장치(Inertial Measurement Unit; IMU) 기반의 카메라 움직임 및 포인트 특징 요소를 이용하여 이중 매칭함으로써, 라인 비교 대상 추출의 오류를 최소화할 수 있다.
또한, 본 발명의 실시예에 따르면, 서브픽셀(subpixel)의 정확도 높은 라인을 추출하여 각 이미지 패치 상의 특징 요소를 비교함으로써, 적은 연산량으로 높은 정확도를 보장할 수 있다.
도 1은 본 발명의 실시예에 따른 증강 현실을 위한 위치 인식 방법의 흐름도를 도시한 것이다.
도 2는 본 발명의 실시예에 따른 서브 샘플링을 수행하고, 이미지 패치를 추출하는 예를 도시한 것이다.
도 3은 본 발명의 실시예에 따른 특징 요소의 특징 쌍을 매칭하는 예를 도시한 것이다.
도 4는 본 발명의 실시예에 따른 서브픽셀의 라인을 추출하는 예를 도시한 것이다.
도 5는 본 발명의 실시예에 따른 위치 추정의 예를 도시한 것이다.
도 6은 본 발명의 실시예에 따른 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 시스템의 세부 구성을 블록도로 도시한 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이미지 매칭 기반의 위치 인식 기술이 고화질 이미지 데이터 간의 특징 매칭(feature matching)을 수행하는 경우, 매칭 성능은 보장되나 연산량이 늘어나고, 고화질 이미지 데이터를 저화질 이미지 데이터로 서브 샘플링(sub-sampling) 후에 매칭을 수행하는 경우, 성능이 보장되지 않는다는 문제점이 존재하였다.
이에, 본 발명의 실시예에 따른 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템은 이동형 단말기의 연산량 한계를 고려하여 고화질 이미지 데이터를 저화질 이미지 데이터로 변경 후 사용하며, 저화질 이미지 데이터의 유효 정보 부분만을 추출해서 사용하는 ‘이미지 패치 기법’을 적용한다.
이미지 패치 기법은 이미지 직접 비교 방법(Normalized Cross Correlation)과 영상 기술자(descriptor)의 유클리드 거리(Euclidean Distance) 비교 방법이 주로 사용된다.
상기 직접 비교 방법은 이미지 패치의 크기가 다를 경우 적용이 불가능하며, 이미지 데이터를 리사이즈(Resize)하여 이미지 패치의 크기를 다양화한 후 비교해야 하므로, 연산량이 증가한다는 단점이 존재한다.
상기 영상 기술자를 이용하는 방법은 이미지 패치 내 모든 픽셀에서 균등하게 기울기(gradient)를 계산하고, 고정 크기의 디스크립터(descriptor)를 생성하는 과정을 거친다. 이 때, 픽셀 주변 기울기의 정보가 유용하지 않은 상태라면 정확한 이미지 매칭이 불가능하다.
전술한 문제점 및 한계를 극복하기 위해, 본 발명의 실시예에 따른 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템은 저화질 이미지 패치를 사용하고, 관성항법센서와 포인트 특징 요소를 이용하여 특징 쌍을 매칭하며, 3차원 라인 분포식으로 서브픽셀 단위의 라인을 산출하고, 라인 간의 이노베이션 항목(innovation term) 계산으로 정확한 위치 추정을 수행한다.
이하에서는 도 1 내지 도 6을 참조하여 본 발명에 대해 상세히 설명하고자 한다.
도 1은 본 발명의 실시예에 따른 증강 현실을 위한 위치 인식 방법의 흐름도를 도시한 것이다.
도 1의 방법은 도 6에 도시된 본 발명의 실시예에 따른 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 시스템에 의해 수행된다.
도 1을 참조하면, 단계 110에서, 이동형 단말기 내 카메라에서 획득되는 이미지 데이터를 서브 샘플링(sub-sampling)하며, 저화질 이미지 데이터에서 라인(line) 및 포인트(point)를 포함한 이미지 패치를 추출한다.
단계 111에서, 이동형 단말기 내 카메라로부터 고화질 이미지 데이터(High resolution camera image)를 수신할 수 있다.
예를 들면, 이동형 단말기는 고화질 카메라(HD Video)를 이용하여 고화질 이미지 데이터를 촬영 및 획득할 수 있다. 이 때, 상기 이동형 단말기는 사용자가 소지하는 노트북 컴퓨터(laptop computer), 스마트폰(smart phone), 태블릿 PC(tablet PC) 및 웨어러블 컴퓨터(wearable computer) 중 적어도 어느 하나일 수 있으며, 주변 환경을 촬영하는 고화질 카메라를 포함하는 휴대용 기기일 수 있다.
단계 112에서, 고화질 이미지 데이터를 서브 샘플링(sub-sampling)하여 저화질 이미지 데이터(Low resolution camera image)를 획득할 수 있다.
단계 113에서, 저화질 이미지 데이터에서 라인(line) 및 포인트(point)의 특징 요소를 추출할 수 있다. 또한, 단계 114에서, 라인(line) 및 포인트(point)의 특징 요소를 포함하는 이미지 패치(Image patch, (t))를 추출할 수 있다.
예를 들면, 단계 113은 저화질 이미지 데이터에서, 포인트(또는 점) 형태의 특징 요소를 추출할 수 있으며, 복수의 포인트를 연결한 라인(또는 선) 형태의 특징 요소를 추출할 수 있다. 이로 인한 단계 114는 저화질 이미지 데이터에서, 라인(line) 특징 요소 및 포인트(point) 특징 요소를 모두 포함하는 원형의 이미지 패치를 추출할 수 있다.
상기 라인 및 포인트의 특징 요소는 카메라의 움직임에 따라 획득되는 저화질 이미지 데이터로부터 유동적으로 변경되는 것은 당연하다. 또한, 상기 이미지 패치의 형태는 원형에 한정하지 않는다.
단계 120에서, 카메라의 움직임에 따른, 이미지 패치(t)와 이전 이미지 패치(t-1, 124) 간의 포인트 특징 요소의 특징 쌍을 매칭하고, 이미지 패치에 대한 서브픽셀(subpixel)의 라인을 산출한다.
단계 121에서, 관성측정장치(Inertial Measurement Unit; IMU, 123)를 기반으로, 이미지 패치 상의 포인트 특징 요소에 대한 특징 쌍을 검색하여 매칭 여부를 확인할 수 있다.
이미지 패치(t) 상의 포인트 특징 요소(point feature)는 카메라의 움직임에 의해 변동될 수 있다. 이로 인해, 본 발명의 실시예에 따른 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템은 이동형 단말기의 속도와 방향, 중력, 가속도를 측정하는 관성측정장치(123)를 이용하여 특징 요소(feature)의 세부적인 변동을 감지할 수 있다.
단계 121은 관성측정장치(123)와 포인트 특징 요소(point feature)를 이용하여 특징 쌍을 매칭하는 것을 특징으로 한다. 예를 들면, 카메라 움직임이 발생하는 경우, 이미지 패치(t) 상에 위치하는 포인트 특징 요소의 변동이 발생하므로, 단계 121은 관성측정장치(123)로부터 획득되는 카메라의 움직임[R/t]에 따른 이미지 패치(t) 상에 위치하는 포인트 특징 요소와 이전 이미지 패치(t-1, 124) 상에 위치하는 포인트 특징 요소 각각을 매칭하여 동일 직선 선분을 가진 복수의 특징 쌍을 획득할 수 있다.
단계 122에서, 3차원 라인 분포식으로 이미지 패치에 대한 서브픽셀의 라인을 추출할 수 있다.
보다 구체적으로, 단계 122은 3차원 가우시안 커널(3D Gaussian kernel)의 3차원 라인 분포식을 이용하여 이미지 패치(t)에 대한 3차원 분포를 확장하고, 3차원 분포 결과에서의 최대 포인트(maximum point)를 연결한 최대 라인(maximum line)을 산출하여 정밀한 서브픽셀(subpixel)의 라인을 획득할 수 있다.
예를 들면, 단계 122은 이미지 패치(t)의 라인 특징 요소(line feature)를 그래프화하고, 3차원 가우시안 커널(3D Gaussian kernel)의 3차원 라인 분포식을 이용하여 그래프화된 라인 특징 요소를 3차원 분포로 확장할 수 있다. 이후, 단계 122은 3차원 분포 결과에서 획득되는 최대 포인트를 연결한 최대 라인을 산출하여 서브픽셀 정확도가 향상된 라인을 추출할 수 있다.
단계 130에서, 산출된 라인과 관성에 의해 추정된 라인 간의 차이를 기반으로, 이동형 단말기 내 카메라의 위치를 추정한다.
단계 131에서, 이동형 단말기에 포함된 관성항법센서(Inertial Navigation Sensor 또는 IMU)를 이용하여 획득되는 이전 이미지 패치(t-1)에 대한 추정된 라인과, 이미지 패치(t)에 대한 산출된 라인 간의 이노베이션 항목(innovation term)을 산출하여 카메라에 대한 위치를 추정할 수 있다. 이 때, 상기 산출된 라인은 단계 122에서 획득되는 서브픽셀 정확도가 향상된 라인을 일컫을 수 있다.
단계 132은 하기의 [수식 1]을 통해 이동형 단말기 내 카메라 위치(state x) 추정의 정확도를 향상시킬 수 있다.
예를 들면, 단계 132은 단계 131의 이노베이션 항목(innovation term)을 산출하는 과정을 통해 추정되는 이미지 패치(t)에서 산출된 라인의 라인 기울기(at)와 이전 이미지 패치(t-1)에서 추정된 라인의 라인 기울기(at-1) 사이의 기울기 차이를 고려하여 카메라 위치(state x) 추정의 정확도를 향상시킬 수 있다.
[수식 1]
Figure 112018105838985-pat00001
여기서,
Figure 112018105838985-pat00002
는 ‘k-1’의 시점 및 ‘k’의 시점 간의 상태를 예측하여 미리 예측된(a priori predicted) 상태를 나타내며,
Figure 112018105838985-pat00003
는 k 시간일 때의 관찰값을 나타낸다. 또한,
Figure 112018105838985-pat00004
는 관찰 모델을 나타내고,
Figure 112018105838985-pat00005
는 예측한 상태값과 실제 ‘k’의 시점에서의 관찰값을 비교한 차이값을 나타낸다.
도 2는 본 발명의 실시예에 따른 서브 샘플링을 수행하고, 이미지 패치를 추출하는 예를 도시한 것이다.
도 2를 참조하면, 본 발명의 실시예에 따른 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템은 이동형 단말기 내 카메라에서 획득되는 고화질 이미지 데이터(210)를 서브 샘플링(sub-sampling)하여 저화질 이미지 데이터(220)로 획득할 수 있다.
이후, 본 발명의 실시예에 따른 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템은 저화질 이미지 데이터(220)에서 라인(line) 및 포인트(point)의 특징 요소를 추출(230)하고, 라인(line)과 포인트(point) 각각의 특징 요소(feature)를 모두 포함 가능한 요소로 추출하는 이미지 패치(250)를 획득할 수 있다.
이 때, 이미지 패치(250)는 원형의 이미지 패치일 수 있으며, 연산량을 고려하여 이미지 패치를 포함한 저화질 이미지 데이터(240)의 형태일 수 있다.
도 3은 본 발명의 실시예에 따른 특징 요소의 특징 쌍을 매칭하는 예를 도시한 것이다.
본 발명의 실시예에 따른 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템은 카메라 움직임[R/t] 변화를 추정하여, 이미지 패치(t)와 이전 이미지 패치(t-1) 간의 포인트 특징 요소(point feature)의 특징 쌍을 매칭할 수 있다.
도 3을 참조하면, 카메라 움직임[R/t]에 따라 이전 이미지 패치(t-1)를 포함한 저화질 이미지 데이터(310)와 이미지 패치(t)를 포함한 저화질 이미지 데이터(320) 간의 포인트 특징 요소(point feature)의 변동이 발생한다.
움직임에 의한 변동을 최소화하기 위해, 본 발명의 실시예에 따른 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템은 이전 이미지 패치(t-1, 330)에 포함된 포인트 특징 요소(point feature)와 이미지 패치(t, 340)에 포함된 포인트 특징 요소(point feature)를 각기 매칭하여 특징 쌍(350)을 획득할 수 있다.
본 발명의 실시예에 따른 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템은 관성측정장치(IMU)와 포인트 특징 요소(point feature)를 이용하여 특징 쌍(350)을 매칭하는 것을 특징으로 한다.
예를 들면, 본 발명의 실시예에 따른 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템은 이전 이미지 패치(330)의 위치를 기준으로, 카메라 움직임[R/t]을 고려한 추정 위치로 현재 이미지 패치(340)와의 매칭할 특징 요소를 구별할 수 있다. 이후, 본 발명의 실시예에 따른 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템은 매칭 가능한 특징 요소들 예를 들면, 포인트 특징 요소 및 라인 특징 요소 중 포인트 특징 요소(point feature) 간의 특징 쌍(350)을 매칭함으로써, 이전 이미지 패치(빨간 원, 330)와 현재 이미지 패치(파란 원, 340)의 매칭을 추출할 수 있다.
도 4는 본 발명의 실시예에 따른 서브픽셀의 라인을 추출하는 예를 도시한 것이다.
도 4를 참조하면, 본 발명의 실시예에 따른 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템은 이미지 패치(t, 410)에 포함되며, 저화질 이미지 데이터에 의해 뚜렷하지 않은 라인 특징 요소(line feature, 411)에 대한 서브픽셀의 정확도를 향상시킬 수 있다.
예를 들면, 본 발명의 실시예에 따른 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템은 이미지 패치(t, 410)의 라인 특징 요소(line feature, 411)를 그래프화하고, 3차원 가우시안 커널(3D Gaussian kernel)의 3차원 라인 분포식을 이용하여 그래프화된 라인 특징 요소(411)를 3차원 분포로 확장할 수 있다.
이후, 본 발명의 실시예에 따른 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템은 3차원 분포 결과에서 획득되는 최대 포인트(maximum point)를 연결한 최대 라인(maximum line)을 산출하여 서브픽셀의 정확도가 향상된 라인(420)을 추출할 수 있다.
도 5는 본 발명의 실시예에 따른 위치 추정의 예를 도시한 것이다.
도 5를 참조하면, 본 발명의 실시예에 따른 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템은 이전 이미지 패치(t-1, 510)에서의 관성항법센서(Inertial Navigation Sensor 또는 IMU)를 기반으로 카메라 움직임에 의해 획득되는 추정된 라인(511, 512)과 현재 이미지 패치(t, 520)에서의 산출된 라인(521) 간의 이노베이션 항목(innovation term)을 산출하여 정확한 위치를 추정할 수 있다.
보다 구체적으로, 본 발명의 실시예에 따른 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템은 이노베이션 항목(innovation term)을 산출하는 과정에서, 현재 이미지 패치(t, 520)에서 산출된 라인(521)의 라인 기울기(at)와, 관성항법센서(Inertial Navigation Sensor 또는 IMU)에 의해 추정되는 이전 이미지 패치(t-1, 510)에서의 추정된 라인(511, 512)의 라인 기울기(at-1) 간의 기울기 차이(|at-at-1|)를 고려하여 카메라 위치(state x) 추정의 정확도를 향상시킬 수 있다.
이 때, 산출된 라인(521)은 도 4에서 전술한 서브픽셀의 정확도가 향상된 라인(420)일 수 있다. 또한, 도 5에 도시된 그린 라인(green line, 옐로우 라인 아래 위치)은 저화질 이미지 데이터에서의 뚜렷하지 않은 라인 특징 요소를 나타내고, 옐로우 라인(yellow line, 그린 라인 위에 위치)은 서브픽셀(subpixel)의 정확도가 향상된 라인을 나타낸다.
도 6은 본 발명의 실시예에 따른 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 시스템의 세부 구성을 블록도로 도시한 것이다.
도 6을 참조하면, 본 발명의 실시예에 따른 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 시스템은 저화질 이미지 데이터의 유효 정보 부분만을 추출하여 이동형 단말기 내 카메라의 위치를 추정한다.
이를 위해, 본 발명의 실시예에 따른 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 시스템(600)은 이미지 패치 추출부(610), 산출부(620) 및 위치 추정부(630)를 포함한다.
이미지 패치 추출부(610)는 이동형 단말기 내 카메라에서 획득되는 이미지 데이터를 서브 샘플링(sub-sampling)하며, 저화질 이미지 데이터에서 라인(line) 및 포인트(point)를 포함한 이미지 패치를 추출한다.
이미지 패치 추출부(610)는 이미지 데이터 수신부(611), 저화질 이미지 데이터 획득부(612) 및 특징 요소 추출부(613)를 포함할 수 있다.
이미지 데이터 수신부(611)는 이동형 단말기 내 카메라로부터 고화질 이미지 데이터(High resolution camera image)를 수신할 수 있다.
예를 들면, 이동형 단말기는 고화질 카메라(HD Video)를 이용하여 고화질 이미지 데이터를 촬영 및 획득할 수 있다. 이 때, 상기 이동형 단말기는 사용자가 소지하는 노트북 컴퓨터(laptop computer), 스마트폰(smart phone), 태블릿 PC(tablet PC) 및 웨어러블 컴퓨터(wearable computer) 중 적어도 어느 하나일 수 있으며, 주변 환경을 촬영하는 고화질 카메라를 포함하는 휴대용 기기일 수 있다.
저화질 이미지 데이터 획득부(612)는 고화질 이미지 데이터를 서브 샘플링(sub-sampling)하여 라인(line) 및 포인트(point)를 내포한 저화질 이미지 데이터를 획득할 수 있다.
특징 요소 추출부(613)는 저화질 이미지 데이터에서 라인(line) 및 포인트(point)의 특징 요소를 포함하는 이미지 패치를 추출할 수 있다.
예를 들면, 특징 요소 추출부(613)는 저화질 이미지 데이터에서, 포인트(또는 점) 형태의 특징 요소를 추출할 수 있으며, 복수의 포인트를 연결한 라인(또는 선) 형태의 특징 요소를 추출할 수 있다. 이후, 특징 요소 추출부(613)는 저화질 이미지 데이터에서, 라인(line) 특징 요소 및 포인트(point) 특징 요소를 모두 포함하는 원형의 이미지 패치를 추출할 수 있다.
상기 라인 및 포인트의 특징 요소는 카메라의 움직임에 따라 획득되는 저화질 이미지 데이터로부터 유동적으로 변경되는 것은 당연하다. 또한, 상기 이미지 패치의 형태는 원형에 한정하지 않는다.
산출부(620)는 카메라의 움직임에 따른, 이미지 패치(t)와 이전 이미지 패치(t-1) 간의 포인트 특징 요소의 특징 쌍을 매칭하고, 이미지 패치에 대한 서브픽셀(subpixel)의 라인을 산출한다.
산출부(620)는 매칭 확인부(621) 및 라인 추출부(622)를 포함할 수 있다.
매칭 확인부(621)는 관성측정장치(Inertial Measurement Unit; IMU) 및 이미지 패치 상의 포인트 특징 요소(point feature)를 이용하여 특징 쌍에 대한 매칭 여부를 확인할 수 있다.
이미지 패치(t) 상의 포인트 특징 요소(point feature)는 카메라의 움직임에 의해 변동될 수 있다. 이로 인해, 본 발명의 실시예에 따른 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 시스템(600)은 이동형 단말기의 속도와 방향, 중력, 가속도를 측정하는 관성측정장치(IMU)를 이용하여 특징 요소(feature)의 세부적인 변동을 감지할 수 있다.
매칭 확인부(621)는 관성측정장치(IMU)와 포인트 특징 요소(point feature)를 이용하여 특징 쌍을 매칭하는 것을 특징으로 한다. 예를 들면, 카메라 움직임이 발생하는 경우, 이미지 패치(t) 상에 위치하는 포인트 특징 요소의 변동이 발생하므로, 매칭 확인부(621)는 이전 이미지 패치(t-1)를 기준으로, 관성측정장치(IMU)로부터 감지되는 카메라의 움직임[R/t]에 따른 이미지 패치(t)의 포인트 특징 요소를 검색하며, 이전 이미지 패치(t-1)의 포인트 특징 요소와 이미지 패치(t)의 포인트 특징 요소 각각을 매칭하여 동일 직선 선분을 가진 복수의 특징 쌍을 획득할 수 있다.
라인 추출부(622)는 3차원 라인 분포식으로 이미지 패치에 대한 서브픽셀의 라인을 추출할 수 있다.
보다 구체적으로, 라인 추출부(622)는 3차원 가우시안 커널(3D Gaussian kernel)의 3차원 라인 분포식을 이용하여 이미지 패치(t)에 대한 3차원 분포를 확장하고, 3차원 분포 결과에서의 최대 포인트(maximum point)를 연결한 최대 라인(maximum line)을 산출하여 정밀한 서브픽셀(subpixel)의 라인을 추출할 수 있다.
예를 들면, 라인 추출부(622)는 이미지 패치(t)의 라인 특징 요소(line feature)를 그래프화하고, 3차원 가우시안 커널(3D Gaussian kernel)의 3차원 라인 분포식을 이용하여 그래프화된 라인 특징 요소를 3차원 분포로 확장할 수 있다. 이후, 라인 추출부(622)는 3차원 분포 결과에서 획득되는 최대 포인트를 연결한 최대 라인을 산출하여 서브픽셀 정확도가 향상된 라인을 추출할 수 있다.
위치 추정부(630)는 산출된 라인과 관성에 의해 추정된 라인 간의 차이를 기반으로, 이동형 단말기 내 카메라의 위치를 추정한다.
위치 추정부(630)는 이동형 단말기에 포함된 관성항법센서(Inertial Navigation Sensor)를 이용하여 획득되는 이전 이미지 패치(t-1)에 대한 추정된 라인과, 이미지 패치(t)에 대한 산출된 라인 간의 이노베이션 항목(innovation term)을 산출하여 카메라에 대한 위치를 추정할 수 있다. 이 때, 상기 산출된 라인은 라인 추출부(622)에 의해 획득되는 서브픽셀 정확도가 향상된 라인을 일컫을 수 있다.
위치 추정부(630)는 이노베이션 항목(innovation term)을 산출하는 과정을 통해 추정되는 이미지 패치(t)에서 산출된 라인의 라인 기울기(at)와 이전 이미지 패치(t-1)에서 추정된 라인의 라인 기울기(at-1) 사이의 기울기 차이를 고려하여 카메라 위치(state x) 추정의 정확도를 향상시킬 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (17)

  1. 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 시스템의 동작 방법에 있어서,
    상기 이동형 단말기 내 카메라에서 획득되는 이미지 데이터를 서브 샘플링(sub-sampling)하며, 저화질 이미지 데이터에서 라인(line) 및 포인트(point)를 포함한 이미지 패치를 추출하는 단계;
    상기 카메라의 움직임에 따른, 상기 이미지 패치와 이전 이미지 패치 간의 포인트 특징 요소의 특징 쌍을 매칭하고, 상기 이미지 패치에 대한 서브픽셀(subpixel)의 라인을 산출하는 단계; 및
    상기 산출된 라인과 관성에 의해 추정된 라인 간의 차이를 기반으로, 상기 이동형 단말기 내 카메라의 위치를 추정하는 단계
    를 포함하고,
    상기 특징 쌍을 매칭하고, 이미지 패치에 대한 서브픽셀의 라인을 산출하는 단계는
    관성측정장치(Inertial Measurement Unit; IMU) 및 상기 이미지 패치 상의 포인트 특징 요소(point feature)를 이용하여 특징 쌍에 대한 매칭 여부를 확인하는 단계; 및
    3차원 라인 분포식으로 상기 이미지 패치에 대한 상기 서브픽셀의 라인을 추출하는 단계
    를 포함하는 증강 현실을 위한 위치 인식 방법.
  2. 제1항에 있어서,
    상기 이미지 패치를 추출하는 단계는
    상기 이동형 단말기 내 상기 카메라로부터 고화질 이미지 데이터를 수신하는 단계;
    상기 고화질 이미지 데이터를 서브 샘플링(sub-sampling)하여 상기 저화질 이미지 데이터를 획득하는 단계;
    상기 저화질 이미지 데이터에서 라인(line) 및 포인트(point)의 특징 요소를 추출하는 단계; 및
    상기 라인(line) 및 포인트(point)의 특징 요소를 포함하는 상기 이미지 패치를 추출하는 단계
    를 포함하는 증강 현실을 위한 위치 인식 방법.
  3. 제2항에 있어서,
    상기 라인(line) 및 포인트(point)의 특징 요소를 포함하는 이미지 패치를 추출하는 단계는
    상기 저화질 이미지 데이터에서, 라인(line) 특징 요소 및 포인트(point) 특징 요소를 모두 포함하는 원형의 상기 이미지 패치를 추출하는 것을 특징으로 하는 증강 현실을 위한 위치 인식 방법.
  4. 삭제
  5. 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 시스템의 동작 방법에 있어서,
    상기 이동형 단말기 내 카메라에서 획득되는 이미지 데이터를 서브 샘플링(sub-sampling)하며, 저화질 이미지 데이터에서 라인(line) 및 포인트(point)를 포함한 이미지 패치를 추출하는 단계;
    상기 카메라의 움직임에 따른, 상기 이미지 패치와 이전 이미지 패치 간의 포인트 특징 요소의 특징 쌍을 매칭하고, 상기 이미지 패치에 대한 서브픽셀(subpixel)의 라인을 산출하는 단계; 및
    상기 산출된 라인과 관성에 의해 추정된 라인 간의 차이를 기반으로, 상기 이동형 단말기 내 카메라의 위치를 추정하는 단계
    를 포함하고,
    상기 특징 쌍을 검색하여 매칭 여부를 확인하는 단계는
    이전 이미지 패치를 기준으로, 관성측정장치로부터 감지되는 상기 카메라의 움직임에 따른 이미지 패치의 포인트 특징 요소를 검색하며, 이전 이미지 패치의 포인트 특징 요소와 상기 이미지 패치의 포인트 특징 요소 각각을 매칭하여 동일 직선 선분을 가진 복수의 특징 쌍을 획득하는 증강 현실을 위한 위치 인식 방법.
  6. 제5항에 있어서,
    상기 이미지 패치에 대한 서브픽셀의 라인을 추출하는 단계는
    3차원 가우시안 커널(3D Gaussian kernel)의 3차원 라인 분포식을 이용하여 이미지 패치에 대한 3차원 분포를 확장하고, 3차원 분포 결과에서의 최대 포인트(maximum point)를 연결한 최대 라인(maximum line)을 산출하여 정밀한 상기 서브픽셀의 라인을 획득하는 증강 현실을 위한 위치 인식 방법.
  7. 제1항에 있어서,
    상기 이동형 단말기 내 카메라의 위치를 추정하는 단계는
    상기 이동형 단말기에 포함된 관성항법센서(Inertial Navigation Sensor)를 이용하여 획득되는 상기 이전 이미지 패치에 대한 상기 추정된 라인과, 상기 이미지 패치에 대한 상기 산출된 라인 간의 이노베이션 항목(innovation term)을 산출하여 상기 카메라에 대한 위치를 추정하는 증강 현실을 위한 위치 인식 방법.
  8. 제7항에 있어서,
    상기 이동형 단말기 내 카메라의 위치를 추정하는 단계는
    상기 이미지 패치에서 상기 산출된 라인의 라인 기울기와 상기 이전 이미지 패치에서 상기 추정된 라인의 라인 기울기 사이의 기울기 차이를 고려하여 카메라 위치 추정의 정확도를 향상시키는 것을 특징으로 하는 증강 현실을 위한 위치 인식 방법.
  9. 제1항 내지 제3항 또는 제5항 내지 제8항 중 어느 한 항의 방법을 수행하기 위하여 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
  10. 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 시스템에 있어서,
    상기 이동형 단말기 내 카메라에서 획득되는 이미지 데이터를 서브 샘플링(sub-sampling)하며, 저화질 이미지 데이터에서 라인(line) 및 포인트(point)를 포함한 이미지 패치를 추출하는 이미지 패치 추출부;
    상기 카메라의 움직임에 따른, 상기 이미지 패치와 이전 이미지 패치 간의 포인트 특징 요소의 특징 쌍을 매칭하고, 상기 이미지 패치에 대한 서브픽셀(subpixel)의 라인을 산출하는 산출부; 및
    상기 산출된 라인과 관성에 의해 추정된 라인 간의 차이를 기반으로, 상기 이동형 단말기 내 카메라의 위치를 추정하는 위치 추정부
    를 포함하고,
    상기 산출부는
    관성측정장치(Inertial Measurement Unit; IMU) 및 상기 이미지 패치 상의 포인트 특징 요소(point feature)를 이용하여 특징 쌍에 대한 매칭 여부를 확인하는 매칭 확인부; 및
    3차원 라인 분포식으로 상기 이미지 패치에 대한 상기 서브픽셀의 라인을 추출하는 라인 추출부
    를 포함하는 증강 현실을 위한 위치 인식 시스템.
  11. 제10항에 있어서,
    상기 이미지 패치 추출부는
    상기 이동형 단말기 내 상기 카메라로부터 고화질 이미지 데이터를 수신하는 이미지 데이터 수신부;
    상기 고화질 이미지 데이터를 서브 샘플링(sub-sampling)하여 라인(line) 및 포인트(point)를 내포한 상기 저화질 이미지 데이터를 획득하는 저화질 이미지 데이터 획득부; 및
    상기 저화질 이미지 데이터에서 라인(line) 및 포인트(point)의 특징 요소를 포함하는 상기 이미지 패치를 추출하는 특징 요소 추출부
    를 포함하는 증강 현실을 위한 위치 인식 시스템.
  12. 제11항에 있어서,
    상기 특징 요소 추출부는
    상기 저화질 이미지 데이터에서, 라인(line) 특징 요소 및 포인트(point) 특징 요소를 모두 포함하는 원형의 상기 이미지 패치를 추출하는 것을 특징으로 하는 증강 현실을 위한 위치 인식 시스템.
  13. 삭제
  14. 제11항에 있어서,
    상기 매칭 확인부는
    이전 이미지 패치를 기준으로, 상기 관성측정장치로부터 감지되는 상기 카메라의 움직임에 따른 이미지 패치의 포인트 특징 요소를 검색하며, 이전 이미지 패치의 포인트 특징 요소와 상기 이미지 패치의 포인트 특징 요소 각각을 매칭하여 동일 직선 선분을 가진 복수의 특징 쌍을 획득하는 증강 현실을 위한 위치 인식 시스템.
  15. 제14항에 있어서,
    상기 라인 추출부는
    3차원 가우시안 커널(3D Gaussian kernel)의 상기 3차원 라인 분포식을 이용하여 상기 이미지 패치에 대한 3차원 분포를 확장하고, 3차원 분포 결과에서의 최대 포인트(maximum point)를 연결한 최대 라인(maximum line)을 산출하여 정밀한 상기 서브픽셀의 라인을 추출하는 증강 현실을 위한 위치 인식 시스템.
  16. 제10항에 있어서,
    상기 위치 추정부는
    상기 이동형 단말기에 포함된 관성항법센서(Inertial Navigation Sensor)를 이용하여 획득되는 상기 이전 이미지 패치에 대한 상기 추정된 라인과, 상기 이미지 패치에 대한 상기 산출된 라인 간의 이노베이션 항목(innovation term)을 산출하여 상기 카메라에 대한 위치를 추정하는 증강 현실을 위한 위치 인식 시스템.
  17. 제16항에 있어서,
    상기 위치 추정부는
    상기 이미지 패치에서 상기 산출된 라인의 라인 기울기와 상기 이전 이미지 패치에서 상기 추정된 라인의 라인 기울기 사이의 기울기 차이를 고려하여 카메라 위치 추정의 정확도를 향상시키는 것을 특징으로 증강 현실을 위한 위치 인식 시스템.
KR1020180128595A 2018-04-03 2018-10-26 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템 KR102297124B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2019/003920 WO2019194561A1 (ko) 2018-04-03 2019-04-03 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템
US16/374,106 US10997744B2 (en) 2018-04-03 2019-04-03 Localization method and system for augmented reality in mobile devices

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180038605 2018-04-03
KR20180038605 2018-04-03

Publications (2)

Publication Number Publication Date
KR20190116039A KR20190116039A (ko) 2019-10-14
KR102297124B1 true KR102297124B1 (ko) 2021-09-02

Family

ID=68171706

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180128595A KR102297124B1 (ko) 2018-04-03 2018-10-26 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102297124B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI800930B (zh) * 2021-09-28 2023-05-01 宇萌數位科技股份有限公司 真實空間虛擬化之擴增實境之應用方法與應用互動模組

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9017138B2 (en) * 2012-01-25 2015-04-28 Applied Materials, Inc. Retaining ring monitoring and control of pressure
KR20140055632A (ko) * 2012-10-31 2014-05-09 현대위아 주식회사 트라이포드 조인트

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
국제공개특허 제2014-116545호(2014.07.31.) 1부.*
미국공개특허 제2014-0055632호(2014.02.27.) 1부.*

Also Published As

Publication number Publication date
KR20190116039A (ko) 2019-10-14

Similar Documents

Publication Publication Date Title
US11145083B2 (en) Image-based localization
US11393173B2 (en) Mobile augmented reality system
US10580206B2 (en) Method and apparatus for constructing three-dimensional map
US9892516B2 (en) Three-dimensional coordinate computing apparatus, three-dimensional coordinate computing method, and non-transitory computer readable recording medium having therein program for three-dimensional coordinate computing
US9165365B2 (en) Method and system for estimating attitude of camera
US10083368B2 (en) Incremental learning for dynamic feature database management in an object recognition system
CN104350524B (zh) 基于外围信息的姿势估计
US10776652B2 (en) Systems and methods to improve visual feature detection using motion-related data
WO2018063608A1 (en) Place recognition algorithm
US20220156973A1 (en) Information processing apparatus, information processing method, and program
CN106650965B (zh) 一种远程视频处理方法及装置
JP2018513493A (ja) ポーズ決定のための非マッチング特徴に基づく視覚動き推定
CN111832579B (zh) 地图兴趣点数据处理方法、装置、电子设备以及可读介质
CN111105462B (zh) 位姿确定方法及装置、增强现实设备和可读存储介质
AliAkbarpour et al. Parallax-tolerant aerial image georegistration and efficient camera pose refinement—without piecewise homographies
WO2016208404A1 (ja) 情報処理装置および方法、並びにプログラム
JP2011039974A (ja) 画像検索方法およびシステム
US10997744B2 (en) Localization method and system for augmented reality in mobile devices
KR102297124B1 (ko) 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템
CN117896626B (zh) 多摄像头检测运动轨迹的方法、装置、设备及存储介质
CN107703954B (zh) 用于无人机的目标位置勘测方法、装置及无人机
KR101762041B1 (ko) 자유 시점 영상의 생성 장치 및 방법
WO2021164688A1 (en) Methods for localization, electronic device and storage medium
WO2020137314A1 (ja) 位置測定装置
JP2019213061A (ja) 情報処理装置、その制御方法及びプログラム。

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181026

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200210

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20201119

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210527

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210827

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210827

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240724

Start annual number: 4

End annual number: 4