KR102166586B1 - 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스장치 및 방법 - Google Patents

딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스장치 및 방법 Download PDF

Info

Publication number
KR102166586B1
KR102166586B1 KR1020190087889A KR20190087889A KR102166586B1 KR 102166586 B1 KR102166586 B1 KR 102166586B1 KR 1020190087889 A KR1020190087889 A KR 1020190087889A KR 20190087889 A KR20190087889 A KR 20190087889A KR 102166586 B1 KR102166586 B1 KR 102166586B1
Authority
KR
South Korea
Prior art keywords
spatial information
space
unit
augmented reality
deep learning
Prior art date
Application number
KR1020190087889A
Other languages
English (en)
Inventor
백호암
허위린
Original Assignee
백호암
허위린
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 백호암, 허위린 filed Critical 백호암
Priority to KR1020190087889A priority Critical patent/KR102166586B1/ko
Application granted granted Critical
Publication of KR102166586B1 publication Critical patent/KR102166586B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/35—Aspects of automatic or semi-automatic exchanges related to information services provided via a voice call
    • H04M2203/359—Augmented reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

모바일기기(스마트폰)의 카메라로 들어오는 이미지 인풋만으로 사용자의 방향과 위치를 정확하게 파악할 수 있도록 한 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스장치 및 방법에 관한 것으로서, 카메라로 획득한 영상정보로부터 공간을 구성하고, 구성 공간을 분할한 후 딥러닝 기반 알고리즘으로 학습을 하고, 학습 결과를 기초로 공간정보를 생성하는 공간정보 생성부, 공간정보 생성부에서 생성된 공간 정보를 저장하는 공간정보 저장부, 증강현실 구현시 상기 카메라로부터 획득한 영상정보로부터 영상의 중요한 특징점을 추출하여 공간정보를 추출하는 공간정보 추출부, 공간정보 추출부에서 추출한 공간정보를 상기 공간정보 저장부에 저장된 공간정보와 비교하여 사용자의 위치 및 방향을 확인하는 위치 및 방향 확인부를 포함하여, 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스장치를 구현한다.

Description

딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스장치 및 방법{Mobile Augmented Reality Service Apparatus and Method Using Deep Learning Based Positioning Technology}
본 발명은 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스장치 및 방법에 관한 것으로, 특히 모바일기기(스마트폰)의 카메라로 들어오는 이미지 인풋만으로 사용자의 방향과 위치를 정확하게 파악할 수 있도록 한 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스장치 및 방법에 관한 것이다.
최근 카메라 모듈을 이용한 촬영 시 현실의 공간에 다양한 정보를 덧씌워 보여 주는 증강 현실(augmented reality) 기법을 이용한 콘텐츠 제공이 활발히 연구되고 있다.
증강현실(Augmented Reality, AR)이란 가상현실(Virtual Reality, VR)의 한 분야에 속하는 기술이며, 사용자가 감각으로 느끼는 실제환경에 가상환경을 합성하여 원래의 실제환경에 가상환경이 존재하는 것처럼 느끼게 하는 컴퓨터 기법이다.
이러한 증강 현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상현실과 달리 현실 세계의 기반에 가상 사물을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 장점이 있다.
특히, 스마트 기기의 성능 향상 및 대중화에 따라 모바일 증강현실이 각광을 받으며 새로운 시장 창출과 관련 콘텐츠 개발 시장이 크게 성장할 것으로 기대되었으나, 사용자와 가상 물체 사이의 다양한 인터랙션이 어려운 단조로운 앱만 양산되며 핵심요소 기술의 혁신이 요구되고 있다.
증강현실 서비스에서는 사용자의 위치 및 시선 방향을 정확하게 측정하여 실제 환경에 가상 물체를 위치시켰을 때 어색함이 없이 자연스럽게 합성되어야 하는 데, 특히 실내공간에서는 실세계 좌표계와 가상 세계의 좌표계가 일치하지 않아 발생하는 오차로 인해 쉽게 구현하기 어려운 단점이 있다.
이러한 오차를 줄이기 위해 센서, 자기장, 초음파, 관성, 광학 방식 등 다양한 트레킹 방법이 이용되고 있으나, 고가의 장비 및 제한된 취득 환경을 요구하는 단점이 있다.
실내공간은 실외공간과는 달리 GPS와 같은 위성기반의 측위 시스템이 활용될 수 없어 위치 데이터의 정확도를 높이기 위한 측위 기술들이 개발되고 있으나, 별도의 인프라 구축과 실내 구조 변경시 추가 투자비용이 요구되는 문제, 다양한 측위 플랫폼과 장치 및 운영체제들 간의 호환성 문제 등의 해결이 필요하다.
한편, 증강현실 서비스에 대해 종래에 제안된 기술이 하기의 <특허문헌 1> 및 <특허문헌 2> 에 개시되어 있다.
<특허문헌 1> 에 개시된 종래기술은 가시광 통신(LiFi)을 이용하여 특정 조명구역에서의 키 프레임 정보 및 공간정보를 제공하며, 사용자의 모바일 디바이스를 통해 조명구역에서의 증강현실 체험을 제공하는 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템 및 그 방법에 관한 것으로, 정확한 실내 공간의 복원뿐만 아니라 사용자의 위치 및 모바일 디바이스의 자세를 정확하게 추정할 수 있다.
또한, <특허문헌 2> 에 개시된 종래기술은 사용자 주위의 영상을 촬영하여 실제영상정보를 획득하는 영상 카메라가 내장되며 디스플레이에 3차원 가상영상을 표시하는 증강현실 단말기를 포함하고, 상기 증강현실 단말기는, 공간을 3차원적으로 인식하여 공간기반의 3차원 정합 좌표계를 생성하고 상기 공간기반의 3차원 정합 좌표계를 기준으로 각각 미리 할당된 실제객체의 좌표에 각각의 가상객체를 표시하되, 상기 실제영상정보의 실제객체가 사물인식기반으로 영상 식별될 때마다 상기 실제객체의 좌표를 다시 파악한 후, 파악된 상기 실제객체의 좌표를 갱신하고, 갱신된 상기 실제객체의 좌표에 미리 할당된 가상객체를 표시하여, 공간 인식 및 사물 인식이 동시에 적용된 증강현실 시스템을 제공한다.
대한민국 등록특허 10-1971791호(2019.04.17. 등록)(가시광 통신을 이용한 실내공간의 증강현실 제공 시스템 및 그 방법) 대한민국 등록특허 10-1898075호(2018.09.06. 등록)(공간 인식 및 사물 인식이 동시에 적용된 증강현실 시스템)
그러나 상기와 같은 일반적인 증강현실 시스템 및 종래기술은 실내 공간에서 사용자의 위치 및 시선 방향을 정확하게 측정하여 실제 환경에 가상 물체를 위치시킬 때, 실세계 좌표계와 가상 세계의 좌표계가 일치하지 않아, 증강현실을 구현하데 어려움이 있었다.
또한, 실세계 좌표계와 가상 세계의 좌표계의 오차를 줄이기 위해, 다양한 센서나 트레킹 방법을 이용하는 경우, 고가의 장비 사용에 따른 시스템 구현 비용이 많이 소요되는 단점이 있다.
또한, 실내 구조 변경시 추가로 투자비용이 요구되는 단점도 있다.
따라서 본 발명은 상기와 같은 일반적인 증강현실 시스템 및 종래기술에서 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서, 모바일기기(스마트폰)의 카메라로 들어오는 이미지 인풋만으로 사용자의 방향과 위치를 정확하게 파악할 수 있도록 한 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스장치 및 방법을 제공하는 데 그 목적이 있다.
본 발명의 다른 목적은 실내에서 추가적인 하드웨어 인프라 설치 없이 스마트폰 카메라와 애플리케이션만으로 작동하는 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스장치 및 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 딥러닝 기반 위치 측위 기술을 활용하여 증강현실에서 사용자가 이동하는 위치나 바라보는 위치 및 방향에 맞추어 미디어/콘텐츠를 가시화할 수 있도록 한 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스장치 및 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 위치 추적의 오류를 최소화하여 현실 공간에 가상의 객체를 이음매 없이(Seamlessly) 실시간으로 정합하도록 한 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스장치 및 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 실세계를 보는 관광객인 사용자의 위치와 시선이 변함에 따라 사용자에게 요구 사항이 증가하는 방식이 아니라 직관적이고 자연스러운 상호작용을 지원하는 사용자 인터페이스를 제공하는 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스 장치 및 방법을 제공하는 것이다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 "딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스장치"는,
카메라로 획득한 영상정보로부터 공간을 구성하고, 구성 공간을 분할한 후 딥러닝 기반 알고리즘으로 학습을 하고, 학습 결과를 기초로 공간정보를 생성하는 공간정보 생성부를 형성하되, 상기 공간정보 생성부는 카메라로 획득한 영상정보로부터 Visual SLAM(Simultaneous Localization and Mapping)을 이용하여 공간을 구성하는 공간 구성부와, 상기 공간 구성부에서 구성한 공간을 격자(Grid)로 분할하여 분할 공간인 데이터 셋을 생성하는 공간 분할부와, 상기 공간 분할부에서 분할된 데이터 셋을 딥러닝 학습 알고리즘인 컨볼루션 신경망(CNN; Convolution Neural Network)으로 학습하는 공간 학습부를 포함하고,
상기 공간정보 생성부에서 생성된 공간 정보를 저장하는 공간정보 저장부;
증강현실 구현시 상기 카메라로부터 획득한 영상정보로부터 영상의 중요한 특징점을 추출하여 공간정보를 추출하는 공간정보 추출부;
상기 공간정보 추출부에서 추출한 공간정보를 상기 공간정보 저장부에 저장된 공간정보와 비교하여 사용자의 위치 및 방향을 확인하는 위치 및 방향 확인부를 포함하고,
상기 위치 및 방향 확인부는 관성측정장치(IMU; Inertial Measurement Unit)로부터 획득한 움직임 정보를 기초로 상기 추출한 공간정보를 보정하여 분할된 격자가 어느 격자 위치에 있는지 추정하는 것을 특징으로 한다.
삭제
상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 "딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스방법"은,
(a) 공간정보 생성부에서 카메라로 획득한 영상정보로부터 공간을 구성하고, 구성 공간을 분할한 후 딥러닝 기반 알고리즘으로 학습을 하고, 학습 결과를 기초로 공간정보를 생성하는 단계로 이루어지되, 그 단계는 (a1) 카메라로 획득한 영상정보로부터 Visual SLAM(Simultaneous Localization and Mapping)을 이용하여 공간을 구성하는 단계와, (a2) 상기 (a1)단계에서 구성한 공간을 격자(Grid)로 분할하여 분할 공간인 데이터 셋을 생성하는 단계와, (a3) 분할된 데이터 셋을 딥러닝 학습 알고리즘인 컨볼루션 신경망(CNN; Convolution Neural Network)으로 학습하는 단계를 포함하고,
(b) 상기 (a)단계에서 생성된 공간 정보를 저장하는 단계;
(c) 증강현실 구현시, 공간정보 추출부에서 상기 카메라로부터 획득한 영상정보로부터 영상의 중요한 특징점을 추출하여 공간정보를 추출하는 단계; 및
(d) 위치 및 방향 확인부에서 상기 (c)단계에서 추출한 공간정보와 저장된 공간정보를 비교하여 사용자의 위치 및 방향을 확인하는 단계를 포함하는 것을 특징으로 한다.
삭제
삭제
본 발명에 따르면 모바일기기(스마트폰)의 카메라로 들어오는 이미지 인풋만으로 별도의 하드웨어 구현 없이 사용자의 방향과 위치를 정확하게 파악할 수 있는 장점이 있다.
특히, 본 발명에 따르면 실내에서 추가적인 하드웨어 인프라 설치 없이 스마트폰 카메라와 애플리케이션만으로 작동하는 딥러닝 기반 위치 측위 기술을 이용하여 사용자의 위치 및 방향을 정확하게 실시간 파악할 수 있는 장점이 있다.
또한, 본 발명에 따르면 딥러닝 기반 위치 측위 기술을 활용하여 증강현실에서 사용자가 이동하는 위치나 바라보는 위치 및 방향에 맞추어 미디어/콘텐츠를 실시간으로 어색함 없이 자연스럽게 가시화할 수 있는 장점도 있다.
또한, 본 발명에 따르면 위치 추적의 오류를 최소화하여 현실 공간에 가상의 객체를 이음매 없이(Seamlessly) 실시간으로 정합할 수 있는 장점이 있다.
도 1은 본 발명에 따른 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스장치의 블록 구성도,
도 2는 본 발명에 따른 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스방법을 보인 흐름도,
도 3은 본 발명에서 Visual SLAM을 이용하여 공간을 구성하는 예시도,
도 4는 본 발명에서 격자(Grid)로 구성된 공간을 데이터 셋으로 분할하는 예시도,
도 5는 본 발명에서 딥러닝 학습 알고리즘인 CNN 알고리즘으로 데이터 셋을 학습하여 생성된 공간정보의 예시도,
도 6은 본 발명에서 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스장치를 구현하는 예시도이다.
이하 본 발명의 바람직한 실시 예에 따른 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스장치 및 방법을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 바람직한 실시 예에 따른 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스장치의 구성도로서, 카메라(10)로 획득한 영상정보로부터 공간을 구성하고, 구성 공간을 분할한 후 딥러닝 기반 알고리즘으로 학습을 하고, 학습 결과를 기초로 공간정보를 생성하는 공간정보 생성부(20), 상기 공간정보 생성부(20)에서 생성된 공간 정보를 저장하는 공간정보 저장부(30), 증강현실 구현시 상기 카메라(10)로부터 획득한 영상정보로부터 영상의 중요한 특징점을 추출하여 공간정보를 추출하는 공간정보 추출부(40), 상기 공간정보 추출부(40)에서 추출한 공간정보의 오차를 보정하는 공간정보 보정부(50), 상기 공간정보 보정부(50)에 의해 보정된 공간정보를 상기 공간정보 저장부(30)에 저장된 공간정보와 비교하여 사용자의 위치 및 방향을 확인하는 위치 및 방향 확인부(60), 상기 위치 및 방향 확인부(60)와 연동하여 증강현실을 구현하는 증강현실 구현부(70)를 포함한다.
이렇게 구성되는 본 발명에 따른 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스장치는 다양한 모바일 기기를 통해 구현 가능하나, 본 발명에서는 실시 예로 사용자가 사용하는 모바일기기인 것으로 가정한다.
상기 공간정보 생성부(20)는 카메라(10)로 획득한 영상정보로부터 Visual SLAM(Simultaneous Localization and Mapping)을 이용하여 공간을 구성하는 공간 구성부(21), 상기 공간 구성부(22)에서 구성한 공간을 격자(Grid)로 분할하여 분할 공간인 데이터 셋을 생성하는 공간 분할부(22), 상기 공간 분할부(22)에서 분할된 데이터 셋을 딥러닝 학습 알고리즘인 컨볼루션 신경망(CNN; Convolution Neural Network)으로 학습하는 공간 학습부(23)를 포함한다.
이와 같이 구성된 본 발명에 따른 딥러닝 기반 위치 측위 기술을 이용한 모바일 증강현실 서비스장치의 동작을 구체적으로 설명하면 다음과 같다.
먼저, 증강현실을 구현하기 이전에 사전 준비 작업으로, 공간정보 생성부(20)에서 카메라(10)로 획득한 실내 공간의 영상정보로부터 공간을 구성하고, 구성 공간을 분할한 후 딥러닝 기반 알고리즘으로 학습을 하고, 학습 결과를 기초로 공간정보를 생성한다.
GPS가 없는 실내에서 스마트폰 사용시, 별도의 추가 하드웨어 인프라를 사용하지 않는 한 어느 위치에서 어느 방향으로 사용중인지를 파악하기 어렵다.
따라서 카메라로 들어오는 이미지 인풋만으로 사용자의 방향과 위치를 확인하기 위해서, 사전 작업으로 실내공간의 정보를 생성하여 저장한다.
즉, 공간정보 생성부(20)의 공간 구성부(21)는 상기 카메라(10)로 획득한 실내 영상정보로부터 Visual SLAM(Simultaneous Localization and Mapping)을 이용하여 공간을 구성한다. Visual SLAM을 이용하면 카메라(10)로부터 획득한 실내 공간의 영상에서 중요한 점들을 특징점(feature)으로 추출하고, 이를 키 프레임으로 하여 지도를 작성하는 지도 작성(Map-building) 과정을 통해 공간을 구성한다. 획득한 실내 영상으로부터 Visual SLAM을 이용하여 공간을 구성하기 위한 방법으로서, 대한민국 공개특허 10-2016-0003066(2016.01.08. 공개)(일반적인 카메라 움직임 및 파노라마 카메라 움직임을 갖는 단안 시각 SLAM)에 개시된 Visual SLAM 기술을 채택하여 구현할 수도 있다.
도 3은 상기 Visual SLAM을 이용하여 카메라로 입력된 실내 영상에서 특징점을 추출하고, 지도 작성 방법을 적용하여 사용자 추적(User Tracking)이 가능한 공간을 구성한 예시이다.
다음으로, 공간 분할부(22)는 상기 공간 구성부(22)에서 구성한 공간을 격자(Grid)로 분할하여 분할 공간인 데이터 셋(SET P1, Q1 #1)(SET P2, Q2 #2)(SET P3, Q3 #3)을 생성한다. 여기서 P는 위치를 나타내고, Q는 방향을 나타낸다.
이어, 공간 학습부(23)는 상기 공간 분할부(22)에서 분할된 데이터 셋을 딥러닝 학습 알고리즘인 컨볼루션 신경망(CNN; Convolution Neural Network)으로 학습한다. CNN 알고리즘은 패턴을 직접 찾고 특징을 분류하는 데 직접 학습하기 때문에 수동 작업이 필요하지 않으며, 높은 수준의 인식 결과를 나타내는 장점이 있다.
입력 데이터가 필터(커널)를 통해 컨볼루션 층을 통과하게 되면서 특징을 추출하고, 최종적으로 Softmax 함수를 통해 특징을 0 ~ 1 사이의 값으로 분류하는 과정을 거치는 과정을 통해 분할된 데이터 셋을 학습한다. 여기서 필터는 주로 4×4 또는 3×3 행렬로 정의되며, 특징 추출을 위해 사용되는 파라미터이다. 필터, Stride, Channel(채널), 패딩(Padding), 활성화 함수(Activation Function), 맥스 풀링(Max pooling), 드롭 아웃(Dropout), 소프트맥스(Softmax)라는 처리 과정을 통해 분할된 데이터 셋을 학습하여 공간 정보를 인식하게 된다. 도 5는 분할된 데이터 셋(분할 공간)을 학습하여 분할 공간을 인식하는 예시이다.
이렇게 학습된 공간 정보는 공간정보 저장부(30)에 저장된다.
상기와 같은 과정을 실시간으로 카메라로 입력되는 인풋 이미지로부터 사용자의 위치 및 방향을 확인하기 위한 사전 준비 과정을 완료한 상태에서, 실제 증강 현실의 구현이 발생하면, 공간정보 추출부(40)는 상기 카메라(10)로부터 획득한 영상정보로부터 영상의 중요한 특징점을 추출하여 공간정보를 추출한다. 여기서 인풋 이미지로부터 공간정보를 추출하는 방법으로서, 영상의 중요한 특징점을 추출하여 키프레임 정보를 획득하고, 획득한 키 프레임을 이용하여 공간정보를 추출하는 방법을 이용할 수 있다. 여기서 증강현실 구현 발생시, 공간정보 생성부분은 동작하지 않는다. 도면에는 도시하지 않았지만 증강현실 서비스를 구현하기 위해서는 이를 통합적으로 제어하는 제어장치(CPU, 마이컴, 기타)가 필요하며, 이러한 제어장치에서 공간정보 생성시에는 공간정보 생성부분만 동작시키고, 증강현실 구현부분은 동작시키지 않으며, 반대로 증강현실 구현시에는 증강현실 구현부분은 동작시키고 공간정보 생성부분은 동작시키지 않는다.
마지막으로, 위치 및 방향 확인부(60)는 보정된 공간정보 또는 상기 공간정보 추출부(40)에서 추출한 공간정보를 상기 공간정보 저장부(30)에 저장된 공간정보와 비교하여 사용자의 위치 및 방향을 실시간으로 확인한다. 예컨대, 공간정보를 구분하는 키 프레임 정보를 이용하면 공간정보 저장부(30)에 저장된 공간정보로부터 위치 및 방향 정보를 쉽게 확인할 수 있다.
다시 말해, 본 qkfaudds 영상에서 객체를 추적하듯이, 하나의 공간을 분할된 각각의 큰 객체로 보고, 이를 추적하는 방법을 이용함으로써, 카메라에 입력된 이미지만으로 실시간 사용자가 바라보는 위치 및 방향을 인식할 수 있게 된다. 이러한 원리를 이용하면, 영상에서 객체가 움직여도 추적할 수 있듯이, 역으로 사용자의 카메라가 움직여도 공간 및 방향을 추적할 수 있다.
이어, 증강현실 구현부(70)는 상기 위치 및 방향 확인부(60)와 연동하여 증강현실을 구현한다.
증강현실을 구현하는 기술은 이미 알려진 기술이며, 사용자가 바라보는 위치나 방향의 인식하는 것이 핵심이다. 본 발명에서 제안된 기술을 이용하여 사용자가 위치 추적의 오류를 최소화함으로써, 현실 공간에 가상의 객체를 이음매 없이(Seamlessly) 실시간으로 정합할 수 있게 되는 것이다.
도 6은 본 발명에 의한 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스장치를 이용하여, 실제 공간에서 모바일 증강현실을 구현한 예시이다.
도 2는 본 발명에 따른 "딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스방법"을 보인 흐름도로서, S는 단계(step)를 나타낸다.
본 발명에 따른 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스방법은, (a) 공간정보 생성부(20)에서 카메라(10)로 획득한 영상정보로부터 공간을 구성하고, 구성 공간을 분할한 후 딥러닝 기반 알고리즘으로 학습을 하고, 학습 결과를 기초로 공간정보를 생성하는 단계(S101 - S104), (b) 상기 (a)단계에서 생성된 공간 정보를 저장하는 단계(S105), (c) 증강현실 구현시, 공간정보 추출부(40)에서 상기 카메라(10)로부터 획득한 영상정보로부터 영상의 중요한 특징점을 추출하여 공간정보를 추출하는 단계(S106 - S107), (d) 위치 및 방향 확인부(60)에서 상기 (c)단계에서 추출한 공간정보와 저장된 공간정보를 비교하여 사용자의 위치 및 방향을 확인하는 단계(S108 - S109), (e) 증강현실 구현부(70)에서 상기 위치 및 방향 확인부(60)와 연동하여 증강현실을 구현하는 단계(S110)를 포함한다.
상기 (a)단계는 (a1) 카메라로 획득한 영상정보로부터 Visual SLAM(Simultaneous Localization and Mapping)을 이용하여 공간을 구성하는 단계(S101 - S102), (a2) 상기 (a1)단계에서 구성한 공간을 격자(Grid)로 분할하여 분할 공간인 데이터 셋을 생성하는 단계(S103), (a3) 분할된 데이터 셋을 딥러닝 학습 알고리즘인 컨볼루션 신경망(CNN; Convolution Neural Network)으로 학습하는 단계(S104)를 포함한다.
이와 같이 구성된 본 발명에 따른 딥러닝 기반 위치 측위 기술을 이용한 모바일 증강현실 서비스방법을 구체적으로 설명하면 다음과 같다.
먼저, 단계 S101 - S104와 같이 증강현실을 구현하기 이전에 사전 준비 작업으로, 공간정보 생성부(20)에서 카메라(10)로 획득한 실내 공간의 영상정보로부터 공간을 구성하고, 구성 공간을 분할한 후 딥러닝 기반 알고리즘으로 학습을 하고, 학습 결과를 기초로 공간정보를 생성한다.
GPS가 없는 실내에서 스마트폰 사용시, 별도의 추가 하드웨어 인프라를 사용하지 않는 한 어느 위치에서 어느 방향으로 사용중인지를 파악하기 어렵다.
따라서 카메라로 들어오는 이미지 인풋만으로 사용자의 방향과 위치를 확인하기 위해서, 사전 작업으로 실내공간의 정보를 생성하여 저장한다.
즉, 단계 S102에서 공간정보 생성부(20)의 공간 구성부(21)는 상기 카메라(10)로 획득한 실내 영상정보로부터 Visual SLAM(Simultaneous Localization and Mapping)을 이용하여 공간을 구성한다. Visual SLAM을 이용하면 카메라(10)로부터 획득한 실내 공간의 영상에서 중요한 점들을 특징점(feature)으로 추출하고, 이를 키 프레임으로 하여 지도를 작성하는 지도 작성(Map-building) 과정을 통해 공간을 구성한다. 도 3은 상기 Visual SLAM을 이용하여 카메라로 입력된 실내 영상에서 특징점을 추출하고, 지도 작성 방법을 적용하여 사용자 추적(User Tracking)이 가능한 공간을 구성한 예시이다.
다음으로, 공간 분할부(22)는 단계 S103에서 상기 공간 구성부(22)에서 구성한 공간을 격자(Grid)로 분할하여 분할 공간인 데이터 셋을 생성한다. 도 4는 격자(Grid)로 분할 구성된 공간을 데이터 셋(SET P1, Q1 #1)(SET P2, Q2 #2)(SET P3, Q3 #3)으로 생성한 예시이다. 여기서 P는 위치를 나타내고, Q는 방향을 나타낸다.
이어, 공간 학습부(23)는 단계 S104에서 상기 공간 분할부(22)에서 분할된 데이터 셋을 딥러닝 학습 알고리즘인 컨볼루션 신경망(CNN; Convolution Neural Network)으로 학습한다. CNN 알고리즘은 패턴을 직접 찾고 특징을 분류하는 데 직접 학습하기 때문에 수동 작업이 필요하지 않으며, 높은 수준의 인식 결과를 나타내는 장점이 있다.
이렇게 학습된 공간 정보는 단계 S105에서 공간정보 저장부(30)에 저장된다.
상기와 같은 과정을 실시간으로 카메라로 입력되는 인풋 이미지로부터 사용자의 위치 및 방향을 확인하기 위한 사전 준비 과정을 완료한 상태에서, 실제 증강 현실의 구현이 발생하면(S106), 공간정보 추출부(40)는 단계 S107에서 상기 카메라(10)로부터 획득한 영상정보로부터 영상의 중요한 특징점을 추출하여 공간정보를 추출한다. 여기서 인풋 이미지로부터 공간정보를 추출하는 방법으로서, 영상의 중요한 특징점을 추출하여 키프레임 정보를 획득하고, 획득한 키 프레임을 이용하여 공간정보를 추출하는 방법을 이용할 수 있다.
이어, 공간정보 보정부(50)는 단계 S108에서 상기 공간정보 추출부(40)에서 추출한 공간정보의 오차를 보정한다. 실제 공간정보를 획득할 때, 움직임이 심한 경우가 움직임이 아주 적은 경우에 비하여 공간정보 추출에 오차 발생이 크다. 따라서 본 발명은 공간정보 보정부(50)에서 관성측정장치(IMU; Inertial Measurement Unit)와 같은 움직임 정보 획득장치를 부가하거나 기존 스마트폰에 구비된 움직임 측정장치를 이용하여 움직임 정보를 획득하고, 획득한 움직임 정보를 기초로 추출한 공간정보를 보정하여 오차범위를 최소화한다. 여기서 공간정보 보정 과정은 생략될 수도 있다.
마지막으로, 위치 및 방향 확인부(60)는 단계 S109에서 상기 공간정보 보정부(50)에 의해 보정된 공간정보 또는 상기 공간정보 추출부(40)에서 추출한 공간정보를 상기 공간정보 저장부(30)에 저장된 공간정보와 비교하여 사용자의 위치 및 방향을 실시간으로 확인한다. 예컨대, 공간정보를 구분하는 키 프레임 정보를 이용하면 공간정보 저장부(30)에 저장된 공간정보로부터 위치 및 방향 정보를 쉽게 확인할 수 있다.
다시 말해, 본 발명은 영상에서 객체를 추적하듯이, 하나의 공간을 분할된 각각의 큰 객체로 보고, 이를 추적하는 방법을 이용함으로써, 카메라에 입력된 이미지만으로 실시간 사용자가 바라보는 위치 및 방향을 인식할 수 있게 된다. 이러한 원리를 이용하면, 영상에서 객체가 움직여도 추적할 수 있듯이, 역으로 사용자의 카메라가 움직여도 공간 및 방향을 추적할 수 있다.
이어, 증강현실 구현부(70)는 단계 S11에서 상기 위치 및 방향 확인부(60)와 연동하여 증강현실을 구현한다.
증강현실을 구현하는 기술은 이미 알려진 기술이며, 사용자가 바라보는 위치나 방향의 인식하는 것이 핵심이다. 본 발명에서 제안된 기술을 이용하여 사용자가 위치 추적의 오류를 최소화함으로써, 현실 공간에 가상의 객체를 이음매 없이(Seamlessly) 실시간으로 정합할 수 있게 되는 것이다.
이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명하다.
10: 카메라
20: 공간정보 생성부
21: 공간 구성부
22: 공간 분할부
23: 공간 학습부
30: 공간정보 저장부
40: 공간정보 추출부
50: 공간정보 보정부
60: 위치 및 방향 확인부
70: 증강현실 구현부

Claims (5)

  1. 딥러닝 기반 위치측위 기술을 이용하여 모바일 증강현실을 구현하기 위한 장치로서,
    카메라로 획득한 영상정보로부터 공간을 구성하고, 구성 공간을 분할한 후 딥러닝 기반 알고리즘으로 학습을 하고, 학습 결과를 기초로 공간정보를 생성하는 공간정보 생성부를 형성하되, 상기 공간정보 생성부는 카메라로 획득한 영상정보로부터 Visual SLAM(Simultaneous Localization and Mapping)을 이용하여 공간을 구성하는 공간 구성부와, 상기 공간 구성부에서 구성한 공간을 격자(Grid)로 분할하여 분할 공간인 데이터 셋을 생성하는 공간 분할부와, 상기 공간 분할부에서 분할된 데이터 셋을 딥러닝 학습 알고리즘인 컨볼루션 신경망(CNN; Convolution Neural Network)으로 학습하는 공간 학습부를 포함하고,
    상기 공간정보 생성부에서 생성된 공간 정보를 저장하는 공간정보 저장부;
    증강현실 구현시 상기 카메라로부터 획득한 영상정보로부터 영상의 중요한 특징점을 추출하여 공간정보를 추출하는 공간정보 추출부;
    상기 공간정보 추출부에서 추출한 공간정보를 상기 공간정보 저장부에 저장된 공간정보와 비교하여 사용자의 위치 및 방향을 확인하는 위치 및 방향 확인부를 포함하고,
    상기 위치 및 방향 확인부는 관성측정장치(IMU; Inertial Measurement Unit)로부터 획득한 움직임 정보를 기초로 상기 추출한 공간정보를 보정하여 분할된 격자가 어느 격자 위치에 있는지 추정하는 것을 특징으로 하는 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스장치.
  2. 삭제
  3. 딥러닝 기반 위치측위 기술을 이용하여 모바일에서 증강현실을 서비스하기 위한 방법으로서,
    (a) 공간정보 생성부에서 카메라로 획득한 영상정보로부터 공간을 구성하고, 구성 공간을 분할한 후 딥러닝 기반 알고리즘으로 학습을 하고, 학습 결과를 기초로 공간정보를 생성하는 단계로 이루어지되, 그 단계는 (a1) 카메라로 획득한 영상정보로부터 Visual SLAM(Simultaneous Localization and Mapping)을 이용하여 공간을 구성하는 단계와, (a2) 상기 (a1)단계에서 구성한 공간을 격자(Grid)로 분할하여 분할 공간인 데이터 셋을 생성하는 단계와, (a3) 분할된 데이터 셋을 딥러닝 학습 알고리즘인 컨볼루션 신경망(CNN; Convolution Neural Network)으로 학습하는 단계를 포함하고,
    (b) 상기 (a)단계에서 생성된 공간 정보를 저장하는 단계;
    (c) 증강현실 구현시, 공간정보 추출부에서 상기 카메라로부터 획득한 영상정보로부터 영상의 중요한 특징점을 추출하여 공간정보를 추출하는 단계; 및
    (d) 위치 및 방향 확인부에서 상기 (c)단계에서 추출한 공간정보와 저장된 공간정보를 비교하여 사용자의 위치 및 방향을 확인하는 단계를 포함하는 것을 특징으로 하는 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스방법.
  4. 청구항 3에서, 상기 (d)단계는 추출한 공간정보의 움직임 정보를 기초로 오차를 보정한 후 저장된 공간정보와 비교하는 것을 특징으로 하는 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스방법.
  5. 삭제
KR1020190087889A 2019-07-19 2019-07-19 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스장치 및 방법 KR102166586B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190087889A KR102166586B1 (ko) 2019-07-19 2019-07-19 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190087889A KR102166586B1 (ko) 2019-07-19 2019-07-19 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스장치 및 방법

Publications (1)

Publication Number Publication Date
KR102166586B1 true KR102166586B1 (ko) 2020-10-16

Family

ID=73035251

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190087889A KR102166586B1 (ko) 2019-07-19 2019-07-19 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스장치 및 방법

Country Status (1)

Country Link
KR (1) KR102166586B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230186571A1 (en) * 2020-10-06 2023-06-15 Samsung Electronics Co., Ltd. Electronic device and operating method thereof
US11847746B2 (en) 2020-12-03 2023-12-19 Electronics And Telecommunications Research Institute Server and method for generating best view spots

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140146889A (ko) * 2013-06-18 2014-12-29 엘지전자 주식회사 전자장치 및 전자장치의 동작방법
KR101898075B1 (ko) 2017-12-29 2018-09-12 주식회사 버넥트 공간 인식 및 사물 인식이 동시에 적용된 증강현실 시스템
KR20190007632A (ko) * 2017-07-13 2019-01-23 한국과학기술원 3차원 지도를 작성하여 사물 위치를 인지하는 운반용 드론
KR101971791B1 (ko) 2017-09-28 2019-04-23 한국과학기술원 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템 및 그 방법
KR20190048738A (ko) * 2017-10-31 2019-05-09 에스케이텔레콤 주식회사 증강현실용 컨텐츠 제공 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140146889A (ko) * 2013-06-18 2014-12-29 엘지전자 주식회사 전자장치 및 전자장치의 동작방법
KR20190007632A (ko) * 2017-07-13 2019-01-23 한국과학기술원 3차원 지도를 작성하여 사물 위치를 인지하는 운반용 드론
KR101971791B1 (ko) 2017-09-28 2019-04-23 한국과학기술원 가시광 통신을 이용한 실내공간의 증강현실 제공 시스템 및 그 방법
KR20190048738A (ko) * 2017-10-31 2019-05-09 에스케이텔레콤 주식회사 증강현실용 컨텐츠 제공 장치 및 방법
KR101898075B1 (ko) 2017-12-29 2018-09-12 주식회사 버넥트 공간 인식 및 사물 인식이 동시에 적용된 증강현실 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230186571A1 (en) * 2020-10-06 2023-06-15 Samsung Electronics Co., Ltd. Electronic device and operating method thereof
US11830155B2 (en) * 2020-10-06 2023-11-28 Samsung Electronics Co., Ltd. Electronic device and operating method thereof
US11847746B2 (en) 2020-12-03 2023-12-19 Electronics And Telecommunications Research Institute Server and method for generating best view spots

Similar Documents

Publication Publication Date Title
CN101833896B (zh) 基于增强现实的地理信息指引方法与系统
KR101761751B1 (ko) 직접적인 기하학적 모델링이 행해지는 hmd 보정
CN107004275B (zh) 确定实物至少一部分的3d重构件空间坐标的方法和系统
EP3149698B1 (en) Method and system for image georegistration
Zollmann et al. Augmented reality for construction site monitoring and documentation
US10482659B2 (en) System and method for superimposing spatially correlated data over live real-world images
KR101056418B1 (ko) 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법
JP2015532077A (ja) 少なくとも１つの画像を撮影する撮影装置に関連する装置の位置及び方向の決定方法
WO2018019272A1 (zh) 基于平面检测实现增强现实的方法及装置
CN112037314A (zh) 图像显示方法、装置、显示设备及计算机可读存储介质
CN107665508B (zh) 实现增强现实的方法及系统
CN104160426A (zh) 图像处理装置和图像处理方法
Hübner et al. Marker-based localization of the microsoft hololens in building models
CN110260866A (zh) 一种基于视觉传感器的机器人定位与避障方法
KR102166586B1 (ko) 딥러닝 기반 위치측위 기술을 이용한 모바일 증강현실 서비스장치 및 방법
US11395102B2 (en) Field cooperation system and management device
JP2021136017A (ja) 仮想オブジェクトを作成し、レンダリングするための視覚的オブジェクト認識及び記憶された幾何学形状を使用する拡張現実システム
JP2005339127A (ja) 画像情報表示装置及び画像情報表示方法
Höllerer et al. “Anywhere augmentation”: Towards mobile augmented reality in unprepared environments
JP6061334B2 (ja) 光学式シースルー型ｈｍｄを用いたａｒシステム
AU2020103993A4 (en) Mobile augmented reality service apparatus and method using deep learning based positioning technology
McIlroy et al. Kinectrack: 3d pose estimation using a projected dense dot pattern
EP3486875B1 (en) Apparatus and method for generating an augmented reality representation of an acquired image
KR101683763B1 (ko) 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 시스템 및 방법
Schall et al. 3D tracking in unknown environments using on-line keypoint learning for mobile augmented reality

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant