KR102460032B1 - 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템 및 이를 위한 동작 방법 - Google Patents

인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템 및 이를 위한 동작 방법 Download PDF

Info

Publication number
KR102460032B1
KR102460032B1 KR1020220043228A KR20220043228A KR102460032B1 KR 102460032 B1 KR102460032 B1 KR 102460032B1 KR 1020220043228 A KR1020220043228 A KR 1020220043228A KR 20220043228 A KR20220043228 A KR 20220043228A KR 102460032 B1 KR102460032 B1 KR 102460032B1
Authority
KR
South Korea
Prior art keywords
constellation information
information
user terminal
constellation
indoor
Prior art date
Application number
KR1020220043228A
Other languages
English (en)
Inventor
박세찬
서승원
구본익
Original Assignee
핑퐁 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 핑퐁 주식회사 filed Critical 핑퐁 주식회사
Priority to KR1020220043228A priority Critical patent/KR102460032B1/ko
Application granted granted Critical
Publication of KR102460032B1 publication Critical patent/KR102460032B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 일 실시 예에 따른 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템을 위한 동작 방법은, 스토리 라인을 위한 경로를 따라 특정 공간 내에서 이동 중인 사용자 단말의 현재 위치와 연관된 제1 별자리 정보를 사용자 단말로부터 수신하는 단계; 특정 공간을 위해 미리 저장된 복수의 별자리 정보 중에서 제1 별자리 정보를 기준으로 미리 설정된 범위에 속하는 하나 이상의 제2 별자리 정보를 생성하는 단계; 미리 설정된 포지셔닝 신경망을 적용하여 제1 별자리 정보 및 하나 이상의 제2 별자리 정보를 기반으로 하나 이상의 후보 별자리 정보를 생성하는 단계; 하나 이상의 후보 별자리 정보를 기반으로 사용자 단말의 현재 위치를 추정하는 단계; 추정된 현재 위치가 미리 설정된 영역에 포함되는지 여부를 판단하는 단계; 및 추정된 현재 위치가 미리 설정된 영역에 포함될 때, 영상 기반 측위 모듈을 활성화시키는 단계를 포함한다.

Description

인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템 및 이를 위한 동작 방법{AUGMENTED REALITY CONTENT PROVIDING SYSTEM USING ARTIFICIAL INTELLIGENCE-BASED INDOOR POSITIONING TECHNIQUE AND OPERATING METHOD THEREOF}
본 명세서는 증강현실 콘텐츠 제공 시스템 및 이를 위한 동작 방법에 관한 것으로, 더 구체적으로 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템 및 이를 위한 동작 방법에 관한 것이다.
최근 디지털 트윈, 증강현실 또는 가상현실과 같이 현실 좌표계의 위치를 다루거나 현실과 가상세계를 융합하는 기술의 구현을 위하여 실내 공간에서의 측위 기술은 반드시 필요하다.
다만, 실내 공간에서는 GPS 데이터를 사용할 수 없기에 실내 위치 지정 및 네비게이션 설정은 어려운 문제이다. 기존의 증강현실 콘텐츠는 실내에서 층 구분이 불가능하기 때문에, 층에 관계없이 동일한 콘텐츠를 사용하거나 QR 인식을 통한 단절적 콘텐츠를 제공하고 있는 실정이다.
한편, 와이파이(wifi), 블루투스(BLE) 또는 LTE와 같은 무선수신신호의 세기에 기초한 다변측위(Multilateration) 기법 즉, 핑거 프린팅(Finger printing) 방식이 적용된 실내 측위 시스템은 별도 고가의 장비의 사용 없이도 스마트폰을 통해 수집 가능한 신호들과 비교적 간단한 수학적 모델링을 이용하여 임의의 실내 공간의 임의의 거리에서의 수신신호세기를 연산할 수 있다.
다만, 핑거 프린팅 방식의 적용 시 무선 신호의 경로에 존재하는 장애물, 온도 및 습도와 같은 측정 환경의 변화에 따라 무선 신호의 특성이 쉽게 변화하여 측정 결과가 불안정한 부분이 존재한다. 또한, 핑거 프린팅 방식의 적용 시 특정한 공간(가벽 또는 넓은 공간)에서는 정확한 사용자 단말의 측위에 어려움이 있다.
종래 제안으로 '센서 영상에 기반한 실내측위 장치 및 실내측위 방법'에 관한 한국등록특허 제10-1767743 호를 참조할 수 있다.
본 명세서의 목적은 실내 공간에서 사용자가 위치한 층과 구획을 보다 정확하게 예측함으로써 사용자와 증강현실 내 가상 물체와의 다양한 인터렉션을 보다 원활히 구현할 수 있는 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템 및 이를 위한 동작 방법을 제공하는데 있다.
본 일 실시 예에 따른 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템을 위한 동작 방법은, 스토리 라인을 위한 경로를 따라 특정 공간 내에서 이동 중인 사용자 단말의 현재 위치와 연관된 제1 별자리 정보를 사용자 단말로부터 수신하는 단계; 특정 공간을 위해 미리 저장된 복수의 별자리 정보 중에서 제1 별자리 정보를 기준으로 미리 설정된 범위에 속하는 하나 이상의 제2 별자리 정보를 생성하는 단계; 미리 설정된 포지셔닝 신경망을 적용하여 제1 별자리 정보 및 하나 이상의 제2 별자리 정보를 기반으로 하나 이상의 후보 별자리 정보를 생성하는 단계; 하나 이상의 후보 별자리 정보를 기반으로 사용자 단말의 현재 위치를 추정하는 단계; 추정된 현재 위치가 미리 설정된 영역에 포함되는지 여부를 판단하는 단계; 및 추정된 현재 위치가 미리 설정된 영역에 포함될 때, 영상 기반 측위 모듈을 활성화시키는 단계를 포함한다.
본 명세서의 일 실시 예에 따르면, 실내 공간에서 사용자가 위치한 층과 구획을 보다 정확하게 예측함으로써 사용자와 증강현실 내 가상 물체와의 다양한 인터렉션을 보다 원활히 구현할 수 있는 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템 및 이를 위한 동작 방법이 제공된다.
도 1은 본 일 실시 예에 따른 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템의 네트워크 환경을 나타내는 블록도이다.
도 2는 본 일 실시 예에 따른 전자 기기 및 서버의 내부 구성을 나타내는 블록도이다.
도 3는 본 일 실시 에에 따른 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템에서 사용자에 의해 생성되는 경로를 예시적으로 보여준다.
도 4는 본 일 실시 에에 따른 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템을 위한 실내 별자리 정보를 설명하기 위한 도면이다.
도 5는 본 일 실시 에에 따른 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템을 나타내는 블록도이다.
도 6은 본 일 실시 에에 따른 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템을 위한 포지셔닝 신경망의 설계를 예시적으로 보여준다.
도 7는 본 일 실시 에에 따른 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템의 동작 방법을 나타내는 순서도이다.
도 8은 본 일 실시 에에 따른 영상 기반 측위 모듈의 세부 동작을 나타내는 순서도이다.
도 9는 본 일 실시 에에 따른 영상 기반 측위 모듈에 의해 장면 분류 동작이 수행되는 과정을 나타내는 순서도이다.
도 10은 본 일 실시 에에 따른 영상 기반 측위 모듈에 의해 실내 위치 정보의 생성 동작이 수행되는 과정을 나타내는 순서도이다.
전술한 특성 및 이하 상세한 설명은 모두 본 명세서의 설명 및 이해를 돕기 위한 예시적인 사항이다. 즉, 본 명세서는 이와 같은 실시 예에 한정되지 않고 다른 형태로 구체화될 수 있다. 다음 실시 형태들은 단지 본 명세서를 완전히 개시하기 위한 예시이며, 본 명세서가 속하는 기술 분야의 통상의 기술자들에게 본 명세서를 전달하기 위한 설명이다. 따라서, 본 명세서의 구성 요소들을 구현하기 위한 방법이 여럿 있는 경우에는, 이들 방법 중 특정한 것 또는 이와 동일성 있는 것 가운데 어떠한 것으로든 본 명세서의 구현이 가능함을 분명히 할 필요가 있다.
본 명세서에서 어떤 구성이 특정 요소들을 포함한다는 언급이 있는 경우, 또는 어떤 과정이 특정 단계들을 포함한다는 언급이 있는 경우는, 그 외 다른 요소 또는 다른 단계들이 더 포함될 수 있음을 의미한다. 즉, 본 명세서에서 사용되는 용어들은 특정 실시 형태를 설명하기 위한 것일 뿐이고, 본 명세서의 개념을 한정하기 위한 것이 아니다. 나아가, 발명의 이해를 돕기 위해 설명한 예시들은 그것의 상보적인 실시 예도 포함한다.
본 명세서에서 사용되는 용어들은 본 명세서가 속하는 기술 분야의 통상의 기술자들이 일반으로 이해하는 의미를 갖는다. 보편적으로 사용되는 용어들은 본 명세서의 맥락에 따라 일관적인 의미로 해석되어야 한다. 또한, 본 명세서에서 사용되는 용어들은, 그 의미가 명확히 정의된 경우가 아니라면, 지나치게 이상적이거나 형식적인 의미로 해석되지 않아야 한다. 이하 첨부된 도면을 통하여 본 명세서의 실시 예가 설명된다.
도 1은 본 일 실시 예에 따른 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템의 네트워크 환경을 나타내는 블록도이다.
도 1을 참조하면, 본 일 실시 예에 따른 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템의 네트워크 환경은 하나 이상의 전자 기기(110, 120, 130, 140), 하나 이상의 서버(150, 160) 및 네트워크(170)를 포함할 수 있다.
예를 들어, 도 1의 하나 이상의 전자 기기(110, 120, 130, 140)는 컴퓨터 장치로 구현되는 고정형 단말 혹은 이동형 단말일 수 있다. 또한, 하나 이상의 전자 기기(110, 120, 130, 140)는 스마트폰(smart phone), 휴대폰, 태블릿 PC, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말 또는 PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 등 일 수 있다.
일 예로, 제1 전자 기기(110)는 무선 또는 유선 통신 방식을 기반으로 네트워크(170)를 통해 다른 전자 기기(120, 130, 140) 및/또는 서버(150, 160)와 통신할 수 있다.
여기서, 네트워크(170)에 적용되는 통신 방식은 제한되지 않으며, 네트워크(170)는 PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다.
또한, 네트워크(170)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않음은 이해될 것이다.
참고로, 도 1에 도시된 전자 기기 또는 서버의 개수는 일 예일 뿐이며, 본 명세서가 도 1에 의해 한정되는 것이 아님은 이해될 것이다.
하나 이상의 서버(150, 160) 각각은 하나 이상의 전자 기기들(110, 120, 130, 140)과 네트워크(170)를 통해 통신하며 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다
한편, 본 명세서에서 언급되는 하나 이상의 서버(150, 160) 중 적어도 하나는 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템과 상응할 수 있다.
일 예로, 제1 서버(150)는 네트워크(170)를 통해 접속한 제1 전자 기기(110)로 어플리케이션의 설치를 위한 파일을 제공할 수 있다. 이 경우, 제1 전자 기기(110)는 제1 서버(150)로부터 제공된 파일을 이용하여 어플리케이션을 설치할 수 있다.
이어, 제1 전자 기기(110)는 제1 전자 기기(110)의 운영체제(Operating System, OS) 또는 적어도 하나의 프로그램(예로, 브라우저 또는 설치된 어플리케이션)의 제어에 따라 제1 서버(150)에 접속함으로써 제1 서버(150)에 의해 제공되는 서비스나 컨텐츠를 제공받을 수 있다.
이 경우, 제1 전자 기기(110)가 어플리케이션의 제어에 따라 네트워크(170)를 통해 서비스 요청 메시지를 제1 서버(150)로 전송하면, 제1 서버(150)는 서비스 요청 메시지에 대응하는 코드를 제1 전자 기기(110)로 전송할 수 있다. 이어, 제1 전자 기기(110)는 어플리케이션의 제어에 따라 코드에 따른 화면을 구성하여 표시함으로써 사용자에게 컨텐츠를 제공할 수 있다.
도 2는 본 일 실시 예에 따른 전자 기기 및 서버의 내부 구성을 나타내는 블록도이다.
도 1 및 도 2를 참조하면, 도 2의 제1 전자기기(210)은 앞선 도 1의 제1 전자기기(110)와 상응하고, 도 2의 제1 서버(250)는 앞선 도 1의 제1 서버(150)와 상응하는 구성일 수 있다.
한편, 앞선 도 1의 다른 전자기기(120, 130, 140)와 제2 서버(160) 역시 도 2에 도시된 구성요소와 동일하거나 유사한 구성요소를 포함하도록 구현될 수 있음은 이해될 것이다.
도 2의 제1 전자기기(210)는 메모리(211), 프로세서(212), 통신모듈(213) 및 입출력 인터페이스(214)를 포함할 수 있다.
예를 들어, 메모리(211)는 컴퓨터에서 판독 가능한 기록 매체이며, RAM(Random Access Memory), ROM(Read Only Memory) 및 디스크 드라이브와 같은 비휘발성 대용량 기록장치(Non-volatile mass storage device)를 포함할 수 있다.
한편, 메모리(211)에는 운영체제 또는 적어도 하나의 프로그램 코드가 저장될 수 있고, 이러한 소프트웨어 구성요소들(즉, 운영체제 또는 적어도 하나의 프로그램 코드)은 메모리(211)와는 별도의 컴퓨터의 판독 가능한 기록 매체로부터 로딩될 수 있다.
다른 실시 예에서, 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 통신 모듈(213)을 통해 메모리(211)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템(예로, 150)이 네트워크(170)를 통해 제공하는 파일들에 의해 설치되는 프로그램(일례로, 어플리케이션)에 기반하여 메모리(211)에 로딩될 수 있다.
예를 들어, 프로세서(212)는 기본적인 산술, 로직 및 입출력 연산을 수행할 수 있다. 또한, 프로세서(212)는 컴퓨터 프로그램의 명령을 처리하도록 구현될 수 있다.
여기서, 명령은 메모리(211) 또는 통신 모듈(213)에 의해 프로세서(212)로 제공될 수 있다. 즉, 프로세서(212)는 메모리(211)와 같은 기록 장치에 저장된 프로그램 코드에 따른 명령을 실행하도록 구현될 수 있다.
도 2의 통신 모듈(213)은 네트워크(270)를 통해 제1 전자 기기(210)와 서버(250)가 서로 통신하기 위한 기능을 제공할 수 있으며, 다른 전자 기기(예로, 120) 또는 다른 서버(예로, 160)와 통신하기 위한 기능을 제공할 수 있다.
일 예로, 제1 전자 기기(210)의 프로세서(212)는 통신 모듈(213)을 제어함으로써 메모리(211)에 저장된 프로그램 코드에 따른 요청을 네트워크(270)를 통해 서버(250)로 전달할 수 있다.
다른 일 예로, 서버(250)의 프로세서(252)의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠 및 파일 등이 통신 모듈(223)과 네트워크(270)를 거쳐 제1 전자 기기(210)의 통신 모듈(213)을 통해 제1 전자 기기(210)로 수신될 수 있다.
예를 들어, 통신 모듈(213)을 통해 수신된 서버(250)의 제어 신호나 명령 등은 프로세서(212)나 메모리(211)로 전달될 수 있다.
도 2의 입출력 인터페이스(214)는 입출력 장치(215)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 이미지 센서(즉, RGB 카메라), 키보드 또는 마우스 등의 장치일 수 있고, 출력 장치는 어플리케이션의 통신 세션을 표시하기 위한 디스플레이와 같은 장치를 포함할 수 있다.
다른 예로, 입출력 인터페이스(214)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 또한, 입출력 인터페이스(214)는 입출력 장치(215)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 이미지 센서(즉, RGB 카메라), 키보드 또는 마우스 등의 장치일 수 있고, 출력 장치는 어플리케이션의 통신 세션을 표시하기 위한 디스플레이와 같은 장치를 포함할 수 있다.
다른 예로, 입출력 인터페이스(214)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 보다 구체적인 예로, 제1 전자 기기(210)의 프로세서(212)는 메모리(211)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 서버(250)나 제2 전자 기기(220)가 제공하는 데이터를 이용하여 구성되는 서비스 화면이나 컨텐츠가 입출력 인터페이스(214)를 통해 디스플레이에 표시될 수 있다.
또한, 도 2의 제1 서버(250)는 메모리(251), 프로세서(252), 통신모듈(253) 및 입출력 인터페이스(254)를 포함할 수 있다. 여기서, 제1 서버(250)에 포함되는 구성요소는 제1 전자기기(210)의 구성요소에 대하여 전술한 설명으로 대체될 수 있음은 이해될 것이다.
이하, 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템 및 이를 위한 동작 방법의 구체적인 실시 예가 설명된다.
도 3는 본 일 실시 에에 따른 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템에서 사용자에 의해 생성되는 경로를 예시적으로 보여준다.
도 1 내지 도 3을 참조하면, 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템의 사용자는 실내 특정 공간에 대한 자신만의 스토리 라인을 위한 경로(P1~P8)를 생성할 있다.
예를 들어, 도 3의 실내의 특정 공간(F)에는 하나 이상의 가벽으로 형성된 구획(W)이 존재할 수 있다.
본 명세서에서 후술되는 실내 별자리 정보를 이용하여 사용자의 위치를 예측하는 방식은 도 3의 하나 이상의 가벽으로 형성된 구획(W)을 인식하기 어려울 수 있다.
다시 말해, 자신만의 스토리 라인을 위한 경로(P1~P8) 중에서 하나 이상의 가벽으로 형성된 구획(W)에 포함된 일부 경로(P4~P8)에서는 사용자와 증강현실 내 가상 물체와의 다양한 인터렉션의 구현에 다소 제약이 발생할 수 있다.
이에 따라, 본 명세서에서는 실내 별자리 정보와 함께 영상 인식을 이용하여 사용자의 위치를 보다 정확하게 도출할 수 있는 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템을 제공하고자 한다.
도 4는 본 일 실시 에에 따른 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템을 위한 실내 별자리 정보를 설명하기 위한 도면이다.
도 1 내지 도 4를 참조하면, 실내 별자리 정보는 다중 복합 신호의 해쉬 기반 공간화(hash-based spatialization)와 연관된 키(key) 정보 및 다중 복합 신호의 정규화 및 컬러링(normalization & coloring)과 연관된 값(value) 정보를 기반으로 사용자의 현재 위치를 나타내기 위하여 생성될 수 있다.
구체적으로, 다중 복합 신호는 모바일 네트워크 신호, 블루투스 신호, 와이파이 신호 및 GPS 신호 등을 의미할 수 있다.
일 예로, 키(key) 정보는 무선 신호의 코디네이트(coordinate) 및 컬러(color)와 연관될 수 있다. 또한, 값(value) 정보는 무선 신호의 세기와 연관될 수 있다.
한편, 다중 복합 신호를 이미지화하여 도 3과 같은 실내 별자리 정보로 생성하는 방법은 대한민국 등록특허 제10-1767743 호를 참조하여 충분히 이해될 수 있다.
도 5는 본 일 실시 에에 따른 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템을 나타내는 블록도이다.
도 1 내지 도 5를 참조하면, 도 5의 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템(500)은 실내 측위 장치(510) 및 데이터 베이스 장치(520)를 포함할 수 있다.
예를 들어, 실내 측위 장치(510)는 전술한 도 2의 제1 서버(250)와 상응하는 구성으로 이해될 수 있으며, 데이터 베이스 장치(520)는 별도로 구비된 클라우드 서버로 이해될 수 있다.
도 5의 실내 측위 장치(510)는 데이터 수신 모듈(511), 무선신호 기반 측위 모듈(513) 및 영상 기반 측위 모듈(515)를 포함할 수 있다.
예를 들어, 데이터 수신 모듈(511)은 사용자 단말(미도시)의 위치와 연관된 실내 별자리 정보(3)를 수신할 수 있다.
여기서, 사용자 단말(미도시)의 위치와 연관된 실내 별자리 정보(3)는 사용자 단말(미도시)에서 측정된 다중 복합 신호를 기반으로 생성된 사용자 단말의 현재 위치를 지시하는 정보일 수 있다.
예를 들어, 무선신호 기반 측위 모듈(513)은 퍼셉트론(뉴런, 신경세포) 단위에서 2개의 입력을 받도록 설계된 포지셔닝 신경망(PNN; Positioning Neural Network)을 기반으로 구현될 수 있다.
여기서, 포지셔닝 신경망은 입력층과 출력층 사이에 은닉층을 포함하는 인공신경망인 심층 신경망(DNN; Deep Neural Network)을 의미할 수 있다.
일 예로, 무선신호 기반 측위 모듈(513)은 데이터 수신 모듈(511)을 통해 수신된 사용자 단말(미도시)과 연관된 실내 별자리 정보를 하나의 입력(즉, 제1 별자리 정보)으로 할 수 있다.
또한, 무선신호 기반 측위 모듈(513)은 사용자 단말(미도시)로부터 수신된 실내 별자리 정보(즉, 제1 별자리 정보)를 기초로 데이터 베이스 장치(520)에서 검색된 하나 이상의 실내 별자리 정보(즉, 제2 별자리 정보)를 생성할 수 있다.
이 경우, 도 5의 데이터 베이스 장치(520)는 미리 저장된 복수의 별자리 정보 중에서 사용자 단말(미도시)로부터 수신된 실내 별자리 정보(즉, 제1 별자리 정보)를 기준으로 미리 설정된 범위에 속하는 하나 이상의 실내 별자리 정보(즉, 제2 별자리 정보)를 생성할 수 있다.
이어, 데이터 베이스 장치(520)에서 생성된 하나 이상의 실내 별자리 정보(즉, 제2 별자리 정보)는 무선신호 기반 측위 모듈(513)로 전달될 수 있다. 일 예로, 미리 저장된 복수의 별자리 정보는 앞선 도 3의 실내의 특정 공간(F)의 각 지점(P1~P8)과 연관된 별자리 정보를 포함할 수 있다.
보다 구체적으로, 무선신호 기반 측위 모듈(513)은 사용자 단말(미도시)과 연관된 제1 별자리 정보와 데이터베이스 장치(520)와 연관된 하나 이상의 제2 별자리 정보와 일대일 비교를 수행할 수 있다.
이어, 무선신호 기반 측위 모듈(513)은 제1 별자리 정보와 하나 이상의 제2 별자리 정보 사이의 유사도 차이를 정량적인 거리로 환산하여 정량적으로 가장 가까운 거리에 위치한 하나 이상(예로, 3개 내지 5개)의 후보 별자리 정보를 정의할 수 있다.
이어, 무선신호 기반 측위 모듈(513)은 하나 이상의 후보 별자리 정보를 기반으로 다변 측량을 수행하여 사용자 단말(미도시)의 현재 위치를 추정할 수 있다.
한편, 제1 별자리 정보와 하나 이상의 제2 별자리 정보 사이의 유사도 차이를 거리로 환산하여 가장 가까운 거리에 위치한 하나 이상(예로, 3개 내지 5개)의 후보 별자리 정보를 정의하기 위하여, 3차원 활성화 함수는 무선신호 기반 측위 모듈(513)의 포지셔닝 신경망(PNN)의 퍼셉트론에 적용될 수 있다.
또한, 포지셔닝 신경망(PNN)의 학습에서 발생하는 비용 함수의 값(즉, 3차원 활성화 함수의 결과 값)의 불연속은 이산 구배 하강 알고리즘(Discrete gradient descent algorithm)을 이용하여 최적화될 수 있다.
참고로, 포지셔닝 신경망(PNN) 및 이산 구배 하강 알고리즘에 관하여는 대한민국 공개특허 제10-2021-0048697 호를 참조하여 충분히 이해될 수 있다.
예를 들어, 영상 기반 측위 모듈(515)은 사용자 단말(미도시)이 미리 설정된 경로(예로, 도 3의 P1~P8)를 따라 이동하는 과정에서 미리 설정된 영역에 진입한다고 판단될 때 활성화될 수 있다.
또한, 영상 기반 측위 모듈(515)에 구현되는 ConvNet(CNN, Convolutional Neural Network)는 이미지의 공간 정보를 유지하면서 인접 이미지와의 특징을 효과적으로 인식하고 강조할 수 있도록 이미지를 분류하는 네트워크와 이미지의 특징을 추출하는 네트워크를 포함할 수 있다.
본 일 실시 예에 따른 영상 기반 측위 모듈(515)의 동작에 관하여는 후술되는 도 8 내지 도 10을 참조하여 상세하게 설명된다.
도 6은 본 일 실시 에에 따른 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템을 위한 포지셔닝 신경망의 설계를 예시적으로 보여준다.
도 1 내지 도 6을 참조하면, 본 일 실시 예에 따른 포지셔닝 신경망을 위한 퍼셉트론은 사용자 단말과 연관된 제1 별자리 정보(S1)를 제1 입력으로, 데이터베이스 장치(520)에서 검색된 별자리 정보(S2)를 제2 입력으로 하도록 구현될 수 있다.
도 7는 본 일 실시 에에 따른 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템의 동작 방법을 나타내는 순서도이다.
도 1 내지 도 7을 참조하면, S710 단계에서, 본 일 실시 에에 따른 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템은 실내 및 실외를 포함하는 특정 공간에서 사용자 자신의 스토리 라인을 위한 경로(예로, 도 3의 P1~P8)를 생성할 수 있다.
S720 단계에서, 본 일 실시 에에 따른 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템은 사용자 단말의 현재 위치와 연관된 제1 별자리 정보를 수신할 수 있다.
여기서, 제1 별자리 정보는 다중 복합 신호의 해쉬 기반 공간화(hash-based spatialization)와 연관된 키(key) 정보 및 다중 복합 신호의 정규화 및 컬러링(normalization & coloring)과 연관된 값(value) 정보를 기반으로 사용자의 현재 위치를 나타낼 수 있다.
예를 들어, 제1 별자리 정보는 실내의 특정 공간에 위치한 사용자 단말(미도시)에서 측정된 다중 복합 신호를 기반으로 생성된 사용자 단말의 현재 위치를 지시하는 정보일 수 있다.
일 예로, 다중 복합 신호는 실내의 특정 공간의 모바일 네트워크 신호, 블루투스 신호, 와이파이 신호 및 GPS 신호 등을 의미할 수 있다.
S730 단계에서, 본 일 실시 에에 따른 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템은 제1 별자리 정보에 상응하는 하나 이상의 제2 별자리 정보를 생성할 수 있다.
여기서, 하나 이상의 제2 별자리 정보는 데이터 베이스 장치(예로, 도 5의 520)에 미리 저장된 복수의 별자리 정보 중에서 제1 별자리 정보를 기준으로 미리 설정된 범위에 속하는 하나 이상의 실내 별자리 정보를 포함할 수 있다.
S740 단계에서, 본 일 실시 에에 따른 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템은 포지셔닝 신경망의 적용으로 하나 이상의 후보 별자리 정보를 생성할 수 있다.
여기서, 하나 이상의 후보 별자리 정보는 제1 별자리 정보와 하나 이상의 제2 별자리 정보 사이의 유사도 차이를 정량적인 거리로 환산하여 정량적으로 가장 가까운 거리에 위치한 하나 이상(예로, 3개 내지 5개)의 후보 별자리 정보로 정의될 수 있다.
S750 단계에서, 본 일 실시 에에 따른 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템은 하나 이상의 후보 별자리 정보를 기반으로 사용자 단말의 위치를 추정할 수 있다.
예를 들어, 사용자 단말의 전체 경로(예로, 도 3의 P1~P8) 중에서 일부 경로(예로, 도 3의 P1~P3)에서 활성화된 무선신호 기반 측위 모듈(예로, 도 5의 513)은 종래 다변측위(Multilateration) 기법의 적용으로 사용자 단말의 위치를 추정할 수 있다.
S760 단계에서, 본 일 실시 에에 따른 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템은 사용자 단말의 추정된 위치가 미리 설정된 영역에 포함되는지 여부를 판단할 수 있다.
예를 들어, 미리 설정된 영역은 하나 이상의 가벽으로 형성된 구획(예로, 도 3의 W)으로 이해될 수 있다. 즉, 미리 설정된 영역은 무선 신호의 투과 현상 등으로 정확한 사용자 단말의 위치가 파악이 어려운 영역이라고 이해될 수 있다.
결국, 사용자 단말이 미리 설정된 영역을 이동 중이라고 판단 시 S770 단계가 수행되고, 사용자 단말이 미리 설정된 영역이 아닌 나머지 영역을 이동 중이라고 판단 시에는 수순이 종료될 수 있다.
S770 단계에서, 본 일 실시 에에 따른 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템은 영상기반 측위 모듈을 이용하여 사용자 단말의 위치를 추정할 수 있다.
예를 들어, 사용자 단말이 전체 경로(예로, 도 3의 P1~P8) 중에서 미리 설정된 영역(예로, 도 3의 W)에 포함되는 경로(예로, 도 3의 P4~P8)를 따라 이동 중이라고 판단될 때, 영상 기반 측위 모듈(예로, 도 5의 515)이 활성화될 수 있다.
참고로, 활성화된 영상 기반 측위 모듈(예로, 도 5의 515)의 동작은 후술되는 도 8 내지 도 10을 참조하여 더 상세하게 설명된다.
도 8은 본 일 실시 에에 따른 영상 기반 측위 모듈의 세부 동작을 나타내는 순서도이다.
도 8의 명확하고 간결한 이해를 위하여, 사용자 단말(미도시)이 미리 설정된 영역(도 3의 W)에 진입에 따라, 실내 측위 장치(510)의 영상 기반 측위 모듈(예로, 도 5의 515)이 활성화된 것을 전제로 설명된다.
도 1 내지 도 8을 참조하면, S810 단계에서, 본 일 실시 에에 따른 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템은 사용자 단말(미도시)로부터 미리 정해진 양의 사진을 입력 정보로 수신할 수 있다.
여기서, 사용자 단말(미도시)은 미리 설정된 영역(예로, 도 3의 W)에 포함되는 경로(예로, 도 3의 P4~P8)를 따라 이동 중인 단말로 이해될 수 있다.
S820 단계에서, 본 일 실시 에에 따른 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템은 활성화된 영상 기반 측위 모듈(예로, 도 5의 515)이 장면 분류 동작을 수행하도록 제어할 수 있다.
참고로, 미리 정해진 양의 사진에 대한 장면 분류 동작은 후술되는 도 9를 참조하여 상세하게 설명된다.
S830 단계에서, 본 일 실시 에에 따른 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템은 활성화된 영상 기반 측위 모듈(예로, 도 5의 515)이 실내 위치 정보의 생성 동작을 수행하도록 제어할 수 있다.
참고로, 실내 위치 정보의 생성 동작은 후술되는 도 10을 참조하여 상세하게 설명된다.
도 9는 본 일 실시 에에 따른 영상 기반 측위 모듈에 의해 장면 분류 동작이 수행되는 과정을 나타내는 순서도이다.
도 9를 참조하면, 본 일 실시 에에 따른 영상 기반 측위 모듈(예로, 도 5의 515)에 구현된 Deep CNN A-네트워크는 사용자 단말(미도시)로부터 미리 정해진 양의 사진을 구획 내 장면별로 분류하도록 구현될 수 있다.
S911 단계에서, 인풋 계층(Input layer)은 학습을 위해 전처리된 가로X세로XRGB(즉, 224*224*3) 정보에 상응하는 전처리된 이미지 정보를 처리할 수 있다.
S913 단계에서, EfficientNet 계층은 모델의 깊이, 너비(즉, 채널) 및 입력 이미지의 크기(즉, 해상도)를 compound scaling 방식으로 조절함으로써 이미지의 특징 맵(feature map)을 생성할 수 있다.
S915 단계에서, Pooling 계층은 출력 데이터를 입력(input)으로 받아서 출력데이터의 크기를 줄이거나 특정 데이터를 강조하도록 구현될 수 있다.
참고로, S915 단계의 global avg pooling 계층은 평균값을 이용하며, 특징 추출을 위하여 별도의 채널 수의 증감 없이 행렬의 크기를 감소시킬 수 있다.
S917 단계에서, Dense 계층은 완전 연결 계층(Fully Connected Neural Network)으로, 이는 감소된 차원의 특징 맵(feature map)들만 입력으로 하며, 출력과 완전 연결 계층을 생성하도록 구현될 수 있다.
나아가, h-swish는 활성화 함수 단계에 사용하는 비선형 활성화 함수(tanh, leaky Relu 등)를 의미할 수 있다. 여기서, 활성화 함수는 입력값에 대한 출력값이 선형(linear)이 아닌 비선형 시스템을 구현하기 위하여 사용될 수 있다.
S919 단계의 배치 정규화(Batch Normalization) 단계는 학습 속도의 향상과 최대한 비선형 성질을 유지하면서 학습될 수 있도록 구현될 수 있다.
구체적으로, 배치 정규화는 미니 배치의 평균과 분산을 이용해서 정규화 한 뒤에, scale 및 shift를 학습 가능한 변수인 감마 및 베타 값을 통해 실행할 수 있다. 이에 따라, 신경망이 깊어질수록 학습이 어려웠던 기존의 문제가 해결될 수 있다.
나아가, DropConnect 단계는 데이터에 과적합(Overfitting)되지 않는 독립적인 특징을 추출하기 위해 다른 레이어 간의 유닛 사이의 연결을 Drop하는 방식으로 구현될 수 있다.
위와 같이 다른 레이어 간의 유닛 사이의 연결을 Drop함으로써 하나의 모델에서 여러 모델을 훈련시키는 것과 같은 결과가 얻어질 수 있음은 이해될 것이다.
S921 단계는 전술한 S917 단계의 설명으로 대체될 수 있고, S923 단계는 전술한 S919 단계의 설명으로 대체될 수 있음은 이해될 것이다.
마찬가지로, S925 단계는 전술한 S917 단계의 설명으로 대체될 수 있고, S927 단계는 전술한 S919 단계의 설명으로 대체될 수 있음은 이해될 것이다.
S929 단계에서, Softmax 계층은 마지막 출력층에서 장면 분류를 수행하기 위해 사용될 수 있다.
다만, 도 9에서 언급된 단계들은 장면 분류 동작의 구현을 위한 일 예시일 뿐이며, 본 명세서가 이에 한정되는 것이 아님은 이해될 것이다.
도 10은 본 일 실시 에에 따른 영상 기반 측위 모듈에 의해 실내 위치 정보의 생성 동작이 수행되는 과정을 나타내는 순서도이다.
도 10을 참조하면, 본 일 실시 에에 따른 영상 기반 측위 모듈(예로, 도 5의 515)에 구현된 Deep CNN B-네트워크는 사용자 단말(미도시)의 카메라 위치 정보 및 움직임 값을 예측하도록 구현될 수 있다.
S1011 단계에서, 인풋 계층(Input layer)은 학습을 위해 전처리된 가로X세로XRGB(즉, 224*224*3) 정보에 상응하는 전처리된 이미지 정보를 처리할 수 있다.
S1013 단계에서, 모바일 기기에서 정확도-지연시간의 트레이드 오프를 최적화하기 위하여 MobileNet V3을 통한 효율적인 비선형 함수의 적용으로 효과적인 CNN 모델이 구현할 수 있다.
S1015 단계에서, Pooling 계층은 출력 데이터를 입력(input)으로 받아서 출력데이터의 크기를 줄이거나 특정 데이터를 강조하도록 구현될 수 있다.
참고로, S1015 단계의 global avg pooling 계층은 평균값을 이용하며, 특징 추출을 위하여 별도의 채널 수의 증감 없이 행렬의 크기를 감소시킬 수 있다.
S1017 단계에서, Dense 계층은 완전 연결 계층(Fully Connected Neural Network)으로, 이는 감소된 차원의 특징 맵(feature map)들만 입력으로 하며, 출력과 완전 연결 계층을 생성하도록 구현될 수 있다.
나아가, h-swish는 활성화 함수 단계에 사용하는 비선형 활성화 함수(tanh, leaky Relu 등)를 의미할 수 있다. 여기서, 활성화 함수는 입력값에 대한 출력값이 선형(linear)이 아닌 비선형 시스템을 구현하기 위하여 사용될 수 있다.
S1019 단계의 배치 정규화(Batch Normalization) 단계는 학습 속도의 향상과 최대한 비선형 성질을 유지하면서 학습될 수 있도록 구현될 수 있다.
구체적으로, 배치 정규화는 미니 배치의 평균과 분산을 이용해서 정규화 한 뒤에, scale 및 shift를 학습 가능한 변수인 감마 및 베타 값을 통해 실행할 수 있다. 이에 따라, 신경망이 깊어질수록 학습이 어려웠던 기존의 문제가 해결될 수 있다.
나아가, Dropout 단계는 input과 상관없이 하위 unit(nodes)을 무작위로 선택하여 출력을 '0'으로 떨구는 방식(즉, 일부 뉴런이 동작하지 않도록)으로 구현될 수 있다.
S1021 단계는 전술한 S1017 단계의 설명으로 대체될 수 있고, S1023 단계는 전술한 S1019 단계의 설명으로 대체될 수 있고, S1025 단계는 전술한 S1017 단계의 설명으로 대체될 수 있음은 이해될 것이다.
S1027 단계 및 S1029 단계에서, Linear activation은 선형 활성화 함수에 상응하며, 다중 출력이 가능해지도록 입력 값에 특정 상수 값을 곱한 값을 출력하는 방식으로 구현될 수 있다.
S1027 단계 및 S1029 단계가 수행되면, 현재 층에서 사용자 단말의 실내 위치 정보가 생성될 수 있다.
여기서, 실내 위치 정보는 사용자 단말에 속한 구획, 사용자 단말의 카메라의 위치와 함께 사용자 단말의 방향(즉, 카메라의 각도 및 무브먼트)에 관한 정보를 포함할 수 있다.
본 명세서의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나, 본 명세서의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로, 본 명세서의 범위는 상술한 실시 예에 국한되어 정해져서는 안 되며 후술하는 특허청구범위 뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 한다.
500: 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템
510: 실내 측위 장치
520: 데이터 베이스 장치

Claims (10)

  1. 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템을 위한 동작 방법에 있어서,
    스토리 라인을 위한 경로를 따라 특정 공간 내에서 이동 중인 사용자 단말의 현재 위치와 연관된 제1 별자리 정보를 상기 사용자 단말로부터 수신하는 단계;
    상기 특정 공간을 위해 미리 저장된 복수의 별자리 정보 중에서 상기 제1 별자리 정보를 기준으로 미리 설정된 범위에 속하는 하나 이상의 제2 별자리 정보를 생성하는 단계;
    미리 설정된 포지셔닝 신경망(Positioning Neural Network; PNN)을 적용하여 상기 제1 별자리 정보 및 상기 하나 이상의 제2 별자리 정보를 기반으로 하나 이상의 후보 별자리 정보를 생성하는 단계;
    상기 하나 이상의 후보 별자리 정보를 기반으로 상기 사용자 단말의 현재 위치를 추정하는 단계;
    상기 추정된 현재 위치가 미리 설정된 영역에 포함되는지 여부를 판단하는 단계;
    상기 추정된 현재 위치가 상기 미리 설정된 영역에 포함될 때, 영상 기반 측위 모듈을 활성화시키는 단계; 및
    상기 활성화된 영상 기반 측위 모듈을 기반으로 상기 미리 설정된 영역에서 상기 사용자 단말에 의해 촬영된 일정한 양의 사진에 대한 장면 분류 동작 및 실내 위치 정보의 생성 동작을 수행하되,
    상기 장면 분류 동작은 상기 영상 기반 측위 모듈에 구비된 Deep CNN A-네트워크에 의해 수행되고,
    상기 실내 위치 정보의 생성 동작은 상기 영상 기반 측위 모듈에 구비된 Deep CNN B-네트워크에 의해 수행되고, 그리고
    상기 실내 위치 정보는 상기 사용자 단말이 속한 구획 정보, 상기 사용자 단말의 카메라의 위치정보 및 상기 사용자 단말의 방향에 관하여 예측된 정보를 포함하는, 단계를 포함하는 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1 항에 있어서,
    상기 하나 이상의 후보 별자리 정보는 상기 제1 별자리 정보와 상기 하나 이상의 제2 별자리 정보 간 유사도 차이를 기준으로 미리 구비된 포지셔닝 신경망을 통해 결정되는 방법.
  6. 특정 공간과 연관된 다중 복합 신호를 기반으로 생성된 제1 별자리 정보를 송신하는 사용자 단말; 및
    상기 사용자 단말과 연동되어 상기 제1 별자리 정보를 수신하도록 구현된 실내 측위 장치를 포함하되,
    상기 실내 측위 장치는,
    상기 특정 공간을 위해 미리 저장된 복수의 별자리 정보 중에서 상기 제1 별자리 정보를 기준으로 미리 설정된 범위에 속하는 하나 이상의 제2 별자리 정보를 생성하도록 구현되고,
    미리 설정된 포지셔닝 신경망(Positioning Neural Network; PNN)을 적용하여 상기 제1 별자리 정보 및 상기 하나 이상의 제2 별자리 정보를 기반으로 하나 이상의 후보 별자리 정보를 생성하도록 구현되고,
    상기 하나 이상의 후보 별자리 정보를 기반으로 상기 사용자 단말의 현재 위치를 추정하도록 구현되고,
    상기 추정된 현재 위치가 미리 설정된 영역에 포함되는지 여부를 판단하도록 구현되고,
    상기 추정된 현재 위치가 상기 미리 설정된 영역에 포함될 때, 영상 기반 측위 모듈을 활성화시키도록 구현되고, 그리고
    상기 활성화된 영상 기반 측위 모듈을 기반으로 상기 미리 설정된 영역에서 상기 사용자 단말에 의해 촬영된 일정한 양의 사진에 대한 장면 분류 동작 및 실내 위치 정보의 생성 동작을 수행하도록 구현되고,
    상기 장면 분류 동작은 상기 영상 기반 측위 모듈에 구비된 Deep CNN A-네트워크에 의해 수행되고,
    상기 실내 위치 정보의 생성 동작은 상기 영상 기반 측위 모듈에 구비된 Deep CNN B-네트워크에 의해 수행되고, 그리고
    상기 실내 위치 정보는 상기 사용자 단말이 속한 구획 정보, 상기 사용자 단말의 카메라의 위치정보 및 상기 사용자 단말의 방향에 관하여 예측된 정보를 포함하는, 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 제6 항에 있어서,
    상기 하나 이상의 후보 별자리 정보는 상기 제1 별자리 정보와 상기 하나 이상의 제2 별자리 정보 간 유사도 차이를 기준으로 미리 구비된 포지셔닝 신경망을 통해 결정되는 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템.
KR1020220043228A 2022-04-07 2022-04-07 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템 및 이를 위한 동작 방법 KR102460032B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220043228A KR102460032B1 (ko) 2022-04-07 2022-04-07 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템 및 이를 위한 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220043228A KR102460032B1 (ko) 2022-04-07 2022-04-07 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템 및 이를 위한 동작 방법

Publications (1)

Publication Number Publication Date
KR102460032B1 true KR102460032B1 (ko) 2022-10-28

Family

ID=83835190

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220043228A KR102460032B1 (ko) 2022-04-07 2022-04-07 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템 및 이를 위한 동작 방법

Country Status (1)

Country Link
KR (1) KR102460032B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190023386A (ko) * 2017-08-29 2019-03-08 주식회사 스튜디오매크로그래프 실시간 실내 위치 측위 시스템을 이용한 범퍼카 서비스 방법 및 시스템
KR20210048697A (ko) * 2019-10-24 2021-05-04 파파야 주식회사 실내측위 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190023386A (ko) * 2017-08-29 2019-03-08 주식회사 스튜디오매크로그래프 실시간 실내 위치 측위 시스템을 이용한 범퍼카 서비스 방법 및 시스템
KR20210048697A (ko) * 2019-10-24 2021-05-04 파파야 주식회사 실내측위 장치 및 방법

Similar Documents

Publication Publication Date Title
JP7185039B2 (ja) 画像分類モデルの訓練方法、画像処理方法及びその装置、並びにコンピュータプログラム
Yi et al. ASSD: Attentive single shot multibox detector
CN112434721A (zh) 一种基于小样本学习的图像分类方法、系统、存储介质及终端
KR20200078074A (ko) 객체 기반의 3d 도시 모델링 방법 및 이를 구현하는 서버, 그리고 이를 이용하는 시스템
KR102635777B1 (ko) 분자 결합 부위를 검출하기 위한 방법 및 장치, 전자 디바이스 및 저장 매체
CN109683699A (zh) 基于深度学习实现增强现实的方法、装置及移动终端
US11922291B2 (en) Image processing via isotonic convolutional neural networks
US12001205B2 (en) Remote control method and system for robot
CN114298122A (zh) 数据分类方法、装置、设备、存储介质及计算机程序产品
CN111797302A (zh) 模型处理方法、装置、存储介质及电子设备
Xie et al. Temporal‐enhanced graph convolution network for skeleton‐based action recognition
CN111639591B (zh) 轨迹预测模型生成方法、装置、可读存储介质及电子设备
CN111859002A (zh) 兴趣点名称生成方法及装置、电子设备和介质
CN114926636A (zh) 一种点云语义分割方法、装置、设备及存储介质
CN111797851A (zh) 特征提取方法、装置、存储介质及电子设备
CN114897039A (zh) 一种数据处理方法及相关设备
KR102383567B1 (ko) 시각 정보 처리 기반의 위치 인식 방법 및 시스템
KR102460032B1 (ko) 인공지능 기반 실내측위 기법을 이용한 증강현실 콘텐츠 제공 시스템 및 이를 위한 동작 방법
Wang et al. A survey on weakly supervised 3D point cloud semantic segmentation
KR20220041319A (ko) 딥러닝 기반 상품검색 방법 및 시스템
US20230289498A1 (en) Machine learning system for parameterizing building information from building images
KR102251076B1 (ko) 실내 이미지를 사용하여 설계도면을 추정하는 방법
KR102299902B1 (ko) 증강현실을 제공하기 위한 장치 및 이를 위한 방법
KR102591078B1 (ko) 인공지능 모델을 이용하여 3차원 객체 탐지를 수행하는 전자 장치 및 이의 동작 방법
EP4354335A1 (en) Automatic generation of an augmented reality assembly, integration, and testing preparation procedure from engineering models

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant