KR20220094092A - 가상 지원을 위한 3d 맵 재현을 활용하는 지능형 객체 추적 시스템 - Google Patents

Abstract

3D맵 재현을 활용하여 카메라 시스템과 센서들만을 메인 데이터 입력으로 활용하는 가상 지원 기능을 제공하는 진보된 지능형 객체 추적 시스템의 시스템 및 방법이 개시된다. 제안된 본 발명은, 딥 러닝 알고리즘과 신경망을 사용하여 3D맵 생성, 거리 계산, 객체 감지 및 인식을 수행하고, 증강 현실을 활용하여 가상 방향을 표시한다.

Description

가상 지원을 위한 3D 맵 재현을 활용하는 지능형 객체 추적 시스템{INTELLIGENT OBJECT TRACING SYSTEM UTILIZING 3D MAP RECONSTRUCTION FOR VIRTUAL ASSISTANCE}

본 발명은 지능형 객체 추적 시스템을 사용하여 공간 환경에서 객체를 추적함으로써 3 차원(3D) 지도를 생성하는 가상 지원 기능(virtual assistance)을 제공하는 시스템 및 방법에 관한 것이다. 본 발명에서 제안된 시스템 및 방법은 기본적인 하드웨어 요구 사양으로 컴퓨팅 파워, 이미지 프로세싱 및 센서만을 사용하고 위치 추적을 수행하기 위해 GPS(Global Positioning System)를 사용할 필요가 없다는 장점을 갖는다.

최근 3차원 지도(이하, "3D맵"이라 칭함) 재현에 대한 연구 개발이 급속히 진행되고 있다. 3D맵 재현 시스템은 카메라를 사용하여 주변의 실제 이미지와 동영상을 촬영하여 계산적 방법으로 처리함으로써 객체 인식 및 추적에 활용할 수 있다. 또한, 증강 현실(AR) 기술의 발전으로 그의 애플리케이션이 3D맵과 같은 경로 안내 플랫폼 내에서 방향 정보를 제공하여 사용자 경험(User Experience: UX)을 향상시킬 수 있다.

AR 기술의 성능은 딥 러닝 (Deep Learning: DL) 알고리즘 또는 전자 장치와의 협업을 통해 향상될 수 있다. 예를 들어, AR 기술은 사용자에게 가상 지원 기능을 제공하는 데 사용할 수 있다. 가상 지원 기능은 개방된 공간 및 실시간 조건에서 가상의 방향, 위치 및 거리 추정을 제공할 수 있다. 3D 맵 재현을 AR과 연계하면 향상된 객체 추적 방법을 제공할 수 있다. 예를 들어, 이미지/비디오에서 정보를 추출하고, 추출된 정보를 이용하여 3D 맵이 재현될 수 있다. 예를 들어, 이미지/비디오에서 추출된 정보를 처리하여 객체를 지능적으로 인식한 다음 추적하고, 관련된 객체에 대한 가상의 방향, 위치 및 거리 추정이 생성될 수 있다.

사용자에게 가상 지원 기능을 제공하는 시스템은 3D 맵 재현과 AR을 결합하여 구성될 수 있다. 상기 시스템은 필요한 데이터를 더 쉽게 수집할 수 있는 이미지 센서를 갖는 이동/고정 장치의 방대한 유용성을 지원하고, 이전의 많은 구현에서는 GPS 신호를 휴대전화 신호, 자이로스코프, 가속도계 및 기타 여러 센서와 함께 사용할 수 있다.

종전에는 객체 감지, 3D맵 재현, 증강 가상 지원 기능 생성과 같은 복잡한 활동을 처리하기 위해 통상적으로 방대한 컴퓨팅 파워가 필요하였다. 그러나 최근 모바일 장치에는 인공지능(AI)이 그 장치에서 직접 DL 작업을 처리하고 실행할 수 있도록 하는 신경망 프로세싱 유닛(Neural Processing Unit: NPU)가 내장되어 있다. 온-디바이스 AI를 사용하면 사전 학습된 모델을 사용하여 객체 인식과 같은 작업을 수행할 수 있다.

본 발명과 관련성을 갖는 몇몇 특허들이 존재한다.

첫 번째 선행 기술로서 특허 KR20180094493 A는 실내 지도 생성 방법을 제안하고 있다. 이 방법은 네트워크에 연결된 두 장치 간의 일-방향 전송 시스템에 관한 것이다. 송신 장치는 제 2 네트워크의 각 단말의 IP 주소와, 각 IP 주소에 대응하는 MAC 주소를 포함한다.

두 번째 선행 기술로서 특허 KR20160079512는 차량에 설치된 이미지 데이터를 획득하기 위한 이미지 센서 및 특징 정보를 검출하기 위한 제어 모듈을 이용하여 실내 주차장에서 차량 위치를 추정하는 방법을 제안하고 있다.

세 번째 선행 기술로서 특허 KR1809537 B1은 사진 또는 동영상을 이용한 경로 안내 방법을 기술하고 있다.

네 번째 선행 기술로서 특허 US20200053292 A1은 객체 추적 방법을 기술한다. 추적 시스템은 GPS(Global Positioning System), RF(무선 주파수) 및/또는 셀룰러 통신 신호를 사용할 수 없는 환경을 위해 설계된다

본 발명은 3D로 재현된 지도를 사용하여 공간 환경에서 객체 추적을 위한 증강 가상 지원 기능을 제공하는 시스템 및 방법을 제공한다.

본 발명의 목적은 GPS 신호에 의존하지 않고 고품질의 이미지 프로세싱 및 DL 알고리즘을 구비한 센서들의 데이터를 활용하기 위한 것이다.

본 발명은 이미지/영상 처리 시스템 및 센서를 갖춘 최소 2개의 전자 장치(또는 참여 장치)에서 다수의 사용자에 의해 제공된 이미지/영상 및 센서 데이터를 활용하여 주변 환경(실내/실외)의 매핑의 수행, 이미지 프로세싱, 객체의 추적 및 감지, 및 이미지/사운드/햅틱 피드백과 같은 가상 지원(또는 안내)을 제공할 수 있다.

본 발명은 고해상도 파노라마 이미지 또는 영상, 자력계(magnetometer), 자이로스코프 및 가속도계 센서, 고품질의 이미지 프로세싱 알고리즘을 구비한 처리 소프트웨어의 최소 요구 사양을 갖는 장치를 필요로 할 수 있다. 최근 대부분의 스마트 기기와 카메라에는 시스템이 그 기기 상에서 직접 알고리즘을 실행하는 것을 가능하게 만드는 온-디바이스AI 기술을 사용하는 컴퓨팅 성능이 내장되어 있다. 기기들 간에 데이터의 빠른 전송을 보장하기 위해서는 고속의 연결성과 큰 네트워크 대역폭이 바람직하다.

객체 감지, 지도 재현, 경로 안내 등을 위한 다양한 방법을 탐구하는 다수의 특허 및 공개 논문들이 이미 존재한다. 그러나 그러한 발명들 중 어느 것도, AR을 사용하여 자동으로 3D맵을 재현하고 가상 지원 기능을 수행하는 지능형 시스템으로 이러한 모든 주제를 추진하는 방법들에 대해서는 논의하지 않았다.

본 발명에 따르면, 센서들로부터의 이미지와 데이터를 이용하여 구성된 3D 맵을 이용하여 AR 방향 형태의 가상 지원 기능을 생성하기 위해 딥 러닝 방법을 활용하는 통합 지능형 시스템을 제공할 수 있다.

한편, 본 발명의 목적은 주변 환경에 있는 객체를 추적하여 증강된 가상 지원 기능을 제시하고 3D맵을 생성하는 것이다. 본 발명은 실내 및 실외 환경 모두에서 사용될 수 있다.

또한, 본 발명은 저장된 이미지 데이터와 다수의 장치의 센서 데이터를 사용하여 3D맵을 생성하고 AR 방향의 형태로 가상 지원 기능을 제공할 수 있다.

또한, 본 발명은 페어링된 장치에서 수집된 센서 데이터 및 이미지만을 데이터 번들로 사용할 수 있다. 센서 데이터는 자력계, 가속도계 및 자이로스코프에서 수집될 수 있다. 필터링된 데이터 번들은 3D 맵을 생성하고 그 맵에서 에이전트의 위치를 업데이트하는 데 사용될 수 있다.

또한, 본 발명의 시스템은 관성 측정과 결부하여 주변 환경의 카메라로 캡처된 이미지를 사용하여 시각 및/또는 기존의 주행거리 측정을 수행하도록 구성된다. 본 발명의 목적은, AI 프로세싱 및 DL 작업을 가능하게 하는 내장된 NPU를 사용하여, 3D 맵 재현을 처리하고, 객체를 감지하고, 증강 가상 지원 기능을 생성하는 것이다.

상술한 언급의 대부분은 본 발명의 일부를 제공하는 것에만 초점을 맞추고 있다. 반면에, 본 발명은 이미지 및 센서 데이터를 처리하여 객체 추적을 수행하고 3D맵을 재현하여, 사용자에게 AR 가상 지원 기능을 제공하기 위해 처리될 다수의 데이터 스트림에서 유사성을 검색하는 새로운 방법을 제안한다.

본 발명은 공간 환경에서 객체를 감지하여 3D 맵을 재현하고 위치를 추적함으로써 증강된 가상 지원 기능을 제공하는 지능형 객체 추적 시스템의 새로운 방식을 제안한다. 본 발명은 고품질의 이미지 프로세싱 및 알고리즘을 이용하여 3D 맵 재현을 수행하여 최종 결과로서 증강된 가상 지원 기능을 제공하기 위한 새로운 방법을 제안한다. 본 발명은 이미지 또는 영상과, 미리 정의된 DL 모델을 사용하여 처리될 자력계, 가속도계 및 자이로스코프로부터의 센서 데이터를 사용하여 3D맵을 생성할 수 있다.

본 발명의 시스템에서 3D 맵을 생성하고 위치를 추적하기 위해 콘볼루션 신경망(Convolutional Neural Network: CNN)을 사용할 수 있다. CNN 모델은 전체 이미지에서 자기 동작(ego-motion)을 분석하고 객체별 변환 벡터를 계산하여 3D 맵을 구성하는 데 사용될 깊이 맵(depth map)을 추정한다. 3D 맵은 상이한 데이터 스트림 상에서 캡처된 동일한 객체를 시스템이 인식할 때 방향에 대한 시각적 신호(visual cue)를 제공할 수 있다.

3D 맵을 사용하여, CNN 모델은 그 상대적 위치에 기초하여 여러 이미지를 삽입하여 윤곽을 생성하고 감지된 객체를 3D 형식으로 매핑할 수 있다. 상기 CNN 모델은 처리된 이미지 상의 모든 객체의 거리를 추정하고, 라벨을 붙일 객체를 식별하고 나열한다. 이러한 객체 목록은 검색된 객체들과 다른 데이터 스트림으로부터 참조한 것들 간의 유사성 수준을 결정하기 위한 비교 기준으로 사용된다. 사용자가 객체를 스캔하면, 시스템이 이를 감지하고 상기 목록의 객체들과 비교하여 유사성 수준을 결정한다. 유사성 수준이 높다는 것은 그 주변 환경이 다른 장치들에 의해 이전에 스캔되었음을 의미하며, 상기 시스템은 가장 가까운 에이전트 위치에 도달하는 방향을 계산 및 표시한다.

본 발명은 다음과 같은 세 가지 주요 특징을 제안한다.

첫째로, 본 발명은, 다음과 같은 방법으로, 객체를 감지하고, 이동 거리를 계산하여 기기의 위치를 업데이트함으로써, 딥 러닝(deep learning: DL) 방법을 사용하여 3D 맵을 생성할 수 있다.

- 카메라를 활용하여 주변 환경의 객체를 스캔하고, 센서를 활용하여 사용자의 움직임 정보를 제공함;

- CNN(Convolutional Neural Network)을 적용하여 필터링 된 이미지 상에서 객체의 깊이 맵을 추정함;

- 필터링 및 라벨링 된 이미지 및 센서 데이터를 사용하여 3D맵을 생성함;

- 포착된 이미지의 관점에서 존재하는 객체들 사이의 거리를 계산함;

- 가속도계 데이터를 처리하여 한 지점에서 또 다른 지점으로의 이동을 계산하기 위해 고속 푸리에 변환(Fast Fourier Transformation FFT)을 적용함; 및

- 생성된 3D맵과 계산된 거리를 조합하여 장치의 위치를 업데이트함.

둘째로, 본 발명은, 다음과 같은 방법으로, 객체를 감지하여 페어링 된 장치의 위치를 추적하고 이미지를 검색하여 특정 장소 또는 위치를 인식할 수 있다.

- 이미지 내부의 모든 객체를 식별하고 그 이미지에 캡처된 객체 목록을 생성함;

- CNN을 적용하여 이미지에서 특징을 추출하고, 지역 제안망(Region Proposal Network: RPN)을 사용하여 특징 맵에서 제안으로서 잠재적인 객체를 감지함;

- 분류기(classifier)를 사용하여 그 제안을 인식하여 특징 맵을 기반으로 상기 제안된 객체의 클래스를 결정함;

- 이미지를 검색하여 유사한 객체를 인식하고 유사도를 계산하여 플래그를 생성함.

셋째로, 본 발명은 다음과 같은 방법으로 가상 방향을 AR 형태로 제공할 수 있다.

- 시스템이 다른 장치의 어떤 흔적을 발견했는지 확인하기 위해 생성된 모든 플래그를 확인함;

- 생성된 모든 맵을 결합하고 장치 간 상대적 거리를 계산하여 에이전트 연결을 위한 최단 경로를 검색함.

본 발명은 공간 환경에서 객체를 감지하여 3D 맵을 재현하고 위치를 추적함으로써 증강된 가상 지원 기능을 제공할 수 있는 지능형 객체 추적 시스템을 제공할 수 있다.

이하, 본 발명을 이해하고 본 발명이 실제로 어떻게 구현될 수 있는지 알기 위하여, 몇몇 실시 예들이 첨부 도면을 참조하여 설명될 것이다.
도 1은 다양한 실시 예에 따라 가상 지원 기능을 위하여 3D맵 재현을 활용하는 지능형 객체 추적 시스템의 전체 과정을 보여주는 개념도이다.
도 2는 다양한 실시 예에 따라 이미지 필터링, 동적 환경 검출, 위치 추적, 및 가상 방향 증강 방법을 활용하는 전반적인 개관을 도시한다.
도 3은 다양한 실시 예에 따라 전체 시스템의 흐름도를 도시한다.
도 4는 다양한 실시 예에 따라 주차장에서의 지능형 객체 추적의 예시적인 사용 사례 시나리오를 도시한다.
도 5는 다양한 실시 예에 따라 주차장에서의 데이터 수집 과정의 예시적인 시뮬레이션을 도시한다.
도 6은 다양한 실시 예에 따라 주차장에서의 위치 추적의 예시적인 시뮬레이션을 도시한다.
도 7은 다양한 실시 예에 따라 주차장에서의 증강 현실 가상 안내의 예시적인 시뮬레이션을 도시한다.
도 8은 다양한 실시 예에 따라 스마트폰을 사용하는 다른 사용자를 찾기 위한 지능형 객체 추적의 예시적인 사용 시나리오를 도시한다.
도 9는 다양한 실시 예에 따라 스마트폰을 사용하는 실외 환경에서 증강 현실 가상 안내의 예시적인 시뮬레이션을 도시한다.
도 10은 다양한 실시 예에 따라 스마트 안경을 사용하여 다른 사용자를 찾기 위한 지능형 객체 추적의 예시적인 사용 시나리오를 도시한다.
도 11은 다양한 실시 예에 따라 스마트 안경에 표시된 증강 현실 가상 안내의 예시적인 시뮬레이션을 도시한다.
도 12는 다양한 실시 예에 따라 이미지 필터링 다이어그램을 도시한다.
도 13은 다양한 실시 예에 따라 데이터 점수화(스코어링) 다이어그램을 도시한다.
도 14는 다양한 실시 예에 따라 데이터 필터링 다이어그램을 도시한다.
도 15는 다양한 실시 예에 따라 동적 환경 감지 다이어그램을 도시한다.
도 16은 다양한 실시 예에 따라 자동 3D맵 생성기 다이어그램을 도시한다.
도 17은 다양한 실시 예에 따라 깊이 추정 다이어그램을 도시한다.
도 18은 다양한 실시 예에 따라 3D맵 생성 다이어그램을 도시한다.
도 19는 다양한 실시 예에 따라 변위 계산 다이어그램을 도시한다.
도 20은 다양한 실시 예에 따라 위치 추적 다이어그램을 도시한다.
도 21은 다양한 실시 예에 따라 객체 감지 다이어그램을 도시한다.
도 22는 다양한 실시 예에 따라 장소 인식 다이어그램을 도시한다.
도 23은 다양한 실시 예에 따라 이미지 인출의 제1부분 다이어그램을 도시한다.
도 24는 다양한 실시 예에 따라 이미지 인출의 제2부분 다이어그램을 도시한다.
도 25는 다양한 실시 예에 따라 장소 추천 다이어그램을 도시한다.
도 26은 다양한 실시 예에 따라 가상 방향 증강 다이어그램을 도시한다.
도 27은 다양한 실시 예에 따라 지도 결합 과정의 시뮬레이션을 도시한다.

바람직한 실시 예들과 그 장점들은 도 1 내지 27을 참조하여 이해될 것이다. 본 명세서에 설명된 본 발명의 실시 예들은 단지 본 발명의 원리의 적용을 예시하는 것으로 이해하여야 할 것이다. 본 명세서에서 예시된 실시 예의 세부 사항에 대한 참조는 청구범위의 범위를 제한하지 않는다.

도 1은 다양한 실시 예에 따라 가상 지원 기능을 위하여 3D맵 재현을 활용하는 지능형 객체 추적 시스템의 전체 과정을 보여주는 개념도이다.

도 1을 참조하면, 도 1에 도시된 가상 지원 기능을 위한 3D 맵 재현을 활용한 지능형 객체 추적 시스템은 이하에서 지능형 객체 추적 시스템(Intelligent Object Tracing System)이라 불릴 수 있다.

도 1에 도시된 바와 같이, 본 발명은 카메라와 센서로부터 획득되는 데이터를 이용하여 3D 맵을 생성 또는 업데이트하여 지능형 객체 추적 시스템을 제공하고, 특정 장소나 환경에 대한 인식을 수행할 수 있다. 일반적으로, 객체 추적 및 지도 재현 시 정밀하고 정확한 위치를 얻기 위해서는 GPS 연결이 필요하다. 그러나, 본 발명은 자력계, 자이로스코프 및 가속도계의 이미지 및 센서 데이터를 활용하며 GPS 연결을 수행하지 않을 수 있다. 모든 데이터를 수집하는 데 사용되는 임의의 장치를 에이전트(agent)라 지칭한다. 본 발명은 에이전트들을 연결하여 장치-대-장치(D2D) 또는 지점-대-지점(P2P) 통신을 사용하여 한 에이전트에서 다른 에이전트로 데이터 스트리밍을 가능하게 함으로써 상호 작용을 개시할 수 있다. 도 1의 시스템은 맵 생성/업데이트 프로세스와 장소/환경 인식에 기반하여 후 처리를 실행하고, 사용자에게 에이전트를 더 근접하게 하는 증강된 방향으로 가상 맵을 제공(또는 출력)할 수 있다.

도 2는 다양한 실시 예에 따라 이미지 필터링, 동적 환경 검출, 위치 추적, 및 가상 방향 증강 방법을 활용하는 전반적인 개관을 도시한다.

도 2를 참조하면, 본 발명에는 세 단계의 과정이 존재하는데, 이는, 데이터의 획득, 처리, 및 지능형 객체 추적 시스템에 의해 캡처된 사용 가능한 모든 이미지 및 센서 데이터의 증강 과정이다. 도 2에서 시스템은 ①이미지 필터링(데이터 점수화/데이터 필터링), ②동적 환경 감지(변위 계산/자동 3D 맵 발생기/에어전트 위치 업데이트), ③위치 추적(객체 감지/장소 인식/장소 추천), ④가상 방향 증강(플래그 확인/맵 결합/방향 제공)의 기능을 제공할 수 있다.

첫 번째 단계로, 본 발명은 카메라의 시점의 변화를 계산하여 데이터 획득을 시작하고 그 값이 높을 때 데이터 수집을 개시할 수 있다. 두 번째 단계로, 이미지 필터링, 동적 환경 감지, 위치 추적 및 가상 방향 증강의 네 가지의 주요 모듈로 구성된 지능형 객체 추적 시스템이 존재하는데, 여기서 이들 모듈의 주요 초점은 수집된 모든 데이터를 점수화(score) 및 필터링하고, 3D맵을 생성하고, 특정 위치의 객체를 추적하고, 방향을 제공하는 것이다. 마지막 단계로, 상기 시스템은 인터페이스 상에 3D맵과 증강 가상 방향을 표시(또는 출력)함으로써 지능형 시스템으로부터의 결과를 작동시킨다.

도 3은 다양한 실시 예에 따라 전체 시스템의 흐름도를 도시한다.

도 3에서는 지능형 객체 추적 시스템의 전체 시스템 다이어그램의 흐름을 설명한다. 처음에는 다중-방향 이동, 수평, 수직, 전진 또는 후진으로 인해 야기되는 에이전트의 시점에 변화가 있을 때 데이터 획득 프로세스가 시작된다. 획득된 데이터는 이미지 필터링(①) 및 위치 추적 모듈(③)에서 동시에 전송 및 처리된다. 이미지 필터링 모듈은 데이터에 대한 정보 수준에 기초하여 각 데이터에 점수를 제공하고, 가중치 점수를 기반으로 데이터를 필터링 하여 프로세스를 최대화하고 데이터 저장을 최적화한다.

상기 이미지 필터링된 데이터는 동적 환경 감지 모듈(③)에 의해 3D 맵을 생성하고 에이전트의 위치를 매핑하는 데 사용될 수 있다. 상기 위치 추적 모듈에서, 시스템은 상기 획득한 데이터를 다른 에이전트가 획득한 데이터와 비교하여 분석하고, 다른 에이전트에서 생성된 데이터 스트림 및 맵에서 캡처된 객체의 컨텍스트 유사성(context similarity)을 검색한다.

상기 지능형 시스템이 일치하는 객체를 찾으면, 그것은 가상 방향 증강 모듈(④)을 시작하여 모든 에이전트에 의해 생성된 모든 맵을 결합하고 그 에이전트들에게 방향을 제공한다. 상기 지능형 시스템은 다른 에이전트의 위치가 발견될 때까지 설명된 프로세스를 반복할 수 있다.

도 4 내지 7에서는, 지능형 객체 추적 시스템을 사용하여 실내 주차장에서 자동차의 위치를 찾는 사용자 시나리오를 설명한다.

사람들은 기억력이 단기간인 경향이 있으며, 그 중 일부는 주차장에서 자동차의 위치를 기억하는 데 어려움을 겪을 수도 있다. 본 발명은 그러한 상황을 극복하고 주차 위치를 찾아야 하는 사용자에게 자동으로 안내를 제공할 수 있다.

본 시나리오에 수반되는 여러 에이전트들 각각은, 자동차의 대시-보드 등에 설치된 대시-캠(dash-cam), 주차장의 감시 카메라, 사용자의 스마트폰 등일 수 있다.

도 4는 다양한 실시 예에 따라 주차장에서의 지능형 객체 추적의 예시적인 사용 사례 시나리오를 도시한다. 도 4에 도시된 바와 같이, 상기 지능형 객체 추적 시스템은 지능형 시스템에 대한 데이터 입력으로서 도로 표지 및 기둥 표지판을 포함하여 주차장에서 발견된 모든 객체를 캡쳐할 수 있다. 주차장의 시스템이 건물 내 감시 카메라에서 주변 환경 데이터를 수집하여 사전에 정의된 3D맵 모델을 제공한다고 가정하면, 주차장에 진입하는 사용자는 시스템을 활성화하고 네트워크를 통해 주차장의 시스템과 페어링을 개시할 수 있다.

도 5는 다양한 실시 예에 따라 주차장에서의 데이터 수집 과정의 예시적인 시뮬레이션을 도시한다. 도 5에 도시된 바와 같이, 대시-캠 상의 시스템은 표시와 표지판을 스캔하기 시작하고, 다른 객체들에 대해 대시-캠의 시점을 사용하여 자동차의 거리를 지속적으로 측정한다. 미리 정의된 3D맵 모델은 자동차의 위치를 업데이트하는 데 사용되며, 상기 시스템은 지도 상에서 그 위치를 정확하게 표시한다.

사용자가 스마트폰을 이용하여 주차장에서 자동차 위치를 찾고자 할 경우, 사용자는 스마트폰과 주차장 내 시스템을 페어링해야 자동차의 위치가 포함된 미리 정의된 3D 맵을 검색할 수 있다.

도 6은 다양한 실시 예에 따라 주차장에서의 위치 추적의 예시적인 시뮬레이션을 도시하고, 도 7은 다양한 실시 예에 따라 주차장에서의 증강 현실 가상 안내의 예시적인 시뮬레이션을 도시한다. 도 6에 도시된 바와 같이, 사용자는 지도 상의 알려진 객체에 대한 상대적 위치를 검색하기 위해 주변 환경의 데이터를 수집할 수 있다. 지능형 객체 추적 시스템이 3D맵 모델에 정의된 어떤 유사한 객체를 발견하면, 상기 지능형 객체 추적 시스템은, 도 7에 도시된 바와 같이, 사용자를 자동차의 위치로 안내하기 위해 AR맵의 형태로 가상 방향을 표시할 것이다.

도 8은 다양한 실시 예에 따라 스마트폰을 사용하는 다른 사용자를 찾기 위한 지능형 객체 추적의 예시적인 사용 시나리오를 도시하고, 도 9는 다양한 실시 예에 따라 스마트폰을 사용하는 실외 환경에서 증강 현실 가상 안내의 예시적인 시뮬레이션을 도시한다.

도 8 및 9를 참조하면, 도심 지역의 실외 환경에서 스마트폰-대-스마트폰 위치 추적의 사용자 시나리오를 설명한다. 도심 지역에는 고층 빌딩이 많아서 간섭으로 인해 GPS 신호 수신이 어려울 수도 있다. 본 발명은 스마트폰에 내장된 카메라 시스템과 향상된 이미지 프로세싱을 사용하여 사람을 찾는 솔루션을 제공하는 하나의 대안으로서 작용한다.

지능형 시스템은 둘 또는 다수의 사용자가 연락처 정보를 교환하고 네트워크를 통해 그들의 스마트폰을 페어링 할 경우에만 작동한다. 상기 시스템은 사용자들이 연결되어 있고, 사용될 준비가 되었는지를 표시한다. 양쪽의 사용자는 카메라를 사용하여 그들 주변의 객체를 스캔하고 캡처하는 것을 시작할 수 있다.

도 8에 도시된 바와 같이, 상기 시스템은 사용자가 환경을 스캔하고 있는 동안 3D맵을 구성하고 위치를 삽입하기 시작한다. 상기 시스템은 사용자들 중 한 명이 이전에 다른 사용자에 의해 스캔된 유사한 객체나 장소를 찾은 경우 사용자의 위치를 결정한다. 시스템이 유사한 객체나 장소를 식별하면, 도 9에 도시된 바와 같이, 가상 안내가 스마트폰의 인터페이스에 AR 맵 형태로 표시된다. 시스템은 가상 방향을 지속적으로 표시하여 사용자를 더 가까이에 있게 한다.

도 10은 다양한 실시 예에 따라 스마트 안경을 사용하여 다른 사용자를 찾기 위한 지능형 객체 추적의 예시적인 사용 시나리오를 도시하고, 도 11은 다양한 실시 예에 따라 스마트 안경에 표시된 증강 현실 가상 안내의 예시적인 시뮬레이션을 도시한다.

도 10 및 11을 참조하면, 도심 지역의 실외 환경에서 스마트 안경 대 스마트 안경 위치 추적의 사용자 시나리오를 설명한다. 이 사용자 시나리오는 이전 시나리오와 유사하며, 카메라 시스템 및 센서의 최소 요구 사양으로 다양한 장치에 시스템이 구현될 수 있음을 보여준다.

에이전트로서 스마트 안경을 페어링한 다음, 양쪽의 사용자는 스마트 안경을 사용하여 주변의 객체를 스캔하고 캡처하는 것을 시작할 수 있다. 도 10에 도시된 바와 같이, 상기 시스템은 3D맵 모델을 구성하고 그 지도에 사용자의 위치를 삽입한다. 상기 시스템은 이 작업을 연속해서 수행하고, 사용자 중 한 명이 다른 사용자가 스캔한 유사한 객체 또는 장소를 발견하면 동시에 다른 사용자의 위치를 검색한다. 유사한 객체나 장소가 확인되면, 사용자에게는 스마트 안경 상에 가상 안내가 표시된다. 그 다음, 시스템은 도 11에 도시된 바와 같이, 사용자를 더 가까운 위치에 인접하도록 가상 방향을 계속 표시할 것이다.

도 12 내지 14을 참조하면, 데이터 점수화 및 데이터 필터링의 두 개의 하위 모듈로 구성된 이미지 필터링 모듈에 대해 설명한다. 상기 이미지 필터링은 들어오는 모든 데이터를 필터링하고 기기 상의 저장 용량 사용을 최적화하는 본 발명의 첫 번째 단계이다.

도 12는 다양한 실시 예에 따라 이미지 필터링 다이어그램을 도시한다.

도 12에 도시된 바와 같이, 이미지 및 센서 데이터의 집합은, 이하에서 데이터 번들(또는 데이터 꾸러미)로 지칭되며, 데이터 점수화 및 데이터 필터링 하위 모듈들에 의해 처리될 것이다. 상기한 데이터 번들은 로컬 데이터베이스(DB)의 이미지 버퍼에 저장되고, 다음 모듈인 동적 환경 감지 모듈로 전송된다.

상기 이미지 필터링 모듈은 가장 풍부한 정보를 함유하는 데이터를 선택 및 유지하고 데이터 번들의 압축을 해제한다(decompress). 데이터 점수화 서브모듈은 데이터 번들을 스캔하여 감지된 객체 목록을 생성하고, 제공된 정보의 레벨에 입각하여 각 데이터의 점수를 계산한다.

도 13은 다양한 실시 예에 따라 데이터 점수화(스코어링) 다이어그램을 도시한다. 도 13에 도시된 바와 같이, 데이터는 객체 감지(Object Detection)를 사용하여 처리되어 캡처된 모든 객체를 평가 및 잘라내고(crop), 그것이 제공하는 정보의 수준을 계산한다. 그런 다음, 인식된 모든 객체에 라벨이 지정되고 신뢰 값이 첨부된다. 서브모듈은 또한 모든 객체의 손상 여부(intactness)를 결정하기 위해 객체의 면적을 계산한다. 더 손상되지 않은 어떤 객체 형태가 더 많은 정보를 포함한다고 가정하면, 신뢰도 값은 더 높아진다. 본 발명은 NPU를 사용하여 객체 검출 및 데이터 점수화를 처리하고 사전 훈련된 모델을 사용하여 합리적인 처리 시간을 달성한다.

상기한 점수들이 결정되면, 데이터 번들이 로컬/클라이언트 데이터베이스 (DB)에 저장되고 시스템은 데이터 필터링 서브모듈을 시작한다.

도 14는 다양한 실시 예에 따라 데이터 필터링 다이어그램을 도시한다. 도 14에 도시된 바와 같이, 데이터 번들을 DB로부터 가져와서 특정 각도 값을 기반으로 클러스터링할 수 있다. 객체는 그의 신뢰도 값과 객체 면적에 따라 선택되고 저장된다. 시스템은 3D 맵 생성을 위한 필터링된 데이터 번들을 생성하고 공동의 DB에 저장된다. 시스템은 서브모듈에서 너무 많은 정보가 손실되는 것을 방지하기 위해 그 맵의 특정 지점에서 각 객체에 대해 4 개의 이미지 참조 슬롯을 할당한다.

이어서, 도 15 내지 19를 참조하면, 이들은 두 개의 서브모듈, 즉 자동 3D맵 생성기 및 변위 계산 서브모듈로 구성된 동적 환경 감지 모듈을 설명한다. 상기 동적 환경 감지 모듈은 자력계, 자이로스코프 및 가속도계로부터의 이미지 및 센서 데이터인 4 개의 입력 파라미터를 사용한다. 이미지는 지도를 구성하는 기본 입력으로 사용되며, 지도 내의 어떤 한 위치 지점의 컨텍스트를 저장하기 위한 자력계 데이터로 보완된다. 가속도계와 자이로스코프의 센서 데이터는 에이전트의 움직임을 계산하는 데 사용된다. 상기한 4개의 파라미터는 본 발명에 대한 최소 입력 요건이다. 본 모듈의 목적은 지도를 생성하고, 에이전트의 위치를 계산하고, 그 지도 상에서의 에이전트의 위치를 업데이트하는 것이다.

도 15는 다양한 실시 예에 따라 동적 환경 감지 다이어그램을 도시한다. 도 15에 도시된 바와 같이, 상기 필터링 된 데이터 번들은 상기 필터링 된 데이터 번들의 이미지를 사용하여 3D 맵을 생성하도록 상기 자동 3D 맵 생성기와, 맵 공간 내에서 에이전트의 움직임을 계산하도록 상기 변위 계산 서브모듈에서 동시에 처리된다.

자동 3D맵 생성기는, 상기 시스템이 다른 에이전트에 의해 수집된 이미지, 객체 라벨, 및 자기 센서 값을 기반으로 인식된 객체를 발견하면, 특정 지점에서 정보를 추가한다. 상기 변위 계산 서브모듈은 가속도계와 자이로스코프의 센서 값을 사용하여 에이전트의 마지막 위치의 상대 위치를 계산한다. 이 모듈에서 생성된 3D 맵은 DB에 맵 버퍼로서 저장되는 한편, 상기 에이전트의 상대 위치는 맵 상에서 절대 위치로 변환된다.

도 16은 다양한 실시 예에 따라 자동 3D맵 생성기 다이어그램을 도시한다. 도 16에 도시된 바와 같이, 필터링된 데이터 번들은 데이터에 포함된 업데이트된 위치 컨텍스트를 기반으로 3D 맵을 생성하도록 처리된다. 3D 맵을 생성하는 과정은 깊이 맵을 추정하고 3D 맵을 생성하기 위해 신경망을 사용하는 DL 알고리즘을 포함한다. 3D 맵이 생성된 후, 시스템은 에이전트가 DB에 저장된 맵을 이미 가지고 있는지 알기 위해 DB를 확인한다. 만일 에이전트가 DB에 저장된 맵을 이미 가지고 있으면, 맵이 업데이트되고, 에이전트가 DB에 저장된 맵을 이미 가지고 있지 않으면, 시스템은 상기 생성된 맵을 저장한다. 상기 시스템은 또한 촬영된 이미지의 컨텍스트에서 존재하는 객체들 사이의 거리를 계산한다. 이것은 맵에 에이전트 위치 이외의 추가 정보가 제공되는 것을 보장하기 위해 필요하다.

신경망은 전체 이미지에서 자신의 움직임을 분석하여 깊이 맵을 추정하고 3D 공간에서 객체 별로 변환 벡터를 계산한다. 따라서, 깊이 맵을 생성하기 전에 이미지에서의 모든 객체를 분할할 필요가 있다.

도 17은 다양한 실시 예에 따라 깊이 추정 다이어그램을 도시한다. 도 17에 도시된 바와 같이, 상기 모델은 깊이 맵을 추정하기 위해 2D 광학 흐름을 사용한다. 나중에 깊이 맵을 사용하여 3D 맵 생성에 있어 재현된 모든 프레임에 깊이 정보를 제공하여 3D 맵의 구성을 도울 수 있다. 상기 깊이 추정은 3D 맵 생성이 장면 또는 객체의 추정된 3D 포인트를 에이전트 위치와 관련된 올바른 위치에 배치하는 데 도움이 된다. 상기 생성된 3D 맵은 시스템이 두 에이전트에 의해 캡쳐된 동일한 객체를 인식할 때 에이전트에 대한 방향에 대하여 시각적 신호 역할을 한다.

도 18은 다양한 실시 예에 따라 3D맵 생성 다이어그램을 도시한다. 본 발명은 CNN 디스크립터를 사용하여, 도 18에 도시된 바와 같이, 여러 이미지와 그의 상대 위치를 삽입하여 맵 내부에 윤곽 및 3D 객체를 생성한다. 이어서, DL 알고리즘은 처리된 이미지 상에 있는 모든 객체의 거리를 추정한다.

도 19는 다양한 실시 예에 따라 변위 계산 다이어그램을 도시한다. 도 19에 도시된 바와 같이, 상기 시스템은 가속도계의 센서 데이터를 사용하여 기준점에서 시작하는 에이전트의 움직임을 계산한다. 센서 데이터는 고속 푸리에 변환을 사용하여 신호로 변환되므로, 이것은 비교 신호와 비교하여 에이전트 위치에서 총 스텝 수를 계산할 수 있다. 마지막 과정으로서, 상기 신호는 미터 단위의 거리로 변환되어 맵 상에서 사용된다.

도 20 내지 25를 참조하면, 본 발명의 마지막 모듈에 대한 동작을 결정할 위치 추적 모듈을 설명한다. 도 3에 설명된 바와 같이, 상기 위치 추적 모듈은 본 발명의 기능을 실행하기 위해 앞서 언급한 모듈과 함께 실행된다. 위치 추적 모듈은 객체 감지, 장소 인식 및 장소 추천의 세 가지 서브모듈로 구성된다.

도 20은 다양한 실시 예에 따라 위치 추적 다이어그램을 도시한다. 도 20에 도시된 바와 같이, 수신된 모든 데이터 번들은 객체 감지 서브모듈에서 처리되어 데이터 번들 내의 모든 객체를 식별하고 목록화하며, 이것은 더 정제된 데이터 번들로 귀착된다. 상기 시스템은 사용 가능한 객체를 기반으로 이미지를 복사하고 불필요한 부분을 잘라낸다(crop). 상기 복사된 이미지의 나머지는 객체 목록에 나열된다. 그런 다음, 객체 이미지에 라벨이 지정되고 신뢰 값이 첨부된다.

본 발명은 CNN을 사용하여 객체 검출 모듈에서 특징을 추출한다. 도 21은 다양한 실시 예에 따라 객체 감지 다이어그램을 도시한다. 도 21에 도시된 바와 같이, 이하 제안(proposal)으로 지칭되는 잠재적인 객체들은 RPN을 사용하여 특징 맵에서 검출될 것이다. 상기 제안은 그의 특징 맵을 기반으로 상기 제안된 객체의 클래스를 결정하기 위해 분류기를 사용하여 인식된다. 이 모듈은 데이터 번들의 모든 객체를 감지하고 그것을 이미지 버퍼에 저장하는 데 사용된다.

도 22는 다양한 실시 예에 따라 장소 인식 다이어그램을 도시한다. 도 22에 도시된 바와 같이, 상기 시스템은 이미지 버퍼에서 친숙한 객체를 인식하여 장소 인식 모듈을 실행한다. 이미지 참조(image reference)는 일치하는 항목이 있을 때 관련 객체를 기준으로 필터링된다. 이미지 검색 프로세스에서 얻은 신뢰 수준은 본 발명의 최종 결과를 결정하기 위해 플래그 생성을 결정하는 데 사용된다.

도 23은 다양한 실시 예에 따라 이미지 인출의 제1부분 다이어그램을 도시한다. 상기 이미지 검색 프로세스는 또한, 도 23에 도시된 바와 같이, 그의 DL 모델의 훈련을 수반한다. 상기 이미지 검색 프로세스는 이미지를 클러스터링 하도록 훈련된 인코더를 사용한다. 첫째로, 인코더는 이미지를 1차원(1D) 벡터로 먼저 인코딩한다. 둘째로, 디코더는 1D 벡터로부터 이미지 복원을 시도한다. 입력 이미지와 디코딩 된 이미지 사이의 차이(오류)는 인코더 및 디코더 신경망에 대한 피드백이 된다. 훈련이 수렴됨에 따라, 상기 인코딩 된 이미지 벡터는 색상, 질감, 객체 형상 등과 같은 입력의 특정한 속성 및 특성을 표현하여 하나의 이미지를 또 다른 이미지로 구별한다. 즉, 유사한 이미지는 유사한 인코딩 된 벡터를 갖는 경향이 있다.

도 24는 다양한 실시 예에 따라 이미지 인출의 제2부분 다이어그램을 도시한다. 도 24에 도시된 바와 같이, 이미지 검색 프로세스는 인코더를 사용하여 배치(batch) 이미지를 벡터로 인코딩하여 이미지 버퍼에서 동일한 이미지를 그룹화한다. 모든 벡터는 각 이미지의 특성을 표현한다. 따라서, 각 벡터를 비교하여 그 거리를 계산함으로써, 특정 값 미만의 거리를 가진 벡터를 함께 그룹화할 수 있다. 즉, 이미지를 나타내는 벡터가 동일한 그룹에 있으면, 캡처된 이미지가 동일한 객체이지만 각도가 상이하게 될 가능성이 높다. 동일한 객체가 발견되면, 상기 시스템은 알림을 보낸다.

장소 인식 모듈은 두 가지 가능한 값, 즉 TRUE(참) 또는 FALSE(거짓)로써 플래그를 생성한다. TRUE 플래그는 신뢰도 값을 기준으로 한 객체의 유사도(이하, 유사성 수준으로 지칭됨)가 90%를 초과할 때 생성된다. 유사성 수준이 50%에서 90% 사이라면, 상기 시스템은 장소 추천(Place Recommendation) 모듈을 실행한다. 유사성 수준이 50% 미만이면, FALSE 플래그가 생성되는데, 이것은 시스템이 유사한 객체를 감지하는 데 어려움을 겪고 있으며 가상 방향 증강에 있는 에이전트의 인터페이스 상에 가상 지원 기능을 나타낼 수 없음을 의미한다.

도 25는 다양한 실시 예에 따라 장소 추천 다이어그램을 도시한다. 도 25를 참조하면, 이미지 검색 알고리즘이 어떤 한 장소가 탐색되었는지 여부를 확신하지 못하는 경우(50%에서 90% 사이의 유사성을 나타낼 경우), 장소 추천 모듈의 프로세스를 설명한다. 서브모듈은 장소 인식을 추정하기 위해 객체와 방향에 대한 추천을 제공할 것이다. 이전의 서브모듈에서 나열된 객체 쌍에 대한 참조 및 인식된 객체에서 가장 가까운 센서 값에 대한 방향은 이 서브모듈에 의해 제공된다. 상기 시스템은 자기 센서 값을 기초로 방향을 확인하고 이미지 버퍼 또는 로컬 DB에 저장된 센서 및 이미지의 값에 해당하는 가장 가까운 시야(view) 또는 장소(place)를 요청한다. 이 서브모듈의 출력은 어느 객체가 다음 번의 반복에서 에이전트에 의해 선택될 것인지를 결정하는 데 사용되는 자기 센서 및 객체의 값이며 또한 본 발명의 최종 결과를 결정할 플래그이다.

이제, 도 26 및 27을 참조하면, 이들은 본 발명의 마지막 모듈인 가상 방향 증강 모듈을 설명한다. 도 26은 다양한 실시 예에 따라 가상 방향 증강 다이어그램을 도시한다.

가상 방향 증강 모듈은 동적 환경 감지 및 위치 추적에서 얻은 모든 결과를 평가한다. 가상 방향 증강은 장소 인식에서 야기된 플래그를 기본 파라미터로 사용하거나, 장소 추천에서 야기된 선택적 파라미터를 사용한다. 가상 방향 증강 모듈의 출력은 지도 및 방향의 형식이다. 플래그 입력 값에 따라 원하는 출력도 선택적이라는 점이 주목할 만하다. 가상 방향 증강은 모든 플래그 입력을 확인하는 것으로 시작된다. 이 플래그 입력은 시스템이 다른 에이전트의 위치에 대한 어떤 단서를 찾은 경우 개요를 제공한다. 플래그 값이 FALSE인 경우, 상기 시스템은 프로세스를 종료하고, 에이전트가 이미 다른 에이전트에 의해 추적되는 객체를 검색하고 감지해낼 때까지 다른 객체에 대한 가상 방향을 제공하지 않고 획득된 데이터를 다시 처리한다. 플래그 값이 TRUE이면, 상기 시스템은, 도 26과 같이, 일련의 프로세스를 실행한다.

시스템이 수행할 첫 번째 작업은 관련된 모든 에이전트로부터 생성된 모든 맵을 가져와서 그 맵들을 결합하는 것이다. 상기 맵들은, 모든 에이전트가 다른 에이전트의 위치 및 모든 에이전트에 의해 캡처된 맵에 포함된 객체의 모든 세부 사항을 찾을 수 있도록 결합된다. 맵들이 일단 결합되면, 시스템은 에이전트들 간의 상대적 거리를 계산하여 다른 에이전트들로부터 그들의 위치를 추정함으로써 에이전트를 연결하는 맵 상에서 가장 빠른 경로를 검색한다. 에이전트들 간의 상대 거리는 에이전트들 간의 최단 경로를 맵 상에서 찾은 후 계산될 수 있다. 상기한 최단 경로를 찾는 프로세스는 Bellman Ford 알고리즘, Dijkstra 알고리즘, 또는 Floyd-Warshall 알고리즘과 같은 여러 가지의 경로 찾기 알고리즘을 사용하여 적용될 수 있다. 일단 최단 경로가 결정되면, 시스템은 그 경로를 일반적으로 사용되는 단위로 변환하여 거리를 추정한다.

도 27은 다양한 실시 예에 따라 지도 결합 과정의 시뮬레이션을 도시한다. 에이전트가 생성한 맵을 결합하고 에이전트들 간의 상대적 거리를 계산하는 과정은, 도 27에 도시된 바와 같이, 맵 조합의 기준으로 객체 참조를 사용한다. 또한, 상기 시스템은 에이전트 간의 상대 거리를 계산하여 다른 에이전트의 위치에 도달하기 위한 최단 경로를 찾는다. 그 다음, 시스템은 AR 방향의 형태로 가상 지원 기능을 시작한다. 상기 시스템이 쌍을 이룬 에이전트로부터의 맵을 결합/병합하고 최단 경로를 계산 한 다음, AR을 사용하여 사용자가 따라갈 수 있는 경로와 방향을 예시한다. 상기 경로는 뷰 파인더에서 감지된 표면 상에 선과 화살표 형태로 표시된다.

본 시스템은 가상 지원 기능을 사용함에 있어 전반적인 사용자 경험을 중심으로 동작한다. 자동 3D맵 생성기 모듈에 구현된 자기-움직임 추정기는 AR 객체의 정밀도를 실제 객체로 향상시킨다. 이것은 가속도계, 자력계 및 자이로스코프 센서를 사용하는 것 외에 에이전트 위치와 움직임을 결정하는 데 도움이 된다. 또한, 상기 시스템은 더 높은 수준의 가상 지원 기능을 제공하기 위해 3D맵 상의 객체를 사용할 수도 있다. 이전에 형성된 3D 객체의 도움으로, 상기 시스템은 차단된 객체의 이미지를 생성하고 보다 정확한 경로를 제공할 수 있다. 예를 들어, 상기 시스템은 건물 벽으로 가려진 자동차 또는 나무의 실루엣을 표시한다. 경로 방향을 제공 시 이러한 3D 객체를 고려에 통합하여 더 정확한 방향을 획득할 수 있다. 상기 시스템은 사용자의 경로를 차단하는 정적 객체가 존재할 때는 언제나 대안적 경로를 제공할 수 있을 것이다. 사용자가 다른 사용자를 만나게 될 때 전체적인 일련의 과정이 완료된다.

Claims (10)

1. 전자 장치 및 복수의 센서들로부터 획득되는 데이터를 이용하는 객체 추적 시스템에 있어서,
   상기 객체 추적 시스템은, 이미지 필터링(Image Filtering) 모듈, 동적 환경 감지(Dynamic Environment Detection) 모듈, 위치 추적(Location Tracing module) 모듈, 및 가상 방향 증강 모듈(Virtual Direction Augmentation module)을 포함하고,
   상기 이미지 필터링 모듈은 정보의 레벨에 따라 필요한 데이터를 압축 해제 및 저장하여 상기 획득된 데이터를 필터링 및 점수화하고,
   상기 동적 환경 감지 모듈은 각 에이전트에 의해 식별되는 동일한 객체를 감지하고 각 에이전트에 대해 증강된 가상 방향을 제공하고,
   상기 위치 추적 모듈은 페어링된 전자 장치가 상기 동일한 객체를 인식할 때 상기 동일한 객체의 움직임에 대한 알림을 전송하고,
   상기 페어링된 전자 장치에 설치된 상기 가상 방향 증강 모듈은 자동으로 활성화되어 가상 방향 생성을 시작하고 남은 거리를 포함한 예상된 가상 방향을 전송하고, 상기 위치 추적 모듈에서 계산된 객체들 간 유사성 수준이 임계 값보다 높을 경우 가상 방향을 장치 인터페이스에 표시하는 것을 특징으로 하는 시스템.
2. 제1항에 있어서,
   상기 전자 장치는 스마트폰, 웨어러블 장치, 또는 카메라이고,
   상기 복수의 센서들 각각은 자력계, 가속도계 및 자이로스코프 중에서 어느 하나인 것을 특징으로 하는 시스템.
3. 제1항에 있어서, 상기 객체 추적 시스템에 포함되는 상기 이미지 필터링 모듈은,
   상기 객체 추적 시스템에 의해 식별되는 모든 객체들을 검색하고 제공된 정보 수준에 기초하여 상기 모든 객체들 및 주변 환경에 점수를 부여하고,
   상기 필터링된 데이터는 다른 전자 장치에서 스트리밍된 데이터와 비교 시 레퍼런스로 사용하는 것을 특징으로 하는 시스템.
4. 제1항에 있어서, 상기 객체 추적 시스템에 포함되는 상기 동적 환경 감지 모듈은,
   CNN(Convolutional Neural Network) 및 상기 필터링된 데이터를 기반으로 3D 맵을 자동으로 생성 및 업데이트하고 상기 3D 맵 상에서 인식된 객체의 정보를 추가하고,
   상기 복수의 센서들로부터 획득되는 센서 데이터를 미터 단위로 변환하는 고속 푸리에 변환을 수행하여 시작점에서 이동 거리를 계산하는 것을 특징으로 하는 시스템.
5. 제4항에 있어서, 상기 객체 추적 시스템은,
   상기 필터링된 데이터에서 추출되는 모든 스캔된 객체들을 식별하고 이미지 프레임에서 자기-움직임 분석을 사용하여 객체들을 분할하고, 깊이 맵을 추정하여 3D 맵을 생성하고, 장면 또는 객체의 예상된 3D 포인트를 에이전트의 위치에 대해 정확한 위치에 배치하고,
   이전에 생성된 3D맵을 발견한 경우 스캔된 주변 환경 내에서 객체들 간의 거리를 업데이트하며, 상기 객체 추적 시스템의 인터페이스에 표시되는 에이전트와 스캔된 객체 사이의 예상 거리를 제공하고,
   전체 이미지로부터 상기 자기-움직임 분석을 사용하여 깊이 맵을 추정하고, 장면 또는 객체의 추정된 3D 포인트를 에이전트 위치를 기준으로 정확한 위치에 배치하여 2D 광학 흐름을 사용하여 3D 공간에서 객체별 변환 벡터를 계산하고,
   상기 객체 추적 시스템이 복수의 에이전트들에 의해 캡처된 동일한 객체를 인식할 때 에이전트에게 가상 방향을 표시하기 위한 기준으로 사용할 3D 맵을 생성하는 것을 특징으로 하는 시스템.
6. 제1항에 있어서, 상기 객체 추적 시스템은 상기 위치 추적 모듈을 적용하여 객체를 감지하고 다른 에이전트가 취한 객체들을 식별함으로써 에이전트의 위치를 지속적으로 업데이트고,
   CNN 및 RPN (Region Proposal Network)을 사용하여 이미지에 캡처된 모든 객체들을 감지하고,
   이미지 검색 알고리즘을 사용하여 스캔된 객체와 다른 에이전트의 데이터베이스로부터의 이미지 레퍼런스가 일치할 경우 유사성 수준을 결정하고,
   상기 계산된 유사성 수준이 임계값보다 낮을 경우 사용자에게 다른 각도 또는 위치에서 객체를 스캔하거나 주변 환경 내에서 유사한 다른 객체를 찾도록 프롬프트하는 것을 특징으로 하는 시스템.
7. 제6항에 있어서, 상기 객체 추적 시스템은,
   스캔된 모든 객체들을 식별하고 다른 에이전트들로부터의 객체 목록과 비교 시 사용할 유사성 수준으로 라벨을 지정하고 첨부할 객체 목록을 생성하고,
   쌍을 이룬 에이전트들에 의해 기여된 이미지를 검색하여 유사성을 검색하여 최종 결과를 결정할 플래그(flag)를 생성하고,
   상기 객체 추적 시스템에서 유사성 수준이 90%를 초과할 경우 트루(TRUE) 플래그를 생성하되, 상기 객체 추적 시스템이 일치하는 이미지를 찾았지만 신뢰 수준이 50%에서 90% 사이일 경우, 상기 객체 추적 시스템은 사용자에게 다른 위치 또는 각도에서 객체를 스캔하거나 현재 위치에서 이동하라고 메시지를 프롬프트하고,
   상기 객체 추적 시스템에서 유사성 수준이 50% 미만일 경우 펄스(FALSE) 플래그를 생성하는 것을 특징으로 하는 시스템.
8. 제1항에 있어서, 상기 객체 추적 시스템에 포함되는 상기 가상 방향 증강 모듈은,
   상기 동적 환경 감지 모듈로부터의 출력을 활용하여 감지된 객체의 시각화를 제공하고 상기 생성된 맵 상에서 에이전트들의 위치를 결정하고,
   상기 위치 추적 모듈로부터의 출력을 활용하여 스캔된 객체들의 유사성 수준을 데이터베이스의 참조 이미지와 비교하여 다른 에이전트의 위치에 도달하기 위한 방향의 제공을 결정하고,
   쌍을 이룬 에이전트들에 의해 생성된 모든 맵들을 결합하여 상기 위치 추적 모듈 상에서 계산된 스캔된 객체들의 유사성 수준이 임계값보다 높을 경우 맵의 조합을 수행하고, 사용자가 따라야 할 권장 경로를 예시하기 위해 자기-움직임 추정기를 사용하여 인터페이스 상에 AR 방향을 표시하는 것을 특징으로 하는 시스템.
9. 제8항에 있어서, 상기 객체 추적 시스템은,
   상기 위치 추적 모듈의 출력을 확인하여 상기 객체 추적 시스템이 인터페이스에 가상 방향을 표시하는지 판단하고,
   상기 출력이 펄스(FALSE) 플래그인 경우, 데이터 처리를 종료하고,
   상기 출력이 트루(TRUE) 플래그인 경우, 상기 객체 추적 시스템은 에이전트에 의한 모든 생성된 3D 맵들을 결합하여 모든 에이전트들의 위치를 결정하고 맵 상에서 스캔된 객체들에 대한 상세 정보를 제공하고,
   상기 모든 에이전트들로부터의 이미지 참조를 맵 조합의 기반으로 사용하고, 에이전트들 간의 예상 거리를 계산하여 경로 찾기 알고리즘을 사용하여 에이전트들을 연결하기 위한 맵 상에서의 최단 경로를 결정하고,
   상기 계산된 거리를 기반으로 화살표를 사용하여 인터페이스 상에서 방향을 증강하되, 다른 객체들에 의해 차단되어 있는 정적 객체들을 증강하고, 다른 에이전트들에 의한 상기 스캔된 객체 목록을 참조하여 대체 경로를 제공하는 것을 특징으로 하는 시스템.
10. 전자 장치 및 복수의 센서들로부터 획득되는 데이터를 이용하고, 이미지 필터링(Image Filtering) 모듈, 동적 환경 감지(Dynamic Environment Detection) 모듈, 위치 추적(Location Tracing module) 모듈, 및 가상 방향 증강 모듈(Virtual Direction Augmentation module)을 포함하는 객체 추적 시스템의 동작 방법에 있어서,
    상기 이미지 필터링 모듈은 정보의 레벨에 따라 필요한 데이터를 압축 해제 및 저장하여 상기 획득된 데이터를 필터링 및 점수화하는 동작;
    상기 동적 환경 감지 모듈은 각 에이전트에 의해 식별되는 동일한 객체를 감지하고 각 에이전트에 대해 증강된 가상 방향을 제공하는 동작;
    상기 위치 추적 모듈은 페어링된 전자 장치가 상기 동일한 객체를 인식할 때 상기 동일한 객체의 움직임에 대한 알림을 전송하는 동작; 및
    상기 페어링된 전자 장치에 설치된 상기 가상 방향 증강 모듈은 자동으로 활성화되어 가상 방향 생성을 시작하고 남은 거리를 포함한 예상된 가상 방향을 전송하고, 상기 위치 추적 모듈에서 계산된 객체들 간 유사성 수준이 임계 값보다 높을 경우 가상 방향을 장치 인터페이스에 표시하는 동작을 포함하는 것을 특징으로 하는 방법.

Images