KR102664706B1 - 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템 및 그 동작 방법 - Google Patents
고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템 및 그 동작 방법 Download PDFInfo
- Publication number
- KR102664706B1 KR102664706B1 KR1020210168418A KR20210168418A KR102664706B1 KR 102664706 B1 KR102664706 B1 KR 102664706B1 KR 1020210168418 A KR1020210168418 A KR 1020210168418A KR 20210168418 A KR20210168418 A KR 20210168418A KR 102664706 B1 KR102664706 B1 KR 102664706B1
- Authority
- KR
- South Korea
- Prior art keywords
- module
- dimensional features
- network
- slam
- slam system
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000006243 chemical reaction Methods 0.000 claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 15
- 238000013135 deep learning Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 4
- 230000003190 augmentative effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000011017 operating method Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Radar, Positioning & Navigation (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Software Systems (AREA)
- General Business, Economics & Management (AREA)
- Computer Graphics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템 및 그 동작 방법이 제시된다. 본 발명의 일 실시예에 따른 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템의 동작 방법은, 네트워크 모듈을 통해 고차원 특징을 구성하기 위한 입력 값을 서비스 모듈로 전달하는 단계; 상기 서비스 모듈에서 상기 입력 값을 처리하고 결과 값을 반환하는 단계; 상기 네트워크 모듈에서 상기 서비스 모듈로부터 상기 결과 값을 전송 받아 변환 모듈로 전달하는 단계; 상기 변환 모듈에서 전달 받은 상기 결과 값을 취합하여 주변 환경을 인지하기 위한 고차원 특징을 구성하는 단계; 및 슬램 모듈은 상기 고차원 특징을 전달 받아 동적으로 변화하는 실제 환경을 반영하여 지도를 구성하는 단계를 포함하여 이루어질 수 있다.
Description
아래의 본 발명의 실시예들은 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템 및 그 동작 방법에 관한 것으로, 더욱 상세하게는 모바일 환경에서 고차원 특징을 적용하기 위해 네트워크 기반의 슬램 시스템 및 그 동작 방법에 관한 것이다.
사전 정보가 전혀 존재하지 않는 상황에서 사용자의 위치를 추정하면서 동시에 지도를 작성하는 슬램(Simultaneous Localization and Mapping, SLAM)은 주로 증강 현실과 자율 주행, 그리고 로봇 분야에서 연구되고 있다. 기존 기술에서 추적과 지도 작성 기능을 쓰레드로 분리하여 실시간으로 카메라를 추적하고 지도를 작성하게 되면서 슬램은 비약적으로 발전하기 시작하였고, RGB-D 카메라나 관성 측정 장비와 같은 추가 정보를 이용하여 슬램의 성능을 향상시키고 있다. 구글, 애플, 마이크로소프트와 같은 기업에서도 슬램 기반의 증강 현실 체험 콘텐츠 저작 플랫폼으로 공개하고 있다.
기존의 슬램은 점, 선, 면과 같은 저차원 특징을 이용하여 지도를 작성하였으나, 텍스처가 부족한 환경, 무늬가 반복되는 환경, 조명이 변화하는 환경 등에서 특징점 매칭 실패로 인하여 카메라 추적을 실패하게 된다. 그리고 실제 환경에 존재하는 물체에 대한 정보를 알지 못하기 때문에 물체가 움직이는 경우 트래킹을 실패하게 된다. 또한, 이들은 특징점 또는 이미지의 음영을 기반으로 맵을 생성하고, 이는 실제 공간의 기하 정보를 부분적으로 복원하게 된다. 비교적 값이 저렴한 상업용 RGB-D 카메라의 등장으로 깊이 이미지를 반영하여 기하 정보를 누락하지 않고 조밀하게 슬램 맵을 복원하는 방법들이 등장하였다.
하지만, 이러한 방법은 3차원 복셀 볼륨을 이용하여 텅 빈 공간 모델을 생성한 후 깊이 값을 모델에 융합하는 형태로 텅 빈 공간에 대해서도 복셀로 표현해야 하기 때문에 넓은 공간을 표현하지 못한다. 이러한 문제를 해결하고자 해싱 기법을 도입하였으나, 여전히 많은 계산량과 저장 공간을 요구하기 때문에 모바일에서 동작하기에는 적합하지 않으며, 이 방식도 움직이는 물체는 제대로 처리하지 못하는 단점이 존재한다.
최근에는 이와 같은 단점들을 해결하기 위해 고차원의 특징을 이용하기 시작하였다. 대표적인 고차원 특징으로는 의미론적 분할 방법을 이용하여 실제 환경의 물체를 인식하고 슬램 지도에 물체 정보를 추가하는 연구와 평면을 추정하여 실내 공간의 구조를 추정하는 연구 등이 존재한다. 객체 인식을 고차원 특징으로 이용하는 연구는 복도 환경 등과 같은 텍스처가 부족한 환경에서 문, 의자와 같은 물체를 인식하여 지도에 의미를 추가함으로써 슬램의 성능을 향상하고자 하였다. 그러나, 이들은 실내 구조에 대한 이해 없이 물체 정보를 포함하여 지도를 생성하기에 물체가 움직이는 상황은 대응하지 못한다. 물체의 자세를 개별 쓰레드 형태로 분리하여 관리하는 경우 일정한 속도로 움직이는 경우에는 추적이 성공하나, 회전하는 상황에서 추적이 실패하게 된다. 실내 구조를 추정하여 슬램과 결합하는 연구는 RGB-D 카메라나 딥러닝을 활용하고 있으며, RGB-D 카메라를 이용하는 경우 슬램 맵이 최적화되는 경우 지도의 3차원 포인트들 사이에 상관 관계가 생기면서 실시간으로 최적화를 하지 못하는 단점이 존재한다.
딥러닝을 이용하여 실내 구조를 추정하는 연구는 바닥과 벽이 만나는 선에 물체가 존재하는 상황에는 평면 구조를 추정하지 못하는 경우가 존재한다. 또한 이들은 대게 GPU와 같은 추가 장비를 이용하기 때문에 모바일 환경에 적용하는 경우에는 실시간으로 동작하지 못한다.
5세대 이동 통신과 같은 무선 네트워크 기술의 발전과 함께 슬램에 네트워크를 결합하려는 다양한 시도들도 나타나고 있다. 기존 기술에서 IoT 기기의 데이터를 이용하여 슬램으로 위치를 추정하는 연구가 수행되었다. 또한, 기존 기술에서 서버-클라이언트 구조를 실내 공간 복원 기법에 적용하여 성능이 좋은 서버에서 실내 공간 복원을 수행하고 등록하여 비교적 성능이 떨어지는 클라이언트들은 복원된 결과만 전송 받고 시각화를 수행하는 접근 방법도 존재한다. 또한, 구글과 마이크로소프트의 경우에는 딥러닝을 이용한 이미지 영역 인식 등을 API의 형태로 제공하고 있으며, 모바일 환경에서도 네트워크를 통하여 이용 가능하다. 이를 활용하여 모바일에서 슬램으로 사용자의 위치를 추정하면서 주변 물체의 정보를 획득하는 접근 방법도 나타나고 있다.
Wang, Zemin, et al. "A Computationally Efficient Semantic SLAM Solution for Dynamic Scenes." Remote Sensing 11.11 (2019): 1363.
본 발명의 실시예들은 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템 및 그 동작 방법에 관하여 기술하며, 보다 구체적으로 증강 현실을 위한 모바일 환경에서 슬램의 고차원 특징을 효율적으로 구성하기 위해 네트워크를 이용하는 슬램 시스템에 관한 기술을 제공한다.
본 발명의 실시예들은 모바일 환경에서 실시간으로 고차원 특징을 이용하여 카메라의 자세와 지도를 작성하기 위해 네트워크를 통해 의미론적 분할을 서비스로 이용함으로써, 모바일 기기의 하드웨어 성능의 영향을 받지 않고 의미론적 분할 결과를 슬램과 결합하여 고차원 특징을 구성할 수 있는 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템 및 그 동작 방법을 제공하는데 있다.
본 발명의 일 실시예에 따른 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템의 동작 방법은, 네트워크 모듈을 통해 고차원 특징을 구성하기 위한 입력 값을 서비스 모듈로 전달하는 단계; 상기 서비스 모듈에서 상기 입력 값을 처리하고 결과 값을 반환하는 단계; 상기 네트워크 모듈에서 상기 서비스 모듈로부터 상기 결과 값을 전송 받아 변환 모듈로 전달하는 단계; 상기 변환 모듈에서 전달 받은 상기 결과 값을 취합하여 주변 환경을 인지하기 위한 고차원 특징을 구성하는 단계; 및 슬램 모듈은 상기 고차원 특징을 전달 받아 동적으로 변화하는 실제 환경을 반영하여 지도를 구성하는 단계를 포함하여 이루어질 수 있다.
상기 네트워크 모듈을 통해 전송 받은 의미론적 분할 결과를 이용하여 고차원 특징으로 변환할 수 있다.
상기 서비스 모듈에서 상기 입력 값을 처리하고 결과 값을 반환하는 단계는, 상기 서비스 모듈을 통해 전달 받은 원본 이미지를 처리하여 분할 결과를 상기 네트워크 모듈로 반환할 수 있다.
상기 서비스 모듈은, 주변 환경을 인지하기 위한 상기 고차원 특징을 처리하기 위해 백엔드 서비스(Backend as a Service, BaaS)로 구성되어 상기 네트워크 모듈을 통해 입출력을 주고 받을 수 있다.
상기 서비스 모듈은, 실내 또는 실외 환경의 구분 없이 객체 분할 정보를 획득하기 위하여 두 개의 딥러닝 네트워크를 백엔드 서비스 형태로 구동할 수 있다.
상기 결과 값을 취합하여 고차원 특징을 구성하는 단계는, GPS 및 IoT 정보 중 적어도 어느 하나 이상의 정보를 이용하여 실내 또는 실외 환경을 구분하여 실내 또는 실외 환경에 따른 서비스를 호출하도록 할 수 있다.
상기 GPS는 위도, 경도 값을 일정 간격으로 갱신하고, 현재 위치를 슬램 모듈에서 추정한 카메라의 위치와 비교하여 실내에 위치하고 있는지 여부를 확인할 수 있다.
상기 카메라의 위치는 계속 변화하되, 상기 GPS의 위도와 경도 값은 변화하지 않는 경우, 실내에 존재하는 것으로 판단할 수 있다.
상기 결과 값을 취합하여 고차원 특징을 구성하는 단계는, 상기 변환 모듈에서 객체 분할, 행동 인식 및 맥락 인지 중 적어도 어느 하나 이상의 고차원 특징을 구성할 수 있다.
본 발명의 다른 실시예에 따른 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템은, 고차원 특징을 구성하기 위한 입력 값을 서비스 모듈로 전달하여 결과 값을 전달 받는 네트워크 모듈; 상기 네트워크 모듈로부터 전달 받은 상기 입력 값을 처리하고 상기 결과 값을 반환하는 서비스 모듈; 상기 네트워크 모듈로부터 전달 받은 상기 결과 값을 취합하여 주변 환경을 인지하기 위한 고차원 특징을 구성하는 변환 모듈; 및 상기 고차원 특징을 전달 받아 동적으로 변화하는 실제 환경을 반영하여 지도를 구성하는 슬램 모듈을 포함할 수 있다.
상기 네트워크 모듈을 통해 전송 받은 의미론적 분할 결과를 이용하여 고차원 특징으로 변환할 수 있다.
상기 서비스 모듈은, 전달 받은 원본 이미지를 처리하여 분할 결과를 상기 네트워크 모듈로 반환할 수 있다.
상기 서비스 모듈은, 주변 환경을 인지하기 위한 상기 고차원 특징을 처리하기 위해 백엔드 서비스(Backend as a Service, BaaS)로 구성되어 상기 네트워크 모듈을 통해 입출력을 주고 받을 수 있다.
상기 서비스 모듈은, 실내 또는 실외 환경의 구분 없이 객체 분할 정보를 획득하기 위하여 두 개의 딥러닝 네트워크를 백엔드 서비스 형태로 구동할 수 있다.
상기 변환 모듈은, 객체 분할, 행동 인식 및 맥락 인지 중 적어도 어느 하나 이상의 상기 고차원 특징을 구성할 수 있다.
본 발명의 실시예들에 따르면 모바일 환경에서 실시간으로 고차원 특징을 이용하여 카메라의 자세와 지도를 작성하기 위해 네트워크를 통해 의미론적 분할을 서비스로 이용함으로써, 모바일 기기의 하드웨어 성능의 영향을 받지 않고 의미론적 분할 결과를 슬램과 결합하여 고차원 특징을 구성할 수 있는 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템 및 그 동작 방법을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 고차원 특징 변환 과정을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템의 동작 방법을 나타내는 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 고차원 특징 변환 과정을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템의 동작 방법을 나타내는 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
아래의 본 발명의 실시예들은 증강 현실을 위한 모바일 환경에서 슬램(Simultaneous Localization and Mapping, SLAM)의 고차원 특징을 효율적으로 구성하기 위해 네트워크를 이용하는 슬램 시스템을 제안한다. 여기서, 슬램(SLAM)은 사전 정보가 전혀 존재하지 않는 상황에서 사용자의 위치를 추정하면서 동시에 지도를 작성할 수 있다.
최근에는 딥러닝으로 동작하는 의미론적 분할 방식을 슬램과 결합하여 고차원 특징으로 이용하고 있으나, 고차원 특징을 이용하기 위해서는 추가적인 장비가 필요하기 때문에 모바일 환경에서는 실시간으로 동작하기 어렵다.
본 발명의 실시예들은 모바일 환경에서 실시간으로 고차원 특징을 이용하여 카메라의 자세와 지도를 작성하기 위해 네트워크를 통해 의미론적 분할을 서비스로 이용하는 새로운 슬램 시스템을 구성할 수 있다. 제안하는 슬램 시스템을 통하여 모바일 기기의 하드웨어 성능의 영향을 받지 않고 의미론적 분할 결과를 슬램과 결합하여 고차원 특징을 구성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템의 구성을 나타내는 도면이다.
도 1을 참조하면, 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템(100)을 나타내며, 네트워크를 통해 의미론적 분할 결과를 전송하기 위한 서비스를 구성하는 방법과 의미론적 분할 결과를 슬램에 적용하여 고차원 특징을 구성하는 방법을 설명한다.
일 실시예에 따른 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템(100)은 슬램 모듈(140), 네트워크 모듈(110), 서비스 모듈(120) 및 변환 모듈(130)을 포함할 수 있다.
슬램 모듈(140)은 트래킹, 매핑, 루프 클로징으로 구성될 수 있다.
네트워크 모듈(110)은 기기의 영상 등 고차원 특징을 구성하기 위한 입력 값을 전달하고 서비스에서 결과 값을 전송 받는 기능을 수행할 수 있다.
서비스 모듈(120)은 입력 받은 값을 처리하고 결과 값을 반환할 수 있다.
변환 모듈(130)은 서비스에서 전달 받은 결과들을 취합하여 고차원 특징을 구성하는 역할을 수행할 수 있다. 고차원 특징을 구성하기 위한 서비스는 목적에 맞게 추가할 수 있으며 대체 가능하다.
실시예들은 실외, 실내 환경의 구분 없이 객체 분할 정보를 획득하기 위하여 두 개의 딥러닝 네트워크를 백엔드 서비스 형태로 구동할 수 있으며, GPS IoT 정보를 이용하여 실내와 실외를 구분하여 용도에 맞는 서비스를 호출하도록 설계할 수 있다.
여기서 GPS는 위도, 경도 값을 일정 간격으로 갱신하고, 현재 위치를 슬램에서 추정한 카메라의 위치와 비교하여 실내에 위치하고 있는지 확인할 수 있다. 실내에 존재하는 경우에 슬램의 카메라 위치는 계속 변화하지만, GPS의 위도와 경도 값은 실외에 위치하는 경우와 다르게 변화하지 않는 특성을 이용할 수 있다. 또한, 현재 접속 가능한 Wi-Fi 목록과 접속 가능한 기기들의 목록을 확인하여 실내에 위치하는지 실외에 위치하는지를 판단할 수 있다. 이와 같이, 현재 사용자의 위치가 실내 또는 실외인지를 구분할 수 있게 됨으로써 제안하는 모바일 슬램 시스템(100)은 적절한 서비스를 요청할 수 있게 된다.
제안하는 모바일 슬램 시스템(100)은 네트워크를 통해 전송 받은 의미론적 분할 결과를 이용하여 고차원 특징으로 변환하는 과정을 수행할 수 있다. 모바일 슬램 시스템(100)은 바닥, 벽, 천장, 책상과 같은 평면 영역을 우선 분리하여 실내 공간의 구조를 파악할 수 있다. 그 후, 평면 위의 물체를 고려하여 슬램에 반영할 수 있다.
도 2는 본 발명의 일 실시예에 따른 고차원 특징 변환 과정을 나타내는 도면이다.
도 2를 참조하면, (a)에 도시된 바와 같이 원본 이미지를 서비스 모듈에 전송하면, (b)에 도시된 바와 같이 분할 결과를 전송 받을 수 있다. (c)에 도시된 바와 같이 전송 받은 결과로부터 바닥, 벽, 책상을 마스킹하여 분리한 결과를 보여줄 수 있다.
그리고, (d)에 도시된 바와 같이 바닥과 책상의 평면 기하 정보를 추정하고 슬램에 반영한 결과를 보여줄 수 있다. 이 때, 파란색 선은 책상과 바닥이 분리된 결과를 보여주고 있다.
본 발명의 실시예들은 모바일 환경에서 고차원 특징을 적용하기 위해 네트워크 기반의 슬램 시스템을 제안한다. 일 실시예에서는 오픈 소스로 공개 중인 DeepLab V3와 ADE20K 데이터 셋, Cityscape 데이터 셋을 이용하였으며, 별도의 서버를 통하여 API의 형태로 세그멘테이션 결과를 전송 받을 수 있도록 하였다. 이 세그멘테이션 결과는 슬램과 결합하여 모바일 환경에서도 하드웨어 성능의 영향을 받지 않고 고차원 특징을 구성하여 슬램 지도에 의미를 추가할 수 있다.
본 발명의 실시예들에 따른 기여는 다음과 같다.
기기의 성능의 영향을 받지 않고 실시간으로 고차원 특징을 이용하기 위한 네트워크 기반의 슬램 시스템을 제안한다.
제안하는 구조를 통해 기기의 성능이 제한된 상황에서 고차원 특징을 슬램과 결합하여도 실시간 성능을 유지하면서 슬램이 동작하였다.
기존에는 움직이는 물체를 맵에 등록하거나 자세를 추정하고, 움직이는 물체를 맵과 분리하여 별도로 인식하는 방법으로 이미 움직임이 발생한 후 수동적으로 처리를 하는 것으로 움직이는 물체의 속력이 변화하거나 가림 현상 등에 대해서 제대로 대응하지 못하며, 주변 환경을 이해하여 물체가 움직일 가능성을 유추하여 대응하지 못하였다.
본 발명의 실시예들은 물체 인식에 사람의 행동 인식, 현재 주변 상황을 고려하여 움직일 수 있는 물체를 추정하여 능동적으로 대응이 가능하며, 영상의 의미를 파악하여 미리 움직임을 예상하여 대응할 수 있다. 또한, 바닥 위의 물체뿐만 아니라 사람이 들고 있는 물체나 문과 같은 벽과 연결되어 있는 물체에 대해서도 움직임을 감지할 수 있다.
도 3은 본 발명의 일 실시예에 따른 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템의 동작 방법을 나타내는 흐름도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템의 동작 방법은, 네트워크 모듈을 통해 고차원 특징을 구성하기 위한 입력 값을 서비스 모듈로 전달하는 단계(S110), 서비스 모듈에서 입력 값을 처리하고 결과 값을 반환하는 단계(S120), 네트워크 모듈에서 서비스 모듈로부터 결과 값을 전송 받아 변환 모듈로 전달하는 단계(S130), 변환 모듈에서 전달 받은 결과 값을 취합하여 주변 환경을 인지하기 위한 고차원 특징을 구성하는 단계(S140), 및 슬램 모듈은 고차원 특징을 전달 받아 동적으로 변화하는 실제 환경을 반영하여 지도를 구성하는 단계(S150)를 포함하여 이루어질 수 있다.
본 발명의 실시예들은 동적 물체가 빈번하게 포함되는 환경에서도 모바일 AR 어플리케이션을 안정적으로 구동하고 맥락에 맞는 AR 서비스를 제공하기 위해, 동적으로 변화하는 실제 환경을 반영하여 지도를 구성하고 동시에 정확한 카메라 자세 추정을 위한 모바일 슬램 시스템을 제공한다. 실시예들은 객체 분할, 행동 인식, 맥락 인지 등의 고차원 특징을 네트워크를 통하여 취득하여, 모바일 슬램 시스템이 효율적으로 주변 환경의 동적 특성을 인지하고 지도에 반영할 수 있다.
아래에서 본 발명의 일 실시예에 따른 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템의 동작 방법을 보다 구체적으로 설명한다.
본 발명의 일 실시예에 따른 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템의 동작 방법은 도 1에서 설명한 본 발명의 일 실시예에 따른 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템을 예를 들어 설명할 수 있다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템(100)은 네트워크 모듈(110), 서비스 모듈(120), 변환 모듈(130) 및 슬램 모듈(140)을 포함하여 이루어질 수 있다.
단계(S110)에서, 네트워크 모듈(110)은 고차원 특징을 구성하기 위한 입력 값을 서비스 모듈(120)로 전달할 수 있다.
단계(S120)에서, 서비스 모듈(120)은 입력 값을 처리하고 결과 값을 반환할 수 있다. 보다 구체적으로, 서비스 모듈(120)은 전달 받은 원본 이미지를 처리하여 분할 결과를 네트워크 모듈(110)로 반환할 수 있다.
서비스 모듈(120)은 주변 환경을 인지하기 위한 고차원 특징을 처리하기 위해, 백엔드 서비스(Backend as a Service, BaaS)로 구성되어 네트워크 모듈(110)을 통해 입출력을 주고 받을 수 있다. 이 때, 5G 등 무선통신을 활용하여 실시간으로 정보처리 가능하다.
특히, 서비스 모듈(120)은 실내 또는 실외 환경의 구분 없이 객체 분할 정보를 획득하기 위하여 두 개의 딥러닝 네트워크를 백엔드 서비스 형태로 구동할 수 있다. 예컨대, 서비스 모듈(120)은 실내 시맨틱 세그멘테이션(121) 및 실외 시맨틱 세그멘테이션(122)을 포함할 수 있다. 한편, 서비스 모듈(120)은 고차원 특징을 구성하기 위한 서비스는 목적에 맞게 추가할 수 있으며 대체 가능하다.
단계(S130)에서, 네트워크 모듈(110)은 서비스 모듈(120)로부터 결과 값을 전송 받아 변환 모듈(130)로 전달할 수 있다.
단계(S140)에서, 변환 모듈(130)에서 전달 받은 결과 값을 취합하여 주변 환경을 인지하기 위한 고차원 특징을 구성할 수 있다. 변환 모듈(130)은 객체 분할, 행동 인식 및 맥락 인지 중 적어도 어느 하나 이상의 고차원 특징을 구성할 수 있다.
여기서 고차원 특징은 객체 분할, 행동 인식, 맥락 인지 결과 등으로 구성될 수 있다. 구체적으로는, 픽셀 레벨의 점, 선과 같은 단순한 기하 정보를 넘어서 객체 인식, 사용자의 손과 객체의 자세 추정, 사용자의 행동 분석 등의 고차원 정보로 구성될 수 있다. 결과적으로, 고차원 특징을 활용함으로써 3차원 지도를 구성할 때, 점과 직선의 단위보다 높은 3차원 객체 단위로 관리하고 더 많은 정보를 함축시킬 수 있다.
또한, 변환 모듈(130)은 GPS 및 IoT 정보 중 적어도 어느 하나 이상의 정보를 이용하여 실내 또는 실외 환경을 구분하여 실내 또는 실외 환경에 따른 서비스를 호출하도록 할 수 있다. GPS는 위도, 경도 값을 일정 간격으로 갱신하고, 현재 위치를 슬램 모듈(140)에서 추정한 카메라의 위치와 비교하여 실내에 위치하고 있는지 여부를 확인할 수 있다. 카메라의 위치는 계속 변화하되, GPS의 위도와 경도 값은 변화하지 않는 경우, 실내에 존재하는 것으로 판단할 수 있다.
단계(S150)에서, 슬램 모듈(140)은 고차원 특징을 전달 받아 동적으로 변화하는 실제 환경을 반영하여 지도를 구성할 수 있다.
본 발명의 실시예들은 네트워크 모듈(110)을 통해 전송 받은 의미론적 분할 결과를 이용하여 고차원 특징으로 변환할 수 있다.
이와 같이, 본 발명의 실시예들에 따르면 주변 상황을 이해하여 미리 움직일 수 있는 상황을 대응하기 때문에 기존의 슬램이 수동적으로 맵을 갱신하기 때문에 사고의 위험이 존재하는 것을 감지하지 못하는 것과 달리 미연에 사고를 예방할 수 있다.
본 발명의 실시예들은 증강현실 분야에 적용될 수 있다. 현재 대부분의 증강현실 어플리케이션이 모바일 환경을 선호하고 있는 상황이다. 그러나 모바일 기기의 제한된 컴퓨팅 자원으로 인해, 현재는 가상의 콘텐츠를 시각화하는 작업과 같이 단순한 작업만 가능하다. 본 발명의 실시예들은 모바일 기기의 한정된 자원의 제약으로부터 벗어나 네트워크가 제공하는 주변 환경에 대한 인지 능력을 활용하여 고품질의 다양한 AR 서비스를 구성할 수 있는 기반을 제공할 수 있다.
AR 어플리케이션이 동작하는 환경에는 모바일 기기 외에도 안경형 디스플레이가 있으며, 모바일 기기와 마찬가지로 독립형 안경형 디스플레이(Stand-alone HMD)에는 활용할 수 있는 자원이 한정되어 있다. 이 경우에도 본 발명을 통해 보다 안정적이고 다양한 AR 서비스를 제공할 수 있다.
본 발명의 실시예들에 따르면 모바일 증강현실 어플리케이션에 필요한 컴퓨팅 자원의 제약을 줄일 수 있다. 모바일 기기의 낮은 컴퓨팅 능력으로 인해, 기존의 슬램 시스템을 동작하는 데에 대부분의 자원을 할애한다. 이에 따라 본 발명의 실시예들을 통해 모바일 기기의 한정된 자원에서 벗어나 고차원의 특징을 활용할 수 있다.
또한, 단순한 AR 서비스(가상 객체 시각화 및 단순한 조작)만 가능한 현재 상황에서, 본 발명의 실시예들을 통해 보다 다양하고 안정적인 AR 서비스를 제공할 수 있을 것이다. 주변 환경을 3차원 지도로 복원할 때, 주변 환경에 대한 인지 결과가 활용되므로 보다 다양한 방식으로 3차원 지도를 활용할 수 있다. 먼저, 동적 객체에 대해서 손쉽게 지도 변경이 가능하며, 사용자가 상호작용하고자 하는 대상에 대한 정보를 지도가 갖고 있으므로 보다 다양하고 의미 있는 상호작용이 가능해진다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (15)
- 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템의 동작 방법에 있어서,
네트워크 모듈을 통해 고차원 특징을 구성하기 위한 입력 값을 서비스 모듈로 전달하는 단계;
상기 서비스 모듈에서 상기 입력 값을 처리하고 결과 값을 반환하는 단계;
상기 네트워크 모듈에서 상기 서비스 모듈로부터 상기 결과 값을 전송 받아 변환 모듈로 전달하는 단계;
상기 변환 모듈에서 전달 받은 상기 결과 값을 취합하여 주변 환경을 인지하기 위한 고차원 특징을 구성하는 단계; 및
슬램 모듈은 상기 고차원 특징을 전달 받아 동적으로 변화하는 실제 환경을 반영하여 지도를 구성하는 단계
를 포함하되,
상기 서비스 모듈은
실내 또는 실외 환경의 구분 없이 객체 분할 정보를 획득하기 위하여 두 개의 딥러닝 네트워크를 백엔드 서비스 형태로 구동하고,
상기 결과 값을 취합하여 고차원 특징을 구성하는 단계는
상기 변환 모듈에서 객체 분할, 행동 인식 및 맥락 인지의 고차원 특징을 구성하며,
상기 지도를 구성하는 단계는
상기 네트워크 모듈을 통해 전송 받은 의미론적 분할 결과를 이용하여 고차원 특징으로 변환하는 것을 특징으로 하는, 모바일 슬램 시스템의 동작 방법. - 삭제
- 제1항에 있어서,
상기 서비스 모듈에서 상기 입력 값을 처리하고 결과 값을 반환하는 단계는,
상기 서비스 모듈을 통해 전달 받은 원본 이미지를 처리하여 분할 결과를 상기 네트워크 모듈로 반환하는 것
을 특징으로 하는, 모바일 슬램 시스템의 동작 방법. - 제1항에 있어서,
상기 서비스 모듈은,
주변 환경을 인지하기 위한 상기 고차원 특징을 처리하기 위해 백엔드 서비스(Backend as a Service, BaaS)로 구성되어 상기 네트워크 모듈을 통해 입출력을 주고 받을 수 있는 것
을 특징으로 하는, 모바일 슬램 시스템의 동작 방법. - 삭제
- 제1항에 있어서,
상기 결과 값을 취합하여 고차원 특징을 구성하는 단계는,
GPS 및 IoT 정보 중 적어도 어느 하나 이상의 정보를 이용하여 실내 또는 실외 환경을 구분하여 실내 또는 실외 환경에 따른 서비스를 호출하도록 하는 것
을 특징으로 하는, 모바일 슬램 시스템의 동작 방법. - 제6항에 있어서,
상기 GPS는 위도, 경도 값을 일정 간격으로 갱신하고, 현재 위치를 슬램 모듈에서 추정한 카메라의 위치와 비교하여 실내에 위치하고 있는지 여부를 확인하는 것
을 특징으로 하는, 모바일 슬램 시스템의 동작 방법. - 제7항에 있어서,
상기 카메라의 위치는 계속 변화하되, 상기 GPS의 위도와 경도 값은 변화하지 않는 경우, 실내에 존재하는 것으로 판단하는 것
을 특징으로 하는, 모바일 슬램 시스템의 동작 방법. - 삭제
- 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템에 있어서,
고차원 특징을 구성하기 위한 입력 값을 서비스 모듈로 전달하여 결과 값을 전달 받는 네트워크 모듈;
상기 네트워크 모듈로부터 전달 받은 상기 입력 값을 처리하고 상기 결과 값을 반환하는 서비스 모듈;
상기 네트워크 모듈로부터 전달 받은 상기 결과 값을 취합하여 주변 환경을 인지하기 위한 고차원 특징을 구성하는 변환 모듈; 및
상기 고차원 특징을 전달 받아 동적으로 변화하는 실제 환경을 반영하여 지도를 구성하는 슬램 모듈
을 포함하되,
상기 서비스 모듈은
실내 또는 실외 환경의 구분 없이 객체 분할 정보를 획득하기 위하여 두 개의 딥러닝 네트워크를 백엔드 서비스 형태로 구동하고,
상기 변환 모듈은
객체 분할, 행동 인식 및 맥락 인지의 고차원 특징을 구성하며,
상기 슬램 모듈은
상기 네트워크 모듈을 통해 전송 받은 의미론적 분할 결과를 이용하여 고차원 특징으로 변환하는 것을 특징으로 하는, 모바일 슬램 시스템. - 삭제
- 제10항에 있어서,
상기 서비스 모듈은,
전달 받은 원본 이미지를 처리하여 분할 결과를 상기 네트워크 모듈로 반환하는 것
을 특징으로 하는, 모바일 슬램 시스템. - 제10항에 있어서,
상기 서비스 모듈은,
주변 환경을 인지하기 위한 상기 고차원 특징을 처리하기 위해 백엔드 서비스(Backend as a Service, BaaS)로 구성되어 상기 네트워크 모듈을 통해 입출력을 주고 받을 수 있는 것
을 특징으로 하는, 모바일 슬램 시스템. - 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210168418A KR102664706B1 (ko) | 2021-11-30 | 2021-11-30 | 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템 및 그 동작 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210168418A KR102664706B1 (ko) | 2021-11-30 | 2021-11-30 | 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템 및 그 동작 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230080886A KR20230080886A (ko) | 2023-06-07 |
| KR102664706B1 true KR102664706B1 (ko) | 2024-05-09 |
Family
ID=86761230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210168418A KR102664706B1 (ko) | 2021-11-30 | 2021-11-30 | 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템 및 그 동작 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102664706B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019050007A (ja) * | 2018-11-01 | 2019-03-28 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 移動体の位置を判断する方法および装置、ならびにコンピュータ可読媒体 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102612347B1 (ko) * | 2018-06-27 | 2023-12-11 | 나이앤틱, 인크. | 장치 위치 측정을 위한 다중 동기화 통합 모델 |
| KR20190134554A (ko) * | 2019-11-15 | 2019-12-04 | 엘지전자 주식회사 | 동적 장애물을 식별하는 방법 및 이를 구현한 로봇 |
-
2021
- 2021-11-30 KR KR1020210168418A patent/KR102664706B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019050007A (ja) * | 2018-11-01 | 2019-03-28 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | 移動体の位置を判断する方法および装置、ならびにコンピュータ可読媒体 |
Non-Patent Citations (1)
| Title |
|---|
| Jiahui Huang, et al., ClusterSLAM: A SLAM backend for simultaneous rigid body clustering and motion estimation, Computational Visual Media Vol.7, No.1, March 2021* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230080886A (ko) | 2023-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11710259B2 (en) | Predictive tree coding for point cloud coding | |
| US10726264B2 (en) | Object-based localization | |
| Tran et al. | Shape grammar approach to 3D modeling of indoor environments using point clouds | |
| JP7193163B2 (ja) | 協調的３ｄマップデータ融合プラットフォーム及びその仮想世界システムを可能にするシステム及び方法 | |
| JP7435130B2 (ja) | 屋内位置特定のための方法、サーバ、及びプログラム | |
| KR20220009393A (ko) | 이미지 기반 로컬화 | |
| US10937237B1 (en) | Reconstructing three-dimensional scenes using multi-view cycle projection | |
| CN109255749B (zh) | 自主和非自主平台中的地图构建优化 | |
| CN116438573A (zh) | 场景布局估计 | |
| US20230326033A1 (en) | World-space segmentation | |
| US20200401436A1 (en) | System and method to operate 3d applications through positional virtualization technology | |
| US11625838B1 (en) | End-to-end multi-person articulated three dimensional pose tracking | |
| WO2019116352A1 (en) | Scalable parameter encoding of artificial neural networks obtained via an evolutionary process | |
| US11748905B2 (en) | Efficient localization based on multiple feature types | |
| US20190378340A1 (en) | Placing and solving constraints on a 3d environment | |
| CN113378605B (zh) | 多源信息融合方法及装置、电子设备和存储介质 | |
| CN113936085A (zh) | 三维重建方法和装置 | |
| Cosma et al. | Camloc: Pedestrian location estimation through body pose estimation on smart cameras | |
| KR102664706B1 (ko) | 고차원 특징 구성을 위한 네트워크 기반 모바일 슬램 시스템 및 그 동작 방법 | |
| CN112580563A (zh) | 视频摘要的生成方法、装置、电子设备和存储介质 | |
| KR20210058638A (ko) | 이미지 처리 장치 및 방법 | |
| Wang et al. | C3Meta: a context-aware cloud-edge-end collaboration framework toward green metaverse | |
| US11921824B1 (en) | Sensor data fusion using cross-modal transformer | |
| Mantoro et al. | Multi-user navigation: A 3D mobile device interactive support | |
| US20220358671A1 (en) | Methods of estimating pose graph and transformation matrix between cameras by recognizing markers on the ground in panorama images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |