KR102525563B1 - 다중 라이다 및 카메라 센서를 이용한 영상 획득 방법 및 이를 수행하는 컴퓨팅 장치 - Google Patents

다중 라이다 및 카메라 센서를 이용한 영상 획득 방법 및 이를 수행하는 컴퓨팅 장치 Download PDF

Info

Publication number
KR102525563B1
KR102525563B1 KR1020220164880A KR20220164880A KR102525563B1 KR 102525563 B1 KR102525563 B1 KR 102525563B1 KR 1020220164880 A KR1020220164880 A KR 1020220164880A KR 20220164880 A KR20220164880 A KR 20220164880A KR 102525563 B1 KR102525563 B1 KR 102525563B1
Authority
KR
South Korea
Prior art keywords
lidar
sensor
image
sensors
camera
Prior art date
Application number
KR1020220164880A
Other languages
English (en)
Inventor
박예성
이재민
이진석
윤석원
Original Assignee
주식회사 테스트웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 테스트웍스 filed Critical 주식회사 테스트웍스
Priority to KR1020220164880A priority Critical patent/KR102525563B1/ko
Application granted granted Critical
Publication of KR102525563B1 publication Critical patent/KR102525563B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/0016—Arrangements for synchronising receiver with transmitter correction of synchronization errors
    • H04L7/0033—Correction by delay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/02—Speed or phase control by the received code signals, the signals containing no special synchronisation information

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 발명은 라이다와 카메라로부터 영상을 획득하는 방법에 관한 것이다. 본 발명에 따른 컴퓨팅 장치에서 수행되는 다중 라이다 및 카메라 센서를 이용한 영상 획득 방법은 복수의 라이다 및 카메라 센서로 구성된 센서 시스템 내 한 쌍의 라이다와 카메라 센서간 위치 차이를 보정하기 위한 외부 행렬을 산출하는 단계; 상기 라이다와 카메라 센서의 처리 속도의 차이를 고려하여 상기 라이다 센서의 촬영 신호를 기준으로 상기 카메라 센서의 촬영 신호의 지연 시간을 설정하는 단계; 상기 라이다 센서 중 적어도 하나의 제1 라이다 센서의 시계를 기준으로 촬영 신호를 발생시키는 다른 라이다 센서의 시계를 동기화하는 단계; 및 상기 센서 시스템에서 수집된 영상을 정합하는 단계를 포함한다. 본 발명에 따르면, 원거리의 라이더 영상을 정밀하게 정합합으로써 보다 광범위한 영역에 대한 깊이 맵을 생성할 수 있다.

Description

다중 라이다 및 카메라 센서를 이용한 영상 획득 방법 및 이를 수행하는 컴퓨팅 장치{Image acquisition method using multiple lidar and camera sensor and computing device performing the same method}
본 발명은 라이다와 카메라로부터 영상을 획득하는 방법에 관한 것이다. 보다 구체적으로 본 발명은 라이다와 카메라의 영상을 정합하는 방법에 관한 것이다.
기존의 라이다 센서는 하나의 고정체 혹은 이동체에 고정하여 사용한다. 주로 이동체에 부착해 주변을 인식하거나 분석하는 용도로 사용된다. 이때 촬영 시야를 넓히기 위한 목적으로 다수 개의 라이다 센서를 사용하기도 한다. 이러한 시스템 구성으로 라이다 센서는 주로 자율주행 분야에서 주변 상황 인지 기술에 활용된다.
라이다 센서의 해상도 증가로 이동체에도 실시간으로 고해상도 3차원 정보를 수집할 수 있게 되었지만 단일 장비 내 부착된 라이다 센서로는 객체 표면의 전부를 측정하지 못한다.
고해상도 라이다의 경우 지도 제작을 목적으로 주로 사용된다. 3차원 공간 정보를 수집할 때는 이동체를 이동시키며 라이다 센서가 촬영한 데이터를 연속적으로 누적시키는 방법으로 3차원 공간 정보를 생성한다.
라이다 센서가 촬영한 데이터를 연속적으로 누적시키는 방법은 실시간 취득 방법이 아니기 때문에 고정된 3차원 공간만을 취득할 수 있다는 한계가 있다.
자율주행 및 지도제작을 목적으로 개발된 기존 시스템은 물리적인 한계로 인해 라이다 센서는 응용분야의 확장성이 작은 상황이다.
선행특허 1(한국공개특허공보 KR10-2021-0022016(2021.03.02))은 카메라로 획득한 이미지와 함께 라이다 스캔 데이터를 이용하여 해당 이미지의 깊이(depth)를 정밀하게 구할 수 있는 방법을 제안한다.
본 발명은 라이다(LiDAR)와 카메라를 이용하여 보다 광범위한 영역의 지도 생성이 가능한 방법을 제안한다.
본 발명은 원거리에 설치된 라이다 센서 간의 동기화 방법을 제안하는 것을 목적으로 한다.
본 발명은 3차원 공간에 대한 사각영역이 없는 실시간 영상의 생성 방법을 제안하는 것을 목적으로 한다.
본 발명은 3차원 공간에 대한 시계열, 행동 분석을 통한 객체 검출 방법을 제안하는 것을 목적으로 한다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 컴퓨팅 장치에서 수행되는 다중 라이다 및 카메라 센서를 이용한 영상 획득 방법은 복수의 라이다 및 카메라 센서로 구성된 센서 시스템 내 한 쌍의 라이다와 카메라 센서간 위치 차이를 보정하기 위한 외부 행렬을 산출하는 단계; 상기 라이다와 카메라 센서의 처리 속도의 차이를 고려하여 상기 라이다 센서의 촬영 신호를 기준으로 상기 카메라 센서의 촬영 신호의 지연 시간을 설정하는 단계; 상기 라이다 센서 중 적어도 하나의 제1 라이다 센서의 시계를 기준으로 촬영 신호를 발생시키는 다른 라이다 센서의 시계를 동기화하는 단계; 및 상기 센서 시스템에서 수집된 영상을 정합하는 단계를 포함한다.
상기 카메라 센서의 렌즈 왜곡을 보정하기 위한 내부 행렬을 산출하는 단계를 더 포함하고, 상기 외부 행렬을 산출하는 단계는, 상기 내부 행렬에 따라 보정된 상기 카메라 센서로부터 획득된 제1 영상과 상기 라이다 센서로부터 획득된 제2 영상 내 공통 객체를 이용하여 제1 외부 행렬을 산출하는 것이 바람직하다.
복수의 상기 라이다 센서로부터 획득된 제2 영상 내 공통 객체를 이용하여 상기 라이다 센서간 위치 차이를 보정하기 위한 제2 외부 행렬을 산출하는 단계를 더 포함한다.
상기 시계를 동기화 하는 단계는, 상기 동기화된 시계로 발생되는 상기 라이다 센서의 신호들의 위상을 고정하는 것이 바람직하다.
상기 제2 외부 행렬을 산출하는 단계는, 상기 제2 영상 내 공통 평면을 검출하고, 상기 공통 평면을 이용하여 상기 라이다 센서를 정합하는 것이 바람직하다.
상기 제2 외부 행렬을 산출하는 단계는, 상기 제2 영상 내 레이블링 된 객체 정보를 이용하여 상기 라이다 센서간 위치 차이를 보정한다.
상기 레이블링된 객체 정보는 상기 제2 영상에 대하여 미리 학습된 신경망 모델을 이용하여 생성된 것이 바람직하다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 컴퓨팅 장치는 프로세서; 및 상기 프로세서와 통신하는 메모리를 포함하고, 상기 메모리는 상기 프로세서로 하여금 동작들을 수행하게 하는 명령들을 저장하고, 상기 동작들은, 복수의 라이다 및 카메라 센서로 구성된 센서 시스템 내 한 쌍의 라이다와 카메라 센서간 위치 차이를 보정하기 위한 외부 행렬을 산출하는 동작, 상기 라이다와 카메라 센서의 처리 속도의 차이를 고려하여 상기 라이다 센서의 촬영 신호를 기준으로 상기 카메라 센서의 촬영 신호의 지연 시간을 설정하는 동작, 상기 라이다 센서 중 적어도 하나의 제1 라이다 센서의 시계를 기준으로 촬영 신호를 발생시키는 다른 라이다 센서의 시계를 동기화하는 동작, 및 상기 센서 시스템에서 수집된 영상을 정합하는 동작을 포함한다.
상기 카메라 센서의 렌즈 왜곡을 보정하기 위한 내부 행렬을 산출하는 동작을 더 포함하고, 상기 외부 행렬을 산출하는 동작은, 상기 내부 행렬에 따라 보정된 상기 카메라 센서로부터 획득된 제1 영상과 상기 라이다 센서로부터 획득된 제2 영상 내 공통 객체를 이용하여 제1 외부 행렬을 산출하는 것이 바람직하다.
복수의 상기 라이다 센서로부터 획득된 제2 영상 내 공통 객체를 이용하여 상기 라이다 센서간 위치 차이를 보정하기 위한 제2 외부 행렬을 산출하는 동작을 더 포함하는 것이 바람직하다.
상기 시계를 동기화 하는 동작은 상기 동기화된 시계로 발생되는 상기 라이다 센서의 신호들의 위상을 고정하는 것이 바람직하다.
상기 제2 외부 행렬을 산출하는 동작은, 상기 제2 영상 내 공통 평면을 검출하고, 상기 공통 평면을 이용하여 상기 라이다 센서를 정합하는 것이 바람직하다.
상기 제2 외부 행렬을 산출하는 단계는, 상기 제2 영상 내 레이블링 된 객체 정보를 이용하여 상기 라이다 센서간 위치 차이를 보정한다.
상기 레이블링된 객체 정보는 상기 제2 영상에 대하여 미리 학습된 신경망 모델을 이용하여 생성된 것이 바람직하다.
한편, 상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 기록 매체에 저장된 프로그램은 상술한 학습 데이터 가공 방법을 실행하기 위한 프로그램 코드를 포함할 수 있다.
본 발명에 따르면, 원거리의 라이더 영상을 정밀하게 정합합으로써 보다 광범위한 영역에 대한 깊이 맵을 생성할 수 있다.
또한, 카메라 센서와 함께 탐지 영역 내 객체를 보다 정확히 검출할 수 있다.
또한, 실시간 수집된 3차원 영상에 대한 객체의 행동과 시계열적 패턴을 검출하고 이에 대한 알림을 사용자에게 제공해 줄 수 있다.
도 1은 본 발명의 일 실시예에 따른 센서 시스템을 나타낸 예시도이다.
도 2는 본 발명의 일 실시예에 따른 영상 획득 방법을 나타낸 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 이종 센서간 정합 과정을 나타낸 예시도이다.
도 4는 본 발명의 일 실시예에 따른 이종 센서간 동기화 과정을 나타낸 예시도이다.
도 5는 본 발명의 일 실시예에 따른 라이다 센서간 동기화 과정을 나타낸 예시도이다.
도 6은 본 발명의 일 실시예에 따른 라이다 센서간 정합 과정을 나타낸 예시도이다.
도 7 및 8은 본 발명의 일 실시예에 따른 정합을 위한 구체적인 과정을 나타낸 예시도이다.
도 9는 본 발명의 일 실시예에 따른 신경망 모델을 나타낸 예시도이다.
도 10은 본 발명의 일 실시예에 따른 서버의 구성을 나타낸 블록도이다.
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.
또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.
이하에는 첨부된 도면을 참조하여 본 발명의 다양한 실시 예에 대하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 센서 시스템을 나타내는 예시도이다.
도 1을 참조하면 본 실시예에 따른 센서 시스템은 라이다(100)와 카메라(200) 센서를 쌍으로 하는 다중 센서로 구성될 수 있다.
서버(300)는 다중 센서들로부터 수집된 영상을 정합하고 객체 탐지 결과를 생성하여 사용자에게 제공해 줄 수 있따.
이때, 각각의 센서 쌍은 서로 소정 거리로 이격된 지점에서 공통된 영역(1)에 대한 정보를 수집하여 수집된 정보들은 하나의 영상으로 정합되어 사용자에게 제공될 수 있다.
구체적으로 탐지하고자 하는 영역에 대하여 사각 영역이 없도록 각 센서 쌍들은 위치가 결정될 수 있다.
본 실시예에서는 영역에 존재하는 다양한 객체들의 시계열적인 분석을 위하여 실시간으로 영상을 정합하여 동영상 형태로 생성할 수 있다.
따라서 영역 내의 움직이는 객체들에 대한 정보들을 수집하기 위해 원거리의 센서 쌍들의 촬영 시점도 동기화될 필요가 있다.
본 실시예에서 이용되는 센서 쌍은 카메라(200)와 라이다(100)로 구성되며 이종의 센서로서 서로 다른 원리에 따라 객체에 대한 정보를 수집하며, 물리적으로 동일 쌍 내에서 카메라(200)와 라이다(100)를 최대한 가깝게 배치하더라도 원거리 객체의 경우 센서 간의 미세한 위치 차이에 따른 영향이 더욱 커지므로 이에 대한 추가적인 보정이 필요할 수 있다.
또한, 센싱된 값을 통해 출력 값을 생성하는 처리 과정에 따라 지연이 발생하거나 구동을 위한 최소 시간 등의 차이가 발생할 수 있으므로 촬영 시점들을 동기화할 수 있다.
나아가, 라이다(100) 센서의 경우 검출된 동일 객체에 대한 절대적인 좌표 값의 생성을 위해서는 추가적인 보정이 필요할 수 있으며 원거리로 이격된 센서 간의 센싱을 위한 동기화가 더욱 필요할 수 있다.
따라서, 본 실시예에 따른 센서 시스템은 이종 센서, 또는 이격된 동종 센서 간의 수집된 정보의 처리를 위한 추가적인 작업을 수행한다.
이하, 도 2를 참고하여 본 실시예에 따른 구체적인 센서 시스템의 영상 획득 방법에 대하여 설명한다.
도 2를 참조하면, 본 실시예에 따른 센서 시스템은 먼저 복수의 라이다(100) 및 카메라(200) 센서로 구성된 센서 시스템 내 한 쌍의 라이다(100)와 카메라(200) 센서간 위치 차이를 보정하기 위한 외부 행렬을 산출한다(S100).
본 실시예에서 외부 행렬을 센서 상호간의 영향을 고려하여 정합하기 위한 변환 식으로 구성될 수 있다.
상술한 바와 같이 본 실시예에 따른 센서 시스템은 라이다(100)와 카메라(200) 센서를 한 쌍으로 구성하고 있으며 동일 쌍 내에서 라이다(100)와 카메라(200) 센서의 촬영 방향은 공통되는 것을 전제 할 수 있다.
다만, 상호 다른 방식으로 동작하는 라이다(100)와 카메라(200) 센서는 물리적인 위치 차이를 가지게 되므로 이에 대한 보정이 필요하다. 따라서 본 실시예에서는 라이다(100)와 카메라(200) 센서로부터 수집된 영상을 공통된 좌표로 정합하기 위한 외부 행렬을 생성할 수 있다.
라이다(100) 센서와 카메라(200)의 정합을 위해서는 두 센서 사이의 화각과 위치 차이를 알아내고 정합 과정에서 반영한다. 정합을 위한 수학식은 아래와 같이 표현될 수 있다.
[수학식]
L=R(C)+T
라이다(100) 센서가 제공하는 값은 2차원 좌표 L(x,y)에 해당하는 깊이 값이고, 카메라(200) 센서가 제공하는 값 C(x,y)는 색상 정보로서, red, green, blue의 3가지 채널로 분리해서 표현될 수 있다.
따라서 보정 행렬은 두 센서간의 위치를 고려해서 회전(R, Rotation)과 변이(T, Transform)의 식으로 생성될 수 있으며 두 센서의 위치를 수직 또는 수평 축을 정렬함으로써 일 방향의 변이 값을 정의하도록 생성될 수 있다.
또한, 해상도의 차이를 고려하여 상대적으로 해상도가 높은 카메라(200)의 영상을 다운사이징 하고 화각이 상대적으로 큰 라이다(100) 영상은 카메라(200)의 화각에 대응되도록 깊이 값을 추출하는 과정이 전처리로 수행되는 것도 가능하다.
나아가, 본 실시예에서는 카메라(200)에서 수집된 RGB 색상 값을 포함하는 이미지와 라이다(100)에서 수집된 점 기반의 깊이 맵으로 생성된 포인트 클라우드를 시각화하여 사용자에게 제공하는 것도 가능하다.
도 3을 참고하면, 본 실시예에서 도로에 대해 카메라(200) 센서로부터 수집된 이미지(20)에 포인트 클라우드(10)를 외부행렬(7)을 이용하여 변환된 깊이값을 투영시킴으로써 투영된 라이다(100) 데이터(30)를 생성하고 이를 정합한 시각화 데이터(40)를 제공할 수 있다.
이때 시각화 데이터(40)는 포인트 클라우드 내 깊이값들을 컬러바 형태로 색상값으로 치환함으로써 사용자가 직관적으로 깊이를 인식할 수 있도록 하는 것도 가능하다.
나아가, 도 3에 따라 본 실시예에서는 카메라(200)에 대한 내부 행렬(5)을 먼저 산출하는 것도 가능하다.
즉, 외부 행렬을 산출 전에 카메라(200) 센서의 렌즈 왜곡을 보정하기 위한 내부 행렬을 산출하는 단계를 더 포함할 수 있다.
카메라(200)는 일반적으로 보다 넓은 화각을 갖도록 평면 구조의 이미지 센서와 굴곡면을 갖는 렌즈로 구성될 수 있다. 따라서 렌즈를 투과하여 이미지 센서로 수광되는 값들은 렌즈 중심에서 멀어질수록 왜곡된 형상을 가질 수 있으며 이를 평면으로 투영하기 위해서는 렌즈의 굴곡에 따른 영향을 제거할 필요가 있다.
이를 위해 본 실시예에서는 카메라(200) 센서에 대한 내부 행렬(5)을 먼저 산출하고, 내부 행렬에 따라 보정된 상기 카메라(200) 센서로부터 획득된 제1 영상과 라이다(100) 센서로부터 획득된 제2 영상 내 공통 객체를 이용하여 제1 외부 행렬을 산출할 수 있다.
이어서, 이종의 센서의 물리적인 위치 차이에 따른 오차 외에 서로 다른 센싱 동작에 따라 발생하는 시간에 따른 오차 역시 실시간 영상의 생성 과정에 중요한 영향을 미칠 수 있다.
즉, 본 실시예에서는 양 센서의 동작 시간을 고려하여 동일 시점의 객체에 대한 영상을 출력할 수 있도록 지연 시간을 설정함으로써 촬영 신호를 동기화한다(S200).
도 4를 참고하면, 상대적으로 방대한 정보를 처리하는 라이다(100) 센서의 데이터 처리 속도와 발광 센서의 회전에 따른 시간을 고려하여 라이다(100) 센서의 촬영 신호 대비 카메라(200) 센서의 촬영 신호는 지연 시간(T_d)을 갖도록 설정할 수 있다.
따라서, 지연시간을 갖도록 동기화된 촬영 신호는 동일한 절대 시간에 따른 영상을 획득할 수 있도록 하며, 상술한 바와 같이 시각화하여 제공되는 투영 이미지에 시간 정보(0ms, 10ms, 20ms, 30ms)를 함께 표시하여 제공함으로써 사용자가 지연 시간을 설정할 수 있도록 하는 것도 가능하다.
다음 본 실시예에 따른 센서 시스템은 복수의 쌍으로 구성된 센서들 간의 동기화를 위한 동작을 수행한다(S300).
센서 시스템은 라이다(100) 센서 중 적어도 하나의 제1 라이다(100) 센서의 시계(clock)를 기준으로 촬영 신호를 발생시키는 다른 라이다(100) 센서의 시계를 동기화한다.
라이다(100) 센서의 경우 외부로 방출된 레이저 신호가 물체로부터 반사되어 다시 수광되는 경우 양 신호간의 위상 차이를 이용하여 도착 시간을 산출하고 깊이 정보를 획득할 수 있다.
즉, 초기 발생되는 신호의 위상 값을 기초로 정보를 획득함으로써 원거리에 위치하는 라이다(100) 센서들이 동일한 절대 시간의 동일한 객체의 위치를 획득하기 위해서는 상호 촬영 시간을 동기화할 필요가 있다.
구체적으로 본 실시예에서는 센서 시스템에 포함된 라이다(100) 센서 중 하나의 센서에 내장된 시계를 마스터 시계로 설정하고, 다른 라이다(100) 센서들의 시계를 슬레이브 시계로 계층화하여 구성함으로써 마스터 시계를 기준으로 각 슬레이브 시계들의 시간을 동기화한다.
바람직하게 시간의 동기화 과정은 표준 PTP(Precision Time Protocol) - IEEE 1588:2008 에 따라 서로 다른 라이다(100) 센서들의 클럭을 동기화하여 마이크로초(μs) 이하의 시간 정확도를 달성하는 것을 목적으로 한다.
즉, 중앙의 서버(300)를 통해 네트워크로 연동된 라이다(100) 센서들은 시간 동기화 통신 프로토콜을 통해 마스터 시계가 모든 슬레이브 시계에 시간 동기화 메시지를 전달하도록 하며, 슬레이브 시계는 자신의 로컬 타임과 마스터 클럭 사이의 시간 차이를 계산하여 단계적으로 2 μs 이내로 조정할 수 있다.
이때 본 실시예에서 라이다(100) 센서들은 비교적 원거리에 설치될 수 있으며 따라서 동기화 메시지가 다른 라이다(100) 센서에 도달하기까지 시간이 걸릴 수 있으며 거리에 따른 네트워크 레이턴시를 보상하는 과정을 위해 마스터 시계와 슬레이 시계 간의 메시지를 송수신하는 과정을 추가로 수행하는 것도 가능하다.
이상 동기화된 시간에 각 라이다(100) 센서들이 신호를 송신할 수 있도록 위상을 고정한다.
도 5를 참조하면, 라이다(100) 센서 중 마스터 시계로 설정된 라이다(100) 센서(100-1)을 기준으로 다른 라이다(100) 센서(100-2,3,4)가 동기화된 시간에 동일한 위상(Φ)으로 신호를 송신할 수 있도록 제어한다.
나아가, 본 실시예에서 라이다(100) 센서들 역시 시간에 따른 오차 외에 상호 위치에 따른 오차를 보정할 필요가 있다.
도 6을 참조하면, 본 실시예에서는 복수의 상기 라이다(100) 센서로부터 획득된 제2 영상 내 공통 객체를 이용하여 상기 라이다(100) 센서간 위치 차이를 보정하기 위한 제2 외부 행렬(6-2)을 산출한다.
제2 외부 행렬(6-2)의 산출을 위해 초기 외부 행렬 T(6-1)는 서버(300)를 통해 입력 될 수 있으며, 초기 외부 행렬이 적용된 각 라이다(100) 센서(100-1,2)의 포인트 클라우드 내 공통 평면을 검출하고, 공통 평면을 이용하여 라이다(100) 센서간 위치 차이를 점군 내 공통된 점(ICP, Iterative Closest Point)들의 반복적인 정합으로 보정할 수 있다.
도 7을 참조하면, 평면에 대한 두 점군(70-1, 70-2) 간의 상대적 트랜스폼을 구하는 반복적인 과정으로 양 라이다(100) 센서를 정합(registration)할 수 있다.
먼저 공통 평면에 대한 두 점군 내 각 점들 간의 거리를 통해 가장 인접한 점들을 매칭하고, 해당 점들의 정합 오차를 최소화하는 트랜스폼 행렬 값을 반복적인 연산을 통해 산출할 수 있다.
이때, 반복 연산은 정합 오차(registration error)를 최소화할 때 까지 수행될 수 있다.
하지만, 원거리의 라이다(100) 센서에서 공통 평면을 검출하는 것 자체가 어려울 수 있으므로 제2 영상 내 레이블링 된 객체 정보를 이용하여 추가적으로 제2 외부 행렬을 산출함으로써 라이다(100) 센서간 위치 차이를 보정하는 것도 가능하다.
이를 위해 공통 객체를 생성하기 위해 수동으로 레이블을 특정 객체에 생성하는 과정을 수행하고 이를 기준으로 라이다(100) 센서들의 수집 값들을 보정하는 행렬을 산출하는 것도 가능하다.
도 8을 참조하면, 평면과 검출된 객체의 레이블 정보를 통해 동일한 레이블 간의 정합 오차를 산출할 수 있다. 나아가 본 실시예에서는 각 레이블 간의 정합 오차의 합이 최소화되도록 반복 과정을 수행할 수 있다. 또는 레이블의 각각의 신뢰되에 따라 결정된 가중치로 오차 함수를 설정하고 오차가 최소화되도록 반복 수행하는 것도 가능하다.
나아가, 본 실시예에서는 외부 행렬을 산출을 위해 이용되는 레이블링된 객체 정보는 상기 제2 영상에 대하여 미리 학습된 신경망 모델을 이용하여 생성된 것을 이용하는 것도 가능하다.
이상 본 실시예에 따른 센서 시스템은 카메라(200)와 라이다(100) 센서를 통해 보다 넓은 영역의 객체들을 검출하고, 실시간 영상으로부터 동작 패턴들을 검출할 수 있다.
센서 시스템의 서버(300)는 학습된 신경망을 이용하면 객체의 정확한 위치를 2차원에서 확장된 깊이 정보를 갖는 3차원 형태의 바운딩 박스로 검출할 수 있다.
도 9를 참조하면, 본 실시예에 따른 신경망 모델은 이미지 내의 객체를 검출하기 위한 컨볼루션 레이어들로 구성될 수 있으며, 컨볼루션 연산을 통해 추출된 특징맵은 평탄화 과정을 통해 완전 연결 레이어로 전달되며 최종 출력으로 객체의 분류와 위치에 대한 검출결과를 출력할 수 있다.
또한, 본 실시예에 따른 센서 시스템은 광범위한 영역에 대한 관제 시스템에 적용하는 경우 감시 대상 객체의 검출을 위해 적용되는 신경망을 정합에 이용하는 것도 가능하다.
즉, 학습된 신경망을 이용하여 각 라이다(100) 센서의 공통 객체의 특징 패턴을 추출함으로써 추출된 객체를 수동 레이블로 라이다(100) 센서 간의 정합을 위한 제2 외부 행렬의 생성에 이용하는 것도 가능하다.
이상의 본 발명에 따르면, 원거리의 라이다 영상을 정밀하게 정합합으로써 보다 광범위한 영역에 대한 깊이 맵을 생성하고, 카메라(200) 센서와 함께 탐지 영역 내 객체를 보다 정확히 검출할 수 있다.
나아가 본 실시예에서는 복수의 라이다(100) 센서의 영상을 통해 객체를 검출하므로 객체의 위치는 정합된 영상 내에서 3차원의 바운딩 박스 형태로 출력될 수 있다.
또한, 본 실시예에서는 신경망의 학습을 위해 상술한 정합 과정에서 이용된 수동 레이블을 이용하는 것도 가능하다.
도 10을 참조하면, 본 발명의 몇몇 실시예들에서 서버(300)는 컴퓨팅 장치의 형태로 구현될 수 있다. 서버(300)를 구성하는 각각의 모듈 중 하나 이상은 범용 컴퓨팅 프로세서 상에서 구현되며 따라서 프로세서(processor)(308), 입출력 I/O(302), 메모리 (memory)(340), 인터페이스(interface)(306) 및 버스(314, bus)를 포함할 수 있다. 프로세서(308), 입출력 장치(302), 메모리 (340) 및/또는 인터페이스(306)는 버스(314)를 통하여 서로 결합될 수 있다. 버스(314)는 데이터들이 이동되는 통로(path)에 해당한다.
구체적으로, 프로세서(308)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit), 마이크로프로세서, 디지털 신호 프로세스, 마이크로컨트롤러, 어플리케이션 프로세서(AP, application processor) 및 이들과 유사한 기능을 수행할 수 있는 논리 소자들 중에서 적어도 하나를 포함할 수 있다.
입출력 장치(302)는 키패드(keypad), 키보드, 터치스크린 및 디스플레이 장치 중 적어도 하나를 포함할 수 있다. 메모리 장치(340)는 데이터 및/또는 프로그램 등을 저장할 수 있다.
인터페이스(306)는 통신 네트워크로 데이터를 전송하거나 통신 네트워크로부터 데이터를 수신하는 기능을 수행할 수 있다. 인터페이스(306)는 유선 또는 무선 형태일 수 있다. 예컨대, 인터페이스(306)는 안테나 또는 유무선 트랜시버 등을 포함할 수 있다. 메모리 (340)는 프로세서(308)의 동작을 향상시키되, 개인정보의 보호를 위한 휘발성의 동작 메모리로서, 고속의 디램 및/또는 에스램 등을 더 포함할 수도 있다.
또한, 메모리(340) 또는 스토리지(312) 내에는 여기에 설명된 일부 또는 모든 모듈의 기능을 제공하는 프로그래밍 및 데이터 구성을 저장한다. 예를 들어, 상술한 학습 방법의 선택된 양태들을 수행하도록 하는 로직을 포함할 수 있다.
메모리 (340)에 저장된 상술한 획득 방법을 수행하는 각 단계를 포함하는 명령어들의 집합으로 프로그램 또는 어플리케이션을 로드하고 프로세서가 각 단계를 수행할 수 있도록 한다.
나아가, 여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어 모듈 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리 모듈에 저장되고, 제어모듈에 의해 실행될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다.
따라서, 본 발명에 개시된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (15)

  1. 컴퓨팅 장치에서 수행되는 다중 라이다 및 카메라 센서를 이용한 영상 획득 방법에 있어서,
    복수의 라이다 및 카메라 센서로 구성된 센서 시스템 내 한 쌍의 라이다와 카메라 센서간 위치 차이를 보정하기 위한 외부 행렬을 산출하는 단계;
    상기 라이다와 카메라 센서의 처리 속도의 차이를 고려하여 상기 라이다 센서의 촬영 신호를 기준으로 상기 카메라 센서의 촬영 신호의 지연 시간을 설정하는 단계;
    상기 라이다 센서 중 적어도 하나의 제1 라이다 센서의 시계를 기준으로 촬영 신호를 발생시키는 다른 라이다 센서의 시계를 동기화하는 단계; 및
    상기 센서 시스템에서 수집된 영상을 정합하는 단계를 포함하고,
    상기 정합하는 단계는,
    미리 결정된 공통 평면 및 상기 라이다 센서로부터 획득된 제2 영상 내 공통 객체에 대하여 서로 다른 신뢰도에 따라 결정된 가중치로 오차 함수를 설정하고, 상기 오차 함수에 따른 정합 오차가 최소화 되도록 상기 라이다 센서간 위치 차이를 보정하기 위한 제2 외부 행렬을 반복 산출하는 것을 특징으로 하는 영상 수집 방법.
  2. 제 1 항에 있어서,
    상기 카메라 센서의 렌즈 왜곡을 보정하기 위한 내부 행렬을 산출하는 단계를 더 포함하고,
    상기 외부 행렬을 산출하는 단계는,
    상기 내부 행렬에 따라 보정된 상기 카메라 센서로부터 획득된 제1 영상과 상기 라이다 센서로부터 획득된 제2 영상 내 공통 객체를 이용하여 제1 외부 행렬을 산출하는 것을 특징으로 하는 영상 수집 방법.
  3. 삭제
  4. 제 2 항에 있어서,
    상기 시계를 동기화 하는 단계는
    상기 동기화된 시계로 발생되는 상기 라이다 센서의 신호들의 위상을 고정하는 것을 특징으로 하는 영상 수집 방법.
  5. 제 2 항에 있어서,
    상기 제2 외부 행렬을 산출하는 단계는,
    상기 제2 영상 내 공통 평면을 검출하고, 상기 공통 평면을 이용하여 상기 라이다 센서를 정합하는 것을 특징으로 하는 영상 수집 방법.
  6. 제 5 항에 있어서,
    상기 제2 외부 행렬을 산출하는 단계는,
    상기 제2 영상 내 레이블링 된 객체 정보를 이용하여 상기 라이다 센서간 위치 차이를 보정하는 것을 특징으로 하는 영상 수집 방법.
  7. 제 6 항에 있어서,
    상기 레이블링된 객체 정보는 상기 제2 영상에 대하여 미리 학습된 신경망 모델을 이용하여 생성된 것을 특징으로 하는 영상 수집 방법.
  8. 프로세서; 및
    상기 프로세서와 통신하는 메모리를 포함하고,
    상기 메모리는 상기 프로세서로 하여금 동작들을 수행하게 하는 명령들을 저장하고,
    상기 동작들은,
    복수의 라이다 및 카메라 센서로 구성된 센서 시스템 내 한 쌍의 라이다와 카메라 센서간 위치 차이를 보정하기 위한 외부 행렬을 산출하는 동작,
    상기 라이다와 카메라 센서의 처리 속도의 차이를 고려하여 상기 라이다 센서의 촬영 신호를 기준으로 상기 카메라 센서의 촬영 신호의 지연 시간을 설정하는 동작,
    상기 라이다 센서 중 적어도 하나의 제1 라이다 센서의 시계를 기준으로 촬영 신호를 발생시키는 다른 라이다 센서의 시계를 동기화하는 동작, 및
    상기 센서 시스템에서 수집된 영상을 정합하는 동작을 포함하고,
    상기 정합하는 동작은,
    미리 결정된 공통 평면 및 상기 라이다 센서로부터 획득된 제2 영상 내 공통 객체에 대하여 서로 다른 신뢰도에 따라 결정된 가중치로 오차 함수를 설정하고, 상기 오차 함수에 따른 정합 오차가 최소화 되도록 상기 라이다 센서간 위치 차이를 보정하기 위한 제2 외부 행렬을 반복 산출하는 것을 특징으로 하는 컴퓨팅 장치.
  9. 제 8 항에 있어서,
    상기 카메라 센서의 렌즈 왜곡을 보정하기 위한 내부 행렬을 산출하는 동작을 더 포함하고,
    상기 외부 행렬을 산출하는 동작은,
    상기 내부 행렬에 따라 보정된 상기 카메라 센서로부터 획득된 제1 영상과 상기 라이다 센서로부터 획득된 제2 영상 내 공통 객체를 이용하여 제1 외부 행렬을 산출하는 것을 특징으로 하는 컴퓨팅 장치.
  10. 삭제
  11. 제 9 항에 있어서,
    상기 시계를 동기화 하는 동작은
    상기 동기화된 시계로 발생되는 상기 라이다 센서의 신호들의 위상을 고정하는 것을 특징으로 하는 컴퓨팅 장치.
  12. 제 9 항에 있어서,
    상기 제2 외부 행렬을 산출하는 동작은,
    상기 제2 영상 내 공통 평면을 검출하고, 상기 공통 평면을 이용하여 상기 라이다 센서를 정합하는 것을 특징으로 하는 컴퓨팅 장치.
  13. 제 12 항에 있어서,
    상기 제2 외부 행렬을 산출하는 단계는,
    상기 제2 영상 내 레이블링 된 객체 정보를 이용하여 상기 라이다 센서간 위치 차이를 보정하는 것을 특징으로 하는 컴퓨팅 장치.
  14. 제 13 항에 있어서,
    상기 레이블링된 객체 정보는 상기 제2 영상에 대하여 미리 학습된 신경망 모델을 이용하여 생성된 것을 특징으로 하는 컴퓨팅 장치.
  15. 제 1 항 내지 제 2 항 및 제 4 항 내지 제 7 항 중 어느 한 항에 따른 다중 라이다 및 카메라 센서를 이용한 영상 획득 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체.
KR1020220164880A 2022-11-30 2022-11-30 다중 라이다 및 카메라 센서를 이용한 영상 획득 방법 및 이를 수행하는 컴퓨팅 장치 KR102525563B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220164880A KR102525563B1 (ko) 2022-11-30 2022-11-30 다중 라이다 및 카메라 센서를 이용한 영상 획득 방법 및 이를 수행하는 컴퓨팅 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220164880A KR102525563B1 (ko) 2022-11-30 2022-11-30 다중 라이다 및 카메라 센서를 이용한 영상 획득 방법 및 이를 수행하는 컴퓨팅 장치

Publications (1)

Publication Number Publication Date
KR102525563B1 true KR102525563B1 (ko) 2023-04-25

Family

ID=86101708

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220164880A KR102525563B1 (ko) 2022-11-30 2022-11-30 다중 라이다 및 카메라 센서를 이용한 영상 획득 방법 및 이를 수행하는 컴퓨팅 장치

Country Status (1)

Country Link
KR (1) KR102525563B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101899549B1 (ko) * 2017-12-27 2018-09-17 재단법인 경북아이티융합 산업기술원 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법
KR20210089809A (ko) * 2020-01-08 2021-07-19 엘지전자 주식회사 라이다 센서를 이용하여 주변 환경을 탐지하는 자율 주행 장치 및 그의 동작 방법
KR20220075481A (ko) * 2020-11-30 2022-06-08 한국전자기술연구원 라이다 센서와 카메라 간 온라인 캘리브레이션 방법 및 장치
KR20220109537A (ko) * 2021-01-28 2022-08-05 경북대학교 산학협력단 자율주행 자동차의 센서 시스템 교정 장치 및 그 방법
KR20220130143A (ko) * 2020-01-07 2022-09-26 루미나, 엘엘씨 센서 시스템들의 교정

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101899549B1 (ko) * 2017-12-27 2018-09-17 재단법인 경북아이티융합 산업기술원 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법
KR20220130143A (ko) * 2020-01-07 2022-09-26 루미나, 엘엘씨 센서 시스템들의 교정
KR20210089809A (ko) * 2020-01-08 2021-07-19 엘지전자 주식회사 라이다 센서를 이용하여 주변 환경을 탐지하는 자율 주행 장치 및 그의 동작 방법
KR20220075481A (ko) * 2020-11-30 2022-06-08 한국전자기술연구원 라이다 센서와 카메라 간 온라인 캘리브레이션 방법 및 장치
KR20220109537A (ko) * 2021-01-28 2022-08-05 경북대학교 산학협력단 자율주행 자동차의 센서 시스템 교정 장치 및 그 방법

Similar Documents

Publication Publication Date Title
CN108171733B (zh) 使两个或更多个三维3d点云配准的方法
US10896497B2 (en) Inconsistency detecting system, mixed-reality system, program, and inconsistency detecting method
WO2019179417A1 (zh) 数据融合方法以及相关设备
AU2012307095A1 (en) System and method for three-dimensional surface imaging
JP2016057108A (ja) 演算装置、演算システム、演算方法およびプログラム
KR101252680B1 (ko) 디지털 항공이미지를 이용한 영상도화시스템
CN113160327A (zh) 一种点云补全的实现方法和系统
CN111077907A (zh) 一种室外无人机的自主定位方法
CN110120093A (zh) 一种多元特征混合优化的rgb-d室内三维测图方法及系统
JP2016085602A (ja) センサ情報統合方法、及びその装置
KR20190072734A (ko) 다중 센서의 단일 3차원 좌표계 통합을 위한 캘리브레이션 방법
CN114296057A (zh) 一种计算测距系统相对外参的方法、装置和存储介质
JP7184203B2 (ja) 画像処理装置、３次元計測システム、画像処理方法
US20210348922A1 (en) Eyewear display system and eyewear display method
KR102525563B1 (ko) 다중 라이다 및 카메라 센서를 이용한 영상 획득 방법 및 이를 수행하는 컴퓨팅 장치
WO2019020997A2 (en) SYSTEM AND METHOD FOR 3D MODEL GENERATION
WO2022228461A1 (zh) 一种基于激光雷达的三维超声成像方法和系统
CN116684740A (zh) 感知训练数据生成方法、装置、计算机设备和存储介质
KR102059114B1 (ko) 가상 공간과 실공간의 매칭을 위한 영상 보정 장치 및 이를 이용한 영상 매칭 시스템
CN116228974A (zh) 三维模型构建方法、装置、计算机设备以及存储介质
KR101356172B1 (ko) 원격 제어를 위한 3차원 영상 생성 장치 및 방법
WO2023094273A1 (en) Matching a building information model
KR102460361B1 (ko) 캘리브레이션 시스템 및 방법
US11403826B2 (en) Management system and management method using eyewear device
KR102298047B1 (ko) 디지털 콘텐츠를 녹화하여 3d 영상을 생성하는 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant