KR102540015B1 - 엔트로피를 이용한 스테레오 정합의 불확실성 추정 및 불확실성 기반의 3차원 지도 매핑 - Google Patents

엔트로피를 이용한 스테레오 정합의 불확실성 추정 및 불확실성 기반의 3차원 지도 매핑 Download PDF

Info

Publication number
KR102540015B1
KR102540015B1 KR1020200181722A KR20200181722A KR102540015B1 KR 102540015 B1 KR102540015 B1 KR 102540015B1 KR 1020200181722 A KR1020200181722 A KR 1020200181722A KR 20200181722 A KR20200181722 A KR 20200181722A KR 102540015 B1 KR102540015 B1 KR 102540015B1
Authority
KR
South Korea
Prior art keywords
distance
uncertainty
map
information
value
Prior art date
Application number
KR1020200181722A
Other languages
English (en)
Other versions
KR20220090826A (ko
Inventor
임종우
원창희
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020200181722A priority Critical patent/KR102540015B1/ko
Publication of KR20220090826A publication Critical patent/KR20220090826A/ko
Application granted granted Critical
Publication of KR102540015B1 publication Critical patent/KR102540015B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

엔트로피를 이용한 스테레오 정합의 불확실성 추정 및 불확실성 기반의 3차원 지도 매핑 기술이 개시된다. 일 실시예에 따른 엔트로피를 이용한 스테레오 정합의 불확실성 추정 기반의 지도 매핑 방법은, 신경망 모델을 이용하여 입력 영상 정보로부터 거리 추정값의 불확실성을 추정하는 단계; 및 상기 추정된 거리 추정값의 불확실성을 기반으로 지도 정보를 복원하는 단계를 포함할 수 있다.

Description

엔트로피를 이용한 스테레오 정합의 불확실성 추정 및 불확실성 기반의 3차원 지도 매핑{UNCERTAINTY ESTIMATION OF STEREO MATCHING USING ENTROPY AND UNCERTAINTY-GUIDED 3D MAPPING}
아래의 설명은 스테레오 정합의 불확실성을 추정하는 기술에 관한 것이다.
도 1은 다시점 영상 기반 거리 추정 기술의 동작을 설명하기 위한 도면이다. 종래의 다시점 영상 및 신경망 기반 거리 추정 기술은 기준 시점으로부터 일정 단위로 샘플링된 N(N은 자연수)개의 거리 후보군 N ={0, 1, ..., N-1}에 대하여 각 카메라의 영상으로부터 추출된 영상의 특징 정보를 투영한다. 각 거리 후보 n에 대해서 해당 정보들이 서로 다른 영상의 동일 물체를 가리키는지(positive/negative)에 대한 확률P(N=n)을 계산한다. 예를 들면, 파란색 거리 후보는 모든 카메라가 동일 표면을 바라보고 있으므로 긍정(positive), 빨간색 거리 후보는 서로 다른 표면을 바라보고 있으므로 부정(negative)를 나타낸다. 이때, 동일 물체를 가리킨다면, 해당 물체가 해당 거리 후보에 존재하는 것으로 판단될 수 있다. 정수 단위로 샘플링된 후보에 대하여 실수 단위의 거리값
Figure 112020140162381-pat00001
을 계산하기 위해 P(N)의 확률 분포에 대해 기대값 E[N]을 취한다.
Figure 112020140162381-pat00002
마지막으로, 실수 단위의 거리 추정값
Figure 112020140162381-pat00003
과 정답이 되는 거리 값
Figure 112020140162381-pat00004
의 차를 손실함수(loss function)
Figure 112020140162381-pat00005
로 정의하여 이를 최소화하도록 신경망을 학습한다.
그러나, 거리 추정을 위한 영상 기반 기술에서는 영상 정보 사이에서 동일한 물체인지에 대한 여부를 구별하기 어려운 상황들(textureless, occlusion, reflective surfaces, repetitive pattern, etc.)이 빈번히 발생한다. 이러한 상황에서는 실제로 거리 후보에 물체가 존재하더라도 가림이나 반사 등으로 인해 서로 다른 상이 투영되거나, 특징이 없는 하얀색 벽이나 반복 패턴이 있는 경우 물체가 실제로 존재하지 않는 여러 거리 후보에 대해서 같은 상이 투영된다. 종래의 스테레오 정합 기술의 신경망 학습을 위해 설계된 손실 함수는 이러한 문제에 대해 고려되어 있지 않다.
거리 추정값 및 주행 움직임 기반의 환경 지도 복원 기술에 대하여 설명하기로 한다. 도 2를 참고하면, 복셀(voxel)구조에서의 물체 표면 표현 방식의 예이다. 시간에 따라 거리 측정 센서 등으로 여러 번 관측되는 거리 지도를 공통의 3차원 복셀 그리드(voxel grid)에 업데이트함으로써 공간 상에 표면(surface)를 찾는다. 추정된 거리값에 따른 3차원 포인트가 속한 복셀을 기준으로 앞/뒤에 위치한 일정 범위의 복셀들에 대하여 signed distance를 계산하고, 계산된 거리 정보를 지속적으로 누적 및 갱신한다. 이에, 복원 거리가 거리 추정값의 정확도에 의존하게 된다.
인공지능 신경망으로부터 거리 추정값의 불확실성을 계산하여 추정된 거리 정보를 상황에 맞게 유동적으로 처리하는 방법 및 시스템을 제공할 수 있다.
거리 추정값으로부터 계산되는 불확실성을 프라이어(prior)로 인공지능 신경망 학습 시에 하나의 가이드로 제시함으로써 거리 추정의 정확도를 향상시키는 방법 및 시스템을 제공할 수 있다.
지도 복원에 사용되는 거리 추정 지도(depth map)를 거리 추정값의 불확실성을 기반으로 필터링하고, 가중치를 두어 정밀한 지도 복원을 수행하는 방법 및 시스템을 제공할 수 있다.
엔트로피를 이용한 스테레오 정합의 불확실성 추정 기반의 지도 매핑 방법은, 신경망 모델을 이용하여 입력 영상 정보로부터 거리 추정값의 불확실성을 추정하는 단계; 및 상기 추정된 거리 추정값의 불확실성을 기반으로 지도 정보를 복원하는 단계를 포함할 수 있다.
상기 추정하는 단계는, 기준 시점으로부터 일정 단위로 샘플링된 복수 개의 거리 후보군에 대해서 각 카메라의 영상 정보로부터 추출된 영상의 특징 정보를 투영하고, 각 거리 후보에 대해서 각 거리 후보에 대한 특징 정보가 서로 다른 영상 정보에서 동일 물체를 가리키는지에 대한 동일 여부에 대한 거리 추정값의 불확실성을 계산하는 단계를 포함할 수 있다.
상기 추정된 거리 추정값의 불확실성은, 복수 개의 거리 후보 중 특정 거리 후보에만 기 설정된 기준 이상의 확률이 나오는 분포에서의 수치가 상기 복수 개의 거리 후보에서 분산되어 나오는 분포에서의 수치보다 낮을 수 있다.
상기 추정하는 단계는, 상기 신경망 모델로부터 추정되는 확률 분포를 조정하는 손실 함수를 설정하고, 상기 설정된 손실 함수에 따른 신경망 모델을 이용하여 거리 추정값의 불확실성을 추정하는 단계를 포함할 수 있다.
상기 복원하는 단계는, 지도 복원에 사용되는 거리 추정 지도를 상기 추정된 거리값의 불확실성을 기반으로 필터링하여 3차원 지도 복원을 수행하는 단계를 포함할 수 있다.
상기 복원하는 단계는, 상기 거리 추정값의 불확실성과 반비례하는 가중치를 이용하여 사인 거리(signed distance)를 갱신하는 단계를 포함할 수 있다.
상기 복원하는 단계는, 상기 거리 추정값의 불확실성이 일정값(log k)보다 큰 경우, 복셀 업데이트를 수행하지 않는 단계를 포함할 수 있다.
엔트로피를 이용한 스테레오 정합의 불확실성 추정 기반의 지도 매핑 시스템은, 신경망 모델을 이용하여 입력 영상 정보로부터 거리 추정값의 불확실성을 추정하는 불확실성 추정부; 및 상기 추정된 거리 추정값의 불확실성을 기반으로 지도 정보를 복원하는 지도 복원부를 포함할 수 있다.
상기 불확실성 추정부는, 기준 시점으로부터 일정 단위로 샘플링된 복수 개의 거리 후보군에 대해서 각 카메라의 영상 정보로부터 추출된 영상의 특징 정보를 투영하고, 각 거리 후보에 대해서 각 거리 후보에 대한 특징 정보가 서로 다른 영상 정보에서 동일 물체를 가리키는지에 대한 동일 여부에 대한 거리 추정값의 불확실성을 계산할 수 있다.
상기 추정된 거리 추정값의 불확실성은, 복수 개의 거리 후보 중 특정 거리 후보에만 기 설정된 기준 이상의 확률이 나오는 분포에서의 수치가 상기 복수 개의 거리 후보에서 분산되어 나오는 분포에서의 수치보다 낮을 수 있다.
상기 불확실성 추정부는, 상기 신경망 모델로부터 추정되는 확률 분포를 조정하는 손실 함수를 설정하고, 상기 설정된 손실 함수에 따른 신경망 모델을 이용하여 거리 추정값의 불확실성을 추정할 수 있다.
상기 지도 복원부는, 지도 복원에 사용되는 거리 추정 지도를 상기 추정된 거리값의 불확실성을 기반으로 필터링하여 3차원 지도 복원을 수행할 수 있다.
상기 지도 복원부는, 상기 거리 추정값의 불확실성과 반비례하는 가중치를 이용하여 사인 거리(signed distance)를 갱신할 수 있다.
상기 지도 복원부는, 상기 거리 추정값의 불확실성이 일정값(log k)보다 큰 경우, 복셀 업데이트를 수행하지 않을 수 있다.
인공지능 신경망으로부터 거리 추정값의 불확실성을 계산하여 추정된 거리 정보를 상황에 맞게 유동적으로 처리할 수 있다.
거리 추정을 수행함과 동시에 불확실성을 같이 계산하여 거리 추정 후에 보정하는 종래의 기술 대비 더욱 빠른 처리가 가능하다.
거리 추정값으로부터 계산되는 불확실성을 프라이어(prior)로 인공지능 신경망 학습 시에 하나의 가이드로 제시함으로써 거리 추정의 정확도를 향상시킬 수 있다.
지도 복원에 사용되는 거리 추정 지도(depth map)를 거리 추정값의 불확실성을 기반으로 필터링하고, 가중치를 두어 정밀한 지도 복원을 수행할 수 있다.
도 1은 다시점 영상 기반 거리 추정 기술의 동작을 설명하기 위한 도면이다.
도 2는 환경 지도 복원을 위한 3차원 복셀 구조에서의 물체의 표면 계산 동작을 설명하기 위한 예이다.
도 3은 일 실시예에 따른 지도 매핑 시스템에서 신경망 모델의 구조를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 지도 매핑 시스템에서 거리 추정값의 불확실성 계산에 대한 예이다.
도 5는 일 실시예에 따른 지도 매핑 시스템에서 거리 추정 실패 사례와 불확실성 계산의 효과를 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 지도 매핑 시스템에서 거리 추정 값의 정확도 평가표이다.
도 7은 일 실시예에 따른 지도 매핑 시스템에서 불확실성을 이용한 거리 추정값의 필터링 및 정확도 향상 효과를 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 지도 매핑 시스템에서 거리 추정 및 환경지도 복원의 예이다.
도 9는 일 실시예에 따른 지도 매핑 시스템의 구성을 설명하기 위한 블록도이다.
도 10은 일 실시예에 따른 지도 매핑 시스템에서 엔트로피를 이용한 스테레오 정합의 불확실성 추정 기반의 지도 매핑 방법을 설명하기 위한 흐름도이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
도 3은 일 실시예에 따른 지도 매핑 시스템에서 신경망 모델의 구조를 설명하기 위한 도면이다.
지도 매핑 시스템은 복수 개의 초광각 시야각 카메라에서 전 방향 깊이를 추정하기 신경망 모델을 구성할 수 있다. 신경망 모델의 학습은 입력 영상 정보로부터 특징 추출, 구형 스위핑(sweeping) 및 비용 볼륨 계산 동작이 수행될 수 있다. 이러한 신경망 모델의 학습을 통해 거리 추정을 수행함과 동시에 불확실성을 추정할 수 있다. 또한, 불확실성을 신경망 학습의 요소로 사용할 수 있다.
전 방향 리그에서 초광각 시야각 카메라로부터 촬영된 영상 정보(이미지)를 이용하여 특징 맵이 추출될 수 있고, 추출된 특징 맵은 보정된 카메라 매개변수를 사용하여 후보 깊이를 통해 투영된 구형으로 투영될 수 있다. 지도 매핑 시스템은 사전 정의된 글로벌 영역에 대해 특징 맵을 투영하고, 3D 인코더-디코더 블록을 통해 클로벌 컨텍스트를 활용하여 비용 볼륨을 계산하여 정규화할 수 있다. 3D 인코더-디코더 블록은 정렬된 특징 볼륨을 가져와 글로벌 컨텍스트 정보를 활용하여 불확실한 영역에 대한 정규화를 통해 전 방향 거리 추정값을 생성할 수 있다.
도 4는 일 실시예에 따른 지도 매핑 시스템에서 거리 추정값의 불확실성 계산에 대한 예이다.
지도 매핑 시스템은 불확실한 영역의 역 깊이 확률 분포를 분석하고, 불확실성 척도로 엔트로피(거리 추정값의 불확실성)를 제안하고 네트워크 훈련에서 정규화를 가이드하기 위한 엔트로피 경계 손실을 제공할 수 있다.
도 4(a)는 픽셀 A에서 일치의 예이고, 도 4(b)는 픽셀 B에서 모호한 일치의 예이다. A 지점 및 B 지점 모두
Figure 112020140162381-pat00006
손실 값은 작지만, B의 경우 정보량이 매우 큰 것을 확인할 수 있다.
지도 매핑 시스템은 네트워크에 의해 생성된 깊이 특징 맵은 도 4에 표시된 것과 같이 이상치를 포함할 수 있으며, 불확실성 값을 임계값과 비교하여 깊이 맵을 필터링할 수 있다. 지도 매핑 시스템은 픽셀의 불확실성 H이 임계값보다 클 경우, 이상치로 간주할 수 있다. 이러한 방식으로 신뢰할 수 있는 깊이 맵을 획득할 수 있으며, 손실된 부분은 추정된 깊이 맵의 시간적 통합에 의해 복구될 수 있다. 또한, 정규화 가이드에서는 강력하고 정확한 추정을 위해 불확실성 측정을 포함하도록 네트워크 훈련에서 손실 함수를 수정할 수 있다.
지도 매핑 시스템은 거리 추정값의 불확실성을 계산할 수 있다. 지도 매핑 시스템은 후보군의 동일 여부(matching)에 대한 불확실성의 척도로 확률 분포에 대한 정보량인 불확실성(entropy) H를 계산할 수 있다.
수학식 1:
Figure 112020140162381-pat00007
이때, N은 거리 후보군, n은 각 거리 후보, 확률 분포 P(N=n), 불확실성이 최대로 가질 수 있는 값(log n)을 의미한다.
일례로, 기준 시점으로부터 일정 단위로 샘플링된 복수 개(N)개의 거리 후보군 N ={0, 1, ??, N-1}에 대해서 각 카메라의 영상 정보로부터 추출된 특징 정보가 투영될 수 있다. 각 거리 후보 n에 대해서 특징 정보들이 서로 다른 영상의 동일 객체를 가리키는지 여부(negative/positive)에 대한 확률 분포 P(N=n)가 계산될 수 있다. 이때, 특징 정보가 동일 객체를 가리킨다면 상기 객체가 거리 후보에 존재하는 것으로 판단될 수 있다.
불확실성은 특정 후보에만 높게 나오는 분포에서는 낮은 수치, 복수 개의 후보에 분산되어 나오는 분포에서는 높은 수치가 계산될 수 있다. 확률 분포에 대하여 불확실성을 계산할 때, 정점이 있을 경우, 불확실성이 낮게 나오고, 정점이 존재하지 않을 경우, 모호하기 때문에 불확실성이 크게 나오게 된다. 실제 물리적인 공간상에서는 객체가 하나의 후보 또는 두 후보 사이에 존재하므로, 신경망으로부터 추정되는 확률 분포의 정보량이 많아지지 않도록 조정하는 손실 함수가 설계될 수 있다.
Figure 112020140162381-pat00008
이때, log k 범위 내에서 지도 매핑 시스템은 신경망 학습에 사용되는 최종 손실 함수는 다음과 같이 정의할 수 있다. 인덱스 회귀에서 신뢰 인덱스의 수를 줄이도록 네트워크를 가이드할 수 있다.
Figure 112020140162381-pat00009
이때,
Figure 112020140162381-pat00010
는 거리 추정값,
Figure 112020140162381-pat00011
는 정답이 되는 거리값,
Figure 112020140162381-pat00012
는 불확실성 손실함수 가중치를 의미한다.
실시예에서는 거리 추정을 수행함과 동시에 불확실성을 같이 계산하기 때문에, 거리 추정 후에 보정하는 종래 기술 대비 더 빠른 처리가 가능하다.
지도 매핑 시스템은 추정된 거리 추정값의 불확실성을 기반으로 환경 지도를 복원할 수 있다. 지도 매핑 시스템은 불확실성 H와 반비례하는 가중치를 이용하여 사인 거리(signed distance)를 갱신함으로써 불확실성이 높은 거리 추정값은 거리의 변화를 적게할 수 있다.
객체의 위치로부터의 거리 추정을 통해 signed distance를 계산하여 +와 -가 만나는 지점을 객체의 형태(shape)로 판단할 수 있다. 또는, 거리 추정값에 대한 불확실성 H가 일정 값(log k)보다 클 경우, 복셀 업데이트를 수행하지 않음으로써 복원된 환경 지도의 정확도를 향상시킬 수 있다.
도 5는 일 실시예에 따른 지도 매핑 시스템에서 거리 추정 실패 사례와 불확실성 계산의 효과를 설명하기 위한 도면이다.
도 5(a)는 실내 환경에서의 성공 및 실패 사례이고, 도 5(b)는 실외 환경에서의 실패 사례를 나타낸 것이다. 잘못 예측된 영역은 주황색 곡선과 화살표로 표시될 수 있다. 계단은 스테레오 기준선과 평행하므로 정확한 일치 항목을 찾기 어렵다. 다른 경우는, 매우 넓은 기준선으로 인한 폐색이다. 다시 말해서, 물체의 다른면이 다른 뷰에서 볼 수 있다.
도 5(a)의 왼쪽에서 계단의 큰 네거티브 영역은 잘못 예측된 반면, 참조 이미지는 정상적으로 보인다. 초 광각 베이스라인 설정에서 객체는 리그에 매우 가깝게 보일 수 있으며, 도 5(b)에 표시된 것처럼 다른 카메라가 객체의 다른 측면을 볼 수 있다. 이러한 폐색 문제는 기준선에 비해 객체까지의 상대적 거리가 도 5(b)에서와 같이 훨씬 가깝기 때문에 실외 환경에서 더 두드러진다. 실시예에서 제안된 불확실성 측정 기술은 깊이 맵 필터링 및 시간적 통합과 같은 사후 처리에 유용한 단단하고 모호한 영역을 성공적으로 나타낸다.
도 6은 일 실시예에 따른 지도 매핑 시스템에서 거리 추정 값의 정확도 평가표이다.
도 6은 정보량 손실 함수로 인한 정량적 정확도 향상 효과를 나타낸 표이다. 종래 사용되는 손실 함수(L_reg)에 실시예에서 제안된 불확실성 프라이어(prior) 손실 함수(L_ent)를 사용하여 정확도가 향상됨을 확인할 수 있다.
가이드 정규화의 정량적 평가이다. 한정자(qualifier) '>n'은 픽셀 비율(%)를 나타낸다. 오차가 n보다 큰 MAE는 절대 오차를 의미하고, RMS는 제곱 평균 오차를 의미한다. 오류는 모든 테스트 프레임에서 평균화될 수 있다. 대부부의 경우, 채널이 더 많은 네트워크의 경우, 엔트로피 경계 손실을 추가하면 성능이 향상될 수 있다. 불확실한 영역의 역 깊이 확률 분포를 분석하고, 불확실성 척도로 엔트로피를 제안하고, 네트워크 훈련에서 정규화를 안내하기 위한 엔트로피 손실을 제안한다.
도 7은 일 실시예에 따른 지도 매핑 시스템에서 불확실성을 이용한 거리 추정값의 필터링 및 정확도 향상 효과를 설명하기 위한 도면이다.
깊이 맵 필터링 결과를 나타낸 그래프이다. 엔트로피 임계값 k에 따른 완전성 및 RMS오류를 나타낸 것이다. 완전성은 불확실성이 H<log k 인 유효 픽셀 비율을 의미하며, RMS 오류는 유효 픽셀에 대해 평균화될 수 있다.
도 8은 일 실시예에 따른 지도 매핑 시스템에서 거리 추정 및 환경 지도 복원의 예이다. 왼쪽 도면은 전방향 깊이 맵의 결과이고, 오른쪽 도면은 3차원 환경 지도의 복원 결과이다.
도 9는 일 실시예에 따른 지도 매핑 시스템의 구성을 설명하기 위한 블록도이고, 도 10은 일 실시예에 따른 지도 매핑 시스템에서 엔트로피를 이용한 스테레오 정합의 불확실성 추정 기반의 지도 매핑 방법을 설명하기 위한 흐름도이다.
지도 매핑 시스템(100)의 프로세서는 불확실성 추정부(910) 및 지도 복원부(920)를 포함할 수 있다. 이러한 프로세서의 구성요소들은 지도 매핑 시스템에 저장된 프로그램 코드가 제공하는 제어 명령에 따라 프로세서에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. 프로세서 및 프로세서의 구성요소들은 도 10의 엔트로피를 이용한 스테레오 정합의 불확실성 추정 기반의 지도 매핑 방법이 포함하는 단계들(1010 내지 1020)을 수행하도록 지도 매핑 시스템을 제어할 수 있다. 이때, 프로세서 및 프로세서의 구성요소들은 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다.
프로세서는 엔트로피를 이용한 스테레오 정합의 불확실성 추정 기반의 지도 매핑 방법을 위한 프로그램의 파일에 저장된 프로그램 코드를 메모리에 로딩할 수 있다. 예를 들면, 지도 매핑 시스템에서 프로그램이 실행되면, 프로세서는 운영체제의 제어에 따라 프로그램의 파일로부터 프로그램 코드를 메모리에 로딩하도록 지도 매핑 시스템을 제어할 수 있다. 이때, 프로세서 및 프로세서가 포함하는 불확실성 추정부(910) 및 지도 복원부(920) 각각은 메모리에 로딩된 프로그램 코드 중 대응하는 부분의 명령을 실행하여 이후 단계들(1010 내지 1020)을 실행하기 위한 프로세서의 서로 다른 기능적 표현들일 수 있다.
단계(1010)에서 불확실성 추정부(910)는 신경망 모델을 이용하여 입력 영상 정보로부터 거리 추정값의 불확실성을 추정할 수 있다. 불확실성 추정부(910)는 기준 시점으로부터 일정 단위로 샘플링된 복수 개의 거리 후보군에 대해서 각 카메라의 영상 정보로부터 추출된 영상의 특징 정보를 투영하고, 각 거리 후보에 대해서 각 거리 후보에 대한 특징 정보가 서로 다른 영상 정보에서 동일 물체를 가리키는지에 대한 동일 여부에 대한 거리 추정값의 불확실성을 계산할 수 있다. 이때, 거리 추정값의 불확실성은 복수 개의 거리 후보 중 특정 거리 후보에만 기 설정된 기준 이상의 확률이 나오는 분포에서의 수치가 복수 개의 거리 후보에서 분산되어 나오는 분포에서의 수치보다 낮을 수 있다. 예를 들면, 복수 개의 거리 후보 중 특정 후보에만 기 설정된 기준 이상으로 확률이 나오는 분포에서는 낮은 수치, 복수 개의 거리 후보에서 분산되어 나오는 분포에서는 높은 수치가 계산될 수 있다. 불확실성 추정부(910)는 신경망 모델로부터 추정되는 확률 분포를 조정하는 손실 함수를 설정하고, 설정된 손실 함수에 따른 신경망 모델을 이용하여 거리 추정값의 불확실성을 추정할 수 있다.
단계(1020)에서 지도 복원부(920)는 추정된 거리 추정값의 불확실성을 기반으로 지도 정보를 복원할 수 있다. 지도 복원부(920)는 지도 복원에 사용되는 거리 추정 지도를 추정된 거리값의 불확실성을 기반으로 필터링하여 3차원 지도 복원을 수행할 수 있다. 지도 복원부(920)는 거리 추정값의 불확실성과 반비례하는 가중치를 이용하여 사인 거리(signed distance)를 갱신할 수 있다. 지도 복원부(920)는 거리 추정값의 불확실성이 일정값(log k)보다 큰 경우, 복셀 업데이트를 수행하지 않을 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (14)

  1. 엔트로피를 이용한 스테레오 정합의 불확실성 추정 기반의 지도 매핑 방법에 있어서,
    신경망 모델을 이용하여 입력 영상 정보로부터 거리 추정값의 불확실성을 추정하는 단계; 및
    상기 거리 추정값에 기초하여 계산된 거리 정보를 이용하여, 지도 복원에 사용되는 거리 추정 지도를 상기 추정된 거리 추정값의 불확실성을 기반으로 필터링하여 3차원 환경 지도를 복원하는 단계를 포함하고,
    상기 추정하는 단계는,
    기준 시점으로부터 일정 단위로 샘플링된 복수 개의 거리 후보군에 대해서 각 카메라의 영상 정보로부터 추출된 영상의 특징 정보를 사전 정의된 글로벌 영역에 투영하고, 각 거리 후보에 대해서 각 거리 후보에 대한 특징 정보가 서로 다른 영상 정보에서 동일 물체를 가리키는지 여부에 대한 거리 추정값의 불확실성을 계산하는 단계
    를 포함하는 지도 매핑 방법.
  2. 삭제
  3. 엔트로피를 이용한 스테레오 정합의 불확실성 추정 기반의 지도 매핑 방법에 있어서,
    신경망 모델을 이용하여 입력 영상 정보로부터 거리 추정값의 불확실성을 추정하는 단계; 및
    상기 거리 추정값에 기초하여 계산된 거리 정보를 이용하여, 지도 복원에 사용되는 거리 추정 지도를 상기 추정된 거리 추정값의 불확실성을 기반으로 필터링하여 3차원 환경 지도를 복원하는 단계를 포함하고,
    상기 추정된 거리 추정값의 불확실성은,
    각 거리 후보에 대한 특징 정보가 서로 다른 영상 정보에서 동일 물체를 가리키는지 여부에 대한 확률 분포의 계산을 통해 복수 개의 거리 후보 중 특정 거리 후보에만 기 설정된 기준 이상으로 나오는 분포에서의 수치가 상기 복수 개의 거리 후보에서 분산되어 나오는 분포에서의 수치보다 낮은, 지도 매핑 방법.
  4. 제1항 또는 제3항에 있어서,
    상기 추정하는 단계는,
    상기 신경망 모델로부터 각 거리 후보에 대한 특징 정보가 서로 다른 영상 정보에서 동일 물체를 가리키는지 여부를 판단하기 위한 확률 분포를 조정하는 손실 함수를 설정하고, 상기 설정된 손실 함수에 따른 신경망 모델을 이용하여 거리 추정값의 불확실성을 추정하는 단계
    를 포함하는 지도 매핑 방법.
  5. 삭제
  6. 제1항 또는 제3항에 있어서,
    상기 복원하는 단계는,
    상기 거리 추정 지도를 3차원 복셀 그리드에 업데이트함에 따라 공간 상에서 표면을 찾고, 상기 추정된 거리값에 따른 3차원 포인트가 속한 복셀을 기준으로 일정 범위의 복셀들에 대하여 거리 정보를 계산하고, 상기 거리 추정값의 불확실성과 반비례하는 가중치를 이용하여 상기 계산된 거리 정보를 갱신하는 단계
    를 포함하는 지도 매핑 방법.
  7. 제6항에 있어서,
    상기 복원하는 단계는,
    상기 거리 추정값의 불확실성이 일정값(log k)보다 큰 경우, 상기 3차원 복셀 그리드의 업데이트를 수행하지 않는 단계
    를 포함하는 지도 매핑 방법.
  8. 엔트로피를 이용한 스테레오 정합의 불확실성 추정 기반의 지도 매핑 시스템에 있어서,
    신경망 모델을 이용하여 입력 영상 정보로부터 거리 추정값의 불확실성을 추정하는 불확실성 추정부; 및
    상기 거리 추정값에 기초하여 계산된 거리 정보를 이용하여, 지도 복원에 사용되는 거리 추정 지도를 상기 추정된 거리 추정값의 불확실성을 기반으로 필터링하여 3차원 환경 지도를 복원하는 지도 복원부
    를 포함하고,
    상기 불확실성 추정부는,
    기준 시점으로부터 일정 단위로 샘플링된 복수 개의 거리 후보군에 대해서 각 카메라의 영상 정보로부터 추출된 영상의 특징 정보를 사전 정의된 글로벌 영역에 투영하고, 각 거리 후보에 대해서 각 거리 후보에 대한 특징 정보가 서로 다른 영상 정보에서 동일 물체를 가리키는지 여부에 대한 거리 추정값의 불확실성을 계산하는 지도 매핑 시스템.
  9. 삭제
  10. 엔트로피를 이용한 스테레오 정합의 불확실성 추정 기반의 지도 매핑 시스템에 있어서,
    신경망 모델을 이용하여 입력 영상 정보로부터 거리 추정값의 불확실성을 추정하는 불확실성 추정부; 및
    상기 거리 추정값에 기초하여 계산된 거리 정보를 이용하여, 지도 복원에 사용되는 거리 추정 지도를 상기 추정된 거리 추정값의 불확실성을 기반으로 필터링하여 3차원 환경 지도를 복원하는 지도 복원부
    를 포함하고,
    상기 추정된 거리 추정값의 불확실성은,
    각 거리 후보에 대한 특징 정보가 서로 다른 영상 정보에서 동일 물체를 가리키는지 여부에 대한 확률 분포의 계산을 통해 복수 개의 거리 후보 중 특정 거리 후보에만 기 설정된 기준 이상으로 나오는 분포에서의 수치가 상기 복수 개의 거리 후보에서 분산되어 나오는 분포에서의 수치보다 낮은, 지도 매핑 시스템.
  11. 제8항 또는 제10항에 있어서,
    상기 불확실성 추정부는,
    상기 신경망 모델로부터 각 거리 후보에 대한 특징 정보가 서로 다른 영상 정보에서 동일 물체를 가리키는지 여부를 판단하기 위한 확률 분포를 조정하는 손실 함수를 설정하고, 상기 설정된 손실 함수에 따른 신경망 모델을 이용하여 거리 추정값의 불확실성을 추정하는
    것을 특징으로 하는 지도 매핑 시스템.
  12. 삭제
  13. 제8항 또는 제10항에 있어서,
    상기 지도 복원부는,
    상기 거리 추정 지도를 3차원 복셀 그리드에 업데이트함에 따라 공간 상에서 표면을 찾고, 상기 추정된 거리값에 따른 3차원 포인트가 속한 복셀을 기준으로 일정 범위의 복셀들에 대하여 거리 정보를 계산하고, 상기 거리 추정값의 불확실성과 반비례하는 가중치를 이용하여 상기 계산된 거리 정보를 갱신하는
    것을 특징으로 하는 지도 매핑 시스템.
  14. 제13항에 있어서,
    상기 지도 복원부는,
    상기 거리 추정값의 불확실성이 일정값(log k)보다 큰 경우, 상기 3차원 복셀 그리드의 업데이트를 수행하지 않는
    것을 특징으로 하는 지도 매핑 시스템.
KR1020200181722A 2020-12-23 2020-12-23 엔트로피를 이용한 스테레오 정합의 불확실성 추정 및 불확실성 기반의 3차원 지도 매핑 KR102540015B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200181722A KR102540015B1 (ko) 2020-12-23 2020-12-23 엔트로피를 이용한 스테레오 정합의 불확실성 추정 및 불확실성 기반의 3차원 지도 매핑

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200181722A KR102540015B1 (ko) 2020-12-23 2020-12-23 엔트로피를 이용한 스테레오 정합의 불확실성 추정 및 불확실성 기반의 3차원 지도 매핑

Publications (2)

Publication Number Publication Date
KR20220090826A KR20220090826A (ko) 2022-06-30
KR102540015B1 true KR102540015B1 (ko) 2023-06-05

Family

ID=82214996

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200181722A KR102540015B1 (ko) 2020-12-23 2020-12-23 엔트로피를 이용한 스테레오 정합의 불확실성 추정 및 불확실성 기반의 3차원 지도 매핑

Country Status (1)

Country Link
KR (1) KR102540015B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240139351A (ko) * 2023-03-14 2024-09-23 네이버 주식회사 거리뷰 이미지와 연관된 파라미터 결정 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101768533B1 (ko) 2016-06-28 2017-08-16 광주과학기술원 신뢰척도에 따른 레버리지 스테레오 매칭 방법, 장치 및 컴퓨터-판독가능 저장 매체
KR102090666B1 (ko) 2019-02-11 2020-03-18 주식회사 넥스트칩 스테레오 영상들에 대한 시차 맵 생성 방법 및 장치
WO2020188120A1 (en) 2019-03-21 2020-09-24 Five AI Limited Depth extraction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101768533B1 (ko) 2016-06-28 2017-08-16 광주과학기술원 신뢰척도에 따른 레버리지 스테레오 매칭 방법, 장치 및 컴퓨터-판독가능 저장 매체
KR102090666B1 (ko) 2019-02-11 2020-03-18 주식회사 넥스트칩 스테레오 영상들에 대한 시차 맵 생성 방법 및 장치
WO2020188120A1 (en) 2019-03-21 2020-09-24 Five AI Limited Depth extraction

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Nan Yang 등, D3VO: Deep Depth, Deep Pose and Deep Uncertainty for Monocular Visual Odometry, arXiv:2003.01060v2(2020.03.28.)*
Stefanie Walz 등, Uncertainty depth estimation with gated images for 3D reconstruction, arXiv:2003.05122v1(2020.03.11.)*

Also Published As

Publication number Publication date
KR20220090826A (ko) 2022-06-30

Similar Documents

Publication Publication Date Title
KR102696652B1 (ko) 스테레오 매칭 방법 및 영상 처리 장치
KR102459853B1 (ko) 디스패리티 추정 장치 및 방법
US8855408B2 (en) Method and apparatus for recovering depth information of image
TWI536318B (zh) 深度測量之品質提升
WO2015135323A1 (zh) 一种摄像机跟踪方法及装置
CN114782691A (zh) 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备
KR102483641B1 (ko) 양안 시차 영상의 처리 방법 및 장치
KR20150046718A (ko) 얼굴 트랙킹 장치 및 방법
CN109360239B (zh) 障碍物检测方法、装置、计算机设备和存储介质
US20210312637A1 (en) Map segmentation method and device, motion estimation method, and device terminal
CN110544294B (zh) 一种基于全景视频的稠密三维重构方法
KR101957089B1 (ko) 스테레오 정합을 위한 심층 자기유도 비용집계 방법 및 시스템
CN112991389A (zh) 一种目标跟踪方法、装置及移动机器人
KR102223484B1 (ko) 식생을 제거한 절토사면의 3차원 모델 생성 시스템 및 3차원 모델 생성 방법
KR102540015B1 (ko) 엔트로피를 이용한 스테레오 정합의 불확실성 추정 및 불확실성 기반의 3차원 지도 매핑
KR20180060736A (ko) 스테레오 매칭 방법 및 장치
KR101968406B1 (ko) 강인한 라이트필드 깊이 영상 추정 방법 및 장치
KR20150097251A (ko) 다중 영상간 대응점을 이용한 카메라 정렬 방법
CN117274349A (zh) 基于rgb-d相机一致性深度预测的透明物体重建方法及系统
US11461597B2 (en) Object likelihood estimation device, method, and program
Hamzah et al. Disparity refinement process based on RANSAC plane fitting for machine vision applications
Hekmatian et al. Conf-net: Toward high-confidence dense 3D point-cloud with error-map prediction
JP2023065296A (ja) 平面検出装置及び方法
KR102240570B1 (ko) 신장 트리 생성 방법 및 장치，스테레오 매칭 방법 및 장치，업 샘플링 방법 및 장치，및 기준 픽셀 생성 방법 및 장치
CN112489204B (zh) 基于rgb图像的3d房间布局重建系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant