KR20210120816A - 3차원 재구성 방법, 3차원 재구성 장치 및 전자 기기 - Google Patents
3차원 재구성 방법, 3차원 재구성 장치 및 전자 기기 Download PDFInfo
- Publication number
- KR20210120816A KR20210120816A KR1020200182499A KR20200182499A KR20210120816A KR 20210120816 A KR20210120816 A KR 20210120816A KR 1020200182499 A KR1020200182499 A KR 1020200182499A KR 20200182499 A KR20200182499 A KR 20200182499A KR 20210120816 A KR20210120816 A KR 20210120816A
- Authority
- KR
- South Korea
- Prior art keywords
- dimensional reconstruction
- distortion coefficient
- image
- image sequence
- camera
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 143
- 238000005457 optimization Methods 0.000 claims abstract description 94
- 230000008569 process Effects 0.000 claims abstract description 53
- 230000000007 visual effect Effects 0.000 claims abstract description 15
- 230000015654 memory Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012358 sourcing Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 10
- 238000012937 correction Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 출원은 3차원 재구성 방법, 3차원 재구성 장치 및 전자 기기를 개시하는 바, 고정밀 지도 기술 분야에 관한 것이다. 여기서, 상기 방법은 미리 수집한 이미지 시퀀스를 취득하고, 상기 이미지 시퀀스를 수집한 카메라의 공칭 내부 파라미터 및 미리 설정된 왜곡 계수 초기값을 취득하는 단계; 상기 카메라의 왜곡 계수 변동 범위를 계산하는 단계; 상기 공칭 내부 파라미터, 상기 왜곡 계수 초기값 및 상기 왜곡 계수 변동 범위에 기반하여, 상기 이미지 시퀀스에 대해 3차원 재구성을 수행하는 단계; 및 상기 3차원 재구성 과정에서, 획득한 시각 포인트 클라우드 및 카메라 포즈에 대해 최적화를 수행하는 단계를 포함한다. 본 출원은 공칭 내부 파라미터, 왜곡 계수 초기값 및 왜곡 계수 변동 범위에 기반하여, 이미지 시퀀스에 대해 3차원 재구성을 수행함으로써, 카메라 내부 파라미터가 교정되지 않은 조건 하의 3차원 재구성을 실현하여, 3차원 재구성 기술의 적용 범위를 더 넓게 하였다.
Description
본 출원은 이미지 처리 기술에 관한 것으로, 특히 고정밀 지도 기술 분야에 관한 것으로, 구체적으로 3차원 재구성 방법, 3차원 재구성 장치 및 전자 기기에 관한 것이다.
이미지의 3차원 재구성 기술은 멀티 뷰 기하학 원리에 기반하여 이미지 시퀀스 중에서 카메라 파라미터 및 시각 포인트 클라우드 위치를 추정하는 방법이다. 기존의 3차원 재구성 방법은 교정한 카메라 내부 파라미터에 의존하지만, 일부 시나리오에서 카메라 내부 파라미터가 교정되지 않아 있기에, 3차원 재구성 시 교정된 카메라 내부 파라미터를 취득할 수 없으며, 이는 3차원 재구성에 예를 들면 3차원 재구성의 정확도가 낮고, 최적화가 수렴되지 않는 등의 문제를 초래한다.
본 출원은 상술한 기술 문제를 해결하기 위하여, 3차원 재구성 방법, 3차원 재구성 장치 및 전자 기기을 제공한다.
상술한 기술 문제를 해결하기 위하여 본 출원은 아래와 같이 실현한다.
제1 측면에 있어서, 본 출원은 3차원 재구성 방법을 제공하는 바, 상기 방법은,
미리 수집한 이미지 시퀀스를 취득하고, 상기 이미지 시퀀스를 수집한 카메라의 공칭 내부 파라미터 및 미리 설정된 왜곡 계수 초기값을 취득하는 단계;
상기 카메라의 왜곡 계수 변동 범위를 계산하는 단계;
상기 공칭 내부 파라미터, 상기 왜곡 계수 초기값 및 상기 왜곡 계수 변동 범위에 기반하여, 상기 이미지 시퀀스에 대해 3차원 재구성을 수행하는 단계; 및
상기 3차원 재구성 과정에서, 획득한 시각 포인트 클라우드 및 카메라 포즈에 대해 최적화를 수행하는 단계를 포함한다.
본 출원 공칭 내부 파라미터, 왜곡 계수 초기값 및 왜곡 계수 변동 범위에 기반하여, 이미지 시퀀스에 대해 3차원 재구성을 수행하며, 이미지 시퀀스의 3차원 재구성 과정에서, 시각 포인트 클라우드 및 카메라 포즈에 대해 최적화를 수행할 수 있다. 상술한 기술 수단을 채택함으로써, 카메라 내부 파라미터가 교정되지 않은 조건 하의 3차원 재구성을 실현하여, 3차원 재구성 기술의 적용 범위를 더 넓게 하였다.
옵션으로써, 상기 방법은,
상기 3차원 재구성 과정에서, 획득한 시각 포인트 클라우드 중의 시맨틱 요소에 대해 최적화를 수행함으로써, 상기 시맨틱 요소의 포인트 클라우드가 상기 시맨틱 요소에 대응하는 기하학적 특성을 충족하도록 하는 단계를 더 포함한다.
당해 실시 방식에 있어서, BA 최적화와 시맨틱 최적화를 결합시킴으로써, 3차원 재구성의 정확도를 더 한층 향상시켜, 내부 파라미터 수렴의 강건성을 향상시켰다.
옵션으로써, 상기 방법은,
상기 3차원 재구성 과정에서, 상기 왜곡 계수 변동 범위가 불안정하면, 왜곡 계수에 대해 최적화를 수행하고; 상기 왜곡 계수 변동 범위가 안정하면, 상기 공칭 내부에 대해 파라미터 최적화를 수행하는 단계를 더 포함한다.
당해 실시 방식에 있어서, BA 최적화와 내부 파라미터 최적화를 결합시킴으로써, 3차원 재구성의 정확도를 더 한층 향상시켜, 내부 파라미터 수렴의 강건성을 향상시켰다.
옵션으로써, 상기 상기 카메라의 왜곡 계수 변동 범위를 계산하는 단계는,
상기 이미지 시퀀스의 일부 이미지 중에서 왜곡이 발생한 선 특징을 추출하는 단계; 및
상기 왜곡이 발생한 선 특징에 기반하여, 상기 왜곡 계수 변동 범위를 계산하는 단계를 포함한다.
당해 실시 방식에 있어서, 선 특징이 왜곡 확정에 있어서 비교적 용이하고 정밀하므로, 이미지 중에서 왜곡이 발생한 선 특징을 추출하여 왜곡 계수 변동 범위를 계산함으로써, 실현이 비교적 간단하고, 계산된 왜곡 계수 변동 범위가 비교적 정밀하다.
옵션으로써, 상기 상기 이미지 시퀀스에 대해 3차원 재구성을 수행하는 단계는,
상기 이미지 시퀀스 중에서 제1 이미지 및 제2 이미지를 선택하는 단계;
상기 제1 이미지 및 상기 제2 이미지에 대해 3차원 재구성을 수행하여, 초기 시각 포인트 클라우드를 획득하는 단계; 및
상기 이미지 시퀀스의 새로운 프레임 이미지에 대해 하나씩 등록을 수행하여, 각 새로운 프레임 이미지의 포인트 클라우드를 획득하며, 각 새로운 프레임 이미지의 포인트 클라우드를 하나씩 상기 초기 시각 포인트 클라우드에 융합시키는 단계를 포함한다.
옵션으로써, 상기 방법은,
새로운 프레임 이미지 등록 과정에서, 왜곡 계수 변화 곡선에 기반하여 왜곡 계수를 최적화할지 여부를 확정하는 단계를 더 포함한다.
당해 실시 방식에 있어서, 새로운 프레임 이미지 등록 과정에서 왜곡 계수를 최적화하는지 여부를 고려함으로써, 새로운 프레임 이미지 등록 과정에서 생성된 포인트 클라우드의 정확도를 향상시켜, 내부 파라미터 수렴의 강건성을 향상시킬 수 있다.
옵션으로써, 상기 이미지 시퀀스의 각 이미지의 목표 영역에 대해 3차원 재구성을 수행할 경우, 상기 왜곡 계수 초기값이 0이고, 상기 목표 영역이 이미지의 에지 영역을 포함하는 않는다.
당해 실시 방식에 있어서, 이미지 시퀀스 중의 각 이미지의 왜곡을 최대로 감소시키고, 3차원 재구성에 대한 왜곡의 영향을 최대로 감소시킬 수 있으므로, 3차원 재구성의 정확도를 향상시킬 수 있다.
옵션으로써, 상기 카메라의 공칭 내부 파라미터는 카메라의 공칭 초점 거리 및 공칭 광학 중심 값을 포함한다.
당해 실시 방식에 있어서, 상술한 카메라 내부 파라미터의 공칭 값과 실제 값 사이의 오차가 일정 범위 내에 있으므로, 상술한 카메라의 공칭 내부 파라미터을 초기값으로 설정하여 후속의 최적화에 비교적 유리하다.
옵션으로써, 상기 이미지 시퀀스는 크라우드 소싱 방식을 통해 수집한 이미지 시퀀스이다.
당해 실시 방식에 있어서, 크라우드 소싱 방식을 통해 이미지 시퀀스를 수집함으로써, 이미지 시퀀스의 취득 난이도와 코스트를 경감하여, 3차원 재구성의 난이도와 코스트를 더 한층 경감시킬 수 있다.
제2 측면에 있어서, 본 출원은 3차원 재구성 장치를 제공하는 바, 당해 장치는,
미리 수집한 이미지 시퀀스를 취득하고, 상기 이미지 시퀀스를 수집한 카메라의 공칭 내부 파라미터 및 미리 설정된 왜곡 계수 초기값을 취득하기 위한 취득 모듈;
상기 카메라의 왜곡 계수 변동 범위를 계산하기 위한 계산 모듈;
상기 공칭 내부 파라미터, 상기 왜곡 계수 초기값 및 상기 왜곡 계수 변동 범위에 기반하여, 상기 이미지 시퀀스에 대해 3차원 재구성을 수행하기 위한 3차원 재구성 모듈; 및
상기 3차원 재구성 과정에서, 획득한 시각 포인트 클라우드 및 카메라 포즈에 대해 최적화를 수행하기 위한 제1 최적화 모듈을 구비한다.
옵션으로써,
상기 3차원 재구성 과정에서, 획득한 시각 포인트 클라우드 중의 시맨틱 요소에 대해 최적화를 수행함으로써, 상기 시맨틱 요소의 포인트 클라우드가 상기 시맨틱 요소에 대응하는 기하학적 특성을 충족하도록 하기 위한 제2 최적화 모듈을 더 구비한다.
옵션으로써,
상기 3차원 재구성 과정에서, 상기 왜곡 계수 변동 범위가 안정되지 전에, 왜곡 계수에 대해 최적화를 수행하고; 상기 왜곡 계수 변동 범위가 안정된 후, 상기 공칭 내부에 대해 파라미터 최적화를 수행하기 위한 제3 최적화 모듈을 더 구비한다.
옵션으로써, 상기 계산 모듈은,
상기 이미지 시퀀스의 일부 이미지 중에서 왜곡이 발생한 선 특징을 추출하기 위한 추출 서브 모듈; 및
상기 왜곡이 발생한 선 특징에 기반하여, 상기 왜곡 계수 변동 범위를 계산하기 위한 계산 서브 모듈을 구비한다.
옵션으로써, 상기 3차원 재구성 모듈은,
상기 이미지 시퀀스 중에서 제1 이미지 및 제2 이미지를 선택하기 위한 선택 서브 모듈;
상기 제1 이미지 및 상기 제2 이미지에 대해 3차원 재구성을 수행하여, 초기 시각 포인트 클라우드를 얻기 위한 포인트 클라우드 초기화 서브 모듈; 및
상기 이미지 시퀀스의 새로운 프레임 이미지에 대해 하나씩 등록을 수행하여, 각 새로운 프레임 이미지의 포인트 클라우드를 획득하며, 각 새로운 프레임 이미지의 포인트 클라우드를 하나씩 상기 초기 시각 포인트 클라우드에 융합시키기 위한 새로운 프레임 등록서브 모듈을 구비한다.
옵션으로써, 상기 새로운 프레임 등록서브 모듈은, 또한,
새로운 프레임 이미지 등록 과정에서, 왜곡 변화 곡선에 기반하여 왜곡 계수를 최적화할지 여부를 확정하는 단계를 더 포함한다.
옵션으로써, 상기 이미지 시퀀스의 각 이미지의 목표 영역에 대해 3차원 재구성을 수행할 경우, 상기 왜곡 계수 초기값이 0이고, 상기 목표 영역이 이미지의 에지 영역을 포함하는 않는다.
옵션으로써, 상기 카메라의 공칭 내부 파라미터는 카메라의 공칭 초점 거리 및 공칭 광학 중심 값을 포함한다.
옵션으로써, 상기 이미지 시퀀스는 크라우드 소싱 방식을 통해 수집한 이미지 시퀀스이다.
제3 측면에 있어서, 본 출원은 전자 기기를 제공하는 바, 당해 전자 기기는,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결된 메모리를 구비하며; 여기서,
상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있으며, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행됨으로써, 상기 적어도 하나의 프로세서가 제1 측면 중의 임의의 하나의 방법을 실행할 수 있도록 한다.
제4 측면에 있어서, 본 출원은 컴퓨터 명령이 저장되어 있는 비 일시적 컴퓨터 판독 가능 저장 매체를 제공하는 바, 상기 컴퓨터 명령은 상기 컴퓨터로 하여금 제1 측면중의 임의의 하나의 방법을 실행하도록 하는 것을 특징으로 한다.
제5 측면에 있어서, 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램을 더 제공하는바, 상기 컴퓨터 프로그램중의 명령이 실행될 경우, 본 출원의 실시예에 의해 공개되는 3차원 재구성 방법이 실행된다.
본 출원 중 일 실시예는 이하의 우점 또는 유익한 효과를 가진다.
3차원 재구성 대기의 이미지 시퀀스에 대응하는 카메라 내부 파라미터가 교정이 없는 경우에, 카메라의 공칭 내부 파라미터를 얻기 용이하고, 또한 카메라 내부 파라미터의 공칭 값과 카메라 내부 파라미터의 실제 값 사이의 오차가 일정 범위 내에 있다. 따라서, 본 출원은 카메라의 공칭 내부 파라미터를 카메라 내부 파라미터 초기값으로 설정하여, 카메라의 왜곡 계수 초기값을 미리 설정하고, 카메라의 왜곡 계수 변동 범위를 계산하도록 한다. 이렇게 하여, 본 출원 공칭 내부 파라미터, 왜곡 계수 초기값 및 왜곡 계수 변동 범위에 기반하여, 이미지 시퀀스에 대해 3차원 재구성을 수행하며, 이미지 시퀀스의 3차원 재구성 과정에서, 시각 포인트 클라우드 및 카메라 포즈에 대해 최적화를 수행할 수 있다. 상술한 기술 수단을 채택함으로써, 카메라 내부 파라미터가 교정되지 않은 조건 하의 3차원 재구성을 실현하여, 3차원 재구성 기술의 적용 범위를 더 넓게 하였다.
상술한 옵션의 방식이 갖는 기타 효과는 이하의 명세서에서 구체적인 실시예와 결합하여 설명하기로 한다.
도면은 본 방안을 더욱 잘 이해하게 하기 위한 것인 바, 본 출원을 한정하지 않는다. 여기서：
도1은 본 출원 실시예에 의해 제공되는 3차원 재구성 방법의 흐름 모식도이고;
도2는 본 출원 실시예에 의해 제공되는 3차원 재구성 장치의 구조 모식도이며;
도3은 본 출원 실시예의 3차원 재구성 방법을 실현하기 위한 전자 기기의 블록도이다.
도1은 본 출원 실시예에 의해 제공되는 3차원 재구성 방법의 흐름 모식도이고;
도2는 본 출원 실시예에 의해 제공되는 3차원 재구성 장치의 구조 모식도이며;
도3은 본 출원 실시예의 3차원 재구성 방법을 실현하기 위한 전자 기기의 블록도이다.
이하 도면을 결합하여 본 출원의 모범적인 실시예를 설명하는 바, 여기서 본 출원 실시예를 포함하는 각 세부 사항은 이해를 돕기 위한 것으로, 이들을 단지 모범적인 것으로 간주해야 한다. 따라서, 당업자는 여기서 설명되는 실시예에 대해 다양한 변경과 수정을 이룰 수 있으며, 이들은 본 출원의 법위와 정신을 벗어나지 않음을 인식해야 한다. 마찬가지로, 명확성과 간결성을 위하여 이하의 설명에서는 공지된 기능과 구조에 대한 설명을 생략한다.
본 출원은 3차원 재구성 방법을 제공하는 바, 당해 방법은 카메라 내부 파라미터의 교정이 없는 이미지 시퀀스 3차원 재구성을 수행하며, 또한 카메라 내부 파라미터의 교정이 있는 이미지 시퀀스 3차원 재구성을 수행할 수도 있다.
도1에 나타낸 바와 같이, 당해 3차원 재구성 방법은 이하의 단계를 포함한다.
단계 101에 있어서： 미리 수집한 이미지 시퀀스를 취득하고, 카메라의 공칭 내부 파라미터 및 미리 설정된 왜곡 계수 초기값을 취득한다.
상술한 이미지 시퀀스는 3차원 재구성 대기의 이미지 시퀀스를 나타내며, 3차원 재구성을 수행하기 전에, 미리 수집한 이미지 시퀀스를 입력할 필요가 있는 바, 즉 미리 수집한 이미지 시퀀스를 취득할 필요가 있다. 본 출원에서 언급하는 "카메라"는 모두 상술한 이미지 시퀀스를 수집하는 카메라를 의미하는 바, 다시 말하면, 상술한 이미지 시퀀스는 본 출원의 "카메라"가 미리 수집한 것이다.
이미지 시퀀스를 수집하는 카메라가 교정되어 있지 않으면, 이미지 시퀀스에 대해 3차원 재구성을 수행할 경우, 카메라의 교정된 내부 파라미터를 취득할 수 없는 바, 현재의 3차원 재구성 기술을 통해 당해 이미지 시퀀스에 대해 3차원 재구성을 수행할 수 없다. 용어인 "교정 내부 파라미터"는 카메라에 대해 교정을 수행하여 획득한 내부 파라미터를 나타낸다. 예를 들면, 현재 차량에 장착된 카메라는 일반적으로 교정되지 않은 카메라이므로, 차량이 수집한 이미지는 일반적으로 카메라 내부 파라미터를 교정하지 않은 이미지이다.
이에 감안하여, 본 출원은 카메라의 공칭 내부 파라미터를 카메라 내부 파라미터 초기값으로 설정하기로 하며, 용어인 "공칭 내부 파라미터"는 카메라 내부 파라미터의 설계 값이고, 카메라의 공칭 내부 파라미터는 일반적으로 비교적 얻기 용이하며, 일반적으로 카메라 공급 업체에 의해 모두 제공되다. 교정된 카메라 내부 파라미터를 취득하지 못하는 경우, 3차원 재구성 과정에서 관련된 초기값에 대해 최적화를 수행하여 3차원 재구성의 정확도를 향상시킬 필요가 있다. 3차원 재구성의 최적화는 본질 상 비선형 최적화에 속하므로, 후속의 최적화의 편의를 위해 비교적 양호한 초기값을 선택할 수 있다. 카메라 내부 파라미터의 공칭 값과 카메라 내부 파라미터의 실제 값 사이의 오차가 일정 범위 내에 있으므로, 카메라의 공칭 내부 파라미터를 초기값으로 설정하면 후속의 최적화에 비교적 유리하다.
본 출원에 있어서, 카메라의 공칭 내부 파라미터는 카메라의 공칭 초점 거리 및 공칭 광학 중심 값을 포함할 수 있다.
카메라에 왜곡 계수가 존재하므로, 미리 수집한 이미지 시퀀스에도 일정 정도의 왜곡이 존재하게 되며, 이미지 시퀀스에 대해 3차원 재구성을 수행할 경우, 이미지 시퀀스의 왜곡도 3차원 재구성의 정확도에 대해 일정의 영향을 미치게 되며, 따라서, 3차원 재구성 과정에서 왜곡 계수에 대해 최적화를 수행할 수 있다. 이에 감안하여, 본 출원에 있어서, 이미지 시퀀스에 대해 3차원 재구성을 수행하기 전에, 카메라의 공칭 내부 파라미터를 3차원 재구성의 초기값으로 설정할뿐만 아니라, 또한 카메라의 왜곡 계수 초기값을 미리 설정하고, 당해 미리 설정한 왜곡 계수 초기값을 3차원 재구성의 초기값으로 설정할 수 있다.
왜곡 계수의 경우, 왜곡이 주요하게 이미지 에지에 발생하므로, 이미지 시퀀스에 대해 3차원 재구성을 수행할 경우, 이미지 중심 영역의 특징만을 고려하여, 왜곡을 최대로 감소시켜, 3차원 재구성에 대한 왜곡의 영향을 최대로 감소시킬 수 있다. 예를 들면, 3차원 재구성을 수행할 때, 이미지의 에지를 적당히 절단하거나, 또는, 이미지의 중심 영역에 대해서만 특징 추출을 수행하며, 이미지의 에지 영역에 대해서는 특징 추출을 수행하지 않을 수 있다.
이상의 처리를 통해, 왜곡을 최대로 감소시키므로, 0을 왜곡 계수 초기값으로 사용할 수 있다. 다시 말하면, 이미지 시퀀스의 각 이미지의 목표 영역에 대해 3차원 재구성을 수행할 경우, 왜곡 계수 초기값을 0으로 설정할 수 있으며, 상기 목표 영역은 이미지의 에지 영역을 포함하는 않는다.
단계 102에 있어서： 상기 카메라의 왜곡 계수 변동 범위를 계산한다.
카메라의 왜곡 계수는 일반적으로 적합한 범위 내에서 변동하게 되므로, 상술한 왜곡 계수 변동 범위는 왜곡 계수가 상하로 변동하는 범위를 나타낸다.
이미지 시퀀스의 3차원 재구성 과정에서, 왜곡 계수 변동 범위를 통해 왜곡 계수를 제한함으로써, 3차원 재구성의 수렴을 가속화시켜, 3차원 재구성의 정확도를 향상시킬 수 있다.
이에 감안하여, 이미지 시퀀스에 대해 3차원 재구성을 수행하기 전에, 카메라의 왜곡 계수 변동 범위를 미리 확정할 수 있으며, 당해 왜곡 계수 변동 범위는 계산또는 추정）을 통해 얻을 수 있다.
이하 카메라의 왜곡 계수 변동 범위를 계산하는 실시 방식을 제공한다.
옵션으로써, 상기 상기 카메라의 왜곡 계수 변동 범위를 계산하는 단계는,
상기 이미지 시퀀스의 일부 이미지 중에서 왜곡이 발생한 선 특징을 추출하는 단계; 및
상기 왜곡이 발생한 선 특징에 기반하여, 상기 왜곡 계수 변동 범위를 계산하는 단계를 포함한다.
당해 실시 방식에 있어서, 우선 이미지 시퀀스 중에서 예를 들어 20 프레임의 이미지와 같은 일부 이미지를 선택할 수 있으며; 그 다음 이러한 일부 이미지에 대해 시맨틱 분할을 수행하고, 이러한 일부 이미지 중에서 왜곡이 발생한 선 특징을 추출하며, 시맨틱 분할의 결과에 기반하여 무효한 선 특징을 제거할 수 있으며; 최소 제곱 법을 확정함으로써 보정 후의 선 특징이 직선의 왜곡 계수 변동 범위에 가까워지도록 할 수 있다.
당해 실시 방식에 있어서, 선 특징이 왜곡 확정에 있어서 비교적 용이하고 정밀하므로, 이미지 중에서 왜곡이 발생한 선 특징을 추출하여 왜곡 계수 변동 범위를 계산함으로써, 실현이 비교적 간단하고, 계산된 왜곡 계수 변동 범위가 비교적 정밀하다.
단계 103에 있어서： 상기 공칭 내부 파라미터, 상기 왜곡 계수 초기값 및 상기 왜곡 계수 변동 범위에 기반하여, 상기 이미지 시퀀스에 대해 3차원 재구성을 수행한다.
본 출원에 있어서, 특징 추출과 매칭을 통하여 이미지 시퀀스의 3차원 재구성을 실현할 수 있는 바, 구체적으로 이미지 중에서 마크성 또는 구분도를 갖는 특징을 추출한다.
이미지 시퀀스에 대해 3차원 재구성을 수행하여, 이미지 시퀀스에 대응하는 시각 포인트 클라우드 및 이미지 시퀀스의 각 이미지에 대응하는 카메라 포즈를 얻을 수 있으며, 3차원 재구성 획득한 시각 포인트 클라우드 및 카메라 포즈를 희소 모델이라고도 칭할 수 있다.
이하 이미지 시퀀스에 대해 3차원 재구성을 수행는 실시 방식을 제공한다.
옵션으로써, 상기 상기 이미지 시퀀스에 대해 3차원 재구성을 수행하는 단계는,
이미지 시퀀스 중에서 제1 이미지 및 제2 이미지를 선택하는 단계;
상기 제1 이미지 및 상기 제2 이미지에 대해 3차원 재구성을 수행하여, 초기 시각 포인트 클라우드를 획득하는 단계; 및
상기 이미지 시퀀스의 새로운 프레임 이미지에 대해 하나씩 등록을 수행하여, 각 새로운 프레임 이미지의 포인트 클라우드를 획득하며, 각 새로운 프레임 이미지의 포인트 클라우드를 하나씩 상기 초기 시각 포인트 클라우드에 융합시키는 단계를 포함한다.
당해 실시 방식에 있어서, 제1 이미지 및 제2 이미지에 대해 3차원 재구성을 수행하여 초기 시각 포인트 클라우드를 얻는 과정을 포인트 클라우드 초기화 과정이라고 칭할 수 있다. 구체적으로, 이미지 시퀀스 중에서 제1 이미지 및 제2 이미지를 선택하고, 제1 이미지 및 제2 이미지의 상대적 포즈를 구하여, 두개의 이미지의 포인트 클라우드를 생성하여, 포인트 클라우드의 초기화를 완성할 수 있다. 초기 시각 포인트 클라우드의 질량을 향상시키기 위하여, 제1 이미지 및 제2 이미지는 이미지 시퀀스 중에서 이미지 질량이 비교적 좋고, 또한 상대적으로 전형성과 대표성을 같는 이미지일 수 있다.
이미지 시퀀스의 새로운 프레임 이미지에 대해 하나씩 등록을 수행하여, 각 새로운 프레임 이미지의 포인트 클라우드를 획득하며, 각 새로운 프레임 이미지의 포인트 클라우드를 하나씩 초기 시각 포인트 클라우드에 융합시키는 과정을 새로운 프레임 등록 과정이라고 칭할 수 있다. 구체적으로, 이미지 시퀀스의 모든 이미지의 등록 완성될 때까지, 초기 시각 포인트 클라우드에 기반하여, 상기 이미지 시퀀스의 기타 이미지에 대해 하나씩 등록을 수행하여, 하나씩 각 이미지의 포인트 클라우드를 생성하며, 생성된 포인트 클라우드를 하나씩 초기 시각 포인트 클라우드에 융합시킬 수 있다.
옵션으로써, 상기 방법은,
새로운 프레임 이미지 등록 과정에서, 왜곡 계수 변화 곡선에 기반하여 왜곡 계수를 최적화할지 여부를 확정하는 단계를 더 포함한다.
상술한 왜곡 계수는 카메라의 왜곡 계수를 나타내며, 본 출원에 있어서, 카메라의 왜곡 계수, 초점 거리 및 광학 중심 값은 모두 내부 파라미터에 속한다.
당해 실시 방식에 있어서, 새로운 프레임 이미지 등록 과정에서, 왜곡 계수 변화 곡선이 비교적 매끄러우면, 왜곡 계수에 대해 최적화를 수행하지 않을 수 있으며; 왜곡 계수 변화 곡선이 매끄럽지 않으면, 왜곡 계수에 대해 최적화를 수행하는 것으로 확정할 수 있다.
당해 실시 방식에 있어서, 새로운 프레임 이미지 등록 과정에서 왜곡 계수를 최적화하는지 여부를 고려함으로써, 새로운 프레임 이미지 등록 과정에서 생성된 포인트 클라우드의 정확도를 향상시켜, 내부 파라미터 수렴의 강건성을 향상시킬 수 있다.
단계 104에 있어서： 상기 3차원 재구성 과정에서, 획득한 시각 포인트 클라우드 및 카메라 포즈에 대해 최적화를 수행한다.
3차원 재구성 과정에서, 시각 포인트 클라우드 및 카메라 포즈에 대해 최적화를 수행함으로써, 3차원 재구성의 정확도를 향상시킬 수 있다.
상술한 시각 포인트 클라우드 및 카메라 포즈에 대해 최적화를 수행하는 것을 BA 최적화라고 칭할 수 있으며, BA 최적화는 글로벌 BA 최적화 및 로컬 BA 최적화를 포함한다. 여기서, 글로벌 BA 최적화는 이미지 시퀀스 전체를 동시에 최적화하는 것을 의미하느 바, 즉, 이미지 시퀀스의 모든 이미지의 시각 포인트 클라우드 및 카메라 포즈에 대해 최적화를 수행한다. 로컬 BA 최적화는 특정 윈도우 내의 이미지의 시각 포인트 클라우드 및 카메라 포즈에 대해 최적화를 수행하는 것을 의미하는 바, 예를 들면, 이미지 시퀀스에 100 프레임의 이미지가 있다고 가정하면, 특정 윈도우 내（예를 들어 20프레임의 이미지）에서 획득한 시각 포인트 클라우드 및 카메라 포즈에 대해 최적화를 수행한다.
상술한 단계의 실행 순서는 한정되지 않는 바, 예를 들면, 단계 101과 단계 102를 동시에 실행하거나, 먼저 단계 101을 실행한 후 단계 102를 실행하거나, 또는 먼저 단계 102를 실행한 후 단계 101을 실행할 수 있으며; 또한 예를 들면, 단계 103을 실행하는 과정에서 단계 104를 실행할 수 있다.
3차원 재구성 대기의 이미지 시퀀스에 대응하는 카메라 내부 파라미터가 교정이 없는 경우에, 카메라의 공칭 내부 파라미터를 얻기 용이하고, 또한 카메라 내부 파라미터의 공칭 값과 카메라 내부 파라미터의 실제 값 사이의 오차가 일정 범위 내에 있다. 따라서, 본 출원은 카메라의 공칭 내부 파라미터를 카메라 내부 파라미터 초기값으로 설정하여, 카메라의 왜곡 계수 초기값을 미리 설정하고, 카메라의 왜곡 계수 변동 범위를 계산하도록 한다. 이렇게 하여, 본 출원 공칭 내부 파라미터, 왜곡 계수 초기값 및 왜곡 계수 변동 범위에 기반하여, 이미지 시퀀스에 대해 3차원 재구성을 수행하며, 이미지 시퀀스의 3차원 재구성 과정에서, 시각 포인트 클라우드 및 카메라 포즈에 대해 최적화를 수행할 수 있다. 상술한 기술 수단을 채택함으로써, 카메라 내부 파라미터가 교정되지 않은 조건 하의 3차원 재구성을 실현하여, 3차원 재구성 기술의 적용 범위를 더 넓게 하였다. 3차원 재구성의 거리가 특정 거리로 제어되었을 경우, 예를 들면, 물리적 세계 거리가 200미터에서 400미터 사이에 있는 이미지 시퀀스에 대해 3차원 재구성을 수행할 경우, 내부 파라미터의 교정이 없는 3차원 재구성 효과는 내부 파라미터의 교정이 있는 3차원 재구성 효과에 접근할 수 있으며, 3차원 재구성의 정확도 요구 사항을 충족시킬 수 있다.
또한, 카메라에 대해 내부 파라미터를 교정하였어도, 사용 과정에서 카메라 내부 파라미터가 변화될 수 있고, 또한 많은 카메라 교정 시나리오가 산업화되지 않았기 때문에, 교정된 카메라 내부 파라미터에도 불가피하게 오차가 존재하게 된다. 따라서, 당해 방법은 내부 파라미터의 교정이 없는 이미지 시퀀스의 3차원 재구성에 적용될뿐만 아니라, 내부 파라미터의 교정이 있는 이미지 시퀀스의 3차원 재구성에도 적용되기에, 내부 파라미터의 교정이 있는 3차원 재구성의 정확도도 더 한층 향상시킬 수 있다.
옵션으로써, 상기 방법은,
상기 3차원 재구성 과정에서, 획득한 시각 포인트 클라우드 중의 시맨틱 요소에 대해 최적화를 수행함으로써, 상기 시맨틱 요소의 포인트 클라우드가 상기 시맨틱 요소에 대응하는 기하학적 특성을 충족하도록 하는 단계를 더 포함한다.
상술한 BA 최적화를 통해 획득한 시각 포인트 클라우드에 또한 노이즈가 존재할 가능성이 있는 바, 예를 들면, 시각 포인트 클라우드 중의 시맨틱 요소가 시맨틱 요소의 기하학적 제약을 충족시키지 못할 수 있다. 예를 들어 설명하면, 간판의 포인트 클라우드가 하나의 평면 상에 있지 않으며, 이는 실제 간판의 기하학적 특성과 불일치한다. 여기서, 시맨틱 요소는 간판, 기둥, 도로선, 건축물 등의 요소를 포함할 수 있다.
이에 감안하여, 당해 실시 방식에 있어서, 3차원 재구성 과정에서, BA 최적화를 수행하는 것 외에, 시맨틱 최적화를 수행할 수 있는 바, 즉, 획득한 시각 포인트 클라우드 중의 시맨틱 요소에 대해 최적화를 수행한다. 시맨틱 최적화를 통해, 생성된 시맨틱 요소의 포인트 클라우드가 시맨틱 요소에 대응하는 기하학적 특성을 충족시키도록 보증할 수 있다.
당해 실시 방식에 있어서, BA 최적화와 시맨틱 최적화를 결합시킴으로써, 3차원 재구성의 정확도를 더 한층 향상시켜, 내부 파라미터 수렴의 강건성을 향상시켰다.
옵션으로써, 상기 방법은,
상기 3차원 재구성 과정에서, 상기 왜곡 계수 변동 범위가 불안정하면, 왜곡 계수에 대해 최적화를 수행하고; 상기 왜곡 계수 변동 범위가 안정하면, 상기 공칭 내부에 대해 파라미터 최적화를 수행하는 단계를 더 포함한다.
당해 실시 방식에 있어서, 내부 파라미터의 수렴성을 향상시키기 위하여, 3차원 재구성 과정에서 내부 파라미터 최적화를 수행할 수 있다.
최적화할 필요가 있는 내부 파라미터 수량이 많을수록, 3차원 재구성의 최적화의 난이도가 높고, 내부 파라미터 수렴의 강건성도 좋지 않으며, 따라서, 최적화할 필요가 있는 내부 파라미터 수량을 가능한 감소시킬 수 있다.
카메라의 공칭 초점 거리의 경우, 비교적 좋은 초기값을 갖기에, 최적화 전기에 최적화를 수행하지 않고, 후기에 다시 최적화에 참여하는 책략을 고려할 수 있다. 카메라의 공칭 광학 중심 값의 경우, 일반적으로 수렴되기 어렵고, 또한 일반적으로 실제의 광학 중심 위치와 공칭의 광학 중심 위치 사이의 차이가 비교적 작으며, 특정 임계값 내에서 3차원 재구성에 대한 영향이 비교적 작으므로, 최적화를 선택하지 않을 수 있다. 왜곡 계수의 경우, 이미지 중심 부분의 왜곡 비교적 작으므로, 단일 파라미터의 왜곡 모델을 사용하여 최적화를 수행할 수 있다.
상술한 요인에 감안하여, 당해 실시 방식에 있어서, 3차원 재구성 과정에서, BA 최적화를 수행하는 것 외에, 또한 내부 파라미터 최적화를 더 수행할 수 있다. 내부 파라미터 최적화 책략은 3차원 재구성 전기에 카메라의 공칭 초점 거리를 최적화하지 않고, 왜곡 계수만 최적화함으로써, 왜곡 계수 변동 범위가 안정되도록 하고, 왜곡 계수 변동 범위가 안정된 후, 카메라의 공칭 초점 거리를 최적화하는 것이다. 따라서, 당해 실시 방식에 있어서, 카메라의 공칭 내부 파라미터에 대해 최적화를 수행하는 것을 카메라의 공칭 초점 거리에 대해 최적화를 수행하는 것으로 이해할 수 있다.
당해 실시 방식에 있어서, BA 최적화와 내부 파라미터 최적화를 결합시킴으로써, 3차원 재구성의 정확도를 더 한층 향상시켜, 내부 파라미터 수렴의 강건성을 향상시켰다.
3차원 재구성 과정에서, BA 최적화와 시맨틱 최적화 및 내부 파라미터 최적화 중의 임의의 하나 또는 양자를 결합하여, 3차원 재구성의 정확도를 더 한층 향상시키고, 내부 파라미터 수렴의 강건성을 더 한층 향상시킬 수 있음을 설명할 필요가 있다. 예를 들면, BA 최적화의 과정에서, 왜곡 계수 변동 범위가 불안정하면, 내부 파라미터 최적화를 수행하지 않고; 왜곡 계수 변동 범위가 안정되면, 내부 파라미터 최적화를 수행할 수 있다. 또한 예를 들면, BA 최적화만으로 수렴되었으면, 시맨틱 최적화를 수행하지 않으며; BA 최적화로 수렴될 수 없으면, 시맨틱 최적화를 수행할 수 있다.
옵션으로써, 상기 이미지 시퀀스는 크라우드 소싱 방식을 통해 수집한 이미지 시퀀스이다.
당해 실시 방식에 있어서, 크라우드 소싱 방식을 통해 이미지 시퀀스를 수집함으로써, 이미지 시퀀스의 취득 난이도와 코스트를 경감하여, 3차원 재구성의 난이도와 코스트를 더 한층 경감시킬 수 있다.
상술한 3차원 재구성 방법을 통해, 3차원 재구성 거리가 특정 거리로 제어될 경우, 내부 파라미터의 교정이 없는 3차원 재구성 효과는 내부 파라미터의 교정이 있는 3차원 재구성 효과에 접근할 수 있으므로, 각 이미지 시퀀스의 정확도 요구 사항을 충족시킬 수 있으며, 특히 크라우드 소싱 업데이트의 정확도 요구 사항을 충족시킬 수 있다. 본 출원 중의 3차원 재구성 방법은, 크라우드 소싱 업데이트가 내부 파라미터의 교정이 없는 이미지 시퀀스를 사용할 수 있도록 함으로써, 크라우드 소싱 업데이트의 데이터 소스를 크게 확장하고, 크라우드 소싱 업데이트의 적용 범위를 확장하여, 크라우드 소싱 업데이트 방식이 고정밀 지도에 적용될 수 있도록 하였다.
본 출원 중의 3차원 재구성 방법 중의 다양한 옵션의 실시 방식은, 서로 결합되어 실현되거나, 단독으로 실현될 수 있으며, 본 출원은 이에 대해 한정하지 않음을 설명할 필요가 있다.
본 출원의 상술한 실시예는 이하의 우점 또는 유익한 효과를 갖는다.
3차원 재구성 대기의 이미지 시퀀스에 대응하는 카메라 내부 파라미터가 교정이 없는 경우에, 카메라의 공칭 내부 파라미터를 얻기 용이하고, 또한 카메라 내부 파라미터의 공칭 값과 카메라 내부 파라미터의 실제 값 사이의 오차가 일정 범위 내에 있다. 따라서, 본 출원은 카메라의 공칭 내부 파라미터를 카메라 내부 파라미터 초기값으로 설정하여, 카메라의 왜곡 계수 초기값을 미리 설정하고, 카메라의 왜곡 계수 변동 범위를 계산하도록 한다. 이렇게 하여, 본 출원 공칭 내부 파라미터, 왜곡 계수 초기값 및 왜곡 계수 변동 범위에 기반하여, 이미지 시퀀스에 대해 3차원 재구성을 수행하며, 이미지 시퀀스의 3차원 재구성 과정에서, 시각 포인트 클라우드 및 카메라 포즈에 대해 최적화를 수행할 수 있다. 상술한 기술 수단을 채택함으로써, 카메라 내부 파라미터가 교정되지 않은 조건 하의 3차원 재구성을 실현하여, 3차원 재구성 기술의 적용 범위를 더 넓게 하였다.
본 출원은 3차원 재구성 장치를 더 제공하는 바, 도2에 나타낸 바와 같이, 3차원 재구성 장치(200)는,
미리 수집한 이미지 시퀀스를 취득하고, 상기 이미지 시퀀스를 수집한 카메라의 공칭 내부 파라미터 및 미리 설정된 왜곡 계수 초기값을 취득하기 위한 취득 모듈(201);
상기 카메라의 왜곡 계수 변동 범위를 계산하기 위한 계산 모듈(202);
상기 공칭 내부 파라미터, 상기 왜곡 계수 초기값 및 상기 왜곡 계수 변동 범위에 기반하여, 상기 이미지 시퀀스에 대해 3차원 재구성을 수행하기 위한 3차원 재구성 모듈(203); 및
상기 3차원 재구성 과정에서, 획득한 시각 포인트 클라우드 및 카메라 포즈에 대해 최적화를 수행하기 위한 제1 최적화 모듈(204)을 구비한다.
옵션으로써, 3차원 재구성 장치(200)는,
상기 3차원 재구성 과정에서, 획득한 시각 포인트 클라우드 중의 시맨틱 요소에 대해 최적화를 수행함으로써, 상기 시맨틱 요소의 포인트 클라우드가 상기 시맨틱 요소에 대응하는 기하학적 특성을 충족하도록 하기 위한 제2 최적화 모듈을 더 구비한다.
옵션으로써, 3차원 재구성 장치(200)는,
상기 3차원 재구성 과정에서, 상기 왜곡 계수 변동 범위가 안정되지 전에, 왜곡 계수에 대해 최적화를 수행하고; 상기 왜곡 계수 변동 범위가 안정된 후, 상기 공칭 내부에 대해 파라미터 최적화를 수행하기 위한 제3 최적화 모듈을 더 구비한다.
옵션으로써, 계산 모듈(202)은,
상기 이미지 시퀀스의 일부 이미지 중에서 왜곡이 발생한 선 특징을 추출하기 위한 추출 서브 모듈; 및
상기 왜곡이 발생한 선 특징에 기반하여, 상기 왜곡 계수 변동 범위를 계산하기 위한 계산 서브 모듈을 구비한다.
옵션으로써, 3차원 재구성 모듈(203)은,
상기 이미지 시퀀스 중에서 제1 이미지 및 제2 이미지를 선택하기 위한 선택 서브 모듈;
상기 제1 이미지 및 상기 제2 이미지에 대해 3차원 재구성을 수행하여, 초기 시각 포인트 클라우드를 얻기 위한 포인트 클라우드 초기화 서브 모듈; 및
상기 이미지 시퀀스의 새로운 프레임 이미지에 대해 하나씩 등록을 수행하여, 각 새로운 프레임 이미지의 포인트 클라우드를 획득하며, 각 새로운 프레임 이미지의 포인트 클라우드를 하나씩 상기 초기 시각 포인트 클라우드에 융합시키기 위한 새로운 프레임 등록서브 모듈을 구비한다.
옵션으로써, 상기 새로운 프레임 등록서브 모듈은, 또한,
새로운 프레임 이미지 등록 과정에서, 왜곡 변화 곡선에 기반하여 왜곡 계수를 최적화할지 여부를 확정한다.
옵션으로써, 상기 이미지 시퀀스의 각 이미지의 목표 영역에 대해 3차원 재구성을 수행할 경우, 상기 왜곡 계수 초기값이 0이고, 상기 목표 영역이 이미지의 에지 영역을 포함하는 않는다.
옵션으로써, 상기 카메라의 공칭 내부 파라미터는 카메라의 공칭 초점 거리 및 공칭 광학 중심 값을 포함한다.
옵션으로써, 상기 이미지 시퀀스는 크라우드 소싱 방식을 통해 수집한 이미지 시퀀스이다.
본 출원에 의해 제공되는 3차원 재구성 장치(200)는 상술한 3차원 재구성 방법의 실시예에서 3차원 재구성 장치에 의해 실현되는 각 과정을 실현할 수 있으며, 또한 동일한 유익한 효과를 가질 수 있는 바, 중복을 피하기 위하여, 여기서 더 이상 설명하지 않는다.
본 출원의 실시예에 따르면, 본 출원은 전자 기기 및 판독 가능 저장 매체를 더 제공한다.
도3에 나타낸 바와 같이, 본 출원 실시예에 따른 3차원 재구성 방법의 전자 기기의 블록도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 벤치, 개인 디지털 비서, 서버, 블레이드 서버, 메인 프레임 컴퓨터 및 기타 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타낼 수 있다. 전자 기기는 또한 개인 디지털 처리, 셀룰러 폰, 스마트 폰, 웨어러블 장치 및 다른 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 나타낼 수있다. 본 명세서에 나타낸 구성 요소, 이들의 연결과 관계, 및 이들의 기능은 단지 예일뿐이며, 본 명세서 중의 설명 및/또는 요구하는 본 출원의 구현을 한정하려는 것이 아니다.
도3에 나타낸 바와 같이, 당해 전자 기기는 하나 또는 복수의 프로세서(501), 메모리(502), 및 고속 인터페이스와 저속 인터페이스를 포함하는 각 구성 요소를 연결하기 위한 인터페이스를 구비한다. 각 구성 요소는 서로 다른 버스를 이용하여 서로 연결되며, 공통 마더 보드에 장착하거나 필요에 따라 기타 방식으로 장착될 수 있다. 프로세서는 전자 기기 내에서 수행되는 명령을 처리하며, 당해 명령은 메모리 내 또는 메모리 상에 저장되어, 외부 입력/출력 장치（예를 들면 인터페이스에 연결된 디스플레이 기기） 상에 그래픽 사용자 화면을 디스플레이하기 위한 그래픽 정보의 명령을 포함한다. 기타 실시 방식에 있어서, 필요할 경우, 복수의 프로세서 및/또는 복수의 버스와 복수의 메모리를 복수의 메모리와 함께 사용할 수 있다. 마찬가지로, 복수의 전자 기기(예를 들면, 서버 어레이, 블레이드 서버 그륩, 또는 멀티 프로세서 시스템을 연결함）를 연결할 수 있으며, 각 기기는 필요한 일부 동작을 제공한다. 도3에서는 하나의 프로세서(501)의 예를 든다.
메모리(502)는 본 출원에 의해 제공되는 비 일시적 컴퓨터 판독 가능 저장 매체이다. 여기서, 상기 메모리에는 적어도 하나의 프로세서에 의해 수행되는 명령이 저장되어 있으며, 상기 적어도 하나의 프로세서로 하여금 본 출원에 의해 제공되는 3차원 재구성 방법을 수행하도록 한다. 본 출원의 비 일시적 컴퓨터 판독 가능 저장 매체는 컴퓨터 명령을 저장하며, 당해 컴퓨터 명령은 컴퓨터로 하여금 본 출원에 의해 제공되는 3차원 재구성 방법을 수행하도록 한다.
메모리(502)는 비 일시적 컴퓨터 판독 가능 저장 매체로서, 본 출원 실시예 중의 3차원 재구성 방법에 대응하는 프로그램 명령/모듈（예를 들면, 도 2에 나타낸 취득 모듈(201), 계산 모듈(202), 3차원 재구성 모듈(203) 및 제1 최적화 모듈(204)）과 같은, 비 일시적 소프트웨어 프로그램, 비 일시적 컴퓨터 수행 가능 프로그램 및 모듈을 저장하는데 사용될 수 있다. 프로세서(501)는 메모리(502) 내에 저장된 비 일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함므로써, 3차원 재구성 장치의 다양한 기능 애플리케이션 및 데이터 처리를 수행하는 바, 즉 상술한 방법 실시예 중의 3차원 재구성 방법을 실현한다.
메모리(502)는 프로그램 저장 영역과 데이터 저장 영역을 포함할 수 있으며, 여기서 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능에 필요한 애플리케이션 프로그램을 저장할 수 있으며; 데이터 저장 영역은 3차원 재구성 방법의 전자 기기의 사용에 따라 생성된 데이터 등을 저장할 수 있다. 또한, 메모리(502)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 비 일시적 메모리를 포함할 수 있는 바, 예를 들면 적어도 하나의 자기 디스크 메모리 장치, 플래시 메모리 장치, 또는 기타 비 일시적 고체 메모리 장치를 포함할 수 있다. 일부 실시예에 있어서, 메모리(502)는 프로세서(501)에 대해 원격 설치된 메모리를 선택적으로 포함할 수 있으며, 이러한 원격 메모리는 네트워크를 통해 3차원 재구성 방법의 전자 기기에 연결된다. 상술한 네트워크의 예는 인터넷, 인트라넷, 근거리 네트워크, 모바일 통신 네트워크 및 이들의 조합을 포함하나 이에 한정되지 않는다.
3차원 재구성 방법의 전자 기기는 입력 장치(503)와 출력 장치(504)를 더 구비할 수 있다. 프로세서(501), 메모리(502), 입력 장치(503) 및 출력 장치(504)는 버스 또는 기타 방식으로 연결될 수 있으며, 도3에서는 버스를 통해 연결한 예를 든다.
입력 장치(503)는 입력된 숫자 또는 문자 정보를 수신할 수 있고, 또한 3차원 재구성 방법의 전자 기기의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 생성할 수 있으며, 당해 입력 장치는 예를 들면 터치 스크린, 키패드, 마우스, 트랙 패드, 터치 패드, 포인팅 스틱, 하나의 또는 복수의 마우스 버튼, 트랙볼, 조이스틱 등과 같은 입력 장치일 수 있다. 출력 장치(504)는 디스플레이 기기, 보조 조명 장치（예를 들면 LED）및 햅틱 피드백 장치（예를 들면 진동 모터）등을 포함할 수 있다. 당해 디스플레이 기기는 액정 디스플레이（LCD）, 발광 다이오드 디스플레이（LED） 및 플라즈마 디스플레이를 포함하나 이에 한정되지 않는다. 일부 실시 방식에 있어서, 디스플레이 기기는 터치 스크린일 수 있다.
본 출원의 실시예에 따르면, 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램을 더 제공한다. 당해 컴퓨터 프로그램중의 명령이 실행될 경우, 상기 3차원 재구성 방법이 실행된다.
여기서 설명되는 시스템과 기술의 각 실시 방식은, 디지털 전자 회로 시스템, 직접 회로 시스템, 전용 직접 회로（ASIC）, 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 실현될 수 있다. 이러한 각 실시 방식은 하나의 또는 복수의 컴퓨터 프로그램 중에서 실시되며, 당해 하나의 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템 상에서 수행 및/또는 해석될 수 있으며, 당해 프로그램 가능 프로세서는 전용 또는 공통 프로그램 가능 프로세서일 수 있으며, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터와 명령을 수신할 수 있으며, 또한 데이터와 명령을 당해 저장 시스템, 당해 적어도 하나의 입력 장치 및 당해 적어도 하나의 출력 장치에 전송할 수 있다.
이러한 계산 프로그램（프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드라고도 함）는 프로그램 가능 프로세서의 기계 명령을 포함하며, 또한 고급 프로세스 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/기계 언어를 이용하여 이러한 계산 프로그램을 실시할 수 있다. 예를 들면 본 명세서에서 사용되는 용어인 "기계 판독 가능 매체" 및 "컴퓨터 판독 가능 매체"는, 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하는 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치（예를 들면, 자기 디스크, 광학 디스크, 메모리, 프로그램 가능 논리 장치 （PLD））를 가르키며, 기계 판독 가능 신호로 수신하는 기계 명령의 기계 판독 가능 매체를 포함한다. 용어인 "기계 판독 가능 신호"는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하는 임의의 신호를 가르킨다.
사용자와의 대화를 제공하기 위하여, 컴퓨터 상에서 여기서 설명되는 시스템과 기술을 실시할 수 있으며, 당해 컴퓨터는 사용자에게 정보를 디스플레이 하기 위한 디스플레이 장치（예를 들면, 음극선 관 （CRT） 또는 액정 디스플레이 （LCD） 모니터）; 및 키보드와 포인팅 장치（예를 들면, 마우스 또는 트랙볼）를 구비할 수 있으며, 사용자는 당해 키보드와 포인팅 장치를 통해 입력을 컴퓨터에 제공할 수 있다. 기타 종류의 장치는 또한 사용자와의 대화를 제공할 수 있는 바; 예를 들면, 사용자에게 제공하는 피드백은 임의의 형식의 감각 피드백（예를 들면, 시각 피드백, 청각 피드백, 또는 촉각 피드백）일 수 있고; 또한 임의의 형식（음향 입력, 음성 입력 또는 촉각 입력）을 통해 사용자의 입력을 수신할 수 있다.
여기서 설명하는 시스템과 기술을, 백엔드 구성 요소를 포함하는 계산 시스템（예를 들면, 데이터 서버）, 또는 미들웨어 구성 요소를 포함하는 계산 시스템（예를 들면, 애플리케이션 서버）, 또는 프런트 엔드 구성 요소를 포함하는 계산 시스템（예를 들면, 그래픽 사용자 화면 또는 네트워크 브라우저를 구비하는 사용자 컴퓨터임, 사용자는 당해 그래픽 사용자 화면 또는 당해 네트워크 브라우저를 통해 여기서 설명하는 시스템과 기술의 실시 방식과 대화할 수 있음）, 또는 이러한 백엔드 구성 요소, 미들웨어 구성 요소, 또는 프런트 엔드 구성 요소를 포함하는 임의의 조합의 계산 시스템에서 실시할 수 있다. 임의의 형식 또는 매체의 디지털 데이터 통신（예를 들면, 통신 네트워크）을 통해 시스템의 구성 요소를 서로 연결할 수 있다. 통신 네트워크의 예는 근거리 네트워크（LAN）, 광역 통신망（WAN） 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며, 일반적으로 통신 네트워크를 통해 대화한다. 해당하는 컴퓨터 상에서 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램을 수행하여 클라이언트와 서버의 관계를 구현한다.
본 출원 실시예의 기술안에 따르면, 3차원 재구성 대기의 이미지 시퀀스에 대응하는 카메라 내부 파라미터가 교정이 없는 경우에, 카메라의 공칭 내부 파라미터를 얻기 용이하고, 또한 카메라 내부 파라미터의 공칭 값과 카메라 내부 파라미터의 실제 값 사이의 오차가 일정 범위 내에 있다. 따라서, 본 출원은 카메라의 공칭 내부 파라미터를 카메라 내부 파라미터 초기값으로 설정하여, 카메라의 왜곡 계수 초기값을 미리 설정하고, 카메라의 왜곡 계수 변동 범위를 계산하도록 한다. 이렇게 하여, 본 출원 공칭 내부 파라미터, 왜곡 계수 초기값 및 왜곡 계수 변동 범위에 기반하여, 이미지 시퀀스에 대해 3차원 재구성을 수행하며, 이미지 시퀀스의 3차원 재구성 과정에서, 시각 포인트 클라우드 및 카메라 포즈에 대해 최적화를 수행할 수 있다. 상술한 기술 수단을 채택함으로써, 카메라 내부 파라미터가 교정되지 않은 조건 하의 3차원 재구성을 실현하여, 3차원 재구성 기술의 적용 범위를 더 넓게 하였다.
상기에 나타낸 각 형식의 프로세스를 사용하여 단계를 재정렬, 추가 또는 삭제할 수 있음을 이해해야 한다. 예를 들면, 본 출원에 기재된 각 단계는 병렬, 순차적 또는 서로 다른 순서로 수행될 수 있으며, 본 출원에 개시된 기술 방안이 원하는 결과를 실현할 수 있는 한, 본 명세서는 이에 대해 한정하지 않는다.
상술한 구체적인 실시 방식는 본 출원의 보호 범위에 대한 한정을 구성하지 않는다. 당업자는 설계 요건 및 기타 요인에 따라 다양한 변형, 조합, 하위 조합 및 치환이 이루어질 수 있음을 이해해야 한다. 본 출원의 정신 및 원칙 내에서 이루어진 어떠한 변경, 동등한 대체 및 개량 등은 모두 본 출원의 보호 범위 내에 포함된다.
Claims (18)
- 3차원 재구성 방법에 있어서,
미리 수집한 이미지 시퀀스를 취득하고, 상기 이미지 시퀀스를 수집한 카메라의 공칭 내부 파라미터 및 미리 설정된 왜곡 계수 초기값을 취득하는 단계;
상기 카메라의 왜곡 계수 변동 범위를 계산하는 단계;
상기 공칭 내부 파라미터, 상기 왜곡 계수 초기값 및 상기 왜곡 계수 변동 범위에 기반하여, 상기 이미지 시퀀스에 대해 3차원 재구성을 수행하는 단계; 및
상기 3차원 재구성 과정에서, 획득한 시각 포인트 클라우드 및 카메라 포즈에 대해 최적화를 수행하는 단계를 포함하는
것을 특징으로 하는 3차원 재구성 방법. - 제1항에 있어서,
상기 3차원 재구성 과정에서, 획득한 시각 포인트 클라우드 중의 시맨틱 요소에 대해 최적화를 수행함으로써, 상기 시맨틱 요소의 포인트 클라우드가 상기 시맨틱 요소에 대응하는 기하학적 특성을 충족하도록 하는 단계를 더 포함하는
것을 특징으로 하는 3차원 재구성 방법. - 제1항에 있어서,
상기 3차원 재구성 과정에서, 상기 왜곡 계수 변동 범위가 불안정하면, 왜곡 계수에 대해 최적화를 수행하고; 상기 왜곡 계수 변동 범위가 안정하면, 상기 공칭 내부에 대해 파라미터 최적화를 수행하는 단계를 더 포함하는
것을 특징으로 하는 3차원 재구성 방법. - 제1항에 있어서,
상기 상기 카메라의 왜곡 계수 변동 범위를 계산하는 단계는,
상기 이미지 시퀀스의 일부 이미지 중에서 왜곡이 발생한 선 특징을 추출하는 단계; 및
상기 왜곡이 발생한 선 특징에 기반하여, 상기 왜곡 계수 변동 범위를 계산하는 단계를 포함하는
것을 특징으로 하는 3차원 재구성 방법. - 제1항에 있어서,
상기 상기 이미지 시퀀스에 대해 3차원 재구성을 수행하는 단계는,
상기 이미지 시퀀스 중에서 제1 이미지 및 제2 이미지를 선택하는 단계;
상기 제1 이미지 및 상기 제2 이미지에 대해 3차원 재구성을 수행하여, 초기 시각 포인트 클라우드를 획득하는 단계; 및
상기 이미지 시퀀스의 새로운 프레임 이미지에 대해 하나씩 등록을 수행하여, 각 새로운 프레임 이미지의 포인트 클라우드를 획득하며, 각 새로운 프레임 이미지의 포인트 클라우드를 하나씩 상기 초기 시각 포인트 클라우드에 융합시키는 단계를 포함하는
것을 특징으로 하는 3차원 재구성 방법. - 제5항에 있어서,
새로운 프레임 이미지 등록 과정에서, 왜곡 계수 변화 곡선에 기반하여 왜곡 계수를 최적화할지 여부를 확정하는 단계를 더 포함하는
것을 특징으로 하는 3차원 재구성 방법. - 제1항에 있어서,
상기 이미지 시퀀스의 각 이미지의 목표 영역에 대해 3차원 재구성을 수행할 경우, 상기 왜곡 계수 초기값이 0이고, 상기 목표 영역이 이미지의 에지 영역을 포함하는 않는
것을 특징으로 하는 3차원 재구성 방법. - 제1항에 있어서,
상기 카메라의 공칭 내부 파라미터는 카메라의 공칭 초점 거리 및 공칭 광학 중심 값을 포함하는
것을 특징으로 하는 3차원 재구성 방법. - 제1항에 있어서,
상기 이미지 시퀀스는 크라우드 소싱 방식을 통해 수집한 이미지 시퀀스인
것을 특징으로 하는 3차원 재구성 방법. - 3차원 재구성 장치에 있어서
미리 수집한 이미지 시퀀스를 취득하고, 상기 이미지 시퀀스를 수집한 카메라의 공칭 내부 파라미터 및 미리 설정된 왜곡 계수 초기값을 취득하기 위한 취득 모듈;
상기 카메라의 왜곡 계수 변동 범위를 계산하기 위한 계산 모듈;
상기 공칭 내부 파라미터, 상기 왜곡 계수 초기값 및 상기 왜곡 계수 변동 범위에 기반하여, 상기 이미지 시퀀스에 대해 3차원 재구성을 수행하기 위한 3차원 재구성 모듈; 및
상기 3차원 재구성 과정에서, 획득한 시각 포인트 클라우드 및 카메라 포즈에 대해 최적화를 수행하기 위한 제1 최적화 모듈을 구비하는
것을 특징으로 하는 3차원 재구성 장치. - 제10항에 있어서,
상기 3차원 재구성 과정에서, 획득한 시각 포인트 클라우드 중의 시맨틱 요소에 대해 최적화를 수행함으로써, 상기 시맨틱 요소의 포인트 클라우드가 상기 시맨틱 요소에 대응하는 기하학적 특성을 충족하도록 하기 위한 제2 최적화 모듈을 더 구비하는
것을 특징으로 하는 3차원 재구성 장치. - 제10항에 있어서,
상기 3차원 재구성 과정에서, 상기 왜곡 계수 변동 범위가 안정되지 전에, 왜곡 계수에 대해 최적화를 수행하고; 상기 왜곡 계수 변동 범위가 안정된 후, 상기 공칭 내부에 대해 파라미터 최적화를 수행하기 위한 제3 최적화 모듈을 더 구비하는
것을 특징으로 하는 3차원 재구성 장치. - 제10항에 있어서,
상기 계산 모듈은,
상기 이미지 시퀀스의 일부 이미지 중에서 왜곡이 발생한 선 특징을 추출하기 위한 추출 서브 모듈; 및
상기 왜곡이 발생한 선 특징에 기반하여, 상기 왜곡 계수 변동 범위를 계산하기 위한 계산 서브 모듈을 구비하는
것을 특징으로 하는 3차원 재구성 장치. - 제10항에 있어서,
상기 3차원 재구성 모듈은,
상기 이미지 시퀀스 중에서 제1 이미지 및 제2 이미지를 선택하기 위한 선택 서브 모듈;
상기 제1 이미지 및 상기 제2 이미지에 대해 3차원 재구성을 수행하여, 초기 시각 포인트 클라우드를 얻기 위한 포인트 클라우드 초기화 서브 모듈; 및
상기 이미지 시퀀스의 새로운 프레임 이미지에 대해 하나씩 등록을 수행하여, 각 새로운 프레임 이미지의 포인트 클라우드를 획득하며, 각 새로운 프레임 이미지의 포인트 클라우드를 하나씩 상기 초기 시각 포인트 클라우드에 융합시키기 위한 새로운 프레임 등록서브 모듈을 구비하는
것을 특징으로 하는 3차원 재구성 장치. - 제14항에 있어서,
상기 새로운 프레임 등록서브 모듈은, 또한,
새로운 프레임 이미지 등록 과정에서, 왜곡 변화 곡선에 기반하여 왜곡 계수를 최적화할지 여부를 확정하는
것을 특징으로 하는 3차원 재구성 장치. - 전자 기기에 있어서,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결된 메모리를 구비하며;
상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있으며, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행됨으로써, 상기 적어도 하나의 프로세서가 제1항 내지 제9항 중 어는 한 항의 방법을 실행할 수 있도록 하는
것을 특징으로 하는 전자 기기. - 컴퓨터 명령이 저장되어 있는 비 일시적 컴퓨터 판독 가능 저장 매체에 있어서,
상기 컴퓨터 명령은 상기 컴퓨터로 하여금 제1항 내지 제9항 중 어는 한 항의 방법을 실행하도록 하는
것을 특징으로 하는 비 일시적 컴퓨터 판독 가능 저장 매체. - 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램중의 명령이 실행될 경우, 제1항 내지 제9항 중 어느 한 항의 방법이 실행되는,
것을 특징으로 하는 컴퓨터 판독 가능 저장 매체에 저장되어 있는 컴퓨터 프로그램.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010228206.5 | 2020-03-27 | ||
| CN202010228206.5A CN111311742B (zh) | 2020-03-27 | 2020-03-27 | 三维重建方法、三维重建装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210120816A true KR20210120816A (ko) | 2021-10-07 |
| KR102505768B1 KR102505768B1 (ko) | 2023-03-06 |
Family
ID=71150360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200182499A KR102505768B1 (ko) | 2020-03-27 | 2020-12-23 | 3차원 재구성 방법, 3차원 재구성 장치 및 전자 기기 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11436709B2 (ko) |
| EP (1) | EP3886045A1 (ko) |
| JP (1) | JP7366878B2 (ko) |
| KR (1) | KR102505768B1 (ko) |
| CN (1) | CN111311742B (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI768575B (zh) | 2020-12-03 | 2022-06-21 | 財團法人工業技術研究院 | 三維影像動態矯正評估與矯具輔助設計方法及其系統 |
| CN112634439B (zh) * | 2020-12-25 | 2023-10-31 | 北京奇艺世纪科技有限公司 | 一种3d信息展示方法及装置 |
| CN113763504A (zh) * | 2021-03-26 | 2021-12-07 | 北京四维图新科技股份有限公司 | 地图更新方法、系统、车载终端、服务器及存储介质 |
| CN116051723B (zh) * | 2022-08-03 | 2023-10-20 | 荣耀终端有限公司 | 集束调整方法及电子设备 |
| CN116959637B (zh) * | 2023-07-11 | 2024-01-26 | 清华大学 | 基于深度依赖电子束的三维重构方法、装置和计算机设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150373326A1 (en) * | 2014-06-19 | 2015-12-24 | Magnum Semiconductor, Inc. | Apparatuses and methods for parameter selection during rate-distortion optimization |
| US20170270647A1 (en) * | 2014-12-09 | 2017-09-21 | SZ DJI Technology Co., Ltd. | Image processing method, device and photographic apparatus |
| US20180150693A1 (en) * | 2016-11-25 | 2018-05-31 | Deke Guo | Indoor semantic map updating method and system based on semantic information extraction |
| WO2019045722A1 (en) * | 2017-08-31 | 2019-03-07 | Sony Mobile Communications Inc. | METHODS, DEVICES AND COMPUTER PROGRAM PRODUCTS FOR 3D CARTOGRAPHY ESTIMATION AND 3D IMAGE POSES |
| KR20190082068A (ko) * | 2017-12-29 | 2019-07-09 | 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 | 포인트 클라우드 데이터를 융합하기 위한 방법 및 장치 |
| CN110069593A (zh) * | 2019-04-24 | 2019-07-30 | 百度在线网络技术（北京）有限公司 | 图像处理方法及系统、服务器、计算机可读介质 |
| CN110264502A (zh) * | 2019-05-17 | 2019-09-20 | 华为技术有限公司 | 点云配准方法和装置 |
| KR20190110419A (ko) * | 2018-03-20 | 2019-09-30 | 가부시끼가이샤 도시바 | 화상 처리 장치, 운전 지원 시스템 및 화상 처리 방법 |
| JP2019211466A (ja) * | 2018-06-04 | 2019-12-12 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | ３次元シーンを再構成するための方法、装置、機器及びコンピュータ可読記憶媒体 |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060017720A1 (en) * | 2004-07-15 | 2006-01-26 | Li You F | System and method for 3D measurement and surface reconstruction |
| JP2006301020A (ja) * | 2005-04-15 | 2006-11-02 | Ricoh Co Ltd | 立体映像表示装置とそれを備えた通話装置ならびに輸送用移動体 |
| JP4843544B2 (ja) * | 2007-03-29 | 2011-12-21 | 日本放送協会 | ３次元画像補正方法及びその装置 |
| JP4985516B2 (ja) | 2008-03-27 | 2012-07-25 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
| US8610708B2 (en) * | 2010-09-22 | 2013-12-17 | Raytheon Company | Method and apparatus for three-dimensional image reconstruction |
| GB2506338A (en) * | 2012-07-30 | 2014-04-02 | Sony Comp Entertainment Europe | A method of localisation and mapping |
| US9467680B2 (en) * | 2013-12-12 | 2016-10-11 | Intel Corporation | Calibration of a three-dimensional acquisition system |
| DE102014117888A1 (de) | 2014-12-04 | 2016-10-13 | Connaught Electronics Ltd. | Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems |
| EP3511903A4 (en) | 2016-09-12 | 2019-10-02 | Panasonic Intellectual Property Management Co., Ltd. | DEVICE FOR PRODUCING A THREE-DIMENSIONAL MODEL AND METHOD FOR GENERATING A THREE-DIMENSIONAL MODEL |
| CN106408614B (zh) * | 2016-09-27 | 2019-03-15 | 中国船舶工业系统工程研究院 | 适于现场应用的摄像机内参数标校方法和系统 |
| JP6396982B2 (ja) * | 2016-12-28 | 2018-09-26 | セコム株式会社 | 空間モデル処理装置 |
| WO2018119889A1 (zh) * | 2016-12-29 | 2018-07-05 | 深圳前海达闼云端智能科技有限公司 | 三维场景定位方法和装置 |
| US10504244B2 (en) * | 2017-09-28 | 2019-12-10 | Baidu Usa Llc | Systems and methods to improve camera intrinsic parameter calibration |
| JP2019067358A (ja) | 2017-10-03 | 2019-04-25 | 富士通株式会社 | 推定プログラム、推定方法および推定システム |
| CN108020826B (zh) * | 2017-10-26 | 2019-11-19 | 厦门大学 | 多线激光雷达与多路相机混合标定方法 |
| CN108259764A (zh) * | 2018-03-27 | 2018-07-06 | 百度在线网络技术（北京）有限公司 | 摄像机、应用于摄像机的图像处理方法及装置 |
| CN108682027A (zh) * | 2018-05-11 | 2018-10-19 | 北京华捷艾米科技有限公司 | 基于点、线特征融合的vSLAM实现方法及系统 |
| CN109993780B (zh) * | 2019-03-07 | 2021-09-24 | 深兰科技（上海）有限公司 | 一种三维高精度地图生成方法及装置 |
| CN110111413A (zh) * | 2019-04-08 | 2019-08-09 | 西安电子科技大学 | 一种基于水陆共存场景的稀疏点云三维模型建立方法 |
| CN110163903B (zh) * | 2019-05-27 | 2022-02-25 | 百度在线网络技术（北京）有限公司 | 三维图像的获取及图像定位方法、装置、设备和存储介质 |
| CN110335319B (zh) * | 2019-06-26 | 2022-03-18 | 华中科技大学 | 一种语义驱动的相机定位与地图重建方法和系统 |
| CN110458952B (zh) * | 2019-08-19 | 2022-07-15 | 江苏濠汉信息技术有限公司 | 一种基于三目视觉的三维重建方法和装置 |
| CN110717980A (zh) * | 2019-09-02 | 2020-01-21 | 平安科技（深圳）有限公司 | 区域三维重建方法、装置及计算机可读存储介质 |
| CN110689501B (zh) * | 2019-09-29 | 2022-07-22 | 京东方科技集团股份有限公司 | 一种畸变校正方法、装置、电子设备及计算机可读存储介质 |
| CN113379910B (zh) * | 2021-06-09 | 2023-06-02 | 山东大学 | 基于slam的移动机器人矿山场景重建方法及系统 |
| CN114119886A (zh) * | 2021-10-27 | 2022-03-01 | 北京百度网讯科技有限公司 | 高精地图点云重建方法、装置、车辆、设备和存储介质 |
-
2020
- 2020-03-27 CN CN202010228206.5A patent/CN111311742B/zh active Active
- 2020-10-28 US US17/082,761 patent/US11436709B2/en active Active
- 2020-12-21 EP EP20215968.7A patent/EP3886045A1/en active Pending
- 2020-12-22 JP JP2020212045A patent/JP7366878B2/ja active Active
- 2020-12-23 KR KR1020200182499A patent/KR102505768B1/ko active IP Right Grant
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150373326A1 (en) * | 2014-06-19 | 2015-12-24 | Magnum Semiconductor, Inc. | Apparatuses and methods for parameter selection during rate-distortion optimization |
| US20170270647A1 (en) * | 2014-12-09 | 2017-09-21 | SZ DJI Technology Co., Ltd. | Image processing method, device and photographic apparatus |
| US20180150693A1 (en) * | 2016-11-25 | 2018-05-31 | Deke Guo | Indoor semantic map updating method and system based on semantic information extraction |
| WO2019045722A1 (en) * | 2017-08-31 | 2019-03-07 | Sony Mobile Communications Inc. | METHODS, DEVICES AND COMPUTER PROGRAM PRODUCTS FOR 3D CARTOGRAPHY ESTIMATION AND 3D IMAGE POSES |
| US20210118160A1 (en) * | 2017-08-31 | 2021-04-22 | Sony Corporation | Methods, devices and computer program products for 3d mapping and pose estimation of 3d images |
| KR20190082068A (ko) * | 2017-12-29 | 2019-07-09 | 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 | 포인트 클라우드 데이터를 융합하기 위한 방법 및 장치 |
| KR20190110419A (ko) * | 2018-03-20 | 2019-09-30 | 가부시끼가이샤 도시바 | 화상 처리 장치, 운전 지원 시스템 및 화상 처리 방법 |
| JP2019211466A (ja) * | 2018-06-04 | 2019-12-12 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | ３次元シーンを再構成するための方法、装置、機器及びコンピュータ可読記憶媒体 |
| CN110069593A (zh) * | 2019-04-24 | 2019-07-30 | 百度在线网络技术（北京）有限公司 | 图像处理方法及系统、服务器、计算机可读介质 |
| CN110264502A (zh) * | 2019-05-17 | 2019-09-20 | 华为技术有限公司 | 点云配准方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11436709B2 (en) | 2022-09-06 |
| JP7366878B2 (ja) | 2023-10-23 |
| CN111311742A (zh) | 2020-06-19 |
| JP2021157773A (ja) | 2021-10-07 |
| KR102505768B1 (ko) | 2023-03-06 |
| CN111311742B (zh) | 2023-05-05 |
| EP3886045A1 (en) | 2021-09-29 |
| US20210304371A1 (en) | 2021-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102505768B1 (ko) | 3차원 재구성 방법, 3차원 재구성 장치 및 전자 기기 | |
| CN109493375B (zh) | 三维点云的数据匹配及合并方法、装置、可读介质 | |
| EP3869399A2 (en) | Vehicle information detection method and apparatus, electronic device, storage medium and program | |
| WO2021218123A1 (zh) | 用于检测车辆位姿的方法及装置 | |
| JP7242738B2 (ja) | 点群を更新するための方法、点群を更新するための装置、電子機器、非一時的コンピュータ可読記憶媒体及びコンピュータプログラム | |
| CN111462029B (zh) | 视觉点云与高精地图融合方法、装置和电子设备 | |
| JP7258066B2 (ja) | 測位方法、測位装置及び電子機器 | |
| JP7189270B2 (ja) | 三次元物体検出方法、三次元物体検出装置、電子機器、記憶媒体及びコンピュータプログラム | |
| KR102498439B1 (ko) | 차량용 카메라의 외부 파라미터 캘리브레이션 방법, 장치, 시스템 및 저장매체 | |
| US20210319261A1 (en) | Vehicle information detection method, method for training detection model, electronic device and storage medium | |
| KR20210071884A (ko) | 회전 교차로 네비게이션 방법, 장치, 기기 및 저장 매체 | |
| JP2022177202A (ja) | レーザーレーダーと測位装置の校正方法、機器及び自律運転車両 | |
| JP2021136028A (ja) | エッジベースの拡張現実３次元追跡登録方法、装置及び電子機器 | |
| KR102568948B1 (ko) | 장애물 속도를 결정하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램 | |
| CN111260722B (zh) | 车辆定位方法、设备及存储介质 | |
| CN115439536A (zh) | 视觉地图更新方法、装置及电子设备 | |
| CN113160044B (zh) | 深度图像超分辨率方法、训练方法及装置、设备、介质 | |
| CN111402333B (zh) | 参数估计方法、装置、设备和介质 | |
| CN113160045B (zh) | 模型训练方法、超分辨率方法、装置、电子设备及介质 | |
| CN113658277B (zh) | 立体匹配方法、模型训练方法、相关装置及电子设备 | |
| EP4227904A2 (en) | Method and apparatus for determining image depth information, electronic device, and media | |
| CN116609741A (zh) | 雷达点云的融合方法、雷达传感器的标定方法及相关设备 | |
| CN113160046A (zh) | 深度图像超分辨率方法、训练方法及装置、设备、介质 | |
| KR20220056839A (ko) | 도로 정보 결정 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체 및 컴퓨터 프로그램 | |
| CN116912402A (zh) | 人脸重建的方法、装置、电子设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |