KR20230015446A

KR20230015446A - 모델 생성 방법, 이미지 투시도 결정 방법, 장치, 설비 및 매체

Info

Publication number: KR20230015446A
Application number: KR1020227045255A
Authority: KR
Inventors: 얀리 리; 동동 리우
Original assignee: 베이징 징동 콴시 테크놀로지 코., 엘티디.
Priority date: 2020-06-08
Filing date: 2021-06-08
Publication date: 2023-01-31
Also published as: WO2021249401A1; JP7461504B2; EP4131145A1; CN113763231A; JP2023522442A; CN113763231B; EP4131145A4; US20230351677A1

Abstract

모델 생성 방법, 이미지 투시도 결정 방법, 장치, 설비 및 매체를 개시하였다. 해당 모델 생성 방법은 기설정된 수집 시스템을 기반으로 포인트 클라우드 데이터 및 복수 프레임의 이미지 투시도를 수집하여, 포인트 클라우드 데이터의 좌표 데이터, 및 복수 프레임의 이미지 투시도와 일대일 대응하는 복수의 이미지 수집 시점을 얻는 단계(S110); 복수의 이미지 수집 시점 중의 각 이미지 수집 시점에 대응하는 포즈 행렬을 결정하고, 상기 각 이미지 수집 시점에 대응하는 포즈 행렬과 좌표 데이터에 따라 상기 각 이미지 수집 시점에서의 포인트 클라우드 투시도를 생성하는 단계(S120); 상기 각 이미지 수집 시점에서의 포인트 클라우드 투시도와 상기 각 이미지 수집 시점에서의 이미지 투시도를 한 세트의 훈련 샘플로 사용하며, 여러 세트의 훈련 샘플을 기반으로 원시 신경망 모델을 훈련시켜, 포인트 클라우드 투시도를 이미지 투시도로 변환하는데 사용되는 이미지 변환 모델을 생성하는 단계(S130); 를 포함한다.

Description

모델 생성 방법, 이미지 투시도 결정 방법, 장치, 설비 및 매체

본 출원은 2020년 6월 8일에 중국특허청에 제출된 출원번호가 202010514388.2인 중국특허출원의 우선권을 주장하는바, 상기 출원의 전부 내용은 참조로서 본 개시에 포함된다.

본 출원의 실시예는 데이터 처리 기술분야에 관한 것이며, 특히 모델 생성 방법, 이미지 투시도 결정 방법, 장치, 설비 및 매체에 관한 것이다.

가상 시뮬레이션, 정밀지도의 제작, 로봇, 자율 주행과 같은 산업의 추진과 발전에 따라, 포인트 클라우드 맵핑의 적용은 점점 더 광범위해지고 있다. 포인트 클라우드 맵핑(Point cloud mapping)은 레이저 레이더 설비로 각 시점의 맵핑될 장면에서의 포인트 클라우드 데이터를 수집하고, 측량 및 동시적 위치추정 및 지도작성(simultaneous localization and mapping, SLAM) 방법을 기반으로 각 시점의 포인트 클라우드 데이터의 3차원 좌표를 획득한 다음, 해당 3차원 좌표에 따라 각 포인트 클라우드 데이터를 투영 및 결합한다.

단순한 포인트 클라우드 맵핑은 각 포인트 클라우드 데이터의 3차원 좌표만 얻을 수 있기에 정보가 비교적 단일하다. 이 문제를 해결하기 위해, 포인트 클라우드 맵핑 과정에서 카메라를 구축함으로써 데이터를 동기적으로 수집하여 해당 시점의 이미지 투시도를 생성하여, 다중 데이터 소스를 융합하여 더 많은 작업을 수행할 수 있도록 한다. 예를 들어, 시뮬레이션 재구성에서 레이저 레이더 설비와 카메라를 시공간 교정하여 컬러 포인트 클라우드 데이터를 얻고, 맵핑 과정에서 이미지 투시도를 사용하여 실제 장면을 볼 수 있도록 보조하며, 지능형 감지에서 이미지 투시도를 사용하여 차선, 보행자 등 동적 물체의 인식을 향상시킨다.

관련기술에는 다음과 같은 기술적 문제가 존재한다. 상술한 이미지 투시도의 획득 과정이 상대적으로 시간과 공이 많이 소요되고, 우선, 이는 복잡한 레이저 레이더 설비와 카메라 동기화 시스템을 구축해야 하고, 이 둘은 시공간 교정을 수행해야 하며, 이 시공간 교정과정은 비교적 번거롭다. 다음으로, 고품질의 전방위 이미지 투시도를 획득하기 위해, 사용되는 카메라는 고가인 경우가 많다. 예를 들어, 360도 파노라마 Ladybug3의 비용은 20여만이고; 또한 카메라에 의해 수집된 이미지 투시도의 품질은 날씨, 조명, 그림자 등 환경적 요인에 쉽게 영향을 받으며; 예를 들어 어두운 조명 환경에서 수집된 이미지 투시도의 이미지 밝기가 비교적 낮고, 차량 속도가 너무 빠르면 흔들림 및 흐림이 발생하기 쉽다.

본 출원의 실시예는 이미지 투시도의 획득 과정이 상대적으로 시간과 공이 많이 소요되는 문제를 해결하기 위한 모델 생성 방법, 이미지 투시도 결정 방법, 장치, 설비 및 매체를 제공한다.

제1 측면에서, 본 출원의 실시예는 모델 생성 방법을 제공하고, 해당 방법은,

기설정된 수집 시스템을 기반으로 포인트 클라우드 데이터 및 복수 프레임의 이미지 투시도를 수집하여, 포인트 클라우드 데이터의 좌표 데이터, 및 상기 복수 프레임의 이미지 투시도와 일대일 대응하는 복수의 이미지 수집 시점을 얻는 단계;

복수의 이미지 수집 시점 중의 각 이미지 수집 시점에 대응하는 포즈 행렬을 결정하고, 상기 각 이미지 수집 시점에 대응하는 포즈 행렬과 좌표 데이터에 따라 상기 각 이미지 수집 시점에서의 포인트 클라우드 투시도를 생성하는 단계;

상기 각 이미지 수집 시점에서의 포인트 클라우드 투시도와 상기 각 이미지 수집 시점에서의 이미지 투시도를 한 세트의 훈련 샘플로 사용하며, 여러 세트의 훈련 샘플을 기반으로 원시 신경망 모델을 훈련시켜, 포인트 클라우드 투시도를 이미지 투시도로 변환하는데 사용되는 이미지 변환 모델을 생성하는 단계; 를 포함할 수 있다.

제2 측면에서, 본 출원의 실시예는 이미지 투시도 결정 방법을 더 제공하며, 해당 방법은,

기설정된 수집 시스템을 기반으로 포인트 클라우드 데이터를 수집하여, 포인트 클라우드 데이터의 좌표 데이터 및 포인트 클라우드 수집 시점을 얻고, 포인트 클라우드 수집 시점에 대응하는 포즈 행렬을 결정하며, 포즈 행렬과 좌표 데이터에 따라 포인트 클라우드 수집 시점에서의 포인트 클라우드 투시도를 생성하는 단계;

본 출원의 임의의 실시예에서 제공하는 모델 생성 방법에 따라 생성된 이미지 변환 모델을 획득하고, 포인트 클라우드 투시도를 이미지 변환 모델에 입력하며, 이미지 변환 모델의 출력 결과에 따라, 포인트 클라우드 수집 시점에서의 이미지 투시도를 결정하는 단계; 를 포함할 수 있다.

제3 측면에서, 본 출원의 실시예는 모델 생성 장치를 더 제공하고, 해당 장치는,

기설정된 수집 시스템을 기반으로 포인트 클라우드 데이터 및 복수 프레임의 이미지 투시도를 수집하여, 포인트 클라우드 데이터의 좌표 데이터, 및 상기 복수 프레임의 이미지 투시도와 일대일 대응하는 복수의 이미지 수집 시점을 얻도록 구성되는 데이터 수집 모듈;

복수의 이미지 수집 시점 중의 각 이미지 수집 시점에 대응하는 포즈 행렬을 결정하고, 상기 각 이미지 수집 시점에 대응하는 포즈 행렬과 좌표 데이터에 따라 상기 각 이미지 수집 시점에서의 포인트 클라우드 투시도를 생성하도록 구성되는 제1 생성 모듈;

상기 각 이미지 수집 시점에서의 포인트 클라우드 투시도와 상기 각 이미지 수집 시점에서의 이미지 투시도를 한 세트의 훈련 샘플로 사용하며, 여러 세트의 훈련 샘플을 기반으로 원시 신경망 모델을 훈련시켜, 포인트 클라우드 투시도를 이미지 투시도로 변환하는데 사용되는 이미지 변환 모델을 생성하도록 구성되는 제2 생성 모듈; 을 포함할 수 있다.

제4 측면에서, 본 출원의 실시예는 이미지 투시도 결정 장치를 더 제공하며, 해당 방법은,

기설정된 수집 시스템을 기반으로 포인트 클라우드 데이터를 수집하여, 포인트 클라우드 데이터의 좌표 데이터 및 포인트 클라우드 수집 시점을 얻고, 포인트 클라우드 수집 시점에 대응하는 포즈 행렬을 결정하며, 포즈 행렬과 좌표 데이터에 따라 포인트 클라우드 수집 시점에서의 포인트 클라우드 투시도를 생성하도록 구성되는 제3 생성 모듈;

본 출원의 임의의 실시예에서 제공하는 모델 생성 방법에 따라 생성된 이미지 변환 모델을 획득하고, 포인트 클라우드 투시도를 이미지 변환 모델에 입력하며, 이미지 변환 모델의 출력 결과에 따라, 포인트 클라우드 수집 시점에서의 이미지를 결정하도록 구성되는 이미지 투시도 결정 모듈; 을 포함할 수 있다.

제5 측면에서, 본 출원의 실시예는 설비를 더 제공하고, 해당 설비는,

하나 이상의 프로세서; 및

하나 이상의 프로그램을 저장하는데 사용되는 메모리를 포함할 수 있으며,

하나 이상의 프로그램이 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서는 본 출원의 임의의 실시예에서 제공하는 모델 생성 방법 또는 이미지 투시도 결정 방법을 구현한다.

제6 측면에서, 본 출원의 실시예는 컴퓨터 판독 가능 저장 매체를 더 제공하고, 상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되며, 해당 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 본 출원의 임의의 실시예에서 제공하는 모델 생성 방법 또는 이미지 투시도 결정 방법을 구현한다.

도 1은 본 출원의 실시예 1에서의 모델 생성 방법의 흐름도이다.
도 2는 본 출원의 실시예 1에서의 모델 생성 방법에서 포인트 클라우드 맵핑의 제1 개략도이다.
도 3a는 본 출원의 실시예 1에서의 모델 생성 방법에서 포인트 클라우드 맵핑의 제2 개략도이다.
도 3b는 본 출원의 실시예 1에서의 모델 생성 방법에서 포인트 클라우드 투시도의 개략도이다.
도 4a는 본 출원의 실시예 1에서의 모델 생성 방법에서 단일 프레임 변환에 사용되는 원시 신경망 모델의 개략도이다.
도 4b는 본 출원의 실시예 1에서의 모델 생성 방법에서 시퀀스 프레임 변환에 사용되는 원시 신경망 모델의 개략도이다.
도 5는 본 출원의 실시예 2에서의 모델 생성 방법의 흐름도이다.
도 6은 본 출원의 실시예 3에서의 모델 생성 장치의 구조 블록도이다.
도 7은 본 출원의 실시예 4에서의 이미지 투시도 결정 장치의 구조 블록도이다.
도 8은 본 출원의 실시예 5에서의 설비의 구조 개략도이다.

이하, 도면 및 실시예를 결합하여 본 출원을 더욱 상세하게 설명하도록 한다.

실시예 1

도 1은 본 출원의 실시예 1에서의 모델 생성 방법의 흐름도이다. 본 실시예는 포인트 클라우드 투시도를 이미지 투시도로 변환하는데 사용되는 이미지 변환 모델을 생성하는 경우에 적용될 수 있다. 해당 방법은 본 출원의 실시예에 제공된 모델 생성 장치에 의해 실행될 수 있고, 해당 장치는 소프트웨어 및/또는 하드웨어의 방식으로 구현될 수 있으며, 해당 장치는 다양한 사용자 단말 또는 서버에 통합될 수 있다.

도 1을 참조하면, 본 출원의 실시예의 방법은 다음 단계를 포함한다.

단계(S110), 기설정된 수집 시스템을 기반으로 포인트 클라우드 데이터 및 복수 프레임의 이미지 투시도를 수집하여, 포인트 클라우드 데이터의 좌표 데이터, 및 상기 복수 프레임의 이미지 투시도와 일대일 대응하는 복수의 이미지 수집 시점을 얻는다.

여기서, 포인트 클라우드 데이터는 기설정된 수집 시스템에서의 포인트 클라우드 수집 설비를 기반으로 수집된 맵핑될 장면에서의 데이터를 의미하며, 예를 들어 레이저 레이더 스캐닝 설비, 가상 장면 씬닝 설비 또는 다시점 재구성 설비를 기반으로 수집된 포인트 클라우드 데이터이며; 이미지 투시도는 기설정된 수집 시스템에서의 이미지 수집 설비를 기반으로 수집된 투시도를 의미하고, 해당 이미지 수집 설비는 구면 파노라마 카메라, 광각 카메라, 왜곡되지 않은 일반 투시 카메라 등 일 수 있다. 이에 대응하게, 수집된 이미지 투시도는 구면 파노라마 이미지, 광각 이미지, 왜곡되지 않은 일반 투시 이미지 등이 될 수 있으며, 여기서 특별히 한정하지 않는다. 포인트 클라우드 데이터를 수집한 후, 도 2에 도시된 바와 같이, 포인트 클라우드 데이터를 맵핑하고, 맵핑 과정에서 복수의 포인트 클라우드 데이터의 좌표 데이터를 얻을 수 있으며, 맵핑 방법은, SLAM 방식 등이 될수 있으며, 여기서 한정하지 않는다. 이에 따라, 이미지 투시도를 수집한 후, 각 프레임의 이미지 투시도의 이미지 수집 시점을 얻을 수 있으며, 해당 이미지 수집 시점은 이미지 투시도를 수집할 때의 시점이다.

단계(S120), 복수의 이미지 수집 시점 중의 각 이미지 수집 시점에 대응하는 포즈 행렬을 결정하고, 상기 각 이미지 수집 시점에 대응하는 포즈 행렬과 좌표 데이터에 따라 상기 각 이미지 수집 시점에서의 포인트 클라우드 투시도를 생성한다.

여기서, 포즈 행렬은 포인트 클라우드 수집 설비가 어느 이미지 수집 시점에서 포인트 클라우드 데이터의 좌표 데이터가 위치한 좌표계에서의 행렬을 의미하고, 해당 포즈 행렬은 회전 행렬과 평진 벡터를 포함한다. 실제 응용에서 측량 방식을 기반으로 맵핑을 구성하면, 포즈 행렬은 복합 관성 항법 데이터를 통해 획득될 수 있고, SLAM 방식을 기반으로 맵핑을 구성하면, 포즈 행렬은 SLAM 알고리즘을 통해 제공될 수 있다. 포즈 행렬이 획득된 후, 해당 포즈 행렬에 따라 이미지 수집 설비가 해당 이미지 수집 시점에서의 국부 좌표계를 얻을 수 있으며, 다시 말하면, 해당 포즈 행렬에 따라 이미지 수집 설비가 해당 이미지 수집 시점에서 위치한 이미지 수집 위치에의 국부 좌표계를 얻을 수 있어, 포인트 클라우드 데이터의 좌표 데이터를 해당 국부 좌표계로 변환할 수 있으므로, 변환된 좌표 데이터에 따라 해당 이미지 수집 시점에서의 포인트 클라우드 투시도를 얻을 수 있다. 예를 들어, 포인트 클라우드 맵핑 후 얻은 맵핑될 장면의 포인트 클라우드 데이터는 도 3a에 도시된 바와 같으며, 해당 포인트 클라우드 데이터와 해당하는 포즈 행렬을 기반으로 합성된 포인트 클라우드 투시도는 도 3b에 도시된 바와 같다.

선택적으로, 상기 포즈 행렬은 아래 단계를 통해 결정될 수 있다. 포인트 클라우드 데이터에 따라 기설정된 수집 시스템의 포즈 궤적을 얻고, 해당 포즈 궤적은 포인트 클라우드 데이터의 맵핑 과정에서 얻은 것일 수 있으며, 이는 기설정된 수집 시스템의 이동 과정에서의 포즈 변화를 보여줄 수 있고, 해당 포즈에는 위치와 포즈가 포함될 수 있다. 실제 응용에서 측량 방식을 기반으로 맵핑을 구성하면, 기설정된 수집 시스템의 복합 관성 항법으로 기설정된 수집 시스템의 각 수집 시점에서의 포즈를 획득할 수 있으며; SLAM 방식을 기반으로 맵핑을 구성하면, SLAM 알고리즘을 통해 기설정된 수집 시스템의 각 수집 시점에서의 포즈를 획득할 수 있다. 따라서, 각 이미지 수집 시점에 대응하는 포즈 궤적을 샘플링하고, 샘플링 결과에 따라 각 이미지 수집 시점에 각각 대응하는 포즈 행렬을 얻는다.

단계(S130), 상기 각 이미지 수집 시점에서의 포인트 클라우드 투시도와 상기 각 이미지 수집 시점에서의 이미지 투시도를 한 세트의 훈련 샘플로 사용하며, 여러 세트의 훈련 샘플을 기반으로 원시 신경망 모델을 훈련시켜, 포인트 클라우드 투시도를 이미지 투시도로 변환하는데 사용되는 이미지 변환 모델을 생성한다.

여기서, 각 이미지 수집 시점마다 모두 하나의 포인트 클라우드 투시도와 이미지 투시도가 있기 때문에, 이를 한 세트의 훈련 샘플로 사용하며, 포인트 클라우드 투시도는 실제 입력 데이터로 사용하고, 이미지 투시도는 예상 출력 데이터로 사용하며, 따라서 여러 세트의 훈련 샘플을 기반으로 원시 신경망 모델을 훈련시켜, 포인트 클라우드 투시도를 이미지 투시도로 변환하는데 사용되는 이미지 변환 모델을 생성할 수 있다.

설명해야 할 것은, 원시 신경망 모델은 임의의 훈련되지 않은 포인트 클라우드 투시도를 이미지 투시도로 변환할 수 있는 컨볼루션 신경망 모델이다. 선택적인 원시 신경망 모델의 개략도는 도 4a에 도시된 바와 같으며, 이는 단일 프레임 포인트 클라우드 투시도에서 단일 프레임 이미지 투시도로의 이미지 변환 모델이다. 예시적으로 실선은 데이터 레이어이고, 데이터 레이어에서의 Mt는 포인트 클라우드 투시도이고, 차원은 H*W*C이며, C는 포인트 클라우드 데이터의 속성 정보 개수일 수 있다. 예를 들어, 속성 정보가 강도 정보와 의미 정보인 경우, C=2이며, 다른 예를 들어, 속성 정보가 색상 정보(R/G/B)인 경우, C=3이며, 데이터 레이어에서의 It는 이미지 투시도이고, 차원은 H*W*3이며, 3은 색상 정보(R/G/B)이다. 점선은 네트워크 레이어이고, 해당 네트워크 레이어에서의 뉴런은 컨볼루션 레이어 cxx_kx_sx, 여기 레이어 leakyPeLU, 컨볼루션 블록 레이어 ResnetXtBlock_cxx_xx, 업샘플링 레이어 PixelShuffle, 여기 레이어 tanh 등을 포함할 수 있다. 예시적으로, 컨볼루션 레이어 c32_k3_s2는 3x3사이즈(k3)의 스텝사이즈 2(s2)의 32개의 컨볼루션 커널(Convolution kernel)을 사용하여 컨볼루션하며, 다른 컨볼루션 레이어의 의미는 유사하기에 여기서 반복하지 않는다. 여기 레이어 leakyPeLU의 파라미터는 0.2 또는 다른 값일 수 있으며, 컨볼루션 블록 레이어 ResnetXtBlock_c256_x10은 10세트의 ResnetXtBlock을 순차적으로 연결하여 얻은 것이며, 내부 컨볼루션 레이어는 통일로 3x3사이즈(k3)의 스텝사이즈 2(s2)의 컨볼루션 커널을 사용하거나, 다른 컨볼루션 커널을 사용할 수도 있으며, c256은 컨볼루션 커널의 수량이고, 나머지 컨볼루션 블록 레이어의 의미는 유사하기에 여기서 반복하지 않는다. PixelShuffle은 업샘플링의 두 배일 수 있다.

본 출원의 실시예의 기술방안은, 기설정된 수집 시스템을 기반으로 포인트 클라우드 데이터 및 복수 프레임의 이미지 투시도를 수집하여, 포인트 클라우드 데이터의 좌표 데이터, 및 상기 복수 프레임의 이미지 투시도와 일대일 대응하는 복수의 이미지 수집 시점을 얻을 수 있고, 나아가, 복수의 이미지 수집 시점 중의 각 이미지 수집 시점에 대응하는 포즈 행렬을 결정하고, 상기 각 이미지 수집 시점에 대응하는 포즈 행렬과 좌표 데이터에 따라 상기 각 이미지 수집 시점에서의 포인트 클라우드 투시도를 생성할 수 있으며, 즉 3차원 장면 포인트의 포인트 클라우드 데이터를 이미지 수집 시점에서의 가상 카메라에 투영하여 포인트 클라우드 투시도를 생성하며; 이에 따라, 상기 각 이미지 수집 시점에서의 포인트 클라우드 투시도와 상기 각 이미지 수집 시점에서의 이미지 투시도를 한 세트의 훈련 샘플로 사용하며, 여러 세트의 훈련 샘플을 기반으로 원시 신경망 모델을 훈련시켜, 포인트 클라우드 투시도를 이미지 투시도로 변환하는데 사용되는 이미지 변환 모델을 생성할 수 있다. 상술한 기술방안은 포인트 클라우드 데이터로 투영된 포인트 클라우드 투시도를 기반으로 이미지 투시도를 합성하도록 유도할 수 있어, 이미지 투시도의 획득 과정이 상대적으로 시간과 공이 많이 소요되는 문제를 해결하여, 조작이 간단하고 비용이 낮은 방식으로 고품질의 이미지 투시도를 획득하는 효과를 달성한다.

일 선택적인 기술방안에 있어서, 포인트 클라우드 투시도를 생성한 후, 포인트 클라우드 투시도에서 포인트 클라우드 데이터에 대응하는 화소점을 획득하고, 포인트 클라우드 데이터의 속성 정보를 화소점에 부여할 수 있다. 해당 속성 정보는 강도 정보, 의미 정보, 색상 정보 등이 될 수 있다. 예시적으로, 강도 정보는 레이저 레이더 스캐닝 설비의 반사에 따라 획득될 수 있고, 의미 정보는 포인트 클라우드 분석을 기반으로 획득될 수 있다. 상술한 단계처럼 설정하는 장점은, 카메라의 이미징 과정은 맵핑될 장면의 3차원 장면 포인트가 카메라 필름에 투영되는 과정임을 고려할 때, 투영 후 얻은 이미지 투시도에서의 각 화소점은 해당 3차원 장면 포인트의 색상 정보(R/G/B)를 기록하고, 대응하게, 포인트 클라우드 투시도는 3차원 장면 포인트가 카메라 필름에 투영되는 과정을 재구성한 것이며, 포인트 클라우드 투시도에서의 각 화소점은 해당 3차원 장면 포인트의 속성 정보를 기록하고, 이는 포인트 클라우드 투시도와 이미지 투시도 사이에 강한 관련성이 있음을 의미하며, 이러한 관련성은 포인트 클라우드 투시도를 기반으로 합성된 이미지 투시도의 합성 정확도를 향상시킨다.

맵핑될 장면에서의 포인트 클라우드 데이터가 포인트 클라우드 투시도에서의 화소점에 투영될 때 다대일 관계일 수 있다는 점을 고려하여, 여러 개의 포인트 클라우드 데이터가 하나의 화소점에 대응하면, 카메라에 가장 가까운 포인트 클라우드 데이터의 속성 정보를 해당 화소점에 부여할 수 있으며, 이는 사람 눈의 관찰 법칙에 부합된다. 전면의 3차원 장면 포인트가 후면의 3차원 장면 포인트를 가릴 때, 사람의 눈은 전면의 3차원 장면 포인트(즉, 각 포인트 클라우드 데이터 중 카메라에 가장 가까운 포인트 클라우드 데이터)만 볼 수 있고, 뒤에 가려진 3차원 장면 포인트(즉, 각 포인트 클라우드 데이터 중 카메라에 가장 가까운 포인트 클라우드 데이터 이외의 포인트 클라우드 데이터)는 볼 수 없다.

일 선택적인 기술방안에 있어서, 포인트 클라우드 투시도의 합성 과정은 실제 카메라 또는 가상 카메라 주변의 일정 범위 내의 포인트 클라우드 데이터를 모두 카메라 필름에 투영하는 것임을 고려하여, 실제의 3차원 장면 포인트의 이미징 과정을 시뮬레이션한다. 예를 들어, 카메라가 위치하는 위치를 중심으로, 500미터 반경의 원주 내의 모든 포인트 클라우드 데이터를 카메라 필름에 투영한다. 다시 말해서, 사진의 기하학적 이론에 따르면, 포인트 클라우드 투시도는 실제의 3차원 장면 포인트를 투시 관계에 따라 사진 필름에 투영하여 형성된 투시도이다. 따라서, 이미지 수집 설비는 기설정된 카메라 또는 구면 파노라마 카메라일 수 있고, 해당 기설정된 카메라는 투시 카메라 또는 광각 카메라일 수 있다. 포인트 클라우드 수집 설비와 이미지 수집 설비의 포즈가 동일할 경우, 포즈 행렬과 좌표 데이터에 따라 각 이미지 수집 시점에서의 포인트 클라우드 투시도를 생성하는 것은: 이미지 투시도가 기설정된 수집 시스템에서의 기설정된 카메라를 기반으로 수집하여 얻은 것이면, 다음 공식에 따라 월드 좌표계에서의 포인트 클라우드 데이터의 3차원 좌표 데이터

를 이미지 수집 시점

에서 수집된 기설정된 카메라 좌표계에서의 2차원 좌표 데이터

에 투영하여, 각

에 따라

에서의 포인트 클라우드 투시도를 생성하는 것을 포함하며;

, 여기서,

는 기설정된 수집 시스템에서의 포인트 클라우드 수집 설비가

시점에서 월드 좌표계에서의 포즈 행렬이고,

는 기설정된 카메라의 내부 파라미터 행렬이며;

는 3차원 좌표 데이터가

인 포인트 클라우드 데이터를 포인트 클라우드 투시도에 투영한 화소점의 2차원 좌표 데이터이고, 따라서 각 화소점의 2차원 좌표 데이터에 따라 포인트 클라우드 투시도를 생성할 수 있다.

마찬가지로, 이미지 투시도가 기설정된 수집 시스템의 구면 파노라마 카메라를 기반으로 얻은 것이면, 3차원 장면 포인트는 구면에 투영되고, 구면 표면을 경위도에 따라 펼치면 구면 파노라마를 얻으며, 따라서 다음 공식에 따라 포인트 클라우드 데이터의

를

에서 수집된 구면 파노라마 카메라 좌표계에서의

에 투영하여, 각

에 따라

에서의 포인트 클라우드 투시도를 생성하고;

,

, 여기서

은 구면 파노라마 카메라의 구체 반경이고,

는 3차원 좌표 데이터가

인 포인트 클라우드 데이터를 포인트 클라우드 투시도(즉, 구형 파노라마)에 투영한 화소점의 2차원 좌표 데이터이다.

일 선택적인 기술방안에 있어서, 포인트 클라우드 투시도를 기반으로 이미지 투시도를 합성하도록 유도할 경우, 시간적 관련성을 보장하고, 독립 프레임의 일대일 파싱으로 인한 타임시퀀스 점프를 피하기 위해, 적어도 두 개의 이미지 수집 시점에서의 포인트 클라우드 투시도와 해당 적어도 두 개의 이미지 수집 시점에서의 포인트 클라우드 투시도에 대응하는 이미지 투시도를 함께 훈련 샘플로 하여 원시 신경망 모델을 훈련시킨다. 예시적으로, 각 이미지 수집 시점 중의 현재 이미지 수집 시점에서의 포인트 클라우드 투시도를 제1 포인트 클라우드 투시도로 사용할 수 있고, 및 현재 이미지 수집 시점에서의 이미지 투시도를 제1 이미지 투시도로 사용할 수 있다. 현재 이미지 수집 시점 전의 적어도 하나의 이미지 수집 시점에서의 포인트 클라우드 투시도를 제2 포인트 클라우드 투시도로 사용하고, 적어도 하나의 이미지 수집 시점에서의 이미지 투시도를 제2 이미지 투시도로 사용하며; 제1 포인트 클라우드 투시도, 제2 포인트 클라우드 투시도, 제1 이미지 투시도 및 제2 이미지 투시도를 한 세트의 훈련 샘플로 사용하며, 여기서, 제1 포인트 클라우드 투시도, 제2 포인트 클라우드 투시도 및 제2 이미지 투시도는 실제 입력 테이터이고, 제1 이미지 투시도는 예상 출력 데이터이다.

이를 기반으로 상술한 훈련 샘플과 배합하는 원시 신경망 모델은 포인트 클라우드 컨볼루션 여기 모듈, 이미지 컨볼루션 여기 모듈 및 합병 처리 모듈을 포함할 수 있으므로, 여러 세트의 훈련 샘플을 기반으로 원시 신경망 모델을 훈련시키는 것은, 훈련 샘플을 원시 신경망 모델에 입력하는 것; 포인트 클라우드 컨볼루션 여기 모듈을 통해 제1 포인트 클라우드 투시도와 제2 포인트 클라우드 투시도의 채널 캐스케이드 결과를 처리하여, 포인트 클라우드 특징도를 얻고, 이미지 컨볼루션 여기 모듈을 통해 제2 이미지 투시도를 처리하여 이미지 특징도를 얻는 것, 물론, 제2 이미지 투시도의 수량이 적어도 2개이면, 적어도 2개의 제2 이미지 투시도에 대해 먼저 채널 캐스케이드를 수행한 후, 제2 이미지 투시도의 채널 캐스케이드 결과를 처리함; 합병 처리 모듈을 통해 포인트 클라우드 특징도와 이미지 특징도를 합병 처리하고, 합병 처리 결과에 따라 제3 이미지 투시도를 생성는 것, 해당 제3 이미지 투시도는 실제 출력 데이터임; 을 포함할 수 있으며, 이로써, 제3 이미지 투시도와 제1 이미지 투시도에 따라 원시 신경망 모델의 네트워크 파라미터를 조정하고, 예를 들어 양자의 차이에 따라 손실 함수를 계산하고, 계산 결과에 따라 네트워크 파라미터를 조정한다.

아래 구체적인 예시를 결합하여 본 실시예의 원시 신경망 모델에 대해 예시적으로 설명하도록 한다. 예시적으로, 제1 포인트 클라우드 투시도, 제2 포인트 클라우드 투시도, 제1 이미지 투시도 및 제2 이미지 투시도를 한 세트의 훈련 샘플로 사용할 때, 해당 훈련 샘플과 배합하기 위해, 원시 신경망 모델의 개략도는 도 4b에 도시된 바와 같이, 시퀀스 프레임 포인트 클라우드 투시도에서 단일 프레임 이미지 투시도로의 이미지 변환 모델이다. 도 4a에 도시된 원시 신경망 모델에 비해, 도 4b에 도시된 원시 신경망 모델의 네트워크 레이어에서의 뉴런은 캐스케이드 레이어 concat도 포함할 수 있으며, 데이터 레이어에서의 Mt는 제1 포인트 클라우드 투시도이고, Mt-2와 Mt-1은 모두 제2 포인트 클라우드 투시도이며, It는 제1 이미지 투시도이고, It-2는 제2 이미지 투시도이며, 이는 Mt-2와 동일한 이미지 수집 시점에서의 투시도에 속하며, It-1도 제2 이미지 투시도이고, 이는 Mt-1 과 동일한 이미지 수집 시점에서의 투시도에 속한다. 또한, Mt-2, Mt-1 및 Mt의 채널 캐스케이드 결과의 차원은 H*W*(3*C)이고, It-2와 It-1의 채널 캐스케이드 결과의 차원은 H*W*6이다.

예시적으로, 각 이미지 수집 시점의 시간 간격이 1초인 것으로 예를 들면, Mt와 It가 각각 제 10초에서의 포인트 클라우드 투시도와 이미지 투시도라면, Mt-1과 It-1은 각각 제 9초에서의 포인트 클라우드 투시도와 이미지 투시도이고, Mt-2와 It-2는 각각 제 8초에서의 포인트 클라우드 투시도와 이미지 투시도이며, 이때, 제 8-10초의 3개의 포인트 클라우드 투시도와 제 8-9초의 2개의 이미지 투시도를 실제 입력 데이터로 사용하고, 제 10초의 이미지 투시도를 예상 출력 데이터로 사용하여, 함께 원시 신경망 모델에 입력하여 모델 훈련을 수행한다.

설명해야 할 것은, 도 4b에 도시된 원시 신경망 모델을 기반으로 훈련하여 이미지 변환 모델을 얻은 후, 이미지 변환 모델의 적용 단계에서, 어느 한 프레임의 이미지 투시도를 알 수 없으므로, 처음 3개 프레임의 포인트 클라우드 투시도와 처음 2개 프레임의 이미지 투시도를 기반으로 제3 프레임의 이미지 투시도를 예측할 수 없다. 이 문제를 해결하기 위해, 하나의 선택적인 방안은, 원시 신경망 모델을 훈련할 때, 포인트 클라우드 투시도의 처음 2개 프레임을 비우거나 난수 등으로 설정하고, 제3 프레임부터 포인트 클라우드 투시도를 훈련하기 시작하며, 이로써, 이미지 변환 모델의 적용 단계에서, 이미지 투시도의 처음 2개 프레임을 비우거나 난수 등으로 직접 설정하고, 제3 프레임부터 이미지 투시도를 예측하기 시작한다.

실시예 2

도 5는 본 출원의 실시예 2에서 제공하는 이미지 투시도 결정 방법의 흐름도이다. 본 실시예는 포인트 클라우드 데이터와 미리 생성된 이미지 변환 모델을 기반으로 이미지 투시도를 합성하는 경우에 적용될 수 있으며, 해당 방법은 본 출원의 실시예에서 제공하는 이미지 투시도 결정 장치에 의해 실행될 수 있고, 해당 장치는 소프트웨어 및/또는 하드웨어의 방식으로 구현될 수 있으며, 해당 장치는 다양한 사용자 단말 또는 서버에 통합될 수 있다.

도 5를 참조하면, 본 출원의 실시예의 방법은 다음 단계를 포함한다.

단계(S210), 기설정된 수집 시스템을 기반으로 포인트 클라우드 데이터를 수집하여, 포인트 클라우드 데이터의 좌표 데이터 및 포인트 클라우드 수집 시점을 얻으며, 포인트 클라우드 수집 시점에 대응하는 포즈 행렬을 결정하고, 포즈 행렬과 좌표 데이터에 따라 포인트 클라우드 수집 시점에서의 포인트 클라우드 투시도를 생성한다.

여기서, 포인트 클라우드 수집 시점은 이미지 투시도의 이미지 수집 시점을 시뮬레이션하고, 포인트 클라우드 수집 시점에 대응하는 포즈 행렬, 및 포인트 클라우드 데이터의 좌표 데이터에 따라, 포인트 클라우드 수집 시점에서의 포인트 클라우드 투시도를 합성할 수 있다. 선택적으로, 포즈 행렬은, 수집된 포인트 클라우드 데이터를 맵핑하고, 맵핑 과정에서 기설정된 수집 시스템의 포즈 궤적을 얻는 단계; 예시적으로, 포인트 클라우드 수집 시점에 따라 포즈 궤적에 대해 시퀀스 샘플링을 수행하고, 시퀀스 샘플링 결과에 따라 각 포인트 클라우드 수집 시점에 대응하는 포즈 행렬을 획득하는 단계를 통해 결정될 수 있다.

단계(S220), 본 출원의 임의의 실시예에서 제공하는 모델 생성 방법에 따라 생성된 이미지 변환 모델을 획득하고, 포인트 클라우드 투시도를 이미지 변환 모델에 입력하며, 이미지 변환 모델의 출력 결과에 따라, 포인트 클라우드 수집 시점에서의 이미지 투시도를 결정한다.

상술한 기술방안은 우선, 기설정된 수집 시스템에서 포인트 클라우드 수집 설비만 설정하면 되고, 고가의 이미지 수집 설비가 필요하지 않아 비용이 저렴하며; 다음으로, 포인트 클라우드 투시도를 이미 훈련 완성된 이미지 변환 모델에 입력하면, 시공간 교정 없이 동일한 수집 시점에서의 이미지 투시도를 바로 예측할 수 있어 조작이 비교적 간단하며; 또한, 훈련 샘플의 품질을 향상함으로써, 이미지 변환 모델을 통해 고품질의 이미지 투시도를 얻도록 보장할 수 있다.

본 출원의 실시예의 기술방안은, 기설정된 수집 시스템에 의해 수집된 포인트 클라우드 데이터를 기반으로, 포인트 클라우드 데이터의 좌표 데이터 및 포인트 클라우드 수집 시점을 얻을 수 있고, 해당 포인트 클라우드 수집 시점은 이미지 투시도의 이미지 수집 시점을 시뮬레이션하고, 또한, 포인트 클라우드 수집 시점에 대응하는 포즈 행렬을 결정한 후, 포즈 행렬과 좌표 데이터에 따라 포인트 클라우드 수집 시점에서의 포인트 클라우드 투시도를 생성할 수 있으며, 즉 3차원 장면 포인트의 포인트 클라우드 데이터를 포인트 클라우드 수집 시점에서의 가상 카메라에 투영하여 포인트 클라우드 투시도를 생성하며, 이로써, 포인트 클라우드 투시도를 미리 생성된 이미지 변환 모델에 입력하며, 이미지 변환 모델의 출력 결과에 따라, 포인트 클라우드 수집 시점에서의 이미지 투시도를 결정할 수 있다. 상술한 기술방안은 포인트 클라우드 데이터로 투영된 포인트 클라우드 투시도를 기반으로 이미지 투시도를 합성하도록 유도하고, 이미지 투시도의 획득 과정이 상대적으로 시간과 공이 많이 소요되는 문제를 해결하여, 조작이 간단하고 비용이 낮은 방식으로 고품질의 이미지 투시도를 획득하는 효과를 달성한다.

실시예 3

도 6은 본 출원의 실시예 3에서의 모델 생성 장치의 구조 블록도이다. 해당 장치는 상기 실시예에서 제공하는 모델 생성 방법을 실행하도록 구성된다. 해당 장치와 상기 각 실시예의 모델 생성 방법은 동일한 발명 사상에 속하며, 모델 생성 장치의 실시예에서 상세하게 설명되지 않은 세부사항은 상기 모델 생성 방법의 실시예를 참조할 수 있다. 도 6을 참조하면, 해당 장치는 구체적으로 데이터 수집 모듈(310), 제1 생성 모듈(320) 및 제2 생성 모듈(330)을 포함할 수 있다.

여기서, 데이터 수집 모듈(310)은 기설정된 수집 시스템을 기반으로 포인트 클라우드 데이터 및 복수 프레임의 이미지 투시도를 수집하여, 포인트 클라우드 데이터의 좌표 데이터, 및 상기 복수 프레임의 이미지 투시도와 일대일 대응하는 복수의 이미지 수집 시점을 얻도록 구성되고,

제1 생성 모듈(320)은 복수의 이미지 수집 시점 중의 각 이미지 수집 시점에 대응하는 포즈 행렬을 결정하고, 상기 각 이미지 수집 시점에 대응하는 포즈 행렬과 좌표 데이터에 따라 상기 각 이미지 수집 시점에서의 포인트 클라우드 투시도를 생성하도록 구성되며,

제2 생성 모듈(330)은 상기 각 이미지 수집 시점에서의 포인트 클라우드 투시도와 상기 각 이미지 수집 시점에서의 이미지 투시도를 한 세트의 훈련 샘플로 사용하며, 여러 세트의 훈련 샘플을 기반으로 원시 신경망 모델을 훈련시켜, 포인트 클라우드 투시도를 이미지 투시도로 변환하는데 사용되는 이미지 변환 모델을 생성하도록 구성된다.

선택적으로, 제1 생성 모듈(320)은,

포인트 클라우드 데이터에 따라 기설정된 수집 시스템의 포즈 궤적을 얻도록 구성되는 포즈 궤적 획득 유닛,

복수의 이미지 수집 시점을 기준으로 포즈 궤적을 샘플링하여, 복수의 이미지 수집 시점 중의 각 이미지 수집 시점에 대응하는 포즈 행렬을 얻도록 구성되는 포즈 행렬 획득 유닛을 포함할 수 있다.

선택적으로, 제1 생성 모듈(320)은,

이미지 투시도가 기설정된 수집 시스템에서의 기설정된 카메라(기설정된 카메라는 투시 카메라 또는 광각 카메라를 포함)를 기반으로 얻은 것이면, 다음 공식에 따라 월드 좌표계에서의 포인트 클라우드 데이터의 3차원 좌표 데이터

를 이미지 수집 시점

에 투영하여, 각

에 따라

에서의 포인트 클라우드 투시도를 생성하도록 구성될 수 있으며,

여기서,

시점에서 월드 좌표계에서의 포즈 행렬이고,

는 기설정된 카메라의 내부 파라미터 행렬이며,

이미지 투시도가 기설정된 수집 시스템의 구면 파노라마 카메라를 기반으로 얻은 것이면, 다음 공식에 따라 포인트 클라우드 데이터의

를

에서 수집된 구면 파노라마 카메라 좌표계에서의

에 투영하여, 각

에 따라

,

여기서,

은 구면 파노라마 카메라의 구체 반경이다.

선택적으로, 해당 장치는,

포인트 클라우드 투시도에서 포인트 클라우드 데이터에 대응하는 화소점을 획득하고, 포인트 클라우드 데이터의 속성 정보를 화소점에 부여하도록 구성되는 속성 정보 부여 모듈을 더 포함할 수 있다.

선택적으로, 제2 생성 모듈(330)은,

적어도 두 개의 이미지 수집 시점에서의 상기 포인트 클라우드 투시도 및 적어도 두 개의 이미지 수집 시점에서의 상기 포인트 클라우드 투시도에 대응하는 상기 이미지 투시도를 한 세트의 훈련 샘플로 사용하도록 구성될 수도 있다.

선택적으로, 제2 생성 모듈(330)은,

복수의 이미지 수집 시점 중의 현재 이미지 수집 시점에서의 포인트 클라우드 투시도를 제1 포인트 클라우드 투시도로 하고, 상기 현재 이미지 수집 시점에서의 이미지 투시도를 제1 이미지 투시도로 하도록 구성되는 제1 획득 유닛,

현재 이미지 수집 시점 이전의 적어도 하나의 이미지 수집 시점에서의 포인트 클라우드 투시도를 제2 포인트 클라우드 투시도로 하고, 상기 현재 이미지 수집 시점 이전의 적어도 하나의 이미지 수집 시점에서의 포인트 클라우드 투시도에 대응하는 이미지 투시도를 제2 이미지 투시도로 하도록 구성되는 제2 획득 유닛,

제1 포인트 클라우드 투시도, 제2 포인트 클라우드 투시도, 제1 이미지 투시도 및 제2 이미지 투시도를 한 세트의 훈련 샘플로 하도록 구성되는 훈련 샘플 획득 유닛-여기서, 제1 포인트 클라우드 투시도, 제2 포인트 클라우드 투시도 및 제2 이미지 투시도는 실제 입력 데이터이고, 제1 이미지 투시도는 예상 출력 데이터임- 을 포함할 수 있다.

선택적으로, 제2 생성 모듈(330)은,

원시 신경망 모델은 포인트 클라우드 컨볼루션 여기 모듈, 이미지 컨볼루션 여기 모듈 및 합병 처리 모듈을 포함하고, 훈련 샘플을 원시 신경망 모델에 입력하도록 구성되는 입력 유닛,

포인트 클라우드 컨볼루션 여기 모듈을 통해 제1 포인트 클라우드 투시도와 제2 포인트 클라우드 투시도의 채널 캐스케이드 결과를 처리하여, 포인트 클라우드 특징도를 얻고, 이미지 컨볼루션 여기 모듈을 통해 제2 이미지 투시도를 처리하여 이미지 특징도를 얻도록 구성되는 특징도 획득 유닛,

합병 처리 모듈을 통해 포인트 클라우드 특징도와 이미지 특징도를 합병 처리하고, 합병 처리 결과에 따라 제3 이미지 투시도를 생성하며, 제3 이미지 투시도와 제1 이미지 투시도에 따라 원시 신경망 모델의 네트워크 파라미터를 조정하도록 구성되는 네트워크 파라미터 조정 모듈을 더 포함할 수 있다.

본 출원의 실시예 3에서 제공하는 모델 생성 장치는, 데이터 수집 모델을 통해 기설정된 수집 시스템을 기반으로 포인트 클라우드 데이터 및 복수 프레임의 이미지 투시도를 수집하여, 포인트 클라우드 데이터의 좌표 데이터 및 복수 프레임의 이미지 투시도와 일대일 대응하는 복수의 이미지 수집 시점을 얻을 수 있고; 나아가, 제1 생성 모듈이 복수의 이미지 수집 시점 중의 각 이미지 수집 시점에 대응하는 포즈 행렬을 결정한 후, 상기 각 이미지 수집 시점에 대응하는 포즈 행렬과 좌표 데이터에 따라 상기 각 이미지 수집 시점에서의 포인트 클라우드 투시도를 생성할 수 있으며, 즉 3차원 장면 포인트의 포인트 클라우드 데이터를 이미지 수집 시점에서의 가상 카메라에 투영하여 포인트 클라우드 투시도를 생성하며; 이로써, 제2 생성 모듈은 상기 각 이미지 수집 시점에서의 포인트 클라우드 투시도와 상기 각 이미지 수집 시점에서의 이미지 투시도를 한 세트의 훈련 샘플로 사용하고, 여러 세트의 훈련 샘플을 기반으로 원시 신경망 모델을 훈련시켜, 포인트 클라우드 투시도를 이미지 투시도로 변환하는데 사용되는 이미지 변환 모델을 생성할 수 있다. 상술한 장치는 포인트 클라우드 데이터로 투영된 포인트 클라우드 투시도를 기반으로 이미지 투시도를 합성하도록 유도할 수 있어, 이미지 투시도의 획득 과정이 상대적으로 시간과 공이 많이 소요되는 문제를 해결하며, 조작이 간단하고 비용이 낮은 방식으로 고품질의 이미지 투시도를 획득하는 효과를 달성한다.

본 출원의 실시예에서 제공하는 모델 생성 장치는 본 출원의 임의의 실시예에서 제공하는 모델 생성 방법을 수행할 수 있고, 방법을 수행하는데 대응하는 기능적 모듈을 구비한다.

상기 모델 생성 장치의 실시예에서, 포함되는 각 유닛과 모듈은 단지 기능적 논리에 따라 구분될 뿐, 상응하는 기능을 구현할 수 있는 한 위에서 언급한 구분에 제한되지 않음을 유의하여야 한다. 또한, 각 기능 유닛의 명칭도 구분의 편의를 위한 것일 뿐, 본 출원의 보호 범위를 제한하기 위한 것은 아니다.

실시예 4

도 7은 본 출원의 실시예 4에서의 이미지 투시도 결정 장치의 구조 블록도이다. 해당 장치는 상기 임의의 실시예에서 제공하는 이미지 투시도 결정 방법을 수행하도록 구성된다. 해당 장치와 상기 각 실시예의 이미지 투시도 결정 방법은 동일한 발명 사상에 속하며, 이미지 투시도 결정 장치의 실시예에서 상세히 설명되지 않은 세부사항은 상기 이미지 투시도 결정 방법의 실시예를 참조할 수 있다. 도 7을 참조하면, 해당 장치는 제3 생성 모듈(410) 및 이미지 투시도 결정 모듈(420)을 포함할 수 있다.

여기서, 제3 생성 모듈(410)은 기설정된 수집 시스템을 기반으로 포인트 클라우드 데이터를 수집하여, 포인트 클라우드 데이터의 좌표 데이터 및 포인트 클라우드 수집 시점을 얻고, 포인트 클라우드 수집 시점에 대응하는 포즈 행렬을 결정하며, 포즈 행렬과 좌표 데이터에 따라 포인트 클라우드 수집 시점에서의 포인트 클라우드 투시도를 생성하도록 구성되고,

이미지 투시도 결정 모듈(420)은 본 출원의 임의의 실시예에서 제공하는 모델 생성 방법에 따라 생성된 이미지 변환 모델을 획득하고, 포인트 클라우드 투시도를 이미지 변환 모델에 입력하며, 이미지 변환 모델의 출력 결과에 따라, 포인트 클라우드 수집 시점에서의 이미지를 결정하도록 구성된다.

본 출원의 실시예 4에서 제공하는 이미지 투시도 결정 장치에서, 제3 생성 모듈을 통해 기설정된 수집 시스템에 의해 수집된 포인트 클라우드 데이터를 기반으로, 포인트 클라우드 데이터의 좌표 데이터 및 포인트 클라우드 수집 시점을 얻을 수 있고, 해당 포인트 클라우드 수집 시점은 이미지 투시도의 이미지 수집 시점을 시뮬레이션하고, 또한, 포인트 클라우드 수집 시점에 대응하는 포즈 행렬을 결정한 후, 포즈 행렬과 좌표 데이터에 따라 포인트 클라우드 수집 시점에서의 포인트 클라우드 투시도를 생성할 수 있으며, 즉 3차원 장면 포인트의 포인트 클라우드 데이터를 포인트 클라우드 수집 시점에서의 가상 카메라에 투영하여 포인트 클라우드 투시도를 생성하며, 이미지 투시도 결정 모듈은 포인트 클라우드 투시도를 미리 생성된 이미지 변환 모델에 입력한 후, 이미지 변환 모델의 출력 결과에 따라, 포인트 클라우드 수집 시점에서의 이미지 투시도를 결정할 수 있다. 상기 장치는 포인트 클라우드 데이터로 투영된 포인트 클라우드 투시도를 기반으로 이미지 투시도를 합성하도록 유도하고, 이미지 투시도의 획득 과정이 상대적으로 시간과 공이 많이 소요되는 문제를 해결하여, 조작이 간단하고 비용이 낮은 방식으로 고품질의 이미지 투시도를 획득하는 효과를 달성한다.

본 출원의 실시예에서 제공하는 이미지 투시도 결정 장치는 본 출원의 임의의 실시예에서 제공하는 이미지 투시도 결정 방법을 수행할 수 있고, 방법을 수행하는데 대응하는 기능적 모듈을 구비한다.

상기 이미지 투시도 결정 장치의 실시예에서, 포함되는 각 유닛과 모듈은 단지 기능적 논리에 따라 구분될 뿐, 상응하는 기능을 구현할 수 있는 한 위에서 언급한 구분에 제한되지 않음을 유의하여야 한다. 또한, 각 기능 유닛의 명칭도 구분의 편의를 위한 것일 뿐, 본 출원의 보호 범위를 제한하기 위한 것은 아니다.

실시예 5

도 8은 본 출원의 실시예 5에서의 설비의 구조 개략도이다. 도 8에 도시된 바와 같이, 해당 설비는 메모리(510), 프로세서(520), 입력장치(530) 및 출력 장치(540)를 포함한다. 설비 중의 프로세서(520)의 개수는 적어도 하나일 수 있고, 도 8에서는 하나의 프로세서(520)를 예로 들며, 설비 중의 메모리(510), 프로세서(520), 입력장치(530)와 출력 장치(540)는 버스 또는 기타 방식을 통하여 연결될 수 있고, 도 8에서는 버스(550)를 통하여 연결되는 것을 예로 든다.

메모리(510)는 컴퓨터 판독 가능 매체로서, 소프트웨어 프로그램, 컴퓨터 실행가능 프로그램 및 모듈을 저장하도록 구성될 수 있고, 예를 들어, 본 출원의 실시예에서의 모델 생성 방법에 대응되는 프로그램 명령/모듈(예를 들어, 모델 생성 장치 중의 데이터 수집 모듈(310), 제1 생성 모듈(320) 및 제2 생성 모듈(330)), 또는, 본 출원의 실시예에서의 이미지 투시도 결정 방법에 대응되는 프로그램 명령/모듈(예를 들어, 이미지 투시도 결정 장치에서의 제3 생성 모듈(410) 및 이미지 투시도 결정 모듈(420))을 저장한다. 프로세서(520)는 메모리(510)에 저장된 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써, 설비의 각종 기능적 애플리케이션 및 데이터 처리를 실행한다. 즉, 상기 모델 생성 방법 또는 이미지 투시도 결정 방법을 구현한다.

메모리(510)는 주로 프로그램 저장 영역과 데이터 저장 영역을 포함할 수 있고, 여기서, 프로그램 저장 영역은 운영 시스템, 적어도 하나의 기능에 필요한 애플리케이션을 저장할 수 있으며, 데이터 저장 영역은 설비의 사용에 따라 생성된 데이터 등을 저장할 수 있다. 이외에, 메모리(510)는 고속 랜덤 액세스 메모리(high speed random access memory)를 포함할 수 있고, 적어도 하나의 자기 디스크 메모리, 플래시 메모리, 또는 기타 비휘발성 고체 상태 메모리와 같은 비휘발성 메모리도 포함할 수 있다. 일부 구현예에서, 메모리(510)는 네트워크를 통해 설비에 연결될 수 있는 프로세서(520)로부터 원격 설치된 메모리를 포함할 수 있다. 상기 네트워크의 구현예는 인터넷, 인트라넷, 근거리 통신망, 이동 통신망 및 이들의 조합을 포함하나, 이에 한정되지 않는다.

입력장치(530)는 입력된 숫자 또는 문자 정보(character information)를 수신하고 장치의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 생성하도록 구성될 수 있다. 출력 장치(540)는 스크린 등과 같은 디스플레이 장치를 포함할 수 있다.

실시예 6

본 출원의 실시예 6은 컴퓨터 실행 가능 명령을 포함하는 저장 매체를 제공하며, 상기 컴퓨터 실행 가능 명령은, 컴퓨터 프로세서에 의해 실행될 때 모델 생성 방법을 수행하며, 해당 방법은,

기설정된 수집 시스템을 기반으로 포인트 클라우드 데이터 및 복수 프레임의 이미지 투시도를 수집하여, 포인트 클라우드 데이터의 좌표 데이터, 및 상기 복수 프레임의 이미지 투시도와 일대일 대응하는 복수의 이미지 수집 시점을 얻는 단계,

복수의 이미지 수집 시점 중의 각 이미지 수집 시점에 대응하는 포즈 행렬을 결정하고, 상기 각 이미지 수집 시점에 대응하는 포즈 행렬과 좌표 데이터에 따라 상기 각 이미지 수집 시점에서의 포인트 클라우드 투시도를 생성하는 단계,

상기 각 이미지 수집 시점에서의 포인트 클라우드 투시도와 상기 각 이미지 수집 시점에서의 이미지 투시도를 한 세트의 훈련 샘플로 사용하며, 여러 세트의 훈련 샘플을 기반으로 원시 신경망 모델을 훈련시켜, 포인트 클라우드 투시도를 이미지 투시도로 변환하는데 사용되는 이미지 변환 모델을 생성하는 단계를 포함한다.

물론, 본 출원의 실시예에서 제공하는 컴퓨터 실행 가능 명령을 포함한 저장 매체에서, 컴퓨터 실행 가능 명령은 상기 방법 동작에 제한되지 않으며, 본 출원의 임의의 실시예에서 제공하는 모델 생성 방법의 관련 동작을 수행할 수 있다.

실시예 7

본 출원의 실시예 7에서 컴퓨터 실행 가능 명령을 포함한 저장 매체를 제공하며, 상기 컴퓨터 실행 가능 명령은, 컴퓨터 프로세서에 의해 실행될 때 이미지 투시도 결정 방법을 수행하며, 해당 방법은,

기설정된 수집 시스템을 기반으로 포인트 클라우드 데이터를 수집하여, 포인트 클라우드 데이터의 좌표 데이터 및 포인트 클라우드 수집 시점을 얻고, 포인트 클라우드 수집 시점에 대응하는 포즈 행렬을 결정하며, 포즈 행렬과 좌표 데이터에 따라 포인트 클라우드 수집 시점에서의 포인트 클라우드 투시도를 생성하는 단계,

본 출원의 임의의 실시예에서 제공하는 모델 생성 방법에 따라 생성된 이미지 변환 모델을 획득하고, 포인트 클라우드 투시도를 이미지 변환 모델에 입력하며, 이미지 변환 모델의 출력 결과에 따라, 포인트 클라우드 수집 시점에서의 이미지 투시도를 결정하는 단계를 포함한다.

이상의 실시형태에 관한 설명으로부터, 본 분야 당업자는 본 출원이 소프트웨어 및 필요한 범용 하드웨어에 의해 구현될 수 있고, 물론, 하드웨어에 의해서도 구현될 수 있다. 이러한 이해에 따르면, 본 출원의 기술방안은 본질적으로, 다시 말하면 관련 기술에 기여하는 부분은 소프트웨어 제품의 형태로 구현될 수 있으며, 해당 컴퓨터 소프트웨어 제품은 컴퓨터의 플로피디스크, 읽기 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 플래시 메모리(FLASH), 하드 디스크 또는 광 디스크 등과 같은 컴퓨터 판독 가능 매체에 저장될 수 있고, 약간의 명령을 포함하여 한 대의 컴퓨터 장치(개인용 컴퓨터, 서버, 또는 네트워크 장치 등일수 있음)가 본 출원의 각 실시예에 따른 방법을 수행하도록 한다.

Claims

기설정된 수집 시스템을 기반으로 포인트 클라우드 데이터 및 복수 프레임의 이미지 투시도를 수집하여, 포인트 클라우드 데이터의 좌표 데이터, 및 상기 복수 프레임의 이미지 투시도와 일대일 대응하는 복수의 이미지 수집 시점을 얻는 단계;
복수의 상기 이미지 수집 시점 중의 각 이미지 수집 시점에 대응하는 포즈 행렬을 결정하고, 상기 각 이미지 수집 시점에 대응하는 포즈 행렬과 좌표 데이터에 따라 상기 각 이미지 수집 시점에서의 포인트 클라우드 투시도를 생성하는 단계;
상기 각 이미지 수집 시점에서의 포인트 클라우드 투시도와 상기 각 이미지 수집 시점에서의 이미지 투시도를 한 세트의 훈련 샘플로 사용하며, 여러 세트의 훈련 샘플을 기반으로 원시 신경망 모델을 훈련시켜, 포인트 클라우드 투시도를 이미지 투시도로 변환하는데 사용되는 이미지 변환 모델을 생성하는 단계; 를 포함하는 것을 특징으로 하는 모델 생성 방법.
제 1 항에 있어서,
복수의 상기 이미지 수집 시점 중의 각 이미지 수집 시점에 대응하는 포즈 행렬을 결정하는 것은,
상기 포인트 클라우드 데이터에 따라 상기 기설정된 수집 시스템의 포즈 궤적을 얻는 것;
복수의 상기 이미지 수집 시점을 기반으로 상기 포즈 궤적을 샘플링하여, 복수의 상기 이미지 수집 시점 중의 각 이미지 수집 시점에 대응하는 포즈 행렬을 얻는 것; 을 포함하는 것을 특징으로 하는 모델 생성 방법.
제 1 항에 있어서,
상기 각 이미지 수집 시점에 대응하는 포즈 행렬과 상기 좌표 데이터에 따라 상기 각 이미지 수집 시점에서의 포인트 클라우드 투시도를 생성하는 것은,
상기 이미지 투시도가 상기 기설정된 수집 시스템의 기설정된 카메라를 기반으로 얻은 것이면, 다음 공식에 따라 월드 좌표계에서의 상기 포인트 클라우드 데이터의 3차원 좌표 데이터
를 상기 이미지 수집 시점
에서 수집된 기설정된 카메라 좌표계에서의 2차원 좌표 데이터
에 투영하여, 각
에 따라
에서의 포인트 클라우드 투시도를 생성하는 것, 상기 기설정된 카메라는 투시 카메라 또는 광각 카메라를 포함하고,

여기서,
는 상기 기설정된 수집 시스템에서의 포인트 클라우드 수집 설비가
시점에서 상기 월드 좌표계에서의 상기 포즈 행렬이고,
는 상기 기설정된 카메라의 내부 파라미터 행렬임-;
상기 이미지 투시도가 상기 기설정된 수집 시스템의 구면 파노라마 카메라를 기반으로 얻은 것이면, 다음 공식에 따라 상기 포인트 클라우드 데이터의
를
에서 수집된 구면 파노라마 카메라 좌표계에서의
에 투영하여, 각
에 따라
에서의 포인트 클라우드 투시도를 생성하는 것,

,

여기서,
은 상기 구면 파노라마 카메라의 구체 반경임; 을 포함하는 것을 특징으로 하는 모델 생성 방법.
제 1 항에 있어서,
상기 포인트 클라우드 투시도에서 상기 포인트 클라우드 데이터에 대응하는 화소점을 획득하고, 상기 포인트 클라우드 데이터의 속성 정보를 상기 화소점에 부여하는 단계를 더 포함하는 것을 특징으로 하는 모델 생성 방법.
제 1 항에 있어서,
적어도 두 개의 이미지 수집 시점에서의 상기 포인트 클라우드 투시도 및 적어도 두 개의 이미지 수집 시점에서의 상기 포인트 클라우드 투시도에 대응하는 상기 이미지 투시도를 한 세트의 훈련 샘플로 사용하는 것을 특징으로 하는 모델 생성 방법.
제 5 항에 있어서,
적어도 두 개의 이미지 수집 시점에서의 상기 포인트 클라우드 투시도 및 적어도 두 개의 이미지 수집 시점에서의 상기 포인트 클라우드 투시도에 대응하는 상기 이미지 투시도를 한 세트의 훈련 샘플로 사용하는 것은,
복수의 상기 이미지 수집 시점 중의 현재 이미지 수집 시점에서의 상기 포인트 클라우드 투시도를 제1 포인트 클라우드 투시도로 하고, 상기 현재 이미지 수집 시점에서의 상기 이미지 투시도를 제1 이미지 투시도로 하는 것;
상기 현재 이미지 수집 시점 이전의 적어도 하나의 이미지 수집 시점에서의 상기 포인트 클라우드 투시도를 제2 포인트 클라우드 투시도로 하고, 상기 현재 이미지 수집 시점 이전의 적어도 하나의 이미지 수집 시점에서의 상기 포인트 클라우드 투시도에 대응하는 상기 이미지 투시도를 제2 이미지 투시도로 하는 것;
상기 제1 포인트 클라우드 투시도, 상기 제2 포인트 클라우드 투시도, 상기 제1 이미지 투시도 및 상기 제2 이미지 투시도를 한 세트의 훈련 샘플로 하는 것, 여기서 상기 제1 포인트 클라우드 투시도, 상기 제2 포인트 클라우드 투시도 및 상기 제2 이미지 투시도는 실제 입력 데이터이고, 상기 제1 이미지 투시도는 예상 출력 데이터임; 을 포함하는 것을 특징으로 하는 모델 생성 방법.
제 6 항에 있어서,
상기 원시 신경망 모델은 포인트 클라우드 컨볼루션 여기 모듈, 이미지 컨볼루션 여기 모듈 및 합병 처리 모듈을 포함하고, 여러 세트의 상기 훈련 샘플을 기반으로 원시 신경망 모델을 훈련시키는 것은,
상기 훈련 샘플을 상기 원시 신경망 모델에 입력하는 것;
상기 포인트 클라우드 컨볼루션 여기 모듈을 통해 상기 제1 포인트 클라우드 투시도와 상기 제2 포인트 클라우드 투시도의 채널 캐스케이드 결과를 처리하여, 포인트 클라우드 특징도를 얻고, 상기 이미지 컨볼루션 여기 모듈을 통해 상기 제2 이미지 투시도를 처리하여 이미지 특징도를 얻는 것;
상기 합병 처리 모듈을 통해 상기 포인트 클라우드 특징도와 상기 이미지 특징도를 합병 처리하고, 합병 처리 결과에 따라 제3 이미지 투시도를 생성하며, 상기 제3 이미지 투시도와 상기 제1 이미지 투시도에 따라 상기 원시 신경망 모델의 네트워크 파라미터를 조정하는 것; 을 포함하는 것을 특징으로 하는 모델 생성 방법.
기설정된 수집 시스템을 기반으로 포인트 클라우드 데이터를 수집하여, 상기 포인트 클라우드 데이터의 좌표 데이터 및 포인트 클라우드 수집 시점을 얻고, 상기 포인트 클라우드 수집 시점에 대응하는 포즈 행렬을 결정하며, 상기 포즈 행렬과 상기 좌표 데이터에 따라 상기 포인트 클라우드 수집 시점에서의 포인트 클라우드 투시도를 생성하는 단계;
제 1 항 내지 제 7 항 중 어느 한 항의 모델 생성 방법에 따라 생성된 이미지 변환 모델을 획득하고, 상기 포인트 클라우드 투시도를 상기 이미지 변환 모델에 입력하며, 상기 이미지 변환 모델의 출력 결과에 따라, 상기 포인트 클라우드 수집 시점에서의 이미지 투시도를 결정하는 단계; 를 포함하는 것을 특징으로 하는 이미지 투시도 결정 방법.
기설정된 수집 시스템을 기반으로 포인트 클라우드 데이터 및 복수 프레임의 이미지 투시도를 수집하여, 상기 포인트 클라우드 데이터의 좌표 데이터, 및 상기 복수 프레임의 이미지 투시도와 일대일 대응하는 복수의 이미지 수집 시점을 얻도록 구성되는 데이터 수집 모듈;
복수의 상기 이미지 수집 시점 중의 각 이미지 수집 시점에 대응하는 포즈 행렬을 결정하고, 상기 각 이미지 수집 시점에 대응하는 포즈 행렬과 상기 좌표 데이터에 따라 상기 각 이미지 수집 시점에서의 포인트 클라우드 투시도를 생성하도록 구성되는 제1 생성 모듈;
상기 각 이미지 수집 시점에서의 상기 포인트 클라우드 투시도와 상기 각 이미지 수집 시점에서의 상기 이미지 투시도를 한 세트의 훈련 샘플로 사용하며, 여러 세트의 상기 훈련 샘플을 기반으로 원시 신경망 모델을 훈련시켜, 상기 포인트 클라우드 투시도를 상기 이미지 투시도로 변환하는데 사용되는 이미지 변환 모델을 생성하도록 구성되는 제2 생성 모듈; 을 포함하는 것을 특징으로 하는 모델 생성 장치.
기설정된 수집 시스템을 기반으로 포인트 클라우드 데이터를 수집하여, 상기 포인트 클라우드 데이터의 좌표 데이터 및 포인트 클라우드 수집 시점을 얻고, 상기 포인트 클라우드 수집 시점에 대응하는 포즈 행렬을 결정하며, 상기 포즈 행렬과 상기 좌표 데이터에 따라 상기 포인트 클라우드 수집 시점에서의 포인트 클라우드 투시도를 생성하도록 구성되는 제3 생성 모듈;
제 1 항 내지 제 7 항 중 어느 한 항에 따른 모델 생성 방법에 따라 생성된 이미지 변환 모델을 획득하고, 상기 포인트 클라우드 투시도를 상기 이미지 변환 모델에 입력하며, 상기 이미지 변환 모델의 출력 결과에 따라, 상기 포인트 클라우드 수집 시점에서의 이미지 투시도를 결정하도록 구성되는 이미지 투시도 결정 모듈; 을 포함하는 것을 특징으로 하는 이미지 투시도 결정 장치.
적어도 하나의 프로세서; 및
적어도 하나의 프로그램을 저장하도록 설정되는 메모리를 포함하고,
상기 적어도 하나의 프로그램이 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서는 제 1 항 내지 제 7 항 중 어느 한 항에 따른 모델 생성 방법 또는 제 8 항의 이미지 투시도 결정 방법을 구현하는 것을 특징으로 하는 설비.
컴퓨터 판독 가능 저장 매체에 있어서,
상기 컴퓨터 판독 가능 저장 매체에는 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 제 1 항 내지 제 7 항 중 어느 한 항에 따른 모델 생성 방법 또는 제 8 항의 이미지 투시도 결정 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.