KR20210125888A

KR20210125888A - 전 방향 시차 영상 합성 방법, 장치 및 저장 매체

Info

Publication number: KR20210125888A
Application number: KR1020200169197A
Authority: KR
Inventors: 춘시아 시아오; 페이 루오; 웬지에 리; 리헝 조우
Original assignee: 베이징 시아오미 파인콘 일렉트로닉스 컴퍼니 리미티드
Priority date: 2020-04-08
Filing date: 2020-12-07
Publication date: 2021-10-19
Also published as: US20210321071A1; JP2021168463A; KR102367648B1; JP7138680B2; US11245886B2; EP3893498A1; CN111464804A

Abstract

본 발명은 전 방향 시차 영상 합성 방법, 장치 및 저장 매체에 관한 것이며, 전 방향 시차 영상 합성 방법은, 원본 이미지 데이터 쌍 사이의 시차를 획득하는 단계 - 상기 시차는 수평 시차 및 수직 시차를 포함함 -; 원본 이미지 데이터 쌍 사이의 기준선에 기반하여 타겟 시점을 결정하는 단계; 상기 수평 시차 및 상기 수직 시차에 따라 상기 타겟 시점이 상기 원본 이미지 데이터에서의 타겟 픽셀을 획득하는 단계; 및 상기 타겟 픽셀에 따라 상기 타겟 시점의 타겟 영상을 합성하는 단계를 포함한다. 본 발명을 통해, 타겟 이미지 픽셀과 원본 이미지 데이터 픽셀 간의 매칭 정확도를 향상시킨다.

Description

전 방향 시차 영상 합성 방법, 장치 및 저장 매체{METHOD AND APPARATUS FOR SYNTHESIZING OMNI-DIRECTIONAL PARALLAX VIEW, AND STORAGE MEDIUM}

관련 출원의 상호 참조

본 출원은 출원 번호가 CN2020102681987이고, 출원일이 2020년 4월 8일인 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 우선권을 주장하며, 상기 중국 특허 출원의 모든 내용은 참조로서 본 출원에 인용된다.

기술분야

본 발명은 이미지 기술분야에 관한 것으로, 특히 전 방향 시차 영상 합성 방법, 장치 및 저장 매체에 관한 것이다.

이미지 기술의 발전과 함께, 가상 디스플레이, 원격 회의, 3D 객체 재구성 및 비디오 프레임 예측과 같은 더 많은 분야에 영상 합성 기술이 적용되고 있다. 관련 기술에는, 플로우 기반 영상 합성 방법, 확률 모델 기반 영상 합성 방법, 깊이 또는 시차 정보 기반 영상 합성 방법이 있다.

그러나, 관련 기술에서는 시차를 기반으로 합성된 영상은 자연스럽고 복잡한 장면에 적용되기 어렵고, 학습이 로버스트(robust)하지 않아 합성 효과가 좋지 않다.

본 발명은 관련 기술의 문제점을 극복하기 위해 전 방향 시차 시점 합성 방법, 장치 및 저장 매체를 제공한다.

본 발명의 실시예의 제1 측면에 따르면, 전 방향 시차 영상 합성 방법을 제공하며,

원본 이미지 데이터 쌍 사이의 시차를 획득하는 단계 - 상기 시차는 수평 시차 및 수직 시차를 포함함 -; 원본 이미지 데이터 쌍 사이의 기준선에 기반하여 타겟 시점을 결정하는 단계; 상기 수평 시차 및 상기 수직 시차에 따라 상기 타겟 시점이 상기 원본 이미지 데이터에서의 타겟 픽셀을 획득하는 단계; 및 상기 타겟 픽셀에 따라 상기 타겟 시점의 타겟 영상을 합성하는 단계를 포함한다.

일 실시형태에서, 원본 이미지 데이터 쌍 사이의 시차를 획득하는 단계는,

원본 이미지 데이터 쌍을 획득하는 단계; 및 상기 원본 이미지 데이터 쌍을 미리 구축된 시차 예측 모델에 입력하여, 상기 원본 이미지 데이터 쌍 사이의 수평 시차 및 수직 시차를 획득하는 단계를 포함한다.

일 실시형태에서, 상기 전 방향 시차 영상 합성 방법은,

양안 입체 이미지 데이터 세트를 결정하는 단계 - 상기 양안 입체 이미지 데이터 세트는 양안 입체 이미지의 수평 방향 데이터 및 수직 방향 데이터를 포함함 -; 상기 양안 입체 이미지 데이터 세트에 기반하여 시차 예측 모델의 훈련 데이터 세트 및 테스트 데이터 세트를 결정하는 단계; 상기 훈련 데이터 세트에 대해 딥 뉴럴 네트워크 훈련을 수행하여, 시차 예측 훈련 모델을 획득하는 단계; 손실 함수를 결정하는 단계; 상기 손실 함수 및 테스트 데이터 세트에 따라 상기 시차 예측 모델을 검출하고, 타겟 시점 생성 파라미터를 획득하는 단계; 및 상기 손실 함수 및 상기 타겟 시점 생성 파라미터에 기반하여 상기 시차 예측 훈련 모델을 디버깅하여 시차 예측 모델을 획득하는 단계를 사용하여 시차 예측 모델을 미리 구축한다.

일 실시형태에서, 상기 손실 함수를 결정하는 단계는,

획득된 시차 예측 모델에 의해 출력된 양안 입체 이미지 데이터 시차와 훈련 데이터 세트에서의 양안 입체 이미지 데이터 시차의 평균 절대 오차, 픽셀점 오차 및 구조적 유사성에 기반하여, 손실 함수를 결정하는 단계를 포함한다.

일 실시형태에서, 상기 수평 시차 및 상기 수직 시차에 따라 상기 타겟 시점이 상기 원본 이미지 데이터에서의 타겟 픽셀을 획득하는 단계는,

타겟 시점을 획득하는 단계; 상기 타겟 시점 및 수평 시차에 따라, 타겟 시점이 수평 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리를 결정하는 단계; 상기 타겟 시점 및 수직 시차에 따라, 타겟 시점이 수직 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리를 결정하는 단계; 및 상기 타겟 시점이 수평 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리 및 타겟 시점이 수직 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리에 따라, 타겟 시점이 상기 원본 이미지 데이터에서의 대응하는 타겟 픽셀을 결정하고 획득하는 단계를 포함한다.

일 실시형태에서, 상기 타겟 시점이 수평 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리 및 타겟 시점이 수직 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리에 따라, 타겟 시점이 상기 원본 이미지 데이터에서의 대응하는 타겟 픽셀을 결정하고 획득하는 단계는,

상기 타겟 시점이 수평 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리 및 타겟 시점이 수직 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리에 따라, 타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀의 인접 픽셀을 결정하는 단계; 상기 인접 픽셀과 타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀 사이의 거리 선형 비례 관계에 따라 각 인접 픽셀에 대응하는 가중치를 결정하는 단계 - 모든 인접 픽셀에 대응하는 가중치의 합은 1임 -; 및 타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀의 인접 픽셀 및 상기 인접 픽셀에 대응하는 가중치에 따라 타겟 시점에 대응하는 타겟 픽셀을 계산하는 단계를 포함한다.

일 실시형태에서, 타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀의 인접 픽셀 및 상기 인접 픽셀에 대응하는 가중치에 따라 타겟 시점에 대응하는 타겟 픽셀을 계산하는 단계는,

으로 구현되며;

은 타겟 시점의 합성 영상이고; W₁은 타겟 시점의 제1 인접점의 픽셀 가중치이고, W₂는 타겟 시점의 제2 인접점의 픽셀 가중치이며, W₃은 타겟 시점의 제3 인접점의 픽셀 가중치이며; W₄는 타겟 시점의 제4 인접점의 픽셀 가중치이고, 또한 W₁+W₂+W₃+W₄=1이며;

은 타겟 시점의 제1 인접점의 픽셀이고;

은 타겟 시점의 제2 인접점의 픽셀이며;

은 타겟 시점의 제3 인접점의 픽셀이며;

은 타겟 시점의 제4 인접점의 픽셀이다.

본 발명의 실시예의 제2 측면에 따르면, 전 방향 시차 영상 합성 장치를 제공하며,

원본 이미지 데이터 쌍 사이의 시차를 획득하기 위한 획득 모듈 - 상기 시차는 수평 시차 및 수직 시차를 포함함 -; 원본 이미지 데이터 쌍 사이의 기준선에 기반하여 타겟 시점을 결정하기 위한 결정 모듈; 또한 상기 수평 시차 및 상기 수직 시차에 따라 상기 타겟 시점이 상기 원본 이미지 데이터에서의 픽셀 획득 모듈을 획득하기 위한 획득 모듈; 및 상기 픽셀에 따라 상기 타겟 시점의 타겟 영상을 합성하기 위한 합성 모듈을 포함한다.

일 실시형태에서, 상기 획득 모듈은,

원본 이미지 데이터 쌍을 획득하는 방식; 및 상기 원본 이미지 데이터 쌍을 미리 구축된 시차 예측 모델에 입력하여, 상기 원본 이미지 데이터 쌍 사이의 수평 시차 및 수직 시차를 획득하는 방식으로 원본 이미지 데이터 쌍 사이의 시차를 획득한다.

일 실시형태에서, 상기 전 방향 시차 영상 합성 장치는 구축 모듈을 더 포함하며, 상기 구축 모듈은,

양안 입체 이미지 데이터 세트를 결정하는 방식 - 상기 양안 입체 이미지 데이터 세트는 양안 입체 이미지의 수평 방향 데이터 및 수직 방향 데이터를 포함함 -; 상기 양안 입체 이미지 데이터 세트에 기반하여 시차 예측 모델의 훈련 데이터 세트 및 테스트 데이터 세트를 결정하는 방식; 상기 훈련 데이터 세트에 대해 딥 뉴럴 네트워크 훈련을 수행하여, 시차 예측 훈련 모델을 획득하는 방식; 손실 함수를 결정하여, 상기 손실 함수 및 테스트 데이터 세트에 따라 상기 시차 예측 모델을 검출하고, 타겟 시점 생성 파라미터를 획득하는 방식; 및 상기 손실 함수 및 상기 타겟 시점 생성 파라미터에 기반하여 상기 시차 예측 훈련 모델을 디버깅하여 시차 예측 모델을 획득하는 방식으로 시차 예측 모델을 미리 구축한다.

일 실시형태에서, 상기 결정 모듈은 또한,

획득된 시차 예측 모델에 의해 출력된 양안 입체 이미지 데이터 시차와 훈련 데이터 세트에서의 양안 입체 이미지 데이터 시차의 평균 절대 오차, 픽셀점 오차 및 구조적 유사성에 기반하여, 손실 함수를 결정하기 위한 것이다.

일 실시형태에서, 상기 결정 모듈은,

타겟 시점을 획득하는 방식; 상기 타겟 시점 및 수평 시차에 따라, 타겟 시점이 수평 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리를 결정하는 방식; 상기 타겟 시점 및 수직 시차에 따라, 타겟 시점이 수직 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리를 결정하는 방식; 및 상기 타겟 시점이 수평 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리 및 타겟 시점이 수직 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리에 따라, 타겟 시점이 상기 원본 이미지 데이터에서의 대응하는 타겟 픽셀을 결정하고 획득하는 방식에 따라 상기 타겟 시점이 상기 원본 이미지 데이터에서의 타겟 픽셀을 결정한다.

일 실시형태에서, 상기 결정 모듈은,

상기 타겟 시점이 수평 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리 및 타겟 시점이 수직 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리에 따라, 타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀의 인접 픽셀을 결정하는 방식; 상기 인접 픽셀과 타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀 사이의 거리 선형 비례 관계에 따라 각 인접 픽셀에 대응하는 가중치를 결정하는 방식 - 모든 인접 픽셀에 대응하는 가중치의 합은 1임 -; 및 타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀의 인접 픽셀 및 상기 인접 픽셀에 대응하는 가중치에 따라 타겟 시점에 대응하는 타겟 픽셀을 계산하는 방식에 따라 타겟 시점이 상기 원본 이미지 데이터에서의 대응하는 타겟 픽셀을 결정한다.

일 실시형태에서, 상기 결정 모듈은 계산 유닛을 더 포함하며, 상기 계산 유닛은,

으로 타겟 시점에 대응하는 타겟 픽셀을 결정하며,

은 타겟 시점의 제1 인접점의 픽셀이고;

은 타겟 시점의 제2 인접점의 픽셀이며;

은 타겟 시점의 제3 인접점의 픽셀이며;

은 타겟 시점의 제4 인접점의 픽셀이다.

본 발명의 실시예의 제3 측면에 따르면, 전 방향 시차 영상 합성 장치를 제공하며,

프로세서; 및 프로세서에서 실행 가능한 명령어를 저장하기 위한 메모리를 포함하며; 여기서, 상기 프로세서는 제1 측면 또는 제1 측면의 임의의 실시형태에서의 전 방향 시차 영상 합성 방법을 실행하도록 구성된다.

본 발명의 실시예의 제4 측면에 따르면, 비일시적 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 저장 매체 중의 명령어가 네트워크 기기의 프로세서에 의해 실행될 때, 전자 기기로 하여금 제1 측면 또는 제1 측면의 임의의 실시형태에서의 전 방향 시차 영상 합성 방법을 실행할 수 있도록 한다.

본 발명의 실시예에서 제공하는 기술방안은 다음과 같은 유익한 효과를 가질 수 있다. 즉, 획득된 원본 이미지 데이터의 수평 시차 및 수직 시차에 따라 타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀을 결정하여, 타겟 영상을 합성시킴으로써, 타겟 이미지 픽셀과 원본 이미지 데이터 픽셀 간의 매칭 정확도, 간편성 및 적용성을 향상시킨다.

이해해야 할 것은, 이상의 일반적인 설명 및 하기의 상세한 설명은 다만 예시적이고 해석적인 것이며, 본 발명을 한정하려는 것은 아니다.

본문의 도면은 본 명세서에 포함되어 본 명세서의 일부를 구성하고, 본 발명과 일치하는 실시예를 예시하고, 본 명세서와 함께 본 발명의 원리를 설명하기 위해 사용된다.
도 1은 일 예시적 실시예에 따라 도시된 전 방향 시차 영상 합성 방법의 흐름도이다.
도 2는 상이한 시점에 따라 촬영된 동일한 물체의 원본 이미지 데이터 쌍의 모식도이다.
도 3은 일 예시적 실시예에 따라 도시된 전 방향 시차 영상 합성 방법의 흐름도이다.
도 4는 입력된 원본 이미지 데이터에 따라 시차를 예측하는 모식도이다.
도 5는 일 예시적 실시예에 따라 도시된 전 방향 시차 영상 합성 방법의 흐름도이다.
도 6은 딥 뉴럴 네트워크(DispNet)의 프레임워크 구조 모식도이다.
도 7은 일 예시적 실시예에 따라 도시된 전 방향 시차 영상 합성 방법의 흐름도이다.
도 8은 일 예시적 실시예에 따라 도시된 전 방향 시차 영상 합성 방법의 흐름도이다.
도 9는 일 예시적 실시예에 따라 도시된 전 방향 시차 영상 합성 장치의 블록도이다.
도 10은 일 예시적 실시예에 따라 도시된 장치의 블록도이다.

아래에 예시적 실시예에 대해 상세히 설명할 것이며, 그 예는 도면에 도시되어 있다. 이하의 설명은 도면을 참조할 때, 다른 표시가 없는 한, 상이한 도면에서 동일한 숫자는 동일하거나 유사한 요소를 나타낸다. 아래의 예시적 실시예에서 설명된 실시형태는 본 발명과 일치하는 모든 실시형태를 나타내는 것은 아니다. 대신, 이들은 첨부된 청구범위에 기재된 본 발명의 일부 형태와 일치하는 장치 및 방법의 예일 뿐이다.

본 발명에서 제공하는 전 방향 시차 영상 합성 방법에 있어서, 원본 이미지 쌍이 수평 방향 및 수직 방향 사이에서의 시차를 각각 획득하며, 수평 방향 및 수직 방향 사이의 시차에 따라 원본 이미지에서의 대응하는 픽셀을 결정함으로써, 복잡한 자연 장면에 적용할 수 있고, 합성 효과가 매우 좋다.

도 1은 일 예시적 실시예에 따라 도시된 전 방향 시차 영상 합성 방법의 흐름도이고, 도 1에 도시된 바와 같이, 전 방향 시차 영상 합성 방법은 다음의 단계를 포함한다.

단계 S11에서, 원본 이미지 데이터 쌍 사이의 시차를 획득한다.

여기서, 상기 시차는 수평 시차 및 수직 시차를 포함한다. 본 발명의 실시예에서, 수평 시차는

로 표시되고, 수직 시차는

로 표시된다.

원본 이미지 데이터 쌍을 획득하며, 여기서, 원본 이미지 데이터 쌍은 제1 원본 이미지 및 제2 원본 이미지를 포함하고, 제1 원본 이미지 및 제2 원본 이미지는, 상이한 시점에서 촬영된 동일한 물체의 원본 이미지 데이터 쌍이다. 도 2에 도시된 바와 같이, 제1 원본 이미지 및 제2 원본 이미지의 픽셀 좌표에 따라, 제2 원본 이미지의 픽셀 좌표가 제1 원본 이미지의 픽셀 좌표에 대응하는 것으로 결정하고, 두 개의 픽셀 좌표 사이의 수평 시차 및 수직 시차를 결정한다.

단계 S12에서, 원본 이미지 데이터 쌍 사이의 기준선에 기반하여 타겟 시점을 결정한다.

여기서, 기준선은 원본 이미지 데이터 쌍 사이의 두 촬영점 사이의 연결선이다. 타겟 시점은 원본 이미지 데이터 쌍의 기준선에서의 임의의 점이다.

단계 S13에서, 수평 시차 및 수직 시차에 따라 타겟 시점이 원본 이미지 데이터에서의 타겟 픽셀을 획득한다.

타겟 시점을 결정한 후, 타겟 시점이 픽셀 좌표에서의 좌표값을 획득하며, 타겟 시점의 좌표값과 획득된 수평 시차 및 수직 시차에 따라 타겟 시점의 픽셀이 제1 원본 이미지에서의 픽셀 좌표를 결정하며, 결정된 타겟 시점의 픽셀이 제1 원본 이미지에서의 픽셀 좌표에 따라 대응하는 픽셀을 획득한다.

단계 S14에서, 타겟 픽셀에 따라 타겟 시점의 타겟 영상을 합성한다.

타겟 영상은 복수 개의 픽셀을 포함하고, 제1 원본 이미지에 기반하여 모든 픽셀을 획득한 후, 픽셀에 따라 타겟 영상을 합성한다.

상기 전 방향 시차 영상 합성 방법에서, 수평 시차 및 수직 시차에 따라 결정된 타겟 시점 픽셀이 원본 이미지 데이터에서의 대응하는 픽셀은, 타겟 시점 픽셀이 원본 이미지 데이터에서의 대응하는 픽셀을 결정하는 정확도를 향상시키며, 나아가 타겟 영상의 정확도를 향상시킨다.

본 발명의 실시예는 실제 적용과 결합하여 본 발명에서 개시된 전 방향 시차 영상 합성 방법에 대해 설명한다.

도 3은 일 예시적 실시예에 따라 도시된 전 방향 시차 영상 합성 방법의 흐름도이다. 도 3에 도시된 바와 같이, 원본 이미지 데이터 쌍 사이의 시차를 획득하는 단계는, 단계 S31 및 단계 S32를 포함한다.

단계 S31에서, 원본 이미지 데이터 쌍을 획득한다.

단계 S32에서, 원본 이미지 데이터 쌍을 미리 구축된 시차 예측 모델에 입력하여, 원본 이미지 데이터 쌍 사이의 수평 시차 및 수직 시차를 획득한다.

원본 이미지 데이터 쌍, 즉 상이한 시점에서 촬영된 제1 원본 이미지 및 제2 원본 이미지를 획득한다. 획득된 제1 원본 이미지 및 제2 원본 이미지를 미리 구축된 시차 예측 모델에 입력하여, 제1 원본 이미지 및 제2 원본 이미지 사이에서의 수평 시차 및 수직 시차를 추가로 획득한다. 도 4에 도시된 바와 같이, 시차 예측 모델에서, 상이한 시점에 촬영된 동일한 물체의 입체 이미지 원본 이미지 데이터 쌍을 입력하며, 시차 예측 모델 딥 뉴럴 네트워크에 따라, 원본 이미지 데이터에 대해 컨볼루션 업 샘플링 및 컨볼루션 다운 샘플링을 포함하는 컨볼루션 연산을 수행한다. 쌍 선형 샘플러를 통해 파라미터 α를 생성하며, 여기서 α의 값의 범위는 0≤α≤1이며, 파라미터 α는 타겟 시점이 원본 이미지 데이터에 더 접근하는 제1 원본 이미지 또는 제2 원본 이미지를 결정하기 위해 사용된다. 상기 파라미터를 시차 예측 모델에 추가하여, 수평 방향 및 수직 방향의 시차맵을 획득한다.

본 발명의 실시형태에서, 다음의 방식으로 시차 예측 모델을 구축한다.

도 5는 일 예시적 실시예에 따라 도시된 전 방향 시차 영상 합성 방법의 흐름도이다. 도 5에 도시된 바와 같이, 시차 예측 모델을 구축하는 방법은 단계 S51-단계 S55를 포함한다.

단계 S51에서, 양안 입체 이미지 데이터 세트를 결정하고, 양안 입체 이미지 데이터 세트는 양안 입체 이미지의 수평 방향 데이터 및 수직 방향 데이터를 포함한다.

여기서, 양안 입체 이미지 데이터 세트는 실제 장면이 있는 이미지 데이터를 선택할 수 있다. 선택된 상기 이미지 데이터의 실제 장면은 다양한 환경을 가질 수 있다. 예를 들어, 본 발명의 실시예는 KITTI 데이터 세트를 사용하여 양안 입체 이미지 데이터 세트를 획득한다.

KITTI 데이터 세트는 카를스루에 공과대학(Karlsruhe Institute of Technology) 및 도요타 미국 기술원에서 공동으로 창설하였다. 상기 데이터 세트는 입체 이미지 (stereo), 광학 흐름(optical flow), 시각적 주행 거리 측정(visual odometry), 3D 물체 감지(object detection) 및 3D 추적(tracking) 등 컴퓨터 시각 기술이 차량 장착 환경에서의 성능을 평가하기 위한 것이다. KITTI에는 도시, 시골, 고속도로 등 장면에서 수집된 실제 이미지 데이터가 포함되며, 각 이미지에는 최대 15 대의 차량 및 30 명의 보행자가 포함되며, 또한 다양한 정도의 가림 및 잘림이 포함된다.

단계 S52에서, 양안 입체 이미지 데이터 세트에 기반하여 시차 예측 모델의 훈련 데이터 세트 및 테스트 데이터 세트를 결정한다.

획득된 양안 입체 이미지 데이터 세트는 이분적 분류(binary classification) 비례 관계에 따라 분할하며, 예를 들어, 훈련 데이터 세트 및 테스트 데이터 세트는 7:3 또는 8:2의 비례로 분할되어, 훈련 데이터 세트 및 테스트 데이터 세트를 획득할 수 있다.

단계 S53에서, 훈련 데이터 세트에 대해 컨볼루션 뉴럴 네트워크 훈련을 수행하여, 시차 예측 훈련 모델을 획득한다.

딥 뉴럴 네트워크(DispNet) 프레임워크 구조는, 도 6에 도시된 바와 같으며, 상기 컨볼루션 뉴럴 네트워크로 하여금 임의의 하나의 이미지 데이터 쌍 사이의 시차를 계산하도록 하고, 이미지 데이터 쌍의 시차를 계산할 때, 수평 시차 및 수직 시차를 각각 계산할 수 있다. 수평 시차 및 수직 시차를 출력할 수 있는 시차 예측 훈련 모델을 획득한다.

단계 S54에서, 손실 함수를 결정하여, 손실 함수 및 테스트 데이터 세트에 따라 시차 예측 모델을 검출하여, 타겟 시점 생성 파라미터를 획득한다.

상기 획득된 시차 예측 훈련 모델에 따라 출력된 시차 영상과 기존의 시차 영상을 비교하여, 시차 예측 훈련 모델에 의해 출력된 시차 영상과 기존의 시차 영상 사이의 오차를 결정함으로써, 손실 함수를 결정한다. 결정된 손실 함수 및 상기 획득된 테스트 데이터 세트에 따라 시차 훈련 모델에 대해 출력 결과의 검출을 수행하여, 타겟 시점 생성 파라미터를 결정하며, α를 사용하여 표시하며, 여기서 α의 값의 범위는 0≤α≤1이다. 결정된 타겟 시점 생성 파라미터 α는 타겟 시점의 타겟 영상이 제1 원본 이미지에 더 접근하는지 또는 제2 원본 이미지에 더 접근하는지를 결정하기 위한 것이다.

여기서, 타겟 시점 생성 파라미터 α의 조건 하에서, 타겟 시점 픽셀 좌표와 타겟 시점 픽셀이 원본 이미지 데이터에서의 픽셀의 좌표 관계는 다음과 같다.

여기서,

는 타겟 시점이 타겟 시점 생성 파라미터 α의 조건 하에서의 수평 좌표이고,

는 타겟 시점이 타겟 시점 생성 파라미터 α의 조건 하에서의 수직 좌표이며,

는 타겟 시점 픽셀이 원본 이미지 데이터의 중심에서의 대응하는 픽셀의 수평 좌표이며,

는 타겟 시점 생성 파라미터 α의 조건 하에서의 수평 시차이며,

는 타겟 시점 픽셀이 원본 이미지 데이터의 중심에서의 대응하는 픽셀의 수직 좌표이며,

는 타겟 시점 생성 파라미터 α의 조건 하에서의 수직 시차이다.

여기서,

는 또한

로 표시될 수 있고,

는

로 표시될 수 있다.

단계 S55에서, 손실 함수 및 타겟 시점 생성 파라미터에 기반하여 시차 예측 훈련 모델을 디버깅하여 시차 예측 모델을 획득한다.

상기 결정된 손실 함수 및 타겟 시점 생성 파라미터를 시차 예측 훈련 모델에 설정됨에 따라, 이미지 데이터 쌍 사이의 수평 시차 및 수직 시차를 예측할 수 있는 시차 예측 모델을 획득한다.

본 발명의 일 예시적 실시예에서, 다음의 함수를 사용하여 상기 언급된 손실 함수를 결정한다.

본 발명의 일 실시형태에서, 손실 함수는 시차 예측 모델에 의해 출력된 양안 입체 이미지 데이터 시차와 훈련 데이터 세트에서의 양안 입체 이미지 데이터 시차 사이의 평균 절대 오차(the Mean Absolute Error, MAE), 픽셀점 오차 및 구조적 유사성(the Structural similarity index Measure, SSIM)으로 구성된다.

손실 함수는 다음의 함수를 사용하여 표시될 수 있다.

여기서,

는 시차 예측 모델에 의해 출력된 양안 입체 이미지 데이터 시차와 훈련 데이터 세트에서의 양안 입체 이미지 데이터 시차 사이의 평균 절대 오차이고,

은 픽셀점 오차, 즉 최대 신호 대 잡음비이며,

은 구조적 유사성이며,

는 예측 시차 영상에서의 픽셀이며,

는 실제 시차 영상에서의 픽셀이다.

은 시차 예측 모델에 의해 출력된 양안 입체 이미지 데이터 시차와 훈련 데이터 세트에서의 양안 입체 이미지 데이터 시차의 평균 절대 오차의 가중치이며,

는 픽셀점 오차의 가중치이며,

은 구조적 유사성의 가중치이다.

MAE는 다음의 함수로 표시될 수 있으며,

여기서,

는 양안 입체 이미지 데이터 세트 중 이미지의 폭이고,

는 양안 입체 이미지 데이터 세트 중 이미지의 높이이고,

는 예측 시차 영상에서의 픽셀의 좌표이며,

는 실제 시차 영상에서의 픽셀의 좌표이다.

픽셀점 오차, 즉 오차 감도에 기반한 이미지 품질 평가는, 이미지 객관 평가 지표이고, 최대 신호 대 잡음비(the Peak Signal to Noise Ratio, PSNR)이며, 수치가 클수록 왜곡이 작다. MAE는 하기 함수식으로 표시되며,

여기서,

는 시차 예측 모델에 의해 출력된 양안 입체 이미지 데이터 시차와 훈련 데이터 세트에서의 양안 입체 이미지 데이터 시차의 평균 제곱 오차이고, n은 각 픽셀의 비트수이다.

시차 예측 모델에 의해 출력된 양안 입체 이미지 데이터 시차와 훈련 데이터 세트에서의 양안 입체 이미지 데이터 시차의 평균 제곱 오차는, 하기 함수식으로 표시되며,

구조적 유사성은, 전체 기준 이미지 품질 평가 지표이며, 상기 구조적 유사성은 밝기, 콘트라스트 및 구조 등 세 가지 측면으로부터 이미지의 유사성을 측정할 수 있다. SSIM의 값의 범위는 [0, 1]이고, SSIM의 값이 클수록, 이미지의 왜곡이 작다. SSIM은 하기 함수식으로 표시될 수 있으며,

여기서,

는 밝기이고,

는 콘트라스트이며,

는 구조이고,

는 예측 시차 영상에서의 픽셀이며,

는 시차 영상에서의 픽셀이다.

밝기

는 하기 함수식으로 표시되며,

는 예측 시차 영상에서의 픽셀의 평균값이고,

는 실제 시차 영상에서의 픽셀의 평균값이며,

은 상수이다.

콘트라스트

는 하기 함수식으로 표시되며,

는 예측 시차 영상에서의 픽셀의 분산이고,

는 실제 시차 영상에서의 픽셀의 분산이며,

는 상수이다.

구조

는 하기 함수식으로 표시되며,

는 예측 시차 영상에서의 픽셀과 실제 시차 영상에서의 픽셀의 공분산이고,

는 예측 시차 영상에서의 픽셀과 실제 시차 영상에서의 픽셀의 수평 공분산이며,

는 예측 시차 영상에서의 픽셀과 실제 시차 영상에서의 픽셀의 수직 공분산이며,

은 상수이다.

도 7은 일 예시적 실시예에 따라 도시된 전 방향 시차 영상 합성의 방법 흐름도이다. 도 7에 도시된 바와 같이, 본 발명의 일 예시적 실시예에서, 수평 시차 및 수직 시차 타겟 시점에 따라 원본 이미지 데이터에서의 픽셀을 획득하는 방법은 단계 S71-단계 S74를 포함한다.

단계 S71에서, 타겟 시점을 획득한다.

상기 실시예에서, 원본 이미지 데이터 쌍의 기준선에서 타겟 시점을 결정하여, 상기 타겟 시점을 획득하고, 타겟 시점의 픽셀 좌표를 더 획득함을 알 수 있다.

단계 S72에서, 타겟 시점 및 수평 시차에 따라, 타겟 시점이 수평 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리를 결정한다.

타겟 시점의 픽셀 좌표 및 획득된 수평 시차에 따라, 타겟 시점이 수평 방향으로 원본 이미지 데이터에서의 대응하는 타겟 픽셀까지의 거리, 즉 타겟 시점이 수평 방향으로 이동해야 하는 거리를 결정한다.

단계 S73에서, 타겟 시점 및 수직 시차에 따라, 타겟 시점이 수직 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리를 결정한다.

타겟 시점의 픽셀 좌표 및 획득된 수직 시차에 따라, 타겟 시점이 수직 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리, 즉 타겟 시점이 수직 방향으로 이동해야 하는 거리를 결정한다.

단계 S74에서, 타겟 시점이 수평 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리 및 타겟 시점이 수직 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리에 따라, 타겟 시점이 원본 이미지 데이터에서의 대응하는 타겟 픽셀을 결정하고 획득한다.

상기 실시예에서 획득된 타겟 시점으로부터 원본 이미지 데이터에서의 대응하는 픽셀까지의 수평 방향 거리 및 수직 방향 거리에 따라, 타겟 시점 픽셀 좌표가 원본 이미지 데이터에서의 대응하는 타겟 픽셀 좌표를 결정하며, 타겟 픽셀 좌표에 따라 타겟 픽셀을 결정하고 획득한다.

상기 전 방향 시차 영상 합성 방법에 따라 타겟 시점을 획득한 후, 타겟 시점 픽셀 좌표를 결정하여, 시차 예측 모델에 의해 출력된 수평 시차 및 수직 시차에 따라 타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀의 좌표를 계산한다. 나아가, 본 발명에서, 원본 이미지 데이터 쌍에서의 제1 원본 이미지를 예로 들면, 예측된 수평 시차 및 수직 시차에 따라 타겟 시점 픽셀이 제1 원본 이미지에서의 대응하는 픽셀을 계산한다.

도 8은 일 예시적 실시예에 따라 도시된 전 방향 시차 영상 합성 방법의 흐름도이다. 도 8에 도시된 바와 같이, 본 발명의 일 예시적 실시예에서, 타겟 시점이 수평 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리 및 타겟 시점이 수직 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리에 따라, 타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀을 계산하고 획득하는 방법은 단계 S81-단계 S83을 포함한다.

단계 S81에서, 타겟 시점이 수평 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리 및 타겟 시점이 수직 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리에 따라, 타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀의 인접 픽셀을 결정한다.

타겟 시점 픽셀 좌표를 결정하여, 수평 시차 및 수직 시차에 따라 타겟 시점 픽셀 좌표를 계산함으로써, 타겟 시점이 원본 이미지에서의 픽셀 좌표를 획득하는 방법은, 다음의 공식으로 표시될 수 있으며,

여기서,

는 타겟 영상 픽셀 좌표이고,

는 수평 시차이며,

는 수직 시차이고,

는 원본 이미지 데이터에서의 대응하는 픽셀 좌표이며,

는 원본 이미지 픽셀 좌표가 타겟 영상 픽셀 좌표에 기반한 좌표이다.

타겟 픽셀이 원본 이미지 데이터에서의 대응하는 픽셀 좌표를 결정한 후, 쌍 선형 보간법을 사용하여 타겟 픽셀이 원본 이미지 데이터에서의 대응하는 픽셀 좌표에 인접한 4 개의 픽셀을 결정하고, 인접한 4 개의 픽셀의 좌표를 획득하며,

은 제1 인접 픽셀이고,

은 제2 인접 픽셀이며,

은 제3 인접 픽셀이고,

은 제4 인접 픽셀이다.

단계 S82에서, 인접 픽셀과 타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀 사이의 거리 선형 비례 관계에 따라 각 인접 픽셀에 대응하는 가중치를 결정하고, 모든 인접 픽셀에 대응하는 가중치의 합은 1이다.

4 개의 인접 픽셀의 가중치를 결정하며, 각각 제1 가중치 W₁, 제2 가중치 W₂, 제3 가중치 W₃, 제4 가중치 W₄이며, 4 개의 인접 픽셀에서 타겟 픽셀이 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리에 따라 4 개의 가중치 간의 비례 관계를 결정하며, W₁+W₂+W₃+W₄=1 이다.

단계 S83에서, 타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀의 인접 픽셀 및 인접 픽셀에 대응하는 가중치에 따라 타겟 시점 픽셀을 계산하여 획득한다.

인접 픽셀점을 결정한 후, 타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀의 인접 픽셀 및 인접 픽셀에 대응하는 가중치에 따라 타겟 시점 픽셀을 계산하여 획득한다.

여기서, 타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀의 인접 픽셀 및 인접 픽셀에 대응하는 가중치에 따라 타겟 시점 픽셀을 계산하는 계산식은 다음과 같으며,

여기서,

은 타겟 시점의 합성 영상이고; W₁은 타겟 시점의 제1 인접점의 픽셀 가중치이고, W₂는 타겟 시점의 제2 인접점의 픽셀 가중치이며, W₃은 타겟 시점의 제3 인접점의 픽셀 가중치이며, W₄는 타겟 시점의 제4 인접점의 픽셀 가중치이고, 또한 W₁+W₂+W₃+W₄=1이며;

은 타겟 시점의 제1 인접점의 픽셀이고;

은 타겟 시점의 제2 인접점의 픽셀이며;

은 타겟 시점의 제3 인접점의 픽셀이며;

은 타겟 시점의 제4 인접점의 픽셀이다.

동일한 개념에 기초하여, 본 개시 내용의 실시 예들은 전 방향 시차 영상 합성 장치를 더 제공한다.

이해할 수 있는 것은, 본 발명의 실시예에서 제공한 전 방향 시차 영상 합성 장치는 상기 기능을 구현하기 위해, 다양한 기능을 실행하는 상응한 하드웨어 구조 및 소프트웨어 모듈 중 적어도 하나를 포함한다. 본 발명의 실시예에 개시된 각 예의 유닛 및 알고리즘 단계를 참조하여, 본 발명의 실시예는 하드웨어의 형태 또는 하드웨어 및 컴퓨터 소프트웨어의 조합 형태로 구현될 수 있다. 어느 기능이 하드웨어에 의해 실행되거나 컴퓨터 소프트웨어가 하드웨어를 구동하는 방식에 의해 구현될지는 기술방안의 특정 응용 및 설계 한정 조건에 따라 결정된다. 당업자는 각 특정된 응용에 대해 상이한 방법을 사용하여 설명된 기능을 구현할 수 있으나, 이러한 구현은 본 발명의 실시예의 기술방안의 범위를 벗어나는 것으로 간주되어서는 안 된다.

도 9는 일 예시적 실시예에 따라 도시된 전 방향 시차 영상 합성 장치의 블록도이다. 도 9를 참조하면, 상기 시차 영상 합성 장치는 획득 모듈(901), 결정 모듈(902) 및 합성 모듈(903)을 포함한다.

획득 모듈(901)은, 원본 이미지 데이터 쌍 사이의 시차를 획득하기 위한 것이며, 여기서, 시차는 수평 시차 및 수직 시차를 포함하며; 결정 모듈(902)은, 원본 이미지 데이터 쌍 사이의 기준선에 기반하여 타겟 시점을 결정하기 위한 것이다. 상기 획득 모듈은 또한, 수평 시차 및 수직 시차에 따라 상기 타겟 시점이 원본 이미지 데이터에서의 타겟 픽셀을 획득하기 위한 것이다. 합성 모듈(903)은, 타겟 픽셀에 따라 상기 타겟 시점의 타겟 영상을 합성하기 위한 것이다.

상기 장치에서, 수평 시차 및 수직 시차에 따라 결정된 타겟 시점 픽셀이 원본 이미지 데이터에서의 대응하는 픽셀은, 타겟 시점 픽셀이 원본 이미지 데이터에서의 대응하는 픽셀을 결정하는 정확도를 향상시키며, 나아가 타겟 영상의 정확도를 향상시킨다.

본 발명의 일 예시적 실시예에서, 획득 모듈(901)은 다음의 방식으로 원본 이미지 데이터 쌍 사이의 시차를 획득한다. 즉,

원본 이미지 데이터 쌍을 획득하는 방식; 및 원본 이미지 데이터 쌍을 미리 구축된 시차 예측 모델에 입력하여, 원본 이미지 데이터 쌍 사이의 수평 시차 및 수직 시차를 획득하는 방식이다.

본 발명의 일 예시적 실시예에서, 상기 전 방향 시차 영상 합성 장치는 구축 모듈을 더 포함하며, 상기 구축 모듈은 다음의 방식으로 시차 예측 모델을 미리 구축한다. 즉,

양안 입체 이미지 데이터 세트를 결정하는 방식, 양안 입체 이미지 데이터 세트는 양안 입체 이미지의 수평 방향 데이터 및 수직 방향 데이터를 포함함 -; 양안 입체 이미지 데이터 세트에 기반하여 시차 예측 모델의 훈련 데이터 세트 및 테스트 데이터 세트를 결정하는 방식; 훈련 데이터 세트에 대해 딥 뉴럴 네트워크 훈련을 수행하여, 시차 예측 훈련 모델을 획득하는 방식; 손실 함수를 결정하여, 손실 함수 및 테스트 데이터 세트에 따라 시차 예측 모델을 검출하여, 타겟 시점 생성 파라미터를 획득하는 방식; 및 손실 함수 및 타겟 시점에 기반하여 파라미터 디버깅 시차 예측 훈련 모델시차 예측 모델을 획득하는 방식이다.

본 발명의 일 예시적 실시예에서, 결정 모듈은 또한,

본 발명의 일 예시적 실시예에서, 결정 모듈은 다음의 방식으로 타겟 시점이 원본 이미지 데이터에서의 픽셀을 결정한다. 즉,

타겟 시점을 획득하는 방식; 타겟 시점 및 수평 시차에 따라, 타겟 시점이 수평 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리를 결정하는 방식; 타겟 시점 및 수직 시차에 따라, 타겟 시점이 수직 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리를 결정하는 방식; 및 타겟 시점이 수평 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리 및 타겟 시점이 수직 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리에 따라, 타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀을 결정하고 획득하는 방식이다.

본 발명의 일 예시적 실시예에서, 결정 모듈은 다음의 방식으로 타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀을 결정한다.

타겟 시점이 수평 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리 및 타겟 시점이 수직 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리에 따라, 타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀의 인접 픽셀을 결정하는 방식; 인접 픽셀과 타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀 사이의 거리 선형 비례 관계에 따라 각 인접 픽셀에 대응하는 가중치를 결정하는 방식 - 모든 인접 픽셀에 대응하는 가중치의 합은 1임 -; 및 타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀의 인접 픽셀 및 인접 픽셀에 대응하는 가중치에 따라 타겟 시점에 대응하는 타겟 픽셀을 계산하는 방식이다.

본 발명의 일 예시적 실시예에서, 결정 모듈은 계산 유닛을 더 포함하며, 계산 유닛은 다음의 방식으로 타겟 픽셀을 결정한다.

여기서,

은 타겟 시점의 제1 인접점의 픽셀이고;

은 타겟 시점의 제2 인접점의 픽셀이며;

은 타겟 시점의 제3 인접점의 픽셀이며;

은 타겟 시점의 제4 인접점의 픽셀이다.

상기 실시예의 장치와 관련하여, 그 중의 각 모듈이 동작을 실행하는 구체적인 방식은 상기 전 방향 시차 영상 합성 방법의 실시예에서 상세히 설명되었고, 여기서 상세한 설명은 하지 않는다.

도 10은 일 예시적 실시예에 따라 도시된 전 방향 시차 영상 합성 장치(1000)의 블록도이다. 예를 들어, 장치(1000)는 휴대폰, 컴퓨터, 디지털 단말, 메시징 기기, 게임 콘솔, 태블릿 기기, 의료 기기, 피트니스 기기, 개인 휴대용 단말기 등일 수 있다.

도 8을 참조하면, 장치(1000)는 처리 컴포넌트(1002), 메모리(1004), 전력 컴포넌트(1006), 멀티미디어 컴포넌트(1008), 오디오 컴포넌트(1010), 입력/출력(I/O) 인터페이스(1012), 센서 컴포넌트(1014) 및 통신 컴포넌트(1016) 중 하나 또는 복수 개의 컴포넌트를 포함할 수 있다.

처리 컴포넌트(1002)는 일반적으로 디스플레이, 전화 통화, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작과 같은 장치(1000)의 전체적인 동작을 제어한다. 처리 컴포넌트(1002)는 상기 전 방향 시차 영상 합성 방법의 전부 또는 일부 단계를 완료하기 위한 명령어를 수행하는 하나 또는 복수 개의 프로세서(1020)를 포함할 수 있다. 또한, 처리 컴포넌트(1002)는 처리 컴포넌트(1002) 및 다른 컴포넌트 사이의 교호를 용이하게 하기 위해, 하나 또는 복수 개의 모듈을 포함할 수 있다. 예를 들어, 처리 컴포넌트(1002)는 멀티미디어 컴포넌트(1008) 및 처리 컴포넌트(1002) 사이의 교호를 용이하게 하기 위해, 멀티미디어 모듈을 포함할 수 있다.

메모리(1004)는 전자 장치(1000)의 동작을 지원하기 위해 다양한 타입의 데이터를 저장하도록 구성된다. 이러한 데이터의 예는 장치(1000)에서 동작하는 임의의 애플리케이션 프로그램 또는 방법의 명령어, 연락인 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(1004)는 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM), 전기적 소거 가능한 프로그래머블 읽기 전용 메모리(Electrically Erasable Programmable Read Only Memory, EEPROM), 소거 가능한 프로그래머블 읽기 전용 메모리(Erasable Programmable Read Only Memory, EPROM), 프로그래머블 읽기 전용 메모리(Programmable Read Only Memory, PROM), 읽기 전용 메모리(Read Only Memory, ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광 디스크 중 어느 한 타입의 휘발성 또는 비 휘발성 저장 기기 또는 이들의 조합에 의해 구현될 수 있다.

전력 컴포넌트(1006)는 장치(1000)의 다양한 컴포넌트에 전력을 공급한다. 전력 컴포넌트(1006)는 전원 관리 시스템, 하나 또는 복수 개의 전원 및 장치(1000)를 위해 전력을 생성, 관리 및 분배하는 것과 관련된 다른 컴포넌트를 포함할 수 있다.

멀티미디어 컴포넌트(1008)는 상기 장치(1000) 및 사용자 사이의 하나의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에 있어서, 스크린은 액정 모니터(LCD) 및 터치 패널(TP)을 포함할 수 있다. 스크린이 터치 패널을 포함하는 경우, 스크린은 사용자로부터의 입력 신호를 수신하기 위한 터치 스크린으로서 구현될 수 있다. 터치 패널은 터치, 스와이프 및 터치 패널 상의 제스처를 감지하기 위한 하나 또는 복수 개의 터치 센서를 포함한다. 상기 터치 센서는 터치 또는 스와이프 동작의 경계를 감지할 뿐만 아니라 상기 터치 또는 스와이프 동작과 관련된 지속 시간 및 압력을 감지할 수 있다. 일부 실시예에 있어서, 멀티미디어 컴포넌트(1008)는 하나의 전방 카메라 및 하나의 후방 카메라 중 적어도 하나를 포함한다. 장치(1000)가 촬영 모드 또는 비디오 모드와 같은 동작 모드에 있을 경우, 전방 카메라 및 후방 카메라 중 적어도 하나는 외부의 멀티미디어 데이터를 수신할 수 있다. 각 전방 카메라 및 후방 카메라는 하나의 고정된 광학 렌즈 시스템이거나 초점 거리 및 광학 줌 기능을 구비할 수 있다.

오디오 컴포넌트(1010)는 오디오 신호를 출력 및/또는 입력하도록 구성된다. 예를 들어, 오디오 컴포넌트(1010)는 하나의 마이크로폰(MIC)을 포함하며, 장치(1000)가 콜 모드, 녹음 모드 및 음성 인식 모드와 같은 동작 모드에 있을 경우, 마이크로폰은 외부 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 메모리(1004)에 추가로 저장되거나 통신 컴포넌트(1016)에 의해 송신될 수 있다. 일부 실시예에 있어서, 오디오 컴포넌트(1010)는 오디오 신호를 출력하기 위한 하나의 스피커를 더 포함한다.

I/O 인터페이스(1012)는 처리 컴포넌트(1002) 및 외부 인터페이스 모듈 사이에 인터페이스를 제공하며, 상기 외부 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다. 이러한 버튼은 홈 버튼, 볼륨 버튼, 시작 버튼 및 잠금 버튼을 포함할 수 있지만 이에 한정되지 않는다.

센서 컴포넌트(1014)는 장치(1000)를 위한 다양한 방면의 상태 평가를 제공하기 위한 하나 또는 복수 개의 센서를 포함한다. 예를 들어, 센서 컴포넌트(1014)는 장치(1000)의 온/오프 상태, 컴포넌트의 상대적인 위치를 검출할 수 있으며, 예를 들어, 상기 컴포넌트는 장치(1000)의 모니터와 키패드이며, 센서 컴포넌트(1014)는 장치(1000) 또는 장치(1000)에서의 하나의 컴포넌트의 위치 변화, 사용자와 장치(1000) 접촉의 존재 유무, 장치(1000) 방향 또는 가속/감속 및 장치(1000)의 온도 변화를 검출할 수 있다. 센서 컴포넌트(1014)는 어떠한 물리적 접촉도 없이 근처의 물체의 존재를 검출하도록 구성되는 근접 센서를 포함할 수 있다. 센서 컴포넌트(1014)는 또한 이미징 응용에 사용하기 위한, CMOS 또는 CCD 이미지 센서와 같은 광 센서를 포함할 수 있다. 일부 실시예에 있어서, 상기 센서 컴포넌트(1014)는 가속도 센서, 자이로스코프 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.

통신 컴포넌트(1016)는 장치(1000)와 다른 기기 사이의 유선 또는 무선 방식으로 통신을 용이하게 하도록 구성된다. 장치(1000)는 WiFi, 2G 또는 3G 또는 이들의 조합과 같은 통신 기준에 기반한 무선 인터넷에 액세스할 수 있다. 하나의 예시적인 실시예에서, 통신 컴포넌트(1016)는 방송 채널을 통해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 하나의 예시적인 실시예에서, 상기 통신 컴포넌트(1016)는 근거리 통신을 추진하는 근거리 무선 통신(Near Field Communication, NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 식별자(Radio Frequency Identification, RFID) 기술, 적외선 통신 규격(Infrared Data Association, IrDA) 기술, 초광대역(Ultra Wideband, UWB) 기술, 블루투스(Bluetooth, BT) 기술 및 다른 기술을 기반으로 구현될 수 있다.

예시적 실시예에 있어서, 장치(1000)는 하나 또는 복수 개의 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 디지털 신호 프로세서(DSP), 디지털 신호 처리 장치(Digital Signal Processor, DSP), 프로그래머블 논리 장치(Programmable Logic Device, PLD), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA), 제어기, 마이크로 제어기, 마이크로 프로세서 또는 다른 전자 부품에 의해 구현되며, 장치(1000)는 상기 전 방향 시차 영상 합성 방법을 수행하기 위한 것이다.

예시적 실시예에 있어서, 명령어를 포함하는 메모리(1004)와 같은 명령어를 포함하는 비 일시적 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 명령어는 상기 전 방향 시차 영상 합성 방법을 완료하도록 장치(1000)의 프로세서(1020)에 의해 수행된다. 예를 들어, 상기 비 일시적 컴퓨터 판독 가능 저장 매체는 ROM, 랜덤 액세스 메모리(RAM), CD-ROM, 자기 테이프, 플로피 디스크 및 광학 데이터 저장 기기 등일 수 있다.

더 이해할 수 있는 것은, 본 발명에서 “복수 개”는 둘 또는 둘 이상을 지칭하며, 다른 양사에서 유사하게 적용된다. “및/또는”은, 연관 대상의 연관 관계를 설명하기 위한 것이며, 세 가지 관계가 존재할 수 있음을 의미하는데, 예를 들어, “A 및/또는 B”는, A가 단독적으로 존재하거나, A와 B가 동시에 존재하거나, B가 단독적으로 존재하는 세 가지 경우를 의미한다. 부호 “/”은 일반적으로 전후 연관 대상이 “또는”의 관계임을 의미한다. 단수 형태 “하나의”, “상기” 및 “해당”은 문맥상 명확하게 다른 의미를 나타내지 않는 한, 복수 형태도 포함하도록 의도된다.

더 이해해야 할 것은, 용어 “제1”, “제2” 등은 다양한 정보를 설명하기 위해 사용되지만, 이러한 정보는 이러한 용어에 의해 한정되지 않아야 한다. 이러한 용어는 한 타입의 정보를 다른 타입과 구별하기 위해서만 사용되고, 특정한 순서 또는 중요한 정도를 나타내지 않는다. 실제적으로, “제1”, “제2” 등 용어는 완전히 호환되어 사용될 수 있다. 예를 들어, 본 발명의 범위를 벗어나지 않으면서, 제 1 정보는 제 2 정보로 지칭될 수 있고; 유사하게, 제 2 정보는 또한 제 1 정보로 지칭될 수 있다.

더 이해할 수 있는 것은, 본 발명의 실시예에서 도면에 도시된 바와 같이 특정된 순서로 설명되며, 이러한 동작들이 표시된 특정 순서 또는 일련의 순서 또는 표시된 모든 것에 따라 실행되어야 하는 것으로 이해해서는 안 된다. 특정 환경에서, 복수의 작업 및 병렬 처리는 유리할 수 있다.

당업자는 본 명세서에 개시된 설명을 고려하고 본 발명을 실시한 후 본 발명의 다른 실시 예들을 쉽게 생각할 것이다. 본 출원은 본 개시의 임의의 변형, 용도 또는 적응성 변화를 포함하도록 의도되며, 이러한 변형, 용도 또는 적응성 변화는 본 개시의 일반적인 원리에 따르며, 본 개시에서 개시되지 않은 본 기술분야의 공지된 상식이나 통상적인 기술적 수단을 포함한다. 설명서 및 실시예는 다만 예시적인 것으로 간주되어야 하며, 본 발명의 진정한 범위 및 사상은 다음의 청구범위에 의해 지적된다.

본 발명은 위에서 설명되고 도면에 도시된 정확한 구조로 한정되지 않으며, 그 범위를 벗어나지 않고 다양한 수정 및 변경이 이루어질 수 있음을 이해해야 한다. 본 발명의 범위는 첨부된 청구범위에 의해서만 한정된다.

Claims

전 방향 시차 영상 합성 방법으로서,
원본 이미지 데이터 쌍 사이의 시차를 획득하는 단계 - 상기 시차는 수평 시차 및 수직 시차를 포함함 -;
원본 이미지 데이터 쌍 사이의 기준선에 기반하여 타겟 시점을 결정하는 단계;
상기 수평 시차 및 상기 수직 시차에 따라 상기 타겟 시점이 상기 원본 이미지 데이터에서의 타겟 픽셀을 획득하는 단계; 및
상기 타겟 픽셀에 따라 상기 타겟 시점의 타겟 영상을 합성하는 단계를 포함하는 것을 특징으로 하는 전 방향 시차 영상 합성 방법.
제1항에 있어서,
원본 이미지 데이터 쌍 사이의 시차를 획득하는 단계는,
원본 이미지 데이터 쌍을 획득하는 단계; 및
상기 원본 이미지 데이터 쌍을 미리 구축된 시차 예측 모델에 입력하여, 상기 원본 이미지 데이터 쌍 사이의 수평 시차 및 수직 시차를 획득하는 단계를 포함하는 것을 특징으로 하는 전 방향 시차 영상 합성 방법.
제2항에 있어서,
상기 전 방향 시차 영상 합성 방법은,
양안 입체 이미지 데이터 세트를 결정하는 단계 - 상기 양안 입체 이미지 데이터 세트는 양안 입체 이미지의 수평 방향 데이터 및 수직 방향 데이터를 포함함 -;
상기 양안 입체 이미지 데이터 세트에 기반하여 시차 예측 모델의 훈련 데이터 세트 및 테스트 데이터 세트를 결정하는 단계;
상기 훈련 데이터 세트에 대해 딥 뉴럴 네트워크 훈련을 수행하여, 시차 예측 훈련 모델을 획득하는 단계;
손실 함수를 결정하여, 상기 손실 함수 및 테스트 데이터 세트에 따라 상기 시차 예측 모델을 검출하고, 타겟 시점 생성 파라미터를 획득하는 단계; 및
상기 손실 함수 및 상기 타겟 시점 생성 파라미터에 기반하여 상기 시차 예측 훈련 모델을 디버깅하여 시차 예측 모델을 획득하는 단계를 사용하여 시차 예측 모델을 미리 구축하는 단계를 포함하는 것을 특징으로 하는 전 방향 시차 영상 합성 방법.
제3항에 있어서,
상기 손실 함수를 결정하는 단계는,
획득된 시차 예측 모델에 의해 출력된 양안 입체 이미지 데이터 시차와 훈련 데이터 세트에서의 양안 입체 이미지 데이터 시차의 평균 절대 오차, 픽셀점 오차 및 구조적 유사성에 기반하여, 손실 함수를 결정하는 단계를 포함하는 것을 특징으로 하는 전 방향 시차 영상 합성 방법.
제1항에 있어서,
상기 수평 시차 및 상기 수직 시차에 따라 상기 타겟 시점이 상기 원본 이미지 데이터에서의 타겟 픽셀을 획득하는 단계는,
타겟 시점을 획득하는 단계;
상기 타겟 시점 및 수평 시차에 따라, 타겟 시점이 수평 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리를 결정하는 단계;
상기 타겟 시점 및 수직 시차에 따라, 타겟 시점이 수직 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리를 결정하는 단계; 및
상기 타겟 시점이 수평 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리 및 타겟 시점이 수직 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리에 따라, 타겟 시점이 상기 원본 이미지 데이터에서의 대응하는 타겟 픽셀을 결정하고 획득하는 단계를 포함하는 것을 특징으로 하는 전 방향 시차 영상 합성 방법.
제5항에 있어서,
상기 타겟 시점이 수평 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리 및 타겟 시점이 수직 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리에 따라, 타겟 시점이 상기 원본 이미지 데이터에서의 대응하는 타겟 픽셀을 결정하고 획득하는 단계는,
상기 타겟 시점이 수평 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리 및 타겟 시점이 수직 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리에 따라, 타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀의 인접 픽셀을 결정하는 단계;
상기 인접 픽셀과 타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀 사이의 거리 선형 비례 관계에 따라 각 인접 픽셀에 대응하는 가중치를 결정하는 단계 - 모든 인접 픽셀에 대응하는 가중치의 합은 1임 -; 및
타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀의 인접 픽셀 및 상기 인접 픽셀에 대응하는 가중치에 따라 타겟 시점에 대응하는 타겟 픽셀을 계산하는 단계를 포함하는 것을 특징으로 하는 전 방향 시차 영상 합성 방법.
제6항에 있어서,
타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀의 인접 픽셀 및 상기 인접 픽셀에 대응하는 가중치에 따라 타겟 시점에 대응하는 타겟 픽셀을 계산하는 단계는,

으로 구현되며,

은 타겟 시점의 합성 영상이고; W₁은 타겟 시점의 제1 인접점의 픽셀 가중치이고, W₂는 타겟 시점의 제2 인접점의 픽셀 가중치이며, W₃은 타겟 시점의 제3 인접점의 픽셀 가중치이며; W₄는 타겟 시점의 제4 인접점의 픽셀 가중치이고, 또한 W₁+W₂+W₃+W₄=1이며;
은 타겟 시점의 제1 인접점의 픽셀이고;
은 타겟 시점의 제2 인접점의 픽셀이며;
은 타겟 시점의 제3 인접점의 픽셀이며;
은 타겟 시점의 제4 인접점의 픽셀인 것을 특징으로 하는 전 방향 시차 영상 합성 방법.
전 방향 시차 영상 합성 장치로서,
원본 이미지 데이터 쌍 사이의 시차를 획득하기 위한 획득 모듈 - 상기 시차는 수평 시차 및 수직 시차를 포함함 -;
원본 이미지 데이터 쌍 사이의 기준선에 기반하여 타겟 시점을 결정하기 위한 결정 모듈;
또한 상기 수평 시차 및 상기 수직 시차에 따라 상기 타겟 시점이 상기 원본 이미지 데이터에서의 타겟 픽셀을 획득하기 위한 상기 획득 모듈; 및
상기 타겟 픽셀에 따라 상기 타겟 시점의 타겟 영상을 합성하기 위한 합성 모듈을 포함하는 것을 특징으로 하는 전 방향 시차 영상 합성 장치.
제8항에 있어서,
상기 획득 모듈은,
원본 이미지 데이터 쌍을 획득하고; 및
상기 원본 이미지 데이터 쌍을 미리 구축된 시차 예측 모델에 입력하여, 상기 원본 이미지 데이터 쌍 사이의 수평 시차 및 수직 시차를 획득하는 방식으로 원본 이미지 데이터 쌍 사이의 시차를 획득하는 것을 특징으로 하는 전 방향 시차 영상 합성 장치.
제9항에 있어서,
상기 전 방향 시차 영상 합성 장치는 구축 모듈을 더 포함하며, 상기 구축 모듈은,
양안 입체 이미지 데이터 세트를 결정하며 - 상기 양안 입체 이미지 데이터 세트는 양안 입체 이미지의 수평 방향 데이터 및 수직 방향 데이터를 포함함 -;
상기 양안 입체 이미지 데이터 세트에 기반하여 시차 예측 모델의 훈련 데이터 세트 및 테스트 데이터 세트를 결정하며;
상기 훈련 데이터 세트에 대해 딥 뉴럴 네트워크 훈련을 수행하여, 시차 예측 훈련 모델을 획득하며;
손실 함수를 결정하고, 상기 손실 함수 및 테스트 데이터 세트에 따라 상기 시차 예측 모델을 검출하고, 타겟 시점 생성 파라미터를 획득하며; 및
상기 손실 함수 및 상기 타겟 시점 생성 파라미터에 기반하여 상기 시차 예측 훈련 모델을 디버깅하여 시차 예측 모델을 획득하는 방식으로 시차 예측 모델을 구축하는 것을 특징으로 하는 전 방향 시차 영상 합성 장치.
제10항에 있어서,
상기 결정 모듈은 또한,
획득된 시차 예측 모델에 의해 출력된 양안 입체 이미지 데이터 시차와 훈련 데이터 세트에서의 양안 입체 이미지 데이터 시차의 평균 절대 오차, 픽셀점 오차 및 구조적 유사성에 기반하여, 손실 함수를 결정하기 위한 것임을 특징으로 하는 전 방향 시차 영상 합성 장치.
제8항에 있어서,
상기 결정 모듈은,
타겟 시점을 획득하며;
상기 타겟 시점 및 수평 시차에 따라, 타겟 시점이 수평 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리를 결정하며;
상기 타겟 시점 및 수직 시차에 따라, 타겟 시점이 수직 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리를 결정하며; 및
상기 타겟 시점이 수평 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리 및 타겟 시점이 수직 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리에 따라, 타겟 시점이 상기 원본 이미지 데이터에서의 대응하는 타겟 픽셀을 결정하고 획득하는 방식으로 상기 타겟 시점이 상기 원본 이미지 데이터에서의 타겟 픽셀을 획득하는 것을 특징으로 하는 전 방향 시차 영상 합성 장치.
제12항에 있어서,
상기 결정 모듈은,
상기 타겟 시점이 수평 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리 및 타겟 시점이 수직 방향으로 원본 이미지 데이터에서의 대응하는 픽셀까지의 거리에 따라, 타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀의 인접 픽셀을 결정하며;
상기 인접 픽셀과 타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀 사이의 거리 선형 비례 관계에 따라 각 인접 픽셀에 대응하는 가중치를 결정하며 - 모든 인접 픽셀에 대응하는 가중치의 합은 1임 -; 및
타겟 시점이 원본 이미지 데이터에서의 대응하는 픽셀의 인접 픽셀 및 상기 인접 픽셀에 대응하는 가중치에 따라 타겟 시점에 대응하는 타겟 픽셀을 계산하는 방식으로 타겟 시점이 상기 원본 이미지 데이터에서의 대응하는 타겟 픽셀을 결정하는 것을 특징으로 하는 전 방향 시차 영상 합성 장치.
제13항에 있어서,
상기 결정 모듈은 계산 유닛을 더 포함하며, 상기 계산 유닛은,

으로 타겟 시점에 대응하는 타겟 픽셀을 결정하며,

은 타겟 시점의 합성 영상이고; W₁은 타겟 시점의 제1 인접점의 픽셀 가중치이고, W₂는 타겟 시점의 제2 인접점의 픽셀 가중치이며, W₃은 타겟 시점의 제3 인접점의 픽셀 가중치이며; W₄는 타겟 시점의 제4 인접점의 픽셀 가중치이고, 또한 W₁+W₂+W₃+W₄=1이며;
은 타겟 시점의 제1 인접점의 픽셀이고;
은 타겟 시점의 제2 인접점의 픽셀이며;
은 타겟 시점의 제3 인접점의 픽셀이며;
은 타겟 시점의 제4 인접점의 픽셀인 것을 특징으로 하는 전 방향 시차 영상 합성 장치.
전 방향 시차 영상 합성 장치로서,
프로세서; 및
프로세서에서 실행 가능한 명령어를 실행하기 위한 메모리를 포함하며;
상기 프로세서는 제1항 내지 제7항 중 어느 한 항에 따른 전 방향 시차 영상 합성 방법을 실행하도록 구성된 것을 특징으로 하는 전 방향 시차 영상 합성 장치.
비일시적 컴퓨터 판독 가능한 저장 매체로서,
상기 저장 매체 중의 명령어가 네트워크 기기의 프로세서에 의해 실행될 때, 전자 기기로 하여금 제1항 내지 제7항 중 어느 한 항에 따른 전 방향 시차 영상 합성 방법을 실행하도록 하는 것을 특징으로 하는 비일시적 컴퓨터 판독 가능한 저장 매체.