KR20210076851A

KR20210076851A - 시차 결정 방법, 전자 장치 및 컴퓨터 판독 가능한 저장 매체

Info

Publication number: KR20210076851A
Application number: KR1020200173110A
Authority: KR
Inventors: 수 팡; 지 저우; 신펑 펑
Original assignee: 넥스트브이피유 (상하이) 코포레이트 리미티드
Priority date: 2019-12-13
Filing date: 2020-12-11
Publication date: 2021-06-24
Also published as: KR102297082B1; JP7030356B2; WO2021114871A1; CN112991404A; JP2021096846A; EP3836082A1

Abstract

시차 결정 방법, 전자 장치 및 컴퓨터 판독 가능한 저장 매체를 제공한다. 상기 시차 결정 방법은, 제1 이미지 및 제2 이미지에 대해 다운샘플링 처리를 진행하여, 제1 크기를 갖는 제1 이미지 및 상기 제1 크기를 갖는 제2 이미지를 얻는 단계; 상기 제1 크기를 갖는 제1 이미지 및 상기 제1 크기를 갖는 제2 이미지에 대해 제1 단계 시차 계산 처리를 진행하여, 상기 제1 크기를 갖는 제1 시차맵을 얻는 단계; 및 상기 제1 시차맵의 제2 크기를 갖는 업샘플링 시차맵을 기반으로, 상기 제2 크기를 갖는 제1 이미지 및 상기 제2 크기를 갖는 제2 이미지에 대해 제2 단계 시차 계산 처리를 진행하여, 상기 제2 크기를 갖는 제2 시차맵을 얻는 단계를 포함한다.

Description

시차 결정 방법, 전자 장치 및 컴퓨터 판독 가능한 저장 매체{DISPARITY DETERMINING METHOD, ELECTRONIC DEVICE, AND COMPUTER-READABLE STORAGE MEDIUM}

본 공개는 컴퓨터 비전 기술 분야에 관한 것으로, 특히 시차 결정 방법, 전자 장치 및 컴퓨터 판독 가능한 저장 매체에 관한 것이다.

관련 기술에서, 컴퓨터 비전 기술을 이용하여 동일한 장면의 서로 다른 시각의 두 이미지에서의 각각 서로 매칭되는 픽셀 쌍 사이의 시차를 획득하여, 시차맵을 얻고, 상기 시차맵을 기반으로 상기 장면의 깊이 정보를 얻을 수 있으며, 상기 깊이 정보는 3차원 재구성, 자동 주행, 장애물 검출 등 각종 분야에 이용될 수 있다.

여기서 설명되는 방법은 반드시 이전에 이미 구상되거나 사용된 방법만은 아니다. 별도로 명시적으로 언급되지 않는 한, 여기서 설명되는 모든 방법은 여기에 포함되어 있다는 이유만으로 종래 기술로 간주되어서는 안 된다. 유사하게, 별도로 명시적으로 언급되지 않는 한, 여기서 언급한 문제가 모든 종래 기술에서 공인된 것으로 간주되어서는 안 된다.

본 발명은 전술한 내용을 감안하여 이루어진 발명이다.

본 공개의 제1 측면에 따르면, 제1 이미지와 제2 이미지에 대해 다운샘플링 처리하여, 제1 크기를 갖는 제1 이미지와 상기 제1 크기를 갖는 제2 이미지를 얻는 단계; 상기 제1 크기를 갖는 제1 이미지와 상기 제1 크기를 갖는 제2 이미지에 대해 제1 단계 시차 계산 처리를 진행하여, 상기 제1 크기를 갖는 제1 시차맵을 얻는 단계; 및 상기 제1 시차맵의 제2 크기를 갖는 업샘플링 시차맵을 기반으로, 상기 제2 크기를 갖는 제1 이미지와 상기 제2 크기를 갖는 제2 이미지에 대해 제2 단계 시차 계산 처리를 진행하여, 상기 제2 크기를 갖는 제2 시차맵을 얻는 단계를 포함하는 시차 결정 방법을 제공한다.

본 공개의 다른 측면에 따르면, 프로세서; 및 상기 프로세서에 의해 실행될 경우 상기 프로세서가 본 공개에 따른 상기 방법을 실행하도록 하는 명령을 포함하는 프로그램을 저장하는 메모리;를 포함하는 전자 장치를 제공한다.

본 공개의 다른 측면에 따르면, 전자 장치의 프로세서에 의해 실행될 경우, 상기 전자 장치가 본 공개에 따른 상기 방법을 실행하도록 하는 명령을 포함하는 프로그램을 저장하는 컴퓨터 판독 가능한 저장 매체를 제공한다.

이하 도면과 결합하여 설명하는 예시적 실시예로부터, 본 공개의 더 많은 특징 및 장점이 명백해질 것이다.

첨부된 도면은 실시예를 예시적으로 도시하고 명세서의 일부를 구성하여, 명세서의 문자 설명과 함께 실시예의 예시적인 실시 형태를 해석하기 위한 것이다. 도시된 실시예는 단지 예시하기 위한 것일 뿐, 청구항의 범위를 제한하는 것은 아니다. 모든 도면에서, 동일한 도면 부호는 유사하지만 반드시 동일한 것이 아닌 요소를 가리킨다.
도 1은 본 공개의 예시적 실시예에 따른 시차 결정 방법을 나타낸 흐름도이다.
도 2는 본 공개의 예시적 실시예에 따른 시차 결정 방법을 나타낸 다른 흐름도이다.
도 3은 본 공개의 예시적 실시예에 따른 제2 단계 시차 계산 처리를 나타낸 흐름도이다.
도 4는 본 공개의 예시적 실시예에 따른 제2 단계 시차 계산 처리를 나타낸 다른 흐름도이다.
도 5는 본 공개의 예시적 실시예에 따른 2단계 시차 계산 처리를 포함하는 시차 결정 방법을 나타낸 전체적 블록도이다.
도 6a 및 도 6b는 각각 본 공개의 예시적 실시예에 따른 기준 이미지 및 대응하는 참값 시차맵을 나타낸 개략도이다.
도 6c 및 도6d는 각각 본 공개의 예시적 실시예에 따른 시차 결정 방법에 의해 도6a에 도시한 기준 이미지를 기준으로 2단계 시차 처리하여 얻은 업샘플링 처리된 초기 시차맵 및 최적화 시차맵을 나타낸 개략도이다.
도 7은 본 공개의 예시적 실시예에 응용될 수 있는 예시적 컴퓨터 장치를 나타낸 구조 블록도이다.

본 공개에서, 별도의 설명이 없는 한, 다양한 요소를 설명하기 위해 사용되는 "제1", "제2" 등의 용어는 이러한 요소들의 위치적 관계, 타이밍 관계 또는 중요성 관계를 제한하기 위한 것이 아니라, 하나의 요소와 다른 하나의 요소를 구별하기 위한 것이다. 일부 예시에서, 제1 요소와 제2 요소는 해당 요소의 동일한 실예를 가리킬 수 있으며, 일부 경우에는, 문맥에 기반하면, 이들은 서로 다른 실예를 가리킬 수도 있다.

본 공개에서의 다양한 예시의 설명에 사용되는 용어는 단지 특정 예시를 설명하기 위한 것일 뿐, 제한하려는 의도는 아니다. 문맥 상 별도의 명시적인 언급이 없는 한, 요소의 수량이 특별히 한정되지 않으면, 해당 요소는 하나일 수도 있고 여러 개일 수 있다. 그밖에, 본 공개에서 사용하는 용어 "및/또는"은 열거된 항목의 임의의 하나 및 모든 가능한 조합 방식을 포함한다.

관련 기술에서, 컴퓨터 비전 기술을 이용하여 동일한 장면의 서로 다른 시각의 두 이미지에서의 각각 서로 매칭되는 픽셀 쌍 사이의 시차를 획득하여, 시차맵을 얻고, 상기 시차맵을 기반으로 상기 장면의 깊이 정보를 얻을 수 있으며, 상기 깊이 정보는 3차원 재구성, 자동 주행, 장애물 검출 등 각종 분야에 이용될 수 있다. 예시적으로, 컴퓨터 비전 기술을 이용하여 시차를 획득하는 방법은 로컬 영역 매칭 방법, 글로벌 최적화 방법, 세미 글로벌 방법 및 콘볼루션 신경망과 같은 신경망에 기반한 방법 등을 포함할 수 있다.

다양한 시차 획득 방법(즉 시차 계산 방법)에 있어서, 시차 계산 과정은 모두 픽셀 매칭점을 검색하는 과정으로 볼 수 있으며, 이미지 사이의 실제 시차가 클수록, 검색해야 할 범위가 커진다. 또한, 이미지의 시차 검색 범위 및 이미지의 크기는 모두 시차 계산 속도에 영향을 줄 수 있다. 예를 들면, 이미지 크기 및/또는 시차 검색 범위가 클수록, 시차 계산에 필요한 계산량이 커지며, 속도가 낮아진다. 따라서, 관련 기술에서는, 크기가 큰 이미지의 경우 먼저 다운샘플링할 수 있고, 다운샘플링된 이미지의 시차 검색 범위도 감소하며, 이후 다운샘플링된 이미지를 기반으로 시차 계산을 진행하여, 필요한 시차맵을 얻는다. 그러나, 이러한 방식으로 계산하여 얻은 시차는 직접 원래 크기의 이미지를 기반으로 계산하여 얻은 시차에 비해 정확도가 떨어지며, 시차 계산의 정확도 및 운행 속도를 함께 고려할 수 없다.

본 공개는 새로운 시차 결정 방법을 제공하며, 먼저 제1 이미지 및 제2 이미지에 대해 다운샘플링 처리를 진행하여, 제1 크기를 갖는 제1 이미지 및 상기 제1 크기를 갖는 제2 이미지를 얻고, 상기 제1크기를 갖는 제1 이미지 및 상기 제1 크기를 갖는 제2 이미지에 대해 제1 단계 시차 계산 처리를 진행하여, 상기 제1 크기를 갖는 제1 시차맵을 얻은 후, 상기 제1 시차맵의 제2 크기를 갖는 업샘플링 시차맵을 기반으로, 상기 제2 크기를 갖는 제1 이미지와 상기 제2 크기를 갖는 제2 이미지에 대해 제2 단계 시차 계산 처리를 진행하여, 상기 제2 크기를 갖는 제2 시차맵을 얻을 수 있다. 제1 단계 시차 계산 처리에서 기반으로 하는 이미지는 다운샘플링된 이미지이고, 제2 단계 시차 계산 처리는 제1 단계 시차 계산 처리에 의해 얻은 제1 시차맵을 기반으로 실행할 수 있으므로, 시차 계산 속도를 향상시킬 뿐만 아니라, 시차 계산에 필요한 정확도 요구를 충족시킬 수 있어, 시차 계산의 속도 및 정확도를 함께 고려한 효과를 얻을 수 있다. 이하 도면과 결합하여 본 공개의 시차 결정 방법의 예시적 실시예에 대해 추가적으로 설명한다.

도 1은 본 공개의 예시적 실시예에 따른 시차 결정 방법을 나타낸 흐름도이다. 도 1에 도시한 바와 같이, 상기 시차 결정 방법은 예를 들면, 제1 이미지와 제2 이미지에 대해 다운샘플링 처리하여, 제1 크기를 갖는 제1 이미지와 상기 제1 크기를 갖는 제2 이미지를 얻는 단계(단계 S101); 상기 제1 크기를 갖는 제1 이미지와 상기 제1 크기를 갖는 제2 이미지에 대해 제1 단계 시차 계산 처리를 진행하여, 상기 제1 크기를 갖는 제1 시차맵을 얻는 단계(단계 S102); 및 상기 제1 시차맵의 제2 크기를 갖는 업샘플링 시차맵을 기반으로, 상기 제2 크기를 갖는 제1 이미지와 상기 제2 크기를 갖는 제2 이미지에 대해 제2 단계 시차 계산 처리를 진행하여, 상기 제2 크기를 갖는 제2 시차맵을 얻는 단계(단계 S103)를 포함할 수 있다.

도 1의 흐름도에 도시된 시차 결정 방법에 따르면, 먼저 제1 이미지 및 제2 이미지에 대해 다운샘플링 처리를 진행하여, 제1 크기를 갖는 제1 이미지 및 상기 제1 크기를 갖는 제2 이미지를 얻고, 상기 제1크기를 갖는 제1 이미지 및 상기 제1 크기를 갖는 제2 이미지에 대해 제1 단계 시차 계산 처리를 진행하여, 상기 제1 크기를 갖는 제1 시차맵을 얻은 후, 상기 제1 시차맵의 제2 크기를 갖는 업샘플링 시차맵을 기반으로, 상기 제2 크기를 갖는 제1 이미지와 상기 제2 크기를 갖는 제2 이미지에 대해 제2 단계 시차 계산 처리를 진행하여, 상기 제2 크기를 갖는 제2 시차맵을 얻을 수 있다. 제1 단계 시차 계산 처리에서 기반으로 하는 이미지는 다운샘플링된 이미지이고, 제2 단계 시차 계산 처리는 제1 단계 시차 계산 처리에 의해 얻은 제1 시차맵을 기반으로 실행할 수 있으므로, 시차 계산 속도를 향상시킬 뿐만 아니라, 시차 계산에 필요한 정확도 요구를 충족시킬 수 있어, 시차 계산의 속도 및 정확도를 함께 고려한 효과를 얻을 수 있다.

일부 실시예에 따르면, 상기 제1 이미지와 상기 제2 이미지는 다안 카메라에 의해 수집된 동일한 장면에 대한 이미지일 수 있다. 상기 제1 이미지와 상기 제2 이미지의 크기는 일치하나, 대응하는 시각은 서로 다르다. 당연히, 상기 제1 이미지와 상기 제2 이미지는 기타 방식을 이용하여 얻은(예를 들면 기타 제3 장치에 의해 얻은) 요건을 충족시키는 이미지일 수도 있다. 그밖에, 상기 제1 이미지와 상기 제2 이미지는 그레이 이미지 또는 컬러 이미지일 수 있다.

일부 실시예에 따르면, 상기 제1 이미지와 상기 제2 이미지는 에피폴라 라인 보정을 거친 일 방향(예를 들면, 수평 방향 또는 수직 방향 등)에서 시차가 존재하는 이미지일 수 있다. 다시 말해, 상기 제1 이미지와 상기 제2 이미지에 대해 다운샘플링 처리하기 전에, 상기 방법은, 상기 제1 이미지와 상기 제2 이미지에 대해 에피폴라 라인 보정을 진행하여, 상기 제1 이미지와 상기 제2 이미지가 일 방향에서 시차가 존재하도록 하는 단계를 더 포함할 수 있다. 이를 통해, 이미지의 시차 검색 범위는 일 방향에만 제한될 수 있으므로, 시차 계산 효율을 향상시킬 수 있다. 대체 방안으로서, 이미지의 에피폴라 라인 보정 작업은 다안 카메라 또는 기타 제3 장치에 의해 실행될 수도 있다.

본 공개에서, 상기 다안 카메라는 2개, 3개 또는 심지어 더 많은 카메라 렌즈가 배치된 정적 또는 동적 이미지를 촬영할 수 있는 카메라를 의미하며, 장면 중의 물체에 대한 카메라의 검출 능력을 향상시키도록, 배치된 복수의 카메라 렌즈를 통해 서로 다른 시각 또는 범위의 장면을 커버할 수 있다. 2개의 카메라 렌즈(예를 들면, 좌측, 우측 카메라 렌즈)가 배치되어 있는 양안 카메라를 예로 들면, 임의의 장면에 대해, 상기 양안 카메라는 배치된 2개의 카메라 렌즈를 통해 상기 장면의 크기가 일치하지만 대응하는 촬영 시각이 서로 다른 2장의 이미지(예를 들면, 좌안 이미지 및 우안 이미지)를 얻을 수 있으며, 물체의 거리와 같은 깊이 정보를 결정하도록, 상기 2장의 이미지는 상기 장면 중의 물체의 상기 2장의 이미지에서의 대응하는 픽셀 사이의 변위(예를 들면 수평 변위)인 시차를 결정하는데 사용될 수 있다.

본 공개에서, 각 이미지(제1 이미지, 제2 이미지 및 제1 시차맵 및 제2 시차맵과 같은 시차맵을 포함)의 크기는 각 이미지의 단일 채널의 크기를 의미할 수 있으며, 이미지의 높이 및 폭으로 나타낼 수 있다. 예를 들면, H Х W로 나타낼 수 있으며, H는 이미지의 높이를 나타내고, W는 이미지의 폭을 나타내며, 양자의 단위는 픽셀일 수 있다. 당연히, 이는 단지 예시일 뿐, 이미지의 크기는 기타 이미지를 반영할 수 있는 픽셀 수, 데이터량, 저장량 또는 선명도 등의 하나 이상의 파라미터로 나타낼 수 있다. 그밖에, 주의해야 할 점은, 그레이 이미지의 경우, 채널 수는 1이며, 컬러 이미지의 경우, R, G, B의 3개 컬러 채널을 가질 수 있으므로, 그 채널 수는 3일 수 있으며, 즉 컬러 이미지의 실제 크기는 H x W x 3로 나타낼 수 있다. 그밖에, 본 공개에서, 상기 제1 이미지와 상기 제2 이미지의 크기(다운샘플링 및/또는 업샘플링 등 처리를 거치지 않은 원래 이미지의 크기)는 예를 들면 상기 이미지 쌍을 수집하는 다안 카메라의 센서의 크기 및 픽셀 수 등 파라미터에 따라 결정할 수 있다.

일부 실시예에 따르면, 상기 제1 이미지와 상기 제2 이미지에 대해 다운샘플링 처리하여, 제1 크기를 갖는 제1 이미지와 상기 제1 크기를 갖는 제2 이미지를 얻는 단계는, 시차 계산 처리 횟수 임계값을 결정하는 단계; 상기 횟수 임계값을 기반으로, 상기 제1 이미지와 상기 제2 이미지에 대한 다운샘플링 처리에 필요한 다운샘플링 계수를 결정하는 단계; 및 상기 다운샘플링 계수를 기반으로, 상기 제1 이미지와 상기 제2 이미지에 대해 다운샘플링 처리하는 단계를 포함하고, 상기 횟수 임계값이 클수록, 상기 다운샘플링 계수가 커질 수 있다.

일부 실시예에 따르면, 상기 횟수 임계값은 실제 필요에 따라 유연하게 설치할 수 있다. 예를 들면, 실제 필요에 따라 상기 횟수 임계값을 2, 3, 4 또는 기타 2이상의 양의 정수 값 등으로 설정할 수 있다. 그밖에, 상기 횟수 임계값의 값이 크면 클수록 좋은 것이 아니라, 목표 장치의 정확도 요구 및 시차 계산의 운행 속도의 균형을 맞춘다는 전제에서, 적합한 수치를 선택할 수 있다.

일부 실시예에 따르면, 상기 다운샘플링 처리의 과정은 예를 들면, 크기가 H x W인 이미지의 경우, 만약 사용한 다운샘플링 계수가 P라면, 상기 이미지 원본의 각 행과 각 열 중 각각의 P점에서 하나의 점을 선택하여 하나의 이미지를 구성할 수 있다. 당연히, 이는 단지 예시일 뿐, 다운샘플링은 기타 방식으로 실현할 수도 있으며, 예를 들면 P점의 평균을 취한다. 다시 말해, 다운샘플링 계수P를 사용하여 이미지에 대해 다운샘플링 처리한 후, 다운샘플링 처리된 이미지의 높이와 폭은 각각 상기 이미지 원본의 높이 및 폭의 1/P배일 수 있다.

일부 실시예에 따르면, 상기 횟수 임계값을 N으로 나타낼 수 있고, 각각의 인접한 2단계 시차 계산 처리에서 기반으로 하는 이미지 사이의 업샘플링 스텝 사이즈 또는 다운샘플링 스텝 사이즈가 일치한 것을 예로 들면, 상기 다운샘플링 계수P는 K의 N-1차 제곱으로 나타낼 수 있고, 상기 K는 인접한 2단계 시차 계산 처리에서 기반으로 하는 이미지 사이의 업샘플링 스텝 사이즈 또는 다운샘플링 스텝 사이즈이며, 상기 K는 1 이상의 임의의 수치일 수 있다. 예를 들면, 상기 K는 2, 3, 4 또는 기타 1이상의 양의 정수 또는 임의의 1 이상의 정수가 아닌 수치일 수 있다. 또한, 주의해야 할 점은, 본 공개에서 언급한 다운샘플링 계수P는 다단계 시차 계산 처리(2단계를 포함)에 의해 여러 차례 누적된 샘플링 계수를 의미하며, 언급한 업샘플링 스텝 사이즈K 또는 다운샘플링 스텝 사이즈K는 인접한 2단계 시차 계산 처리에서 기반으로 하는 이미지 사이의 샘플링 계수를 의미한다. 그밖에, 상기 설명과 유사하게, 인접한 2단계 시차 계산 처리에서 기반으로 하는 이미지 사이의 업샘플링 스텝 사이즈 또는 다운샘플링 스텝 사이즈는 K이고, 또한 높은 단계의 시차 계산 처리에서 기반으로 하는 이미지의 크기가 클수록, 다음 단계의 시차 계산 처리에서 기반으로 하는 이미지의 높이 및 폭은 각각 전(前) 단계의 시차 계산 처리에서 기반으로 하는 이미지의 높이 및 폭의 K배일 수 있다.

예시적으로, 상기 횟수 임계값N의 값이 2이고, 각각의 인접한 2단계 시차 계산 처리에서 기반으로 하는 이미지 사이의 업샘플링 스텝 사이즈 또는 다운샘플링 스텝 사이즈 K의 값이 2인 경우를 예로 들면, 상기 다운샘플링 계수는 2¹로 나타낼 수 있다. 상응하게, 만약 상기 제1 이미지와 상기 제2 이미지의 원래 크기를 H x W(전체 크기라고 할 수 있음)로 나타낼 수 있으면, 상기 다운샘플링 계수를 기반으로 상기 제1 이미지 및 상기 제2 이미지에 대해 다운샘플링 처리하여 얻은 상기 제1 크기를 갖는 제1 이미지와 상기 제1 크기를 갖는 제2 이미지(제1 단계 시차 계산 처리에서 기반으로 한 이미지)의 크기(즉 제1 크기)를

(1/2크기라고 할 수 있음)로 나타낼 있다. 그밖에, 이러한 경우, 제2 단계 시차 계산 처리에서 기반으로 하는 이미지의 크기(즉, 제2 크기)는 상응하게 H x W(즉 전체 크기)로 나타낼 수 있다.

다시 예를 들면, 상기 횟수 임계값N의 값이 3이고, 각각의 인접한 2단계 시차 계산 처리에서 기반으로 하는 이미지 사이의 업샘플링 스텝 사이즈 또는 다운샘플링 스텝 사이즈 K의 값이 2인 경우를 예로 들면, 상기 다운샘플링 계수는 2²로 나타낼 수 있다. 상응하게, 만약 상기 제1 이미지와 상기 제2 이미지의 원래 크기를 H x W(전체 크기라고 할 수 있음)로 나타낼 수 있으면, 상기 다운샘플링 계수를 기반으로 상기 제1 이미지와 상기 제2 이미지에 대해 다운샘플링 처리하여 얻은 상기 제1 크기를 갖는 제1 이미지와 상기 제1 크기를 갖는 제2 이미지(제1 단계 시차 계산 처리에서 기반으로 한 이미지)의 크기(즉 제1 크기)를

(1/4크기라고 할 수 있음)로 나타낼 수 있다. 그밖에, 이러한 경우, 제2 단계 시차 계산 처리에서 기반으로 하는 이미지의 크기(즉, 제2 크기)는 상응하게

(즉 1/2크기라고 할 수 있음)로 나타낼 수 있다.

주의할 점은, 본 공개에서, 각각의 인접한 2단계 시차 계산 처리에서 기반으로 하는 이미지 사이의 업샘플링 스텝 사이즈(또는 다운샘플링 스텝 사이즈)도 일치하지 않을 수 있으며, 실제 필요에 따라 유연하게 조절할 수 있다. 예를 들면 N의 값이 4일 수 있는 경우를 예로 들면, 제1 단계 시차 계산 처리 및 제2 단계 시차 계산 처리에서 기반으로 하는 이미지 사이의 업샘플링 스텝 사이즈는 제1 수치로 설정할 수 있고, 제2 단계 시차 계산 처리 및 제3 단계 시차에서 기반으로 하는 이미지 사이의 업샘플링 스텝 사이즈는 제2 수치로 설정할 수 있으며, 제3 단계 시차 계산 처리 및 제4 단계 시차 계산 처리에서 기반으로 하는 이미지 사이의 업샘플링 스텝 사이즈는 제3 수치로 설정할 수 있다. 상기 제2 수치는 상기 제1 수치와 다를 수 있으며(당연히, 상술한 바와 같이, 상기 제2 수치는 상기 제1 수치와 동일할 수도 있음), 상기 제3 수치는 상기 제1 수치 또는 상기 제2 수치와 다를 수 있다(당연히, 상술한 바와 같이, 상기 제3 수치는 상기 제1 수치 또는 상기 제 2 수치와 같을 수도 있음). 그밖에, 상기 제1수치, 제2 수치 및 제3 수치는 모두 1 이상의 수치일 수 있다.

그밖에, 이미지에 대해 다운샘플링 처리 후, 이미지에 대응하는 시차 검색 범위도 감소할 수 있다. 예를 들면, 상기 제1 이미지와 상기 제2 이미지에 대응하는 시차 검색 범위를 [0, D]로 나타낼 수 있는 것을 예로 들면, D는 시차 검색 최대 값을 나타낼 수 있고, 그 값은 상기 제1 이미지와 상기 제2 이미지를 수집하는 다안 카메라 중의 각 카메라 렌즈의 초점 거리 및/또는 각 카메라 렌즈 사이의 피치와 관련될 수 있으며(단위는 이미지의 높이H, 폭W와 유사하며, 픽셀일 수 있음), 만약 상기 다운샘플링 계수를 기반으로 상기 제1 이미지 및 상기 제2 이미지에 대해 다운샘플링 처리하여 얻은 제1 이미지 및 제2 이미지의 크기가

이면, 상기 다운샘플링 처리에 의해 얻은 제1 이미지 및 제2 이미지의 시차 검색 범위는 [0,

]로 축소될 수 있다. 이에 따라, 상기 다운샘플링 처리에 의해 얻은 제1 이미지 및 제2 이미지(상기 제1 크기를 갖는 제1 이미지 및 상기 제1 크기를 갖는 제2 이미지)에 대한 제1 단계 시차 계산 처리에 필요한 계산량은 상응하게 전체 크기의 이미지를 기반으로 시차 계산 처리할 때의 1/8(각 이미지의 시차 계산 처리에 필요한 계산량은 상기 이미지의 높이, 폭 및 시차 검색 최대 값의 곱과 관련이 있음)로 축소될 수 있으므로, 시차 계산에 필요한 계산량을 크게 줄일 수 있어, 초기 시차를 신속하게 획득하도록 한다. 그밖에, 초기 시차를 신속하게 획득한 후, 정확도가 비교적 높은 시차맵을 얻도록, 상기 초기 시차를 기반으로 더 큰 크기(예를 들면 제2 크기)를 갖는 제1 이미지 및 제2 이미지에 대해 제2 단계 시차 계산 처리를 진행할 수 있다. 제2 단계 시차 계산 처리는 초기 시차를 기반으로 실행되므로, 필요한 계산량이 비교적 낮아, 정확도를 향상시키고 또한 연산 속도를 보장하는 효과에 도달할 수 있다.

일부 실시예에 따르면，상기 제1 시차맵의 제2 크기를 갖는 업샘플링 시차맵을 기반으로, 상기 제2 크기를 갖는 제1 이미지와 상기 제2 크기를 갖는 제2 이미지에 대해 제2 단계 시차 계산 처리를 진행하여, 상기 제2 크기를 갖는 제2 시차맵을 얻은 후, 상기 방법은, 시차 계산 처리의 횟수가 횟수 임계값에 도달한 것에 응답하여, 상기 제2 크기를 갖는 제2 시차맵을 상기 제1 이미지와 상기 제2 이미지 사이의 최종 시차맵으로 하는 단계를 더 포함한다.

다른 일부 실시예에서, 상기 방법은, 시차 계산 처리된 횟수가 횟수 임계값에 도달하지 않은 것에 응답하여, 현재 단계의 시차 계산 처리에 의해 얻은 시차맵의, 다음 단계의 시차 계산 처리에 대응하는 크기를 갖는 업샘플링 시차맵을 기반으로, 상기 다음 단계의 시차 계산 처리에 대응하는 크기를 갖는 제1 이미지 및 상기 다음 단계의 시차 계산 처리에 대응하는 크기를 갖는 제2 이미지에 대해 상기 다음 단계의 시차 계산 처리 작업을 진행하는 것을, 시차 계산 처리의 횟수가 상기 횟수 임계값에 도달했다고 결정될 때까지 순환 실행하고, 마지막 단계의 시차 계산 처리에 의해 얻은 시차맵을 상기 제1 이미지와 상기 제2 이미지 사이의 최종 시차맵으로 하는 단계를 더 포함하며, 각 단계의 시차 계산 처리에 대응하는 크기는 해당 단계의 시차 계산 처리에서 기반으로 하는 이미지의 크기이다(또는 해당 단계의 시차 계산 처리에 필요한 시차맵의 크기로 볼 수도 있다). 그밖에, 대응하는 업샘플링 시차맵의 획득에 사용되는 업샘플링 처리 방법은, 예를 들어 최근접-이웃보간 알고리즘, 쌍선형 보간 알고리즘, 디컨볼루션 알고리즘 등을 포함할 수 있다.

이에 의해, 다단계 시차 계산 처리를 통해, 최종적으로 얻는 시차맵의 정확도를 추가 향상시킬 수 있다. 또한, 각 후속 단계의 시차 계산 처리는 모두 전(前) 단계의 시차 계산 처리에서 얻은 시차맵을 기반으로 진행되므로, 필요한 계산량이 모두 비교적 낮아, 시차 계산과 관련된 운행 속도 요구를 충족시킬 수 있다.

예시적으로, 도 2에 도시한 바와 같이, 도 2는 본 공개의 예시적 실시예에 따른 시차 결정 방법을 나타낸 다른 흐름도이며, 상기 시차 결정 방법은 도 1에 도시한 단계와 동일한 단계 S101, 단계 S102 및 단계 S103외에도 아래 단계를 더 포함할 수 있다.

단계 S104: 시차 계산 처리 횟수가 횟수 임계값에 도달했는지 여부를 결정하여, 도달했으면, 단계 S105를 실행하고, 도달하지 않았으면, 단계 S106을 실행한다.

상술한 바와 같이, 상기 횟수 임계값은 실제 필요에 따라 결정될 수 있다. 예를 들면, 목표 장치의 정확도 요구 및 시차 계산의 운행 속도의 균형을 맞춘다는 전제에서 상기 횟수 임계값을 2, 3, 4 또는 기타 적합한 2 이상의 양의 정수 값으로 설정할 수 있다.

단계 S105: 상기 제2 크기를 갖는 제2 시차맵을 상기 제1 이미지와 상기 제2 이미지 사이의 최종 시차맵으로 한다.

단계 S106: 현재 단계의 시차 계산 처리에 의해 얻은 시차맵의, 다음 단계의 시차 계산 처리에 대응하는 크기를 갖는 업샘플링 시차맵을 기반으로, 상기 다음 단계의 시차 계산 처리에 대응하는 크기를 갖는 제1 이미지 및 상기 다음 단계의 시차 계산 처리에 대응하는 크기를 갖는 제2 이미지에 대해 상기 다음 단계의 시차 계산 처리를 진행하여, 상기 다음 단계의 시차 계산 처리에 대응하는 크기를 갖는 시차맵을 얻는다.

예시적으로, 현재 단계의 시차 계산 처리가 상기 제2 단계 시차 계산 처리인 것을 예로 들면, 다음 단계의 시차 계산 처리(즉, 제3 단계 시차 계산 처리)에 대응하는 크기는 제3 크기로 나타낼 수 있으며, 이때 단계 S106은 상응하게 상기 제2 시차맵의 제3 크기를 갖는 업샘플링 시차맵을 기반으로, 상기 제3 크기를 갖는 제1 이미지와 상기 제3 크기를 갖는 제2 이미지에 대해 제3 단계 시차 계산 처리하여, 상기 제3 크기를 갖는 제3 시차맵을 얻는다고 표현할 수 있다.

단계 S107: 시차 계산 처리 횟수가 횟수 임계값에 도달했는지 여부를 결정하여, 도달했다면, 단계 S108을 실행하고, 도달하지 않았다면, 단계 S106로 건너뛴다.

단계 S108: 단계 S106에서 얻은 상기 다음 단계의 시차 계산 처리에 대응하는 크기를 갖는 시차맵(마지막 단계의 시차 계산 처리에 의해 얻은 시차맵)을 상기 제1 이미지와 상기 제2 이미지 사이의 최종 시차맵으로 한다.

일부 실시예에 따르면, 마지막 단계의 시차 계산 처리에 의해 얻은 시차맵을 상기 제1 이미지와 상기 제2 이미지 사이의 최종 시차맵으로 하여 출력하는 것 외에도, 복수의 크기라 서로 다른(예를 들면 대응하는 시차 계산 처리 단계가 낮은 것에서 높은 것의 순서로, 크기가 차례로 증가) 시차맵을 얻도록, 기타 각 단계의 시차 계산 처리에 의해 얻은 시차맵을 함께 출력함으로써, 복수의 성능이 서로 다르거나 또는 정확도 요구가 서로 다른 목표 장치에 사용되도록 한다. 이를 통해, 정확도 및 속도에 대한 서로 다른 목표 장치의 요구를 충족시켜, 시스템의 유연성 및 적용성을 향상시킬 수 있다. 또한, 각 단계의 시차 계산 처리에 의해 얻은 시차맵은 저장 장치 또는 저장 매체에 저장(예를 들면 임시 저장)함으로써, 이후 판독 및 사용하도록 한다.

일부 실시예에 따르면, 각 단계의 시차 계산 처리 중 마지막 단계의 시차 계산 처리에 의해 얻은 시차맵의 크기는 상기 제1 이미지 및 상기 제2 이미지의 원래 크기와 일치하다. 다시 말해, 본 공개의 실시예에 따른 상기 시차 결정 방법을 통해 대응하는 크기가 상기 제1 이미지 및 상기 제2 이미지의 원래 크기와 일치하고 정확도가 높은 시차맵을 얻을 수 있으므로, 고성능 목표 장치의 생성되는 시차맵의 정확도에 대한 요구를 더 충족시킬 수 있다. 대체 방안으로서, 상기 마지막 단계의 시차 계산 처리에 의해 얻은 시차맵의 크기는 상기 제1 이미지 및 상기 제2 이미지의 원래 크기보다 작을 수도 있으며, 실제 필요에 따라 유연하게 설정할 수 있다.

본 공개에서, 각 단계의 시차 계산 처리는 모두 로컬 영역 매칭(즉 로컬 스테레오 매칭) 방법 또는 신경망에 기반한 방법 등의 시차 계산 방법을 이용하여 실현할 수 있다. 또한, 각 단계의 시차 계산 처리 단계는, 해당 단계의 시차 계산 처리에서 기반으로 하는 제1 이미지와 관련된 이미지 특징 및 제2 이미지와 관련된 이미지 특징을 결정하는 단계; 해당 단계의 시차 계산 처리에 대응하는 시차 검색 범위를 결정하는 단계; 해당 단계의 시차 계산 처리에서 기반으로 하는 제1 이미지와 관련된 이미지 특징, 제2 이미지와 관련된 이미지 특징 및 해당 단계의 시차 계산 처리에 대응하는 시차 검색 범위를 기반으로 시차 계산 처리하는 단계 등을 포함할 수 있다.

주의해야 할 점은, 제1 단계 시차 계산 처리 이외의 각 단계의 시차 계산 처리의 경우, 전(前) 단계의 시차 계산 처리에 의해 얻은 시차맵(예를 들면 해당 시차맵의 업샘플링 시차맵)을 기반으로 실행해야 하므로, 처리 방식은 제1 단계 시차 계산 처리와 다르다. 이하, 제2 단계 시차 계산 처리를 예로 들어, 도 3 및 도 4와 결합하여 제1 단계 시차 계산 처리 이외의 각 단계의 시차 계산 처리의 처리 과정을 예시적으로 설명한다.

일부 실시예에 따르면, 도 3에 도시한 바와 같이, 도 3은 본 공개의 예시적 실시예에 따른 제2 단계 시차 계산 처리를 나타낸 흐름도이며, 상기 제1 시차맵의 제2 크기를 갖는 업샘플링 시차맵을 기반으로, 상기 제2 크기를 갖는 제1 이미지와 상기 제2 크기를 갖는 제2 이미지에 대해 제2 단계 시차 계산 처리를 진행하여, 상기 제2 크기를 갖는 제2 시차맵을 얻으며，아래 단계 S301~S304를 포함할 수 있다.

단계 S301： 상기 제2 크기를 갖는 제1 이미지와 상기 제2 크기를 갖는 제2 이미지를 기반으로, 상기 제2 단계 시차 계산 처리에서 기반으로 하는 제1 이미지와 관련된 이미지 특징 및 제2 이미지와 관련된 이미지 특징을 결정하고, 상기 제2 이미지와 관련된 이미지 특징에 상기 제2 크기를 갖는 업샘플링 시차맵을 기반으로 결정된 시차 오프셋이 포함되어 있다.

예시적으로, 상기 제2 크기를 갖는 업샘플링 시차맵에 따라, 상기 제2 크기를 갖는 제1 이미지 I₁에서의 점p의 초기 시차가 disp1(p)로 결정된다고 가정하면, 상기 제2 이미지와 관련된 이미지 특징을 결정할 때 상기 초기 시차 disp1(p)로 표시되는 시차 오프셋 값을 추가할 수 있다. 또한, 시차를 계산할 때, 제1 이미지와 제2 이미지 중의 하나의 이미지(예를 들면 제1 이미지)를 기준 이미지로 하고, 다른 하나의 이미지(예를 들면 제2 이미지)를 매칭 대상 이미지인 목표 이미지로 하므로, 목표 이미지(예를 들면 제2 이미지)와 관련된 이미지 특징에만 상응하는 시차 오프셋이 포함되어 있다. 주의해야 할 점은, 본 공개에서는, 제1 이미지를 기준 이미지로 하고, 제2 이미지를 목표 이미지로 하여 예시적으로 설명하였으며, 물론 실제 필요에 따라, 제2 이미지를 기준 이미지로 하고, 제1 이미지를 목표 이미지로 설정할 수도 있으며, 이때, 제1 이미지와 관련된 이미지 특징에 상응하는 시차 오프셋이 포함될 수 있다.

단계 S302: 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 결정한다.

단계 S303: 상기 제1 이미지와 관련된 이미지 특징, 상기 제2 이미지와 관련된 이미지 특징 및 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 기반으로 시차 계산 처리를 진행하여, 상기 제2 크기를 갖는 시차조절맵을 얻는다.

단계 S304: 상기 제2 크기를 갖는 업샘플링 시차맵을 상기 제2 크기를 갖는 시차조절맵과 조합하여(예를 들면 합쳐서), 상기 제2 크기를 갖는 제2 시차맵을 얻는다.

상기 단계를 통해 알 수 있듯이, 제2 단계 시차 계산 처리에서 기반으로 하는 제1 이미지와 관련된 이미지 특징 및 제2 이미지와 관련된 이미지 특징을 결정할 경우, 목표 이미지로 하는 제2 이미지와 관련된 이미지 특징에 상응하는 시차 오프셋이 포함될 할 수 있다. 해당 시차 오프셋은 상기 제2 크기를 갖는 업샘플링 시차맵을 기반으로 결정될 수 있으며, 예를 들면, 상기 제2 크기를 갖는 업샘플링 시차맵 중의 시차 값을 직접 시차 오프셋으로 할 수 있다. 이러한 방식을 통해, 전(前) 단계의 시차 계산 처리에 의해 얻은 시차맵을 기반으로 더 높은 정확도를 가진 시차맵을 신속하게 획득하는 효과를 유연하게 실현할 수 있다.

일부 실시예에 따르면, 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위는 관련 기술 중의 일반적인 방식에 비해 작은 범위로 설정하여, 크기가 더욱 큰 이미지 상의 2차 시차 검색 효율을 향상시키고, 나아가 속도와 정확도의 요구를 더욱 잘 충족시킬 수 있다.

예를 들면, 상기 제1 시차맵과 상기 제2 크기를 갖는 업샘플링 시차맵 사이의 업샘플링 스텝 사이즈 및 상기 제1 단계 계산 처리에 대응하는 최대 시차 오차에 따라, 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 [-D₀, D₀]로 설정하고, 상기 D₀는 M₀(K-1)보다 크지 않은 양의 정수 값이며, 상기 관련된 실시예에서 설명한 바와 같이, 상기 K는 상기 업샘플링 스텝 사이즈를 나타낼 수 있고 1 이상의 수치이며, 상기 M₀는 상기 제1 단계 시차 계산 처리에 대응하는 최대 시차 오차를 나타낼 수 있고 1 이상의 수치이다. 그밖에, 상기 M₀의 값은 상기 제1 이미지와 상기 제2 이미지를 수집하는 다안 카메라의 장치 파라미터(예를 들면, 다안 카메라 중의 각 카메라 렌즈의 초점 거리 및/또는 각 카메라 렌즈 사이의 피치 등) 및 상기 제1 단계 시차 계산 처리에서 기반으로 하는 이미지의 크기(또는 상기 제1 단계 시차 계산 처리에서 기반으로 하는 이미지의 크기와 상기 제1 이미지 또는 상기 제2 이미지의 원래 크기 사이의 비율)에 따라 결정될 수 있다. 예를 들면, 다안 카메라의 각 카메라 렌즈의 초점 거리는 1200(단위는 밀리미터일 수 있음)이며, 기준선(2개 카메라 렌즈의 광심 사이의 거리, 즉 2개 카메라 렌즈 사이의 피치)이 50(단위는 밀리미터일 수 있음)인 것을 예로 들며, 30cm 이외의 물체를 촬영할 경우, 전체 크기에 대응하는 최대 시차 오차는 200일 수 있으며, 만약 N=2이고, K=2이면, 제1 단계 시차 계산 처리에 대응하는 최대 시차 오차 M₀의 값은 100일 수 있다. 그밖에, 주의해야 할 점은, 각 단계의 시차 계산 처리에 대응하는 최대 시차 오차는 다를 수 있으며, 상응하게, 제2 단계 시차 계산 처리를 포함하는 각각의 제1 단계 시차 계산 처리가 아닌 시차 계산 처리에 대응하는 시차 검색 범위도 다를 수 있다.

예시적으로, 상기 K의 값이 2인 것을 예로 들면, 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위는 최소 [-1, 1]로 설정할 수 있으며, 최대도 매우 클 필요는 없으므로, 제2 단계 시차 계산 처리에 필요한 계산량을 뚜렷하게 감소시킬 수 있어, 시차 계산 속도를 크게 향상시킨다.

이를 통해, 전체 크기의 이미지를 직접 사용하여 시차를 계산하는 것과 비교하면, 제2 단계 시차 계산 처리에 필요한 계산량은 전체 크기의 이미지를 직접 사용하여 시차를 계산하는 경우의

일 수 있으며, 계산량이 비교적 낮다. 만약 시차 계산 처리의 총 횟수가 2회이고, 인접한 2단계 시차 계산 처리에서 기반으로 하는 이미지 사이의 업샘플링 스텝 사이즈 또는 다운샘플링 스텝 사이즈의 값이 2인 것을 예로 들면, 시차 계산에 필요한 총 계산량은 전체 크기의 이미지를 직접 사용하여 시차를 계산하는 경우의

일 수 있으며, 계산량이 뚜렷하게 감소되어, 시차 계산 속도를 크게 향상시킬 수 있다.

또한, 알 수 있듯이, 만약 시차 계산 처리의 총 횟수가 3회이고, 인접한 2단계 시차 계산 처리에서 기반으로 하는 이미지 사이의 업샘플링 스텝 사이즈 또는 다운샘플링 스텝 사이즈의 값이 2이면, 총 계산량은 전체 크기의 이미지를 직접 사용하여 시차를 계산하는 경우의

일 수 있고, D₁，D₀은 각각 제2 단계, 제3 단계 시차 계산 처리에 대응하는 시차 검색 범위의 상한 값을 나타내며, 유사하게, 만약 시차 계산 처리의 총 횟수가 n+1회이면, 총 계산량은 전체 크기의 이미지를 직접 사용하여 시차를 계산하는 경우의

일 수 있다.

대체 방안으로, 도 4에 도시한 바와 같이, 도 4는 본 공개의 예시적 실시예에 따른 제2 단계 시차 계산 처리를 나타낸 다른 흐름도이며, 상기 제1 시차맵의 제2 크기를 갖는 업샘플링 시차맵을 기반으로, 상기 제2 크기를 갖는 제1 이미지와 상기 제2 크기를 갖는 제2 이미지에 대해 제2 단계 시차 계산 처리를 진행하여, 상기 제2 크기를 갖는 제2 시차맵을 얻으며，아래 단계 S401~S403을 포함할 수 있다.

단계 S401: 상기 제2 크기를 갖는 제1 이미지와 상기 제2 크기를 갖는 제2 이미지를 기반으로, 상기 제2 단계 시차 계산 처리에서 기반으로 하는 제1 이미지와 관련된 이미지 특징 및 제2 이미지와 관련된 이미지 특징을 결정한다.

단계 S402： 상기 제2 크기를 갖는 업샘플링 시차맵을 기반으로, 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 결정한다. 즉, 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위에 상기 제2 크기를 갖는 업샘플링 시차맵을 기반으로 결정된 시차 오프셋이 포함되어 있다.

단계 S403: 상기 제1 이미지와 관련된 이미지 특징, 상기 제2 이미지와 관련된 이미지 특징 및 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 기반으로 시차 계산 처리를 진행하여, 상기 제2 크기를 갖는 제2 시차맵을 얻는다.

상기 단계를 통해 알 수 있듯이, 도 3에 도시된 방식에 따라 제2 단계 시차 계산 처리에서 기반으로 하는 제1 이미지와 관련된 이미지 특징 또는 제2 이미지와 관련된 이미지 특징에 상응하는 시차 오프셋이 포함되는 것 외에도, 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위에 상응하는 시차 오프셋이 포함되는 방식을 통해, 전(前) 단계의 시차 계산 처리에 의해 얻은 시차맵을 기반으로 더 높은 정확도를 가진 시차맵을 신속하게 획득하는 효과를 유연하게 실현할 수 있다.

일부 실시예에 따르면，단계402의 상기 제2 크기를 갖는 업샘플링 시차맵을 기반으로, 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 결정하는 단계는, 상기 제1 시차맵과 상기 제2 크기를 갖는 업샘플링 시차맵 사이의 업샘플링 스텝 사이즈 및 상기 제1 단계 시차 계산 처리에 대응하는 최대 시차 오차에 따라, 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 조절 범위를 결정하는 단계; 및 상기 제2 크기를 갖는 업샘플링 시차맵 중의 시차 값을 기준으로, 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 조절 범위을 조절하여, 상기 제2 단계 시차 계산 처리에 대응하는 상응한 시차 오프셋이 포함되어 있는 시차 검색 범위를 얻는 단계를 포함할 수 있다.

일부 실시예에 따르면, 상기 실시예에서의 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위의 설정 방식과 유사하게, 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 조절 범위도 비교적 작은 범위로 설정될 수 있으며, 상응하게, 상기 제2 단계 시차 처리에 대응하는 상응한 시차 오프셋이 포함되어 있는 시차 검색 범위도 비교적 작은 범위일 수 있어, 크기가 더욱 큰 이미지 상의 2차 시차 검색 효율을 향상시키고, 나아가 속도와 정확도의 요구를 더욱 잘 충족시킬 수 있다.

예를 들면, 상기 제1 시차맵과 상기 제2 크기를 갖는 업샘플링 시차맵 사이의 업샘플링 스텝 사이즈 및 상기 제1 단계 계산 처리에 대응하는 최대 시차 오차에 따라, 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 조절 범위를 [-D₀, D₀]로 설정할 수 있고, 상기 제2 단계 시차 계산 처리에 대응하는 상응한 시차 오프셋이 포함되어 있는 시차 검색 범위는 [-D₀+ disp1, D₀+ disp1]로 나타낼 수 있으며, 상기 disp1는 상기 제2 크기를 갖는 업샘플링 시차맵 중의 시차 값을 나타내고, 상기 D₀는 M₀(K-1)보다 크지 않은 양의 정수 값이며, 상기 K는 상기 업샘플링 스텝 사이즈를 나타낼 수 있고 1 이상의 수치이며, 상기 M₀는 상기 제1 단계 시차 계산 처리에 대응하는 최대 시차 오차를 나타낼 수 있고 1 이상의 수치이다. 그밖에, 상기 실시예의 관련 설명과 유사하게, 상기 M₀의 값은 상기 제1 이미지와 상기 제2 이미지를 수집하는 다안 카메라의 장치 파라미터(예를 들면, 다안 카메라 중의 각 카메라 렌즈의 초점 거리 및/또는 각 카메라 렌즈 사이의 피치 등) 및 상기 제1 단계 시차 계산 처리에서 기반으로 하는 이미지의 크기(또는 상기 제1 단계 시차 계산 처리에서 기반으로 하는 이미지의 크기와 상기 제1 이미지 또는 상기 제2 이미지의 원래 크기 사이의 비율)에 따라 결정될 수 있다. 그밖에, 주의해야 할 점은, 각 단계의 시차 계산 처리에 대응하는 최대 시차 오차가 다를 수 있으므로, 제2 단계 시차 계산 처리를 포함하는 각각의 제1 단계 시차 계산 처리가 아닌 시차 계산 처리에 대응하는 시차 검색 조절 범위 및 상응하는 시차 오프셋이 포함되어 있는 시차 조절 범위도 다를 수 있다.

예시적으로, 상기 제2 크기를 갖는 업샘플링 시차맵에 따라, 상기 제2 크기를 갖는 제1 이미지 I₁에서의 점p의 초기 시차가 disp1(p)로 결정된다고 가정하면, 상기 제1 이미지 I₁의 점p에 대응되고, 제2 단계 시차 계산 처리와 관련된 상응한 시차 오프셋이 포함되어 있는 시차 검색 범위는 [-D₀+ disp1(p), D₀+ disp1(p)]로 나타낼 수 있다.

또한, 상기 K의 값이 2인 것을 예로 들면, 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 조절 범위는 최소 [-1, 1]로 설정할 수 있으며, 최대도 매우 클 필요는 없으므로, 제2 단계 시차 계산 처리에 필요한 계산량을 뚜렷하게 감소시킬 수 있어, 시차 계산 속도를 크게 향상시킨다.

상기 도 3, 도 4와 관련된 설명을 통해 알 수 있듯이, 제1 단계 시차 계산 처리 이외의 제2 단계 시차 계산 처리를 포함하는 각 단계의 시차 계산 처리는, 모두 아래 2가지 방식을 통해 실현될 수 있다.

방식1: 해당 단계의 시차 계산 처리에 대응하는 크기를 갖는 제1 이미지와 해당 단계의 시차 계산 처리에 대응하는 크기를 갖는 제2 이미지를 기반으로, 해당 단계의 시차 계산 처리에서 기반으로 하는 제1 이미지와 관련된 이미지 특징 및 제2 이미지와 관련된 이미지 특징을 결정하고, 상기 제2 이미지와 관련된 이미지 특징에 전(前) 단계의 시차 계산 처리에 의해 얻은 시차맵의, 해당 단계의 시차 계산 처리에 대응하는 크기를 갖는 업샘플링 시차맵을 기반으로 결정된 시차 오프셋이 포함되어 있고; 해당 단계의 시차 계산 처리에 대응하는 시차 검색 범위를 결정하며; 해당 단계의 시차 계산 처리에서 기반으로 하는 제1 이미지와 관련된 이미지 특징, 제2 이미지와 관련된 이미지 특징 및 해당 단계의 시차 계산 처리에 대응하는 시차 검색 범위를 기반으로 시차 계산 처리를 진행하여, 해당 단계의 시차 계산 처리에 대응하는 크기를 갖는 시차조절맵을 얻고; 및

해당 단계의 시차 계산 처리에 대응하는 크기를 갖는 업샘플링 시차맵과 해당 단계의 시차 계산 처리에 대응하는 크기를 갖는 시차조절맵을 조합하여(예를 들면 합쳐서), 해당 단계의 시차 계산 처리에 대응하는 크기를 갖는 시차맵을 얻는다.

방식2: 해당 단계의 시차 계산 처리에 대응하는 크기를 갖는 제1 이미지와 해당 단계의 시차 계산 처리에 대응하는 크기를 갖는 제2 이미지를 기반으로, 해당 단계의 시차 계산 처리에서 기반으로 하는 제1 이미지와 관련된 이미지 특징 및 제2 이미지와 관련된 이미지 특징을 결정하고; 전(前) 단계의 시차 계산 처리에 의해 얻은 시차맵의, 해당 단계의 시차 계산 처리에 대응하는 크기를 갖는 업샘플링 시차맵을 기반으로, 해당 단계의 시차 계산 처리에 대응하는 시차 검색 범위(즉, 해당 단계의 시차 계산 처리에 대응하는 시차 검색 범위에 해당 단계의 시차 계산 처리에 대응하는 크기를 갖는 업샘플링 시차맵을 기반으로 결정되는 시차 오프셋이 포함되어 있음)를 결정하고; 및

해당 단계의 시차 계산 처리에서 기반으로 하는 제1 이미지와 관련된 이미지 특징, 제2 이미지와 관련된 이미지 특징 및 해당 단계의 시차 계산 처리에 대응하는 시차 검색 범위를 기반으로 시차 계산 처리를 진행하여, 해당 단계의 시차 계산 처리에 대응하는 크기를 갖는 시차맵을 얻는다.

즉, 해당 단계의 시차 계산 처리에서 기반으로 하는 목표 이미지인 제2 이미지와 관련된 이미지 특징에 상응한 시차 오프셋이 포함될 수 있는 것 외에도, 해당 단계의 시차 계산 처리에 대응하는 시차 검색 범위에 상응한 시차 오프셋이 포함되어 있는 방식을 통해, 전(前) 단계의 시차 계산 처리에 의해 얻은 시차맵을 기반으로 더 높은 정확도를 가진 시차맵을 신속하게 획득하는 효과를 유연하게 실현할 수 있다. 그밖에, 주의해야 할 점은, 이상의 제1 단계 시차 계산 처리가 아닌 각 시차 계산 처리에 대응하는 시차 검색 범위는 모두 상기 관련된 실시예에서 설명한 방식에 따라 설정할 수 있으므로, 설명은 생략한다.

일부 실시예에 따르면, 제1, 제2 단계 시차 계산 처리를 포함하는 각 단계의 시차 계산 처리의 경우, 결정된 제1 이미지와 관련된 이미지 특징 또는 제2 이미지와 관련된 이미지 특징은 이미지 중의 각 픽셀의 적녹청RGB 성분 및 각 픽셀의 기울기(예를 들면 수평 기울기 또는 수직 기울기 등) 중 적어도 하나를 포함할 수 있다.

일부 실시예에 따르면,

，

를 상기 제1 이미지

중의 2개 인접점이라고 기록하면, 상기 제1 이미지

중의

점의 수평 기울기는

로 나타낼 수 있으며, 그 중

，

는 각각 상기 제1 이미지

중의

점의 R, G, B성분을 나타낼 수 있고,

，

는 각각 상기 제1 이미지

중의

점의 R, G, B성분을 나타낼 수 있다. 그밖에, 이미지 중의 각 픽셀의 RGB성분은 별도의 계산 작업 없이, 관련된 기술 중의 각종 RGB성분 판독 알고리즘을 통해 상기 이미지로부터 직접 판독할 수 있다.

일부 실시예에 따르면, 제1 이미지와 관련된 이미지 특징 또는 제2 이미지와 관련된 이미지 특징은 픽셀의 RGB성분 및/또는 기울기를 포함하는 것 외에도, 실제 상황에 따라 유연하게 설정할 수 있다. 예를 들면, 이미지 특징 선택의 유연성 및 다양성을 향상시키도록, 제1 이미지와 제2 이미지의 픽셀 값, 제1 이미지와 제2 이미지 중의 매칭되는 픽셀 간의 픽셀 제곱 차이(squared difference), 제1 이미지와 제2 이미지 간의 상호 상관 값, 제1 이미지와 제2 이미지 중의 매칭되는 픽셀 사이의 해밍(Hamming)거리, 심지어 제1 이미지와 제2 이미지의 상술한 낮은 복잡도의 특징(즉, 이미지 중의 픽셀 값 또는 RGB성분 등을 비교적 간단하게 전환하여 얻을 수 있는 특징)에 비해 보다 상위 수준의 이미지 특징, 예를 들어 의미적 특징, 가장자리 특징, 텍스처 특징 또는 형상 특징 등 특징 중의 하나 이상을 포함하도록 설정할 수 있다.

일부 실시예에 따르면, 각 이미지 특징이 각 단계의 시차 계산 처리에서 차지하는 가중치는 실제 상황에 따라 유연하게 설정할 수 있다. 예를 들면, 제1 이미지와 관련된 이미지 특징 또는 제2 이미지와 관련된 이미지 특징이 픽셀의 RGB성분 및/또는 기울기를 포함할 수 있는 것을 예로 들면, 각 픽셀의 RGB성분이 각 단계의 시차 계산 처리에서 차지하는 가중치는 각 픽셀의 기울기가 각 단계의 시차 계산 처리에서 차지하는 가중치보다 작지 않게 설정할 수 있다. 대체 방안으로서, 각 픽셀의 기울기가 인접한 픽셀의 차이를 반영하는 것을 고려하면, 상대적으로 일정하게 각 픽셀의 RGB성분이 각 단계의 시차 계산 처리에서 차지하는 가중치를 각 픽셀의 기울기가 각 단계의 시차 계산 처리에서 차지하는 가중치보다 크지 않게 설정할 수도 있으며, 이에 대해 한정하지 않는다.

본 공개에서, 상술한 바와 같이, 각 단계의 시차 계산 처리는 모두 로컬 영역 매칭(즉 로컬 스테레오 매칭) 방법 또는 신경망에 기반한 방법 등의 시차 계산 방법을 이용하여 실현할 수 있다. 일부 실시예에 따르면, 로컬 영역 매칭 방법을 이용하여 시차를 계산할 경우 비용함수 큐브(Cost volume 또는 Cost 큐브)를 구성하는 방식을 통해 실현할 수 있으며, 신경망을 기반으로 하는 방법을 이용하여 시차를 계산할 경우 적합한 신경망을 선택하는 방식을 통해 실현할 수 있다.

이하 상기 도 3, 도 4에 도시한 제2 단계 시차 계산 처리의 두 가지 실현 방식을 예로 들어, 제2 단계 시차 계산 처리의 제1, 제2 이미지와 관련된 이미지 특징 및 대응하는 시차 검색 범위를 기반으로 시차 계산 처리를 진행하여, 제2 크기를 갖는 시차조절맵(단계 S303에 대응) 또는 제2 크기를 갖는 제2 시차맵(단계 S403에 대응)을 얻는 것과 관련된 처리 과정을 예시적으로 설명한다. 주의해야 할 점은, 기타 각 단계의 시차 계산 처리(제1 단계 시차 계산 처리를 포함)의 제1, 제2 이미지와 관련된 이미지 특징 및 대응하는 시차 검색 범위를 기반으로 시차 계산 처리를 진행하여 대응하는 크기를 갖는 시차조절맵 또는 시차맵을 얻는 것과 관련된 처리 과정은 제2 단계 시차 계산 처리의 이상의 상응한 과정과 유사하며, 차이점은 제1 단계 시차 계산 처리의 경우, 기반으로 하는 목표 이미지와 관련된 이미지 특징 또는 시차 검색 범위에 대응하는 시차 오프셋이 포함되어 있지 않는 것이며, 이후 더 이상 상세하게 설명하지 않는다.

일부 실시예에 따르면, 단계 S303에서의 상기 제1 이미지와 관련된 이미지 특징, 상기 제2 이미지와 관련된 이미지 특징 및 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 기반으로 시차 계산 처리를 진행하여, 상기 제2 크기를 갖는 시차조절맵을 얻는 단계는, 상기 제1 이미지와 관련된 이미지 특징, 상기 제2 이미지와 관련된 이미지 특징 및 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 기반으로, 비용함수 큐브(Cost큐브)를 구성하는 단계; 및 상기 비용함수 큐브를 기반으로 상기 제2 크기를 갖는 제1 이미지와 상기 제2 크기를 갖는 제2 이미지 중의 각각의 매칭되는 픽셀 쌍 사이의 시차 조절 값을 결정하여, 상기 제2 크기를 갖는 시차조절맵을 얻는 단계를 포함할 수 있다.

상기 Cost큐브의 크기는 제2 단계 시차 계산 처리에서 기반으로 하는 이미지의 크기(상기 제2 크기) 및 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위와 관련이 있다. 또한, 상기 Cost큐브 중의 C(p, d)점인 상기 대응하는 크기를 갖는 제1 이미지

중의

점의 시차d에서의 매칭 비용C(p, d)은, 상기 대응하는 크기를 갖는 제1 이미지

중의

점과 대응하는 크기(즉 상기 제2 크기)를 갖는 제2 이미지

중의

점의 차이를 나타내는데 사용될 수 있다. 상기 d의 값 범위는 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위에 의해 결정된다. 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 [-D₀, D₀]로 나타낼 수 있는 것을 예로 들면, 상기 d의 값 범위는 [-D₀, D₀]로 나타낼 수도 있으며, 상기 disp1(p)는 대응하는 크기(즉 상기 제2 크기)를 갖는 업샘플링 시차맵에 따라 결정된 상기 대응하는 크기를 갖는 제1 이미지 I₁중의 점p의 초기 시차를 나타낼 수 있다.

일부 실시예에 따르면，결정된 제1 이미지와 관련된 이미지 특징 또는 제2 이미지와 관련된 이미지 특징이 이미지 중의 각 픽셀의 RGB성분 및 각 픽셀의 기울기(예를 들면 수평 기울기)를 포함하는 것을 예로 들면, 상기 차이는 상응하게 컬러 차이 및 기울기 차이를 포함할 수 있다.

일부 실시예에 따르면，상기 컬러 차이는

로 나타낼 수 있으며, 여기서 상기i의 3개 값1, 2, 3은 각각 R, G, B성분을 나타낼 수 있다. 상기 기울기 차이(예를 들면 수평 기울기 차이)는

로 나타낼 수 있으며, 그 중

는 상기 대응하는 크기(즉 상기 제2 크기)를 갖는 제1 이미지

의 p점의 수평 기울기를 나타낼 수 있고,

는 상기 대응 크기(즉 상기 제2 크기)를 갖는 제3 이미지

의 q점의 수평 기울기를 나타낼 수 있다.

일부 실시예에 따르면，상기Cost큐브의 점

은 공식:

로 나타낼 수 있고, 여기서，α는 컬러 항목과 ㅍ맞추는데 사용될 수 있는 가중치이며,

와

는 각각 컬러 항목과 기울기 항목과 관련된 컷오프 값을 나타낼 수 있으며, 삼자의 값은 모두 실제 상황에 따라 유연하게 설정할 수 있다. 예시적으로,

로 설정할 수 있으나, 이에 한정되지 않는다.

일부 실시예에 따르면， 상기 비용함수 큐브를 기반으로 상기 제2 크기를 갖는 제1 이미지와 상기 제2 크기를 갖는 제2 이미지 중의 각각의 매칭되는 픽셀 쌍 사이의 시차 조절 값을 결정하는 단계는, 상기 제2 단계 시차 계산 처리에 대응하는 집계 창을 기반으로, 상기 비용함수 큐브 중의 매칭 비용에 대해 비용 집계를 진행하는 단계(즉 비용 필터링); 상기 비용 집계 결과에 따라, 상기 제2 크기를 갖는 제1 이미지(즉 기준 이미지) 중의 각 픽셀의 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위 내에서의 최소 누적 비용을 결정하는 단계; 및 상기 최소 누적 비용에 따라, 상기 제2 크기를 갖는 제1 이미지 중의 각 픽셀과 상기 제2 크기를 갖는 제2 이미지(즉 목표 이미지)의 각각의 서로 매칭되는 픽셀 사이의 시차 조절 값을 결정하는 단계를 포함할 수 있다.

즉, Cost큐브를 구성한 후, 대응하는 집계 창을 기반으로 Cost큐브 중의 매칭 비용에 대해 비용 집계를 진행하여 단일 점의 노이즈를 제거함으로써 매칭 정확도를 향상시킬 수 있다. 이후, 집계된 매칭 비용(즉 누적 비용)에 대해 최소 값을 취하는 방식으로 상응하는 시차 조절 값을 결정할 수 있다.

일부 실시예에 따르면，상기 제2 단계 시차 계산 처리에 대응하는 집계 창을 기반으로, 상기 비용함수 큐브 중의 매칭 비용에 대해 비용 집계를 진행하는 단계는, 상기 제2 단계 시차 계산 처리에 대응하는 집계 창을 기반으로, 상기 비용함수 큐브 중의 대응하는 시차가 동일한 매칭 비용에 대해 비용 집계를 진행하는 단계를 포함할 수 있다.

예시적으로, SAD(Sum of absolute differences) 집계 알고리즘을 사용하는 것을 예로 들면, 아래 공식을 통해 Cost큐브 중의 대응하는 시차가 동일한 매칭 비용에 대해 비용 집계를 진행하여, 상기 제2 크기를 갖는 제1 이미지 중의

점의 시차d에서의 누적 비용을 얻을 수 있다.

，

；

여기서, KW와 KH는 각각 대응하는 집계 창의 폭과 높이(집계 창은 KW x KH로 나타낼 수 있음)를 나타내고, 단위는 픽셀일 수 있으며, 또한 그 값은 실제 상황에 따라 유연하게 설정할 수 있으며, 예를 들면 모두 9로 설정할 수 있다.

일부 실시예에 따르면, 상기 제2 크기를 갖는 제1 이미지 중의 각 픽셀의 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위 내의 각 시차 부분에서의 누적 비용을 획득한 후, WTA(Winner-take-all, 승자독식) 알고리즘을 통해 최소 누적 비용을 선택하여, 상기 최소 누적 비용에 따라 상기 제2 크기를 갖는 제1 이미지 중의 각 픽셀 및 상기 제2 크기를 갖는 제2 이미지 중의 각각의 서로 매칭되는 픽셀 사이의 시차 조절 값

을 결정할 수 있다.

상응하게, 상기 제2 크기를 갖는 제1 이미지 중의 각 픽셀 및 상기 제2 크기를 갖는 제2 이미지 중의 각각의 서로 매칭되는 픽셀 사이의 시차 조절 값 disp2을 결정한 후, disp2를 상기 제2 크기를 갖는 업샘플링 시차맵을 기반으로 결정된 대응하는 초기 시차(또는 시차 오프셋) disp1와 합치는 방식으로, 상기 제2 크기를 갖는 제1 이미지 중의 각 픽셀 및 상기 제2 크기를 갖는 제2 이미지 중의 각각의 서로 매칭되는 픽셀 사이의 최종 시차를 얻어, 상기 제2 크기를 갖는 제2 시차맵을 얻을 수 있다.

이상, 관련 공식을 결합하여 로컬 영역 매칭 방법을 이용하여 단계 S303에서의 상기 제1 이미지와 관련된 이미지 특징, 상기 제2 이미지와 관련된 이미지 특징 및 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 기반으로 시차 계산 처리를 진행하여, 상기 제2 크기를 갖는 시차조절맵을 얻는 과정을 실행하는 것을 예시적으로 설명했다. 로컬 영역 매칭 방법을 이용하여 단계 S403에서의 상기 제1 이미지와 관련된 이미지 특징, 상기 제2 이미지와 관련된 이미지 특징 및 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 기반으로 시차 계산 처리를 진행하여, 상기 제2 크기를 갖는 제2 시차맵을 얻는 과정을 실행하는 것은 로컬 영역 매칭 방법을 이용하여 단계 S303의 과정을 실행하는 것과 유사하므로, 자세한 설명을 생략한다.

예시적으로, 단계 S303과 유사하게, 단계 S403의 상기 제1 이미지와 관련된 이미지 특징, 상기 제2 이미지와 관련된 이미지 특징 및 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 기반으로 시차 계산 처리를 진행하여, 상기 제2 크기를 갖는 제2 시차맵을 얻는 단계는, 상기 제1 이미지와 관련된 이미지 특징, 상기 제2 이미지와 관련된 이미지 특징 및 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 기반으로, 비용 함수 큐브를 구성하는 단계(Cost큐브); 및 상기 비용함수 큐브를 기반으로 상기 제2 크기를 갖는 제1 이미지와 상기 제2 크기를 갖는 제2 이미지 중의 각각의 서로 매칭되는 픽셀 쌍 사이의 시차를 결정하여 상기 제2 크기를 갖는 시차맵을 얻는 단계를 포함할 수 있다.

주의해야 할 점은, 이러한 경우, 구성된 Cost큐브의

점인 대응하는 크기(상기 제2 크기)를 갖는 제1 이미지

중의

점의 시차d에서의 매칭 비용

은, 상기 대응 크기를 갖는 제1 이미지

중의

점과 대응 크기(상기 제2 크기)를 갖는 제2 이미지

중의

점의 차이를 나타내는데 사용될 수 있다. 상기 d의 값 범위는 이러한 경우의 제2 단계 시차 계산 처리에 대응하는 상응한 시차 오프셋이 포함되어 있는 시차 검색 범위에 의해 결정된다. 예를 들면, 만약 상기 제2 단계 시차 계산 처리에 대응하는 상응한 시차 오프셋이 포함되어 있는 시차 검색 범위를 [-D₀+ disp1, D₀+ disp1]로 나타낼 수 있으면, 상기 d의 값 범위도 [-D₀+ disp1, D₀+ disp1]로 나타낼 수 있다. 상기 disp1(p)는 대응하는 크기(상기 제2 크기)를 갖는 업샘플링 시차맵에 따라 결정되는 상기 대응 크기를 갖는 제1 이미지 I₁중의 점p의 초기 시차를 나타낼 수 있다.

일부 실시예에 따르면，상기 비용함수 큐브를 기반으로 상기 제2 크기를 갖는 제1 이미지와 상기 제2 크기를 갖는 제2 이미지 중의 각각의 서로 매칭되는 픽셀 쌍 사이의 시차를 결정하는 단계는, 상기 제2 단계 시차 계산 처리에 대응하는 집계 창을 기반으로, 상기 비용함수 큐브 중의 매칭 비용에 대해 비용 집계를 진행하는 단계; 상기 비용 집계 결과에 기반하여, 상기 제2 크기를 갖는 제1 이미지 중의 각 픽셀의 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위 내의 최소 누적 비용을 결정하는 단계; 및 상기 최소 누적 비용에 따라, 상기 제2 크기를 갖는 제1 이미지 중의 각 픽셀과 상기 제2 크기를 갖는 제2 이미지 중의 서로 매칭되는 각 픽셀 사이의 시차를 결정하는 단계를 포함할 수 있다.

일부 실시예에 따르면，상술한 바와 같이， 상기 제2 단계 시차 계산 처리에 대응하는 집계 창을 기반으로, 상기 비용함수 큐브 중의 매칭 비용에 대해 비용 집계를 진행하는 단계는, 상기 제2 단계 시차 계산 처리에 대응하는 집계 창을 기반으로, 상기 비용함수 큐브 중의 대응하는 시차가 동일한 매칭 비용에 대해 비용 집계를 진행하는 단계를 포함할 수 있다.

그밖에, 상기 관련 서술을 통해 알 수 있듯이, 단계 S403에 대응하는 시차 계산 처리 방식을 이용하면 상기 제2 크기를 갖는 제2 시차맵을 직접 얻을 수 있으며, 단계 S303에 대응하는 시차 계산 처리 방식을 이용하면, 먼저 상기 제2 크기를 갖는 시차조절맵을 얻고, 이후, 상기 제2 크기를 갖는 시차조절맵과 상기 제2 크기를 갖는 업샘플링 시차맵을 조합하여(예를 들면 합쳐서), 상기 제2 크기를 갖는 제2 시차맵을 얻을 수 있다.

또한, 상술한 바와 같이, 로컬 영역 매칭 방법을 이용하여 기타 각 단계의 시차 계산 처리(제1 단계 시차 계산 처리를 포함)를 실행하는 제1, 제2 이미지와 관련된 이미지 특징 및 대응하는 시차 검색 범위를 기반으로 시차 계산 처리를 진행하여 대응 크기를 갖는 시차조절맵 또는 시차맵을 얻는 것과 관련된 처리 과정은 제2 단계 시차 계산 처리의 이상의 상응한 과정과 유사하며, 차이점은 제1 단계 시차 계산 처리의 경우, 기반으로 하는 목표 이미지와 관련된 이미지 특징 또는 시차 검색 범위에 대응하는 시차 오프셋이 포함되어 있지 않는다는 점이다. 즉, 로컬 영역 매칭 방법을 이용하여 시차를 계산할 경우, 제2 단계 시차 계산 처리를 포함하는 각각의 다음 단계의 시차 계산 처리와 다르며, 제1 단계 시차 계산 처리의 경우, 이를 위해 구성된 Cost큐브 중의

점인 대응하는 크기(즉 상기 제1 크기)를 갖는 제1 이미지

중의

점의 시차d에서의 매칭 비용

은 상기 대응 크기를 갖는 제1 이미지

중의

와 대응 크기(상기 제1 크기)를 갖는 제2 이미지

중의

점의 차이를 나타내는데 사용될 수 있으며, 그 중, 상기 d의 값 범위는 상기 제1 단계 시차 계산 처리에 대응하는 시차 검색 범위에 의해 결정된다. 예를 들면, 제1 단계 시차 계산 처리에 대응하는 시차 검색 범위를 [0,

]로 나타낼 수 있는 것을 예로 들면, 상기 d의 값 범위는 [0,

]로 나타낼 수 있다. 그밖에, 상기 제1 단계 시차 계산 처리에 대응하는 시차 검색 범위는 시차 오프셋이 포함되지 않는다.

대체 방안으로서, 상기 제1 이미지와 관련된 이미지 특징, 상기 제2 이미지와 관련된 이미지 특징 및 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 기반으로 시차 계산 처리를 진행하여, 상기 제2 크기를 갖는 시차조절맵을 얻는 단계(단계 S303에 대응)는,

시차 생성 신경망을 결정하고, 상기 시차 생성 신경망은 이미지 쌍 중의 각 이미지의 이미지 특징 및 대응하는 시차 검색 범위를 기반으로 상기 이미지 쌍 중의 각각의 서로 매칭되는 픽셀 쌍 사이의 시차 조절 값을 결정하여, 대응하는 크기를 갖는 시차조절맵을 얻는데 사용되는 단계; 및 상기 시차 생성 신경망을 기반으로 상기 제1 이미지와 관련된 이미지 특징, 상기 제2 이미지와 관련된 이미지 특징 및 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 처리하여, 상기 제2 크기를 갖는 시차조절맵을 얻는 단계를 포함할 수 있다.

유사하게，상기 제1 이미지와 관련된 이미지 특징, 상기 제2 이미지와 관련된 이미지 특징 및 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 기반으로 시차 계산 처리를 진행하여, 상기 제2 크기를 갖는 제2 시차맵을 얻는 단계(단계 S403에 대응)는,

시차 생성 신경망을 결정하고, 상기 시차 생성 신경망은 이미지 쌍 중의 각 이미지의 이미지 특징 및 대응하는 시차 검색 범위를 기반으로 상기 이미지 쌍 중의 각각의 서로 매칭되는 픽셀 쌍 사이의 시차 조절 값을 결정하여, 대응하는 크기를 갖는 시차조절맵을 얻는데 사용되는 단계; 및 상기 시차 생성 신경망을 기반으로 상기 제1 이미지와 관련된 이미지 특징, 상기 제2 이미지와 관련된 이미지 특징 및 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 처리하여, 상기 제2 크기를 갖는 제2 시차맵을 얻는 단계를 포함할 수 있다.

즉, 로컬 영역 매칭 방법을 이용하여 각 단계의 시차 계산 처리(제1 단계, 제2 단계 시차 계산 처리를 포함)를 실행하는 것 외에도, 신경망을 기반으로 하는 방법을 이용하여 적합한 신경망을 선택하여 각 단계의 시차 계산 처리를 실행할 수 있다. 신경망을 기반으로 하는 방법은 시차 네트워크를 구성하여 더욱 큰 감지 영역을 얻을 수 있고, 시차 결정 효과가 더 우수하다.

일부 실시예에 따르면, 각 시차 생성 신경망은 2DCNN(2차원 콘볼루션 신경망) 또는 3DCNN(3차원 컨볼루션 신경망) 등의 상응하는 시차 처리 기능을 실현할 수 있는 임의의 콘볼루션 신경망일 수 있다. 콘볼루션 신경망을 시차 생성망으로 사용하면, 비교적 큰 감지 영역을 얻을 수 있으므로, 얻게 되는 시차맵의 정확도를 향상시킬 수 있다.

일부 실시예에 따르면, 2DCNN구조를 사용하는 시차 생성 신경망은 상관층(correlation layer) 및 제1 수량(예를 들면 3~5개 등, 당연히 실제 필요에 따라 기타 상응하는 수치를 유연하게 선택할 수 있음)이 순차적으로 캐스케이딩된 콘볼루션층(convolution layer )을 포함할 수 있으며, 각 콘볼루션층의 콘볼루션 방식은 예를 들면 깊이별 분리 가능한 콘볼루션(depthwise separable convolution) 등을 이용할 수 있다. 3DCNN구조를 사용하는 시차 생성 신경망은 평행이동 합병층(shift concatenate layer) 및 제2수량(예를 들면 3~7개, 당연히 실제 필요에 따라 기타 상응하는 수치를 유연하게 선택할 수 있음)이 순차적으로 캐스케이딩된 콘볼루션 층을 포함할 수 있다.

일부 실시예에 따르면, 2DCNN구조를 사용하는 시차 생성 신경망의 경우, 포함되는 상관층의 기능은 상술한 실시예에서 설명한 상기 제1 이미지와 관련된 이미지 특징, 상기 제2 이미지와 관련된 이미지 특징 및 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 기반으로, 비용함수 큐브를 구성하는 것과 유사하다. 3DCNN구조를 사용하는 시차 생성 신경망의 경우, 포함하는 평행이동 합병층의 기능은 상술한 실시예에서 설명한 상기 제1 이미지와 관련된 이미지 특징, 상기 제2 이미지와 관련된 이미지 특징 및 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 기반으로, 비용함수 큐브를 구성하는 것과 유사하다. 상응하게, 제2 이미지와 관련된 이미지 특징에 상기 제2 크기를 갖는 업샘플링 시차맵을 기반으로 결정된 시차 오프셋이 포함되거나 또는 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위에 상기 제2 크기를 갖는 업샘플링 시차맵을 기반으로 결정된 시차 오프셋이 포함되는 것은 상관층 작업 또는 평행이동 합병층 작업을 실행할 때 상기 제2 크기를 갖는 업샘플링 시차맵을 기반으로 결정된 시차 오프셋을 고려(예를 들면 중첩)함을 의미할 수 있다.

일부 실시예에 따르면, 제1 단계 시차 계산 처리에 의해 얻은 초기 시차맵의 정확도를 향상시켜, 전체 시차 계산 과정의 정확도를 향상시키도록, 제1 단계 시차 계산 처리에 사용되는 시차 생성 신경망에 포함된 콘볼루션층의 수량은 기타 단계의 시차 계산 처리에 사용되는 시차 생성 신경망에 포함된 콘볼루션층의 수량보다 클 수 있다.

또한, 설명해야 할 점은, 신경망을 기반으로 하는 방법을 이용하여 시차를 계산하는 경우, 시차를 계산할 때 기반으로 하는 제1 이미지와 관련된 이미지 특징 및 제2 이미지와 관련된 특징 등은 이미지 쌍 중의 각 이미지의 이미지 특징을 추출하는 특징 추출 신경망에 의해 실현될 수도 있다. 이에 의해, 이미지 특징을 추출하는 효율을 향상시켜 시차 계산의 효율을 향상시킬 수 있다.

일부 실시예에 따르면, 각 단계의 시차 계산 처리에 사용되는 시차 생성 신경망 및/또는 특징 추출 신경망은 모두 지도 훈련 또는 비지도 훈련 방식을 사용하여 훈련될 수 있다. 지도 훈련은 일반적으로 기존 훈련 샘플(예를 들면 레이블이 지정된 데이터)을 이용하여 입력에서 출력까지의 맵핑을 학습 후, 이러한 맵핑 관계를 알 수 없는 데이터에 응용하여, 분류 또는 회귀 목적을 달성한다. 지도 훈련의 알고리즘은 예를 들면 로지스틱 회귀 알고리즘, SVM(Support Vector Machine) 알고리즘, 의사 결정 트리 알고리즘 등을 포함할 수 있다. 비지도 훈련과 지도 훈련의 다른 점은, 비지도 훈련은 지도 샘플이 필요하지 않고, 레이블이 지정되지 않은 데이터를 직접 모델링하여 규칙을 찾아내는 것이며, 전형적인 알고리즘은 예를 들면 클러스터링 알고리즘, 랜덤 포레스트(Random forests) 알고리즘 등을 포함한다.

일부 실시예에 따르면, 각 단계의 시차 계산 처리에 사용되는 시차 생성 신경망 및/또는 특징 추출 신경망은 모두 훈련 샘플집을 기반으로 미리 훈련된 신경망일 수 있으며, 이에 의해 시차 처리 효율을 향상시킬 수 있다. 당연히, 실제 필요에 따라, 시차 계산의 정확성을 향상시키도록, 각 단계의 시차 계산 처리에 사용되는 시차 생성 신경망 및/또는 특징 추출 신경망은 훈련 샘플집을 기반으로 실시간 훈련하여 얻은 것이거나, 또는 업데이트된 훈련 샘플집을 기반으로 미리 훈련된 신경망을 실시간 또는 타이밍 최적화하여 얻은 것일 수도 있다.

예시적으로, 이하 도 5와 결합하여, 본 공개의 예시적 실시예의 2단계 시차 계산 처리를 포함하는 시차 결정 방법의 전체적 작업 과정에 대해 개략적으로 설명하고, 각 단계의 시차 계산 처리는 모두 로컬 영역 매칭 방법을 이용하여 실행할 수 있다.

도 5에 도시한 바와 같이, 도 5는 본 공개의 예시적 실시예에 따른 2단계 시차 계산 처리를 포함하는 시차 결정 방법을 나타낸 전체적 블록도이며, 상기 시차 결정 방법은 다운샘플링 시차(즉 초기 시차)를 계산하기 위한 제1 단계 시차 계산 처리 및 초기 시차를 기반으로 시차정밀화를 진행하는 제2 단계 시차 계산 처리를 포함하고, 각 단계의 시차 계산 처리는 각각 이미지 특징 결정, 비용함수 큐브(Cost volume 또는 Cost큐브) 구성, 비용 집계(즉 비용 필터링) 및 최소 누적 비용 결정 등 작업을 포함할 수 있다.

예시적으로, 처리 대상 이미지 쌍 중의 이미지(즉 제1 이미지와 제2 이미지)의 원래 크기를 H x W(전체 크기라고 할 수 있음)로 나타낼 수 있고, 또한 인접한 2단계 시차 계산 처리에서 기반으로 하는 이미지 사이의 업샘플링 스텝 사이즈 또는 다운샘플링 스텝 사이즈의 값을 2라고 가정하면, 제1 단계 시차 계산 처리에서 기반으로 하는 다운샘플링 처리 후의 제1 이미지와 제2 이미지의 크기(즉 제1 크기)는

(1/2크기라고 할 수 있음)로 나타낼 수 있고, 대응하는 시차 검색 범위는 [0,

]로 축소될 수 있으며, 그 중, D는 제1 이미지와 제2 이미지의 원래 이미지의 시차 검색 최대 값을 나타낼 수 있으며, 그 값은 상기 제1 이미지와 상기 제2 이미지를 수집하는 다안 카메라의 각 카메라 렌즈의 초점 거리 및/또는 각 카메라 렌즈 사이의 피치와 관련이 있다(단위는 이미지의 높이H, 폭W와 유사하며, 픽셀일 수 있음). 제2 단계 시차 계산 처리에서 기반으로 하는 이미지의 크기(즉 제2 크기)는 상기 전체 크기 H x W이며, 대응하는 시차 검색 범위는 [-D₀, D₀]로 설정할 수 있고, 상기 D₀는 M₀(K-1)보다 크지 않은 양의 정수 값이며, 상기 관련된 실시예에서 설명한 바와 같이, 상기 K는 상기 업샘플링 스텝 사이즈를 나타낼 수 있고, 상기 M₀는 상기 제1 단계 시차 계산 처리에 대응하는 최대 시차 오차를 나타낼 수 있으며, 1 이상의 수치이다. 그밖에, 표기하기 편리하도록, 계속하여

를 사용하여 다운샘플링 후의 제1 이미지와 제2 이미지를 표기하고, 크기가 서로 다른 이미지의 로고를 구분하지 않는다.

예시적으로, 제1 단계 시차 계산 처리의 이미지 특징 결정 부분에서, 제1 크기를 갖는 제1 이미지

를 예로 들면, 상기 제1 이미지

중의 각 픽셀의 RGB성분 및 각 픽셀의 기울기(예를 들면 수평 기울기)를 상응하는 이미지 특징으로 결정할 수 있고, 여기서, 상기 제1 이미지

중의 점

의 수평 기울기는 아래 방식을 통해 결정할 수 있다.

，

를 상기 제1 이미지

중의 2개 인접점으로 기록하면, 상기 제1 이미지

중의

점의 수평 기울기는

로 나타낼 수 있으며, 그 중

，

는 각각 상기 제1 이미지

중의

점의 R, G, B성분을 나타낼 수 있고,

，

는 각각 상기 제1 이미지

중의

점의 R, G, B성분을 나타낼 수 있다.

제1 크기를 갖는 제1 이미지

와 제1 크기를 갖는 제2 이미지

의 이미지 특징을 획득한 후, 제1 단계 시차 계산 처리의 비용 함수 큐브를 구성하는 부분에서, 아래 방식을 통해 Cost큐브를 구성할 수 있으며, 그 중, Cost큐브의 크기는

로 나타낼 수 있다.

결정된 제1 이미지

의 각 픽셀의 RGB성분 및 기울기(예를 들면 수평 기울기) 및 제2 이미지

의 각 픽셀의 RGB성분 및 기울기(예를 들면 수평 기울기)에 따라, 양자 사이의 컬러 차이 및 기울기 차이를 결정한다. 상기 컬러 차이는

로 나타낼 수 있으며, 여기서 상기i의 3개 값 1, 2, 3은 각각 R, G, B성분을 나타낼 수 있다. 상기 기울기 차이(예를 들면 수평 기울기 차이)는

로 나타낼 수 있으며, 그 중

는 제1 크기를 갖는 제1 이미지

의 p점의 수평 기울기를 나타낼 수 있고,

는 제1 크기를 갖는 제2 이미지

의 q점의 수평 기울기를 나타낼 수 있다. 상기d의 값 범위는 제1 단계 시차 계산 처리에 대응하는 시차 검색 범위에 의해 결정되고, 예시적으로, 상기 d의 값 범위는 [0,

]일 수 있다.

결정된 컬러 차이 및 기울기 차이에 따라, 공식:

로 상기 Cost큐브를 구성하며, 여기서 상기Cost큐브 중의

점인 제1 크기를 갖는 제1 이미지

중의

점의 시차d에서의 매칭 비용

은, 상기 제1 크기를 갖는 제1 이미지

중의

점과 제1 크기를 갖는 제2 이미지

중의

점의 차이를 나타내는데 사용될 수 있으며, α는 컬러 항목과 기울기 항목의 균형을 맞추는데 사용될 수 있는 가중치이며,

와

는 컬러 항목과 기울기 항목과 관련된 컷오프 값을 나타낼 수 있으며, 삼자의 값은 모두 실제 상황에 따라 유연하게 설정할 수 있다. 예시적으로,

로 설정할 수 있으나, 이에 한정되지 않는다.

Cost큐브를 구성한 후, 제1 단계 시차 계산 처리의 비용 집계 부분에서, SAD집계 알고리즘을 이용하는 것을 예로 들면, 아래 공식을 통해 Cost큐브 중의 대응하는 시차가 동일한 매칭 비용에 대해 비용 집계를 진행하여, 제1 크기를 갖는 제1 이미지

중의

점의 시차d에서의 누적 비용을 얻을 수 있다.

제1 크기를 갖는 제1 이미지

중의 각 픽셀의 제1 단계 시차 계산 처리에 대응하는 시차 검색 범위 내의 각 시차 부분에서의 누적 비용을 획득한 후, 제1 단계 시차 계산 처리의 마지막 부분에서, 아래 공식을 통해 WTA알고리즘을 기반으로 최소 누적 비용을 선택하여 상응하는 초기 시차

를 결정할 수 있다.

상기 초기 시차

및 전체 크기의 제1 이미지

, 전체 크기의 제2 이미지

를 공동으로 다음 단계인 제2 단계 시차 계산 처리의 입력으로 하여, 상응하는 이미지 특징을 결정할 수 있다. 또한, 초기 시차

는 제1 이미지 및 제2 이미지의 원본의 1/2의 크기에 대응하므로, 이를

업샘플링하여, 전체 크기에 대응하는 초기 시차 disp1를 얻을 수 있다.

예시적으로, 제2 단계 시차 계산 처리의 각 부분은 모두 제1 단계 시차 계산 처리의 각 대응 부분과 유사한 방식을 이용하여 실행될 수 있으며, 차이점은 단지 이때 각 픽셀은 모두 하나의 초기 시차

에 대응될 수 있다는 점이다. 다시 말해, 여전히 결정된 제1 이미지와 관련된 이미지 특징 또는 제2 이미지와 관련된 이미지 특징에 이미지 중의 각 픽셀의 RGB성분 및 각 픽셀의 기울기(예를 들면 수평 기울기)가 포함된 것을 예로 들면, 제2 단계 시차 계산 처리에서 구성된 Cost큐브 중의

점인 전체 크기(즉 상기 제2 크기)를 갖는 제1 이미지

중의

점의 시차d에서의 매칭 비용C(p, d)은, 상기 전체 크기를 갖는 제1 이미지

중의

점과 전체 크기(즉 상기 제2 크기)를 갖는 제2 이미지

중의

점의 차이를 나타내는데 사용될 수 있고, 상기 d의 값 범위는 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위 [-D₀, D₀]에 의해 결정된다. 예를 들면, 상기 d의 값 범위는 [-D₀, D₀]로 나타낼 수 있다.

그밖에, 주의해야 할 점은, SAD집계 알고리즘을 이용하여 비용 집계를 진행하는 것을 예로 들면, 제2 단계 시차 계산 처리의 비용 집계 부분에서 사용되는 공식은 아래와 같다.

，

；

여기서, KW와 KH는 각각 대응하는 집계 창의 폭과 높이를 나타내고, 단위는 픽셀일 수 있으며, 또한 그 값은 실제 상황에 따라 유연하게 설정할 수 있으며, 예를 들면 모두 9로 설정할 수 있다. 그밖에, 서로 다른 단계의 시차 계산 처리에 대응하는 집계 창의 크기도 다르게 설정할 수 있다.

상응하게, 누적 비용을 획득한 후, 제2 단계 시차 계산 처리의 마지막 부분에서, WTA알고리즘을 통해 최소 누적 비용을 선택하여 상응한 시차 조절 값

를 결정하고, 이후, 초기 시차 disp1와 시차 조절 값 disp2을 합치면, 정밀화된 시차인 최종 시차

를 얻을 수 있다. 설명해야 할 점은, 상기 예시는 도 3에 대응하는 시차 계산 처리 방식을 이용하여 예시적으로 설명하였고, 만약 Cost큐브 구성, 비용 집계, 최소 누적 비용 결정하는 등의 단계를 모두 도 4에 대응하는 시차 계산 처리 방식 중의 상응한 단계로 대체하면, 시차 조절 값을 계산할 필요 없이 필요한 시차를 직접 계산할 수 있다.

상기 내용을 통해 알 수 있듯이, 전체 크기의 이미지를 직접 사용하여 시차를 계산하는 것과 비교하면, 본 공개의 도 5에 도시한 시차 계산 과정에 필요한 총 계산량은 전체 크기의 이미지를 직접 사용하여 시차를 계산하는 경우의

이하, 도 6a, 도 6b, 도 6c 및 도 6d를 결합하여, 기준 이미지를 기반으로 Middlebury공용 데이터 세트의 사진 상에서 테스트하여 얻은 결과를 개략적으로 설명한다. 도 6a 및 도 6b는 각각 본 공개의 예시적 실시예에 따른 기준 이미지 및 대응하는 참값 시차맵을 나타낸 개략도이다. 도 6c및 도 6d는 각각 본 공개의 예시적 실시예에 따른 시차 결정 방법을 나타내며, 도 6a에 도시한 기준 이미지를 기반으로 2단계 시차 처리를 진행하여 얻은 업샘플링 처리 후의 초기 시차맵 및 최적화된 시차맵의 개략도이다. 상기 도면을 통해 알 수 있듯이, 정밀화된 시차 결과(마지막 단계 시차 계산 처리에 의해 얻은 결과)는 업샘플링 처리 후의 초기 시차 결과에 비해, 더욱 매끄럽고 시차가 더욱 연속적이다.

그밖에, 도 6a 내지 도 6d는 각각 그레이 이미지의 방식으로 기준 이미지, 참값 시차맵, 업샘플링 처리 후의 초기 시차맵 및 최적화된 시차맵을 도시하였고, 도 6a에 도시한 기준 이미지가 컬러 이미지 일 경우, 도 6b내지 도 6d에 도시한 각 시차맵도 상응하는 컬러 이미지일 수 있음을 이해할 수 있다.

그밖에, 도시하지 않았지만, 획득한 최적화된 시차맵과 같은 시차맵(즉 마지막 단계의 시차 계산 처리에 의해 얻은 시차맵)은 상응하는 목표 장치에 제공되어 추가로 처리될 수도 있다. 예를 들면 상응하는 목표 장치에 제공되어 상기 목표 장치가 상기 시차맵을 기반으로 계산하여 깊이맵을 얻도록 하여, 장면의 깊이 정보를 얻음으로써, 3차원 재구성, 자동 주행, 장애물 검출 등과 같은 다양한 응용 장면에 응용되도록 한다.

그밖에, 상기 관련 실시예에서 설명한 바와 같이, 마지막 단계의 시차 계산 처리에 의해 얻은 시차맵을 시차 계산 결과로 하는 것 외에도, 기타 각 단계의 시차 계산 처리에 의해 얻은 시차맵을 모두 시차 계산 결과로 하면, 목표 장치의 성능에 따라, 상기 복수의 시차맵에서 그 크기와 상기 목표 장치의 성능이 매칭되는 시차맵을 최종적으로 상기 목표 장치에 제공하는 시차맵으로 선택할 수도 있다. 예를 들면 만약 상기 목표 장치의 성능이 높고, 및/또는 필요한 시차맵의 정확도가 높아야 하면, 상기 복수의 시차맵에서 크기가 비교적 큰 시차맵을 선택하여 상기 목표 장치에 제공할 수 있다.

이상은 도1 내지 도 6d를 결합하여 본 공개에 따른 시차 결정의 예시적 방법을 설명했다. 이하, 도 7을 결합하여, 본 공개의 예시적 전자 장치의 예시적 실시예에 대해 추가적으로 설명한다. 주의해야 할 점은, 상기 내용에서 도 1~도 6을 참조하여 설명한 다양한 정의, 실시예, 실시방식 및 예 등은 모두 후술할 예시적 실시예 또는 그 조합에 적용될 수도 있다.

본 공개의 일 측면은 전자 장치를 포함하고, 상기 전자 장치는 프로세서; 및 상기 프로세서에 의해 실행될 경우 상기 프로세서가 상술한 임의의 방법을 실행하도록 하는 명령을 포함하는 프로그램을 저장하는 메모리를 포함할 수 있다.

본 공개의 일측면은 전자 장치의 프로세서에 의해 실행될 경우 상기 전자 장치가 상술한 임의의 방법을 실행하도록 하는 명령을 포함하는 프로그램을 저장하는 컴퓨터 판독 가능한 저장 매체를 포함할 수 있다.

이하 도 7을 참고하여, 본 공개의 각 측면에 응용될 수 있는 하드웨어 장치의 예시인 컴퓨터 장치(2000)를 설명한다. 컴퓨터 장치(2000)는 처리 및/또는 계산을 실행하도록 구성되는 임의의 기계일 수 있으며, 워크 스테이션, 서버, 데스크톱 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 개인용 디지털 비서, 스마트폰, 온보드 컴퓨터 또는 이들의 조합일 수 있으나 이에 한정되지 않는다.

컴퓨터 장치(2000)는 (하나 이상의 인터페이스를 통해) 버스(2002)와 연결되거나 버스(2002)와 통신할 수 있는 요소를 포함할 수 있다. 예를 들면, 컴퓨터 장치(2000)는 버스(2002), 하나 이상의 프로세서(2004), 하나 이상의 입력 장치(2006) 및 하나 이상의 출력 장치(2008)를 포함할 수 있다. 하나 이상의 프로세서(2004)는 임의의 유형의 프로세서일 수 있으며, 하나 이상의 범용 프로세서 및/또는 하나 이상의 전용 프로세서(예를 들면 특수 처리 칩)를 포함할 수 있지만, 이에 한정되지 않는다. 입력 장치(2006)는 컴퓨터 장치(2000)에 정보를 입력할 수 있는 임의의 유형의 장치일 수 있으며, 마우스, 키보드, 터치 스크린, 마이크 및/또는 리모콘 등을 포함할 수 있으나, 이에 한정되지 않는다. 출력 장치(2008)는 정보를 보여줄 수 있는 임의의 유형의 장치일 수 있으며, 디스플레이, 스피커, 비디오/오디오 출력 단말, 진동기 및/또는 프린터를 포함할 수 있으나, 이에 한정되지 않는다. 컴퓨터 장치(2000)는 저장 장치(2010)를 포함하거나 또는 저장 장치(2010)와 연결될 수 있으며, 저장 장치는 비일시적이고 데이터 저장을 실현할 수 있는 임의의 저장 장치일 수 있으며, 또한 디스크 드라이브, 광학 저장 장치, 솔리드 스테이트 메모리, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프 또는 임의의 기타 자기 매체를 포함할 수 있으나, 이에 한정되지 않으며, 광학 디스크 또는 임의의 기타 광학 매체, ROM(읽기 전용 메모리), RAM(랜덤 액세스 메모리), 캐시 메모리 및/또는 임의의 기타 메모리 칩 또는 카트리지, 및/또는 컴퓨터가 데이터, 명령 및/또는 코드를 읽을 수 있는 임의의 기타 매체일 수 있다. 저장 장치(2010)는 인터페이스로부터 분리될 수 있다. 저장 장치(2010)는 상기 방법 및 단계(예를 들면 도 1 내지 도 4 등의 흐름도에 도시된 방법 및 단계)를 실현하기 위한 데이터/프로그램(명령 포함)/코드를 가질 수 있다. 컴퓨터 장치(2000)는 통신 장치(2012)를 포함할 수도 있다. 통신 장치(2010)는 외부 장치 및/또는 네트워크와 통신할 수 있는 임의의 유형의 장치 또는 시스템일 수 있으며, 또한 모뎀, 네트워크 카드, 적외선 통신 장치, 무선 통신 장치 및/또는 칩 세트를 포함하나 이에 한정되지 않으며, 예를 들어 블루투스 TM장치, 1302.11장치, WiFi장치, WiMax장치, 셀룰러 통신 장치 및/또는 유사물 포함할 수 있지만, 이에 한정되지 않는다.

컴퓨터 장치(2000)는 작업 메모리(2014)를 포함할 수 있으며, 이는 프로세서(2004)의 작업에 유용한 프로그램(명령 포함) 및/또는 데이터를 저장할 수 있는 임의의 유형의 작업 메모리일 수 있으며, 랜덤 액세스 메모리 및/또는 읽기 전용 메모리 장치를 포함하나, 이에 한정되지 않는다.

소프트웨어 요소(프로그램)는 작업 메모리(2014)에 위치할 수 있으며, 오퍼레이팅 시스템(2016), 하나 이상의 어플리케이션(즉 어플리케이션 프로그램, 2018), 드라이버 프로그램 및/또는 기타 데이터 및 코드를 포함하나 이에 한정되지 않는다. 상기 방법 및 단계(도 1 내지 도 4 등의 흐름도에 도시된 방법 및 단계)를 실행하기 위한 명령은 하나 이상의 어플케이션(2018)에 포함될 수 있으며, 또한 프로세서(2004)에 의해 상기 하나 이상의 어플리케이션(2018)의 명령을 읽고 실행하여 실현할 수 있다. 소프트웨어 요소(프로그램)의 명령의 실행 코드 또는 소스 코드는 비일시적 컴퓨터 판독 가능한 매체(예를 들면 상기 메모리 장치(2010))에 저장될 수 있고, 또한 실행 시 작업 메모리(2014)에 저장(컴파일 및/또는 설치)될 수 있다. 소프트웨어 요소(프로그램)의 명령의 실행 코드 또는 소스 코드는 원격 위치에서 다운로드할 수도 있다.

구체적인 요구에 따라 다양한 변형이 이루어질 수 있음을 이해해야 한다. 예를 들면, 맞춤형 하드웨어를 사용될 수도 있으며, 및/또는 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로 코드, 하드웨어 기술 언어 또는 이들의 임의 조합으로 특정 요소를 구현할 수 있다. 예를 들면, 상기 공개된 방법 및 장치 중의 일부 또는 전부는 본 공개에 따른 논리 및 알고리즘을 사용할 수 있으며, 어셈블리 언어 또는 하드웨어 프로그래밍 언어(예를 들면 VERILOG，VHDL，C ++)를 이용하여 하드웨어(예를 들면, FPGA 및/또는 프로그램 가능 논리 어레이(PLA)를 포함하는 프로그램 가능 논리 회로)를 프로그래밍함으로써 구현할 수 있다.

상기 방법은 서버-클라이언트 모드를 통해 실현될 수 있음을 이해해야 한다. 예를 들면, 클라이언트는 사용자로부터 데이터를 입력 받아 상기 데이터를 서버로 발송할 수 있다. 클라이언트는 사용자가 입력한 데이터를 수신하여, 상기 방법 중의 일부 처리를 진행하고, 처리된 데이터를 서버로 발송할 수도 있다. 서버는 클라이언트로부터의 데이터를 수신할 수 있으며, 또한 상기 방법 또는 상기 방법 중의 다른 일부를 실행하여, 실행 결과를 클라이언트에 피드백할 수 있다. 클라이언트는 서버로부터 방법의 실행 결과를 수신하고, 예를 들면 출력 장치를 통해 사용자에게 보여줄 수 있다.

컴퓨터 장치(2000)의 어셈블리는 네트워크에 분산될 수 있음을 이해해야 한다. 예를 들면, 하나의 프로세서를 사용하여 일부 처리를 실행할 수 있으며, 동시에 상기 하나의 프로세서에서 멀리 떨어져 있는 다른 하나의 프로세서에 의해 기타 처리를 실행할 수 있다. 컴퓨터 장치(2000)의 기타 어셈블리도 유사하게 분산될 수 있다. 이와 같이, 컴퓨터 장치(2000)는 여러 위치에서 처리를 수행하는 분산 컴퓨터 시스템으로 해석될 수 있다.

비록 도면을 참조하여 본 공개의 실시예 또는 예시를 설명하였으나, 상기 방법, 시스템 및 장치는 단지 예시적 실시예 또는 예시일 뿐, 본 발명의 범위는 이러한 실시예 또는 예시에 의해 한정되지 않으며, 등록된 청구범위 및 그 동등한 범위에 의해서만 한정됨을 이해해야 한다. 실시예 또는 예시에서의 각종 요소는 생략되거나 또는 그 동등한 요소로 대체될 수 있다. 그밖에, 본 공개에서 설명한 것과 다른 순서로 각 단계를 실행할 수 있다. 추가적으로, 다양한 방식으로 실시예 또는 예시의 다양한 요소를 조합할 수 있다. 기술이 발전함에 따라, 여기서 설명한 많은 요소들은 본 공개 후에 나타나는 동등한 요소로 대체될 수 있다는 점이 중요하다.

Claims

제1 이미지 및 제2 이미지에 대해 다운샘플링 처리를 진행하여, 제1 크기를 갖는 제1 이미지 및 상기 제1 크기를 갖는 제2 이미지를 얻는 단계;
상기 제1 크기를 갖는 제1 이미지와 상기 제1 크기를 갖는 제2 이미지에 대해 제1 단계 시차 계산 처리를 진행하여, 상기 제1 크기를 갖는 제1 시차맵을 얻는 단계; 및
상기 제1 시차맵의 제2 크기를 갖는 업샘플링 시차맵을 기반으로, 상기 제2 크기를 갖는 제1 이미지 및 상기 제2 크기를 갖는 제2 이미지에 대해 제2 단계 시차 계산 처리를 진행하여, 상기 제2 크기를 갖는 제2 시차맵을 얻는 단계
를 포함하는 시차 결정 방법.
제1항에 있어서,
상기 제1 시차맵의 제2 크기를 갖는 업샘플링 시차맵을 기반으로, 상기 제2 크기를 갖는 제1 이미지 및 상기 제2 크기를 갖는 제2 이미지에 대해 제2 단계 시차 계산 처리를 진행하여, 상기 제2 크기를 갖는 제2 시차맵을 얻는 단계는,
상기 제2 크기를 갖는 제1 이미지 및 상기 제2 크기를 갖는 제2 이미지를 기반으로, 상기 제2 단계 시차 계산 처리에서 기반으로 하는 제1 이미지와 관련된 이미지 특징 및 제2 이미지와 관련된 이미지 특징을 결정하고, 상기 제2 이미지와 관련된 이미지 특징에 상기 제2 크기를 갖는 업샘플링 시차맵을 기반으로 결정된 시차 오프셋이 포함되어 있는 단계;
상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 결정하는 단계;
상기 제1 이미지와 관련된 이미지 특징, 상기 제2 이미지와 관련된 이미지 특징 및 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 기반으로 시차 계산 처리를 진행하여, 상기 제2 크기를 갖는 시차조절맵을 얻는 단계; 및
상기 제2 크기를 갖는 업샘플링 시차맵과 상기 제2 크기를 갖는 시차조절맵을 조합하여, 상기 제2 크기를 갖는 제2 시차맵을 얻는 단계를 포함하는, 시차 결정 방법.
제2항에 있어서,
상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위는 [-D₀, D₀]로 나타내고, 상기 D₀는 M₀(K-1)보다 크지 않은 양의 정수 값이며,
상기 K는 상기 제1 시차맵과 상기 제2 크기를 갖는 업샘플링 시차맵 사이의 업샘플링 스텝 사이즈를 나타내고, 1 이상의 수치이며; 상기 M₀는 상기 제1 단계 시차 계산 처리에 대응하는 최대 시차 오차를 나타내고, 1 이상의 수치인, 시차 결정 방법.
제1항에 있어서，
상기 제1 시차맵의 제2 크기를 갖는 업샘플링 시차맵을 기반으로, 상기 제2 크기를 갖는 제1 이미지 및 상기 제2 크기를 갖는 제2 이미지에 대해 제2 단계 시차 계산 처리를 진행하여, 상기 제2 크기를 갖는 제2 시차맵을 얻는 단계는,
상기 제2 크기를 갖는 제1 이미지 및 상기 제2 크기를 갖는 제2 이미지를 기반으로, 상기 제2 단계 시차 계산 처리에서 기반으로 하는 제1 이미지와 관련된 이미지 특징 및 제2 이미지와 관련된 이미지 특징을 결정하는 단계;
상기 제2 크기를 갖는 업샘플링 시차맵을 기반으로, 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 결정하는 단계; 및
상기 제1 이미지와 관련된 이미지 특징, 상기 제2 이미지와 관련된 이미지 특징 및 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 기반으로 시차 계산 처리를 진행하여, 상기 제2 크기를 갖는 제2 시차맵을 얻는 단계를 포함하는, 시차 결정 방법.
제4항에 있어서,
상기 제2 크기를 갖는 업샘플링 시차맵을 기반으로, 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 결정하는 단계는,
상기 제1 시차맵과 상기 제2 크기를 갖는 업샘플링 시차맵 사이의 업샘플링 스텝 사이즈 및 상기 제1 단계 시차 계산 처리에 대응하는 최대 시차 오차에 따라, 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 조절 범위를 결정하는 단계; 및
상기 제2 크기를 갖는 업샘플링 시차맵 중의 시차 값을 기준으로, 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 조절 범위를 조절하여, 상기 제2 단계 시차 계산 처리에 대응하는 상응한 시차 오프셋이 포함되어 있는 시차 검색 범위를 얻는 단계를 포함하는, 시차 결정 방법.
제5항에 있어서,
상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 조절 범위는 [-D₀, D₀]로 나타내고, 상기 제2 단계 시차 계산 처리에 대응하는 상응한 시차 오프셋이 포함되어 있는 시차 검색 범위는 [-D₀+ disp1, D₀+ disp1]로 나타내며;
상기 disp1는 상기 제2 크기를 갖는 업샘플링 시차맵 중의 시차 값을 나타내고;
상기 D₀는 M₀(K-1)보다 크지 않은 양의 정수 값이며, 상기 K는 상기 업샘플링 스텝 사이즈를 나타내고, 1 이상의 수치이며, 상기 M₀는 상기 제1 단계 시차 계산 처리에 대응하는 최대 시차 오차를 나타내고, 1 이상의 수치인, 시차 결정 방법.
제2항에 있어서,
상기 제1 이미지와 관련된 이미지 특징, 상기 제2 이미지와 관련된 이미지 특징 및 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 기반으로 시차 계산 처리를 진행하여, 상기 제2 크기를 갖는 시차조절맵을 얻는 단계는,
상기 제1 이미지와 관련된 이미지 특징, 상기 제2 이미지와 관련된 이미지 특징 및 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 기반으로 비용함수 큐브를 구성하는 단계; 및
상기 비용함수 큐브를 기반으로 상기 제2 크기를 갖는 제1 이미지 및 상기 제2 크기를 갖는 제2 이미지 중의 각각의 서로 매칭되는 픽셀 쌍 사이의 시차 조절 값을 결정하여, 상기 제2 크기를 갖는 시차조절맵을 얻는 단계를 포함하는, 시차 결정 방법.
제7항에 있어서,
상기 비용함수 큐브를 기반으로 상기 제2 크기를 갖는 제1 이미지 및 상기 제2 크기를 갖는 제2 이미지 중의 각각의 서로 매칭되는 픽셀 쌍 사이의 시차조절맵을 결정하는 단계는,
상기 제2 단계 시차 계산 처리에 대응하는 집계 창을 기반으로, 상기 비용함수 큐브 중의 매칭 비용에 대해 비용 집계를 진행하는 단계;
상기 비용 집계의 결과에 기반하여, 상기 제2 크기를 갖는 제1 이미지 중의 각 픽셀의 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위 내의 최소 누적 비용을 결정하는 단계; 및
상기 최소 누적 비용에 따라, 상기 제2 크기를 갖는 제1 이미지 중의 각 픽셀과 상기 제2 크기를 갖는 제2 이미지 중의 서로 매칭되는 각 픽셀 사이의 시차 조절 값을 결정하는 단계를 포함하는, 시차 결정 방법.
제2항에 있어서,
상기 제1 이미지와 관련된 이미지 특징, 상기 제2 이미지와 관련된 이미지 특징 및 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 기반으로 시차 계산 처리를 진행하여, 상기 제2 크기를 갖는 시차조절맵을 얻는 단계는,
이미지 쌍 중의 각 이미지의 이미지 특징 및 대응하는 시차 검색 범위를 기반으로 상기 이미지 쌍 중의 각각의 서로 매칭되는 픽셀 쌍 사이의 시차 조절 값을 결정하여, 대응하는 크기를 갖는 시차조절맵을 얻기 위한 시차 생성 신경망을 결정하는 단계; 및
상기 시차 생성 신경망을 기반으로 상기 제1 이미지와 관련된 이미지 특징, 상기 제2 이미지와 관련된 이미지 특징 및 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 처리하여, 상기 제2 크기를 갖는 시차조절맵을 얻는 단계를 포함하는, 시차 결정 방법.
제4항에 있어서,
상기 제1 이미지와 관련된 이미지 특징, 상기 제2 이미지와 관련된 이미지 특징 및 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 기반으로 시차 계산 처리를 진행하여, 상기 제2 크기를 갖는 제2 시차맵을 얻는 단계는,
상기 제1 이미지와 관련된 이미지 특징, 상기 제2 이미지와 관련된 이미지 특징 및 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 기반으로 비용함수 큐브를 구성하는 단계;
상기 비용함수 큐브를 기반으로 상기 제2 크기를 갖는 제1 이미지와 상기 제2 크기를 갖는 제2 이미지 중의 각각의 서로 매칭되는 픽셀 쌍 사이의 시차를 결정하여, 상기 제2 크기를 갖는 제2 시차맵을 얻는 단계를 포함하는, 시차 결정 방법.
제10항에 있어서,
상기 비용함수 큐브를 기반으로 상기 제2 크기를 갖는 제1 이미지와 상기 제2 크기를 갖는 제2 이미지 중의 각각의 서로 매칭되는 픽셀 쌍 사이의 시차를 결정하는 단계는,
상기 제2 단계 시차 계산 처리에 대응하는 집계 창을 기반으로, 상기 비용함수 큐브 중의 매칭 비용에 대해 비용 집계를 진행하는 단계;
상기 비용 집계의 결과에 기반하여, 상기 제2 크기를 갖는 제1 이미지 중의 각 픽셀의 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위 내의 최소 누적 비용을 결정하는 단계; 및
상기 최소 누적 비용에 따라, 상기 제2 크기를 갖는 제1 이미지 중의 각 픽셀과 상기 제2 크기를 갖는 제2 이미지 중의 서로 매칭되는 각 픽셀 사이의 시차를 결정하는 단계를 포함하는, 시차 결정 방법.
제4항에 있어서,
상기 제1 이미지와 관련된 이미지 특징, 상기 제2 이미지와 관련된 이미지 특징 및 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 기반으로 시차 계산 처리를 진행하여, 상기 제2 크기를 갖는 제2 시차맵을 얻는 단계는,
이미지 쌍 중의 각 이미지의 이미지 특징 및 대응하는 시차 검색 범위를 기반으로 상기 이미지 쌍 중의 각각의 서로 매칭되는 픽셀 쌍 사이의 시차를 결정하여, 대응하는 크기를 갖는 시차맵을 얻기 위한 시차 생성 신경망을 결정하는 단계; 및
상기 시차 생성 신경망을 기반으로 상기 제1 이미지와 관련된 이미지 특징, 상기 제2 이미지와 관련된 이미지 특징 및 상기 제2 단계 시차 계산 처리에 대응하는 시차 검색 범위를 처리하여, 상기 제2 크기를 갖는 제2 시차맵을 얻는 단계를 포함하는, 시차 결정 방법.
제1항에 있어서,
제1 이미지 및 제2 이미지에 대해 다운샘플링 처리를 진행하여, 제1 크기를 갖는 제1 이미지 및 상기 제1 크기를 갖는 제2 이미지를 얻는 단계는,
시차 계산 처리의 횟수 임계값을 결정하는 단계;
상기 횟수 임계값을 기반으로, 상기 제1 이미지 및 상기 제2 이미지의 다운샘플링 처리에 필요한 다운샘플링 계수를 결정하는 단계; 및
상기 다운샘플링 계수를 기반으로, 상기 제1 이미지 및 상기 제2 이미지에 대해 다운샘플링 처리를 진행하고, 상기 횟수 임계값이 클수록, 상기 다운샘플링 계수가 커지는 단계를 포함하는, 시차 결정 방법.
프로세서;
상기 프로세서에 의해 실행될 경우 상기 프로세서가 제1항 내지 제13항 중 어느 한 항에 따른 방법을 실행하도록 하는 명령을 포함하는 프로그램을 저장하는 메모리;를 포함하는, 전자 장치.
전자 장치의 프로세서에 의해 실행될 경우, 상기 전자 장치가 제1항 내지 제13항 중 어느 한 항에 따른 방법을 실행하도록 하는 명령을 포함하는 프로그램을 저장하는 컴퓨터 판독 가능한 저장 매체.