KR20220113781A

KR20220113781A - 환경의 지형을 측정하는 방법

Info

Publication number: KR20220113781A
Application number: KR1020227023895A
Authority: KR
Inventors: 시아란 휴즈; 판텔리스 에르밀리오스; 매티아스 렌크; 서닐 찬드라
Original assignee: 코너트 일렉트로닉스 리미티드
Priority date: 2019-12-13
Filing date: 2020-12-08
Publication date: 2022-08-16
Also published as: CN115023736A; WO2021116078A1; EP4073756A1; JP2023505891A; US20230351625A1; JP7502440B2; DE102019134324A1

Abstract

이미징된 환경의 지형에 대응하는 포인트 클라우드를 형성하는 방법은 차량에 장착된 WFOV 렌즈를 가진 카메라로 환경의 제1 이미지를 획득하는 단계와, 임계값보다 큰 조정에 의해 카메라 포즈를 변경하는 단계와, 변경된 포즈의 카메라로 환경의 제2 이미지를 획득하는 단계를 포함한다. 이미지는 동일한 비평면 기하구조에 의해 정의되는 각각의 표면에 매핑되어 각각의 매핑된 이미지를 형성한다. 제1 또는 제2 매핑된 이미지 중 하나는 픽셀 블록으로 분할되고, 각각의 픽셀 블록에 대해, 매핑된 이미지 각각에서 픽셀 블록의 장소의 위치의 디스패리티를 평가하기 위해 다른 매핑된 이미지를 통해 검색을 수행함으로써 깊이 맵을 형성된다. 깊이 맵은 차량이 차량 주변의 환경을 지나갈 때 환경의 로컬 지형에 대응하는 포인트 클라우드의 일부로 변환되고, 카메라 포즈의 조정에 따라 포인트 클라우드가 스케일링된다.

Description

환경의 지형을 측정하는 방법

본 출원은 카메라에 의해 이미징되는 환경의 지형을 측정하는 방법에 관한 것이다. 보다 상세하게는, 환경의 모션 스테레오 이미지로부터 평가된 조밀한 깊이 측정을 이용하여 이미징되는 환경의 지형을 측정하는 방법에 관한 것이다.

카메라는 장면이나 환경의 이미지를 생성하는 장치이다. 2개의 카메라가 상이한 위치로부터 동일한 장면의 이미지를 생성할 때, 장면의 일부의 깊이를 확인하기 위해 서로 다른 이미지를 비교할 수 있으며, 깊이는 2개의 카메라 위치에 의해 정의된 평면으로부터의 상대적 거리의 측정이다. 소정의 가정 하에서 및/또는 소정의 정보를 사용하여, 상대 깊이가 절대 거리 측정으로 교정될 수 있다. 이것이 디스패리티 이미징(disparity imaging)으로부터의 깊이의 원리이다. 깊이 측정을 사용하여 이미징되는 환경의 지형을 근사화할 수 있다.

전형적으로, 디스패리티 이미징으로부터의 깊이는 N>1인 N안 시스템(N-ocular system), 전형적으로 장면의 동기화된 이미지 쌍을 생성하는 2개의 카메라를 가진 양안 시스템을 필요로 한다. 한 쌍의 이미지 중 한 이미지의 특징은 다른 이미지의 해당 특징과 일치할 수 있다. 특징은 유사한 픽셀, 블롭(blob)의 모서리 또는 영역과 같은 별개의 이미징된 요소를 포함할 수 있지만, 특징은 이미지의 임의의 주어진 픽셀도 포함할 수 있다. 그런 다음 이미지 간에 일치하는 특징의 위치지정의 차이를 사용하여 디스패리티를 계산할 수 있다. 특징의 디스패리티와 양안 시스템의 알려진 카메라 분리로부터, 특징의 깊이를 평가할 수 있다. 종종 양안 시스템에 의해 획득된 이미지는 후속 이미지 처리를 돕거나 획득된 이미지를 보기에 더 적합하게 만들기 위해 표면에 매핑된다.

"자동차 애플리케이션을 위한 넓은 시야 스테레오"(OmniVis의 Gehrig, 1, 2005)는 백미러의 좌우에 배치된 카메라에 관한 것이고, 넓은 시야를 이용하여 스테레오 비전을 분석하고 물체 검출을 수행하는 옵션을 설명한다.

2011년에 출판된 "어안 스테레오 비전을 이용한 3차원 측정, 스테레오 비전의 이론 및 응용의 발전"이라는 책의 8장에 있는 Yamaguchi의 "어안 스테레오 비전을 이용한 3차원 측정, 스테레오 비전의 이론 및 응용의 발전"은 어안 이미지를 평면에 매핑하고 특징을 일치시키는 것을 개시하며, 어안 스테레오 비전은 비교적 넓은 공간에서 3D 물체를 측정할 수 있다고 결론을 내린다.

"전방향성 스테레오 비전"(IEEE ICAR의 Zhu, 2001)은 전방향성 스테레오 이미징의 구성과 관련이 있으며 전방향성 표현, 에피폴라 기하학 및 깊이 오류 특성에 대한 수치 분석을 제시한다.

"향상된 통합 카메라 모델 및 반전역 매칭 알고리즘을 사용한 직접 어안 스테레오 대응"(ICARCV 2016에서 Bogdan 등)은 직선을 원뿔 곡선에 투영하는 어안 카메라용 모델을 제시하고, 어안 이미지의 보정 없이 조밀한 직접 스테레오 대응을 계산하는 어안 스테레오 시스템을 위한 매칭 알고리즘을 설명한다.

"양안 구형 스테레오"(IEEE trans.의 Li의 지능형 교통 시스템, 9, 589, 2008)는 양안 어안 스테레오에 관한 것이며 구형 이미지로 변환하고 위도-경도 표현을 사용하여 특징 포인트 매칭 속도를 높이는 방법에 대해 설명한다.

"어안 스테레오 교정 및 에피폴라 보정"(Abraham 등의 사진측량 및 원격 감지의 J. 59, 278, 2005)은 어안 스테레오 이미지에 대한 교정 및 에피폴라 보정에 관한 것이며 에피폴라 이미지 생성에 대해 논의한다.

"조밀 어안 스테레오의 정확도에 관하여"(Schnedier 등의 IEEE 로봇공학 및 자동화, 1, 227, 2016)는 어안 스테레오 카메라의 에피폴라 보정 모델을 분석하고 관련 정확도에 대해 논의한다.

"어안 렌즈를 사용한 전방향성 스테레오 비전"(Drulea 등의 IEEE, ICCP, 2014)은 전방향성 스테레오 시스템 및 어안 이미지를 보정된 이미지로 분할하는 것과 관련이 있다. 포인트 클라우드를 형성하기 위해 각 보정된 이미지 쌍에 스테레오 매칭 알고리즘이 적용된다.

본 발명의 목적은 이러한 관련 작업의 한계 중 적어도 일부를 극복하는 것이다.

본 발명은 독립항에 의해 정의된다.

본 발명의 실시예는 광시야 렌즈가 있는 카메라에 의해 획득된 이미지로부터 조밀하고 정확한 깊이 정보를 복구하는 방법을 제공한다.

이것은 차량의 단안 카메라로부터의 이미지가 차량이 환경을 지나갈 때 차량 주변 환경의 로컬 지형에 해당하는 포인트 클라우드의 일부를 형성할 수 있게 한다.

종속항은 추가의 선택적 특징을 제공한다.

이제 본 발명의 실시예가 첨부 도면을 참조하여 예로서 설명될 것이다.
도 1은 각각 본 발명에 따라 작동할 수 있는 장착된 카메라가 있는 차량을 개략적으로 도시한다.
도 2는 복수의 카메라로부터의 스티칭된 이미지가 매핑될 수 있는 보울 표면(bowl surface)을 도시한다.
도 3은 보정되지 않은 스테레오 카메라 설정을 도시한다.
도 4는 보정된 스테레오 카메라 설정에서의 디스패리티를 예시한다.
도 5(a) 및 도 5(b)는 움직이는 카메라에 대한 구형 에피폴라 보정 표면을 도시하고, 도 5(a)는 카메라가 모션 축을 따라 바라보고 있을 때의 상황을 나타내고, 도 5(b)는 카메라가 모션 축에 수직으로 바라보고 있을 때를 나타낸다.
도 6(a) 및 도 6(b)는 움직이는 카메라의 수직 원통형 에피폴라 보정 표면을 도시하고, 도 6(a)는 카메라가 모션 축을 따라 바라보고 있을 때의 상황을 나타내고, 도 6(b)는 카메라가 모션 축에 수직으로 바라보고 있을 때를 나타낸다.
도 7은 카메라가 모션 축을 따라 바라보고 있고 원통이 모션 축과 동심일 때 움직이는 카메라에 대한 원통형 보정 표면을 도시한다.
도 8(a) 및 도 8(b)는 기준선 정렬된 구형 및 원통형 보정 표면을 각각 도시한다.
도 9는 에피폴라 보정을 위한 구형 좌표 시스템을 도시한다.
도 10은 원추형 보정 표면을 도시한다.
도 11은 복수의 평면을 포함하는 보정 표면을 도시한다.
도 12(a) 및 도 12(b)는 각각 본 발명의 실시예에 따른 각각의 다중 부분 보정 표면을 도시한다.
도 13(a) 및 도 13(b)는 평면 보정 표면을 사용하여 깊이를 계산하는 기하학적 관계를 예시한다.
도 14는 구형 보정 표면을 사용하여 깊이를 계산하는 기하학적 관계를 예시한다.

차량 운전과 관련된 많은 작업에 대해, 작업을 안전하게 완료하려면 로컬 환경에 대한 정보를 획득하는 것이 중요하다. 예를 들어, 차량을 주차할 때, 운전자에게 차량 주변 환경의 라이브 이미지를 표시하는 것이 유리하다.

차량이 자율주행할 수 있기 때문에, 즉, 자율주행 차량이므로, 차량의 운전자가 인간일 필요는 없다. 이 경우, 획득한 정보의 정확성은 물체를 식별하고 획득한 정보가 차량 운전 시스템을 오도하는 것을 피하기 위해 특히 중요하다. 운전자는 운전을 지원하기 위해 인간과 하나 이상의 자동화 시스템의 조합일 수도 있다.

본 발명에 사용되는 카메라의 감도는 임의의 특정 파장 범위로 제한될 필요는 없지만, 가장 일반적으로 가시광선에 민감한 카메라에 사용될 것이다. 카메라는 일반적으로 렌즈 및 센서용 하우징을 포함하는 카메라 모듈의 형태일 것이며, 렌즈는 센서에 빛의 초점을 맞추는 역할을 한다. 카메라 모듈은 또한 센서에 전력을 공급하고 센서와의 통신을 가능하게 하는 전자기기를 구비할뿐만 아니라 전자기기를 처리하여 이미지를 처리하는 것도 가능하다. 처리는 예를 들어 이득 제어, 노출 제어, 화이트 밸런스, 노이즈 제거 등과 같은 저레벨의 이미지 신호 처리일 수 있고/있거나 예컨대, 컴퓨터 비전을 위한 보다 강력한 처리를 포함할 수 있다.

차량 주변 환경을 이미징할 때 일반적으로 하나의 카메라는 필요한 모든 데이터를 획득하기에 적절한 시야를 갖지 못한다. 이 문제를 해결하는 한 가지 방법은 복수 개의 카메라를 사용하는 것이다. 도 1에서, 차량(100)은 차량 주변에 위치된 4개의 카메라(101, 102, 103, 104)를 갖는 것으로 도시되어 있다. 각각의 카메라의 시야의 한 에지는 점선(101a, 102a, 103a, 104a)으로 표시되어 있다. 카메라의 이러한 구성은 영역(101b, 102b, 103b, 104b)에서 시야가 오버랩되게 한다. 도시된 구성은 단지 예시일 뿐이다. 개시된 교시는 다른 카메라 구성에서도 동일하게 유효하다.

도시된 시야는 대략 180도에 대응한다. 넓은 시야는 전형적으로 어안 렌즈와 같은 넓은 시야 렌즈를 갖는 카메라에 의해 달성된다. 어안 렌즈는 일반적으로 원통형 대칭이므로 바람직하다. 본 발명의 다른 응용에서, 시야는 180도보다 작거나 클 수 있다. 어안 렌즈가 선호되지만, 넓은 시야를 제공하는 임의의 다른 렌즈가 사용될 수 있다. 이러한 맥락에서, 넓은 시야는 100도 이상, 바람직하게는 150도 이상, 보다 바람직하게는 170도 이상의 시야를 갖는 렌즈이다. 전형적으로, 이러한 넓은 시야를 가진 카메라는 획득된 이미지에서 인공물 및 왜곡 이미징을 초래한다.

렌즈는 전형적으로 직사각형인 센서에 빛의 초점을 맞춘다. 따라서 획득된 데이터는 인공물과 렌즈 왜곡의 결합된 효과 및 센서의 제한된 민감한 표면 효과의 영향을 받는다. 결과적으로, 획득된 이미지는 이미징된 장면의 왜곡된 표현이다. 획득된 왜곡된 이미지는 획득한 데이터를 다른 표면에 매핑하는 것을 포함하는 프로세스에 의해 적어도 부분적으로 수정될 수 있다. 일부 표면에 매핑하면 후속 처리 기법이 더 정확하거나 더 쉬워진다. 몇 가지 특히 유리한 표면이 나중에 더 자세히 설명된다.

도 1에 도시된 바와 같이, 복수 개의 카메라를 가진 차량의 맥락에서, 복수 개의 카메라에서 복수의 이미지를 표시하는 것보다 로컬 환경의 단일 이미지를 표시하는 것이 더 바람직하다. 따라서, 카메라로부터의 이미지가 조합된다. 이 조합을 수행하는 여러 알려진 방법이 있다. 예를 들어, 이미지는 오버랩되는 영역에서 특징을 식별함으로써 함께 스티칭될 수 있다. 그런 다음 이미지에서 식별된 특징의 위치를 사용하여 한 이미지를 다른 이미지에 매핑할 수 있다. 오버랩되는 영역으로 이미지를 스티칭하는 많은 다른 방법은 당업자에게 알려져 있으며, 예를 들어, 2019년 11월 26일에 출원된 "이미지 처리 모듈"이라는 명칭의 독일 특허 출원 제102019131971.4호(참조번호: 2018PF02667) 및 2019년 10월 7일에 출원된 "전자 제어 유닛"이라는 명칭의 독일 특허 출원 제DE102019126814.1호(참조번호: 2019PF00721)는 특히 차량을 주차할 때 운전자를 지원하기 위해 차량의 서라운드 뷰를 제공하는 전자 제어 유닛의 예를 제공한다.

카메라의 구성이 차량 주위 모든 방향에서 이미지를 제공하도록 하는 경우, 도 1에 도시된 바와 같이, 스티칭된 이미지는 다른 방향에서 뷰를 생성하기에 충분한 정보 뷰를 제공한다.

스티칭된 이미지는 함께 스티칭된 평평한 이미지를 포함하므로, 스티칭된 이미지 자체가 평평하게 보인다. 스티칭된 이미지를 평평하지 않은 표면에 매핑하여 스티칭된 이미지를 더 잘 표시할 수 있다. 예로서, 도 2에 도시된 보울형 표면(300)이 사용될 수 있다. 이 표면의 경우, 가까운 물체는 평평한 바닥에 매핑되는 반면 멀리 있는 물체는 보울의 측벽에 매핑된다. 차량이 흔히 멀리 있는 나무와 건물과 같은 물체가 있는 평평한 땅에 있기 때문에, 이러한 매핑은 전형적으로 평평한 매핑보다 스티칭된 이미지를 더 정확하게 표시한다.

최적의 표면은 카메라로 이미징된 장면의 지형에 해당하는 표면일 것이다. 본 발명은 이미지의 부분의 깊이를 계산하여 주변 지형의 근사치를 생성하는 방법을 제공한다. 이것은 양안 스테레오 카메라 및/또는 비표준 렌즈를 사용하는 카메라의 비용을 들이지 않고 실시간으로 달성된다.

모션 스테레오 모듈

본 발명은 모션 스테레오 모듈을 이용하여 단안 카메라로부터의 모션 스테레오 이미지를 처리하는 방법에 관한 것이다. 모션 스테레오 모듈은 장면의 이미지 쌍에서 조밀하고 정확한 깊이 측정값을 복구하여 이미징된 장면의 지형의 재구성을 허용한다. 아래에서 설명되는 방법을 사용함으로써, 모션 스테레오 모듈을 충분히 빠르게 작동시켜 실시간으로 완료할 수 있다. 즉, 라이브 카메라 피드를 기반으로 하는 이미지의 표시가 부정적인 영향을 받지 않도록 처리가 충분히 빠르다.

디스패리티 이미징으로부터의 깊이는 장면의 한 쌍의 이미지로부터 깊이 측정이 추출될 수 있게 한다. 전형적으로, 디스패리티 이미징으로부터의 깊이는 동기화된 한 쌍의 이미지를 직접 얻을 수 있도록 서로 가깝게 위치하거나 동일한 장치에 통합된 2개의 카메라를 포함하는 스테레오 카메라에서 획득한 한 쌍의 이미지를 사용한다. 그러나, 본 발명은 움직이는 단안 카메라를 기반으로 한다. 단안 카메라로부터의 한 쌍의 이미지는 단안 카메라로 하나의 이미지를 캡처한 다음 단안 카메라 포즈를 조정, 즉, 단안 카메라를 이동시키고 다른 이미지를 획득함으로써 획득된다.

결과적인 깊이 측정은 3D 포인트 클라우드의 일부 또는 카메라로 이미징된 환경의 지형과 비슷한 유사한 3D 재구성으로 형성될 수 있다. 3D 재구성은 정적 특징을 더 잘 평가하고 측정할 수 있게 한다. 카메라가 자동차에 장착된 경우, 일반적인 정적 특징의 예는 연석, 경사로, 표면 불균일 또는 더 큰 물체, 예컨대, 기둥, 나무, 장벽, 벽 및 주차된 차량을 포함하여 귀중한 정보를 제공한다. 결과적으로, 본 발명은 그러한 물체가 쉽게 검출되게 한다.

이것은 더 높은 분해능의 3D 재구성을 가능하게 하므로 조밀한 수의 깊이 측정을 갖는 것이 바람직하다. 알려진 조밀한 재구성 기법은 스테레오 카메라를 필요로 한다. 스테레오 카메라는 단안 카메라에 비해 복잡한 하드웨어와 프레임 동기화를 필요로 하지만, 두 카메라 사이의 고정된 분리로 인해 카메라 모션에 관계없이 깊이 추정 및 3D 재구성을 위한 충분한 양안 디스패리티를 제공하므로 유리하다.

스테레오 및 모션으로부터의 구조

움직이는 단안 카메라 기법으로 3D 재구성을 형성하는 것은 전형적으로 고전적인 모션으로부터의 구조 기법을 사용하여 시도된다. 이러한 기법은 희소한 깊이 측정 세트만 생성한다. 이러한 희소 세트는 3D 재구성에서 제한된 포인트 세트를 생성하며 이는 로컬 지형을 덜 대표한다.

본 방법의 경우, 캡처된 이미지 사이의 카메라 모션에 대한 지식을 사용하여 이미지 쌍이 생성된다. 이미지 쌍의 보정도 일반적으로 디스패리티 처리를 위한 깊이가 시작되기 전에 필요하다. 다수의 표면에서 보정이 가능하다. 구형 또는 원통형 표면에 대한 에피폴라 보정은 보정된 이미지 내에서 소스 이미지 분해능을 유리한 방식으로 분배하면서 사용가능한 시야가 개선된다는 점에서 특히 이점이 있다. 이것은 어안 렌즈가 있는 카메라와 같이 크게 왜곡된 모양을 생성하는 카메라로 작업하는 경우 특히 중요하다.

전형적으로, 양안 디스패리티 및 에피폴라 기하구조 원리를 이용하는 3D 재구성 방법은 서로 다른 카메라 포즈에서 캡처한 동일한 장면의 적어도 2개의 이미지를 입력으로 사용한다. 카메라의 정확한 움직임(위치 및 배향 변경)은 컴퓨터 비전 기법을 사용하거나 관성 센서로부터 동적으로 결정될 수 있다. 이러한 카메라가 차량에 장착되면 온보드 주행거리계 정보로부터 모션을 적어도 부분적으로 평가할 수 있다. 이러한 정보는 전형적으로 현대 차량의 차량 CAN 또는 FlexRay 버스에서 이용가능하다.

결과적으로 깊이 측정을 획득하기 위해, 먼저 카메라로 장면의 이미지를 획득하고, 카메라가 이동되고 장면의 다른 이미지가 획득된다. 결과 이미지는 공통 평면 또는 특정 에피폴라 기하구조에 의해 정의된 적합한 표면에 매핑함으로써 보정된다. 보정된 이미지는 디스패리티로부터 깊이를 평가하기 위해 처리된다. 예를 들어, 알려진 매칭 알고리즘은 보정된 이미지들 사이의 모든 픽셀의 디스패리티를 계산한다. 디스패리티 정보는 이후 깊이로 변환되거나 3D 포인트 클라우드로 직접 변환된다. 일부 실시예에서, 각각의 픽셀이 매칭되는 것보다, 픽셀의 블록이 매칭된다. 픽셀의 블록은 오버랩되어 하나의 픽셀이 여러 픽셀 블록에 포함될 수 있다. 블록은 직사각형일 필요는 없으며 매칭을 허용하는 임의의 크기일 수 있다.

단안 카메라가 차량에 결합되면, 온보드 주행거리계 센서로부터 2개의 자유도(2개의 파라미터)의 낮은 가속도로 합리적인 정확도 내에서 카메라 모션이 계산될 수 있다. 이러한 주행거리계 센서는 차량의 종방향 속도 및 요 레이트(yaw-rate) 또는 조향 각도를 제공한다. 이 정보는 차량 모션이 실제로 평면인 경우 충분하다. 그러나, 실제로는 노면의 불균일성, 가속, 감속 및 회전에 대한 서스펜션의 동적 응답으로 인해 차량 모션이 더 복잡하다. 이러한 복잡성은 피치, 롤 및 높이의 즉각적인 변화를 초래한다. 또한, 시스템 버스에서의 기계적 측정 및 이의 전송은 지연을 겪으며 기본적으로 카메라 프레임과 동기화되지 않는다. 2019년 5월 29일에 출원된 "이미지 획득 시스템"이라는 명칭의 독일 특허 출원 제102019114404.3호(참조번호: 2018PF02113(SIE0883))는 노면에 대한 차량 자세의 이들 변화를 처리하는 기법을 개시한다.

그러나, 차량과 카메라의 동적 모션은 최소 3개의 위치 파라미터(X, Y, Z) 및 3개의 회전 파라미터(요, 피치 및 롤)를 사용하여 6개의 자유도(6-DoF)로 완전히 특징화될 수 있다. 모션 스테레오 모듈은는 두 이미지 간의 상대적인 카메라 모션을 6-DoF로 추정할 수 있을 때 가장 신뢰할 수 있고 정확한 결과를 산출한다. 6-DoF는 또한 스케일 정보, 즉 3D 재구성(예컨대, 포인트 클라우드)을 정확하게 스케일링하는 데 사용되는 이동 벡터(translation vector)의 길이를 제공한다. 보정된 이미지 및 디스패리티 맵은 추정된 스케일에 대해 불변한다. 알려진 관련 상대 포즈 추정 문제는 알려진 기법을 사용하여 해결된다.

에피폴라 보정

도 3을 보고 카메라(C₁ 및 C₂)를 핀홀 카메라로 간주하고 카메라(C₁ 및 C₂)의 광학 중심 앞의 가상 평면을 고려함으로써, 다음과 같은 유용한 용어를 정의할 수 있다. 에피폴은 광학 중심들 사이를 연장하는 기준선과 이미지 평면의 교차점이다. 에피폴은 한 카메라에서 다른 카메라의 광학 중심의 이미지로서 간주될 수 있다. 에피폴라 평면은 3D 포인트(Z₁)와 광학 중심에 의해 정의되는 평면이다. 에피폴라 라인은 에피폴라 평면과 이미지 평면의 교차 직선이다. 이는 한 카메라에서의 광학 중심을 통한 광선의 이미지이고 다른 카메라에서의 이미지 포인트이다. 모든 에피폴라 라인은 에피폴에서 교차한다.

모션 스테레오의 경우, 에피폴라 라인이 2개의 이미지의 동일한 수직 오프셋으로 수평 스캔라인에 매핑되는 2개의 이미지를 의미하는 보정된 이미지를 입력으로 사용하는 알려진 스테레오 매칭 모듈(예컨대, 르네사스 STV 하드웨어 가속기)을 사용하여 깊이 분석이 수행될 수 있다. 이론적으로, 어떤 장면의 기하구조는 이들 이미지 간의 특징 포인트 대응에 대한 지식에 의해 서로 다른 카메라 포즈에서 캡처되는 둘 이상의 이미지로부터 재구성될 수 있다.

그러한 대응이 예를 들어, 조밀한 광학 흐름 필드의 형태로 주어지면, 3D 포인트 클라우드 또는 3D 재구성은 광선이 카메라 뷰포인트로부터 각각의 이미지 포인트를 통해 역투영되고 오류 메트릭을 최소화함으로써 3D 공간에서 교차하는 삼각측량으로 알려진 수학적 프로세스에 의해 계산될 수 있다. 그러나 광학 흐름과 달리, 에피폴라(즉, 스테레오) 보정의 경우, 대응 문제는 켤레 에피폴라 라인을 따라 1D 검색으로 축소되고 삼각측량은 유사한 삼각형 사이의 비를 푸는 간단한 공식으로 단순화된다. 1D 검색은 전형적으로 여러 검색으로부터 정보를 집계하고 디스패리티 맵의 형태로 강력한 1D 대응을 산출하는 기법을 적용하는 스테레오 매칭 알고리즘에 의해 효율적으로 수행된다. 이런 식으로, 삼각측량의 계산 부담의 대부분은 에피폴라 보정으로 전이된다. 이 효과의 예는 에피폴라가 이미지 평면을 가로질러 대각선으로 나타나는 도 3과 대조적으로 왼쪽의 이미지를 보정하면 수평 에피폴라 라인을 초래하는 도 4에서 볼 수 있다.

하나의 이미지가 기준 포즈를 제공하는 각 캡처된 이미지에 대한 카메라의 상대 포즈와 고유 교정 파라미터에 대한 지식을 통해 이미지를 교정할 수 있다. 기준 포즈는 외부 기준 프레임과 관련하여 주어질 수 있거나 임의로 0으로 즉, (0, 0, 0)에서의 카메라 원점과 표준 기저 벡터(항등 회전 행렬)에 의해 정의된 축을 사용하여 설정될 수 있다. 고유 파라미터는 항상 알려져 있고 일정하다고 가정할 수 있다. 그러나 예컨대, 카메라를 포함하는 재료의 열팽창 및 수축으로 인한 변동때문에 이것이 항상 안전한 가정은 아닐 수 있다. 다른 방안은 이러한 변동을 특징으로 하고 설명하거나 온라인 고유 교정 방법을 사용하여 시스템에 저장된 고유 교정 정보를 주기적으로 업데이트함으로써 임의의 변동을 보상하는 것이다.

모션 스테레오에서, 상대 포즈는 차량의 모션에 따라 달라지며 각 스테레오 이미지 쌍에 대해 동적으로 추정될 수 있다. 상대 포즈는 최소 6개의 파라미터(3개의 위치 파라미터 및 3개의 회전 파라미터)에 의해 즉, 6개의 자유도로 완전히 결정되거나 또는 최소 5개의 파라미터(3개의 회전 파라미터 및 2개의 위치 파라미터)에 의해 즉, 제6 도(스케일)가 없는 5개의 자유도로 '업 투 스케일(up to scale)' 결정될 수 있다. 후자에서 2개의 위치 파라미터는 예컨대, 단위 길이의 투영 좌표 또는 구형 좌표에서 이동 벡터의 방향을 나타낸다. '스케일'의 부족 또는 소위 '스케일 모호성'은 장면 기하구조 및 카메라 이동 벡터가 캡처된 이미지에서 특징 포인트의 위치 및 그들의 대응에 영향을 미치지 않고 함께 스케일링될 수 있다는 단순한 사실에서 발생하는 단안 컴퓨터 비전의 전형적인 장애물이며, 따라서 반대 의미로 스케일은 일반적으로 이러한 대응에서만 복구될 수 없다. 스케일을 추정하거나 또는 절대 스케일링은 에피폴라 보정에 필요하지 않다는 점에 유의한다. 즉, 5개의 자유도(3개의 회전 파라미터 및 2개의 위치 파라미터)가 충분한 정보를 제공하기 때문에 에피폴라 보정된 이미지는 추정된 스케일에 불변한다. 그러나, 스케일링을 통해 정확한 깊이 측정을 얻을 수 있으므로, 현실적인 3D 재구성(즉, 정확한 3D 포인트 클라우드 좌표)이 더 많이 형성될 수 있다.

에피폴라 보정은 이미지를 적합한 평면이나 표면에 직접 매핑하고 두 가지 간단한 기하구조 제약을 충족하는 방식으로 이미지를 재샘플링함으로써 수행될 수 있으며, 켤레 에피폴라 라인 또는 곡선은 두 보정된 이미지에서 동일한 수직 오프셋으로 수평 스캔라인을 따라 매핑된다. 가장 단순한 형태의 에피폴라 보정은 기준선(카메라 이동 벡터)에 평행하게 배향된 두 개의 동일 평면 표면(이미지 평면)과 직교 샘플링 그리드를 사용한다. 어안 렌즈를 사용하는 카메라의 경우, 이 방법은 투시 투영의 수학적 한계와 픽셀 '늘이기'와 같은 광각 투시 효과로 인해 보정된 이미지의 품질 손실로 인해 얻은 시야를 크게 제한한다.

재구성된 시야를 증가시키기 위해 복수의 평면이 사용되었더라도, 무한 크기에 접근하는 이미지 평면이 필요하기 때문에 여전히 확장 초점에 가까운 영역에 도달할 수 없다. 이것은 차량이 직선 경로에서 이동하고 있을 때 확장 초점이 대략 어안 이미지의 중심 주변에 위치하는 차량의 전방 지시 및 후방 지시 카메라에 대한 특별한 문제이다.

측면을 향하거나 또는 윙 미러 카메라의 확장 초점은 전형적으로 관심이 낮은 이미지 영역에 있다. 그러나, 이들 카메라의 경우에도, 평면 표면은 재구성된 시야에 한계를 부과한다.

일반화된 에피폴라 보정

위의 문제를 완화하고 수평 방향(HFOV), 수직 방향(VFOV) 또는 양방향으로 재구성된 시야를 향상시키기 위해, 구, 원통 또는 다항 표면과 같은 비평면 매핑 표면이 에피폴라 보정에 효과적으로 사용될 수 있다.

예로서, 카메라 뷰포인트를 나타내는 두 포인트(C₁ 및 C₂)가 '기준선'인 이동 벡터를 정의하는 도 5(a)를 고려한다. 각 매핑 표면과 기준선의 교차는 에피폴(E₁ 및 E₂)이고, 장면 내의 임의의 물체 포인트(P) 및 두 포인트(C₁ 및 C₂)는 에피폴라 평면을 정의한다. 기준선을 중심으로 서로 회전하는 무한 수의 에피폴라 평면이 있다. 이 평면군은 에피폴라 펜슬로 알려져 있다. 매핑 표면과 이들 평면 중 임의의 것의 교차점은 '에피폴라 라인' 또는 이 경우 곡선을 정의하며, 이는 구형 매핑 표면의 경우 원 또는 수직 원통형 매핑 표면의 경우 타원이다. 임의의 물체 포인트(P)는 동일한 에피폴라 평면 및 두 보정된 이미지에서 동일한 수직 오프셋으로 수평 스캔라인에 매핑되는 켤레 에피폴라 곡선에 속하는 포인트(Q₁ 및 Q₂)에 매핑된다.

어안 이미지 픽셀을 에피폴라 라인 또는 곡선을 따라 보정된 이미지 내의 수평 스캔라인의 픽셀에 매핑하는 것은 각 에피폴라 라인 또는 곡선을 따라 그들 각각의 뷰포인트를 통해 광선을 '샘플링'한 다음 고유 보정 및 상대 포즈 정보를 사용하여 어안 이미지로 다시 각 광선을 추적함으로써 달성될 수 있다. 이러한 방식으로, 보정된 이미지의 모든 픽셀은 어안 이미지의 이미지 포인트로 다시 추적될 수 있다. 가장 가까운 소스 픽셀의 강도 값은 직접 또는 이중선형 필터(즉, 이중선형 보간이 사용될 수 있음)와 같은 인접 픽셀의 값을 고려하는 재구성 및/또는 안티 에일리어싱 필터를 사용하여 획득될 수 있다.

이 프로세스는 십진수 전체 유효 자릿수(decimal precision), 예컨대, 12개의 정수 비트와 4개의 분수 비트, 즉, 좌표당 16개의 비트 또는 픽셀당 32개의 비트를 가진 해당 픽셀에 대한 해당 어안 이미지 좌표를 저장하는 (예컨대, 수평 및 수직 방향으로 16번째 픽셀마다) 보정된 이미지의 픽셀의 서브세트에 대한 희소 룩업 테이블을 구축함으로써 매우 높은 계산 효율성으로 수행되어 메모리 대역폭을 절약하고 런타임 성능을 개선할 수 있다. 그런 다음 소프트웨어 또는 하드웨어 가속된 '렌더러'를 사용하여 누락된 픽셀의 좌표를 보간하여 이들 룩업 테이블을 사용하여 보정된 이미지를 매우 빠르게 '렌더링'할 수 있다. 이것은 1:16 서브샘플링이 양방향으로 사용될 때 보정된 이미지당 계산해야 하는 광선의 수를 예컨대, 256배만큼 감소시킨다.

메모리 대역폭을 절약하기 위해, 절대 이미지 좌표가 아닌 델타(예컨대, 4개의 분수 비트가 있는 4비트 정수 델타, 즉 좌표당 8개의 비트 또는 픽셀당 16개의 비트)를 저장하여 이 룩업 테이블을 압축할 수도 있다. 이 경우, 초기 절대 좌표는 전체 테이블 또는 행당 시드로서 저장되어 절대 좌표는 렌더링 중에 저장된 델타에서 점진적으로 복구될 수 있다. 그 외에도, 룩업 테이블은 렌더링하는 동안 해당 영역 내의 모든 델타에 적용될 오프셋 값이 각 영역에 할당되는 더 작은 영역으로 세분될 수 있다.

구면의 경우, 광선은 구면의 경우 원인 각각의 에피폴라 곡선을 따라 각도 간격으로 샘플링될 수 있다. 에피폴라 평면은 각각의 평면이 기준선을 중심으로 회전하는 각도 간격으로 정의되어 각각의 평면은 보정된 이미지에서 별개의 수평 스캔라인에 매핑된다. 보정된 이미지의 수평 픽셀 좌표 x를 편각 θ에 매핑하고 수직 픽셀 좌표 y(스캔라인 번호)를 방위각 φ에 매핑하는 수학 함수는 θ = f(x) 및 φ = g(y)로서 일반화될 수 있거나 또는 가장 단순한 경우 선형일 수 있다: θ = s _x x 및 φ = s _y y이며, s_x 및 s_y는 일정한 스케일 계수이다. 편각 및 방위각은 어안 이미지 픽셀을 샘플링하는 데 사용되는 광선 방향을 정의한다. 보다 복잡한 함수를 사용하여 보정된 이미지 전체에 소스 이미지 분해능을 유리한 방식으로 분배할 수 있다.

구(도 5(a) 및 도 5(b)) 또는 원통(도 6(a) 및 도 6(b))과 같은 매핑 표면의 개념은 이 프로세스가 수학 및 프로그래밍 방식으로 추상화될 수 있기 때문에 모델링 보조 도구로만 사용된다. 매핑 표면과 에피폴라 평면의 교차점은 보정된 이미지에서 원하는 에피폴라 라인 또는 곡선 정렬을 달성하기 위해 광선이 샘플링되는 경로를 정의한다. 이 경로를 따라 있는 광선은 각도 간격보다 '호 길이' 간격으로도 샘플링될 수 있다. 두 가지 표현은 (예컨대, 편구면 또는 장구면으로) 3D 표면의 모양이나 매핑 함수 또는 둘 다를 수정하여 균등하게 만들 수 있다.

수직 원통형 표면의 경우, 도 6(a) 및 도 6(b)에 도시된 바와 같이, 이 경우에 타원인 각각의 에피폴라 곡선을 따라 각도 간격으로 광선이 샘플링될 수 있지만 에피폴라 평면은 수직 치수가 선형이기 때문에 평면 표면과 유사한 직교 좌표 간격으로 정의된다. 유사하게, 수평 원통형 표면의 경우, 수평 치수가 선형이고 에피폴라 평면이 기준선을 중심으로 회전하는 각도 간격으로 정의되기 때문에 광선은 각각의 에피폴라 라인을 따라 직교 좌표 간격으로 샘플링될 수 있다.

도 5(a), 5(b), 6(a), 6(b) 및 7을 참조하면, 직사각형으로 표현된 평면은 시야가 제한된 평면 표면이 구형 또는 원통형 표면 대신 에피폴라 보정에 어떻게 사용될 수 있었는지를 보여준다. 전방 및 후방을 향하는 차량 장착 카메라의 경우, 이들 평면은 카메라 모션의 방향이기도 한 기준선에 수직으로 배향될 수 있다. 이 경우, 에피폴라 라인은 에피폴(E1 및 E2)로부터 방사상으로 나오고 극성 샘플링 그리드는 보정된 이미지 내의 수평 스캔라인을 따라 이들을 매핑하는 데 사용될 수 있다. 이 구성은 구면 모델링과 유사한 방식으로 이미지의 중앙 부분이 보정되게 할 수 있다. 시야는 이미지 평면이 무한 크기에 접근함에 따라 이론상 최대 180도로 제한된다.

일반적인 경우, 에피폴은 또한 이미지 내에 있거나(전방향 또는 후방향으로부터 이미지를 획득할 때 특히 전방향 모션의 경우) 또는 이미지 근처에 있을 수도 있다. 그러한 경우, 선형 변환은 사용될 수 없다. 여기에서 방사형 변환이 사용될 수 있다. 그러나, 좌측 또는 우측 방향에서 이미지를 획득할 때 전방향 모션의 경우와 같이 에피폴이 이미지 외부에 있으면 변환은 선형 변환과 유사하다.

어안 수정

어안 왜곡을 수정하기 위해 메시가 계산된다. 왜곡되지 않은 이미지 내의 각각의 메시 포인트(x, y)에 대해, 왜곡된 공간의 메시 포인트(x', y')는 다음에 따라 정의될 수 있다:

초점 길이(

)의 값은 다음과 같이 결정되어야 한다. 왜곡은 왜곡의 중심(c_x, c_y) 주변에서 최소이다. 출력 이미지에서 픽셀은 압축(또는 확대)되어서는 안 된다. 왜곡의 중심 주변에서는 k₁ 파라미터가 지배적이다.

= k₁이면 왜곡 중심 주변의 작은 각도 θ에 대해,

및

이므로 왜곡되지 않은 이미지의 픽셀은 동일한 스케일을 사용할 것이다.

그러나, 카메라는 왜곡 파라미터(이 경우

)에 대한 액세스를 허용하지 않을 수 있다. 이 경우, 왜곡이 최소인 작은 각도의 인공 광선을 사용함으로써 초점 길이가 결정될 수 있다. 결과적인 픽셀 위치는 초점 길이를 추정하는 데 사용될 수 있다. 각각의 메시 포인트(x, y)에 대한 메시를 계산할 때, 선택된 가상 이미지 평면에서 방향으로 다음과 같은 광선이 생성되며, s는 스케일 계수이다:

.

이 광선은 카메라의 원래의 이미지 평면을 기준으로 이미지 평면의 회전 행렬에 의해 회전된다. 결과 벡터를 사용하여 원래의 카메라 이미지의 픽셀 좌표로 돌아갈 수 있다.

일반 단일 단계 이미지 매핑

평면 또는 방사형 평면 매핑이 왜곡되지 않은(어안 수정된) 이미지에서 동작할 수 있다. 왜곡 수정 및 보정 단계를 단일 이미지 매핑 프로세스로 결합할 수도 있다. 이것은 더 효율적이고 메모리를 절약할 수 있다.

위에서 설명한 바와 같이, 보정에 사용될 수 있는 것은 평면뿐만 아니라 구 또는 원통과 같은 다른 모양도 가능하다. 이들 다른 모양은 이미지 왜곡과 깊이 추정 가능성 사이의 트레이드오프의 측면에서 유용할 수 있다. 일반적인 경우에, 에피폴라 라인은 에피폴라 곡선이다. 도 8(a) 및 도 8(b)는 기준선 정렬된 구형, 평면 및 원통형 매핑을 보여준다. 에피폴은 카메라의 움직임에 의해 결정된다.

구형 매핑 또는 평면 매핑을 기반으로, 다른 매핑은 좌표 왜곡(coordinate warping)에 의해 달성될 수 있다.

3D 에피폴 결정

카메라가 차량에 장착된 실시예에서, 차량 시스템 버스로부터의 주행거리계는 차량의 회전 및 모션을 제공할 수 있다. 현재 카메라의 에피폴 위치를 계산하기 위해, 이전 카메라의 위치는 현재 차량 좌표 시스템에서 계산된다. 이전 카메라의 에피폴을 계산하기 위해, 이전 차량 카메라 시스템에서 현재 카메라의 위치가 계산된다. 현재 카메라에서 이전 카메라까지의(또는 그 반대로) 벡터는 에피폴을 가리키며 이 벡터를 기준선이라고 한다. 다음 공식은 측정된 기계적 주행거리를 기반으로 한다:

는 현재 차량에서 세계로의 회전이고

은 이전 세계에서 차량으로의 회전이다. 두 행렬을 델타 회전 행렬로 결합할 수 있다.

는 차량 좌표에서 카메라의 위치이다(카메라의 외부 교정).

는 세계 좌표의 델타 이동이다. 시각적 주행거리계는 수학식이 더 단순화된 경우 차량 좌표의 델타 이동을 제공할 수 있다.

기준선 정렬

매핑을 더 쉽게 계산하기 위해, 결과 이미지가 기준선 정렬될 수 있다. 기하학적으로 이것은 가상 카메라가 카메라의 모션을 보상하는 방식으로 가상 카메라가 회전되어 가상 카메라가 기준선에 수직이거나 동일 선상에 있음을 의미한다. 따라서, 차량 좌표 시스템은 기준선으로 회전된다. 이 회전은 축과 각도를 중심으로 회전하여 결정될 수 있다. 에피폴 벡터와 차량 좌표축 사이의 각도는 다음과 같이 결정된다:

회전 축은 두 벡터의 외적이다:

그런 다음 표준 축-각도 공식을 사용하여 회전 행렬이 결정될 수 있다:

이 회전(

라 불림)을 사용하여, 에피폴라 좌표 시스템의 임의의 광선이 차량 좌표 시스템으로 변환될 수 있으며, 그 반대의 경우도 같다.

에피폴라 좌표 시스템

보정을 위한 매핑의 정의를 위해, 에피폴을 극으로 가지며 위도 및 경도 각도를 사용하는 구형 좌표 시스템이 정의되며, 이는 도 9에 도시된다. 어떠한 회전도 없이(자동차의 순수 전방 또는 후방 모션), 에피폴은 차량 좌표 시스템의 X축 방향을 가리킨다. 이 경우 위도 ±90°는 X축을 따라 가리키고 경도 0°는 차 위의 포인트를 가리킨다(0, 0, 1). X축에 평행한 평면을 정의하는 구를 둘러싼 원은 구의 에피폴라 원을 표시한다. 임의의 매핑은 이들 원을 보정된 이미지의 수평 라인에 매핑해야 한다.

구형 매핑

도 9에 표시된 기하구조를 고려할 때, 구형 매핑에서, 에피폴라 좌표는 출력 이미지의 x 및 y 좌표에 직접 매핑된다. 위도는 y 좌표에 매핑되고 경도는 x 좌표에 매핑된다. 출력 이미지의 픽셀 밀도는 각도의 밀도를 정의한다. 각각의 뷰에 대해, 경도 및 위도의 범위가 정의될 수 있다. 예를 들어, 도 1에 도시된 차량의 맥락에서:

● 후방 카메라: 경도[0°, 360°], 위도[-10°, -90°]

● 전방 카메라: 경도[0°, 360°], 위도[10°, 90°]

● 미러 좌측 카메라: 경도[70°, 180°], 위도[-80°, 80°]

● 미러 우측 카메라: 경도[-70°, -180°], 위도[-80°, 80°]

이제 이들은 다음 순서로 카메라 이미지 좌표에 매핑된다.

● 에피폴라 좌표를 (x, y, z) 좌표가 있는 광선 벡터로 변환한다.

● 에피폴라 좌표에서 차량 좌표로 광선을 회전한다.

● 차량에서 카메라 좌표 시스템으로 광선을 회전한다.

● 카메라 투영을 사용하여 원시 소스 이미지 좌표를 결정한다.

다음 공식은 에피폴라 좌표를 (x, y, z) 좌표가 있는 광선 벡터로 변환한다.

는 경도이고

는 위도이다. 광선은

에 의해 카메라 광선으로 변환된다.

는 차량에서 카메라 좌표 시스템으로의 카메라 회전 행렬이다. 그런 다음 내장 함수가 적용되어 에피폴라 좌표

에 대한 소스 이미지의 픽셀 좌표를 검색한다.

기준선 정렬된 평면 매핑

평면 매핑의 경우, 구형 매핑과 동일한 메커니즘이 사용된다. 평면 좌표(x, y)는 먼저 에피폴라 좌표로 변환되지만 그 다음 계산 단계는 동일하다. 변환은 다음과 같다:

차량의 후방 및 전방 카메라의 경우, 위도 값이 방사형 매핑이 필요한 특이점으로 수렴하기 때문에, 변환은 대신 다음과 같다:

뷰포트는 구형 매핑과 유사하게 개방 각도로 정의될 수 있다. 이들은 주어진 픽셀 밀도를 사용하여 픽셀 범위로 변환될 수 있는 평면 좌표의 범위로 변환될 수 있다.

원통형 매핑

원통형 매핑은 구형과 평면이 혼합되어 있다. 이는 차량의 미러 뷰 카메라에 특히 유용한 매핑이다. 수직 또는 수평 원통에 대한 매핑은 각각 다음과 같다:

원뿔형 매핑

원뿔형 및 구형 매핑은 매핑 표면의 모양으로 인해 스트레칭이 덜 필요하므로 원통형 매핑보다 확장에 더 집중할 수 있는 속성이 있다. 단점은 이들 매핑이 한 카메라 이미지에서 다음 카메라 이미지로 이동할 때 물체의 모양을 유지하지 않는다는 것이다. 그러나, 범위는 원뿔형 뷰에서 훨씬 더 낫고 특히 주변에서 검출 품질은 원통형 매핑보다 우수하다.

일부 차량에서, 원뿔형 뷰포트는 지표면 및 연석 검출을 저하시킬 수 있지만, 구형보다 계산 비용이 저렴하다. 원뿔형 매핑 표면의 예가 도 10에 도시된다. 카메라가 차량에 장착된 실시예를 고려할 때, 원뿔형 뷰는 측면을 향하는 카메라가 아닌 전방 및 후방 카메라에만 사용된다.

일반 매핑

구, 평면 또는 원통대신 다른 매핑도 가능하다. 이들은 세 가지 함수

및

에 의해 정의될 수 있다. 도 1의 카메라 구성을 가정하면, 다음 변환이 주어질 수 있다:

미러(좌측 및 우측 뷰)의 경우:

후방 및 전방 뷰:

평면의 경우:

구형의 경우:

맞춤 설계된 함수는 시야와 깊이 맵의 공간 분해능 또는 스테레오 매처의 왜곡 간의 정확한 균형에 유용할 수 있다. 이상적으로는 함수

및

에 대해 다음 목표를 충족해야 한다:

및

공간 분해능, 시야 및 왜곡 간의 양호한 균형을 달성함

함수가 에피폴 근처에서 확장되어 더 많은 디스패리티 분해능을 갖지만 더 큰 x에 대해 선형 동작으로 폴백하기를 요구함

적은 계산 노력으로 간단한 공식화.

예컨대,

메시에 매핑

모든 단일 대상 픽셀에 대해 에피폴라 좌표에서 소스 픽셀 좌표로의 매핑을 계산하는 것은 시간이 많이 걸린다. 이것은 대상 좌표 그리드에 대해서만 이들 매핑을 계산하여 속도를 높일 수 있다. 매핑은 대상 좌표의 일반 그리드를 사용하여 자동 대상 좌표 생성을 사용할 수 있다. 그리드의 각 노드에 대해, 원시 소스 픽셀 좌표에 대한 매핑이 계산된다. 쌍선형 보간을 사용하면 대상 이미지의 픽셀이 제공된 메시에 따라 매핑된다. 그리드 셀 크기는 메시 생성의 런타임이 가능하지만 다른 한편으로는 메시로 인한 왜곡이 충분히 작은 방식으로 정의될 수 있다.

표면 조합

에피폴라 보정을 위해 복수의 평면을 사용하는 것을 포함하여 에피폴라 매핑을 위한 표면 조합을 갖는 것도 가능하다. 이것은 앞에서 참조된 Drulea 등의 "어안 렌즈를 사용한 전방향성 스테레오 비전"에서 논의된다. 예로서, 두 개의 평면을 포함하는 매핑 표면이 도 11에 도시된다. 이것이 차량 장착 카메라의 맥락에서 고려된다면, 제1 수평 평면(H)은 예를 들어 지표면을 재구성하는 데 사용될 것이고, 제1 평면에 수직인 제2 평면(V)은 다른 물체에 사용될 것이다.

복수의 다른 표면을 사용할 수 있다. 원통형(및 평면) 뷰 포트는 지면, 연석 및 물체를 검출할 때 자동차 근처에서 양호한 성능을 나타내므로, 해당 속성의 이점을 유지하는 것이 유리하다. 확장 초점 근처에서도 검출하려면 이 영역을 덮기 위해 다른 표면을 추가할 수 있다. 이상적으로는, 매핑 표면이 이미지의 스트레칭의 균형을 유지해야 한다. 확장의 초점은 이미지의 작은 부분이므로, 뷰 포트도 작아야 하고, 원통형 뷰의 검출 끝에서 범위를 커버하고 확장의 초점에 가까워야 한다.

도 12(a)는 원통형(120)과 원뿔대(122)(컷오프 원뿔 기반) 뷰포트의 조합을 보여준다. 이러한 수정된 표면은 카메라가 장면 안팎으로 이동하는 차량 전방 및 후방 카메라에 유리하다. 윙 미러 카메라는 장면으로 횡방향으로 이동하므로 전형적으로 원통형 표면만 사용한다.

도 12(b)는 반구형 표면(124)이 원통형 표면(120)에 추가된 또 다른 수정된 표면을 보여준다. 두 수정된 표면 모두에 대해, 유효한 디스패리티 및 깊이가 그 영역에서 추출될 수 없으므로, 확장 초점에 바로 인접한 영역을 매핑하는 것은 유용하지 않다. 따라서, 고려된 표면은 도 12(a) 및 도 12(b)에 도시된 바와 같이 확장 초점에서 누락된 표면(126)의 일부를 가질 수 있다.

깊이 계산 및 포인트 클라우드 생성

스테레오 매처를 실행한 후, 결과 디스패리티 맵은 이전 이미지에서 현재 이미지로의 수평 이동을 포함하는 이미지이다. 이러한 움직임은 깊이 정보로 변환되거나 3D 포인트의 포인트 클라우드로 직접 변환될 수 있다. 사용된 에피폴라 보정 방법에 따라, 이 변환은 다른 수학식을 사용하여 계산될 수 있다.

평면 깊이 계산

기준선 정렬된 평면 에피폴라 보정은 깊이를 결정하는 간단한 계산 절차를 허용하는 특별한 경우이다. 도 13(a)를 참조하여 차량 측면에 장착된 카메라를 고려한다. 깊이

는 유사한 삼각형을 사용하여 계산될 수 있다. 디스패리티

는 깊이

가 있는 초점 길이

에 대해 기준선

와 유사하다:

및

는 픽셀로 주어질 수 있다.

이와 관련하여, 도 13(b)를 참조하여 차량의 전방 또는 후방에 장착된 카메라를 고려하면, 다음과 같은 관계가 유도될 수 있고:

다음과 같이 간단해질 수 있다:

알 수 있듯이 디스패리티

뿐만 아니라

에도 종속성이 있다. 이는 디스패리티 맵에서의 깊이 계산이 맵 내의 위치에 의존한다는 것을 의미한다. 또한, 이것은

이 작은 물체가

이 큰 물체보다 같은 거리에서 디스패리티가 더 작다는 것을 의미한다. 특징 매처가 픽셀 레벨에서 작동하기 때문에 이러한 경우 공간 분해능을 감소시킨다. 자연스럽게 공간 분해능은 에피폴에 접근함에 따라 0에 다가간다. 그러나, 상이한 매핑 함수가 깊이 대 디스패리티 관계를 어느 정도 균등화하여 영향을 줄일 수 있다.

구형 깊이 계산

도 14에 표시된 구형의 경우, 깊이 계산이 더 어렵지만 구형 매핑에서 단일 에피폴라 원을 고려하면, 다음과 같은 삼각 관계를 유도할 수 있다:

각도 α 및 β(위도)는 구형으로 보정된 이미지의 매칭 픽셀의 수평 픽셀 위치에 대응하고 검색하기 쉽다. 또한, 경도를 고려할 수 있다. 위에서 계산된 깊이

는 기준선으로부터의 거리이므로

는 가상 카메라 평면으로부터의 깊이이다. 구형 매핑은 넓은 시야를 제공하지만 거리에 대한 디스패리티 관계는 그다지 좋지 않다. 작은 각도 α, β의 경우 위 수학식의 대략적인 변형은 다음과 같다:

깊이에 대한 디스패리티의 관계는 일정하지 않으며 깊이의 경우 입사각에 대한 제곱 의존성을 갖는다. 이는 미러 뷰 카메라의 경우 보정된 이미지의 에지에서 공간 분해능이 상당히 낮다는 것을 의미한다. 결과적으로, 시야와 공간 분해능의 균형을 맞추는 다른 매핑이 유리할 수 있다.

원통형 깊이 계산

원통형 경우는 다시 한번 평면과 구형 간의 혼합이다. 수평 원통인지 수직 원통인지에 따라, 전술한 평면 또는 구형 방법을 사용하여 깊이를 계산한다. 평면 깊이의 경우, 경도 조정은 구형 경도 조정과 균등하게 수행된다.

일반 깊이 계산

구형 매핑의 경우 다음 수학식이 이용된다:

위의 정의에 따라('일반 매핑' 섹션 참조) 다음을 사용할 수 있다:

경도를 고려하면 다음이 산출된다:

깊이로부터의 포인트 클라우드

위의 방법을 사용하여 가상 카메라 평면에 대해 개별 디스패리티 맵 픽셀의 거리를 계산하면, 결과 좌표는 차량 좌표로 변환되어 포인트 클라우드를 형성할 수 있다. 선택된 카메라(현재) 행렬에 대해 에피폴라 참조 프레임의 유클리드 좌표를 가정하면,

가 사용되어 차량 좌표 시스템으로 회전하고 카메라의 외부 위치를 추가하여 차량 좌표를 얻을 수 있다. 계산적으로, 이 방안은 각각의 픽셀에 대해 매우 적고 매우 간단한 연산이 수반되기 때문에 기준선 정렬된 평면 매핑에 매우 효율적이다.

삼각측량에 의한 포인트 클라우드

깊이로부터 포인트 클라우드를 형성하는 대안적인 방안으로서, 삼각측량을 사용하여 디스패리티 맵으로부터 포인트 클라우드를 생성할 수 있다. 이것은 고려된 좌표 시스템에서 두 개의 광선과 차량의 모션 벡터를 입력으로 받는다. 몇 가지 기본 및 알려진 연산(곱셈, 덧셈, 뺄셈 및 나눗셈)으로, 삼각측량된 광선의 3D 위치 출력을 얻을 수 있다.

디스패리티 맵으로부터 광선을 결정하기 위해, 위에서 언급한 깊이 계산을 사용하거나 사전계산된 광선 그리드를 사용하는 두 가지 방안을 선택할 수 있다.

전자의 방안은 깊이 값에서 직접 포인트 클라우드를 생성하는 것보다 덜 효율적이다. 후자의 방안이 효율적이다. 위에서 언급한 에피폴라 매핑을 위한 메시를 생성할 때도 필요한 광선이 계산된다. 중간 결과

는 메시의 각 노드에 사용할 수 있으며 나중에 사용하기 위해 저장될 수 있다. r은 에피폴라 좌표 시스템에서 차량 좌표 시스템으로 회전한 후의 광선이다. 이제, 디스패리티 맵의 각 픽셀에 대해, 해당 광선은 픽셀 주변의 노드에 저장된 광선으로부터 쌍선형으로(또는 고급 방법, 예컨대, 스플라인으로) 보간될 수 있다. 에피폴라 매핑을 위한 그리드 셀 크기를 선택할 때, 결과 포인트 클라우드의 정확도가 충분하도록 이 섹션에 설명된 방법을 고려할 수 있다.

삼각측량 방법

삼각측량 방법이 알려져 있기 때문에, 간결함을 위해 최종 수학식만 제시된다. 두 개의 차량 광선

과 차량의 델타 모션 δ이 주어지면 다음 6가지 수가 정의될 수 있다:

두 광선이 모두 단위 벡터이면, a와 c는 1의 값을 가지며 다음 공식을 더 간단하게 하여 광선의 두 교차점을 제공할 것이다:

일반적으로 3D 공간의 두 광선은 반드시 교차하는 것은 아니다. 두 3D 포인트의 평균은 두 광선의 가장 가까운 포인트일 것이다. 그러나, 이 경우, 두 광선이 에피폴라 곡선과 교차하므로 교차점을 가질 것이다. 이것은 위의 수학식 중 하나만으로도 충분하다는 것을 의미한다. 그러나, 보간으로부터 발생하는 것과 같은 광선 계산의 부정확성은 두 3D 포인트를 계산하고 평균 결과를 최종 3D 포인트 출력으로 사용함으로써 적어도 부분적으로 고려될 수 있다.

응용

위의 기법을 사용함으로써, 광시야 렌즈를 가진 차량의 움직이는 단안 카메라가 환경을 지나갈 때 이의 이미지를 사용하여 차량 주변 환경의 로컬 지형의 일부를 근사화하는 포인트 클라우드의 일부를 형성할 수 있다. 그 다음에 움직이는 단안 카메라로부터의 이미지를 함께 스티칭하여 형성된 이미지를 포인트 클라우드에 의해 정의된 표면에 매핑할 수 있다. 결과 가상 장면의 이미지는 임의의 가상 카메라 포즈로부터 평가될 수 있다. 가상 이미지는 가상 카메라 포즈와 상관없이 이미징 장면과 유사한 지형을 가지므로, 제공되는 이미지는 사실적일 것이다.

Claims

이미징된 환경의 지형에 대응하는 포인트 클라우드(point cloud)를 형성하는 방법으로서,
차량에 장착된 광시야 렌즈를 가진 카메라(C₁)로 상기 환경의 제1 이미지를 획득하는 단계와,
임계값보다 큰 조정에 의해 카메라 포즈(camera pose)를 변경하는 단계와,
상기 변경된 포즈의 카메라(C₂)로 상기 환경의 제2 이미지를 획득하는 단계와,
상기 제1 이미지를 제1 표면에 매핑하여 제1 매핑된 이미지를 형성하는 단계와,
상기 제2 이미지를 제2 표면에 매핑하여 제2 매핑된 이미지를 형성하는 단계 - 상기 제1 표면 및 상기 제2 표면은 동일한 비평면 기하구조(120, 122, 124)에 의해 정의됨 - 와,
상기 제1 또는 제2 매핑된 이미지 중 하나를 픽셀 블록으로 분할하는 단계와,
각각의 픽셀 블록에 대해, 상기 매핑된 이미지 각각에서 상기 픽셀 블록의 장소의 위치의 디스패리티(disparity)를 평가하기 위해 상기 제1 또는 제2 매핑된 이미지 중 다른 하나를 통해 검색을 수행함으로써 깊이 맵을 형성하는 단계와,
상기 깊이 맵을 상기 차량이 상기 차량 주변의 환경을 지나갈 때 상기 환경의 로컬 지형에 대응하는 포인트 클라우드의 일부로 변환하는 단계와,
상기 카메라 포즈의 조정에 따라 상기 포인트 클라우드를 스케일링하는 단계를 포함하는
방법.
제1항에 있어서,
상기 검색을 수행하는 것은 보정된 에피폴라 라인(b)을 따라 이미지 데이터의 1차원 검색을 수행하는 것을 포함하는
방법.
제1항 또는 제2항에 있어서,
상기 방법은 차량 주행거리계 센서로부터 공급된 주행거리계 정보로 상기 카메라 포즈의 변경을 평가하는 단계를 더 포함하는
방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 광시야 렌즈는 어안 렌즈인
방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 비평면 기하구조는 원뿔형 표면을 정의하는
방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 비평면 기하구조는 구면을 정의하는
방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 비평면 기하구조는 원통형 표면을 정의하는
방법.
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 비평면 기하구조는 상기 카메라의 광축에 대해 대칭인
방법.
제8항에 있어서,
상기 비평면 기하구조는,
제1 비평면 표면(120)과,
제2 비평면 표면(122, 124)을 포함하고,
상기 제1 비평면 표면은 상기 카메라로부터 상기 제2 비평면 표면까지 연장되고, 상기 제2 비평면 표면은 상기 제1 비평면 표면으로부터 상기 광축을 향해 수렴하는
방법.
제9항에 있어서,
상기 제2 비평면 표면은 원뿔대 표면(frusto-conical surface)(122)을 정의하는
방법.
제9항에 있어서,
상기 제2 비평면 표면은 반구형 표면(124)을 정의하는
방법.
제1항 내지 제11항 중 어느 한 항에 있어서,
상기 매핑은 상기 매핑된 이미지에서 픽셀의 서브세트에 대한 희소 룩업 테이블(sparse look-up table)을 구축하고 십진수 전체 유효 자릿수(decimal precision)를 가진 해당 픽셀에 대한 해당 카메라 이미지 좌표를 저장함으로써 수행되는
방법.
전방향(forward direction)으로 이동하기 위한 차량(100)으로서,
상기 전방향으로 정렬된 광축을 갖는 카메라(101)와,
상기 전방향과 반대인 후방향으로 정렬된 광축을 갖는 카메라(104)를 포함하되,
각각의 카메라는 제8항 내지 제12항 중 어느 한 항의 방법에 따라 동작하는
차량.
제13항에 있어서,
상기 차량은 상기 전방향에 수직인 반대 방향으로 정렬된 2개의 카메라(102, 103)를 더 포함하되,
상기 2개의 카메라는 제1항 내지 제7항 중 어느 한 항의 방법에 따라 동작하는
차량.
제13항 또는 제14항에 있어서,
상기 카메라는 상기 차량의 자동 주차 또는 자율 주행을 위한 시스템에 정보를 제공하는
차량.
차량 주변의 장면을 표시하는 방법으로서,
오버랩된 시야를 사용하여 상기 차량의 주변에 위치된 복수의 카메라로부터 이미지를 획득하는 단계와,
상기 이미지를 스티칭된 이미지(stitched image)로 스티칭하는 단계와,
제1항 내지 제12항 중 어느 한 항의 방법에 의해 생성된 포인트 클라우드에 의해 정의된 표면에 상기 스티칭된 이미지를 매핑하는 단계를 포함하는
방법.