KR20220133766A - 멀티뷰 어안 렌즈들을 이용한 실시간 전방위 스테레오 매칭 방법 및 그 시스템 - Google Patents

Abstract

멀티뷰 어안 렌즈들을 이용한 실시간 전방위 스테레오 매칭 방법 및 그 시스템이 개시된다. 본 발명의 일 실시예에 따른 실시간 전방위 스테레오 매칭 방법은 서로 반대 방향을 촬영하게 배치된 제1 어안 카메라와 제2 어안 카메라를 포함하는 첫번째 쌍의 어안 카메라들 및 서로 반대 방향을 촬영하게 배치된 제3 어안 카메라와 제4 어안 카메라를 포함하는 두번째 쌍의 어안 카메라들을 포함하며, 상기 첫번째 쌍의 어안 카메라들과 상기 두번째 쌍의 어안 카메라들이 수직으로 배치되는 카메라 시스템에서의 실시간 전방위 스테레오 매칭 방법에 있어서, 상기 제1 어안 카메라 내지 상기 제4 어안 카메라를 통해 촬영되는 피사체에 대한 어안 영상들을 수신하는 단계; 미리 설정된 거리 후보들에 대한 스윕 볼륨(sweep volume)을 이용하여 상기 수신된 어안 영상들 중에서 미리 설정된 기준 어안 영상의 각 픽셀에 대해, 나머지 어안 카메라들 중 어느 하나의 어안 카메라를 선택하는 단계; 상기 기준 어안 영상과 상기 선택된 어느 하나의 어안 카메라의 어안 영상을 이용하여 모든 픽셀에 대한 거리 맵을 생성하는 단계; 및 상기 생성된 거리 맵을 이용하여 상기 수신된 어안 영상들에 대한 실시간 스테레오 매칭을 수행하는 단계를 포함한다.

Description

멀티뷰 어안 렌즈들을 이용한 실시간 전방위 스테레오 매칭 방법 및 그 시스템 {REAL-TIME OMNIDIRECTIONAL STEREO MATCHING METHOD USING MULTI-VIEW FISHEYE LENSES AND SYSTEM THEREFORE}

본 발명은 멀티뷰 어안 렌즈들을 이용한 실시간 전방위 스테레오 매칭 기술에 관한 것으로, 보다 구체적으로는 멀티뷰 어안 렌즈들을 이용하여 추가적인 구면 교정 없이 멀티뷰 어안 영상에서 직접 실행할 수 있는 실시간 전방위 스테레오 매칭 방법 및 그 시스템에 관한 것이다.

3D 장면의 외관과 구조에 대한 효율적이고 정확한 이해는 자율 주행 차량, 로봇, 증강/혼합 현실 등과 같은 많은 응용 분야에서 사용되는 컴퓨터 비전의 필수적인 능력이다. 일반 렌즈를 사용하는 기존의 스테레오 카메라는 시야가 좁아서 모든 방향의 장면을 포착하기에 충분하지 않다.

모든 방향을 커버하는 동안 카메라의 수를 줄이기 위해 더 적은 수의 어안 렌즈를 사용하는 것은 자연스러운 선택이다. 하지만, 여러 개의 어안 렌즈를 사용하면 에피폴라 기하학이 유지되지 않는다. 즉, 이 넌핀홀 카메라에 신속한 스캔 라인 스테레오 매칭이 적용되지 않는다. 따라서, 복수의 어안 렌즈를 사용하는 전방향 카메라 구성은 어안 렌즈의 다음과 같은 광학 특성으로 인해 360도 파노라마와 거리를 계산할 때 성능과 정확도 사이의 불가피한 딜레마로 어려움을 겪는다.

첫째, 기존의 핀홀 카메라 모델은 렌즈 보정 후에도 어안 렌즈로는 유효하지 않다. 둘째, 스테레오 매칭에서 어안 영상에 대한 디지털 표현으로 등장방형도법(equirectangular) 또는 위도 경도 투영을 사용할 필요가 있다. 그것은 이러한 표현에 심각한 영상 왜곡을 도입하고, 따라서 정확한 스테레오 매칭을 위해 공간 변화와의 워프 인식(warp-aware) 대응 검색이 추가로 요구되어, 상당한 계산 비용을 가진다. 마지막으로, 360도 밀집 거리 맵이 없으면 360도 파노라마 영상으로 멀티뷰 어안 영상을 정확하게 병합할 수 없으며, 360도 밀집 거리 맵을 필터링하여 얻을 수 없다. 멀티뷰 어안 영상을 360도 RGB-D 영상에 높은 정확도로 결합할 때 닭과 달걀의 문제가 발생한다.

본 발명의 실시예들은, 멀티뷰 어안 렌즈들을 이용하여 추가적인 구면 교정 없이 멀티뷰 어안 영상에서 직접 실행할 수 있는 실시간 전방위 스테레오 매칭 방법 및 그 시스템을 제공한다.

본 발명의 일 실시예에 따른 실시간 전방위 스테레오 매칭 시스템은 서로 반대 방향을 촬영하게 배치된 제1 어안 카메라와 제2 어안 카메라를 포함하는 첫번째 쌍의 어안 카메라들; 및 서로 반대 방향을 촬영하게 배치된 제3 어안 카메라와 제4 어안 카메라를 포함하는 두번째 쌍의 어안 카메라들를 포함하고, 상기 첫번째 쌍의 어안 카메라들과 상기 두번째 쌍의 어안 카메라들은 서로 다른 높이를 갖도록 수직으로 배치되며, 거리 맵을 생성하여 3D 좌표를 따라 어안 영상을 투영하는 것을 특징으로 한다.

상기 첫번째 상의 어안 카메라들과 상기 두번째 쌍의 어안 카메라들은 두 쌍의 높이가 다르게 배열하여 상기 제1 어안 카메라 내지 상기 제4 어안 카메라의 부분 오버랩을 만들 수 있다.

나아가, 본 발명의 일 실시예에 따른 실시간 전방위 스테레오 매칭 시스템은 상기 제1 어안 카메라 내지 상기 제4 어안 카메라를 통해 촬영되는 피사체에 대한 어안 영상들을 수신하는 수신부; 미리 설정된 거리 후보들에 대한 스윕 볼륨(sweep volume)을 이용하여 상기 수신된 어안 영상들 중에서 미리 설정된 기준 어안 영상의 각 픽셀에 대해, 나머지 어안 카메라들 중 어느 하나의 어안 카메라를 선택하는 선택부; 상기 기준 어안 영상과 상기 선택된 어느 하나의 어안 카메라의 어안 영상을 이용하여 모든 픽셀에 대한 거리 맵을 생성하는 생성부; 및 상기 생성된 거리 맵을 이용하여 상기 수신된 어안 영상들에 대한 실시간 스테레오 매칭을 수행하는 매칭부를 더 포함할 수 있다.

상기 선택부는 상기 기준 어안 영상의 각 픽셀에 대해, 가장 높은 거리 판별력을 가지는 어안 카메라를 상기 어느 하나의 어안 카메라로 선택할 수 있다.

상기 선택부는 상기 기준 어안 영상의 각 픽셀에 대해, 상기 거리 후보들 중 첫번째 거리 후보와 마지막 거리 후보 간 가장 큰 각도 변화를 갖는 어안 카메라를 상기 어느 하나의 어안 카메라로 선택할 수 있다.

상기 생성부는 상기 기준 어안 영상과 상기 선택된 어느 하나의 어안 카메라의 어안 영상에 대한 양방향(bilateral) 비용 볼륨 필터링을 이용하여 상기 모든 픽셀에 대한 거리 맵을 생성할 수 있다.

상기 생성부는 상기 생성된 거리 맵과 상기 어안 영상들의 픽셀 값을 이용하여 360도 컬러 영상을 실시간으로 생성할 수 있다.

상기 생성부는 상기 360도 컬러 영상에서 누락된 영역을 상기 360도 컬러 영상의 배경을 이용하여 인페인팅함으로써, 최종 360도 컬러 영상을 실시간으로 생성할 수 있다.

상기 생성부는 상기 360도 컬러 영상에서 전경 방향과 배경 방향을 결정함으로써, 인페인팅 방향을 결정하고, 상기 결정된 인페인팅 방향과 상기 누락된 영역의 폐색 방향에 따라 인페인팅 커널을 계산하며, 상기 계산된 인페인팅 커널을 상기 거리 맵에 적용함으로써, 상기 360도 컬러 영상의 배경에 대한 깊이 값을 이용하여 상기 누락된 영역을 인페인팅할 수 있다.

본 발명의 일 실시예에 따른 실시간 전방위 스테레오 매칭 방법은 서로 반대 방향을 촬영하게 배치된 제1 어안 카메라와 제2 어안 카메라를 포함하는 첫번째 쌍의 어안 카메라들 및 서로 반대 방향을 촬영하게 배치된 제3 어안 카메라와 제4 어안 카메라를 포함하는 두번째 쌍의 어안 카메라들을 포함하며, 상기 첫번째 쌍의 어안 카메라들과 상기 두번째 쌍의 어안 카메라들이 서로 다른 높이를 갖도록 수직으로 배치되는 카메라 시스템에서의 실시간 전방위 스테레오 매칭 방법에 있어서, 상기 제1 어안 카메라 내지 상기 제4 어안 카메라를 통해 촬영되는 피사체에 대한 어안 영상들을 수신하는 단계; 미리 설정된 거리 후보들에 대한 스윕 볼륨(sweep volume)을 이용하여 상기 수신된 어안 영상들 중에서 미리 설정된 기준 어안 영상의 각 픽셀에 대해, 나머지 어안 카메라들 중 어느 하나의 어안 카메라를 선택하는 단계; 상기 기준 어안 영상과 상기 선택된 어느 하나의 어안 카메라의 어안 영상을 이용하여 모든 픽셀에 대한 거리 맵을 생성하는 단계; 및 상기 생성된 거리 맵을 이용하여 상기 수신된 어안 영상들에 대한 실시간 스테레오 매칭을 수행하는 단계를 포함한다.

상기 어느 하나의 어안 카메라를 선택하는 단계는 상기 기준 어안 영상의 각 픽셀에 대해, 가장 높은 거리 판별력을 가지는 어안 카메라를 상기 어느 하나의 어안 카메라로 선택할 수 있다.

상기 어느 하나의 어안 카메라를 선택하는 단계는 상기 기준 어안 영상의 각 픽셀에 대해, 상기 거리 후보들 중 첫번째 거리 후보와 마지막 거리 후보 간 가장 큰 각도 변화를 갖는 어안 카메라를 상기 어느 하나의 어안 카메라로 선택할 수 있다.

상기 모든 픽셀에 대한 거리 맵을 생성하는 단계는 상기 기준 어안 영상과 상기 선택된 어느 하나의 어안 카메라의 어안 영상에 대한 양방향(bilateral) 비용 볼륨 필터링을 이용하여 상기 모든 픽셀에 대한 거리 맵을 생성할 수 있다.

나아가, 본 발명의 일 실시예에 따른 실시간 전방위 스테레오 매칭 방법은 상기 생성된 거리 맵과 상기 어안 영상들의 픽셀 값을 이용하여 360도 컬러 영상을 실시간으로 생성하는 단계를 더 포함할 수 있다.

상기 360도 컬러 영상을 실시간으로 생성하는 단계는 상기 360도 컬러 영상에서 누락된 영역을 상기 360도 컬러 영상의 배경을 이용하여 인페인팅함으로써, 최종 360도 컬러 영상을 실시간으로 생성할 수 있다.

상기 360도 컬러 영상을 실시간으로 생성하는 단계는 상기 360도 컬러 영상에서 전경 방향과 배경 방향을 결정함으로써, 인페인팅 방향을 결정하고, 상기 결정된 인페인팅 방향과 상기 누락된 영역의 폐색 방향에 따라 인페인팅 커널을 계산하며, 상기 계산된 인페인팅 커널을 상기 거리 맵에 적용함으로써, 상기 360도 컬러 영상의 배경에 대한 깊이 값을 이용하여 상기 누락된 영역을 인페인팅할 수 있다.

본 발명의 다른 일 실시예에 따른 실시간 전방위 스테레오 매칭 방법은 서로 반대 방향을 촬영하게 배치된 제1 어안 카메라와 제2 어안 카메라를 포함하는 첫번째 쌍의 어안 카메라들 및 서로 반대 방향을 촬영하게 배치된 제3 어안 카메라와 제4 어안 카메라를 포함하는 두번째 쌍의 어안 카메라들을 포함하는 카메라 시스템에서의 실시간 전방위 스테레오 매칭 방법에 있어서, 상기 제1 어안 카메라 내지 상기 제4 어안 카메라를 통해 촬영되는 피사체에 대한 어안 영상들을 수신하는 단계; 미리 설정된 거리 후보들에 대한 스윕 볼륨(sweep volume)을 이용하여 상기 수신된 어안 영상들 중에서 미리 설정된 기준 어안 영상의 각 픽셀에 대해, 나머지 어안 카메라들 중 어느 하나의 어안 카메라를 선택하는 단계; 상기 기준 어안 영상과 상기 선택된 어느 하나의 어안 카메라의 어안 영상에 대한 양방향(bilateral) 비용 볼륨 필터링을 이용하여 모든 픽셀에 대한 거리 맵을 생성하는 단계; 및 상기 생성된 거리 맵을 이용하여 상기 수신된 어안 영상들에 대한 실시간 스테레오 매칭을 수행하는 단계를 포함한다.

상기 어느 하나의 어안 카메라를 선택하는 단계는 상기 기준 어안 영상의 각 픽셀에 대해, 가장 높은 거리 판별력을 가지는 어안 카메라를 상기 어느 하나의 어안 카메라로 선택할 수 있다.

상기 어느 하나의 어안 카메라를 선택하는 단계는 상기 기준 어안 영상의 각 픽셀에 대해, 상기 거리 후보들 중 첫번째 거리 후보와 마지막 거리 후보 간 가장 큰 각도 변화를 갖는 어안 카메라를 상기 어느 하나의 어안 카메라로 선택할 수 있다.

본 발명의 실시예들에 따르면, 등장방형도법 또는 위도 경도 투영을 사용하여 추가적인 구면 교정 없이 멀티뷰 어안 영상에서 직접 실행할 수 있는 효율적인 실시간 구면 스위핑(sphere-sweeping) 스테레오 기술을 제공할 수 있다.

본 발명의 실시예들에 따르면, 실시간 전방위 360도 RGB-D 카메라를 구현할 수 있고, 이를 통해 실시간 전방위 360도 RGB-D 카메라가 적용 가능한 로보틱스, 자율주행 등에 적용할 수 있다.

도 1은 본 발명의 일 실시예에 따른 실시간 전방위 스테레오 매칭 시스템을 설명하기 위한 일 예시도를 나타낸 것이다.
도 2는 본 발명의 일 실시예에 따른 실시간 전방위 스테레오 매칭 방법에 대한 동작 흐름도를 나타낸 것이다.
도 3는 구면 스윕 볼륨에서의 투영을 설명하기 위한 일 예시도를 나타낸 것이다.
도 4은 기준 프레임에서 주어진 광선 각도에 대한 카메라 선택 예와 픽셀 위치에 따라 카메라가 선택되는 맵에 대한 일 예시도를 나타낸 것이다.
도 5는 멀티스케일 필터링 프로세스에 대한 일 예시도를 나타낸 것으로, 스케일 간 양방향 필터링에 대한 일 예시도를 나타낸 것이다.
도 6는 다른 에지 보존 파라미터의 필터 커널을 설명하기 위한 일 예시도를 나타낸 것이다.
도 7은 거리 추정 알고리즘을 설명하기 위한 일 예시도를 나타낸 것이다.
도 8은 인페인팅 과정을 설명하기 위한 일 예시도를 나타낸 것이다.
도 9는 본 발명의 일 실시예에 따른 실시간 전방위 스테레오 매칭 시스템에 대한 구성을 나타낸 것이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

어안 렌즈가 달린 카메라 세트는 넓은 시야를 포착하기 위해 사용되어 왔다. 에피폴라(epipolar) 기하학에 기초한 기존의 스캔 라인 스테레오 알고리즘은 어안 렌즈의 광학 특성 때문에 이 넌핀홀(non-pinhole) 카메라 설정에 직접 적용할 수 없다. 따라서 기존의 완전한 360도 RGB-D 영상 시스템은 아직 실시간 성능을 달성하지 못한다.

본 발명의 실시예들은, 등장방형도법 또는 위도 경도 투영을 사용하여 추가적인 구면 교정 없이 멀티뷰 어안 영상에서 직접 실행할 수 있는 효율적인 실시간 구면 스위핑(sphere-sweeping) 스테레오 기술을 제공한다.

본 발명의 주요 기여는 다음과 같다. 첫째, 각 어안 영상에서 거리의 지역적 구별 능력을 고려하여 어안 영상 영역에서 스테레오 매칭을 직접 평가할 수 있는 적응형 구면 매칭 방법을 도입하고, 둘째, 본 발명은 구면 영역의 노이즈와 텍스처가 없는 영역에서 거리를 미세하게 하는 최적의 복잡성 O(n)의 고속 스케일 간 양방향(bilateral) 비용 볼륨 필터링 방법을 제공함으로써, 360도 밀집 거리 추정을 모든 방향에서 실시간으로 가능하게 하면서 에지는 보존한다. 마지막으로 어안 컬러와 거리 영상은 밀집 거리 맵의 고속 인페인팅을 통해 완전한 360도 RGB-D 영상으로 완벽하게 결합된다.

본 발명은 도 1에 도시된 바와 같이, 복수의 어안 카메라 예를 들어, 4개의 어안 카메라를 이용하여 구현할 수 있다. 본 발명의 프로토타입은 29 fps에서 2 메가픽셀의 해상도로 모든 픽셀에서 컬러와 거리를 포함하는 완전한 360도 RGB-D 비디오를 캡처할 수 있다. 결과적으로, 본 발명의 실시간 알고리즘이 정확성과 성능 면에서 기존의 전방향 스테레오 및 학습 기반 360도 스테레오 알고리즘을 능가한다는 것을 알 수 있다.

도 2는 본 발명의 일 실시예에 따른 실시간 전방위 스테레오 매칭 방법에 대한 동작 흐름도를 나타낸 것으로, 서로 반대 방향을 촬영하게 배치된 제1 어안 카메라와 제2 어안 카메라를 포함하는 첫번째 쌍의 어안 카메라들 및 서로 반대 방향을 촬영하게 배치된 제3 어안 카메라와 제4 어안 카메라를 포함하는 두번째 쌍의 어안 카메라들을 포함하며, 첫번째 쌍의 어안 카메라들과 상기 두번째 쌍의 어안 카메라들이 서로 다른 높이를 갖도록 수직으로 배치되며, 거리 맵을 생성하여 3D 좌표를 따라 어안 영상을 투영하는 카메라 시스템에서 수행되는 실시간 전방위 스테레오 매칭 방법을 나타낸 것이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 실시간 전방위 스테레오 매칭 방법은 제1 어안 카메라 내지 제4 어안 카메라를 통해 촬영되는 피사체에 대한 어안 영상들을 수신하고, 미리 설정된 거리 후보들에 대한 스윕 볼륨(sweep volume)을 이용하여 수신된 어안 영상들 중에서 미리 설정된 기준 어안 영상의 각 픽셀에 대해, 나머지 어안 카메라들 중 어느 하나의 어안 카메라를 선택한다(S210, S220).

여기서, 단계 S220은 기준 어안 영상의 각 픽셀에 대해, 가장 높은 거리 판별력을 가지는 어안 카메라를 어느 하나의 어안 카메라로 선택할 수 있다.

여기서, 단계 S220은 기준 어안 영상의 각 픽셀에 대해, 거리 후보들 중 첫번째 거리 후보와 마지막 거리 후보 간 가장 큰 각도 변화를 갖는 어안 카메라를 어느 하나의 어안 카메라로 선택할 수 있다.

단계 S220에 의해 어느 하나의 어안 카메라가 선택되면, 기준 어안 영상과 선택된 어느 하나의 어안 카메라의 어안 영상을 이용하여 모든 픽셀에 대한 거리 맵을 생성하고, 생성된 거리 맵을 이용하여 수신된 어안 영상들에 대한 실시간 스테레오 매칭을 수행한다(S230, S240).

여기서, 단계 S230은 기준 어안 영상과 선택된 어느 하나의 어안 카메라의 어안 영상에 대한 양방향(bilateral) 비용 볼륨 필터링을 이용하여 모든 픽셀에 대한 거리 맵을 생성할 수 있다.

나아가, 본 발명의 일 실시예에 따른 실시간 전방위 스테레오 매칭 방법은 생성된 거리 맵과 어안 영상들의 픽셀 값을 이용하여 360도 컬러 영상을 실시간으로 생성할 수 있다.

이 때, 360도 컬러 영상을 실시간으로 생성하는 과정은 360도 컬러 영상에서 누락된 영역을 360도 컬러 영상의 배경을 이용하여 인페인팅함으로써, 최종 360도 컬러 영상을 실시간으로 생성할 수 있다. 구체적으로, 360도 컬러 영상을 실시간으로 생성하는 과정은 360도 컬러 영상에서 전경 방향과 배경 방향을 결정함으로써, 인페인팅 방향을 결정하고, 결정된 인페인팅 방향과 누락된 영역의 폐색 방향에 따라 인페인팅 커널을 계산하며, 계산된 인페인팅 커널을 거리 맵에 적용함으로써, 360도 컬러 영상의 배경에 대한 깊이 값을 이용하여 누락된 영역을 인페인팅할 수 있다.

이러한 본 발명의 방법에 대하여 도 3 내지 도 8을 참조하여 설명하면 다음과 같다.

양안 어안/360도 스테레오: 두 대의 어안 카메라 또는 360도 카메라를 베이스라인에 배치한 다음 스테레오 시야 내에서 깊이 예를 들어, 전방향 스테레오에서의 거리를 추정하는 데 사용한다. 전통적인 에피폴라 기하학과 유사하게, 그들은 큰 원을 따라 구면 교정과 블록별 비용 매칭을 적용한다. 그러나 구면 스테레오의 디스패러티(disparity)는 아크의 길이에 비례하며, 이는 거리의 역수에 선형적으로 비례하지 않는다. 어안 렌즈 또는 360도 카메라의 렌즈 캘리브레이션 후에도 넌핀홀 카메라에 대한 에피폴라 기하학이 유지되지 않는다. 따라서, 실시간 거리 추정치에 적용할 수 없는 비싼 구면 스위핑 볼륨을 이용한 대응 검색이 필요하다.

등장방형도법 또는 위도 경도 투영은 스테레오 매칭을 계산하기 전 어안 영상을 교정하기 위해 사용되어 왔다. 이 프로세스는 메모리 비용이 많이 들고 투영 시 영상 왜곡이 심하며, 기하학 왜곡은 구면 스테레오의 정확한 대응 검색을 방해한다.

또한 이 양안 설정에서는 베이스라인 축을 따라 거리를 적절히 추정할 수 없다. 즉, 카메라들 간의 폐색(occlusion)으로 인해 이 양안 스테레오 설정에서 직접 360도 파노라마 및 거리 맵을 계산할 수 없으며, 가장 중요한 것은 정렬에서 이용할 수 있는 베이스라인이 없기 때문이다. 본 발명의 방법은 어안렌즈가 있는 복수의 카메라들 예를 들어, 4대의 카메라만 사용하지만 360도 RGB-D 영상을 실시간으로 캡처할 수 있다.

단안 360도 스테레오: 기존의 모션 기반 구조 알고리즘이 소형 360도 영상에 적용되었다. 그러나 이러한 방법은 정적 장면에서 360도 카메라가 이동하는 것으로 가정한다. 이러한 방법을 동적 물체가 있는 장면에 적용할 경우 성능이 급격히 저하된다. 또한 이러한 방법의 계산 비용은 비싸기 때문에 실시간 360도 RGB-D 영상에 적용할 수 없다. 또한, 전방향 영상 프라이어(prior)을 학습하여 360도 파노라마에 단안 스테레오 영상이 적용되기도 하였다. 학습된 프라이어는 워프된 영상에서 매칭 일치(matching correspondences)를 도울 수 있다. 그러나, 실시간 학습 기반 방법은 모델 복잡성 때문에 아직 존재하지 않는다. 또한, 현재까지 딥 러닝에 사용할 수 있는 전방향 RGB-D 영상의 실제 데이터셋이 없다. 이러한 방법은 수작업으로 제작된 3D 모델과 3D 스캐닝의 합성 렌더링 영상에 대해 트레이닝되었다. 실제 영상과 렌더링된 영상 사이의 도메인 갭 때문에 이러한 모델은 종종 보이지 않는 실제 데이터로 차선의 성능을 나타낼 수 있다.

멀티뷰 어안 스테레오: 360도 RGB-D 영상을 캡처하기 위해 여러 어안 카메라가 구면 광원 카메라에 결합될 수 있다. 카메라의 개수는 4개에서 20개까지 다양하고, 카메라 수가 증가하면 컬러와 거리 영상의 품질이 크게 향상되지만 하드웨어 및 계산 비용이 빠르게 증가한다. 멀티뷰 어안 스테레오 영상을 결합할 때, 기술적 문제가 여전히 존재하여 이 설정의 실시간 성능을 방해한다. 첫째, 통합 전방향 영상 공간에서 거리 값의 재투영, 폐색 및 가시성을 고려하기 위해서는 완전한 360도 가이드 영상이 필요하다. 이 때, 360도 가이드 영상은 360도 밀집 거리 맵이 없으면 멀티뷰 입력에서 얻을 수 없다. 단순한 워프와 블렌딩 방법들이 거리 인식 없이 제안되었다. 이러한 기술들은 짧은 베이스라인에 맞게 설계되었기 때문에 오버랩핑 영역에서 디스패러티 값이 변경될 때 종종 스티칭(stitching) 아티팩트로 인해 어려움을 겪는다. 둘째, 어안렌즈 매칭의 기하학으로 인해 복수의 실제 매칭이 발생할 수 있다. 이는 계산 집약적 비용 집계를 고안하여 처리될 수 있다.

대조적으로, 본 발명은 전체 360도 각도를 실시간으로 커버하기 위해 최소 수의 어안 카메라를 사용하여 빌딩 비용(building cost)과 계산 요건을 가능한 낮게 유지한다.

고속 구면 스위핑 스테레오

하드웨어 설계: 본 발명은 도 1에 도시된 바와 같이 360도 RGB-D 영상, 즉 어안 렌즈가 있는 4대의 카메라가 사용될 수 있다. 각 어안 카메라는 220도 이상의 시야를 가질 수 있다. 한 쌍의 앞뒤 어안 카메라가 상단에 배치되고, 다른 한 쌍의 어안 카메라가 하단에 있지만, 수직 방향으로 배치되어 인접한 스테레오 쌍의 각 조합이 동일한 베이스라인을 가지도록 한다.

구면 기하학: 본 발명은 고전적인 쌍안 스테레오 모델을 기반으로 한다. 기준 카메라 c₀에 의해 캡처된 기준 프레임 I_c0의 각 픽셀은 극좌표의 각도 (θ, φ)에서 감지된 광선의 컬러를 나타낼 수 있다. 이는 극좌표의 점 (θ, φ, d)에 해당하며, 여기서, d는 거리를 의미한다. 이는 c₀의 공간에서 3D 위치 p로 이어질 수 있으며, 3D 위치 p는 아래 <수학식>과 같이 나타낼 수 있다.

다른 카메라 c₁이 기준 카메라 c₀에 대해 회전 R_c1과 위치 T_c1에 배치되는 것으로 가정한다. 카메라는 영상 I_c0과 I_c1을 캡처한다. c₁ 공간에서 위치 p는

이다.

를 p_c1의 정규화 벡터라 하면, I_c1에서의 픽셀 좌표는 아래 <수학식>과 같이 나타낼 수 있다.

카메라 변환 R_c1|T_c1을 가진 c₁에서의 픽셀 좌표는 기준 좌표계에서 거리 d의 각도 (θ, φ)의 픽셀 투영으로 표현될 수 있으며, 아래 <수학식>과 같이 나타낼 수 있다.

장면에서 Lambertian 표면을 가정하면 카메라 c₁ 영상의 픽셀 I_c1(θ_c1, φ_c1)은 기준 카메라의 픽셀 I_c0(θ, φ)과 동일하다. 다른 카메라의 영상의 픽셀은 동일한 방법으로 기준 좌표계로 표현할 수 있다.

구면 스윕(sweep) 볼륨: 표준 카메라 모델이 있는 멀티뷰 스테레오와 마찬가지로, 본 발명은 여러 거리 후보 d₀, ..., d_N-1에 대한 스윕 볼륨을 구축한다. 평면 거리 후보와 동형(homographies)을 따르는 I_c1에서 I_c0로 워핑하는 대신, 본 발명은 앞에서 설명한 매핑과 기준 프레임 또는 주어진 포인트 주위의 구면 거리 후보들을 사용할 수 있다.

각 후보에 대해 거리 후보가 올바르면 I_c0과 매칭할 수 있는 I_c1의 워프된 버전을 생성한다. 구체적으로, 본 발명은 도 3에 도시된 바와 같이, I의 모든 픽셀 좌표 (θ, φ)와 모든 거리 후보 d_i에 대하여, 해당하는 좌표를 찾는다. 그런 다음

과 같이 구면 스윕 볼륨 V의 값을 할당한다. 이 볼륨에서 올바른 거리 후보 d_k는

과 매칭하며, 이는 거리 추정을 위한 직접적인 큐(cue)를 제공한다. 매칭 품질은 그래디언트, census 변환 또는 특징 추출 등과 같은 영상 변환 후 광도 차이 또는 차이를 통해 평가될 수 있다. 강건한 성능을 위해, 최적의 깊이 후보를 선택할 때 비용 집계 또는 딥 정규화가 필요하다. 여러 개의 뷰는 동시에 사용될 수도 있다.

적응형 구면 매칭

*본 발명은 구면 스윕 볼륨에서 베이스라인을 따라 가능한 모든 오버래핑된 영역의 가능한 모든 조합에서 전체 깊이 후보를 평가할 수 있으며, 이는 계산을 통해 이루어질 수 있다. 실시간 성능을 달성하기 위해, 본 발명은 기준 카메라에 대하여 구면 스위핑 볼륨에서 검색 대응에 대한 지역 최고의 카메라 쌍을 제공하는 카메라 선택 방법을 이용할 수 있다.

본 발명은 기준 뷰의 각 픽셀에 대해 세 카메라(c₁, c₂, c₃) 중 최고의 카메라만 선택할 수 있다. 여러 카메라들이 기준 프레임의 픽셀을 커버할 수 있는 시야가 있는 경우 가장 높은 거리 판별력을 가지는 카메라를 선택할 수 있다. 이 속성은 구면 스윕 볼륨의 계층 간 차이를 최대화하고 어떤 후보가 가장 잘 매칭하는지를 더 명확하게 식별할 수 있는 것으로 설명할 수 있다.

기준 영상 I_c0에서 주어진 픽셀 위치 (θ, φ)에 대해 이를 정량화하기 위하여, 본 발명은 거리 후보 d₀ 및 d_N-1에 해당하는 볼륨의 첫 번째 및 마지막 계층 즉, 0과 N-1에 초점을 맞출 수 있다. p_ck ^<0>를 기준 좌표 (θ, φ, d_i)의 카메라 c_k 공간에서의 포인트라고 하면, 최고의 카메라 c_k는 이 두 거리 후보로부터 주어진 두 개의 3D 포인트 p_ck ^<0>와 p_ck ^<N-1> 사이에서 가장 큰 각도 변화를 보여주는 카메라일 수 있다.

구체적으로, p_ck ^<0>와 p_ck ^<N-1> 사이의 각도가 높을 경우, 스위핑 볼륨에 대해 선택된 카메라에서의 샘플링된 위치가 크게 변경되며, 이는 거리 추정에 적합하다. 본 발명은 이러한 고려사항에 기초하여 판별력 가중치를 정의할 수 있으며, 판별력 가중치는 아래 <수학식>과 같이 나타낼 수 있다.

여기서,

는 정규화된 벡터를 의미할 수 있다.

이 평가를 사용하여 아래 <수학식 1>과 같이 각 픽셀에 대한 최적의 카메라 c*를 선택할 수 있다.

[수학식 1]

도 4은 기준 프레임에서 주어진 광선 각도에 대한 카메라 선택 예와 픽셀 위치에 따라 카메라가 선택되는 맵에 대한 일 예시도를 나타낸 것으로 도 4a는 c₀의 광선이 c₁과 c₂에서 어떻게 재 투영되는지 평가하는 일 예시도를 나타낸 것이고, 도 4b는 c₀의 각 픽셀에 대해 최적의 거리 판별을 보여주는 카메라가 선택되는 일 예시도를 나타낸 것이다.

도 4에 도시된 바와 같이, 이 픽셀의 대하여 매칭에 가장 적합한 카메라는 주어진 거리에 대한 최대 변위를 보여주는 카메라이다. 작은 거리 변화가 높은 변위로 이어지는 경우 거리 판별력이 향상되며, 도 4a에 도시된 바와 같이 c₀의 특정 광선에 대해 두 쌍간의 베이스라인이 유사함에도 불구하고 c₁이 c₂보다 매칭하는데 더 좋은 카메라임을 알 수 있다.

효율적인 구면 비용 집계

본 발명은 이중 구면 모델을 사용하여 네 대의 카메라를 캘리브레이션하고, 두 개의 기준으로 두 개의 상반된 상단 카메라를 사용하여 220도 거리 추정을 수행할 수 있다. 각 기준의 각 픽셀에 대해 선택적 매칭을 사용하여 최상의 카메라를 선택할 수 있다. I_cs를 픽셀 (θ, φ)에서 선택한 카메라에서의 영상이라 하고 I_c0을 기준 프레임이라 하면, i번째 거리 후보의 매칭 비용은 아래 <수학식>과 같이 나타낼 수 있다.

여기서,

는 선택된 카메라에서 기준 카메라로의 구면 스위핑 볼륨을 의미할 수 있다. 그리고, 본 발명은 고속 필터링 방법을 사용하여 구면 비용 볼륨의 각 슬라이스를 정규화할 수 있다.

고속 스케일 간 양방향 필터링

밀집 거리 맵을 얻기 위하여 희소 거리를 집계하는 경우, 에지 인식 방식으로 비용을 평활화하는 많은 사용 가능한 방법이 있다. 가장 인상적인 기능을 보여주는 양방향 그리드 기반 방법은 3D 비용 볼륨에 적용되려면 여전히 계산 비용이 많이 들고 도메인 변환 후 처리에서도 종종 블록 아티팩트(blocky artifact)를 생성한다. 보다 하드웨어 친화적인 고속 양방향 솔버 버전이 고안되어 단일 깊이 맵에 대해 강력한 성능을 제공하였지만, 하드웨어에 더 구체적이고, 전체 비용 볼륨에 실시간으로 적용하기에는 여전히 계산 효율성이 떨어진다. 또 다른 인기 있는 에지 인식 필터링은 비용 볼륨 피라미드 또는 다중 스케일 비용 집계와 함께 사용되는 가이드 필터이다. O(n)의 복잡성을 최적화하면서도 병렬 환경에서 통합 영상을 계산할 때 컴퓨팅 오버헤드로 인해 GPU에서 고속 성능을 발휘할 수 없다. 본 발명은 GPU가 포함된 임베디드 머신에서 29fps로 2메가픽셀 실시간 RGB-D 영상을 달성하기 위해 병렬 컴퓨팅 환경을 위해 특별히 설계된 고속 스케일 사이 양방향 필터링 방법을 도입할 수 있다.

에지 보존 다운샘플링: 본 발명의 필터링의 첫 번째 단계는 블러링없이 입력 영상을 축소하여 에지 블리딩과 헤일로(edge bleeding and halos)를 방지하는 것이다. 이를 위해 본 발명은 데시메이션(decimation) 전 양방향 가중치를 사용하여 인접 픽셀을 필터링한다. 본 발명에서 I₀를 원본 영상으로 정의하고 I_l을 두 l배 다운샘플링한 후의 영상으로 정의하면, 양방향 가중치는 아래 <수학식 2>와 같이 나타낼 수 있다.

[수학식 2]

여기서, σ_I는 에지 보전 파라미터를 의미하고, (x, y)는 픽셀 좌표를 의미할 수 있다. 이 때, 다운셈플링 방식은 아래 <수학식 3>과 같이 나타낼 수 있다.

[수학식 3]

여기서,

는 정규화 상수를 의미할 수 있다. 피라미드에서

를 주목하고, 스케일 레벨 L의 개수를 정의할 수 있다.

에지 보존 업샘플링: 고해상도 영상을 가이드로 사용하는 기존 에지 보존 업샘플링 방법과 달리, 본 발명의 방법은 다운샘플링과 풀 해상도 영상 사이의 양방향 가중치를 사용하여 최적의 복잡성을 달성할 수 있다. 이 때, 본 발명은 의도적으로 효율성에 초점을 맞추기 위해 가우스 공간 가중치를 사용하지 않으며, 부분 상수 출력을 사용할 수 있다.

본 발명은 양방향 가중치 외에도 현재 스케일 지수의 가우스 함수를 사용하여 스케일을 블렌드한다. 각 스케일에 대해

로 정의할 수 있으며, 여기서 σ_s는 평활도 파라미터를 의미할 수 있다. 더 높은 해상도 스케일의 가중치는 자연적으로

일 수 있다.

도 5는 멀티스케일 필터링 프로세스에 대한 일 예시도를 나타낸 것으로, 스케일 간 양방향 필터링에 대한 일 예시도를 나타낸 것이다.

도 5에 도시된 바와 같이, 멀티스케일 필터링 프로세스는 먼저 가이드 센터 픽셀과 인접 픽셀 사이의 양방향 가중치를 사용하여 에지 보존으로 다운 샘플링하여 희소 비용을 집계한다. 그런 다음 최소 픽셀 서포트를 사용하여 업 샘플링합니다. 본 발명은 더 낮은 스케일로 집계하기 위해 가이드 센터과 픽셀 사이에서 계산된 가이드 가중치를 사용할 수 있다.

비용 볼륨 필터링 후, 최적의 거리는 승자독식을 통해 결정되고 2차 피팅을 통해 서브 픽셀 정확도가 달성될 수 있다.

필터 커널: 다운샘플링/업샘플링 프로세스 후에 얻은 최종 필터 커널은 중심에서 멀어질 때 σ_s에 의해 구동되는 매끄러운 감소를 생성하며 도 6에 도시된 바와 같이 에지 바운더리를 교차하지 않는다. 알고리즘의 각 단계가 최소 픽셀 서포트만 수행하지만, 양방향 다운샘플링/업샘플링 필터링은 전체 영상을 포함하는 커널을 생성한다. 양방향 가중치를 통한 가이드(guidance)는 주어진 픽셀에서 멀리 떨어진 더 높은 차수의 지수 구성이다. 이렇게 하면 공간 픽셀 간 가이드가 향상된다. 본 발명에서 σ_s는 25로 설정되고, σ_I는 10으로 설정될 수 있다.

복잡성: 연산 수는 1/4 비율의 기하학 영상 시리즈의 합을 따른다. 따라서 점근적 복잡성(asymptotic complexity)은 픽셀 수가 n개인 O(n)이므로 알고리즘이 최적으로 된다. 레벨 수는 가장 낮은 레벨 L의 크기가 1픽셀보다 커야 한다. 따라서 본 발명은 최대 ln₄(n)회까지 샘플을 감소시킨다. 다운샘플링과 업샘플링은 O(ln(n)) 레벨로 순차적으로 실행되어야 하지만 각 다운샘플링 및 업샘플링 단계는 완전히 병렬화될 수 있다.

거리 인식 파노라마 스티칭

본 발명에서의 거리 추정 알고리즘은 도 7에 도시된 바와 같이 에지 보존을 위해 기준 프레임을 사용하고 복수의 실제 매칭을 피할 수 있다. 이 접근 방식은 정확도가 향상되지만 어안 영상을 병합하기 위한 추가 단계가 필요하다. 본 발명은 먼저 원하는 위치에서 거리 맵을 합성한 다음 3D 좌표를 따라 영상을 투영하고 마지막으로 블렌딩 프로세스를 통해 영상을 병합하여 가장 적게 변위된 픽셀에 더 많은 가중치를 부여하는 효율적인 방법을 제시한다.

새로운 뷰 합성: 첫 번째 단계는 두 개의 기준에 공통적인 밀집 거리 맵을 선택한 위치로 재투영하는 것이다. 이를 위해 각 픽셀 (θ, φ)에 해당하는 위치를 찾아 선택한 위치로 변환하고 재투영된 영상에서 좌표 (θ_r, φ_r)를 찾는다. 여기서, 재투영된 영상에서 좌표 (θ_r, φ_r)는 아래 <수학식>을 통해 획득될 수 있다.

여기서, T^*는 카메라와 관련하여 원하는 위치를 의미하고,

는 추정 거리 맵을 의미할 수 있다. 포워드 워핑 동작은 필연적으로 원래 거리 앱에서 동일한 타겟 픽셀로 매핑되는 여러 픽셀로 이어진다. 즉, 여러 커플들 (θ, φ)이 동일한 좌표 (θ_r, φ_r)에 투영될 수 있다. 이 모호성은 최종 값을 얻기 위해 스플래팅(splatting)을 요구한다.

본 발명은 폐색 인식 방식으로 가능한 픽셀을 병합할 수 있다. 특히 최소 거리 스플래팅 즉, z-버퍼링을 사용할 수 있으며, 재투영된 거리는 아래 <수학식 4>와 같이 계산될 수 있다.

[수학식 4]

방향 인페인팅: 타겟의 일부 픽셀은 원래 거리 맵에 여러 개의 상대방(counterparts)이 있을 수 있지만, 일부 픽셀은 폐색으로 인해 전혀 없을 수도 있다. 누락된 영역은 전경 객체에 의해 가려질 수 있기 때문에 배경을 사용하여 인페인팅할 수 있다. 이를 위해 먼저 배경과 전경 방향을 결정하는데, 이는 거리에 대한 투영의 미분으로 주어질 수 있다. 실제로, 투영된 맵의 폐색 구멍은 서로 다른 거리를 가진 영역이 동일한 위치에 재투영되지 않아 발생한다. 따라서, 인페인팅 방향은 아래 <수학식>과 같이 정의될 수 있다.

이 인페인팅 방향은 반복적으로 사용할 수 있는 방향 확산 커널로 이어진다. 본 발명은 인페인팅 방향과의 유사성에 따라 각 픽셀 주변의 커널 가중치를 결정한다. 각 픽셀 주변의 커널 가중치는 아래 <수학식>과 같이 나타낼 수 있다.

여기서, +는 포지티브 부분을 의미하고,

는 8개의 인접 픽셀의 인덱스를 의미할 수 있다. 내적(dot product)은 정렬된 벡터에 대해 높은 가중치를 부여하므로 이 방법은 도 8에 도시된 바와 같이, 인페인팅 방향으로 정렬된 픽셀 값을 사용하는 확산 커널을 자연스럽게 생성할 수 있다. 즉, 도 8a의 카메라 위치에서 깊이는 도 8b와 같이 깊이 인식 방식으로 원하는 뷰에 투영되고, 폐색은 투영된 거리 맵에 구멍을 생성하므로 폐색 방향에 따라 도 8c와 같이 인페인팅 커널을 계산한다. 마지막으로, 계산한 인페인팅 커널을 거리 맵에 적용함으로써, 도 8d와 같이 배경 깊이 값을 사용하여 구멍을 제거할 수 있다.

일단 거리가 주어진 뷰 포인트로 이동하면, 거리 맵에 주어진 3D 좌표를 따라 컬러 픽셀을 투영하여 RGB 영상을 다른 위치에 제공한다.

블렌딩: 컬러 영상을 공통 위치에 투영한 후 표준 등장방형도법 투영에 저장된 완전한 파노라마를 만들기 위해 220도 영상 두 개를 함께 병합해야 한다. 이를 위해, 본 발명은 가능한 폐색량에 해당하는 블렌딩 가중치를 제공한다.

가 큰 픽셀에서, 거리 변화는 영상을 크게 수정하여 폐색 부위가 더 넓은 폐색 영역, 더 많은 거리 관련 왜곡과 잠재적인 아티팩트를 유발할 수 있다. 따라서 이 벡터의 길이에 대해 가우시안(Gaussian)을 따르는 블렌딩 가중치를 정의할 수 있으며, 이는 아래 <수학식>과 같이 나타낼 수 있다.

b_ck(θ, φ)=0을 설정하여 카메라로 캡처할 수 있는 픽셀을 처리하고, 거리 범위에 대한 유한 차이를 통해 미분을 추정할 수 있다.

이와 같이, 본 발명의 실시예들에 따른 방법은 등장방형도법 또는 위도 경도 투영을 사용하여 추가적인 구면 교정 없이 멀티뷰 어안 영상에서 직접 실행할 수 있는 효율적인 실시간 구면 스위핑(sphere-sweeping) 스테레오 기술을 제공할 수 있다.

도 9는 본 발명의 일 실시예에 따른 실시간 전방위 스테레오 매칭 시스템에 대한 구성을 나타낸 것으로, 도 1 내지 도 8의 방법을 수행하는 시스템에 대한 개념적인 구성을 나타낸 것이다.

도 9를 참조하면, 본 발명의 일 실시예에 따른 실시간 전방위 스테레오 매칭 시스템(900)은 첫번째 쌍의 어안 카메라들(910), 두번째 쌍의 어안 카메라들(920), 수신부(930), 선택부(940), 생성부(950) 및 매칭부(960)를 포함한다.

첫번째 쌍의 어안 카메라들(910)은 서로 반대 방향을 촬영하게 배치된 제1 어안 카메라(911)와 제2 어안 카메라(912)를 포함한다.

두번째 쌍의 어안 카메라들(920)은 서로 반대 방향을 촬영하게 배치된 제3 어안 카메라(921)와 제4 어안 카메라(922)를 포함한다.

여기서, 첫번째 쌍의 어안 카메라들과 두번째 쌍의 어안 카메라들은 서로 다른 높이를 갖도록 수직으로 배치될 수 있다. 그리고 거리 맵을 생성하여 3D 좌표를 따라 어안 영상을 투영할 수 있다.

수신부(930)는 제1 어안 카메라 내지 제4 어안 카메라를 통해 촬영되는 피사체에 대한 어안 영상들을 수신한다.

선택부(940)는 미리 설정된 거리 후보들에 대한 스윕 볼륨(sweep volume)을 이용하여 수신된 어안 영상들 중에서 미리 설정된 기준 어안 영상의 각 픽셀에 대해, 나머지 어안 카메라들 중 어느 하나의 어안 카메라를 선택한다.

여기서, 선택부(940)는 기준 어안 영상의 각 픽셀에 대해, 가장 높은 거리 판별력을 가지는 어안 카메라를 어느 하나의 어안 카메라로 선택할 수 있다.

여기서, 선택부(940)는 기준 어안 영상의 각 픽셀에 대해, 거리 후보들 중 첫번째 거리 후보와 마지막 거리 후보 간 가장 큰 각도 변화를 갖는 어안 카메라를 어느 하나의 어안 카메라로 선택할 수 있다.

생성부(950)는 기준 어안 영상과 선택된 어느 하나의 어안 카메라의 어안 영상을 이용하여 모든 픽셀에 대한 거리 맵을 생성한다.

여기서, 생성부(950)는 기준 어안 영상과 선택된 어느 하나의 어안 카메라의 어안 영상에 대한 양방향(bilateral) 비용 볼륨 필터링을 이용하여 모든 픽셀에 대한 거리 맵을 생성할 수 있다.

나아가, 생성부(950)는 생성된 거리 맵과 어안 영상들의 픽셀 값을 이용하여 360도 컬러 영상을 실시간으로 생성할 수 있다.

이 때, 생성부(950)는 360도 컬러 영상에서 누락된 영역을 360도 컬러 영상의 배경을 이용하여 인페인팅함으로써, 최종 360도 컬러 영상을 실시간으로 생성할 수 있다. 구체적으로, 360도 컬러 영상을 실시간으로 생성하는 과정은 360도 컬러 영상에서 전경 방향과 배경 방향을 결정함으로써, 인페인팅 방향을 결정하고, 결정된 인페인팅 방향과 누락된 영역의 폐색 방향에 따라 인페인팅 커널을 계산하며, 계산된 인페인팅 커널을 거리 맵에 적용함으로써, 360도 컬러 영상의 배경에 대한 깊이 값을 이용하여 누락된 영역을 인페인팅할 수 있다.

매칭부(960)는 생성된 거리 맵을 이용하여 수신된 어안 영상들에 대한 실시간 스테레오 매칭을 수행한다.

비록, 도 9의 시스템에서 그 설명이 생략되었더라도, 도 9의 시스템을 구성은 각 구성은 도 1 내지 도 8에서 설명한 모든 내용을 포함할 수 있으며, 이는 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (19)

1. 서로 반대 방향을 촬영하게 배치된 제1 어안 카메라와 제2 어안 카메라를 포함하는 첫번째 쌍의 어안 카메라들; 및
   서로 반대 방향을 촬영하게 배치된 제3 어안 카메라와 제4 어안 카메라를 포함하는 두번째 쌍의 어안 카메라들
   을 포함하고,
   상기 첫번째 쌍의 어안 카메라들과 상기 두번째 쌍의 어안 카메라들은 서로 다른 높이를 갖도록 수직으로 배치되며, 거리 맵을 생성하여 3D 좌표를 따라 어안 영상을 투영하는 실시간 전방위 스테레오 매칭 시스템.
   
2. 제1항에 있어서,
   상기 첫번째 상의 어안 카메라들과 상기 두번째 쌍의 어안 카메라들은
   두 쌍의 높이가 다르게 배열하여 상기 제1 어안 카메라 내지 상기 제4 어안 카메라의 부분 오버랩을 만드는 것을 특징으로 하는 실시간 전방위 스테레오 매칭 시스템.
   
3. 제1항에 있어서,
   상기 제1 어안 카메라 내지 상기 제4 어안 카메라를 통해 촬영되는 피사체에 대한 어안 영상들을 수신하는 수신부;
   미리 설정된 거리 후보들에 대한 스윕 볼륨(sweep volume)을 이용하여 상기 수신된 어안 영상들 중에서 미리 설정된 기준 어안 영상의 각 픽셀에 대해, 나머지 어안 카메라들 중 어느 하나의 어안 카메라를 선택하는 선택부;
   상기 기준 어안 영상과 상기 선택된 어느 하나의 어안 카메라의 어안 영상을 이용하여 모든 픽셀에 대한 거리 맵을 생성하는 생성부; 및
   상기 생성된 거리 맵을 이용하여 상기 수신된 어안 영상들에 대한 실시간 스테레오 매칭을 수행하는 매칭부
   를 더 포함하는 실시간 전방위 스테레오 매칭 시스템.
   
4. 제3항에 있어서,
   상기 선택부는
   상기 기준 어안 영상의 각 픽셀에 대해, 가장 높은 거리 판별력을 가지는 어안 카메라를 상기 어느 하나의 어안 카메라로 선택하는 것을 특징으로 하는 실시간 전방위 스테레오 매칭 시스템.
   
5. 제3항에 있어서,
   상기 선택부는
   상기 기준 어안 영상의 각 픽셀에 대해, 상기 거리 후보들 중 첫번째 거리 후보와 마지막 거리 후보 간 가장 큰 각도 변화를 갖는 어안 카메라를 상기 어느 하나의 어안 카메라로 선택하는 것을 특징으로 하는 실시간 전방위 스테레오 매칭 시스템.
   
6. 제3항에 있어서,
   상기 생성부는
   상기 기준 어안 영상과 상기 선택된 어느 하나의 어안 카메라의 어안 영상에 대한 양방향(bilateral) 비용 볼륨 필터링을 이용하여 상기 모든 픽셀에 대한 거리 맵을 생성하는 것을 특징으로 하는 실시간 전방위 스테레오 매칭 시스템.
   
7. 제3항에 있어서,
   상기 생성부는
   상기 생성된 거리 맵과 상기 어안 영상들의 픽셀 값을 이용하여 360도 컬러 영상을 실시간으로 생성하는 것을 특징으로 하는 실시간 전방위 스테레오 매칭 시스템.
   
8. 제7항에 있어서,
   상기 생성부는
   상기 360도 컬러 영상에서 누락된 영역을 상기 360도 컬러 영상의 배경을 이용하여 인페인팅함으로써, 최종 360도 컬러 영상을 실시간으로 생성하는 것을 특징으로 하는 실시간 전방위 스테레오 매칭 시스템.
   
9. 제8항에 있어서,
   상기 생성부는
   상기 360도 컬러 영상에서 전경 방향과 배경 방향을 결정함으로써, 인페인팅 방향을 결정하고, 상기 결정된 인페인팅 방향과 상기 누락된 영역의 폐색 방향에 따라 인페인팅 커널을 계산하며, 상기 계산된 인페인팅 커널을 상기 거리 맵에 적용함으로써, 상기 360도 컬러 영상의 배경에 대한 깊이 값을 이용하여 상기 누락된 영역을 인페인팅하는 것을 특징으로 하는 실시간 전방위 스테레오 매칭 시스템.
   
10. 서로 반대 방향을 촬영하게 배치된 제1 어안 카메라와 제2 어안 카메라를 포함하는 첫번째 쌍의 어안 카메라들 및 서로 반대 방향을 촬영하게 배치된 제3 어안 카메라와 제4 어안 카메라를 포함하는 두번째 쌍의 어안 카메라들을 포함하며, 상기 첫번째 쌍의 어안 카메라들과 상기 두번째 쌍의 어안 카메라들이 서로 다른 높이를 갖도록 수직으로 배치되는 카메라 시스템에서의 실시간 전방위 스테레오 매칭 방법에 있어서,
    상기 제1 어안 카메라 내지 상기 제4 어안 카메라를 통해 촬영되는 피사체에 대한 어안 영상들을 수신하는 단계;
    미리 설정된 거리 후보들에 대한 스윕 볼륨(sweep volume)을 이용하여 상기 수신된 어안 영상들 중에서 미리 설정된 기준 어안 영상의 각 픽셀에 대해, 나머지 어안 카메라들 중 어느 하나의 어안 카메라를 선택하는 단계;
    상기 기준 어안 영상과 상기 선택된 어느 하나의 어안 카메라의 어안 영상을 이용하여 모든 픽셀에 대한 거리 맵을 생성하는 단계; 및
    상기 생성된 거리 맵을 이용하여 상기 수신된 어안 영상들에 대한 실시간 스테레오 매칭을 수행하는 단계
    를 포함하는 실시간 전방위 스테레오 매칭 방법.
    
11. 제10항에 있어서,
    상기 어느 하나의 어안 카메라를 선택하는 단계는
    상기 기준 어안 영상의 각 픽셀에 대해, 가장 높은 거리 판별력을 가지는 어안 카메라를 상기 어느 하나의 어안 카메라로 선택하는 것을 특징으로 하는 실시간 전방위 스테레오 매칭 방법.
    
12. 제10항에 있어서,
    상기 어느 하나의 어안 카메라를 선택하는 단계는
    상기 기준 어안 영상의 각 픽셀에 대해, 상기 거리 후보들 중 첫번째 거리 후보와 마지막 거리 후보 간 가장 큰 각도 변화를 갖는 어안 카메라를 상기 어느 하나의 어안 카메라로 선택하는 것을 특징으로 하는 실시간 전방위 스테레오 매칭 방법.
    
13. 제10항에 있어서,
    상기 모든 픽셀에 대한 거리 맵을 생성하는 단계는
    상기 기준 어안 영상과 상기 선택된 어느 하나의 어안 카메라의 어안 영상에 대한 양방향(bilateral) 비용 볼륨 필터링을 이용하여 상기 모든 픽셀에 대한 거리 맵을 생성하는 것을 특징으로 하는 실시간 전방위 스테레오 매칭 방법.
    
14. 제10항에 있어서,
    상기 생성된 거리 맵과 상기 어안 영상들의 픽셀 값을 이용하여 360도 컬러 영상을 실시간으로 생성하는 단계
    를 더 포함하는 것을 특징으로 하는 실시간 전방위 스테레오 매칭 방법.
    
15. 제14항에 있어서,
    상기 360도 컬러 영상을 실시간으로 생성하는 단계는
    상기 360도 컬러 영상에서 누락된 영역을 상기 360도 컬러 영상의 배경을 이용하여 인페인팅함으로써, 최종 360도 컬러 영상을 실시간으로 생성하는 것을 특징으로 하는 실시간 전방위 스테레오 매칭 방법.
    
16. 제15항에 있어서,
    상기 360도 컬러 영상을 실시간으로 생성하는 단계는
    상기 360도 컬러 영상에서 전경 방향과 배경 방향을 결정함으로써, 인페인팅 방향을 결정하고, 상기 결정된 인페인팅 방향과 상기 누락된 영역의 폐색 방향에 따라 인페인팅 커널을 계산하며, 상기 계산된 인페인팅 커널을 상기 거리 맵에 적용함으로써, 상기 360도 컬러 영상의 배경에 대한 깊이 값을 이용하여 상기 누락된 영역을 인페인팅하는 것을 특징으로 하는 실시간 전방위 스테레오 매칭 방법.
    
17. 서로 반대 방향을 촬영하게 배치된 제1 어안 카메라와 제2 어안 카메라를 포함하는 첫번째 쌍의 어안 카메라들 및 서로 반대 방향을 촬영하게 배치된 제3 어안 카메라와 제4 어안 카메라를 포함하는 두번째 쌍의 어안 카메라들을 포함하는 카메라 시스템에서의 실시간 전방위 스테레오 매칭 방법에 있어서,
    상기 제1 어안 카메라 내지 상기 제4 어안 카메라를 통해 촬영되는 피사체에 대한 어안 영상들을 수신하는 단계;
    미리 설정된 거리 후보들에 대한 스윕 볼륨(sweep volume)을 이용하여 상기 수신된 어안 영상들 중에서 미리 설정된 기준 어안 영상의 각 픽셀에 대해, 나머지 어안 카메라들 중 어느 하나의 어안 카메라를 선택하는 단계;
    상기 기준 어안 영상과 상기 선택된 어느 하나의 어안 카메라의 어안 영상에 대한 양방향(bilateral) 비용 볼륨 필터링을 이용하여 모든 픽셀에 대한 거리 맵을 생성하는 단계; 및
    상기 생성된 거리 맵을 이용하여 상기 수신된 어안 영상들에 대한 실시간 스테레오 매칭을 수행하는 단계
    를 포함하는 실시간 전방위 스테레오 매칭 방법.
    
18. 제17항에 있어서,
    상기 어느 하나의 어안 카메라를 선택하는 단계는
    상기 기준 어안 영상의 각 픽셀에 대해, 가장 높은 거리 판별력을 가지는 어안 카메라를 상기 어느 하나의 어안 카메라로 선택하는 것을 특징으로 하는 실시간 전방위 스테레오 매칭 방법.
    
19. 제17항에 있어서,
    상기 어느 하나의 어안 카메라를 선택하는 단계는
    상기 기준 어안 영상의 각 픽셀에 대해, 상기 거리 후보들 중 첫번째 거리 후보와 마지막 거리 후보 간 가장 큰 각도 변화를 갖는 어안 카메라를 상기 어느 하나의 어안 카메라로 선택하는 것을 특징으로 하는 실시간 전방위 스테레오 매칭 방법.
    

Images