KR102373572B1 - 서라운드 뷰 모니터링 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 서라운드 뷰 모니터링 시스템 및 그 방법에 관한 것이다. 본 발명에 따른 서라운드 뷰 모니터링 시스템은, 차량의 전후좌우에 각각 설치되어 상기 차량의 주변을 단위촬영 이미지로 촬영하는 복수 개의 카메라와, 차량의 지붕에 설치되어 상기 차량의 주변을 360도 서라운드 이미지로 촬영하는 전방향성 비전 시스템과, 스테레오 비전 방식으로 상기 차량의 전후좌우에 설치된 각각의 카메라가 촬영한 단위촬영 이미지와 상기 전방향성 비전 시스템이 촬영한 360도 서라운드 이미지에 기초하여 깊이 맵을 생성하는 깊이 맵 생성부와, 상기 깊이 맵을 3D 포인트 클라우드로 출력하는 서라운드 뷰 이미지 출력부를 포함한다.

Description

서라운드 뷰 모니터링 시스템 및 그 방법{SURROUND VIEW MONITORING SYSTEM AND METHOD THEREOF}

본 발명은 서라운드 뷰 모니터링(Surround View Monitoring; SVM) 기술에 관한 것으로서, 특히 심리스(seamless) 서라운드 뷰 이미지를 제공하는 서라운드 뷰 모니터링 시스템 및 그 방법에 관한 것이다.

최근 다수의 차량에 서라운드 뷰 모니터링(Surround View Monitoring; SVM) 시스템이 도입되고 있다. SVM 시스템은 복수의 카메라를 차량에 설치하여 차량의 전후좌우를 촬영한 후 이들 이미지를 합성하여 하나의 단일 이미지로 표시하는 시스템이다. SVM 시스템을 통해 운전자는 차량 주변을 하늘에서 내려다보는 시점으로 주차선이나 사각 영역, 장애물 등을 포함한 차량 주변 상황을 실내 모니터를 통해 쉽게 확인할 수 있다.

도 1에 도시된 바와 같이 SVM 시스템은 통상 4대의 카메라를 이용한다. 차량의 전방, 후방, 그리고 좌우 양측에 180도 이상 화각의 초광각 카메라가 1대씩 장착된다. SVM 시스템은 이러한 4대의 카메라 각각으로부터 단위촬영 이미지를 제공받고 이들 단위촬영 이미지를 차량의 코너 부위에서 스티칭하여 도 2에 도시된 것과 같은 차량의 서라운드 뷰 이미지를 생성한다.

그런데 도 2에 도시된 바와 같이 카메라의 설치 위치나 방향, 특성의 차이로 인해 각 카메라의 단위촬영 이미지 간에는 부정합이 발생할 수 있고 이로 인해 차량의 서라운드 뷰 이미지는 4개의 코너에서 단위촬영 이미지를 스티칭한 이음매(seam)가 보이게 된다.

이러한 이음매를 보이지 않게 하기 위하여 차량의 생산공정 단계에서 바닥의 표준 패턴을 이용하여 SVM 공장 캘리브레이션을 수행하게 된다. 그러나 이러한 공장 캘리브레이션을 수행하는 때와 실제 동작 환경은 상이하고, 차량 출고 후 발생하는 사건(예컨대, 부품 수리, 사이드 미러 조작 등)으로 인해 여전히 서라운드 뷰 이미지에 이음매가 보이는 현상이 일어날 수 있다.

이러한 문제점을 해결하기 위해 종래기술1(대한민국 등록특허공보 제10-1909391호, "서라운드 뷰 모니터링 시스템", 2018.10.17. 공고)은 색상 정보를 포함하는 체크 패턴을 이용하여 카메라의 공차를 보정하는 기술을 제시하고 있다.

또한 종래기술2(대한민국 등록특허공보 제10-1989370호, "차선인식 기반의 SVM 다이나믹 오토 캘리브레이션 방법", 2019.6.14. 공고)는 차량 주행 중 차선인식 기술을 활용하여 SVM 카메라 설정을 자동 캘리브레이션하여 부정합을 맞추는 기술을 제시하고 있다.

그러나 이러한 종래기술들에 의하더라도 여전히 어느 상황에서든 이음매가 보이지 않는 심리스 서라운드 뷰 이미지를 제공하지는 못하는 실정이다.

본 발명은 상술한 종래기술의 문제점을 해결하고자 제안된 것이다.

따라서 본 발명은 어느 상황에서든 이음매가 보이지 않는 심리스 서라운드 뷰 이미지를 제공할 수 있는 기술을 제공할 것을 그 목적으로 한다.

종래의 SVM 시스템들은 공통적으로 차량의 코너 부위에서 단위촬영 이미지들을 스티칭하고 그 다음 알파블렌딩을 사용하는 방식을 취하는데, 본 발명은 단위촬영 이미지들을 스티칭하지 않고도 완전한 3D 서라운드 뷰 이미지를 제공할 수 있는 새로운 기술을 제시하고자 한다.

이에 더하여 본 발명은 서라운드 뷰 이미지를 LIDAR와 유사한 정도의 3D 포인트 클라우드(3D point cloud)로 생성할 수 있는 SVM 시스템을 제공할 것을 목적으로 한다.

상술한 기술적 과제를 해결하기 위하여 본 발명의 일 태양에 따른 서라운드 뷰 모니터링 시스템은, 차량의 전후좌우에 각각 설치되어 상기 차량의 주변을 단위촬영 이미지로 촬영하는 복수 개의 카메라, 차량의 지붕에 설치되어 상기 차량의 주변을 360도 서라운드 이미지로 촬영하는 전방향성 비전 시스템, 스테레오 비전 방식으로 상기 차량의 전후좌우에 설치된 각각의 카메라가 촬영한 단위촬영 이미지와 상기 전방향성 비전 시스템이 촬영한 360도 서라운드 이미지에 기초하여 깊이 맵을 생성하는 깊이 맵 생성부, 및 상기 깊이 맵을 3D 포인트 클라우드로 출력하는 서라운드 뷰 이미지 출력부를 포함할 수 있다.

여기서, 상기 전방향성 비전 시스템은, 포물선형 미러, 및 상기 포물선형 미러의 하방에 배열되어 상기 포물선형 미러로부터 반사된 이미지를 촬영하는 카메라를 포함할 수 있다.

또한, 상기 서라운드 뷰 모니터링 시스템은 차량의 전후좌우에 설치된 인접한 한 쌍의 카메라들 사이에 배치되어 외부를 향해 일 패턴을 투영하는 IR 프로젝터를 더 포함할 수 있다.

또한 상기 서라운드 뷰 모니터링 시스템은 상기 단위촬영 이미지와 상기 360도 서라운드 이미지로부터 노이즈를 제거하기 위해 딥러닝 구조를 더 포함할 수 있다.

본 발명의 다른 태양에 따른 서라운드 뷰 모니터링 방법은, 차량의 전후좌우에 각각 설치된 복수 개의 카메라에 의해 상기 차량의 주변을 단위촬영 이미지로 촬영하는 단계, 차량의 지붕에 설치된 전방향성 비전 시스템에 의해 상기 차량의 주변을 360도 서라운드 이미지로 촬영하는 단계, 스테레오 비전 방식으로 상기 차량의 전후좌우에 설치된 각각의 카메라가 촬영한 단위촬영 이미지와 상기 전방향성 비전 시스템이 촬영한 360도 서라운드 이미지에 기초하여 깊이 맵을 생성하는 단계, 및 상기 깊이 맵을 서라운드 뷰 이미지의 3D 포인트 클라우드로 출력하는 단계를 포함할 수 있다.

아울러, 상기 서라운드 뷰 모니터링 방법은, 상기 복수 개의 카메라에 의해 상기 차량의 주변을 단위촬영 이미지로 촬영하는 단계 및 상기 전방향성 비전 시스템에 의해 상기 차량의 주변을 360도 서라운드 이미지로 촬영하는 단계에서, 인접한 한 쌍의 카메라들 사이에 배치된 IR 프로젝터에 의해 외부를 향해 일 패턴을 투영하는 단계를 더 수행할 수 있다.

아울러, 상기 서라운드 뷰 모니터링 방법은 상기 깊이 맵 생성 단계 이전에, 딥러닝 구조에 의해 상기 단위촬영 이미지와 상기 360도 서라운드 이미지로부터 노이즈를 제거하는 단계를 더 포함할 수 있다.

본 발명에 따르면 다음과 같은 효과가 있다.

첫째, 본 발명은 전방향성 비전 시스템에 의해 촬영된 360도 서라운드 이미지를 이용함으로써 종전처럼 차량의 전후좌우에 배치된 카메라들의 단위촬영 이미지들을 스티칭하지 않고도 완전한 3D 서라운드 뷰 이미지를 제공할 수 있다.

둘째, 단위촬영 이미지들을 스티칭할 필요가 없기 때문에 본 발명의 SVM 시스템에 의해 출력되는 서라운드 뷰 이미지는 이음매가 보이지 않는 효과가 있다.

셋째, 본 발명은 한 쌍의 카메라들 사이에 IR 프로젝터를 배치하여 특정 패턴을 투영함으로써 깊이를 더 정확히 예측할 수 있고, 이에 의해 더 높은 정확도로 서라운드 뷰 이미지의 3D 포인트 클라우드를 생성할 수 있다.

넷째, 본 발명은 차량의 지붕에 전방향성 비전 시스템을 설치함으로써 값비싼 LIDAR를 사용하지 않고도 LIDAR와 유사한 정도의 완전한(full) 3D 포인트 클라우드를 제공할 수 있다.

상술한 효과들 외에도 이하의 설명에 따른 본 발명의 구성으로부터 도출되는 효과들이 존재할 수 있다.

도 1은 SVM 시스템에서의 카메라 배치 예를 보여준다.
도 2는 종래 시스템을 이용하여 영상처리된 서라운드 뷰 이미지를 예시한다.
도 3은 본 발명의 일 실시예에 따른 SVM 시스템을 개략적으로 보여준다.
도 4는 도 3에 예시된 SVM 시스템에서 전방향성 비전 시스템이 이미지를 촬영하는 방식을 예시적으로 보여준다.
도 5는 본 발명의 일 실시예에 따른 SVM 시스템의 블록도이다.
도 6은 본 발명의 일 실시예에 따른 SVM 시스템에서 스테레오 방식으로 물체의 거리를 추정하는 방법을 보여준다.
도 7은 본 발명의 일 실시예에 따른 SVM 방법을 보여주는 흐름도이다.

이하 첨부 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 이하에서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.

또한, 본 명세서 및 청구범위에 사용된 용어는 사전적인 의미로 한정 해석되어서는 아니되며, 발명자는 자신의 발명을 최선의 방법으로 설명하기 위해 용어의 개념을 적절히 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합되는 의미와 개념으로 해석되어야 한다.

따라서, 본 명세서에 기재된 실시예 및 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 표현하는 것은 아니므로, 본 출원 시점에 있어 이를 대체할 수 있는 다양한 균등물과 변형예들이 존재할 수 있음을 이해하여야 한다.

본 발명의 바람직한 실시예에 대하여 구체적으로 설명하되, 이미 주어진 기술적 부분에 대해서는 설명의 간결함을 위해 생략하거나 압축하기로 한다.

도 3은 본 발명의 일 실시예에 따른 SVM 시스템을 개략적으로 보여주며, 도 5는 본 발명의 일 실시예에 따른 SVM 시스템의 각 구성요소를 블록도로 보여준다.

본 발명의 일 실시예에 따른 SVM 시스템(1000)은 차량의 전후좌우에 각각 설치된 복수 개의 카메라(100a, 100b, 100c, 100d)를 포함한다. 도 3은 4대의 카메라(100a, 100b, 100c, 100d)를 예시한다. 각 카메라(100a, 100b, 100c, 100d)는 각 카메라의 렌즈가 향하는 방향으로 차량의 주변 이미지를 촬영한다. 이하에서는 각 카메라가 촬영한 이미지를 '단위촬영 이미지'라 일컫는다.

여기서, 카메라(100a, 100b, 100c, 100d)는 180도의 화각을 갖는 카메라인 것이 바람직하고, 밝은 환경과 어두운 환경, 또는 낮과 밤 모두의 경우에 동작할 수 있도록 그리고 후술할 IR 프로젝터와 연동하여 동작하도록 IR 카메라인 것이 특히 바람직하다. 만약 색상 정보까지 포착하기를 원한다면 RGB-IR 카메라를 사용할 수 있다. 그러나 카메라의 종류가 이에 제한되는 것은 아니다.

SVM 시스템(1000)은 차량의 지붕에 설치된 전방향성 비전 시스템(500)을 추가로 포함한다. 전방향성 비전 시스템(500)은 차량의 주변을 360도 서라운드 이미지로 촬영할 수 있다.

도 4의 (a) 및 (b)에 도시된 바와 같이, 전방향성 비전 시스템(500)은 포물선형 미러(510)와 미러(510)의 하방에 배열된 카메라(520)를 포함할 수 있다. 여기서, 미러(510)의 중심과 카메라(520)의 중심은 하나의 수직선 상에 오도록 일치하여 배치될 수 있다. 카메라(520)는 미러(510)로부터 반사된 이미지를 촬영할 수 있다.

카메라(520)는 카메라(100a, 100b, 100c, 100d)와 마찬가지로 IR 카메라인 것이 바람직하며, 이 경우 RGB-IR 카메라를 사용하게 되면 색상 표현까지 가능해진다. 그러나 카메라의 종류가 이에 제한되는 것은 아니다.

도 4의 (a)에 도시된 바와 같이, 카메라(520)는 실제 미러(510)의 하방에 위치하지만 미러(510)로부터 반사된 이미지를 촬영하기 때문에 마치 미러(510)의 안쪽 공간에 있는 가상의 카메라(520')가 물체를 촬영하는 것과 같은 효과를 갖는다.

반사된 이미지는 카메라(520)에 도넛 형태로 촬영이 될 것이다(도 4의 (b) 참조).

차량의 전후좌우에 설치된 카메라(100a, 100b, 100c, 100d) 중 하나(예컨대, 전방 카메라(100a))와 전방향성 비전 시스템(500)의 카메라(520)는 스테레오 비전 방식으로 동작하여 이들로부터 촬영된 이미지들로부터 깊이를 추정하는 것이 가능하게 된다.

도 5는 본 발명의 일 실시예에 따른 SVM 시스템(1000)의 각 구성요소를 블록도로 보여준다. 본 발명의 일 실시예에 따른 SVM 시스템(1000)은 차량의 전후좌우에 각각 설치되어 상기 차량의 주변을 단위촬영 이미지로 촬영하는 복수 개의 카메라(100a, 100b, 100c, 100d), 차량의 지붕에 설치되어 상기 차량의 주변을 360도 서라운드 이미지로 촬영하는 전방향성 비전 시스템(500), 스테레오 비전 방식으로 차량의 전후좌우에 설치된 각각의 카메라(100a, 100b, 100c, 100d)가 촬영한 단위촬영 이미지와 전방향성 비전 시스템(500)이 촬영한 360도 서라운드 이미지에 기초하여 깊이 맵을 생성하는 깊이 맵 생성부(200), 상기 깊이 맵을 3D 포인트 클라우드로 출력하는 서라운드 뷰 이미지 출력부(300)를 포함한다.

깊이 맵 생성부(200)는 차량의 전후좌우에 설치된 각각의 카메라(100a, 100b, 100c, 100d)의 위치와 전방향성 비전 시스템(500)을 구성하는 미러(510)의 형상, 크기 및 위치, 그리고 전방향 비전 시스템(500)의 카메라(520)의 위치를 알기 때문에 스테레오 비전 방식으로 차량의 전후좌우에 설치된 각각의 카메라(100a, 100b, 100c, 100d)와 전방향 비전 시스템(500)의 카메라(520)에 의해 동시에 촬영된 특징점들을 찾아서 삼각법에 의해 거리를 추정할 수 있다.

도 6은 차량의 전후좌우에 설치된 각각의 카메라 중 어느 하나(100a)와 전방향 비전 시스템(500)의 카메라(520)를 이용하여 물체(2000)의 깊이를 추정하는 방법을 예시한다. 도 6은 물체(2000)의 한 점이 카메라(100a)에 의해 촬영된 이미지 평면 상의 특징점 1과 카메라(520)에 의해 촬영된 이미지 평면 상의 특징점 2로 검출됨을 보여준다. 상술한 바와 같이, 차량의 전후좌우에 설치된 각각의 카메라(100a, 100b, 100c, 100d)의 위치는 알려져 있다. 또한 전방향 비전 시스템(500)의 미러(510)의 형상과 크기도 이미 알려져 있고 미러(510)와 카메라(520) 간의 거리도 이미 알려져 있기 때문에 물체(2000)를 향하는 카메라(520)로부터의 카메라 광선이 미러(510)에서 반사되는 지점의 위치를 계산할 수 있다. 본 발명의 일 실시예에 따르면, 카메라(520)가 마치 그 반사 지점에 있는 것처럼 간주하여 카메라(100a)의 위치 및 반사 지점의 위치에 기초하여 삼각법에 의해 물체(2000)의 깊이를 추정할 수 있다. 즉, 깊이 맵 생성부(200)는 차량의 전후좌우에 설치된 각각의 카메라(100a, 100b, 100c, 100d)의 위치, 전방향 비전 시스템(500)의 위치, 전방향 비전 시스템(500)의 미러(510)의 형상과 크기, 그리고 전방향 비전 시스템(500)의 미러(510)과 카메라(520) 간의 거리 또는 위치 관계에 기초하여 특정 물체의 깊이를 추정할 수 있다.

이러한 구성에 의해 본 발명은 값비싼 LIDAR를 사용하지 않고도 LIDAR를 사용하여 3D 포인트 클라우드를 생성한 것과 유사한 정도의 완전한(full) 서라운드 뷰 이미지의 3D 포인트 클라우드를 생성할 수 있다.

생성된 서라운드 뷰 이미지는 단위촬영 이미지들 간에 스티칭을 할 필요가 없기 때문에 서라운드 뷰 이미지에 이음매가 보이는 종전의 문제를 현저히 개선한다.

본 발명은 깊이 예측이 정확히 이루어질수록 더 우수한 서라운드 뷰 이미지의 3D 포인트 클라우드를 제공할 수 있다. 그런데 때로는 차량 외부의 주변 환경이 균질이어서 촬영 이미지들로부터 특징점을 찾기 용이하지 않은 경우도 존재할 수 있다. 이러한 때에는 깊이 예측이 정확히 이루어지지 않을 우려가 있다. 따라서 본 발명의 일 실시예에 따른 SVM 시스템은 인접한 한 쌍의 카메라들 사이에 배치되는 IR 프로젝터(400a, 400b, 400c, 400d)를 더 포함할 수 있다. 도 3은 4대의 카메라들(100a, 100b, 100c, 100d) 사이사이에 배열된 4대의 IR 프로젝터(400a, 400b, 400c, 400d)를 예시한다.

IR 프로젝터(400a, 400b, 400c, 400d)는 외부를 향해 특정 패턴을 투영할 수 있다. 여기서, 특정 패턴은 체스판 패턴일 수도 있고 임의의 고유한 패턴일 수도 있다. 이러한 특정 패턴은 각 단위촬영 이미지에 텍스쳐를 더함으로써 특징점을 잡는데 도움이 될 수 있다.

한편 본 발명의 일 실시예에 따른 SVM 시스템은 차량에 설치되기 때문에 대체로 실외에서 사용된다. 맑은 날 낮에 본 발명의 일 실시예에 따른 SVM 시스템이 사용될 경우 IR 프로젝터(400a, 400b, 400c, 400d)에 의해 투영되는 패턴은 태양광의 높은 강도 때문에 잘 보이지 않게 되고 그로 인해 단위촬영 이미지에는 노이즈가 포함되게 된다. 이러한 노이즈를 제거하기 위하여 SVM 시스템(1000)는 딥러닝 구조(600)를 더 포함할 수 있다. 참고로, 딥러닝 구조는 여러 비선형 변환기법의 조합을 통해 다량의 데이터나 복잡한 자료들 속에서 핵심적인 객체를 추출하는 작업을 시도하는 기계학습 알고리즘을 가진 구조로서, 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야에 속한다. 이러한 딥러닝 구조는 어떠한 데이터가 있을 때 이를 컴퓨터가 인지할 수 있는 형태로 표현하고, 이를 기반으로 트레이닝시킨 후 영상에서 목적하는 객체를 추론할 수 있다. 본 발명의 일 실시예에 따른 딥러닝 구조(600)는 CNN(Covolutional Neural Network)에 기반할 수 있다.

아울러, 본 발명의 일 실시예에 따른 딥러닝 구조(600)는 노이즈가 포함된 트레이닝 데이터와 노이즈가 없는 트레이닝 데이터를 이용하여 학습이 이루어진다. SVM 시스템(1000)은 트레이닝된 딥러닝 구조(600)를 이용하여 단위촬영 이미지 및 360도 서라운드 이미지로부터 노이즈를 제거하고 깊이 맵 생성부(200)에서 노이즈가 제거된 이미지들로부터 깊이 예측을 하여 완전한 3D 포인트 클라우드를 생성할 수 있다. 이와 같이 노이즈를 제거함으로써 더 정확하게 깊이 예측을 할 수 있고, 그에 의해 더 우수한 서라운드 뷰 이미지의 3D 포인트 클라우드 생성이 가능하게 된다.

도 7은 본 발명의 일 실시예에 따른 SVM 방법의 흐름도를 보여준다.

본 발명의 일 실시예에 따른 SVM 방법은 차량의 전후좌우에 각각 설치된 복수 개의 카메라에 의해 상기 차량의 주변을 단위촬영 이미지로 촬영하는 단계(S100), 차량의 지붕에 설치된 전방향성 비전 시스템에 의해 상기 차량의 주변을 360도 서라운드 이미지로 촬영하는 단계(S200), 스테레오 비전 방식으로 상기 차량의 전후좌우에 설치된 각각의 카메라가 촬영한 단위촬영 이미지와 상기 전방향성 비전 시스템이 촬영한 360도 서라운드 이미지에 기초하여 깊이 맵을 생성하는 단계(S300) 및 상기 깊이 맵을 서라운드 뷰 이미지의 3D 포인트 클라우드로 출력하는 단계(S400)를 포함할 수 있다.

여기서, 복수 개의 카메라에 의해 차량의 주변을 단위촬영 이미지로 촬영하는 단계(S100) 및 전방향성 비전 시스템에 의해 차량의 주변을 360도 서라운드 이미지로 촬영하는 단계(S200)는 순차적으로 수행될 수도 있고 동시에 수행될 수도 있으며, 서로 순서가 바뀌어 수행될 수도 있다.

아울러, 본 발명의 일 실시예에 따른 SVM 방법은 복수 개의 카메라에 의해 차량의 주변을 단위촬영 이미지로 촬영하고 전방향성 비전 시스템에 의해 차량의 주변을 360도 서라운드 이미지로 촬영할 때, 인접한 한 쌍의 카메라들 사이에 배치된 IR 프로젝터에 의해 외부를 향해 일 패턴을 투영하는 단계를 더 수행할 수 있다.

아울러, 본 발명의 일 실시예에 따른 SVM 방법은 깊이 맵 생성 단계(S400) 이전에, 딥러닝 구조에 의해 상기 단위촬영 이미지와 상기 360도 서라운드 이미지로부터 노이즈를 제거하는 단계를 더 포함할 수 있다.

상술한 바와 같이, 본 발명에 대한 구체적인 설명은 첨부된 도면을 참조한 실시예에 의해서 이루어졌지만, 상술한 실시예는 본 발명의 바람직한 예를 들어 설명하였을 뿐이기 때문에, 본 발명이 상기의 실시예에만 국한되는 것으로 이해되어져서는 아니 되며, 본 발명의 권리범위는 후술하는 청구범위 및 그 균등범위로 이해되어야 할 것이다.

1000: 서라운드 뷰 모니터링 시스템
100a, 100b, 100c, 100d: 카메라
200: 깊이 맵 생성부
300: 서라운드 뷰 이미지 출력부
400a, 400b, 400c, 400d: IR 프로젝터
500: 전방향성 비전 시스템
510: 미러
520: 카메라
600: 딥러닝 구조
2000: 물체

Claims (7)

1. 서라운드 뷰 모니터링 시스템으로서,
   차량의 전후좌우에 각각 설치되어 상기 차량의 주변을 단위촬영 이미지로 촬영하는 복수 개의 카메라;
   차량의 지붕에 설치되어 상기 차량의 주변을 360도 서라운드 이미지로 촬영하는 전방향성 비전 시스템;
   스테레오 비전 방식으로 상기 차량의 전후좌우에 설치된 각각의 카메라가 촬영한 단위촬영 이미지와 상기 전방향성 비전 시스템이 촬영한 360도 서라운드 이미지에 기초하여 깊이 맵을 생성하는 깊이 맵 생성부; 및
   상기 깊이 맵을 서라운드 뷰 이미지의 3D 포인트 클라우드로 출력하는 서라운드 뷰 이미지 출력부
   를 포함하고,
   상기 전방향성 비전 시스템은:
   포물선형 미러; 및
   상기 포물선형 미러의 하방에 배열되어 상기 포물선형 미러로부터 반사된 이미지를 촬영하는 카메라
   를 포함하고,
   상기 깊이 맵 생성부는 상기 차량의 전후좌우에 설치된 각각의 카메라와 상기 전방향성 비전 시스템의 카메라에 의해 동시에 촬영된 특징점을 찾아서 삼각법에 의해 거리를 추정하는
   서라운드 뷰 모니터링 시스템.
2. 삭제
3. 제1항에 있어서,
   차량의 전후좌우에 설치된 인접한 한 쌍의 카메라들 사이에 배치되어 외부를 향해 일 패턴을 투영하는 IR 프로젝터를 더 포함하는
   서라운드 뷰 모니터링 시스템.
4. 제3항에 있어서,
   상기 단위촬영 이미지와 상기 360도 서라운드 이미지로부터 노이즈를 제거하기 위해 딥러닝 구조를 더 포함하는
   서라운드 뷰 모니터링 시스템.
5. 서라운드 뷰 모니터링 방법으로서,
   차량의 전후좌우에 각각 설치된 복수 개의 카메라에 의해 상기 차량의 주변을 단위촬영 이미지로 촬영하는 단계;
   차량의 지붕에 설치된 전방향성 비전 시스템에 의해 상기 차량의 주변을 360도 서라운드 이미지로 촬영하는 단계 ― 여기서, 상기 전방향성 비전 시스템은: 포물선형 미러; 및 상기 포물선형 미러의 하방에 배열되어 상기 포물선형 미러로부터 반사된 이미지를 촬영하는 카메라를 포함함 ―;
   스테레오 비전 방식으로 상기 차량의 전후좌우에 설치된 각각의 카메라가 촬영한 단위촬영 이미지와 상기 전방향성 비전 시스템이 촬영한 360도 서라운드 이미지에 기초하여 깊이 맵을 생성하는 단계; 및
   상기 깊이 맵을 서라운드 뷰 이미지의 3D 포인트 클라우드로 출력하는 단계
   를 포함하고,
   상기 깊이 맵을 생성하는 단계는 상기 차량의 전후좌우에 설치된 각각의 카메라와 상기 전방향성 비전 시스템의 카메라에 의해 동시에 촬영된 특징점을 찾아서 삼각법에 의해 거리를 추정함으로써 수행되는
   서라운드 뷰 모니터링 방법.
6. 제5항에 있어서,
   상기 복수 개의 카메라에 의해 상기 차량의 주변을 단위촬영 이미지로 촬영하는 단계 및 상기 전방향성 비전 시스템에 의해 상기 차량의 주변을 360도 서라운드 이미지로 촬영하는 단계에서, 인접한 한 쌍의 카메라들 사이에 배치된 IR 프로젝터에 의해 외부를 향해 일 패턴을 투영하는 단계를 더 수행하는
   서라운드 뷰 모니터링 방법.
7. 제6항에 있어서,
   상기 깊이 맵 생성 단계 이전에, 딥러닝 구조에 의해 상기 단위촬영 이미지와 상기 360도 서라운드 이미지로부터 노이즈를 제거하는 단계를 더 포함하는
   서라운드 뷰 모니터링 방법.

Images