KR102562617B1 - 어레이 카메라 시스템 - Google Patents

Abstract

차량의 주변을 수평 방향 및 수직 방향에 대해 넓은 화각으로 촬영 가능하여 사각지대 거의 없이 차량 주변 영상을 제공할 수 있고, 차량으로부터 여러 거리 범위에 존재하는 객체와의 거리 정보 획득이 가능한 카메라 어레이를 구비하는 자율 주행 차량에 관한 것이다.

Description

어레이 카메라 시스템{ARRAY CAMERA SYSTEM}

본 발명은 자율 주행 차량에 구비되는 어레이 카메라 시스템에 관한 것으로서, 차량의 주변을 수평 방향 및 수직 방향에 대해 넓은 화각으로 촬영 가능하여 사각지대 거의 없이 차량 주변 영상을 제공할 수 있고, 차량으로부터 여러 거리 범위에 존재하는 객체와의 거리 정보 획득이 가능한 어레이 카메라 시스템에 관한 것이다.

자율 주행 차량의 주행 시 차량을 둘러싼 주행 환경 파악은 특히 중요한 역할이다. 그리고 시각 정보의 처리는 주행 환경 파악에 가장 큰 비중을 차지하는 과정이다.

자율 주행 차량은 시각 정보에서 객체를 탐지하고, 이를 토대로 차량의 이동 경로를 계획하고, 차량을 구동하여 움직인다.

자율 주행 차량 분야의 객체 인식은 타 분야 객체 인식과 달리 다양하고 이질적인 센서를 동시에 활용하는데, 이는 어느 한 센서의 정보만으로는 만족할 만한 객체 인식이 이루어지지 않기 때문이다.

자율 주행 차량의 시각 정보를 수집하는 센서로 라이다, 레이더 및 카메라가 있다.

라이다와 레이더는 모두 전자기적 파동을 외부로 송신하여 물체에 의해 산란한 신호를 수집한다.

라이다는 3차원 정보를 가공해 제공하기 때문에 자율 주행 차량에 사용하기 적합하지만 속도를 직접 측정할 수 없고, 악천후 강한 햇빛 등의 열악한 환경에서 원거리 인식 능력 저하의 우려가 있다.

레이더는 외부와의 거리와 속도를 직접 감지할 수 있고, 라이더보다 원거리 인식이 가능하지만, 분해능이 떨어지고 대상물이 사람이나 차량일 경우에 부적합한 문제가 있다.

이 외에 최근 자동차 주차 시 인접 차량과 근접하는 경우 경고음을 내는 센서로 많이 사용하는 초음파 센서가 있다. 초음파 센서는 기계적인 음파를 발생하고 주변 물체와의 반사를 측정하여 거리를 계산한다. 악천후에도 오류없이 작동하며, 심지어 센서가 먼지에 덮이는 악조건에서도 잘 작동하지만, 아직 자율 주행 차량에 보편적으로 채택되지는 않고 있다.

자율 주행 차량에서 시각 정보를 수집하는 대표적인 센서는 카메라다. 카메라는 풍부한 정보를 수집할 수 있지만, 객체를 인식하려면 여러 연산이 필요하다.

자율 주행 차량은 객체를 인식할 뿐만 아니라 객체가 멀리 또는 가깝게 있는지를 판별하여 가까운 물체에 더 집중해야 자율 주행의 정확성과 안정성을 보장할 수 있다.

이에 자율 주행 차량은 카메라를 이용해서도 외부 객체를 인식하고, 넓은 화각으로 사각지대 거의 없이 차량 주변 영상을 제공할 수 있으며, 차량으로부터 여러 거리 범위에 존재하는 객체와의 거리 정보 획득이 가능한 새로운 기술이 필요하다.

(특허문헌 0001) 대한민국 등록특허 제10-2249769호

(특허문헌 0002) 대한민국 등록특허 제10-2022773호

본 발명은 종래의 문제를 해결하기 위해 안출한 것으로서, 본 발명은 자율 주행용 차량의 주변을 수평 방향 및 수직 방향에 대해 넓은 화각으로 촬영 가능하여 사각지대 거의 없이 차량 주변 영상을 제공할 수 있고, 차량으로부터 여러 거리 범위에 존재하는 객체와의 거리 정보 획득이 가능한 어레이 카메라 시스템을 제공하는데 그 목적이 있다.

본 발명의 실시예에 따른 어레이 카메라 시스템은 복수의 카메라 모듈이 일체형의 하우징 프레임에 탑재되어 구성되는 어레이 카메라; 및 상기 복수의 카메라 모듈을 뷰어로 이용할지 또는 주변의 객체와의 거리를 산출하는 데에 이용하는지에 따라 상기 복수의 카메라 모듈을 선택적으로 조합하여 촬영 영상을 이용하는 프로세서를 포함할 수 있다.

상기와 같은 본 발명의 실시예에 따른 어레이 카메라 시스템은 차량의 수평방향이나 수직방향에 대해서 주변을 넓은 화각으로 촬영 가능하여 사각지대 거의 없이 차량 주변 영상을 제공할 수 있다.

아울러, 본 발명의 실시예에 따른 어레이 카메라 시스템은 차량의 둘레를 따라 탑재된 복수의 카메라들을 측정하고자 하는 거리 범위에 따라 선택적으로 조합하여 한 쌍으로 구동 시킴으로써, 선택된 두 카메라 사이의 이격 거리에 따라 결정되는 측정 가능 범위에 존재하는 객체와 차량 간의 거리 정보를 획득할 수 있다.

이에 의해, 본 발명의 실시예에 의한 어레이 카메라 시스템을 통해 차량으로부터 근접 거리, 단거리, 중거리 및 장거리 범위까지 서로 다른 거리 범위에 있는 객체들까지의 거리 정보를 간단하게 획득하여 제공함으로써, 안전한 주행을 보장하고 사고를 예방할 수 있다.

도 1은 본 발명의 실시예에 따른 어레이 카메라 시스템을 구비하는 자율 주행 차량의 사시도이다.
도 2는 본 발명의 실시예에 따른 메인 카메라 및 보조 카메라의 일 예를 도시한다.
도 3은 본 발명의 일 실시예에 따른 어레이 카메라 시스템을 구성하는 어레이 카메라부의 일 예를 도시한다.
도 4는 본 발명의 일 실시예에 따른 크로스형 어레이 카메라부에 의해 구현 가능한 화각을 도시한다.
도 5는 본 발명의 일 실시예에 따른 크로스형 어레이 카메라부를 통해 촬영 가능한 수직 방향의 화각을 도시한다.
도 6은 본 발명의 일 실시예에 따른 어레이 카메라 시스템에 의해 구현되는 수직 방향 뷰어의 일 예를 도시한다.
도 7은 본 발명의 일 실시예에 따라 선택적으로 조합된 메인 카메라와 보조 카메라를 이용하여 객체와 차량 간의 거리를 산출하는 일 예를 도시하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 자율 주행 차량용 근접 거리 측정 장치가 근접 물체까지의 거리를 산출하는 일 예를 도시하는 도면이다.
도 9는 본 발명의 일 실시예에 의한 자율 주행 차량에서 거리 측정이 가능한 근접 거리 범위 및 단거리 범위를 도시하는 일 예이다.
도 10은 본 발명의 일 실시예에 의한 자율 주행 차량에서 거리 측정이 가능한 중거리 범위를 도시하는 일 예이다.
도 11은 본 발명의 일 실시예에 의한 자율 주행 차량에서 거리 측정이 가능한 장거리 범위를 도시하는 일 예이다.

이하에서 본 발명의 기술적 사상을 명확화하기 위하여 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하도록 한다. 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성요소에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략할 것이다. 도면들 중 실질적으로 동일한 기능구성을 갖는 구성요소들에 대하여는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들을 부여하였다. 설명의 편의를 위하여 필요한 경우에는 장치와 방법을 함께 서술하도록 한다.

도 1은 본 발명의 실시예에 따른 어레이 카메라 시스템을 구비하는 자율 주행 차량의 사시도이고, 도 2는 본 발명의 실시예에 따른 메인 카메라 및 보조 카메라의 일 예를 도시하며, 도 3은 본 발명의 일 실시예에 따른 어레이 카메라 시스템을 구성하는 어레이 카메라부의 일 예를 도시한다.

도 1을 참조하면, 본 발명의 실시예에 따른 어레이 카메라 시스템을 구비하는 자율 주행 차량은 복수의 카메라군을 구비한다.

복수의 카메라군(10~60)은 차량의 둘레를 따라 탑재된 전방 좌측 카메라군(20), 전방 중심 카메라군(10), 전방 우측 카메라군(30), 좌측 사이드 카메라군(40), 우측 사이드 카메라군(50) 및 후방 중심 카메라군(60)을 포함한다.

각 카메라군(10~60)은 도 2에 도시된 바와 같이 메인 카메라(100)와 보조 카메라(200)가 한 쌍으로 구성된 적어도 하나의 카메라 모듈로 구성된다.

메인 카메라(100)는 차량의 자율 주행을 위해 외부 영상을 촬영하고, 촬영된 영상 데이터를 프로세서(300)로 전송한다. 보조 카메라(200)는 메인 카메라(100)와 한 쌍으로 구비되어 보조 이미지를 획득하면 프로세서(300)로 전송한다.

프로세서(300)는 복수의 카메라 모듈을 뷰어로 이용할지 또는 차량 주변의 객체와의 거리를 산출하는 데에 이용하는지에 따라 상기 복수의 카메라 모듈을 선택적으로 조합하여 이용한다. 프로세서(300)의 이 같은 상세한 실행에 대해서는 하기에서 상세히 설명하기로 한다.

특히, 복수의 카메라 모듈은 일체형의 하우징 프레임에 탑재되어 어레이 카메라를 구성할 수 있다. 도 3을 참조하면, 어레이 카메라는 수평방향으로 배열된 복수의 카메라 모듈을 포함하는 수평방향 어레이 카메라부(a), 수평방향 어레이 카메라부(a)에 대해 수직방향으로 배열된 복수의 카메라 모듈을 포함하는 수직방향 어레이 카메라부(b)로 구비될 수 있다. 또한, 어레이 카메라는 수평방향 어레이 카메라부(a)와 수직방향 어레이 카메라부(b)가 십자 형태로 배열되는 크로스형 어레이 카메라부(c)로 구비되거나, 수평방향 카메라부(a)와 수직방향 어레이 카메라부(b)가 격자 형태로 배열되는 격자형 어레이 카메라부로 구비될 수 있다. 본 발명의 실시예에 따른 어레이 카메라부는 전술한 형태 이외의 다른 형태로도 구비될 수 있다.

참고로, 도면에서는 각 어레이 카메라부의 카메라 모듈을 탑재하는 개별 프레임들이 서로 부착된 평면적인 형태의 하우징 프레임으로 도시 되었지만, 실제로 설치될 차체의 곡선 등에 따라 입체적인 형태로 각 프레임들 간에 소정의 각도로 벌어질 수 있고, 이에 적어도 일부가 벤딩된 하우징 프레임이 구현될 수 있다.

일 실시예로, 본 발명의 어레이 카메라 시스템을 구비하는 자율 주행 차량은 도 4에 도시된 바와 같이 크로스형 어레이 카메라부(c)를 전방 중심 카메라군(10)으로 채용할 수 있다.

구체적으로, 크로스형 어레이 카메라부(c)의 수평방향 어레이 카메라부는 수평방향으로 배열된 제1 카메라 모듈(101, 201), 제2 카메라 모듈(102, 202) 및 제3 카메라 모듈(103, 203)을 포함하고, 수직방향 어레이 카메라부는 상위로부터 하위 방향으로 배열된 제4 카메라 모듈(104, 204), 제5 카메라 모듈(105, 205), 상기 제2 카메라 모듈(102, 202) 및 제6 카메라 모듈(106, 206)을 포함한다. 여기서, 제2 카메라 모듈(102, 202)은 상기 수직방향 카메라부와 상기 수평방향 카메라부에서 크로스로 겹친다.

각 카메라 모듈은 메인 카메라와 보조 카메라가 한 쌍으로 구성된다.

도 2는 본 발명의 실시예에 따른 카메라 모듈을 구성하는 메인 카메라 및 보조 카메라의 일 예를 도시한다. 도 2를 참조하면, 메인 카메라(100)는 자율 주행용 자동차의 카메라에 주로 채용되는 렌즈(110)를 포함하고, 렌즈(110)를 실장하는 메인 밀폐 하우징을 구비한다. 메인 카메라(100)는 차량 주변의 객체에 대한 메인 이미지를 획득할 수 있다.

보조 카메라(200)는 핀홀 카메라로 구비될 수 있고, 메인 카메라(100)와 한 쌍으로 구비되어 보조 이미지를 획득한다. 보조 카메라(200) 전방에 대응하는 위치에 핀홀(201), 핀홀(201)의 전방에 대응하는 일부에 개폐 가능한 광투과부(202), 프로세서(300)의 제어에 의해 광투과부(202)의 개폐를 조절함으로써 핀홀을 외부로부터 개폐하는 핀홀 개폐 밸브(204)로 구성되고, 이들을 실장하는 보조 밀폐 하우징(205)을 구비한다. 프로세서(300)는 보조 카메라를 구동시키기 위해, 핀홀 밸브 오픈 신호를 핀홀 개폐 밸브(204)로 전송하여 광투과부(202)를 오픈시킬 수 있다.

핀홀 카메라는 작은 구멍인 핀홀(pinhole)을 통해 빛을 통과시켜 이미지 센서에 의해 피사체 정보를 감지하여 영상 신호로 변환함으로써 촬영하는 카메라이다. 핀홀 카메라는 바늘구멍에서도 영상을 명확하게 확인할 수 있고, 초소형으로 설치장소에 구애받지 않고 설치 가능한 장점이 있다.

핀홀 카메라는 렌즈를 사용하는 카메라와 달라서 근접 거리에서 원거리까지 모두 초점이 잘 맞는 특징이 있지만, 홀(hole)을 통하여 들어오는 빛의 양이 적기 때문에 장시간의 노출을 필요로 하며, 움직이는 물체의 촬영에는 적합하지 않기 때문에 보조 카메라로 채용된다.

보조 카메라(200)는 메인 카메라(100)와 전방이 동일한 방향을 향하도록 구비될 수 있다. 그리고, 한 쌍의 메인 카메라(100) 및 보조 카메라(200)는 본 발명의 실시예에 따른 어레이 카메라의 형태로 차량의 여러 부분에 구비될 수 있으며, 프로세서(300)는 각 쌍의 카메라들과 연결되어 공유될 수 있다.

이하에서는, 프로세서(300)가 어레이 카메라를 뷰어로 이용하는 실행과, 객체와 차량 간의 거리를 산출하기 위해 이용하는 실행에 대해 설명하기로 한다.

일 실시예로 도 4를 참조하면, 프로세서(300)는 크로스형 어레이 카메라부(10)를 뷰어로 이용하기 위해서, 수평방향 어레이 카메라부에 해당하는 메인 카메라들(101, 102, 103)을 동작 시켜 동작된 메인 카메라들(101, 102, 103)의 화각에 대응하는 수평방향의 촬영 영상을 획득할 수 있다. 여기서, 프로세서(300)는 복수의 메인 카메라(101, 102, 103)를 통해 획득한 촬영 영상들을 연결하되, 복수의 메인 카메라들의 겹치는 화각에 의해 영상에서 겹치는 부분을 소프트웨어 프로그램을 이용하여 삭제 처리함으로써, 파노라마 영상을 획득할 수도 있다.

아울러, 프로세서(300)는 복수의 카메라 모듈을 뷰어로 이용하기 위해서, 수직방향 어레이 카메라부에 해당하는 메인 카메라들(104, 104, 102, 106)을 동작 시켜, 동작된 메인 카메라들(104, 104, 102, 106)의 화각에 대응하는 수직방향의 촬영 영상을 획득할 수 있다. 마찬가지로, 프로세서(300)는 복수의 메인 카메라(104, 104, 102, 106)를 통해 획득한 촬영 영상들을 연결하되, 복수의 메인 카메라들의 겹치는 화각에 의해 영상에서 겹치는 부분을 소프트웨어 프로그램을 이용하여 삭제 처리함으로써, 파노라마 영상을 획득할 수도 있다.

도 5는 본 발명의 실시예에 따른 크로스형 어레이 카메라부를 통해 촬영 가능한 수직 방향 및 수평 방향의 화각을 도시한다. 수평방향 어레이 카메라부를 구성하는 메인 카메라(101, 102, 103)의 화각이 30도 정도로 설정된 경우, 수평 방향으로는 총 90도 정도에 대응하는 촬영 영상을 획득할 수 있다.

수직방향 어레이 카메라부를 구성하는 메인 카메라(104, 104, 102, 106)의 화각이 20도 정도로 설정된 경우, 수직 방향으로는 총 80도 정도에 대응하는 촬영 영상을 획득할 수 있다.

여기서, 각 카메라의 화각은 조정될 수 있고, 각 화각을 조정하는 방법은 기술분야에서 통상적으로 알려진 기술을 이용할 수 있다.

도 6은 본 발명의 일 실시예에 따른 수직 방향 뷰어의 일 예를 도시한다. 도 6을 참조하면, 전방 중심 카메라군(10)의 카메라 모듈이 한 개 일 때에는 전방의 속도 제한 교통 표지판을 검출할 수 없었던 것에 비해, 아래 도면에서는 전방 중심 카메라군(10)으로서 크로스형 어레이 카메라부(c)를 채용함으로써, 수직 방향의 카메라 모듈이 추가되어 화각이 확장됨에 따라 전방의 속도 제한 교통 표지판을 검출할 수 있게 됨을 알 수 있다.

일 실시예로, 프로세서(300)는 복수의 카메라 모듈을 뷰어로 이용하여 획득한 촬영 영상으로부터 어느 객체를 검출한 경우, 상기 객체와 차량 간의 거리를 산출하기 위해 상기 복수의 카메라 모듈 중 한 쌍의 카메라 모듈을 선택적으로 조합하고, 조합된 카메라 모듈에 의한 정보에 기초하여 객체와 차량 간의 거리를 산출할 수 있다.

구체적으로, 프로세서(300)는 복수의 카메라 모듈을 차량 주변의 객체와의 거리를 산출하는 데에 이용하기 위해서, 복수의 카메라 모듈 중에서 메인 카메라와 보조 카메라를 측정하고자 하는 거리 범위에 따라 선택적으로 조합하여 한 쌍으로 구동 시킴으로써, 선택된 두 카메라 사이의 이격 거리에 따라 결정되는 측정 가능 거리범위에 존재하는 객체와 상기 차량 간의 거리 정보를 획득할 수 있다.

도 7은 본 발명의 실시예에 따라 선택적으로 조합된 메인 카메라와 보조 카메라를 이용하여 객체와 차량 간의 거리를 산출하는 일 예를 도시하는 도면이다.

도 7을 참조하면, 프로세서(300)는 선택적으로 조합한 메인 카메라(100) 및 보조 카메라(200)를 함께 동작시켜 메인 카메라(100)로부터 메인 이미지를 획득하고, 보조 카메라(200)로부터 보조 이미지를 획득한다.

이를 위해, 프로세서(300)는 핀홀 밸브 오픈 신호를 핀홀 개폐 밸브(204)로 전송하여 광투과부(202)를 오픈시켜, 보조 카메라(200)를 통해 근접 물체에 대한 보조 이미지를 획득할 수 있다.

이와 같이 획득된 메인 이미지와 보조 이미지의 각각에서 객체를 검출하고, 검출된 객체의 좌표를 포함하는 검출 영역 정보를 산출할 수 있다.

여기서, 프로세서(300)는 획득된 이미지에서 객체를 검출하기 위해 공지의 기술을 이용할 수 있다. 예를 들어, 프로세서(300)는 물체의 외형에 기반한 패턴 인식을 이용하여 객체를 검출한다. 다양한 물체 외형의 학습 영상 집합에 대한 패턴 인식으로 물체 패턴을 학습하고 학습된 모델을 이용하여 객체를 검출할 수 있으며, 예를 들어, 선형판별식 해석, 인공신경망, 아다부스트, Haar 특징 필터, 서포트 벡터 머신 등의 방법이 사용될 수 있다. 그러나, 프로세서(300)는 이러한 물체 검출 방식에 한정되지 않고 공지된 다양한 방식과 알고리즘을 이용하여 메인 이미지와 보조 이미지에서 객체를 인식하고 검출할 수 있다.

구체적으로, 프로세서(300)는 메인 이미지와 보조 이미지의 각각에서 매칭 포인트를 검출한다. 본 발명의 일 실시예에서 매칭 포인트는 메인 이미지와 보조 이미지에 기초하여 촬영 대상이 된 객체까지의 거리를 산출할 때 기준이 되는 특징점 또는 특징 영역으로서, 메인 이미지와 보조 이미지의 각각에서 동일한 특징점을 각각 검출한다.

일 실시예로, 객체가 차량으로 분석된 경우 프로세서(300)는 메인 이미지와 보조 이미지의 각각에서 검출한 차량의 특정 부품을 임의의 특징점으로 선정하여 이를 매칭 포인트로서 검출할 수 있다.

예를 들어, 근접한 차량의 두 헤드 라이트 사이의 중심점을 매칭 포인트로서 설정하며, 이 경우 각 이미지에서 두 헤드라이트의 무게중심을 계산하여 매칭 포인트를 검출할 수 있다. 무게 중심 계산은 일반적인 2차원 형상 면적이나 픽셀 영역에서 무게 중심점을 계산하는 공지의 알고리즘을 이용하여 계산할 수 있다.

프로세서(300)는 메인 이미지와 보조 이미지에서 각각 검출된 매칭 포인트에 기초하여 카메라(100, 200)에서부터 근접 물체까지의 거리를 산출한다. 일 실시예에서 프로세서(300)는 메인 이미지와 보조 이미지를 정합하여 근접 물체까지의 거리를 측정할 수 있다.

도 8은 본 발명의 실시예에 따른 자율 주행 차량용 근접 거리 측정 장치가 근접 물체까지의 거리를 산출하는 일 예를 도시하는 도면이다.

도 8을 참조하면, 메인 카메라(100)와 보조 카메라(200)가 각각 동일한 시야각으로 각 카메라의 정면을 바라보도록 설치되어 전방의 객체(S)를 촬영한다. 이때 두 카메라(100, 200)는 소정 거리(D)만큼 이격 거리를 갖는다.

일 실시예로, 객체(S)가 소정 위치에 있을 경우, 메인 카메라(100)가 촬영한 메인 이미지에서 근접 물체(S)의 매칭 포인트와 메인 이미지의 중심 사이의 각도가 제1 각도(θ1)로 측정되고, 보조 카메라(200)가 촬영한 보조 이미지에서는 근접 물체(S)의 매칭 포인트와 보조 이미지의 중심 사이의 각도는 제2 각도(θ2)로 측정된다.

따라서, 프로세서(300)는 각 이미지에서 제1 각도 (θ1)와 제2 각도(θ2)를 각각 산출하고 이 각도 및 카메라 사이의 거리(D)에 기초하여 카메라(100, 200)가 탑재된 차량으로부터 객체(S)까지의 거리를 계산할 수 있다.

다시 도 1을 참조하면, 복수의 카메라군(10~60)은 차량의 둘레를 따라 탑재된 전방 중심 카메라군(10), 전방 좌측 카메라군(20), 전방 우측 카메라군(30), 좌측 사이드 카메라군(40), 우측 사이드 카메라군(50) 및 후방 중심 카메라군(60)을 포함한다.

전방 중심 카메라군(10)은 크로스형 어레이 카메라부(c)를 채용할 수 있다. 이에, 크로스형 어레이 카메라부(c)의 수평방향 어레이 카메라부는 수평방향으로 배열된 제1 카메라 모듈(101, 201), 제2 카메라 모듈(102, 202) 및 제3 카메라 모듈(103, 203)을 포함하고, 수직방향 어레이 카메라부는 상위로부터 하위 방향으로 배열된 제4 카메라 모듈(104, 204), 제5 카메라 모듈(105, 205), 제2 카메라 모듈(102, 202) 및 제6 카메라 모듈(106, 206)을 포함한다. 여기서, 제2 카메라 모듈(102, 202)은 수직방향 어레이 카메라부와 수평방향 어레이 카메라부에서 크로스로 겹친다.

전방 좌측 카메라군(20)은 수평방향 어레이 카메라부(a)를 채용하여, 차량의 전방 좌측에 수평방향으로 순서대로 배치된 제7 카메라 모듈(107, 206), 제8 카메라 모듈(108, 208), 제9 카메라 모듈(109, 209) 및 제10 카메라 모듈(110, 210)을 포함한다.

전방 우측 카메라군(30)은 수평방향 어레이 카메라부(a)를 채용하여, 차량의 전방 우측에 수평방향으로 순서대로 배치된 제11 카메라 모듈(111, 211), 제12 카메라 모듈(112, 212), 제13 카메라 모듈(113, 213) 및 제14 카메라 모듈(114, 214)을 포함한다.

좌측 사이드 카메라군(40)은 수평방향 어레이 카메라부(a)를 채용하여, 차량의 좌측 중심 사이드에 수평방향으로 배치된 제20 카메라 모듈(120, 220), 제21 카메라 모듈(121, 221), 제22 카메라 모듈(122, 222), 제23 카메라 모듈(123, 223) 및 제24 카메라 모듈(124, 224)을 포함한다.

우측 사이드 카메라군(50)은 수평방향 어레이 카메라부(a)를 채용하여, 차량의 우측 중심 사이드에 수평방향으로 배치된 제15 카메라 모듈(115, 215), 제16 카메라 모듈(116, 216), 제17 카메라 모듈(117, 217), 제18 카메라 모듈(118, 218) 및 제19 카메라 모듈(119, 219)을 포함한다.

후방 중심 카메라군(60)은 제25 카메라 모듈(125, 225)을 포함한다.

이와 같이 구성된 복수의 카메라 모듈을 통해 본 발명의 자율 주행 차량은 도 9 내지 도 11에 도시된 바와 같이 근접 거리 범위(A), 단거리 범위(B), 중거리 범위(C), 장거리 범위(D) 내에 존재하는 객체와 차량 간의 거리를 산출하기 위한 정보를 획득할 수 있다.

구체적으로, 프로세서(300)는 복수의 카메라 모듈 중에서 메인 카메라와 보조 카메라를 측정하고자 하는 거리 범위에 따라 선택적으로 조합하여 한 쌍으로 구동 시킴으로써, 상기 선택된 두 카메라 사이의 이격 거리에 따라 결정되는 측정 가능 거리범위에 존재하는 객체와 차량 간의 거리 정보를 획득할 수 있다.

일 실시예로, 프로세서(300)는 제1 카메라 모듈부터 제25 카메라 모듈 각각에 대해 한 쌍의 메인 카메라(100) 및 보조 카메라(200)에 기초하여 근접 거리 범위(A)에 존재하는 객체와 차량 간의 거리를 산출할 수 있다. 여기서, 두 대의 카메라를 이용하여 객체까지의 거리를 산출하는 방법에 대해서는 도 7을 참조하여 설명한 바 있으므로, 상세한 설명은 생략하기로 한다.

도 9에 도시된 근접 거리 범위(A)에 존재하는 객체와 차량 간의 거리 정보 획득을 위해 프로세서(300)는 하나의 카메라 모듈을 구성하는 한 쌍의 메인 카메라(100) 및 보조 카메라(200)를 함께 동작 시킨다. 하나의 카메라 모듈을 구성하는 한 쌍의 메인 카메라(100) 및 보조 카메라(200)의 화각이 겹치는 부분이 근접 거리 범위가 될 수 있다.

여기서, 하나의 카메라 모듈을 구성하는 한 쌍의 메인 카메라(100) 및 보조 카메라(200)의 겹치는 화각을 제1 화각으로 설명하기로 하고, 제1 화각은 30도로 설정될 수 있다. 하나의 카메라 모듈을 구성하는 한 쌍의 메인 카메라(100)와 보조 카메라(200) 사이의 거리(D)를 제1 이격 거리(L1)로 설명하기로 한다.

전방 좌측 카메라군(20)에서 근접 거리 범위(A)에 존재하는 객체와의 거리 정보 획득을 위해 제7 메인 카메라(107), 제8 메인 카메라(108), 제9 메인 카메라(109) 및 제10 메인 카메라(110)을 모두 동작시키면, 근접 거리 범위(A)에 대응하는 120도 화각의 전방에 대한 뷰어 실행이 가능하다.

전방 우측 카메라군(30)도 마찬가지로 제11 메인 카메라(111), 제12 메인 카메라(112), 제13 메인 카메라(113) 및 제14 메인 카메라(114)를 모두 동작시키면, 근접 거리 범위(A)에 대응하는 120도 화각의 전방에 대한 커버가 가능하다.

도 9에 도시된 단거리 범위(B)에 존재하는 객체와 차량 간의 거리 정보 획득을 위해 프로세서(300)는 제2 이격 거리(L2)로 이격된 두 개의 카메라 모듈 중 일측의 카메라 모듈에서는 메인 카메라를 구동 시키고, 타측의 카메라 모듈에서는 보조 카메라를 구동 시킴으로써, 단거리 범위(B)에 존재하는 객체와의 거리 정보를 획득할 수 있다.

여기서, 인접한 두 개의 카메라 모듈은 제1 카메라 모듈(101, 201) 및 제7 카메라 모듈(107, 207)과 같이 제2 이격 거리(L2)로 이격된 두 개의 카메라 모듈을 의미한다.

구체적으로, 제2 이격 거리(L2)로 이격된 두 개의 카메라 모듈 중 일측 카메라 모듈의 메인 카메라와 타측 카메라 모듈의 보조 카메라를 구동 시켜 이들의 화각이 겹치는 영역을 기반으로 단거리 범위(B)에 존재하는 객체와의 거리 정보를 획득할 수 있다.

제2 이격 거리(L2)는 전술한 제1 이격 거리(L1) 보다 길고 이에, 제1 이격 거리(L1)에 따라 결정된 근접 거리 범위(A) 보다 제2 이격 거리(L2)에 따라 결정된 단거리 범위(B)가 차량으로부터의 거리가 더 길다.

도 10은 본 발명의 실시예에 의한 자율 주행 차량에서 거리 측정이 가능한 중거리 범위를 도시하는 일 예이다. 도 9에 도시된 중거리 범위(C)에 존재하는 객체와 차량 간의 거리 정보 획득을 위해 프로세서(300)는 제3 이격 거리(L3)만큼 이격된 두 개의 카메라 모듈 중 일측의 카메라 모듈에서는 메인 카메라를 구동 시키고, 타측의 카메라 모듈에서는 보조 카메라를 구동 시킴으로써, 중거리 범위(C)에 존재하는 객체와의 거리 정보를 획득할 수 있다.

여기서, 제3 이격 거리(L3)로 이격된 두 개의 카메라 모듈은 제10 카메라 모듈(110, 210) 및 제15 카메라 모듈(115, 215)과 같이 제3 이격 거리(L3)만큼 이격 구비된 두 개의 카메라 모듈을 의미한다.

구체적으로, 제3 이격 거리(L3)로 이격된 두 개의 카메라 모듈 중 일측 카메라 모듈의 메인 카메라와 타측 카메라 모듈의 보조 카메라를 구동 시켜 이들의 화각이 겹치는 영역을 기반으로 중거리 범위(C)에 존재하는 객체와의 거리 정보를 획득할 수 있다.

제3 이격 거리(L3)는 전술한 제2 이격 거리(L2)보다 길고 이에, 제2 이격 거리(L2)에 따라 결정된 단거리 범위(B)보다 제3 이격 거리(L3)에 따라 결정된 중거리 범위(C)가 차량으로부터의 거리가 더 길다.

도 11은 본 발명의 실시예에 의한 자율 주행 차량에서 거리 측정이 가능한 장거리 범위를 도시하는 일 예이다. 도 11에 도시된 장거리 범위(D)에 존재하는 객체와 차량 간의 거리 정보 획득을 위해 프로세서(300)는 제4 이격 거리(L4)만큼 이격된 두 개의 카메라 모듈 중 일측의 카메라 모듈에서는 메인 카메라를 구동시키고, 타측의 카메라 모듈에서는 보조 카메라를 구동 시킴으로써, 장거리 범위(D)에 존재하는 객체와의 거리 정보를 획득할 수 있다.

여기서, 제4 이격 거리(L4)만큼 이격된 두 개의 카메라 모듈은 제7 카메라 모듈(107, 207) 및 제11 카메라 모듈(111, 211)과 같이 제4 이격 거리(L4)로 이격 구비된 두 개의 카메라 모듈을 의미한다.

구체적으로, 제4 이격 거리(L4)로 이격된 두 개의 카메라 모듈 중 일측 카메라 모듈의 메인 카메라와 타측 카메라 모듈의 보조 카메라를 구동 시켜 이들의 화각이 겹치는 영역을 기반으로 장거리 범위(D)에 존재하는 객체와 차량 간의 거리 정보를 획득할 수 있다.

제4 이격 거리(L4)는 전술한 제3 이격 거리(L3)보다 길고 이에, 제3 이격 거리(L3)에 따라 결정된 중거리 범위(C)보다 제4 이격 거리(L4)에 따라 결정된 장거리 범위(D)가 차량으로부터의 거리가 더 길다.

본 발명의 자율 주행용 차량의 카메라군은 설계자의 설계에 따라 단거리 범위(B)로서 차량으로부터 0.02 ~ 3m 커버가 가능하고, 중거리 범위(C)로서 차량으로부터 2 ~ 40m 커버가 가능하며, 장거리 범위(D)로서 차량으로부터 30 ~ 100m 정도 커버가 가능할 수 있으며, 이는 일 예 일뿐 각 카메라군이 커버할 수 있는 거리는 설계에 따라 달라질 수 있다.

프로세서(300)는 전술한 방법으로 획득된 차량 주변의 객체와의 거리 정보를 기반으로 자율 주행 차량을 제어할 수 있다.

한편, 도 12 내지 도 14는 본 발명의 다른 실시예에 따른 어레이 카메라 시스템에 의해 구현되는 거리 측정이 가능한 거리 범위 및 화각의 일 예를 도시하는 도면이다.

도 1을 참조한 자율 주행 차량의 어레이 카메라 시스템과 도 12 내지 도 14에 도시된 다른 실시예의 자율 주행 차량의 어레이 카메라 시스템을 비교하면, 전자의 어레이 카메라 시스템보다 후자는 전방 좌측 카메라군(20)에 카메라 모듈이 1개 추가되고, 전방 우측 카메라군(30)에 카메라 모듈이 1개 추가되며, 후방 중심 카메라군(60)에 카메라 모듈이 1개 더 추가되어, 총 28개의 카메라 모듈이 탑재된다.

이에 의해 도 12에 도시된 바와 같이, 전방 좌측 카메라군(20)에 의한 뷰어는 메인 카메라 1개의 화각이 30도로 설정된 경우, 150도의 화각에 대응하는 촬영 영상을 획득할 수 있다.

마찬가지로, 전방 우측 카메라군(30)에 의한 뷰어도 메인 카메라 1개의 화각이 30도로 설정된 경우, 150도의 화각에 대응하는 촬영 영상을 획득할 수 있다.

그리고, 후방 중심 카메라군(60)에 의해서는 메인 카메라 1개의 화각이 45도로 설정된 경우, 90도의 화각에 대응하는 촬영 영상을 획득할 수 있다.

도 1의 어레이 카메라 시스템과 마찬가지로 프로세서가 적어도 하나의 카메라 모듈을 뷰어로 이용하여 획득한 촬영 영상으로부터 어느 객체를 검출한 경우, 상기 객체와 차량 간의 거리를 산출하기 위해 복수의 카메라 모듈 중 메인 카메라와 보조 카메라를 측정하고자 하는 거리 범위에 따라 선택적으로 조합하여 한 쌍으로 구동 시킴으로써, 상기 선택된 두 카메라 사이의 이격 거리에 따라 결정되는 측정 가능 거리범위에 존재하는 객체와 상기 차량 간의 거리 정보를 획득할 수 있다. 이에 관해서는 도 7 내지 도 11을 참조하여 기술한 설명을 참고할 수 있다.

이와 같이, 본 발명의 실시예에 따른 어레이 카메라 시스템은 차량의 수평방향이나 수직방향에 대해서 주변을 넓은 화각으로 촬영 가능하여 사각지대 거의 없이 차량 주변 영상을 제공할 수 있다.

또한, 차량의 둘레를 따라 구비된 복수의 카메라들을 측정하고자 하는 거리 범위에 따라 선택적으로 조합하여 한 쌍으로 구동 시킴으로써, 선택된 두 카메라 사이의 이격 거리에 따라 결정되는 측정 가능 거리범위에 존재하는 객체와 차량 간의 거리 정보를 획득할 수 있다.

아울러, 본 발명의 실시예에 의한 어레이 카메라 시스템을 통해 차량으로부터 근접 거리, 단거리, 중거리 및 장거리 범위까지 서로 다른 거리 범위에 있는 객체들까지의 거리 정보를 간단하게 획득하여 제공함으로써, 안전한 주행을 보장하고 사고를 예방할 수 있다.

본 발명에 따른 방법 및 장치는 하나 이상의 프로세서로 하여금 앞서 설명한 기능들과 프로세서를 수행하도록 하는 명령에 의하여 구동될 수 있다.

예를 들어 그러한 명령으로는, 예컨대 JavaScript나 ECMAScript 명령 등의 스크립트 명령과 같은 해석되는 명령이나 실행 가능한 코드 혹은 컴퓨터로 판독 가능한 매체에 저장되는 기타의 명령이 포함될 수 있다. 나아가 본 발명에 따른 장치는 서버 팜(Server Farm)과 같이 네트워크에 걸쳐서 분산형으로 구현될 수 있으며, 혹은 단일의 컴퓨터 장치에서 구현될 수도 있다.

비록 본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.

본 명세서에서 설명한 주제의 구현물은 예컨대 데이터 서버와 같은 백엔드 컴포넌트를 포함하거나, 예컨대 어플리케이션 서버와 같은 미들웨어 컴포넌트를 포함하거나, 예컨대 사용자가 본 명세서에서 설명한 주제의 구현물과 상호 작용할 수 있는 웹 브라우저나 그래픽 유저 인터페이스를 갖는 클라이언트 컴퓨터와 같은 프론트엔드 컴포넌트 혹은 그러한 백엔드, 미들웨어 혹은 프론트엔드 컴포넌트의 하나 이상의 모든 조합을 포함하는 연산 시스템에서 구현될 수 있다. 시스템의 컴포넌트는 예컨대 통신 네트워크와 같은 디지털 데이터 통신의 어떠한 형태나 매체에 의해서도 상호 접속 가능하다.

본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.

본 명세서에서 설명한 주제의 특정한 실시형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현 예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.

본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.

따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.

100: 메인 카메라
200: 보조 카메라
300: 프로세서

Claims (10)

1. 복수의 카메라 모듈이 일체형의 하우징 프레임에 탑재되어 구성되는 어레이 카메라; 및
   상기 복수의 카메라 모듈을 뷰어로 이용할지 또는 차량 주변의 객체와의 거리를 산출하는 데에 이용하는지에 따라 상기 복수의 카메라 모듈을 선택적으로 조합하여 촬영 영상을 이용하는 프로세서를 포함하고,
   상기 복수의 카메라 모듈 각각은 동일한 방향을 향하는 메인 카메라와 보조 카메라를 한 쌍으로 구비하고,
   상기 프로세서는 차량 주변의 객체와의 거리를 산출하는 경우, 상기 복수의 카메라 모듈 중에서 상기 메인 카메라와 상기 보조 카메라를 측정하고자 하는 거리 범위에 따라 선택적으로 조합하여 한 쌍으로 구동 시키되,
   근접 거리 범위에 존재하는 객체와 차량 간의 거리 정보 획득을 위하여, 하나의 카메라 모듈을 구성하고 제1 이격 거리(L1)로 이격된 한 쌍의 메인 카메라 및 보조 카메라를 함께 동작 시키고, 단거리 범위, 중거리 범위, 및 장거리 범위 각각에 존재하는 객체와 차량 간의 거리 정보를 획득하기 위하여, 제2 이격 거리(L2), 제3 이격 거리(L3), 및 제4 이격 거리(L4)로 이격된 두 개의 카메라 모듈 중 일측의 카메라 모듈에서는 메인 카메라를 구동 시키고, 타측의 카메라 모듈에서는 보조 카메라를 구동 시키는 것을 특징으로 하는 어레이 카메라 시스템.
2. 제 1 항에 있어서,
   상기 어레이 카메라는,
   수평방향으로 배열된 복수의 카메라 모듈을 포함하는 수평방향 어레이 카메라부;
   상기 수평방향 어레이 카메라부에 대해 수직방향으로 배열된 복수의 카메라 모듈을 포함하는 수직방향 어레이 카메라부;
   상기 수평방향 어레이 카메라부와 상기 수직방향 어레이 카메라부가 십자 형태로 배열되는 크로스형 어레이 카메라부; 및
   상기 수평방향 어레이 카메라부와 상기 수직방향 어레이 카메라부가 격자 형태로 배열되는 격자형 어레이 카메라부 중 적어도 하나를 구비하는 것을 특징으로 하는 어레이 카메라 시스템.
3. 제 2 항에 있어서,
   상기 메인 카메라는 렌즈 카메라로 구성되고, 상기 보조 카메라는 핀홀 카메라로 구성되는 것을 특징으로 하는 어레이 카메라 시스템.
4. 제 3 항에 있어서,
   상기 프로세서는,
   상기 복수의 카메라 모듈을 뷰어로 이용하기 위해서, 상기 수평방향 어레이 카메라부에 해당하는 상기 메인 카메라들을 동작 시켜 상기 동작된 메인 카메라들의 화각에 대응하는 수평방향의 촬영 영상을 획득하는 것을 특징으로 하는 어레이 카메라 시스템.
5. 제 3 항에 있어서,
   상기 프로세서는,
   상기 복수의 카메라 모듈을 뷰어로 이용하기 위해서, 상기 수직방향 어레이 카메라부에 해당하는 상기 메인 카메라들을 동작 시켜 상기 동작된 메인 카메라들의 화각에 대응하는 수직방향의 촬영 영상을 획득하는 것을 특징으로 하는 어레이 카메라 시스템.
6. 제 2 항에 있어서,
   상기 크로스형 어레이 카메라부는,
   상기 수평방향 어레이 카메라부로서 수평방향으로 배열된 제1 카메라 모듈, 제2 카메라 모듈 및 제3 카메라 모듈을 포함하고,
   상기 수직방향 어레이 카메라부로서 상위로부터 하위 방향으로 배열된 제4 카메라 모듈, 제5 카메라 모듈, 상기 제2 카메라 모듈 및 제6 카메라 모듈을 포함하며,
   상기 제2 카메라 모듈은 상기 수직방향 어레이 카메라부와 상기 수평방향 어레이 카메라부에서 크로스로 겹치는 것을 특징으로 하는 어레이 카메라 시스템.
7. 삭제
8. 제 1 항에 있어서,
   상기 프로세서는,
   측정하고자 하는 거리 범위에 따라 선택적으로 조합된 한 쌍의 상기 메인 카메라 및 상기 보조 카메라를 통해 각각 메인 이미지 및 보조 이미지를 획득하고,
   상기 메인 이미지에서 검출한 상기 객체에서 제1 매칭 포인트를 검출하고, 상기 보조 이미지에서 검출한 상기 객체에서 제2 매칭 포인트를 검출하여, 상기 제1 매칭 포인트의 위치 제2 매칭 포인트의 위치, 및 상기 메인 카메라와 보조 카메라 사이의 거리에 기초하여 근접 물체까지의 거리를 산출하는 것을 특징으로 하는 어레이 카메라 시스템.
9. 제 8 항에 있어서,
   상기 프로세서는,
   자율 주행 차량으로부터 상기 객체까지의 거리로 산출된 정보를 기반으로 상기 자율 주행 차량의 주행을 제어하는 것을 특징으로 하는 어레이 카메라 시스템.
10. 제 1 항에 있어서,
    상기 프로세서는,
    상기 복수의 카메라 모듈을 뷰어로 이용하여 획득한 촬영 영상으로부터 어느 객체를 검출한 경우, 상기 객체까지의 거리를 산출하기 위해 상기 복수의 카메라 모듈 중 한 쌍의 카메라 모듈을 선택적으로 조합하는 것을 특징으로 하는 어레이 카메라 시스템.
    

Images