KR20210072225A

KR20210072225A - 자율주행 차량의 원거리와 근거리 주변 환경 감지시스템

Info

Publication number: KR20210072225A
Application number: KR1020190162237A
Authority: KR
Inventors: 김봉섭; 윤경수; 허준호; 강성은
Original assignee: 재단법인 지능형자동차부품진흥원
Priority date: 2019-12-08
Filing date: 2019-12-08
Publication date: 2021-06-17

Abstract

본 발명은 본 발명은 자율주행 차량이 위치하는 근거리는 물론, 원거리의 주변 환경도 감지할 수 있는 시스템에 관한 것으로, 비행지역에 있는 대상물체를 감지하도록 다수의 센서를 구비하는 무인비행체와, 통신망으로 연결되는 무인비행체를 특정 영역을 비행하도록 제어하며, 무인비행체로부터 수신되는 영역에 존재하는 물체의 영상정보, 거리정보 및 위치정보를 포함하는 환경정보로부터 물체를 인식하여 차량의 주행을 제어하고 주행경로 전방의 교통 상황정보를 외부로 제공하는 자율주행차를 구비하는 것을 특징으로 한다.

Description

자율주행 차량의 원거리와 근거리 주변 환경 감지시스템 {System for recognizing the surrounding environment within near-far distance of autonomous driving vehicle}

본 발명은 자율주행 차량이 위치하는 근거리는 물론, 원거리의 주변 환경도 감지할 수 있는 시스템에 관한 것으로, 보다 상세하게는 비행지역을 감지할 수 있는 다양한 센서가 장착된 무인비행체와의 통신을 통하여 차량과 가까운 근거리는 물론, 차량과 이격되는 원거리의 주변 환경을 감지할 수 있는 자율주행 차량의 주변 환경 감지시스템에 관한 것이다.

차량을 이용하는 사용자의 편의를 위해, 각종 센서와 전자 장치를 포함하는 차량이 제공되고 있다. 특히, 사용자의 운전 편의를 위해 차량 운전자 보조 시스템(ADAS: Advanced Driver Assistance System)에 대한 연구가 활발하게 이루어지고 있다. 나아가, 자율 주행 차량(Autonomous Vehicle)에 대한 개발이 활발하게 이루어지고 있다.

자율주행 차량은 운전자가 없거나 운전자가 있더라도 차량을 직접 조작하지 않고 주행, 정지, 회전, 가속 또는 감속 등의 운전이 자동으로 이루어지는 차량으로, 주변지형이나 위치를 포함하는 주변 환경을 감지하는 센서가 설치되어 주행 차선의 유지, 인접차량과의 안전거리 확보와 근접 장애물의 검출과 충돌회피, 교통상황이나 도로 환경에 따른 차량속도 제어 등이 자동으로 수행된다.

자율주행 차량은 이와 같이 다양한 상황을 감지할 수 있도록 카메라, 레이더(RADAR), 라이다(LIDAR), 초음파 센서 등 다양한 센서가 장착되는데, 이와 같은 센서 들은 감지범위가 제한되어 사고 또는 공사 등의 이유로 차량이 정지하고 있는 경우와 같이 차량에서 이격된 원거리의 상황을 인지할 수 없다.

또한, 차량 외부에 장착되는 다양한 센서들은 수분이나 충격에 노출되어 있어 고장 또는 파손되면 주위 상황을 제대로 인지할 수 없어 사고 위험이 증대된다. 따라서, 자율주행 차량의 센서가 제대로 동작하지 않는 경우에 대비한 감지시스템이 필요한 실정이다.

대한민국 공개특허공보 제10-2010-0005362호 (자율주행 제어시스템)

따라서, 본 발명은 차량으로부터 이격된 원거리의 주변 환경을 감지할 수 있을 뿐만 아니라, 차량에 장착된 센서가 고장 또는 파손 되더라도 차량 인근의 주변 상황을 감지하여 자율주행을 할 수 있는 자율주행 차량의 주변 환경 감지시스템을 제공하는데 목적이 있다.

상기와 같은 기술적 과제를 해결하기 위하여, 본 발명은 비행지역에 있는 대상물체를 감지하도록 다수의 센서를 구비하는 무인비행체와, 통신망으로 연결되는 무인비행체를 특정 영역을 비행하도록 제어하며, 무인비행체로부터 수신되는 상기 영역에 존재하는 물체의 영상정보, 거리정보 및 위치정보를 포함하는 환경정보로부터 물체를 인식하여 차량의 주행을 제어하고 주행경로 전방의 교통 상황정보를 외부로 제공하는 자율주행차를 구비한다.

본 발명에 있어서, 상기 자율주행차는 장착된 센서가 동작하지 않는 경우에 상기 무인비행체를 자율주행차에 근접하게 자율주행차의 주행경로를 따라 비행하도록 제어한다.

본 발명에 있어서, 상기 자율주행차는 주행하는 도로 규정속도보다 설정된 차이만큼 느린 속도로 일정시간이 지속되게 주행되는 경우에 차량의 주행경로 상의 일정구간을 비행하도록 제어한다.

본 발명의 자율주행 차량은 통신망으로 연결된 무인비행체로부터 차량 주변의 근거리는 주변 환경에 대한 정보를 취득할 수 있어, 차량에 장착된 센서가 고장 또는 파손된 상황에서도 차량 주변의 환경을 인식할 수 있어 원활한 자율주행이 가능할 뿐만 아니라, 차량으로부터 이격되어 장착된 센서의 감지범위를 초과하는 원거리 교통 상황을 실시간으로 인식할 수 있어, 차량의 교통흐름이 정체되고 있는 원거리의 전방 교통상황을 파악하는 등에 유용하게 사용될 수 있다.

도 1은 본 발명의 일 실시예에 따른 자율주행 차량의 주변 환경 감지시스템 구성도이다.
도 2는 본 발명의 일 실시예에 따른 교신하는 무인비행체와 자율주행 차량의 구성을 나타내는 도면이다.

이하, 첨부 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.

본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되어지는 것으로서, 도면에서의 요소의 형상, 요소의 크기, 요소간의 간격 등은 보다 명확한 설명을 강조하기 위해서 과장되거나 축소되어 표현될 수 있다.

또한, 실시예를 설명하는데 있어서, 만일 어떤 구성요소가 다른 구성요소에 "형성되어", "포함되어", "결합되어", "고정되어" 있다고 기재된 때에는, 그 다른 구성요소에 직접적으로 형성, 포함, 결합 또는 고정되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

또한, 실시예를 설명하는데 있어서 원칙적으로 관련된 공지의 기능이나 공지의 구성과 같이 이미 당해 기술분야의 통상의 기술자에게 자명한 사항으로서 본 발명의 기술적 특징을 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.

도 1은 본 발명의 일 실시예에 따른 자율주행 차량의 주변 환경 감지시스템 구성도로, 본 발명은 무인비행체(100)와 자율주행 차량(200)이 통신망을 통하여 연결된다.

여기서, 통신망은 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 인터넷은 PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적 (hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.

무인비행체(100)는 사람이 탑승하지 않은 항공 비행기로, 항공 촬영용 기기가 내장되거나 결합되어 자율주행 차량(100)에 의해 비행여부, 비행경로 및 정보전송 등이 제어된다. 무인비행체(100)는 자율주행 차량(200)이 감지하고자 하는 근거리 또는 원거리 영역을 비행하면서 주변 환경정보를 취득하는데, 자율주행 차량(200)의 무인비행체 스테이션에 격납되어 이, 착륙되거나 또는 차량이 주행하는 인근에 별도의 무인비행체 스테이션에 격납되어 차량(200)의 요청에 따라 호출될 수도 있다.

도 2에 무인비행체(100)의 구성이 도시되어 있는데, 무인비행체(100)는 통신부(110)와 센서부(120)를 구비한다. 통신부(110)는 자율주행 차량(200)과의 통신을 위하여 구비되는 구성으로, 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다.

센서부(120)는 무인비행체(100) 비행지역의 환경정보를 취득하기 위하여 구비되는 구성으로, 카메라, 레이더, 라이다, 초음파 센서 및 GPS 센서를 포함할 수 있다. 카메라는 무인비행체(100) 주변의 이미지를 촬영하여 영상정보를 취득하는 장치로, 적외선 카메라, RGB 카메라, RGB-Depth 카메라 및 열화상 카메라 중 어느 하나가 사용될 수 있다. 레이더는 전자기파(일례로, 일종의 마이크로파로 10cm 내지 100cm의 파장을 가진 극초단파)를 상공에서 다른 차량이나 건물과 같은 대상물체로 발사하여 반사되는 전자기파를 수신하여 그 대상물체와의 거리나 방향을 감지하는 장치로 원거리에 위치한 대상물체 검출에 이용된다. 라이다는 레이저 반사광을 이용하여 대상물체와의 거리를 측정하는 장치로 대상물체를 입체 영상(stereo image)으로 매핑시킬 수 있다. 초음파 센서는 대상물체에 초음파를 발사한 후, 반사된 초음파를 이용하여 대상물체와의 거리 및 대상물체의 방향을 검출하는 장치로 보다 근거리에 위치한 대상물체 검출에 이용된다. GPS 센서는 GPS 위성에서 전송하는 신호를 수신하여 무인비행체(100)의 현재위치를 파악할 수 있는 장치이다.

이들 센서들의 조합을 이용하여 무인비행체(100)는 비행지역의 주변환경 정보를 획득할 수 있다. 여기서, 주변환경 정보는 무인비행체(100)의 비행지역에 있는 대상물체에 관한 정보로, 무인비행체(100) 주변의 차량, 건물, 보행자, 가로수 등에 대한 영상정보와, 무인비행체(200)의 위치에서 대상물체까지의 거리정보 및 대상물체의 위치정보를 포함할 수 있다. 이와 같이 무인비행체(100)로 획득되는 환경정보는 통신망을 통하여 자율주행 차량(200)이 수신하여 주행경로 상의 교통흐름이나 주행경로 전방의 사고나 공사여부와 같은 원거리 환경정보를 제공할 수 있다.

본 발명의 자율주행 차량(200)은 무인비행체(100)를 제어하여 차량주변의 환경정보를 수신하고 운전자의 조작 없이 운전이 이루어지도록 도 2에 도시되는 바와 같이, 입력부(210), 통신부(220), 내비게이션부(230), 무인비행체 제어부(240), 주변환경 인식부(250), 자율주행 제어알림부(260), 및 무인비행체 스테이션(270)을 구비한다.

이와 같은 자율주행 차량(200)의 구성은 하드웨어 모듈 또는 소프트웨어 모듈 형태로 구현되거나, 하드웨어 모듈과 소프트웨어 모듈이 조합된 형태로도 구현될 수 있다. 여기서, 소프트웨어 모듈이란, 예컨대 자율주행 차량(200) 내에서 연산을 수행하는 프로세서에 의해 실행되는 명령어로 이해될 수 있으며, 이러한 명령어는 자율주행 차량(200)내 메모리에 탑재된 형태를 가질 수 있을 것이다.

입력부(210)는 탑승자의 차량 운행명령을 입력받는 구성으로, 탑승자의 음성을 인식하는 음성인식 모듈이나 탑승자로부터 명령을 직접 입력받는 터치패널로 구성될 수 있다.

통신부(220)는 무인비행체(100), 다른 차량이나 외부 서버와의 교신을 위하여 구비되는 구성으로, 송신 안테나, 수신 안테나, 각종 통신 프로토콜이 구현 가능한 RF 회로를 포함할 수 있다. 통신부(220)는 블루투스, RFID, 적외선 통신, UWB, NFC, Wi-Fi와 같은 근거리 통신, 자율주행 차량(200)과 외부 서버, 다른 차량 또는 보행자와의 무선 통신을 지원하는 V2X 통신을 수행할 수 있다.

센서부(230)는 전술한 카메라, 레이더, 라이다, 초음파 센서 및 GPS 센서 등으로부터 복수 센서가 조합되어 이루어져 차량(200) 주변의 환경정보를 획득하는 구성이다.

내비게이션부(240)는 GPS를 통해 차량위치나 속도 등을 수신받고, 입력부(120)로 입력되는 탑승자의 목적지의 최적 주행경로를 탐색하여 결정한다. 이와 같은 주행경로는 무인비행체 제어부(250)에 의해 무인비행체(100)의 비행경로로 설정되어 차량(200)의 주행경로를 따라 비행할 수도 있다.

무인비행체 제어부(250)는 무인비행체(100)의 비행여부와 비행경로를 제어하는 구성으로, 자율주행 차량(200)에 장착된 센서부(230)의 일부 또는 전부가 동작하지 않아 주변정보를 인식할 수 없거나, 센서부(230) 감지범위 이상인 원거리의 환경정보가 필요한 경우에 무인비행체(100)를 비행하도록 제어한다.

여기서, 센서부(230) 감지범위 이상인 원거리의 주변 환경정보가 필요한 경우는 예를 들어, 주행경로 전방의 알 수 없는 이유로 교통흐름이 정체되는 상황으로, 이는 무인비행체 제어부(250)가 차량(200)이 주행하는 도로 규정 속도보다 설정된 차이만큼 느린 속도로 일정시간이 지속되게 주행하는 경우에 교통흐름의 정체로 판단할 수 있다. 이외에도 입력부(210)를 통하여 탑승자로부터 특정 지역을 입력받아 무인비행체(100)가 비행할 수도 있음은 물론이다. 이와 같이 무인비행체 제어부(250)가 무인비행체(100)의 비행이 필요하다고 판단되면, 차량(200) 또는 외부에 격납된 무인비행체(100)를 호출하여 목표 지역으로 비행시킨다.

이때, 무인비행체(100)의 비행경로는 무인비행체(100)의 비행원인에 따라 설정되는데, 예를 들어 차량의 센서부(230)가 고장난 경우에 차량으로부터 반경 수m 이내로 근접하게 차량의 주행경로를 따라 비행하도록 설정될 수 있으며, 또한 원거리 영역은 해당 지역의 반경거리 또는 차량(200)의 주행경로 상의 일정구간을 비행하도록 설정될 수 있다.

주변환경 인식부(260)는 무인비행체(100) 또는 차량(200)으로부터 전송되는 주변 환경정보로부터 물체를 인식하여 거리 및 위치정보와 함께 저장한다. 여기서, 주변환경 인식부(260)가 물체를 인식한다는 것은 센서부(110,220)에 의해 취득되는 카메라, 레이더, 라이더의 영상정보로부터 대상 물체에 대응하는 영역을 인식하는 것으로, 영상기반의 객체 인식기법을 이용하여 인식할 수 있다. 예를 들어, 입력영상으로부터 대상 물체를 인식하도록 학습된 인식기를 이용하여 인식할 수 있는데, 해당 인식기는 인공 뉴럴 네트워크를 포함할 수 있으며, 인공 뉴럴 네트워크는 딥 러닝을 통해 대상 물체를 인식하도록 학습될 수 있다. 이와 같은 인식기를 이용하여 주변환경 인식부(260)는 대상물체의 종류(차량, 차선, 도로시설물, 건물, 보행자 등)를 인식하고 물체의 속도 및 위치정보와 함께 물체 데이터로 저장한다.

자율주행 제어알림부(270)는 주변환경 인식부(260)의 물체 데이터로부터 차량(200)의 임계 거리 이내에 객체(사람, 외부차량 등)가 존재하는지 여부, 외부차량의 속도 및 방향, 차선이나 교통신호 감지, 및 차량의 위치변화 등과 같이 자율주행 차량(200)의 주변 상황을 판단하여 차량(200)의 출발, 주행, 주행속도, 정지, 차선변경 등을 제어하고, 또한 전방의 원거리 환경정보를 수신하여 탑승자 또는 다른 차량의 운전자와 인근 보행자에게 제공한다.

즉, 자율주행 제어알림부(270)는 차량(200)의 근거리 주변 환경정보에 따라 주행을 제어할 뿐만 아니라, 주행경로 상의 전방 원거리 구간의 차량 속도와 차간 거리와 같은 주변 환경정보를 실시간으로 수신하여 전방의 교통 상황정보(소통원활 여부, 정체구간, 정체구간 통과소요시간 등)로 제공할 수 있다. 이와 같은 교통 상황정보제공을 위하여 교통상황 정보표시부(280)가 차량(200)에 구비된다. 교통상황 정보표시부(270)는 LCD, LED, OLED와 같은 디스플레이로 자율주행 제어알림부(270)에 의해 제어되어 교통상황 정보가 실시간 표시된다.

무인비행체 스테이션(280)은 자율주행 차량(200)의 지붕에 구비되어 하나 또는 다수의 무인비행체(200)가 이착륙하고 착륙한 무인비행체(200)의 배터리를 충전할 수 있는 구성으로, 무인비행체(200)는 스테이션(280)에 격납되어 차량(200)과 함께 이동하다가 무인비행체 제어부(250)의 호출에 의해 비행하게 된다. 전술한 바와 같이 이와 같은 무인비행체 스테이션(280)은 차량(200)에 장착되지 않고, 별도로 마련될 수도 있음은 물론이다.

이와 같이 본 발명의 자율주행 차량은 통신망으로 연결된 무인비행체로부터 차량 주변의 근거리는 물론, 차량으로부터 이격되어 장착된 센서의 감지범위를 초과하는 원거리의 주변 환경에 대한 정보를 취득할 수 있다.

따라서, 본 발명의 자율주행 차량은 차량의 교통흐름이 정체되고 있는 원거리의 교통상황에 대한 정보를 인식할 수 있을 뿐만 아니라, 차량에 장착된 센서가 고장 또는 파손된 상황에서도 차량 주변의 환경을 인식할 수 있어 원활한 자율주행이 가능하다.

이상 설명한 본 발명은 기재된 실시예에 한정되는 것은 아니고, 본 발명의 사상 및 범위를 벗어나지 않고 다양하게 수정 및 변형할 수 있음은 이 기술의 분야에서 통상의 지식을 가진 자에게 자명하다. 따라서 그러한 변형예 또는 수정예들은 본 발명의 특허청구범위에 속한다 해야 할 것이다.

100 : 무인비행체 110, 220 : 통신부
120, 230: 센서부 200 : 자율주행차
210 : 입력부 240 : 내비게이션부
250 : 무인비행체 제어부 260 : 주변환경 인식부
270 : 자율주행 제어알림부 280 : 무인비행체 스테이션

Claims

비행지역에 있는 대상물체를 감지하도록 다수의 센서를 구비하는 무인비행체; 및,
통신망으로 연결되는 상기 무인비행체를 특정 영역을 비행하도록 제어하며, 무인비행체로부터 수신되는 상기 영역에 존재하는 물체의 영상정보, 거리정보 및 위치정보를 포함하는 환경정보로부터 물체를 인식하여 차량의 주행을 제어하고 주행경로 전방의 교통 상황정보를 외부로 제공하는 자율주행차;를 구비하는 것을 특징으로 하는 자율주행 차량의 주변 환경 감지시스템.
제1항에 있어서,
상기 자율주행차는 장착된 센서가 동작하지 않는 경우에 상기 무인비행체를 자율주행차에 근접하게 자율주행차의 주행경로를 따라 비행하도록 제어하는 것을 특징으로 하는 자율주행 차량의 주변 환경 감지시스템.
제2항에 있어서,
상기 자율주행차는 주행하는 도로 규정속도보다 설정된 차이만큼 느린 속도로 일정시간이 지속되게 주행되는 경우에 차량의 주행경로 상의 일정구간을 비행하도록 제어하는 것을 특징으로 하는 자율주행 차량의 주변 환경 감지시스템.