KR20150145685A - 위치정보를 이용한 제동대상 인식 장치 및 그 방법 - Google Patents

Abstract

위치정보를 이용한 제동대상 인식 장치 및 그 방법을 개시한다. 제동대상 인식 장치는 차량 탑재 카메라로부터 획득된 영상 정보와 이미지 정보, GPS를 통해 획득한 주행 도로 정보를 포함하는 차량 위치 정보 및 차속을 포함하는 주행 정보를 수집하는 정보 수집모듈, 상기 정보 수집 모듈로부터 상기 이미지 정보, 상기 차량 위치 정보 및 상기 주행 정보를 획득하여, 상기 위치 정보에 따른 관심영역을 추출하는 관심영역 추출모듈 및 상기 정보 수집부로부터 획득한 상기 주행 도로 정보와 상기 주행 정보를 고려하여, 상기 추출된 관심영역에 포함되는 제동대상과 상기 주행중인 도로의 주행 상황을 인식하는 인식모듈을 포함한다.

Description

위치정보를 이용한 제동대상 인식 장치 및 그 방법 {APPARATUS FOR RECOGNIZING TARGET AND METHOD THEREOF USING GLOBAL POSITIONING SYSTEM}

본 발명은 제동대상 인식 장치 및 그 방법에 관한 것으로서, 구체적으로 차량 주행 시 제동대상(Target)을 인식하는 장치 및 그 방법에 관한 것이다.

첨단 운전자 보조 시스템(Advanced Driver Assistance Systems) 또는 ADAS는 운전자의 운전편의를 향상 시키기 위한 시스템이다. ADAS의 인간-기계 인터페이스(Human-Machine Interface, HMI)는 운전자 운전 피로를 감소시키고, 안전한 운전을 도와 준다.

ADAS 연구 중 차량 주행에 방해를 줄 수 있는 물체(Target)를 탐지하는 기술은 이전부터 활발하게 연구되어 왔다. 예컨대, 차량 전방에 장착된 카메라를 통해 주행에 방해를 줄 수 있는 물체(보행자, 차량 등)의 존재 유무 및 주행에 방해를 주는 물체의 위치를 파악하여, 이를 운전자에게 미리 알림으로써, 교통 사고를 예방에 많은 도움을 준다 .

하지만, 종래기술에서는 차량 전방의 물체를 인식하는데 필요한 연산량이 많아, 전방물체의 정확한 위치를 추적하는데 비교적 긴 시간이 소요된다 . 구체적으로, 차량 전방에 위치하는 물체의 크기 변화, 움직이는 카메라 환경 그리고 일정하지 않은 보행자의 외곽 형태 때문에 보행자 특징 추출 시 연산량이 많아지게 된다. 이 때문에, 종래 기술을 통한 보행자 영역 추출은 PC 기반에서도 실시간 구현이 어려운 실정이다.

또한, 환경에 따라서 차량 전방에 존재하는 물체 탐지 알고리즘의 목적 이 달라진다. 일반적으로 차량이 정지한 경우에는, 주로 보안 목적으로 보행자를 탐지하고, 차량이 저속으로 주행중인 경우에는, 안전사고를 예방하여 보행자와 운전자의 안전을 보장하려는 목적으로 차량 전방 물체를 탐지한다. 더불어, 차량이 고속으로 주행중인 상황에서는 전방 차량과의 거리 및 전방 차량의 위치를 인식하는 목적으로 차량 전방에 존재하는 물체를 탐지한다. 차량 전방에 존재하는 물체를 탐지하는 기술은 운전자 및 보행자의 안전에 관련되어 고신뢰성 및 실시간성이 요구되므로, 초음파센서, 레이더센서(Radar Sensor), 라이다센서(Ridar Sensor), 비전센서(Vision Sensor)(예를 들어, 모노, 스테레오) 등 다양한 센서들이 이용되고 있고 각 센서마다 장단점이 있다.

이중에서, 모노 비전 센서를 사용한 방법은 단일 카메라로 큰 영역에 대응이 가능한 장점이 있지만 거리 및 위치 정보를 직접적으로 얻지 못하여 연산을 통해 추론해야 하므로 연산량이 많고 빛과 같은 외부 환경 변화에 민감한 단점이 있다.

종래의 모노영상을 이용하는 시스템에서는 기울기 히스토그램을 통해 다양한 영역을 대상으로 보행자 분류를 수행한다. 보행자 분류를 수행할 때, 특정 간격으로 반복하여 다양한 크기의 관심영역을 추출하게 된다. 이러한 이유 때문에, 종래의 모노영상을 이용하는 시스템은 영상에서 보행자가 포함되지 않은 과도한 후보영역을 생성하여 해당 영역에 기울기 히스토그램을 구하는 등 불필요한 연산이 수행되어 보행자 영역 추출의 시간 효율이 낮다.

또한, 종래에는 차량이 주행중인 도로정보 및 위치정보는 고려하지 않은 채, 영상정보를 이용하여 차량 전방 물체를 탐지하기 때문에, 주행중인 환경에서 꼭 필요한 차량 전방 물체 탐지 정보를 제공하지 못해, 운전자의 불편을 초래한다.

본 발명의 목적은 GPS를 통해 차량 위치정보를 획득하여, 차량 위치 정보에 포함된 주행도로의 종류 및 차속 등에 의존하는 운전상황에 따라 운전자가 우선적으로 인식 해야 하는 정보를 제공하는 위치정보를 이용한 제동대상 인식 장치 및 그 방법을 제공한다 .

또한 본 발명의 실시예를 통해 차량의 위치, 차속, 주행 도로의 종류에 따라 기 저장된 관심영역 데이터 베이스를 제공하고, 데이터 베이스에 근거하여 관심영역에 포함된 제동대상을 인식함으로써, 영상처리에 소요되는 연산량을 감소 시킨다.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 면에 따른 제동대상 인식 장치는 차량 탑재 카메라로부터 획득된 영상 정보와 이미지 정보, GPS를 통해 획득한 주행 도로 정보를 포함하는 차량 위치 정보 및 차속을 포함하는 주행 정보를 수집하는 정보 수집모듈, 정보 수집 모듈로부터 상기 이미지 정보, 상기 차량 위치 정보 및 상기 주행 정보를 획득하여, 상기 위치 정보에 따른 관심영역을 추출하는 관심영역 추출모듈 및 정보 수집부로부터 획득한 상기 주행 도로 정보와 상기 주행 정보를 고려하여, 상기 추출된 관심영역에 포함되는 제동대상과 상기 주행중인 도로의 주행 상황을 인식하는 인식모듈을 포함한다.

바람직한 실시예에 있어서, 관심영역 추출모듈은 기 저장된 도로 종류에 각각 대응되는 관심영역 데이터 베이스를 참조하여 상기 차량이 주행중인 도로 종류에 대응되는 관심영역을 추출하거나, 상기 차량이 주행중인 도로 종류에 따라 상기 차량에 설치된 카메라 촬영각도를 변경하여, 변경된 촬영각도에 의해 촬영된 차량의 전방이미지에서 관심영역을 추출하는 것이고, GPS를 통해 획득되는 정보에는 차량의 위치 정보에 포함되는 위도, 경도 및 주행 도로의 고도와 차속 및 차량 주변환경 온도 정보가 포함된다.

바람직한 실시예에 있어서, GPS를 통해 획득되는 정보에는 차량의 위치 정보에 포함되는 위도, 경도 및 주행 도로의 고도, 차량의 기울기, 차속 및 차량 주변환경 온도 정보가 포함된다.

본 발명의 다른 일면에 따른 제동대상 인식 방법은, 차량 탑재 카메라로부터 획득된 영상정보와 이미지정보, GPS를 통해 획득한 주행 도로 정보를 포함하는 차량 위치 정보 및 차속을 포함하는 주행 정보를 수집하는 단계 수집된 정보를 기반으로 상기 차량 위치 정보에 따른 관심영역을 추출하는 단계 및 수집된 상기 주행중인 도로정보, 상기 주행정보 중 적어도 하나를 고려하여, 상기 추출된 관심영역에 포함되는 제동대상 또는 주행 도로의 주행 상황을 인식하는 단계를 포함한다 .

본 발명에 따르면, 차량의 위치와 주행 도로의 종류 및 차속을 고려하여, 운전상황에 따라 운전자가 우선적으로 인식해야 하는 제동대상(Target) 정보를 제공함으로써, 안전사고를 예방하고, 운전자의 주행 편의를 향상 시킨다.

아울러, 관심영역에 포함된 제동대상만을 인식함으로써, 영상처리에 소요되는 연산량을 감소시켜, 제동대상 인식을 위한 연산 시간을 최소화한다. 이를 통해, 전체 시스템의 응답 성능을 향상시킨다.

도 1은 본 발명의 일실시예에 따른 제동대상 인식 장치의 대략적인 구성을 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 제동대상 인식장치의 상세한 구성을 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 차량에 탑재된 카메라를 통해 획득하는 이미지 정보의 예를 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 제동대상 인식 방법을 나타낸 순서도이다.
도 5는 본 발명의 일실시예에 따른 제동대상 인식과정을 보다 상세히 나타낸 순서도이다.
도 6은 본 발명의 일실시예에 따른 주행상황 인식과정을 보다 상세히 나타낸 순서도이다.
도 7a 내지 도 7b는 본 발명의 일실시예에 따른 고속도로에서의 제동대상 및 제어대상 인식 실시예를 나타낸 도면이다.
도 8a 내지 도 8b 는 본 발명의 실시예에 따른 제동 대상, 사람 및 도로 방지턱의 예를 나타낸 도면이다.

본 발명은 산업통상자원부(MOTIE)의 재원으로 한국산업기술진흥원(KIAT)의 지원을 받아 수행한 “그린 전기자동차(RE-EV) 실용화 연구기반 구축사업” 의 지원을 받아 수행된 연구결과이다.

또한, 본 발명은 산업통상자원부(Ministry of Trade Industry and Energy, MOTIE)와 한국산업기술진흥원(Korea Institute for Advancement of Technology, KIAT)의 지원을 받아 수행한 “0043358 분해능 10cm 이내의 탑뷰(top view)와 파노라마 뷰(panorama view)가 가능한 주변 이미지 정보 구성 및 인식 시스템”개발사업 지원을 받아 수행된 연구결과이다 .

본 발명에서는 GPS(Global Positioning System)를 통해 주행 도로의 종류를 포함하는 차량 위치 정보를 획득하고, 획득된 차량 위치 정보와 차량의 주행정보에 따라 운전자가 우선적으로 인식해야 할 제동대상의 위치 정보를 제공한다. 또한, 본 발명에서는 주행 도로의 종류를 포함하는 차량 위치 정보에 따른 관심영역 데이터 베이스를 통해, 관심영역에 포함되는 제동대상을 인식함으로써, 제동대상 인식을 위한 연산 시간을 최소화한다. 이를 통해, 전체 시스템의 응답 성능이 향상 될 수 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

본 명세서에서 사용되는 ‘모듈’ 이라는 용어는 용어가 사용된 문맥에 따라서, 소프트웨어, 하드웨어 또는 그 조합을 포함할 수 있는 것으로 해석되어야 한다. 예를 들어, 소프트웨어는 기계어, 펌웨어(firmware), 임베디드코드(embedded code), 및 애플리케이션 소프트웨어일 수 있다. 또 다른 예로, 하드웨어는 회로, 프로세서, 컴퓨터, 직접 회로, 직접 회로 코어, 센서, 멤스(MEMS; Micro-Electro-Mechanical System), 수동 디바이스, 또는 그 조합일 수 있다.

도 1은 본 발명의 일실시예에 따른 제동대상 인식 장치의 대략적인 구성을 나타낸 블록도이다.

도 1을 참조하면, 차량 주행위치에 따라 우선적으로 인식해야 하는 제동대상의 정보를 제공하는 제동대상(target) 인식장치는 정보 수집모듈(100), 관심영역 추출모듈(300), 인식모듈(500) 및 정보 제공모듈(700)을 포함한다.

정보 수집 모듈(100)은 차량 탑재 카메라로부터 획득한 영상정보와 이미지정보, GPS를 통해 획득한 주행 도로정보(예를 들어, 도로의 종류)를 포함하는 차량 위치정보 및 차속을 포함하는 주행정보를 수집한다. 정보 수집 모듈(100)에 의해 수집된 영상정보와 이미지정보, 차량 위치정보 및 주행정보는 관심영역 추출 모듈(300)로 전달된다.

관심영역 추출 모듈(300)은 정보 수집 모듈(100)로부터 획득한 차량 위치 정보에 따라, 관심영역(RoI, Region of Interest)을 추출한다. 추출된 관심영역 정보는 인식모듈(500)로 전달된다.

인식모듈(500)은 관심영역 추출 모듈(300)로부터 획득한 관심영역 정보, 정보 수집부(100)로부터 획득한 주행도로정보, 차량주행정보 중 적어도 하나를 고려하여, 상기 추출된 관심영역에 포함되는 제동대상과 상기 주행중인 도로의 주행 상황을 인식한다. 여기서, 주행중인 도로 정보에는 주행중인 도로의 종류(예를 들어, 고속도로, 보행자 도로) 등이 포함된다. 인식모듈(500)에 의해 인식된 제동대상 정보 및 주행중인 도로의 주행 상황 정보는 정보 제공 모듈(700)로 전달된다.

정보 제공 모듈(700)은 인식모듈(500)로부터 전달받은 제동대상 정보와 주행중인 도로의 주행 상황 정보를 운전자에게 음향형태 또는 시각적인 형태로 변환하여 제공한다.

일실시예에 따른 제동대상(target) 인식 장치는, GPS를 통해 획득한 차량의 위치, 주행 도로의 종류 및 차속을 고려하여, 이에 따라 운전자가 우선적으로 인식해야 하는 제동대상(Target) 정보를 제공함으로써, 운전자의 주행 편의를 향상 시킨다.

도 2는 본 발명의 일실시예에 따른 제동대상 인식장치의 상세한 구성을 나타낸 블록도이다.

도 2를 참조하면, 정보 수집 모듈(100)은 이미지 정보 수집부(110), 위치정보 수집부(130) 및 주행정보 수집부(150)를 포함한다.

이미지 정보 수집부(110)는 차량에 탑재된 카메라 또는 센서로부터 획득한 차량 전방 및 차량 후방의 이미지 정보 및 영상 정보를 수집한다. 예를 들어, 도 3에 표시된 차량 전방의 표지판 이미지도 차량에 탑재된 카메라를 통해 수집 가능하다. 여기서, 카메라는 차량과 같은 이동체에 구비된 촬영수단으로서, 탐지 물체(예컨대, 보행자)를 포함하는 전방 영역을 촬영한 영상 이미지를 생성한다. 본 실시 예에서는 이동체에 구비된 촬영수단을 통해 획득한 이미지를 예로 들어 설명하고 있으나, 이에 본 발명이 한정되는 것은 아니고, 비디오 영상을 촬영하기 위하여 사용되는 폐쇄회로 TV(CC-TV) 또는 CCD(Charged Couple Device)카메라를 포함하는 각종 영상 인식 장치를 통해 차량 주변의 이미지를 획득하는 것도 가능하다 .

아울러, 본 명세서에 기재되는 실시예는 차량과 같은 이동체에 구비되는 영상 획득장치로 전방 영상을 획득하여 제동 대상을 인식하는 실시예에 관해 기재하였지만, 이에 한정되는 것이 아니라, 카메라를 통해 영상을 획득한 후, 오브젝트를 인식하는 과정을 필요로 하는 보안분야 등으로 확대되어 적용 가능하다.

위치정보 수집부(130)는 GPS(Global Positioning System)을 통해 차량의 위치정보를 획득한다. 차량의 위치정보에는 주행중인 도로정보가 포함된다. 여기서 도로정보는, 고속도로, 보행자 도로, 갓길 등과 같은 주행 도로의 종류에 대한 정보를 의미한다. GPS 를 통해 획득되는 정보에는 차량의 위치 정보에 포함되는 위도, 경도 및 주행 도로의 고도와 차속 및 차량 주변환경 온도 정보가 포함된다.

구체적으로, GPS(Global Positioning System)을 통해 획득 가능한 위치정보에는 골목길, 지하주차장, 지상 주차장, 횡단보도, 1차선 도로, 2차선, 3차선, 4차선, 5차선, 6차선, 7차선, 8차선, 9차선, 10차선 및 일반통행로, 고속도로, 속도제한 지역, 스쿨존, 정지, 저속, 중속, 평균속도, 고속 주행 중 등 차량 속도 상태와. 차량이 주행중인 지역의 특성, 도로 특성 정보가 포함된다.

실시예에 있어서, 위치 정보에 포함된 고도, 차량의 기울기 등의 상태에 따라 차량에 장착된 카메라의 각도 및 인식 영역의 변화를 유도할 수 있다.

또한, 주행 정보와 현재 시간 데이터 및 태양 위치에 따른 계절정보를 통해 카메라의 촬영 밝기 조절 등 카메라와 차량 현재 위치간 상관 관계를 추정하고, 추정 결과를 이용하여 카메라를 조정함으로써 인식영역의 변화를 유도 할 수 있다.

주행정보 수집부(150)는 차량의 ECU(Engine Control Unit) 또는 차속 센서로부터 주행정보를 수집한다. 주행정보에는, 차량 주행 속도, 속도 변화량 등이 포함된다. 또한, 인공위성으로부터 실시간 교통 정보를 받고, 현재 위치의 평균 주행 시간을 측정 할 수 있으며, 현재 차량의 주행 속도를 비교하여 주행 상태를 추정 할 수 있음

정보 수집 모듈(100)에서 수집된 차량 전 후방의 이미지정보, 차량 위치정보 및 주행정보는 인식모듈(500)과 관심영역 추출모듈(300)로 전달된다.

관심영역 추출모듈(300)은 도로 별 관심영역 데이터베이스부(310) 및 관심영역 추출부(330)를 포함한다.

도로 별 관심영역 데이터베이스부(310)에는 도로 종류에 따른 관심영역 데이터가 저장된다. 예를 들어, 도로 별 관심영역 데이터베이스부(310)에는 고속도로에서의 관심영역은, 차종 및 상기 고속도로의 넓이에 따라 기 설정된 넓이의 삼각형 형태의 영역 등이 될 수 있다. 또 다른 예로, 보행자 도로에서의 관심영역은 본네트(Bonnet)의 전방 길이를 밑변으로 하는 직사각형 영역 등으로 저장될 수 있다. 전술한 예는 도로 종류에 따른 관심 영역에 대한 것일 뿐 이에 한정되는 것은 아니다.

관심영역 추출부(330)는 도로 별 관심영역 데이터베이스부(310)에 기 저장된 데이터 베이스를 참조하여, 차량이 주행 도로의 종류에 따라 관심영역을 추출한다. 주행 도로 별로 추출된 관심영역 정보는 인식모듈(500)로 전달된다.

인식모듈(500)은 추출된 관심영역 정보를 기반으로 관심영역에 포함된 제동대상을 인식하거나, 주행 상황을 인식한다. 이를 위해, 인식모듈(500)는 제동대상 인식부(510) 및 주행상황 인식부(520)를 포함한다.

제동대상 인식부(510)는 관심영역에 포함된 제동대상을 인식한다. 본 발명에 따른 실시예에서 제동대상 인식부(510)는 추출된 관심영역에 포함되는 제동대상만 인식함으로써, 영상처리에 소요되는 연산량을 감소시킨다.

관심영역에서의 제동대상 인식을 위한 제동대상 인식부(510)는, 에지맵 생성부(511), 특징 추출부(513) 및 판단부(515)를 포함한다.

에지맵 생성부(511)는 정보 수집 모듈(100)로부터 획득한 영상정보 및 이미지정보를 스캐닝하여 에지맵(Edge map)을 생성한다. 예를 들어, 에지맵 생성부(511)는 관심영역 이미지 또는 카메라로부터 입력된 이미지의 세로방향 및 가로방향 에지를 누적하여, 관심영역의 에지 맵(Edge map)을 생성한다.

에지맵 생성부(511)는 관심영역의 에지 맵을 생성하기 위해, 에지 추출 과정, 에지 데이터 변환 과정 및 에지 맵 생성 과정을 수행한다. 에지(Edge)는, 영상 내 인접한 픽셀 간에 밝기 차이가 상대적으로 큰 부분을 의미한다. 즉, 에지는 영상 안에 있는 객체의 경계(Boundary)이다. 에지를 통해 이미지에 포함된 객체의 모양(Shape), 방향성(Direction)등을 탐지할 수 있다. 이러한, 에지를 추출하는 기법에는 유사 연산자 기법, 차 연산자 기법 등이 있다.

에지맵 생성부(511)는 관심영역의 세로 에지를 추출한 이후, 상기 추출된 에지를 이진 데이터로 변환한다. 구체적으로, 에지맵 생성부(511)는 관심영역 이미지의 최소 구성 단위인 픽셀에 에지가 검출된 부분은 1로 에지가 검출되지 않은 부분은 0으로 변환한다. 이후, 에지맵 생성부(511)는 변환된 에지 맵 데이터를 특징 추출부(513)으로 전달한다.

특징 추출부(513)는 에지 맵 데이터를 전달받아, 관심영역에 포함된 제동대상의 특징을 추출한다. 예를 들어, 특징 추출부(513)는 에지맵에 포함된 에지값을 기 설정된 에지값과 비교하여, 비교 결과를 통해 제동대상의 특징을 추출한다. 이후, 추출된 제동대상의 특징 정보는 판단부(515)로 전달된다.

판단부(515)는 추출된 제동대상의 특징에 따라 상기 제동대상을 인식하여 분류한다. 여기서, 제동대상은 차량 전방 또는 후방에 위치한 차량과 충돌 가능성이 있는 물체이다. 제동대상(target)에는 보행자, 동물, 차량, 공중에 날아다니는 물건 등과 같은 움직이는 물체와 표지판, 방지턱, 박스 등과 같은 정지한 물체 등이 포함된다.

주행상황 인식부(520)는 주행도로의 종류와 주행정보를 고려하여 주행 상황을 인식한다. 예를 들어, 주행상황 인식부(520)는 차량이 고속도로를 주행 중이거나, 차량의 속도가 임계값 이상인 경우, 운전자가 우선적으로 인식해야 하는 정보를 인식한다. 예를 들어, 주행 상황 인식부(520)는 차량의 흐름 정보, 주변 차량의 속도 정보, 전방 차량과의 거리 정보, 전방 차선 정보 등을 인식한다. 이를 위한 주행상황 인식부(520)는, 벡터 추출부(521), 벡터 비교부(523) 및 주행상황 판단부(525)를 포함한다.

벡터 추출부(521)는 차량에 탑재된 카메라로부터 획득한 영상 데이터로부터 차량 주변 물체의 모션(motion) 벡터를 포함하는 벡터를 추출한다.

벡터 비교부(523)는 추출된 벡터를 기 저장된 벡터와 비교한다.

주행상황 판단부(525) 비교 결과를 통해, 차량이 주행중인 도로의 주행상황을 인식한다. 예를 들어, 주행상황 인식부(525)는 추출된 모션 벡터의 크기와 기 저장된 모션 벡터의 크기 간 차이 값에 따라, 차이값이 클수록 차량 정체가 없는 주행상황으로 판단인식, 차이값이 작을수록 차량 정체 상황으로 인식한다.

정보 제공 모듈(700)은 인식된 제동대상 및 주행상황을 운전자에게 제공한다. 이를 위한 정보 제공 모듈(700)은 디스플레이부(710) 및 음향 출력부(730)를 포함한다.

디스플레이부(710)는 제동대상 정보 및 주행 상황 정보를 차량 프론트 패널(Front Panel)에 디스플레이 함으로써, 주행도로 종류 및 차속에 따라 우선적으로 인식해야 하는 정보를 운전자에게 제공한다.

음향 출력부(730)는 제동대상 정보 및 주행 상황 정보를 사람의 목소리를 포함하는 음향의 형대로 운전자에게 제공한다. 예를 들어, ‘전방 10m 앞 보행자 감지, 주의를 바랍니다’와 같은 형태이다.

본 발명에 따른 제동대상 인식장치는 전술한 구성요소로 한정되는 것이 아니라, 제동대상 인식 과정 및 실시예에 대한 일련의 연산과정에 있어서 필요한 구성요소들이 부가 될 수 있다. 도 1내지 도 2에 도시된 제동 대상 인식 장치의 구성은 전술한 대로 제동 대상 인식을 위한 일련의 과정을 수행하는 블록을 예시적으로 도시한 것 이다 .

도 4는 본 발명의 일실시예에 따른 제동대상 인식 방법을 나타낸 순서도이다.

S100 단계에서는 정보 수집 모듈(100)에서 차량 탑재 카메라로부터 획득한 영상 정보와 이미지 정보, GPS를 통해 획득한 주행 도로 정보를 포함하는 차량 위치 정보 및 차속을 포함하는 주행 정보를 수집하는 과정이 수행된다.

S200 단계에서는 관심영역 추출 모듈(200)에서 수집된 정보를 기반으로, 상기 차량 위치 정보에 따른 관심영역을 추출하는 과정이 수행된다. 예를 들어, 관심영역 추출 모듈(200)에서는 기 저장된 도로 별 관심영역 데이터 베이스를 참조하여 관심영역을 추출한다.

S300 단계에서는 인식모듈(300)에서 주행 도로 종류 및 차속에 따라 제동대상 또는 주행상황을 인식하는 과정이 수행된다.

예를 들어, 차량이 보행자 도로를 주행 중 이거나, 차속이 임계값 이하라면, 추출된 관심영역에 포함되는 제동대상을 인식하는 과정이 수행된다.

반면, 차량이 보행자 도로가 아닌 고속도로 등을 주행 중 이거나, 차속이 임계값 보다 크다면, 주행상황을 인식하는 과정이 수행된다. 주행 상황은 고속 주행 시 우선적으로 필요한 도로 정체 상황 정보 등을 의미한다. 예를 들어, 주행 상황 정보에는 주변 차량의 흐름 정보, 주변 차량의 차속 정보 및 전방 차량과의 거리 정보 등이 포함될 수 있다.

S600 단계에서는 정보 제공 모듈(700)에서 인식된 제동대상 정보 및 주행상황 정보를 운전자에게 제공하는 과정이 수행된다.

도 5는 본 발명의 일실시예에 따른 제동대상 인식 과정을 보다 상세히 나타낸 순서도이다.

차량이 보행자 도로를 주행 중 이거나, 차속이 임계값보다 작은 경우 관심영역에 포함되는 제동대상을 인식하기 위해, 에지맵 생성부(511)에서는 관심영역 이미지를 스캐닝하여 관심영역 이미지에 포함된 가로 및 세로 에지를 통해 에지맵을 생성하는 과정이 수행된다.

S420 단계에서는 특징 추출부(513)에서 생성된 에지맵 데이터를 기반으로 관심영역에 포함된 제동대상의 특징을 추출하는 과정이 수행된다.

S430 단계에서는 판단부(515)에서 추출된 특징을 기반으로 제동대상을 인식하는 과정이 수행된다. 예를 들어, 판단부(515)에서는 추출된 특징을 기반으로 제동대상의 종류 및 차량과 제동대상 사이의 거리 정보 등을 인식한다.

이후, S400 단계로 진행한다.

도 6은 본 발명의 일실시예에 따른 주행상황 인식과정을 보다 상세히 나타낸 순서도이다.

S510 단계에서는 정보 수집모듈(100)에서 차량에 탑재된 카메라 등을 통해 차량 주변 물체를 촬영한 영상정보를 수집하는 과정이 수행된다.

S520 단계에서는 벡터값 추출부(521)에서 수집된 영상정보로부터 차량 주변 물체의 모션 벡터를 포함하는 벡터의 크기값을 추출하는 과정이 수행된다.

S530 단계에서는 벡터값 비교부(523)에서 추출된 벡터의 크기값을 기 저장된 벡터의 크기값과 비교하는 과정이 수행된다.

S540 단계에서는 주행상황 판단부(525)에서 비교 결과에 따라 주행상황을 인식하는 과정이 수행된다. 이후, S600 단계로 진행한다.

도 1 내지 도 2를 참조하여 전술된 설명은 도 4 내지의 도 6의 실시 예에서도 적용될 수 있다. 중복되는 설명은 생략한다.

도 7a 내지 도 7b는 본 발명의 일실시예에 따른 고속도로에서의 제동대상 및 제어대상 인식 실시예를 나타낸 도면이다.

도 7a를 참조하면 본 발명의 일실시예에서는, GPS 정보를 통해 차량의 위치를 파악하고, 차량이 고속도로를 주행중인 것으로 판단되면, 고속도로 주행 시 운전자에게 우선적으로 제공되어야 할 정보를 제공한다. 예를 들어, 도 8a 에 도시된 바와 같이, 고속도로 주행 시에는 전방 차선을 인식하여 운전자에게 차선 정보를 제공한다.

도 7b를 참조하면, 만약, 차량이 고속도로를 일정 속도 이상으로 주행 중이라면, 주변 차량의 속도 정보를 포함하는 주변 상황 정보를 인식하여 운전자에게 제공함으로써, 주행도로 별로 맞춤형 정보를 제공하여 운전자의 편의를 향상 시킬 수 있다.

도 8a 내지 도 8b는 본 발명의 일실시예에 따른 보행자 도로에서의 제동대상 인식 실시예를 나타낸 도면이다.

도 8a 내지 도 8b 를 참조하면, 차량이 일정 속도 이하로 주행 중이라면, 일반적인 상황에서 운전자에게 우선적으로 필요한 정보는 전방에 위치하는 제동대상 감지 정보이다. 이를 위해, 본 발명에 따른 실시예에서는 차속이 일정 이하로 주행중인 경우, 보행자, 방지턱 등을 포함하는 차량 전방에 위치하는 제동대상(Target)의 존재 유무를 인식하여, 인식된 제동 대상의 위치 및 차량과의 이격거리 등의 정보를 운전자에게 제공한다.

전술한 바와 같이, 본 발명의 실시 예에서는 GPS를 통해 주행 도로 종류를 포함하는 차량 위치 정보를 획득한다. 이후, 획득된 차량 위치 정보와 차량 주행정보에 따라 제동대상 정보 및 주행상황 정보를 제공한다. 본 발명을 통해, 차량 위치에 따라 운전자가 우선적으로 인식해야 하는 도로 별 맞춤형 정보를 제공함으로써 운전자의 편의성을 향상시킨다. 또한, 본 발명에서는 주행 도로의 종류를 포함하는 차량 위치 정보에 따른 관심영역 데이터 베이스를 제공하여, 관심영역에 포함되는 제동대상을 인식함으로써, 제동대상 인식을 위한 연산 시간을 최소화 할 수 있다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (12)

1. 차량 탑재 카메라로부터 획득된 영상 정보와 이미지 정보, GPS를 통해 획득한 주행 도로 정보를 포함하는 차량 위치 정보 및 차속을 포함하는 주행 정보를 수집하는 정보 수집모듈;
   상기 정보 수집 모듈로부터 상기 이미지 정보, 상기 차량 위치 정보 및 상기 주행 정보를 획득하여, 상기 위치 정보에 따른 관심영역을 추출하는 관심영역 추출모듈; 및
   상기 정보 수집부로부터 획득한 상기 주행 도로 정보와 상기 주행 정보를 고려하여, 상기 추출된 관심영역에 포함되는 제동대상과 상기 주행중인 도로의 주행 상황을 인식하는 인식모듈;
   을 포함하는 위치 정보를 이용한 제동대상 인식 장치.
   
2. 제 1항에 있어서, 상기 관심영역 추출모듈은
   기 저장된 도로 종류에 각각 대응되는 관심영역 데이터 베이스를 참조하여 상기 차량이 주행중인 도로 종류에 대응되는 관심영역을 추출하거나, 상기 차량이 주행중인 도로 종류에 따라 상기 차량에 설치된 카메라 촬영각도를 변경하여, 변경된 촬영각도에 의해 촬영된 차량의 전방이미지에서 관심영역을 추출하고,
   상기 GPS를 통해 획득한 정보에는 차량의 위치 정보에 포함되는 위도, 경도 및 주행 도로의 고도, 차량의 기울기, 차속 및 차량 주변환경 온도 정보가 포함되는 것
   인 위치 정보를 이용한 제동대상 인식 장치.
   
3. 제 1항에 있어서, 인식모듈은
   상기 정보 수집모듈로부터 획득한 영상 정보와 이미지 정보를 분석하여, 상기 차량의 위치 정보에 따른 제동대상을 인식하는 제동대상 인식부; 및
   상기 정보 수집모듈로부터 획득한 상기 주행 도로 정보, 상기 주행정보 중 적어도 어느 하나에 따라, 상기 차량의 주행 상황을 인식하는 주행 상황 인식부;
   를 포함하는 것인 위치정보를 이용한 제동대상 인식 장치.
   
4. 제 3항에 있어서, 상기 제동대상 인식부는
   상기 정보 수집모듈로부터 획득한 영상정보 및 이미지정보를 스캐닝하여 에지맵을 생성하는 에지맵 생성부;
   상기 에지맵에 포함된 에지값을 기 설정된 에지값과 비교하여 상기 제동대상의 특징을 추출하는 특징 추출부; 및
   상기 추출된 제동대상의 특징에 따라 상기 제동대상을 인식하는 인식부;
   를 포함하는 것인 위치정보를 이용한 제동대상 인식 장치.
   
5. 제 3항에 있어서, 상기 주행 상황 인식부는
   상기 정보 수집부로부터 획득한 영상정보와 이미지 정보에서 상기 차량 주변 물체의 벡터의 크기값을 추출하는 벡터 추출부;
   상기 추출된 벡터의 크기값을 기 저장된 벡터의 크기값과 비교하는 벡터 비교부; 및
   상기 비교 결과를 통해, 상기 주행 도로의 주행상황을 인식하는 주행상황 인식부; 를 포함하는 것인 위치정보를 이용한 제동대상 인식 장치.
   
6. 제 1항에 있어서, 상기 위치정보를 이용한 인식 장치는
   상기 추출된 관심영역에 포함되는 제동대상정보와 상기 주행도로의 주행 상황 정보를 사용자에게 제공하는 정보 제공모듈; 을 더 포함하는 것인 위치정보를 이용한 제동대상 인식 장치.
   
7. 차량 탑재 카메라로부터 획득된 영상정보와 이미지정보, GPS를 통해 획득한 주행 도로 정보를 포함하는 차량 위치 정보 및 차속을 포함하는 주행 정보를 수집하는 단계;
   상기 수집된 정보를 기반으로 상기 차량 위치 정보에 따른 관심영역을 추출하는 단계; 및
   상기 수집된 상기 주행중인 도로정보, 상기 주행정보 중 적어도 하나를 고려하여, 상기 추출된 관심영역에 포함되는 제동대상 또는 주행 도로의 주행 상황을 인식하는 단계;
   를 포함하는 위치정보를 이용한 제동대상 인식 방법.
   
8. 제 7 항에 있어서, 상기 관심영역을 추출하는 단계는
   기 저장된 도로 종류 별 관심영역 데이터 베이스를 참조하여, 상기 차량이 주행중인 도로 종류 별 관심영역을 추출하는 것
   인 위치정보를 이용한 제동대상 인식 방법.
   
9. 제 7항에 있어서, 상기 추출된 관심영역에 포함되는 제동대상 또는 상기 주행중인 도로의 주행 상황을 인식하는 단계는
   상기 수집된 영상 정보와 이미지 정보를 분석하여, 상기 차량의 위치 정보에 따른 제동대상을 인식하는 단계; 및
   상기 수집된 주행 도로 정보에 따라, 상기 차량의 주행 상황을 인식하는 단계;
   를 포함하는 것인 위치 정보를 이용한 제동대상 인식 방법.
   
10. 제 9항에 있어서, 상기 차량의 위치 정보에 따른 제동대상을 인식하는 단계는
    상기 수집된 영상 정보 및 이미지 정보를 스캐닝하여 에지맵을 생성하는 단계;
    상기 생성된 에지맵에 포함된 에지값을 기 설정된 에지값과 비교하여 상기 제동대상의 특징을 추출하는 단계; 및
    상기 추출된 제동대상의 특징에 따라 상기 제동대상을 인식하여 분류하는 단계;를 포함하는 것인 위치정보를 이용한 제동대상 인식 방법.
    
11. 제 9항에 있어서, 상기 차량의 주행 상황을 인식하는 단계는
    상기 수집된 영상 정보와 이미지 정보에서 벡터를 추출하는 단계;
    상기 추출된 벡터를 기 저장된 벡터와 비교하는 단계; 및
    상기 비교된 벡터를 통해, 상기 차량이 주행중인 도로의 주행상황을 인식하는 단계;
    를 포함하는 것인 위치정보를 이용한 제동대상 인식 방법.
    
12. 제 7항에 있어서, 상기 인식방법은
    상기 추출된 관심영역에 포함되는 제동대상 또는 상기 주행중인 도로의 주행 상황을 사용자에게 제공하는 단계;
    를 더 포함하는 것인 위치정보를 이용한 제동대상 인식 방법.

Images