KR102638068B1 - 차량 제어 시스템, 표식 분류 장치 및 표식 분류 방법 - Google Patents

차량 제어 시스템, 표식 분류 장치 및 표식 분류 방법 Download PDF

Info

Publication number
KR102638068B1
KR102638068B1 KR1020190049108A KR20190049108A KR102638068B1 KR 102638068 B1 KR102638068 B1 KR 102638068B1 KR 1020190049108 A KR1020190049108 A KR 1020190049108A KR 20190049108 A KR20190049108 A KR 20190049108A KR 102638068 B1 KR102638068 B1 KR 102638068B1
Authority
KR
South Korea
Prior art keywords
information
driving road
classifier
mark
road
Prior art date
Application number
KR1020190049108A
Other languages
English (en)
Other versions
KR20200125189A (ko
Inventor
샨무가라즈 엠
Original Assignee
주식회사 에이치엘클레무브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이치엘클레무브 filed Critical 주식회사 에이치엘클레무브
Priority to KR1020190049108A priority Critical patent/KR102638068B1/ko
Priority to US16/509,459 priority patent/US11199854B2/en
Publication of KR20200125189A publication Critical patent/KR20200125189A/ko
Application granted granted Critical
Publication of KR102638068B1 publication Critical patent/KR102638068B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle for navigation systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

본 개시는 차량 제어 시스템, 표식 분류 장치 및 표식 분류 방법에 관한 것이다. 구체적으로 본 개시에 따른 차량 제어 시스템은 차량의 내부 또는 외부에 대한 시야를 갖도록 차량에 배치되어 이미지 데이터를 캡쳐하는 카메라와, GPS 위성으로부터 GPS 신호를 수신하는 통신 모듈과, 이미지 데이터 및 GPS 신호에 기초하여 주행도로에 존재하는 표식의 종류를 분류하여 저장하는 표식 분류 장치 및 이미지 데이터에 기초하여 차량이 주행하는 주행도로에서의 표식을 검출하고, 표식 분류 장치에 저장된 표식의 종류에 기초하여 검출된 표식의 종류를 확인하고, 확인된 표식의 종류에 기초하여 차량의 주행을 제어하도록 제어 신호를 생성하여 출력하는 제어 장치를 포함할 수 있다.

Description

차량 제어 시스템, 표식 분류 장치 및 표식 분류 방법{VEHICLE CONTROL SYSTEM, APPARATUS FOR CLASSIFING MARKER AND METHOD THEREOF}
본 개시는 차량 제어 시스템, 표식 분류 장치 및 표식 분류 방법에 관한 것이다.
최근 정보처리 및 통신기술이 비약적으로 발달함에 따라 지형공간정보를 지도 데이터로 구축하고, 이를 내비게이션 맵 제작 및 안전운전, 무인 자율 주행 등과 같은 교통관련 분야에 활용하는 사례가 많아지고 있다.
특히, 이러한 지도 데이터는 실제 촬영된 영상 정보 등을 바탕으로 제작된다. 전술한 지도 데이터는 도로의 신설이나 교통 체계의 변경 등에 따라 변화하기 때문에 이러한 지도 데이터를 갱신(Update) 하여야 한다.
이렇게 지도 데이터를 갱신하는 것은 일반적으로 수작업에 의해 진행된다. 이때, 차선(Lane, 교통 진행 방향, 진입 금지 등의 차량 주행 안내를 주행도로상에 표시하는 표식(Marker)의 경우 지속적으로 변경되기 때문에, 작업자가 일일이 확인하고, 관리자가 표식 정보를 일일이 검색하고 갱신하여야 하는 번거로움이 있다.
또한, 지도 데이터를 갱신하지 못한 차량의 경우, 차량에 포함된 제어 장치가 변경된 표식을 정확히 인식하지 못하여 차량을 오제어할 수 있는 문제점이 있다.
이러한 배경에서, 본 개시는 주행 중인 차량의 주행도로에 표시된 표식들을 정확히 인식하고, 인식된 표식에 따라 차량의 주행을 적절히 제어할 수 있는 차량 제어 시스템, 표식 분류 장치 및 표식 분류 방법을 제공하고자 한다.
또한, 본 개시는 국가마다 다르게 약속된 표식을 정확히 인식함으로써 차량을 적절하게 가속하거나 제동할 수 있는 차량 제어 시스템, 표식 분류 장치 및 표식 분류 방법을 제공하고자 한다.
전술한 과제를 해결하기 위하여, 일 측면에서, 본 개시는 이미지 데이터를 수신하여 주행도로를 검출하고 검출된 주행도로에 대한 주행도로 정보를 포함하는 검출 신호를 생성하여 출력하는 주행도로 검출부와, 수신된 GPS 신호로부터 국가 정보 또는 지역 정보를 추출하고, 복수의 분류자(Classifier) 중 국가 정보 또는 지역 정보에 대응되는 분류자를 선택하고, 선택된 분류자에 대한 분류자 정보를 포함하는 분류자 신호를 생성하여 출력하는 분류자 선택부 및 검출 신호를 수신하여 주행도로 정보로부터 검출된 주행 도로에 존재하는 표식을 인식하고, 분류자 신호를 수신하여 분류자 정보를 확인하고, 분류자 정보에 의해 지시되는 분류자를 이용하여 인식된 표식의 종류를 분류하는 표식 분류부를 포함하는 것을 특징으로 하는 표식 분류 장치를 제공한다.
다른 측면에서, 본 개시는 이미지 데이터를 수신하여 주행도로를 검출하고 검출된 주행도로에 대한 주행도로 정보를 포함하는 검출 신호를 생성하여 출력하는 주행도로 검출 단계와, GPS 신호를 수신하여 국가 정보 또는 지역 정보를 추출하고, 복수의 분류자(Classifier) 중 국가 정보 또는 지역 정보에 대응되는 분류자를 선택하고, 선택된 분류자에 대한 분류자 정보를 포함하는 분류자 신호를 생성하여 출력하는 분류자 선택 단계 및 검출 신호를 수신하여 주행도로 정보로부터 검출된 주행 도로에 존재하는 표식을 인식하고, 분류자 신호를 수신하여 분류자 정보를 확인하고, 분류자 정보에 의해 지시되는 분류자를 이용하여 인식된 표식의 종류를 분류하는 표식 분류 단계를 포함하는 것을 특징으로 하는 표식 분류 방법을 제공한다.
또 다른 측면에서, 본 개시는 차량의 내부 또는 외부에 대한 시야를 갖도록 차량에 배치되어 이미지 데이터를 캡쳐하는 카메라와, GPS 위성으로부터 GPS 신호를 수신하는 통신 모듈과, 이미지 데이터 및 GPS 신호에 기초하여 주행도로에 존재하는 표식의 종류를 분류하여 저장하는 표식 분류 장치 및 이미지 데이터에 기초하여 차량이 주행하는 주행도로에서의 표식을 검출하고, 표식 분류 장치에 저장된 표식의 종류에 기초하여 검출된 표식의 종류를 확인하고, 확인된 표식의 종류에 기초하여 차량의 주행을 제어하도록 제어 신호를 생성하여 출력하는 제어 장치를 포함하되, 표식 분류 장치는, 이미지 데이터를 수신하여 주행도로를 검출하고 검출된 주행도로에 대한 주행도로 정보를 포함하는 검출 신호를 생성하여 출력하는 주행도로 검출부와, 수신된 GPS 신호로부터 국가 정보 또는 지역 정보를 추출하고, 복수의 분류자(Classifier) 중 국가 정보 또는 지역 정보에 대응되는 분류자를 선택하고, 선택된 분류자에 대한 분류자 정보를 포함하는 분류자 신호를 생성하여 출력하는 분류자 선택부 및 검출 신호를 수신하여 주행도로 정보로부터 검출된 주행 도로에 존재하는 표식을 인식하고, 분류자 신호를 수신하여 분류자 정보를 확인하고, 분류자 정보에 의해 지시되는 분류자를 이용하여 인식된 표식의 종류를 분류하는 표식 분류부를 포함하는 것을 특징으로 하는 차량 제어 시스템을 제공한다.
이상에서 설명한 바와 같이, 본 개시에 의하면, 본 개시는 주행 중인 차량의 주행도로에 표시된 표식들을 정확히 인식하고, 인식된 표식에 따라 차량의 주행을 적절히 제어할 수 있는 차량 제어 시스템, 표식 분류 장치 및 표식 분류 방법을 제공할 수 있다.
또한, 본 개시에 의하면, 본 개시는 국가마다 다르게 약속된 표식을 정확히 인식함으로써 차량을 적절하게 가속하거나 제동할 수 있는 차량 제어 시스템, 표식 분류 장치 및 표식 분류 방법을 제공할 수 있다.
도 1은 본 개시에 따른 차량 제어 시스템을 나타낸 블록도이다.
도 2는 본 개시에 따라 차량 제어 시스템에서 입력 및 출력되는 신호들의 흐름을 설명하기 위한 도면이다.
도 3은 본 개시에 따른 표식 분류 장치를 나타낸 블록도이다.
도 4는 본 개시에 따라 주행도로 검출부의 이미지 데이터를 처리하는 일 실시예를 설명하기 위한 도면이다.
도 5는 본 개시에 따라 주행도로에 존재하는 표식을 예시적으로 나타낸 도면이다.
도 6은 본 개시에 따른 표식의 종류에 대한 데이터 집합을 예시적으로 나타낸 도면이다.
도 7은 본 개시에 따른 표식 분류 방법을 설명하기 위한 흐름도이다.
도 8은 본 개시에 따른 표식 분류 방법을 구체적으로 설명하기 위한 흐름도이다.
이하, 본 개시의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 본 개시의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 개시에 따른 차량 제어 시스템(100)을 나타낸 블록도이다.
도 1을 참조하면, 본 개시에 따른 차량 제어 시스템(100)은 카메라(110)와, 통신 모듈(120)과, 표식 분류 장치(130)와, 제어 장치(140) 및 액츄에이터(150) 등을 포함할 수 있다.
카메라(110)는 차량의 내부 또는 외부에 대한 시야를 갖도록 차량에 배치되어 이미지 데이터를 캡쳐할 수 있다.
카메라(110)로부터 촬상된 영상 정보는 이미지 데이터로 구성되므로, 카메라(110)로부터 캡쳐된 이미지 데이터를 의미할 수 있다. 이하, 본 개시에서 카메라(110)로부터 촬상된 영상 정보는 캡쳐된 이미지 데이터를 의미한다. 캡쳐된 이미지 데이터는 Raw 형태의 AVI, MPEG-4, H.264, DivX, JPEG 등의 포맷으로 생성될 수 있다. 하지만, 이에 한정되는 것은 아니다.
이러한 카메라(110)는 예를 들어, 어안 렌즈 카메라(Fish-eye camera)일 수 있다. 어안 렌즈 카메라는 180도의 화각을 가지는 렌즈로 광각렌즈보다 화각이 넓은 렌즈를 의미한다.
통신 모듈(120)은 차량과 차량, 차량과 인프라, 차량과 서버, 차량 내부 통신 등을 수행하기 위한 기능을 수행한다. 이를 위해서, 통신 모듈(120)은 송신 모듈과 수신 모듈로 구성될 수 있다. 예를 들어, 통신 모듈(120)은 방송 수신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈, 위치 정보 모듈, 광통신 모듈 및 V2X 통신 모듈 등을 포함할 수 있다.
방송 수신 모듈은, 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 또는 방송 관련된 정보를 수신한다. 여기서, 방송은 라디오 방송 및 TV 방송 중 적어도 하나를 포함한다.
무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 차량에 내장되거나 외장될 수 있다.
근거리 통신 모듈은, 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra-Wide Band), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
위치 정보 모듈은, 차량의 위치 정보를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈이 있다. 예를 들면, 차량은 GPS모듈을 활용하면, GPS 위성에서 보내는 GPS 신호를 수신하고, GPS 신호를 이용하여 차량의 위치, 지역 코드, 국가 코드 등을 획득할 수 있다.
여기서, 지역 코드나 국가 코드는 지역이나 국가가 특정되도록 정해진 코드를 의미할 수 있다. 지역 코드나 국가 코드를 디코딩함으로써 지역이나 국가에 대한 정보를 획득할 수 있다.
한편, 실시예에 따라, 위치 정보 모듈은 통신 모듈(120)에 포함되는 구성요소가 아닌, 차량 내부 센서 모듈(140)에 포함되는 구성요소일 수도 있다.
광통신 모듈은, 광송신부 및 광수신부를 포함할 수 있다. 광송신부 및 광수신부는, 광(light)신호를 전기 신호로 전환하여, 정보를 송수신할 수 있다.
V2X 통신 모듈은, 서버 또는 타 차량, 인프라 장치 등과의 무선 통신 수행을 위한 모듈이다. 본 실시예에서의 V2X 통신 모듈은 차량이 유·무선망을 통해 타 차량, 모바일 기기, 도로 등의 사물과 정보를 교환하는 것 또는 그 기술을 의미하는 것이다. V2X 통신 모듈은 V2V(Vehicle to Vehicle, 차량-차량 간 통신), V2I(Vehicle to Infrastructure, 차량-인프라 간 통신), V2N(Vehicle to Nomadic Device, 차량-모바일 기기 간 통신), V2P(Vehicle to Pedestrian, 차량-보행자 간 통신) 등 개념을 포함할 수 있다. V2X 통신 모듈은 단거리 전용 통신(Dedicated Short-Range Communications, DSRC)을 기반으로 하며, 최근 미국 전기전자기술자협회(IEEE)에서 진행한 WAVE(Wireless Access in Vehicular Environment, 차량 환경 내 무선 접속) 또는 5.9GHz 대역을 사용하는 IEEE 802.11p 통신 기술을 이용할 수 있으나 그에 한정되지 않으며, 현재 또는 미래에 개발될 모든 차량 간 통신을 포함하는 것으로 이해되어야 할 것이다.
표식 분류 장치(130)는 이미지 데이터 및 GPS 신호에 기초하여 주행도로에 존재하는 표식의 종류를 분류하여 저장할 수 있다.
구체적으로, 표식 분류 장치(130)는 이미지 데이터로부터 차량의 주행도로를 다른 물체(예를 들어 건물, 가드레일, 보행자, 다른 차량 등)로부터 구분하여 검출하고, 주행도로에 존재하는 표식을 추출한 후 머신 러닝을 통해 학습하여 표식의 종류를 분류한다. 이때, 표식 분류 장치(130)는 GPS 신호를 수신하여 국가 코드 또는 지역 코드를 추출하고, 추출된 국가 코드 또는 지역 코드에 대응되는 분류자를 선택하고 선택된 분류자를 머신 러닝에 이용한다.
여기서, 머신 러닝은 합성곱 신경망(CNN: Convolutional Neural Network)이나 심층 신경망(DNN: Deep Neural Network) 등을 이용하는 딥러닝(Deep Learning), 텐서 플로우(Tensor Flow), 서포트벡터머신(SVM: Support Vector Machine) 등을 포함할 수 있다. 하지만, 이에 한정되는 것은 아니다.
국가, 지역마다 통용되는 표식이나 기호가 다르기 때문에, 특정 표식의 종류를 정확히 분류하기 위해서는 국가나 지역에 대응되는 분류자가 필요하다.
표식 분류 장치(130)는 제어 장치(140)에 의해 출력된 제어 신호에 응답하여 저장된 표식의 종류에 대한 정보를 포함하는 신호를 생성하여 제어 장치(140)에 출력할 수 있다.
표식 분류 장치(130)에 저장된 표식의 분류에 대한 정보는 본 개시에 따른 차량 제어 시스템(100)을 포함하는 차량이나 기타 기구가 제조될 때 미리 저장되거나 제조된 차량이 주행 중에 생성되어 갱신 및 저장될 수 있다.
여기서, 주행도로에 존재하는 표식은 차량의 주행 방향을 유도하거나 차량의 주행 속도를 감속하게 하는 등 차량의 주행을 조절하기 위한 것을 의미할 수 있다.
예를 들면, 주행도로에 존재하는 표식은 도로에 표시된 여러 가지 차선(Lane), 도로 표식(Road marking) 등을 포함할 수 있다. 하지만, 이에 한정되는 것은 아니고 도로 가장자리에 설치된 표지판이나 주행을 안내할 수 있는 인프라(Infra) 등도 표식에 포함될 수 있다.
이러한 표식 분류 장치(130)는 전술한 동작을 수행하기 위해 하나 이상의 프로세서를 포함하거나, 특정 동작을 수행하는 모듈이나 수다 등으로 구성될 수 있다. 표식 분류 장치(130)에 대한 구체적인 설명은 후술한다.
제어 장치(140)는 이미지 데이터에 기초하여 차량이 주행하는 주행도로에서의 표식을 검출하고, 표식 분류 장치(130)에 저장된 표식의 종류에 기초하여 검출된 표식의 종류를 확인하고, 확인된 표식의 종류에 기초하여 차량의 주행을 제어하도록 제어 신호를 생성하여 출력할 수 있다.
구체적으로, 제어 장치(140)는 이미지 데이터로부터 주행도로에서의 표식을 검출한다. 그 다음, 제어 장치(140)는 표식 분류 장치(130)에 제어 신호를 출력하고, 표식 분류 장치(130)로부터 신호를 입력받는다. 그리고, 제어 장치(140)는 입력받은 신호에 의해 지시되는 표식의 종류를 검출된 표식과 비교하여 검출된 표식의 종류를 확인한다. 제어 장치(140)는 확인된 표식의 종류에 따라 차량의 주행 방향을 결정하거나 차량의 주행 속도를 제어하도록 각각에 대응되는 제어 신호를 생성하여 액츄에이터(150)에 출력할 수 있다.
여기서, 제어 장치(140)는 검출된 표식의 종류를 더욱 정확히 확인하거나 차량의 주행을 더욱 정확히 제어하기 위하여 통신 모듈에 의해 확인된 차량의 위치 정보를 더 수신할 수 있다.
액츄에이터(150)는 제어 장치(140)로부터 제어 신호를 입력받아 구동하는 장치를 의미할 수 있다. 여기서, 액츄에이터(150)는 예를 들면, 액츄에이터(150)는 구동 모터, 경보 장치, 조향 장치 등을 포함할 수 있다.
도시하지 않았지만, 본 개시에 따른 차량 제어 시스템(100)은 레이더(Radar) 센서, 라이다(Lidar) 센서, 초음파 센서 등을 포함하는 비이미지 센서, 조향 토크를 센싱하기 위한 토크 센서, 조향 각도를 센싱하기 위한 조향각 센서, 조향 모터에 대한 정보를 센싱하는 모터 위치 센서, 차속 센서, 차량의 움직임을 센싱하는 차량 움직임 감지 센서, 차량 자세 감지 센서 등을 포함하는 차량 내부 센서 등을 더 포함할 수 있다.
본 개시에 의하면, 본 개시에 따른 차량 제어 시스템(100)은 주행 중인 차량의 주행도로에 표시된 표식들을 정확히 인식하고, 인식된 표식에 따라 차량의 주행을 적절히 제어할 수 있는 효과를 제공할 수 있다.
한편, 본 개시에 따른 차량 제어 시스템(100)에 포함된 각각의 구성들은 차량 내 통신에 해당되는 CAN(Controller Area Network)을 이용하여 신호들을 입력하거나 수신할 수 있다.
이하에서는 표식 분류 장치(130)를 중심으로 차량 제어 시스템(100)의 동작을 신호의 입력 및 출력 관점에서 구체적으로 설명한다.
도 2는 본 개시에 따라 차량 제어 시스템(100)에서 입력 및 출력되는 신호들의 흐름을 설명하기 위한 도면이다.
도 2를 참조하면, 본 개시에 따른 카메라(110)가 차량의 주변을 감지하고, 차량의 주변을 캡쳐한 이미지 데이터를 표식 분류 장치(130)에 출력할 수 있다.
표식 분류 장치(130)에 포함된 전처리(Preprocessing) 프로세서(210)는 카메라(110)로부터 이미지 데이터를 수신하고, 전처리할 수 있다.
예를 들면, 전처리 프로세서(210)는 수신한 이미지 데이터의 밝기, 명암 등을 조절하거나 이미지 데이터에서 볼록하게 왜곡된 부분을 늘리는(Stretching) 보정을 수행한다.
전처리가 수행되면, 전처리 프로세서(210)는 제1 처리 신호를 생성하여 표식 분류 장치(130)에 포함된 주행도로 검출 프로세서(220)에 출력할 수 있다.
여기서, 제1 처리 신호는 전처리된 이미지 데이터를 포함하는 신호를 의미할 수 있다.
한편, 전처리된 이미지 데이터에는 주행도로, 건물, 가드레일, 다른 차량 등에 대한 이미지가 포함될 수 있다.
주행도로 검출 프로세서(220)는 제1 처리 신호를 입력받고, 제1 처리 신호에 의해 지시되는 전처리된 이미지 데이터로부터 주행도로를 검출할 수 있다.
예를 들면, 주행도로 검출 프로세서(220)는 전처리된 이미지 데이터에 포함된 여러 가지 물체(건물, 인프라, 다른 차량 등)에 대한 이미지 중 주행도로에 대한 이미지를 검출한다.
주행도로가 검출되면, 주행도로 검출 프로세서(220)는 제1 검출 신호를 생성하여 표식 분류 장치(130)에 포함된 상태 검출 프로세서(230)에 출력한다.
여기서, 제1 검출 신호는 전처리된 이미지 데이터에서 검출된 주행도로에 대한 이미지, 주행도로 정보 등을 포함할 수 있다.
상태 검출 프로세서(230)는 제1 검출 신호를 입력받고, 제1 검출 신호에 의해 지시되는 주행도로에 기초하여 주행도로의 상태를 검출할 수 있다.
여기서, 주행도로의 상태는 주행도로의 균열, 노후 정도, 재질이나 주행도로 표면에 존재하는 눈(Snow), 물기(Wet), 모래(Sand) 등을 포함할 수 있다. 하지만, 이에 한정되는 것은 아니다.
주행도로의 상태가 검출되면, 상태 검출 프로세서(230)는 제2 검출 신호를 분류자 적응 프로세서(240)와 표식 인식 프로세서(250) 각각에 출력할 수 있다.
여기서, 제2 검출 신호는 제1 검출 신호에 주행도로의 상태에 대한 정보를 더 포함하는 신호를 의미할 수 있다.
한편, 본 개시에 따른 통신 모듈(120)은 GPS 위성으로부터 GPS 신호를 수신할 수 있다. 통신 모듈(120)은 수신한 GPS 신호를 분류자 적응 프로세서(240)에 출력할 수 있다.
분류자 적응 프로세서(240)는 수신된 GPS 신호를 입력받아 국가 정보 또는 지역 정보를 추출하고, 추출된 국가 정보 또는 지역 정보에 대응되는 분류자(Classifier)를 선택하도록 분류자 적응(Classifier adaptation)을 수행할 수 있다.
여기서, 국가 정보는 특정 국가를 의미하는 코드에 대한 정보를 포함할 수 있고, 지역 정보는 특정 지역을 의미하는 코드에 대한 정보를 포함할 수 있으며, 분류자 적응(Classifier adaptation)은 국가 코드, 지역 코드에 대응되는 분류자(Classifer)를 선택하는 것을 의미할 수 있다.
복수의 분류자 중 GPS 신호에 따라 분류자가 선택되는 것은 약속된 차선이나 도로 표식 등이 국가, 지역마다 다르기 때문이다.
한편, 분류자 적응 프로세서(240)가 GPS 신호만을 입력받아 분류자를 선택할 때, 선택된 분류자는 주행도로의 상태가 이상적(ideal)인 상태 또는 날씨가 맑을 때에 대응되는 주행도로의 상태에서의 동작 가능한 분류자일 수 있다.
그러나, 주행도로의 이상적인 상태는 매우 드물게 발생한다. 따라서, 분류자 적응 프로세서(240)는 주행도로의 상태를 고려하여 더욱 정교하게 분류한 고성능 분류자를 선택할 수 있다.
예를 들면, 분류자 적응 프로세서(240)는 GPS 신호 및 제2 검출 신호를 입력받고, 미리 저장된 복수의 분류자 중에서 국가 코드 또는 지역 코드와 주행도로의 상태에 대응되는 분류자를 선택하여 분류자 적응을 수행할 수 있다.
분류자 적응 프로세서(240)는 선택된 분류자에 대한 분류자 정보를 포함하는 분류자 신호를 생성하여 표식 인식 프로세서(250)에 출력할 수 있다.
표식 인식 프로세서(250)는 제2 검출 신호 및 분류자 신호를 입력받아 검출된 주행도로에 표시된 표식을 인식할 수 있다.
여기서, 표식은 예를 들어 중앙선, 차선 변경선 등과 같은 차선(Lane)이나 좌회전, 우회전, 정지, 서행 등과 같은 도로 표식(Road marking) 등을 포함할 수 있다.
예를 들면, 표식 인식 프로세서(250)는 ROI(Region Of Interest) 알고리즘을 이용하여 주행도로 이미지에서 차선과 도로 표식을 인식한다.
표식이 인식되면, 표식 인식 프로세서(250)는 인식된 표식에 대한 정보와 분류자 정보를 포함하는 인식 신호를 분류 프로세서(260)에 출력할 수 있다.
분류 프로세서(260)는 인식 신호를 입력받고 인식된 표식의 종류를 선택된 분류자에 따라 분류할 수 있다.
예를 들면, 현재 차량은 대한민국에 있고 주행도로와 반대도로를 구분 짓는 차선이 인식된 경우, 분류 프로세서(260)는 인식된 차선의 종류를 대한민국에 대응되는 분류자에 따라 중앙선으로 분류한다.
표식의 종류가 분류되면, 분류 프로세서(260)는 표식의 종류에 대한 표식 정보를 포함하는 제1 분류 신호를 표식 정보 저장 프로세서(270)에 출력할 수 있다.
한편, 현재 차량의 주행을 제어하기 위해 분류된 표식의 종류를 이용하는 경우, 분류 프로세서(260)는 제1 분류 신호를 후처리(Post processing) 프로세서(280)에 출력할 수도 있다.
표식 정보 저장 프로세서(270)는 제1 분류 신호를 입력받아 표식 정보를 저장할 수 있다. 한편, 저장된 표식 정보를 이용하여 차량의 주행을 제어하기 위해, 표식 정보 저장 프로세서(270)는 저장된 표식 정보를 포함하는 제2 분류 신호를 생성하여 후처리 프로세서(280)에 출력할 수 있다.
후처리 프로세서(280)는 제1 분류 신호 또는 제2 분류 신호를 입력받아 표식 정보를 후처리 하고 후처리된 표식 정보를 포함하는 제2 처리 신호를 생성하여 제어 장치(140)에 출력할 수 있다.
예를 들면, 후처리 프로세서(280)는 분류된 차선의 중앙선의 색깔을 추가로 검출하고, 색깔 정보가 반영된 표식 정보를 포함하는 제2 처리 신호를 생성하여 제어 장치(140)에 출력할 수 있다.
제어 장치(140)는 이미지 데이터로부터 현재 차량이 주행하고 있는 주행도로에서의 표식을 검출하고, 입력받은 제2 처리 신호에 의해 지시되는 표식 정보(표식의 종류 등)를 이용하여 검출된 표식의 종류를 확인한 다음 확인된 표식의 종류에 기초하여 차량의 주행을 제어할 수 있다.
예를 들면, 제어 장치(140)는 이미지 데이터로부터 현재 차량의 주행도로 상에 표시된 도로 표식을 검출하고, 검출된 도로 표식이 좌회전 화살표인 것을 확인한다. 그 다음, 제어 장치(140)는 좌회전 화살표에 따라 차량이 좌회전 주행을 하도록 제어 신호를 생성하여 액츄에이터(150)에 출력할 수 있다.
전술한 바에 따르면 본 개시에 따른 차량 제어 시스템(100)은 국가마다 다르게 약속된 표식을 정확히 인식함으로써 차량을 적절하게 가속하거나 제동할 수 있는 효과를 제공할 수 있다.
이하에서는 본 개시에 다른 표식 분류 장치(300)에 대하여 더욱 상세하게 설명한다.
도 3은 본 개시에 따른 표식 분류 장치(300)를 나타낸 블록도이다.
도 3을 참조하면, 본 개시에 따른 표식 분류 장치(300)는 주행도로 검출부(310)와, 분류자 선택부(320) 및 표식 분류부(330) 등을 포함할 수 있다.
주행도로 검출부(310)는 이미지 데이터를 수신하여 주행도로를 검출하고 검출된 주행도로에 대한 주행도로 정보를 포함하는 검출 신호를 생성하여 출력할 수 있다.
구체적으로, 이미지 데이터에 포함된 여러 가지 물체들 각각에 대한 이미지 중에서 주행도로에 대한 이미지를 검출하고, 검출된 주행도로에 대한 이미지 정보를 포함하는 검출 신호를 생성하여 표식 분류부(330)에 출력할 수 있다.
여기서, 주행도로 검출부(310)는 수신된 이미지 데이터를 처리하여 주행도로의 상태를 검출하고, 검출된 주행도로의 상태에 대한 상태 정보를 검출 신호에 포함시킬 수 있다.
구체적으로, 주행도로 검출부(310)는 수신된 이미지를 전처리하고, 전처리된 이미지 데이터로부터 주행도로를 검출하여 제1 검출 신호를 생성하고, 제1 검출 신호에 기초하여 주행도로의 상태를 검출하며, 주행도로 및 주행도로의 상태 각각에 대한 정보를 포함하는 제2 검출 신호를 생성하여 표식 분류부(330)에 출력할 수 있다.
한편, 주행도로 검출부(310)가 주행도로의 상태를 검출하는 경우, 주행도로 검출부(310)는 검출 신호를 분류자 선택부(320)에 출력할 수 있다.
이러한 주행도로 검출부(310)는 도 2에 도시된 전처리 프로세서(210)와 주행도로 검출 프로세서(220) 및 상태 검출 프로세서(230)를 포함할 수 있다.
분류자 선택부(320)는 수신된 GPS 신호로부터 국가 정보 또는 지역 정보를 추출하고, 복수의 분류자(Classifier) 중 국가 정보 또는 지역 정보에 대응되는 분류자를 선택하고, 선택된 분류자에 대한 분류자 정보를 포함하는 분류자 신호를 생성하여 출력할 수 있다.
구체적으로, 분류자 선택부(320)는 통신 모듈(120)에 의해 수신된 GPS 신호에 기초하여 국가 정보(또는 지역 정보)에 포함된 국가 코드(또는 지역 코드)를 추출하고, 미리 저장된 복수의 분류자 중에서 국가 코드(또는 지역 코드)에 대응되는 분류자를 선택하며, 선택된 분류자에 대한 정보를 포함하는 분류자 신호를 생성하여 표식 분류부(330)에 출력할 수 있다.
이러한 분류자 선택부(320)는 도 2에 도시된 분류자 적응 프로세서(240)를 포함할 수 있다.
표식 분류부(330)는 검출 신호를 수신하여 주행도로 정보로부터 검출된 주행 도로에 존재하는 표식을 인식하고, 분류자 신호를 수신하여 분류자 정보를 확인하고, 분류자 정보에 의해 지시되는 분류자를 이용하여 인식된 표식의 종류를 분류할 수 있다.
여기서, 주행도로 검출부(310)가 주행도로의 상태를 추가적으로 검출하는 경우, 표식 분류부(330)는 상태 정보에 의해 지시되는 주행도로의 상태를 확인하고, 검출된 주행도로의 상태가 미리 설정된 검출 기준 상태에 해당하면, 표식의 인식 동작을 수행할 수 있다.
표식 분류부(330)가 검출 기준 상태에 해당되는 검출된 주행도로의 상태에서 표식의 인식 동작을 수행하는 것 이유는 오인식, 오제어를 방지하기 위함이다.
한편, 표식 분류부(330)는 인식된 표식이 차선인 경우, 차선의 색상을 추가로 확인하고, 확인된 색상에 대한 색상 정보를 반영하여 차선의 종류를 분류할 수 있다.
이러한 표식 분류부(330)는 표식 인식 프로세서(250), 분류 프로세서(260), 표식 정보 저장 프로세서(270) 및 후처리 프로세서(280)를 포함할 수 있다.
도시하지 않았지만, 본 개시에 따른 표식 분류 장치(300)는 분류된 표식에 대한 정보를 저장할 수 있는 메모리를 더 포함할 수 있다.
이하에서는 본 개시에 따른 표식 분류 장치(300)에 포함된 주행도로 검출부(310)의 일 실시예를 설명한다.
도 4는 본 개시에 따라 주행도로 검출부(310)의 이미지 데이터를 처리하는 일 실시예를 설명하기 위한 도면이다.
도 4를 참조하면, 주행도로 검출부(310)는 수신된 이미지 데이터를 콘트라스트 스트레칭(Contrast stretching) 처리하여 이미지 데이터의 명암을 조절할 수 있다.
예를 들면, 이미지 데이터의 밝기가 기준치보다 작아서 주행도로를 검출하기 어려운 경우, 주행도로 검출부(310)는 수신된 이미지 데이터의 밝기를 증가시킬 수 있다.
다른 예를 들면, 이미지 데이터의 밝기가 기준치보다 매우 커서 주행도로를 검출하기 어려운 경우, 주행도로 검출부(310)는 수신된 이미지 데이터의 밝기를 감소시킬 수 있다.
한편, 도 1에 도시된 카메라(110)가 어안 렌즈 카메라인 경우, 어안 렌즈 카메라에 의해 캡쳐된 이미지는 왜곡된 부분이 존재할 수 있으므로, 주행도로 검출부(310)는 이미지 데이터에서 왜곡된 부분을 2차원 평면으로 보정할 수 있다.
전술한 바에 따르면, 본 개시는 이미지 데이터의 명암을 조절함으로써 오인식을 방지할 수 있는 효과를 제공할 수 있다.
이하에서는 검출된 주행도로에 존재하는 표식의 예시들을 설명한다.
도 5는 본 개시에 따라 주행도로에 존재하는 표식을 예시적으로 나타낸 도면이고, 도 6은 본 개시에 따른 표식의 종류에 대한 데이터 집합을 예시적으로 나타낸 도면이다.
도 5를 참조하면, 카메라(110)에 의해 촬영된 이미지(500) 또는 프레임에는 다양한 물체들을 포함할 수 있다.
예를 들면, 이미지(500)에는 구조물(510), 제1 가장자리선(521), 제2 가장자리선(522), 제1 도로 표식(531), 제2 도로 표식(532), 유도선(540) 및 차선변경선(550) 등을 포함할 수 있다.
여기서, 본 개시에 따른 표식 분류 장치(300)는 구조물(510)을 제외한 표식, 예를 들어, 제1 가장자리선(521), 제2 가장자리선(522), 제1 도로 표식(531), 제2 도로 표식(532), 유도선(540) 및 차선변경선(550)을 인식하고 분류할 수 있다.
분류된 표식 정보는 도 6과 같이 표현될 수 있다.
도 6을 참조하면, 표식에 포함되는 차선(Lane)은 단일(Single) 차선, 이중(Double) 차선, 점선(Dashed) 차선 등으로 구분되어 각각의 차선마다 주행 규칙이 정의될 수 있다. 또한, 동일한 차선의 형태에서도 색을 달리할 수 있고, 색이 다르면 그에 따른 주행 규칙이 달라질 수 있다.
마찬가지로, 표식에 포함되는 도로 표식(Road marking)은 정지(Stop), 서행(Going slow), 좌회전(Left) 및 우회전(Right) 등으로 구분되어 이를 기호로 표현될 수 있으며 각각의 도로 표식마다 주행 규칙이 정의될 수 있다.
이러한 표식은 국가 또는 지역마다 다르게 정의될 수 있기 때문에, 본 개시는 도 6에 도시된 바에 한정되지 않는다.
이하에서는 본 개시를 모두 수행할 수 있는 표식 분류 방법을 설명한다.
도 7은 본 개시에 따른 표식 분류 방법을 설명하기 위한 흐름도이다.
도 7을 참조하면, 본 개시에 다른 표식 분류 방법은 주행도로 검출 단계(S710)와, 분류자 선택 단계(S720) 및 표식 분류 단계(S730) 등을 포함할 수 있다.
주행도로 검출 단계(S710)에서는 이미지 데이터를 수신하여 주행도로를 검출하고 검출된 주행도로에 대한 주행도로 정보를 포함하는 검출 신호를 생성하여 출력할 수 있다.
여기서, 주행도로 검출 단계(S710)는 수신된 이미지 데이터를 콘트라스트 스트레칭(Contrast stretching) 처리하여 이미지 데이터의 명암을 조절할 수 있다.
한편, 주행도로 검출 단계(S710)는 수신된 이미지 데이터를 처리하여 주행도로의 상태를 검출하고, 검출된 주행도로의 상태에 대한 상태 정보를 검출 신호에 포함시킬 수 있다.
분류자 선택 단계(S720)에서는 GPS 신호를 수신하여 국가 정보 또는 지역 정보를 추출하고, 복수의 분류자(Classifier) 중 국가 정보 또는 지역 정보에 대응되는 분류자를 선택하고, 선택된 분류자에 대한 분류자 정보를 포함하는 분류자 신호를 생성하여 출력할 수 있다.
표식 분류 단계(S730)에서는 검출 신호를 수신하여 주행도로 정보로부터 검출된 주행 도로에 존재하는 표식을 인식하고, 분류자 신호를 수신하여 분류자 정보를 확인하고, 분류자 정보에 의해 지시되는 분류자를 이용하여 인식된 표식의 종류를 분류할 수 있다.
여기서, 주행도로 검출 단계(S710)에서 주행도로의 상태가 검출되는 경우, 표식 분류 단계(S730)는 상태 정보에 의해 지시되는 주행도로의 상태를 확인하고, 검출된 주행도로의 상태가 미리 설정된 검출 기준 상태에 해당하면, 표식의 인식 동작을 수행할 수 있다.
한편, 표식 분류 단계(S730)는 인식된 표식이 차선인 경우, 차선의 색상을 추가로 확인하고, 확인된 색상에 대한 색상 정보를 반영하여 차선의 종류를 분류할 수 있다.
이하에서는 본 개시에 따른 표식 분류 방법을 구체적으로 설명한다.
도 8은 본 개시에 따른 표식 분류 방법을 구체적으로 설명하기 위한 흐름도이다.
도 8을 참조하면, S811 단계에서는 이미지 데이터의 처리 결과를 수신할 수 있다.
예를 들면, 전처리 프로세서(210)는 카메라(110)에 의해 캡쳐된 이미지 데이터를 전처리하고, 그 처리 결과를 포함하는 제1 처리 신호를 주행도로 검출 프로세서(220)에 출력한다. 주행도로 검출 프로세서(220)는 제1 처리 신호에 의해 지시되는 이미지 데이터의 처리 결과를 수신한다.
S812 단계에서는 이미 데이터의 처리 결과에 기초하여 도로 이미지, 비도로 이미지를 확인할 수 있다.
여기서, 비도로 이미지는 주행도로에 대응되는 도로 이미지를 제외한 건물이나 가드레일, 구조물 등에 대응되는 이미지를 의미할 수 있다.
예를 들면, 주행도로 검출 프로세서(220)는 제1 처리 신호를 입력받고, 제1 처리 신호에 의해 지시되는 전처리된 이미지 데이터로부터 주행도로에 대응되는 도로 이미지와 구조물(510)에 대응되는 비도로 이미지를 확인할 수 있다.
S813 단계에서는 도로 이미지 존재하는지 판단할 수 있다.
도로 이미지가 존재하지 않으면, S811 단계로 돌아가 이미지 데이터가 다시 수신될 수 있다.
도로 이미지가 존재하면, S814 단계에서는 주해도로의 상태를 검출할 수 있다.
예를 들면, 상태 검출 프로세서(230)는 주행도로에 기초하여 주행도로의 상태를 검출할 수 있다.
한편, S821 단계에서는 GPS 신호를 수신할 수 있다. 예를 들면, 통신 모듈(120)이 GPS 위성으로부터 GPS 신호를 수신한다.
GPS 신호가 수신되면, S821 단계에서는 GPS 신호에 기초하여 국가 정보(예를 들어, 국가 코드) 또는 지역 정보(예를 들어, 지역 코드)를 획득할 수 있다.
국가 정보 또는 지역 정보를 획득하고 주행도로의 상태가 검출되면, S830 단계에서는 분류자 적응을 수행할 수 있다.
예를 들면, 분류자 적응 프로세서(240)는 수신된 GPS 신호를 입력받아 국가 정보 또는 지역 정보를 추출하고, 추출된 국가 정보 또는 지역 정보에 대응되는 분류자(Classifier)를 선택하도록 분류자 적응(Classifier adaptation)을 수행한다.
그 다음, S840 단계 및 S850 단계에서는 검출된 주행도로에 존재하는 표식을 인식하는 동작을 수행하고 표식이 인식되는지 판단할 수 있다.
예를 들면, 표식 인식 프로세서(250)는 제2 검출 신호 및 분류자 신호를 입력받아 검출된 주행도로에 표시된 표식을 인식한다.
표식이 인식되지 않으면, S811 단계로 돌아가 이미지 데이터가 다시 수신될 수 있다.
표식이 인식되면, S860 단계에서는 인식된 표식의 종류를 선택된 분류자를 이용하여 분류한다.
예를 들면, 분류 프로세서(260)는 인식 신호를 입력받고 인식된 표식의 종류를 선택된 분류자에 따라 분류할 수 있다.
이상에서 설명한 바와 같이, 본 개시에 의하면, 본 개시는 주행 중인 차량의 주행도로에 표시된 표식들을 정확히 인식하고, 인식된 표식에 따라 차량의 주행을 적절히 제어할 수 있는 차량 제어 시스템, 표식 분류 장치 및 표식 분류 방법을 제공할 수 있다.
또한, 본 개시에 의하면, 본 개시는 국가마다 다르게 약속된 표식을 정확히 인식함으로써 차량을 적절하게 가속하거나 제동할 수 있는 차량 제어 시스템, 표식 분류 장치 및 표식 분류 방법을 제공할 수 있다.
이상에서의 설명 및 첨부된 도면은 본 개시의 기술 사상을 예시적으로 나타낸 것에 불과한 것으로서, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 본질적인 특성에서 벗어나지 않는 범위에서 구성의 결합, 분리, 치환 및 변경 등의 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 개시에 개시된 실시예들은 본 개시의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 개시의 기술 사상의 범위가 한정되는 것은 아니다. 즉, 본 개시의 과제 해결 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 본 개시의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 차량 제어 시스템 110: 카메라
120: 통신 모듈 130, 300: 표식 분류 장치
140: 제어 장치 150: 액츄에이터
310: 주행도로 검출부 320: 분류자 선택부
330: 표식 분류부

Claims (11)

  1. 이미지 데이터를 수신하여 주행도로를 검출하고 상기 검출된 주행도로에 대한 주행도로 정보를 포함하는 검출 신호를 생성하여 출력하는 주행도로 검출부;
    수신된 GPS 신호로부터 국가 정보 또는 지역 정보를 추출하고, 복수의 분류자(Classifier) 중 상기 국가 정보 또는 상기 지역 정보에 대응되는 분류자를 선택하고, 상기 선택된 분류자에 대한 분류자 정보를 포함하는 분류자 신호를 생성하여 출력하는 분류자 선택부; 및
    상기 검출 신호를 수신하여 상기 주행도로 정보로부터 상기 검출된 주행 도로에 존재하는 표식을 인식하고, 상기 분류자 신호를 수신하여 상기 분류자 정보를 확인하고, 상기 분류자 정보에 의해 지시되는 상기 분류자를 머신 러닝에 이용하여 상기 인식된 표식의 종류를 분류하는 표식 분류부를 포함하고,
    주행도로 검출부는,
    상기 수신된 이미지 데이터를 처리하여 상기 주행도로의 상태를 검출하고, 상기 검출된 주행도로의 상태에 대한 상태 정보를 상기 검출 신호에 포함시키고,
    상기 분류자 선택부는,
    상기 복수의 분류자(Classifier) 중 상기 국가 정보 또는 상기 지역 정보와 상기 주행도로의 상태에 대응되는 분류자를 선택하고,
    상기 표식 분류부는,
    상기 상태 정보에 의해 지시되는 상기 주행도로의 상태를 확인하고, 상기 검출된 주행도로의 상태가 미리 설정된 검출 기준 상태에 해당하면, 상기 표식의 인식 동작을 수행하고,
    상기 주행도로의 상태는,
    주행도로의 균열, 노후 정도, 재질이나 주행도로 표면에 존재하는 눈(Snow), 물기(Wet), 모래(Sand)를 포함하는 것을 특징으로 하는 표식 분류 장치.
  2. 제1항에 있어서,
    상기 주행도로 검출부는,
    상기 수신된 이미지 데이터를 콘트라스트 스트레칭(Contrast stretching) 처리하여 상기 이미지 데이터의 명암을 조절하는 것을 특징으로 하는 표식 분류 장치.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 표식 분류부는,
    상기 인식된 표식이 차선인 경우, 상기 차선의 색상을 추가로 확인하고, 상기 확인된 색상에 대한 색상 정보를 반영하여 상기 차선의 종류를 분류하는 것을 특징으로 하는 표식 분류 장치.
  6. 이미지 데이터를 수신하여 주행도로를 검출하고 상기 검출된 주행도로에 대한 주행도로 정보를 포함하는 검출 신호를 생성하여 출력하는 주행도로 검출 단계;
    GPS 신호를 수신하여 국가 정보 또는 지역 정보를 추출하고, 복수의 분류자(Classifier) 중 상기 국가 정보 또는 지역 정보에 대응되는 분류자를 선택하고, 상기 선택된 분류자에 대한 분류자 정보를 포함하는 분류자 신호를 생성하여 출력하는 분류자 선택 단계; 및
    상기 검출 신호를 수신하여 상기 주행도로 정보로부터 상기 검출된 주행 도로에 존재하는 표식을 인식하고, 상기 분류자 신호를 수신하여 상기 분류자 정보를 확인하고, 상기 분류자 정보에 의해 지시되는 상기 분류자를 머신러닝에 이용하여 상기 인식된 표식의 종류를 분류하는 표식 분류 단계를 포함하고,
    주행도로 검출 단계는,
    상기 수신된 이미지 데이터를 처리하여 상기 주행도로의 상태를 검출하고, 상기 검출된 주행도로의 상태에 대한 상태 정보를 상기 검출 신호에 포함시키고,
    상기 분류자 선택 단계는,
    상기 복수의 분류자(Classifier) 중 상기 국가 정보 또는 상기 지역 정보와 상기 주행도로의 상태에 대응되는 분류자를 선택하고,
    상기 표식 분류 단계는,
    상기 상태 정보에 의해 지시되는 상기 주행도로의 상태를 확인하고, 상기 검출된 주행도로의 상태가 미리 설정된 검출 기준 상태에 해당하면, 상기 표식의 인식 동작을 수행하고,
    상기 주행도로의 상태는,
    주행도로의 균열, 노후 정도, 재질이나 주행도로 표면에 존재하는 눈(Snow), 물기(Wet), 모래(Sand)를 포함하는 것을 특징으로 하는 표식 분류 방법.
  7. 제6항에 있어서,
    상기 주행도로 검출 단계는,
    상기 수신된 이미지 데이터를 콘트라스트 스트레칭(Contrast stretching) 처리하여 상기 이미지 데이터의 명암을 조절하는 것을 특징으로 하는 표식 분류 방법.
  8. 삭제
  9. 삭제
  10. 제6항에 있어서,
    상기 표식 분류 단계는,
    상기 인식된 표식이 차선인 경우, 상기 차선의 색상을 추가로 확인하고, 상기 확인된 색상에 대한 색상 정보를 반영하여 상기 차선의 종류를 분류하는 것을 특징으로 하는 표식 분류 방법.
  11. 차량의 내부 또는 외부에 대한 시야를 갖도록 상기 차량에 배치되어 이미지 데이터를 캡쳐하는 카메라;
    GPS 위성으로부터 GPS 신호를 수신하는 통신 모듈;
    상기 이미지 데이터 및 상기 GPS 신호에 기초하여 주행도로에 존재하는 표식의 종류를 분류하여 저장하는 표식 분류 장치; 및
    상기 이미지 데이터에 기초하여 차량이 주행하는 주행도로에서의 표식을 검출하고, 상기 표식 분류 장치에 저장된 상기 표식의 종류에 기초하여 상기 검출된 표식의 종류를 확인하고, 상기 확인된 표식의 종류에 기초하여 상기 차량의 주행을 제어하도록 제어 신호를 생성하여 출력하는 제어 장치를 포함하되,
    상기 표식 분류 장치는,
    상기 이미지 데이터를 수신하여 상기 주행도로를 검출하고 상기 검출된 주행도로에 대한 주행도로 정보를 포함하는 검출 신호를 생성하여 출력하는 주행도로 검출부;
    상기 수신된 GPS 신호로부터 국가 정보 또는 지역 정보를 추출하고, 복수의 분류자(Classifier) 중 상기 국가 정보 또는 지역 정보에 대응되는 분류자를 선택하고, 상기 선택된 분류자에 대한 분류자 정보를 포함하는 분류자 신호를 생성하여 출력하는 분류자 선택부; 및
    상기 검출 신호를 수신하여 상기 주행도로 정보로부터 상기 검출된 주행 도로에 존재하는 표식을 인식하고, 상기 분류자 신호를 수신하여 상기 분류자 정보를 확인하고, 상기 분류자 정보에 의해 지시되는 상기 분류자를 머신 러닝에 이용하여 상기 인식된 표식의 종류를 분류하는 표식 분류부를 포함하고,
    주행도로 검출부는,
    상기 수신된 이미지 데이터를 처리하여 상기 주행도로의 상태를 검출하고, 상기 검출된 주행도로의 상태에 대한 상태 정보를 상기 검출 신호에 포함시키고,
    상기 분류자 선택부는,
    상기 복수의 분류자(Classifier) 중 상기 국가 정보 또는 상기 지역 정보와 상기 주행도로의 상태에 대응되는 분류자를 선택하고,
    상기 표식 분류부는,
    상기 상태 정보에 의해 지시되는 상기 주행도로의 상태를 확인하고, 상기 검출된 주행도로의 상태가 미리 설정된 검출 기준 상태에 해당하면, 상기 표식의 인식 동작을 수행하고,
    상기 주행도로의 상태는,
    주행도로의 균열, 노후 정도, 재질이나 주행도로 표면에 존재하는 눈(Snow), 물기(Wet), 모래(Sand)를 포함하는 것을 특징으로 하는 차량 제어 시스템.
KR1020190049108A 2019-04-26 2019-04-26 차량 제어 시스템, 표식 분류 장치 및 표식 분류 방법 KR102638068B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190049108A KR102638068B1 (ko) 2019-04-26 2019-04-26 차량 제어 시스템, 표식 분류 장치 및 표식 분류 방법
US16/509,459 US11199854B2 (en) 2019-04-26 2019-07-11 Vehicle control system, apparatus for classifying markings, and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190049108A KR102638068B1 (ko) 2019-04-26 2019-04-26 차량 제어 시스템, 표식 분류 장치 및 표식 분류 방법

Publications (2)

Publication Number Publication Date
KR20200125189A KR20200125189A (ko) 2020-11-04
KR102638068B1 true KR102638068B1 (ko) 2024-02-21

Family

ID=72917040

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190049108A KR102638068B1 (ko) 2019-04-26 2019-04-26 차량 제어 시스템, 표식 분류 장치 및 표식 분류 방법

Country Status (2)

Country Link
US (1) US11199854B2 (ko)
KR (1) KR102638068B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102500861B1 (ko) * 2021-04-02 2023-02-17 허완철 디지털 차선을 이용한 차량의 주행 정보 제공 방법 및 시스템
EP4141814A1 (en) * 2021-08-26 2023-03-01 Bayerische Motoren Werke Aktiengesellschaft Method and device for determining a color of a lane marking
CN115366899B (zh) * 2022-10-25 2023-01-03 南京项尚车联网技术有限公司 一种基于北斗的远程车载路径识别系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000207563A (ja) * 1999-01-20 2000-07-28 Fujitsu Ten Ltd 画像認識装置
JP2017193221A (ja) * 2016-04-19 2017-10-26 トヨタ自動車株式会社 車両用表示装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6882287B2 (en) * 2001-07-31 2005-04-19 Donnelly Corporation Automotive lane change aid
JP4820712B2 (ja) * 2005-08-05 2011-11-24 アイシン・エィ・ダブリュ株式会社 路面標示認識システム
US20150178572A1 (en) * 2012-05-23 2015-06-25 Raqib Omer Road surface condition classification method and system
KR101709402B1 (ko) * 2015-07-13 2017-03-08 김구현 운전 지원 시스템 및 운전 지원 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000207563A (ja) * 1999-01-20 2000-07-28 Fujitsu Ten Ltd 画像認識装置
JP2017193221A (ja) * 2016-04-19 2017-10-26 トヨタ自動車株式会社 車両用表示装置

Also Published As

Publication number Publication date
US11199854B2 (en) 2021-12-14
KR20200125189A (ko) 2020-11-04
US20200341484A1 (en) 2020-10-29

Similar Documents

Publication Publication Date Title
US11422556B2 (en) System and method for detecting a condition prompting an update to an autonomous vehicle driving model
US20200276973A1 (en) Operation of a vehicle in the event of an emergency
KR102638068B1 (ko) 차량 제어 시스템, 표식 분류 장치 및 표식 분류 방법
CN110103953B (zh) 用于辅助车辆的驾驶控制的方法、设备、介质和系统
US11592570B2 (en) Automated labeling system for autonomous driving vehicle lidar data
US20180365995A1 (en) Automobile communication system using unmanned air vehicle intermediary
CN111292351A (zh) 车辆检测方法及执行其的电子设备
US20220105959A1 (en) Methods and systems for predicting actions of an object by an autonomous vehicle to determine feasible paths through a conflicted area
CN111353522B (zh) 用于确定车辆周围环境中的路标的方法和系统
US11587435B2 (en) Method for guiding path by extracting guiding information in lane and electronic device for executing the method
US20230052039A1 (en) Dangerous road user detection and response
KR20210089809A (ko) 라이다 센서를 이용하여 주변 환경을 탐지하는 자율 주행 장치 및 그의 동작 방법
CN116724345A (zh) 用于推断自主车辆的未绘制停止线的方法和系统
KR20200070100A (ko) 차량 검출 방법 및 이를 수행하는 전자 기기
US20220114433A1 (en) Methods and systems for enhanced scene perception using vehicle platoon
US20220138889A1 (en) Parking seeker detection system and method for updating parking spot database using same
KR102370876B1 (ko) 클라우드의 도로 객체 인식을 이용하여 주행 정보를 제공하는 방법 및 장치
KR20210104199A (ko) 자율주행 차량 및 그 제어 방법
US20230260254A1 (en) Information processing device, information processing method, and program
KR20210100776A (ko) 카메라를 이용하여 자율 주행을 수행하는 차량 및 그의 동작 방법
CN113614732A (zh) 信息处理设备及信息处理方法
CN112567427A (zh) 图像处理装置、图像处理方法和程序
CN113376657B (zh) 用于自动驾驶车辆lidar数据的自动标记系统
KR102660433B1 (ko) 운전자 보조 장치 및 운전자 보조 방법
US20230237856A1 (en) Method and system for learning reward functions for driving using positive-unlabeled reward learning

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)