KR20210136518A - 차선유형 판단 장치 및 그 방법 - Google Patents

차선유형 판단 장치 및 그 방법 Download PDF

Info

Publication number
KR20210136518A
KR20210136518A KR1020200054870A KR20200054870A KR20210136518A KR 20210136518 A KR20210136518 A KR 20210136518A KR 1020200054870 A KR1020200054870 A KR 1020200054870A KR 20200054870 A KR20200054870 A KR 20200054870A KR 20210136518 A KR20210136518 A KR 20210136518A
Authority
KR
South Korea
Prior art keywords
road
lane
camera
detected
scene
Prior art date
Application number
KR1020200054870A
Other languages
English (en)
Inventor
샨무가라즈 엠
제인 수샴
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020200054870A priority Critical patent/KR20210136518A/ko
Priority to US17/314,121 priority patent/US12097839B2/en
Publication of KR20210136518A publication Critical patent/KR20210136518A/ko

Links

Images

Classifications

    • G06K9/00798—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/143—Speed control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/00805—
    • G06K9/4652—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/05—Type of road, e.g. motorways, local streets, paved or unpaved roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

차선유형 판단 장치 및 그 방법이 가 제공된다. 본 발명의 실시예에 따른 차선유형 판단 장치는 차량 주변의 어라운드뷰 이미지를 획득하는 카메라, GPS 정보를 수신하는 GPS 수신부, 및 카메라 및 GPS 수신부와 통신적으로 연결되는 제어부를 포함한다. 여기서, 제어부는 카메라에 의해 획득된 이미지의 장면을 인식하고, 인식된 장면에서 차선 및 도로 표시를 검출하며, GPS 정보를 기반으로 적응되는 분류기를 포함하며, 검출된 차선 및 도로 표시를 분류기에 의해 분류하고, 분류된 차선의 유형을 확인하도록 구성된다.

Description

차선유형 판단 장치 및 그 방법{Device for determining lane type and method thereof}
본 발명은 차선유형 판단 장치 및 그 방법에 관한 것이다.
일반적으로 강건한 자율주행을 위한 첫 단계는 객체 주변 환경을 인식하고 이해하는 것이다. 그러나 장애물을 간단히 인식하고 차량 주변의 기하학적 구조를 이해하는 것만으로는 충분하지 않다. 준수해야 하는 차선 및 도로 표시와 같은 교통 기호에 의한 교통 규정이 있기 때문에, 이들에 대한 인식이 요구된다. 또한, 자율주행에 적용할 수 있는 알고리즘은 다양한 환경에서 견고하고 실시간으로 수행되어야 한다.
그러나 현재까지의 차선 및 도로 표시 검출에 대한 연구는 날씨가 좋은 곳으로 제한된다. 아울러, 차선 및 도로 표시 검출 알고리즘이 특정 지역에 대한 학습을 기반으로 한다. 따라서 자율주행을 위한 차선 및 도로 표시 검출은 지역 및 주행 조건에 제한적이다.
KR 2018-0137905 A
상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명의 일 실시예는 어라운드뷰를 이용한 지역 기반 분류기 적응에 의해 지역 또는 국가에 독립적으로 자율주행 차량에 적용할 수 있는 차선유형 판단 장치 및 그 방법을 제공하는 데 그 목적이 있다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
위와 같은 과제를 해결하기 위한 본 발명의 일 측면에 따르면, 차량 주변의 어라운드뷰 이미지를 획득하는 카메라; GPS 정보를 수신하는 GPS 수신부; 및 상기 카메라 및 GPS 수신부와 통신적으로 연결되는 제어부;를 포함하고, 상기 제어부는 상기 카메라에 의해 획득된 상기 이미지의 장면을 인식하고, 상기 인식된 장면에서 차선 및 도로 표시를 검출하며, 상기 GPS 정보를 기반으로 적응되는 분류기를 포함하며, 상기 분류기에 의해 상기 검출된 차선 및 도로 표시를 분류하고, 상기 분류된 차선의 유형을 확인하도록 구성되는 차선유형 판단 장치가 제공된다.
일 실시예에서, 상기 제어부는 상기 검출된 차선 및 도로 표시를 입력으로 하여 상기 GPS 정보를 기반으로 상기 분류기를 적응하도록 구성될 수 있다.
일 실시예에서, 상기 제어부는 상기 차선의 유형 및 도로 표시에 기반하여 제동신호 및 가속신호를 해당 ECU로 전송하도록 구성될 수 있다.
일 실시예에서, 상기 제어부는 상기 검출된 차선을 점선, 실선 및 이들의 조합 중 하나로 분류하도록 구성될 수 있다.
일 실시예에서, 상기 제어부는 상기 검출된 차선의 색상을 탐색하도록 구성될 수 있다.
일 실시예에서, 상기 제어부는 상기 이미지에서 도로 및 다른 객체를 검출하도록 구성될 수 있다.
일 실시예에서, 상기 제어부는 상기 검출된 도로 및 다른 객체에 따라 상기 도로가 고속도로 또는 시내도로인지를 인식하도록 구성될 수 있다.
일 실시예에서, 상기 제어부는 상기 인식된 장면에 도로가 포함하는지를 판단하고, 상기 인식된 장면에 도로가 포함되는 경우 상기 도로의 상태를 검출하도록 구성될 수 있다.
일 실시예에서, 상기 제어부는 상기 도로 상에 눈, 물, 낙엽 및 진흙 중 적어도 하나를 검출하도록 구성될 수 있다.
일 실시예에서, 상기 카메라는 어안 카메라일 수 있다.
일 실시예에서, 카메라에 의해 차량 주변의 어라운드뷰 이미지를 획득하는 단계; 상기 획득된 이미지의 장면을 인식하는 단계; 상기 인식된 장면에서 차선 및 도로 표시를 검출하는 단계; GPS 정보를 기반으로 적응된 분류기에 의해 상기 검출된 차선 및 도로 표시를 분류하는 단계; 및 상기 분류된 차선의 유형을 확인하는 단계;를 포함하는 차선유형 판단 방법이 제공된다.
일 실시예에서, 상기 차선유형 판단 방법은 GPS 정보를 수신하는 단계; 및 상기 검출된 차선 및 도로 표시를 입력으로 하여 상기 GPS 정보를 기반으로 상기 분류기를 적응하는 단계;를 더 포함할 수 있다.
일 실시예에서, 상기 차선유형 판단 방법은 상기 차선의 유형 및 도로 표시에 기반하여 제동신호 및 가속신호를 해당 ECU로 전송하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 차선 및 도로 표시를 분류하는 단계는 상기 검출된 차선을 점선, 실선 및 이들의 조합 중 하나로 분류할 수 있다.
일 실시예에서, 상기 차선의 유형을 확인하는 단계는 상기 검출된 차선의 색상을 탐색할 수 있다.
일 실시예에서, 상기 장면을 인식하는 단계는 상기 이미지에서 도로 및 다른 객체를 검출할 수 있다.
일 실시예에서, 상기 장면을 인식하는 단계는 상기 검출된 도로 및 다른 객체에 따라 상기 도로가 고속도로 또는 시내도로인지를 인식할 수 있다.
일 실시예에서, 상기 차선유형 판단 방법은 상기 인식된 장면에 도로가 포함하는지를 판단하는 단계; 및 상기 인식된 장면에 도로가 포함되는 경우 상기 도로의 상태를 검출하는 단계;를 더 포함할 수 있다.
일 실시예에서, 상기 도로의 상태를 검출하는 단계는 상기 도로 상에 눈, 물, 낙엽 및 진흙 중 적어도 하나를 검출할 수 있다.
일 실시예에서, 상기 이미지를 획득하는 단계는 어안 카메라를 이용하여 상기 이미지를 획득할 수 있다.
본 발명의 일 실시예에 따른 차선유형 판단 장치 및 그 방법은 지역 정보에 기반하여 분류기를 적응함으로써, 지역 또는 국가에 독립적으로 자율주행차량에 적용할 수 있으므로 국가나 지역별로 별도의 알고리즘을 제공할 필요가 없다.
또한, 본 발명은 어라운드뷰를 이용하여 도로, 도로 상태, 차선유형 및 도로 표시를 검출함으로써, 정확하게 주변 상황을 검출할 수 있으므로 환경의 제한성을 회피할 수 있다.
또한, 본 발명은 차선유형, 도로 표시 및 도로 상태에 따라 제동신호 및 가속신호를 제공함으로써, 고속주행 중에도 차량을 제어할 수 있으므로 실시간 자율주행 차량에 효과적으로 사용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 차선유형 판단 장치를 구비한 차량의 사시도이고,
도 2는 본 발명의 일 실시예에 따른 차선유형 판단 장치의 블록도이며,
도 3은 본 발명의 일 실시예에 따른 차선유형 판단 장치에서 장면 인식 결과를 나타낸 이미지이고,
도 4는 본 발명의 일 실시예에 따른 차선유형 판단 장치에서 차선유형을 판단한 결과를 나타낸 이미지이며,
도 5는 본 발명의 일 실시예에 따른 차선유형 판단 방법의 순서도이고,
도 6은 본 발명의 일 실시예에 따른 차선유형 판단 방법에서 분류기를 적응하는 절차를 나타낸 순서도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.
본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해 제공되는 것이며, 아래에 설명되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 아래의 실시예들로 한정되는 것은 아니다. 오히려, 이들 실시예는 본 발명을 더욱 충실하고 완전하게 하며 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.
도 1은 본 발명의 일 실시예에 따른 차선유형 판단 장치를 구비한 차량의 사시도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 차선유형 판단 장치를 구비한 여기서, 차량(10)은 자율주행 차량일 수 있다. 즉, 차량(10)은 도로를 주행하면서, 도로의 상황을 인식하여 도로 상황에 따라 주행을 자율제어할 수 있다.
이를 위해, 차량(10)은 복수개의 카메라를 구비할 수 있다. 일례로, 차량(10)은 전방 카메라(111), 우측방 카메라(112), 좌측방 카메라(113), 후방 카메라(114)를 구비할 수 있다. 여기서, 전방 카메라(111)는 차량(10)의 전방 범퍼에 구비될 수 있다. 우측방 카메라(112) 및 좌측방 카메라(113)는 차량(10)의 좌우측 사이드 미러 또는 그 부근에 구비될 수 있다. 후방 카메라(114)는 차량(10)의 후방 범퍼에 구비될 수 있다. 이에 의해, 차량(10)은 차량 주변에 대한 어라운드뷰(around view) 이미지를 획득할 수 있다.
또한 차량(10)은 비디오 카메라(115)를 더 포함할 수 있다. 여기서, 비디오 카메라(115)는 차량(10) 실내의 상단부에 구비될 수 있다. 일례로, 비디오 카메라(115)는 블랙박스의 녹화용 카메라일 수 있다.
본 발명의 실시예에 따른 차선유형 판단 장치(100)는 차선 및 도로 표시 정보에 기반하여 도로를 주행하기 위해 자율주행 차량(10)의 주요 요건을 충족시키기 위한 것이다.
도 2는 본 발명의 일 실시예에 따른 차선유형 판단 장치의 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 차선유형 판단 장치(100)는 카메라(110), GPS 수신부(120), 제어부(130) 및 저장부(140)를 포함한다.
카메라(110)는 차량(10) 주변의 어라운드뷰 이미지를 획득할 수 있다. 일례로, 카메라(110)는 도 1에 도시된 바와 같이, 전방 카메라(111), 우측방 카메라(112), 좌측방 카메라(113) 및 후방 카메라(114)를 포함할 수 있다. 이때, 카메라(110)는 어안 카메라일 수 있다.
GPS 수신부(120)는 GPS 위성으로부터 GPS 정보를 수신할 수 있다. 여기서, GPS 정보는 차량(10)의 현재 위치에 따른 지형 및 도로 정보를 포함할 수 있다. 또한, GPS 수신부(120)는 수신된 GPS 정보를 저장부(140)에 저장할 수 있다.
제어부(130)는 카메라(110), GPS 수신부(120) 및 저장부(140)에 통신적으로 연결될 수 있다. 여기서, 제어부(130)는 차량(10)의 ECU(Electronic Control Unit)일 수 있다. 선택적으로, 제어부(130)는 차선유형 판단을 위해 별도로 구비된 컨트롤러일 수도 있다. 이때, 제어부(130)는 차량(10)의 자율주행을 제어하는 ECU(11)에 통신적으로 연결될 수 있다.
제어부(130)는 카메라(110)에 의해 획득된 어라운드뷰 이미지의 장면을 인식하도록 구성될 수 있다. 여기서, 제어부(130)는 획득된 어라운드뷰 이미지에서 도로 및 다른 객체를 검출하도록 구성될 수 있다. 즉, 제어부(130)는 어라운드뷰 이미지에서 도로 상황을 인식할 수 있는 객체를 검출할 수 있다. 이때, 제어부(130)는 어라운드뷰 이미지로부터 검출된 도로 및 다른 객체에 따라 검출된 도로가 고속도로 또는 시내도로인지를 인식하도록 구성될 수 있다.
이에 의해, 차선유형 판단 장치(100)는 차량(10)이 주행중인 도로 및 차량(10) 주변의 객체를 정확하게 검출할 수 있으므로, 환경에 제한되지 않게 자율주행 차량에 도로 정보를 제공할 수 있다.
제어부(130)는 어라운드뷰 이미지에서 인식된 장면에 도로가 포함하는지를 판단하도록 구성될 수 있다. 제어부(130)는 인식된 장면에 도로가 포함되지 않은 경우, 해당 장면에 대한 처리를 진행하지 않고, 다음 어라운드뷰 이미지에 대한 인식을 수행하도록 구성될 수 있다.
이때, 제어부(130)는 인식된 장면에 도로가 포함되는 경우, 도로의 상태를 검출하도록 구성될 수 있다. 제어부(130)는 도로 상의 객체를 부가적으로 검출함으로써, 도로의 상태를 검출할 수 있다. 일례로, 제어부(130)는 도로 상에 눈, 물, 낙엽 및 진흙 중 적어도 하나를 검출하도록 구성될 수 있다. 즉, 제어부(130)는 도로 상의 노면 상태를 검출하도록 구성될 수 있다.
이에 의해, 차선유형 판단 장치(100)는 차량(10)이 주행중인 도로 및 도로의 위험 상태를 효과적으로 신속하게 검출할 수 있으므로, 자율주행 차량의 내비게이션에 도움을 제공할 수 있다.
제어부(130)는 어라운드뷰 이미지의 인식된 장면에서 차선 및 도로 표시를 검출하도록 구성될 수 있다. 일례로, 제어부(130)는 에지 검출에 의해 차선 및 도로 표시를 검출하도록 구성될 수 있다.
제어부(130)는 차선유형을 판단하기 위한 분류기(132)를 포함할 수 있다. 여기서, 분류기(132)는 GPS 수신부(120)로부터 수신되는 GPS 정보를 기반으로 적응될 수 있다. 이때, 제어부(130)는 어라운드뷰 이미지에서 검출된 차선 및 도로 표시를 입력으로 하여 GPS 수신부(120)로부터의 GPS 정보를 기반으로 분류기(132)를 적응하도록 구성될 수 있다.
이에 의해, 차선유형 판단 장치(100)는 국가나 특정 지역에 대한 별도의 알고리즘이 필요 없어 국가나 특정 지역에 제한되지 않고 모든 국가나 지역에서 독립적으로 적용될 수 있다. 더욱이, 차선유형 판단 장치(100)는 연산 복잡성이 적으므로 차선 및 도로 표시의 분류를 번거롭지 않게 수행할 수 있으므로 실시간 자율주행 차량에 적용될 수 있다.
제어부(130)는 어라운드뷰 이미지에서 검출된 차선 및 도로 표시를 분류기(132)에 의해 분류하도록 구성될 수 있다. 이때, 제어부(130)는 어라운드뷰 이미지에서 검출된 차선을 그 형태에 따라 점선, 실선 및 이들의 조합 중 하나로 분류하도록 구성될 수 있다.
제어부(130)는 분류된 차선의 유형을 확인하도록 구성될 수 있다. 이때, 제어부(130)는 어라운드뷰 이미지에서 검출된 차선의 색상을 탐색하도록 구성될 수 있다.
결과적으로 제어부(130)는 어라운드뷰 이미지에서 인식된 차선의 형태 및 색상에 따라 해당 차선의 유형을 판단하도록 구성될 수 있다. 여기서, 차선유형은 각각 서로 상이한 의미를 갖는다. 이를 통해 제어부(130)는 차량(10)의 주행에 필요한 정보를 ECU(11)에 제공할 수 있다.
일례로, 제어부(130)는 확인된 차선의 유형 및 도로 표시에 기반하여 제동신호 및 가속신호를 해당 ECU(11)로 전송하도록 구성될 수 있다. 여기서, ECU(11)는 차량(10)의 자율주행을 제어하도록 구성될 수 있다. 선택적으로, 제어부(130)는 도로의 상태에 기반하여 제동신호 및 가속신호를 유지할지의 여부를 결정하도록 구성될 수 있다.
이에 의해, 차선유형 판단 장치(100)는 고속주행 중에도 차선유형, 도로 표시 및 도로 상태에 따라 차량(10)을 제어할 수 있으므로 실시간 시나리오에 따른 자율주행의 안정성을 보장하도록 지원할 수 있다.
저장부(140)는 내비게이션의 맵 정보가 저장될 수 있다. 또한, 저장부(140)는 GPS 수신부(120)로부터 수신된 GPS 정보가 저장될 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 차선유형 판단 장치(100)는 장면 인식, 도로 위험(상태) 검출, 차선유형 및 도로 표시 검출 및 분류를 하나로 장치로 구성할 수 있다.
도 3은 본 발명의 일 실시예에 따른 차선유형 판단 장치에서 장면 인식 결과를 나타낸 이미지이고, 도 4는 본 발명의 일 실시예에 따른 차선유형 판단 장치에서 차선유형을 판단한 결과를 나타낸 이미지이다.
도 3을 참조하면, 카메라(110)에 의해 획득된 어라운드뷰 이미지의 인식결과는 전방 이미지(a), 우측방 이미지(b), 좌측방 이미지(c) 및 후방 이미지(d)를 포함한다. 차선유형 판단 장치(100)는 어라운드뷰 이미지를 통하여 장면을 인식할 수 있다. 즉, 차선유형 판단 장치(100)는 차량(10)이 주행 중인 도로가 고속도로인지 또는 시내도로인지를 도로 및 다른 객체를 통하여 인식할 수 있다.
도 4를 참조하면, 어라운드뷰 이미지에 대한 차선유형 판단 결과는 전방 이미지(a), 우측방 이미지(b), 좌측방 이미지(c) 및 후방 이미지(d)를 포함한다. 차선유형 판단 장치(100)는 인식된 어라운드뷰 이미지로부터 검출된 차선의 유형을 판단할 수 있다. 즉, 차선유형 판단 장치(100)는 차선의 형태 및 색상을 통하여 차선유형을 판단할 수 있다.
이하, 도 5 및 도 6을 참조하여 본 발명의 차선유형 판단 방법을 설명한다.
도 5는 본 발명의 일 실시예에 따른 차선유형 판단 방법의 순서도이다.
차선유형 판단 방법(200)은 이미지를 획득하는 단계(S210), 차선 및 도로 표시를 검출하는 단계(S220 내지 S250), 차선 및 도로 표시를 분류하는 단계(S260 및 S270) 및 차선유형을 확인하는 단계(S280 및 S290)를 포함한다.
보다 상세히 설명하면, 도 5에 도시된 바와 같이, 먼저, 차선유형 판단 장치(100)는 카메라(110)에 의해 차량(10) 주변의 어라운드뷰 이미지를 획득한다(단계 S210). 이때, 차선유형 판단 장치(100)는 전방 카메라(111), 우측방 카메라(112), 좌측방 카메라(113) 및 후방 카메라(114)를 이용하여 어라운드뷰 이미지를 획득할 수 있다. 여기서, 카메라(110)는 어안 카메라일 수 있다.
다음으로, 차선유형 판단 장치(100)는 획득된 어라운드뷰 이미지의 장면을 인식한다(단계 S220). 이때, 차선유형 판단 장치(100)는 획득된 어라운드뷰 이미지에서 도로 및 다른 객체를 검출하도록 구성될 수 있다.
즉, 차선유형 판단 장치(100)는 어라운드뷰 이미지에서 도로 상황을 인식할 수 있는 객체를 검출할 수 있다. 이때, 차선유형 판단 장치(100)는 어라운드뷰 이미지로부터 검출된 도로 및 다른 객체에 따라 검출된 도로가 고속도로 또는 시내도로인지를 인식하도록 구성될 수 있다.
다음으로, 차선유형 판단 장치(100)는 어라운드뷰 이미지에서 인식된 장면에 도로가 포함하는지를 판단하여(단계 S230), 인식된 장면에 도로가 포함되지 않은 경우, 단계 S210으로 복귀하여 어라운드뷰 이미지 획득 및 장면 인식을 반복 수행할 수 있다.
단계 S230의 판단결과, 인식된 장면에 도로가 포함되는 경우, 차선유형 판단 장치(100)는 도로의 상태를 검출한다(단계 S240). 이때, 차선유형 판단 장치(100)는 도로 상의 객체를 부가적으로 검출함으로써, 도로의 상태를 검출할 수 있다.
일례로, 차선유형 판단 장치(100)는 도로 상에 눈, 물, 낙엽 및 진흙 중 적어도 하나를 검출할 수 있다. 즉, 차선유형 판단 장치(100)는 도로 상의 노면 상태를 검출할 수 있다.
다음으로, 차선유형 판단 장치(100)는 어라운드뷰 이미지의 인식된 장면에서 차선 및 도로 표시를 검출한다(단계 S250). 일례로, 차선유형 판단 장치(100)는 에지 검출에 의해 차선 및 도로 표시를 검출할 수 있다.
다음으로, 차선유형 판단 장치(100)는 검출된 객체가 도로의 차선 및 도로 표시인지를 판단하여(단계 S260), 검출된 객체가 차선 및 도로 표시가 아닌 경우, 단계 S210으로 복귀하여 어라운드뷰 이미지 획득, 장면 인식 및 차선 및 도료 표시 검출을 반복 수행할 수 있다.
단계 S260의 판단결과, 검출된 객체가 도로의 차선 및 도로 표시인 경우, 차선유형 판단 장치(100)는 어라운드뷰 이미지에서 검출된 차선 및 도로 표시를 분류한다(단계 S270). 이때 차선유형 판단 장치(100)는 도 6을 참조하여 후술하는 바와 같이, GPS 정보를 기반으로 적응된 분류기(132)에 의해 검출된 차선 및 도로 표시를 분류할 수 있다.
일례로, 차선유형 판단 장치(100)는 어라운드뷰 이미지에서 검출된 차선을 그 형태에 따라 점선, 실선 및 이들의 조합 중 하나로 분류할 수 있다.
다음으로, 차선유형 판단 장치(100)는 분류된 차선의 유형을 확인한다(단계 S280). 이때, 차선유형 판단 장치(100)는 어라운드뷰 이미지에서 검출된 차선의 색상을 탐색할 수 있다.
결과적으로, 차선유형 판단 장치(100)는 어라운드뷰 이미지에서 인식된 차선의 형태 및 색상에 따라 해당 차선의 유형을 판단할 수 있다.
다음으로, 차선유형 판단 장치(100)는 확인된 차선의 유형 및 도로 표시에 기반하여 제동신호 및 가속신호를 해당 ECU(11)로 전송한다(단계 S290). 여기서, ECU(11)는 차량(10)의 자율주행을 제어할 수 있다.
선택적으로, 차선유형 판단 장치(100)는 도로의 상태에 기반하여 제동신호 및 가속신호를 유지할지의 여부를 결정할 수 있다.
도 6은 본 발명의 일 실시예에 따른 차선유형 판단 방법에서 분류기를 적응하는 절차를 나타낸 순서도이다.
분류기를 적응하는 절차(300)는 GPS 정보를 수신하는 단계(S310) 및 분류기를 적응하는 단계(S320)를 포함한다.
보다 상세히 설명하면, 도 6에 도시된 바와 같이, 먼저, 차선유형 판단 장치(100)는 GPS 위성으로부터 GPS 정보를 수신한다(단계 S310). 여기서, GPS 정보는 차량(10)의 현재 위치에 따른 지형 및 도로 정보를 포함할 수 있다.
다음으로, 차선유형 판단 장치(100)는 수신된 GPS 정보를 기반으로 분류기(132)를 적응한다(단계 S320). 여기서, 차선유형 판단 장치(100)는 도 5의 차선 및 도로 표시 검출 단계(S250)로부터 검출된 어라운드뷰 이미지의 차선 및 도로 표시를 입력받을 수 있다.
이때, 차선유형 판단 장치(100)는 GPS 정보를 기반으로 분류기(132)를 적응할 수 있다. 또한, 차선유형 판단 장치(100)는 차선 및 도로 표시를 분류하도록 적응된 분류기(132)를 도 5의 차선 및 표시 분류 단계(S270)에 제공할 수 있다.
상기와 같은 방법들은 도 2에 도시된 바와 같은 차선유형 판단 장치(100)에 의해 구현될 수 있고, 특히, 이러한 단계들을 수행하는 소프트웨어 프로그램으로 구현될 수 있으며, 이 경우, 이러한 프로그램들은 컴퓨터 판독가능한 기록 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다. 이때, 컴퓨터 판독가능한 기록 매체는 컴퓨터 시스템에 의해 판독가능한 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다.
이상에서 본 발명의 일 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.
10 : 차량 11 : ECU
100 : 차선유형 판단 장치 110 : 카메라
111 : 전방 카메라 112 : 우측방 카메라
113 : 좌측방 카메라 114 : 후방 카메라
115 : 비디오 카메라 120 : GPS 수신부
130 : 제어부 132 : 분류기
140 : 저장부

Claims (20)

  1. 차량 주변의 어라운드뷰 이미지를 획득하는 카메라;
    GPS 정보를 수신하는 GPS 수신부; 및
    상기 카메라 및 GPS 수신부와 통신적으로 연결되는 제어부;를 포함하고,
    상기 제어부는,
    상기 카메라에 의해 획득된 상기 이미지의 장면을 인식하고,
    상기 인식된 장면에서 차선 및 도로 표시를 검출하며,
    상기 GPS 정보를 기반으로 적응되는 분류기를 포함하며, 상기 분류기에 의해 상기 검출된 차선 및 도로 표시를 분류하고,
    상기 분류된 차선의 유형을 확인하도록 구성되는 차선유형 판단 장치.
  2. 제1항에 있어서,
    상기 제어부는 상기 검출된 차선 및 도로 표시를 입력으로 하여 상기 GPS 정보를 기반으로 상기 분류기를 적응하도록 구성되는 차선유형 판단 장치.
  3. 제1항에 있어서,
    상기 제어부는 상기 차선의 유형 및 도로 표시에 기반하여 제동신호 및 가속신호를 해당 ECU로 전송하도록 구성되는 차선유형 판단 장치.
  4. 제1항에 있어서,
    상기 제어부는 상기 검출된 차선을 점선, 실선 및 이들의 조합 중 하나로 분류하도록 구성되는 차선유형 판단 장치.
  5. 제4항에 있어서,
    상기 제어부는 상기 검출된 차선의 색상을 탐색하도록 구성되는 차선유형 판단 장치.
  6. 제1항에 있어서,
    상기 제어부는 상기 이미지에서 도로 및 다른 객체를 검출하도록 구성되는 차선유형 판단 장치.
  7. 제6항에 있어서,
    상기 제어부는 상기 검출된 도로 및 다른 객체에 따라 상기 도로가 고속도로 또는 시내도로인지를 인식하도록 구성되는 차선유형 판단 장치.
  8. 제6항에 있어서
    상기 제어부는,
    상기 인식된 장면에 도로가 포함하는지를 판단하고,
    상기 인식된 장면에 도로가 포함되는 경우 상기 도로의 상태를 검출하도록 구성되는 차선유형 판단 장치.
  9. 제8항에 있어서,
    상기 제어부는 상기 도로 상에 눈, 물, 낙엽 및 진흙 중 적어도 하나를 검출하도록 구성되는 차선유형 판단 장치.
  10. 제1항에 있어서,
    상기 카메라는 어안 카메라인 차선유형 판단 장치.
  11. 카메라에 의해 차량 주변의 어라운드뷰 이미지를 획득하는 단계;
    상기 획득된 이미지의 장면을 인식하는 단계;
    상기 인식된 장면에서 차선 및 도로 표시를 검출하는 단계;
    GPS 정보를 기반으로 적응된 분류기에 의해 상기 검출된 차선 및 도로 표시를 분류하는 단계; 및
    상기 분류된 차선의 유형을 확인하는 단계;
    를 포함하는 차선유형 판단 방법.
  12. 제11항에 있어서,
    GPS 정보를 수신하는 단계; 및
    상기 검출된 차선 및 도로 표시를 입력으로 하여 상기 GPS 정보를 기반으로 상기 분류기를 적응하는 단계;를 더 포함하는 차선유형 판단 방법.
  13. 제11항에 있어서,
    상기 차선의 유형 및 도로 표시에 기반하여 제동신호 및 가속신호를 해당 ECU로 전송하는 단계를 더 포함하는 차선유형 판단 방법.
  14. 제11항에 있어서,
    상기 차선 및 도로 표시를 분류하는 단계는 상기 검출된 차선을 점선, 실선 및 이들의 조합 중 하나로 분류하는 차선유형 판단 방법.
  15. 제14항에 있어서,
    상기 차선의 유형을 확인하는 단계는 상기 검출된 차선의 색상을 탐색하는 차선유형 판단 방법.
  16. 제11항에 있어서,
    상기 장면을 인식하는 단계는 상기 이미지에서 도로 및 다른 객체를 검출하는 차선유형 판단 방법.
  17. 제16항에 있어서,
    상기 장면을 인식하는 단계는 상기 검출된 도로 및 다른 객체에 따라 상기 도로가 고속도로 또는 시내도로인지를 인식하는 차선유형 판단 방법.
  18. 제16항에 있어서,
    상기 인식된 장면에 도로가 포함하는지를 판단하는 단계; 및
    상기 인식된 장면에 도로가 포함되는 경우 상기 도로의 상태를 검출하는 단계;를 더 포함하는 차선유형 판단 방법.
  19. 제18항에 있어서,
    상기 도로의 상태를 검출하는 단계는 상기 도로 상에 눈, 물, 낙엽 및 진흙 중 적어도 하나를 검출하는 차선유형 판단 방법.
  20. 제11항에 있어서,
    상기 이미지를 획득하는 단계는 어안 카메라를 이용하여 상기 이미지를 획득하는 차선유형 판단 방법.
KR1020200054870A 2020-05-08 2020-05-08 차선유형 판단 장치 및 그 방법 KR20210136518A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200054870A KR20210136518A (ko) 2020-05-08 2020-05-08 차선유형 판단 장치 및 그 방법
US17/314,121 US12097839B2 (en) 2020-05-08 2021-05-07 Device for determining lane type and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200054870A KR20210136518A (ko) 2020-05-08 2020-05-08 차선유형 판단 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20210136518A true KR20210136518A (ko) 2021-11-17

Family

ID=78412780

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200054870A KR20210136518A (ko) 2020-05-08 2020-05-08 차선유형 판단 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20210136518A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180137905A (ko) 2017-06-20 2018-12-28 현대모비스 주식회사 차선 인식 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180137905A (ko) 2017-06-20 2018-12-28 현대모비스 주식회사 차선 인식 장치 및 방법

Also Published As

Publication number Publication date
US20210350148A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
US11747169B2 (en) Real-time updates to maps for autonomous navigation
CN111695546B (zh) 用于无人车的交通信号灯识别方法和装置
US10147002B2 (en) Method and apparatus for determining a road condition
US11182628B2 (en) Automatically perceiving travel signals
JP4321821B2 (ja) 画像認識装置及び画像認識方法
US10480949B2 (en) Apparatus for identifying position of own vehicle and method for identifying position of own vehicle
US8848980B2 (en) Front vehicle detecting method and front vehicle detecting apparatus
CN113160594B (zh) 变化点检测装置以及地图信息发布系统
US20160071415A1 (en) Parking space recognition apparatus and parking space recognition system
CN109828571A (zh) 基于v2x的自动驾驶车辆、方法和装置
JP2006208223A (ja) 車両位置認識装置及び車両位置認識方法
JPWO2017163614A1 (ja) 車両制御装置
US20140327557A1 (en) Display method and display system for a vehicle
KR102635265B1 (ko) 라이다를 이용한 어라운드 뷰 모니터링 장치 및 방법
CN113885062A (zh) 基于v2x的数据采集融合设备、方法和系统
US20190180117A1 (en) Roadside object recognition apparatus
CN113228131A (zh) 用于提供周围环境数据的方法和系统
US20220292847A1 (en) Drive assist device, drive assist method, and program
CN113525386A (zh) 对后方接近的应急车辆的检测
JP6608664B2 (ja) 自車位置認識装置
JP6718025B2 (ja) 車両周辺の小物体領域を識別する装置及び方法
KR20210136518A (ko) 차선유형 판단 장치 및 그 방법
CN109017772B (zh) 车辆控制装置
US12097839B2 (en) Device for determining lane type and method thereof
JP7392506B2 (ja) 画像送信システム、画像処理システムおよび画像送信プログラム