KR20170085752A - 자율 주행 차량의 차선 인지 방법 및 장치 - Google Patents

자율 주행 차량의 차선 인지 방법 및 장치 Download PDF

Info

Publication number
KR20170085752A
KR20170085752A KR1020160005272A KR20160005272A KR20170085752A KR 20170085752 A KR20170085752 A KR 20170085752A KR 1020160005272 A KR1020160005272 A KR 1020160005272A KR 20160005272 A KR20160005272 A KR 20160005272A KR 20170085752 A KR20170085752 A KR 20170085752A
Authority
KR
South Korea
Prior art keywords
lane
vehicle
probability distribution
information
determining
Prior art date
Application number
KR1020160005272A
Other languages
English (en)
Other versions
KR102456626B1 (ko
Inventor
양석열
이태석
임성수
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020160005272A priority Critical patent/KR102456626B1/ko
Publication of KR20170085752A publication Critical patent/KR20170085752A/ko
Application granted granted Critical
Publication of KR102456626B1 publication Critical patent/KR102456626B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/081—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors avoiding blind spots, e.g. by using a side-by-side association of mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G06K9/00798—
    • B60W2420/42—
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • B60Y2300/12—Lane keeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

자율 주행 차량의 차선 인지 방법은 차량에 탑재된 카메라로부터 획득된 영상 정보를 근거로 차선의 제1위치를 인식하는 단계, 차량에 탑재된 카메라 및 센서 중 적어도 하나를 통해 획득된 주변 차량 정보를 바탕으로 차선에 대한 확률분포(probability distribution)를 결정하는 단계, 및 확률분포의 일정 범위 내 차선이 포함되는 지에 따라 제1위치 및 확률분포에 따른 차선의 제2위치 중 하나를 출력하는 단계를 포함한다.

Description

자율 주행 차량의 차선 인지 방법 및 장치{APPARATUS AND METHOD FOR TRAFFIC LANE RECOGNITION IN AUTOMATIC STEERING CONTROL OF VEHILCLES}
본 발명은 자율 주행 차량의 차선 인지 방법 및 장치에 관한 것으로, 더욱 상세하게는 카메라를 통한 영상 정보를 기반으로 차선을 인지하는 과정에서 차선이 명확하지 않은 경우에 발생할 수 있는 오류를 해결할 수 있는 방법 및 장치에 관한 것이다.
자동차는 운전자에게 보다 편안하고 안전한 주행환경을 제공하기 위해 개발되어왔다. 또한, 운전자의 안전 및 편의를 향상시키기 위한 안전 제어 시스템들이 개발되고 있다. 나아가, 운전자에게 보다 안락하고 안전한 주행환경을 제공하기 위한 지능형 운전자 지원 시스템에 대한 연구 역시 활발하게 진행되고 있으며 궁극적으로는 자율 주행 또는 무인 자율 주행을 위한 제어 시스템에 대한 연구로 확대되어가고 있다.
운전자를 돕기 위한 주행 편의 장치에는 현재 차선(lane)을 유지하면서 종방향 속도를 조절하며 이웃한 차량과의 차간 거리를 제어할 수 있는 지능형 순항 제어장치(Smart Cruise Control, SCC), 고속도로 운전지원 시스템(Highway Driving Assist, HDA) 등이 포함되어 있다. 또한, 주행중인 차선을 벗어나는 경우 운전자에게 경고를 주거나 본래 주행 중이던 차선으로 복귀시키는 차선 유지 지원 시스템(Lane Keeping Assist System, LKAS)등도 연구되고 있다.
여러 기능을 수행할 수 있는 주행 편의 장치에서 기본적으로 요구되는 것은 차량이 주행 중 차선을 인지하는 기술이다. 예를 들면, 자율주행 차량의 경우, 차선을 잘못 인지하거나 차선이 인지되지 않는 주행 상황에서 현재 주행 중인 차선을 벗어나서 주행하는 상황이 발생할 수 있다. 주행 편의 장치는 이러한 차선이탈 상황을 막기 위한 보완 장치들을 포함할 수 있다.
자율 주행 차량에서 카메라를 통한 영상 정보를 기반으로 차선을 인지하는 방법이 가장 보편적으로 사용되는 방법이다. 영상 정보를 이용하는 경우, 이상적으로 차선이 깨끗하게 그려진 경우에는 자율 주행 차량이 차선을 인지하는 데 문제가 없을 수 있다. 하지만, 도로에 차선이 분명하지 않은 경우에는 자율 주행 차량이 차선을 잘못 인지하는 경우가 발생한다. 예를 들어, 도로 공사 등과 같은 이유로 기존 차선에 추가로 새로운 차선이 생겨나는 경우, 영상 기반으로 차선을 인지하는 방법으로는 차선이 잘못인지 될 가능성이 발생한다. 이와 같은 상황에서 차선 인지 카메라가 기존의 잘못 그려진 차선을 인지하더라도 실제의 차량 주행은 새로 추가된 차선을 기반으로 움직일 수 있는데, 이를 보정하기 위한 방법이 필요하다.
WO 2012011713 A2
본 발명은 카메라 영상 정보 기반 차선 인지의 부정확성을 보조하고, 주변 차량 정보를 활용한 확률적 분포 기반의 차선 추정 결과를 사용하여 차선 인지를 보정하기 위한 방법과 장치를 포함한다.
또한, 본 발명은 도로의 상태 또는 환경적인 요인(날씨 등)에 의해 카메라 영상을 통해 차선을 인식하기 어려운 경우, 주행 중 주변 차량 정보를 사용하여 차선을 인지하는 방법과 장치를 포함한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 자율 주행 차량의 차선 인지 방법은 차량에 탑재된 카메라로부터 획득된 영상 정보를 근거로 차선의 제1위치를 인식하는 단계; 차량에 탑재된 카메라 및 센서 중 적어도 하나를 통해 획득된 주변 차량 정보를 바탕으로 상기 차선에 대한 확률분포(probability distribution)를 결정하는 단계; 및 상기 확률분포의 일정 범위 내 상기 차선이 포함되는 지에 따라 상기 제1위치 및 상기 확률분포에 따른 상기 차선의 제2위치 중 하나를 출력하는 단계를 포함할 수 있다.
또한, 상기 제1위치를 인식하는 단계는 상기 영상 정보를 탑 뷰(top view) 형태로 보정하는 단계; 보정된 영상에서 상기 차선에 대응하는 패턴을 검출하는 단계; 및 상기 패턴과 상기 차량 사이의 거리를 결정하는 단계를 포함할 수 있다.
또한, 상기 주변 차량 정보는 물체의 거리나 속도, 각도를 측정하기 위해 전자기파를 사용하는 레이더(Radar, Radio Detection And Ranging) 감지 센서, 빛을 이용해 레이더가 볼 수 없는 사각지대까지 관측 가능한 라이다(Lidar, Light Detection and Ranging) 센서, 광학계를 통해 영상으로 취득한 후 처리해 감지하는 카메라(Camera) 중 적어도 하나에 의해 획득될 수 있다.
또한, 자율 주행 차량의 차선 인지 방법은 차량에 탑재된 카메라 및 센서로부터 복수의 상기 주변 차량 정보가 수집되면, 상기 복수의 주변 차량 정보를 매칭시키는 단계를 더 포함할 수 있다.
또한, 상기 확률분포를 결정하는 단계는 상기 주변 차량 정보에 근거하여, 상기 차량을 기준으로 상기 주변 차량의 개별 궤적을 결정하는 제1단계; 상기 개별 궤적을 바탕으로 상기 개별 확률분포를 결정하는 제2단계; 및 상기 개별 확률분포를 결합하여 상기 확률분포를 출력하는 제3단계를 포함할 수 있다.
또한, 상기 주변 차량 정보에 포함된 상기 주변 차량의 수를 결정하는 단계를 더 포함하고, 상기 수만큼 상기 제1단계 내지 상기 제3단계를 반복할 수 있다.
또한, 자율 주행 차량의 차선 인지 방법은 상기 주변 차량에 개별적으로 가중치를 결정하는 단계를 더 포함하고, 상기 개별 확률분포는 상기 가중치를 반영하여 상기 확률분포에 결합될 수 있다.
또한, 상기 가중치는 1/n(n은 상기 주변 차량의 수)으로 초기 설정되고, 상기 개별 확률분포와 상기 확률분포의 거리가 가까울수록 상기 가중치는 높아질 수 있다.
또한, 상기 주변 차량의 상기 개별 궤적이 기 설정된 범위를 초과하는 횡방향 움직임이 있는 경우, 상기 가중치를 최소값으로 결정할 수 있다.
또한, 상기 확률분포의 기 설정된 확률 범위 내 상기 차선이 위치하면 상기 제1위치를 출력할 수 있다.
또한, 자율 주행 차량의 차선 인지 방법은 상기 기 설정된 확률 범위 내 상기 차선이 위치하지 않으면, 수동 운전 전환을 요청하는 단계; 및 상기 차선의 제2위치를 출력하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 프로세서에 의해 실행되는 것을 통하여, 전술한 자율 주행 차량의 차선 인지 방법을 포함할 수 있다. 또한, 본 발명의 다른 실시예에 따른 컴퓨터 판독 가능한 기록매체는 전술한 자율 주행 차량의 차선 인지 방법을 포함할 수 있다.
본 발명의 다른 실시예에 따른 자율 주행 차량의 차선 인지 장치는 차량에 탑재된 카메라로부터 획득된 영상 정보를 근거로 차선의 제1위치를 인식하는 제1차선 인지부; 차량에 탑재된 카메라 및 센서 중 적어도 하나를 통해 획득된 주변 차량 정보를 바탕으로 상기 차선에 대한 확률분포(probability distribution)를 결정하는 제2차선 인지부; 및 상기 확률분포의 일정 범위 내 상기 차선이 포함되는 지에 따라 상기 제1위치 및 상기 확률분포에 따른 상기 차선의 제2위치 중 하나를 출력하는 판단부를 포함할 수 있다.
또한, 상기 제1차선 인지부는 상기 영상 정보를 탑 뷰(top view) 형태로 보정하는 보정부; 보정된 영상에서 상기 차선에 대응하는 패턴을 검출하는 검출부; 및 상기 패턴과 상기 차량 사이의 거리를 결정하는 측정부를 포함할 수 있다.
또한, 상기 주변 차량 정보는 물체의 거리나 속도, 각도를 측정하기 위해 전자기파를 사용하는 레이더(Radar, Radio Detection And Ranging) 감지 센서, 빛을 이용해 레이더가 볼 수 없는 사각지대까지 관측 가능한 라이다(Lidar, Light Detection and Ranging) 센서, 광학계를 통해 영상으로 취득한 후 처리해 감지하는 카메라(Camera) 중 적어도 하나에 의해 획득될 수 있다.
또한, 자율 주행 차량의 차선 인지 장치는 차량에 탑재된 카메라 및 센서로부터 복수의 상기 주변 차량 정보가 수집되면, 상기 복수의 주변 차량 정보를 매칭시키는 매칭부를 더 포함할 수 있다.
또한, 상기 제2차선 인지부는 상기 주변 차량 정보에 근거하여, 상기 차량을 기준으로 상기 주변 차량의 개별 궤적을 결정하는 제1단계; 상기 개별 궤적을 바탕으로 상기 개별 확률분포를 결정하는 제2단계; 및 상기 개별 확률분포를 결합하여 상기 확률분포를 출력하는 제3단계를 수행할 수 있다.
또한, 상기 제2차선 인지부는 상기 주변 차량 정보에 포함된 주변 차량의 수를 결정하고, 상기 수만큼 상기 제1단계 내지 상기 제3단계를 반복 수행할 수 있다.
또한, 상기 제2차선 인지부는 상기 주변 차량에 개별적으로 가중치를 결정하고, 상기 개별 확률분포를 상기 가중치를 반영하여 상기 확률분포에 결합할 수 있다.
또한, 상기 가중치는 1/n(n은 상기 주변 차량의 수)으로 초기 설정되고, 상기 개별 확률분포와 상기 확률분포의 거리가 가까울수록 상기 가중치는 높아질 수 있다.
또한, 상기 주변 차량의 상기 개별 궤적이 기 설정된 범위를 초과하는 횡방향 움직임이 있는 경우, 상기 가중치를 최소값으로 결정할 수 있다.
또한, 상기 판단부에서 출력되는 결과는 멀티미디어 시스템의 스크린을 통해 출력될 수 있다.
또한, 상기 판단부는 상기 확률분포의 기 설정된 확률 범위 내 상기 차선이 위치하면 상기 제1위치를 출력할 수 있다.
또한, 상기 판단부는 상기 기 설정된 확률 범위 내 상기 차선이 위치하지 않으면, 수동 운전 전환을 요청하고, 상기 차선의 제2위치를 출력할 수 있다.
상기 본 발명의 양태들은 본 발명의 바람직한 실시예들 중 일부에 불과하며, 본원 발명의 기술적 특징들이 반영된 다양한 실시예들이 당해 기술분야의 통상적인 지식을 가진 자에 의해 이하 상술할 본 발명의 상세한 설명을 기반으로 도출되고 이해될 수 있다.
본 발명에 따른 장치에 대한 효과에 대해 설명하면 다음과 같다.
본 발명은 도로의 상태, 날씨 등의 영향 등으로 인해 자율 주행 차량이 카메라를 통해 획득한 영상 정보를 통해 차선을 인지하기 어려운 경우, 주변 차량 궤적 분석을 통해 보다 정확한 차선을 인지할 수 있다.
또한, 본 발명은 주변의 여러 차량 궤적 분석을 통해 연속적인 차선 정보 제공이 가능하고, 각 차량별 가중치를 사용함으로써 차선 변경하는 등 차선을 따라 주행하지 않는 차량을 배제할 수 있어, 주변 차량 정보를 이용하는 데 정확도를 높일 수 있다.
또한, 본 발명은 자율 주행 중 차선이 인지되지 않는 상황에서 차량 제어를 바로 운전자에게 넘겨주기 어렵기 때문에, 일정 시간 또는 일정 거리 동안 자율주행을 수행할 수 있도록 주행 중인 도로의 차선을 인지하는 보조 장치를 제공할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이하에 첨부되는 도면들은 본 발명에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 발명에 대한 실시예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시예로 구성될 수 있다.
도1은 실제 도로에서 차선 인식이 어려운 경우를 설명한다.
도2는 자율 주행 차량의 차선 인지 방법을 설명한다.
도3은 영상 정보를 이용해 차선을 인식하는 방법을 설명한다.
도4는 주변 차량 정보를 사용하여 확률 분포를 결정하는 방법을 설명한다.
도5는 주변 차량 정보에 의해 차선 위치에 대한 확률 분포를 결정한 예를 설명한다.
도6은 복수의 주변 차량이 있을 경우 확률 분포를 합하는 방법을 설명한다.
도7은 복수의 주변 차량으로부터 확률 분포를 결정한 예를 설명한다.
도8은 자율 주행 차량의 차선 선택 방법을 설명한다.
도9는 영상 정보에 근거한 차선 정보와 주변 차량 정보에 의한 확률 분포를 매칭한 예를 설명한다.
도10은 영상 정보에 근거한 차선 정보가 주변 차량 정보에 의한 확률 분포에 따른 기준범위에 속하는 지 판단하는 방법을 설명한다.
도11은 주변 차량 정보에 의한 확률 분포를 바탕으로 차선 위치를 결정하는 방법을 설명한다.
도12는 자율 주행 차량의 차선 인지 장치를 설명한다.
이하, 본 발명의 실시예들이 적용되는 장치 및 다양한 방법들에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
실시예의 설명에 있어서, 각 구성 요소의 "상(위) 또는 하(아래)"에 형성되는 것으로 기재되는 경우에 있어, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되거나 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 배치되어 형성되는 것을 모두 포함한다. 또한, "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
도1은 실제 도로에서 차선 인식이 어려운 경우를 설명한다. 구체적으로, (a) 내지 (c)는 이전 차선 위에 새로운 차선이 그려졌고 이전 차선이 완전히 삭제되지 않은 경우들을 설명한다.
차량에 탑재된 카메라를 통해 영상 정보(이미지 정보)를 얻고 영상 정보에 포함된 차선을 인식하는 방법은 차선이 분명한 경우에는 문제가 되지 않지만 (a), (b), (c)에서와 같이 새로운 차선과 이전 차선을 구분하기 어려운 경우에는 오류를 일으키기 쉽다. 특히, 이전 차선이 새로운 차선보다 오히려 진하거나 신규 또는 임시로 생성된 진짜 차선이 흐릿한 경우, 영상 기반의 차선 인지 방법을 통해서 자율 주행 차량은 새로운 차선이 아닌 이전 차선을 인지할 수 밖에 없다. 따라서, 자율주행 차량의 경우, 영상 기반의 차선 인지의 부정확 정도를 판단하는 방법이나 장치가 더 필요하다.
또한, 공사 중인 도로와 같은 경우는 (c)와 같이 차선의 곡률이 급격하게 변하는 경우가 많고 자율 주행 중에 주행제어권을 운전자에게 바로 넘겨주는 경우 주행 안전을 위협할 수 있기 때문에, 자율 주행 차량은 일시적으로 가상 차선을 생성하여 주행해야 하는 경우가 발생할 수 있다.
도2는 자율 주행 차량의 차선 인지 방법을 설명한다.
도시된 바와 같이, 자율 주행 차량의 차선 인지 방법은 차량에 탑재된 카메라로부터 획득된 영상 정보를 근거로 차선의 제1위치를 인식하는 단계(12), 차량에 탑재된 카메라 및 센서 중 적어도 하나를 통해 획득된 주변 차량 정보를 바탕으로 차선에 대한 확률분포(probability distribution)를 결정하는 단계(14), 및 확률분포의 일정 범위 내 상기 차선이 포함되는 지에 따라 제1위치 및 확률분포에 따른 차선의 제2위치 중 하나를 출력하는 단계(16)를 포함할 수 있다.
자율 주행 차량의 차선 인지 방법을 통해, 자율 주행 차량은 영상 정보를 기반으로 인식된 차선에 오류가 있는지를 판단하고, 수동 운전으로 전환하기 전까지 임시로 가상 차선을 출력할 수 있다. 특히, 자율 주행 차량은 영상 정보에 기반한 차선 결과가 주는 차선의 신뢰도를 바탕으로 오류를 판단하는 것이 아니라, 주변 차량의 궤적 분석을 기반으로 현재 영상 정보를 기반으로 인지한 차선 결과의 정확도를 판단하고, 만약 오류로 판단되는 경우 새로운 추정 차선의 결과로 대체할 수 있다.
예를 들어, 주변 차량의 궤적을 기반으로 자율 주행 차량이 차선의 확률적 분포 구하기 위해서, 전방의 주변 차량은 차선의 가운데로 주행하려고 한다는 전제를 기반으로 차선의 확률 분포를 결정한다. 또한, 복수의 주변 차량이 감지되는 경우, 주변 차량 각각의 궤적을 기반으로 결정된 차선 확률 분포를 통합하여, 자율 주행 차량이 주행하는 위치를 기준으로 차선 확률 분포를 결정할 수 있다. 이러한 과정에서 통합된 차선의 확률 분포를 기반으로 각 주변 차량들의 궤적을 통해 얻어진 개별 확률 분포의 정확도에 대한 가중치 부여할 수 있다. 전술한 과정을 반복하여 자율 주행 차량은 연속적인 차선의 확률 분포를 결정할 수 있다.
또한, 카메라의 영상 정보를 기반의 차선 인지 정확성을 판단하는 위해서, 자율 주행 차량은 주변 차량 정보를 바탕으로 자율 주행 차량을 기준으로 한 확률 밀도 함수(probability density function, PDF)를 통해 결정된 차선의 확률 분포(probability distribution)를 영상 정보를 통해 인식된 차선 정보에 대입할 수 있다. 만약, 영상 정보를 통해 인식된 차선 정보(제1위치)가 차선의 확률 분포의 기준에 미치지 못하면, 자율 주행 차량은 영상 정보를 통해 인식된 차선 정보가 부정확한 경우로 판단할 수 있다. 만약, 영상 정보를 통해 인식된 차선 정보(제1위치)가 부정확한 경우로 판단되면, 확률 분포를 기반으로 차선을 추정한 결과(제2위치)를 결정하고, 추정한 결과를 차선으로 인식할 수 있다. 예를 들어, 확률 분포를 기반으로 차선을 추정한 결과(제2위치)는 확률 분포의 대표값(예: 평균)을 사용할 수 있다.
도3은 영상 정보를 이용해 차선을 인식하는 방법을 설명한다.
도시된 바와 같이, 영상 정보를 이용해 차선을 인식하는 방법은 영상 정보를 탑 뷰(top view) 형태로 보정하는 단계(22), 보정된 영상에서 차선에 대응하는 패턴을 검출하는 단계(24), 및 패턴과 차량 사이의 거리를 결정하는 단계(26)를 포함할 수 있다.
예를 들면, 차량에 탑재된 카메라를 통해 획득된 영상 정보는 카메라의 위치에 따라 달라질 수 있다. 자율 주행 차량은 카메라가 탑재된 위치와 카메라가 촬영한 영상이 어떠한 각도로 촬영될 수 있는지를 이미 인지하고 있기 때문에, 해당 정보를 바탕으로 도로를 위에서 찍은 것과 같은 형태의 탑 뷰와 같은 형태로 영상 정보를 보정할 수 있다. 이후, 보정된 영상을 통해 차선의 패턴을 감지할 수 있다. 이때, 도로 상에 형성된 차선은 기 설정된 형상을 포함하고 있으며, 자율 주행 차량은 해당 차선의 형태를 통해 차선의 종류를 인식할 수 있다. 차선이 인식되면, 자율 주행 차량은 주행 중 위치와 차선 사이의 거리를 결정할 수 있다.
도4는 주변 차량 정보를 사용하여 확률 분포를 결정하는 방법을 설명한다.
도시된 바와 같이, 주변 차량 정보를 사용하여 확률 분포를 결정하는 방법은 주변 차량 정보에 근거하여, 상기 차량을 기준으로 주변 차량의 개별 궤적을 결정하는 제1단계(34), 개별 궤적을 바탕으로 개별 확률분포를 결정하는 제2단계(36), 및 개별 확률분포를 결합하여 확률분포를 출력하는 제3단계(38)를 포함할 수 있다.
여기서, 자율 주행 차량이 사용하는 주변 차량 정보는 물체의 거리나 속도, 각도를 측정하기 위해 전자기파를 사용하는 레이더(Radar, Radio Detection And Ranging) 감지 센서, 빛을 이용해 레이더가 볼 수 없는 사각지대까지 관측 가능한 라이다(Lidar, Light Detection and Ranging) 센서, 광학계를 통해 영상으로 취득한 후 처리해 감지하는 카메라(Camera) 중 적어도 하나에 의해 획득될 수 있다.
도시되지 않았지만, 주변 차량 정보를 사용하여 확률 분포를 결정하는 방법은 차량에 탑재된 복수의 카메라 또는 센서로부터 복수의 주변 차량 정보가 수집되면, 복수의 주변 차량 정보를 매칭시키는 단계를 더 포함할 수 있다. 복수의 정보를 매칭하면, 자율 주행 차량은 주변 차량에 대한 정보를 보다 정확히 인식할 수 있다.
또한, 주변 차량 정보를 사용하여 확률 분포를 결정하는 방법은 주변 차량 정보에 포함된 주변 차량의 수를 결정하는 단계(32)를 더 포함할 수 있다. 복수의 주변 차량 정보가 포함되는 경우, 자율 주행 차량은 해당하는 수만큼 제1단계(34) 내지 제3단계(38)를 반복하여 수행할 수 있다.
또한, 주변 차량 정보를 사용하여 확률 분포를 결정하는 방법은 주변 차량에 개별적으로 가중치를 결정하는 단계(40)를 더 포함할 수 있다. 여기서, 개별 확률분포는 가중치를 반영하여 확률분포에 결합될 수 있다. 예를 들어, 가중치는 1/n(n은 상기 주변 차량의 수)으로 초기 설정될 수 있다. 이후, 주변 차량으로부터 계산된 개별 확률 분포와 통합 확률 분포 사이의 거리가 가까울수록 가중치는 높아질 수 있다.
한편, 실시예에 따라, 주변 차량의 개별 궤적이 기 설정된 범위를 초과하는 횡방향 움직임이 있는 경우, 가중치를 최소값으로 결정할 수 있다. 이 경우, 횡방향 움직임이 있는 주변 차량은 차선을 변경하는 차량으로 인식될 수 있어, 차선을 추정하는 데 도움이 되지 않기 때문이다.
자율 주행 차량이 주행 중 주변 차량이 한 대 이상 존재하는 경우. 주변 차량의 궤적을 분석하면, 각 차량 별 실제 차선이 있을만한 위치를 확률적으로 결정할 수 있다. 이는 자율 주행 차량이 주행 중인 도로에 대한 정보(차선 폭 등) 또는 해당 지역의 규제(도로 설계 기준 등) 등의 정보를 이미 포함하고 있는 경우, 주변 차량의 궤적을 통해 추정할 수 있는 차선의 위치는 실제와 더욱 근접할 수 있다.
또한, 복수의 주변 차량 모두가 차선을 유지하며 계속 주행할 수는 없다. 하지만, 차선을 유지하는 주변 차량이 그렇지 않은 차량보다 많은 것이 일반적이다. 따라서, 주변 차량으로부터 계산된 개별 확률 분포를 합하면 통합 확률 분포를 결정할 수 있고, 통합 확률 분포와 개별 확률 분포를 비교하여 둘 사이의 거리가 가까울수록 가중치는 높아질 수 있다. 이러한 이유로, 초기에는 1/n의 가중치가 부여되더라도, 시간이 지날수록 결정된 확률적 차선 위치 기반으로 주변 차량 각각에 정확도에 대한 가중치는 다르게 설정될 수 있다. 또한 주변 차량 중 일부가 차선 변경 등 실제 차선과 다르게 주행하더라도, 해당 차량의 가중치는 시간이 지날 수록 감소함으로써 정확한 차선 추정이 가능해질 수 있다.
도2 및 도4를 참조하면, 자율 주행 차량이 주행 중 주변 차량 정보를 통해 차선의 위치에 대한 확률 분포를 결정하면, 영상 정보를 기반으로 인지된 차선 결과를 비교할 수 있다. 비교 결과, 영상 정보를 기반으로 인지된 차선 결과가 잘못되었다고 판단되면, 자율 주행 차량은 확률 분포에 따른 차선의 추정 위치를 사용할 수 있다.
도5는 주변 차량 정보에 의해 차선 위치에 대한 확률 분포를 결정한 예를 설명한다. 구체적으로, (a)는 자율 주행 차량(50)의 좌측 전방에 주변 차량(51a)이 위치하는 경우를 설명하고, (b)는 자율 주행 차량(50)의 우측 전방에 주변 차량(51b)이 위치하는 경우를 설명한다.
먼저, (a)를 참조하면 자율 주행 차량(50)은 차량에 탑재된 장치를 이용하여 주변 차량(51a)이 움직이는 궤적(52)을 인식할 수 있다. 이후, 주변 차량(51a)이 움직이는 궤적(52)에 대응하여 각 거리(예를 들어, 10 미터 간격으로)마다 주변 차량(51a)의 우측(즉, 자율 주행 차량(50)이 주행 하는 방향)으로 차선이 위치할 수 있는 확률 분포를 계산할 수 있다. 이때, 주변 차량(51a)은 차로(lane)의 중심을 주행하고 있다고 가정할 수 있다. 주변 차량(51a)의 궤적(52)을 바탕으로, 자율 주행 차량(50)이 주행할 차로의 양쪽 차선(54, 56)을 추정할 수 있다. 예를 들어, 자율 주행 차량은 주변 차량(51a)의 궤적(52)을 바탕으로 확률 밀도 함수(probability density function, PDF)를 통해 결정된 각 거리(10m, 20m, 30m, 40m, 50m)마다의 차선의 확률 분포(pdf_fA@10m, pdf_fA@20m, pdf_fA@30m, pdf_fA@40m, pdf_fA@50m)를 결정할 수 있다.
마찬가지로, (b)를 참조하면 자율 주행 차량(50)은 차량에 탑재된 장치를 이용하여 주변 차량(51b)이 움직이는 궤적(53)을 인식할 수 있다. 이후, 주변 차량(51b)이 움직이는 궤적(53)에 대응하여 각 거리(예를 들어, 10 미터 간격으로)마다 주변 차량(51b)의 우측(즉, 자율 주행 차량(50)이 주행 하는 방향)으로 차선이 위치할 수 있는 확률 분포를 계산할 수 있다. 이때, 주변 차량(51b)은 차로(lane)의 중심을 주행하고 있다고 가정할 수 있다. 주변 차량(51b)의 궤적(53)을 바탕으로, 자율 주행 차량(50)이 주행할 차로의 양쪽 차선(55, 57)을 추정할 수 있다. 예를 들어, 자율 주행 차량은 주변 차량(51b)의 궤적(53)을 바탕으로 확률 밀도 함수(probability density function, PDF)를 통해 결정된 각 거리(10m, 20m, 30m, 40m, 50m)마다의 차선의 확률 분포(pdf_fB@10m, pdf_fB@20m, pdf_fB@30m, pdf_fB@40m, pdf_fB@50m)를 결정할 수 있다.
도6은 복수의 주변 차량이 있을 경우 확률 분포를 합하는 방법을 설명한다. 구체적으로, (a)는 자율 주행 차량이 획득한 주변 차량 정보에 복수의 주변 차량이 포함된 경우 각 주변 차량에 대한 확률 분포를 설명하고, (b)는 각 주변 차량에 대한 확률 분포 중 자율 주행 차량이 필요로 하는 차선에 대한 정보를 결합하는 과정을 설명하며, (c)는 각 주변 차량에 대한 확률 분포가 결합된 결과를 설명한다.
먼저, (a)를 참조하면, 복수의 주변 차량의 궤적(52, 53)이 발견되면, 해당 궤적(52, 53)을 바탕으로 차선의 확률 분포(54, 55)를 결정할 수 있다(도5에서 설명한 방법을 참조).
이후, (b)를 참조하면, 복수의 주변 차량의 궤적(52, 53)을 통해 동일한 차선(예를 들면, 자율 주행 차량이 주행할 차로의 좌측 차선)에 대한 확률 분포(54, 55)를 곱할 수 있다. 해당 확률 분포(54, 55)를 곱하면, (c)에서 설명한 바와 같이 각 차량 궤적의 확률 분포를 종합하여 하나의 대표 차선의 확률 분포를 결정할 수 있다.
전술한 과정은 복수의 주변 차량의 궤적(52, 53)이 발견되면, 주변 차량의 수만큼 반복될 수 있다. 또한, 자율 주행 차량이 주행 중인 차로의 좌측과 우측에 위치할 차선과 관련한 확률 분포는 거리마다 연산될 수 있다.
도7은 복수의 주변 차량으로부터 확률 분포를 결정한 예를 설명한다.
도시된 바와 같이, 자율 주행 차량(50)의 좌측 및 우측 전방에 위치할 수 있는 차선에 대한 확률 분포를 결정할 수 있다. 여기서, 확률 분포는 자율 주행 차량(50)을 기준으로 기 설정된 거리 간격(예, 10m)마다 결정될 수 있다.
이하에서는 가중치를 결정하는 방법을 설명한다. 복수의 주변 차량에 대한 정보가 취득된 경우, 자율 주행 차량(50)은 각 거리 별로 각 주변 차량(예를 들면, 50a, 50b, 도5참조)의 궤적을 고려한 통합 확률 분포(pdf_f)를 결정할 수 있다. 초기 가중치는 다음과 같다.
Figure pat00001
여기서, n은 주변 차량의 수이고, i는 1보다 같거나 크고 n보다 같거나 작은 자연수이다.
먼저, 각 거리마다 통합 확률 분포(pdf_fTotal)는 다음과 같이 결정할 수 있다.
Figure pat00002
여기서, x는 거리이고, A, B, …, N은 주변 차량에 붙인 임의적인 수이다.
이후, 통합 확률 분포(pdf_fTotal)와 각 주변 차량 별 확률 분포와 차이(두 확률 분포 사이의 거리)를 결정할 수 있다. 예를 들면, 통합 확률 분포(pdf_f Total@ X m, x는 거리)와 제1주변 차량(예, 도5의 50a)의 궤적에 따른 확률 분포(pdf_f A @ X m, x는 거리)의 확률 분포 거리( dA @ x m)를 연산할 수 있다. 또한, 통합 확률 분포(pdf_f Total@ X m, x는 거리)와 제1주변 차량(예, 도5의 50b)의 궤적에 따른 확률 분포(pdf_f B @ X m, x는 거리)의 확률 분포 거리( dB @ x m)를 연산할 수 있다. 만약 N번째 주변 차량의 정보의 경우에는 통합 확률 분포(pdf_f Total@ X m, x는 거리)와 궤적에 따른 확률 분포(pdf_f N @ X m, x는 거리)의 확률 분포 거리( dN @ x m)를 연산할 수 있다.
예를 들어, 확률 분포 거리를 결정하는 방법으로는 거리나 유사도를 측정하는 방법으로 유클리드 거리, 키(카이)제곱 거리, 마할라노비스 거리, 힐링거 거리 등을 사용할 수 있다. 구체적으로, 유클리드 거리(Euclidean distance)는 두 점간의 거리를 계산할 때 사용할 수 있고, 마할라노비스 거리(Mahalanobis distance)는 위치인식 등을 위해 서로 연관이 있는 특징점 간의 유사도를 계산할 때 사용할 수 있으며, 힐링거 거리(Hellinger distance)는 비교하고자 하는 두 특징점이 모두 가우시안 분포를 가지고 있을 때 서로 유사도를 측정하기 위해 사용할 수 있다.
전술한 방법을 통해, 각각의 거리를 구하고, 이 거리가 가까울수록 해당 차량이 차선의 중앙에서 차선의 궤적을 따라 움직이는 것을 의미하므로, 확률 분포 거리가 작을수록 높은 가중치를 부여할 수 있다. 가중치(W)는 아래와 같이 결정될 수 있다.
Figure pat00003
도8은 자율 주행 차량의 차선 선택 방법을 설명한다.
도시된 바와 같이, 자율 주행 차량의 차선 선택 방법은 확률 분포의 기 설정된 확률 범위 내 자선이 위치하는지 판단하는 단계(42), 확률분포의 기 설정된 확률 범위 내 차선이 위치하면 영상 정보를 기반으로 한 차선의 제1위치를 출력하는 단계(44)를 포함할 수 있다.
또한, 자율 주행 차량의 차선 선택 방법은 확률분포의 기 설정된 확률 범위 내 차선이 위치하지 않으면, 수동 운전 전환을 요청하는 단계(46), 및 확률 분포를 기반으로 추정한 차선의 제2위치를 출력하는 단계(48)를 더 포함할 수 있다. 여기서, 수동 운전 전환의 요청은 기 설정된 시간 동안 이루어질 수 있다.
도9는 영상 정보에 근거한 차선 정보와 주변 차량 정보에 의한 확률 분포를 매칭한 예를 설명한다.
도시된 바와 같이, 자율 주행 차량(50)은 거리별로 영상 정보를 바탕으로 획득한 차선 정보(차선의 제1위치, 60)와 주변 차량 정보를 바탕으로 추정한 차선 정보(확률 분포)를 결정할 수 있다. 이후, 자율 주행 차량(50)은 영상 정보를 바탕으로 획득한 차선 정보(차선의 제1위치, 60)와 주변 차량 정보를 바탕으로 추정한 차선 정보(확률 분포)를 매칭시킬 수 있다. 이후, 영상 정보를 바탕으로 획득한 차선 정보(차선의 제1위치, 60)가 주변 차량 정보를 바탕으로 추정한 차선 정보(확률 분포)의 기 설정된 범위에 포함되는지 판단할 수 있다.
도10은 영상 정보에 근거한 차선 정보가 주변 차량 정보에 의한 확률 분포에 따른 기준범위에 속하는 지 판단하는 방법을 설명한다.
도시된 바와 같이, 영상 정보를 바탕으로 획득한 차선 정보(차선의 제1위치, 60a, 60b, 또는 60c)와 주변 차량 정보를 바탕으로 추정한 차선 정보(확률 분포, 58)를 매칭시켜 비교할 수 있다. 여기서, 확률 분포(58)에 허용 범위(TH)를 미리 설정할 수 있다. 이후, 대표 차선 확률 분포(58)에 각 거리별 차선 위치(60a, 60b, 또는 60c)를 대입하여 그 결과가 일정 기준(TH)을 넘으면 영상 기반의 차선 정보(60a, 60b, 또는 60c)가 유효한 정보라고 판단할 수 있다. 예를 들면, 각 거리별 차선 위치(60a, 60b, 또는 60c) 중 두 경우(60a, 60b)는 일정 기준(TH)을 넘었지만, 다른 경우(60c)는 일정 기준(TH)을 넘지 못했다.
한편, 도로에 표시된 차선은 미세하게 변화되지 않는 특징이 있으므로, 각 거리별 차선 위치를 각각 비교하는 것보다, 각 거리별 차선 위치를 합하여 통합적으로 기준을 넘었는지를 판단할 수도 있다. 예를 들면, 10m, 20m, 30m, 40m, 50m의 거리에서 각각에서 발생한 차이(예, pdf_fTotal @10m (x1))를 합하여 전체 기준과 다음과 같이 비교할 수 있다.
pdf_fTotal @10m (x1) + pdf_fTotal @20m (x2) + … + pdf_fTotal @50m (x5) < CriteriaTotal
전술한 영상 정보를 바탕으로 획득한 차선 정보(차선의 제1위치, 60a, 60b, 또는 60c)와 주변 차량 정보를 바탕으로 추정한 차선 정보(확률 분포, 58)를 매칭시켜 비교하는 방법은 자율 주행 장치에 탑재된 전자 장치들의 연산 능력이나 설계방식에 따라 다르게 적용될 수 있다.
도11은 주변 차량 정보에 의한 확률 분포를 바탕으로 차선 위치를 결정하는 방법을 설명한다.
도시된 바와 같이, 만약 영상 정보를 바탕으로 획득한 차선 정보가 확률 분포(58)에 기 설정된 확률 범위 내 차선이 위치하지 않으면, 자율 주행 차량(50)은 확률 분포(58)에 따라 추정한 차선의 제2위치(62)를 사용할 수 있다.
예를 들면, 자율 주행 차량(50)은 각 거리(10m, 20m, 30m, 40m, 50m)별 자차의 차선 위치 확률 분포(58, pdf_fTotal)에서 평균과 같은 대표값을 추출하고, 각 거리별 대표값을 선택한 후 곡선 모델링을 통해 영상 기반 차선 정보와 동일한 형태(62)로 출력할 수 있다.
도12는 자율 주행 차량의 차선 인지 장치를 설명한다.
도시된 바와 같이, 자율 주행 차량의 차선 인지 장치(80)는 차량에 탑재된 카메라로부터 획득된 영상 정보를 근거로 차선의 제1위치를 인식하는 제1차선 인지부(82), 차량에 탑재된 카메라 및 센서 중 적어도 하나를 통해 획득된 주변 차량 정보를 바탕으로 차선에 대한 확률분포(probability distribution)를 결정하는 제2차선 인지부(84), 및 확률분포의 일정 범위 내 차선이 포함되는 지에 따라 상기 제1위치 및 상기 확률분포에 따른 차선의 제2위치 중 하나를 출력하는 판단부(86)를 포함할 수 있다.
또한, 제1차선 인지부(82)는 영상 정보를 탑 뷰(top view) 형태로 보정하는 보정부(92), 보정된 영상에서 차선에 대응하는 패턴을 검출하는 검출부(94), 및 패턴과 차량 사이의 거리를 결정하는 측정부(96)를 포함할 수 있다.
차선 인지 장치(80)는 영상 정보 및 주변 차량 정보를 획득할 수 있는 편의 장치(70)와 연동할 수 있다. 편의 장치에는 영상 정보 및 주변 차량 정보를 위한 물체의 거리나 속도, 각도를 측정하기 위해 전자기파를 사용하는 레이더(Radar, Radio Detection And Ranging) 감지 센서(72), 빛을 이용해 레이더가 볼 수 없는 사각지대까지 관측 가능한 라이다(Lidar, Light Detection and Ranging) 센서(74), 광학계를 통해 영상으로 취득한 후 처리해 감지하는 카메라(Camera, 76)) 중 적어도 하나를 포함할 수 있다. 또한, 판단부(86)에서 출력되는 결과는 멀티미디어 시스템의 디스플레이(78)를 통해 출력될 수 있다.
또한, 자율 주행 차량의 차선 인지 장치(80)는 차량에 탑재된 카메라 및 센서로부터 복수의 주변 차량 정보가 수집되면 복수의 주변 차량 정보를 매칭시키는 매칭부(86)를 더 포함할 수 있다.
또한, 제2차선 인지부(84)는 주변 차량 정보에 근거하여, 차량을 기준으로 상기 주변 차량의 개별 궤적을 결정하는 제1단계, 개별 궤적을 바탕으로 개별 확률분포를 결정하는 제2단계, 및 개별 확률분포를 결합하여 확률분포를 출력하는 제3단계를 수행할 수 있다. 또한, 제2차선 인지부(84)는 주변 차량 정보에 포함된 주변 차량의 수를 결정하고, 해당하는 수만큼 제1단계 내지 상기 제3단계를 반복하여 수행할 수 있다.
또한, 제2차선 인지부(84)는 주변 차량에 개별적으로 가중치를 결정하고, 개별 확률분포를 가중치를 반영하여 확률분포에 결합시킬 수 있다. 이때, 가중치는 1/n(n은 상기 주변 차량의 수)으로 초기 설정될 수 있고, 주변 차량 각각에서 얻은 개별 확률 분포와 통합 확률 분포 사이의 거리가 가까울수록 상기 가중치는 높아질 수 있다.
한편, 주변 차량의 개별 궤적이 기 설정된 범위를 초과하는 횡방향 움직임이 있는 경우, 가중치를 최소값으로 결정할 수도 있다.
또한, 판단부(86)는 확률분포의 기 설정된 확률 범위 내 차선이 위치하면 제1위치를 출력할 수 있다. 또한, 판단부(86)는 확률분포의 기 설정된 확률 범위 내 차선이 위치하지 않으면, 수동 운전 전환을 요청하고, 차선의 제2위치를 출력할 수 있다. 여기서, 수동 운전 전환의 요청은 기 설정된 시간 동안 이루어질 수 있다.
상술한 실시예에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상술한 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.
따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
80: 차선 인지 장치 82: 제1차선 인지부
84: 제2차선 인지부 86: 판단부
92: 보정부 96: 측정부
70: 편의 장치 72: 감지센서
74: 라이다 센서 76: 카메라

Claims (25)

  1. 차량에 탑재된 카메라로부터 획득된 영상 정보를 근거로 차선의 제1위치를 인식하는 단계;
    차량에 탑재된 카메라 및 센서 중 적어도 하나를 통해 획득된 주변 차량 정보를 바탕으로 상기 차선에 대한 확률분포(probability distribution)를 결정하는 단계; 및
    상기 확률분포의 일정 범위 내 상기 차선이 포함되는 지에 따라 상기 제1위치 및 상기 확률분포에 따른 상기 차선의 제2위치 중 하나를 출력하는 단계
    를 포함하는, 자율 주행 차량의 차선 인지 방법.
  2. 제1항에 있어서,
    상기 제1위치를 인식하는 단계는
    상기 영상 정보를 탑 뷰(top view) 형태로 보정하는 단계;
    보정된 영상에서 상기 차선에 대응하는 패턴을 검출하는 단계; 및
    상기 패턴과 상기 차량 사이의 거리를 결정하는 단계
    를 포함하는, 자율 주행 차량의 차선 인지 방법.
  3. 제1항에 있어서,
    상기 주변 차량 정보는 물체의 거리나 속도, 각도를 측정하기 위해 전자기파를 사용하는 레이더(Radar, Radio Detection And Ranging) 감지 센서, 빛을 이용해 레이더가 볼 수 없는 사각지대까지 관측 가능한 라이다(Lidar, Light Detection and Ranging) 센서, 광학계를 통해 영상으로 취득한 후 처리해 감지하는 카메라(Camera) 중 적어도 하나에 의해 획득되는, 자율 주행 차량의 차선 인지 방법.
  4. 제3항에 있어서,
    차량에 탑재된 카메라 및 센서로부터 복수의 상기 주변 차량 정보가 수집되면, 상기 복수의 주변 차량 정보를 매칭시키는 단계
    를 더 포함하는, 자율 주행 차량의 차선 인지 방법.
  5. 제1항에 있어서,
    상기 확률분포를 결정하는 단계는
    상기 주변 차량 정보에 근거하여, 상기 차량을 기준으로 상기 주변 차량의 개별 궤적을 결정하는 제1단계;
    상기 개별 궤적을 바탕으로 상기 개별 확률분포를 결정하는 제2단계; 및
    상기 개별 확률분포를 결합하여 상기 확률분포를 출력하는 제3단계
    를 포함하는, 자율 주행 차량의 차선 인지 방법.
  6. 제5항에 있어서,
    상기 주변 차량 정보에 포함된 상기 주변 차량의 수를 결정하는 단계를 더 포함하고,
    상기 수만큼 상기 제1단계 내지 상기 제3단계를 반복하는, 자율 주행 차량의 차선 인지 방법.
  7. 제5항에 있어서,
    상기 주변 차량에 개별적으로 가중치를 결정하는 단계를 더 포함하고,
    상기 개별 확률분포는 상기 가중치를 반영하여 상기 확률분포에 결합되는, 자율 주행 차량의 차선 인지 방법.
  8. 제7항에 있어서,
    상기 가중치는 1/n(n은 상기 주변 차량의 수)으로 초기 설정되고,
    상기 개별 확률분포와 상기 확률분포의 거리가 가까울수록 상기 가중치는 높아지는, 자율 주행 차량의 차선 인지 방법.
  9. 제7항에 있어서,
    상기 주변 차량의 상기 개별 궤적이 기 설정된 범위를 초과하는 횡방향 움직임이 있는 경우, 상기 가중치를 최소값으로 결정하는, 자율 주행 차량의 차선 인지 방법.
  10. 제1항에 있어서,
    상기 확률분포의 기 설정된 확률 범위 내 상기 차선이 위치하면 상기 제1위치를 출력하는, 자율 주행 차량의 차선 인지 방법.
  11. 제1항에 있어서,
    상기 기 설정된 확률 범위 내 상기 차선이 위치하지 않으면,
    수동 운전 전환을 요청하는 단계; 및
    상기 차선의 제2위치를 출력하는 단계
    를 더 포함하는, 자율 주행 차량의 차선 인지 방법.
  12. 프로세서에 의해 실행되는 것을 통하여, 청구항 제1항 내지 제11항 중 어느 한 항에 기재된 자율 주행 차량의 차선 인지 방법을 포함하는 것을 특징으로 하는 응용 프로그램.
  13. 청구항 제12항에 기재된 자율 주행 차량의 차선 인지 방법이 기록된 컴퓨터 판독 가능한 기록매체.
  14. 차량에 탑재된 카메라로부터 획득된 영상 정보를 근거로 차선의 제1위치를 인식하는 제1차선 인지부;
    차량에 탑재된 카메라 및 센서 중 적어도 하나를 통해 획득된 주변 차량 정보를 바탕으로 상기 차선에 대한 확률분포(probability distribution)를 결정하는 제2차선 인지부; 및
    상기 확률분포의 일정 범위 내 상기 차선이 포함되는 지에 따라 상기 제1위치 및 상기 확률분포에 따른 상기 차선의 제2위치 중 하나를 출력하는 판단부
    를 포함하는, 자율 주행 차량의 차선 인지 장치.
  15. 제14항에 있어서,
    상기 제1차선 인지부는
    상기 영상 정보를 탑 뷰(top view) 형태로 보정하는 보정부;
    보정된 영상에서 상기 차선에 대응하는 패턴을 검출하는 검출부; 및
    상기 패턴과 상기 차량 사이의 거리를 결정하는 측정부
    를 포함하는, 자율 주행 차량의 차선 인지 장치.
  16. 제14항에 있어서,
    상기 주변 차량 정보는 물체의 거리나 속도, 각도를 측정하기 위해 전자기파를 사용하는 레이더(Radar, Radio Detection And Ranging) 감지 센서, 빛을 이용해 레이더가 볼 수 없는 사각지대까지 관측 가능한 라이다(Lidar, Light Detection and Ranging) 센서, 광학계를 통해 영상으로 취득한 후 처리해 감지하는 카메라(Camera) 중 적어도 하나에 의해 획득되는, 자율 주행 차량의 차선 인지 장치.
  17. 제16항에 있어서,
    차량에 탑재된 카메라 및 센서로부터 복수의 상기 주변 차량 정보가 수집되면, 상기 복수의 주변 차량 정보를 매칭시키는 매칭부
    를 더 포함하는, 자율 주행 차량의 차선 인지 장치.
  18. 제14항에 있어서,
    상기 제2차선 인지부는
    상기 주변 차량 정보에 근거하여, 상기 차량을 기준으로 상기 주변 차량의 개별 궤적을 결정하는 제1단계;
    상기 개별 궤적을 바탕으로 상기 개별 확률분포를 결정하는 제2단계; 및
    상기 개별 확률분포를 결합하여 상기 확률분포를 출력하는 제3단계
    를 수행하는, 자율 주행 차량의 차선 인지 장치.
  19. 제18항에 있어서,
    상기 제2차선 인지부는 상기 주변 차량 정보에 포함된 주변 차량의 수를 결정하고, 상기 수만큼 상기 제1단계 내지 상기 제3단계를 반복 수행하는, 자율 주행 차량의 차선 인지 장치.
  20. 제18항에 있어서,
    상기 제2차선 인지부는 상기 주변 차량에 개별적으로 가중치를 결정하고, 상기 개별 확률분포를 상기 가중치를 반영하여 상기 확률분포에 결합하는, 자율 주행 차량의 차선 인지 장치.
  21. 제20항에 있어서,
    상기 가중치는 1/n(n은 상기 주변 차량의 수)으로 초기 설정되고,
    상기 개별 확률분포와 상기 확률분포의 거리가 가까울수록 상기 가중치는 높아지는, 자율 주행 차량의 차선 인지 장치.
  22. 제20항에 있어서,
    상기 주변 차량의 상기 개별 궤적이 기 설정된 범위를 초과하는 횡방향 움직임이 있는 경우, 상기 가중치를 최소값으로 결정하는, 자율 주행 차량의 차선 인지 장치.
  23. 제14항에 있어서,
    상기 판단부에서 출력되는 결과는 멀티미디어 시스템의 스크린을 통해 출력되는, 자율 주행 차량의 차선 인지 장치.
  24. 제14항에 있어서,
    상기 판단부는 상기 확률분포의 기 설정된 확률 범위 내 상기 차선이 위치하면 상기 제1위치를 출력하는, 자율 주행 차량의 차선 인지 장치.
  25. 제14항에 있어서,
    상기 판단부는 상기 기 설정된 확률 범위 내 상기 차선이 위치하지 않으면, 수동 운전 전환을 요청하고, 상기 차선의 제2위치를 출력하는, 자율 주행 차량의 차선 인지 장치.
KR1020160005272A 2016-01-15 2016-01-15 자율 주행 차량의 차선 인지 방법 및 장치 KR102456626B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160005272A KR102456626B1 (ko) 2016-01-15 2016-01-15 자율 주행 차량의 차선 인지 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160005272A KR102456626B1 (ko) 2016-01-15 2016-01-15 자율 주행 차량의 차선 인지 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170085752A true KR20170085752A (ko) 2017-07-25
KR102456626B1 KR102456626B1 (ko) 2022-10-18

Family

ID=59422745

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160005272A KR102456626B1 (ko) 2016-01-15 2016-01-15 자율 주행 차량의 차선 인지 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102456626B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108983771A (zh) * 2018-07-03 2018-12-11 天津英创汇智汽车技术有限公司 车辆换道决策方法及装置
WO2019108003A1 (ko) * 2017-12-01 2019-06-06 엘지이노텍 주식회사 카메라 보정 방법 및 장치
KR102032501B1 (ko) * 2019-06-10 2019-10-15 오토아이티(주) 차선 이탈 감지 방법 및 장치
EP3640679A1 (en) * 2018-10-15 2020-04-22 Zenuity AB A method for assigning ego vehicle to a lane
KR102092913B1 (ko) * 2018-10-08 2020-04-23 현대모비스 주식회사 주행차로 안내 장치 및 그 제어 방법
WO2020094940A1 (fr) * 2018-11-08 2020-05-14 Psa Automobiles Sa Construction par segmentation de voies virtuelles sur une chaussée
WO2021195262A1 (en) * 2020-03-25 2021-09-30 Woven Planet North America, Inc. Ground map generation
KR20210148518A (ko) * 2020-05-29 2021-12-08 서울대학교산학협력단 악천후 자율주행을 위한 교통 흐름 정보 인지 기반 가상 차선 생성 장치 및 방법
US11200432B2 (en) 2018-10-23 2021-12-14 Samsung Electronics Co., Ltd. Method and apparatus for determining driving information

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004341941A (ja) * 2003-05-16 2004-12-02 Denso Corp 走行車線推定装置、分岐路進入推定装置、車速制御装置およびプログラム
WO2012011713A2 (ko) 2010-07-19 2012-01-26 주식회사 이미지넥스트 차선 인식 시스템 및 방법
JP2012035794A (ja) * 2010-08-09 2012-02-23 Nissan Motor Co Ltd 車両制御装置
KR20120066333A (ko) * 2010-12-14 2012-06-22 주식회사 만도 차선유지가 가능한 차량제어시스템
JP2013168016A (ja) * 2012-02-15 2013-08-29 Toyota Motor Corp 走行車線認識装置
KR20140122810A (ko) * 2013-04-11 2014-10-21 주식회사 만도 차선 추정 장치 및 그 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004341941A (ja) * 2003-05-16 2004-12-02 Denso Corp 走行車線推定装置、分岐路進入推定装置、車速制御装置およびプログラム
WO2012011713A2 (ko) 2010-07-19 2012-01-26 주식회사 이미지넥스트 차선 인식 시스템 및 방법
JP2012035794A (ja) * 2010-08-09 2012-02-23 Nissan Motor Co Ltd 車両制御装置
KR20120066333A (ko) * 2010-12-14 2012-06-22 주식회사 만도 차선유지가 가능한 차량제어시스템
JP2013168016A (ja) * 2012-02-15 2013-08-29 Toyota Motor Corp 走行車線認識装置
KR20140122810A (ko) * 2013-04-11 2014-10-21 주식회사 만도 차선 추정 장치 및 그 방법

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019108003A1 (ko) * 2017-12-01 2019-06-06 엘지이노텍 주식회사 카메라 보정 방법 및 장치
US11548452B2 (en) 2017-12-01 2023-01-10 Lg Innotek Co., Ltd. Method and device for correcting vehicle view cameras
CN108983771A (zh) * 2018-07-03 2018-12-11 天津英创汇智汽车技术有限公司 车辆换道决策方法及装置
KR102092913B1 (ko) * 2018-10-08 2020-04-23 현대모비스 주식회사 주행차로 안내 장치 및 그 제어 방법
US11776392B2 (en) 2018-10-15 2023-10-03 Zenuity Ab Method for assigning ego vehicle to a lane
EP3640679A1 (en) * 2018-10-15 2020-04-22 Zenuity AB A method for assigning ego vehicle to a lane
US11200432B2 (en) 2018-10-23 2021-12-14 Samsung Electronics Co., Ltd. Method and apparatus for determining driving information
FR3088280A1 (fr) * 2018-11-08 2020-05-15 Psa Automobiles Sa Construction par segmentation de voies virtuelles sur une chaussee
WO2020094940A1 (fr) * 2018-11-08 2020-05-14 Psa Automobiles Sa Construction par segmentation de voies virtuelles sur une chaussée
KR102032501B1 (ko) * 2019-06-10 2019-10-15 오토아이티(주) 차선 이탈 감지 방법 및 장치
WO2021195262A1 (en) * 2020-03-25 2021-09-30 Woven Planet North America, Inc. Ground map generation
US11295521B2 (en) 2020-03-25 2022-04-05 Woven Planet North America, Inc. Ground map generation
KR20210148518A (ko) * 2020-05-29 2021-12-08 서울대학교산학협력단 악천후 자율주행을 위한 교통 흐름 정보 인지 기반 가상 차선 생성 장치 및 방법

Also Published As

Publication number Publication date
KR102456626B1 (ko) 2022-10-18

Similar Documents

Publication Publication Date Title
KR20170085752A (ko) 자율 주행 차량의 차선 인지 방법 및 장치
US10753758B2 (en) Top-down refinement in lane marking navigation
US9245188B2 (en) Lane detection system and method
JP6682833B2 (ja) 物体認識アルゴリズムの機械学習のためのデータベース構築システム
EP3183688B1 (en) Recognition and prediction of lane constraints
US9767368B2 (en) Method and system for adaptive ray based scene analysis of semantic traffic spaces and vehicle equipped with such system
US8994823B2 (en) Object detection apparatus and storage medium storing object detection program
US9785846B2 (en) Method for quantifying classification confidence of obstructions
CN108573611B (zh) 一种限速标识融合方法以及限速标识融合系统
JP5178276B2 (ja) 画像認識装置
JP2004531424A (ja) 車用の感知装置
JP6592423B2 (ja) 車両制御装置
CN106096525A (zh) 一种复合型车道识别系统及方法
CN113243029B (zh) 其他车辆动作预测方法及其他车辆动作预测装置
CN107209998B (zh) 车道线识别装置以及车道线识别方法
JP6418574B2 (ja) 危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラム
EP2899669A1 (en) Lane relative position estimation method and system for driver assistance systems
JP6171499B2 (ja) 危険度判定装置及び危険度判定方法
WO2016159364A1 (ja) 歩行者判定装置
US10706296B2 (en) Vehicle safety determination apparatus, method, and computer-readable storage medium
US11487293B2 (en) Map-information obstacle-tracking system and method
KR102592830B1 (ko) 차량용 센서퓨전 타겟 예측 장치 및 그의 센서 퓨전 타겟 예측 방법과 그를 포함하는 차량
CN113412212A (zh) 其它车辆动作预测方法以及其它车辆动作预测装置
KR20170085750A (ko) 차선을 변경하는 차량에 근거한 자율 주행 제어 방법 및 장치
EP3605500B1 (en) Output device, control method, program, and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant