KR20220078811A - 가상 주행 경로 제공 장치 및 방법 - Google Patents

가상 주행 경로 제공 장치 및 방법 Download PDF

Info

Publication number
KR20220078811A
KR20220078811A KR1020200167947A KR20200167947A KR20220078811A KR 20220078811 A KR20220078811 A KR 20220078811A KR 1020200167947 A KR1020200167947 A KR 1020200167947A KR 20200167947 A KR20200167947 A KR 20200167947A KR 20220078811 A KR20220078811 A KR 20220078811A
Authority
KR
South Korea
Prior art keywords
virtual driving
image
driving
information
virtual
Prior art date
Application number
KR1020200167947A
Other languages
English (en)
Inventor
김진우
김기태
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020200167947A priority Critical patent/KR20220078811A/ko
Publication of KR20220078811A publication Critical patent/KR20220078811A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision
    • B60Y2300/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

가상 주행 경로 제공 장치 및 방법이 개시된다. 상기 가상 주행 경로 제공 장치 및 방법은 적어도 하나의 주행 차량 정보를 수집하는 단계, 상기 주행 차량 정보를 바탕으로 가상 주행 경로를 생성하는 단계, 실시간 위치 정보를 바탕으로 상기 가상 주행 경로를 보정하는 단계, 상기 가상 주행 경로를 카메라로부터 수집한 실시간 영상에 투영하여 주행 경로 이미지를 생성하는 단계 및 상기 주행 경로 이미지 내 이동 객체의 위치를 인식하여, 상기 이동 객체의 위험 단계를 설정하는 단계를 포함함으로써, 차선이 없거나 인식하기 어려운 도로 환경 및 차로 유지, 변경, 유턴 및 교차로 등의 다양한 주행 상황에 적용 가능한 고효율 및 고신뢰성의 가상 주행 경로 제공 장치 및 방법을 제공할 수 있다.

Description

가상 주행 경로 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDNG REAL-TIME VIRTUAL DRIVING PATH}
본 발명은 가상 주행 경로 제공 장치 및 방법에 관한 것으로, 차량의 자율 주행(ADAS, Advanced Driver Assistance System) 시 전방 충돌을 방지하기 위한 가상 주행 경로(VDP, Virtual Driving Path)를 생성하는, 가상 주행 경로 제공 장치 및 방법에 관한 것이다.
최근 자동차 산업에서는, 정보통신기술의 발전과 개인의 여가 중요도가 높아짐에 따라, 주행지능보조 및 자율주행 기술 개발이 주목 받고 있다.
여기서, 자율주행은 라이다(Light Detection And Ranging, LiDAR) 또는 GPS(Global Positioning System)를 이용하여, 운전자의 개입 없이 주변 환경을 인식하고, 주행 상황을 판단하여 차량을 제어하는 기술로, 오늘날 운전자의 운전 부담을 줄이며, 차내에서의 생산 또는 여가 시간 확보가 가능한 장점에 의해 상용화되고 있다.
주행지능보조 및 자율주행 기술 구현을 위한 기술로, 전방 충돌 방지 기능이 제공되고 있다.
오늘날 전방 충돌 방지 기능은 기본적으로 차선 인식이 가능한 제한적인 환경에서 차량의 차선 이탈을 방지하고 전방 충돌을 방지하기 위한 기능을 제공한다.
그 중에서도 특히, 자동차간 거리 유지(ACC: Adaptive Cruse Control)의 기능은 운전자가 직접 핸들을 조작하거나 차선 인식을 통한 차선 유지가 가능한 상태에서만 동작이 가능하여, 차선 인식이 불가능하거나 인식 범위가 극히 짧을 경우 운전자에게 "기능 수행 불가" 알림을 제공하며 기능이 제한되는 한계가 한다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 고효율 및 고신뢰성의 가상 주행 경로 제공 장치를 제공하는 데 있다.
또한, 상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은 고효율 및 고신뢰성의 가상 주행 경로 제공 방법을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 가상 주행 경로 제공 장치는, 메모리(memory) 및 상기 메모리에 저장된 적어도 하나의 명령을 실행하는 프로세서(processor)를 포함하되, 상기 적어도 하나의 명령은, 적어도 하나의 주행 차량 정보를 수집하도록 하는 명령, 상기 주행 차량 정보를 바탕으로 가상 주행 경로를 생성하도록 하는 명령, 실시간 위치 정보를 바탕으로 상기 가상 주행 경로를 보정하도록 하는 명령, 상기 가상 주행 경로를 카메라로부터 수집한 실시간 영상에 투영하여 주행 경로 이미지를 생성하도록 하는 명령 및 상기 주행 경로 이미지 내 이동 객체의 위치를 인식하여, 상기 이동 객체의 위험 단계를 설정하도록 하는 명령을 포함한다.
본 발명의 실시예에 따른 가상 주행 경로 제공 장치 및 방법은 적어도 하나의 주행 차량 정보를 수집하는 단계, 상기 주행 차량 정보를 바탕으로 가상 주행 경로를 생성하는 단계, 실시간 위치 정보를 바탕으로 상기 가상 주행 경로를 보정하는 단계, 상기 가상 주행 경로를 카메라로부터 수집한 실시간 영상에 투영하여 주행 경로 이미지를 생성하는 단계 및 상기 주행 경로 이미지 내 이동 객체의 위치를 인식하여, 상기 이동 객체의 위험 단계를 설정하는 단계를 포함함으로써, 차선이 없거나 인식하기 어려운 도로 환경 및 차로 유지, 변경, 유턴 및 교차로 등의 다양한 주행 상황에 적용 가능한 고효율 및 고신뢰성의 가상 주행 경로 제공 장치 및 방법을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 가상 주행 경로 제공 장치 내 하드웨어 블록 구성도이다.
도 2는 본 발명의 실시예에 따른 가상 주행 경로 제공 장치 내 소프트웨어 구성들을 설명하기 위한 블록 구성도이다.
도 3은 본 발명의 실시예에 따른 가상 주행 경로 제공 장치의 영상 소실점이 보상된 가상 주행 경로가 합성된 주행 경로 이미지이다.
도 4는 본 발명의 실시예에 따른 가상 주행 경로 제공 방법을 설명하기 위한 순서도이다.
도 5는 본 발명의 실시예에 따른 가상 주행 경로 제공 방법 중 주행 차량 정보에 의해 생성된 주행 경로 이미지이다.
도 6은 본 발명의 실시예에 따른 가상 주행 경로 제공 방법에 의해 생성된 일반 도로에서의 주행 경로 이미지이다.
도 7은 본 발명의 실시예에 따른 가상 주행 경로 제공 방법에 의해 생성된 차선이 없는 도로에서의 주행 경로 이미지이다.
도 8은 본 발명의 실시예에 따른 가상 주행 경로 제공 방법에 의해 생성된 차선이 없는 도로에서의 차로 변경 시 주행 경로 이미지이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 가상 주행 경로 제공 장치 내 하드웨어 블록 구성도이다.
도 1을 참조하면, 가상 주행 경로 제공 장치(1000)는 적어도 하나의 정보를 이용하여 가상 주행 경로를 생성할 수 있다.
가상 주행 경로 제공 장치(1000)를 구성별로 보다 자세히 살펴보면, 가상 주행 경로 장치(1000)는 적어도 하나의 명령을 저장하는 메모리(100) 및 상기 메모리의 적어도 하나의 명령을 실행하는 프로세서(200)를 포함할 수 있다.
또한, 가상 주행 경로 제공 장치(1000)는 상기 프로세서(200)를 통해 실행되는 네트워크와 연결되어 통신을 수행하는 송수신 장치(300), 입력 인터페이스 장치(400), 출력 인터페이스 장치(500), 저장 장치(600) 등을 더 포함할 수 있다.
실시예에 따르면, 가상 주행 경로 제공 장치(1000)에 포함된 각각의 구성 요소들(100, 200, 300, 400, 500, 600)은 버스(bus, 700)에 의해 연결되어 서로 통신을 수행할 수 있다.
가상 주행 경로 제공 장치(1000)의 상기 구성들(100, 200, 300, 400, 500, 600, 700) 중, 메모리(100) 및 저장 장치(600)는 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(100) 및 저장 장치(600)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.
메모리(100)는 후술될 프로세서(200)에 의해 실행될 적어도 하나의 명령을 포함할 수 있다.
실시예에 따르면, 적어도 하나의 명령은, 적어도 하나의 주행 차량 정보를 수집하도록 하는 명령, 상기 주행 차량 정보를 바탕으로 가상 주행 경로를 생성하도록 하는 명령, 실시간 위치 정보를 바탕으로 상기 가상 주행 경로를 보정하도록 하는 명령, 상기 가상 주행 경로를 카메라로부터 수집한 실시간 영상에 투영하여 주행 경로 이미지를 생성하도록 하는 명령 및 상기 주행 경로 이미지 내 이동 객체의 위치를 인식하여, 상기 이동 객체의 위험 단계를 설정하도록 하는 명령을 포함할 수 있다.
프로세서(200)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다.
프로세서(200)는 앞서 설명한 바와 같이, 메모리(100)에 저장된 적어도 하나의 프로그램 명령(program command)을 실행할 수 있다.
실시예에 따르면, 프로세서(200)는 메모리(100)에 저장된 적어도 하나의 명령에 따라 적어도 하나의 소프트웨어 구성들을 실행할 수 있다.
가상 주행 경로 제공 장치(1000)의 적어도 하나의 소프트웨어 구성들에 대해서는 하기 도 2에서 보다 구체적으로 설명하겠다.
도 2는 본 발명의 실시예에 따른 가상 주행 경로 제공 장치 내 소프트웨어 구성들을 설명하기 위한 블록 구성도이다.
도 2를 참조하면, 가상 주행 경로 제공 장치(1000)는 앞서 설명한 바와 같이, 프로세서(200)의 명령에 의해 적어도 하나의 소프트웨어 구성들을 실행할 수 있다.
가상 주행 경로 제공 장치(1000)의 소프트웨어 구성들을 보다 자세히 살펴보면, 가상 주행 경로 제공 장치(1000)는 정보 수집부(1100), 경로 생성부(1300), 영상 보정부(1500), 영상 합성부(1700), 위험 판단부(1900)를 포함할 수 있다.
정보 수집부(1100)는 가상 주행 경로의 생성 및 보정을 위한 적어도 하나의 정보를 수집할 수 있다.
보다 구체적으로 설명하면, 정보 수집부(1100)는 제1 수집부(1110), 제2 수집부(1130) 및 제3 수집부(1150)를 포함할 수 있다.
제1 수집부(1110)는 가상 주행 경로를 적용하기 위한 주행 차량의 적어도 하나의 정보를 수집할 수 있다. 예를 들어, 차량 정보는 차량의 제원 정보를 포함할 수 있다.
제2 수집부(1130)는 주행 중인 해당 차량 내 설치되어 주행 영상 정보를 획득하는 카메라로부터 수신된 적어도 하나의 정보를 수집할 수 있다.
일 실시예에 따르면, 제2 수집부(1130)는 카메라의 기본 설정 정보를 수집할 수 있다. 예를 들어, 카메라의 기본 설정 정보는 카메라의 설치 위치, 설치 방향, 해상도 및 화각 등의 제원 및 설정 정보를 포함할 수 있다.
다른 실시예에 따르면, 제2 수집부(1130)는 카메라에 의해 촬영된 영상 정보를 실시간으로 수집할 수 있다.
또다른 실시예에 따르면, 제2 수집부(1130)는 프로세서(200)에 의해 영상 정보로부터 추출된 적어도 하나의 객체 정보를 수집할 수 있다.
예를 들어, 제2 수집부(1130)는 프로세서(200)에 의해 실시간 영상 정보로부터 획득된 이동 객체의 종류, 영상 내에서의 위치, 실제 위치, 크기 및 이동 경로 등의 적어도 하나의 정보를 수집할 수 있다.
또한, 제2 수집부(1130)는 이동 객체가 차량일 경우, 영상 내에서의 이동 차량의 방향 정보(차량의 후면, 정면, 또는 측면 정보) 및 이동 차량의 방향지시등 또는 점멸등을 통한 실시간 상태 정보를 수집할 수 있다. 이에 따라, 프로세서(200)는 제2 수집부(1130)로부터 획득한 이동 차량의 방향 및 상태 정보로부터 상기 이동 차량이 이동 가능한 방향에 대한 가중치를 산출하여, 이동 객체의 위치 및 이동 경로를 획득할 수 있다.
제3 수집부(1150)는 GPS 정보를 수집할 수 있다. 실시예에 따르면, 제3 수집부(1150)는 적어도 하나의 단말로부터 GPS 정보를 획득할 수 있다. 예를 들어, 정보 수집부(1100)는 네비게이션 또는 스마트 폰을 통해 GPS 정보를 획득할 수 있다.
또한 제3 수집부(1150)는 프로세서(200)에 의해 GPS 정보로부터 획득된 주행 중인 해당 차량의 이동 경로, 경로 추적 정보 및 해당 차량이 위치한 지점의 도로 정보 등을 저장할 수 있다. 여기서, 도로 정보는 해당 지점에서의 차선의 폭 및 개수 정보 등을 포함할 수 있다.
경로 생성부(1300)는 정보 수집부(1100)로부터 수집한 적어도 하나의 정보로부터 가상 주행 경로를 생성할 수 있다.
실시예에 따르면, 경로 생성부(1300)는 제1 수집부(1110) 및 제2 수집부(1130)로부터 획득한 차량 및 카메라의 제원 정보를 바탕으로 가상 주행 경로를 생성할 수 있다. 예를 들어, 경로 생성부(1300)는 차량의 제원을 기준으로 회전 반경을 계산하고, 초기 생성 위치 정보 및 카메라 설치 위치 정보를 바탕으로 가상 주행 경로를 생성할 수 있다. 이후, 경로 생성부(1300)는 생성된 가상 주행 경로를 초기화 할 수 있다.
영상 보정부(1500)는 제1 수집부(1110) 및 제3 수집부(1150)로부터 획득한 적어도 하나의 차량 정보 및 위치 정보를 바탕으로 가상 주행 경로를 보정할 수 있다.
실시예에 따르면, 영상 보정부(1500)는 차량의 조향각 정보를 기반으로 가상 주행 경로의 회전 반경을 보정할 수 있다.
또한, 영상 보정부(1500)는 차량의 속도 정보를 기반으로 가상 주행 경로가 투영될 도로의 길이 범위 및 조향 시 회전할 때의 각속도를 측정할 수 있다.
그리고, 영상 보정부(1500)는 가속도 및 차선 폭 정보를 바탕으로 가상 주행 경로의 폭을 보정할 수 있다.
또한, 영상 보정부(1500)는 실시간 카메라 영상 내 차량 객체의 자세 정보를 바탕으로 후술될 영상 합성부(1700)에 의한 카메라 영상 정보 투영 시 보정할 수 있다.
영상 합성부(1700)는 제3 수집부(1150)로부터 획득한 카메라의 실시간 영상 정보에 가상 주행 경로를 투영하여 합성할 수 있다. 다시 말하면, 영상 합성부(1700)는 실시간 카메라 영상에 가상 주행 경로가 합성된 주행 경로 이미지를 생성할 수 있다.
영상 합성부(1700)는 앞서 설명한 바와 같이, 제3 수집부(1150)에 의해 카메라 영상을 획득할 수 있다. 이때, 카메라 영상은 위치 및 크기 등이 보정된 영상일 수 있다.
영상 합성부(1700)는 주행 차량의 주행 조작에 따라 흔들리는 가상 주행 경로를 보정할 수 있다.
실시예에 따르면, 영상 합성부(1700)는 차선 유지, 차로 변경 또는 유턴(U-turn) 시와 같은 주행 조작 종류에 따른 차량의 행동을 분류하여 분석된 확률에 따라 가상 주행 경로를 필터링하거나 보정할 수 있다.
이후, 영상 합성부(1700)는 주행 중인 해당 차량의 자세 정보와 도로 폭 및 상기 주행 차량의 속도에 따라 가상 주행 경로를 보정할 수 있다.
또한, 영상 합성부(1700)는 실시간 카메라 영상 내 적어도 하나의 차량 객체가 존재할 경우, 영상 소실점을 보상할 수 있다. 영상 소실점을 보상하는 방법은 하기 도 3을 참조하여 보다 자세히 설명하겠다.
도 3은 본 발명의 실시예에 따른 가상 주행 경로 제공 장치의 영상 소실점이 보상된 가상 주행 경로가 합성된 주행 경로 이미지이다.
도 3을 참조하면, 영상 합성부(1700)는 실시간 카메라 영상 내 적어도 하나의 차량 객체가 존재할 경우, 프로세서(200)에 의해 산출되어 제2 수집부(1130)에 수집된, 차량 객체의 실제 위치, 영상에서의 위치 및 차량 객체의 자세 정보(yaw, pitch, roll)들의 관계를 도출하여, 하기 수학식 1에 따라 영상 소실점(Vanishing Point)을 산출할 수 있다.
Figure pat00001
F(V): 영상 소실점 보정값
H: 영상에서의 특정 객체의 높이
P: 차량 자세 정보
D: 특정 객체의 실제 거리
C: 상관 관계 상수
이후, 영상 합성부(1700)는 상기 수학식 1에 따라 산출된 영상 소실점을 이용하여, 보정된 가상 주행 경로를 카메라 영상에 투영할 수 있다. 그러나 개시된 바에 국한되지 않고, 영상 합성부(1700)는 영상 내 차량 객체가 없을 경우, 종래와 같이 차선 인식을 통한 영상 소실점을 산출하여 가상 주행 경로를 보정할 수 있다. 차선 인식을 통한 영상 소실점의 산출 방법은 종래에 널리 알려진 주지 기술이므로, 여기서는 생략토록 하겠다.
이에 따라, 본 발명의 실시예에 따른 가상 주행 경로 제공 장치는 실시간으로 정밀한 주행 경로를 생성하여 운전자에게 제공할 수 있다.
다시 도 2를 참조하면, 위험 판단부(1900)는 영상 합성부(1700)에 의해 합성된 주행 경로 이미지 영상을 바탕으로, 장애물 존재 여부에 따른 위험 상황을 판단할 수 있다.
실시예에 따르면, 위험 판단부(1900)는 주행 경로 이미지 내 가상 주행 경로를 기준으로 이동 객체의 위치 정보를 판단할 수 있다.
이후, 위험 판단부(1900)는 가상 주행 경로를 기준으로 이동 객체의 위치를 판단하여 장애물 여부를 판정할 수 있다.
일 실시예에 따르면, 위험 판단부(1900)는 가상 주행 경로 상에 위치하는 이동 객체를 장애물로 판단할 수 있다. 이후, 위험 판단부(1900)는 위험 상황을 경고 단계로 설정할 수 있다.
다른 실시예에 따르면, 위험 판단부(1900)는 가상 주행 경로로 접근하는 이동 객체를 장애물로 판단할 수 있다. 이후, 위험 판단부(1900)는 위험 상황을 주의 단계로 설정할 수 있다.
상기 위험 단계 정보는 운전자 또는 첨단 운전자 보조 시스템(Adcansed Driver Assistance System, ADAS)에서 주행 시 전방 차량과의 충돌 방지를 위해 활용될 수 있다.
도 4는 본 발명의 실시예에 따른 가상 주행 경로 제공 방법을 설명하기 위한 순서도이다.
도 4를 참조하면, 가상 주행 경로 제공 장치의 프로세서(200)는 주행 차량으로부터 적어도 하나의 정보를 수집할 수 있다(S1000).
실시예에 따르면, 프로세서(200)는 주행 중인 차량 및 상기 차량에 설치된 카메라로부터 적어도 하나의 주행 차량 정보를 수집할 수 있다. 예를 들어, 주행 차량 정보는 주행 차량 및 카메라의 제원 및 설정 정보일 수 있다.
또한, 프로세서(200)는 GPS 단말로부터 해당 주행 차량의 위치 정보를 실시간으로 수집할 수 있다.
이후, 프로세서(200)는 획득한 주행 차량 정보를 바탕으로 가상 주행 경로를 생성할 수 있다(S2000).
실시예에 따르면, 프로세서(200)는 경로 생성부(1300)를 실행하여, 주행 차량의 제원 정보를 기준으로 회전 반경을 계산하고, 초기 생성 위치 정보 및 카메라 설치 위치 정보를 바탕으로 가상 주행 경로를 생성할 수 있다.
또한, 프로세서(200)는 주행 차량 정보 및 GPS 정보를 활용하여, 상기 가상 주행 경로를 보정할 수 있다(S3000). 가상 주행 경로를 보정하는 방법은 하기 도 5를 참조하여 보다 자세히 설명하겠다.
도 5는 본 발명의 실시예에 따른 가상 주행 경로 제공 방법 중 주행 차량 정보에 의해 생성된 주행 경로 이미지이다.
도 5를 참조하면, 프로세서(200)는 주행 차량의 속도, 조향각 및 도로 폭 정보를 활용하여 가상 주행 경로를 보정할 수 있다.
실시예에 따르면, 프로세서(200)는 주행 차량 정보 및 위치 정보로부터 획득한 적어도 하나의 정보를 동기화하여, 가상 주행 경로의 회전 반경, 가상 주행 경로가 투영될 도로의 길이 범위 및 각속도, 가상 주행 경로의 폭 등을 보정할 수 있다.
다시 도 4를 참조하면, 프로세서(200)는 실시간으로 보정된 가상 주행 경로를 상기 카메라로부터 획득한 실시간 영상에 투영하여 주행 경로 이미지를 생성할 수 있다(S4000).
보다 구체적으로 설명하면, 프로세서(200)는 영상 합성부(1700)를 실행하여, 주행 중인 해당 차량에 설치된 카메라로부터 영상을 준비할 수 있다. 이때, 상기 영상은 위치 및 크기 등이 보정된 영상일 수 있다.
이후, 프로세서(200)는 주행 중인 해당 차량의 도로 폭 및 해당 차량의 속도에 따라 보정한 가상 주행 경로를 상기 보정된 카메라 영상에 투영시킬 수 있다. 이때, 보정된 가상 주행 경로는 영상 소실점이 보상된 것일 수 있다.
프로세서(200)는 투영된 가상 주행 경로를 기준으로 카메라 영상 내 객체의 위치에 따른 위험 상황 정도를 판단할 수 있다(S5000).
보다 구체적으로 설명하면, 프로세서(200)는 위험 판단부(1900)를 실행하여, 주행 경로 이미지 내 가상 주행 경로를 기준으로 이동 객체의 위치에 따라 장애물 유무를 판단하여 위험 여부를 설정할 수 있다.
일 실시예에 따르면, 프로세서(200)는 이동 객체가 가상 주행 경로 상에 위치할 경우 상기 이동 객체를 장애물로 판단하고, 위험 상황을 경고 단계로 설정할 수 있다.
다른 실시예에 따르면, 프로세서(200)는 이동 객체의 이동 방향이 가상 주행 경로를 향해 접근하는 방향일 경우 상기 이동 객체를 장애물로 판단하고, 위험 상황을 주의 단계로 설정할 수 있다.
이에 따라, 프로세서(200)는 위험 단계 정보를 운전자 또는 첨단 운전 보조 시스템(ADAS)으로 송신하여, 주행 중 이동 객체와의 충돌을 방지하는 데 활용할 수 있다.
또한, 프로세서(200)는 이동 객체가 장애물로 판단될 경우, 가상 주행 경로를 주행 가능 영역을 보정할 수 있다. 이는 하기 도 6을 바탕으로 자세히 설명하겠다.
도 6은 본 발명의 실시예에 따른 가상 주행 경로 제공 방법에 의해 생성된 일반 도로에서의 주행 경로 이미지이다.
도 6을 참조하면, 프로세서(200)는 카메라로부터 획득한 영상 분석을 통해 주행 중인 해당 차량의 차선 유지가 가능한 상황으로 판단할 경우, 가상 주행 경로 상에 장애물이 위치하는지의 여부를 확인할 수 있다.
이후, 가상 주행 경로 상에 장애물이 위치하지 않을 경우, 프로세서(200)는 기존 차선 인식 길이보다 길게 가상 주행 경로를 보정할 수 있다.
도 7은 본 발명의 실시예에 따른 가상 주행 경로 제공 방법에 의해 생성된 차선이 없는 도로에서의 주행 경로 이미지이다.
도 7을 참조하면, 프로세서(200)는 차선이 없거나 적어도 일부가 지워져 차선 인식이 불가능한 경우, 전방의 이동 객체의 움직임에 따라 가상 주행 경로를 생성할 수 있다. 이에 따라, 본 발명의 실시예에 따른 가상 주행 경로 제공 방법은 주행 차량의 주행 시 전방 충돌 방지 또는 차간 일정 거리 유지를 위해 활용할 수 있다.
도 8은 본 발명의 실시예에 따른 가상 주행 경로 제공 방법에 의해 생성된 차선이 없는 도로에서의 차로 변경 시 주행 경로 이미지이다.
도 8을 참조하면, 프로세서(200)는 차선 인식이 가능하나, 차로 변경 시 주행 가능 경로를 판단하기 어려울 경우, 해당 주행 차량의 적어도 하나의 정보를 활용하여, 가상 주행 경로를 이동 가능한 차선으로 반영할 수 있다. 이에 따라, 충돌 가능한 이동 객체를 결정함으로써 위험도를 산출할 수 있다.
이상, 본 발명의 실시예에 따른 가상 주행 경로 제공 장치 및 방법을 설명하였다.
본 발명의 실시예들에 따른 가상 주행 경로 제공 장치 및 방법은 적어도 하나의 주행 차량 정보를 수집하는 단계, 상기 주행 차량 정보를 바탕으로 가상 주행 경로를 생성하는 단계, 실시간 위치 정보를 바탕으로 상기 가상 주행 경로를 보정하는 단계, 상기 가상 주행 경로를 카메라로부터 수집한 실시간 영상에 투영하여 주행 경로 이미지를 생성하는 단계 및 상기 주행 경로 이미지 내 이동 객체의 위치를 인식하여, 상기 이동 객체의 위험 단계를 설정하는 단계를 포함함으로써, 차선이 없거나 인식하기 어려운 도로 환경 및 차로 유지, 변경, 유턴 및 교차로 등의 다양한 주행 상황에 적용 가능한 고효율 및 고신뢰성의 가상 주행 경로 제공 장치 및 방법을 제공할 수 있다.
본 발명의 실시예들에 따른 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.
이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
1000: 가상 주행 경로 제공 장치 1100: 정보 수집부
1300: 경로 생성부 1500: 영상 보정부
1700: 영상 합성부 1900: 위험 판단부
100: 메모리 200: 프로세서
300: 송수신 장치 400: 입력 인터페이스 장치
500: 출력 인터페이스 장치 600: 저장 장치
700: 버스(BUS)

Claims (1)

  1. 전방 객체와의 충돌을 방지하기 위해, 주행 차량에 가상 주행 경로를 제공하는 장치에 있어서,
    메모리(memory); 및
    상기 메모리에 저장된 적어도 하나의 명령을 실행하는 프로세서(processor)를 포함하되,
    상기 적어도 하나의 명령은,
    적어도 하나의 주행 차량 정보를 수집하도록 하는 명령,
    상기 주행 차량 정보를 바탕으로 가상 주행 경로를 생성하도록 하는 명령,
    실시간 위치 정보를 바탕으로 상기 가상 주행 경로를 보정하도록 하는 명령,
    상기 가상 주행 경로를 카메라로부터 수집한 실시간 영상에 투영하여 주행 경로 이미지를 생성하도록 하는 명령, 및
    상기 주행 경로 이미지 내 이동 객체의 위치를 인식하여, 상기 이동 객체의 위험 단계를 설정하도록 하는 명령을 포함하는, 가상 주행 경로 제공 장치.
KR1020200167947A 2020-12-04 2020-12-04 가상 주행 경로 제공 장치 및 방법 KR20220078811A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200167947A KR20220078811A (ko) 2020-12-04 2020-12-04 가상 주행 경로 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200167947A KR20220078811A (ko) 2020-12-04 2020-12-04 가상 주행 경로 제공 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20220078811A true KR20220078811A (ko) 2022-06-13

Family

ID=81983861

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200167947A KR20220078811A (ko) 2020-12-04 2020-12-04 가상 주행 경로 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20220078811A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230018352A (ko) * 2021-07-28 2023-02-07 포티투닷 주식회사 차량의 주행 경로를 결정하기 위한 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230018352A (ko) * 2021-07-28 2023-02-07 포티투닷 주식회사 차량의 주행 경로를 결정하기 위한 방법 및 장치

Similar Documents

Publication Publication Date Title
CN111670468B (zh) 移动体行为预测装置以及移动体行为预测方法
JP6682833B2 (ja) 物体認識アルゴリズムの機械学習のためのデータベース構築システム
EP3514032B1 (en) Adjusting velocity of a vehicle for a curve
US8355539B2 (en) Radar guided vision system for vehicle validation and vehicle motion characterization
EP3358368A1 (en) Signal processing apparatus, signal processing method, and program
US10369993B2 (en) Method and device for monitoring a setpoint trajectory to be traveled by a vehicle for being collision free
US20140267415A1 (en) Road marking illuminattion system and method
US20160075280A1 (en) System for estimating lane and method thereof
JP7422661B2 (ja) 走行軌跡補正方法、走行制御方法、及び走行軌跡補正装置
JP7469896B2 (ja) 周辺認識装置、周辺認識方法、およびプログラム
US11370420B2 (en) Vehicle control device, vehicle control method, and storage medium
CN111907522A (zh) 基于复杂信息的车辆scc系统及其控制方法
US20210331671A1 (en) Travel lane estimation device, travel lane estimation method, and computer-readable non-transitory storage medium
US11400942B2 (en) Vehicle lane trajectory probability prediction utilizing kalman filtering with neural network derived noise
US20200385017A1 (en) Vehicle control device and vehicle control method
EP3693704A1 (en) Vehicle driving assistance system and vehicle driving assistance method
JP7078909B2 (ja) 車両制御装置及び車両制御用コンピュータプログラム
CN113412212A (zh) 其它车辆动作预测方法以及其它车辆动作预测装置
US11326889B2 (en) Driver assistance system and control method for the same
JPWO2017130285A1 (ja) 車両判定装置、車両判定方法及び車両判定プログラム
CN113361312A (zh) 检测对象的电子装置和方法
US11168985B2 (en) Vehicle pose determining system and method
KR20220078811A (ko) 가상 주행 경로 제공 장치 및 방법
US20220121213A1 (en) Hybrid planning method in autonomous vehicle and system thereof
EP4257927A1 (en) Vehicle pose assessment