KR102551283B1 - 메타인지 기반 자율주행 보정 장치 및 방법 - Google Patents

메타인지 기반 자율주행 보정 장치 및 방법 Download PDF

Info

Publication number
KR102551283B1
KR102551283B1 KR1020200114968A KR20200114968A KR102551283B1 KR 102551283 B1 KR102551283 B1 KR 102551283B1 KR 1020200114968 A KR1020200114968 A KR 1020200114968A KR 20200114968 A KR20200114968 A KR 20200114968A KR 102551283 B1 KR102551283 B1 KR 102551283B1
Authority
KR
South Korea
Prior art keywords
driving
correction
driving behavior
information
determining whether
Prior art date
Application number
KR1020200114968A
Other languages
English (en)
Other versions
KR20220033094A (ko
Inventor
안경환
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020200114968A priority Critical patent/KR102551283B1/ko
Priority to US17/469,276 priority patent/US20220073103A1/en
Publication of KR20220033094A publication Critical patent/KR20220033094A/ko
Application granted granted Critical
Publication of KR102551283B1 publication Critical patent/KR102551283B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18154—Approaching an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/182—Selecting between different operative modes, e.g. comfort and performance modes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0018—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
    • B60W60/00184—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions related to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0051—Handover processes from occupants to vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/55—External transmission of data to or from the vehicle using telemetry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/65—Data transmitted between vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 메타인지 기반 자율주행 보정 장치에 관한 것으로, 자율주행시스템에 있어서, 차량용 센서부를 통해 획득한 주행환경 인식 정보를 이용하여 자율주행 중 인식된 전방 객체에 대한 메타인지를 판단하고, 메타인지 판단 후 선택된 선택 보정정보에 대응되도록 전역경로 또는 지역경로를 보정하는 주행상황인식/주행행동 기반 판단부; 및 메타인지로 판단되는 경우, 후보 보정정보를 출력한 후 출력된 후보 보정정보 중 운전자가 선택한 선택 보정정보를 상기 주행상황인식/주행행동 기반 판단부에 제공하는 주행상황인식/주행행동 보정 단말부를 포함한다.

Description

메타인지 기반 자율주행 보정 장치 및 방법{Metacognition-based autonomous driving correction device and method}
본 발명은 메타인지 기반 자율주행 보정 장치에 관한 것으로, 더욱 상세하게는 자율주행시스템에서의 메타인지 상태에서의 주행 보정에 관한 것이다.
종래의 자율주행시스템은 사전에 정해진 알고리즘에 따라 모든 주행상황판단 및 행동을 결정하여 주행을 하고, 만약 자율주행시스템이 더 이상 주행 불가능한 한계 상황이 되었을 때 자율주행 레벨에 따라 운전자에게 운전제어권을 넘김으로써, 자율주행 모드를 해제하거나 부드러운 정지 또는 갓길 정차등의 행동을 취하였다.
그런데 자율주행시스템은 운전자에게는 평이한 주행상황에서 판단을 제대로 못할 수 있고, 현재 주행상황에서 운전자가 원하는 의도와는 상관없이 사전에 정해진 알고리즘대로만 주행함으로써 운전자 개개인의 운전 성향을 반영하지 못하는 문제점이 존재하였다.
또한, 종래 자율주행시스템은 주변 도로 객체에 대한 기본 정보인 위치, 헤딩, 속도, 클래스(차량, 보행자, 자전거 등)를 이용하여 주행판단을 하는데, 주행 중 환경에 따라 인식 신뢰도가 떨어질 가능성이 있고, 도로상에 발생하는 다양한 예외상황(공사, 불법 주/정차 차량, 저속주행차량 등) 인식이 어려워 정지와 같은 보수적인 행동 판단을 할 수밖에 없다.
만약, 종래 자율주행시스템이 빈번하게 도로 주행상황을 정확하게 판단하지 못함에도 불구하고 운전자에게 상황 알림없이 무제한 정차해 있거나 목적지 소요시간이 증가한다면 운전자의 신뢰를 잃을 수도 있는 문제점이 있다.
본 발명은 종래 문제점을 해결하기 위한 것으로, 자율주행시스템이 특정 주행상황에서 판단의 모호성을 인지(메타인지)하는 경우 운전자에게 문의하여 현재 주행상황을 결정하고, 그에 따른 주행행동을 스스로 결정하거나 다시 운전자에게 주행행동을 문의함으로써, 운전자 맞춤형 자율주행을 할 수 있도록 해주는 메타인지 기반 자율주행 보정 장치에 관한 것이다.
또한 본 발명은 자율주행시스템이 운전자에게 문의하는 주행상황이 아니더라도 운전자로부터 명령을 받게 되었을 때, 현재 주행상황에서 운전자의 요청이 실행될 수 있으면, 주행행동을 보정하여 목적지까지 효율적으로 자율주행을 수행할 수 있는 메타인지 기반 자율주행 보정 장치에 관한 것이다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 메타인지 기반 자율주행 보정 장치는 자율주행시스템에 있어서, 차량용 센서부를 통해 획득한 주행환경 인식 정보를 이용하여 자율주행 중 인식된 전방 객체에 대한 메타인지를 판단하고, 메타인지 판단 후 선택된 선택 보정정보에 대응되도록 전역경로 또는 지역경로를 보정하는 주행상황인식/주행행동 기반 판단부; 및 상기 메타인지로 판단되는 경우, 후보 보정정보를 화면에 출력한 후 출력된 후보 보정정보 중 운전자가 선택한 선택 보정정보를 상기 주행상황인식/주행행동 기반 판단부에 제공하는 주행상황인식/주행행동 보정 단말부를 포함한다.
상기 주행상황인식/주행행동 기반 판단부는, 주행상황 인식 정보를 통해 현재 주행상황에 대한 모호성을 판단하는 메타인지 여부를 판단하는 주행상황 판단 기능을 포함한다.
상기 주행상황인식/주행행동보정 기반 판단부는, 인식된 객체정보의 메타인지 판단에 필요한 모든 정보가 포함되어 있는지의 여부에 따라 메타인지를 판단한다.
상기 주행상황인식/주행행동보정 기반 판단부는, 해당 상황에서 선택 가능한 주행행동의 개수에 따라 메타인지를 판단할 수 있다.
상기 주행상황인식/주행행동보정 기반 판단부는, 객체 인식정보를 이용하여 주행상황이 특정되지 않는 상태를 메타인지로 판단할 수 있다.
상기 주행상황인식/주행행동보정 기반 판단부는, 특정 객체가 현재 도로속도(인식 범위내 인식된 객체들의 평균속도) 보다 특정 임계치 이하로 낮을 때를 메타인지로 판단할 수 있다.
상기 후보 보정정보는, 주행상황 정보 및 주행행동 정보 중 하나이다.
상기 주행상황인식/주행행동 보정 단말부는, 질의 객체에 대한 주행상황 인식 정보를 출력하는 주행상황 출력부와, 상기 출력된 상기 주행상황을 인식한 운전자가 선택할 수 있는 주행상황인식 후보 보정정보를 출력하고, 운전자가 선택한 주행상황인식 선택 보정정보를 제공하는 주행상황 선택부를 포함한다.
그리고 상기 주행상황인식/주행행동 보정 단말부는, 출력된 상기 주행상황을 인식한 운전자가 선택할 수 있는 주행행동 후보 보정정보를 출력하고, 운전자가 선택한 주행행동 선택 보정정보를 제공하는 주행행동 선택부를 포함한다.
본 발명은 통신부인 V2V 통신을 통해 주변 차량 및 인프라에 전달되거나, 텔레매틱스 서비스 등을 통해 서버로 전달된 공유 보정정보가 서비스에 가입된 주변 차량들로 전달하는 보정정보 공유부를 더 포함한다.
그리고 상기 보정정보 공유부는, 상기 주변 차량, 인프라 및 서버로부터 공유 보정정보가 수신되고, 상기 메타인지로 판단되는 경우, 공유 보정정보를 이용하여 전역경로 또는 지역경로를 보정할 수 있다.
상기 공유 보정정보는, 유일한 객체 ID 생성을 위하여 번호판에 대응되는 객체 ID를 생성하고, 생성된 차량번호 암호화 객체 ID, 영상, 객체 Bounding Box, 인식시간, 위치, 속도 및 주행상황 시멘틱 레이블로 이루어진 정보 전달 필드를 갖는다.
상기 객체 ID는, 대상 차량의 개인정보 보호를 위하여 단방향 암호화를 수행한다.
본 발명의 일 실시예에 따른 메타인지 기반 자율주행 보정 방법은 주행환경 인식부가 획득하는 인식 정보로부터 전방 객체를 인식하는 단계; 주행환경 인식부가 현재 주행 중인 도로 속도를 계산하는 단계; 주행환경 인식부가 전방에 객체가 존재하는 지를 판단하는 단계; 상기 전방에 객체가 존재하는 지를 판단하는 단계에서 전방에 객체가 인식되면, 상기 주행상황인식/주행행동보정 기반 판단부가 인식된 전방 객체의 속도가 도로 속도보다 저속인지를 판단하는 단계; 상기 객체의 속도가 도로 속도보다 저속인지를 판단하는 단계에서 전방 객체의 속도가 도로 속도보다 저속이면, 상기 주행상황인식/주행행동보정 기반 판단부가 인식된 객체에 대한 주행상황 후보 보정정보가 존재하는지를 판단하는 단계; 및 상기 인식된 객체에 대한 주행상황 후보 보정정보가 존재하는지를 판단하는 단계에서 보정정보가 존재하지 않으면, 상기 주행상황인식/주행행동보정 기반 판단부가 주행상황인식/주행행동 보정 단말부에 후보 보정정보를 출력하여 주행상황 인식을 보정하는 단계를 포함한다.
본 발명은 인식된 전방 객체가 차량인지를 판단하는 단계; 상기 전방 객체가 차량인지를 판단하는 단계에서 전방 객체가 차량이면, 전방 객체의 번호판이 인식되는지를 판단하는 단계; 전방 객체의 번호판이 인식되는지를 판단하는 단계에서 전방 객체의 번호판이 인식되면, 상기 보정정보 공유부가 전방 객체의 번호판이 포함된 암호화 객체 ID를 생성하는 단계; 및 상기 보정정보 공유부가 암호화 객체 ID가 포함된 보정정보를 생성하여 보정정보 공유부를 통해 주변 차량 및 인프라에 전송하는 단계를 포함한다.
한편, 상기 전방 객체가 차량인지를 판단하는 단계에서 전방 객체가 차량이 아니면, 전방 객체가 정지 상태인지를 판단하는 단계; 상기 전방 객체가 정지 상태인지를 판단하는 단계에서 전방 객체가 정지 상태이면, 상기 보정정보 공유부가 전역 위치를 획득하여 보정정보를 생성하는 단계; 및 상기 보정정보 공유부가 주변 차량 및 인프라에 전송하는 단계를 포함한다.
본 발명은 단말부에서 자동으로 주행행동 보정이 이루어졌는지를 판단하는 단계; 상기 자동으로 주행행동 보정이 이루어졌는지를 판단하는 단계에서 자동 주행행동 보정이 이루어지지 않으면, 상기 주행상황인식/주행행동보정 기반 판단부가 단말부에 주행행동 정보가 포함된 주행행동 후보 보정정보를 출력하는 단계; 상기 운전자가 주행행동 선택 보정정보를 선택했는지를 판단하는 단계; 상기 운전자가 주행행동 선택 보정정보를 선택했는지를 판단하는 단계에서 운전자로부터 선택된 주행행동 선택 보정정보가 입력되지 않으면, 상기 주행상황인식/주행행동보정 기반 판단부가 기본 주행행동으로 결정하고, 운전자로부터 선택된 주행행동 선택 보정정보가 입력되면, 교차로 까지의 거리가 충분한지를 판단하는 단계; 상기 교차로 까지의 거리가 충분한지를 판단하는 단계에서 교차로까지의 거리가 충분하지 않으면, 상기 주행상황인식/주행행동보정 기반 판단부가 기본 주행행동으로 결정하고, 교차로까지의 거리가 충분하면, 전역경로 재탐색이 필요한지를 판단하는 단계; 상기 전역경로 재탐색이 필요한지를 판단하는 단계에서 전역경로 재탐색이 필요하지 않으면, 상기 주행상황인식/주행행동보정 기반 판단부가 선택된 주행행동 선택 보정정보의 적용이 가능한지를 판단하는 단계; 상기 선택된 주행행동 선택 보정정보의 적용이 가능한지를 판단하는 단계에서 선택된 주행행동 선택 보정정보의 적용이 가능하면, 상기 주행상황인식/주행행동보정 기반 판단부가 선택된 주행행동 선택 보정정보를 주행행동으로 결정하는 단계를 더 포함한다.
한편, 전역경로 재탐색이 필요한지를 판단하는 단계에서 전역경로 재탐색이 필요하면, 상기 주행상황인식/주행행동보정 기반 판단부가 전역경로 재탐색을 수행하는 단계를 포함한다.
본 발명의 일 실시예에서의 자율주행시스템에서의 주행행동 보정 방법은 주변 차량 및 인프라로부터 암호화 객체 ID가 포함된 공유 보정정보를 수신하는 단계; 전방 객체가 차량인지를 판단하는 단계; 상기 전방 객체가 차량인지를 판단하는 단계에서 전방 객체가 차량이면, 전방 객체의 번호판을 인식하는 단계; 상기 전방 객체의 번호판이 포함된 암호화 객체 ID를 생성하는 단계; 상기 수신된 공유 보정정보에 포함된 암호화 객체 ID가 생성한 암호화 객체 ID와 매칭되는지를 판단하는 단계; 상기 수신된 암호화 객체 ID와 생성된 암호화 객체 ID가 매칭되면, 상기 주행상황인식/주행행동보정 기반 판단부가 인식된 객체에 대한 주행상황 후보 보정정보가 존재하는지를 판단하는 단계; 및 상기 인식된 객체에 대한 주행상황 후보 보정정보가 존재하는지를 판단하는 단계에서 보정정보가 존재하지 않으면, 상기 주행상황인식/주행행동보정 기반 판단부가 수신된 공유 보정정보를 이용하여 주행상황 인식을 보정하는 단계를 포함한다.
한편 상기 전방 객체가 차량인지를 판단하는 단계에서 전방 객체가 차량이 아니면, 전방 객체가 정지 상태인지를 판단하는 단계; 상기 전방 객체가 정지 상태인지를 판단하는 단계에서 전방 객체가 정지 상태이면, 전방 객체 전역위치를 획득하는 단계; 상기 수신된 공유 보정정보에 포함된 전역 위치와 상기 획득한 전방 객체 전역 위치가 매칭되는지를 판단하는 단계; 및 상기 전역 위치가 매칭되는지를 판단하는 단계에서 수신된 공유 보정정보에 포함된 전역 위치와 상기 획득한 전방 객체 전역 위치가 매칭되면, 상기 주행상황인식/주행행동보정 기반 판단부가 인식된 객체에 대한 주행상황 후보 보정정보가 존재하는지를 판단하는 단계를 더 포함한다.
본 발명의 일 실시예에 따르면, 자율주행시스템이 특정 주행상황에 대한 판단 가능여부를 인지하여 이를 운전자에게 문의하거나 주변차량 및 인프라로부터 보정정보를 받아 현재 주행상황을 결정할 수 있고, 그에 따른 주행행동을 스스로 결정하거나 다시 운전자에게 원하는 주행행동을 문의함으로써, 특정 주행상황을 해결하지 못해 무한 정지되거나 오판단으로 인한 위험성을 감소시킬 수 있는 효과가 있다.
또한, 본 발명의 일 실시예에 따르면, 자율주행시스템이 운전자에게 문의하는 주행상황이 아니더라도 운전자로부터 명령을 듣게 되었을 때, 현재 주행상황에서 운전자의 요청이 받아들여 질 수 있을 때 주행행동을 보정함으로써, 운전자의 의도를 반영한 맞춤형 자율주행을 할 수 있는 장점이 있다.
그리고, 본 발명의 일 실시예에 따르면, 운전자가 보정정보를 입력하지 않더라도 기존 자율주행시스템과 동일하게 동작하므로 최소한 기존 자율주행시스템과 동일한 기능 및 성능을 보장하고, 운전자들이 추가 정보를 입력할 경우 더 높은 편의성 및 안전성을 보장할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 메타인지 기반 자율주행 보정 장치를 설명하기 위한 기능블록도.
도 2는 본 발명의 일 실시예에 따른 메타인지 기반 자율주행 보정 장치에서 운전자에 의한 주행상황인식 보정 예시를 설명하기 위한 참고도.
도 3은 도 1의 주행상황인식/주행행동 보정 단말부의 일 예 중 주행상황 보정을 설명하기 위한 참고도.
도 4는 도 1의 보정정보 공유부에 의한 실시예를 설명하기 위한 참고도.
도 5는 도 1의 주행상황인식/주행행동 보정 단말부의 일 예 중 주행행동 보정을 설명하기 위한 참고도.
도 6a 내지 도 6c는 본 발명의 일 실시예에 따른 메타인지 기반 자율주행 보정 방법에서 주행상황 인식 방법을 설명하기 위한 순서도.
도 7은 본 발명의 일 실시예에 따른 메타인지 기반 자율주행 보정 방법에서 공유정보를 이용하여 주행상황 인식 방법을 설명하기 위한 순서도.
도 8a 및 도 8b는 본 발명의 일 실시예에 따른 메타인지 기반 자율주행 보정 방법에서 주행행동 보정을 설명하기 위한 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 일 실시예에 따른 메타인지 기반 자율주행 보정 장치를 설명하기 위한 기능블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 메타인지 기반 자율주행 보정 장치는 차량용 센서부(110), 주행환경 인식부(120), 차량제어부(140), 차량구동부(150), 주행상황인식/주행행동보정 기반 판단부(100), 주행상황인식/주행행동 보정 단말부(200) 및 보정정보 공유부(300)를 포함한다.
차량용 센서부(110)는 장애물 위치 속도 획득을 위해 사용하는 GPS, Radar, Lidar, 카메라, Odometry 등의 하드웨어로 이루어진다.
주행환경 인식부(120)는 차량용 센서부(110)의 하드웨어들을 이용하여 장애물 인식, 노면 인식(차선), 신호등 인식 기능을 제공하는 것으로, 주행상황인식 및 주행행동 보정정보 교환을 위해 V2X 모뎀 및 LTE 모뎀을 더 구비할 수 있다.
주행상황인식/주행행동보정 기반 판단부(100)는 정밀맵을 이용하여 출발지부터 목적지까지 전역경로를 계획하는 기능, 주행환경인식정보와 정밀맵을 이용하여 주행상황을 판단하는 기능, 주행행동을 결정하는 기능, 결정된 주행행동에 따라 차량이 주행가능한 지역경로를 계획하는 기능, 그리고 보정정보에 따라 주행상황 및 주행행동을 보정하는 기능을 제공한다.
이러한, 주행상황인식/주행행동보정 기반 판단부(100)는 상기 차량용 센서부(110)를 통해 획득한 자차(1)와 객체의 위치 및 속도 정보를 이용하여 자율주행 중 인식된 전방 객체(o)에 대한 메타인지를 판단한다. 본 발명에서의 메타인지는 주행상황 판단이 모호한 상태를 의미한다.
일 예로, 주행상황인식/주행행동보정 기반 판단부(100)는 도 2에 도시된 바와 같이, 자율주행 중 자차(1) 앞에 인식 객체(o)가 인식되는 경우 수행한다.
도 2에 도시된 바와 같이, 질의 객체(o, 전방 차량)는 현재 도로속도에 비해 현저히 낮은 속도(0km)를 보여주고 있으나, 자율주행시스템이 딥러닝 등의 알고리즘을 통해 “사고”라는 주행상황을 유추하지 못할 경우, 해당 질의 객체(o)를 바운딩 박스(bounding Box)로 둘러싸고, 현재 시스템이 판단한 주행상황과 후보 주행상황(본 실시예에서는 점선)을 화면에 출력하여 운전자의 판단을 기다린다. 만약, 운전자가 대응하지 않을 경우 기본 동작인 정지를 유지하고, 특정 시간 임계점까지 기다린다.
만약, 전방 객체(o)에 대한 주행상황이 메타인지로 판단하는 경우, 주행상황인식/주행행동보정 기반 판단부(100)는 보정정보를 제공받아 전역경로 또는 지역경로에 반영한다. 여기서, 상기 후보 보정정보는, 주행상황 선택 정보 및 주행행동 선택 보정정보 중 하나이다.
이러한 주행상황인식/주행행동보정 기반 판단부(100)는 현재 주행상황에 대해서 인지 가능한지를 판단하여 상기 판단 가능하거나 해당 상황에서 선택 가능한 주행행동이 한가지 일 경우, 본래 전역경로 또는 지역경로대로 실행한다.
이에 반해, 메타인지로 판단되거나, 선택 가능한 주행행동이 여러가지 있을 경우, 주행상황인식/주행행동보정 기반 판단부(100)는 주행상황 선택 정보 및 주행행동 선택 보정정보를 운전자 또는 주변 차량 또는 인프라로부터 수신받아 보정하여 본래 전역경로 또는 지역경로를 변경하여 실행한다.
주행상황인식/주행행동보정 기반 판단부(100)는 다양한 방법으로 메타인지를 수행하는데, 그 중 첫 번째는 인식된 객체정보의 메타인지 판단에 필요한 모든 정보를 포함되지 않은 경우이고, 두 번째는 객체 인식정보를 이용하여 주행상황을 특정 짓기 어려운 상태이다. 이런 경우를 현재 주행상황에 대하여 모호하다고 판단할 수 있다.
또 다른 방법으로, 주행상황인식/주행행동보정 기반 판단부(100)는 특정 객체가 현재 도로속도(인식 범위내 인식된 객체들의 평균속도) 보다 특정 임계치 이하로 낮을 때를 메타인지 기준으로 할 수 있다.
그 예로, 주행상황인식/주행행동보정 기반 판단부(100)는 [수학식 1]에 나와 있듯, 현재 도로속도(Vcur_road)는 인식된 주변 객체가 1개 이상 존재할 때 주변 객체들의 속도평균으로 정의된다.
이에, 주행상황인식/주행행동보정 기반 판단부(100)는 전방 객체(o)의 속도(Vfront_object)가 현재 도로속도(Vcur_road)의 α(α<1)배 보다 작을 경우 메타인지를 판단할 수 있다.
Figure 112020095289335-pat00001
여기서, Vcur_road는 도로 속도이고, Vi는 주변 객체의 속도 값, n은 인식되는 주변 객체의 개수이다.
차량제어부(140)는 지역경로를 추종하는 지역경로 추정부(141)와 상기 지역경로 추정부(141)에 의해 추종되는 지역경로에 따라 차량구동부(150)의 액추에이터를 제어하는 액추에이터 제어부(142)를 포함한다.
차량구동부(150)는 스티어링휠, 엔진, 브레이크, 기어 및 램프와 같은 제어 가능한 차량 하드웨어로 구성된다.
정밀맵 제공부(160)는 전체경로 및 지역경로 계획에 필요한 정보인 차선 레벨의 상세하고 정밀한 도로 네트워크 상세 정밀맵이 저장된다.
주행상황인식/주행행동보정 기반 판단부(100)는 보정정보를 이용하여 주행상황판단 및 행동결정에 대한 학습을 실시간으로 수행하는 기능을 더 포함할 수 있다.
한편, 주행상황인식/주행행동 보정 단말부(200)는 운전자에게 자율주행에 대한 보정을 요청할 수 있도록, 복수의 후보 보정정보를 운전자에게 제공하고, 운전자가 선택한 선택 보정정보를 주행상황인식/주행행동보정 기반 판단부(100)에 제공한다.
그리고, 주행상황인식/주행행동 보정 단말부(200)는 차선 레벨의 상세하고 정밀한 도로 네트워크 맵이 저장된 정밀맵 제공부(160)에 질의 처리를 통해 정밀맵을 획득하고, 객체 정보와 함께 사용자에게 표시한다.
이러한 주행상황인식/주행행동 보정 단말부(200)는 차량내 고정 설치된 장치이거나 운전자 또는 탑승자가 지니고 다니는 스마트 단말이 이용될 수 있다.
한편, 주행상황인식/주행행동 보정 단말부(200)는 도 3에 도시된 바와 같이, 주행상황 출력부(210), 주행상황 선택부(220)를 포함한다.
주행상황인식/주행행동 보정 단말부(200)는 터치 스크린이 이용되는 것이 바람직하나 이를 한정하는 것은 아니다.
여기서, 주행상황 선택부(220)에 출력되는 주행상황인식 후보 보정정보는 정상주행, 신호대기, 정체, 주정차, 사고 및 공사와 같은 정보가 포함될 수 있고, 또 다른 주행상황 정보가 더 부가될 수 있다.
주행상황 출력부(210)는 질의 객체에 대한 주행상황 인식 정보를 출력한다.
주행상황 선택부(220)는 주행상황을 운전자가 선택할 수 있도록, 주행상황인식 후보 보정정보를 출력하고, 운전자가 선택한 주행상황인식 선택 보정정보를 제공한다.
일 예로, 도 3에 도시된 바와 같이, 주행상황 선택부(220)는 정상주행, 신호대기, 정체, 주정차, 사고 및 공사와 같은 주행상황인식 후보 보정정보를 출력하고, 운전자가 주행상황인식 후보 보정정보 중 하나인 “사고” 라는 화면 버튼을 선택하면, 자율주행시스템은 해당 질의 객체(o)의 주행상황을 “사고”로 설정한다.
이후, 도 4에 도시된 바와 같이, 시스템에 사전 설정된 주행행동 결정 방법에 따라 운전자에게 가능한 주행행동 후보 보정정보를 보여주고, 선택(추월, 정지)하게 허가나 정해진 주행행동(전방차량 추종 또는 정차)을 자동으로 실행한다.
이를 위해, 주행상황인식/주행행동 보정 단말부(200)는 도 4에 도시된 바와 같이, 운전자가 주행행동을 선택할 수 있도록 상기 주행행동 정보가 포함된 주행행동 후보 보정정보를 화면을 통해 출력하고, 운전자가 선택한 주행행동 선택 보정정보를 주행상황인식/주행행동보정 기반 판단부(100)에 제공한다.
여기서, 주행행동 후보 보정정보는 일반 차선 및 교차로에서 자율주행 차량이 취할 수 있는 주행행동 보정을 의미한다. 그리고, 주행행동 보정은 차선내 주행행동 보정, 교차로 주행행동 보정 중 하나일 수 있다.
그리고, 차선내 주행행동 보정은 좌/우 차선변경, 추월, 정지, 갓길 정차이고, 교차로 주행행동보정은 직진, 좌/우회전 등이 될 수 있다.
또한 차선내 주행행동은 근접 교차로까지 거리가 얼마 남지 않거나 차선변경으로 인해 전역 경로와 두 차선 이상 차이 나게 될 경우 전역 경로 재탐색을 의미한다.
그리고 교차로 행동보정은 최근접 교차로에서의 행동을 보정하는 의미로 만약 본래 전역경로와 다른 회전으로 보정할 경우 해당 보정이 달성 가능하다고 판단할 경우 전역 경로 재탐색이 이루어지고, 주변 차량들로 인해 불가능하다고 판단될 경우 무시될 수도 있다.
한편, 상기 보정정보 공유부(300)는 통신부(310)인 V2V 모뎀을 통해 주변 차량 및 인프라에 전달되거나, LTE 모뎀을 이용한 텔레매틱스 서비스 등을 통해 서버로 전달된 공유 보정정보가 서비스에 가입된 주변 차량들로 전달할 수 있다.
상기 주행상황인식/주행행동보정 기반 판단부(100)는 도 5에 도시된 바와 같이, 상기 보정정보 공유부(300)를 통해 주변 차량, 인프라 및 서버로부터 공유 보정정보가 수신되고, 상기 메타인지로 판단되는 경우 공유 보정정보를 이용하여 전역경로 또는 지역경로에 반영할 수 있다.
상기 보정정보 공유부(300)가 제공하는 공유 보정정보는, 유일한 객체 ID 생성을 위하여 번호판에 대응되는 객체 ID를 생성하고, 생성된 차량번호 암호화 객체 ID, 영상, 객체 Bounding Box, 인식시간, 위치, 속도 및 주행상황 시멘틱 레이블로 이루어진 정보 전달 필드를 가질 수 있다. 여기서, 상기 객체 ID는, 대상 차량의 개인정보 보호를 위하여 단방향 암호화를 통해 객체 ID를 생성한다.
본 발명의 일 실시예에 따르면, 공유된 주행상황 인식 보정 데이터는 기존 방식으로 수집하려면 일반도로에서 빈도가 높지 않아 시간 및 비용이 많이 소요되는 학습데이터이나, 별도 수집 비용이 필요하지 않고, 이미 Ground truth 데이터를 포함하고 있는 형태로 추가적인 편집이 없어도 되므로 편집에 따른 비용이 들지 않아 가치가 높다고 할 수 있다.
본 발명에서는 공유된 주행 상황 인식 보정 데이터를 자차(1) 및 서버에 딥러닝용 학습 데이터로 저장되어 사용될 수 있는 효과가 있다.
이하, 하기에서는 본 발명의 일 실시예에 따른 메타인지 기반 자율주행 보정 방법에 대하여 도 6a 내지 도 6c를 참조하여 설명하기로 한다.
먼저, 주행환경 인식부(120)가 차량용 센서부(110)를 이용하여 획득하는 정보로부터 전방 객체(o)를 인식한다(S601).
이후, 주행환경 인식부(120)가 현재 주행 중인 도로 속도를 계산한다(S602). 즉, 주행환경 인식부(120)는 인식한 객체들의 속도를 이용하여 현재 자차 주변 도로 네트워크 링크들의 현재 도로 속도(Vcur_road)를 계산할 수 있다.
이후, 주행환경 인식부(120)가 차량용 센서부(110)를 통해 전방에 객체가 존재하는 지를 판단한다(S603). 여기서 객체는 차량과 장애물을 포함한다.
만약, 전방에 객체가 존재하는 지를 판단하는 단계(S603)에서 전방에 객체가 인식되면(YES), 인식된 전방 객체(o)의 속도가 도로 속도보다 저속인지를 판단한다(S604). 이때, 전방 객체(o)의 속도가 현재 도로 속도의 기설정된 배수(α) 보다 저속인지를 점검한다.
만약, 객체의 속도가 도로 속도보다 저속인지를 판단하는 단계(S604)에서 전방 객체(o)의 속도가 도로 속도와 같거나 고속이면(YES), 전방 객체(o) 또한 주행상황임으로 기본 주행상황 인식을 보정하지 않도록 설정한다.
이에 반해, 객체의 속도가 도로 속도보다 저속인지를 판단하는 단계(S604)에서 전방 객체(o)의 속도가 도로 속도보다 저속이면(NO), 인식된 객체에 대한 주행상황 후보 보정정보가 존재하는지를 판단한다(S605). 이는 해당 객체에 대한 주행상황 후보 보정정보가 존재하는지를 확인하는 것이다.
만약, 상기 인식된 객체에 대한 주행상황 후보 보정정보가 존재하는지를 판단하는 단계(S605)에서 주행상황 후보 보정정보가 존재하면(YES), 이는 운전자나 주변차량 또는 인프라에 의해 객체에 주행상황 시멘틱 정보가 태깅된 상황이므로 종료한다.
그에 반해, 상기 인식된 객체에 대한 주행상황 후보 보정정보가 존재하는지를 판단하는 단계(S605)에서 주행상황 후보 보정정보가 존재하지 않으면(NO), 주행상황인식/주행행동 보정 단말부(200)에 주행상황 후보 보정정보를 출력한다(S606).
이후, 운전자가 선택한 주행상황 선택 보정정보가 입력되었는지를 판단한다(S607).
상기 주행상황 선택 보정정보가 입력되었는지를 판단하는 단계(S607)에서 주행상황 선택 보정정보가 입력되면(YES), 최초 계획된 전역경로 및 주행행동을 보정하여 목적지까지 주행한다(S608).
이후, 인식된 전방 객체(o)가 차량인지를 판단한다(S609).
상기 전방 객체(o)가 차량인지를 판단하는 단계(S609)에서 전방 객체(o)가 차량이면(YES), 전방 객체(o)의 번호판이 인식되는지를 판단한다(S610).
이어서, 전방 객체(o)의 번호판이 인식되는지를 판단하는 단계(S610)에서 전방 객체(o)의 번호판이 인식되면(YES), 전방 객체(o)의 번호판이 포함된 암호화 객체 ID를 생성(S611)한 후 보정정보를 생성하여 보정정보 공유부(300)를 통해 주변 차량 및 인프라에 전송한다(S612).
한편, 상기 전방 객체(o)가 차량인지를 판단하는 단계(S609)에서 전방 객체(o)가 차량이 아니면(NO), 전방 객체(o)가 정지 상태인지를 판단한다(S613).
상기 전방 객체(o)가 정지 상태인지를 판단하는 단계(S613)에서 전방 객체(o)가 정지 상태이면(YES), 전역 위치를 획득(S614)하여 보정정보를 생성한 후 보정정보 공유부(300)를 통해 주변 차량 및 인프라에 전송한다(S612).
이하, 하기에서는 본 발명의 일 실시예에 따른 메타인지 기반 자율주행 보정 방법에서 수신되는 보정정보에 의한 주행상황 인식 보정 방법에 대하여 도 7을 참조하여 설명하기로 한다.
먼저, 주변 차량 및 인프라로부터 V2X 모뎀 또는 LTE 모뎀을 통해 암호화 객체 ID가 포함된 공유 보정정보를 수신한다(S701).
전방 객체(o)가 차량인지를 판단한다(S702).
만약, 전방 객체(o)가 차량인지를 판단하는 단계(S702)에서 전방 객체(o)가 차량이면(YES), 전방 객체(o)의 번호판을 인식한다(S703).
이후, 전방 객체(o)의 번호판이 포함된 암호화 객체 ID를 생성한다(S704).
이어서 도 5에 도시된 바와 같이, 수신된 공유 보정정보에 포함된 암호화 객체 ID가 생성한 암호화 객체 ID와 매칭되는지를 판단한다(S705).
만약, 수신된 암호화 객체 ID와 생성된 암호화 객체 ID가 매칭되면(YES), 인식된 객체에 대한 주행상황 후보 보정정보가 상기 공유 보정정보에 존재하는지를 판단한다(S706).
상기 인식된 객체에 대한 주행상황 후보 보정정보가 존재하는지를 판단하는 단계(S706)에서 주행상황 후보 보정정보가 존재하지 않으면(NO), 수신된 공유 보정정보를 이용하여 주행상황 인식을 보정한다(S707).
만약, 전방 객체(o)가 차량인지를 판단하는 단계(S702)에서 전방 객체(o)가 차량이 아니면(NO), 전방 객체(o)가 정지 상태인지를 판단한다(S708).
상기 전방 객체(o)가 정지 상태인지를 판단하는 단계(S708)에서 전방 객체(o)가 정지 상태이면(YES), 전방 객체(o) 전역위치를 획득한다(S709).
이후, 수신된 공유 보정정보에 포함된 전역 위치와 상기 획득한 전방 객체(o) 전역 위치가 매칭되는지를 판단한다(S710).
상기 전역 위치가 매칭되는지를 판단하는 단계(S710)에서 수신된 공유 보정정보에 포함된 전역 위치와 상기 획득한 전방 객체(o) 전역 위치가 매칭되면(YES), 인식된 객체에 대한 주행상황 후보 보정정보가 존재하는지를 판단하는 단계(S706)로 진행한다.
이하, 하기에서는 본 발명의 일 실시예에 따른 메타인지 기반 자율주행 보정 방법에서 주행행동 보정 방법에 대하여 도 8a 및 도 8b를 참조하여 설명하기로 한다.
먼저, 주행상황인식/주행행동 보정 단말부(200)에서 자동으로 주행행동 보정이 이루어졌는지를 판단한다(S801).
상기 자동으로 주행행동 보정이 이루어졌는지를 판단하는 단계(S801)에서 자동 주행행동 보정이 이루어지지 않으면(NO), 주행상황인식/주행행동 보정 단말부(200)에 주행행동 정보가 포함된 주행행동 후보 보정정보를 출력한다(S802).
이후, 운전자가 출력된 주행행동 정보를 선택했는지를 판단한다(S803).
만약, 주행행동 정보를 선택했는지를 판단하는 단계(S803)에서 운전자로부터 주행행동 선택 보정정보가 입력되지 않으면(NO), 기본 주행행동으로 결정한다(S804).
이에 반해, 주행행동 정보를 선택했는지를 판단하는 단계(S803)에서 운전자로부터 주행행동 선택 보정정보가 선택되면(YES), 교차로 까지의 거리가 충분한지를 판단한다(S805).
만약, 교차로 까지의 거리가 충분한지를 판단하는 단계(S804)에서 교차로까지의 거리가 충분하지 않으면(NO), 기본 주행행동으로 결정하고, 교차로까지의 거리가 충분하면(YES), 전역경로 재탐색이 필요한지를 판단한다(S806).
상기 전역경로 재탐색이 필요한지를 판단하는 단계(S806)에서 전역경로 재탐색이 필요하지 않으면(NO), 선택된 주행행동 선택 보정정보의 적용이 가능한지를 판단한다(S807).
상기 선택된 주행행동 선택 보정정보의 적용이 가능한지를 판단하는 단계(S806)에서 선택된 주행행동 선택 보정정보의 적용이 가능하면(YES), 선택된 주행행동 선택 보정정보를 주행행동으로 결정한다(S808).
한편, 전역경로 재탐색이 필요한지를 판단하는 단계(S806)에서 전역경로 재탐색이 필요하면(YES), 전역경로 재탐색을 수행한다(S809).
본 발명의 일 실시예에 따르면, 자율주행시스템이 특정 주행상황에 대한 판단 가능여부를 인지하여 이를 운전자에게 문의하거나 주변차량 및 인프라로부터 보정정보를 받아 현재 주행상황을 결정할 수 있고, 그에 따른 주행행동을 스스로 결정하거나 다시 운전자에게 원하는 주행행동을 문의함으로써, 특정 주행상황을 해결하지 못해 무한 정지되거나 오판단으로 인한 위험성을 감소시킬 수 있는 효과가 있다.
또한, 본 발명의 일 실시예에 따르면, 자율주행시스템이 운전자에게 문의하는 주행상황이 아니더라도 운전자로부터 명령을 듣게 되었을 때, 현재 주행상황에서 운전자의 요청이 받아들여 질 수 있을 때 주행행동을 보정함으로써, 운전자의 의도를 반영한 맞춤형 자율주행을 할 수 있는 장점이 있다.
그리고, 본 발명의 일 실시예에 따르면, 운전자가 보정정보를 입력하지 않더라도 기존 자율주행시스템과 동일하게 동작하므로 최소한 기존 자율주행시스템과 동일한 기능 및 성능을 보장하고, 운전자들이 추가 정보를 입력할 경우 더 높은 편의성 및 안전성을 보장할 수 있는 효과가 있다.
참고로, 본 발명의 실시예에 따른 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터를 이용하거나 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터를 이용하거나 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이 때, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.

Claims (20)

  1. 자율주행시스템에 있어서,
    차량용 센서부를 통해 획득한 주행환경 인식 정보를 이용하여 자율주행 중 인식된 전방 객체에 대한 메타인지를 판단하고, 메타인지 판단 후 선택된 선택 보정정보에 대응되도록 전역경로 또는 지역경로를 보정하는 주행상황인식/주행행동보정 기반 판단부; 및
    상기 메타인지로 판단되는 경우, 후보 보정정보를 출력한 후 출력된 후보 보정정보 중 운전자가 선택한 선택 보정정보를 상기 주행상황인식/주행행동보정 기반 판단부에 제공하는 주행상황인식/주행행동 보정 단말부를 포함하고,
    상기 주행상황인식/주행행동보정 기반 판단부는,
    주행상황 인식 정보를 통해 현재 주행상황에 대한 모호성을 판단하는 메타인지 여부를 판단하는 주행상황 판단 기능을 포함하되, 인식된 객체정보의 메타인지 판단에 필요한 모든 정보가 포함되어 있지 않고, 인식된 객체정보를 이용하여 주행상황 특정이 불가한 경우 상기 메타인지로 판단하고,
    상기 주행상황인식/주행행동 보정 단말부는 상기 후보 보정정보로 일반 차선 및 교차로에 상응하는 차선내 주행행동 보정 및 교차로 주행행동 보정을 수행하되, 근접 교차로까지 소정 거리 이내이거나 차선변경으로 인해 상기 전역경로와 두 차선 이상 차이를 갖는 경우 전역경로를 재탐색하는 상기 차선내 주행행동 보정을 수행하고, 최근접 교차로에서 기 전역경로와 다른 회전으로 보정시 주행 달성 가능한 것으로 판단시 전역경로를 재탐색하는 상기 교차로 주행행동 보정을 수행하는 메타인지 기반 자율주행 보정 장치.
  2. 삭제
  3. 삭제
  4. 제 1항에 있어서,
    상기 주행상황인식/주행행동보정 기반 판단부는,
    해당 상황에서 선택 가능한 주행행동의 개수에 따라 메타인지를 판단하는 것인 메타인지 기반 자율주행 보정 장치.
  5. 제 1항에 있어서,
    상기 주행상황인식/주행행동보정 기반 판단부는,
    객체 인식정보를 이용하여 주행상황이 특정되지 않는 상태를 메타인지로 판단하는 것인 메타인지 기반 자율주행 보정 장치.
  6. 제 1항에 있어서,
    상기 주행상황인식/주행행동보정 기반 판단부는,
    특정 객체가 현재 도로속도 보다 특정 임계치 이하로 낮을 때를 메타인지로 판단하는 것인 메타인지 기반 자율주행 보정 장치.
  7. 제 1항에 있어서,
    상기 후보 보정정보는,
    주행상황 정보로 이루어진 주행상황인지 후보 보정정보와, 주행행동 정보들로 이루어진 주행행동 후보 보정정보 중 하나인 메타인지 기반 자율주행 보정 장치.
  8. 제 1항에 있어서,
    상기 주행상황인식/주행행동 보정 단말부는,
    질의 객체에 대한 주행상황 인식 정보를 출력하는 주행상황 출력부와,
    출력된 상기 주행상황을 인식한 운전자가 선택할 수 있는 주행상황인식 후보 보정정보를 출력하고, 운전자가 선택한 주행상황인식 선택 보정정보를 제공하는 주행상황 선택부를 포함하는 메타인지 기반 자율주행 보정 장치.
  9. 제 8항에 있어서,
    상기 주행상황인식/주행행동 보정 단말부는,
    출력된 상기 주행상황을 인식한 운전자가 선택할 수 있는 주행행동 후보 보정정보를 출력하고, 운전자가 선택한 주행행동 선택 보정정보를 제공하는 주행행동 선택부를 포함하는 메타인지 기반 자율주행 보정 장치.
  10. 제 1항에 있어서,
    통신부인 V2V 통신을 통해 주변 차량 및 인프라에 전달되거나, 텔레매틱스 서비스 등을 통해 서버로 전달된 공유 보정정보가 서비스에 가입된 주변 차량들로 전달하는 보정정보 공유부를 더 포함하는 메타인지 기반 자율주행 보정 장치.
  11. 제 10항에 있어서,
    상기 보정정보 공유부는,
    상기 주변 차량, 인프라 및 서버로부터 공유 보정정보가 수신되고, 메타인지로 판단되는 경우, 공유 보정정보를 이용하여 전역경로 또는 지역경로를 보정하는 것인 메타인지 기반 자율주행 보정 장치.
  12. 제 11항에 있어서,
    상기 공유 보정정보는,
    유일한 객체 ID 생성을 위하여 번호판에 대응되는 객체 ID를 생성하고, 생성된 차량번호 암호화 객체 ID, 영상, 객체 Bounding Box, 인식시간, 위치, 속도 및 주행상황 시멘틱 레이블로 이루어진 정보 전달 필드를 갖는 것인 메타인지 기반 자율주행 보정 장치.
  13. 제 12항에 있어서,
    상기 객체 ID는,
    대상 차량의 개인정보 보호를 위하여 단방향 암호화를 수행하는 것인 메타인지 기반 자율주행 보정 장치.
  14. 주행환경 인식부가 획득하는 인식 정보로부터 전방 객체를 인식하는 단계;
    주행상황 인식 정보를 통해 현재 주행상황에 대한 모호성을 판단하는 메타인지 여부를 판단하는 단계;
    주행상황인식/주행행동보정 기반 판단부가 인식된 객체에 대한 주행상황 후보 보정정보가 존재하는지를 판단하는 단계; 및
    상기 인식된 객체에 대한 주행상황 후보 보정정보가 존재하는지를 판단하는 단계에서 보정정보가 존재하지 않으면, 상기 주행상황인식/주행행동보정 기반 판단부가 주행상황인식/주행행동 보정 단말부에 후보 보정정보를 출력하여 주행상황 인식을 보정하는 단계를 포함하고,
    주행상황 인식 정보를 통해 현재 주행상황에 대한 모호성을 판단하는 메타인지 여부를 판단하는 단계는,
    상기 인식된 전방 객체의 메타인지 판단에 필요한 모든 정보가 포함되어 있지 않고, 인식된 객체정보를 이용하여 주행상황 특정이 불가한 경우 상기 메타인지로 판단하고,
    주행환경 인식부가 현재 주행 중인 도로 속도를 계산하는 단계;
    주행환경 인식부가 전방에 객체가 존재하는 지를 판단하는 단계;
    상기 전방에 객체가 존재하는 지를 판단하는 단계에서 전방에 객체가 인식되면, 주행상황인식/주행행동보정 기반 판단부가 인식된 전방 객체의 속도가 도로 속도보다 저속인지를 판단하는 단계; 및
    상기 객체의 속도가 도로 속도보다 저속인지를 판단하는 단계에서 전방 객체의 속도가 도로 속도보다 저속이면, 상기 메타인지로 판단하고,
    주행상황 인식을 보정하는 단계는,
    상기 후보 보정정보로 일반 차선 및 교차로에 상응하는 차선내 주행행동 보정 및 교차로 주행행동 보정을 수행하되, 근접 교차로까지 소정 거리 이내이거나 차선변경으로 인해 전역경로와 두 차선 이상 차이를 갖는 경우 전역경로를 재탐색하는 상기 차선내 주행행동 보정을 수행하고, 최근접 교차로에서 기 전역경로와 다른 회전으로 보정시 주행 달성 가능한 것으로 판단시 전역경로를 재탐색하는 상기 교차로 주행행동 보정을 수행하는 메타인지 기반 자율주행 보정 방법.
  15. 제 14항에 있어서,
    인식된 전방 객체가 차량인지를 판단하는 단계;
    상기 전방 객체가 차량인지를 판단하는 단계에서 전방 객체가 차량이면, 전방 객체의 번호판이 인식되는지를 판단하는 단계;
    전방 객체의 번호판이 인식되는지를 판단하는 단계에서 전방 객체의 번호판이 인식되면, 보정정보 공유부가 전방 객체의 번호판이 포함된 암호화 객체 ID를 생성하는 단계; 및
    상기 보정정보 공유부가 암호화 객체 ID가 포함된 보정정보를 생성하여 보정정보 공유부를 통해 주변 차량 및 인프라에 전송하는 단계를 포함하는 메타인지 기반 자율주행 보정 방법.
  16. 제 14항에 있어서,
    상기 전방 객체가 차량인지를 판단하는 단계에서 전방 객체가 차량이 아니면, 전방 객체가 정지 상태인지를 판단하는 단계;
    상기 전방 객체가 정지 상태인지를 판단하는 단계에서 전방 객체가 정지 상태이면, 보정정보 공유부가 전역 위치를 획득하여 보정정보를 생성하는 단계; 및
    상기 보정정보 공유부가 주변 차량 및 인프라에 전송하는 단계를 포함하는 메타인지 기반 자율주행 보정 방법.
  17. 제 14항에 있어서,
    주행상황인식/주행행동 보정 단말부에서 자동으로 주행행동 보정이 이루어졌는지를 판단하는 단계;
    상기 자동으로 주행행동 보정이 이루어졌는지를 판단하는 단계에서 자동 주행행동 보정이 이루어지지 않으면, 상기 주행상황인식/주행행동보정 기반 판단부가 상기 주행상황인식/주행행동 보정 단말부에 주행행동 정보가 포함된 주행행동 후보 보정정보를 출력하는 단계;
    운전자가 주행행동 선택 보정정보를 선택했는지를 판단하는 단계;
    상기 운전자가 주행행동 선택 보정정보를 선택했는지를 판단하는 단계에서 운전자로부터 주행행동 선택 보정정보가 입력되지 않으면, 상기 주행상황인식/주행행동보정 기반 판단부가 기본 주행행동으로 결정하고, 운전자로부터 선택된 주행행동 선택 보정정보가 입력되면, 교차로 까지의 거리가 충분한지를 판단하는 단계;
    상기 교차로 까지의 거리가 충분한지를 판단하는 단계에서 교차로까지의 거리가 충분하지 않으면, 상기 주행상황인식/주행행동보정 기반 판단부가 기본 주행행동으로 결정하고, 교차로까지의 거리가 충분하면, 전역경로 재탐색이 필요한지를 판단하는 단계;
    상기 전역경로 재탐색이 필요한지를 판단하는 단계에서 전역경로 재탐색이 필요하지 않으면, 상기 주행상황인식/주행행동보정 기반 판단부가 선택된 주행행동 선택 보정정보의 적용이 가능한지를 판단하는 단계;
    상기 선택된 주행행동 선택 보정정보의 적용이 가능한지를 판단하는 단계에서 선택된 주행행동 선택 보정정보의 적용이 가능하면, 상기 주행상황인식/주행행동보정 기반 판단부가 선택된 주행행동 선택 보정정보를 주행행동으로 결정하는 단계를 더 포함하는 메타인지 기반 자율주행 보정 방법.
  18. 삭제
  19. 자율주행시스템에서의 주행행동 보정 방법에 있어서,
    주변 차량 및 인프라로부터 암호화 객체 ID가 포함된 공유 보정정보를 수신하는 단계;
    전방 객체가 차량인지를 판단하는 단계;
    상기 전방 객체가 차량인지를 판단하는 단계에서 전방 객체가 차량이면, 전방 객체의 번호판을 인식하는 단계;
    상기 전방 객체의 번호판이 포함된 암호화 객체 ID를 생성하는 단계;
    상기 수신된 공유 보정정보에 포함된 암호화 객체 ID가 생성한 암호화 객체 ID와 매칭되는지를 판단하는 단계;
    상기 수신된 암호화 객체 ID와 생성된 암호화 객체 ID가 매칭되면, 주행상황인식/주행행동보정 기반 판단부가 인식된 객체에 대한 주행상황 후보 보정정보가 존재하는지를 판단하는 단계; 및
    상기 인식된 객체에 대한 주행상황 후보 보정정보가 존재하는지를 판단하는 단계에서 보정정보가 존재하지 않으면, 상기 주행상황인식/주행행동보정 기반 판단부가 수신된 공유 보정정보를 이용하여 주행상황 인식을 보정하는 단계를 포함하고,
    주행상황 인식 정보를 통해 현재 주행상황에 대한 모호성을 판단하는 메타인지 여부를 판단하는 단계를 더 포함하되, 상기 전방 객체의 메타인지 판단에 필요한 모든 정보가 포함되어 있지 않고, 인식된 객체정보를 이용하여 주행상황 특정이 불가한 경우 상기 메타인지로 판단하고,
    상기 주행상황 인식을 보정하는 단계는,
    상기 후보 보정정보로 일반 차선 및 교차로에 상응하는 차선내 주행행동 보정 및 교차로 주행행동 보정을 수행하되, 근접 교차로까지 소정 거리 이내이거나 차선변경으로 인해 상기 전역경로와 두 차선 이상 차이를 갖는 경우 전역경로를 재탐색하는 상기 차선내 주행행동 보정을 수행하고, 최근접 교차로에서 기 전역경로와 다른 회전으로 보정시 주행 달성 가능한 것으로 판단시 전역경로를 재탐색하는 상기 교차로 주행행동 보정을 수행하는 메타인지 기반 자율주행 보정 방법.
  20. 제 19항에 있어서,
    상기 전방 객체가 차량인지를 판단하는 단계에서 전방 객체가 차량이 아니면, 전방 객체가 정지 상태인지를 판단하는 단계;
    상기 전방 객체가 정지 상태인지를 판단하는 단계에서 전방 객체가 정지 상태이면, 전방 객체 전역위치를 획득하는 단계;
    상기 수신된 공유 보정정보에 포함된 전역 위치와 상기 획득한 전방 객체 전역 위치가 매칭되는지를 판단하는 단계; 및
    상기 전역 위치가 매칭되는지를 판단하는 단계에서 수신된 공유 보정정보에 포함된 전역 위치와 상기 획득한 전방 객체 전역 위치가 매칭되면, 상기 주행상황인식/주행행동보정 기반 판단부가 인식된 객체에 대한 주행상황 후보 보정정보가 존재하는지를 판단하는 단계를 더 포함하는 메타인지 기반 자율주행 보정 방법.
KR1020200114968A 2020-09-08 2020-09-08 메타인지 기반 자율주행 보정 장치 및 방법 KR102551283B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200114968A KR102551283B1 (ko) 2020-09-08 2020-09-08 메타인지 기반 자율주행 보정 장치 및 방법
US17/469,276 US20220073103A1 (en) 2020-09-08 2021-09-08 Metacognition-based autonomous driving correction device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200114968A KR102551283B1 (ko) 2020-09-08 2020-09-08 메타인지 기반 자율주행 보정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220033094A KR20220033094A (ko) 2022-03-16
KR102551283B1 true KR102551283B1 (ko) 2023-07-06

Family

ID=80470243

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200114968A KR102551283B1 (ko) 2020-09-08 2020-09-08 메타인지 기반 자율주행 보정 장치 및 방법

Country Status (2)

Country Link
US (1) US20220073103A1 (ko)
KR (1) KR102551283B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034897A (ja) * 1999-07-21 2001-02-09 Toyota Central Res & Dev Lab Inc 運転支援システム
JP2008002967A (ja) 2006-06-22 2008-01-10 Mazda Motor Corp 運転支援システム
JP2008213741A (ja) 2007-03-06 2008-09-18 Denso Corp 運転支援装置
JP2011221573A (ja) * 2010-04-02 2011-11-04 Denso Corp 運転支援装置および運転支援システム
JP2017045240A (ja) * 2015-08-26 2017-03-02 三菱自動車工業株式会社 運転支援装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101925741B1 (ko) * 2015-01-13 2018-12-05 닛산 지도우샤 가부시키가이샤 주행 제어 장치
KR101708676B1 (ko) * 2015-05-14 2017-03-08 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
US9671785B1 (en) * 2016-03-29 2017-06-06 Delphi Technologies, Inc. V2X object-location verification system for automated vehicles
KR102535540B1 (ko) * 2017-01-12 2023-05-23 모빌아이 비젼 테크놀로지스 엘티디. 차량 움직임에 기반한 항법
US11079758B2 (en) * 2018-01-12 2021-08-03 Toyota Research Institute, Inc. Systems and methods for incentivizing user-aided improvement of autonomous vehicle control systems and methods of operating a vehicle using the same
US20190258875A1 (en) * 2018-02-17 2019-08-22 Magna Electronics Inc. Driving assist system with vehicle to vehicle communication
JP7124529B2 (ja) * 2018-08-01 2022-08-24 トヨタ自動車株式会社 車両制御装置
KR102479493B1 (ko) * 2018-08-13 2022-12-20 삼성전자주식회사 자율 주행 차량을 보조하기 위한 방법 및 이를 위한 장치
US20200202706A1 (en) * 2018-12-20 2020-06-25 Qualcomm Incorporated Message Broadcasting for Vehicles
EP3846382A4 (en) * 2019-08-16 2022-03-30 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR DATA TRANSMISSION BETWEEN INTERNET-OF-VEHICLE DEVICES
WO2021111924A1 (ja) * 2019-12-06 2021-06-10 株式会社デンソー Ｈｍｉ制御装置、ｈｍｉ制御方法、およびｈｍｉ制御プログラム
WO2021177964A1 (en) * 2020-03-05 2021-09-10 Guident, Ltd. Artificial intelligence methods and systems for remote monitoring and control of autonomous vehicles
US12110040B2 (en) * 2020-05-29 2024-10-08 Toyota Research Institute, Inc. Navigation cost computation for lane changes before a critical intersection
KR20210153999A (ko) * 2020-06-11 2021-12-20 현대자동차주식회사 차량 및 그 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034897A (ja) * 1999-07-21 2001-02-09 Toyota Central Res & Dev Lab Inc 運転支援システム
JP2008002967A (ja) 2006-06-22 2008-01-10 Mazda Motor Corp 運転支援システム
JP2008213741A (ja) 2007-03-06 2008-09-18 Denso Corp 運転支援装置
JP2011221573A (ja) * 2010-04-02 2011-11-04 Denso Corp 運転支援装置および運転支援システム
JP2017045240A (ja) * 2015-08-26 2017-03-02 三菱自動車工業株式会社 運転支援装置

Also Published As

Publication number Publication date
US20220073103A1 (en) 2022-03-10
KR20220033094A (ko) 2022-03-16

Similar Documents

Publication Publication Date Title
US11231286B2 (en) Dynamic routing for self-driving vehicles
US11462022B2 (en) Traffic signal analysis system
US11709490B1 (en) Behavior and intent estimations of road users for autonomous vehicles
KR102222323B1 (ko) 자율 차량들을 위한 동적 라우팅
CN107339997B (zh) 自主车辆的路径规划装置及方法
US11414080B2 (en) Vehicle control device, vehicle control method, and storage medium
US11498563B2 (en) Vehicle control device, vehicle control method, and storage medium
CN110998691B (zh) 行驶辅助方法及行驶辅助装置
CN107953884B (zh) 用于自主车辆的行驶控制设备和方法
EP3825979B1 (en) Travel assistance method and travel assistance device
WO2017010209A1 (ja) 周辺環境認識装置、及びコンピュータプログラム製品
US20180224850A1 (en) Autonomous vehicle control system implementing teleassistance
US11548508B2 (en) Driving assist method and driving assist device
US11661062B2 (en) Driving assist method and driving assist device
US11541892B2 (en) Vehicle control method and vehicle control device
CN111731295A (zh) 行驶控制装置、行驶控制方法以及存储程序的存储介质
RU2763330C1 (ru) Способ управления автономным движением и система управления автономным движением
US20230166755A1 (en) Vehicle display control device, vehicle display control system, and vehicle display control method
KR102551283B1 (ko) 메타인지 기반 자율주행 보정 장치 및 방법
CN111273653B (zh) 自动驾驶装置
JPWO2020136893A1 (ja) 通信システム、通信端末、制御方法、プログラム、およびプログラムを記憶する記憶媒体
JP2019182169A (ja) 車両走行制御システム
JP7481288B2 (ja) 車両制御装置、距離通知方法及び距離通知用コンピュータプログラム
JP7483419B2 (ja) 走行支援方法及び走行支援装置
JP2021183450A (ja) 車両の走行支援方法および走行支援装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right