KR20200095388A - 응급 차량을 실시간으로 검출하고, 응급 차량으로 인해 발생될 것으로 예상되는 상황에 대처하기 위한 주행 경로를 플래닝하는 방법 및 장치 - Google Patents

응급 차량을 실시간으로 검출하고, 응급 차량으로 인해 발생될 것으로 예상되는 상황에 대처하기 위한 주행 경로를 플래닝하는 방법 및 장치 Download PDF

Info

Publication number
KR20200095388A
KR20200095388A KR1020200007643A KR20200007643A KR20200095388A KR 20200095388 A KR20200095388 A KR 20200095388A KR 1020200007643 A KR1020200007643 A KR 1020200007643A KR 20200007643 A KR20200007643 A KR 20200007643A KR 20200095388 A KR20200095388 A KR 20200095388A
Authority
KR
South Korea
Prior art keywords
specific
vehicle
emergency
emergency vehicle
vehicles
Prior art date
Application number
KR1020200007643A
Other languages
English (en)
Other versions
KR102241584B1 (ko
Inventor
김계현
김용중
김학경
남운현
부석훈
성명철
신동수
여동훈
유우주
이명춘
이형수
장태웅
정경중
제홍모
조호진
Original Assignee
주식회사 스트라드비젼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스트라드비젼 filed Critical 주식회사 스트라드비젼
Publication of KR20200095388A publication Critical patent/KR20200095388A/ko
Application granted granted Critical
Publication of KR102241584B1 publication Critical patent/KR102241584B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/46—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being of a radio-wave signal type
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3691—Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G01S17/875—Combinations of systems using electromagnetic waves other than radio waves for determining attitude
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/30—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/90—Services for handling of emergency or hazardous situations, e.g. earthquake and tsunami warning systems [ETWS]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318—Controlling the steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9325—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles for inter-vehicle distance regulation, e.g. navigating in platoons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096791—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Emergency Management (AREA)
  • General Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Marketing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Primary Health Care (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Environmental & Geological Engineering (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Development Economics (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)

Abstract

본 발명은 하나 이상의 응급 차량들을 실시간으로 검출하고, 상기 응급 차량들에 대한 검출된 정보를 참조로 하여 상기 응급 차량이 하나 이상의 대상 차량으로부터 간섭없이 주행할 수 있도록 상기 대상 차량을 관리하는 방법에 있어서, (a) 관리 서버가, 상기 대상 차량을 포함하는 하나 이상의 커넥티드 카의 적어도 일부에 탑재된 하나 이상의 센서 중 적어도 일부를 통해 상기 응급 차량 중 적어도 하나의 특정 응급 차량에 대한 응급 상황 정보가 획득되면, 상기 응급 상황 정보를 참조로 하여 상기 특정 응급 차량에 대한 메타 데이터를 생성하는 단계; 및 (b) 상기 관리 서버가, (i) 상기 응급 상황 정보 및 상기 메타 데이터를 참조로 하여 적어도 하나의 상황 시나리오 벡터를 생성하고, (ii) 상기 상황 시나리오 벡터를 시나리오 데이터베이스에 포함된 하나 이상의 레퍼런스 시나리오 벡터들과 비교함으로써, 상기 상황 시나리오 벡터와의 유사도 스코어가 제1 임계치 이상인 적어도 하나의 특정 시나리오 벡터를 찾고, (iii) 상기 특정 시나리오 벡터를 참조로 하여 응급 리액션 커맨드를 획득하는 단계; 및 (c) 상기 관리 서버가, 상기 응급 리액션 커맨드를 상기 특정 응급 차량과의 관계가 특정 조건을 만족하는 각각의 상기 대상 차량에 전송함으로써 상기 특정 응급 차량과 상기 대상 차량 간의 간섭도 스코어가 제2 임계치 이하가 되도록 제어하면서 운행할 수 있도록 지원하는 단계;를 포함하는 것을 특징으로 한다.

Description

응급 차량을 실시간으로 검출하고, 응급 차량으로 인해 발생될 것으로 예상되는 상황에 대처하기 위한 주행 경로를 플래닝하는 방법 및 장치{METHOD AND DEVICE FOR DETECTING EMERGENCY VEHICLES IN REAL TIME AND PLANNING DRIVING ROUTES TO COPE WITH SITUATIONS TO BE EXPECTED TO BE OCCURRED BY THE EMERGENCY VEHICLES}
본 발명은 응급 차량을 실시간으로 검출하고, 응급 차량으로 인해 발생될 것으로 예상되는 상황에 대처하기 위한 주행 경로를 계획하는 방법 및 장치에 관한 것이다.
자율 주행 차량은 주변 환경을 감지하여 사용자 입력이 거의 또는 전혀 없이 네비게이팅 할 수 있는 차량이다. 자율 주행 차량은 레이더, 라이더, 이미지 센서 등과 같은 센싱 장치를 사용하여 환경을 감지한다. 자율 주행 차량 시스템은 GPS(global positioning system) 기술, 네비게이션 시스템, 차량 간(vehicle-to-vehicle) 통신, 차량 간 인프라(vehicle-to-infrastructure) 기술, 및/또는 드라이브-바이-와이어 시스템(drive-by-wire systems)으로부터 정보를 더 사용하여 자율 주행 차량을 네비게이트한다.
차량 자동화 정도는, 사람이 직접 제어하는 레벨 O부터 사람의 제어가 없이 완전히 자동화에 해당하는 레벨 5까지의 범위로 분류된다. 크루즈 컨트롤, 어댑티브 크루즈 컨트롤, 주차 보조 시스템과 같은 다양한 자동 운전 보조 시스템은 낮은 자동화 레벨에 해당되는 반면, 진정한 “무인” 차량은 높은 자동화 레벨에 해당된다.
차량을 완전히 자동화하기 위해서는, 환경에서 공통 표식 및 신호를 인식하고 이에 대응해야만 한다. 예를 들어, 응급 차량은 도로에서 차량이 전복된 것을 알리기 위해 경고음 및/또는 비주얼 신호를 생성한다.
따라서, 본 발명에서는 응급 교통 상황에서 주행 경로를 계획하는 방법 및 장치를 제안하고자 한다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
본 발명은 응급 교통 상황에서 차량들의 주행 경로를 계획하여 주는 것을 다른 목적으로 한다.
또한, 본 발명은 응급 차량을 검출하고, 응급 차량의 위치를 추적하고 공유하여 응급 교통 상황에서 차량의 주행 경로를 계획하여 주는 것을 또 다른 목적으로 한다.
또한, 본 발명은 응급 교통 상황에서 응급 차량과 주변 차량들이 실시간으로 대응할 수 있도록 하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 하나 이상의 응급 차량들을 실시간으로 검출하고, 상기 응급 차량들에 대한 검출된 정보를 참조로 하여 상기 응급 차량이 하나 이상의 대상 차량으로부터 간섭없이 주행할 수 있도록 상기 대상 차량을 관리하는 방법에 있어서, (a) 관리 서버가, 상기 대상 차량을 포함하는 하나 이상의 커넥티드 카의 적어도 일부에 탑재된 하나 이상의 센서 중 적어도 일부를 통해 상기 응급 차량 중 적어도 하나의 특정 응급 차량에 대한 응급 상황 정보가 획득되면, 상기 응급 상황 정보를 참조로 하여 상기 특정 응급 차량에 대한 메타 데이터를 생성하는 단계; 및 (b) 상기 관리 서버가, (i) 상기 응급 상황 정보 및 상기 메타 데이터를 참조로 하여 적어도 하나의 상황 시나리오 벡터를 생성하고, (ii) 상기 상황 시나리오 벡터를 시나리오 데이터베이스에 포함된 하나 이상의 레퍼런스 시나리오 벡터들과 비교함으로써, 상기 상황 시나리오 벡터와의 유사도 스코어가 제1 임계치 이상인 적어도 하나의 특정 시나리오 벡터를 찾고, (iii) 상기 특정 시나리오 벡터를 참조로 하여 응급 리액션 커맨드를 획득하는 단계; 및 (c) 상기 관리 서버가, 상기 응급 리액션 커맨드를 상기 특정 응급 차량과의 관계가 특정 조건을 만족하는 각각의 상기 대상 차량에 전송함으로써 상기 특정 응급 차량과 상기 대상 차량 간의 간섭도 스코어가 제2 임계치 이하가 되도록 제어하면서 운행할 수 있도록 지원하는 단계;를 포함하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (a) 단계는, 상기 관리 서버가, 상기 커넥티드 카 중에서 상기 메타 데이터의 적어도 일부를 생성하기 위해 사용될 하나 이상의 레퍼런스 차량을 선택하고, 상기 레퍼런스 차량 및 상기 특정 응급 차량 사이의 상대적인 위치를 나타내는 상대 좌표를 참조로 하여 상기 특정 응급 차량의 적어도 하나의 위치를 예측함으로써 상기 메타 데이터 중 적어도 일부를 생성하되, 상기 레퍼런스 차량은 상기 특정 응급 차량과의 관계가 직접 인터랙션 조건 및 간접 인터랙션 조건 중 적어도 하나를 만족하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (c) 단계는, 상기 관리 서버가, 상기 특정 응급 차량의 예측된 상기 위치를 참조로 하여, 상기 커넥티드 카 중 상기 특정 응급 차량으로부터의 거리가 제3 임계치 이하인 상기 특정 조건을 만족하는 상기 대상 차량들을 선택하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (a) 단계는, (i) 상기 레퍼런스 차량들 중 상기 직접 인터랙션 조건을 만족하는 하나 이상의 제1 레퍼런스 차량들은, 자신에 탑재된 하나 이상의 이미지 센서, 하나 이상의 레이더 센서 및 하나 이상의 라이더 센서 중 적어도 일부를 사용하여 상기 제1 레퍼런스 차량들로부터 상기 특정 응급 차량의 상대적인 위치를 예측함으로써 상기 상대 좌표 중 하나 이상의 특정 응급 차량 상대 좌표를 생성하고, (ii) 상기 레퍼런스 차량들 중 상기 간접 인터랙션 조건을 만족하는 하나 이상의 제2 레퍼런스 차량들은, 자신에 탑재된 하나 이상의 이미지 센서, 하나 이상의 레이더 센서 및 하나 이상의 라이더 센서 중 적어도 일부를 사용하여 상기 제2 레퍼런스 차량들로부터 상기 제1 레퍼런스 차량들의 상대적인 위치를 예측함으로써 상기 상대 좌표 중 하나 이상의 제1 레퍼런스 차량 상대 좌표를 생성하며, (iii) 상기 제1 레퍼런스 차량들 및 상기 제2 레퍼런스 차량들은 상기 상대 좌표를 상기 관리 서버에 전송하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 관리 서버는, (i) 상기 제1 레퍼런스 차량들의 절대 좌표와 이에 대응하는 상기 특정 응급 차량 상대 좌표를 참조로 하여, 상기 제1 레퍼런스 차량을 기반으로 한 하나 이상의 제1 특정 응급 차량 절대 좌표들을 생성하고, (ii) 상기 제2 레퍼런스 차량들의 절대 좌표, 이에 대응하는 상기 제1 레퍼런스 차량 상대 좌표 및 이에 대응하는 상기 특정 응급 차량 상대 좌표를 참조로 하여, 상기 제2 레퍼런스 차량을 기반으로 한 하나 이상의 제2 특정 응급 차량 절대 좌표들을 생성하며, (iii) 상기 제1 특정 응급 차량 절대 좌표 및 상기 제2 특정 응급 차량 절대 좌표들 중 적어도 일부를 참조로 하여 상기 특정 응급 차량의 상기 위치를 예측하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (a) 단계는, 상기 관리 서버가, 상기 특정 응급 차량으로부터의 거리가 제4 임계치보다 더 가까운 특정 커넥티드 카 및 특정 통신 연결된 보행자 중 적어도 일부에게 알림을 전송하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (a) 단계는, 상기 응급 상황 정보 중 적어도 일부는, 상기 특정 응급 차량이 포함된 특정 이미지를 처리하는 뉴럴 네트워크에 의해 생성되되, (i) 상기 뉴럴 네트워크들 중 제1 뉴럴 네트워크가, 상기 특정 이미지에 적어도 하나의 제1 CNN 연산을 적용하여 상기 특정 이미지가 상기 특정 응급 차량에 대응하는 글로벌 시각 특징(global visional feature)을 포함하는지 여부를 판단함으로써 제1 판단 정보를 생성하도록 하고, (ii) 상기 뉴럴 네트워크들 중 제2 뉴럴 네트워크가, 상기 특정 이미지 상의 기설정된 특정 영역에 적어도 하나의 제2 CNN 연산을 적용하여 상기 특정 이미지가 상기 특정 응급 차량에 대응하는 로컬 시각 특징(local visional feature)을 포함하는지 여부를 판단함으로써 제2 판단 정보를 생성하도록 하고, (iii) 상기 뉴럴 네트워크들 중 제3 뉴럴 네트워크가, 상기 기설정된 특정 영역에 적어도 하나의 제3 CNN 연산을 적용하여, 상기 특정 이미지가 상기 특정 응급 차량에 대응하는 로컬 시간 특징(local temporal feature)을 포함하는지 여부를 판단함으로써 제3 판단 정보를 생성하도록 한 상태에서, 상기 제1 내지 제3 판단 정보를 참조로 하여 상기 응급 상황 정보의 일부가 생성되는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (b) 단계는, 상기 관리 서버가, (i) 상기 메타 데이터를 참조로 하여 상기 특정 응급 차량 및 상기 대상 차량들의 위치 정보를 가상 평면 상에 맵핑함으로써 상기 상황 시나리오 벡터를 생성하고, (ii) 상기 상황 시나리오 벡터 및 상기 각각의 레퍼런스 시나리오 벡터 사이의 유사도 스코어를 계산함으로써 하나 이상의 후보 시나리오 벡터를 선택하고, (iii) 상기 응급 상황 정보를 참조로 하여 상기 후보 시나리오 벡터들 중 상기 특정 시나리오 벡터를 선택하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, 상기 (c) 단계는, 상기 대상 차량이, (i) (i-1) 상기 특정 응급 차량과 각각의 상기 대상 차량 사이의 거리 정보 및 상기 거리 정보에 대한 변화 정보의 조합 및 (i-2) 상기 응급 리액션 커맨드와 상기 특정 응급 차량의 각각의 실제 운행 액션 사이의 차이 정보 중 적어도 일부를 참조로 하여 상기 특정 응급 차량과의 상기 간섭도 스코어를 계산한 후 (ii) 상기 관리 서버에 상기 간섭도 스코어를 전송하는 것을 특징으로 하는 방법이 제공된다.
일 실시예에서, (d) 상기 관리 서버가, 상기 간섭도 스코어의 적어도 일부의 시간이 상기 제2 임계치보다 크게 유지되는 시간이 제5 임계치 이상인 경우, (i) 해당 시점의 상기 특정 응급 차량의 다른 메타 데이터를 생성하고, (ii) 상기 다른 메타 데이터를 참조로 하여 해당 시점에 대한 다른 응급 리액션 커맨드를 생성하고, (iii) 해당 시점 동안에 다른 대상 차량에 대한 상기 다른 응급 리액션 커맨드를 전송하는 단계;를 더 포함하되, 상기 (d) 단계에서의 상기 다른 메타 데이터, 상기 다른 응급 리액션 커맨드 및 상기 다른 대상 차량은 상기 (a) 단계 내지 상기 (c) 단계의 시점보다 늦은 시점에 해당하는 것을 특징으로 하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 하나 이상의 응급 차량들을 실시간으로 검출하고, 상기 응급 차량들에 대한 검출된 정보를 참조로 하여 상기 응급 차량이 하나 이상의 대상 차량으로부터 간섭없이 주행할 수 있도록 상기 대상 차량을 관리하는 장치에 있어서, 적어도 하나의 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 상기 인스트럭션들을 수행하도록 설정된 적어도 하나의 프로세서를 포함하되, 상기 프로세서는, (I) 상기 대상 차량을 포함하는 하나 이상의 커넥티드 카의 적어도 일부에 탑재된 하나 이상의 센서 중 적어도 일부를 통해 상기 응급 차량 중 적어도 하나의 특정 응급 차량에 대한 응급 상황 정보가 획득되면, 상기 응급 상황 정보를 참조로 하여 상기 특정 응급 차량에 대한 메타 데이터를 생성하는 프로세스; 및 (II) (i) 상기 응급 상황 정보 및 상기 메타 데이터를 참조로 하여 적어도 하나의 상황 시나리오 벡터를 생성하고, (ii) 상기 상황 시나리오 벡터를 시나리오 데이터베이스에 포함된 하나 이상의 레퍼런스 시나리오 벡터들과 비교함으로써, 상기 상황 시나리오 벡터와의 유사도 스코어가 제1 임계치 이상인 적어도 하나의 특정 시나리오 벡터를 찾고, (iii) 상기 특정 시나리오 벡터를 참조로 하여 응급 리액션 커맨드를 획득하는 프로세스; 및 (III) 상기 응급 리액션 커맨드를 상기 특정 응급 차량과의 관계가 특정 조건을 만족하는 각각의 상기 대상 차량에 전송함으로써 상기 특정 응급 차량과 상기 대상 차량 간의 간섭도 스코어가 제2 임계치 이하가 되도록 제어하면서 운행할 수 있도록 지원하는 프로세스;를 수행하는 것을 특징으로 하는 장치가 제공된다.
일 실시예에서, 상기 (I) 프로세스는, 상기 프로세서가, 상기 커넥티드 카 중에서 상기 메타 데이터의 적어도 일부를 생성하기 위해 사용될 하나 이상의 레퍼런스 차량을 선택하고, 상기 레퍼런스 차량 및 상기 특정 응급 차량 사이의 상대적인 위치를 나타내는 상대 좌표를 참조로 하여 상기 특정 응급 차량의 적어도 하나의 위치를 예측함으로써 상기 메타 데이터 중 적어도 일부를 생성하되, 상기 레퍼런스 차량은 상기 특정 응급 차량과의 관계가 직접 인터랙션 조건 및 간접 인터랙션 조건 중 적어도 하나를 만족하는 것을 특징으로 하는 장치가 제공된다.
일 실시예에서, 상기 (III) 프로세스는, 상기 프로세서가, 상기 특정 응급 차량의 예측된 상기 위치를 참조로 하여, 상기 커넥티드 카 중 상기 특정 응급 차량으로부터의 거리가 제3 임계치 이하인 상기 특정 조건을 만족하는 상기 대상 차량들을 선택하는 것을 특징으로 하는 장치가 제공된다.
일 실시예에서, 상기 (I) 프로세스는, (i) 상기 레퍼런스 차량들 중 상기 직접 인터랙션 조건을 만족하는 하나 이상의 제1 레퍼런스 차량들은, 자신에 탑재된 하나 이상의 이미지 센서, 하나 이상의 레이더 센서 및 하나 이상의 라이더 센서 중 적어도 일부를 사용하여 상기 제1 레퍼런스 차량들로부터 상기 특정 응급 차량의 상대적인 위치를 예측함으로써 상기 상대 좌표 중 하나 이상의 특정 응급 차량 상대 좌표를 생성하고, (ii) 상기 레퍼런스 차량들 중 상기 간접 인터랙션 조건을 만족하는 하나 이상의 제2 레퍼런스 차량들은, 자신에 탑재된 하나 이상의 이미지 센서, 하나 이상의 레이더 센서 및 하나 이상의 라이더 센서 중 적어도 일부를 사용하여 상기 제2 레퍼런스 차량들로부터 상기 제1 레퍼런스 차량들의 상대적인 위치를 예측함으로써 상기 상대 좌표 중 하나 이상의 제1 레퍼런스 차량 상대 좌표를 생성하며, (iii) 상기 제1 레퍼런스 차량들 및 상기 제2 레퍼런스 차량들은 상기 상대 좌표를 상기 프로세서에 전송하는 것을 특징으로 하는 장치가 제공된다.
일 실시예에서, 상기 프로세서는, (i) 상기 제1 레퍼런스 차량들의 절대 좌표와 이에 대응하는 상기 특정 응급 차량 상대 좌표를 참조로 하여, 상기 제1 레퍼런스 차량을 기반으로 한 하나 이상의 제1 특정 응급 차량 절대 좌표들을 생성하고, (ii) 상기 제2 레퍼런스 차량들의 절대 좌표, 이에 대응하는 상기 제1 레퍼런스 차량 상대 좌표 및 이에 대응하는 상기 특정 응급 차량 상대 좌표를 참조로 하여, 상기 제2 레퍼런스 차량을 기반으로 한 하나 이상의 제2 특정 응급 차량 절대 좌표들을 생성하며, (iii) 상기 제1 특정 응급 차량 절대 좌표 및 상기 제2 특정 응급 차량 절대 좌표들 중 적어도 일부를 참조로 하여 상기 특정 응급 차량의 상기 위치를 예측하는 것을 특징으로 하는 장치가 제공된다.
일 실시예에서, 상기 (I) 프로세서는, 상기 프로세서가, 상기 특정 응급 차량으로부터의 거리가 제4 임계치보다 더 가까운 특정 커넥티드 카 및 특정 통신 연결된 보행자 중 적어도 일부에게 알림을 전송하는 것을 특징으로 하는 장치가 제공된다.
일 실시예에서, 상기 (I) 프로세스는, 상기 응급 상황 정보 중 적어도 일부는, 상기 특정 응급 차량이 포함된 특정 이미지를 처리하는 뉴럴 네트워크에 의해 생성되되, (i) 상기 뉴럴 네트워크들 중 제1 뉴럴 네트워크가, 상기 특정 이미지에 적어도 하나의 제1 CNN 연산을 적용하여 상기 특정 이미지가 상기 특정 응급 차량에 대응하는 글로벌 시각 특징(global visional feature)을 포함하는지 여부를 판단함으로써 제1 판단 정보를 생성하도록 하고, (ii) 상기 뉴럴 네트워크들 중 제2 뉴럴 네트워크가, 상기 특정 이미지 상의 기설정된 특정 영역에 적어도 하나의 제2 CNN 연산을 적용하여 상기 특정 이미지가 상기 특정 응급 차량에 대응하는 로컬 비젼 특징(local visional feature)을 포함하는지 여부를 판단함으로써 제2 판단 정보를 생성하도록 하고, (iii) 상기 뉴럴 네트워크들 중 제3 뉴럴 네트워크가, 상기 기설정된 특정 영역에 적어도 하나의 제3 CNN 연산을 적용하여, 상기 특정 이미지가 상기 특정 응급 차량에 대응하는 로컬 시간 특징(local temporal feature)을 포함하는지 여부를 판단함으로써 제3 판단 정보를 생성하도록 한 상태에서, 상기 제1 내지 제3 판단 정보를 참조로 하여 상기 응급 상황 정보의 일부가 생성되는 것을 특징으로 하는 장치가 제공된다.
일 실시예에서, 상기 (II) 프로세스는, 상기 프로세서가, (i) 상기 메타 데이터를 참조로 하여 상기 특정 응급 차량 및 상기 대상 차량들의 위치 정보를 가상 평면 상에 맵핑함으로써 상기 상황 시나리오 벡터를 생성하고, (ii) 상기 상황 시나리오 벡터 및 상기 각각의 레퍼런스 시나리오 벡터 사이의 유사도 스코어를 계산함으로써 하나 이상의 후보 시나리오 벡터를 선택하고, (iii) 상기 응급 상황 정보를 참조로 하여 상기 후보 시나리오 벡터들 중 상기 특정 시나리오 벡터를 선택하는 것을 특징으로 하는 장치가 제공된다.
일 실시예에서, 상기 (III) 프로세스는, 상기 대상 차량이, (i) (i-1) 상기 특정 응급 차량과 각각의 상기 대상 차량 사이의 거리 정보 및 상기 거리 정보에 대한 변화 정보의 조합 및 (i-2) 상기 응급 리액션 커맨드와 상기 특정 응급 차량의 각각의 실제 운행 액션 사이의 차이 정보 중 적어도 일부를 참조로 하여 상기 특정 응급 차량과의 상기 간섭도 스코어를 계산한 후 (ii) 상기 관리 서버에 상기 간섭도 스코어를 전송하는 것을 특징으로 하는 장치가 제공된다.
일 실시예에서, (IV) 상기 프로세서가, 상기 간섭도 스코어의 적어도 일부의 시간이 상기 제2 임계치보다 크게 유지되는 시간이 제5 임계치 이상인 경우, (i) 해당 시점의 상기 특정 응급 차량의 다른 메타 데이터를 생성하고, (ii) 상기 다른 메타 데이터를 참조로 하여 해당 시점에 대한 다른 응급 리액션 커맨드를 생성하고, (iii) 해당 시점 동안에 다른 대상 차량에 대한 상기 다른 응급 리액션 커맨드를 전송하는 프로세스;를 더 수행하되, 상기 (IV) 프로세스에서의 상기 다른 메타 데이터, 상기 다른 응급 리액션 커맨드 및 상기 다른 대상 차량은 상기 (I) 프로세스 내지 상기 (III) 프로세스의 시점보다 늦은 시점에 해당하는 것을 특징으로 하는 장치가 제공된다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명은 응급 교통 상황에서 차량들의 주행 경로를 계획하여 줄 수 있는 효과가 있다.
또한, 본 발명은 응급 차량을 검출하고, 응급 차량의 위치를 추적하고 공유하여 응급 교통 상황에서 차량의 주행 경로를 계획함으로써 응급 차량과 주변 차량들이 실시간으로 대응할 수 있도록 하는 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따라 응급 차량들을 실시간으로 검출하고, 상기 응급 차량들에 대한 정보를 참조로 하여 상기 응급 차량들이 빠르게 주행할 수 있도록 대상 차량을 관리하는 방법을 수행하는 관리 서버의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따라 응급 차량들을 실시간으로 검출하고, 상기 응급 차량들에 대한 정보를 참조로 하여 상기 응급 차량들이 빠르게 주행할 수 있도록 대상 차량을 관리하는 방법을 나타낸 흐름도이다.
도 3은 본 발명의 일 실시예에 따라 응급 차량들을 실시간으로 검출하고, 상기 응급 차량들에 대한 정보를 참조로 하여 상기 응급 차량들이 빠르게 주행할 수 있도록 대상 차량을 관리하는 방법을 수행하기 위해 선택되는 레퍼런스 차량들의 일 예시를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 응급 차량들을 실시간으로 검출하고, 상기 응급 차량들에 대한 정보를 참조로 하여 상기 응급 차량들이 빠르게 주행할 수 있도록 대상 차량을 관리하는 방법을 수행하기 위해 상황 시나리오 벡터를 사용하여 응급 리액션 커맨드를 생성하는 일 예시를 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 응급 차량들을 실시간으로 검출하고, 상기 응급 차량들에 대한 정보를 참조로 하여 상기 응급 차량들이 빠르게 주행할 수 있도록 대상 차량을 관리하는 방법을 수행하는 관리 서버의 구성을 나타낸 도면이다.
도 1을 참조하면, 관리 서버(100)는, 추후 자세히 설명할 구성요소인 시나리오 DB(130)를 포함할 수 있다. 시나리오 DB(130)의 입출력 및 연산 과정은 각각 통신부(110) 및 프로세서(120)에 의해 이루어질 수 있다. 다만 도 1에서는 통신부(110) 및 프로세서(120)의 구체적인 연결 관계를 생략하였다. 이 때, 메모리(115)는 후술할 여러 가지 인스트럭션들을 저장한 상태일 수 있고, 프로세서(120)는 메모리(115)에 저장된 인스트럭션들을 수행하도록 설정되되, 프로세서(120)는 추후 설명할 프로세스들을 수행함으로써 본 발명을 수행할 수 있다. 이와 같이 관리 서버(100)가 묘사되었다고 하여, 관리 서버(100)가 본 발명을 실시하기 위한 미디엄, 프로세서 및 메모리가 통합된 형태인 통합 프로세서를 포함하는 경우를 배제하는 것은 아니다.
이와 같은 관리 서버(100)는, 복수 개의 커넥티드 카와 연동하여 동작할 수 있다. 여기서 복수 개의 차량들은 관리 서버(100)의 지원을 받아 자율 주행을 수행할 수 있다. 일 예로는, 군집 주행을 통해 자율 주행을 수행하는 것일 수 있다. 이와 같은 커넥티드 카는 자율 주행을 수행하기 위해 사용되는 센서들을 탑재할 수 있다. 일 예로, 커넥티드 카는 이미지 센서(카메라), 레이더 센서 및 라이더 센서 중 적어도 일부를 포함할 수 있다. 또한, 커넥티드 카는 소리 센서를 포함할 수 있다. 추후 설명하겠지만, 이미지 센서 및 소리 센서는 응급 차량을 검출하는 데에도 사용될 수 있을 것이다.
이하 본 발명의 일 실시예에 따른, 응급 차량들이 빠르게 주행할 수 있도록 지원하는 방법에 대해 도 2를 참조로 하여 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따라 응급 차량들을 실시간으로 검출하고, 대상 차량으로부터 간섭을 받지 않고 상기 응급 차량들이 빠르게 주행할 수 있도록 대상 차량을 관리하는 방법을 나타낸 흐름도이다.
도 2를 참조로 하면, 관리 서버(100)가, 상기 대상 차량을 포함하는 하나 이상의 커넥티드 카의 적어도 일부에 탑재된 하나 이상의 센서 중 적어도 일부를 통해 상기 응급 차량 중 적어도 하나의 특정 응급 차량에 대한 응급 상황 정보가 획득되면, 상기 응급 상황 정보를 참조로 하여 상기 특정 응급 차량에 대한 메타 데이터를 생성할 수 있다(S01). 이후, 상기 관리 서버(100)가, 상기 응급 상황 정보 및 상기 메타 데이터를 참조로 하여 적어도 하나의 상황 시나리오 벡터를 생성할 수 있다(S02). 또한, 관리 서버(100)는, 상기 상황 시나리오 벡터를 시나리오 데이터베이스(130)에 포함된 하나 이상의 레퍼런스 시나리오 벡터들과 비교함으로써, 상기 상황 시나리오 벡터와의 유사도 스코어가 제1 임계치 이상인 적어도 하나의 특정 시나리오 벡터를 찾을 수 있다(S03). 이후, 관리 서버(100)는, 상기 특정 시나리오 벡터를 참조로 하여 응급 리액션 커맨드를 획득할 수 있다(S04). 마지막으로, 상기 관리 서버가, 상기 응급 리액션 커맨드를 상기 특정 응급 차량과의 관계가 특정 조건을 만족하는 각각의 상기 대상 차량에 전송함으로써 상기 특정 응급 차량과 상기 대상 차량 간의 간섭도 스코어가 제2 임계치 이하가 되도록 제어하면서 상기 특정 응급 차량과 상기 대상 차량을 운행할 수 있도록 지원할 수 있다(S05).
이와 같은 각각의 단계들에 대해 더욱 구체적으로 이하 설명하도록 한다.
먼저, 관리 서버(100)는, 커넥티드 카와 통신하면서 커넥티드 카의 자율 주행을 관리하기 위해, 대상 차량들 중 적어도 일부가 특정 응급 차량을 검출한 사실을 나타내는 하나 이상의 신호를 상기 대상 차량들 중 적어도 일부로부터 획득할 수 있다. 예를 들어, 이미지 센서 기반 실시예로는, 커넥티드 카 각각의 뉴럴 네트워크는 이에 대응하는 이미지 센서 각각에 의해 촬영된 특정 이미지 각각을 처리하여, 특정 이미지에 특정 응급 차량이 포함되어 있는지 여부를 판단할 수 있을 것이다. 다른 센서 기반의 실시예로는, 커넥티드 카에 탑승한 승객의 스마트 폰에 있는 사운드 센서 또는 마이크는 입력된 소리를 분석하여, 특정 응급 차량이 그 주변에서 사이렌을 울리고 있는지 여부를 판단할 수 있을 것이다. 또 다른 실시예로는, 특정 응급 차량이 관리 서버(100)와 단지 연동하여 동작할 경우, 특정 응급 차량이 관리 서버(100)로 자신의 위치를 전송함으로써 관리 서버(100)가 특정 응급 차량이 응급 상태로 운행 중임을 판단할 수 있을 것이다. 통상의 기술자는 상기 실시예들을 적절히 조합하여 특정 응급 차량을 검출할 수 있을 것이다. 예를 들어, 세 개의 예 모두를 사용하여 병렬적으로 특정 응급 차량을 검출하거나, 세 개의 예 중 일부를 사용하여 특정 응급 차량을 검출할 수 있을 것이다.
여기서, 이미지 센서를 사용하여 특정 응급 차량을 검출하는 실시예에 대해 더욱 구체적으로 설명하도록 한다.
즉, 커넥티드 카 각각은 일부 뉴럴 네트워크, 일 예로는, 제1 내지 제3 뉴럴 네트워크를 포함할 수 있다. 여기서, 제1 및 제2 뉴럴 네트워크는 일반적인 CNN(Convolutional Neural Network)의 형태로 구현될 수 있다. 즉, 제1 및 제2 뉴럴 네트워크는 적어도 하나의 컨벌루션 레이어, 적어도 하나의 풀링 레이어 및 적어도 하나의 FC(Fully-Connected) 레이어를 포함할 수 있을 것이다. 제3 뉴럴 네트워크의 경우, RNN(Recurrent Neural Network) 또는 이에 대한 한 종류라고 할 수 있는 LSTM(Long-Short Term Memory) 네트워크의 형태로 구현될 수 있다. 따라서, 제3 뉴럴 네트워크는 입력된 이미지를 처리하기 위해 사용되는 상태 벡터를 포함할 수 있다. 여기서, 입력된 이미지가 처리되는 동안 상태 벡터가 업데이트 될 수 있다.
이와 같은 상황에서, 특정 이미지 중 하나가 입력되면, 이는 병렬적으로 제1 내지 제3 뉴럴 네트워크에 전달될 수 있다. 먼저 제1 뉴럴 네트워크는, 상기 특정 이미지 중 하나의 이미지 전체를 처리할 수 있다. 구체적으로, 제1 뉴럴 네트워크는, 상기 특정 이미지 중 어느 하나에 적어도 하나의 제1 CNN 연산을 적용하여 상기 특정 이미지가 상기 특정 응급 차량에 대응하는 글로벌 시각 특징(global visional feature)을 포함하는지 여부를 판단함으로써 제1 판단 정보를 생성할 수 있다. 이와 달리, 제2 및 제3 뉴럴 네트워크는 제1 뉴럴 네트워크와 같은 특정 이미지 전체가 아닌, 특정 이미지 상의 기설정된 특정 영역을 부분적으로 처리할 수 있다. 여기서 일 예로, 특정 영역은 이미지 상의 상단으로, 구급차나 경찰차의 경광등이 부착되었을 것으로 예상되는 영역일 수 있으나 이에 한정되는 것은 아니다. 따라서, 제2 뉴럴 네트워크는, 상기 특정 이미지 상의 기설정된 특정 영역에 적어도 하나의 제2 CNN 연산을 적용하여 상기 특정 이미지가 상기 특정 응급 차량에 대응하는 로컬 시각 특징(local visional feature)을 포함하는지 여부를 판단함으로써 제2 판단 정보를 생성할 수 있다. 또한, 제3 뉴럴 네트워크는, 상기 기설정된 특정 영역에 적어도 하나의 RNN 연산을 적용하여, 상기 특정 이미지가 상기 특정 응급 차량에 대응하는 로컬 시간 특징(local temporal feature)을 포함하는지 여부를 판단함으로써 제3 판단 정보를 생성할 수 있다. 이와 같은 제1 내지 제3 판단 정보는 확률 값으로 출력될 수 있다.
제1 내지 제3 판단 정보가 생성된 후, 상기 제1 내지 제3 판단 정보를 참조로 하여 상기 응급 상황 정보의 일부가 생성될 수 있다. 일 예로는, 제1 내지 제3 판단 정보의 가중 평균을 구함으로써, 특정 이미지 중 하나가 특정 응급 차량에 대응하는지 여부를 결정하기 위해 사용될 수 있다.
특정 커넥티드 카에 의해 특정 응급 차량이 식별된 후, 특정 커넥티드 카는 특정 응급 차량의 존재, 특징 및 클래스에 대한 정보를 포함하는 응급 상황 정보를 관리 서버(100)에 전송할 수 있다. 응급 상황 정보는, 추가적으로 특정 응급 차량의 초기 위치 정보를 포함할 수 있다. 이는 실시예에 따라 다른 방식으로 획득될 수 있다. 일 예로, 만일 특정 응급 차량과 관리 서버(100)가 직접적으로 통신 연결이 되어 있는 경우, 특정 응급 차량의 GPS로부터 획득될 수 있다. 다른 경우에는 특정 커넥티드 카는 이미지 기반 연산을 수행함으로써 특정 응급 차량의 상대적인 위치를 계산한 후, 상기 상대적인 위치 및 자신의 GPS를 통해 획득된 자신의 위치 정보를 사용하여 특정 응급 차량의 절대적 위치를 예측할 수 있다. 이후, 관리 서버(100)는, 특정 응급 차량의 보다 정확한 위치에 대한 정보를 포함하는 메타 데이터를 생성할 수 있다. 이하 이에 대해 더욱 구체적으로 설명하도록 한다.
즉, 관리 서버(100)는, 상기 커넥티드 카 중에서 상기 메타 데이터의 적어도 일부를 생성하기 위해 사용될 하나 이상의 레퍼런스 차량을 선택하는데, 여기서 상기 레퍼런스 차량은 상기 특정 응급 차량과의 관계가 직접 인터랙션 조건 및 간접 인터랙션 조건 중 적어도 하나를 만족하는 것을 특징으로 한다. 여기서 직접 인터랙션 조건은, 커넥티드 카 중에서 하나가 특정 응급 차량을 자체 이미지 센서로 직접 촬영할 수 있는지 여부에 대한 조건일 수 있다. 한편, 간접 인터랙션 조건은, 커넥티드 카 중에서 하나가 자신의 이미지 센서로, 특정 응급 차량을 촬영할 수 있는 소정 커넥티드 카 중 일부를 촬영할 수 있는지 여부에 대한 조건을 의미할 수 있다. 예를 들어, 직접 인터랙션 조건을 만족하는 레퍼런스 차량 중 일부를 제1 레퍼런스 차량이라고 한다면, 이와 같은 제1 레퍼런스 차량을 촬영할 수 있는 레퍼런스 차량 중 다른 일부는 간접 인터랙션 조건을 만족하여 제2 레퍼런스 차량으로 선택될 수 있다는 것이다. 각각의 커넥티드 카가 이와 같은 직접적인 조건 및 간접적인 조건 중 어느 하나를 만족하는지 여부는 전술한 특정 응급 차량의 초기 위치 정보와, 그 주변에 위치한 일부 커넥티드 카의 이미지 센서 방향을 참조로 하여 판단될 수 있을 것이다. 이에 대한 일 예시를 살피기 위해 도 3을 참조하도록 한다.
도 3은 본 발명의 일 실시예에 따라 응급 차량들을 실시간으로 검출하고, 상기 응급 차량들에 대한 검출된 정보를 사용함으로써 상기 응급 차량들이 상기 대상 차량의 간섭 없이 주행할 수 있도록 대상 차량을 관리하는 방법을 수행하기 위해 사용될 선택된 레퍼런스 차량들의 일 예시를 나타낸 도면이다.
도 3을 참조로 하면, 커넥티드 카에 탑재된 이미지 센서들이 정면 방향을 향하고 있는 경우, 특정 응급 차량 바로 뒤에 위치한 차량들(A)이 제1 레퍼런스 차량들로 선택되고, 제1 레퍼런스 차량들 뒤에 위치한 차량들(B)이 제2 레퍼런스 차량들로 선택됨을 확인할 수 있다.
이후, 각각의 레퍼런스 차량들은, 레퍼런스 차량 각각과 특정 응급 차량 사이의 상대적인 위치 또는 레퍼런스 차량 사이의 상대적인 위치 각각을 나타내는 상대 좌표 각각을 전송할 수 있다. 구체적으로는, 제1 레퍼런스 차량들은, 자신에 탑재된 이미지 센서, 레이더 센서 및 라이더 센서 중 적어도 일부를 사용하여 상기 제1 레퍼런스 차량들로부터 특정 응급 차량의 상대적인 위치를 예측함으로써 상대 좌표들 중 하나 이상의 특정 응급 차량 상대 좌표를 생성할 수 있다. 이미지 센서를 사용할 경우, 널리 알려진 이미지 프로세싱 기술을 사용하여 특정 응급 차량과 각각의 제1 레퍼런스 차량 사이의 종방향 및 횡방향 거리를 계산할 수 있다. 레이더 센서 또는 라이더 센서를 사용하는 경우, 종방향 및 횡방향 거리를 찾기 위해, 관리 서버(100)는 레이더 및 라이더 센서에 의해 검출된 객체를 기설정된 차량 위치 맵(버드뷰 맵) 상의 객체와 매칭시킬 수 있다. 또한, 제2 레퍼런스 차량들은, 자신에 탑재된 이미지 센서, 레이더 센서 및 라이더 센서 중 적어도 일부를 사용하여 상기 제2 레퍼런스 차량들로부터 제1 레퍼런스 차량들의 상대적인 위치를 예측함으로써 상대 좌표들 중 하나 이상의 제1 레퍼런스 차량 상대 좌표를 생성할 수 있다. 제1 레퍼런스 차량 상대 좌표를 획득하는 특정 프로세스는 특정 응급 차량 상대 좌표를 획득하는 프로세스와 유사할 수 있다.
이후, 관리 서버(100)는, 상기 제1 레퍼런스 차량들의 절대 좌표와 이에 대응하는 상기 특정 응급 차량 상대 좌표를 참조로 하여, 상기 제1 레퍼런스 차량을 기반으로 한 하나 이상의 제1 특정 응급 차량 절대 좌표들을 생성할 수 있다. 또한, 관리 서버(100)는, 상기 제2 레퍼런스 차량들의 절대 좌표, 이에 대응하는 상기 제1 레퍼런스 차량 상대 좌표 및 이에 대응하는 상기 특정 응급 차량 상대 좌표를 참조로 하여, 상기 제2 레퍼런스 차량을 기반으로 한 하나 이상의 제2 특정 응급 차량 절대 좌표들을 생성할 수 있다.
여기서, 제1 특정 응급 차량 절대 좌표들은, 상기 특정 응급 차량 상대 좌표(즉, 이미지 센서, 또는 레이더/라이더 센서를 사용해 계산된 거리)를, 이에 대응되는 제1 레퍼런스 차량들의 절대 좌표(자신의 GPS로부터 획득됨)에 더하여 계산된 것이므로, 제1 특정 응급 차량 절대 좌표들은, 특정 응급 차량의 GPS의 오차가 반영된, 특정 응급 차량의 초기 위치 정보보다 정확할 것이다. 유사하게, 제2 특정 응급 차량 절대 좌표들 역시, 제2 레퍼런스 차량들의 절대 좌표에, 제1 레퍼런스 차량 상대 좌표를 더하여 특정 합을 생성한 후, 이에 대응되는 특정 응급 차량 상대 좌표를 상기 특정 합에 추가하여 계산하는바, 제2 특정 응급 차량 절대 좌표들은, 특정 응급 차량의 초기 위치 정보 보다 더 정확할 수 있다.
따라서, 관리 서버(100)는, 제1 특정 응급 차량 절대 좌표 및 제2 특정 응급 차량 절대 좌표들 중 적어도 일부를 참조로 하여, 초기 위치보다 더 정확한 특정 응급 차량의 적어도 하나의 최종 위치를 예측함으로써 전술한 메타 데이터의 적어도 일부를 생성할 수 있다. 일 예로는, 제1 특정 응급 차량 절대 좌표 및 제2 특정 응급 차량 절대 좌표들의 가중 합은 상기 메타 데이터의 적어도 일부를 생성하기 위해 사용될 수 있다.
전술한 설명에서는, 제2 레퍼런스 차량들을 제1 레퍼런스 차량들을 촬영할 수 있는 차량이라고 가정하였다. 그러나, 제2 레퍼런스 차량들을 제1 레퍼런스 차량들에 의해 촬영된 차량으로 가정하는 다른 실시예도 가능하다. 이 경우에는, 제2 특정 응급 차량 절대 좌표는 (s1) 제1 레퍼런스 차량을 기준으로 한 제2 레퍼런스 차량의 상대 좌표를 (s2) 제2 레퍼런스 차량 절대 좌표에서 뺀 후, 특정 응급 차량 상대 좌표를 더함으로써 제2 특정 응급 차량 절대 좌표들을 계산할 수 있을 것이다. 물론, 두 실시예의 결합도 가능할 것이다.
이후, 관리 서버(100)는, 특정 응급 차량의 예측된 위치에 대한 정보를 포함하는 메타 데이터를 참조로 하여, 커넥티드 카 중에서 특정 조건을 만족하는 대상 차량들을 선택할 수 있다. 여기서, 특정 조건을 만족하는 각각의 대상 차량과 특정 응급 차량 사이의 거리는 제3 임계치 이하일 수 있다. 이후, 관리 서버(100)는, 상기 메타 데이터를 참조로 하여 상기 특정 응급 차량 및 상기 대상 차량들의 위치 정보를 가상 평면 상에 맵핑함으로써 상기 상황 시나리오 벡터를 생성할 수 있다. 즉, 특정 응급 차량 및 대상 차량들이 어떻게 배열되어 있는지에 대한 정보를 포함하는 상황 시나리오 벡터를 생성하는 것이다. 이후, 관리 서버(100)는, 시나리오 DB(130)로부터 획득된 레퍼런스 시나리오 벡터들과 상황 시나리오 벡터에 포함된 요소들의 배열을 비교하여, 상기 상황 시나리오 벡터 및 상기 각각의 레퍼런스 시나리오 벡터 사이의 유사도 스코어를 계산함으로써 하나 이상의 후보 시나리오 벡터를 선택할 수 있다. 여기서, 후보 시나리오 벡터는 유사도 스코어가 가장 큰 N개의 시나리오 벡터 중 일부일 수 있다. 이후, 관리 서버(100)는, 상기 응급 상황 정보에 포함된 특정 응급 차량의 클래스 및 특징에 대한 정보를 참조로 하여, 상기 후보 시나리오 벡터들 중 상기 특정 시나리오 벡터를 선택할 수 있다. 이후, 관리 서버(100)는, 시나리오 DB(130)로부터 특정 시나리오 벡터에 대응되는 응급 리액션 커맨드를 획득하고 응급 리액션 커맨드를 대상 차량에 전송함으로써 특정 응급 차량과 대상 차량들 간의 간섭도 스코어가 제2 임계치 이하가 되도록 제어하면서 상기 특정 응급 차량과 상기 대상 차량들을 운행할 수 있도록 지원할 수 있다. 이에 대한 일 예시를 살피기 위해 도 4를 참조하도록 한다.
도 4는 본 발명의 일 실시예에 따라 응급 차량들을 실시간으로 검출하고, 상기 응급 차량들에 대한 검출된 정보를 사용하여 상기 응급 차량들이 상기 대상 차량들로부터의 간섭없이 주행할 수 있도록 대상 차량을 관리하는 방법을 수행하기 위해 상황 시나리오 벡터를 사용하여 응급 리액션 커맨드를 생성하는 일 예시를 나타낸 도면이다.
도 4를 참조로 하면, 레퍼런스 시나리오 벡터들 중 상황 시나리오 벡터들과 더 유사한 후보 시나리오 벡터들(210, 220)이 선택된 것을 확인할 수 있다. 또한, 구급차 및 경찰차 각각에 대응하는 각각의 후보 시나리오 벡터들(210, 220) 중, 구급차에 해당하는 상황 시나리오 벡터와 더욱 유사한 후보 시나리오 벡터(210) 중 하나가 선택된 것을 확인할 수 있을 것이다. 이 경우, 구급차는 빠르게 해당 구간을 통과해야 하므로, 응급 리액션 커맨드(230)는 도 4에 묘사된 것과 같이 대상 차량들이 도로의 측면으로 이동하기 위한 커맨드일 수 있다. 도 4에 표현된 것은 단지 일 예시일 뿐이다. 즉, 추가로 특정 응급 차량이 가령 도로의 좌측, 우측 또는 도로의 중심에 위치하는 것에 따라, 응급 리액션 커맨드는 우측, 좌측 또는 측면으로 피하여 주는지 등으로 결정될 수 있다.
이와 같은 과정을 통해, 상기 특정 응급 차량과 상기 대상 차량들 간의 간섭도 스코어가 제2 임계치 이하가 되도록 제어하면서 상기 특정 응급 차량과 상기 대상 차량들을 운행할 수 있다. 그러나, 실제 주행 중에는 문제가 생길 수 있다. 따라서, 이러한 문제를 방지하기 위한 피드백 과정을 아래에서 살피도록 한다.
즉, 관리 서버(100)는, 응급 리액션 커맨드를 대상 차량에게 보내고, 대상 차량으로부터 지속적으로 간섭도 스코어를 수신할 수 있다. 여기서, 상기 특정 응급 차량과 상기 대상 차량 각각 간의 간섭도 스코어는 (i) 상기 특정 응급 차량과 각각의 상기 대상 차량 각각 사이의 거리 정보 및 상기 거리 정보에 대한 변화 정보의 조합 및 (ii) 상기 응급 리액션 커맨드와 상기 특정 응급 차량의 각각의 실제 운행 액션 각각 사이의 차이 정보 중 적어도 일부를 참조로 하여 계산될 수 있다. 상기 변화 정보는 상기 특정 응급 차량과 상기 대상 차량 각각 사이의 거리의 변화를 나타낼 수 있다. 상기 거리가 제6 임계치 이하이면서 급격하게 변화하는 상황은, 특정 응급 차량과 대상 차량의 적어도 일부 각각의 사이가 간섭 상황임을 나타내는 것으로 볼 수 있으므로, 이러한 거리 정보 및 변화 정보의 조합은 간섭도 스코어를 생성하기 위해 사용될 수 있다. 또한, 응급 리액션 커맨드와 특정 응급 차량의 각각의 실제 운행 액션 각각 사이의 차이 정보는, 대상 차량의 일부가 응급 리액션 커맨드에 따라 주행하다가 특정 응급 차량과 서로 간섭하여 사고 위험이 높을 경우 커질 수 있다.
이를 기초로, 상기 간섭도 스코어의 적어도 일부의 시간이 상기 제2 임계치보다 크게 유지되는 시간이 제5 임계치 이상인 경우, 관리 서버(100)는, 이전에 전송된 응급 리액션 커맨드를 취소하고, 해당 시점의 상기 특정 응급 차량의 다른 메타 데이터를 생성하고, 상기 다른 메타 데이터를 참조로 하여 해당 시점에 대한 다른 응급 리액션 커맨드를 생성하고, 해당 시점 동안에 다른 대상 차량에 대한 상기 다른 응급 리액션 커맨드를 전송할 수 있다. 여기서, 상기 다른 메타 데이터, 상기 다른 응급 리액션 커맨드 및 상기 다른 대상 차량은 상기 S01 단계 내지 상기 S05 단계의 시점보다 늦은 시점에 해당된다. 이러한 방법으로 특정 응급 차량은 사고의 위험없이 올바르게 주행할 수 있게 된다.
상기 과정과 병행하여, 관리 서버(100)는, 상기 특정 응급 차량으로부터의 거리가 제4 임계치보다 더 가까운 특정 커넥티드 카 및 특정 통신 연결된 보행자 중 적어도 일부에게 알림을 전송할 수 있다. 특정 커넥티드 카의 경우, 그들의 헤드 업 디스플레이를 통해 제공될 수 있으며, 특정 통신 연결된 보행자의 경우에는 그들의 스마트폰을 통해 알림이 제공될 수 있을 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (20)

  1. 하나 이상의 응급 차량들을 실시간으로 검출하고, 상기 응급 차량들에 대한 검출된 정보를 참조로 하여 상기 응급 차량이 하나 이상의 대상 차량으로부터 간섭없이 주행할 수 있도록 상기 대상 차량을 관리하는 방법에 있어서,
    (a) 관리 서버가, 상기 대상 차량을 포함하는 하나 이상의 커넥티드 카(connected car)의 적어도 일부에 탑재된 하나 이상의 센서 중 적어도 일부를 통해 상기 응급 차량 중 적어도 하나의 특정 응급 차량에 대한 응급 상황 정보가 획득되면, 상기 응급 상황 정보를 참조로 하여 상기 특정 응급 차량에 대한 메타 데이터를 생성하는 단계; 및
    (b) 상기 관리 서버가, (i) 상기 응급 상황 정보 및 상기 메타 데이터를 참조로 하여 적어도 하나의 상황 시나리오 벡터를 생성하고, (ii) 상기 상황 시나리오 벡터를 시나리오 데이터베이스에 포함된 하나 이상의 레퍼런스 시나리오 벡터들과 비교함으로써, 상기 상황 시나리오 벡터와의 유사도 스코어가 제1 임계치 이상인 적어도 하나의 특정 시나리오 벡터를 찾고, (iii) 상기 특정 시나리오 벡터를 참조로 하여 응급 리액션 커맨드를 획득하는 단계; 및
    (c) 상기 관리 서버가, 상기 응급 리액션 커맨드를 상기 특정 응급 차량과의 관계가 특정 조건을 만족하는 각각의 상기 대상 차량에 전송함으로써 상기 특정 응급 차량과 상기 대상 차량 간의 간섭도 스코어가 제2 임계치 이하가 되도록 제어하면서 운행할 수 있도록 지원하는 단계;
    를 포함하는 것을 특징으로 하는 방법.
  2. 제 1항에 있어서,
    상기 (a) 단계는,
    상기 관리 서버가, 상기 커넥티드 카 중에서 상기 메타 데이터의 적어도 일부를 생성하기 위해 사용될 하나 이상의 레퍼런스 차량을 선택하고, 상기 레퍼런스 차량 및 상기 특정 응급 차량 사이의 상대적인 위치를 나타내는 상대 좌표를 참조로 하여 상기 특정 응급 차량의 적어도 하나의 위치를 예측함으로써 상기 메타 데이터 중 적어도 일부를 생성하되, 상기 레퍼런스 차량은 상기 특정 응급 차량과의 관계가 직접 인터랙션 조건 및 간접 인터랙션 조건 중 적어도 하나를 만족하는 것을 특징으로 하는 방법.
  3. 제 2항에 있어서,
    상기 (c) 단계는,
    상기 관리 서버가, 상기 특정 응급 차량의 예측된 상기 위치를 참조로 하여, 상기 커넥티드 카 중 상기 특정 응급 차량으로부터의 거리가 제3 임계치 이하인 상기 특정 조건을 만족하는 상기 대상 차량들을 선택하는 것을 특징으로 하는 방법.
  4. 제 2항에 있어서,
    상기 (a) 단계는,
    (i) 상기 레퍼런스 차량들 중 상기 직접 인터랙션 조건을 만족하는 하나 이상의 제1 레퍼런스 차량들은, 자신에 탑재된 하나 이상의 이미지 센서, 하나 이상의 레이더 센서 및 하나 이상의 라이더 센서 중 적어도 일부를 사용하여 상기 제1 레퍼런스 차량들로부터 상기 특정 응급 차량의 상대적인 위치를 예측함으로써 상기 상대 좌표 중 하나 이상의 특정 응급 차량 상대 좌표를 생성하고, (ii) 상기 레퍼런스 차량들 중 상기 간접 인터랙션 조건을 만족하는 하나 이상의 제2 레퍼런스 차량들은, 자신에 탑재된 하나 이상의 이미지 센서, 하나 이상의 레이더 센서 및 하나 이상의 라이더 센서 중 적어도 일부를 사용하여 상기 제2 레퍼런스 차량들로부터 상기 제1 레퍼런스 차량들의 상대적인 위치를 예측함으로써 상기 상대 좌표 중 하나 이상의 제1 레퍼런스 차량 상대 좌표를 생성하며, (iii) 상기 제1 레퍼런스 차량들 및 상기 제2 레퍼런스 차량들은 상기 상대 좌표를 상기 관리 서버에 전송하는 것을 특징으로 하는 방법.
  5. 제 4항에 있어서,
    상기 관리 서버는, (i) 상기 제1 레퍼런스 차량들의 절대 좌표와 이에 대응하는 상기 특정 응급 차량 상대 좌표를 참조로 하여, 상기 제1 레퍼런스 차량을 기반으로 한 하나 이상의 제1 특정 응급 차량 절대 좌표들을 생성하고, (ii) 상기 제2 레퍼런스 차량들의 절대 좌표, 이에 대응하는 상기 제1 레퍼런스 차량 상대 좌표 및 이에 대응하는 상기 특정 응급 차량 상대 좌표를 참조로 하여, 상기 제2 레퍼런스 차량을 기반으로 한 하나 이상의 제2 특정 응급 차량 절대 좌표들을 생성하며, (iii) 상기 제1 특정 응급 차량 절대 좌표 및 상기 제2 특정 응급 차량 절대 좌표들 중 적어도 일부를 참조로 하여 상기 특정 응급 차량의 상기 위치를 예측하는 것을 특징으로 하는 방법.
  6. 제 1항에 있어서,
    상기 (a) 단계는,
    상기 관리 서버가, 상기 특정 응급 차량으로부터의 거리가 제4 임계치보다 더 가까운 특정 커넥티드 카 및 특정 통신 연결된 보행자 중 적어도 일부에게 알림을 전송하는 것을 특징으로 하는 방법.
  7. 제 1항에 있어서,
    상기 (a) 단계는,
    상기 응급 상황 정보 중 적어도 일부는, 상기 특정 응급 차량이 포함된 특정 이미지를 처리하는 뉴럴 네트워크에 의해 생성되되,
    (i) 상기 뉴럴 네트워크들 중 제1 뉴럴 네트워크가, 상기 특정 이미지에 적어도 하나의 제1 CNN 연산을 적용하여 상기 특정 이미지가 상기 특정 응급 차량에 대응하는 글로벌 시각 특징(global visional feature)을 포함하는지 여부를 판단함으로써 제1 판단 정보를 생성하도록 하고, (ii) 상기 뉴럴 네트워크들 중 제2 뉴럴 네트워크가, 상기 특정 이미지 상의 기설정된 특정 영역에 적어도 하나의 제2 CNN 연산을 적용하여 상기 특정 이미지가 상기 특정 응급 차량에 대응하는 로컬 시각 특징(local visional feature)을 포함하는지 여부를 판단함으로써 제2 판단 정보를 생성하도록 하고, (iii) 상기 뉴럴 네트워크들 중 제3 뉴럴 네트워크가, 상기 기설정된 특정 영역에 적어도 하나의 제3 CNN 연산을 적용하여, 상기 특정 이미지가 상기 특정 응급 차량에 대응하는 로컬 시간 특징(local temporal feature)을 포함하는지 여부를 판단함으로써 제3 판단 정보를 생성하도록 한 상태에서, 상기 제1 내지 제3 판단 정보를 참조로 하여 상기 응급 상황 정보의 일부가 생성되는 것을 특징으로 하는 방법.
  8. 제 1항에 있어서,
    상기 (b) 단계는,
    상기 관리 서버가, (i) 상기 메타 데이터를 참조로 하여 상기 특정 응급 차량 및 상기 대상 차량들의 위치 정보를 가상 평면 상에 맵핑함으로써 상기 상황 시나리오 벡터를 생성하고, (ii) 상기 상황 시나리오 벡터 및 상기 각각의 레퍼런스 시나리오 벡터 사이의 유사도 스코어를 계산함으로써 하나 이상의 후보 시나리오 벡터를 선택하고, (iii) 상기 응급 상황 정보를 참조로 하여 상기 후보 시나리오 벡터들 중 상기 특정 시나리오 벡터를 선택하는 것을 특징으로 하는 방법.
  9. 제 1항에 있어서,
    상기 (c) 단계는,
    상기 대상 차량이, (i) (i-1) 상기 특정 응급 차량과 각각의 상기 대상 차량 사이의 거리 정보 및 상기 거리 정보에 대한 변화 정보의 조합 및 (i-2) 상기 응급 리액션 커맨드와 상기 특정 응급 차량의 각각의 실제 운행 액션 사이의 차이 정보 중 적어도 일부를 참조로 하여 상기 특정 응급 차량과의 상기 간섭도 스코어를 계산한 후 (ii) 상기 관리 서버에 상기 간섭도 스코어를 전송하는 것을 특징으로 하는 방법.
  10. 제 1항에 있어서,
    (d) 상기 관리 서버가, 상기 간섭도 스코어의 적어도 일부의 시간이 상기 제2 임계치보다 크게 유지되는 시간이 제5 임계치 이상인 경우, (i) 해당 시점의 상기 특정 응급 차량의 다른 메타 데이터를 생성하고, (ii) 상기 다른 메타 데이터를 참조로 하여 해당 시점에 대한 다른 응급 리액션 커맨드를 생성하고, (iii) 해당 시점 동안에 다른 대상 차량에 대한 상기 다른 응급 리액션 커맨드를 전송하는 단계;
    를 더 포함하되,
    상기 (d) 단계에서의 상기 다른 메타 데이터, 상기 다른 응급 리액션 커맨드 및 상기 다른 대상 차량은 상기 (a) 단계 내지 상기 (c) 단계의 시점보다 늦은 시점에 해당하는 것을 특징으로 하는 방법.
  11. 하나 이상의 응급 차량들을 실시간으로 검출하고, 상기 응급 차량들에 대한 검출된 정보를 참조로 하여 상기 응급 차량이 하나 이상의 대상 차량으로부터 간섭없이 주행할 수 있도록 상기 대상 차량을 관리하는 장치에 있어서,
    적어도 하나의 인스트럭션들을 저장하는 적어도 하나의 메모리; 및
    상기 인스트럭션들을 수행하도록 설정된 적어도 하나의 프로세서를 포함하되, 상기 프로세서는, (I) 상기 대상 차량을 포함하는 하나 이상의 커넥티드 카의 적어도 일부에 탑재된 하나 이상의 센서 중 적어도 일부를 통해 상기 응급 차량 중 적어도 하나의 특정 응급 차량에 대한 응급 상황 정보가 획득되면, 상기 응급 상황 정보를 참조로 하여 상기 특정 응급 차량에 대한 메타 데이터를 생성하는 프로세스; 및 (II) (i) 상기 응급 상황 정보 및 상기 메타 데이터를 참조로 하여 적어도 하나의 상황 시나리오 벡터를 생성하고, (ii) 상기 상황 시나리오 벡터를 시나리오 데이터베이스에 포함된 하나 이상의 레퍼런스 시나리오 벡터들과 비교함으로써, 상기 상황 시나리오 벡터와의 유사도 스코어가 제1 임계치 이상인 적어도 하나의 특정 시나리오 벡터를 찾고, (iii) 상기 특정 시나리오 벡터를 참조로 하여 응급 리액션 커맨드를 획득하는 프로세스; 및 (III) 상기 응급 리액션 커맨드를 상기 특정 응급 차량과의 관계가 특정 조건을 만족하는 각각의 상기 대상 차량에 전송함으로써 상기 특정 응급 차량과 상기 대상 차량 간의 간섭도 스코어가 제2 임계치 이하가 되도록 제어하면서 운행할 수 있도록 지원하는 프로세스;를 수행하는 것을 특징으로 하는 장치.
  12. 제 11항에 있어서,
    상기 (I) 프로세스는,
    상기 프로세서가, 상기 커넥티드 카 중에서 상기 메타 데이터의 적어도 일부를 생성하기 위해 사용될 하나 이상의 레퍼런스 차량을 선택하고, 상기 레퍼런스 차량 및 상기 특정 응급 차량 사이의 상대적인 위치를 나타내는 상대 좌표를 참조로 하여 상기 특정 응급 차량의 적어도 하나의 위치를 예측함으로써 상기 메타 데이터 중 적어도 일부를 생성하되, 상기 레퍼런스 차량은 상기 특정 응급 차량과의 관계가 직접 인터랙션 조건 및 간접 인터랙션 조건 중 적어도 하나를 만족하는 것을 특징으로 하는 장치.
  13. 제 12항에 있어서,
    상기 (III) 프로세스는,
    상기 프로세서가, 상기 특정 응급 차량의 예측된 상기 위치를 참조로 하여, 상기 커넥티드 카 중 상기 특정 응급 차량으로부터의 거리가 제3 임계치 이하인 상기 특정 조건을 만족하는 상기 대상 차량들을 선택하는 것을 특징으로 하는 장치.
  14. 제 12항에 있어서,
    상기 (I) 프로세스는,
    (i) 상기 레퍼런스 차량들 중 상기 직접 인터랙션 조건을 만족하는 하나 이상의 제1 레퍼런스 차량들은, 자신에 탑재된 하나 이상의 이미지 센서, 하나 이상의 레이더 센서 및 하나 이상의 라이더 센서 중 적어도 일부를 사용하여 상기 제1 레퍼런스 차량들로부터 상기 특정 응급 차량의 상대적인 위치를 예측함으로써 상기 상대 좌표 중 하나 이상의 특정 응급 차량 상대 좌표를 생성하고, (ii) 상기 레퍼런스 차량들 중 상기 간접 인터랙션 조건을 만족하는 하나 이상의 제2 레퍼런스 차량들은, 자신에 탑재된 하나 이상의 이미지 센서, 하나 이상의 레이더 센서 및 하나 이상의 라이더 센서 중 적어도 일부를 사용하여 상기 제2 레퍼런스 차량들로부터 상기 제1 레퍼런스 차량들의 상대적인 위치를 예측함으로써 상기 상대 좌표 중 하나 이상의 제1 레퍼런스 차량 상대 좌표를 생성하며, (iii) 상기 제1 레퍼런스 차량들 및 상기 제2 레퍼런스 차량들은 상기 상대 좌표를 상기 프로세서에 전송하는 것을 특징으로 하는 장치.
  15. 제 14항에 있어서,
    상기 프로세서는, (i) 상기 제1 레퍼런스 차량들의 절대 좌표와 이에 대응하는 상기 특정 응급 차량 상대 좌표를 참조로 하여, 상기 제1 레퍼런스 차량을 기반으로 한 하나 이상의 제1 특정 응급 차량 절대 좌표들을 생성하고, (ii) 상기 제2 레퍼런스 차량들의 절대 좌표, 이에 대응하는 상기 제1 레퍼런스 차량 상대 좌표 및 이에 대응하는 상기 특정 응급 차량 상대 좌표를 참조로 하여, 상기 제2 레퍼런스 차량을 기반으로 한 하나 이상의 제2 특정 응급 차량 절대 좌표들을 생성하며, (iii) 상기 제1 특정 응급 차량 절대 좌표 및 상기 제2 특정 응급 차량 절대 좌표들 중 적어도 일부를 참조로 하여 상기 특정 응급 차량의 상기 위치를 예측하는 것을 특징으로 하는 장치.
  16. 제 11항에 있어서,
    상기 (I) 프로세서는,
    상기 프로세서가, 상기 특정 응급 차량으로부터의 거리가 제4 임계치보다 더 가까운 특정 커넥티드 카 및 특정 통신 연결된 보행자 중 적어도 일부에게 알림을 전송하는 것을 특징으로 하는 장치.
  17. 제 11항에 있어서,
    상기 (I) 프로세스는,
    상기 응급 상황 정보 중 적어도 일부는, 상기 특정 응급 차량이 포함된 특정 이미지를 처리하는 뉴럴 네트워크에 의해 생성되되,
    (i) 상기 뉴럴 네트워크들 중 제1 뉴럴 네트워크가, 상기 특정 이미지에 적어도 하나의 제1 CNN 연산을 적용하여 상기 특정 이미지가 상기 특정 응급 차량에 대응하는 글로벌 시각 특징(global visional feature)을 포함하는지 여부를 판단함으로써 제1 판단 정보를 생성하도록 하고, (ii) 상기 뉴럴 네트워크들 중 제2 뉴럴 네트워크가, 상기 특정 이미지 상의 기설정된 특정 영역에 적어도 하나의 제2 CNN 연산을 적용하여 상기 특정 이미지가 상기 특정 응급 차량에 대응하는 로컬 비젼 특징(local visional feature)을 포함하는지 여부를 판단함으로써 제2 판단 정보를 생성하도록 하고, (iii) 상기 뉴럴 네트워크들 중 제3 뉴럴 네트워크가, 상기 기설정된 특정 영역에 적어도 하나의 제3 CNN 연산을 적용하여, 상기 특정 이미지가 상기 특정 응급 차량에 대응하는 로컬 시간 특징(local temporal feature)을 포함하는지 여부를 판단함으로써 제3 판단 정보를 생성하도록 한 상태에서, 상기 제1 내지 제3 판단 정보를 참조로 하여 상기 응급 상황 정보의 일부가 생성되는 것을 특징으로 하는 장치.
  18. 제 11항에 있어서,
    상기 (II) 프로세스는,
    상기 프로세서가, (i) 상기 메타 데이터를 참조로 하여 상기 특정 응급 차량 및 상기 대상 차량들의 위치 정보를 가상 평면 상에 맵핑함으로써 상기 상황 시나리오 벡터를 생성하고, (ii) 상기 상황 시나리오 벡터 및 상기 각각의 레퍼런스 시나리오 벡터 사이의 유사도 스코어를 계산함으로써 하나 이상의 후보 시나리오 벡터를 선택하고, (iii) 상기 응급 상황 정보를 참조로 하여 상기 후보 시나리오 벡터들 중 상기 특정 시나리오 벡터를 선택하는 것을 특징으로 하는 장치.
  19. 제 11항에 있어서,
    상기 (III) 프로세스는,
    상기 대상 차량이, (i) (i-1) 상기 특정 응급 차량과 각각의 상기 대상 차량 사이의 거리 정보 및 상기 거리 정보에 대한 변화 정보의 조합 및 (i-2) 상기 응급 리액션 커맨드와 상기 특정 응급 차량의 각각의 실제 운행 액션 사이의 차이 정보 중 적어도 일부를 참조로 하여 상기 특정 응급 차량과의 상기 간섭도 스코어를 계산한 후 (ii) 상기 관리 서버에 상기 간섭도 스코어를 전송하는 것을 특징으로 하는 장치.
  20. 제 11항에 있어서,
    (IV) 상기 프로세서가, 상기 간섭도 스코어의 적어도 일부의 시간이 상기 제2 임계치보다 크게 유지되는 시간이 제5 임계치 이상인 경우, (i) 해당 시점의 상기 특정 응급 차량의 다른 메타 데이터를 생성하고, (ii) 상기 다른 메타 데이터를 참조로 하여 해당 시점에 대한 다른 응급 리액션 커맨드를 생성하고, (iii) 해당 시점 동안에 다른 대상 차량에 대한 상기 다른 응급 리액션 커맨드를 전송하는 프로세스;
    를 더 수행하되,
    상기 (IV) 프로세스에서의 상기 다른 메타 데이터, 상기 다른 응급 리액션 커맨드 및 상기 다른 대상 차량은 상기 (I) 프로세스 내지 상기 (III) 프로세스의 시점보다 늦은 시점에 해당하는 것을 특징으로 하는 장치.
KR1020200007643A 2019-01-31 2020-01-20 응급 차량을 실시간으로 검출하고, 응급 차량으로 인해 발생될 것으로 예상되는 상황에 대처하기 위한 주행 경로를 플래닝하는 방법 및 장치 KR102241584B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962799532P 2019-01-31 2019-01-31
US62/799,532 2019-01-31
US16/739,349 US10796571B2 (en) 2019-01-31 2020-01-10 Method and device for detecting emergency vehicles in real time and planning driving routes to cope with situations to be expected to be occurred by the emergency vehicles
US16/739,349 2020-01-10

Publications (2)

Publication Number Publication Date
KR20200095388A true KR20200095388A (ko) 2020-08-10
KR102241584B1 KR102241584B1 (ko) 2021-04-19

Family

ID=69190639

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200007643A KR102241584B1 (ko) 2019-01-31 2020-01-20 응급 차량을 실시간으로 검출하고, 응급 차량으로 인해 발생될 것으로 예상되는 상황에 대처하기 위한 주행 경로를 플래닝하는 방법 및 장치

Country Status (5)

Country Link
US (1) US10796571B2 (ko)
EP (1) EP3690849A1 (ko)
JP (1) JP7194130B2 (ko)
KR (1) KR102241584B1 (ko)
CN (1) CN111505690B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112180913A (zh) * 2020-09-01 2021-01-05 芜湖酷哇机器人产业技术研究院有限公司 特种车辆识别方法
CN113484871B (zh) * 2021-06-16 2023-09-08 国能榆林能源有限责任公司 激光雷达融合探测方法和计算机存储介质
KR102640491B1 (ko) * 2021-09-24 2024-02-27 (주) 오토노머스에이투지 고정된 라이다를 이용하여 교차로에서의 상태를 검지하는 방법 및 이를 이용한 서버
US11952014B2 (en) 2021-10-29 2024-04-09 Waymo Llc Behavior predictions for active emergency vehicles
CN115311880B (zh) * 2022-08-03 2024-03-19 九识(苏州)智能科技有限公司 一种低速自动驾驶车辆分布式视野增强方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63301399A (ja) * 1987-05-31 1988-12-08 Katsutoshi Kitagawa 緊急車の道路走行方法とその装置
JP2005228111A (ja) * 2004-02-13 2005-08-25 Toyota Motor Corp 車両退避指示装置、車両退避指示システム及び車両退避指示方法
JP2005332263A (ja) * 2004-05-20 2005-12-02 Sony Ericsson Mobilecommunications Japan Inc 緊急車両通知方法及び緊急車両通知システム
JP2008116298A (ja) * 2006-11-02 2008-05-22 Denso Corp 車載緊急通報装置及び車載緊急通報システム
KR20100068831A (ko) * 2008-12-15 2010-06-24 김현진 긴급차량의 이동경로 알림이 가능한 네비게이션 시스템 및 그 방법
JP2015524762A (ja) * 2012-06-01 2015-08-27 グーグル・インク サロゲートデータに基づく交通信号の状態と車両環境の他の状況の推論
JP2015230237A (ja) * 2014-06-05 2015-12-21 セイコーエプソン株式会社 物理量センサー、高度計、電子機器および移動体
JP2015230287A (ja) * 2014-06-06 2015-12-21 株式会社オートネットワーク技術研究所 報知システム及び報知装置
US20160093213A1 (en) * 2014-09-26 2016-03-31 Tomer RIDER Technologies for reporting and predicting emergency vehicle routes
KR20170031942A (ko) * 2015-09-14 2017-03-22 권형석 긴급 차량의 이동경로 확보를 위한 시스템 및 제어 방법.
KR20170034542A (ko) * 2015-09-21 2017-03-29 권형석 긴급차량이 이동할 경로 확보를 위한 시스템 및 제어 방법.
KR20180049040A (ko) * 2016-08-29 2018-05-10 바이두 유에스에이 엘엘씨 자율 주행 차량의 주행 결정을 위한 주변 환경 구성 방법 및 시스템
US20190027032A1 (en) * 2017-07-24 2019-01-24 Harman International Industries, Incorporated Emergency vehicle alert system

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4764978A (en) * 1987-08-20 1988-08-16 Argo Eckert H Emergency vehicle radio transmission system
JP3232724B2 (ja) * 1992-12-08 2001-11-26 株式会社デンソー 車間距離制御装置
JP3899562B2 (ja) * 1996-09-25 2007-03-28 マツダ株式会社 ナビゲーション装置
US6690291B1 (en) * 2000-04-21 2004-02-10 Prodesign Technology, Inc. Vehicle hazard warning system
JP3846335B2 (ja) * 2002-03-06 2006-11-15 株式会社デンソー 車両用通信システム
JP2004355272A (ja) * 2003-05-28 2004-12-16 Toyota Motor Corp 緊急車両の接近通知システム
US20060227008A1 (en) * 2005-03-31 2006-10-12 Bryant Jason D Emergency vehicle proximity warning system
US20070159354A1 (en) * 2006-01-09 2007-07-12 Outland Research, Llc Intelligent emergency vehicle alert system and user interface
JP2009015498A (ja) * 2007-07-03 2009-01-22 Denso Corp 緊急車両接近報知システム、一般車用装置および緊急車用装置
WO2009027245A2 (de) * 2007-08-29 2009-03-05 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zur warnung vor einsatzfahrzeugen im notfalleinsatz
JP5397735B2 (ja) * 2008-09-12 2014-01-22 株式会社デンソー 車両用緊急車両接近検出システム
EP2831857A4 (en) * 2012-03-31 2015-11-04 Intel Corp PROCESS AND SYSTEM FOR LOCATION-BASED EMERGENCY NOTIFICATIONS
US10127810B2 (en) * 2012-06-07 2018-11-13 Zoll Medical Corporation Vehicle safety and driver condition monitoring, and geographic information based road safety systems
EP3114574A4 (en) * 2014-03-03 2018-03-07 Inrix, Inc. Traffic obstruction detection
US9766628B1 (en) * 2014-04-04 2017-09-19 Waymo Llc Vision-based object detection using a polar grid
US20160231746A1 (en) * 2015-02-06 2016-08-11 Delphi Technologies, Inc. System And Method To Operate An Automated Vehicle
US11482100B2 (en) * 2015-03-28 2022-10-25 Intel Corporation Technologies for detection of anomalies in vehicle traffic patterns
JP6074553B1 (ja) * 2015-04-21 2017-02-01 パナソニックＩｐマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
US9844981B2 (en) * 2015-06-02 2017-12-19 Karma Automotive Llc Systems and methods for use in a vehicle for detecting external events
US10841379B2 (en) * 2015-09-22 2020-11-17 Veniam, Inc. Systems and methods for environmental management in a network of moving things
US9547986B1 (en) * 2015-11-19 2017-01-17 Amazon Technologies, Inc. Lane assignments for autonomous vehicles
CN107134160A (zh) * 2016-02-29 2017-09-05 法拉第未来公司 紧急信号检测和响应
US20170291543A1 (en) * 2016-04-11 2017-10-12 GM Global Technology Operations LLC Context-aware alert systems and algorithms used therein
US20170364069A1 (en) * 2016-06-16 2017-12-21 Ford Global Technologies, Llc Autonomous behavioral override utilizing an emergency corridor
JP6895634B2 (ja) * 2016-12-16 2021-06-30 パナソニックＩｐマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
CN108241822B (zh) * 2016-12-23 2020-11-27 杭州海康威视数字技术股份有限公司 一种车辆类型的识别方法及装置
CN108280990A (zh) * 2016-12-30 2018-07-13 纵目科技（上海）股份有限公司 基于车顶信号灯检测的急救车辆检测与避让方法与系统
IL287819B (en) * 2017-01-12 2022-07-01 Mobileye Vision Technologies Ltd Navigation based on vehicle activity
JP6805836B2 (ja) * 2017-01-17 2020-12-23 株式会社デンソー 緊急車両通行支援装置、緊急車両通行支援プログラム、及び緊急車両通行支援システム
US10431082B2 (en) * 2017-06-19 2019-10-01 GM Global Technology Operations LLC Systems and methods for emergency vehicle response in an autonomous vehicle
US10319228B2 (en) * 2017-06-27 2019-06-11 Waymo Llc Detecting and responding to sirens
CA3026666C (en) * 2017-06-30 2021-10-12 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for switching driving mode of vehicle
US10565873B1 (en) * 2017-08-18 2020-02-18 State Farm Mutual Automobile Insurance Company Emergency vehicle detection and avoidance systems for autonomous vehicles
KR101956689B1 (ko) * 2017-10-16 2019-07-04 주식회사 만도 긴급차량 운행경로 생성기능을 갖는 자동 순항 제어장치 및 제어방법
CN107993487B (zh) * 2017-12-11 2021-06-25 东软集团股份有限公司 避让紧急车辆的方法及装置
US10628686B2 (en) * 2018-03-12 2020-04-21 Waymo Llc Neural networks for object detection and characterization
JP2020050109A (ja) * 2018-09-26 2020-04-02 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63301399A (ja) * 1987-05-31 1988-12-08 Katsutoshi Kitagawa 緊急車の道路走行方法とその装置
JP2005228111A (ja) * 2004-02-13 2005-08-25 Toyota Motor Corp 車両退避指示装置、車両退避指示システム及び車両退避指示方法
JP2005332263A (ja) * 2004-05-20 2005-12-02 Sony Ericsson Mobilecommunications Japan Inc 緊急車両通知方法及び緊急車両通知システム
JP2008116298A (ja) * 2006-11-02 2008-05-22 Denso Corp 車載緊急通報装置及び車載緊急通報システム
KR20100068831A (ko) * 2008-12-15 2010-06-24 김현진 긴급차량의 이동경로 알림이 가능한 네비게이션 시스템 및 그 방법
JP2015524762A (ja) * 2012-06-01 2015-08-27 グーグル・インク サロゲートデータに基づく交通信号の状態と車両環境の他の状況の推論
JP2015230237A (ja) * 2014-06-05 2015-12-21 セイコーエプソン株式会社 物理量センサー、高度計、電子機器および移動体
JP2015230287A (ja) * 2014-06-06 2015-12-21 株式会社オートネットワーク技術研究所 報知システム及び報知装置
US20160093213A1 (en) * 2014-09-26 2016-03-31 Tomer RIDER Technologies for reporting and predicting emergency vehicle routes
KR20170031942A (ko) * 2015-09-14 2017-03-22 권형석 긴급 차량의 이동경로 확보를 위한 시스템 및 제어 방법.
KR20170034542A (ko) * 2015-09-21 2017-03-29 권형석 긴급차량이 이동할 경로 확보를 위한 시스템 및 제어 방법.
KR20180049040A (ko) * 2016-08-29 2018-05-10 바이두 유에스에이 엘엘씨 자율 주행 차량의 주행 결정을 위한 주변 환경 구성 방법 및 시스템
US20190027032A1 (en) * 2017-07-24 2019-01-24 Harman International Industries, Incorporated Emergency vehicle alert system

Also Published As

Publication number Publication date
JP2020126634A (ja) 2020-08-20
KR102241584B1 (ko) 2021-04-19
CN111505690A (zh) 2020-08-07
US10796571B2 (en) 2020-10-06
US20200250974A1 (en) 2020-08-06
EP3690849A1 (en) 2020-08-05
JP7194130B2 (ja) 2022-12-21
CN111505690B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
KR102241584B1 (ko) 응급 차량을 실시간으로 검출하고, 응급 차량으로 인해 발생될 것으로 예상되는 상황에 대처하기 위한 주행 경로를 플래닝하는 방법 및 장치
EP3602220B1 (en) Dynamic sensor selection for self-driving vehicles
CN109863513B (zh) 用于自主车辆控制的神经网络系统
US10133273B2 (en) Location specific assistance for autonomous vehicle control system
US9915951B2 (en) Detection of overhanging objects
US10849543B2 (en) Focus-based tagging of sensor data
US10466361B2 (en) Systems and methods for multi-sensor fusion using permutation matrix track association
US20190025071A1 (en) Information processing device
US11055540B2 (en) Method for determining anchor boxes for training neural network object detection models for autonomous driving
US11485360B2 (en) Dynamic speed limit adjustment system based on perception results
US11321211B1 (en) Metric back-propagation for subsystem performance evaluation
US11400942B2 (en) Vehicle lane trajectory probability prediction utilizing kalman filtering with neural network derived noise
CN111352074A (zh) 用于相对于车辆对声源进行定位的方法和系统
KR102314515B1 (ko) 경쟁적인 컴퓨팅 및 정보 퓨전을 이용하여 차량의 자율 주행을 지원하는데 이용될 자율 주행 서비스 플랫폼을 제공하는 방법 및 이를 이용한 서버
JP2024014875A (ja) 視覚追跡および画像再投影による自律運転のための物体位置特定
US11926332B1 (en) Assessing surprise for autonomous vehicles
JP2022142787A (ja) 奥行き知覚のための予測システムを訓練するためのシステム及び方法
JP7294476B2 (ja) カメラ制御システム、カメラ制御方法、及び非一時的コンピュータ可読媒体
US20230351773A1 (en) Systems and methods for detecting traffic lights corresponding to a driving lane
US20230417885A1 (en) Systems and methods for detecting erroneous lidar data
JP7371679B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20230343109A1 (en) Systems and methods for detecting traffic lights of driving lanes using a camera and multiple models
US20240144696A1 (en) Road User Information Determination Based on Image and Lidar Data
JP2021138338A (ja) 車両制御システム
JP2022146384A (ja) 物体検出装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant