KR20210006961A - 수동 적외선 안내 시스템 - Google Patents

수동 적외선 안내 시스템 Download PDF

Info

Publication number
KR20210006961A
KR20210006961A KR1020207035179A KR20207035179A KR20210006961A KR 20210006961 A KR20210006961 A KR 20210006961A KR 1020207035179 A KR1020207035179 A KR 1020207035179A KR 20207035179 A KR20207035179 A KR 20207035179A KR 20210006961 A KR20210006961 A KR 20210006961A
Authority
KR
South Korea
Prior art keywords
vehicle
road
thermal imaging
driving lane
determining
Prior art date
Application number
KR1020207035179A
Other languages
English (en)
Other versions
KR102496018B1 (ko
Inventor
아놀드 체이스
Original Assignee
아놀드 체이스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아놀드 체이스 filed Critical 아놀드 체이스
Publication of KR20210006961A publication Critical patent/KR20210006961A/ko
Application granted granted Critical
Publication of KR102496018B1 publication Critical patent/KR102496018B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B60W10/184—Conjoint control of vehicle sub-units of different type or different function including control of braking systems with wheel brakes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/40—Hardware adaptations for dashboards or instruments
    • B60K2360/48—Sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/213—Virtual instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/804—Relative longitudinal speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Vascular Medicine (AREA)
  • Electromagnetism (AREA)
  • Social Psychology (AREA)
  • Toxicology (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)
  • Mathematical Physics (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)
  • Navigation (AREA)
  • Radiation Pyrometers (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

도로 상에서 자율 주행 차량의 작동을 강화시키기 위한 수동 적외선 안내 시스템 및 방법은, 차량의 운영 시스템에 연결된 이미지 프로세서와 작동 가능하게 통신하는 차량에 장착된 적어도 하나의 전방 감시 적외선 이미징 센서를 포함한다. 본 시스템은 열 이미징(thermal imaging)을 사용하여 도로의 좌측 및 우측 에지를 결정하고, 그 후 도로의 결정된 좌측 및 우측 에지에 기초하여 차량이 주행하고 있는 주행 차선의 중심선을 결정한다. 본 시스템은 그 후 주행 차선의 결정된 중심선을 차량의 실제 위치와 비교하고, 비교에 기초하여 차량의 위치를 위해 필요한 임의의 조정을 식별한다. 좌측 및 우측 에지 결정 단계는 도로를 나타내는 열 시그니처(thermal signature)와, 도로 부분에 근접하게 위치된 비-도로 부분을 나타내는 열 시그니처 사이의 차이를 식별하는 단계를 포함할 수 있다.

Description

수동 적외선 안내 시스템
본 발명은 일반적으로 자율 주행 차량의 작동을 강화시키는 것에 관한 것으로서, 특히 도로 상에서 차량을 위치시키고 그에 따라 차량의 위치 및 작동을 조정하는 시스템 및 방법에 관한 것이다.
많은 회사들은 개인 택시 서비스, 배달 서비스 등을 포함하지만 이에 제한되지 않는 다양한 적용 분야를 위해 기존 도로 상에서 상업용 및 개인용 자율 주행 차량을 개발하고 있다. 본 발명에 따르면, 자율 주행 차량은 인간 운전자 없이 작동할 수 있는 차량이다. 이러한 차량은 마치 인간 조작자가 있는 것과 동일한 방식으로 차량을 운전, 조향 및 달리 작동하도록 설계된 온보드 컴퓨터 및 센서 시스템을 사용하여 작동하도록 설계될 수 있다. 택시, 버스 또는 배달용 밴의 네트워크와 유사한 자율 주행 차량의 차량군이 곧 이용 가능하게 될 것이며, 이에 따라 사용자는, 필요에 따라, 자율 주행 차량이 승객을 태우고, 운송하고, 내리게 하거나, 또는 패키지 등을 픽업하고, 운송하고, 배달하도록 요청할 수 있다. 대안적으로, 사용자는 개인 용도로 자율 주행 차량을 소유하고, 이를 출퇴근, 심부름, 자녀를 학교에 데려다주기, 여행 등과 같은 일상적인 작업에 사용할 수 있다.
개발 및 테스트 단계에 있는 현재의 자율 주행 차량은 일반적으로 인간 조작자 없이 차량을 완전히 작동시키기 위해 다중 시스템을 사용한다. 우선, 표준 GPS 시스템을 사용하여 차량의 경로를 계획한다. 여행을 위한 출발지 및 목적지는 물론 교통 상황, 도로 폐쇄, 기상 조건, 선호 경로, 유료 도로 등과 같은 다른 요인을 고려하여, GPS 시스템은 차량이 이동하기에 가장 좋은 경로를 결정한다. 그러나, 자율 주행 차량은, 안전하고 효율적인 작동을 위해, 차량의 작동 중 경로를 따라 동적 상태를 인식하는 시스템도 또한 필요로 한다. 이러한 시스템은 카메라, 센서, 레이더, LIDAR 및 레이저와 같은 일련의 기술을 활용하여 작동 중에 차량 주변의 3 차원 보기를 제공하는 증강 GPS 시스템이라고 언급될 수 있다. 이러한 시스템은 차량 주변의 다른 자동차를 추적할 수 있고; 차량 주변, 전방 도로, 또는 전방, 후방 또는 측면으로부터 차량에 접근하는 장애물 또는 위험을 검출할 수 있고; 도로 또는 주행 차선의 에지, 다가오는 회전, 언덕 또는 하강의 위치를 결정하고, 차량 앞, 뒤 및 주변의 일반적인 도로 상태를 평가할 수 있다. 자율 주행 차량은 또한 GPS 시스템 및 증강 GPS 시스템에서 제공되는 정보를 처리하고 처리된 정보를 활용하여 차량을 작동하기 위해 차량 내의 중앙 집중식 시스템이 필요하다. 이러한 일반적으로 사용되는 시스템은 일반적으로 GPS 시스템, 증강 GPS 시스템 및 다른 자율 주행 차량 작동 시스템과 통신하고 이들의 작동을 조정하기 위한 차량 내의 CAN(Computer Area Network) 버스를 포함한다.
비-자율 주행 차량은 또한 인간 운전자를 지원하기 위해 유사한 기술을 사용한다. 예를 들어, 자동차는 수십 년 동안 다양한 형태의 크루즈 컨트롤(cruise control)을 사용해 왔다. 더 최근에는, 자동차를 자율적으로 병렬 주차하는 시스템이 자동차에 장착되었다. 많은 현대 자동차에는 이제, 자동차가 고속도로에서 차선을 벗어나기 시작하면 운전자를 지원하거나, 또는 그 전방의 자동차와 너무 가까워지면 차량을 제동하거나, 또는 전방 도로에 물체가 있다면 운전자에게 경고하는 시스템이 장착되어 있다.
자율 주행 차량에 탑재된 안내 시스템이 인간 운전자의 인식 및 분석적 의사 결정 능력과 매칭되거나 또는 이를 능가할 때까지, 완전 자율 주행 차량이 주변 환경에 적절하고 역동적으로 응답하거나 또는 반응할 수 있는 능력을 좌절시키는 수많은 일상적인 상황이 진행될 것이다. 더욱이, 자율 주행 차량이 안전하고 효율적인 작동을 위해 기존의 운영 시스템 및 센서에 안전하게 의존하고 본질적으로 모든 위험을 제거할 때까지, 대중은 이러한 차량의 진정한 자율 작동을 전적으로 신뢰하는 것을 계속해서 주저할 것이다. 실제로, 수많은 "실제-세계" 자율 주행 차량 테스트에서는 까다로운 주변 조건으로 인해 적시에 적절하게 검출, 인식 및/또는 반응하지 못한 안내 시스템 및 센서로 인해 유발된 안내 실패, 사고 등이 발생했고, 그 결과, 대부분의 자율 주행 차량 테스트는 일반적으로 따뜻하고 맑은 기후 영역으로 제한된다.
다양한 광학 기반 자동차 및/또는 자율 안내 시스템 및 센서(예를 들어, 비디오, LIDAR 등)는 이상적인 시각적 및 주변 조건 하에서는 잘 작동할 수 있지만, 예를 들어 강우, 강설, 안개 동안 또는 그 직후 등, 또는 외부가 어둡고 도로의 조명이 어두운 영역에 있는 경우와 같은 불리한 주변 조건 하에서는 그들의 기능이 사용 불가능한 수준으로 빠르게 감소할 수 있다. 추가적으로, (예를 들어, 예상치 못한 장애물 및/또는 다른 차량에 대해 제동을 하거나, 또는 차선을 벗어나면 차량을 조향하거나, 또는 차량의 추진을 조정하는 등에 의해) 기존 수준의 "온보드" 센서, 카메라, 장치, 및 인터페이스는 자율 주행 차량의 운전 특성을 제한된 정도로 변경할 수 있지만, 현재, 많은 광학 의존 센서를 혼동시키거나 또는 쓸모없게 만들 수 있는 안개, 눈, 강한 바람 또는 극심한 어둠과 같은 가혹한 주변 조건에 적절하게 반응할 수 있는 능력을 자율 주행 차량에 부여하는 데에는 본질적으로 극단적인 결함이 존재한다. 기존의 GPS 내비게이션 시스템만으로는, 이들의 데이터베이스가 대부분의 도로를 커버하지 않고 지속적으로 구식이 되고 있기 때문에, 고해상도 디지털 지도는 절대적으로 신뢰될 수는 없다. 따라서, 자율 주행 차량의 작동이 모든 조건에서 안전하고 효율적이라는 것을 보장하기 위해 기존의 광학 기반 안내 시스템 및 센서를 개선할 필요성이 존재한다.
따라서, 기존의 동적 안내 시스템의 단점 및 한계를 극복하는, 도로 상의 조건 동안에 스스로를 계속해서 적절하게 안내하기 위해 자율 주행 차량 그리고 수동 운전 차량의 작동을 위한 개선된 시스템이 필요하다. 더욱이, 도로의 예상치 못한 예측되지 않은 상황 또는 조건에 대응하여 차량의 안전하고 효율적인 작동을 지원할 수 있고 차량이 빠르고 신속하게 적절한 대응 조치를 결정하는데 도움이 되는 센서를 통한 적외선 검출 및 이미징을 활용하는 시스템이 필요하다.
본 발명은 일반적으로 도로 상에서 자율 주행 차량의 작동을 강화시키기 위한 수동 적외선 안내 시스템에 관한 것이다. 본 발명의 실시예에 따르면, 본 시스템은 일반적으로 도로 가시성이 낮거나, 최적에 미치지 못하거나, 또는 다른 방식으로 손상되었을 때 확립된 주행 차선의 중심점을 찾고 결정하는데 차량 또는 운전자를 지원하고, 다른 내비게이션 시스템의 성능이 저하되거나 또는 효과가 없을 때, 임의의 검출된 안내 편차에 즉시 대응하는 우수한 접근 방식을 제공한다.
본 발명에 따른 시스템의 작동의 중심은, 바람직하게는 즉시 실시간으로, 분석 및 출력 처리를 위해, IR 센서와 같은 다양한 차량 센서와 지속적으로 통신하는 예를 들어 중앙 CAN 버스 장치를 통해, 차량의 운영 시스템에 연결된 이미지 프로세서와 작동 가능하게 통신하는 차량에 장착된 적어도 하나의 전방 감시 수동 적외선(IR) 이미지 센서의 사용이다. 작동 시에, 이미지 프로세서는 도로 표면과 도로에 인접한 영역 사이의 복사 열 차이를 분석하고, 후속적으로 도로 및/또는 주행 차선이 존재하고 끝나는 위치에 대한 데이터 "화상"을 제공한다. 보다 구체적으로, 이미지 프로세서는, 적어도 하나의 적외선 센서에 의해 측정된 데이터에 기초하여, 도로의 좌측 에지 라인 및 우측 에지 라인을 확립하고, 그 후 차량이 주행하고 있는 주행 차선의 중심선을 결정한다. 이러한 정보는 예를 들어 운전 차량의 앞 유리에 윤곽이 표시되는 "헤드 업" 디스플레이를 제공하도록 사용되거나, 또는 자율 주행 차량의 작동 및/또는 내비게이션 시스템에 대한 데이터 입력으로 사용될 수 있다. 자율 주행 차량에 사용하는 것이 바람직하지만, 본 발명의 시스템은 또한 사람이 작동하는 차량에서, 자율 주행 차량 시스템과 마찬가지로, 눈 및/또는 얼음으로 덮여 있거나 또는 안개가 자욱하거나 또는 조명이 어둡거나 또는 손상된 도로 주행 차선에서 광학적 수단으로 주행 차선(들)과 관련된 차량의 위치를 적절하게 식별할 수 없는 인간 운전자의 부속물로서 사용될 수 있다.
본 발명의 일 실시예에서, 도로의 확립된 주행 차선 내에서 차량을 중앙에 위치시키기 위한 방법은 열 이미징(thermal imaging)을 사용하여 도로의 좌측 에지 및 우측 에지를 결정하는 단계, 및 그 후 도로의 결정된 좌측 및 우측 에지에 기초하여 주행 차선의 중심선을 결정하는 단계를 포함한다. 본 방법은 주행 차선의 결정된 중심선을 차량의 실제 위치와 비교하는 단계, 및 그 후 비교에 기초하여 차량의 위치에 대한 임의의 조정을 식별하는 단계를 더 포함한다.
본 발명의 다른 실시예에서, 도로 상의 주행 차선 내에서 차량을 중앙에 위치시키기 위한 방법은 차량에 배치된 열 이미징 센서 조립체를 사용하여 도로의 좌측 에지 및 우측 에지를 결정하는 단계, 및 그 후 도로의 결정된 좌측 에지 및 우측 에지에 기초하여 주행 차선의 중심선을 결정하는 단계를 포함한다. 연석에서 연석까지의 폭을 일반적인 주행 차선 폭으로 나눈 값에 따라 시스템은 막힌(예를 들어, 눈 덮인) 도로 상의 주행 차선의 개수를 결정할 수 있다. 본 방법은 주행 차선의 결정된 중심선을 차량의 실제 위치와 비교하는 단계, 및 그 후 비교에 기초하여 차량의 위치에 대한 임의의 조정을 식별하는 단계를 더 포함한다. 본 방법은 식별된 조정에 기초하여 차량의 작동에서 응답을 개시하는 단계를 더 포함한다.
본 발명의 다른 실시예에서, 도로 상의 주행 차선 내에서 차량을 중앙에 위치시키기 위한 시스템은 차량에 배치되고 차량 전방의 도로를 열 이미징하기 위한 적어도 하나의 적외선 센서를 포함하는 열 이미징 센서 조립체를 포함한다. 본 시스템은 차량의 좌측 및 우측에 있는 도로를 각각 이미징하기 위해 열 이미징 센서 조립체와 작동 가능하게 통신하는 이미지 프로세서를 더 포함한다. 보다 구체적으로, 이미지 프로세서는 도로의 좌측 및 우측 에지와 관련된 열 이미징 센서 조립체로부터 수신된 열 이미징 신호에 기초하여 도로에서 주행 차선의 중심선을 결정한다. 본 시스템은 차량의 실제 위치와 주행 차선의 결정된 중심선을 비교하여 차량의 안내 시스템을 사용하여 주행 차선 내에서 차량의 위치를 조정하기 위해 이미지 프로세서와 작동 가능하게 통신하는 중앙 차량 제어 시스템을 더 포함한다.
또 다른 실시예에서, 이미지 프로세서는 차량의 전방에서 최근에 주행한 하나 이상의 차량에 의해 생성된 사실상의 주행 차선 "경로"를 식별할 수 있다. 보다 구체적으로, 본 시스템은, 차량에 장착된 적어도 하나의 전방 감시 수동 적외선 센서를 사용하여, 사실상 주행 차선 내의 타이어 트랙으로부터의 잔여 타이어 열을 식별할 수 있으며, 특히 여기서 선행 차량의 타이어 트랙 및 도로 및/또는 눈 또는 다른 도로 표면 코팅이 남긴 열 시그니처(thermal signature) 사이에 대조가 있게 된다. 이미지 프로세서는 이전에 식별된 타이어 트랙으로부터 최적의 주행 "경로"를 결정하고, 지속적인 주행을 위한 중심선을 결정할 수 있다.
다른 실시예에서, 차량에 장착된 적어도 하나의 전방 감시 수동 적외선 센서를 사용하여, 회전하는 동안 물, 눈 또는 얼음을 압축하여 이에 따라 그들의 타이어 트랙의 영역을 가열함으로써 선행 차량(들)의 타이어 트랙이 남긴 열 시그니처와 방해받지 않는 물, 눈, 얼음 또는 다른 도로 표면 코팅 사이의 열적으로 대조되는 사실상 주행 차선을 생성하는 이전 차량의 타이어로부터의 잔류 열을 식별함으로써, 이미지 프로세서는 최근에 차량의 전방에서 주행한 하나 이상의 차량에 의해 생성된 사실상의 주행 차선 "경로"를 식별할 수 있다. 이미지 프로세서는 이전에 식별된 타이어 트랙으로부터 최적의 주행 "경로"를 결정하고, 이러한 트랙으로부터, 지속적인 주행을 위한 중심선을 생성할 수 있다.
레이저 또는 무선 주파수 에너지를 지속적으로 방사하고 이러한 에너지의 반사를 처리하는 다른 "능동" 시스템 또는 LIDAR와 달리, 본 발명에 따른 수동 적외선 안내 시스템은 차량 주변의 대조되는 열 방출을 수동으로 검출하고 처리하는 것에 의존한다.
본 발명에 따르면, 상기 차량 응답은 차량의 "운전자 보조" 조향 시스템, 추진 시스템, 및/또는 차량 제동 시스템의 자동 활성화에 직접 입력을 제공하는 형태를 취할 수 있다. 본 시스템은 까다로운 주변 조건이 존재하는 시간 동안 차량 상의 다른 센서 및 안내 시스템에 대한 부속물이 되도록 설계되고, 이에 따라 자율 주행 차량의 자율 안내 시스템을 향상시킨다.
본 발명에 따른 시스템은 자율 주행 차량뿐만 아니라 수동 운전 차량과도 작동할 수 있다.
본 발명의 목적, 특징 및 이점은 첨부 도면에 의해 강화되는 바와 같이 그 실시예 및 특징의 설명을 고려할 때 명백해질 것이다.
도 1은 차량이 주행하고 있는 주행 차선의 중심선을 결정하기 위해 본 발명의 일 실시예에 따른 수동 적외선 안내 시스템을 사용하는 도로 상의 차량의 예시를 제공한다.
도 2는 도 1의 수동 적외선 안내 시스템을 일반적으로 예시하는 개략도를 제공한다.
도 3은 연석 라인 검출을 사용하여 도로에서 차량을 위치시키기 위해 본 발명에 따른 중심선 결정 방법의 일 실시예를 일반적으로 예시하는 개략도를 제공한다.
도 4는 병렬 이미지 프로세서 또는 알고리즘을 사용하여 도로에서 차량을 위치시키기 위한 대안적인 실시예의 개략도를 제공한다.
도 5는 주행 차선의 중심선을 결정하기 위해 본 발명에 따른 시스템의 대안적인 실시예를 사용하는 도로 상의 차량의 예시를 제공한다.
도 6은 도 5의 수동 적외선 안내 시스템을 일반적으로 예시하는 개략도를 제공한다.
도 7은 임의의 선행 차량(들)의 기존 타이어 트랙으로부터의 열 측정에 기초하여 차량에 대한 주행 경로를 결정하기 위해 본 발명의 대안적인 실시예에 따른 시스템을 사용하는 도로 상의 차량의 예시를 제공한다.
도 1 내지 도 2를 참조하면, 본 발명에 따른 수동 적외선 안내 시스템의 제 1 동작 모드가 도시되어 있다. 도 1에 도시된 바와 같이, 차량(100)은 일반적으로 도로(104) 상의 주행 차선(102) 내에서 주행한다. 일반적으로 참조 번호 10으로 지정되는 시스템은, 차량(100)에 장착되고 차량(100)의 바깥쪽 전방으로 지향되는 일반적으로 참조 번호 106으로 지정되는 적어도 하나의 전방 감시 수동 IR 이미징 센서 또는 센서 어레이를 포함하여, 도로(104) 또는 주행 차선(102)의 에지를 식별할 수 있다. 본 발명의 바람직한 실시예에서, 도 1에 도시된 바와 같이, 단일의 전방 감시 IR 센서(106)가 차량(100)에, 바람직하게는 차량(100)의 전방에 장착되고, 보다 바람직하게는 차량(100)의 중앙에 설정되어, 주행 중에 차량(100)의 전방의 도로(104)의 좌측 및 우측을 모두 측정할 수 있다. 이러한 전방 감시 IR 센서(106)는 일반적으로 차량(100)의 전방의 비교적 가까운 범위 - 차량(100)의 전방의 약 10 내지 20 피트 - 를 커버할 것이다. 최적으로는, IR 센서(106)는 비교적 큰 픽셀 어레이, 예를 들어 약 640 x 480 이상을 갖는다.
열 이미징 센서 조립체의 대안적인 설정에서, 복수의 전방 감시 IR 센서(106)가 바람직하게는 오버랩 및/또는 중복 방식으로 차량(100)에 장착될 수 있다. 본 발명의 대안적인 실시예에서, 도 5에 도시된 바와 같이, 차량(100)은 전용 우측 IR 센서(106R) - 전방을 감시하는 방식으로 도로(104)/주행 차선(102)의 우측 에지를 향해 지향됨 - 및 전용 좌측 IR 센서(106L) - 전방을 감시하는 방식으로 도로(104)/주행 차선(102)의 좌측 에지를 향해 지향됨 - 를 포함할 수 있다. 이러한 실시예에서, 센서(106R 및 106L)는 차량(100)의 전방 단부에 또는 교대로 차량(100)의 측방향 측면에 위치될 수 있고, 차량(100)으로부터 전방으로 지향될 수 있다.
본 발명에 관한 IR 센서에 대한 다음의 논의는 열 이미징을 통해 도로(104)/주행 차선(102)의 검출 에지들의 집합적 단부로 작동하는 단일 센서 또는 센서들의 세트일 수 있다.
도 2 및 도 6을 참조하면, IR 센서(106)는 예를 들어 중앙 CAN 버스 유닛(110)을 통해, 차량(100)의 운영 시스템에 연결된 비디오 프로세서와 같은 이미지 프로세서(108)와 작동 가능하게 통신한다. 바람직하게는, CAN 버스(110)는 분석 및 출력 처리를 위해, 바람직하게는 검출된 데이터에 기초하여 즉시 실시간으로 IR 센서(106)와 같은 다양한 차량 센서와 지속적으로 통신한다. 작동 중에, 시스템(10)은 열 이미징을 사용하여 도로(104)의 좌측 에지 및 우측 에지를 결정한다. 보다 구체적으로, 이미지 프로세서(108)는 도로의 표면과 도로(104)에 인접한 영역 사이의 열 차이뿐만 아니라, 매립된 도로 차선 또는 중심선 반사기 등과 같은 도로 특징도 분석하고, 후속적으로 도로(104) 및/또는 주행 차선(102)이 존재하고 끝나는 위치의 데이터 "화상"을 생성한다. 도 3을 참조하면, 이미지 프로세서(108)는 IR 센서(106)로부터 수신된 데이터에 기초하여 좌측 연석 라인(112L) 및 우측 연석 라인(112R)을 확립한다.
언급된 바와 같이, 각각의 IR 센서(106)는 바람직하게는 비교적 큰 픽셀 어레이 - 예를 들어, 약 640 x 480 이상 - 을 갖는다. 작동 시, 이미지 프로세서(108)는 도로(104) 또는 주행 차선(102)의 좌측 및 우측 에지(112L 및 112R)를 식별하기 위해 센서(106)에 의해 측정된 픽셀의 서브 세트에 초점을 맞춘다. 예를 들면, 이미지 프로세서(108)는 도로(104)/주행 차선(102)의 좌측 에지(112L)를 식별하기 위해 좌측 200 픽셀 정도를 볼 수 있고, 도로(104)/주행 차선(102)의 우측 에지(112R)를 식별하기 위해 우측 200 픽셀 정도를 볼 수 있다. 센서 데이터를 보다 빠르고 효율적으로 분석하기 위해 다중 프로세서를 사용할 수 있으며, 따라서 좌측 및 우측 에지(112L 및 112R) 모두를 동시에 분석할 수 있다.
각각 전용 좌측 및 우측 IR 센서(106L 및 106R)와 같은 다중 IR 센서를 사용하는 본 발명의 실시예에서, 좌측 및 우측 연석 라인(112L 및 112R)은 센서(106L 및 106R)로부터의 각각의 열 측정에 기초하여 확립될 것이다. 이와 관련하여, 단일 이미지 프로세서(108)는 각각의 좌측 및 우측 IR 센서(106L 및 106R)와 작동 가능하게 통신할 수 있거나, 또는 대안적으로, 전용 좌측 이미지 프로세서 및 전용 우측 이미지 프로세서가 각각 좌측 및 우측 연석 라인(112L 및 112R)을 결정하는데 사용될 수 있다.
확립된 연석 라인 정보는 이미지 프로세서(108)에 의해 CAN 버스(110)에 공급되고, 상기 CAN 버스는 계산된 도로 연석의 폭에 따라 도로(104) 또는 주행 차선(102)에 대한 중심선(112C)을 확립한다. 중심선(112C)을 확립하고 차량의 상대적 위치를 계산된 중심선(112C)과 비교할 때, CAN 버스(110)는 이러한 조정이 필요한 경우 일반적으로 참조 번호 114로 지정되는 차량 작동 및 안내 시스템에 조정 명령을 제공한다. 적절한 조정은 일반적으로 차량의 "운전자 보조" 조향 시스템(116)에 직접 입력을 제공하는 것, 차량의 제동 시스템(118)의 자동 활성화, 또는 차량의 추진 시스템(120)의 조정을 포함할 수 있다. 이러한 정보는 자율 주행 차량(100)의 내비게이션 시스템에 입력되는 데이터로서 또한 제공될 수 있다.
중심선 확립 단계의 일부로서, CAN 버스(110)는 도로(104)가 얼마나 많은 차선을 가지고 있는지; 어느 차선이 어느 방향으로 주행하는지; 차량(100)이 출구, 진출 차선(off ramp) 또는 측면 도로에 근접하거나 또는 접근하고 있는지 여부; 숄더가 얼마나 큰 지와 같은 - 도로(104)에 관한 정보와 함께 제공된 GPS 또는 내비게이션 시스템으로부터의 정보를 이용할 수 있어, 특정 도로(104) 또는 주행 차선(102)에 대한 중심선(112C)을 정확하게 계산할 수 있다. 이와 관련하여, 이미지 프로세서(108)에 의해 좌측 연석 라인(112L) 및 우측 연석 라인(112R)을 확립할 때, CAN 버스(110)는 차량(100)을 주행 차선(102) 내에서 좌측 또는 우측으로 이동시키기 위해 조정이 필요한지 여부를 결정하기 위해 차량(100)에 대한 주행 차선(102)의 적절한 위치 및 그 안의 차량의 상대적인 실제 위치를 외삽할 수 있다.
여기서는 자율 - 또는 무인 - 차량과 관련하여 사용하기 위해 일반적으로 설명되지만, 본 발명의 시스템(10)은 준-자율 모드를 갖거나 또는 인간 조작자에 대한 백업 중복으로서 운전 차량에 사용될 수도 있다. 예를 들면, 중심선 정보 및 제안된 시정 조치는 예를 들어 운전 차량(100)의 "헤드 업" 디스플레이 개요(122)로서, 또는 비디오 또는 그래픽 "투시" OLED 패널, 또는 이상적으로는 앞 유리의 층들 사이에 끼워진 다른 디스플레이 방법으로서, 또는 도 4에 도시된 바와 같이 차량(100)의 내비게이션 시스템에 대한 데이터 입력으로서 제공될 수 있다. 운전자는 차량의 위치 및 속도를 수동으로 조정할 수 있거나, 또는 대안적으로, 차량(100)은 차량의 위치의 이러한 지속적인 모니터링에 기초하여 차량의 위치 및 속도를 자동으로 조정할 수 있다. "투시" OLED 패널은 또한 다른 차량 시스템으로부터의 다른 차량 관련 정보를 디스플레이하는데 사용될 수도 있다.
전형적인 도로 표면 재료는 인접한 비-도로 재료 및 표면의 방출된 열 특성과 크게 다른 방출된 열 특성을 나타내므로, 이에 따라 IR 센서(106)에 대조되는 열 화상을 제공한다. 예를 들어, 눈이 내리는 동안, IR 센서(106)는 도로(104)의 더 따뜻한 포장 도로와 도로(104)의 측면에 위치된 더 차가운 흙/잔디/식물(124)을 쉽게 구별할 수 있다. 대안적으로, 도로 연석이 도로 재료보다 열 질량이 더 큰 화강암과 같은 재료로 제조된 경우, 이러한 유형의 도로 연석은 여전히 반대 방향에서 도로 표면과 열적으로 대조된다. 본 발명에 따르면, 임의의 영역 또는 도로의 절대 열 판독 값이 실제로 무엇인지는 중요하지 않지만, 시스템(10)은 도로 에지가 위치되는 곳을 결정하기 위해, 미묘하지만, 열 경계 차이를 찾고 있다는 것을 주목하는 것이 중요하다. 추가적으로, 이미지 프로세서(108)는 CAN 버스(110)로부터의 외부 주변 온도 데이터 판독을 이용함으로써 디스플레이된 이미지의 열 대조 범위를 지속적으로 그리고 동적으로 최적화한다. 이러한 대조 데이터가 이미지 프로세서(108)에 의해 전송되고 처리될 때, 최종 도로 에지 라인(112L 및 112R)은 도로(104) 또는 주행 차선(102)의 중심선(112C)을 추가로 결정하기 위해 결정되고 사용될 수 있거나, 또는 차량의 CAN 버스(110)를 통해 전송되어 인간 운전자를 돕기 위해 자동 조향, 추진 및/또는 제동 조정을 위해 차량의 안내 시스템(들)(114), 또는, 예를 들어 차량(100)의 앞 유리에 중첩된 헤드 업 디스플레이(122)에 작동 가능하게 연결된다.
추가적으로, 눈/얼음 조건 전에, 중에, 또는 후에 적용되는 바와 같은 일반적으로 사용되는 고체 또는 액체 용해제의 적용은 인접한 영역(124)에 대한 도로(104)의 열적 시그니처를 대조시켜 더욱 향상시킬 것이며, 또한 차량(100)이 본 발명의 시스템(10)을 사용하여 따라가는 강력한 사실상의 초기 "마커 트레일"로서 역할을 한다.
도 7을 참조하면, 눈 또는 얼음으로 덮인 도로와 같은 어려운 도로 조건에서 특히 유용한 본 발명의 대안적인 실시예가 도시되어 있다. 도 7은, 트랙은 일반적으로 인접한 방해되지 않는 눈, 얼음 또는 비와 동일한 색상이기 때문에 이러한 타이어 트랙은 일반적으로 가시 파장 스펙트럼에서 검출하기 어렵거나 또는 종종 불가능할 수 있지만, 본질적으로 IR 센서가 보는 것뿐만 아니라 이미지 프로세서(108)로부터 디스플레이되는 것도 예시한다. 이러한 실시예에서, 이미지 프로세서(108)는 자율 주행 차량(100)에 대한 이러한 경로의 목표 중심선을 생성하거나 또는 운전자를 안내하기 위해 이전 차량의 주행, 또는, 앞서 언급한 바와 같이, 이전의 타이어 트랙이 없다면 이전의 용해제의 적용에 의해 생성된 임시 "경로"를 식별할 수 있는 능력을 차량(100)에 제공할 수 있다. 타이어 측벽과 트레드의 일정한 굽힘에 의해 생성된 고유 마찰은 본질적으로 열을 생성하고, 그에 따라 차량 타이어의 내부 공기 온도를 상승시키며, 이는 타이어의 트레드를 통해 건조한, 비로 덮인, 또는 눈 및/또는 얼음으로 덮인 도로 표면으로 전달되어, 수동 IR 센서(106)가 검출할 수 있는 추적 가능한 역사적 경로를 생성한다. 추가적으로, 타이어 아래에서 눈, 얼음 또는 비가 압축되는 동안 차량의 상당한 무게를 지탱하는 이전 차량의 타이어의 압력은 IR 센서(106)가 검출할 추가 경로 가열을 생성한다.
언급된 바와 같이, 이러한 실시예는 차량(100)이 눈 덮인 도로를 주행할 때 특히 유용하다. LIDAR 또는 비디오 카메라와 같은 기존의 능동형 광학 시각 감지 시스템은 눈 덮인 도로(104)에서 반사되는 일반적으로 단색인 표면에서 얕은 트레드 깊이를 시간적으로 구분하는데, 불가능하지는 않지만, 극도로 어려움을 갖는다. 본 발명의 시스템(10)은, 타이어 트랙(126)에서 생성된 열 에너지를 수동적으로 검출함으로써, 주행되었지만 아직 제설되지 않은 도로에서 인간 운전자가 하는 것과 같이, 이전 타이어 트랙(126)의 중간에 임시 중심선을 생성할 수 있다. 자율 주행 차량(100)의 경우, 이미지 프로세서(108)에 의해 생성된 출력은 차량의 작동에서 적절한 보정이 이루어질 수 있도록 차량의 조향 시스템(116)으로 전송된다. 운전 차량(100)의 경우, 앞 유리에 투영된 계산 및/또는 제안된 임시 중심선 또는 좌우 안내 화살표와 같은 안내 정보가 운전자를 돕기 위해 헤드 업 디스플레이(122)에 제공될 수 있다. 적게 내린 눈 덮힘 및/또는 비-최근의 차량 주행의 경우(이에 따라 따라갈 이전 타이어 트랙이 없음), 시스템(10)은 전술한 바와 같이 좌측 및 우측 연석 라인(112L 및 112R)의 측정으로 복귀할 수 있다. 그러나, 도로(104) 상의 폭설에 의한 눈 덮힘 및/또는 최근 주행의 경우, 이러한 대안적인 중심선 결정 방법은 차량(100)의 안전하고 효율적인 작동을 위해 사용될 수 있다. 시스템(10)은 가시광 파장을 이용하지 않기 때문에, 그 작동 능력은 주야간에 정확히 동일하다.
본 발명의 대안적인 실시예에서, 전체 도로 중심선 및/또는 차선 마커 중 하나에서 도로(104)에 매립된 기존 도로 마커 또는 반사기는 또한 IR 센서(106)에 의해 쉽게 검출되는 대조적인 열 시그니처를 제공할 수 있다. 작동 중에, 이러한 열 마커는 주변 도로(104)와는 다른 열 시그니처를 나타낼 것이다. 차량(100)은 내비게이션 시스템을 통해 도로(104)의 일반적인 설계를 인식할 수 있으므로, CAN 버스(110)는, 적절한 마커의 측정에 기초하여 좌측 및 우측 에지 데이터를 수신하면, 도로(104) 또는 특정 주행 차선(102)에 대한 중심선(112C)을 정확하게 확립하고, 그에 따라 필요한 조정을 결정할 수 있다.
본 발명의 시스템(10)은 까다로운 주변 조건이 존재하는 시간 동안 다른 센서 및 안내 시스템에 대한 부속물이 되도록 설계되어, 이에 따라 자율 주행 차량의 안내 시스템을 향상시킬 수 있다.
야간, 특히 도로(104)의 조명이 약한 부분에서 효율성이 감소된 많은 광학 기반 안내 시스템과 달리, 본 발명의 시스템(10)은 조명 조건에 관계없이 주야간에 동일한 효과로 기능한다.
본 발명의 실시예에 대한 전술한 설명은 예시 및 설명의 목적으로 제시되었다. 본 발명을 개시된 형태로 제한하거나 또한 포괄적이도록 의도되는 것은 아니다. 상기 개시 내용을 고려하여 명백한 수정 및 변경이 가능하다. 설명된 실시예는 당업자가 고려되는 특정 사용에 적합한 다양한 변형으로 그리고 다양한 실시예로 본 발명을 이용할 수 있도록 하기 위해 본 발명의 원리 및 그의 실제 적용을 가장 잘 예시하도록 선택되었다.

Claims (23)

  1. 도로 상의 주행 차선 내에서 차량을 중앙에 위치시키기 위한 방법으로서,
    상기 방법은:
    열 이미징(thermal imaging)을 사용하여 상기 도로의 좌측 에지를 결정하는 단계;
    열 이미징을 사용하여 상기 도로의 우측 에지를 결정하는 단계;
    상기 도로의 상기 결정된 좌측 및 우측 에지에 기초하여 상기 주행 차선의 중심선을 결정하는 단계;
    상기 주행 차선의 상기 결정된 중심선을 상기 차량의 실제 위치와 비교하는 단계; 및
    상기 비교에 기초하여 상기 차량의 위치에 대한 임의의 조정을 식별하는 단계
    를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 좌측 도로 에지 결정 단계 및 상기 우측 도로 에지 결정 단계는 상기 차량에 배치되는 열 이미징 센서 조립체를 사용하는 단계를 포함하는 것인, 방법.
  3. 제 2 항에 있어서,
    상기 열 이미징 센서 조립체는 상기 차량에 장착된 적어도 하나의 전방 감시 적외선 이미징 센서를 포함하는 것인, 방법.
  4. 제 3 항에 있어서,
    상기 적어도 하나의 적외선 센서는:
    상기 차량의 좌측의 상기 도로를 열 이미징하기 위해 상기 차량의 좌측에 장착된 좌측 적외선 센서; 및
    상기 차량의 우측의 상기 도로를 열 이미징하기 위해 상기 차량의 우측에 장착된 우측 적외선 센서
    를 포함하는 것인, 방법.
  5. 제 1 항에 있어서,
    상기 좌측 도로 에지 결정 단계 및 상기 우측 도로 에지 결정 단계는 이미징되는 상기 도로의 부분을 나타내는 제 1 열 시그니처(thermal signature)와, 상기 도로 부분에 근접하게 위치된 이미징되는 비-도로 부분을 나타내는 제 2 열 시그니처 사이의 열 차이를 식별하는 단계를 포함하는 것인, 방법.
  6. 제 1 항에 있어서,
    상기 차량의 안내 시스템을 사용하여 상기 식별된 조정에 기초하여 상기 차량의 위치를 조정하는 단계를 더 포함하는 것인, 방법.
  7. 제 6 항에 있어서,
    상기 차량 위치의 조정 단계는 (i) 상기 차량의 조향 시스템에 입력을 제공하는 단계; (ii) 상기 차량의 제동 시스템을 활성화하는 단계; 및 (iii) 상기 차량의 추진 시스템을 활성화하는 단계 중 적어도 하나를 포함하는 것인, 방법
  8. 제 1 항에 있어서,
    상기 차량의 앞 유리의 내부에 부착되거나 또는 상기 앞 유리의 층들 사이에 끼워진 상기 차량과 관련된 투시 OLED 패널 및 헤드 업 디스플레이 중 적어도 하나에 상기 식별된 조정을 디스플레이하는 단계를 더 포함하는 것인, 방법.
  9. 도로 상의 주행 차선 내에서 차량을 중앙에 위치시키기 위한 시스템으로서,
    상기 시스템은:
    상기 차량에 배치되고, 상기 차량의 좌측 및 우측에서 각각 상기 도로를 열 이미징하기 위한 적어도 하나의 적외선 센서를 포함하는 열 이미징 센서 조립체;
    상기 도로의 상기 좌측 및 우측 에지와 관련된 상기 열 이미징 센서 조립체로부터 수신된 열 이미징 신호에 기초하여 상기 도로의 상기 주행 차선의 중심선을 결정하기 위해 상기 열 이미징 센서 조립체와 작동 가능하게 통신하는 이미지 프로세서; 및
    상기 차량의 실제 위치와 상기 주행 차선의 상기 결정된 중심선의 비교에 기초하여 상기 차량의 안내 시스템을 사용하여 상기 주행 차선 내의 상기 차량의 위치를 조정하기 위해 상기 이미지 프로세서와 작동 가능하게 통신하는 중앙 차량 제어 시스템
    을 포함하는, 시스템.
  10. 제 9 항에 있어서,
    상기 열 이미징 센서 조립체는 상기 차량에 장착된 적어도 하나의 전방 감시 적외선 이미징 센서를 포함하는 것인, 시스템.
  11. 제 10 항에 있어서,
    상기 적어도 하나의 적외선 센서는:
    상기 차량의 좌측의 상기 도로를 열 이미징하기 위해 상기 차량의 좌측에 장착된 좌측 적외선 센서; 및
    상기 차량의 우측의 상기 도로를 열 이미징하기 위해 상기 차량의 우측에 장착된 우측 적외선 센서
    를 포함하는 것인, 시스템.
  12. 제 9 항에 있어서,
    이미지 프로세서는 상기 열 이미징 센서 조립체로부터 수신된 열 이미징 신호에 기초하여 상기 도로의 상기 좌측 에지 및 상기 우측 에지를 결정하는 것인, 시스템.
  13. 제 12 항에 있어서,
    상기 좌측 도로 에지 결정 단계 및 상기 우측 도로 에지 결정 단계는 이미징되는 상기 도로의 부분을 나타내는 제 1 열 시그니처와, 상기 도로 부분에 근접하게 위치된 이미징되는 비-도로 부분을 나타내는 제 2 열 시그니처 사이의 열 차이를 식별하는 단계를 포함하는 것인, 시스템.
  14. 제 9 항에 있어서,
    상기 차량의 위치의 조정 단계는 (i) 상기 차량의 조향 시스템에 입력을 제공하는 단계; (ii) 상기 차량의 제동 시스템을 활성화하는 단계; 및 (iii) 상기 차량의 추진 시스템을 활성화하는 단계 중 적어도 하나를 포함하는 것인, 시스템.
  15. 제 9 항에 있어서,
    상기 차량의 위치와 상기 주행 차선의 상기 결정된 중심선의 비교에 기초하여 상기 차량의 위치를 위해 필요한 임의의 조정을 디스플레이하기 위해, 상기 차량의 앞 유리의 내부에 부착되거나 또는 상기 앞 유리의 층들 사이에 끼워진 투시 OLED 패널 및 헤드 업 디스플레이 중 적어도 하나를 더 포함하는 것인, 시스템.
  16. 도로 상에서 차량을 중앙에 위치시키기 위한 방법으로서,
    상기 방법은:
    열 이미징을 사용하여 상기 도로에서 이전 차량의 주행의 타이어 트랙을 식별하는 단계;
    상기 식별된 타이어 트랙에 기초하여 주행 경로를 결정하는 단계;
    상기 주행 경로의 목표 중심선을 결정하는 단계;
    상기 주행 경로의 상기 결정된 목표 중심선을 상기 차량의 실제 위치와 비교하는 단계; 및
    상기 비교에 기초하여 상기 차량의 위치에 대한 임의의 조정을 식별하는 단계
    를 포함하는, 방법.
  17. 제 16 항에 있어서,
    상기 타이어 트랙 식별 단계는 상기 차량에 배치된 열 이미징 센서 조립체를 사용하는 단계를 포함하는 것인, 방법.
  18. 제 17 항에 있어서,
    상기 열 이미징 센서 조립체는 상기 차량에 장착된 적어도 하나의 전방 감시 적외선 이미징 센서를 포함하는 것인, 방법.
  19. 제 18 항에 있어서,
    상기 적어도 하나의 적외선 센서는:
    상기 차량의 좌측의 타이어 트랙을 열 이미징하기 위해 상기 차량의 좌측에 장착된 좌측 적외선 센서; 및
    상기 차량의 우측의 타이어 트랙을 열 이미징하기 위해 상기 차량의 우측에 장착된 우측 적외선 센서
    를 포함하는 것인, 방법.
  20. 제 16 항에 있어서,
    상기 타이어 트랙 식별 단계는 상기 이전 차량의 타이어가 횡단한 상기 도로의 부분 상의 제 1 열 시그니처와, 상기 이전 차량의 타이어가 횡단하지 않은 상기 도로의 부분을 나타내는 제 2 열 시그니처 사이의 열 차이를 식별하는 단계를 포함하는 것인, 방법.
  21. 제 16 항에 있어서,
    상기 차량의 안내 시스템을 사용하여 상기 식별된 조정에 기초하여 상기 차량의 위치를 조정하는 단계를 더 포함하는 것인, 방법.
  22. 제 21 항에 있어서,
    상기 차량의 위치의 조정 단계는 (i) 상기 차량의 조향 시스템에 입력을 제공하는 단계; (ii) 상기 차량의 제동 시스템을 활성화하는 단계; 및 (iii) 상기 차량의 추진 시스템을 활성화하는 단계 중 적어도 하나를 포함하는 것인, 방법.
  23. 제 16 항에 있어서,
    상기 차량의 앞 유리의 내부에 부착되거나 또는 상기 차량과 관련된 상기 앞 유리의 층들 사이에 끼워진 투시 OLED 패널 및 헤드 업 디스플레이 중 적어도 하나에 상기 식별된 조정을 디스플레이하는 단계를 추가로 포함하는 것인, 방법.
KR1020207035179A 2018-05-11 2019-04-16 수동 적외선 안내 시스템 KR102496018B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862670209P 2018-05-11 2018-05-11
US62/670,209 2018-05-11
PCT/US2019/027589 WO2019217037A1 (en) 2018-05-11 2019-04-16 Passive infra-red guidance system

Publications (2)

Publication Number Publication Date
KR20210006961A true KR20210006961A (ko) 2021-01-19
KR102496018B1 KR102496018B1 (ko) 2023-02-07

Family

ID=68392180

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207035179A KR102496018B1 (ko) 2018-05-11 2019-04-16 수동 적외선 안내 시스템
KR1020207035180A KR20210008034A (ko) 2018-05-11 2019-04-16 수동 적외선 보행자 검출 및 회피 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020207035180A KR20210008034A (ko) 2018-05-11 2019-04-16 수동 적외선 보행자 검출 및 회피 시스템

Country Status (7)

Country Link
US (3) US10467903B1 (ko)
EP (3) EP4296104A3 (ko)
JP (3) JP7258125B2 (ko)
KR (2) KR102496018B1 (ko)
CN (2) CN112105891A (ko)
CA (2) CA3099099C (ko)
WO (2) WO2019217037A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6988672B2 (ja) 2018-04-25 2022-01-05 トヨタ自動車株式会社 車外報知装置
JP7059786B2 (ja) * 2018-05-08 2022-04-26 トヨタ自動車株式会社 車外報知装置
JP7202208B2 (ja) * 2019-02-13 2023-01-11 株式会社Subaru 自動運転システム
JP2020160914A (ja) * 2019-03-27 2020-10-01 株式会社豊田自動織機 物体検出装置
US11188094B2 (en) * 2019-04-30 2021-11-30 At&T Intellectual Property I, L.P. Autonomous vehicle signaling system
SE544257C2 (en) * 2019-08-23 2022-03-15 Scania Cv Ab Method and control device for controlling driving of a vehicle along a road
CN111391828B (zh) * 2020-03-13 2021-06-15 南京航空航天大学 一种行人过街工况下车辆避撞轨迹的规划方法
CN111413009A (zh) * 2020-04-14 2020-07-14 清华大学 行人体温快速筛查系统及筛查方法、人体温度测量方法
US20220198200A1 (en) * 2020-12-22 2022-06-23 Continental Automotive Systems, Inc. Road lane condition detection with lane assist for a vehicle using infrared detecting device
DE102021108807A1 (de) * 2021-04-08 2022-10-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur erkennung ungeschützter verkehrsteilnehmer durch ein fahrzeug
DE102021002662A1 (de) 2021-05-21 2021-07-15 FEV Group GmbH Verfahren für ein autonomes Fahrzeug zum Detektieren von und/oder Reagieren auf Lebewesen in einer Umgebung des autonomen Fahrzeugs
US11780471B1 (en) * 2021-08-30 2023-10-10 Zoox, Inc. System for determining a state of an object using thermal data
CN113822234B (zh) * 2021-11-22 2022-04-22 成都星宇融科电力电子股份有限公司 基于车载热成像的目标检测预警分析方法、系统及终端
FR3133813A1 (fr) * 2022-03-23 2023-09-29 Psa Automobiles Sa Méthodes et systèmes de conduite d’un véhicule automobile
US20240025400A1 (en) 2022-07-20 2024-01-25 Ford Global Technologies, Llc Far infrared detection of compacted snow for lane keeping

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07104850A (ja) * 1993-08-28 1995-04-21 Lucas Ind Plc 車両用運転者補助システム
JP2003344167A (ja) * 2002-05-23 2003-12-03 Visteon Global Technologies Inc 遠赤外カメラのイメージを強調するシステム
US20110202272A1 (en) * 2010-02-12 2011-08-18 Honeywell International Inc. System for enhancing a vehicle operator's orientation and ability to navigate
JP2014085920A (ja) * 2012-10-25 2014-05-12 Honda Motor Co Ltd 車両周辺監視装置
US20160307053A1 (en) * 2014-01-22 2016-10-20 Polaris Sensor Technologies, Inc. Polarization-Based Mapping and Perception Method and System

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19741631B4 (de) * 1997-09-20 2013-08-14 Volkswagen Ag Verfahren und Vorrichtung zur Vermeidung und/oder Minimierung von Konfliktsituationen im Straßenverkehr
DE59809476D1 (de) 1997-11-03 2003-10-09 Volkswagen Ag Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges
EP1083076A3 (en) * 1999-09-07 2005-01-12 Mazda Motor Corporation Display apparatus for vehicle
US9558663B2 (en) 2000-10-04 2017-01-31 Intelligent Technologies International, Inc. Animal detecting and notification method and system
US20050084659A1 (en) 2003-10-20 2005-04-21 General Atomics Vehicle windshield head-up display
DE10349631A1 (de) 2003-10-24 2005-05-19 Robert Bosch Gmbh Fahrerassistenzverfahren und -vorrichtung auf der Basis von Fahrspurinformationen
JP4376653B2 (ja) * 2004-02-17 2009-12-02 富士重工業株式会社 車外監視装置
JP2005266634A (ja) * 2004-03-22 2005-09-29 Sharp Corp 撮像装置
DE102004016981A1 (de) * 2004-04-07 2005-10-27 Robert Bosch Gmbh Verfahren und Vorrichtung zur Warnung des Fahrers eines Kraftfahrzeuges
JP4734884B2 (ja) * 2004-09-30 2011-07-27 日産自動車株式会社 人物検出装置及び方法
US7786898B2 (en) * 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
JP5262057B2 (ja) * 2006-11-17 2013-08-14 株式会社豊田中央研究所 照射装置
JP2008162477A (ja) * 2006-12-28 2008-07-17 Toyota Motor Corp 車両用接近告知装置
JP4434234B2 (ja) * 2007-05-30 2010-03-17 トヨタ自動車株式会社 車両用撮像システム、及び車両用制御装置
US20080306666A1 (en) * 2007-06-05 2008-12-11 Gm Global Technology Operations, Inc. Method and apparatus for rear cross traffic collision avoidance
JP2009217682A (ja) * 2008-03-12 2009-09-24 Yazaki Corp 車両用表示装置
US8103604B2 (en) 2008-03-18 2012-01-24 Manchester Metropolitan University Remote detection and measurement of objects
US8988525B2 (en) * 2009-08-27 2015-03-24 Robert Bosch Gmbh System and method for providing guidance information to a driver of a vehicle
CN102511046B (zh) * 2009-12-02 2015-03-25 塔塔咨询服务有限公司 使用近红外照相机对行人进行检测、分类并追踪的有成本效益的系统及方法
JP2012027773A (ja) * 2010-07-26 2012-02-09 Toyota Central R&D Labs Inc 擬似濃淡画像生成装置及びプログラム
US20120038778A1 (en) * 2010-08-11 2012-02-16 United States Of America, As Represented By The Secretary Of The Army Self-Scanning Passive Infrared Personnel Detection Sensor
JP5742937B2 (ja) * 2011-06-02 2015-07-01 トヨタ自動車株式会社 車両用視界支援装置
PT2723615T (pt) * 2011-06-24 2023-05-24 Surveillance Guard Co Ltd Um sistema de prevenção de acidente e um veículo que inclui o sistema de prevenção de acidente
KR101349025B1 (ko) 2011-11-25 2014-01-10 현대자동차주식회사 원적외선 스마트 나이트 뷰를 위한 차선 정보 합성 장치 및 방법
GB2497091B (en) 2011-11-29 2013-11-20 Qhi Group Ltd Monitoring an electrical joint
JP2013114536A (ja) * 2011-11-30 2013-06-10 Seiko Epson Corp 安全支援装置、及び、安全支援方法
WO2013113421A1 (de) * 2012-02-03 2013-08-08 Continental Teves Ag & Co. Ohg SIGNALGEBER, SYSTEM UND VERFAHREN ZUR HERVORHEBUNG VON OBJEKTEN IM STRAßENVERKEHR SOWIE VERWENDUNG DES SYSTEMS UND VERWENDUNG DES SIGNALGEBERS
DE102012201896A1 (de) 2012-02-09 2013-08-14 Robert Bosch Gmbh Fahrerassistenzverfahren und Fahrerassistenzsystem für verschneite Straßen
EP2827318A4 (en) * 2012-03-12 2016-01-13 Honda Motor Co Ltd DEVICE FOR MONITORING VEHICLE PERIPHERY
JP5529910B2 (ja) * 2012-03-12 2014-06-25 本田技研工業株式会社 車両周辺監視装置
US9855947B1 (en) * 2012-04-22 2018-01-02 Emerging Automotive, Llc Connected vehicle communication with processing alerts related to connected objects and cloud systems
JP5696701B2 (ja) * 2012-08-31 2015-04-08 株式会社デンソー 対歩行者報知装置
EP3007151A4 (en) * 2013-05-31 2017-02-22 Hitachi Automotive Systems, Ltd. Vehicular risk alert control device
DE102013210826A1 (de) 2013-06-11 2014-12-11 Robert Bosch Gmbh Verfahren zum Betreiben einer Anzeigevorrichtung, Computer-Programmprodukt, Anzeigevorrichtung
JP6035207B2 (ja) 2013-06-14 2016-11-30 日立オートモティブシステムズ株式会社 車両制御システム
KR101543105B1 (ko) * 2013-12-09 2015-08-07 현대자동차주식회사 보행자 인식 장치 및 그의 처리 방법과 이를 지원하는 차량
DE102014201159A1 (de) * 2014-01-23 2015-07-23 Robert Bosch Gmbh Verfahren und Vorrichtung zum Klassifizieren eines Verhaltens eines Fußgängers beim Überqueren einer Fahrbahn eines Fahrzeugs sowie Personenschutzsystem eines Fahrzeugs
DE102014201382A1 (de) * 2014-01-27 2015-07-30 Robert Bosch Gmbh Verfahren zum Betreiben eines Fahrerassistenzsystems und Fahrerassistenzsystem
IL236114A (en) * 2014-12-07 2016-04-21 Yoav Grauer Improved object recognition in the reimbursement-based imaging unit
US20160180175A1 (en) 2014-12-18 2016-06-23 Pointgrab Ltd. Method and system for determining occupancy
US10457113B2 (en) 2015-02-27 2019-10-29 Braeburn Inc. Vehicle extreme temperature safety systems and methods
JP6624798B2 (ja) * 2015-03-30 2019-12-25 セコム工業株式会社 検知装置
JP6637686B2 (ja) 2015-06-30 2020-01-29 株式会社デンソーテン 情報提示装置、車載装置、情報提示システムおよび情報提示方法
WO2017073348A1 (ja) * 2015-10-27 2017-05-04 富士フイルム株式会社 赤外線撮像装置及びその制御方法、並びに車両
US10019902B2 (en) * 2015-11-06 2018-07-10 Continental Automotive Systems, Inc. Enhanced sound generation for quiet vehicles with vehicle-to-vehicle communication capabilities
US20170219240A1 (en) 2016-02-03 2017-08-03 Avaya Inc. Method and apparatus for a fan auto adaptive noise
SE539816C2 (en) 2016-04-19 2017-12-05 Scania Cv Ab Method and control unit in a vehicle for estimating a stretch of a road based on a set of tracks of another vehicle
JP6310503B2 (ja) 2016-06-06 2018-04-11 本田技研工業株式会社 車両及びレーン変更タイミング判定方法
US9898005B2 (en) 2016-06-24 2018-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Driving path determination for autonomous vehicles
US10656640B2 (en) 2016-07-07 2020-05-19 Applied Minds, Llc Systems and methods for centralized control of autonomous vehicles
US10737702B2 (en) 2016-07-27 2020-08-11 Toyota Motor Engineering & Manufacturing North America, Inc. Visually simulating driving plans in autonomous vehicles
CA3038643A1 (en) 2016-09-27 2018-04-05 Nissan Motor Co., Ltd. Self-position estimation method and self-position estimation device
US10053089B2 (en) * 2016-11-16 2018-08-21 Nio Usa, Inc. System for controlling a vehicle based on thermal profile tracking
KR101996418B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101996419B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
JP6741603B2 (ja) 2017-01-16 2020-08-19 株式会社Ｓｏｋｅｎ 推定装置
JP7013727B2 (ja) 2017-08-25 2022-02-01 株式会社デンソー 車両制御装置
US10175112B1 (en) 2017-12-14 2019-01-08 Adasky, Ltd Compact infrared camera for automotive safety and driving systems
JP6965739B2 (ja) 2017-12-27 2021-11-10 株式会社デンソー 車両制御装置
JP7104850B2 (ja) 2019-03-11 2022-07-21 株式会社日本触媒 （メタ）アクリル酸金属塩含有組成物および（メタ）アクリル酸金属塩含有液

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07104850A (ja) * 1993-08-28 1995-04-21 Lucas Ind Plc 車両用運転者補助システム
JP2003344167A (ja) * 2002-05-23 2003-12-03 Visteon Global Technologies Inc 遠赤外カメラのイメージを強調するシステム
US20110202272A1 (en) * 2010-02-12 2011-08-18 Honeywell International Inc. System for enhancing a vehicle operator's orientation and ability to navigate
JP2014085920A (ja) * 2012-10-25 2014-05-12 Honda Motor Co Ltd 車両周辺監視装置
US20160307053A1 (en) * 2014-01-22 2016-10-20 Polaris Sensor Technologies, Inc. Polarization-Based Mapping and Perception Method and System

Also Published As

Publication number Publication date
EP3788320A1 (en) 2021-03-10
CN112106348A (zh) 2020-12-18
US20190346857A1 (en) 2019-11-14
CN112105891A (zh) 2020-12-18
JP2021522637A (ja) 2021-08-30
WO2019217037A1 (en) 2019-11-14
KR20210008034A (ko) 2021-01-20
EP4296104A2 (en) 2023-12-27
CA3099092A1 (en) 2019-11-14
US10467903B1 (en) 2019-11-05
JP2023175741A (ja) 2023-12-12
US10613545B2 (en) 2020-04-07
CA3099099C (en) 2023-08-29
JP2021523507A (ja) 2021-09-02
CN112106348B (zh) 2024-03-15
KR102496018B1 (ko) 2023-02-07
EP3788778A4 (en) 2022-01-26
US20190346855A1 (en) 2019-11-14
US20190347938A1 (en) 2019-11-14
EP4296104A3 (en) 2024-01-10
EP3788778A1 (en) 2021-03-10
CA3099099A1 (en) 2019-11-14
WO2019217038A1 (en) 2019-11-14
US10755576B2 (en) 2020-08-25
EP3788320A4 (en) 2022-01-26
JP7258125B2 (ja) 2023-04-14

Similar Documents

Publication Publication Date Title
KR102496018B1 (ko) 수동 적외선 안내 시스템
US11650603B2 (en) Detecting general road weather conditions
US10739780B1 (en) Detecting street parked vehicles
EP3707573B1 (en) Methods and systems for sun-aware vehicle routing
US11554775B2 (en) Passive infra-red guidance system
US11927956B2 (en) Methods for transitioning between autonomous driving modes in large vehicles
US11062608B2 (en) Passive infra-red pedestrian and animal detection and avoidance system
US11294380B2 (en) Passive infra-red guidance system
WO2021021427A1 (en) Methods for transitioning between autonomous driving modes in large vehicles

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant