JP2023507939A - 周囲センサハウジング - Google Patents

周囲センサハウジング Download PDF

Info

Publication number
JP2023507939A
JP2023507939A JP2022536695A JP2022536695A JP2023507939A JP 2023507939 A JP2023507939 A JP 2023507939A JP 2022536695 A JP2022536695 A JP 2022536695A JP 2022536695 A JP2022536695 A JP 2022536695A JP 2023507939 A JP2023507939 A JP 2023507939A
Authority
JP
Japan
Prior art keywords
vehicle
image sensor
sensor
sensing module
housing section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022536695A
Other languages
English (en)
Other versions
JP7457811B2 (ja
Inventor
アヴラム,ピーター
トス,キンバリー
ディットマー,ジェレミー
グイディ,ジュリア
Original Assignee
ウェイモ エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウェイモ エルエルシー filed Critical ウェイモ エルエルシー
Publication of JP2023507939A publication Critical patent/JP2023507939A/ja
Application granted granted Critical
Publication of JP7457811B2 publication Critical patent/JP7457811B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/107Longitudinal acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865Combination of radar systems with lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/89Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813Housing arrangements
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/22Command input arrangements
    • G05D1/228Command input arrangements located on-board unmanned vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60Intended control result
    • G05D1/617Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/56Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • B60W2520/105Longitudinal acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/18Braking system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/20Steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00Output or target parameters relating to overall vehicle dynamics
    • B60W2720/24Direction of travel
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/027Constructional details of housings, e.g. form, type, material or ruggedness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Chemical & Material Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

この技術は、自律運転モードで動作するように構成された車両の外部センサシステムに関する。この技術は、車両周辺の死角に対処するための近接感知(CIS)カメラシステムを含む。CISシステムは、車両から数メートル以内の物体を検出するために使用される。物体の分類に基づいて、システムは、リアルタイムの運転決定を行うことができる。Lidarセンサ(800、1804)と組み合わせてカメラを使用することにより、分類が強化される。単一のセンサハウジング内の複数のセンサの特定の配置も、物体の検出および分類にとって重要である。したがって、センサおよび支持構成要素の配置は、オクルージョンを回避し、さもなければ様々なセンサハウジング要素間の干渉を防止するように選択される。【選択図】図7B

Description

関連出願の相互参照
本出願は、2020年1月8日に出願された米国出願第16/737,359号、および2019年12月30日に出願された米国仮出願第62/954,938号の利益を主張し、それらの開示全体は、参照により本明細書に組み込まれる。本出願は、2020年1月8日に出願された「Close-in Sensing Camera System」と題された同時係属中の米国出願第16/737,263号(代理人整理番号第XSDV3.0F-2134号)に関連し、その開示全体は、参照により本明細書に組み込まれる。
自動運転(自律型)車両は、一部または全部の状況で人間の運転者を必要としない。このような車両は、乗客または貨物をある場所から別の場所に輸送することができる。このような車両は、完全自律モードで、または車両内の人が何らかの運転入力を提供することができる部分自律モードで動作し得る。自律モードで動作するために、車両は、外部環境内の車両および他の物体を検出するためのセンサを使用し、センサから受信した情報を使用して様々な運転動作を実行してもよい。ただし、車両に直接隣接する物体およびセンサの視野内のオクルージョンは、運転動作に悪影響を与える可能性がある。
この技術は、自動運転(自律)モードで動作するように構成された車両の外部センサシステムに関する。一般的に、センサは車両周辺の環境にある物体を検出するために使用される。これらは、Lidar、レーダー、カメラ、ソナー、および/または他のセンサを含むことができる。異なるセンサには様々な利点があり、複数のセンサからのセンサフュージョンを使用して、環境をより完全に理解し、車両が運転を決定できるようにすることができる。ただし、環境内の車両および物体のサイズ、形状などによっては、運転の決定および他の自律的な動作に影響を与える可能性のある死角が存在する可能性がある。これらは、車両に直接隣接する死角を含む。このような問題は、統合されたユニット内に異なるタイプのセンサを同じ場所に配置できるセンサハウジングを注意深く選択して配置することで大幅に軽減することができる。これは、Lidarセンサと統合された近接カメラシステム、レーダーおよび/または他のセンサと同じ場所に配置された周囲ビューカメラなどを含む。
一態様によれば、自律運転モードで動作するように構成された車両用の外部感知モジュールが提供される。外部感知モジュールは、Lidarセンサおよび画像センサを備える。Lidarセンサは、外部感知モジュールの第1のハウジングセクションに沿って配置される。Lidarセンサは、車両の周囲かつ、車両の閾値距離内の外部環境の領域内にある物体を検出するように構成されている。画像センサは、外部感知モジュールの第2のハウジングセクションに沿って配置される。画像センサを備えた第2のハウジングセクションは、Lidarセンサを備えた第1のハウジングセクションと垂直に位置合わせされる。画像センサは、外部環境の領域の妨げられていない視野を有するように、車両に沿って配置される。画像センサは、Lidarセンサによって検出された物体を分類するために、車両の閾値距離内にある物体のために選択された解像度を提供する。外部感知モジュールの第3のハウジングセクションは、第1のハウジングセクションと第2のハウジングセクションとの間に配設される。第3のハウジングセクションは、画像センサとLidarセンサとの間の干渉を防ぐように配置された外面を含む。
画像センサは、Lidarセンサの上または下に配置することができる。画像センサは、車両の側面に対して下向きの角度で配置することができ、下向きの角度は、車両の閾値距離内のカバレッジを提供するために20~40°程度である。閾値距離は、車両から1~3メートルの間である可能性がある。
外部感知モジュールは、画像センサの視野を照明するように構成された1つ以上の照明器ユニットをさらに備え得る。一例では、1つ以上の照明器ユニットは、第2のハウジングセクションに沿って画像センサに隣接して配設され得る。例えば、1つ以上の照明器ユニットは、画像センサの両側に配設された一対の照明器であり得る。外部感知モジュールは、画像センサおよび/または1つ以上の照明器ユニットを浄化するように構成された浄化機構をさらに含み得る。
一例では、外部感知モジュールは、第1および第2のハウジングセクションの両方のうちの片側に配置された、外部感知モジュールの第4のハウジングセクションに沿って配設されたレーダーセンサをさらに備える。第4のハウジングセクションは、第1および第2のセクションよりも車両の前方に近く配置され得る。外部感知モジュールは、外部感知モジュールの第5のハウジングセクションに沿って配設された少なくとも1つの追加の画像センサをさらに備え得、第4のハウジングセクションは、第5のハウジングセクションと第1および第2のハウジングセクションとの間に配置されている。一例では、少なくとも1つの追加の画像センサは、レーダーセンサに対してほぼ平面に配設され、第2のハウジングセクションに沿って配置された画像センサの視野とは別の、車両の側面に沿った選択された視野を提供するように配置された所与の追加の画像センサを備える。別の例では、少なくとも1つの追加の画像センサが、レーダーセンサにほぼ垂直に配設され、第2のハウジングセクションに沿って配置された画像センサの視野とは別の、車両の前部に沿った選択された視野を提供するように配置された所与の追加の画像センサを備える。少なくとも1つの追加の画像センサは、第1および第2の追加の画像センサを含み得る。ここで、第1の追加の画像センサは、レーダーセンサに対してほぼ平面に配設され、第2のハウジングセクションに沿って配置された画像センサの視野とは別の、車両の側面に沿った選択された視野を提供するように配置され、第2の追加の画像センサは、レーダーセンサおよび第1の追加の画像センサにほぼ垂直に配設され、第2のハウジングセクションおよび第1の追加の画像センサの選択された視野に沿って配置された画像センサの視野とは別の、車両の前部に沿った選択された視野を提供するように配置される。
別の態様によれば、自律運転モードで動作するように構成された車両用の外部感知モジュールが提供される。外部感知モジュールは、レーダーセンサおよび画像センサを備える。レーダーセンサは、外部感知モジュールの第1のハウジングセクションに沿って配置される。レーダーセンサは、車両の周囲かつ、車両の閾値距離内の外部環境の領域内にある物体を検出するように構成されている。画像センサは、外部感知モジュールの第2のハウジングセクションに沿って配置される。画像センサを備えた第2のハウジングセクションは、レーダーセンサを備えた第1のハウジングセクションに隣接している。画像センサは、外部環境の領域の視野が重なるように、車両に沿って配置される。画像センサは、レーダーセンサによって検出された物体を分類するために、車両の閾値距離内の物体に選択された解像度を提供する。
外部感知モジュールは、車両の後方の物体を検出および分類するために、車両のリアバンパーに沿って配設され得る。例えば、画像センサの視野は、車両の後部に沿って30~60°の間であり得る。代替的または追加的に、画像センサの視野は、15~35°の間の外方位角および10~25°の間の内方位角を有する。第2のハウジングセクションは、第1のハウジングセクションよりも車両の隣接する側のより近くに配設され得る。
また別の態様によれば、自律運転モードで動作するように構成された車両が提供される。車両は、運転システムおよび外部感知モジュールを備える。運転システムは、車両のブレーキを制御するように構成された減速システムと、車両の加速を制御するように構成された加速システムと、車輪の向きおよび車両の方向を制御するように構成されたステアリングシステムと、を含む。外部感知モジュールは、Lidarセンサおよび画像センサを含む。Lidarセンサは、外部感知モジュールの第1のハウジングセクションに沿って配置される。Lidarセンサは、車両の周囲かつ、車両の閾値距離内の外部環境の領域内にある物体を検出するように構成されている。画像センサは、外部感知モジュールの第2のハウジングセクションに沿って配置される。画像センサを備えた第2のハウジングセクションは、Lidarセンサを備えた第1のハウジングセクションと垂直に位置合わせされる。画像センサは、外部環境の領域の妨げられていない視野を有するように、車両に沿って配置される。画像センサは、Lidarセンサによって検出された物体を分類するために、車両の閾値距離内にある物体のために選択された解像度を提供する。外部感知モジュールの第3のハウジングセクションは、第1のハウジングセクションと第2のハウジングセクションとの間に配設される。第3のハウジングセクションは、画像センサとLidarセンサとの間の干渉を防ぐように配置された外面を含む。
外部感知モジュールは、画像センサの視野を照明するように構成された1つ以上の照明器ユニットをさらに備え得る。1つ以上の照明器ユニットは、第2のハウジングセクションに沿って画像センサに隣接して配設されている。外部感知モジュールは、画像センサおよび/または1つ以上の照明器ユニットを浄化するように構成された浄化機構をさらに含み得る。
本技術の態様で使用するために構成された例示的な車両を示す。 本技術の態様で使用するために構成された別の例示的な車両を示す。 本技術の態様で使用するために構成された例示的な貨物車両を示す。 本技術の態様による例示的な車両のシステムのブロック図である。 本技術の態様による例示的な貨物型車両のシステムのブロック図である。 本開示の態様による車両周辺領域の例を示す。 本開示の態様による例示的なセンサ視野を示す。 本開示の態様による例示的な周囲カメラ視野を示す。 本開示の態様による周囲カメラおよび赤外線照明器の例示的な配置を示す。 本開示の態様による例示的な周囲センサハウジングアセンブリを示す。 本開示の態様によるオクルージョンを最小化するための例示的なセンサ構成を示す。 本開示の態様による周囲センサ視野の例を示す。 本技術の態様による例示的なオクルージョンシナリオを示す。 本開示の態様による例示的な周囲センサハウジングアセンブリを示す。 本開示の態様によるオクルージョンを最小化するための例示的なセンサ構成を示す。 本開示の態様による周囲センサ視野の例を示す。 本開示の態様による、別の例示的な周囲センサハウジングアセンブリを示す。 図14A~Eの周囲センサハウジングアセンブリの変形例を示す。 本開示の態様による、また別の例示的な周囲センサハウジングアセンブリを示す。 図16A~Eの周囲センサハウジングアセンブリの変形例を示す。 本開示の態様による動作の方法を示す。
本技術の態様は、車両周辺の死角に対処するための近接感知(CIS)カメラシステムを含む。CISシステムは、車両から数メートル(例えば、3メートル未満)以内で検出された物体の分類を助けるために使用される。物体の分類に基づいて、システムは「運転可能」(車両が運転できるもの)である可能性のある物体と「運転不可能」である可能性のある物体を区別することができる。例として、運転可能な物体は、植物、葉の山、紙またはビニール袋などである可能性があり、一方、運転不可能な物体は、回避しなければならないタイプの物体(例えば、歩行者、自転車、ペットなど)または乗り越えた場合に車両に損傷を与える可能性がある(例えば、背の高い縁石、割れたガラス、深い穴、消火剤など)を含む。1つのシナリオでは、カメラをLidarセンサと組み合わせて使用することで分類が強化される。これは、人が車両の隣にいるかどうかを判断しようとするときに非常に重要になる可能性がある。カメラは各々、1つ以上の画像センサを含み得る。CCDまたは他のタイプの撮像要素が用いられ得るが、画像センサは、CMOSセンサであり得る。
技術の他の態様は、単一のセンサハウジング内の複数のセンサの配置および構成に関する。以下でさらに説明するように、例えばセンサの融合を支援するために、同じハウジング内に異なるセンサタイプを同じ場所に配置することには利点がある。ただし、センサの配置は、例えば、あるセンサが別のセンサによって遮られるのを避けるため、センサ間のキャリブレーションをより正確にするため、および/またはセンサ間の干渉を防ぐために、非常に重要であり得る。例として、赤外線(IR)または光学照明器などの照明器は、カメラ、例えばIR光に敏感なカメラのレンズに直接光が当たらないように配置する必要がある。
例示的な車両システム
図1Aは、ミニバン、セダン、またはスポーツユーティリティ車両などの乗客用車両100の斜視図を示す。図1Bは、乗客用車両100の上から見た図を示す。乗客用車両100は、車両の外部環境に関する情報を取得するための様々なセンサを含むことができる。例えば、屋上ハウジング102は、Lidarセンサ、ならびに様々なカメラ、レーダーユニット、赤外線および/または音響センサを含むことができる。車両100の前端部に位置付けられたハウジング104、ならびに車両の運転者側および乗客側のハウジング106a、106bは、各々、Lidarおよび/または他のセンサを組み込むことができる。例えば、ハウジング106aは、車両のクォーターパネルに沿って運転席サイドドアの前に位置付けられてもよい。図示されるように、乗客用車両100はまた、レーダーユニット、Lidar、および/または車両の後部屋根部分にも向かって位置付けられる、カメラのためのハウジング108a、108bも含む。他のハウジング110a、110bは、例えば、後輪の上および後ろなど、後部クォーターパネルに沿って配置され得る。
追加のLidar、レーダーユニット、および/またはカメラ(図示せず)は、車両100に沿った他の場所に位置付けられてもよい。例えば、矢印112は、センサユニット(図1Bの112)が、例えば、バンパーまたはトランクのドア/蓋の上またはそれに隣接するなど、車両100の後部に沿って配置され得ることを示す。かつ、矢印114は、車両の前方を向いた方向に沿って配置された一連のセンサユニット116を示す。別々に示されているが、一例では、センサユニット116は、屋上ハウジング102の前向きセクションに統合され得る。いくつかの例では、乗客用車両100はまた、車両の内部空間に関する情報を取得するための様々なセンサも含むことができる。内部センサは、カメラセンサ、聴覚センサ、および赤外線センサのうちの少なくとも1つを含むことができる。
車両のタイプおよび構成に応じて、車両の周囲に配設されるセンサハウジングの数が多くても少なくてもよい。例えば、図1Cの例示的な車両150に示されるように、車両100と同様に、ルーフトップセンサハウジング152、フロントセンサハウジング154、フロントクォーターパネルに沿ったサイドハウジング156aおよび156b、リアクォーターパネルに沿ったサイドハウジング158、および矢印160で示されるリアセンサハウジングがあり得る。本開示のある態様は、特定のタイプの車両に関連して特に有用であるが、車両は、乗用車、トラック、オートバイ、バス、レクリエーション用車両などを含むがこれらに限定されない任意のタイプの車両であってもよい。
図1D~Eは、トラクタトレーラトラックなどの例示的な貨物車両170を示す。トラックは、例えば、シングル、ダブル、またはトリプルのトレーラを含むことができ、または商用重量クラス4~8などの別の中型または大型トラックであり得る。図示するように、トラックは、トラクタユニット172と、単一の貨物ユニットまたはトレーラ174と、を含む。トレーラ174は、輸送する貨物のタイプに応じて、完全に密閉されるか、フラットベッドのように開くか、または部分的に開くことができる。この例では、トラクタユニット172は、エンジンおよびステアリングシステム(図示せず)と、運転者および任意の乗客のための運転室176と、を含む。
トレーラ174は、キングピンとして知られるヒッチングポイント178を含む。キングピン178は、通常、中実のスチールシャフトとして形成され、トラクタユニット172に旋回可能に取り付けられるように構成される。特に、キングピン178は、運転室の後方に装着された第5輪として知られるトレーラ連結部180に取り付ける。ダブルまたはトリプルトラクタトレーラの場合、第2のおよび/または第3のトレーラは、先頭のトレーラへの単純なヒッチ接続を有してもよい。または代替的に、各トレーラは、独自のキングピンを有してもよい。この場合、少なくとも第1および第2のトレーラは、次のトレーラに連結するように配置された第5輪タイプの構造を含むことができる。
図示するように、トラクタは、トラクタに沿って配設された1つ以上のセンサユニット182、184および/または186を有してもよい。例えば、1つ以上のセンサユニット182を運転室176の屋根または頂部部分に配設することができ、1つ以上の側方センサユニット184を運転室176の左側および/または右側に配設することができる。センサユニットは、例えば、フロントバンパーまたはフードエリアに沿って、運転室の後方に、第5輪に隣接して、シャーシの下など、運転室176の他の領域に沿って配置されてもよい。トレーラ174はまた、例えば、トレーラに沿って、例えば、トレーラ174の側方パネル、前方、後方、屋根、および/またはアンダーキャリッジに沿って、1つ以上のセンサユニット186を配設することもできる。
図1A~Bの乗客用車両のセンサユニットのように、貨物用車両の各センサユニットは、例えば、Lidar、レーダー、カメラ(例えば、光学もしくは赤外線)、音響センサ(例えば、マイクロフォンもしくはソナータイプセンサ)、慣性センサ(例えば、加速度計、ジャイロスコープ、など)、または他のセンサ(例えば、GPSセンサなどの測位センサ)などの1つ以上のセンサを含み得る。本開示のある態様は、特定のタイプの車両に関連して特に有用であるが、車両は、乗用車、トラック、オートバイ、バス、レクリエーション用車両などを含むがこれらに限定されない任意のタイプの車両であってもよい。
図2Aは、完全または半自律動作モードで動作するように構成された、車両100および150などの例示的な車両の様々な構成要素およびシステムを有するブロック図200を示す。例として、部分的または完全な自律運転モードで動作する車両では、異なる程度の自律性が発生し得る。U.S.National Highway Traffic Safety Administration and the Society of Automotive Engineersは、どれだけ多く、またはどれだけ少なく、車両が運転を制御するかを示すために、異なるレベルを特定した。例えば、レベル0は自動化されておらず、運転者は、運転に関連するすべての決定を行う。最も低い半自律モードであるレベル1は、クルーズコントロールなど、何らかの運転支援を含む。レベル2は、特定の運転動作の部分的な自動化を有し、レベル3は、必要に応じて運転者席の人が制御することが可能であり得る条件付きの自動化を伴う。対照的に、レベル4は、車両が選んだ条件で支援なしで運転することができる高度な自動化レベルである。レベル5は、車両があらゆる状況下で支援なしで運転することができる完全自律モードである。本明細書に記載のアーキテクチャ、構成要素、システム、および方法は、本明細書で「自律」運転モードと呼ばれる、例えば、レベル1~5の半自律モードまたは完全自律モードのいずれかで機能することができる。したがって、自律運転モードへの言及には、部分的自律性および完全自律性の両方が含まれる。
図2に示されるように、ブロック図200は、1つ以上のプロセッサ204、メモリ206、および汎用コンピューティングデバイスに典型的に存在する他の構成要素を含むコンピューティングデバイスなど1つ以上のコンピューティングデバイス202を含み得る。メモリ206は、1つ以上のプロセッサ204によってアクセス可能な情報を記憶し、その情報には、プロセッサ204によって実行されるかまたは他の方法で使用され得る命令208およびデータ210が含まれる。コンピューティングシステムは、自律モードで動作するとき、車両の全体的な動作を制御することができる。
メモリ206は、プロセッサ204によって実行またはさもなければ使用され得る命令208およびデータ210を含む、プロセッサ204によってアクセス可能な情報を記憶する。メモリ206は、コンピューティングデバイス可読媒体を含む、プロセッサによってアクセス可能な情報を記憶することができる任意のタイプのものであり得る。メモリは、ハードドライブ、メモリカード、光ディスク、ソリッドステートなどの非一過性の媒体である。システムは、前述の異なる組み合わせを含むことができ、それにより、命令およびデータの異なる部分が異なるタイプの媒体に記憶される。
命令208は、プロセッサによって直接的に(マシンコードなど)または間接的に(スクリプトなど)実行される任意の命令のセットであってもよい。例えば、命令は、コンピューティングデバイス可読媒体上のコンピューティングデバイスコードとして記憶されてもよい。その点において、「命令」、「モジュール」、および「プログラム」という用語は、本明細書では区別なく使用され得る。データ210は、命令208に従って、1つ以上のプロセッサ304によって検索、記憶、または修正され得る。一例では、メモリ206の一部または全部は、車両診断、検出されたセンサデータおよび/または物体検出および分類と関連して使用される1つ以上の挙動/分類モデルを記憶するように構成されたイベントデータレコーダまたは他の安全なデータストレージシステムであってもよく、実装形態に応じて、車両に搭載されてもよく、または遠隔地にあってもよい。例えば、モデルを使用して、物体が車両に隣接する人(例えば、歩行者)、自転車、ボール、または建設標識であるかどうかを分類することができる。分類に基づいて、システムは、その物体の挙動を予測または割り当て、運転関連の決定を行うときに分類/挙動を使用する場合がある。これは、例えば、車両が駐車場におり、駐車場を出ようとしていることを車両の隣の歩行者に警告することを含むことができる。
プロセッサ204は、市販されているCPUなどの、任意の従来のプロセッサであってもよい。代替的に、各プロセッサは、ASICまたは他のハードウェアベースプロセッサなどの専用デバイスであってもよい。図2は、コンピューティングデバイス202のプロセッサ、メモリ、および他の要素が同じブロック内にあることを機能的に示すが、そのようなデバイスは、実際には、同じ物理的ハウジング内に格納されてもされなくてもよい複数のプロセッサ、コンピューティングデバイス、またはメモリを含んでもよい。同様に、メモリ206は、プロセッサ204のものとは異なるハウジング内に位置するハードドライブまたは他のストレージ媒体であり得る。したがって、プロセッサまたはコンピューティングデバイスへの言及は、並行に動作してもしなくてもよいプロセッサまたはコンピューティングデバイスまたはメモリの集合体への言及を含むことが理解されよう。
一例では、コンピューティングデバイス202は、車両に組み込まれた自律運転コンピューティングシステムを形成し得る。自律運転コンピューティングシステムは、車両の様々な構成要素と通信することが可能であり得る。例えば、コンピューティングデバイス202は、(車両のブレーキを制御するための)減速システム212、(車両の加速を制御するための)加速システム214、(車輪の向きおよび車両の方向を制御するための)ステアリングシステム216、(方向指示器を制御するための)シグナリングシステム218、(車両をある場所または対象物の辺りにナビゲートするための)ナビゲーションシステム220、および(車両の位置を判断するための)測位システム222を含む運転システムを含む、車両の様々なシステムと通信することができる。自律運転コンピューティングシステムは、ナビゲーションシステム220および測位システム222に従って、例えば出発点から目的地までのルートを決定するためのプランナーとして部分的に動作することができる。
コンピューティングデバイス202はまた、車両の乗客からの連続的または定期的な入力を要求しないかまたは必要としない自律運転モードで、メモリ206の命令208に従って、車両の動き、速度などを制御するために、(車両の環境内の物体を検出するための)知覚システム224、電力システム226(例えば、バッテリおよび/またはガソリンもしくはディーゼル動力エンジン)、ならびにトランスミッションシステム230に動作可能に連結される。車輪/タイヤ228の一部または全部は、トランスミッションシステム230に連結され、コンピューティングデバイス202は、自律モードでの運転に影響を与え得るタイヤ空気圧、バランス、および他の要因に関する情報を受信することが可能であり得る。電力システム226は、1つ以上の電力分配要素を有してもよく、その各々は、車両の選択された構成要素および他のシステムに電力を供給することができる。
コンピューティングデバイス202は、様々な構成要素を制御することによって車両の方向および速度を制御してもよい。例として、コンピューティングデバイス202は、地図情報およびナビゲーションシステム220からのデータを使用して、車両を目的地に完全に自律的にナビゲートし得る。コンピューティングデバイス202は、測位システム222を使用して車両の場所を判断し、その場所に安全に到着する必要があるとき、知覚システム224を使用して、物体を検出し、物体に応答することができる。そうするために、コンピューティングデバイス202は、車両を(例えば、加速システム214によってエンジンに提供される燃料または他のエネルギーを増加させることによって)加速し、(例えば、エンジンに供給される燃料を低減し、ギヤを切り替え、および/または減速システム212によってブレーキをかけることによって)減速し、(例えば、ステアリングシステム216によって、車両の前輪または後輪の向きを変えることによって)方向を変更し、(例えば、シグナリングシステム218の方向指示器を点灯することによって)そのような変更を合図し得る。したがって、加速システム214および減速システム212は、車両のエンジンと車両の車輪との間に様々な構成要素を含む、動力伝達装置または他のタイプのトランスミッションシステム230の一部であり得る。この場合も、これらのシステムを制御することによって、コンピューティングデバイス202はまた、車両を自律的に操縦するために、車両のトランスミッションシステム230を制御することができる。
ナビゲーションシステム220は、ある場所までのルートを決定し、たどるために、コンピューティングデバイス202によって使用され得る。この点について、ナビゲーションシステム220および/またはメモリ206は、地図情報、例えば、コンピューティングデバイス202が車両をナビゲートまたは制御するために使用することができる非常に詳細な地図を記憶し得る。一例として、これらの地図は、車道、区画線、交差点、横断歩道、速度制限、交通信号機、建物、標識、リアルタイムの交通情報、植生、または他のそのような物体ならびに情報の形状および標高を識別し得る。区画線は、実線または破線の、二重または単一の車線境界線、実線または破線の車線境界線、反射板などの特徴を含み得る。所定の車線は、車線の境界を画定する、左および/または右の車線境界線または他の区画線と関連付けられ得る。このため、ほとんどの車線は、1つの車線ラインの左端と、別の車線ラインの右端とによって境界付けられ得る。
知覚システム224は、車両の外部の物体を検出するためのセンサユニットを含む。検出された物体は、他の車両、道路の障害物、信号機、標識、樹木、歩行者、自転車に乗る人などであってもよい。以下でさらに説明するように、外部センサスイート232には、車両の外部環境における物体および状態を検出するための1つ以上のセンサを各々有する様々なハウジングを含む。また、内部センサスイート234は、1つ以上の他のセンサを使用して、乗客車室内の乗客、ペットおよびパッケージ、トランクエリア内のパッケージまたは他の貨物など、車両内の物体および状態を検出することができる。外部センサスイート232および内部センサスイート234の両方において、異なるセンサを有するハウジングは、様々な環境条件における物体検出を提供するだけでなく、検出された物体の迅速な分類を可能にするために、車両の周りに配置される。これにより、車両は効果的なリアルタイムの運転決定を行うことができる。
センサからの生データおよび前述の特性は、知覚システム224によって処理され、および/またはデータが知覚システム224によって生成されるにつれて、周期的および連続的にコンピューティングデバイス202に、さらなる処理のために送信され得る。コンピューティングデバイス202は、測位システム222を使用して車両の場所を判断し、その場所に安全に到着する必要があるとき、知覚システム224を使用して、対象物を検出し、対象物に応答することができる。加えて、コンピューティングデバイス202は、個々のセンサ、特定のセンサアセンブリ(ハウジング)内のすべてのセンサ、または異なるセンサアセンブリもしくは他の物理的ハウジング内のセンサ間の較正を実行してもよい。
一例では、外部センサハウジングは、車両のサイドミラーに統合されたセンサタワーとして配置され得る。別の例では、他のセンサは、屋上ハウジング102もしくは152、または図1A~Cに示されるような他のハウジングの一部であり得る。コンピューティングデバイス202は、車両上に位置付けられた、または他の方法で車両に沿って分散されたセンサアセンブリと通信することができる。各アセンブリは、上述したもののような1つ以上のタイプのセンサを有することができる。
図2に戻ると、コンピューティングデバイス202は、上述のプロセッサおよびメモリ、ならびにユーザインターフェースサブシステム236などのコンピューティングデバイスに関連して通常使用されるすべての構成要素を含むことができる。ユーザインターフェースサブシステム236は、1つ以上のユーザ入力238(例えば、マウス、キーボード、タッチスクリーン、および/またはマイクロフォン)、ならびに1つ以上の表示デバイス240(例えば、画面を有するモニタ、または情報を表示するように動作可能な他の任意の電気デバイス)を含んでもよい。この点について、内部の電子ディスプレイは、車両の車内(図示せず)に位置付けられてもよく、車両内の乗客に情報を提供するためにコンピューティングデバイス202によって使用されてもよい。スピーカー242などの他の出力デバイス、およびタッチスクリーンまたはボタンなどの入力デバイス244も、乗用車内に配置することができる。
車両はまた、通信システム246も含む。例えば、通信システム246はまた、他のコンピューティングデバイス、例えば、車両内の乗客コンピューティングデバイス、道路上の別の近くの車両内などの車両外部のコンピューティングデバイス、または遠隔サーバシステムとの通信を容易にするために、1つ以上の無線ネットワーク接続を含むこともできる。無線ネットワーク接続は、Bluetooth(商標)、Bluetooth(商標)ローエネルギー(LE)、携帯電話接続、ならびにインターネット、ワールドワイドウェブ、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、1つ以上の企業独自の通信プロトコルを使用するプライベートネットワーク、イーサネット、WiFiおよびHTTP、ならびに前述の様々な組み合わせなどの短距離通信プロトコルを含む、様々な構成およびプロトコルを含み得る。
図2Bは、例えば図1D~Eの車両170など車両の様々な構成要素およびシステムを有するブロック図250を示す。一例として、車両は、1つ以上の部分的な自律動作モードで動作するように構成されたトラック、農機具、または建設機械であり得る。ブロック図250に示されるように、車両は、車両診断、検出されたセンサデータ、および/または物体の検出および分類に関連して使用される1つ以上の挙動/分類モデルなど、命令208’およびデータ210’を格納する1つ以上のプロセッサ204‘およびメモリ206‘を含むコンピューティングデバイス202‘など、上記と同様の1つ以上のコンピューティングデバイスの制御システムを含む。この例において、制御システムは、貨物用車両のトラクタユニットの電子制御ユニット(ECU)を構成し得る。
一例では、コンピューティングデバイスは、車両170に組み込まれた運転コンピューティングシステムを形成し得る。図2Aに関して上で考察された構成と同様に、ブロック図250の運転コンピューティングシステムは、運転動作を実行するために、車両の様々な構成要素と通信することができる。例えば、コンピューティングデバイス202’は、減速システム212’、加速システム214’、ステアリングシステム216’、シグナリングシステム218’、ナビゲーションシステム220’、および測位システム222’を含む運転システムなど、車両の様々なシステムと通信することができ、これらは各々、図2Aに関して上で考察されたように機能することができる。
コンピューティングデバイス302はまた、知覚システム224’、電力システム226’、およびトランスミッションシステム230’にも動作可能に連結される。車輪/タイヤ228’の一部または全部は、トランスミッションシステム230’に連結され、コンピューティングデバイス202’は運転に影響を与え得るタイヤ空気圧、バランス、回転率、および他の要因に関する情報を受信することが可能であり得る。コンピューティングデバイス202と同様に、コンピューティングデバイス202’は、様々な構成要素を制御することによって車両の方向および速度を制御してもよい。例として、コンピューティングデバイス202’は、地図情報およびナビゲーションシステム220’からのデータを使用して、車両を目的地にナビゲートし得る。
知覚システム224と同様に、知覚システム224’はまた、車両外部の物体、車両内部の物体または状態、および/または、車輪および減速システム212’などの特定の車両機器の動作を検出するための、上述したような1つ以上のセンサまたは他の構成要素も含む。例えば、図2Bに示されるように、知覚システム224’は、1つ以上のセンサアセンブリ252を含む。各センサアセンブリ252は、1つ以上のセンサを含む。一例では、センサアセンブリ252は、トラック、農機具、建設機械などのサイドミラーに組み込まれたセンサタワーとして配置されてもよい。センサアセンブリ252はまた、図1D~Eに関して上述したように、トラクタユニット172またはトレーラ174上の異なる場所に配置され得る。コンピューティングデバイス202’は、トラクタユニット172およびトレーラ174の両方に配置されたセンサアセンブリと通信することができる。各アセンブリは、上述したもののような1つ以上のタイプのセンサを有することができる。
また、図2Bには、トラクタユニットとトレーラとの間の接続のための連結システム254が示される。連結システム254は、1つ以上の動力および/または空気圧接続(図示せず)、ならびにトレーラのキングピンに接続するためのトラクタユニットの第5輪256を含むことができる。通信システム246に相当する通信システム246’も、車両システム250の一部として示される。同様に、ユーザインターフェース236と同等のユーザインターフェース236’もまた、車両の運転者および任意の乗客との対話のために含まれ得る。
図2Cは、図1D~Eのトレーラ174などのトレーラのシステムの例示的なブロック図260を示す。示されるように、システムは、1つ以上のプロセッサ264、メモリ266、および汎用コンピューティングデバイスに典型的に存在する他の構成要素を含むコンピューティングデバイスなど1つ以上のコンピューティングデバイスのECU262を含む。メモリ266は、プロセッサ264によって実行または別様に使用され得る命令268およびデータ270を含む、1つ以上のプロセッサ264によってアクセス可能な情報を記憶する。図2A~Bのプロセッサ、メモリ、命令、およびデータの説明は、図2Cのこれらの要素に適用される。
ECU262は、トレーラユニットから情報および制御信号を受信するように構成される。ECU262の車載プロセッサ264は、減速システム272、シグナリングシステム274、および測位システム276を含む、トレーラの様々なシステムと通信することができる。ECU262はまた、トレーラの環境内の物体を検出するための1つ以上のセンサを備える知覚システム278、およびローカルの構成要素に電力を供給する電力システム280(例えば、バッテリ電源)に動作可能に連結することもできる。トレーラの車輪/タイヤ282の一部または全部は、減速システム272に連結され、プロセッサ264は、自律モードでの運転に影響を与え得るタイヤ空気圧、バランス、車輪速度、および他の要因に関する情報を受信し、その情報をトラクタユニットの処理システムに中継することが可能であり得る。減速システム272、シグナリングシステム274、測位システム276、知覚システム278、動力システム280、および車輪/タイヤ282、ならびにセンサアセンブリ284は、図2A~Bに関して上述したような様式で動作することができる。
トレーラはまた、着陸装置のセット286、および連結システム288も含む。着陸装置は、トラクタユニットから切り離されたときに、トレーラの支持構造を提供する。連結システム254の一部である連結システム288は、トレーラとトラクタユニットとの間の接続を提供する。したがって、連結システム288は、接続セクション290(例えば、動力および/または空気圧リンク用)を含むことができる。連結システムは、トラクタユニットの第5輪と接続するように構成されたキングピン292も含む。
例示的な実装形態
上述され、図に示された構造および構成を考慮して、様々な実装形態を、本技術の態様に従ってここで説明する。
車両の周囲の環境は、異なる象限または領域を有すると考えることができる。一例300が図3に示されており、車両の周囲の前方右側、前方左側、右側後方および左側後方エリアの隣接エリアと同様に、前方、後方、右側および左側領域を示す。これらの領域は単なる例示にすぎない。車両の知覚システムは、車両の外部環境内の物体について可能な限り多くの情報を提供するために、車両の周囲の一部または全部の領域をカバーする場合がある。
例えば、これらの領域の一部または全部からデータを収集するために、様々なセンサが車両の周りの異なる場所に配置される場合がある(図1A~Cを参照)。例えば、図1の3つのセンサ116は、主に、車両の周囲の前方、前方左側、および前方右側の領域からデータを受信することができる。対照的に、屋上ハウジング102は、車両の周囲に360°の視野(FOV)を提供するために、複数のカメラおよび/または回転Lidarまたはレーダーセンサなどの他のセンサを含むことができる。
特定のセンサは、車両の周囲のそれらの配置、および収集するように設計される情報のタイプに応じて、異なる視野を有することがある。例えば、異なるLidarセンサは、車両に隣接する(例えば、2~10メートル未満)物体の近距離(短距離)検出に使用されてもよく、他のセンサは、車両の前方100メートル(またはそれ超もしくは未満)の物体の遠距離(長距離)検出に使用されてもよい。ミッドレンジLidarを使用して、例えば、車両から10~100メートルの距離にある物体を検出することもできる。長距離の物体検出のために、複数のレーダーユニットを車両の前方、後方、および/または側方に配置することができる。また、車両の周囲がよく見えるようにカメラを配置することもできる。構成に応じて、特定のセンサハウジングは、視野が重複している複数の個別のセンサを含むことができる。代替的に、他のセンサが冗長な360°の視野を提供してもよい。
図4は、図1A~Bに示されるセンサに関連するセンサ視野の一例400を提供する。ここで、屋上ハウジング102がLidarセンサ、ならびに様々なカメラ、レーダーユニット、赤外線および/または音響センサを含む場合、これらのセンサの各々は異なる視野を有してもよい。したがって、図示するように、Lidarセンサは360°のFOV402を提供することができ、ハウジング102内に配置されたカメラは、例えば図3に示すように、車両に関する1つ以上の領域をカバーする個別のFOV404を有することができる。車両の前端にあるハウジング104内のセンサは、前向きのFOV406を有する。車両の運転者側および乗客側の上にあるハウジング106a、106bは各々、Lidar、レーダー、カメラ、および/または他のセンサを組み込むことができる。例えば、ハウジング106aおよび106b内のLidarは、それぞれのFOV406aまたは406bを有することができ、一方、ハウジング106aおよび106b内のレーダーユニットまたは他のセンサは、それぞれのFOV407aまたは407bを有することができる。同様に、車両の後部屋根部分に向かって位置するハウジング108a、108b内のセンサは各々、それぞれのFOVを有する。例えば、ハウジング108aおよび108b内のLidarは、それぞれのFOV408および408bを有することができ、一方、ハウジング108aおよび108b内のレーダーユニット、カメラ、および/または他のセンサは、それぞれのFOV409aおよび409bを有することができる。車両の後部にあるハウジング110aおよび110b内のセンサは、それぞれの視野410aおよび410bを有することができる。後端のハウジング112内のセンサは、後向きのFOV412を有することができる。また、車両の前方を向いた方向に沿って配置された一連のセンサユニット116は、それぞれのFOV414、416、および418を有し得る。これらの視野の各々は、単なる例示であり、カバレッジレンジに関して正確な縮尺ではない。また、所与のセンサハウジングに関連付けられているFOVは1つまたは2つしか示されていないが、センサの数とその構成に応じて、より多くの(またはより少ない)視野がそのセンサハウジングに関連付けられる場合がある。
以下でさらに説明するように、同じハウジング内に異なるタイプのセンサを配置すると、物体検出が強化され、オンボードシステムで検出された物体を迅速に分類できるようになる。併置されたセンサは、同じまたは実質的に重複する視野であるか、そうでなければ補完的な視野を提供し得る。
例示的なシナリオ
カメラ、Lidar、レーダー、および/または他のセンササブシステムの高さおよび向きは、車両の様々なハウジングの配置、および車両のタイプによって異なる。例えば、センサハウジングが大型SUV(例えば車両100)の屋根上またはその上に取り付けられている場合、典型的に、ハウジングがセダンまたはスポーツカー(例えば車両150)の屋根上に取り付けられているときよりも高さがより高い。また、配置および構造上の制限により、車両のすべてのエリアの周りで視界が等しくない場合がある。車両の配置を変えることで、各ハウジングのセンサに適した視野を得ることができる。これは、車両に直接隣接する物体(例えば、車両から1~2メートル以内または3メートル以内)を検出する場合、ならびに車両から遠い物体を検出する場合に非常に重要である。駐車スペースから引き出す前にすぐ近くをチェックしたり、無防備に左折するかどうかを決定したりするなど、様々なシナリオで隣接および遠隔の物体を検出するための要件がある場合がある。
近接感知カメラシステム
上記を考慮して、技術の側面は、車両の閾値距離内の物体のためのセンサスイートの一部として近接感知カメラシステムを提供する。このカメラシステムは、自動運転システムが車両から一定の距離内にある運転可能な物体と運転不可能な物体を区別できない場合に、車両がスタックしたり(動いていないとき)不自然に動作したりするのを防ぐように設計されている。例として、近接感知カメラシステムは、例えば、車両から6~10メートル以内の閾値距離内の物体にセンサ情報を提供するように構成される。場合によっては、閾値距離は、車両から2~3メートル以内である可能性がある。この情報は、車両の隣に立っている歩行者、車両の隣に駐車している自転車またはオートバイ、近くにある可能性のあるボール、建設標識、または他の物体などの物体を検出および分類を助けるために使用される。
死角を最小限に抑え、物体を検出するために、Lidarセンサを車両の周囲に配置することができる。このようなセンサは、物体の存在を検出する可能性が非常に高い。ただし、Lidar(例えば、Lidarポイントクラウド)からのセンサデータだけでは、自動運転システムが存在する物体の種類を判断するには不十分な場合がある。近くにある物体のタイプが不明な場合、車両は、車両の周囲を観察したり、ホーンを鳴らしたり、ライトを点滅させたりして、物体がどのように反応するかを確認したり、ゆっくりと後退または前に進んで、周囲のより鮮明な画像を取得するなど、保守的な挙動を取ることができる。ただし、これは物体に関する追加の有用な情報を提供しない可能性があり、乗客、近くの歩行者、および他の道路利用者を苛立たせたり混乱させたりする可能性がある。
したがって、技術の一態様によれば、1つ以上のカメラを単一のセンサハウジング内にLidarセンサとともに配置して、例えば、それが歩行者、自転車、またはトラフィックコーンであるかどうかを判断するために、物体の迅速な分類を可能にすることができる。カメラの視野は、Lidarの視野を包含し得、特定の例では、それよりも大きい場合がある。これは、補完的またはオーバーラップする視野を有する1台のカメラまたは複数のカメラで実現できる。例として、人は車両の隣に立っているか座っているかもしれない。これは、例えば、人が車両を降りるとき、近くの駐車中の車の後ろから現れるとき、または車両がオンになるか駐車スペースを出る準備をする前にすでに死角にいるときに発生する可能性がある。このカメラシステムが有益である他のシナリオは、無防備な曲がり角、高速車線変更、他の物体による対向車のオクルージョン、低く取り付けられた計測ライト(高速道路のランプなど)、ロードコーンおよび他の建設アイテムの識別、小さな異物の破片(FOD)の検出などを含む。
検出された物体の分類は、検出された物体のサイズ、近接性、および向きの決定を含む場合がある。システムは、カメラが対象の物体によって占められる最小閾値ボリューム(例えば、直方体または他の3D形状の少なくとも50%)を認識できるように構成されている。一例では、近接感知システムの各カメラは、コンパニオンLidarセンサと同じ場所に配置されている。例えば、視差を回避するためなど、カメラはLidarセンサから1フィートまたは0.3メートル以内にある場合がある。カメラは、Lidarと同じブラケットまたはハウジングを使用して車両に取り付けることも、別々に取り付けることもできる。一般的な動作では、システムFOVは、最大3メートル離れた車両の周囲を360°見渡せるようにする必要がある。
カメラの解像度は、最小ピクセル数に基づく閾値分類を満たすのに十分でなければならない。例として、1つの分類閾値は、物体が車両から3メートル以内にある場合に、32~64ピクセル以下を使用して、選択された直方体形状の特定の物体を分類する機能である場合がある。または、代わりに、閾値分類により、0.1~0.4mrad/ピクセルの解像度要件を有するカメラが必要になる場合がある。閾値分類の要件は、例えば、物体のタイプおよびシナリオによって異なる場合がある(例えば、大人または子供が車両の横に立っているか座っているか、100m超離れた車両の後ろからオートバイが近づいているかなど)。
図5の例500に示されるように、カメラは、異なる、そして潜在的に重複するカバレッジゾーンを提供し得る。この例では、最大8台(またはそれ以上)のカメラを使用して、前面、側面、および背面に面したFOVを提供できる。例として、FOV502aおよび502bは、車両の周りの前方左側および前方右側領域の部分を包含する。FOV504aおよび504bは、FOV502aおよび502bと重なり、前部、前部左および前部右領域に沿って追加のカバレッジを提供する。FOV506は、車両の前部領域にカバーを提供する。FOV508aおよび508bは、例えば、左/右領域および後部左および後部右領域に沿って、車両の後部に面するカバレッジを提供する。また、FOV510は、車両の後部領域に沿ったカバレッジを提供する。
カメラは、すべての周囲照明状況で動作する必要がある場合がある。したがって、異なるカメラは、車両光源(例えば、ヘッドライト、駐車灯、バックアップライト、走行灯)および環境光源(例えば、他の車両、街灯など)からの照明に依存し得る。代替的または追加的に、カメラに照明を提供するために、IRおよび/または光学的な光照射器が配置されてもよい。例えば、1つ以上の照明器を、センサハウジング上のカメラに隣接して配置することができる。
例として、一部のシナリオでは、ヘッドライトとブレーキライトまたはバックアップライトが十分な照明を提供する場合があるため、前面と背面に面したFOVを備えたカメラは個別の照明を必要としない場合がある。ただし、側面FOVを備えたカメラでは、暗い場所での補助照明が必要になる場合がある。このような補助照明は、カメラの近くに配置された近赤外線(NIR)エミッタを介して提供される場合がある。以下でさらに説明するように、1つの構成では、一対の「サドル」照明器モジュール(例えば、NIRモジュール)をカメラの両側に使用することができ、各照明器モジュールは、他のモジュールのオクルージョンを補償する。あるいは、単一のモノリシック照明器モジュールを使用することができる。
図6A~6Cは、例示的なカメラおよび照明器の構成を示している。特に、図6Aは、照明器がそれぞれのカメラの側面に配置されている第1の構成600を示している。ここでは、車両の周囲に、前向きカメラ602、後向きカメラ604、および左側および右側向きカメラ606aおよび606bの4つのカメラが示されている。示されるように、一対の照明器608aおよび608bが、フロントカメラ602の両側に配置されている。同様に、一対のサドル照明器610aおよび610bが、リアカメラ604の両側に配置されている。しかしながら、代替の構成では、1つの照明器のみが、フロントカメラ602および/またはリアカメラ604の側面に配置され得る。サイドカメラ606aおよび606bは、各々、その側面に配置されたそれぞれの照明器612a、612bを有するように示されている。これらの例では、照明器612は、サイドカメラ606の後方に配置されている。ここで、サイドカメラ606は、フロント照明器608aおよび608bからいくらかの照明を受け取ることができ、これは、照明器612a、612bからのIR照明を補うことができる。
図6Bは、単一の照明器がそれぞれのカメラの上に配置されている第2の構成650を示している。図6Aと同様に、車両の周囲に、前向きカメラ652、後向きカメラ654、および左側および右側向きカメラ656aおよび656bの4つのカメラが示されている。示されるように、照明器658は、フロントカメラ652の上に配置される。同様に、照明器660は、リアカメラ654の上に配置されている。サイドカメラ656aおよび656bは、各々、その上に配置されたそれぞれの照明器662a、662bを有するように示されている。別の構成では、照明器をそれぞれのカメラの下に配置することができる。さらに別の例では、エミッタは、屋根に沿ってなど、カメラと同じ場所に配置されていない車両の周りの他の場所に配置することができる。例えば、屋根に配置された照明器を使用して、車両の特定の側のカメラの視野全体を照らすことができる。
これらの例では、単一の照明器モジュールをカメラの任意の側に配置できる。ただし、投影された光の一部がある程度遮られることになる。例えば、カメラの側面に単一の照明器モジュールがある場合、カメラの反対側光が大きく遮られることがあり、これは暗い状況では不利になる可能性がある。カメラの上に単一のモジュールがある場合、オクルージョンを減らすために、モジュールをカメラの上および前方に移動する必要がある。車両の周囲のいくつかの場所、例えば前部および後部であるが、車両の側面では、車両の幅および他のサイドセンサの潜在的な影響に制約がある場合がある。また、カメラの下に単一のモジュールがあるため、オクルージョンにより上向きの照明を減らすことができる。これは、車両の隣に立っている人など、近くの物体を分類するセンサスイートの機能に影響を与える可能性がある。したがって、対応するカメラの視野が最小になる場所に照明器モジュールを配置することは、視野が遮られる可能性が低くなるから、望ましい。垂直方向の視野が水平方向の視野よりも小さい状況では、照明器をカメラの上および/または下に配置することが適切な場合がある。ただし、センサスイート、車両サイズなどの他の制約により、状況によってはこれが不可能な場合がある。
これを考慮して、図6Cは、照明器の対が各それぞれのカメラの両側に配置されている第3の構成680を示している。図6A~Bと同様に、車両の周囲に、前向きカメラ682、後向きカメラ684、および左側および右側向きカメラ686aおよび686bの4つのカメラが示されている。示されるように、一対の照明器688aおよび688bが、フロントカメラ602の両側に配置されている。同様に、一対のサドルIR照明器690aおよび690bが、リアカメラ684の両側に配置されている。この例では、サイドカメラ686aおよび686bは、各々、その側面に配置された照明器692a、692bまたは694a、694bのそれぞれの対を有するように示されている。この配置は、対応するカメラの側面、上部、または下部に1つの照明器モジュールのみが配置されている場合に発生する可能性のあるオクルージョンを最小限に抑えるのに役立つ。以下で説明する図7Fは、各カメラ682、684、および686のサイド照明器の対の1つの配置を示す。
これらの構成のいずれにおいても、カメラレンズは、水をはじくために疎水的にコーティングされ得る。また、カメラは車両の外側に沿って配置できるため、車載浄化システムを使用してレンズを簡単に浄化できる。このような機能については、以下でさらに説明する。
周囲センサハウジング
技術の態様によれば、複数の異なるセンサ(例えば、Lidar、カメラ、レーダーなど)を含む統合されたセンサアセンブリを備えたハウジングは、車両に沿った様々な場所に配置することができる。図1A~Cは、そのような統合されたセンサアセンブリの例示的なハウジング配置を示している。上で説明したように、各場所は、特定の視野を有するセンサから車両の周囲の特定のカバレッジを提供する。各センサを配置することは、ハウジングに沿って、他のセンサと比較して重要であり、これは、異なる配置に大きなメリット(またはデメリット)がある可能性があるためである。センサハウジングの1つ以上は、上記のように、近接感知カメラアセンブリを有し得る。以下にいくつかの例を示す。
図7Aに示される第1の例では、センサスイートは、運転席側または助手席側のドアの前の車両の左側または右側に沿った側面周囲ハウジングに配置されている。特に、図7Aは、左前部クォーターパネルに沿った第1のハウジング700aと、右前部クォーターパネルに沿った第2のハウジング700bとを示す図を示している。ハウジング700bは、ハウジング700aの鏡像であり得る。図7B~Fは、側面周囲ハウジング700の様々な図を示している。図7Bの斜視図および図7Cの正面図に示されるように、側面周囲ハウジング700内のセンサのスイートは、Lidarユニット702、近接感知カメラアセンブリ704、レーダーユニット706、前向き周囲ビューカメラ708および側面向き周囲ビューカメラ710を含む。
図7B~Cに示されるように、レーダーユニット706は、一方の側の前面および側面カメラと、他方の側のLidarおよび近接感知カメラアセンブリとの間に配置される。レーダーユニットならびに位置合わせされたLidarおよび近接感知カメラアセンブリを分離することで、干渉および潜在的なオクルージョンを回避する。
近接感知カメラアセンブリ704は、例えば、物体分類がLidarユニットによる物体検出を補足することを可能にするために、Lidarユニット702の下に配設される。Lidarユニット702の下に整列して示されているが、近接感知カメラアセンブリ704のカメラは、Lidarユニット702の約0.25~0.4m以内のどこにでも配置することができる。画像分類に悪影響を与える可能性のある視差を回避するために、カメラはセンサ間にオクルージョンを作成せずにLidarユニットにできるだけ近づける必要がある。そして、Lidarユニット702の下に整列して示されている間、近接感知カメラアセンブリ704のカメラは、Lidarユニット702の上に配設され得る。どちらの配置でも、オクルージョンおよび視差の可能性が最小限に抑えられる。ハウジングユニットおよび/または車両の全体的な寸法の空間的制約もまた、互いに対するセンサの配置を制限する可能性がある。
図7Dおよび7Eの左側面図および右側面図にそれぞれ示されるように、Lidarユニット702と近接感知カメラアセンブリ704との間に分離面712が存在する。分離面は、下向きに傾斜した角度で配置することができる。外向きの傾斜面により、水、雪などが滑り落ち、センサの障害物またはオクルージョンの可能性が最小限に抑えられる。Lidarセンサは、そのすぐ下の視界が制限されている可能性があるため、カメラアセンブリをその真下に配置すると、Lidarに塞がれている可能性のある物体の物体検出に役立つ。例えば、側面図に示されているように、近接感知カメラアセンブリ704は、車両のすぐ近くを覆うように下向きに角度が付けられている。
図7Fの拡大図は、アセンブリ704が、カメラ714、一対の照明器モジュール716aおよび716b、ならびに一組の浄化機構718a、718bおよび718cを含むことを示している。カメラ714のレンズへの光の漏れがないことを確実にするために、ハウジング表面から延びる延長部720を含めることができる。各モジュール716aおよび716bは、1つ以上の所望の領域に沿って光、例えば、IR光を集束させるために使用することができる1つ以上の二次レンズ722を含むことができる。例として、これらの二次レンズ722は、照明器モジュールの視野の幅を広げることができる。浄化機構718は、カメラおよび/または照明器モジュールを浄化するための流体および/または強制空気噴霧を含み得る。代替的または追加的に、1つ以上のワイパー(図示せず)を使用して、レンズを清潔に保つことができる。
図8は、例示的なオクルージョンシナリオ800を示している。Lidarセンサは、例えば、180°の広いカバレッジ方位角を有することができるが、示されるように、それは、影付きの三角形の領域として示される、Lidarセンサの下にある車両に直接隣接するオクルージョン領域802を有することができる。近接感知カメラアセンブリは、Lidarセンサによって取得された知覚情報を補足するように構成され、下向きに角度が付けられているため、Lidarセンサのオクルージョン領域802を軽減することができる。例えば、フロントタイヤに隣接する物体がある場合、近接感知カメラアセンブリのカメラは、影付きの領域内の線形要素804によって示されるように、それを検出するように構成される。カメラが車両の側面から数センチ以内を見るのは現実的ではないかもしれないが、カメラは車両に近い物体が少なくとも50%見えるように配置されている。一例では、カメラは、170°~200°程度の方位角視野を有することができる。
図7Bに戻ると、上記のように、例示的な側面周囲ハウジング700内に、前向き周囲ビューカメラ708および側面向き周囲ビューカメラ710が存在する。これらのカメラは、図9の例900に示すように、最小の方位角範囲で前面および側面の画像を提供するように構成されている。例えば、側面カメラ710は、車両の側面に最小+/-15°FOV902を提供するように構成され得るが、それは、最大+/-30~40°以上を提供し得る。一例では、車両の後部に向かって15°の最小FOV904があり、車両の前部に向かって25~35°の最小FOV906があり得る。前面カメラ708は、10~20°のオーダーの外側方位角FOV908、および20~40°のオーダーの内側方位角FOV910を有し得る。場合によっては、例えば左折の視認性を高めるために、運転席側の前面カメラのFOVが助手席側の前面カメラよりも広い場合がある。図7Bに示されるように、前面カメラ708は、側面カメラ710よりも高く(または低く)配設され得る。これは、ハウジング700内の様々なセンサユニットを収容するために行うことができる。
このカメラの対は、他のセンサと組み合わせて、例えば、見通しの悪い交差点および無防備な旋回のシナリオでレーダーの検出および分類を強化するために使用することができる。1つのシナリオでは、カメラ708および710は、主に近接感知に使用されず、IR照明器なしで周囲光を使用する。側面に面した周囲ビューカメラ710は、車両が交差点に進入するか、または急旋回している間に塞がれる可能性を低減するために、ハウジング700内のはるか前方または車両の他の場所に配置することができる。前向きの周囲ビューカメラ708はまた、車両の前方の塞ぐ物体の周りをよりよく見るために、可能な限り前方に配置され得る。
図10は、旋回シナリオ1000のオクルージョンの例を示している。このシナリオでは、車両1002は、破線の矢印で示されているように左折する準備をしている。ここで、トラック1004または他の物体は、車両1002上のセンサのうちの1つの視野から別の車両1006を塞ぎ得る。例えば、屋根に取り付けられたセンサ1008は、トラック1004によって領域1012で部分的に塞がれているFOV1010を有することができる。しかしながら、周囲に面するカメラ1014は、他の車両1006の少なくとも一部を見ることができる異なるFOV1016を有する。周囲に面したカメラは、例えば、対向車が存在する可能性がある場合など、別の車両の周りを操縦したり、自動運転車の後ろに塞ぐ車両がある場合、高速道路のオンランプを経由して高速道路に合流したりするとき場合、後方の隣接車線を確認する場合など、他の様々なシナリオで役立つ。
周囲ハウジングアセンブリの別の例を図11A~Cに示す。特に、図11A~Bは、後部ハウジングアセンブリ1100を示し、図11Cでセダンまたは他の車両のリアバンパー上の例示的な位置1110に示されている。位置1110は車両の後方左側に示されているが、別の後方ハウジングアセンブリを車両の右側に配設することもできる。図11A~Bに示されるように、第1のセンサ1102および第2のセンサ1104は、ハウジング1100内に配設される。例として、第1のセンサ1102はレーダーセンサであり、第2のセンサはカメラである。これらのセンサは、例えば右または左への高速車線変更を考慮するために、後方から接近する他の車両に関する情報を提供することができる。
図12の例1200に示すように、後向き周囲ビューカメラは、最小の方位角のカバレッジで背面画像を提供するように構成されている。例えば、後向きカメラ1100は、車両の後部に30~60°のFOV1202を提供するように構成され得る。例として、後向きカメラは、15~35°程度の外側の方位角(例えば、隣接する車線に接近する車を見る)と、10~25°程度の内側の方位角(例えば、同じ車線の次の車両を見るため)を有することができる。図13は、シナリオ1300を示しており、後向きカメラが、そうでなければトラックによって塞がれるであろう隣接する(左の)車線に接近する車を見ることができることを示している。
図14Aに示される別の例では、例えば、車両の真正面にある物体を検出および分類するために、フロントセンサハウジング1400がフロントバンパーに沿ってまたは隣接して配置されている。図14B~Eは、フロントセンサハウジング1400の様々な図を示している。図14Bの斜視図および図14Cの正面図に示されるように、フロントセンサハウジング1400内のセンサのスイートは、Lidarユニット1402および近接感知カメラアセンブリ1404を含む。
近接感知カメラアセンブリ1404は、例えば、物体分類がLidarユニットによる物体検出を補足することを可能にするために、Lidarユニット1402の真上に配設される。Lidarユニット1402の上に整列して示されているが、近接感知カメラアセンブリ1404のカメラは、Lidarユニット1402の約0.25~0.4m以内のどこにでも配置することができる。画像分類に悪影響を与える可能性のある視差を回避するために、カメラはセンサ間にオクルージョンを作成せずにLidarユニットにできるだけ近づける必要がある。そして、Lidarユニット1402の上に示されている間、近接感知カメラアセンブリ1404のカメラは、Lidarユニット1402の下に配設され得る。どちらの配置でも、オクルージョンを最小限に抑える。ハウジングユニットおよび/または車両の全体的な寸法の空間的制約もまた、センサの配置を制限する可能性がある。
図14Dの側面図に示されるように、Lidarユニット1402と近接感知カメラアセンブリ1404との間に分離面1406が存在する。分離面は、例えば、水、雪などが滑り落ちることを可能にするために角度を付けて配置することができ、これにより、センサの障害物またはオクルージョンの可能性が最小限に抑えられる。側面図にも示されているように、近接感知カメラアセンブリ1404は、車両のすぐ近くを覆うように下向きに角度が付けられている。図14Eの拡大図は、アセンブリ1404が、カメラ1408、一対の照明器モジュール1410aおよび1410b、ならびに一組の浄化機構1412a、1412bおよび1412cを含むことを示している。カメラ1408のレンズへの光の漏れがないことを確実にするために、ハウジング表面から延びる延長部1414を含めることができる。示されるように、各モジュール1410aおよび1410bは、1つ以上の所望の領域に沿って光を集束させるために使用することができる1つ以上の二次レンズ1416を含むことができる。浄化機構1412は、カメラおよび/または照明器モジュールを洗浄するための流体および/または強制空気噴霧を含み得る。
図15は、フロントセンサハウジング1400の変形例1500を示している。この変形例では、ハウジング1500は、Lidarユニット1402と、IR照明モジュールおよび浄化機構を省略した近接感知カメラ1502とを含む。照明のない別の変形例では、浄化機構を含めることができる。同様に、浄化機構のないさらなる変形例では、照明を含めることができる。
図16Aに示される別の例では、例えば、車両の真後ろにある物体を検出および分類するために、リアセンサハウジング1600がリアバンパーに沿ってまたは隣接して配置されている。図16B~Eは、リアセンサハウジング1600の様々な図を示している。図16Bの斜視図および図16Cの正面図に示されるように、フロントセンサハウジング1600内のセンサのスイートは、Lidarユニット1602および近接感知カメラアセンブリ1604を含む。
近接感知カメラアセンブリ1604は、例えば、物体分類がLidarユニットによる物体検出を補足することを可能にするために、Lidarユニット1602の真上に配設される。Lidarユニット1602の上に整列して示されているが、近接感知カメラアセンブリ1604のカメラは、Lidarユニット1602の約0.25~0.4m以内のどこにでも配置することができる。画像分類に悪影響を与える可能性のある視差を回避するために、カメラはセンサ間にオクルージョンを作成せずにLidarユニットにできるだけ近づける必要がある。そして、Lidarユニット1602の上に示されている間、近接感知カメラアセンブリ1604のカメラは、Lidarユニット1602の下に配設され得る。どちらの配置でも、オクルージョンを最小限に抑える。ハウジングユニットおよび/または車両の全体的な寸法の空間的制約もまた、センサの配置を制限する可能性がある。
図16Dの側面図に示されるように、Lidarユニット1602と近接感知カメラアセンブリ1604との間に分離面1606が存在する。分離面は、例えば、水、雪などが滑り落ちることを可能にするために角度を付けて配置することができ、これにより、センサの障害物または閉塞の可能性が最小限に抑えられる。側面図にも示されているように、近接感知カメラアセンブリ1604は、車両のすぐ近くを覆うように下向きに角度が付けられている。図16Eの拡大図は、アセンブリ1604が、カメラ1608、一対の照明器モジュール1610aおよび1610b、ならびに一組の浄化機構1612a、1612bおよび1612cを含むことを示している。カメラ1608のレンズへの光の漏れがないことを確実にするために、ハウジング表面から延びる延長部1614を含めることができる。示されるように、各モジュール1610aおよび1610bは、1つ以上の所望の領域に沿って光を集束させるために使用することができる1つ以上の二次レンズ1616を含むことができる。浄化機構1612は、カメラおよび/または照明器モジュールを浄化するための流体および/または強制空気噴霧を含み得る。
図17は、フロントセンサハウジング1600の変形例1700を示している。この変形例では、ハウジング1700は、Lidarユニット1602と、照明モジュールおよび浄化機構を省略した近接感知カメラ1702とを含む。照明のない別の変形例では、浄化機構を含めることができる。同様に、浄化機構のないさらなる変形例では、照明を含めることができる。
上記のように、様々なセンサハウジングの近接感知カメラは下向きの角度で配置されている。例として、これらのカメラはLidarの検出および分類を強化するため、より低い視野のカバレッジを最大化し、対応するLidarのFOVを可能な限りカバーするために、20~40°の程度で下向きの角度をとることができる。近接感知カメラアセンブリとLidarユニットを同じ場所に配置するための異なる配置が示されているが、一般に、各カメラはLidarユニットに対して配置されるため、すべての場合にLidarへのオクルージョンが最小限に抑えられる。
センサの浄化は、知覚システムを適切かつ効果的に動作するために重要である。車両は自律運転モードで動作しているため、様々なセンサを浄化するための異なるオプションがある。例えば、浄化システムは、浄化液をカメラ(およびIRエミッタ)に噴霧し、ワイパー、および/またはエアパフを使用することができる。噴霧器または他の浄化ユニットは、センサに対して固定位置にあるか、または必要に応じて伸縮してユニットを浄化するように構成され得る。浄化ユニットは、センサハウジング内のセンサの任意のオクルージョンまたはセンサFOVへの影響を回避するように配置する必要がある。例えば、浄化機構718、1412および1612の噴霧器先端は、カメラを塞がず、光をカメラに反射して戻さないようにそのように配置されている。
浄化に加えて、センサは、例えば、カメラまたは他のセンサからの凝縮または霜を排除するために熱を提供することによって調整され得る。一例として、デフロスターヒーターは、フロントガラスとカメラユニットのハウジングとの間に挟まれた加熱要素など、各周囲ビューカメラのフロントウィンドウ要素に沿って配置することができる。
シュラウドまたは他の構造を使用して、汚れおよび他の異物がセンサを覆うのを制限することができる。ただし、浄化要素と同様に、シュラウドがセンサを塞いだり、FOVに影響を与えたりしないようにする必要がある。カメラまたは照明エミッタの場合、湿気の蓄積を最小限に抑えるために、疎水性コーティングをガラスまたはプラスチックのカバーに適用することができる。
浄化ユニットのタイプおよび配置を選択するときは、ハウジング内および車両に沿ったセンサの位置を考慮する必要がある。例として、サイドミラーアセンブリにあるカメラを掃除するのは難しい場合がある。例えば、特定の場所に流体を噴霧するのが難しい場合、または流体を車両から浄化ユニットに送る方法に制限がある場合がある(例えば、浄化ユニットがオンドアとオフドアの場合)。浄化機構のタイプは、そのセンサが自律運転にとってどれほど重要であるかに応じて選択され得る。例として、フロントセンサハウジングユニットの浄化は、リアセンサハウジングユニットの浄化よりも重要である可能性があり、これは、先行車両の明確なビューが、後続車両のビューよりも特定の運転動作に関連していると判断される場合があるためである。そのため、冗長な(例えば、噴霧システムとワイパー)浄化モジュールを、より重要なセンサハウジングに使用することができる。他のセンサハウジングの場合、冗長な浄化機構がない場合がある。この場合、浄化は他のセンサハウジングよりも時間の影響を受けにくいため、浄化機構は特定の速度(例えば、時速35~45マイル未満)または車両が静止しているときにのみ作動され得る。
図18は、上記の特定のアクションによる方法の流れ図1800を示している。ブロック1802において、自律運転モードで動作するように構成された車両の制御システムは、車両の周囲の領域における閾値距離内のLidarデータを取得するために、車両の知覚システムのLidarセンサの動作を模倣する。例えば、閾値距離は、車両から1~3メートル以内である可能性がある。ブロック1804で、制御システムは、車両が運転アクションを実行する前に、知覚システムの画像センサによる画像キャプチャを開始する。画像センサは、Lidarセンサに隣接して配設され、車両に沿って配置されて、閾値距離内の車両の周囲の領域の重なり合う視野を有する。画像センサは、閾値距離内の物体に選択された解像度を提供する。ブロック1806で、制御システムは、LidarセンサからLidarデータを受信し、画像センサからキャプチャされた画像を受信する。これは、同時にまたは順次に行うことができる。ブロック1808で、制御システムは、Lidarデータを処理して、車両の閾値距離内の領域内の物体を検出する。ブロック1810で、制御システムは、キャプチャされた画像を処理して、検出された物体を分類する。そして、ブロック1812で、制御システムは、検出された物体の分類に基づいて、車両の1つ以上のシステムに運転アクションを実行させるかどうかを決定する。
別段の記載がない限り、前述の例示および実施形態は、相互に排他的ではないが、独自の利点を達成するために様々な組み合わせで実装されてもよい。上で考察された機能のこれらおよび他の変形および組み合わせは、特許請求の範囲によって定義される主題から逸脱することなく利用することができるので、実施形態の前述の説明は、特許請求の範囲によって定義される主題を限定するものとしてではなく、例示としてみなされるべきである。さらに、本明細書に記載された実施例、ならびに「など」、「含む」などと表現された語句の提供は、特許請求の範囲の主題を特定の実施例に限定するものと解釈されるべきではない。さらに、異なる図面中の同じ参照番号は、同じまたは類似の要素を特定することができる。プロセスまたは他の動作は、本明細書で特に明記しない限り、異なる順序で、または同時に実施されてもよい。

Claims (23)

  1. 自律運転モードで動作するように構成された車両用の外部感知モジュールであって、前記外部感知モジュールが、
    前記外部感知モジュールの第1のハウジングセクションに沿って配置されたLidarセンサであって、前記Lidarセンサが、前記車両の周囲かつ、前記車両の閾値距離内の外部環境の領域内にある物体を検出するように構成されている、Lidarセンサと、
    前記外部感知モジュールの第2のハウジングセクションに沿って配置された画像センサであって、前記画像センサを備えた前記第2のハウジングセクションが、前記Lidarセンサを備えた前記第1のハウジングセクションと垂直に位置合わせされ、前記画像センサが、前記外部環境の前記領域の妨げられていない視野を有するように、前記車両に沿って配置され、前記画像センサが、前記Lidarセンサによって検出された物体を分類するために、前記車両の前記閾値距離内にある物体のために選択された解像度を提供する、画像センサと、
    前記第1のハウジングセクションと前記第2のハウジングセクションとの間に配設された前記外部感知モジュールの第3のハウジングセクションであって、前記第3のハウジングセクションが、前記画像センサと前記Lidarセンサとの間の干渉を防ぐように配置された外面を含む、第3のハウジングセクションと、を備える、外部感知モジュール。
  2. 前記画像センサが前記Lidarセンサの上に配置されている、請求項1に記載の外部感知モジュール。
  3. 前記画像センサが前記Lidarセンサの下に配置されている、請求項1に記載の外部感知モジュール。
  4. 前記画像センサが、前記車両の側面に対して下向きの角度で配置され、前記下向きの角度が、前記車両の前記閾値距離内のカバレッジを提供するために20~40°程度である、請求項1に記載の外部感知モジュール。
  5. 前記閾値距離が、前記車両から1~3メートルの間である、請求項4に記載の外部感知モジュール。
  6. 前記画像センサの前記視野を照明するように構成された1つ以上の照明器ユニットをさらに備える、請求項1に記載の外部感知モジュール。
  7. 前記1つ以上の照明器ユニットは、前記第2のハウジングセクションに沿って前記画像センサに隣接して配設されている、請求項6に記載の外部感知モジュール。
  8. 前記1つ以上の照明器ユニットは、前記画像センサの両側に配設された一対の照明器である、請求項7に記載の外部感知モジュール。
  9. 前記画像センサおよび/または前記1つ以上の照明器ユニットを浄化するように構成された浄化機構をさらに含む、請求項6に記載の外部感知モジュール。
  10. 前記第1および第2のハウジングセクションの両方のうちの片側に配置された、前記外部感知モジュールの第4のハウジングセクションに沿って配設されたレーダーセンサをさらに備える、請求項1に記載の外部感知モジュール。
  11. 前記第4のハウジングセクションが、前記第1および第2のセクションよりも前記車両の前方に近く配置されている、請求項10に記載の外部感知モジュール。
  12. 前記外部感知モジュールの第5のハウジングセクションに沿って配設された少なくとも1つの追加の画像センサをさらに備え、前記第4のハウジングセクションが、前記第5のハウジングセクションと前記第1および第2のハウジングセクションとの間に配置されている、請求項10に記載の外部感知モジュール。
  13. 前記少なくとも1つの追加の画像センサが、前記レーダーセンサに対してほぼ平面に配設され、前記第2のハウジングセクションに沿って配置された前記画像センサの視野とは別の、前記車両の側面に沿った選択された視野を提供するように配置された所与の追加の画像センサを備える、請求項12に記載の外部感知モジュール。
  14. 前記少なくとも1つの追加の画像センサが、前記レーダーセンサにほぼ垂直に配設され、前記第2のハウジングセクションに沿って配置された前記画像センサの前記視野とは別の、前記車両の前部に沿った選択された視野を提供するように配置された所与の追加の画像センサを備える、請求項12に記載の外部感知モジュール。
  15. 前記少なくとも1つの追加の画像センサが、
    前記レーダーセンサに対してほぼ平面に配設され、前記第2のハウジングセクションに沿って配置された前記画像センサの前記視野とは別の、前記車両の側面に沿った選択された視野を提供するように配置された第1の追加の画像センサと、
    前記レーダーセンサおよび前記第1の追加の画像センサにほぼ垂直に配設され、前記第2のハウジングセクションおよび前記第1の追加の画像センサの前記選択された視野に沿って配置された前記画像センサの前記視野とは別の、前記車両の前部に沿った選択された視野を提供するように配置された第2の追加の画像センサと、を備える、請求項12に記載の外部感知モジュール。
  16. 自律運転モードで動作するように構成された車両用の外部感知モジュールであって、前記外部感知モジュールが、
    前記外部感知モジュールの第1のハウジングセクションに沿って配置されたレーダーセンサであって、前記レーダーセンサが、前記車両の周囲かつ、前記車両の閾値距離内の外部環境の領域内にある物体を検出するように構成されている、レーダーセンサと、
    前記外部感知モジュールの第2のハウジングセクションに沿って配置された画像センサであって、前記画像センサを備えた前記第2のハウジングセクションが、前記レーダーセンサを備えた前記第1のハウジングセクションに隣接し、前記画像センサが、前記外部環境の前記領域の重なり合う視野を有するように前記車両に沿って配置され、前記画像センサが、前記レーダーセンサによって検出された物体を分類するために、前記車両の前記閾値距離内の物体に選択された解像度を提供する、画像センサと、を備える、外部感知モジュール。
  17. 前記外部感知モジュールが、前記車両の後方の物体を検出および分類するために、前記車両のリアバンパーに沿って配設されている、請求項16に記載の外部感知モジュール。
  18. 前記画像センサの前記視野が、前記車両の前記後部に沿って30~60°の間である、請求項17に記載の外部感知モジュール。
  19. 前記画像センサの前記視野が、15~35°の間の外方位角および10~25°の間の内方位角を有する、請求項17に記載の外部感知モジュール。
  20. 前記第2のハウジングセクションが、前記第1のハウジングセクションよりも前記車両の隣接する側の近くに配設されている、請求項17に記載の外部感知モジュール。
  21. 自律運転モードで動作するように構成された車両であって、前記車両が、
    前記車両のブレーキを制御するように構成された減速システムと、
    前記車両の加速を制御するように構成された加速システムと、
    車輪の向きおよび前記車両の方向を制御するように構成されたステアリングシステムと、を含む運転システムと、
    前記外部感知モジュールの第1のハウジングセクションに沿って配置されたLidarセンサであって、前記Lidarセンサが、前記車両の周囲かつ、前記車両の閾値距離内の外部環境の領域内にある物体を検出するように構成されている、Lidarセンサと、
    前記外部感知モジュールの第2のハウジングセクションに沿って配置された画像センサであって、前記画像センサを備えた前記第2のハウジングセクションが、前記ライダーセンサを備えた前記第1のハウジングセクションと垂直に位置合わせされ、前記画像センサが、前記外部環境の前記領域の妨げられていない視野を有するように、前記車両に沿って配置され、前記画像センサが、前記ライダーセンサによって検出された物体を分類するために、前記車両の前記閾値距離内にある物体のために選択された解像度を提供する、画像センサと、
    前記第1のハウジングセクションと前記第2のハウジングセクションとの間に配設された前記外部感知モジュールの第3のハウジングセクションであって、前記第3のハウジングセクションが、前記画像センサと前記Lidarセンサとの間の干渉を防ぐように配置された外面を含む、第3のハウジングセクションと、を含む外部感知モジュールと、を備える、車両。
  22. 前記外部感知モジュールが、前記画像センサの前記視野を照明するように構成された1つ以上の照明器ユニットをさらに備え、前記1つ以上の照明器ユニットが、前記第2のハウジングセクションに沿って前記画像センサに隣接して配設されている、請求項21に記載の車両。
  23. 前記外部感知モジュールが、前記画像センサおよび/または前記1つ以上の照明器ユニットを浄化するように構成された浄化機構をさらに含む、請求項22に記載の車両。
JP2022536695A 2019-12-30 2020-04-15 周囲センサハウジング Active JP7457811B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962954938P 2019-12-30 2019-12-30
US62/954,938 2019-12-30
US16/737,359 US11493922B1 (en) 2019-12-30 2020-01-08 Perimeter sensor housings
US16/737,359 2020-01-08
PCT/US2020/028211 WO2021137884A1 (en) 2019-12-30 2020-04-15 Perimeter sensor housings

Publications (2)

Publication Number Publication Date
JP2023507939A true JP2023507939A (ja) 2023-02-28
JP7457811B2 JP7457811B2 (ja) 2024-03-28

Family

ID=76687233

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022536695A Active JP7457811B2 (ja) 2019-12-30 2020-04-15 周囲センサハウジング

Country Status (7)

Country Link
US (3) US11493922B1 (ja)
EP (1) EP4061682A4 (ja)
JP (1) JP7457811B2 (ja)
KR (1) KR102649924B1 (ja)
CN (1) CN115135554B (ja)
CA (1) CA3165284A1 (ja)
WO (1) WO2021137884A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9720412B1 (en) * 2012-09-27 2017-08-01 Waymo Llc Modifying the behavior of an autonomous vehicle using context based parameter switching
EP3832386B1 (en) * 2018-07-27 2024-01-24 Kyocera Corporation Vehicle-mounted camera and mobile body
JP7429589B2 (ja) * 2020-03-31 2024-02-08 本田技研工業株式会社 車両の移動支援システム
US11921208B2 (en) * 2020-08-27 2024-03-05 Ford Global Technologies, Llc Sensor apparatus with cleaning
JP7422038B2 (ja) * 2020-08-27 2024-01-25 本田技研工業株式会社 移動体
US11975737B1 (en) * 2020-10-26 2024-05-07 Outrider Technologies, Inc. Processor and sensor array for autonomous truck
US20220135005A1 (en) * 2020-10-29 2022-05-05 Argo AI, LLC Method and system for diverting ram air to vehicle sensors
JP7505416B2 (ja) * 2021-02-15 2024-06-25 トヨタ自動車株式会社 洗浄装置
US11827189B2 (en) 2021-11-03 2023-11-28 Ford Global Technologies, Llc Sensor assembly for a vehicle
USD1016636S1 (en) 2021-12-23 2024-03-05 Waymo Llc Sensor assembly
USD1014398S1 (en) 2021-12-23 2024-02-13 Waymo Llc Vehicle
US12008681B2 (en) * 2022-04-07 2024-06-11 Gm Technology Operations Llc Systems and methods for testing vehicle systems
FR3142395A1 (fr) * 2022-11-25 2024-05-31 Psa Automobiles Sa Système de perception d’environnement pour véhicule et véhicule comprenant un tel système

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000350058A (ja) * 1999-06-03 2000-12-15 Elbex Video Ltd テレビカメラ
JP2013519254A (ja) * 2010-02-01 2013-05-23 ヨンコック エレクトロニクス、カンパニーリミテッド 追跡監視用カメラ装置及びこれを採用する遠隔監視システム
JP2015518188A (ja) * 2012-02-29 2015-06-25 アイロボット コーポレイション 可動式ロボット
US20190204845A1 (en) * 2017-12-29 2019-07-04 Waymo Llc Sensor integration for large autonomous vehicles
JP2019174347A (ja) * 2018-03-29 2019-10-10 ヤンマー株式会社 障害物検知システム

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7796081B2 (en) 1997-10-22 2010-09-14 Intelligent Technologies International, Inc. Combined imaging and distance monitoring for vehicular applications
JP4285092B2 (ja) * 2003-05-23 2009-06-24 市光工業株式会社 カメラユニット付きアウターミラー
WO2005088962A1 (ja) * 2004-03-16 2005-09-22 Hiroshi Arisawa 追尾装置、及びモーションキャプチャ装置
JP2007187618A (ja) * 2006-01-16 2007-07-26 Omron Corp 物体識別装置
US8330647B2 (en) 2006-06-08 2012-12-11 Vista Research, Inc. Sensor suite and signal processing for border surveillance
US20100157280A1 (en) 2008-12-19 2010-06-24 Ambercore Software Inc. Method and system for aligning a line scan camera with a lidar scanner for real time data fusion in three dimensions
DE102009002626A1 (de) * 2009-04-24 2010-10-28 Robert Bosch Gmbh Sensoranordnung für Fahrerassistenzsysteme in Kraftfahrzeugen
WO2011014497A1 (en) 2009-07-27 2011-02-03 Magna Electronics Inc. Vehicular camera with on-board microcontroller
IL204089A (en) 2010-02-21 2014-06-30 Elbit Systems Ltd A method and system for detection and tracking based on frequency multiplicity and multiplicity
US8671504B2 (en) 2010-04-28 2014-03-18 Denso Corporation Cover of vehicle optical sensor and vehicle optical sensor device
KR101030763B1 (ko) 2010-10-01 2011-04-26 위재영 이미지 획득 유닛, 방법 및 연관된 제어 유닛
US9091535B2 (en) * 2012-05-22 2015-07-28 Korea Institute Of Industrial Technology 3D scanning system and method of obtaining 3D image
US9234618B1 (en) * 2012-09-27 2016-01-12 Google Inc. Characterizing optically reflective features via hyper-spectral sensor
GB201303076D0 (en) 2013-02-21 2013-04-10 Isis Innovation Generation of 3D models of an environment
US9831630B2 (en) 2014-02-06 2017-11-28 GM Global Technology Operations LLC Low cost small size LiDAR for automotive
EP3489091B1 (en) 2014-04-16 2021-09-08 dlhBowles Inc. Integrated image sensor support and method for simultaneously cleaning a plurality of image sensors
KR101644370B1 (ko) 2014-10-23 2016-08-01 현대모비스 주식회사 물체 검출 장치 및 그 동작 방법
US9625582B2 (en) 2015-03-25 2017-04-18 Google Inc. Vehicle with multiple light detection and ranging devices (LIDARs)
KR101957794B1 (ko) 2015-10-05 2019-03-13 엘지전자 주식회사 카메라 모듈 및 카메라 모듈의 결로방지 시스템
US10254215B2 (en) 2016-04-07 2019-04-09 Verifood, Ltd. Spectrometry system applications
US20170297488A1 (en) 2016-04-19 2017-10-19 GM Global Technology Operations LLC Surround view camera system for object detection and tracking
CN107444264A (zh) 2016-05-31 2017-12-08 法拉第未来公司 使用相机检测车辆附近的物体
US20170357267A1 (en) * 2016-06-10 2017-12-14 Cnh Industrial America Llc Autonomous work vehicle obstacle detection system
US10093311B2 (en) 2016-07-06 2018-10-09 Waymo Llc Testing predictions for autonomous vehicles
EP3481683B1 (en) * 2016-07-18 2020-10-28 Uatc, Llc Sensor cleaning system for vehicles
US10203696B2 (en) 2016-07-26 2019-02-12 Waymo Llc Determining drivability of objects for autonomous vehicles
US20180032822A1 (en) 2016-08-01 2018-02-01 Ford Global Technologies, Llc Vehicle exterior monitoring
KR102462502B1 (ko) 2016-08-16 2022-11-02 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치
US10852418B2 (en) * 2016-08-24 2020-12-01 Magna Electronics Inc. Vehicle sensor with integrated radar and image sensors
US10210760B2 (en) 2016-09-21 2019-02-19 Dura Operating, Llc System and method for autonomous parking of a vehicle
US20180095473A1 (en) * 2016-10-03 2018-04-05 Navya Autonomous electric vehicle for transportation of goods and/or people
WO2018138584A1 (en) 2017-01-26 2018-08-02 Mobileye Vision Technologies Ltd. Vehicle navigation based on aligned image and lidar information
US10406972B2 (en) 2017-02-24 2019-09-10 Tesla, Inc. Vehicle technologies for automated turn signaling
US20180288320A1 (en) 2017-04-03 2018-10-04 Uber Technologies, Inc. Camera Fields of View for Object Detection
US10677897B2 (en) 2017-04-14 2020-06-09 Luminar Technologies, Inc. Combining lidar and camera data
CN110537109B (zh) * 2017-04-28 2024-02-20 深圳市大疆创新科技有限公司 用于自主驾驶的感测组件
US20180372875A1 (en) * 2017-06-27 2018-12-27 Uber Technologies, Inc. Sensor configuration for an autonomous semi-truck
US10447973B2 (en) * 2017-08-08 2019-10-15 Waymo Llc Rotating LIDAR with co-aligned imager
KR102058050B1 (ko) 2017-08-16 2019-12-20 엘지전자 주식회사 운행 보조 시스템 및 차량
US10523880B2 (en) * 2017-09-28 2019-12-31 Waymo Llc Synchronized spinning LIDAR and rolling shutter camera system
CN109709530A (zh) * 2017-10-26 2019-05-03 株式会社小糸制作所 传感系统及车辆
US10628962B2 (en) 2017-11-08 2020-04-21 Worldcam Llc Determining vehicle dwell time within predetermined zones
GB2569654B (en) 2017-12-22 2022-09-07 Sportlight Tech Ltd Apparatusses, systems and methods for object tracking
CN108189777A (zh) 2017-12-27 2018-06-22 江苏远洋车灯有限公司 一种带有全景摄像的车灯
CN108332716A (zh) * 2018-02-07 2018-07-27 徐州艾特卡电子科技有限公司 一种自动驾驶汽车环境感知系统
JP2019158662A (ja) 2018-03-14 2019-09-19 トヨタ自動車株式会社 物標認識装置及び車両走行制御システム
CN208238805U (zh) * 2018-03-30 2018-12-14 郑州宇通客车股份有限公司 一种自动驾驶客车环境感知系统及自动驾驶客车
US11181619B2 (en) 2018-06-14 2021-11-23 Waymo Llc Camera ring structure for autonomous vehicles
DE102018004782A1 (de) 2018-06-15 2019-12-19 Daimler Ag Verfahren und Vorrichtung zum Erfassen einer Umgebung, sowie Fahrzeug mit einer solchen Vorrichtung
CN109308714A (zh) * 2018-08-29 2019-02-05 清华大学苏州汽车研究院(吴江) 基于分类惩罚的摄像头和激光雷达信息配准方法
US10674052B1 (en) 2018-12-12 2020-06-02 Valeo North America, Inc. Common cover lens for camera and illuminators
KR101998298B1 (ko) 2018-12-14 2019-07-09 위고코리아 주식회사 카메라 및 라이다 센서를 이용한 차량 자율주행방법
US10793094B2 (en) 2019-02-20 2020-10-06 Ford Global Technologies, Llc Communication grille assembly
US11161502B2 (en) 2019-08-13 2021-11-02 Zoox, Inc. Cost-based path determination

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000350058A (ja) * 1999-06-03 2000-12-15 Elbex Video Ltd テレビカメラ
JP2013519254A (ja) * 2010-02-01 2013-05-23 ヨンコック エレクトロニクス、カンパニーリミテッド 追跡監視用カメラ装置及びこれを採用する遠隔監視システム
JP2015518188A (ja) * 2012-02-29 2015-06-25 アイロボット コーポレイション 可動式ロボット
US20190204845A1 (en) * 2017-12-29 2019-07-04 Waymo Llc Sensor integration for large autonomous vehicles
JP2019174347A (ja) * 2018-03-29 2019-10-10 ヤンマー株式会社 障害物検知システム

Also Published As

Publication number Publication date
CN115135554B (zh) 2024-03-29
KR20220104244A (ko) 2022-07-26
US20240061425A1 (en) 2024-02-22
US11880200B2 (en) 2024-01-23
EP4061682A1 (en) 2022-09-28
US11493922B1 (en) 2022-11-08
US20230089733A1 (en) 2023-03-23
CN115135554A (zh) 2022-09-30
KR102649924B1 (ko) 2024-03-25
CA3165284A1 (en) 2021-07-08
WO2021137884A1 (en) 2021-07-08
JP7457811B2 (ja) 2024-03-28
EP4061682A4 (en) 2024-01-03

Similar Documents

Publication Publication Date Title
JP7457811B2 (ja) 周囲センサハウジング
KR102665624B1 (ko) 근접 감지 카메라 시스템
US10649461B2 (en) Around view monitoring apparatus for vehicle, driving control apparatus, and vehicle
US10843629B2 (en) Side mirror for a vehicle
EP3428027B1 (en) Driving system for vehicle
US11801905B2 (en) Efficient autonomous trucks
EP3299998A1 (en) Driver assistance apparatus
CN111566511A (zh) 大型自主车辆的传感器集成
US10803643B2 (en) Electronic device and user interface apparatus for vehicle
CN114556253A (zh) 自驾驶车辆中的传感器视场
CN111845576A (zh) 一种操作在自动驾驶模式下的车辆的方法及车辆
US11004245B2 (en) User interface apparatus for vehicle and vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240315

R150 Certificate of patent or registration of utility model

Ref document number: 7457811

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150