JP6622265B2 - 交通信号とそれらに関連した状態を検出するためのロバスト法 - Google Patents

交通信号とそれらに関連した状態を検出するためのロバスト法 Download PDF

Info

Publication number
JP6622265B2
JP6622265B2 JP2017168460A JP2017168460A JP6622265B2 JP 6622265 B2 JP6622265 B2 JP 6622265B2 JP 2017168460 A JP2017168460 A JP 2017168460A JP 2017168460 A JP2017168460 A JP 2017168460A JP 6622265 B2 JP6622265 B2 JP 6622265B2
Authority
JP
Japan
Prior art keywords
traffic signal
vehicle
determining
determined
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017168460A
Other languages
English (en)
Other versions
JP2018014124A (ja
Inventor
フェアフィールド、ナサニエル
ファーガソン、デービッド・アイ
レバンドースキー、アンソニー
Original Assignee
ウェイモ エルエルシー
ウェイモ エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウェイモ エルエルシー, ウェイモ エルエルシー filed Critical ウェイモ エルエルシー
Publication of JP2018014124A publication Critical patent/JP2018014124A/ja
Application granted granted Critical
Publication of JP6622265B2 publication Critical patent/JP6622265B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18154Approaching an intersection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60Traffic rules, e.g. speed limits or right of way
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/20Data confidence level
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Navigation (AREA)

Description

或る車両は、運転者からの入力が殆ど無いか全く無い環境で車両が操縦される自律型モードにおいて操作されるように構成されている。そのような車両は、環境に関する情報を検知するように構成された一つ以上のセンサを含み得る。車両は、環境で通じて操縦するために検知された情報を使用することがある。
例えば、センサの出力が車両が障害物に接近していることを示すならば、車両は障害物を避けて操縦されるであろう。更に、車両は交通標識及び交通信号に関する情報を検知し得る。例えば、交通標識は規制情報又は警告情報を提供し得る一方、道路交差点、横断歩道、及び他の場所において配置された交通信号は、交通の競合する流れを制御するために用いられ得る。
一つの例示的な態様においては、目標領域情報を得るために車両の一つ以上のセンサを用いて目標領域を走査することを含む方法が開示される。車両は自律型モードで操作されるように構成され、目標領域は交通信号が通常位置する領域の形式である場合がある。方法は、目標領域情報における交通信号を検出して、この交通信号の位置を決定することを含むこともある。更に、交通信号の状態及び交通信号に対する信頼性が判定され得る。交通信号に対する信頼性を判定することは、交通信号の位置を交通信号の一つ以上の既知の位置と比較することを含み得るが、これに限定されるものではない。この方法によれば、車両は、交通信号の状態及び交通信号に対する信頼性に基づいて自律型モードで制御され得る。
他の例示的態様においては、非一時的なコンピュータ可読媒体が開示され、これには、コンピュータに機能を実行させるようにコンピュータで実行可能な指令が記憶されている。この機能は、目標領域情報を得るために車両の一つ以上のセンサを用いて目標領域を走査することを含み得る。車両は自律型モードで操作されるように構成され、目標領域は交通信号が通常位置する領域の形式である場合がある。その機能は、目標領域情報内に交通信号を検出して、交通信号の位置を判定することを含み得る。更に、その機能に基づいて、交通信号の状態及び交通信号に対する信頼性が判定され得る。交通信号に対する信頼性を判定することは、交通信号の位置を交通信号の一つ以上の既知の位置と比較することを含むが、これに限定されるものではない。その機能によれば、交通信号の状態及び交通信号に対する信頼性に基づく自律型モードで車両は制御され得る。
更に他の例示的態様においては、自律型モードで操作されるように構成された例示的車両が開示される。この車両は、一つ以上のセンサ、メモリ、プロセッサ、及びメモリに記憶されてプロセッサにより実行可能な指令を含み得る。その指令は、一つ以上のセンサが目標領域情報を得るために目標領域を走査するように実行可能である場合がある。目標領域は、交通信号が通常位置する領域の形式である場合がある。その指令は、目標領域情報内で交通信号を検出して、交通信号の位置を判定して、交通信号の状態を判定することを実行可能である場合もある。更に、その指令は、交通信号に対する信頼性を判定するために実行可能である場合がある。交通信号に対する信頼性を判定することは、交通信号の位置を交通信号の一つ以上の既知の位置と比較することを含み得る。その指令は更に、交通信号の状態及び交通信号に対する信頼性に基づいて自律型モードで車両を制御するために実行可能である場合がある。
上述の概要は例示目的のみであって、何らの限定を意図するものではない。上述した例示的態様、実施形態及び特徴に加えて、更なる態様、実施形態及び特徴は、図面及び以下の詳細な説明の参照によって明らかになる。
車両を制御する例示的方法のブロック図である。 目標領域を走査する車両の例示的概念の図解である。 目標領域を走査する車両の例示的概念の図解である。 目標領域を走査する車両の例示的概念の図解である。 車両を制御するための例示的フローチャート及び関連した状態表である。 車両を制御するための例示的フローチャート及び関連した状態表である。 車両を制御するための他の例示的フローチャートである。 目標領域を走査する車両の更なる例示的概念の図解である。 目標領域を走査する車両の更なる例示的概念の図解である。 目標領域を走査する車両の更なる例示的概念の図解である。 図6は実施形態による例示的車両を図解する。 図7は実施形態による例示的車両の単純化されたブロック図である。 図8は、例示的コンピュータ・プログラム製品の概念的部分図を概略的に図解し、これは、本明細書に呈示された少なくとも幾つかの実施形態により構成されたコンピュータ・デバイスでコンピュータ処理を実行するためのコンピュータ・プログラムを含む。
以下の詳細な説明においては、参照は、本明細書の一部を形成する添付図面に対してなされる。図において、特に断らない限り、同様な符号は同様な構成要素を一般に特定する。詳細な説明、図面、及び特許請求の範囲に説明された例示的な実施形態は、限定を意味するものではない。ここに提示される主題の要旨を逸脱しない範囲で、他の実施形態が利用されることもあり、他の変形例がなされることもある。ここに一般的に説明されて図面に例示された本開示事項の態様は、広範な異なる形態で、配置、置換、組み合わせ、分離、及び設計することができ、それらの全ては本明細書に明白に予期されていることが容易に理解されるであろう。
車両、例えば自律的に操作されるように構成された車両は、目標領域情報を得るために目標領域を走査するように構成されることがある。車両の一つ以上のセンサは、目標領域を走査し得る。一つの例においては、目標領域は、交通信号が通常位置する領域の形式である場合がある。例えば、交通信号は一般的に何処に現れるか、例えば交差点の近傍、高さの範囲、道路の縁の近傍、その他に関する一般的な情報が、目標領域を決定するのに用いられ得る。或る例においては、車両のセンサは一時的に又は恒久的に移動された交通信号灯を見つけるために、及び/又は、先の情報を利用できない交通信号灯のような新たな交通信号灯を見つけるために、目標領域を連続的に走査し得る。
例として、交通信号の既知の位置に関連したデータは、地面からの下部高さ境界及び上部高さ境界により規定された高さ範囲内に現れる交通信号灯の所定の割合を示す場合もある。車両は、下部高さ領域と上部高さ領域との間の目標領域情報を得るように、接近しつつある領域を走査するために、高さ範囲を使用することもある。
或る例においては、交通信号は目標領域情報内で検出されるであろう。交通信号の地図が交通信号がある環境の領域内に存在することを示唆する例においては、車両は交通信号を目標領域情報内で発見することが予期されるであろう。或いは、交通信号の地図が目標領域内に何らの交通信号も示さないのであれば、交通信号が実際には存在する場合に備えて、車両は依然として目標領域を走査することもある。更に、検出された交通信号に関連した状態を判定し得る。この関連状態はその後に自律型モードで車両を制御するために使用し得る。
更なる例においては、検出された交通信号に対する信頼性及び交通信号の関連状態は、交通信号が検出される状況に基づいて決定し得る。例えば、車両は、この車両が交通信号を検出すると予期している場所において検出された交通信号にはより確信があり、車両が交通信号を検出するとは予期していない場所における検出された交通信号には、より確信がない場合がある。従って、或る例においては、車両の制御は、交通信号に対する信頼性に基づいて修正し得る。
図1は、車両を制御する例示的方法100のブロック図である。図1に示される方法100は、例えば、ここに説明した車両と共に用いることができ、車両又は車両の構成要素、又はより一般的にはサーバー又は他のコンピュータ・デバイスにより実行し得る。方法100は、一つ以上のブロック102-112により示されるように、一つ以上の操作、機能又は行為を含み得る。ブロックは連続した順序で例示されているが、これらのブロックは並行に、及び/又はここに説明されたものとは異なる順序で実行されることもある。また、様々なブロックは、より少ないブロックに結合されたり、付加的なブロックに分割されたり、及び/又は望ましい実施に基づいて取り除かれることもある。
更に、ここに開示された方法100並びに他の処理及び方法については、ブロック図は本実施形態の一つの可能な実施の機能及び操作を示す。これに関して、各々のブロックはモジュール、区画、又はプログラム・コードの一部を表すことがあり、これは、処理における特定の論理的機能又はステップを実施するために、プロセッサにより実行可能な一つ以上の指示を含む。プログラム・コードは、任意の種類のコンピュータ可読媒体、例えばディスク又はハード・ドライブを含む記憶デバイスに記憶し得る。コンピュータ可読媒体は、非一時的なコンピュータ可読媒体、例えば、レジスター・メモリ、プロセッサ・キャッシュ及びランダム・アクセス・メモリ(RAM)のような短期間についてデータを記憶するコンピュータ可読媒体などを含み得る。コンピュータ可読媒体は、非一時的な媒体も含むことがあり、これは例えば二次的又は持続的な長期ストレージであり、例えば読出し専用メモリ(ROM)、光学的又は磁気的ディスク、及びコンパクト・ディスク読み出し専用メモリ(CD−ROM)などである。コンピュータ可読媒体は、他の任意の他の揮発性又は不揮発性記憶システムである場合もある。コンピュータ可読媒体は、例えばコンピュータ可読記憶媒体記憶デバイス、又は他の製造物と見做し得る。
更に、ここに開示された方法100並びに他の処理及び方法については、各々のブロックは、処理における特定の論理的機能を実行するように構成された回路を表し得る。
図示のように、先ず、ブロック102において、方法100は目標領域情報を得るために車両の一つ以上のセンサを用いて目標領域を走査することを含む。或る例においては、車両は自律型モードで操作されるように構成し得る。図6及び7に関して説明される車両は、自律的に操作されるように構成された車両のそのような一例である。或る例においては、交通信号の状態及び位置に基づいて決定された制御コマンドは、車両の運転者を支援するのに用いられ得るか、又は、車両の制御システムへの入力として提供し得る。
一つの例においては、目標領域は、交通信号が通常位置する領域の形式である場合がある。例えば、目標領域は、交通信号の典型的な高さ及び又は幅の範囲を含み得る。目標領域は、車両の移動の方向に対応する接近しつつある領域の一部である場合がある。一つの例においては、交通信号の既知の位置に関する統計情報は、交通信号の所定の割合は地面からの高さのある範囲の間に起こることを示し得る。例として、交通信号に関して集められたデータは、交通信号の90%が地面から10フィート(約3m)と16フィート(約4.9m)との間に持ち上げられていることを示し得る。同様に、交通信号の既知の位置に関する情報は、交通信号の所定の割合が移動車線若しくは道路の左又は右に対して所定量の範囲内に配置されていることを示し得る。交通信号の位置についての統計に基づいて、予め定められた目標領域を選択し得る。
従って、一つの例においては、車両は目標領域を定期的に走査し得る。或る例においては、車両の状態又は車両が位置する環境の状態に基づいて、目標領域は変化し得る。一例として、目標領域は、車両の速度又は方向に基づいて広くするか狭くし得る。車両は、地理的な位置を判定するGPSレシーバー(又は他の地理的位置決め構成要素)及び加速計、ジャイロスコープ、又は重力の方向に関して、ピッチ、偏揺れ,及びロール(又はそれに対する変化)を判定する他の加速デバイスを含み得る。一つの例において、車両が曲がっているならば、目標領域は広がり得る。他の例においては、車両の地理的な位置が交差点に接近しているとき、目標領域は拡大し得る。或る場合には、交差点に対する車両の近接を判定するために、車両の地理的な位置を道路の交差点に関する情報を含む環境の地図と比較し得る。
車両の一つ以上のセンサは、画像形成構成要素及び/又は非画像形成構成要素を含み得る。例えば、様々な形式のカメラは、目標領域情報を得るために、車両に様々な形態で搭載し得る。一つの例においては、カメラは真っ直ぐに前方を向いて配置されて、バックミラーの後方又は近傍に搭載し得る。更に、カメラは対象の特定の領域、例えば、30度視野の固定レンズを有するカメラの2040x1080領域を撮り得る。カメラは、妥当なブレーキ距離を確実にするために、様々な距離における交通信号を検出するように校正し得る。更なる例においては、カメラのゲインとシャッター速度は、日中及び/又は夜間の交通信号灯の飽和を避けるように設定し得る。
他の例においては、一つ以上のセンサは、目標領域の対象の表面までの距離を測定するように構成された3次元(3D)走査デバイスを含み得る。一つの例においては、構造光投影デバイス及びカメラは、目標領域を記述する3次元点クラウドを決定するのに用いられ得る。他の例においては、LIDAR又はレーザー測距器のようなレーザー及び/又はレーダー・デバイスは、対象物までの距離を測定するために、目標領域を走査し得る。他の例においては、ステレオ・カメラ又はTOF(time−of−flight)カメラを距離画像形成のために使用し得る。このように、目標領域情報は二次元画像と目標領域を記述する三次元点クラウドとの任意の組合せを含み得る。
目標領域情報は、一つ以上の短期又は長期メモリに記憶されることもある。ブロック104において、方法100は目標領域情報内の交通信号を検出することを含む。或る例においては、交通信号について予期されるパターン、テンプレート、形状又はサインは、目標領域情報内で確認し得る。例として、交通信号分類器は適切な寸法及びアスペクト比を有する赤、黄、緑の物体のパターンを見つけて、そのパターンを潜在的交通信号として分類し得る。任意の例示的画像処理技術は、既知のパターンに整合する画像の一つ以上の部分を特定するために用い得る。テンプレート整合は一つの可能な例である。本開示事項は、一組の赤灯、黄灯、緑灯を有する代表的には垂直又は水平の交通信号に関連して説明したが、この特定の構造は単なる例として用いられていることが理解されよう。交通信号は、多様で時には複雑な幾何形状を有することがあり、これらの付加的な幾何形状もまた検出し得る。
目標領域情報が3次元点クラウドを含む例において、交通信号について予期される形状を有する3D点クラウドの対象は検出し得る。例えば、3D点クラウドに基づく対象認識システムは、3D点クラウド内の対象点を記載する特徴を特定するのに用いられ得る。この特徴はその後、一つ以上の形式の交通信号の3Dモデルについて予期される特徴と比較されることがあり、交通信号である3D点クラウド内の対象物としての対象点のグループを認識する。
ブロック106において、方法100は交通信号の位置を判定することを含む。或る例においては、車両の地理的な位置情報及び/又は方向情報は、目標領域情報と関係している場合がある。例えば、目標領域情報が画像を含む例において、画像に関連したメタデータは目標領域情報が得られたときの車両(又は目標領域情報を得るのに用いられる車両のセンサ)の地理的な位置及び方向を示し得る。車両及び/又は車両のセンサの地理的な位置及び方向に基づいて、検出された交通信号の位置を推定し得る。
例として、交通信号の位置は、車両(又は車両のセンサ)の位置に基づいて推定し得る。例えば、車両のGPS座標及び移動の方位又は方向は、目標領域情報が得られた時間について判定し得る。車両の位置及び移動の方向は領域の道路地図に関係している場合があり、道路地図における最も近い近接する交差点を確認し得る。交通信号の位置は、交差点の位置であると判定される場合がある。
他の例においては、交通信号の位置は、三角測量を用いる3Dで推定し得る。三角測量を介して3Dで位置を推定するために、検出された交通信号の二つ以上の画像を使用し得る。例えば、交通信号(又は複数の交通信号)は二つ以上の画像内に検出し得る。或る例においては、第1の画像の交通信号が第2の画像の交通信号と同じ交通信号であると判定し得る。近アフィン運動及び/又は高いフレーム率の場合において、テンプレート・トラッカーは、後続の画像内の検出された交通信号を関連させるために用い得る。
フレーム率がより低い(例えば、4fps)場合において、直接運動補正を使用し得る。車両の正確な姿勢が各々の画像について既知であるならば、画像の間のロール、ピッチ、及び偏揺れにおける変化は、カメラの動きを記述するカメラ・モデルを用いて画像の間で修正するために直接的である場合がある。しかしながら、交通信号の位置の推定は、車両の運動(例えば、前進運動)に起因する画像の間の対象物の視運動を計上することを必要とし得る。一つの例においては、交通信号灯が約0.3メートルの直径を有すると仮定することによる。焦点距離fを有するカメラにより撮られた画像における真の幅w及び見掛け上の幅waを有する交通信号までの距離dは、次式に見出すことができる。

更に、方向ベクトルX=[u,v]はカメラ・モデルを用いて計算し得るので、交通信号灯の近似的な3D位置は次式である。
続いて、T及びTが車両のフレームから局所的に平滑な座標フレームへの二つの異なる時間についての4×4変換行列であるならば、一つの画像から他への交通信号の相対的運動は次式として修正できる。

ここでCは車両フレームからカメラ座標フレームへの変換である。或る例においては、画像座標は、径方向歪を明らかにするように更に調整し得る。
一つの例においては、第1の画像からの交通信号の運動を修正された位置が第2の画像の交通信号の関連距離に収まるならば、検出された交通信号が同じ対象物に一致することがあり得る。第1の画像における検出された交通信号が第2の画像における検出された交通信号に一致すると判定されたならば、最小二乗法三角測量が用いられることがあり、交通信号の3D位置が、第1及び第2の画像における交通信号の位置並びに第1及び第2の画像についてのカメラ方位に基づいて推定される一方、画像が獲得される。
或る例においては、交通信号は、これらが適用される実際の車線に対しても確認され得る。例えば、或る交通信号は左又は右のターン車線に適用され得る。この情報は、車両の現在の車線に基づいて、車両が従うべきは何れの交通信号(又は複数の交通信号)であるかを判定するのに用いられ得る。推定された交通信号方位又は位置、交差点平均幅、及び車線平均幅に基づく単純な発見的問題解決法(heuristics)は、交通信号と車線との間の関係の推定をなすのに用いられ得る。
一つの例においては、交通信号の位置はメモリに記憶されることもある。目標領域情報又は他の状況情報(例えば、速度、場所、方位、時間、日付など)の何れも交通信号の位置に加えて記憶されることもある。一つの例においては、記憶された情報は、領域についての交通信号の位置の地図を更新するのに用いられ得る。
ブロック108において、方法100は交通信号の状態を判定することを含む。複数の交通信号が目標領域情報内で検出される例においては、車両の車線に対応する交通信号の状態を判定し得る。交通信号の状態の判定は、交通信号の画像の赤色、黄色、緑色の対象のパターンの何れの対象が照明されたかを判定することを含み得る。一つの例においては、画像形成処理方法は、赤色、黄色、及び緑色の対象の輝度の間の区別を判定して、最も高い輝度を有する対象を決定するのに用いられ得る。最も高い輝度を有する対象は、例えば、オンであると見做し得て、交通信号の状態を示す。一つの例においては、赤色、黄色、及び緑色の対象の間の相対的な区別が不明瞭であるならば、黄色の対象が照明されていると仮定し得る。同様に、観察された明るい緑色の対象に対する信頼性が時間と共に低下し、緑色対象が所定の期間以内に再度検出されないならば、交通信号が黄色であるという仮定を既定値に設定し得る。
交通信号の3D位置が判定される例においては、何処で交通信号が以降の画像内に現れねばならないかという予測が、交通信号の他の画像を判定するために用いられ得る。例えば、3D位置に関する車両の位置の予測に基づいて、予測位置は、車両のカメラの画像フレームへ投影することができる。或る例においては、予測された位置は、画像の一部を選択する軸整列された境界ボックスである場合がある。しかしながら、他の例示的領域又は形状も可能であり、予測された位置の幾何学的配置は交通信号の方位又は幾何学的配置に基づいて決定し得る。次いで、予測された位置内の画像の部分は、交通信号の状態を判定するために分析し得る。例えば、予測された位置は、明るく色付けられた赤色又は緑色の対象を特定するために処理し得て、車両の位置が交通信号に接近するにつれて、予測された位置は変化し得る。
ブロック110において、方法100は交通信号に対する信頼性を判定することを含む。交通信号の存在及び交通信号についての後続の状態評価について結論をなすとき、車両のコンピュータ・システムのプロセッサは結論に対する信頼性を判定し得る。例として、判定された信頼性は、交通信号が予想されない場所よりも交通信号が予想される場所における交通信号灯の検出がより信頼し得る。一つの例においては、車両の位置が交差点に近接している(例えば、150メートルのような予め定められた閾値内)ならば、交通信号はある場所について予想し得る。一つの例においては、交差点までの距離は、環境の地図上で車両の位置を交差点若しくは接続点(node)の位置と比較することにより測定し得る。例えば、k次元ツリー(「k−dツリー」」)、最近傍探索を容易にするために、交差点の接続点を組織化するのに用い得る。
他の例においては、交通信号に対する信頼性を判定することは、交通信号の位置を交通信号の一つ以上の既知の位置と比較することを含み得る。例えば、車両は、局所的に又は車両から離間して記憶された交通信号の既知の位置の地図にアクセスし得る。車両の地理的な位置に基づいて、近くにある交通信号の一つ以上の既知の位置を判定し得る。或る例においては、k−dツリーは、最近傍探索を容易にするために、交通信号の既知の位置を組織化するのに用い得る。
ブロック112において、方法100は、交通信号の状態及び交通信号に対する信頼性に基づいて自律型モードで車両を制御することを含む。交通信号の状態及び/又は位置は、車両或いは車両の運転者又は乗客を支援するために或る状況で使用し得る。
車両がユーザーによって運転されるとき、交通信号の状態に関する情報を提供し得る。例えば、点灯が赤色、黄色、又は緑色であるという視覚的又は聴覚的な指標を提供し得る。他の例においては、「ブレーキをかけてください、信号灯は赤です」などユーザーに指令又は警告を提供し得る。視覚的又は聴覚的な指標は、交通信号の状態の変化の後にも提供し得る。
車両が自律的に操作されるとき、車両の制御システムは、交通信号の状態及び判定された信頼性に基づいて、車両のための経路を決定し得る。例えば、交通信号に対して予想される位置における交通信号について緑色対象が検出されたならば、車両は交通交差点を横断するであろう。交通信号が予想されない領域における交通信号について黄色対象が検出された例においては、交通信号についての存在と推定された状態を確認する目的で、車両はその速度を減速し、その領域に関して更なる情報を判定し得る。
このように、例示的方法100は、車両に、予想される場所及び/又は予想されない場所における交通信号の位置及び状態を判定することを可能にし得る。方法100の幾つかの例示的実施例について、図2A−図5Cに関連して以下に説明する。
説明の便宜上、幾つかの例示的実施例について説明する。しかしながら、その例示的実施例は例示のみであって、限定を意味しないことを理解されたい。他の例示的実施例が同様に可能である。
図2A−2Cは、目標領域を走査している車両200の例示的概念の図解である。例えば、図2A-2Cは、目標領域を走査している車両200の側面図と二つの斜視図を例示する。交通信号が場所について予想されていないとしても、車両200は目標領域を走査し得る。例えば、図2Bは交差点に近接しない目標領域を走査している車両200を図解し、一方、図2Cは交差点に近接する目標領域を走査している車両200を図解する。或る例においては、目標領域を走査することは、車両200が、交通信号が代表的に位置する領域の形式についての目標領域情報を得ることを可能にし得る。
図2Aに示すように、車両200は接近しつつある領域についての地面より上方で、第1の高さ202と第2の高さ204との間で領域を走査し得る。一つの例においては、地面より上方の第1の高さ202及び第2の高さ204は、車両の前方における所定の距離(例えば100メートル)について判定し得る。一つの例においては、第1の高さ202及び第2の高さ204は、車両200からの予め定められた距離よりも短い距離において生じる対象については、より小さな目標領域(例えば、高さのより狭い範囲)を形成し、予め定められた距離よりも長い距離において生じる対象については、より大きな目標領域(例えば、高さのより広い範囲)を形成し得る。
一つの例においては、車両200の画像形成構成要素及び/又はレーダー構成要素は、目標領域についての目標領域情報を得るのに用い得る。画像形成構成要素及びレーダー構成要素は、バックミラーに対して後方又は近接して搭載し得るので、車両200が運転者及び/又は乗客(又は複数の乗客)を含む状況の例では、画像形成構成要素又はレーダー構成要素は、運転者及び/又は乗客(又は複数の乗客)の視野の妨げを最小限にする。
或る例においては、目標領域に対して上方、下方、及び/又は近接した領域についての更なる情報も得られることがある。例えば、画像形成構成要素は目標領域情報の一つ以上の画像を撮るように構成されるカメラである場合があり、一つ以上の画像は目標領域の一部でない領域についての情報を含み得る。一つの例においては、処理構成要素は目標領域情報を分析する一方、付加的な情報を無視し得る。他の例においては、カメラの視野及び/又は焦点距離は、カメラが目標領域だけについての情報を撮るように修正し得る。
更に、目標領域情報は、車両からの距離の任意の範囲についての情報を含み得る。例えば、画像形成構成要素の焦点は、固定又可変にしてもよい。一つの例においては、画像形成構成要素は測距構成要素を含むことがあり、これは、視野内の対象までの距離を検出して、それに応じて画像形成構成要素の焦点を調節するように構成されている。他の例においては、画像形成構成要素の焦点は、車両の速度に基づいて変化し得る。例えば、交通信号は、速度が第1の速度のときには長い距離において検出され、速度が第1の速度よりも遅いときには、より短い距離において検出され得る。
図3A-3Bは、車両を制御するための例示的フローチャート300及び関連状態表314である。図3Aに示すように、先ずブロック302において、目標領域を走査し得る。例えば、交通信号が通常位置する領域は、目標領域情報を得るために走査し得る。一つの例においては、交通信号はブロック304において検出され得る。例えば、目標領域情報は交通信号の存在を示す情報を含み得る。
ブロック306において、交通信号の位置を判定し得る。一つの例においては、交通信号の位置は、車両の場所及び/又は方位に基づいて判定されることがあり、二次元場所(例えば、緯度及び経度によって記述される場所)又は三次元場所(例えば、緯度、経度、及び地面より上方の高さによって記述される場所)であることがある。
更に、フローチャート300によれば、ブロック308において、交通信号の既知の位置までの最小限の距離を測定し得る。一つの例においては、交通信号の既知の位置はk−dツリー内に記憶され、最近傍探索は、車両の位置及び/又は検出された交通信号の判定された位置の近傍である交通信号の既知の位置を判定するように実行し得る。一つの例においては、距離は車両の位置と交通信号の既知の位置との間で計算でき、最小距離を測定し得る。他の例においては、距離は、検出された交通信号の判定された位置と交通信号の既知の位置との間で計算されて、最小距離を判定し得る。一方、ブロック310において、検出された交通信号の状態を判定し得る。
一つの例においては、最小距離と予め定められた閾値との間の関係を判定し得る(例えば、予め定められた閾値への最小距離の近接又は最小距離が予め定められた閾値を越えるか又はそれ未満であるかの判定)。ブロック312において、所定の関係及び交通信号の所定の状態に基づいて、車両のための制御コマンドを決定し得る。図3Bに示される例示的状態表314は、制御コマンドをどのように決定し得るかという一つの例を記述する。
図3Bに示すように、交通信号の状態、及び最小距離と予め定められた閾値との間の関係に基づいて、様々な制御コマンドを選択し得る。或る例においては、最小距離と予め定められた閾値との間の関係は、検出された交通信号に対する信頼性を示唆し得る。
第1の例316においては、交通信号の状態は赤色である場合があり、最小距離は予め定められた閾値より大きい場合がある。状態表314は、第1の制御コマンド318が選択され得ることを示す。第1の例316は、交通信号が予想されなかったことを示唆し得る。従って、第1の制御コマンドは、ブレーキをかけて、交通信号の存在とこの交通信号の以後の状態に関する更なる情報を判定するように指示する。一つの例においては、更なる情報を決定することは、交通信号の状態並びに近傍の交通及び/又は交差点での往来の挙動を監視することに関係し得る。
図4は、車両を制御するための他の例示的フローチャート400である。図示のように、ブロック402において、交通信号が予想されるか否かの判定をなし得る。一つの例においては、判定は、車両の位置が交差点に近接しているか否か、又は従来の地図が車両の位置の近傍、例えば車両が移動する方向に交通信号が存在することを示唆するか否かに基づいてなされることがある。
判定に基づいて、交通信号が予想されないならば、ブロック404において、車両は目標領域情報を得るために目標領域を走査し得る。その後、交通信号がブロック406において目標領域情報内に検出されるか否かの判定をなし得る。交通信号が検出されないならば、フローチャート処理が再開され得る。交通信号が検出されたという判定がなされるならば、交通信号及び制御コマンドの状態はそれぞれブロック408及び410において判定し得る。
ブロック402において交通信号が予想されるという判定がなされたならば、車両は410において目標領域情報を得るために目標領域を走査し得る。一つの例においては、目標領域は、ブロック404において走査された同一の目標領域である場合がある。他の例においては、目標領域は、ブロック404において走査された目標領域とは異なる場合がある。交通信号が既知の場所で予想される例においては、ブロック410において走査される目標領域は、既知の場所を囲む領域である場合がある。
その後、ブロック412において、交通信号が目標領域情報内で検出されたか否かを判定し得る。交通信号が検出されたならば、交通信号及び制御コマンドの状態はそれぞれブロック408及び410において判定し得る。一つの例においては、交通信号が予想される例と交通信号が予想されない例とについて、制御コマンドが異なる場合がある。交通信号が検出されないならば、車両を減速して、更なる情報をブロック414において判定し得る。例えば、車両は交通及び近傍の交差点の往来に関する情報を判定し得るか、或いは、より詳細な情報を車両の乗客又は運転者に要請し得る。ブロック416においては、目標領域を調節し得る。例えば、目標領域を広げて、目標領域をブロック410において再走査し得る。或る例においては、目標領域を広げることは、交通信号の一時的な移転又は風に揺れる交通信号の検出を可能とし得る。
図5A-5Cは、目標領域を走査している車両の500の更なる例示的概念の図解である。或る例においては、車両500は複数の目標領域を走査し得る。図5Aに示すように、車両500は第1の目標領域502及び第2の目標領域504を走査し得る。一つの例においては、道路より上方に加えて道路に隣接する一つの領域又は複数の領域を走査することは、交通信号を越えてより多くの交通信号又は物体の検出を可能にし得る。例えば、横断歩道、建設警告、踏切又は他の情報のために点滅する交通信号を検出し得る。
図5Bに示すように、交通信号の予想される位置に関するより正確な情報が知られている例において、補助領域506を目標領域502に加えて走査し得る。図5Cに示すように、予想される交通信号の位置が移動した例においては、交通信号は補助領域506内では検出されないであろう。しかしながら、より大きな目標領域502を走査することは、新たな場所における交通信号の検出を容易にし得る。
ここで、上述の例示的方法の例示的実施形態を実施し得るシステムについて、より詳細に説明する。一般に、例示的システムは車両内に実装し得るか、又は車両の形態を採り得る。この車両は、例えば、自動車、車、トラック、オートバイ、バス、ボート、飛行機、ヘリコプター、芝刈り機、アースムーバー、スノーモービル、レクリエーション用車両、遊園地車両、農機具、建設機器、路面電車、ゴルフ・カート、列車及びトロリーを含めて、多数の形態を採り得る。他の車両も同様に可能である。
更に、他の例示的システムは非一時的なコンピュータ可読媒体の形を採ることがあり、これは、それに記憶されて、本明細書に説明された機能を与えるように少なくとも一つのプロセッサにより実行可能なプログラム指令を有する。例示的システムは、車両又は車両の補助システムの形態を採ることもあり、これはそのような非一時的なコンピュータ可読媒体を含み、これはそれに記憶されたそのようなプログラム指令を有する。
図6は実施形態による例示的車両600を図解する。特に、図6は車両600の右側面図、前面図、後面図、及び上面図を示す。車両600は図6には車として図示されているが、他の実施形態も可能である。例えば、他の例ではとりわけ、車両600は、トラック、バン、セミ・トレーラー・トラック、オートバイ、ゴルフ・カート、オフロード車両又は農場車両を意味することができる。図示のように、車両600は、第1のセンサ・ユニット602、第2のセンサ・ユニット604、第3のセンサ・ユニット606、無線通信システム608、及びカメラ610を含む。
第1、第2、及び第3のセンサ・ユニット602−606の各々は、汎地球測位システム・センサ、慣性測定ユニット、無線方向探知機(RADAR)ユニット、レーザー測距器、光探知及び測距(LIDAR)ユニット、カメラ、及び音響センサの任意の組み合わせを含み得る。他の形式のセンサも同様に可能である。
第1、第2、及び第3のセンサ・ユニット602は車両600で特定の場所に搭載されるように示されているが、或る実施形態においては、センサ・ユニット602は、車両600の内側又は外側の何れかで、車両600の何処か他の場所に搭載し得る。更に、三つのみのセンサ・ユニットが示されているが、或る実施形態において、より多くの又はより少ないセンサ・ユニットを車両600に含み得る。
或る実施形態においては、第1、第2、及び第3のセンサ・ユニット602−606の一つ以上は、センサを可動に取り付け得る一つ以上の可動マウントを含み得る。この可動マウントは、例えば、回転プラットホームを含み得る。この回転プラットホームに取り付けられたセンサは、車両600の周りの各々の方向から情報を得るように回転できる。これに代えて又はこれに加えて、可動マウントは、傾斜プラットホームを含み得る。この傾斜プラットホームに取り付けられたセンサは、様々な角度から情報を得られるように、角度及び/又は方位角の特定の範囲内で傾斜させることができる。可動マウントは同様に他の形態を採り得る。
更に、或る実施形態においては、第1、第2、及び第3センサ・ユニット602−606の一つ以上は、センサ及び/又は可動マウントを移動させることにより、センサ・ユニットにおけるセンサの位置及び/又は方位を調節するように構成された一つ以上のアクチュエータを含み得る。例示的なアクチュエータは、モータ、空気圧アクチュエータ、油圧ピストン、リレー、ソレノイド、及び圧電アクチュエータを含む。他のアクチュエータも同様に可能である。
無線通信システム608は、一つ以上の他の車両、センサ又は構成要素へ直接に又は通信ネットワークを介して接続されるように構成された任意のシステムであることがある。このためには、無線通信システム608は、他の車両、センサ又は他の構成要素と直接に又は通信ネットワークを介して通信するために、アンテナ及びチップセットを含み得る。一般にチップセット又は無線通信システム608は、他の可能性の中ではとりわけ、ブルートゥース(登録商標)のような無線通信(例えば、プロトコル)、IEEE802.11(IEEE802.11改訂版を含む)に記載された通信プロコトル、セルラー技術(例えば、GSM(登録商標)、CDMA、UMTS、EV−DO、WiMAX、又はLTE)、ジグビー(Zigbee)、狭域通信(DSRC)、無線自動識別(RFID)通信のうちの一つ以上により通信するように構成され得る。無線通信システム608は同様に他の形態を採り得る。
無線通信システム608は車両600の屋根に位置して示されているが、他の実施形態においては、無線通信システム608は、全体的に又は部分的に、何処か他の場所に配置することができる。
カメラ610は、車両600が位置する環境の画像を撮るように構成された任意のカメラ(例えば、スチルカメラ、ビデオ・カメラなど)とし得る。このためには、カメラ610は可視光を感知するように構成し得るか、或いは、スペクトルの他の部分からの光、例えば赤外線又は紫外線光を感知するように構成し得る。他の形式のカメラも同様に可能である。カメラ610は二次元検出器とし得るか、又は三次元空間的範囲を有し得る。或る実施形態においては、カメラ610は、例えば、カメラ610から環境における多数の点までの距離を示す二次元画像を生成するように構成された距離検出器とし得る。このためには、カメラ610は、一つ以上の距離検出技術を使用し得る。例えば、車両600が予め定められた光パターン、例えば格子又はチェッカーボード・パターンで環境の対象を照らして、カメラ610を用いて物体からの予め定められた光パターンの反射を検出する構造光技術を使用し得る。反射光パターンにおける歪みに基づいて、車両600は物体上の点までの距離を測定し得る。予め定められた光パターンは、赤外線又は他の波長の光を含み得る。他の例としては、カメラ610は、車両600がレーザーを射出して、環境における物体上の多数の点に亘って走査するレーザー走査技術を使用し得る。物体を走査している間、各々の点についての物体からのレーザーの反射を検出するように、車両600はカメラ610を用いる。レーザーが各々の点において物体から反射するのにかかる時間に基づいて、車両600は物体の上の点までの距離を測定し得る。更に他の例として、カメラ610は、車両600が光パルスを発して、カメラ610を用いて物体上の多数の点における物体からの光パルスの反射を検出する飛行時間技術を使用し得る。特に、カメラ610は多数のピクセルを含み、その各々のピクセルは物体上の点からの光パルスの反射を検出し得る。各々の点において物体から光パルスが反射するのにかかる時間に基づいて、車両600は物体上の点までの距離を測定し得る。光パルスは、レーザーパルスである場合がある。他の測距技術も同様に可能であり、これはとりわけステレオ三角測量、光シート三角測量、インターフェロメトリー、及びコード化された開口技術を含む。カメラ610は、同様に他の形態を採り得る。
或る実施形態においては、上述のように、カメラ610は、可動マウント及び/又はアクチュエータを含み、これはカメラ610及び/又は可動マウントを移動させることによってカメラ610の位置及び/又は方位を調節するように構成されている。
カメラ610は車両600の前方フロントガラス内側に取り付けられて示されているが、他の実施形態においては、カメラ610は車両600の内側又は外側の何れかで、何処か他の場所に取り付けられることがある。
車両600は、図示の構成要素に加えて又はそれに代えて、一つ以上の他の構成要素を含み得る。
図7は実施形態による例示的車両700の単純化されたブロック図である。車両700は、例えば、図6に関連して上述した車両600に類似している場合がある。車両700は、同様に他の形態を採り得る。
図示のように、車両700は、推進システム702、センサ・システム704,制御システム706、周辺機器708、及びコンピュータ・システム710(プロセッサ712、データ・ストレージ714及び指令716を含む)を含む。他の実施形態においては、車両700はより多いか、より少ないか、又は異なるシステムを含むことがあり、その各々のシステムはより多いか、より少ないか、又は異なる構成要素を含み得る。更に、図示のシステム及び構成要素は、多くの方式で組み合わせるか又は分割し得る。
推進システム702は、車両700に動力を供給された運動を提供するように構成し得る。図示のように、推進システム702は、エンジン/モータ718、エネルギー源720、トランスミッション722、及び車輪/タイヤ724を含む。
エンジン/モータ718は、内燃機関、電気モータ、蒸気機関、及びスターリング・エンジンするか、又はそれの任意の組合せとを含み得る。他のモータ及びエンジンも同様に可能である。或る実施形態においては、推進システム702は、エンジン及び/又はモータの複数の形式を含むことができる。例えば、ガス電気ハイブリッド・カーは、ガソリン・エンジン及び電気モータを含むことができる。他の例も可能である。
エネルギー源720は、エンジン/モータ718に完全に又は部分的に動力を与えるエネルギーの源である場合がある。即ち、エンジン/モータ718は、エネルギー源720を機械的エネルギーに変換するように構成し得る。エネルギー源720の例は、ガソリン、ディーゼル、プロパン、他の圧縮ガスに基づく燃料、エタノール、太陽電池パネル、バッテリ、及び他の電力源を含む。一つ又は複数のエネルギー源720は、これに加えて又はこれに代えて、燃料タンク、バッテリ、キャパシタ、及び/又はフライホイールの任意の組合せを含むことができる。或る実施形態においては、エネルギー源720は同様に車両700の他のシステムにエネルギーを提供し得る。
トランスミッション722は、エンジン/モータ718から車輪/タイヤ724へ機械的動力を伝達するように構成し得る。このためには、トランスミッション722は、ギアボックス、クラッチ、差動装置、駆動軸及び/又は他の要素を含み得る。トランスミッション722が駆動軸を含む実施形態においては、駆動軸は、車輪/タイヤ724に結合するように構成された一つ以上の車軸を含むことができる。
車両700の車輪/タイヤ724は、様々な形式に構成することができ、これは、一輪車、自転車/オートバイ、三輪車、又は四輪車/トラック形式を含む。他の車輪/タイヤ形態、例えば六つ以上の車輪を含むものも同様に可能である。何れの場合にも、車両724の車輪/タイヤ724は、他の車輪/タイヤ724に関して差動的に回転するように構成し得る。或る実施形態においては、車輪/タイヤ724は、トランスミッション722に固定的に取り付けられた少なくとも一つの車輪と、駆動表面に接触することができる車輪の縁に結合する少なくとも一つのタイヤを含み得る。車輪/タイヤ724は、金属とラバーとの任意の組合せ又は他の材料の組合せを含み得る。
推進システム702は、図示のものに加えて又はそれに代えて、図示以外の構成要素を含み得る。
センサ・システム704は、車両700が位置する環境に関する情報を検知するように構成された多数のセンサ並びにセンサの位置及び/又は方位を修正するように構成された一つ以上のアクチュエータ736を含み得る。図示のように、センサ・システムのセンサは、汎地球位置測定システム(GPS)726、慣性測定ユニット(IMU)728、RADARユニット730、レーザー測距器及び/又はLIDARユニット732及びカメラ734を含む。センサ・システム704は、更なるセンサを同様に含み、これは例えば、車両700の内部システムを監視するセンサ(例えば、O監視、燃料ゲージ、エンジン油温度など)を含む。他のセンサも同様に可能である。
GPS726は、車両700の地理的な位置を推定するように構成された任意のセンサである場合もある。このためには、GPS726は、地球に関して車両700の位置を推定するように構成されたトランシーバーを含み得る。GPS726は、同様に他の形態を採り得る。
IMU728は、慣性加速に基づいて車両700の位置及び方向転換を検知するように構成された複数のセンサの任意の組合せであることもある。或る実施形態においては、複数のセンサの組合せは、例えば、加速度計及びジャイロスコープを含み得る。センサの他の組合せも同様に可能である。
RADAR730ユニットは、車両700が位置する環境における物体を無線信号を用いて検知するように構成された任意のセンサであることもある。或る実施形態においては、物体を検知することに加えて、RADARユニット730は、物体の速度及び/又は機首方位を検知するように更に構成し得る。
同様に、レーザー測距器又はLIDARユニット732は、車両700が位置する環境における物体をレーザーを用いて検知するように構成される任意のセンサであることもある。特に、レーザー測距器若しくはLIDARユニット732は、レーザーを射出するように構成されたレーザー源及び/又はレーザー・スキャナと、レーザーの反射を検知するように構成された検出器とを含み得る。レーザー測距器若しくはLIDARユニット732は、コヒーレント(例えば、ヘテロダイン検出を用いる)又は非コヒーレント・モードで作動するように構成し得る。
カメラ734は、車両700が位置する環境の画像を撮るように構成された任意のカメラ(例えば、スチルカメラ、ビデオ・カメラなど)であることもある。このためには、カメラは上述の形態の何れも採り得る。
センサ・システム704は、図示のものに加えて又はそれに代えて、図示以外の構成要素を含み得る。
制御システム706は、車両700及びその構成要素の操作を制御するように構成し得る。このためには、制御システム706は、ステアリング・ユニット738、スロットル740、ブレーキ・ユニット742、センサ融合アルゴリズム744、コンピュータ視覚システム746、ナビゲーション若しくは経路付けシステム748、及び障害物回避システム750を含み得る。
ステアリング・ユニット738は、車両700の機首方位を調節するように構成された機構の任意の組合せであることもある。
スロットル740は、エンジン/モータ718の操作速度と、次いでは、車両700の速度を制御するように構成された機構の任意の組合せであることもある。
ブレーキ・ユニット742は、車両700を減速するように構成された機構の任意の組合せであることもある。例えば、ブレーキ・ユニット742は、車輪/タイヤ724を遅くするために摩擦を使用し得る。他の例として、ブレーキ・ユニット742は、車輪/タイヤ724の運動エネルギーを電流に変換し得る。ブレーキ・ユニット742は同様に他の形態を採り得る。
センサ融合アルゴリズム744は、センサ・システム704からのデータを入力として受理するように構成されたアルゴリズム(又はアルゴリズムを記憶しているコンピュータ・プログラム製品)であることがある。データは、例えば、センサ・システム704のセンサで検知された情報を表すデータを含み得る。センサ融合アルゴリズム744は、例えば、カルマン・フィルタ、ベイジアン・ネットワーク、又は他のアルゴリズムを含み得る。センサ融合アルゴリズム744は、センサ・システム704からのデータに基づいて様々な評価を提供するように更に構成されることがあり、これは例えば、車両700が位置する環境における個々の物体及び/又は特徴の評価、特定の状況の評価、及び/又は特定の状況に基づいて可能性がある影響の評価を含む。他の評価も同様に可能である。
コンピュータ視覚システム746は、車両700が位置する環境の物体及び/又は特徴(これは例えば、交通信号及び障害物を含む)を確認するためにカメラ734により撮られた画像を処理及び分析するように構成された任意のシステムであることがある。このためには、コンピュータ視覚システム746は、物体認識アルゴリズム、Structure From Motion(SFM)アルゴリズム、ビデオ追跡、又は他のコンピュータ視覚技術を使用し得る。或る実施形態においては、コンピュータ視覚システム746は、環境の地図化、物体の追跡、物体の速度の推定等をなすように更に構成し得る。
ナビゲーション及び経路付けシステム748は、車両700のための運転経路を決定するように構成された任意のシステムであることもある。ナビゲーション及び経路付けシステム748は更に、車両700が運転中の間、運転経路を動的に更新するように構成し得る。或る実施形態においては、ナビゲーション及び経路付けシステム748は、車両700のための運転経路を決定するように、センサ融合アルゴリズム744、GPS726、及び一つ以上の予め定められた地図からデータを取り込むように構成し得る。
障害物回避システム750は、車両700が位置する環境における障害物を認識、評価、及び回避又は他の方法で通り抜けるように構成された任意のシステムであることもある。
制御システム706は、図示のものに加えて又はそれに代えて、図示以外の構成要素を含み得る。
周辺機器708は、車両700を外部センサ、他の車両及び/又はユーザーと相互作用させるように構成し得る。このためには、周辺機器708は、例えば、無線通信システム752、タッチスクリーン754、マイクロフォン756、及び/又はスピーカー758を含み得る。
無線通信システム752は上述の形態の何れも採り得る。
タッチスクリーン754は、ユーザーによって車両700へコマンドを入力するために用いられ得る。このためには、他の可能性を含め、容量感知、抵抗感知、又は表面弾性波処理を介してユーザーの指の位置と運動との少なくとも一方を感知するように構成し得る。タッチスクリーン754は、タッチスクリーン表面に対して平行又は平坦な方向で、タッチスクリーン面に垂直な方向で、又はそれらの両方で指運動を感知できることがあり、及びタッチスクリーン面に加えられる圧力のレベルを感知できることもある。タッチスクリーン754は、一つ以上の半透明な又は透明な絶縁層と、一つ以上の半透明な又は透明な伝導層から形成し得る。タッチスクリーン754は同様に他の形態を採り得る。
マイクロフォン756は、車両700のユーザーからオーディオ(例えば、音声コマンド又は他のオーディオ入力)を受け取るように構成し得る。同様に、スピーカー758は車両700のユーザーへオーディオを出力するように構成し得る。
周辺機器708は、図示のものに加えて又はそれらに代えて、図示以外の構成要素を含み得る。
コンピュータ・システム710は、推進システム702、センサ・システム704、制御システム706、及び周辺機器708のうちの一つ以上に対してデータを送信及び受信するように構成し得る。このためには、コンピュータ・システム710は、システムバス、ネットワーク、及び/又は他の接続機構(図示せず)によって推進システム702、センサ・システム704、制御システム706、及び周辺機器708のうちの一つ以上に通信的にリンクし得る。
コンピュータ・システム710は更に、推進システム702、センサ・システム704、制御システム706、及び/又は周辺機器708のうちの一つ以上の構成要素と相互作用及びそれを制御するように構成し得る。例えば、コンピュータ・システム710は、燃料効率を改善するためにトランスミッション722の作動を制御するように構成し得る。他の例として、コンピュータ・システム710はカメラ734に環境の画像を撮らせるように構成し得る。更に他の例として、コンピュータ・システム710は、センサ融合アルゴリズム744に対応する指令を記憶して実行するように構成し得る。更に他の例として、コンピュータ・システム710は、タッチスクリーン754のディスプレイに表示するために指令を記憶して実行するように構成し得る。他の例も可能である。
図示のように、コンピュータ・システム710はプロセッサ712及びデータ・ストレージ714を含む。プロセッサ712は、一つ以上の汎用プロセッサ及び/又は一つ以上の特殊用途プロセッサから成り得る。プロセッサ712が複数のプロセッサを含む限り、そのようなプロセッサは個別に又は組合せで作動させることができる。次いで、データ・ストレージ714は、一つ以上の揮発性及び/又は一つ以上の不揮発性ストレージ構成要素、例えば光学的及び/又は磁気ストレージから成ることがあり、データ・ストレージ714は全部又は部分的にプロセッサ712に統合し得る。
或る実施形態においては、データ・ストレージ714は、図1に関連して上述したものを含む様々な車両機能を実行するために、プロセッサ712により実行可能な指令716(例えば、プログラム論理)を包含し得る。更に、データ・ストレージ714は、車両700についての制約760を含むことがあり、それは上述の形態の何れも採り得る。データ・ストレージ714は、更なる指令も同様に包含することがあり、これは、推進システム702、センサ・システム704、制御システム706、及び周辺機器708の一つ以上に対してデータを送受信し、相互作用し、及び/又は制御する。
コンピュータ・システム702は、図示されるものに加えて又はそれらに代えて、図示以外の構成要素を含み得る。
図示のように、車両700は電源770を更に含み、これは車両700の構成要素の一部又は全てへ電力を供給するように構成し得る。このためには、電源770は、例えば、充電式のリチウムイオン又は鉛酸バッテリを含み得る或る実施形態においては、バッテリの一つ以上のバンクは、電力を供給するように構成することができる。他の電源材料及び構成も可能である。或る実施形態においては、或る純電気自動車の場合のように、電源770及びエネルギー源720は一緒に実装し得る。
或る実施形態においては、推進システム702、センサ・システム704、制御システム706、及び周辺機器708のうちの一つ以上は、それらの各システムの範囲内及び/又はその外部で他の構成要素に相互接続した方式で作動するように構成することができる。
更に、車両700は、図示のものに加えて又はそれらに代えて、一つ以上の要素を含み得る。例えば、車両700は一つ以上の更なるインターフェース及び/又は電源を含み得る。他の更なる構成要素も同様に可能である。そのような実施形態においては、データ・ストレージ714は更に、プロセッサ712により実行可能であって、更なる構成要素を制御及び/又は通信する指令を含み得る。
また更に、構成要素及びシステムの各々が車両700に集積されて示されているが、或る実施形態においては、一つ以上の構成要素又はシステムを取り外し可能に取り付け得るか、ほかの方法で有線又は無線接続を用いて車両へ(機械的に又は電気的に)接続し得る。
車両700は同様に他の形態を採り得る。
或る実施形態においては、開示された方法は、機械可読フォーマットで非一時的なコンピュータ可読記憶媒体に、或いは、他の非一時的な媒体又は製造品にコード化されたコンピュータ・プログラム指令として実施し得る。図8は、例示的なコンピュータ・プログラム製品800の概念上の部分図を概略的に示し、これは、本明細書に呈示された少なくとも幾つかの実施形態により構成されて、コンピュータ・デバイスでコンピュータ処理を実行するためのコンピュータ・プログラムを含む。
一つの実施形態においては、例示的コンピュータ・プログラム製品800は、信号搬送媒体801を用いて提供される。信号搬送媒体801は、一つ以上のプログラミング指令804を含むことがあり、これは一つ以上のプロセッサにより実行されるとき、機能又は図1-7に関連して上述した機能の部分を提供し得る。
或る実施形態においては、信号搬送媒体801は、コンピュータ可読媒体803を包含することがあり、これは例えば、ハード・ディスク・ドライブ、コンパクト・ディスク(CD)、ディジタル・ビデオ・ディスク(DVD)、デジタルテープ、メモリ、その他であるが、これらに限定されるものではない。更に、或る実施形態においては、信号搬送媒体801は、コンピュータ記録可能媒体804を包含することがあり、これは例えば、メモリ、読込み/書込み(R/W)CD、R/W DVD、その他であるが、これらに限定されるものではない。また更に、或る実施形態においては、信号搬送媒体801は、通信媒体805を包含することがあり、これは例えば、デジタル及び/又はアナログ通信媒体(例えば、光ファイバー・ケーブル、導波管、有線通信リンク、無線通信リンク、その他)であるが、これらに限定されるものではない。このように、例えば、信号搬送媒体801は通信媒体805の無線形態によって伝達し得る。
一つ以上のプログラ指令802は、例えば、コンピュータ実行可能な及び/又は論理実装指令とし得る。或る例においては、図7のコンピュータ・システム710のようなコンピュータ・システムは、コンピュータ可読媒体803、コンピュータ記録可能媒体804、及び/又は通信媒体805のうちの一つ以上によりコンピュータ・システム710へ伝達されるプログラ指令802に応じて、様々な操作、機能、又は行為を提供するように構成し得る。
本明細書に説明した配置構成は例示のみの目的であることを理解されたい。そのように、当業者は、他の配置構成及び他の要素(例えば、機械、インターフェース、機能、命令、及び機能の分類)を代わりに用いることができ、或る要素は望ましい結果に従って全く省略し得ることを理解するであろう。更に、機能的な実体として説明された多くの要素は、個別の若しくは分散された構成要素として、或いは他の構成要素に関連して、任意の適宜な組合せ及び場所で実装し得る。
様々な態様及び実施形態が本明細書に開示されたが、他の態様及び実施形態が当業者にとって明らかである。本明細書に開示された様々な態様及び実施形態は例示の目的であって、以下の特許請求の範囲に示される真の目的及び要旨を限定することを意図するものではない。

Claims (14)

  1. 検出された交通信号の位置を判定することと、
    前記検出された交通信号の前記判定された位置から閾値距離内に交通信号の既知の位置があるか否かを判定することと、
    前記検出された交通信号の状態を判定することと、
    前記検出された交通信号の前記判定された状態と、前記検出された交通信号の前記判定された位置から前記閾値距離内に交通信号の既知の位置があるか否かの前記判定とに基づき、車両に対する制御コマンドを判定することであって、前記車両に対する前記制御コマンドを判定することは、前記検出された交通信号の前記判定された位置から前記閾値距離内に交通信号の既知の位置が無いとの前記判定に基づいて、前記検出された交通信号に関する更なる情報を取得する指令を出力することを含むことと、
    前記判定された制御コマンドに従って前記車両の運動を制御することと、を含む、
    方法。
  2. 請求項1に記載の方法において、前記車両に対する前記制御コマンドを判定することは、前記検出された交通信号の前記判定された状態が赤色であることと、前記検出された交通信号の前記判定された位置から前記閾値距離内に交通信号の既知の位置が無いとの前記判定とに基づいて、ブレーキをかけて、前記検出された交通信号に関する前記更なる情報を取得する指令を出力することを含む方法。
  3. 請求項2に記載の方法において、
    前記検出された交通信号は目標領域内で検出され、
    前記ブレーキをかけて、前記検出された交通信号に関する前記更なる情報を取得する指令は、前記目標領域を再走査する指令を含む方法。
  4. 請求項1に記載の方法において、前記車両に対する前記制御コマンドを判定することは、前記検出された交通信号の前記判定された状態が緑色であることと、前記検出された交通信号の前記判定された位置から前記閾値距離内に交通信号の既知の位置が無いとの前記判定とに基づいて、前記検出された交通信号に関する前記更なる情報を取得する指令を出力することを含む方法。
  5. 請求項1に記載の方法において、前記車両に対する前記制御コマンドを判定することは、前記検出された交通信号の前記判定された状態が不明であることと、前記検出された交通信号の前記判定された位置から前記閾値距離内に交通信号の既知の位置が無いとの前記判定とに基づいて、減速して、前記検出された交通信号に関する前記更なる情報を取得する指令を出力することを含む方法。
  6. 請求項1に記載の方法において、前記検出された交通信号の前記判定された位置から閾値距離内に交通信号の既知の位置があるか否かを判定することは、前記検出された交通信号の前記判定された位置および交通信号データベースを使用して、複数の交通信号の既知の位置を判定するための探索を実行することを含む方法。
  7. 請求項6に記載の方法において、前記探索は最近傍探索を含む方法。
  8. 請求項1に記載の方法において、さらに、
    画像を取得することと、
    前記画像内の前記検出された交通信号を検出することと、を含む方法。
  9. メモリと、
    プロセッサと、
    前記メモリに記憶され、かつ、前記プロセッサにより実行可能な指令と、を備えたコントローラであって、前記指令は、
    検出された交通信号の位置を判定することと、
    前記検出された交通信号の前記判定された位置から閾値距離内に交通信号の既知の位置があるか否かを判定することと、
    前記検出された交通信号の状態を判定することと、
    前記検出された交通信号の前記判定された状態と、前記検出された交通信号の前記判定された位置から前記閾値距離内に交通信号の既知の位置があるか否かの前記判定とに基づき、車両に対する制御コマンドを判定することであって、前記車両に対する前記制御コマンドを判定することは、前記検出された交通信号の前記判定された位置から前記閾値距離内に交通信号の既知の位置が無いとの前記判定に基づいて、前記検出された交通信号に関する更なる情報を取得する指令を出力することを含むことと、
    前記判定された制御コマンドに従って前記車両の運動を制御することと、を含む機能を前記コントローラに実行させる、
    コントローラ。
  10. 請求項に記載のコントローラにおいて、前記車両に対する前記制御コマンドを判定することは、前記検出された交通信号の前記判定された状態が赤色であることと、前記検出された交通信号の前記判定された位置から前記閾値距離内に交通信号の既知の位置が無いとの前記判定とに基づいて、ブレーキをかけて、前記検出された交通信号に関する前記更なる情報を取得する指令を出力することを含むコントローラ。
  11. 請求項に記載のコントローラにおいて、前記車両に対する前記制御コマンドを判定することは、前記検出された交通信号の前記判定された状態が緑色であることと、前記検出された交通信号の前記判定された位置から前記閾値距離内に交通信号の既知の位置が無いとの前記判定とに基づいて、前記検出された交通信号に関する前記更なる情報を取得する指令を出力することを含むコントローラ。
  12. 請求項に記載のコントローラにおいて、前記車両に対する前記制御コマンドを判定することは、前記検出された交通信号の前記判定された状態が不明であることと、前記検出された交通信号の前記判定された位置から前記閾値距離内に交通信号の既知の位置が無いとの前記判定とに基づいて、減速して、前記検出された交通信号に関する前記更なる情報を取得する指令を出力することを含むコントローラ。
  13. 車両を使用して交通信号を検出することと、
    前記車両の位置から閾値距離内に交通信号の既知の位置があるか否かを判定することと、
    前記検出された交通信号の状態を判定することと、
    前記検出された交通信号の前記判定された状態と、前記車両の前記位置から前記閾値距離内に交通信号の既知の位置があるか否かの前記判定とに基づき、車両に対する制御コマンドを判定することであって、前記車両に対する前記制御コマンドを判定することは、前記検出された交通信号の前記判定された位置から前記閾値距離内に交通信号の既知の位置が無いとの前記判定に基づいて、前記検出された交通信号に関する更なる情報を取得する指令を出力することを含むことと、
    前記判定された制御コマンドに従って前記車両の運動を制御することと、を含む、
    方法。
  14. 請求項13に記載の方法において、前記車両の前記位置から閾値距離内に交通信号の既知の位置があるか否かを判定することは、前記車両の前記位置および交通信号データベースを使用して、複数の交通信号の既知の位置を判定するための探索を実行することを含む方法。
JP2017168460A 2012-03-26 2017-09-01 交通信号とそれらに関連した状態を検出するためのロバスト法 Active JP6622265B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/430,150 2012-03-26
US13/430,150 US9145140B2 (en) 2012-03-26 2012-03-26 Robust method for detecting traffic signals and their associated states

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015503202A Division JP6270064B2 (ja) 2012-03-26 2013-02-04 交通信号とそれらに関連した状態を検出するためのロバスト法

Publications (2)

Publication Number Publication Date
JP2018014124A JP2018014124A (ja) 2018-01-25
JP6622265B2 true JP6622265B2 (ja) 2019-12-18

Family

ID=49212735

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015503202A Active JP6270064B2 (ja) 2012-03-26 2013-02-04 交通信号とそれらに関連した状態を検出するためのロバスト法
JP2017168460A Active JP6622265B2 (ja) 2012-03-26 2017-09-01 交通信号とそれらに関連した状態を検出するためのロバスト法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015503202A Active JP6270064B2 (ja) 2012-03-26 2013-02-04 交通信号とそれらに関連した状態を検出するためのロバスト法

Country Status (6)

Country Link
US (5) US9145140B2 (ja)
EP (3) EP2830922B1 (ja)
JP (2) JP6270064B2 (ja)
KR (3) KR20140130521A (ja)
CN (2) CN104411559B (ja)
WO (1) WO2013147994A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11731629B2 (en) 2012-03-26 2023-08-22 Waymo Llc Robust method for detecting traffic signals and their associated states

Families Citing this family (169)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10169822B2 (en) 2011-12-02 2019-01-01 Spireon, Inc. Insurance rate optimization through driver behavior monitoring
US8510200B2 (en) 2011-12-02 2013-08-13 Spireon, Inc. Geospatial data based assessment of driver behavior
US8831849B2 (en) * 2012-02-13 2014-09-09 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for traffic signal recognition
US9760092B2 (en) 2012-03-16 2017-09-12 Waymo Llc Actively modifying a field of view of an autonomous vehicle in view of constraints
JP5960506B2 (ja) * 2012-05-25 2016-08-02 株式会社デンソー 交差点認識装置及び道路種別認識装置
US9234618B1 (en) * 2012-09-27 2016-01-12 Google Inc. Characterizing optically reflective features via hyper-spectral sensor
US20140095061A1 (en) * 2012-10-03 2014-04-03 Richard Franklin HYDE Safety distance monitoring of adjacent vehicles
DE102012110219A1 (de) * 2012-10-25 2014-04-30 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Erkennung von gekennzeichneten Gefahr- und/oder Baustellen im Bereich von Fahrbahnen
US8933802B2 (en) 2012-11-05 2015-01-13 Spireon, Inc. Switch and actuator coupling in a chassis of a container associated with an intermodal freight transport system
US9779379B2 (en) 2012-11-05 2017-10-03 Spireon, Inc. Container verification through an electrical receptacle and plug associated with a container and a transport vehicle of an intermodal freight transport system
CA2833985C (en) * 2012-11-19 2020-07-07 Rosemount Aerospace, Inc. Collision avoidance system for aircraft ground operations
DE102012111740A1 (de) * 2012-12-03 2014-06-05 Continental Teves Ag & Co. Ohg Verfahren zur Unterstützung eines eine Ampel detektierenden Ampelphasenassistenten eines Fahrzeugs
US10008113B2 (en) * 2013-04-12 2018-06-26 Traffic Technology Services, Inc. Hybrid distributed prediction of traffic signal state changes
US9928738B2 (en) * 2013-04-12 2018-03-27 Traffic Technology Services, Inc. Red light warning system based on predictive traffic signal state data
US9164511B1 (en) 2013-04-17 2015-10-20 Google Inc. Use of detected objects for image processing
US10093247B2 (en) * 2013-05-23 2018-10-09 GM Global Technology Operations LLC Enhanced front curb viewing system
US9580014B2 (en) * 2013-08-08 2017-02-28 Convoy Technologies Llc System, apparatus, and method of detecting and displaying obstacles and data associated with the obstacles
KR101848451B1 (ko) * 2013-08-19 2018-04-12 젠텍스 코포레이션 차량 후미등과 점멸 적색 정지등을 구별하기 위한 차량 촬상 시스템 및 방법
US9779449B2 (en) 2013-08-30 2017-10-03 Spireon, Inc. Veracity determination through comparison of a geospatial location of a vehicle with a provided data
US9558408B2 (en) * 2013-10-15 2017-01-31 Ford Global Technologies, Llc Traffic signal prediction
US20150186991A1 (en) 2013-12-31 2015-07-02 David M. Meyer Creditor alert when a vehicle enters an impound lot
US9248832B2 (en) 2014-01-30 2016-02-02 Mobileye Vision Technologies Ltd. Systems and methods for detecting traffic signal details
DE102014202503A1 (de) * 2014-02-12 2015-08-13 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen eines Abstands eines Fahrzeugs zu einem verkehrsregelnden Objekt
US9720410B2 (en) * 2014-03-03 2017-08-01 Waymo Llc Remote assistance for autonomous vehicles in predetermined situations
DE102014205953A1 (de) * 2014-03-31 2015-10-01 Robert Bosch Gmbh Verfahren zur Analyse einer Verkehrsumfeldsituation eines Fahrzeugs
CN105023452B (zh) * 2014-04-24 2017-09-29 深圳市赛格导航科技股份有限公司 一种多路交通信号灯信号采集的方法及装置
US9365213B2 (en) * 2014-04-30 2016-06-14 Here Global B.V. Mode transition for an autonomous vehicle
US9550498B2 (en) * 2014-05-13 2017-01-24 Ford Global Technologies, Llc Traffic light anticipation
JP6331811B2 (ja) * 2014-07-18 2018-05-30 日産自動車株式会社 信号機検出装置及び信号機検出方法
FR3024256B1 (fr) * 2014-07-23 2016-10-28 Valeo Schalter & Sensoren Gmbh Detection de feux tricolores a partir d'images
US9707960B2 (en) 2014-07-31 2017-07-18 Waymo Llc Traffic signal response for autonomous vehicles
US9767366B1 (en) * 2014-08-06 2017-09-19 Waymo Llc Using obstacle clearance to measure precise lateral
US9536311B2 (en) * 2014-09-29 2017-01-03 General Electric Company System and method for component detection
US9305224B1 (en) * 2014-09-29 2016-04-05 Yuan Ze University Method for instant recognition of traffic lights countdown image
KR101737791B1 (ko) * 2014-10-23 2017-05-19 현대모비스 주식회사 교통 표지판 인식 장치 및 그 동작 방법
US9534910B2 (en) * 2014-12-09 2017-01-03 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to yield scenarios
DE102015205094A1 (de) * 2015-03-20 2016-09-22 Continental Automotive Gmbh Vorrichtung zum automatischen Erfassen eines Zustands eines Objekts, Auswertevorrichtung zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts und Verfahren zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts
US9718405B1 (en) 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
US9551788B2 (en) 2015-03-24 2017-01-24 Jim Epler Fleet pan to provide measurement and location of a stored transport item while maximizing space in an interior cavity of a trailer
US9625582B2 (en) * 2015-03-25 2017-04-18 Google Inc. Vehicle with multiple light detection and ranging devices (LIDARs)
US9616773B2 (en) 2015-05-11 2017-04-11 Uber Technologies, Inc. Detecting objects within a vehicle in connection with a service
KR102371587B1 (ko) * 2015-05-22 2022-03-07 현대자동차주식회사 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
JP6447722B2 (ja) * 2015-06-05 2019-01-09 日産自動車株式会社 信号機検出装置及び信号機検出方法
BR112017026297B1 (pt) 2015-06-09 2023-01-17 Nissan Motor Co., Ltd Dispositivo de detecção de sinal de trânsito e método de detecção de sinal de trânsito
CN107851387B (zh) * 2015-07-13 2021-04-27 日产自动车株式会社 信号机识别装置及信号机识别方法
US9594378B2 (en) * 2015-07-31 2017-03-14 Delphi Technologies, Inc. Variable object detection field-of-focus for automated vehicle control
US9463794B1 (en) 2015-09-04 2016-10-11 Google Inc. Stop sign detection and response
JP6350468B2 (ja) * 2015-09-18 2018-07-04 トヨタ自動車株式会社 運転支援装置
US10267908B2 (en) * 2015-10-21 2019-04-23 Waymo Llc Methods and systems for clearing sensor occlusions
US9834218B2 (en) 2015-10-28 2017-12-05 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for determining action at traffic signals
US9881501B2 (en) * 2015-11-02 2018-01-30 Magna Electronics Inc. Driver assistance system with traffic light alert
US10712160B2 (en) 2015-12-10 2020-07-14 Uatc, Llc Vehicle traction map for autonomous vehicles
US10119827B2 (en) 2015-12-10 2018-11-06 Uber Technologies, Inc. Planning trips on a road network using traction information for the road network
US10018472B2 (en) 2015-12-10 2018-07-10 Uber Technologies, Inc. System and method to determine traction of discrete locations of a road segment
US9840256B1 (en) 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle
US9841763B1 (en) 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle
WO2017130642A1 (ja) * 2016-01-29 2017-08-03 日産自動車株式会社 車両の走行制御方法および車両の走行制御装置
KR101951035B1 (ko) 2016-01-29 2019-05-10 한국전자통신연구원 차량의 자율 주행 시스템 및 그 방법
FR3047217B1 (fr) * 2016-02-03 2019-08-16 Valeo Schalter Und Sensoren Gmbh Dispositif de determination de l'etat d'un feu de signalisation, systeme embatque comprenant un tel dispositif, vehicule comprenant un tel systeme et procede de determination associe
US9990548B2 (en) * 2016-03-09 2018-06-05 Uber Technologies, Inc. Traffic signal analysis system
US10459087B2 (en) 2016-04-26 2019-10-29 Uber Technologies, Inc. Road registration differential GPS
US10126141B2 (en) * 2016-05-02 2018-11-13 Google Llc Systems and methods for using real-time imagery in navigation
US9672446B1 (en) 2016-05-06 2017-06-06 Uber Technologies, Inc. Object detection for an autonomous vehicle
JP6786264B2 (ja) 2016-05-27 2020-11-18 株式会社東芝 情報処理装置、情報処理方法、および車両
US10309792B2 (en) 2016-06-14 2019-06-04 nuTonomy Inc. Route planning for an autonomous vehicle
US10126136B2 (en) 2016-06-14 2018-11-13 nuTonomy Inc. Route planning for an autonomous vehicle
US11092446B2 (en) 2016-06-14 2021-08-17 Motional Ad Llc Route planning for an autonomous vehicle
US10739786B2 (en) 2016-07-01 2020-08-11 Uatc, Llc System and method for managing submaps for controlling autonomous vehicles
DE102016212196A1 (de) * 2016-07-05 2018-01-11 Robert Bosch Gmbh Verfahren zum Auswerten von Sensordaten
DE102016212702A1 (de) * 2016-07-13 2018-01-18 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ändern zumindest eines Fahrparameters eines Fahrzeugs während einer Fahrt
US9977975B2 (en) * 2016-08-18 2018-05-22 Toyota Motor Engineering & Manufacturing North America, Inc. Traffic light detection using multiple regions of interest and confidence scores
KR102714068B1 (ko) * 2016-09-13 2024-10-08 현대자동차주식회사 차량 및 그 제어 방법
CN107886029B (zh) * 2016-09-30 2020-08-25 比亚迪股份有限公司 定位交通灯背景框的方法、装置及车辆
KR102581779B1 (ko) * 2016-10-11 2023-09-25 주식회사 에이치엘클레무브 교차로충돌방지시스템 및 교차로충돌방지방법
KR102537598B1 (ko) * 2016-10-11 2023-06-01 주식회사 에이치엘클레무브 전방감시장치, 전방감시장치를 이용한 운전지원장치 및 운전지원방법
US10681513B2 (en) 2016-10-20 2020-06-09 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10473470B2 (en) 2016-10-20 2019-11-12 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
US10857994B2 (en) 2016-10-20 2020-12-08 Motional Ad Llc Identifying a stopping place for an autonomous vehicle
US10331129B2 (en) 2016-10-20 2019-06-25 nuTonomy Inc. Identifying a stopping place for an autonomous vehicle
WO2018083728A1 (ja) * 2016-11-01 2018-05-11 三菱電機株式会社 情報提示方法
JP6541119B2 (ja) * 2016-12-05 2019-07-10 パナソニックIpマネジメント株式会社 撮像装置
US10276043B2 (en) * 2016-12-22 2019-04-30 GM Global Technology Operations LLC Vehicle system using vehicle-to-infrastructure and sensor information
US10139832B2 (en) * 2017-01-26 2018-11-27 Intel Corporation Computer-assisted or autonomous driving with region-of-interest determination for traffic light analysis
DE102017203236A1 (de) * 2017-02-28 2018-08-30 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zum Detektieren einer Ampelphase für ein Kraftfahrzeug
US10380438B2 (en) * 2017-03-06 2019-08-13 Honda Motor Co., Ltd. System and method for vehicle control based on red color and green color detection
US10614326B2 (en) * 2017-03-06 2020-04-07 Honda Motor Co., Ltd. System and method for vehicle control based on object and color detection
EP3376213A1 (de) * 2017-03-15 2018-09-19 Siemens Aktiengesellschaft Verfahren und anordnung für eine zustandsüberwachung einer anlage mit betriebsmitteln
US10437256B2 (en) * 2017-03-23 2019-10-08 Arizona Board Of Regents On Behalf Of Arizona State University Systems, methods, and apparatuses for implementing time sensitive autonomous intersection management
KR20190130630A (ko) * 2017-03-31 2019-11-22 쓰리엠 이노베이티브 프로퍼티즈 캄파니 캘리브레이션 정보를 갖는 경로 물품
WO2018223882A1 (en) * 2017-06-08 2018-12-13 Zhejiang Dahua Technology Co., Ltd. Methods and devices for processing images of traffic light
US10535266B2 (en) 2017-06-21 2020-01-14 International Business Machines Corporation Management of mobile objects
US10585180B2 (en) 2017-06-21 2020-03-10 International Business Machines Corporation Management of mobile objects
US10504368B2 (en) 2017-06-21 2019-12-10 International Business Machines Corporation Management of mobile objects
US10546488B2 (en) 2017-06-21 2020-01-28 International Business Machines Corporation Management of mobile objects
US10540895B2 (en) 2017-06-21 2020-01-21 International Business Machines Corporation Management of mobile objects
US10600322B2 (en) 2017-06-21 2020-03-24 International Business Machines Corporation Management of mobile objects
US10525903B2 (en) * 2017-06-30 2020-01-07 Aptiv Technologies Limited Moving traffic-light detection system for an automated vehicle
CN107316486A (zh) * 2017-07-11 2017-11-03 湖南星云智能科技有限公司 基于双摄像头的无人驾驶汽车视觉识别系统
CN107393074B (zh) * 2017-07-21 2019-01-18 北京图森未来科技有限公司 实现车辆自动过卡的方法和系统、相关设备
CN109492507B (zh) * 2017-09-12 2022-09-23 阿波罗智能技术(北京)有限公司 红绿灯状态的识别方法及装置、计算机设备及可读介质
US11260875B2 (en) 2017-12-07 2022-03-01 Uatc, Llc Systems and methods for road surface dependent motion planning
CN110019627B (zh) * 2017-12-25 2022-04-12 北京京东乾石科技有限公司 识别交通导流线的方法及其系统、计算机系统
DE102018200814B3 (de) * 2018-01-18 2019-07-18 Audi Ag Verfahren zum Betrieb eines zur vollständig automatischen Führung eines Kraftfahrzeugs ausgebildeten Fahrzeugführungssystems des Kraftfahrzeugs und Kraftfahrzeug
DE102018201374B3 (de) * 2018-01-30 2019-03-21 Bayerische Motoren Werke Aktiengesellschaft Absorbervorrichtung für eine Lichtzeichenanlage und Absorbervorrichtungs-Assistenzsystem für ein Fahrzeug
DE102018203353A1 (de) * 2018-03-07 2019-09-12 Bayerische Motoren Werke Aktiengesellschaft Steuereinheit und Verfahren zum Betreiben einer Fahrfunktion an einer Signalisierungsanlage
JP6990137B2 (ja) * 2018-03-28 2022-01-12 本田技研工業株式会社 車両制御装置
US11256729B2 (en) 2018-03-29 2022-02-22 Aurora Operations, Inc. Autonomous vehicle relative atlas incorporating hypergraph data structure
US10521913B2 (en) 2018-03-29 2019-12-31 Aurora Innovation, Inc. Relative atlas for autonomous vehicle and generation thereof
US10503760B2 (en) 2018-03-29 2019-12-10 Aurora Innovation, Inc. Use of relative atlas in an autonomous vehicle
US11334753B2 (en) 2018-04-30 2022-05-17 Uatc, Llc Traffic signal state classification for autonomous vehicles
US11221240B2 (en) * 2018-04-30 2022-01-11 Ford Global Technologies, Llc Sensor housing drainage
US10909866B2 (en) 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
US10140855B1 (en) * 2018-08-24 2018-11-27 Iteris, Inc. Enhanced traffic detection by fusing multiple sensor data
CN109035831B (zh) * 2018-09-07 2021-07-27 百度在线网络技术(北京)有限公司 交通指示灯的识别方法、装置、设备、存储介质及车辆
US10852743B2 (en) * 2018-09-07 2020-12-01 GM Global Technology Operations LLC Multimodal multi-technique signal fusion system for autonomous vehicle
CN112740220A (zh) * 2018-09-21 2021-04-30 丰田自动车欧洲公司 用于交通灯识别的系统和方法
WO2020079927A1 (ja) * 2018-10-18 2020-04-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置、プログラム及び情報処理方法
JP7326018B2 (ja) * 2018-10-18 2023-08-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置、情報処理方法及びプログラム
CN109635639B (zh) * 2018-10-31 2020-06-09 百度在线网络技术(北京)有限公司 交通标识的位置检测方法、装置、设备和存储介质
US11119192B2 (en) * 2018-12-07 2021-09-14 Here Global B.V. Automatic detection of overhead obstructions
CN109785655B (zh) * 2018-12-11 2020-09-29 北京百度网讯科技有限公司 车辆控制方法、装置、设备、无人驾驶车辆及存储介质
US10339400B1 (en) * 2018-12-18 2019-07-02 Chongqing Jinkang New Energy Automobile Co., Ltd. Traffic light detection using multiple cameras
US11727597B2 (en) * 2018-12-21 2023-08-15 Sony Group Corporation Calibrating volumetric rig with structured light
CN111508224A (zh) * 2019-01-30 2020-08-07 奥迪股份公司 交通状态的预测方法、装置、计算机设备和存储介质
CN109829867B (zh) * 2019-02-12 2022-09-09 西南石油大学 一种针对稳定填充的球形收敛样本块修复方法
JP7093738B2 (ja) * 2019-03-08 2022-06-30 本田技研工業株式会社 車両制御装置
JP2020160560A (ja) * 2019-03-25 2020-10-01 本田技研工業株式会社 運転支援装置、運転支援方法、およびプログラム
WO2020243484A1 (en) * 2019-05-29 2020-12-03 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation
JP7268497B2 (ja) 2019-06-24 2023-05-08 トヨタ自動車株式会社 信号認識システム
DE102019119084A1 (de) * 2019-07-15 2021-01-21 Valeo Schalter Und Sensoren Gmbh Bestimmen eines Signalstatus einer Lichtsignalanlage
JP7088135B2 (ja) * 2019-07-23 2022-06-21 トヨタ自動車株式会社 信号表示推定システム
DE102019211100A1 (de) * 2019-07-25 2021-01-28 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und Computerprogramm zum Aufbereiten von Daten über eine Ampelanlage
JP7088137B2 (ja) * 2019-07-26 2022-06-21 トヨタ自動車株式会社 信号機情報管理システム
KR102703745B1 (ko) * 2019-08-06 2024-09-06 현대자동차주식회사 차량 내 장치 및 그의 신호등 정보 제공 방법
US11134201B2 (en) * 2019-08-20 2021-09-28 International Business Machines Corporation Vision assisted driving system using a vertically extendable camera
DE102019215095A1 (de) 2019-10-01 2021-04-01 Volkswagen Aktiengesellschaft Gütebestimmungsverfahren, Gütebestimmungsvorrichtung, Kraftfahrzeug
CN110794867B (zh) 2019-10-18 2020-10-30 合肥工业大学 通信干扰下无人机编队信息交互拓扑智能决策方法和装置
US11373519B2 (en) 2019-11-11 2022-06-28 GM Global Technology Operations LLC Traffic signal management for autonomous vehicle operation
MX2022005598A (es) 2019-11-12 2023-04-18 Nissan Motor Metodo de reconocimiento de semaforo y dispositivo de reconocimiento de semaforo.
CN110962847B (zh) * 2019-11-26 2021-10-08 清华大学苏州汽车研究院(吴江) 车道居中辅助自适应巡航的轨迹规划方法和系统
KR20210068223A (ko) * 2019-11-29 2021-06-09 (주)언맨드솔루션 자율주행 주행경로에 필요한 신호등 체계 분석 시스템
US11544936B2 (en) * 2019-12-20 2023-01-03 Zoox, Inc. In-path obstacle detection and avoidance system
CN111079680B (zh) * 2019-12-23 2023-09-19 北京三快在线科技有限公司 临时交通信号灯检测方法、装置和自动驾驶设备
RU2764223C2 (ru) 2019-12-25 2022-01-14 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способ и система для определения состояния светофора
US12112550B2 (en) * 2020-01-07 2024-10-08 Motional Ad Llc Systems and methods for traffic light detection
CN111275011B (zh) * 2020-02-25 2023-12-19 阿波罗智能技术(北京)有限公司 移动红绿灯检测方法、装置、电子设备和存储介质
US11854212B2 (en) * 2020-02-26 2023-12-26 Motional Ad Llc Traffic light detection system for vehicle
US11055998B1 (en) 2020-02-27 2021-07-06 Toyota Motor North America, Inc. Minimizing traffic signal delays with transports
US11288528B2 (en) * 2020-05-12 2022-03-29 Baidu Usa Llc Differentiation-based traffic light detection
US11900689B1 (en) * 2020-06-04 2024-02-13 Aurora Operations, Inc. Traffic light identification and/or classification for use in controlling an autonomous vehicle
US11938939B1 (en) 2020-06-04 2024-03-26 Aurora Operations, Inc. Determining current state of traffic light(s) for use in controlling an autonomous vehicle
DE102020208378B3 (de) * 2020-07-03 2021-09-23 Volkswagen Aktiengesellschaft Ampelspurzuordnung aus Schwarmdaten
US11527156B2 (en) * 2020-08-03 2022-12-13 Toyota Research Institute, Inc. Light emitting component-wise traffic light state, signal, and transition estimator
EP3968305A1 (en) * 2020-09-15 2022-03-16 Volkswagen Aktiengesellschaft Method, computer program and apparatus for controlling operation of a vehicle equipped with an automated driving function
CN112053578A (zh) * 2020-09-15 2020-12-08 福建振杭机器人装备制造有限责任公司 基于机器视觉技术的红绿灯预警方法及其检测装置
DE102020126679A1 (de) * 2020-10-12 2022-04-14 Bayerische Motoren Werke Aktiengesellschaft Fahrzeugführungssystem und Verfahren zum Betreiben einer Fahrfunktion in Abhängigkeit von einem Vorder-Fahrzeug
DE102020126673A1 (de) 2020-10-12 2022-04-14 Bayerische Motoren Werke Aktiengesellschaft Fahrzeugführungssystem und Verfahren zur Ausgabe von Information in Bezug auf eine Signalisierungseinheit
DE102020126670A1 (de) 2020-10-12 2022-04-14 Bayerische Motoren Werke Aktiengesellschaft Fahrzeugführungssystem und Verfahren zum Betreiben einer Fahrfunktion in unterschiedlichen Modi
CN112504290A (zh) * 2020-11-06 2021-03-16 北京航迹科技有限公司 确定最近道路边界的方法、装置、设备和存储介质
US12115916B2 (en) 2021-02-01 2024-10-15 Rosco, Inc. Downlighting signal and illumination mirror head for vehicle
JP2022154193A (ja) * 2021-03-30 2022-10-13 本田技研工業株式会社 学習装置、学習方法、プログラム、および物体検知装置
RU2760038C1 (ru) * 2021-06-02 2021-11-22 Олег Борисович Лапшев Способ распознавания дорожных знаков
EP4338144A4 (en) * 2021-06-09 2024-07-24 Netradyne Inc SYSTEMS AND METHODS FOR DETECTING INTERSECTION CROSSING EVENTS USING FULL FRAME CLASSIFICATION TECHNIQUES
CN113452904B (zh) * 2021-06-18 2022-11-04 北京三快在线科技有限公司 一种交通信号灯检测方法及装置
US12008819B2 (en) * 2021-08-04 2024-06-11 Telenav, Inc. Navigation system with mono-camera based traffic sign tracking and positioning mechanism and method of operation thereof
CN113723229A (zh) * 2021-08-16 2021-11-30 浙江大华技术股份有限公司 信号灯的检测方法、装置及计算机可读存储介质
US12046049B2 (en) * 2021-12-01 2024-07-23 Motional Ad Llc Automatically detecting traffic signals using sensor data
CN115080874A (zh) * 2022-06-13 2022-09-20 阿波罗智联(北京)科技有限公司 交通出行信息的推送方法、装置及电子设备
CN118397857B (zh) * 2024-06-26 2024-10-15 厦门金龙联合汽车工业有限公司 一种多冗余通信的车路协同红绿灯配时信息获取方法

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0913751B1 (de) 1997-11-03 2003-09-03 Volkswagen Aktiengesellschaft Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges
JP3646605B2 (ja) * 2000-02-23 2005-05-11 株式会社日立製作所 車両走行制御装置
TWI222039B (en) * 2000-06-26 2004-10-11 Iwane Lab Ltd Information conversion system
JP3621065B2 (ja) * 2000-12-25 2005-02-16 松下電器産業株式会社 画像検出装置、プログラムおよび記録媒体
US9205849B2 (en) * 2012-05-23 2015-12-08 General Electric Company System and method for inspecting a route during movement of a vehicle system over the route
JP4136529B2 (ja) * 2002-08-12 2008-08-20 パイオニア株式会社 情報処理装置、そのシステム、その方法、そのプログラム、そのプログラムを記録する記録媒体、および、ナビゲーション装置
JP2004171459A (ja) 2002-11-22 2004-06-17 Denso Corp 車両走行支援装置および車両走行支援システム
JP4475015B2 (ja) * 2004-06-01 2010-06-09 トヨタ自動車株式会社 車両周辺監視装置及び車両周辺監視方法
TWI236901B (en) 2004-06-11 2005-08-01 Oriental Inst Technology An apparatus and method for identifying surrounding environment by means of image processing and for outputting the resutls
US7363151B2 (en) * 2004-06-21 2008-04-22 Matsushita Electric Industrial Co., Ltd. Map error information obtaining system and map error information obtaining method
JP4507815B2 (ja) 2004-07-09 2010-07-21 アイシン・エィ・ダブリュ株式会社 信号情報作成方法、信号案内情報提供方法及びナビゲーション装置
JP2007034693A (ja) * 2005-07-27 2007-02-08 Denso Corp 安全運転支援装置
CA2864027C (en) * 2005-10-14 2017-05-02 Aldo Zini Robotic ordering and delivery apparatuses, systems and methods
JP4577655B2 (ja) * 2005-12-27 2010-11-10 アイシン・エィ・ダブリュ株式会社 地物認識装置
JP4631750B2 (ja) * 2006-03-06 2011-02-16 トヨタ自動車株式会社 画像処理システム
JP4600357B2 (ja) 2006-06-21 2010-12-15 トヨタ自動車株式会社 測位装置
US20100033571A1 (en) * 2006-09-28 2010-02-11 Pioneer Corporation Traffic information detector, traffic information detecting method, traffic information detecting program, and recording medium
US9302678B2 (en) 2006-12-29 2016-04-05 Robotic Research, Llc Robotic driving system
US8233670B2 (en) 2007-09-13 2012-07-31 Cognex Corporation System and method for traffic sign recognition
US8031062B2 (en) * 2008-01-04 2011-10-04 Smith Alexander E Method and apparatus to improve vehicle situational awareness at intersections
JP2009257892A (ja) * 2008-04-15 2009-11-05 Sumitomo Electric Ind Ltd 位置特定装置、位置特定システム、位置特定方法及びコンピュータプログラム
US8751154B2 (en) 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8634593B2 (en) * 2008-04-24 2014-01-21 GM Global Technology Operations LLC Pixel-based texture-less clear path detection
JP4824728B2 (ja) * 2008-07-31 2011-11-30 富士通テン株式会社 車載装置、ナビゲーションシステム及びその制御方法
JP5057166B2 (ja) * 2008-10-30 2012-10-24 アイシン・エィ・ダブリュ株式会社 安全運転評価システム及び安全運転評価プログラム
US8903574B2 (en) * 2009-10-22 2014-12-02 General Electric Company System and method for vehicle communication, vehicle control, and/or route inspection
US8559673B2 (en) * 2010-01-22 2013-10-15 Google Inc. Traffic signal mapping and detection
US20110182473A1 (en) * 2010-01-28 2011-07-28 American Traffic Solutions, Inc. of Kansas System and method for video signal sensing using traffic enforcement cameras
JP2011180022A (ja) * 2010-03-02 2011-09-15 Suzuki Motor Corp ステレオカメラの診断方法、およびステレオカメラの診断装置
US20110302214A1 (en) * 2010-06-03 2011-12-08 General Motors Llc Method for updating a database
US8296030B2 (en) * 2010-07-07 2012-10-23 Robert Bosch Gmbh System and method for controlling the engine of a vehicle
JP2012048345A (ja) 2010-08-25 2012-03-08 Denso Corp 車載装置
CN101958051A (zh) * 2010-09-15 2011-01-26 浙江中控研究院有限公司 一种交通信号提示系统及方法
US8620032B2 (en) * 2011-05-10 2013-12-31 GM Global Technology Operations LLC System and method for traffic signal detection
KR101254957B1 (ko) * 2011-07-18 2013-04-16 이흥수 교통 신호 제어 장치 및 방법
JP5712847B2 (ja) * 2011-07-28 2015-05-07 アイシン・エィ・ダブリュ株式会社 信号機増減検出システム、信号機増減検出装置、信号機増減検出方法及びコンピュータプログラム
US8831849B2 (en) * 2012-02-13 2014-09-09 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for traffic signal recognition
US9145140B2 (en) 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
US8793046B2 (en) * 2012-06-01 2014-07-29 Google Inc. Inferring state of traffic signal and other aspects of a vehicle's environment based on surrogate data
US9158980B1 (en) * 2012-09-19 2015-10-13 Google Inc. Use of relationship between activities of different traffic signals in a network to improve traffic signal state estimation
DE102012110219A1 (de) * 2012-10-25 2014-04-30 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Erkennung von gekennzeichneten Gefahr- und/oder Baustellen im Bereich von Fahrbahnen
US9494935B2 (en) * 2014-11-13 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Remote operation of autonomous vehicle in unexpected environment
US10507807B2 (en) * 2015-04-28 2019-12-17 Mobileye Vision Technologies Ltd. Systems and methods for causing a vehicle response based on traffic light detection
EP3144918B1 (en) * 2015-09-21 2018-01-10 Urban Software Institute GmbH Computer system and method for monitoring a traffic system
US20170350713A1 (en) * 2016-06-02 2017-12-07 Delphi Technologies, Inc. Map update system for automated vehicles
US10650257B2 (en) * 2017-02-09 2020-05-12 SMR Patents S.à.r.l. Method and device for identifying the signaling state of at least one signaling device
US10300894B2 (en) * 2017-03-13 2019-05-28 Denso International America, Inc. Auto-braking system for vehicle and method for auto-braking vehicle
US10699142B2 (en) * 2017-04-20 2020-06-30 GM Global Technology Operations LLC Systems and methods for traffic signal light detection

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11731629B2 (en) 2012-03-26 2023-08-22 Waymo Llc Robust method for detecting traffic signals and their associated states

Also Published As

Publication number Publication date
US20170355375A1 (en) 2017-12-14
KR20160143885A (ko) 2016-12-14
CN104411559A (zh) 2015-03-11
EP2830922B1 (en) 2021-04-21
US9145140B2 (en) 2015-09-29
EP2830922A1 (en) 2015-02-04
JP6270064B2 (ja) 2018-01-31
US20230339469A1 (en) 2023-10-26
US20210039648A1 (en) 2021-02-11
EP3851351A2 (en) 2021-07-21
KR101839554B1 (ko) 2018-03-19
US11731629B2 (en) 2023-08-22
JP2018014124A (ja) 2018-01-25
US20150360692A1 (en) 2015-12-17
EP3851351B1 (en) 2023-11-15
WO2013147994A1 (en) 2013-10-03
KR20140130521A (ko) 2014-11-10
CN108482378A (zh) 2018-09-04
EP4283574A3 (en) 2024-01-10
EP3851351A3 (en) 2021-11-10
CN108482378B (zh) 2021-09-14
EP4283574A2 (en) 2023-11-29
KR101953521B1 (ko) 2019-02-28
US9796386B2 (en) 2017-10-24
US10906548B2 (en) 2021-02-02
EP2830922A4 (en) 2015-11-25
JP2015518600A (ja) 2015-07-02
US20130253754A1 (en) 2013-09-26
CN104411559B (zh) 2018-04-20
KR20180031056A (ko) 2018-03-27

Similar Documents

Publication Publication Date Title
JP6622265B2 (ja) 交通信号とそれらに関連した状態を検出するためのロバスト法
US12099359B1 (en) Modifying the behavior of an autonomous vehicle using context based parameter switching
US20230154201A1 (en) Use of Relationship Between Activities of Different Traffic Signals in a Network to Improve Traffic Signal State Estimation
US10181084B2 (en) Combining multiple estimates of an environment into a consolidated estimate for an autonomous vehicle
US9440652B1 (en) Filtering noisy/high-intensity regions in laser-based lane marker detection
US9387854B1 (en) Use of environmental information to aid image processing for autonomous vehicles
US9026303B1 (en) Object detection based on known structures of an environment of an autonomous vehicle
US9261879B2 (en) Use of uncertainty regarding observations of traffic intersections to modify behavior of a vehicle
US9558584B1 (en) 3D position estimation of objects from a monocular camera using a set of known 3D points on an underlying surface

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170906

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170906

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191121

R150 Certificate of patent or registration of utility model

Ref document number: 6622265

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250