JP6691634B2 - 自律走行車のための物体の運転可能性の判定 - Google Patents

自律走行車のための物体の運転可能性の判定 Download PDF

Info

Publication number
JP6691634B2
JP6691634B2 JP2019502632A JP2019502632A JP6691634B2 JP 6691634 B2 JP6691634 B2 JP 6691634B2 JP 2019502632 A JP2019502632 A JP 2019502632A JP 2019502632 A JP2019502632 A JP 2019502632A JP 6691634 B2 JP6691634 B2 JP 6691634B2
Authority
JP
Japan
Prior art keywords
vehicle
objects
selected object
processors
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019502632A
Other languages
English (en)
Other versions
JP2019527428A (ja
Inventor
イアン フランクリン ファーガソン,デイビッド
イアン フランクリン ファーガソン,デイビッド
ウェンデル,アンドリアス
シュー,ジューナン
ハリソン シルバー,デイビッド
ハリソン シルバー,デイビッド
ダグラス ルダース,ブランドン
ダグラス ルダース,ブランドン
Original Assignee
ウェイモ エルエルシー
ウェイモ エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウェイモ エルエルシー, ウェイモ エルエルシー filed Critical ウェイモ エルエルシー
Publication of JP2019527428A publication Critical patent/JP2019527428A/ja
Application granted granted Critical
Publication of JP6691634B2 publication Critical patent/JP6691634B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B60W2530/12Catalyst or filter state
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

関連出願の相互参照
[0001] 本出願は、2016年10月13日に出願された米国特許出願第15/292,818号の継続であり、それは、2016年7月26日に出願された米国仮特許出願第62/366,885号の出願日の利益を主張し、その開示全体が参照により本明細書に組み込まれる。
[0002] 人間のドライバを必要としない車両などの、自律走行車は、乗客または品目を1つの位置から別の位置へ輸送するのを支援するために使用できる。かかる車両は、乗客が、目的地などの、何らかの初期入力を提供し得、車両がそれ自身をその目的地まで操縦する、完全な自律モードで走行し得る。
[0003] 自律走行車の重要な構成要素は、知覚システムであり、それは、車両が、カメラ、レーダー、センサー、および他の同様の装置を使用して、その周辺を認識して解釈できるようにする。知覚システムは、自律走行車が、加速、減速、停止、ターンなどの、動作中に、多数の決定を実行する。自律走行車は、カメラ、センサー、および全地球測位装置も使用して、例えば、停車中の車、木、建物など、その周辺環境に関する画像およびセンサーデータを収集して解釈する。これらの画像およびセンサーデータは、車両が、様々な物体を迂回して安全に操縦するのを可能にする。
[0004] 本開示の一態様は、車両を操縦する方法を提供する。本方法は、1つ以上のプロセッサにより、車両の知覚システムからの物体の集合を識別するセンサー情報、および物体の集合の各物体に対する特性の集合を受信すること;1つ以上のプロセッサにより、物体の集合をフィルタ処理して、車両、自転車、および歩行者に対応する物体を除去すること;1つ以上のプロセッサにより、フィルタ処理された物体の集合から、車両の予期される将来の経路内の物体を選択すること;1つ以上のプロセッサにより、特性の集合に基づいて物体を運転可能または運転不能として分類し、運転可能は、車両に損傷を与えることなく、その物体の上を走行できることを示すこと;ならびに1つ以上のプロセッサにより、物体が運転可能として分類される場合に、車両を操縦することが、車両の予期される将来の経路を変更することなく、物体の上を通って車両を走行させることを含むように、分類に基づいて車両を操縦すること;を含む。
[0005] 一例では、特性の集合は物体の位置を含み、本方法は、分類の前に、その物体が、その位置における車両の運転環境を記述する事前に格納された地図情報内に含まれていなかったと判断することをさらに含む。別の例では、分類および操縦がリアルタイムで実行されるように、車両が物体に近づいている場合にセンサー情報の受信が生じる。別の例では、分類が運転不能の場合、車両を操縦することは、その物体の上を走行するのを回避するために、車両の予期される将来の経路を変更することを含む。別の例では、本方法は、物体が運転不能と分類される場合に、その物体を、運転不能であるが、道から(またはむしろ、車両の予期される将来の経路の道から)出て行く可能性があるとさらに分類することも含む。この例では、物体が、運転不能であるが道から出て行く可能性があると分類される場合、車両を操縦することは、車両がその物体に近づくにつれて車両を減速することを含む。別の例では、フィルタ処理することは、車両が現在、進んでいる車線内にない物体を除去するために、物体の集合をフィルタ処理することをさらに含む。別の例では、フィルタ処理することは、所定の高さ閾値を満足する高さを有する物体を除去するために、物体の集合をフィルタ処理することをさらに含む。別の例では、フィルタ処理することは、所定の形状を有する物体を除去するために、物体の集合をフィルタ処理することをさらに含む。
[0006] 本開示の別の態様は、車両を操縦するためのシステムを提供する。本システムは、車両の知覚システムから、物体の集合を識別するセンサー情報、および物体の集合の各物体に対する特性の集合を受信すること;物体の集合をフィルタ処理して、車両、自転車、および歩行者に対応する物体を除去すること;フィルタ処理された物体の集合から、車両の予期される将来の経路内の物体を選択すること;物体を、特性の集合に基づいて運転可能または運転不能として分類し、運転可能は、車両に損傷を与えることなく、車両が物体の上を走行できることを示すこと;ならびに、物体が運転可能として分類される場合に、車両を操縦することが、車両の予期される将来の経路を変更することなく、物体の上を通って車両を走行させることを含むように、分類に基づいて車両を操縦すること;を行うように構成された1つ以上のプロセッサを含む。
[0007] 一例では、本システムは、車両も含む。別の例では、特性の集合は、物体の位置を含み、1つ以上のプロセッサは、分類の前に、その物体が、その位置における車両の運転環境を記述する事前に格納された地図情報内に含まれていなかったと判断するようにさらに構成される。別の例では、1つ以上のプロセッサは、車両が物体に近づいている場合にセンサー情報の受信が生じるようにさらに構成されて、分類および操縦がリアルタイムで実行される。別の例では、分類が運転不能の場合、1つ以上のプロセッサは、その物体の上を走行するのを回避するために、車両の予期される将来の経路を変更することにより、車両を操縦するようにさらに構成される。別の例では、物体が運転不能と分類される場合に、1つ以上のプロセッサは、その物体を、運転不能であるが道から出て行く可能性があるとさらに分類するようにさらに構成される。この例では、物体が、運転不能であるが道から出て行く可能性があると分類される場合、1つ以上のプロセッサは、車両がその物体に近づくにつれて車両を減速することにより、車両を操縦するようにさらに構成される。この例では、1つ以上のプロセッサは、車両が現在、進んでいる車線内にない物体も除去することにより、物体の集合をフィルタ処理するようにさらに構成される。別の例では、1つ以上のプロセッサは、所定の高さ閾値を満足する高さを有する物体も除去することにより、物体の集合をフィルタ処理するようにさらに構成される。別の例では、1つ以上のプロセッサは、所定の形状を有する物体も除去することにより、物体の集合をフィルタ処理するようにさらに構成される。
[0008] 本開示のさらなる態様は、命令がその上に格納される持続性コンピュータ可読記憶媒体を提供する。命令は、1つ以上のプロセッサによって実行される場合に、1つ以上のプロセッサに車両を操縦するための方法を実行させる。本方法は、車両の知覚システムから、物体の集合を識別するセンサー情報、および物体の集合の各物体に対する特性の集合を受信すること;物体の集合をフィルタ処理して、車両、自転車、および歩行者に対応する物体を除去すること;フィルタ処理された物体の集合から、車両の予期される将来の経路内の物体を選択すること;物体を、特性の集合に基づいて運転可能または運転不能として分類し、運転可能は、車両に損傷を与えることなく、車両が物体の上を走行できることを示すこと;ならびに、物体が運転可能として分類される場合に、車両を操縦することが、車両の予期される将来の経路を変更することなく、物体の上を通って車両を走行させることを含むように、分類に基づいて車両を操縦すること;を含む。
[0009]本開示の態様に従った、車両例の機能図である。 [0010]本開示の態様に従った、事前に格納された地図情報の表現例である。 [0011]本開示の態様に従った、車両の外観図例である。 [0011]本開示の態様に従った、車両の外観図例である。 [0011]本開示の態様に従った、車両の外観図例である。 [0011]本開示の態様に従った、車両の外観図例である。 [0012]例示的な実施形態に従った、システム例の機能図である。 [0013]本開示の態様に従った、図6のシステムの絵図である。 [0014]本開示の態様に従った状況例である。 [0015]本開示の態様に従った流れ図である。
[0016] 本技術は、車両の環境内の物体を検出して識別する自律走行車のための知覚システムに関する。物体を検出して識別することはかかるシステムにとって典型的な活動であるが、これらのシステムが、事故を回避するために車両が迂回して走行する必要がある物体と、車両が迂回して走行する必要がなく、実際にはその上を走行できる物体とを区別することは困難であり得る。例えば、紙、ビニール袋、葉などの物体(その上を極めて容易に走行できるが、その上を走行すべきでない)、低くて小さい金属くずなどの物体(車両の2つの前輪の間など、車両の2つの車輪で跨げる場合は、その上を走行できる)、リス、鳥、シマリスなどの小動物(勝手に道から出て行く可能性がある)、およびれんが、コンクリート、または他の破片などの物体(その上を走行した場合、車両に損傷を与え得る)を区別することは困難であり得る。結果として、自律走行車は頻繁に、単純にその上を走行できた、物体のために急停車するか、または、車線を逸れるか、もしくは変更することにより、物体を迂回して走行する。物体の「運転可能性」を判断して、その上を走行できる物体と、走行できない(または、すべきでない)物体とを区別することにより、かかる操縦が回避できて、車両の全体的な安全性が改善できる。
[0017] 前述のように、車両の知覚システムは、物体およびそれらの特性を検出するために、例えば、LIDAR、ソナー、レーダー、カメラなどの様々なセンサーを使用し得る。これらの特性は、例えば、位置、寸法、移動方向、速度、形状、密度、反射性、強度、テクスチャなどを含み得る。従って、車両のコンピューティング装置は、様々なセンサーによって検出された物体に対応するセンサー情報およびそれらの特性を使用し得る。これに関連して、センサー情報は、生のセンサーデータまたは、記述関数もしくはベクトルなどの特性を記述する他の情報を含み得る。
[0018] 自律走行車は、車両の環境の特徴を記述する事前に格納された地図情報と併せて、知覚システムから受信した情報に依存し得る。例えば、地図情報は、路面、車線マーカー、縁石、横断歩道などの道路特徴の形状および配向を記述し得る。しかし、事前に格納された地図情報は、他の車両または道路の破片などの一時的な特徴は含んでいない。
[0019] 車両のコンピュータシステムは、検出された物体を運転可能または運転不能として分類するために訓練された分類器を含み得る。例えば、分類器は、センサー情報および分類(運転可能または運転不能)を含む種データを分類器に提供することによって訓練され得る。分類は、車両または任意の検出された車両がその物体の上を走行したかどうかを評価することにより、自動的に、または手動で生成され得る。機械学習技術を使用して、長期間にわたり、より多くの情報が分類器に提供されると、分類における精度がより高くなる。
[0020] 車両が前方に操縦されて、知覚システムが車両の環境内で物体を検出すると、事前に格納された地図情報に含まれていなかったか、または事前に格納された地図情報によって識別された、検出された物体に対するセンサー情報が、分類器への入力として使用され得る。物体の不必要な分類をさらに制限するために、車両と同じ車線内またはその意図された経路近くの物体、すなわち、車両が現在のルートまたは軌道をたどり続けると潜在的にその上を走行し得る物体、人、自転車運転者、他の車両などでないか、またはその可能性が極めて低いと判断される物体、に対してなど、事前にフィルタ処理された物体に対するセンサー情報が分類器に送信され得る。同様に、分類器には、運転可能性が、幾何学的形状および/またはサイズだけに基づいてはっきりしない物体に対するセンサー情報も送信され得る。例えば、物体が非常に大きく(バンパーの高さに近いような)車両でその上を走行しようとは絶対に思わない)。
[0021] 分類器は次いで、特定の物体の運転可能性、もっと厳密に言えば、車両がその上を走行するためにその物体が安全に運転可能であるか否かのリアルタイムでの判定、を分類し得る。各分類には、物体が、その上を車両が走行しても安全か否かの確度を示す信頼値が提供され得る。信頼値は、物体が運転可能または運転不能として分類されるかどうかを判定するために閾値と比較され得る。
[0022] 分類は次いで、車両を制御するために使用され得る。例えば、一例として、物体が運転可能として識別される場合、車両はその物体の上を走行するように進み得る。代替として、物体が運転不能として分類される場合、車両は停止するか、またはその物体を迂回して操縦され得る。前述のように、物体の運転可能性を分類することにより、例えば、ビニール袋または他の類似の破片を回避するための、不必要な操縦または停止が回避できる。これは、車両が物体に対してより速やかに反応する(急停車するのとは対照的に、物体の上を走行する前に徐々に減速するなど)のを可能にでき、それにより突然の予期しない停止によって引き起こされる他の車両との事故の可能性を低下させる。いくつかの点で、これは、車両が、独立したコンピューティング装置ではなく、むしろ人間によって制御されているように挙動するのを可能にする。これは、他の車両のドライバが車両を認識する方法に影響を及ぼすことができる。例えば、ドライバがビニール袋を見ると、彼は、車両が、急停車するのではなく、その上を走行すると予期するであろう。さらに、これらの利益は、車両内の乗客にまで及んで、より快適でストレスの少ない乗車を可能にし得る。
システム例
[0023] 図1に示すように、本開示の一態様に従った車両100は、様々な構成要素を含む。本開示のある態様は特定のタイプの車両に関して特に有用であるが、車両は、自動車、トラック、オートバイ、バス、レクリエーショナルビークルなどを含むが、それらに限定されない任意のタイプの車両であり得る。車両は、1つ以上のプロセッサ120、メモリ130および汎用コンピューティング装置に通常存在する他の構成要素を含むコンピューティング装置110など、1つ以上のコンピューティング装置を有し得る。
[0024] メモリ130は、プロセッサ120によって実行されるか、または他の方法で使用され得る命令132およびデータ134を含む、1つ以上のプロセッサ120によってアクセス可能な情報を格納する。メモリ130は、コンピューティング装置可読媒体、またはハードドライブ、メモリカード、ROM、RAM、DVDもしくは他の光ディスク、ならびに他の書込み可能および読み取り専用メモリなどの、電子装置の助けを借りて読み取られ得るデータを格納する他の媒体を含む、プロセッサによってアクセス可能な情報を格納可能な任意のタイプであり得る。システムおよび方法は、前述の異なる組合せを含み得、それにより、命令およびデータの異なる部分が異なるタイプの媒体上に格納される。
[0025] データ134は、命令132に従い、プロセッサ120によって、取得、格納または変更され得る。データ134は、以下でさらに詳細に説明するとおり、物体の運転可能性に関する判定を行うためにコンピューティング装置によって使用できる1つ以上の閾値を含み得る。
[0026] 命令132は、プロセッサによって直接に(機械コードなど)または間接的に(スクリプトなど)実行される命令の任意の集合であり得る。例えば、命令は、コンピューティング装置可読媒体上にコンピューティング装置コードとして格納され得る。それに関連して、用語「命令」および「プログラム」は、本明細書では区別しないで使用され得る。命令は、プロセッサによって直接処理するためのオブジェクトコードフォーマットで、または要求に応じて翻訳されるか事前にコンパイルされるスクリプトもしくは独立したソースコードモジュールの集合を含む、任意の他のコンピューティング装置言語で、格納され得る。命令の関数、メソッドおよびルーチンは、以下でさらに詳細に説明される。
[0027] 一例として、命令は、検出された物体を運転可能または運動不能として分類するように訓練された分類器を含み得る。例えば、分類器は、センサー情報および分類を含む種データを分類器に提供することによって訓練され得る。一例として、分類は、2値の運転可能または運転不能(車両に損傷を与えるか、または乗客が負傷し得る)指定など、非常に単純であり得るか、または運転可能、車両の車輪間で跨げる場合は運転可能(薄い物体など)、運転不能、および運転不能であるが勝手に出て行く可能性がある(小動物など)指定など、もっと複雑であり得る。種データは、センサー情報が提供された場合に分類を出力する分類器のモデルを「訓練」または構成するために使用され得る。
[0028] 分類は、車両または任意の検出された車両がその物体の上を走行したかどうかを評価することにより、自動的に、または手動で生成され得る。例えば、人間のドライバの有無にかかわらず、車両が車道で物体の上を走行しているのを観察された場合、その物体、またはその物体に対するセンサー情報、物体は運転可能として分類され得る。これらの観察のいくつかでは、物体の上を走行しているのを観察された車両が、観察された車両の車輪の間でその物体を跨ぐために操縦された場合、その物体は、車両の車輪間で跨げる場合には運転可能として分類され得る。人間のドライバの有無にかかわらず、車両が、減速するか、車線変更するか、またはその物体を迂回して移動することにより、車道内の物体を回避するのが観察された場合、物体、またはその物体に対するセンサー情報は運転不能として分類され得る。別の例では、車両が物体に近づくにつれて物体が車両の道から出て行くのが観察された場合、その物体は、小動物など、接近している車両の経路から、勝手に出て行く可能性が高いとして分類され得る。
[0029] 多くの場合、物体のタイプは分類に関連し得る。例えば、物体のタイプは、機械学習、画像認識などの、任意の既知の分類技術を使用して決定され得る。タイプは次いで、物体の運転可能または運転不能の分類を判定するために分類器に供給され得る。代替として、これらの分類内の下位分類も、物体のタイプに対応する分類器によって行われ得る。例えば、運転可能として分類された物体の場合、その物体は、紙、ビニール袋、葉などの、運転可能な物体のタイプによってさらに分類され得る。同様に、運転不能であるが勝手に道から出て行く可能性があるとして分類された物体の場合、その物体は、リス、鳥、シマリスなどとしてさらに分類され得る。別の例として、運転不能として分類された物体の場合、その物体は、運転不能であるが勝手に道から出て行く可能性がある、運転不能であって勝手に道から出て行く可能性が低い、れんが、コンクリート、他の破片など、任意の数の下位分類にさらに分類され得る。
[0030] 分類器によって分類されるモデルに新しいセンサー情報が入力されると、新しいセンサー情報の物体が分類され得る。さらに、各分類は、信頼値と関連付けられる。この信頼値は、実際の分類に対して精度評価を提供する。例えば、センサー情報は、リスの形状、高さまたは他の寸法、位置、速度、色、物体タイプなど、物体の特性を、分類器に対する分類指定に応じて定義し、分類器の出力は、その物体が0.05すなわち5%おそらく運転可能である、0.95すなわち95%おそらく運転不能である、および物体が0.8すなわち80%運転不能であるが勝手に出て行く可能性があるということである。言うまでもなく、これは例に過ぎず、物体に対する信頼値は、分類器に提供されるセンサー情報によって異なり得る。加えて、信頼値は、例えば、−1〜0、0〜1、1〜100、0.00〜1.0などの範囲で、特定のスケーリングされた値に対応し得るが、任意の数の異なる尺度値が使用され得る。
[0031] 機械学習技術を使用して、長期間にわたり、より多くの情報が分類器に提供されると、分類における精度がより高くなるか、むしろ、分類に対する信頼値も向上し得る。ディープラーニング、サポートベクターマシン(SVM)モデル、決定フォレスト、カスケード分類器などの、任意の機械学習分類技術が使用され得る。加えて、機械学習技術は、以下でさらに説明するように、追加の観察を組み込み、生のセンサーデータから識別された抽出された特徴と組み合わされた生のセンサーデータを含むセンサー情報を使用することにより、長期間にわたってなお一層、改善できる。
[0032] 1つ以上のプロセッサ120は、市販のCPUなどの、任意の従来型のプロセッサであり得る。代替として、1つ以上のプロセッサは、ASICまたは他のハードウェアベースのプロセッサなどの専用装置であり得る。図1では、コンピューティング装置110のプロセッサ、メモリ、および他の要素を同じブロック内にあるとして、機能上は示しているが、プロセッサ、コンピューティング装置、またはメモリは、実際には、同じ物理筐体内に格納されることもあれば、格納されないこともある、複数のプロセッサ、コンピューティング装置、またはメモリを含み得ることが、当業者によって理解されよう。一例として、内部電子ディスプレイ152は、高帯域幅または他のネットワーク接続を経由してコンピューティング装置110とインタフェースを取り得る、それ自身のプロセッサまたは中央処理装置(CPU)、メモリなどを有する専用コンピューティング装置によって制御され得る。いくつかの例では、このコンピューティング装置は、ユーザーのクライアント装置と通信できるユーザーインタフェースコンピューティング装置であり得る。同様に、メモリは、コンピューティング装置110のそれとは異なる筐体内に配置されたハードドライブまたは他の記憶媒体であり得る。それに応じて、プロセッサまたはコンピューティング装置に対する言及は、並行して動作することもあれば、しないこともあるプロセッサもしくはコンピューティング装置またはメモリの集合に対する言及を含むことが理解されよう。
[0033] コンピューティング装置110は、前述したプロセッサおよびメモリならびにユーザー入力150(例えば、マウス、キーボード、タッチスクリーンおよび/またはマイクロホン)および様々な電子ディスプレイ(例えば、スクリーンを有するモニターまたは情報を表示するために動作可能な任意の他の電子装置)などの、通常、コンピューティング装置と接続して使用する構成要素の全てを含み得る。この例では、車両は、情報またはオーディオビジュアル経験を提供するための内部電子ディスプレイ152および1つ以上のスピーカ154を含む。この点に関して、内部電子ディスプレイ152は、車両100の客室内に配置され得、車両100内の乗客に情報を提供するためにコンピューティング装置110によって使用され得る。内部スピーカに加えて、1つ以上のスピーカ154は、可聴通知を車両100の外部の物体に提供するために、車両上の様々な位置に配置される外部スピーカを含み得る。
[0034] 一例では、コンピューティング装置110は、車両100に組み込まれた自律運転コンピューティングシステムであり得る。自律運転コンピューティングシステムは、車両の様々な構成要素と通信可能であり得る。例えば、図1に戻ると、コンピューティング装置110は、車両の乗客からの連続的または周期的な入力を要求も必要ともしない自律走行モードで、メモリ130の命令132に従って、車両100の動き、速度などを制御するために、減速システム160(車両の制動を制御するため)、加速システム162(車両の加速を制御するため)、ステアリングシステム164(車輪の方向および車両の向きを制御するため)、信号通知システム166(方向指示器を制御するため)、ナビゲーションシステム168(車両を位置に、または物体を迂回してナビゲートするため)、位置決めシステム170(車両の位置を決定するため)、知覚システム172(車両の環境内で物体を検出するため)、および動力システム174(例えば、バッテリおよび/もしくはガソリンまたはディーゼル駆動エンジン)などの、車両100の様々なシステムと通信し得る。この場合もやはり、これらのシステムはコンピューティング装置110の外部として示されているが、実際には、これらのシステムも同様に、車両100を制御するための自律運転コンピューティングシステムとして、コンピューティング装置110に組み込まれ得る。
[0035] 知覚システム172は、他の車両、車道上の障害物、交通信号、標識、木などの、車両の外部の物体を検出するための1つ以上の構成要素も含む。車両が、自動車などの小型乗用車である場合、自動車はルーフまたは他の便利な場所に取り付けられたレーザーまたは他のセンサーを含み得る。例えば、車両の知覚システムは、LIDAR、ソナー、レーダー、カメラなどの様々なセンサーを使用して、物体および、位置、向き、サイズ、形状、タイプ、移動方向と速度などのそれらの特性を検出し得る。
[0036] 知覚システム172は、このようにセンサーを使用して、様々な物体およびそれらの特性を識別する、前述したセンサー情報を生成し得る。これらの特性は、例えば、位置、寸法、移動方向、速度、形状、密度、反射性、強度、テクスチャ、タイプなどを含み得る。例えば、車両、歩行者および自転車運転者などの物体は、知覚システムのレーザーまたはカメラセンサーによって捕捉された、それらの視覚特性(画像認識技術の使用)、物理的特性(サイズ、形状など)、速度(車両100と相対的な、または実際の速度)、および位置(車線内、横断歩道内、歩道上など)から容易に識別可能であり得る。言うまでもなく、道路の破片、小動物、または車道上に出現し得る他のかかる品目には同じことが当てはまらない可能性がある。このセンサー情報は、コンピューティング装置110によって送信および受信され得る。これに関連して、センサー情報は、生のセンサーデータおよび/または記述関数もしくはベクトルなどの生のセンサーデータから抽出された特性を記述する他の情報を含み得る。
[0037] 車両100は、知覚システム172のセンサーも含む。例えば、筐体314(図3Aを参照)は、360度またはもっと狭い視野を持つための1つ以上のレーザー装置および1つ以上のカメラ装置を含み得る。筐体316および318は、例えば、1つ以上のレーダーおよび/またはソナー装置を含み得る。知覚システムの装置は、テールライト/方向指示器304および/またはサイドミラー308など、典型的な車両構成要素にも組み込まれ得る。これらのレーダー、カメラ、およびレーザー装置の各々は、これらの装置からのデータを知覚システム172の一部として処理してセンサーデータをコンピューティング装置110に提供する処理構成要素と関連付けられ得る。
[0038] コンピューティング装置110は、様々な構成要素を制御することによって車両の方向および速度を制御し得る。例として、コンピューティング装置110は、地図情報からのデータおよびナビゲーションシステム168(以下でさらに説明)を使用して、完全に自律的に目的地まで車両をナビゲートし得る。コンピューティング装置110は、位置決めシステム170を使用して車両の位置を判断し、知覚システム172を使用して、位置に安全に到達するために必要に応じて物体を検出し、それに応答し得る。それを行うために、コンピュータ110は、車両に加速(例えば、加速システム162によって、エンジンに供給される燃料または他のエネルギーを増加させることによる)、減速(例えば、減速システム160によって、エンジンに供給される燃料を減少させ、ギアを変更し、かつ/またはブレーキをかけることによる)、方向転換(例えば、ステアリングシステム164によって、車両100の前輪または後輪の向きを変えることによる)、およびかかる変更の信号通知(例えば、信号通知システム166の方向指示器を点灯することによる)を行わせ得る。従って、加速システム162および減速システム162は、車両のエンジンと車両の車輪との間の様々な構成要素を含むドライブトレインの一部であり得る。この場合もやはり、これらのシステムを制御することにより、コンピュータ110は、車両を自律的に操縦するために、車両のドライブトレインも制御し得る。
[0039] 一例として、コンピューティング装置110は、車両の速度を制御するために、減速システム160および加速システム162とやり取りし得る。同様に、ステアリングシステム164は、車両100の方向を制御するためにコンピューティング装置110によって使用され得る。例えば、車両100が、自動車またはトラックなど、道路上での使用のために構成される場合、ステアリングシステムは、車両の向きを変えるために、車輪の角度を制御するための構成要素を含み得る。信号通知システム166は、車両の意図を他のドライバまたは車両に、例えば、方向指示器またはブレーキライトを必要に応じて点灯することによって、信号通知するために、コンピューティング装置110によって使用され得る。
[0040] ナビゲーションシステム168は、位置までのルートを決定して辿るためにコンピューティング装置110によって使用され得る。これに関連して、ナビゲーションシステム168および/またはデータ134は、地図情報、例えば、コンピューティング装置110が車両をナビゲートまたは制御するために事前に格納された地図情報を使用できる車両の環境の予期される特徴を記述する高度に詳細な地図、を格納し得る。一例として、これらの地図は、車道の形状および高度、車線マーカー、交差点、横断歩道、制限速度、交通信号灯、建物、標識、リアルタイム交通情報、植生、または他のかかる物体および情報を識別し得る。車線マーカーは、例えば、実線または破線の二重もしくは一重の車線境界線、実線または破線の車線境界線、反射板などの特徴を含み得る。所与の車線は、左および右側車線または車線の境界を画定する他の車線マーカーと関連付けられ得る。従って、ほとんどの車線は、1つの車線の左縁と別の車線の右縁によって境界され得る。例えば、地図情報は、路面、車線マーカー、縁石、横断歩道などの道路特徴の形状および配向を記述し得る。しかし、この地図情報は、他の車両または道路の破片などの一時的な特徴は含んでいない。
[0041] 図2は、交差点202および204を含む車道の部分に対する地図情報200の一例である。この例では、地図情報200は、車線境界線210、212、214、交通信号灯220、222、横断歩道230、歩道240、停止標識250、252、および譲れの標識260の形状、位置、および他の特性を識別する情報を含む。車両が走行できるエリアは、地図情報内の様々な位置で車両が一般に、進むべき位置および方向を示す、1つ以上のレール270、272、および274と関連付けられ得る。例えば、車両は、車線境界線210と212との間の車線を走行する場合に、レール270を辿り得、交差点204で右折するためにレール272に移行し得る。その後、車両はレール274を辿り得る。言うまでもなく、レールの数および特質を所与として、簡潔さおよび理解を容易にするために、地図情報200内には2〜3だけが描かれている。
[0042] 詳細な地図情報は、本明細書では画像ベースの地図として示されているが、地図情報は完全に画像ベースである必要はない(例えば、ラスター)。例えば、詳細な地図情報は、道路、車線、交差点、およびこれらの特徴間の連結などの情報の1つ以上のロードグラフまたは、グラフネットワークを含み得る。各特徴はグラフデータとして格納され得、地理的位置などの情報と関連付けられ得、他の関連した特徴にリンクされるか否かに関わらず、例えば、停止標識は道路および交差点などにリンクされ得る。いくつかの例では、関連付けられたデータは、あるロードグラフ特徴の効率的な検索を可能にするために、ロードグラフのグリッドベースの指標を含み得る。
[0043] 図3A〜図3Dは、車両100の外観図の例である。図に示すように、車両100は、ヘッドライト302、フロントガラス303、テールライト/方向指示器304、リヤウィンドウ305、ドア306、サイドミラー308、タイヤおよび車輪310、ならびに方向指示器/駐車灯312などの、典型的な車両の多くの特徴を含む。ヘッドライト302、テールライト/方向指示器304、および方向指示器/駐車灯312は、信号通知システム166と関連付けられ得る。光バー307も信号通知システム166と関連付けられ得る。前述のとおり、車両100は、前述のように1つ以上のスピーカ154に対応する車両の外面上に配置された様々なスピーカを含み得る。
[0044] 車両100の1つ以上のコンピューティング装置110はまた、他のコンピューティング装置に、および他のコンピューティング装置から、例えば、無線ネットワーク接続156を介して、情報を受信し、または伝達し得る。図4および図5はそれぞれ、ネットワーク460を介して接続された複数のコンピューティング装置410、420、430、440およびストレージシステム450を含むシステム例400の、絵図および機能図である。システム400は、車両100、および車両100と同様に構成され得る車両100Aも含む。簡略化のために2、3の車両およびコンピューティング装置しか示されていないが、典型的なシステムははるかに多くを含み得る。
[0045] 図4に示すように、コンピューティング装置410、420、430、440の各々は、1つ以上のプロセッサ、メモリ、データおよび命令を含み得る。かかるプロセッサ、メモリ、データおよび命令は、コンピューティング装置110の1つ以上のプロセッサ120、メモリ130、データ134、および命令132と同様に構成され得る。
[0046] ネットワーク460、および介在ノードは、Bluetooth、Bluetooth LEなどの近距離通信プロトコル、インターネット、ワールドワイドウェブ、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、1つ以上の企業に専用の通信プロトコルを使用するプライベートネットワーク、イーサネット、WiFiおよびHTTP、ならびに前述の様々な組合せを含む様々な構成およびプロトコルを含み得る。かかる通信は、モデムおよび無線インタフェースなど、他のコンピューティング装置への、および他のコンピューティング装置からのデータの伝送が可能な任意の装置によって容易にされ得る。
[0047] 一例では、1つ以上のコンピューティング装置410は、複数のコンピューティング装置を有するサーバー、例えば、他のコンピューティング装置へ、および他のコンピューティング装置からデータを受信、処理、および送信する目的で、ネットワークの異なるノードと情報を交換する、負荷分散されたサーバーファームを含み得る。例えば、1つ以上のコンピューティング装置410は、車両100の1つ以上のコンピューティング装置110または車両100Aの同様のコンピューティング装置、およびクライアントコンピューティング装置420、430、440とネットワーク460を介して通信可能な1つ以上のサーバーコンピューティング装置を含み得る。例えば、車両100および車両100Aは、サーバーコンピューティング装置によって様々な位置に派遣できる車両団の一部であり得る。これに関連して、団の車両は車両のそれぞれの位置決めシステムによって提供された位置情報をサーバーコンピューティング装置に定期的に送信し得、1つ以上のサーバーコンピューティング装置は車両の位置を追跡し得る。加えて、ユーザーが本システムの様々な他のコンピューティング装置と通信できるようにする、クライアントコンピューティング装置420、430、440が、それぞれ、ユーザー422、432、および442と関連付けられるか、またはユーザー422、432、および442によって使用され得る。
[0048] ストレージシステム450は、前述した分類器など、様々なタイプの情報を格納し得る。これに関連して、分類器は、少なくとも最初は、例えば、サーバーコンピューティング装置410を使用して、「オフライン」で訓練され得、その後、例えば、ネットワーク460または有線接続(より高速なダウンロード速度のため)を介して、車両100および100Aの一方または両方にダウンロードされ得る。メモリ130と同様、ストレージシステム450は、ハードドライブ、メモリカード、ROM、RAM、DVD、CD−ROM、書込み可能、および読取り専用メモリなどの、サーバーコンピューティング装置410によってアクセス可能な情報を格納できる任意のタイプのコンピュータ制御ストレージにできる。加えて、ストレージシステム450は、同じか、または異なる地理的位置に物理的に設置され得る複数の異なる記憶装置上にデータが格納される分散ストレージシステムを含み得る。ストレージシステム450は、図4に示すように、ネットワーク460を介してコンピューティング装置に接続され得、かつ/またはコンピューティング装置110、410、420、430、440などのいずれかに直接接続されるか、もしくはそれらに組み込まれ得る。
方法例
[0049] 前述して、図に例示する操作に加えて、ここで様々な操作を説明する。以下の操作は、以下で説明する正確な順序で実行する必要がないことを理解すべきである。むしろ、様々なステップは異なる順序で、または同時に処理でき、ステップはまた、追加または省略され得る。
[0050] コンピューティング装置110は、目的地までルートに沿って車両を自律的に制御するために必要なシステムを開始し得る。例えば、ナビゲーションシステム168は、データ134の地図情報を使用して、地図情報200の繋がれたレールの集合を辿る目的地までのルートまたは経路を決定し得る。コンピューティング装置110は次いで、前述のように、ルートに沿って目的地に向かって、車両を自律的に(または自律運転モードで)操縦し得る。それを行うために、車両のコンピューティング装置110は、ルートに沿って、車両の位置、速度および方向を識別する計画を作成し得る。これらの位置、速度および方向は一緒に、車両の予期される将来の経路を定義する。
[0051] 図6は、交差点602および604を含む車道600の部分を示す。この例では、交差点602および604は、それぞれ、地図情報200の交差点202および204に対応する。この例では、車線境界線610、612、および614は、それぞれ、車線境界線210、212、および214の形状、位置、および他の特性に対応する。同様に、横断歩道630および632は、それぞれ、横断歩道230および232の形状、位置、および他の特性に対応し;歩道640は、歩道240に対応し;交通信号灯620および622は、それぞれ、交通信号灯220および222に対応し;停止標識650,652は、それぞれ、停止標識250,252に対応し;譲れの標識660は、譲れの標識260に対応する。
[0052] 図6の例では、車両100は、交差点604および602を通過し、交差点602での右折を伴う、予期される将来の経路670に従ったルートに沿って進行している。この例では、予期される将来の経路は、前述した図2のレールおよび詳細な地図情報にも対応する。図6の例を含め、本明細書で提供する例は、左ハンドルの国に特有であるが、(車線およびターンの方向が逆である、などと仮定すれば)右ハンドルの国にも同様に適切であり得る。
[0053] 車両が前方に操縦されて、知覚システム172が車両の環境内で物体を検出すると、知覚システムは、センサー情報をコンピューティング装置110に提供し得る。前述のように、このセンサー情報は、知覚システムのセンサーによって車両の環境内で検出された特性を識別し得る。図6の例に示すように、知覚システム172は、車両680、自転車運転者682、および歩行者684を検出して識別している。加えて、知覚システムは、車両、自転車運転者および歩行者に対応しない物体686および688を検出している。
[0054] コンピューティング装置110および/または知覚システム172は、センサー情報を処理して、分類に適した物体の集合を識別する。例えば、詳細な地図情報に含まれていなかったか、または詳細な地図情報によって識別された、検出された物体に対するセンサー情報が、分類に適しているとして識別され得る。物体の不必要な分類をさらに制限するために、コンピューティング装置110は、その物体が車両と同じ車線内にあるか、または、コンピューティング装置110がルートに従い、車線を変更するか、ターンするか、もしくはその物体に向かって走行する準備をしている場所など、車両の予期される将来の経路の近くにあるかどうかなど、それらの位置に基づいて、分類に適した物体を識別し得る。言い換えれば、コンピューティング装置110および/または知覚システム172は、車両が現在のルートまたは軌道をたどり続けると潜在的にその上を走行し得る物体を分類に適しているとして識別し得る。
[0055] 例えば、車両680、自転車運転者682、歩行者684、ならびに物体686および688は、詳細な地図情報に現れない可能性がある。これに関連して、これらの物体は、少なくとも最初は、分類に適した物体の集合に含まれ得る。しかし、歩行者684は、歩行者の位置が予期される将来の経路670からあまりにも遠く離れている可能性があるので、物体の集合に含まれない可能性があるか、または物体の集合から除去され得る。同様に、車両680、自転車運転者682、ならびに物体686および688の各々は、直接(または十分に近接して)予期される将来の経路670内にあり得、従って、分類に適した物体の集合に含まれ得る。
[0056] 物体に対するセンサー情報内で定義された他の特性が、分類に適した物体の集合を識別および/またはフィルタ処理するために使用され得る。例えば、コンピューティング装置110および/または知覚システム172は、幾何学的形状(サイズまたは形状)に基づいて運転可能性がはっきりしない物体をフィルタ処理し得る。一例として、物体686などの、物体の高さが、車両100のバンパーの高さに近いかまたはそれ以上など、非常に高い場合、車両がその物体の上を安全に走行できるか、または走行すべき可能性は低く、従ってこの場合も同様に、さらなる分類は必要ない。同様に、物体がギザギザまたは尖った形状の場合、車両がその物体の上を安全に走行できるか、または走行すべき可能性は低く、従ってこの場合も同様に、さらなる分類は必要ない。
[0057] 加えて、物体の進行方向および速度も、分類に適した物体の識別および/フィルタ処理に関連し得る。例えば、車両の予期される経路から遠いが、車両の予期される経路に近づいている物体は、分類に適している可能性がある。
[0058] その上、いくつかの物体のタイプは、前述のように、コンピューティング装置110および/または知覚システム172により、サイズ、形状、速度、および位置に基づいてセンサー情報内に定義された特性に基づき歩行者、自転車運転者、他の車両などとして自動的に分類され得る。これに関連して、車両680、自転車運転者682、または歩行者684のいずれも、物体の集合内に含まれていない可能性がある。これらの物体は決してその上を走行すべきではないので、運転可能または運転不能としてのさらなる分類は必要なく、分類器によって利用される処理能力の量を削減するために、回避できる。
[0059] 分類に適するとして識別された物体の集合に対応するセンサー情報が次いで、コンピューティング装置110により、分類器に供給され得る。従って、車両、自転車運転者、および歩行者ならびに高すぎる(例えば、物体686)か、または特定の形状を有する物体を除外することにより、分類に適した物体の集合は、物体688だけを含み得る。分類器は次いで、前述のセンサー情報を使用して、物体の各々の運転可能性を分類し得る。前述のように、前述のセンサー情報は、モデルに供給され得る。分類器は次いで、運転可能、跨げる場合には運転可能、運転不能、および/または運転不能であるが勝手に出て行く可能性がある、などの分類、ならびに各かかる分類に対して関連付けられた信頼値を出力し得る。
[0060] コンピューティング装置110は次いで、分類(または複数の分類)および関連付けられた信頼値(または複数の値)を使用して、例えば、車両が物体に近づくにつれて、車両がその物体の上を走行するのが安全であるか否かに関してリアルタイムで判断し得る。例えば、この信頼値は、物体が運転可能であるかどうか、またはむしろ、車両がその物体の上を安全に走行できるかどうかを判断するために、データ134の1つ以上の閾値と比較され得る。これに関連して、各分類指定(運転可能、跨げる場合には運転可能、運転不能、または運転不能であるが勝手に出て行く可能性がある)は、1つ以上の閾値の異なる1つと関連付けられ得る。それに関連して、各閾値は、分類指定の1つの信頼値との比較のために使用され得る。
[0061] 一例として、物体を運転可能として識別するための閾値は、実際には運転不能であったが、恐らく分類器によって誤って分類された物体の上を走行する可能性を減らすために、比較的高いか、または0〜1の尺度で、1もしくは0.9(90%)に近い可能性がある。これに関連して、物体686が0.05または5%おそらく運転可能であると分類される場合、これは0.9未満であるので、コンピューティング装置110は、物体は運転不能であると判定し得る。物体が0.95すなわち95%おそらく運転可能であると分類される場合、これは0.9を上回っているので、コンピューティング装置110は、その物体は運転可能であると判定し得る。
[0062] 物体を、跨げる場合には運転可能として識別するための閾値は、この場合も先と同様に、実際には運転不能でなかった物体の上を走行しない方を支持して失敗するほうがましなために、比較的高いが、運転可能な物体に対するものよりは低いか、または0〜1の尺度で、0もしくは0.80(90%)に近い可能性がある。これに関連して、物体686が0.85すなわち85%おそらく跨げる場合には運転可能であると分類される場合、これは0.80を上回っているので、コンピューティング装置110は、その物体は車両の車輪で跨げる場合に限り運転可能であると判定し得る。物体が0.75すなわち75%おそらく跨げる場合には運転可能であると分類される場合、これは0.80未満であるので、コンピューティング装置110は、例えば、運転不能など、何らかの他の分類がもっと適切であると判定し得る。
[0063] 同様に、物体を運転不能として識別するための閾値は、この場合も先と同様に、実際には運転可能でなかった物体の上を走行しない方を支持して失敗するほうがましなために、比較的低いか、または0〜1の尺度で、0もしくは0.25(25%)に近い可能性がある。これに関連して、物体686が0.95または95%おそらく運転不能であると分類される場合、これは0.25を上回っているので、コンピューティング装置110は、その物体は運転不能であると判定し得る。物体が0.05または5%おそらく運転不能であると分類される場合、これは0.25未満であるので、コンピューティング装置110は、その物体は運転不能であると判定し得る。
[0064] 別の例では、物体を、運転不能であるが勝手に出て行く可能性があるとして識別するための閾値も、勝手に出て行かないであろうが、恐らく分類器によって誤って分類された物体の上を走行する可能性を減らすために、比較的高いか、または0〜1の尺度で、1もしくは0.9に近い可能性がある。これに関連して、物体686が0.8すなわち80%運転不能であるが勝手に出て行く可能性があると分類される場合、これは0.9未満であるので、コンピューティング装置110は、その物体は勝手に出て行く可能性が低く、それゆえ運転不能でもあると判定し得る。従って、運転不能などの、何らかの他の分類がより適切であり得る。物体686が0.95または95%運転不能であるが勝手に出て行く可能性があると分類される場合、これは0.9を上回っているので、コンピューティング装置110は、物体は運転不能であるが勝手に出て行く可能性があると判定し得る。
[0065] 判定は次いで、車両を制御するために使用され得る。例えば、物体686が運転可能であると判定される場合、コンピューティング装置110は、物体の上を走行するように車両を進めさせ得る。物体686が跨げる場合には運転可能として分類される場合、コンピューティング装置110は、物体が車両の車輪(すなわち、ドライバと乗客側の車輪)の間に位置するように、車両を操縦させて物体の上を走行させ得る。物体686が運転不能として分類される場合、コンピューティング装置110は、車両を停止させるか、または物体を迂回するように操縦させ得る。加えて、物体686が運転不能であるが勝手に出て行く可能性があると分類される場合、コンピューティング装置110は、車両がその物体に近づく前に、その物体に車両の予期される将来の経路から出て行くためのより多くの時間を与えるために、車両がその物体に近づくにつれて車両を減速させ得る。言うまでもなく、物体が車両の予期される将来の経路から出て行かない場合、コンピューティング装置110は、車両を完全に停止させるか、またはその物体を迂回して車両を操縦させ得る。
[0066] いくつかの例では、物体の分類は、適切な車両応答を判断するために、そのサイズおよびタイプの下位分類など、物体に関して判断された他の情報と組み合わされ得る。例えば、コンピューティング装置は、運転可能な小さい物体に対してはわずかに減速するが、運転可能なもっと大きい物体に対してはもっと減速し得る。同様に、コンピューティング装置は、車両が、運転不能であるが勝手に出て行く可能性があると分類され、かつ鳥などの小動物として下位分類された物体に近づくにつれて車両をわずかに減速し得るが、その後、車両がその物体から何らかの所定の距離になった時に物体が道から出て行かなければ、車両をもっと迅速に(もっと速く)減速し得る。
[0067] 言うまでもなく、信頼値は分類器によって決定され、使用される閾値は調整され得るか、または必ずしも必要ではない可能性があるので、前述の閾値および判定は例に過ぎない。例えば、単一の閾値よりむしろ、分類器によって出力された信頼値が、車両の速度を信頼値の関数として制御する(徐々に減速する、停止する、など)コンピューティング装置によって使用され得る。物体が運転不能である信頼値が比較的高い場合、この関数は、急停車を引き起こし得るが、他方、物体が運転可能である信頼値が比較的高い場合、同じ関数は、車両のもっと緩やかな減速を引き起こし得るか、または車両の速度が全く変わらない可能性がある。この関数は、車両をどのように制御するかの判断を向上させるために、例えば、物体のサイズ、車両が現在走行している車道の制限速度、車両と、その車両と同じ車線内で車両の後ろにいる別の車両との間の距離(例えば、車両の後ろにぴったりついて走行している別の車両があるかどうか)、車両と同じ車線内で車両の後ろにいる別の車両の速度など、追加の変数も考慮に入れ得る。
[0068] いくつかの例では、分類は、反復プロセスであり得る。例えば、物体を運転不能として分類した後、その運転不能物体は勝手に出て行く可能性があるかどうかを判定するために、物体は次いで、前述したように訓練された異なる分類器を使用して、再度分類され得る。
[0069] 図7は、コンピューティング装置110などの、1つ以上のコンピューティング装置によって自律的に実行され得る、車両100などの、車両を操縦する流れ図例700である。この例では、ブロック710で、1つ以上のコンピューティング装置が、車両の知覚システムから、物体の集合を識別するセンサー情報および物体の集合の各物体に対する特性の集合を受信する。ブロック720で、物体の集合がフィルタ処理されて、車両、自転車、および歩行者に対応する物体を除去する。ブロック730で、車両の予期される将来の経路内の物体が、フィルタ処理された物体の集合から選択される。ブロック740で、物体は、特性の集合に基づいて運転可能または運転不能として分類され、運転可能は、車両に損傷を与えることなく、車両がその物体の上を走行できることを示す。ブロック750で、物体が運転可能として分類される場合、車両を操縦することが、車両の予期される将来の経路を変更することなく、物体の上を通って車両を走行させることを含むように、車両が分類に基づいて操縦される。
[0070] 前述した利益に加えて、物体の運転可能性を分類することにより、車両のコンピューティング装置は、車両または自転車運転者などの、他の物体がどのように挙動するかの予測も改善し得る。例えば、車両100のコンピューティング装置110が、別の車両の車線内の物体を運転可能として分類すると、車両のコンピューティング装置は、他の車両がその物体の上を走行すると予測し得る。その一方で、車両100のコンピューティング装置がその物体を運転不能として分類する場合、車両のコンピューティング装置は、他の車両が停止するか、またはその物体を迂回して走行する(潜在的に、車両100の車線に入る)と予測し得る。
[0071] 特に指定のない限り、前述の代替例は相互排他的ではなく、固有の利点を達成するために様々な組み合わせで実装され得る。これらおよび他の変形形態ならびに前述した特徴の組合せが、クレームで定義される主題から逸脱することなく利用できるので、実施形態の前述の説明は、クレームで定義される主題の制限としてではなく、例証として解釈されるべきである。加えて、本明細書で説明する例の提供、ならびに「など(such as)」、「〜を含む(including)」および同様のものとして表現される句は、クレームの主題を特定の例に限定するものと解釈されるべきではなく、むしろ、例は、多くの考えられる実施形態のうちの1つだけを例証することを意図する。さらに、異なる図面中の同じ参照番号は、同じか、または同様の要素を識別できる。
産業上の利用可能性
[0072] 本発明は、自律走行車のために物体の運転可能性を判定することを含むが、それに限定されず、幅広い産業上の利用可能性を享受する。

Claims (20)

  1. 車両を操縦する方法であって、
    前記車両の知覚システムからの1つ以上のプロセッサにより、物体の集合を識別するセンサー情報、および前記物体の集合の各物体に対する特性の集合を受信することと、
    前記1つ以上のプロセッサにより、前記物体の集合をフィルタ処理して、車両、自転車、および歩行者に対応する物体を除去することと、
    前記1つ以上のプロセッサにより、前記フィルタ処理された物体の集合から、前記車両の予期される将来の経路内の物体を選択することと、
    前記1つ以上のプロセッサにより、前記選択された物体を、前記選択された物体に対する前記特性の集合に基づいて運転可能または運転不能として分類することであって、運転可能は、前記車両に損傷を与えることなく、前記車両が前記選択された物体の上を走行できることを示す、前記選択された物体を分類することと、
    前記選択された物体が運転可能として分類される場合に、前記車両を操縦することが、前記車両の前記予期される将来の経路を変更することなく、前記車両を前記選択された物体の上を走行させることを含むように、前記1つ以上のプロセッサにより、前記分類に基づいて前記車両を操縦することと
    を含む、車両を操縦する方法。
  2. 前記特性の集合が、前記物体の位置を含み、かつ前記方法は、分類の前に、前記物体が、前記位置における前記車両の運転環境を記述する事前に格納された地図情報内に含まれていなかったと判断することをさらに含む、請求項1に記載の方法。
  3. 前記センサー情報を前記受信することが、前記分類および操縦がリアルタイムで実行されるように、前記車両が前記物体に近づいている場合に生じる、請求項1に記載の方法。
  4. 前記分類が運転不能の場合、前記車両を操縦することが、前記選択された物体の上を走行するのを回避するために、前記車両の前記予期される将来の経路を変更することを含む、請求項1に記載の方法。
  5. 前記選択された物体が運転不能として分類される場合に、前記選択された物体を、運転不能であるが前記車両の予期される将来の経路から出て行く可能性があるとさらに分類することをさらに含む、請求項1に記載の方法。
  6. 前記選択された物体が、運転不能であるが前記車両の前記予期される将来の経路から出て行く可能性があると分類される場合、前記車両を操縦することは、前記車両が前記選択された物体に近づくにつれて前記車両を減速することを含む、請求項5に記載の方法。
  7. 前記フィルタ処理することは、前記車両が現在、進んでいる車線内にない物体を除去するために、前記物体の集合をフィルタ処理することをさらに含む、請求項1に記載の方法。
  8. 前記フィルタ処理することは、所定の高さ閾値を満足する高さを有する物体を除去するために、前記物体の集合をフィルタ処理することをさらに含む、請求項1に記載の方法。
  9. 前記フィルタ処理することは、所定の形状を有する物体を除去するために、前記物体の集合をフィルタ処理することをさらに含む、請求項1に記載の方法。
  10. 前記1つ以上のプロセッサにより、前記選択された物体を運転可能として分類することは、
    前記選択された物体を、前記車両の2つの車輪間で跨げる場合には運転可能として分類すること
    をさらに含み、
    前記選択された物体が前記車両の2つの車輪間で跨げる場合には運転可能として分類される場合、前記分類に基づいて前記車両を操縦することは、前記車両の前記2つの車輪間で前記選択された物体を跨ぐために前記車両を操縦することを含む、
    請求項1に記載の方法。
  11. 車両を操縦するためのシステムであって、前記システムは、
    前記車両の知覚システムから、物体の集合を識別するセンサー情報、および前記物体の集合の各物体に対する特性の集合を受信することと、
    前記物体の集合をフィルタ処理して、車両、自転車、および歩行者に対応する物体を除去することと、
    前記フィルタ処理された物体の集合から、前記車両の予期される将来の経路内の物体を選択することと、
    前記選択された物体を、前記選択された物体に対する前記特性の集合に基づいて運転可能または運転不能として分類することであって、運転可能は、前記車両に損傷を与えることなく、前記車両が前記選択された物体の上を走行できることを示す、前記選択された物体を分類することと、
    前記選択された物体が運転可能として分類される場合に、前記車両を操縦することが、前記車両の前記予期される将来の経路を変更することなく、前記車両を前記選択された物体の上を走行させることを含むように、前記車両を前記分類に基づいて操縦することと
    を行うように構成された1つ以上のプロセッサを含む、システム。
  12. 前記車両をさらに含む、請求項11に記載のシステム。
  13. 前記特性の集合が、前記物体の位置を含み、かつ前記1つ以上のプロセッサは、分類の前に、前記物体が、前記位置における前記車両の運転環境を記述する事前に格納された地図情報内に含まれていなかったと判断するようにさらに構成される、請求項11に記載のシステム。
  14. 前記1つ以上のプロセッサは、前記車両が前記物体に近づいている場合に前記センサー情報の前記受信が生じるようにさらに構成され、前記分類および操縦がリアルタイムで実行される、請求項11に記載のシステム。
  15. 前記分類が運転不能の場合、前記1つ以上のプロセッサは、前記選択された物体の上を走行するのを回避するために、前記車両の前記予期される将来の経路を変更することにより、前記車両を操縦するようにさらに構成される、請求項11に記載のシステム。
  16. 前記選択された物体が運転不能として分類される場合、前記1つ以上のプロセッサは、前記選択された物体を、運転不能であるが前記車両の前記予期される将来の経路から出て行く可能性があるとさらに分類するようにさらに構成される、請求項11に記載のシステム。
  17. 前記1つ以上のプロセッサは、前記車両が現在、進んでいる車線内にない物体も除去することにより、前記物体の集合をフィルタ処理するようにさらに構成される、請求項11に記載のシステム。
  18. 前記1つ以上のプロセッサは、所定の高さ閾値を満足する高さを有する物体も除去することにより、前記物体の集合をフィルタ処理するようにさらに構成される、請求項11に記載のシステム。
  19. 前記1つ以上のプロセッサは、所定の形状を有する物体も除去することにより、前記物体の集合をフィルタ処理するようにさらに構成される、請求項11に記載のシステム。
  20. 命令がその上に格納される持続性コンピュータ可読記憶媒体であって、前記命令は、1つ以上のプロセッサによって実行される場合に、前記1つ以上のプロセッサに車両を操縦するための方法を実行させ、前記方法は、
    前記車両の知覚システムから、物体の集合を識別するセンサー情報および、前記物体の集合の各物体に対する特性の集合を受信することと、
    前記物体の集合をフィルタ処理して、車両、自転車、および歩行者に対応する物体を除去することと、
    前記フィルタ処理された物体の集合から、前記車両の予期される将来の経路内の物体を選択することと、
    前記選択された物体を、前記選択された物体に対する前記特性の集合に基づいて運転可能または運転不能として分類することであって、運転可能は、前記車両に損傷を与えることなく、前記車両が前記選択された物体の上を走行できることを示す、前記選択された物体を分類することと、
    前記選択された物体が運転可能として分類される場合に、前記車両を操縦することが、前記車両の前記予期される将来の経路を変更することなく、前記車両を前記選択された物体の上を走行させることを含むように、前記分類に基づいて前記車両を操縦することと
    を含む、持続性コンピュータ可読記憶媒体。
JP2019502632A 2016-07-26 2017-07-20 自律走行車のための物体の運転可能性の判定 Active JP6691634B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662366885P 2016-07-26 2016-07-26
US62/366,885 2016-07-26
US15/292,818 US10203696B2 (en) 2016-07-26 2016-10-13 Determining drivability of objects for autonomous vehicles
US15/292,818 2016-10-13
PCT/US2017/043007 WO2018022409A1 (en) 2016-07-26 2017-07-20 Determining drivability of objects for autonomous vehicles

Publications (2)

Publication Number Publication Date
JP2019527428A JP2019527428A (ja) 2019-09-26
JP6691634B2 true JP6691634B2 (ja) 2020-04-28

Family

ID=61009521

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019502632A Active JP6691634B2 (ja) 2016-07-26 2017-07-20 自律走行車のための物体の運転可能性の判定

Country Status (9)

Country Link
US (1) US10203696B2 (ja)
EP (1) EP3490859B1 (ja)
JP (1) JP6691634B2 (ja)
KR (1) KR102029638B1 (ja)
CN (1) CN109562759B (ja)
AU (1) AU2017302462B2 (ja)
CA (1) CA3031728C (ja)
SG (1) SG11201900246TA (ja)
WO (1) WO2018022409A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10884409B2 (en) * 2017-05-01 2021-01-05 Mentor Graphics (Deutschland) Gmbh Training of machine learning sensor data classification system
US10507813B2 (en) * 2017-05-10 2019-12-17 Baidu Usa Llc Method and system for automated vehicle emergency light control of an autonomous driving vehicle
US10438074B2 (en) * 2017-06-14 2019-10-08 Baidu Usa Llc Method and system for controlling door locks of autonomous driving vehicles based on lane information
CN110914641B (zh) * 2017-06-14 2024-01-30 御眼视觉技术有限公司 自主导航的导航信息的融合构架和分批对齐
JP6793845B2 (ja) * 2017-09-20 2020-12-02 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
JP6791093B2 (ja) * 2017-10-23 2020-11-25 株式会社デンソー 自動運転制御装置、車両の自動運転制御方法
WO2019171117A1 (en) * 2018-03-05 2019-09-12 Omron Corporation Method, device and program for controlling movement of moving body and storage medium
US20200055524A1 (en) * 2018-08-20 2020-02-20 Alberto LACAZE System and method for verifying that a self-driving vehicle follows traffic ordinances
US10976748B2 (en) * 2018-08-22 2021-04-13 Waymo Llc Detecting and responding to sounds for autonomous vehicles
GB2578914B (en) * 2018-11-14 2021-05-12 Jaguar Land Rover Ltd Vehicle control system and method
DE102018128634A1 (de) * 2018-11-15 2020-05-20 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bereitstellen einer visuellen Information über zumindest einen Teil einer Umgebung, Computerprogrammprodukt, mobiles Kommunikationsgerät und Kommunikationssystem
US11378965B2 (en) * 2018-11-15 2022-07-05 Toyota Research Institute, Inc. Systems and methods for controlling a vehicle based on determined complexity of contextual environment
DE102018222672A1 (de) * 2018-12-20 2020-06-25 Robert Bosch Gmbh Bestimmung der Orientierung von Objekten mit Radar und anderer elektromagnetischer Abfragestrahlung
US11048254B2 (en) * 2019-04-10 2021-06-29 Waymo Llc Generating simplified object models to reduce computational resource requirements for autonomous vehicles
US11643115B2 (en) * 2019-05-31 2023-05-09 Waymo Llc Tracking vanished objects for autonomous vehicles
US11332132B2 (en) * 2019-08-30 2022-05-17 Argo AI, LLC Method of handling occlusions at intersections in operation of autonomous vehicle
KR102125538B1 (ko) 2019-12-13 2020-06-22 주식회사 토르 드라이브 자율 주행을 위한 효율적인 맵 매칭 방법 및 그 장치
US11493922B1 (en) 2019-12-30 2022-11-08 Waymo Llc Perimeter sensor housings
US11557127B2 (en) 2019-12-30 2023-01-17 Waymo Llc Close-in sensing camera system
CN111923904B (zh) * 2020-08-13 2024-03-08 西安理工大学 一种无人驾驶电动汽车的自主避障方法
US20220067395A1 (en) * 2020-08-31 2022-03-03 Aptiv Technologies Limited Vehicles, Systems and Methods for Determining an Occupancy Map of a Vicinity of a Vehicle
JP7427565B2 (ja) * 2020-09-10 2024-02-05 株式会社東芝 情報生成装置、車両制御システム、情報生成方法およびプログラム
US11906974B2 (en) * 2020-11-20 2024-02-20 Deere & Company Off-road machine-learned obstacle navigation in an autonomous vehicle environment
US11835949B2 (en) 2020-11-24 2023-12-05 Mobile Industrial Robots A/S Autonomous device safety system
US11794729B2 (en) 2021-03-19 2023-10-24 Hyundai Motor Company Vehicle deceleration planning
US20220319328A1 (en) * 2021-03-31 2022-10-06 Aptiv Technologies Limited Sensor Fusion for Object-Avoidance Detection
KR102640491B1 (ko) * 2021-09-24 2024-02-27 (주) 오토노머스에이투지 고정된 라이다를 이용하여 교차로에서의 상태를 검지하는 방법 및 이를 이용한 서버
US11675362B1 (en) * 2021-12-17 2023-06-13 Motional Ad Llc Methods and systems for agent prioritization
CN114407901B (zh) * 2022-02-18 2023-12-19 北京小马易行科技有限公司 自动驾驶车辆的控制方法、装置以及自动驾驶系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4235090B2 (ja) * 2003-11-17 2009-03-04 トヨタ自動車株式会社 車両走行支援装置
JP4089674B2 (ja) * 2004-09-29 2008-05-28 株式会社デンソー 接触脱輪回避ナビゲーションシステム
US8050863B2 (en) 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
DE102007011180A1 (de) 2007-03-06 2008-09-11 Daimler Ag Rangierhilfe und Verfahren für Fahrer von Fahrzeugen bzw. Fahrzeuggespannen, welche aus gegeneinander knickbare Fahrzeugelementen bestehen
US9188980B2 (en) 2008-09-11 2015-11-17 Deere & Company Vehicle with high integrity perception system
JP5246248B2 (ja) * 2010-11-29 2013-07-24 株式会社デンソー 予測装置
US8195394B1 (en) * 2011-07-13 2012-06-05 Google Inc. Object detection and classification for autonomous vehicles
DE102011082483A1 (de) 2011-09-12 2013-03-14 Robert Bosch Gmbh Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeugs
US9381916B1 (en) 2012-02-06 2016-07-05 Google Inc. System and method for predicting behaviors of detected objects through environment representation
DE102012209870A1 (de) * 2012-06-13 2013-12-19 Robert Bosch Gmbh Ermittelung eines überfahrbarkeitsindikators für ein objekt
US9234618B1 (en) 2012-09-27 2016-01-12 Google Inc. Characterizing optically reflective features via hyper-spectral sensor
US9274525B1 (en) * 2012-09-28 2016-03-01 Google Inc. Detecting sensor degradation by actively controlling an autonomous vehicle
JP2014106897A (ja) * 2012-11-29 2014-06-09 Toyota Motor Corp 通行可否判定装置
US8676431B1 (en) 2013-03-12 2014-03-18 Google Inc. User interface for displaying object-based indications in an autonomous driving system
SE537265C2 (sv) 2013-03-19 2015-03-17 Scania Cv Ab Reglersystem samt metod för reglering av fordon vid detektion av hinder
US9090260B2 (en) * 2013-12-04 2015-07-28 Mobileye Vision Technologies Ltd. Image-based velocity control for a turning vehicle
US9365214B2 (en) 2014-01-30 2016-06-14 Mobileye Vision Technologies Ltd. Systems and methods for determining the status of a turn lane traffic light
US9280710B1 (en) * 2014-03-13 2016-03-08 Google Inc. Bus detection for an autonomous vehicle
US9459626B2 (en) * 2014-12-11 2016-10-04 Here Global B.V. Learning signs from vehicle probes
KR102614323B1 (ko) * 2015-04-01 2023-12-14 바야비전 리미티드 수동 및 능동 측정을 이용한 장면의 3차원 지도 생성
US9481367B1 (en) * 2015-10-14 2016-11-01 International Business Machines Corporation Automated control of interactions between self-driving vehicles and animals
US9630619B1 (en) * 2015-11-04 2017-04-25 Zoox, Inc. Robotic vehicle active safety systems and methods
US10448555B2 (en) * 2016-05-27 2019-10-22 Cnh Industrial America Llc System and method for scouting vehicle mapping

Also Published As

Publication number Publication date
US20180032078A1 (en) 2018-02-01
US10203696B2 (en) 2019-02-12
AU2017302462A1 (en) 2019-03-07
JP2019527428A (ja) 2019-09-26
AU2017302462B2 (en) 2020-04-16
KR102029638B1 (ko) 2019-10-07
EP3490859A4 (en) 2020-01-15
CA3031728C (en) 2019-11-19
EP3490859A1 (en) 2019-06-05
CN109562759A (zh) 2019-04-02
WO2018022409A1 (en) 2018-02-01
SG11201900246TA (en) 2019-02-27
KR20190014114A (ko) 2019-02-11
CN109562759B (zh) 2019-10-25
EP3490859B1 (en) 2023-05-24
CA3031728A1 (en) 2018-02-01

Similar Documents

Publication Publication Date Title
JP6691634B2 (ja) 自律走行車のための物体の運転可能性の判定
CN111278707B (zh) 控制具有自动驾驶模式的车辆的方法和系统
US11938967B2 (en) Preparing autonomous vehicles for turns
US11989666B1 (en) Predicting trajectory intersection by another road user
US20220187834A1 (en) Generating trajectories for autonomous vehicles
US11951991B2 (en) Semantic object clustering for autonomous vehicle decision making
CN112601688A (zh) 对自主车辆的声音的检测和响应
US20220366175A1 (en) Long-range object detection, localization, tracking and classification for autonomous vehicles
JP2022068116A (ja) 衝突警報閾値を選択的に変更するためのシステムと方法
JP2022068115A (ja) 適応可能な後突警報のためのシステムと方法
US20230068703A1 (en) Planning system for autonomously navigating around lane-sharing road agents
CN113226878B (zh) 铁路灯检测

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190409

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190311

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190409

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200410

R150 Certificate of patent or registration of utility model

Ref document number: 6691634

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250