JP7069318B2 - 自動運転車両の画像捕捉デバイスが遭遇する光の範囲を制御するための方法およびシステム - Google Patents

自動運転車両の画像捕捉デバイスが遭遇する光の範囲を制御するための方法およびシステム Download PDF

Info

Publication number
JP7069318B2
JP7069318B2 JP2020531521A JP2020531521A JP7069318B2 JP 7069318 B2 JP7069318 B2 JP 7069318B2 JP 2020531521 A JP2020531521 A JP 2020531521A JP 2020531521 A JP2020531521 A JP 2020531521A JP 7069318 B2 JP7069318 B2 JP 7069318B2
Authority
JP
Japan
Prior art keywords
capture device
image capture
vehicle
image
computing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020531521A
Other languages
English (en)
Other versions
JP2021508960A (ja
Inventor
ハーマリン，ブレンダン
ウェンデル，アンドリアス
ディットマー，ジェレミー
Original Assignee
ウェイモ エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウェイモ エルエルシー filed Critical ウェイモ エルエルシー
Publication of JP2021508960A publication Critical patent/JP2021508960A/ja
Application granted granted Critical
Publication of JP7069318B2 publication Critical patent/JP7069318B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0862—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means including additional sensors
    • B60S1/087—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means including additional sensors including an ambient light sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Description

関連出願の相互参照
本出願は、その全体が参照により本明細書に組み込まれる、２０１７年１２月１４日出願の米国特許出願第１５／８４２，１８２号、発明の名称「自動運転車両の画像捕捉デバイスが遭遇する光の範囲を制御するための方法およびシステム」の優先権を主張する。
車両は、任意の車輪のある動力付き車両であり得、車、トラック、オートバイ、バスなどを含み得る。車両は、人および物品の輸送などの様々なタスク、ならびに多くの他の用途のために利用され得る。
一部の車両は、部分的または完全に自律型である場合がある。例えば、車両が自律モードにある場合、車両動作の運転面の一部またはすべては、自律車両システム（すなわち、自律車両の制御を容易にするために個別または集合的に機能する任意の１つ以上のコンピュータシステム）によって操作することができる。このような場合、オンボードおよび／またはサーバネットワークに位置付けられたコンピューティングデバイスは、運転ルートの計画、車両の感知態様、車両の環境の感知、ならびにステアリング、スロットル、およびブレーキなどの運転構成要素の制御などの機能を実行するように動作可能であり得る。このため、自律車両は、車両動作の様々な態様における人間の相互作用の必要性を低減または排除し得る。
一態様では、方法が開示される。本方法は、コンピューティングシステムによって、画像捕捉デバイスによって生成される画像データの品質が、画像捕捉デバイスが遭遇するか、または遭遇すると予想される外部光により閾値品質未満であるか、または閾値品質未満であると予想されるという判定を行うことを含み、画像捕捉デバイスが、車両に結合されており、車両が、画像捕捉デバイスが遭遇する外部光の範囲を制御するように調整可能である光制御機能を含む。本方法はまた、判定に応答して、コンピューティングシステムによって、画像捕捉デバイスが遭遇するか、または遭遇すると予想される外部光の範囲を制御するように光制御機能に対する調整を行うことを含む。本方法は、画像捕捉デバイスによって生成される画像データに少なくとも基づいて車両を操作することをさらに含む。
別の態様では、別の方法が開示される。本方法は、コンピューティングシステムによって、光源が、画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の物体に近接しているという判定を行うことを含み、画像捕捉デバイスが、車両に結合されており、車両が、画像捕捉デバイスが遭遇する外部光の範囲を制御するように調整可能である光制御機能を含む。本方法はまた、判定に応答して、コンピューティングシステムによって、画像捕捉デバイスの視野での光源の少なくとも一部を遮るように光制御機能に対する調整を行うことを含む。
さらに別の態様では、車両が開示される。本車両は、車両の周りの環境を表す画像データを生成するように構成された画像捕捉デバイスと、画像捕捉デバイスの視野に対して移動可能である機械デバイスと、コンピューティングシステムと、を含む。コンピューティングシステムは、光源が、画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の物体に近接しているという判定を行うように構成され得る。コンピューティングシステムはまた、判定に応答して、画像捕捉デバイスの視野での光源からの光の少なくとも一部を遮るように機械デバイスの動きをもたらすように構成され得る。コンピューティングシステムは、画像捕捉デバイスによって生成される画像データに基づいて車両を操作するようにさらに構成され得る。
さらに別の態様では、システムが開示される。本システムは、画像捕捉デバイスによって生成される画像データの品質が、画像捕捉デバイスが遭遇するか、または遭遇すると予想される外部光により閾値品質未満であるか、または閾値品質未満であると予想されるという判定を行うための手段を含み得、画像捕捉デバイスが、車両に結合されており、車両が、画像捕捉デバイスが遭遇する外部光の範囲を制御するように調整可能である光制御機能を含む。本システムはまた、判定に応答して、画像捕捉デバイスが遭遇するか、または遭遇すると予想される外部光の範囲を制御するように光制御機能に対する調整を行うための手段を含み得る。本システムは、画像捕捉デバイスによって生成される画像データに少なくとも基づいて車両を操作するための手段をさらに含み得る。
さらに別の態様では、別のシステムが開示される。本システムは、光源が、画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の物体に近接しているという判定を行うための手段を含み得、画像捕捉デバイスが、車両に結合されており、車両が、画像捕捉デバイスが遭遇する外部光の範囲を制御するように調整可能である光制御機能を含む。本システムはまた、判定に応答して、画像捕捉デバイスの視野での光源の少なくとも一部を遮るように光制御機能に対する調整を行うための手段を含み得る。
さらに別の態様では、さらに別のシステムが開示される。本システムは、光源が、画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の物体に近接しているという判定を行うための手段を含み得る。本システムはまた、判定に応答して、画像捕捉デバイスの視野での光源からの光の少なくとも一部を遮るように機械デバイスの動きをもたらすための手段を含み得る。本システムは、画像捕捉デバイスによって生成される画像データに基づいて車両を操作するための手段をさらに含み得る。
これらの態様ならびに他の態様、利点、および代替物は、当業者には、以下の詳細な説明を添付の図面を適宜参照して読み取ることにより明らかになるであろう。さらに、この概要セクションおよびこの文書の他の場所で提供される説明は、限定ではなく例として請求される主題を例示すことを意図していることを理解されたい。
実装形態例による、車両を図解する機能ブロック図である。 実装形態例による、車両の物理的構成の概念図である。 実装形態例による、自律車両に関連する様々なコンピューティングシステム間の無線通信の概念図である。 例示的なカメラシステムの構成要素例を示す簡略ブロック図である。 実装形態例による、カメラおよびワイパの配置を示す。 実装形態例による、カメラおよびエレクトロクロミックウィンドウの配置を示す。 交通信号機の近くの自律車両を示す。 自律車両の画像捕捉デバイスの視点からの交通信号機の詳細を覆い隠す太陽光グレアを示す。 実装形態例による、自律車両の画像捕捉デバイスが遭遇する太陽光の範囲を制御するためのワイパの使用を示す。 実装形態例による、自律車両の画像捕捉デバイスが遭遇する太陽光の範囲を制御するためのワイパの使用を示す。 実装形態例による、自律車両の画像捕捉デバイスが遭遇する太陽光の範囲を制御するためのエレクトロクロミックデバイスの使用を示す。 実装形態例による、方法のフローチャートである。 実装形態例による、別の方法のフローチャートである。 実装形態例による、さらに別の方法のフローチャートである。 実装形態例による、コンピュータプログラム製品の概略図である。
例示的な方法およびシステムが本明細書で説明される。「例示的」という単語は、本明細書では「例、事例、または例証としての役割を果たす」ことを意味するために使用されることを理解されたい。本明細書で「例示的（ｅｘｅｍｐｌａｒｙ）」または「例示的（ｉｌｌｕｓｔｒａｔｉｖｅ）」として説明される実装形態または機能は、他の実装形態または機能よりも好ましいまたは有利であると必ずしも解釈されるべきではない。図では、特に文脈によって説明しない限り、同様の記号は通常、同様の構成素子を指している。本明細書で説明される実装形態の例は、限定することを意味するものではない。本明細書で一般的に説明され、かつ図に示されている、本開示の態様が、多種多様な異なる構成で配置、置換、結合、分離、および設計され得、そのすべてが本明細書で企図されることは容易に理解されるであろう。
Ｉ．概要
車両は、運転者からの入力がほとんどないか、またはまったくない状態であっても、車両が環境を通ってナビゲートする自律モードで動作するように構成され得る。このような自律車両は、車両が動作する環境についての情報を提供する画像データを生成するように構成された画像捕捉デバイス（例えば、１つ以上のカメラ）を含むことができる。車両のコンピューティングシステムは、自律モードで車両を操作するための根拠として、画像捕捉デバイスによって生成される画像データを使用し得る。
しかしながら、いくつかの状況では、画像捕捉デバイスによって生成される画像データの品質は、画像捕捉デバイスが遭遇する外部光により何らかの方法で低下し得る。例えば、自律車両が交通信号機を有する交差点で停止するとき、画像捕捉デバイスは、他の可能性の中でもとりわけ、過度露光をもたらし、ブルーミングをもたらし、および／または画像捕捉デバイスによって捕捉されている画像の解像度を低下させるのに十分な強度の太陽光に遭遇し得る。その結果、コンピューティングシステムは、このような画像を使用して、交通信号機の色または状態を判定することができない場合がある。この不能は、次に、その後の自律動作に悪影響を及ぼし得る。
上述の問題を克服するのに役立つように、自律車両の画像捕捉デバイスが遭遇するか、または遭遇すると予想される外部光の範囲を制御するための方法およびシステムが、本明細書で開示される。本開示に従って、車両は、画像捕捉デバイスが遭遇する光の範囲を事前にまたは事後に制御するために、コンピューティングシステムによって調整可能である光制御機能を含み得る。その結果、光制御機能は、効果的に使用されて、画像捕捉デバイスによって生成される画像データの品質を向上させることができる。
いくつかの例では、コンピューティングシステムは、画像捕捉デバイスによって生成される画像データの品質が、画像捕捉デバイスが遭遇するか、または遭遇すると予想される外部光により閾値品質未満であるか、または閾値品質未満であると予想されるという判定を行うことができる。コンピューティングシステムは、この判定を様々な方法で行うことができる。一例では、コンピューティングシステムは、画像捕捉デバイスによって最近捕捉された画像データを評価することができ、その品質が外部光により低い閾値であることを判定することができる。例えば、コンピューティングシステムは、画像または画像の一部の輝度が、高い閾値であることを判定することができる。別の例では、コンピューティングシステムは、エフェメリスデータを使用して、将来、車両が所与の場所に到達するときに、画像捕捉デバイスの視野に対する太陽の位置を推定することができる。次いで、この推定された太陽の位置に基づいて、コンピューティングシステムは、太陽が画像捕捉デバイスの視点からの画像捕捉デバイスの視野に位置付けられていると予想され、これは多くの場合、画質を低減することを予測することができ、したがって、画質が将来低下すると予想されることを判定することができる。
コンピューティングシステムが上述の判定を行うと、コンピューティングシステムは、それに応じて、画像捕捉デバイスが遭遇するか、または遭遇すると予想される外部光の範囲を制御するために光制御機能に対する調整を行い得る。一般的に、この調整は、画像捕捉デバイスによって生成される画像データの品質を、閾値品質よりも高いレベルなどまでに増加させる方法で実行され得る。例えば、画像捕捉デバイスによって生成される画像データの品質が閾値品質未満であると既に判定されている場合、調整は、閾値品質よりも低い状態から閾値品質よりも高い状態に画像データの品質を効果的に増加させることができる。画像捕捉デバイスによって生成される画像データの品質が閾値よりも現在高いが、将来、閾値品質を下回ると予想される場合、調整は、品質が閾値を下回るのを防止するのに役立ち得る。
本開示の態様を容易にするのに役立つために、任意の実現可能な光制御機能が使用され得る。例えば、光制御機能は、画像捕捉デバイスを含む空間の外側に位置付けられたワイパブレードなどのワイパブレードであり得る。特定の例では、ワイパブレードは、画像捕捉デバイスが配置された半透明のハウジングの外側部分に結合され得る。また、別の例では、画像捕捉デバイスは、車両の内部に（例えば、バックミラーの後ろに、車両のフロントガラスに近接して）位置付けられ得、ワイパブレードは、車両の外部上のフロントガラスに結合され得る。追加的または代替的に、光制御機能は、調整可能な光透過特性を有する光制御デバイス（例えば、エレクトロクロミックデバイス）であり得、画像捕捉デバイスは、その光制御デバイスを通して（例えば、エレクトロクロミックウィンドウを通して）環境の画像を取得し得る。
したがって、光制御機能がワイパである場合、コンピューティングシステムは、画像捕捉デバイスが遭遇する外部光の範囲を制御するように、画像捕捉デバイスに対して、および外部光を生成する光源に対して、ワイパの位置を調整することができる。例えば、コンピューティングシステムは、画像捕捉デバイスが遭遇する太陽光の少なくとも一部をワイパが遮るまで、画像捕捉デバイスの視野にわたってワイパを漸進的に移動させ、それによって、グレアを低減し、生成される画像データの品質を向上させることができる。また、光制御機能が光制御デバイスである場合、コンピューティングシステムは、画像捕捉デバイスが遭遇する外部光の範囲を制御するように、光制御デバイスの光透過特性を調整することができる。例えば、コンピューティングシステムは、画像捕捉デバイスが遭遇する光の範囲を低減するためにエレクトロクロミックウィンドウの透過率を低減することができ、これはまた、グレアを低減し、生成されている画像データの品質を向上させることができる。他の例も可能である。
ＩＩ．例示的な車両システムおよび動作
ここで、本開示の範囲内の例示的なシステムをより詳細に説明する。例示的なシステムは、自動車に実装され得るか、または自動車の形態をとり得る。しかしながら、例示的なシステムはまた、車、トラック、オートバイ、バス、ボート、飛行機、ヘリコプター、芝刈り機、アースムーバ、ボート、スノーモービル、航空機、レクリエーション車両、遊園地車両、農機具、建設機械、トラム、ゴルフカート、電車、トロリー、およびロボットデバイスなどの、他の車両に実装され得るか、または他の車両の形態をとり得る。他の車両も同じく可能である。
ここで図を参照すると、図１は、自律モードで完全にまたは部分的に動作するように構成され得る、例示的な車両１００を図解する機能ブロック図である。より具体的には、車両１００は、コンピューティングシステムから制御命令を受信することを通して、人間の相互作用なしに自律モードで動作し得る。自律モードでの動作の一部として、車両１００は、センサを使用して、周囲環境の物体を検出し、場合によっては識別して、安全なナビゲーションを可能にし得る。いくつかの実装形態では、車両１００はまた、運転者が車両１００の動作を制御することを可能にするサブシステムを含み得る。
図１に示されるように、車両１００は、推進システム１０２、センサシステム１０４、制御システム１０６、１つ以上の周辺機器１０８、電源１１０、（コンピューティングシステムとも称され得る）コンピュータシステム１１２、データストレージ１１４、およびユーザインターフェース１１６などの様々なサブシステムを含み得る。他の例では、車両１００は、各々複数の要素を含むことができるより多いまたはより少ないサブシステムを含んでもよい。車両１００のサブシステムおよび構成要素は、様々な方法で相互接続され得る。加えて、本明細書で説明する車両１００の機能は、追加の機能的または物理的構成要素に分割するか、または実装形態内でより少ない機能的もしくは物理的構成要素に組み合わせることができる。例えば、制御システム１０６およびコンピュータシステム１１２は、様々な動作に従って車両１００を操作する単一のシステムに組み合わされ得る。
推進システム１０２は、車両１００に対して動力付き運動を提供するように動作可能な１つ以上の構成要素を含み得、他の可能な構成要素の中でも、エンジン／モータ１１８、エネルギー源１１９、トランスミッション１２０、および車輪／タイヤ１２１を含み得る。例えば、エンジン／モータ１１８は、エネルギー源１１９を機械的エネルギーに変換するように構成され得、他の可能なオプションの中でも、内燃エンジン、電気モータ、蒸気エンジン、またはスターリングエンジンのうちの１つまたは組み合わせに対応し得る。例えば、いくつかの実装形態では、推進システム１０２は、ガソリンエンジンおよび電気モータなどの複数のタイプのエンジンおよび／またはモータを含み得る。
エネルギー源１１９は、完全にまたは部分的に、車両１００の１つ以上のシステム（例えば、エンジン／モータ１１８）に動力を供給し得るエネルギー源を表す。例えば、エネルギー源１１９は、ガソリン、ディーゼル、他の石油ベースの燃料、プロパン、他の圧縮ガスベースの燃料、エタノール、ソーラパネル、電池、および／または他の電力源に対応することができる。いくつかの実装形態では、エネルギー源１１９は、燃料タンク、電池、コンデンサ、および／またはフライホイールの組み合わせを含み得る。
トランスミッション１２０は、エンジン／モータ１１８からの機械動力を、車輪／タイヤ１２１および／または車両１００の他の可能なシステムに伝達し得る。したがって、トランスミッション１２０は、他の可能な構成要素の中でもとりわけ、ギアボックス、クラッチ、ディファレンシャル、および駆動シャフトを含み得る。駆動シャフトは、１つ以上の車輪／タイヤ１２１に接続する車軸を含み得る。
車両１００の車輪／タイヤ１２１は、例示的な実装形態内で様々な構成を有し得る。例えば、車両１００は、他の可能な構成の中でも、一輪車、自転車／オートバイ、三輪車、または車／トラックの四輪車の形式で存在し得る。したがって、車輪／タイヤ１２１は、様々な方法で車両１００に接続することができ、金属およびゴムなどの異なる材料で存在することができる。
センサシステム１０４は、他の可能なセンサの中でも、全地球測位システム（ＧＰＳ）１２２、慣性測定ユニット（ＩＭＵ）１２４、レーダ１２６、レーザ距離計／ＬＩＤＡＲ１２８、カメラ１３０、ステアリングセンサ１２３、およびスロットル／ブレーキセンサ１２５などの様々なタイプのセンサを含むことができる。いくつかの実装形態では、センサシステム１０４はまた、車両１００の内部システムを監視するように構成されたセンサ（例えば、Ｏ２モニタ、燃料計、エンジンオイル温度、ブレーキ摩耗）を含み得る。
ＧＰＳ１２２は、地球に対する車両１００の位置に関する情報を提供するように動作可能なトランシーバを含み得る。ＩＭＵ１２４は、１つ以上の加速度計および／またはジャイロスコープを使用する構成を有し得、慣性加速度に基づいて車両１００の位置および配向の変化を感知し得る。例えば、ＩＭＵ１２４は、車両１００が静止しているかまたは動いている間に車両１００のピッチおよび偏揺れを検出することができる。
レーダ１２６は、物体のスピードおよび進行方向を含めて、無線信号を使用して、車両１００のローカル環境内の物体を感知するように構成された１つ以上のシステムを表すことができる。したがって、レーダ１２６は、無線信号を送信および受信するように構成されたアンテナを含み得る。いくつかの実装形態では、レーダ１２６は、車両１００の周囲環境の測定値を取得するように構成された装着可能なレーダシステムに対応し得る。
レーザ距離計／ＬＩＤＡＲ１２８は、他のシステム構成要素の中でも、１つ以上のレーザ源、レーザスキャナ、および１つ以上の検出器を含み得、コヒーレントモード（例えば、ヘテロダイン検出を使用）または非コヒーレント検出モードで動作し得る。カメラ１３０は、車両１００の環境の画像を捕捉するように構成された１つ以上のデバイス（例えば、スチルカメラまたはビデオカメラ）を含み得る。
ステアリングセンサ１２３は、車両１００のステアリング角度を感知し得、これは、ステアリングホイールの角度を測定すること、またはステアリングホイールの角度を表す電気信号を測定することを含み得る。いくつかの実装形態では、ステアリングセンサ１２３は、車両１００の前方軸に対する車輪の角度を検出するなど、車両１００の車輪の角度を測定し得る。ステアリングセンサ１２３はまた、ステアリングホイールの角度、ステアリングホイールの角度を表す電気信号、および車両１００の車輪の角度の組み合わせ（またはサブセット）を測定するように構成され得る。
スロットル／ブレーキセンサ１２５は、車両１００のスロットル位置またはブレーキ位置のいずれかの位置を検出し得る。例えば、スロットル／ブレーキセンサ１２５は、アクセルペダル（スロットル）およびブレーキペダルの両方の角度を測定してもよく、または、例えば、アクセルペダル（スロットル）の角度および／もしくはブレーキペダルの角度を表すことができる電気信号を測定してもよい。スロットル／ブレーキセンサ１２５はまた、エンジン／モータ１１８（例えば、バタフライバルブまたはキャブレタ）にエネルギー源１１９のモジュレーションを提供する物理的メカニズムの一部を含み得る、車両１００のスロットルボディの角度を測定してもよい。加えて、スロットル／ブレーキセンサ１２５は、車両１００のロータ上の１つ以上のブレーキパッドの圧力、またはアクセルペダル（スロットル）およびブレーキペダルの角度の組み合わせ（またはサブセット）、アクセルペダル（スロットル）およびブレーキペダルの角度を表す電気信号、スロットルボディの角度、ならびに少なくとも１つのブレーキパッドが車両１００のロータに加える圧力、を測定し得る。他の実装形態では、スロットル／ブレーキセンサ１２５は、スロットルまたはブレーキペダルなどの車両のペダルに加えられた圧力を測定するように構成されてもよい。
制御システム１０６は、ステアリングユニット１３２、スロットル１３４、ブレーキユニット１３６、センサ融合アルゴリズム１３８、コンピュータビジョンシステム１４０、ナビゲーション／経路探索システム１４２、および障害物回避システム１４４など、車両１００をナビゲートするのを助けるように構成された構成要素を含み得る。より具体的には、ステアリングユニット１３２は、車両１００の進行方向を調整するように動作可能であり得、スロットル１３４は、エンジン／モータ１１８の動作スピードを制御して、車両１００の加速を制御し得る。ブレーキユニット１３６は、車両１００を減速することができ、これは、摩擦を使用して車輪／タイヤ１２１を減速することを含み得る。いくつかの実装形態では、ブレーキユニット１３６は、車両１００のシステムまたはシステム（複数）によるその後の使用のために、車輪／タイヤ１２１の運動エネルギーを電流に変換し得る。
センサ融合アルゴリズム１３８は、カルマンフィルタ、ベイジアンネットワーク、またはセンサシステム１０４からのデータを処理することができる他のアルゴリズムを含み得る。いくつかの実装形態では、センサ融合アルゴリズム１３８は、個々の物体および／もしくは特徴の評価、特定の状況の評価、ならびに／または所与の状況内の潜在的な影響の評価など、入ってくるセンサデータに基づくアセスメントを提供し得る。
コンピュータビジョンシステム１４０は、物体、環境物体（例えば、停止信号、道路の境界など）、および障害物を判定しようとする際に画像を処理および分析するように動作可能なハードウェアおよびソフトウェアを含み得る。したがって、コンピュータビジョンシステム１４０は、物体認識、Ｓｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎ（ＳＦＭ）、ビデオ追跡、および、例えば、物体を認識し、環境をマッピングし、物体を追跡し、物体のスピードを推定するためなどにコンピュータビジョンで使用される他のアルゴリズムを使用し得る。
ナビゲーション／経路探索システム１４２は、車両１００の運転経路を判定することができ、これは、動作中にナビゲーションを動的に調整することを含み得る。したがって、ナビゲーション／経路探索システム１４２は、他の情報源の中でもとりわけ、センサ融合アルゴリズム１３８、ＧＰＳ１２２、および地図からのデータを使用して、車両１００をナビゲートし得る。障害物回避システム１４４は、センサデータに基づいて潜在的な障害物を評価し、車両１００のシステムに潜在的な障害物を回避または別の方法で通り抜けさせ得る。
図１に示されるように、車両１００はまた、無線通信システム１４６、タッチスクリーン１４８、マイクロフォン１５０、および／またはスピーカ１５２などの周辺機器１０８を含み得る。周辺機器１０８は、ユーザがユーザインターフェース１１６と相互作用するための制御または他の要素を提供し得る。例えば、タッチスクリーン１４８は、車両１００のユーザに情報を提供し得る。ユーザインターフェース１１６はまた、タッチスクリーン１４８を介してユーザからの入力を受け入れ得る。周辺機器１０８はまた、車両１００が、他の車両のデバイスなどのデバイスと通信することを可能にし得る。
無線通信システム１４６は、１つ以上のデバイスと直接または通信ネットワークを介して無線で通信し得る。例えば、無線通信システム１４６は、ＣＤＭＡ、ＥＶＤＯ、ＧＳＭ／ＧＰＲＳなどの３Ｇセルラ通信、またはＷｉＭＡＸもしくはＬＴＥなどの４Ｇセルラ通信を使用することができる。代替的に、無線通信システム１４６は、ＷｉＦｉまたは他の可能な接続を使用して無線ローカルエリアネットワーク（ＷＬＡＮ）と通信し得る。無線通信システム１４６はまた、例えば、赤外線リンク、Ｂｌｕｅｔｏｏｔｈ、またはＺｉｇＢｅｅを使用してデバイスと直接通信し得る。様々な車両通信システムなどの他の無線プロトコルが、本開示の文脈内で可能である。例えば、無線通信システム１４６は、車両および／または道路沿いの給油所間の公共および／または私的データ通信を含み得る１つ以上の専用狭域通信（ＤＳＲＣ）デバイスを含み得る。
車両１００は、構成要素に電力を供給するための電源１１０を含み得る。電源１１０は、いくつかの実装形態では、再充電可能なリチウムイオンまたは鉛蓄電池を含み得る。例えば、電源１１０は、電力を提供するように構成された１つ以上の電池を含み得る。車両１００はまた、他のタイプの電源を使用してもよい。例示的な実装形態では、電源１１０およびエネルギー源１１９は、単一のエネルギー源に統合されてもよい。
車両１００はまた、そこに記載されている動作などの動作を行うためのコンピュータシステム１１２を含み得る。したがって、コンピュータシステム１１２は、データストレージ１１４などの非一時的なコンピュータ可読媒体に格納された命令１１５を実行するように動作可能な少なくとも１つのプロセッサ１１３（少なくとも１つのマイクロプロセッサを含むことができる）を含み得る。いくつかの実装形態では、コンピュータシステム１１２は、車両１００の個々の構成要素またはサブシステムを分散して制御するように機能し得る複数のコンピューティングデバイスを表してもよい。
いくつかの実装形態では、データストレージ１１４は、図１に関連して上述したものを含めて、車両１００の様々な機能を実行するためにプロセッサ１１３によって実行可能な命令１１５（例えば、プログラム論理）を含み得る。データストレージ１１４は、推進システム１０２、センサシステム１０４、制御システム１０６、および周辺機器１０８のうちの１つ以上にデータを送信する、データを受信する、相互作用する、および／または制御する命令を含む追加の命令も含み得る。
命令１１５に加えて、データストレージ１１４は、他の情報の中でもとりわけ、道路地図、経路情報などのデータを格納し得る。そのような情報は、自律モード、半自律モード、および／または手動モードでの車両１００の動作中に、車両１００およびコンピュータシステム１１２によって使用され得る。
車両１００は、車両１００のユーザに情報を提供するか、または車両１００のユーザから入力を受信するためのユーザインターフェース１１６を含み得る。ユーザインターフェース１１６は、タッチスクリーン１４８上に表示され得るコンテンツおよび／またはインタラクティブ画像のレイアウトを制御することができるか、または制御を可能にし得る。さらに、ユーザインターフェース１１６は、無線通信システム１４６、タッチスクリーン１４８、マイクロフォン１５０、およびスピーカ１５２などの周辺機器１０８のセット内の１つ以上の入力／出力デバイスを含むことができる。
コンピュータシステム１１２は、様々なサブシステム（例えば、推進システム１０２、センサシステム１０４、および制御システム１０６）から、ならびにユーザインターフェース１１６から受信した入力に基づいて、車両１００の機能を制御し得る。例えば、コンピュータシステム１１２は、推進システム１０２および制御システム１０６によって生成された出力を推定するために、センサシステム１０４からの入力を利用してもよい。実装形態に応じて、コンピュータシステム１１２は、車両１００およびそのサブシステムの多くの態様を監視するように動作可能であり得る。いくつかの実装形態では、コンピュータシステム１１２は、センサシステム１０４から受信した信号に基づいて、車両１００の一部またはすべての機能を無効にし得る。
車両１００の構成要素は、それらのそれぞれのシステム内またはシステム外の他の構成要素と相互接続された方法で機能するように構成され得る。例えば、例示的な実装形態では、カメラ１３０は、自律モードで動作している車両１００の環境の状態に関する情報を表すことができる複数の画像を捕捉することができる。環境の状態は、車両が動作している道路のパラメータを含むことができる。例えば、コンピュータビジョンシステム１４０は、道路の複数の画像に基づいて、傾斜（勾配）または他の特徴を認識することが可能であり得る。加えて、ＧＰＳ１２２とコンピュータビジョンシステム１４０によって認識された特徴との組み合わせは、特定の道路パラメータを判定するために、データストレージ１１４に格納された地図データと共に使用され得る。さらに、レーダユニット１２６はまた、車両の周囲についての情報を提供し得る。
言い換えると、様々なセンサ（入力指標センサおよび出力指標センサと呼ぶことができる）とコンピュータシステム１１２との組み合わせが相互作用して、車両を制御するために提供される入力の指標または車両の周囲の指標を提供することができる。
いくつかの実装形態では、コンピュータシステム１１２は、無線システム以外のシステムによって提供されるデータに基づいて、様々な物体に関する判定を行い得る。例えば、車両１００は、車両の視野内の物体を感知するように構成されたレーザまたは他の光学センサを有し得る。コンピュータシステム１１２は、様々なセンサからの出力を使用して、車両の視野内の物体に関する情報を判定し得、様々な物体までの距離および方向情報を判定し得る。コンピュータシステム１１２はまた、様々なセンサからの出力に基づいて、物体が望ましいか望ましくないかを判定し得る。
図１は、車両１００の様々な構成要素、すなわち、無線通信システム１４６、コンピュータシステム１１２、データストレージ１１４、およびユーザインターフェース１１６を車両１００に統合されているものとして示しているが、これらの構成要素のうちの１つ以上は、車両１００とは別個に取り付けまたは関連付けることができる。例えば、データストレージ１１４は、部分的または完全に、車両１００とは別個に存在することができる。したがって、車両１００は、別個にまたは一緒に位置付けられ得るデバイス要素の形態で提供され得る。車両１００を構成するデバイス要素は、有線および／または無線方式で一緒に通信可能に結合され得る。
図２は、図１を参照して説明された車両１００の１つの可能な物理的構成を表し得る車両２００の例示的な物理的構成を示す。実装形態に応じて、車両２００は、他の可能な構成要素の中でもとりわけ、センサユニット２０２、無線通信システム２０４、ラジオユニット２０６、デフレクタ２０８、およびカメラ２１０を含み得る。例えば、車両２００は、図１に記載された構成要素のうちの一部またはすべての要素を含み得る。車両２００は図２では車として示されているが、車両２００は、他の可能な例の中でもとりわけ、トラック、バン、セミトレーラートラック、オートバイ、ゴルフカート、オフロード車両、または農業用車両などの例内の他の構成を有することができる。
センサユニット２０２は、車両２００の周囲環境の情報を捕捉するように構成された１つ以上のセンサを含み得る。例えば、センサユニット２０２は、他の可能なタイプのセンサの中でもとりわけ、カメラ、レーダ、ＬＩＤＡＲ、距離計、無線デバイス（例えば、Ｂｌｕｅｔｏｏｔｈおよび／または８０２．１１）、および音響センサの任意の組み合わせを含み得る。いくつかの実装形態では、センサユニット２０２は、センサユニット２０２内のセンサの配向を調整するように動作可能な１つ以上の可動マウントを含み得る。例えば、可動マウントは、車両２００の周りの各方向から情報を取得するためにセンサをスキャンすることができる回転プラットフォームを含み得る。センサユニット２０２の可動マウントはまた、特定の範囲の角度および／または方位角内の走査方式で可動であってもよい。
いくつかの実装形態では、センサユニット２０２は、センサユニット２０２が車のルーフの頂上に取り付けられることを可能にする機械的構造を含み得る。加えて、例の範囲内で他の取り付け場所も可能である。
無線通信システム２０４は、図２に示されるように、車両２００に対して相対的な場所を有し得るが、実装形態内で異なる場所を有することもできる。無線通信システム２００は、他の外部または内部デバイスと通信し得る１つ以上の無線送信機および１つ以上の受信機を含み得る。例えば、無線通信システム２０４は、他の可能なエンティティの中でもとりわけ、ユーザのデバイス、他の車両、および道路要素（例えば、標識、交通信号機）と通信するための１つ以上のトランシーバを含み得る。したがって、車両２００は、専用狭域通信（ＤＳＲＣ）、無線周波数識別（ＲＦＩＤ）、および高度道路交通システムを対象とする他の提案された通信規格などの通信を容易にするための１つ以上の車両通信システムを含み得る。
カメラ２１０は、車両２００の前方の風防ガラス上の場所など、車両２００に対して様々な位置を有し得る。したがって、カメラ２１０は、車両２００の環境の画像を捕捉し得る。図２に示されるように、カメラ２１０は、車両２００に対して前向き（前向き）の視野から画像を捕捉し得るが、カメラ２１０の他の取り付け場所（可動マウントを含む）および視野角が、実装形態内で可能である。例えば、カメラ２１０は、カメラが車両２００の風防ガラスを通して車両２００の環境の画像を捕捉するように車両内に位置付けられ得る。
いくつかの例では、カメラ２１０は、１つ以上の可視光カメラに対応し得る。代替的に、または追加的に、カメラ２１０は、赤外線感知機能を含み得る。カメラ２１０はまた、調整可能な視野を提供し得る光学系を含み得る。他の例も可能である。
図３は、実装形態例による、自律車両に関連する様々なコンピューティングシステム間の無線通信の概念図である。特に、無線通信は、ネットワーク３０４を介して、リモートコンピューティングシステム３０２と車両２００との間で発生し得る。無線通信はまた、サーバコンピューティングシステム３０６とリモートコンピューティングシステム３０２との間、およびサーバコンピューティングシステム３０６と車両２００との間でも発生し得る。
車両２００は、場所間で乗客または物体を輸送することができる様々なタイプの車両に対応することができ、上述の車両のうちの任意の１つ以上の形態をとり得る。場合によっては、車両２００は、制御システムがセンサ測定値を使用して目的地間で車両２００を安全にナビゲートすることを可能にする自律モードで動作し得る。自律モードで動作しているとき、車両２００は、乗客の有無にかかわらずナビゲートし得る。その結果、車両２００は、所望の目的地間で乗客を拾い、降ろし得る。
リモートコンピューティングシステム３０２は、本明細書で説明されるものを含むがこれに限定されないリモートアシスタンス技術に関連する任意のタイプのデバイスを表し得る。例の中で、リモートコンピューティングシステム３０２は、（ｉ）車両２００に関連する情報を受信し、（ｉｉ）人間のオペレータが次に情報を知覚し、情報に関連する応答を入力することができるインターフェースを提供し、および（ｉｉｉ）応答を車両２００に、または他のデバイスに送信する、ように構成された任意のタイプのデバイスを表し得る。リモートコンピューティングシステム３０２は、ワークステーション、デスクトップコンピュータ、ラップトップ、タブレット、携帯電話（例えば、スマートフォン）、および／またはサーバなどの、様々な形態をとり得る。いくつかの例では、リモートコンピューティングシステム３０２は、ネットワーク構成で一緒に動作する複数のコンピューティングデバイスを含み得る。
リモートコンピューティングシステム３０２は、車両２００のサブシステムおよび構成要素と同様または同一の１つ以上のサブシステムおよび構成要素を含み得る。最低でも、リモートコンピューティングシステム３０２は、本明細書で説明される様々な動作を行うために構成されたプロセッサを含み得る。いくつかの実装形態では、リモートコンピューティングシステム３０２はまた、タッチスクリーンおよびスピーカなどの入力／出力デバイスを含むユーザインターフェースを含み得る。他の例も可能である。
ネットワーク３０４は、リモートコンピューティングシステム３０２と車両２００との間の無線通信を可能にするインフラストラクチャを表す。ネットワーク３０４はまた、サーバコンピューティングシステム３０６とリモートコンピューティングシステム３０２との間、およびサーバコンピューティングシステム３０６と車両２００との間の無線通信を可能にする。
リモートコンピューティングシステム３０２の位置は、例の範囲内で変わることができる。例えば、リモートコンピューティングシステム３０２は、ネットワーク３０４を介した無線通信を有する車両２００から遠隔位置を有し得る。別の例では、リモートコンピューティングシステム３０２は、車両２００とは別個であるが、人間のオペレータが車両２００の乗客または運転者と相互作用することができる車両２００内のコンピューティングデバイスに対応し得る。いくつかの例では、リモートコンピューティングシステム３０２は、車両２００の乗客によって操作可能なタッチスクリーンを備えたコンピューティングデバイスであってもよい。
いくつかの実装形態では、リモートコンピューティングシステム３０２によって行われる本明細書で説明される動作は、追加的または代替的に、車両２００によって（すなわち、車両２００の任意のシステム（複数可）またはサブシステム（複数可）によって）行われ得る。言い換えれば、車両２００は、車両の運転者または乗客が相互作用することができるリモートアシスタンス機構を提供するように構成され得る。
サーバコンピューティングシステム３０６は、ネットワーク３０４を介してリモートコンピューティングシステム３０２および車両２００と（または、場合によっては、リモートコンピューティングシステム３０２および／もしくは車両２００と直接）無線通信するように構成され得る。サーバコンピューティングシステム３０６は、車両２００およびそのリモートアシスタンスに関する情報を受信、格納、判定、および／または送信するように構成された任意のコンピューティングデバイスを表し得る。したがって、サーバコンピューティングシステム３０６は、リモートコンピューティングシステム３０２および／または車両２００によって行われるものとして本明細書で説明される任意の動作（複数可）またはそのような動作（複数可）の一部を行うように構成され得る。リモートアシスタンスに関連する無線通信の一部の実装形態では、サーバコンピューティングシステム３０６を利用できるが、他の実装形態では利用できない。
サーバコンピューティングシステム３０６は、本明細書に記載の様々な動作を行うように構成されたプロセッサ、ならびにリモートコンピューティングシステム３０２および車両２００から情報を受信し、それらに情報を提供するための無線通信インターフェースなどの、リモートコンピューティングシステム３０２および／または車両２００のサブシステムおよび構成要素と同様または同一の１つ以上のサブシステムおよび構成要素を含み得る。
上記の様々なシステムは、様々な動作を行い得る。ここで、これらの動作および関連する機能について説明する。
上記の議論に沿って、コンピューティングシステム（例えば、リモートコンピューティングシステム３０２、またはおそらくサーバコンピューティングシステム３０６、あるいは車両２００にローカルなコンピューティングシステム）は、自律車両の環境の画像を捕捉するためにカメラを使用するように動作し得る。一般に、少なくとも１つのコンピューティングシステムが画像を分析することができ、場合によっては自律車両を制御する。
いくつかの実装形態では、自律動作を容易にするために、車両（例えば、車両２００）は、車両が動作する環境内の物体を表すデータ（本明細書では「環境データ」とも称される）を様々な方法で受信し得る。車両のセンサシステムは、環境の物体を表す環境データを提供し得る。例えば、車両は、カメラ、レーダユニット、レーザ距離計、マイクロフォン、ラジオユニット、および他のセンサを含む様々なセンサを有し得る。これらのセンサの各々は、各それぞれのセンサが受信する情報について、環境データを車両内のプロセッサに通信し得る。
一例では、カメラが、静止画像および／またはビデオを捕捉するように構成され得る。いくつかの実装形態では、車両は、異なる配向に位置決めされた２つ以上のカメラを有し得る。また、いくつかの実装形態では、カメラは、異なる方向で画像および／またはビデオを捕捉するために移動することができる場合がある。カメラは、車両の処理システムによる後の処理のために、捕捉された画像およびビデオをメモリに格納するように構成され得る。捕捉された画像および／またはビデオは、環境データである場合がある。さらに、カメラは、本明細書で説明されるような画像センサを含み得る。
別の例では、レーダユニットが、車両の近くの様々な物体によって反射される電磁信号を送信し、次いで物体から反射する電磁信号を捕捉するように構成され得る。捕捉された反射電磁信号は、レーダシステム（または処理システム）が電磁信号を反射した物体について様々な判定を行うことを可能にし得る。例えば、様々な反射物体までの距離および位置が判定され得る。いくつかの実装形態では、車両は、異なる配向に２つ以上のレーダを有し得る。レーダシステムは、車両の処理システムによる後の処理のために、捕捉された情報をメモリに格納するように構成され得る。レーダシステムによって捕捉された情報は、環境データである場合がある。
別の例では、レーザ距離計が、車両近くの対象物体によって反射される電磁信号（例えば、気体もしくはダイオードレーザ、または他の可能な光源からのものなどの光）を送信するように構成され得る。レーザ距離計は、反射された電磁（例えば、レーザ）信号を捕捉することが可能であり得る。捕捉された反射電磁信号は、測距システム（または処理システム）が様々な物体までの距離を判定することを可能にし得る。測距システムはまた、対象物体の速度またはスピードを判定すること、およびそれを環境データとして格納することが可能であり得る。
加えて、一例では、マイクロフォンが、車両を取り巻く環境のオーディオを捕捉するように構成され得る。マイクロフォンで捕捉された音には、緊急車両のサイレンおよび他の車両の音が含まれる場合がある。例えば、マイクロフォンは、緊急車両のサイレンの音を捕捉する場合がある。処理システムは、捕捉されたオーディオ信号が緊急車両を示していることを識別することが可能であり得る。別の例では、マイクロフォンは、オートバイからの排気など、別の車両の排気の音を捕捉する場合がある。処理システムは、捕捉されたオーディオ信号がオートバイを示していることを識別でき得る。マイクロフォンによって捕捉されたデータは、環境データの一部を形成し得る。
さらに別の例では、ラジオユニットが、Ｂｌｕｅｔｏｏｔｈ信号、８０２．１１信号、および／または他の無線技術信号の形態をとり得る電磁信号を送信するように構成され得る。第１の電磁放射信号は、ラジオユニットに位置付けられた１つ以上のアンテナを介して送信され得る。さらに、第１の電磁放射信号は、多くの異なる無線信号モードのうちの１つで送信されてもよい。しかしながら、いくつかの実装形態では、自律車両の近くに位置するデバイスからの応答を要求する信号モードで第１の電磁放射信号を送信することが望ましい。処理システムは、ラジオユニットに返信された応答に基づいて近くのデバイスを検出することが可能であり得、この伝達された情報を環境データの一部として使用し得る。
いくつかの実装形態では、処理システムは、車両の環境をさらに判定するために、様々なセンサからの情報を組み合わせることが可能であり得る。例えば、処理システムは、レーダ情報および捕捉された画像の両方からのデータを組み合わせて、別の車両または歩行者が自律車両の前にいるかどうかを判定し得る。他の実装形態では、センサデータの他の組み合わせを処理システムが使用して、環境についての判定を行い得る。
自律モードで動作している間、車両はほとんどまたはまったく人間の入力なしでその動作を制御し得る。例えば、人間のオペレータが住所を車両に入力すると、車両は、人間からのさらなる入力なしに（例えば、人間がブレーキ／アクセルペダルを操縦するまたは触れる必要がなく）、指定された目的地まで運転することが可能であり得る。さらに、車両が自律的に動作している間、センサシステムは環境データを受信していてもよい。車両の処理システムは、様々なセンサから受信した環境データに基づいて車両の制御を変更し得る。いくつかの例では、車両は、様々なセンサからの環境データに応答して、車両の速度を変え得る。車両は、障害物を回避し、交通法に従うなどのために速度を変え得る。車両での処理システムが車両の近くの物体を識別すると、車両は速度を変更するか、または別の方法で動きを変えることが可能であり得る。
車両が物体を検出したが物体の検出に十分自信がない場合、車両は、人間のオペレータ（またはより強力なコンピュータ）に、（ｉ）物体が実際に環境内に存在するかどうかを確認する（例えば、実際に一時停止標識があるか、もしくは実際に一時停止標識がないか）、（ｉｉ）車両の物体の識別が正しいかどうかを確認する、（ｉｉｉ）識別が正しくなかった場合、識別を修正する、および／または（ｉｖ）自律車両に対して補足的な命令を提供する（もしくは現在の命令を変更する）などの、１つ以上のリモートアシスタンスタスクを行うよう要求することができる。リモートアシスタンスタスクにはまた、人間のオペレータが車両の動作を制御するための命令を提供する（例えば、人間のオペレータが、物体は一時停止標識であると判定した場合、一時停止標識で停止するよう車両に命令する）ことが含まれるが、いくつかのシナリオでは、物体の識別に関連する人間のオペレータのフィードバックに基づいて、車両自体が自身の動作を制御する場合がある。
これを容易にするために、車両は、環境の物体を表す環境データを分析して、閾値未満の検出信頼度を有する少なくとも１つの物体を判定し得る。車両のプロセッサは、様々なセンサからの環境データに基づいて環境の様々な物体を検出するように構成され得る。例えば、一実装形態では、プロセッサは、車両が認識するのに重要であり得る物体を検出するように構成され得る。このような物体には、歩行者、街路標識、他の車両、他の車両のインジケータ信号、および捕捉された環境データで検出された他の様々な物体が含まれ得る。
検出信頼度は、判定された物体が環境内で正しく識別されているか、または環境内に存在している可能性を示し得る。例えば、プロセッサは、受信した環境データの画像データ内の物体の物体検出を行い、閾値を超える検出信頼度を有する物体を識別することができないことに基づいて、少なくとも１つの物体が閾値を下回る検出信頼度を有すると判定し得る。物体の物体検出または物体認識の結果が決定的でない場合、検出信頼度が低いか、または設定された閾値を下回っている場合がある。
車両は、環境データのソースに応じて、様々な方法で環境の物体を検出し得る。いくつかの実装形態では、環境データはカメラから来て、画像またはビデオデータであり得る。他の実装形態では、環境データはＬＩＤＡＲユニットから来る場合がある。車両は、捕捉された画像またはビデオデータを分析して、画像またはビデオデータ内の物体を識別し得る。方法および装置は、環境の物体の存在について画像および／またはビデオデータを監視するように構成され得る。他の実装形態では、環境データは、レーダ、オーディオ、または他のデータであり得る。車両は、レーダ、オーディオ、または他のデータに基づいて環境の物体を識別するように構成され得る。
いくつかの実装形態では、物体を検出するために車両が使用する技法は、既知のデータのセットに基づいていてもよい。例えば、環境物体に関連するデータは、車両に位置付けられたメモリに格納されてもよい。車両は、受信したデータを格納されたデータと比較して、物体を判定し得る。他の実装形態では、車両は、データの文脈に基づいて物体を判定するように構成され得る。例えば、建設に関連する街路標識は、概してオレンジ色を有し得る。したがって、車両は、道路脇近くに位置するオレンジ色の物体を、建設関連の街路標識として検出するように構成されてもよい。加えて、車両の処理システムは、捕捉されたデータ内の物体を検出すると、それはまた各物体の信頼度を計算することができる。
さらに、車両はまた、信頼度閾値を有し得る。信頼度閾値は、検出される物体のタイプに応じて異なり得る。例えば、別の車両のブレーキライトなど、車両からの迅速な応答アクションを要求し得る物体については、信頼度閾値が低くなり得る。しかしながら、他の実装形態では、検出されたすべての物体について、信頼度閾値が同じであってもよい。検出された物体に関連付けられた信頼度が信頼度閾値より高い場合、車両は、物体が正しく認識されたと想定し、その想定に基づいて車両の制御を応答的に調整し得る。
検出された物体に関連付けられた信頼度が信頼度閾値より低い場合、車両が取るアクションは変わり得る。いくつかの実装形態では、車両は、低い信頼度レベルにもかかわらず、検出された物体が存在するかのように反応する場合がある。他の実装形態では、車両は、検出された物体が存在しないかのように反応することがある。
車両は、環境の物体を検出すると、特定の検出された物体に関連付けられた信頼度も計算することができる。信頼度は、実装形態に応じて様々な方法で計算され得る。一例では、環境の物体を検出するとき、車両は、環境データを既知の物体に関連する所定のデータと比較し得る。環境データと所定のデータとの一致が近いほど、信頼度はより高くなる他の実装形態では、車両は、環境データの数学的分析を使用して、物体に関連付けられた信頼度を判定し得る。
物体が閾値を下回る検出信頼度を有するとの判定に応答して、車両は、リモートコンピューティングシステムに、物体の識別と共にリモートアシスタンスの要求を送信し得る。上述のように、リモートコンピューティングシステムは、様々な形態をとり得る。例えば、リモートコンピューティングシステムは、車両とは別個の車両内のコンピューティングデバイス、リモートアシスタンス情報を表示するためのタッチスクリーンインターフェースなど、であってもよいが、それによって人間のオペレータが車両の乗客または運転者と相互作用することができる。追加的または代替的に、別の例として、リモートコンピューティングシステムは、車両の近くではない場所に位置付けされたリモートコンピュータ端末または他のデバイスであってもよい。
リモートアシスタンスの要求は、画像データ、オーディオデータなどの、物体を含む環境データを含み得る。車両は、ネットワーク（例えば、ネットワーク３０４）上で、いくつかの実装形態では、サーバ（例えば、サーバコンピューティングシステム３０６）を介してリモートコンピューティングシステムに環境データを送信し得る。リモートコンピューティングシステムの人間のオペレータは、次に、要求に応答するための基礎として環境データを使用し得る。
いくつかの実装形態では、物体が信頼度閾値を下回る信頼度を有するとして検出された場合、物体には予備識別が与えられてもよく、車両は、予備識別に応答して車両の動作を調整するように構成され得る。そのような動作の調整は、他の可能な調整の中でもとりわけ、車両を停止すること、車両を人間制御モードに切り替えること、車両の速度（例えば、スピードおよび／または配向）を変更することの形態をとり得る。
他の実装形態では、車両が閾値を満たすか、または超える信頼度を有する物体を検出した場合でも、車両は検出された物体に従って動作し得る（例えば、物体が一時停止標識として高い信頼度で識別された場合に停止する）が、車両が検出された物体に従って動作するのと同時に（または後で）リモートアシスタンスを要求するように構成され得る。
ＩＩＩ．例示的なカメラシステムおよび動作
図４Ａは、例示的なカメラシステム４００の構成要素例を表す簡略ブロック図を示す。この例示的なカメラシステム４００は、カメラ１３０に対応し得る。また、カメラシステム４００の様々な構成要素が分散した構成要素として示されているが、このような構成要素のいずれも、コンピューティングシステムの所望の構成により物理的に統合および／または分散され得ることを理解されたい。
カメラシステム４００は、少なくとも１つのプロセッサ４０２およびシステムメモリ４０４を含み得る。例示的な実施形態では、カメラシステム４００は、プロセッサ４０２およびシステムメモリ４０４、ならびにカメラシステム４００の他の構成要素を通信可能に接続するシステムバス４０８を含み得る。所望の構成に応じて、プロセッサ４０２は、マイクロプロセッサ（μＰ）、マイクロコントローラ（μＣ）、デジタル信号プロセッサ（ＤＳＰ）、またはそれらの任意の組み合わせを含むがこれらに限定されない任意のタイプのプロセッサであり得る。さらに、システムメモリ４０４は、揮発性メモリ（ＲＡＭなど）、不揮発性メモリ（ＲＯＭ、フラッシュメモリなど）、またはそれらの任意の組み合わせを含むがこれらに限定されない、現在知られている、または今後開発される任意のタイプのメモリであり得る。いくつかの例では、システムメモリ４０４は、画像データを一時的に格納するためのメモリキャッシュであり得る。
例示的なカメラシステム４００は、様々な他の構成要素も同様に含み得る。例えば、カメラシステム４００は、画像センサ４０６を含む。画像センサ４０６は、本明細書で説明されるような画像センサであり得る。例えば、画像センサ４０６は、ローリングシャッターを含み得、プロセッサ４０２によって選択的に有効または無効にされる部分を有するように構成され得る。加えて、カメラシステム４００は、システムメモリ４０４（および／または場合によっては別のデータストレージ媒体）に格納されており、かつプロセッサ４０２によって実行可能なプログラム命令４１０を含んで、本明細書で説明される様々な機能を容易にし得る。
さらに、カメラシステム４００は、外部コンピューティングシステムに結合され得る。外部コンピューティングシステム４１２は、自律車両の異なる部分に配置された、および／またはリモートコンピュータサーバに配置されたコンピューティングシステムであり得る。例えば、外部コンピューティングシステム４１２は、コンピューティングシステム１１２であり得る。いずれの場合でも、コンピューティングシステム４１２は、他のオプションの中でもとりわけ、カメラシステム４００の様々な動作を制御し得る。
例示的な実施形態によれば、カメラシステム４００はまた、カメラシステム４００（例えば、画像センサ４０６によって）が遭遇する外部光の範囲を制御するように調整可能である光制御機能４１４を含むことができる。本明細書でさらに説明されるように、光制御機能４１４は、例えばワイパなどの機械デバイスであり得る。追加的または代替的に、光制御機能４１４は、エレクトロクロミックデバイス（例えば、エレクトロクロミックウィンドウ）または可変液晶ディスプレイ（ＬＣＤ）などの調整可能な光透過特性を有する光制御デバイスであり得る。さらに、光制御機能４１４は、例えば、コンピューティングシステム４１２などのコンピューティングシステムによって制御され得る。他の配置も可能である。
次に、図４Ｂおよび図４Ｃは、カメラおよび光制御機能の例示的な配置を示す。
最初の事項として、図４Ｂおよび図４Ｃは、各それぞれ、光学システム４１６（例えば、レンズ）および画像センサ４１８を含む装置の撮像動作を示す。画像センサ４１８は、図４Ａに示されるカメラシステム４００などのカメラ内に存在し得る。光学システム４１６は、全体的な視野４２０を画像センサ４１８に提供する。全体的な視野４２０は、垂直視野４２２および水平視野４２４を含む。全体的な視野４２０は、画像センサ４１８が光学システム４１６を介して画像化することができる最大角度範囲に対応する。
加えて、図４Ｂおよび図４Ｃは、各それぞれ、光学システム４１６および画像センサ４１８がハウジング４２６内に配置され得ることを示す。ハウジング４２６は、画像センサ４１８が車両の環境の画像を捕捉することができる開口４２８（例えば、透明な開口）を含むように示される。加えて、ハウジング４２６は、回転プラットフォーム４３０に結合され得、これは、軸４３２周りに回転し得、それによってまた、ハウジング４２６、光学システム４１６、および画像センサ４１８の回転をもたらす。このようにして、画像センサ４１８は、車両の環境の様々な部分の画像を捕捉する。
しかしながら、別の実装形態では、光学システム４１６、画像センサ４１８、およびハウジング４２６のうちのいずれか１つは、（例えば、車両の一部に）実質的に固定され得、したがって、必ずしも軸周りに回転し得ない。例えば、画像センサ４１８は、車両の環境の特定の部分（複数可）の画像を取得するように、車両に固定され得る。他の実装形態も可能である。
本開示に沿って、図４Ｂおよび図４Ｃはまた、光制御機能を示す。例えば、図４Ｂは、ハウジング４２６の外側部分に、具体的には開口４２８の近くに結合されたワイパ４３４を示す。この配置で、コンピューティングシステムは、画像センサ４１８および／または光学システム４１６が遭遇する外部光の範囲を制御するように、画像センサ４１８に対するワイパ４３４の位置を調整する（例えば、視野４２０に対するワイパ４３４の位置を調整する）ことができる。別の例では、図４Ｃは、開口４２８内に組み込まれ、それによって、エレクトロクロミックウィンドウ４３６を通して環境の画像を画像センサ４１８に捕捉させるエレクトロクロミックウィンドウ４３６を示す。また、本明細書でさらに論じられるように、エレクトロクロミックウィンドウ４３６は、調整可能な光透過特性を有し得る。この配置で、コンピューティングシステムは、画像センサ４１８が遭遇する外部光の範囲を制御するように、エレクトロクロミックウィンドウ４３６の光透過特性を調整することができる。他の図も可能である。
ＩＶ．車両の画像捕捉デバイスが遭遇する光の範囲の制御
上記の議論に沿って、画像捕捉デバイスは、例えば、車両（例えば、車両１００）の周りの環境などの環境を表す画像データ（例えば、環境の捕捉画像（複数可））を生成することができる任意のデバイスであり得る。一般的に、画像捕捉デバイスは、他のオプションの中でもとりわけ、カメラ（例えば、カメラ１３０）、カメラシステム（例えば、カメラシステム４００）、および／または画像センサ（例えば、画像センサ４０６）であり得るか、そうでなければそのように称され得る。さらに、画像捕捉デバイスは、とりわけ、本明細書で説明される配置を使用するなど、任意の実現可能な方法で車両に結合され得る。
いくつかの状況では、前述のように、画像捕捉デバイスによって捕捉される画像の品質は、画像捕捉デバイスが遭遇する外部光により低下し得、これは、車両の自律動作のための根拠として使用されるのに十分な品質の画像データを画像捕捉デバイスが生成することを妨げ得る。一般的に、この外部光は、任意の実現可能な外部光源または光反射板から、生成されるか、そうでなければ到達し得る。例えば、外部光は、他の可能性の中でもとりわけ、太陽からの太陽光、ランプ（例えば、街灯）からの人工光、別の車両のＬＩＤＡＲシステムによって生成されるレーザ光、および／または別の車両から（例えば、他の車両のミラーから）反射する光であり得る。さらに、外部光は、電磁スペクトルでの任意の波長であり得、したがって、可視光または非可視光であり得る。いずれの場合でも、外部光は、様々な方法で画像（複数可）の品質を低下させ得る。
例えば、画像捕捉デバイスは、過剰な光が画像に明るいパッチ（例えば、所与のピクセルでの大きな電荷による、画像で捕捉される光源からの光の縞）をもたらし得る現象であるブルーミングに遭遇し得る。別の例では、画像捕捉デバイスは、設計で意図されていなかった方法で画像捕捉デバイスの光学システムを通って移動する光（例えば、いくつかの波長で測定される信号を増加させる偽の光）である迷光に遭遇し得る。さらに別の例では、画像捕捉デバイスは、一般的に、高強度の光が画像での特徴の可視性を損なう現象であるグレアに遭遇し得る。さらに別の例では、画像捕捉デバイスは、画像捕捉デバイスの光学システムで光が散乱または輝き、それによって、画像に望ましくない影響をもたらす現象であるレンズフレアに遭遇し得る。さらに他の例では、画像捕捉デバイスは、他の可能性の中でもとりわけ、過飽和、過度露光、露光不足（例えば、太陽光トリガの自動露光設定による画像での関心のある領域の露光不足）、および／または画像解像度の劣化に遭遇し得る。
図５Ａ～図５Ｂは、自律車両の画像捕捉デバイスが車両の自律動作のための根拠として使用されるのに十分な品質の画像を捕捉することを外部光が妨げ得る状況の例を示す。
図５Ａは、車両２００が交通信号機５０２を有する交差点５００に到達する状況を示す。この状況では、車両２００のコンピューティングシステムは、交差点５００の画像（複数可）を捕捉するように、センサユニット２０２の前向きカメラなどの画像捕捉デバイスを操作し得る。画像（複数可）が捕捉されると、コンピューティングシステムは、交通信号機５０２の色または状態を判定するための根拠として、したがって、車両が交差点５００で実行すべきその後の自律動作を判定するための根拠として、捕捉された画像（複数可）を使用することを試み得る。例えば、図５Ａに示されるように、交通信号機５０２の上部の光（例えば、赤色光）が発光しているが、交通信号灯５０２の中央および下部の光が発光しておらず、それによって、車両（複数可）が交差点５００のその部分で停止すべきであるという指標として役割を果たす。したがって、コンピューティングシステムは、交通信号機５０２の上部の光が発光しているかどうか、したがって、コンピューティングシステムが交差点５００で停止するように車両２００を操作すべきかどうかを判定するための根拠として、捕捉された画像（複数可）を使用することを試み得る。
しかしながら、残念ながら、車両の画像捕捉デバイスの視点からの太陽５０４の位置は、交通信号機５０２の色または状態を判定するための根拠として使用されるのに十分な品質である交通信号機５０２の画像を画像捕捉デバイスが捕捉することを妨げ得る。特に、示されるように、太陽５０４は、画像捕捉デバイスの視点から（例えば、センサユニット２０２の前向きカメラの視野で）、交通信号機５０２に実質的に近接するかまたは後ろに位置付けられている。この状況は、画像捕捉デバイスに、他のオプションの中でもとりわけ、ブルーミングをもたらし、および／または画像解像度を低下させるのに十分な強度の太陽光に遭遇させ得る。その結果、画像捕捉デバイスは、交通信号機５０２の色または状態を判定するための根拠として使用されるのに十分な品質である交通信号機５０２の画像（複数可）を捕捉することができない場合がある。
例えば、図５Ｂは、上述の状況の間に車両の画像捕捉デバイスによって捕捉された画像５０６の例を示す。示されるように、交通信号機５０２は、太陽５０４が画像捕捉デバイスの視野に位置付けられ、画像捕捉デバイスの視点から交通信号機５０２の後ろかまたは実質的に近接して位置付けられることによってもたらされる画像アーチファクト５０８により画像５０６で完全には見えない。したがって、コンピューティングシステムが、交通信号機５０２の色または状態を判定するための根拠として捕捉された画像５０６を使用することを試みる場合、コンピューティングシステムは、交通信号機５０２の上部の光が発光していることを判定するための根拠として画像５０６を使用することができない場合がある。その結果、コンピューティングシステムは、交通信号機の状態を十分な確信をもって判定することができず、これにより、他の望ましくない結果の中でもとりわけ、交差点５００で停止させるように、またはそうでなければ予想されるように車両２００をコンピューティングシステムが適時に操作することを妨げ得る場合、車両２００が交差点５００で停止すべきであることを判定することができないか、車両２００が交差点５００で停止すべきであることを判定するのに遅延を経験し得るか、または車両がデフォルトとして停止すべきであることを判定し得る。
一般的に、自律車両は、追加的または代替的に、画像捕捉デバイスが車両の自律動作の根拠として使用されるのに十分な品質の画像を捕捉することを外部光が妨げる様々な他のシナリオ（図示せず）に遭遇し得る。例えば、車両の画像捕捉デバイスの視点からの太陽の位置は、交通信号機の下部の光（例えば、緑色光）が発光していることを判定するための根拠として使用されるのに十分な品質である交通信号機の画像を画像捕捉デバイスが捕捉することを妨げ得る。これを前提として、コンピューティングシステムは、車両が交差点を通って移動することができることを判定せず、代わりに、予防措置として交差点で車両を停止させ得、これは他の効果の中でもとりわけ、移動の遅延につながり得る。さらに別の例では、車両の画像捕捉デバイスの視点からの太陽の位置は、特定の方向指示器が発光していることを判定するための根拠として使用されるのに十分な品質である交通信号機の画像を画像捕捉デバイスが捕捉することを妨げ得る。これを前提として、コンピューティングシステムは、車両が交差点で特定の方向指示器に対応する配向で曲がることができることを判定せず、代わりに、車両に、不必要に方向転換を遅延させるか、または異なるルート、場合によってはより長いルートに沿って移動を継続させ得る。他の例も可能である。
画像捕捉デバイスが十分な品質の画像を捕捉でき得る、自動運転車両の画像捕捉デバイスが遭遇する光の範囲を事前におよび／または事後に制御するための方法およびシステムが、本明細書で開示される。その結果、この画像データは、自律的に車両を操作するための根拠として使用され得る。
本開示に従って、車両は、画像捕捉デバイスが遭遇する光の範囲を事前にまたは事後に制御するために、コンピューティングシステムによって調整可能である光制御機能を装備され得る。特定の光制御機能が本明細書で例として説明されるが、他の光制御機能も同様に、本開示の範囲から逸脱することなく可能である。
ある場合では、光制御機能は、他の可能性の中でもとりわけ、画像捕捉デバイスの視野に対してなど、画像捕捉デバイスに対して移動可能である機械デバイスであり得る。例えば、本明細書でさらに論じられるように、機械デバイスは、画像捕捉デバイスの視点から外部光源（例えば、太陽）を遮るように画像捕捉デバイスの視野に位置付けられ、それによって、画像捕捉デバイスが遭遇する外部光の範囲を低減することができる。一般的に、任意の実現可能な機械デバイスが使用され得、その機械デバイスは、任意の実現可能な方法で車両に結合され得る。
例として、問題の機械デバイスは、雨、雪、氷、および／または破片を（例えば、車両の）風防または風防ガラスから除去するために通常使用されるワイパデバイスなどのワイパであり得る。例えば、ワイパは、一端で枢動するアーム（例えば、金属アーム）を含み得、また、アームに取り付けられたワイパブレード（例えば、ゴムブレード）を含み得る。アームは、アームを移動させるように、車両のコンピューティングシステムによって動作可能であり得るモータ（例えば、電気モータ）によって動力を供給され得る。この配置で、コンピューティングシステムは、例えば、特定のスピードで風防ガラスのガラス上でワイパを前後に移動させることなどによって、任意の実現可能な方法で任意の実現可能なスピードで移動するようにワイパを操作することができる。この例では、ワイパは、様々な方法で車両に結合され得る。
一配置では、ワイパは、車両の前方または後方の風防ガラスに近接してなど、車両の風防ガラスに近接して位置付けられ得、また任意で、雨、雪、氷、および／または破片をその風防ガラスから除去するために使用され得る。この配置では、画像捕捉デバイスは、画像捕捉デバイスが風防ガラスを通して車両２００の環境の画像を捕捉できるように車両内に位置付けられ得る。その結果、コンピューティングシステムは、ワイパが画像捕捉デバイスに対して移動し、具体的には、画像捕捉デバイスの視野に対して移動するようにワイパを操作することができる。
別の配置では、画像捕捉デバイスは、車両に結合されたハウジング内に配置され得、ワイパは、そのハウジングに結合され得るか、そうでなければそのハウジングに近接して位置付けられ得る。例えば、問題のハウジングは、画像捕捉デバイスが位置付けられるセンサユニット（例えば、センサユニット２０２）の半透明なハウジングであり得る。したがって、画像捕捉デバイスは、ハウジングの半透明な材料を通して車両２００の環境の画像を捕捉することができる。それでもなお、この配置では、具体的には、画像捕捉デバイスの視野に対してワイパを移動させるために、コンピューティングシステムが画像捕捉デバイスに対するワイパの動きをもたらすことができる方法で、ワイパがハウジングに結合され得るか、そうでなければハウジングの近くに位置付けられ得る。他の配置も可能である。
別の場合では、光制御機能は、調整可能な光透過特性を有する光制御デバイスであり得、コンピューティングシステムは、光制御デバイスを操作することができる。具体的には、光制御デバイスは、画像捕捉デバイスの視野に位置付けられ得、その結果、画像捕捉デバイスは、光制御デバイスを通して車両の環境の画像を捕捉する。この配置で、コンピューティングシステムは、光制御デバイスの光透過特性を調整することができ、したがって、光制御デバイスを通過する光の量を制御することができる。また、光制御デバイスを通過する光の量を制御することによって、コンピューティングシステムは、画像捕捉デバイスが遭遇する光の範囲を効果的に制御し得る。さらに、いくつかの実装形態では、コンピューティングシステムは、光制御デバイスの特定の部分の光透過特性を選択的に調整することができ、これにより、コンピューティングシステムが、画像捕捉デバイスの視野での選択領域から到達する外部光の範囲を効果的に制御することが可能であり得る。
この場合では、様々な光制御デバイスのうちの１つ以上が使用され得る。例えば、光制御デバイスは、「スマート」ガラスであり得、その光透過特性は、電圧、光、および／または熱が加えられると変わり得る。とりわけ、スマートガラスは、エレクトロクロミックデバイス、フォトクロミックデバイス、および／またはサーモクロミックデバイスであり得る。エレクトロクロミックデバイスの場合では、例えば、コンピューティングシステムは、電気信号を加えることによってエレクトロクロミックデバイスに光透過特性を変更させ、それによって、通過する光の量を制御することができる。実際には、エレクトロクロミックデバイスの光透過特性を変更することは、エレクトロクロミックデバイスの不透明度を透明状態と色付き（半透明）状態との間で変更することを含み得る。他の例も可能である。
さらに、光制御デバイスは、任意の実現可能な方法で車両に結合され得る。例えば、上述のスマートガラスは、車両の風防ガラス内に組み込まれ得るか、そうでなければ置き換えられ得、画像捕捉デバイスは、画像捕捉デバイスがスマートガラスを通して車両２００の環境の画像を捕捉できるように車両内に位置付けられ得る。別の例では、スマートガラスは、ハウジングの材料内に組み込まれ得るか、そうでなければ置き換えられ得、画像捕捉デバイスは、画像捕捉デバイスがハウジングでのスマートガラスを通して車両の環境の画像を捕捉できるようにハウジング内に配置され得る。他の例も可能である。
上述のように配置されたシステムでは、コンピューティングシステムは、トリガを検出して、光制御機能に対する調整を行うことができる。一般的に、トリガを検出することは、画像捕捉デバイスによって生成される画像データの品質が、画像捕捉デバイスが遭遇するかまたは遭遇すると予想される外部光により閾値品質未満であるか、またはそう予想されるという判定を行うことを含むことができる。コンピューティングシステムは、この判定を様々な方法で行うことができる。
ある場合では、コンピューティングシステムは、画像分析技術を使用して、捕捉された画像（例えば、最近捕捉された画像）の特性を評価し、それによって、その画像の品質を効果的に評価することによって上述の判定を行うことができる。画像分析技術は、とりわけ、機械学習分類器、ディープニューラルネットワーク、画像統計評価、および／または手作りの機能評価の使用を含み得る。
例えば、コンピューティングシステムは、例えば、画像が明るい列のピクセルの形態を取る光の縞を含むことを判定することによってなど、捕捉された画像がブルーミングの特性を示すことを判定することによって判定を行うことができる。別の例では、コンピューティングシステムは、捕捉された画像での飽和を判定することによって判定を行うことができる。別の例では、コンピューティングシステムは、捕捉された画像での露光レベルが第１の閾値露光レベルよりも上であることを判定することによってか、または捕捉された画像での露光レベルが（例えば、第１の閾値露光レベルと同じかまたは異なり得る）第２の閾値露光レベルよりも下であることを判定することによって判定を行うことができる。さらに別の例では、コンピューティングシステムは、捕捉された画像の画像解像度レベルが閾値解像度レベルよりも低いことを判定することによって、判定を行うことができる。他の例も可能である。
別の場合では、コンピューティングシステムは、捕捉された画像が物体の検出および／または識別に使用できないことを判定することによって、上述の判定を行うことができる。例えば、画像捕捉デバイスは、車両の環境の画像を捕捉することができ、コンピューティングシステムは、コンピューティングシステムが環境での物体を検出および／または識別するための根拠として使用することができる情報を、その画像を表す画像データが提供しないという特定の判定を行い得る。したがって、この特定の判定は、画像捕捉デバイスによって生成される画像データの品質が、場合によっては画像捕捉デバイスが遭遇する外部光により閾値品質未満であるという上述の判定に対応し得る。
さらに別の場合では、コンピューティングシステムは、画像捕捉デバイス以外の１つ以上のセンサから受信されるセンサデータを評価することによって、上述の判定を行うことができる。例えば、車両は、外部光の強度および到達の方向についての情報を提供する光センサを装備され得、その光センサは、画像捕捉デバイスに実質的に近接して位置付けられ得る。この配置で、コンピューティングシステムは、画像捕捉デバイスに不十分な品質の画像データを生成させると予想されるか、そうでなければそう知られている光の強度／方向を光センサからのデータが表すという特定の判定を行うことができる。したがって、この特定の判定は、画像捕捉デバイスによって生成される画像データの品質が、画像捕捉デバイスが遭遇する外部光により閾値品質未満であるという上述の判定に対応し得る。
さらに別の場合では、コンピューティングシステムは、画像捕捉デバイスが十分な品質の画像データを生成できないか、または生成する可能性が低い状況に車両が遭遇したことを判定することによって、上述の判定を行うことができる。例えば、コンピューティングシステムは、光源が画像捕捉デバイスの視野内にあるか、またはそう予想されることを、場合によっては、光源が画像捕捉デバイスの視点から物体に近接しているか、またはそう予想されることを判定することによって、判定を行うことができる。コンピューティングシステムは、様々な方法でそうすることができる。
例えば、コンピューティングシステムは、エフェメリスデータを受信および使用して、所与の時刻での所与の場所上の空での太陽の位置を判定することができる。所与の時刻での所与の場所上の太陽の位置が与えられると、コンピューティングシステムは、車両が所与の時刻に地理的領域内の所与の場所で移動しているか、または移動すると予想される場合、画像捕捉デバイスの視野に対する太陽の位置を判定または予測することができる。したがって、コンピューティングシステムは、この手法を使用して、太陽が画像捕捉デバイスの視野内にあるか、またはそう予想されることを判定または予測することができる。さらに、所与の場所での物体（例えば、交通信号機）の既知の場所に基づいて、コンピューティングシステムは、太陽が画像捕捉デバイスの視点から、問題の物体に近接している、または近接している可能性が高いことをさらに判定することができる。他の例も可能である。
さらに別の場合では、コンピューティングシステムは、車両の場所が、画像捕捉デバイスが十分な品質の画像データを生成するのに特に重要であるものであることを判定することによって、上述の判定を行うことができる。これを容易にするために、例えば、コンピューティングシステムは、それぞれが「重要な場所」として指定された場所のリスト（例えば、交差点のリスト）を有し得、コンピューティングシステムは、このリストを参照して、光制御機能が調整されるべき場所に車両がいることを判定することができる。したがって、車両の判定された場所は、効果的に、光制御機能に対する調整を行うためのトリガであり得る。他の場合も可能である。
コンピューティングシステムが光制御機能に対する調整を行うためのトリガを検出すると、コンピューティングシステムは、それに応じて、光制御機能に対する調整を行うことができる。一般的に、コンピューティングシステムは、画像捕捉デバイスが遭遇するか、または遭遇すると予想される外部光の範囲を制御するようにこの調整を行うことができる。例えば、調整を行うことは、画像捕捉デバイスが遭遇するか、または遭遇すると予想される外部光の範囲を減少させるように行われ得る。これは、例えば、画像捕捉デバイスが比較的高い範囲の外部光に遭遇するか、または遭遇すると予想される状況で有用であり得る。別の例では、調整を行うことは、画像捕捉デバイスが遭遇するか、または遭遇すると予想される外部光の範囲を増加させるように行われ得る。これは、例えば、画像捕捉デバイスが比較的低い範囲の外部光に遭遇するか、または遭遇すると予想される状況で有用であり得る。それでもなお、調整が、様々な方法で実行され得る。
一実装形態では、光制御機能に対する調整は、所定の調整であり得る。例えば、コンピューティングシステムは、所定の光透過特性を示すように光制御デバイスを調整することができ、および／または画像捕捉デバイスに対して（例えば、画像捕捉デバイスの視野に対して）所定の位置（複数可）へ機械デバイスを移動させることができる。この実装形態では、所定の調整は、遭遇する外部光の範囲に、十分な画質につながるのに役立ち得る特性（例えば、強度）を示させるように配置され得る。例えば、光制御機能は、他のオプションの中でもとりわけ、ブルーミングおよび／または飽和を防止するのに役立つことが分かっている所定の設定に調整され得る。他の例も可能である。
別の実装形態では、光制御機能に対する調整は、１つ以上の要素に基づき得る。例えば、コンピューティングシステムは、光制御デバイスの光透過特性を１つ以上の要素に基づいて調整することができ、および／または１つ以上の要素に基づいて選択される位置（複数可）へ機械デバイスを移動させることができる。一般的に、様々な要素（複数可）が、調整のための根拠として使用され得る。
ある場合では、光制御機能に対する調整は、画像捕捉デバイスの視点からの外部光源の位置に基づき得る。特に、コンピューティングシステムは、他のオプションの中でもとりわけ、光センサからのデータを評価すること、最近捕捉された画像を評価すること、および／または（外部光源が太陽であると仮定すると）エフェメリスデータを評価することなどによって、画像捕捉デバイスの視点からの外部光源の位置を判定または推定することができる。次いで、コンピューティングシステムは、光制御機能を、外部光源の判定された位置に基づいて調整することができる。
例えば、コンピューティングシステムは、画像捕捉デバイスの視点から、外部光源の判定された位置と少なくとも部分的に重なる位置へ機械デバイスを移動させ、それによって、画像捕捉デバイスの視点から外部光源を少なくとも部分的に機械デバイスに遮らせることができる。別の例では、コンピューティングシステムは、画像捕捉デバイスの視点から、外部光源の判定された位置と少なくとも部分的に重なる光制御デバイスの一部を選択することができ、次いで、選択された部分の光透過特性を調整し（例えば、選択された部分の不透明度を色付き状態に変更し）、それによって、画像捕捉デバイスの視点から外部光源を少なくとも部分的に遮ることができる。他の例も可能である。
別の場合では、光制御機能に対する調整は、画像捕捉デバイスによって生成される画像データの品質を閾値品質よりも高くすることに基づき得る。特に、コンピューティングシステムは、遭遇する外部光の範囲に、特定の目標結果につながる特性（例えば、強度）を示させるように光制御機能を調整することができる。一般的に、これらの結果は、（ｉ）捕捉された画像（複数可）がブルーミングの特性を示すのを防止すること、（ｉｉ）捕捉された画像（複数可）が飽和の特性を示すのを防止すること、（ｉｉｉ）捕捉された画像（複数可）での露光レベルを上述の第１の閾値露光レベルよりも下であるレベルなどまで減少させること、（ｉｖ）捕捉された画像（複数可）での露光レベルを、上述の第２の閾値露光レベルよりも上であるレベルなどまで増加させること、および／または（ｖ）捕捉された画像（複数可）での画像解像度を、上述の閾値解像度レベルよりも高いレベルなどまで増加させることを含み得る。
例として、コンピューティングシステムは、例えば、第１の閾値露光レベルよりも下であるレベルなどまで画像（複数可）での露光レベルが減少すべきであることを判定することができる。コンピューティングシステムは、最近捕捉された画像（複数可）を評価し、最近捕捉された画像（複数可）での露光レベルが第１の閾値露光レベルよりも上であることを判定することなどによって、様々な方法でこの目標結果を判定することができる。それでもなお、この例では、画像データの品質を閾値品質よりも高くすることは、捕捉される画像（複数可）の露光レベルを、場合によっては、第１の閾値露光レベルよりも下であるレベルまで減少させる目標結果に対応する。したがって、コンピューティングシステムは、具体的には、捕捉された画像（複数可）での露光レベルを減少させる設定、場合によっては、露光レベルを第１の閾値露光レベルよりも下にする設定に光制御機能を調整することができる。例えば、コンピューティングシステムは、露光レベルを減少させるように光制御デバイスの不透明度を変更することができ、場合によっては、露光レベルを第１の閾値露光レベルよりも下にする範囲で不透明度を変更することができる。他の例も可能である。
いずれの実装形態でも、コンピューティングシステムは、車両の自律動作のための根拠として使用されるのに十分な品質である少なくとも１つの画像を理想的に取得するように、調整中に画像データを生成するように画像捕捉デバイスを操作することができる。特に、コンピューティングシステムは、調整中に複数の画像を捕捉するように画像捕捉デバイスを操作することができる。また、複数の画像が捕捉されることを考慮すると、それらの画像のうちの少なくとも１つが十分な品質である可能性が増加し得る。例えば、本明細書で論じられる他の考慮の中でもとりわけ、画像がブルーミングの特性を示さない場合、および／または重要な物体（複数可）が画像で見ることができる場合、画像は十分な品質であると考えられ得る。それでもなお、捕捉された画像のうちの少なくとも１つが十分な品質になると仮定すると、コンピューティングシステムは、車両を操作するための根拠として、その画像に対応する少なくとも画像データを使用することができる。
特定の例では、コンピューティングシステムが複数の画像を捕捉するように画像捕捉デバイスを操作する間に、コンピューティングシステムは、画像捕捉デバイスの視野にわたってワイパを漸進的に移動させることができる。次に、これにより、複数の画像がそれぞれ、画像捕捉デバイスの視野内の異なる位置でワイパを示すことになり得る。この例では、複数の画像の中から少なくとも１つの特定の画像は、ワイパが画像捕捉デバイスの視野で外部光源（例えば、太陽）の少なくとも一部を遮るものであり得る。理想的には、その特定の画像はまた、物体（複数可）（例えば、交通信号機（複数可））が見えるものであり得る。例えば、特定の画像は、重要な物体が（ｉ）特定の画像の視点からワイパによって遮られておらず、（ｉｉ）コンピューティングシステムによる特定の画像の評価を通じて検出可能および／または識別可能であるものであり得る。したがって、コンピューティングシステムは、車両を操作するための根拠として少なくとも特定の画像を使用することができる。他の例も可能である。
図６Ａ～図６Ｂおよび図７は、図５Ａ～図５Ｂに関連して上記で説明した状況を克服するのに役立つように、自律車両２００の画像捕捉デバイスが遭遇する太陽光の範囲を制御するための光制御機能（複数可）の使用を示す。
図６Ａは、自律車両２００の画像捕捉デバイスが遭遇する太陽光の範囲を制御するためのワイパ６０２の使用を示す。次いで、図６Ｂは、ワイパ６０２の使用により十分な品質になった捕捉された画像６００を示す。
示されるように、コンピューティングシステムは、ワイパ６０２を画像捕捉デバイスの視野内に位置付けさせ、その結果、画像の視点から、ワイパ６０２は、太陽５０４を少なくとも部分的に遮り、交通信号機５０２を遮らない。その結果、太陽５０４が、画像捕捉デバイスの視野に位置付けられており、かつ画像捕捉デバイスの視点から交通信号機５０２に実質的に近接して位置付けられているにもかかわらず、ワイパ６０２のその位置への動きは、画像アーチファクトを防止するのに役立ち、それによって、捕捉された画像６００での交通信号機５０２の十分な可視性につながった。したがって、コンピューティングシステムは、交通信号機５０２の上部の光が発光しているかどうか、したがって、コンピューティングシステムが交差点５００で停止するように車両２００を操作すべきかどうかを判定するための根拠として、画像６００を使用することができる。
同様に、図７は、自律車両２００の画像捕捉デバイスが遭遇する太陽光の範囲を制御するためのエレクトロクロミックデバイス（図示せず）の使用を示す。具体的には、図７は、エレクトロクロミックデバイスの使用により十分な品質になった捕捉された画像７００を示す。すなわち、コンピューティングシステムは、エレクトロクロミックデバイスを通過する光の量を低減し、したがって、画像捕捉デバイスが遭遇する光の範囲を低減するように、エレクトロクロミックデバイスの不透明度を色付き状態に変更した。その結果、太陽５０４が、画像捕捉デバイスの視野に位置付けられており、かつ画像捕捉デバイスの視点から交通信号機５０２に実質的に近接して位置付けられているにもかかわらず、エレクトロクロミックデバイスに対するこの調整は、ブルーミングを防止するのに役立ち、それによって、捕捉された画像６００での交通信号機５０２の十分な可視性につながった。したがって、コンピューティングシステムは、交通信号機５０２の上部の光が発光しているかどうか、したがって、コンピューティングシステムが交差点５００で停止するように車両２００を操作すべきかどうかを判定するための根拠として、画像６００を使用することができる。他の図も可能である。
さらなる態様では、捕捉された画像の品質に影響を与えることになる他の状況が発生し得、光制御機能は、それらの他の状況も同様に克服するのに役立ち得る。
例として、画像捕捉デバイスは、とりわけ、風防ガラスまたはハウジングのガラスなどの表面を通して環境の画像を捕捉するように配置され得る。しかしながら、残念ながら、表面は、表面を汚染し得る環境の態様（例えば、汚れまたは他の破片の蓄積）に曝され得る。いくつかの場合では、この状況は、画像捕捉デバイスが遭遇する外部光の範囲の大幅な減少をもたらし得、これは、捕捉された画像の品質を大幅に低減し得る。一方、他の場合では、この状況は、画像捕捉デバイスが遭遇する外部光の範囲の大幅な増加をもたらし得、これはまた、捕捉された画像の品質を大幅に低減し得る。いずれの場合でも、コンピューティングシステムは、捕捉された画像を評価して、このような汚染の兆候を検出する（例えば、表面上の汚れの蓄積を識別する）ことができる。また、コンピューティングシステムが汚染の兆候を検出する場合、コンピューティングシステムはそれに応じて、汚染を除去しようとして移動するようにワイパを操作し、それによって、画像捕捉デバイスが遭遇する光の範囲を制御するための別の方法を提供することができる。
別の例では、画像捕捉デバイスは、とりわけ、風防ガラスまたはハウジングのガラスなどの表面を通して環境の画像を捕捉するように配置され得る。しかしながら、残念ながら、表面は、損傷を受けることになり得る（例えば、ガラスには、傷が付くかまたは亀裂が入り得る）。実際には、損傷は、表面を通過する光の量を低減することなどによって、画像捕捉デバイスが遭遇する外部光の範囲の大幅な減少をもたらし得、これは、捕捉された画像の品質を大幅に低減し得る。しかし、他の場合では、損傷は、画像センサに達する迷光の量を増加させることなどによって、画像捕捉デバイスが遭遇する外部光の範囲の大幅な増加をもたらし得、これはまた、捕捉された画像の品質を大幅に低減し得る。いずれの場合でも、コンピューティングシステムは、捕捉された画像を評価して、このような損傷の兆候を検出する（例えば、画像捕捉デバイスの視野の外側から到達する迷光を検出する）ことができる。また、コンピューティングシステムが損傷の兆候を検出する場合、コンピューティングシステムはそれに応じて、損傷を軽減しようと試みてワイパを操作することができる。例えば、コンピューティングシステムはそれに応じて、画像捕捉デバイスの視野の外側である位置などへ、光が問題の表面の損傷部分を通過するのを遮る位置へワイパを移動させ、それによって、画像捕捉デバイスが遭遇する光の範囲を制御するための別の方法を提供することができる。他の例も可能である。
Ｖ．例示的方法
図８は、実装形態例による、方法８００を示すフローチャートである。図８に示される方法８００（ならびに本明細書で開示される他のプロセスおよび方法）は、例えば、他の可能なシステムの中でもとりわけ、図１～図７に示されるシステムのいずれかを含む配置内で（またはより具体的に、プロセッサ、および本明細書で説明される機能をデバイスに実行させるように実行可能な命令を有する非一時的なコンピュータ可読媒体などの、その１つ以上の構成要素またはサブシステムによって）実装され得る方法を提示する。
方法８００ならびに本明細書で開示される他のプロセスおよび方法は、例えば、ブロック８０２～８０６のうちの１つ以上によって示されるような、１つ以上の動作、機能、またはアクションを含み得る。ブロックは、連続した順序で示されているが、これらのブロックはまた、並行して、および／または本明細書で説明されるものとは異なる順序で行われ得る。また、様々なブロックは、より少ないブロックに組み合わされ、追加のブロックに分割され、かつ／または所望の実装形態に基づいて除去されてもよい。
加えて、方法８００ならびに本明細書で開示される他のプロセスおよび方法について、フローチャートは、本開示のうちの１つの可能な実装形態の機能および動作を示す。これに関して、各ブロックは、プロセスでの特定の論理機能またはステップを実装するためのプロセッサによって実行可能な１つ以上の命令を含む、モジュール、セグメント、またはプログラムコードの一部を表し得る。プログラムコードは、例えば、ディスクまたはハードドライブを含むストレージデバイスのような任意のタイプのコンピュータ可読媒体に格納することができる。コンピュータ可読媒体は、例えば、レジスタメモリ、プロセッサキャッシュ、およびランダムアクセスメモリ（ＲＡＭ）のような短期間にデータを格納するコンピュータ可読媒体などの非一時的なコンピュータ可読媒体を含み得る。コンピュータ可読媒体は、例えばリードオンリーメモリ（ＲＯＭ）、光ディスクまたは磁気ディスク、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）のような補助ストレージまたは永続長期ストレージなどの非一時的なコンピュータ可読媒体を含むこともできる。コンピュータ可読媒体は、任意の他の揮発性または不揮発性ストレージシステムとすることもできる。コンピュータ可読媒体は、例えばコンピュータ可読ストレージ媒体、または有形のストレージデバイスであると考えることができる。加えて、方法８００ならびに本明細書で開示される他のプロセスおよび方法について、図８での各ブロックは、プロセスでの特定の論理機能を行うように配線された回路を表し得る。
ブロック８０２で、方法８００は、画像捕捉デバイスによって生成される画像データの品質が、画像捕捉デバイスが遭遇するか、または遭遇すると予想される外部光により閾値品質未満であるか、または閾値品質未満であると予想されるという判定を行う、コンピューティングシステムを含み得る。一般的に、画像捕捉デバイスは、車両に結合され得、車両は、画像捕捉デバイスが遭遇する外部光の範囲を制御するように調整可能である光制御機能を含み得る。加えて、ブロック８０４で、方法８００は、判定に応答して、画像捕捉デバイスが遭遇するか、または遭遇すると予想される外部光の範囲を制御するように光制御機能に対する調整を行うコンピューティングシステムを含み得る。さらに、ブロック８０６で、方法８００は、画像捕捉デバイスによって生成される画像データに少なくとも基づいて車両を操作することを含み得る。
図９は、実装形態例による、別の方法９００を示すフローチャートである。ブロック９０２で、方法９００は、光源が、画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の物体に近接しているという判定を行うコンピューティングシステムを含み得る。ここでまた、画像捕捉デバイスは、車両に結合され得、車両は、画像捕捉デバイスが遭遇する外部光の範囲を制御するように調整可能である光制御機能を含み得る。加えて、ブロック９０４で、方法９００は、判定に応答して、画像捕捉デバイスの視野での光源の少なくとも一部を遮るように光制御機能に対する調整を行うコンピューティングシステムを含み得る。
図１０は、実装形態例による、さらに別の方法１０００を示すフローチャートである。ブロック１００２で、方法１０００は、光源が、画像捕捉デバイスの視点からの画像捕捉デバイスの視野内の物体に近接しているという判定を行うコンピューティングシステムを含み得る。一般的に、画像捕捉デバイスは、車両の一部であり得、車両はまた、画像捕捉デバイスの視野に対して移動可能である機械デバイスを含み得る。加えて、ブロック１００４で、方法１０００は、判定に応答して、画像捕捉デバイスの視野での光源からの光の少なくとも一部を遮るように機械デバイスの動きをもたらすコンピューティングシステムを含み得る。さらに、ブロック１００６で、方法１０００は、画像捕捉デバイスによって生成される画像データに基づいて車両を操作するコンピューティングシステムを含み得る。
ＶＩ．例示的なコンピュータプログラム製品
図１１は、実装形態例による、コンピュータプログラムの概略図である。いくつかの実装形態では、開示された方法は、機械可読フォーマットの非一時的なコンピュータ可読ストレージ媒体上、または他の非一時的な媒体もしくは製造物品上に符号化されたコンピュータプログラム命令として実装され得る。
例示的な実装形態では、コンピュータプログラム製品１１００は、信号担持媒体１１０２を使用して提供され、それは、１つ以上のプロセッサによって実行されるときに、図１～図１０に関して上記で説明した機能または機能の一部を提供し得る１つ以上のプログラミング命令１１０４を含み得る。いくつかの例では、信号担持媒体１１０２は、ハードディスクドライブ、ＣＤ、ＤＶＤ、デジタルテープ、メモリ、遠隔に（例えば、クラウド上に）格納するための構成要素などであるがこれらに限定されない非一時的なコンピュータ可読媒体１１０６を包含し得る。いくつかの実装形態では、信号担持媒体１１０２は、メモリ、読み取り／書き込み（Ｒ／Ｗ）ＣＤ、Ｒ／ＷＤＶＤなどであるがこれらに限定されないコンピュータ記録可能媒体１１０８を包含し得る。いくつかの実装形態では、信号担持媒体１１０２は、デジタルおよび／またはアナログ通信媒体（例えば、光ファイバケーブル、導波路、有線通信リンク、無線通信リンクなど）などであるがこれらに限定されない通信媒体１１１０を包含し得る。同様に、信号担持媒体１１０２は、リモートストレージ（例えば、クラウド）に対応し得る。コンピューティングシステムは、情報を送信または受信することを含めて、情報をクラウドと共有し得る。例えば、コンピューティングシステムは、センサまたは別のエンティティから取得した情報を補強するために、クラウドから追加情報を受信し得る。このため、例えば、信号担持媒体１１０２は、無線形態の通信媒体１１１０によって伝達されてもよい。
１つ以上のプログラミング命令１１０４は、例えば、コンピュータ実行可能および／または論理実装された命令であってもよい。いくつかの例では、図１のコンピュータシステム１１２、もしくは図３のリモートコンピューティングシステム３０２、および、場合によっては、サーバコンピューティングシステム３０６、または図４Ａのプロセッサのうちの１つなどのコンピューティングデバイスは、コンピュータ可読媒体１１０６、コンピュータ記録可能媒体１１０８、および／または通信媒体１１１０のうちの１つ以上によってコンピュータシステム１１２に伝達されるプログラミング命令１１０４に応答して、様々な動作、機能、またはアクションを提供するように構成され得る。
非一時的なコンピュータ可読媒体はまた、複数のデータストレージ要素および／またはクラウドの間に（例えば、遠隔で）分散させることもでき、これらは互いに遠隔に配置することができる。格納された命令の一部またはすべてを実行するコンピューティングデバイスは、図２に図解された車両２００などの車両であり得る。代替的に、格納された命令の一部またはすべてを実行するコンピューティングデバイスは、サーバなどの別のコンピューティングデバイスであり得る。
上の発明を実施するための形態は、開示されるシステム、デバイス、および方法の様々な特徴および動作を添付の図を参照しながら述べている。本明細書では様々な態様および実施形態が開示されてきたが、他の態様および実施形態は明らかであろう。本明細書に開示される様々な態様および実施形態は、例証を目的とするものであり、限定することを意図するものではなく、真の範囲は、以下の特許請求の範囲によって示される。
ＶＩＩ．結論
図に示されている特定の構成は、限定であるとみなされるべきではない。他の実装形態は、所与の図に示される各要素をより多く、またはより少なく含むことができることを理解されたい。さらに、図示の要素のうちのいくつかは、組み合わせることができるか、または省略することができる。さらには、例示的な実装形態は、図に示されていない要素を含んでいてもよい。
加えて、様々な態様および実装形態が本明細書において開示されているが、他の態様および実装形態は当業者には明らかであろう。本明細書において開示される様々な態様および実装形態は、例示を目的とするものであり、限定することを意図するものではなく、真の範囲および趣旨は、以下の特許請求の範囲により示される。本明細書において提示される主題の趣旨または範囲から逸脱することなく、他の実装形態を利用することができ、他の変更を行うことができる。本明細書で一般的に説明され、かつ図に示されている、本開示の態様は、多種多様な異なる構成で配置、置換、結合、分離、および設計され得、そのすべてが本明細書で企図されることは容易に理解されるであろう。

Claims (19)

  1. コンピューティングシステムによって、画像捕捉デバイスによって生成される画像データの品質が、前記画像捕捉デバイスが遭遇するか、または遭遇すると予想される外部光により閾値品質未満であるか、または閾値品質未満であると予想されるという判定を行うことであって、当該判定を行うことが、光源が、前記画像捕捉デバイスの視点からの前記画像捕捉デバイスの視野内の物体に近接しているか、または近接していると予想されることを判定することを含み、前記画像捕捉デバイスが、車両に結合されており、前記車両が、前記画像捕捉デバイスが遭遇する外部光の範囲を制御するように調整可能である光制御機能を含む、判定を行うことと、
    前記判定に応答して、前記コンピューティングシステムによって、前記画像捕捉デバイスが遭遇するか、または遭遇すると予想される外部光の前記範囲を制御するように前記光制御機能に対する調整を行うことと、
    前記画像捕捉デバイスによって生成される画像データに少なくとも基づいて前記車両を操作することと、を含む、方法。
  2. 前記判定を行うことが、（ｉ）ブルーミング、（ｉｉ）過飽和、（ｉｉｉ）外部光への閾値高露光、（ｉｖ）外部光への閾値低露光、（ｖ）閾値低解像度を有する画像データの生成、および（ｖｉ）物体の検出または識別に使用できない画像データの生成のうちの１つ以上に、前記画像捕捉デバイスが遭遇するか、または遭遇すると予想されることを判定することを含む、請求項１に記載の方法。
  3. 前記光制御機能がワイパを備え、前記調整を行うことが、前記画像捕捉デバイスが遭遇するか、または遭遇すると予想される外部光の前記範囲を制御するように前記ワイパの位置を調整することを含む、請求項１に記載の方法。
  4. 前記ワイパの位置を調整することが、前記画像捕捉デバイスに対して、および外部光を生成する光源に対して、前記ワイパの位置を調整することを含む、請求項３に記載の方法。
  5. 前記画像捕捉デバイスが、前記車両に結合されたハウジング内に配置されており、前記ワイパが前記ハウジングに結合されている、請求項３に記載の方法。
  6. 前記光制御機能が、調整可能な光透過特性を有する光制御デバイスを備え、前記調整を行うことが、前記画像捕捉デバイスが遭遇するか、または遭遇すると予想される外部光の前記範囲を制御するように前記光制御デバイスの光透過特性を調整することを含む、請求項１に記載の方法。
  7. 前記光制御デバイスがエレクトロクロミックデバイスである、請求項６に記載の方法。
  8. 前記調整が、前記画像捕捉デバイスによって生成される画像データの品質を前記閾値品質よりも高くすることに基づく、請求項１に記載の方法。
  9. 前記調整を行うことが、前記画像捕捉デバイスが遭遇するか、または遭遇すると予想される外部光の前記範囲を減少させるように前記光制御機能に対する調整を行うことを含む、請求項１に記載の方法。
  10. 前記調整を行うことが、前記画像捕捉デバイスが遭遇するか、または遭遇すると予想される外部光の前記範囲を増加させるように前記光制御機能に対する調整を行うことを含む、請求項１に記載の方法。
  11. コンピューティングシステムによって、画像捕捉デバイスによって生成される画像データの品質が、前記画像捕捉デバイスが遭遇するか、または遭遇すると予想される外部光により閾値品質未満であるか、または閾値品質未満であると予想されるという判定を行うことであって、当該判定を行うことが、光源が、前記画像捕捉デバイスの視点からの前記画像捕捉デバイスの視野内の物体に近接しているという判定を行うことを含み、前記画像捕捉デバイスが、車両に結合されており、前記車両が、前記画像捕捉デバイスが遭遇する外部光の範囲を制御するように調整可能である光制御機能を含む、判定を行うことと、
    前記判定に応答して、前記コンピューティングシステムによって、前記画像捕捉デバイスの前記視野での前記光源の少なくとも一部を遮るように前記光制御機能に対する調整を行うことと、
    前記コンピューティングシステムによって、前記画像捕捉デバイスによって生成される画像データに少なくとも基づいて前記車両を操作することと、を含む、方法。
  12. 前記光源が太陽である、請求項１１に記載の方法。
  13. 前記物体が、交通信号機である、請求項１１に記載の方法。
  14. 前記コンピューティングシステムによって、前記光制御機能に対する前記調整中、画像データを生成するように前記画像捕捉デバイスを操作することであって、前記画像データが複数の画像を備える、操作することをさらに含み、
    前記画像捕捉デバイスによって生成される画像データに少なくとも基づいて前記車両を操作することが、前記光制御機能が前記画像捕捉デバイスの前記視野での前記光源の少なくとも一部を遮る、前記複数の画像の中から、特定の画像に少なくとも基づいて前記車両を操作することを含む、請求項１１に記載の方法。
  15. 前記光制御機能に対する前記調整が、前記画像捕捉デバイスの視野にわたって前記光制御機能を漸進的に移動させる、請求項１４に記載の方法。
  16. 車両であって、
    前記車両の周りの環境を表す画像データを生成するように構成された画像捕捉デバイスと、
    前記画像捕捉デバイスの視野に対して移動可能である機械デバイスと、
    コンピューティングシステムと、を備え、前記コンピューティングシステムが、
    前記画像捕捉デバイスによって生成される画像データの品質が、前記画像捕捉デバイスが遭遇するか、または遭遇すると予想される外部光により閾値品質未満であるか、または閾値品質未満であると予想されるという判定を行うことであって、当該判定を行うことが、光源が、前記画像捕捉デバイスの視点からの前記画像捕捉デバイスの前記視野内の物体に近接しているという判定することを含む、判定を行うことと、
    前記判定に応答して、前記画像捕捉デバイスの前記視野での前記光源からの光の少なくとも一部を遮るように前記機械デバイスの動きをもたらすことと、
    前記画像捕捉デバイスによって生成される画像データに基づいて前記車両を操作するように構成されている、車両。
  17. 前記画像捕捉デバイスの前記視野での前記光源の少なくとも一部を遮るように前記機械デバイスの動きをもたらすことが、前記画像捕捉デバイスが遭遇する外部光の範囲を変える漸進的な動きをもたらすことを含む、請求項１６に記載の車両。
  18. 前記コンピューティングシステムが、前記機械デバイスの前記動きの間、画像データを生成するように前記画像捕捉デバイスを操作するようにさらに構成されており、前記画像データが複数の画像を備え、
    前記画像捕捉デバイスによって生成される画像データに基づいて前記車両を操作することが、前記機械デバイスが前記画像捕捉デバイスの前記視野での前記光源の少なくとも一部を遮る、前記複数の画像の中から、特定の画像に少なくとも基づいて前記車両を操作することを含む、請求項１６に記載の車両。
  19. 前記特定の画像がまた、前記物体が見えるものである、請求項１８に記載の車両。
JP2020531521A 2017-12-14 2018-12-03 自動運転車両の画像捕捉デバイスが遭遇する光の範囲を制御するための方法およびシステム Active JP7069318B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/842,182 US10558873B2 (en) 2017-12-14 2017-12-14 Methods and systems for controlling extent of light encountered by an image capture device of a self-driving vehicle
US15/842,182 2017-12-14
PCT/US2018/063639 WO2019118219A1 (en) 2017-12-14 2018-12-03 Methods and systems for controlling extent of light encountered by an image capture device of a self-driving vehicle

Publications (2)

Publication Number Publication Date
JP2021508960A JP2021508960A (ja) 2021-03-11
JP7069318B2 true JP7069318B2 (ja) 2022-05-17

Family

ID=66814588

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020531521A Active JP7069318B2 (ja) 2017-12-14 2018-12-03 自動運転車両の画像捕捉デバイスが遭遇する光の範囲を制御するための方法およびシステム

Country Status (7)

Country Link
US (2) US10558873B2 (ja)
EP (1) EP3713804A4 (ja)
JP (1) JP7069318B2 (ja)
KR (1) KR102366659B1 (ja)
CN (1) CN111527016B (ja)
IL (1) IL275171B1 (ja)
WO (1) WO2019118219A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019186699A (ja) * 2018-04-06 2019-10-24 キヤノン株式会社 撮像装置
US10962770B2 (en) * 2018-11-02 2021-03-30 Pony Ai Inc. Method for controlling camera exposure to augment a wiper system of a sensor enclosure
US11635326B2 (en) * 2019-04-02 2023-04-25 Waymo Llc Stray-light testing station
US10791324B1 (en) * 2019-04-17 2020-09-29 Waymo Llc On-car stray-light testing cart
US11180117B2 (en) * 2019-08-31 2021-11-23 Light Labs Inc. Methods and apparatus for capturing and using images in a system including wipers
US11343435B2 (en) * 2019-12-26 2022-05-24 Waymo Llc Microlensing for real-time sensing of stray light
CN112466124A (zh) * 2020-11-30 2021-03-09 重庆长安汽车股份有限公司 前视摄像头使用场景优化方法、系统、车辆及存储介质
JP2022172945A (ja) * 2021-05-07 2022-11-17 ウーブン・プラネット・ホールディングス株式会社 遠隔支援システム及び遠隔支援方法
CN113232677A (zh) * 2021-05-10 2021-08-10 前海七剑科技(深圳)有限公司 车辆驾驶辅助控制方法、控制系统、电子设备及存储介质
US11924527B2 (en) * 2022-05-10 2024-03-05 GM Global Technology Operations LLC Optical sensor activation and fusion

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006135770A (ja) 2004-11-08 2006-05-25 Denso Corp 撮像装置及び監視装置
WO2017112690A1 (en) 2015-12-22 2017-06-29 Uber Technologies, Inc. Intelligent lens masking system for an autonomous vehicle

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7339149B1 (en) * 1993-02-26 2008-03-04 Donnelly Corporation Vehicle headlight control using imaging sensor
US6009355A (en) * 1997-01-28 1999-12-28 American Calcar Inc. Multimedia information and control system for automobiles
US6049171A (en) * 1998-09-18 2000-04-11 Gentex Corporation Continuously variable headlamp control
WO1999033684A2 (en) 1997-12-31 1999-07-08 Gentex Corporation Vehicle vision system
US6426492B1 (en) 1999-05-24 2002-07-30 Donnelly Corporation Electro-optic aperture for vehicular imaging system
US6666493B1 (en) 2002-12-19 2003-12-23 General Motors Corporation Automatic sun visor and solar shade system for vehicles
DE10337357A1 (de) * 2003-08-14 2005-03-10 Adc Automotive Dist Control Verfahren und Vorrichtung zur Beleuchtungssteuerung für eine Kamera
US20060140502A1 (en) 2004-12-25 2006-06-29 Allan Tseng Active visor system for eliminating glare in field-of-vision from mobile and transient light sources and reflective surfaces
DE102007010870A1 (de) * 2006-03-07 2007-09-27 Asmo Co., Ltd., Kosai Automatische Sonnenblendenvorrichtung
EP2351351B1 (en) 2008-10-01 2015-09-16 Connaught Electronics Limited A method and a system for detecting the presence of an impediment on a lens of an image capture device to light passing through the lens of an image capture device
US8392074B2 (en) 2009-10-23 2013-03-05 GM Global Technology Operations LLC Automatic controller for powered retractable sun visor
JP5287838B2 (ja) 2010-03-16 2013-09-11 株式会社デンソー 表示位置設定装置
JP5892876B2 (ja) 2011-07-28 2016-03-23 クラリオン株式会社 車載用環境認識装置
US10338385B2 (en) * 2011-12-14 2019-07-02 Christopher V. Beckman Shifted reality display device and environmental scanning system
JP6028382B2 (ja) 2012-04-27 2016-11-16 株式会社デンソー 前方監視カメラ
JP6120395B2 (ja) 2012-07-03 2017-04-26 クラリオン株式会社 車載装置
JP2014044196A (ja) * 2012-07-30 2014-03-13 Ricoh Co Ltd 付着物検出装置、移動装置用機器制御システム及び移動装置
KR20140045744A (ko) * 2012-10-09 2014-04-17 현대자동차주식회사 선바이저 구동 제어장치 및 방법
US9367065B2 (en) 2013-01-25 2016-06-14 Google Inc. Modifying behavior of autonomous vehicles based on sensor blind spots and limitations
US9154697B2 (en) * 2013-12-06 2015-10-06 Google Inc. Camera selection based on occlusion of field of view
IL236114A (en) * 2014-12-07 2016-04-21 Yoav Grauer Improved object recognition in the reimbursement-based imaging unit
US10507807B2 (en) * 2015-04-28 2019-12-17 Mobileye Vision Technologies Ltd. Systems and methods for causing a vehicle response based on traffic light detection
EP3292024A4 (en) * 2015-05-06 2018-06-20 Magna Mirrors of America, Inc. Vehicle vision system with blind zone display and alert system
WO2016197307A1 (en) 2015-06-08 2016-12-15 SZ DJI Technology Co., Ltd. Methods and apparatus for image processing
JP6519355B2 (ja) 2015-06-30 2019-05-29 株式会社デンソー カメラ装置及び車載システム
WO2017053040A1 (en) * 2015-09-21 2017-03-30 Proteq Technologies Llc Active glare suppression system
US9720415B2 (en) 2015-11-04 2017-08-01 Zoox, Inc. Sensor-based object-detection optimization for autonomous vehicles
US9965696B2 (en) 2015-12-31 2018-05-08 James Alves Digital camera control system
US10086956B2 (en) * 2016-01-27 2018-10-02 Amazon Technologies, Inc. Light adjustment control for cameras of an aerial vehicle
US20170219374A1 (en) 2016-01-28 2017-08-03 Toyota Motor Engineering & Manufacturing North America, Inc. Navigation system and method for determining a vehicle route optimized for maximum solar energy reception
US9702183B1 (en) * 2016-02-26 2017-07-11 Toyota Motor Engineering & Manufacturing North America, Inc. Smart sunshade for a vehicle window
CN108883725B (zh) * 2016-03-06 2021-02-23 预见汽车有限责任公司 一种行驶车辆警报系统和方法
JP6819076B2 (ja) 2016-05-17 2021-01-27 株式会社デンソー 走行計画作成装置及びセンタ
WO2018057492A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Camera shades
US10921142B2 (en) * 2017-12-14 2021-02-16 Waymo Llc Methods and systems for sun-aware vehicle routing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006135770A (ja) 2004-11-08 2006-05-25 Denso Corp 撮像装置及び監視装置
WO2017112690A1 (en) 2015-12-22 2017-06-29 Uber Technologies, Inc. Intelligent lens masking system for an autonomous vehicle

Also Published As

Publication number Publication date
US20190188502A1 (en) 2019-06-20
WO2019118219A1 (en) 2019-06-20
CN111527016B (zh) 2023-06-09
KR102366659B1 (ko) 2022-02-23
EP3713804A1 (en) 2020-09-30
CN111527016A (zh) 2020-08-11
EP3713804A4 (en) 2021-07-21
US20200151468A1 (en) 2020-05-14
KR20200086754A (ko) 2020-07-17
JP2021508960A (ja) 2021-03-11
US10558873B2 (en) 2020-02-11
IL275171A (en) 2020-07-30
IL275171B1 (en) 2024-01-01

Similar Documents

Publication Publication Date Title
JP7069318B2 (ja) 自動運転車両の画像捕捉デバイスが遭遇する光の範囲を制御するための方法およびシステム
JP7149331B2 (ja) 太陽認識車両ルーティングのための方法およびシステム
US11804049B2 (en) Vision-based indicator signal detection using spatiotemporal filtering
JP7080977B2 (ja) 高速画像読み出しおよび処理
US11653108B2 (en) Adjustable vertical field of view
US20240106987A1 (en) Multi-Sensor Assembly with Improved Backward View of a Vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220502

R150 Certificate of patent or registration of utility model

Ref document number: 7069318

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150