JP6599986B2 - きめの細かい画像分類のためのハイパークラス拡張化および正則化深層学習 - Google Patents

きめの細かい画像分類のためのハイパークラス拡張化および正則化深層学習 Download PDF

Info

Publication number
JP6599986B2
JP6599986B2 JP2017526087A JP2017526087A JP6599986B2 JP 6599986 B2 JP6599986 B2 JP 6599986B2 JP 2017526087 A JP2017526087 A JP 2017526087A JP 2017526087 A JP2017526087 A JP 2017526087A JP 6599986 B2 JP6599986 B2 JP 6599986B2
Authority
JP
Japan
Prior art keywords
fine
data
hyperclass
vehicle
grained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017526087A
Other languages
English (en)
Other versions
JP2018503161A (ja
Inventor
ティアンバオ ヤン、
シャオユ ワン、
ユェンチン リン、
サイニン シエ、
Original Assignee
エヌイーシー ラボラトリーズ アメリカ インクNEC Laboratories America, Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US201462079316P priority Critical
Priority to US62/079,316 priority
Priority to US14/884,600 priority
Priority to US14/884,600 priority patent/US20160140438A1/en
Application filed by エヌイーシー ラボラトリーズ アメリカ インクNEC Laboratories America, Inc. filed Critical エヌイーシー ラボラトリーズ アメリカ インクNEC Laboratories America, Inc.
Priority to PCT/US2015/055943 priority patent/WO2016077027A1/en
Publication of JP2018503161A publication Critical patent/JP2018503161A/ja
Application granted granted Critical
Publication of JP6599986B2 publication Critical patent/JP6599986B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computer systems based on biological models
    • G06N3/02Computer systems based on biological models using neural network models
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computer systems based on biological models
    • G06N3/02Computer systems based on biological models using neural network models
    • G06N3/04Architectures, e.g. interconnection topology
    • G06N3/0454Architectures, e.g. interconnection topology using a combination of multiple neural nets
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computer systems based on biological models
    • G06N3/02Computer systems based on biological models using neural network models
    • G06N3/08Learning methods
    • G06N3/084Back-propagation

Description

本出願は、2014年11月13日に出願した仮出願62/079316、および2015年10月15日に出願した実用出願14/884600の優先権を主張するものであり、これらの内容は、参照によって組み込まれている。

本出願は、きめの細かい画像分類のためのハイパークラス拡張化および正則化深層学習に関する。

深層畳み込みニューラルネットワーク(CNN)は、大規模な包括的対象認識において大成功しているが、深層畳み込みニューラルネットワークは、きめの細かい画像分類(FGIC)においてとても成功している。包括的対象認識と比較すると、(i)多数のきめの細かいラベル付きデータを取得するのに費用が高くつき(通常、特定分野の専門的技術が必要である)、(ii)大きいクラス内分散および小さいクラス間分散のため、FGICには課題がある。少しの訓練データで画像認識用の深層CNNを使用する従来のシステムは、大規模外部データセット(例えばImageNet)上での深層CNNを事前学習し、特定の分類タスクに適合するための小規模ターゲットデータ上でそれを微調整することを含む単純な戦略を採用している。しかしながら、包括的なデータセットから学習される特徴は、特定のFGICタスクに適していないことがあり、したがってその性能を制限することがある。

1つ以上のハイパークラスによって注釈が付けられたラベル付きデータを使用してきめの細かい画像認識からのデータを拡張すること、多重タスク深層学習を実施すること、きめの細かい分類およびハイパークラス分類を同じ特徴層を共有し、かつ、学習できるようにすること、および、多重タスク深層学習における正則化を適用して、きめの細かいクラスとハイパークラスとの間の1つ以上の関係を利用することによって、学習機械を訓練するためのシステムおよび方法が開示される。

好ましい実施態様の利点には、以下のうちの1つ以上を含み得る。システムは、2つのタスク(きめの細かい分類およびハイパークラス分類)が同じ特徴層を共有し、かつ、学習できる、多重タスク深層学習を提供する。多重タスク深層学習における正則化技術は、分類器レベルで学習プロセスの明確なガイダンスを提供する、きめの細かいクラスとハイパークラスとの間の関係を利用している。クラス内分散を説明する要因クラスを利用する場合、本出願人らの学習モデルエンジンは、大きいクラス内分散の問題を軽減し、汎化能力(generalization performance)を改善することができる。

図1Aおよび1Bは、深層CNNを学習するための体系的なフレームワークを有する画像分類器を示す図である。 図2A〜2Bは、ハイパークラスときめの細かいクラスとの間の2つのタイプの関係を示す図である。 図3は、図1A〜1Bの画像分類器を有する自律運転システムを示す図である。

図1Aおよび1Bは、深層CNNを学習するための体系的なフレームワークを有する画像分類器を示す。システムは、(i)きめの細かいデータに固有の注釈付きハイパークラスを容易に識別し、容易に利用することができる外部ソース(例えば画像探索エンジン)から多数のハイパークラスラベル付き画像を取得し、問題を多重タスク学習に定式化すること、(ii)きめの細かい認識モデルエンジンとハイパークラス認識モデルエンジンとの間の正則化を利用することによる学習モデルエンジン、といった2つの新しい観点から、分類課題に対処する。

図1A〜1Bは、2種類のハイパークラスを示す。図1Aは、例示的ハイパークラス拡張化深層CNNを示し、一方、図1Bは、例示的ハイパークラス拡張化および正則化深層CNNを示す。システムは、FGIC用の深層CNNを学習する課題に明確に取り組むための、原則に基づいた手法を提供する。本出願人らのシステムは、データ不足問題に対処するためのタスク特化データ拡張手法を提供する。本出願人らは、きめの細かいデータの固有属性であるいくつかのハイパークラスによって注釈が付けられた、容易に利用することができるデータを使用して、きめの細かい画像認識のデータを拡張する。本出願人らは、一方が、一組のきめの細かいクラスを包含するスーパクラスであり、もう一方が、大きいクラス内分散を説明する要因クラスと呼ばれている(例えば自動車の異なる視点)、2つの共通のタイプのハイパークラスを使用する。次に、本出願人らは、問題を多重タスク深層学習の中に定式化し、2つのタスク(きめの細かい分類およびハイパークラス分類)が同じ特徴層を共有し、かつ、学習できることを可能にする。多重タスク深層学習における正則化技術は、学習プロセスに対する明確なガイダンスを分類器レベルで提供する、きめの細かいクラスとハイパークラスとの間の関係を利用する。クラス内分散を説明する要因クラスを利用する場合、開示した学習モデルエンジンは、大きいクラス内分散の問題を軽減し、汎化能力を改善することができる。本出願人らは、本出願人らの新しいフレームワークをハイパークラス拡張化および正則化深層学習と呼んでいる。

図1A〜1Bのハイパークラス拡張化および正則化深層学習システムでは、FGICの第1の課題は、きめの細かいラベルを取得するのに費用が高くつき、集中的な労働および特定分野の専門的技術を必要とすることである。したがって、ラベル付き訓練は、通常、過剰適合を伴うことなく深層CNNを訓練するには十分に大きくない。第2の課題は、大きいクラス内分散対小さいクラス間分散である。第1の課題に対処するために、本出願人らは、データ拡張方法を使用する。この着想は、きめの細かいデータの固有属性であり、はるかに容易に注釈が付けられ得る、いくつかのハイパークラスによってラベルが付けられた多数の補助画像を使用して、きめの細かいデータを拡張することである。第2の課題に対処するために、本出願人らは、拡張データを利用する深層CNNモデルエンジンを使用する。

次に、ハイパークラスデータ拡張について説明する。視覚的な認識における既存のデータ拡張手法は、大抵、並進(複数のバッチをクロッピングする)、反射および画像へのランダムノイズの追加に基づいている。しかしながら、異なるきめの細かいクラスからのパッチは互いにより類似しており、そのためにそれらの区別をますます困難にし得るため、きめの細かい画像分類のためのそれらの改善は限られている。本出願人らは、限られた数のラベル付きのきめの細かい画像の問題に対処するための新規なデータ拡張手法を開示する。本出願人らの手法は、画像が、きめの細かいクラスに加えて、きめの細かいクラスよりはるかに少ない努力で注釈が付けられ得る他の固有の「属性」を有し、したがってこれらの固有の属性によって注釈が付けられた多数の画像を容易に取得され得ることによって鼓舞される。本出願人らは、これらの容易に注釈が付けられる固有属性をハイパークラスと呼ぶ。

図2A〜2Bは、ハイパークラス(図2A)ときめの細かいクラス(図2B)との間の2つのタイプの関係を示す。最も一般的なハイパークラスは、一組のきめの細かいクラスを包含しているスーパクラスである。例えば、きめの細かい犬または猫の画像は、犬または猫によって容易に識別できる。本出願人らは、高速人間ラベル付け(fast human labeling)によって、または画像探索エンジンなどの外部ソースから、多数の犬および猫の画像を取得することができる。学習を与えられた訓練データ(クラス階層が分かっていると仮定するか、またはデータからクラス階層を推測するかのいずれか)に限定する従来の手法とは異なり、本出願人らの手法は、学習された特徴の汎化能力を改善するために、可能な限り多くの補助画像の利用を可能にするデータ拡張に基づいている。

「一種の」関係を捕捉するスーパクラスに加えて、本出願人らは、関係を「有する」を捕捉するために、また、クラス内分散(例えばポーズ分散)を説明するために別の重要なハイパークラスを考慮する。以下の説明では、本出願人らは、きめの細かい自動車認識に着目する。製造(make)、モデルおよび年によって注釈が付けられた、きめの細かい自動車画像は、異なるビューから撮影でき、同じきめの細かいクラスからの画像は視覚的に著しく異なって見える。特定のきめの細かいクラスに対して、画像は、前方から、前面、側面、背面、後方へ変化する異なるビュー(すなわちハイパークラス)を有することが可能である。これは、自動車のクラスは単一のビューに所属しないため、スーパクラスときめの細かいクラスとの間のクラス階層とは全く異なる。また、異なるビューに対応するハイパークラスは、個々のきめの細かいクラスの異なる要因と見做される。発生上の観点から、自動車画像のきめの細かいクラスは、最初にそのビュー(ハイパークラス)を生成し、次に、ビューを与えられた、きめの細かいクラスを生成することによって生成することができる。これは、次のサブセクションで説明する本出願人らのモデルエンジンの確率的な基礎である。ハイパークラスは画像の隠れた要因と考えることができるため、本出願人らは、このタイプのハイパークラスを要因クラスと呼ぶ。スーパクラスと要因クラスの間の主な相違は、スーパクラスは、きめの細かいクラスによって必然的に含まれるが、要因クラスは、所定のきめの細かいクラスにとっては未知であることである。要因クラスの別の例は、人間の顔の異なる表情(幸福、怒り、微笑み、等々)である。クラス内分散は、本出願人らの最良の知識まで既に研究されているが、これは、クラス内分散を明確にモデル化して深層CNNの性能を改善するための第1の仕事である。

次に、本出願人らは、きめの細かい自動車認識を例として使用して、異なるビューによって注釈が付けられた多数の補助画像を獲得する方法について説明する。本出願人らは、オンライン画像探索エンジンの最近の進歩を利用することにより、効果的で、かつ、有効な手法を使用する。近代の画像探索エンジンは、所定のクエリ画像に対して視覚的に類似した画像を検索する能力を有する。例えばGoogleおよびBaiduは、クエリ画像として視覚的に類似した画像を見つけることができる。本出願人らは、Baiduによって検索される画像は、ビュー予測により適しており、一方、Google画像探索は、自動車を認識し、同じタイプの自動車を有する画像を返すことを試行することを見出した。本出願人らの実験では、本出願人らは、Baiduから検索される画像を本出願人らの拡張データとして使用する。

次に、ハイパークラス正則化学習モデルエンジンについて説明する。本出願人らのモデルエンジンの詳細を説明する前に、本出願人らは、最初に、本書類全体を通して使用されているいくつかの表記法および用語を紹介する。

画像

のきめの細かいクラスラベル(例えば自動車の製造、モデルおよび年)を示す

を一組のきめの細かい訓練画像とし、また、

を一組の補助画像とし、

は、画像

のハイパークラスラベル(例えば自動車の視点)を示す。νがスーパクラスを表す場合、本出願人らは、νをきめの細かいクラスcのスーパクラスとする。結果として、2つの用語「分類器」および「認識モデル」/「モデルエンジン」は、交換可能に使用される。

目標は、画像のきめの細かいクラスラベルを予測することができる認識モデルエンジンを学習することである。特に、本出願人らは、Pr(y|x)によって与えられる予測関数を学習することを目的としており、異なるきめの細かいクラスに属する可能性がある入力画像が与えられる。同様に、本出願人らは、Pr(y|x)がハイパークラス分類モデルエンジンを示すものとする。きめの細かい訓練画像および補助ハイパークラスラベル付き画像が与えられ、簡単な戦略は、共通の特徴を共有し、かつ、個別に分類器を学習することによって、多重タスク深層CNNを訓練することである。多重タスク深層学習を観察して、個々のタスクの性能を改善する。この単純な戦略をさらに改善するために、本出願人らは、きめの細かい分類器とハイパークラス分類器との間の正則化を利用することによる新規な多重タスク正則化学習フレームワークを開示する。本出願人らは、最初に、要因クラスによって正則化されたモデルエンジンを説明する。

次に、要因クラス正則化学習について説明する。要因クラスは、きめの細かいクラスを生成するための隠れた変数と見做すことが可能であり、したがって本出願人らは、

(1)
によってPr(y|x)をモデル化する。ここで、Pr(ν|x)は、任意の要因クラスνの確率であり、Pr(y|ν,x)は、要因クラスおよび入力画像xを与えられた任意のきめの細かいクラスの確率を規定する。本出願人らは、h(x)がxの高レベル特徴を示すものと仮定し、ソフトマックス関数

(2)
によって確率Pr(ν|x)をモデル化する。ここで、{uν}は、ハイパークラス分類モデルエンジンに対する重みを表す。すべての公式化において、バイアス項は本出願人らの説明には無関係であるため、バイアス項を無視していることに留意されたい。しかしながら、実際にはバイアス項は含まれるべきである。xの要因クラスνおよび高レベル特徴hが与えられると、確率Pr(y|ν,x)は、

(3)
によって計算される。ここで、{wν,c}は、要因に特化されたきめの細かい認識モデルエンジンの重みを表す。(2)および(3)を合わせ、本出願人らは、特定のきめの細かいクラスに対する以下の予測確率を有し、また、本出願人らは、この式を使用して最終予測を実施する。

(4)

本出願人らのモデルエンジンは、その根源を混合モデルに有しているが、自由パラメータとしてPr(ν|x)を取り扱う従来のほとんどの混合モデルとは異なり、本出願人らは、それを識別モデルとして公式化していることは注目に値する。本出願人らの正確な{uν}の学習を可能にしているのは、ハイパークラス拡張画像である。次に、本出願人らは、きめの細かい認識に対するD中のデータの負の対数尤度と、ハイパークラス認識に対するD中のデータの負の対数尤度を書き留めることができ、すなわち

(5)
である。

簡単ではない正則化を動機付けるために、要因特化重みwν,cが、対応する要因クラス分類器uνとして、同じような高レベル要因関連特徴を捕捉すべきである。そのために、本出願人らは、{wν,c}と{uν}の間の以下の正則化を導入する。


上記正則化は、


によりwν,cを正規のプライアとすることによって解釈できる。

(6)における正則化は、要因クラス認識モデルときめの細かい認識モデルの間で重みを共有する別の興味ある直観を享受する。これを調べるために、本出願人らはw’ν,c=wν,c−uνを導入し、また、(6)における正則化項(regularizer)を


として記述し、また、Pr(y=c|x)は

によって計算される。

きめの細かい分類器は、要因クラス分類器の同じ成分uνを共有することが分かる。したがって、開示したモデルを従来の浅い多重タスク学習に使用されている重み共有に接続する。

一方、スーパクラス正則化学習については、スーパクラスνがきめの細かいラベルcによって暗に示されるため、スーパクラス正則化深層学習に対する相違は、

によって単純にモデル化できるPr(y|ν,x)にある。したがって、正則化は、


になる。

同様の正則化が既に利用されていることが注目される。しかしながら、本出願人らの仕事との間には、スーパクラス分類用の重みuνが、本出願人らのモデルエンジンでは、ハイパークラス拡張画像から差別的に学習される点で、大きな相違が存在している。

一体化深層CNNが実施され得る。ハイパークラス拡張データおよび多重タスク正則化学習技法を使用することにより、本出願人らは、図1Bに示されている一体化深層CNNフレームワークに到達する。また、本出願人らは、最適化問題

を提示する。ここで、w,l=1,...,Hは、高レベル特徴h(x)を決定する際のCNNのすべての重みを表し、Hは、分類器層の前の層数を表し、また、r(w)は、暗黙の正則化パラメータ(または重み崩壊パラメータ)を備えた標準ユークリッドノルム平方正則化器を表す。

開示した深層学習モデルエンジンは、同様の設定のミニバッチ確率的勾配降下を使用した誤差逆伝播法(back propagation)によって訓練される。主な相違は、データの2つのソース、および2つのタスクに対応する2つの損失関数を有していることである。ミニバッチにおけるD中の画像およびD中の画像の両方をサンプリングして確率的勾配を計算することが、極めて重要である。2つのタスクを交互に訓練する代替手法を使用することは、極めて悪い解をもたらすことになり得る。2つのタスクは異なる方向に異なる局所最適条件を有しており、その解が悪い局所最適条件に容易にトラップされるからでる。

要約すると、FGIC用のハイパークラス拡張化および正則化深層学習フレームワークは、きめの細かいデータ中の、固有、かつ、容易に注釈が付けられたハイパークラスを識別し、ハイパークラスによってラベルが付けられた大量の類似した画像を収集することにより、新しいデータ拡張手法を使用する。本出願人らのシステムは、一体化された深層学習フレームワークにおける、最初の利用属性学習および情報共有である。現行法は1つの属性のみを使用するが、より多くのタスクを追加し、対での重み正則化を使用することによって、複数の属性を処理するように改善される。ハイパークラス拡張データは、多重タスク学習を深層CNNの中に組み込むことによって特徴学習を一般化することができる。汎化能力をさらに改善し、かつ、大きいクラス内分散を取り扱うために、本出願人らは、きめの細かいクラスとハイパークラスとの間の関係を利用する新規な正則化技術を開示した。開示したフレームワークの成功は、公的に入手可能な小規模のきめの細かいデータセットおよび自己収集大規模自動車データの両方に対して試験された。異なるタスク間の正則化を考慮することによって、多重タスク深層学習を考慮し得ることが予想される。

図3に示すように、一態様による自律運転システム100は、様々な構成要素を有する車両101を含む。特定の態様は、特定のタイプの車両との接続にとりわけ有用であり、車両は、自動車、トラック、オートバイ、バス、ボート、航空機、ヘリコプタ、芝刈り機、レクリエーション用車両、遊園地車両、建設車両、農業器具、市街電車、ゴルフカート、列車およびトロリーを始めとする任意のタイプの車両であってもよいが、これらに限定されない。車両は、プロセッサ120、メモリ130、および汎用コンピュータに典型的に存在する他の構成要素を含んだコンピュータ110などの1つ以上のコンピュータを有する。

メモリ130は、プロセッサ120によって実行され、さもなければプロセッサ120によって使用される命令132およびデータ134を含む、プロセッサ120によるアクセスが可能な情報を記憶する。メモリ130は、コンピュータ可読媒体、またはハードドライブ、メモリカード、ROM、RAM、DVDまたは他の光ディスク、ならびに他の書込み可能メモリおよびリードオンリメモリなどの電子デバイスの助けを借りて読み出され得るデータを記憶する他の媒体を含む、プロセッサによるアクセスが可能な情報を記憶することができる任意のタイプのメモリであってもよい。システムおよび方法は、上記の異なる組合せを含んでも良く、それにより命令およびデータの異なる部分が異なるタイプの媒体上に記憶される。

命令132は、プロセッサによって直接実行され(機械コードなど)、あるいは間接的に実行される(スクリプトなど)、任意のセットの命令であってもよい。例えば命令は、コンピュータコードとしてコンピュータ可読媒体上に記憶されてもよい。その点に関して、「命令」および「プログラム」という用語は、本明細書においては交換可能に使用され得る。命令は、プロセッサによって直接処理するオブジェクトコードフォーマットで、あるいはスクリプト、または要求時に解釈され、あるいは前もってコンパイルされる独立ソースコードモジュールの集合を含む任意の他のコンピュータ言語で記憶されてもよい。命令の機能、方法およびルーチンは、以下でより詳細に説明される。

データ134は、命令132に従ってプロセッサ120によって検索、記憶または修正され得る。例えば、システムおよび方法は、データ構造によって制限されるものではないが、データは、複数の異なる欄および記録、XML文書または単層ファイルを有する表として、関係データベース内のコンピュータレジスタに記憶されてもよい。また、データは、任意のコンピュータ可読フォーマットでフォーマット化されてもよい。単なる他の例にすぎないが、画像データは、圧縮または解凍される、無損失の(例えばBMP)または損失のある(例えばJPEG)フォーマットに従って記憶される複数のピクセルの格子を含むビットマップ、および図形を描くためのコンピュータ命令はもちろん、ビットマップまたはベクトルベース(例えばSVG)として記憶されてもよい。データは、数、記述テキスト、専用(proprietary)コード、同じメモリまたは異なるメモリ(他のネットワーク位置を含む)の他の領域に記憶されたデータの参照、または関連データを計算するための機能によって使用される情報などの関連情報を識別するのに十分な任意の情報を含んでもよい。

プロセッサ120は、市販のCPUなどの任意の従来のプロセッサであってもよい。別法としては、プロセッサは、ASICなどの専用デバイスであってもよい。図1は、コンピュータ110のプロセッサ、メモリおよび他の要素を同じブロック内に存在しているとして機能的に示したものであるが、プロセッサおよびメモリは、実際には、同じ物理的なハウジング内に収容され、又は、収容されなくてもよい複数のプロセッサおよびメモリから構成されてもよいことは、当業者が理解し得る。例えば、メモリは、コンピュータ110のハウジングとは異なるハウジング内に配置されたハードドライブであっても、あるいは他の記憶媒体であってもよい。したがって、プロセッサまたはコンピュータの参照には、並列に動作し、又は、動作しないプロセッサ、コンピュータまたはメモリの集合の参照を含むことが理解される。単一のプロセッサを使用してここに記載したステップを実行するよりはむしろ、ステアリング要素および減速要素などの複数の構成要素のうちのいくつかはそれぞれ、それらの構成要素の特定の機能に関連する計算のみを実施するそれ等自身のプロセッサを有してもよい。

本明細書において説明されている様々な態様では、プロセッサは、車両から遠隔に配置され、車両と無線で通信してもよい。他の態様では、ここに記載したプロセスのいくつかは、遠隔プロセッサによって車両内またはその他に配置されたプロセッサ上で実行されてもよく、単一の操舵を実行するのに必要なステップの踏むことを含んでもよい。

コンピュータ110は、中央処理装置(CPU)、データ134およびウェブブラウザなどの命令を記憶するメモリ(例えば、RAMおよび内部ハードドライブ)、電子ディスプレイ142(例えば、スクリーン、小型LCDタッチスクリーン、または情報を表示するように動作することができる任意の他の電気デバイスを有するモニタ)、ユーザ入力(例えばマウス、キーボード、タッチスクリーンおよび/またはマイクロホン)、ならびに人の状態および願望についての明確な情報(例えばジェスチャ)または暗示的な情報(例えば「人が眠っている」)を収集するための様々なセンサ(例えばビデオカメラ)などの、コンピュータと関連して一般的に使用される構成要素のすべてを含んでもよい。

また、車両は、デバイスの地理的位置を決定する、コンピュータ110と通信する地理的位置コンポーネント144を含んでもよい。例えば、位置コンポーネントは、デバイスの緯度、経度および/または高度位置を決定するためのGPS受信機を含んでもよい。レーザベースローカライズシステム、慣性支援GPSまたはカメラベースローカライズなどの他の位置システムが、車両の位置を識別するために使用されてもよい。また、車両は、様々なソースから位置情報を受け取り、この情報を様々なフィルタを使用して結合して車両位置の「最良」の予測を識別してもよい。例えば、車両は、地図位置、GPS位置、および車両のその前の位置からの時間による位置の変化に基づくその車両の現在位置の予測を含む、複数の位置予測を識別してもよい。車両の位置の高度予測を識別するために、この情報を1つにまとめてもよい。本明細書において説明されている車両の「位置」は、緯度、経度および高度などの絶対な地理的位置、ならびに絶対的な地理的位置より少ない雑音で多く決定される近傍の他の自動車に対する位置などの相対位置情報を含んでもよい。

また、デバイスは、車両の方向および速度、またはそれらに対する変化を決定するために、加速度計、ジャイロスコープ、または、別の方向/速度検出デバイス146などの、コンピュータ110と通信する他の特徴を含んでもよい。単なる例にすぎないが、デバイス146は、重力の方向または重力の方向に垂直な平面に対するそのピッチ、ヨーまたはロール(あるいはそれらに対する変化)を決定してもよい。また、デバイスは、速度の増減およびその変化の方向を追跡してもよい。本明細書において示されているデバイスの位置及び向きのデータの規定は、ユーザ、コンピュータ110、他のコンピュータおよび上記の組合せに自動的に提供されてもよい。

コンピュータは、様々な構成要素を制御することによって車両の方向および速度を制御してもよい。一例として、車両が完全自律モードで動作している場合、コンピュータ110は、(例えばエンジンに提供される燃料または他のエネルギーを増大することによって)車両を加速させ、(例えばエンジンに供給される燃料を減少することによって、あるいはブレーキをかけることによって)減速させ、また、(例えば前輪を向けることによって)方向を変化させてもよい。

車両は、他の車両、道路上の障害物、交通信号、標識、樹木、等々などの車両の外部の対象を検出するためのコンポーネント148を含んでもよい。検出システムは、レーザ、ソナー、レーダ、カメラまたは任意の他の検出デバイスを含nでもよい。例えば、車両が小型乗用車である場合、自動車は、屋根または他の便利な位置に取り付けられたレーザを含んでもよい。一態様では、レーザは、その軸上で回転させ、かつ、そのピッチを変えることによって、車両と、該車両と対向している対象表面との間の距離を測定してもよい。また、レーザを使用して、例えば暗い道路によって反射または吸収された光の量と、明るい車線ラインとを区別することによって、車線ラインを識別してもよい。また、車両は、適応巡航制御システムのために使用されるレーダ検出ユニットなどの様々なレーダ検出ユニットを含んでもよい。レーダ検出ユニットは、自動車の前後ならびにフロントバンパの両側に配置されてもよい。別の例では、図1のカメラによって例示したように、異なる画像からの視差を使用して、1つ以上のカメラによって捕捉される様々な対象物までの距離を計算できるように、様々なカメラが自動車上に互いに既知の間隔で設けられてもよい。これらのセンサは、車両によるその環境の把握を可能にし、その環境中に存在する通行者ならびに対象または人の安全を最大にするために、潜在的にその環境への応答を可能にする。

上述したセンサに加えて、コンピュータは、非自律車両に固有のセンサからの入力を使用してもよい。例えば、これらのセンサは、タイヤ圧センサ、エンジン温度センサ、ブレーキ熱センサ、ブレーキパッド状態センサ、タイヤトレッドセンサ、燃料センサ、オイルレベルおよび品質センサ、空気品質センサ(空気の温度、湿度または微粒子を検出するための)、等々を含んでもよい。

これらのセンサの多くは、リアルタイムにコンピュータによって処理されるデータを提供し、すなわち、センサは、時間の範囲以上検知された環境を反映させるように、それらの出力を更新してもよく、また、コンピュータが、検知した環境に応じて、車両のその時点の方向または速度を修正すべきかどうかを決定することができるように、連続して、または、要求により、その更新した出力をコンピュータに提供してもよい。

これらのセンサを使用して、道路上の歩行者、自転車、他の車両または対象の動きを識別し、追跡し、予測してもよい。例えば、センサは、車両の周囲の対象の位置および形状の情報をコンピュータ110に提供してもよく、対象を別の車両として識別してもよい。また、対象の現在の動きは、センサ(例えば、コンポーネントは独立型速度レーダ検出器である)によって決定されてもよく、あるいはセンサによって提供される情報に基づいて(例えば時間家かに伴う対象の位置データの変化を比較することによって)、コンピュータ110によって決定されてもよい。

コンピュータは、検出された対象の存在に基づいて、車両の現在の経路および速度を変更してもよい。例えば、車両は、その現在の速度が50mphであり、また、そのカメラを使用し、かつ、光学文字認識を使用して、車両が間もなく、速度制限が35mphであることを示す標識を通過することを検出すると、自動的に減速してもよい。同様に、コンピュータは、対象が車両の意図した経路を妨害していることを決定すると、車両を操作してその障害物を迂回させてもよい。

車両のコンピュータシステムは、検出された対象の期待される動きを予測してもよい。コンピュータシステム110は、単に対象の瞬時の方向、加速/減速および速度に基づいて、対象の将来の動きを単純に予測することが可能であり、例えば対象の現在の方向および動きが継続するであろうことを予測し得る。

対象が検出されると、システムは、対象のタイプ、例えば、交通コーン、人、自動車、トラックまたは自転車を決定し、かつ、この情報を使用して対象の将来の挙動を予測してもよい。例えば、車両は、レーザによって決定される対象の形状、レーダに基づく、あるいはカメラ画像に基づくパターン一致による対象のサイズおよび速度のうちの1つ以上に基づいて対象のタイプを決定してもよい。また、対象は、対象のサイズ(自転車は、パン貯蔵箱より大きく、かつ、自動車より小さい)、対象の速度(自転車は、時速40マイルより速い速度で走り、または時速0.1マイル未満で走るといった傾向を示さない)、自転車によって発せられる熱(自転車には、運転者に体熱を放出させる傾向がある)、等々のうちの1つ以上を考慮可能な対象分類器を使用することによって同じく識別され得る。

いくつかの例では、車両によって識別される対象は、進路を変更するように車両に実際に要求しなくてもよい。例えば、砂嵐の間、車両は、1つ以上の対象として砂を検出してもよいが、その軌道を変更する必要はなく、安全上の理由で車両自体の速度を遅くするか、または停止してもよい。

別の例では、車両の外部の場面は、様々なセンサの入力から分割する必要はなく、また、車両に応答動作を取らせるために対象を分類する必要もない。むしろ、車両は、対象の色および/または形状に基づいて1つ以上の動作を取ってもよい。

また、システムは、検出された対象の動きとは無関係の情報に依存して、対象の次のアクションを予測してもよい。一例として、車両が、別の対象が車両の前方の急な丘を登ろうとしている自転車であると決定すると、コンピュータが、自転車の速度が間もなく遅くなり、そのために、自転車が現在は比較的速い速度で走っているかどうかに関係なく、車両の速度が遅くなることを予測してもよい。

車両の外部の対象への識別、分類、及び反応の上記方法は、衝突を回避する可能性を高くするために、単独で、あるいは任意の組合せで使用されてもよいことは理解されよう。
さらなる例として、システムは、車両の近傍の対象が曲り専用車線の別の自動車であると決定してもよい(例えば、他の自動車を捕捉している画像データを解析することによって、他の自動車がその車線に存在し、該車線には左折の矢印が描かれている)。その点に関し、システムは、他の自動車が次の交差点で曲がるかもしれないことを予測してもよい。

コンピュータは、周囲の対象の予測動作に応じて、車両に特定の動作を取らせてもよい。例えば、コンピュータ110が、例えば自動車のターンシグナルまたは自動車が存在している車線に基づいて、車両に近づいている別の自動車が上で言及した次の交差点で曲がろうとしていることを決定すると、コンピュータは、その交差点に近づくと車両の速度を落としてもよい。この点に関して、他の対象の予測挙動は、対象のタイプおよびその現在の軌道のみならず、該対象が交通規則または所定の挙動を遵守する、あるいは遵守しない何らかの可能性にも基づいている。これは、車両による、法律上の、また、予測可能な挙動のみならず、不法なuターンまたは車線変更、赤信号無視、等々などの他の運転者による予期しない挙動に対する適切な応答を可能にする。

別の例では、システムは、様々な状況における対象パフォーマンスについての規則のライブラリを含んでもよい。例えば、ライト上に取り付けられた左折矢印を有する最も左側の車線にいる自動車は、矢印が緑色に変わると左に曲がる可能性が高い。ライブラリは、手動で構築されてもよく、または車両による道路上の他の車両(自律的なものであれ、非自律的なものであれ)の観察によって構築されてもよい。ライブラリは、車両観察によって改善可能な、人間が構築した規則のセットとして開始可能である。同様に、ライブラリは、車両観察から学習される規則として開始することが可能であり、人間が規則を審査し、それらを手動で改善することも可能である。この観察および学習は、例えば機械学習のツールおよび技術によって達成可能である。

様々なセンサによって提供されるデータの処理に加えて、コンピュータは、前の時点で得られた環境データであって、その環境における車両の存在には無関係に存続することが期待される環境データに依存してもよい。例えば、データ134は、詳細な地図情報136、例えば道路の形状および高さ、走行車線ライン、交差点、横断歩道、速度制限、交通信号、建物、標識、リアルタイム交通情報または他のそのような対象および情報を識別する高度詳細図を含んでもよい。走行車線ラインまたは交差点などの対象の各々は、例えば15cm、さらには1cmまで正確である地理的位置と関連付けられてもよい。また、地図情報は、例えば様々な道路セグメントと関連付けられた明確な速度制限情報を含んでもよい。速度制限データは、手動で入力されてもよく、または、例えば光学文字認識を使用して、事前に取得した速度制限標識の画像から取り込まれてもよい。地図情報は、上で列挙した1つ以上の対象を組み込んだ三次元地形地図を含んでもよい。例えば、車両は、リアルタイムデータ(例えば、車両のセンサを使用して別の自動車の現在のGPS位置を決定する)、および他のデータ(例えばGPS位置を予め記憶した車線特定地図データと比較して、他の自動車が曲り車線にいるかどうかを決定する)に基づいて、別の自動車が曲がることが期待されることを決定してもよい。

別の例では、車両は、道路の位置、属性および状態をより良好に識別するために、地図情報を使用してセンサデータを補足してもよい。例えば、道路の走行車線ラインが摩耗によって消失している場合、車両は、センサデータのみを利用するのではなく、地図情報に基づいて走行車線ラインの位置を予想可能である。

また、車両センサを使用して、地図情報を収集し、かつ、補足してもよい。例えば、運転者は、道路の位置、走行車線ライン、交差点、交通信号、等々の様々なタイプの地図情報を検出し、記憶するために、非自律モードで車両を運転してもよい。後に、車両が、記憶した情報を使用して車両を操作してもよい。別の例では、車両が、時間とともに数センチメートル移動している橋、交差点における新しい交通パターンなどの環境変化を検出または観察するか、あるいは道路が舗装されて走行車線ラインが移動した場合に、この情報は、車両によって検出され、衝突を回避するための車両の操作方法に関する様々な決定を実施するために使用されるだけでなく、その車両の地図情報に組み込まれてもよい。いくつかの例では、運転者は、他の自律車両によって使用されるように、遠隔サーバに無線で送信することによって、その変化情報を中央地図データベースに報告することを任意に選択してもよい。サーバは、それに応答してデータベースを更新し、例えば情報を自動的に送信することによって、あるいは利用可能でダウンロード可能な更新を行うことによって、他の自律車両がすべての変化を利用することができるようにすることが可能である。したがって、環境変化は、遠隔サーバから多数の車両に対して更新可能である。

別の例では、自律車両は、道路に沿った対象または道路の街路レベルの画像を取り込むカメラを備えてもよい。

また、コンピュータ110は、車両の状態およびその構成要素を車両101の乗客に伝えるために、状態指示器138を制御可能である。例えば、車両101は、車両、特定のセンサまたはとりわけコンピュータ110の総合的な状態に関する情報を表示するための、図2に示されているようなディスプレイ225を備えてもよい。ディスプレイ225は、例えばコンピュータ、車両自体、道路、交差点ならびに他の対象の状態および情報を含む、車両の周囲のコンピュータ生成画像を含んでもよい。

コンピュータ110は、視覚キューまたは可聴キューを使用して、コンピュータ110が様々なセンサから有効なデータを取得しているか否か、コンピュータが自動車の方向または速度、あるいは両方を部分的に、または完全に制御しているか否か、何らかの誤差が存在しているか否か、等々を識別可能である。また、車両101は、車両101の現在の状態を示すための状態バー230などの状態指示装置を含んでもよい。図2の例では、状態バー230は、車両が、現在、運転モードにあり、時速2マイルで移動していることを示す、「D」および「2mph」を表示する。その点に関して、車両は、電子ディスプレイ上にテキストを表示し、車両101の一部を照明し、あるいは様々な他のタイプの指示を提供してもよい。さらに、コンピュータは、その瞬間に、人間または自動システムが車両を制御中であるかどうかを示す、人間、他のコンピュータまたは両方による読取りが可能な外部指示器を有してもよい。

一例では、コンピュータ110は、車両の様々な構成要素と通信することができる自律運転計算システムであってもよい。例えば、コンピュータ110は、車両の従来の中央プロセッサ160と通信することが可能であり、また、車両101の動き、速度、等々を制御するために、車両101の様々なシステム、例えば制動180、加速182、信号発信184およびナビゲーション186のシステムに情報を送り、かつ、受け取ることができる。さらに、係合されると、コンピュータ110は、車両101のこれらの機能のうちのいくつか、またはすべてを制御することが可能であり、したがって完全に、または単に部分的に自律可能である。車両101内には様々なシステムおよびコンピュータ110が示されているが、これらの要素は、車両101の外部であっても、あるいは長い距離を隔てて物理的に分離されてもよいことは理解されよう。

本開示の態様によるシステムおよび方法は、特定のタイプの対象の検出、または特定のタイプの車両動作あるいは環境条件の観察に限定されず、また、特定の機械学習プロセスに限定されないが、他の運転パターンとは差別化される、固有なシグネチャで運転パターンを導出し、かつ、学習するために使用されてもよい。

説明され、かつ、図に示されているデータのサンプル値、タイプおよび構成は、単に例示を目的としたものにすぎない。その点に関し、本開示の態様によるシステムおよび方法は、様々なタイプのセンサ、通信デバイス、ユーザインタフェース、車両制御システム、データ値、データタイプおよび構成を含んでもよい。システムおよび方法は、異なる時間に(例えば異なるサーバまたはデータベースを介して)、また、異なる実体(例えばいくつかの値は事前に提案され、あるいは異なるソースから提供されてもよい)によって、提供され、受信されてもよい。

上述の特徴のこれらおよび他の変形形態および組合せは、特許請求の範囲によって定義されるシステムおよび方法から逸脱することなく利用することができ、実施形態についての上記説明は、特許請求の範囲によって定義されている本開示を制限するものではなく、例証として解釈されるべきである。また、実施例の規定(「などの」、「例えば」、「含む」、等々のような文節句なども)は、本開示を特定の例に限定するものとして解釈されるべきではなく、どちらかと言えば、実施例は、多くの可能な態様のうちのほんのいくつかを示すことを意図していると解釈される。

そうではないことが明確に言及されていない限り、所定の実施形態、代替または実施例におけるすべての特徴は、本明細書における他の実施形態、代替または実施例に使用可能である。例えば、車両の動きを検出するための適切なセンサは、本明細書におけるすべての構成で使用可能である。特定の運転者パターンまたはシグネチャ車両の動きを表すいかなるデータ構造も使用可能である。適切な機械学習プロセスは、本明細書における構成のいずれでも使用可能である。

Claims (7)

  1. 学習機械を訓練する方法であって、
    1つ以上のハイパークラスによって注釈が付けられたラベル付きデータを用いて訓練に用いるデータを拡張することと、
    前記拡張によって得られた拡張されたデータの前記ラベル付きデータに対して、きめの細かい分類およびハイパークラス分類の2つのタスクを含み、該2つのタスクが同じ特徴層を共有する多重タスク深層学習を実行することと、
    めの細かいクラスと前記ハイパークラスとの間の1つ以上の関係に基づいて前記多重タスク深層学習における正則化を適用することと、を有し、
    前記1つ以上のハイパークラスが、1つは、一組のきめの細かいクラスを包含するスーパクラスであり、もう1つは、大きいクラス内分散を説明する、自動車の異なる視点上の要因クラスと呼ばれている、2つの共通のハイパークラスを有し、
    きめの細かいデータ中の注釈が付けられたハイパークラスを識別することと、
    前記識別したハイパークラスを使用して外部ソースから多数のハイパークラスラベル付き画像を獲得することと、をさらに有し、
    前記拡張のために前記多数のハイパークラスラベル付き画像が用いられる、ことを特徴する方法。
  2. 前記外部ソースが画像探索エンジンを含む、請求項に記載の方法。
  3. 前記きめの細かい認識とハイパークラス認識との間の正則化からの学習モデルエンジンを適用することを有する、請求項1に記載の方法。
  4. 学習される特徴の汎化能力を改善すべく補助画像を利用するためにデータ拡張を行うことを有する、請求項1に記載の方法。
  5. 関係を「有する」を捕捉するためにハイパークラスを適用することを有する、請求項1に記載の方法。
  6. クラス内分散またはポーズ分散を説明するために前記ハイパークラスを適用することを有する、請求項に記載の方法。
  7. データの2つのソースとタスクに対応する2つの損失関数とを有するミニバッチ確率的勾配降下を使用する誤差逆伝播法によって深層CNNを訓練することを有し、確率的勾配を決定するためにミニバッチにおける画像をサンプリングすることをさらに有する、請求項1に記載の方法。
JP2017526087A 2014-11-13 2015-10-16 きめの細かい画像分類のためのハイパークラス拡張化および正則化深層学習 Active JP6599986B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US201462079316P true 2014-11-13 2014-11-13
US62/079,316 2014-11-13
US14/884,600 2015-10-15
US14/884,600 US20160140438A1 (en) 2014-11-13 2015-10-15 Hyper-class Augmented and Regularized Deep Learning for Fine-grained Image Classification
PCT/US2015/055943 WO2016077027A1 (en) 2014-11-13 2015-10-16 Hyper-class augmented and regularized deep learning for fine-grained image classification

Publications (2)

Publication Number Publication Date
JP2018503161A JP2018503161A (ja) 2018-02-01
JP6599986B2 true JP6599986B2 (ja) 2019-10-30

Family

ID=55954838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017526087A Active JP6599986B2 (ja) 2014-11-13 2015-10-16 きめの細かい画像分類のためのハイパークラス拡張化および正則化深層学習

Country Status (4)

Country Link
US (1) US20160140438A1 (ja)
EP (1) EP3218890A4 (ja)
JP (1) JP6599986B2 (ja)
WO (1) WO2016077027A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9953425B2 (en) 2014-07-30 2018-04-24 Adobe Systems Incorporated Learning image categorization using related attributes
US9536293B2 (en) * 2014-07-30 2017-01-03 Adobe Systems Incorporated Image assessment using deep convolutional neural networks
US10534960B2 (en) * 2016-04-01 2020-01-14 California Institute Of Technology System and method for locating and performing fine grained classification from multi-view image data
US10380480B2 (en) 2016-05-31 2019-08-13 Microsoft Technology Licensing, Llc Changeover from one neural network to another neural network
WO2017210174A1 (en) * 2016-05-31 2017-12-07 Linkedin Corporation Training a neural network using another neural network
TWI619372B (zh) * 2016-11-01 2018-03-21 Ultra-wide depth stereoscopic image system and method
DE102016223422A1 (de) * 2016-11-25 2018-05-30 Continental Teves Ag & Co. Ohg Verfahren zur automatischen Ermittlung extrinsischer Parameter einer Kamera eines Fahrzeugs
CN107239730A (zh) * 2017-04-17 2017-10-10 同济大学 智能汽车交通标志识别的四元数深度神经网络模型方法
DE102017207442A1 (de) * 2017-05-03 2018-11-08 Scania Cv Ab Verfahren und Vorrichtung zum Klassifizieren von Objekten im Umfeld eines Kraftfahrzeuges
US10692365B2 (en) 2017-06-20 2020-06-23 Cavh Llc Intelligent road infrastructure system (IRIS): systems and methods
CN107450593B (zh) * 2017-08-30 2020-06-12 清华大学 一种无人机自主导航方法和系统
EP3457324A1 (en) 2017-09-15 2019-03-20 Axis AB Method for locating one or more candidate digital images being likely candidates for depicting an object
US10496902B2 (en) 2017-09-21 2019-12-03 International Business Machines Corporation Data augmentation for image classification tasks
RU2711125C2 (ru) * 2017-12-07 2020-01-15 Общество С Ограниченной Ответственностью "Яндекс" Система и способ формирования обучающего набора для алгоритма машинного обучения
WO2019127232A1 (en) * 2017-12-28 2019-07-04 Siemens Aktiengesellschaft System and method for determining vehicle speed
CN108304920B (zh) * 2018-02-02 2020-03-10 湖北工业大学 一种基于MobileNets优化多尺度学习网络的方法
CN108333959A (zh) * 2018-03-09 2018-07-27 清华大学 一种基于卷积神经网络模型的机车节能操纵方法
CN108665065B (zh) * 2018-04-25 2020-08-04 清华大学 任务数据的处理方法、装置、设备和存储介质
CN108960308A (zh) * 2018-06-25 2018-12-07 中国科学院自动化研究所 交通标志识别方法、装置、车载终端及车辆
US20200020227A1 (en) * 2018-07-10 2020-01-16 Cavh Llc Connected automated vehicle highway systems and methods related to transit vehicles and systems
WO2020075662A1 (ja) * 2018-10-09 2020-04-16 日本電信電話株式会社 データ分類装置、データ分類方法、および、データ分類プログラム
CN109445456A (zh) * 2018-10-15 2019-03-08 清华大学 一种多无人机集群导航方法
CN109559576A (zh) * 2018-11-16 2019-04-02 中南大学 一种儿童伴学机器人及其早教系统自学习方法
JP2020106890A (ja) * 2018-12-26 2020-07-09 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及びシステム
CN109446334A (zh) * 2019-01-16 2019-03-08 深兰人工智能芯片研究院(江苏)有限公司 一种实现英文文本分类的方法及相关设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8582807B2 (en) * 2010-03-15 2013-11-12 Nec Laboratories America, Inc. Systems and methods for determining personal characteristics

Also Published As

Publication number Publication date
JP2018503161A (ja) 2018-02-01
WO2016077027A1 (en) 2016-05-19
US20160140438A1 (en) 2016-05-19
EP3218890A1 (en) 2017-09-20
EP3218890A4 (en) 2018-07-18

Similar Documents

Publication Publication Date Title
US10268909B2 (en) Systems and methods for near-crash determination
US10621451B1 (en) Image and video compression for remote vehicle assistance
US10210408B2 (en) Use of relationship between activities of different traffic signals in a network to improve traffic signal state estimation
US9868446B1 (en) Cross-validating sensors of an autonomous vehicle
US9381917B1 (en) Predictive reasoning for controlling speed of a vehicle
US9727795B1 (en) Real-time road flare detection using templates and appropriate color spaces
US10421453B1 (en) Predicting trajectories of objects based on contextual information
US10192442B2 (en) Determining changes in a driving environment based on vehicle behavior
US9604648B2 (en) Driver performance determination based on geolocation
US10295359B2 (en) Determining and displaying auto drive lanes in an autonomous vehicle
US9607226B2 (en) Methods and systems for object detection using multiple sensors
US8948955B2 (en) System and method for predicting behaviors of detected objects
JP6550117B2 (ja) 複数の情報源を用いる建設区域検出
US9390568B2 (en) Driver identification based on driving maneuver signature
US10377378B2 (en) Traffic signal response for autonomous vehicles
US10564639B1 (en) System and method for predicting behaviors of detected objects through environment representation
CN103786723B (zh) 用于控制车辆横向车道定位的方法及系统
US10168706B1 (en) Detecting and responding to tailgaters
US9026303B1 (en) Object detection based on known structures of an environment of an autonomous vehicle
US9193355B2 (en) Construction zone sign detection using light detection and ranging
CN104271420B (zh) 基于其他车辆的预测行为修改自主车辆的行为
US9199641B2 (en) Construction zone object detection using light detection and ranging
US9690297B1 (en) Classifier hierarchies for traffic light and traffic indicator detection
US9207323B2 (en) Methods and systems for detecting weather conditions including wet surfaces using vehicle onboard sensors
EP2771751B1 (en) Sensor field selection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190618

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190906

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191003

R150 Certificate of patent or registration of utility model

Ref document number: 6599986

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350