JP6988698B2 - 物体認識装置 - Google Patents

物体認識装置 Download PDF

Info

Publication number
JP6988698B2
JP6988698B2 JP2018104686A JP2018104686A JP6988698B2 JP 6988698 B2 JP6988698 B2 JP 6988698B2 JP 2018104686 A JP2018104686 A JP 2018104686A JP 2018104686 A JP2018104686 A JP 2018104686A JP 6988698 B2 JP6988698 B2 JP 6988698B2
Authority
JP
Japan
Prior art keywords
tracking
image data
neural network
priority
recognition device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018104686A
Other languages
English (en)
Other versions
JP2019211831A (ja
Inventor
大輔 橋本
聡 武安
公太 平野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018104686A priority Critical patent/JP6988698B2/ja
Priority to US16/419,494 priority patent/US10937176B2/en
Priority to CN201910451289.1A priority patent/CN110555362B/zh
Publication of JP2019211831A publication Critical patent/JP2019211831A/ja
Application granted granted Critical
Publication of JP6988698B2 publication Critical patent/JP6988698B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/96Management of image or video recognition tasks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像データに含まれる物体を認識する物体認識装置の技術分野に関する。
この種の装置として、画像認識を行う際に、認識すべき物体を追跡するトラッキング処理を実行するものが知られている(例えば、特許文献1参照)。
特開平06−075935号公報
認識すべき物体には、トラッキング処理を実行すべき物体(即ち、トラッキング処理を実行することで有用な情報を得ることができるもの)と、トラッキング処理を実行すべきでない物体(トラッキング処理を実行しても有用な情報を得ることができないもの)とが存在している。このため、すべての物体に対してトラッキング処理を実行すると、演算負荷が無駄に増加してしまうという技術的問題点がある。上述した特許文献1では、上記のような問題が考慮されておらず、演算負荷を抑制するという点において改善の余地がある。
本発明は、例えば上記問題点に鑑みてなされたものであり、演算負荷を抑制しつつ、好適に物体認識を行うことが可能な物体認識装置を提供することを課題とする。
本発明に係る物体認識装置の一態様では、時系列で入力される第1の画像データに基づいて、前記第1の画像データに含まれる第1の物体を認識する物体認識装置であって、前記第1の画像データを入力とするニューラルネットワークを用いて、前記第1の物体の暫定位置及び時系列トラッキング処理を実行すべき度合いを示すトラッキング優先度を出力する第1出力手段と、前記第1の画像データ、前記暫定位置及び前記トラッキング優先度を入力とし、(i)前記トラッキング優先度が所定の条件を満たす前記第1の物体については、前記時系列トラッキング処理を実行して位置及び速度を出力し、(ii)前記トラッキング優先度が前記所定の条件を満たさない前記第1の物体については、前記時系列トラッキング処理を実行せずに位置を出力する第2出力手段とを備え、前記ニューラルネットワークは、前記第1の画像データとは異なる第2の画像データに基づいて作成された教師データを用いて学習された学習済みニューラルネットワークである。
本実施形態に係る車両の構成を示すブロック図である。 本実施形態に係るニューラルネットワークの構成を示すブロック図である。 本実施形態に係るニューラルネットワークの学習に用いる教師データの作成方法を示すフローチャートである。 本実施形態に係る物体認識部の動作の流れを示すフローチャートである。
以下、図面を参照して物体認識装置の実施形態について説明する。
<装置構成>
まず、本実施形態に係る物体認識装置が搭載される車両の全体構成について、図1を参照して説明する。図1は、本実施形態に係る車両の構成を示すブロック図である。
図1に示すように、本実施形態に係る車両10は、カメラ100、ECU(Electric Control Unit)200を備えて構成されている。
カメラ100は、例えば車両10の周辺(例えば、進行方向前方の様子)を撮像可能な車載カメラでとして構成されている。カメラ100が撮像した時系列の画像データは、ECU200に出力される構成となっている。なお、カメラ100が出力する画像データは、後述する付記における「第1の画像データ」の一具体例である。
ECU200は、車両の各部を制御可能なコントロールユニットとして構成されている。ECU200は、その機能を実現するための処理ブロック又は物理的な処理回路として、物体認識部210、プランナ処理部220、及び車両制御部230を備えて構成されている。
物体認識部210は、本実施形態に係る「物体認識装置」の一具体例として機能する部分であり、カメラ100が撮像した画像データから、画像に含まれる物体の位置、種類、速度等を認識可能に構成されている。物体認識部210は、第1認識部211及び第2認識部212を備えている。
第1認識部211は、カメラ100から出力される画像データを入力とするニューラルネットワーク300を備えている。ニューラルネットワーク300の演算結果は、第2認識部212に出力される構成となっている。第1認識部211は、後述する付記における「第1出力手段」の一具体例である。
ここで、ニューラルネットワーク300の具体的な構成について、図2を参照して説明する。図2は、本実施形態に係るニューラルネットワークの構成を示すブロック図である。
図2に示すように、ニューラルネットワーク300は、ニューラルネットワーク主幹部310、位置推定用ニューラルネットワーク部320、種類検出用ニューラルネットワーク部330、及びトラッキング優先度検出用ニューラルネットワーク部340を備えている。上述した各部は、それぞれ複数の畳み込みニューラルネットワーク等から構成されている。カメラ100から出力された画像は、ニューラルネットワーク主幹部310に入力され、その後、位置推定用ニューラルネットワーク部320、種類検出用ニューラルネットワーク部330、及びトラッキング優先度検出用ニューラルネットワーク部340の各々から、画像データに含まれる物体の位置(言い換えれば、座標情報)、種類(例えば、車両、歩行者等の属性情報)、及びトラッキング優先度が出力される。
なお、ここでの「トラッキング優先度」とは、物体認識部210においてトラッキング処理を行うべきか否かを判定するためのパラメータであり、トラッキング処理を優先的に行うべき物体については高い値、トラッキング処理を優先的に行うべきでない物体については低い値が算出される。トラッキング優先度は、言い換えれば、物体について高精度な認識を行うべきか否かを示すパラメータである。トラッキング優先度は、例えば物体のオクルージョン率(即ち、他の物体による遮蔽割合)やトランケーション率(即ち、撮像範囲外にはみ出している割合)、或いは物体がガードレールや中央分離帯をはさんだ向こう側にあるかどうかの判定、或いは物体が車両10の走行に与える影響度等に基づいて算出される。
より具体的には、物体のオクルージョン率が高い(即ち、遮蔽さている割合が大きい)場合には、物体が車両10から見て奥側に存在する可能性が高いと判断し、相対的に低い値のトラッキング優先度が算出される。一方、物体のオクルージョン率が低い(即ち、遮蔽されている割合が小さい)場合には、物体が車両10から見て手前側に存在する可能性が高いと判断し、相対的に高い値のトラッキング優先度が算出される。オクルージョン率として、たとえば物体のカメラ画像上でのピクセル面積の、他物体による遮蔽率などを用いることができる。教師データのオクルージョン率は、後述する教師データ作成時に、アノテーション作業者による経験則、または物体のモデル情報を元にして物体の真のピクセル面積を推定し、「オクルージョン率=(物体の真のピクセル面積推定値―カメラ画像上の物体のピクセル面積)/物体の真のピクセル面積推定値」とすることで求められる。教師データのオクルージョン率をニューラルネットワーク300に学習させることで、第1認識部211はルールベースによる判定や人の介在を経由することなく、物体のオクルージョン率を推定することができる。
また、物体のトランケーション率が高い(即ち、画像枠外にはみ出している割合が大きい)場合には、物体が車両10の正面から外れた位置に存在する可能性が高いと判断し、相対的に低い値のトラッキング優先度が算出される。一方、物体のトランケーション率が低い(即ち、画像枠外にはみ出している割合が小さい)場合には、物体が車両10の正面に近い位置に存在する可能性が高いと判断し、相対的に高い値のトラッキング優先度が算出される。トランケーション率として、たとえば物体のカメラ画像上でのピクセル面積の、カメラ死角による遮蔽率などを用いることができる。教師データのトランケーション率は、後述する教師データ作成時に、アノテーション作業者による経験則、または物体のモデル情報を元にして、カメラのField of View(FOV)外の領域を含む物体の真のピクセル面積を推定し、「トランケーション率=(物体の真のピクセル面積推定値―FOV内の物体のピクセル面積)/物体の真のピクセル面積推定値」とすることで求められる。教師データのトランケーション率をニューラルネットワーク300に学習させることで、第1認識部211はルールベースによる判定や人の介在を経由することなく、物体のトランケーション率を推定することができる。
また、物体がガードレールや中央分離帯をはさんだ向こう側にある場合には、物体が車両10の走行に影響を与えない可能性が高いと判断し、相対的に低い値のトラッキング優先度が算出される。一方、物体がガードレールや中央分離帯の手前側にある場合には、物体が車両10の走行に影響を与える可能性が高いと判断し、相対的に高い値のトラッキング優先度が算出される。後述する教師データの作成時に、アノテーション作業者による目視確認などを元にして、物体がガードレールや中央分離帯を挟んだ向こう側にあるかどうかを判定した結果がタグ付けされる。タグ付された結果をニューラルネットワーク300に学習させることで、第1認識部211は、ルールベースによる判定や人の介在を経由することなく、物体がガードレールや中央分離帯を挟んだ向こう側にあるかどうかを判定することができる。
更に、物体が車両10の走行に与える影響度が高い(例えば、衝突可能性が高いと判断できるような物体である)場合には、物体に対する認識精度を高めるべきであると判断し、相対的に高い値のトラッキング優先度が算出される。一方、物体が車両10の走行に与える影響度が低い(例えば、衝突可能性が低いと判断できるような物体である)場合には、物体に対する認識精度を高めなくともよいと判断し、相対的に低い値のトラッキング優先度が算出される。後述する教師データの作成時に、アノテーション作業者が、運転経験に基づいて、普段の運転習慣において追跡している物体であるかどうか、追跡必要のある物体かどうかを経験則に基づいて判定した結果がタグ付けされる。タグ付された結果をニューラルネットワーク300に学習させることで、第1認識部211は、ルールベースによる判定や人の介在を経由することなく、物体をトラッキングすべきかどうかを判定することができる。
図1に戻り、第2認識部212は、カメラ100から出力される画像データ、並びに第1認識部211(言い換えれば、ニューラルネットワーク300)から入力される各種情報に基づいて、物体の位置、物体の種類、物体のインスタンス固有ID、物体の速度を算出可能に構成されている。第2認識部212の算出結果は、プランナ処理部220に出力される構成となっている。第2認識部212は、後述する付記における「第2出力手段」の一具体例である。
プランナ処理部220は、物体認識部210の認識結果(即ち、物体の位置、物体の種類、物体の速度)に基づいて、車両10の走行をどのように制御すべきかを決定する。プランナ処理部220は、例えば車両10と認識された物体との衝突を回避するために、車両の走行経路や走行速度等に関するパラメータを決定する。プランナ処理部220において決定されたパラメータは、車両制御部230に出力される構成となっている。
車両制御部230は、プランナ処理部220から入力されるパラメータに基づいて、車両10の各部を制御する。車両制御部230は、例えば車両10のブレーキアクチュエータを制御して、車両の自動ブレーキ制御を実行したり、車両のステアリングアクチュエータを制御して、車両の自動ステアリング制御を実行したりする。
<ニューラルネットワークの学習>
次に、ニューラルネットワーク300の学習に用いる教師データの作成方法について、図3を参照して説明する。図3は、本実施形態に係るニューラルネットワークの学習に用いる教師データの作成方法を示すフローチャートである。
図3に示すように、教師データを作成する際には、まず教師データの元となる複数の画像データの中から一の画像を選択する(ステップS101)。なお、ここでの複数の画像データは、後述する付記における「第2の画像データ」の一具体例である。教師データの作成に用いられる複数の画像データは、カメラ100で撮像される画像データのような時系列の画像データとは異なるものである(即ち、教師データ作成用に別途用意された画像データである)。
続いて、選択した画像に含まれている複数の物体の中から、正解データのタグ付けを行う一の物体を選択する(ステップS102)。
続いて、選択した物体が含まれる矩形領域であるBBOX(バウンディングボックス)のタグ付を行う(ステップS103)。即ち、物体の位置に関する正解データのタグ付けを行う。
続いて、選択した物体の種類のタグ付けを行う(ステップS104)。即ち、物体の位置に関する正解データのタグ付けを行う。
続いて、選択した物体のトラッキング優先度のタグ付けを行う(ステップS104)。即ち、物体のトラッキング優先度に関する正解データのタグ付けを行う。トラッキング優先度の正解データは、すでに説明したように、物体のオクルージョン率、トランケーション率、及び車両10の走行への影響度等に基づいてタグ付けされる。なお、トラッキング優先度のタグ付けは、作業者の目視による人力アノテーションの他、半自動アノテーション、或いは全自動アノテーション等であってもよい。
物体の位置、種類、トラッキング優先度のタグ付が完了すると、選択した画像に含まれる全ての物体が選択されたか否か(即ち、全ての物体に対するタグ付けが実行されたか否か)を判定する(ステップS106)。全ての物体が選択されていないと判定された場合(ステップS106:NO)、ステップS102の処理が再び実行される。即ち、画像に含まれる物体のうち、まだ選択されていない物体がタグ付けの対象として選択して、一連の処理が再開される。このように、正解データのタグ付けは、画像中の全ての物体に対して完了するまで、繰り返し実行される。ただし、タグ付けの必要でない物体(例えば、教師データとしての意味が薄い物体等)に関しては、タグ付けが省略されてもよい。
全ての物体が選択されたと判定された場合(ステップS106:YES)、全ての画像が選択されたか否か(即ち、教師データの作成に利用する複数の画像データの全てに対して正解データのタグ付けが実行されたか否か)を判定する(ステップS107)。全ての画像が選択されていないと判定された場合(ステップS107:NO)、ステップS101の処理が再び実行される。即ち、教師データの作成に利用する画像のうち、まだ選択されていない画像がタグ付けの対象として選択して、一連の処理が再開される。このように、正解データのタグ付けは、複数の画像データの全てに対して完了するまで、繰り返し実行される。
なお、上述した教師データの作成は、典型的には装置の出荷前に行われ、ニューラルネットワーク300の学習も装置の出荷前に実行される。ただし、教師データの作成は、装置の出荷後にカメラ100で撮像された画像データの一部や、外部(例えば、他車両等)から受信した画像データ等を用いて行われてもよい。即ち、ニューラルネットワーク300に対して、いわゆるオンライン学習が実行されてもよい。
<物体認識動作>
次に、学習済みのニューラルネットワーク300を用いた物体認識動作(即ち、物体認識部210の動作)について、図4を参照して説明する。図4は、本実施形態に係る物体認識部の動作の流れを示すフローチャートである。
図4に示すように、物体認識動作時には、まず第1認識部211が、ニューラルネットワーク300を用いて、物体の位置、種類、トラッキング優先度を算出する(ステップS201)。算出された物体の位置、種類、トラッキング優先度は、それぞれ第2認識部212に出力される。本実施形態においては、物体の位置として、物体のBounding Box(BBOX)の位置を示すピクセル座標を算出する。
続いて、第2認識部212が、トラッキング優先度に基づいて、トラッキング処理を実行すべき物体のリストAを作成する(ステップS202)。リストAに含む物体(言い換えれば、トラッキング処理を実行すべき物体)は、トラッキング優先度が所定の条件を満たすか否かによって決定する。例えば、画像に含まれる物体のうち、トラッキング優先度が所定閾値Bより高いものだけを、リストAに追加していけばよい。
続いて、リストAに含まれる物体の中から、ピクセルサイズが大きい順に物体を1つずつ選択する(ステップS203)。そして、選択した物体に対してトラッキング状態の更新処理(即ち、トラッキング処理)を実行する(ステップS204)。具体的には、たとえば、Kanade−Lucas−Tomasi(KLT)アルゴリズムにより、ステップS201で算出された対象物体のBBOXの内部の特徴点の時系列追跡処理を行う。別の実施形態として、Mean−shift法による物体の追跡処理など、その他のトラッキング方法を用いてもよい。
続いて、リストAの全ての物体が選択されたか否かを判定する(ステップS205)。即ち、リストAに含まれる全ての物体に対してトラッキング処理が実行されたか否かを判定する。リストAの全ての物体が選択されていない場合(ステップS205:NO)、選択した物体の数が閾値N1以上であるか否かを判定する(ステップS206)。なお、閾値N1は、トラッキング処理を実行する物体の上限値として設定されているものであり、例えばECU200の演算処理能力等に応じて予め設定されている。
選択した物体の数が閾値N1以上でない場合(ステップS206:NO)、再びステップS203の処理が実行される。即ち、まだ選択されていない物体のうち、最もピクセルサイズが大きいものがトラッキング処理の対象として選択され、一連の処理が繰り返し実行される。
他方、リストAの全ての物体が選択されていた場合(ステップS205:YES)、又は、選択した物体の数が閾値N1以上である場合(ステップS206:YES)、トラッキング処理の結果に基づき、トラッキング対象物体の種類、位置、及び速度を出力する(ステップS207)。即ち、第1認識部211の処理結果に、トラッキング処理の結果を加味して、物体に関する情報を出力する。一方、トラッキング非対象物体(即ち、リストAに含まれなかった物体、又はリストAに含まれていた物体のうち、トラッキング対象として選択されなかった物体)については、第1認識部211の処理結果に基づき、物体の種類及び位置を出力する(ステップS208)。
なお、リストAに含まれている全ての物体に対してトラッキング処理を行ったにもかかわらず、演算負荷に余裕がある場合(例えば、トラッキング処理を実行した物体の数が閾値N1に満たない場合等)には、リストAに含まれていない物体についてもトラッキング処理を行うようにしてもよい。この場合、リストAに含まれるためのトラッキング優先度の条件(即ち、所定閾値B)よりも緩い条件で選別された新たなリストCに対して、トラッキング処理が実行された物体の総数が適切な値(例えば閾値N1)となるまで、ステップS203からステップS206と同様の処理を実行すればよい。
<技術的効果>
次に、本実施形態に係る物体認識部210(即ち、物体認識装置)の動作によって得られる技術的効果について説明する。
図1から図4を参照して説明したように、本実施形態に係る物体認識部210によれば、トラッキング優先度に基づいて、トラッキング処理を実行するか否かが決定される。具体的には、トラッキング優先度が高い物体にだけトラッキング処理が実行され、トラッキング優先度が低い物体にはトラッキング処理が実行されない。このため、すべての物体に対してトラッキング処理を実行する場合と比較すると、装置の演算負荷を抑制することが可能である。
なお、物体のトラッキング優先度は、例えばルールベースに基づく処理では正確に算出することが難しい。しかるに本実施形態では、上述したように学習済みのニューラルネットワーク300を用いているため、正確にトラッキング優先度を算出することができる。また、ニューラルネットワーク300は、時系列ではない画像を用いて学習されているため、例えば時系列の画像データを用いて学習する場合と比べると、効率的な学習を実現することが可能である。
<付記>
以上説明した実施形態から導き出される発明の各種態様を以下に説明する。
(付記1)
付記1に記載の物体認識装置は、時系列で入力される第1の画像データに基づいて、前記第1の画像データに含まれる第1の物体を認識する物体認識装置であって、前記第1の画像データを入力とするニューラルネットワークを用いて、前記第1の物体の暫定位置及び時系列トラッキング処理を実行すべき度合いを示すトラッキング優先度を出力する第1出力手段と、前記第1の画像データ、前記暫定位置及び前記トラッキング優先度を入力とし、(i)前記トラッキング優先度が所定の条件を満たす前記第1の物体については、前記時系列トラッキング処理を実行して位置及び速度を出力し、(ii)前記トラッキング優先度が前記所定の条件を満たさない前記第1の物体については、前記時系列トラッキング処理を実行せずに位置を出力する第2出力手段とを備え、前記ニューラルネットワークは、前記第1の画像データとは異なる第2の画像データと、前記第2の画像データに含まれる第2の物体の位置及び前記トラッキング優先度の正解データとを含む教師データを用いて学習された学習済みニューラルネットワークである。
付記1に記載の物体認識装置によれば、トラッキング優先度に基づいてトラッキング処理を実行するか否かが決まるため、不必要なトラッキング処理が抑制される。従って、演算負荷を抑制しつつ、好適に物体の位置や速度を認識することが可能である。
また、トラッキング優先度を求めるためのニューラルネットワークは、時系列で入力される第1の画像データとは異なる第2の画像データと、第2の画像データに含まれる第2の物体の位置及びトラッキング優先度の正解データとを含む教師データを用いて学習されている。これにより、作成コストの比較的小さい教師データによって、高精度にトラッキング優先度を求めることが可能となる。
(付記2)
付記2に記載の物体認識装置では、前記第2の物体の前記トラッキング優先度の正解データは、前記第2の物体が、前記第2の物体よりも手前側に位置する他の物体と重なることで隠れる割合に基づいて決定される。
付記1に記載の物体認識装置によれば、認識対象となっている物体が、他の物体によって遮蔽されている割合(いわゆるオクルージョン(occlusion)率)に基づいて、トラッキング優先度の正解データが決定される。オクルージョン率が比較的大きい物体は、それより手前側に他の物体が存在しているため、トラッキング処理を行って認識すべき優先度が低いと判断できる。一方、オクルージョン率が比較的小さい物体は、それより手前側に他の物体が存在している可能性が低いため(言い換えれば、最も手前側に存在する可能性が高いため)、トラッキング処理を行って認識すべき優先度が高いと判断できる。よって、第2の物体のオクルージョン率に基づいてトラッキング優先度の正解データを決定すれば、より適切にニューラルネットワークの学習を行うことが可能である。
(付記3)
付記3に記載の物体認識装置では、前記第2の物体の前記トラッキング優先度の正解データは、前記第2の物体が、前記第2の画像データの枠外にはみ出ることで隠れる割合に基づいて決定される。
付記1に記載の物体認識装置によれば、認識対象となっている物体が、撮像範囲からはみ出している割合(いわゆるトランケーション(truncation)率)に基づいて、トラッキング優先度の正解データが決定される。トランケーション率が比較的大きい物体は、第2の画像データの撮像範囲外に大きく跨るように存在しているため、トラッキング処理を行って認識すべき優先度が低いと判断できる。一方、トランケーション率が比較的小さい物体は、第2の画像データの撮像範囲に収まっている部分が大きい(言い換えれば、撮像範囲の正面に近い位置に存在しているため)、トラッキング処理を行って認識すべき優先度が高いと判断できる。よって、第2の物体のトランケーション率に基づいてトラッキング優先度の正解データを決定すれば、より適切にニューラルネットワークの学習を行うことが可能である。
(付記4)
付記4に記載の物体認識装置では、前記第2物体の前記トラッキング優先度の正解データは、前記第2の物体が、当該物体認識装置が搭載される車両の走行に与える影響度に基づいて決定される。
例えば、物体認識装置が搭載される車両と同じ車線を走行する他車両、或いは飛び出してくる可能性のある人等、自車両の走行に影響度が大きい物体については、衝突の危険を回避するためにも、相対的に高い精度で認識しておくべきである。よって、第2の物体が車両の走行に与える影響度に基づいてトラッキング優先度の正解データを決定すれば、より適切にニューラルネットワークの学習を行うことが可能である。
本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う物体認識装置もまた本発明の技術的範囲に含まれるものである。
10 車両
100 カメラ
200 ECU
210 物体認識部
211 第1認識部
212 第2認識部
220 プランナ処理部
230 車両制御部
300 ニューラルネットワーク
310 ニューラルネットワーク主幹部
320 位置推定用ニューラルネットワーク部
330 種類検出用ニューラルネットワーク部
340 トラッキング優先度検出用ニューラルネットワーク部

Claims (4)

  1. 時系列で入力される第1の画像データに基づいて、前記第1の画像データに含まれる第1の物体を認識する物体認識装置であって、
    前記第1の画像データを入力とするニューラルネットワークを用いて、前記第1の物体の暫定位置及び時系列トラッキング処理を実行すべき度合いを示すトラッキング優先度を出力する第1出力手段と、
    前記第1の画像データ、前記暫定位置及び前記トラッキング優先度を入力とし、(i)前記トラッキング優先度が所定の条件を満たす前記第1の物体については、前記時系列トラッキング処理を実行して位置及び速度を出力し、(ii)前記トラッキング優先度が前記所定の条件を満たさない前記第1の物体については、前記時系列トラッキング処理を実行せずに位置を出力する第2出力手段と
    を備え、
    前記ニューラルネットワークは、前記第1の画像データとは異なる第2の画像データと、前記第2の画像データに含まれる第2の物体の位置及び前記トラッキング優先度の正解データとを含む教師データを用いて学習された学習済みニューラルネットワークである
    ことを特徴とする物体認識装置。
  2. 前記第2の物体の前記トラッキング優先度の正解データは、前記第2の物体が、前記第2の物体よりも手前側に位置する他の物体と重なることで隠れる割合に基づいて決定されることを特徴とする請求項1に記載の物体認識装置。
  3. 前記第2の物体の前記トラッキング優先度の正解データは、前記第2の物体が、前記第2の画像データの枠外にはみ出ることで隠れる割合に基づいて決定されることを特徴とする請求項1又は2に記載の物体認識装置。
  4. 前記第2物体の前記トラッキング優先度の正解データは、前記第2の物体が、当該物体認識装置が搭載される車両の走行に与える影響度に基づいて決定されることを特徴とする請求項1から3のいずれか一項に記載の物体認識装置。
JP2018104686A 2018-05-31 2018-05-31 物体認識装置 Active JP6988698B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018104686A JP6988698B2 (ja) 2018-05-31 2018-05-31 物体認識装置
US16/419,494 US10937176B2 (en) 2018-05-31 2019-05-22 Object recognition apparatus
CN201910451289.1A CN110555362B (zh) 2018-05-31 2019-05-28 物体识别装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018104686A JP6988698B2 (ja) 2018-05-31 2018-05-31 物体認識装置

Publications (2)

Publication Number Publication Date
JP2019211831A JP2019211831A (ja) 2019-12-12
JP6988698B2 true JP6988698B2 (ja) 2022-01-05

Family

ID=68693170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018104686A Active JP6988698B2 (ja) 2018-05-31 2018-05-31 物体認識装置

Country Status (3)

Country Link
US (1) US10937176B2 (ja)
JP (1) JP6988698B2 (ja)
CN (1) CN110555362B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11126890B2 (en) * 2019-04-18 2021-09-21 Adobe Inc. Robust training of large-scale object detectors with a noisy dataset
JP2020188323A (ja) * 2019-05-10 2020-11-19 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像方法
US11643115B2 (en) * 2019-05-31 2023-05-09 Waymo Llc Tracking vanished objects for autonomous vehicles
JP7078021B2 (ja) 2019-08-08 2022-05-31 トヨタ自動車株式会社 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
US20220254034A1 (en) 2020-03-31 2022-08-11 Nec Corporation Object tracking device, object tracking method, and recording medium
CN111831768A (zh) * 2020-05-21 2020-10-27 北京嘀嘀无限科技发展有限公司 纠正行驶轨迹的方法、装置、存储介质及电子设备
US11682272B2 (en) * 2020-07-07 2023-06-20 Nvidia Corporation Systems and methods for pedestrian crossing risk assessment and directional warning

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0675935A (ja) 1992-08-26 1994-03-18 Sony Corp 多変数システム構成方法およびその装置
JP5229593B2 (ja) * 2010-09-30 2013-07-03 株式会社Jvcケンウッド 目標追跡装置、目標追跡方法
JP5759170B2 (ja) * 2010-12-27 2015-08-05 キヤノン株式会社 追尾装置およびその制御方法
JP6035095B2 (ja) 2012-09-26 2016-11-30 富士重工業株式会社 車両の衝突判定装置
JP6648411B2 (ja) * 2014-05-19 2020-02-14 株式会社リコー 処理装置、処理システム、処理プログラム及び処理方法
CN106651901B (zh) * 2015-07-24 2020-08-04 株式会社理光 对象跟踪方法和设备
US9804599B2 (en) * 2015-11-04 2017-10-31 Zoox, Inc. Active lighting control for communicating a state of an autonomous vehicle to entities in a surrounding environment
JP6832504B2 (ja) * 2016-08-08 2021-02-24 パナソニックIpマネジメント株式会社 物体追跡方法、物体追跡装置およびプログラム
CN107092883A (zh) * 2017-04-20 2017-08-25 上海极链网络科技有限公司 物体识别追踪方法
US10275691B2 (en) * 2017-08-22 2019-04-30 Northrop Grumman Systems Corporation Adaptive real-time detection and examination network (ARDEN)
US10216189B1 (en) * 2017-08-23 2019-02-26 Uber Technologies, Inc. Systems and methods for prioritizing object prediction for autonomous vehicles

Also Published As

Publication number Publication date
JP2019211831A (ja) 2019-12-12
CN110555362A (zh) 2019-12-10
US10937176B2 (en) 2021-03-02
CN110555362B (zh) 2023-05-05
US20190370978A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
JP6988698B2 (ja) 物体認識装置
KR102629651B1 (ko) 신경망 이미지 프로세싱을 사용하는 3d 경계 박스들로서의 직접 차량 검출
JP7052663B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
EP3367303B1 (en) Autonomous driving image processing method and apparatus thereof
US9947228B1 (en) Method for monitoring blind spot of vehicle and blind spot monitor using the same
CN109147368A (zh) 基于车道线的智能驾驶控制方法装置与电子设备
KR101449295B1 (ko) 주차구획 추적 장치 및 방법
US8391555B2 (en) Lane recognition apparatus for vehicle, vehicle thereof, and lane recognition program for vehicle
US11010622B2 (en) Infrastructure-free NLoS obstacle detection for autonomous cars
KR102016549B1 (ko) 차량 및 차선 위치 검출 시스템 및 방법
CN111507159B (zh) 提供自动驾驶安全性的方法和装置
CN111178119A (zh) 路口状态检测方法、装置、电子设备及车辆
CN110262487B (zh) 一种障碍物检测方法、终端及计算机可读存储介质
JP7095559B2 (ja) 区画線検出装置及び区画線検出方法
JP2018018204A (ja) 能力評価システム
JP6439757B2 (ja) 画像処理装置および画像処理方法
CN111798482A (zh) 一种目标跟踪方法及设备
US11713044B2 (en) Vehicle for estimation a state of the other vehicle using reference point of the other vehicle, and method of controlling the vehicle
JP7003972B2 (ja) 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
JP2021117760A (ja) 物体追跡装置及び物体追跡方法
US8948519B2 (en) Linear mark detection system, linear mark detection method, and non-transitory computer readable medium storing linear mark detecting program
CN116434156A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶系统
CN116664971A (zh) 一种模型训练方法、障碍物检测方法及相关设备
JP2017102832A (ja) 車両ピッチ角推定装置
JP5493705B2 (ja) 車両位置検出装置、車両位置検出方法、及び車両位置検出プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200923

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211115

R151 Written notification of patent or utility model registration

Ref document number: 6988698

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151