JP7310718B2 - 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム - Google Patents

路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム Download PDF

Info

Publication number
JP7310718B2
JP7310718B2 JP2020092676A JP2020092676A JP7310718B2 JP 7310718 B2 JP7310718 B2 JP 7310718B2 JP 2020092676 A JP2020092676 A JP 2020092676A JP 2020092676 A JP2020092676 A JP 2020092676A JP 7310718 B2 JP7310718 B2 JP 7310718B2
Authority
JP
Japan
Prior art keywords
image
semantic label
road
semantic
obstacle detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020092676A
Other languages
English (en)
Other versions
JP2021189625A (ja
Inventor
正雄 山中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020092676A priority Critical patent/JP7310718B2/ja
Priority to US17/215,411 priority patent/US20210374440A1/en
Priority to CN202110346040.1A priority patent/CN113743179A/zh
Publication of JP2021189625A publication Critical patent/JP2021189625A/ja
Application granted granted Critical
Publication of JP7310718B2 publication Critical patent/JP7310718B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7796Active pattern-learning, e.g. online learning of image or video features based on specific statistical tests
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラムに関する。
非特許文献1には、RBM(Restricted Boltzmann Machine)を用いて正常な道路の画像パッチを学習し、画像パッチに路上障害物が含まれない場合は、RBMを用いて復元できるが、路上障害物が含まれる場合にはRBMを用いて復元できないので、復元できない場合は、RBMへの入力と出力とに大きな相違(異常度)が生じることから、異常度の大きさに適切な閾値を設定することで路上障害物を検出できることが記載されている。
Clement Creusot and Asim Munawar . "Real Time Small Obstacle Detection on Highways Using Compressive RBM Road Reconstruction," In Intelligent Vehicles Symposium, 2015.
しかしながら、実際の車載画像には、車両や標識、人工建築物等の道路と路上障害物以外のものが多く含まれるため、RBMを用いて復元できないものの中に、路上障害物以外のものも含まれ、路上障害物以外のものを路上障害物として誤検知してしまうため、路上障害物を正確に検知するためには改善の余地がある。
本発明は、上記事実を考慮して成されたもので、画像に路上障害物以外のものが含まれている場合であっても路上障害物を正確に検知することが可能な路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラムを提供することを目的とする。
上記目的を達成するために請求項1に記載の路上障害物検知装置は、路上障害物が存在しない画像により予め学習した第1識別器を用いて画像の画素毎に意味的ラベルを付与する付与部と、路上障害物が存在しない画像を用いて意味的ラベルの統計的分布を予め学習した第2識別器に対して、前記付与部によって前記意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、前記部分領域に対応する意味的ラベル画像を復元し、復元した復元画像と、前記意味的ラベル画像とを比較して障害物を検出する検出部と、を含む。
請求項1に記載の発明によれば、付与部では、路上障害物が存在しない画像により予め学習した第1識別器を用いて画像の画素毎に意味的ラベルが付与される。
そして、検出部では、識別器に対して、前記付与部によって前記意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、前記部分領域に対応する意味的ラベル画像を復元し、復元した復元画像と、前記意味的ラベル画像とを比較して路上障害物が検出される。このように、意味的ラベルに対する確率密度に基づいて、路上障害物を検出することにより、路上障害物以外のものが含まれている場合であっても路上障害物を正確に検知することが可能となる。
詳細には、前記検出部、路上障害物が存在しない画像を用いて意味的ラベルの統計的分布を予め学習した第2識別器に対して、前記付与部によって前記意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、前記部分領域に対応する意味的ラベル画像を復元し、復元した復元画像に基づいて、路上障害物を検出することにより、路上障害物が存在する領域は、意味的ラベルの付与に失敗し、復元時も意味的ラベルの付与に失敗するので、復元画像の異常部分を路上障害物として検出できる。
そして、検出部、前記意味的ラベル画像と前記復元画像とを比較して路上障害物を検出することにより、路上障害物が含まれている領域は復元が困難なので、意味的ラベル画像とその復元画像とを比較することにより、路上障害物を検出できる。
また、請求項に記載の発明のように、前記意味的ラベル画像と前記復元画像との差分が予め定めた閾値以上の部分を路上障害物として検出してもよい。これにより、意味的ラベル画像と復元画像の乖離が大きい部分を路上障害物として検出できる。
また、請求項に記載の発明のように、路上障害物が存在しない画像により予め学習した第1識別器を用いて画像の画素毎に意味的ラベルを付与する付与部と、路上障害物が存在しない画像を用いて前記意味的ラベルの統計的分布を予め学習した第2識別器に対して、前記意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、前記部分領域に対応する意味的ラベル画像を復元し、復元した復元画像の復元誤差が予め定めた閾値以上の領域を路上障害物として検出する検出部と、を含む。これにより、復元画像から路上障害物を検出できる。
一方、請求項に記載の路上障害物検知方法は、コンピュータが実行する路上障害物検知方法であって、路上障害物が存在しない画像により予め学習した第1識別器を用いて画像の画素毎に意味的ラベルを付与し、路上障害物が存在しない画像を用いて意味的ラベルの統計的分布を予め学習した第2識別器に対して、前記付与部によって前記意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、前記部分領域に対応する意味的ラベル画像を復元し、復元した復元画像と、前記意味的ラベル画像とを比較して路上障害物を検出する。
また、請求項5に記載の路上障害物検出方法は、コンピュータが実行する路上障害物検知方法であって、路上障害物が存在しない画像により予め学習した第1識別器を用いて画像の画素毎に意味的ラベルを付与し、路上障害物が存在しない画像を用いて意味的ラベルの統計的分布を予め学習した第2識別器に対して、前記意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、前記部分領域に対応する意味的ラベル画像を復元し、復元した復元画像の復元誤差が予め定めた閾値以上の領域を路上障害物として検出する。
請求項4、5に記載の発明によれば、請求項1に記載の発明と同様に、意味的ラベルに対する確率密度に基づいて、路上障害物を検出することにより、路上障害物以外のものが含まれている場合であっても路上障害物を正確に検知することが可能となる。
なお、請求項に記載の発明のように、コンピュータを、請求項1又は請求項2に記載の路上障害物検知装置の各部として機能させるための路上障害物検知プログラムとしてもよい。
以上説明したように本発明によれば、画像に路上障害物以外のものが含まれている場合であっても路上障害物を正確に検知することが可能な路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラムを提供できる、という効果がある。
第1実施形態に係る路上障害物検知装置の構成を示すブロック図である。 意味的ラベル画像から意味的ラベル画像の復元を説明するための図である。 第1実施形態に係る路上障害物検知装置で行われる処理の流れの一例を示すフローチャートである。 路上障害物なしの入力画像、意味的ラベル画像、復元画像、及び差分画像の一例、並びに、路上障害物ありの入力画像、意味的ラベル画像、復元画像、及び差分画像の一例を示す図である。 第2実施形態に係る路上障害物検知装置の構成を示すブロック図である。 第2実施形態に係る路上障害物検知装置で行われる処理の流れの一例を示すフローチャートである。
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。以下では、車両に搭載された車載カメラで撮影することによって得られる画像から路上障害物を検知する路上障害物検知装置を一例として説明する。
(第1実施形態)
第1実施形態に係る路上障害物検知装置について説明する。図1は、第1実施形態に係る路上障害物検知装置の構成を示すブロック図である。
本実施形態に係る路上障害物検知装置10は、図1に示すように、車載カメラ12、付与部としての意味的ラベル付与部14、及び検出部16を備えている。また、検出部16は、詳細には、意味的ラベル復元部18、比較部20、及び路上障害物検出部22を備えている。
本実施形態に係る路上障害物検知装置10は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、及びRAM(Random Access Memory)等を含むコンピュータを含む。例えば、ROM等に記憶されたプログラムをCPUが実行することにより、各部の機能を実現する。なお、路上障害物検知装置10の各部の機能は、単一のコンピュータが実行する形態としてもよいし、複数のコンピュータ、例えば、それぞれの機能別のコンピュータが実行する形態としてもよい。
車載カメラ12は、車両に搭載されて、車両の前方等の車両周辺を撮影して、撮影した画像を表す画像情報を意味的ラベル付与部14に出力する。
意味的ラベル付与部14は、予め学習された識別器を用いて、車載カメラ12によって撮影された画像の画素毎に意味的ラベルを付与することにより意味的な領域に分割した意味的ラベル画像を生成する。意味的ラベル付与部14で用いる識別器は第1識別器に対応する。また識別器の学習は、路上障害物を含まない正常な走行環境に対する画像を収集し、収集した画像に意味的ラベル(例えば、道路、車両、建物等)を付与して教師あり学習を用いて学習する。すなわち、正常な走行環境における画像のみを用いて識別器を学習し、路上障害物が含まれる画像は学習に使用しない。教師あり学習の一例としては、CNN(Convolutional Neural Network)、RNN(Recurrent Neural Network)、CRF(Conditional random field)等を用いる。意味的領域分割手法としては、例えば、代表的な意味的領域分割手法であるSS(semantic segmentation)や、”ICNet for Real-Time Semantic Segmentation on High-Resolution Images",H.Zhao et al.,ECCV2018.に記載の手法を適用することができる。
検出部16は、意味的ラベル付与部14によって付与された意味的ラベルに対する確率密度に基づいて、路上障害物を検出する。検出部16は、上述したように、意味的ラベル復元部18、比較部20、及び路上障害物検出部22の機能を有する。
意味的ラベル復元部18は、路上障害物が存在しない画像を用いて意味的ラベルの統計的分布を予め学習した識別器に対して、意味的ラベル付与部14によって意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、部分領域に対応する意味的ラベル画像を復元して復元画像を生成する。
意味的ラベル復元部18で用いる識別器は、第2識別器に対応し、例えば、変分オートエンコーダ(VAE:Variational Autoencoder)を用いて、意味的ラベル画像中における部分領域を入力とするVAEを学習する。但し、意味的ラベル画像はRGBの3チャンネル入力ではなく、意味的ラベルに対する確率分布のN(Nはラベル数)チャンネル入力としてVAEを学習する。また、VAEでは、Nチャンネルの確率密度からNチャンネルの確率密度を復元する。
なお、VAEの入力xは、以下の(A)に示すように、i番目の意味的ラベルを考え、部分領域のj番目にある確率pi,jを並べて、複数のVAEを学習してもよい。
(A) x1=(p1,1, p1,2・・・p1,LxL), x2(p2,1, p2,2・・・p2,LxL)・・・xN=(pN,1, pN,2・・・pN,LxL)
或いは、以下の(B)に示すように、全ての意味的ラベルを考え、部分領域のj番目にある確率pi,jを並べて、単一のVAEを学習してもよい。
(B) x=(p1,1,p2,1,・・・,pN,1,p1,2,p2,2,・・・,pN,2,・・・, p1,LxL,p2,LxL,・・・,pN,LxL)
また、VAEでは、以下の(3)式に示す変分下限L(X,z)を最大化するようにパラメータ(φ,θ)を学習する。第1項は、KL Divergenceで、zの分布pθ(z)~正規分布N(0,I)とするための正則化項を示し、第2項は、Reconstruction Lossで、エンコーダqφ(z|X)とデコーダpθ(X|z)との間の復元誤差を示す。
L(X,z)=-DKL[qφ(z|X)||pθ(z)]+Eqφ(z|X)[logpθ(X|z)] ・・・(1)
そして、意味的ラベル復元部18では、図2に示すように、Nチャンネルの意味的ラベル画像の予め定めた大きさの部分領域24をVAEに入力することにより、意味的ラベル画像の部分領域を復元して復元部分領域26を生成する。意味的ラベル画像の全領域に対して、部分領域24から復元部分領域26を順次生成することにより、復元画像を生成する。これにより、正常な走行環境における意味的ラベル画像であれば、意味的ラベル画像から意味的ラベル画像を復元可能となる。一方、路上障害物が存在する正常でない走行環境における意味的ラベル画像の部分領域は、意味的ラベルの復元に失敗する。なお、変分オートエンコーダの代わりに、オートエンコーダ(AE:Autoencoder)を用いてもよい。
比較部20は、意味的ラベル付与部14によって意味的ラベルが付与された意味的ラベル画像と、意味的ラベル復元部18によって復元した復元画像とを比較する。本実施形態では、比較部20は、意味的ラベル画像と復元画像の差分を算出する。
路上障害物検出部22は、比較部20の比較結果から、差分が予め定めた閾値以上の部分を路上障害物として検出する。
続いて、上述のように構成された本実施形態に係る路上障害物検知装置10で行われる処理について具体的に説明する。図3は、本実施形態に係る路上障害物検知装置10で行われる処理の流れの一例を示すフローチャートである。
ステップ100では、意味的ラベル付与部14が、車載カメラ12が撮影した評価対象の撮影画像から意味的ラベル画像を生成してステップ102へ移行する。すなわち、正常な走行環境における画像のみを用いて予め学習した識別器を用いて、撮影画像の画素毎に意味的ラベルを付与することにより意味的な領域に分割した意味的ラベル画像を生成する。
ステップ102では、意味的ラベル復元部18が、生成された意味的ラベル画像から意味的ラベル画像の復元画像を生成してステップ104へ移行する。すなわち、路上障害物が存在しない画像のみを用いて意味的ラベルの統計的分布を予め学習した識別器に対して、意味的ラベル付与部14によって意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、部分領域に対応する意味的ラベル画像を復元することにより復元画像を生成する。
ステップ104では、比較部20が、生成された意味的ラベル画像と、復元画像とを比較してステップ106へ移行する。本実施形態では、上述したように、意味的ラベル画像と復元画像の差分を算出する。
ステップ106では、路上障害物検出部22が、意味的ラベル画像と復元画像の差分が予め定めた閾値以上の領域があるか否かを判定する。該判定が肯定された場合にはステップ108へ移行し、否定された場合には一連の処理を終了する。
ステップ108では、路上障害物検出部22が、意味的ラベル画像と復元画像の差分が閾値以上の乖離部分を路上障害物として検知して一連の処理を終了する。
本実施形態に係る路上障害物検知装置10では、例えば、路上障害物なしの撮影画像を入力画像とした場合、図4の上段に示すような、意味的ラベル画像、復元画像、及び差分画像が生成される。この場合は、図4の上段に示すように、路上障害物がないので、意味的ラベル画像と復元画像の差分である差分画像は無の状態(略零)となる。
一方、路上障害物ありの撮影画像を入力画像とした場合は、図4の下段に示すような、意味的ラベル画像、復元画像、及び差分画像が生成される。この場合は、路上障害物があるので、意味的ラベル画像を生成する際に意味的ラベルの付与に失敗する。さらに、復元画像の路上障害物の領域は復元できない領域となる。従って、図4の下段に示すように、意味的ラベル画像と復元画像の差分である差分画像には、復元できない領域が乖離領域として出現するので、この領域を路上障害物として検知できる。なお、図4は、路上障害物なしの入力画像、意味的ラベル画像、復元画像、及び差分画像の一例、並びに、路上障害物ありの入力画像、意味的ラベル画像、復元画像、及び差分画像の一例を示す図である。
このように、本実施形態では、意味的ラベル画像が復元できなかった領域は、路上障害物が存在する可能性が高く、意味的ラベル画像と復元画像とを比較すると、大きく乖離するため、乖離する部分を路上障害物として検知することが可能となる。これにより、画像に路上障害物以外のものが含まれている場合であっても路上障害物を正確に検知することが可能となる。
(第2実施形態)
続いて、第2実施形態に係る路上障害物検知装置11について説明する。図5は、第2実施形態に係る路上障害物検知装置11の構成を示すブロック図である。なお、図1と同一構成については同一符号を付して簡単に説明する。
第1実施形態では、意味的ラベル画像と復元画像の差分を算出して路上障害物を検出したが、本実施形態では、意味的ラベル画像と復元画像の差分まで算出せずに、復元画像の復元誤差が閾値以上の領域を路上障害物として検出する。
本実施形態に係る路上障害物検知装置10も第1実施形態と同様には、図5に示すように、車載カメラ12、意味的ラベル付与部14、及び検出部16を備えているが、検出部16は、意味的ラベル復元部18及び路上障害物検出部23を備えている。すなわち、第1実施形態に対して、比較部20が省略され、路上障害物検出部23が復元画像の復元誤差に基づいて路上障害物を検出する構成とされている。
第1実施形態と同様に、車載カメラ12は、車両に搭載されて、車両の前方等の車両周辺を撮影して、撮影した画像を表す画像情報を意味的ラベル付与部14に出力する。
意味的ラベル付与部14は、予め学習された識別器を用いて、車載カメラ12によって撮影された画像の画素毎に意味的ラベルを付与することにより意味的な領域に分割した意味的ラベル画像を生成する。
意味的ラベル復元部18は、路上障害物が存在しない画像を用いて意味的ラベルの統計的分布を予め学習した識別器に対して、意味的ラベル付与部14によって意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、部分領域に対応する意味的ラベル画像を復元して、復元画像を生成する。
そして、路上障害物検出部23は、復元画像の復元誤差を算出し、復元誤差が予め定めた閾値以上の領域が存在する場合、閾値以上の領域を路上障害物として検出する。具体的には、第1実施形態で示した(1)式の第2項の復元誤差が予め定めた閾値以上の領域があるか否かを判定し、閾値以上の領域がある場合に路上障害物として検知する。
続いて、上述のように構成された本実施形態に係る路上障害物検知装置11で行われる処理について具体的に説明する。図6は、本実施形態に係る路上障害物検知装置11で行われる処理の流れの一例を示すフローチャートである。なお、図3と同一処理については同一符号を付して説明する。
ステップ100では、意味的ラベル付与部14が、車載カメラ12が撮影した評価対象の撮影画像から意味的ラベル画像を生成してステップ102へ移行する。すなわち、正常な走行環境における画像のみを用いて予め学習した識別器を用いて、撮影画像の画素毎に意味的ラベルを付与することにより意味的な領域に分割した意味的ラベル画像を生成する。
ステップ102では、意味的ラベル復元部18が、生成された意味的ラベル画像から意味的ラベル画像の復元画像を生成してステップ103へ移行する。すなわち、路上障害物が存在しない画像のみを用いて意味的ラベルの統計的分布を予め学習した識別器に対して、意味的ラベル付与部14によって意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、部分領域に対応する意味的ラベル画像を復元することにより復元画像を生成する。
ステップ103では、路上障害物検出部23が、復元画像の復元誤差を算出してステップ105へ移行する。すなわち、上述の(1)式の第2項の復元誤差を算出する。
ステップ105では、路上障害物検出部23が、復元画像の復元誤差が予め定めた閾値以上の領域があるか否かを判定する。該判定が肯定された場合にはステップ107へ移行し、否定された場合には一連の処理を終了する。
ステップ107では、路上障害物検出部23が、復元画像の復元誤差が閾値以上の領域を路上障害物として検知して一連の処理を終了する。
このように、本実施形態では、意味的ラベル画像から意味的ラベル画像を復元する際に、路上障害物が存在する場合、復元に失敗する可能性が高くなるので、復元画像の復元誤差が閾値以上となる復元誤差が大きい領域を路上障害物として検知することが可能となる。これにより、画像に路上障害物以外のものが含まれている場合であっても路上障害物を正確に検知することが可能となる。
なお、第1実施形態では、意味的ラベル画像と復元画像の差分を算出して比較したが、単純な差分に限るものではない。それぞれ係数や関数を乗じて差分を算出してもよい。或いは、差分以外に、意味的ラベル画像に対する復元画像の復元率などを算出するようにしてもよい。
また、上記の実施形態では、路上障害物検知装置10、11を1つの装置として説明したが、これに限るものではない。例えば、車載カメラ12は車両に搭載し、意味的ラベル付与部14及び検出部16は、車両と無線通信によって接続されたクラウドサーバに備える。この場合、意味的ラベル付与部14及び検出部16の各部の機能は、それぞれ機能別のクラウドサーバが備える形態としてもよい。
また、上記の各実施形態における路上障害物検知装置10、11の各部で行われる処理は、プログラムを実行することにより行われるソフトウエア処理として説明したが、これに限るものではない。例えば、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、及びFPGA(Field-Programmable Gate Array)等のハードウエアで行う処理としてもよい。或いは、ソフトウエア及びハードウエアの双方を組み合わせた処理としてもよい。また、ソフトウエアの処理とした場合には、プログラムを各種記憶媒体に記憶して流通させるようにしてもよい。
さらに、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
10、11 路上障害物検知装置
12 車載カメラ
14 意味的ラベル付与部
16 検出部
18 意味的ラベル復元部
20 比較部
22、23 路上障害物検出部

Claims (6)

  1. 路上障害物が存在しない画像により予め学習した第1識別器を用いて画像の画素毎に意味的ラベルを付与する付与部と、
    路上障害物が存在しない画像を用いて前記意味的ラベルの統計的分布を予め学習した第2識別器に対して、前記付与部によって前記意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、前記部分領域に対応する意味的ラベル画像を復元し、復元した復元画像と、前記意味的ラベル画像とを比較して障害物を検出する検出部と、
    を含む路上障害物検知装置。
  2. 前記意味的ラベル画像と前記復元画像との差分が予め定めた閾値以上の部分を路上障害物として検出する請求項1に記載の路上障害物検知装置。
  3. 路上障害物が存在しない画像により予め学習した第1識別器を用いて画像の画素毎に意味的ラベルを付与する付与部と、
    路上障害物が存在しない画像を用いて前記意味的ラベルの統計的分布を予め学習した第2識別器に対して、前記付与部によって前記意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、前記部分領域に対応する意味的ラベル画像を復元し、復元した復元画像の復元誤差が予め定めた閾値以上の領域を路上障害物として検出する検出部と、
    を含む路上障害物検知装置。
  4. コンピュータが実行する路上障害物検知方法であって、
    路上障害物が存在しない画像により予め学習した第1識別器を用いて画像の画素毎に意味的ラベルを付与し、
    路上障害物が存在しない画像を用いて意味的ラベルの統計的分布を予め学習した第2識別器に対して、前記意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、前記部分領域に対応する意味的ラベル画像を復元し、復元した復元画像と、前記意味的ラベル画像とを比較して路上障害物を検出する路上障害物検知方法
  5. コンピュータが実行する路上障害物検知方法であって、
    路上障害物が存在しない画像により予め学習した第1識別器を用いて画像の画素毎に意味的ラベルを付与し、
    路上障害物が存在しない画像を用いて意味的ラベルの統計的分布を予め学習した第2識別器に対して、前記意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、前記部分領域に対応する意味的ラベル画像を復元し、復元した復元画像の復元誤差が予め定めた閾値以上の領域を路上障害物として検出する路上障害物検知方法
  6. コンピュータを、請求項1~3の何れか1項に記載の路上障害物検知装置の各部として機能させるための路上障害物検知プログラム
JP2020092676A 2020-05-27 2020-05-27 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム Active JP7310718B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020092676A JP7310718B2 (ja) 2020-05-27 2020-05-27 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
US17/215,411 US20210374440A1 (en) 2020-05-27 2021-03-29 On-road obstacle detection device, on-road obstacle detection method, and recording medium
CN202110346040.1A CN113743179A (zh) 2020-05-27 2021-03-31 路上障碍物检知装置、方法及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020092676A JP7310718B2 (ja) 2020-05-27 2020-05-27 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム

Publications (2)

Publication Number Publication Date
JP2021189625A JP2021189625A (ja) 2021-12-13
JP7310718B2 true JP7310718B2 (ja) 2023-07-19

Family

ID=78705016

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020092676A Active JP7310718B2 (ja) 2020-05-27 2020-05-27 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム

Country Status (3)

Country Link
US (1) US20210374440A1 (ja)
JP (1) JP7310718B2 (ja)
CN (1) CN113743179A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7327077B2 (ja) * 2019-10-18 2023-08-16 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
US11508092B2 (en) * 2019-12-16 2022-11-22 X Development Llc Edge-based crop yield prediction
GB202202831D0 (en) * 2022-03-01 2022-04-13 Agco Int Gmbh Monitoring agricultural operations
CN114973138B (zh) * 2022-06-02 2024-03-29 松立控股集团股份有限公司 一种基于高位相机的路面异常物体检测方法
TWI841054B (zh) * 2022-11-16 2024-05-01 英業達股份有限公司 道路散落物警報系統及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018194912A (ja) 2017-05-12 2018-12-06 トヨタ自動車株式会社 路上障害物検出装置,方法,およびプログラム
JP2019211900A (ja) 2018-06-01 2019-12-12 株式会社デンソー 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2264679A4 (en) * 2008-03-11 2013-08-21 Panasonic Corp TAG SENSOR SYSTEM AND SENSOR DEVICE, AND OBJECT POSITION ESTIMATING DEVICE, AND OBJECT POSITION ESTIMATING METHOD
CN110246142A (zh) * 2019-06-14 2019-09-17 深圳前海达闼云端智能科技有限公司 一种检测障碍物的方法、终端和可读存储介质
JP7215390B2 (ja) * 2019-10-10 2023-01-31 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
JP7327077B2 (ja) * 2019-10-18 2023-08-16 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018194912A (ja) 2017-05-12 2018-12-06 トヨタ自動車株式会社 路上障害物検出装置,方法,およびプログラム
JP2019211900A (ja) 2018-06-01 2019-12-12 株式会社デンソー 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Krzysztof Lis et al.,"Detecting the Unexpected via Image Resynthesis",2019 IEEE/CVF International Conference on Computer Vision (ICCV),米国,IEEE,2019年10月27日,pp.2152-2161
Vijay Badrinarayanan et al.,"SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation",IEEE Transactions on Pattern Analysis and Machine Intelligence,米国,IEEE,2017年01月02日,Vol.39, No.12,pp.2481-2495
尾▲崎▼ 信之,"車載向け画像・認識技術動向 ~Viscontiでの事例を踏まえて~",映像情報メディア学会誌,日本,一般社団法人映像情報メディア学会,2019年11月01日,Vol.73, No.6,pp.48-54

Also Published As

Publication number Publication date
CN113743179A (zh) 2021-12-03
JP2021189625A (ja) 2021-12-13
US20210374440A1 (en) 2021-12-02

Similar Documents

Publication Publication Date Title
JP7310718B2 (ja) 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
CN111488789B (zh) 用于基于图像分析的监视的行人检测方法及装置
EP3673417B1 (en) System and method for distributive training and weight distribution in a neural network
Le et al. Uncertainty estimation for deep neural object detectors in safety-critical applications
JP6912008B2 (ja) マシンビジョンシステム
US10275691B2 (en) Adaptive real-time detection and examination network (ARDEN)
EP3690714A1 (en) Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same
EP3859560A2 (en) Method and apparatus for visual question answering, computer device and medium
Breitenstein et al. Systematization of corner cases for visual perception in automated driving
EP3844669A1 (en) Method and system for facilitating recognition of vehicle parts based on a neural network
EP3690740A1 (en) Method for optimizing hyperparameters of auto-labeling device which auto-labels training images for use in deep learning network to analyze images with high precision, and optimizing device using the same
US10929719B2 (en) Adversarial attack on black box object detection algorithm
EP3336763A1 (en) Device for classifying data
JP7327077B2 (ja) 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
CN114245912A (zh) 通过在基于概率信号时间逻辑的约束下求解优化问题来进行感知误差评估和校正的系统和方法
CN112783135B (zh) 诊断车辆的感知系统的系统和方法
US12039807B2 (en) Shape-based vehicle classification using laser scan and neural network
CN116670687A (zh) 用于调整训练后的物体检测模型以适应域偏移的方法和系统
Alkhorshid et al. Road detection through supervised classification
US20220067882A1 (en) Image processing device, computer readable recording medium, and method of processing image
Zhang et al. A comparative analysis of object detection algorithms in naturalistic driving videos
Rajaji et al. Detection of lane and speed breaker warning system for autonomous vehicles using machine learning algorithm
CN114241314A (zh) 一种基于CenterNet的遥感影像建筑物变化检测模型及算法
Mount et al. Unsupervised selection of optimal operating parameters for visual place recognition algorithms using Gaussian mixture models
Attaoui et al. Search-based DNN Testing and Retraining with GAN-enhanced Simulations

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230619

R151 Written notification of patent or utility model registration

Ref document number: 7310718

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151