JP7310718B2 - 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム - Google Patents

路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム Download PDF

Info

Publication number
JP7310718B2
JP7310718B2 JP2020092676A JP2020092676A JP7310718B2 JP 7310718 B2 JP7310718 B2 JP 7310718B2 JP 2020092676 A JP2020092676 A JP 2020092676A JP 2020092676 A JP2020092676 A JP 2020092676A JP 7310718 B2 JP7310718 B2 JP 7310718B2
Authority
JP
Japan
Prior art keywords
image
semantic label
road
semantic
obstacle detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020092676A
Other languages
English (en)
Other versions
JP2021189625A (ja
Inventor
正雄 山中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020092676A priority Critical patent/JP7310718B2/ja
Priority to US17/215,411 priority patent/US20210374440A1/en
Priority to CN202110346040.1A priority patent/CN113743179A/zh
Publication of JP2021189625A publication Critical patent/JP2021189625A/ja
Application granted granted Critical
Publication of JP7310718B2 publication Critical patent/JP7310718B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7796—Active pattern-learning, e.g. online learning of image or video features based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラムに関する。
非特許文献１には、ＲＢＭ（Restricted Boltzmann Machine）を用いて正常な道路の画像パッチを学習し、画像パッチに路上障害物が含まれない場合は、ＲＢＭを用いて復元できるが、路上障害物が含まれる場合にはＲＢＭを用いて復元できないので、復元できない場合は、ＲＢＭへの入力と出力とに大きな相違（異常度）が生じることから、異常度の大きさに適切な閾値を設定することで路上障害物を検出できることが記載されている。
Clement Creusot and Asim Munawar . "Real Time Small Obstacle Detection on Highways Using Compressive RBM Road Reconstruction," In Intelligent Vehicles Symposium, 2015.
しかしながら、実際の車載画像には、車両や標識、人工建築物等の道路と路上障害物以外のものが多く含まれるため、ＲＢＭを用いて復元できないものの中に、路上障害物以外のものも含まれ、路上障害物以外のものを路上障害物として誤検知してしまうため、路上障害物を正確に検知するためには改善の余地がある。
本発明は、上記事実を考慮して成されたもので、画像に路上障害物以外のものが含まれている場合であっても路上障害物を正確に検知することが可能な路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラムを提供することを目的とする。
上記目的を達成するために請求項１に記載の路上障害物検知装置は、路上障害物が存在しない画像により予め学習した第１識別器を用いて画像の画素毎に意味的ラベルを付与する付与部と、路上障害物が存在しない画像を用いて意味的ラベルの統計的分布を予め学習した第２識別器に対して、前記付与部によって前記意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、前記部分領域に対応する意味的ラベル画像を復元し、復元した復元画像と、前記意味的ラベル画像とを比較して障害物を検出する検出部と、を含む。
請求項１に記載の発明によれば、付与部では、路上障害物が存在しない画像により予め学習した第１識別器を用いて画像の画素毎に意味的ラベルが付与される。
そして、検出部では、識別器に対して、前記付与部によって前記意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、前記部分領域に対応する意味的ラベル画像を復元し、復元した復元画像と、前記意味的ラベル画像とを比較して路上障害物が検出される。このように、意味的ラベルに対する確率密度に基づいて、路上障害物を検出することにより、路上障害物以外のものが含まれている場合であっても路上障害物を正確に検知することが可能となる。
詳細には、前記検出部が、路上障害物が存在しない画像を用いて意味的ラベルの統計的分布を予め学習した第２識別器に対して、前記付与部によって前記意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、前記部分領域に対応する意味的ラベル画像を復元し、復元した復元画像に基づいて、路上障害物を検出することにより、路上障害物が存在する領域は、意味的ラベルの付与に失敗し、復元時も意味的ラベルの付与に失敗するので、復元画像の異常部分を路上障害物として検出できる。
そして、検出部が、前記意味的ラベル画像と前記復元画像とを比較して路上障害物を検出することにより、路上障害物が含まれている領域は復元が困難なので、意味的ラベル画像とその復元画像とを比較することにより、路上障害物を検出できる。
また、請求項２に記載の発明のように、前記意味的ラベル画像と前記復元画像との差分が予め定めた閾値以上の部分を路上障害物として検出してもよい。これにより、意味的ラベル画像と復元画像の乖離が大きい部分を路上障害物として検出できる。
また、請求項３に記載の発明のように、路上障害物が存在しない画像により予め学習した第１識別器を用いて画像の画素毎に意味的ラベルを付与する付与部と、路上障害物が存在しない画像を用いて前記意味的ラベルの統計的分布を予め学習した第２識別器に対して、前記意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、前記部分領域に対応する意味的ラベル画像を復元し、復元した復元画像の復元誤差が予め定めた閾値以上の領域を路上障害物として検出する検出部と、を含む。これにより、復元画像から路上障害物を検出できる。
一方、請求項４に記載の路上障害物検知方法は、コンピュータが実行する路上障害物検知方法であって、路上障害物が存在しない画像により予め学習した第１識別器を用いて画像の画素毎に意味的ラベルを付与し、路上障害物が存在しない画像を用いて意味的ラベルの統計的分布を予め学習した第２識別器に対して、前記付与部によって前記意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、前記部分領域に対応する意味的ラベル画像を復元し、復元した復元画像と、前記意味的ラベル画像とを比較して路上障害物を検出する。
また、請求項５に記載の路上障害物検出方法は、コンピュータが実行する路上障害物検知方法であって、路上障害物が存在しない画像により予め学習した第１識別器を用いて画像の画素毎に意味的ラベルを付与し、路上障害物が存在しない画像を用いて意味的ラベルの統計的分布を予め学習した第２識別器に対して、前記意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、前記部分領域に対応する意味的ラベル画像を復元し、復元した復元画像の復元誤差が予め定めた閾値以上の領域を路上障害物として検出する。
請求項４、５に記載の発明によれば、請求項１に記載の発明と同様に、意味的ラベルに対する確率密度に基づいて、路上障害物を検出することにより、路上障害物以外のものが含まれている場合であっても路上障害物を正確に検知することが可能となる。
なお、請求項６に記載の発明のように、コンピュータを、請求項１又は請求項２に記載の路上障害物検知装置の各部として機能させるための路上障害物検知プログラムとしてもよい。
以上説明したように本発明によれば、画像に路上障害物以外のものが含まれている場合であっても路上障害物を正確に検知することが可能な路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラムを提供できる、という効果がある。
第１実施形態に係る路上障害物検知装置の構成を示すブロック図である。 意味的ラベル画像から意味的ラベル画像の復元を説明するための図である。 第１実施形態に係る路上障害物検知装置で行われる処理の流れの一例を示すフローチャートである。 路上障害物なしの入力画像、意味的ラベル画像、復元画像、及び差分画像の一例、並びに、路上障害物ありの入力画像、意味的ラベル画像、復元画像、及び差分画像の一例を示す図である。 第２実施形態に係る路上障害物検知装置の構成を示すブロック図である。 第２実施形態に係る路上障害物検知装置で行われる処理の流れの一例を示すフローチャートである。
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。以下では、車両に搭載された車載カメラで撮影することによって得られる画像から路上障害物を検知する路上障害物検知装置を一例として説明する。
（第１実施形態）
第１実施形態に係る路上障害物検知装置について説明する。図１は、第１実施形態に係る路上障害物検知装置の構成を示すブロック図である。
本実施形態に係る路上障害物検知装置１０は、図１に示すように、車載カメラ１２、付与部としての意味的ラベル付与部１４、及び検出部１６を備えている。また、検出部１６は、詳細には、意味的ラベル復元部１８、比較部２０、及び路上障害物検出部２２を備えている。
本実施形態に係る路上障害物検知装置１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等を含むコンピュータを含む。例えば、ＲＯＭ等に記憶されたプログラムをＣＰＵが実行することにより、各部の機能を実現する。なお、路上障害物検知装置１０の各部の機能は、単一のコンピュータが実行する形態としてもよいし、複数のコンピュータ、例えば、それぞれの機能別のコンピュータが実行する形態としてもよい。
車載カメラ１２は、車両に搭載されて、車両の前方等の車両周辺を撮影して、撮影した画像を表す画像情報を意味的ラベル付与部１４に出力する。
意味的ラベル付与部１４は、予め学習された識別器を用いて、車載カメラ１２によって撮影された画像の画素毎に意味的ラベルを付与することにより意味的な領域に分割した意味的ラベル画像を生成する。意味的ラベル付与部１４で用いる識別器は第１識別器に対応する。また識別器の学習は、路上障害物を含まない正常な走行環境に対する画像を収集し、収集した画像に意味的ラベル（例えば、道路、車両、建物等）を付与して教師あり学習を用いて学習する。すなわち、正常な走行環境における画像のみを用いて識別器を学習し、路上障害物が含まれる画像は学習に使用しない。教師あり学習の一例としては、ＣＮＮ（Convolutional Neural Network）、ＲＮＮ（Recurrent Neural Network）、ＣＲＦ(Conditional random field)等を用いる。意味的領域分割手法としては、例えば、代表的な意味的領域分割手法であるＳＳ（semantic segmentation）や、”ICNet for Real-Time Semantic Segmentation on High-Resolution Images",H.Zhao et al.,ECCV2018.に記載の手法を適用することができる。
検出部１６は、意味的ラベル付与部１４によって付与された意味的ラベルに対する確率密度に基づいて、路上障害物を検出する。検出部１６は、上述したように、意味的ラベル復元部１８、比較部２０、及び路上障害物検出部２２の機能を有する。
意味的ラベル復元部１８は、路上障害物が存在しない画像を用いて意味的ラベルの統計的分布を予め学習した識別器に対して、意味的ラベル付与部１４によって意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、部分領域に対応する意味的ラベル画像を復元して復元画像を生成する。
意味的ラベル復元部１８で用いる識別器は、第２識別器に対応し、例えば、変分オートエンコーダ（ＶＡＥ:Variational Autoencoder）を用いて、意味的ラベル画像中における部分領域を入力とするＶＡＥを学習する。但し、意味的ラベル画像はＲＧＢの３チャンネル入力ではなく、意味的ラベルに対する確率分布のＮ（Ｎはラベル数）チャンネル入力としてＶＡＥを学習する。また、ＶＡＥでは、Ｎチャンネルの確率密度からＮチャンネルの確率密度を復元する。
なお、ＶＡＥの入力ｘは、以下の（Ａ）に示すように、ｉ番目の意味的ラベルを考え、部分領域のｊ番目にある確率ｐｉ,ｊを並べて、複数のＶＡＥを学習してもよい。
(A) x1=(p1,1, p1,2・・・p1,LxL), x2(p2,1, p2,2・・・p2,LxL)・・・xN=(pN,1, pN,2・・・pN,LxL)
或いは、以下の（Ｂ）に示すように、全ての意味的ラベルを考え、部分領域のｊ番目にある確率ｐｉ，ｊを並べて、単一のＶＡＥを学習してもよい。
(B) x=(p1,1,p2,1,・・・,pN,1,p1,2,p2,2,・・・,pN,2,・・・, p1,LxL,p2,LxL,・・・,pN,LxL)
また、ＶＡＥでは、以下の（３）式に示す変分下限Ｌ（Ｘ，ｚ）を最大化するようにパラメータ（φ，θ）を学習する。第１項は、KL Divergenceで、ｚの分布ｐθ（ｚ）～正規分布Ｎ（０，Ｉ）とするための正則化項を示し、第２項は、Reconstruction Lossで、エンコーダｑφ（ｚ｜Ｘ）とデコーダｐθ（Ｘ｜ｚ）との間の復元誤差を示す。
L(X,z)=-DKL[qφ(z|X)||pθ(z)]+Eqφ(z|X)[logpθ(X|z)] ・・・（１）
そして、意味的ラベル復元部１８では、図２に示すように、Ｎチャンネルの意味的ラベル画像の予め定めた大きさの部分領域２４をＶＡＥに入力することにより、意味的ラベル画像の部分領域を復元して復元部分領域２６を生成する。意味的ラベル画像の全領域に対して、部分領域２４から復元部分領域２６を順次生成することにより、復元画像を生成する。これにより、正常な走行環境における意味的ラベル画像であれば、意味的ラベル画像から意味的ラベル画像を復元可能となる。一方、路上障害物が存在する正常でない走行環境における意味的ラベル画像の部分領域は、意味的ラベルの復元に失敗する。なお、変分オートエンコーダの代わりに、オートエンコーダ（ＡＥ:Autoencoder）を用いてもよい。
比較部２０は、意味的ラベル付与部１４によって意味的ラベルが付与された意味的ラベル画像と、意味的ラベル復元部１８によって復元した復元画像とを比較する。本実施形態では、比較部２０は、意味的ラベル画像と復元画像の差分を算出する。
路上障害物検出部２２は、比較部２０の比較結果から、差分が予め定めた閾値以上の部分を路上障害物として検出する。
続いて、上述のように構成された本実施形態に係る路上障害物検知装置１０で行われる処理について具体的に説明する。図３は、本実施形態に係る路上障害物検知装置１０で行われる処理の流れの一例を示すフローチャートである。
ステップ１００では、意味的ラベル付与部１４が、車載カメラ１２が撮影した評価対象の撮影画像から意味的ラベル画像を生成してステップ１０２へ移行する。すなわち、正常な走行環境における画像のみを用いて予め学習した識別器を用いて、撮影画像の画素毎に意味的ラベルを付与することにより意味的な領域に分割した意味的ラベル画像を生成する。
ステップ１０２では、意味的ラベル復元部１８が、生成された意味的ラベル画像から意味的ラベル画像の復元画像を生成してステップ１０４へ移行する。すなわち、路上障害物が存在しない画像のみを用いて意味的ラベルの統計的分布を予め学習した識別器に対して、意味的ラベル付与部１４によって意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、部分領域に対応する意味的ラベル画像を復元することにより復元画像を生成する。
ステップ１０４では、比較部２０が、生成された意味的ラベル画像と、復元画像とを比較してステップ１０６へ移行する。本実施形態では、上述したように、意味的ラベル画像と復元画像の差分を算出する。
ステップ１０６では、路上障害物検出部２２が、意味的ラベル画像と復元画像の差分が予め定めた閾値以上の領域があるか否かを判定する。該判定が肯定された場合にはステップ１０８へ移行し、否定された場合には一連の処理を終了する。
ステップ１０８では、路上障害物検出部２２が、意味的ラベル画像と復元画像の差分が閾値以上の乖離部分を路上障害物として検知して一連の処理を終了する。
本実施形態に係る路上障害物検知装置１０では、例えば、路上障害物なしの撮影画像を入力画像とした場合、図４の上段に示すような、意味的ラベル画像、復元画像、及び差分画像が生成される。この場合は、図４の上段に示すように、路上障害物がないので、意味的ラベル画像と復元画像の差分である差分画像は無の状態（略零）となる。
一方、路上障害物ありの撮影画像を入力画像とした場合は、図４の下段に示すような、意味的ラベル画像、復元画像、及び差分画像が生成される。この場合は、路上障害物があるので、意味的ラベル画像を生成する際に意味的ラベルの付与に失敗する。さらに、復元画像の路上障害物の領域は復元できない領域となる。従って、図４の下段に示すように、意味的ラベル画像と復元画像の差分である差分画像には、復元できない領域が乖離領域として出現するので、この領域を路上障害物として検知できる。なお、図４は、路上障害物なしの入力画像、意味的ラベル画像、復元画像、及び差分画像の一例、並びに、路上障害物ありの入力画像、意味的ラベル画像、復元画像、及び差分画像の一例を示す図である。
このように、本実施形態では、意味的ラベル画像が復元できなかった領域は、路上障害物が存在する可能性が高く、意味的ラベル画像と復元画像とを比較すると、大きく乖離するため、乖離する部分を路上障害物として検知することが可能となる。これにより、画像に路上障害物以外のものが含まれている場合であっても路上障害物を正確に検知することが可能となる。
（第２実施形態）
続いて、第２実施形態に係る路上障害物検知装置１１について説明する。図５は、第２実施形態に係る路上障害物検知装置１１の構成を示すブロック図である。なお、図１と同一構成については同一符号を付して簡単に説明する。
第１実施形態では、意味的ラベル画像と復元画像の差分を算出して路上障害物を検出したが、本実施形態では、意味的ラベル画像と復元画像の差分まで算出せずに、復元画像の復元誤差が閾値以上の領域を路上障害物として検出する。
本実施形態に係る路上障害物検知装置１０も第１実施形態と同様には、図５に示すように、車載カメラ１２、意味的ラベル付与部１４、及び検出部１６を備えているが、検出部１６は、意味的ラベル復元部１８及び路上障害物検出部２３を備えている。すなわち、第１実施形態に対して、比較部２０が省略され、路上障害物検出部２３が復元画像の復元誤差に基づいて路上障害物を検出する構成とされている。
第１実施形態と同様に、車載カメラ１２は、車両に搭載されて、車両の前方等の車両周辺を撮影して、撮影した画像を表す画像情報を意味的ラベル付与部１４に出力する。
意味的ラベル付与部１４は、予め学習された識別器を用いて、車載カメラ１２によって撮影された画像の画素毎に意味的ラベルを付与することにより意味的な領域に分割した意味的ラベル画像を生成する。
意味的ラベル復元部１８は、路上障害物が存在しない画像を用いて意味的ラベルの統計的分布を予め学習した識別器に対して、意味的ラベル付与部１４によって意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、部分領域に対応する意味的ラベル画像を復元して、復元画像を生成する。
そして、路上障害物検出部２３は、復元画像の復元誤差を算出し、復元誤差が予め定めた閾値以上の領域が存在する場合、閾値以上の領域を路上障害物として検出する。具体的には、第１実施形態で示した（１）式の第２項の復元誤差が予め定めた閾値以上の領域があるか否かを判定し、閾値以上の領域がある場合に路上障害物として検知する。
続いて、上述のように構成された本実施形態に係る路上障害物検知装置１１で行われる処理について具体的に説明する。図６は、本実施形態に係る路上障害物検知装置１１で行われる処理の流れの一例を示すフローチャートである。なお、図３と同一処理については同一符号を付して説明する。
ステップ１００では、意味的ラベル付与部１４が、車載カメラ１２が撮影した評価対象の撮影画像から意味的ラベル画像を生成してステップ１０２へ移行する。すなわち、正常な走行環境における画像のみを用いて予め学習した識別器を用いて、撮影画像の画素毎に意味的ラベルを付与することにより意味的な領域に分割した意味的ラベル画像を生成する。
ステップ１０２では、意味的ラベル復元部１８が、生成された意味的ラベル画像から意味的ラベル画像の復元画像を生成してステップ１０３へ移行する。すなわち、路上障害物が存在しない画像のみを用いて意味的ラベルの統計的分布を予め学習した識別器に対して、意味的ラベル付与部１４によって意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、部分領域に対応する意味的ラベル画像を復元することにより復元画像を生成する。
ステップ１０３では、路上障害物検出部２３が、復元画像の復元誤差を算出してステップ１０５へ移行する。すなわち、上述の（１）式の第２項の復元誤差を算出する。
ステップ１０５では、路上障害物検出部２３が、復元画像の復元誤差が予め定めた閾値以上の領域があるか否かを判定する。該判定が肯定された場合にはステップ１０７へ移行し、否定された場合には一連の処理を終了する。
ステップ１０７では、路上障害物検出部２３が、復元画像の復元誤差が閾値以上の領域を路上障害物として検知して一連の処理を終了する。
このように、本実施形態では、意味的ラベル画像から意味的ラベル画像を復元する際に、路上障害物が存在する場合、復元に失敗する可能性が高くなるので、復元画像の復元誤差が閾値以上となる復元誤差が大きい領域を路上障害物として検知することが可能となる。これにより、画像に路上障害物以外のものが含まれている場合であっても路上障害物を正確に検知することが可能となる。
なお、第１実施形態では、意味的ラベル画像と復元画像の差分を算出して比較したが、単純な差分に限るものではない。それぞれ係数や関数を乗じて差分を算出してもよい。或いは、差分以外に、意味的ラベル画像に対する復元画像の復元率などを算出するようにしてもよい。
また、上記の実施形態では、路上障害物検知装置１０、１１を１つの装置として説明したが、これに限るものではない。例えば、車載カメラ１２は車両に搭載し、意味的ラベル付与部１４及び検出部１６は、車両と無線通信によって接続されたクラウドサーバに備える。この場合、意味的ラベル付与部１４及び検出部１６の各部の機能は、それぞれ機能別のクラウドサーバが備える形態としてもよい。
また、上記の各実施形態における路上障害物検知装置１０、１１の各部で行われる処理は、プログラムを実行することにより行われるソフトウエア処理として説明したが、これに限るものではない。例えば、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、及びＦＰＧＡ（Field-Programmable Gate Array）等のハードウエアで行う処理としてもよい。或いは、ソフトウエア及びハードウエアの双方を組み合わせた処理としてもよい。また、ソフトウエアの処理とした場合には、プログラムを各種記憶媒体に記憶して流通させるようにしてもよい。
さらに、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
１０、１１ 路上障害物検知装置
１２ 車載カメラ
１４ 意味的ラベル付与部
１６ 検出部
１８ 意味的ラベル復元部
２０ 比較部
２２、２３ 路上障害物検出部

Claims (6)

  1. 路上障害物が存在しない画像により予め学習した第１識別器を用いて画像の画素毎に意味的ラベルを付与する付与部と、
    路上障害物が存在しない画像を用いて前記意味的ラベルの統計的分布を予め学習した第２識別器に対して、前記付与部によって前記意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、前記部分領域に対応する意味的ラベル画像を復元し、復元した復元画像と、前記意味的ラベル画像とを比較して障害物を検出する検出部と、
    を含む路上障害物検知装置。
  2. 前記意味的ラベル画像と前記復元画像との差分が予め定めた閾値以上の部分を路上障害物として検出する請求項１に記載の路上障害物検知装置。
  3. 路上障害物が存在しない画像により予め学習した第１識別器を用いて画像の画素毎に意味的ラベルを付与する付与部と、
    路上障害物が存在しない画像を用いて前記意味的ラベルの統計的分布を予め学習した第２識別器に対して、前記付与部によって前記意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、前記部分領域に対応する意味的ラベル画像を復元し、復元した復元画像の復元誤差が予め定めた閾値以上の領域を路上障害物として検出する検出部と、
    を含む路上障害物検知装置。
  4. コンピュータが実行する路上障害物検知方法であって、
    路上障害物が存在しない画像により予め学習した第１識別器を用いて画像の画素毎に意味的ラベルを付与し、
    路上障害物が存在しない画像を用いて意味的ラベルの統計的分布を予め学習した第２識別器に対して、前記意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、前記部分領域に対応する意味的ラベル画像を復元し、復元した復元画像と、前記意味的ラベル画像とを比較して路上障害物を検出する路上障害物検知方法。
  5. コンピュータが実行する路上障害物検知方法であって、
    路上障害物が存在しない画像により予め学習した第１識別器を用いて画像の画素毎に意味的ラベルを付与し、
    路上障害物が存在しない画像を用いて意味的ラベルの統計的分布を予め学習した第２識別器に対して、前記意味的ラベルが付与された意味的ラベル画像の予め定めた部分領域を入力して、前記部分領域に対応する意味的ラベル画像を復元し、復元した復元画像の復元誤差が予め定めた閾値以上の領域を路上障害物として検出する路上障害物検知方法。
  6. コンピュータを、請求項１～３の何れか１項に記載の路上障害物検知装置の各部として機能させるための路上障害物検知プログラム。
JP2020092676A 2020-05-27 2020-05-27 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム Active JP7310718B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020092676A JP7310718B2 (ja) 2020-05-27 2020-05-27 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
US17/215,411 US20210374440A1 (en) 2020-05-27 2021-03-29 On-road obstacle detection device, on-road obstacle detection method, and recording medium
CN202110346040.1A CN113743179A (zh) 2020-05-27 2021-03-31 路上障碍物检知装置、方法及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020092676A JP7310718B2 (ja) 2020-05-27 2020-05-27 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム

Publications (2)

Publication Number Publication Date
JP2021189625A JP2021189625A (ja) 2021-12-13
JP7310718B2 true JP7310718B2 (ja) 2023-07-19

Family

ID=78705016

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020092676A Active JP7310718B2 (ja) 2020-05-27 2020-05-27 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム

Country Status (3)

Country Link
US (1) US20210374440A1 (ja)
JP (1) JP7310718B2 (ja)
CN (1) CN113743179A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7327077B2 (ja) * 2019-10-18 2023-08-16 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
US11508092B2 (en) * 2019-12-16 2022-11-22 X Development Llc Edge-based crop yield prediction
GB202202831D0 (en) * 2022-03-01 2022-04-13 Agco Int Gmbh Monitoring agricultural operations
CN114973138B (zh) * 2022-06-02 2024-03-29 松立控股集团股份有限公司 一种基于高位相机的路面异常物体检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018194912A (ja) 2017-05-12 2018-12-06 トヨタ自動車株式会社 路上障害物検出装置，方法，およびプログラム
JP2019211900A (ja) 2018-06-01 2019-12-12 株式会社デンソー 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101681549A (zh) * 2008-03-11 2010-03-24 松下电器产业株式会社 标签传感器系统、传感器装置、物体位置推测装置及物体位置推测方法
CN110246142A (zh) * 2019-06-14 2019-09-17 深圳前海达闼云端智能科技有限公司 一种检测障碍物的方法、终端和可读存储介质
JP7215390B2 (ja) * 2019-10-10 2023-01-31 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
JP7327077B2 (ja) * 2019-10-18 2023-08-16 トヨタ自動車株式会社 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018194912A (ja) 2017-05-12 2018-12-06 トヨタ自動車株式会社 路上障害物検出装置，方法，およびプログラム
JP2019211900A (ja) 2018-06-01 2019-12-12 株式会社デンソー 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Krzysztof Lis et al.，"Detecting the Unexpected via Image Resynthesis"，2019 IEEE/CVF International Conference on Computer Vision (ICCV)，米国，IEEE，2019年10月27日，pp.2152-2161
Vijay Badrinarayanan et al.，"SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation"，IEEE Transactions on Pattern Analysis and Machine Intelligence，米国，IEEE，2017年01月02日，Vol.39, No.12，pp.2481-2495
尾▲崎▼ 信之，"車載向け画像・認識技術動向 ～Ｖｉｓｃｏｎｔｉでの事例を踏まえて～"，映像情報メディア学会誌，日本，一般社団法人映像情報メディア学会，2019年11月01日，Vol.73, No.6，pp.48-54

Also Published As

Publication number Publication date
CN113743179A (zh) 2021-12-03
US20210374440A1 (en) 2021-12-02
JP2021189625A (ja) 2021-12-13

Similar Documents

Publication Publication Date Title
JP7310718B2 (ja) 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
CN111488789B (zh) 用于基于图像分析的监视的行人检测方法及装置
EP3673417B1 (en) System and method for distributive training and weight distribution in a neural network
US10289909B2 (en) Conditional adaptation network for image classification
Le et al. Uncertainty estimation for deep neural object detectors in safety-critical applications
JP6912008B2 (ja) マシンビジョンシステム
US10275691B2 (en) Adaptive real-time detection and examination network (ARDEN)
EP3844669A1 (en) Method and system for facilitating recognition of vehicle parts based on a neural network
EP3690714A1 (en) Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same
Breitenstein et al. Systematization of corner cases for visual perception in automated driving
EP3690740A1 (en) Method for optimizing hyperparameters of auto-labeling device which auto-labels training images for use in deep learning network to analyze images with high precision, and optimizing device using the same
US20190354860A1 (en) Device for Classifying Data
EP3859560A2 (en) Method and apparatus for visual question answering, computer device and medium
CN112783135B (zh) 诊断车辆的感知系统的系统和方法
US10929719B2 (en) Adversarial attack on black box object detection algorithm
CN114245912A (zh) 通过在基于概率信号时间逻辑的约束下求解优化问题来进行感知误差评估和校正的系统和方法
JP7327077B2 (ja) 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
Alkhorshid et al. Road detection through supervised classification
CN116670687A (zh) 用于调整训练后的物体检测模型以适应域偏移的方法和系统
US20220028180A1 (en) Shape-based vehicle classification using laser scan and neural network
US20220067882A1 (en) Image processing device, computer readable recording medium, and method of processing image
CN114241314A (zh) 一种基于CenterNet的遥感影像建筑物变化检测模型及算法
US20200005467A1 (en) Image processing device, image recognition device, image processing program, and image recognition program
Zhang et al. A comparative analysis of object detection algorithms in naturalistic driving videos
US20230394781A1 (en) Global context vision transformer

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230619

R151 Written notification of patent or utility model registration

Ref document number: 7310718

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151