JP6698864B2 - 物体検知装置および物体検知方法 - Google Patents

物体検知装置および物体検知方法 Download PDF

Info

Publication number
JP6698864B2
JP6698864B2 JP2018549662A JP2018549662A JP6698864B2 JP 6698864 B2 JP6698864 B2 JP 6698864B2 JP 2018549662 A JP2018549662 A JP 2018549662A JP 2018549662 A JP2018549662 A JP 2018549662A JP 6698864 B2 JP6698864 B2 JP 6698864B2
Authority
JP
Japan
Prior art keywords
detection
reliability
information
ecu
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018549662A
Other languages
English (en)
Other versions
JPWO2018087817A1 (ja
Inventor
公司 飯田
公司 飯田
智能 小城戸
智能 小城戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2018087817A1 publication Critical patent/JPWO2018087817A1/ja
Application granted granted Critical
Publication of JP6698864B2 publication Critical patent/JP6698864B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7796Active pattern-learning, e.g. online learning of image or video features based on specific statistical tests
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers
    • G01V8/12Detecting, e.g. by using light barriers using one transmitter and one receiver
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geophysics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Geophysics And Detection Of Objects (AREA)

Description

本発明は、例えば、自動運転の車両が物体を検知するための物体検知装置および物体検知方法に関する。
車両に種々のセンサを搭載することで、車両周辺に存在する障害物を検出し、衝突回避を支援する装置が開発されてきている(例えば、特許文献1参照)。この特許文献1に係る物体検知装置は、例えば、車両に設置したカメラによって車両周囲の様子を撮影し、撮影した画像をもとに歩行者や周囲の車両などの障害物を検出する。そして、この物体検知装置は、検出した障害物をもとに危険な状態であると判断した場合には、運転者に対して警告を放置することで、危険回避を支援する。
特開2013−104689号公報
しかしながら、従来技術には、以下のような課題がある。
特許文献1の物体検知装置は、車両周辺の障害物の誤検知の問題がある。このような誤検知が発生することで、物体検知装置の信頼性が大きく低下してしまうこととなる。
本発明は、上記課題を解決するためになされたもので、特に車両周辺の障害物の誤検知を改善し、車両周辺の障害物の検知性能の信頼性を向上させることのできる物体検知装置および物体検知方法を得ることを目的とする。
本発明に係る物体検知装置は、検出周期ごとに1以上の物体を検出して、検出した物体ごとの信頼度を含む検出情報を出力する検知部と、物体ごとに検知回数をインクリメントするとともに、検出情報に含まれている信頼度について、検出周期の直近N回の加算値を物体ごとに算出し、加算値が、検知回数に応じてあらかじめ設定された第1閾値以上となる物体を、正常認識された物体であると判定する判定部と、検出情報に含まれる物体のうち、判定部により正常認識された物体であると判定された物体に関する検出情報を正常検出物体情報として出力する制御部とを備えるものである。
また、本発明に係る物体検知方法は、検知対象である物体ごとの信頼度を含む検出情報を出力する検知器を介して、検出周期ごとに検出情報を取得する第1ステップと、物体ごとに検知回数をインクリメントするとともに、検出情報に含まれている信頼度について、検出周期の直近N回の加算値を物体ごとに算出し、加算値が、検知回数に応じてあらかじめ設定された第1閾値以上となる物体を、正常認識された物体であると判定する第2ステップと、検出情報に含まれる物体のうち、第1ステップにより正常認識された物体であると判定された物体に関する検出情報を正常検出物体情報として出力する第3ステップとを有するものである。
本発明によれば、検出部で得られた物体の検出情報が正常認識であるか誤認識であるかを判別するに当たり、物体の検知回数に応じた判定値を適切に設定しておき、検知回数と判定値との組合せにより、高精度で、かつ検知回数によらずに同等の精度で、物体認識処理を実行できる構成を備えている。この結果、特に車両周辺の障害物の誤検知を改善し、車両周辺の障害物の検知性能の信頼性を向上させることのできる物体検知装置および物体検知方法を得ることができる。
本発明の実施の形態1から3に係る物体検知装置のブロック構成図である。 本発明の実施の形態1に係る物体検知装置で実行される一連処理を示したフローチャートである。 本発明の実施の形態2に係る物体検知装置で実行される一連処理を示したフローチャートである。 本発明の実施の形態3に係る物体検知装置で実行される一連処理を示したフローチャートである。
以下、本発明の物体検知装置および物体検知方法の好適な実施の形態につき図面を用いて説明する。
実施の形態1.
本実施の形態1に係る物体検知装置および物体検知方法は、障害物の検出回数があらかじめ決められた回数N回以上である場合における誤認識判定を行うための構成および処理を備えている点に技術的特徴を有するものである。
図1は、本発明の実施の形態1に係る物体検知装置のブロック構成図である。また、図2は、本発明の実施の形態1に係る物体検知装置で実行される一連処理を示したフローチャートである。以下では、これらの図1、図2を用いて、実施の形態1における処理について詳細に説明する。
<ブロック図の説明>
図1に示した物体検知装置1は、例えば、車両に備えられており、車両周辺を撮像するカメラ2、およびECU3を備えて構成されている。
カメラ2は、車両周辺を撮像し、その画像から車両周辺の障害物を検出するセンサである。このカメラ2は、具体的なハードウェア構成としては、レンズを通して得られた被写体の光学像を電子信号に変換する撮像素子、各種演算処理や情報処理を行うCPU、CPUの作業領域としての揮発性の記憶部のRAM、および不揮発性の記憶部であるメモリを備える。
このようなハードウェア構成を有するカメラ2は、図1に示すように、撮像部21および検出部22の各ブロックを備えている。撮像部21は、車両周辺の様子を撮像して周囲の状況の画像を取得する。一方、検出部22は、撮像部21により取得された画像に対して画像認識処理を施すことで、所望の障害物を抽出する。具体的には、検出部22は、障害物の位置や検出した結果の種類、障害物のID、検出した結果の信頼度などを、抽出した障害物の特性を示す検出情報として出力することができる
信頼度としては、例えば、画像処理による認識率を採用する、あるいは、認識率の範囲を複数に分けてランク付けしておき、認識率に応じたランクを採用することもできる。
ECU3は、通常のコンピュータと同様の構成であり、各種演算処理や情報処理を行うCPU、CPUの作業領域としての揮発性の記憶部のRAM、および不揮発性の記憶部であるメモリを備える。このメモリに、本発明の一連処理を実行するためのプログラムを記憶させておく。
このようなハードウェア構成を有するECU3は、図1に示すように、判定部31および制御部32の各ブロックを備えている。判定部31は、カメラ2の検出部22から得られた障害物の検出情報に対して、その障害物が誤認識であるか否かを判定する。一方、制御部32は、判定部31で得られた結果を用いて正常検出物体情報の出力を制御する。
このような構成を有する物体検知装置1は、本発明による新たな処理を組み込んだ車両周辺の障害物検知処理の一連手順を実行する。図2は、本発明の実施の形態1に係る物体検知装置1により実行される車両周辺の障害物検知処理の一連手順を示すフローチャートである。図2の処理手順は、あらかじめプログラム化され、例えば、ECU3のメモリに記憶されている。
<フローチャートの説明>
次に、図2のフローチャートについて、詳細に説明する。なお、図2および以下の説明で用いる各符号は、以下の内容を意味している。
Obji:i番目の検出物体
i:Objiの初回検知からの更新回数
i:Objiの信頼度
i、k:Objiの更新回数ki回目における信頼度
Thresh1i:Objiを出力するか否かを判断する判定値
Thresh2i:Objiを登録維持するか削除するかを判断する判定値であり、Thresh1iよりも低い値
まず、ステップS101において、ECU3は、あらかじめ決められている初期化処理を行う。その後、ステップS102において、ECU3は、画像から得られた検出情報をカメラ2から受け取り、新規に検出した物体が存在するか否かを判断する。
つまり、ECU3は、カメラ2から取得した検出情報に含まれている物体が、RAMに登録されているか否かを判断する。新規に検出した物体があると判断された場合(ステップS102:Yes)には、ステップS103に進み、新規に検出した物体がないと判断された場合(ステップS102:No)には、ステップS104に進む。
ステップS103に進んだ場合、ECU3は、新規検知物体Objnewの情報をRAM上に登録し、更新回数knewをknew=0、信頼度QnewをQnew=0として初期化を行う。その後、ステップS104に進む。
ステップS104からステップS116においては、ECU3は、RAM上に登録されている検知物体の中から1つの物体を選択して、誤認識の判定処理を行う。
ステップS104において、ECU3は、RAM上に登録されている検知物体の中から、更新処理が行われていない検知物体を一つ選択する。この物体をObjiとする。その後、ステップS105に進む。
次に、ステップS105において、ECU3は、選択した物体Objiに関して、新規検知からの検出更新回数を表すkiの値をインクリメント(ki=ki+1)して、ステップS106に進む。
次に、ステップS106において、ECU3は、Objiに対応する検知物体がカメラ2の検出部22から受け取った検出情報に含まれているか否かを判断する。Objiに該当する検知物体が検出情報に含まれていると判断された場合(ステップS106:Yes)には、ステップS108に進み、Objiに該当する検知物体が検出情報に含まれていないと判断された場合(ステップS106:No)には、ステップS107に進む。
ステップS107に進んだ場合、ECU3は、Objiの更新回数ki回目における信頼度Qi,kを0にして、ステップS108に進む。
ステップS108において、ECU3は、直近N回の信頼度の和を算出するために、Objiの(ki−N)回目の信頼度、すなわち、N回のうちの最古の信頼度であるQi,kーNを、Objiの信頼度を表すQiから減算する。
次に、ステップS109において、ECU3は、更新前の信頼度Qiの値に、Objiのki回目の信頼度を加算して、(ki−N+1)回目から現在のki回目までのN個の信頼度の合計値を算出し、ステップS110に進む。これらのステップS108およびステップS109の処理により、直近N回の加算値が、Objiの信頼度Qiとして算出できる。
次に、ステップS110において、ECU3は、Objiの初回検知からの更新回数kiに応じて、判定値Thresh1と判定値Thresh2を更新して、ステップS111に進む。
一例として、ECU3は、更新回数が少ないほど高い値を判定値としてあらかじめ設定しておき、更新回数が多いほど低い値を判定値として設定しておくことができる。ここで、更新回数に相当する検知回数が多くなるほど、誤認識でないことがより確実となる。そこで、このような場合には、判定値をより低く設定しても、正常認識か誤認識かの識別を高精度に実施することができる。
一方、検知回数が少ない場合には、より高く設定した判定値を用いることで、誤認識であった結果を正常認識であったと誤って判断してしまうことを確実に防止できる。すなわち、本発明は、検知回数に応じた判定値を適切に設定しておき、検知回数と判定値との組合せにより正常認識と誤認識との識別を行うことで、高精度で、かつ検知回数によらずに同等の精度で、物体認識処理を実行できる。
次に、ステップS111において、ECU3は、Objiの信頼度Qiと判定値Thresh1との比較を行い、ki回目の検出が正常検知か否かを判断する。Qi>=Thresh1と判断された場合(ステップS111:Yes)には、ステップS113に進む。一方、Qi<Thresh1と判断された場合(ステップS111:No)には、ステップS112に進む。
ステップS112に進んだ場合、ECU3は、Objiの信頼度Qiと判定値Thresh2との比較を行い、RAM上に登録されたObjiの登録を維持するか削除するかを判断する。Qi>=Thresh2と判断された場合(ステップS112:Yes)には、ステップS114に進む。一方、Qi<Thresh2と判断された場合(ステップS112:No)には、ステップS115に進む。
ステップS113に進んだ場合には、信頼度が十分に高いと判断されたことに相当し、ECU3は、Objiを正常検知と判定し、正常検出物体情報として出力して、ステップS116に進む。
ステップS114に進んだ場合には、信頼度が十分に高くないと判断されたことに相当し、ECU3は、正常検出物体情報を出力しない。ただし、ECU3は、検出の登録情報からはObjiを削除せず、RAM上に維持しておく。その後、ステップS116に進む。
ステップS115に進んだ場合には、信頼度が非常に低いと判断されたことに相当し、ECU3は、正常検出物体情報を出力しない。さらに、ECU3は、ObjiをRAM上からも削除し、登録削除を実行する。その後、ステップS116に進む。
そして、ステップS116において、ECU3は、Objiの更新処理が終了したことを示すフラグをセットして、ステップS117に進む。
次に、ステップS117において、ECU3は、RAM上に登録されている検知物体の更新処理がすべて終了したか否かを判断する。すべての検知物体の更新処理が終了していると判断された場合(ステップS117:Yes)には、ステップS118に進む。
一方、更新処理が終了していない検知物体があると判断された場合(ステップS117:No)には、ステップS104に戻り、ECU3は、更新処理が終了していない検知物体に対して、ステップS104以降の同様の処理を行う。
最終的に、ステップS118に進むことで、カメラ2の検出部22の1検出周期に対する誤認識判定処理が終了となり、ステップS102に戻る。そして、ECU3は、カメラ2から次の検出情報を受信するまで、ステップS102で待機する。以上が、図2の一連処理の手順である。
次に、図2に示したこのような一連処理を行う本実施の形態1に係る発明の技術的意義について説明する。図2に示した処理手順によって、ECU3は、本来ならば検出すべてきではない対象を障害物であると判定してしまう誤認識を削減できる。通常の場合、誤認識をした検出結果は、信頼度Qi,kが低い値として出力される。
この信頼度の低い誤認識の検出結果に対しては、1回の検出結果の信頼度の値Qi,kと判定値(Thresh1)を比較することで、誤認識と判別することができる。しかし、検出部22から出力される結果の中には、検出すべきでない対象であっても、偶発的に信頼度が高い値として検出結果が出力されることが、頻度が低いながらも発生する。
このような信頼度が高い値となってしまった誤認識に対して、前述した1回の検出結果の信頼度Qi,kと判定値との比較を行っただけでは、その検出結果が誤認識であると判別することは容易ではない。判定値を大きくすることで誤認識であると判別することは可能であるが、本来、正常な検出結果である障害物まで、障害物が存在しないと誤った判別をしてしまい、未検出が発生してしまうおそれがある。
このような問題を回避するために、本実施の形態1では、複数回の検出結果を加味して、正常認識と誤認識の識別を行っている。具体的には、本実施の形態1に係る手法は、直近の複数回の信頼度Qi,kの和である信頼度Qiを用いて、検出結果の誤認識/正常認識の判別を行っている。このため、複数回のうち1回のみ偶発的に信頼度が高くなったとしても、他の信頼度が低いため、複数回の信頼度の和Qiは小さな値となる。従って、本実施の形態1に係る手法を採用することで、偶発的に信頼度が高くなった場合であっても、誤認識であるという正しい判定が可能となる。
なお、誤認識の検出結果に対する場合と同様に、正常認識の検出結果に対しても、本実施の形態1に係る手法は、適応可能である。つまり、正常認識ではあるものの偶発的に信頼度Qi,kが低い検出結果に対しても、直近の複数回の信頼度Qi,kの和である信頼度Qiの値は、大きくなる。従って、本実施の形態1に係る手法を採用することで、偶発的に信頼度が低くなった場合であっても、正常認識であると正しく判定できる。
実施の形態2
先の実施の形態1では、障害物の検出回数があらかじめ決められた回数N回以上である場合における誤認識判定を行うための構成および処理について説明した。これに対して、本実施の形態2では、障害物の検出が初回検知からN回未満の場合における誤認識判定を行うための構成および処理について説明する。
ブロック構成図は、先の図1と同一である。また、図3は、本発明の実施の形態2に係る物体検知装置で実行される一連処理を示したフローチャートである。そこで、以下では、図1によるブロック図の説明は省略し、図3を用いて、本実施の形態2における処理について、詳細に説明する。
<フローチャートの説明>
図3のフローチャートについて、詳細に説明する。なお、図3および以下の説明で用いる各符号は、先の実施の形態1における各符号と同一の内容を意味している。
まず、ステップS201において、ECU3は、あらかじめ決められている初期化処理を行う。その後、ステップS202において、ECU3は、画像から得られた検出情報をカメラ2から受け取り、新規に検出した物体が存在するか否かを判断する。
つまり、ECU3は、カメラ2から取得した検出情報に含まれている物体が、RAMに登録されているか否かを判断する。新規に検出した物体があると判断された場合(ステップS202:Yes)には、ステップS203に進み、新規に検出した物体がないと判断された場合(ステップS202:No)には、ステップS204に進む。
ステップS203に進んだ場合、ECU3は、新規検知物体Objnewの情報をRAM上に登録し、更新回数knewをknew=0、信頼度QnewをQnew=0として初期化を行う。その後、ステップS204に進む。
ステップS204からステップS215においては、ECU3は、RAM上に登録されている検知物体の中から1つの物体を選択して、誤認識の判定処理を行う。
ステップS204において、ECU3は、RAM上に登録されている検知物体の中から、更新処理が行われていない検知物体を一つ選択する。この物体をObjiとする。その後、ステップS205に進む。
次に、ステップS205において、ECU3は、選択した物体Objiに関して、新規検知からの検出更新回数を表すkiの値をインクリメント(ki=ki+1)して、ステップS206に進む。
次に、ステップS206において、ECU3は、Objiに対応する検知物体がカメラ2の検出部22から受け取った検出情報に含まれているか否かを判断する。Objiに該当する検知物体が検出情報に含まれていると判断された場合(ステップS206:Yes)は、ステップS208に進み、Objiに該当する検知物体が検出情報に含まれていないと判断された場合(ステップS206:No)には、ステップS207に進む。
ステップS207に進んだ場合、ECU3は、Objiの更新回数ki回目における信頼度Qi,kを0にして、ステップS208に進む。
ステップS208において、ECU3は、更新前の信頼度Qiの値に、Objiのki回目の信頼度を加算して、ステップS209に進む。このような加算処理により、検出回数がN回未満の場合の、ki回目までの累積値が、Objiの信頼度Qiとして算出できる。
次に、ステップS209において、ECU3は、Objiの初回検知からの更新回数kiに応じて、判定値Thresh1と判定値Thresh2を更新して、ステップS210に進む。
次に、ステップS210において、ECU3は、Objiの信頼度Qiと判定値Thresh1との比較を行い、ki回目の検出が正常検知か否かを判断する。Qi>=Thresh1と判断された場合(ステップS210:Yes)には、ステップS212に進む。一方、Qi<Thresh1と判断された場合(ステップS210:No)には、ステップS211に進む。
ステップS211に進んだ場合、ECU3は、Objiの信頼度Qiと判定値Thresh2との比較を行い、RAM上に登録されたObjiの登録を維持するか除するかを判断する。Qi>=Thresh2と判断された場合(ステップS211:Yes)には、ステップS213に進む。一方、Qi<Thresh2と判断された場合(ステップS212:No)には、ステップS214に進む。
ステップS212に進んだ場合には、信頼度が十分に高いと判断されたことに相当し、ECU3は、Objiを正常検知と判定し、正常検出物体情報として出力して、ステップS215に進む。
ステップS213に進んだ場合には、信頼度が十分に高くないと判断されたことに相当し、ECU3は、正常検出物体情報を出力しない。ただし、ECU3は、検出の登録情報からはObjiを削除せず、RAM上に維持しておく。その後、ステップS215に進む。
ステップS214に進んだ場合には、信頼度が非常に低いと判断されたことに相当し、ECU3は、正常検出物体情報を出力しない。さらに、ECU3は、ObjiをRAM上からも削除し、登録削除を実行する。その後、ステップS215に進む。
そして、ステップS215において、ECU3は、Objiの更新処理が終了したことを示すフラグをセットして、ステップS216に進む。
次に、ステップS216において、ECU3は、RAM上に登録されている検知物体の更新処理がすべて終了したか否かを判断する。すべての検知物体の更新処理が終了していると判断された場合(ステップS216:Yes)には、ステップS217に進む。
一方、更新処理が終了していない検知物体があると判断された場合(ステップS216:No)には、ステップS204に戻り、ECU3は、更新処理が終了していない検知物体に対して、ステップS104以降の同様の処理を行う。
最終的に、ステップS217に進むことで、カメラ2の検出部22の1検出周期に対する誤認識判定処理が終了となり、ステップS102に戻る。そして、ECU3は、カメラ2から次の検出情報を受信するまで、ステップS102で待機する。以上が、図3の一連処理の手順である。
次に、図3に示したこのような一連処理を行う本実施の形態2に係る発明の技術的意義について説明する。実施の形態2においても、先の実施の形態1の場合と同様に、本来ならば検出すべてきではない対象が障害物であるとして、カメラ2の検出部22から出力された場合にも、誤認識であることを確実に判別することができる。
このときに、初回のからの更新回数kの値に応じて、判定値Thresh1と判定値Thresh2の値は、例えば、kの値に比例し増加させるなどによって、適切に変化させることができる。そして、実施の形態1と同様に、本実施の形態2における判定部31は、適切な値に変化させた判定値Thresh1と判定値Thresh2を用いて、検出結果の妥当性を判断することができる。
この結果、初回検知からN回未満の検出結果において、偶発的に信頼度が高い値として検出部22から出力された、本来は信頼度Qi,kが低い誤認識の検出結果を、複数回にわたる加算結果に基づいて誤認識であると適切に判定することが可能となる。
誤認識を判定する他の方法としては、連続検知の回数から誤検知を判定する方法がある。しかしながら、この方法の場合、複数回連続して検知することで、ようやく正常認識と判定することとなる。このため、たとえ信頼度Qi,kが大きくても、正常認識と判定するまでに時間遅れが発生する。
一方で、本実施の形態2の手法を採用する場合には、信頼度Qi,kが十分に大きい場合、もしくは信頼度Qi,kが非常に小さい場合には、ECU3は、時間遅れが小さい状態で、正常認識であるか誤認識である化の識別判定を行うことが可能となる利点もある。
実施の形態3.
先の実施の形態1では、障害物の検出回数があらかじめ決められた回数N回以上である場合における誤認識判定を行うための構成および処理について説明した。また、先の実施の形態2では、障害物の検出が初回検知からN回未満の場合における誤認識判定を行うための構成および処理について説明した。
これに対して、本実施の形態3では、障害物の検出が、初回検知から検知回数によらない場合における誤認識判定を行うための構成および処理について説明する。換言すると、本実施の形態3では、実施の形態1と実施の形態2の処理機能を併せ持つ場合について説明する。
ブロック構成図は、先の図1と同一である。また、図4は、本発明の実施の形態3に係る物体検知装置で実行される一連処理を示したフローチャートである。そこで、以下では、図1によるブロック図の説明は省略し、図4を用いて、本実施の形態3における処理について、詳細に説明する。
<フローチャートの説明>
図4のフローチャートについて、詳細に説明する。なお、図4および以下の説明で用いる各符号は、先の実施の形態1、2における各符号と同一の内容を意味している。
まず、ステップS301みおいて、ECU3は、あらかじめ決められている初期化処理を行う。その後、ステップS302において、ECU3は、画像から得られた検出情報をカメラ2から受け取り、新規に検出した物体が存在するか否かを判断する。
つまり、ECU3は、カメラ2から取得した検出情報と一致する物体が、RAMに保存されている検知物体であるか否かを判断する。新規に検出した物体があると判断された場合(ステップS302:Yes)には、ステップS303に進み、新規に検出した物体がないと判断された場合(ステップS302:No)には、ステップS304に進む。
ステップS303に進んだ場合、ECU3は、新規検知物体Objnewの情報をRAM上に登録し、更新回数knewをknew=0、信頼度QnewをQnew=0として初期化を行う。その後、ステップS304に進む。
ステップS304からステップS317においては、ECU3は、RAM上に登録されている検知物体の中から1つの物体を選択して、誤認識の判定処理を行う。
ステップS304において、ECU3は、RAM上に登録されている検知物体の中から、更新処理が行われていない検知物体を一つ選択する。この物体をObjiとする。その後、ステップS305に進む。
次に、ステップS305において、ECU3は、選択した物体Objiに関して、新規検知からの検出更新回数を表すkiの値をインクリメント(ki=ki+1)して、ステップS306に進む。
次に、ステップS306において、ECU3は、Objiに対応する検知物体がカメラ2の検出部22から受け取った検出情報に含まれているか否かを判断する。Objiに該当する検知物体が検出情報に含まれていると判断された場合(ステップS306:Yes)には、ステップS307に進み、Objiに該当する検知物体が検出情報に含まれていないと判断された場合(ステップS306:No)には、ステップS308に進む。
ステップS307に進んだ場合、ECU3は、Objiの更新回数ki回目における信頼度Qi,kを0にして、ステップS308に進む。
ステップS308において、ECU3は、Objiが初回検知されてからの更新回数が、あらかじめ決められた回数N回以上であるか否かを判断する。N>=kiの場合には(ステップS308:Yes)、更新回数がN回以上であるため、ステップS309に進む。それ以外の場合には、更新回数がN回未満である(ステップS309:No)ため、ステップS310に進む。
ステップS309に進んだ場合、ECU3は、直近N回の信頼度の和を算出するために、Objiの(ki−N)回目の信頼度、すなわち、N回のうちの最古の信頼度であるQi,kーNを、Objiの信頼度を表すQiから減算する。
次に、ステップS310において、ECU3は、更新前の信頼度Qiの値に、Objiのki回目の信頼度を加算して、(ki−N+1)回目から現在のki回目までのN個の信頼度の合計値を算出し、ステップS311に進む。
これらのステップS308、ステップS309、ステップS310の処理によって、初回検知からN回以上の場合には、Objiの信頼度を表すQiは、Objiの直近N回の信頼度の和として算出できる。一方、更新回数がN回未満の場合には、ki回目までの累積値が、Objiの信頼度Qiとして算出できる。
次に、ステップS311において、ECU3は、Objiの初回検知からの更新回数kiに応じて、判定値Thresh1と判定値Thresh2を更新して、ステップS312に進む。
次に、ステップS312において、ECU3は、Objiの信頼度Qiと判定値Thresh1との比較を行い、ki回目の検出が正常検知か否かを判断する。Qi>=Thresh1と判断された場合(ステップS312:Yes)には、ステップS314に進む。一方、Qi<Thresh1と判断された場合(ステップS312:No)には、ステップS313に進む。
ステップS313に進んだ場合、ECU3は、Objiの信頼度Qiと判定値Thresh2との比較を行い、RAM上に登録されたObjiの登録を維持するか削除するかを判断する。Qi>=Thresh2と判断された場合(ステップS313:Yes)には、ステップS315に進む。一方、Qi<Thresh2と判断された場合(ステップS313:No)には、ステップS316に進む。
ステップS314に進んだ場合には、信頼度が十分に高いと判断されたことに相当し、ECU3は、Objiを正常検知と判定し、正常検出物体情報として出力して、ステップS317に進む。
ステップS315に進んだ場合には、信頼度が十分に高くないと判断されたことに相当し、ECU3は、正常検出物体情報を出力しない。ただし、ECU3は、検出の登録情報からはObjiを削除せず、RAM上に維持しておく。その後、ステップS317に進む。
ステップS316に進んだ場合には、信頼度が非常に低いと判断されたことに相当し、ECU3は、正常物体検出情報を出力しない。さらに、ECU3は、ObjiをRAM上からも削除し、登録削除を実行する。その後、ステップS317に進む。
そして、ステップS317において、ECU3は、Objiの更新処理が終了したことを示すフラグをセットして、ステップS318に進む。
次に、ステップS318において、ECU3は、RAM上に登録されている検知物体の更新処理がすべて終了したか否かを判断する。すべての検知物体の更新処理が終了していると判断された場合(ステップS318:Yes)には、ステップS319に進む。
一方、更新処理が終了していない検知物体があると判断された場合(ステップS318:No)には、ステップS304に戻り、ECU3は、更新処理が終了していない検知物体に対して、ステップS304以降の同様の処理を行う。
最終的に、ステップS319に進むことで、カメラ2の検出部22の1検出周期に対する誤認識判定処理が終了となり、ステップS302に戻る。そして、ECU3は、カメラ2から次の検出情報を受信するまで、ステップS302で待機する。以上が、図4の処理の手順である。
次に、図4に示したこのような一連処理を行う本実施の形態3に係る発明の技術的意義について説明する。図4の一連処理は、先の実施の形態1による図2と、先の実施の形態3による図3のそれぞれの処理機能を併せ持っている。従って、障害物の検出が、初回検知から検知回数によらずに、誤認識判定を正確に行うことが可能となる。
なお、上記の実施の形態1〜3は、本開示に記載された趣旨の範囲内において、適宜変更してもよい、例えば、実施の形態に1〜3おいて、車両周辺の障害物を検出する構成としては、カメラを用いているが、当該カメラに限定されるものではない。車両周辺の障害物を検出可能なセンサ機能を有するものであれば、カメラ以外を採用することも可能である。
また、実施の形態1〜3においては、検出結果を用いた障害物の存在の判定処理をECU3で実行した。しかしながら、カメラ2で取得した画像に対して画像認識処理を実行しているCPU上で、この判定処理を実行する構成を採用することも可能である。
また、上述した実施の形態1〜3では、検知対象としての物体を「障害物」と称したが、障害物に限定されるものではない。例えば、目標とする物体、接触しても問題ない物体などを検知対象として誤認識判定を行うことも可能である。
さらに、上述した実施の形態1〜3では、自動運転の車両が物体を検知するための物体検知装置および物体検知方法を具体例として説明したが、本発明の適用対象は、車両に限定されるものではない。物体を検知する装置において、誤検知を防止する用途として適用することが可能である。
1 物体検知装置、2 カメラ、3 ECU、21 撮像部、22 検出部、31 判定部、32 制御部。

Claims (6)

  1. 検出周期ごとに1以上の物体を検出して、検出した物体ごとの信頼度を含む検出情報を出力する検知部と、
    物体ごとに検知回数をインクリメントするとともに、前記検出情報に含まれている前記信頼度について、前記検出周期の直近N回の加算値を物体ごとに算出し、前記加算値が、前記検知回数に応じてあらかじめ設定された第1閾値以上となる物体を、正常認識された物体であると判定する判定部と、
    前記検出情報に含まれる物体のうち、前記判定部により前記正常認識された物体であると判定された物体に関する検出情報を正常検出物体情報として出力する制御部と
    を備える物体検知装置。
  2. 前記判定部は、初回検知からの検知回数がN回未満のM回である場合には、物体ごとに検知回数をインクリメントするとともに、前記検出情報に含まれている前記信頼度について、前記初回検知からM回目までの加算値を物体ごとに算出し、前記加算値が、前記検知回数に応じてあらかじめ設定された第1閾値以上となる物体を、正常認識された物体であると判定する
    請求項1に記載の物体検知装置。
  3. 前記判定部は、前記加算値が、前記第1閾値よりも小さい値として前記検知回数に応じてあらかじめ設定された第2閾値未満となる物体については、誤認識された物体であると判定し、該当する物体に関する情報を前記検出情報から削除する
    請求項1または2に記載の物体検知装置。
  4. 検知対象である物体ごとの信頼度を含む検出情報を出力する検知器を介して、検出周期ごとに前記検出情報を取得する第1ステップと、
    物体ごとに検知回数をインクリメントするとともに、前記検出情報に含まれている前記信頼度について、前記検出周期の直近N回の加算値を物体ごとに算出し、前記加算値が、前記検知回数に応じてあらかじめ設定された第1閾値以上となる物体を、正常認識された物体であると判定する第2ステップと、
    前記検出情報に含まれる物体のうち、前記第ステップにより前記正常認識された物体であると判定された物体に関する検出情報を正常検出物体情報として出力する第3ステップと
    を有する物体検知方法。
  5. 前記第2ステップは、初回検知からの検知回数がN回未満のM回である場合には、物体ごとに検知回数をインクリメントするとともに、前記検出情報に含まれている前記信頼度について、前記初回検知からM回目までの加算値を物体ごとに算出し、前記加算値が、前記検知回数に応じてあらかじめ設定された第1閾値以上となる物体を、正常認識された物体であると判定する
    請求項4に記載の物体検知方法。
  6. 前記第2ステップは、前記加算値が、前記第1閾値よりも小さい値として前記検知回数に応じてあらかじめ設定された第2閾値未満となる物体については、誤認識された物体であると判定し、該当する物体に関する情報を前記検出情報から削除する
    請求項4または5に記載の物体検知方法。
JP2018549662A 2016-11-08 2016-11-08 物体検知装置および物体検知方法 Active JP6698864B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/083120 WO2018087817A1 (ja) 2016-11-08 2016-11-08 物体検知装置および物体検知方法

Publications (2)

Publication Number Publication Date
JPWO2018087817A1 JPWO2018087817A1 (ja) 2019-03-07
JP6698864B2 true JP6698864B2 (ja) 2020-05-27

Family

ID=62109673

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018549662A Active JP6698864B2 (ja) 2016-11-08 2016-11-08 物体検知装置および物体検知方法

Country Status (5)

Country Link
US (1) US10885355B2 (ja)
JP (1) JP6698864B2 (ja)
CN (1) CN109923442B (ja)
DE (1) DE112016007418T5 (ja)
WO (1) WO2018087817A1 (ja)

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099906A (ja) * 2000-09-22 2002-04-05 Mazda Motor Corp 物体認識装置
JP4483589B2 (ja) * 2005-01-12 2010-06-16 日産自動車株式会社 車両用情報提供装置
JP4392389B2 (ja) * 2005-06-27 2009-12-24 本田技研工業株式会社 車両及び車線認識装置
JP2007310741A (ja) * 2006-05-19 2007-11-29 Fuji Heavy Ind Ltd 立体物認識装置
JP4978863B2 (ja) * 2008-02-29 2012-07-18 本田技研工業株式会社 車線認識装置、車両及び車線認識用プログラム
WO2011108258A1 (ja) 2010-03-03 2011-09-09 パナソニック株式会社 車両周辺監視装置および車両周辺監視方法
JP5316572B2 (ja) * 2011-03-28 2013-10-16 トヨタ自動車株式会社 物体認識装置
JP5945777B2 (ja) 2011-11-10 2016-07-05 パナソニックIpマネジメント株式会社 超音波センサ
JP5806647B2 (ja) * 2012-07-12 2015-11-10 本田技研工業株式会社 物体認識装置
JP6369035B2 (ja) * 2013-02-05 2018-08-08 株式会社デンソー 物標検出装置
JP6127676B2 (ja) * 2013-04-12 2017-05-17 オムロン株式会社 画像認識装置、画像認識プログラム、記録媒体、および画像認識方法
US9582886B2 (en) * 2013-07-08 2017-02-28 Honda Motor Co., Ltd. Object recognition device
JP6245880B2 (ja) * 2013-07-31 2017-12-13 キヤノン株式会社 情報処理装置および情報処理手法、プログラム
JP6202981B2 (ja) * 2013-10-18 2017-09-27 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP6320880B2 (ja) 2014-09-01 2018-05-09 株式会社デンソー 検知システム
JP6484000B2 (ja) * 2014-10-22 2019-03-13 株式会社デンソー 物体検知装置
JP6601362B2 (ja) * 2016-10-13 2019-11-06 株式会社デンソー 移動検出装置

Also Published As

Publication number Publication date
JPWO2018087817A1 (ja) 2019-03-07
CN109923442A (zh) 2019-06-21
US20190258877A1 (en) 2019-08-22
US10885355B2 (en) 2021-01-05
WO2018087817A1 (ja) 2018-05-17
CN109923442B (zh) 2021-03-12
DE112016007418T5 (de) 2019-07-25

Similar Documents

Publication Publication Date Title
CA2993421C (en) Object detecting method and object detecting device
JP4884096B2 (ja) 物体識別システム
US20140219505A1 (en) Pedestrian behavior predicting device and pedestrian behavior predicting method
KR102126670B1 (ko) 검출 영역을 최적화하는 장애물 추적 장치 및 방법
US10983521B2 (en) Vehicle controller, vehicle control method, and non-transitory storage medium storing vehicle control program
JP2014137288A (ja) 車両周辺監視装置および車両周辺監視方法
KR101018033B1 (ko) 차선 이탈 경보 방법 및 시스템
JP6413898B2 (ja) 歩行者判定装置
JP2016031564A5 (ja)
CN108710828B (zh) 识别目标物的方法、装置和存储介质以及车辆
CN109684944B (zh) 障碍物检测方法、装置、计算机设备和存储介质
CN104239847A (zh) 行车警示方法及车用电子装置
JP6411933B2 (ja) 車両状態判定装置
JP6698864B2 (ja) 物体検知装置および物体検知方法
JP2007219836A (ja) 車両用走行支援装置
US11100340B2 (en) Line detector for vehicle and method for detecting line for vehicle
JP2005157765A (ja) 歩行者検出装置
JP4151631B2 (ja) 物体検出装置
KR101673716B1 (ko) 차량의 주행차선인지 장치 및 방법
JP5045449B2 (ja) 画像処理による環境適応型侵入者検知装置
CN111295566B (zh) 物体识别装置及物体识别方法
JP2017130104A (ja) 余裕度判定装置、余裕度判定方法および運転支援システム
US10846840B2 (en) Image recognition device
CN114371696B (zh) 移动设备、控制方法、机器人及存储介质
CN109815879B (zh) 目标检测方法、装置和电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200428

R150 Certificate of patent or registration of utility model

Ref document number: 6698864

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250