JP7279721B2 - 物体認識装置、物体認識方法および物体認識プログラム - Google Patents

物体認識装置、物体認識方法および物体認識プログラム Download PDF

Info

Publication number
JP7279721B2
JP7279721B2 JP2020554806A JP2020554806A JP7279721B2 JP 7279721 B2 JP7279721 B2 JP 7279721B2 JP 2020554806 A JP2020554806 A JP 2020554806A JP 2020554806 A JP2020554806 A JP 2020554806A JP 7279721 B2 JP7279721 B2 JP 7279721B2
Authority
JP
Japan
Prior art keywords
object recognition
learning model
scene
unit
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020554806A
Other languages
English (en)
Other versions
JPWO2020090251A1 (ja
Inventor
康則 二木
吉弘 三島
篤司 福里
淳 中山田
健治 傍田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2020090251A1 publication Critical patent/JPWO2020090251A1/ja
Application granted granted Critical
Publication of JP7279721B2 publication Critical patent/JP7279721B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7796—Active pattern-learning, e.g. online learning of image or video features based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Description

本発明は、運転中に撮影される物体を認識する物体認識装置、物体認識方法および物体認識プログラムに関する。
近年、ドライバによる運転を自動化する自動運転技術や、運転中の危険を予測するための危険予測技術が注目されている。自動運転や危険予測を行うため、車両外部（以下、車外と記す）の画像を撮影して物体を認識する方法が各種提案されている。
例えば、特許文献１には、演算負荷を低減しながら、運転支援や自動運転において必要とされる情報を認識する画像認識装置が記載されている。特許文献１に記載された装置は、車外の静止物体の位置情報が設定された三次元地図データと、車両と静止物体との相対位置および距離に基づいて、静止物体を画像認識処理の対象物として検出し、検出された対象物が含まれる範囲を絞って画像認識処理を行う。
特開２０１８－７３２７５号公報
自動運転では、静止物体だけでなく、自転車や歩行者、二輪車などの移動物体についても考慮する必要がある。しかし、特許文献１に記載された画像認識装置は、認識対象を静止物体としているため、移動物体を画像認識の対象物として検出することは困難である。一方で、撮影される全ての物体を一律に認識しようとした場合、各物体の認識精度を向上させることは難しく、また、演算負荷が高くなる結果、処理速度が低下してしまうおそれもある。そのため、運転中に撮影される画像中の物体の認識精度を向上させつつ、演算負荷を低減できることが好ましい。
そこで、本発明は、演算負荷を抑制しながら、運転中に撮影される物体の認識精度を向上させることができる物体認識装置、物体認識方法および物体認識プログラムを提供することを目的とする。
本発明による物体認識装置は、車両運転中に得られる情報に基づいて、その車両のシーンを判定するシーン判定部と、判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する学習モデル選択部と、選択された学習モデルを用いて、車両運転中に撮影される画像中の物体を認識する物体認識部と、選択された学習モデルによる物体認識結果と、車両運転中に検出される物体の有無を表わす情報である物体有無情報とを照合し、選択された学習モデルによる物体認識結果を評価する物体認識結果評価部と、物体認識結果の評価を判定する認識結果判定部とを備え、シーン判定部が、シーンごとの確からしさを判別する判別モデルを用いて、車両のシーンごとの確からしさであるスコアを判定し、学習モデル選択部が、スコアが最も高いシーンに応じた学習モデルを選択し、物体認識部が、選択された学習モデルを用いて物体を認識し、物体認識結果評価部が、物体有無情報に対する物体認識結果の正解度合いを評価し、認識結果判定部が、正解度合いが予め定めた閾値未満か否かを判定し、学習モデル選択部が、正解度合いが閾値未満の場合、現在のシーンに次いでスコアの高いシーンに対応する学習モデルを選択することを特徴とする。
本発明による物体認識方法は、コンピュータが、車両運転中に得られる情報に基づいて、シーンごとの確からしさを判別する判別モデルを用いて、その車両のシーンごとの確からしさであるスコアを判定し、コンピュータが、判定されたシーンのスコアに応じて、２以上の学習モデルから物体認識に用いる学習モデルとして、スコアが最も高いシーンに応じた学習モデルを選択し、コンピュータが、選択された学習モデルを用いて、車両運転中に撮影される画像中の物体を認識し、コンピュータが、選択された学習モデルによる物体認識結果と、車両運転中に検出される物体の有無を表わす情報である物体有無情報とを照合し、その物体有無情報に対する物体認識結果の正解度合いを評価し、コンピュータが、正解度合いが予め定めた閾値未満か否かを判定し、コンピュータが、正解度合いが閾値未満の場合、現在のシーンに次いでスコアの高いシーンに対応する学習モデルを選択することを特徴とする。
本発明による物体認識プログラムは、コンピュータに、車両運転中に得られる情報に基づいて、その車両のシーンを判定するシーン判定処理、判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する学習モデル選択処理、選択された学習モデルを用いて、車両運転中に撮影される画像中の物体を認識する物体認識処理、選択された学習モデルによる物体認識結果と、車両運転中に検出される物体の有無を表わす情報である物体有無情報とを照合し、選択された学習モデルによる物体認識結果を評価する物体認識結果評価処理、および、物体認識結果の評価を判定する認識結果判定処理を実行させ、シーン判定処理で、シーンごとの確からしさを判別する判別モデルを用いて、車両のシーンごとの確からしさであるスコアを判定させ、学習モデル選択処理で、スコアが最も高いシーンに応じた学習モデルを選択させ、物体認識処理で、選択された学習モデルを用いて物体を認識させ、物体認識結果評価処理で、物体有無情報に対する物体認識結果の正解度合いを評価させ、認識結果判定処理で、正解度合いが予め定めた閾値未満か否かを判定させ、学習モデル選択処理で、正解度合いが閾値未満の場合、現在のシーンに次いでスコアの高いシーンに対応する学習モデルを選択させることを特徴とする。
本発明によれば、演算負荷を抑制しながら、運転中に撮影される物体の認識精度を向上させることができる。
本発明による物体認識装置の第一の実施形態の構成例を示すブロック図である。 シーンごとに定義された学習モデルの例を示す説明図である。 第一の実施形態の物体認識装置の動作例を示すフローチャートである。 本発明による物体認識装置の第二の実施形態の構成例を示すブロック図である。 シーンおよび外因の判定結果ごとに定義された学習モデルの例を示す説明図である。 第二の実施形態の物体認識装置の動作例を示すフローチャートである。 本発明による物体認識装置の第二の実施形態の変形例を示すブロック図である。 本発明による物体認識装置の第三の実施形態の構成例を示すブロック図である。 シーンおよび外因の判定結果ごとに定義された学習モデルの他の例を示す説明図である。 第三の実施形態の物体認識装置の動作例を示すフローチャートである。 本発明による物体認識装置の第三の実施形態の変形例を示すブロック図である。 本発明による物体認識装置の第四の実施形態の構成例を示すブロック図である。 シーンの判定結果の例を示す説明図である。 第四の実施形態の物体認識装置の動作例を示すフローチャートである。 本発明による物体認識装置の第五の実施形態の構成例を示すブロック図である。 第五の実施形態の物体認識装置の動作例を示すフローチャートである。 本発明による物体認識装置の概要を示すブロック図である。
以下、本発明の実施形態を図面を参照して説明する。本発明の物体認識装置は、車両に搭載され、学習モデルを用いて後述する撮像装置により撮像された画像中の物体を認識する。本発明で用いられる各学習モデルは、画像中に存在する物体が何かを認識するモデルであり、物体種別ごとの認識精度が異なるものとする。例えば、歩行者の認識精度が良好なモデル、自動車の認識精度が良好なモデル、二輪車の認識精度が良好なモデル、のように、物体種別ごとに認識精度が高い学習モデルが予め生成されているものとする。
実施形態１．
図１は、本発明による物体認識装置の第一の実施形態の構成例を示すブロック図である。本実施形態の物体認識装置１００は、シーン判定部１０と、学習モデル選択部２０と、撮像装置３０と、物体認識部４０と、記憶部９０とを備えている。
記憶部９０は、後述する物体認識部４０が用いる複数の学習モデルを記憶する。また、記憶部９０は、物体認識装置１００の動作に必要な各種情報を記憶していてもよい。記憶部９０は、例えば、磁気ディスク等により実現される。
シーン判定部１０は、車両の状態を検出する各種センサにより取得された情報の入力を受け付ける。車両の状態を検出するセンサの例として、ミリ波情報を検知するミリ波レーダや、位置情報を取得するＧＰＳ（global positioning system ）、対象物までの距離を取得するＬｉＤＡＲ（Laser Imaging Detection and Ranging）や、周辺の画像を撮影するカメラなどが挙げられる。なお、本実施形態では、物体認識の対象とする画像は、後述する撮像装置３０により撮像されるものとする。ただし、シーン判定部１０が認識対象の画像の入力を受け付けてもよい。
シーン判定部１０は、入力された各種センサの情報など、車両運転中に得られる情報に基づいて、その車両のシーンを判定する。ここで、シーンとは、車両を取り巻く外部環境のことを意味し、例えば、車両が走行している場面（市街地、高速道路、商店街を走行中など）が挙げられる。ただし、本実施形態で判定されるシーンは、上述するような、人間が意味を解釈できる表現に限定されず、例えば、外部環境を表わす特徴ベクトルなどで表されていてもよい。ただし、以下では、説明を容易にするために、具体的なシーンを例示して、本実施形態の物体認識装置の動作を説明する。
シーン判定部１０がシーンを判定する方法は任意である。シーン判定部１０は、ルールベースでシーンを判定してもよく、シーンごとの確からしさを判別する判別モデルを用いてシーンを判定してもよい。シーン判定部１０は、例えば、予め与えられた地図情報と、ＧＰＳにより取得された位置情報とに基づいて、現在の走行場所（例えば、高速道路、商店街、など）を判定してもよい。他にも、シーン判定部１０は、取得可能なセンサ情報に基づいて予め機械学習により生成されたシーン判別モデルを保持しておき、受け付けたセンサ情報に基づいて、シーンを判定してもよい。
学習モデル選択部２０は、判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する。例えば、シーンごとに選択する学習モデルを学習モデルの特徴に応じて予め定義しておき、学習モデル選択部２０は、判定されたシーンに対応する学習モデルを選択してもよい。本実施形態で用いられる学習モデルの態様は任意であり、例えば、ニューラルネットワークなどである。
図２は、シーンごとに定義された学習モデルの例を示す説明図である。図２に示す例では、シーンとして「市街地」、「高速道路」および「商店街」が想定されている。ここで、学習モデル１は歩行者の認識精度が良好であり、学習モデル２は自動車の認識精度が良好であり、学習モデル３は二輪車の認識精度が良好であるとする。このとき、「市街地」と学習モデル１、「高速道路」と学習モデル２、および、「商店街」と学習モデル３をそれぞれ対応付けておき、学習モデル選択部２０は、シーン判定部１０で判定されたシーンに対応する学習モデルを選択すればよい。
撮像装置３０は、車両運転中の車外の画像を撮像する。撮像装置３０が画像を撮像するタイミングは、走行中または停止中のいずれのタイミングでもよい。撮像装置３０は、予め定めた期間ごとに画像を撮像してもよく、運転手等や制御装置の指示に応じて画像を撮像してもよい。撮像装置３０は、例えば、車外の風景を撮影する車載カメラである。
物体認識部４０は、選択された学習モデルを用いて、撮像装置３０によって撮像された画像中の物体を認識する。なお、物体認識部４０が、学習モデルを用いて物体を認識する方法は広く知られており、ここでは詳細な説明は省略する。
シーン判定部１０と、学習モデル選択部２０と、物体認識部４０とは、プログラム（物体認識プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、物体認識装置１００の記憶部９０に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、シーン判定部１０、学習モデル選択部２０および物体認識部４０として動作してもよい。また、シーン判定部１０と、学習モデル選択部２０と、物体認識部４０とは、それぞれが専用のハードウェアで実現されていてもよい。
次に、本実施形態の物体認識装置１００の動作を説明する。図３は、本実施形態の物体認識装置１００の動作例を示す説明図である。シーン判定部１０は、車両運転中に得られるセンサ情報などに基づいて、その車両のシーンを判定する（ステップＳ１１）。学習モデル選択部２０は、判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する（ステップＳ１２）。そして、物体認識部４０は、選択された学習モデルを用いて、車両運転中に撮影される画像中の物体を認識する（ステップＳ１３）。
以上のように、本実施形態では、シーン判定部１０が、車両運転中に得られる情報に基づいて、その車両のシーンを判定し、学習モデル選択部２０が、判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する。そして、物体認識部４０が、選択された学習モデルを用いて、車両運転中に撮影される画像中の物体を認識する。よって、演算負荷を抑制しながら、運転中に撮影される物体の認識精度を向上させることができる。
すなわち、本実施形態では、学習モデル選択部２０が、シーンごとに注目されるべき物体の認識に適した学習モデルを選択するため、走行シーンに応じて物体認識精度を改善でき、その認識処理自体の演算負荷も抑制できる。
実施形態２．
次に、本発明による物体認識装置の第二の実施形態を説明する。第二の実施形態では、撮影される画像に影響及ぼす外因を考慮して、学習モデルを選択する方法を説明する。具体的には、第二の実施形態では、画像を撮像する際の周囲の明るさを検出して、学習モデルを選択する方法を説明する。
図４は、本発明による物体認識装置の第二の実施形態の構成例を示すブロック図である。本実施形態の物体認識装置２００は、シーン判定部１０と、学習モデル選択部２１と、撮像装置３０と、物体認識部４０と、外因検出部５０と、外因判定部６０と、記憶部９０を備えている。シーン判定部１０、撮像装置３０、物体認識部４０および記憶部９０の内容は、第一の実施形態と同様である。
外因検出部５０は、撮影される画像に影響及ぼす外因を検出する。特に、本実施形態の外因検出部５０は、撮影される画像の影響を及ぼす明るさを検出する。本実施形態では、外因検出部５０は、照度センサ５１を含む。照度センサ５１は、自車の照度を検出する。
外因判定部６０は、外因検出部５０によって検出された内容に応じて、外因の程度を判定する。本実施形態の外因判定部６０は、明暗判定部６１を含む。明暗判定部６１は、照度センサ５１によって検出された照度に基づいて、明暗判定を行う。明暗判定部６１は、予め定めた閾値よりも照度が大きい場合に明るいと判定し、予め定めた閾値よりも照度が低い場合に暗いと判定してもよい。なお、本実施形態では、明暗判定部６１が判定結果を明暗の２種類に判定したが、明暗判定部６１は、照度そのもの、または、照度に基づいて変換した値を判定結果としてもよい。
学習モデル選択部２１は、判定されたシーンに加え、外因判定部６０による外因の判定結果に応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する。本実施形態の学習モデル選択部２１も、第一の実施形態の学習モデル選択部２０と同様、シーンおよび外因判定結果ごとに選択する学習モデルを学習モデルの特徴に応じて予め定義しておき、学習モデル選択部２１は、判定されたシーンおよび外因の判定結果に対応する学習モデルを選択してもよい。
図５は、シーンおよび外因の判定結果ごとに定義された学習モデルの例を示す説明図である。図５に示す例では、図２に例示する定義に加え、明暗判定結果が加えられていることを示す。なお、図５に示す例では、明暗判定結果が２種類の場合を例示したが、明暗判定結果は２種類に限定されず、照度の範囲に応じて選択される学習モデルが対応付けられていてもよい。
シーン判定部１０と、学習モデル選択部２１と、物体認識部４０と、外因判定部６０（より具体的には、明暗判定部６１）は、プログラム（物体認識プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、シーン判定部１０と、学習モデル選択部２１と、物体認識部４０と、外因判定部６０（より具体的には、明暗判定部６１）とは、それぞれが専用のハードウェアで実現されていてもよい。
次に、本実施形態の物体認識装置２００の動作を説明する。図６は、本実施形態の物体認識装置２００の動作例を示すフローチャートである。シーン判定部１０が車両のシーンを判定する方法は、ステップＳ１１と同様である。
外因検出部５０は、撮影される画像に影響及ぼす外因を検出する。本実施形態では、照度センサ５１は、自車の照度を検出する（ステップＳ２１）。外因判定部６０は、外因検出部５０によって検出された内容に応じて、外因の程度を判定する。本実施形態では、明暗判定部６１は、照度センサ５１によって検出された照度に基づいて、明暗判定を行う（ステップＳ２２）。
学習モデル選択部２１は、判定されたシーンに加え、外因判定部６０による外因の判定結果に応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する。本実施形態では、学習モデル選択部２１は、判定されたシーンおよび明暗判定結果に応じて、学習モデルを選択する（ステップＳ２３）。その後、物体認識部４０が、選択された学習モデルを用いて、車両運転中に撮影される画像中の物体を認識する処理は、ステップＳ１３と同様である。
以上のように、本実施形態では、外因検出部５０が、撮影される画像に影響及ぼす外因を検出し、外因判定部６０が外因検出部５０によって検出された内容に応じて、外因の程度を判定する。そして、学習モデル選択部２１は、判定されたシーンおよび外因の判定結果に応じて学習モデルを選択する。より具体的には、照度センサ５１が自車の照度を検出し、明暗判定部６１が検出された照度に基づいて明暗判定を行い、学習モデル選択部２１が、判定されたシーンおよび明暗判定結果に応じて、学習モデルを選択する。
よって、第一の実施形態の効果に加え、物体の認識精度を向上させることができる。すなわち、本実施形態では、例えば、昼と夜の明暗差や、トンネル内外の明暗差を考慮することにより、物体認識精度を向上させることができる。
次に、第二の実施形態の変形例を説明する。第二の実施形態では、照度センサ５１が直接、自車の照度を検出して、明暗判定部６１が明暗判定を行う場合について説明した。なお、外因検出部５０は、直接的に外因を検出せず、車両に対する操作から間接的に外因を検出してもよい。
図７は、本発明による物体認識装置の第二の実施形態の変形例を示すブロック図である。本変形例の物体認識装置２１０は、第二の実施形態の照度センサ５１の代わりに前照灯状態検出部５２を含み、明暗判定部６１の代わりに明暗判定部６２を含む。それ以外の構成は、第二の実施形態と同様である。
前照灯状態検出部５２は、前照灯の状態（オンまたはオフ、ロービームまたはハイビームなど）を検出する。前照灯状態検出部５２は、例えば、ハイビームスイッチの状態を検出してもよい。明暗判定部６２は、検出された前照灯の状態に基づいて明暗判定を行う。具体的には、明暗判定部６２は、前照灯がオンの状態の場合に明るいと判定し、前照灯がオフの状態の場合に暗いと判定する。明暗判定後に学習モデル選択部２１が行う処理は、第二の実施形態と同様である。このような構成であっても、第二の実施形態と同様に、物体の認識精度を向上させることができる。
実施形態３．
次に、本発明による物体認識装置の第三の実施形態を説明する。第三の実施形態でも、撮影される画像に影響及ぼす外因を考慮して、学習モデルを選択する方法を説明する。第三の実施形態では、画像を撮像する際の降雨の状況を検出して、学習モデルを選択する方法を説明する。
図８は、本発明による物体認識装置の第三の実施形態の構成例を示すブロック図である。本実施形態の物体認識装置３００は、シーン判定部１０と、学習モデル選択部２２と、撮像装置３０と、物体認識部４０と、外因検出部５０と、外因判定部６０と、記憶部９０とを備えている。シーン判定部１０、撮像装置３０、物体認識部４０および記憶部９０の内容は、第一の実施形態と同様である。
外因検出部５０は、第二の実施形態と同様、撮影される画像に影響及ぼす外因を検出する。特に、本実施形態の外因検出部５０は、撮影される画像に影響を及ぼす降雨を検出する。本実施形態では、外因検出部５０は、雨滴感知センサ５３を含む。雨滴感知センサ５３は、フロントガラスの雨滴量を検出する。
外因判定部６０は、第二の実施形態と同様、外因検出部５０によって検出された内容に応じて、外因の程度を判定する。本実施形態の外因判定部６０は、雨滴判定部６３を含む。雨滴判定部６３は、雨滴感知センサ５３によって検出された雨滴量に基づいて、雨滴判定を行う。雨滴判定部６３は、予め定めた閾値よりも雨滴量が多い場合に「雨」と判定し、予め定めた閾値よりも雨滴量が少ない場合に「晴」と判定してもよい。なお、本実施形態では、雨滴判定部６３が判定結果を「雨」と「晴」の２種類に判定したが、雨滴判定部６３は、雨滴量そのもの、または、雨滴量に基づいて変換した値を判定結果としてもよい。
学習モデル選択部２２は、第二の実施形態と同様、判定されたシーンに加え、外因判定部６０による外因の判定結果に応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する。本実施形態の学習モデル選択部２２も、第一の実施形態の学習モデル選択部２０と同様、シーンおよび外因判定結果ごとに選択する学習モデルを学習モデルの特徴に応じて予め定義しておき、学習モデル選択部２２は、判定されたシーンおよび外因の判定結果に対応する学習モデルを選択してもよい。
図９は、シーンおよび外因の判定結果ごとに定義された学習モデルの他の例を示す説明図である。図９に示す例では、図２に例示する定義に加え、雨滴判定結果が加えられていることを示す。なお、図９に示す例では、雨滴判定結果が２種類の場合を例示したが、雨滴判定結果は２種類に限定されず、雨滴量の範囲に応じて選択される学習モデルが対応付けられていてもよい。
シーン判定部１０と、学習モデル選択部２２と、物体認識部４０と、外因判定部６０（より具体的には、雨滴判定部６３）は、プログラム（物体認識プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、シーン判定部１０と、学習モデル選択部２２と、物体認識部４０と、外因判定部６０（より具体的には、雨滴判定部６３）とは、それぞれが専用のハードウェアで実現されていてもよい。
次に、本実施形態の物体認識装置３００の動作を説明する。図１０は、本実施形態の物体認識装置３００の動作例を示すフローチャートである。シーン判定部１０が車両のシーンを判定する方法は、ステップＳ１１と同様である。
外因検出部５０は、撮影される画像に影響及ぼす外因を検出する。本実施形態では、雨滴感知センサ５３は、自車への雨滴量を検出する（ステップＳ３１）。外因判定部６０は、外因検出部５０によって検出された内容に応じて、外因の程度を判定する。本実施形態では、雨滴判定部６３は、雨滴感知センサ５３によって検出された雨滴量に基づいて、雨滴判定を行う（ステップＳ３２）。
学習モデル選択部２２は、判定されたシーンに加え、外因判定部６０による外因の判定結果に応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する。本実施形態では、学習モデル選択部２２は、判定されたシーンおよび雨滴判定結果に応じて、学習モデルを選択する（ステップＳ３３）。その後、物体認識部４０が、選択された学習モデルを用いて、車両運転中に撮影される画像中の物体を認識する処理は、ステップＳ１３と同様である。
以上のように、本実施形態では、外因検出部５０が、撮影される画像に影響及ぼす外因を検出し、外因判定部６０が外因検出部５０によって検出された内容に応じて、外因の程度を判定する。そして、学習モデル選択部２１は、判定されたシーンおよび外因の判定結果に応じて学習モデルを選択する。より具体的には、雨滴感知センサ５３が自車への雨滴量を検出し、雨滴判定部６３が、検出された雨滴量に基づいて雨滴判定を行い、学習モデル選択部２２が、判定されたシーンおよび雨滴判定結果に応じて、学習モデルを選択する。
よって、第一の実施形態の効果に加え、物体の認識精度を向上させることができる。すなわち、本実施形態では、例えば、晴れと雨天時の天候の影響を考慮することにより、物体認識精度を向上させることができる。
次に、第三の実施形態の変形例を説明する。第三の実施形態では、雨滴感知センサ５３が直接、自車への雨滴量を検出して、雨滴判定部６３が雨滴判定を行う場合について説明した。なお、外因検出部５０は、直接的に外因を検出せず、車両に対する操作から間接的に外因を検出してもよい。
図１１は、本発明による物体認識装置の第三の実施形態の変形例を示すブロック図である。本変形例の物体認識装置３１０は、第三の実施形態の雨滴感知センサ５３の代わりにワイパー動作検出部５４を含み、雨滴判定部６３の代わりに雨滴判定部６４を含む。それ以外の構成は、第三の実施形態と同様である。
ワイパー動作検出部５４は、ワイパーの稼働状態（オン、オフ、または、動作間隔）を検出する。雨滴判定部６４は、検出されたワイパーの稼働状態に基づいて雨滴判定を行う。具体的には、雨滴判定部６４は、ワイパーの稼働状態がオフの場合に「晴れ」と判定し、ワイパーの稼働状態がオンの状態の場合に、ワイパーの動作間隔に応じて雨滴量を判定する。雨滴判定後に学習モデル選択部２２が行う処理は、第三の実施形態と同様である。このような構成であっても、第三の実施形態と同様に、物体の認識精度を向上させることができる。
なお、外因検出部５０が、第二の実施形態の照度センサ５１と前照灯状態検出部５２の少なくとも一方、および、雨滴感知センサ５３とワイパー動作検出部５４の少なくとも一方を含み、外因判定部６０が、それぞれ対応する明暗判定部を含んでいてもよい。そして、シーンおよび判定結果ごとに選択する学習モデルを学習モデルの特徴に応じて予め定義しておいてもよい。そのような構成によれば、照度および雨滴の両方を考慮してモデルを選択することが可能になる。
実施形態４．
次に、本発明による物体認識装置の第四の実施形態を説明する。第四の実施形態では、物体の認識結果に基づいて、認識に用いる学習モデルを変更する方法を説明する。図１２は、本発明による物体認識装置の第四の実施形態の構成例を示すブロック図である。本実施形態の物体認識装置４００は、シーン判定部１１と、学習モデル選択部２３と、撮像装置３０と、物体認識部４０と、物体認識結果評価部７０と、認識結果判定部７５と、記憶部９０とを備えている。
なお、本実施形態の物体認識装置４００が、第二の実施形態および第三の実施形態における外因検出部５０および外因判定部６０を備えていてもよい。撮像装置３０、物体認識部４０および記憶部９０の内容は、第一の実施形態と同様である。また、図１２に示す一方向性の矢印は、情報の流れの方向を端的に示したものであり、双方向性を排除するものではない。
本実施形態のシーン判定部１１は、判定結果として各シーンの確からしさ（以下、スコアと記す）を出力する。すなわち、本実施形態では、シーンを一意に決定せずに、シーンとスコアとを対応付けた情報を判定結果として出力する。シーン判定部１１は、例えば、シーンごとの確からしさを判別する判別モデルを用いて、シーンごとのスコアを出力してもよい。
なお、第一の実施形態から第三の実施形態におけるシーン判定部１０が、シーン判定部１１と同様に、各シーンの確からしさ（スコア）を算出してもよい。この場合、シーン判定部１０は、スコアが最も高いシーンを、判定結果とすればよい。
図１３は、シーン判定部１１によるシーンの判定結果の例を示す説明図である。図１３に示す例では、シーンである「商店街」、「郊外市街地」および「高速道路」のスコアが、それぞれ０．９、０．７および０．２であることを示す。なお、シーン判定部１１は、図１３に例示するように、スコアの大きい順にシーンに優先順位を付与してもよい。
学習モデル選択部２３は、シーン判定部１１による判定結果を受信すると、スコアが最も大きいシーンに対応する学習モデルを選択する。シーンに対応する学習モデルを選択する方法は、第一の実施形態と同様である。また、学習モデル選択部２３は、後述する認識結果判定部７５の判定結果に応じて学習モデルを変更する。なお、学習モデルを変更する方法については後述される。
物体認識結果評価部７０は、選択された学習モデルによる物体認識の結果と、車両運転中に検出される物体の有無を表わす情報（以下、物体有無情報と記す。）とを照合し、選択された学習モデルによる物体認識の結果を評価する。車両運転中に検出される物体の有無を表わす情報は、例えば、上述するＬｉＤＡＲやミリ波レーダから得られる情報である。物体認識結果評価部７０は、例えば、物体有無情報が示す位置に物体認識部４０によって認識された物体が存在する場合に、物体認識が適合した（正解である）と判断してもよい。
具体的には、物体認識結果評価部７０は、物体有無情報に対して物体認識部４０による物体認識の結果の正解度合いを評価する。物体認識結果評価部７０は、例えば、物体認識結果の中に物体有無情報から特定される正解が含まれている確率である適合率（Precision ）を、正解度合いとして評価してもよい。ある画像についての適合率をｐｉとし、遡って評価対象とする物体認識の件数をＮとすると、評価時点での平均適合率ａｉは、以下に例示する式１で算出される。
Figure 0007279721000001
式１において、評価対象とするＮは、適合率の平均を算出する際に対象とする要素の数を表わしていることから、以下、平均化要素数と記すこともある。また、物体認識結果評価部７０は、適合率の代わりに、正解のうち検出できた確率を示す再現率（Recall）を正解度合いとして評価してもよい。また、物体認識結果評価部７０は、適合率と再現率の調和平均であるＦ値を正解度合いとして評価してもよい。
なお、本実施形態では、物体認識結果評価部７０が、車両運転中に検出される物体の有無を表わす情報（すなわち、物体有無情報）と、物体認識結果とが適合したか否かに基づいて、学習モデルを評価する方法を説明した。
一方、例えば、ＬｉＤＡＲが、検出した物体の性質まで分析している場合、物体有無情報に、その物体の性質を表わす情報まで含めることが可能である。この場合、物体認識結果評価部７０は、選択された学習モデルによる物体認識結果と、物体の性質を表わす情報とを比較して、その物体の確からしさを正解率に反映させてもよい。
認識結果判定部７５は、物体認識結果評価部７０によって評価された正解度合いが、予め定めた閾値未満か否か判定する。以下、認識結果判定部７５によって判定された結果を、認識判定結果と記す。例えば、物体認識結果評価部７０が正解度合いとして平均適合率を算出した場合、認識結果判定部７５は、平均適合率が閾値未満か否か判定して、認識判定結果を学習モデル選択部２３に入力する。
学習モデル選択部２３は、認識結果判定部７５の判定結果（すなわち、認識判定結果）に応じて学習モデルを変更する。具体的には、学習モデル選択部２３は、認識結果判定部７５による認識判定結果が、「正解度合いが閾値未満」である場合、現在のシーンに次いでスコアの高いシーンに対応する学習モデルを選択する。以下、新たに選択された学習モデルを用いて、物体認識部４０による認識処理が行われる。
なお、学習モデル選択部２３は、再度選択した学習モデルのスコアが、予め定めた値以上か否か判定してもよい。再度選択した学習モデルのスコアが、予め定めた値未満である場合、シーン判定部１１は、再度シーン判定を行ってもよい。
シーン判定部１１と、学習モデル選択部２３と、物体認識部４０と、物体認識結果評価部７０と、認識結果判定部７５とは、プログラム（物体認識プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、シーン判定部１１と、学習モデル選択部２３と、物体認識部４０と、物体認識結果評価部７０と、認識結果判定部７５とは、それぞれが専用のハードウェアで実現されていてもよい。
次に、本実施形態の物体認識装置４００の動作を説明する。図１４は、本実施形態の物体認識装置４００の動作例を示すフローチャートである。まず、シーン判定部１１は、シーンごとの確からしさ（すなわち、スコア）を判定し（ステップＳ４１）、学習モデル選択部２３に入力する。学習モデル選択部２３は、最もスコアが高いシーンに応じた学習モデルを選択する（ステップＳ４２）。物体認識部４０は、選択された学習モデルを用いて物体を認識する（ステップＳ４３）。
物体認識結果評価部７０は、センサ等により得られた物体有無情報に対する物体認識結果の正解度合いを評価する（ステップＳ４４）。認識結果判定部７５は、正解度合いが予め定めた閾値未満か否かを判定する（ステップＳ４５）。正解度合いが閾値未満の場合（ステップＳ４５におけるＹｅｓ）、学習モデル選択部２３は、現在のシーンに次いでスコアの高いシーンに対応する学習モデルを選択する（ステップＳ４６）。以降、新たに選択された学習モデルを使用して、ステップＳ４３以降の処理が繰り返される。一方、正解度合いが閾値以上の場合（ステップＳ４５におけるＮｏ）、現在の学習モデルを使用して、ステップＳ４３以降の処理が繰り返される。
以上のように、本実施形態では、シーン判定部１１が、シーンごとの確からしさ（スコア）を判定し、学習モデル選択部２３が、スコアが最も高いシーンに応じた学習モデルを選択し、物体認識部４０が、選択された学習モデルを用いて物体を認識する。一方、物体認識結果評価部７０が、物体有無情報に対する物体認識結果の正解度合いを評価し、認識結果判定部７５が、正解度合いが予め定めた閾値未満か否かを判定する。そして、正解度合いが閾値未満の場合、学習モデル選択部２３は、現在のシーンに次いでスコアの高いシーンに対応する学習モデルを選択する。このように、最適な学習モデルが選択されていない場合でも、学習モデルを自動で補正（選択）することで、第一の実施形態の効果に加え、より物体認識精度を向上させることができる。
また、本実施形態では、いわゆるソフトウェア的な処理である画像認識と、センサなどのハードウェア的な処理である物体検知処理との結果をそれぞれ適合させて評価しているため、各処理の強みを生かして物体認識精度を向上させていると言える。
実施形態５．
次に、本発明による物体認識装置の第五の実施形態を説明する。車両が走行することにより、物体認識を行うシーンは、随時変化する。物体認識を行うシーンは、車両の走行速度に応じて変化すると考えられるため、車両の走行速度を考慮に入れた物体認識を行うことが必要である。そこで、第五の実施形態では、車両の走行速度に応じて学習モデルの適切性を判断する方法を説明する。
図１５は、本発明による物体認識装置の第五の実施形態の構成例を示すブロック図である。本実施形態の物体認識装置５００は、シーン判定部１１と、学習モデル選択部２３と、撮像装置３０と、物体認識部４０と、物体認識結果評価部７１と、認識結果判定部７５と、記憶部９０とを備えている。すなわち、本実施形態の物体認識装置５００は、第四の実施形態の物体認識装置４００と比較し、物体認識結果評価部７０の代わりに物体認識結果評価部７１を備えている点において異なる。それ以外の構成については、第四の実施形態と同様である。
物体認識結果評価部７１は、車両の速度を取得する。物体認識結果評価部７１は、例えば、ＣＡＮ（Controller Area Network）などのプロトコルを用いて車両の速度を取得してもよい。そして、物体認識結果評価部７１は、第四の実施形態と同様、センサ等により得られた物体有無情報に対する物体認識結果の正解度合いを評価する。その際、物体認識結果評価部７１は、取得した車両の速度に応じて、物体認識の評価範囲を変更する。具体的には、物体認識結果評価部７１は、車両の速度が高速になるほど、物体認識の評価範囲を狭くし、車両の速度が低速になるほど、物体認識の評価範囲を広くする。
例えば、物体認識結果評価部７１が、正解度合いとして平均適合率を算出するとする。この場合、評価範囲は、平均化要素数Ｎに対応することから、物体認識結果評価部７１は、車両の速度が高速になるほど平均化要素数Ｎを小さくし、車両の速度が低速になる（または停止する）ほど平均化要素数Ｎを大きくしてもよい。
シーン判定部１１と、学習モデル選択部２３と、物体認識部４０と、物体認識結果評価部７１と、認識結果判定部７５とは、プログラム（物体認識プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、シーン判定部１１と、学習モデル選択部２３と、物体認識部４０と、物体認識結果評価部７１と、認識結果判定部７５とは、それぞれが専用のハードウェアで実現されていてもよい。
次に、本実施形態の物体認識装置５００の動作を説明する。図１６は、本実施形態の物体認識装置５００の動作例を示すフローチャートである。算出されたスコアに基づいて選択された学習モデルによって物体を認識する処理は、第四の実施形態におけるステップＳ４１からステップＳ４３の処理と同様である。
物体認識結果評価部７１は、車両の速度を取得する（ステップＳ５１）。物体認識結果評価部７１は、第四の実施形態と同様、センサ等により得られた物体有無情報に対する物体認識結果の正解度合いを評価する。その際、物体認識結果評価部７１は、取得した車両の速度に応じて、物体認識の評価範囲を変更する。すなわち、物体認識結果評価部７１は、物体有無情報に対して、車両の速度に応じた範囲における物体認識結果の正解度合いを評価する（ステップＳ５２）。以降、正解度合いに応じて学習モデルの選択を行う処理は、第四の実施形態におけるステップＳ４４からステップＳ４６の処理と同様である。
以上のように、本実施形態では、物体認識結果評価部７１が、物体有無情報に対して、車両の速度に応じた範囲における物体認識結果の正解度合いを評価する。このように、車両の速度に応じて学習モデルの再選択周期を最適化できるため、第四の実施形態の効果に加え、より物体認識精度を向上させることができる。
次に、本発明の概要を説明する。図１７は、本発明による物体認識装置の概要を示すブロック図である。本発明による物体認識装置８０（例えば、物体認識装置１００～５００）は、車両運転中に得られる情報（例えば、位置情報、ミリ波情報、ＬｉＤＡＲ情報、カメラ情報など）に基づいて、その車両のシーンを判定するシーン判定部８１（例えば、シーン判定部１０，１１）と、判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する学習モデル選択部８２（例えば、学習モデル選択部２０～２３）と、選択された学習モデルを用いて、車両運転中に撮影される画像中の物体を認識する物体認識部８３（例えば、物体認識部４０）とを備えている。
そのような構成により、演算負荷を抑制しながら、運転中に撮影される物体の認識精度を向上させることができる。
また、物体認識装置８０は、撮影される画像に影響及ぼす外因を検出する外因検出部（例えば、外因検出部５０）と、検出された内容に応じて、外因の程度を判定する外因判定部（例えば、外因判定部６０）とを備えていてもよい。そして、学習モデル選択部８２は、判定されたシーンおよび外因の判定結果に応じて学習モデルを選択してもよい。そのような構成によれば、外因の影響に応じて学習モデルを選択できるため、物体の認識精度をより向上させることができる。
具体的には、外因検出部（例えば、照度センサ５１、前照灯状態検出部５２）は、撮影される画像の影響を及ぼす明るさを検出してもよい。また、外因判定部（例えば、明暗判定部６１，６２）は、検出された明るさに基づいて明暗判定を行ってもよい。そして、学習モデル選択部８２は、判定されたシーンおよび明暗判定の結果に応じて学習モデルを選択してもよい。
他にも、外因検出部（例えば、雨滴感知センサ５３、ワイパー動作検出部５４）は、撮影される画像の影響を及ぼす降雨を検出してもよい。また、外因判定部（例えば、雨滴判定部６３，６４）は、検出された降雨に基づいて雨滴判定を行ってもよい。そして、学習モデル選択部８２は、判定されたシーンおよび雨滴判定の結果に応じて学習モデルを選択してもよい。
また、物体認識装置８０は、選択された学習モデルによる物体認識結果と、車両運転中に検出される物体の有無を表わす情報である物体有無情報とを照合し、選択された学習モデルによる物体認識結果を評価する物体認識結果評価部（例えば、物体認識結果評価部７０）と、物体認識結果の評価を判定する認識結果判定部（例えば、認識結果判定部７５）とを備えていてもよい。
このとき、シーン判定部８１は、シーンごとの確からしさであるスコアを判定し、学習モデル選択部８２は、スコアが最も高いシーンに応じた学習モデルを選択し、物体認識部８３は、選択された学習モデルを用いて物体を認識してもよい。さらに、物体認識結果評価部は、物体有無情報に対する物体認識結果の正解度合いを評価し、認識結果判定部は、正解度合いが予め定めた閾値未満か否かを判定し、学習モデル選択部８２は、正解度合いが閾値未満の場合、現在のシーンに次いでスコアの高いシーンに対応する学習モデルを選択してもよい。
その際、物体認識結果評価部は、車両の速度を取得し、取得した車両の速度に応じて、物体認識の評価範囲を変更してもよい。この構成により、車両の速度に応じて学習モデルの再選択周期を最適化できるため、より物体認識精度を向上させることができる。
具体的には、物体認識結果評価部は、車両の速度が高速になるほど、物体認識の評価範囲を狭くし、車両の速度が低速になるほど、物体認識の評価範囲を広くしてもよい。
また、物体認識結果評価部は、物体有無情報から特定される検出結果の中に物体認識による正解が含まれている確率である適合率（例えば、ｐｉ）を、評価対象とする物体認識の件数である平均化要素数（例えば、Ｎ）の数だけ算出し、算出された適合率の平均である平均適合率（例えば、ａｉ）を算出し、認識結果判定部は、算出された平均適合率が予め定めた閾値未満か否か判定してもよい。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）車両運転中に得られる情報に基づいて、当該車両のシーンを判定するシーン判定部と、判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する学習モデル選択部と、選択された学習モデルを用いて、前記車両運転中に撮影される画像中の物体を認識する物体認識部とを備えたことを特徴とする物体認識装置。
（付記２）撮影される画像に影響及ぼす外因を検出する外因検出部と、検出された内容に応じて、外因の程度を判定する外因判定部とを備え、学習モデル選択部は、判定されたシーンおよび前記外因の判定結果に応じて学習モデルを選択する付記１記載の物体認識装置。
（付記３）外因検出部は、撮影される画像の影響を及ぼす明るさを検出し、外因判定部は、検出された明るさに基づいて明暗判定を行い、学習モデル選択部は、判定されたシーンおよび前記明暗判定の結果に応じて学習モデルを選択する付記２記載の物体認識装置。
（付記４）外因検出部は、自車の照度を検出する照度センサを含み、外因判定部は、前記照度センサによって検出された照度に基づいて明暗判定を行う明暗判定部を含み、学習モデル選択部は、判定されたシーンおよび前記明暗判定の結果に応じて、学習モデルを選択する付記３記載の物体認識装置。
（付記５）外因検出部は、前照灯の状態を検出する前照灯状態検出部を含み、外因判定部は、検出された前照灯の状態に基づいて明暗判定を行う明暗判定部を含み、学習モデル選択部は、判定されたシーンおよび前記明暗判定の結果に応じて、学習モデルを選択する付記３記載の物体認識装置。
（付記６）外因検出部は、撮影される画像の影響を及ぼす降雨を検出し、外因判定部は、検出された降雨に基づいて雨滴判定を行い、学習モデル選択部は、判定されたシーンおよび前記雨滴判定の結果に応じて学習モデルを選択する付記２記載の物体認識装置。
（付記７）外因検出部は、フロントガラスの雨滴量を検出する雨滴感知センサを含み、外因判定部は、前記雨滴感知センサによって検出された雨滴量に基づいて、雨滴判定を行う雨滴判定部を含み、学習モデル選択部は、判定されたシーンおよび前記雨滴判定の結果に応じて、学習モデルを選択する付記２から付記６のうちのいずれか１つに記載の物体認識装置。
（付記８）外因検出部は、ワイパーの稼働状態を検出するワイパー動作検出部を含み、外因判定部は、検出されたワイパーの稼働状態に基づいて雨滴判定を行う雨滴判定部を含み、学習モデル選択部は、判定されたシーンおよび前記雨滴判定の結果に応じて、学習モデルを選択する付記２から付記６のうちのいずれか１つに記載の物体認識装置。
（付記９）選択された学習モデルによる物体認識結果と、車両運転中に検出される物体の有無を表わす情報である物体有無情報とを照合し、選択された学習モデルによる物体認識結果を評価する物体認識結果評価部と、前記物体認識結果の評価を判定する認識結果判定部とを備え、シーン判定部は、シーンごとの確からしさであるスコアを判定し、学習モデル選択部は、前記スコアが最も高いシーンに応じた学習モデルを選択し、物体認識部は、選択された学習モデルを用いて物体を認識し、前記物体認識結果評価部は、前記物体有無情報に対する物体認識結果の正解度合いを評価し、前記認識結果判定部は、前記正解度合いが予め定めた閾値未満か否かを判定し、前記学習モデル選択部は、前記正解度合いが閾値未満の場合、現在のシーンに次いでスコアの高いシーンに対応する学習モデルを選択する付記１から付記８のうちのいずれか１つに記載の物体認識装置。
（付記１０）物体認識結果評価部は、車両の速度を取得し、取得した車両の速度に応じて、物体認識の評価範囲を変更する付記９記載の物体認識装置。
（付記１１）物体認識結果評価部は、車両の速度が高速になるほど、物体認識の評価範囲を狭くし、車両の速度が低速になるほど、物体認識の評価範囲を広くする付記１０記載の物体認識装置。
（付記１２）物体認識結果評価部は、物体認識結果の中に物体有無情報から特定される正解が含まれている確率である適合率を、評価対象とする物体認識の件数である平均化要素数の数だけ算出し、算出された適合率の平均である平均適合率を算出し、認識結果判定部は、算出された前記平均適合率が予め定めた閾値未満か否か判定する付記９から付記１１のうちのいずれか１つに記載の物体認識装置。
（付記１３）シーン判定部は、シーンごとの確からしさを判別する判別モデルを用いて、車両のシーンを判定する付記１から付記１２のうちのいずれか１つに記載の物体認識装置。
（付記１４）コンピュータが、車両運転中に得られる情報に基づいて、当該車両のシーンを判定し、前記コンピュータが、判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択し、前記コンピュータが、選択された学習モデルを用いて、前記車両運転中に撮影される画像中の物体を認識することを特徴とする物体認識方法。
（付記１５）コンピュータが、撮影される画像に影響及ぼす外因を検出し、コンピュータが、検出された内容に応じて、外因の程度を判定し、コンピュータが、判定されたシーンおよび外因の判定結果に応じて学習モデルを選択する付記１４記載の物体認識方法。
（付記１６）コンピュータに、車両運転中に得られる情報に基づいて、当該車両のシーンを判定するシーン判定処理、判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する学習モデル選択処理、および、選択された学習モデルを用いて、前記車両運転中に撮影される画像中の物体を認識する物体認識処理を実行させるための物体認識プログラム。
（付記１７）コンピュータに、撮影される画像に影響及ぼす外因を検出する外因検出処理、および、検出された内容に応じて、外因の程度を判定する外因判定処理を実行させ、学習モデル選択処理で、判定されたシーンおよび外因の判定結果に応じて学習モデルを選択させる付記１６記載の物体認識プログラム。
以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１８年１０月３０日に出願された日本特許出願２０１８－２０３９４３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１０，１１ シーン判定部
２０，２１，２２，２３ 学習モデル選択部
３０ 撮像装置
４０ 物体認識部
５０ 外因検出部
５１ 照度センサ
５２ 前照灯状態検出部
５３ 雨滴感知センサ
５４ ワイパー動作検出部
６０ 外因判定部
６１，６２ 明暗判定部
６３，６４ 雨滴判定部
７０，７１ 物体認識結果評価部
７５ 認識結果判定部
９０ 記憶部
１００，２００，２１０，３００，３１０，４００，５００ 物体認識装置

Claims (11)

  1. 車両運転中に得られる情報に基づいて、当該車両のシーンを判定するシーン判定部と、
    判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する学習モデル選択部と、
    選択された学習モデルを用いて、前記車両運転中に撮影される画像中の物体を認識する物体認識部と、
    選択された学習モデルによる物体認識結果と、車両運転中に検出される物体の有無を表わす情報である物体有無情報とを照合し、選択された学習モデルによる物体認識結果を評価する物体認識結果評価部と、
    前記物体認識結果の評価を判定する認識結果判定部とを備え、
    前記シーン判定部は、シーンごとの確からしさを判別する判別モデルを用いて、車両のシーンごとの確からしさであるスコアを判定し、
    前記学習モデル選択部は、前記スコアが最も高いシーンに応じた学習モデルを選択し、
    前記物体認識部は、選択された学習モデルを用いて物体を認識し、
    前記物体認識結果評価部は、前記物体有無情報に対する物体認識結果の正解度合いを評価し、
    前記認識結果判定部は、前記正解度合いが予め定めた閾値未満か否かを判定し、
    前記学習モデル選択部は、前記正解度合いが閾値未満の場合、現在のシーンに次いで前記スコアの高いシーンに対応する学習モデルを選択する
    ことを特徴とする物体認識装置。
  2. 撮影される画像に影響を及ぼす外因を検出する外因検出部と、
    検出された内容に応じて、外因の程度を判定する外因判定部とを備え、
    学習モデル選択部は、判定されたシーンおよび前記外因の判定結果に応じて学習モデルを選択する
    請求項１記載の物体認識装置。
  3. 外因検出部は、撮影される画像に影響を及ぼす明るさを検出し、
    外因判定部は、検出された明るさに基づいて明暗判定を行い、
    学習モデル選択部は、判定されたシーンおよび前記明暗判定の結果に応じて学習モデルを選択する
    請求項２記載の物体認識装置。
  4. 外因検出部は、撮影される画像に影響を及ぼす降雨を検出し、
    外因判定部は、検出された降雨に基づいて雨滴判定を行い、
    学習モデル選択部は、判定されたシーンおよび前記雨滴判定の結果に応じて学習モデルを選択する
    請求項２記載の物体認識装置。
  5. 外因検出部は、フロントガラスの雨滴量を検出する雨滴感知センサを含み、
    外因判定部は、前記雨滴感知センサによって検出された雨滴量に基づいて、雨滴判定を行う雨滴判定部を含み、
    学習モデル選択部は、判定されたシーンおよび前記雨滴判定の結果に応じて、学習モデルを選択する
    請求項２から請求項４のうちのいずれか１項に記載の物体認識装置。
  6. 外因検出部は、ワイパーの稼働状態を検出するワイパー動作検出部を含み、
    外因判定部は、検出されたワイパーの稼働状態に基づいて雨滴判定を行う雨滴判定部を含み、
    学習モデル選択部は、判定されたシーンおよび前記雨滴判定の結果に応じて、学習モデルを選択する
    請求項２から請求項４のうちのいずれか１項に記載の物体認識装置。
  7. 物体認識結果評価部は、車両の速度を取得し、取得した車両の速度に応じて、物体認識の評価範囲を変更する
    請求項１から請求項６のうちのいずれか１項に記載の物体認識装置。
  8. 物体認識結果評価部は、車両の速度が高速になるほど、物体認識の評価範囲を狭くし、車両の速度が低速になるほど、物体認識の評価範囲を広くする
    請求項７記載の物体認識装置。
  9. 物体認識結果評価部は、物体有無情報から特定される検出結果の中に物体認識による正解が含まれている確率である適合率を、評価対象とする物体認識の件数である平均化要素数の数だけ算出し、算出された適合率の平均である平均適合率を算出し、
    認識結果判定部は、算出された前記平均適合率が予め定めた閾値未満か否か判定する
    請求項１から請求項８のうちのいずれか１項に記載の物体認識装置。
  10. コンピュータが、車両運転中に得られる情報に基づいて、シーンごとの確からしさを判別する判別モデルを用いて、当該車両のシーンごとの確からしさであるスコアを判定し、
    前記コンピュータが、判定されたシーンの前記スコアに応じて、２以上の学習モデルから物体認識に用いる学習モデルとして、前記スコアが最も高いシーンに応じた学習モデルを選択し、
    前記コンピュータが、選択された学習モデルを用いて、前記車両運転中に撮影される画像中の物体を認識し、
    前記コンピュータが、選択された学習モデルによる物体認識結果と、車両運転中に検出される物体の有無を表わす情報である物体有無情報とを照合し、当該物体有無情報に対する物体認識結果の正解度合いを評価し、
    前記コンピュータが、前記正解度合いが予め定めた閾値未満か否かを判定し、
    前記コンピュータが、前記正解度合いが閾値未満の場合、現在のシーンに次いで前記スコアの高いシーンに対応する学習モデルを選択する
    ことを特徴とする物体認識方法。
  11. コンピュータに、
    車両運転中に得られる情報に基づいて、当該車両のシーンを判定するシーン判定処理、
    判定されたシーンに応じて、２以上の学習モデルから物体認識に用いる学習モデルを選択する学習モデル選択処理、
    選択された学習モデルを用いて、前記車両運転中に撮影される画像中の物体を認識する物体認識処理、
    選択された学習モデルによる物体認識結果と、車両運転中に検出される物体の有無を表わす情報である物体有無情報とを照合し、選択された学習モデルによる物体認識結果を評価する物体認識結果評価処理、および、
    前記物体認識結果の評価を判定する認識結果判定処理を実行させ、
    前記シーン判定処理で、シーンごとの確からしさを判別する判別モデルを用いて、車両のシーンごとの確からしさであるスコアを判定させ、
    前記学習モデル選択処理で、前記スコアが最も高いシーンに応じた学習モデルを選択させ、
    前記物体認識処理で、選択された学習モデルを用いて物体を認識させ、
    前記物体認識結果評価処理で、前記物体有無情報に対する物体認識結果の正解度合いを評価させ、
    前記認識結果判定処理で、前記正解度合いが予め定めた閾値未満か否かを判定させ、
    前記学習モデル選択処理で、前記正解度合いが閾値未満の場合、現在のシーンに次いで前記スコアの高いシーンに対応する学習モデルを選択させる
    ための物体認識プログラム。
JP2020554806A 2018-10-30 2019-09-13 物体認識装置、物体認識方法および物体認識プログラム Active JP7279721B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018203943 2018-10-30
JP2018203943 2018-10-30
PCT/JP2019/036152 WO2020090251A1 (ja) 2018-10-30 2019-09-13 物体認識装置、物体認識方法および物体認識プログラム

Publications (2)

Publication Number Publication Date
JPWO2020090251A1 JPWO2020090251A1 (ja) 2021-09-30
JP7279721B2 true JP7279721B2 (ja) 2023-05-23

Family

ID=70463037

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020554806A Active JP7279721B2 (ja) 2018-10-30 2019-09-13 物体認識装置、物体認識方法および物体認識プログラム

Country Status (3)

Country Link
US (1) US11586856B2 (ja)
JP (1) JP7279721B2 (ja)
WO (1) WO2020090251A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113939826A (zh) * 2019-05-29 2022-01-14 株式会社电装 地图系统、地图生成程序、存储介质、车辆用装置以及服务器
JP7025372B2 (ja) * 2019-06-11 2022-02-24 Kddi株式会社 物体識別装置、方法およびシステム
US11620522B2 (en) * 2019-12-31 2023-04-04 Magna Electronics Inc. Vehicular system for testing performance of headlamp detection systems
JP7402121B2 (ja) 2020-06-02 2023-12-20 株式会社日立製作所 物体検出システムおよび物体検出方法
WO2021260910A1 (ja) * 2020-06-26 2021-12-30 三菱電機株式会社 Ａｉ統合システム、ａｉ統合装置及びａｉ統合プログラム
JP2022150703A (ja) * 2021-03-26 2022-10-07 株式会社Ｊｖｃケンウッド 推定装置およびプログラム
JP7371762B1 (ja) * 2021-12-28 2023-10-31 日本電気株式会社 撮像システム、撮像装置、撮像方法、及び記録媒体
JP7371712B2 (ja) * 2021-12-28 2023-10-31 日本電気株式会社 撮像システム、撮像方法、及びコンピュータプログラム
JP2023124259A (ja) * 2022-02-25 2023-09-06 古野電気株式会社 物標監視装置、操船システム、物標監視方法、及びプログラム
KR102574540B1 (ko) * 2022-11-22 2023-09-07 (주)와토시스 영상 내 개인정보 영역 검출 방법 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001153969A (ja) 1999-11-25 2001-06-08 Nippon Seiki Co Ltd 雨滴検出装置
JP2010204095A (ja) 2009-02-06 2010-09-16 Yokohama Rubber Co Ltd:The 耐摩耗性能評価装置及び耐摩耗性能評価方法、並びに耐摩耗性能評価用コンピュータプログラム
JP2013186668A (ja) 2012-03-07 2013-09-19 Clarion Co Ltd 車両周囲監視装置
JP2017116506A (ja) 2015-12-25 2017-06-29 株式会社リコー 路面検知装置、及び車両自動運転制御システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY158375A (en) * 2012-07-27 2016-09-26 Nissan Motor Three-dimensional object detection device, three-dimensional object detection method
JP2017068351A (ja) * 2015-09-28 2017-04-06 株式会社Ｊｖｃケンウッド 道路標識認識装置および道路標識認識方法
JP2017138694A (ja) * 2016-02-02 2017-08-10 ソニー株式会社 映像処理装置及び映像処理方法
JP6468568B2 (ja) * 2016-09-06 2019-02-13 本田技研工業株式会社 物体認識装置、モデル情報生成装置、物体認識方法、および物体認識プログラム
JP6825299B2 (ja) * 2016-10-24 2021-02-03 株式会社リコー 情報処理装置、情報処理方法およびプログラム
JP2018073275A (ja) 2016-11-02 2018-05-10 三菱自動車工業株式会社 画像認識装置
JP2018081404A (ja) * 2016-11-15 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 識別方法、識別装置、識別器生成方法及び識別器生成装置
JP6720402B2 (ja) * 2017-03-21 2020-07-08 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ サーバ装置、学習済モデル提供プログラム、学習済モデル提供方法及び学習済モデル提供システム
US10755428B2 (en) * 2017-04-17 2020-08-25 The United States Of America, As Represented By The Secretary Of The Navy Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model
JP7190842B2 (ja) 2017-11-02 2022-12-16 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001153969A (ja) 1999-11-25 2001-06-08 Nippon Seiki Co Ltd 雨滴検出装置
JP2010204095A (ja) 2009-02-06 2010-09-16 Yokohama Rubber Co Ltd:The 耐摩耗性能評価装置及び耐摩耗性能評価方法、並びに耐摩耗性能評価用コンピュータプログラム
JP2013186668A (ja) 2012-03-07 2013-09-19 Clarion Co Ltd 車両周囲監視装置
JP2017116506A (ja) 2015-12-25 2017-06-29 株式会社リコー 路面検知装置、及び車両自動運転制御システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
木戸 嘉一（外２名），「適応環境データを用いた深層学習アルゴリズムによる走行環境認識」，第３２回 画像符号化シンポジウム, 第２２回 映像メディア処理シンポジウム（PCSJ/IMPS2017)（講演論文集），日本，電子情報通信学会 画像工学研究専門委員会，2017年11月20日，第１９６～１９７頁

Also Published As

Publication number Publication date
WO2020090251A1 (ja) 2020-05-07
JPWO2020090251A1 (ja) 2021-09-30
US11586856B2 (en) 2023-02-21
US20210390353A1 (en) 2021-12-16

Similar Documents

Publication Publication Date Title
JP7279721B2 (ja) 物体認識装置、物体認識方法および物体認識プログラム
JP7052663B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
US20220004196A1 (en) System and method for detecting occluded objects based on image processing
US9836657B2 (en) System and method for periodic lane marker identification and tracking
US8994823B2 (en) Object detection apparatus and storage medium storing object detection program
JP6649738B2 (ja) 駐車区画認識装置、駐車区画認識方法
JP5480917B2 (ja) 車両周辺監視装置
US20100121561A1 (en) Car navigation system
US20130083971A1 (en) Front vehicle detecting method and front vehicle detecting apparatus
CN113496201B (zh) 物体状态识别装置、方法、计算机可读取的记录介质及控制装置
JP5884635B2 (ja) 走行環境検出装置、走行環境検出プログラム、およびライト制御装置
US11783596B2 (en) Detecting traffic signaling states with neural networks
US20220301320A1 (en) Controller, method, and computer program for controlling vehicle
CN111145569A (zh) 一种道路监测、车辆行驶控制方法、装置及车路协同系统
JP4937844B2 (ja) 歩行者検出装置
JP5353531B2 (ja) 車両灯火認識装置及びプログラム
JP2019158662A (ja) 物標認識装置及び車両走行制御システム
CN111976585A (zh) 基于人工神经网络的投射信息识别装置及其方法
JP2021163432A (ja) 信号灯状態識別装置、信号灯状態識別方法及び信号灯状態識別用コンピュータプログラムならびに制御装置
CN116434156A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶系统
WO2022244356A1 (en) Light interference detection during vehicle navigation
CN115481724A (zh) 用于训练用于语义图像分割的神经网络的方法
JP2013028239A (ja) ライト検出装置、ライト検出プログラム、およびライト制御装置
JP2021018465A (ja) 物体認識装置
JP2020534600A (ja) 車線認識方法および装置、運転支援システムならびに車両

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210420

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230424

R151 Written notification of patent or utility model registration

Ref document number: 7279721

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151