JP7115502B2 - 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置 - Google Patents

物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置 Download PDF

Info

Publication number
JP7115502B2
JP7115502B2 JP2020051751A JP2020051751A JP7115502B2 JP 7115502 B2 JP7115502 B2 JP 7115502B2 JP 2020051751 A JP2020051751 A JP 2020051751A JP 2020051751 A JP2020051751 A JP 2020051751A JP 7115502 B2 JP7115502 B2 JP 7115502B2
Authority
JP
Japan
Prior art keywords
state
image
series
object region
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020051751A
Other languages
English (en)
Other versions
JP2021149863A (ja
Inventor
大輔 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020051751A priority Critical patent/JP7115502B2/ja
Priority to CN202110294980.0A priority patent/CN113435237B/zh
Priority to US17/208,466 priority patent/US11776277B2/en
Publication of JP2021149863A publication Critical patent/JP2021149863A/ja
Application granted granted Critical
Publication of JP7115502B2 publication Critical patent/JP7115502B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Description

本発明は、画像に表された物体の状態を識別する物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラム、ならびに、そのような物体状態識別装置を利用した、車両の走行を制御する制御装置に関する。
カメラにより得られた画像といった、センサ情報に表された物体を検出する技術が研究されている。近年では、物体を検出するために、いわゆるディープニューラルネットワーク（以下、単にDNNと呼ぶ）といった機械学習手法を用いることで、検出精度を向上する技術が提案されている。
また、画像に表された物体を追跡するために、時系列の複数の画像またはそれらの画像から得られた特徴量をニューラルネットワークの入力として利用する技術が提案されている（例えば、特許文献１を参照）。
例えば、特許文献１に開示された物体追跡方法は、時系列に連続した２以上の画像をニューラルネットワークに入力する。この物体追跡方法は、それら２以上の画像それぞれの特徴量であってニューラルネットワークに抽出させた特徴量を比較して類似性を照合する。そしてこの物体追跡方法は、その照合結果に基づいて時系列で前の画像に映る追跡候補である１以上の物体に一致する、前の画像より時系列で後の画像に映る１以上の物体の識別情報及び位置情報を、識別結果として出力する。また、使用されるニューラルネットワークは、１以上の全結合層と０以上の畳み込み層とを有する同一構造を２以上含み、同一構造間の対応する層でパラメータを共有する。
特開２０１８－２６１０８号公報
検出対象となる物体の状態が、その物体の外観の時系列の変化により表されることがある。しかし、上記の技術では、検出対象となる物体を追跡するものに過ぎないため、画像に表されたその物体の状態を正確に識別できないことがある。
そこで、本発明は、画像に表された物体の状態を識別することが可能な物体状態識別装置を提供することを目的とする。
一つの実施形態によれば、物体状態識別装置が提供される。この物体状態識別装置は、時系列に得られる一連の画像を、所定の物体を検出するように予め学習された第１の識別器に入力することで、一連の画像のそれぞれについて、その画像上において所定の物体を含む物体領域を検出する物体検出部と、一連の画像のそれぞれにおいて検出された物体領域について、その物体領域に所定の物体以外の他の物体が含まれる混合状態か否か判定する混合状態判定部と、一連の画像のそれぞれにおいて検出された物体領域内の画素値から求められる特徴を、時系列順に再帰構造を持つ第２の識別器に入力するとともに、記憶部に記憶されている第２の識別器の再帰的に利用される内部状態をその第２の識別器に適用することで、時系列の外観変化を伴う所定の物体の状態を識別する状態識別部とを有する。そして状態識別部は、一連の画像のそれぞれについて、その画像上の物体領域が混合状態である場合、その画像上の物体領域についての特徴を第２の識別器に入力することで更新された最新の内部状態を廃棄し、一方、その画像上の物体領域が混合状態でない場合、その画像上の物体領域についての特徴を第２の識別器に入力することで更新された最新の内部状態で記憶部に記憶されている内部状態を更新する。
この物体状態識別装置において、第１の識別器は、物体領域が混合状態である確からしさを表す混合度を算出するようにさらに学習され、物体検出部が一連の画像のそれぞれを時系列順に第１の識別器に入力する度に、第１の識別器はその画像上の物体領域についての混合度を算出し、混合状態判定部は、一連の画像のそれぞれについて、その画像上の物体領域についての混合度が所定の閾値以上である場合、その画像上の物体領域は混合状態であると判定することが好ましい。
あるいは、この物体状態識別装置において、混合状態判定部は、一連の画像のそれぞれについて、その画像上の物体領域についての特徴を、物体領域が混合状態である確からしさを表す混合度を算出するように予め学習された第３の識別器に入力することで、その画像上の物体領域についての混合度を算出し、その画像上の物体領域についての混合度が所定の閾値以上である場合、その画像上の物体領域は混合状態であると判定することが好ましい。
あるいはまた、この物体状態識別装置において、混合状態判定部は、一連の画像のそれぞれについて、その画像上の物体領域と、第１の識別器により検出された他の物体を含む他の物体領域との重複度合いを算出し、重複度合いが所定の閾値以上である場合、その画像上の物体領域は混合状態であると判定することが好ましい。
本発明の他の形態によれば、車両の走行を制御する制御装置が提供される。この制御装置は、記憶部と、車両に搭載された撮像部により時系列に得られる一連の画像を、他の車両を検出するように予め学習された第１の識別器に入力することで、一連の画像のそれぞれについて、その画像上において他の車両を含む物体領域を検出する物体検出部と、一連の画像のそれぞれにおいて検出された物体領域について、その物体領域に他の車両以外の他の物体が含まれる混合状態か否か判定する混合状態判定部と、一連の画像のそれぞれにおいて検出された物体領域内の画素値から求められる特徴を、時系列順に再帰構造を持つ第２の識別器に入力するとともに、記憶部に記憶されている第２の識別器の再帰的に利用される内部状態をその第２の識別器に適用することで、時系列の外観変化を伴う他の車両の状態を識別する状態識別部と、他の車両の状態に基づいて、他の車両が走行する軌跡を予測し、予測した軌跡に基づいて、車両が他の車両と所定距離以上離れるように車両の走行予定経路を設定する運転計画部と、走行予定経路に沿って車両が走行するように車両を制御する車両制御部とを有する。そして状態識別部は、一連の画像のそれぞれについて、その画像上の物体領域が混合状態である場合、その画像上の物体領域についての特徴を第２の識別器に入力することで更新された最新の内部状態を廃棄し、一方、その画像上の物体領域が混合状態でない場合、その画像上の物体領域についての特徴を第２の識別器に入力することで更新された最新の内部状態で記憶部に記憶されている内部状態を更新する。
本発明のさらに他の形態によれば、物体状態識別方法が提供される。この物体状態識別方法は、時系列に得られる一連の画像を、所定の物体を検出するように予め学習された第１の識別器に入力することで、一連の画像のそれぞれについて、その画像上において所定の物体を含む物体領域を検出し、一連の画像のそれぞれにおいて検出された物体領域について、物体領域に所定の物体以外の他の物体が含まれる混合状態か否か判定し、一連の画像のそれぞれにおいて検出された物体領域内の画素値から求められる特徴を、時系列順に再帰構造を持つ第２の識別器に入力するとともに、記憶部に記憶されている第２の識別器の再帰的に利用される内部状態をその第２の識別器に適用することで、時系列の外観変化を伴う所定の物体の状態を識別し、一連の画像のそれぞれについて、その画像上の物体領域が混合状態である場合、その画像上の物体領域についての特徴を第２の識別器に入力することで更新された最新の内部状態を廃棄し、一方、その画像上の物体領域が混合状態でない場合、その画像上の物体領域についての特徴を第２の識別器に入力することで更新された最新の内部状態で記憶部に記憶されている内部状態を更新する、ことを含む。
本発明のさらに他の形態によれば、物体状態識別用コンピュータプログラムが提供される。この物体状態識別用コンピュータプログラムは、時系列に得られる一連の画像を、所定の物体を検出するように予め学習された第１の識別器に入力することで、一連の画像のそれぞれについて、その画像上において所定の物体を含む物体領域を検出し、一連の画像のそれぞれにおいて検出された物体領域について、その物体領域に所定の物体以外の他の物体が含まれる混合状態か否か判定し、一連の画像のそれぞれにおいて検出された物体領域内の画素値から求められる特徴を、時系列順に再帰構造を持つ第２の識別器に入力するとともに、記憶部に記憶されている第２の識別器の再帰的に利用される内部状態をその第２の識別器に適用することで、時系列の外観変化を伴う所定の物体の状態を識別し、一連の画像のそれぞれについて、その画像上の物体領域が混合状態である場合、その画像上の物体領域についての特徴を第２の識別器に入力することで更新された最新の内部状態を廃棄し、一方、その画像上の物体領域が混合状態でない場合、その画像上の物体領域についての特徴を第２の識別器に入力することで更新された最新の内部状態で記憶部に記憶されている内部状態を更新する、ことをコンピュータに実行させるための命令を含む。
本発明に係る物体状態識別装置は、画像に表された物体の状態を識別することができるという効果を奏する。
物体状態識別装置が実装される車両制御システムの概略構成図である。 物体状態識別装置の一実施形態である電子制御装置のハードウェア構成図である。 物体状態識別処理を含む車両制御処理に関する、電子制御装置のプロセッサの機能ブロック図である。 第１の識別器として利用されるDNNの構成の一例を示す図である。 混合状態及び非混合状態の一例を示す図である。 状態識別の対象となる車両の選択の一例を示す図である。 状態識別処理に関連する各部の処理のタイミングチャートである。 検出物体リストの一例を示す図である。 物体状態識別処理を含む車両制御処理の動作フローチャートである。
以下、図を参照しつつ、物体状態識別装置、及び、物体状態識別装置において実行される物体状態識別方法ならびに物体状態識別用コンピュータプログラムについて説明する。この物体状態識別装置は、時系列に得られる一連の画像に表される、検出対象となる物体（以下、検出対象物体と呼ぶことがある）に関して、時系列の外観変化を伴う状態を識別する。そのために、この物体状態識別装置は、検出対象物体を検出するように予め学習された第１の識別器にその一連の画像を入力することで、画像ごとに、その画像上でその検出対象物体を含む領域（以下、物体領域と呼ぶことがある）を検出するとともに、個々の物体領域について、その物体領域内に、対応する検出対象物体だけでなく、他の物体（特に、他の検出対象物体）が含まれている確からしさを表す混合度を求める。また、この物体状態識別装置は、各画像から検出された検出対象物体を追跡することで、各画像において同じ検出対象物体が表された物体領域同士を対応付ける。そして、この物体状態識別装置は、一連の画像における、同じ検出対象物体が表された物体領域内の画素値から求められる特徴を、時系列順に再帰構造を持つ第２の識別器に入力することで、その検出対象物体の状態を識別する。その際、この物体状態識別装置は、最新の画像における物体領域についての混合度が所定の混合度閾値以上である場合、その最新の画像の物体領域の特徴を第２の識別器に入力することで更新された、再帰的に利用される第２の識別器の内部状態を廃棄して、更新前の内部状態を次の画像の物体領域の特徴の入力の際に適用する。これにより、この物体状態識別装置は、物体領域内に、着目する検出対象物体以外の他の物体が含まれていても、他の物体による、検出対象物体の状態の識別結果への影響を軽減することができる。
例えば、検出対象物体が車両であるとする。車両は、左折または右折する場合、ターンシグナルを点滅させる。また、車両は、減速する際にブレーキランプを点灯させ、停車する際などにハザードランプを点滅させる。これらターンシグナルまたはブレーキランプといった、車両の信号灯の点灯または点滅は、時系列の車両の外観の変化を伴うものであり、かつ、車両の挙動に関する状態を表している。しかし、ターンシグナル、ブレーキランプまたはハザードランプが表された個々の画像では、それらのランプの明滅の時系列変化が分からないため、ターンシグナルまたはハザードランプが点滅しているか否か、ブレーキランプが点灯しているか消灯しているかを、ターンシグナル、ブレーキランプまたはハザードランプが表された個々の画像から精度良く識別することは困難である。そこで、この物体状態識別装置は、上記のように、時系列の一連の画像のそれぞれの物体領域内の画素値から求められる特徴を、再帰構造を持つ第２の識別器に入力することで、ターンシグナルまたはハザードランプの点滅の有無、ブレーキランプの点灯及び消灯を精度良く識別することができる。
以下では、物体状態識別装置を、車両制御システムに適用した例について説明する。この例では、物体状態識別装置は、車両に搭載されたカメラにより得られた時系列の一連の画像に対して物体状態識別処理を実行することで、検出対象物体として、車両の周囲に存在する他の車両を検出する。そしてこの物体状態識別装置は、検出した他の車両の、外観変化を伴う状態として、左右何れかのターンシグナルまたはハザードランプの点滅状態か否か、ブレーキランプが点灯している状態あるいは消灯している状態かを識別する。
図１は、物体状態識別装置が実装される車両制御システムの概略構成図である。また図２は、物体状態識別装置の一つの実施形態である電子制御装置のハードウェア構成図である。本実施形態では、車両１０に搭載され、かつ、車両１０を制御する車両制御システム１は、車両１０の周囲を撮影するためのカメラ２と、物体状態識別装置の一例である電子制御装置（ＥＣＵ）３とを有する。カメラ２とＥＣＵ３とは、コントローラエリアネットワークといった規格に準拠した車内ネットワーク４を介して通信可能に接続される。なお、車両制御システム１は、車両１０の自動運転制御に用いられる地図を記憶するストレージ装置をさらに有していてもよい。さらに、車両制御システム１は、LiDARあるいはレーダといった測距センサ、GPS受信機といった、衛星測位システムに準拠して車両１０の自己位置を測位するための受信機、他の機器と無線通信するための無線端末、及び、車両１０の走行予定ルートを探索するためのナビゲーション装置などを有していてもよい。
カメラ２は、所定の検知範囲内に存在する物体を検出するためのセンサである撮像部の一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そしてカメラ２は、車両１０の前方を向くように、例えば、車両１０の車室内に取り付けられる。そしてカメラ２は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに車両１０の前方領域を撮影し、その前方領域が写った画像を生成する。カメラ２により得られた画像は、カラー画像であることが好ましい。なお、車両１０には、撮影方向または焦点距離が異なる複数のカメラが設けられてもよい。
カメラ２は、画像を生成する度に、その生成した画像を、車内ネットワーク４を介してＥＣＵ３へ出力する。
ＥＣＵ３は、車両１０を制御する。本実施形態では、ＥＣＵ３は、カメラ２により得られた時系列の一連の画像から検出された物体に基づいて車両１０を自動運転するよう、車両１０を制御する。そのために、ＥＣＵ３は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。
通信インターフェース２１は、通信部の一例であり、ＥＣＵ３を車内ネットワーク４に接続するためのインターフェース回路を有する。すなわち、通信インターフェース２１は、車内ネットワーク４を介して、カメラ２と接続される。そして通信インターフェース２１は、カメラ２から画像を受信する度に、受信した画像をプロセッサ２３へわたす。
メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。なお、メモリ２２は、後述するようにプロセッサ２３が複数の演算ユニットを有する場合に、演算ユニットごとに専用のメモリ回路を有していてもよい。そしてメモリ２２は、ＥＣＵ３のプロセッサ２３により実行される物体状態識別処理において使用される各種のデータ及びパラメータ、例えば、カメラ２から受信した画像、物体状態識別処理で利用される各識別器を特定するための各種パラメータ、及び、物体の種類ごとの確信度閾値などを記憶する。さらに、メモリ２２は、検出された物体に関する情報を表す検出物体リストといった、物体状態識別処理の途中で生成される各種のデータを一定期間記憶する。さらにまた、メモリ２２は、地図情報といった車両１０の走行制御に利用される情報を記憶してもよい。
プロセッサ２３は、制御部の一例であり、１個または複数個のCPU(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニット(Graphics Processing Unit, GPU)といった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、車両１０が走行している間、カメラ２から画像を受信する度に、受信した画像に対して物体状態識別処理を含む車両制御処理を実行する。そしてプロセッサ２３は、検出された車両１０の周囲の物体に基づいて、車両１０を自動運転するよう、車両１０を制御する。
図３は、物体状態識別処理を含む車両制御処理に関する、ＥＣＵ３のプロセッサ２３の機能ブロック図である。プロセッサ２３は、物体検出部３１と、追跡部３２と、混合状態判定部３３と、状態識別部３４と、運転計画部３５と、車両制御部３６とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。また、プロセッサ２３が有するこれらの各部のうち、物体検出部３１、追跡部３２、混合状態判定部３３及び状態識別部３４が、物体状態識別処理を実行する。なお、車両１０に複数のカメラが設けられる場合には、プロセッサ２３は、カメラごとに、そのカメラにより得られた画像に基づいて物体状態識別処理を実行してもよい。
物体検出部３１は、カメラ２から画像を受信する度に、受信した最新の画像を物体検出用の第１の識別器に入力することで、その画像に表されている検出対象物体（すなわち、他の車両）を含む領域（すなわち、物体領域）を検出するとともに、その検出対象物体の種類を特定する。さらに、物体検出部３１は、物体領域ごとに、その物体領域についての混合度を算出する。
本実施形態では、物体検出部３１は、第１の識別器として、画像に表された検出対象物体を含む物体領域を検出し、検出対象物体の種類を識別し、かつ、混合度を算出するように予め学習されたDNNを利用する。物体検出部３１が利用するDNNは、例えば、コンボリューショナルニューラルネットワーク（以下、単にCNNと呼ぶ）型のアーキテクチャを持つDNNとすることができる。
図４は、第１の識別器として利用されるDNNの構成の一例を示す図である。DNN４００は、画像が入力される入力側に設けられる主幹部４０１と、主幹部４０１よりも出力側に設けられる位置検出部４０２、種類推定部４０３及び混合度推定部４０４とを有する。位置検出部４０２は、主幹部４０１からの出力に基づいて、画像上に表された検出対象物体の外接矩形を物体領域として出力する。種類推定部４０３は、主幹部４０１からの出力に基づいて、位置検出部４０２で検出された物体領域に表された検出対象物体の種類ごとの確信度を算出する。そして混合度推定部４０４は、主幹部４０１からの出力に基づいて、各物体領域の混合度を算出する。なお、位置検出部４０２、種類推定部４０３及び混合度推定部４０４のうちの二つ以上が一体的に形成されてもよい。
主幹部４０１は、例えば、入力側から出力側へ向けて直列に接続される複数の層を有するCNNとすることができる。その複数の層には２以上の畳み込み層が含まれる。さらに、主幹部４０１が有する複数の層には、１または複数の畳み込み層ごとに設けられるプーリング層が含まれてもよい。さらにまた、主幹部４０１が有する複数の層には、１以上の全結合層が含まれてもよい。例えば、主幹部４０１は、Single Shot MultiBox Detector (SSD)のベースレイヤーと同様の構成とすることができる。あるいは、主幹部４０１は、VGG-19、AlexNetあるいはNetwork-In-Networkといった他のCNNアーキテクチャに従って構成されてもよい。
主幹部４０１は、画像が入力されると、その画像に対して各層での演算を実行することで、その画像から算出したfeature mapを出力する。なお、主幹部４０１は、解像度の異なる複数のfeature mapを出力してもよい。例えば、主幹部４０１は、入力された画像の解像度と同じ解像度を持つfeature mapと、入力された画像の解像度よりも低い解像度の１以上のfeature mapを出力してもよい。
位置検出部４０２、種類推定部４０３及び混合度推定部４０４には、それぞれ、主幹部４０１から出力されたfeature mapが入力される。そして位置検出部４０２、種類推定部４０３及び混合度推定部４０４は、それぞれ、例えば、入力側から出力側へ向けて直列に接続される複数の層を有するCNNとすることができる。位置検出部４０２、種類推定部４０３及び混合度推定部４０４のそれぞれについて、CNNが有する複数の層には２以上の畳み込み層が含まれる。また、位置検出部４０２、種類推定部４０３及び混合度推定部４０４のそれぞれについて、CNNが有する複数の層には、１または複数の畳み込み層ごとに設けられるプーリング層が含まれてもよい。なお、CNNが有する畳み込み層及びプーリング層は、位置検出部４０２、種類推定部４０３及び混合度推定部４０４について共通化されてもよい。さらに、位置検出部４０２、種類推定部４０３及び混合度推定部４０４のそれぞれについて、複数の層には、１以上の全結合層が含まれてもよい。この場合、全結合層は、各畳み込み層よりも出力側に設けられることが好ましい。また全結合層には、各畳み込み層からの出力が直接入力されてもよい。また、種類推定部４０３の出力層は、ソフトマックス関数に従って検出対象物体の種類のそれぞれの確信度を算出するソフトマックス層としてもよいし、シグモイド関数に従って検出対象物体の種類のそれぞれの確信度を算出するシグモイド層としてもよい。さらにまた、混合度推定部４０４の出力層は、シグモイド関数に従って物体領域のそれぞれの混合度を算出するシグモイド層とすることができる。
位置検出部４０２及び種類推定部４０３は、例えば、画像上の様々な位置、様々なサイズ及び様々なアスペクト比の領域ごとに、検出対象物体の種類のそれぞれの確信度を出力するように学習される。したがって、識別器４００は、画像が入力されることで、画像上の様々な位置、様々なサイズ及び様々なアスペクト比の領域ごとに、検出対象物体の種類のそれぞれの確信度を出力する。そして位置検出部４０２及び種類推定部４０３は、何れかの種類の検出対象物体についての確信度が所定の確信度閾値以上となる領域を、その種類の検出対象物体が表された物体領域として検出する。
一方、混合度推定部４０４は、例えば、画像上の様々な位置、様々なサイズ及び様々なアスペクト比の物体領域ごとに、その物体領域に、検出対象物体以外の他の物体が含まれている確信度を混合度として出力するように学習される。
識別器４００の学習に利用される教師データに含まれる画像（教師画像）には、例えば、検出対象物体の種類（例えば、普通乗用車、バス、トラック、二輪車など）と、検出対象物体が表された物体領域である、その検出対象物体の外接矩形とがタグ付けされる。さらに、教師画像上の個々の物体領域について、その物体領域に含まれる検出対象物体以外の他の物体が含まれる混合状態か、あるいは、その検出対象物体外の物体が含まれない非混合状態かがタグ付けされる。
図５は、混合状態及び非混合状態の一例を示す図である。物体領域５０１は、非混合状態である物体領域の一例である。物体領域５０１には、一つの検出対象物体である車両５１１以外の他の物体が含まれていない。そのため、物体領域５０１内の画素値から求められる特徴に基づいて、車両５１１の状態を精度良く識別することが可能となる。一方、物体領域５０２は、混合状態である物体領域の一例である。物体領域５０２には、検出対象物体である車両５１２だけでなく、他の車両５１３の一部が含まれている。そのため、物体領域５０２内の画素値から求められる特徴には、車両５１２だけでなく、他の車両５１３の特徴も含まれる。特に、この例では、他の車両５１３のターンシグナル及びブレーキランプが物体領域５０２に含まれているので、他の車両５１３のターンシグナルまたはブレーキランプの点灯または消灯が、車両５１２のターンシグナルまたはブレーキランプの点灯または消灯などの判定に影響する。そのため、物体領域５０２内の画素値から求められる特徴を、車両５１２の状態の識別に利用すると、車両５１２の状態の識別精度が低下するおそれがある。なお、他の車両５１３自体、検出対象物体であってもよく、この場合、他の車両５１３を対象とした物体領域が第１の識別器により検出される。
識別器４００は、上記のような多数の教師画像を用いて、例えば、誤差逆伝搬法といった学習手法に従って学習される。プロセッサ２３は、このように学習された識別器４００を利用することで、画像から検出対象となる物体を精度良く検出できる。また、識別器４００は、各物体領域について、混合度を精度良く算出することができる。
なお、物体検出部３１は、車両１０の周囲の他の車両以外の、車両１０の走行制御に影響する物体を検出してもよい。そのような物体には、例えば、人、道路標識、信号機、車線区画線などの道路標示、及び、道路上のその他の物体などが含まれる。この場合、第１の識別器は、これらの物体も検出するように予め学習されればよい。そして物体検出部３１は、画像をその第１の識別器に入力することで、これらの物体も検出することができる。
物体検出部３１は、さらに、Non-maximum suppression(NMS)処理を実行することで、少なくとも部分的に重複する２以上の物体領域のうち、同一の物体が表されていると推定される物体領域から一つを選択してもよい。
物体検出部３１は、各物体領域の画像上での位置及び範囲と、その物体領域に含まれる物体の種類とを、検出物体リストに登録する。そして物体検出部３１は、検出物体リストをメモリ２２に記憶する。さらに、物体検出部３１は、各物体領域について、その物体領域に含まれる各画素から第１の識別器の主幹部により算出され、かつ、状態識別部３４へ出力されるfeature mapをメモリ２２に記憶する。なお、状態識別部３４へ出力されるfeature mapは、第１の識別器に入力された画像の解像度と同じ解像度を有するものとすることができる。また、第１の識別器の主幹部が有するプーリング層などにより、入力された画像の解像度よりも低い解像度を持つfeature mapが算出される場合には、その低い解像度を持つfeature mapが状態識別部３４へ出力されてもよい。さらに、第１の識別器の主幹部により算出される、互いに異なる解像度を持つ複数のfeature mapが状態識別部３４へ出力されてもよい。
さらに、物体検出部３１は、物体領域ごとに、その物体領域について算出された混合度を、混合状態判定部３３へ出力する。
追跡部３２は、最新の画像から検出された物体領域のそれぞれについて、その物体領域に表された検出対象物体を、検出物体リストを参照して過去の画像から検出された検出対象物体と対応付けることで、その物体領域に表された検出対象物体を追跡する。さらに、追跡部３２は、追跡中の検出対象物体が所定数（例えば、５～１０）よりも多く存在する場合、それら追跡中の検出対象物体のなかから、所定数の検出対象物体を、状態識別の対象となる物体として選択する。
追跡部３２は、例えば、Lucas-Kanade法といった、オプティカルフローに基づく追跡処理を、最新の画像における、着目する物体領域及び過去の画像における物体領域に対して適用することで、その物体領域に表された検出対象物体を追跡する。そのため、追跡部３２は、例えば、着目する物体領域に対してSIFTあるいはHarrisオペレータといった特徴点抽出用のフィルタを適用することで、その物体領域から複数の特徴点を抽出する。そして追跡部３２は、複数の特徴点のそれぞれについて、過去の画像における物体領域における対応する点を、適用される追跡手法に従って特定することで、オプティカルフローを算出すればよい。あるいは、追跡部３２は、画像から検出された移動物体の追跡に適用される他の追跡手法を、最新の画像における、着目する物体領域及び過去の画像における物体領域に対して適用することで、その物体領域に表された検出対象物体を追跡してもよい。
追跡部３２は、最新の画像から検出された検出対象物体のうち、過去の画像に表された検出対象物体と対応付けられなかった検出対象物体に対して、新たな追跡対象として、他の追跡中の検出対象物体と異なる識別番号を割り当て、その割り当てた識別番号を検出物体リストに登録する。一方、追跡部３２は、最新の画像から検出された検出対象物体のうち、過去の画像に表された検出対象物体と対応付けられた検出対象物体、すなわち、追跡中の検出対象物体について、その追跡中の検出対象物体に割り当てられた識別番号と同じ識別番号を対応付ける。
上記のように、追跡部３２は、追跡中の検出対象物体が所定数よりも多く存在する場合、追跡中の検出対象物体の中から、所定数の検出対象物体を状態識別の対象となる物体として選択する。
例えば、車両１０に近い検出対象物体ほど、車両１０の運転制御に対する影響が大きいので、追跡部３２は、追跡中の検出対象物体のうち、車両１０に近い方から順に所定数の検出対象物体を選択する。例えば、画像上で検出対象物体が表された物体領域が大きいほど、車両１０からその検出対象物体までの距離が近いと推定される。そこで、追跡部３２は、例えば、最新の画像上での物体領域のサイズが大きい方から順に所定数の検出対象物体を選択する。
あるいは、追跡部３２は、追跡中の検出対象物体のそれぞれの物体領域の画像上での下端の位置に基づいて所定数の検出対象物体を選択してもよい。車両１０が走行中の道路と同じ道路を検出対象物体が走行している場合、画像上でのその検出対象物体が表された物体領域の下端の位置は、その検出対象物体が位置している路面上の位置と推定される。そして、車両１０に検出対象物体が近いほど、カメラ２からその検出対象物体が位置している路面上の位置への方位は下向きとなるので、画像上での物体領域の下端も画像の下端に近くなる。したがって、物体領域の下端の位置が画像端に近いほど、車両１０からその物体領域に表された検出対象物体までの距離は近いと推定される。そこで、追跡部３２は、追跡中の検出対象物体の中から、最新の画像において、物体領域の下端が画像の下端に近い方から順に所定数の検出対象物体を選択してもよい。
あるいは、追跡部３２は、追跡中の検出対象物体のそれぞれについて、その検出対象物体が表された物体領域のサイズ（例えば、横幅）と、その検出対象物体と同一種類の基準物体が車両１０から所定距離に位置していると仮定した場合の基準サイズとの比に基づいて、車両１０からその検出対象物体までの距離を推定してもよい。あるいはまた、車両制御システム１がLiDARあるいはレーダといった測距センサ（図示せず）を有している場合、その測距センサにより、追跡中の各検出対象物体までの距離が測定されてもよい。この場合、例えば、画像上での検出対象物体が表された物体領域の重心に対応する、カメラ２からの方位に相当する測距センサからの方位における距離が、車両１０からその検出対象物体までの距離として測定される。そして追跡部３２は、推定または測定された車両１０からの距離が近い方から順に、所定数の検出対象物体を選択すればよい。
あるいはまた、追跡部３２は、追跡中の検出対象物体のなかから、車線ごとに決められた数の検出対象物体を選択してもよい。例えば、追跡部３２は、車両１０が走行中の車線と同じ車線を走行中の検出対象物体のうち、車両１０に最も近いと推定される検出対象物体を選択する。さらに、追跡部３２は、車両１０が走行中の車線の左右に隣接するそれぞれの車線、及び、それら隣接車線にさらに隣接する車線（すなわち、車両１０が走行中の車線を中心とする、左右それぞれ二つの車線）のそれぞれから、車両１０に最も近いと推定される検出対象物体を選択する。この場合、例えば、物体検出部３１が最新の画像から車線区画線を検出している場合、あるいは、ローカライズ処理部（図示せず）が、最新の画像から車線区画線を検出している場合には、追跡部３２は、車線区画線と物体領域との位置関係に基づいて、各検出対象物体が走行中の車線を特定すればよい。例えば、追跡部３２は、着目する検出対象物体について、その検出対象物体を含む物体領域の下端の両側に位置する二つの車線区画線で挟まれた車線上にその検出対象物体が位置していると判定すればよい。また、追跡部３２は、車線ごとに、上記の検出対象物体の選択と同様の処理を実行することで、その車線を走行中の検出対象物体のうち、車両１０に最も近い検出対象物体を選択すればよい。なお、追跡部３２は、車線ごとに、車両１０に近い方から順に二つ以上の検出対象物体を選択してもよい。
図６は、状態識別の対象となる車両の選択の一例を示す図である。画像６００には、車両が複数写っており、各車両が検出対象物体として検出されている。車両１０が走行中の車線の右側に隣接する車線を走行している各車両のうち、車両６０１が表された物体領域が最も大きく、車両１０に最も近いと推定される。そのため、車両６０１が状態識別の対象となる物体として選択される。そして車両６０１が含まれる物体領域６１１の各画素値から求められる特徴が、車両６０１についての状態の識別に用いられる。
同様に、車両１０が走行中の車線と同じ車線を走行している各車両のうち、車両６０２が表された物体領域が最も大きく、車両１０に最も近いと推定される。そのため、車両６０２が状態識別の対象となる物体として選択される。そして車両６０２が含まれる物体領域６１２の各画素値から求められる特徴が、車両６０２についての状態の識別に用いられる。
変形例によれば、追跡部３２は、追跡中の検出対象物体全てを、状態識別の対象となる物体として選択してもよい。
追跡部３２は、状態識別の対象となる検出対象物体の識別番号を状態識別部３４へ通知する。また、追跡部３２は、状態識別の対象についての判定結果に基づいて、検出物体リストにおける、状態識別の対象となる検出対象物体を示すインデックスの値を更新する。
混合状態判定部３３は、物体領域ごとの混合度を受け取る度に、各物体領域について混合状態か否か判定する。例えば、混合状態判定部３３は、混合度が所定の混合度閾値以上となる物体領域について、混合状態であると判定し、一方、混合度が所定の混合度閾値未満である物体領域について、非混合状態であると判定する。
なお、混合状態判定部３３は、検出物体リストを参照して、各物体領域のうち、状態識別の対象となる検出対象物体が含まれる物体領域を特定し、特定した物体領域についてのみ、混合状態か否かを判定してもよい。
混合状態判定部３３は、物体領域ごとの混合状態か否かの判定結果を状態識別部３４へ通知する。
状態識別部３４は、カメラ２から画像が得られる度に、すなわち、カメラ２により得られる時系列の一連の画像のそれぞれについて、追跡中の検出対象物体のうち、状態識別の対象となる検出対象物体のそれぞれについて、その検出対象物体が含まれる物体領域内の画素値から求められる特徴を、再帰構造を持つ第２の識別器に入力する。これにより、状態識別部３４は、時系列の外観変化を伴う、その検出対象物体の状態を識別する。
状態識別部３４は、検出対象物体が表された物体領域内の画素値から求められる特徴として、例えば、第１の識別器の主幹部により算出されたfeature mapのうち、その物体領域に含まれるfeatureを利用することができる。これにより、検出対象物体そのものの特徴だけでなく、検出対象物体周囲の環境の特徴も状態識別に利用することが可能となる。本実施形態では、検出対象物体である車両と他の車両との相対的な位置関係による影響、例えば、検出対象物体である車両のターンシグナル等の一部が他の車両に隠れているような状況も考慮して、第２の識別器は、検出対象物体である車両の状態を識別することができる。例えば、feature mapの解像度が第１の識別器に入力された画像の解像度と同一である場合、その画像上での物体領域と対応する、feature map上の領域内に含まれる各featureが、物体領域内の画素値から求められる特徴となる。また、feature mapの解像度が第１の識別器に入力された画像の解像度よりも低い場合、入力された画像の解像度に対するfeature mapの解像度の比に応じて、物体領域の座標を補正した位置及び範囲が、物体領域に対応する、feature map上の領域となる。例えば、入力された画像上での物体領域の左上端位置及び右上端位置がそれぞれ(tlX, tlY)及び(brX, brY)であり、入力された画像に対して1/N(Nは2以上の整数)のダウンサイジングが行われてfeature mapが算出されているとする。この場合、画像上の物体領域に対応するfeature map上の領域の左上端位置及び右下端位置は、それぞれ、(tlX/N, tlY/N)及び(brX/N, brY/N)となる。
変形例によれば、状態識別部３４は、第１の識別器に入力された画像上の検出対象物体が表された物体領域内の各画素の値そのものを、第２の識別器に入力する、検出対象物体が表された物体領域内の画素値から求められる特徴としてもよい。あるいは、状態識別部３４は、その物体領域内の各画素に対して、畳み込み演算といった所定のフィルタ処理を行って得られた値を、第２の識別器に入力する、検出対象物体が表された物体領域内の画素値から求められる特徴としてもよい。
状態識別部３４は、各物体領域について、抽出した特徴をダウンサンプリング、アップサンプリング、bi-linear補間またはbi-cubic補間などのサイズ変換処理を実行することで所定のサイズ（例えば、32×32）にリサイズする。これにより、検出対象物体の追跡の途中で車両１０と検出対象物体間の相対距離が変化して、画像上での検出対象物体のサイズが変化しても、第２の識別器は、入力される特徴を一定のサイズとして扱えるので、第２の識別器の構成が簡単化される。
状態識別部３４は、再帰構造を持つ第２の識別器として、例えば、Recurrent Neural Network(RNN)、Long Short Term Memory(LSTM)またはGated Recurrent Unit(GRU)といった、再帰的な構造を持つニューラルネットワークを用いることができる。第２の識別器は、物体領域に含まれる特徴を処理すればよいため、第１の識別器と比較して、入力層及び中間層のサイズが小さくて済み、かつ、重み係数といった第２の識別器を規定するためのパラメータ数が少なくて済む。そのため、第２の識別器は、第１の識別器と比較して演算量が少なく、プロセッサ２３に対する演算負荷を小さくすることができる。さらに、第２の識別器の学習に要する演算量も削減される。なお、第１の識別器及び第２の識別器がそれぞれニューラルネットワークとして構成されている場合、共通の教師データを用いて、誤差逆伝搬法によりそれらニューラルネットワークが一体的に学習されてもよい。
第２の識別器は、再帰構造を有しているため、時系列に順次特徴が入力される度に、内部で再帰的に利用される内部状態（中間状態または隠れ状態とも呼ばれる）を更新する。これにより、第２の識別器は、着目する追跡中の検出対象物体の外観の時系列の変化に基づいて、その検出対象物体の状態を識別することができる。この内部状態は、メモリ２２に記憶される。そして第２の識別器は、着目する追跡中の検出対象物体についての特徴が入力される度に、メモリ２２から、その検出対象物体に関する最新の内部状態を読み込んで第２の識別器の演算に適用する。
本実施形態では、カメラ２により順次得られる画像に対して、着目する追跡中の検出対象物体を含む物体領域が非混合状態であると最後に判定されたときのその物体領域から求められた特徴を第２の識別器に入力することで更新された内部状態がメモリ２２に保持される。したがって、着目する追跡中の検出対象物体について、直前の画像の物体領域が非混合状態である場合、状態識別部３４は、直前の画像の物体領域から求められた特徴が第２の識別器に入力されることで算出され、メモリ２２に記憶された最新の内部状態を第２の識別器に適用して、着目する追跡中の検出対象物体の状態を識別する。一方、着目する追跡中の検出対象物体について、直前の画像の物体領域が混合状態である場合、状態識別部３４は、直前の画像よりもさらに前の何れかの画像における、最後に非混合状態だったときの物体領域から求められた特徴が第２の識別器に入力されたときの内部状態が適用される。
本実施形態では、状態識別部３４は、上記のように、検出対象物体（すなわち、車両１０の周囲の他の車両）の状態として、左右何れかのターンシグナルまたはハザードランプの点滅状態か否か、ブレーキランプが点灯している状態あるいは消灯している状態かを識別する。そのために、第２の識別器の出力層の活性化関数として、例えば、シグモイド関数が用いられる。これにより、第２の識別器は、各状態の確信度を出力することができる。そして状態識別部３４は、各状態の確信度を対応する閾値と比較し、検出対象物体の状態は、確信度が対応する閾値以上となる状態であると判定する。例えば、検出対象物体の左のターンシグナルが点滅している状態についての確信度が0.8であり、一方、左のターンシグナルが点滅していない状態についての確信度が0.2であるとする。そして閾値が0.5であるとすると、状態識別部３４は、検出対象物体の状態は、左のターンシグナルが点滅している状態であると判定する。
あるいは、第２の識別器の出力層の活性化関数として、ソフトマックス関数が用いられてもよい。この場合には、第２の識別器は、検出対象物体の状態として、左のターンシグナルが点滅、右のターンシグナルが点滅、ハザードランプが点滅、ブレーキランプが点灯、あるいはその何れでもないとの判定結果を出力する。したがって、状態識別部３４は、第２の識別器から出力された判定結果で表される状態を、検出対象物体の状態とすればよい。
状態識別部３４は、状態識別の対象となる検出対象物体のそれぞれについて、その検出対象物体が含まれる物体領域が非混合状態である場合、第２の識別器による状態識別結果及び更新された内部状態をメモリ２２に書き込んで、メモリ２２に記憶されている、状態識別結果及び内部状態を更新するとともに、運転計画部３５へ通知する。
一方、状態識別部３４は、その検出対象物体が含まれる物体領域が混合状態である場合、第２の識別器による状態識別結果及び更新された内部状態をメモリ２２に書き込まずに廃棄する。そして状態識別部３４は、メモリ２２に記憶されている、その検出対象物体についての以前の状態識別結果を、運転計画部３５へ通知する。
このように、混合状態である物体領域から求められた特徴がその物体領域に含まれる検出対象物体の状態の識別に利用されなくなるので、状態識別部３４は、検出対象物体の状態の識別精度の低下を抑制することができる。
図７は、状態識別処理に関連する各部の処理のタイミングチャートである。プロセッサ２３の各部の処理は、例えば、プロセッサ２３上で動作するスケジューラ（図示せず）により管理され、図７に示されるタイミングチャートに従って実行される。図７において、横軸は時間を表す。また、図７において、個々のブロックは、そのブロック内に示された処理が実行されることを表し、個々の矢印は、各処理間でのデータ（画像、特徴等）の受け渡しを表す。例えば、時刻t1にてＥＣＵ３がカメラ２から画像を受け取ると、プロセッサ２３が有するGPUにて、その画像に対する、物体検出部３１による検出対象物体の検出処理が実行される。なお、検出対象物体の検出処理が行われる前に、画像に対してコントラスト補正または色変換といった前処理が行われてもよい。
検出対象物体の検出処理が行われると、プロセッサ２３が有するCPUにて、検出された物体の種類及び物体領域の検出物体リストへの登録などの物体検出の後処理が行われ、その後に、追跡部３２による追跡処理が実行される。そして、追跡処理の後に、GPUにて、状態識別部３４による、個々の物体領域についての第２の識別器に入力される特徴の抽出、抽出した特徴のリサイズ及び第２の識別器を用いた状態識別処理が実行される。また、追跡処理または状態識別処理と並列に、個々の物体領域についての混合状態か否かの判定処理が行われる。上記のように、第２の識別器による演算量は相対的に少ないため、個々の検出対象物体の状態識別処理に要する演算時間は少なくて済む。そして得られた検出対象物体の状態識別の結果が、運転計画部３５及び車両制御部３６の処理に利用される。さらに、個々の物体領域について、混合状態か否かの判定結果に基づいて、第２の識別器の最新の内部状態をメモリ２２に書き込んで更新するか、あるいはその最新の内部状態を廃棄するかの処理が行われる。なお、CPUによる処理とGPUによる処理間のタスクのスイッチングコスト及びメモリ転送量を最小化するために、各検出対象物体についての特徴の抽出処理、状態識別処理及び状態識別処理の結果の読出し処理はバッチ処理としてまとめて実行されることが好ましい。
図８は、検出物体リストの一例を示す図である。検出物体リスト８００には、追跡中の検出対象物体のそれぞれについて、その物体が状態識別対象か否かを表すインデックス、その物体に割り当てられた識別番号、その物体に関する情報が記憶されているメモリ２２のアドレスを表すポインタ及び状態識別部３４により状態識別された回数（すなわち、第２の識別器に、対応する物体領域から求められた特徴が入力された回数）が格納される。さらに、検出物体リスト８００には、追跡中の検出対象物体のそれぞれについて、物体領域の位置及び範囲を表す情報（図示せず）及び検出対象物体の種類を表す情報（図示せず）などが格納される。また、各検出対象物体についてのポインタで示されるメモリ２２上の格納領域８０１には、最新の画像における、第２の識別器に入力される特徴、最後に更新された第２の識別器の内部状態、及び、最後に更新された第２の識別器からの出力結果などが記憶される。
運転計画部３５は、検出物体リストを参照して、車両１０の周囲に存在する物体と車両１０とが衝突しないように車両１０の走行予定経路（トラジェクトリ）を１以上生成する。走行予定経路は、例えば、現時刻から所定時間先までの各時刻における、車両１０の目標位置の集合として表される。例えば、運転計画部３５は、検出物体リストを参照して、カメラ２についての車両１０への取り付け位置などの情報を用いて視点変換処理を実行することで、検出物体リストにおける物体の画像内座標を鳥瞰画像上の座標（鳥瞰座標）に変換する。そして運転計画部３５は、一連の鳥瞰座標に対してKalman FilterまたはParticle filterなどを用いたトラッキング処理を実行することで、検出物体リストに登録されている物体を追跡し、その追跡結果により得られた軌跡から、物体のそれぞれの所定時間先までの予測軌跡を推定する。その際、運転計画部３５は、検出対象物体の状態識別結果を予測軌跡の推定に利用する。例えば、着目する検出対象物体の状態が、左のターンシグナルが点滅している状態である場合、その検出対象物体は左側へ車線変更し、あるいは、左折する可能性が高い。そこで、運転計画部３５は、その検出対象物体について、左側へ車線変更し、あるいは、左折する予測軌跡を推定する。また、着目する検出対象物体の状態が、ブレーキランプが点灯している状態である場合、あるいは、ハザードランプが点滅している状態である場合、その検出対象物体は減速する可能性が高い。そこで、運転計画部３５は、その検出対象物体について、現時点よりも減速するような予測軌跡を推定する。さらに、着目する検出対象物体の状態が、左右のターンシグナル及びハザードランプの何れも点滅しておらず、かつ、ブレーキランプが消灯している状態である場合、その検出対象物体は減速せずに直進する可能性が高い。そこで、運転計画部３５は、その検出対象物体について、減速せずに直進するような予測軌跡を推定する。
運転計画部３５は、追跡中の各物体の予測軌跡と、車両１０の位置、速度及び姿勢に基づいて、何れの物体についても所定時間先までの追跡中の物体のそれぞれと車両１０間の距離の予測値が所定距離以上となるように、車両１０の走行予定経路を生成する。なお、運転計画部３５は、車両１０の位置、速度及び姿勢を、例えば、車両１０に搭載されたＧＰＳ受信機（図示せず）から得た車両１０の現在位置を表す現在位置情報に基づいて推定できる。あるいは、ローカライズ処理部（図示せず）が、カメラ２により画像が得られる度に、その画像から車両１０の左右の車線区画線を検出し、検出された車線区画線とメモリ２２に記憶されている地図情報とをマッチングすることで、車両１０の位置、速度及び姿勢が推定されてもよい。さらに、運転計画部３５は、例えば、車両１０の現在位置情報と、メモリ２２に記憶されている地図情報とを参照して、車両１０が走行可能な車線の数を確認してもよい。そして運転計画部３５は、車両１０が走行可能な車線が複数存在する場合には、車両１０が走行する車線を変更するように走行予定経路を生成してもよい。
なお、運転計画部３５は、複数の走行予定経路を生成してもよい。この場合、運転計画部３５は、複数の走行予定経路のうち、車両１０の加速度の絶対値の総和が最小となる経路を選択してもよい。
運転計画部３５は、生成した走行予定経路を車両制御部３６へ通知する。
車両制御部３６は、車両１０が通知された走行予定経路に沿って走行するように車両１０の各部を制御する。例えば、車両制御部３６は、通知された走行予定経路、及び、車速センサ（図示せず）により測定された車両１０の現在の車速に従って、車両１０の加速度を求め、その加速度となるようにアクセル開度またはブレーキ量を設定する。そして車両制御部３６は、設定されたアクセル開度に従って燃料噴射量を求め、その燃料噴射量に応じた制御信号を車両１０のエンジンの燃料噴射装置へ出力する。あるいは、車両制御部３６は、設定されたブレーキ量に応じた制御信号を車両１０のブレーキへ出力する。
さらに、車両制御部３６は、車両１０が走行予定経路に沿って走行するために車両１０の進路を変更する場合には、その走行予定経路に従って車両１０の操舵角を求め、その操舵角に応じた制御信号を、車両１０の操舵輪を制御するアクチュエータ（図示せず）へ出力する。
図９は、プロセッサ２３により実行される、物体状態識別処理を含む車両制御処理の動作フローチャートである。プロセッサ２３は、カメラ２から画像を受信する度に、図９に示される動作フローチャートに従って車両制御処理を実行する。なお、以下に示される動作フローチャートにおいて、ステップＳ１０１～Ｓ１０８の処理が物体状態識別処理に対応する。
プロセッサ２３の物体検出部３１は、カメラ２から得られた最新の画像を第１の識別器に入力して、その画像に表された１以上の検出対象物体を検出する。すなわち、物体検出部３１は、画像上で検出対象物体を含む１以上の物体領域を検出する（ステップＳ１０１）。さらに、物体検出部３１は、検出された検出対象物体ごとに、その検出対象物体の種類を識別する。そして物体検出部３１は、検出された検出対象物体を検出物体リストに登録する。さらにまた、物体検出部３１は、検出された物体領域ごとに、その物体領域の混合度を算出する（ステップＳ１０２）。
プロセッサ２３の追跡部３２は、最新の画像における、検出対象物体を含む物体領域のそれぞれについて、その物体領域と、過去の画像における物体領域とに基づいて、最新の画像における、その物体領域に表されている検出対象物体を追跡する（ステップＳ１０３）。さらに、追跡部３２は、追跡中の検出対象物体の中から、所定数の検出対象物体を、状態識別の対象となる検出対象物体として選択する（ステップＳ１０４）。
また、プロセッサ２３の混合状態判定部３３は、選択した検出対象物体のそれぞれについて、その検出対象物体を含む物体領域の混合度に基づいて、その物体領域が混合状態か否か判定する（ステップＳ１０５）。
プロセッサ２３の状態識別部３４は、選択された状態識別の対象となる検出対象物体のそれぞれについて、その検出対象物体が表された物体領域内の画素値から求められる特徴を抽出する（ステップＳ１０６）。そして状態識別部３４は、状態識別の対象となる検出対象物体のそれぞれについて、抽出した特徴を、再帰構造を持つ第２の識別器に入力するとともに、メモリ２２に保持されている、その検出対象物体についての第２の識別器の内部状態を第２の識別器に適用することで、その検出対象物体の状態を識別する（ステップＳ１０７）。
さらに、状態識別部３４は、状態識別の対象となる検出対象物体のそれぞれについて、その検出対象物体が含まれる物体領域が非混合状態である場合、その検出対象物体の状態を識別したときの第２の識別器の最新の内部状態でメモリ２２に記憶されている内部状態を更新するとともに、検出対象物体の状態の識別結果をメモリに２２に書き込む。一方、その物体領域が混合状態である場合、状態識別部３４は、その最新の内部状態及び状態の識別結果を廃棄する（ステップＳ１０８）。すなわち、第２の識別器の内部状態及び状態の識別結果は更新されない。
プロセッサ２３の運転計画部３５は、検出物体リストを参照して、検出物体リストに登録されている各検出対象物体について、状態識別結果を参照して推定されるその物体の予測軌跡と所定の距離以上となるように、車両１０の走行予定経路を生成する（ステップＳ１０９）。そしてプロセッサ２３の車両制御部３６は、走行予定経路に沿って車両１０が走行するように車両１０を制御する（ステップＳ１１０）。そしてプロセッサ２３は、車両制御処理を終了する。
以上に説明してきたように、この物体状態識別装置は、時系列に得られる一連の画像をそれぞれ第１の識別器に入力することで、一連の画像のそれぞれから、検出対象物体を含む物体領域を検出する。また、この物体状態識別装置は、一連の画像のそれぞれについて、検出対象物体を含む物体領域が混合状態か否か判定する。そしてこの物体状態識別装置は、物体領域から抽出した特徴を時系列順に再帰構造を持つ第２の識別器に入力することで、検出対象物体の状態を識別する。さらに、この物体状態識別装置は、最新の画像の物体領域が非混合状態である場合、第２の識別器の内部状態を更新し、次の画像の物体領域の特徴が第２の識別器に入力されるときに、更新された内部状態が第２の識別器において適用されるようにする。一方、物体領域が混合状態である場合、この物体状態識別装置は、第２の識別器の内部状態を廃棄し、次の画像の物体領域の特徴が第２の識別器に入力されるとき、それ以前に記憶されている内部状態が第２の識別器において適用されるようにする。これにより、この物体状態識別装置は、画像に表された検出対象物体の時系列の外観変化を、状態識別の判定に利用される特徴の時系列の変化として捉えることができる。さらに、この物体状態識別装置は、物体領域内に、着目する検出対象物体以外の他の物体、特に、他の検出対象物体が含まれる場合に、その他の物体の情報が着目する検出対象物体の状態の識別に影響することを抑制できる。そのため、この物体状態識別装置は、検出対象物体の状態を正確に識別することができる。さらに、この物体状態識別装置は、個々の画像から物体を検出する第１の識別器を利用して、時系列の一連の画像のそれぞれから、第２の識別器に入力する特徴を抽出するので、画像全体を、再帰構造を持つ識別器に入力して物体の状態を識別するよりも、全体として演算量を削減することができる。また、第１の識別器の学習に用いられる画像は静止画像であればよく、一方、第２の識別器の学習には、動画像が必要となるものの、その動画像に含まれる個々の画像のサイズは、第１の識別器の学習に利用される画像のサイズよりも小さくてよい。そのため、この物体状態識別装置は、各識別器の学習に必要なコスト（例えば、教師画像のアノテーションに要するコスト、教師画像の収集に要するコストなど）を削減するとともに、各識別器の学習に要する演算量及び演算時間を削減することができる。
変形例によれば、混合状態判定部３３は、各物体領域について、第１の識別器とは別個に設けられ、かつ、混合状態か否かを判定するように予め学習された第３の識別器を用いて、その物体領域が混合状態か否かを判定してもよい。この場合には、混合状態判定部３３は、例えば、各物体領域について、その物体領域内の画素値から求められ、第２の識別器に入力される特徴と同様の特徴を第３の識別器に入力する。そして第３の識別器は、その物体領域についての混合度を出力し、混合状態判定部３３は、出力された混合度が所定の混合度閾値以上である場合、その物体領域は混合状態であると判定し、一方、出力された混合度が所定の混合度閾値未満である場合、その物体領域は非混合状態であると判定すればよい。
この場合、第３の識別器は、例えば、CNN型のアーキテクチャを持つDNNとすることができる。そして第３の識別器の出力層は、シグモイド関数を用いて、0～1の何れかの値を持つ混合度を出力する。なお、この変形例では、第１の識別器は混合度を算出する必要が無いので、混合度推定部は省略されてもよい。そのため、第１の識別器は、例えば、SSDあるいはFaster R-CNNといった、画像から物体領域を検出するとともに物体領域に表される検出対象物体の種類の推定結果を出力するDNNであってもよい。
あるいは、状態識別部３４が使用する第２の識別器が、検出対象物体の状態の識別結果とともに、混合度を出力するように学習されてもよい。あるいはまた、混合状態判定部３３は、個々の物体領域について、他の物体領域との重複度合い、例えば、Intersection over Union (IoU)を混合度として算出してもよい。
また、状態識別部３４は、混合状態であると判定された物体領域について、その物体領域から求められた特徴を第２の識別器に入力せずに廃棄してもよい。この場合には、第２の識別器による演算は行われないので、状態識別部３４は、混合状態であると判定された物体領域から求められた特徴のリサイズなどの処理を実行しなくてもよい。さらに、状態識別部３４自身が物体領域から特徴を抽出する処理を行っている場合には、混合状態であると判定された物体領域について、その特徴を抽出する処理自体、省略されてもよい。これにより、状態識別部３４による演算量がより削減される。
また他の変形例によれば、物体検出部３１は、DNN以外の識別器を利用して、画像から検出対象物体を検出してもよい。例えば、物体検出部３１は、第1の識別器として、画像上に設定されるウィンドウから算出される特徴量（例えば、HOG）を入力として、そのウィンドウに検出対象となる物体が表される確信度を出力するように予め学習されたサポートベクトルマシン（SVM）を用いてもよい。物体検出部３１は、画像上に設定するウィンドウの位置、サイズ及びアスペクト比を様々に変更しながら、そのウィンドウから特徴量を算出し、算出した特徴量をSVMへ入力することで、そのウィンドウについて確信度を求める。そして物体検出部３１は、何れかの種類の検出対象物体について確信度が所定の確信度閾値以上となるウィンドウに、その検出対象物体が表されていると判定し、かつ、そのウィンドウを物体領域とすればよい。なお、SVMは、検出対象となる物体の種類ごとに用意されてもよい。この場合には、物体検出部３１は、各ウィンドウについて、そのウィンドウから算出された特徴量をそれぞれのSVMへ入力することで、物体の種類ごとに確信度を算出すればよい。この場合、状態識別部３４の第３の識別器に入力する物体領域の特徴は、検出対象物体が表されていると判定されたウィンドウ（すなわち、物体領域）から抽出され、SVMに入力されるHOGといった特徴量とすることができる。
上記の実施形態または変形例による物体状態識別装置は、車載機器以外に実装されてもよい。例えば、上記の実施形態または変形例による物体状態識別装置は、屋外または屋内の所定の領域を所定周期ごとに撮影するように設置された監視カメラにより生成された画像から物体を検出し、検出した物体の状態を識別するように構成されてもよい。そして物体状態識別装置は、一定期間にわたって物体が検出された場合、物体状態識別装置と接続されるディスプレイに物体が検出されたこと、及びその物体の状態の識別結果を表すメッセージを表示させてもよい。
また、上記の実施形態または変形例による、物体状態識別装置のプロセッサ２３の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
１ 車両制御システム
２ カメラ
３ 電子制御装置（物体状態識別装置）
４ 車内ネットワーク
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 物体検出部
３２ 追跡部
３３ 混合状態判定部
３４ 状態識別部
３５ 運転計画部
３６ 車両制御部

Claims (7)

  1. 時系列に得られる一連の画像を、所定の物体を検出するように予め学習された第１の識別器に入力することで、前記一連の画像のそれぞれについて、当該画像上において前記物体を含む物体領域を検出する物体検出部と、
    前記一連の画像のそれぞれにおいて検出された前記物体領域について、当該物体領域に前記物体以外の他の物体が含まれる混合状態か否か判定する混合状態判定部と、
    前記一連の画像のそれぞれにおいて検出された前記物体領域内の画素値から求められる特徴を、時系列順に再帰構造を持つ第２の識別器に入力するとともに、記憶部に記憶されている前記第２の識別器の再帰的に利用される内部状態を前記第２の識別器に適用することで、時系列の外観変化を伴う前記物体の状態を識別する状態識別部と、
    を有し、
    前記状態識別部は、前記一連の画像のそれぞれについて、当該画像上の前記物体領域が前記混合状態である場合、当該画像上の前記物体領域についての前記特徴を前記第２の識別器に入力することで更新された最新の前記内部状態を廃棄し、一方、当該画像上の前記物体領域が前記混合状態でない場合、当該画像上の前記物体領域についての前記特徴を前記第２の識別器に入力することで更新された最新の前記内部状態で前記記憶部に記憶されている前記内部状態を更新する、
    物体状態識別装置。
  2. 前記第１の識別器は、前記物体領域が前記混合状態である確からしさを表す混合度を算出するようにさらに学習され、
    前記物体検出部が前記一連の画像のそれぞれを時系列順に前記第１の識別器に入力する度に、前記第１の識別器は当該画像上の前記物体領域についての前記混合度を算出し、
    前記混合状態判定部は、前記一連の画像のそれぞれについて、当該画像上の前記物体領域についての前記混合度が所定の閾値以上である場合、当該画像上の前記物体領域は前記混合状態であると判定する、請求項１に記載の物体状態識別装置。
  3. 前記混合状態判定部は、前記一連の画像のそれぞれについて、当該画像上の前記物体領域についての前記特徴を、前記物体領域が前記混合状態である確からしさを表す混合度を算出するように予め学習された第３の識別器に入力することで、当該画像上の前記物体領域についての前記混合度を算出し、当該画像上の前記物体領域についての前記混合度が所定の閾値以上である場合、当該画像上の前記物体領域は前記混合状態であると判定する、請求項１に記載の物体状態識別装置。
  4. 前記混合状態判定部は、前記一連の画像のそれぞれについて、当該画像上の前記物体領域と、前記第１の識別器により検出された他の物体を含む他の物体領域との重複度合いを算出し、前記重複度合いが所定の閾値以上である場合、当該画像上の前記物体領域は前記混合状態であると判定する、請求項１に記載の物体状態識別装置。
  5. 車両の走行を制御する制御装置であって、
    記憶部と、
    前記車両に搭載された撮像部により時系列に得られる一連の画像を、他の車両を検出するように予め学習された第１の識別器に入力することで、前記一連の画像のそれぞれについて、当該画像上において前記他の車両を含む物体領域を検出する物体検出部と、
    前記一連の画像のそれぞれにおいて検出された前記物体領域について、当該物体領域に前記他の車両以外の他の物体が含まれる混合状態か否か判定する混合状態判定部と、
    前記一連の画像のそれぞれにおいて検出された前記物体領域内の画素値から求められる特徴を、時系列順に再帰構造を持つ第２の識別器に入力するとともに、前記記憶部に記憶されている前記第２の識別器の再帰的に利用される内部状態を前記第２の識別器に適用することで、時系列の外観変化を伴う前記他の車両の状態を識別する状態識別部と、
    前記他の車両の状態に基づいて、前記他の車両が走行する軌跡を予測し、予測した前記軌跡に基づいて、前記車両が前記他の車両と所定距離以上離れるように前記車両の走行予定経路を設定する運転計画部と、
    前記走行予定経路に沿って前記車両が走行するように前記車両を制御する車両制御部と、
    を有し、
    前記状態識別部は、前記一連の画像のそれぞれについて、当該画像上の前記物体領域が前記混合状態である場合、当該画像上の前記物体領域についての前記特徴を前記第２の識別器に入力することで更新された最新の前記内部状態を廃棄し、一方、当該画像上の前記物体領域が前記混合状態でない場合、当該画像上の前記物体領域についての前記特徴を前記第２の識別器に入力することで更新された最新の前記内部状態で前記記憶部に記憶されている前記内部状態を更新する、
    制御装置。
  6. 時系列に得られる一連の画像を、所定の物体を検出するように予め学習された第１の識別器に入力することで、前記一連の画像のそれぞれについて、当該画像上において前記物体を含む物体領域を検出し、
    前記一連の画像のそれぞれにおいて検出された前記物体領域について、当該物体領域に前記物体以外の他の物体が含まれる混合状態か否か判定し、
    前記一連の画像のそれぞれにおいて検出された前記物体領域内の画素値から求められる特徴を、時系列順に再帰構造を持つ第２の識別器に入力するとともに、記憶部に記憶されている前記第２の識別器の再帰的に利用される内部状態を前記第２の識別器に適用することで、時系列の外観変化を伴う前記物体の状態を識別し、
    前記一連の画像のそれぞれについて、当該画像上の前記物体領域が前記混合状態である場合、当該画像上の前記物体領域についての前記特徴を前記第２の識別器に入力することで更新された最新の前記内部状態を廃棄し、一方、当該画像上の前記物体領域が前記混合状態でない場合、当該画像上の前記物体領域についての前記特徴を前記第２の識別器に入力することで更新された最新の前記内部状態で前記記憶部に記憶されている前記内部状態を更新する、
    ことを含む物体状態識別方法。
  7. 時系列に得られる一連の画像を、所定の物体を検出するように予め学習された第１の識別器に入力することで、前記一連の画像のそれぞれについて、当該画像上において前記物体を含む物体領域を検出し、
    前記一連の画像のそれぞれにおいて検出された前記物体領域について、当該物体領域に前記物体以外の他の物体が含まれる混合状態か否か判定し、
    前記一連の画像のそれぞれにおいて検出された前記物体領域内の画素値から求められる特徴を、時系列順に再帰構造を持つ第２の識別器に入力するとともに、記憶部に記憶されている前記第２の識別器の再帰的に利用される内部状態を前記第２の識別器に適用することで、時系列の外観変化を伴う前記物体の状態を識別し、
    前記一連の画像のそれぞれについて、当該画像上の前記物体領域が前記混合状態である場合、当該画像上の前記物体領域についての前記特徴を前記第２の識別器に入力することで更新された最新の前記内部状態を廃棄し、一方、当該画像上の前記物体領域が前記混合状態でない場合、当該画像上の前記物体領域についての前記特徴を前記第２の識別器に入力することで更新された最新の前記内部状態で前記記憶部に記憶されている前記内部状態を更新する、
    ことをコンピュータに実行させる物体状態識別用コンピュータプログラム。
JP2020051751A 2020-03-23 2020-03-23 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置 Active JP7115502B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020051751A JP7115502B2 (ja) 2020-03-23 2020-03-23 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
CN202110294980.0A CN113435237B (zh) 2020-03-23 2021-03-19 物体状态识别装置、识别方法和计算机可读的记录介质以及控制装置
US17/208,466 US11776277B2 (en) 2020-03-23 2021-03-22 Apparatus, method, and computer program for identifying state of object, and controller

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020051751A JP7115502B2 (ja) 2020-03-23 2020-03-23 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置

Publications (2)

Publication Number Publication Date
JP2021149863A JP2021149863A (ja) 2021-09-27
JP7115502B2 true JP7115502B2 (ja) 2022-08-09

Family

ID=77746945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020051751A Active JP7115502B2 (ja) 2020-03-23 2020-03-23 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置

Country Status (3)

Country Link
US (1) US11776277B2 (ja)
JP (1) JP7115502B2 (ja)
CN (1) CN113435237B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7115502B2 (ja) * 2020-03-23 2022-08-09 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7359735B2 (ja) 2020-04-06 2023-10-11 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
US11654933B2 (en) * 2020-11-10 2023-05-23 GM Global Technology Operations LLC Navigation trajectory using reinforcement learning for an ego vehicle in a navigation network
CN114092896A (zh) * 2021-11-29 2022-02-25 上海商汤临港智能科技有限公司 一种状态检测方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018036870A (ja) 2016-08-31 2018-03-08 富士ゼロックス株式会社 画像処理装置及びプログラム
WO2019106789A1 (ja) 2017-11-30 2019-06-06 三菱電機株式会社 処理装置及び処理方法

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06255399A (ja) 1993-03-04 1994-09-13 Mazda Motor Corp 車両の表示装置
JP2983407B2 (ja) * 1993-03-31 1999-11-29 三菱電機株式会社 画像追尾装置
JP4724522B2 (ja) 2004-10-28 2011-07-13 株式会社デンソー 車両周囲視界支援システム
JP4622806B2 (ja) 2005-10-27 2011-02-02 アイシン・エィ・ダブリュ株式会社 駐車支援方法及び駐車支援装置
SE531668C2 (sv) 2006-07-05 2009-06-30 Scania Cv Ab Anordning för bestämning av en omgivningssituation
CN102087707A (zh) * 2009-12-03 2011-06-08 索尼株式会社 图像处理设备和图像处理方法
US11195057B2 (en) * 2014-03-18 2021-12-07 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US20140055615A1 (en) 2012-08-27 2014-02-27 Stephen Chen Parking assistant device
US20140279707A1 (en) 2013-03-15 2014-09-18 CAA South Central Ontario System and method for vehicle data analysis
CN103617632B (zh) * 2013-11-19 2017-06-13 浙江工业大学 一种结合相邻帧差法和混合高斯模型的运动目标检测方法
CN106537892B (zh) 2014-05-29 2021-01-05 株式会社尼康 摄像装置及车辆
CN104318782B (zh) * 2014-10-31 2016-08-17 浙江力石科技股份有限公司 一种面向区域重叠的高速公路视频测速方法及系统
US10303988B1 (en) * 2015-08-14 2019-05-28 Digimarc Corporation Visual search methods and systems
US10800455B2 (en) 2015-12-17 2020-10-13 Ford Global Technologies, Llc Vehicle turn signal detection
CN107180220B (zh) 2016-03-11 2023-10-31 松下电器（美国）知识产权公司 危险预测方法
JP2017162438A (ja) 2016-03-11 2017-09-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 危険予測方法
JP6547785B2 (ja) 2016-07-29 2019-07-24 株式会社デンソー 物標検出装置
JP6611353B2 (ja) * 2016-08-01 2019-11-27 クラリオン株式会社 画像処理装置、外界認識装置
JP6832504B2 (ja) 2016-08-08 2021-02-24 パナソニックＩｐマネジメント株式会社 物体追跡方法、物体追跡装置およびプログラム
KR102535540B1 (ko) 2017-01-12 2023-05-23 모빌아이 비젼 테크놀로지스 엘티디. 차량 움직임에 기반한 항법
US10691962B2 (en) 2017-09-22 2020-06-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for rear signal identification using machine learning
JP2019070934A (ja) 2017-10-06 2019-05-09 東芝デジタルソリューションズ株式会社 映像処理装置、映像処理方法およびプログラム
US10606270B2 (en) 2017-10-18 2020-03-31 Luminar Technologies, Inc. Controlling an autonomous vehicle using cost maps
US20190130188A1 (en) * 2017-10-26 2019-05-02 Qualcomm Incorporated Object classification in a video analytics system
US20190130583A1 (en) * 2017-10-30 2019-05-02 Qualcomm Incorporated Still and slow object tracking in a hybrid video analytics system
JP6930394B2 (ja) 2017-11-24 2021-09-01 トヨタ自動車株式会社 物体認識装置
US10762396B2 (en) 2017-12-05 2020-09-01 Utac, Llc Multiple stage image based object detection and recognition
JP6917878B2 (ja) 2017-12-18 2021-08-11 日立Astemo株式会社 移動体挙動予測装置
TWI649698B (zh) 2017-12-21 2019-02-01 財團法人工業技術研究院 物件偵測裝置、物件偵測方法及電腦可讀取媒體
US11521044B2 (en) 2018-05-17 2022-12-06 International Business Machines Corporation Action detection by exploiting motion in receptive fields
US10760918B2 (en) 2018-06-13 2020-09-01 Here Global B.V. Spatiotemporal lane maneuver delay for road navigation
CN110660254B (zh) 2018-06-29 2022-04-08 北京市商汤科技开发有限公司 交通信号灯检测及智能驾驶方法和装置、车辆、电子设备
WO2020028116A1 (en) 2018-07-30 2020-02-06 Optimum Semiconductor Technologies Inc. Object detection using multiple neural networks trained for different image fields
US11704782B2 (en) 2018-10-03 2023-07-18 The Toronto-Dominion Bank Computerized image analysis for automatically determining wait times for a queue area
JP7119910B2 (ja) * 2018-10-30 2022-08-17 富士通株式会社 検出方法、検出プログラムおよび検出装置
WO2020099936A2 (en) 2018-11-15 2020-05-22 Mobileye Vision Technologies Ltd. Fast cnn classification of multi-frame semantic signals
KR20200057414A (ko) 2018-11-16 2020-05-26 삼성전자주식회사 주행 가이드 정보를 제공하는 전자 장치 및 그 방법
US11927668B2 (en) * 2018-11-30 2024-03-12 Qualcomm Incorporated Radar deep learning
US20220051413A1 (en) 2019-03-13 2022-02-17 Nec Corporation Object tracking device, object tracking method, and recording medium
JP7106477B2 (ja) 2019-03-20 2022-07-26 本田技研工業株式会社 車両制御装置
DE102019206178A1 (de) 2019-04-30 2020-11-05 Ford Global Technologies, Llc Verfahren und Vorrichtung zum Abschätzen einer Fahrspurwechselabsicht eines Fahrzeugs
JP7253441B2 (ja) 2019-05-09 2023-04-06 東芝テック株式会社 追跡装置及び情報処理プログラム
CN112307833A (zh) 2019-07-31 2021-02-02 浙江商汤科技开发有限公司 识别智能行驶设备的行驶状态的方法及装置、设备
US11003928B2 (en) 2019-08-08 2021-05-11 Argo AI, LLC Using captured video data to identify active turn signals on a vehicle
US11301754B2 (en) 2019-12-10 2022-04-12 Sony Corporation Sharing of compressed training data for neural network training
JP7115502B2 (ja) * 2020-03-23 2022-08-09 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7359735B2 (ja) 2020-04-06 2023-10-11 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7472832B2 (ja) 2021-03-16 2024-04-23 トヨタ自動車株式会社 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018036870A (ja) 2016-08-31 2018-03-08 富士ゼロックス株式会社 画像処理装置及びプログラム
WO2019106789A1 (ja) 2017-11-30 2019-06-06 三菱電機株式会社 処理装置及び処理方法

Also Published As

Publication number Publication date
CN113435237A (zh) 2021-09-24
JP2021149863A (ja) 2021-09-27
CN113435237B (zh) 2023-12-26
US20210295058A1 (en) 2021-09-23
US11776277B2 (en) 2023-10-03

Similar Documents

Publication Publication Date Title
US11093801B2 (en) Object detection device and object detection method
JP7388971B2 (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
US11308717B2 (en) Object detection device and object detection method
JP7115502B2 (ja) 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7359735B2 (ja) 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7472832B2 (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
JP7226368B2 (ja) 物体状態識別装置
US11900690B2 (en) Apparatus, method, and computer program for identifying state of signal light, and controller
JP7003972B2 (ja) 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
US20230177844A1 (en) Apparatus, method, and computer program for identifying state of lighting
JP7348874B2 (ja) 傾斜角検出装置及び制御装置
JP2022146384A (ja) 物体検出装置
JP2023084575A (ja) 点灯状態識別装置
JP2022079954A (ja) 物体検出装置
JP2023092183A (ja) 追跡装置、追跡方法及び追跡用コンピュータプログラム
JP2024030951A (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220711

R151 Written notification of patent or utility model registration

Ref document number: 7115502

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151