JP6365035B2 - 交通オブジェクト検出装置 - Google Patents

交通オブジェクト検出装置 Download PDF

Info

Publication number
JP6365035B2
JP6365035B2 JP2014142133A JP2014142133A JP6365035B2 JP 6365035 B2 JP6365035 B2 JP 6365035B2 JP 2014142133 A JP2014142133 A JP 2014142133A JP 2014142133 A JP2014142133 A JP 2014142133A JP 6365035 B2 JP6365035 B2 JP 6365035B2
Authority
JP
Japan
Prior art keywords
driving
distribution
feature
data
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014142133A
Other languages
English (en)
Other versions
JP2016019212A (ja
Inventor
誉司 坂東
誉司 坂東
一仁 竹中
一仁 竹中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2014142133A priority Critical patent/JP6365035B2/ja
Publication of JP2016019212A publication Critical patent/JP2016019212A/ja
Application granted granted Critical
Publication of JP6365035B2 publication Critical patent/JP6365035B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、運転シーン中に存在する交通オブジェクトを検出する技術に関する。
ドライバに対する運転支援において、的確な運転支援を実行するためには、その時々の運転シーンを理解する必要がある。また、運転シーンの理解のためには、自車周囲に存在する交通オブジェクト(車両、歩行者、信号、レーンマークなど)の把握が重要となる。
このような交通オブジェクトを検出する方法として、所定サイズのウィンドで画像データを走査し、ウィンドで切り取った画像領域毎に、検出対象となる交通オブジェクトの特徴を表す辞書データとのパターンマッチングを行う識別器を適用し、検出対象の有無を判断するものが知られている(例えば特許文献1参照)。
特開2013−93639号公報
ところで、画像における対象物の見え方は、対象物との位置関係や対象物の状態(ひいては運転シーン)に応じて様々に異なったものとなる。このため、従来手法では、同じ対象物を検出するにしてもそれぞれが異なった辞書データを利用する他種類の識別器を用意する必要がある。しかも、このような識別器の検出精度は、画像データの供給元となるカメラ等の観測手段の特性、取付位置/角度などに強く依存するため、取付位置/角度や観測手段の特性が異なることの多い車種や車両タイプ毎に識別器を用意する必要があるという問題があった。
また、識別器の生成には、実際に車両に搭載されているカメラを用いて収集された大量のデータが必要であり、従来技術では、その大量のデータを前述のとおり車種や車両タイプ毎に用意しなければならず、非効率的であるという問題もあった。
本発明は、こうした問題に鑑みてなされたものであり、センサの種別、特性、取付位置や角度に対してロバストに交通オブジェクトを検出する技術を提供することを目的とする。
本発明の交通オブジェクト検出装置は、データ収集手段と、シーン分割手段と、特徴量分布生成手段と、トピック記憶手段と、割合演算手段と、オブジェクト検出手段とを備える。
データ収集手段は、車両の状態や車両周辺の環境に関するデータを繰り返し収集する。シーン分割手段は、データ収集手段にて収集されたデータの系列を、各々が何等かの運転シーンを表す複数の部分系列に分割する。特徴量分布生成手段は、データ収集手段によって収集されたデータから得られる一種類以上の特徴量について、該特徴量の値域を複数に分割したインデックス毎の出現頻度を表す特徴量分布を、部分系列毎に生成する。トピック記憶手段は、特徴量分布を表現するための基底分布として使用される複数の基底特徴分布、および運転シーン中に現れる予め用意された複数の交通オブジェクトの各々についての出現確率を表す基底オブジェクト分布からなる運転トピックを記憶する。割合演算手段は、特徴量分布生成手段で生成された特徴量分布を、基底特徴分布を用いて表現した場合の混合比であるトピック割合を算出する。オブジェクト検出手段は、部分系列毎に、トピック割合および基底オブジェクト分布に基づいて、オブジェクト分布を生成し、そのオブジェクト分布を用いて部分系列が表す運転シーン中に存在する交通オブジェクトを検出する。
このように本発明では、運転トピックを利用して、運転シーン毎にその運転シーンに応じたオブジェクト分布を生成し、そのオブジェクト分布を利用して運転シーン中の交通オブジェクトを検出している。従って、検出対象となる対象物毎に複数の辞書データを用意する必要がなく、また、未知の運転シーンにも対応することができる。
また、本発明によれば、データ収集手段等により収集されたデータから直接的に交通オブジェクトを抽出するのではなく、複数のセンサにより得られたこれらのデータからまず運転シーンを特定し、その特定された運転シーンに強く関連づけられた交通オブジェクトを、予め用意された運転トピックを用いて抽出する。つまり、運転シーンを、抽象化された運転トピックで表現することにより、運転シーンが特定されさえすれば、この抽象化された運転トピックを通して(言い換えるとセンサの特性等に大きな影響を受けずに)交通オブジェクトは検出される。このため、車両に搭載されているセンサの種別、特性、取付位置や角度等に対してロバストな検出を実現することができる。
また、このようなロバスト性を有することにより、多様な車種で取得されたデータを共有することができるため、運転シーンの分割時に使用する情報の生成や運転トピックの生成に必要となる大量のデータを簡単に取得することができるだけでなく、その生成された情報や運転トピックを車種や車両タイプによらず共通に適用することができる。
例えば、オブジェクト検出のためのセンサを持たない大衆車でも、スマートフォンなどを利用して車両の加速度や前方映像を撮影出来さえすれば、それらの情報から運転シーンを特定することで、オブジェクト検出のためのセンサ(カメラ、レーザレーダなど)を搭載した高級車で収集した情報を利用することも可能となる。
なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
また、本発明は、前述した交通オブジェクト検出装置の他、当該交通オブジェクト検出装置を構成要素とするシステム、当該交通オブジェクト検出装置としてコンピュータを機能させるためのプログラム、交通オブジェクト検出方法など、種々の形態で実現することができる。
交通オブジェクト検出装置の全体構成図である。 運転トピックの生成過程、および運転トピックを利用したトピック割合の演算仮定を示す説明図である。 特徴量分布生成部で生成される特徴量分布を例示するグラフである。 潜在的ディリクレ配分法(LDA:Latent Dirichlet Allocation )で仮定されるグラフィカルモデルである。 基底特徴分布のうち運転挙動データに関する分布を例示した説明図である。 トピック割合および基底オブジェクト分布に基づく検出用のオブジェクト分布の生成方法等を示す説明図である。 交通オブジェクト検出装置によって運転シーン毎に検出される交通オブジェクトおよび運転シーンに対応する画像の例、交通オブジェクトを検出する過程で生成される運転挙動データ、部分系列、トピック割合を示す説明図である。
以下に本発明が適用された実施形態について、図面を用いて説明する。
<全体構成>
交通オブジェクト検出装置1は、図1に示すように、運転挙動データ収集部2と、環境データ収集部3と、正規化部4と、運転シーン離散化部5と、運転シーンデータベース6と、特徴量分布生成部7と、トピック割合演算部8と、運転トピックデータベース9と、交通オブジェクト検出部10とを備える。
交通オブジェクト検出装置1は、マイクロコンピュータ(マイコン)によって実現され、各部の処理は、マイコンが備える図示しないCPUが所定のプログラムを実行することによって実現されるものである。つまり、図1は、CPUによって実現される各種機能を機能ブロック毎に分けて図示したものである。但し、これら各部は必ずしもソフトウェアにて実現されている必要はなく、その全部または一部をロジック回路等のハードウェアにて実現してもよい。
<運転挙動データ収集部>
運転挙動データ収集部2は、運転者による運転操作に関する運転操作データや、その運転操作の結果として現れる車両の挙動に関する車両挙動データを、車両に搭載された各種センサを介して繰り返し収集すると共に、運転操作データや車両挙動データをそれぞれ微分した微分データを生成し、これら、運転操作データ,車両挙動データ,微分データからなる多次元データを運転挙動データとして出力する。
運転操作データとしては、例えば、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操作量(操舵角)、方向指示器の操作状態、トランスミッションのシフト位置などを用いることができる。車両挙動データとしては、例えば、車両の速度、ヨーレートなどを用いることができる。
<環境データ収集部>
環境データ収集部3は、車両周辺を撮影するように設置されたカメラ、レーダ波(超音波やミリ波など)を利用して車両周辺の物標の位置や相対速度を検出するレーダセンサ、全地球測位システム(GPS:Global Positioning System )衛星からの信号を受信して3次元の位置情報等を生成するGPS受信機、ジャイロや加速度計を用いて3次元の角速度および加速度を求める慣性計測装置(IMU:Inertial Measurement Unit )、時間帯,天候,周囲に存在するインフラの状態などを検出するセンサあるいはこれらの状態を外部から取得する通信機等、各種車載機器から出力されるデータを繰り返し取得し、これらを個別の環境データとして出力する。なお、必ずしも上述した全てのデータを取得するものである必要はなく、これらデータの一部を取得するものであってもよい。
<正規化部>
正規化部4は、運転挙動データ収集部2から供給されるデータを、車種毎もしくは車両タイプ毎に予め用意された正規化パラメータμ、σ、χmax,v、χmin,vを利用し、(1)または(2)式を用いて正規化する。なお、μはデータの平均、σはデータの分散であり、χmax,vはデータの最大値、χmin,vはデータの最小値を表す。
車種毎もしくは車両タイプ毎に異なる正規化パラメータを使用する理由は以下の通りである。即ち、排気量の大きなエンジンを搭載した車両と排気量の小さなエンジンを搭載した車両では、同じ運転シーンかつ同じドライバであっても、アクセルの操作(踏み込み量、踏み込み早さ等)に大きな違いが生じる。このため、正規化していない両データを運転シーン離散化部5にて離散化した場合、互いに異なったシーンとして認識されてしまう場合がある。これに対して、車種毎もしくは車両タイプ毎に用意された正規化パラメータを用いて、運転挙動データ収集部2からのデータを正規化することにより、車種や車両タイプの違いを吸収することができる。
<運転シーン離散化部>
運転シーン離散化部5は、ドライバの環境認知から操作に至るモデルを利用して、運転挙動データ収集部2から得られる運転挙動データを統計解析し、ドライバ個人(もしくは一般のドライバ)が感じる運転シーンの切り替わり点を抽出することにより、運転挙動データの時系列を、それぞれが何等かの運転シーンを表す複数の部分系列(以下単に「運転シーン」という)に分節化(離散化)する。
具体的には、二重分節構造を利用した教師なし運転シーン分割法によって分節化を行う二重分節解析器(DAA:Double Articulation Analyzer)を利用する。
DAAは、まず、運転挙動データの値域を表す多次元の空間で運転挙動データから把握される各種の車両の状態を表すクラスタと、各クラスタ間の遷移確率とを予め定義しておき、これらの情報を用いて、運転挙動データ収集部2から取得した運転挙動データがいずれのクラスタに属するかを統計的に処理することにより、運転挙動データの時系列を、区分単位となる車両の状態毎(つまり、クラスタ毎)に区分けする。但し、各クラスタには予め識別用の記号を対応づけておくことにより、運転挙動データの時系列は、どのクラスタに属しているかを表す記号列に変換される。この記号列の生成には、例えば、隠れ状態とその状態間の確率的遷移で表現されるモデルの一つである階層ディリクレ過程隠れマルコフモデル(HDP−HMM:Hierarchical Dirichlet Process Hidden Markov Model)を利用することができる。但し、HDP−HMMにおいてはクラスタ、および各クラスタ間の遷移確率は、学習によって予め生成されたものを使用する。
次に、DAAは、生成された記号列を、統計情報を利用した離散文字列の教師なしチャンク化手法の一例であるNested Pitman-Yor Language Model(NPYLM)を用いて、何等かの意味を持つ部分系列(運転シーン)に分節化する。この際、運転シーンの並びからなる記号列全体の生成確率が最大となるようにする。これにより、運転挙動データから運転シーンへの分節化を行うことが可能になる。但し、運転シーン間の遷移確率、および運転シーンの生成確率は、学習によって予め算出されたものを使用する。
なお、HDP−HMMやNPYLMを適用したDAAについては、非特許文献、T. Taniguchi et al, "Semiotic Prediction of Driving Behavior using Unsupervised Double Articulation Analyzer," IEEE Intelligent Vehicles Symposium, 2012、および、K. Takenaka et al, " Contextual Scene Segmentation of Driving Behavior based on Double Articulation Analyzer," IEEE/RSJ International Conference on Intelligent Robots and Systems, 2012、等に詳述されているため、ここでは説明を省略する。但し、記号の生成や記号の分節化に用いる手法は、HDP−HMMやNPYLMに限定されるものではなく他の手法を用いてもよい。
<運転シーンデータベース>
運転シーンデータベース6は、運転シーン離散化部5が実行する処理で使用する各種データを記憶する。具体的には、運転挙動データの時系列が、どのクラスタに属しているかを表す記号列を生成する際に使用するクラスタおよび各クラスタ間の遷移確率、その記号列を運転シーンに分割する際に使用する運転シーン間の遷移確率および運転シーンの生成確率等を記憶する。これら運転シーンデータベース6に記憶するデータは、様々な車種および車両タイプについて運転挙動データを収集し、その運転挙動データを正規化部4での手法を用いて正規化した正規化運転挙動データに基づいて学習されたものを用いる。
<特徴量分布生成部>
特徴量分布生成部7は、運転挙動データ収集部2から出力される時系列の運転挙動データ、および環境データ収集部3から出力される時系列の環境データを、運転シーン離散化部5で分節化された運転シーン毎に、その運転シーン中に現れる特徴量の分布を生成する(図2参照)。
本実施形態では、運転挙動データについては、アクセルペダルの操作量(accel)、ブレーキペダルの操作量(brake)、ステアリングの操作量(steering)、車速(velocity)、およびそれらの微分データΔaccel、Δbrake、Δsteering、Δvelocityのそれぞれを特徴量とし、特徴量分布の生成対象とする。この場合、特徴量分布は、特徴量の値域を表す特徴空間を複数に分割(ここでは特徴量の最小値〜最大値を20等分)したものをビンとして、そのビン毎に、特徴量の出現頻度を表現したヒストグラムからなる(図3参照)。
運転挙動データに関する特徴量分布は、これに限るものではなく、例えば、アクセルペダル操作量、ブレーキペダル操作量、ステアリング操作量、車両速度、およびこれらの各々の微分データからなる8次元データを、特徴量分布の生成対象としてもよい。この場合、8次元データの値域を表す特徴空間をk−means等の周知のクラスタリング手法を用いてクラスタリングし、その結果として得られたクラスタを特徴量分布のビンとすればよい。
また、環境データについては、例えば、車載カメラからの入力画像を用いる場合、局所特徴量の一つであるSIFT(Scale-Invariant Feature Transform )特徴量を特徴量分布の生成対象とする。具体的には、例えば、入力画像を所定サイズ(例えば、320×240ピクセル)に圧縮し、その圧縮画像データを、一定間隔(例えば、5ピクセル)毎に所定サイズ(例えば、24×24ピクセル)を有する複数(ここでは3072点)の局所領域を設定し、その局所領域毎に求めたSIFT特徴量を用いる。この場合、特徴量分布のビンは、予め学習によって決定したものを利用する。例えば、SIFT特徴量の値域を表す特徴空間を、k−means等の周知のクラスタリング手法を用いてクラスタリングし、その結果として得られた各クラスタを特徴量分布のビンとする。なお、画像データに対して使用する特徴量はSIFT特徴量に限定されるものではなく他の周知の局所特徴量を用いてもよい。
また、環境データから所定の交通トピックを抽出することができる場合、各交通トピックをインデックスとし、着目する交通トピックが運転シーン中に存在する確からしさを特徴量とする特徴量分布を生成してもよい。この場合、交通トピックが存在する確からしさ(特徴量)としては、運転シーンの全期間のうち着目する交通トピックが検出されている期間の割合を用いてもよいし、交通トピックが存在する位置からの距離や、その位置に到達するまでに要する時間等に基づいて算出された値を用いてもよい。
<運転トピックデータベース>
運転トピックデータベース9には、特徴量分布生成部7で生成される特徴量分布群を、複数の分布の混合によって表現する場合に基底として使用される複数(例えば25個)の運転トピックが予め格納されている。また、各運転トピックは、特徴量のそれぞれに対応する特徴量と同数(n個)の基底分布(基底特徴分布、基底トピック分布)によって構成されている(図2参照)。
ここで運転トピックの生成方法について説明する。
運転トピックの生成には、それぞれが運転シーンを表す各部分系列を「一つの文書」、観測された特徴量を「一つの単語」と見なすことで、自然言語処理分野で利用されている潜在トピック推定手法を利用する。
特に、ここでは、複数種類の特徴量分布を用いて、複数のモダリティに跨る運転トピックを推定するため、潜在的ディリクレ配分法(LDA:Latent Dirichlet Allocation )を拡張した手法であるマルチモーダルLDAを利用してもよい。
LDAでは、図4に示すようなグラフィカルモデルを仮定する。但し、Dがシーン総数、Mがd番目のシーンでのフレーム総数、Kがトピック総数、wd,mがd番目のシーンのmフレームで観測された特徴(即ち運転特徴量)、zd,mが特徴wd,mに対して割り当てられるトピックを指示するトピック指示変数(1〜Kの自然数をとる)、θがd番目のシーンに含まれるトピックの割合を示す多項分布パラメータ、φはk番目のトピックから各特徴量が生成される割合を示す多項分布パラメータ、α,βはそれぞれθ、φのパラメータである。また、θ,φ,z,m,w,mは、Dirをディリクレ分布、Multを多項分布として、(3)〜(6)式で定義される。
このモデルを利用してθ、φを推定することになるが、これらの推定には変分ベイズ、ギブスサンプリングなどの近似手法を使用することができる。これらの手法の詳細については、例えば、D. Blei et al, "Latent Dirichlet Allocation," Journal of Machine Learning Research, 2003、や、T. Griffiths & M. Steyvers, "Finding Scientific Topics," Proceedings of the National Academy of Sciences, 2004 等に記載されているため、ここでは説明を省略する。またマルチモーダルLDAへの拡張についても、T. Nakamura, et al, "Grounding of word meanings in multimodal concepts using LDA," IEEE/RSJ International Conference on Intelligent Robots and Systems, 2009などに記載されているため、ここでは説明を省略する。但し、運転トピックは例えば、次のようにして生成された学習用の特徴量分布を利用して生成される。
まず、実際に車両を走行させて、運転挙動データ収集部2、環境データ収集部3、正規化部4、運転シーン離散化部5、特徴量分布生成部7を作動させることで、学習用画像に対応した学習用の特徴量分布を生成する。なお、学習行画像を収集する際には、少なくとも交通オブジェクトを検出できるように構成された環境データ収集部3を使用する。つまり、学習用の特徴量分布には、交通オブジェクトが存在する確からしさを特徴量として求めたものが少なくとも含まれている。
このようにして用意された学習用の特徴量分布を用いてマルチモーダルLDAにより、基底となる分布(基底特徴分布および基底オブジェクト分布)を推定した結果が運転トピックとなる。このようにして生成された各運転トピックは、それぞれが運転時に繰り返し出現する特定の状況を表したものとなる。図5は、運転挙動データに基づく基底特徴量分布の例を5種類の運転トピックTP1〜TP5について示したものである。図中、トーンが明るいほど頻度が高いことを表す。
<トピック割合演算部>
トピック割合演算部8では、特徴量分布生成部7から出力される特徴量分布が、運転トピックデータベース9に格納された基底特徴分布を混合することで表現されるものとして、その混合比であるトピック割合(各基底特徴分布の含有割合)を算出する(図2参照)。トピック割合は、具体的には、マルチモーダルLDAの推定を実現するEステップおよびMステップの処理のうち、Eステップだけを実行することで求めることができる。
<交通オブジェクト検出部>
交通オブジェクト検出部10は、図6に示すように、トピック割合演算部8で求められたトピック割合に従って、基底オブジェクト分布を重みづけ加算することによって、検出用のオブジェクト分布を生成する。但し、推定用分布の設定方法は、これに限るものではなく、例えば、トピック割合が最も大きい運転トピックに対応づけられた基底オブジェクト分布を検出用のオブジェクト分布として使用してもよい。
そして、生成された検出用のオブジェクト分布に基づき、特徴量が予め設定された閾値を超えるインデックスに対応づけられた交通オブジェクトを、運転シーン中に存在する交通オブジェクトとして検出する。なお、交通オブジェクトの抽出方法は、これに限るものではなく、例えば、出現頻度が大きいものから所定番目までを抽出してもよい。オブジェクト分布に従って確率的に交通オブジェクトを抽出するようにしてもよい。
<効果>
以上説明したように、交通オブジェクト検出装置1では、収集された運転挙動データや環境データから直接的に交通オブジェクトを抽出するのではなく、これらのデータからまず運転シーンを特定し、その特定された運転シーンに強く関連づけられた交通オブジェクトを、予め用意された運転トピック(基底特徴分布、基底オブジェクト分布)を用いて抽出する。つまり、運転シーンを抽象化された運転トピックで表現することにより、運転シーンが特定されさえすれば、この抽象化された運転トピックを通して(言い換えるとセンサの特性等に大きな影響を受けずに)交通オブジェクトは検出される。このため、車両に搭載されているセンサの種別、特性、取付位置や角度等に対してロバストな検出を実現することができる。
また、交通オブジェクト検出装置1では、上述のようなロバスト性を有すること、および、運転挙動データを車種毎あるいは車両タイプ毎に用意された正規化パラメータを用いて正規化していることにより、多様な車種で取得されたデータを共有することができるため、運転シーンの分割時に使用する情報の生成や運転トピックの生成に必要となる大量のデータを簡単に取得することができるだけでなく、その生成された情報や運転トピックを車種や車両タイプによらず共通に適用することができる。
運転トピックは、要するに、様々な運転シーンで観測されるマルチモーダルな特徴量の分布のうち、代表的な特徴量分布の組み合せを表現したものである。これにより、交通オブジェクトの検出を特定のセンサのみに基づく形ではなく、マルチモーダルなセンサの情報を組み合せて行うことができる。このような運転トピックを学習しておくことで、あるモダリティが観測できない場合でも、その他のモダリティの情報から予測を行うことができる。
例えば、完全な自由走行を行う際に80km/hで走行するような道路を、60km/hで走行しているのであれば、先行車が存在するのではないかという予測や、また、30km/hで走行しているのであれば、渋滞中であり先行車との車間距離が迫っているのではないかという予測を、より多岐にわたる交通オブジェクトの組み合せについて行うことが可能となる。
更に、このようなマルチモーダルな特徴量分布間の関係性を「運転トピック」を通してモデル化することにより、オブジェクト検出のためのセンサを持たない大衆車でもスマートフォンなどを利用して車両の加速度や前方映像を撮影出来さえすれば、それらの情報から運転シーンを特定することで、オブジェクト検出のためのセンサ(カメラ、レーザレーダなど)を搭載した高級車で収集した情報を活用することができる。
図7は、交通オブジェクト検出装置1によって抽出された幾つかの運転シーンから検出された交通オブジェクト、および運転シーンに対応する画像を、交通オブジェクトを検出する過程で生成される運転挙動データ、部分系列、トピック割合と共に示したものである。図からは、概ね画像に適合した交通オブジェクトが抽出されていることがわかる。
<他の実施形態>
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
本発明の各構成要素は概念的なものであり、上記実施形態に限定されない。例えば、一つの構成要素が有する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を一つの構成要素に統合したりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。
1…交通オブジェクト検出装置 2…運転挙動データ収集部 3…環境データ収集部 4…正規化部 5…運転シーン離散化部 6…運転シーンデータベース 7…特徴量分布生成部 8…トピック割合演算部 9…運転トピックデータベース 10…交通オブジェクト検出部

Claims (6)

  1. 車両の状態に関するデータを繰り返し収集する運転挙動データ収集手段(2)と、
    車両周辺の環境に関するデータを繰り返し収集する環境データ収集手段(3)と、
    前記運転挙動データ収集手段から出力される時系列の運転挙動データを、車種毎あるいは車両タイプ毎に用意された正規化パラメータを用いて正規化する正規化手段(4)と、
    前記正規化手段にて正規化された時系列の運転挙動データを、各々が何等かの運転シーンを表す複数の部分系列に分割するシーン分割手段(5)と、
    前記正規化手段にて正規化された時系列の運転挙動データ、及び前記環境データ収集手段から出力される時系列の環境データのそれぞれから得られる特徴量について、該特徴量の値域を複数に分割したインデックス毎の出現頻度を表す特徴量分布を、前記部分系列毎に生成する特徴量分布生成手段(7)と、
    前記特徴量分布を表現するための基底分布として使用される複数の基底特徴分布、および前記運転シーン中に現れる予め用意された複数の交通オブジェクトの各々についての出現確率を表す基底オブジェクト分布からなる運転トピックを記憶するトピック記憶手段(9)と、
    前記特徴量分布生成手段で生成された前記特徴量分布を、前記基底特徴分布を用いて表現した場合の混合比であるトピック割合を算出する割合演算手段(8)と、
    前記部分系列毎に、前記トピック割合および前記基底オブジェクト分布に基づいて、オブジェクト分布を生成し、該オブジェクト分布を用いて前記部分系列が表す運転シーン中に存在する交通オブジェクトを検出するオブジェクト検出手段(10)と、
    を備えることを特徴とする交通オブジェクト検出装置。
  2. 前記特徴量分布は、前記特徴量の最大値から最小値までを均等に分割した各値域をインデックスとしたヒストグラムによって表現されることを特徴とする請求項1に記載の交通オブジェクト検出装置。
  3. 前記特徴量分布は、前記特徴量をクラスタリングすることで分割された値域をインデックスとしたヒストグラムによって表現されることを特徴とする請求項1に記載の交通オブジェクト検出装置。
  4. 前記シーン分割手段は、二重分節構造を利用した教師なし運転シーン分割法によって分節化を行う二重分節解析器(DAA:Double Articulation Analyzer)からなることを特徴とする請求項1ないし請求項のいずれか1項に記載の交通オブジェクト検出装置。
  5. 前記割合演算手段は、潜在的ディリクレ配分法(LDA:Latent Dirichlet Allocation )またはマルチモーダルLDAによって、前記トピック割合を求めることを特徴とする請求項1ないし請求項のいずれか1項に記載の交通オブジェクト検出装置。
  6. 前記特徴量分布の生成対象には、ドライバの運転操作に関する運転データから得られる特徴量、車両の挙動に関する挙動データから得られる特徴量、車載カメラで撮影した画像データから得られる特徴量、自車両の位置に関する位置データから得られる特徴量のうち、少なくとも一つが含まれていることを特徴とする請求項1ないし請求項のいずれか1項に記載の交通オブジェクト検出装置。
JP2014142133A 2014-07-10 2014-07-10 交通オブジェクト検出装置 Active JP6365035B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014142133A JP6365035B2 (ja) 2014-07-10 2014-07-10 交通オブジェクト検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014142133A JP6365035B2 (ja) 2014-07-10 2014-07-10 交通オブジェクト検出装置

Publications (2)

Publication Number Publication Date
JP2016019212A JP2016019212A (ja) 2016-02-01
JP6365035B2 true JP6365035B2 (ja) 2018-08-01

Family

ID=55234113

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014142133A Active JP6365035B2 (ja) 2014-07-10 2014-07-10 交通オブジェクト検出装置

Country Status (1)

Country Link
JP (1) JP6365035B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3620978A1 (de) * 2018-09-07 2020-03-11 Ibeo Automotive Systems GmbH Verfahren und vorrichtung zur klassifizierung von objekten

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4595759B2 (ja) * 2005-09-09 2010-12-08 株式会社デンソー 環境認識装置
US7519201B2 (en) * 2005-10-28 2009-04-14 Honda Motor Co., Ltd. Detecting humans via their pose
JP4894795B2 (ja) * 2008-03-19 2012-03-14 株式会社デンソー 運転行動推定装置
JP5867296B2 (ja) * 2012-05-30 2016-02-24 株式会社デンソー 運転シーン認識装置

Also Published As

Publication number Publication date
JP2016019212A (ja) 2016-02-01

Similar Documents

Publication Publication Date Title
JP6330651B2 (ja) 異常検出装置
JP6307356B2 (ja) 運転コンテキスト情報生成装置
US10417816B2 (en) System and method for digital environment reconstruction
CN107492251B (zh) 一种基于机器学习与深度学习的驾驶员身份识别与驾驶状态监测方法
JP6026959B2 (ja) 運転シーンラベル推定装置
US20180307916A1 (en) System and method for image analysis
EP3511863B1 (en) Distributable representation learning for associating observations from multiple vehicles
US11798281B2 (en) Systems and methods for utilizing machine learning models to reconstruct a vehicle accident scene from video
CN110088762B (zh) 用傅立叶风扇进行的对象检测和分类
JP2016062610A (ja) 特徴モデル生成方法及び特徴モデル生成装置
US11440555B2 (en) Systems and methods for detecting and classifying an unsafe maneuver of a vehicle
JP6511982B2 (ja) 運転操作判別装置
US11710082B2 (en) Systems and methods for utilizing machine learning and feature selection to classify driving behavior
JP2017073021A (ja) 運転支援装置
JP6464992B2 (ja) 運転データ収集システム
WO2022134711A1 (zh) 驾驶风格识别方法、辅助驾驶方法及装置
US20230206652A1 (en) Systems and methods for utilizing models to detect dangerous tracks for vehicles
JP2019220084A (ja) 解析装置、車載器、及びパターン解析補助装置
JP6365035B2 (ja) 交通オブジェクト検出装置
JP5360143B2 (ja) 走行場面認識モデル生成装置、運転支援装置、及びプログラム
JP7024577B2 (ja) 走行場面学習装置、走行場面推定装置、および走行場面推定システム
US20240233369A9 (en) Utilizing machine learning models to classify vehicle trajectories and collect road use data in real-time
US20240135705A1 (en) Utilizing machine learning models to classify vehicle trajectories and collect road use data in real-time
Menegazzo et al. Speed Bump Detection Through Inertial Sensors and Deep Learning in a Multi-contextual Analysis
Sarker et al. DeepDMC: A traffic context independent deep driving maneuver classification framework

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180618

R151 Written notification of patent or utility model registration

Ref document number: 6365035

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250