JP7176573B2 - 危険シーン予測装置、危険シーン予測方法および危険シーン予測プログラム - Google Patents

Description

本発明は、運転中に想定される危険シーンを予測する危険シーン予測装置、危険シーン予測方法および危険シーン予測プログラムに関する。

近年、ドライバによる運転を自動化する自動運転技術や、運転中の危険なシーンを予測するための危険シーン予測技術が注目されている。例えば、特許文献１には、安全な視点での運転方法を運転者に与えることで適切な運転を支援する運転支援装置が記載されている。特許文献１に記載された運転支援装置は、生成源となった観測情報に関する認識の信頼度に応じてリテラルのコストを調整した観測論理式を生成し、知識ベースで生成される知識論理式と観測論理式とを用いて、危険な状況についての仮説推論を実行する。

特開２０１７－１８７８４８号公報

一方、運転中に各種処理を行う演算デバイスはリソースが限られており、危険シーンの予測についてのリソースも同様である。そのため、予測される全ての危険シーンを想定して高精度に処理を行うことは、リソース的に困難な場合も多い。そのため、特許文献１に記載されている運転支援装置は、想定される全ての危険について予測することを試みるため、予測に用いるリソースとの関係から、高精度に危険シーンを予測できるとは言い難い。

そこで、本発明は、演算負荷を抑制しながら、運転中に想定される危険シーンの予測精度を向上させることができる危険シーン予測装置、危険シーン予測方法および危険シーン予測プログラムを提供することを目的とする。

本発明による危険シーン予測装置は、車両運転中に生じる危険シーンを予測する危険シーン予測装置であって、車両運転中に得られる情報に基づいて判定されたシーンに応じて、２以上の学習モデルから危険シーンの予測に用いる学習モデルを選択する学習モデル選択合成部と、選択された学習モデルの情報に基づいて、認識の対象とする物体についての情報である認識物体情報を決定する認識物体情報決定部と、認識物体情報に応じて、２以上の学習モデルから物体認識に用いる学習モデルである物体認識モデルを選択する学習モデル選択部と、選択された物体認識モデルを用いて、車両運転中に撮影される画像中の物体を認識する物体認識部と、物体認識部による物体認識結果を、学習モデル選択合成部により選択された学習モデルに用いて、車両運転中に生じる危険シーンを予測する危険シーン予測部とを備えたことを特徴とする。また、本発明による他の危険シーン予測装置は、車両運転中に生じる危険シーンを予測する危険シーン予測装置であって、車両運転中に得られる情報に基づいて判定されたシーンに応じて、２以上の学習モデルから危険シーンの予測に用いる学習モデルを選択する学習モデル選択合成部と、選択された学習モデルを用いて、車両運転中に生じる危険シーンを予測する危険シーン予測部と、判定されたシーンに応じて、物体認識に用いられるニューラルネットワーク、および、危険シーンの予測に用いられる学習モデルを決定するモデル調整部と、決定されたニューラルネットワークを用いて、車両運転中に撮影される画像中の物体を認識する物体認識部とを備え、モデル調整部が、物体認識における処理および危険シーンを予測する処理に要する演算量が、許容される演算量である許容演算量以下になるように、ニューラルネットワークおよび学習モデルを決定し、学習モデル選択合成部が、決定された学習モデルに基づいて、危険シーンの予測に用いる学習モデルを選択し、危険シーン予測部が、物体認識部による物体認識結果を、選択された学習モデルに用いて、車両運転中に生じる危険シーンを予測することを特徴とする。

本発明による危険シーン予測方法は、車両運転中に生じる危険シーンを予測する危険シーン予測方法であって、コンピュータが、車両運転中に得られる情報に基づいて判定されたシーンに応じて、２以上の学習モデルから危険シーンの予測に用いる学習モデルを選択し、コンピュータが、選択された学習モデルの情報に基づいて、認識の対象とする物体についての情報である認識物体情報を決定し、コンピュータが、認識物体情報に応じて、２以上の学習モデルから物体認識に用いる学習モデルである物体認識モデルを選択し、コンピュータが、選択された物体認識モデルを用いて、車両運転中に撮影される画像中の物体を認識し、コンピュータが、上記認識による物体認識結果を、選択された危険シーンの予測に用いる学習モデルに用いて、車両運転中に生じる危険シーンを予測することを特徴とする。

本発明による危険シーン予測プログラムは、車両運転中に生じる危険シーンを予測するコンピュータに適用される危険シーン予測プログラムであって、コンピュータに、車両運転中に得られる情報に基づいて判定されたシーンに応じて、２以上の学習モデルから危険シーンの予測に用いる学習モデルを選択する学習モデル選択合成処理、選択された学習モデルの情報に基づいて、認識の対象とする物体についての情報である認識物体情報を決定する認識物体情報決定処理、認識物体情報に応じて、２以上の学習モデルから物体認識に用いる学習モデルである物体認識モデルを選択する学習モデル選択処理、選択された物体認識モデルを用いて、車両運転中に撮影される画像中の物体を認識する物体認識処理、および、物体認識処理における物体認識結果を、学習モデル選択合成処理で選択された学習モデルに用いて、車両運転中に生じる危険シーンを予測する危険シーン予測処理を実行させることを特徴とする。

本発明によれば、演算負荷を抑制しながら、運転中に想定される危険シーンの予測精度を向上させることができる。

本発明による危険シーン予測装置の第一の実施形態の構成例を示すブロック図である。 シーンごとに定義された学習モデルの例を示す説明図である。 学習モデルを選択して危険シーン予測結果を出力する処理の例を示す説明図である。 第一の実施形態の危険シーン予測装置の動作例を示すフローチャートである。 本発明による危険シーン予測装置の第二の実施形態の構成例を示すブロック図である。 学習モデルと認識物体情報との関係の例を示す説明図である。 シーンおよび認識物体情報ごとに定義された物体認識モデルの例を示す説明図である。 第二の実施形態の危険シーン予測装置の動作例を示すフローチャートである。 シーン判定結果と選択される学習モデルとの関係例を示す説明図である。 本発明による危険シーン予測装置の第三の実施形態の構成例を示すブロック図である。 許容演算量に従ってモデルを決定する処理の例を示す説明図である。 第三の実施形態の危険シーン予測装置の動作例を示すフローチャートである。 第三の実施形態の危険シーン予測装置の他の動作例を示すフローチャートである。 本発明による危険シーン予測装置の第四の実施形態の構成例を示すブロック図である。 危険予測時間の例を示す説明図である。 許容演算量に従ってモデルを決定する処理の他の例を示す説明図である。 第四の実施形態の危険シーン予測装置の動作例を示すフローチャートである。 第四の実施形態の危険シーン予測装置の他の動作例を示すフローチャートである。 少なくとも上述する一実施形態に係るコンピュータの構成を示す概略ブロック図である。 本発明による危険シーン予測装置の概要を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。本発明の危険シーン予測装置は、学習モデルを用いて車両運転中に生じ得る危険シーンを予測する。本発明で用いられる各学習モデルは、車両運転中に想定される各危険シーンの発生有無または発生の程度を予測するモデルであり、観測されたデータに基づいて予め学習されているものとする。予測される危険シーンとして、例えば、割込み予測、左折時巻き込み予測、飛び出し横断予測、横侵入予測、および、飛び出し横断予測などが挙げられる。

実施形態１．
図１は、本発明による危険シーン予測装置の第一の実施形態の構成例を示すブロック図である。本実施形態の危険シーン予測装置１００は、シーン判定部１０と、学習モデル選択合成部２０と、危険シーン予測部３０と、記憶部９０とを備えている。

記憶部９０は、後述する危険シーン予測部３０が用いる複数の学習モデルを記憶する。また、記憶部９０は、危険シーン予測装置１００の動作に必要な各種情報を記憶していてもよい。記憶部９０は、例えば、磁気ディスク等により実現される。

シーン判定部１０は、車両の状態を検出する各種センサにより取得された情報の入力を受け付ける。車両の状態を検出するセンサの例として、位置情報を取得するＧＰＳ（global positioning system ）受信機や、ミリ波情報を検知するミリ波レーダ、対象物までの距離を取得するＬｉＤＡＲ（Laser Imaging Detection and Ranging）や、周辺の画像を撮影するカメラなどが挙げられる。

シーン判定部１０は、入力された各種センサの情報など、車両運転中に得られる情報に基づいて、その車両のシーンを判定する。ここで、シーンとは、車両を取り巻く外部環境のことを意味し、例えば、車両が走行している場面（高速道路、市街地交差点、駐車場出入り口、市街地直線道路など）が挙げられる。ただし、本実施形態で判定されるシーンは、上述するような、人間が意味を解釈できる表現に限定されず、例えば、外部環境を表わす特徴ベクトルなどで表されていてもよい。ただし、以下では、説明を容易にするために、具体的なシーンを例示して、本実施形態の危険シーン予測装置の動作を説明する。

シーン判定部１０がシーンを判定する方法は任意である。シーン判定部１０は、ルールベースでシーンを判定してもよく、シーンごとの確からしさを判別する判別モデルを用いてシーンを判定してもよい。シーン判定部１０は、例えば、予め与えられた地図情報と、ＧＰＳにより取得された位置情報とに基づいて、現在の走行場所（例えば、高速道路、商店街、など）を判定してもよい。他にも、シーン判定部１０は、取得可能なセンサ情報に基づいて予め機械学習により生成されたシーン判別モデルを保持しておき、受け付けたセンサ情報に基づいて、シーンを判定してもよい。

学習モデル選択合成部２０は、判定されたシーンに応じて、２以上の学習モデルから危険シーンの予測に用いる学習モデルを選択する。例えば、シーンごとに選択する学習モデルを学習モデルの特徴に応じて予め定義しておき、学習モデル選択合成部２０は、判定されたシーンに対応する学習モデルを選択してもよい。本実施形態で用いられる学習モデルの態様は任意であり、例えば、ニューラルネットワークなどである。

図２は、シーンごとに定義された学習モデルの例を示す説明図である。図２に示す例では、シーンとして「高速道路」、「市街地交差点」または「駐車場出入り口」、および、「市街地直線道路」が想定されている。ここで、「高速道路」では、危険シーンとして車両前方への割込みが想定される。そこで、図２に示す例において、「高速道路」のシーンでは、割込み予測を行う学習モデルを対応付けておく。同様に、「市街地交差点」または「駐車場出入り口」では、複数の危険シーン（左折時巻き込み、飛び出し横断、および、横侵入）が想定される。そこで、図２に示す例において、「市街地交差点」または「駐車場出入り口」のシーンでは、左折時巻き込み予測、飛び出し横断予測、および、横侵入予測を行う学習モデルを合成したモデルを対応付けておく。「市街地直線道路」のシーンについても同様である。

学習モデル選択合成部２０は、図２に例示するように定義されたシーンと学習モデルとの対応関係に基づいて、シーン判定部１０で判定されたシーンに対応する学習モデルを選択すればよい。なお、シーン判定部１０による判定結果にシーンの確度が含まれる場合、学習モデル選択合成部２０は、シーンに対応する学習モデルを選択するとともに、選択された学習モデルにシーンの確度を対応付けておいてもよい。

危険シーン予測部３０は、選択された学習モデルを用いて、車両運転中に生じる危険シーンを予測する。具体的には、危険シーン予測部３０は、上述するＬｉＤＡＲやミリ波情報などのセンサから取得される物体位置情報に基づいて、車両運転中に生じる危険シーンを予測し、危険シーン予測結果を出力する。危険シーン予測結果は、各危険シーンの発生有無または発生の程度を表わす情報であり、０または１の２値情報であってもよく、危険の確からしさを示す確度情報であってもよい。この危険シーン予測結果に基づいて、例えば、予測される割込みや飛び出しに対して車両が発報するか否かが決定される。

また、例えば、学習モデルにシーンの確度が対応付けられている場合、危険シーン予測部３０は、確度に応じて発生の有無または程度を調整してもよい。

図３は、学習モデルを選択して危険シーン予測結果を出力する処理の例を示す説明図である。図３に示す例は、図２に示す例において定義された学習モデルが選択され、危険シーン予測結果が出力される処理を示している。図２に例示するモデルＭ１～Ｍ３は、例えば、ニューラルネットワークである。

例えば、シーンが「市街地交差点」と判定された場合、学習モデル選択合成部２０は、左折時巻き込み予測を行う学習モデルｍ２１、飛び出し横断予測を行う学習モデルｍ２２、および、横侵入予測を行う学習モデルｍ２３が合成されたモデルＭ２を選択する。そして、危険シーン予測部３０は、モデルＭ２を用いて危険シーンの予測を行い、左折時巻き込み、飛び出し横断、および、横侵入について、それぞれの危険シーンの発生確率（例えば、０～１）を出力する。

他にも、例えば、シーンが「高速道路」と判定された場合、学習モデル選択合成部２０は、割込み予測を行う学習モデルｍ１１を含むモデルＭ１を選択すればよい。また、シーンが「市街地直線道路」と判定された場合、学習モデル選択合成部２０は、飛び出し横断予測を行う学習モデルｍ３１を含むモデルＭ３を選択すればよい。危険シーン予測結果は、上述するモデルＭ２の場合と同様である。

シーン判定部１０と、学習モデル選択合成部２０と、危険シーン予測部３０とは、プログラム（危険シーン予測プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、危険シーン予測装置１００の記憶部９０に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、シーン判定部１０、学習モデル選択合成部２０および危険シーン予測部３０として動作してもよい。また、シーン判定部１０と、学習モデル選択合成部２０と、危険シーン予測部３０とは、それぞれが専用のハードウェアで実現されていてもよい。

次に、本実施形態の危険シーン予測装置１００の動作を説明する。図４は、本実施形態の危険シーン予測装置１００の動作例を示すフローチャートである。シーン判定部１０は、車両運転中に得られるセンサ情報から取得される物体位置情報などに基づいて、その車両のシーンを判定する（ステップＳ１１）。学習モデル選択合成部２０は、判定されたシーンに応じて、２以上の学習モデルから危険シーンの予測に用いる学習モデルを選択する（ステップＳ１２）。そして、危険シーン予測部３０は、選択された学習モデルを用いて、車両運転中に生じる危険シーンを予測する（ステップＳ１３）。

以上のように、本実施形態では、学習モデル選択合成部２０が、車両運転中に得られる情報に基づいて判定されたシーンに応じて、２以上の学習モデルから危険シーンの予測に用いる学習モデルを選択し、危険シーン予測部３０が、選択された学習モデルを用いて、車両運転中に生じる危険シーンを予測する。よって、演算負荷を抑制しながら、運転中に想定される危険シーンの予測精度を向上させることができる。

すなわち、本実施形態では、学習モデル選択合成部２０が、シーンに適した危険シーン予測に必要な学習モデルを選択し、危険シーン予測部３０が、その学習モデルのみ使用して危険シーンを予測するため、演算量を低減しつつ高精度な危険シーン予測ができる。

実施形態２．
次に、本発明による危険シーン予測装置の第二の実施形態を説明する。第一の実施形態では、検出された物体位置情報を用いて危険シーンを予測する方法を説明した。第二の実施形態では、危険シーンの予測に、検出された物体を認識した結果を用いる方法を説明する。

図５は、本発明による危険シーン予測装置の第二の実施形態の構成例を示すブロック図である。本実施形態の危険シーン予測装置２００は、シーン判定部１０と、学習モデル選択合成部２０と、危険シーン予測部３１と、認識物体／姿勢決定部４０と、学習モデル選択部５０と、物体認識部６０と、撮像装置７０と、記憶部９１とを備えている。シーン判定部１０および学習モデル選択合成部２０の内容は、第一の実施形態と同様である。

なお、シーン判定部１０、学習モデル選択合成部２０および危険シーン予測部３１と、認識物体／姿勢決定部４０、学習モデル選択部５０および物体認識部６０が、それぞれ異なる装置で実現されていてもよい。

記憶部９１は、第一の実施形態における記憶部９０と同様、危険シーン予測部３１が用いる複数の学習モデルを記憶する。さらに、本実施形態の記憶部９１は、後述する物体認識部６０が物体の認識に用いる複数の学習モデル（以下、物体認識モデルと記す。）を記憶する。また、記憶部９１は、危険シーン予測装置２００の動作に必要な各種情報を記憶していてもよい。記憶部９１は、例えば、磁気ディスク等により実現される。

認識物体／姿勢決定部４０は、学習モデル選択合成部２０が選択した学習モデルの情報に基づいて、認識の対象とする物体についての情報（以下、認識物体情報と記す。）を決定する。具体的には、認識物体／姿勢決定部４０は、学習モデル選択合成部２０によって選択された学習モデルを用いて危険シーンの予測を行う場合に必要な認識物体情報を決定する。認識物体情報は、認識物体そのものを示す情報だけでなく、認識の対象とする物体の箇所（以下、物体の姿勢と記す。）を示す情報が含まれていてもよい。

認識物体情報は、危険シーンの予測を行う際に重要な認識対象物として、危険シーンを予測する学習モデルごとに予め定義される。図６は、学習モデルと認識物体情報との関係の例を示す説明図である。図６に示す例では、各危険シーンを予測する予測モデルごとに、重要な認識対象物および姿勢が対応付けられていることを示す。例えば、危険シーンとして車両の割込みを予測する場合、図６（１）に例示するように、車両（乗用車、トラックおよびバス）の後方の情報が、重要な認識対象物および姿勢であると言える。そこで、車両の割込みを予測するモデル（割込み予測モデル）に対して、「車両（乗用車、トラックおよびバス）の後方」を重要な認識対象物および姿勢として対応付ける。他の予測モデルについても同様である。

学習モデル選択部５０は、シーン判定部１０によって判定されたシーンおよび認識物体／姿勢決定部４０によって決定された認識物体情報に応じて、２以上の物体認識モデルから物体認識に用いる物体認識モデルを選択する。例えば、シーンおよび認識物体情報ごとに選択する物体認識モデルを予め定義しておき、学習モデル選択部５０は、判定されたシーンに対応する物体認識モデルを選択してもよい。本実施形態で用いられる物体認識モデルの態様は任意であり、例えば、ニューラルネットワークなどである。

図７は、シーンおよび認識物体情報ごとに定義された物体認識モデルの例を示す説明図である。図７に示す例では、シーンとして「高速道路」、「市街地交差点」または「駐車場出入り口」、および、「市街地直線道路」が想定されている。例えば、物体認識モデル１は車両後方の物体認識の精度が良好であるとする。このとき、「高速道路」と物体認識モデル１を対応付けておき、学習モデル選択部５０は、シーン判定部１０で判定されたシーンおよび認識物体情報に対応する物体認識モデルを選択すればよい。他のシーンについても同様である。

撮像装置７０は、車両運転中の車外の画像を撮像する。撮像装置７０が画像を撮像するタイミングは、走行中または停止中のいずれのタイミングでもよい。撮像装置７０は、予め定めた期間ごとに画像を撮像してもよく、運転手等や制御装置の指示に応じて画像を撮像してもよい。撮像装置７０は、例えば、車外の風景を撮影する車載カメラである。

物体認識部６０は、選択された物体認識モデルを用いて、撮像装置７０によって撮像された画像中の物体を認識する。なお、物体認識部６０が学習モデルを用いて物体を認識する方法は広く知られており、ここでは詳細な説明は省略する。

危険シーン予測部３１は、第一の実施形態における物体位置情報に加え、物体認識部６０による物体認識結果を選択された学習モデルに用いて、車両運転中に生じる危険シーンを予測する。なお、危険シーン予測部３１は、物体認識結果を用いずに（すなわち補助的な情報として物体認識結果を用いて）、危険シーンを予測してもよい。

シーン判定部１０と、学習モデル選択合成部２０と、危険シーン予測部３１と、認識物体／姿勢決定部４０と、学習モデル選択部５０と、物体認識部６０とは、プログラム（危険シーン予測プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、シーン判定部１０と、学習モデル選択合成部２０と、危険シーン予測部３１と、認識物体／姿勢決定部４０と、学習モデル選択部５０と、物体認識部６０とは、それぞれが専用のハードウェアで実現されていてもよい。

次に、本実施形態の危険シーン予測装置２００の動作を説明する。図８は、本実施形態の危険シーン予測装置２００の動作例を示すフローチャートである。シーン判定部１０が車両のシーンを判定し、危険シーンの予測に用いる学習モデルを選択する方法は、図４に例示するステップＳ１１からステップＳ１２の処理と同様である。

図９は、シーン判定結果と選択される学習モデルとの関係例を示す説明図である。例えば、シーン判定部１０が、シーンを「高速道路」と判定した場合、学習モデル選択合成部２０は、図６に例示する学習モデル（１）を選択する。また、例えば、シーン判定部１０が、シーンを「市街地交差点」または「駐車場出入り口」と判定した場合、学習モデル選択合成部２０は、図６に例示する学習モデル（２）、学習モデル（３）および学習モデル（４）を選択する。すなわち、学習モデル選択合成部２０は、複数の学習モデルを選択して合成していると言える。同様に、シーン判定部１０が、シーンを「市街地直線道路」と判定した場合、学習モデル選択合成部２０は、図６に例示する学習モデル（３）を選択する。

認識物体／姿勢決定部４０は、学習モデル選択合成部２０によって選択された学習モデルの情報に基づいて認識物体情報を決定する（図８におけるステップＳ２１）。学習モデル選択部５０は、判定されたシーンおよび認識物体情報に応じて物体認識モデルを選択する（ステップＳ２２）。物体認識部６０は、選択された物体認識モデルを用いて、車両運転中に撮影される画像中の物体を認識する（ステップＳ２３）。危険シーン予測部３１は、物体認識部６０による物体認識結果を選択された学習モデルに用いて、車両運転中に生じる危険シーンを予測する（ステップＳ２４）。

以上のように、本実施形態では、認識物体／姿勢決定部４０が、選択された学習モデルの情報に基づいて認識物体情報を決定し、学習モデル選択部５０が、判定されたシーンおよび認識物体情報に応じて物体認識モデルを選択する。そして、物体認識部６０が、選択された物体認識モデルを用いて、車両運転中に撮影される画像中の物体を認識し、危険シーン予測部３１が、選択された学習モデルに物体認識結果を用いて、車両運転中に生じる危険シーンを予測する。

よって、第一の実施形態の効果に加え、危険シーン予測モデルで必要とする認識物体および姿勢を考慮して物体認識モデルを選択できるため、危険シーンの予測精度を向上させることが可能になる。

実施形態３．
次に、本発明による危険シーン予測装置の第三の実施形態を説明する。本実施形態では、危険シーンの予測処理と物体認識処理との演算量を考慮して、使用する学習モデルを選択する方法を説明する。

図１０は、本発明による危険シーン予測装置の第三の実施形態の構成例を示すブロック図である。本実施形態の危険シーン予測装置３００は、シーン判定部１０と、学習モデル選択合成部２１と、危険シーン予測部３１と、モデル調整部５１と、物体認識部６１と、撮像装置７０と、記憶部９２とを備えている。シーン判定部１０、危険シーン予測部３１および撮像装置７０の内容は、第二の実施形態と同様である。

記憶部９２は、第一の実施形態の記憶部９０と同様、危険シーン予測部３１が用いる複数の学習モデルを記憶する。さらに、本実施形態の記憶部９２は、後述する物体認識部６１が物体の認識に用いる複数のニューラルネットワーク（以下、ニューラルＮＷと記す。）およびそのニューラルＮＷに対応する学習モデルを記憶する。また、記憶部９２は、危険シーン予測装置３００の動作に必要な各種情報を記憶していてもよい。記憶部９２は、例えば、磁気ディスク等により実現される。

本実施形態で用いられるニューラルＮＷは、機械学習により物体認識の推論処理（種別判定）を行うモデルであり、対応する学習モデルに示されたノード間の結合の強さを示す重みやバイアスを使用して推論処理（種別判定）を行う。ニューラルＮＷの違いにより、物体認識精度や演算量が異なるため、本実施形態では、演算量に応じて複数種類のニューラルＮＷおよび対応する学習モデルが予め用意される。

モデル調整部５１は、シーン判定部１０によって判定されたシーンに応じて、後述する物体認識部６１が物体認識に用いるニューラルＮＷ、および、危険シーン予測部３１が危険シーンの予測に用いる学習モデルを決定する。その際、モデル調整部５１は、物体認識処理および危険シーン予測処理に要する演算量が、許容される演算量（以下、許容演算量と記す。）以下になるように、ニューラルＮＷおよび学習モデルを決定する。

なお、物体認識の場合、ニューラルＮＷを固定して学習モデルを変更する場合と比較し、ニューラルＮＷ自体を変更する方が、演算量の変化が大きい。そこで、本実施形態では、モデル調整部５１は、学習モデルを制御するのではなく、ニューラルＮＷを制御する。

まず、モデル調整部５１は、優先すべき処理を決定する。具体的には、モデル調整部５１は、判定されたシーンに応じて物体認識処理と危険シーン予測処理の相対的な優先度を決定する。相対的な優先度は、シーンに応じて予め設定しておけばよい。

例えば、「高速道路」のシーンの場合、物体認識性能よりも危険予測性能が求められていると考えられる。そこで、シーン「高速道路」に対しては、危険シーン予測処理の優先度を物体認識処理の優先度よりも高く設定しておく。また、例えば、「商店街の直線道路」のシーンの場合、歩行者等の小物体が多数存在するため、危険予測性能よりも物体認識性能を求められていると考えられる。そこで、シーン「商店街の直線道路」に対しては、物体認識処理の優先度を危険シーン予測処理の優先度よりも高く設定しておく。モデル調整部５１は、この設定に基づいて優先すべき処理を決定すればよい。

そして、モデル調整部５１は、決定された優先度に基づいて、双方の処理に要する演算量が許容演算量以下になるように、ニューラルＮＷおよび学習モデルを決定する。本実施形態では、各ニューラルＮＷを用いて物体認識を行う際の演算量、および、各学習モデルを用いて危険シーンの予測を行う際の演算量を事前に計測しておき、例えば、記憶部９２に予め記憶させておく。モデル調整部５１は、事前に計測された演算量に基づいて、双方の処理に要する演算量が許容演算量以下になるように、ニューラルＮＷおよび学習モデルを決定する。演算量は、例えば、ディジタル信号処理の乗算や加算と言った計算ステップの回数に対応した指標値として定められる。

以下、演算量に基づいてニューラルＮＷおよび学習モデルを決定する処理を説明するため、演算量レベルを定義する。演算量レベルは、演算量に応じて定義される指標値であり、ここでは、最小レベルを１、最大レベルを４とする。図１１は、許容演算量に従ってニューラルＮＷおよび学習モデルを決定する処理の例を示す説明図である。

図１１に示す例では、危険シーン予測処理の優先度を物体認識処理の優先度よりも高く設定されるシーンに対応する処理を「危険シーン予測優先モード」と記し、物体認識処理の優先度を危険シーン予測処理よりも高く設定されるシーンに対応する処理を「物体認識優先モード」と記す。また、「危険シーン予測優先モード」と「物体認識優先モード」の中間に相当する処理を、「中間モード」と記す。

また、図１１に示す例では、危険シーン予測合成モデルとして生成される学習モデルを用いた際の演算量を横軸に、ニューラルＮＷを用いた際の演算量を縦軸に設定したグラフを想定し、各モードの格子の１マスが、１演算量を示すものとする。図１１に示す例では、許容演算量が４マスである場合を例示している。

例えば、「危険シーン予測優先モード」では、危険シーン予測処理の優先度が物体認識処理の優先度よりも高いため、モデル調整部５１は、学習モデルの演算量レベルを高く、ニューラルＮＷの演算量レベルを低く決定する。例えば、学習モデルの演算量レベルが４に決定された場合、許容演算量（４マス）を考慮すると、ニューラルＮＷの演算量レベルは１に決定される。

一方、「物体認識優先モード」では、物体認識処理の優先度が危険シーン予測処理の優先度よりも高いため、モデル調整部５１は、学習モデルの演算量レベルを低く、ニューラルＮＷの演算量レベルを高く決定する。例えば、ニューラルＮＷの演算量レベルが４に決定された場合、許容演算量（４マス）を考慮すると、学習モデルの演算量レベルは１に決定される。

なお、「中間モード」において、物体認識処理の優先度と危険シーン予測処理の優先度が同等であるとすると、モデル調整部５１は、学習モデルの演算量レベルとニューラルＮＷの演算量レベルを同程度にすると決定する。例えば、ニューラルＮＷの演算量レベルが２に決定された場合、許容演算量（４マス）を考慮すると、学習モデルの演算量レベルも２に決定される。

物体認識部６１は、選択されたニューラルＮＷを用いて、車両運転中に撮影される画像中の物体を認識する。なお、ニューラルＮＷを用いて画像を認識する方法は広く知られているため、ここでは詳細な説明は省略する。

また、学習モデル選択合成部２１は、選択された学習モデルに基づいて、危険シーンの予測に用いる学習モデルを選択する。そして、危険シーン予測部３１は、物体認識部６１による物体認識結果を選択された学習モデルに用いて、車両運転中に生じる危険シーンを予測する。

シーン判定部１０と、学習モデル選択合成部２１と、危険シーン予測部３１と、モデル調整部５１と、物体認識部６１とは、プログラム（危険シーン予測プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、シーン判定部１０と、学習モデル選択合成部２１と、危険シーン予測部３１と、モデル調整部５１と、物体認識部６１とは、それぞれが専用のハードウェアで実現されていてもよい。

次に、本実施形態の危険シーン予測装置３００の動作を説明する。図１２は、本実施形態の危険シーン予測装置３００の動作例を示すフローチャートである。図１２に例示するフローチャートは、危険シーンを予測する学習モデルを優先する場合の処理を示す。シーン判定部１０が車両のシーンを判定する処理は、図４に例示するステップＳ１１の処理と同様である。

モデル調整部５１は、まず、危険シーンを予測する学習モデルを決定する（ステップＳ３１）。モデル調整部５１は、決定された学習モデルを用いた危険シーン予測処理に要する演算量（演算量レベル）と、予め定められた許容演算量に基づいて、物体認識ニューラルＮＷを決定する（ステップＳ３２）。

物体認識部６１は、選択されたニューラルＮＷを用いて、車両運転中に撮影される画像中の物体を認識する（ステップＳ３３）。また、学習モデル選択合成部２１は、選択された学習モデルに基づいて、危険シーンの予測に用いる学習モデルを選択し（ステップＳ３４）、危険シーン予測部３１は、物体認識部６１による物体認識結果を選択された学習モデルに用いて、車両運転中に生じる危険シーンを予測する（ステップＳ３５）。

図１３は、本実施形態の危険シーン予測装置３００の他の動作例を示すフローチャートである。図１３に例示するフローチャートは、物体認識に用いるニューラルＮＷを優先する場合の処理を示す。シーン判定部１０が車両のシーンを判定する処理は、図１２に例示するステップＳ１１の処理と同様である。

モデル調整部５１は、まず、物体認識に用いるニューラルＮＷを決定する（ステップＳ３６）。モデル調整部５１は、決定されたニューラルＮＷを用いた物体認識処理に要する演算量（演算量レベル）と、予め定められた許容演算量に基づいて、危険シーンを予測する学習モデルを決定する（ステップＳ３７）。以降、危険シーンを予測するまでの処理は、図１２に例示するステップＳ３３からステップＳ３５までの処理と同様である。

以上のように、本実施形態では、モデル調整部５１が、判定されたシーンに応じて、物体認識処理および危険シーン予測処理に要する演算量が許容演算量以下になるように、ニューラルＮＷおよび学習モデルを決定し、物体認識部６１が、選択されたニューラルＮＷを用いて、車両運転中に撮影される画像中の物体を認識する。そして、学習モデル選択合成部２１が、選択された学習モデルに基づいて、危険シーンの予測に用いる学習モデルを選択し、危険シーン予測部３１が、物体認識部６１による物体認識結果を選択された学習モデルに用いて、車両運転中に生じる危険シーンを予測する。

よって、第一の実施形態の効果に加え、物体認識を行うニューラルＮＷおよび危険シーンを予測する学習モデルの演算量を考慮することで、限られたリソース上での危険シーン予測を高精度に行うことが可能になる。

実施形態４．
次に、本発明による危険シーン予測装置の第四の実施形態を説明する。第三の実施形態では、許容演算量が予め定められている場合について説明した。本実施形態では、シーンの判定結果に基づいて許容演算量を決定する方法を説明する。

図１４は、本発明による危険シーン予測装置の第四の実施形態の構成例を示すブロック図である。本実施形態の危険シーン予測装置４００は、シーン判定部１０と、学習モデル選択合成部２１と、危険シーン予測部３１と、モデル調整部５１と、許容演算量決定部５２と、物体認識部６１と、撮像装置７０と、記憶部９２とを備えている。すなわち、本実施形態の危険シーン予測装置４００は、第三の実施形態の危険シーン予測装置３００と比較し、許容演算量決定部５２を更に備えている点において、第三の実施形態と異なる。それ以外の構成は、第三の実施形態と同様である。

許容演算量決定部５２は、シーン判定部１０によって判定されたシーンに応じて、許容演算量を決定する。具体的には、許容演算量決定部５２は、判定されたシーンに対する危険シーンの予測に許容される時間（以下、危険予測時間と記す。）が長いシーンの場合に許容演算量を大きくし、危険予測時間が短いシーンの場合に許容演算量を小さくするように決定する。許容演算量は、例えば、シーンに応じて予め設定され、許容演算量決定部５２は、判定されたシーンに応じた許容演算量を特定する。

図１５は、危険予測時間の例を示す説明図である。例えば、危険シーンとして「衝突」を考えた場合、危険予測時間は、危険予測を発報してから衝突までの時間に対応する。

モデル調整部５１は、各処理に要する演算量が許容演算量決定部５２によって決定された許容演算量以下になるように、ニューラルＮＷおよび学習モデルを決定する。なお、モデル調整部５１が、演算量に基づいてモデルを決定する方法は、第三の実施形態と同様である。

図１６は、許容演算量に従ってニューラルＮＷおよび学習モデルを決定する処理の他の例を示す説明図である。図１６では、危険予測時間の長さに応じて、２種類のモード（「低速演算／高精度モード」および「高速演算／低精度モード」）で処理を行う場合を例示する。「低速演算／高精度モード」は、危険予測時間が長い（例えば、３～１０秒前など）場合の例示であり、「高速演算／低精度モード」は、危険予測時間が短い（例えば、３秒以内など）場合の例示である。

また、図１６に例示するグラフは、図１１に例示するグラフと同様、危険シーン予測合成モデルとして生成される学習モデルを用いた際の演算量を横軸に、ニューラルＮＷを用いた際の演算量を縦軸に設定したグラフであり、格子の１マスが１演算量を示す。危険予測時間が長いシーンではより多くの演算を行うことが可能であるため、図１６に示す例では、例えば、「低速演算／高精度モード」に対して、許容演算量が１６マスに設定される。一方、危険予測時間が短いシーンではより演算を行う時間が限られているため、図１６に示す例では、例えば、「高速演算／低精度モード」に対して、許容演算量が１マスに設定される。

この場合、「低速演算／高精度モード」では、ニューラルＮＷおよび学習モデルの演算量レベルを、それぞれ４に設定することができる。一方、「高速演算／低精度モード」では、ニューラルＮＷおよび学習モデルの演算量レベルを、それぞれ１にのみ設定することができる。

シーン判定部１０と、学習モデル選択合成部２１と、危険シーン予測部３１と、モデル調整部５１と、許容演算量決定部５２と、物体認識部６１とは、プログラム（危険シーン予測プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、シーン判定部１０と、学習モデル選択合成部２１と、危険シーン予測部３１と、モデル調整部５１と、許容演算量決定部５２と、物体認識部６１とは、それぞれが専用のハードウェアで実現されていてもよい。

次に、本実施形態の危険シーン予測装置４００の動作を説明する。図１７は、本実施形態の危険シーン予測装置４００の動作例を示すフローチャートである。図１７に例示するフローチャートは、危険シーンを予測する学習モデルを優先する場合の処理を示す。シーン判定部１０が車両のシーンを判定する処理は、図１２に例示するステップＳ１１の処理と同様である。

許容演算量決定部５２は、判定されたシーンに応じて、許容演算量を決定する（ステップＳ４１）。その後、モデル調整部５１が、危険シーンを予測する学習モデルを決定し（ステップＳ３１）、決定された学習モデルを用いた危険シーン予測処理に要する演算量（演算量レベル）と、決定された許容演算量に基づいて、物体認識ニューラルＮＷを決定する（ステップＳ３２）。以降、危険シーンを予測するまでの処理は、図１２に例示するステップＳ３３からステップＳ３５までの処理と同様である。

図１８は、本実施形態の危険シーン予測装置４００の他の動作例を示すフローチャートである。図１８に例示するフローチャートは、物体認識に用いるニューラルＮＷを優先する場合の処理を示す。シーン判定部１０が車両のシーンを判定する処理は、図１７に例示するステップＳ１１の処理と同様である。

許容演算量決定部５２は、判定されたシーンに応じて、許容演算量を決定する（ステップＳ４１）。その後、モデル調整部５１が、物体認識に用いるニューラルＮＷを決定し（ステップＳ３６）、決定されたニューラルＮＷを用いた物体認識処理に要する演算量（演算量レベル）と、決定された許容演算量に基づいて、危険シーンを予測する学習モデルを決定する（ステップＳ３７）。以降、危険シーンを予測するまでの処理は、図１７に例示するステップＳ３３からステップＳ３５までの処理と同様である。

以上のように、本実施形態では、許容演算量決定部５２が、判定されたシーンに対する危険シーンの予測に許容される時間に応じて許容演算量を決定し、モデル調整部５１が、物体認識における処理および危険シーンを予測する処理に要する演算量が、決定された許容演算量以下になるように、ニューラルＮＷおよび学習モデルを決定する。よって、第三の実施形態の効果に加え、シーン判定結果に応じて、物体認識と危険シーン予測の処理速度並びに認識及び予測精度を最適化できる。

次に、本発明の具体例を説明する。図１９は、少なくとも上述する一実施形態に係るコンピュータの構成を示す概略ブロック図である。コンピュータ１０００は、プロセッサ１００１と、主記憶装置１００２と、補助記憶装置１００３と、インタフェース１００４と、出力装置１００５と、センサ１００６とを備えている。コンピュータ１０００は、例えば、車両に搭載される車載コンピュータであり、危険シーンの予測結果に応じて車両を制御するコンピュータである。そのため、コンピュータ１０００を、車両制御装置と言うこともできる。この場合、プロセッサ１００１は、車両制御部として動作する。

上述の危険シーン予測装置は、コンピュータ１０００に実装され、センサ１００６（例えば、ＧＰＳ受信機や、ミリ波レーダ、ＬｉＤＡＲや、カメラなど）が検出した各種情報を入力する。そして、上述した各処理部の動作は、プログラム（危険シーン予測プログラム）の形式で補助記憶装置１００３に記憶されている。プロセッサ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、当該プログラムに従って上記処理を実行する。

なお、少なくとも１つの実施形態において、補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read-only memory ）、ＤＶＤ－ＲＯＭ（Read-only memory）、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００が当該プログラムを主記憶装置１００２に展開し、上記処理を実行しても良い。

また、当該プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、当該プログラムは、前述した機能を補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であっても良い。

出力装置１００５は、コンピュータによる処理結果、すなわち、危険シーン予測装置による危険シーンの予測結果に基づいて、運転手に対し、危険の有無を報知する。出力装置１００５は、例えば、音声や表示装置（図示せず）への表示により、運転手に対して危険の発生を報知する。このような情報を通知することで、運転手へ危険を知らせることが可能になる。

また、出力装置１００５は、車両の制御装置（図示せず）に対し、予測される危険シーンを通知することで、車両を制御してもよい。このような情報を出力することで、危険シーンに応じた車両の自動制御を行うことが可能になる。

次に、本発明の概要を説明する。図２０は、本発明による危険シーン予測装置の概要を示すブロック図である。本発明による危険シーン予測装置は、車両運転中に生じる危険シーンを予測する危険シーン予測装置８０（例えば、危険シーン予測装置１００～４００）であって、車両運転中に得られる情報（例えば、位置情報、ミリ波情報、ＬｉＤＡＲ情報、カメラ情報など）に基づいて判定されたシーンに応じて、２以上の学習モデルから危険シーンの予測に用いる学習モデルを選択する学習モデル選択合成部８１（例えば、学習モデル選択合成部２０）と、選択された学習モデルを用いて、車両運転中に生じる危険シーンを予測する危険シーン予測部８２（例えば、危険シーン予測部３０）とを備えている。

そのような構成により、演算負荷を抑制しながら、運転中に想定される危険シーンの予測精度を向上させることができる。

また、危険シーン予測装置８０（例えば、危険シーン予測装置２００）は、学習モデル選択合成部８１によって選択された学習モデルの情報に基づいて、認識の対象とする物体についての情報である認識物体情報を決定する認識物体情報決定部（例えば、認識物体／姿勢決定部４０）と、車両運転中に得られる情報に基づいて判定されたシーンおよび認識物体情報に応じて、２以上の学習モデルから物体認識に用いる学習モデルである物体認識モデルを選択する学習モデル選択部（例えば、学習モデル選択部５０）と、選択された物体認識モデルを用いて、車両運転中に撮影される画像中の物体を認識する物体認識部（例えば、物体認識部６０）とを備えていてもよい。そして、危険シーン予測部８２は、物体認識部による物体認識結果を、選択された学習モデルに用いて、車両運転中に生じる危険シーンを予測してもよい。そのような構成により、危険シーン予測モデルで必要とする認識物体および姿勢を考慮して物体認識モデルを選択できるため、危険シーンの予測精度を向上させることが可能になる。

一方、危険シーン予測装置８０（例えば、危険シーン予測装置３００）は、判定されたシーンに応じて、物体認識に用いられるニューラルネットワーク、および、危険シーンの予測に用いられる学習モデルを決定するモデル調整部（例えば、モデル調整部５１）と、選択されたニューラルネットワークを用いて、車両運転中に撮影される画像中の物体を認識する物体認識部（例えば、物体認識部６１）とを備えていてもよい。そして、モデル調整部は、物体認識における処理および危険シーンを予測する処理に要する演算量が、許容される演算量である許容演算量以下になるように、ニューラルネットワークおよび学習モデルを決定してもよい。そして、学習モデル選択合成部８１は、選択された学習モデルに基づいて、危険シーンの予測に用いる学習モデルを選択し、危険シーン予測部８２は、物体認識部による物体認識結果を、選択された学習モデルに用いて、車両運転中に生じる危険シーンを予測してもよい。このように、物体認識を行うニューラルＮＷおよび危険シーンを予測する学習モデルの演算量を考慮することで、限られたリソース上での危険シーン予測を高精度に行うことが可能になる。

具体的には、モデル調整部は、判定されたシーンに応じて、物体認識における処理と危険シーンを予測する処理との相対的な優先度を決定し、決定された優先度に基づいて、物体認識における処理および危険シーンを予測する処理に要する演算量が許容演算量以下になるように、ニューラルネットワークおよび学習モデルを決定してもよい。

また、危険シーン予測装置８０（例えば、危険シーン予測装置４００）は、判定されたシーンに対する危険シーンの予測に許容される時間に応じて、許容演算量を決定する許容演算量決定部（例えば、許容演算量決定部５２）を備えていてもよい。そして、モデル調整部は、物体認識における処理および危険シーンを予測する処理に要する演算量が、許容演算量以下になるように、ニューラルネットワークおよび学習モデルを決定してもよい。そのような構成により、シーン判定結果に応じて、物体認識と危険シーン予測の処理速度並びに認識及び予測精度を最適化できる。

また、危険シーン予測装置８０は、車両運転中に得られる情報に基づいて、その車両のシーンを判定するシーン判定部を備えていてもよい。

以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１８年１１月１３日に出願された日本特許出願２０１８－２１２８９０を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０ シーン判定部
２０，２１ 学習モデル選択合成部
３０，３１ 危険シーン予測部
４０ 認識物体／姿勢決定部
５０ 学習モデル選択部
５１ モデル調整部
５２ 許容演算量決定部
６０，６１ 物体認識部
７０ 撮像装置
９０，９１，９２ 記憶部
１００，２００，３００，４００ 危険シーン予測装置

Claims (10)

1. 車両運転中に生じる危険シーンを予測する危険シーン予測装置であって、
   車両運転中に得られる情報に基づいて判定されたシーンに応じて、２以上の学習モデルから危険シーンの予測に用いる学習モデルを選択する学習モデル選択合成部と、
   選択された前記学習モデルの情報に基づいて、認識の対象とする物体についての情報である認識物体情報を決定する認識物体情報決定部と、
   前記認識物体情報に応じて、２以上の学習モデルから物体認識に用いる学習モデルである物体認識モデルを選択する学習モデル選択部と、
   選択された前記物体認識モデルを用いて、車両運転中に撮影される画像中の物体を認識する物体認識部と、
   前記物体認識部による物体認識結果を、前記学習モデル選択合成部により選択された学習モデルに用いて、車両運転中に生じる危険シーンを予測する危険シーン予測部とを備えた
   ことを特徴とする危険シーン予測装置。
2. 前記学習モデル選択部は、車両運転中に得られる情報に基づいて判定されたシーンおよび前記認識物体情報決定部によって決定された認識物体情報に応じて、物体認識モデルを選択する
   請求項１記載の危険シーン予測装置。
3. 車両運転中に生じる危険シーンを予測する危険シーン予測装置であって、
   車両運転中に得られる情報に基づいて判定されたシーンに応じて、２以上の学習モデルから危険シーンの予測に用いる学習モデルを選択する学習モデル選択合成部と、
   選択された学習モデルを用いて、車両運転中に生じる危険シーンを予測する危険シーン予測部と、
   前記判定されたシーンに応じて、物体認識に用いられるニューラルネットワーク、および、前記危険シーンの予測に用いられる学習モデルを決定するモデル調整部と、
   決定された前記ニューラルネットワークを用いて、車両運転中に撮影される画像中の物体を認識する物体認識部とを備え、
   前記モデル調整部は、前記物体認識における処理および危険シーンを予測する処理に要する演算量が、許容される演算量である許容演算量以下になるように、前記ニューラルネットワークおよび学習モデルを決定し、
   前記学習モデル選択合成部は、決定された学習モデルに基づいて、危険シーンの予測に用いる学習モデルを選択し、
   前記危険シーン予測部は、前記物体認識部による物体認識結果を、選択された学習モデルに用いて、車両運転中に生じる危険シーンを予測する
   ことを特徴とする危険シーン予測装置。
4. モデル調整部は、判定されたシーンに応じて、物体認識における処理と危険シーンを予測する処理との相対的な優先度を決定し、決定された優先度に基づいて、物体認識における処理および危険シーンを予測する処理に要する演算量が許容演算量以下になるように、ニューラルネットワークおよび学習モデルを決定する
   請求項３記載の危険シーン予測装置。
5. 判定されたシーンに対する危険シーンの予測に許容される時間に応じて、許容演算量を決定する許容演算量決定部を備え、
   モデル調整部は、物体認識における処理および危険シーンを予測する処理に要する演算量が、前記許容演算量以下になるように、ニューラルネットワークおよび学習モデルを決定する
   請求項３または請求項４記載の危険シーン予測装置。
6. 車両運転中に得られる情報に基づいて、当該車両のシーンを判定するシーン判定部を備えた
   請求項１から請求項５のうちのいずれか１項に記載の危険シーン予測装置。
7. 車両運転中に生じる危険シーンを予測する危険シーン予測方法であって、
   コンピュータが、車両運転中に得られる情報に基づいて判定されたシーンに応じて、２以上の学習モデルから危険シーンの予測に用いる学習モデルを選択し、
   前記コンピュータが、選択された前記学習モデルの情報に基づいて、認識の対象とする物体についての情報である認識物体情報を決定し、
   前記コンピュータが、前記認識物体情報に応じて、２以上の学習モデルから物体認識に用いる学習モデルである物体認識モデルを選択し、
   前記コンピュータが、選択された前記物体認識モデルを用いて、車両運転中に撮影される画像中の物体を認識し、
   前記コンピュータが、前記認識による物体認識結果を、選択された前記危険シーンの予測に用いる学習モデルに用いて、車両運転中に生じる危険シーンを予測する
   ことを特徴とする危険シーン予測方法。
8. コンピュータが、車両運転中に得られる情報に基づいて判定されたシーンおよび前記認識物体情報に応じて、物体認識モデルを選択する
   請求項７記載の危険シーン予測方法。
9. 車両運転中に生じる危険シーンを予測するコンピュータに適用される危険シーン予測プログラムであって、
   前記コンピュータに、
   車両運転中に得られる情報に基づいて判定されたシーンに応じて、２以上の学習モデルから危険シーンの予測に用いる学習モデルを選択する学習モデル選択合成処理、
   選択された前記学習モデルの情報に基づいて、認識の対象とする物体についての情報である認識物体情報を決定する認識物体情報決定処理、
   前記認識物体情報に応じて、２以上の学習モデルから物体認識に用いる学習モデルである物体認識モデルを選択する学習モデル選択処理、
   選択された前記物体認識モデルを用いて、車両運転中に撮影される画像中の物体を認識する物体認識処理、および、
   前記物体認識処理における物体認識結果を、前記学習モデル選択合成処理で選択された学習モデルに用いて、車両運転中に生じる危険シーンを予測する危険シーン予測処理
   を実行させるための危険シーン予測プログラム。
10. コンピュータに、
    前記学習モデル選択処理で、車両運転中に得られる情報に基づいて判定されたシーンおよび前記認識物体情報決定処理で決定された認識物体情報に応じて、物体認識モデルを選択させる
    請求項９記載の危険シーン予測プログラム。

Images