JP7055224B2 - 衝突回避支援制御装置、衝突回避支援システム、及び衝突回避支援方法 - Google Patents

Description

本開示は、衝突事故の回避を支援するための衝突回避支援制御装置に関する。

近年、車両を運転する運転者を撮影した画像を処理することで、運転者の状態を推定し、運転者が正常な状態ではない場合に、運転者に警告を出力することで重大事故の発生を防止することができる運転者異常状態推定装置が用いられている（例えば、特許文献１参照）。

特開２０１４－１９１４７４号公報

実際の運転状況においては、運転者が正常な状態であっても、運転者は、自身の運転する車両と衝突する可能性がある対象（以下「衝突対象」という。）を視認できない場合がある。例えば、運転者が車両を運転中、前方に集中している場合、運転者の視界は固定されてしまうことがある。これにより、運転者の視界に死角が生じ、運転者は、当該死角に存在する衝突対象を視認できない場合がある。運転者が衝突対象を視認できない場合、車両が衝突対象と衝突する可能性が高まり、衝突事故が発生してしまう虞がある。
本開示は、上記のような問題点を解決するためになされたものであり、車両が衝突対象と衝突する可能性を低下させることができる技術を提供することを目的とする。

本開示に係る衝突回避支援制御装置は、車両の運転者及び当該運転者以外の搭乗者の画像を取得する画像取得部と、車両が現在通行している道路に関する情報に基づいて、車両が衝突対象と衝突する可能性を判定する衝突可能性判定に、搭乗者に関する情報を用いるか否かを判定する要否判定部と、要否判定部が衝突可能性判定に搭乗者に関する情報を用いると判定した場合、画像取得部が取得した画像が示す搭乗者に関する情報に基づいて、衝突可能性判定を行う衝突可能性判定部と、を備えている。

本開示によれば、車両が衝突対象と衝突する可能性を低下させることができる。

実施の形態１に係る衝突回避支援システムの構成を示すブロック図である。 実施の形態１に係る衝突回避支援制御装置による衝突回避支援方法を示すフローチャートである。 実施の形態２に係る衝突回避支援システムの構成を示すブロック図である。 実施の形態２に係る衝突回避支援制御装置による衝突回避支援方法を示すフローチャートである。 実施の形態２に係る衝突回避支援制御装置が車両に設置された例を示す概略図である。 実施の形態２に係る衝突回避支援制御装置の撮影部が撮影した画像の例を示す概略図である。 実施の形態２に係る衝突回避支援制御装置による衝突回避支援方法の工程を説明するための概略図である。 実施の形態２係る衝突回避支援制御装置が奏する効果を説明するための図である。 実施の形態３に係る衝突回避支援システムの構成を示すブロック図である。 実施の形態３に係る衝突回避支援制御装置による衝突回避支援方法を示すフローチャートである。 図１０が示すフローチャートの続きである。 実施の形態３に係る衝突回避支援制御装置による衝突回避支援方法の変形例を示すフローチャートである。 図１２が示すフローチャートの続きである。 実施の形態４に係る衝突回避支援システムの構成を示すブロック図である。 実施の形態４に係る衝突回避支援制御装置による衝突回避支援方法を示すフローチャートである。 図１５が示すフローチャートの続きである。 実施の形態４に係る衝突回避支援制御装置による衝突回避支援方法の変形例を示すフローチャートである。 図１７が示すフローチャートの続きである。 実施の形態５に係る衝突回避支援システムの構成を示すブロック図である。 実施の形態５に係る衝突回避支援制御装置による衝突回避支援方法を示すフローチャートである。 図２１が示すフローチャートの続きである。 図２２Ａ及び図２２Ｂは、それぞれ、実施の形態５に係る衝突回避支援システムの視野範囲推定部が上述の視野範囲を推定する構成を説明するための概略図である。 図２３Ａは、実施の形態１－５に係る衝突回避支援制御装置の機能を実現するハードウェア構成を示すブロック図である。図２３Ｂは、実施の形態１－５に係る衝突回避支援制御装置の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。

以下、本開示をより詳細に説明するため、本開示を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る衝突回避支援システム１の構成を示すブロック図である。衝突回避支援システム１は、車両に搭載される。なお、以下では、「車両」は、「別の」等の修飾語を付さない限り、衝突回避支援システム１が搭載された車両を意味するものとする。図１が示すように、衝突回避支援システム１は、衝突回避支援制御装置２、警告装置３、撮影部４、現在地測位部６０、記憶部６１、及び手動切換え部６２を含む。衝突回避支援制御装置２は、通信回路１００を介して、警告装置３と接続されている。通信回路１００の例として、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）が挙げられる。なお、実施の形態１では、衝突回避支援システム１が撮影部４、現在地測位部６０、記憶部６１、及び手動切換え部６２を含む構成について説明するが、衝突回避支援システム１は、これらのうち、少なくとも撮影部４を含んでいればよい。

撮影部４は、車両の運転者、及び車両の運転者以外の搭乗者を撮影する。なお、以下では、「搭乗者」は、車両の運転者以外の搭乗者を意味するものとする。撮影部４は、車両の運転者と搭乗者とを一緒に撮影することにより、車両の運転者と搭乗者とが写った画像を取得してもよい。または、撮影部４は、車両の運転者と搭乗者とを別々に撮影することにより、車両の運転者が写った画像と搭乗者が写った画像とを取得してもよい。撮影部４は、少なくとも運転者の頭部及び搭乗者の頭部を含む領域を撮影することが好ましい。撮影部４の例として、車両の運転者と搭乗者とを含む領域よりも幅広く車内空間を撮影できる広角カメラが挙げられる。撮影部４は、撮影した画像を衝突回避支援制御装置２に出力する。

現在地測位部６０は、車両の現在地を測定することにより現在地情報を取得する。現在地測位部６０は、例えば、衛星測位システム、ジャイロセンサ又は加速度センサ等から構成される。現在地測位部６０は、取得した現在地情報を衝突回避支援制御装置２に出力する。

記憶部６１は、地図情報が記憶されている。当該地図情報は、例えば、車両が通行する道路の種別若しくは交通状況に関する情報、又は当該道路の周辺の建物に関する情報等を含む。記憶部６１は、記憶されている地図情報を衝突回避支援制御装置２に出力する。

手動切換え部６２は、車両の運転者又は当該搭乗者から、衝突可能性判定に搭乗者に関する情報を用いるか否かを指示する指示情報を受け付ける。なお、ここにおける衝突可能性判定とは、車両が衝突対象と衝突する可能性を判定することを意味する。手動切換え部６２は、例えば、運転者又は搭乗者によって、衝突可能性判定に搭乗者に関する情報を用いるか否かが入力されるタッチパネル又はスイッチ等である。手動切換え部６２は、受け付けた指示情報を衝突回避支援制御装置２に出力する。

次に、衝突回避支援制御装置２の構成について説明する。図１が示すように、衝突回避支援制御装置２は、画像取得部７、搭乗者情報要否判定部６３、画像解析部５、及び警告情報生成部６を備えている。なお、本明細書において、搭乗者情報要否判定部６３及び後述する要否判定部６９における「要否」が示す意味は、衝突可能性判定に搭乗者に関する情報を用いるか用いないかという意味である。

画像取得部７は、撮影部４が運転者及び搭乗者を撮影した画像を取得する。画像取得部７は、取得した画像を搭乗者情報要否判定部６３及び画像解析部５にそれぞれ出力する。
搭乗者情報要否判定部６３は、現在地情報取得部６４、地図情報取得部６５、道路特定部６６、運転技能推定部６７、指示情報取得部６８、及び要否判定部６９を備えている。

現在地情報取得部６４は、車両の現在地に関する現在地情報を取得する。実施の形態１では、現在地情報取得部６４は、現在地測位部６０が取得した現在地情報を取得する。現在地情報取得部６４は、取得した現在地情報を道路特定部６６に出力する。

地図情報取得部６５は、地図情報を取得する。実施の形態１では、地図情報取得部６５は、記憶部６１に記憶された地図情報を取得する。地図情報取得部６５は、取得した地図情報を道路特定部６６に出力する。

道路特定部６６は、現在地情報取得部６４が取得した現在地情報と、地図情報取得部６５が取得した地図情報とに基づいて、車両が現在通行している道路を特定する。道路特定部６６は、特定した道路に関する情報を要否判定部６９に出力する。

運転技能推定部６７は、運転者の運転技能を推定する。より詳細には、実施の形態１では、運転技能推定部６７は、画像取得部７が取得した画像に基づいて、運転者の運転技能を推定する。運転技能推定部６７が推定する運転者の運転技能は、例えば、運転者の運転スキル又は運転者の運転歴等である。または、運転技能推定部６７は、画像取得部７が取得した画像に基づいて、運転者の体調等を推定し、推定した運転者の体調等に基づいて、運転者の能力の発揮度合いを推定してもよい。

なお、実施の形態１では、運転技能推定部６７は、画像取得部７が取得した画像に基づいて、運転者の運転技能を推定する構成について説明するが、運転技能推定部６７は、他の情報に基づいて、運転者の運転技能を推定してもよい。例えば、運転技能推定部６７は、運転者の運転操作に基づいて運転者の運転を評価することにより、運転者の運転技能を推定し得る。運転技能推定部６７は、推定した運転者の運転技能に関する情報を要否判定部６９に出力する。

指示情報取得部６８は、衝突可能性判定に搭乗者に関する情報を用いるか否かを指示する指示情報を取得する。実施の形態１では、指示情報取得部６８は、手動切換え部６２が受け付けた指示情報を取得する。指示情報取得部６８は、取得した指示情報を要否判定部６９に出力する。

要否判定部６９は、衝突可能性判定に、搭乗者に関する情報を用いるか否かを判定する。要否判定部６９は、判定結果を画像解析部５に出力する。より詳細には、実施の形態１では、要否判定部６９は、車両が現在通行している道路に関する情報、運転者に関する情報、又は衝突可能性判定に搭乗者に関する情報を用いるか否かを指示する指示情報のうちの少なくとも１つ以上の情報に基づいて、衝突可能性判定に搭乗者に関する情報を用いるか否かを判定する。

例えば、要否判定部６９は、道路特定部６６が特定した道路に関する情報に基づいて、衝突可能性判定に搭乗者に関する情報を用いるか否かを判定する。その場合、例えば、要否判定部６９は、道路特定部６６が特定した道路に関する情報を、記憶部６１が記憶している上述の地図情報から取得してもよいし、図示しない通信装置から取得してもよい。道路に関する情報の例として、高速道路等の道路の種別、道路の交通状況、又は住宅等の道路周辺の建物に関する情報等が挙げられる。

または、例えば、要否判定部６９は、運転技能推定部６７が推定した運転者の運転技能に基づいて、衝突可能性判定に搭乗者に関する情報を用いるか否かを判定する。その場合、例えば、要否判定部６９は、運転技能推定部６７が推定した運転者の運転技能が正常に車両を運転できる程度の運転技能である場合、衝突可能性判定に搭乗者に関する情報を用いないと判定する。または、例えば、要否判定部６９は、運転技能推定部６７が推定した運転者の運転技能が正常に車両を運転できない程度の運転技能である場合、衝突可能性判定に搭乗者に関する情報を用いると判定する。

または、例えば、要否判定部６９は、指示情報取得部６８が取得した指示情報が衝突可能性判定に搭乗者に関する情報を用いることを指示している場合、衝突可能性判定に搭乗者に関する情報を用いると判定し、指示情報取得部６８が取得した指示情報が衝突可能性判定に搭乗者に関する情報を用いないことを指示している場合、衝突可能性判定に搭乗者に関する情報を用いないと判定する。

または、例えば、要否判定部６９は、道路特定部６６が特定した道路に関する情報、運転技能推定部６７が推定した運転者の運転技能、又は指示情報取得部６８が取得した指示情報のうちの少なくとも２つ以上の情報に基づいて、衝突可能性判定に搭乗者に関する情報を用いるか否かを判定する。

より詳細には、例えば、要否判定部６９は、道路特定部６６が特定した道路に関する情報に基づいて、当該道路における運転の難易度を決定する。その場合、要否判定部６９は、道路特定部６６が特定した道路が車両のスピードが上昇し得る高速道路である場合、又は道路特定部６６が特定した道路の周辺の建物が死角が多い住宅である場合、当該道路における運転の難易度を高く設定する。

また、例えば、要否判定部６９は、運転技能推定部６７が推定した運転者の運転技能に基づいて、運転者の運転技能の未熟度を決定する。その場合、要否判定部６９は、運転技能推定部６７が推定した運転者の運転技能が未熟であると判定した場合、運転者の運転技能の未熟度を高く設定する。

また、例えば、要否判定部６９は、指示情報取得部６８が取得した指示情報に基づいて、運転者又は搭乗者が、衝突可能性判定に搭乗者に関する情報を用いることを意向する度合いを示す意向度を決定する。その場合、要否判定部６９は、指示情報取得部６８が取得した指示情報が衝突可能性判定に搭乗者に関する情報を用いることを指示している場合、意向度を高く設定する。または、要否判定部６９は、指示情報取得部６８が取得した指示情報が衝突可能性判定に搭乗者に関する情報を用いないことを指示している場合、意向度をゼロに設定する。

そして、例えば、要否判定部６９は、決定した道路の難易度、運転者の運転技能の未熟度、又は意向度のうちの少なくとも２つ以上の数値を足し合わせ、足し合わせた数値が所定の閾値以上であるか否かを判定する。要否判定部６９は、足し合わせた数値が所定の閾値以上であると判定した場合、衝突可能性判定に搭乗者に関する情報を用いると判定する。または、要否判定部６９は、足し合わせた数値が所定の閾値未満であると判定した場合、衝突可能性判定に搭乗者に関する情報を用いないと判定する。

なお、上記の例では、要否判定部６９が、道路に関する情報、運転者の運転技能、又は指示情報に基づいて、衝突可能性判定に搭乗者に関する情報を用いるか否かを判定する構成について説明した。しかし、要否判定部６９は、当該構成に限定されない。要否判定部６９は、衝突可能性判定に搭乗者に関する情報を用いるか否かを判定する際に、上記の各情報とは別の車両に関する情報、道路に関する情報、又は運転者に関する情報等に基づいてもよい。

画像解析部５は、衝突可能性判定部１５を備えている。なお、図１では、画像解析部５の詳細な構成については省略している。
衝突可能性判定部１５は、要否判定部６９が衝突可能性判定に搭乗者に関する情報を用いると判定した場合、画像取得部７が取得した画像が示す搭乗者に関する情報に基づいて、車両が衝突対象と衝突する可能性を判定する衝突可能性判定を行う。または、衝突可能性判定部１５は、要否判定部６９が衝突可能性判定に搭乗者に関する情報を用いないと判定した場合、画像取得部７が取得した画像が示す搭乗者に関する情報に基づかずに、車両が衝突対象と衝突する可能性を判定する衝突可能性判定を行う。

警告情報生成部６は、衝突可能性判定部１５が、車両が衝突対象と衝突する可能性があると判定した場合、警告情報を生成する。警告情報生成部６は、生成した警告情報を警告装置３に出力する。警告情報生成部６が生成する警告情報の内容の例としては、衝突対象との衝突を回避する操作を行うように運転者に警告する情報等が挙げられる。

また、例えば、警告情報生成部６は、要否判定部６９が衝突可能性判定に搭乗者に関する情報を用いると判定した場合、衝突可能性判定に搭乗者に関する情報が用いられることを運転者又は搭乗者に通知する通知情報を生成してもよい。

警告装置３は、警告情報生成部６が生成した警告情報を出力する。より詳細には、例えば、警告装置３は、警告情報生成部６が生成した警告情報を音声又は画像として出力する。警告装置３の例として、スピーカー又はディスプレイ等が挙げられる。警告装置３は、運転者を含めた全ての搭乗者が警告情報を認識するように警告情報を出力することが好ましい。

また、例えば、警告情報生成部６が、衝突可能性判定に搭乗者に関する情報が用いられることを運転者又は搭乗者に知らせる通知情報を生成した場合、警告装置３は、警告情報生成部６が生成した通知情報を出力する。これにより、運転者又は搭乗者は、衝突可能性判定に搭乗者に関する情報が用いられることを認識することができ、搭乗者は、車両が衝突対象と衝突する可能性を察知するために緊張感を維持することができる。そして、上述の衝突可能性判定部１５は、そのような搭乗者に関する情報に基づいて、車両が衝突対象と衝突する可能性を適切に判定することができる。

次に、衝突回避支援制御装置２の動作について図面を参照して説明する。図２は、実施の形態１に係る衝突回避支援制御装置２による衝突回避支援方法を示すフローチャートである。なお、当該動作の開始前には、撮影部４が車両の運転者及び搭乗者を撮影し、現在地測位部６０が車両の現在地を測定することにより現在地情報を取得し、手動切換え部６２が上述の指示情報を受け付けたものとする。また、当該動作の開始条件の例としては、運転者が、車両のイグニションキーを用いて車両のエンジンを点火し、アクセルを操作し始めた場合等が挙げられる。

図２が示すように、現在地情報取得部６４は、現在地測位部６０が取得した現在地情報を取得する（ステップＳＴ５０）。現在地情報取得部６４は、取得した現在地情報を道路特定部６６に出力する。

次に、地図情報取得部６５は、記憶部６１に記憶された地図情報を取得する（ステップＳＴ５１）。地図情報取得部６５は、取得した地図情報を道路特定部６６に出力する。
次に、道路特定部６６は、現在地情報取得部６４が取得した現在地情報と、地図情報取得部６５が取得した地図情報とに基づいて、車両が現在通行している道路を特定する（ステップＳＴ５２）。道路特定部６６は、特定した道路に関する情報を要否判定部６９に出力する。

次に、画像取得部７は、撮影部４が運転者及び搭乗者を撮影した画像を取得する（ステップＳＴ５３）。画像取得部７は、取得した画像を運転技能推定部６７に出力する。
次に、運転技能推定部６７は、画像取得部７が取得した画像に基づいて、運転者の運転技能を推定する（ステップＳＴ５４）。運転技能推定部６７は、推定した運転者の運転技能を要否判定部６９に出力する。

次に、指示情報取得部６８は、手動切換え部６２から、衝突可能性判定に搭乗者に関する情報を用いるか否かを指示する指示情報を取得する（ステップＳＴ５５）。指示情報取得部６８は、取得した指示情報を要否判定部６９に出力する。

次に、要否判定部６９は、道路特定部６６が特定した道路に関する情報に基づいて、当該道路における運転の難易度を決定し、運転技能推定部６７が推定した運転者の運転技能に基づいて、運転者の運転技能の未熟度を決定し、指示情報取得部６８が取得した指示情報に基づいて、上述の意向度を決定する（ステップＳＴ５６）。

次に、要否判定部６９は、決定した難易度、未熟度、又は意向度のうちの少なくとも２つ以上の数値を足し合わせ、足し合わせた数値が所定の閾値以上であるか否かを判定する（ステップＳＴ５７）。要否判定部６９は、判定結果を衝突可能性判定部１５に出力する。

要否判定部６９が足し合わせた数値が所定の閾値以上であると判定した場合（ステップＳＴ５７のＹＥＳ）、衝突可能性判定部１５は、画像取得部７が取得した画像が示す搭乗者に関する情報に基づいて、車両が衝突対象と衝突する可能性を判定する衝突可能性判定を行う（ステップＳＴ５８）。

一方、要否判定部６９が足し合わせた数値が所定の閾値未満であると判定した場合、衝突可能性判定部１５は、画像取得部７が取得した画像が示す搭乗者に関する情報に基づかずに、車両が衝突対象と衝突する可能性を判定する衝突可能性判定を行う（ステップＳＴ５９）。その場合、衝突可能性判定部１５は、画像取得部７が取得した画像が示す運転者に関する情報等に基づいて、車両が衝突対象と衝突する可能性を判定する衝突可能性判定を行い得る。

なお、ステップＳＴ５８又はステップＳＴ５９の次に、衝突可能性判定の結果に応じて、警告情報生成部６は、警告情報を生成する。また、警告装置３は、警告情報生成部６が生成した警告情報を出力する。

以上のように、実施の形態１に係る衝突回避支援制御装置２は、車両の運転者及び当該運転者以外の搭乗者の画像を取得する画像取得部７と、車両が衝突対象と衝突する可能性を判定する衝突可能性判定に、運転者以外の搭乗者に関する情報を用いるか否かを判定する要否判定部６９と、要否判定部６９が衝突可能性判定に運転者以外の搭乗者に関する情報を用いると判定した場合、画像取得部７が取得した画像が示す搭乗者に関する情報に基づいて、衝突可能性判定を行う衝突可能性判定部１５と、を備えている。

上記の構成によれば、運転者に関する情報が衝突可能性判定に適切な情報ではない場合でも、運転者以外の搭乗者に関する情報に基づいて、車両が衝突対象と衝突する可能性を判定することができる。これにより、当該判定結果を適宜利用することによって、車両が衝突対象と衝突する可能性を低下させることができる。

また、運転者以外の搭乗者に関する情報に関して、衝突可能性判定に運転者以外の搭乗者に関する情報を用いた場合、当該搭乗者は、常に車両が衝突対象と衝突する可能性を察知するために緊張感を維持し続ける必要がある。しかし、ハンドル操作を行わない当該搭乗者が常に車両が衝突対象と衝突する可能性を察知するために緊張感を維持し続けることは困難である。よって、衝突可能性判定に運転者以外の搭乗者に関する情報を用いたとしても、車両が衝突対象と衝突する可能性を適切に判定できない場合がある。また、車両が通行する道路の状況によっては、衝突可能性判定に運転者に関する情報のみを用いることで、車両が衝突対象と衝突する可能性を十分に判定できる場合もある。また、運転者の状態によっては、衝突可能性判定に、運転者に関する情報のみを用いることで、車両が衝突対象と衝突する可能性を十分に判定できる場合もある。また、衝突可能性判定に運転者に関する情報を用いたほうが、車両が衝突対象と衝突する可能性を適切に判定できると、運転者又は搭乗者が考える場合もある。つまり、衝突可能性判定に運転者以外の搭乗者に関する情報を用いることによって、車両が衝突対象と衝突する可能性を、常に、適切に判定できるわけではないという問題がある。

しかし、実施の形態１に係る上記の構成によれば、例えば、適宜、車両、道路又は運転者に関する情報等に基づいて、衝突可能性判定に運転者以外の搭乗者に関する情報を用いるか否かを判定することにより、衝突可能性判定に運転者以外の搭乗者に関する情報を用いることが好ましい状況において、衝突可能性判定に運転者以外の搭乗者に関する情報を用いることができる。これにより、衝突可能性判定の精度を向上することができる。

また、実施の形態１に係る衝突回避支援制御装置２における要否判定部６９は、車両が現在通行している道路に関する情報、運転者に関する情報、又は衝突可能性判定に運転者以外の搭乗者に関する情報を用いるか否かを指示する指示情報のうちの少なくとも１つ以上の情報に基づいて、衝突可能性判定に、運転者以外の搭乗者に関する情報を用いるか否かを判定する。

上記の構成によれば、車両が現在通行している道路に関する情報、運転者に関する情報、又は衝突可能性判定に運転者以外の搭乗者に関する情報を用いるか否かを指示する指示情報のうちの少なくとも１つ以上の情報に基づいて、衝突可能性判定に、運転者以外の搭乗者に関する情報を用いるか否かを判定する。これにより、衝突可能性判定に運転者以外の搭乗者に関する情報を用いることが好ましい状況において、衝突可能性判定に運転者以外の搭乗者に関する情報を用いることができる。よって、衝突可能性判定の精度を向上することができる。

また、実施の形態１に係る衝突回避支援制御装置２は、車両の現在地に関する現在地情報を取得する現在地情報取得部６４と、地図情報を取得する地図情報取得部６５と、現在地情報取得部６４が取得した現在地情報と、地図情報取得部６５が取得した地図情報とに基づいて、車両が現在通行している道路を特定する道路特定部６６と、をさらに備え、要否判定部６９は、道路特定部６６が特定した道路に関する情報に基づいて、衝突可能性判定に運転者以外の搭乗者に関する情報を用いるか否かを判定する。

上記の構成によれば、車両が現在通行している道路に関する情報に基づいて、衝突可能性判定に、運転者以外の搭乗者に関する情報を用いるか否かを判定する。これにより、衝突可能性判定に運転者以外の搭乗者に関する情報を用いることが好ましい状況において、衝突可能性判定に運転者以外の搭乗者に関する情報を用いることができる。よって、衝突可能性判定の精度を向上することができる。

また、実施の形態１に係る衝突回避支援制御装置２は、運転者の運転技能を推定する運転技能推定部６７をさらに備え、要否判定部６９は、運転技能推定部６７が推定した運転者の運転技能に基づいて、衝突可能性判定に搭乗者に関する情報を用いるか否かを判定する。

上記の構成によれば、運転者の運転技能に基づいて、衝突可能性判定に、運転者以外の搭乗者に関する情報を用いるか否かを判定する。これにより、衝突可能性判定に運転者以外の搭乗者に関する情報を用いることが好ましい状況において、衝突可能性判定に運転者以外の搭乗者に関する情報を用いることができる。よって、衝突可能性判定の精度を向上することができる。

また、実施の形態１に係る衝突回避支援制御装置２は、衝突可能性判定に運転者以外の搭乗者に関する情報を用いるか否かを指示する指示情報を取得する指示情報取得部６８をさらに備え、要否判定部６９は、指示情報取得部６８が取得した指示情報が衝突可能性判定に運転者以外の搭乗者に関する情報を用いることを指示している場合、衝突可能性判定に運転者以外の搭乗者に関する情報を用いると判定し、指示情報取得部６８が取得した指示情報が衝突可能性判定に運転者以外の搭乗者に関する情報を用いないことを指示している場合、衝突可能性判定に運転者以外の搭乗者に関する情報を用いないと判定する。

上記の構成によれば、指示情報に基づくことで、衝突可能性判定に、運転者以外の搭乗者に関する情報を用いるか否かを判定する。これにより、衝突可能性判定に運転者以外の搭乗者に関する情報を用いることが好ましい状況において、衝突可能性判定に運転者以外の搭乗者に関する情報を用いることができる。よって、衝突可能性判定の精度を向上することができる。

また、実施の形態１に係る衝突回避支援方法は、車両の運転者及び当該運転者以外の搭乗者の画像を取得する画像取得工程と、車両が衝突対象と衝突する可能性を判定する衝突可能性判定に、運転者以外の搭乗者に関する情報を用いるか否かを判定する要否判定工程と、要否判定工程で衝突可能性判定に搭乗者に関する情報を用いると判定した場合、画像取得工程で取得した画像が示す搭乗者に関する情報に基づいて、衝突可能性判定を行う衝突可能性判定工程と、を含む。
上記の構成によれば、上述の衝突回避支援制御装置２が奏する効果と同様の効果を奏する。

実施の形態２．
実施の形態２では、上述の画像解析部５の衝突可能性判定部１５による衝突可能性判定の具体的な例について説明する。
以下で、実施の形態２について図面を参照して説明する。なお、実施の形態１で説明した構成と同様の機能を有する構成については同一の符号を付し、その説明を省略する。
図３は、実施の形態２に係る衝突回避支援システム１の構成を示すブロック図である。なお、図３が示す衝突回避支援システム１は、図１が示す衝突回避支援システム１の画像解析部５の構成を詳細に示した図である。図３では、実施の形態１で説明した現在地測位部６０、記憶部６１、及び手動切換え部６２を省略している。また、図３では、実施の形態１で説明した搭乗者情報要否判定部６３の詳細な構成については省略している。図３が示すように、衝突回避支援システム１は、衝突回避支援制御装置２、警告装置３、及び撮影部４を含む。上述の通り、衝突回避支援制御装置２は、通信回路１００を介して、警告装置３と接続されている。

上述の通り、衝突回避支援制御装置２は、画像取得部７、搭乗者情報要否判定部６３、画像解析部５、及び警告情報生成部６を備えている。なお、実施の形態２では、衝突回避支援制御装置２が搭乗者情報要否判定部６３を備えている構成について説明するが、衝突回避支援制御装置２は搭乗者情報要否判定部６３を備えていなくてもよい。画像解析部５は、運転者顔情報検出部８、運転者顔基準設定部９、運転者状態判定部１０、搭乗者顔情報検出部１１、死角判定部１２、搭乗者顔基準設定部１３、搭乗者状態推定部１４、及び衝突可能性判定部１５を備えている。

運転者顔情報検出部８は、画像取得部７が取得した画像を参照して運転者の顔情報を検出する。運転者顔情報検出部８は、検出した運転者の顔情報を運転者状態判定部１０及び運転者顔基準設定部９に出力する。運転者の顔情報は、運転者の顔の状態を示す情報である。運転者の顔情報が示す顔の状態の例として、運転者の顔特徴点の位置関係、運転者の目の開閉状態、運転者の視線の向き、運転者の顔の向き、運転者の顔の位置に基づいた運転者の姿勢、運転者の目の扁平率、運転者の視認範囲、運転者が顔の向きを変えた場合に視認できる範囲、運転者の顔への装着物、及び、運転者の顔におけるコントラストの発生が挙げられる。運転者の顔への装着物の例として、メガネ、サングラス、及びマスクが挙げられる。

運転者顔基準設定部９は、運転者顔情報検出部８が運転者による運転開始前に撮影部４が撮影した画像から検出した運転者の顔情報と、予め設定された正常状態の運転者の顔情報とを参照して、運転者の顔の基準状態を示す情報を設定する。なお、本願において、正常状態の運転者とは、集中力低下又は眠気等が生じておらず、正常に運転を行うことができる状態の運転者を意味する。運転者顔基準設定部９が参照する正常状態の運転者の顔情報は、正面を向いている運転者の顔情報を含んでいることが好ましい。そのような正常状態の運転者の顔情報の例として、運転免許証の顔写真から得られる顔情報が挙げられる。また、運転者顔基準設定部９が設定する運転者の顔の基準状態を示す情報は、顔が車両の進行方向に対して正面を向いて運転を行っているときの運転者の顔の向き、正常に運転を行っているときの運転者の目の扁平率等を含み得る。

運転者状態判定部１０は、運転者顔情報検出部８が運転者による運転開始後に撮影部４が撮影した画像から検出した運転者の顔情報と、運転者顔基準設定部９が設定した運転者の顔の基準状態を示す情報とを比較することにより、運転者の状態を推定し、推定した運転者の状態が正常状態であるか否かを判定する。運転者状態判定部１０は、判定結果を搭乗者顔情報検出部１１に出力する。また、必要に応じて、運転者状態判定部１０は、判定に用いた運転者の顔情報を死角判定部１２に出力する。正常状態ではない運転者の状態の例として、居眠り運転、脇見運転、又は体調急変が挙げられる。運転者状態判定部１０が運転者の状態が正常状態ではないと判定した場合、後述する警告情報生成部６は、正常状態に戻るように運転者に警告する警告情報を生成し、警告装置３は、当該警告情報を音声で出力してもよい。

搭乗者顔情報検出部１１は、運転者状態判定部１０が運転者の状態が正常状態であると判定した場合、運転者による運転開始後に画像取得部７が取得した画像を参照して、搭乗者の顔情報を検出する。その場合、搭乗者顔情報検出部１１は、検出した搭乗者の顔情報を死角判定部１２、及び搭乗者状態推定部１４に出力する。また、搭乗者顔情報検出部１１は、運転者による運転開始前に予め画像取得部７が取得した画像を参照して、搭乗者の顔情報を検出する。その場合、搭乗者顔情報検出部１１は、検出した搭乗者の顔情報を、搭乗者顔基準設定部１３に出力する。搭乗者の顔情報は、搭乗者の顔の状態を示す情報である。搭乗者の顔情報が示す顔の状態の例として、搭乗者の顔特徴点の位置関係、搭乗者の目の開閉状態、搭乗者の視線の向き、搭乗者の顔の向き、搭乗者の顔の位置に基づいた搭乗者の姿勢、搭乗者の目の扁平率、搭乗者の視認範囲、搭乗者が顔の向きを変えた場合に視認できるエリア、搭乗者の顔への装着物、及び、搭乗者の顔におけるコントラストの発生が挙げられる。搭乗者の顔への装着物の例として、メガネ、サングラス、及びマスクが挙げられる。

死角判定部１２は、搭乗者顔情報検出部１１が検出した搭乗者の顔情報に基づいて、搭乗者の視線から搭乗者が運転者の死角を見ているか否かを判定する。死角判定部１２は、運転者状態判定部１０が判定に用いた運転者の顔情報にさらに基づいて、搭乗者の視線から搭乗者が運転者の死角を見ているか否かを判定してもよい。なお、本願において、運転者の死角とは、運転者からは見えないが、搭乗者からは見える範囲を意味する。
例えば、死角判定部１２は、搭乗者の視野範囲として所定の範囲を用い、運転者の視野範囲として別の所定の範囲を用い、当該所定の範囲と当該別の所定の範囲との差異から運転者の死角を算出してもよい。その場合、運転者が車両を運転中に視界が固定されてしまう可能性を踏まえ、死角判定部１２は、運転者の視野範囲としての第１の範囲を、搭乗者の視野範囲としての第２の所定の範囲よりも狭く設定してもよい。
例えば、死角判定部１２は、搭乗者の顔情報が示す搭乗者の視線の向きから搭乗者の視野範囲を算出し、運転者の顔情報が示す運転者の視線の向きから運転者の視野範囲を算出し、算出した搭乗者の視野範囲と算出した運転者の視野範囲との差異から、判定に用いる運転者の死角を算出してもよい。また、死角判定部１２は、運転者の視野範囲として所定の範囲を用い、当該所定の範囲と算出した搭乗者の視野範囲との差異から運転者の死角を算出してもよい。または、死角判定部１２は、搭乗者の視野範囲として所定の範囲を用い、運転者の顔情報が示す運転者の視線の向きから運転者の視野範囲を算出し、当該所定の範囲と算出した運転者の視野範囲との差異から、判定に用いる運転者の死角を算出してもよい。
例えば、死角判定部１２は、運転者顔情報検出部８が検出した運転者の視線を、所定時間計測することにより運転者の視野範囲を算出し得る。例えば、死角判定部１２は、搭乗者顔情報検出部１１が検出した搭乗者の視線を、所定時間計測することにより搭乗者の視野範囲を算出し得る。
死角判定部１２は、運転者の視野範囲以外の範囲を死角として、当該死角と搭乗者の視線の向きとから、搭乗者が運転者の死角を見ているか否かを判定してもよい。 これにより、運転者の死角の算出に要する処理量を削減できる。

搭乗者顔基準設定部１３は、搭乗者顔情報検出部１１が運転者による運転開始前に撮影部４が撮影した画像から検出した搭乗者の顔情報と、予め設定された正常状態の搭乗者の顔情報とを参照して、搭乗者の顔の基準状態を示す情報を設定する。なお、本願において、正常状態の搭乗者とは、物理的な状態及び感情の状態がいずれも通常の状態である搭乗者を意味する。搭乗者顔基準設定部１３が参照する正常状態の搭乗者の顔情報は、正面を向いている搭乗者の顔情報等を含んでいることが好ましい。そのような正常状態の搭乗者の顔情報の例として、運転免許証の顔写真から得られる顔情報が挙げられる。また、搭乗者顔基準設定部１３が設定する搭乗者の顔の基準状態を示す情報は、正常状態の搭乗者の顔の状態を示す値であり得る。当該基準状態を示す情報は、顔が車両の進行方向に対して正面を向いているときの搭乗者の顔の向き、搭乗者が正しい姿勢をとっているときの搭乗者の顔の向き、感情が通常の状態で車外の状況を認識しているときの搭乗者の目の扁平率、感情が通常の状態で車外の状況を認識しているときの搭乗者の口の閉め方又は開き方を示す値等を含み得る。

搭乗者状態推定部１４は、画像取得部７が取得した搭乗者の画像に基づいて、搭乗者の状態を推定する。より具体的には、実施の形態２における搭乗者状態推定部１４は、死角判定部１２が搭乗者が運転者の死角を見ていると判定した場合、搭乗者顔情報検出部１１が運転者による運転開始後に撮影部４が撮影した画像から検出した搭乗者の顔情報と、搭乗者顔基準設定部１３が設定した搭乗者の顔の基準状態を示す情報とを比較することにより、搭乗者の状態を推定する。搭乗者状態推定部１４は、推定した搭乗者の状態を衝突可能性判定部１５に出力する。なお、搭乗者状態推定部１４が推定する搭乗者の状態には、搭乗者の物理的な状態、又は搭乗者の感情の状態も含む。搭乗者状態推定部１４が推定する搭乗者の正常ではない物理的な状態の例として、搭乗者が仰け反った姿勢にある状態、又は、搭乗者が顔を手で覆った状態が挙げられる。搭乗者状態推定部１４が推定する搭乗者の正常ではない感情の状態の例として、搭乗者が驚嘆している状態が挙げられる。

実施の形態２に係る衝突可能性判定部１５は、搭乗者状態推定部１４が推定した搭乗者の状態に基づいて、運転者の運転する車両と衝突する可能性がある対象、すなわち、衝突対象が存在するか否かを判定することにより、衝突可能性判定を行う。衝突可能性判定部１５は、判定結果を警告情報生成部６に出力する。例えば、衝突可能性判定部１５は、搭乗者状態推定部１４が搭乗者の感情の状態として、搭乗者が驚嘆している状態を推定した場合、衝突対象が存在すると判定する。衝突可能性判定部１５が判定する衝突対象の例として、運転者の運転する車両とは別の車両、歩行者、電柱、及びガードレール等が挙げられる。なお、本願における「衝突」という用語は、「衝突」の意味だけではなく、「接触」の意味も含むものとする。

実施の形態２に係る警告情報生成部６は、衝突可能性判定部１５が衝突対象が存在すると判定した場合、警告情報を生成する。警告情報生成部６が生成する警告情報の内容の例としては、衝突対象との衝突を回避する操作を行うように運転者に警告する情報が挙げられる。

実施の形態２に係る警告装置３は、警告情報生成部６が生成した警告情報を出力する。警告装置３の例として、スピーカーが挙げられる。警告装置３は、運転者を含めた全ての搭乗者が警告情報を認識するように警告情報を出力することが好ましい。

次に、実施の形態２に係る衝突回避支援制御装置２の動作について図面を参照して説明する。当該動作は、実施の形態１で説明した衝突回避支援方法におけるステップＳＴ５８の衝突可能性判定の具体的な例である。つまり、当該動作の前に、衝突回避支援制御装置２の搭乗者情報要否判定部６３が、衝突可能性判定に搭乗者に関する情報を用いると判定することにより、当該動作が開始されたものとする。一方で、衝突回避支援制御装置２が搭乗者情報要否判定部６３を備えていない場合、例えば、運転者が、車両のイグニションキーを用いて車両のエンジンを点火し、アクセルを操作し始めた場合等に、当該動作が開始される。なお、当該動作の開始前には、運転者顔基準設定部９は、運転者顔情報検出部８が運転者による運転開始前に撮影部４が撮影した画像から検出した運転者の顔情報と、予め設定された正常状態の運転者の顔情報とを参照して、運転者の顔の基準状態を示す情報を設定しているものとする。また、当該動作の開始前には、搭乗者顔基準設定部１３は、搭乗者顔情報検出部１１が運転者による運転開始前に撮影部４が撮影した画像から検出した搭乗者の顔情報と、予め設定された正常状態の搭乗者の顔情報とを参照して、搭乗者の顔の基準状態を示す情報を設定しているものとする。
図４は、実施の形態２に係る衝突回避支援制御装置２による衝突回避支援方法を示すフローチャートである。
図４が示すように、画像取得部７は、撮影部４が運転者と搭乗者とを撮影した画像を取得する（ステップＳＴ１）。画像取得部７は、取得した画像を運転者顔情報検出部８と搭乗者顔情報検出部１１とに出力する。
運転者顔情報検出部８は、画像取得部７が取得した画像を参照して運転者の顔情報を検出する（ステップＳＴ２）。運転者顔情報検出部８は、検出した運転者の顔情報を運転者状態判定部１０に出力する。

運転者状態判定部１０は、運転者顔情報検出部８が検出した運転者の顔情報と、運転者顔基準設定部９が予め設定した運転者の顔の基準状態を示す情報とを比較することにより、運転者の状態を推定する（ステップＳＴ３）。
運転者状態判定部１０は、ステップＳＴ３で推定した運転者の状態が正常状態であるか否かを判定する（ステップＳＴ４）。運転者状態判定部１０が運転者の状態が正常状態であると判定した場合（ステップＳＴ４のＹＥＳ）、衝突回避支援制御装置２は、ステップＳＴ５に処理を進める。運転者状態判定部１０が運転者の状態が正常状態ではないと判定した場合（ステップＳＴ４のＮＯ）、衝突回避支援制御装置２は、処理を終了する。なお、運転者状態判定部１０が運転者の状態が正常状態ではないと判定した場合、警告情報生成部６は、正常状態に戻るように運転者に警告する警告情報を生成し、警告装置３は、当該警告情報を音声で出力してもよい。なお、衝突回避支援制御装置２は、上記のステップＳＴ４の処理を行わずに、ステップＳＴ５に進んでもよい。
ステップＳＴ４で、運転者状態判定部１０が運転者の状態が正常状態であると判定した場合（ステップＳＴ４のＹＥＳ）、搭乗者顔情報検出部１１は、画像取得部７が取得した画像を参照して、搭乗者の顔情報を検出する（ステップＳＴ５）。搭乗者顔情報検出部１１は、検出した搭乗者の顔情報を死角判定部１２及び搭乗者状態推定部１４に出力する。

死角判定部１２は、搭乗者顔情報検出部１１が検出した搭乗者の顔情報に基づいて、搭乗者の視線から搭乗者が運転者の死角を見ているか否かを判定する（ステップＳＴ６）。死角判定部１２が搭乗者が運転者の死角を見ていると判定した場合（ステップＳＴ６のＹＥＳ）、衝突回避支援制御装置２は、ステップＳＴ７に処理を進める。死角判定部１２が搭乗者が運転者の死角を見ていないと判定した場合（ステップＳＴ６のＮＯ）、衝突回避支援制御装置２は、処理を終了する。なお、衝突回避支援制御装置２は、上記のステップＳＴ６を行わずに、ステップＳＴ７に進んでもよい。

搭乗者状態推定部１４は、死角判定部１２が搭乗者が運転者の死角を見ていると判定した場合、搭乗者顔情報検出部１１が検出した搭乗者の顔情報と、搭乗者顔基準設定部１３が予め設定した搭乗者の顔の基準状態を示す情報とを比較することにより、搭乗者の状態を推定する（ステップＳＴ７）。搭乗者状態推定部１４は、推定した搭乗者の状態を衝突可能性判定部１５に出力する。

衝突可能性判定部１５は、搭乗者状態推定部１４が推定した搭乗者の状態に基づいて、衝突対象が存在するか否かを判定することにより、衝突可能性判定を行う（ステップＳＴ８）。衝突可能性判定部１５が当該衝突対象が存在すると判定した場合（ステップＳＴ８のＹＥＳ）、衝突回避支援制御装置２は、ステップＳＴ９に処理を進める。衝突可能性判定部１５が当該衝突対象が存在しないと判定した場合（ステップＳＴ８のＮＯ）、衝突回避支援制御装置２は、処理を終了する。
警告情報生成部６は、衝突可能性判定部１５が運転者の車両と衝突する可能性がある対象が存在すると判定した場合、警告情報を生成する（ステップＳＴ９）。警告装置３は、警告情報生成部６が生成した警告情報を出力する。

次に、実施の形態２に係る衝突回避支援方法の具体例について図面を参照して説明する。図５は、衝突回避支援システム１の撮影部４が車両１１０のダッシュボードに設置された例を示す概略図である。図５では図示を省略しているが、車両１１０には、衝突回避支援システム１が搭載されている。図５が示すように、車両１１０には運転者Ｄ及び搭乗者Ｐが乗車しており、撮影部４は、運転者Ｄ及び搭乗者Ｐを撮影する。例えば、撮影部４は、被写体の運転者Ｄ及び搭乗者Ｐに対して赤外線等の光を照射し、カメラレンズを介して撮影を行う。

図６は、衝突回避支援システム１の撮影部４が撮影した画像の例を示す概略図である。図６が示すように、撮影部４は、運転者Ｄの頭部を含む運転者顔認識領域Ｒ１と、搭乗者Ｐの頭部を含む搭乗者顔認識領域Ｒ２とを含むように運転者Ｄ及び搭乗者Ｐを撮影する。運転者顔認識領域Ｒ１は、上述のステップＳＴ２（図４参照）において、運転者顔情報検出部８が運転者Ｄの顔情報を検出する際に参照する領域である。搭乗者顔認識領域Ｒ２は、上述のステップＳＴ５（図４参照）において、搭乗者顔情報検出部１１が搭乗者Ｐの顔情報を検出する際に参照する領域である。運転者顔認識領域Ｒ１及び搭乗者顔認識領域Ｒ２は、例えば、座席に設けられたヘッドレスト、座席の背もたれの位置に基づいて撮影部４に予め設定されていることが好ましい。

図７は、衝突回避支援制御装置２の死角判定部１２が搭乗者が運転者の死角を見ているか否かを判定する構成を説明するための概略図である。図７が示すように、運転者Ｄの死角Ｂ１及び死角Ｂ２は、運転者Ｄの視野範囲Ｖ１の外であり、且つ、搭乗者Ｐの視野範囲Ｖ２の内である範囲として定義される。なお、図７の例においては、運転者が車両を運転中、前方に集中しており、運転者の視界が固定されてしまっているために、運転者Ｄの視野範囲Ｖ１の範囲が搭乗者Ｐの視野範囲Ｖ２の範囲よりも狭くなっている場合を示している。死角判定部１２は、上述のステップＳＴ６において、視野範囲Ｖ１を所定の範囲として用いてもよいし、運転者顔情報検出部８が検出した運転者の視線から視野範囲Ｖ１を算出してもよい。死角判定部１２は、上述のステップＳＴ６において、視野範囲Ｖ２を所定の範囲として用いてもよいし、搭乗者顔情報検出部１１が検出した搭乗者の視線から視野範囲Ｖ２を算出してもよい。より具体的には、運転者が車両を運転中に視界が固定されてしまう可能性があるため、死角判定部１２は、上述のステップＳＴ６において、視野範囲Ｖ１及び視野範囲Ｖ２をそれぞれ所定の値とする場合、運転者Ｄの視野範囲Ｖ１の範囲を、搭乗者Ｐの視野範囲Ｖ２の範囲よりも狭く設定してもよい。別の例では、死角判定部１２は、運転者顔情報検出部８が検出した運転者の視線を、所定時間計測することにより視野範囲Ｖ１を算出し得る。例えば、死角判定部１２は、搭乗者顔情報検出部１１が検出した搭乗者の視線を、所定時間計測することにより視野範囲Ｖ２を算出し得る。

また、死角判定部１２は、上述のステップＳＴ６（図４参照）において、上記のような視野範囲Ｖ１及び視野範囲Ｖ２から死角Ｂ１及び死角Ｂ２を算出し、当該死角Ｂ１及び死角Ｂ２と搭乗者Ｐの視線の向きとから、搭乗者Ｐが運転者Ｄの死角を見ているか否かを判定する。より詳細には、例えば、図７が示すように、車両１１０の進行方向に向かって右側に運転者Ｄの死角Ｂ１が存在し、別の車両２００が当該死角Ｂ１内に進入してきている。このような状況では、搭乗者Ｐは、死角Ｂ１内に進入してきた別の車両２００に気づき、驚く可能性がある。搭乗者Ｐの視線が、当該死角Ｂ１の方向を向いた場合、死角判定部１２は、搭乗者顔情報検出部１１が検出した当該視線の向きと、算出した死角Ｂ１とから、搭乗者Ｐが運転者Ｄの死角を見ていると判定する。または、図７が示すように、車両１１０の進行方向に向かって左側に運転者Ｄの死角Ｂ２が存在し、別の車両３００が当該死角Ｂ２内に進入してきている。このような状況では、搭乗者Ｐは、死角Ｂ２内に進入してきた別の車両３００に気づき、驚く可能性がある。搭乗者Ｐの視線が、当該死角Ｂ２の方向を向いた場合、死角判定部１２は、搭乗者顔情報検出部１１が検出した当該視線の向きと、算出した死角Ｂ２とから、搭乗者Ｐが運転者Ｄの死角を見ていると判定する。

次に、搭乗者状態推定部１４は、上述のステップＳＴ７（図４参照）において、死角判定部１２が搭乗者Ｐが運転者Ｄの死角を見ていると判定した場合、搭乗者顔情報検出部１１が検出した搭乗者Ｐの顔情報と、搭乗者顔基準設定部１３が予め設定した搭乗者Ｐの顔の基準状態を示す情報とを比較することにより、搭乗者Ｐの状態を推定する。より詳細には、例えば、搭乗者Ｐは、死角Ｂ１内に進入してきた別の車両２００に気づき、驚嘆の表情をする。このような状況において、搭乗者状態推定部１４は、上述のステップＳＴ７において、当該表情を含む搭乗者Ｐの顔情報と、搭乗者Ｐの顔の基準状態を示す情報とを比較することにより、搭乗者Ｐの驚嘆の感情を推定する。

次に、衝突可能性判定部１５は、上述のステップＳＴ８（図４参照）において、搭乗者状態推定部１４が推定した搭乗者Ｐの状態に基づいて、衝突対象が存在するか否かを判定することにより、衝突可能性判定を行う。より詳細には、例えば、衝突可能性判定部１５は、搭乗者状態推定部１４が搭乗者Ｐの驚嘆の感情を推定した場合、運転者Ｄの死角に衝突対象が存在すると判定する。又は、衝突可能性判定部１５は、搭乗者状態推定部１４が推定した搭乗者Ｐの驚嘆の感情を数値化し、当該数値が所定の閾値を超えた場合に、運転者Ｄの死角に衝突対象が存在すると判定してもよい。

次に、警告情報生成部６は、上述のステップＳＴ９（図４参照）において、衝突可能性判定部１５が車両１１０と衝突する可能性がある対象が存在すると判定した場合、警告情報を生成する。例えば、警告装置３は、警告情報生成部６が生成した警告情報を音声として出力する。そして、運転者Ｄは、当該警告情報を認識し、ハンドル及びブレーキを操作することで、車両１１０と別の車両２００又は別の車両３００との衝突を回避することができる。

以上のように、実施の形態２に係る衝突回避支援制御装置２は、画像取得部７が取得した搭乗者の画像に基づいて、搭乗者の状態を推定する搭乗者状態推定部１４をさらに備え、衝突可能性判定部１５は、搭乗者状態推定部１４が推定した搭乗者の状態に基づいて、運転者の車両と衝突する可能性がある対象が存在するか否かを判定することにより、衝突可能性判定を行う。
上記の構成によれば、運転者が衝突対象を視認できない場合でも、衝突回避支援制御装置が、推定した搭乗者の状態から、当該衝突対象の存在を判定することができる。これにより、当該判定結果を利用することによって、運転者が衝突対象を視認できない場合でも、運転者に衝突対象が存在する旨の警告を行うことができる。よって、車両が衝突対象と衝突する可能性を低下させることができる。

上記の構成に加えて、衝突回避支援制御装置２は、画像取得部７が取得した画像に基づいて、搭乗者の視線から搭乗者が運転者の死角を見ているか否かを判定する死角判定部１２をさらに備え、搭乗者状態推定部１４は、死角判定部１２が搭乗者が運転者の死角を見ていると判定した場合に、画像取得部７が取得した搭乗者の画像に基づいて、搭乗者の状態を推定してもよい。
上記の構成によれば、衝突対象が運転者の死角に存在するため運転者が当該衝突対象を視認できない場合でも、衝突回避支援制御装置が、推定した搭乗者の状態から、当該衝突対象の存在を判定することができる。これにより、当該判定結果を利用することによって、運転者が衝突対象を視認できない場合でも、運転者に衝突対象が存在する旨の警告を行うことができる。

上記の構成に加えて、衝突回避支援制御装置２は、画像取得部７が取得した画像に基づいて、運転者の状態を推定し、運転者の状態が正常状態であるか否かを判定する運転者状態判定部１０をさらに備え、死角判定部１２は、運転者状態判定部１０が運転者の状態が正常状態であると判定した場合に、画像取得部７が取得した画像に基づいて、搭乗者の視線から搭乗者が運転者の死角を見ているか否かを判定してもよい。
上記の構成によれば、運転者の状態が正常状態である場合に、衝突対象が運転者の死角に存在するか否かを判定する。これにより、運転者の状態が異常状態である場合に、衝突対象が運転者の死角に存在するか否かを判定せずに、適宜、運転者に別の警告を行うことができる。

図８は、実施の形態２に係る衝突回避支援制御装置２が奏する別の効果を説明するための図である。図８が示すように、車両１１０が、車外の物体を検知するセンサ４００を備えており、一般的に、搭乗者の目線の高さは、地面からのセンサ４００の高さよりも高い。このような状況で、センサ４００からの検知用の電波が遮られる程度の高さの障害物が車両１１０と車両１１０に接近する別の車両２００との間に存在する場合、センサ４００からの検知用の電波は、障害物により領域Ｕには到達しないが、搭乗者Ｐには、領域Ｕが見えることがある。これにより、センサ４００より搭乗者Ｐの目視の方が別の車両２００を先に検知することができる。従って、実施の形態２に係る衝突回避支援制御装置２は、当該検知によって変化した搭乗者の状態を画像から推定し、推定した搭乗者の状態に基づいて、衝突対象が存在すると判定することにより、衝突対象に対するセンサ４００の検知が遅れた場合でも、衝突対象の存在を検知することができる。

実施の形態２に係る衝突回避支援制御装置２は、衝突可能性判定部１５が車両と衝突する可能性がある対象が存在すると判定した場合、警告情報を生成する警告情報生成部６をさらに備えている。
上記の構成によれば、生成した警告情報をスピーカー等から適宜出力することにより、運転者に警告することができる。

実施の形態２に係る衝突回避支援システム１は、運転者及び搭乗者を撮影することにより画像を取得する撮影部４を備えている。
上記の構成によれば、撮影した画像に基づいて、搭乗者の状態を推定し、推定した搭乗者の状態に基づいて、運転者の車両と衝突する可能性がある対象が存在するか否かを判定する。これにより、運転者が衝突対象を視認できない場合でも、衝突回避制御支援装置が、推定した搭乗者の状態から、衝突対象の存在を判定することができる。そして、当該判定結果を利用することによって、運転者が衝突対象を視認できない場合でも、運転者に衝突対象が存在する旨の警告を行うことができる。

実施の形態２に係る衝突回避支援システム１は、撮影部４が、広角カメラである。
上記の構成によれば、広角カメラが撮影した画像に基づいて、運転者の状態をさらに推定し、推定した運転者の状態をさらに用いた場合、衝突対象が存在するか否かを好適に判定することができる。また、上記の構成によれば、運転者及び搭乗者を同時に撮影することができる複数のカメラ等の高価な装置、及び、高速に複数の人を撮影することができる移動可能なカメラ等の、高性能処理を必要とする装置が不要である。

実施の形態２の別の態様に係る衝突回避支援制御装置２は、車両の運転者及び当該運転者以外の搭乗者の画像を取得する画像取得部７と、画像取得部７が取得した画像が示す搭乗者に関する情報に基づいて、車両が衝突対象と衝突する可能性を判定する衝突可能性判定を行う衝突可能性判定部１５と、を備えている。
上記の構成によれば、運転者以外の搭乗者に関する情報に基づいて、車両が衝突対象と衝突する可能性を判定することができる。これにより、当該判定結果を適宜利用することによって、車両が衝突対象と衝突する可能性を低下させることができる。

実施の形態３．
実施の形態２に係る衝突回避支援方法では、警告情報生成部６が生成した警告情報を警告装置３が出力した。しかし、警告装置３が警告情報を出力した場合であっても、運転者が衝突を回避するように車両を操作するとは必ずしも限らない。実施の形態３の主な目的は、このような課題を解決することである。
以下で、実施の形態３について図面を参照して説明する。なお、実施の形態１又は実施の形態２で説明した構成と同様の機能を有する構成については同一の符号を付し、その説明を省略する。
図９は、実施の形態３に係る衝突回避支援システム２０の構成を示すブロック図である。なお、図９では、実施の形態１で説明した現在地測位部６０、記憶部６１、及び手動切換え部６２を省略している。また、図９では、実施の形態１で説明した搭乗者情報要否判定部６３の詳細な構成については省略している。図９が示すように、衝突回避支援システム２０は、実施の形態２に係る衝突回避支援システム１の構成に加えて、駆動制御装置２３をさらに備えている。また、衝突回避支援制御装置２１は、実施の形態２に係る衝突回避支援制御装置２の構成に加えて、減速指示情報生成部２２をさらに備えている。なお、実施の形態３では、衝突回避支援制御装置２１が搭乗者情報要否判定部６３を備えている構成について説明するが、衝突回避支援制御装置２１は搭乗者情報要否判定部６３を備えていなくてもよい。

減速指示情報生成部２２は、警告情報生成部６が警告情報を生成してから第１の所定の時間、運転者が車両と衝突対象との衝突を回避するように車両を操作しない場合、車両の速度を減速させるように駆動制御装置２３に指示する減速指示情報を生成する。当該第１の所定の時間は、任意の時間であり得るが、警告情報生成部６による警告情報の生成時刻から当該第１の所定の時間経過後の時刻が、駆動制御装置２３が動作することによって衝突回避が間に合う時刻以前の時刻となるように、第１の所定の時間を選択することが好ましい。

駆動制御装置２３は、減速指示情報生成部２２が生成した減速指示情報に基づいて、車両の速度を減速させる。より具体的には、例えば、駆動制御装置２３は、車両用の動力源としてのエンジン及びモータを同時に制御することで車両の速度を減速させてもよい。エンジンは、例えば、ガソリン、軽油等の燃料によって駆動される内燃機関であり得る。モータは、例えば、電力によって回転する交流モータ等の電動機であり得る。また、例えば、駆動制御装置２３は、車両の制動装置を制御することで車両の速度を減速させてもよい。制動装置は、ドラムブレーキ又はディスクブレーキ等であり得る。

次に、実施の形態３に係る衝突回避支援制御装置２１の動作について図面を参照して説明する。当該動作は、実施の形態１で説明した衝突回避支援方法におけるステップＳＴ５８の衝突可能性判定の具体的な例である。つまり、当該動作の前に、衝突回避支援制御装置２１の搭乗者情報要否判定部６３が、衝突可能性判定に搭乗者に関する情報を用いると判定することにより、当該動作が開始されたものとする。一方で、衝突回避支援制御装置２１が搭乗者情報要否判定部６３を備えていない場合、例えば、運転者が、車両のイグニションキーを用いて車両のエンジンを点火し、アクセルを操作し始めた場合等に、当該動作が開始される。なお、実施の形態３に係る衝突回避支援方法のステップＳＴ１０からステップＳＴ１８までの各工程は、実施の形態２に係る衝突回避支援方法のステップＳＴ１からステップＳＴ９までの各工程と同様である。そのため、実施の形態３に係る衝突回避支援方法のステップＳＴ１０からステップＳＴ１８までの各工程についての説明を省略する。
図１０は、実施の形態３に係る衝突回避支援方法を示すフローチャートである。図１１は、図１０が示すフローチャートの続きである。
図１１が示すように、減速指示情報生成部２２は、運転者が車両と衝突対象との衝突を回避するように車両を操作したか否かを判定する（ステップＳＴ１９）。減速指示情報生成部２２が運転者が衝突を回避するように車両を操作していないと判定した場合（ステップＳＴ１９のＮＯ）、衝突回避支援制御装置２１は、ステップＳＴ２０に処理を進める。減速指示情報生成部２２が運転者が衝突を回避するように車両を操作したと判定した場合（ステップＳＴ１９のＹＥＳ）、衝突回避支援制御装置２１は、処理を終了する。

ステップＳＴ２０において、減速指示情報生成部２２は、警告情報生成部６が警告情報を生成してから第１の所定の時間が経過したか否かを判定する。減速指示情報生成部２２が第１の所定の時間経過したと判定した場合（ステップＳＴ２０のＹＥＳ）、衝突回避支援制御装置２１は、ステップＳＴ２１に処理を進める。減速指示情報生成部２２が第１の所定の時間経過していないと判定した場合（ステップＳＴ２０のＮＯ）、衝突回避支援制御装置２１は、ステップＳＴ１９に戻る。
ステップＳＴ２１において、減速指示情報生成部２２は、車両の速度を減速させるように駆動制御装置２３に指示する減速指示情報を生成する。駆動制御装置２３は、減速指示情報生成部２２が生成した減速指示情報に基づいて、車両の速度を減速させる。

次に、実施の形態３に係る衝突回避支援方法の変形例について図面を説明する。図１２は、実施の形態３に係る衝突回避支援方法の変形例を示すフローチャートである。図１３は、図１２が示すフローチャートの続きである。なお、図１２及び図１３が示す衝突回避支援方法の変形例では、図１０及び図１１が示す衝突回避支援方法と同様の各ステップが行われるが、一部分岐が異なる。

図１２及び図１３が示すように、当該変形例では、図１０及び図１１が示す衝突回避支援方法と同様に、ステップＳＴ１３において、運転者状態判定部１０は、ステップＳＴ１２で推定した運転者の状態が正常状態であるか否かを判定する。

そして、当該変形例では、運転者状態判定部１０が運転者の状態が正常状態ではないと判定した場合（ステップＳＴ１３のＮＯ）、衝突回避支援制御装置２は、ステップＳＴ１８に処理を進める。

また、当該変形例では、図１０及び図１１が示す衝突回避支援方法と同様に、ステップＳＴ１５において、死角判定部１２は、搭乗者顔情報検出部１１が検出した搭乗者の顔情報に基づいて、搭乗者の視線から搭乗者が運転者の死角を見ているか否かを判定する。

そして、当該変形例では、死角判定部１２が搭乗者が運転者の死角を見ていないと判定した場合（ステップＳＴ１５のＮＯ）、衝突回避支援制御装置２は、ステップＳＴ１８に処理を進める。
ステップＳＴ１８では、図１０及び図１１が示す衝突回避支援方法と同様に、警告情報生成部６は、警告情報を生成する。

図１０及び図１１が示す衝突回避支援方法では、運転者状態判定部１０が運転者の状態が正常状態ではないと判定した場合、又は死角判定部１２が搭乗者が運転者の死角を見ていないと判定した場合、衝突回避支援制御装置２は、処理を終了する。一方、当該変形例では、運転者状態判定部１０が運転者の状態が正常状態ではないと判定した場合、又は死角判定部１２が搭乗者が運転者の死角を見ていないと判定した場合、警告情報生成部６が警告情報を生成する。
これにより、運転者の状態が正常状態ではない場合、又は搭乗者が運転者の死角を見ていない場合に、車両が衝突対象と衝突する可能性があることを警告することができる。

以上のように、実施の形態３に係る衝突回避支援制御装置２１は、警告情報生成部６が警告情報を生成してから第１の所定の時間、運転者が車両と衝突対象との衝突を回避するように車両を操作しない場合、車両の速度を減速させるように指示する減速指示情報を生成する減速指示情報生成部２２をさらに備えている。
上記の構成によれば、衝突対象に対する運転者の視認が遅れた場合でも、生成した減速指示情報に基づいて適宜車両の速度を減速させることができる。よって、車両が衝突対象と衝突する可能性を低下させることができる。

実施の形態４．
実施の形態３に係る衝突回避支援方法では、減速指示情報生成部２２が生成した減速指示情報に基づいて駆動制御装置２３が車両の速度を減速させた。しかし、駆動制御装置２３が車両の速度を減速させても、車両が停止しない限り、衝突を回避することはできない場合がある。実施の形態４の主な目的は、このような課題を解決することである。
以下で、実施の形態４について図面を参照して説明する。なお、実施の形態１、実施の形態２又は実施の形態３で説明した構成と同様の機能を有する構成については同一の符号を付し、その説明を省略する。
図１４は、実施の形態４に係る衝突回避支援システム３０の構成を示すブロック図である。なお、図１４では、実施の形態１で説明した現在地測位部６０、記憶部６１、及び手動切換え部６２を省略している。また、図１４では、実施の形態１で説明した搭乗者情報要否判定部６３の詳細な構成については省略している。図１４が示すように、衝突回避支援システム３０は、実施の形態３に係る衝突回避支援システム２０の構成に加えて、操舵制御装置３３をさらに備えている。また、衝突回避支援制御装置３１は、実施の形態３に係る衝突回避支援制御装置２１の構成に加えて、進行方向指示情報生成部３２をさらに備えている。なお、実施の形態４では、衝突回避支援制御装置３１が搭乗者情報要否判定部６３を備えている構成について説明するが、衝突回避支援制御装置３１は搭乗者情報要否判定部６３を備えていなくてもよい。

進行方向指示情報生成部３２は、減速指示情報生成部２２が減速指示情報を生成してから第２の所定の時間、運転者が車両と衝突対象との衝突を回避するように車両を操作しない場合、車両の進行方向を車両と衝突対象との衝突を回避する方向に変更するように操舵制御装置３３に指示する進行方向指示情報を生成する。当該第２の所定の時間は、任意の時間であり得るが、減速指示情報生成部２２による減速指示情報の生成時刻から当該第２の所定の時間経過後の時刻が、操舵制御装置３３が動作することによって衝突回避が間に合う時刻以前の時刻となるように、第２の所定の時間を選択することが好ましい。当該第２の所定の時間と、実施の形態３で説明した第１の所定の時間とは、同一であってもよく、異なっていてもよい。
操舵制御装置３３は、進行方向指示情報生成部３２が生成した進行方向指示情報に基づいて、車両の進行方向を車両と衝突対象との衝突を回避する方向に変更する。操舵制御装置３３は、例えば、車両の進行方向を任意に変える機能を有するステアリングであり得る。

次に、実施の形態４に係る衝突回避支援制御装置３１の動作について図面を参照して説明する。当該動作は、実施の形態１で説明した衝突回避支援方法におけるステップＳＴ５８の衝突可能性判定の具体的な例である。つまり、当該動作の前に、衝突回避支援制御装置３１の搭乗者情報要否判定部６３が、衝突可能性判定に搭乗者に関する情報を用いると判定することにより、当該動作が開始されたものとする。一方で、衝突回避支援制御装置３１が搭乗者情報要否判定部６３を備えていない場合、例えば、運転者が、車両のイグニションキーを用いて車両のエンジンを点火し、アクセルを操作し始めた場合等に、当該動作が開始される。なお、実施の形態４に係る衝突回避支援方法のステップＳＴ３０からステップＳＴ４１の各工程は、実施の形態３に係る衝突回避支援方法のステップＳＴ１０からステップＳＴ２１の各工程と同様である。そのため、実施の形態４に係る衝突回避支援方法のステップＳＴ３０からステップＳＴ４１の各工程についての説明を省略する。
図１５は、実施の形態４に係る衝突回避支援方法を示すフローチャートである。図１６は、図１５が示すフローチャートの続きである。
図１６が示すように、進行方向指示情報生成部３２は、運転者が衝突を回避するように車両を操作したか否かを判定する（ステップＳＴ４２）。進行方向指示情報生成部３２が運転者が衝突を回避するように車両を操作していないと判定した場合（ステップＳＴ４２のＮＯ）、ステップＳＴ４３に処理を進める。進行方向指示情報生成部３２が運転者が衝突を回避するように車両を操作したと判定した場合（ステップＳＴ４２のＹＥＳ）、処理を終了する。

ステップＳＴ４３において、進行方向指示情報生成部３２は、減速指示情報生成部２２が減速指示情報を生成してから第２の所定の時間が経過したか否かを判定する。進行方向指示情報生成部３２が第２の所定の時間経過したと判定した場合（ステップＳＴ４３のＹＥＳ）、ステップＳＴ４４に処理を進める。進行方向指示情報生成部３２が第２の所定の時間経過していないと判定した場合（ステップＳＴ４３のＮＯ）、ステップＳＴ４２に戻る。

ステップＳＴ４４において、進行方向指示情報生成部３２は、車両の進行方向を車両と対象とが衝突しない方向に変更するように操舵制御装置３３に指示する進行方向指示情報を生成する。操舵制御装置３３は、進行方向指示情報生成部３２が生成した進行方向指示情報に基づいて、車両の進行方向を車両と衝突対象との衝突を回避する方向に変更する。

次に、実施の形態４に係る衝突回避支援方法の変形例について図面を説明する。図１７は、実施の形態４に係る衝突回避支援方法の変形例を示すフローチャートである。図１８は、図１７が示すフローチャートの続きである。なお、図１７及び図１８が示す衝突回避支援方法の変形例では、図１５及び図１６が示す衝突回避支援方法と同様の各ステップが行われるが、一部分岐が異なる。

図１７及び図１８が示すように、当該変形例では、図１５及び図１６が示す衝突回避支援方法と同様に、ステップＳＴ３３において、運転者状態判定部１０は、ステップＳＴ３２で推定した運転者の状態が正常状態であるか否かを判定する。

そして、当該変形例では、運転者状態判定部１０が運転者の状態が正常状態ではないと判定した場合（ステップＳＴ３３のＮＯ）、衝突回避支援制御装置２は、ステップＳＴ３８に処理を進める。

また、当該変形例では、図１５及び図１６が示す衝突回避支援方法と同様に、ステップＳＴ３５において、死角判定部１２は、搭乗者顔情報検出部１１が検出した搭乗者の顔情報に基づいて、搭乗者の視線から搭乗者が運転者の死角を見ているか否かを判定する。

そして、当該変形例では、死角判定部１２が搭乗者が運転者の死角を見ていないと判定した場合（ステップＳＴ３５のＮＯ）、衝突回避支援制御装置２は、ステップＳＴ３８に処理を進める。
ステップＳＴ３８では、図１５及び図１６が示す衝突回避支援方法と同様に、警告情報生成部６は、警告情報を生成する。

図１５及び図１６が示す衝突回避支援方法では、運転者状態判定部１０が運転者の状態が正常状態ではないと判定した場合、又は死角判定部１２が搭乗者が運転者の死角を見ていないと判定した場合、衝突回避支援制御装置２は、処理を終了する。一方、当該変形例では、運転者状態判定部１０が運転者の状態が正常状態ではないと判定した場合、又は死角判定部１２が搭乗者が運転者の死角を見ていないと判定した場合、警告情報生成部６が警告情報を生成する。
これにより、運転者の状態が正常状態ではない場合、又は搭乗者が運転者の死角を見ていない場合に、車両が衝突対象と衝突する可能性があることを警告することができる。

以上のように、実施の形態４に係る衝突回避支援制御装置３１は、減速指示情報生成部２２が減速指示情報を生成してから第２の所定の時間、運転者が車両と対象との衝突を回避するように車両を操作しない場合、車両の進行方向を車両と衝突対象との衝突を回避する方向に変更するように指示する進行方向指示情報を生成する進行方向指示情報生成部３２をさらに備えている。
上記の構成によれば、衝突対象に対する運転者の視認が遅れた場合でも、生成した進行方向指示情報に基づいて適宜車両の進行方向を変更することができる。よって、車両が衝突対象と衝突する可能性を低下させることができる。

実施の形態５．
実施の形態２、実施の形態３又は実施の形態４に係る衝突回避支援方法では、推定した搭乗者の状態に基づいて、衝突対象が存在するか否かを判定することにより、衝突可能性判定を行う構成を説明した。実施の形態５では、運転者の視野範囲又は搭乗者の視野範囲のうちの少なくとも一方によって補われる視野範囲が所定の視野範囲を補っているか否かを判定することにより、衝突可能性判定を行う構成を説明する。

以下で、実施の形態５について図面を参照して説明する。なお、実施の形態１、実施の形態２、実施の形態３又は実施の形態４で説明した構成と同様の機能を有する構成については同一の符号を付し、その説明を省略する。
図１９は、実施の形態５に係る衝突回避支援システム７０の構成を示すブロック図である。なお、図１９では、実施の形態１で説明した現在地測位部６０、記憶部６１、及び手動切換え部６２を省略している。また、図１９では、実施の形態１で説明した搭乗者情報要否判定部６３の詳細な構成については省略している。

図１９が示すように、実施の形態３に係る衝突回避支援システム２０と比較して、衝突回避支援システム７０は、衝突回避支援制御装置２１の代わりに、衝突回避支援制御装置７１を備えている。実施の形態３に係る衝突回避支援制御装置２１と比較して、衝突回避支援制御装置７１は、警告情報生成部６の代わりに、注意喚起情報生成部７２を備え、画像解析部７３が、死角判定部１２、搭乗者顔基準設定部１３及び搭乗者状態推定部１４の代わりに、視野範囲推定部７４を備えている。なお、実施の形態５では、衝突回避支援制御装置７１が搭乗者情報要否判定部６３を備えている構成について説明するが、衝突回避支援制御装置７１は搭乗者情報要否判定部６３を備えていなくてもよい。

視野範囲推定部７４は、画像取得部７が取得した画像に基づいて、運転者の視線及び搭乗者の視線から運転者の視野範囲又は搭乗者の視野範囲のうちの少なくとも一方によって補われる視野範囲を推定する。より詳細には、実施の形態５では、視野範囲推定部７４は、運転者顔情報検出部８が検出した運転者の顔情報と、搭乗者顔情報検出部１１が検出した搭乗者の顔情報とに基づいて、運転者の視線及び搭乗者の視線から運転者の視野範囲又は搭乗者の視野範囲のうちの少なくとも一方によって補われる視野範囲を推定する。視野範囲推定部７４は、推定した視野範囲を、衝突可能性判定部１５に出力する。

なお、「運転者の視野範囲又は搭乗者の視野範囲のうちの少なくとも一方によって補われる視野範囲」とは、運転者の視野範囲のうち、搭乗者の視野範囲に含まれない範囲と、搭乗者の視野範囲のうち、運転者の視野範囲に含まれない範囲と、運転者の視野範囲に含まれ且つ搭乗者の視野範囲に含まれている範囲と、を含む範囲を意味する。

実施の形態５に係る衝突可能性判定部１５は、視野範囲推定部７４が推定した視野範囲が所定の視野範囲を補っているか否かを判定することにより、衝突可能性判定を行う。衝突可能性判定部１５は、判定結果を注意喚起情報生成部７２に出力する。なお、ここにおける「視野範囲推定部７４が推定した視野範囲が所定の視野範囲を補っている」とは、視野範囲推定部７４が推定した視野範囲が、当該所定の視野範囲を完全に含むことを意味する。また、「所定の視野範囲」は、予め設定された閾値である。

注意喚起情報生成部７２は、衝突可能性判定部１５が、判定を始めてから第１の所定の時間、視野範囲推定部７４が推定した視野範囲が所定の視野範囲を補っていないと判定した場合、注意喚起情報を生成する。注意喚起情報生成部７２は、生成した注意喚起情報を警告装置３に出力する。注意喚起情報の例として、正常状態に戻るように運転者及び搭乗者に注意喚起する情報が挙げられる。

実施の形態５に係る警告装置３は、注意喚起情報生成部７２が生成した注意喚起情報を出力する。より詳細には、例えば、警告装置３は、注意喚起情報生成部７２が生成した注意喚起情報を音声又は画像として出力する。

視野範囲推定部７４は、注意喚起情報生成部７２が注意喚起情報を生成した後に、画像取得部７が新たに取得した画像に基づいて、運転者の視線及び搭乗者の視線から運転者の視野範囲又は搭乗者の視野範囲のうちの少なくとも一方によって補われる視野範囲を再度推定する。視野範囲推定部７４は、再度推定した視野範囲を衝突可能性判定部１５に出力する。

衝突可能性判定部１５は、視野範囲推定部７４が再度推定した視野範囲が所定の視野範囲を補っているか否かを再度判定する。衝突可能性判定部１５は、再度の判定結果を減速指示情報生成部２２に出力する。

実施の形態５に係る減速指示情報生成部２２は、衝突可能性判定部１５が、再度判定を始めてから第２の所定の時間、視野範囲推定部７４が推定した視野範囲が所定の視野範囲を補っていないと判定した場合、車両の速度を減速させるように指示する減速指示情報を生成する。

次に、実施の形態５に係る衝突回避支援制御装置７１の動作について図面を参照して説明する。当該動作は、実施の形態１で説明した衝突回避支援方法におけるステップＳＴ５８の衝突可能性判定の具体的な例である。つまり、当該動作の前に、衝突回避支援制御装置７１の搭乗者情報要否判定部６３が、衝突可能性判定に搭乗者に関する情報を用いると判定することにより、当該動作が開始されたものとする。一方で、衝突回避支援制御装置７１が搭乗者情報要否判定部６３を備えていない場合、例えば、運転者が、車両のイグニションキーを用いて車両のエンジンを点火し、アクセルを操作し始めた場合等に、当該動作が開始される。なお、当該動作の開始前には、運転者顔基準設定部９は、運転者顔情報検出部８が運転者による運転開始前に撮影部４が撮影した画像から検出した運転者の顔情報と、予め設定された正常状態の運転者の顔情報とを参照して、運転者の顔の基準状態を示す情報を設定しているものとする。

図２０は、実施の形態５に係る衝突回避支援制御装置７１による衝突回避支援方法を示すフローチャートである。図２１は、図２０が示すフローチャートの続きである。
図２０及び図２１が示すように、画像取得部７は、撮影部４が運転者と搭乗者とを撮影した画像を取得する（ステップＳＴ７０）。画像取得部７は、取得した画像を運転者顔情報検出部８と搭乗者顔情報検出部１１とに出力する。

運転者顔情報検出部８は、画像取得部７が取得した画像を参照して運転者の顔情報を検出する（ステップＳＴ７１）。運転者顔情報検出部８は、検出した運転者の顔情報を運転者状態判定部１０及び視野範囲推定部７４に出力する。

運転者状態判定部１０は、運転者顔情報検出部８が検出した運転者の顔情報と、運転者顔基準設定部９が予め設定した運転者の顔の基準状態を示す情報とを比較することにより、運転者の状態を推定する（ステップＳＴ７２）。

運転者状態判定部１０は、ステップＳＴ７２で推定した運転者の状態が正常状態であるか否かを判定する（ステップＳＴ７３）。運転者状態判定部１０が運転者の状態が正常状態であると判定した場合（ステップＳＴ７３のＹＥＳ）、衝突回避支援制御装置２は、ステップＳＴ７４に処理を進める。運転者状態判定部１０が運転者の状態が正常状態ではないと判定した場合（ステップＳＴ７３のＮＯ）、衝突回避支援制御装置２は、ステップＳＴ７８に処理を進める。

ステップＳＴ７３で、運転者状態判定部１０が運転者の状態が正常状態であると判定した場合（ステップＳＴ７３のＹＥＳ）、搭乗者顔情報検出部１１は、画像取得部７が取得した画像を参照して、搭乗者の顔情報を検出する（ステップＳＴ７４）。搭乗者顔情報検出部１１は、検出した搭乗者の顔情報を視野範囲推定部７４に出力する。

視野範囲推定部７４は、運転者顔情報検出部８が検出した運転者の顔情報と、搭乗者顔情報検出部１１が検出した搭乗者の顔情報とに基づいて、運転者の視線及び搭乗者の視線から運転者の視野範囲又は搭乗者の視野範囲のうちの少なくとも一方によって補われる視野範囲を推定する（ステップＳＴ７５）。視野範囲推定部７４は、推定した視野範囲を衝突可能性判定部１５に出力する。

衝突可能性判定部１５は、視野範囲推定部７４が推定した視野範囲が所定の視野範囲を補っているか否かを判定することにより、衝突可能性判定を行う（ステップＳＴ７６）。
衝突可能性判定部１５が、視野範囲推定部７４が推定した視野範囲が所定の視野範囲を補っていると判定した場合（ステップＳＴ７６のＹＥＳ）、衝突回避支援制御装置７１は、処理を終了する。

衝突可能性判定部１５が、視野範囲推定部７４が推定した視野範囲が所定の視野範囲を補っていないと判定した場合（ステップＳＴ７６のＮＯ）、衝突可能性判定部１５は、判定を始めてから第１の所定の時間が経過したか否かを判定する（ステップＳＴ７７）。

衝突可能性判定部１５が、判定を始めてから第１の所定の時間が経過したと判定した場合（ステップＳＴ７７のＹＥＳ）、衝突回避支援制御装置７１は、ステップＳＴ７８に処理を進める。衝突可能性判定部１５が判定を始めてから第１の所定の時間が経過していないと判定した場合（ステップＳＴ７７のＮＯ）、衝突回避支援制御装置７１は、上述のステップＳＴ７０に処理を戻し、ステップＳＴ７７において、衝突可能性判定部１５が、判定を始めてから第１の所定の時間が経過したと判定するまで、衝突回避支援制御装置７１は、上述のステップＳＴ７０からステップＳＴ７７までの処理を繰り返し実行する。なお、その際、衝突回避支援制御装置７１は、２回目以降のステップＳＴ７２及びステップＳＴ７３の各ステップについては実行しなくてもよい。

ステップＳＴ７８において、注意喚起情報生成部７２は、注意喚起情報を生成する。警告装置３は、注意喚起情報生成部７２が生成した注意喚起情報を出力する。
次に、画像取得部７は、撮影部４が運転者と搭乗者とを撮影した画像を新たに取得する（ステップＳＴ７９）。画像取得部７は、取得した画像を運転者顔情報検出部８と搭乗者顔情報検出部１１とに出力する。

運転者顔情報検出部８は、画像取得部７が取得した画像を参照して運転者の顔情報を再度検出する（ステップＳＴ８０）。運転者顔情報検出部８は、検出した運転者の顔情報を視野範囲推定部７４に出力する。

搭乗者顔情報検出部１１は、画像取得部７が取得した画像を参照して、搭乗者の顔情報を再度検出する（ステップＳＴ８１）。搭乗者顔情報検出部１１は、検出した搭乗者の顔情報を視野範囲推定部７４に出力する。

視野範囲推定部７４は、注意喚起情報生成部７２が注意喚起情報を生成した後に、画像取得部７が新たに取得した画像に基づいて、運転者の視線及び搭乗者の視線から運転者の視野範囲又は搭乗者の視野範囲のうちの少なくとも一方によって補われる視野範囲を再度推定する（ステップＳＴ８２）。視野範囲推定部７４は、再度推定した視野範囲を衝突可能性判定部１５に出力する。

衝突可能性判定部１５は、視野範囲推定部７４が再度推定した視野範囲が所定の視野範囲を補っているか否かを再度判定する（ステップＳＴ８３）。
衝突可能性判定部１５が、視野範囲推定部７４が推定した視野範囲が所定の視野範囲を補っていると判定した場合（ステップＳＴ８３のＹＥＳ）、衝突回避支援制御装置７１は、処理を終了する。

衝突可能性判定部１５が、衝突可能性判定部１５が、視野範囲推定部７４が推定した視野範囲が所定の視野範囲を補っていないと判定した場合（ステップＳＴ８３のＮＯ）、衝突可能性判定部１５は、再度判定を始めてから第２の所定の時間が経過したか否かを判定する（ステップＳＴ８４）。

衝突可能性判定部１５が、再度判定を始めてから第２の所定の時間が経過したと判定した場合（ステップＳＴ８４のＹＥＳ）、衝突回避支援制御装置７１は、ステップＳＴ８５に処理を進める。衝突可能性判定部１５が再度判定を始めてから第２の所定の時間が経過していないと判定した場合（ステップＳＴ８４のＮＯ）、衝突回避支援制御装置７１は、上述のステップＳＴ７９に処理を戻し、ステップＳＴ８４において、衝突可能性判定部１５が、判定を始めてから第２の所定の時間が経過したと判定するまで、衝突回避支援制御装置７１は、上述のステップＳＴ７９からステップＳＴ８４までの処理を繰り返し実行する。

ステップＳＴ８５において、減速指示情報生成部２２は、車両の速度を減速させるように指示する減速指示情報を生成する。駆動制御装置２３は、減速指示情報生成部２２が生成した減速指示情報に基づいて、車両の速度を減速させる。

次に、実施の形態５に係る衝突回避支援方法の具体例について図面を参照して説明する。図２２Ａ及び図２２Ｂは、それぞれ、衝突回避支援システム７０の視野範囲推定部７４が上述の視野範囲を推定する構成を説明するための概略図である。図２２Ａが示すように、運転者Ｄ及び搭乗者Ｐは、それぞれ、車両の進行方向と同じ方向を見ている。図２２Ａにおいて、運転者Ｄの視野範囲のうち、搭乗者Ｐの視野範囲に含まれない範囲は、Ａ２で示されている。また、図２２Ａにおいて、搭乗者Ｐの視野範囲のうち、運転者Ｄの視野範囲に含まれない範囲は、Ａ３で示されている。また、図２２Ａにおいて、運転者Ｄの視野範囲に含まれ且つ搭乗者Ｐの視野範囲に含まれている範囲は、Ａ１で示されている。

上述のステップＳＴ７５又はステップＳＴ８２において、視野範囲推定部７４は、運転者顔情報検出部８が検出した運転者Ｄの顔情報と、搭乗者顔情報検出部１１が検出した搭乗者Ｐの顔情報とに基づいて、運転者Ｄの視線及び搭乗者Ｐの視線から運転者Ｄの視野範囲又は搭乗者Ｐの視野範囲のうちの少なくとも一方によって補われる視野範囲を推定する。図２２Ａが示す例では、視野範囲推定部７４が推定する視野範囲は、視野範囲Ａ１、視野範囲Ａ２及び視野範囲Ａ３を足し合わせた視野範囲である。以下では、視野範囲推定部７４が推定する視野範囲を、視野範囲Ａ１＋Ａ２＋Ａ３と呼称する。

また、上述のステップＳＴ７６又はステップＳＴ８３において、衝突可能性判定部１５は、視野範囲推定部７４が推定した視野範囲Ａ１＋Ａ２＋Ａ３が所定の視野範囲Ｖ３を補っているか否かを判定することにより、衝突可能性判定を行う。図２２Ａが示す例では、視野範囲Ａ１＋Ａ２＋Ａ３が、所定の視野範囲Ｖ３を完全に含んでいるため、衝突可能性判定部１５は、視野範囲推定部７４が推定した視野範囲Ａ１＋Ａ２＋Ａ３が所定の視野範囲Ｖ３を補っていると判定する。

一方、図２２Ｂが示す３つの例では、視野範囲Ａ１＋Ａ２＋Ａ３は、所定の視野範囲Ｖ３を完全に含んでおらず、所定の視野範囲Ｖ３のうち、視野範囲Ａ１＋Ａ２＋Ａ３に含まれていない範囲が存在するため、衝突可能性判定部１５は、視野範囲推定部７４が推定した視野範囲Ａ１＋Ａ２＋Ａ３が所定の視野範囲Ｖ３を補っていないと判定する。

以上のように、実施の形態５に係る衝突回避支援制御装置７１は、画像取得部７が取得した画像に基づいて、運転者の視線及び運転者以外の搭乗者の視線から運転者の視野範囲又は運転者以外の搭乗者の視野範囲のうちの少なくとも一方によって補われる視野範囲を推定する視野範囲推定部７４をさらに備え、衝突可能性判定部１５は、視野範囲推定部７４が推定した視野範囲が所定の視野範囲を補っているか否かを判定することにより、衝突可能性判定を行う。

上記の構成によれば、予め、当該所定の視野範囲を、適宜、運転者及び搭乗者が補うべき視野範囲に設定することにより、運転者の視野範囲又は運転者以外の搭乗者の視野範囲のうちの少なくとも一方によって、運転者及び搭乗者が補うべき視野範囲が補われていない場合、車両が衝突対象と衝突する可能性があることを適切に判定することができる。よって、車両が衝突対象と衝突する可能性を低下させることができる。

また、実施の形態５に係る衝突回避支援制御装置７１は、衝突可能性判定部１５が、判定を始めてから第１の所定の時間、視野範囲推定部７４が推定した視野範囲が所定の視野範囲を補っていないと判定した場合、注意喚起情報を生成する注意喚起情報生成部７２をさらに備えている。

上記の構成によれば、運転者の視野範囲又は運転者以外の搭乗者の視野範囲のうちの少なくとも一方によって、運転者及び搭乗者が補うべき視野範囲が補われていない場合、注意喚起情報を運転者又は搭乗者に伝達することができる。よって、車両が衝突対象と衝突する可能性を低下させることができる。

また、実施の形態５に係る衝突回避支援制御装置７１における視野範囲推定部７４は、注意喚起情報生成部７２が注意喚起情報を生成した後に、画像取得部７が新たに取得した画像に基づいて、運転者の視線及び運転者以外の搭乗者の視線から運転者の視野範囲又は運転者以外の搭乗者の視野範囲のうちの少なくとも一方によって補われる視野範囲を再度推定し、衝突可能性判定部１５は、視野範囲推定部７４が再度推定した視野範囲が所定の視野範囲を補っているか否かを再度判定し、衝突可能性判定部１５が、再度判定を始めてから第２の所定の時間、視野範囲推定部７４が推定した視野範囲が所定の視野範囲を補っていないと判定した場合、車両の速度を減速させるように指示する減速指示情報を生成する減速指示情報生成部２２をさらに備えている。

上記の構成によれば、注意喚起情報を出力しても、運転者の視野範囲又は運転者以外の搭乗者の視野範囲のうちの少なくとも一方によって、運転者及び搭乗者が補うべき視野範囲が補われない場合、車両の速度を減速させることができる。よって、車両が衝突対象と衝突する可能性を低下させることができる。

実施の形態６．
実施の形態１に係る衝突回避支援制御装置２における、画像取得部７、現在地情報取得部６４、地図情報取得部６５、道路特定部６６、運転技能推定部６７、指示情報取得部６８、要否判定部６９、衝突可能性判定部１５及び警告情報生成部６のそれぞれの機能は、処理回路により実現される。すなわち、衝突回避支援制御装置２は、図２に示したステップＳＴ５０からステップＳＴ５９までの処理を実行するための処理回路を備える。同様に、実施の形態２に係る衝突回避支援制御装置２における、画像取得部７、搭乗者情報要否判定部６３、運転者顔情報検出部８、運転者顔基準設定部９、運転者状態判定部１０、搭乗者顔情報検出部１１、搭乗者顔基準設定部１３、死角判定部１２、搭乗者状態推定部１４、衝突可能性判定部１５及び警告情報生成部６のそれぞれの機能は、処理回路により実現される。すなわち、衝突回避支援制御装置２は、図４に示したステップＳＴ１からステップＳＴ９までの処理を実行するための処理回路を備える。同様に、衝突回避支援制御装置２１における、画像取得部７、搭乗者情報要否判定部６３、運転者顔情報検出部８、運転者顔基準設定部９、運転者状態判定部１０、搭乗者顔情報検出部１１、搭乗者顔基準設定部１３、死角判定部１２、搭乗者状態推定部１４、衝突可能性判定部１５、警告情報生成部６及び減速指示情報生成部２２のそれぞれの機能は、処理回路により実現される。すなわち、衝突回避支援制御装置２１は、図１０及び図１１、又は図１２及び図１３に示したステップＳＴ１０からステップＳＴ２１までの処理を実行するための処理回路を備える。同様に、衝突回避支援制御装置３１における、画像取得部７、搭乗者情報要否判定部６３、運転者顔情報検出部８、運転者顔基準設定部９、運転者状態判定部１０、搭乗者顔情報検出部１１、搭乗者顔基準設定部１３、死角判定部１２、搭乗者状態推定部１４、衝突可能性判定部１５、警告情報生成部６、減速指示情報生成部２２及び進行方向指示情報生成部３２のそれぞれの機能は、処理回路により実現される。すなわち、衝突回避支援制御装置３１は、図１５及び図１６、又は図１７及び図１８に示したステップＳＴ３０からステップＳＴ４４までの処理を実行するための処理回路を備える。同様に、衝突回避支援制御装置７１における、画像取得部７、搭乗者情報要否判定部６３、運転者顔情報検出部８、運転者顔基準設定部９、運転者状態判定部１０、搭乗者顔情報検出部１１、視野範囲推定部７４、衝突可能性判定部１５、注意喚起情報生成部７２及び減速指示情報生成部２２のそれぞれの機能は、処理回路により実現される。すなわち、衝突回避支援制御装置７１は、図２０及び図２１に示したステップＳＴ７０からステップＳＴ８５までの処理を実行するための処理回路を備える。これらの処理回路は、専用のハードウェアであってもよいが、メモリに記憶されたプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。

図２３Ａは、衝突回避支援制御装置２、衝突回避支援制御装置２１、衝突回避支援制御装置３１又は衝突回避支援制御装置７１の機能を実現するハードウェア構成を示すブロック図である。図２３Ｂは、衝突回避支援制御装置２、衝突回避支援制御装置２１、衝突回避支援制御装置３１又は衝突回避支援制御装置７１の機能を実現するソフトウェアを実行するハードウェア構成を示すブロック図である。図２３Ａ及び図２３Ｂに示す入力インタフェース装置４１は、撮影部４との通信を行い、撮影部４が撮影した画像を画像取得部７に入力する。図２３Ａ及び図２３Ｂに示す出力インタフェース装置４２は、警告装置３との通信を行い、警告情報生成部６が生成した警告情報を警告装置３に出力する。また、出力インタフェース装置４２は、駆動制御装置２３との通信を行い、減速指示情報生成部２２が生成した減速指示情報を駆動制御装置２３に出力する。また、出力インタフェース装置４２は、操舵制御装置３３との通信を行い、進行方向指示情報生成部３２が生成した進行方向指示情報を操舵制御装置３３に出力する。

上記処理回路が図２３Ａに示す専用のハードウェアの処理回路４０である場合、処理回路４０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又はこれらを組み合わせたものが該当する。
実施の形態１に係る衝突回避支援制御装置２における、画像取得部７、現在地情報取得部６４、地図情報取得部６５、道路特定部６６、運転技能推定部６７、指示情報取得部６８、要否判定部６９、衝突可能性判定部１５及び警告情報生成部６のそれぞれの機能を別々の処理回路で実現してもよいし、これらの機能をまとめて１つの処理回路で実現してもよい。
実施の形態２に係る衝突回避支援制御装置２における、画像取得部７、搭乗者情報要否判定部６３、運転者顔情報検出部８、運転者顔基準設定部９、運転者状態判定部１０、搭乗者顔情報検出部１１、搭乗者顔基準設定部１３、死角判定部１２、搭乗者状態推定部１４、衝突可能性判定部１５及び警告情報生成部６のそれぞれの機能を別々の処理回路で実現してもよいし、これらの機能をまとめて１つの処理回路で実現してもよい。
衝突回避支援制御装置２１における、画像取得部７、搭乗者情報要否判定部６３、運転者顔情報検出部８、運転者顔基準設定部９、運転者状態判定部１０、搭乗者顔情報検出部１１、搭乗者顔基準設定部１３、死角判定部１２、搭乗者状態推定部１４、衝突可能性判定部１５、警告情報生成部６及び減速指示情報生成部２２のそれぞれの機能を別々の処理回路で実現してもよいし、これらの機能をまとめて１つの処理回路で実現してもよい。
衝突回避支援制御装置３１における、画像取得部７、搭乗者情報要否判定部６３、運転者顔情報検出部８、運転者顔基準設定部９、運転者状態判定部１０、搭乗者顔情報検出部１１、搭乗者顔基準設定部１３、死角判定部１２、搭乗者状態推定部１４、衝突可能性判定部１５、警告情報生成部６、減速指示情報生成部２２及び進行方向指示情報生成部３２のそれぞれの機能を別々の処理回路で実現してもよいし、これらの機能をまとめて１つの処理回路で実現してもよい。
衝突回避支援制御装置７１における、画像取得部７、搭乗者情報要否判定部６３、運転者顔情報検出部８、運転者顔基準設定部９、運転者状態判定部１０、搭乗者顔情報検出部１１、視野範囲推定部７４、衝突可能性判定部１５、注意喚起情報生成部７２及び減速指示情報生成部２２のそれぞれの機能を別々の処理回路で実現してもよいし、これらの機能をまとめて１つの処理回路で実現してもよい。

上記処理回路が図２３Ｂに示すプロセッサ５０である場合、実施の形態１に係る衝突回避支援制御装置２における、画像取得部７、現在地情報取得部６４、地図情報取得部６５、道路特定部６６、運転技能推定部６７、指示情報取得部６８、要否判定部６９、衝突可能性判定部１５及び警告情報生成部６のそれぞれの機能は、ソフトウェア、ファームウェア又はソフトウェアとファームウェアとの組み合わせによって実現される。
また、実施の形態２に係る衝突回避支援制御装置２における、画像取得部７、搭乗者情報要否判定部６３、運転者顔情報検出部８、運転者顔基準設定部９、運転者状態判定部１０、搭乗者顔情報検出部１１、搭乗者顔基準設定部１３、死角判定部１２、搭乗者状態推定部１４、衝突可能性判定部１５及び警告情報生成部６のそれぞれの機能は、ソフトウェア、ファームウェア又はソフトウェアとファームウェアとの組み合わせによって実現される。
また、衝突回避支援制御装置２１における、画像取得部７、搭乗者情報要否判定部６３、運転者顔情報検出部８、運転者顔基準設定部９、運転者状態判定部１０、搭乗者顔情報検出部１１、搭乗者顔基準設定部１３、死角判定部１２、搭乗者状態推定部１４、衝突可能性判定部１５、警告情報生成部６及び減速指示情報生成部２２のそれぞれの機能についても、ソフトウェア、ファームウェア又はソフトウェアとファームウェアとの組み合わせによって実現される。
また、衝突回避支援制御装置３１における、画像取得部７、搭乗者情報要否判定部６３、運転者顔情報検出部８、運転者顔基準設定部９、運転者状態判定部１０、搭乗者顔情報検出部１１、搭乗者顔基準設定部１３、死角判定部１２、搭乗者状態推定部１４、衝突可能性判定部１５、警告情報生成部６、減速指示情報生成部２２及び進行方向指示情報生成部３２のそれぞれの機能についても、ソフトウェア、ファームウェア又はソフトウェアとファームウェアとの組み合わせによって実現される。
また、衝突回避支援制御装置７１における、画像取得部７、搭乗者情報要否判定部６３、運転者顔情報検出部８、運転者顔基準設定部９、運転者状態判定部１０、搭乗者顔情報検出部１１、視野範囲推定部７４、衝突可能性判定部１５、注意喚起情報生成部７２及び減速指示情報生成部２２のそれぞれの機能についても、ソフトウェア、ファームウェア又はソフトウェアとファームウェアとの組み合わせによって実現される。
なお、ソフトウェア又はファームウェアは、プログラムとして記述されてメモリ５１に記憶される。

プロセッサ５０は、メモリ５１に記憶されたプログラムを読み出して実行することにより、衝突回避支援制御装置２における、画像取得部７、現在地情報取得部６４、地図情報取得部６５、道路特定部６６、運転技能推定部６７、指示情報取得部６８、要否判定部６９、運転者顔情報検出部８、運転者顔基準設定部９、運転者状態判定部１０、搭乗者顔情報検出部１１、搭乗者顔基準設定部１３、死角判定部１２、搭乗者状態推定部１４、衝突可能性判定部１５及び警告情報生成部６のそれぞれの機能を実現する。すなわち、衝突回避支援制御装置２は、プロセッサ５０によって実行されるときに、図２に示したステップＳＴ５０からステップＳＴ５９までの処理が結果的に実行されるプログラムと、図４に示したステップＳＴ１からステップＳＴ９までの処理とが結果的に実行されるプログラムを記憶するためのメモリ５１を備える。
これらのプログラムは、画像取得部７、現在地情報取得部６４、地図情報取得部６５、道路特定部６６、運転技能推定部６７、指示情報取得部６８、要否判定部６９、運転者顔情報検出部８、運転者顔基準設定部９、運転者状態判定部１０、搭乗者顔情報検出部１１、搭乗者顔基準設定部１３、死角判定部１２、搭乗者状態推定部１４、衝突可能性判定部１５及び警告情報生成部６の手順又は方法をコンピュータに実行させる。メモリ５１は、コンピュータを、画像取得部７、現在地情報取得部６４、地図情報取得部６５、道路特定部６６、運転技能推定部６７、指示情報取得部６８、要否判定部６９、運転者顔情報検出部８、運転者顔基準設定部９、運転者状態判定部１０、搭乗者顔情報検出部１１、搭乗者顔基準設定部１３、死角判定部１２、搭乗者状態推定部１４、衝突可能性判定部１５及び警告情報生成部６として機能させるためのプログラムが記憶されたコンピュータ可読記憶媒体であってもよい。これは、衝突回避支援制御装置２１、衝突回避支援制御装置３１及び衝突回避支援制御装置７１においても同様である。

メモリ５１には、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ－ＥＰＲＯＭ）などの不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤなどが該当する。

画像取得部７、現在地情報取得部６４、地図情報取得部６５、道路特定部６６、運転技能推定部６７、指示情報取得部６８、要否判定部６９、運転者顔情報検出部８、運転者顔基準設定部９、運転者状態判定部１０、搭乗者顔情報検出部１１、搭乗者顔基準設定部１３、死角判定部１２、搭乗者状態推定部１４、衝突可能性判定部１５及び警告情報生成部６のそれぞれの機能について一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現してもよい。
例えば、画像取得部７、現在地情報取得部６４、地図情報取得部６５、道路特定部６６、運転技能推定部６７、指示情報取得部６８、要否判定部６９、は、専用のハードウェアとしての処理回路で機能を実現する。運転者顔情報検出部８、運転者顔基準設定部９、運転者状態判定部１０、搭乗者顔情報検出部１１、搭乗者顔基準設定部１３、死角判定部１２、搭乗者状態推定部１４、衝突可能性判定部１５及び警告情報生成部６については、プロセッサ５０がメモリ５１に記憶されたプログラムを読み出して実行することにより機能を実現してもよい。
これは、衝突回避支援制御装置２１における、画像取得部７、搭乗者情報要否判定部６３、運転者顔情報検出部８、運転者顔基準設定部９、運転者状態判定部１０、搭乗者顔情報検出部１１、搭乗者顔基準設定部１３、死角判定部１２、搭乗者状態推定部１４、衝突可能性判定部１５、警告情報生成部６及び減速指示情報生成部２２においても同様である。また、これは、衝突回避支援制御装置３１における、画像取得部７、搭乗者情報要否判定部６３、運転者顔情報検出部８、運転者顔基準設定部９、運転者状態判定部１０、搭乗者顔情報検出部１１、搭乗者顔基準設定部１３、死角判定部１２、搭乗者状態推定部１４、衝突可能性判定部１５、警告情報生成部６、減速指示情報生成部２２及び進行方向指示情報生成部３２においても同様である。また、これは、衝突回避支援制御装置７１における、画像取得部７、搭乗者情報要否判定部６３、運転者顔情報検出部８、運転者顔基準設定部９、運転者状態判定部１０、搭乗者顔情報検出部１１、視野範囲推定部７４、衝突可能性判定部１５、注意喚起情報生成部７２及び減速指示情報生成部２２においても同様である。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせにより上記機能のそれぞれを実現することができる。
なお、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

本開示に係る衝突回避支援制御装置は、車両が衝突対象と衝突する可能性を低下させることができるため、衝突回避支援システムに利用可能である。

１ 衝突回避支援システム、２ 衝突回避支援制御装置、３ 警告装置、４ 撮影部、５ 画像解析部、６ 警告情報生成部、７ 画像取得部、８ 運転者顔情報検出部、９ 運転者顔基準設定部、１０ 運転者状態判定部、１１ 搭乗者顔情報検出部、１２ 死角判定部、１３ 搭乗者顔基準設定部、１４ 搭乗者状態推定部、１５ 衝突可能性判定部、２０ 衝突回避支援システム、２１ 衝突回避支援制御装置、２２ 減速指示情報生成部、２３ 駆動制御装置、３０ 衝突回避支援システム、３１ 衝突回避支援制御装置、３２ 進行方向指示情報生成部、３３ 操舵制御装置、４０ 処理回路、４１ 入力インタフェース装置、４２ 出力インタフェース装置、５０ プロセッサ、５１ メモリ、６０ 現在地測位部、６１ 記憶部、６２ 手動切換え部、６３ 搭乗者情報要否判定部、６４ 現在地情報取得部、６５ 地図情報取得部、６６ 道路特定部、６７ 運転技能推定部、６８ 指示情報取得部、６９ 要否判定部、７０ 衝突回避支援システム、７１ 衝突回避支援制御装置、７２ 注意喚起情報生成部、７３ 画像解析部、７４ 視野範囲推定部。

Claims (20)

1. 車両の運転者及び当該運転者以外の搭乗者の画像を取得する画像取得部と、
   前記車両が現在通行している道路に関する情報に基づいて、前記車両が衝突対象と衝突する可能性を判定する衝突可能性判定に、前記搭乗者に関する情報を用いるか否かを判定する要否判定部と、
   前記要否判定部が前記衝突可能性判定に前記搭乗者に関する情報を用いると判定した場合、前記画像取得部が取得した画像が示す搭乗者に関する情報に基づいて、前記衝突可能性判定を行う衝突可能性判定部と、を備えていることを特徴とする、衝突回避支援制御装置。
2. 車両の運転者及び当該運転者以外の搭乗者の画像を取得する画像取得部と、
   前記車両が衝突対象と衝突する可能性を判定する衝突可能性判定に、前記搭乗者に関する情報を用いるか否かを判定する要否判定部と、
   前記要否判定部が前記衝突可能性判定に前記搭乗者に関する情報を用いると判定した場合、前記画像取得部が取得した画像が示す搭乗者に関する情報に基づいて、前記衝突可能性判定を行う衝突可能性判定部と、
   前記車両の現在地に関する現在地情報を取得する現在地情報取得部と、
   地図情報を取得する地図情報取得部と、
   前記現在地情報取得部が取得した現在地情報と、前記地図情報取得部が取得した地図情報とに基づいて、前記車両が現在通行している道路を特定する道路特定部と、を備え、
   前記要否判定部は、前記道路特定部が特定した道路に関する情報に基づいて、前記衝突可能性判定に前記搭乗者に関する情報を用いるか否かを判定することを特徴とする、衝突回避支援制御装置。
3. 前記要否判定部は、前記運転者に関する情報、又は前記衝突可能性判定に前記搭乗者に関する情報を用いるか否かを指示する指示情報のうちの少なくとも１つ以上の情報にさらに基づいて、前記衝突可能性判定に前記搭乗者に関する情報を用いるか否かを判定することを特徴とする、請求項１又は請求項２に記載の衝突回避支援制御装置。
4. 前記運転者の運転技能を推定する運転技能推定部をさらに備え、
   前記要否判定部は、前記運転技能推定部が推定した前記運転者の運転技能にさらに基づいて、前記衝突可能性判定に前記搭乗者に関する情報を用いるか否かを判定することを特徴とする、請求項１又は請求項２に記載の衝突回避支援制御装置。
5. 前記衝突可能性判定に前記搭乗者に関する情報を用いるか否かを指示する指示情報を取得する指示情報取得部をさらに備え、
   前記要否判定部は、前記指示情報取得部が取得した指示情報が前記衝突可能性判定に前記搭乗者に関する情報を用いることを指示している場合、前記衝突可能性判定に前記搭乗者に関する情報を用いると判定し、前記指示情報取得部が取得した指示情報が前記衝突可能性判定に前記搭乗者に関する情報を用いないことを指示している場合、前記衝突可能性判定に前記搭乗者に関する情報を用いないと判定することを特徴とする、請求項１又は請求項２に記載の衝突回避支援制御装置。
6. 前記画像取得部が取得した画像に基づいて、前記搭乗者の状態を推定する搭乗者状態推定部をさらに備え、
   前記衝突可能性判定部は、前記搭乗者状態推定部が推定した前記搭乗者の状態に基づいて、前記車両と衝突する可能性がある対象が存在するか否かを判定することにより、前記衝突可能性判定を行うことを特徴とする、請求項１又は請求項２に記載の衝突回避支援制御装置。
7. 前記画像取得部が取得した画像に基づいて、前記搭乗者の視線から前記搭乗者が前記運転者の死角を見ているか否かを判定する死角判定部をさらに備え、
   前記搭乗者状態推定部は、前記死角判定部が前記搭乗者が前記運転者の死角を見ていると判定した場合に、前記画像取得部が取得した画像に基づいて、前記搭乗者の状態を推定することを特徴とする、請求項６に記載の衝突回避支援制御装置。
8. 前記画像取得部が取得した画像に基づいて、前記運転者の状態を推定し、前記運転者の状態が正常状態であるか否かを判定する運転者状態判定部をさらに備え、
   前記死角判定部は、前記運転者状態判定部が前記運転者の状態が正常状態であると判定した場合に、前記画像取得部が取得した画像に基づいて、前記搭乗者の視線から前記搭乗者が前記運転者の死角を見ているか否かを判定することを特徴とする、請求項７に記載の衝突回避支援制御装置。
9. 前記衝突可能性判定部が前記対象が存在すると判定した場合、警告情報を生成する警告情報生成部をさらに備えていることを特徴とする、請求項６に記載の衝突回避支援制御装置。
10. 前記警告情報生成部が前記警告情報を生成してから第１の所定の時間、前記運転者が前記車両と前記対象との衝突を回避するように前記車両を操作しない場合、前記車両の速度を減速させるように指示する減速指示情報を生成する減速指示情報生成部をさらに備えていることを特徴とする、請求項９に記載の衝突回避支援制御装置。
11. 前記減速指示情報生成部が前記減速指示情報を生成してから第２の所定の時間、前記運転者が前記車両と前記対象との衝突を回避するように前記車両を操作しない場合、前記車両の進行方向を前記車両と前記対象との衝突を回避する方向に変更するように指示する進行方向指示情報を生成する進行方向指示情報生成部をさらに備えていることを特徴とする、請求項１０に記載の衝突回避支援制御装置。
12. 前記画像取得部が取得した画像に基づいて、前記運転者の視線及び前記搭乗者の視線から前記運転者の視野範囲又は前記搭乗者の視野範囲のうちの少なくとも一方によって補われる視野範囲を推定する視野範囲推定部をさらに備え、
    前記衝突可能性判定部は、前記視野範囲推定部が推定した視野範囲が所定の視野範囲を補っているか否かを判定することにより、前記衝突可能性判定を行うことを特徴とする、請求項１又は請求項２に記載の衝突回避支援制御装置。
13. 前記衝突可能性判定部が、判定を始めてから第１の所定の時間、前記視野範囲推定部が推定した視野範囲が所定の視野範囲を補っていないと判定した場合、注意喚起情報を生成する注意喚起情報生成部をさらに備えていることを特徴とする、請求項１２に記載の衝突回避支援制御装置。
14. 前記視野範囲推定部は、前記注意喚起情報生成部が前記注意喚起情報を生成した後に、前記画像取得部が新たに取得した画像に基づいて、前記運転者の視線及び前記搭乗者の視線から前記運転者の視野範囲又は前記搭乗者の視野範囲のうちの少なくとも一方によって補われる視野範囲を再度推定し、
    前記衝突可能性判定部は、前記視野範囲推定部が再度推定した視野範囲が所定の視野範囲を補っているか否かを再度判定し、
    前記衝突可能性判定部が、再度判定を始めてから第２の所定の時間、前記視野範囲推定部が推定した視野範囲が所定の視野範囲を補っていないと判定した場合、前記車両の速度を減速させるように指示する減速指示情報を生成する減速指示情報生成部をさらに備えていることを特徴とする、請求項１３に記載の衝突回避支援制御装置。
15. 請求項１１に記載の衝突回避支援制御装置と、
    前記警告情報生成部が生成した警告情報を出力する警告装置と、
    前記減速指示情報生成部が生成した減速指示情報に基づいて、前記車両の速度を減速させる駆動制御装置と、
    前記進行方向指示情報生成部が生成した前記進行方向指示情報に基づいて、前記車両の進行方向を前記車両と前記対象との衝突を回避する方向に変更する操舵制御装置と、を備えていることを特徴とする、衝突回避支援システム。
16. 請求項１４に記載の衝突回避支援制御装置と、
    前記注意喚起情報生成部が生成した注意喚起情報を出力する警告装置と、
    前記減速指示情報生成部が生成した減速指示情報に基づいて、前記車両の速度を減速させる駆動制御装置と、を含むことを特徴とする、衝突回避支援システム。
17. 請求項１又は請求項２に記載の衝突回避支援制御装置と、
    前記運転者及び前記搭乗者を撮影することにより前記画像を取得する撮影部と、を備えていることを特徴とする、衝突回避支援システム。
18. 前記撮影部は、広角カメラであることを特徴とする、請求項１７に記載の衝突回避支援システム。
19. 車両の運転者及び当該運転者以外の搭乗者の画像を取得する画像取得工程と、
    前記車両が現在通行している道路に関する情報に基づいて、前記車両が衝突対象と衝突する可能性を判定する衝突可能性判定に、前記搭乗者に関する情報を用いるか否かを判定する要否判定工程と、
    前記要否判定工程で前記衝突可能性判定に前記搭乗者に関する情報を用いると判定した場合、前記画像取得工程で取得した画像が示す搭乗者に関する情報に基づいて、前記衝突可能性判定を行う衝突可能性判定工程と、を含む、衝突回避支援方法。
20. 車両の運転者及び当該運転者以外の搭乗者の画像を取得する画像取得部と、
    前記車両が現在通行している道路の運転の難易度に基づいて、前記車両が衝突対象と衝突する可能性を判定する衝突可能性判定に、前記搭乗者に関する情報を用いるか否かを判定する要否判定部と、
    前記要否判定部が前記衝突可能性判定に前記搭乗者に関する情報を用いると判定した場合、前記画像取得部が取得した画像が示す搭乗者に関する情報に基づいて、前記衝突可能性判定を行う衝突可能性判定部と、を備えていることを特徴とする、衝突回避支援制御装置。

Images