WO2019176037A1 - 危険警告システム及び危険警告方法 - Google Patents

Abstract

車両の自動運転中に危険が検出された場合に、車両の運転者がセカンドタスク中であるか否かを判断するＥＣＵ（１０１）と、運転者がセカンドタスク中である場合に、そのセカンドタスクの対象物に対して、光を用いて警告を行う発光部材（１０８）と、を備える。

Description

危険警告システム及び危険警告方法

　本発明は、危険警告システム及び危険警告方法に関する。

　従来から、自動運転の継続が可能でないことを報知する警告を、運転者に行う車載警告システムがある。例えば、特許文献１に記載された車載警告システムは、運転者がハンドルを把持しており、かつ、運転者の視線が前方を向いている場合には、ヘッドアップディスプレイを用いて警告を行い、運転者がハンドルを把持していないか、又は、運転者の視線が前方を向いていない場合には、ヘッドアップディスプレイに加えて、音声出力デバイス又は振動出力デバイスの少なくとも何れかを用いて警告を行っている。

特開２０１７－１０７５０２号公報

　従来の車載警告システムは、運転者が読書等のセカンドタスクを行っている場合に、音声又は振動で警告をするしかなく、運転者が見ている方向に直接警告することができなかった。

　そこで、本発明の１又は複数の態様は、セカンドタスクを行っている運転者が見ている方向に直接警告を行うことができるようにすることを目的とする。

　本発明の一態様に係る危険警告システムは、車両の自動運転中に危険が検出された場合に、運転者に警告を行う危険警告システムであって、前記危険が検出された場合に、前記車両の運転者がセカンドタスク中であるか否かを判断する制御部と、前記セカンドタスク中である場合に、前記セカンドタスクの対象物に対して、光を用いて警告を行う警告部と、を備えることを特徴とする。

　本発明の一態様に係る危険警告方法は、車両の自動運転中に危険が検出された場合に、運転者に警告を行う危険警告方法であって、前記危険が検出された場合に、前記車両の運転者がセカンドタスク中であるか否かを判断し、前記セカンドタスク中である場合に、前記セカンドタスクの対象物に対して、光を用いて警告を行うことを特徴とする。

　本発明の１又は複数の態様によれば、セカンドタスクを行っている運転者が見ている方向に直接警告を行うことができる。

実施の形態１に係る危険警告システムの構成を概略的に示すブロック図である。 実施の形態１に係る危険警告システムの動作を示すフローチャートである。 実施の形態２に係る危険警告システムの構成を概略的に示すブロック図である。 実施の形態２に係る危険警告システムの動作を示すフローチャートである。 実施の形態３に係る危険警告システムの構成を概略的に示すブロック図である。 実施の形態３に係る危険警告システムの動作を示すフローチャートである。 検出された投影面の歪みを補正する補正処理の方法の一例を示す概略図である。

実施の形態１．
　図１は、実施の形態１に係る危険警告システム１００の構成を概略的に示すブロック図である。
　危険警告システム１００は、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）１０１と、メモリ１０２と、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）インタフェース（以下、ＣＡＮＩ／Ｆという）１０３と、外部センサ１０４と、ＤＭＳ（Ｄｒｉｖｅｒ　Ｍｏｎｉｔｏｒｉｎｇ　Ｓｙｓｔｅｍ）１０５と、スピーカ１０６と、表示デバイス１０７と、発光部材１０８と、姿勢変更機構１０９とを備える。

　危険警告システム１００は、危険警告システム１００が搭載された車両の自動運転中に危険が検出された場合に、運転者に警告を行うシステムである。

　ＥＣＵ１０１は、危険警告システム１００での処理を制御する制御部である。例えば、ＥＣＵ１０１は、各種処理演算をする回路で実現される。具体的には、ＥＣＵ１０１は、ＣＡＮ／ＩＦ１０３を介して、危険警告システム１００が搭載されている車両から各種データを取得して、その車両の自動運転を行う。また、ＥＣＵ１０１は、外部センサ１０４からの検出結果を取得して、予め定められた危険が検出されたか否かを判断する。そして、ＥＣＵ１０１は、自動運転中に危険が検出された場合には、運転者がセカンドタスク中であるか否かを判断する。運転者がセカンドタスク中である場合に、ＥＣＵ１０１は、発光部材１０８に、セカンドタスクの対象物に対して、光を用いて警告を行わせる。

　メモリ１０２は、危険警告システム１００での処理に必要なプログラム及びデータを記憶する記憶部である。
　ＣＡＮＩ／Ｆ１０３は、ＣＡＮ通信を行うための通信インタフェースである。
　外部センサ１０４は、危険警告システム１００が搭載された車両の外部に取付けられた各種センサである。例えば、外部センサ１０４は、危険警告システム１００が搭載された車両に関する危険を検出するセンサとして機能する。

　ＤＭＳ１０５は、運転者をモニタリングするシステムである。例えば、ＤＭＳ１０５は、撮像部として、少なくとも１つのカメラ１０５ａを備えている。ここでのカメラ１０５ａは、運転者の顔が含まれるように、運転者の周りの画像を撮像し、撮像された画像を示す画像データをＥＣＵ１０１に与える。

　スピーカ１０６は、音声を出力する音声出力部である。
　表示デバイス１０７は、ヘッドアップディスプレイ等の表示部である。
　発光部材１０８は、ＥＣＵ１０１の指示に応じて、予め定められた方向に光を投射する警告部として機能する。
　姿勢変更機構１０９は、ＥＣＵ１０１からの指示に応じて、発光部材１０８の向きを変更することで、発光部材１０８から投射される光の方向を変更する。

　図２は、実施の形態１に係る危険警告システム１００の動作を示すフローチャートである。
　ＥＣＵ１０１は、外部センサ１０４での検出結果を取得し、予め定められた危険が検出されたか否かを判断する（Ｓ１０）。危険が検出された場合（Ｓ１０でＹｅｓ）には、処理はステップＳ１１に進む。

　ステップＳ１１では、ＥＣＵ１０１は、危険警告システム１００が搭載されている車両を自動的に運転する自動運転中であるか否かを判断する（Ｓ１１）。自動運転中である場合（Ｓ１１でＹｅｓ）には、処理はステップＳ１２に進み、自動運転中ではない場合（Ｓ１１でＮｏ）には、処理はステップＳ１５に進む。

　ステップＳ１２では、ＥＣＵ１０１は、カメラ１０５ａで撮像された画像の画像データを取得して、その画像データから、運転者の視線の方向を特定する。
　そして、ＥＣＵ１０１は、特定された運転者の視線の方向から、運転者が、読書等のセカンドタスク中であるか否かを判断する（Ｓ１３）。例えば、ＥＣＵ１０１は、特定された運転者の視線の方向により、運転者が、車両の正面ではない方向を注視している場合に、運転者がセカンドタスク中であると判断する。なお、運転者の視線の方向が、車両の正面ではない方向に予め定められた時間固定されている場合に、ＥＣＵ１０１は、運転者が注視していると判断すればよい。運転者がセカンドタスク中である場合（Ｓ１３でＹｅｓ）には、処理はステップＳ１４に進み、運転者がセカンドタスク中ではない場合（Ｓ１３でＮｏ）には、処理はステップＳ１５に進む。
　なお、ここでは、セカンドタスクは、運転以外のタスクである。

　ステップＳ１４では、ＥＣＵ１０１は、カメラ１０５ａで撮像された画像データから、運転者の視線の方向にあるセカンドタスクの対象物を特定し、発光部材１０８及び姿勢変更機構１０９を制御することにより、特定された対象物の方向に、発光部材１０８からの光を投射して、運転者に警告を行う。なお、発光部材１０８は、点滅等の予め定められた投射方法を行うことで、より確実に運転者に警告を行うことができる。

　例えば、ＥＣＵ１０１は、予め車両の内部を撮像した画像である基準画像の画像データである基準画像データを取得しておいて、基準画像データと、セカンドタスク中の画像データとを比較することにより、セカンドタスク中の画像において運転者の視線の方向にあり、基準画像にはない物をセカンドタスクの対象物として特定すればよい。なお、そのような物がない場合には、ダッシュボード又はピラー等、運転者の視線の先にある物をセカンドタスクの対象物として特定してもよい。

　なお、実施の形態１では、ＤＭＳ１０５のカメラ１０５ａと、発光部材１０８とを近接して設けておくことにより、カメラ１０５ａで撮像された画像データで特定された対象物の方向に、発光部材１０８の光の方向を向ければ、特定された対象物に光を当てることができる。

　一方、ステップＳ１５では、ＥＣＵ１０１は、発光部材１０８を用いずに、通常の方法、例えば、スピーカ１０６で、警告する旨の音声又は警告音を鳴らしたり、表示デバイス１０７に警告する旨の表示を行ったりすることで、運転者に警告を行う。

　以上のように、実施の形態１によれば、例えば、読書中の運転者が目線を動かすことなく、警告を目視することができるため、運転者の注意をいち早く運転に戻すことができる。これにより、運転者がセカンドタスク中であっても、いち早く危険を察知し、運転権限を自分に戻す運転権限移譲を行うことができる。

　発光部材１０８による発光方法もどのようなものであってもよく、ブリンクであったり、輝度を高くしたり、多様な発光方法を利用することができる。
　また、夜間で手元ライトを利用して読書をしている場合には、ＥＣＵ１０１は、手元ライトを消灯し、かわりに発光部材１０８からの発光を行ってもよい。

　なお、実施の形態１では、危険の検出について外部センサ１０４を用いるものを示したが、実施の形態１は、このような例に限定されない。ＥＣＵ１０１は、外部センサ１０４を用いなくても、例えば、車両の外部を撮像することのできる図示しないカメラを用いて危険を検出してもよく、図示していない通信部を用いて、他の車両又は他の装置と通信し、自車両に関する危険が検出されたことを示す情報を取得することにより、危険を検出してもよく、危険の検出方法はどのような方法であってもよい。

　また、ＥＣＵ１０１は、運転者がセカンドタスクの対象物への発光による警告に気づいて視線を前方に戻すまで警告を継続させてもよい。さらに、ＥＣＵ１０１は、発光部材１０８による警告と、スピーカ１０６及び表示デバイス１０７の少なくとも何れか一方による警告とを合わせて行わせてもよい。

　また、実施の形態１では、発光部材１０８を用いて、対象物に光で警告を行っているが、実施の形態１はこのような態様に限定されない。例えば、発光部材１０８の代わりに、運転者に警告するための映像を対象物に投影するプロジェクタを用いることもできる。

実施の形態２．
　実施の形態１では、ＤＭＳ１０５で視線を検出して見ている対象物を特定しているが、実施の形態２では、運転者の顔向きを検出してセカンドタスクの対象物を検出する。

　図３は、実施の形態２に係る危険警告システム２００の構成を概略的に示すブロック図である。
　危険警告システム２００は、ＥＣＵ２０１と、メモリ１０２と、ＣＡＮＩ／Ｆ１０３と、外部センサ１０４と、ＤＭＳ１０５と、スピーカ１０６と、表示デバイス１０７と、姿勢変更機構２０９と、プロジェクタ２１０と、第１の俯瞰カメラ２１１Ａと、第２の俯瞰カメラ２１１Ｂとを備える。
　実施の形態２に係る危険警告システム２００の、メモリ１０２、ＣＡＮＩ／Ｆ１０３、外部センサ１０４、ＤＭＳ１０５、スピーカ１０６及び表示デバイス１０７は、実施の形態１に係る危険警告システム１００の対応する部分と同様である。

　ＥＣＵ２０１は、危険警告システム２００での処理を制御する制御部である。実施の形態２におけるＥＣＵ２０１は、実施の形態１とほぼ同様の処理を制御するが、第１の俯瞰カメラ２１１Ａ又は第２の俯瞰カメラ２１１Ｂで撮像された画像データを用いて、運転者が向いている方向を特定することで、運転者がセカンドタスク中であるか否かを判断する。運転者がセカンドタスク中であると判断した場合には、ＥＣＵ２０１は、第１の俯瞰カメラ２１１Ａ及び第２の俯瞰カメラ２１１Ｂで撮像された画像データを用いて、セカンドタスクの対象物の位置を特定し、プロジェクタ２１０に、特定された位置に向かって、運転者に警告するための映像を投影させる。具体的には、ＥＣＵ２０１は、第１の俯瞰カメラ２１１Ａ及び第２の俯瞰カメラ２１１Ｂで撮像された画像データを用いて、対象物の位置を特定し、プロジェクタ２１０からこの特定された位置への方向及び距離を算出することで、プロジェクタ２１０からの映像を特定された対象物に投影させる。

　プロジェクタ２１０は、ＥＣＵ２０１からの指示に応じて、運転者に警告を行うための映像を、ＥＣＵ２０１からの指示された対象物に投影する警告部として機能する。
　姿勢変更機構２０９は、ＥＣＵ２０１からの指示に応じて、プロジェクタ２１０の向きを変更することで、プロジェクタ２１０から投影される映像の方向を変更する。

　第１の俯瞰カメラ２１１Ａ及び第２の俯瞰カメラ２１１Ｂの各々は、車内の画像を３６０度の範囲で撮影する撮像部である。なお、第１の俯瞰カメラ２１１Ａ及び第２の俯瞰カメラ２１１Ｂの各々で撮像される画像には、運転者の首から上である頭部が含まれるようにする。例えば、第１の俯瞰カメラ２１１Ａ及び第２の俯瞰カメラ２１１Ｂは、運転者の頭上斜め前の車内天井に取り付けられているものとする。

　第１の俯瞰カメラ２１１Ａを第１の撮像部ともいい、第１の俯瞰カメラ２１１Ａで撮像された画像を第１の画像ともいう。
　第２の俯瞰カメラ２１１Ｂを第２の撮像部ともいい、第２の俯瞰カメラ２１１Ｂで撮像された画像を第２の画像ともいう。

　図４は、実施の形態２に係る危険警告システム２００の動作を示すフローチャートである。
　ＥＣＵ２０１は、外部センサ１０４での検出結果を取得し、予め定められた危険が検出されたか否かを判断する（Ｓ２０）。危険が検出された場合（Ｓ２０でＹｅｓ）には、処理はステップＳ２１に進む。

　ステップＳ２１では、ＥＣＵ２０１は、自動運転中であるか否かを判断する（Ｓ２１）。自動運転中である場合（Ｓ２１でＹｅｓ）には、処理はステップＳ２２に進み、自動運転中ではない場合（Ｓ２１でＮｏ）には、処理はステップＳ２５に進む。

　ステップＳ２２では、ＥＣＵ２０１は、第１の俯瞰カメラ２１１Ａ及び第２の俯瞰カメラ２１１Ｂで撮像された画像の画像データを取得して、それらの画像データの何れか一方を用いて、運転者の顔の向きを特定する。
　そして、ＥＣＵ２０１は、検知された運転者の顔の向きから、運転者が、読書等のセカンドタスク中であるか否かを判断する（Ｓ２３）。例えば、ＥＣＵ２０１は、特定された運転者の顔の向きにより、運転者が、車両の正面ではない方向を注視している場合に、運転者がセカンドタスク中であると判断する。なお、運転者の顔の向きが、車両の正面ではない方向に予め定められた時間固定されている場合に、ＥＣＵ２０１は、運転者が注視していると判断すればよい。運転者がセカンドタスク中である場合（Ｓ２３でＹｅｓ）には、処理はステップＳ２４に進み、運転者がセカンドタスク中ではない場合（Ｓ２３でＮｏ）には、処理はステップＳ２５に進む。

　ステップＳ２４では、ＥＣＵ２０１は、第１の俯瞰カメラ２１１Ａ及び第２の俯瞰カメラ２１１Ｂで撮像された画像の画像データを用いて、運転者の視線の先にあるセカンドタスクの対象物を特定するとともに、その位置を特定する。
　例えば、そして、ＥＣＵ２０１は、第１の俯瞰カメラ２１１Ａで撮像された対象物の特徴点と、第２の俯瞰カメラ２１１Ｂで撮像された対象物の特徴点とをパターンマッチングで検出する。ＥＣＵ２０１は、検出された特徴点までの距離Ｚを、下記の（１）式で算出するとともに、検出された特徴点の方向を特定する。
　Ｚ＝（Ｂ×Ｆ）÷Ｄ　　　　　　　　　　　　　　　　　　　　（１）
　ここで、Ｂは、第１の俯瞰カメラ２１１Ａと、第２の俯瞰カメラ２１１Ｂとの間の距離であり、Ｆは、第１の俯瞰カメラ２１１Ａ又は第２の俯瞰カメラ２１１Ｂの焦点距離であり、Ｄは、第１の俯瞰カメラ２１１Ａ及び第２の俯瞰カメラ２１１Ｂの視差である。

　以上のようにして算出された距離Ｚを、プロジェクタ２１０からの距離に補正するとともに、特定された方向を、プロジェクタ２１０からの方向に補正することで、ＥＣＵ２０１は、プロジェクタ２１０からセカンドタスクの対象物までの距離及び方向を特定する。そして、ＥＣＵ２０１は、姿勢変更機構２０９及びプロジェクタ２１０を制御することで、以上のようにして特定された距離及び方向の対象物に、プロジェクタ２１０から、運転者に警告するための映像を表示させる。

　一方、ステップＳ２５では、ＥＣＵ２０１は、プロジェクタ２１０を用いずに、通常の方法、例えば、スピーカ１０６で、警告する旨の音声又は警告音を鳴らしたり、表示デバイス１０７に警告する旨の表示を行ったりすることで、運転者に警告を行う。

　以上のように、実施の形態２によれば、ＤＭＳ１０５を搭載していなくても、ＥＣＵ２０１は、第１の俯瞰カメラ２１１Ａ及び第２の俯瞰カメラ２１１Ｂで撮像された画像データに対して画像処理を行うことで、運転者の顔の向きを用いてセカンドタスク中であるか否かを特定することができる。さらに、ＥＣＵ２０１は、画像処理により、セカンドタスクの対象物の位置を検出することができるため、運転者の注意をいち早く運転に戻すために、その対象物に警告を行うための映像を表示させることができる。

　上記では、セカンドタスクの対象物の位置は、第１の俯瞰カメラ２１１Ａ又は第２の俯瞰カメラ２１１Ｂからの距離及び方向で特定されているが、実施の形態２は、このような例に限定されない。例えば、セカンドタスクの対象物の位置は、第１の俯瞰カメラ２１１Ａ又は第２の俯瞰カメラ２１１Ｂからの距離及び方向から、予め定められた３次元の座標で特定されてもよい。

実施の形態３．
　実施の形態２では、セカンドタスクの対象物に警告を行うための映像が投影されているが、セカンドタスクの対象物の位置、角度又は形状によっては、投影される映像が歪んでしまう。そこで、実施の形態３では、補正された映像が対象物に投影される。

　図５は、実施の形態３に係る危険警告システム３００の構成を概略的に示すブロック図である。
　危険警告システム３００は、ＥＣＵ３０１と、メモリ１０２と、ＣＡＮＩ／Ｆ１０３と、外部センサ１０４と、ＤＭＳ１０５と、スピーカ１０６と、表示デバイス１０７と、姿勢変更機構３０９と、プロジェクタ３１０と、３Ｄ（Ｄｉｍｅｎｓｉｏｎ）カメラ３１２とを備える。
　実施の形態３に係る危険警告システム３００の、メモリ１０２、ＣＡＮＩ／Ｆ１０３、外部センサ１０４、ＤＭＳ１０５、スピーカ１０６及び表示デバイス１０７は、実施の形態１に係る危険警告システム１００の対応する部分と同様である。

　ＥＣＵ３０１は、危険警告システム３００での処理を制御する制御部である。実施の形態３におけるＥＣＵ３０１は、実施の形態１におけるＥＣＵ１０１とほぼ同様の処理を制御するが、ＤＭＳ１０５のカメラ１０５ａで撮像された画像データから、運転者がセカンドタスク中であると判断した場合には、３Ｄカメラ３１２に、運転者の視線方向の画像データを撮像させる。そして、ＥＣＵ３０１は、撮像された画像データから、セカンドタスクの対象物の位置及び立体的な形状を特定し、プロジェクタ３１０からこの対象物へ投影する映像を、特定された形状に合わせて、補正する。具体的には、ＥＣＵ３０１は、対象物の立体的な形状にあわせて、公知のプロジェクションマッピング技術を利用して画像処理を行い、プロジェクタ３１０から処理された映像を特定された対象物に投影させる。

　プロジェクタ３１０は、ＥＣＵ３０１からの指示に応じて、運転者に警告を行うための映像を、ＥＣＵ３０１から指示された対象物に投影する警告部として機能する。
　姿勢変更機構３０９は、ＥＣＵ３０１からの指示に応じて、プロジェクタ３１０の向きを変更することで、プロジェクタ３１０から投影される映像の方向を変更する。また、姿勢変更機構３０９は、ＥＣＵ３０１からの指示に応じて、３Ｄカメラ３１２の向きを変更することで、３Ｄカメラ３１２で撮像する方向を変更する。

　３Ｄカメラ３１２は、例えば、異なる複数の方向から撮像対象の画像の画像データを取得することのできるステレオカメラである。例えば、３Ｄカメラ３１２は、第１の方向から画像を撮像する第１のカメラ３１２ａと、第１の方向とは異なる第２の方向から画像を撮像する第２のカメラ３１２ｂとを備える。このため、ＥＣＵ３０１は、実施の形態２と同様に、３Ｄカメラ３１２で撮像された複数方向からの画像データを用いて、セカンドタスクの対象物の位置を特定することができるほか、その対象物の立体的な形状を特定することができる。

　ここで、第１のカメラ３１２ａを第１の対象撮像部ともいい、第１のカメラ３１２ａで撮像された画像を第１の対象画像ともいう。
　第２のカメラ３１２ｂを第２の対象撮像部ともいい、第２のカメラ３１２ｂで撮像された画像を第２の対象画像ともいう。

　なお、３Ｄカメラ３１２は、プロジェクタ３１０と近接した位置に設置されていることが望ましい。このような位置に設置されていることで、３Ｄカメラ３１２の姿勢を姿勢変更機構３０９で変更しやすくすることができるほか、プロジェクタ３１０で映像を投影する対象物の面の形状を正確に特定することができる。

　図６は、実施の形態３に係る危険警告システム３００の動作を示すフローチャートである。
　ＥＣＵ３０１は、外部センサ１０４での検出結果を取得し、予め定められた危険が検出されたか否かを判断する（Ｓ３０）。危険が検出された場合（Ｓ３０でＹｅｓ）には、処理はステップＳ３１に進む。

　ステップＳ３１では、ＥＣＵ３０１は、自動運転中であるか否かを判断する（Ｓ３１）。自動運転中である場合（Ｓ３１でＹｅｓ）には、処理はステップＳ３２に進み、自動運転中ではない場合（Ｓ３１でＮｏ）には、処理はステップＳ３６に進む。

　ステップＳ３２では、ＥＣＵ３０１は、ＤＭＳ１０５で撮像された画像の画像データを取得して、その画像データから、運転者の視線の方向を特定する。
　そして、ＥＣＵ３０１は、特定された運転者の視線の方向から、運転者が、読書等のセカンドタスク中であるか否かを判断する（Ｓ３３）。運転者がセカンドタスク中である場合（Ｓ３３でＹｅｓ）には、処理はステップＳ３４に進み、運転者がセカンドタスク中ではない場合（Ｓ３３でＮｏ）には、処理はステップＳ３６に進む。

　ステップＳ３４では、ＥＣＵ３０１は、３Ｄカメラ３１２及び姿勢変更機構３０９を制御することで、３Ｄカメラ３１２から運転者の視線の方向の画像データを取得する。そして、ＥＣＵ３０１は、取得された画像データを用いて、セカンドタスクの対象物の位置として、３Ｄカメラ３１２からセカンドタスクの対象物への方向及び距離を算出する。この算出方法は、実施の形態２と同様である。そして、算出された方向及び距離を補正することで、プロジェクタ３１０から対象物までの方向及び距離を算出する。
　さらに、ステップＳ３４において、ＥＣＵ３０１は、３Ｄカメラ３１２から取得された画像データに基づいて、対象物の立体的な形状を特定する。

　次に、ＥＣＵ３０１は、プロジェクタ３１０から投影される映像の画像データを、ステップＳ３４で特定された対象物の立体的な形状に応じて処理するとともに、処理姿勢変更機構３０９及びプロジェクタ３１０を制御することで、ステップＳ３４で特定された距離及び方向の対象物に、プロジェクタ３１０から、処理された画像データに基づいて、運転者に警告するための映像を表示させる。

　具体的には、ＥＣＵ３０１は、以下のようなアルゴリズムで画像データへの処理を行う。
　３Ｄカメラ３１２とプロジェクタ３１０との位置及び姿勢等の幾何学的な関係、並びに、３Ｄカメラ３１２及びプロジェクタ３１０の内部パラメータを、事前に較正を行うことにより、ＥＣＵ３０１は、既知とする。

　一般的にカメラとプロジェクタとの位置及び姿勢等の幾何学的な関係、並びに、カメラ及びプロジェクタの内部パラメータの較正方法には、プロジェクタから投影したパターンとチェスボード又はドットパターンの描かれたキャリブレーションボックスとをカメラで撮影した画像を解析する方法が用いられる。
　ここで、プロジェクタからのパターンの統制方法は、グレイコードパターン投映法又は位相シフト法等がある。

　従って、３Ｄカメラ３１２で撮像された画像データにおいて対象物が検出された場合、ＥＣＵ３０１は、その対象物に関して、プロジェクタ３１０との位置及び姿勢等の幾何学的な関係を計算可能となる。

　また、３Ｄカメラ３１２において対象物の形状を検出するには、様々な方法がある。例えば、ＥＣＵ３０１は、３Ｄカメラで撮像された画像データから、対象物の表面の各々の画素を、３次元の直交座標で表現する点群情報を生成する。そして、ＥＣＵ３０１は、その点群情報を用いて主成分の分析を行うことで、対象物の投影面を検出することができる。さらに、ＥＣＵ３０１は、検出された投影面の歪みを補正するように、警告を行うための画像の画素値を移動することで、対象物の形状に合わせた映像を表示する画像データを生成することができる。

　検出された投影面の歪みを補正する補正処理の方法の一例を、図７を用いて説明する。
　図７では、検出された投影面３３０と、プロジェクタ３１０とを上方から見た概略図である。
　図７に示されているように、ＥＣＵ３０１は、投影面３３０と、運転者の視点３３１との間に、歪みのない仮想上の平面３３２を設定する。このような場合、平面３３２に表示される映像が、運転者が認識する映像となる。そのため、ＥＣＵ３０１は、運転者の視点３３１から、平面３３２において歪みのない映像を表示した場合の画素Ｐ１を通る直線が、投影面３３０に交差する点Ｐ２に、プロジェクタ３１０から画素Ｐ１を投影するように、警告するための映像データにおいて、画素Ｐ１の画素値を移動することで、投影面３３０の歪みを補正することができる。

　一方、ステップＳ３６では、ＥＣＵ３０１は、プロジェクタ３１０を用いずに、通常の方法、例えば、スピーカ１０６で、警告する旨の音声又は警告音を鳴らしたり、表示デバイス１０７に警告する旨の表示を行ったりすることで、運転者に警告を行う。

　以上のように、実施の形態３によれば、セカンドタスクの対象物がどのような形状であっても、歪みが補正された画像を投影することができ、運転者が危険内容をより認識しやすくなる。これによって危険の種別を示すようなマーク又は記号であったり、危険物の実際の映像であったり、より複雑な映像を運転者が理解できるように投影することができる。

　なお、以上に記載した実施の形態３では、姿勢変更機構３０９で、プロジェクタ３１０及び３Ｄカメラ３１２の姿勢を変更しているが、実施の形態３は、このような例に限定されない。例えば、３Ｄカメラ３１２の姿勢を変更する姿勢変更機構が別に設けられていてもよい。

　１００，２００，３００　危険警告システム、　１０１，２０１，３０１　ＥＣＵ、　１０２　メモリ、　１０３　ＣＡＮＩ／Ｆ、　１０４　外部センサ、　１０５　ＤＭＳ、　１０６　スピーカ、　１０７　表示デバイス、　１０８　発光部材、　１０９，２０９，３０９　姿勢変更機構、　２１０，３１０　プロジェクタ、　２１１Ａ　第１の俯瞰カメラ、　２１１Ｂ　第２の俯瞰カメラ、　３１２　３Ｄカメラ。

Claims (10)

1. 　車両の自動運転中に危険が検出された場合に、運転者に警告を行う危険警告システムであって、
   　前記危険が検出された場合に、前記車両の運転者がセカンドタスク中であるか否かを判断する制御部と、
   　前記セカンドタスク中である場合に、前記セカンドタスクの対象物に対して、光を用いて警告を行う警告部と、を備えること
   　を特徴とする危険警告システム。
2. 　前記運転者の顔が含まれるように、前記運転者の周りの画像を撮像する撮像部をさらに備え、
   　前記制御部は、前記画像を用いて、前記運転者の視線の方向を特定することで、前記運転者が前記セカンドタスク中であるか否かを判断するとともに、前記セカンドタスク中である場合に、前記画像を用いて、前記運転者の視線の方向にある前記対象物を特定すること
   　を特徴とする請求項１に記載の危険警告システム。
3. 　前記運転者の頭部が含まれるように、前記運転者の周りの第１の画像を撮像する第１の撮像部と、
   　前記頭部が含まれるように、前記運転者の周りの第２の画像を撮像する第２の撮像部と、をさらに備え、
   　前記制御部は、前記第１の画像又は前記第２の画像を用いて、前記運転者が向いている方向を特定することで、前記運転者が前記セカンドタスク中であるか否かを判断するとともに、前記セカンドタスク中である場合に、前記第１の画像及び前記第２の画像を用いて、前記運転者が向いている方向にある前記対象物の位置を特定し、
   　前記警告部は、前記特定された位置に向かって前記警告を行うこと
   　を特徴とする請求項１に記載の危険警告システム。
4. 　前記警告部は、前記対象物に対して前記光を投射する発光部材であること
   　を特徴とする請求項１から３の何れか一項に記載の危険警告システム。
5. 　前記警告部は、前記対象物に対して映像を投影するプロジェクタであること
   　を特徴とする請求項１から３の何れか一項に記載の危険警告システム。
6. 　前記運転者の顔が含まれるように、前記運転者の周りの画像を撮像する撮像部と、
   　第１の対象撮像部と、
   　第２の対象撮像部と、をさらに備え、
   　前記警告部は、プロジェクタであり、
   　前記制御部は、前記画像により、前記運転者の視線の方向を特定することで、前記運転者が前記セカンドタスク中であるか否かを判断するとともに、前記セカンドタスク中である場合に、前記第１の対象撮像部に前記視線の方向の第１の対象画像を撮像させ、前記第２の対象撮像部に前記視線の方向の第２の対象画像を撮像させ、前記第１の対象画像又は前記第２の対象画像を用いて、前記視線の方向にある前記対象物の位置及び立体的な形状を特定し、前記特定された形状にあわせて、前記プロジェクタから前記対象物に投影される映像を補正し、
   　前記プロジェクタは、前記制御部で補正された映像を、前記特定された位置に投影すること
   　を特徴とする請求項１に記載の危険警告システム。
7. 　前記警告部は、前記運転者が前記車両の前方を向くまで、前記警告を継続すること
   　を特徴とする請求項１から６の何れか一項に記載の危険警告システム。
8. 　前記危険を検出するセンサをさらに備えること
   　を特徴とする請求項１から７の何れか一項に記載の危険警告システム。
9. 　前記車両の外部と通信を行う通信部をさらに備え、
   　前記制御部は、前記通信部を介して、前記危険が検出されたことを示す情報を取得すること
   　を特徴とする請求項１から７の何れか一項に記載の危険警告システム。
10. 　車両の自動運転中に危険が検出された場合に、運転者に警告を行う危険警告方法であって、
    　前記危険が検出された場合に、前記車両の運転者がセカンドタスク中であるか否かを判断し、
    　前記セカンドタスク中である場合に、前記セカンドタスクの対象物に対して、光を用いて警告を行うこと
    　を特徴とする危険警告方法。

Images