JP7380449B2

JP7380449B2 - 判定装置及びプログラム

Info

Publication number: JP7380449B2
Application number: JP2020113363A
Authority: JP
Inventors: 健揮上田; 亮介立花; 潤服部; 敬北川; 宗史大橋; 利弘安田; 哲生嶽本
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2020-06-30
Filing date: 2020-06-30
Publication date: 2023-11-15
Anticipated expiration: 2040-06-30
Also published as: US20210406563A1; JP2022011933A; CN113870616A

Description

本発明は、車両が対象物と接近した場合の危険を判定する判定装置及びプログラムに関する。

特許文献１には、運転者が運転する車両と衝突する危険性のある物体の存在を運転者に対して警告する警告表示装置が開示されている。当該警告表示装置は、車両の周囲を撮影した周辺画像を取得する第１の撮像部と、周辺画像から、車両と衝突する危険性がある危険物体を検出する危険物体検出部と、周辺画像上で危険物体検出部により検出された危険物体を強調表示した警告画像を生成する警告画像生成部と、警告画像を表示する表示部と、を有している。

特開２０１９－１９１７９３号公報

特許文献１の危険物体検出部は、危険物体の判定に際してパターンマッチングを用いており、自車両と物体との相対的な位置に基づいて相関値を算出している。そのため、対象物体の速度や移動方向などの情報が考慮されておらず正しい危険度が算出できていない。また、自車両の動きが判定に使用されておらず、自車両の進行方向における危険度が算出できていない。

本発明は、対象物の位置、速度等の情報、及び自車両の走行情報を考慮して危険を判定する判定装置及びプログラムを提供することを目的とする。

請求項１に記載の判定装置は、車両に設けられた撮像部によって撮像された撮像画像から対象物を検出する検出部と、前記車両の走行情報、並びに前記対象物の位置及び速度に基づいて、前記車両の進行方向に応じた判定領域を生成する生成部と、前記判定領域に前記対象物が含まれる場合に危険と判定する判定部と、を備え、前記生成部は、前記車両の左前輪の軌跡及び右前輪の軌跡に挟まれた領域として規定された基準領域に対して、奥行を設定すると共に、前記奥行の範囲に応じて設定した前記左前輪の軌跡及び前記右前輪の軌跡を拡幅又は縮幅させた領域を前記判定領域として生成している。

請求項１に記載の判定装置は、検出部が車両に設けられた撮像部により撮像された撮像画像から対象物を検出し、生成部が車両の進行方向に応じた判定領域を生成する。ここで、対象物とは、他の車両及び歩行者等が該当する。「進行方向に応じた判定領域」とは、車両がこれから進行する軌跡に沿って、かつ所定の幅を有する領域である。

また、判定領域は、車両から取得した走行情報、並びに前記対象物の位置及び速度に基づいて生成される。走行情報は、車両におけるステアリングホイールの操舵角、及びウィンカの操作情報等が例示される。そして、当該判定装置は、判定部が判定領域に対象物が含まれる場合に危険と判定する。当該判定装置によれば、対象物の位置、速度等の情報、及び自車両の走行情報を考慮して危険を判定することができる。

請求項２に記載の判定装置は、請求項１に記載の判定装置において、前記判定部は、前記判定領域に含まれる前記対象物に対して危険度を算出し、算出された前記危険度が閾値を超えた場合に危険と判定する。

請求項２に記載の判定装置では、判定部が判定領域に含まれる対象物の危険性を危険度として定量化し、危険度が閾値を超えたか否かで危険と判定する。当該判定装置によれば、自車両と対象物との位置関係の程度に応じて危険を判定することができる。

請求項３に記載の判定装置は、請求項２に記載の判定装置において、前記生成部は、前記走行情報並びに前記対象物の位置及び速度に応じて複数の判定領域を生成し、前記判定部は、前記判定領域毎に前記危険度を算出し、何れか１の前記判定領域における前記危険度が閾値を超えた場合に危険と判定する。

請求項３に記載の判定装置では、生成部が走行情報並びに対象物の位置及び速度に応じて複数の判定領域を生成し、判定部が判定領域毎に危険を判定する。そのため、当該判定装置によれば、対象物の位置や速度等、危険の判定に複数の条件を含めることができ、状況に応じた危険の判定を行うことができる。

請求項４に記載の判定装置は、請求項１～３の何れか１項に記載の判定装置において、前記判定部は、所定フレーム前の前記撮像画像に基づく判定において危険と判定されていた場合、現時点における危険の判定を維持する。

請求項４に記載の判定装置では、前記判定部は、所定フレーム分の撮像画像を基に危険の判定を行う。そのため、当該判定装置によれば、所定時間に渡り危険の判定を維持することで、ある対象物に対する判定結果がフレーム毎に揺らぐ場合であっても判定結果を安全側に振ることができる。

請求項５に記載のプログラムは、車両に設けられた撮像部によって撮像された撮像画像から対象物を検出する検出処理と、前記車両の走行情報、並びに前記対象物の位置及び速度に基づいて、前記車両の進行方向に応じた判定領域を生成する生成処理と、前記判定領域に前記対象物が含まれる場合に危険と判定する判定処理と、を含み、前記生成処理は、前記車両の左前輪の軌跡及び右前輪の軌跡に挟まれた領域として規定された基準領域に対して、奥行を設定すると共に、前記奥行の範囲に応じて設定した前記左前輪の軌跡及び前記右前輪の軌跡を拡幅又は縮幅させた領域を前記判定領域として生成する処理をコンピュータに実行させる。

請求項５に記載のプログラムは、コンピュータに次の処理を実行させる。すなわち、検出処理において車両に設けられた撮像部により撮像された撮像画像から対象物が検出され、生成処理において車両の進行方向に応じた判定領域が生成される。ここで、対象物、「進行方向に応じた判定領域」及び走行情報とは、上述のとおりである。判定領域は、車両から取得した走行情報、並びに前記対象物の位置及び速度に基づいて生成される。そして、コンピュータでは、判定処理において判定領域に対象物が含まれる場合に危険と判定される。当該プログラムによれば、対象物の位置、速度等の情報、及び自車両の走行情報を考慮して危険を判定することができる。

本発明によれば、対象物の位置、速度等の情報、及び自車両の走行情報を考慮して危険を判定することができる。

実施形態に係る車両の概略構成を示す図である。実施形態の車両のハードウェア構成を示すブロック図である。実施形態のコントローラにおけるＲＯＭの構成を示すブロック図である。実施形態のコントローラにおけるストレージの構成を示すブロック図である。実施形態のコントローラのＣＰＵの機能構成を示すブロック図である。実施形態における撮像画像の例を示す図である。実施形態における判定領域を説明する図である。実施形態における判定領域を説明する図である。実施形態のコントローラにおける判定処理の流れを示すフローチャートである。実施形態のコントローラにおける報知処理の流れを示すフローチャートである。

図１に示されるように、本発明の実施形態に係る判定装置としてのコントローラ２０は、運転者Ｄが乗車する車両である自車両１２に搭載されている。自車両１２は、コントローラ２０の他に、ＥＣＵ（ＥｌｅｃｔｒｏｎｉｃＣｏｎｔｒｏｌＵｎｉｔ）２２、カメラ２４及び報知装置２５を含む。ＥＣＵ２２、カメラ２４及び報知装置２５は、それぞれコントローラ２０に対して接続されている。

ＥＣＵ２２は、自車両１２の各部を制御する、又は外部との通信を行うための制御装置として設けられている。図２に示されるように、本実施形態のＥＣＵ２２は、ステアリングＥＣＵ２２Ａ、ボデーＥＣＵ２２Ｂ、ＤＣＭ（ＤａｔａＣｏｍｍｕｎｉｃａｔｉｏｎＭｏｄｕｌｅ）２２Ｃ、を含んでいる。

ステアリングＥＣＵ２２Ａは、電動ステアリングを制御する機能を有している。ステアリングＥＣＵ２２Ａには、ステアリングホイール１４（図１参照）に接続された図示しない操舵角センサの信号が入力されている。また、ボデーＥＣＵ２２Ｂは、灯火類を制御する機能を有している。ボデーＥＣＵ２２Ｂには、例えば、ウィンカレバー１５（図１参照）が操作された場合に操作信号が入力される。ＤＣＭ２２Ｃは、自車両１２の外部との通信を行うための通信装置として機能する。

図１に示されるように、カメラ２４は、ルームミラー１６の車両前方側に設けられている。このカメラ２４は、フロントウインドウ１７を通じて自車両１２の車両前方を撮像するものである。

報知装置２５は、ダッシュボード１８の上面に設けられている。図２に示されるように、報知装置２５は、モニタ２６と、スピーカ２８とを有している。モニタ２６は、運転者Ｄが視認可能に車両後方側を向いて設けられている。スピーカ２８は、報知装置２５の本体部ではなく、別体として設けられていてもよい。また、スピーカ２８は、自車両１２に設けられたオーディオ用のスピーカと兼用してもよい。

コントローラ２０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２０Ａ、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２０Ｂ、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２０Ｃ、ストレージ２０Ｄ、通信Ｉ／Ｆ（ＩｎｔｅｒＦａｃｅ）２０Ｅ及び入出力Ｉ／Ｆ２０Ｆを含んで構成されている。ＣＰＵ２０Ａ、ＲＯＭ２０Ｂ、ＲＡＭ２０Ｃ、ストレージ２０Ｄ、通信Ｉ／Ｆ２０Ｅ及び入出力Ｉ／Ｆ２０Ｆは、内部バス２０Ｇを介して相互に通信可能に接続されている。

ＣＰＵ２０Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２０Ａは、ＲＯＭ２０Ｂからプログラムを読み出し、ＲＡＭ２０Ｃを作業領域としてプログラムを実行する。

ＲＯＭ２０Ｂは、各種プログラム及び各種データを記憶している。図３に示されるように、本実施形態のＲＯＭ２０Ｂは、処理プログラム１００、車両データ１１０及び判定ログ１２０を記憶している。なお、処理プログラム１００、車両データ１１０及び判定ログ１２０は、ストレージ２０Ｄに記憶されていてもよい。

処理プログラム１００は、後述する判定処理及び報知処理を行うためのプログラムである。車両データ１１０は、自車両１２のタイヤのトレッド幅や、カメラ２４の設置高さ等を記憶したデータである。判定ログ１２０は、判定処理の判定結果を記憶したデータである。判定ログ１２０は、ＲＡＭ２０Ｃに一時的に記憶してもよい。

図２に示されるように、ＲＡＭ２０Ｃは、作業領域として一時的にプログラム又はデータを記憶する。

ストレージ２０Ｄは、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）又はＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）により構成され、各種プログラム及び各種データを記憶している。図４に示されるように、本実施形態のストレージ２０Ｄは、カメラ２４により撮像された撮像画像に係る撮像データ１５０を記憶している。撮像データ１５０には、判定処理により危険と判定された場合の撮像画像、及び実際に事故が発生した場合の撮像画像等を含めることができる。なお、ストレージ２０Ｄに代えて、コントローラ２０に接続されたＳＤ（ＳｅｃｕｒｅＤｉｇｉｔａｌ）カード、又はＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）メモリ等に撮像データ１５０を記憶してもよい。

通信Ｉ／Ｆ２０Ｅは、各ＥＣＵ２２と接続するためのインタフェースである。当該インタフェースは、ＣＡＮプロトコルによる通信規格が用いられている。通信Ｉ／Ｆ２０Ｅは、外部バス２０Ｈを介して各ＥＣＵ２２に接続されている。

入出力Ｉ／Ｆ２０Ｆは、自車両１２に搭載されるカメラ２４、並びに報知装置２５が有するモニタ２６及びスピーカ２８と通信するためのインタフェースである。

図５に示されるように本実施形態のコントローラ２０では、ＣＰＵ２０Ａが、処理プログラム１００を実行することで、設定部２００、画像取得部２１０、情報取得部２２０、検出部２３０、生成部２４０、判定部２５０、及び出力部２６０として機能する。

設定部２００は、自車両１２のトレッド幅、及びカメラ２４の設置高さを設定する機能を有している。設定部２００は、コントローラ２０、カメラ２４及び報知装置２５の設置時において、作業者の操作により自車両１２のトレッド幅、及びカメラ２４の設置高さを設定する。設定されたデータは車両データ１１０として記憶される。

画像取得部２１０は、カメラ２４により撮像された撮像画像を取得する機能を有している。

情報取得部２２０は、各ＥＣＵ２２から自車両１２の走行情報としてのＣＡＮ情報から取得する機能を有している。ここで、例えば、情報取得部２２０は、ステアリングＥＣＵ２２Ａから操舵角情報を取得し、ボデーＥＣＵ２２Ｂからウィンカの作動情報を取得する。また、情報取得部２２０は、ＤＣＭ２２Ｃを通じて、外部のサーバ（図示せず）から気象情報及び交通情報等を取得することができる。

検出部２３０は、カメラ２４により撮像された撮像画像から対象物Ｏを検出する機能を有している。対象物Ｏとは、例えば、道路を走行する車両ＯＶ、及び道路を横断する歩行者ＯＰである（図６参照）。

生成部２４０は、情報取得部２２０により取得されたＣＡＮ情報、並びに対象物Ｏの位置及び速度に基づいて、自車両１２の進行方向に応じた判定領域ＤＡを生成する機能を有している。図６に示されるように、具体的に、生成部２４０は、ステアリングホイール１４の操舵角に応じた基準領域ＢＡを生成する。基準領域ＢＡは、自車両１２の車幅方向両側に設けられ自車両１２の進行方向に延びる軌跡ＴＬ及び軌跡ＴＲに挟まれた領域として規定される。車幅方向左側の軌跡ＴＬは自車両１２の左前輪の軌跡とされ、車幅方向右側の軌跡ＴＲは自車両１２の右前輪の軌跡とされている。

また、生成部２４０は、ＣＡＮ情報並びに対象物Ｏの位置及び速度に応じて判定領域ＤＡを生成する。判定領域ＤＡは、基準領域ＢＡに対して、奥行を設定すると共に、軌跡ＴＬ及び軌跡ＴＲを拡幅又は縮幅させた領域である。ここで、本実施形態では、第１領域Ａ１、第２領域Ａ２及び第３領域Ａ３の３つの判定領域ＤＡが設定されている。

第１領域Ａ１は、自車両１２の位置にのみ基づく判定領域ＤＡである。第１領域Ａ１は、対象物Ｏが車両ＯＶの場合、表１に示されるように、奥行きが自車両１２から８ｍの範囲で、かつ、通常はトレッド幅の範囲で、ウィンカ作動時はトレッド幅＋１ｍの範囲で設定されている。図７の一点鎖線は、ウィンカ作動時における車両ＯＶに対する第１領域Ａ１の例である。そして、車両ＯＶが第１領域Ａ１に入っている場合、リスク度１．０が付与される。

また、第１領域Ａ１は、対象物Ｏが歩行者ＯＰの場合、表２に示されるように、奥行きが自車両１２から８ｍの範囲で、かつ、トレッド幅＋２ｍの範囲で設定されている。図８の点線は、歩行者ＯＰに対する第１領域Ａ１の例である。そして、歩行者ＯＰが第１領域Ａ１に入っている場合、リスク度１．０が付与される。

第２領域Ａ２は、対象物Ｏの車両前後方向の車速を加味した判定領域ＤＡである。第２領域Ａ２は、対象物Ｏが車両ＯＶの場合、歩行者ＯＰの場合の何れも表３のように設定される。第２領域Ａ２は、奥行きが自車両１２から８～１４ｍの範囲で、かつ、トレッド幅の範囲で設定されている。この第２領域Ａ２に対象物Ｏが入っている場合、自車両１２から８ｍ以内の範囲についてはリスク度１．０が付与され、自車両１２から１２ｍ以内の範囲についてはリスク度０．９が付与され、自車両１２から１４ｍ以内の範囲についてはリスク度０．８が付与される。

また、第２領域Ａ２は、奥行きが自車両１２から１２ｍの範囲で、ウィンカ作動時はトレッド幅＋１ｍの範囲で設定されている。この第２領域Ａ２に対象物Ｏが入っている場合、リスク度０．９が付与される。さらに、第２領域Ａ２は、奥行きが自車両１２から１４ｍの範囲で、ウィンカ作動時はトレッド幅＋２ｍの範囲で設定されている。図７の点線は、ウィンカ作動時における車両ＯＶに対する、自車両１２から１４ｍの範囲かつトレッド幅＋２ｍの範囲の第２領域Ａ２の例である。この第２領域Ａ２に対象物Ｏが入っている場合、リスク度０．８が付与される。

第３領域Ａ３は、対象物Ｏの左右方向の速度を加味した判定領域ＤＡである。第３領域Ａ３は、対象物Ｏが車両ＯＶの場合、歩行者ＯＰの場合の何れも表４のように設定される。第３領域Ａ３は、奥行きが自車両１２から８ｍの範囲で、かつ、特定の幅の範囲で設定されている。この第３領域Ａ３に対象物Ｏが入っている場合、左右幅がトレッド幅の範囲についてはリスク度１．０が付与され、トレッド幅＋内外輪差の範囲についてはリスク度０．８が付与され、自車両１２の進路＋内外輪差＋人の停止距離の範囲についてはリスク度０．５が付与される。図８の実線は、歩行者ＯＰに対する、自車両１２から８ｍの範囲かつトレッド幅の範囲の第３領域Ａ３の例である。

図５に示されるように、判定部２５０は、生成部２４０が生成した判定領域ＤＡに対象物Ｏが含まれる場合に危険と判定する機能を有している。具体的に、判定部２５０は、判定領域ＤＡに含まれる対象物Ｏに対して危険度を算出し、算出された危険度が閾値０．８を超えた場合に危険と判定する。特に本実施形態の判定部２５０は、第１領域Ａ１～第３領域Ａ３の判定領域ＤＡ毎に危険度を算出し、何れか１の判定領域ＤＡにおける危険度が閾値を超えた場合に危険と判定する。

ここで、第１領域Ａ１に対する危険度は式１により算出される。
危険度＝リスク度・・・（式１）
式１によれば、自車両１２の位置にのみ基づく判定に際し、危険度はリスク度に等しい値となる。

また、第２領域Ａ２に対する危険度は式２により算出される。
危険度＝リスク度×Ｍｉｎ（３０、対象物Ｏとの速度差)／３０・・・（式２）
ただし、速度差の単位はｋｍ／ｈである。
式２によれば、対象物Ｏの車両前後方向の車速を加味した判定に際し、危険度はリスク度以下の値となる。

さらに、第３領域Ａ３に対する危険度は式３により算出される。
危険度＝リスク度＋０．５×ｘ・・・（式３）
ただし、車両左側の対象物Ｏが右に移動 or 車両右側の対象物Ｏが左に移動：ｘ＝１
上記以外：ｘ＝０
式３によれば、対象物Ｏの左右方向の速度を加味した判定に際し、危険度は、対象物Ｏが自車両１２に接近している場合、リスク度に０．５を付加した値となる。

出力部２６０は、判定部２５０において危険と判定された場合に、報知装置２５に対して注意情報を出力する機能を有している。出力部２６０が注意情報を出力することにより、報知装置２５では、モニタ２６には運転者Ｄに対して注意を促す画像が表示され、スピーカ２８からは運転者Ｄに対して注意を促す音声やアラームが出力される。

（制御の流れ）
本実施形態のコントローラ２０において実行される判定処理及び報知処理の流れについて、図９及び図１０を用いて説明する。判定処理及び報知処理は、ＣＰＵ２０Ａが、設定部２００、画像取得部２１０、情報取得部２２０、検出部２３０、生成部２４０、判定部２５０、及び出力部２６０として機能することにより実行される。

まず、判定処理の流れについて、図９のフローチャートを用いて説明する。

図９のステップＳ１００において、ＣＰＵ２０ＡはＥＣＵ２２からＣＡＮ情報を取得する。例えば、ＣＰＵ２０Ａは、ステアリングＥＣＵ２２Ａから操舵角センサの信号をＣＡＮ情報により取得する。また例えば、ＣＰＵ２０Ａは、ボデーＥＣＵ２２Ｂからウィンカの操作信号をＣＡＮ情報により取得する。

ステップＳ１０１において、ＣＰＵ２０Ａはカメラ２４が撮像した撮像画像に係る画像情報を取得する。

ステップＳ１０２において、ＣＰＵ２０Ａは地平線を推定する。地平線の推定は、公知の技術を用いて行われる。例えば、ＣＰＵ２０Ａは道路の白線等、道路の直線成分を検知し、抽出した全ての直線の交点から地平線の座標を推定する。

ステップＳ１０３において、ＣＰＵ２０Ａは撮像画像中の対象物Ｏを検出する。具体的に、ＣＰＵ２０Ａは、画像認識等の公知の方法により車両ＯＶ及び歩行者ＯＰ等の対象物Ｏを検出する。

ステップＳ１０４において、ＣＰＵ２０Ａはトラッキングを実行する。これによりステップＳ１０３において検出された対象物Ｏの追跡が行われる。

ステップＳ１０５において、ＣＰＵ２０Ａは追跡が行われている対象物Ｏまでの距離を推定する。具体的には、撮像画像に対し対象物ＯにはバウンディングボックスＢＢが表示されており（図６参照）、ＣＰＵ２０Ａは撮像画像上のバウンディングボックスＢＢの底辺ＢＬのＹ座標、及び地平線のＹ座標を予め用意した回帰式に入力することで対象物Ｏまでの距離を算出する。

ステップＳ１０６において、ＣＰＵ２０Ａは現在位置における危険度を推定する。具体的に、ＣＰＵ２０Ａは、対象物Ｏが車両ＯＶの場合、判定領域ＤＡとして表１に基づく第１領域Ａ１を規定し、対象物Ｏが歩行者ＯＰの場合、表２に基づく第２領域Ａ２を規定する。そして、ＣＰＵ２０Ａは、第１領域Ａ１に存在する対象物Ｏに応じて付与されたリスク度を式１に代入して危険度を求める。例えば、図８に示されるように、第１領域Ａ１に歩行者ＯＰが存在する場合、リスク度１．０が付与され、式１により危険度は１．０となる。

ステップＳ１０７において、ＣＰＵ２０Ａは前後速度における危険度を推定する。具体的に、ＣＰＵ２０Ａは、対象物Ｏが車両ＯＶ及び歩行者ＯＰの場合、判定領域ＤＡとして表３に基づく第２領域Ａ２を規定する。そして、ＣＰＵ２０Ａは、第２領域Ａ２に存在する対象物Ｏに応じて付与されたリスク度を式２に代入して危険度を求める。例えば、図７に示されるように、自車両１２から１２ｍかつトレッド幅の範囲の第２領域Ａ２に車両ＯＶが存在する場合、リスク度０．９が付与される。そして、自車両１２と車両ＯＶとの速度差が２０ｋｍ／ｈの場合、式２により危険度は０．６となる。

ステップＳ１０８において、ＣＰＵ２０Ａは左右速度における危険度を推定する。具体的に、ＣＰＵ２０Ａは、対象物Ｏが車両ＯＶ及び歩行者ＯＰの場合、判定領域ＤＡとして表４に基づく第３領域Ａ３を規定する。そして、ＣＰＵ２０Ａは、第３領域Ａ３に存在する対象物Ｏに応じて付与されたリスク度を式３に代入して、危険度を求める。例えば、図８に示されるように、自車両１２から８ｍかつトレッド幅の範囲の第３領域Ａ３に歩行者ＯＰが存在する場合、リスク度１．０が付与される。そして、歩行者ＯＰが自車両１２の車両左方から車両右方に移動して第３領域Ａ３に進入していた場合、式３により危険度は１．５となる。

ステップＳ１０９において、ＣＰＵ２０Ａは各判定領域ＤＡに対して算出された危険度のうちの何れかの１つが閾値を超えたか否かの判定を行う。本実施形態では、閾値を０．８としている。ＣＰＵ２０Ａは何れかの１つの危険度が閾値を超えたと判定した場合、ステップＳ１１０に進む。一方、ＣＰＵ２０Ａは何れかの１つの危険度が閾値を超えていない、すなわち全ての危険度が閾値以下であると判定した場合、ステップＳ１１１に進む。

ステップＳ１１０において、ＣＰＵ２０Ａはこのまま自車両１２が走行すると対象物Ｏに接触する可能性が高いことを示す「危険」と判定する。

ステップＳ１１１において、ＣＰＵ２０Ａはこのまま自車両１２が走行しても対象物Ｏに接触する可能性を低いことを示す「非危険」と判定する。

ステップＳ１１２において、ＣＰＵ２０Ａは判定処理を終了するか否かの判定を行う。ＣＰＵ２０Ａは判定処理を終了すると判定した場合、判定処理を終了させる。一方、ＣＰＵ２０Ａは判定処理を終了しないと判定した場合、ステップＳ１００に戻る。

次に、報知処理の流れについて、図１０のフローチャートを用いて説明する。
図１０のステップＳ２００において、ＣＰＵ２０Ａは撮像画像の過去１０フレーム中に危険の判定があるか否かの判定を行う。ＣＰＵ２０Ａは撮像画像の過去１０フレーム中に危険の判定があると判定した場合、ステップＳ２０１に進む。一方、ＣＰＵ２０Ａは撮像画像の過去１０フレーム中に危険の判定がないと判定した場合、ステップＳ２０３に進む。

ステップＳ２０１において、ＣＰＵ２０Ａは報知装置２５が未報知か否かの判定を行う。ＣＰＵ２０Ａは報知装置２５が未報知であると判定した場合、ステップＳ２０２に進む。一方、ＣＰＵ２０Ａは報知装置２５が未報知ではない、すなわち報知中であると判定した場合、ステップＳ２００に戻る。

ステップＳ２０２において、ＣＰＵ２０Ａは報知装置２５に注意情報を出力して報知を開始する。これにより、報知装置２５では、モニタ２６に「アクセルを離してください」の文字が表示されたり、スピーカ２８からアラームが出力されたりする。

ステップＳ２０３において、ＣＰＵ２０Ａは報知装置２５が報知中か否かの判定を行う。ＣＰＵ２０Ａは報知装置２５が報知中であると判定した場合、ステップＳ２０４に進む。一方、ＣＰＵ２０Ａは報知装置２５が報知中ではない、すなわち未報知であると判定した場合、ステップＳ２００に戻る。

ステップＳ２０４において、ＣＰＵ２０Ａは報知装置２５に対する注意情報の出力を停止して報知を終了する。これにより、報知装置２５におけるモニタ２６の表示及びスピーカ２８からのアラームが終了される。

（まとめ）
本実施形態のコントローラ２０は、検出部２３０が自車両１２に設けられたカメラ２４により撮像された撮像画像から対象物Ｏを検出し、生成部２４０が自車両１２の進行方向に応じた判定領域ＤＡを生成する。この判定領域ＤＡは、ＣＡＮ情報、並びに対象物Ｏの位置及び速度に基づいて第１領域Ａ１～第３領域Ａ３の３種類が生成される。具体的には、自車両１２の位置にのみ基づく第１領域Ａ１と、対象物Ｏの車両前後方向の車速を加味した第２領域Ａ２と、対象物Ｏの左右方向の速度を加味した第３領域Ａ３と、がそれぞれ生成される。

そして、コントローラ２０は、判定部２５０が各判定領域ＤＡに対象物Ｏが含まれる場合にその程度に応じて危険と判定する。そして、コントローラ２０は、危険と判定した場合に報知装置２５を通じて運転者Ｄに対して危険である旨を報知する。本実施形態によれば、対象物Ｏの位置、速度等の情報、及び自車両１２のＣＡＮ情報を考慮して危険を判定することができる。また、本実施形態によれば、生成部２４０が第１領域Ａ１～第３領域Ａ３を設けることで、対象物Ｏの位置や速度等、危険の判定に複数の条件を含めることができ、状況に応じた危険の判定を行うことができる。

また、本実施形態のコントローラ２０では、判定部２５０が判定領域ＤＡに含まれる対象物Ｏの危険性を危険度として定量化し、危険度が閾値を超えたか否かで危険と判定する。そのため、本実施形態によれば、自車両１２と対象物Ｏとの位置関係の程度に応じて危険を判定することができる。

さらに、本実施形態では、判定部２５０は、１０フレーム分の撮像画像を基に危険の判定を行う。そのため、本実施形態によれば、所定時間に渡り危険の判定を維持することで、ある対象物Ｏに対する判定結果がフレーム毎に揺らぐ場合であっても判定結果を安全側に振ることができる。

［備考］
本実施形態では、判定部２５０が第１領域Ａ１に基づく判定、第２領域Ａ２に基づく判定、及び第３領域Ａ３に基づく判定を実行したが、判定領域ＤＡの種類は第１領域Ａ１～第３領域Ａ３に限らない。

判定部２５０は第１領域Ａ１～第３領域Ａ３の順に危険度を算出し、判定を実行していたが、判定順はこれに限らない。また、判定順は自車両１２の乗員数、ＣＡＮ情報の内容、及び天候等に応じて変えてもよい。例えば、降雨時においては、特に車幅方向の視界が悪くなることを考慮して、左右方向に係る第３領域Ａ３に基づく判定を優先して行ってもよい。

また、本実施形態では、閾値が固定値０．８に設定されていたが、これに限らず、自車両１２の乗員数、ＣＡＮ情報の内容、及び天候等に応じて変えてもよい。例えば、ＣＡＮ情報から取得したステアリングホイール１４の操舵角が大きくなるほど閾値が低くなるように設定してもよい。

本実施形態では、自車両１２の走行情報であるＣＡＮ情報として、ステアリングホイール１４の操舵角情報と、ウィンカの操作情報を取得し、危険の判定に使用したが、判定に使用するＣＡＮ情報はこの限りではない。例えば、ＣＡＮ情報からブレーキの操作情報、加速度センサの情報、及びミリ波レーダーのセンサ情報等を取得し、危険の判定に使用してもよい。

なお、上記実施形態でＣＰＵ２０Ａがソフトウェア（プログラム）を読み込んで実行した各種処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（ＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ）、及びＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上述した処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

また、上記実施形態において、各プログラムはコンピュータが読み取り可能な非一時的記録媒体に予め記憶（インストール）されている態様で説明した。例えば、コントローラ２０における処理プログラム１００は、ＲＯＭ２０Ｂに予め記憶されている。しかしこれに限らず、各プログラムは、ＣＤ－ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、及びＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）メモリ等の非一時的記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

上記各実施形態における処理は、１つのプロセッサによって実行されるのみならず、複数のプロセッサが協働して実行されるものであってもよい。上記実施形態で説明した処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

１２自車両（車両）
２０コントローラ（判定装置）
２４カメラ（撮像部）
１００処理プログラム（プログラム）
２３０検出部
２４０生成部
２５０判定部
ＤＡ判定領域
Ｏ対象物

Claims

車両に設けられた撮像部によって撮像された撮像画像から対象物を検出する検出部と、
前記車両の走行情報、並びに前記対象物の位置及び速度に基づいて、前記車両の進行方向に応じた判定領域を生成する生成部と、
前記判定領域に前記対象物が含まれる場合に危険と判定する判定部と、
を備え、
前記生成部は、前記車両の左前輪の軌跡及び右前輪の軌跡に挟まれた領域として規定された基準領域に対して、奥行を設定すると共に、前記奥行の範囲に応じて設定した前記左前輪の軌跡及び前記右前輪の軌跡を拡幅又は縮幅させた領域を前記判定領域として生成する判定装置。
前記判定部は、
前記判定領域に含まれる前記対象物に対して危険度を算出し、
算出された前記危険度が閾値を超えた場合に危険と判定する請求項１に記載の判定装置。
前記生成部は、前記走行情報並びに前記対象物の位置及び速度に応じて複数の判定領域を生成し、
前記判定部は、前記判定領域毎に前記危険度を算出し、何れか１の前記判定領域における前記危険度が閾値を超えた場合に危険と判定する請求項２に記載の判定装置。
前記判定部は、所定フレーム前の前記撮像画像に基づく判定において危険と判定されていた場合、現時点における危険の判定を維持する請求項１～３の何れか１項に記載の判定装置。
車両に設けられた撮像部によって撮像された撮像画像から対象物を検出する検出処理と、
前記車両の走行情報、並びに前記対象物の位置及び速度に基づいて、前記車両の進行方向に応じた判定領域を生成する生成処理と、
前記判定領域に前記対象物が含まれる場合に危険と判定する判定処理と、
を含み、
前記生成処理は、前記車両の左前輪の軌跡及び右前輪の軌跡に挟まれた領域として規定された基準領域に対して、奥行を設定すると共に、前記奥行の範囲に応じて設定した前記左前輪の軌跡及び前記右前輪の軌跡を拡幅又は縮幅させた領域を前記判定領域として生成する処理をコンピュータに実行させるためのプログラム。