JP7351253B2

JP7351253B2 - 許否決定装置

Info

Publication number: JP7351253B2
Application number: JP2020063252A
Authority: JP
Inventors: 隆太津田
Original assignee: Isuzu Motors Ltd
Current assignee: Isuzu Motors Ltd
Priority date: 2020-03-31
Filing date: 2020-03-31
Publication date: 2023-09-27
Anticipated expiration: 2040-03-31
Also published as: CN115398508A; CN115398508B; JP2021163124A; WO2021200341A1

Description

本発明は、運転者の異常状態時に車両を適切に制動する技術に関する。

バス等の車両の運転者に異常が発生した場合に、自動で車両を制動させる異常時対応システムが知られている。異常時対応システムでは、ドライバの顔を撮像した画像から、ドライバの異常を検知した場合、車両を制動させる。

特開２０１９－２８７６６号公報

ところで、ドライバの顔を撮像した画像には、ドライバ以外の人の顔が含まれることがある。この場合、ドライバの顔が検出できなくなると、ドライバ以外の人の顔をドライバの顔として誤検出してしまうことがある。その結果、異常時対応システムが、誤検出したドライバの顔の位置が異常な位置であるため、ドライバに異常が発生したと判定して、車両を制動してしまうという問題が生じていた。

そこで、本発明はこれらの点に鑑みてなされたものであり、異常時対応システムを適切に動作させることを目的とする。

本発明の第１の態様においては、車両の運転席を含む撮像範囲を撮像した撮像画像に含まれる顔を検出する顔検出部と、前記顔検出部が検出した顔の特徴を示す検出特徴データが、記憶部に記憶された前記車両の運転者の顔の記憶特徴データと一致するか否かを判定する顔判定部と、前記検出特徴データと、前記記憶特徴データとが一致しないと前記顔判定部が判定した場合、前記顔検出部が検出した顔の位置が、前記車両の運転席に着座した運転者の顔の位置として検出されると想定される想定範囲内であるか否かを判定する位置判定部と、前記検出した顔の位置が前記想定範囲内でないと前記位置判定部が判定した場合、前記車両を自動で制動させる異常時対応システムの自動制動処理を禁止し、前記検出した顔の位置が前記想定範囲内であると前記位置判定部が判定した場合、前記異常時対応システムの前記自動制動処理を許可する許否決定部と、を備える許否決定装置を提供する。

例えば、前記位置判定部は、前記車両が走行中の所定期間内に検出された前記顔の位置の平均値が、前記想定範囲内であるか否かを判定し、前記許否決定部は、前記顔の位置の平均値が前記想定範囲内であると前記位置判定部が判定した場合、前記自動制動処理を許可する。

例えば、前記許否決定部は、前記車両が走行を開始してから許否判定時間が経過するまでに、前記許否判定時間内の前記所定期間内に検出された前記顔の位置の平均値が前記想定範囲内であると前記位置判定部が判定した場合、前記自動制動処理を許可する。

例えば、前記許否決定部は、前記車両が所定車速以上で直線道路を走行中に、前記検出した顔の位置が前記想定範囲内であると前記位置判定部が判定した場合、前記自動制動処理を許可する。

本発明によれば、異常時対応システムを適切に動作させられるという効果を奏する。

異常時対応システムの構成を模式的に示す図である。想定範囲を模式的に示す図である。処理の実行の許否を決定する処理の流れの一例を示すフローチャートである。車両が走行を開始したときに実行される、処理の実行の許否を決定する処理の流れの一例を示すフローチャートである。

［異常時対応システムＳの構成］
図１は、異常時対応システムＳの構成を模式的に示す図である。異常時対応システムＳは、バスやトラックなどに搭載されるが、普通自動車に搭載されてもよい。異常時対応システムＳは、許否決定装置である運転支援装置１と、撮像装置２と、ブレーキ３と、警報出力装置４とを備える。撮像装置２は、車両の運転席を含む撮像範囲を所定間隔で撮像した撮像画像を、運転支援装置１に順次出力する。

ブレーキ３は、車両を制動させる制動装置である。ブレーキ３は、例えばエアブレーキ又はディスクブレーキである。警報出力装置４は、運転者の注意を促す警報を出力する。例えば、警報出力装置４は、スピーカーを含み、運転者の注意を促す警報音を出力する。

運転支援装置１は、撮像装置２から取得した撮像画像や、図示しない各種センサの出力値に基づいて、運転者が異常状態であるか否かを判定する。そして、運転支援装置１は、運転者が異常状態であると判定したとき、ブレーキ３を制御することにより、車両を自動で制動させる自動制動処理を実行する。また、運転支援装置１は、警報出力装置４に警報音を出力させることができる。運転者の異常状態とは、運転者が車両を安全に運転できない状態に陥った場合を意味する。例えば、運転支援装置１は、運転者の姿勢崩れ、閉眼状態、ハンドル操作の有無を監視し、運転者が異常状態であるか否かを自動で判定する。

上記の自動制動処理は、運転者が異常状態になった場合に車両の安全性を高められるが、運転者以外の人の顔を誤検出した場合に実行されると安全性が低下する恐れがある。そこで、運転支援装置１は、撮像装置２が出力した撮像画像を解析することにより検出した顔の特徴データ及び顔の位置に基づいて自動制動処理の実行の許否を決定する許否決定装置としての機能を有する。以下、運転支援装置１の構成を具体的に説明する。

［運転支援装置１の構成］
運転支援装置１は、記憶部１１と、制御部１２とを備える。記憶部１１は、例えば、ＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）などの記憶媒体である。記憶部１１は、制御部１２を機能させるための各種のプログラムを記憶する。また、記憶部１１は、車両の運転者の顔の特徴を示す特徴データを記憶する。顔の特徴データは、例えば、顔のパーツの相対位置や大きさ、目や鼻やほお骨やあごの形を示す情報である。以下、記憶部１１に記憶された車両の運転者の顔の特徴データを記憶特徴データという。

制御部１２は、図示しないＣＰＵ（Central Processing Unit）等のプロセッサを含む計算リソースである。制御部１２は、記憶部１１に記憶されているプログラムを実行することにより、異常時対応処理部１２０、顔検出部１２１、顔判定部１２２、位置判定部１２３、及び許否決定部１２４としての機能を実現する。

異常時対応処理部１２０は、運転者が異常状態であると判定したとき、自動制動処理を実行する。具体的には、まず、異常時対応処理部１２０は、撮像装置２から取得した撮像画像や、図示しない各種センサの出力値に基づいて、運転者が異常状態であるか否かを判定する。例えば、異常時対応処理部１２０は、撮像画像を解析することにより、運転者の状態が、姿勢崩れ状態、又は閉眼状態であるか否かに基づいて、異常状態であるか否かを判定する。そして、異常時対応処理部１２０は、運転者が異常状態である場合、自動制動処理が許可されているとき、ブレーキ３を制御することにより、車両を自動で制動させる。また、異常時対応処理部１２０は、運転者が異常状態である場合、自動制動処理が禁止されているとき、警報出力装置４に警報音を出力させる。

顔検出部１２１は、撮像装置２から取得した撮像画像に含まれる顔を検出する。具体的には、顔検出部１２１は、撮像画像を解析することにより、撮像画像に含まれる顔の特徴を示す特徴データを検出する。以下、顔検出部１２１が検出した特徴データを検出特徴データという。

また、顔検出部１２１は、撮像画像を解析することにより、撮像画像に含まれる顔の位置を検出する。例えば、顔検出部１２１は、撮像画像から推定した３次元空間における顔の位置を示す座標を検出する。具体的には、顔検出部１２１は、撮像装置２が設置された位置を原点とする３次元空間における、顔の位置を示すＸ座標、Ｙ座標、及びＺ座標を検出する。

顔判定部１２２は、顔検出部１２１が検出した顔が、車両の運転者の顔であるか否かを判定する。具体的には、顔判定部１２２は、顔検出部１２１が検出した検出特徴データが、記憶部１１に記憶された記憶特徴データと一致するか否かを判定することにより、検出した顔が運転者の顔であるか否かを判定する。

ところで、運転者がマスクや眼鏡などを装着していると、検出特徴データと記憶特徴データとが一致しないことがある。ただし、運転者は運転席に着座して運転するので、運転者の顔はある程度限定された範囲内で検出される。すなわち、検出した顔の位置が所定範囲内であれば、検出特徴データと記憶特徴データとが一致しなくても、検出した顔が運転者の顔である蓋然性が高い。一方、検出特徴データと記憶特徴データとが一致しない場合に、検出した顔の位置が所定範囲外であれば、運転者以外の人の顔を誤検出した蓋然性が高い。

そこで、位置判定部１２３は、検出特徴データと記憶特徴データとが一致しないと顔判定部１２２が判定した場合、顔検出部１２１が検出した顔の位置が、想定範囲内であるか否かを判定することにより、検出した顔が運転者の顔であるか否かを判定する。具体的には、位置判定部１２３は、顔の位置が想定範囲内である場合、検出した顔が運転者の顔であると判定し、顔の位置が想定範囲外である場合、検出した顔が運転者の顔でないと判定する。想定範囲は、車両の運転席に着座した運転者の顔の位置として検出されると想定される範囲である。具体的には、想定範囲は、運転席に着座した運転者が車両の進行方向前方を向いている場合に、運転者の顔の位置として検出される範囲である。

図２は、想定範囲Ａを模式的に示す図である。図２に示す車両Ｖは、バスであるが、バスに限らず、３座のトラックや、普通自動車であってもよい。図２（ａ）は、車両Ｖを上から見た模式図である。図２（ａ）に示す想定範囲Ａは、車両Ｖの運転席に着座し、車両Ｖの進行方向前方を向いた運転者Ｕの顔の位置が検出されると想定される範囲として設定されている。

図２（ｂ）は、車両Ｖの側面方向から車両Ｖを見た模式図である。図２（ｂ）に示す想定範囲Ａは、図２（ａ）と同様に設定されている。図２に示すように、想定範囲Ａは、３次元空間内に直方体として設定されるが、楕円球や多面体など、直方体以外の形状で設定されてもよい。

位置判定部１２３は、顔の位置の平均値が想定範囲Ａ内であるか否かを判定してもよい。例えば、位置判定部１２３は、車両Ｖが走行中の所定期間内に検出された顔の位置の平均値が、想定範囲Ａ内か否かを判定する。所定期間は、直前の時刻を含む過去の期間である。所定期間の具体的な値は、運転者が車両の進行方向前方を向いた状態が継続したと判定できる期間として適宜設定すればよく、例えば１０分間である。

許否決定部１２４は、顔判定部１２２の判定結果と位置判定部１２３の判定結果とに基づいて、異常時対応処理部１２０の自動制動処理の実行の許否を決定する。具体的には、許否決定部１２４は、検出特徴データと記憶特徴データとが一致すると顔判定部１２２が判定した場合、自動制動処理を許可する。

許否決定部１２４は、検出特徴データと記憶特徴データとが一致しない場合、位置判定部１２３の判定結果に基づいて、自動制御処理の許否を決定する。具体的には、許否決定部１２４は、顔の位置が想定範囲Ａ内であり、検出した顔が運転者の顔である蓋然性が高い場合、自動制動処理を許可する。また、許否決定部１２４は、顔の位置が想定範囲Ａ外であって、運転者以外の人の顔を誤検出した蓋然性が高い場合、自動制動処理を禁止する。

許否決定部１２４は、検出特徴データと記憶特徴データとが一致しない場合、顔の位置が想定範囲Ａ内でないと位置判定部１２３が判定したとき、自動制動処理を禁止する。具体的には、許否決定部１２４は、車両Ｖが走行中の所定期間内に検出された顔の位置の平均値が、想定範囲Ａ内でない場合、自動制動処理を禁止する。このようにすることで、許否決定部１２４は、検出した顔の位置が想定範囲外であって、運転者以外の人の顔を運転者の顔として誤検出した蓋然性が高い場合に、自動制動処理を禁止する。その結果、許否決定部１２４は、運転者以外の人の顔を誤検出した場合であっても、車両Ｖを自動で制動させてしまうことを抑制できる。

許否決定部１２４は、検出特徴データと記憶特徴データとが一致しない場合であっても、顔の位置が想定範囲Ａ内であると位置判定部１２３が判定したとき、自動制動処理を許可する。例えば、許否決定部１２４は、顔の位置の平均値が想定範囲Ａ内であると位置判定部１２３が判定した場合、自動制動処理を許可する。具体的には、許否決定部１２４は、車両Ｖが走行を開始してから許否決定時間が経過するまでに、許否決定時間内の所定期間内に検出された顔の位置の平均値が想定範囲Ａ内である場合、自動制動処理を許可する。許否決定時間の具体的な値は、適宜設定すればよく、例えば３０分である。このようにすることで、許否決定部１２４は、検出した顔が運転者の顔である蓋然性が高い場合に自動制動処理が実行されるようにできるので、車両Ｖの安全性を高められる。

また、許否決定部１２４は、車両Ｖが所定車速以上で直線道路を走行中に、検出した顔の位置が想定範囲Ａ内であると位置判定部１２３が判定した場合、自動制動処理を許可してもよい。所定車速は、運転者が車両Ｖの進行方向前方を向いた状態で走行を継続するとみなせる速度である。所定車速の具体的な値は、例えば時速６０キロメートルである。例えば、許否決定部１２４は、所定車速以上で直線道路を走行中における、継続時間の間に検出した顔の位置が、想定範囲Ａ内である場合、自動制動処理を許可する。継続時間は、運転者が車両Ｖの進行方向前方を向いた状態で走行を継続するとみなせる時間であり、具体的な値は、例えば２分である。

また、許否決定部１２４は、直線道路だけでなく、所定車速以上の速度を継続することが可能な道路を走行中に、顔の位置の平均値が想定範囲Ａ内である場合、自動制動処理を許可してもよい。所定車速以上の速度を継続することが可能な道路は、例えば所定曲率未満の道路又は高速自動車国道である。この場合、所定車速は、例えば高速自動車国道の最低速度に基づいて定めればよい。

このように、許否決定部１２４は、検出特徴データと記憶特徴データとが一致しない場合であっても、顔の位置が想定範囲Ａ内であり、検出した顔が運転者の顔である蓋然性が高い場合、自動制動処理を許可する。このようにすることで、許否決定部１２４は、検出した顔が運転者の顔である蓋然性が高い場合に自動制動処理が実行されるようにできるので、車両Ｖの安全性を高められる。

［自動制動処理の実行の許否を決定する処理の流れ］
図３は、処理の実行の許否を決定する処理の流れの一例を示すフローチャートである。図３のフローチャートは、車両Ｖが走行中に実行される。まず、顔検出部１２１は、撮像画像に含まれる顔を検出する（ステップＳ１）。具体的には、顔検出部１２１は、撮像画像を解析することにより、撮像画像に含まれる顔の特徴を示す検出特徴データを検出する。

次に、顔判定部１２２は、検出特徴データが、記憶部１１に記憶された記憶特徴データと一致するか否かを判定する（ステップＳ２）。許否決定部１２４は、検出特徴データと記憶特徴データとが一致する場合（ステップＳ２でＹｅｓ）、異常時対応処理部１２０の自動制動処理を許可する（ステップＳ３）。

顔検出部１２１は、検出特徴データと記憶特徴データとが一致しない場合（ステップＳ２でＮｏ）、３次元空間における顔の位置を示す座標を検出する（ステップＳ４）。位置判定部１２３は、顔検出部１２１が検出した顔の位置が想定範囲Ａ内であるか否かを判定する（ステップＳ５）。例えば、位置判定部１２３は、直前の時刻を含む過去の所定期間内に検出された顔の位置の平均値が、想定範囲Ａ内か否かを判定する。

許否決定部１２４は、顔の位置が想定範囲Ａ内である場合（ステップＳ５でＹｅｓ）、自動制動処理を許可する（ステップＳ３）。許否決定部１２４は、顔の位置が想定範囲Ａ内でない場合（ステップＳ５でＮｏ）、自動制動処理を禁止する（ステップＳ６）。

運転支援装置１は、車両Ｖが走行中に、上記のステップＳ１からステップＳ６の処理を、所定間隔毎に繰り返し実行する。このようにすることで、運転支援装置１は、撮像画像から検出された顔の特徴や顔の位置に応じて、自動制動処理の許否を切り替えられる。

［車両Ｖが走行を開始したときに、自動制動処理の許否を決定する場合］
運転支援装置１は、車両Ｖが走行を開始してから許否決定時間が経過するまでの間で、自動制動処理の許否を決定してもよい。図４は、車両Ｖが走行を開始したときに実行される、処理の実行の許否を決定する処理の流れの一例を示すフローチャートである。

まず、顔検出部１２１は、車両Ｖが走行を開始したことを契機として、撮像画像に含まれる顔の検出特徴データを検出する（ステップＳ１１）。次に、顔判定部１２２は、検出特徴データが、記憶部１１に記憶された記憶特徴データと一致するか否かを判定する（ステップＳ１２）。許否決定部１２４は、検出特徴データと記憶特徴データとが一致する場合（ステップＳ１２でＹｅｓ）、自動制動処理を許可する（ステップＳ１３）。

顔検出部１２１は、検出特徴データと記憶特徴データとが一致しない場合（ステップＳ１２でＮｏ）、３次元空間における顔の位置を示す座標を検出する（ステップＳ１４）。続いて、位置判定部１２３は、所定期間内に検出された顔の位置の平均値が、想定範囲Ａ内であるか否かを判定する（ステップＳ１５）。

許否決定部１２４は、顔の位置の平均値が想定範囲Ａ内である場合（ステップＳ１５でＹｅｓ）、自動制動処理を許可する（ステップＳ１３）。許否決定部１２４は、顔の位置の平均値が、想定範囲Ａ内でない場合（ステップＳ１５でＮｏ）、車両Ｖが走行を開始してから許否決定時間が経過したか否かを判定する（ステップＳ１６）。

許否決定部１２４は、車両Ｖが走行を開始してから許否決定時間が経過していない場合（ステップＳ１６でＮｏ）、ステップＳ１１に移行し、許否決定時間が経過するか、自動制動処理を許可するまで、上記の処理を繰り返し実行する。許否決定部１２４は、所定期間内の顔の位置の平均値が想定範囲Ａ内になることなく、許否決定時間が経過した場合（ステップＳ１６でＹｅｓ）、自動制動処理を禁止する（ステップＳ１７）。

［運転支援装置１の効果］
以上説明したとおり、運転支援装置１は、まず、車両Ｖの運転席を含む撮像範囲を撮像した撮像画像に含まれる顔の特徴を示す検出特徴データが、記憶部に記憶された車両の運転者の顔の記憶特徴データと一致するか否かを判定する。次に、運転支援装置１は、検出特徴データと記憶特徴データとが一致しない場合、検出した顔の位置が、車両Ｖの運転席に着座した運転者の顔の位置として検出されると想定される想定範囲Ａ内であるか否かを判定する。そして、運転支援装置１は、検出した顔の位置が想定範囲Ａ内でない場合、運転者が異常か否かを判定し、運転者が異常であると判定したときに車両Ｖを自動で制動させる自動制動処理を禁止する。また、運転支援装置１は、検出した顔の位置が想定範囲Ａ内である場合、自動制動処理を許可する。

このようにすることで、運転支援装置１は、運転者以外の人の顔を誤検出した蓋然性が高い場合に、自動制動処理を禁止できる。その結果、運転支援装置１は、誤検出したドライバの顔の位置が異常な位置であるため、ドライバに異常が発生したと判定した場合であっても、誤って車両Ｖを制動させてしまうことを抑制できる。また、運転支援装置１は、検出した顔が想定範囲Ａ内であり、運転者の顔である蓋然性が高い場合、自動制動処理を許可するので、車両Ｖの安全性を高められる。このように、運転支援装置１は、撮像画像に含まれる顔の特徴や位置に応じて、異常時対応システムＳを適切に動作させることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

１運転支援装置
１１記憶部
１２制御部
１２１顔検出部
１２２顔判定部
１２３位置判定部
１２４許否決定部
２撮像装置
３ブレーキ
４警報出力装置
Ｓ異常時対応システム

Claims

車両の運転席を含む撮像範囲を撮像した撮像画像に含まれる顔を検出する顔検出部と、
前記顔検出部が検出した顔の特徴を示す検出特徴データが、記憶部に記憶された前記車両の運転者の顔の記憶特徴データと一致するか否かを判定する顔判定部と、
前記検出特徴データと、前記記憶特徴データとが一致しないと前記顔判定部が判定した場合、前記顔検出部が検出した顔の位置が、前記車両の運転席に着座した運転者の顔の位置として検出されると想定される想定範囲内であるか否かを判定する位置判定部と、
前記検出した顔の位置が前記想定範囲内でないと前記位置判定部が判定した場合、前記車両を自動で制動させる異常時対応システムの自動制動処理を禁止し、前記検出した顔の位置が前記想定範囲内であると前記位置判定部が判定した場合、前記異常時対応システムの前記自動制動処理を許可する許否決定部と、
を備え、
前記許否決定部は、前記検出特徴データと前記記憶特徴データとが一致すると前記顔判定部が判定した場合、前記自動制動処理を許可する許否決定装置。
前記位置判定部は、前記車両が走行中の所定期間内に検出された前記顔の位置の平均値が、前記想定範囲内であるか否かを判定し、
前記許否決定部は、前記顔の位置の平均値が前記想定範囲内であると前記位置判定部が判定した場合、前記自動制動処理を許可する、
請求項１に記載の許否決定装置。
前記許否決定部は、前記車両が走行を開始してから許否判定時間が経過するまでに、前記許否判定時間内の前記所定期間内に検出された前記顔の位置の平均値が前記想定範囲内であると前記位置判定部が判定した場合、前記自動制動処理を許可する、
請求項２に記載の許否決定装置。
前記許否決定部は、前記車両が所定車速以上で直線道路を走行中に、前記検出した顔の位置が前記想定範囲内であると前記位置判定部が判定した場合、前記自動制動処理を許可する、
請求項１から３のいずれか一項に記載の許否決定装置。