JP7361477B2 - 車両の乗員監視装置、および交通システム - Google Patents

Description

本発明は、車両の乗員監視装置、および交通システムに関する。

車両では、乗員監視装置を設けることがある。
乗員監視装置は、予め組み込まれた車両に乗車している乗員を判定する機能を有する（特許文献１）。乗員監視装置により判定された乗員に応じて、車両は、車両の制御を許可したり、禁止したりすることができる。

特開平１１－４３００９号公報 特開２０１６－０３８７９３号公報

ところで、車両の乗員監視装置では、実用化するにあたり、さらに特許文献２のようにドライバの姿勢などを判定することが求められる。乗員監視装置には、多機能化が求められる。
その一方で、乗員監視装置には、今後、これらの通常走行のための判定機能だけでなく、衝突の際に乗員の挙動を検出などすることが望まれてくると予想される。特に、ドライバのみならず、ドライバ以外の他の乗員についても、衝突の際の挙動を検出できることが望まれるようになる予想される。
これらの多種多様な多くの検出機能や判定機能を実行するためには、乗員監視装置に用いる制御部としてのＥＣＵには、高い処理能力が求められる。
しかも、乗員監視装置に用いる制御部としてのＥＣＵが単に高い処理能力を有するだけでは、たとえば乗員保護に対して十分な性能が得られない可能性がある。

このように、車両の乗員監視装置には、複数の判定機能を状況に応じて適切に実行することが求められる。

本発明の一実施の形態に係る車両の乗員監視装置は、車両に乗車している乗員を撮像する撮像デバイスと、前記撮像デバイスによる撮像機能および撮像された画像を記録する画像記録機能を含む基本機能の処理と、前記撮像された画像に基づいて、乗車している少なくともドライバについての判定処理とを実行可能な制御部と、を有し、前記制御部は、前記車両の衝突が予測または検出された場合、前記基本機能の処理を実行し、前記判定処理を停止するように構成され、前記停止する判定処理には、少なくともわき見判定機能、居眠り・眠気判定機能、デッドマン判定機能、ジェスチャ判定機能、感情判定機能、個人認識機能のうち一つ以上の機能が含まれる。
車両の乗員監視装置。

好適には、前記撮像デバイスが撮像する画角を、ドライバを撮像する状態とドライバとともに他の乗員を含めて撮像する状態との間で切り替える切替部、を有し、前記制御部は、前記車両の衝突が予測または検出された場合、前記切替部により、ドライバを撮像する状態から、ドライバとともに他の乗員を含めて撮像する状態へ切り替えて、ドライバ挙動検出機能および他乗員挙動検出機能のための処理を実行する、とよい。

本発明の一実施の形態に係る交通システムは、車両に設けられる上述したいずれかの車両の乗員監視装置と、前記乗員監視装置と通信する他の通信装置と、を有し、前記他の通信装置は、少なくとも衝突の可能性を、前記乗員監視装置へ送信し、前記乗員監視装置は、受信した衝突の可能性に基づいて、前記車両の衝突を予測または検出する。

本発明の一実施の形態に係る車両の乗員監視装置は、車両に乗車している乗員を撮像する撮像デバイスと、前記撮像デバイスによる撮像機能および撮像された画像を記録する画像記録機能を含む基本機能の処理と、前記撮像された画像に基づいて、乗車している少なくともドライバについての判定処理とを実行可能な制御部と、を有し、前記制御部は、前記車両の衝突が検出された場合、前記基本機能の処理を実行し、前記判定処理を停止し、前記車両の衝突が予測された後に衝突が検出されない場合、停止した前記判定処理を再開し、前記停止する判定処理には、少なくともわき見判定機能、居眠り・眠気判定機能、デッドマン判定機能、ジェスチャ判定機能、感情判定機能、個人認識機能のうち一つ以上の機能が含まれる。

好適には、前記制御部は、停止した前記判定処理について、わき見判定機能、居眠り・眠気判定機能、またはデッドマン判定機能のための処理を、ジェスチャ判定機能、感情判定機能、個人認識機能のための処理よりも優先して再開する、とよい。

本発明の一実施の形態に係る車両の乗員監視装置は、車両に乗車している乗員を撮像する撮像デバイスと、前記撮像デバイスによる撮像機能および撮像された画像を記録する画像記録機能を含む基本機能の処理と、前記撮像された画像に基づいて、乗車している少なくともドライバについての判定処理とを実行可能な制御部と、前記撮像デバイスにより撮像された画像を記録可能なメモリと、を有し、前記制御部は、前記車両の衝突が検出された場合、前記基本機能の処理を実行し、前記判定処理を停止して、前記撮像デバイスにより撮像される画像を前記メモリに記録するように構成され、前記停止する判定処理には、少なくともわき見判定機能、居眠り・眠気判定機能、デッドマン判定機能、ジェスチャ判定機能、感情判定機能、個人認識機能のうち一つ以上の機能が含まれる。

本発明の一実施の形態に係る車両の乗員監視装置は、車両に乗車している乗員を撮像する撮像デバイスと、前記撮像デバイスによる撮像機能および撮像された画像を記録する画像記録機能を含む基本機能の処理と、前記撮像された画像に基づいて、乗車している少なくともドライバについての判定処理とを実行可能な制御部と、前記撮像デバイスにより撮像された画像を記録可能なメモリと、を有し、前記制御部は、前記車両の衝突が検出された場合、前記基本機能の処理を実行し、前記判定処理を停止して、前記撮像デバイスにより撮像される画像を前記メモリに記録するように構成され、前記停止する判定処理には、少なくともわき見判定機能、居眠り・眠気判定機能、デッドマン判定機能、ジェスチャ判定機能、感情判定機能、個人認識機能のうち一つ以上の機能が含まれ、前記車両の衝突が検出された後に所定の期間が経過したら、停止していた少なくとも前記わき見判定機能、前記居眠り・眠気判定機能、および前記デッドマン判定機能のうち一つ以上を再開し、再開した前記わき見判定機能、前記居眠り・眠気判定機能、および前記デッドマン判定機能のうち一つ以上の判定結果をメモリに記録する。

本発明では、撮像デバイスによる撮像機能および撮像された画像を記録する画像記録機能を含む基本機能の処理と、撮像された画像に基づいて、乗車している少なくともドライバについての複数の判定処理とを実行可能な制御部は、車両の衝突が予測または検出された場合、基本機能の処理を実行し、判定処理を停止する。よって、本発明では、車両の衝突が予測または検出された後には、乗員監視装置の制御部は、非常に短い期間ごとに、停止していない残りの判定処理を、即時性を確保するように実行可能である。

図１は、本発明の第一実施形態に係る交通システムで利用可能な自動車の模式的な説明図である。 図２は、図１の自動車の制御系の模式的な説明図である。 図３は、図２の乗員監視ＥＣＵを有する乗員監視装置の構成図である。 図４は、乗員監視装置に実現される複数の機能の一例の説明図である。 図５は、図３の乗員監視ＥＣＵによる複数の機能の起動処理のフローチャートである。 図６は、乗員監視ＥＣＵにより実行されるＡＩ機能の一例を説明する図である。 図７は、ＡＩ機能についての、図５に対応する起動処理の流れを示すフローチャートである。 図８は、本発明の第二実施形態に係る交通システムにおいて、乗員監視ＥＣＵによる複数の機能の起動処理のフローチャートである。

以下、本発明の実施形態について、図面に基づいて説明する。

［第一実施形態］
図１は、本発明の第一実施形態に係る交通システム８０で利用可能な自動車１の模式的な説明図である。
図１の自動車１は、車両の一例である。自動車１は、車体の中央に乗員が乗車する車室２が設けられる。車室２には、乗員が着座するシート３が設けられる。車室２の前部には、トーボード４が設けられる。シート３の前側において、トーボード４から後向きにハンドル５が突出する。乗員は、シート３に着座してハンドル５などの操作部材を操作することができる。

図２は、図１の自動車１の制御系５０の模式的な説明図である。図２には、乗員監視装置４０とともに、交通システム８０の他の通信装置が図示されている。

図２では、自動車１の制御系５０を構成する複数の制御モジュールが、それぞれに組み込まれる制御ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）により代表して示している。
具体的には、図２には、駆動ＥＣＵ５１、操舵ＥＣＵ５２、制動ＥＣＵ５３、自動運転／運転支援ＥＣＵ５４、運転操作ＥＣＵ５５、検出ＥＣＵ５６、空調ＥＣＵ５７、乗員監視ＥＣＵ５８、保護ＥＣＵ５９、外通信ＥＣＵ６０、ＵＩＥＣＵ６１、システムＥＣＵ６２、が図示されている。これら複数の制御ＥＣＵは、自動車１で採用されるたとえばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）といった車ネットワーク６６により、中継装置としてのセントラルゲートウェイ６７（ＣＧＷ）６７に接続される。
そして、各制御モジュールにおいて、制御ＥＣＵは、自動車１で用いる電子機器に接続される。起動された制御ＥＣＵは、各種の処理を実行し、車ネットワーク６６から取得する情報（データ）に基づいてそれぞれに接続されている電子機器の動作を制御する。また、制御ＥＣＵは、それぞれに接続されている電子機器の動作状態などの情報（データ）を車ネットワーク６６へ出力する。
たとえば、運転操作ＥＣＵ５５には、乗員が自動車１の走行を制御するために操作するハンドル５、ブレーキペダル７１、アクセルペダル７２、シフトレバー７３などの操作検出センサが接続される。運転操作ＥＣＵ５５は、操作量に応じた制御情報を、車ネットワーク６６へ出力する。駆動ＥＣＵ５１、操舵ＥＣＵ５２、制動ＥＣＵ５３は、車ネットワーク６６から情報を取得し、自動車１の走行を制御する。

検出ＥＣＵ５６には、自動車１の速度センサ７４、衝突などでの加速度を検出する加速度センサ７５、上述した外カメラ３１、などが接続される。検出ＥＣＵ５６には、自動車１の速度センサ７４および加速度センサ７５の値、外カメラ３１の画像などを、車ネットワーク６６へ出力する。検出ＥＣＵ５６は、外カメラ３１の画像に基づいて衝突を予測し、予測結果を車ネットワーク６６へ出力してよい。検出ＥＣＵ５６は、加速度センサ７５の加速度が通常走行中より衝撃による高い閾値以上である場合、衝突検出を車ネットワーク６６へ出力してよい。検出ＥＣＵ５６は、外カメラ３１の画像に基づいて歩行者または自転車との衝突を予想した後に加速度センサ７５の加速度が通常より高い閾値以上である場合、歩行者との衝突検出を車ネットワーク６６へ出力してよい。セントラルゲートウェイ６７は、情報を中継する。ＵＩＥＣＵ６１は、車ネットワーク６６から情報を取得し、それに接続される表示デバイス７６に、これらの情報を表示する。ＵＩＥＣＵ６１には、表示デバイス７６とともに、乗員が操作する操作デバイス７７が接続される。

乗員監視ＥＣＵ５８には、上述した内カメラ４１、マイクロホン７８、が接続される。乗員監視ＥＣＵ５８は、乗員監視装置４０の制御ＥＣＵであり、内カメラ４１の画像、マイクロホン７８の音、車ネットワーク６６から取得するたとえば衝撃の加速度などの情報に応じて、自動車１に乗車している乗員に関する各種の処理を実行する。乗員監視ＥＣＵ５８は、必要に応じて画像、音、その他の情報（データ）を車ネットワーク６６へ出力する。

保護ＥＣＵ５９には、エアバッグ装置２０、シートベルト装置１０、が接続される。保護ＥＣＵ５９は、車ネットワーク６６から取得した情報に基づいて、エアバッグ装置２０およびシートベルト装置１０の動作を制御する。

外通信ＥＣＵ６０は、たとえば、自動車１の外に存在する通信基地局８１、他の自動車８２の通信装置と無線通信する。通信基地局８１、および他の自動車８２の通信装置は、サーバ装置８３とともに、交通システム８０を構成する。外通信ＥＣＵ６０は、車ネットワーク６６から取得した情報を、通信基地局８１、他の自動車８２の通信装置へ無線送信する。送信された情報は、たとえばサーバ装置８３や他の自動車８２において利用され得る。また、外通信ＥＣＵ６０は、通信基地局８１、他の自動車８２の通信装置から、情報を受信し、車ネットワーク６６へ出力する。これにより、自動車１のたとえば乗員監視ＥＣＵ５８は、外通信ＥＣＵ６０を通じて、車外のサーバ装置８３や他の自動車８２との間で情報（データ）を送受することができる。

また、図２に示す制御系５０は、自動車１に設けられるバッテリ９１から各部へ電力が供給されることにより動作し得る。バッテリ９１から各部への電力供給線は、たとえば車ネットワーク６６の通信ケーブルとともに自動車１に張り巡らされる。制御系５０は、バッテリ９１のほかにも、発電機、受電機から電力が供給されてもよい。

上述するように、自動車１では、衝突の際に乗員を保護するために、シートベルト装置１０、エアバッグ装置２０などの乗員保護装置が設けられる。
シートベルト装置１０は、シート３に着座した乗員の前に掛け渡されるシートベルト１１を有する。シートベルト装置１０は、衝突の際にシートベルト１１に張力を与えて、乗員がシート３から離れ難くなるように拘束する。
エアバッグ装置２０は、たとえばシート３の前側や横側において展開するエアバッグ２１を有する。エアバッグ装置２０は、衝突の際にエアバッグ２１を展開し、シート３から倒れたり離れたりしようとする乗員を支える。
このように、自動車１は、衝突の際に、乗車している乗員を保護することが可能である。
しかしながら、自動車１は、正面などの特定の方向のみにおいて衝突するものではない。自動車１は、図１に矢線に示すように、たとえば斜め方向などからも衝突する可能性がある。
このような特殊な衝突の場合において、乗員保護装置は、乗車している乗員を完璧に保護できない可能性がある。
また、乗員保護装置は、乗員についての大けがを抑制し得たとしても、小さなけがを抑制し得るとは限らない。乗員保護装置は、自動車１に想定されるあらゆる衝突について、無けがを保証するものではない。

そこで、自動車１では、乗員などの人の保護性能をさらに向上させるために、さらなる工夫を講じることが求められている。
自動車１では、自動車１の走行方向である前方などを監視する外カメラ３１を設け、撮像した画像を解析することにより、衝突を事前に予測したり、予測に基づいて自動車１を自動制御したりすることが可能になる。
また、自動車１には、自動車１に乗車している乗員を監視する乗員監視装置４０（ＤＭＳ：Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ）４０を設けることができるものがある。乗員監視装置４０は、たとえばトーボード４の上部において車幅方向の中央に設けられ、自動車１に乗車している乗員を識別する。これにより、自動車１には、識別した乗員に応じて、自動車１の走行制御を許可したり禁止したりすることができる。
そして、このような乗員監視装置４０の内カメラ４１の画像から、衝突の際に乗員の特に頭部の位置および挙動を判定し、これに応じて乗員保護装置の動作を制御することが考えられる。特に、ドライバのみならず、ドライバ以外の他の乗員についても、衝突の際の挙動を検出できることが望まれるようになる予想される。これにより、乗員保護装置による乗員保護を最適化することが可能になると考えられる。
また、自動車１の乗員監視装置４０には、ドライバの姿勢などを判定することが求められる。乗員監視装置４０には、多機能化が求められる。
これらの多種多様な多くの検出機能や判定機能を実行するためには、乗員監視装置４０に用いる乗員監視ＥＣＵ５８には、高い処理能力が求められる。
しかも、乗員監視装置４０に用いる乗員監視ＥＣＵ５８が単に高い処理能力を有するだけでは、たとえば乗員保護に対して十分な性能が得られない可能性がある。
たとえば、乗員監視ＥＣＵ５８が衝突の際に乗員の位置および挙動を高速で判定しようとする間に、乗員の判定機能などの他の機能の処理が割り込むことになると、乗員監視ＥＣＵ５８は、衝突の際に必要とされる最新の乗員の位置および挙動を判定できなくなる可能性がある。この場合、乗員保護装置は、最新ではない少し前の乗員の位置および挙動に応じて、乗員保護を実行することになる。
このように、自動車１の乗員監視装置４０には、複数の判定機能を自動車１の状況に応じて適切に実行することが求められる。

図３は、図２の乗員監視ＥＣＵ５８を有する乗員監視装置４０の構成図である。

図３の乗員監視装置４０は、車内通信部１０１、乗員監視ＥＣＵ５８、メモリ１０２、タイマ１０３、マイクロホン７８、内カメラ４１、レンズ１０４の駆動部１０５、およびこれらを接続する内部バス１０６、を有する。乗員監視装置４０は、この他にもたとえば、独自に、車外緊急通信機１０７、補助加速度センサ１０８、歩行者などを撮像するための補助外カメラ１０９を、内部バス１０６に接続して備えてもよい。これにより、乗員監視装置４０は、それ単独で、衝突時処理を実行するための機能を確保することができる。
また、乗員監視装置４０の各部には、自動車１のバッテリ９１から、電力が供給される。その電力供給経路には、バックアップ電力を蓄積する蓄電池１１０が接続される。乗員監視装置４０は、自動車１から取外可能に設けられてよい。

車内通信部１０１は、車ネットワーク６６に接続される。車内通信部１０１は、車ネットワーク６６を通じて、たとえば図中に例示するように検出ＥＣＵ５６、保護ＥＣＵ５９、外通信ＥＣＵ６０、などの他の制御ＥＣＵとの間で情報（データ）を送受する。

内カメラ４１は、自動車１の車室２を撮像する撮像デバイスである。内カメラ４１は、乗車している乗員を撮像する。

駆動部１０５は、レンズ１０４を駆動して、レンズ１０４の位置を制御する。レンズ１０４の位置が制御されることにより、内カメラ４１が撮像する画角が変化する。レンズ１０４が最遠位置に制御されると、内カメラ４１は、たとえば図１（Ｂ）の二点鎖線枠に示すように、ハンドル５などを操作するためにシート３に着座しているドライバとしての乗員の頭部を含む上体を撮像する。レンズ１０４が最近位置に制御されると、内カメラ４１は、たとえば図１（Ｂ）の一点鎖線枠に示すように、車室２の全体を撮像する。この場合、内カメラ４１は、ドライバとしての乗員の他に、助手席や後部座席のシート３に着座している他の乗員をも撮像することができる。

マイクロホン７８は、自動車１の車室２の音を電気信号へ変換する。

タイマ１０３は、経過時間または時刻を計測する。

車外緊急通信機１０７は、自動車１事故などの緊急時などにおいて自動車１の外の通信基地局８１や他の自動車８２と通信することができる通信装置である。車外緊急通信機１０７は、外通信ＥＣＵ６０と同じ通信方式で、通信基地局８１や他の自動車８２と通信してよい。

補助加速度センサ１０８は、加速度センサ７５と同様に、自動車１に作用する加速度を検出する。

メモリ１０２は、乗員監視装置４０が取得する各種の画像および検出値などを記録する。また、メモリ１０２は、乗員監視用のプログラムを記録する。
乗員監視ＥＣＵ５８は、メモリ１０２から乗員監視用のプログラムを読み込んで実行する。これにより、乗員監視ＥＣＵ５８には、乗員監視装置４０の制御部が実現される。乗員監視装置４０の制御部は、乗員監視装置４０の全体の動作を制御し、乗員監視装置４０に乗員監視機能を実現する。

図４は、乗員監視装置４０に実現される複数の機能の一例の説明図である。

図４の乗員監視装置４０に実現される複数の機能は、乗員監視装置４０としての基本機能、乗員の安全を判定する安全機能、乗員の利便性を向上する利便機能、に分類できる。
基本機能には、たとえば、内カメラ４１による撮像機能、メモリ１０２への画像記録機能、車内通信部１０１による車内通信機能、車内通信部１０１および外通信ＥＣＵ６０の通信による車外通信機能、がある。撮像機能は、内カメラ４１および補助外カメラ１０９により実現されてもよい。車外通信機能は、車外緊急通信機１０７により実現されてもよい。
安全機能には、たとえば、ドライバを含む撮像画像に基づいてドライバの挙動を検出するドライバ挙動検出機能、ドライバ以外の他の剰員の撮像画像に基づいて他の乗員の挙動を検出する他乗員挙動検出機能、ドライバを含む撮像画像に基づいてドライバのわき見を判定するわき見（視線）判定機能、ドライバを含む撮像画像に基づいてドライバの居眠りや眠気を判定する居眠り・眠気判定機能、ドライバを含む撮像画像に基づいてドライバの生死を判定するデッドマン判定機能、がある。
利便機能には、たとえば、ドライバを含む撮像画像に基づいてドライバのジェスチャを判定するジェスチャ判定機能、ドライバを含む撮像画像に基づいてドライバの感情を判定する感情判定機能、ドライバを含む撮像画像に基づいてドライバの個人認識する個人認識機能、ドライバを含む撮像画像に基づいてその他の判定をするその他の判定機能、がある。また、利便機能には、上述した各機能でのＡＩ判定処理に用いるＡＩ判定エンジンを更新する更新機能、が含まれる。

乗員監視ＥＣＵ５８は、自動車１の状況に応じて、これら複数の機能（処理）の実行／停止を制御する。図４には、自動車１が正常に動作して走行可能な状況である通常起動状態、自動車１の衝突を予測した状況である衝突予測後状態、自動車１の実際の衝突を検知した状況である衝突検知後状態、が示されている。
通常起動状態である場合、乗員監視ＥＣＵ５８は、乗員監視装置４０について図４のすべての機能を実行する。ただし、乗員監視ＥＣＵ５８は、レンズ１０４が広角である場合のみ、他乗員挙動検出機能を実行する。乗員監視ＥＣＵ５８は、複数の判定処理を実行することができる。
衝突予測後状態である場合、乗員監視ＥＣＵ５８は、乗員監視装置４０の一部の機能のみを実行し、その他の機能を停止する。たとえば、乗員監視ＥＣＵ５８は、利便機能についてはすべてを停止する。また、乗員監視ＥＣＵ５８は、安全機能についての、わき見（視線）判定機能、居眠り・眠気判定機能、デッドマン判定機能、を停止する。乗員監視ＥＣＵ５８は、それ以外の基本機能、ドライバ挙動検出機能、および他乗員挙動検出機能を実行する。なお、乗員監視ＥＣＵ５８は、基本機能についての、車外通信機能、を停止してもよい。
衝突検知後状態である場合、乗員監視ＥＣＵ５８は、衝突予測後状態よりも少ない最低限度の機能のみを実行し、その他の機能を停止する。たとえば、乗員監視ＥＣＵ５８は、利便機能、および安全機能についてはすべてを停止する。また、乗員監視ＥＣＵ５８は、基本機能についての、車外通信機能、を停止する。乗員監視ＥＣＵ５８は、それ以外の撮像機能、画像記録機能、車内通信機能、を実行する。なお、乗員監視ＥＣＵ５８は、車内通信機能の替わりに、または車内通信機能とともに、車外通信機能、を実行してもよい。停止された機能により、乗員監視ＥＣＵ５８の処理能力は消費されなくなる。また、乗員監視ＥＣＵ５８の消費電力も抑制可能である。

図５は、図３の乗員監視ＥＣＵ５８による複数の機能の起動処理のフローチャートである。
乗員監視ＥＣＵ５８は、乗員監視装置４０が自動車１とともに起動されると、図５の起動処理を実行する。なお、乗員監視ＥＣＵ５８は、自動車１が停車中でも、たとえばドアキーの解除などにより、図５の起動処理を実行してよい。

ステップＳＴ１において、乗員監視ＥＣＵ５８は、乗員監視装置４０について図４の通常起動状態に示すすべての機能を起動する。乗員監視装置４０は、たとえば乗員監視に設けられる内カメラ４１により、ドライバの静止画の撮像し、その画像に基づいてドライバを特定する個人認識処理を実行する。予め自動車１に登録されたドライバとして認証された場合、乗員監視ＥＣＵ５８は、車内通信部１０１により、認証ＯＫの結果を車ネットワーク６６へ出力する。たとえば、運転操作ＥＣＵ５５は、認証ＯＫの結果に基づいてハンドル５などの操作を許可する。これにより、自動車１は、走行可能になる。ドライバが降車すると、乗員監視ＥＣＵ５８は、認証されたドライバが無いことを示す認証ＮＧの結果を車ネットワーク６６へ出力する。運転操作ＥＣＵ５５は、認証ＮＧの結果に基づいてハンドル５などの操作を禁止する。これにより、自動車１は、走行不能となる。

ステップＳＴ２において、乗員監視ＥＣＵ５８は、衝突予想の有無を判断する。乗員監視ＥＣＵ５８は、たとえば検出ＥＣＵ５６が車ネットワーク６６へ出力した衝突予測を車内通信部１０１から取得し、衝突予想の有無を判断する。また、外通信ＥＣＵ６０は、他の自動車８２や通信基地局８１などから自車またはその前を走行する他の自動車８２についての衝突の可能性を受信すると、進路前方の衝突情報を車ネットワーク６６へ出力する。乗員監視ＥＣＵ５８は、この進路前方の衝突情報を取得して、衝突予想の有無を判断してよい。衝突予想がありでない場合、乗員監視ＥＣＵ５８は、処理をステップＳＴ７へ進める。衝突予想がある場合、乗員監視ＥＣＵ５８は、処理をステップＳＴ３へ進める。

衝突を予想した後のステップＳＴ３において、乗員監視ＥＣＵ５８は、画角切り替えを駆動部１０５へ指示して、画角を挟角から広角へ切り替える。内カメラ４１は、ドライバのみを撮像する状態から、車室２の全体を撮像する状態に切り替わる。また、通常起動状態にあるため、乗員監視ＥＣＵ５８は、撮像画像に基づいて、ドライバ挙動検出処理とともに、他乗員挙動検出処理を実行する。

ステップＳＴ４において、乗員監視ＥＣＵ５８は、乗員監視装置４０の動作状態を、衝突予想後の第一縮退状態とする。第一縮退状態において、乗員監視ＥＣＵ５８は、図４の衝突予測後状態にて継続（０）が付されている機能のみを実行し、停止（×）が付されている挙動検出処理以外の判定処理（機能）を停止する。これにより、乗員監視ＥＣＵ５８は、他の判定処理の割り込みなどにより邪魔されることなく、ドライバ挙動検出機能と、他乗員挙動検出機能とを実行する。乗員監視ＥＣＵ５８は、短く安定した周期で高速に、ドライバ挙動検出機能と、他乗員挙動検出機能とを、繰り返し実行することができる。その結果、乗員監視ＥＣＵ５８は、内カメラ４１による最新の広角画像に基づいて、ドライバを含む複数の乗員の位置および挙動について現在のものを検出できる。乗員監視ＥＣＵ５８は、ドライバを含む複数の乗員の位置および挙動についての判定結果として、最新のものを車ネットワーク６６へ出力できる。保護ＥＣＵ５９には、ドライバを含む複数の乗員の位置および挙動についての最新の判定結果に基づいて、エアバッグ装置２０およびシートベルト装置１０の動作を準備できる。

ステップＳＴ５において、乗員監視ＥＣＵ５８は、衝突により自動車１に作用する加速度を取得して、衝突を検出する。乗員監視ＥＣＵ５８は、たとえば検出ＥＣＵ５６が車ネットワーク６６へ出力した衝突検出を車内通信部１０１から取得し、衝突を検出する。乗員監視ＥＣＵ５８は、補助加速度センサ１０８の加速度が通常走行中より高い衝突有無の閾値以上である場合、衝突検出と判断してよい。衝突が検出されない場合、処理をステップＳＴ２へ戻す。衝突が検出される場合、処理をステップＳＴ６へ進める。

ステップＳＴ６において、乗員監視ＥＣＵ５８は、乗員監視装置４０の動作状態を、衝突検出後の第二縮退状態とする。第二縮退状態において、乗員監視ＥＣＵ５８は、図４の衝突検知後状態にて継続（０）が付されている機能のみを実行し、停止（×）が付されている機能する。これにより、乗員監視ＥＣＵ５８は、他の判定処理の割り込みなどにより邪魔されることなく、内カメラ４１により撮像された複数の乗員を撮像する画像をメモリ１０２に記録する処理のみを実行する。乗員監視ＥＣＵ５８は、複数の乗員を撮像した画像をメモリ１０２に繰り返し記録する処理のみの実行により、必要最小限の電力消費で動作することができる。

ステップＳＴ２において衝突を予想しない場合、乗員監視ＥＣＵ５８は、処理をステップＳＴ７へ進める。乗員監視ＥＣＵ５８は、通常状態への復帰処理を実行する。
ステップＳＴ７において、乗員監視ＥＣＵ５８は、画角切り替えを駆動部１０５へ指示して、画角を広角から挟角へ切り替える。内カメラ４１は、車室２の全体を撮像する状態から、ドライバのみを撮像する状態に切り替わる。
ステップＳＴ８において、乗員監視ＥＣＵ５８は、乗員監視装置４０の動作状態を、衝突予想後の第一縮退状態から、通常起動状態へ戻す再開処理を実行する。乗員監視ＥＣＵ５８は、挙動検出処理以外の停止していた判定処理（機能）を起動させて、図４の通常起動状態に示すすべての機能を起動する。この際、乗員監視ＥＣＵ５８は、図４の利便機能および安全機能については、利便機能の判定処理より安全機能の判定処理を優先して先に起動する。

ここで、乗員監視装置４０のＡＩによる更新機能について説明する。
図６は、乗員監視ＥＣＵ５８により実行されるＡＩ機能の一例を説明する図である。乗員監視ＥＣＵ５８は、図４の機能ごとに図６のＡＩ機能を備えてよい。
図６のＡＩ機能は、ＡＩ更新エンジン１１１、設定データ１１２、主推論アルゴリズム１１３、を有する。
設定データ１１２は、たとえば各種のパラメータである。
主推論アルゴリズム１１３は、設定データ１１２を用いて、乗員監視装置４０の各機能の処理またはその一部の処理を実行するプログラムである。主推論アルゴリズム１１３は、たとえば画像データに基づいて判定対象の特徴についての期待値を生成する。この場合、図４の各機能は、主推論アルゴリズム１１３に基づいて最も高い期待値が得られる画像部分について、判定処理を実行すればよい。
ＡＩ更新エンジン１１１は、学習データに基づいて、設定データ１１２および／または主推論アルゴリズム１１３を更新するプログラムである。
たとえば、ＡＩ更新エンジン１１１は、学習データとしての画像データを取得し、その特徴を抽出し、特徴に基づく推論学習処理を実行し、その結果により設定データ１１２および／または主推論アルゴリズム１１３を更新する。これにより、設定データ１１２および／または主推論アルゴリズム１１３が更新される。

図７は、ＡＩ機能についての、図５に対応する起動処理の流れを示すフローチャートである。
ステップＳＴ１１において、乗員監視ＥＣＵ５８は、主推論アルゴリズム１１３を起動する。
ステップＳＴ１２において、乗員監視ＥＣＵ５８は、ＡＩ更新エンジン１１１を起動する。
ステップＳＴ１３において、ＡＩ更新エンジン１１１としての乗員監視ＥＣＵ５８は、学習データとしての画像データを取得する。画像データは、内カメラ４１により撮像された画像でよい。
ステップＳＴ１４において、ＡＩ更新エンジン１１１としての乗員監視ＥＣＵ５８は、画像データに含まれる特徴を抽出する。
ステップＳＴ１５において、ＡＩ更新エンジン１１１としての乗員監視ＥＣＵ５８は、抽出した特徴と画像データとに基づいて、推論学習処理を実行する。
ステップＳＴ１６において、ＡＩ更新エンジン１１１としての乗員監視ＥＣＵ５８は、推論学習処理の結果により、設定データ１１２および／または主推論アルゴリズム１１３を更新する。これにより、設定データ１１２および／または主推論アルゴリズム１１３が更新される。
ステップＳＴ１７において、乗員監視ＥＣＵ５８は、衝突予想の有無を判断する。ステップＳＴ１７は、図５のステップＳＴ２と同じである。衝突を予想しない場合、乗員監視ＥＣＵ５８は、処理をステップＳＴ１２へ戻す。乗員監視ＥＣＵ５８は、上述した処理を繰り返し、設定データ１１２および／または主推論アルゴリズム１１３を更新し続ける。衝突を予想する場合、乗員監視ＥＣＵ５８は、処理をステップＳＴ１８へ進める。
ステップＳＴ１８では、乗員監視ＥＣＵ５８は、ＡＩ更新エンジン１１１を停止する。その後、乗員監視ＥＣＵ５８は、処理をステップＳＴ１７へ戻す。乗員監視ＥＣＵ５８は、衝突が予想されている期間では、ＡＩ更新エンジン１１１を停止し続ける。乗員監視ＥＣＵ５８は、衝突が予想されている期間では、ＡＩ更新エンジン１１１の処理を実行しなくなる。乗員監視ＥＣＵ５８は、挙動検出処理以外の判定処理とともに更新機能を停止して、挙動検出処理を繰り返し実行することができる。

以上のように、本実施形態では、撮像された画像に基づいて、乗車している少なくともドライバについての挙動検出処理を含む複数の判定処理を実行可能な剰員監視ＥＣＵは、自動車１の衝突が予測または検出された場合、挙動検出処理以外の判定処理を停止して、挙動検出処理を繰り返し実行する。よって、自動車１の衝突が予測または検出された後には、乗員監視装置４０の剰員監視ＥＣＵは、非常に短い期間ごとに乗員の挙動検出情報を更新でき、乗員の挙動検出情報の即時性を確保できる。衝突時の乗員の挙動を、乗員保護に好適に活用できる程度に高い精度で検出して、乗員保護性能を向上することを期待できる。
特に、本実施形態では、自動車１の衝突が予測または検出された場合、切替部により、ドライバを撮像する状態から、ドライバとともに他の乗員を含めて撮像する状態へ切り替える。たとえば、剰員監視ＥＣＵは、自動車１の衝突が予測された場合、切替部により、ドライバを撮像する状態から、ドライバとともに他の乗員を含めて撮像する状態へ切り替えて、ドライバおよび他の乗員の挙動検出処理を実行し、挙動検出処理以外の判定処理を停止する。よって、剰員監視ＥＣＵは、ドライバおよび他の乗員の挙動検出処理を実行して、自動車１に乗車しているドライバを含む複数の乗員について、各々の衝突時の乗員の挙動を検出できる。剰員監視ＥＣＵは、挙動検出処理以外の判定処理を停止しているため、ドライバ以外の他の乗員の挙動検出処理を実行するとしても、各々の非常に短い期間ごとに乗員の挙動検出情報を更新でき、乗員保護に好適に活用できる程度に高い精度で検出することが可能になる。

また、本実施形態では、自動車１の衝突が検出された場合、剰員監視ＥＣＵは、挙動検出処理を含む判定処理を停止し、撮像デバイスにより撮像される画像をメモリ１０２に繰り返し記録する。よって、衝突検出後には、乗員監視装置４０は、車室２の画像をメモリ１０２に繰り返し記録する処理のみを実行する。これにより、乗員監視装置４０は、自動車１に乗車している複数の乗員についての衝突後の状態を蓄積するように記録することができる。剰員監視ＥＣＵの動作による電力消費を抑えて、自動車１に残存する電力を有効に利用して、自動車１に乗車している複数の乗員についての衝突後の状態を蓄積記録することができる。

本実施形態では、剰員監視ＥＣＵは、自動車１の衝突が予測された後に衝突が検出されない場合、ジェスチャ判定、感情判定、個人判定といった利便機能の判定処理より、ドライバのわき見判定、居眠り判定、眠気判定、デッドマン判定といった安全機能の判定処理を優先して再開する。よって、再開直後から乗員監視装置４０は、ドライバのわき見判定、居眠り判定、眠気判定、デッドマン判定をすることができる。

本実施形態では、剰員監視ＥＣＵは、自動車１の衝突が予測または検出された場合、挙動検出処理以外の判定処理とともに、判定処理を更新する更新機能を停止する。よって、衝突の直前までに更新された判定処理により、たとえば挙動、ジェスチャ、感情、わき見、居眠り、眠気、デッドマンといった判定を実行することが可能になる。乗員が乗車した後に、乗員に適するように更新され得る判定処理により、これらの判定を好適に実行することが可能になる。

［第二実施形態］
次に、本発明の第二実施形態に係る交通システム８０について説明する。以下の説明では、主に上述した実施形態との相違点について説明する。本実施形態では、上述した実施形態と同様の構成については同一の符号を付して説明を省略する。

図８は、本発明の第二実施形態に係る交通システム８０において、乗員監視ＥＣＵ５８による複数の機能の起動処理のフローチャートである。
乗員監視ＥＣＵ５８は、乗員監視装置４０が自動車１とともに起動されると、図８の起動処理を実行する。なお、乗員監視ＥＣＵ５８は、自動車１が停車中でも、たとえばドアキーの解除などにより、図８の起動処理を実行してよい。

乗員監視ＥＣＵ５８は、ステップＳＴ５において衝突を検出すると、ステップＳＴ６において乗員監視装置４０の動作状態を、衝突検出後の第二縮退状態とする。
その後のステップＳＴ２１において、乗員監視ＥＣＵ５８は、タイマ１０３により所定の衝突検出後期間が計測されたか否かを判断する。衝突検出後期間が計測されていない場合、乗員監視ＥＣＵ５８は、ステップＳＴ２１の処理を繰り返す。これにより、乗員監視ＥＣＵ５８は、衝突検出後期間において、内カメラ４１により撮像された複数の乗員を撮像する画像をメモリ１０２に蓄積して記録することができる。衝突検出後期間が計測されると、乗員監視ＥＣＵ５８は、処理をステップＳＴ８へ進める。

ステップＳＴ８において、乗員監視ＥＣＵ５８は、乗員監視装置４０の動作状態を、衝突検出後の第二縮退状態から、通常起動状態へ戻す再開処理を実行する。乗員監視ＥＣＵ５８は、挙動検出処理以外の停止していた判定処理（機能）を起動させて、図４の通常起動状態に示すすべての機能を起動する。この際、乗員監視ＥＣＵ５８は、図４の利便機能および安全機能については、利便機能の判定処理より安全機能の判定処理を優先して先に起動する。
また、乗員監視ＥＣＵ５８は、内カメラ４１により撮像された複数の乗員を撮像する画像に基づいて判定した各種の判定結果を、メモリ１０２に記録する。これにより、メモリ１０２には、衝突後の乗員の画像とともに、乗員監視装置４０により判定した図４の各機能での判定結果が記録される。

また、乗員監視ＥＣＵ５８は、その後に、衝突後にメモリ１０２に蓄積するように記録した画像および判定結果を、車内通信部１０１から車ネットワーク６６へ出力してよい。外通信ＥＣＵ６０は、車ネットワーク６６から衝突後の画像などを取得し、交通システム８０へ送信する。乗員監視ＥＣＵ５８は、メモリ１０２の画像および判定結果を車外緊急通信機１０７から交通システム８０へ送信してもよい。車内通信部１０１から画像および判定結果を受信することにより、交通システム８０のサーバ装置８３および他の自動車８２は、自動車１についての衝突した後の状態を詳しく把握することができる。交通システム８０において外通信ＥＣＵ６０と通信する他の通信装置としてのサーバ装置８３および他の自動車８２は、画像および判定結果を、緊急通報として取得できる。

以上のように、本実施形態では、剰員監視ＥＣＵは、自動車１の衝突が検出された後、所定の期間が経過したら、挙動検出処理以外の判定処理を再開する。これにより、乗員監視装置４０は、たとえば衝突後の乗員のジェスチャ判定、感情判定、わき見判定、居眠り判定、眠気判定、デッドマン判定、を実行して、それらの判定結果をメモリ１０２に記録することができる。

また、本実施形態では、衝突を予測すると、システムの基本動作は停止することなく、判定処理のみを停止する。その結果、本実施形態では、各判定機能でデータを共有できるだけでなく、衝突を予測した後の乗員の挙動の検出精度を向上させることが可能となる。
また、本実施形態では、判定処理を停止するだけなので、停止後のメモリ１０２には、判定機能停止前の乗員の情報、各機能でのキャリプレーション、判定値などの設定を残すことが可能である。この場合、衝突の予測がなくなって判定を再開する場合、停止していた判定機能を有効にするだけでよい。再開された各機能は、停止前の設定を用いて、再開された直後から直ちに適切な動作を再開することが可能となる。
また、本実施形態では、衝突を予測すると、複数の判定機能を停止する。これにより、衝突の予測後にドライバ以外の乗員を含めた広範囲な画像を処理するためのリソースを確保することができる。メモリ１０２を追加したりすることなく、停止後に開放される記録領域を用いて、ドライバ以外の乗員を含めた広範囲な画像を処理することが可能である。

以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるのもではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。

１…自動車（車両）、１０…シートベルト装置、２０…エアバッグ装置、３１…外カメラ、４０…乗員監視装置、４１…内カメラ、５８…乗員監視ＥＣＵ（制御部）、７５…加速度センサ、８０…交通システム、８１…通信基地局、８２…他の自動車、８３…サーバ装置、１０１…車内通信部、１０２…メモリ、１０３…タイマ、１０４…レンズ、１０５…駆動部、１０６…内部バス、１０７…車外緊急通信機、１０８…補助加速度センサ、１０９…補助外カメラ、１１０…蓄電池

Claims (7)

1. 車両に乗車している乗員を撮像する撮像デバイスと、
   前記撮像デバイスによる撮像機能および撮像された画像を記録する画像記録機能を含む基本機能の処理と、前記撮像された画像に基づいて、乗車している少なくともドライバについての判定処理とを実行可能な制御部と、
   を有し、
   前記制御部は、
   前記車両の衝突が予測または検出された場合、前記基本機能の処理を実行し、前記判定処理を停止するように構成され、
   前記停止する判定処理には、少なくともわき見判定機能、居眠り・眠気判定機能、デッドマン判定機能、ジェスチャ判定機能、感情判定機能、個人認識機能のうち一つ以上の機能が含まれる、
   車両の乗員監視装置。
   
2. 前記撮像デバイスが撮像する画角を、ドライバを撮像する状態とドライバとともに他の乗員を含めて撮像する状態との間で切り替える切替部、を有し、
   前記制御部は、
   前記車両の衝突が予測または検出された場合、前記切替部により、ドライバを撮像する状態から、ドライバとともに他の乗員を含めて撮像する状態へ切り替えて、ドライバ挙動検出機能および他乗員挙動検出機能のための処理を実行する、
   請求項１記載の車両の乗員監視装置。
   
3. 車両に設けられる請求項１または２記載の車両の乗員監視装置と、
   前記乗員監視装置と通信する他の通信装置と、
   を有し、
   前記他の通信装置は、少なくとも衝突の可能性を、前記乗員監視装置へ送信し、
   前記乗員監視装置は、受信した衝突の可能性に基づいて、前記車両の衝突を予測または検出する、
   交通システム。
   
4. 車両に乗車している乗員を撮像する撮像デバイスと、
   前記撮像デバイスによる撮像機能および撮像された画像を記録する画像記録機能を含む基本機能の処理と、前記撮像された画像に基づいて、乗車している少なくともドライバについての判定処理とを実行可能な制御部と、
   を有し、
   前記制御部は、
   前記車両の衝突が予測された場合、前記基本機能の処理を実行し、前記判定処理を停止し、
   前記車両の衝突が予測された後に衝突が検出されない場合、停止した前記判定処理を再開し、
   前記停止する判定処理には、少なくともわき見判定機能、居眠り・眠気判定機能、デッドマン判定機能、ジェスチャ判定機能、感情判定機能、個人認識機能のうち一つ以上の機能が含まれる、
   車両の乗員監視装置。
   
5. 前記制御部は、
   停止した前記判定処理について、わき見判定機能、居眠り・眠気判定機能、またはデッドマン判定機能のための処理を、ジェスチャ判定機能、感情判定機能、個人認識機能のための処理よりも優先して再開する、
   請求項４記載の車両の乗員監視装置。
6. 車両に乗車している乗員を撮像する撮像デバイスと、
   前記撮像デバイスによる撮像機能および撮像された画像を記録する画像記録機能を含む基本機能の処理と、前記撮像された画像に基づいて、乗車している少なくともドライバについての判定処理とを実行可能な制御部と、
   前記撮像デバイスにより撮像された画像を記録可能なメモリと、
   を有し、
   前記制御部は、
   前記車両の衝突が検出された場合、前記基本機能の処理を実行し、前記判定処理を停止して、前記撮像デバイスにより撮像される画像を前記メモリに記録するように構成され、
   前記停止する判定処理には、少なくともわき見判定機能、居眠り・眠気判定機能、デッドマン判定機能、ジェスチャ判定機能、感情判定機能、個人認識機能のうち一つ以上の機能が含まれる、
   車両の乗員監視装置。
   
7. 車両に乗車している乗員を撮像する撮像デバイスと、
   前記撮像デバイスによる撮像機能および撮像された画像を記録する画像記録機能を含む基本機能の処理と、前記撮像された画像に基づいて、乗車している少なくともドライバについての判定処理とを実行可能な制御部と、
   前記撮像デバイスにより撮像された画像を記録可能なメモリと、
   を有し、
   前記制御部は、
   前記車両の衝突が検出された場合、前記基本機能の処理を実行し、前記判定処理を停止して、前記撮像デバイスにより撮像される画像を前記メモリに記録するように構成され、
   前記停止する判定処理には、少なくともわき見判定機能、居眠り・眠気判定機能、デッドマン判定機能、ジェスチャ判定機能、感情判定機能、個人認識機能のうち一つ以上の機能が含まれ、
   前記車両の衝突が検出された後に所定の期間が経過したら、停止していた少なくとも前記わき見判定機能、前記居眠り・眠気判定機能、および前記デッドマン判定機能のうち一つ以上を再開し、再開した前記わき見判定機能、前記居眠り・眠気判定機能、および前記デッドマン判定機能のうち一つ以上の判定結果をメモリに記録する、
   車両の乗員監視装置。
   

Images