JP7338397B2 - 車両制御装置 - Google Patents

Description

本発明は、車両制御装置に関する。

従来から、車室内への幼児の置き去りを監視し、ドライバに報知する装置が知られている（例えば、特許文献１）。この装置では、車両に乗員が乗る際に、リアドアの開閉を検出し、開閉が検出された場合には、リアドアから幼児を乗車させたと判定する。この場合において、車両から乗員が降りる際に、リアドアが開閉されたか否かを検出し、開閉が検出されない場合には、幼児等が降車しておらず、幼児が車室内に置き忘れられていると判定する。これにより、置き忘れられた幼児に対して危険回避を実施することができる。

特開２０１３－１２９２３１号公報

この装置では、リアドアの開閉に基づいて車室内への幼児の置き去りを判定するため、例えばリアドアから乗車させた幼児をフロントドアから降車させた場合など、実際には車室内に幼児が存在しなくても車室内への幼児の置き去りが生じたと誤判定してしまう。この誤判定を抑制するために、車室内の幼児を確認した上で、車室内への幼児の置き去りを判定する技術が望まれている。

本発明は、上記事情に鑑みてなされたものであり、その目的は、幼児の存在を確認した上で、車室内への幼児の置き去りを判定できる車両制御装置を提供することにある。

本発明の車両制御装置は、車室内への幼児の置き去りを監視し、その監視結果に基づいて、前記幼児への危険回避処理を実施する車両制御装置であって、車両の走行停止中において、撮像装置により撮像された前記車室内の画像である停止中画像を取得する画像取得部と、前記停止中画像に基づいて、前記車室内への前記幼児の置き去りの有無を判定する置き去り判定部と、を備える。

この手段では、車両の走行停止中において撮像装置を用いて車室内の画像である停止中画像を取得し、この停止中画像に基づいて車室内への幼児の置き去りの有無を判定する。幼児の置き去りの有無を判定する際に停止中画像を用いることで、例えば画像抽出処理や顔認識処理を用いて停止中画像に写っている幼児を判定でき、幼児の存在を確認した上で、車室内への幼児の置き去りが生じたことを判定できる。

車載システムの構成を示すブロック図。 第１実施形態における撮像装置の搭載場所を示す図。 第１実施形態における撮像装置の撮像範囲を示す図。 停止中画像の一例を示す図。 車両制御装置の構成を示すブロック図。 チャイルドシートの状態を示す図。 チャイルドシートへの幼児の乗降させる際の動作を示す図。 判定処理を示すフローチャート。 判定処理を具体的に示すタイムチャート。 第２実施形態における撮像装置の搭載場所を示す図。 第２実施形態における撮像装置の撮像範囲を示す図。

（第１実施形態）
以下、本発明を具体化した実施形態について図面を参照しつつ説明する。まず、本実施形態に係る車載システム１００の構成について説明する。図１に示すように、車載システム１００は、車両状態認識装置２０、走行状態認識装置３０、車両制御装置４０、警報装置５０、報知装置６０を備えている。概要として、車両制御装置４０は、各認識装置２０，３０からの情報に基づいて、車室内への幼児の置き去りを監視し、車室内への幼児の置き去りが発生した場合にその旨を警報装置５０に通知する。

車両状態認識装置２０は、撮像装置２１、ドアセンサ２２、温度センサ２３、水温センサ２４を備える。撮像装置２１は、例えばＣＣＤカメラであり、近赤外ＬＥＤ等の照明装置により車室内を撮像する。図２に示すように、撮像装置２１は、車両１０においてオーバーヘッドコンソール１１の略中央に、運転席及び助手席に向けて搭載されている。なお、撮像装置２１は、オーバーヘッドコンソール１１に代えて、インストルメントパネル１２の上やステアリングコラム、ルームミラーの下端に設置されていてもよい。

図３，図４に示すように、撮像装置２１の撮像範囲ＦＤには、運転席１３が含まれる。そのため、撮像装置２１を用いて、運転席１３に着座したドライバの上半身を正面側から撮影することができる（図４の破線参照）。また、撮像装置２１の撮像範囲ＦＤには、後部座席１４が含まれる。そのため、撮像装置２１を用いて、後部座席１４に前向きに搭載されたチャイルドシート（以下、ＣＲＳ）１５に着座した幼児を撮影することができる。

さらに、撮像装置２１の撮像範囲ＦＤには、車両１０のフロントドア１６及びリアドア１７のうち、リアドア１７が含まれる。そのため、撮像装置２１を用いて、車両ドア１６，１７のうち、ＣＲＳ１５が搭載された側の特定ドア（リアドア）１７を介して、幼児をＣＲＳ１５に乗降させる際の動作を撮影することができる（図７参照）。本実施形態では、特定ドア１７のうち、ＣＲＳ１５が搭載された座席側の近側ドア１７Ａを介して、幼児をＣＲＳ１５に乗降させる形態について説明する。

ドアセンサ２２は、車両１０の車両ドア１６，１７の開閉を検出するセンサである。ドアセンサ２２は、車両１０の各車両ドア１６，１７の開閉をそれぞれ検出する。温度センサ２３は、車室内温度ＹＭを検出するセンサである。水温センサ２４は、エンジンの冷却水温度を検出するセンサである。

走行状態認識装置３０は、車速センサ３１、アクセルセンサ３２、及びブレーキセンサ３３を備える。車速センサ３１は、車速ＶＭを検出するセンサである。アクセルセンサ３２は、アクセル開度すなわちアクセルペダルの操作量を検出するセンサである。ブレーキセンサ３３は、ブレーキペダルの操作量を検出するセンサである。

車両制御装置４０は、ＣＰＵ、ＲＯＭ、ＲＡＭ及びＩ／Ｏ等を備えるマイクロコンピュータにより構成されており、車両状態認識装置２０、走行状態認識装置３０から各種情報を取得する。車両制御装置４０と各認識装置２０，３０とは、ＣＡＮ等の有線通信や、ＬＡＮ、Bluetooth（登録商標）等の無線通信で接続されている。車両制御装置４０は、ＲＯＭに記憶されている各種プログラムをＣＰＵが実行することにより、画像取得部７０、画像処理部８０の機能を実現し、車室内への幼児の置き去りの有無の判定を実施する。

次に、車両制御装置４０が実現する各種機能について、図５を参照して説明する。画像取得部７０は、走行中画像取得部７１、停止中画像取得部７２を含む。

走行中画像取得部７１は、車両走行中において、撮像装置２１により撮像された走行中画像ＧＲを取得する。詳しくは、走行中画像取得部７１は、走行状態認識装置３０から取得される各種情報に基づいて車両走行中であると判定される場合に、撮像装置２１を制御して、第１周期で走行中画像ＧＲを取得する第１取得処理を実施する。

停止中画像取得部７２は、車両１０の走行停止中において、撮像装置２１により撮像された停止中画像ＧＳを取得する。詳しくは、停止中画像取得部７２は、走行状態認識装置３０から取得される各種情報に基づいて車両１０の走行停止中であると判定される場合に、撮像装置２１を制御して、第２周期で停止中画像ＧＳを取得する第２取得処理を実施する。

つまり、画像取得部７０は、車両１０が走行中か走行停止中であるか否かにより、第１取得処理と第２取得処理とを切り替えて実施する。本実施形態において、第１周期と第２周期とは異なる周期に設定されており、例えば第１周期は第２周期より短い周期に設定されている。

画像処理部８０は、画像取得部７０により取得される各種画像に基づいて、
（１）ＣＲＳ判定、
（２）第１幼児判定、
（３）乗降動作検出、
（４）第２幼児判定、
（５）大人判定、
（６）運転危険状態判定、
の各処理を実施する。画像処理部８０は、各処理を実施するＣＲＳ判定部８１、第１幼児判定部８２、乗降動作検出部８３、第２幼児判定部８４、大人判定部８５、及び運転危険状態判定部８６を含んでおり、以下これらを順に説明する。

（１）ＣＲＳ判定
ＣＲＳ判定部８１は、停止中画像ＧＳに基づいて、車室内におけるＣＲＳ１５の有無を判定する。記憶部４１には、各部にて用いられる各種情報が記憶されている。ＣＲＳ判定部８１は、記憶部４１に記憶されたＣＲＳ１５の基準画像の少なくとも一部が停止中画像ＧＳに含まれているか否かを判定する。ＣＲＳ判定部８１は、停止中画像ＧＳにＣＲＳ１５の基準画像の少なくとも一部が含まれている場合に、車室内にＣＲＳ１５が有ると判定し、含まれていない場合に車室内にＣＲＳ１５が無いと判定する。

（２）第１幼児判定
第１幼児判定部８２は、ＣＲＳ判定部８１により車室内にＣＲＳ１５が有ると判定された場合に、停止中画像ＧＳに基づいて、ＣＲＳ１５への幼児の置き去りの有無を判定する。第１幼児判定部８２は、ＣＲＳ１５上に幼児又は荷物（以下、幼児等）が存在しているか否かを判定し、幼児等が存在している場合に、その幼児等が幼児であるかを判定する。幼児等が幼児であるか否かの判定は、例えば記憶部４１に記憶された顔認識データに基づく顔認識処理により判定する。

第１幼児判定部８２は、例えば、図６（Ａ）に示すように、ＣＲＳ１５上に幼児等が存在しない場合、又は図６（Ｂ）に示すように、ＣＲＳ１５上に幼児等が存在しているが、その幼児等が荷物である場合、ＣＲＳ１５への幼児の置き去りが生じていないと判定する。一方、図６（Ｃ）に示すように、ＣＲＳ１５上に幼児等が存在し、その幼児等が幼児である場合、ＣＲＳ１５への、つまり車室内への幼児の置き去りが生じたと判定する。

（３）乗降動作検出
乗降動作検出部８３は、ＣＲＳ判定部８１により車室内にＣＲＳ１５が有ると判定された場合に、停止中画像ＧＳに基づいて、幼児をＣＲＳ１５に乗降させる際の動作を検出する。詳しくは、乗降動作検出部８３は、ＣＲＳ１５が搭載された側の特定ドア１７の開放期間ＨＰに取得された複数の停止中画像ＧＳに基づいて、幼児をＣＲＳ１５に乗せる際の動作と、幼児をＣＲＳ１５から降ろす際の動作とをそれぞれ検出する。なお、特定ドア１７の開放期間ＨＰは、ドアセンサ２２から取得された特定ドア１７の開閉情報に基づいて判定される。

具体的には、乗降動作検出部８３は、開放期間ＨＰに取得された複数の停止中画像ＧＳから、特定ドア１７の開放直後に撮像された第１停止中画像ＧＳ１と、特定ドア１７の閉鎖直前に撮像された第２停止中画像ＧＳ２とを選出する。例えば、図７（Ａ）に示すように、第１停止中画像ＧＳ１が特定ドア１７付近において大人が幼児を抱き上げている画像であり、図７（Ｂ）に示すように、第２停止中画像ＧＳ２がＣＲＳ１５付近において大人がＣＲＳ１５のベルトの着脱作業を行っている画像であったとする。この場合、乗降動作検出部８３は、第１停止中画像ＧＳ１と第２停止中画像ＧＳ２とに基づいて、つまり第１停止中画像ＧＳ１から第２停止中画像ＧＳ２へと続く動作として、幼児をＣＲＳ１５に乗せる際の動作を検出する。

一方、第１停止中画像ＧＳ１が図７（Ｂ）であり、第２停止中画像ＧＳ２が図７（Ａ）である場合、第１停止中画像ＧＳ１と第２停止中画像ＧＳ２とに基づいて、幼児をＣＲＳ１５から降ろす際の動作を検出する。

（４）第２幼児判定
第２幼児判定部８４は、車両１０の走行停止中に、乗降動作検出部８３の検出結果に基づいて、ＣＲＳ１５への幼児の置き去りの有無を判定する。第２幼児判定部８４は、乗降動作検出部８３により幼児をＣＲＳ１５に乗せる際の動作が検出されていない場合、又は幼児をＣＲＳ１５に乗せる際の動作と降ろす際の動作とが検出されている場合、ＣＲＳ１５への幼児の置き去りが生じていないと判定する。一方、幼児をＣＲＳ１５に乗せる際の動作が検出され、幼児をＣＲＳ１５から降ろす際の動作が検出されていない場合、ＣＲＳ１５への、つまり車室内への幼児の置き去りが生じたと判定する。

（５）大人判定
大人判定部８５は、停止中画像ＧＳに基づいて、車室内に大人が存在しているか否かを判定する。ここで、大人判定部８５は、運転席１３、助手席１８（図３，図４参照）、及び後部座席１４に乗員が存在しているか否かを判定し、乗員が存在している場合に、その乗員が大人であるかを判定する。乗員が大人であるか否かの判定は、例えば記憶部４１に記憶された体格判定データに基づく体格判定により判定された乗員の肩幅により判定する。

（６）運転危険状態判定
運転危険状態判定部８６は、車両走行中に、走行中画像ＧＲに基づいて、ドライバの運転危険状態を判定する。ここで、運転危険状態とは、例えばドライバの居眠り状態である。運転危険状態判定部８６は、例えば、走行中画像ＧＲにおけるドライバの頭部が画像の基準範囲から外れており、その状態が基準期間以上継続する場合に、ドライバが運転危険状態になっていると判定する。ここで、基準範囲は、通常の運転時において、ドライバの頭部が外れることがない範囲に設定されている。詳細には、基準範囲は、通常の運転時において、ドライバが物を取る動作をしても、ドライバの頭部が外れることがない範囲に設定されている。

車両制御装置４０は、第１，第２幼児判定部８２，８４により車室内に幼児が置き去られていると判定された場合に、警報装置５０に警報命令を出力する警報処理（危険回避処理）を実施する。警報装置５０は、ハザードランプ５１、クラクション５２、通信部５３を備える。ハザードランプ５１は、車両１０の前後に設けられたウィンカ（方向指示器）と兼用の表示器である。クラクション５２は、車両１０に設けられた警笛である。通信部５３は、インターネット等の通信回線を介してドライバ等の携帯情報端末（スマートフォン）と通信を行うことが可能な通信機器である。

詳しくは、車両制御装置４０は、温度センサ２３から取得された車室内温度ＹＭに基づいて、車室内に置き去られた幼児の危険度を３段階で判定し、判定した危険度に応じた３段階の警報レベルの警報命令を出力する。車両制御装置４０は、例えば幼児が最も安全なレベル１では、ハザードランプ５１の点滅及びクラクション５２の吹聴を比較的長い周期で行う。レベル１よりも危険度が高いレベル２では、ハザードランプ５１の点滅及びクラクション５２の吹聴を比較的短い周期で行う。そして、幼児が最も危険なレベル３では、ハザードランプ５１の点滅及びクラクション５２の吹聴に加え、通信部５３によりドライバの携帯情報端末に車室内への幼児の置き去りを報知する。

また、車両制御装置４０は、運転危険状態判定部８６によりドライバが運転危険状態であると判定された場合に、報知装置６０に報知命令を出力する報知処理を実施する。報知装置６０は、ディスプレイ６１、スピーカ６２を備える。ディスプレイ６１は、カーナビゲーション装置のディスプレイや、メータパネル内に設けられている車載ディスプレイである。スピーカ６２は、カーナビゲーション装置やオーディオ装置等と共用される車載スピーカである。車両制御装置４０は、運転危険状態判定部８６によりドライバが運転危険状態であると判定された場合に、ディスプレイ６１の表示及びスピーカ６２の音声により、ドライバが通常の運転状態となることを促す。なお、車両制御装置４０は、運転危険状態判定部８６によりドライバが運転危険状態であると判定された場合に、車両１０の挙動を制御して車両１０を減速又は停止させてもよい。

次に、車室内への幼児の置き去りの有無を判定する判定処理について、図８のフローチャートを参照して説明する。本判定処理は、車両制御装置４０により所定期間ごとに繰り返し実施される。

まず、ステップＳ１０において、車両１０が走行停止中であるか否かを判定する。ここで、走行停止中とは、走行状態認識装置３０から取得された車速ＶＭがゼロの状態である。

ステップＳ１０で否定判定すると、ステップＳ１２において、走行中画像取得部７１により走行中画像ＧＲを取得する。続くステップＳ１４において、ステップＳ１２で取得された走行中画像ＧＲに基づいて、ドライバの運転危険状態を判定する。ステップＳ１４の処理は、運転危険状態判定部８６により実施される。

ステップＳ１４で否定判定すると、判定処理を終了する。一方、ステップＳ１４で肯定判定すると、ステップＳ１６において、報知処理を実施し、判定処理を終了する。

一方、ステップＳ１０で肯定判定すると、ステップＳ２０において、車両１０が走行後であるか否かを判定する。走行後の判定は、既存の種々のセンサを用いて実施することができる。例えば水温センサ２４を用いて判定することができ、水温センサ２４から取得された冷却水温度に基づいて算出されたエンジン温度が所定温度よりも高い場合に、走行後と判定してもよい。

車両１０が走行後でなければ、つまり走行前であれば、ステップＳ２０で否定判定する。この場合、ステップＳ２２において、特定ドア１７が特定されているか否かを判定する。ステップＳ２２で否定判定すると、つまり、特定ドア１７が特定されていない場合には、ステップＳ２３において、停止中画像取得部７２により停止中画像ＧＳを取得する。続くステップＳ２４において、ステップＳ２３で取得された停止中画像ＧＳに基づいて、車室内におけるＣＲＳ１５の有無を判定する。ステップＳ２３の処理は、ＣＲＳ判定部８１により実施される。

ステップＳ２４で否定判定すると、判定処理を終了する。一方、ステップＳ２４で肯定判定すると、つまり車室内にＣＲＳ１５が有ると判定された場合に、ステップＳ２５において、車両ドア１６，１７のうち、ＣＲＳ１５が搭載された座席側の特定ドア１７を特定し、判定処理を終了する。

一方、ステップＳ２２で肯定判定すると、つまり、特定ドア１７が特定されている場合には、ステップＳ２６において、ドアセンサ２２を用いて特定ドア１７が開状態であるか否かを判定する。ステップＳ２６で否定判定すると、判定処理を終了する。一方、ステップＳ２６で肯定判定すると、ステップＳ２７において、停止中画像取得部７２により停止中画像ＧＳを取得し、判定処理を終了する。

一方、車両１０が走行後であれば、ステップＳ２０で肯定判定する。この場合、ステップＳ２８において、車両１０の走行停止後に車両ドア１６，１７の開動作が実施されたかを判定する。

車両１０の走行停止後にドアセンサ２２から取得された車両ドア１６，１７の開閉情報の履歴に、開状態を示す情報が含まれていなければ、ステップＳ２６で否定判定する。この場合、ドライバを含む全乗員が車室内に存在しており、車室内への幼児の置き去りが生じていないことから、判定処理を終了する。

一方、少なくとも１つの車両ドア１６，１７の開閉情報の履歴に、開状態を示す情報が含まれていれば、ステップＳ２６で肯定判定する。この場合、乗員が降車した可能性があり、車室内への幼児の置き去りが生じている可能性があることから、ステップＳ３０に進む。

ステップＳ３０では、ドアセンサ２２を用いて全ての車両ドア１６，１７が閉状態であるか否かを判定する。ステップＳ３０で否定判定すると、ステップＳ３２において、特定ドア１７が開状態であるか否かを判定する。ステップＳ３２で否定判定すると、判定処理を終了する。一方、ステップＳ３２で肯定判定すると、ステップＳ３４において、停止中画像取得部７２により停止中画像ＧＳを取得し、判定処理を終了する。なお、本実施形態において、ステップＳ２６，Ｓ３０，Ｓ３２の各処理が「開閉判定部」に相当する。

一方、ステップＳ３０で肯定判定すると、ステップＳ３６において、停止中画像取得部７２により停止中画像ＧＳを取得する。続くステップＳ４０において、ステップＳ３６で取得された停止中画像ＧＳに基づいて、車室内におけるＣＲＳ１５の有無を判定する。ステップＳ４０の処理は、ＣＲＳ判定部８１により実施される。なお、本実施形態において、ステップＳ１２，Ｓ２３，Ｓ２７，Ｓ３４，Ｓ３６の各処理が「画像取得部」に相当し、ステップＳ２４，Ｓ４０の処理が「シート判定部」に相当する。

ステップＳ４０で否定判定すると、判定処理を終了する。一方、ステップＳ４０で肯定判定すると、つまり車室内にＣＲＳ１５が有ると判定された場合に、ステップＳ４２において、ＣＲＳ１５への幼児の置き去りの有無を判定する。ステップＳ４２の処理は、第１幼児判定部８２により実施される。

具体的には、ステップＳ４２では、ＣＲＳ１５上に幼児が存在しているか否かを判定する。例えば、ステップＳ３６で取得された停止中画像ＧＳにおいてＣＲＳ１５が検出された領域を特定し、その領域の画像に拡大処理及び高鮮明化処理等の画像解析を実施することで幼児が存在しているか否かを判定する。

ステップＳ４２で肯定判定すると、ステップＳ４４において、置き去りカウンタＸＡを１インクリメントする。置き去りカウンタＸＡは、第１幼児判定部８２の誤判断による警報処理の実施を抑制する抑制手段である。

続くステップＳ４６において、置き去りカウンタＸＡが所定値Ｘｔｈ（図９（Ｄ）参照）よりも大きいか否かを判定する。所定値Ｘｔｈは、停止中画像ＧＳの解像度又は第１幼児判定部８２の画像処理能力に基づいて設定される基準値である。ステップＳ４６で否定判定すると、判定処理を終了する。一方、ステップＳ４６で肯定判定すると、ステップＳ５２に進む。

一方、ステップＳ４２で否定判定すると、ステップＳ４８において、幼児をＣＲＳ１５に乗降させる際の動作を検出する。ステップＳ４８では、ステップＳ３６で取得された停止中画像ＧＳではなく、特定ドア１７の開放期間ＨＰに取得された停止中画像ＧＳに基づいて、幼児をＣＲＳ１５に乗降させる際の動作を検出する。ステップＳ４８の処理は、乗降動作検出部８３により実施される。なお、本実施形態において、ステップＳ４８の処理が「動作検出部」に相当する。

具体的には、ステップＳ２３，Ｓ２７で取得された停止中画像ＧＳに基づいて、幼児をＣＲＳ１５に乗せる際の動作を検出する。ステップＳ２３，Ｓ２７で取得された停止中画像ＧＳのうち、特定ドア１７の開放直後に撮像された第１停止中画像ＧＳ１（図７（Ａ）参照）と、特定ドア１７の閉鎖直前に撮像された第２停止中画像ＧＳ２（図７（Ｂ）参照）とを選出する。そして、第１停止中画像ＧＳ１から第２停止中画像ＧＳ２へと続く動作として、幼児をＣＲＳ１５に乗せる際の動作を検出する。

また、ステップＳ３４で取得された停止中画像ＧＳに基づいて、幼児をＣＲＳ１５から降ろす際の動作を検出する。ステップＳ３４で取得された停止中画像ＧＳのうち、特定ドア１７の開放直後に撮像された第１停止中画像ＧＳ１（図７（Ｂ）参照）と、特定ドア１７の閉鎖直前に撮像された第２停止中画像ＧＳ２（図７（Ａ）参照）とを選出する。そして、第１停止中画像ＧＳ１から第２停止中画像ＧＳ２へと続く動作として、幼児をＣＲＳ１５から降ろす際の動作を検出する。

続くステップＳ５０において、ステップＳ４８の検出結果に基づいて、ＣＲＳ１５への幼児の置き去りの有無を判定する。ステップＳ５０の処理は、第２幼児判定部８４により実施される。

具体的には、ステップＳ５０では、ステップＳ４８で幼児をＣＲＳ１５に乗せる際の動作が検出され、かつＣＲＳ１５から降ろす際の動作が検出されない場合に、ＣＲＳ１５への幼児の置き去りが生じていると判定する。つまり、走行前にＣＲＳ１５に乗せられた幼児が、走行後にＣＲＳ１５から降ろされていない場合に、ＣＲＳ１５への幼児の置き去りが生じていると判定する。なお、本実施形態において、ステップＳ４２，Ｓ５０の各処理が「置き去り判定部」に相当する。

ステップＳ５０で否定判定すると、判定処理を終了する。一方、ステップＳ５０で肯定判定すると、ステップＳ５２に進む。

ステップＳ５２では、ステップＳ３６で取得された停止中画像ＧＳに基づいて、車室内に大人が存在しているか否かを判定する。ステップＳ５２の処理は、大人判定部８５により実施される。なお、本実施形態において、ステップＳ５２の処理が「大人判定部」に相当する。

ステップＳ５２で否定判定すると、ステップＳ５４において、温度センサ２３を用いて車室内温度ＹＭを取得する。続くステップＳ５６において、ステップＳ５４で取得された車室内温度ＹＭに基づいて、警報レベルを設定する。具体的には、車室内温度ＹＭが高いほど危険度が高くなるように警報レベルを設定する。なお、本実施形態において、ステップＳ５４の処理が「温度取得部」に相当する。

続くステップＳ５８において、ステップＳ５６で設定された警報レベルの警報命令を出力して警報処理を実施し、判定処理を終了する。なお、本実施形態において、ステップＳ５８の処理が「警報制御部」に相当する。

一方、ステップＳ５２で肯定判定すると、判定処理を終了する。つまり、車室内に大人が存在していると判定された場合には、ステップＳ４２，５０において幼児の置き去りが生じたと判定された場合であっても、警報処理を実施することなく判定処理を終了する。

図９は、車室内への幼児の置き去りが生じた場合における判定処理を具体的に示すタイムチャートである。図９において、（Ａ）は、車両走行中と走行停止中との切り替えの推移を示し、（Ｂ）は、特定ドア１７のうち、近側ドア１７Ａの開閉状態の推移を示し、（Ｃ）は、車室内への幼児の置き去りの有無の推移を示す。

また、図９において、（Ｄ）は、置き去りカウンタＸＡの推移を示し、（Ｅ）は、警報処理の実施状態の推移を示し、（Ｆ）は、停止中画像ＧＳの取得状態の推移を示し、（Ｇ）は、走行中画像ＧＲの取得状態の推移を示す。

なお、図９の（Ｄ）～（Ｆ）では、ステップＳ４２の処理において幼児の置き去りが生じたと判定された場合の各値の推移が実線で示されており、ステップＳ５０の処理において幼児の置き去りが生じたと判定された場合の各値の推移が破線で示されている。

タイミングｔ１１では、走行停止中において、ドライバにより車両ドア１６，１７の施錠が解除され、特定ドア１７及び近側ドア１７Ａが特定される。そして、近側ドア１７Ａが閉状態から開状態へと変わる。これにより、走行前における停止中画像ＧＳの取得が開始される。そして、タイミングｔ１２に近側ドア１７Ａが開状態から閉状態へと変わると、走行前における停止中画像ＧＳの取得を終了する。本実施形態では、タイミングｔ１１からタイミングｔ１２までの開放期間ＨＰにおいて、大人により幼児がＣＲＳ１５に乗せられる。そのため、走行前における停止中画像ＧＳに基づいて、幼児をＣＲＳ１５に乗せる際の動作が検出される。

その後、タイミングｔ１３に車両１０が走行を開始し、車速ＶＭがゼロよりも大きくなると、車両走行中と判定される。これにより、走行中画像ＧＲの取得が開始され、ドライバの運転危険状態が判定される。そして、タイミングｔ１４に車速ＶＭがゼロとなると、走行停止中と判定され、走行中画像ＧＲの取得を終了する。

そして、タイミングｔ１５に近側ドア１７Ａが閉状態から開状態へと変わると、走行後における停止中画像ＧＳの取得が開始される。走行後では、タイミングｔ１６に近側ドア１７Ａが開状態から閉状態へと変わっても、停止中画像ＧＳの取得が継続される。本実施形態では、タイミングｔ１５からタイミングｔ１６までの開放期間ＨＰにおいて、大人により幼児がＣＲＳ１５から降ろされない。そのため、幼児をＣＲＳ１５から降ろす際の動作が検出されず、車室内への幼児の置き去りが生じる。

具体的には、タイミングｔ１６に近側ドア１７Ａが閉状態となり、車両１０の全ての車両ドア１６，１７が閉状態となると、車室内への幼児の置き去りが生じたと判定される。図９の（Ｄ），（Ｅ）に実線で示すように、タイミングｔ１６以降に取得された停止中画像ＧＳに幼児が写っている場合には、置き去りカウンタＸＡのインクリメントが開始される。この場合、タイミングｔ１７に置き去りカウンタＸＡが所定値Ｘｔｈよりも大きくなると、警報処理が実施される。

一方、タイミングｔ１６以降に取得された停止中画像ＧＳに幼児が写っていない場合には、幼児をＣＲＳ１５に乗せる際の動作が検出されており、かつ幼児をＣＲＳ１５から降ろす際の動作が検出されていないことが判定される。この場合、タイミングｔ１７よりも早いタイミングｔ１６に警報処理が実施される。

以上詳述した本実施形態によれば、以下の効果が得られるようになる。

・本実施形態では、車両１０の走行停止中において撮像装置２１を用いて車室内の画像である停止中画像ＧＳを取得し、この停止中画像ＧＳに基づいて車室内への幼児の置き去りの有無を判定する。幼児の置き去りの有無を判定する際に停止中画像ＧＳを用いることで、例えば画像抽出処理や顔認識処理を用いて停止中画像ＧＳに写っている幼児を判定でき、幼児の存在を確認した上で、車室内への幼児の置き去りが生じたことを判定できる。

・車室内にＣＲＳ１５が搭載されている場合、車室内の幼児はこのＣＲＳ１５に着座させられていると考えられる。そして、停止中画像ＧＳにＣＲＳ１５が写っているか否かの判定は、停止中画像ＧＳに幼児が写っているか否かの判定に比べて容易であると考えられる。

そのため、本実施形態では、幼児の置き去りの有無を判定する際に、先にＣＲＳ１５の有無を判定し、その後でこのＣＲＳ１５における幼児の有無を判定するため、ＣＲＳ１５への幼児の置き去りの有無を適正に判定できる。例えば、ＣＲＳ１５が有ると判定された場合には、停止中画像ＧＳにおけるＣＲＳ１５近傍の領域に限って画像処理を実施し、幼児が写っているか否かを判定すればよい。

・例えばＣＲＳ１５が後ろ向きに搭載されることがある。また、ＣＲＳ１５にフードが取り付けられていることがある。これらの場合、ＣＲＳ１５に幼児が着座する着座部分は撮像装置２１の死角となるため、ＣＲＳ１５に着座した幼児を撮像することが困難となると考えられる。

本実施形態では、幼児の置き去りの有無を判定する際に、停止中画像ＧＳに基づいて幼児をＣＲＳ１５に乗降させる際の動作を検出する。そのため、ＣＲＳ１５に着座した幼児を撮像することが困難な場合でも、ＣＲＳ１５に乗せる動作が検出され、その後にＣＲＳ１５から降ろす動作が検出されない場合には、ＣＲＳ１５への幼児の置き去りが生じたと判定できる。

・例えば大人により幼児をＣＲＳ１５に乗降させる場合、車両ドア１６，１７のうち、ＣＲＳ１５が搭載された側の特定ドア１７を開放し、この特定ドア１７を介して幼児を乗降させる。そのため、特定ドア１７の開放期間ＨＰに取得された停止中画像ＧＳを用いることで、幼児をＣＲＳ１５に乗降させる動作を検出できる。

具体的には、特定ドア１７のうち、ＣＲＳ１５が搭載された座席側の近側ドア１７Ａを介して幼児を乗降させることが想定される。そのため、近側ドア１７Ａの開放期間ＨＰに取得された停止中画像ＧＳを用いることで、幼児をＣＲＳ１５に乗降させる動作を適正に検出できる。

・具体的には、近側ドア１７Ａの開放期間ＨＰに取得された停止中画像ＧＳのうち、近側ドア１７Ａの開放直後に撮像された第１停止中画像ＧＳ１と、近側ドア１７Ａの閉鎖直前に撮像された第２停止中画像ＧＳ２とを選出する。そして、第１停止中画像ＧＳ１と第２停止中画像ＧＳ２とに基づいて、幼児をＣＲＳ１５に乗降させる動作を検出する。第１停止中画像ＧＳ１と第２停止中画像ＧＳ２とを用いることで、その間の動作を検出できるため、幼児をＣＲＳ１５に乗せる際の動作と、幼児をＣＲＳ１５から降ろす際の動作とを、それぞれ検出することができる。

・本実施形態では、停止中画像ＧＳに基づいて幼児の置き去りの有無を判定する方法として、
（１）停止中画像ＧＳに幼児が写っているか否かを判定する方法（以下、第１方法）、
（２）停止中画像ＧＳから幼児を乗降させる際の動作を検出する方法（以下、第２方法）、
を併用している。本実施形態では、第１方法を用いることで、実際に幼児の置き去りが生じた後に撮像された複数の停止中画像ＧＳを用いて判定でき、精度良く幼児の置き去りの有無を判定できる。また、第２方法を用いることで、実際に幼児の置き去りが生じる前に撮像された停止中画像ＧＳを用いて判定でき、早期に幼児の置き去りの有無を判定できる。

・本実施形態では、同一の撮像装置２１を用いて、車室内への幼児の置き去りを判定するための停止中画像ＧＳと、ドライバの運転危険状態を判定するための走行中画像ＧＲとが取得される。そのため、各画像ＧＳ，ＧＲを取得するための撮像装置２１を別々に設ける必要がなく、車両制御装置４０はこれら別々の撮像装置２１を制御する必要がないため、車両制御装置４０の構成を簡略化できる。

・本実施形態では、危険回避処理としての警報処理を実施するが、車室内に大人が存在していると判定される場合には、警報処理を行わないようにする。車室内に大人が存在している場合、この大人により幼児の危険回避が実施されることから、不要な警報処理を抑制できる。

・本実施形態では、車室内温度ＹＭに基づいて警報処理における警報レベルが複数段階で設定可能である。そのため、例えば車室内温度ＹＭが高い場合には、警報レベルを高く設定することで、車室内に置き忘れられた幼児の危険回避を確実に実施させることができる。

（第２実施形態）
以下、第２実施形態について、第１実施形態との相違点を中心に図１０，図１１を参照しつつ説明する。本実施形態では、撮像装置２１として、第１撮像装置２１Ａと第２撮像装置２１Ｂとが設けられている点で、第１実施形態と異なる。

図１０，図１１に示すように、第１撮像装置２１Ａは、インストルメントパネル１２内に設けられたフロントカメラであり、運転席１３及び助手席１８に向けて搭載されている。そのため、第１撮像装置２１Ａの第１撮像範囲ＦＤ１には、運転席１３及び助手席１８が含まれる。一方、運転席１３及び助手席１８が障害となるため、第１撮像装置２１Ａの第１撮像範囲ＦＤ１には、後部座席１４やリアドア１７が含まれない。そのため、第１撮像装置２１Ａを用いて、後部座席１４に後ろ向きに搭載されたＣＲＳ１５に着座した幼児を撮影することができない。また、近側ドア１７Ａを介して、幼児をＣＲＳ１５に乗降させる動作を撮影することができない。

特に、運転席１３及び助手席１８の後ろ、例えば後部座席１４のフットスペースには比較的広い死角ＦＡが生じる。そのため、自ら車両１０に乗り込むことができる幼児が、車両１０からの降車時に、一度降車した後に自ら車両１０に乗り込み、この死角ＦＡに入り込んだ場合、第１撮像装置２１Ａを用いてこの幼児を撮影することができない。

本実施形態では、車両１０に第１撮像装置２１Ａとともに第２撮像装置２１Ｂが設けられている。第２撮像装置２１Ｂは、車両１０において運転席１３よりも後方に、後部座席１４に向けて搭載されている。具体的には、第２撮像装置２１Ｂは、後部座席１４の天井部分に設けられたリアカメラであり、後部座席１４を撮像する。第２撮像装置２１Ｂの第２撮像範囲ＦＤ２には、後部座席１４やリアドア１７が含まれる。そのため、第２撮像装置２１Ｂを用いて、後部座席１４に後ろ向きに搭載されたＣＲＳ１５に着座した幼児を撮影することができる。また、近側ドア１７Ａを介して、幼児をＣＲＳ１５に乗降させる動作を撮影することができる。

また、第２撮像装置２１Ｂの第２撮像範囲ＦＤ２には、第１撮像装置２１Ａの死角ＦＡが含まれる。そのため、第２撮像範囲ＦＤ２を用いることで、この死角ＦＡにおける幼児の置き去りの有無を判定できる。

なお、第２撮像装置２１Ｂの第２撮像範囲ＦＤ２には、運転席１３及び助手席１８が含まれない、そのため、第２撮像装置２１Ｂを用いて、助手席１８に搭載されたＣＲＳ１５に着座した幼児を撮影することができない。本実施形態では、停止中画像取得部７２は、車両１０の走行停止中において、第１撮像装置２１Ａ及び第２撮像装置２１Ｂから停止中画像ＧＳを取得する。第１撮像装置２１Ａと第２撮像装置２１Ｂとを併用することで、車室内における撮像装置２１Ａ，２１Ｂの死角を減らすことが可能となる。

以上詳述した本実施形態によれば、以下の効果が得られるようになる。

・撮像装置２１がフロントカメラのみである場合、運転席１３や助手席１８により死角が生じる。特に後部座席１４のフットスペースには比較的広い死角ＦＡが生じ、この死角ＦＡに幼児が入り込んだ場合、この死角ＦＡにおける幼児の置き去りの有無を判定できない。

本実施形態では、フロントカメラである第１撮像装置２１Ａとともにリアカメラである第２撮像装置２１Ｂが設けられており、この第２撮像装置２１Ｂが後部座席１４の天井部分に搭載されている。そのため、第２撮像装置２１Ｂを用いて、後部座席１４のフットスペースを撮像することができる。つまり、第１撮像装置２１Ａと第２撮像装置２１Ｂとを協働して用いることで、撮像装置２１Ａ，２１Ｂの死角を減らすことができ、幼児の置き去りを適正に判定できる。

（その他の実施形態）
本発明は上記実施形態の記載内容に限定されず、次のように実施されてもよい。

・車両１０が走行停止中であるか否かを、車速ＶＭに代えて、車両１０の起動スイッチであるＩＧスイッチのオンオフ状態で判定してもよい。

・撮像装置２１として、３つ以上の撮像装置が設けられていてもよい。

・１回の判定処理で撮影される停止中画像ＧＳは、１つでもよければ複数であってもよい。１つとすることで、１回の判定処理に必要な期間を短縮でき、早期に幼児の置き去りの有無を判定できる。また、複数とすることで、複数の停止中画像ＧＳを用いて精度よく幼児の置き去りの有無を判定できる。

・撮像装置２１は車載のものに限られない。例えば携帯情報端末を撮像装置２１として用いてもよい。車両制御装置４０は、例えば無線通信により携帯情報端末から画像を取得する。

・幼児をＣＲＳ１５に乗降させる動作を検出するために、特定ドア１７の開放期間ＨＰに取得された停止中画像ＧＳから選出される停止中画像ＧＳは、第１停止中画像ＧＳ１と第２停止中画像ＧＳ２とに限られない。例えば、大人がＣＲＳ１５に最も近づいた際に撮像された停止中画像ＧＳを第３停止中画像ＧＳ３として選出してもよい。

・車室内に大人が存在しているか否かを判定し、大人が存在している場合には、さらにその大人が居眠りしているか否かを判定してもよい。そして、居眠りしている場合には、警報処理を実施してもよい。なお、大人の居眠り判定には、ドライバの運転危険状態の判定と同様に判定することができる。

・警報レベルを設定する設定パラメータは、車室内温度ＹＭに限られない。例えば、車両１０のエアコン装置が稼働しているか否かにより警報レベルを設定するために、ＩＧスイッチのオンオフ状態をパラメータとしてもよい。この他に、車両ドア１６，１７の施錠状態、車両ドア１６，１７に設けられた窓の開閉状態、車室内温度ＹＭと外気温との温度差を設定パラメータとしてもよい。

・上記実施形態において、幼児をＣＲＳ１５に乗降させる特定ドア１７として、近側ドア１７Ａに代えて、ＣＲＳ１５が搭載された座席と異なる側の遠側ドアを想定してもよい。また、近側ドア１７Ａと遠側ドアとの両方を想定してもよい。

・上記実施形態において、ステップＳ４０で否定判定した場合でも、幼児の置き去りの有無を判定してもよい。この場合、ＣＲＳ１５が検出されていないため、ステップＳ３６で取得された停止中画像ＧＳの全領域に画像解析を実施する。つまり、ステップＳ４０の判定結果に基づいて、ステップＳ３６で取得された停止中画像ＧＳに画像解析を実施する領域を切り替えてもよい。

・上記実施形態において、車両走行中に、幼児をＣＲＳ１５に乗せる際の動作を検出してもよい。

・上記第２実施形態において、車両走行中において第２撮像装置２１Ｂにより走行中画像ＧＲを撮像し、この走行中画像ＧＲに基づいて、後部座席１４におけるシートベルトの装着状態を判定してもよい。また、車両１０の走行後において、第２撮像装置２１Ｂにより撮影された走行中画像ＧＲを用いて、乗員の降車支援を実施してもよい。

１０…車両、２１…撮像装置、４０…車両制御装置、ＧＳ…停止中画像。

Claims (5)

1. 車室内への幼児の置き去りを監視し、その監視結果に基づいて、前記幼児への危険回避処理を実施する車両制御装置（４０）であって、
   車両（１０）の走行停止中において、撮像装置（２１）により撮像された前記車室内の画像である停止中画像（ＧＳ）を取得する画像取得部と、
   前記停止中画像に基づいて、前記車室内におけるチャイルドシート（１５）の有無を判定するシート判定部と、
   前記シート判定部により前記車室内に前記チャイルドシートが有ると判定された場合に、前記停止中画像に基づいて、前記幼児を前記チャイルドシートに乗降させる際の動作を検出する動作検出部と、
   前記動作検出部により前記幼児を前記チャイルドシートに乗せる動作が検出され、かつその後に前記チャイルドシートから降ろす動作が検出されない場合に、前記チャイルドシートへの前記幼児の置き去りが生じたと判定する置き去り判定部と、
   前記車両のフロントドア（１６）及びリアドア（１７）の開閉状態を判定する開閉判定部と、を備え、
   前記動作検出部は、前記開閉状態に基づいて前記フロントドア及び前記リアドアのうち、前記チャイルドシートが搭載された側の特定ドア（１７）が開放されていることを検出し、その開放期間（ＨＰ）に前記画像取得部により取得された前記停止中画像により、前記幼児を前記チャイルドシートに乗降させる際の動作を検出する車両制御装置。
2. 前記停止中画像には、前記特定ドアの開放直後に撮像された第１停止中画像（ＧＳ１）と、前記特定ドアの閉鎖直前に撮像された第２停止中画像（ＧＳ２）とが含まれ、
   前記動作検出部は、前記第１停止中画像と前記第２停止中画像とに基づいて、前記幼児を前記チャイルドシートに乗降させる際の動作を検出する請求項１に記載の車両制御装置。
3. 前記撮像装置は、ドライバの運転状態を撮像するフロントカメラ（２１Ａ）と、前記車両において運転席よりも後方に搭載され、後部座席（１４）を撮像するリアカメラ（２１Ｂ）とを含み、
   前記画像取得部は、前記停止中画像として、前記フロントカメラ及び前記リアカメラの撮像画像を取得する請求項１又は２に記載の車両制御装置。
4. 前記置き去り判定部により前記幼児の置き去りが生じたと判定された場合に、前記危険回避処理としての警報を実施する警報制御部と、
   前記停止中画像に基づいて、前記車室内に大人が存在しているか否かを判定する大人判定部と、を備え、
   前記警報制御部は、前記大人判定部により前記大人が存在していると判定された場合には、前記置き去り判定部により前記幼児の置き去りが生じたと判定された場合であっても、警報を行わない請求項１から３までのいずれか一項に記載の車両制御装置。
5. 車室内温度（ＹＭ）を取得する温度取得部を備え、
   前記警報制御部は、複数段階の警報レベルで警報を実施することが可能であり、前記温度取得部により取得された前記車室内温度に基づいて、前記警報レベルを設定する請求項４に記載の車両制御装置。

Images