JP7478592B2 - 車両制御システム、及び車両制御方法 - Google Patents

車両制御システム、及び車両制御方法 Download PDF

Info

Publication number
JP7478592B2
JP7478592B2 JP2020092577A JP2020092577A JP7478592B2 JP 7478592 B2 JP7478592 B2 JP 7478592B2 JP 2020092577 A JP2020092577 A JP 2020092577A JP 2020092577 A JP2020092577 A JP 2020092577A JP 7478592 B2 JP7478592 B2 JP 7478592B2
Authority
JP
Japan
Prior art keywords
vehicle
user
door
alarm
situation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020092577A
Other languages
English (en)
Other versions
JP2021189620A (ja
Inventor
光祥 中村
健也 櫻井
敬 深堀
弘幸 羽澤
裕志 槌谷
陽子 石原
信介 神▲高▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2020092577A priority Critical patent/JP7478592B2/ja
Priority to CN202110564831.1A priority patent/CN113734045A/zh
Priority to US17/329,509 priority patent/US11364868B2/en
Publication of JP2021189620A publication Critical patent/JP2021189620A/ja
Application granted granted Critical
Publication of JP7478592B2 publication Critical patent/JP7478592B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01542—Passenger detection systems detecting passenger motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Lock And Its Accessories (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)

Description

本発明は、車両制御システム、及び車両制御方法に関する。
車内カメラや赤外線センサにより車両内に子供が放置されていることを検出すると、車両のスピーカ、車両のスピーカ、ヘッドランプ、及びテールランプのいずれかを用いて車外の乗員に報知する通知装置が知られている（例えば、特許文献１参照）。また、車内の乗員がドアを開けようとしている挙動が検出された場合に、後方車両や二輪車等の接近を通知する車載警報装置が知られている（例えば、特許文献２参照）。
特開２００６－１５９９３９号公報 特開２０１５ー２０９１５４号公報
ところで、車両に子供が乗車する場合、子供が放置される事態に対応するだけでなく、降車時に子供が開いているドアから飛び出す等の様々な事態に対応することが望まれる。
しかし、特許文献１及び２のいずれも上記のような様々な事態に対応することはできない。例えば、特許文献１記載の技術は、放置された子供が飛び出すおそれのある事態に対応して警報処理を変更することはできない。また、特許文献２記載の技術は車内ユーザに一律的に他の車両の接近を通知するものであり、乗員の状況によっては接近の通知が不要であるにも関わらず、警報を行うおそれがある。
本発明はかかる背景に鑑みてなされたものであり、車両に子供等が乗車する場合により適切な警報を可能にすることを目的とする。
上記目的を達成するための第１態様として、報知機能を有する車両の作動を制御する車両制御システムであって、前記車両の周囲の状況を認識する車両周囲状況認識部と、前記車両内の状況を認識する車両内状況認識部と、前記車両が有するドアの開閉状態を検出するドア開閉検出部と、前記車両周囲状況認識部によって前記車両に乗車していた第１ユーザが前記車両から離れる状況が認識され、かつ、前記車両内状況認識部によって前記車両内に第２ユーザが存在する状況と認識される所定状況の場合に、前記ドア開閉検出部の検出結果に応じて、前記報知機能を利用して車内又は車外の少なくともいずれかへの警報処理を行う警報制御部と、を備え、前記車両内状況認識部は、前記車両に乗車している前記第２ユーザの降車意思を、前記車両内に設けられたカメラの撮影画像から、前記第２ユーザが、前記車両が有する複数のドアのうち、開いているドアに視線が向けられていることが認識され、且つ前記第２ユーザが当該視線を向けているドアに向かう行動が認識されたときに、認識する降車意思認識部を有し、前記警報制御部は、前記所定状況の場合に、前記ドア開閉検出部によって前記ドアが開いていることが検出され、前記降車意思認識部によって前記第２ユーザの前記開いたドアからの降車意思が認識されるときは、前記第２ユーザに向けて、前記第２ユーザが前記開いたドアから飛び出さないように行う警報を含む第１警報処理を行う、車両制御システムが挙げられる。
上記車両制御システムにおいて、前記車両内状況認識部は、前記ドアの施錠／開錠を検出する施錠状態検出部を有し、前記警報制御部は、前記所定状況の場合に、前記ドア開閉検出部によって前記ドアが閉閉じていることが検出され、前記施錠状態検出部によって前記ドアが施錠状態と検出されるときは、前記第１ユーザに向けて前記第２ユーザを前記車両の外に移動させる旨を報知する警報を含む第２警報処理を行うようにしてもよい。
上記車両制御システムにおいて、前記警報制御部は、前記所定状況の場合に、前記ドア開閉検出部によって前記ドアが閉じていることが検出され、前記施錠状態検出部によって前記ドアが施錠状態から開錠状態へ変化したことが検出されるときは、前記第２ユーザに向けて第２ユーザの降車に関する情報を提供する警報を含む第３警報処理を行うようにしてもよい。
上記車両制御システムにおいて、前記第３警報処理は、前記第２ユーザに対し、少なくとも前記車両周囲状況認識部の認識結果に基づいて設定した降車位置を案内する処理を含むようにしてもよい。
上記車両制御システムにおいて、前記ドアに関わる作動部品を制御するドア制御部を備え、前記所定状況の場合に、前記車両周囲状況認識部によって警報対象物の接近が検出されるとき、前記警報制御部は、前記接近に対応して、前記第２ユーザが開いたドアから飛び出す事態を阻止する警報を行う第４警報処理を行うと共に、前記ドア制御部によって前記ドアを閉じている状態、又は施錠状態の少なくともいずれかに制御するようにしてもよい。
上記車両制御システムにおいて、前記第２ユーザの携帯端末と通信可能な通信部を備え、前記第２警報処理又は前記第３警報処理は、前記通信部により前記第２ユーザの携帯端末に警報情報を送信する処理を含むようにしてもよい。
上記目的を達成するための第２態様として、報知機能を有する車両の作動を制御するために、コンピュータにより実行される車両制御方法であって、車両周囲状況認識部により、前記車両の周囲の状況を認識する車両周囲状況認識ステップと、車両内状況認識部により、前記車両内の状況を認識する車両内状況認識ステップと、ドア開閉検出部により、前記車両が有するドアの開閉状態を検出するドア開閉検出ステップと、車両周囲状況認識ステップによって前記車両に乗車していた第１ユーザが前記車両から離れる状況が認識され、かつ、前記車両内状況認識ステップによって前記車両内に第２ユーザが存在する状況と認識される所定状況の場合に、前記ドア開閉検出ステップの検出結果に応じて、前記報知機能を利用して車内又は車外の少なくともいずれかへの警報処理を行う警報制御ステップと、を備え、前記車両周囲状況認識ステップでは、前記車両に乗車している前記第２ユーザの降車意思を、前記車両内に設けられたカメラの撮影画像から、前記第２ユーザが、前記車両が有する複数のドアのうち、開いているドアに視線が向けられていることが認識され、且つ前記第２ユーザが当該視線を向けているドアに向かう行動が認識されたときに、認識する降車意思認識ステップを行い、前記警報制御ステップでは、前記所定状況の場合に、前記ドア開閉検出ステップの検出結果により前記ドアが開いていることが検出され、前記降車意思認識ステップの検出結果により前記第２ユーザの前記開いたドアからの降車意思が認識されるときは、前記第２ユーザに向けて、前記第２ユーザが前記開いたドアから飛び出さないように行う警報を含む第１警報処理を行う、車両制御方法が挙げられる。
本発明によれば、車両に子供等が乗車する場合により適切な警報が可能になる。
図１は、車両制御システムが搭載された車両の構成図である。 図２は、車両制御装置の構成図である。 図３は、ユーザ情報の一例を示す図である。 図４は、第１警報制御を示すフローチャートである。 図５は、第１警報制御の説明に供する図である。 図６は、第１警報制御の説明に供する図である。 図７は、第１警報制御の説明に供する図である。 図８は、第１警報制御の説明に供する図である。 図９は、第２警報制御を示すフローチャートである。 図１０は、第２警報制御の説明に供する図である。
以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明の実施形態に係る車両制御システムが搭載された車両の構成を示す図である。この車両制御システム１００は、車両１に設けられた車両制御装置１０と、車両１に設けられ、車両制御装置２０と電気的に接続された後述するセンサ類や制御対象部品等で構成されている。
［１．車両の構成］
図１を参照して、本実施形態の車両制御装置１０が搭載された車両１の構成について説明する。図１に示すように、車両１は、乗車定員６名の乗用車であり、運転席７ａ、助手席７ｂ、２列目右席７ｃ、２列目左席７ｄ、３列目右席７ｅ、及び３列目左席７ｆを備えている。各席７ａ～７ｆには、図示しないシートベルトの装着の有無を検知するシートベルトスイッチ７４ａ～７４ｆが設けられている。
車両１は、右パワーヒンジドア２、左パワーヒンジドア３、右パワースライドドア４、左パワースライドドア５、及びパワーテールゲート６を備えている。右パワーヒンジドア２、左パワーヒンジドア３、右パワースライドドア４、左パワースライドドア５、及びパワーテールゲート６は、本発明のドアに相当する。右パワーヒンジドア２のドアノブには、ドアタッチセンサ１０１が設けられており、車両１の携帯鍵２００を所持したユーザＵ１は、ドアタッチセンサ１０１に触れることによって、車両１のドア２～５を解錠することができる。
図１には、車両１の助手席７ｂにユーザＵ２が乗車し、３列目左席７ｆにユーザＵ３が乗車した場合を例示している。例えば、ユーザＵ３は子供であり、ユーザＵ１、Ｕ２はユーザＵ３の親である。
右パワーヒンジドア２は、電動アクチュエータ（図示しない）により右パワーヒンジドア２を開閉駆動する右ＰＨＤ（Power Hing Door）駆動部４１を備え、左パワーヒンジドア３は、電動アクチュエータにより左パワーヒンジドア３を開閉駆動する左ＰＨＤ駆動部５１を備えている。右パワースライドドア４は、電動アクチュエータにより右パワースライドドア４を開閉駆動する右ＰＳＤ（Power Slide Door）駆動部４２を備え、左パワースライドドア５は、電動アクチュエータにより左パワースライドドア５を開閉駆動する左ＰＳＤ駆動部５２を備えている。パワーテールゲート６は、電動アクチュエータによりパワーテールゲート６を開閉駆動するＰＴＧ（Power Tail Gate）駆動部６１を備えている。
車両１の前部には車両１の前方を撮影するフロントカメラ３０が設けられ、車両１の後部には車両１の後方を撮影するリアカメラ６０が設けられている。車両１の右側部には車両１の右側方を撮影する右サイドカメラ４０が設けられ、車両１の左側部には車両１の左側方を撮影する左サイドカメラ５０が設けられている。これらカメラ３０～６０によって車両１の周囲の人物の画像を取得可能である。なお、車両１のユーザは、車両１を利用する者を広く含み、例えば、車両１の所有者に限定されず、所有者の家族及び知り合い等を含む。以下の説明において、車両１のユーザが車内か車外かに応じて区別して表記する必要がある場合、車内のユーザを「車内ユーザ」と表記し、車外のユーザを「車外ユーザ」と適宜に表記する。
車室のダッシュボードには、運転席７ａ及び助手席７ｂに着座する車内ユーザを撮影可能な前席カメラ７０、表示器３１、及びスピーカ３２が設けられている。車室の天井には、２列目右席７ｃ、２列目左席７ｄ、３列目右席７ｅ、及び３列目左席７に着座する車内ユーザを撮影可能な後席カメラ７１が設けられている。なお、車両１には、ダッシュボード以外の位置にもスピーカ３２が設けられ、これらスピーカ３２により各席７ａ～７ｆに着座する全ての車内ユーザに向けて音声を出力可能である。
各ドア２～５にはドアの開閉を検知するドアスイッチ７５ａ～７５ｄが設けられている。パワーテールゲート６にはパワーテールゲート６の開閉を検知するドアスイッチ７５ｅが設けられている。さらに、運転席７ａの付近には、バッテリ１５０のオン及びオフを指示するための電源スイッチ７２と、シフトレバー７３のシフト位置を検知するシフトスイッチ７３ａが備えられている。バッテリ１５０がオンであるときは、バッテリ１５０から車両駆動系等に電力が供給され、バッテリ１５０がオフであるときには、バッテリ１５０から車両駆動系等への電力供給が遮断される。
さらに、車両１は、各ドア２～５及びパワーテールゲート６を施錠するドアロック機構１００ａ～１００ｅと、車両１の走行速度を検出する速度センサ１１０と、携帯鍵２００及びユーザＵ１の携帯端末２１０等と通信可能な通信ユニット１２０と、車外に光を出力可能なライトユニット１２１と、車外に音を出力可能な放音ユニット１２２と、ナビゲーション装置１３０とを備えている。ナビゲーション装置１３０は、図示しないＧＰＳ（Global Positioning System）センサと地図データを有し、ＧＰＳセンサにより検出される車両１の位置と地図データとに基づいて目的地までのルート案内等を実行する。
通信ユニット１２０は、車両制御装置１０の制御の下、携帯端末２１０を含む通信機能を備えた任意の装置に電子メール等を送信する通信部として機能する。ライトユニット１２１は、ヘッドライト、ポジションランプ及びウインカーランプ等を含み、走行時に使用される他、車両制御装置１０によって点灯駆動されることによって車両１の周囲に自車の位置や存在等を報知可能である。ライトユニット１２１は、乗員の乗降時に車外（例えばサイドミラー下方）を照明する演出用ライトを有してもよい。放音ユニット１２２は、スピーカ３２、及びクラクションを含み、車両制御装置１０の制御の下、スピーカ３２から人工音声等の各種の音声を出力させたり、クラクションを作動させたりすることによって、車内及び車外へ音声を報知可能である。なお、放音ユニット１２２は、公知の音声出力デバイスを広く適用可能であり、例えば、対話型音声システムを有してもよい。
これら通信ユニット１２０、ライトユニット１２１及び放音ユニット１２２を利用することによって、車内及び車外に情報の報知が可能になる。つまり、通信ユニット１２０、ライトユニット１２１及び放音ユニット１２２は、車内及び車外への報知機能を実現する報知ユニットとしても機能する。本実施形態は、この報知ユニットを利用して各種の警告を行う。なお、報知ユニットを含む図１及び図２に示す電装品は、車両１に予め設置された車両電装品である。但し、車両電装品に限定されず、いわゆる後付けされた電装品を含んでもよい。
［２．車両制御装置の構成］
図２を参照して、車両制御装置１０の構成について説明する。車両制御装置１０は、図示しないＣＰＵ（Central Processing Unit、本発明のコンピュータに相当する）、メモリ８０、図示しないインターフェース回路等により構成されて、車両１の作動を制御するＥＣＵ（Electronic Control Unit）である。
車両制御装置１０には、フロントカメラ３０、右サイドカメラ４０、左サイドカメラ５０、リアカメラ６０に撮影された車両１の周囲の画像が入力される。また、車両制御装置１０には、前席カメラ７０、及び後席カメラ７１により撮影された車室内の画像が入力される。
さらに、車両制御装置１０には、電源スイッチ７２、シフトスイッチ７３ａ、シートベルトスイッチ７４ａ～７４ｆ、及びドアスイッチ７５ａ～７５ｅの検出信号、ドアロック機構１００ａ～１００ｅに備えられたドアロックセンサ（図示しない）による各ドア２～５及びパワーテールゲート６のロック検出信号が入力される。
また、車両制御装置１０には、ドアタッチセンサ１０１によるタッチ検出信号、速度センサ１１０の速度検出信号、ナビゲーション装置１３０により検出される車両１の現在位置の情報が入力される。
車両制御装置１０から出力される制御信号により、右ＰＨＤ駆動部４１、右ＰＳＤ駆動部４２、左ＰＨＤ駆動部５１、左ＰＳＤ駆動部５２、ＰＴＧ駆動部６１、ドアロック機構１００ａ～１００ｅ、及びバッテリ１５０の作動が制御される。また、車両制御装置１０から出力される制御信号により、表示器３１の画面表示、及びスピーカ３２から出力される音（音声ガイダンス、チャイム音、警報等）が制御される。車両制御装置１０は、通信ユニット１２０を介して、ユーザＵ１が所持している携帯鍵２００、及び携帯端末２１０との間で通信を行う。
ＣＰＵは、メモリ８０に保存された車両制御装置１０の制御プログラム８１を読み込んで実行することにより、鍵認証部１１、車両内状況認識部１２、車両周囲状況認識部１３、ドア開閉検出部１４、ドア制御部１５、及び警報制御部１６として機能する。制御プログラム８１は、本発明の車両制御用プログラムを含んでいる。メモリ８０は、携帯鍵２００の認証に使用する認証用ＩＤコード８２、ユーザ情報８３、及び警報処理に使用する警報情報８４等を記憶している。
認証用ＩＤコード８２は、この車両１に紐付けされた携帯鍵２００を特定するコードである。ユーザ情報８３は、この車両１を頻繁に利用するユーザ（ユーザＵ１の情報に限定されず、例えば、ユーザＵ１と同居する家族を含む）の情報を含んでいる。ユーザは一人でもよい。このユーザ情報８３は、車内ユーザ及び車外ユーザの識別等に使用される。
図３は、ユーザ情報８３の一例を示している。
ユーザ情報８３は、車両１のユーザとして登録された正規ユーザに関する情報であり、図３には正規ユーザ１～３の３名の情報を格納した場合を示している、ユーザ情報８３には、例えば、正規ユーザの名前、ユーザ認証データ、属性、連絡先、及び、管理者（保護者とも称する）を特定可能にする管理者情報等が格納される。認証データは、個人認証に用いる顔画像、又は顔の特徴データであるが、個人認証可能な他の情報でもよい。認証データは、ユーザ情報８３とは独立したデータとしてメモリ８０に記憶されていてもよい。
属性は、例えば、年齢と分類（大人か子供かを記述）を含み、分類に基づいて正規ユーザが大人か子供かを特定したり、さらに年齢を考慮することで幼児か乳児かといった情報を特定したりすることが可能になる。連絡先は、通信を利用してアクセス可能な連絡先であり、電話番号や各ユーザの携帯端末で受信可能なメールのアドレス等である。
管理者情報は、正規ユーザの管理者として、例えば、正規ユーザの保護者（親、又は、親の代理者等）の名前や連絡先の情報である。本実施形態では、正規ユーザが子供の場合に、その子供の緊急時の連絡先が管理者情報として格納されている。
このユーザ情報８３を利用することによって、正規ユーザを特定し、かつ、正規ユーザが子供の場合に、その子供の管理者に電子メール等を送信することが可能になる。これらユーザ情報８３は、正規ユーザ等が直接入力した情報でもよいし、各正規ユーザの携帯端末等に記憶された情報を、通信ユニット１２０等を介して取得した情報から作成した情報でもよい。
警報情報８４は、警報内容等に関する情報であり、例えば、警報内容を示すテキスト情報等である。警報内容等は、ユーザが編集可能にしてもよい。また、警報情報８４の内容は制御プログラム８１内に記述してもよい。
鍵認証部１１は、図１に示したように、携帯鍵２００を所持したユーザＵ１が車両１に近づいたときに、通信ユニット１２０を介して携帯鍵２００との間で通信を行って、携帯鍵２００からＩＤコードを受信する。そして、鍵認証部１１は、受信したＩＤコードとメモリ８０に保存された認証用ＩＤコード８２とが一致したときに、ユーザＵ１による車両１の使用を許可する。
図１に示したように、携帯鍵２００には、車両１の施錠と解錠を指示するための施解錠ボタン２０１、右パワーヒンジドア２の開閉を指示するための右パワーヒンジドアボタン２０２、左パワーヒンジドア３の開閉を指示するための左パワーヒンジドアボタン２０３、右パワースライドドア４の開閉を指示するための右パワースライドドアボタン２０４、左パワースライドドア５の開閉を指示するための左パワースライドドアボタン２０５、及びパワーテールゲート６の開閉を指示するためのパワーテールゲートボタン２０６が備えられている。以下では、右パワーヒンジドア２、左パワーヒンジドア３、右パワースライドドア４、左パワースライドドア５、及びパワーテールゲート６を、まとめて電動ドアとも称する。
ユーザＵ１は、携帯鍵２００の施解錠ボタン２０１を操作して車両１の各ドア２～５を解錠し、車両１に乗車することができる。また、利用者Ｕ１は、携帯鍵２００のボタン２０２～２０６の操作により、車両１に対して電動ドアの開及び閉指示を行うことができる。携帯鍵２００を所持して車両１に乗車した利用者Ｕ１は、電源スイッチ７２をオン操作して車両１を起動し、車両１の使用を開始する。
車両内状況認識部１２は、前席カメラ７０及び後席カメラ７１からなる車内撮影カメラの撮像画像等に基づいて、車両１内の状況を認識する。この車両内状況認識部１２は、車内ユーザ・行動認識部１２Ａ、降車意思認識部１２Ｂ、及び施錠状態検出部１２Ｃを備えている。車内ユーザ・行動認識部１２Ａは、前席カメラ７０及び後席カメラ７１の撮像画像に基づいて車内ユーザを認識すると共に、認識した車内ユーザの行動を認識する。
例えば、車内ユーザの認識については、車内のカメラ７０、７１の撮影画像から車内ユーザの顔を認識し、ユーザ情報８３内の各認証データに基づいて、公知の顔認証技術を利用して車内ユーザが正規ユーザか否かを特定する。なお、顔認証に代えて、虹彩認証等の他の認証技術を適用してもよい。また、車内ユーザが正規ユーザの場合、ユーザ情報８３に基づいて車内ユーザが子供か大人か否か等を特定する。なお、正規ユーザでない場合、車内ユーザの画像に基づいて車内ユーザが子供か大人か否か等を特定可能である。
車内ユーザの行動の認識については、公知の画像認識技術を利用して、撮影画像から車内ユーザの顔、手及び腕を含む上半身等の動きを認識し、車内ユーザの顔の向き、視線、及び移動等の様々な行動を認識する。この行動の認識により、車内ユーザが車両１を移動したり、降車したりしたか否か等を特定可能である。
降車意思認識部１２Ｂは、車内ユーザ・行動認識部１２Ａにより認識された車内ユーザの行動に基づいて、車内ユーザの車両１からの降車意思を認識する。例えば、降車意思認識部１２Ｂは、車内ユーザの視線がドア２～５のいずれか、又はドア２～５のうちの開いたドアに向けられていることが認識され、且つ車内ユーザが視線を向けているドアに向かう行動が認識されたときに、車内ユーザの降車意思を認識する。なお、車内ユーザが立ち上がったことが認識されたときに、車内ユーザの降車意思を認識してもよい。なお、車内ユーザが立ち上がったことは、各席７ａ～７ｆに設けられたシートセンサ（着座センサとも称する）によって検出してもよい。施錠状態検出部１２Ｃは、ドアロック機構１００ａ～１００ｅの作動状態を取得することによって、各ドア２～５の施錠／開錠（施開錠）を検出する。
車両周囲状況認識部１３は、フロントカメラ３０、右サイドカメラ４０、左サイドカメラ５０、及びリアカメラ６０からなる車外撮影カメラの撮影画像等に基づいて、車両１の周囲状況を認識する。この車両周囲状況認識部１３は、車外ユーザ・行動認識部１３Ａ、及び接近検出部１３Ｂを備えている。車外ユーザ・行動認識部１３Ａは、車外撮影カメラ３０～６０の撮像画像に基づいて車外ユーザを認識すると共に、認識した車外ユーザの行動を認識する。
例えば、車外ユーザの認識については、車両１の前後左右の撮像画像から車外ユーザの顔を認識し、ユーザ情報８３内の各認証データに基づいて、公知の顔認証技術を利用して車外ユーザが正規ユーザか否かを特定する。なお、顔認証に代えて、虹彩認証等の他の認証技術を適用してもよい。また、正規ユーザの場合、ユーザ情報８３に基づいて車外ユーザが子供か大人か否か等を特定し、正規ユーザでない場合、車外ユーザの画像に基づいて車外ユーザが子供か大人か否か等を特定可能である。
車外ユーザの行動の認識については、公知の画像認識技術を利用して、撮影画像から車外ユーザの顔、手及び腕を含む上半身等の動きを認識し、車外ユーザの顔の向き、視線、及び移動等の様々な行動を認識する。車外撮影カメラ３０～６０は車両１の十数メートル先まで撮影可能であり、車外ユーザが車両１から離れたか否かを認識可能である。車外ユーザの行動の認識により、車両１に乗車していたユーザが降車し、車両１から離れた第１状況か否かを特定可能になる。なお、車外ユーザを認識する範囲は適宜に変更可能である。また、車内ユーザ及び車外ユーザ等の認識技術については、公知の認識技術を広く適用可能である。
接近検出部１３Ｂは、車外撮影カメラ３０～６０の撮像画像に基づいて警報対象物が接近しているか否かを検出する。警報対象物は、当該車両１に近づく四輪車両及び二輪車等の他の車両や歩行者等である。なお、接近検出部１３Ｂは、ミリ波レーダ等の公知の様々なデバイスを用いて警報対象物を検出してもよい。
ドア開閉検出部１４は、ドアスイッチ７５ａ～７５ｄの作動状態に基づいて、ドア２～５の開閉状態を検出する。ドア制御部１５は、右ＰＨＤ駆動部４１、右ＰＳＤ駆動部４２、左ＰＨＤ駆動部５１、左ＰＳＤ駆動部５２、ＰＴＧ駆動部６１、及びドアロック機構１００ａ～１００ｅのそれぞれを制御することにより、ドア２～５に関わる作動部品を制御する。
警報制御部１６は、表示器３１、スピーカ３２、通信ユニット１２０、ライトユニット１２１及び放音ユニット１２２を利用して車内及び車外に向けて警報制御を行う。また、警報制御部１６は、車両周囲状況認識部１３の認識結果に基づいて車内ユーザが降車するのに適切な位置を特定する降車位置特定機能や、降車位置に隣接して他の車両が存在することを特定する機能を有している。例えば、警報制御部１６は、車両周囲状況認識部１３によって歩道が認識される場合、歩道側を降車位置に特定したり、接近検出部１３Ｂによって警報対象物の接近が検出される場合、警報対象物が通過する側の反対側を降車位置に特定したり、といったことが可能である。なお、降車位置の特定に際し、車内ユーザの位置も考慮してもよい。
警報制御部１６が行う警報制御は、車内ユーザの降車時に行う第１警報制御、及び第２警報制御を含んでいる。第１警報制御、及び第２警報制御のいずれの制御を実行するかは車両１のユーザが適宜に選択可能である。また、各警報制御はユーザの指示で開始してもよいし、車両１が駐車状態（例えば、シフトポジションがパーキング位置）になると自動的に実行されるようにしてもよい。
［３．第１警報制御］
図４は、第１警報制御を示すフローチャートである。図５～図８は第１警報制御の説明に供する図である。なお、第１警報制御又は第２警報制御を開始した場合、車外撮影カメラ３０～６０、及び車内撮影カメラ７０～７１による撮影が開始され、車両内状況認識部１２、及び車両周囲状況認識部１３による認識処理が開始される。
まず、警報制御部１６は、車両周囲状況認識部１３によって車両１に乗車していた第１ユーザが車両１から離れる第１状況か否かを継続的に監視する（ステップＳ１Ａ）。ここで、第１ユーザは、少なくとも運転席７ａに着座する車内ユーザを含んでいる。例えば、運転席７ａに着座する車内ユーザが車両１から所定距離以上（例えば、数メートル以上）離れた場合に、次のステップＳ２Ａの処理に移行する。
なお、車両１に乗車する大人の車内ユーザ（運転席７ａの乗員を含む）の全員が車両１から所定距離以上離れた場合に、次のステップＳ２Ａの処理に移行するようにしてもよい。
第１ユーザが大人か否かを特定する場合、第１ユーザが予め登録された正規ユーザであれば、その正規ユーザのユーザ情報８３から第１ユーザの年齢を特定し、年齢から大人か否かを特定すればよい。第１ユーザが正規ユーザでない場合、公知の年齢推定技術等を利用して第１ユーザが大人か否かを特定すればよい。
ステップＳ２Ａにおいて、警報制御部１６は、車両内状況認識部１２によって車両１内に第２ユーザが存在しているか否かを判定する。ここで、第２ユーザは、開いたドア２～５のいずれかから飛び出すおそれのある子供や、車内への放置が好ましくないユーザであり、本実施形態では、乳児や幼児（例えば０歳～６歳）の子供を想定している。なお、車内ユーザが乳児等であるか否かは、車内ユーザが正規ユーザであれば、ユーザ情報８３から特定すればよく、正規ユーザでない場合、公知の年齢推定技術等を利用して特定すればよい。
第２ユーザ（運転者を除く）の範囲は、車両１のユーザ（例えば第１ユーザ）が適宜に設定すればよく、第２ユーザに高齢者を含めても良いし、全年齢のユーザを含めてよい。
図５の符号Ａには、車両１内の運転席７ａ、助手席７ｂ及び３列目左席７ｆのそれぞれにユーザＵ１～Ｕ３が乗車し、図５の符号Ｂには、同図の符号Ａで示す状況から運転席７ａ及び助手席７ｂのユーザＵ１、Ｕ２が車両１から離れ、車両１内に子供のユーザＵ３が取り残された状況を示している。このような図５の符号Ｂで示す状況、つまり、車両１内の子供（ユーザＵ３）の近くに他のユーザがおらず、かつ、車両１内に子供（ユーザＵ３）が放置されるおそれのある状況（以下、「準放置状況」と言う）か否かを、ステップＳ１Ａ及び２Ａによって判定している。
なお、準放置状況は本発明の「所定状況」に相当し、ステップＳ１Ａは本発明の「車両周囲状況認識ステップ」に相当し、ステップＳ２Ａは本発明の「車両内状況認識ステップ」に相当している。
図５の符号Ｂに示すよう準放置状況の場合（ステップＳ１Ａ、Ｓ２ＡのいずれもＹＥＳ）、警報制御部１６は、ステップＳ３Ａの処理に移行する。ステップＳ３Ａにおいて、警報制御部１６は、ドア開閉検出部１４によってドア２～５のいずれかが開状態か否かを判定し、開状態の場合（ステップＳ３Ａ；ＹＥＳ）、車両内状況認識部１２によって第２ユーザの降車意思が認識されたか否かを判定する（ステップＳ４Ａ）。第２ユーザの降車意思が認識されると（ステップＳ４Ａ；ＹＥＳ）、警報制御部１６は、直ちに、第２ユーザに向けた警報を含む第１警報処理を行う（ステップＳ５Ａ）。
上記ステップＳ２Ａ及びＳ４Ａは本発明の「車両内状況認識ステップ」に相当し、ステップＳ３Ａは本発明の「ドア開閉検出ステップ」に相当している。
第２ユーザに向けた警報は、第２ユーザが開いたドアから飛び出さないように行う警報であり、例えば、スピーカ３２及び表示器３１を利用した音及び表示の少なくともいずれかによって第２ユーザが開いたドアから飛び出さないように警報を行う。これにより、図５の符号Ｂに示すように、車内のユーザＵ３が開いたドア４に向かって矢印Ｘに沿って移動（サードシート列からセカンドシート列へ移動）し始めると、警報が行われる。
このように、第２ユーザの降車意思が認識されたタイミングで第２ユーザに警報を行うので、第２ユーザが車外に飛び出す事態を効果的に抑制できる。本実施形態の第１警報処理では、第１ユーザに向けた警報も行っており、より具体的には、放音ユニット１２２及びライトユニット１２１を利用した音及び光の少なくともいずれかにより、第２ユーザが車内に存在することが分かるように警報を行う。
図４に戻り、ドア２～５のいずれも閉状態の場合（ステップＳ３Ａ；ＮＯ）、警報制御部１６は、ドア２～５が施錠状態か否かを判定し（ステップＳ７Ａ）。施錠状態の場合（ステップＳ７Ａ；ＹＥＳ）、第１ユーザに向けた警報を含む第２警報処理を行う（ステップＳ８Ａ）。また、ステップＳ４Ａで第２ユーザの降車意思が認識されておらず（ステップＳ４Ａ；ＮＯ）、ドア２～５が閉じられて施錠されている場合（ステップＳ６Ａ；ＹＥＳ）も、警報制御部１６は第２警報処理を行う（ステップＳ８Ａ）。
図６の符号Ａには、車両１内の運転席７ａ、助手席７ｂ及び３列目左席７ｆのそれぞれにユーザＵ１～Ｕ３が乗車し、図６の符号Ｂには、同図の符号Ａで示す状況から準放置状況となり、かつ、ドア２～５が閉じて施錠状態となった場合を示している。上記ステップＳ３Ａ～Ｓ８Ａの処理により、図６の符号Ｂに示すように、車内の第２ユーザが車外に移動し難くなり、置き去りになる可能性が高い状態になると、第２警報処理が実行される。
第２警報処理では、第１ユーザに向けた警報として、第２ユーザを車外に移動させる旨を報知する警報を行い、例えば、車両１のドアを開ける旨、又は、車内に乗員が取り残されている旨を報知する警報を行う。例えば、放音ユニット１２２及びライトユニット１２１の少なくともいずれかを利用して車外に上記旨を報知したり、所定のユーザの携帯端末へ上記旨を報知したりする処理を行う。
携帯端末へ報知する処理については、車両内状況認識部１２、又は車両周囲状況認識部１３によって特定した第１ユーザがユーザ情報８３（図３参照）に記載される正規ユーザの場合、ユーザ情報８３に基づいて第１ユーザの連絡先（例えば電子メールアドレス）を特定し、その連絡先を利用して第１ユーザの携帯端末へ報知内容を報知する処理を行う。また、図３に示すように、ユーザ情報８３に、第２ユーザの管理者（保護者）に関する情報が格納される場合、第２ユーザの管理者の連絡先を特定し、その連絡先を利用して管理者の携帯端末へ報知内容を送信する処理を行うようにしてもよい。
なお、第２警報処理の中に、車内の第２ユーザに向けた警報を含めてもよい。例えば、第２ユーザがパニックにならないように、スピーカ３２及び表示器３１の少なくともいずれかを利用して楽曲や動画のコンテンツを再生したり、所定のメッセージを表示したりするようにしてもよい。
警報制御部１６は、第２警報処理を行った後、ドア２～５が携帯鍵２００等によって開錠されたか否かを監視し（ステップＳ９Ａ）、ドア２～５が開錠されていない場合（ステップＳ９Ａ；ＮＯ）、第２警報処理を行う（ステップＳ８Ａ）。ドア２～５が開錠されるまで第２警報処理が継続されるので、車内の第２ユーザが置き去りになる事態を解消し易くなる。
ドア２～５が携帯鍵２００等（つまり、第１ユーザ等）によって開錠された場合（ステップＳ９Ａ；ＹＥＳ）、警報制御部１６は、第２ユーザに向けた警報を含む第３警報処理を行う（ステップＳ１０Ａ）。ここで、図７の符号Ａには、車両１内の運転席７ａ、助手席７ｂ及び３列目左席７ｆのそれぞれにユーザＵ１～Ｕ３が乗車し、図７の符号Ｂには、同図の符号Ａで示す状況から準放置状況となり、かつ、ドア２～５が閉じた状態で施錠され、その後にユーザＵ１により開錠された場合を示している。ドア２～５が開錠された場合、車内の第２ユーザがドア２～５のいずれかを急に開けて飛び出すおそれがある。本構成では、上記ステップＳ９Ａ～Ｓ１０Ａの処理により、図７の符号Ｂに示す状況になると、ドア２～５が開錠されたタイミングで第３警報処理が実行される。
第３警報処理では、第２ユーザに向けた警報として、第２ユーザの降車に関する情報を提供する報知を行い、例えば、第２ユーザに対し、少なくとも車両周囲状況認識部１３の認識結果に基づいて設定した降車位置を案内する処理を行う。より具体的には、周囲の確認を促して降車位置から降車させるための報知情報を、スピーカ３２及び表示器３１のいずれかを利用して第２ユーザに報知したり、第２ユーザが正規ユーザの場合、ユーザ情報８３に基づいて第２ユーザの連絡先（例えば電子メールアドレス）を特定し、その連絡先を利用して第２ユーザの携帯端末へ上記報知情報を送信したりする処理を行う。また、車両周囲状況認識部１３等の認識結果に基づいて降車位置に隣接して他の車両が存在することを特定した場合、他の車両に注意しつつドアを開けることを促す情報も報知することが好ましい。
なお、降車位置を案内する処理に代えて、ドアや窓を開けて車内に留まる旨や、警報対象物１８０の接近を報知したりしてもよい。
ドア２～５が施錠状態から開錠状態へ変化したタイミングで第２ユーザに上記第３警報処理を行うので、第２ユーザがドア２～５のいずれかを開く前に警報を行うことができ、第２ユーザが任意のドアを開いて飛び出す事態を効果的に抑制できる。しかも、第３警報処理では、車両周囲状況認識部１３の認識結果に基づいて設定した降車位置降車位置を案内するので、第２ユーザを適切な降車位置から降車させ易くなる。
なお、第３警報処理の中に、車外の第１ユーザに向けた警報を含めてもよい。例えば、電子メール、放音ユニット１２２、又はライトユニット１２１等を利用して、第２ユーザに関する情報を第１ユーザに通知してもよい。
図４に戻り、ステップＳ７Ａでドア２～５のいずれかが開錠されている場合（ステップＳ７Ａ；ＮＯ）、つまり、閉じたドア２～５を開くことが可能な状況になると、警報制御部１６は、第２ユーザに向けた警報を含む第２ユーザ警報処理を行う（ステップＳ１１Ａ）。この状況（つまり、ドア２～５が閉じているものの開錠されている状態）の場合、ドア２～５のいずれかが開いた状況（図５の符号Ｂ参照）と比べると、第２ユーザが車外に飛び出す可能性は相対的に低い。このため、第２ユーザ警報処理では、第１警報処理よりも遅いタイミングで第２ユーザに警報を行う。例えば、第２ユーザ警報処理では、第２ユーザがドアの近くまで移動したタイミング、又はドアに手をかけたタイミングで、第１警報処理と同内容の警報（第２ユーザが開いたドア４から飛び出さないように行う警報）を行う。これにより、第２ユーザが車外に飛び出す可能性が高まったタイミングで警報を行うことができる。
なお、第２ユーザ警報処理においても、第２ユーザに対し、車両周囲状況認識部１３の認識結果に基づいて設定した降車位置を案内してもよい。第２ユーザ警報処理の中に、車外の第１ユーザに向けた警報を含めてもよい。例えば、電子メール、放音ユニット１２２、又はライトユニット１２１等を利用して、第２ユーザに関する情報を第１ユーザに通知してもよい。上記ステップＳ４Ａ、Ｓ８Ａ、Ｓ１０Ａ及びＳ１１Ａは、本発明の「警報制御ステップ」に相当している。
これに対し、ステップＳ２Ａで車両１内に第２ユーザが存在していないと判定された場合（ステップＳ２Ａ；ＮＯ）、警報制御部１６は、第１ユーザ及び第２ユーザに対する警報を行わない。ここで、図８の符号Ａには、車内にユーザＵ１～Ｕ３が乗車し、図８の符８Ｂには、同図の符号Ａで示す状況からユーザＵ１～Ｕ３の全員が車外に移動した場合を示している。この場合、上記ステップＳ２Ａが否定結果となるので、警報は行われず、不必要な警報が回避される。
［４．第２警報制御］
図９は、第２警報制御を示すフローチャートである。なお、第１警報制御と同様のステップは同一の番号を付して示し、重複説明は省略する。図１０は、第２警報制御の説明に供する図である。
車両周囲状況認識部１３によって車両１に乗車していた第１ユーザが車両１から離れる第１状況が認識され（ステップＳ１Ａ；ＹＥＳ）、車両内状況認識部１２によって車両１内に第２ユーザが存在する状況が認識されると（ステップＳ２Ａ；ＹＥＳ）、ドア開閉検出部１４によってドア２～５のいずれかが開状態と判定されると、警報制御部１６はステップＳ４Ｂの処理を実行する。
ステップＳ４Ｂにおいて、警報制御部１６は、接近検出部１３Ｂによって警報対象物の接近が検出されているか否かを判定する。ここで、図１０の符号Ａには、運転席７ａ及び助手席７ｂのユーザＵ１、Ｕ２が車両１から離れ、車両１内に子供のユーザＵ３が取り残され、かつドア４が開いている状況を示している。図１０の符号Ｂには、同図の符号Ａで示す状況で警報対象物１８０が車両１に接近している状況を示している。
図１０の符号Ｂに示す状況の場合（ステップＳ４Ｂ；ＹＥＳ）、警報制御部１６は、図９に示すように、接近に対応する第４警報処理を行うと共に（ステップＳ５Ｂ）、接近に対応するドア制御を行う（ステップＳ６Ｂ）。
第４警報処理では、第２ユーザ（図１０中のユーザＵ３）が開いたドア（図１０中のドア４）から飛び出す事態を阻止する警報を行い、例えば、スピーカ３２及び表示器３１を利用した音及び表示の少なくともいずれかによって第２ユーザが開いたドアから飛び出す事態を阻止する警報を行う。また、ステップＳ６Ｂのドア制御は、ドア制御部１５によって開いているドア（図１０中のドア４）を閉状態にする制御を含み、例えば、ドア制御部１５によってドア２～５を閉状態にした後に、全てのドア２～５を施錠状態に制御する。
つまり、車両１内の子供（ユーザＵ３）の近くに他のユーザがおらず、かつ、車両１内に子供（ユーザＵ３）が放置されるおそれのある準放置状況の場合、警報対象物１８０の接近が検出されたタイミングで、第２ユーザへの警報が行われ、かつ、開いたドアが閉じられる。これによって、第２ユーザが開いたドアから飛び出す事態を効果的に抑制できる。なお、ステップＳ６Ｂのドア制御に、各ドア２～５の窓を閉状態、又は僅かに開けた状態に保持する制御を含めることによって、第２ユーザが窓から手を出さないようにしつつ換気を可能にしてもよい。
ステップＳ３Ａでドア２～５のいずれも閉状態の場合（ステップＳ３Ａ；ＮＯ）、警報制御部１６は、接近検出部１３Ｂによって警報対象物１８０の接近が検出され（ステップＳ７Ｂ；ＹＥＳ）、ドア２～５が施錠状態であれば（ステップＳ７Ａ；ＹＥＳ）、第１ユーザに向けた警報を含む第２警報処理を行う（ステップＳ８Ａ）。第２警報処理では、第１ユーザに対し、第２ユーザを車外に移動させる旨を報知する警報を行う。なお、ドア２～５が施錠状態であるので、第２ユーザが車外に飛び出す事態は抑制される。
この第２警報処理の中に、車内の第２ユーザに向けた警報を含めてもよく、例えば、警報対象物１８０の接近やドアを開錠しない旨を報知する警報を行ってもよい。また、第２警報処理と共に、開いているドアの窓を閉状態、又は僅かに開けた状態に保持する制御を行ってもよい。
警報制御部１６は、第２警報処理を行った後、ドア２～５が携帯鍵２００等によって開錠されると（ステップＳ９Ａ；ＹＥＳ）、第２ユーザに向けた警報を含む第３警報処理を行う（ステップＳ１０Ａ）。第３警報処理では、第２ユーザに対し、車両周囲状況認識部１３の認識結果に基づいて設定した降車位置を案内する処理、又は車内に留まる旨を報知する、といった情報を提供するので、警報対象物１８０を避ける警報が可能である。なお、第３警報処理の中に、車外の第１ユーザに向けた警報を含めてもよい。
図９のステップＳ７Ａでドア２～５のいずれかが開錠されている場合（ステップＳ７Ａ；ＮＯ）、警報制御部１６は、警報対象物１８０の接近に対応する第６警報処理を行うと共に（ステップＳ１１Ｂ）、接近に対応するドア制御を行う（ステップＳ１２Ｂ）。
第６警報処理では、第２ユーザがドアを開かないように警報を行い、例えば、第２ユーザがドア２～５のいずれかの近くまで移動したタイミング、又はドア２～５に手をかけたタイミングでドアを開かないように警報を行う。これにより、第２ユーザが車外に飛び出す可能性が高まったタイミングで警報を行うことができ、換言すると、第２ユーザがドアを開こうとしない場合、不必要な警報を行う事態を回避できる。なお、第２ユーザがドアを開かないように警報を行う方法に代えて、ドアや窓を開けて車内に留まる旨や、警報対象物１８０の接近を報知したりしてもよい。また、第６警報処理の中に、車外の第１ユーザに向けた警報を含めてもよい。
また、ステップＳ１２Ｂのドア制御は、ドア制御部１５によって全てのドア２～５を施錠状態にする制御を含む。これによって、第２ユーザがいずれかのドアを開いて飛び出す事態を効果的に抑制できる。なお、ステップＳ１２Ｂのドア制御に、各ドア２～５の窓を閉状態、又は僅かに開けた状態に保持する制御を含めてもよい。
これに対し、ステップＳ２Ａで車両１内に第２ユーザが存在していないと判定された場合（ステップＳ２Ａ；ＮＯ）、又は、警報対象物１８０の接近が検出されない場合（ステップＳ４Ｂ又はＳ７Ｂ；ＹＥＳ）、警報制御部１６は、第１ユーザ及び第２ユーザのいずれに対しても警報を行わない。これにより、不必要な警報を回避できる。
以上説明したように、車両制御システム１００は、車両周囲状況認識部１３によって車両１に乗車していた第１ユーザが車両１から離れる状況が認識され、かつ、車両内状況認識部１２によって車両１内に第２ユーザが存在する状況と認識される準放置状況の場合に、警報制御部１６によって、ドア開閉検出部１４の検出結果に応じて、スピーカ３２、表示器３１、ライトユニット１２１及び放音ユニット１２２のいずれかによる報知機能を利用して車内又は車外の少なくともいずれかへの警報処理を行う。これにより、第１ユーザの降車時に、車内の第２ユーザが放置されるおそれのある状況になると、ドア２～５の開閉状態に応じて異なる第２ユーザの車外への飛び出しのし易さ等に合わせて適切な警報を行い易くなる。
また、警報制御部１６は、準放置状況の場合に、ドア開閉検出部１４によってドア２～５のいずれかが開状態と検出され、降車意思認識部１２Ｂによって第２ユーザの降車意思が認識されるときは、第２ユーザに向けた警報を含む第１警報処理を行う。これにより、第２ユーザが開状態のドアから飛び出し可能な状況に合わせた警報が可能になる。
また、警報制御部１６は、準放置状況の場合に、ドア開閉検出部１４によってドア２～５が閉状態と検出され、施錠状態検出部１２Ｃによってドア２～５が施錠状態と検出されるときは、第１ユーザに向けた警報を含む第２警報処理を行う。これにより、第２ユーザが車内に置き去りになる可能性が高い状況に合わせた警報が可能になる。
しかも、警報制御部１６は、準放置状況の場合に、ドア開閉検出部１４によってドア２～５が閉状態と検出され、施錠状態検出部１２Ｃによってドア２～５が施錠状態から開錠状態へ変化したことが検出されるときは、第２ユーザに向けた警報を含む第３警報処理を行う。これにより、開錠されたタイミングで第２ユーザが飛び出す可能性が高い状況に合わせた警報が可能になる。この第３警報処理は、第２ユーザに対し、車両周囲状況認識部１３の認識結果に基づいて設定した降車位置を案内する処理を含むので、適切な降車位置から降車させ易くなる。
さらに、ドア２～５に関わる作動部品を制御するドア制御部１５を備え、第２警報制御では、準放置状況の場合に、車両周囲状況認識部１３によって警報対象物１８０の接近が検出されるとき、警報制御部１６は、その接近に対応する第４警報処理を行うと共に、ドア制御部１５によってドア２～５を閉状態、又は施錠状態の少なくともいずれかに制御する。これにより、警報対象物１８０の接近時に第２ユーザの飛び出しを規制する適切な対応が可能になる。
なお、第１警報制御においても、準放置状況の場合に警報対象物１８０の接近が検出されるとき、ドア制御部１５によってドア２～５を閉状態、又は施錠状態の少なくともいずれかに制御するようにしてもよい。
本発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記第１警報制御、及び第２警報制御では、第１ユーザ及び第２ユーザが車両１のユーザとして登録された正規ユーザであるか否かに関わらず、各警報処理を行う場合を例示したが、第１ユーザ及び第２ユーザの両方又はいずれか一方が正規ユーザの場合にだけ各警報処理を行うようにしてもよい。
また、上記実施形態では、図１等に示す車両制御システム１００、及び車両制御方法に本発明を適用する場合を説明したが、これに限定されない。例えば、車両制御システム１００の処理の一部を、車両制御装置１０と通信ネットワークを介して接続されたサーバ等の他の装置で行うようにしてもよい。例えば、上記第１警報制御、及び第２警報制御のうち、相対的に演算量が多い処理（例えば車両内状況認識部１２及び車両周囲状況認識部１３が行う処理）をサーバで行うことにより、車両制御装置１０の演算量を低減したり、より高精度なユーザ認識や行動認識を採用したりし易くなる。
また、図２に示す各部の構成は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよい。また、各フローチャートの処理単位の分割の仕方や処理順序は図示した例に限定されない。
また、制御プログラム８１は、外部の装置やデバイスに記憶され、通信ユニット１２０等を介して取得されてもよい。また、制御プログラム８１をコンピュータで読み取り可能に記録した記録媒体に記録しておくことも可能である。記録媒体としては、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、各種の光ディスク、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、記録媒体は、画像表示装置が備える内部記憶装置であるＲＡＭ、ＲＯＭ、ＨＤＤ等の不揮発性記憶装置であってもよい。
１…車両、２…右パワーヒンジドア、３…左パワーヒンジドア、４…右パワースライドドア、５…左パワースライドドア、６…パワーテールゲート、１０…車両制御装置、１１…鍵認証部、１２…車両内状況認識部、１２Ａ…車内ユーザ・行動認識部、１２Ｂ…降車意思認識部、１２Ｃ…施錠状態検出部、１３…車両周囲状況認識部、１３Ａ…車外ユーザ・行動認識部、１３Ｂ…接近検出部、１４…ドア開閉検出部、１５…ドア制御部、１６…警報制御部、３０…フロントカメラ（車外撮影カメラ）、３２…スピーカ、４０…右サイドカメラ（車外撮影カメラ）、５０…左サイドカメラ（車外撮影カメラ）、６０…リアカメラ（車外撮影カメラ）、７０…前席カメラ（車内撮影カメラ）、７１…後席カメラ（車内撮影カメラ）、８０…メモリ、８１…制御用プログラム、８３…ユーザ情報、８４…警報情報、１００…車両制御システム、１２０…通信ユニット（通信部、報知ユニット）、１２１…ライドユニット（報知ユニット）、１２２…放音ユニット（報知ユニット）、１３０…ナビゲーション装置、１５０…バッテリ、１８０…警報対象物、Ｕ１、Ｕ２…ユーザ（第１ユーザ）、Ｕ３…ユーザ（第２ユーザ）。

Claims (7)

  1. 報知機能を有する車両の作動を制御する車両制御システムであって、
    前記車両の周囲の状況を認識する車両周囲状況認識部と、
    前記車両内の状況を認識する車両内状況認識部と、
    前記車両が有するドアの開閉状態を検出するドア開閉検出部と、
    前記車両周囲状況認識部によって前記車両に乗車していた第１ユーザが前記車両から離れる状況が認識され、かつ、前記車両内状況認識部によって前記車両内に第２ユーザが存在する状況と認識される所定状況の場合に、前記ドア開閉検出部の検出結果に応じて、前記報知機能を利用して車内又は車外の少なくともいずれかへの警報処理を行う警報制御部と、を備え、
    前記車両内状況認識部は、前記車両に乗車している前記第２ユーザの降車意思を、前記車両内に設けられたカメラの撮影画像から、前記第２ユーザが、前記車両が有する複数のドアのうち、開いているドアに視線が向けられていることが認識され、且つ前記第２ユーザが当該視線を向けているドアに向かう行動が認識されたときに、認識する降車意思認識部を有し、
    前記警報制御部は、前記所定状況の場合に、前記ドア開閉検出部によって前記ドアが開いていることが検出され、前記降車意思認識部によって前記第２ユーザの前記開いたドアからの降車意思が認識されるときは、前記第２ユーザに向けて、前記第２ユーザが前記開いたドアから飛び出さないように行う警報を含む第１警報処理を行う、
    車両制御システム。
  2. 前記車両内状況認識部は、前記ドアの施錠／開錠を検出する施錠状態検出部を有し、
    前記警報制御部は、前記所定状況の場合に、前記ドア開閉検出部によって前記ドアが閉じていることが検出され、前記施錠状態検出部によって前記ドアが施錠状態と検出されるときは、前記第１ユーザに向けて前記第２ユーザを前記車両の外に移動させる旨を報知する警報を含む第２警報処理を行う、
    請求項１に記載の車両制御システム。
  3. 前記警報制御部は、前記所定状況の場合に、前記ドア開閉検出部によって前記ドアが閉じていることが検出され、前記施錠状態検出部によって前記ドアが施錠状態から開錠状態へ変化したことが検出されるときは、前記第２ユーザに向けて第２ユーザの降車に関する情報を提供する警報を含む第３警報処理を行う、
    請求項２に記載の車両制御システム。
  4. 前記第３警報処理は、前記第２ユーザに対し、少なくとも前記車両周囲状況認識部の認識結果に基づいて設定した降車位置を案内する処理を含む、
    請求項３に記載の車両制御システム。
  5. 前記ドアに関わる作動部品を制御するドア制御部を備え、
    前記所定状況の場合に、前記車両周囲状況認識部によって警報対象物の接近が検出されるとき、前記警報制御部は、前記接近に対応して、前記第２ユーザが開いたドアから飛び出す事態を阻止する警報を行う第４警報処理を行うと共に、前記ドア制御部によって前記ドアを閉じている状態、又は施錠状態の少なくともいずれかに制御する、
    請求項１から４のいずれかに記載の車両制御システム。
  6. 前記第２ユーザの携帯端末と通信可能な通信部を備え、
    前記第２警報処理又は前記第３警報処理は、前記通信部により前記第２ユーザの携帯端末に警報情報を送信する処理を含む、
    請求項３又は４に記載の車両制御システム。
  7. 報知機能を有する車両の作動を制御するために、コンピュータにより実行される車両制御方法であって、
    車両周囲状況認識部により、前記車両の周囲の状況を認識する車両周囲状況認識ステップと、
    車両内状況認識部により、前記車両内の状況を認識する車両内状況認識ステップと、
    ドア開閉検出部により、前記車両が有するドアの開閉状態を検出するドア開閉検出ステップと、
    車両周囲状況認識ステップによって前記車両に乗車していた第１ユーザが前記車両から離れる状況が認識され、かつ、前記車両内状況認識ステップによって前記車両内に第２ユーザが存在する状況と認識される所定状況の場合に、前記ドア開閉検出ステップの検出結果に応じて、前記報知機能を利用して車内又は車外の少なくともいずれかへの警報処理を行う警報制御ステップと、を備え、
    前記車両周囲状況認識ステップでは、前記車両に乗車している前記第２ユーザの降車意思を、前記車両内に設けられたカメラの撮影画像から、前記第２ユーザが、前記車両が有する複数のドアのうち、開いているドアに視線が向けられていることが認識され、且つ前記第２ユーザが当該視線を向けているドアに向かう行動が認識されたときに、認識する降車意思認識ステップを行い、
    前記警報制御ステップでは、前記所定状況の場合に、前記ドア開閉検出ステップの検出結果により前記ドアが開いていることが検出され、前記降車意思認識ステップの検出結果により前記第２ユーザの前記開いたドアからの降車意思が認識されるときは、前記第２ユーザに向けて、前記第２ユーザが前記開いたドアから飛び出さないように行う警報を含む第１警報処理を行う、
    車両制御方法。
JP2020092577A 2020-05-27 2020-05-27 車両制御システム、及び車両制御方法 Active JP7478592B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020092577A JP7478592B2 (ja) 2020-05-27 2020-05-27 車両制御システム、及び車両制御方法
CN202110564831.1A CN113734045A (zh) 2020-05-27 2021-05-24 车辆控制系统和车辆控制方法
US17/329,509 US11364868B2 (en) 2020-05-27 2021-05-25 Vehicle control system and vehicle control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020092577A JP7478592B2 (ja) 2020-05-27 2020-05-27 車両制御システム、及び車両制御方法

Publications (2)

Publication Number Publication Date
JP2021189620A JP2021189620A (ja) 2021-12-13
JP7478592B2 true JP7478592B2 (ja) 2024-05-07

Family

ID=78706599

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020092577A Active JP7478592B2 (ja) 2020-05-27 2020-05-27 車両制御システム、及び車両制御方法

Country Status (3)

Country Link
US (1) US11364868B2 (ja)
JP (1) JP7478592B2 (ja)
CN (1) CN113734045A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7345007B1 (ja) 2022-03-30 2023-09-14 本田技研工業株式会社 制御装置
CN114954301B (zh) * 2022-05-24 2024-04-16 阿维塔科技(重庆)有限公司 车辆的控制方法、装置、车辆以及计算机存储介质
KR20240061377A (ko) * 2022-10-31 2024-05-08 현대자동차주식회사 후석 승객 알림 장치 및 그 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060254142A1 (en) 2003-02-17 2006-11-16 Siemens Aktiengesellschaft Method and device for preventing injuries and material damage caused by motor vehicle doors
JP2009241857A (ja) 2008-03-31 2009-10-22 Denso Corp 車両用報知システム
JP2014021515A (ja) 2012-07-12 2014-02-03 Mitsubishi Electric Corp 運転者異常通知装置
JP2014173286A (ja) 2013-03-07 2014-09-22 Denso Corp スマートエントリーシステム
JP2015007874A (ja) 2013-06-25 2015-01-15 日産自動車株式会社 車室内監視装置
JP2016219040A (ja) 2016-08-03 2016-12-22 三菱自動車工業株式会社 車両用後方監視装置
JP2017007453A (ja) 2015-06-19 2017-01-12 株式会社東海理化電機製作所 動体検知警告装置
JP3225547U (ja) 2017-03-15 2020-03-19 榮耀光電科技有限公司 静電容量式タッチ制御車内ドアハンドル警告装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4305959B2 (ja) * 2004-09-16 2009-07-29 マツダ株式会社 車載品盗難警報装置
JP2006159939A (ja) 2004-12-02 2006-06-22 Xanavi Informatics Corp 車室内報知対象の通知装置
KR101297187B1 (ko) * 2012-06-20 2013-08-16 은성디스플레이 주식회사 차량의 탑승자 보호 방법 및 이를 수행하기 위한 시스템
US20140300461A1 (en) * 2013-04-08 2014-10-09 Linda K. Stark Personal Reminder System and Method of Use
JP2015209154A (ja) 2014-04-28 2015-11-24 矢崎総業株式会社 車載警報装置
US9847004B1 (en) * 2016-09-02 2017-12-19 Atieva, Inc. Vehicle child detection and response system
JP6901298B2 (ja) * 2017-03-23 2021-07-14 株式会社東芝 降車時注意喚起装置
US10515535B1 (en) * 2018-08-24 2019-12-24 General Motors Llc System and method to provide a misplacement notification
US10850709B1 (en) * 2019-08-27 2020-12-01 Toyota Motor Engineering & Manufacturing North America, Inc. Facial recognition and object detection for vehicle unlocking scenarios
CN110901526A (zh) * 2019-11-12 2020-03-24 上海博泰悦臻电子设备制造有限公司 后排乘客下车的安全预警系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060254142A1 (en) 2003-02-17 2006-11-16 Siemens Aktiengesellschaft Method and device for preventing injuries and material damage caused by motor vehicle doors
JP2009241857A (ja) 2008-03-31 2009-10-22 Denso Corp 車両用報知システム
JP2014021515A (ja) 2012-07-12 2014-02-03 Mitsubishi Electric Corp 運転者異常通知装置
JP2014173286A (ja) 2013-03-07 2014-09-22 Denso Corp スマートエントリーシステム
JP2015007874A (ja) 2013-06-25 2015-01-15 日産自動車株式会社 車室内監視装置
JP2017007453A (ja) 2015-06-19 2017-01-12 株式会社東海理化電機製作所 動体検知警告装置
JP2016219040A (ja) 2016-08-03 2016-12-22 三菱自動車工業株式会社 車両用後方監視装置
JP3225547U (ja) 2017-03-15 2020-03-19 榮耀光電科技有限公司 静電容量式タッチ制御車内ドアハンドル警告装置

Also Published As

Publication number Publication date
CN113734045A (zh) 2021-12-03
JP2021189620A (ja) 2021-12-13
US11364868B2 (en) 2022-06-21
US20210370860A1 (en) 2021-12-02

Similar Documents

Publication Publication Date Title
JP7478592B2 (ja) 車両制御システム、及び車両制御方法
US9955326B2 (en) Responding to in-vehicle environmental conditions
US11364876B2 (en) Vehicle control device, vehicle control method, and recording medium
US11572732B2 (en) Vehicle control device, vehicle control method, and recording medium
JP2008296777A (ja) 車両用開閉制御装置
CN114572141A (zh) 乘员监测系统、乘员遗留提醒方法及相关设备
US11549303B2 (en) Vehicle control device, vehicle control method, and recording medium
JP2008095441A (ja) 車両用セキュリティシステム
JP7399790B2 (ja) エントリー支援システム、エントリー支援方法、及びエントリー支援プログラム
JP7490454B2 (ja) 車両制御システム、及び車両制御方法
JP2010214990A (ja) 車両用制御装置および方法、並びにプログラム
JP5051364B2 (ja) 車輌ドアシステム
JP7422018B2 (ja) 車両制御システム、及び車両制御方法
CN113799730A (zh) 车辆控制系统及车辆控制方法
CN113494231B (zh) 车辆控制装置、车辆控制方法及记录介质
US11999293B2 (en) Vehicle control system and vehicle control method
JP2022030688A (ja) 車両制御システム、及び車両制御方法
US20240181980A1 (en) System and method for use of a sensor matrix in a vehicle interior
JP2021189611A (ja) 車両制御システム、車両制御方法、及び車両制御プログラム
JP2022052906A (ja) 車両制御装置および車両制御方法
JP2022030687A (ja) 車両制御システム、及び車両制御方法
WO2023019211A1 (en) System and method for use of a sensor matrix in a vehicle interior

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240422

R150 Certificate of patent or registration of utility model

Ref document number: 7478592

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150