JP7491208B2 - 降車動作判定装置、車両、降車動作判定法及びプログラム - Google Patents

降車動作判定装置、車両、降車動作判定法及びプログラム Download PDF

Info

Publication number
JP7491208B2
JP7491208B2 JP2020212505A JP2020212505A JP7491208B2 JP 7491208 B2 JP7491208 B2 JP 7491208B2 JP 2020212505 A JP2020212505 A JP 2020212505A JP 2020212505 A JP2020212505 A JP 2020212505A JP 7491208 B2 JP7491208 B2 JP 7491208B2
Authority
JP
Japan
Prior art keywords
occupant
state
sensor
vehicle
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020212505A
Other languages
English (en)
Other versions
JP2022098864A (ja
Inventor
新 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020212505A priority Critical patent/JP7491208B2/ja
Priority to US17/453,665 priority patent/US11673559B2/en
Priority to CN202111312710.4A priority patent/CN114655083A/zh
Publication of JP2022098864A publication Critical patent/JP2022098864A/ja
Application granted granted Critical
Publication of JP7491208B2 publication Critical patent/JP7491208B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
    • B60N2/0024—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat
    • B60N2/0027—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat for detecting the position of the occupant or of occupant's body part
    • B60N2/0028—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat for detecting the position of the occupant or of occupant's body part of a body part, e.g. of an arm or a leg
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
    • B60N2/0024—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat
    • B60N2/0029—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat for detecting the motion of the occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
    • B60N2/003—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement characterised by the sensor mounting location in or on the seat
    • B60N2/0033—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement characterised by the sensor mounting location in or on the seat mounted on or in the foam cushion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
    • B60N2210/10—Field detection presence sensors
    • B60N2210/12—Capacitive; Electric field
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
    • B60N2210/10—Field detection presence sensors
    • B60N2210/16—Electromagnetic waves
    • B60N2210/18—Infrared
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
    • B60N2210/10—Field detection presence sensors
    • B60N2210/16—Electromagnetic waves
    • B60N2210/22—Optical; Photoelectric; Lidar [Light Detection and Ranging]
    • B60N2210/24—Cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Ophthalmology & Optometry (AREA)
  • Seats For Vehicles (AREA)
  • Passenger Equipment (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)
  • Chair Legs, Seat Parts, And Backrests (AREA)
  • Geophysics And Detection Of Objects (AREA)

Description

本発明は、降車動作判定装置、車両、降車動作判定法及びプログラムに関する。
特許文献１には、搭乗者の降車時に、車内又は車外へ報知する降車時注意喚起装置が開示されている。具体的には、特許文献１の降車時注意喚起装置では、車両が駐車状態になった場合に、搭乗者へ音声メッセージを出力することで注意喚起を行う。
特開２０１８－１６０１３５号公報
しかしながら、上記特許文献１の装置では、乗員が降車動作に移行したことは検知できない。このため、降車しない場合にも注意喚起が行われることとなり、煩わしい。
本発明は、乗員の快適性を確保しつつ、降車時の注意を促すことができる降車動作判定装置、車両、降車動作判定法及びプログラムを得ることを目的とする。
請求項１に係る降車動作判定装置は、車室内に設けられた第１センサからの信号に基づいて、車両用シートに着座した乗員の上体を起こした第１状態を検知する上体移動検知部と、前記第１センサ又は前記第１センサとは別の第２センサからの信号に基づいて、車両用シートに着座した乗員の手がドアインサイドハンドルに近接又は接触している第２状態を検知する手位置検知部と、前記上体移動検知部により前記第１状態が検知され、かつ、前記手位置検知部により前記第２状態が検知された場合に、乗員が降車動作に移行したと判定する降車動作判定部と、を有し、乗員の視線方向を取得する視線方向取得部をさらに備え、前記降車動作判定部は、前記第１状態及び前記第２状態が検知され、さらに前記視線方向取得部によって乗員の視線方向がドアインサイドハンドルへ向けられていることが検知された場合に、乗員が降車動作に移行したと判定する。
請求項１に係る降車動作判定装置では、上体移動検知部は、車室内に設けられた第１センサからの信号に基づいて乗員が上体を起こした第１状態を検知する。また、手位置検知部は、第１センサ又は第２センサからの信号に基づいて、乗員の手がドアインサイドハンドルに近接又は接触している第２状態を検知する。さらに、降車動作判定部は、第１状態及び第２状態が検知された場合に、乗員が降車動作に移行したと判定する。これにより、乗員がドアを開く前に乗員の降車動作を検知することができる。
また、第１状態及び第２状態が検知されるまでは降車動作と判定しないため、停車時などの不必要なタイミングで注意喚起が行われるのを抑制することができる。さらに、乗員の視線方向がドアインサイドハンドルへ向けられている場合にのみ降車動作に移行したと判定することで、視線方向を検知しない構成と比較して、誤判定を低減することができる。なお、ここでいう「降車動作」とは、サイドドアを開く動作に限定されず、サイドドアを開く前の動作を広く含む概念である。すなわち、「降車動作」は、車両走行中の乗車姿勢からサイドドアを開く姿勢へ移行する移行中の動作を含む。
請求項２に係る降車動作判定装置は、請求項１において、前記上体移動検知部は、前記第１センサとして前記車両用シートに搭載されたシート荷重センサによる荷重分布に基づいて前記第１状態を検知する。
請求項２に係る降車動作判定装置では、シート荷重センサによる荷重分布に基づいて上体が起こされたことを検知する。これにより、例えば、安楽姿勢に対応する荷重分布から上体を起こした姿勢に対応する荷重分布へ変化した場合に、第１状態を検知することができる。
請求項３に係る降車動作判定装置は、請求項１又は２において、前記上体移動検知部及び前記手位置検知部は、前記第１センサとして室内カメラが撮像した乗員の画像に基づいて、前記第１状態及び前記第２状態を検知する。
請求項３に係る降車動作判定装置では、室内カメラが撮像した乗員の画像に基づいて第１状態及び第２状態を検知することにより、他のセンサ類を用いることなく乗員の降車動作を判定することができる。
請求項４に係る車両は、請求項１～３の何れか１項に記載の降車動作判定装置を有する。
請求項５に係る降車動作判定方法は、車室内に設けられた第１センサからの信号に基づいて、車両用シートに着座した乗員の上体を起こした第１状態を検知し、前記第１センサ又は前記第１センサとは別の第２センサからの信号に基づいて、車両用シートに着座した乗員の手がドアインサイドハンドルに近接又は接触している第２状態を検知し、前記第１状態が検知され、かつ、前記第２状態が検知され、さらに乗員の視線方向がドアインサイドハンドルへ向けられていることが検知された場合に、乗員が降車動作に移行したと判定する。
請求項６に係るプログラムは、車室内に設けられた第１センサからの信号に基づいて、車両用シートに着座した乗員の上体を起こした第１状態を検知し、前記第１センサ又は前記第１センサとは別の第２センサからの信号に基づいて、車両用シートに着座した乗員の手がドアインサイドハンドルに近接又は接触している第２状態を検知し、前記第１状態が検知され、かつ、前記第２状態が検知され、さらに乗員の視線方向がドアインサイドハンドルへ向けられていることが検知された場合に、乗員が降車動作に移行したと判定する、処理をコンピュータに実行させる。
以上説明したように、本発明に係る降車動作判定装置、車両、降車動作判定法及びプログラムによれば、乗員の快適性を確保しつつ、降車時の注意を促すことができる。
第１実施形態に係る車両のハードウェア構成を示すブロック図である。 第１実施形態に係る降車動作判定装置の機能構成を示すブロック図である。 第１実施形態における降車動作判定処理の流れの一例を示すフローチャートである。 第２実施形態に係る車両のハードウェア構成を示すブロック図である。 第２実施形態に係る降車動作判定装置の機能構成を示すブロック図である。 第２実施形態における降車動作判定処理の流れの一例を示すフローチャートである。
＜第１実施形態＞
第１実施形態に係る降車動作判定装置１０について、図面を参照して説明する。
（車両１２のハードウェア構成）
図１に示されるように、本実施形態の車両１２は、降車動作判定装置１０を備えている。降車動作判定装置１０は、車両１２の車室内の状態が降車動作に移行したか否かについて判定するための装置であり、例えば、車両１２に搭載されたＥＣＵ（Electronic Control Unit）である。
降車動作判定装置１０は、ＣＰＵ（Central Processing Unit：プロセッサ）１４、ＲＯＭ（Read Only Memory）１６、ＲＡＭ（Random Access Memory）１８、ストレージ２０及び入出力インターフェース２２を含んで構成されている。各構成は、内部バス２３を介して相互に通信可能に接続されている。
ＣＰＵ１４は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１４は、ＲＯＭ１６又はストレージ２０からプログラムを読み出し、ＲＡＭ１８を作業領域としてプログラムを実行する。また、ＣＰＵ１４は、ＲＯＭ１６又はストレージ２０に記録されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。
ＲＯＭ１６は、各種プログラムおよび各種データを格納する。ＲＡＭ１８は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ２０は、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する非一時的記録媒体である。本実施形態では、ＲＯＭ１６又はストレージ２０には、降車動作判定処理を行うためのプログラム等が格納されている。
ここで、入出力インターフェース２２は、運転支援ＥＣＵ４０と電気的に接続されている。運転支援ＥＣＵ４０は、降車動作判定装置１０と同様に、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、ストレージ及び入出力インターフェースなどを含んで構成されている。また、運転支援ＥＣＵ４０は、障害物検知部としての前側カメラ４２、後側カメラ４４、右側カメラ４６、左側カメラ４８、前側ミリ波レーダ５０及び後側ミリ波レーダ５２を備えている。
前側カメラ４２は、例えば車両１２の前部に設けられて車両前方へ向けられており、車両前方を撮像する。後側カメラ４４は、例えば車両１２の後部に設けられて車両後方へ向けられており、車両後方を撮像する。
右側カメラ４６は、例えば右側のドアミラーに設けられて車両後方へ向けられており、車両右後方を撮像する。左側カメラ４８は、例えば左側のドアミラーに設けられて車両後方へ向けられており、車両左後方を撮像する。
前側ミリ波レーダ５０は、例えば車両１２の前部に設けられており、車両前方側の障害物を検知する。後側ミリ波レーダ５２は、例えば車両１２の後部に設けられており、車両後方側の障害物を検知する。
降車動作判定装置１０は、運転支援ＥＣＵ４０を構成する上記のセンサ類で検知された車両周辺の情報を取得する。
また、降車動作判定装置１０の入出力インターフェース２２は、シート荷重センサ２４、近接センサ２６、室内カメラ２８及び報知装置としてのスピーカ３０と電気的に接続されている。
シート荷重センサ２４は、車両用シートを構成するシートクッションの内部に設けられており、乗員が車両用シートに着座した際に、シートクッションの荷重分布を出力するように構成されている。
近接センサ２６は、ドアインサイドハンドルの周辺に設けられている。ドアインサイドハンドルは、サイドドアの車室内側に設けられており、乗員が把持して内側へ引くなどの操作することで、サイドドアを開くことができるように構成されている。ここで、本実施形態の近接センサ２６は一例として、静電容量の変化により物体の有無を検知する静電容量型の近接センサが用いられている。
室内カメラ２８は、車室内を撮像するカメラであり、本実施形態では一例として、車両の前席及び後席に着座した乗員を検知可能に構成されている。
スピーカ３０は、車室内に設けられており、車両用シートに着座した乗員へ向けて所定の音声を出力することで、乗員に種々の通知を行う。
（降車動作判定装置１０の機能構成）
降車動作判定装置１０は、上記のハードウェア資源を用いて、各種の機能を実現する。降車動作判定装置１０が実現する機能構成について図２を参照して説明する。
図２に示されるように、降車動作判定装置１０は、機能構成として、上体移動検知部６０、手位置検知部６２、降車動作判定部６４、周辺情報検知部６６及び報知部６８を含んで構成されている。各機能構成は、ＣＰＵ１４がプログラムを読み出して実行することにより実現される。
上体移動検知部６０は、車室内に設けられたシート荷重センサ２４からの信号に基づいて、車両用シートに着座した乗員の上体を起こした第１状態を検知する。具体的には、上体移動検知部６０は、シート荷重センサ２４から取得した荷重分布が通常の車両走行時の安楽姿勢に対応する荷重分布から、上体を起こした姿勢（第１状態）に対応する荷重分布へ変化したことを検知する。
一例として、安楽姿勢では、シートバックに乗員の身体が支持された状態となっているため、シート荷重センサ２４によって取得された荷重分布は、全体的に小さい荷重となっている。これに対して、乗員が上体を起こした第１状態では、乗員の身体がシートバックから離間することで、シートクッションに作用する荷重が増加するため、シート荷重センサ２４によって取得された荷重分布は、全体的に安楽姿勢時よりも荷重が大きくなる。また、第１状態では、座骨の位置で特に荷重が大きくなるため、荷重分布に基づいて安楽姿勢であるか第１状態であるかを検知することができる。なお、荷重分布のデータと姿勢のデータを教師データとして学習を行った学習モデルを利用して第１状態を検知してもよい。
手位置検知部６２は、近接センサ２６からの信号に基づいて、車両用シートに着座した乗員の手がドアインサイドハンドルに近接又は接触している第２状態を検知する。具体的には、手位置検知部６２は、乗員の手がドアインサイドハンドルに近接又は接触した際の近接センサ２６の出力に応じて、乗員の手がドアインサイドハンドルに近接又は接触している第２状態を検知する。
降車動作判定部６４は、上体移動検知部６０により第１状態が検知され、かつ、手位置検知部６２により第２状態が検知された場合に、乗員が降車動作に移行したと判定する。特に、本実施形態の降車動作判定部６４は一例として、上体移動検知部６０により第１状態が検知された後、所定時間経過後に、手位置検知部６２により第２状態が検知された場合に、乗員が降車動作に移行したと判定する。
このため、例えば、乗員が安楽姿勢でドアインサイドハンドルの周辺に設けられたドアロックスイッチ及びサイドウインドウの開閉スイッチなどを操作した後、上体を起こして第１状態へ移行した場合、降車動作判定部６４は、降車動作に移行したとは判定しない。
報知部６８は、降車動作判定部６４によって乗員が降車動作に移行したと判定された場合で、かつ、運転支援ＥＣＵ４０からの信号によって車両周辺に障害物が検知された場合に、スピーカ３０により乗員に注意喚起を行う。なお、報知部６８は、スピーカ３０から音声によって乗員へ通知を行う構成に代えて又は加えて、車室内に設けられたモニタに表示を行うことで注意喚起してもよい。
（作用）
次に、本実施形態の作用を説明する。
（降車動作判定処理の一例）
図３は、降車動作判定装置１０のＣＰＵ１４による降車動作判定処理の流れの一例を示すフローチャートである。この降車動作判定処理は、ＣＰＵ１４がプログラムを読み出して、ＲＡＭ１８などに展開して実行することによって実行される。また、本実施形態では一例として、車両１２の車速がゼロになった場合に、降車動作判定処理が実行され、この降車動作判定処理は、所定の周期で繰り返し実行される。すなわち、車両１２の走行中は、降車動作判定処理が行われない。
図３に示されるように、ＣＰＵ１４は、ステップＳ１０２でシート荷重分布を取得する。具体的には、ＣＰＵ１４は、シート荷重センサ２４が検知した車両用シートのシート荷重分布のデータを取得する。
ＣＰＵ１４は、ステップＳ１０４で乗員が上体を起こした第１状態であるか否かについて判定する。具体的には、ＣＰＵ１４は、上体移動検知部６０の機能により、荷重分布が第１状態に対応する荷重分布へ変化したことが検知された場合に、ステップＳ１０４が肯定されてステップＳ１０６の処理へ移行する。
一方、ＣＰＵ１４は、ステップＳ１０４で第１状態が検知されなかった場合には、ステップＳ１０４が否定されて降車動作判定処理を終了する。
ＣＰＵ１４は、ステップＳ１０６で所定時間が経過したか否かについて判定する。具体的には、ＣＰＵ１４は、第１状態が検知された時点でタイマをスタートさせ、このタイマに基づいて所定時間が経過したか否かについて判定する。ここでいう所定時間は、乗員が上体を起こした第１状態からドアインサイドハンドルに手が近接する第２状態までに要する時間に設定される。換言すれば、第１状態と第２状態とが同時でなければよいため、例えば、数ミリ秒から数秒程度の時間に設定される。
ＣＰＵ１４は、ステップＳ１０６で所定時間が経過したと判定した場合、ステップＳ１０６が肯定されてステップＳ１０８の処理へ移行する。一方、ＣＰＵ１４は、ステップＳ１０６で所定時間が経過していないと判定した場合、ステップＳ１０６が否定されてステップＳ１０２の処理に戻る。
ＣＰＵ１４は、ステップＳ１０８で乗員の手位置を取得する。具体的には、ＣＰＵ１４は、手位置検知部６２の機能により、近接センサ２６の信号を取得する。
続いて、ＣＰＵ１４は、ステップＳ１１０で乗員の手がドアインサイドハンドルに近接しているか否かについて判定する。なお、ＣＰＵ１４は、乗員の手がドアインサイドハンドルに接触している場合も近接していると判定する。
ＣＰＵ１４は、ステップＳ１１０で近接センサ２６からの信号に基づいて乗員の手がドアインサイドハンドルに近接していると判定した場合、ステップＳ１１０が肯定されてステップＳ１１２の処理へ移行する。一方、ＣＰＵ１４は、ステップＳ１１０で乗員の手がドアインサイドハンドルに近接していると判定されなかった場合、ステップＳ１１０が否定されて降車動作判定処理を終了する。
ＣＰＵ１４は、ステップＳ１１２で降車動作への移行と判定する。そして、ＣＰＵ１４は、降車動作判定処理を終了する。
以上のように、本実施形態の降車動作判定装置１０では、降車動作判定部６４は、第１状態及び第２状態が検知された場合に、乗員が降車動作に移行したと判定する。これにより、乗員がドアを開く前に乗員の降車動作を検知することができる。
また、降車動作判定部６４は、第１状態及び第２状態が検知されるまでは降車動作と判定しないため、停車時などの不必要なタイミングで注意喚起が行われるのを抑制することができる。
さらに、本実施形態では、第１状態と第２状態とが同時に検知された場合には降車動作として判定されない。ここで、降車時には、上体を起こした後に、ドアインサイドハンドルに手を触れる乗員が多いことが分かっている。このため、図３に示すフローチャートによって降車動作への移行を判定することで、誤判定を低減することができる。
さらにまた、本実施形態では、車速がゼロになった場合に、降車動作判定処理を行う。このように車速を考慮することで、より精度よく降車動作への移行を判定することができる。また、降車動作の判定を常時行う構成と比較して、ＣＰＵ１４の処理負担を低減することができる。
また、本実施形態では、シート荷重センサ２４による荷重分布に基づいて上体が起こされたことを検知する。これにより、例えば、安楽姿勢に対応する荷重分布から上体を起こした姿勢に対応する荷重分布へ変化した場合に、第１状態を検知することができる。
さらに、本実施形態では、ドアインサイドハンドルの周辺に設けた近接センサ２６からの信号に基づいて第２状態を検知することで、ドアインサイドハンドルから離れた位置でセンシングする構成と比較して、精度良く第２状態を検知することができる。
さらにまた、本実施形態では、乗員が降車動作に移行したと判定された場合、かつ、車両周辺に障害物が検知された場合に、スピーカ３０により乗員に所定の通知を行うことで、ドアを開ける前の乗員に対して注意喚起を行うことができる。
＜第２実施形態＞
次に、第２実施形態に係る降車動作判定装置７０について、図面を参照して説明する。なお、第１実施形態と同様の構成については、同じ符号を付し、適宜説明を省略する。
図４に示されるように、本実施形態の車両７２は、降車動作判定装置７０を備えている。また、降車動作判定装置７０を構成する入出力インターフェース２２は、視線検知センサ７４、室内カメラ２８及びスピーカ３０と電気的に接続されている。ここで、本実施形態では、シート荷重センサ２４及び近接センサ２６に代えて視線検知センサ７４が設けられている点で第１実施形態と異なる。
視線検知センサ７４は、乗員の視線方向を検知するセンサであり、例えば、運転席に着座した乗員の視線方向を検知する視線検知センサ７４は、運転席の正面にインストルメントパネルなどに設けられる。そして、運転席に着座した乗員の瞳孔の位置などを検出することにより、視線方向を算出する。その他のハードウェア構成については、第１実施形態と同様である。
（降車動作判定装置７０の機能構成）
降車動作判定装置７０は、図４のハードウェア資源を用いて、各種の機能を実現する。降車動作判定装置７０が実現する機能構成について図５を参照して説明する。
図５に示されるように、降車動作判定装置７０は、機能構成として、上体移動検知部６０、手位置検知部６２、降車動作判定部６４、周辺情報検知部６６、報知部６８及び視線方向取得部７６を含んで構成されている。各機能構成は、ＣＰＵ１４がプログラムを読み出して実行することにより実現される。
ここで、本実施形態における上体移動検知部６０及び手位置検知部６２は、第１実施形態と異なる機能とされている。また、本実施形態では、視線方向取得部７６を備えている。
上体移動検知部６０は、車室内に設けられた室内カメラ２８からの信号に基づいて、車両用シートに着座した乗員の上体を起こした第１状態を検知する。具体的には、上体移動検知部６０は、室内カメラ２８で撮像された乗員の画像から上体の位置を算出し、上体の位置が車両前方へ所定の位置まで移動した場合に第１状態であると検知する。このため、本実施形態における室内カメラ２８は、ＴＯＦ（Time Of Flight）カメラなどの距離を容易に計測できるカメラを用いてもよい。
手位置検知部６２は、室内カメラ２８からの信号に基づいて、車両用シートに着座した乗員の手がドアインサイドハンドルに近接又は接触している第２状態を検知する。具体的には、手位置検知部６２は、室内カメラ２８で撮像された乗員の画像から手の部分を抽出し、手の位置とドアインサイドハンドルとの距離を算出する。そして、算出された乗員の手の位置とドアインサイドハンドルとが所定の距離以下であった場合に、第２状態であることが検知される。このように、本実施形態では、上体移動検知部６０及び手位置検知部６２の両方に対して、室内カメラ２８で撮像された乗員の画像が用いられる。
視線方向取得部７６は、視線検知センサ７４からの信号に基づいて乗員の視線方向を取得する。具体的には、視線方向取得部７６は、乗員の視線を取得することで、視線の先にある部位、すなわち、乗員が見ている部位を特定する。
また、本実施形態の降車動作判定部６４は、上体移動検知部６０及び手位置検知部６２からの信号に加えて、視線方向取得部７６で取得された乗員の視線方向を考慮して降車動作を判定する。
（作用）
次に、本実施形態の作用を説明する。
（降車動作判定処理の一例）
図６は、降車動作判定装置７０のＣＰＵ１４による降車動作判定処理の流れの一例を示すフローチャートである。この降車動作判定処理は、ＣＰＵ１４がプログラムを読み出して、ＲＡＭ１８などに展開して実行することによって実行される。また、本実施形態では一例として、車両１２の車速がゼロになった場合に、降車動作判定処理が実行され、この降車動作判定処理は、所定の周期で繰り返し実行される。すなわち、車両１２の走行中は、降車動作判定処理が行われない。
図６に示されるように、ＣＰＵ１４は、ステップＳ２０２で乗員の上体の位置を取得する。具体的には、ＣＰＵ１４は、上体移動検知部６０の機能により、室内カメラ２８からの信号に基づいて乗員の上体位置を算出する。
ＣＰＵ１４は、ステップＳ２０４で乗員が上体を起こしているか否かについて判定する。具体的には、ＣＰＵ１４は、上体移動検知部６０の機能により、車室内に設けられた室内カメラ２８からの信号に基づいて、車両用シートに着座した乗員の上体を起こした第１状態を検知した場合、ステップＳ２０４が肯定されてステップＳ２０６の処理へ移行する。
一方、ＣＰＵ１４は、ステップＳ２０４で第１状態が検知されなかった場合には、ステップＳ２０４が否定されて降車動作判定処理を終了する。
ＣＰＵ１４は、ステップＳ２０６で所定時間が経過したか否かについて判定する。具体的には、ＣＰＵ１４は、第１状態が検知された時点でタイマをスタートさせ、このタイマに基づいて所定時間が経過したか否かについて判定する。
ＣＰＵ１４は、ステップＳ２０６で所定時間が経過したと判定した場合、ステップＳ２０６が肯定されてステップＳ２０８の処理へ移行する。一方、ＣＰＵ１４は、ステップＳ２０６で所定時間が経過していないと判定した場合、ステップＳ２０６が否定されてステップＳ２０２の処理に戻る。
ＣＰＵ１４は、ステップＳ２０８で乗員の手位置及び視線方向を取得する。具体的には、ＣＰＵ１４は、室内カメラ２８が撮像した画像から乗員の手の部分を抽出する。また、ＣＰＵ１４は、視線方向取得部７６の機能により、視線検知センサ７４からの信号に基づいて乗員の視線方向を取得する。
続いてＣＰＵ１４は、ステップＳ２１０で乗員の視線方向がドアインサイドハンドルに向けられているか否かについて判定する。具体的には、ＣＰＵ１４は、視線方向取得部７６によって取得された乗員の視線方向がドアインサイドハンドル又はドアインサイドハンドルの近傍へ向けられている場合、ステップＳ２１０が肯定されてステップＳ２１２の処理へ移行する。
一方、ＣＰＵ１４は、ステップＳ２１０で乗員の視線方向がドアインサイドハンドルへ向いていないと判定した場合、ステップＳ２１０が否定されて降車動作判定処理を終了する。
次に、ＣＰＵ１４は、ステップＳ２１２で乗員の手がドアインサイドハンドルに近接しているか否かについて判定する。具体的には、ＣＰＵ１４は、手位置検知部６２に機能により、室内カメラ２８で撮像された乗員の手の位置とドアインサイドハンドルとの距離が所定の距離以下であった場合、ステップＳ２１２が肯定されてステップＳ２１４の処理へ移行する。
一方、ＣＰＵ１４は、ステップＳ２１２で乗員の手の位置とドアインサイドハンドルとの距離が所定の距離よりも離れていると判定した場合、ステップＳ２１２が否定されて降車動作判定処理を終了する。
ＣＰＵ１４は、ステップＳ２１４で降車動作への移行と判定する。そして、ＣＰＵ１４は、降車動作判定処理を終了する。
以上のように、本実施形態に係る降車動作判定装置７０では、カメラが撮像した乗員の画像に基づいて第１状態及び第２状態を検知することにより、他のセンサ類を用いることなく乗員の降車動作を判定することができる。
また、本実施形態では、乗員の視線方向がドアインサイドハンドルへ向けられている場合にのみ降車動作に移行したと判定することで、視線方向を検知しない構成と比較して、誤判定を低減することができる。その他の作用については第１実施形態と同様である。
以上、第１実施形態及び第２状態形態に係る降車動作判定装置１０、７０について説明したが、本発明の要旨を逸脱しない範囲において、種々なる態様で実施し得ることは勿論である。例えば、上記実施形態では、車両１２の車速がゼロになった場合に、降車動作判定処理を実行する構成としたが、これに限定されず、車両１２が始動された直後から周期的に降車動作判定処理を実行してもよい。
また、上記実施形態では、第１状態が検知された後、所定時間の経過後に第２状態を検知する構成としたが、これに限定されない。例えば、第１状態及び第２状態が同時に検知された場合であっても降車動作への移行と判定してもよい。また、第２状態が検知された後に第１状態が検知された場合であっても降車動作への移行と判定してもよい。以上の判定方法によれば、イレギュラーな降車動作時を判定することができる。ただし、誤判定を抑制する観点で、第１状態が検知された後、所定時間の経過後に第２状態を検知するのが好ましい。
さらに、上記第１実施形態では、上体移動検知部６０は、車室内に設けられたシート荷重センサ２４からの信号に基づいて、車両用シートに着座した乗員の上体を起こした第１状態を検知したが、これに限定されない。例えば、シートバックに赤外線センサなどの近接センサを設け、この近接センサの信号に基づいて第１状態を検知してもよい。この場合、上体移動検知部６０は、近接センサによって乗員の身体（背中）とシートバックとの距離を検出し、乗員の身体がシートバックから所定距離以上離間した場合に、第１状態であると検知してもよい。また、シートバックに設けた近接センサとシート荷重センサ２４の両方を用いて第１状態を検知してもよい。
さらにまた、上記第２実施形態では、上体移動検知部６０及び手位置検知部６２の両方に対して、室内カメラ２８で撮像された乗員の画像を用いたが、これに限定されない。すなわち、第１実施形態と同様にシート荷重センサ２４及び近接センサ２６を用いてもよい。
また、上記第２実施形態では、降車動作判定部６４は、乗員の視線方向がドアインサイドハンドルへ向いている場合に降車動作への移行と判定したが、これに限定されない。例えば、図６のステップＳ２１０において、視線方向取得部７６によって乗員の視線方向が乗員の正面（車両前方）よりも車両幅方向外側へ向いている場合に、ＣＰＵ１４がステップＳ２１０を肯定判定してもよい。降車時には、乗員の視線方向は無意識に車両幅方向外側、すなわち、サイドドアの外側の景色へ向けられるため、乗員の視線方向が車両前方よりも車両幅方向外側へ向けられている場合に降車動作へ移行していると判定すれば、イレギュラーな降車動作を検知できる可能性が高くなる。
さらに、上記実施形態では、降車動作判定部６４によって乗員が降車動作に移行したと判定された場合で、かつ、運転支援ＥＣＵ４０からの信号によって車両周辺に障害物が検知された場合に、スピーカ３０により乗員に注意喚起を行う構成としたが、これに加えて他の処理を実施してもよい。例えば、乗員がドアインサイドハンドルを操作した場合でもサイドドアと車体との係合状態が維持される構成としてもよい。すなわち、車両周辺に障害物が検知された場合に、自動的にドアロックを行う構成では、ドアがロックされている理由を乗員が理解しにくい。これに対して、上記実施形態では、乗員がドアを開く動作を行う前に注意喚起が行われるため、サイドドアが開かなかった場合でも乗員が理由を把握することができる。
さらにまた、上記実施形態でＣＰＵ１４及びＣＰＵコア１４がソフトウェア（プログラム）を読み込んで実行した処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Field-Programmable Gate Array）などの製造後に回路構成を変更可能なＰＬＤ（Programmable Logic Device）、及びＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが例示される。また、降車動作判定処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせなど）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路である。
さらに、上記実施形態では、ＲＯＭ１６及びストレージ２０を非一時的記録媒体であるメモリとしたが、これに限定されない。例えば、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、及びＵＳＢ（Universal Serial Bus）メモリなどを非一時的記録媒体としてもよい。この場合、これらの記録媒体に各種プログラムを格納してもよい。
１０、７０ 降車動作判定装置
１２ 車両
２４ シート荷重センサ（第１センサ）
２６ 近接センサ（第２センサ）
２８ 室内カメラ（第１センサ、第２センサ）
３０ スピーカ（報知装置）
４２ 前側カメラ（障害物検知部）
４４ 後側カメラ（障害物検知部）
４６ 右側カメラ（障害物検知部）
４８ 左側カメラ（障害物検知部）
５０ 前側ミリ波レーダ（障害物検知部）
５２ 後側ミリ波レーダ（障害物検知部）
６０ 上体移動検知部
６２ 手位置検知部
６４ 降車動作判定部
７６ 視線方向取得部

Claims (6)

  1. 車室内に設けられた第１センサからの信号に基づいて、車両用シートに着座した乗員の上体を起こした第１状態を検知する上体移動検知部と、
    前記第１センサ又は前記第１センサとは別の第２センサからの信号に基づいて、車両用シートに着座した乗員の手がドアインサイドハンドルに近接又は接触している第２状態を検知する手位置検知部と、
    前記上体移動検知部により前記第１状態が検知され、かつ、前記手位置検知部により前記第２状態が検知された場合に、乗員が降車動作に移行したと判定する降車動作判定部と、
    を有し、
    乗員の視線方向を取得する視線方向取得部をさらに備え、
    前記降車動作判定部は、前記第１状態及び前記第２状態が検知され、さらに前記視線方向取得部によって乗員の視線方向がドアインサイドハンドルへ向けられていることが検知された場合に、乗員が降車動作に移行したと判定する降車動作判定装置。
  2. 前記上体移動検知部は、前記第１センサとして前記車両用シートに搭載されたシート荷重センサによる荷重分布に基づいて前記第１状態を検知する請求項１に記載の降車動作判定装置。
  3. 前記上体移動検知部及び前記手位置検知部は、前記第１センサとして室内カメラが撮像した乗員の画像に基づいて、前記第１状態及び前記第２状態を検知する請求項１又は２に記載の降車動作判定装置。
  4. 請求項１～３の何れか１項に記載の降車動作判定装置を有する車両。
  5. 車室内に設けられた第１センサからの信号に基づいて、車両用シートに着座した乗員の上体を起こした第１状態を検知し、
    前記第１センサ又は前記第１センサとは別の第２センサからの信号に基づいて、車両用シートに着座した乗員の手がドアインサイドハンドルに近接又は接触している第２状態を検知し、
    前記第１状態が検知され、かつ、前記第２状態が検知され、さらに乗員の視線方向がドアインサイドハンドルへ向けられていることが検知された場合に、乗員が降車動作に移行したと判定する、
    降車動作判定方法。
  6. 車室内に設けられた第１センサからの信号に基づいて、車両用シートに着座した乗員の上体を起こした第１状態を検知し、
    前記第１センサ又は前記第１センサとは別の第２センサからの信号に基づいて、車両用シートに着座した乗員の手がドアインサイドハンドルに近接又は接触している第２状態を検知し、
    前記第１状態が検知され、かつ、前記第２状態が検知され、さらに乗員の視線方向がドアインサイドハンドルへ向けられていることが検知された場合に、乗員が降車動作に移行したと判定する、
    処理をコンピュータに実行させるプログラム。
JP2020212505A 2020-12-22 2020-12-22 降車動作判定装置、車両、降車動作判定法及びプログラム Active JP7491208B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020212505A JP7491208B2 (ja) 2020-12-22 2020-12-22 降車動作判定装置、車両、降車動作判定法及びプログラム
US17/453,665 US11673559B2 (en) 2020-12-22 2021-11-05 Disembarkation action determination device, vehicle, disembarkation action determination method, and non-transitory storage medium stored with program
CN202111312710.4A CN114655083A (zh) 2020-12-22 2021-11-08 下车动作判定装置、车辆、下车动作判定法以及存储有程序的非临时性存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020212505A JP7491208B2 (ja) 2020-12-22 2020-12-22 降車動作判定装置、車両、降車動作判定法及びプログラム

Publications (2)

Publication Number Publication Date
JP2022098864A JP2022098864A (ja) 2022-07-04
JP7491208B2 true JP7491208B2 (ja) 2024-05-28

Family

ID=82023775

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020212505A Active JP7491208B2 (ja) 2020-12-22 2020-12-22 降車動作判定装置、車両、降車動作判定法及びプログラム

Country Status (3)

Country Link
US (1) US11673559B2 (ja)
JP (1) JP7491208B2 (ja)
CN (1) CN114655083A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4350643A1 (en) * 2022-10-05 2024-04-10 Aptiv Technologies AG Vehicle exit assistance

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017165218A (ja) 2016-03-15 2017-09-21 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2018206186A (ja) 2017-06-07 2018-12-27 パナソニックＩｐマネジメント株式会社 歩行者端末装置、車載端末装置、歩車間通信システム、および降車通知方法
JP2019200548A (ja) 2018-05-15 2019-11-21 日産自動車株式会社 車載装置、車載装置の制御方法、及び予備動作推定システム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003190217A (ja) * 2001-12-28 2003-07-08 Nissan Motor Co Ltd 車両用乗降補助装置
DE102005014581A1 (de) * 2005-03-24 2006-09-28 Valeo Schalter Und Sensoren Gmbh Verfahren und Vorrichtung zur Vermeidung von Kollisionen beim Öffnen von Fahrzeugtüren
JP2008248625A (ja) * 2007-03-30 2008-10-16 Denso Corp 車両用ドア開閉装置
JP2012245950A (ja) * 2011-05-31 2012-12-13 Aisin Engineering Kk アームレスト装置
JP2013093013A (ja) * 2011-10-06 2013-05-16 Ricoh Co Ltd 画像処理装置、車両
JP6173746B2 (ja) * 2013-04-04 2017-08-02 矢崎総業株式会社 車両用警報装置
JP5949660B2 (ja) * 2013-05-21 2016-07-13 株式会社デンソー ドライバ確認装置
GB2505763A (en) * 2013-07-12 2014-03-12 Daimler Ag Warning device when an object approaches the vehicle and a door is about to be opened, having inside and outside proximity sensors
WO2016194144A1 (ja) * 2015-06-02 2016-12-08 三菱電機株式会社 車両ドア開放警告装置および車両ドア開放警告システム
DE102016221507A1 (de) * 2016-11-02 2018-05-03 Bayerische Motoren Werke Aktiengesellschaft Verstellbarer Fahrzeugsitz
JP6901298B2 (ja) 2017-03-23 2021-07-14 株式会社東芝 降車時注意喚起装置
JP6822303B2 (ja) * 2017-04-28 2021-01-27 トヨタ自動車株式会社 画像表示装置
US10657818B2 (en) * 2017-11-06 2020-05-19 Nio Usa, Inc. External alert system for vehicle door opening
JP2019121028A (ja) 2017-12-28 2019-07-22 パイオニア株式会社 出力制御装置、情報報知装置及び出力制御方法
JP6782283B2 (ja) * 2018-07-03 2020-11-11 矢崎総業株式会社 監視システム
JP7167647B2 (ja) 2018-11-12 2022-11-09 トヨタ自動車株式会社 降車支援装置
US20200180538A1 (en) * 2018-12-06 2020-06-11 Continental Automotive Systems, Inc. Diagnostic pedestrian protection system and related methods
JP7240218B2 (ja) * 2019-03-19 2023-03-15 本田技研工業株式会社 車両制御システム、車両制御方法、及びプログラム
US11292342B1 (en) * 2020-12-14 2022-04-05 Ford Global Technologies, Llc Systems and methods for alerting a driver to check back seat occupancy in a vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017165218A (ja) 2016-03-15 2017-09-21 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2018206186A (ja) 2017-06-07 2018-12-27 パナソニックＩｐマネジメント株式会社 歩行者端末装置、車載端末装置、歩車間通信システム、および降車通知方法
JP2019200548A (ja) 2018-05-15 2019-11-21 日産自動車株式会社 車載装置、車載装置の制御方法、及び予備動作推定システム

Also Published As

Publication number Publication date
CN114655083A (zh) 2022-06-24
JP2022098864A (ja) 2022-07-04
US20220194386A1 (en) 2022-06-23
US11673559B2 (en) 2023-06-13

Similar Documents

Publication Publication Date Title
US9475389B1 (en) System and method for controlling a vehicle display based on driver behavior
US20170334353A1 (en) Parking Assistance System
JP2018510801A5 (ja)
JP7047821B2 (ja) 運転支援装置
US10752172B2 (en) System and method to control a vehicle interface for human perception optimization
US9734695B2 (en) Activity monitoring apparatus
US11893804B2 (en) Method and device for protecting child inside vehicle, computer device, computer-readable storage medium, and vehicle
US10906550B2 (en) Vehicle control apparatus
US9981598B2 (en) Alighting notification device
JP7491208B2 (ja) 降車動作判定装置、車両、降車動作判定法及びプログラム
JP7287301B2 (ja) 死角情報取得装置、死角情報取得方法、車両及びプログラム
JP7478592B2 (ja) 車両制御システム、及び車両制御方法
JP6520531B2 (ja) 運転支援装置
JP6963940B2 (ja) 運転支援装置、運転支援方法、およびプログラム
JP2017206173A (ja) ドライバ状態検出装置
US10843624B1 (en) System and method for providing haptic counteractions and alerts within a seat of a vehicle
JPWO2019146043A1 (ja) 乗員検知装置、乗員検知システム及び乗員検知方法
JP2019011015A (ja) 車載装置および運転診断方法
CN114179719A (zh) 用于乘员的安全离开警告装置和方法
JP2004041485A (ja) 開閉眼モニタ装置
JP2013180634A (ja) 車載用電子機器とそれを搭載した自動車
US11915574B2 (en) Alert system to output alert about occupant left in vehicle
US11142216B2 (en) Seat haptics
US20230007914A1 (en) Safety device and method for avoidance of dooring injuries
JP2005143895A (ja) 運転者心理状態判定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240429

R150 Certificate of patent or registration of utility model

Ref document number: 7491208

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150