JP6870294B2 - 乗員情報検出装置およびプログラム - Google Patents

乗員情報検出装置およびプログラム Download PDF

Info

Publication number
JP6870294B2
JP6870294B2 JP2016228592A JP2016228592A JP6870294B2 JP 6870294 B2 JP6870294 B2 JP 6870294B2 JP 2016228592 A JP2016228592 A JP 2016228592A JP 2016228592 A JP2016228592 A JP 2016228592A JP 6870294 B2 JP6870294 B2 JP 6870294B2
Authority
JP
Japan
Prior art keywords
occupant
information
calculation unit
face
load
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016228592A
Other languages
English (en)
Other versions
JP2018083561A (ja
Inventor
宏行 藤井
宏行 藤井
晋 大須賀
晋 大須賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2016228592A priority Critical patent/JP6870294B2/ja
Priority to EP17203589.1A priority patent/EP3326869B1/en
Priority to US15/821,912 priority patent/US10503986B2/en
Publication of JP2018083561A publication Critical patent/JP2018083561A/ja
Application granted granted Critical
Publication of JP6870294B2 publication Critical patent/JP6870294B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593Recognising seat occupancy
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512Passenger detection systems
    • B60R21/01516Passenger detection systems using force or pressure sensing means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512Passenger detection systems
    • B60R21/01552Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00Special features of vehicle units
    • B60Y2400/30Sensors
    • B60Y2400/301Sensors for position or displacement
    • B60Y2400/3015Optical cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01GWEIGHING
    • G01G19/00Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/40Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight
    • G01G19/413Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means
    • G01G19/414Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only
    • G01G19/4142Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only for controlling activation of safety devices, e.g. airbag systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Description

本発明の実施形態は、乗員情報検出装置およびプログラムに関する。
従来、車両の乗員情報を検出する技術が知られている(例えば特許文献1、2、および3参照)。乗員情報は、体格にかかる情報であり、一例では、乗員が子供であるか否かの識別情報である。検出された乗員情報は、エアバッグの展開制御など、種々の制御に供せされる。
米国特許出願公開第2006/0251293号明細書 特開2007−198929号公報 特開2006−205844号公報 特開平9−150662号公報
乗員情報を検出するシステムに関しては、検出精度の向上が要望される。
本発明の課題の一つは、検出精度を向上させた乗員情報検出装置およびプログラムを提供することである。
本発明の実施形態の乗員情報検出装置は、一例として、車両の室内に設けられ座席に着座する乗員を撮像する撮像装置によって撮像された画像と、座席に設けられた荷重センサの検出値と、を取得する取得部と、画像から乗員の顔にかかる情報である第1情報を演算する第1演算部と、第1情報と検出値とに基づいて乗員の体格にかかる情報である第2情報を演算する第2演算部と、を備えた。第1情報は、顔の位置を含み、第2演算部は、座席に作用する分布荷重の重心位置を前記顔の位置に基づいて演算し、検出値を、前記重心位置と荷重センサの位置との関係に基づいて補正する。荷重センサの検出値の処理の際に、乗員の顔にかかる情報に基づいて補正を行うことが可能となるので、乗員情報の検出精度が向上する。また、乗員が上半身を車両の左右方向に傾けた姿勢をとっている場合を考慮して荷重の検出値が補正されるので、乗員の姿勢が検出結果に与える影響を低減することが可能となる。
また、本発明の実施形態の乗員情報検出装置では、一例として、車両の室内に設けられ座席に着座する乗員を撮像する撮像装置によって撮像された画像と、座席に設けられた荷重センサの検出値と、を取得する取得部と、画像から乗員の顔にかかる情報である第1情報を演算する第1演算部と、第1情報と検出値とに基づいて乗員の体格にかかる情報である第2情報を演算する第2演算部と、を備えた。第1情報は、顔の位置を含み、第2演算部は、検出値を、顔の位置に基づいて補正する。よって、乗員が上半身を車両の左右方向に傾けた姿勢をとっている場合を考慮して荷重の検出値が補正されるので、乗員の姿勢が検出結果に与える影響を低減することが可能となる。即ち、乗員情報の検出精度が向上する。
また、本発明の実施形態の乗員情報検出装置では、一例として、車両の室内に設けられ座席に着座する乗員を撮像する撮像装置によって撮像された画像と、座席に設けられた荷重センサの検出値と、を取得する取得部と、画像から乗員の顔にかかる情報である第1情報を演算する第1演算部と、第1情報と検出値とに基づいて乗員の体格にかかる情報である第2情報を演算する第2演算部と、を備えた。第1情報は、顔の位置をさらに含み、第2演算部は、顔の位置に基づいて乗員の座高を演算し、演算された座高を検出値に基づいて補正し、補正された座高に基づいて第2情報を演算する。よって、乗員の姿勢が検出結果に与える影響をさらに低減することが可能である。
また、本発明の実施形態の乗員情報検出装置では、一例として、荷重センサは、第1荷重センサと、第1荷重センサよりも車両の前後方向の後方に設けられた第2荷重センサと、を含み、第2演算部は、演算された座高を、第1荷重センサの検出値と第2荷重センサの検出値との関係に基づいて補正する。よって、乗員が上半身を車両の前後方向に傾けた姿勢をとっている場合を考慮して荷重の検出値が補正されるので、乗員の姿勢が検出結果に与える影響をさらに低減することが可能である。
また、本発明の実施形態の乗員情報検出装置では、一例として、第2演算部は、顔の位置と車両に設けられた固定物との距離が第1しきい値より小さい場合に、検出値に、値を大きくする補正をさらに行う。よって、乗員がドアなどの固定物に接触している場合を考慮して荷重の検出値が補正されるので、乗員の姿勢が検出結果に与える影響をさらに低減することが可能である。
また、本発明の実施形態の乗員情報検出装置では、一例として、第1演算部は、乗員の上肢の位置をさらに演算し、第2演算部は、上肢が座席以外の固定物に接触しているか否かを上肢の位置に基づいて判定し、上肢が固定物に接触していると判定された場合に、検出値に、値を大きくする補正をさらに行う。よって、乗員がドアなどの固定物に接触している場合を考慮して荷重の検出値が補正されるので、乗員の姿勢が検出結果に与える影響をさらに低減することが可能である。
また、本発明の実施形態の乗員情報検出装置では、一例として、第2情報は、乗員が子供であるか否かの識別情報を含み、第2演算部は、補正後の検出値と第2しきい値との比較に基づいて乗員が子供であるか否かを判定する。よって、荷重の検出値の処理の際に、乗員の顔にかかる情報に基づいて補正を行うことが可能となるので、乗員が子供であるか否かの検出精度が向上する。
また、本発明の実施形態のプログラムは、一例として、コンピュータに、車両の室内に設けられ座席に着座する乗員を撮像する撮像装置によって撮像された画像と、座席に設けられた荷重センサの検出値と、を取得する手順と、画像から乗員の顔にかかる情報である第1情報を演算する手順と、第1情報と検出値とに基づいて乗員の体格にかかる情報である第2情報を演算する手順と、を実行させる。第1情報は、顔の位置を含む。第2情報を演算する手順は、座席に作用する分布荷重の重心位置を顔の位置に基づいて演算する手順と、検出値を、重心位置と荷重センサの位置との関係に基づいて補正する手順と、を含む。よって、荷重センサの検出値の処理の際に、乗員の顔にかかる情報に基づいて補正を行うことが可能となるので、乗員情報の検出精度が向上する。また、乗員が上半身を車両の左右方向に傾けた姿勢をとっている場合を考慮して荷重の検出値が補正されるので、乗員の姿勢が検出結果に与える影響を低減することが可能となる。
図1は、第1の実施形態の乗員情報検出装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。 図2は、第1の実施形態の助手席の座席の側面図である。 図3は、第1の実施形態の助手席の座席の上面図である。 図4は、第1の実施形態の撮像装置の撮像範囲の一例を示す図である。 図5は、第1の実施形態の制御システムの構成の一例を示すブロック図である。 図6は、第1の実施形態のECUの機能的構成を示すブロック図である。 図7は、第1の実施形態のECUによる乗員情報の演算の手順を説明するフローチャートである。 図8は、第1の実施形態のECUが抽出する特徴点の一例を説明するための図である。 図9は、第1の実施形態のECUが使用する座標系の一例を示す図である。 図10は、第1の実施形態のECUによるエアバッグ装置の制御の手順を説明するフローチャートである。 図11は、第1の実施形態の乗員情報の別の例を説明するための図である。 図12は、第2の実施形態のECUによる乗員情報の演算の手順を説明するフローチャートである。 図13は、リクライニング角度に起因する座高の誤差を説明するための図である。 図14は、第3の実施形態の座高の補正のアルゴリズムを説明するための図である。 図15は、第3の実施形態のECUによる座高の演算の手順を説明するフローチャートである。
以下、本実施形態の乗員情報検出装置を車両1に搭載した例をあげて説明する。
<第1の実施形態>
第1の実施形態の車両1は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車または燃料電池自動車等であってもよいし、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両1は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両1における車輪の駆動に関わる装置の方式、数、およびレイアウト等は、種々に設定することができる。
図1は、第1の実施形態の乗員情報検出装置を搭載する車両1の車室3の一部が透視された状態の一例が示された斜視図である。
図1に例示されるように、車体2は、ユーザが乗車することができる車室3を構成している。車室3内には、床部8に2つの座席10D、10Aが設けられている。座席10Dは運転席であり、座席10Dに臨む状態で、操舵部7が設けられている。座席10Aは助手席である。操舵部7は、例えば、ダッシュボード4から突出したステアリングホイールである。なお、操舵部7はステアリングホイールに限定されない。
第1の実施形態の説明においては、一例として、助手席の座席10Aに着座する乗員を乗員情報の検出対象であるとして説明する。なお、乗員情報の検出対象は、助手席の座席10Aに着座する乗員に限定されない。運転席の座席10Dに着座する乗員、または後部座席に着座する乗員が、乗員情報の検出対象であってもよい。
乗員情報の検出対象の乗員の座席である座席10Aには、荷重センサ(荷重センサ16)が設けられている。図2は、第1の実施形態の助手席の座席10Aの側面図であり、図3は、第1の実施形態の助手席の座席10Aの上面図である。
車両1の床部8には、車両1の前後方向に延びる左右一対のロアレール11(11C、11O)が設けられている。また、各ロアレール11には、それぞれ、その延伸方向に沿って相対移動可能なアッパーレール12(12C、12O)が装着されている。そして、座席10Aの座部13が、左右一対のアッパーレール12(12C、12O)に支持されている。
なお、ロアレール11Cは、車両1の左右方向の中央側に設けられたロアレール11であり、ロアレール11Oは、車両1の左右方向のドア側(中央側とは反対側)に設けられたロアレール11である。同様に、アッパーレール12Cは、車両1の左右方向の中央側に設けられたアッパーレール12であり、アッパーレール12Oは、車両1の左右方向のドア側に設けられたアッパーレール12である。以降、車両1の前後方向を、単に、前後方向と表記する。また、車両1の左右方向を、単に、左右方向と表記する。
座部13には、前後方向の後端に、座部13に対して傾斜自在に設けられた背もたれ部14が設けられている。背もたれ部14の上端には、ヘッドレスト15が設けられている。
座部13には、2つの荷重センサ16(16F、16R)が設けられている。具体的には、2つの荷重センサ16は、アッパーレール12Cと、当該アッパーレール12Cの上方に支持された座部13との間に介在する。2つの荷重センサ16のうちの荷重センサ16Fは、前後方向の前側に設けられており、2つの荷重センサ16のうちの荷重センサ16Rは、前後方向の後ろ側に設けられている。換言すると、荷重センサ16Rは、荷重センサ16Fよりも車両1の前後方向の後方に設けられている。荷重センサ16F、16Rは、荷重の検出値を後述のECU(Electronic Control Unit)20に出力する。
荷重センサ16(16F、16R)としては、受ける力を検出して出力するものであれば、任意の種類のセンサが採用可能である。例えば、圧電素子を用いたセンサ、ひずみゲージ式ロードセル、または静電容量型ロードセルなどが採用可能である。
なお、ここでは、座席10Aに具備される荷重センサ16の数を2としているが、座席10Aに具備される荷重センサ16の数は2に限定されない。また、荷重センサ16が配設される位置は上記に限定されない。
図1に説明を戻す。ダッシュボード4の中央部5には、撮像装置6が配設されている。撮像装置6は、CCD(charge coupled device)、またはCIS(CMOS image sensor)、等の撮像素子を内蔵する。撮像装置6は、撮像素子によって撮像された画像をECU20に出力する。
撮像装置6としては、任意の種類のカメラが採用可能である。例えば、単眼カメラ、ステレオカメラ、可視光カメラ、赤外線カメラ、またはTOF距離画像カメラ等、が撮像装置6として採用可能である。
撮像装置6は、車室3内の乗員を撮像する。撮像装置6は、乗員情報の検出対象の乗員の顔が少なくとも撮像可能なように、向き、画角、および設置位置が決められている。
図4は、第1の実施形態の撮像装置6の撮像範囲の一例を示す図である。撮像装置6は、斜線部40によって示される範囲内の対象物を画像内に収めることができる。撮像範囲に座席10Aが含まれており、撮像装置6は、座席10Aに着席する乗員の顔を撮像することができる。図4の例では、座席10Dおよび後部座席も撮像範囲に含まれている。
なお、撮像装置6の設置位置は、ダッシュボード4の中央部5だけに限定されない。撮像装置6は、バックミラー、または天井などに設置され得る。また、乗員情報の検出対象が座席10Dの乗員である場合には、撮像装置6は、ハンドルコラムなどに設置され得る。また、撮像装置6は、複数、設置され得る。
車両1には、制御システム100が設けられている。図5は、第1の実施形態の制御システム100の構成の一例を示すブロック図である。制御システム100は、撮像装置6、エアバッグ装置9、荷重センサ16(16F、16R)、ECU20、および車内ネットワーク30を備える。撮像装置6、エアバッグ装置9、荷重センサ16(16F、16R)、およびECU20は、車内ネットワーク30に接続されている。ECU20は、撮像装置6が出力する画像を受け取ることができる。また、ECU20は、荷重センサ16(16F、16R)による荷重の検出値を車内ネットワーク30を介して受け取ることができる。
エアバッグ装置9は、車両1の衝突時などにエアバッグを展開することによって、車両1の乗員を衝撃から保護するものである。エアバッグ装置9は、例えば、ダッシュボード4などに内蔵される。ECU20は、車内ネットワーク30を介して制御信号を送ることで、エアバッグ装置9に内蔵されるエアバッグの展開を制御することができる。
ECU20は、乗員情報検出装置の一例である。乗員情報検出装置としてのECU20は、撮像装置6によって撮像された画像と荷重センサ16(16F、16R)による荷重の検出値とに基づいて座席10Aの乗員にかかる乗員情報を検出する。
乗員の乗員情報は、乗員の体格にかかる情報である。第1の実施形態では、一例として、乗員の乗員情報は、子供であるか否かの識別情報であり、より具体的には、子供であるか大人であるかの識別情報である。乗員情報は、種々の制御に供せられる。ここでは、乗員情報がエアバッグの展開制御に使用される例を説明する。
ECU20は、乗員情報検出装置としての機能の他にも車両1の種々の制御機能を実現することができる。エアバッグの展開制御は、その一例である。ECU20は、その他にも、ブレーキシステムの制御または操舵システムの制御等を実行し得る。
ECU20は、例えば、CPU(Central Processing Unit)21、SSD(Solid State Drive)22、ROM(Read Only Memory)23、およびRAM(Random Access Memory)24を備える。CPU21は、演算装置であり、SSD22、ROM23、およびRAM24は、記憶装置である。即ち、ECU20は、コンピュータのハードウェア構成を備えている。
ECU20は、複数のコンピュータによって構成されてもよい。この例では、ECU20は、1つのコンピュータによって構成される。
CPU21は、ROM23等の不揮発性の記憶装置にインストールされ記憶されたプログラム231を実行することによって、乗員情報検出装置としての機能を実現する。RAM24は、CPU21での演算で用いられる各種のデータを一時的に記憶する。SSD22は、書き換え可能な不揮発性の記憶装置であって、ECU20の電源がオフされた場合にあってもデータを記憶することができる。なお、CPU21、ROM23、およびRAM24等は、同一パッケージ内に集積され得る。また、ECU20は、CPU21に替えて、DSP(Digital Signal Processor)等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、SSD22に替えてHDD(Hard Disk Drive)が設けられてもよいし、SSD22またはHDDは、ECU20とは別に設けられてもよい。
プログラム231は、コンピュータにインストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)、またはフラッシュメモリ等の、コンピュータで読み取り可能な記録媒体に記録されて提供され得る。
また、プログラム231は、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、プログラム231は、インターネット等のネットワーク経由で提供または配布され得る。
また、プログラム231は、ROM23等に予め組み込んで提供され得る。
図6は、第1の実施形態のECU20の機能的構成を示すブロック図である。ECU20は、取得部25、パーツ情報演算部26、乗員情報演算部27、およびエアバッグ制御部28として機能する。CPU21は、ROM23からプログラム231を読み出して実行することによって、取得部25、パーツ情報演算部26、および乗員情報演算部27としての機能を実現する。ここではさらに、CPU21は、プログラム231に基づいてエアバッグ制御部28としての機能も実現するとして説明するが、エアバッグ制御部28としての機能を実現するためのプログラムはプログラム231とは別のプログラムによって実現されてもよい。
取得部25は、撮像装置6が出力する画像を取得する。また、取得部25は、荷重センサ16(16F、16R)が出力する荷重の検出値を取得する。
パーツ情報演算部26は、撮像装置6からの画像から、乗員の顔にかかる情報を演算する。乗員の顔にかかる情報は、具体的には、顔の位置(顔座標)および顔の傾き(顔角度)である。パーツ情報演算部26は、乗員情報の検出対象である乗員の顔を識別し、顔座標および顔角度を演算する。
乗員情報演算部27は、乗員の顔にかかる情報と、荷重の検出値と、に基づいて乗員情報を演算する。具体的には、乗員情報演算部27は、取得された荷重の検出値を、パーツ情報演算部26によって演算された顔の位置および傾きに基づいて補正する。補正のアルゴリズムは後述する。乗員情報演算部27は、補正後の荷重に基づいて、乗員が大人であるか子供であるかを判定する。乗員情報演算部27は、判定結果を乗員情報として出力する。
エアバッグ制御部28は、乗員情報演算部27が出力した乗員情報に基づいてエアバッグの展開を制御する。乗員が子供である場合、エアバッグの展開によって、車両1の衝突時に、ダメージがより大きくなることが懸念される。エアバッグ制御部28は、検出された乗員情報に基づき、乗員が子供であるか否かを判定する。そして、乗員が子供であると判定された場合、エアバッグ制御部28は、エアバッグを展開しないように設定する。
なお、乗員情報検出装置としての機能構成部(取得部25、パーツ情報演算部26、乗員情報演算部27、およびエアバッグ制御部28)の一部または全部は、CPU21ではなくハードウェア回路によって実現されてもよい。
図7は、第1の実施形態のECU20による乗員情報の演算の手順を説明するフローチャートである。
まず、取得部25は、撮像装置6が出力する画像を取得する(S101)。また、取得部25は、荷重センサ16(16F、16R)が出力する荷重の検出値をそれぞれ取得する(S102)。荷重センサ16Fの検出値を、荷重Wfまたは単にWfと表記する。荷重センサ16Rの検出値を、荷重Wrまたは単にWrと表記する。
続いて、パーツ情報演算部26は、取得した画像に基づき、顔座標および顔角度を演算する(S103)。
顔座標および顔角度の演算方法としては、任意の方法が採用可能である。顔座標および顔角度の演算方法としては、既存の方法が採用可能であるし、今後開発される任意の方法が採用可能である。
一例では、パーツ情報演算部26は、まず、画像に対してSOBELフィルタなどを作用させるなどによって、画像から輪郭を抽出する。そして、パーツ情報演算部26は、抽出された輪郭を予め用意されたパターンと照合するなどの手法で、画像に写っている顔を検出する。そして、パーツ情報演算部26は、検出された顔から、1以上の特徴点を抽出する。
図8は、特徴点の一例を説明するための図である。本図は、撮像装置6から取得される画像から、座席10Aに着座している乗員が写っている部分の画像を切り抜いたものである。本図の例では、乗員の左右の眉の付け根51、左右の目の目頭52、左右の目の目尻53、および左右の口角54が、特徴点として抽出される。
パーツ情報演算部26は、抽出された特徴点間の位置関係に基づいて、顔座標を演算する。顔座標は、一例では、顔の中央部55の座標である。また、パーツ情報演算部26は、抽出された特徴点間の位置関係に基づいて、顔角度を演算する。
なお、顔座標および顔角度の基準となる座標系は、任意に設定可能である。パーツ情報演算部26は、画像内の各位置を、予め決められた座標系における位置に任意の段階で変換する。
ここでは、図9に示されるように、座面上の、車両1の左右方向のドア側の向き(即ち荷重センサ16の設置位置から遠い方への向き)をx軸の正の向き、車両1の垂直方向の上向きをy軸の正の向き、とし、左右のアッパーレール12による支持位置までの距離が等間隔である位置に原点(0、0)が設定される、直交座標系が使用されることとする。パーツ情報演算部26は、顔座標として、図9に示される座標系における顔の中央部55の座標(Fx、Fy)を演算する。また、パーツ情報演算部26は、顔角度として、ロール角Frollを演算する。
なお、図9の例では、乗員60は、ドア側(即ちx軸の正の方向)に上半身を傾けた姿勢をとっており、体幹部の傾きの角度は顔のロール角Frollと等しくなっている。以降の処理においては、乗員60が上半身を左右方向に傾ける場合には体幹部の傾きの角度は顔のロール角Frollと等しくなる、という仮定に基づいて荷重の検出値が補正される。なお、この仮定は一例であり、他の任意の仮定が採用可能である。
パーツ情報演算部26は、演算された顔座標(Fx、Fy)および顔角度Frollを乗員情報演算部27に渡す。
乗員情報演算部27は、下記の式(1)に基づき、2つの荷重センサ16(16F、16R)の検出値の合算値を演算する(S104)。2つの荷重センサ16(16F、16R)の検出値の合算値を荷重Wt、または単にWtと表記する。
Wt=Wf+Wr ・・・(1)
ここで、乗員が座席10Aに着座した場合、乗員と座席10Aとの接触部が範囲を有しているので、乗員の荷重がその範囲に分布する。乗員が左右方向に上半身を傾けることなく原点の位置に着座している場合、座席10Aに作用する分布荷重の重心(より詳しくは重心のx軸成分)は、原点と一致すると考えられる。座席10Aに作用する分布荷重の重心とは、座席10Aに作用する分布荷重を集中荷重に置き換えて座面に作用させた場合に、荷重Wtの値が変化しないような、集中荷重の作用位置である。一方、第1の実施形態では、座部13は、左右のアッパーレール12によって支持されている。座部13にかかる荷重は、左右のアッパーレール12に分散する。そして、荷重センサ16(16F、16R)は、片側のアッパーレール12Cに設けられている。したがって、乗員が左右方向に上半身を傾けることなく原点の位置に着座している場合、Wtは、座席10Aに作用する分布荷重の積分値の半分の値になる。乗員が左右方向に上半身を傾けることなく原点の位置に着座する姿勢を、標準姿勢と表記する。
乗員の上半身が左右方向に傾いていたり、乗員が原点からずれた位置に着座したりする場合、座席10Aに作用する分布荷重の重心が原点から左右方向にずれることにより、Wtは、座席10Aに作用する分布荷重の積分値の半分の値からずれる。乗員情報演算部27は、標準姿勢からの姿勢のずれに応じて発生する荷重Wtのずれを補正することによって、乗員が標準姿勢で着座したと仮定した場合の荷重Wtを推定する。
具体的には、乗員情報演算部27は、まず、乗員の座高を演算する(S105)。座高の演算値を、座高Hまたは単にHと表記する。座高Hは、一例として、下記の式(2)に基づいて演算される。
H=Fy/cos(Froll) ・・・(2)
続いて、乗員情報演算部27は、座席10Aに作用する分布荷重の重心の横ずれ量を演算する(S106)。座席10Aに作用する分布荷重の重心の横ずれ量とは、座席10Aに作用する分布荷重の重心のx軸成分が原点からどれくらいずれているかを示す量である。以降、座席10Aに作用する分布荷重の重心の横ずれ量を、横ずれ量Sまたは単にSと表記する。
乗員情報演算部27は、具体的には、下記の式(3)に基づいて横ずれ量Sを演算する。
S=Fx−H/2*sin(Froll) ・・・(3)
式(3)から明らかなように、着座位置と顔の中央部55とを結ぶ線分の中央56からx軸に下ろした垂線の足の位置57を、座席10Aに作用する分布荷重の重心であると仮定している。なお、この仮定は一例であり、任意の方法で座席10Aに作用する分布荷重の重心の位置が演算され得る。
続いて、乗員情報演算部27は、横ずれ量Sに基づいて、荷重Wtの補正率P1を演算する(S107)。具体的には、乗員情報演算部27は、下記の式(4)を用いることによって補正率P1を演算する。ただし、Lは、左右のアッパーレール12による支持位置の間隔である。
P1=(L/2−S)/L ・・・(4)
そして、乗員情報演算部27は、下記の式(5)によって、荷重Wtを補正する(S108)。
Wt’=Wt*(1+P1) ・・・(5)
式(5)によって得られる荷重Wt’は、乗員が標準姿勢で着座していると仮定した場合に得られる荷重Wtの推定値である。
このように、乗員情報演算部27は、S106、S107の処理によって、荷重Wtを、座席10Aに作用する分布荷重の重心と、荷重センサ16(16F、16R)の位置と、の関係に基づいて補正する。
なお、式(4)および式(5)に示される補正のアルゴリズムは、一例である。補正のアルゴリズムは上記に限定されない。補正のアルゴリズムは、各荷重センサ16の位置、座部13の支持位置、導入される仮定、などに応じて変形され得る。
続いて、乗員情報演算部27は、補正後の荷重Wt’に基づいて、乗員の乗員情報を演算する。ここでは一例として、乗員情報演算部27は、補正後の荷重Wt’と予め設定されたしきい値Athとの比較によって、乗員が大人であるか子供であるかを判定する。
具体的には、乗員情報演算部27は、補正後の荷重Wt’がしきい値Ath以上の値であるか否かを判定する(S109)。補正後の荷重Wt’がしきい値Ath以上の値であると乗員情報演算部27によって判定された場合(S109、Yes)、乗員情報演算部27は、乗員は大人であると判定する(S110)。補正後の荷重Wt’がしきい値Ath未満の値であると乗員情報演算部27によって判定された場合(S109、No)、乗員情報演算部27は、乗員は子供であると判定する(S111)。
なお、補正後の荷重Wt’がしきい値Athと等しい場合の処理は上記に限定されない。補正後の荷重Wt’がしきい値Athと等しい場合には、乗員は子供である、と判定されてもよい。
S110またはS111の処理の後、乗員情報の演算の動作が完了する。乗員情報演算部27は、エアバッグ制御部28に判定結果を乗員情報として渡す。
図10は、第1の実施形態のECU20によるエアバッグ装置9の制御の手順を説明するフローチャートである。
エアバッグ制御部28は、乗員は大人であるか否かを乗員情報に基づいて判定する(S201)。乗員は大人であると判定された場合(S201、Yes)、エアバッグ制御部28は、エアバッグ装置9の動作モードとして「エアバッグ展開」を設定する(S202)。「エアバッグ展開」の動作モードは、車両1の衝突など、乗員の保護を要する事象が発生した場合に、エアバッグ装置9にエアバッグを展開させる動作モードである。
一方、乗員は大人ではないと判定された場合(S201、No)、エアバッグ制御部28は、エアバッグ装置9の動作モードとして「エアバッグ非展開」を設定する(S203)。「エアバッグ非展開」の動作モードは、乗員の保護を要する事象が発生した場合でも、エアバッグ装置9にエアバッグを展開させない動作モードである。
S202またはS203の処理によってエアバッグ装置9の動作モードが設定された後、エアバッグ装置9の制御の動作が完了する。
なお、以上の説明においては、乗員情報演算部27が、荷重Wtを補正し、補正後の荷重Wtとしきい値Athとの比較に基づいて乗員が子供であるか大人であるかを判定する、として説明した。乗員情報演算部27は、荷重Wtを補正せず、その代わりに判定基準であるしきい値Athを補正してもよい。
また、以上の説明において、乗員情報は、大人であるか子供であるかを示す識別情報であるとして説明した。乗員情報の例はこれに限定されない。
例えば、乗員情報は、大人の男性であるか大人の女性であるか子供であるかを示す。一例では、乗員情報演算部27には、しきい値Athと、しきい値Athよりも大きいしきい値Bthとが予め設定される。そして、乗員情報演算部27は、図11に示されるように、補正後の荷重Wt’が荷重の検出範囲の下限値Wtminからしきい値Athまでの範囲に含まれる場合には、乗員は子供であると判定し、補正後の荷重Wt’がしきい値Athからしきい値Bthまでの範囲に含まれる場合には、乗員は大人の女性であると判定し、補正後の荷重Wt’がしきい値Bthを超える場合には、乗員は大人の男性である判定する。エアバッグ制御部28は、乗員が子供であると判定された場合には、「エアバッグ非展開」を設定し、乗員が大人の女性であると判定された場合には、「エアバッグ弱展開」を設定し、乗員が大人の男性であると判定された場合には、「エアバッグ展開」を設定する。「エアバッグ弱展開」の動作モードは、「エアバッグ展開」の動作モードよりもエアバッグの展開速度が遅い動作モードである。
別の例では、乗員情報演算部27は、補正後の荷重Wt’を乗員情報として出力してもよい。エアバッグ制御部28は、補正後の荷重Wt’としきい値Athとの比較に基づいて動作モードを設定する。
また、以上の説明において、乗員情報は、エアバッグの展開制御に使用される、として説明した。乗員情報は、エアバッグの展開制御以外の制御に供せられ得る。
例えば、シートベルトの支持位置がECU20によって制御可能に構成される場合がある。ECU20は、乗員情報に基づいて、シートベルトの支持位置を制御してもよい。例えば、ECU20は、乗員が子供であると判定された場合には、乗員が大人であると判定された場合に比べ、シートベルトのドア側の支持位置を低い位置に制御する。
また、以上の説明において、パーツ情報演算部26は、乗員の顔にかかる情報として、顔座標(Fx、Fy)および顔角度Frollを演算する、として説明した。乗員の顔にかかる情報は、これに限定されない。
例えば、パーツ情報演算部26は、乗員の顔にかかる情報として、顔座標のみを演算してもよい。その場合、例えば、乗員情報演算部27は、顔座標のx軸成分Fxと原点との中間点を、座席10Aに作用する分布荷重の重心として演算する。これは、乗員が座面の原点に着座するという仮定に基づく。このように、乗員の顔にかかる情報は、導入される仮定に応じて種々に変形され得る。
乗員の顔にかかる情報の別の例では、パーツ情報演算部26は、顔角度として、ロール角Froll、ピッチ角Fpitch、およびヨー角Fyawを演算する。そして、乗員情報演算部27は、ピッチ角Fpitch、およびヨー角Fyawに基づき、座面の垂線方向を基準とし、乗員の上半身の3次元的な傾きを演算する。そして、パーツ情報演算部26は、式(2)または式(3)のFrollの代わりに、演算された傾きを適用する。
乗員の顔にかかる情報のさらに別の例では、パーツ情報演算部26は、x軸およびy軸のほかにz軸を有する直交座標系において、顔座標(Fx、Fy、Fz)を演算してもよい。乗員情報演算部27は、顔座標のz軸成分Fzをさらに用いることによって、座高Hを演算してもよい。
以上述べたように、第1の実施形態では、乗員情報検出装置は、撮像装置6によって撮像された画像から乗員の顔にかかる情報を演算する(S103)。そして、乗員情報検出装置は、乗員の顔にかかる情報と、座席10Aに設けられた荷重センサ16(16F、16R)の検出値と、に基づいて、乗員の体格にかかる情報を演算する(S105〜S111)。
これにより、荷重センサ16(16F、16R)の検出値の処理の際に、撮像装置6からの画像から演算される乗員の顔にかかる情報に基づいて補正を行うことが可能となるので、乗員の体格を精度よく推定することが可能である。即ち、乗員情報の検出精度が向上する。
また、乗員情報検出装置は、顔座標と顔角度とを、乗員の顔にかかる情報として演算する(S103)。そして、乗員情報検出装置は、顔座標と顔角度とに基づいて、乗員の座高を演算し(S105)、当該座高と頭部の傾きに基づいて、座席10Aに作用する分布荷重の重心位置を演算する(S106)。そして、乗員情報検出装置は、荷重Wtに対し、演算された重心位置と荷重センサ16(16F、16R)との位置関係に基づいて、補正を実行する(S107、S108)。
これにより、乗員が上半身を左右方向に傾けた姿勢をとったり、乗員の着座位置が変動したりする場合に発生する荷重Wtの変動が補正されるので、乗員の姿勢が検出結果に与える影響を低減することが可能である。即ち、乗員情報の検出精度が向上する。
なお、前述したように、乗員情報検出装置は、乗員の顔にかかる情報として顔座標のみ演算し、顔座標に基づいて座席10Aに作用する分布荷重の重心を演算し、座席10Aに作用する分布荷重の重心と荷重センサ16(16F、16R)の位置と、の関係に基づいて補正してもよい。その場合、乗員の着座位置の変動は考慮されないが、乗員が上半身を左右方向に傾けた姿勢をとる場合に発生する荷重Wtの変動が補正されるので、乗員の姿勢が検出結果に与える影響を低減することが可能である。即ち、乗員情報の検出精度が向上する。
また、乗員情報は、一例では、乗員が子供であるか否かの識別情報であり、乗員情報検出装置は、補正後の荷重Wt’としきい値Athとの比較に基づいて乗員が子供であるか否かを判定する。よって、荷重の検出値の処理の際に、乗員の顔にかかる情報に基づいて補正を行うことが可能となるので、乗員が子供であるか否かの検出精度が向上する。
また、プログラム231は、ECU20のようなコンピュータに、撮像装置6によって撮像された画像と、荷重センサ16(16F、16R)の検出値と、を取得する手順(S101、S102、S104)と、画像から乗員の顔にかかる情報を演算する手順(S103)と、乗員の顔のかかる情報と荷重センサ16(16F、16R)の検出値とに基づいて乗員の体格にかかる情報を演算する手順(S105〜S111)と、を実行させる。
これにより、荷重センサ16(16F、16R)の検出値の処理の際に、撮像装置6からの画像から演算される乗員の顔にかかる情報に基づいて補正を行うことが可能となるので、乗員の体格を精度よく推定することが可能である。即ち、乗員情報の検出精度が向上する。
<第2の実施形態>
乗員が例えばドアにもたれていると、座部13にかかるべき荷重がドアに分散する。その場合、第1の実施形態に例示されるアルゴリズムに従って荷重Wtを補正したとしても、補正後の荷重Wt’は、その乗員が標準姿勢で着座した場合の荷重Wtよりも小さくなってしまう。
第2の実施形態では、乗員情報演算部27は、ドアに荷重が分散している場合には、補正後の荷重Wt’がより大きな値となるように荷重Wtをさらに補正する。
ドアに荷重が分散しているか否かの推定の方法としては、種々の方法が考えられるが、ここでは一例として、顔の位置に基づいて推定する方法を挙げて説明する。
乗員情報演算部27は、顔の位置とドアとの距離がしきい値Cthより小さい場合には、乗員がドアに接触しているとの推定に基づき、荷重Wtをより大きな値にさらに補正する。しきい値Cthは、乗員がドアに接触していると判断可能な顔の位置の最大値であり、例えば実験または計算により決定される。しきい値Cthは、乗員情報演算部27に予め設定される。ここでは、顔の位置のx軸成分とドアの位置のx軸成分との差分を、顔の位置とドアとの距離として扱うが、顔の位置とドアとの距離の定義はこれに限定されない。
図12は、第2の実施形態のECU20による乗員情報の演算の手順を説明するフローチャートである。
まず、S301〜S307の処理において、S101〜S107と同等の処理が実行される。
S307の処理の後、乗員情報演算部27は、乗員がドアに接触しているか否かを推定し、推定結果に基づいて、補正のための係数である補正率P2を決定する。
即ち、乗員情報演算部27は、下記の式(6)によって、顔の位置とドアとの距離を演算する(S308)。顔の位置とドアとの距離を距離Distanceまたは単にDistanceと表記する。
Distance=Dx−Fx ・・・(6)
ここで、Dxはドアの位置のx軸成分である。Dxは、乗員情報演算部27に予め設定される。
続いて、乗員情報演算部27は、距離Distanceがしきい値Cth以下の値であるか否かを判定する(S309)。この処理は、乗員がドアに接触しているか否かを判定する処理に該当する。
距離Distanceがしきい値Cthより大きいと判定された場合(S309、No)、乗員がドアに接触していないと推定できる。その場合、乗員情報演算部27は、補正率P2として1を設定する(S310)。
距離Distanceがしきい値Cth以下の値であると判定された場合(S309、Yes)、乗員がドアに接触していると推定できる。その場合、乗員情報演算部27は、補正率P2としてαを設定する(S311)。
αは、1より大きい値である。αは、定数であってもよいし、可変に構成されてもよい。αが可変に構成される一例では、距離Distanceが小さいほど、αが大きくなるように、αと距離Distanceとの関係が定義される。距離Distanceが小さいほど、より多くの荷重がドアに分散すると考えられるので、ドアに分散する荷重が大きくなる分、補正量を大きくするためである。
なお、距離Distanceがしきい値Cthと等しい場合の処理は上記に限定されない。距離Distanceがしきい値Cthと等しいと判定された場合、S310の処理が実行されてもよい。
S310またはS311の後、下記の式(7)によって、荷重Wtを補正する(S311)。
Wt’=Wt*(1+P1)*P2 ・・・(7)
乗員がドアに接触していると推定される場合、P2として1より大きい値が設定されるので、式(7)によって、荷重Wtは、より大きい値になるように補正される。これにより、乗員がドアに接触することに起因する荷重Wtの減少分が補正できる。
S312の処理の後、乗員情報演算部27は、補正後の荷重Wt’に基づいて、乗員の乗員情報を演算する。即ち、S109〜S111と同等の処理がS313〜S315において実行される。そして、乗員情報の演算が完了する。
なお、乗員がドアとは逆側に上半身を傾けることによって、乗員の上半身の一部がセンターコンソールに接触することが考えられる。乗員がセンターコンソールに接触する場合、乗員がドアに接触する場合と同様に、座部13にかかるべき荷重がセンターコンソールに分散する。乗員情報演算部27は、センターコンソールと顔の位置との距離がしきい値より小さい場合には、乗員がセンターコンソールに接触しているとの推定に基づき、荷重Wtをより大きな値に補正してもよい。
また、以上の説明においては、乗員がドアに接触していると推定される場合に、1より大きな値αが補正係数として荷重Wtに乗算されるとして説明した。補正のアルゴリズムは、これに限定されない。例えば、乗員がドア、センターコンソールなどの固定物に接触していると推定される場合に、予め設定された正の値が加算されてもよい。
以上述べたように、第2の実施形態では、乗員情報検出装置は、乗員の顔の位置と車室3内に設けられた固定物との間の距離がしきい値より小さい場合に、荷重Wtに対し、値をより大きくする補正を行う(S309、S311、S312)。
これにより、乗員がドアまたはセンターコンソールなどの固定物に接触している場合において、固定物に分散する荷重を考慮して荷重の検出値が補正されるので、乗員の姿勢が検出結果に与える影響をさらに低減することが可能である。即ち、乗員情報の検出精度がより向上する。なお、固定物は、ドアまたはセンターコンソールに限定されない。
なお、乗員が固定物に接触しているか否かの推定方法としては、顔の位置と固定物との距離としきい値との比較による方法のほかにも種々の方法が考えられる。
例えば、パーツ情報演算部26は、乗員の上肢の位置を演算する。上肢は、例えば、上腕、前腕、手、またはこれらの組み合わせである。パーツ情報演算部26は、例えば、第1の実施形態と同様に、特徴点の抽出によって上肢の位置を演算してもよい。撮像装置6としてステレオカメラまたはTOF距離画像カメラが採用される場合には、乗員の3次元形状が取得可能であるので、パーツ情報演算部26は、乗員の3次元形状に基づいて上肢の位置を演算してもよい。乗員情報演算部27は、演算された上腕の位置に基づき、上腕が固定物に接触しているか否かを判定する。固定物の位置は、例えば予め乗員情報演算部27に設定され、乗員情報演算部27は、上腕の位置の演算値と固定物との位置との比較に基づいて上腕が固定物に接触しているか否かを判定する。このような方法によっても、乗員が固定物に接触しているか否かを推定することが可能である。
<第3の実施形態>
背もたれ部14は、座部13に対して傾斜自在に設けられている。したがって、乗員の顔にかかる情報のみに基づいて座高を演算すると、座部13に対する背もたれ部14の傾斜角度に起因する誤差が発生する。座部13に対する背もたれ部14の傾斜角度を、リクライニング角度、リクライニング角度REC、または単にRECと表記する。
図13は、リクライニング角度に起因する座高の演算値の誤差を説明するための図である。図13には、リクライニング角度が基準角度(N度)である場合と、リクライニング角度が基準角度よりも25度大きい、N+25度である場合と、の両方の場合における乗員の姿勢が描画されている。この図では、乗員は、標準姿勢で着座し、背もたれ部14に上半身をもたれ掛けていると仮定している。この場合、リクライニング角度がN+25度である場合、リクライニング角度がN度である場合に比べ、座高がdHだけ小さく推定されてしまう。これは、リクライニング角度が大きいほど乗員の上半身が車両1の前後方向の後ろ側に傾き、結果として撮像装置6の画像から得られる顔座標のy軸成分Fyが減少するためである。誤差dHは、補正後の荷重Wtに伝播し、乗員情報の検出精度の低下を引き起こす。
また、乗員は、背もたれ部14にもたれ掛けないことも可能であり、その場合であっても、乗員の上半身の前後方向の傾きに起因する検出精度の低下が起こり得る。
乗員の上半身の前後方向の傾きは、荷重センサ16Fの検出値Wfと荷重センサ16Rの検出値Wrとの関係に影響を与える。乗員の上半身が車両1の前後方向の後ろ側に傾くほど、座席10Aに作用する分布荷重の重心が後ろ側に移動するので、荷重Wtのうちの荷重センサ16Rの検出値Wrが占める割合が大きくなる。
そこで、第3の実施形態では、乗員の上半身の前後方向の傾きに起因する座高の演算値の誤差を、荷重Wt(=Wf+Wr)に対する荷重Wrの占める割合に基づいて補正する。なお、荷重Wtに対する荷重Wrの占める割合は、荷重センサ16Fの検出値Wfと荷重センサ16Rの検出値Wrとの関係を示す指標の一例である。
図14は、座高の補正のアルゴリズムの概略を説明するための図である。本図において、横軸は荷重比率を示しており、縦軸は補正前の座高を示している。荷重比率は、荷重Wtに対する荷重Wrの占める割合である。リクライニング角度が大きくなるほど、補正前の座高が減少しかつ荷重比率が増大し、補正前の座高と荷重比率との関係は、点線に示されるような一次関数にフィッティングされ得る。乗員情報演算部27は、座高の補正によって、リクライニング角度がN度であり、かつ乗員が標準姿勢で着座する場合における座高H’を推定する。即ち、点線と実線との縦軸方向の差分が、補正量に該当する。
図15は、第3の実施形態のECU20による座高の演算の手順を説明するフローチャートである。
まず、S401〜S403において、S101〜S103と同等の処理が実行される。そして、乗員情報演算部27は、S105と同様の手順で乗員の座高Hを演算する(S404)。S404によって演算される座高Hは、補正前の座高である。
続いて、乗員情報演算部27は、下記の式(8)によって、荷重比率を演算する(S405)。荷重比率を、荷重比率Rまたは単にRと表記する。
R=Wr/(Wf+Wr) ・・・(8)
そして、乗員情報演算部27は、下記の式(9)によって、荷重比率Rを補正率P3に変換し(S406)、補正率P3を用いた下記の式(10)によって、座高Hを補正する(S407)。
P3=1+β*(R−C) ・・・(9)
H’=H*P3 ・・・(10)
ただし、Cは定数であり、図14に示されるように、リクライニング角度が基準角度(N度)である場合の荷重比率Rの値である。また、βは定数であり、正の値である。
βは、式(9)および式(10)の関係が図14に示される関係と整合するように、実験または計算により予め演算され、乗員情報演算部27に予め設定される。したがって、乗員情報演算部27は、式(9)および式(10)を用いることにより、乗員が基準角度(N度)に傾斜された背もたれ部14にもたれ掛けて着座している状態を基準とし、乗員が上半身を基準から前後方向に傾けて着座している場合に、基準の状態で着座した場合の座高の推定値を得ることが可能となる。
乗員情報演算部27は、式(3)に代入される座高Hの代わりに補正後の座高H’を用いることができる。
以上述べたように、第3の実施形態では、乗員情報検知装置は、座高の演算値Hを荷重センサ16Fの検出値と、荷重センサ16Fよりも車両1の前後方向の後方に設けられた荷重センサ16Rの検出値との関係に基づいて補正する。これにより、乗員が上半身を車両の前後方向に傾けた姿勢をとっている場合を考慮して荷重の検出値Wtを補正することができる。よって、乗員の姿勢が検出結果に与える影響をさらに低減することが可能となる。
なお、乗員情報演算部27は、図15の処理によって得られた補正後の座高H’を乗員情報として出力してもよい。
また、乗員情報演算部27は、補正後の座高H’に基づいて乗員が子供であるか否かを判定してもよい。例えば、乗員情報演算部27は、補正後の座高H’が所定値より小さい場合に、乗員は子供であると判定し、補正後の座高H’が所定値より大きい場合に、乗員は子供ではないと判定してもよい。
また、乗員情報演算部27は、補正後の座高H’と補正後の荷重Wt’との組み合わせに基づいて乗員が子供であるか否かを判定してもよい。例えば、乗員情報演算部27は、補正後の座高H’が所定値より小さく、かつ、補正後の荷重Wt’がしきい値Athより小さい場合に、乗員は子供であると判定し、補正後の座高H’が所定値より大きいか、または、補正後の荷重Wt’がしきい値Athより大きい場合に、乗員は子供ではないと判定してもよい。
また、第1の実施形態と同様に、乗員情報の使用用途は、エアバッグの展開制御に限定されない。
第1〜第3の実施形態の説明では、乗員情報演算部27の実行アルゴリズムを各種数式を用いて説明したが、乗員情報演算部27は、必ずしも数式を用いた演算を行わなくてもよい。乗員情報演算部27は、数式に相当する関係を規定するルックアップテーブルを用いて各種の値の演算を行ってもよいし、単純な条件分岐によって各種の値を導出してもよい。
以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。
1…車両、2…車体、3…車室、4…ダッシュボード、5…中央部、6…撮像装置、7…操舵部、8…床部、9…エアバッグ装置、10A,10D…座席、11,11C,11O…ロアレール、12,12C,12O…アッパーレール、13…座部、14…背もたれ部、15…ヘッドレスト、16,16F,16R…荷重センサ、20…ECU、21…CPU、22…SSD、23…ROM、24…RAM、25…取得部、26…パーツ情報演算部、27…乗員情報演算部、28…エアバッグ制御部、30…車内ネットワーク、40…斜線部、51…眉の付け根、52…目頭、53…目尻、54…口角、55…中央部、56…中央、57…位置、60…乗員、100…制御システム、231…プログラム。

Claims (8)

  1. 車両の室内に設けられ座席に着座する乗員を撮像する撮像装置によって撮像された画像と、前記座席に設けられた荷重センサの検出値と、を取得する取得部と、
    前記画像から前記乗員の顔にかかる情報である第1情報を演算する第1演算部と、
    前記第1情報と前記検出値とに基づいて前記乗員の体格にかかる情報である第2情報を演算する第2演算部と、
    を備え
    前記第1情報は、前記顔の位置を含み、
    前記第2演算部は、前記座席に作用する分布荷重の重心位置を前記顔の位置に基づいて演算し、前記検出値を、前記重心位置と前記荷重センサの位置との関係に基づいて補正する、
    員情報検出装置。
  2. 車両の室内に設けられ座席に着座する乗員を撮像する撮像装置によって撮像された画像と、前記座席に設けられた荷重センサの検出値と、を取得する取得部と、
    前記画像から前記乗員の顔にかかる情報である第1情報を演算する第1演算部と、
    前記第1情報と前記検出値とに基づいて前記乗員の体格にかかる情報である第2情報を演算する第2演算部と、
    を備え、
    前記第1情報は、前記顔の位置を含み、
    前記第2演算部は、前記検出値を、前記顔の位置に基づいて補正する、
    員情報検出装置。
  3. 車両の室内に設けられ座席に着座する乗員を撮像する撮像装置によって撮像された画像と、前記座席に設けられた荷重センサの検出値と、を取得する取得部と、
    前記画像から前記乗員の顔にかかる情報である第1情報を演算する第1演算部と、
    前記第1情報と前記検出値とに基づいて前記乗員の体格にかかる情報である第2情報を演算する第2演算部と、
    を備え、
    前記第1情報は、前記顔の位置をさらに含み、
    前記第2演算部は、前記顔の位置に基づいて前記乗員の座高を演算し、前記演算された座高を前記検出値に基づいて補正し、前記補正された座高に基づいて前記第2情報を演算する、
    員情報検出装置。
  4. 前記荷重センサは、第1荷重センサと、前記第1荷重センサよりも前記車両の前後方向の後方に設けられた第2荷重センサと、を含み、
    前記第2演算部は、前記演算された座高を、前記第1荷重センサの検出値と前記第2荷重センサの検出値との関係に基づいて補正する、
    請求項3に記載の乗員情報検出装置。
  5. 前記第2演算部は、前記顔の位置と車両に設けられた固定物との距離が第1しきい値より小さい場合に、前記検出値に、値を大きくする補正をさらに行う、
    請求項2に記載の乗員情報検出装置。
  6. 前記第1演算部は、前記乗員の上肢の位置をさらに演算し、
    前記第2演算部は、前記上肢が前記座席以外の固定物に接触しているか否かを前記上肢の位置に基づいて判定し、前記上肢が前記固定物に接触していると判定された場合に、前記検出値に、値を大きくする補正をさらに行う、
    請求項2に記載の乗員情報検出装置。
  7. 前記第2情報は、前記乗員が子供であるか否かの識別情報を含み、
    前記第2演算部は、補正後の前記検出値と第2しきい値との比較に基づいて前記乗員が子供であるか否かを判定する、
    請求項2から請求項6のいずれか一項に記載の乗員情報検出装置。
  8. コンピュータに、
    車両の室内に設けられ座席に着座する乗員を撮像する撮像装置によって撮像された画像と、前記座席に設けられた荷重センサの検出値と、を取得する手順と、
    前記画像から前記乗員の顔にかかる情報である第1情報を演算する手順と、
    前記第1情報と前記検出値とに基づいて前記乗員の体格にかかる情報である第2情報を演算する手順と、
    を実行させ
    前記第1情報は、前記顔の位置を含み、
    前記第2情報を演算する手順は、
    前記座席に作用する分布荷重の重心位置を前記顔の位置に基づいて演算する手順と、
    前記検出値を、前記重心位置と前記荷重センサの位置との関係に基づいて補正する手順と、
    を含む、
    ログラム。
JP2016228592A 2016-11-25 2016-11-25 乗員情報検出装置およびプログラム Active JP6870294B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016228592A JP6870294B2 (ja) 2016-11-25 2016-11-25 乗員情報検出装置およびプログラム
EP17203589.1A EP3326869B1 (en) 2016-11-25 2017-11-24 Passenger information detection device and program
US15/821,912 US10503986B2 (en) 2016-11-25 2017-11-24 Passenger information detection device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016228592A JP6870294B2 (ja) 2016-11-25 2016-11-25 乗員情報検出装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2018083561A JP2018083561A (ja) 2018-05-31
JP6870294B2 true JP6870294B2 (ja) 2021-05-12

Family

ID=60543354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016228592A Active JP6870294B2 (ja) 2016-11-25 2016-11-25 乗員情報検出装置およびプログラム

Country Status (3)

Country Link
US (1) US10503986B2 (ja)
EP (1) EP3326869B1 (ja)
JP (1) JP6870294B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019146043A1 (ja) * 2018-01-25 2019-08-01 三菱電機株式会社 乗員検知装置、乗員検知システム及び乗員検知方法
WO2019180876A1 (ja) 2018-03-22 2019-09-26 三菱電機株式会社 体格推定装置および体格推定方法
JP7259324B2 (ja) * 2018-12-27 2023-04-18 株式会社アイシン 室内監視装置
KR102629808B1 (ko) * 2019-01-29 2024-01-30 주식회사 유니크 이종센서 기반 능동형 스마트 시트 제어 시스템과 이를 이용한 이종센서 기반 능동형 스마트 시트 제어 방법
JP7031998B2 (ja) * 2019-04-19 2022-03-08 矢崎総業株式会社 オーディオ制御システム及びオーディオ制御方法
US20220319199A1 (en) * 2019-09-05 2022-10-06 Mitsubishi Electric Corporation Physique determination apparatus and physique determination method
EP3825176A1 (en) * 2019-11-21 2021-05-26 Volvo Car Corporation Rearward-facing seat with safety reinforcement
US11628789B2 (en) 2020-03-30 2023-04-18 Toyota Jidosha Kabushiki Kaisha Occupant position detection system
WO2023084738A1 (ja) * 2021-11-12 2023-05-19 三菱電機株式会社 体格判定装置および体格判定方法
WO2023223442A1 (ja) * 2022-05-18 2023-11-23 三菱電機株式会社 体格判定装置および体格判定方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7243945B2 (en) * 1992-05-05 2007-07-17 Automotive Technologies International, Inc. Weight measuring systems and methods for vehicles
US7477758B2 (en) 1992-05-05 2009-01-13 Automotive Technologies International, Inc. System and method for detecting objects in vehicular compartments
JP3646378B2 (ja) 1995-11-30 2005-05-11 アイシン精機株式会社 車両用シート装置
EP1318043B1 (en) * 1999-01-27 2009-02-25 The Furukawa Electric Co., Ltd. Occupant detecting device
DE10007014C2 (de) * 2000-02-16 2002-09-19 Bosch Gmbh Robert Verfahren und Vorrichtung zur Sitzbelegungserkennung
DE102004042959A1 (de) * 2004-09-02 2006-03-09 Robert Bosch Gmbh Passagierschutzeinrichtung in einem Fahrzeug
JP2006205844A (ja) 2005-01-27 2006-08-10 Aisin Seiki Co Ltd 乗員の頭部位置判定装置、及び該判定装置を備えた乗員保護装置
KR100630842B1 (ko) * 2005-06-08 2006-10-02 주식회사 현대오토넷 스테레오 영상 정합을 이용한 자동차의 탑승자 자세 판별시스템 및 그 방법
JP2007122579A (ja) 2005-10-31 2007-05-17 Equos Research Co Ltd 車両制御装置
JP4438753B2 (ja) 2006-01-27 2010-03-24 株式会社日立製作所 車両内状態検知システム,車両内状態検知装置および方法
US9041789B2 (en) * 2011-03-25 2015-05-26 Tk Holdings Inc. System and method for determining driver alertness
WO2016006019A1 (en) * 2014-07-11 2016-01-14 Calsonic Kansei Corporation Vehicle warning system
US9446730B1 (en) 2015-11-08 2016-09-20 Thunder Power Hong Kong Ltd. Automatic passenger airbag switch

Also Published As

Publication number Publication date
JP2018083561A (ja) 2018-05-31
EP3326869A1 (en) 2018-05-30
US20180150707A1 (en) 2018-05-31
EP3326869B1 (en) 2019-12-25
US10503986B2 (en) 2019-12-10

Similar Documents

Publication Publication Date Title
JP6870294B2 (ja) 乗員情報検出装置およびプログラム
JP4210696B2 (ja) 座席コンポーネントを調節するための装置
US7978881B2 (en) Occupant information detection system
JP4623501B2 (ja) 検知システム、報知装置、駆動装置、車両
EP1674347B1 (en) Detection system, occupant protection device, vehicle, and detection method
JP3286219B2 (ja) 座席の使用状況判定装置
US20070289799A1 (en) Vehicle occupant detecting system
JP5262570B2 (ja) 車両デバイス制御装置
JP2007022401A (ja) 乗員情報検出システム、乗員拘束装置、車両
US9821761B2 (en) System and method for webbing payout
JP2003509269A (ja) 特に自動車におけるシートに配属された乗員保護装置の作動を制御するための方法および装置
JP7259324B2 (ja) 室内監視装置
JP2005526971A (ja) 車両安全装置
US20190329671A1 (en) Occupant information determination apparatus
JPH1115980A (ja) 自動車内の物体の存在を検知する装置
JP2006513895A (ja) 少なくとも1つの車両シートを調整設定するための装置
WO2019180876A1 (ja) 体格推定装置および体格推定方法
JP2020047273A (ja) 3次元特徴点情報生成装置
JP2021081836A (ja) 体格推定装置および姿勢推定装置
JP6814977B2 (ja) 画像処理装置、検知装置、学習装置、画像処理方法、および画像処理プログラム
US20060149426A1 (en) Detecting an eye of a user and determining location and blinking state of the user
CN106467078B (zh) 用于乘员高度的系统和方法
JP5982894B2 (ja) 車両制御装置及びプログラム
JP2017105224A (ja) 車両制御装置
JP7134364B2 (ja) 体格判定装置および体格判定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191010

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210329

R151 Written notification of patent or utility model registration

Ref document number: 6870294

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151