JP3943367B2 - 車両用乗員頭部検出装置 - Google Patents
車両用乗員頭部検出装置 Download PDFInfo
- Publication number
- JP3943367B2 JP3943367B2 JP2001334512A JP2001334512A JP3943367B2 JP 3943367 B2 JP3943367 B2 JP 3943367B2 JP 2001334512 A JP2001334512 A JP 2001334512A JP 2001334512 A JP2001334512 A JP 2001334512A JP 3943367 B2 JP3943367 B2 JP 3943367B2
- Authority
- JP
- Japan
- Prior art keywords
- head
- occupant
- image
- imaging space
- dimensional imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
- B60R21/01512—Passenger detection systems
- B60R21/01542—Passenger detection systems detecting passenger motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
- B60R21/01512—Passenger detection systems
- B60R21/0153—Passenger detection systems using field detection presence sensors
- B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
- B60R21/01512—Passenger detection systems
- B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Air Bags (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明が属する技術分野】
本発明は、車両用乗員頭部検出装置に関する。
【０００２】
【従来の技術】
従来より、左右に所定間隔を隔てて配置されて後方の乗員を撮像する一対のエリアイメージセンサをフロントガラス近傍すなわち座席前方に設けて乗員の前後方向位置を求め、この乗員前後方向位置に基づいて車両衝突時のエアバッグ展開制御モードを変更させる光学測距式（立体視測距式）乗員検出装置が知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、いわゆる三角測距法を用いて測距を行う上記した従来の立体視式測距法では、頭部よりも前方に位置する手や物品の位置を頭部位置として誤検出するという問題があった。
【０００４】
また、立体視式測距では、２個のエリアイメージセンサを設ける必要があり、装置構成や信号処理が複雑化するという問題もあった。
【０００５】
そこで、エリアイメージセンサにより撮像した画像を処理して乗員相当画像領域を認識し、この乗員相当画像領域のうちのあらかじめ記憶する所定の形状的又は色彩的特徴をもつ領域を頭部と判定する方式（画像認識方式ともいう）も考えられるが、この種の画像認識を高精度に行うためには、構成、処理が複雑化し、乗員個々の相違も大きく、迅速で正確な判定が困難であるという問題があった。
【０００６】
本発明は上記問題点に鑑みなされたものであり、構成や処理を簡素化しつつ判定精度に優れた画像認識式の車両用乗員頭部検出装置を提供することをその目的としている。
【０００７】
【課題を解決するための手段】
下記に説明する第一〜第三発明は、エアバッグなどの展開制御に乗員位置情報の利用において頭部位置とりわけ頭部の前後方向位置が最も重要な情報であること、及び、頭部が車室内にて平均的な動きが最も大きい部位であるという認識に基づいてなされたものである。以下、各発明について説明する。
【０００８】
請求項１に記載する第一発明の車両用乗員頭部検出装置は、車両に装備されて座席に着座する乗員を含む二次元撮像空間を撮像するエリアイメージセンサと、前記エリアイメージセンサから順次出力されるフレーム画像に基づいて乗員の頭部の位置を決定する頭部位置演算部とを備え、前記頭部位置演算部は、抽出した前記フレーム画像各部のなかで移動量が最も大きい領域が最も集中分布する領域である最大移動領域を前記二次元撮像空間中における前記頭部と判定することを特徴としている。
【０００９】
これにより、簡素な構成、処理により高精度に頭部位置を検出することができる画像認識式の車両用乗員頭部検出装置を実現することができる。以下、更に詳細に説明する。本発明者らは、車両中の乗員各部のうち、頭部の動き（移動量）が平均的に最大である事実を発見した。
【００１０】
そこで、この第一発明では、動きすなわち移動量が最も大きい領域を頭部と判定する。撮像画像（順次出力されるフレーム画像すなわち映像）から移動量を抽出することは、撮像画像から形状や色などの他の特徴パラメータを抽出する従来の画像認識技術を用いて頭部を判定するのに比べてはるかに簡単、確実であり、データ処理に要する時間も短縮することができるため、衝突時のエアバッグ展開制御などへの応用において特に実用的である。
【００１１】
もちろん、この動きが最大の領域を頭部と判定する本発明の頭部位置検出方式に、従来の形状一致（形状認識）や肌色一致（色認識）手法も併用して頭部位置を推定し、これら複数の頭部検出方式の結果を総合して頭部位置を更に正確に決定してもよい。
【００１２】
エリアイメージセンサとしては、赤外線エリアイメージセンサが好適であり、撮像中に赤外線ランプを照射することは更に好適である。もちろん、可視光線エリアイメージセンサを用いてもよく、撮像中に可視光源を点灯してもよい。
【００１３】
第一発明の第１態様では、前記頭部位置演算部が、複数の前記フレーム画像間の差分処理により差分処理画像領域を前記移動量として抽出することにより前記二次元撮像空間中の差分処理画像領域の分布状態を抽出し、前記差分処理画像領域の分布状態に基づいて前記最大移動領域が抽出される。
【００１４】
すなわち、この第１態様によれば、二次元撮像空間中の動き量が最大である最大移動領域を抽出するためにフレーム画像間の差分処理を用いる。
【００１５】
上記フレーム画像間差分処理を用いると、動きの大きさに応じて、差分処理画像領域（フレーム画像間の差分処理により信号レベルが変化した領域）のＸ方向幅（二次元撮像空間すなわちフレーム画像の横方向、好適には水平左右方向に相当）又はＹ方向幅（二次元撮像空間すなわちフレーム画像の縦方向、好適には高さ（上下）方向に相当）又は斜め方向幅（上記Ｘ方向幅の自乗値とＹ方向自乗値との和の平方根値）、更には複数の前記フレーム画像間の差分処理により信号レベルが変化した領域の面積などが変化するので、これらを用いて動きの大きさを判定することができる。
【００１６】
なお、上記差分処理によれば、静止画像を完全に除去できるため、最大動き画像部分の特に輪郭部分を動き幅で略囲んだ二次元画像パターンを抽出することができる。したがって、この二次元画像パターンの所定部位を頭部位置と推定することができる。
【００１７】
第一発明の第２態様では、前記車両用乗員頭部検出装置が、複数の前記フレーム画像からそれぞれ複数の画像パターンを抽出し、前記各画像パターンごとに前記フレーム画像間の動きベクトルを前記移動量として抽出することにより前記二次元撮像空間中の前記動きベクトルの分布状態を抽出し、前記動きベクトルの分布状態に基づいて前記最大移動領域が抽出される。
【００１８】
すなわち、この第２態様によれば、二次元撮像空間中の各画像パターンの動きベクトルを求め、この動きベクトルが最大である最大移動領域として抽出する。これにより、公知の動きベクトル抽出技術を用いて頭部位置を検出することができる。
【００２１】
第一発明は更に、前記エリアイメージセンサは、座席前方に装備され、前記車両用乗員頭部検出装置が、前記二次元撮像空間中の前記頭部の高さ方向座標位置に基づいて前記乗員の前傾度合いを判定し、前記前傾度合いに基づいて前記頭部の前後方向位置を決定することを特徴としている。
【００２２】
すなわち、この第一発明によれば、乗員動きパターンから乗員姿勢のブロックパターンを求め、求めた乗員姿勢のブロックパターンと、二次元撮像空間中の頭部位置とから頭部の前後方向位置を求めるのではなく、二次元撮像空間中の頭部のＹ（高さ）に基づいて乗員の前傾度合いを推定し、この前傾度合いから頭部の前後方向位置を推定する。なお、正座時の頭部高さから上半身長を求めて、このデータを利用することが一層好ましい。
【００２３】
この第一発明では、エリアイメージセンサは、座席を基準として正面前方、斜め前方（正面前方に対して９０度未満の角度の方向の光軸をもつ方向）に配置することができる。これを本明細書では正面視ともいう。
【００２４】
この正面視の場合において、頭部位置と着座乗員の前傾度合いとは、特有の関係をもつ。すなわち、前傾姿勢においてはフレーム画像中の頭部の位置は低いので、頭部位置が低ければ前傾姿勢と判断することができる。したがって、以前に乗員が正座している場合のフレーム画像中の頭部位置と現在の前傾の程度とから、頭部の前後方向位置を推定することができる。
【００２５】
なお、座席直上から下方視する場合や座席側方向から側方視する場合、フレーム画像のＸ方向すなわち水平方向は乗員頭部の前後方向位置を示す。したがって、この場合には、動きが最も大きい領域の位置を乗員頭部位置として確定すれば乗員の着座姿勢と照合することなく前後方向位置を決定することができる。
【００２６】
ただし、レンズ系の焦点は座席近傍に合せ、車外風景などはぼやけるようにして除去することが好適である。
【００２７】
第一発明の第３態様では、前記頭部位置演算部が、互いに近接する２枚の前記フレーム画像を処理して抽出した前記移動量又は前記差分処理画像領域又は前記動きベクトルを所定数のフレーム期間にわたって累積して得た累積移動量を前記移動量として採用することを特徴としている。
【００２８】
その他、ここでいう移動量として、上記累積移動量すなわち平均移動量すなわち平均移動速度の他、平均した移動方向反転頻度なども採用することができる。これにより、手などを一時的に振り回した場合に生じる一時的な大きな移動量や移動方向反転頻度が誤判定を生じるのを回避することができる。
【００２９】
請求項２に記載する第二発明の車両用乗員頭部検出装置は、車両に装備されて座席に着座する乗員を含む二次元撮像空間を撮像するエリアイメージセンサと、前記エリアイメージセンサから順次出力されるフレーム画像に基づいて乗員の頭部位置を決定する頭部位置演算部とを備える車両用乗員頭部検出装置であって、前記頭部位置演算部は、複数の前記フレーム画像間の差分処理により差分処理画像領域信号を抽出することにより前記二次元撮像空間中の差分処理画像領域の分布状態を抽出し、前記二次元撮像空間中における前記差分処理画像領域を乗員の頭部及び胴体を表す矩形ブロックに分割し、これら矩形ブロックのパターンである検出ブロックパターンを、あらかじめ記憶する矩形ブロックのパターンからなるとともに乗員姿勢パターンを示す複数の記憶ブロックパターンとそれぞれ照合し、前記照合により最も一致率が高かった前記乗員姿勢パターンに基づいて前記頭部の前後方向位置を決定することを特徴としている。
【００３０】
この第二発明によれば、画像認識式頭部検出法において、差分処理によりフレーム画像中の動き部分を抽出することにより、上記差分処理画像領域の二次元集合である二次元移動画像パターンを求め、この二次元移動画像パターンをそれぞれ矩形ブロックの配置（組み合わせ）パターンに整理し、この組み合わせパターンとあらかじめ記憶する種々の乗員姿勢パターンとを比較、照合して、最も一致する乗員姿勢パターンを抽出し、この抽出した乗員姿勢パターン中の頭部を示す矩形ブロックの前後方向位置を頭部の前後方向位置とする。
【００３１】
つまり、この第二発明では、画像認識式頭部検出法において、乗員の動きを利用することにより抽出した乗員画像（二次元移動画像パターン）とあらかじめ記憶する乗員姿勢情報とに基づいて頭部の前後方向位置を判定する。
【００３２】
この第二発明によれば、二次元撮像空間内において平均的に頭部が最も動く領域であるので、従来の形状や色彩による頭部判定に比較して処理が簡単で精度に優れた頭部の前後方向位置判定を実現することができる。
【００３３】
請求項３に記載する第三発明の車両用乗員頭部検出装置は、車両に装備されて座席に着座する乗員を含む二次元撮像空間を撮像するエリアイメージセンサと、前記エリアイメージセンサから順次出力されるフレーム画像に基づいて乗員の頭部位置を決定する頭部位置演算部とを備える車両用乗員頭部検出装置であって、前記頭部位置演算部は、複数の前記フレーム画像からそれぞれ複数の画像領域を抽出し、前記各画像領域ごとに前記フレーム画像間の動きベクトルを抽出することにより前記二次元撮像空間中の前記動きベクトルの分布状態を抽出し、前記二次元撮像空間中における前記動きベクトルを乗員の頭部及び胴体を表す矩形ブロックに分割し、これら矩形ブロックのパターンである検出ブロックパターンを、あらかじめ記憶する矩形ブロックのパターンからなるとともに乗員姿勢パターンを示す複数の記憶ブロックパターンとそれぞれ照合し、前記照合により最も一致率が高かった前記乗員姿勢パターンに基づいて前記頭部の前後方向位置を決定することを特徴としている。
【００３４】
この第三発明によれば、画像認識式頭部検出法において、動きベクトル抽出処理によりフレーム画像中の動き部分を抽出して差分処理画像領域の二次元集合である二次元移動画像パターンを求め、この二次元移動画像パターンをそれぞれ矩形ブロックの配置（組み合わせ）パターンに整理し、この組み合わせパターンとあらかじめ記憶する種々の乗員姿勢パターンとを比較、照合して、最も一致する乗員姿勢パターンを抽出し、この抽出した乗員姿勢パターン中の頭部を示す単位画像ブロックの前後方向位置を頭部の前後方向位置とする。
【００３５】
つまり、この第三発明では、画像認識式頭部検出法において、乗員の動きを利用することにより抽出した乗員画像（二次元移動画像パターン）とあらかじめ記憶する乗員姿勢情報とに基づいて頭部の前後方向位置を判定する。
【００３６】
したがって、第二発明と第三発明との違いは、複数のフレーム画像間から動きを直接抽出するか、もしくは、複数のフレーム画像中にそれぞれ設定した各画像領域の動きベクトルを抽出することにより動きをもつ画像領域を抽出するかが異なっている。また、第二発明及び第三発明は第一発明に対して、頭部を最大移動領域により求めるのではなく、動き画像領域の形状に基づいて求める点が異なっている。
【００３７】
この発明によれば、二次元撮像空間内において平均的に頭部が最も動く領域であるので、従来の形状や色彩による頭部判定に比較して処理が簡単で精度に優れた頭部の前後方向位置判定を実現することができる。
【００３８】
【発明の実施の形態】
本発明の車両用乗員頭部検出装置の好適実施例を以下に説明する。
【００３９】
【実施例１】
実施例１の車両用乗員頭部検出装置を以下に説明する。この実施例では、隣接フレーム画像の差分処理により動きを検出し、動きの最も大きい領域を乗員頭部と判定する方式を説明する。
【００４０】
（全体回路構成）
まず全体の回路構成を説明する。図１において、１はフロントガラス２の上部に固定されて助手席３を撮像する乗員センサ、４はコンソールパネルに収容されて乗員センサ１の出力信号を処理するとともに、処理結果及び図示しない衝突センサの出力信号に基づいて図示しないエアバッグの展開制御を行うコントローラ、５は車体の天井部である。
【００４１】
乗員センサ１を図２参照して詳細に説明する。
【００４２】
乗員センサ１は、図１に示すように車体の天井部５の最前方に固定されて、座席３を含む後方を広い画角で撮像する一対の赤外線エリアイメージセンサ２１と、光源としての赤外線ＬＥＤ２２とからなる。
【００４３】
赤外線エリアイメージセンサ２１は赤外線ＬＥＤ２２に隣接して配置されており、赤外線エリアイメージセンサ２１及び赤外線ＬＥＤ２２の光軸は前後方向斜め下向きに設定されている。
【００４４】
赤外線ＬＥＤ２２は定期的に所定期間発光され、この発光期間直前に赤外線エリアイメージセンサ２１の各画素領域の蓄積電荷が赤外線エリアイメージセンサ２１が集積された半導体基板に放出され、発光期間終了と同時に赤外線エリアイメージセンサ２１は各画素信号を順番に出力する。各画素信号の読み出し順序は通常のものと同じであり、水平走査期間ごとに１画素行の画素信号を順次読み出し、隣接する水平走査期間の間に所定時間の水平ブランキング期間が設定されている。
【００４５】
コントローラ４の画像信号処理回路部分を図３に示す。
【００４６】
この画像信号処理回路部分は、赤外線エリアイメージセンサ２１の出力信号の低域成分を抽出するローパスフィルタ２４と、ローパスフィルタ２４の出力信号を二値信号に変換するコンパレータ２６と、コンパレータ２６から出力される二値フレーム画像信号を処理するマイコン２８とからなる。もちろん、図３の回路は単なる一例であり、種々の公知画像処理技術を用いてもよいことは当然である。
【００４７】
この実施例では、隣接フレーム画像の差分処理により乗員の動きを抽出するので、微細な縦縞模様があると同じ画像部分が重なって動きを検出できない状態が生じる可能性があるため、これを防止するためにローパスフィルタ２４により赤外線エリアイメージセンサ２１の出力信号すなわち水平走査線信号中の高周波成分を除去している。
【００４８】
ローパスフィルタ２４から出力される水平走査線信号中の水平方向低域成分は、コンパレータ２６により二値信号に変換され、マイコン２８に送られる。
【００４９】
マイコン２８の動作を図４を参照して以下に説明する。
【００５０】
（差分処理による頭部位置演算）
マイコン２８は、入力された今回のフレーム画像Ｆ１と記憶している直近のフレーム画像Ｆ２とを差分処理して差分フレーム画像ΔＦ１を抽出する。もちろん、この差分処理において、両フレーム画像Ｆ１、Ｆ２の同一番号Ｎｍの水平走査線信号同士の差分処理が行われる。乗員が左右移動した場合の上記差分フレーム画像ΔＦ１を構成する水平走査線信号の例を図４に示す。
【００５１】
図４からわかるように、上記差分フレーム画像ΔＦ１から、乗員画像の輪郭線が横方向に引き延ばされる形で種々の幅Ｗ１、Ｗ２をもつ差分画像領域信号Ｓ１〜Ｓ４が抽出される。この図４から、フレーム画像すなわち二次元撮像空間中において、乗員（被測定対象）の動きが大きい領域では、左右に広幅の差分画像領域信号が多く分布し、乗員の動きが小さい領域では、狭幅の差分画像領域信号が多く分布し、動きが全くない領域では差分画像領域信号が全く存在しないことがわかる。
【００５２】
なお、車両移動により外光が変化する場合などにおいては差分処理によりフレーム画像すなわち二次元撮像空間各部に大きな変化が変化が生じるので、これを分離することができる。また、分離しなくても、このような変化は一時的であるので、後述する動き累積処理によりその影響が軽減される。
【００５３】
乗員が腰を起点として左右に上半身を揺らせた場合（首を揺らせた場合でもよい）における差分フレーム画像ΔＦ１の一例を図５に示す。すなわち、差分フレーム画像ΔＦ１中において、乗員が左右に動く場合には、動き速度に応じて左右に広幅の差分処理画像領域信号が頭部近傍に集中することがわかる。
【００５４】
同様に、乗員が背中をのばした場合など乗員が上下に動く場合には、動き速度に応じて高さ方向に広幅の差分処理画像領域信号が頭部近傍に集中し、斜めに動く場合には動き速度に応じて斜め方向に広幅の差分処理画像領域信号が頭部近傍に集中する。
【００５５】
したがって、フレーム画像すなわち二次元撮像空間中において差分処理画像領域信号で示される差分処理画像領域のうち、いずれかの方向へ最も広幅の差分処理画像領域が多数集中する領域を頭部位置と判定することができる。つまり、この明細書で言う差分処理画像領域とは、フレーム画像すなわち二次元撮像空間中において上記差分処理画像領域信号で示される領域を言う。なお、処理を簡素化するために、頭部の左右の動きや頭部の自転的な動きや揺動的な動きだけを抽出するべく、各差分処理画像領域のうち左右幅が最大である差分処理画像領域が最も集中する領域を頭部と判定することも可能である。
【００５６】
（手の動きの除去）
次に、手などが短期間に大きく動いて短期的には二次元撮像空間中の移動量が最大の領域となる問題を除去する方法を以下に説明する。この場合、隣接フレーム画像間で抽出した差分フレーム画像を時間的に隣接する所定フレーム数にわたって累積処理する。長期的には、頭部が腰の上方にて頻繁に左右に揺れたり、自転的に揺動することが最も多いために、二次元撮像空間中において頭部が占有する領域に広幅の差分処理画像領域が集中することになる。したがって、この差分処理画像領域が集中する領域を頭部により占有されていた領域と判定し、短期的な手の動きによる広幅の差分処理画像領域の影響を軽減することができる。もしくは、手は頭に比べて細長い形状的特徴をもつので、二次元撮像空間中の差分処理画像領域から細長い手の動きの影響を除去してもよい。また、大部分の場合において、エアバッグ展開時に手を振り動かしている可能性は大きくないので、手の動きの除去を無視してもよい。
【００５７】
結局、上記した差分処理頭部検出方式では、直近の差分フレーム画像から広幅の差分処理画像領域が集中分布する領域を抽出し、それを頭部領域と判定するので、簡素な構成、処理により二次元撮像空間中の頭部位置を正確かつ容易に抽出することができる。
。
【００５８】
上記処理により、差分フレーム画像中の最も動き量すなわち移動量が大きい「動き大画像領域」の二次元撮像空間中の座標位置を頭部として検出することができた。しかし、この「動き大画像領域」は、二次元撮像空間中にかなり大きな面積を占めることがある。そこで、二次元撮像空間中において、この「動き大画像領域」を構成する各差分処理画像領域の重心座標位置や中心座標位置を求めて、これらにより頭部座標位置とする。
【００５９】
（頭部の前後方向位置演算）
なお、上記処理では、二次元撮像空間中の「動き大画像領域」すなわち頭部領域の座標位置を抽出しただけである。
【００６０】
頭部前後方向位置演算方法の一つを図６を参照して説明する。この実施例では赤外線エリアイメージセンサ２１は前方から着座乗員を撮像している。したがって、着座乗員が正座している場合には頭部すなわち「動き大画像領域」の座標位置は二次元撮像空間（フレーム画像）中においてＹ方向に最も高い位置となる。そこで、過去において「動き大画像領域」すなわち頭部がＹ方向に最も高い位置となった場合の頭部のＹ方向座標位置から頭部の高さすなわち正座時の上半身長ｈを推定して記憶しておく。そして、今回の頭部のＹ方向座標位置（高さ）から乗員の上半身の前傾度合いをあらかじめ記憶する頭部高さと前傾度合いとの関係から推定し、この前傾度合いと上半身長ｈとから頭部の前後方向位置を推定することができる。なお、この場合、乗員の上半身は正座時の腰の位置を中心として回転するものとする。
【００６１】
頭部前後方向位置演算方法の他の一つを図７を参照して説明する。
【００６２】
二次元撮像空間中において、動きが大きく形状が小さく横幅が小さい領域（広幅の差分処理画像領域が集中する狭い領域）が頭部であり、動きが小さく形状が大きく横幅が大きく頭部より下方にある領域が胴体（胸部や腹部など）であるので、両差分処理画像領域を、図７に示すように矩形ブロック形状にそれぞれ模式化して頭部ブロック、腹部ブロックとする。なお、図７において、Ｂｈｅａｄは頭部を矩形ブロック形状に模式化して得た頭部ブロック、Ｂｂｏｄｙは胴体を矩形ブロック形状に模式化して得た胴体ブロック、ｍｈは頭部中心点、ｍｂは胴体中心点、ｗｈは頭部ブロックの左右幅、ｗｂは胴体ブロックの左右幅、ｈｈは頭部ブロックの高さ、ｈｂは胴体ブロックの高さである。
【００６３】
前傾すればするほど、頭部ブロックＢｈｅａｄの面積、頭部ブロックの左右幅ｗｈ、頭部ブロックの高さｈｈは大きくなり、逆に、胴体ブロックＢｂｏｄｙの面積、胴体ブロックの高さｈｂは小さくなるので、あらかじめ記憶するこれらのパラメータと乗員の種々の姿勢とのマップに基づいて、乗員の姿勢を求める。なお、この場合にいう姿勢は図６に示す前傾度合いの他、主として首だけを前傾させた場合などの種々の姿勢も含むことができる。
【００６４】
すなわち、今回、検出して模式化して得た頭部ブロックと腹部ブロックとの二次元の組み合わせ（パターン）である検出ブロックパターン（たとえば図７に示す）と、あらかじめ記憶する頭部ブロックと腹部ブロックとの二次元の組み合わせ（パターン）である種々の記憶ブロックパターンとを順次比較して最も一致する記憶ブロックパターンを抽出し、この抽出した記憶ブロックパターンに対して付与されている前傾度合いから頭部の前後方向位置を推定することができる。なお、この場合、体格の大小の影響を排除するために、頭部ブロックと胴体ブロックとの面積比や、頭部ブロックと胴体ブロックとの高さ比を比較パラメータとして用いることが好ましい。
【００６５】
（変形例）
なお、上記説明では、二次元撮像空間中の差分処理画像領域のうち、動きが大きく形状が小さく横幅が小さい領域を含む矩形領域を頭部ブロックとして模式的に抽出し、動きが小さく形状が大きく横幅が大きく頭部より下方にある領域を含む矩形領域を胴体ブロックとして模式的に抽出したが、その代わりに、二次元撮像空間中の差分処理画像領域のうち、動きの大小を無視し、形状が小さく横幅が小さい領域を含む矩形領域を頭部ブロックとして模式的に抽出し、形状が大きく横幅が大きく頭部より下方にある領域を含む矩形領域を胴体ブロックとして模式的に抽出して、上述の乗員姿勢や頭部位置を求めてもよい。
【００６６】
【実施例２】
上記実施例ではフレーム画像間の差分処理により動きが最も大きい領域を求めて頭部と判定した。これに対して、この実施例では、撮像した各フレーム画像からそれぞれ複数の画像領域を抽出し、フレーム間における上記画像領域の動きベクトルを求める。ここでいう動きベクトルとは２枚のフレーム画像間のＸ、Ｙ方向の移動量と移動方向とを示す。なお、動きベクトルの代わりに移動量すなわち動きベクトルのスカラー値を用いてもよい。このようにして求めた動きベクトルの二次元分布パターンから、動きベクトルが最も大きい領域を乗員頭部が占有する領域と判定する。
【００６７】
この実施例では、マイコン２８は、まず入力されたフレーム画像からそれぞれ輪郭線で囲まれた多数の画像領域（又は単なるライン（線分）集合でもよい）を抽出し、それらの座標位置と、記憶している前回入力され同様に抽出された画像領域（又はライン集合）の座席位置との間のＸ、Ｙ方向への動きベクトルを求める。
【００６８】
これにより、二次元撮像空間中における各画像領域の輪郭線又は各ラインの動きベクトルの分布が得られる。二次元撮像空間中の頭部に相当する領域では、長さが長い動きベクトルが多数集中分布し、二次元撮像空間中の胴体に相当する領域では、長さが短い動きベクトルが多数集中分布する。したがって、実施例１における差分処理画像領域の分布の代わりにこの動きベクトルの分布を用いて実施例１ですでに述べた種々の各手法と同じ手法にて頭部位置や頭部前後方向位置を決定することができる。
【００６９】
（変形例）
なお、実施例１の変形例と同様に、二次元撮像空間中における上記動きベクトルの二次元分布パターンのうち、動きの大小を無視し、形状が小さく横幅が小さい領域を含む矩形領域を頭部ブロックとして模式的に抽出し、形状が大きく横幅が大きく頭部より下方にある領域を含む矩形領域を胴体ブロックとして模式的に抽出して、上述の乗員姿勢や頭部位置を求めてもよい。
（処理動作例のフローチャート説明）
上記動きベクトルを用いた信号処理例を図８、図９に示すフローチャートを参照して更に説明する。
【００７０】
まず、今回撮像されたフレーム画像を読み込んで記憶する（Ｓ１００）。
【００７１】
次に、今回読み込んだフレーム画像と前回読み込んだフレーム画像との差分処理を行って差分フレーム画像を抽出するか、もしくは、各フレーム画像のうちの各画像領域の輪郭線間の動きベクトルを抽出することにより、二次元移動画像パターンを形成する（Ｓ１０２）。
【００７２】
次に、この二次元移動画像パターン中において移動量が相対的に最も大きい領域が集中して分布する領域（領域Ｚと称する）を抽出し（Ｓ１０４）、この領域Ｚの幾何学的中心点を求めて二次元撮像空間上の頭部位置と決定する（Ｓ１０６）。
【００７３】
次に、ステップＳ１０２で求めた二次元移動画像パターンを小さい矩形ブロック（頭部に相当するいわゆる頭部ブロック）と、それより大きくかつ下側に隣接する大きい矩形ブロック（胴体に相当するいわゆる胴体ブロック）に整形して、これら頭部ブロックと胴体ブロックとの二次元の組み合わせ（パターン）である検出ブロックパターンを形成する（Ｓ１０８）。
【００７４】
次に、既述したあらかじめ記憶する多数の記憶ブロックパターンと今回形成した検出ブロックパターンとの相似形状マッチングを行い、記憶ブロックパターンの一つを選択する（Ｓ１１０）。
【００７５】
なお、多数の記憶ブロックパターンはそれぞれ乗員の姿勢を示すデータを付随しており、選択された記憶ブロックパターンに付随する上記データから頭部の前後方向位置が決定される（Ｓ１１２）。
【００７６】
（変形フローチャートの説明）
上記動きベクトルを用いた信号処理例の他例を図１０に示すフローチャートを参照して更に説明する。
【００７７】
ステップＳ１０６にて頭部位置を決定した後、頭部位置のＹ方向座標位置（高さ）を求め、あらかじめ記憶する頭部高さと乗員前傾度合いとの関係を示すマップから、今回の乗員前傾度合いを求める（Ｓ１１４）。
【００７８】
次に、求めた前傾度合いと以前に求めて記憶している乗員の正座時の頭部高さ（上半身長）とから、頭部の前後方向位置を決定する（Ｓ１１６）。
【００７９】
（変形例）
なお、上記実施例では、ステップＳ１０６にて、最大動き領域を頭部位置と決定したが、ステップＳ１０８にて整形した二次元画像パターンのうちの小さい矩形ブロックの幾何学的中心を頭部位置と判定してもよい。
【図面の簡単な説明】
【図１】本発明の実施例１を示す模式側面図である。
【図２】図１に示すエリアイメージセンサの撮像例を示す模式平面図である。
【図３】実施例１で用いる画像処理回路を示すブロック回路図である。
【図４】実施例１で用いる差分処理を示すタイミングチャートである。
【図５】差分処理フレーム画像の一例を示す図である。
【図６】頭部の高さと前傾度合いとの関係を示す模式側面図である。
【図７】二次元移動画像パターンのブロックパターンを示す図である。
【図８】頭部位置決定処理の一例を示すフローチャートである。
【図９】頭部位置決定処理の一例を示すフローチャートである。
【図１０】頭部位置決定処理の他例を示すフローチャートである。
【符号の説明】
２１ エリアイメージセンサ
４ コントローラ（頭部位置演算部）
【発明が属する技術分野】
本発明は、車両用乗員頭部検出装置に関する。
【０００２】
【従来の技術】
従来より、左右に所定間隔を隔てて配置されて後方の乗員を撮像する一対のエリアイメージセンサをフロントガラス近傍すなわち座席前方に設けて乗員の前後方向位置を求め、この乗員前後方向位置に基づいて車両衝突時のエアバッグ展開制御モードを変更させる光学測距式（立体視測距式）乗員検出装置が知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、いわゆる三角測距法を用いて測距を行う上記した従来の立体視式測距法では、頭部よりも前方に位置する手や物品の位置を頭部位置として誤検出するという問題があった。
【０００４】
また、立体視式測距では、２個のエリアイメージセンサを設ける必要があり、装置構成や信号処理が複雑化するという問題もあった。
【０００５】
そこで、エリアイメージセンサにより撮像した画像を処理して乗員相当画像領域を認識し、この乗員相当画像領域のうちのあらかじめ記憶する所定の形状的又は色彩的特徴をもつ領域を頭部と判定する方式（画像認識方式ともいう）も考えられるが、この種の画像認識を高精度に行うためには、構成、処理が複雑化し、乗員個々の相違も大きく、迅速で正確な判定が困難であるという問題があった。
【０００６】
本発明は上記問題点に鑑みなされたものであり、構成や処理を簡素化しつつ判定精度に優れた画像認識式の車両用乗員頭部検出装置を提供することをその目的としている。
【０００７】
【課題を解決するための手段】
下記に説明する第一〜第三発明は、エアバッグなどの展開制御に乗員位置情報の利用において頭部位置とりわけ頭部の前後方向位置が最も重要な情報であること、及び、頭部が車室内にて平均的な動きが最も大きい部位であるという認識に基づいてなされたものである。以下、各発明について説明する。
【０００８】
請求項１に記載する第一発明の車両用乗員頭部検出装置は、車両に装備されて座席に着座する乗員を含む二次元撮像空間を撮像するエリアイメージセンサと、前記エリアイメージセンサから順次出力されるフレーム画像に基づいて乗員の頭部の位置を決定する頭部位置演算部とを備え、前記頭部位置演算部は、抽出した前記フレーム画像各部のなかで移動量が最も大きい領域が最も集中分布する領域である最大移動領域を前記二次元撮像空間中における前記頭部と判定することを特徴としている。
【０００９】
これにより、簡素な構成、処理により高精度に頭部位置を検出することができる画像認識式の車両用乗員頭部検出装置を実現することができる。以下、更に詳細に説明する。本発明者らは、車両中の乗員各部のうち、頭部の動き（移動量）が平均的に最大である事実を発見した。
【００１０】
そこで、この第一発明では、動きすなわち移動量が最も大きい領域を頭部と判定する。撮像画像（順次出力されるフレーム画像すなわち映像）から移動量を抽出することは、撮像画像から形状や色などの他の特徴パラメータを抽出する従来の画像認識技術を用いて頭部を判定するのに比べてはるかに簡単、確実であり、データ処理に要する時間も短縮することができるため、衝突時のエアバッグ展開制御などへの応用において特に実用的である。
【００１１】
もちろん、この動きが最大の領域を頭部と判定する本発明の頭部位置検出方式に、従来の形状一致（形状認識）や肌色一致（色認識）手法も併用して頭部位置を推定し、これら複数の頭部検出方式の結果を総合して頭部位置を更に正確に決定してもよい。
【００１２】
エリアイメージセンサとしては、赤外線エリアイメージセンサが好適であり、撮像中に赤外線ランプを照射することは更に好適である。もちろん、可視光線エリアイメージセンサを用いてもよく、撮像中に可視光源を点灯してもよい。
【００１３】
第一発明の第１態様では、前記頭部位置演算部が、複数の前記フレーム画像間の差分処理により差分処理画像領域を前記移動量として抽出することにより前記二次元撮像空間中の差分処理画像領域の分布状態を抽出し、前記差分処理画像領域の分布状態に基づいて前記最大移動領域が抽出される。
【００１４】
すなわち、この第１態様によれば、二次元撮像空間中の動き量が最大である最大移動領域を抽出するためにフレーム画像間の差分処理を用いる。
【００１５】
上記フレーム画像間差分処理を用いると、動きの大きさに応じて、差分処理画像領域（フレーム画像間の差分処理により信号レベルが変化した領域）のＸ方向幅（二次元撮像空間すなわちフレーム画像の横方向、好適には水平左右方向に相当）又はＹ方向幅（二次元撮像空間すなわちフレーム画像の縦方向、好適には高さ（上下）方向に相当）又は斜め方向幅（上記Ｘ方向幅の自乗値とＹ方向自乗値との和の平方根値）、更には複数の前記フレーム画像間の差分処理により信号レベルが変化した領域の面積などが変化するので、これらを用いて動きの大きさを判定することができる。
【００１６】
なお、上記差分処理によれば、静止画像を完全に除去できるため、最大動き画像部分の特に輪郭部分を動き幅で略囲んだ二次元画像パターンを抽出することができる。したがって、この二次元画像パターンの所定部位を頭部位置と推定することができる。
【００１７】
第一発明の第２態様では、前記車両用乗員頭部検出装置が、複数の前記フレーム画像からそれぞれ複数の画像パターンを抽出し、前記各画像パターンごとに前記フレーム画像間の動きベクトルを前記移動量として抽出することにより前記二次元撮像空間中の前記動きベクトルの分布状態を抽出し、前記動きベクトルの分布状態に基づいて前記最大移動領域が抽出される。
【００１８】
すなわち、この第２態様によれば、二次元撮像空間中の各画像パターンの動きベクトルを求め、この動きベクトルが最大である最大移動領域として抽出する。これにより、公知の動きベクトル抽出技術を用いて頭部位置を検出することができる。
【００２１】
第一発明は更に、前記エリアイメージセンサは、座席前方に装備され、前記車両用乗員頭部検出装置が、前記二次元撮像空間中の前記頭部の高さ方向座標位置に基づいて前記乗員の前傾度合いを判定し、前記前傾度合いに基づいて前記頭部の前後方向位置を決定することを特徴としている。
【００２２】
すなわち、この第一発明によれば、乗員動きパターンから乗員姿勢のブロックパターンを求め、求めた乗員姿勢のブロックパターンと、二次元撮像空間中の頭部位置とから頭部の前後方向位置を求めるのではなく、二次元撮像空間中の頭部のＹ（高さ）に基づいて乗員の前傾度合いを推定し、この前傾度合いから頭部の前後方向位置を推定する。なお、正座時の頭部高さから上半身長を求めて、このデータを利用することが一層好ましい。
【００２３】
この第一発明では、エリアイメージセンサは、座席を基準として正面前方、斜め前方（正面前方に対して９０度未満の角度の方向の光軸をもつ方向）に配置することができる。これを本明細書では正面視ともいう。
【００２４】
この正面視の場合において、頭部位置と着座乗員の前傾度合いとは、特有の関係をもつ。すなわち、前傾姿勢においてはフレーム画像中の頭部の位置は低いので、頭部位置が低ければ前傾姿勢と判断することができる。したがって、以前に乗員が正座している場合のフレーム画像中の頭部位置と現在の前傾の程度とから、頭部の前後方向位置を推定することができる。
【００２５】
なお、座席直上から下方視する場合や座席側方向から側方視する場合、フレーム画像のＸ方向すなわち水平方向は乗員頭部の前後方向位置を示す。したがって、この場合には、動きが最も大きい領域の位置を乗員頭部位置として確定すれば乗員の着座姿勢と照合することなく前後方向位置を決定することができる。
【００２６】
ただし、レンズ系の焦点は座席近傍に合せ、車外風景などはぼやけるようにして除去することが好適である。
【００２７】
第一発明の第３態様では、前記頭部位置演算部が、互いに近接する２枚の前記フレーム画像を処理して抽出した前記移動量又は前記差分処理画像領域又は前記動きベクトルを所定数のフレーム期間にわたって累積して得た累積移動量を前記移動量として採用することを特徴としている。
【００２８】
その他、ここでいう移動量として、上記累積移動量すなわち平均移動量すなわち平均移動速度の他、平均した移動方向反転頻度なども採用することができる。これにより、手などを一時的に振り回した場合に生じる一時的な大きな移動量や移動方向反転頻度が誤判定を生じるのを回避することができる。
【００２９】
請求項２に記載する第二発明の車両用乗員頭部検出装置は、車両に装備されて座席に着座する乗員を含む二次元撮像空間を撮像するエリアイメージセンサと、前記エリアイメージセンサから順次出力されるフレーム画像に基づいて乗員の頭部位置を決定する頭部位置演算部とを備える車両用乗員頭部検出装置であって、前記頭部位置演算部は、複数の前記フレーム画像間の差分処理により差分処理画像領域信号を抽出することにより前記二次元撮像空間中の差分処理画像領域の分布状態を抽出し、前記二次元撮像空間中における前記差分処理画像領域を乗員の頭部及び胴体を表す矩形ブロックに分割し、これら矩形ブロックのパターンである検出ブロックパターンを、あらかじめ記憶する矩形ブロックのパターンからなるとともに乗員姿勢パターンを示す複数の記憶ブロックパターンとそれぞれ照合し、前記照合により最も一致率が高かった前記乗員姿勢パターンに基づいて前記頭部の前後方向位置を決定することを特徴としている。
【００３０】
この第二発明によれば、画像認識式頭部検出法において、差分処理によりフレーム画像中の動き部分を抽出することにより、上記差分処理画像領域の二次元集合である二次元移動画像パターンを求め、この二次元移動画像パターンをそれぞれ矩形ブロックの配置（組み合わせ）パターンに整理し、この組み合わせパターンとあらかじめ記憶する種々の乗員姿勢パターンとを比較、照合して、最も一致する乗員姿勢パターンを抽出し、この抽出した乗員姿勢パターン中の頭部を示す矩形ブロックの前後方向位置を頭部の前後方向位置とする。
【００３１】
つまり、この第二発明では、画像認識式頭部検出法において、乗員の動きを利用することにより抽出した乗員画像（二次元移動画像パターン）とあらかじめ記憶する乗員姿勢情報とに基づいて頭部の前後方向位置を判定する。
【００３２】
この第二発明によれば、二次元撮像空間内において平均的に頭部が最も動く領域であるので、従来の形状や色彩による頭部判定に比較して処理が簡単で精度に優れた頭部の前後方向位置判定を実現することができる。
【００３３】
請求項３に記載する第三発明の車両用乗員頭部検出装置は、車両に装備されて座席に着座する乗員を含む二次元撮像空間を撮像するエリアイメージセンサと、前記エリアイメージセンサから順次出力されるフレーム画像に基づいて乗員の頭部位置を決定する頭部位置演算部とを備える車両用乗員頭部検出装置であって、前記頭部位置演算部は、複数の前記フレーム画像からそれぞれ複数の画像領域を抽出し、前記各画像領域ごとに前記フレーム画像間の動きベクトルを抽出することにより前記二次元撮像空間中の前記動きベクトルの分布状態を抽出し、前記二次元撮像空間中における前記動きベクトルを乗員の頭部及び胴体を表す矩形ブロックに分割し、これら矩形ブロックのパターンである検出ブロックパターンを、あらかじめ記憶する矩形ブロックのパターンからなるとともに乗員姿勢パターンを示す複数の記憶ブロックパターンとそれぞれ照合し、前記照合により最も一致率が高かった前記乗員姿勢パターンに基づいて前記頭部の前後方向位置を決定することを特徴としている。
【００３４】
この第三発明によれば、画像認識式頭部検出法において、動きベクトル抽出処理によりフレーム画像中の動き部分を抽出して差分処理画像領域の二次元集合である二次元移動画像パターンを求め、この二次元移動画像パターンをそれぞれ矩形ブロックの配置（組み合わせ）パターンに整理し、この組み合わせパターンとあらかじめ記憶する種々の乗員姿勢パターンとを比較、照合して、最も一致する乗員姿勢パターンを抽出し、この抽出した乗員姿勢パターン中の頭部を示す単位画像ブロックの前後方向位置を頭部の前後方向位置とする。
【００３５】
つまり、この第三発明では、画像認識式頭部検出法において、乗員の動きを利用することにより抽出した乗員画像（二次元移動画像パターン）とあらかじめ記憶する乗員姿勢情報とに基づいて頭部の前後方向位置を判定する。
【００３６】
したがって、第二発明と第三発明との違いは、複数のフレーム画像間から動きを直接抽出するか、もしくは、複数のフレーム画像中にそれぞれ設定した各画像領域の動きベクトルを抽出することにより動きをもつ画像領域を抽出するかが異なっている。また、第二発明及び第三発明は第一発明に対して、頭部を最大移動領域により求めるのではなく、動き画像領域の形状に基づいて求める点が異なっている。
【００３７】
この発明によれば、二次元撮像空間内において平均的に頭部が最も動く領域であるので、従来の形状や色彩による頭部判定に比較して処理が簡単で精度に優れた頭部の前後方向位置判定を実現することができる。
【００３８】
【発明の実施の形態】
本発明の車両用乗員頭部検出装置の好適実施例を以下に説明する。
【００３９】
【実施例１】
実施例１の車両用乗員頭部検出装置を以下に説明する。この実施例では、隣接フレーム画像の差分処理により動きを検出し、動きの最も大きい領域を乗員頭部と判定する方式を説明する。
【００４０】
（全体回路構成）
まず全体の回路構成を説明する。図１において、１はフロントガラス２の上部に固定されて助手席３を撮像する乗員センサ、４はコンソールパネルに収容されて乗員センサ１の出力信号を処理するとともに、処理結果及び図示しない衝突センサの出力信号に基づいて図示しないエアバッグの展開制御を行うコントローラ、５は車体の天井部である。
【００４１】
乗員センサ１を図２参照して詳細に説明する。
【００４２】
乗員センサ１は、図１に示すように車体の天井部５の最前方に固定されて、座席３を含む後方を広い画角で撮像する一対の赤外線エリアイメージセンサ２１と、光源としての赤外線ＬＥＤ２２とからなる。
【００４３】
赤外線エリアイメージセンサ２１は赤外線ＬＥＤ２２に隣接して配置されており、赤外線エリアイメージセンサ２１及び赤外線ＬＥＤ２２の光軸は前後方向斜め下向きに設定されている。
【００４４】
赤外線ＬＥＤ２２は定期的に所定期間発光され、この発光期間直前に赤外線エリアイメージセンサ２１の各画素領域の蓄積電荷が赤外線エリアイメージセンサ２１が集積された半導体基板に放出され、発光期間終了と同時に赤外線エリアイメージセンサ２１は各画素信号を順番に出力する。各画素信号の読み出し順序は通常のものと同じであり、水平走査期間ごとに１画素行の画素信号を順次読み出し、隣接する水平走査期間の間に所定時間の水平ブランキング期間が設定されている。
【００４５】
コントローラ４の画像信号処理回路部分を図３に示す。
【００４６】
この画像信号処理回路部分は、赤外線エリアイメージセンサ２１の出力信号の低域成分を抽出するローパスフィルタ２４と、ローパスフィルタ２４の出力信号を二値信号に変換するコンパレータ２６と、コンパレータ２６から出力される二値フレーム画像信号を処理するマイコン２８とからなる。もちろん、図３の回路は単なる一例であり、種々の公知画像処理技術を用いてもよいことは当然である。
【００４７】
この実施例では、隣接フレーム画像の差分処理により乗員の動きを抽出するので、微細な縦縞模様があると同じ画像部分が重なって動きを検出できない状態が生じる可能性があるため、これを防止するためにローパスフィルタ２４により赤外線エリアイメージセンサ２１の出力信号すなわち水平走査線信号中の高周波成分を除去している。
【００４８】
ローパスフィルタ２４から出力される水平走査線信号中の水平方向低域成分は、コンパレータ２６により二値信号に変換され、マイコン２８に送られる。
【００４９】
マイコン２８の動作を図４を参照して以下に説明する。
【００５０】
（差分処理による頭部位置演算）
マイコン２８は、入力された今回のフレーム画像Ｆ１と記憶している直近のフレーム画像Ｆ２とを差分処理して差分フレーム画像ΔＦ１を抽出する。もちろん、この差分処理において、両フレーム画像Ｆ１、Ｆ２の同一番号Ｎｍの水平走査線信号同士の差分処理が行われる。乗員が左右移動した場合の上記差分フレーム画像ΔＦ１を構成する水平走査線信号の例を図４に示す。
【００５１】
図４からわかるように、上記差分フレーム画像ΔＦ１から、乗員画像の輪郭線が横方向に引き延ばされる形で種々の幅Ｗ１、Ｗ２をもつ差分画像領域信号Ｓ１〜Ｓ４が抽出される。この図４から、フレーム画像すなわち二次元撮像空間中において、乗員（被測定対象）の動きが大きい領域では、左右に広幅の差分画像領域信号が多く分布し、乗員の動きが小さい領域では、狭幅の差分画像領域信号が多く分布し、動きが全くない領域では差分画像領域信号が全く存在しないことがわかる。
【００５２】
なお、車両移動により外光が変化する場合などにおいては差分処理によりフレーム画像すなわち二次元撮像空間各部に大きな変化が変化が生じるので、これを分離することができる。また、分離しなくても、このような変化は一時的であるので、後述する動き累積処理によりその影響が軽減される。
【００５３】
乗員が腰を起点として左右に上半身を揺らせた場合（首を揺らせた場合でもよい）における差分フレーム画像ΔＦ１の一例を図５に示す。すなわち、差分フレーム画像ΔＦ１中において、乗員が左右に動く場合には、動き速度に応じて左右に広幅の差分処理画像領域信号が頭部近傍に集中することがわかる。
【００５４】
同様に、乗員が背中をのばした場合など乗員が上下に動く場合には、動き速度に応じて高さ方向に広幅の差分処理画像領域信号が頭部近傍に集中し、斜めに動く場合には動き速度に応じて斜め方向に広幅の差分処理画像領域信号が頭部近傍に集中する。
【００５５】
したがって、フレーム画像すなわち二次元撮像空間中において差分処理画像領域信号で示される差分処理画像領域のうち、いずれかの方向へ最も広幅の差分処理画像領域が多数集中する領域を頭部位置と判定することができる。つまり、この明細書で言う差分処理画像領域とは、フレーム画像すなわち二次元撮像空間中において上記差分処理画像領域信号で示される領域を言う。なお、処理を簡素化するために、頭部の左右の動きや頭部の自転的な動きや揺動的な動きだけを抽出するべく、各差分処理画像領域のうち左右幅が最大である差分処理画像領域が最も集中する領域を頭部と判定することも可能である。
【００５６】
（手の動きの除去）
次に、手などが短期間に大きく動いて短期的には二次元撮像空間中の移動量が最大の領域となる問題を除去する方法を以下に説明する。この場合、隣接フレーム画像間で抽出した差分フレーム画像を時間的に隣接する所定フレーム数にわたって累積処理する。長期的には、頭部が腰の上方にて頻繁に左右に揺れたり、自転的に揺動することが最も多いために、二次元撮像空間中において頭部が占有する領域に広幅の差分処理画像領域が集中することになる。したがって、この差分処理画像領域が集中する領域を頭部により占有されていた領域と判定し、短期的な手の動きによる広幅の差分処理画像領域の影響を軽減することができる。もしくは、手は頭に比べて細長い形状的特徴をもつので、二次元撮像空間中の差分処理画像領域から細長い手の動きの影響を除去してもよい。また、大部分の場合において、エアバッグ展開時に手を振り動かしている可能性は大きくないので、手の動きの除去を無視してもよい。
【００５７】
結局、上記した差分処理頭部検出方式では、直近の差分フレーム画像から広幅の差分処理画像領域が集中分布する領域を抽出し、それを頭部領域と判定するので、簡素な構成、処理により二次元撮像空間中の頭部位置を正確かつ容易に抽出することができる。
。
【００５８】
上記処理により、差分フレーム画像中の最も動き量すなわち移動量が大きい「動き大画像領域」の二次元撮像空間中の座標位置を頭部として検出することができた。しかし、この「動き大画像領域」は、二次元撮像空間中にかなり大きな面積を占めることがある。そこで、二次元撮像空間中において、この「動き大画像領域」を構成する各差分処理画像領域の重心座標位置や中心座標位置を求めて、これらにより頭部座標位置とする。
【００５９】
（頭部の前後方向位置演算）
なお、上記処理では、二次元撮像空間中の「動き大画像領域」すなわち頭部領域の座標位置を抽出しただけである。
【００６０】
頭部前後方向位置演算方法の一つを図６を参照して説明する。この実施例では赤外線エリアイメージセンサ２１は前方から着座乗員を撮像している。したがって、着座乗員が正座している場合には頭部すなわち「動き大画像領域」の座標位置は二次元撮像空間（フレーム画像）中においてＹ方向に最も高い位置となる。そこで、過去において「動き大画像領域」すなわち頭部がＹ方向に最も高い位置となった場合の頭部のＹ方向座標位置から頭部の高さすなわち正座時の上半身長ｈを推定して記憶しておく。そして、今回の頭部のＹ方向座標位置（高さ）から乗員の上半身の前傾度合いをあらかじめ記憶する頭部高さと前傾度合いとの関係から推定し、この前傾度合いと上半身長ｈとから頭部の前後方向位置を推定することができる。なお、この場合、乗員の上半身は正座時の腰の位置を中心として回転するものとする。
【００６１】
頭部前後方向位置演算方法の他の一つを図７を参照して説明する。
【００６２】
二次元撮像空間中において、動きが大きく形状が小さく横幅が小さい領域（広幅の差分処理画像領域が集中する狭い領域）が頭部であり、動きが小さく形状が大きく横幅が大きく頭部より下方にある領域が胴体（胸部や腹部など）であるので、両差分処理画像領域を、図７に示すように矩形ブロック形状にそれぞれ模式化して頭部ブロック、腹部ブロックとする。なお、図７において、Ｂｈｅａｄは頭部を矩形ブロック形状に模式化して得た頭部ブロック、Ｂｂｏｄｙは胴体を矩形ブロック形状に模式化して得た胴体ブロック、ｍｈは頭部中心点、ｍｂは胴体中心点、ｗｈは頭部ブロックの左右幅、ｗｂは胴体ブロックの左右幅、ｈｈは頭部ブロックの高さ、ｈｂは胴体ブロックの高さである。
【００６３】
前傾すればするほど、頭部ブロックＢｈｅａｄの面積、頭部ブロックの左右幅ｗｈ、頭部ブロックの高さｈｈは大きくなり、逆に、胴体ブロックＢｂｏｄｙの面積、胴体ブロックの高さｈｂは小さくなるので、あらかじめ記憶するこれらのパラメータと乗員の種々の姿勢とのマップに基づいて、乗員の姿勢を求める。なお、この場合にいう姿勢は図６に示す前傾度合いの他、主として首だけを前傾させた場合などの種々の姿勢も含むことができる。
【００６４】
すなわち、今回、検出して模式化して得た頭部ブロックと腹部ブロックとの二次元の組み合わせ（パターン）である検出ブロックパターン（たとえば図７に示す）と、あらかじめ記憶する頭部ブロックと腹部ブロックとの二次元の組み合わせ（パターン）である種々の記憶ブロックパターンとを順次比較して最も一致する記憶ブロックパターンを抽出し、この抽出した記憶ブロックパターンに対して付与されている前傾度合いから頭部の前後方向位置を推定することができる。なお、この場合、体格の大小の影響を排除するために、頭部ブロックと胴体ブロックとの面積比や、頭部ブロックと胴体ブロックとの高さ比を比較パラメータとして用いることが好ましい。
【００６５】
（変形例）
なお、上記説明では、二次元撮像空間中の差分処理画像領域のうち、動きが大きく形状が小さく横幅が小さい領域を含む矩形領域を頭部ブロックとして模式的に抽出し、動きが小さく形状が大きく横幅が大きく頭部より下方にある領域を含む矩形領域を胴体ブロックとして模式的に抽出したが、その代わりに、二次元撮像空間中の差分処理画像領域のうち、動きの大小を無視し、形状が小さく横幅が小さい領域を含む矩形領域を頭部ブロックとして模式的に抽出し、形状が大きく横幅が大きく頭部より下方にある領域を含む矩形領域を胴体ブロックとして模式的に抽出して、上述の乗員姿勢や頭部位置を求めてもよい。
【００６６】
【実施例２】
上記実施例ではフレーム画像間の差分処理により動きが最も大きい領域を求めて頭部と判定した。これに対して、この実施例では、撮像した各フレーム画像からそれぞれ複数の画像領域を抽出し、フレーム間における上記画像領域の動きベクトルを求める。ここでいう動きベクトルとは２枚のフレーム画像間のＸ、Ｙ方向の移動量と移動方向とを示す。なお、動きベクトルの代わりに移動量すなわち動きベクトルのスカラー値を用いてもよい。このようにして求めた動きベクトルの二次元分布パターンから、動きベクトルが最も大きい領域を乗員頭部が占有する領域と判定する。
【００６７】
この実施例では、マイコン２８は、まず入力されたフレーム画像からそれぞれ輪郭線で囲まれた多数の画像領域（又は単なるライン（線分）集合でもよい）を抽出し、それらの座標位置と、記憶している前回入力され同様に抽出された画像領域（又はライン集合）の座席位置との間のＸ、Ｙ方向への動きベクトルを求める。
【００６８】
これにより、二次元撮像空間中における各画像領域の輪郭線又は各ラインの動きベクトルの分布が得られる。二次元撮像空間中の頭部に相当する領域では、長さが長い動きベクトルが多数集中分布し、二次元撮像空間中の胴体に相当する領域では、長さが短い動きベクトルが多数集中分布する。したがって、実施例１における差分処理画像領域の分布の代わりにこの動きベクトルの分布を用いて実施例１ですでに述べた種々の各手法と同じ手法にて頭部位置や頭部前後方向位置を決定することができる。
【００６９】
（変形例）
なお、実施例１の変形例と同様に、二次元撮像空間中における上記動きベクトルの二次元分布パターンのうち、動きの大小を無視し、形状が小さく横幅が小さい領域を含む矩形領域を頭部ブロックとして模式的に抽出し、形状が大きく横幅が大きく頭部より下方にある領域を含む矩形領域を胴体ブロックとして模式的に抽出して、上述の乗員姿勢や頭部位置を求めてもよい。
（処理動作例のフローチャート説明）
上記動きベクトルを用いた信号処理例を図８、図９に示すフローチャートを参照して更に説明する。
【００７０】
まず、今回撮像されたフレーム画像を読み込んで記憶する（Ｓ１００）。
【００７１】
次に、今回読み込んだフレーム画像と前回読み込んだフレーム画像との差分処理を行って差分フレーム画像を抽出するか、もしくは、各フレーム画像のうちの各画像領域の輪郭線間の動きベクトルを抽出することにより、二次元移動画像パターンを形成する（Ｓ１０２）。
【００７２】
次に、この二次元移動画像パターン中において移動量が相対的に最も大きい領域が集中して分布する領域（領域Ｚと称する）を抽出し（Ｓ１０４）、この領域Ｚの幾何学的中心点を求めて二次元撮像空間上の頭部位置と決定する（Ｓ１０６）。
【００７３】
次に、ステップＳ１０２で求めた二次元移動画像パターンを小さい矩形ブロック（頭部に相当するいわゆる頭部ブロック）と、それより大きくかつ下側に隣接する大きい矩形ブロック（胴体に相当するいわゆる胴体ブロック）に整形して、これら頭部ブロックと胴体ブロックとの二次元の組み合わせ（パターン）である検出ブロックパターンを形成する（Ｓ１０８）。
【００７４】
次に、既述したあらかじめ記憶する多数の記憶ブロックパターンと今回形成した検出ブロックパターンとの相似形状マッチングを行い、記憶ブロックパターンの一つを選択する（Ｓ１１０）。
【００７５】
なお、多数の記憶ブロックパターンはそれぞれ乗員の姿勢を示すデータを付随しており、選択された記憶ブロックパターンに付随する上記データから頭部の前後方向位置が決定される（Ｓ１１２）。
【００７６】
（変形フローチャートの説明）
上記動きベクトルを用いた信号処理例の他例を図１０に示すフローチャートを参照して更に説明する。
【００７７】
ステップＳ１０６にて頭部位置を決定した後、頭部位置のＹ方向座標位置（高さ）を求め、あらかじめ記憶する頭部高さと乗員前傾度合いとの関係を示すマップから、今回の乗員前傾度合いを求める（Ｓ１１４）。
【００７８】
次に、求めた前傾度合いと以前に求めて記憶している乗員の正座時の頭部高さ（上半身長）とから、頭部の前後方向位置を決定する（Ｓ１１６）。
【００７９】
（変形例）
なお、上記実施例では、ステップＳ１０６にて、最大動き領域を頭部位置と決定したが、ステップＳ１０８にて整形した二次元画像パターンのうちの小さい矩形ブロックの幾何学的中心を頭部位置と判定してもよい。
【図面の簡単な説明】
【図１】本発明の実施例１を示す模式側面図である。
【図２】図１に示すエリアイメージセンサの撮像例を示す模式平面図である。
【図３】実施例１で用いる画像処理回路を示すブロック回路図である。
【図４】実施例１で用いる差分処理を示すタイミングチャートである。
【図５】差分処理フレーム画像の一例を示す図である。
【図６】頭部の高さと前傾度合いとの関係を示す模式側面図である。
【図７】二次元移動画像パターンのブロックパターンを示す図である。
【図８】頭部位置決定処理の一例を示すフローチャートである。
【図９】頭部位置決定処理の一例を示すフローチャートである。
【図１０】頭部位置決定処理の他例を示すフローチャートである。
【符号の説明】
２１ エリアイメージセンサ
４ コントローラ（頭部位置演算部）
Claims (4)
- 車両に装備されて座席に着座する乗員を含む二次元撮像空間を撮像するエリアイメージセンサと、前記エリアイメージセンサから順次出力されるフレーム画像に基づいて乗員の頭部の位置を決定する頭部位置演算部とを備える車両用乗員頭部検出装置であって、
前記エリアイメージセンサは、座席前方に装備され、
前記頭部位置演算部は、
抽出した前記フレーム画像各部のなかで移動量が最も大きい領域が最も集中分布する領域である最大移動領域を前記二次元撮像空間中における前記頭部と判定するとともに、前記二次元撮像空間中の前記頭部の高さ方向座標位置に基づいて前記乗員の前傾度合いを判定し、前記前傾度合いに基づいて前記頭部の前後方向位置を決定することを特徴とする車両用乗員頭部検出装置。 - 車両に装備されて座席に着座する乗員を含む二次元撮像空間を撮像するエリアイメージセンサと、前記エリアイメージセンサから順次出力されるフレーム画像に基づいて乗員の頭部位置を決定する頭部位置演算部とを備える車両用乗員頭部検出装置であって、
前記頭部位置演算部は、
複数の前記フレーム画像間の差分処理により差分処理画像領域信号を抽出することにより前記二次元撮像空間中の差分処理画像領域の分布状態を抽出し、
前記二次元撮像空間中における前記差分処理画像領域を乗員の頭部及び胴体を表す矩形ブロックに分割し、
これら矩形ブロックのパターンである検出ブロックパターンを、あらかじめ記憶する矩形ブロックのパターンからなるとともに乗員姿勢パターンを示す複数の記憶ブロックパターンとそれぞれ照合し、
前記照合により最も一致率が高かった前記乗員姿勢パターンに基づいて前記頭部の前後方向位置を決定することを特徴とする車両用乗員頭部検出装置。 - 車両に装備されて座席に着座する乗員を含む二次元撮像空間を撮像するエリアイメージセンサと、前記エリアイメージセンサから順次出力されるフレーム画像に基づいて乗員の頭部位置を決定する頭部位置演算部とを備える車両用乗員頭部検出装置であって、
前記頭部位置演算部は、
複数の前記フレーム画像からそれぞれ複数の画像領域を抽出し、
前記各画像領域ごとに前記フレーム画像間の動きベクトルを抽出することにより前記二次元撮像空間中の前記動きベクトルの分布状態を抽出し、
前記二次元撮像空間中における前記動きベクトルを乗員の頭部及び胴体を表す矩形ブロックに分割し、
これら矩形ブロックのパターンである検出ブロックパターンを、あらかじめ記憶する矩形ブロックのパターンからなるとともに乗員姿勢パターンを示す複数の記憶ブロックパターンとそれぞれ照合し、
前記照合により最も一致率が高かった前記乗員姿勢パターンに基づいて前記頭部の前後方向位置を決定することを特徴とする車両用乗員頭部検出装置。 - 請求項２又は３記載の車両用乗員頭部検出装置において、
前記エリアイメージセンサは、座席前方に装備されている車両用乗員頭部検出装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001334512A JP3943367B2 (ja) | 2001-10-31 | 2001-10-31 | 車両用乗員頭部検出装置 |
| US10/268,956 US20030079929A1 (en) | 2001-10-31 | 2002-10-11 | Apparatus for detecting head of occupant in vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001334512A JP3943367B2 (ja) | 2001-10-31 | 2001-10-31 | 車両用乗員頭部検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003141513A JP2003141513A (ja) | 2003-05-16 |
| JP3943367B2 true JP3943367B2 (ja) | 2007-07-11 |
Family
ID=19149627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001334512A Expired - Lifetime JP3943367B2 (ja) | 2001-10-31 | 2001-10-31 | 車両用乗員頭部検出装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20030079929A1 (ja) |
| JP (1) | JP3943367B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10503987B2 (en) | 2014-06-23 | 2019-12-10 | Denso Corporation | Apparatus detecting driving incapability state of driver |
| US20220314796A1 (en) * | 2021-03-30 | 2022-10-06 | Panasonic Intellectual Property Management Co., Ltd. | Vehicle display device |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10321506B4 (de) * | 2003-05-13 | 2006-10-05 | Siemens Ag | Verfahren zur Bestimmung der aktuellen Kopfposition von Fahrzeuginsassen |
| DE602004017986D1 (de) | 2003-05-20 | 2009-01-08 | Fujikura Ltd | Sitzerkennungsschalter |
| JP2005018655A (ja) * | 2003-06-27 | 2005-01-20 | Nissan Motor Co Ltd | 運転者行動推定装置 |
| JP4876663B2 (ja) * | 2005-03-31 | 2012-02-15 | 日産自動車株式会社 | 車両横転時の乗員保護装置 |
| JP2007022401A (ja) * | 2005-07-19 | 2007-02-01 | Takata Corp | 乗員情報検出システム、乗員拘束装置、車両 |
| US20070146482A1 (en) * | 2005-12-23 | 2007-06-28 | Branislav Kiscanin | Method of depth estimation from a single camera |
| JP5030580B2 (ja) * | 2006-12-27 | 2012-09-19 | タカタ株式会社 | 車両用作動システム、車両 |
| EP2674323B1 (en) | 2007-04-30 | 2018-07-11 | Mobileye Vision Technologies Ltd. | Rear obstruction detection |
| US10430676B2 (en) * | 2014-06-23 | 2019-10-01 | Denso Corporation | Apparatus detecting driving incapability state of driver |
| JP6372388B2 (ja) * | 2014-06-23 | 2018-08-15 | 株式会社デンソー | ドライバの運転不能状態検出装置 |
| US9446730B1 (en) | 2015-11-08 | 2016-09-20 | Thunder Power Hong Kong Ltd. | Automatic passenger airbag switch |
| DE102016223542A1 (de) * | 2016-11-28 | 2018-05-30 | Robert Bosch Gmbh | Vorrichtung zur Überwachung eines Kraftradfahrers |
| JP6982767B2 (ja) * | 2017-03-31 | 2021-12-17 | パナソニックＩｐマネジメント株式会社 | 検知装置、学習装置、検知方法、学習方法、およびプログラム |
| EP3483009B1 (en) * | 2017-11-13 | 2024-05-08 | Volvo Car Corporation | Collision impact force reduction method and system |
| JP7003612B2 (ja) * | 2017-12-08 | 2022-01-20 | 株式会社デンソー | 異常検知装置、及び異常検知プログラム |
| EP4099214A1 (en) | 2021-06-04 | 2022-12-07 | Aptiv Technologies Limited | Method and system for monitoring an occupant of a vehicle |
| JP7509157B2 (ja) | 2022-01-18 | 2024-07-02 | トヨタ自動車株式会社 | ドライバ監視装置、ドライバ監視用コンピュータプログラム及びドライバ監視方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0624030B2 (ja) * | 1987-09-14 | 1994-03-30 | 日本放送協会 | 画像解析装置 |
| JPH04340178A (ja) * | 1991-03-11 | 1992-11-26 | Mitsubishi Electric Corp | 侵入監視装置 |
| CA2119327A1 (en) * | 1993-07-19 | 1995-01-20 | David Crawford Gibbon | Method and means for detecting people in image sequences |
| US5528698A (en) * | 1995-03-27 | 1996-06-18 | Rockwell International Corporation | Automotive occupant sensing device |
| JPH11161798A (ja) * | 1997-12-01 | 1999-06-18 | Toyota Motor Corp | 車両運転者監視装置 |
| JPH11278205A (ja) * | 1998-03-25 | 1999-10-12 | Toyota Central Res & Dev Lab Inc | エアバッグ作動制御装置 |
| JP3532772B2 (ja) * | 1998-09-25 | 2004-05-31 | 本田技研工業株式会社 | 乗員の乗車状態検出装置 |
| JP4031122B2 (ja) * | 1998-09-30 | 2008-01-09 | 本田技研工業株式会社 | 差分画像を用いた被写体の検出装置 |
| JP2000135965A (ja) * | 1998-10-30 | 2000-05-16 | Fujitsu Ten Ltd | 乗員検出装置並びにその装置を使用した乗員保護システム及び空気調和システム |
| EP1049046A1 (de) * | 1999-04-23 | 2000-11-02 | Siemens Aktiengesellschaft | Verfahren und Vorrichtung zur Ermittlung der Position eines Objektes innerhalb einer Szene |
-
2001
- 2001-10-31 JP JP2001334512A patent/JP3943367B2/ja not_active Expired - Lifetime
-
2002
- 2002-10-11 US US10/268,956 patent/US20030079929A1/en not_active Abandoned
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10503987B2 (en) | 2014-06-23 | 2019-12-10 | Denso Corporation | Apparatus detecting driving incapability state of driver |
| US10909399B2 (en) | 2014-06-23 | 2021-02-02 | Denso Corporation | Apparatus detecting driving incapability state of driver |
| US20220314796A1 (en) * | 2021-03-30 | 2022-10-06 | Panasonic Intellectual Property Management Co., Ltd. | Vehicle display device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003141513A (ja) | 2003-05-16 |
| US20030079929A1 (en) | 2003-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3943367B2 (ja) | 車両用乗員頭部検出装置 | |
| US6757009B1 (en) | Apparatus for detecting the presence of an occupant in a motor vehicle | |
| EP1786654B1 (en) | Device for the detection of an object on a vehicle seat | |
| CN107428302B (zh) | 利用车辆内部相机的占用者尺寸和姿势的检测 | |
| EP1482448A2 (en) | Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system | |
| JP3286219B2 (ja) | 座席の使用状況判定装置 | |
| US7372996B2 (en) | Method and apparatus for determining the position of a vehicle seat | |
| US8081800B2 (en) | Detection device of vehicle interior condition | |
| JP4031122B2 (ja) | 差分画像を用いた被写体の検出装置 | |
| JP2008002838A (ja) | 車両乗員検出システム、作動装置制御システム、車両 | |
| EP1693254B1 (en) | Detection system, informing system, actuation system and vehicle | |
| JP2007022401A (ja) | 乗員情報検出システム、乗員拘束装置、車両 | |
| US20060138759A1 (en) | Detection system, occupant protection device, vehicle, and detection method | |
| EP1297486A4 (en) | OCCUPANCY SENSOR | |
| JP2008001136A (ja) | 車両乗員シート検出システム、作動装置制御システム、車両 | |
| JP2008518195A (ja) | 乗員検出システム | |
| JP2016203910A (ja) | 乗員検知装置および乗員検知方法 | |
| JP2008062805A (ja) | 車輌用後視鏡装置 | |
| JP2020104680A (ja) | 室内監視装置 | |
| US6947575B2 (en) | Apparatus and method for determining vehicle occupant characteristic utilizing imaging with provided light | |
| JP6814977B2 (ja) | 画像処理装置、検知装置、学習装置、画像処理方法、および画像処理プログラム | |
| JP2019189101A (ja) | 乗員情報判定装置 | |
| JP2004053324A (ja) | 自動車用衝突安全制御装置 | |
| JP3758034B2 (ja) | 車両用乗員保護装置 | |
| JP2005067281A (ja) | 距離検出装置、エアバッグ制御装置および距離検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060616 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060731 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061024 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061207 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070403 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070405 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3943367 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100413 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110413 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120413 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120413 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130413 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130413 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140413 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |