以下の実施形態は、一般に、乗員状態検知システムに関する。より詳細には、車両の車室内の人を検知する乗員状態検知システムに関する。なお、以下に説明する実施形態は、本開示の実施形態の一例にすぎない。本開示は、以下の実施形態に限定されず、本開示の効果を奏することができれば、設計等に応じて種々の変更が可能である。
図1は、本実施形態の乗員状態検知システム1が設けられた車両C1を示す。車両C1は、例えば複数の乗員が乗車可能な乗用車である。図1では、車両C1の長さに沿った仮想的な長さ軸X1、及び車両C1の幅に沿った仮想的な幅軸X2を、車両C1に併記している。長さ軸X1に沿って互いに逆方向になる2つの方向のうち、一方は前方向になり、他方は後方向になる。幅軸X2に沿って互いに逆方向になる2つの方向のうち、一方は左方向になり、他方は右方向になる。図1では、前を見ている人を基準として、上述の左方向及び右方向が規定される。この場合、車室R1の前部には前方座席41が配置され車室R1の後部には後部座席42が配置されている。前方座席41は、左右に並んで配置された運転座席411及び助手座席412を有する。なお、車両C1は、乗用車に限定されず、人、手荷物、又は物品を輸送する車両であればよい。
乗員状態検知システム1は、車両C1に設けられており、人が前方座席41から離れるにも関わらず、車両C1の後部座席42に人が残された場合に、警報を出力するように構成される。乗員状態検知システム1は、センサシステム2と、報知システム3とを備える。センサシステム2が、車室R1内における人の有無を検知し、報知システム3は、センサシステム2の検知結果に基づいて警報を出力するか否かを判定する。
以下、センサシステム2について詳述する。センサシステム2は、図1及び図2に示すように、電波センサ21と、信号処理装置22とを有する。電波センサ21は、車室R1の天井5(図7参照)に取り付けられた電波式のセンサであり、後部座席42の上方に位置する。電波センサ21は、車室R1内の検知エリア6に電波(送信波)を送信し、検知エリア6内の物体7で反射された電波(反射波)を受信して、物体7に応じたセンサ信号を出力する。信号処理装置22は、例えば車両C1のダッシュボード内に収納されており(図1参照)、電波センサ21から出力されるセンサ信号を通信線を介して受け取る。信号処理装置22は、電波センサ21から出力されるセンサ信号を信号処理することで、検知エリア6内の物体7が人であるか否かを判定することができる。
電波センサ21は、図2に示すように、送受信器21a、送信アンテナ21b、受信アンテナ21c、及び誘電体レンズ21dを備える。誘電体レンズ21dは、少なくとも送信アンテナ21b及び受信アンテナ21cの下方及び側方を覆う。
送受信器21aは、送信アンテナ21bから送信波を送信し、送信波の周波数、送信タイミング等を制御する。送信アンテナ21bから送信された送信波は、誘電体レンズ21dを透過して検知エリア6に放射される。送信波は、周波数の値が例えば10GHz~30GHzの準ミリ波であることが好ましい。送信波は、特に周波数の値が24.15GHzの準ミリ波であることが好ましい。なお、送信波は、準ミリ波に限らず、ミリ波、マイクロ波でもよい。また、送信波の周波数の値は、特に限定するものではない。
送信波は検知エリア6内の物体7で反射し、受信アンテナ21cは、誘電体レンズ21dを透過した反射波を受信する。送受信器21aは、反射波の受信強度が予め決められた検知閾値以上であれば、電波センサ21から物体7までの距離に対応したセンサ信号を出力する。電波センサ21から出力されるセンサ信号は、物体7に対応するアナログの時間領域の信号である。
送受信器21aは、例えばFMCW(Frequency-Modulated Continuous-Wave)方式を用いる。送受信器21aは、周波数(送信周波数)が時間の経過に伴って変化する送信波を送信アンテナ21bから送信し、周波数(受信周波数)が時間の経過に伴って変化する反射波を受信アンテナ21cを介して受信する。そして、送受信器21aは、送信周波数と受信周波数との周波数差に等しい周波数(ビート周波数)のビート信号を生成する。信号処理装置22は、電波センサ21からセンサ信号(ビート信号)を受け取り、ビート周波数に基づいて物体7までの距離を求めることができる。なお、FMCW方式の電波センサを用いた測距方法は周知であり、詳細な説明は省略する。
図3は、信号処理装置22の構成を示す。信号処理装置22は、前処理部22a、周波数分析部22b、信号強度処理部22c、時間設定部22d、判定部22e、データベース22f、及び出力部22gを備える。
本実施形態の信号処理装置22は1つの装置で構成されているが、信号処理装置22は、複数の装置で構成されてもよい。例えば、信号処理装置22は、第1装置、第2装置、及び第3装置で構成されてもよい。この場合、第1装置は、前処理部22aを有する。第2装置は、周波数分析部22b、信号強度処理部22c、及び時間設定部22dを有する。第3装置は、判定部22e、データベース22f、出力部22gを有する。第1装置、第2装置、及び第3装置は、有線通信(有線LAN、専用線通信)、又は無線通信(無線LAN、小電力無線など)によって互いに信号を授受する。なお、信号処理装置22が複数の装置で構成される場合、装置の数、及び各装置への各部の割り当て構成などは、特定の形態に限定されない。
信号処理装置22は、コンピュータシステムを具備しており、コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。そして、メモリに記録されたプログラムをプロセッサが実行することによって、本実施形態における周波数分析部22b、信号強度処理部22c、時間設定部22d、及び判定部22eの各機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されていてもよいが、電気通信回線を通じて提供されてもよいし、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1乃至複数の電子回路で構成される。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。
前処理部22aは、増幅部及びA/D変換部を有する。具体的に、前処理部22aは、電波センサ21からアナログの時間領域のセンサ信号を受け取り、センサ信号を増幅する増幅処理を行う。そして、前処理部22aは、増幅されたアナログのセンサ信号をディジタルのセンサ信号に変換して出力するA/D変換処理を行う。
周波数分析部22bは、ディジタル信号処理によって、前処理部22aから出力される時間領域のセンサ信号を、周波数領域のセンサ信号に変換する直交変換を実行する。具体的に図4Aに示すように、周波数分析部22bは、周波数領域のセンサ信号から、周波数帯域の異なる複数の周波数ビン(frequency bin)B1のそれぞれに対応するセンサ信号を抽出する。そして、周波数分析部22bは、周波数軸に沿って連続する所定数(図4Aでは5個)の周波数ビンB1を1つのフィルタバンクB2とすることで、複数のフィルタバンクB2をフィルタバンク群として設定する。すなわち、周波数分析部22bは、周波数領域のセンサ信号から、周波数帯域の異なる複数のフィルタバンクB2のそれぞれに対応するセンサ信号を抽出して、フィルタバンクB2のそれぞれにおけるセンサ信号の強度を信号強度として求めるフィルタバンク処理を行う。各フィルタバンクB2の分解能は、周波数ビンB1の幅(図4A中のΔf)によって決まる。なお、フィルタバンクB2を構成する周波数ビンB1の数は5個以外であってもよく、特定の個数に限定されない。また、フィルタバンク群は、規定数(例えば、16個)のフィルタバンクB2で構成されるが、フィルタバンクB2の個数は特定の個数に限定されない。また、フィルタバンクB2毎に、フィルタバンクB2を構成する周波数ビンB1の数が異なっていてもよい。
本実施形態の周波数分析部22bは、離散コサイン変換(Discrete Cosine Transform:DCT)の機能を有する。そして、周波数分析部22bは、前処理部22aから出力される時間領域のセンサ信号を、DCTによって周波数領域のセンサ信号に変換するDCT処理を行う。この場合、DCTを利用したフィルタバンクB2の周波数ビンB1は、DCTビンとも呼ばれる。
また、周波数分析部22bが実行する直交変換は、DCTに限らず、例えば、高速フーリエ変換(Fast Fourier Transformation:FFT)でもよい。FFTを利用したフィルタバンクB2の周波数ビンB1は、FFTビンとも呼ばれる。また、周波数分析部22bが実行する直交変換は、ウェーブレット変換(Wavelet Transform:WT)でもよい。
信号強度処理部22cは、平滑化部221と、規格化部222とを有する。そして、信号強度処理部22cは、フィルタバンクB2毎の信号強度を周波数分析部22bから取得し、取得した信号強度に対して平滑化処理(第1平滑化処理及び第2平滑化処理)及び規格化処理を施す信号強度処理を行う。
平滑化部221は、第1平滑化処理及び第2平滑化処理を実行できる。第1平滑化処理は、フィルタバンクB2毎に、各周波数ビンB1の信号強度を周波数領域(周波数軸)において平滑化することで、フィルタバンクB2毎の信号強度を求める。第2平滑化処理は、フィルタバンクB2毎に、信号強度を時間領域(時間軸)において平滑化する。平滑化部221は、第1平滑化処理及び第2平滑化処理を実行することによって、センサ信号に含まれる雑音(暗雑音、又は周囲で発生する雑音)の影響を低減することができる。
第1平滑化処理は、平滑化部221に設けられた平均値フィルタ、荷重平均フィルタ、メジアンフィルタ、又は荷重メジアンフィルタなどによって実現される。図4Aに示すように、周波数の低い方から順に数えて1番目のフィルタバンクB2について、時刻t1における5個の周波数ビンB1の各信号強度がs1、s2、s3、s4及びs5であるとする。そして、第1平滑化処理が平均値フィルタによって実現された場合、1番目のフィルタバンクB2について、第1の平滑化処理を施された信号強度をm11(図4B参照)とすると、m11は以下の式1で求められる。
m11=(s1+s2+s3+s4+s5)/5 ………(式1)。
同様に、周波数の低い方から順に数えて2番目-5番目のフィルタバンクB2の各信号強度は、図4Bに示すように、それぞれm21、m31、m41、及びm51となる。つまり、本実施形態では、説明の便宜上、時間軸上の時刻ti(iは整数であり、サンプル番号を表す)において第1の平滑化処理を施されたj(jは自然数)番目のフィルタバンクB2の信号強度を、信号強度mjiと表している。
第2平滑化処理は、平滑化部221に設けられた平均値フィルタ、荷重平均フィルタ、メジアンフィルタ、又は荷重メジアンフィルタなどによって実現される。例えば、第2平滑化処理が平均値フィルタによって実現された場合、平滑化部221は、図4Cに示すように、フィルタバンクB2のそれぞれにおいて時間軸に沿って並ぶ複数(例えば3つ)のサンプル(複数の時刻)の各信号強度mjiを時間窓W(図9参照)によって抽出する。そして、平滑化部221は、フィルタバンクB2のそれぞれについて複数サンプルの各信号強度mjiの平均値を求め、求めた平均値を当該フィルタバンクB2における第2平滑化処理後の信号強度mjとする。つまり、本実施形態では、説明の便宜上、j番目のフィルタバンクB2において、第1平滑化処理及び第2平滑化処理を施された信号強度を、mjと表している。
1番目のフィルタバンクB2について、第1平滑化処理及び第2平滑化処理を施された信号強度をm1とすると、m1は以下の式2で求められる(図4C、図5A参照)。
m1=(m10+m11+m12)/3 ………(式2)
となる。
図4Cでは、時刻t1(サンプル番号i=1)の信号強度m11に対して第2平滑化処理を施している。この場合、時刻t0,t1,t2,………(サンプル番号i=0,1,2,………)の順に時間が経過している。そして、1番目のフィルタバンクB2における信号強度m10,m11,m12,………は、1番目のフィルタバンクB2におけるバンク信号Y1に含まれる各サンプル値である。バンク信号Y1は、1番目のフィルタバンクB2における信号強度m1iの時間変化を表す。すなわち、本実施形態では、時刻t0(サンプル番号i=0)の信号強度m10、時刻t1(サンプル番号i=1)の信号強度m11、時刻t2(サンプル番号i=2)の信号強度m12の平均値を、時刻t1の信号強度m11に対する第2平滑化処理の結果とする。なお、j番目のフィルタバンクB2のバンク信号は、Yjと表される。
同様に、2番目~5番目のフィルタバンクB2の各信号強度m2,m3,m4,m5は、以下の式3-式6で求められる(図4C、図5A参照)。
m2=(m20+m21+m22)/3 ………(式3)
m3=(m30+m31+m32)/3 ………(式4)
m4=(m40+m41+m42)/3 ………(式5)
m5=(m50+m51+m52)/3 ………(式6)。
この場合、2番目のフィルタバンクB2における信号強度m20,m21,m22,………は、2番目のフィルタバンクB2におけるバンク信号Y2に含まれる各サンプル値である。また、3番目のフィルタバンクB2における信号強度m30,m31,m32,………は、3番目のフィルタバンクB2におけるバンク信号Y3に含まれる各サンプル値である。また、4番目のフィルタバンクB2における信号強度m40,m41,m42,………は、4番目のフィルタバンクB2におけるバンク信号Y4に含まれる各サンプル値である。また、5番目のフィルタバンクB2における信号強度m50,m51,m52,………は、5番目のフィルタバンクB2におけるバンク信号Y5に含まれる各サンプル値である。
バンク信号Y2は、2番目のフィルタバンクB2における信号強度m2iの時間変化を表し、バンク信号Y3は、3番目のフィルタバンクB2における信号強度m3iの時間変化を表す。また、バンク信号Y4は、4番目のフィルタバンクB2における信号強度m4iの時間変化を表し、バンク信号Y5は、5番目のフィルタバンクB2における信号強度m5iの時間変化を表す。
なお、本実施形態の平滑化部221は、全てのフィルタバンクB2のうち、判定部22eが物体7の判定処理に利用する少なくとも2つのフィルタバンクB2に対してのみ、上述の第1平滑化処理及び第2平滑化処理を施す。以降、全てのフィルタバンクB2のうち、判定部22eが判定処理に利用するフィルタバンクB2をそれぞれ対象バンクB2と称す。すなわち、平滑化部221は、全てのフィルタバンクB2のうち、対象バンクB2に対してのみ上述の第1平滑化処理及び第2平滑化処理を施す。対象バンクB2は、全てのフィルタバンクB2のうち一部のフィルタバンクB2であってもよく、又は全てのフィルタバンクB2を対象バンクB2としてもよい。
規格化部222は、上述の対象バンクB2の各信号強度mjの総和で、各対象バンクB2の信号強度mjをそれぞれ規格化し、各対象バンクB2の規格化強度njをそれぞれ求める。本実施形態では、j番目のフィルタバンクB2の規格化強度を、njと表している。
例えば、フィルタバンクB2の総数が16個であり、対象バンクB2が、周波数の低い方から順に数えて1-5番目の5個のみであるとする。時刻t1(サンプル番号i=1)における1番目の対象バンクB2の信号強度m1(図5A参照)が規格化された場合、規格化強度n1は、以下の式7で求められる(図5B参照)。
n1=m1/(m1+m2+m3+m4+m5) ………(式7)
同様に、2番目~5番目の対象バンクB2の各信号強度m2-m5(図5A参照)がそれぞれ規格化された場合、規格化強度n2,n3,n4,n5は、以下の式8-式11でそれぞれ求められる(図5B参照)。
n2=m2/(m1+m2+m3+m4+m5) ………(式8)
n3=m3/(m1+m2+m3+m4+m5) ………(式9)
n4=m4/(m1+m2+m3+m4+m5) ………(式10)
n5=m5/(m1+m2+m3+m4+m5) ………(式11)。
また、規格化部222は、対象バンクB2の各信号強度mjの総和で、各対象バンクB2の信号強度mjをそれぞれ規格化する場合、信号強度mjそれぞれの対数値を用いてもよい。この場合、規格化部222は、信号強度mjのそれぞれをリニアスケールの値から対数スケールの値(対数値)に変換する対数変換を行う。そして、規格化部222は、各対象バンクB2の信号強度mjの対数値から対象バンクB2の各信号強度mjの総和の対数値を減算する対数スケール上の減算処理によって、規格化処理を行うことができる。一方、規格化処理がリニアスケール上で行われる場合、各対象バンクB2の信号強度mjを対象バンクB2の各信号強度mjの総和で除する除算処理が必要なる。すなわち、規格化部222は、信号強度mjそれぞれの対数値を規格化処理に用いることで、規格化処理に要する演算負荷を減らすことができる。
なお、規格化部222は、全てのフィルタバンクB2の各信号強度mjの総和で、各対象バンクB2の信号強度mjをそれぞれ規格化し、各対象バンクB2の規格化強度njをそれぞれ求めてもよい。
また、平滑化部221の平滑化処理、及び規格化部222の規格化処理は、上述のように平滑化処理の後に規格化処理を実行してもよいし、又は規格化処理の後に平滑化処理を実行してもよい。すなわち、平滑化部221は、各フィルタバンクB2の信号強度mjiを平滑化する機能を有し、規格化部222は、各フィルタバンクB2の信号強度mjiを規格化する機能を有する。
判定部22eは、検知エリア6内の物体7が人であるか否かを判定する判定処理を行う。判定部22eの判定処理では、センサ信号に基づいて人の呼吸の有無が判定されることで、検知エリア6内に人が存在するか否かが判定される。そして、本実施形態の判定部22eが行う判定処理には、対象バンクB2毎の規格化強度njから決まるセンサ信号の周波数分布、又は規格化強度njから決まるセンサ信号の成分比との少なくとも一方によって物体7を認識(識別)する認識処理が含まれることが好ましい。判定部22eが検知エリア6内の物体7が人であると判定することは、センサシステム2が人を検知することに相当する。
出力部22gは、判定部22eの判定結果を報知システム3へ出力する。
図6及び図7は、車室R1の概略を示す。車室R1の天井5には、電波センサ21が取り付けられている。電波センサ21は、後部座席42の座面の上方において、車室R1の幅の中心に位置する。電波センサ21が後部座席42の上方に取り付けられることで、センサシステム2は、上述の特許文献1とは異なり、車両C1の位置に関わらず、車室R1内の人を検知できる。
電波センサ21は、天井5に着脱自在なカバーをさらに備えて、当該カバーが、送受信器21a、送信アンテナ21b、受信アンテナ21c、及び誘電体レンズ21dを保護することが好ましい。また、電波センサ21は、天井5に設置されているルームランプ内に配置されることがさらに好ましい。この場合、上述の天井5に着脱自在なカバーは、ルームランプのカバーで兼用できる。
本実施形態では、電波センサ21の検知エリア6は、後部座席42の座面及び背もたれを含むように形成されている。すなわち、電波センサ21は、後部座席42に存在する人を検知対象としており、センサシステム2は、後部座席42の人を検知できる。
さらに、信号処理装置22は、時間設定部22dを備えている。時間設定部22dは、上述の第2平滑化処理において用いる時間窓W(図8参照)の時間長さの値を設定する。なお、図8では、複数の時間窓Wを区別するために、W1,W2,W3,………の各符号を用いる。
平滑化部221は、フィルタバンクB2のそれぞれにおいて時間軸方向の複数サンプルの各信号強度mjiを抽出する。そして、平滑化部221は、フィルタバンクB2のそれぞれについて複数サンプルの各信号強度mjiの平均値を求め、求めた平均値を当該フィルタバンクB2における第2平滑化処理後の信号強度mjとする。このとき、平滑化部221は、バンク信号Y1-Y5に対して時間窓Wをそれぞれ適用することで、バンク信号Y1-Y5から複数サンプルの各信号強度mjiをそれぞれ抽出する。
そして、時間設定部22dは、時間窓Wの時間長さの値を窓設定値Ta(図8参照)として任意の値に設定することで、時間窓Wの時間長さを可変とすることができる。時間設定部22dが窓設定値Taを大きくした場合、時間窓Wの時間長さは長くなり、1回の第2平滑化処理のために抽出される信号強度mjiのサンプル数は多くなる。また、時間設定部22dが窓設定値Taを小さくした場合、時間窓Wの時間長さは短くなり、1回の第2平滑化処理のために抽出される信号強度mjiのサンプル数は少なくなる。
時間設定部22dは、検知対象となる人に応じて窓設定値Taを自動設定する自動設定機能、及びユーザの操作によって指示された値に窓設定値Taを設定する手動設定機能の少なくとも一方を有している。
時間設定部22dの自動設定機能は、例えば以下の設定処理を行う。
まず、信号処理装置22の動作モードがデータ収集モードに設定される。周波数分析部22bは、検知エリア6に検知対象の人が存在する場合に時間領域のセンサ信号を設定用センサ信号として取得し、周波数領域の設定用センサ信号に変換する。そして、時間設定部22dは、周波数領域の設定用センサ信号に基づいて、検知エリア6内に検知対象の人が存在する場合のセンサ信号に含まれる周波数成分を解析する。時間設定部22dは、設定用センサ信号に含まれる周波数成分のうち、支配的な周波数成分が比較的高い周波数である場合、窓設定値Taを比較的小さくする。また、時間設定部22dは、設定用センサ信号に含まれる周波数成分のうち、支配的な周波数成分が比較的低い周波数である場合、窓設定値Taを比較的大きくする。すなわち、時間設定部22dは、設定用センサ信号に含まれる支配的な周波数成分の周波数が高いほど(周期が短いほど)、窓設定値Taを小さくし、支配的な周波数成分の周波数が低いほど(周期が短いほど)、窓設定値Taを大きくする。そして、時間設定部22dが窓設定値Taを設定した後、信号処理装置22の動作モードはデータ収集モードから検知モードに移行して、上述の判定処理が行われる。
具体的に、窓設定値Taは、設定用センサ信号(検知エリア6に検知対象の人が存在する場合のセンサ信号)に含まれる支配的な信号成分の1周期又は半周期が時間窓Wに含まれるように設定される。この場合、窓設定値Taは、支配的な信号成分の1周期又は半周期と同じ(又は、ほぼ同じ)値に設定されることが好ましい。さらに、窓設定値Taは、支配的な信号成分の1周期又は半周期の2倍以下であることが好ましい。
また、時間設定部22dの手動設定機能は、例えばキーボード、マウス、釦、レバーなどの操作部に対するユーザの操作によって指示値を受け取り、指示値を窓設定値Taとして設定する。この場合、ユーザは、検知エリア6に検知対象の人が存在する場合のセンサ信号(例えば、上述の設定用センサ信号)の周波数解析結果に基づいて、指示値を決定することが好ましい。
本実施形態では、信号処理装置22の判定部22eは、センサ信号に基づいて人の呼吸の特徴の有無を検知することで、検知エリア6内に人が存在するか否かを判定する。一般に、人の呼吸では、吸気期間及び呼気期間がほぼ一定周期で交互にそれぞれ発生する。この場合、時間設定部22dは、窓設定値Taを、人の呼吸の周期又は半周期に設定することが好ましい。また、人の呼吸による胸郭の動きは、数mm~十数mm程度であるので、送信波を準ミリ波又はミリ波とすることで、人の呼吸による胸郭の動きを識別できる。
そして、図8に示すように、平滑化部221は、j番目のフィルタバンクB2のバンク信号Yjに時間窓Wを適用して、時間窓Wに収まる複数サンプルの信号強度mjiをそれぞれ抽出する。平滑化部221は、抽出した複数サンプルの信号強度mjiを用いて上述の第2平滑化処理を実行する。平滑化部221は、第2平滑化処理を実行する毎に、バンク信号Yjに適用する時間窓Wを、所定のスライド時間Tsだけ時間の進行方向にずらす。すなわち、平滑化部221は、窓設定値Taが設定された時間窓をスライド時間Tsだけ時間の進行方向にずらす毎に、第2平滑化処理を実行する。図8では、時間窓W1,W2,W3が、時間窓W1,W2,W3の順にそれぞれ適用される。
ここでは、スライド時間Tsは、窓設定値Taより短いことが好ましい。本実施形態では、時間設定部22dが、窓設定値Taより短い値のスライド時間Tsを自動設定しており、時間設定部22dは、スライド時間Tsの値を例えば窓設定値Taの1/3の値に設定する。窓設定値Taが3秒である場合、スライド時間Tsの値は1秒に設定される。この場合、時間の進行方向にずれる前の時間窓(例えばW1)と、時間の進行方向にずれた後の時間窓(例えばW2)とは、時間軸方向において一部が重複する。したがって、センサ信号の特徴がより確実に抽出される。
上述の時間設定部22dによる窓設定値Ta及びスライド時間Tsの値の各設定処理によって、人を精度よく識別できるように第2平滑化処理が実行されるので、判定部22eの識別精度が向上する。また、平滑化部221は、時間窓をスライド時間Tsだけ時間の進行方向にずらす毎に、第2平滑化処理を実行する。この結果、スライド時間Tsの値が適宜設定されることで、人に対する判定部22eの識別精度がさらに向上する。
次に、判定部22eの判定処理について詳述する。
判定部22eは、対象バンクB2毎の規格化強度njから決まるセンサ信号の周波数分布、又は規格化強度njから決まるセンサ信号の成分比との少なくとも一方により検知エリア6内の物体7が人であるか否かを判定する判定処理を行う。
検知エリア6内の物体7が人である場合、規格化強度njから決まるセンサ信号の周波数分布及びセンサ信号の成分比は、検知エリア6内の物体7が人以外である場合の周波数分布及びセンサ信号の成分比とはそれぞれ異なる傾向になる。そこで、判定部22eは、各対象バンクB2における規格化強度njから決まるセンサ信号の周波数分布又は成分比に基づいて物体7を識別し、物体7が人であるか否かを判定する判定処理を行う。本実施形態の信号処理装置22は、上述の平滑化処理及び規格化処理を行うことによって、センサ信号に含まれる雑音(暗雑音、又は周囲で発生する雑音)の影響を低減しており、高い判定精度を得ることができる。ここにおいて、判定は、認識、識別、分類、及び検知を含む概念である。
センサ信号の周波数分布及び成分比は、所定の複数のフィルタバンクB2を通過した各センサ信号を平滑化及び規格化した規格化強度njから決まる。そして、センサ信号の周波数分布及び成分比は、互いに異なる複数の物体7のそれぞれに対して、統計的に互いに異なる。そして、平滑化及び規格化した規格化強度njでは、互いに異なる複数の物体7に対するセンサ信号の周波数分布及び成分比の統計的な差異がさらに強調される。したがって、判定部22eは、検知対象である人以外の物体7に起因した誤判定を低減することが可能となる。この結果、誤判定を低減することが可能となる。
例えば、判定部22eは、予め決められた所定期間に含まれる対象バンクB2毎の規格化強度njの特徴に基づいて検知エリア6内の物体7が人であるか否か判定する。なお、対象バンクB2毎の規格化強度njの特徴は、センサ信号の周波数分布に依存するので、この識別方法は、センサ信号の周波数分布による認識処理に相当する。
また、判定部22eは、規格化強度njの時間変化を表す波形に特定の周波数成分が含まれるか否かを、規格化強度の特徴としてもよい。すなわち、物体判定部261は、規格化強度njが特定の周期で変化しているか否かを判定し、規格化強度njが特定の周期で変化している場合に、検知エリア6内の物体7が人であると判定する。検知エリア6内の物体7が人である場合、センサ信号には、人に対応する特有の周波数成分が含まれる。そこで、判定部22eは、規格化強度njの時間変化を表す波形に特定の周波数成分が含まれるか否かを判定することで、検知エリア6内の物体7が人であるか否かを判定できる。なお、特定の周波数成分は1つであってもよいし、複数であってもよい。また、「波形に特定の周波数成分が含まれる」とは、「波形に特定範囲の周波数成分が含まれる」ことも含む。
また、判定部22eは、例えば、主成分分析(principal component analysis)によるパターン認識処理を行うことによって、検知エリア6内の物体7が人であるか否かを判定してもよい。この場合、判定部22eは、主成分分析を用いた認識アルゴリズムに従って動作する。判定部22eが主成分分析によるパターン認識処理を行う場合、学習サンプルデータを予め取得し、学習サンプルデータに対して主成分分析を施すことで得られたデータをデータベース22fに記憶させておく。学習サンプルデータは、検知エリア6内の物体7として人が存在する場合の学習サンプルデータ、及び検知エリア6内の物体7として人以外が存在する場合の学習サンプルデータなどである。また、サンプルデータは、検知エリア6内に人が存在しない場合の学習サンプルデータをさらに含んでもよい。データベース22fに記憶させておくデータは、パターン認識に利用するデータであり、人などの物体7と射影ベクトル及び判別境界値(閾値)とを対応付けたカテゴリデータである。
また、判定部22eは、主成分分析によるパターン認識処理を実行する代わりに、例えば、KL変換によるパターン認識処理を実行してもよい。判定部22eにおいて主成分分析によるパターン認識処理もしくはKL変換によるパターン認識処理を行うようにすることによって、判定部22eでの計算量の低減及びデータベース22fの容量の低減を図ることが可能となる。
また、判定部22eは、対象バンクB2毎の規格化強度njから決まるセンサ信号の成分比に基づいて判定処理を行うようにしてもよい。例えば、判定部22eは、重回帰分析による認識処理を行うことによって、検知エリア6内の物体7が人であるか否かを判定する。この場合、判定部22eは、重回帰分析を用いた認識アルゴリズムに従って動作する。判定部22eが重回帰分析による判定処理を行う場合、複数の学習データを予め取得し、複数の学習データに対して重回帰分析をそれぞれ施すことで得られたデータをデータベース22fに予め記憶させておく。複数の学習データは、検知エリア6内の人、人以外の複数の物体7にそれぞれ対応した学習データである。
上述のように、信号処理装置22は、周波数領域でセンサ信号の信号処理を実行する。具体的に、判定部22eは、センサ信号の周波数分布の特徴と、周波数領域の信号の規格化強度の成分比との少なくとも一方に基づいて、判定処理を行う。周波数領域におけるセンサ信号の信号処理は、例えば、主成分分析、KL変換、重回帰分析、又はニューラルネットワーク等による認識処理が用いられる。
そして、判定部22eの判定処理は、平滑化部221の平滑化処理及び規格化部222の規格化処理によって、判定精度がさらに向上する。したがって、センサシステム2は、後部座席42に存在する物体7が人以外であった場合に、物体7を人であると誤って検知する誤検知を抑制できる。人以外の物体7としては、例えばダンボール箱、買い物袋、かばん、及びペットボトルなどがある。
次に、報知システム3について詳述する。報知システム3は、信号処理装置22の出力部22gから、判定部22eの判定結果を受け取る。報知システム3は、人が前方座席41から離れるにも関わらず、後部座席42に人が残された場合に警報を出力して、車内に人がいることを周囲に知らせる。
報知システム3は、図9に示すように、報知部31と、離席検知部32とを備える。
報知部31は、車内報知部311、及び車外報知部312を有する。車内報知部311は、車室R1内に報知音を出力する報知動作を行い、例えば車室R1内に設けられているオーディオ装置又はナビゲーション装置を利用して、車室R1内に設けられているスピーカから報知音(ブザー音、又はメッセージなど)を出力することができる。車外報知部312は、車室R1外に報知音を出力する報知動作を行い、例えば車両C1に設けられているホーンリレーをオンすることで自動車用ホーンを鳴らすことができる。
図10A、図10B、及び図10Cの各離席検知部32は、CAN(Controller Area Network)などの車載ネットワークを介して車両C1の各部から、シートベルト、ドアロック、又はサイドドアなどの各状態の監視信号を受信する。そして、離席検知部32は、少なくとも1つの監視信号に基づいて、車両C1に離席状態が発生したか否かを判定する。
離席状態は、人が前方座席41から離れる状態であり、人が前方座席41から車両C1の外部(車室R1の外部)に出ようとする状態、及び人が前方座席41から車両C1の外部に出た状態を含む。具体的に、離席状態には、少なくとも運転座席411及び助手座席412に人がそれぞれ存在しない状態が含まれることが好ましい。離席状態には、運転座席411及び助手座席412の一方に人が存在しない状態が含まれてもよい。また、離席状態には、運転座席411及び助手座席412の少なくとも一方に座っている人がシートベルトを外して車室R1から車外へ出ようとしている状態が含まれてもよい。さらに、離席状態には、運転座席411に座っている人が車室R1から車外へ出るために原動機の停止などの操作をしている状態が含まれてもよい。
図10Aは、離席検知部32の第1構成例であり、図10Aの離席検知部32は、シートベルト監視部321、及びドア監視部322を有する。シートベルト監視部321は、シートベルトの監視信号に基づいて、運転座席411及び助手座席412の各シートベルトの状態が、結合状態及び解離状態のいずれであるかを監視する。ドア監視部322は、サイドドアの監視信号に基づいて、運転座席411及び助手座席412の各サイドドアの状態が、閉状態及び開状態のいずれであるかを監視する。そして、離席検知部32は、以下の(1)、(2)が発生すれば、離席状態が発生したと判定して、離席状態の発生を検知する。
(1) 運転座席411及び助手座席412の少なくとも一方のシートベルトの状態が結合状態から解離状態に切り換わって、運転座席411及び助手座席412の各シートベルトの状態が解離状態に切り換わる。
(2) (1)の後、運転座席411及び助手座席412の少なくとも一方のサイドドアの状態が閉状態から開状態に切り換わる。
図10Bは、離席検知部32の第2構成例であり、図10Bの離席検知部32は、動力監視部323を有する。動力監視部323は、車両C1の原動機(内燃機関:ガソリン機関、ディーゼル機関、気体燃料を使用する機関、又は電動機など)の監視信号に基づいて、原動機の状態が運転状態及び停止状態のいずれであるかを監視する。そして、離席検知部32は、以下の(11)が発生すれば、離席状態が発生したと判定して、離席状態の発生を検知する。
(11) 原動機の状態が運転状態から停止状態に切り換わる。
図10Cは、離席検知部32の第3構成例であり、図10Cの離席検知部32は、動力監視部323、及びドア監視部322を有する。そして、離席検知部32は、以下の(21)、(22)が発生すれば、離席状態が発生したと判定して、離席状態の発生を検知する。
(21) 原動機の状態が運転状態から停止状態に切り換わる。
(22) (21)の後、運転座席411及び助手座席412の少なくとも一方のサイドドアの状態が閉状態から開状態に切り換わる。
図10Dは、離席検知部32の第4構成例であり、図10Dの離席検知部32は、センサシステム324を有する。センサシステム324は、センサシステム2と同様に、電波センサ及び信号処理装置を具備する。センサシステム324では、電波センサが前方座席41に向かって電波を送信する。センサシステム324は、電波センサの出力を用いて、運転座席411及び助手座席412にそれぞれ着座している人の有無を検知する。そして、離席検知部32は、以下の(31)が発生すれば、離席状態が発生したと判定して、離席状態の発生を検知する。
(31) 運転座席411及び助手座席412のいずれかに人が存在する状態から、運転座席411及び助手座席412のいずれにも人が存在しない状態に切り換わる。
なお、センサシステム324は、電波センサの代わりに、赤外線センサ又はカメラの各出力を用いて、運転座席411及び助手座席412にそれぞれ着座している人の有無を検知してもよい。
報知部31は、離席検知部32の検知結果及び判定部22eの判定結果に基づいて、検知エリア6に人が存在しているときに離席状態が生じると、後部座席42に人が残されていると判定する。報知部31は、後部座席42に人が残されていると判定すると、車内報知部311及び車外報知部312の少なくとも一方に報知動作を実行させる。
例えば、報知部31が図10A(第1構成例)の離席検知部32を具備する場合、報知部31は、後部座席42に人が残されていると判定すると、車内報知部311及び車外報知部312の両方に報知動作を実行させることが好ましい。
また、報知部31が図10B(第2構成例)の離席検知部32を具備する場合、報知部31は、後部座席42に人が残されていると判定すると、車内報知部311に報知動作を実行させることが好ましい。
また、報知部31が図10C(第3構成例)の離席検知部32を具備する場合、報知部31は、後部座席42に人が残されていると判定すると、車外報知部312に報知動作を実行させることが好ましい。
また、報知部31が図10D(第4構成例)の離席検知部32を具備する場合、報知部31は、後部座席42に人が残されていると判定すると、車内報知部311及び車外報知部312の両方に報知動作を実行させることが好ましい。
したがって、乗員状態検知システム1は、車両C1において後部座席42の上方に取り付けられた電波センサ21によって、車両C1内に人が残されている場合に警報を報知できる。例えば、乗員状態検知システム1は、人が前方座席41から離れるにも関わらず、後部座席42などに人が残されたときに、警報を報知できる。また、乗員状態検知システム1は、報知部31の報知動作によって、車両C1から車外に出ようとする人、車両C1から車外に出た人、又は車両C1の周囲にいる人に警報を発することで、車両C1内に人が残された状況の発生を抑制できる。さらに、信号処理装置22、離席検知部32、及び報知部31は、車両C1に設けられることが好ましい。
なお、電波センサ21は、前方座席41(運転座席411及び助手座席412の少なくとも一方)の上方の天井5に取り付けられてもよい。この場合、電波センサ21は、後方の後部座席42に向かって電波を送信し、後部座席42の座面及び背もたれを含む検知エリアが形成される。
以上のように、実施形態に係る第1の態様の乗員状態検知システム(1)は、前方座席(41)及び後部座席(42)を含む複数の座席を有する車両(C1)に設けられる。乗員状態検知システム(1)は、電波センサ(21)と、信号処理装置(22)と、離席検知部(32)と、報知部(31)と、を備える。電波センサ(21)は、複数の座席(41、42)のいずれかの上方に取り付けられ、電波を送信波として送信し、物体で反射した電波を反射波として受信してセンサ信号を生成する。信号処理装置(22)は、センサ信号に基づいて検知エリア(6)内の物体が人であるか否かを判定して、判定結果を出力する判定処理を行う。離席検知部(32)は、人が前方座席(41)から離れる離席状態が発生したか否かを検知する。報知部(31)は、離席検知部(32)が離席状態の発生を検知したときに、信号処理装置(22)が検知エリア(6)内の物体が人であると判定すれば警報を出力する。
したがって、乗員状態検知システム(1)は、車両(C1)内に人が残された場合に警報を報知できる。
また、実施形態に係る第2の態様の乗員状態検知システム(1)は、第1の態様において、周波数分析部(22b)と、信号強度処理部(22c)と、判定部(22e)と、時間設定部(22d)と、を備えることが好ましい。周波数分析部(22b)は、複数のフィルタバンク(B2)のそれぞれにおけるセンサ信号の信号強度(mji)を求める。信号強度処理部(22c)は、複数のフィルタバンク(B2)のうち少なくとも2つのフィルタバンクをそれぞれ対象バンク(B2)とする。信号強度処理部(22c)は、対象バンク(B2)毎の信号強度(mji)の時間変化を表すバンク信号(Yj)に適用した時間窓(W)内において信号強度(mji)を平滑する平滑化処理(第2平滑化処理)、及び信号強度(mji)を規格化する規格化処理をそれぞれ実行して、対象バンク(B2)毎のセンサ信号の規格化強度(nj)を求める。判定部(22e)は、対象バンク(B2)毎の規格化強度(nj)から決まるセンサ信号の周波数分布、又は規格化強度(nj)の成分比との少なくとも一方により判定処理を行う。時間設定部(22d)は、時間窓(W)の時間長さ(Ta)を可変に設定することができる。信号強度処理部(22c)は、バンク信号(Yj)に対して時間窓(W)を所定のスライド時間(Ts)ずつずらす毎に平滑化処理を実行する。
上述の乗員状態検知システム(1)では、時間設定部(22d)による窓設定値(Ta)の設定処理によって、物体が人であるか否かを精度よく判定できるように第2平滑化処理が実行されるので、判定部(22e)の判定精度が向上する。また、信号強度処理部(22c)は、時間窓をスライド時間(Ts)だけ時間の進行方向にずらす毎に、第2平滑化処理を実行するので、スライド時間(Ts)が適宜設定されることで、判定部(22e)の識別精度をさらに向上させることができる。
また、実施形態に係る第3の態様の乗員状態検知システム(1)では、第1又は第2の態様において、離席検知部(32)は、前方座席(41)のシートベルトが結合状態から解離状態になって、前方座席(41)のシートベルトが解離状態になった後に前方座席(41)のサイドドアが開いた場合、離席状態の発生を検知することが好ましい。
上述の乗員状態検知システム(1)は、離席状態の発生を精度よく検知できる。
また、実施形態に係る第4の態様の乗員状態検知システム(1)では、第1又は第2の態様において、離席検知部(32)は、車両(C1)の原動機が停止した場合に、離席状態の発生を検知することが好ましい。報知部(31)は、車両(C1)の車室(R1)内に警報として警報音を発する。
上述の乗員状態検知システム(1)は、離席状態の発生を精度よく検知できる。
また、実施形態に係る第5の態様の乗員状態検知システム(1)では、第1又は第2の態様において、離席検知部(32)は、車両(C1)の原動機が停止した後に、前方座席(41)のサイドドアが開いた場合、離席状態の発生を検知することが好ましい。報知部(31)は、車両(C1)の車室(R1)外に警報として警報音を発することが好ましい。
上述の乗員状態検知システム(1)は、離席状態の発生を精度よく検知できる。
また、実施形態に係る第6の態様の乗員状態検知システム(1)では、第1又は第2の態様において、離席検知部(32)は、前方座席(41)に向かって電波を送信して、離席状態が発生したか否かを判定することが好ましい。
上述の乗員状態検知システム(1)は、離席状態の発生を精度よく検知できる。
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。