JP5401440B2

JP5401440B2 - 乗員頭部検知装置

Info

Publication number: JP5401440B2
Application number: JP2010278537A
Authority: JP
Inventors: 直樹高橋; 次郎栗田; 聡子横地
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2010-12-14
Filing date: 2010-12-14
Publication date: 2014-01-29
Anticipated expiration: 2030-12-14
Also published as: JP2012128592A

Description

この発明は、乗員頭部検知装置に関する。

従来、例えば、１対の撮像装置によって人の顔領域を撮像して、距離情報を含むカラー画像を生成し、このカラー画像の距離情報から顔の輪郭を表す輪郭モデルを生成すると共に、肌色の画像領域およびエッジを抽出し、エッジおよび肌色の画像領域と、輪郭モデルとの間の相関から、顔領域を検出する装置が知られている（例えば、特許文献１参照）。
また、従来、例えば乗員の種類毎に頭部輪郭に近似する参考楕円を記憶しておき、撮像装置から出力される画像信号から乗員の頭部輪郭に近似される楕円を抽出し、該楕円と参考楕円との対応から乗員の種類を特定する装置が知られている（例えば、特許文献２参照）。
また、従来、例えば人の頭部を楕円形にモデル化したモデルを記憶しておき、１対の撮像装置の撮像により得られる距離情報を有するグレースケール画像から、モデルと最も高い相関値を有する画像領域を頭部であると検出する装置が知られている（例えば、特許文献３参照）。

特開２００２−２１６１２９号公報特開２００４−５３３２４号公報特開２００７−２１３３５３号公報

ところで、上記従来技術に係る装置において、カラー画像を用いる場合には撮像装置が高価であると共に、人種などによって肌の色が異なることから顔領域を精度良く検出することができない虞があり、また、顔が隠れている場合には頭部を検出することができないという問題が生じる。
また、予め記憶している参考画像やモデルに対するマッチングを演算する場合には、演算負荷が増大する虞があり、撮像装置の撮像により得られる画像領域の撮影方向や大きさによっては、参考画像やモデルに対するマッチングが困難であったり、誤検出が増大してしまう虞がある。

本発明は上記事情に鑑みてなされたもので、演算負荷の増大を防止しつつ検知精度を向上させることが可能な乗員頭部検知装置を提供することを目的としている。

上記課題を解決して係る目的を達成するために、本発明の第１態様に係る乗員頭部検知装置は、車室内の撮像領域を撮像して撮像結果を出力する撮像手段（例えば、実施の形態での受光部２２）と、前記撮像結果に基づき、３次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段（例えば、実施の形態での処理部２３）と、前記距離画像を構成する複数の画素毎に前記３次元空間での法線ベクトルの逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される前記３次元空間での位置座標を内部座標とする内部座標設定手段（例えば、実施の形態での内部座標設定部５２）と、前記３次元空間を構成する複数の単位空間毎に該単位空間内に含まれる前記内部座標の総数に係るスコア値を算出し、前記複数の画素毎に対応する前記内部座標が含まれる前記単位空間の前記スコア値を前記複数の画素毎に対応させて示すスコア画像を生成するスコア画像生成手段（例えば、実施の形態でのスコア画像生成部５３）と、前記スコア画像を構成する複数の画像領域のうちから前記スコア値に基づいて前記車室内の乗員の頭部領域を抽出する頭部領域抽出手段（例えば、実施の形態でのステップＳ０４〜Ｓ０９、領域分割部５４と領域結合部５５と球形状判定部５６と体積判定部５７とヘッドレスト判定部５８と頭部領域判定部５９）とを備える。

さらに、本発明の第２態様に係る乗員頭部検知装置では、前記頭部領域抽出手段は、前記３次元空間での複数の前記内部座標の分布に対してエッジを抽出するエッジ抽出手段（例えば、実施の形態でのステップＳ４１、領域分割部５４）と、前記エッジに応じて前記スコア画像を複数の分割領域に分割する領域分割手段（例えば、実施の形態でのステップＳ４３、領域分割部５４）と、前記複数の分割領域のうち前記内部座標の平均値の差が所定差以下の前記分割領域同士を単一の結合領域に結合する領域結合手段（例えば、実施の形態でのステップＳ０５、領域結合部５５）とを備え、前記複数の画像領域を前記分割領域および前記結合領域により構成する。

さらに、本発明の第３態様に係る乗員頭部検知装置では、前記頭部領域抽出手段は、前記複数の画像領域のうち、前記スコア値の平均値が閾平均値以下の前記画像領域と、体積が上限体積値以上または下限体積値以下の前記画像領域と、所定方向（例えば、車両左右方向など）の幅寸法が所定閾値以上の前記画像領域とを、前記頭部領域の候補から除外する領域除外手段（例えば、実施の形態でのステップＳ０６〜Ｓ０８、球形状判定部５６と体積判定部５７とヘッドレスト判定部５８）を備える。

本発明の第１態様に係る乗員頭部検知装置によれば、画素毎に設定される法線ベクトルの逆方向に固定長の逆ベクトルによる内部座標を用いた投票方式によって単位空間毎のスコア値を算出し、スコア値が所定の大きさの球形状の指標となることに応じて乗員の頭部領域を抽出することから、演算負荷の増大を防止しつつ検知精度を向上させることができる。

つまり、予め記憶する参考画像やモデルを用いること無しに乗員の頭部領域を抽出することができることから、演算負荷の増大や演算速度の低下を防止することができる。
また、撮像装置の撮像により得られる画像領域の撮影方向や大きさなどに依存して頭部領域の抽出が大きく変動してしまうことを防止することができ、抽出結果の信頼性および安定性を向上させることができる。
また、カラー画像を用いること無しに、あるいは、顔領域の検出を必要とせずに、乗員の頭部領域を抽出することができ、装置構成に要する費用が嵩むことを防止し、頭部領域の誤検知を抑制し、的確な抽出を行なうことができる。

さらに、本発明の第２態様に係る乗員頭部検知装置によれば、複数の分割領域のうち内部座標の平均値の差が所定差以下の分割領域同士を単一の結合領域に結合することから、例えば乗員が着用している帽子のつば部分などにおいてエッジが抽出されることで頭部領域が不必要に分割された場合であっても適切に結合することができ、頭部領域を適切に抽出することができる。

さらに、本発明の第３態様に係る乗員頭部検知装置によれば、頭部領域の誤検知を抑制し、的確な抽出を行なうことができる。

本発明の実施の形態に係る乗員頭部検知装置の構成図である。本発明の実施の形態に係る乗員頭部検知装置の構成図である。本発明の実施の形態に係る偏微分フィルターのカーネルの例を示す図である。本発明の実施の形態に係る観測画素座標Ｐ_{（ｖ，ｕ）}と頭部ベクトルＨ_{（ｖ，ｕ）}と内部座標Ｉ_{（ｖ，ｕ）}との対応関係を模式的に示す図である。本発明の実施の形態に係るボクセル空間Ｖの一例をシート座標系で示す図である。本発明の実施の形態に係る距離画像の各画素（ｖ，ｕ）と内部座標Ｉ_{（ｖ，ｕ）}とボクセル空間Ｖとの対応関係の例を示す図である。本発明の実施の形態に係る距離画像Ｌの一例と、３次元空間でのボクセル空間Ｖ単位でのスコア値の分布の一例と、スコア画像Ｓの一例とを示す図である。本発明の実施の形態に係る２値化画像Ｂの一例と、領域分割画像Ｅの一例とを示す図である。本発明の実施の形態に係る領域分割部によって分割された２つの画像領域Ｅａ，Ｅｂと、領域結合部によって２つの画像領域Ｅａ，Ｅｂが結合された画像領域Ｆ０との例を示す図である。本発明の実施の形態に係る領域分割部によって分割された２つの画像領域Ｅａ，Ｅｂと、領域結合部によって２つの画像領域Ｅａ，Ｅｂが結合された画像領域Ｆ０との例を示す図である。本発明の実施の形態に係る領域結合部により生成された領域結合画像Ｆの一例と、球形状判定部による処理後の領域結合画像Ｆの一例と、体積判定部による処理後の領域結合画像Ｆの一例と、ヘッドレスト判定部による処理後の領域結合画像Ｆの一例とを示す図である。本発明の実施の形態に係る領域結合画像Ｆを構成する画像領域Ｆｍのカメラ座標系での各軸の最大値および最小値の一例を示す図である。本発明の実施の形態に係るシート座標系での法線ベクトルＮ_{（ｖ，ｕ）}と正面領域ＳＡとの対応関係の一例を示す図である。本発明の実施の形態に係る距離画像から抽出された正面領域ＳＡの一例を示す図である。本発明の実施の形態に係る乗員頭部検知装置の動作を示すフローチャートである。図１５に示す内部座標設定の処理を示すフローチャートである。図１５に示すスコア画像生成の処理を示すフローチャートである。図１５に示す領域分割の処理を示すフローチャートである。図１５に示す領域結合の処理を示すフローチャートである。図１５に示す球形状判定の処理を示すフローチャートである。図１５に示す体積判定の処理を示すフローチャートである。図１５に示すヘッドレスト判定の処理を示すフローチャートである。

以下、本発明の一実施形態に係る乗員頭部検知装置について添付図面を参照しながら説明する。

本実施の形態による乗員頭部検知装置１０は、例えば図１、図２に示すように、単眼距離画像センサ１１と、制御装置１２とを備えて構成され、例えば車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御するエアバッグシステム１５の一部を構成している。

単眼距離画像センサ１１は単眼の撮像装置であって、例えば、車両１３のルーフ前部の中央部（例えば、左右のサンバイザー間の位置など）に配置され、少なくとも車室内のシート１６（例えば、助手席）およびシート１６に着座した乗員やシート１６に設置されたチャイルドシートなどを撮像対象として含み、これらの撮像対象を斜め上方の前方側から撮像するように設定されている。

単眼距離画像センサ１１は、例えば、発光部２１と、受光部２２と、処理部２３とを備えて構成されている。

発光部２１は、例えば、赤外線領域の光を発光するＬＥＤなどの発光体３１と、発光体３１の発光を制御する駆動回路３２と、発光体３１の発光による光を撮像対象に向けて拡散させる散乱板３３とを備えて構成されている。

駆動回路３２は、例えば、受光部２２から出力される発光制御の指令信号と、処理部２３から出力される光量制御の指令信号とに応じて制御される。

受光部２２から出力される発光制御の指令信号は、発光部２１の動作と受光部２２の動作との同期をとって、発光部２１から出力された発光パルスと、この発光パルスが撮像対象で反射されて受光部２２に入力されて成る受光パルスとの位相差（時間差）を検知可能にするために、発光パルスの発光タイミングを指示する。
処理部２３から出力される光量制御の指令信号は、発光部２１から出力される発光パルスの発光量を指示する。

受光部２２は、例えば、発光部２１から撮像対象に向けて照射された発光パルスが撮像対象で反射されてなる受光パルスを受けるレンズ３６と、フィルター３７と、レンズ３６およびフィルター３７を透過した受光パルスを検出するＣＭＯＳセンサなどの受光素子３８とを備えて構成されている。

受光部２２は、処理部２３から出力される制御信号に応じて発光部２１に発光制御の指令信号を出力すると共に、受光素子３８による受光パルスの検出結果として画像データを出力する。
この画像データは、受光素子３８において受光パルスが検出された位置（つまり、撮像対象での発光パルスの反射点の位置）に対応する二次元配列の画素から構成され、各画素は、受光素子３８で検出された受光パルスの光量（つまり、パルス数）の情報と、発光パルスと受光パルスとの位相差（時間差）の情報とを有している。

処理部２３は、発光部２１に光量制御の指令信号を出力すると共に、受光部２２に各種動作を指示する制御信号を出力しており、例えば、距離画像生成部４１と、輝度画像生成部４２とを備えて構成されている。

距離画像生成部４１は、受光部２２から出力された画像データに基づき、各画素毎に、発光パルスと受光パルスとの位相差（時間差）の情報と発光パルスおよび受光パルスの速度（つまり光の速度）とから、３次元空間での単眼距離画像センサ１１から撮像対象の反射点までの距離の情報を生成する。そして、二次元配列の各画素毎に単眼距離画像センサ１１から撮像対象までの距離を示す距離画像を生成して、この距離画像を制御装置１２に出力する。

輝度画像生成部４２は、受光部２２から出力される画像データに基づき、二次元配列の各画素毎に受光素子３８により検出された受光パルスの光量（つまり、パルス数）を示す輝度画像を生成して、この輝度画像を制御装置１２に出力する。

制御装置１２は、例えば、画像処理部５１と、内部座標設定部５２と、スコア画像生成部５３と、領域分割部５４と、領域結合部５５と、球形状判定部５６と、体積判定部５７と、ヘッドレスト判定部５８と、頭部領域判定部５９と、乗員判定部６０と、駆動制御部６１とを備えて構成されている。

画像処理部５１は、先ず、単眼距離画像センサ１１から出力された距離画像に基づき、二次元配列の各画素毎の距離の情報に対応する３次元空間での撮像対象の反射点の位置をカメラ座標系で記述し、このカメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）を、二次元配列の各画素毎に対応させて示す３つのＸ画像およびＹ画像およびＺ画像（ＸＹＺ画像）を生成する。

なお、カメラ座標系は、例えば単眼距離画像センサ１１の受光素子３８の撮像面に直交する受光軸をＺ軸とするＸＹＺ座標系である。
そして、これらのＸＹＺ画像に対して、輝度画像を参照して平滑化およびノイズ除去などの画像処理を行なう。

さらに、画像処理部５１は、カメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）を、シート座標系つまり車両前後方向をＴ軸かつ車両左右方向をＢ軸かつ車両上下方向をＨ軸とするＴＢＨ座標系での各軸成分（Ｔ座標、Ｂ座標、Ｈ座標）に変換して、予め記憶している車室内の所定の構造物（例えば、ピラー、ドア、ダッシュボード、センターコンソールなど）に関連するデータを除去する。
そして、このデータ除去後のシート座標系での各軸成分（Ｔ座標、Ｂ座標、Ｈ座標）をカメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）に変換して、この変換後の各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）による３つのＸ画像およびＹ画像およびＺ画像（ＸＹＺ画像）を出力する。

内部座標設定部５２は、画像処理部５１から出力された３つのＸＹＺ画像に基づき、距離画像を構成する複数の画素毎に３次元空間での法線ベクトルの逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される３次元空間での位置座標を内部座標とする。

先ず、内部座標設定部５２は、画像処理部５１から出力された３つのＸＹＺ画像に対して、例えば図３（Ａ）、（Ｂ）に示すカーネルからなるソーベルフィルターなどの偏微分フィルターによる畳み込み演算により、各画素毎に横方向の偏微分と縦方向の偏微分とを行なうことによって、３つのＸＹＺ画像毎に横偏微分画像（Ｘ横偏微分画像Ｘｕ、Ｙ横偏微分画像Ｙｕ、Ｚ横偏微分画像Ｚｕ）および縦偏微分画像（Ｘ縦偏微分画像Ｘｖ、Ｙ縦偏微分画像Ｙｖ、Ｚ縦偏微分画像Ｚｖ）を算出する。

そして、内部座標設定部５２は、例えば下記数式（１）に示すように記述される縦画素ｖおよび横画素ｕで指定される距離画像の各画素（ｖ，ｕ）毎の法線ベクトルＮ_{（ｖ，ｕ）}を、各横偏微分画像の画素値（Ｘ横偏微分画像Ｘｕ_{（ｖ，ｕ）}、Ｙ横偏微分画像Ｙｕ_{（ｖ，ｕ）}、Ｚ横偏微分画像Ｚｕ_{（ｖ，ｕ）}）および各縦偏微分画像の画素値（Ｘ縦偏微分画像Ｘｖ_{（ｖ，ｕ）}、Ｙ縦偏微分画像Ｙｖ_{（ｖ，ｕ）}、Ｚ縦偏微分画像Ｚｖ_{（ｖ，ｕ）}）と、カメラ座標系での各軸（Ｘ軸、Ｙ軸、Ｚ軸）の単位ベクトル（ｉ、ｊ、ｋ）とに基づき算出する。

そして、内部座標設定部５２は、例えば下記数式（２）に示すように、法線ベクトルＮ_{（ｖ，ｕ）}を画素面積｜Ｎ_{（ｖ，ｕ）}｜で除算して正規化を行ない、さらに、符号を反転させることによって、逆ベクトルＥを算出する。

そして、内部座標設定部５２は、例えば下記数式（３）に示すように、人体の頭部の厚さに対する所定頭部厚ＨｅａｄＴｈｉｃｋ（例えば、９０ｍｍなど）を逆ベクトルＥ_{（ｖ，ｕ）}に乗算して、固定長の頭部ベクトルＨ_{（ｖ，ｕ）}を算出する。

そして、内部座標設定部５２は、例えば図４および下記数式（４）、（５）に示すように、距離画像の各画素（ｖ，ｕ）の位置をカメラ座標系で示す観測画素座標Ｐ_{（ｖ，ｕ）}と頭部ベクトルＨ_{（ｖ，ｕ）}と合成して、内部座標Ｉ_{（ｖ，ｕ）}を算出する。

そして、内部座標設定部５２は、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ_{（ｖ，ｕ）}の各軸成分（Ｘ内部座標、Ｙ内部座標、Ｚ内部座標）を、各画素（ｖ，ｕ）毎の画素値に対応させて示す３つのＸ内部座標画像ＩＸおよびＹ内部座標画像ＩＹおよびＺ内部座標画像ＩＺを生成する。

スコア画像生成部５３は、３次元空間を構成する複数の単位空間毎に該単位空間内に含まれる内部座標Ｉ_{（ｖ，ｕ）}の総数に係るスコア値を算出し、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ_{（ｖ，ｕ）}が含まれる単位空間のスコア値を、所定の大きさの球形状の指標として、各画素（ｖ，ｕ）毎の画素値に対応させて示すスコア画像Ｓを生成する。

先ず、スコア画像生成部５３は、例えば図５に示すように、単眼距離画像センサ１１の撮像領域を含む３次元空間を構成する複数の単位空間（３次元の座標空間）として、例えば、所定長（例えば、５０ｍｍなど）を一辺の長さとする複数の立方体（ボクセル空間）Ｖを設定する。

そして、スコア画像生成部５３は、例えば図６（Ａ），（Ｂ）に示すように、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ_{（ｖ，ｕ）}が含まれるボクセル空間Ｖに対して、各画素（ｖ，ｕ）の画素面積をスコア値として加算する。
これにより、例えば図７（Ａ）に示すような距離画像Ｌの全画素（ｖ，ｕ）に対して、ボクセル空間Ｖ毎のスコア値の加算が完了すると、例えば図７（Ｂ）に示すような３次元空間でのボクセル空間Ｖ単位でのスコア値の分布が得られる。

そして、スコア画像生成部５３は、例えば図７（Ｃ）に示すように、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ_{（ｖ，ｕ）}が含まれるボクセル空間Ｖのスコア値を、各画素（ｖ，ｕ）毎の画素値に対応させて示すスコア画像Ｓを生成する。

領域分割部５４は、内部座標設定部５２により生成された３つの各内部座標画像ＩＸ，ＩＹ，ＩＺ毎に、例えば図３（Ａ）、（Ｂ）に示すカーネルからなるソーベルフィルターなどの偏微分フィルターによる畳み込み演算により、各画素毎に横方向の偏微分と縦方向の偏微分とを行なうことによって、横偏微分画像および縦偏微分画像を算出する。

そして、領域分割部５４は、３つの各内部座標画像ＩＸ，ＩＹ，ＩＺ毎に横偏微分画像と縦偏微分画像とを合成することによって、３つの内部エッジ画像ＤＸ，ＤＹ，ＤＺを生成する。
そして、例えば下記数式（６）に示すように、３つの内部エッジ画像ＤＸ，ＤＹ，ＤＺを合成して、さらに、画素面積｜Ｎ_{（ｖ，ｕ）}｜で除算して正規化を行なうことによって、３次元空間での複数の内部座標Ｉ_{（ｖ，ｕ）}の分布に対してエッジを抽出した内部エッジ画像Ｄを生成する。

そして、領域分割部５４は、例えば下記数式（７）に示すように、内部エッジ画像Ｄにおいて、画素値が所定閾値ＥｄｇｅＴｈｒｅｓｈ未満の領域を「１」とし、画素値が所定閾値ＥｄｇｅＴｈｒｅｓｈ以上の領域を「０」とする２値化処理を行なうことによって、例えば図８（Ａ）に示すような２値化画像Ｂを生成する。

そして、領域分割部５４は、２値化画像Ｂにおいて、例えば８近傍ラベリングなどのラベリング処理を行なうことによって、例えば図８（Ｂ）に示すような、複数の異なる画像領域Ｅｎ（ｎは任意の自然数）からなる領域分割画像Ｅを生成する。

領域結合部５５は、内部座標設定部５２により生成された３つの各内部座標画像ＩＸ，ＩＹ，ＩＺを参照しつつ、領域分割部５４により生成された領域分割画像Ｅにおいて、複数の画像領域のうち内部座標Ｉ_{（ｖ，ｕ）}の平均値の差が所定差以下の画像領域同士を単一の画像領域に結合して、領域結合画像Ｆを生成する。
なお、領域分割画像Ｅにおいて互いに結合されなかった画像領域は、変更無しに領域結合画像Ｆに含まれる。

例えば、内部エッジ画像Ｄにおいて乗員が着用している帽子のつば部分などに起因して所定閾値ＥｄｇｅＴｈｒｅｓｈ以上のエッジが抽出されと、例えば図９（Ａ），図１０（Ａ）に示すように、領域分割部５４によって乗員の頭部領域が２つの画像領域Ｅａ，Ｅｂに分割される。
一方、２つの画像領域Ｅａ，Ｅｂは単一の人体部位である頭部領域であることから、各画像領域Ｅａ，Ｅｂでの内部座標Ｉ_{（ｖ，ｕ）}はほぼ等しく、２つの画像領域Ｅａ，Ｅｂ間において内部座標Ｉ_{（ｖ，ｕ）}の平均値の差は所定差以下となり、例えば図９（Ｂ），図１０（Ｂ）に示すように、領域結合部５５によって２つの画像領域Ｅａ，Ｅｂが単一の画像領域Ｆ０に結合される。

球形状判定部５６は、スコア画像生成部５３により生成されたスコア画像Ｓを参照しつつ、領域結合部５５により生成された領域結合画像Ｆにおいて、複数の画像領域のうち、スコア値の平均値が所定の閾平均値以下の画像領域を除去する。

例えば、球形状判定部５６は、図１１（Ａ）に示すように複数の画像領域Ｆ１，…，Ｆｎにより構成される領域結合画像Ｆから、球形状度合いが閾値以下の画像領域、例えばシート平面部、乗員の肘、腹部などに対応する画像領域を除去し、例えば図１１（Ｂ）に示すような除去後の領域結合画像Ｆを生成する。

体積判定部５７は、画像処理部５１により生成されたＸＹＺ画像を参照しつつ、球形状判定部５６による処理後の領域結合画像Ｆにおいて、複数の画像領域のうち、体積が上限体積値以上または下限体積値以下の画像領域を除去する。
例えば乗員の胴体部に対応する画像領域Ｆ３と乗員の左右の大腿部に対応する画像領域Ｆ４，Ｆ５とを除去し、例えば図１１（Ｃ）に示すような除去後の領域結合画像Ｆを生成する。
なお、上限体積値および下限体積値は、人体の頭部の体積に対する閾値であって、人体の頭部の体積が上限体積値未満かつ下限体積値よりも大きいとして予め記憶されている。

例えば、体積判定部５７は、図１２に示すように、領域結合画像Ｆを構成する複数の画像領域Ｆｍ（ｍは任意の自然数）毎に、カメラ座標系での各軸の最大値（ＸＭＡＸ，ＹＭＡＸ，ＺＭＡＸ）および最小値（ＸＭＩＮ，ＹＭＩＮ，ＺＭＩＮ）を算出する。
そして、下記数式（８）に示すように、各軸の最大値（ＸＭＡＸ，ＹＭＡＸ，ＺＭＡＸ）および最小値（ＸＭＩＮ，ＹＭＩＮ，ＺＭＩＮ）から体積ｖｏｌを算出し、この体積ｖｏｌが、人体の頭部の体積に対する所定範囲を外れる上限体積値以上または下限体積値以下であるか否かを判定する。

これにより、体積判定部５７は、例えば図１１（Ｂ）に示すように複数の画像領域Ｆ１，…，Ｆ５により構成される領域結合画像Ｆから、体積が上限体積値以上または下限体積値以下となる画像領域、例えば乗員の胴体部に対応する画像領域Ｆ３と乗員の左右の大腿部に対応する画像領域Ｆ４，Ｆ５とを除去し、例えば図１１（Ｃ）に示すような除去後の領域結合画像Ｆを生成する。

ヘッドレスト判定部５８は、画像処理部５１により生成されたＸＹＺ画像を参照しつつ、体積判定部５７による処理後の領域結合画像Ｆにおいて、複数の画像領域のうち、所定方向（例えば、車両左右方向であるＢ方向など）の幅寸法が所定閾値以上の画像領域を除去する。

先ず、ヘッドレスト判定部５８は、例えば図１３，図１４に示すように、内部座標設定部５２により算出された法線ベクトルＮ_{（ｖ，ｕ）}が車両左右方向（Ｂ方向）に傾く角度が所定閾角度以下である領域を正面領域ＳＡとして距離画像から抽出する。
そして、ヘッドレスト判定部５８は、領域結合画像Ｆを構成する複数の画像領域のうち、正面領域ＳＡが抽出された画像領域毎に対して、正面領域ＳＡのシート座標系でのＢ軸の最大値および最小値から車両左右方向の幅寸法（Ｂ方向幅）を算出する。

そして、ヘッドレスト判定部５８は、例えば図１１（Ｃ）に示すように複数の画像領域Ｆ１，Ｆ２により構成される領域結合画像Ｆから、Ｂ方向幅が所定閾値以上の正面領域ＳＡを有する画像領域、例えばシート１６のヘッドレスト１６ａに対応する画像領域Ｆ１を除去し、例えば図１１（Ｄ）に示すような除去後の領域結合画像Ｆを生成する。
なお、Ｂ方向幅に対する所定閾値は、人体の頭部よりも大きなＢ方向幅を有する部位、例えばシート１６のヘッドレスト１６ａなどを抽出するために予め記憶されている値である。例えば図１３に示すように、距離画像から検知されるヘッドレスト１６ａのＢ方向幅ＬＢ１およびバックレスト１６ｂのＢ方向幅ＬＢ２は所定閾値以上となり、これらに対応する正面領域ＳＡを有する画像領域は領域結合画像Ｆから除去される。

頭部領域判定部５９は、スコア画像生成部５３により生成されたスコア画像Ｓを参照しつつ、ヘッドレスト判定部５８による処理後の領域結合画像Ｆにおいて、複数の画像領域のうち、スコア値の平均値が最も高い画像領域を、乗員の頭部が存在する頭部領域であると判定する。

乗員判定部６０は、頭部領域判定部５９により抽出された頭部領域に基づき、乗員の種別や姿勢や各種の補助シート（チャイルドシートやブースターシートなど）の有無などを判定する。
駆動制御部６１は、乗員判定部６０による判定結果と、例えば車両１３の急減速を検出する加速度センサなどの衝突センサ７０から出力される検出結果の信号とに基づき、車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御する。

本実施の形態による乗員頭部検知装置１０は上記構成を備えており、次に、この乗員頭部検知装置１０の動作について説明する。

先ず、例えば図１５に示すステップＳ０１においては、単眼距離画像センサ１１から出力された距離画像に対する前処理として、カメラ座標系でのＸＹＺ画像を生成し、これらのＸＹＺ画像に対して輝度画像を参照して平滑化およびノイズ除去などの画像処理を行なう。
そして、画像処理後のＸＹＺ画像を、一時的にシート座標系の画像に変換して車室内の所定の構造物（例えば、ピラー、ドア、ダッシュボード、センターコンソールなど）に関連するデータを除去し、この除去後の画像を、再びカメラ座標系でのＸＹＺ画像に変換する。

次に、ステップＳ０２〜ステップＳ０５においては、ＸＹＺ画像において乗員の頭部が存在する頭部領域の候補となる領域を抽出する処理を行なう。
先ず、ステップＳ０２においては、ＸＹＺ画像に対応する距離画像を構成する複数の画素毎に３次元空間での法線ベクトルの逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される３次元空間での位置座標を内部座標とする内部座標設定の処理を行なう。

次に、ステップＳ０３においては、３次元空間を構成する複数の単位空間毎に該単位空間内に含まれる内部座標の総数に係るスコア値を算出し、距離画像の各画素毎に対応する内部座標が含まれる単位空間のスコア値を、所定の大きさの球形状の指標として、各画素毎の画素値に対応させて示すスコア画像Ｓを生成するスコア画像生成の処理を行なう。

次に、ステップＳ０４においては、３次元空間での複数の内部座標の分布に対してエッジを抽出して、エッジに応じてスコア画像Ｓを複数の画像領域に分割する領域分割の処理を行なう。
次に、ステップＳ０５においては、複数の画像領域のうち内部座標の平均値の差が所定差以下の画像領域同士を単一の画像領域に結合する領域結合の処理を行なう。

次に、ステップＳ０６〜ステップＳ０８においては、上述したステップＳ０２〜ステップＳ０５において頭部領域の候補となる領域として抽出された領域のうちから、頭部領域の候補として適さない領域を除外する処理を行なう。
先ず、ステップＳ０６においては、複数の画像領域のうちから、所定の大きさの球形状の度合いが所定程度よりも低い画像領域を除去する球形状判定の処理を行なう。

次に、ステップＳ０７においては、複数の画像領域のうちから、体積が人体の頭部の体積に対する所定範囲を外れる画像領域を除去する体積判定の処理を行なう。
次に、ステップＳ０８においては、複数の画像領域のうちから、所定方向の幅寸法が人体の頭部に対する所定寸法範囲を外れる画像領域を除去するヘッドレスト判定の処理を行なう。

次に、ステップＳ０９においては、この時点で頭部領域の候補として残っている複数の画像領域のうち、スコア値の平均値が最も高い画像領域を、乗員の頭部が存在する頭部領域であると判定する頭部領域判定の処理を行なう。
次に、ステップＳ１０においては、抽出された頭部領域に基づき、乗員の種別や姿勢や各種の補助シート（チャイルドシートやブースターシートなど）の有無などを判定する乗員判定の処理を行なう。

次に、ステップＳ１１においては、乗員判定の処理による判定結果と、例えば車両１３の急減速を検出する加速度センサなどの衝突センサ７０から出力される検出結果の信号とに基づき、車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御し、エンドに進む。

以下に、上述したステップＳ０２での内部座標設定の処理について説明する。
先ず、例えば図１６に示すステップＳ２１においては、３つのＸＹＺ画像に対して、例えばソーベルフィルターなどの偏微分フィルターによる畳み込み演算により、各画素毎に横方向の偏微分と縦方向の偏微分とを行なうことによって、３つのＸＹＺ画像毎に横偏微分画像および縦偏微分画像を算出する。

次に、ステップＳ２２においては、上記数式（１）を用いて、横偏微分画像および縦偏微分画像と、カメラ座標系での各軸（Ｘ軸、Ｙ軸、Ｚ軸）の単位ベクトルとにより、縦画素ｖおよび横画素ｕで指定される距離画像の各画素（ｖ，ｕ）毎の法線ベクトルＮ_{（ｖ，ｕ）}を算出する。

次に、ステップＳ２３においては、上記数式（２），（３）を用いて、法線ベクトルＮ_{（ｖ，ｕ）}の逆方向に固定長の逆ベクトル、つまり頭部ベクトルＨ_{（ｖ，ｕ）}を算出する。

次に、ステップＳ２４においては、上記数式（４），（５）を用いて、距離画像の各画素（ｖ，ｕ）の位置をカメラ座標系で示す観測画素座標Ｐ_{（ｖ，ｕ）}と頭部ベクトルＨ_{（ｖ，ｕ）}と合成して、内部座標Ｉ_{（ｖ，ｕ）}を算出し、リターンに進む。

以下に、上述したステップＳ０３でのスコア画像生成の処理について説明する。
先ず、例えば図１７に示すステップＳ３１においては、単眼距離画像センサ１１の撮像領域を含む３次元空間を構成する複数の単位空間（３次元の座標空間）として、所定長（例えば、５０ｍｍなど）を一辺の長さとする複数の立方体（ボクセル空間）Ｖを設定する。

次に、ステップＳ３２においては、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ_{（ｖ，ｕ）}が含まれるボクセル空間Ｖに対して、各画素（ｖ，ｕ）の画素面積をスコア値として加算する。

次に、ステップＳ３３においては、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ_{（ｖ，ｕ）}が含まれるボクセル空間Ｖのスコア値を、各画素（ｖ，ｕ）毎の画素値に対応させて示すスコア画像Ｓを生成し、リターンに進む。

以下に、上述したステップＳ０４での領域分割の処理について説明する。
先ず、例えば図１８に示すステップＳ４１においては、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ_{（ｖ，ｕ）}の各軸成分（Ｘ内部座標、Ｙ内部座標、Ｚ内部座標）を、各画素（ｖ，ｕ）毎の画素値に対応させて示す３つのＸ内部座標画像ＩＸおよびＹ内部座標画像ＩＹおよびＺ内部座標画像ＩＺ毎に、例えばソーベルフィルターなどの偏微分フィルターによる畳み込み演算により、各画素毎に横方向の偏微分と縦方向の偏微分とを行なうことによって、横偏微分画像および縦偏微分画像を算出する。

次に、ステップＳ４２においては、３つの各内部座標画像ＩＸ，ＩＹ，ＩＺ毎に横偏微分画像と縦偏微分画像とを合成することによって、３つの内部エッジ画像ＤＸ，ＤＹ，ＤＺを生成する。
そして、３つの内部エッジ画像ＤＸ，ＤＹ，ＤＺを合成し、画素面積｜Ｎ_{（ｖ，ｕ）}｜で除算して正規化を行なうことによって、３次元空間での複数の内部座標Ｉ_{（ｖ，ｕ）}の分布に対してエッジを抽出した内部エッジ画像Ｄを生成する。
そして、内部エッジ画像Ｄにおいて、画素値が所定閾値ＥｄｇｅＴｈｒｅｓｈ未満の領域を「１」とし、画素値が所定閾値ＥｄｇｅＴｈｒｅｓｈ以上の領域を「０」とする２値化処理を行なうことによって、２値化画像Ｂを生成する。

次に、ステップＳ４３においては、２値化画像Ｂにおいて、例えば８近傍ラベリングなどのラベリング処理を行なうことによって、複数の異なる画像領域からなる領域分割画像Ｅを生成し、リターンに進む。

以下に、上述したステップＳ０５での領域結合の処理について説明する。
先ず、例えば図１９に示すステップＳ５１においては、領域分割画像Ｅを構成する複数の画像領域毎に内部座標Ｉ_{（ｖ，ｕ）}の平均値を算出する。
次に、ステップＳ５２においては、内部座標Ｉ_{（ｖ，ｕ）}の平均値の差が所定差よりも大きい画像領域同士は、互いに独立した画像領域であるとし、一方、内部座標Ｉ_{（ｖ，ｕ）}の平均値の差が所定差以下の画像領域同士は単一の画像領域に結合して、領域結合画像Ｆを生成し、リターンに進む。

以下に、上述したステップＳ０６での球形状判定の処理について説明する。
先ず、例えば図２０に示すステップＳ６１においては、領域結合画像Ｆを構成する複数の画像領域毎にスコア値の平均値を算出する。
次に、ステップＳ６２においては、領域結合画像Ｆを構成する複数の画像領域のうちから、スコア値の平均値が所定の閾平均値以下の画像領域を除去し、リターンに進む。

以下に、上述したステップＳ０７での体積判定の処理について説明する。
先ず、例えば図２１に示すステップＳ７１においては、領域結合画像Ｆを構成する複数の画像領域毎に、カメラ座標系での各軸の最大値および最小値を算出し、上記数式（８）を用いて、各軸の最大値および最小値から画像領域の体積を算出する。
次に、ステップＳ７２においては、領域結合画像Ｆを構成する複数の画像領域のうちから、体積が所定範囲を外れる上限体積値以上または下限体積値以下である画像領域を除去し、リターンに進む。

以下に、上述したステップＳ０８でのヘッドレスト判定の処理について説明する。
先ず、例えば図２２に示すステップＳ８１においては、距離画像の各画素（ｖ，ｕ）毎の法線ベクトルＮ_{（ｖ，ｕ）}が車両左右方向（Ｂ方向）に傾く角度が所定閾角度以下である領域を正面領域ＳＡとして距離画像から抽出する。

次に、ステップＳ８２においては、領域結合画像Ｆを構成する複数の画像領域のうち、正面領域ＳＡが抽出された画像領域毎に対して、正面領域ＳＡのシート座標系でのＢ軸の最大値および最小値から車両左右方向の幅寸法（Ｂ方向幅）を算出する。

次に、ステップＳ８３においては、領域結合画像Ｆを構成する複数の画像領域のうちから、Ｂ方向幅が所定閾値以上の正面領域ＳＡを有する画像領域を除去し、リターンに進む。

上述したように、本実施の形態による乗員頭部検知装置１０によれば、先ず、単眼距離画像センサ１１から出力される距離画像の画素毎に、法線ベクトルＮ_{（ｖ，ｕ）}の逆方向に固定長の逆ベクトル（頭部ベクトルＨ_{（ｖ，ｕ）}）による内部座標Ｉ_{（ｖ，ｕ）}を算出する。そして、内部座標Ｉ_{（ｖ，ｕ）}を用いた投票方式によってボクセル空間Ｖ毎のスコア値を算出し、スコア値が所定の大きさの球形状の指標となることに応じて乗員の頭部領域を抽出することから、演算負荷の増大を防止しつつ頭部領域の検知精度を向上させることができる。

つまり、予め記憶する参考画像やモデルを用いること無しに乗員の頭部領域を抽出することができることから、演算負荷の増大や演算速度の低下を防止することができる。
また、単眼距離画像センサ１１の撮像により得られる画像領域の撮影方向や大きさなどに依存して頭部領域の抽出が大きく変動してしまうことを防止することができ、抽出結果の信頼性および安定性を向上させることができる。
また、カラー画像を用いること無しに、あるいは、顔領域の検出を必要とせずに、乗員の頭部領域を抽出することができ、装置構成に要する費用が嵩むことを防止し、頭部領域の誤検知を抑制し、的確な抽出を行なうことができる。

さらに、複数の分割領域のうち内部座標の平均値の差が所定差以下の分割領域同士を単一の結合領域に結合することから、例えば乗員が着用している帽子のつば部分などにおいてエッジが抽出されることで頭部領域が不必要に分割された場合であっても適切に結合することができ、頭部領域を適切に抽出することができる。

さらに、頭部領域の候補となる領域として抽出された領域のうちから、スコア値と体積と所定方向の幅寸法とに基づいて、頭部領域の候補として適さない領域を除外する処理を行なうことから、頭部領域の誤検知を抑制し、的確な抽出を行なうことができる。

なお、上述した実施の形態において、領域結合部５５は複数の画像領域の内部座標Ｉ_{（ｖ，ｕ）}の平均値に基づいて画像領域同士を結合するとしたが、これに限定されず、平均値以外の他の指標に基づいて画像領域同士を結合してもよい。

また、上述した実施の形態において、球形状判定部５６は複数の画像領域のスコア値の平均値に基づいて画像領域を除去するとしたが、これに限定されず、平均値以外の他の指標に基づいて画像領域を除去してもよい。

１０乗員頭部検知装置
１１単眼距離画像センサ
１２制御装置
２２受光部（撮像手段）
２３処理部（距離画像生成手段）
５１画像処理部
５２内部座標設定部（内部座標設定手段）
５３スコア画像生成部（スコア画像生成手段）
５４領域分割部（頭部領域抽出手段、エッジ抽出手段、領域分割手段）
５５領域結合部（頭部領域抽出手段、領域結合手段）
５６球形状判定部（頭部領域抽出手段、領域除外手段）
５７体積判定部（頭部領域抽出手段、領域除外手段）
５８ヘッドレスト判定部（頭部領域抽出手段、領域除外手段）
５９頭部領域判定部（頭部領域抽出手段）
６０乗員判定部
６１駆動制御部
ステップＳ０４〜Ｓ０９頭部領域抽出手段
ステップＳ０５領域結合手段
ステップＳ０６〜Ｓ０８領域除外手段
ステップＳ４１エッジ抽出手段
ステップＳ４３領域分割手段

Claims

車室内の撮像領域を撮像して撮像結果を出力する撮像手段と、
前記撮像結果に基づき、３次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段と、
前記距離画像を構成する複数の画素毎に前記３次元空間での法線ベクトルの逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される前記３次元空間での位置座標を内部座標とする内部座標設定手段と、
前記３次元空間を構成する複数の単位空間毎に該単位空間内に含まれる前記内部座標の総数に係るスコア値を算出し、前記複数の画素毎に対応する前記内部座標が含まれる前記単位空間の前記スコア値を前記複数の画素毎に対応させて示すスコア画像を生成するスコア画像生成手段と、
前記スコア画像を構成する複数の画像領域のうちから前記スコア値に基づいて前記車室内の乗員の頭部領域を抽出する頭部領域抽出手段と
を備えることを特徴とする乗員頭部検知装置。
前記頭部領域抽出手段は、
前記３次元空間での複数の前記内部座標の分布に対してエッジを抽出するエッジ抽出手段と、
前記エッジに応じて前記スコア画像を複数の分割領域に分割する領域分割手段と、
前記複数の分割領域のうち前記内部座標の平均値の差が所定差以下の前記分割領域同士を単一の結合領域に結合する領域結合手段とを備え、
前記複数の画像領域を前記分割領域および前記結合領域により構成することを特徴とする請求項１に記載の乗員頭部検知装置。
前記頭部領域抽出手段は、
前記複数の画像領域のうち、前記スコア値の平均値が閾平均値以下の前記画像領域と、体積が上限体積値以上または下限体積値以下の前記画像領域と、所定方向の幅寸法が所定閾値以上の前記画像領域とを、前記頭部領域の候補から除外する領域除外手段を備えることを特徴とする請求項１または請求項２に記載の乗員頭部検知装置。