JP4033345B2 - 頭部抽出方法 - Google Patents
頭部抽出方法 Download PDFInfo
- Publication number
- JP4033345B2 JP4033345B2 JP2003038816A JP2003038816A JP4033345B2 JP 4033345 B2 JP4033345 B2 JP 4033345B2 JP 2003038816 A JP2003038816 A JP 2003038816A JP 2003038816 A JP2003038816 A JP 2003038816A JP 4033345 B2 JP4033345 B2 JP 4033345B2
- Authority
- JP
- Japan
- Prior art keywords
- head
- candidate
- image
- candidate element
- gravity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理プログラムを組み込んだマイクロコンピュータにより、乗員（人間）の頭部を抽出する頭部抽出方法に関する。
【０００２】
【従来の技術】
特許文献１には、車室内に設定された所定の検出対象領域の温度分布を検出する赤外線エリアセンサと、検出温度分布に基づいて熱画像データを作成する熱画像データ作成手段とを有し、乗員の顔の温度を背景の温度から推定して乗員の顔の位置を判断する車両用乗員検出装置が記載されている。
【０００３】
【特許文献１】
特開平１１- ２９５４４０号公報 （第１頁〜第７頁、図１、図２）
【０００４】
【発明が解決しようとする課題】
上記特許文献１の車両用乗員検出装置は、下記に示す課題を有する。
空調装置から吹き出される温風や冷風、窓からの風、乗員が携帯するカイロ等により熱画像データが攪乱されて、乗員の顔の位置が判断できない場合がある。
【０００５】
本発明の目的は、画像処理プログラムを組み込んだマイクロコンピュータにより、乗員（人間）の頭部を精度良く抽出することができる頭部抽出方法の提供にある。
【０００６】
【課題を解決するための手段】
〔請求項１について〕
画像処理プログラムを組み込んだマイクロコンピュータは、以下の各ステップを経て人間の頭部を抽出する。なお、人間は、着席しているか、起立している状態が好ましい。
第１のステップでは、人間を別方向から撮影するステレオカメラのステレオ画像に対してステレオマッチングを実施し、撮影距離に対応して濃淡値が付く視差画像を生成する。
【０００７】
第２のステップでは、視差画像に対して、特定の撮影距離範囲にある画素を切り出して複数枚の二値画像を抽出する。
第３のステップでは、抽出した各撮影距離範囲の二値画像に対して、例えば図形要素の周り八画素にある図形画素どうしを同一の集合に繰り入れる処理を施して八近傍連結成分に分割し、連結している画素の集合にラベリングを施す。ラベリングは、例えば、同一の集合に同じ色を付け、異なる集合に異なる色を付ける。
【０００８】
第４のステップでは、ラベリングを施した全ラベルについて、人間の頭部に相当する面積の要素および人間の胴体に相当する面積の要素のみを抽出して、頭部候補要素および胴体候補要素を抽出する。なお、頭部候補要素の抽出と胴体候補要素の抽出の違いは閾値（胴体の方が範囲は広い）である。
【０００９】
第５のステップでは、頭部候補要素−胴体候補要素の全ての組み合わせで、胴体候補要素の重心に対して許容エリアを設定し、頭部候補要素の重心が許容エリア内に存在するか否かを評価し、頭部候補要素の重心が許容エリア内に存在する候補要素の組み合わせを、頭部−胴体組み合わせ候補として取得する。
【００１０】
この頭部抽出方法は、人間の頭部を精度良く抽出することができ、各種機器（介護機器や防犯機器等）の制御に有効に利用することができる。
なお、輪郭形状から頭部を認識する構成ではないので、背景やボディラインを頭部と誤認識してしまう不具合が防止できる。また、温風や冷風、風、携帯するカイロ等により影響されない。
【００１１】
〔請求項２について〕
画像処理プログラムを組み込んだマイクロコンピュータは、以下の各ステップを経て、車両の座席に着席している乗員の頭部を抽出する。
【００１２】
第１のステップでは、乗員を左右方向から撮影するステレオカメラのステレオ画像に対してステレオマッチングを実施し、撮影距離に対応して濃淡値が付く視差画像を生成する。
第２のステップでは、視差画像に対して、特定の撮影距離範囲にある画素を切り出して複数枚の二値画像を抽出する。
【００１３】
第３のステップでは、抽出した各撮影距離範囲の二値画像に対して、例えば図形要素の周り八画素にある図形画素どうしを同一の集合に繰り入れる処理を施して八近傍連結成分に分割し、連結している画素の集合にラベリングを施す。ラベリングは、例えば、同一の集合に同じ色を付け、異なる集合に異なる色を付ける。
【００１４】
第４のステップでは、ラベリングを施した全ラベルについて、乗員の頭部に相当する面積の要素および乗員の胴体に相当する面積の要素のみを抽出して、頭部候補要素および胴体候補要素を抽出する。なお、頭部候補要素の抽出と胴体候補要素の抽出の違いは閾値（胴体の方が範囲は広い）である。
【００１５】
第５のステップでは、頭部候補要素−胴体候補要素の全ての組み合わせで、胴体候補要素の重心に対して許容エリアを設定し、頭部候補要素の重心が許容エリア内に存在するか否かを評価し、頭部候補要素の重心が許容エリア内に存在する候補要素の組み合わせを、頭部−胴体組み合わせ候補として取得する。
【００１６】
この頭部抽出方法は、乗員の頭部を精度良く抽出することができ、エアバックの展開制御に有効に利用することができる。
なお、輪郭形状から乗員の頭部を認識する構成ではないので、車室内の窓枠、座席、またはボディラインを頭部と誤認識してしまう不具合が防止できる。また、車両用空調装置から吹き出される温風や冷風、窓からの風、乗員が携帯するカイロ等により影響されない。
【００２２】
【発明の実施の形態】
本発明の第１実施例に係る頭部検出装置を、図１〜図１４に基づいて説明する。
頭部検出装置は、座席に着席している乗員を左方向・右方向から撮影するステレオカメラ（図示せず）と、ステレオ画像の画像処理を行う画像処理装置（図示せず）とを備える。
【００２３】
ステレオカメラは、左カメラおよび右カメラで構成され、各カメラは運転者迄の距離が同一（同一撮影距離）となる位置の車両天井に配設されている。
左カメラおよび右カメラは、図２に示す左カメラ画像１および右カメラ画像２をステレオ画像として画像処理装置に出力する。
【００２４】
画像処理装置のマイクロコンピュータは、画像処理プログラムに基づいて、左カメラ画像１および右カメラ画像２を画像処理（図１のステップｓ１〜ｓ７）して乗員の頭部を検出する。
【００２５】
ステップｓ１において、マイクロコンピュータが、ステレオ画像であるカメラ画像１および右カメラ画像２（図２参照）に対してステレオマッチングを実施し、撮影距離に対応した濃淡値が付く視差画像３を生成する（第１のステップに相当）。
【００２６】
ステップｓ２は、ステップｓ２１〜ｓ２２（図３参照）からなり、マイクロコンピュータが、視差画像３をカメラからの距離でスライスして、画素領域を取得する（第２のステップに相当）。
具体的には、３００mm〜１０００mmを２０mm刻みで切り出し、各撮影距離（３５枚画像）に有る画素を抽出する。
３００mm以上４００mm未満、４００mm以上５００mm未満、５００mm以上６００mm未満、６００mm以上７００mm未満、７００mm以上８００mm未満、８００mm以上９００mm未満、および９００mm以上１０００mm未満の各撮影距離範囲の各代表を、上記３５枚画像の中から選んで七枚の線画にしたものを図４に示す。
【００２７】
ステップｓ２１において、下記を行う。
視差画像３をth1 〜th2 の範囲で二値化する。
th1 、th2 は、ステレオ基本式、z=(f/s) ×(h/dx)に基づいて算出する。
th1=(f/s) ×(h/depth＿mm)
th2=(f/s) ×(h/depth＿mm＋slice ＿width ＿mm)
但し、 depth＿mm=depth＿min ＿mm〜depth ＿max ＿mm
slice＿depth ＿mm刻み
ステップｓ２２において、画素領域内の背景画素を穴埋め処理する。
【００２８】
ステップｓ３は、ステップｓ３１〜ｓ３３（図５参照）からなり、マイクロコンピュータが、抽出された領域のラベリングを行い、ラベリングした要素の属性取得を行う（第３のステップに相当）。
【００２９】
具体的には、抽出した各撮影距離範囲の二値画像に対して、図形要素の周り八画素にある図形画素どうしを同一の集合に繰り入れる処理を施して八近傍連結成分に分割し、連結している画素の集合にラベリングを施す。
本実施例では、ステップｓ２で得た３５枚画像について、連結している画素の集合に対し、水色、橙色、黄色、緑色、肌色、紫色、および赤色を用い、同一の集合に同じ色を付けて塗り潰し、異なる集合に異なる色を付けて塗り潰すラベリングを行う。なお、図４に示す七枚の線画に対応する七枚の二値画像に対してラベリングを行ったものを図６に示す。
【００３０】
ステップｓ３１において、スライスした全画像について、画素領域のラベリングを行う。
ステップｓ３２において、ラベリングした各要素の画像単位系の属性値を検出する。
ステップｓ３３において、面積Area＿pix を実距離単位系に変換する。
【００３１】
ステップｓ４、ｓ５は、ステップｓ４１〜ｓ４２（図７参照）およびステップｓ５１〜ｓ５２（図７参照）からなり、マイクロコンピュータが、ラベリングを施した全ラベルについて、面積を考慮して、胴体候補領域および頭部候補領域の取得を行う（第４のステップに相当）。
具体的には、胴体に相当する範囲の面積を有する要素のみをステップｓ４で抽出し、頭部に相当する範囲の面積を有する要素のみをステップ５で抽出する。
【００３２】
ステップｓ４１において、ラベリングを施した全ラベルについて、
Body＿size＿min ＿mm＜面積〔mm2 〕＜Body＿size＿max ＿mm
が成立するラベルを抽出する。なお、各撮影距離範囲の各代表（七枚）について、上記条件式が成立する胴体候補（例えば、二種類）を図１１に示す。また、各撮影距離（５２０mm〜９８０mm）における胴体候補全要素の線画を図８および図９に示す。
ステップｓ４２において、適合するラベルを胴体候補として保存する。
【００３３】
ステップｓ５１において、ラベリングを施した全ラベルについて、
Head＿size＿min ＿mm＜面積〔mm2 〕＜Head＿size＿max ＿mm
が成立するラベルを抽出する。
なお、各撮影距離範囲の各代表（七枚）について、上記条件式が成立する頭部候補（例えば、二種類）を図１１に示す。また、各撮影距離（５２０mm〜８００mm）における頭部候補全要素の線画を図１０に示す。
ステップｓ５２において、適合するラベルを頭部候補として保存する。
【００３４】
ステップｓ６は、ステップｓ６１〜ｓ６６（図１２参照）からなり、マイクロコンピュータが、拘束条件による頭部- 胴体組み合わせ候補の取得を行う（第５のステップに相当）。
具体的には、頭部候補、胴体候補どうしの全ての組み合わせに対して、図１４に示す位置関係が成立するか否かを評価し、成立する場合には、頭部- 胴体の組み合わせ候補とする。つまり、胴体候補の重心に対して許容エリアを設定し、頭部候補の重心が許容エリア内に存在するものを頭部- 胴体の組み合わせ候補（図１３参照）とする。
【００３５】
ステップｓ６１において、頭部候補と胴体候補の全ての要素どうしについて、頭部候補と胴体候補の距離Dist＿2D[mm]を算出する。
DIST＿2D＝
SQRT｛(x＿Ｇ＿b − x＿Ｇ＿h)2 ＋(y＿Ｇ＿b − y＿Ｇ＿h)2 ｝× pix ＿to＿mm｛ (Ｚ＿b ＋Ｚ＿h)/2｝
但し、胴体候補の重心Ｇ＿b( x＿Ｇ＿ｂ， y＿Ｇ＿b) [pix]
頭部候補の重心Ｇ＿h( x＿Ｇ＿h ， y＿Ｇ＿h) [pix]
胴体候補のスライス位置Ｚ＿b [mm]
頭部候補のスライス位置Ｚ＿h [mm]
また、pix ＿to＿mm（Ｚ）は、pix →mm単位系への変換式である。
なお、本実施例では、画像平面上の二次元距離を使用したが、頭部候補の重心と胴体候補の重心間の三次元距離を用いても良い。
【００３６】
ステップｓ６２において、頭部候補と胴体候補の距離DIST＿2D[mm]が下記の条件を満足するか否か判別し、満足する場合にはステップｓ６３に進む。
dist＿2d＿min ＿mm＜dist＿2d＜dist＿2d＿max ＿mm
【００３７】
ステップｓ６３において、頭部候補重心より胴体候補重心が下であるか否かを下記の様に判別し、下である場合（ＹＥＳ）にはステップｓ６４に進む。
y＿Ｇ＿b ＞ y＿Ｇ＿h
【００３８】
ステップｓ６４において、胴体候補の重心Ｇ＿b →頭部候補の重心Ｇ＿h の方向を下記に示す様に計算し、計算後、ステップｓ６５に進む。
tan＿theta ＝｛（ x＿Ｇ＿b − x＿Ｇ＿ｈ）／（ y＿Ｇ＿b − y＿Ｇ＿ｈ）｝
【００３９】
ステップｓ６５において、下記に示す条件が成立するか否か判別し、成立する場合にはステップｓ６６に進む。
tan＿theta ＿min ＜ tan＿theta ＜ tan＿theta ＿max
ステップｓ６６において、頭部候補ラベルを保存する。
これにより、頭部候補が決定される（ステップｓ７）。
【００４０】
本実施例の頭部検出装置は、以下の利点を有する。
頭部検出装置は、ステレオカメラのステレオ画像から視差画像３を生成｛ステップｓ１（第１のステップに相当）｝し、３００mm〜１０００mmを２０mm刻みで、画素を視差画像３から切り出して３５枚の二値画像を抽出｛ステップｓ２（第２のステップに相当）｝し、各撮影距離の二値画像について、連結している画素の集合にラベリングを施し｛ステップｓ３（第３のステップに相当）｝、ラベリングを施した全ラベルについて、乗員の頭部および胴体に相当する面積に着目して、頭部候補要素および胴体候補要素を抽出し｛ステップｓ４、ｓ５（第４のステップに相当）｝、取得した頭部候補要素- 胴体候補要素の全ての組み合わせに対して、各候補間が所定の拘束関係となる、複数の頭部候補要素- 胴体候補要素を取得｛ステップｓ６（第５のステップに相当）｝している。
【００４１】
なお、所定の拘束関係として、胴体候補要素の重心に対して設定される許容エリア内に、頭部候補要素の重心が存在する候補要素の組み合わせ候補を取得する方法を採用している。
【００４２】
このため、車両の座席に着席した乗員の頭部を精度良く抽出することができ、エアバックの展開制御に有効に利用することができる。
なお、輪郭形状から乗員の頭部を認識する構成ではないので、車室内の窓枠、座席、またはボディラインを頭部と誤認識してしまう不具合が防止できる。
更に、車両用空調装置から吹き出される温風や冷風、窓からの風、乗員が携帯するカイロ等により影響されない。
【００４３】
つぎに、参考例に係る頭部検出装置を、図１５および図１６に基づいて説明する。
頭部検出装置は、座席に着席している乗員を、車両進行方向に対して右方向から撮影するカメラ（図示せず）と、撮影画像の画像処理を行う画像処理装置（図示せず）とを備える。
【００４４】
カメラは、運転席側の車両天井に配設され、カメラ画像６（乗車直前画像６１や乗員乗車画像６２）を画像処理装置に出力する。
画像処理装置のマイクロコンピュータは、画像処理プログラムに基づいて、カメラ画像６を画像処理（図１５のステップＳ１〜Ｓ５）して乗員の頭部を検出する。
【００４５】
ステップＳ１において、カメラのカメラ画像６（乗車直前画像６１や乗員乗車画像６２）を入力する（第１、第２ステップに相当）。
ステップＳ２において、カメラ画像６（乗車直前画像６１および乗員乗車画像６２）と、予め用意しておいた背景情報６０（背景画像）との差分から背景差分画像６３、６４を求める（第３ステップに相当）。
【００４６】
ステップＳ３において、有効な差分結果が得られた方の背景差分画像６４から複数の頭部候補領域、および複数の胴体候補領域を抽出する（第４ステップに相当）。
ステップＳ４において、頭部候補領域- 胴体候補領域の全ての組み合わせに対して、各候補間が所定の拘束関係となる頭部候補要素- 胴体候補要素を取得する（第５ステップに相当）。
【００４７】
各候補領域間が所定の拘束関係となる頭部候補要素- 胴体候補要素は、乗員モデルの位置関係にある組み合わせである。
ステップＳ５において、ステップＳ４で取得した組み合わせの、頭部候補領域を頭部位置であると決定する。
【００４８】
参考例の頭部検出装置は、以下の利点を有する。
頭部検出装置も、車両の座席に着席した乗員の頭部を精度良く抽出することができ、エアバックの展開制御に有効に利用することができる。
【００４９】
カメラが１台で済み、且つ画像処理も簡単であるので、安価である。
頭部検出装置と同様に、輪郭形状から乗員の頭部を認識する構成ではないので、車室内の窓枠、座席、またはボディラインを頭部と誤認識してしまう不具合が防止できる。
更に、車両用空調装置から吹き出される温風や冷風、窓からの風、乗員が携帯するカイロ等により影響されない。
【００５０】
本発明は、上記実施例以外に、以下の実施態様を含む。
ａ．カメラの配設場所は、車両の天井やピラーが好適である。
ｂ．助手席側および運転席側にエアバッグを装着している場合には、助手席の乗員と運転席の運転者とを二組のステレオカメラ（合計４台）で撮影するか、一組のステレオカメラ（合計２台）で兼用して撮影して各乗員の頭部を求め、独立してエアバッグの展開制御を行うのが好適である。
【図面の簡単な説明】
【図１】本発明の第１実施例に係る頭部検出装置の画像処理装置に搭載したマイクロコンピュータの画像処理プログラムの作動を示すフローチャートである。
【図２】左カメラ画像と右カメラ画像とから視差画像が生成される様子を示す説明図である。
【図３】図１のステップｓ２に係る詳細なフローチャートである。
【図４】図１のステップｓ２で得られた二値画像（線画イメージに変換）の説明図である。
【図５】図１のステップｓ３に係る詳細なフローチャートである。
【図６】図１のステップｓ３によるラベリングを施した画像の説明図である。
【図７】図１のステップｓ４、ｓ５に係る詳細なフローチャートである。
【図８】図１のステップｓ４で得られた各撮影距離における胴体候補要素（線画イメージに変換）の説明図である。
【図９】図１のステップｓ４で得られた各撮影距離における胴体候補要素（線画イメージに変換）の説明図である。
【図１０】図１のステップｓ５で得られた各撮影距離における頭部候補全要素（線画イメージに変換）の説明図である。
【図１１】図１のステップｓ４、ｓ５における、面積による頭部・胴体候補の抽出を示す説明図である。
【図１２】図１のステップｓ６に係る詳細なフローチャートである。
【図１３】図１のステップｓ６における、頭部- 胴体組み合わせ候補を線画で説明した説明図である。
【図１４】図１のステップｓ６における、頭部- 胴体組み合わせ候補の抽出を説明した説明図である。
【図１５】参考例に係る頭部検出装置の画像処理装置に搭載したマイクロコンピュータの画像処理プログラムの作動を示すフローチャートである。
【図１６】その画像処理装置に搭載したマイクロコンピュータが画像処理を行う工程を説明した説明図である。
【符号の説明】
３ 視差画像
ｓ１ ステップ（第１のステップ）
ｓ２ ステップ（第２のステップ）
ｓ３ ステップ（第３のステップ）
ｓ４、ｓ５ ステップ（第４のステップ）
ｓ６ ステップ（第５のステップ）
Ｓ１ ステップ（第１、第２ステップ）
Ｓ２ ステップ（第３ステップ）
Ｓ３ ステップ（第４ステップ）
Ｓ４ ステップ（第５ステップ）
【発明の属する技術分野】
本発明は、画像処理プログラムを組み込んだマイクロコンピュータにより、乗員（人間）の頭部を抽出する頭部抽出方法に関する。
【０００２】
【従来の技術】
特許文献１には、車室内に設定された所定の検出対象領域の温度分布を検出する赤外線エリアセンサと、検出温度分布に基づいて熱画像データを作成する熱画像データ作成手段とを有し、乗員の顔の温度を背景の温度から推定して乗員の顔の位置を判断する車両用乗員検出装置が記載されている。
【０００３】
【特許文献１】
特開平１１- ２９５４４０号公報 （第１頁〜第７頁、図１、図２）
【０００４】
【発明が解決しようとする課題】
上記特許文献１の車両用乗員検出装置は、下記に示す課題を有する。
空調装置から吹き出される温風や冷風、窓からの風、乗員が携帯するカイロ等により熱画像データが攪乱されて、乗員の顔の位置が判断できない場合がある。
【０００５】
本発明の目的は、画像処理プログラムを組み込んだマイクロコンピュータにより、乗員（人間）の頭部を精度良く抽出することができる頭部抽出方法の提供にある。
【０００６】
【課題を解決するための手段】
〔請求項１について〕
画像処理プログラムを組み込んだマイクロコンピュータは、以下の各ステップを経て人間の頭部を抽出する。なお、人間は、着席しているか、起立している状態が好ましい。
第１のステップでは、人間を別方向から撮影するステレオカメラのステレオ画像に対してステレオマッチングを実施し、撮影距離に対応して濃淡値が付く視差画像を生成する。
【０００７】
第２のステップでは、視差画像に対して、特定の撮影距離範囲にある画素を切り出して複数枚の二値画像を抽出する。
第３のステップでは、抽出した各撮影距離範囲の二値画像に対して、例えば図形要素の周り八画素にある図形画素どうしを同一の集合に繰り入れる処理を施して八近傍連結成分に分割し、連結している画素の集合にラベリングを施す。ラベリングは、例えば、同一の集合に同じ色を付け、異なる集合に異なる色を付ける。
【０００８】
第４のステップでは、ラベリングを施した全ラベルについて、人間の頭部に相当する面積の要素および人間の胴体に相当する面積の要素のみを抽出して、頭部候補要素および胴体候補要素を抽出する。なお、頭部候補要素の抽出と胴体候補要素の抽出の違いは閾値（胴体の方が範囲は広い）である。
【０００９】
第５のステップでは、頭部候補要素−胴体候補要素の全ての組み合わせで、胴体候補要素の重心に対して許容エリアを設定し、頭部候補要素の重心が許容エリア内に存在するか否かを評価し、頭部候補要素の重心が許容エリア内に存在する候補要素の組み合わせを、頭部−胴体組み合わせ候補として取得する。
【００１０】
この頭部抽出方法は、人間の頭部を精度良く抽出することができ、各種機器（介護機器や防犯機器等）の制御に有効に利用することができる。
なお、輪郭形状から頭部を認識する構成ではないので、背景やボディラインを頭部と誤認識してしまう不具合が防止できる。また、温風や冷風、風、携帯するカイロ等により影響されない。
【００１１】
〔請求項２について〕
画像処理プログラムを組み込んだマイクロコンピュータは、以下の各ステップを経て、車両の座席に着席している乗員の頭部を抽出する。
【００１２】
第１のステップでは、乗員を左右方向から撮影するステレオカメラのステレオ画像に対してステレオマッチングを実施し、撮影距離に対応して濃淡値が付く視差画像を生成する。
第２のステップでは、視差画像に対して、特定の撮影距離範囲にある画素を切り出して複数枚の二値画像を抽出する。
【００１３】
第３のステップでは、抽出した各撮影距離範囲の二値画像に対して、例えば図形要素の周り八画素にある図形画素どうしを同一の集合に繰り入れる処理を施して八近傍連結成分に分割し、連結している画素の集合にラベリングを施す。ラベリングは、例えば、同一の集合に同じ色を付け、異なる集合に異なる色を付ける。
【００１４】
第４のステップでは、ラベリングを施した全ラベルについて、乗員の頭部に相当する面積の要素および乗員の胴体に相当する面積の要素のみを抽出して、頭部候補要素および胴体候補要素を抽出する。なお、頭部候補要素の抽出と胴体候補要素の抽出の違いは閾値（胴体の方が範囲は広い）である。
【００１５】
第５のステップでは、頭部候補要素−胴体候補要素の全ての組み合わせで、胴体候補要素の重心に対して許容エリアを設定し、頭部候補要素の重心が許容エリア内に存在するか否かを評価し、頭部候補要素の重心が許容エリア内に存在する候補要素の組み合わせを、頭部−胴体組み合わせ候補として取得する。
【００１６】
この頭部抽出方法は、乗員の頭部を精度良く抽出することができ、エアバックの展開制御に有効に利用することができる。
なお、輪郭形状から乗員の頭部を認識する構成ではないので、車室内の窓枠、座席、またはボディラインを頭部と誤認識してしまう不具合が防止できる。また、車両用空調装置から吹き出される温風や冷風、窓からの風、乗員が携帯するカイロ等により影響されない。
【００２２】
【発明の実施の形態】
本発明の第１実施例に係る頭部検出装置を、図１〜図１４に基づいて説明する。
頭部検出装置は、座席に着席している乗員を左方向・右方向から撮影するステレオカメラ（図示せず）と、ステレオ画像の画像処理を行う画像処理装置（図示せず）とを備える。
【００２３】
ステレオカメラは、左カメラおよび右カメラで構成され、各カメラは運転者迄の距離が同一（同一撮影距離）となる位置の車両天井に配設されている。
左カメラおよび右カメラは、図２に示す左カメラ画像１および右カメラ画像２をステレオ画像として画像処理装置に出力する。
【００２４】
画像処理装置のマイクロコンピュータは、画像処理プログラムに基づいて、左カメラ画像１および右カメラ画像２を画像処理（図１のステップｓ１〜ｓ７）して乗員の頭部を検出する。
【００２５】
ステップｓ１において、マイクロコンピュータが、ステレオ画像であるカメラ画像１および右カメラ画像２（図２参照）に対してステレオマッチングを実施し、撮影距離に対応した濃淡値が付く視差画像３を生成する（第１のステップに相当）。
【００２６】
ステップｓ２は、ステップｓ２１〜ｓ２２（図３参照）からなり、マイクロコンピュータが、視差画像３をカメラからの距離でスライスして、画素領域を取得する（第２のステップに相当）。
具体的には、３００mm〜１０００mmを２０mm刻みで切り出し、各撮影距離（３５枚画像）に有る画素を抽出する。
３００mm以上４００mm未満、４００mm以上５００mm未満、５００mm以上６００mm未満、６００mm以上７００mm未満、７００mm以上８００mm未満、８００mm以上９００mm未満、および９００mm以上１０００mm未満の各撮影距離範囲の各代表を、上記３５枚画像の中から選んで七枚の線画にしたものを図４に示す。
【００２７】
ステップｓ２１において、下記を行う。
視差画像３をth1 〜th2 の範囲で二値化する。
th1 、th2 は、ステレオ基本式、z=(f/s) ×(h/dx)に基づいて算出する。
th1=(f/s) ×(h/depth＿mm)
th2=(f/s) ×(h/depth＿mm＋slice ＿width ＿mm)
但し、 depth＿mm=depth＿min ＿mm〜depth ＿max ＿mm
slice＿depth ＿mm刻み
ステップｓ２２において、画素領域内の背景画素を穴埋め処理する。
【００２８】
ステップｓ３は、ステップｓ３１〜ｓ３３（図５参照）からなり、マイクロコンピュータが、抽出された領域のラベリングを行い、ラベリングした要素の属性取得を行う（第３のステップに相当）。
【００２９】
具体的には、抽出した各撮影距離範囲の二値画像に対して、図形要素の周り八画素にある図形画素どうしを同一の集合に繰り入れる処理を施して八近傍連結成分に分割し、連結している画素の集合にラベリングを施す。
本実施例では、ステップｓ２で得た３５枚画像について、連結している画素の集合に対し、水色、橙色、黄色、緑色、肌色、紫色、および赤色を用い、同一の集合に同じ色を付けて塗り潰し、異なる集合に異なる色を付けて塗り潰すラベリングを行う。なお、図４に示す七枚の線画に対応する七枚の二値画像に対してラベリングを行ったものを図６に示す。
【００３０】
ステップｓ３１において、スライスした全画像について、画素領域のラベリングを行う。
ステップｓ３２において、ラベリングした各要素の画像単位系の属性値を検出する。
ステップｓ３３において、面積Area＿pix を実距離単位系に変換する。
【００３１】
ステップｓ４、ｓ５は、ステップｓ４１〜ｓ４２（図７参照）およびステップｓ５１〜ｓ５２（図７参照）からなり、マイクロコンピュータが、ラベリングを施した全ラベルについて、面積を考慮して、胴体候補領域および頭部候補領域の取得を行う（第４のステップに相当）。
具体的には、胴体に相当する範囲の面積を有する要素のみをステップｓ４で抽出し、頭部に相当する範囲の面積を有する要素のみをステップ５で抽出する。
【００３２】
ステップｓ４１において、ラベリングを施した全ラベルについて、
Body＿size＿min ＿mm＜面積〔mm2 〕＜Body＿size＿max ＿mm
が成立するラベルを抽出する。なお、各撮影距離範囲の各代表（七枚）について、上記条件式が成立する胴体候補（例えば、二種類）を図１１に示す。また、各撮影距離（５２０mm〜９８０mm）における胴体候補全要素の線画を図８および図９に示す。
ステップｓ４２において、適合するラベルを胴体候補として保存する。
【００３３】
ステップｓ５１において、ラベリングを施した全ラベルについて、
Head＿size＿min ＿mm＜面積〔mm2 〕＜Head＿size＿max ＿mm
が成立するラベルを抽出する。
なお、各撮影距離範囲の各代表（七枚）について、上記条件式が成立する頭部候補（例えば、二種類）を図１１に示す。また、各撮影距離（５２０mm〜８００mm）における頭部候補全要素の線画を図１０に示す。
ステップｓ５２において、適合するラベルを頭部候補として保存する。
【００３４】
ステップｓ６は、ステップｓ６１〜ｓ６６（図１２参照）からなり、マイクロコンピュータが、拘束条件による頭部- 胴体組み合わせ候補の取得を行う（第５のステップに相当）。
具体的には、頭部候補、胴体候補どうしの全ての組み合わせに対して、図１４に示す位置関係が成立するか否かを評価し、成立する場合には、頭部- 胴体の組み合わせ候補とする。つまり、胴体候補の重心に対して許容エリアを設定し、頭部候補の重心が許容エリア内に存在するものを頭部- 胴体の組み合わせ候補（図１３参照）とする。
【００３５】
ステップｓ６１において、頭部候補と胴体候補の全ての要素どうしについて、頭部候補と胴体候補の距離Dist＿2D[mm]を算出する。
DIST＿2D＝
SQRT｛(x＿Ｇ＿b − x＿Ｇ＿h)2 ＋(y＿Ｇ＿b − y＿Ｇ＿h)2 ｝× pix ＿to＿mm｛ (Ｚ＿b ＋Ｚ＿h)/2｝
但し、胴体候補の重心Ｇ＿b( x＿Ｇ＿ｂ， y＿Ｇ＿b) [pix]
頭部候補の重心Ｇ＿h( x＿Ｇ＿h ， y＿Ｇ＿h) [pix]
胴体候補のスライス位置Ｚ＿b [mm]
頭部候補のスライス位置Ｚ＿h [mm]
また、pix ＿to＿mm（Ｚ）は、pix →mm単位系への変換式である。
なお、本実施例では、画像平面上の二次元距離を使用したが、頭部候補の重心と胴体候補の重心間の三次元距離を用いても良い。
【００３６】
ステップｓ６２において、頭部候補と胴体候補の距離DIST＿2D[mm]が下記の条件を満足するか否か判別し、満足する場合にはステップｓ６３に進む。
dist＿2d＿min ＿mm＜dist＿2d＜dist＿2d＿max ＿mm
【００３７】
ステップｓ６３において、頭部候補重心より胴体候補重心が下であるか否かを下記の様に判別し、下である場合（ＹＥＳ）にはステップｓ６４に進む。
y＿Ｇ＿b ＞ y＿Ｇ＿h
【００３８】
ステップｓ６４において、胴体候補の重心Ｇ＿b →頭部候補の重心Ｇ＿h の方向を下記に示す様に計算し、計算後、ステップｓ６５に進む。
tan＿theta ＝｛（ x＿Ｇ＿b − x＿Ｇ＿ｈ）／（ y＿Ｇ＿b − y＿Ｇ＿ｈ）｝
【００３９】
ステップｓ６５において、下記に示す条件が成立するか否か判別し、成立する場合にはステップｓ６６に進む。
tan＿theta ＿min ＜ tan＿theta ＜ tan＿theta ＿max
ステップｓ６６において、頭部候補ラベルを保存する。
これにより、頭部候補が決定される（ステップｓ７）。
【００４０】
本実施例の頭部検出装置は、以下の利点を有する。
頭部検出装置は、ステレオカメラのステレオ画像から視差画像３を生成｛ステップｓ１（第１のステップに相当）｝し、３００mm〜１０００mmを２０mm刻みで、画素を視差画像３から切り出して３５枚の二値画像を抽出｛ステップｓ２（第２のステップに相当）｝し、各撮影距離の二値画像について、連結している画素の集合にラベリングを施し｛ステップｓ３（第３のステップに相当）｝、ラベリングを施した全ラベルについて、乗員の頭部および胴体に相当する面積に着目して、頭部候補要素および胴体候補要素を抽出し｛ステップｓ４、ｓ５（第４のステップに相当）｝、取得した頭部候補要素- 胴体候補要素の全ての組み合わせに対して、各候補間が所定の拘束関係となる、複数の頭部候補要素- 胴体候補要素を取得｛ステップｓ６（第５のステップに相当）｝している。
【００４１】
なお、所定の拘束関係として、胴体候補要素の重心に対して設定される許容エリア内に、頭部候補要素の重心が存在する候補要素の組み合わせ候補を取得する方法を採用している。
【００４２】
このため、車両の座席に着席した乗員の頭部を精度良く抽出することができ、エアバックの展開制御に有効に利用することができる。
なお、輪郭形状から乗員の頭部を認識する構成ではないので、車室内の窓枠、座席、またはボディラインを頭部と誤認識してしまう不具合が防止できる。
更に、車両用空調装置から吹き出される温風や冷風、窓からの風、乗員が携帯するカイロ等により影響されない。
【００４３】
つぎに、参考例に係る頭部検出装置を、図１５および図１６に基づいて説明する。
頭部検出装置は、座席に着席している乗員を、車両進行方向に対して右方向から撮影するカメラ（図示せず）と、撮影画像の画像処理を行う画像処理装置（図示せず）とを備える。
【００４４】
カメラは、運転席側の車両天井に配設され、カメラ画像６（乗車直前画像６１や乗員乗車画像６２）を画像処理装置に出力する。
画像処理装置のマイクロコンピュータは、画像処理プログラムに基づいて、カメラ画像６を画像処理（図１５のステップＳ１〜Ｓ５）して乗員の頭部を検出する。
【００４５】
ステップＳ１において、カメラのカメラ画像６（乗車直前画像６１や乗員乗車画像６２）を入力する（第１、第２ステップに相当）。
ステップＳ２において、カメラ画像６（乗車直前画像６１および乗員乗車画像６２）と、予め用意しておいた背景情報６０（背景画像）との差分から背景差分画像６３、６４を求める（第３ステップに相当）。
【００４６】
ステップＳ３において、有効な差分結果が得られた方の背景差分画像６４から複数の頭部候補領域、および複数の胴体候補領域を抽出する（第４ステップに相当）。
ステップＳ４において、頭部候補領域- 胴体候補領域の全ての組み合わせに対して、各候補間が所定の拘束関係となる頭部候補要素- 胴体候補要素を取得する（第５ステップに相当）。
【００４７】
各候補領域間が所定の拘束関係となる頭部候補要素- 胴体候補要素は、乗員モデルの位置関係にある組み合わせである。
ステップＳ５において、ステップＳ４で取得した組み合わせの、頭部候補領域を頭部位置であると決定する。
【００４８】
参考例の頭部検出装置は、以下の利点を有する。
頭部検出装置も、車両の座席に着席した乗員の頭部を精度良く抽出することができ、エアバックの展開制御に有効に利用することができる。
【００４９】
カメラが１台で済み、且つ画像処理も簡単であるので、安価である。
頭部検出装置と同様に、輪郭形状から乗員の頭部を認識する構成ではないので、車室内の窓枠、座席、またはボディラインを頭部と誤認識してしまう不具合が防止できる。
更に、車両用空調装置から吹き出される温風や冷風、窓からの風、乗員が携帯するカイロ等により影響されない。
【００５０】
本発明は、上記実施例以外に、以下の実施態様を含む。
ａ．カメラの配設場所は、車両の天井やピラーが好適である。
ｂ．助手席側および運転席側にエアバッグを装着している場合には、助手席の乗員と運転席の運転者とを二組のステレオカメラ（合計４台）で撮影するか、一組のステレオカメラ（合計２台）で兼用して撮影して各乗員の頭部を求め、独立してエアバッグの展開制御を行うのが好適である。
【図面の簡単な説明】
【図１】本発明の第１実施例に係る頭部検出装置の画像処理装置に搭載したマイクロコンピュータの画像処理プログラムの作動を示すフローチャートである。
【図２】左カメラ画像と右カメラ画像とから視差画像が生成される様子を示す説明図である。
【図３】図１のステップｓ２に係る詳細なフローチャートである。
【図４】図１のステップｓ２で得られた二値画像（線画イメージに変換）の説明図である。
【図５】図１のステップｓ３に係る詳細なフローチャートである。
【図６】図１のステップｓ３によるラベリングを施した画像の説明図である。
【図７】図１のステップｓ４、ｓ５に係る詳細なフローチャートである。
【図８】図１のステップｓ４で得られた各撮影距離における胴体候補要素（線画イメージに変換）の説明図である。
【図９】図１のステップｓ４で得られた各撮影距離における胴体候補要素（線画イメージに変換）の説明図である。
【図１０】図１のステップｓ５で得られた各撮影距離における頭部候補全要素（線画イメージに変換）の説明図である。
【図１１】図１のステップｓ４、ｓ５における、面積による頭部・胴体候補の抽出を示す説明図である。
【図１２】図１のステップｓ６に係る詳細なフローチャートである。
【図１３】図１のステップｓ６における、頭部- 胴体組み合わせ候補を線画で説明した説明図である。
【図１４】図１のステップｓ６における、頭部- 胴体組み合わせ候補の抽出を説明した説明図である。
【図１５】参考例に係る頭部検出装置の画像処理装置に搭載したマイクロコンピュータの画像処理プログラムの作動を示すフローチャートである。
【図１６】その画像処理装置に搭載したマイクロコンピュータが画像処理を行う工程を説明した説明図である。
【符号の説明】
３ 視差画像
ｓ１ ステップ（第１のステップ）
ｓ２ ステップ（第２のステップ）
ｓ３ ステップ（第３のステップ）
ｓ４、ｓ５ ステップ（第４のステップ）
ｓ６ ステップ（第５のステップ）
Ｓ１ ステップ（第１、第２ステップ）
Ｓ２ ステップ（第３ステップ）
Ｓ３ ステップ（第４ステップ）
Ｓ４ ステップ（第５ステップ）
Claims (2)
- 画像処理プログラムを組み込んだマイクロコンピュータにより、人間の頭部を抽出する頭部抽出方法であって、
人間を別方向から撮影するステレオカメラのステレオ画像に対してステレオマッチングを実施して視差画像を生成する第１のステップと、
前記視差画像に対して、特定の撮影距離範囲にある画素を切り出して二値画像を抽出する第２のステップと、
抽出した各撮影距離範囲の二値画像に対して、連結している画素の集合にラベリングを施す第３のステップと、
ラベリングを施した全ラベルについて、前記人間の頭部に相当する面積の要素および前記人間の胴体に相当する面積の要素のみを抽出して、頭部候補要素および胴体候補要素を抽出する第４のステップと、
頭部候補要素−胴体候補要素の全ての組み合わせで、胴体候補要素の重心に対して許容エリアを設定し、頭部候補要素の重心が許容エリア内に存在するか否かを評価し、
頭部候補要素の重心が許容エリア内に存在する候補要素の組み合わせを、頭部−胴体組み合わせ候補として取得する第５のステップとからなる頭部抽出方法。 - 画像処理プログラムを組み込んだマイクロコンピュータにより、車両の座席に着席している乗員の頭部を抽出する頭部抽出方法であって、
前記乗員を左右方向から撮影するステレオカメラのステレオ画像に対してステレオマッチングを実施して視差画像を生成する第１のステップと、
前記視差画像に対して、特定の撮影距離範囲にある画素を切り出して二値画像を抽出する第２のステップと、
抽出した各撮影距離範囲の二値画像に対して、連結している画素の集合にラベリングを施す第３のステップと、
ラベリングを施した全ラベルについて、前記乗員の頭部に相当する面積の要素および前記乗員の胴体に相当する面積の要素のみを抽出して、頭部候補要素および胴体候補要素を抽出する第４のステップと、
頭部候補要素−胴体候補要素の全ての組み合わせで、胴体候補要素の重心に対して許容エリアを設定し、頭部候補要素の重心が許容エリア内に存在するか否かを評価し、
頭部候補要素の重心が許容エリア内に存在する候補要素の組み合わせを、頭部−胴体組み合わせ候補として取得する第５のステップとからなる頭部抽出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003038816A JP4033345B2 (ja) | 2003-02-17 | 2003-02-17 | 頭部抽出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003038816A JP4033345B2 (ja) | 2003-02-17 | 2003-02-17 | 頭部抽出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004246827A JP2004246827A (ja) | 2004-09-02 |
| JP4033345B2 true JP4033345B2 (ja) | 2008-01-16 |
Family
ID=33023231
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003038816A Expired - Fee Related JP4033345B2 (ja) | 2003-02-17 | 2003-02-17 | 頭部抽出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4033345B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4333457B2 (ja) * | 2004-04-14 | 2009-09-16 | トヨタ自動車株式会社 | 画像処理装置および画像処理方法 |
| JP2006195571A (ja) * | 2005-01-11 | 2006-07-27 | Sumitomo Electric Ind Ltd | 画像認識システム、及び撮像装置 |
| JP2008129948A (ja) | 2006-11-22 | 2008-06-05 | Takata Corp | 乗員検出装置、作動装置制御システム、シートベルトシステム、車両 |
| JP7079188B2 (ja) * | 2018-11-07 | 2022-06-01 | 株式会社東海理化電機製作所 | 乗員判別装置、コンピュータプログラム、および記憶媒体 |
-
2003
- 2003-02-17 JP JP2003038816A patent/JP4033345B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004246827A (ja) | 2004-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4899424B2 (ja) | 物体検出装置 | |
| CN106485233B (zh) | 可行驶区域检测方法、装置和电子设备 | |
| CN104574376B (zh) | 拥挤交通中基于双目视觉和激光雷达联合校验的防撞方法 | |
| US7418112B2 (en) | Pedestrian detection apparatus | |
| EP1671216B1 (en) | Moving object detection using low illumination depth capable computer vision | |
| CN105313782B (zh) | 车辆行驶辅助系统及其方法 | |
| CN107209856A (zh) | 环境场景状况检测 | |
| CN107015638A (zh) | 用于向头戴式显示器用户报警的方法和装置 | |
| KR101611261B1 (ko) | 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량 | |
| US20160314357A1 (en) | Method and Device for Monitoring an External Dimension of a Vehicle | |
| BRPI0703498B1 (pt) | Método e sistema para detectar atenção de operador de um operador de um veículo ou máquina | |
| WO2020036295A1 (ko) | 좌표계 변환 정보 획득 장치 및 방법 | |
| US20180208201A1 (en) | System and method for a full lane change aid system with augmented reality technology | |
| CN108545019A (zh) | 一种基于图像识别技术的安全辅助驾驶系统和方法 | |
| KR20160147559A (ko) | 차량 운전 보조 장치 및 차량 | |
| JP6814334B2 (ja) | ブラインドスポットモニタリングのためのｃｎｎの学習方法、テスティング方法、学習装置、及びテスティング装置 | |
| JP2010191793A (ja) | 警告表示装置及び警告表示方法 | |
| JP2009301495A (ja) | 画像処理装置及び画像処理方法 | |
| Kemsaram et al. | A stereo perception framework for autonomous vehicles | |
| JP5621558B2 (ja) | 車両用表示装置 | |
| JP4033345B2 (ja) | 頭部抽出方法 | |
| KR20190125588A (ko) | 열화상 카메라와 줌 카메라가 장착된 해상 조난자 수색용 드론 및 이를 이용한 해상 조난자 수색 시스템 | |
| JP2022176876A (ja) | 作業現場管理システム、作業現場管理方法、及び作業現場管理プログラム | |
| KR102264266B1 (ko) | 단속 대상 전반을 단속처리하기 위한 인공지능 영상판독 기반 장애인 전용 주차구역 단속 시스템 | |
| WO2019111529A1 (ja) | 画像処理装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050621 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070710 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070717 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070918 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071018 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071018 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131102 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |