JP4420100B2 - 身体部位検出装置 - Google Patents

Description

本発明は、人間の身体部位を検出する身体部位検出装置に関する。

近年、ビデオ映像を利用して人間の身体部位を非接触で検出する技術が提案されている。具体的には、画像中における人間が撮影されている領域について、身体を模擬的に表現してなる身体モデルを画像中の人間の姿勢に合わせて重ね合わせ、その身体モデルにおける特徴点の位置（座標）を特定することにより、人間の身体部位を検出する技術である（例えば、特許文献１を参照）。

しかし、特許文献１に記載の技術では、身体モデルを映像の１コマごとに一致させる必要があるために、計算量が非常に多くなるという問題があった。そこで、身体モデルの当てはめにより初期状態（初期位置）のみを求め、その後は各身体部位の移動変位分を求め、初期位置に対して逐次的に身体部位の変位分を累積することで計算量を節約する技術が知られている（例えば、非特許文献１を参照）。
特開２００３−１０９０１５号公報 山本正信, 「ユビキタスモーションキャプチャとその応用」, 学術講演会−人をなぞる視覚情報研究−（招待講演）, 大阪電気通信大学 図書館小ホール, 2004.

非特許文献１に記載の技術では、初期位置に対して逐次的に身体部位の変位分を累積することにより、変位分の検出誤差も累積されるため、検出した身体部位の位置が時間とともに実際の身体位置から大きくずれてしまう。このため、初期位置を随時更新することが望ましい。しかしながら、身体モデルの当てはめによる初期位置の検出は、拘束条件がないと非常に難しいという問題があった。

本発明は、こうした問題に鑑みなされたものであり、身体モデルの当てはめによる初期位置の検出を容易にすることにより、身体部位の位置の検出誤差を低減することができる身体部位検出装置を提供することを目的とする。

上記目的を達成するためになされた請求項１に記載の身体部位検出装置では、画像取得手段が、操作対象、及び操作対象を操作可能な位置に存在する操作者を含む画像である操作者画像を繰り返し取得する。そして報知手段が、予め設定された報知開始条件が成立すると、操作者に対して操作対象を操作することを指示する旨の報知を行う。また第１初期位置検出手段が、報知手段が報知を行った後に、画像取得手段により取得された操作者画像に含まれる操作者の身体部位の位置である操作者身体部位位置を検出し、その後に第１累積身体部位位置検出手段が、第１初期位置検出手段により操作者身体部位位置が検出されると、検出された操作者身体部位位置を初期位置として、それ以降に画像取得手段により取得された操作者画像の操作者身体部位位置を、検出した操作者身体部位位置からの変位を求めて初期位置に累積することで検出する。

なお上記の報知開始条件としては、例えば身体部位検出装置が起動した直後であることや、報知手段に報知を行わせるための操作（例えば、報知開始用のボタンの押下）を操作者が行うこととするとよい。

このように構成された身体部位検出装置によれば、報知手段が報知することにより操作者が操作対象を操作してくれるという前提のもとで、報知手段が報知を行った後に画像取得手段により取得された操作者画像を、操作者が操作対象を操作している状態の画像とすることができる。このため第１初期位置検出手段は、操作者が操作対象を操作している状態を拘束条件として、画像取得手段により取得された操作者画像の操作者身体部位位置を検出することができる。従って、拘束条件がない場合と比較して、操作者身体部位位置を容易に検出することができるという効果を奏する。

また、請求項２に記載の身体部位検出装置では、画像取得手段が、操作対象、及び操作対象を操作可能な位置に存在する操作者を含む画像である操作者画像を繰り返し取得する。そして姿勢検出手段が、操作者が操作対象を操作している姿勢である操作姿勢であることを検出する。また第２初期位置検出手段が、姿勢検出手段が操作姿勢であると検出すると、画像取得手段により取得された操作者画像に含まれる操作者の身体部位の位置である操作者身体部位位置を検出し、その後に第２累積身体部位位置検出手段が、第２初期位置検出手段により操作者身体部位位置が検出されると、検出された操作者身体部位位置を初期位置として、それ以降に画像取得手段により取得された操作者画像の操作者身体部位位置を、前回検出した操作者身体部位位置からの変位を求めて初期位置に累積することで検出する。

このように構成された身体部位検出装置によれば、操作者が操作対象を操作していると姿勢検出手段が検出したときに画像取得手段により取得された操作者画像を、操作者が操作対象を操作している状態の画像とすることができる。このため第２初期位置検出手段は、操作者が操作対象を操作している状態を拘束条件として、画像取得手段により取得された操作者画像の操作者身体部位位置を検出することができる。従って、拘束条件がない場合と比較して、操作者身体部位位置を容易に検出することができるという効果を奏する。

ところで、請求項２に記載の身体部位検出装置では、身体部位検出装置が起動した直後に一度のみ第２初期位置検出手段が操作者身体部位位置を検出するようにしてもよいし、姿勢検出手段が操作姿勢であることを検出するごとに第２初期位置検出手段が操作者身体部位位置を検出するようにしてもよい。

ここで、姿勢検出手段が操作姿勢であることを検出するごとに第２初期位置検出手段が操作者身体部位位置を検出する場合には、操作者が操作姿勢であり続けると、第２初期位置検出手段が操作者身体部位位置を頻繁に検出することが考えられる。このように頻繁に第２初期位置検出手段が操作者身体部位位置を検出すると、身体部位検出装置の処理負荷が増大してしまう。

そこで請求項２に記載の身体部位検出装置では、請求項３に記載のように、操作者が操作姿勢であることを姿勢検出手段が検出した場合において、操作姿勢判断手段が、第２累積身体部位位置検出手段により検出された操作者身体部位位置が操作姿勢を表すものであるか否かを判断する。そして、操作姿勢判断手段が「第２累積身体部位位置検出手段により検出された操作者身体部位位置は姿勢検出手段により検出された操作姿勢を表すものでない」と判断した場合に限り、第２初期位置検出手段が操作者身体部位位置を検出するようにしてもよい。

このように構成された身体部位検出装置では、操作者が操作姿勢であることを姿勢検出手段が検出した場合において、更に、「第２累積身体部位位置検出手段により検出された操作者身体部位位置が姿勢検出手段により検出された操作姿勢を表すものでない」と操作姿勢判断手段が判断した場合に限り、第２累積身体部位位置検出手段が、操作者身体部位位置を検出する。

このため、操作者が操作姿勢であり続けても、操作者身体部位位置の累積誤差が大きくなり、「第２累積身体部位位置検出手段により検出された操作者身体部位位置が姿勢検出手段により検出された操作姿勢を表すものでない」と操作姿勢判断手段が判断するまでは、第２初期位置検出手段が操作者身体部位位置の検出を行わないので、身体部位検出装置の処理負荷の増大を抑制することができる。

また、請求項２または請求項３に記載の身体部位検出装置では、請求項４に記載のように、操作対象が操作されていることを検出する操作検出手段を備え、姿勢検出手段は、操作対象が操作されていると操作検出手段が検出した場合に、操作者が操作姿勢であると検出するようにしてもよい。

このように構成された身体部位検出装置によれば、操作対象が操作されているか否かに基づいて、操作者が操作姿勢であるか否かを判断するので、画像処理等を用いて姿勢を検出する場合よりも、姿勢検出手段の構成を簡略化することができる。

また請求項４に記載の身体部位検出装置では、請求項５に記載のように、操作検出手段は、操作対象に設置されて、操作対象への接触を検知する接触センサであるようにしてもよい。

また、車両の運転者は運転中にステアリングを頻繁に操作する。そこで、請求項５に記載の身体部位検出装置において、当該身体部位検出装置が車両に搭載されている場合には、請求項６に記載のように、接触センサは、車両のステアリングに設置されるようにするとよい。

このように構成された身体部位検出装置によれば、姿勢検出手段が操作姿勢を検出して、第２初期位置検出手段が操作者身体部位位置を検出する頻度を増加させることができる。

また、請求項４に記載の身体部位検出装置において、当該身体部位検出装置が車両に搭載されている場合には、請求項７に記載のように、操作検出手段は、車両に搭載され、車両の乗員による操作が行われることにより、その操作が行われた旨を示す信号を出力する車載機器であるようにしてもよい。

このように構成された身体部位検出装置によれば、車両の乗員が車載機器を操作する姿勢を上記の操作姿勢として、姿勢検出手段に検出させることが可能となる。
また、請求項４〜請求項７の何れかに記載の身体部位検出装置が車両に搭載されている場合には、請求項８に記載のように、当該身体部位検出装置が搭載された車両の状態を検出する車両状態検出手段を備え、姿勢検出手段は、操作対象が操作されていると操作検出手段が検出した場合に、更に、車両状態検出手段により検出された車両状態に基づいて、操作者が操作姿勢であるか否かを検出するようにしてもよい。

このように構成された身体部位検出装置によれば、姿勢検出手段は、車両状態に応じて異なる運転者の操作姿勢（例えば、車両の直進時と右左折時とでは運転者がステアリングを操作する姿勢が異なる）を区別して検出することが可能となる。

また請求項８に記載の身体部位検出装置では、請求項９に記載のように、車両状態検出手段は、車両の操舵角を検出する操舵角センサであるようにしてもよい。
このように構成された身体部位検出装置によれば、姿勢検出手段は、車両の直進時と右左折時とで異なる運転者の姿勢を区別して検出することが可能となる。

そして請求項９に記載の身体部位検出装置において、姿勢検出手段により検出される操作姿勢が、運転者がステアリングを操作して車両を直進させているときの姿勢である場合には、請求項１０に記載のように、姿勢検出手段は、車両状態として、操舵角センサにより検出される操舵角が０度を含むようにして予め設定された所定操舵角範囲に含まれる場合に、操作者が操作姿勢であると検出するようにするとよい。

このように構成された身体部位検出装置によれば、車両が直進しているか否かの判定を簡便に行うことができる。

（第１実施形態）
以下に本発明の第１実施形態について図面とともに説明する。
図１は、本実施形態の身体部位検出装置１の構成、及び身体部位検出装置１が接続された車内ＬＡＮ２の概略構成を示すブロック図である。

図１に示すように、身体部位検出装置１は、車両に搭載され、車内ＬＡＮ２を介してエンジンＥＣＵ３，変速機ＥＣＵ４，ブレーキＥＣＵ５，ステアリングＥＣＵ６，ナビゲーションＥＣＵ７，エアコンＥＣＵ８をはじめとする各種ＥＣＵや車載機器と接続されている。

このうちエンジンＥＣＵ３は、少なくとも、運転者のアクセルペダルの踏込量に応じたアクセル開度を検出するアクセル開度センサ１１からの検出信号に基づいて、エンジンの回転を制御するように構成されている。

また変速機ＥＣＵ４は、少なくとも、運転者が操作するシフトレバー（不図示）の操作位置（Ｐ，Ｒ，ＮＤ，１ｓｔ，２ｎｄ等）を検出するシフトスイッチ１２からの検出信号や、アクセル開度センサ１１からの検出信号や、車速を検出する車速センサ１３からの検出信号に基づいて、自動変速機（不図示）の変速比を車両の運転状態に応じて変化させる制御等を実行するように構成されている。

またブレーキＥＣＵ５は、少なくとも、運転者のブレーキペダル操作に応じてブレーキ油を圧送するマスタシリンダの油圧からブレーキ操作量を検出するマスタシリンダ圧センサ（不図示）や、車速センサ１３からの検出信号に基づいて、ＡＢＳ制御やトラクション制御等を実行するように構成されている。

またステアリングＥＣＵ６は、少なくとも、ドライバのステアリング操作時における前輪の操舵角を検出する操舵角センサ１４からの検出信号に基づいて、操舵輪の舵角変更時のアシスト力を発生させるパワーステアリング制御を実行するように構成されている。

またナビゲーションＥＣＵ７は、ＧＰＳ（Global Positioning System）アンテナ（不図示）を介して受信したＧＰＳ信号等に基づいて車両の現在位置を検出し、現在地から目的地までの経路案内等を実行する制御や、ナビゲーション装置（不図示）の表示画面の周辺に設置されて運転者により操作されるナビスイッチ１５からの信号に基づいて、ナビゲーション装置による画像表示を切り換えたりする制御等を実行するように構成されている。なおナビスイッチ１５は、車両の現在地を表示させる場合に操作される現在地スイッチ（不図示）や、地図表示を拡大または縮小させる場合に操作される広域／詳細スイッチ（不図示）などから構成される。

またエアコンＥＣＵ８は、カーエアコン（不図示）の動作状態（動作／非動作の切り換えや、設定温度）を指示するために運転者により操作されるエアコンスイッチ１６からの信号や、車両の車室内及び外部の温度を検出する車内外温度センサ（不図示）からの検出信号に基づいて、カーエアコンを動作させて車室内の空調を制御するように構成されている。なおエアコンスイッチ１６は、エアコンの動作／非動作を切り換える場合に操作されるオン／オフスイッチ（不図示）や、設定温度を調整する場合に操作される温度設定スイッチ（不図示）などから構成される。

そして、これらＥＣＵ３〜８等にて検出される各種車両情報（アクセル開度、シフト位置、車速、操舵角など）は、車内ＬＡＮ２を介して相互に任意に送受信できるようにされている。

更に、ステアリングへの人による接触を検出するタッチセンサ１７が、車内ＬＡＮ２を介して、身体部位検出装置１に接続されている。このタッチセンサ１７は、図２に示すように、ステアリング１８における円形の把持部分ＳＴに複数（図２では、８個）内蔵されており、ステアリング１８の把持部分ＳＴの円周に沿って略等間隔に配置される。

また身体部位検出装置１は、車両に搭載され、図１に示すように、運転席及びその周辺を連続して撮影するカメラ２１と、カメラ２１により撮影された画像のデータを一時的に記憶する画像キャプチャーボード２２と、各種のガイド音声等を出力するための音声出力部２３と、各種データを記憶するデータ記憶装置２４と、車内ＬＡＮ２を介して他の装置と各種車両情報等をやりとりする車内ＬＡＮ通信部２５と、上述した画像キャプチャーボード２２、データ記憶装置２４及び車内ＬＡＮ通信部２５からの入力に応じて各種処理を実行し、音声出力部２３及び車内ＬＡＮ通信部２５を制御する制御部２６とを備えている。

なおデータ記憶装置２４は、例えばハードディスクなどの磁気記憶装置であり、運転者の身体部位を検出するための身体部位測定用情報を記憶する領域を備えている。この身体部位測定用情報は、図５（ａ）に示すように、運転者がステアリング操作をしているときの最も代表的な操作姿勢を顔矩形Ｋ１，右上腕矩形Ｋ２，右前腕矩形Ｋ３，左上腕矩形Ｋ４，左前腕矩形Ｋ５，及び胴体矩形Ｋ６の６矩形で表現した身体テンプレートＴＰ（以下、測定用身体テンプレートＴＰという）と、図５（ｂ）に示すように、測定用身体テンプレートＴＰの矩形Ｋ１〜Ｋ６の変形が許容される変形許容範囲（例えば、各矩形Ｋ１〜Ｋ６の領域の２倍の範囲）を示す情報とから構成される。

また制御部２６は、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ及びこれらの構成を接続するバスラインなどからなる周知のマイクロコンピュータを中心に構成されており、ＲＯＭ及びＲＡＭに記憶されたプログラムに基づいて各種処理を実行する。

このように構成された身体部位検出装置１において、制御部２６は、運転者の身体部位を検出する身体部位検出処理を実行する。
ここで、身体部位検出装置１の制御部２６が実行する身体部位検出処理の手順を、図３を用いて説明する。図３は身体部位検出処理を示すフローチャートである。この身体部位検出処理は、制御部２６が起動（電源オン）している間に繰り返し実行される処理である。

この身体部位検出処理が実行されると、制御部２６は、まずＳ１０にて、カメラ２１による撮影を行い、画像データ（Ｔ）を取得する。なお、画像データ（Ｔ）における「Ｔ」（以下、画像識別番号Ｔともいう）は、カメラ２１により撮影された複数の画像のデータを識別するための番号であり、カメラ２１により撮影される毎に「１」加算された値が付される。

その後Ｓ２０にて、後述のＳ６０またはＳ７０の処理で測定された身体テンプレート（Ｔ−１）がデータ記憶装置２４に記憶されているか否かを判断する。なお、身体テンプレート（Ｔ−１）における「Ｔ−１」は、Ｓ６０またはＳ７０の処理で測定された身体テンプレート（以下、測定身体テンプレートともいう）を識別するための番号であり、測定身体テンプレートの測定対象となる画像データと同様の識別番号が付される。例えば、画像データ（Ｔ）から身体テンプレートを測定した場合には、その測定身体テンプレートには画像識別番号Ｔが付され、測定身体テンプレート（Ｔ）と表記される。

ここで、測定身体テンプレート（Ｔ−１）がデータ記憶装置２４に記憶されていない場合には（Ｓ２０：ＮＯ）、Ｓ３０にて、ステアリング１８を両手で握るように指示する音声を音声出力部２３に出力させる。その後Ｓ４０にて、測定用身体テンプレートＴＰをデータ記憶装置２４から取得し、更にＳ５０にて、Ｓ１０にて取得された画像データ（Ｔ）を廃棄して、再度カメラ２１による撮影を行い、画像データ（Ｔ）を取得する。なお、Ｓ５０で取得された画像データ（Ｔ）の画像識別番号Ｔは、Ｓ１０で取得された画像データ（Ｔ）と同じ画像識別番号Ｔとする。

そしてＳ６０にて、図６（ａ）に示すように、Ｓ５０で取得した画像データ（Ｔ）の運転者上に、Ｓ４０で取得した測定用身体テンプレートＴＰを当てはめることにより測定身体テンプレート（Ｔ）を測定する身体テンプレート測定処理（後述）を行い、Ｓ８０に移行する。なお以下、Ｓ６０の処理で測定された測定身体テンプレート（Ｔ）を初期位置身体テンプレートという。

またＳ２０にて、測定身体テンプレート（Ｔ−１）がデータ記憶装置２４に記憶されている場合には（Ｓ２０：ＹＥＳ）、Ｓ７０にて、例えば、上記の非特許文献１に記載の手法を用いて、Ｓ１０で取得した画像データ（Ｔ）の運転者について、Ｓ６０で測定した初期位置身体テンプレートを初期位置として、測定身体テンプレート（Ｔ−１）からの移動変位分を求めて初期位置から累積することにより測定身体テンプレート（Ｔ）を測定する身体テンプレート追跡処理を行い、Ｓ８０に移行する。

そしてＳ８０に移行すると、Ｓ６０またはＳ７０で測定した測定身体テンプレート（Ｔ）から、図６（ｂ）に示すように、首の特徴点Ｐ１，右肩の特徴点Ｐ２，右肘の特徴点Ｐ３，右手首の特徴点Ｐ４，左肩の特徴点Ｐ５，左肘の特徴点Ｐ６，左手首の特徴点Ｐ７を求める。具体的には、顔矩形Ｋ１の下辺の中点を特徴点Ｐ１、右上腕矩形Ｋ２の上辺の中点を特徴点Ｐ２、右上腕矩形Ｋ２の下辺の中点を特徴点Ｐ３、右前腕矩形Ｋ３の下辺の中点を特徴点Ｐ４、左上腕矩形Ｋ４の上辺の中点を特徴点Ｐ５、左上腕矩形Ｋ４の下辺の中点を特徴点Ｐ６、左前腕矩形Ｋ５の下辺の中点を特徴点Ｐ７とする。

そしてＳ８０の処理が終了すると、身体部位検出処理を一旦終了する。
次に、Ｓ６０にて行われる身体テンプレート測定処理を、図４を用いて説明する。図４は身体テンプレート測定処理を示すフローチャートである。

この身体テンプレート測定処理が実行されると、制御部２６は、まずＳ２１０にて、Ｓ４０で取得した測定用身体テンプレートＴＰを画像データ（Ｔ）上に配置する。その後Ｓ２２０にて、顔矩形Ｋ１の変形許容範囲において顔位置を検出する。なお本実施形態では、顔位置の検出のために、例えば、「P. Viola and M. Jones, "Robust real-time object detection", In ICCV Workshop on Statistical and Computation Theories of Vision, Vancouver, Canada, 2001.」に記載の手法を用いている。

更にＳ２３０にて、右上腕矩形Ｋ２の変形許容範囲において画像データ（Ｔ）のエッジを検出し、エッジに右上腕矩形Ｋ２を当てはめる。次にＳ２４０にて、右前腕矩形Ｋ３の変形許容範囲において画像データ（Ｔ）のエッジを検出し、エッジに右前腕矩形Ｋ３を当てはめる。そしてＳ２５０にて、左上腕矩形Ｋ４の変形許容範囲において画像データ（Ｔ）のエッジを検出し、エッジに左上腕矩形Ｋ４を当てはめる。

その後Ｓ２６０にて、左前腕矩形Ｋ５の変形許容範囲において画像データ（Ｔ）のエッジを検出し、エッジに左前腕矩形Ｋ５を当てはめる。更にＳ２７０にて、胴体矩形Ｋ６を、胴体矩形Ｋ６の上辺が顔矩形Ｋ１の下辺と一致するように平行移動する。

そしてＳ２８０にて、Ｓ２２０〜Ｓ２７０の処理で各矩形Ｋ１〜Ｋ６を当てはめた結果を測定身体テンプレート（Ｔ）と確定し、この測定身体テンプレート（Ｔ）をデータ記憶装置２４に記憶する。そして、身体テンプレート測定処理を終了する。

このように構成された身体部位検出装置１では、ステアリング１８及びステアリング１８を操作可能な位置に存在する運転者を含む画像データ（Ｔ）を繰り返し取得する（Ｓ１０）。そして、身体テンプレート（Ｔ−１）がデータ記憶装置２４に記憶されていない場合に（Ｓ２０：ＮＯ）、ステアリング１８を両手で握るように指示する音声を音声出力部２３に出力させる（Ｓ３０）。そして、測定用身体テンプレートＴＰをデータ記憶装置２４から取得するとともに（Ｓ４０）、再度画像データ（Ｔ）を取得する（Ｓ５０）。そして、Ｓ５０で取得した画像データ（Ｔ）の運転者上に、取得した測定用身体テンプレートＴＰを当てはめることにより初期位置身体テンプレートを測定する（Ｓ６０）。その後に、測定身体テンプレート（Ｔ−１）がデータ記憶装置２４に記憶されている場合には（Ｓ２０：ＹＥＳ）、Ｓ６０で測定した初期位置身体テンプレートを初期位置として、取得した画像データ（Ｔ）の運転者について、測定身体テンプレート（Ｔ−１）からの移動変位分を求めて初期位置に累積することにより測定身体テンプレート（Ｔ）を測定する（Ｓ７０）。

このように構成された身体部位検出装置１によれば、Ｓ３０の処理で音声指示することにより、運転者がステアリング１８を両手で握るという前提のもとで、音声指示後に取得された画像データ（Ｔ）は、運転者がステアリングを両手で握っている状態の画像データとすることができる。このためＳ６０の処理で、運転者がステアリング１８を両手で握っている状態を拘束条件として、初期位置身体テンプレートを測定することができる。従って、拘束条件がない場合と比較して、初期位置身体テンプレートを容易に検出することができるという効果を奏する。

以上説明した実施形態において、Ｓ１０，Ｓ５０の処理は本発明における画像取得手段、Ｓ３０の処理は本発明における報知手段、Ｓ６０の処理は本発明における第１初期位置検出手段、Ｓ７０の処理は本発明における第１累積身体部位位置検出手段、ステアリング１８は本発明における操作対象、Ｓ２０の判断条件は本発明における報知開始条件、測定身体テンプレート（Ｔ）は本発明における操作者身体部位位置である。

（第２実施形態）
以下に本発明の第２実施形態について図面とともに説明する。尚、第２実施形態では、第１実施形態と異なる部分のみを説明する。

第２実施形態における身体部位検出装置１は、身体部位検出装置１の構成と、身体部位検出処理が変更された点以外は第１実施形態と同じである。
まず、第２実施形態の身体部位検出装置１の構成が第１実施形態と異なるのは、データ記憶装置２４に記憶されている身体部位測定用情報が、運転者がステアリング操作をしているときのものだけでなく、運転者がナビスイッチ１５を操作しているときのもの（図１０（ａ）を参照）と、運転者がエアコンスイッチ１６を操作しているときのもの（図１０（ｂ）を参照）と、運転者がシフトレバーを操作しているときのもの（図１０（ｃ）を参照）を含んでいる点である。

次に、第２実施形態の身体部位検出処理手順を図７を用いて説明する。図７は第２実施形態の身体部位検出処理を示すフローチャートである。
図７に示すように、第２実施形態の身体部位検出処理が第１実施形態と異なるのは、Ｓ３０〜Ｓ５０の処理が省略されて、Ｓ２２，Ｓ２４及びＳ４２の処理が追加された点である。

即ち、Ｓ２０にて、測定身体テンプレート（Ｔ−１）がデータ記憶装置２４に記憶されていない場合には（Ｓ２０：ＮＯ）、Ｓ２２にて、ステアリング１８、ナビスイッチ１５、エアコンスイッチ１６及びシフトレバーのうちの何れを操作しているかを判断する操作判断処理（後述）を行う。その後Ｓ２４にて、Ｓ２２の処理でセットまたはクリアされる初期位置フラグＦがセットされているか否かを判断する。

ここで、初期位置フラグＦがセットされていない場合には（Ｓ２４：ＮＯ）、身体部位検出処理を一旦終了する。一方、初期位置フラグＦがセットされている場合には（Ｓ２４：ＹＥＳ）、Ｓ４２にて、Ｓ２２の操作判断処理で操作されたと判断されたもの（ステアリング１８、ナビスイッチ１５、エアコンスイッチ１６及びシフトレバーの何れか）に対応する身体部位測定用情報の測定用身体テンプレートＴＰをデータ記憶装置２４から取得し、Ｓ６０に移行する。

次に、Ｓ２２にて行われる操作判断処理を、図８を用いて説明する。図８は操作判断処理を示すフローチャートである。
この操作判断処理が実行されると、制御部２６は、まずＳ４１０にて、複数（本実施形態では８個）のタッチセンサ１７のうち２個のタッチセンサ１７がオンになっているか否かを判断する。即ち、運転者がステアリング１８を両手で把持しているか否かを判断する。

ここで、２個のタッチセンサ１７がオンになっている場合には（Ｓ４１０：ＹＥＳ）、Ｓ４５０に移行する。一方、２個のタッチセンサ１７がオンになっていない場合には（Ｓ４１０：ＮＯ）、Ｓ４２０にて、ナビスイッチ１５（例えば、現在地スイッチや広域／詳細スイッチ）がオフからオンに変化したか否かを判断する。即ち、ナビスイッチ１５が操作されているか否かを判断する。

ここで、ナビスイッチ１５がオフからオンに変化した場合には（Ｓ４２０：ＹＥＳ）、Ｓ４５０に移行する。一方、ナビスイッチ１５がオフからオンに変化していない場合には（Ｓ４２０：ＮＯ）、Ｓ４３０にて、エアコンスイッチ１６（例えば、オン／オフスイッチや温度設定スイッチ）がオフからオンに変化したか否かを判断する。即ち、エアコンスイッチ１６が操作されているか否かを判断する。

ここで、エアコンスイッチ１６がオフからオンに変化した場合には（Ｓ４３０：ＹＥＳ）、Ｓ４５０に移行する。一方、エアコンスイッチ１６がオフからオンに変化していない場合には（Ｓ４３０：ＮＯ）、Ｓ４４０にて、シフトスイッチ１２により検出される操作位置（以下、検出操作位置ともいう）が変化（例えば、Ｎ→ＤやＤ→Ｒなど）したか否かを判断する。即ち、シフトレバーが操作されているか否かを判断する。

ここで、検出操作位置が変化した場合には（Ｓ４４０：ＹＥＳ）、Ｓ４５０に移行する。一方、検出操作位置が変化していない場合には（Ｓ４４０：ＮＯ）、Ｓ４７０にて、初期位置フラグＦをクリアして、操作判断処理を終了する。

そしてＳ４５０に移行すると、操舵角が予め設定され所定操舵角判定範囲内（本実施形態では例えば−１９．６°〜＋１８．１°の範囲に相当する値）であるか否かを判断する。

ここで、操舵角が所定操舵角判定範囲外である場合には（Ｓ４５０：ＮＯ）、Ｓ４７０にて、初期位置フラグＦをクリアして、操作判断処理を終了する。一方、操舵角が所定操舵角判定範囲内である場合には（Ｓ４５０：ＹＥＳ）、Ｓ４６０にて、初期位置フラグＦをセットして、操作判断処理を終了する。

尚、本実施形態では、運転者が正面を向いて直進路を走行中の操舵角を計測することにより、上記の所定操舵角判定範囲を決定した。この計測結果を図９に示す。図９は、正面を向いて直進路を走行中の操舵角の分布を示すヒストグラムである。図９に示すように、正面を向いて直進路を走行中の操舵角は、−１９．６°から＋１８．１°の範囲に収まっている。尚、左にハンドルを回す方向をマイナスとしている。これにより、所定操舵角判定範囲を−１９．６°〜＋１８．１°の範囲と決定した。

このように構成された身体部位検出装置１では、ステアリング１８及びステアリング１８を操作可能な位置に存在する運転者を含む画像データ（Ｔ）を繰り返し取得する（Ｓ１０）。そして、身体テンプレート（Ｔ−１）がデータ記憶装置２４に記憶されていない場合に（Ｓ２０：ＮＯ）、ステアリング１８、ナビスイッチ１５、エアコンスイッチ１６及びシフトレバーのうちの何れかを操作したか否かを判断し（Ｓ２２）、操作したと判断された場合に（Ｓ２４：ＹＥＳ）、Ｓ１０で取得した画像データ（Ｔ）の運転者上に、取得した測定用身体テンプレートＴＰを当てはめることにより初期位置身体テンプレートを測定する（Ｓ６０）。その後に、測定身体テンプレート（Ｔ−１）がデータ記憶装置２４に記憶されている場合には（Ｓ２０：ＹＥＳ）、Ｓ６０で測定した初期位置身体テンプレートを初期位置として、取得した画像データ（Ｔ）の運転者について、測定身体テンプレート（Ｔ−１）からの移動変位分を求めて初期位置に累積することにより測定身体テンプレート（Ｔ）を測定する（Ｓ７０）。

このように構成された身体部位検出装置１によれば、運転者がステアリング１８、ナビスイッチ１５、エアコンスイッチ１６及びシフトレバーのうちの何れかを操作したと判断されたときに取得された画像データ（Ｔ）を、運転者がステアリング１８、ナビスイッチ１５、エアコンスイッチ１６及びシフトレバーのうちの何れかを操作している状態の画像とすることができる。このためＳ６０の処理で、運転者がステアリング１８、ナビスイッチ１５、エアコンスイッチ１６及びシフトレバーのうちの何れかを操作している状態を拘束条件として、初期位置身体テンプレートを測定することができる。従って、拘束条件がない場合と比較して、初期位置身体テンプレートを容易に検出することができるという効果を奏する。

また、タッチセンサ１７、ナビスイッチ１５、エアコンスイッチ１６、及びシフトスイッチ１２によりそれぞれ、ステアリング１８、ナビスイッチ１５、エアコンスイッチ１６及びシフトレバーが操作されていることを検出する（Ｓ４１０，Ｓ４２０，Ｓ４３０，Ｓ４４０）。即ち、タッチセンサ１７、ナビスイッチ１５、エアコンスイッチ１６、及びシフトスイッチ１２が操作されているか否かに基づいて、ステアリング１８、ナビスイッチ１５、エアコンスイッチ１６及びシフトレバーを操作している姿勢であるか否かを判断するので、画像処理等を用いて姿勢を検出する場合よりも、姿勢を検出する手段の構成を簡略化することができる。

また、車両の運転者は運転中にステアリング１８を頻繁に操作するので、タッチセンサ１７がステアリング１８に設置されていることにより、Ｓ６０の処理が行われる頻度を増加させることができる。

また、操舵角が所定操舵角判定範囲内（本実施形態では−１９．６°〜＋１８．１°）にあるときに（Ｓ４５０：ＹＥＳ）、Ｓ６０の処理が実行される。このため、車両の直進時と右左折時とで異なる姿勢を区別して、初期位置身体テンプレートを測定することができる。また、車両が直進しているか否かの判定を簡便に行うことができる。

以上説明した実施形態において、Ｓ１０の処理は本発明における画像取得手段、Ｓ２２の処理は本発明における姿勢検出手段、Ｓ６０の処理は本発明における第２初期位置検出手段、Ｓ７０の処理は本発明における第２累積身体部位位置検出手段、ステアリング１８，ナビスイッチ１５，エアコンスイッチ１６及びシフトレバーは本発明における操作対象である。

また、タッチセンサ１７，ナビスイッチ１５，エアコンスイッチ１６及びシフトスイッチ１２は本発明における操作検出手段、タッチセンサ１７は本発明における接触センサ、ナビスイッチ１５，エアコンスイッチ１６及びシフトスイッチ１２は本発明における車載機器、操舵角センサ１４は本発明における車両状態検出手段である。

（第３実施形態）
以下に本発明の第３実施形態について図面とともに説明する。尚、第３実施形態では、第２実施形態と異なる部分のみを説明する。

第３実施形態における身体部位検出装置１は、身体部位検出処理が変更された点以外は第２実施形態と同じである。
ここで、第３実施形態の身体部位検出処理手順を図１１を用いて説明する。図１１は第３実施形態の身体部位検出処理を示すフローチャートである。

図１１に示すように、第３実施形態の身体部位検出処理が第２実施形態と異なるのは、Ｓ７２，Ｓ７４及びＳ７６の処理が追加された点である。
即ち、Ｓ７０の処理が終了すると、Ｓ７２にて、第２実施形態のＳ２２と同様の操作判断処理を行う。その後Ｓ７４にて、Ｓ７２の処理でセットまたはクリアされる初期位置フラグＦがセットされているか否かを判断する。

ここで、初期位置フラグＦがセットされていない場合には（Ｓ７４：ＮＯ）、Ｓ８０に移行する。一方、初期位置フラグＦがセットされている場合には（Ｓ７４：ＹＥＳ）、Ｓ７６にて、取得した測定用身体テンプレートＴＰを当てはめることにより初期位置身体テンプレートを再度測定する身体テンプレート再測定処理（後述）を行い、Ｓ８０に移行する。

次に、Ｓ７６にて行われる身体テンプレート再測定処理を、図１２を用いて説明する。図１２は身体テンプレート再測定処理を示すフローチャートである。
この身体テンプレート再測定処理が実行されると、制御部２６は、まずＳ６１０にて、Ｓ７０での追跡結果の６つの身体部位、即ち、顔、右上腕、右前腕、左上腕、左前腕、及び胴体がそれぞれ、顔矩形Ｋ１，右上腕矩形Ｋ２，右前腕矩形Ｋ３，左上腕矩形Ｋ４，左前腕矩形Ｋ５，及び胴体矩形Ｋ６の変形許容範囲内に存在しているか否かを判断する。

ここで、６つの身体部位の全てが各変形許容範囲内に存在している場合には（Ｓ６１０：ＹＥＳ）、Ｓ７１０にて、Ｓ７０での追跡結果を測定身体テンプレート（Ｔ）と確定し、この測定身体テンプレート（Ｔ）をデータ記憶装置２４に記憶する。そして、身体テンプレート再測定処理を終了する。

一方、６つの身体部位の何れか１つでも各変形許容範囲内に存在していない場合には（Ｓ６１０：ＮＯ）、Ｓ６２０にて、Ｓ７２の操作判断処理で操作されたと判断されたもの（ステアリング１８、ナビスイッチ１５、エアコンスイッチ１６及びシフトレバーの何れか）に対応する身体部位測定用情報の測定用身体テンプレートＴＰをデータ記憶装置２４から取得する。その後Ｓ６３０にて、Ｓ６２０で取得した測定用身体テンプレートＴＰを画像データ（Ｔ）上に配置する。

そしてＳ６４０にて、顔矩形Ｋ１の変形許容範囲において顔位置を検出する。更にＳ６５０にて、右上腕矩形Ｋ２の変形許容範囲において画像データ（Ｔ）のエッジを検出し、エッジに右上腕矩形Ｋ２を当てはめる。次にＳ６６０にて、右前腕矩形Ｋ３の変形許容範囲において画像データ（Ｔ）のエッジを検出し、エッジに右前腕矩形Ｋ３を当てはめる。そしてＳ６７０にて、左上腕矩形Ｋ４の変形許容範囲において画像データ（Ｔ）のエッジを検出し、エッジに左上腕矩形Ｋ４を当てはめる。

その後Ｓ６８０にて、左前腕矩形Ｋ５の変形許容範囲において画像データ（Ｔ）のエッジを検出し、エッジに左前腕矩形Ｋ５を当てはめる。更にＳ６９０にて、胴体矩形Ｋ６を、胴体矩形Ｋ６の上辺が顔矩形Ｋ１の下辺と一致するように平行移動する。

そしてＳ７００にて、Ｓ６３０〜Ｓ６９０の処理で各矩形Ｋ１〜Ｋ６を当てはめた結果を測定身体テンプレート（Ｔ）と確定し、この測定身体テンプレート（Ｔ）をデータ記憶装置２４に記憶する。そして、身体テンプレート再測定処理を終了する。

このように構成された身体部位検出装置１では、ステアリング１８、ナビスイッチ１５、エアコンスイッチ１６及びシフトレバーのうちの何れかを操作したか否かを判断し（Ｓ７２）、操作したと判断された場合で（Ｓ７４：ＹＥＳ）、Ｓ７０での追跡結果の６つの身体部位、即ち、顔、右上腕、右前腕、左上腕、左前腕、及び胴体の何れか１つでも各変形許容範囲内に存在していないときに（Ｓ６１０：ＮＯ）、初期位置身体テンプレートを再度測定する（Ｓ６２０〜Ｓ７００）。

このため、運転者が例えばステアリング１８を操作し続けても、測定身体テンプレート（Ｔ）の累積誤差が大きくなり、６つの身体部位、即ち、顔、右上腕、右前腕、左上腕、左前腕、及び胴体の何れか１つでも各変形許容範囲内に存在していないと判断されるまでは、初期位置身体テンプレートの再測定が行われないので、身体部位検出装置１の処理負荷の増大を抑制することができる。

以上説明した実施形態において、Ｓ６１０の処理は本発明における操作姿勢判断手段である。
以上、本発明の一実施例について説明したが、本発明は上記実施例に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採ることができる。

例えば上記実施形態においては、Ｓ４１０〜Ｓ４４０の処理で「ＹＥＳ」と判断された場合に、Ｓ４５０の処理を行うものを示したが、Ｓ４５０の処理を行うことなくＳ４６０に移行するようにしてもよい。

また上記実施形態においては、身体部位検出装置１が起動した直後に、ステアリング１８を両手で握るように指示する音声を音声出力部２３に出力させるものを示したが、これに限られるものではなく、例えば、指示音声を出力させるための操作（例えば、指示音声出力開始用ボタンの押下）が行われることを、指示音声出力開始の条件としてもよい。

身体部位検出装置１の構成、及び身体部位検出装置１が接続された車内ＬＡＮ２の概略構成を示すブロック図である。 タッチセンサ１７の配置を説明するためのステアリング１８の正面図である。 第１実施形態の身体部位検出処理を示すフローチャートである。 身体テンプレート測定処理を示すフローチャートである。 測定用身体テンプレートＴＰ及び変形許容範囲を説明する図である。 測定用身体テンプレートＴＰの当てはめ、及び特徴点Ｐ１〜Ｐ７の決定方法を説明する図である。 第２実施形態の身体部位検出処理を示すフローチャートである。 操作判断処理を示すフローチャートである。 所定操舵角判定範囲を設定するための操舵角分布図である。 運転者がナビスイッチ１５，エアコンスイッチ１６及びがシフトレバーを操作しているとき姿勢を示す図である。 第３実施形態の身体部位検出処理を示すフローチャートである。 身体テンプレート再測定処理を示すフローチャートである。

符号の説明

１…身体部位検出装置、２…車内ＬＡＮ、３…エンジンＥＣＵ、４…変速機ＥＣＵ、５…ブレーキＥＣＵ、６…ステアリングＥＣＵ、７…ナビゲーションＥＣＵ、８…エアコンＥＣＵ、１１…アクセル開度センサ、１２…シフトスイッチ、１３…車速センサ、１４…操舵角センサ、１５…ナビスイッチ、１６…エアコンスイッチ、１７…タッチセンサ、１８…ステアリング、２１…カメラ、２２…画像キャプチャーボード、２３…音声出力部、２４…データ記憶装置、２５…車内ＬＡＮ通信部、２６…制御部、ＴＰ…測定用身体テンプレート

Claims (10)

1. 操作対象、及び該操作対象を操作可能な位置に存在する操作者を含む画像である操作者画像を繰り返し取得する画像取得手段と、
   予め設定された報知開始条件が成立すると、前記操作者に対して前記操作対象を操作することを指示する旨の報知を行う報知手段と、
   前記報知手段が報知を行った後に、前記画像取得手段により取得された前記操作者画像に含まれる操作者の身体部位の位置である操作者身体部位位置を検出する第１初期位置検出手段と、
   前記第１初期位置検出手段により前記操作者身体部位位置が検出されると、該検出された前記操作者身体部位位置を初期位置として、それ以降に前記画像取得手段により取得された前記操作者画像の前記操作者身体部位位置を、前回検出した前記操作者身体部位位置からの変位を求めて前記初期位置に累積することで検出する第１累積身体部位位置検出手段と
   を備えることを特徴とする身体部位検出装置。
2. 操作対象、及び該操作対象を操作可能な位置に存在する操作者を含む画像である操作者画像を繰り返し取得する画像取得手段と、
   前記操作者が前記操作対象を操作している姿勢である操作姿勢であることを検出する姿勢検出手段と、
   前記姿勢検出手段が前記操作姿勢であると検出すると、前記画像取得手段により取得された前記操作者画像に含まれる操作者の身体部位の位置である操作者身体部位位置を検出する第２初期位置検出手段と、
   前記第２初期位置検出手段により前記操作者身体部位位置が検出されると、該検出された前記操作者身体部位位置を初期位置として、それ以降に前記画像取得手段により取得された前記操作者画像の前記操作者身体部位位置を、前回検出した前記操作者身体部位位置からの変位を求めて前記初期位置に累積することで検出する第２累積身体部位位置検出手段と
   を備えることを特徴とする身体部位検出装置。
3. 前記操作者が前記操作姿勢であることを前記姿勢検出手段が検出した場合に、前記第２累積身体部位位置検出手段により検出された前記操作者身体部位位置が前記操作姿勢を表すものであるか否かを判断する操作姿勢判断手段を備え、
   前記第２初期位置検出手段は、
   更に、前記操作姿勢判断手段が、前記第２累積身体部位位置検出手段により検出された前記操作者身体部位位置は前記姿勢検出手段が検出した前記操作姿勢を表すものでないと判断した場合に、前記操作者身体部位位置を検出する
   ことを特徴とする請求項２に記載の身体部位検出装置。
4. 前記操作対象が操作されていることを検出する操作検出手段を備え、
   前記姿勢検出手段は、
   前記操作対象が操作されていると前記操作検出手段が検出した場合に、前記操作者が前記操作姿勢であると検出する
   ことを特徴とする請求項２または請求項３に記載の身体部位検出装置。
5. 前記操作検出手段は、
   前記操作対象に設置されて、該操作対象への接触を検知する接触センサである
   ことを特徴とする請求項４に記載の身体部位検出装置。
6. 当該身体部位検出装置は車両に搭載され、
   前記接触センサは、車両のステアリングに設置される
   ことを特徴とする請求項５に記載の身体部位検出装置。
7. 当該身体部位検出装置は車両に搭載され、
   前記操作検出手段は、
   車両に搭載され、該車両の乗員による操作が行われることにより、その操作が行われた旨を示す信号を出力する車載機器である
   ことを特徴とする請求項４に記載の身体部位検出装置。
8. 当該身体部位検出装置は車両に搭載され、
   当該身体部位検出装置が搭載された車両の状態を検出する車両状態検出手段を備え、
   前記姿勢検出手段は、
   前記操作対象が操作されていると前記操作検出手段が検出した場合に、更に、前記車両状態検出手段により検出された車両状態に基づいて、前記操作者が前記操作姿勢であるか否かを検出する
   ことを特徴とする請求項４〜請求項７の何れかに記載の身体部位検出装置。
9. 前記車両状態検出手段は、
   前記車両の操舵角を検出する操舵角センサである
   ことを特徴とする請求項８に記載の身体部位検出装置。
10. 前記操作姿勢は、運転者がステアリングを操作して前記車両を直進させているときの姿勢であり、
    前記姿勢検出手段は、
    前記車両状態として、前記操舵角センサにより検出される操舵角が０度を含むようにして予め設定された所定操舵角範囲に含まれる場合に、前記操作者が前記操作姿勢であると検出する
    ことを特徴とする請求項９に記載の身体部位検出装置。