JP7053342B2 - 処理装置、及びプログラム - Google Patents
処理装置、及びプログラム Download PDFInfo
- Publication number
- JP7053342B2 JP7053342B2 JP2018066469A JP2018066469A JP7053342B2 JP 7053342 B2 JP7053342 B2 JP 7053342B2 JP 2018066469 A JP2018066469 A JP 2018066469A JP 2018066469 A JP2018066469 A JP 2018066469A JP 7053342 B2 JP7053342 B2 JP 7053342B2
- Authority
- JP
- Japan
- Prior art keywords
- occupant
- pixel group
- coordinate system
- point
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、処理装置、及びプログラムに関し、特に、撮像画像に基づいて検出処理を行なう処理装置、及びプログラムに関する。
従来、２次元平面における座標情報を有する乗員が映り込んだ画像を撮像し、その撮像した画像を画像処理することで、乗員の特徴点（例えば、関節点）を特定する技術がある（例えば、特許文献１参照）。
特許文献１の処理装置は、複数の操作対象，および，該操作対象を操作可能な位置に存在する操作者を含む画像を繰り返し取得する画像取得手段と、該画像取得手段により繰り返し取得される画像毎に、該画像に含まれる操作者における所定の人体特徴点を特定する人体特徴点特定手段と、該人体特徴点特定手段により特定された画像毎の人体特徴点それぞれに基づいて、操作者が実施しようとしている操作内容を推定する操作推定手段と、を備えており、該操作推定手段は、操作対象を操作する操作者が辿ると推定される姿勢軌跡（推定姿勢軌跡）をその操作内容毎にモデル化してなる遷移推定モデルそれぞれと、前記人体特徴点特定手段により特定された画像毎の人体特徴点それぞれから求められる操作者の姿勢軌跡（実姿勢軌跡）とを照合し、前記遷移推定モデルでモデル化された推定姿勢軌跡のうち、前記実姿勢軌跡との近似度が所定のしきい値を満たす前記推定姿勢軌跡につき、該推定姿勢軌跡に対応する操作内容を操作者が実施しようとしていると推定するように処理装置が構成されている。
しかし、特許文献１の技術では、乗員の特徴点を、２次元平面での座標情報を有した画像から特定しているため、その特徴点の特定精度を向上させることが要求されている。
したがって、本発明の目的は、人体の特徴点を特定する技術において、その特徴点の特定精度を向上させる処理装置、及びプログラムを提供することにある。
［１］上記目的を達成するため、車両の乗員を含む撮像領域を撮像対象とした距離画像であって、前記撮像対象までの距離情報を画素に割り当てた距離画像を取得する取得部と、前記車両の車室内空間における座標系と前記距離画像における座標系との対応関係に従って、特定の座標系を有した検出画像へと変換して、その検出画像において複数の前記乗員の特徴点を検出する特徴点検出処理、及び前記特徴点検出処理で検出された特徴点を、人体構造における不動点との位置関係に従って補正する補正処理を実行する制御部と、を有する処理装置を提供する。
［２］前記補正処理は、検出した複数の前記特徴点を分類し、前記不動点に対して、前側、外側、又は、上側の特徴点を分離して抽出する、上記［１］に記載の処理装置であってもよい。
［３］また、前記補正処理は、前記乗員の肘検出において、前記不動点に対して、前記前側、外側、又は、上側の特徴点を分離して、前記乗員の肘の特徴点として抽出する、上記［１］又は［２］に記載の処理装置であってもよい。
［４］また、前記補正処理は、前記乗員の手首検出において、前記不動点に対して、前記前側の特徴点を分離して、前記乗員の手首の特徴点として抽出する、上記［１］又は［２］に記載の処理装置であってもよい。
［５］また、前記補正処理により抽出された前記特徴点の重心位置を正規な特徴点の位置とする、上記［１］から［４］のいずれか１に記載の処理装置であってもよい。
［６］上記目的を達成するため、車両の乗員を含む撮像領域を撮像対象とした距離画像であって、前記撮像対象までの距離情報を画素に割り当てた距離画像を取得する取得ステップと、前記車両の車室内空間における座標系と前記距離画像における座標系との対応関係に従って、特定の座標系を有した検出画像へと変換して、その検出画像において複数の前記乗員の特徴点を検出する特徴点検出処理、及び前記特徴点検出処理で検出された特徴点を、人体構造における不動点との位置関係に従って補正する補正処理を実行する制御ステップとを、コンピュータに実行させるためのプログラムを提供する。
［７］前記制御ステップにおいて、前記補正処理は、検出した複数の前記特徴点を分類し、前記不動点に対して、前側、外側、又は、上側の特徴点を分離して抽出する、上記［６］に記載のプログラムであってもよい。
［８］また、前記制御ステップにおいて、前記補正処理は、前記乗員の肘検出において、前記不動点に対して、前記前側、外側、又は、上側の特徴点を分離して、前記乗員の肘の特徴点として抽出する、上記［６］又は［７］に記載のプログラムであってもよい。
［９］また、前記制御ステップにおいて、前記補正処理は、前記乗員の手首検出において、前記不動点に対して、前記前側の特徴点を分離して、前記乗員の手首の特徴点として抽出する、上記［６］又は［７］に記載のプログラムであってもよい。
［１０］また、前記制御ステップにおいて、前記補正処理により抽出された前記特徴点の重心位置を正規な特徴点の位置とする、上記［６］から［９］のいずれか１に記載のプログラムであってもよい。
［２］前記補正処理は、検出した複数の前記特徴点を分類し、前記不動点に対して、前側、外側、又は、上側の特徴点を分離して抽出する、上記［１］に記載の処理装置であってもよい。
［３］また、前記補正処理は、前記乗員の肘検出において、前記不動点に対して、前記前側、外側、又は、上側の特徴点を分離して、前記乗員の肘の特徴点として抽出する、上記［１］又は［２］に記載の処理装置であってもよい。
［４］また、前記補正処理は、前記乗員の手首検出において、前記不動点に対して、前記前側の特徴点を分離して、前記乗員の手首の特徴点として抽出する、上記［１］又は［２］に記載の処理装置であってもよい。
［５］また、前記補正処理により抽出された前記特徴点の重心位置を正規な特徴点の位置とする、上記［１］から［４］のいずれか１に記載の処理装置であってもよい。
［６］上記目的を達成するため、車両の乗員を含む撮像領域を撮像対象とした距離画像であって、前記撮像対象までの距離情報を画素に割り当てた距離画像を取得する取得ステップと、前記車両の車室内空間における座標系と前記距離画像における座標系との対応関係に従って、特定の座標系を有した検出画像へと変換して、その検出画像において複数の前記乗員の特徴点を検出する特徴点検出処理、及び前記特徴点検出処理で検出された特徴点を、人体構造における不動点との位置関係に従って補正する補正処理を実行する制御ステップとを、コンピュータに実行させるためのプログラムを提供する。
［７］前記制御ステップにおいて、前記補正処理は、検出した複数の前記特徴点を分類し、前記不動点に対して、前側、外側、又は、上側の特徴点を分離して抽出する、上記［６］に記載のプログラムであってもよい。
［８］また、前記制御ステップにおいて、前記補正処理は、前記乗員の肘検出において、前記不動点に対して、前記前側、外側、又は、上側の特徴点を分離して、前記乗員の肘の特徴点として抽出する、上記［６］又は［７］に記載のプログラムであってもよい。
［９］また、前記制御ステップにおいて、前記補正処理は、前記乗員の手首検出において、前記不動点に対して、前記前側の特徴点を分離して、前記乗員の手首の特徴点として抽出する、上記［６］又は［７］に記載のプログラムであってもよい。
［１０］また、前記制御ステップにおいて、前記補正処理により抽出された前記特徴点の重心位置を正規な特徴点の位置とする、上記［６］から［９］のいずれか１に記載のプログラムであってもよい。
本発明の処理装置、及びプログラムによれば、人体の特徴点を特定する技術において、その特徴点の特定精度を向上させることができる。
（本発明の実施の形態）
本発明の実施の形態に係る処理装置１は、車両８の乗員５を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を画素に割り当てた距離画像を取得する取得部としてのＴＯＦカメラ１０と、車両８の車室内空間における座標系と距離画像における座標系との対応関係に従って、特定の座標系を有した検出画像へと変換して、その検出画像において複数の乗員５の特徴点を検出する特徴点検出処理、及び特徴点検出処理で検出された特徴点を、人体構造における不動点との位置関係に従って補正する補正処理を実行する制御部２０と、を有して構成されている。
本発明の実施の形態に係る処理装置１は、車両８の乗員５を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を画素に割り当てた距離画像を取得する取得部としてのＴＯＦカメラ１０と、車両８の車室内空間における座標系と距離画像における座標系との対応関係に従って、特定の座標系を有した検出画像へと変換して、その検出画像において複数の乗員５の特徴点を検出する特徴点検出処理、及び特徴点検出処理で検出された特徴点を、人体構造における不動点との位置関係に従って補正する補正処理を実行する制御部２０と、を有して構成されている。
本実施の形態に係る処理装置１は、ＴＯＦカメラ１０を用いて、車室内乗員の肩、肘、手首、手といった部位を特徴点として検出する特徴点検出処理を行なうものである。ＴＯＦカメラ１０から得られる距離画像の各画素を３次元空間上に変換した画素群（３次元画素群）を作成し、頭部を起点として、スケルトンモデル（人体の骨格サイズ、可動範囲の定義）をもとに肩、肘、手首、手といった部位を特徴点として検出する。また、特徴点検出処理で検出された特徴点を、人体構造における不動点との位置関係に従って補正する補正処理を実行する。
なお、画素群とは、ＴＯＦカメラ１０により撮像された画素に対応する点の集合であって、車両８の車室内空間における座標系、ＴＯＦカメラ１０における座標系等により位置が表示される３次元空間の点の集合である。
（スケルトンモデル）
スケルトンモデルは、図１（ａ）に示すように、人体の各骨格のサイズ、関節の可動範囲を定義したものであって、一例を図１（ｂ）に示す。この定義は例えば、産業技術総合研究所が公開している人体寸法データベースや、独立行政法人製品評価技術基盤機構が公開している人間特性データベース等の情報をもとに決めることができる。各部位（肩、肘、手首、手）の可動範囲（スケルトンモデル定義の中で規定しているなす角）は、前腕部を例として図１（ｃ）のように定義する。
スケルトンモデルは、図１（ａ）に示すように、人体の各骨格のサイズ、関節の可動範囲を定義したものであって、一例を図１（ｂ）に示す。この定義は例えば、産業技術総合研究所が公開している人体寸法データベースや、独立行政法人製品評価技術基盤機構が公開している人間特性データベース等の情報をもとに決めることができる。各部位（肩、肘、手首、手）の可動範囲（スケルトンモデル定義の中で規定しているなす角）は、前腕部を例として図１（ｃ）のように定義する。
（ＴＯＦカメラ１０）
取得部としては撮像対象の３次元認識が可能なものであれば使用可能であるが、本実施の形態では、取得部としてＴＯＦ（Time Of Flight）カメラ１０を使用する。ＴＯＦカメラ１０は、光源の光が測定対象物に当たって戻るまでの時間を画素毎に検出し、奥行き方向の距離に相当する位置情報を含む立体的な画像を撮影できる。ＴＯＦカメラ１０は、赤外光等を発光後、その光が物体に反射して戻ってきた反射光を受光し、発光から受光までの時間を測定して、画素ごとに撮像対象物までの距離を検出する。
取得部としては撮像対象の３次元認識が可能なものであれば使用可能であるが、本実施の形態では、取得部としてＴＯＦ（Time Of Flight）カメラ１０を使用する。ＴＯＦカメラ１０は、光源の光が測定対象物に当たって戻るまでの時間を画素毎に検出し、奥行き方向の距離に相当する位置情報を含む立体的な画像を撮影できる。ＴＯＦカメラ１０は、赤外光等を発光後、その光が物体に反射して戻ってきた反射光を受光し、発光から受光までの時間を測定して、画素ごとに撮像対象物までの距離を検出する。
取得部としてのＴＯＦカメラ１０は、車両８の乗員５を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を各画素に割り当てた距離画像を取得する。この距離画像は、所定の時間間隔で撮像されたフレームの１フレームとして取得することができる。取得された距離画像は、以下の処理における入力（３次元画素群）として機能する。距離画像は、上記説明したカメラ座標系、車両座標系へ変換される。これにより、検出エリアに含まれる３次元画素群を抽出できる。
ＴＯＦカメラ１０は、例えば、図２に示すように、ルームミラー付近に取り付け、車両８の乗員５を含む撮像領域を撮像対象とする。ＴＯＦカメラ１０による撮像画像は、座標（ｕ，ｖ）と、この座標（ｕ，ｖ）における奥行情報としての画素値ｄ（ｕ，ｖ）を含む。取得された画素値ｄ（ｕ，ｖ）（ｕ＝０、１、…Ｕ－１，ｖ＝０、１、…Ｖ－１）は、撮像対象としての物体（ここで言う物体は、運転者や車載機器など）までの距離を意味する。なお、実施形態における符号Ｕは、撮像画像における横幅［ｐｉｘｅｌ］を意味し、符号Ｖは、撮像画像における縦幅［ｐｉｘｅｌ］を意味する。
つまり、ＴＯＦカメラ１０で撮像された画像における各画素に、３次元空間における距離情報を割り当てることで距離画像が生成される。
つまり、ＴＯＦカメラ１０で撮像された画像における各画素に、３次元空間における距離情報を割り当てることで距離画像が生成される。
（距離画像から得られるカメラ座標系）
距離画像における座標値ｕ，ｖと、座標（ｕ，ｖ）における画素値ｄ（ｕ，ｖ）は、以下の式を用いて３次元空間上の点（ｘ，ｙ，ｚ）に変換することで、図１に示すカメラ座標系（ｘ，ｙ，ｚ）における３次元画素群を作成することができる。
なお、（ｃｘ、ｃｙ）は、画像中心座標、ｆは、レンズ焦点距離である。
距離画像における座標値ｕ，ｖと、座標（ｕ，ｖ）における画素値ｄ（ｕ，ｖ）は、以下の式を用いて３次元空間上の点（ｘ，ｙ，ｚ）に変換することで、図１に示すカメラ座標系（ｘ，ｙ，ｚ）における３次元画素群を作成することができる。
（車両座標系）
カメラ座標系（ｘ，ｙ，ｚ）は、検出対象であるドライバ（例えば腰骨の位置）を原点とする車両座標系（ｗ，ｌ，ｈ）に変換することができる。変換方法は、一般的な座標回転変換、平行移動変換、スケール変換の組み合わせである。変換後の座標軸は、ドライバ右方向をｗ軸、前方をｌ軸（エル軸）、上方をｈ軸とし、原点はドライバの腰骨位置２０３とする。図３に３次元画素群の例を示す。
カメラ座標系（ｘ，ｙ，ｚ）は、検出対象であるドライバ（例えば腰骨の位置）を原点とする車両座標系（ｗ，ｌ，ｈ）に変換することができる。変換方法は、一般的な座標回転変換、平行移動変換、スケール変換の組み合わせである。変換後の座標軸は、ドライバ右方向をｗ軸、前方をｌ軸（エル軸）、上方をｈ軸とし、原点はドライバの腰骨位置２０３とする。図３に３次元画素群の例を示す。
（ボクセル作成）
図４（ａ）に示すように、車室内空間の広さを考慮し、図４（ｂ）に一例として示すボクセル作成パラメータ設定例のサイズでボクセル（３次元空間を一定サイズで格子状に分割し、離散的にエリアを表現する方法）を作成する。各ボクセルは、ボクセル値を持ち、３次元画素群の密度情報（ここでは、各ボクセルに含まれる３次元画素群の数×３、とする）をボクセル値とする。
図４（ａ）に示すように、車室内空間の広さを考慮し、図４（ｂ）に一例として示すボクセル作成パラメータ設定例のサイズでボクセル（３次元空間を一定サイズで格子状に分割し、離散的にエリアを表現する方法）を作成する。各ボクセルは、ボクセル値を持ち、３次元画素群の密度情報（ここでは、各ボクセルに含まれる３次元画素群の数×３、とする）をボクセル値とする。
（制御部２０）
制御部２０は、座標変換、頭頂部特定処理、頭部特定処理等を行なうための、例えばマイクロコンピュータを備えている。制御部２０は、図２に示すように、ＴＯＦカメラ１０と接続されている。制御部２０は、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）２１、半導体メモリであるＲＡＭ（Random Access Memory）２２及びＲＯＭ（Read Only Memory）２３などを備えている。
制御部２０は、座標変換、頭頂部特定処理、頭部特定処理等を行なうための、例えばマイクロコンピュータを備えている。制御部２０は、図２に示すように、ＴＯＦカメラ１０と接続されている。制御部２０は、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）２１、半導体メモリであるＲＡＭ（Random Access Memory）２２及びＲＯＭ（Read Only Memory）２３などを備えている。
（頭部の検出、特定）
頭部は、規定された１つの特徴点であり、本実施の形態では、予め規定された特徴点探索モデルを順次照合して残りの特徴点（左右の肩部、肘部、手首、手）を検出するための基準となるものである。頭部の検出、特定の手法は任意であり、公知の方法により頭部の検出、特定を行なうことができる。また、制御部２０による検出、特定でなく、頭部の３次元データ（ｗ，ｌ，ｈ）を制御部２０に入力してもよい。
頭部は、規定された１つの特徴点であり、本実施の形態では、予め規定された特徴点探索モデルを順次照合して残りの特徴点（左右の肩部、肘部、手首、手）を検出するための基準となるものである。頭部の検出、特定の手法は任意であり、公知の方法により頭部の検出、特定を行なうことができる。また、制御部２０による検出、特定でなく、頭部の３次元データ（ｗ，ｌ，ｈ）を制御部２０に入力してもよい。
（探索範囲絞り込み）
制御部２０は、図５（ａ）に示すように、スケルトンモデルで定義した長さおよび可動範囲に含まれるボクセルを探索し、抽出する。可動範囲は、前部位起点から現在部位起点Ｐの方向を基準とし、図５（ａ）に示す母線２５０で規定される円錐形状として定義する。探索は、図５（ｂ）に示すような、探索範囲絞り込みパラメータに基づいて行なう。
制御部２０は、図５（ａ）に示すように、スケルトンモデルで定義した長さおよび可動範囲に含まれるボクセルを探索し、抽出する。可動範囲は、前部位起点から現在部位起点Ｐの方向を基準とし、図５（ａ）に示す母線２５０で規定される円錐形状として定義する。探索は、図５（ｂ）に示すような、探索範囲絞り込みパラメータに基づいて行なう。
（特徴点としての部位候補抽出）
（１）閾値処理
制御部２０は、探索範囲を絞り込んだ各ボクセルについて、周囲のボクセルを含めたボクセルの集合を考える。ここでは、図６に示すように、周囲１ボクセルを含めた３×３×３のボクセルとする。ここで、当該ボクセルのボクセル値の合計が閾値未満の場合、候補から除外する。
（１）閾値処理
制御部２０は、探索範囲を絞り込んだ各ボクセルについて、周囲のボクセルを含めたボクセルの集合を考える。ここでは、図６に示すように、周囲１ボクセルを含めた３×３×３のボクセルとする。ここで、当該ボクセルのボクセル値の合計が閾値未満の場合、候補から除外する。
（２）連続性チェック
制御部２０は、（１）の閾値処理で抽出した各ボクセルについて、図７に示すように、起点Ｐとの間をＸ［ｍｍ］間隔で、（１）と同じ領域（３×３×３のボクセル）を考え、全ての位置でボクセル値の合計が閾値以上の場合、当該ボクセルを部位候補とする。ただし、腕時計等、ＴＯＦカメラで情報が取得できない可能性がある装着物を考慮して、起点Ｐとの間でボクセル値の閾値を満たさない点が存在しても許容できるよう、許容ギャップ数を定義する。例えば、許容ギャップ数が１の場合、閾値を満たさない点が１つまでなら連続性があると判定する。
制御部２０は、（１）の閾値処理で抽出した各ボクセルについて、図７に示すように、起点Ｐとの間をＸ［ｍｍ］間隔で、（１）と同じ領域（３×３×３のボクセル）を考え、全ての位置でボクセル値の合計が閾値以上の場合、当該ボクセルを部位候補とする。ただし、腕時計等、ＴＯＦカメラで情報が取得できない可能性がある装着物を考慮して、起点Ｐとの間でボクセル値の閾値を満たさない点が存在しても許容できるよう、許容ギャップ数を定義する。例えば、許容ギャップ数が１の場合、閾値を満たさない点が１つまでなら連続性があると判定する。
図８は、各部位検出におけるパラメータ設定の例であり、以下に示す各部位の検出は、これらのパラメータに基づいて実行される。上記示した（１）閾値処理、（２）連続性チェックは、部位検出共通ロジックとして各部位の検出に使用される。なお、単位立方体サイズは、密度計算に利用するボクセルの立方体サイズである。また、密度閾値は、終端候補の棄却、連続性の確認に利用する密度の閾値である。また、連続性ステップ長は、連続性確認時に単位立方体をずらしていく際の中心ボクセル間の幅である。また、許容ギャップ数は、連続性確認時に許容する、密度が閾値以下だったステップの数である。
（肩検出）
制御部２０は、検出あるいは特定した頭部位置から首位置を算出する。ここでは、頭部位置の座標から真下にオフセットした点を首位置とする。オフセット値は例えば１００ｍｍとする。前部位起点を頭部位置、起点Ｐを首位置として、部位検出共通ロジックを用いて肩候補を抽出する。ただし、首位置がボクセル値の低いボクセルに位置する可能性を考慮し、連続性チェックはしない。首位置より左側（－ｗ軸側）の肩候補を左肩候補、右側（＋ｗ軸側）の肩候補を右肩候補とし、各候補の重心位置をそれぞれ左肩位置、右肩位置とする。
制御部２０は、検出あるいは特定した頭部位置から首位置を算出する。ここでは、頭部位置の座標から真下にオフセットした点を首位置とする。オフセット値は例えば１００ｍｍとする。前部位起点を頭部位置、起点Ｐを首位置として、部位検出共通ロジックを用いて肩候補を抽出する。ただし、首位置がボクセル値の低いボクセルに位置する可能性を考慮し、連続性チェックはしない。首位置より左側（－ｗ軸側）の肩候補を左肩候補、右側（＋ｗ軸側）の肩候補を右肩候補とし、各候補の重心位置をそれぞれ左肩位置、右肩位置とする。
（肘検出）
制御部２０は、前部位起点を首位置、起点を肩位置として、部位検出共通ロジックを用いて肘候補を抽出する。制御部２０は、連続性チェックを行なう。連続性チェックがＮＧとなり、肘候補点が０の場合、肩が宙に浮いている（ボクセル値の低い位置にある）と考えられ、位置を補正して再探索する。補正方法は例えば、最も近い閾値以上のボクセル値を持つボクセルを選択することで行う。
制御部２０は、前部位起点を首位置、起点を肩位置として、部位検出共通ロジックを用いて肘候補を抽出する。制御部２０は、連続性チェックを行なう。連続性チェックがＮＧとなり、肘候補点が０の場合、肩が宙に浮いている（ボクセル値の低い位置にある）と考えられ、位置を補正して再探索する。補正方法は例えば、最も近い閾値以上のボクセル値を持つボクセルを選択することで行う。
制御部２０は、人体構造の不動点との位置関係に従って補正する補正処理を実行する。すなわち、制御部２０は、抽出した複数の候補点を分類し、不動点に対して、前側、外側（左肘は左側、右肘は右側）、上側の候補点を分離して抽出する補正処理を実行する。不動点は、例えば、車両、乗員の胴体等である。
制御部２０は、上記の補正処理を実行した後、抽出した肘候補の重心を求めて、正規な特徴点の位置として、肘位置とする。左肩を起点とした位置を左肘、右肩を起点とした位置を右肘とする。
（肘候補点の補正処理）
図９(a)に示すように、複数の部位（肘）候補点が広い探索範囲にある場合でも、ドライバの着座姿勢を考慮して、肘は不動点としての胴体より前側、外側、上側にあるということを特徴と考える。そこで、制御部２０は、図９（ｂ）に示すように、複数の候補点を分類し、不動点（胴体）に対して、前側、外側（左肘は左側、右肘は右側）、上側の候補点を分離して抽出する補正処理を実行する。このような補正処理により、例えば、図９（ｂ）に示すように、不動点としての胴体、例えば、腰骨位置２０３に対して、前側、外側（左肘は左側、右肘は右側）、上側の候補点が分離して抽出される。
図９(a)に示すように、複数の部位（肘）候補点が広い探索範囲にある場合でも、ドライバの着座姿勢を考慮して、肘は不動点としての胴体より前側、外側、上側にあるということを特徴と考える。そこで、制御部２０は、図９（ｂ）に示すように、複数の候補点を分類し、不動点（胴体）に対して、前側、外側（左肘は左側、右肘は右側）、上側の候補点を分離して抽出する補正処理を実行する。このような補正処理により、例えば、図９（ｂ）に示すように、不動点としての胴体、例えば、腰骨位置２０３に対して、前側、外側（左肘は左側、右肘は右側）、上側の候補点が分離して抽出される。
（Ａ）ｌ軸方向に画素群を分類し、前側の画素群を分離して抽出する。例えば、抽出した候補点のｌ軸方向における最大値と最小値の差が、図１（ｂ）で示すスケルトンモデルで定義した上腕部の長さの最大値と最小値の差の範囲内かどうかを判定し、範囲内の場合、分離不要と判断し、範囲外の場合、候補点のｌ座標の平均値を算出し、その平均より前側（＋ｌ方向）の候補点を分離して抽出する。
（Ｂ）ｗ軸方向に画素群を分類し、外側の画素群を分離して抽出する。例えば、抽出した候補点のｗ軸方向における最大値と最小値の差が、図１（ｂ）で示すスケルトンモデルで定義した上腕部の長さの最大値と最小値の差の範囲内かどうかを判定し、範囲内の場合、分離不要と判断し、範囲外の場合、候補点のｗ座標の平均値を算出し、その平均より外側（左肘は－ｗ方向、右肘は＋ｗ方向）の候補点を分離して抽出する。
（Ｃ）ｈ軸方向に画素群を分類し、上側の画素群を分離して抽出する。例えば、抽出した候補点のｈ軸方向における最大値と最小値の差が、図１（ｂ）で示すスケルトンモデルで定義した上腕部の長さの最大値と最小値の差の範囲内かどうかを判定し、範囲内の場合、分離不要と判断し、範囲外の場合、候補点のｈ座標の平均値を算出し、その平均より上側（＋ｈ方向）の候補点を分離して抽出する。
（Ｄ）上記（Ａ）～（Ｃ）の全てで平均値による分離不要の場合、抽出した画素群から肘位置を算出し、肘検出処理を終了する。上記（Ａ）～（Ｃ）の何れかで平均値による分離処理が実施された場合は、上記（Ａ）へ戻って補正処理を繰り返して実行する。
なお、所定回数だけ上記の補正処理を実行した場合は、補正処理の実行ループから抜けて次のステップに進む、あるいは、処理全体を終了することができる。
（Ｂ）ｗ軸方向に画素群を分類し、外側の画素群を分離して抽出する。例えば、抽出した候補点のｗ軸方向における最大値と最小値の差が、図１（ｂ）で示すスケルトンモデルで定義した上腕部の長さの最大値と最小値の差の範囲内かどうかを判定し、範囲内の場合、分離不要と判断し、範囲外の場合、候補点のｗ座標の平均値を算出し、その平均より外側（左肘は－ｗ方向、右肘は＋ｗ方向）の候補点を分離して抽出する。
（Ｃ）ｈ軸方向に画素群を分類し、上側の画素群を分離して抽出する。例えば、抽出した候補点のｈ軸方向における最大値と最小値の差が、図１（ｂ）で示すスケルトンモデルで定義した上腕部の長さの最大値と最小値の差の範囲内かどうかを判定し、範囲内の場合、分離不要と判断し、範囲外の場合、候補点のｈ座標の平均値を算出し、その平均より上側（＋ｈ方向）の候補点を分離して抽出する。
（Ｄ）上記（Ａ）～（Ｃ）の全てで平均値による分離不要の場合、抽出した画素群から肘位置を算出し、肘検出処理を終了する。上記（Ａ）～（Ｃ）の何れかで平均値による分離処理が実施された場合は、上記（Ａ）へ戻って補正処理を繰り返して実行する。
なお、所定回数だけ上記の補正処理を実行した場合は、補正処理の実行ループから抜けて次のステップに進む、あるいは、処理全体を終了することができる。
（手首検出）
制御部２０は、前部位起点を肩位置、起点を肘位置として、部位検出共通ロジックを用いて手首候補を抽出する。制御部２０は、連続性チェックを行ない、連続性チェックがＮＧの場合は、位置を補正して再探索を行なう。
制御部２０は、前部位起点を肩位置、起点を肘位置として、部位検出共通ロジックを用いて手首候補を抽出する。制御部２０は、連続性チェックを行ない、連続性チェックがＮＧの場合は、位置を補正して再探索を行なう。
制御部２０は、抽出した複数の候補点を分類し、不動点（胴体）に対して、前側の候補点を分離して抽出する補正処理を実行する。
制御部２０は、上記の補正処理を実行した後、抽出した手首候補の重心を求めて、正規な特徴点の位置として、手首位置とする。左肘を起点とした位置を左手首、右肘を起点とした位置を右手首とする。
（手首候補点の補正処理）
肘候補点の補正処理と同様にして、ドライバの着座姿勢を考慮したとき、手首は不動点としての胴体より前側にあるということを特徴と考える。制御部２０は、複数の候補点を分類し、前側の候補点を分離して抽出する補正処理を実行する。
肘候補点の補正処理と同様にして、ドライバの着座姿勢を考慮したとき、手首は不動点としての胴体より前側にあるということを特徴と考える。制御部２０は、複数の候補点を分類し、前側の候補点を分離して抽出する補正処理を実行する。
（Ｅ）ｌ軸方向に画素群を分類し、前側の画素群を分離して抽出する。例えば、抽出した候補点のｌ軸方向における最大値と最小値の差が、図１（ｂ）で示すスケルトンモデルで定義した前腕部の長さの最大値と最小値の差の範囲内かどうかを判定し、範囲内の場合、分離不要と判断し、範囲外の場合、候補点のｌ座標の平均値を算出し、その平均より前側（＋ｌ方向）の候補点を分離して抽出する。
（Ｆ）上記の（Ｅ）で平均値による分離不要の場合、抽出した画素群から手首位置を算出し、手首検出処理を終了する。上記（Ｅ）で平均値による分離処理が実施された場合、上記（Ｅ）へ戻って補正処理を繰り返して実行する。
なお、所定回数だけ上記の補正処理を実行した場合は、補正処理の実行ループから抜けて次のステップに進む、あるいは、処理全体を終了することができる。
（Ｆ）上記の（Ｅ）で平均値による分離不要の場合、抽出した画素群から手首位置を算出し、手首検出処理を終了する。上記（Ｅ）で平均値による分離処理が実施された場合、上記（Ｅ）へ戻って補正処理を繰り返して実行する。
なお、所定回数だけ上記の補正処理を実行した場合は、補正処理の実行ループから抜けて次のステップに進む、あるいは、処理全体を終了することができる。
（手検出）
制御部２０は、前部位起点を肘位置、起点を手首位置として、部位検出共通ロジックを用いて手候補を抽出する。制御部２０は、連続性チェックを行ない、連続性チェックがＮＧの場合は、位置を補正して再探索を行なう。抽出した手候補の重心を手位置とする。左手首を起点とした位置を左手、右手首を起点とした位置を右手とする。
制御部２０は、前部位起点を肘位置、起点を手首位置として、部位検出共通ロジックを用いて手候補を抽出する。制御部２０は、連続性チェックを行ない、連続性チェックがＮＧの場合は、位置を補正して再探索を行なう。抽出した手候補の重心を手位置とする。左手首を起点とした位置を左手、右手首を起点とした位置を右手とする。
（未検出時の対応）
制御部２０は、各部位が特徴点として未検出の場合（肩が隠れた時、手首が腕時計等で切れた時、等）、前フレームまでの検出結果を用いて補完処理を行う。例えば、１フレーム前の検出結果をそのまま再利用する方法や、ＫＣＦ法等のトラッキング技術を活用する方法などがある。
制御部２０は、各部位が特徴点として未検出の場合（肩が隠れた時、手首が腕時計等で切れた時、等）、前フレームまでの検出結果を用いて補完処理を行う。例えば、１フレーム前の検出結果をそのまま再利用する方法や、ＫＣＦ法等のトラッキング技術を活用する方法などがある。
（処理装置１の動作）
図１０、１２、１３で示す本発明の実施の形態に係る処理装置１の動作を示すフローチャートに基づいて、説明する。制御部２０は、フローチャートに従って以下の演算、処理を実行する。
図１０、１２、１３で示す本発明の実施の形態に係る処理装置１の動作を示すフローチャートに基づいて、説明する。制御部２０は、フローチャートに従って以下の演算、処理を実行する。
（前処理、Ｓｔｅｐ１）
制御部２０には、ＴＯＦカメラ１０からのカメラ画像が入力される。このカメラ画像は、連続するフレーム画像の１フレームとして入力される。制御部２０は、特徴点検出処理の前処理として、カメラ画像を車両座標系へ変換して、図３に示すような３次元画素群を抽出する。また、ボクセル作成パラメータ設定例に基づいてボクセルを作成する。また、特徴点探索の基準となる頭部の検出、特定を行なう。
制御部２０には、ＴＯＦカメラ１０からのカメラ画像が入力される。このカメラ画像は、連続するフレーム画像の１フレームとして入力される。制御部２０は、特徴点検出処理の前処理として、カメラ画像を車両座標系へ変換して、図３に示すような３次元画素群を抽出する。また、ボクセル作成パラメータ設定例に基づいてボクセルを作成する。また、特徴点探索の基準となる頭部の検出、特定を行なう。
（肩の検出、Ｓｔｅｐ２）
制御部２０は、図１１に示すように、基準となる規定された１つの特徴点である、頭部位置３００から、所定の距離だけオフセットした点を首位置３０５として算出する。起点を首位置３０５として、部位検出共通ロジックを用いて肩候補を抽出する。図１１に示すように、首位置より左側（－ｗ軸側）の肩候補を左肩候補、右側（＋ｗ軸側）の肩候補を右肩候補とし、各候補の重心位置をそれぞれ左肩位置３１１、右肩位置３１０とする。
制御部２０は、図１１に示すように、基準となる規定された１つの特徴点である、頭部位置３００から、所定の距離だけオフセットした点を首位置３０５として算出する。起点を首位置３０５として、部位検出共通ロジックを用いて肩候補を抽出する。図１１に示すように、首位置より左側（－ｗ軸側）の肩候補を左肩候補、右側（＋ｗ軸側）の肩候補を右肩候補とし、各候補の重心位置をそれぞれ左肩位置３１１、右肩位置３１０とする。
（Ｓｔｅｐ３）
制御部２０は、肩の検出に成功したかどうかを判断する。制御部２０は、上記説明した、（１）閾値処理、及び（２）連続性チェックにより、肩の検出に成功したかどうかを判断することができる。ただし、肩の検出に限って、首位置がボクセル値の低いボクセルに位置する可能性を考慮し、連続性チェックはしないものとする。肩の検出に成功した場合は、Ｓｔｅｐ５へ進み（Ｓｔｅｐ３：Ｙｅｓ）、肩の検出に成功しない場合は、Ｓｔｅｐ４へ進む（Ｓｔｅｐ３：Ｎｏ）。
制御部２０は、肩の検出に成功したかどうかを判断する。制御部２０は、上記説明した、（１）閾値処理、及び（２）連続性チェックにより、肩の検出に成功したかどうかを判断することができる。ただし、肩の検出に限って、首位置がボクセル値の低いボクセルに位置する可能性を考慮し、連続性チェックはしないものとする。肩の検出に成功した場合は、Ｓｔｅｐ５へ進み（Ｓｔｅｐ３：Ｙｅｓ）、肩の検出に成功しない場合は、Ｓｔｅｐ４へ進む（Ｓｔｅｐ３：Ｎｏ）。
（補完処理、Ｓｔｅｐ４）
制御部２０は、肩の部位が未検出の場合（肩が隠れた時、等）、前フレームまでの検出結果を用いて補完処理を行う。例えば、１フレーム前の検出結果をそのまま再利用する方法や、ＫＣＦ法等のトラッキング技術を活用する方法などがある。
制御部２０は、肩の部位が未検出の場合（肩が隠れた時、等）、前フレームまでの検出結果を用いて補完処理を行う。例えば、１フレーム前の検出結果をそのまま再利用する方法や、ＫＣＦ法等のトラッキング技術を活用する方法などがある。
（肘の検出、Ｓｔｅｐ５）
制御部２０は、前部位起点を首位置３０５、起点を肩位置３１０、３１１として、部位検出共通ロジックを用いて肘候補を抽出する。連続性チェックがＮＧとなり、肘候補点が０の場合、肩が宙に浮いている（ボクセル値の低い位置にある）と考えられ、位置を補正して再探索する。補正方法は例えば、最も近い閾値以上のボクセル値を持つボクセルを選択することで行う。
制御部２０は、前部位起点を首位置３０５、起点を肩位置３１０、３１１として、部位検出共通ロジックを用いて肘候補を抽出する。連続性チェックがＮＧとなり、肘候補点が０の場合、肩が宙に浮いている（ボクセル値の低い位置にある）と考えられ、位置を補正して再探索する。補正方法は例えば、最も近い閾値以上のボクセル値を持つボクセルを選択することで行う。
（肘候補点の補正処理、Ｓｔｅｐ５－１～Ｓｔｅｐ５－１０）
制御部２０は、人体構造の不動点との位置関係に従って補正する補正処理を実行する。
制御部２０は、人体構造の不動点との位置関係に従って補正する補正処理を実行する。
（Ｓｔｅｐ５－１）
制御部２０は、ｌ軸方向に画素群を分類し、前側の画素群を分離して候補点として抽出する。
制御部２０は、ｌ軸方向に画素群を分類し、前側の画素群を分離して候補点として抽出する。
（Ｓｔｅｐ５－２）
制御部２０は、スケルトンモデルで定義した上腕部の長さの最大値と最小値の差の範囲内かどうかを判定する。スケルトンモデルの範囲内の場合、Ｓｔｅｐ５－４へ進み（Ｓｔｅｐ５－２：Ｙｅｓ）、スケルトンモデルの範囲内でない場合、Ｓｔｅｐ５－３へ進む（Ｓｔｅｐ５－２：Ｎｏ）。
制御部２０は、スケルトンモデルで定義した上腕部の長さの最大値と最小値の差の範囲内かどうかを判定する。スケルトンモデルの範囲内の場合、Ｓｔｅｐ５－４へ進み（Ｓｔｅｐ５－２：Ｙｅｓ）、スケルトンモデルの範囲内でない場合、Ｓｔｅｐ５－３へ進む（Ｓｔｅｐ５－２：Ｎｏ）。
（Ｓｔｅｐ５－３）
制御部２０は、候補点のｌ座標の平均値を算出し、その平均より前側（＋ｌ方向）の候補点を分離して抽出する。
制御部２０は、候補点のｌ座標の平均値を算出し、その平均より前側（＋ｌ方向）の候補点を分離して抽出する。
（Ｓｔｅｐ５－４）
制御部２０は、ｗ軸方向に画素群を分類し、前側の画素群を分離して候補点として抽出する。
制御部２０は、ｗ軸方向に画素群を分類し、前側の画素群を分離して候補点として抽出する。
（Ｓｔｅｐ５－５）
制御部２０は、スケルトンモデルで定義した上腕部の長さの最大値と最小値の差の範囲内かどうかを判定する。スケルトンモデルの範囲内の場合、Ｓｔｅｐ５－７へ進み（Ｓｔｅｐ５－５：Ｙｅｓ）、スケルトンモデルの範囲内でない場合、Ｓｔｅｐ５－６へ進む（Ｓｔｅｐ５－５：Ｎｏ）。
制御部２０は、スケルトンモデルで定義した上腕部の長さの最大値と最小値の差の範囲内かどうかを判定する。スケルトンモデルの範囲内の場合、Ｓｔｅｐ５－７へ進み（Ｓｔｅｐ５－５：Ｙｅｓ）、スケルトンモデルの範囲内でない場合、Ｓｔｅｐ５－６へ進む（Ｓｔｅｐ５－５：Ｎｏ）。
（Ｓｔｅｐ５－６）
制御部２０は、候補点のｗ座標の平均値を算出し、その平均より前側（＋ｗ方向）の候補点を分離して抽出する。
制御部２０は、候補点のｗ座標の平均値を算出し、その平均より前側（＋ｗ方向）の候補点を分離して抽出する。
（Ｓｔｅｐ５－７）
制御部２０は、ｈ軸方向に画素群を分類し、前側の画素群を分離して候補点として抽出する。
制御部２０は、ｈ軸方向に画素群を分類し、前側の画素群を分離して候補点として抽出する。
（Ｓｔｅｐ５－８）
制御部２０は、スケルトンモデルで定義した上腕部の長さの最大値と最小値の差の範囲内かどうかを判定する。スケルトンモデルの範囲内の場合、Ｓｔｅｐ５－１０へ進み（Ｓｔｅｐ５－８：Ｙｅｓ）、スケルトンモデルの範囲内でない場合、Ｓｔｅｐ５－９へ進む（Ｓｔｅｐ５－８：Ｎｏ）。
制御部２０は、スケルトンモデルで定義した上腕部の長さの最大値と最小値の差の範囲内かどうかを判定する。スケルトンモデルの範囲内の場合、Ｓｔｅｐ５－１０へ進み（Ｓｔｅｐ５－８：Ｙｅｓ）、スケルトンモデルの範囲内でない場合、Ｓｔｅｐ５－９へ進む（Ｓｔｅｐ５－８：Ｎｏ）。
（Ｓｔｅｐ５－９）
制御部２０は、候補点のｈ座標の平均値を算出し、その平均より前側（＋ｈ方向）の候補点を分離して抽出する。
制御部２０は、候補点のｈ座標の平均値を算出し、その平均より前側（＋ｈ方向）の候補点を分離して抽出する。
（Ｓｔｅｐ５－１０）
制御部２０は、Ｓｔｅｐ５－３、Ｓｔｅｐ５－６、Ｓｔｅｐ５－９の何れかのステップで平均値による分離処理が実施されたかどうかを判断する。分離処理が実施された場合は、Ｓｔｅｐ５－１へ戻る（Ｓｔｅｐ５－１０：Ｙｅｓ）。分離処理が実施されない場合は、抽出した肘候補の重心を求めて肘位置として、Ｓｔｅｐ６へ進む（Ｓｔｅｐ５－１０：Ｎｏ）。図１１に示すように、左肩を起点とした位置を左肘３２１、右肩を起点とした位置を右肘３２０とする。
制御部２０は、Ｓｔｅｐ５－３、Ｓｔｅｐ５－６、Ｓｔｅｐ５－９の何れかのステップで平均値による分離処理が実施されたかどうかを判断する。分離処理が実施された場合は、Ｓｔｅｐ５－１へ戻る（Ｓｔｅｐ５－１０：Ｙｅｓ）。分離処理が実施されない場合は、抽出した肘候補の重心を求めて肘位置として、Ｓｔｅｐ６へ進む（Ｓｔｅｐ５－１０：Ｎｏ）。図１１に示すように、左肩を起点とした位置を左肘３２１、右肩を起点とした位置を右肘３２０とする。
（Ｓｔｅｐ６）
制御部２０は、肘の検出に成功したかどうかを判断する。制御部２０は、上記説明した、（１）閾値処理、及び（２）連続性チェックにより、肘の検出に成功したかどうかを判断することができる。肘の検出に成功した場合は、Ｓｔｅｐ８へ進み（Ｓｔｅｐ６：Ｙｅｓ）、肘の検出に成功しない場合は、Ｓｔｅｐ７へ進む（Ｓｔｅｐ６：Ｎｏ）。
制御部２０は、肘の検出に成功したかどうかを判断する。制御部２０は、上記説明した、（１）閾値処理、及び（２）連続性チェックにより、肘の検出に成功したかどうかを判断することができる。肘の検出に成功した場合は、Ｓｔｅｐ８へ進み（Ｓｔｅｐ６：Ｙｅｓ）、肘の検出に成功しない場合は、Ｓｔｅｐ７へ進む（Ｓｔｅｐ６：Ｎｏ）。
（補完処理、Ｓｔｅｐ７）
制御部２０は、肘の部位が未検出の場合（肘が隠れた時、等）、前フレームまでの検出結果を用いて補完処理を行う。例えば、１フレーム前の検出結果をそのまま再利用する方法や、ＫＣＦ法等のトラッキング技術を活用する方法などがある。
制御部２０は、肘の部位が未検出の場合（肘が隠れた時、等）、前フレームまでの検出結果を用いて補完処理を行う。例えば、１フレーム前の検出結果をそのまま再利用する方法や、ＫＣＦ法等のトラッキング技術を活用する方法などがある。
（手首の検出、Ｓｔｅｐ８）
制御部２０は、前部位起点を肩位置３１０、３１１、起点を肘位置３２０、３２１として、部位検出共通ロジックを用いて手首候補を抽出する。
制御部２０は、前部位起点を肩位置３１０、３１１、起点を肘位置３２０、３２１として、部位検出共通ロジックを用いて手首候補を抽出する。
（手首候補点の補正処理、Ｓｔｅｐ８－１～Ｓｔｅｐ８－４）
制御部２０は、人体構造の不動点との位置関係に従って補正する補正処理を実行する。
制御部２０は、人体構造の不動点との位置関係に従って補正する補正処理を実行する。
（Ｓｔｅｐ８－１）
制御部２０は、ｌ軸方向に画素群を分類し、前側の画素群を分離して候補点として抽出する。
制御部２０は、ｌ軸方向に画素群を分類し、前側の画素群を分離して候補点として抽出する。
（Ｓｔｅｐ８－２）
制御部２０は、スケルトンモデルで定義した前腕部の長さの最大値と最小値の差の範囲内かどうかを判定する。スケルトンモデルの範囲内の場合、Ｓｔｅｐ８－４へ進み（Ｓｔｅｐ８－２：Ｙｅｓ）、スケルトンモデルの範囲内でない場合、Ｓｔｅｐ８－３へ進む（Ｓｔｅｐ８－２：Ｎｏ）。
制御部２０は、スケルトンモデルで定義した前腕部の長さの最大値と最小値の差の範囲内かどうかを判定する。スケルトンモデルの範囲内の場合、Ｓｔｅｐ８－４へ進み（Ｓｔｅｐ８－２：Ｙｅｓ）、スケルトンモデルの範囲内でない場合、Ｓｔｅｐ８－３へ進む（Ｓｔｅｐ８－２：Ｎｏ）。
（Ｓｔｅｐ８－３）
制御部２０は、候補点のｌ座標の平均値を算出し、その平均より前側（＋ｌ方向）の候補点を分離して抽出する。
制御部２０は、候補点のｌ座標の平均値を算出し、その平均より前側（＋ｌ方向）の候補点を分離して抽出する。
（Ｓｔｅｐ８－４）
制御部２０は、Ｓｔｅｐ８－３のステップで平均値による分離処理が実施されたかどうかを判断する。分離処理が実施された場合は、Ｓｔｅｐ８－１へ戻る（Ｓｔｅｐ８－４：Ｙｅｓ）。分離処理が実施されない場合は、抽出した手首候補の重心を求めて手首位置として、Ｓｔｅｐ９へ進む（Ｓｔｅｐ８－４：Ｎｏ）。図１１に示すように、左肘を起点とした位置を左手首３３１、右肘を起点とした位置を右手首３３０とする。
制御部２０は、Ｓｔｅｐ８－３のステップで平均値による分離処理が実施されたかどうかを判断する。分離処理が実施された場合は、Ｓｔｅｐ８－１へ戻る（Ｓｔｅｐ８－４：Ｙｅｓ）。分離処理が実施されない場合は、抽出した手首候補の重心を求めて手首位置として、Ｓｔｅｐ９へ進む（Ｓｔｅｐ８－４：Ｎｏ）。図１１に示すように、左肘を起点とした位置を左手首３３１、右肘を起点とした位置を右手首３３０とする。
（Ｓｔｅｐ９）
制御部２０は、手首の検出に成功したかどうかを判断する。制御部２０は、上記説明した、（１）閾値処理、及び（２）連続性チェックにより、手首の検出に成功したかどうかを判断することができる。手首の検出に成功した場合は、Ｓｔｅｐ１１へ進み（Ｓｔｅｐ９：Ｙｅｓ）、手首の検出に成功しない場合は、Ｓｔｅｐ１０へ進む（Ｓｔｅｐ９：Ｎｏ）。
制御部２０は、手首の検出に成功したかどうかを判断する。制御部２０は、上記説明した、（１）閾値処理、及び（２）連続性チェックにより、手首の検出に成功したかどうかを判断することができる。手首の検出に成功した場合は、Ｓｔｅｐ１１へ進み（Ｓｔｅｐ９：Ｙｅｓ）、手首の検出に成功しない場合は、Ｓｔｅｐ１０へ進む（Ｓｔｅｐ９：Ｎｏ）。
（補完処理、Ｓｔｅｐ１０）
制御部２０は、手首の部位が未検出の場合（手首が腕時計等で切れた時、等）、前フレームまでの検出結果を用いて補完処理を行う。例えば、１フレーム前の検出結果をそのまま再利用する方法や、ＫＣＦ法等のトラッキング技術を活用する方法などがある。
制御部２０は、手首の部位が未検出の場合（手首が腕時計等で切れた時、等）、前フレームまでの検出結果を用いて補完処理を行う。例えば、１フレーム前の検出結果をそのまま再利用する方法や、ＫＣＦ法等のトラッキング技術を活用する方法などがある。
（手の検出、Ｓｔｅｐ１１）
制御部２０は、前部位起点を肘位置３２０、３２１、起点を手首位置３３０、３３１として、部位検出共通ロジックを用いて手候補を抽出する。抽出した手候補の重心を手位置とする。図１１に示すように、左手首を起点とした位置を左手３４１、右手首を起点とした位置を右手３４０とする。
制御部２０は、前部位起点を肘位置３２０、３２１、起点を手首位置３３０、３３１として、部位検出共通ロジックを用いて手候補を抽出する。抽出した手候補の重心を手位置とする。図１１に示すように、左手首を起点とした位置を左手３４１、右手首を起点とした位置を右手３４０とする。
（Ｓｔｅｐ１２）
制御部２０は、手の検出に成功したかどうかを判断する。制御部２０は、上記説明した、（１）閾値処理、及び（２）連続性チェックにより、手の検出に成功したかどうかを判断することができる。手の検出に成功した場合は、Ｓｔｅｐ１４へ進み（Ｓｔｅｐ１２：Ｙｅｓ）、手の検出に成功しない場合は、Ｓｔｅｐ１３へ進む（Ｓｔｅｐ１２：Ｎｏ）。
制御部２０は、手の検出に成功したかどうかを判断する。制御部２０は、上記説明した、（１）閾値処理、及び（２）連続性チェックにより、手の検出に成功したかどうかを判断することができる。手の検出に成功した場合は、Ｓｔｅｐ１４へ進み（Ｓｔｅｐ１２：Ｙｅｓ）、手の検出に成功しない場合は、Ｓｔｅｐ１３へ進む（Ｓｔｅｐ１２：Ｎｏ）。
（補完処理、Ｓｔｅｐ１３）
制御部２０は、手の部位が未検出の場合（手が隠れた時、等）、前フレームまでの検出結果を用いて補完処理を行う。例えば、１フレーム前の検出結果をそのまま再利用する方法や、ＫＣＦ法等のトラッキング技術を活用する方法などがある。
制御部２０は、手の部位が未検出の場合（手が隠れた時、等）、前フレームまでの検出結果を用いて補完処理を行う。例えば、１フレーム前の検出結果をそのまま再利用する方法や、ＫＣＦ法等のトラッキング技術を活用する方法などがある。
（Ｓｔｅｐ１４）
制御部２０は、部位検出結果として、図１１に示すように、左右の肩、肘、手首、手の位置を出力することができる。なお、それぞれの位置は、車両座標系（ｗ，ｌ，ｈ）で出力されるが、座標変換により、カメラ座標系（ｘ，ｙ，ｚ）等の他の座標系での値としても出力可能である。
制御部２０は、部位検出結果として、図１１に示すように、左右の肩、肘、手首、手の位置を出力することができる。なお、それぞれの位置は、車両座標系（ｗ，ｌ，ｈ）で出力されるが、座標変換により、カメラ座標系（ｘ，ｙ，ｚ）等の他の座標系での値としても出力可能である。
上記の処理実行は、上記示した一連の動作として繰り返して実行することができる。
（プログラムとしての実施形態）
コンピュータに、処理装置１で示した、車両の乗員を含む撮像領域を撮像対象とした距離画像であって、前記撮像対象までの距離情報を画素に割り当てた距離画像を取得する取得ステップと、車両８の車室内空間における座標系と距離画像における座標系との対応関係に従って、特定の座標系を有した検出画像へと変換して、その検出画像において複数の乗員５の特徴点を検出する特徴点検出処理、及び特徴点検出処理で検出された特徴点を、人体構造における不動点との位置関係に従って補正する補正処理を実行する制御ステップとを、コンピュータに実行させるためのプログラムも、本発明の実施の形態の一つである。
コンピュータに、処理装置１で示した、車両の乗員を含む撮像領域を撮像対象とした距離画像であって、前記撮像対象までの距離情報を画素に割り当てた距離画像を取得する取得ステップと、車両８の車室内空間における座標系と距離画像における座標系との対応関係に従って、特定の座標系を有した検出画像へと変換して、その検出画像において複数の乗員５の特徴点を検出する特徴点検出処理、及び特徴点検出処理で検出された特徴点を、人体構造における不動点との位置関係に従って補正する補正処理を実行する制御ステップとを、コンピュータに実行させるためのプログラムも、本発明の実施の形態の一つである。
処理装置１の動作で説明したＳｔｅｐ１が距離画像を取得する取得ステップの一例であり、Ｓｔｅｐ５－１からＳｔｅｐ５－１０、Ｓｔｅｐ８－１からＳｔｅｐ８－４が補正処理を実行する制御ステップの一例であり、図１０、１２、１３で示したフローチャートを実行する処理制御を、コンピュータに実行させるためのプログラムの実施形態とすることができる。
また、上記のようなプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の実施の形態の一つである。
（実施の形態の効果）
本発明の実施の形態によれば、以下のような効果を有する。
（１）本発明の実施の形態に係る処理装置は、車両８の乗員５を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を画素に割り当てた距離画像を取得する取得部としてのＴＯＦカメラ１０と、車両８の車室内空間における座標系と距離画像における座標系との対応関係に従って、特定の座標系を有した検出画像へと変換して、その検出画像において複数の乗員５の特徴点を検出する特徴点検出処理、及び特徴点検出処理で検出された特徴点を、人体構造における不動点との位置関係に従って補正する補正処理を実行する制御部２０と、を有して構成されている。これにより、人体の特徴点を特定する技術において、その特徴点の特定精度を向上させることができる。
（２）図１４（ａ）に示すように、補正処理がない場合の部位抽出結果では、右腕を胴体に誤検出しているが、図１４（ｂ）に示すように、本実施の形態に係る補正処理を行なった部位検出の結果では、肘、手首が胴体と誤検出されることが改善されている。
（３）部位の候補点に非検出対象が含まれたときも、検出対象の候補点のみに分離可能である。また、検出対象の候補点のみに分離することで、部位の誤検出を防止することが可能となる。
本発明の実施の形態によれば、以下のような効果を有する。
（１）本発明の実施の形態に係る処理装置は、車両８の乗員５を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を画素に割り当てた距離画像を取得する取得部としてのＴＯＦカメラ１０と、車両８の車室内空間における座標系と距離画像における座標系との対応関係に従って、特定の座標系を有した検出画像へと変換して、その検出画像において複数の乗員５の特徴点を検出する特徴点検出処理、及び特徴点検出処理で検出された特徴点を、人体構造における不動点との位置関係に従って補正する補正処理を実行する制御部２０と、を有して構成されている。これにより、人体の特徴点を特定する技術において、その特徴点の特定精度を向上させることができる。
（２）図１４（ａ）に示すように、補正処理がない場合の部位抽出結果では、右腕を胴体に誤検出しているが、図１４（ｂ）に示すように、本実施の形態に係る補正処理を行なった部位検出の結果では、肘、手首が胴体と誤検出されることが改善されている。
（３）部位の候補点に非検出対象が含まれたときも、検出対象の候補点のみに分離可能である。また、検出対象の候補点のみに分離することで、部位の誤検出を防止することが可能となる。
以上、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。また、これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。
例えば、カメラ設置位置、角度は上記説明で示した例に限らない。また、カメラはＴＯＦカメラに限らない。また、ステレオカメラ等、他の距離センサでもよい。また、スケルトンモデルの定義で示したパラメータはそれに限らない。また、検出する部位は肩、肘、手首、手に限らない。例えば、肩、肘、手としてもよい。また、首位置の算出は上記した方法に限らない。例えば、頭部の傾きを考慮した算出方法としてもよい。
また、これら実施の形態の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１…処理装置、５…乗員、８…車両、１０…ＴＯＦカメラ、２０…制御部、２０３…腰骨位置、２５０…母線、３００…頭部位置、３０５…首位置、３１０、３１１…肩位置、３２０、３２１…肘位置、３３０、３３１…手首位置、３４０、３４１…手位置、Ｐ…起点
Claims (10)
- 車両の乗員を含む撮像領域を撮像対象とし、与えられた２次元座標系の座標に対応する画素ごとに前記撮像対象までの距離情報を割り当てた距離画像を取得する取得部と、
前記取得部で取得した前記距離画像の前記２次元座標系の前記画素の座標とこの座標の前記距離情報とを３次元空間上の点に変換して３次元画素群を作成し、前記３次元画素群の第１の座標系を、前記乗員の不動点を原点とする第２の座標系に変換し、変換された前記第２の座標系における前記３次元画素群から複数の前記乗員の特徴点の候補となる画素群を検出する特徴点検出処理、及び前記特徴点検出処理で検出された複数の前記画素群を分類し、分類した前記画素群を前記不動点との位置関係に従って分離することで前記乗員の特徴点を抽出する補正処理を実行する制御部と、
を有する処理装置。 - 前記補正処理は、前記第２の座標系において前記原点から前記車両の右方向を正、左方向を負とする第１の軸、前記車両の前方向を正とする第２の軸、及び前記車両の上方向を正とする第３の軸とした場合、検出した複数の前記画素群を分類し、前記不動点に対して、前記第２の軸の正方向である前側、前記第１の軸の正負方向である外側、又は、前記第３の軸の正方向である上側の前記画素群を分離することで前記乗員の特徴点を抽出する、請求項１に記載の処理装置。
- 前記補正処理は、前記乗員の肘検出において、前記不動点に対して、前記前側、前記外側、又は、前記上側の前記乗員の肘の前記画素群を分離して、前記乗員の肘の特徴点として抽出する、請求項２に記載の処理装置。
- 前記補正処理は、前記乗員の手首検出において、前記不動点に対して、前記前側の前記乗員の手首の前記画素群を分離して、前記乗員の手首の特徴点として抽出する、請求項２又は３に記載の処理装置。
- 前記補正処理により抽出された前記画素群の重心位置を正規な特徴点の位置とする、請求項１から４のいずれか１項に記載の処理装置。
- 車両の乗員を含む撮像領域を撮像対象とし、与えられた２次元座標系の座標に対応する画素ごとに前記撮像対象までの距離情報を割り当てた距離画像を取得する取得ステップと、
前記取得ステップで取得した前記距離画像の前記２次元座標系の前記画素の座標とこの座標の前記距離情報とを３次元空間上の点に変換して３次元画素群を作成し、前記３次元画素群の第１の座標系を、前記乗員の不動点を原点とする第２の座標系に変換し、変換された前記第２の座標系における前記３次元画素群から複数の前記乗員の特徴点の候補となる画素群を検出する特徴点検出処理、及び前記特徴点検出処理で検出された複数の前記画素群を分類し、分類した前記画素群を前記不動点との位置関係に従って分離することで前記乗員の特徴点を抽出する補正処理を実行する制御ステップとを、コンピュータに実行させるためのプログラム。 - 前記制御ステップにおいて、前記補正処理は、前記第２の座標系において前記原点から前記車両の右方向を正、左方向を負とする第１の軸、前記車両の前方向を正とする第２の軸、及び前記車両の上方向を正とする第３の軸とした場合、検出した複数の前記画素群を分類し、前記不動点に対して、前記第２の軸の正方向である前側、前記第１の軸の正負方向である外側、又は、前記第３の軸の正方向である上側の前記画素群を分離することで前記乗員の特徴点を抽出する、請求項６に記載のプログラム。
- 前記制御ステップにおいて、前記補正処理は、前記乗員の肘検出において、前記不動点に対して、前記前側、前記外側、又は、前記上側の前記乗員の肘の前記画素群を分離して、前記乗員の肘の特徴点として抽出する、請求項７に記載のプログラム。
- 前記制御ステップにおいて、前記補正処理は、前記乗員の手首検出において、前記不動点に対して、前記前側の前記乗員の手首の前記画素群を分離して、前記乗員の手首の特徴点として抽出する、請求項７又は８に記載のプログラム。
- 前記制御ステップにおいて、前記補正処理により抽出された前記画素群の重心位置を正規な特徴点の位置とする、請求項６から９のいずれか１項に記載のプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018066469A JP7053342B2 (ja) | 2018-03-30 | 2018-03-30 | 処理装置、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018066469A JP7053342B2 (ja) | 2018-03-30 | 2018-03-30 | 処理装置、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019179290A JP2019179290A (ja) | 2019-10-17 |
| JP7053342B2 true JP7053342B2 (ja) | 2022-04-12 |
Family
ID=68278615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018066469A Active JP7053342B2 (ja) | 2018-03-30 | 2018-03-30 | 処理装置、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7053342B2 (ja) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012127811A (ja) | 2010-12-15 | 2012-07-05 | Honda Motor Co Ltd | 乗員検知装置 |
| JP2017111508A (ja) | 2015-12-14 | 2017-06-22 | 富士通テン株式会社 | 情報処理装置、情報処理システム、および、情報処理方法 |
-
2018
- 2018-03-30 JP JP2018066469A patent/JP7053342B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012127811A (ja) | 2010-12-15 | 2012-07-05 | Honda Motor Co Ltd | 乗員検知装置 |
| JP2017111508A (ja) | 2015-12-14 | 2017-06-22 | 富士通テン株式会社 | 情報処理装置、情報処理システム、および、情報処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019179290A (ja) | 2019-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10234957B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
| CN113243016A (zh) | 物体识别系统、运算处理装置、汽车、车辆用灯具、分类器的学习方法 | |
| US9811742B2 (en) | Vehicle-surroundings recognition device | |
| JP5950296B2 (ja) | 人物追跡属性推定装置、人物追跡属性推定方法、プログラム | |
| US10430650B2 (en) | Image processing system | |
| US9809227B2 (en) | Apparatus and method for identifying target object | |
| US11654571B2 (en) | Three-dimensional data generation device and robot control system | |
| US20190266425A1 (en) | Identification apparatus, identification method, and non-transitory tangible recording medium storing identification program | |
| JP2013089252A (ja) | 映像処理方法及び装置 | |
| WO2017051480A1 (ja) | 画像処理装置及び画像処理方法 | |
| JP2015219868A (ja) | 情報処理装置、情報処理方法、プログラム | |
| US20220165051A1 (en) | Feature point recognition system and recognition method | |
| JP2019179289A (ja) | 処理装置、及びプログラム | |
| KR20200113743A (ko) | 인체 자세 추정 및 보정을 하는 방법 및 장치 | |
| JP6410231B2 (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
| CN110991292A (zh) | 动作识别比对方法、系统、计算机存储介质和电子装置 | |
| JP2006090957A (ja) | 移動体の周囲物体検出装置及び移動体の周囲物体検出方法 | |
| US11989928B2 (en) | Image processing system | |
| JP7498404B2 (ja) | 被写体の３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム | |
| JP7117878B2 (ja) | 処理装置、及びプログラム | |
| JP7053342B2 (ja) | 処理装置、及びプログラム | |
| KR101696086B1 (ko) | 소나 이미지 내의 물체 부분 추출 방법 및 장치 | |
| US11527090B2 (en) | Information processing apparatus, control method, and non-transitory storage medium | |
| JP7375806B2 (ja) | 画像処理装置、及び画像処理方法 | |
| JP7053341B2 (ja) | 処理装置、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20180427 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180501 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201112 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220121 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220315 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220331 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7053342 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |