JP2952208B2 - 人体姿勢の推定方法 - Google Patents
人体姿勢の推定方法Info
- Publication number
- JP2952208B2 JP2952208B2 JP9086132A JP8613297A JP2952208B2 JP 2952208 B2 JP2952208 B2 JP 2952208B2 JP 9086132 A JP9086132 A JP 9086132A JP 8613297 A JP8613297 A JP 8613297A JP 2952208 B2 JP2952208 B2 JP 2952208B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- point
- gravity
- distance
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】
【発明の属する技術分野】この発明は人体姿勢の推定方
法に関し、特に、赤外線カメラから入力される熱画像を
用いて人体の姿勢を推定するような推定方法に関する。
法に関し、特に、赤外線カメラから入力される熱画像を
用いて人体の姿勢を推定するような推定方法に関する。
【０００２】
【従来の技術】バーチャネルリヤリティシステムにおい
ては、人物の表情と全身の動きを実時間で検出し、再現
する必要がある。人体の姿勢や動作を計測するために
は、大別して接触型と非接触型とがある。接触型とはデ
ータグローブや磁気センサなどのデバイスを装着する形
態のものであり、近年比較的簡単に利用可能となり、計
測精度も高いという特徴がある。
ては、人物の表情と全身の動きを実時間で検出し、再現
する必要がある。人体の姿勢や動作を計測するために
は、大別して接触型と非接触型とがある。接触型とはデ
ータグローブや磁気センサなどのデバイスを装着する形
態のものであり、近年比較的簡単に利用可能となり、計
測精度も高いという特徴がある。
【０００３】しかしながら、センサデバイスの装着は利
用者のストレス増大や、応用範囲の制限という問題を生
じる。一方の非接触型は、一般に画像などにより人物動
作を解析するというアプローチであり、利用者への負担
が軽減されるという利点がある。しかし、実時間性や処
理の安定性に問題が見られた。
用者のストレス増大や、応用範囲の制限という問題を生
じる。一方の非接触型は、一般に画像などにより人物動
作を解析するというアプローチであり、利用者への負担
が軽減されるという利点がある。しかし、実時間性や処
理の安定性に問題が見られた。
【０００４】
【発明が解決しようとする課題】すなわち、従来画像か
ら人物動作の検出，認識を行なう研究としては、人体各
部をモデル化し、画像特徴により姿勢をボトムアップ的
に求める手法や、時系列画像の差分や色情報から得られ
るパラメータの時系列変化とモデルデータベースとのマ
ッチングを行なうといったトップダウン的手法が検討さ
れている。しかし、これらは実時間性という観点から見
ると課題がある。
ら人物動作の検出，認識を行なう研究としては、人体各
部をモデル化し、画像特徴により姿勢をボトムアップ的
に求める手法や、時系列画像の差分や色情報から得られ
るパラメータの時系列変化とモデルデータベースとのマ
ッチングを行なうといったトップダウン的手法が検討さ
れている。しかし、これらは実時間性という観点から見
ると課題がある。
【０００５】それゆえに、この発明の主たる目的は、赤
外線カメラから入力される熱画像から人物の領域を抽出
し、姿勢を推定するような人体姿勢の推定方法を提供す
ることである。
外線カメラから入力される熱画像から人物の領域を抽出
し、姿勢を推定するような人体姿勢の推定方法を提供す
ることである。
【０００６】
【課題を解決するための手段】請求項１に係る発明は、
人体を赤外線カメラで撮影して得られた熱画像をしきい
値処理したシルエット画像および熱画像に対して距離変
換を施した画像を用いて人体の姿勢を推定する推定方法
であって、距離変換された熱画像より身体重心を求め、
求めた身体重心の水平位置よりも上方の画像から腕領域
を除去し、上半身距離画像の主軸を計算して上半身傾き
角を求め、距離変換を施した距離変換画像の極大値を求
めて骨格画像を作成し、骨格画像のうちの身体重心の垂
直位置より下方の下半身骨格画像の端点から所定の条件
を満たす端点を足先点として選び、人物領域の輪郭形状
によって手先点、首位置を求めて頭頂点を決定し、遺伝
的アルゴリズムを用いて頭頂点と手先点と足先点の特徴
部位から肘と膝の位置を推定するようにしたものであ
る。
人体を赤外線カメラで撮影して得られた熱画像をしきい
値処理したシルエット画像および熱画像に対して距離変
換を施した画像を用いて人体の姿勢を推定する推定方法
であって、距離変換された熱画像より身体重心を求め、
求めた身体重心の水平位置よりも上方の画像から腕領域
を除去し、上半身距離画像の主軸を計算して上半身傾き
角を求め、距離変換を施した距離変換画像の極大値を求
めて骨格画像を作成し、骨格画像のうちの身体重心の垂
直位置より下方の下半身骨格画像の端点から所定の条件
を満たす端点を足先点として選び、人物領域の輪郭形状
によって手先点、首位置を求めて頭頂点を決定し、遺伝
的アルゴリズムを用いて頭頂点と手先点と足先点の特徴
部位から肘と膝の位置を推定するようにしたものであ
る。
【０００７】
【０００８】
【０００９】
【発明の実施の形態】図１はこの発明の一実施形態を実
現するための装置のブロック図である。図１において、
赤外線カメラ１は人物とその背景を撮像し、熱画像を画
像処理装置２に与える。画像処理装置２は後述の図２に
示すフローチャートに基づくプログラムを実行し、人物
の姿勢を推定する。
現するための装置のブロック図である。図１において、
赤外線カメラ１は人物とその背景を撮像し、熱画像を画
像処理装置２に与える。画像処理装置２は後述の図２に
示すフローチャートに基づくプログラムを実行し、人物
の姿勢を推定する。
【００１０】図２はこの発明の一実施形態の動作を説明
するためのフローチャートであり、図３は熱人物画像の
一例を示す図であり、図４は距離変換画像とシルエット
輪郭を示す図であり、図５は上半身距離画像を示す図で
あり、図６は上半身主軸の抽出画像であり、図７は骨格
画像を示す図であり、図８は手先点の検出画像であり、
図９は頭頂点の検出画像であり、図１０は各特徴点の検
出画像である。
するためのフローチャートであり、図３は熱人物画像の
一例を示す図であり、図４は距離変換画像とシルエット
輪郭を示す図であり、図５は上半身距離画像を示す図で
あり、図６は上半身主軸の抽出画像であり、図７は骨格
画像を示す図であり、図８は手先点の検出画像であり、
図９は頭頂点の検出画像であり、図１０は各特徴点の検
出画像である。
【００１１】次に、図１〜図１０を参照して、この発明
の一実施形態の具体的な動作について説明する。図２に
示すステップ（図示ではＳＰと略称する）ＳＰ１におい
て、赤外線カメラ１によって観測しているシーン中の物
体が放射する熱エネルギを検出することにより、画素の
値が温度値である熱画像の入力を行なう。したがって、
赤外線カメラ１によってシーン中の人物を観測すること
により得られる熱画像においては、一般には人物の表面
温度（以下、人物温度と称する）と、背景の温度とが異
なるため、簡単なしきい値処理により照明条件によらず
安定に人物に対応する領域の抽出が可能となる。図３に
熱人物画像の一例を示す。
の一実施形態の具体的な動作について説明する。図２に
示すステップ（図示ではＳＰと略称する）ＳＰ１におい
て、赤外線カメラ１によって観測しているシーン中の物
体が放射する熱エネルギを検出することにより、画素の
値が温度値である熱画像の入力を行なう。したがって、
赤外線カメラ１によってシーン中の人物を観測すること
により得られる熱画像においては、一般には人物の表面
温度（以下、人物温度と称する）と、背景の温度とが異
なるため、簡単なしきい値処理により照明条件によらず
安定に人物に対応する領域の抽出が可能となる。図３に
熱人物画像の一例を示す。
【００１２】通常の空調の作動している室内であれば人
物温度以上の部分はほとんど存在せず、また存在しても
人物領域に比べて微小な面積である。また、人物によっ
ては人物温度の異なることが予想されるが、背景温度と
差と比較してその変動は非常に小さいために、人物ごと
に人物温度を再調整する必要はない。
物温度以上の部分はほとんど存在せず、また存在しても
人物領域に比べて微小な面積である。また、人物によっ
ては人物温度の異なることが予想されるが、背景温度と
差と比較してその変動は非常に小さいために、人物ごと
に人物温度を再調整する必要はない。
【００１３】ステップＳＰ２において、赤外線カメラ１
によって得られた熱画像をしきい値処理することによっ
てシルエット画像となる二値画像が得られる。ここで、
しきい値はシルエット画像が熱画像の最小二乗近似とな
るように選ぶ。図４にシルエット画像の一例を示す。
によって得られた熱画像をしきい値処理することによっ
てシルエット画像となる二値画像が得られる。ここで、
しきい値はシルエット画像が熱画像の最小二乗近似とな
るように選ぶ。図４にシルエット画像の一例を示す。
【００１４】次に、ステップＳＰ３においてシルエット
画像ｆij（２次元画像）から身体重心を求めるために距
離変換を施す。図４に示す白い部分が距離変換画像であ
り、距離変換画像ｄijの重心（Ｉc ，Ｊc ）を次式を用
いて求める。
画像ｆij（２次元画像）から身体重心を求めるために距
離変換を施す。図４に示す白い部分が距離変換画像であ
り、距離変換画像ｄijの重心（Ｉc ，Ｊc ）を次式を用
いて求める。
【００１５】
【数１】 ここでＩc とＪc は距離値で重み付けされた領域の重心
である。二値であるシルエット画像より重心を直接求め
る場合、腕や足の姿勢によって重心位置が著しく移動し
てしまい安定でない。しかし、距離変換画像を用いるこ
とで手足の姿勢の重心位置への影響を極力抑えることが
可能となる。
である。二値であるシルエット画像より重心を直接求め
る場合、腕や足の姿勢によって重心位置が著しく移動し
てしまい安定でない。しかし、距離変換画像を用いるこ
とで手足の姿勢の重心位置への影響を極力抑えることが
可能となる。
【００１６】ステップＳＰ４において上半身主軸の抽出
を行なう。距離変換画像のうち、身体重心の水平位置よ
りも上方の画像に対し、腕領域の除去処理のため前フレ
ームの上半身主軸を対称軸としたガウス分布を距離値に
乗じる。得られた画像（上半身距離画像）の領域は、胴
体部と頭部にほぼ集中しているので、図５に示すような
上半身距離画像ｇijの重心を求める。重心を通るｇijの
慣性主軸の角度θは次式に示すように表わされ、上半身
の傾きと見なすことができる。
を行なう。距離変換画像のうち、身体重心の水平位置よ
りも上方の画像に対し、腕領域の除去処理のため前フレ
ームの上半身主軸を対称軸としたガウス分布を距離値に
乗じる。得られた画像（上半身距離画像）の領域は、胴
体部と頭部にほぼ集中しているので、図５に示すような
上半身距離画像ｇijの重心を求める。重心を通るｇijの
慣性主軸の角度θは次式に示すように表わされ、上半身
の傾きと見なすことができる。
【００１７】
【数２】 水平方向に手を延ばした場合などは脊椎に沿う方向に主
軸が定まらないことが考えられるが、腕領域の除去処理
によりこの問題を解決できる。
軸が定まらないことが考えられるが、腕領域の除去処理
によりこの問題を解決できる。
【００１８】次に、ステップＳＰ５において輪郭形状を
獲得する。シルエット画像において身体重心からラスタ
走査し、最初に発見された輪郭（境界）画素を開始点と
して反時計回りに境界線の追跡を行なう。境界（輪郭）
線上で「１」画素、それ以外で「０」画素となる二値画
像を輪郭画像と呼ぶことにする。ここで、仮頭頂点とし
て上半身主軸から最短距離の輪郭点（上半身重心よりも
上方に位置するもの）を選ぶ。
獲得する。シルエット画像において身体重心からラスタ
走査し、最初に発見された輪郭（境界）画素を開始点と
して反時計回りに境界線の追跡を行なう。境界（輪郭）
線上で「１」画素、それ以外で「０」画素となる二値画
像を輪郭画像と呼ぶことにする。ここで、仮頭頂点とし
て上半身主軸から最短距離の輪郭点（上半身重心よりも
上方に位置するもの）を選ぶ。
【００１９】ステップＳＰ６において足先点の検出が行
なわれる。身体重心の算出に用いた距離変換画像の極大
値を求めることで図７に示すような骨格画像を作成す
る。下半身（身体重心の垂直位置より下方）かつ左
（右）半身（身体重心の水平位置を中心として左あるい
は右側）に存在する骨格の端点の中から「身体重心から
の水平偏差が最大」の条件を満たす端点を足先点として
選ぶ。
なわれる。身体重心の算出に用いた距離変換画像の極大
値を求めることで図７に示すような骨格画像を作成す
る。下半身（身体重心の垂直位置より下方）かつ左
（右）半身（身体重心の水平位置を中心として左あるい
は右側）に存在する骨格の端点の中から「身体重心から
の水平偏差が最大」の条件を満たす端点を足先点として
選ぶ。
【００２０】ステップＳＰ７において手先点の検出が行
なわれる。輪郭上で仮頭頂から足先までに相当する輪郭
に含まれる画素数をｌh ：ｍh ：ｎh の比率に分割し、
中央部分に含まれる輪郭点を手先点の候補区間とする。
なお、ｌh ，ｍh ，ｎh は経験的に求めた定数である。
なわれる。輪郭上で仮頭頂から足先までに相当する輪郭
に含まれる画素数をｌh ：ｍh ：ｎh の比率に分割し、
中央部分に含まれる輪郭点を手先点の候補区間とする。
なお、ｌh ，ｍh ，ｎh は経験的に求めた定数である。
【００２１】候補中で垂直位置が最高（手先候補点Ａ）
および最低の点（手先候補点Ｂ）と、身体重心からの水
平距離が最長の点（手先候補点Ｃ）を選ぶ。そして、以
下の条件に従って順に評価を行ない、上記を満たす候補
点を手先点とする。
および最低の点（手先候補点Ｂ）と、身体重心からの水
平距離が最長の点（手先候補点Ｃ）を選ぶ。そして、以
下の条件に従って順に評価を行ない、上記を満たす候補
点を手先点とする。
【００２２】 手先候補点Ａの垂直位置＞仮頭頂点の垂直位置−Ｔ
1 手先候補点Ｂの垂直位置＜身体重心の垂直位置＋Ｔ
1 手先候補点Ｂの水平位置＜身体重心の水平位置＋Ｔ
2 候補区間の終点 ここで、Ｔ1 ，Ｔ2 はそれぞれシルエットの外接四角形
の高さによって定まる定数である。図８に手先点の検出
画像を示す。
1 手先候補点Ｂの垂直位置＜身体重心の垂直位置＋Ｔ
1 手先候補点Ｂの水平位置＜身体重心の水平位置＋Ｔ
2 候補区間の終点 ここで、Ｔ1 ，Ｔ2 はそれぞれシルエットの外接四角形
の高さによって定まる定数である。図８に手先点の検出
画像を示す。
【００２３】ステップＳＰ８において頭頂点の検出が行
なわれる。輪郭上で仮頭頂から手先に相当する輪郭の画
素数をｌp ：ｍp ：ｎp の比率に分割し、中央部分に含
まれる輪郭点を手先点の候補とする。そして、上半身主
軸までの距離が最短である点を首位置として、左右の首
位置に挟まれている輪郭の二等分点を頭頂点とする。手
先点の検出の場合と同様にして、ｌp ，ｍp ，ｎp は経
験的に求めた定数である。図９に頭頂点の検出画像を示
す。
なわれる。輪郭上で仮頭頂から手先に相当する輪郭の画
素数をｌp ：ｍp ：ｎp の比率に分割し、中央部分に含
まれる輪郭点を手先点の候補とする。そして、上半身主
軸までの距離が最短である点を首位置として、左右の首
位置に挟まれている輪郭の二等分点を頭頂点とする。手
先点の検出の場合と同様にして、ｌp ，ｍp ，ｎp は経
験的に求めた定数である。図９に頭頂点の検出画像を示
す。
【００２４】ところで、全身の姿勢をコンピュータグラ
フィックモデルとして再現しようとする場合、重心，
頭，手，足の各位置の情報だけでは不十分である。たと
えば、肘の位置が既知でなければ腕の姿勢は数多くのパ
ターンを取り得ることになり、一意に決定することがで
きず、肘と膝の位置情報が重要となる。しかし、これら
の部位は輪郭として明確な特徴を備えておらず、手先な
どのように輪郭に基づくヒューリスティックな手法では
検出が困難である。そこで、この実施形態では、遺伝的
アルゴリズムによって肘と膝の位置を推定する。遺伝的
アルゴリズムでは対象問題の解候補は、遺伝子型として
染色体で一次元的に表現する。そして、染色体の初期集
団を発生させ、評価関数に応じた選択淘汰，交叉，突然
変異という遺伝的操作を行ないながら、解の集団を操作
対象として並列的に探索を進めていく。この実施形態で
は、肘，膝の位置を前述の身体重心，頭頂，手先，足先
の特徴点の線形結合式で表現し、その結合式の係数を遺
伝子情報として見立て、遺伝的アルゴリズムにより推定
誤差が小さくなるような係数の組合せを探索する。各フ
レームごとの膝（肘）の位置をｘi ，推定される位置を
ｘ＾i とするときの適応度（評価関数）ｆを、推定誤差
ｘi −ｘ＾i の平均値／ｅと誤差の分散の和の逆数とし
て定義する。
フィックモデルとして再現しようとする場合、重心，
頭，手，足の各位置の情報だけでは不十分である。たと
えば、肘の位置が既知でなければ腕の姿勢は数多くのパ
ターンを取り得ることになり、一意に決定することがで
きず、肘と膝の位置情報が重要となる。しかし、これら
の部位は輪郭として明確な特徴を備えておらず、手先な
どのように輪郭に基づくヒューリスティックな手法では
検出が困難である。そこで、この実施形態では、遺伝的
アルゴリズムによって肘と膝の位置を推定する。遺伝的
アルゴリズムでは対象問題の解候補は、遺伝子型として
染色体で一次元的に表現する。そして、染色体の初期集
団を発生させ、評価関数に応じた選択淘汰，交叉，突然
変異という遺伝的操作を行ないながら、解の集団を操作
対象として並列的に探索を進めていく。この実施形態で
は、肘，膝の位置を前述の身体重心，頭頂，手先，足先
の特徴点の線形結合式で表現し、その結合式の係数を遺
伝子情報として見立て、遺伝的アルゴリズムにより推定
誤差が小さくなるような係数の組合せを探索する。各フ
レームごとの膝（肘）の位置をｘi ，推定される位置を
ｘ＾i とするときの適応度（評価関数）ｆを、推定誤差
ｘi −ｘ＾i の平均値／ｅと誤差の分散の和の逆数とし
て定義する。
【００２５】
【数３】 ステップＳＰ９において膝位置を推定する。すなわち、
身体重心（ｘg ，ｙg），頭（ｘp ，ｙp ），手先（ｘ
h ，ｙh ），足先（ｘf ，ｙf ）の各位置の加重線形和
を用いて次式に示すように肘の位置（ｘe ，ｙe ）を表
現する。なお、各部位はｘ〜（ただし、〜とは上付の波
線を表わす） ＝ｘ−ｘg のように身体重心からの相対
位置で表わしている。前述のごとく、次式の係数Ｃi を
遺伝的アルゴリズムにより推定する。
身体重心（ｘg ，ｙg），頭（ｘp ，ｙp ），手先（ｘ
h ，ｙh ），足先（ｘf ，ｙf ）の各位置の加重線形和
を用いて次式に示すように肘の位置（ｘe ，ｙe ）を表
現する。なお、各部位はｘ〜（ただし、〜とは上付の波
線を表わす） ＝ｘ−ｘg のように身体重心からの相対
位置で表わしている。前述のごとく、次式の係数Ｃi を
遺伝的アルゴリズムにより推定する。
【００２６】
【数４】 次に、ステップＳＰ１０において膝位置の推定を行な
う。手先から足先までの輪郭において、身体重心と足先
の垂直位置の差分を二等分した垂直位置に存在する輪郭
点（ｘ１，ｙ１）を探索しておく。身体重心（ｘｇ，ｙ
ｇ），頭（ｘｐ，ｙｐ），足先（ｘｆ，ｙｆ），輪郭点
（ｘ１，ｙ１）の各位置の荷重線形和を用いて次式に示
すように膝の位置（ｘｋ，ｙｋ）を表現し、遺伝的アル
ゴリズムにより係数Ｗｉを推定する。図１０に各特徴点
の検出画像を示す。
う。手先から足先までの輪郭において、身体重心と足先
の垂直位置の差分を二等分した垂直位置に存在する輪郭
点（ｘ１，ｙ１）を探索しておく。身体重心（ｘｇ，ｙ
ｇ），頭（ｘｐ，ｙｐ），足先（ｘｆ，ｙｆ），輪郭点
（ｘ１，ｙ１）の各位置の荷重線形和を用いて次式に示
すように膝の位置（ｘｋ，ｙｋ）を表現し、遺伝的アル
ゴリズムにより係数Ｗｉを推定する。図１０に各特徴点
の検出画像を示す。
【００２７】
【数５】 図１１〜図１４はこの発明の一実施形態を用いて推定し
た肘と膝の位置と実測値とを対比して示した図であり、
特に、図１１は肘の水平位置の実測値と推定結果を示
し、図１２は肘の垂直位置の実測値との推定結果を示
し、図１３は膝の水平位置の実測値と推定結果を示し、
図１４は膝の垂直位置の実測値と推定結果を示す。この
図１１〜図１４に示した図は以下に示すような実験の結
果によるものである。すなわち、「腕を曲げる」，「腕
を上げる」，「屈伸をする」，「横にステップを踏み出
す」，「足を上げる」などの肘や膝の動きを中心とした
一連の動作を熱カメラにより撮影し、熱画像を解像度１
６０×１２０画素で計算機に取込み、マニュアルにて肘
と膝の位置を入力し、これを目標値として遺伝的アルゴ
リズムにより第（５）式および第（６）式の係数Ｃi ，
Ｗi を求めた。このパラメータを次の表１および表２に
示す。
た肘と膝の位置と実測値とを対比して示した図であり、
特に、図１１は肘の水平位置の実測値と推定結果を示
し、図１２は肘の垂直位置の実測値との推定結果を示
し、図１３は膝の水平位置の実測値と推定結果を示し、
図１４は膝の垂直位置の実測値と推定結果を示す。この
図１１〜図１４に示した図は以下に示すような実験の結
果によるものである。すなわち、「腕を曲げる」，「腕
を上げる」，「屈伸をする」，「横にステップを踏み出
す」，「足を上げる」などの肘や膝の動きを中心とした
一連の動作を熱カメラにより撮影し、熱画像を解像度１
６０×１２０画素で計算機に取込み、マニュアルにて肘
と膝の位置を入力し、これを目標値として遺伝的アルゴ
リズムにより第（５）式および第（６）式の係数Ｃi ，
Ｗi を求めた。このパラメータを次の表１および表２に
示す。
【００２８】
【表１】
【００２９】
【表２】 遺伝的アルゴリズムの各種パラメータは、個体数：２０
００，世代数：３０００，交差確率：０．０２，突然変
異率：０．００３に設定した。そして、評価のために第
（５）式および第（６）式に遺伝的アルゴリズムで求め
た係数と姿勢情報を当てはめて肘および膝の位置推定を
行ない、実測値との誤差を調べた、表１，２に求められ
た係数の値を示したのが図１１〜図１４である。各図に
おいて、実線は実測値を示し、破線はこの発明の一実施
形態による推定値を表わしている。図１１〜図１４から
明らかなように、誤差は極めて小さく、肘，膝とも実測
値をよく近似していることがわかる。
００，世代数：３０００，交差確率：０．０２，突然変
異率：０．００３に設定した。そして、評価のために第
（５）式および第（６）式に遺伝的アルゴリズムで求め
た係数と姿勢情報を当てはめて肘および膝の位置推定を
行ない、実測値との誤差を調べた、表１，２に求められ
た係数の値を示したのが図１１〜図１４である。各図に
おいて、実線は実測値を示し、破線はこの発明の一実施
形態による推定値を表わしている。図１１〜図１４から
明らかなように、誤差は極めて小さく、肘，膝とも実測
値をよく近似していることがわかる。
【００３０】
【発明の効果】以上のように、この発明によれば、熱画
像をしきい値処理したシルエット画像と熱画像に対して
距離変換を施した画像を用いて身体重心と頭頂と手先と
足先と肘関節と膝関節の９特徴点位置を検出し、姿勢を
推定するようにしたので、人体に各種機器を取付ける必
要のない非接触，非装着な方法で実時間で人体の姿勢を
推定することができる。しかも、推定した姿勢情報が学
習により三次元への対応がある程度可能であり、背景お
よび照明条件が変動するような環境下においても安定に
動作し、頑健な性格を持つことができる。
像をしきい値処理したシルエット画像と熱画像に対して
距離変換を施した画像を用いて身体重心と頭頂と手先と
足先と肘関節と膝関節の９特徴点位置を検出し、姿勢を
推定するようにしたので、人体に各種機器を取付ける必
要のない非接触，非装着な方法で実時間で人体の姿勢を
推定することができる。しかも、推定した姿勢情報が学
習により三次元への対応がある程度可能であり、背景お
よび照明条件が変動するような環境下においても安定に
動作し、頑健な性格を持つことができる。
【図１】この発明の一実施形態を実現するための装置を
示す概略ブロック図である。
示す概略ブロック図である。
【図２】この発明の一実施形態の動作を説明するための
フローチャートである。
フローチャートである。
【図３】熱人物画像の一例を示す図である。
【図４】距離変換画像とシルエット輪郭を示す図であ
る。
る。
【図５】上半身距離画像を示す図である。
【図６】上半身主軸の抽出画像を示す図である。
【図７】骨格画像を示す図である。
【図８】手先点の検出画像を示す図である。
【図９】頭頂点の検出画像を示す図である。
【図１０】各特徴点の検出画像を示す図である。
【図１１】肘の水平位置の実測値と推定結果を示す図で
ある。
ある。
【図１２】肘の垂直位置の実測値と推定結果を示す図で
ある。
ある。
【図１３】膝の水平位置の実測値と推定結果を示す図で
ある。
ある。
【図１４】肘の垂直位置の実測値と推定結果を示す図で
ある。
ある。
１ 赤外線カメラ ２ 画像処理装置
───────────────────────────────────────────────────── フロントページの続き (72)発明者 大谷 淳 京都府相楽郡精華町大字乾谷小字三平谷 ５番地 株式会社エイ・ティ・アール知 能映像通信研究所内 (56)参考文献 特開 平７−59754（ＪＰ，Ａ) 特開 平５−253193（ＪＰ，Ａ) 尾上守夫著、「医用画像処理」、朝倉 書店，ｐｐ86−87 テレビジョン学会編、「テレビジョ ン・画像情報工学ハンドブック」、オー ム社、ｐｐ423−424 (58)調査した分野(Int.Cl.6，ＤＢ名) A61B 5/11
Claims (1)
- 【請求項１】 人体を赤外線カメラで撮影して得られた
熱画像をしきい値処理したシルエット画像および熱画像
に対して距離変換を施した画像を用いて人体の姿勢を推
定する推定方法であって、前記距離変換された熱画像より 身体重心を求める第１の
ステップ、 前記求めた身体重心の水平位置よりも上方の画像から腕
領域を除去し、上半身距離画像の主軸を計算して上半身
傾き角を求める第２のステップ、前記距離変換を施した距離変換画像の極大値を求めて骨
格画像を作成する第３のステップ、 前記骨格画像のうちの身体重心の垂直位置より下方の下
半身骨格画像の端点から所定の条件を満たす端点を足先
点として選ぶ第４のステップ、 前記人物領域の輪郭形状によって手先点を求める第５の
ステップ、 前記人物領域の輪郭形状によって首位置を求め、頭頂点
を決定する第６のステップ、および 遺伝的アルゴリズム
を用いて前記頭頂点と手先点と足先点の特徴部位から肘
と膝の位置を推定する第７のステップを含むことを特徴
とする、 人体姿勢の推定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9086132A JP2952208B2 (ja) | 1997-03-18 | 1997-03-18 | 人体姿勢の推定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9086132A JP2952208B2 (ja) | 1997-03-18 | 1997-03-18 | 人体姿勢の推定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10258044A JPH10258044A (ja) | 1998-09-29 |
| JP2952208B2 true JP2952208B2 (ja) | 1999-09-20 |
Family
ID=13878193
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9086132A Expired - Fee Related JP2952208B2 (ja) | 1997-03-18 | 1997-03-18 | 人体姿勢の推定方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2952208B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002093318A2 (en) | 2001-05-15 | 2002-11-21 | Psychogenics Inc. | Systems and methods for monitoring behavior informatics |
| JP4655865B2 (ja) * | 2005-10-14 | 2011-03-23 | 株式会社デンソー | 車両用シート空調装置および車両用シート |
| JP5242260B2 (ja) * | 2008-07-01 | 2013-07-24 | 株式会社タニタ | 体組成測定装置 |
| KR100961097B1 (ko) | 2008-08-12 | 2010-06-07 | 전자부품연구원 | 열 화상 카메라를 이용한 머리방향 인식장치 |
| WO2013084031A1 (en) * | 2011-12-09 | 2013-06-13 | Ku Siu Fung | System for motion tracking and comparison |
| KR101956275B1 (ko) * | 2012-09-26 | 2019-06-24 | 삼성전자주식회사 | 영상으로부터 신체 골격 및 신체 부위 정보 검출 방법 및 장치 |
| DE112017002805T5 (de) | 2016-06-03 | 2019-02-28 | Mitsubishi Electric Corporation | Ausrüstungssteuerungseinrichtung und Ausrüstungssteuerungsverfahren |
-
1997
- 1997-03-18 JP JP9086132A patent/JP2952208B2/ja not_active Expired - Fee Related
Non-Patent Citations (2)
| Title |
|---|
| テレビジョン学会編、「テレビジョン・画像情報工学ハンドブック」、オーム社、ｐｐ４２３−４２４ |
| 尾上守夫著、「医用画像処理」、朝倉書店，ｐｐ８６−８７ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10258044A (ja) | 1998-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110969114B (zh) | 一种人体动作功能检测系统、检测方法及检测仪 | |
| CN107392086B (zh) | 人体姿态的评估装置、系统及存储装置 | |
| JP7094702B2 (ja) | 画像処理装置及びその方法、プログラム | |
| JP5820366B2 (ja) | 姿勢推定装置及び姿勢推定方法 | |
| JP4318465B2 (ja) | 人物検出装置および人物検出方法 | |
| US20220383653A1 (en) | Image processing apparatus, image processing method, and non-transitory computer readable medium storing image processing program | |
| Ye et al. | A depth camera motion analysis framework for tele-rehabilitation: Motion capture and person-centric kinematics analysis | |
| JP5801237B2 (ja) | 部位推定装置、部位推定方法、および部位推定プログラム | |
| WO2007102537A1 (ja) | 姿勢推定装置および方法 | |
| JP2000251078A (ja) | 人物の３次元姿勢推定方法および装置ならびに人物の肘の位置推定方法および装置 | |
| JP2012123667A (ja) | 姿勢推定装置および姿勢推定方法 | |
| JP2967086B1 (ja) | 多眼画像処理による人物の三次元姿勢推定方法 | |
| JP5940862B2 (ja) | 画像処理装置 | |
| JP5699697B2 (ja) | ロボット装置、位置姿勢検出装置、位置姿勢検出プログラム、および位置姿勢検出方法 | |
| JP2952208B2 (ja) | 人体姿勢の推定方法 | |
| JP4419543B2 (ja) | 検出装置および検出方法 | |
| JP2001005973A (ja) | カラー画像による人物の３次元姿勢推定方法および装置 | |
| JP2005351814A (ja) | 検出装置および検出方法 | |
| JP2009288917A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN107341179B (zh) | 标准运动数据库的生成方法、装置及存储装置 | |
| US20220366716A1 (en) | Person state detection apparatus, person state detection method, and non-transitory computer readable medium storing program | |
| JPWO2020013021A1 (ja) | 検出装置、処理装置、検出方法、及び処理プログラム | |
| Senior | Real-time articulated human body tracking using silhouette information | |
| JPH0792369B2 (ja) | 画像計測装置 | |
| WO2022009327A1 (ja) | 画像選択装置、画像選択方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990629 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |