JPH09237348A - 人体の姿勢推定方法 - Google Patents

人体の姿勢推定方法

Info

Publication number
JPH09237348A
JPH09237348A JP8070974A JP7097496A JPH09237348A JP H09237348 A JPH09237348 A JP H09237348A JP 8070974 A JP8070974 A JP 8070974A JP 7097496 A JP7097496 A JP 7097496A JP H09237348 A JPH09237348 A JP H09237348A
Authority
JP
Japan
Prior art keywords
human body
stick model
distance
image
hands
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8070974A
Other languages
English (en)
Inventor
Hiroshi Kano
浩 蚊野
Ryuji Suzuki
龍司 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP8070974A priority Critical patent/JPH09237348A/ja
Publication of JPH09237348A publication Critical patent/JPH09237348A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 人体に特別な器具を取り付けることなく、人
体の姿勢を推定する。 【解決手段】 人体の姿勢推定方法は、被写体までの距
離を画素毎に表わす距離画像の生成が可能なビデオレー
ト・ステレオマシンから、姿勢推定対象となる人体の距
離画像を取り込む第1ステップS1と、該距離画像と、
人体を複数本のスティックの連結体で表わしたスティッ
クモデルとをマッチングさせる第2ステップS2と、該
スティックモデルの各パラメータを決定する第3ステッ
プS3とを有している。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、人体を複数本のス
ティックの連結体で表わしたスティックモデルに基づい
て、人体の姿勢を推定する方法に関するものである。
【0002】
【従来の技術】従来、人体の運動解析等を目的として、
人体の要所にLED、反射板などのマーカを取り付け
て、これらのマーカの3次元位置を検出することによっ
て、人体の姿勢を推定することが行なわれている。
【0003】
【発明が解決しようとする課題】しかしながら、従来の
姿勢推定方法においては、人体にマーカを取り付ける必
要があり、その作業が煩雑である問題があった。本発明
の目的は、人体に特別な器具を取り付けることなく、人
体の姿勢を推定することである。
【0004】
【課題を解決する為の手段】そこで、本発明において
は、人体を複数本のスティックの連結体で表わしたステ
ィックモデル(電子情報通信学会論文誌1991年3月Vol.J7
4-D-IINo.3pp376-387参照)によって人体の構造及び動き
に関する制約をモデル化する。そして、人体を一定位置
から撮影して、該撮影位置から被写体までの距離を画素
毎に表わす距離画像を生成し、該距離画像と前記スティ
ックモデルとのマッチングを図ることによって、スティ
ックモデルの各パラメータを決定する。これによって人
体の姿勢が推定されることになる。
【0005】尚、距離画像の生成に用いる撮像装置とし
ては、例えば公知のビテオレート・ステレオマシン(日
本ロボット学会誌vol.13 No.3,pp322〜326,1995)を採用
することが出来る。該撮像装置によって人体を撮影する
と、人体の画像を表わす各画素について、カラー情報
(例えばRGBデータ)と、距離情報(例えば撮影位置を
原点とする距離データ)とがリアルタイムに出力され、
カラー情報によって2次元カラー画像が構成され、距離
情報によって距離画像が構成されることになる。
【0006】より具体的には、人体の上半身の姿勢を推
定するべく、第1工程では、撮像装置から人体の上半身
の2次元カラー画像と距離画像を取り込んだ後、第2工
程では、前記カラー画像に基づいて、人体の頭部と両手
の2次元位置を検出した後、該検出結果と前記距離画像
に基づいて、人体の頭部と両手の3次元位置を決定す
る。そして、第3工程では、決定された頭部と両手の3
次元位置を、人体の上半身を複数本のスティックの連結
体で表わしたスティックモデルに当てはめて、スティッ
クモデルの各パラメータを決定する。
【0007】上記人体の姿勢推定方法においては、第2
工程にて、カラー画像の中の肌色領域を抽出することに
よって、衣服から露出した人体部分、即ち顔と両手の3
つの画像が抽出される。ここで、一般に顔の皮膚面積は
片手の皮膚面積よりも広いので、面積の比較によって、
顔の画像と両手の画像を識別することが出来る。この結
果、人体の頭部と両手の2次元位置が検出される。その
後、距離画像の中の前記2次元位置における距離情報に
基づいて、撮影位置から人体の頭部及び両手までの距離
が導出され、該距離と前記2次元位置に基づいて、人体
の頭部と両手の3次元位置が決定される。そして、第3
工程では、スティックモデルのパラメータを、前記決定
された人体の頭部と両手の3次元位置に応じて決定す
る。この結果、スティックモデルのパラメータの内、多
くのパラメータが決定されることになるが、残りのパラ
メータについても、距離画像の距離情報を参酌すること
によって決定することが可能である。
【0008】
【発明の効果】本発明に係る人体の姿勢推定方法によれ
ば、人体にマーカ等の特別な器具を取り付けることな
く、人体の姿勢を推定することが出来る。
【0009】
【発明の実施の形態】以下、本発明の実施の形態につ
き、図面に沿って具体的に説明する。図1は本発明の姿
勢推定方法を実施するための装置構成を表わしており、
ビデオレート・ステレオマシン(1)から出力されるカラ
ー画像はクロマキー装置(2)を経て演算処理装置(4)へ
供給されると共に、ビデオレート・ステレオマシン(1)
から出力される距離画像は切り出し回路(3)を経て演算
処理装置(4)へ供給されている。演算処理装置(4)はマ
イクロコンピュータによって構成されており、必要に応
じてディスプレイ(図示省略)等の出力装置が接続され
る。
【0010】クロマキー装置(2)は、ビデオレート・ス
テレオマシン(1)から得られるカラー画像の中から、人
体部分のカラー画像を抽出して、切り出し回路(3)及び
演算処理装置(4)へ供給するものである。又、切り出し
回路(3)は、クロマキー装置(2)から入力される人体部
分のカラー画像に基づいて、ビデオレート・ステレオマ
シン(1)から得られる距離画像の中から、人体部分の距
離画像を切り出して、演算処理装置(4)へ供給するもの
である。
【0011】演算処理装置(4)には予め人体のスティッ
クモデルが構築されており、演算処理装置(4)は、後述
の姿勢推定手続きを実行することによって、クロマキー
装置(2)及び切り出し回路(3)から得られる人体部分の
カラー画像及び距離画像とスティックモデルとに基づい
て、人体の姿勢を推定するものである。
【0012】図2は、演算処理装置(4)が実行する基本
的な姿勢推定方法の手続きを表わしており、先ずステッ
プS1にて、切り出し回路(3)から人体部分の距離画像
を取得した後、ステップS2にて、距離画像と人体のス
ティックモデルとのマッチングが図られる。そして、ス
テップS3では、前記マッチングの結果に基づいて、ス
ティックモデルの各パラメータが決定される。
【0013】図5は、人体の上半身のスティックモデル
を表わしており、頭部から垂直下方に伸びる第1スティ
ックT1と、両肩を結ぶ第2スティックT2と、左肩と
左肘を結ぶ第3スティックT3と、左肘と左手を結び第
4スティックT4と、右肩と右肘を結ぶ第5スティック
T5と、右肘と右手を結ぶ第6スティックT6とによっ
て上半身がモデル化されている。
【0014】図3は、上半身のスティックモデルを対象
として演算処理装置(4)が実行する姿勢推定方法の手続
きを表わしている。先ずステップS11にて、切り出し
回路(3)及びクロマキー装置(2)から夫々人体部分の距
離画像及びカラー画像を取得する。
【0015】例えば、図9(a)の如く両手を上げた姿勢
の場合、図10に示す如き距離画像が得られる。又、図
9(b)の如く右手を前方へ突き出した姿勢の場合は、図
11に示す如き距離画像が得られることになる。
【0016】次に図3のステップS12にてカラー画像
から肌色領域を抽出した後、ステップS13では、所定
面積以下の肌色領域を削除する。これによって、衣服か
ら露出した人体部分、即ち顔と両手の3つの画像が抽出
される。尚、ステップS13は、ノイズ除去や、例えば
顔の画像から切り離された耳の画像等を削除するための
処理である。続いてステップS14にて、顔と両手の3
つの画像の内、最大面積領域を顔の画像として認識す
る。即ち、一般に顔の皮膚面積は片手の皮膚面積よりも
広いので、面積の比較によって、顔の画像と両手の画像
を識別するのである。その後、ステップS15にて、前
記認識結果に基づいて、人体の頭部及び両手の2次元位
置を検出する。図6は頭部の2次元位置P1と、両手の
2次元位置P4、P5を示す一例であって、本実施例で
は、図示の如く頭部及び両手は相互に重なっていないこ
とを前提とする。
【0017】次に図3のステップS16にて、距離画像
の中の前記2次元位置P1、P4及びP5における距離
情報に基づいて、ビデオレート・ステレオマシン(1)か
ら人体の頭部及び両手までの距離を導出し、該距離と前
記2次元位置に基づいて、人体の頭部と両手の3次位置
を決定する。
【0018】その後、図4のステップS17に移行し
て、左右肩部の3次元位置を決定する。本実施例では、
図7に示す如く頭部の中心位置P1を通過する垂線を中
心として、左右に所定角度(例えば30度)だけ傾斜して
伸びる2本の傾斜線上に存在し、且つ相互の間隔が所定
の肩幅に相当する2点P2、P3を夫々左右肩部の位置
として決定する。尚、肩幅は、頭部の幅から推定するこ
とも可能である。
【0019】最後に図4のステップS18にて、左右肘
部の3次元位置を決定する。本実施例では、例えば右肘
の場合、図8に示す如く右肩部の位置P2と右手の位置
P4を結ぶ直線に垂直な平面上で、右腕を表わすスティ
ックT2とT3の連結点が描く円周線Cを想定し、該円
周線と距離画像との交点を右肘部の3次元位置P6とし
て決定する。
【0020】上記一連の手続きによって、図5に示すス
ティックモデルのパラメータが全て決定されることにな
る。この様にして全てのパラメータが決定されたスティ
ックモデルは、人体の運動解析や作業状態の分析等に利
用することが出来る。
【0021】上記実施の形態の説明は、本発明を説明す
るためのものであって、特許請求の範囲に記載の発明を
限定し、或は範囲を減縮する様に解すべきではない。
又、本発明の各部構成は上記実施の形態に限らず、特許
請求の範囲に記載の技術的範囲内で種々の変形が可能で
あることは勿論である。
【図面の簡単な説明】
【図1】本発明に係る人体の姿勢推定方法を実施するた
めの機器構成を示すブロック図である。
【図2】基本的な姿勢推定の手続きを表わすフローチャ
ートである。
【図3】上半身を対象とする姿勢推定の具体的手続きの
前半を表わすフローチャートである。
【図4】同上手続きの後半を表わすフローチャートであ
る。
【図5】上半身のスティックモデルを表わす図である。
【図6】頭部及び両手の位置の一例を表わす図である。
【図7】両肩部の位置の決定方法を説明する図である。
【図8】両肘部の位置を決定する方法を説明する図であ
る。
【図9】上半身の姿勢を例示する図である。
【図10】距離画像の一例を示す図である。
【図11】距離画像の他の例を示す図である。
【符号の説明】
(1) ビデオレート・ステレオマシン (2) クロマキー装置 (3) 切り出し回路 (4) 演算処理装置

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 被写体までの距離を画素毎に表わす距離
    画像の生成が可能な撮像装置から、姿勢推定対象となる
    人体の距離画像を取り込んで、該距離画像と、人体を複
    数本のスティックの連結体で表わしたスティックモデル
    とをマッチングさせることによって、該スティックモデ
    ルの各パラメータを決定する人体の姿勢推定方法。
  2. 【請求項2】 被写体の2次元カラー画像と、被写体ま
    での距離を画素毎に表わす距離画像の生成が可能な撮像
    装置から、姿勢推定対象となる人体の上半身の2次元カ
    ラー画像と距離画像を取り込む第1工程と、 前記カラー画像に基づいて、人体の頭部と両手の2次元
    位置を検出した後、該検出結果と前記距離画像に基づい
    て、人体の頭部と両手の3次元位置を決定する第2工程
    と、 決定された人体の頭部と両手の3次元位置を、人体の上
    半身を複数本のスティックの連結体で表わしたスティッ
    クモデルに当てはめて、該スティックモデルの各パラメ
    ータを決定する第3工程とを有する人体の姿勢推定方
    法。
JP8070974A 1996-02-29 1996-02-29 人体の姿勢推定方法 Pending JPH09237348A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8070974A JPH09237348A (ja) 1996-02-29 1996-02-29 人体の姿勢推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8070974A JPH09237348A (ja) 1996-02-29 1996-02-29 人体の姿勢推定方法

Publications (1)

Publication Number Publication Date
JPH09237348A true JPH09237348A (ja) 1997-09-09

Family

ID=13447011

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8070974A Pending JPH09237348A (ja) 1996-02-29 1996-02-29 人体の姿勢推定方法

Country Status (1)

Country Link
JP (1) JPH09237348A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6873743B2 (en) 2001-03-29 2005-03-29 Fotonation Holdings, Llc Method and apparatus for the automatic real-time detection and correction of red-eye defects in batches of digital images or in handheld appliances
US6904168B1 (en) 2001-03-29 2005-06-07 Fotonation Holdings, Llc Workflow system for detection and classification of images suspected as pornographic
JP2005152255A (ja) * 2003-11-25 2005-06-16 Matsushita Electric Works Ltd 人体姿勢計測装置
JP2005210666A (ja) * 2003-12-26 2005-08-04 Sumitomo Rubber Ind Ltd ゴルフスウィング診断システム
JP2005270480A (ja) * 2004-03-26 2005-10-06 Sumitomo Rubber Ind Ltd ゴルフスウィング計測システム
JP2005270534A (ja) * 2004-03-26 2005-10-06 Sumitomo Rubber Ind Ltd ゴルフスウィング計測方法
US6992423B2 (en) * 2000-04-18 2006-01-31 Pirelli Pneumatici S.P.A. Vehicle tire and system for generating electrical energy in the tire
JP2006236184A (ja) * 2005-02-28 2006-09-07 Nec Engineering Ltd 画像処理による人体検知方法
US7269516B2 (en) 2001-05-15 2007-09-11 Psychogenics, Inc. Systems and methods for monitoring behavior informatics
JP2008015931A (ja) * 2006-07-07 2008-01-24 Honda Motor Co Ltd 車両周辺監視システム、車両、車両周辺監視プログラム、および車両周辺監視システムの構築システム
JP2010514064A (ja) * 2006-12-21 2010-04-30 本田技研工業株式会社 ラベル付けを用いた人体姿勢の推定および追跡
JP2016075693A (ja) * 2011-03-30 2016-05-12 株式会社国際電気通信基礎技術研究所 計測装置,計測方法および計測プログラム

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6992423B2 (en) * 2000-04-18 2006-01-31 Pirelli Pneumatici S.P.A. Vehicle tire and system for generating electrical energy in the tire
US6904168B1 (en) 2001-03-29 2005-06-07 Fotonation Holdings, Llc Workflow system for detection and classification of images suspected as pornographic
US6873743B2 (en) 2001-03-29 2005-03-29 Fotonation Holdings, Llc Method and apparatus for the automatic real-time detection and correction of red-eye defects in batches of digital images or in handheld appliances
US7882135B2 (en) 2001-05-15 2011-02-01 Psychogenics, Inc. Method for predicting treatment classes using behavior informatics
US7580798B2 (en) 2001-05-15 2009-08-25 Psychogenics, Inc. Method for predicting treatment classes using animal behavior informatics
US7269516B2 (en) 2001-05-15 2007-09-11 Psychogenics, Inc. Systems and methods for monitoring behavior informatics
JP4507571B2 (ja) * 2003-11-25 2010-07-21 パナソニック電工株式会社 人体姿勢計測装置
JP2005152255A (ja) * 2003-11-25 2005-06-16 Matsushita Electric Works Ltd 人体姿勢計測装置
JP2005210666A (ja) * 2003-12-26 2005-08-04 Sumitomo Rubber Ind Ltd ゴルフスウィング診断システム
JP2005270534A (ja) * 2004-03-26 2005-10-06 Sumitomo Rubber Ind Ltd ゴルフスウィング計測方法
JP2005270480A (ja) * 2004-03-26 2005-10-06 Sumitomo Rubber Ind Ltd ゴルフスウィング計測システム
JP2006236184A (ja) * 2005-02-28 2006-09-07 Nec Engineering Ltd 画像処理による人体検知方法
JP2008015931A (ja) * 2006-07-07 2008-01-24 Honda Motor Co Ltd 車両周辺監視システム、車両、車両周辺監視プログラム、および車両周辺監視システムの構築システム
JP2010514064A (ja) * 2006-12-21 2010-04-30 本田技研工業株式会社 ラベル付けを用いた人体姿勢の推定および追跡
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
JP2016075693A (ja) * 2011-03-30 2016-05-12 株式会社国際電気通信基礎技術研究所 計測装置,計測方法および計測プログラム

Similar Documents

Publication Publication Date Title
US7825948B2 (en) 3D video conferencing
JP3512992B2 (ja) 画像処理装置および画像処理方法
US20030072483A1 (en) Method and apparatus for recovering depth using multi-plane stereo and spatial propagation
JP4597391B2 (ja) 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体
CN110012209A (zh) 全景图像生成方法、装置、存储介质及电子设备
JPH09237348A (ja) 人体の姿勢推定方法
JP2006343859A (ja) 画像処理装置及び画像処理方法
JP2000251078A (ja) 人物の3次元姿勢推定方法および装置ならびに人物の肘の位置推定方法および装置
KR20200113743A (ko) 인체 자세 추정 및 보정을 하는 방법 및 장치
KR100457929B1 (ko) 손 지시 인식을 이용한 원격제어 시스템
JP4728795B2 (ja) 人物オブジェクト判定装置及び人物オブジェクト判定プログラム
JP2559939B2 (ja) 3次元情報入力装置
JP2002342758A (ja) 視覚認識システム
JP4886661B2 (ja) カメラパラメータ推定装置およびカメラパラメータ推定プログラム
JP2000331019A (ja) 景観画像インデクス方法、装置および景観画像インデクスプログラムを記録した記録媒体
JP2019023934A (ja) 追尾装置、カメラ、追尾方法および追尾プログラム
JPH08272948A (ja) 顔面イメージ処理方法及び装置
JP2001034388A (ja) 機器制御装置およびナビゲーション装置
JPH08279044A (ja) パターン認識装置およびジェスチャ認識装置
JPH10149447A (ja) ジェスチャー認識方法および装置
JPH08241480A (ja) 分散型監視装置
JP2019103029A (ja) 情報処理装置、色補正方法、及びコンピュータプログラム
Gritai et al. Tracking of human body joints using anthropometry
JP2002208013A (ja) 画像領域抽出装置及び画像領域抽出方法
JPH0973543A (ja) 画像処理装置