JP4101478B2

JP4101478B2 - Human body end point detection method and apparatus

Info

Publication number: JP4101478B2
Application number: JP2001160775A
Authority: JP
Inventors: 政夫宮岡; 和裕森崎; 勝政恩田
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2001-05-29
Filing date: 2001-05-29
Publication date: 2008-06-18
Anticipated expiration: 2021-05-29
Also published as: JP2002352231A

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理により、所定の検知空間内に存在する人体の頭部、両肩部、両手部、両足部などを検出する人体端点検出方法及び装置に関するものである。
【０００２】
【従来の技術】
従来、この種の人体端点検出方法は、マーカやセンサなどを人体の検出対象の部位に装着し、画像処理でマーカを検出し、または検知器でセンサ位置を検出することで、頭、手、足といった所望の人体部位を検出していた。なお、被験者にマーカを装着して検出する方法は、図８に示すとおりである。すなわち、図８（ａ）に示すように、被験者の頭部に赤のマーク201、両手に青のマーク202、203、両肩に黄色のマーク204、205、両足に緑のマーク206、207を装着する。次いで、図８（ｂ）に示すように、前記被験者を１式の計測用カラーカメラ208で撮像し、前述の４色（赤、青、黄、緑）を識別できる画像処理装置209で各色を検出する。こうして各部位を検出することが可能となる。
【０００３】
一方、ステレオ画像処理を用い、撮像された画像から検知空間内の物体を検出する物体検出方法及び装置に関する技術が開示されている。この種の物体検出装置は、カメラなどの撮像手段で得られた複数の画像を用い、ステレオ画像処理により物体までの距離分布を計測する距離計測手段と、この距離計測手段で計測された前記物体までの距離分布データから、検知空間内の物体を検出する物体検知手段と、検出された物体情報を補正する検出結果補正手段とを備え、ステレオ画像処理で距離分布が正しく計測されなかった場合でも、検知空間内の物体を検出可能とするものであった（特開2000-261787号公報）。
【０００４】
【発明が解決しようとする課題】
しかし、このような従来の人体端点検出方法では、被験者がマーカを装着する必要があるために、長時間の計測には苦痛を伴うという問題があった。また、被験者がマーカを装着する必要があるために、被験者の自然な動作を阻害する、あるいは色情報を利用するので計測用カメラはカラーカメラに限定されるという問題があった。
【０００５】
また、前述の特開2000-261787号公報に開示された技術では、人体（物体）の３次元座標から頭、手、足といった人体の端点を検出する手段を備えていないために、ステレオ画像処理を用いた人体端点検出装置にそのまま適用するのは難しいという問題があった。また、カメラなどの撮像手段で得られた画像に対して歪み補正を施す手段を備えていないために、ステレオ画像処理の距離計測精度を向上させ、あるいは検出率を向上させることが難しいという問題があった。
【０００６】
本発明は、このような問題を解決するためになされたもので、画像処理によって、マーカ等の接触型センサを装着していない人体の部位を検出できる人体端点検出方法及び装置を提供するものである。
【０００７】
【課題を解決するための手段】
参考として、本発明の人体端点検出方法は、複数のカメラを搭載した撮像装置により所定の検知空間内に存在する人体を撮像し、ステレオ画像処理で撮像されている人体全体の距離分布を計測し、前記人体全体の距離分布の計測データと前記複数のカメラの位置データとから人体全体の３次元座標を算出し、人体の端点を出力するようにしている。この方法により、接触型のセンサを使用しなくても距離分布から人体の端点を検出できることとなる。
【０００８】
本発明の人体端点検出方法は、複数のカメラを搭載した撮像装置により所定の検知空間内に存在する人体を撮像し、ステレオ画像処理で撮像されている人体全体の距離分布を計測し、前記人体全体の距離分布の計測データと前記複数のカメラの位置データとから人体全体の３次元座標を算出し、前記人体全体の３次元座標算出データから人体の頭頂点を求め、この頭頂点より下に胸部があると仮定し、前記人体全体の３次元座標算出データの中で胸部以上を表す３次元座標算出データを用いて床面に投影画像を作成し、この投影画像において頭部を中心にして所定の距離内で最遠点を示す２点を人体の両肩部とし、この両肩部を示す３次元座標算出データを逆投影処理で求めるようにしている。この方法により、接触型のセンサを使用しなくても距離分布から人体の両肩部を精度よく検出できることとなる。
【０００９】
さらに、本発明の人体端点検出方法は、前記人体の膝部が床面より上にあると仮定し、前記人体全体の３次元座標算出データの中で膝部以上を表す３次元座標算出データを用いて床面に投影画像を作成し、この投影画像において重心座標を算出し、重心座標から最遠点１点とこの最遠点の周囲を除く重心座標からの最遠点１点の合計２点を人体の両手部とし、この両手部を示す３次元座標算出データを逆投影処理で求めるようにしている。この方法により、接触型のセンサを使用しなくても距離分布から人体の両手部を精度よく検出できることとなる。
【００１０】
本発明の人体端点検出装置は、所定の検知空間を撮像するための複数のカメラからなる撮像手段と、前記複数のカメラから得られた画像を用い、ステレオ画像処理で撮像された人体の距離分布を計測する距離計測手段と、この距離計測手段で計測された距離分布と予め定められた前記複数のカメラの位置データとから人体全体の３次元座標を算出する人体３次元座標算出手段と、この人体３次元座標算出手段で算出された人体全体の３次元座標から人体の端点を出力する人体端点出力手段と、を有し、前記人体全体の３次元座標算出データから人体の頭頂点を求め、この頭頂点より下に胸部があると仮定し、前記人体全体の３次元座標算出データの中で胸部以上を表す３次元座標算出データを用いて床面に投影画像を作成し、この投影画像において頭部を中心にして所定の距離内で最遠点を示す２点を人体の両肩部とし、この両肩部を示す３次元座標算出データを逆投影処理で求める構成を有している。この構成により、接触型のセンサを使用しなくても距離分布から人体の端点を検出できることとなる。
また、本発明の人体端点検出装置は、前記人体の膝部が床面より上にあると仮定し、前記人体全体の３次元座標算出データの中で膝部以上を表す３次元座標算出データを用いて床面に投影画像を作成し、この投影画像において重心座標を算出し、重心座標から最遠点１点とこの最遠点の周囲を除く重心座標からの最遠点１点の合計２点を人体の両手部とし、この両手部を示す３次元座標算出データを逆投影処理で求める構成を有している。
【００１１】
また、本発明の人体端点検出装置は、前記複数のカメラから得られた画像の歪みを補正する歪み補正手段を有し、この歪み補正手段により補正された画像を用い、ステレオ画像処理で撮像された人体の距離分布を計測する構成を有している。この構成により、歪みのある画像に対して歪み補正をすることで、ステレオ画像処理の距離計測精度を向上させ、画像の歪みが原因で位置精度が悪化するのを回避できることとなる。
【００１２】
また、本発明の人体端点検出装置は、前記複数のカメラから得られた画像の歪みを補正する歪み補正手段と、装置起動時に得られた画像に対して歪み補正した画像を基準画像として記憶する基準画像記憶手段と、この基準画像記憶手段に記憶されている画像と装置起動時以降に得られた画像に対して歪み補正した画像とを比較して画像変化を算出する画像変化算出手段と、を有し、前記歪み補正手段により補正された画像を用い、ステレオ画像処理で撮像された人体の距離分布を計測するとともに、前記画像変化算出手段から得られた画像変化算出結果と前記人体端点出力手段から得られた端点座標結果とから端点座標を画像変化領域に修正する構成を有している。この構成により、基準画像と順次入力される撮像画像を比較して変化のある領域上に人体の部位が検出されるように修正することで、距離計測の誤差やノイズにより誤って検出した端点を修正して精度よく端点を出力でき、人体端点の検出率が向上することとなる。
【００１３】
さらに、本発明の人体端点検出装置は、前記人体３次元座標算出手段で算出された人体全体の３次元座標から人体の頭部を検出する頭部検出手段と、前記人体３次元座標算出手段で算出された人体全体の３次元座標から人体の両肩部を検出する両肩部検出手段と、前記人体３次元座標算出手段で算出された人体全体の３次元座標から人体の両手部を検出する両手部検出手段と、前記人体３次元座標算出手段で算出された人体全体の３次元座標から人体の両足部を検出する両足部検出手段とを設けた構成を有している。この構成により、接触型のセンサを使用しなくても距離分布から人体の両肩部、両手部、両足部を精度よく検出できることとなる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
図１に示すように、本発明の第１の実施の形態の人体端点検出装置は、所定の検知空間を撮像するための複数のカメラ102、103からなる撮像手段（撮像装置）101と、複数のカメラ102、103から得られた画像を用い、ステレオ画像処理で撮像された人体の距離分布を計測する距離計測手段112と、この距離計測手段112で計測された距離分布と予め定められた複数のカメラ102、103の位置データとから人体全体の３次元座標を算出する人体３次元座標算出手段114と、この人体３次元座標算出手段114で算出された人体全体の３次元座標から人体の端点を出力する人体端点出力手段116とを設けたものである。
【００１５】
図１において、撮像手段101は、複数のカメラ102、103を備えて所定の検知空間を撮像するものである。歪み補正手段105は、カメラ103から得られる画像に対して歪み補正を施し、歪み補正手段106は、カメラ102から得られる画像104に対して歪み補正を施すものである。基準画像記憶手段108は、装置起動時の歪み補正画像107を記憶するものである。画像変化算出手段110は、基準画像記憶手段108に記憶されている基準歪み補正画像109と、歪み補正手段106により歪み補正された画像107とを比較して画像変化を算出するものである。距離計測手段112は、歪み補正手段105、106で補正された画像を用い、ステレオ画像処理で撮像されている人体の距離分布を計測するものである。人体３次元座標算出手段114は、距離計測手段112で計測された人体の距離分布データ113と、予め定められている複数のカメラ102、103の位置データとから人体全体の３次元座標を算出するものである。人体端点出力手段116は、人体３次元情報115を用いて人体の端点を出力するものである。頭部検出手段117は、人体３次元座標算出手段114で算出された人体３次元情報115を用いて人体の頭部を検出するものである。両肩部検出手段118は、人体３次元座標算出手段114で算出された人体３次元情報115を用いて人体の両肩部を検出するものである。両足部検出手段119は、人体３次元座標算出手段114で算出された人体３次元情報115を用いて人体の両足部を検出するものである。両手部検出手段120は、人体３次元座標算出手段114で算出された人体３次元情報115を用いて人体の両手部を検出するものである。人体端点修正手段122は、画像変化算出手段110で算出された画像変化算出結果111と、頭部検出手段117と両肩部検出手段118と両足部検出手段119と両手部検出手段120で検出された端点座標結果121から人体部分に端点を修正するものである。
【００１６】
次に、本実施形態における人体端点検出方法について詳細に説明する。まず、撮像手段101は複数のカメラ102、103で所定の検知空間を撮影する。次いで、歪み補正手段104、105はカメラ102、103から得られる画像の歪みを補正する。ここで、画像の歪み（歪曲収差）は、カメラ102、103とこのカメラ102、103に装着するレンズによって決まり、歪み補正関数ＦＨで補正できる。よって、歪み補正画像Ｉｂ（ｉ，ｊ）は、歪み画像Ｉａ（ｉ，ｊ）から、
【数１】

と表すことができる。この数式（１）により、カメラ102から得られる歪み画像104から、歪み補正画像107が得られる。これは、歪み補正手段106でも同様である。
【００１７】
次いで、基準画像記憶手段108では、装置起動時の人体の撮像されていない歪み補正画像107を基準歪み補正画像109として記憶し、画像変化算出手段110では、基準歪み補正画像109と起動時以降の歪み補正画像107とを比較して、画像変化のあった領域を算出する。ここで、基準歪み補正画像109をＩｃ（ｉ，ｊ）とし、起動時以降の歪み補正画像107をＩｄ（ｉ，ｊ）とすると、
【数２】

を満たす時に、画素（ｉ，ｊ）が変化画素となる。ただし、ＴＨ₁は輝度変化から求まる所定の閾値である。ここで、数式（２）を満たす画素では画像変化分布Ｃ（ｉ，ｊ）＝１とし、数式（２）を満たさない画素では画像変化分布Ｃ（ｉ，ｊ）＝０とする。この画素変化分布Ｃ（ｉ，ｊ）を画素変化算出結果111とする。
【００１８】
次いで、距離計測手段112では、歪み補正手段105、106から得られる歪み補正画像を用いてステレオ画像処理により、撮像されている人体までの距離分布を計測する。ここで、ステレオ画像処理を用いた距離計測方法の例として、『実吉他著、「三次元画像認識技術を用いた運転支援システム」、自動車技術学会学術講演会前刷924、pp169-172（1992-10）』に記載の方法を説明する。なお、これに限らず、他の距離計測方法を用いてもよい。
【００１９】
具体的には、カメラ102とカメラ103は、水平方向に既知の間隔で平行に設置されており、図２に示すように、カメラ102より撮影される画像を歪み補正した画像を右画像301、カメラ103により撮影される画像を歪み補正した画像を左画像とする。まず、右画像301を水平方向にｍ分割、垂直方向にｎ分割して、合計（ｍ×ｎ）個の画素302からなる部分領域303に分割する。これによって、右画像301は水平方向にＭ分割、垂直方向にＮ分割の合計（Ｍ×Ｎ）個の部分領域303に分割される。
【００２０】
次いで、右画像301の部分領域303毎に、左画像中を順次探索していき、対応する領域を決定していく。具体的には、左画像の中で右画像301の部分領域303の画像に類似する画像が存在する可能性のある探索範囲において、水平方向にｍ、垂直方向にｎの合計（ｍ×ｎ）個の画素302からなる探索矩形領域を水平方向に１画素ずつ移動させるごとに、右画像301の部分領域303の画像と左画像の探索矩形領域の画像との類似度評価値Ｂを求める。
【００２１】
この類似度評価値Ｂは、右画像301の部分領域303のｉ番目の画素における輝度値をＬ_i、左画像の探索矩形領域中のｉ番目の画素における輝度値をＲ_iとしたとき、数式（３）によって求めることができる。
【数３】

その結果、類似度評価値Ｂが最小になった時の左画像における探索部分領域の位置を、右画像301の部分領域303に対応する領域（以下「対応領域」という）と判定して、右画像301の部分領域303の座標ＰＲと左画像の対応領域の座標ＰＬとのずれから、視差ｄを次に示す数式（４）によって求め、それを出力する。
【数４】

以上のように、右画像301の部分領域303の対応領域を求めて視差ｄを算出する動作を、右画像301に含まれる全ての部分領域303に対して順次行うものとする。
【００２２】
次いで、右画像301の部分領域303毎に得られた視差ｄ（Ｘ，Ｙ）[但し、０≦Ｘ＜Ｍ、０≦Ｙ＜Ｎ]をもとに、カメラ102,103から撮像された人体までの光軸方向の距離分布データＫ（Ｘ，Ｙ）を、数式（５）によって部分領域303毎に求める。
【数５】

但し、２ａはカメラ102とカメラ103の設置間距離を表し、ｆはカメラ102とカメラ103のレンズの焦点距離を表す。
【００２３】
次いで、人体３次元座標算出手段114では、予め床面までの距離分布Ｋ₀を計測しておく。そして、距離計測手段112により計測された距離分布データＫ（Ｘ，Ｙ）と地面までの距離分布用データＫ₀（Ｘ，Ｙ）を用いて、撮像されている人体の３次元データを算出する。
【００２４】
ここで、図３を参照しながら、人体３次元座標算出手段114の動作を説明する。図３（ａ）に示すように、カメラの撮像面のＸ軸と実空間のＵ軸とが平行になるようにカメラを設置し、検知空間401中に存在する人間402を撮影する。このとき、撮像面403に撮像されている人間402の距離分布データ（Ｘ，Ｙ）のＶ軸方向の位置Ｖ（Ｘ，Ｙ）を算出する。図３（ｂ）は、撮像されている人間402のＨ軸方向の位置ＨとＶ軸方向の位置Ｖを算出する手順を説明する図である。図３（ｂ）から、Ｈ軸方向の位置ＨとＶ軸方向の位置Ｖは、
【数６】

【数７】

として、算出できる。但し、１≦Ｘ≦Ｍ、１≦Ｙ≦Ｎ、Ｈcamはカメラの設置高であり、θはカメラの設置俯角である。
さらに、Ｕ軸方向の位置Ｕは、Ｘ軸とＵ軸は平行なので、
【数８】

として算出できる。但し、ａ及びbは使用する撮像装置（図１の１０１に相当）とその設置位置によって決定される定数である。
【００２５】
以上、数式６から数式８に示すように、距離分布データＫ（Ｘ，Ｙ）と地面までの距離分布用データＫ₀（Ｘ，Ｙ）を用いて、撮像されている人体の３次元情報を算出することができる。この数式（６）から数式（８）を人体３次元情報115とする。
【００２６】
次いで、人体端点出力手段116において、はじめに頭部検出手段117に人体３次元情報115を入力する。頭部検出手段117では、人体３次元情報115を用いて人体の頭部を検出する。ここで、図４を参照しながら頭部検出手段117の動作を説明する。
【００２７】
入力された人体３次元情報115から、人体で最も高い頭頂点501を求める。この頭頂点501から床面方向へ、順次体の幅ＢＷを計測していき、次式（９）を満たす高さｈを求める。
【数９】

但し、頭と手が同じ高さであった場合、大きい方を体の幅ＢＷとする。また、ＴＨ₂は頭の大きさによって決定される閾値である。数式（９）を満たす値ｈのうち最も高いものをｈ_maxとし、高さｈ_maxの人体の中央点を頭位置502とする。この頭位置502の３次元座標が端点位座標結果121として出力される。
【００２８】
次いで、人体端点出力手段116において、両肩検出手段118に人体３次元情報115を入力する。両肩検出手段118では、人体３次元情報115を用いて人体の両肩部を検出する。
【００２９】
ここで、図５を参照しながら両肩検出手段118の動作を説明する。まず、入力された人体３次元情報115から、人体の中で最も高い頭頂点ＡＨ601を求める。人体の肩ＳＨの高さは頭頂点601より下にあると仮定し、人体の肩は次の数式（10）で示す領域にあるものとする。
【数１０】

但し、Ｎ、Ｐは頭と肩の構造な関係から決まる定数である。人体３次元情報115から、数式（10）のＳＨの示す領域を満たす３次元情報を抽出し、その情報を床面に投影して得られる像が、図５（ａ）に示す肩投影像602である。また、頭頂点を床面に投影して得られる点が頭投影点603である。
【００３０】
次いで、肩投影像602を構成する全ての点のうち、頭投影点603を通過する２点ｕ（ｕ_i，ｕ_j）、ｖ（ｖ_i，ｖ_j）の線分の長さｄｉｓｔを次式（11）によって求める。但し、２点ｕ、ｖは各々の頭投影点603から等距離にあるものとする。
【数１１】

次いで、数式（11）で求めた長さを持つ各線分ｕ、ｖのうち、次式（12）を満たすものを求める。
【数１２】

但し、ＴＨ₃は肩の広さから決まる定数である。数式（12）を満たすｄｉｓｔのうち最長のものをｄｉｓｔ_ｍａｘとし、その線分を構成する２点を肩投影点604とする（図５（ｂ）に示す）。この肩投影点604に投影した点を人体３次元情報115から探索して求め、その肩逆投影点605を肩位置とする。この肩位置605の３次元座標が端点座標結果121として出力される。
【００３１】
次いで、人体端点出力手段116において、両足検出手段119に人体３次元情報115を入力する。両足検出手段119では、人体３次元情報115を用いて人体の両足部を検出する。
【００３２】
ここで、図６を参照しながら両足検出手段119の動作を説明する。人体の足ＬＨは膝ＫＨの高さより下にあると仮定し、人体の足は次式（13）で示す領域にあるものとする。
【数１３】

ただし、ＫＨは足の構造から決まる定数である。人体３次元情報115から、数式（13）のＬＨの示す領域を満たす３次元情報を抽出し、その情報を床面に投影して得られる像が足投影像702であり、これを二つの領域に分割する（図６（ａ）に示す）。
【００３３】
まず、任意の点Ｐ、Ｑを定め、それらと足投影像702上の全ての点（ｉ，ｊ）との距離を各々ｄｉｓｔ_P（ｉ，ｊ）、ｄｉｓｔ_Q（ｉ，ｊ）として求める。ｄｉｓｔ_P（ｉ，ｊ）、ｄｉｓｔ_Q（ｉ，ｊ）の比較を行い、小さい方に前記点（ｉ，ｊ）が属するものとする。例えば、ｄｉｓｔ_P（ｉ，ｊ）がｄｉｓｔ_Q（ｉ，ｊ）より小さいとき、投影点属性分布Ｄ（ｉ，ｊ）＝Ｐとする。投影点属性分布Ｄ（ｉ，ｊ）から、足投影像702上の全ての点（ｉ，ｊ）は、Ｐ、Ｑのいずれかに属したことになる。次いで、Ｐ、Ｑ各々に属する点（ｉ，ｊ）の重心を求め、各重心点をＰ、Ｑとふりなおす。
【００３４】
以上の、ＰＱと足投影像上の全ての点との距離を求め、投影点属性分布Ｄを求め、属性毎に重心を求めそれらをＰＱとする、という一連の処理をＰＱの位置が変化しなくなるまで続ける。変化しなくなった点を、足投影点703とする（図６（ｂ）に示す）。床面上での位置を示す足投影点703の２次元座標と両足とはいずれも床面に接していることから、両足の高さは０であるという1次元座標の合計３次元座標が、端点座標結果121として出力される。
【００３５】
次いで、人体端点出力手段116において、両手部検出手段120に人体３次元情報115を入力する。両手部検出手段120では、人体３次元情報115を用いて人体の両手部を検出する。
【００３６】
ここで、図７を参照しながら両手部検出手段119の動作を説明する。人体の手ＨＨは膝ＫＨの高さより上にあると仮定し、人体の手は次式（14）で示す領域にあるものとする。
【数１４】

但し、ＫＨは足の構造から決まる定数である。人体３次元情報115から、数式（14）のＨＨの示す領域を満たす３次元情報を抽出し、その情報を床面に投影して得られる像が手投影像802である（図７（ａ）に示す）。
【００３７】
次いで、手投影像802の重心803を求める。さらに、重心803と手投影像802上の全ての点（ｉ，ｊ）との距離ｄｉｓｔ（ｉ，ｊ）を求める。距離ｄｉｓｔ（ｉ，ｊ）のうち最大を示す点をＲ（ｉ_R，ｊ_R）とする。次に重心803と数式（15）を満たす点（ｉ，ｊ）の距離ｄｉｓｔ（ｉ，ｊ）を求める。距離ｄｉｓｔ（ｉ，ｊ）のうち最大を示す点をＳとする。
【数１５】

但し、ＴＨ₄は両手間の距離から決まる閾値である。以上２点Ｒ、Ｓを手投影点804とする（図７（ｂ）に示す）。この投影点804に投影した点を人体３次元情報115から探索して求め、その手逆投影点805を手位置とする。この手逆投影点805の３次元情報が端点座標結果121として出力される。
【００３８】
こうして、頭部検出手段117と両肩部検出手段118と両足部検出手段119と両手部検出手段120から出力された端点座標結果121は、人体端点修正手段122に入力される。この人体端点修正手段122では、画素変化算出結果111と端点座標結果121から、部位を修正する。まず、端点座標結果が画素変化分布Ｃ（ｉ，ｊ）＝１上に存在するかを調べ、存在しなければ、画素変化分布Ｃ（ｉ，ｊ）＝１を満たす画素（ｉ，ｊ）と端点座標結果121の座標との距離を求め、最小となる点を新たな端点座標結果とする。
【００３９】
以上のように、本発明の実施の一形態に係る人体端点検出装置は、所定の検知空間を撮像するための複数のカメラ102、103からなる撮像手段（撮像装置）101と、複数のカメラ102、103から得られた画像を用い、ステレオ画像処理で撮像された人体の距離分布を計測する距離計測手段112と、この距離計測手段112で計測された距離分布と予め定められた複数のカメラ102、103の位置データとから人体全体の３次元座標を算出する人体３次元座標算出手段114と、この人体３次元座標算出手段114で算出された人体全体の３次元座標から人体の端点を出力する人体端点出力手段116とを設け、撮像手段101により所定の検知空間内に存在する人体を撮像し、ステレオ画像処理で撮像されている人体全体の距離分布を計測し、この距離分布の計測データと複数のカメラ102、103の位置データとから人体全体の３次元座標を算出して、人体の端点を出力しているので、接触型のセンサを使用しなくても距離分布から人体の端点を検出できる。
【００４０】
なお、本実施形態においては、歪みのある画像に対して歪み補正をすることで、ステレオ画像処理の距離計測精度を向上させ、基準画像と順次入力される撮像画像とを比較して変化のある領域に人体の部位が検出されているか否かを判定し、変化のない領域に人体の部位が検出されている場合は変化のある領域に修正することで、検出率を向上させることが可能である。
【００４１】
また、本実施形態においては、人体全体の３次元座標算出データから頭頂点を求め、頭頂点から床方向に身体の幅を計測し、所定の閾値以上の幅を持つ部分を人体の頭部とし、その幅の中央点を頭部の位置とすることで、頭部に接触型のセンサを装着しなくても距離分布から精度良く頭部を検出できる。
【００４２】
さらに、本実施形態においては、床面より上に膝部があると仮定し、身体全体の３次元座標算出データの中で膝部以下を表す３次元座標算出データを用いて床面に投影画像を作成し、投影画像において領域を２つに分割し、各領域の重心を人体の足部とすることで、足部に接触型のセンサを装着しなくても距離分布から精度良く足部を検出できる。
【００４３】
【発明の効果】
以上説明したように、本発明はステレオ画像処理により人体全体の３次元座標を算出することにより、被験者にマーカ等の接触型のセンサを取り付けることなく、人体部位を検出できるという優れた効果を有する人体端点検出装置及び方法を提供することができるものである。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る人体端点検出装置の構成を示すブロック図
【図２】本発明の実施の形態に係る人体端点検出方法（距離計測方法）における画像と部分領域の関係を表す模式図
【図３】本発明の実施の形態に係る人体端点検出装置における人体３次元座標算出手段の動作を説明する模式図
【図４】本発明の実施の形態に係る人体端点検出装置における頭部検出手段の動作を説明する模式図
【図５】本発明の実施の形態に係る人体端点検出装置における両肩部検出手段の動作を説明する模式図
【図６】本発明の実施の形態に係る人体端点検出装置における両足部検出手段の動作を説明する模式図
【図７】本発明の実施の形態に係る人体端点検出装置における両手部検出手段の動作を説明する模式図
【図８】従来のマーカを装着して人体端点を検出する方法を説明する模式図
【符号の説明】
101 撮像手段
102、103 カメラ
104 画像
105、106 歪み補正手段
107 歪み補正画像
108 基準画像記憶手段
109 基準歪み補正画像
110 画像変化算出手段
111 画像変化算出結果
112 距離計測手段
113 距離分布データ
114 人体３次元座標算出手段
115 人体３次元情報
116 人体端点出力手段
117 頭部検出手段
118 両肩部検出手段
119 両足検出手段
120 両手検出手段
121 端点座標結果
122 人体端点修正手段
201 頭に装着した赤マーク
202 手に装着した青マーク
203 手に装着した青マーク
204 肩に装着した黄マーク
205 肩に装着した黄マーク
206 足に装着した緑マーク
207 足に装着した緑マーク
208 計測用カラーカメラ
209 画像処理装置
301 右画像
302 画素
303 部分領域
401 検知空間
402 人間（人体）
403 撮像面
501 頭頂点
502 頭の位置
601 頭頂点
602 肩投影像
603 頭投影点
604 肩投影点
605 肩逆投影点
701 膝の高さ
702 足投影像
703 足投影点
801 膝の高さ
802 手投影像
803 重心
804 手投影点
805 手逆投影点[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a human body end point detection method and apparatus for detecting the head, both shoulders, both hands, both feet, and the like of a human body existing in a predetermined detection space by image processing.
[0002]
[Prior art]
Conventionally, this type of human body end point detection method has a method in which a marker, a sensor, or the like is attached to a detection target part of the human body, the marker is detected by image processing, or the sensor position is detected by a detector. A desired human body part such as a foot was detected. In addition, the method of attaching and detecting a marker to a test subject is as showing in FIG. That is, as shown in FIG. 8A, a red mark 201 on the subject's head,

blue marks

202 and 203 on both hands,

yellow marks

204 and 205 on both shoulders, and

green marks

206 and 207 on both legs. Installing. Next, as shown in FIG. 8 (b), the subject is imaged with a set of measurement color cameras 208, and each color is identified with an image processing device 209 that can identify the four colors (red, blue, yellow, green). To detect. In this way, each part can be detected.
[0003]
On the other hand, a technique relating to an object detection method and apparatus for detecting an object in a detection space from a captured image using stereo image processing is disclosed. This type of object detection apparatus uses a plurality of images obtained by an imaging unit such as a camera, measures distance distribution to an object by stereo image processing, and the object measured by the distance measurement unit Even if the distance distribution is not correctly measured by stereo image processing, it has an object detection means for detecting an object in the detection space from the distance distribution data up to and a detection result correction means for correcting the detected object information. The object in the detection space can be detected (Japanese Patent Laid-Open No. 2000-261787).
[0004]
[Problems to be solved by the invention]
However, in such a conventional human body end point detection method, the subject needs to wear a marker, so that there is a problem that long-time measurement is painful. Also, since the subject needs to wear a marker, the measurement camera is limited to a color camera because the subject's natural movement is hindered or color information is used.
[0005]
Further, in the technique disclosed in the aforementioned Japanese Patent Laid-Open No. 2000-261787, since there is no means for detecting the end points of the human body such as the head, hand, and foot from the three-dimensional coordinates of the human body (object), stereo image processing is performed. There is a problem that it is difficult to directly apply to a human body end point detection device using. In addition, since there is no means for performing distortion correction on an image obtained by an imaging means such as a camera, it is difficult to improve the distance measurement accuracy of stereo image processing or to improve the detection rate. there were.
[0006]
The present invention has been made to solve such a problem, and provides a human body end point detection method and apparatus capable of detecting a part of a human body not equipped with a contact sensor such as a marker by image processing. is there.
[0007]
[Means for Solving the Problems]
  As reference,In the human body end point detection method of the present invention, a human body existing in a predetermined detection space is imaged by an imaging device equipped with a plurality of cameras, the distance distribution of the whole human body imaged by stereo image processing is measured, and the human body The three-dimensional coordinates of the entire human body are calculated from the measurement data of the entire distance distribution and the position data of the plurality of cameras, and the end points of the human body are output. By this method, the end point of the human body can be detected from the distance distribution without using a contact-type sensor.
[0008]
  The present inventionThe human body endpoint detection method isThe human body existing in a predetermined detection space is imaged by an imaging device equipped with a plurality of cameras, the distance distribution of the entire human body imaged by stereo image processing is measured, and the distance distribution measurement data of the entire human body and the Calculate the 3D coordinates of the whole human body from the position data of multiple cameras,3D coordinate calculation representing the human body's head vertex from the 3D coordinate calculation data of the entire human body, assuming that there is a chest below the head vertex, and representing the chest or more in the 3D coordinate calculation data of the entire human body A projection image is created on the floor using the data. In this projection image, two points indicating the farthest point within a predetermined distance centered on the head are taken as both shoulders of the human body, and 3 indicating these shoulders. The dimension coordinate calculation data is obtained by back projection processing. By this method, it is possible to accurately detect both shoulder portions of the human body from the distance distribution without using a contact-type sensor.
[0009]
Furthermore, in the human body end point detection method of the present invention, it is assumed that the knee part of the human body is above the floor surface, and three-dimensional coordinate calculation data representing the knee part or more in the three-dimensional coordinate calculation data of the whole human body is obtained. A projected image is created on the floor surface, the center of gravity coordinates are calculated in the projected image, and a total of 2 points, one farthest point from the center of gravity coordinates and one farthest point from the center of gravity coordinates excluding the periphery of the farthest point, are 2 A point is set as both hands of the human body, and three-dimensional coordinate calculation data indicating both hands is obtained by back projection processing. By this method, both hands of the human body can be accurately detected from the distance distribution without using a contact-type sensor.
[0010]
  The human body end point detection apparatus according to the present invention is a distance distribution of a human body imaged by stereo image processing, using an imaging unit including a plurality of cameras for imaging a predetermined detection space and images obtained from the plurality of cameras. A distance measuring means for measuring the human body, a human body three-dimensional coordinate calculating means for calculating the three-dimensional coordinates of the whole human body from the distance distribution measured by the distance measuring means and the predetermined position data of the plurality of cameras, Human body end point output means for outputting an end point of the human body from the three-dimensional coordinates of the whole human body calculated by the human body three-dimensional coordinate calculation means;And determining the head vertex of the human body from the three-dimensional coordinate calculation data of the whole human body, assuming that there is a chest below the head vertex, and calculating the chest or more in the three-dimensional coordinate calculation data of the whole human body. A projection image is created on the floor using the three-dimensional coordinate calculation data that is represented, and two points indicating the farthest point within a predetermined distance centered on the head in the projection image are defined as both shoulder portions of the human body. Obtain 3D coordinate calculation data indicating shoulder by back projection processIt has a configuration. With this configuration, the end point of the human body can be detected from the distance distribution without using a contact-type sensor.
  Further, the human body end point detection device of the present invention assumes that the knee part of the human body is above the floor surface, and the three-dimensional coordinate calculation data representing the knee part or more in the three-dimensional coordinate calculation data of the whole human body. A projected image is created on the floor surface, the center of gravity coordinates are calculated in the projected image, and a total of 2 points, one farthest point from the center of gravity coordinates and one farthest point from the center of gravity coordinates excluding the periphery of the farthest point, are 2 A point is used as both hands of the human body, and three-dimensional coordinate calculation data indicating both hands is obtained by back projection processing.
[0011]
  Moreover, the human body end point detection device of the present invention isSaidDistortion correction means for correcting distortion of images obtained from a plurality of camerasHaveUsing the image corrected by this distortion correction means, the distance distribution of the human body imaged by stereo image processing is calculated.measureIt has a configuration. With this configuration, by performing distortion correction on a distorted image, it is possible to improve the distance measurement accuracy of stereo image processing, and to avoid deterioration in position accuracy due to image distortion.
[0012]
  Moreover, the human body end point detection device of the present invention isSaidDistortion correction means for correcting distortion of images obtained from a plurality of cameras, reference image storage means for storing, as a reference image, an image obtained by correcting distortion with respect to the image obtained at the time of starting the apparatus, and the reference image storage means An image change calculating means for calculating an image change by comparing a stored image with an image obtained after distortion correction with respect to an image obtained after starting the apparatus;HaveUsing the image corrected by the distortion correction means, the distance distribution of the human body imaged by stereo image processingWhile measuringFrom the image change calculation result obtained from the image change calculation means and the end point coordinate result obtained from the human body end point output means, the end point coordinates are set in the image change area.CorrectIt has a configuration. With this configuration, by comparing the reference image with the captured image that is sequentially input and correcting it so that the part of the human body is detected on the area where there is a change, the end points that were detected incorrectly due to distance measurement errors or noise can be detected. The end points can be output with high accuracy by correction, and the detection rate of the human body end points is improved.
[0013]
Furthermore, the human body end point detection apparatus of the present invention includes a head detecting means for detecting the head of the human body from the three-dimensional coordinates of the whole human body calculated by the human body three-dimensional coordinate calculating means, and the human three-dimensional coordinate calculating means. Both shoulder detection means for detecting both shoulders of the human body from the calculated three-dimensional coordinates of the entire human body, and both hands of the human body are detected from the three-dimensional coordinates of the entire human body calculated by the human body three-dimensional coordinate calculation means. It has a configuration in which both hands detecting means and both feet detecting means for detecting both feet of the human body from the three-dimensional coordinates of the whole human body calculated by the human body three-dimensional coordinate calculating means are provided. With this configuration, it is possible to accurately detect both shoulders, both hands, and both feet of the human body from the distance distribution without using a contact-type sensor.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
As shown in FIG. 1, the human body end point detection device according to the first embodiment of the present invention includes an imaging means (imaging device) 101 including a plurality of

cameras

102 and 103 for imaging a predetermined detection space, Distance measuring means 112 for measuring the distance distribution of a human body imaged by stereo image processing using images obtained from the

cameras

102 and 103, and a plurality of distance distributions measured in advance by the distance measuring means 112 The human body three-dimensional coordinate calculation means 114 for calculating the three-dimensional coordinates of the whole human body from the position data of the

cameras

102 and 103, and the end points of the human body from the three-dimensional coordinates of the whole human body calculated by the human body three-dimensional coordinate calculation means 114 Is provided with a human body end point output means 116.
[0015]
In FIG. 1, an imaging means 101 includes a plurality of

cameras

102 and 103 and images a predetermined detection space. The distortion correction unit 105 performs distortion correction on the image obtained from the camera 103, and the distortion correction unit 106 performs distortion correction on the image 104 obtained from the camera 102. The reference image storage means 108 stores a distortion correction image 107 at the time of starting the apparatus. The image change calculation unit 110 calculates an image change by comparing the reference distortion corrected image 109 stored in the reference image storage unit 108 with the image 107 corrected by the distortion correction unit 106. The distance measuring means 112 measures the distance distribution of the human body imaged by the stereo image processing using the images corrected by the

distortion correcting means

105 and 106. The human body three-dimensional coordinate calculation means 114 calculates the three-dimensional coordinates of the whole human body from the distance distribution data 113 of the human body measured by the distance measurement means 112 and the predetermined position data of the

cameras

102 and 103. Is. The human body end point output means 116 outputs the end point of the human body using the human body three-dimensional information 115. The head detection means 117 detects the head of the human body using the human body three-dimensional information 115 calculated by the human body three-dimensional coordinate calculation means 114. The shoulder detection means 118 detects both shoulders of the human body using the human body 3D information 115 calculated by the human body 3D coordinate calculation means 114. The both foot detection means 119 detects both feet of the human body using the human body 3D information 115 calculated by the human body 3D coordinate calculation means 114. The two-hand part detection means 120 detects both hands of the human body using the human body three-dimensional information 115 calculated by the human body three-dimensional coordinate calculation means 114. The human body end point correction means 122 is detected by the image change calculation result 111 calculated by the image change calculation means 110, the head detection means 117, both shoulder detection means 118, both foot detection means 119, and both hand detection means 120. The end point is corrected to the human body part from the end point coordinate result 121.
[0016]
Next, the human body end point detection method in the present embodiment will be described in detail. First, the imaging means 101 images a predetermined detection space with a plurality of

cameras

102 and 103. Next, the distortion correction means 104 and 105 correct the distortion of the image obtained from the

cameras

102 and 103. Here, image distortion (distortion aberration) is determined by the

cameras

102 and 103 and the lenses attached to the

cameras

102 and 103, and can be corrected by the distortion correction function FH. Therefore, the distortion corrected image Ib (i, j) is obtained from the distortion image Ia (i, j)
[Expression 1]

It can be expressed as. With this mathematical formula (1), a distortion corrected image 107 is obtained from the distortion image 104 obtained from the camera 102. The same applies to the distortion correction means 106.
[0017]
Next, the reference image storage means 108 stores the distortion corrected image 107 of the human body that has not been imaged at the time of activation of the apparatus as the reference distortion corrected image 109, and the image change calculation means 110 stores the reference distortion corrected image 109 and the time after the activation. A region where the image has changed is calculated by comparing with the distortion corrected image 107. Here, if the reference distortion correction image 109 is Ic (i, j) and the distortion correction image 107 after activation is Id (i, j),
[Expression 2]

When the condition is satisfied, the pixel (i, j) becomes the change pixel. However, TH₁Is a predetermined threshold obtained from the luminance change. Here, it is assumed that the image change distribution C (i, j) = 1 is set for a pixel satisfying Expression (2), and the image change distribution C (i, j) = 0 is set for a pixel not satisfying Expression (2). This pixel change distribution C (i, j) is defined as a pixel change calculation result 111.
[0018]
Next, the distance measuring unit 112 measures the distance distribution to the human body being imaged by stereo image processing using the distortion corrected images obtained from the

distortion correcting units

105 and 106. Here, as an example of a distance measurement method using stereo image processing, “Shinkichi et al.,“ Driving support system using 3D image recognition technology ”, Automotive Engineering Society academic lecture preprint 924, pp169-172 (1992 -10) ”is explained. Note that the present invention is not limited to this, and other distance measurement methods may be used.
[0019]
Specifically, the camera 102 and the camera 103 are installed in parallel at a known interval in the horizontal direction, and as shown in FIG. An image obtained by correcting distortion of an image captured by the camera 103 is defined as a left image. First, the right image 301 is divided into m parts in the horizontal direction and n parts in the vertical direction, and is divided into partial areas 303 including a total of (m × n) pixels 302. As a result, the right image 301 is divided into a total of (M × N) partial areas 303, which are M divided in the horizontal direction and N divided in the vertical direction.
[0020]
Next, for each partial region 303 of the right image 301, the left image is sequentially searched to determine a corresponding region. Specifically, in the search range in which an image similar to the image of the partial area 303 of the right image 301 may exist in the left image, the sum of m in the horizontal direction and n in the vertical direction (m × n) Each time the search rectangular area consisting of the pixels 302 is moved one pixel at a time in the horizontal direction, a similarity evaluation value B between the image of the partial area 303 of the right image 301 and the image of the search rectangular area of the left image is obtained.
[0021]
This similarity evaluation value B is the luminance value at the i-th pixel of the partial area 303 of the right image 301, L_i, The luminance value at the i-th pixel in the search rectangular area of the left image is R_iThen, it can be obtained by Expression (3).
[Equation 3]

As a result, the position of the search partial region in the left image when the similarity evaluation value B is minimized is determined as a region corresponding to the partial region 303 of the right image 301 (hereinafter referred to as “corresponding region”), From the deviation between the coordinates PR of the partial area 303 of the image 301 and the coordinates PL of the corresponding area of the left image, the parallax d is obtained by the following equation (4) and output.
[Expression 4]

As described above, it is assumed that the operation of obtaining the corresponding region of the partial region 303 of the right image 301 and calculating the parallax d is sequentially performed on all the partial regions 303 included in the right image 301.
[0022]
Next, the parallax d (X, Y) obtained for each partial region 303 of the right image 301 [however, based on 0 ≦ X <M, 0 ≦ Y <N], from the

cameras

102 and 103 to the human body imaged. The distance distribution data K (X, Y) in the optical axis direction is obtained for each partial region 303 by Equation (5).
[Equation 5]

2a represents the distance between the

cameras

102 and 103, and f represents the focal length of the lenses of the

cameras

102 and 103.
[0023]
Next, in the human body three-dimensional coordinate calculation means 114, the distance distribution K to the floor surface in advance.₀Measure. Then, the distance distribution data K (X, Y) measured by the distance measuring means 112 and the distance distribution data K to the ground.₀Using (X, Y), three-dimensional data of the human body being imaged is calculated.
[0024]
Here, the operation of the human body three-dimensional coordinate calculation means 114 will be described with reference to FIG. As shown in FIG. 3A, the camera is installed so that the X axis of the imaging surface of the camera and the U axis of the real space are parallel, and a person 402 existing in the detection space 401 is photographed. At this time, the position V (X, Y) in the V-axis direction of the distance distribution data (X, Y) of the person 402 imaged on the imaging surface 403 is calculated. FIG. 3B is a diagram illustrating a procedure for calculating the position H in the H-axis direction and the position V in the V-axis direction of the person 402 being imaged. From FIG. 3B, the position H in the H-axis direction and the position V in the V-axis direction are
[Formula 6]

[Expression 7]

Can be calculated. However, 1 ≦ X ≦ M, 1 ≦ Y ≦ N, Hcam is a camera installation height, and θ is a camera installation depression angle.
Furthermore, since the position U in the U-axis direction is parallel to the X-axis and the U-axis,
[Equation 8]

Can be calculated as However, a and b are constants determined by the imaging device to be used (corresponding to 101 in FIG. 1) and its installation position.
[0025]
As described above, the distance distribution data K (X, Y) and the distance distribution data K to the ground as shown in Expression 6 to Expression 8.₀(X, Y) can be used to calculate the three-dimensional information of the human body being imaged. The mathematical formula (6) to the mathematical formula (8) are set as the human body three-dimensional information 115.
[0026]
Next, the human body end point output means 116 first inputs the human body three-dimensional information 115 to the head detection means 117. The head detection means 117 detects the human head using the human three-dimensional information 115. Here, the operation of the head detecting means 117 will be described with reference to FIG.
[0027]
From the input human three-dimensional information 115, the highest head vertex 501 in the human body is obtained. The body width BW is sequentially measured from the top vertex 501 toward the floor surface, and a height h satisfying the following equation (9) is obtained.
[Equation 9]

However, when the head and the hand are at the same height, the larger one is defined as the body width BW. TH₂Is a threshold determined by the size of the head. The highest value h satisfying Expression (9) is set as h_max, and the center point of the human body having the height h_max is set as the head position 502. The three-dimensional coordinates of the head position 502 are output as the end point position coordinate result 121.
[0028]
Next, the human body end point output means 116 inputs the human body three-dimensional information 115 to both shoulder detection means 118. Both shoulder detection means 118 detects both shoulders of the human body using the human body three-dimensional information 115.
[0029]
Here, the operation of both shoulder detection means 118 will be described with reference to FIG. First, the highest head vertex AH601 in the human body is obtained from the input three-dimensional human body information 115. It is assumed that the height of the shoulder SH of the human body is below the head vertex 601 and the shoulder of the human body is in the region indicated by the following formula (10).
[Expression 10]

N and P are constants determined from the structural relationship between the head and shoulder. An image obtained by extracting the three-dimensional information satisfying the region indicated by SH in Expression (10) from the human three-dimensional information 115 and projecting the information on the floor surface is a shoulder projection image 602 shown in FIG. It is. A point obtained by projecting the head vertex onto the floor is a head projection point 603.
[0030]
Next, of all the points constituting the shoulder projection image 602, two points u (u) that pass through the head projection point 603 are used._i, U_j), V (v_i, V_j) Is obtained by the following equation (11). However, it is assumed that the two points u and v are equidistant from each head projection point 603.
## EQU11 ##

Next, among the line segments u and v having the lengths obtained by the equation (11), those satisfying the following equation (12) are obtained.
[Expression 12]

However, TH_ThreeIs a constant determined by the width of the shoulder. The longest dist satisfying Expression (12) is set as dist_max, and the two points constituting the line segment are set as shoulder projection points 604 (shown in FIG. 5B). A point projected onto the shoulder projection point 604 is obtained by searching from the human body three-dimensional information 115, and the shoulder back projection point 605 is set as a shoulder position. The three-dimensional coordinates of the shoulder position 605 are output as the end point coordinate result 121.
[0031]
Next, the human body end point output means 116 inputs the human body three-dimensional information 115 to the both feet detection means 119. The both feet detecting means 119 detects both feet of the human body using the human body three-dimensional information 115.
[0032]
Here, the operation of the both foot detection means 119 will be described with reference to FIG. It is assumed that the human foot LH is below the height of the knee KH, and the human foot is in the region represented by the following equation (13).
[Formula 13]

However, KH is a constant determined from the foot structure. An image obtained by extracting three-dimensional information satisfying the region indicated by LH in Expression (13) from the human three-dimensional information 115 and projecting the information onto the floor surface is a foot projection image 702, which is divided into two regions. (Shown in FIG. 6A).
[0033]
First, arbitrary points P and Q are determined, and distances between them and all points (i, j) on the foot projection image 702 are set to dist respectively._P(I, j), dist_QObtained as (i, j). dist_P(I, j), dist_Q(I, j) is compared, and the point (i, j) belongs to the smaller one. For example, dist_P(I, j) is dist_QWhen smaller than (i, j), the projection point attribute distribution D (i, j) = P. From the projection point attribute distribution D (i, j), all the points (i, j) on the foot projection image 702 belong to either P or Q. Next, the center of gravity of the point (i, j) belonging to each of P and Q is obtained, and each center of gravity is re-assigned to P and Q.
[0034]
As described above, the position of PQ changes in the series of processes of obtaining the distance between PQ and all points on the foot projection image, obtaining the projection point attribute distribution D, obtaining the center of gravity for each attribute, and setting them as PQ. Continue until it runs out. The point that no longer changes is set as a foot projection point 703 (shown in FIG. 6B). Since both the two-dimensional coordinates of the foot projection point 703 indicating the position on the floor surface and both feet are in contact with the floor surface, the total three-dimensional coordinates of the one-dimensional coordinate that the height of both feet is 0, The end point coordinate result 121 is output.
[0035]
Next, the human body end point output means 116 inputs the human body three-dimensional information 115 to the both-hand part detection means 120. The both-hand part detection means 120 detects both hands of the human body using the human body three-dimensional information 115.
[0036]
Here, the operation of the both-hands detection unit 119 will be described with reference to FIG. It is assumed that the human hand HH is above the height of the knee KH, and the human hand is in the region indicated by the following equation (14).
[Expression 14]

KH is a constant determined from the foot structure. An image obtained by extracting three-dimensional information satisfying the region indicated by HH in Expression (14) from the human three-dimensional information 115 and projecting the information on the floor surface is a hand-projected image 802 (FIG. 7A). To show).
[0037]
Next, the center of gravity 803 of the hand projection image 802 is obtained. Further, distances dist (i, j) between the center of gravity 803 and all points (i, j) on the hand projection image 802 are obtained. The point indicating the maximum among the distances dist (i, j)_R, J_R). Next, the distance dist (i, j) between the center of gravity 803 and the point (i, j) that satisfies the formula (15) is obtained. Let S be the point indicating the maximum of the distance dist (i, j).
[Expression 15]

However, TH_FourIs a threshold value determined from the distance between both hands. The two points R and S are the hand projection points 804 (shown in FIG. 7B). A point projected on the projection point 804 is obtained by searching from the human body three-dimensional information 115, and the hand back projection point 805 is set as a hand position. The three-dimensional information of the hand back projection point 805 is output as the end point coordinate result 121.
[0038]
Thus, the end point coordinate results 121 output from the head detecting means 117, both shoulder detecting means 118, both foot detecting means 119, and both hands detecting means 120 are input to the human body end point correcting means 122. The human body end point correcting means 122 corrects the part from the pixel change calculation result 111 and the end point coordinate result 121. First, it is checked whether the end point coordinate result exists on the pixel change distribution C (i, j) = 1, and if not, a pixel (i, j) satisfying the pixel change distribution C (i, j) = 1 is obtained. The distance from the coordinates of the end point coordinate result 121 is obtained, and the minimum point is set as a new end point coordinate result.
[0039]
As described above, the human body end point detection device according to the embodiment of the present invention includes the imaging unit (imaging device) 101 including the plurality of

cameras

102 and 103 for imaging the predetermined detection space, and the plurality of cameras 102. , The distance measurement means 112 for measuring the distance distribution of a human body imaged by stereo image processing using the image obtained from 103, and the distance distribution measured by the distance measurement means 112 and a plurality of

predetermined cameras

102 , 103 for calculating the three-dimensional coordinates of the whole human body from the position data 103, and outputting the end points of the human body from the three-dimensional coordinates of the whole human body calculated by the three-dimensional coordinate calculating means 114. The human body end point output means 116 is provided, and the human body existing in the predetermined detection space is imaged by the imaging means 101, the distance distribution of the whole human body imaged by the stereo image processing is measured, and the distance distribution measurement data and

Multiple turtles

102, 103 position data and from the calculated three-dimensional coordinates of the entire human body, since the output of the human body endpoint can detect a human body endpoint from even distance distribution without using a contact type sensor.
[0040]
In the present embodiment, the distortion measurement is performed on the distorted image to improve the distance measurement accuracy of the stereo image processing, and the reference image and the sequentially input captured image are compared and changed. It is possible to improve the detection rate by determining whether or not a human body part is detected in the area, and if a human body part is detected in the area where there is no change, it is corrected to the changed area. is there.
[0041]
Further, in the present embodiment, the head vertex is obtained from the three-dimensional coordinate calculation data of the entire human body, the width of the body is measured from the head vertex in the floor direction, and a portion having a width equal to or larger than a predetermined threshold is set as the head of the human body. By setting the center point of the width as the position of the head, the head can be accurately detected from the distance distribution without attaching a contact-type sensor to the head.
[0042]
Further, in the present embodiment, it is assumed that the knee is above the floor, and the projected image is projected onto the floor using the three-dimensional coordinate calculation data representing the knee or lower in the three-dimensional coordinate calculation data of the entire body. By dividing the area into two in the projected image and using the center of gravity of each area as the foot part of the human body, the foot part can be accurately obtained from the distance distribution without attaching a contact type sensor to the foot part. It can be detected.
[0043]
【The invention's effect】
As described above, the present invention has an excellent effect that a human body part can be detected without attaching a contact sensor such as a marker to a subject by calculating the three-dimensional coordinates of the entire human body by stereo image processing. A human body end point detection apparatus and method can be provided.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a human body end point detection apparatus according to an embodiment of the present invention.
FIG. 2 is a schematic diagram showing a relationship between an image and a partial region in the human body end point detection method (distance measurement method) according to the embodiment of the present invention.
FIG. 3 is a schematic diagram for explaining the operation of the human body three-dimensional coordinate calculation means in the human body end point detection device according to the embodiment of the present invention;
FIG. 4 is a schematic diagram for explaining the operation of the head detection means in the human body end point detection apparatus according to the embodiment of the present invention.
FIG. 5 is a schematic diagram for explaining the operation of both shoulder detection means in the human body end point detection device according to the embodiment of the present invention;
FIG. 6 is a schematic diagram for explaining the operation of both foot detection means in the human body end point detection device according to the embodiment of the present invention.
FIG. 7 is a schematic diagram for explaining the operation of both-hands detection means in the human body end point detection device according to the embodiment of the present invention.
FIG. 8 is a schematic diagram for explaining a method for detecting a human body end point by attaching a conventional marker;
[Explanation of symbols]
101 Imaging means
102, 103 camera
104 images
105, 106 Distortion correction means
107 Distorted image
108 Reference image storage means
109 Reference distortion corrected image
110 Image change calculation means
111 Image change calculation result
112 Distance measuring means
113 Distance distribution data
114 Human body 3D coordinate calculation means
115 Human body 3D information
116 Human body end point output means
117 Head detection means
118 Both shoulder detection means
119 Both feet detection means
120 Two-hand detection means
121 End point coordinate result
122 Human body end point correction means
201 Red mark on the head
202 Blue mark on hand
203 Blue mark on hand
204 Yellow mark on the shoulder
205 Yellow mark on shoulder
206 Green mark on the foot
207 Green mark on the foot
208 Color camera for measurement
209 Image processing device
301 Right image
302 pixels
303 partial area
401 detection space
402 Human (human body)
403 Imaging surface
501 vertex
502 head position
601 head vertex
602 Shoulder projection
603 head projection points
604 Shoulder projection point
605 Shoulder backprojection point
701 knee height
702 foot image
703 foot projection point
801 knee height
802 Hand projection image
803 center of gravity
804 Hand projection point
805 Hand backprojection point

Claims

The human body existing in a predetermined detection space is imaged by an imaging device equipped with a plurality of cameras, the distance distribution of the entire human body imaged by stereo image processing is measured, and the distance distribution measurement data of the entire human body and the Calculating the three-dimensional coordinates of the whole human body from the position data of a plurality of cameras, obtaining the head vertex of the human body from the three-dimensional coordinate calculation data of the whole human body, and assuming that the chest is below the head vertex; A projection image is created on the floor using the three-dimensional coordinate calculation data representing the chest or more in the entire three-dimensional coordinate calculation data, and the farthest point within a predetermined distance with the head as the center in this projection image. A human body end point detection method, wherein two points shown are defined as both shoulder portions of a human body, and three-dimensional coordinate calculation data indicating both shoulder portions are obtained by back projection processing .

Assuming that the knee part of the human body is above the floor surface, a projection image is created on the floor surface using the three-dimensional coordinate calculation data representing the knee part or more in the three-dimensional coordinate calculation data of the whole human body, In this projection image, the center of gravity coordinates are calculated, and the two points of the human body are the total of two points, one point farthest from the center of gravity coordinates and one point farthest from the center of gravity coordinates excluding the periphery of the farthest point. 3. The human body end point detection method according to claim 1, wherein the three-dimensional coordinate calculation data indicating the above is obtained by back projection processing.

An imaging means comprising a plurality of cameras for imaging a predetermined detection space; a distance measuring means for measuring a distance distribution of a human body imaged by stereo image processing using images obtained from the plurality of cameras; and The human body three-dimensional coordinate calculating means for calculating the three-dimensional coordinates of the whole human body from the distance distribution measured by the distance measuring means and the predetermined position data of the plurality of cameras, and the human body three-dimensional coordinate calculating means. A human body end point output means for outputting the end point of the human body from the three-dimensional coordinates of the whole human body, the head vertex of the human body is obtained from the three-dimensional coordinate calculation data of the whole human body, and the chest is below the head vertex Assuming that, a projection image is created on the floor using the three-dimensional coordinate calculation data representing the chest or more in the three-dimensional coordinate calculation data of the entire human body, and a predetermined image centered on the head in the projection image. Two points indicating a farthest point away in the both shoulders of the human body, the human body endpoint detection device and obtaining by back projection processing three-dimensional coordinate calculation data indicating the shoulders portion.

Assuming that the knee part of the human body is above the floor surface, a projection image is created on the floor surface using the three-dimensional coordinate calculation data representing the knee part or more in the three-dimensional coordinate calculation data of the whole human body, In this projection image, the center of gravity coordinates are calculated, and the two points of the human body are the total of two points, one point farthest from the center of gravity coordinates and one point farthest from the center of gravity coordinates excluding the periphery of the farthest point. 4. The human body end point detection apparatus according to claim 3, wherein the three-dimensional coordinate calculation data indicating the above is obtained by back projection processing .

A distortion correction means for correcting the distortion of the image obtained from said plurality of cameras, characterized in that the distortion using the corrected image by correcting means, for measuring the human body distance distribution that has been captured by stereo image processing The human body end point detection device according to claim 4 .

And distortion correcting means for correcting the distortion of the image obtained from said plurality of cameras, a reference image storage means for storing an image distortion correction on the image obtained at the time of device activation as a reference image, the reference image storage means anda image change calculation means for calculating the image variation by comparing the image distortion correction on the obtained image after time image and device activation stored in, corrected by the distortion correcting unit And measuring the distance distribution of the human body imaged by stereo image processing, and calculating the end point from the image change calculation result obtained from the image change calculation unit and the end point coordinate result obtained from the human body end point output unit. 5. The human body end point detection apparatus according to claim 4, wherein the coordinates are corrected to an image change area.

Head detection means for detecting the head of the human body from the three-dimensional coordinates of the whole human body calculated by the human three-dimensional coordinate calculation means, and human body from the three-dimensional coordinates of the whole human body calculated by the human body three-dimensional coordinate calculation means Both shoulder detecting means for detecting both shoulder parts, both hand part detecting means for detecting both hands of the human body from the three-dimensional coordinates of the whole human body calculated by the human body three-dimensional coordinate calculating means, and the three-dimensional coordinates of the human body The human body end point detection device according to any one of claims 4 to 6, further comprising: both feet detecting means for detecting both feet of the human body from the three-dimensional coordinates of the whole human body calculated by the calculating means.