JPH0863603A - 画像解析装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、撮影された画像から背景画像と対象
物をそれぞれ自動的に生成し、予め定めたモデルにより
遮蔽された情報を回復し、高速処理可能な画像解析装置
を提供することを目的とする。 【構成】本発明は、入力画像データから静止領域（対象
物の存在領域）と背景画像とを生成する存在領域検知部
５と、前記対象物存在領域の情報と背景画像を用いて対
象物を抽出する対象物解析部６と、算出されなかった対
象物のパーツを補間する補間・補正部７と、補正及び補
間された画像データをアナログ信号に変換するＤ／Ａ部
８と、画像データを表示する出力部９と、予め解析の対
象となる物体の各パーツの形状に対応する単純な幾何学
的形状（楕円）で各パーツを表現するためのモデル情報
が格納される対象物モデル格納部１０と、各構成部材を
制御する制御部１１とで構成される画像解析装置であ
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像から所望する対象物
を抽出する画像解析装置に係り、特に移動する対象物と
背景とを分離し、対象物の形状等を正確且つ高速に認識
する画像解析装置に関する。

【０００２】

【従来の技術】一般に、ビデオカメラ等の撮影装置から
得られた動画像に撮影されている画像の中から対象物を
特定して認識する、例えば、監視用カメラに撮影された
物体を判別するなど、画像を解析及び認識する画像解析
技術がある。

【０００３】従来の画像解析技術において、形状が経時
変化しない対象物、例えば自動車などの認識は比較的に
容易にできるが、動画像内で形状が経時変化する対象
物、例えば人間の歩行状態等は、判別及び認識すること
が難しいものであった。

【０００４】そこで、例えば特開平２−２０２２８９号
公報に記載されるように、動画像の中から対象物を抽出
する場合に、その動画像から時間的に離れた動画像との
減算処理により、差分を対象物として抽出していた。

【０００５】また、例えば、電子情報通信学会論文誌Ｄ
−II Ｖｏｌ．Ｊ７６−ＤII Ｎｏ．６（Ｐ１１５９〜
Ｐ１１６７）に記載されるように、自然画像から２値化
処理を行うことにより対象物となるシルエットの抽出を
行う。

【０００６】そして抽出されたシルエットの領域内の全
画素に対して、面積最大の楕円の当て嵌めを行う。シル
エット領域内の残りの領域に関しても同様に楕円の当て
嵌めを行って対象物の形状を認識している。

【０００７】

【発明が解決しようとする課題】しかし、前述した公報
に記載される画像認識装置においては、複数の画像間の
差分により対象物の形状を抽出している。従って、３画
像間の差分で求められた対象物の形状は、３つの対象物
が重なったシルエットとなり、対象物の存在の有無は判
断できるが対象物の正確な形状や細かな動きは認識する
ことが出来ない。また、電子情報通信学会論文誌に記載
される画像認識装置においては、対象物の判定に、１枚
の静止画像を解析して、写し出された対象物のシルエッ
ト形状で判定している。そして、シルエット領域内の全
画素に対して探索を行っているため処理時間が長くなる
という問題点がある。

【０００８】従って、いずれの従来の画像認識装置は、
写し出された対象物のシルエット形状自体を判定基準と
しているため、対象物によっては、対象物の本来の形状
が遮蔽されたものが判定基準となっている場合がある。
このような場合、対象物の遮蔽領域の情報が欠落してい
る部分の各パーツがどの様な動きをしているか解析でき
ない。すなわち、対象物が人間であれば、肢体が判断で
きる服装であれば、各肢体の動きが認識できるが、例え
ばコートやスカート等を着衣している場合には、肢体は
遮蔽された状態となり、認識できない。

【０００９】従って、これらの画像認識装置では、撮影
された状態の対象物に対して認識しているだけで、本来
の対象物の動きを解析することは出来ない。

【００１０】そこで本発明は撮影された画像から背景画
像と対象物の領域をそれぞれ自動的に生成し、予め定め
たモデルにより遮蔽された情報を回復し、高速処理可能
な画像解析装置を提供することを目的とする。

【００１１】

【課題を解決するための手段】本発明は上記目的を達成
するために、動画像内の所定の対象物の動きを解析する
画像解析装置において、前記動画像に対応する動画像デ
ータ中から前記対象物が存在する存在領域を抽出する存
在領域抽出手段と、前記存在領域抽出手段によって抽出
された前記存在領域を除いた複数の動画像のフレーム画
像データまたはフィールド画像データを合成して、背景
画像データを生成する背景画像生成手段と、前記背景画
像生成手段によって生成された背景画像データに基づい
て、前記動画像データから前記所定の対象物の画像デー
タを抽出する対象物抽出手段とで構成される画像解析装
置を提供する。

【００１２】そして、動画像内の所定の対象物の動きを
解析する画像解析装置において、前記動画像に対応する
動画像データの所定のフレーム画像データまたはフィー
ルド画像データの時間的に前及び／または後のフレーム
画像データまたはフィールド画像データとの画像の差分
により所定の対象物に対応する画像データを抽出する対
象物抽出手段と、前記所定の対象物のモデルを前記所定
の対象物の構成部分とその結合関係として記憶するモデ
ル記憶手段と、前記モデル記憶手段からの情報に基づい
て、前記所定の対象物に対応する画像データに前記モデ
ルを適合させるモデル適合手段と、前記所定のフレーム
画像データまたはフィールド画像データの時間的に前及
び／または後のフレーム画像データまたはフィールド画
像データに基づいて、前記モデル適合手段によって前記
所定のフレーム画像データまたはフィールド画像データ
に適合された前記対象物の各構成部分のモデルの位置及
び／または角度を補間する補間手段とで構成される画像
解析装置を提供する。

【００１３】さらに、動画像内の所定の対象物の動きを
解析する画像解析装置において、前記動画像に対応する
動画像データの所定のフレーム画像データまたはフィー
ルド画像データから前記対象物の形態に相当するエッジ
画像データを抽出するエッジ抽出手段と、前記エッジ画
像データ間の差分画像データを生成する差分処理手段
と、前記差分画像データ間の論理演算を行って対象物の
輪郭画像データを抽出する演算処理手段とで構成される
画像解析装置を提供する。

【００１４】

【作用】以上のような構成の画像解析装置は、入力され
た動画像から該動画像内に所定の対象物が存在している
複数の存在領域を抽出し、存在領域を除いた動画像デー
タから背景画像データが生成される。時間的に前後する
複数の存在領域の差分により対象物データが抽出され、
この対象物データの各構成部分に予め定めたモデルを当
て嵌め、好適するように補正を施し、対象物の解析がな
される。

【００１５】また画像解析装置は、所定の対象物が存在
する動画像データの所定のフレーム画像データまたはフ
ィールド画像データ上を所定のテンプレートを走作させ
て、テンプレートと前記所定の対象物のエッジとの交差
する位置情報から対象物の輪郭画像を抽出し、この対象
物データの各構成部分に予め定めたモデルを当て嵌め、
好適するように補正を施し、対象物の解析がなされる。

【００１６】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。

【００１７】図１には、本発明による第１実施例として
の画像解析装置の概略的な構成を示し説明する。

【００１８】この画像解析装置は、ＣＣＤカメラ等から
なる画像信号の入力部１と、前記入力部１からの入力信
号をデジタル化するＡ／Ｄ部２と、前記Ａ／Ｄ部２から
のデジタル画像信号をフレーム単位で一時的に記憶する
バッファメモリ部３と、前記バッファメモリ部３からの
画像データを保存する磁気ディスク等からなる補助入出
力部４と、静止領域と対象物の存在領域と背景画像とを
生成する存在領域検知部５と、前記対象物存在領域の情
報と背景画像を用いて対象物を抽出し、対象物を少数の
パラメータに変換する対象物解析部６と、抽出された対
象物において算出されなかったパーツ（遮蔽されたパー
ツ）を補間し、パラメータの補正を行う補間・補正部７
と、補正及び補間された画像データをアナログ信号に変
換するＤ／Ａ部８と、そのアナログ信号化された画像デ
ータを表示するディスプレイからなる出力部９と、予め
解析の対象となる物体の各パーツの形状に関する情報
を、例えば図４（ａ）に示すように、楕円のような幾何
学的形状で各パーツを表現するためのモデル情報が格納
されている対象物モデル格納部１０と、前記各構成部材
を制御する制御部１１とで構成される。

【００１９】以上のように構成された第１実施例の画像
解析装置の画像解析について説明する。

【００２０】まず、制御部１１の制御により、入力部１
で撮影された所定時間の画像信号がＡ／Ｄ部２に送出さ
れる。このＡ／Ｄ部２は前記画像信号を、例えば量子化
レベル８ビット、離散化サイズ６４０×４８０画素のデ
ジタル信号へ変換してバッファメモリ部３へ転送する。

【００２１】前記バッファメモリ部３は、複数のフレー
ムメモリで構成され、Ａ／Ｄ部２からのデジタル画像信
号を一時的に記憶しておき、フレーム単位の画像データ
を順次、補助入出力部４に出力する。

【００２２】前記補助入出力部４は、制御部１１からの
制御に基づき前記画像データを存在領域検知部５へ出力
する。この存在領域検知部５では、静止領域と対象物の
存在領域と背景画像とを生成し、生成した対象物の存在
領域を補助入出力部４にフィードバックし、生成した背
景画像を対象物解析部６に送出する。対象物モデル格納
部１０には、解析の対象となる物体を、例えば、楕円の
ような単純な幾何学的形状でパーツで表現したモデル情
報が格納されている。

【００２３】前記対象物解析部６では、補助入出力部４
の対象物存在領域の情報と存在領域検知部５から出力さ
れる背景画像を用いて、対象物を抽出する。続いて、抽
出された対象物に対して、対象物モデル格納部１０を用
いて、単純な幾何学的形状を当て嵌め、幾何学的形状の
パラメータを算出し、補間・補正部７に送出する。

【００２４】前記補間・補正部７では、対象物モデル格
納部１０の情報に基づいて、各パーツを対象物の形状に
合わせて補正したり、遮蔽などの原因で算出されなかっ
たパーツの補間を行う。この結果は、Ｄ／Ａ部８でアナ
ログ信号化され、ディスプレイからなる出力部９に画像
解析結果として表示される。

【００２５】次に図２には、図１に示した存在領域検知
部５の具体的な構成を示し、存在領域の検出について説
明する。

【００２６】この存在領域検知部５は、補助入出力部４
に蓄積されている画像データを制御部１１からの制御に
基づき選択するセレクタ部２１と、セレクタ部２１で選
択された画像データを格納するワークメモリ部２２、ワ
ークメモリ部２３、ワークメモリ部２４と、画像データ
の各画素の差分の絶対値を算出後、２値化処理を行う差
分部２５、差分部２６と、各画素間の論理積を算出する
ＡＮＤ部２７と、ＡＮＤ部２７の出力信号をラベル処理
し、各ラベルに外接する外接四辺形を生成する外接四辺
形抽出部２８と、画像データから外接四辺形抽出部２８
の外接四辺形の領域を削除して静止領域のみを抽出する
静止領域抽出部２９と、新たに得られた静止領域を格納
する背景領域格納部３２と、背景領域格納部３２に格納
されている背景信号と、静止領域抽出部２９から新たに
得られた静止領域との合成処理を行う合成部３０と、存
在領域検知部５が起動されるとき制御部１１からの制御
に基づき、背景領域格納部３２の初期化を行う初期化部
３１とで構成される。 このように構成された存在領域
検知部５に関して説明する。

【００２７】補助入出力部４に蓄積されている画像デー
タは、制御部１１からの制御に基づき、セレクタ部２１
で選択され、ワークメモリ部２２、ワークメモリ部２
３、ワークメモリ部２４に順次、転送される。この時、
前記制御部１１は、時系列的に連続する３枚の画像を選
択する。

【００２８】すなわち、ｉを２以上の整数とした場合、
ワークメモリ部２２には時刻ｉ−１番目の、ワークメモ
リ部２３には時刻ｉ番目の、ワークメモリ部２４には、
時刻ｉ＋１番目の画像データが転送される。ワークメモ
リ部２２とワークメモリ部２３の各画像データは差分部
２５へ、ワークメモリ部２３とワークメモリ部２４の画
像データは差分部２６に送出され、それぞれ各画素ごと
に差分の絶対値が算出され、その結果に基づき２値化処
理を行う。前記差分部２５と前記差分部２６の２値化さ
れた出力信号は、ＡＮＤ部２７にて論理積を取り、外接
四辺形抽出部２８へ転送される。尚、差分の絶対値に対
して和を取り、後に２値化してもよい。次に、前記外接
四辺形抽出部２８では、ＡＮＤ部２７の出力信号をラベ
ル処理する。このラベル処理により、１つの連結した領
域には、１つのラベルが与えられる。この後、各ラベル
に外接する外接四辺形を生成する。静止領域抽出部２９
では、制御部１１からの制御に基づき、ワークメモリ部
２３の画像データから外接四辺形抽出部２８の外接四辺
形の領域を補助入出力部４へフィードバックし、外接四
辺形を削除した静止領域を、時刻ｉ番目の静止領域とし
て抽出する。抽出された静止領域信号は、制御部１１か
らの制御に基づき合成部３０へ出力される。 前記合成
部３０は、背景領域格納部３２に格納されている背景信
号と、静止領域抽出部２９から新たに得られた静止領域
との合成処理を行い、これを更新された背景領域として
背景領域格納部３２へ出力する。ここで、前記背景領域
格納部３２は、存在領域検知部５が起動されるとき、初
期化部３１にて初期化されている。ここで制御部１１
は、背景領域格納部３２の画像の変動が所定量以下にな
るか、補助入出力部４の全ての画像データを処理し終わ
るまで前述した過程を反復するものとする。なお、外接
四辺形抽出部２８の外接四辺形を座標として補助入出力
部４にフィードバックすることも可能である。

【００２９】次に図３を参照して、このように構成され
た存在領域検知部５における対象物の抽出と背景画像の
生成について説明する。

【００３０】図３（ａ）は、補助入出力部４上に時系列
的に記録された画像データを示す。これらの画像データ
は、３枚が１組となり、存在領域検知部５にて処理され
る。図３（ｂ）は、前記３枚の画像が差分部２５と差分
部２６において、差分処理された後、２値化処理される
ことを示す。この差分処理により、デジタル信号中で静
止している領域が除かれ、動領域のみが処理される。

【００３１】次に図３（ｃ）は、これらの２組の差分画
像がＡＮＤ部２７によって、ＡＮＤ処理されることを示
す。このＡＮＤ処理により、動領域の抽出精度が向上す
る。図３（ｄ）は、外接四辺形抽出部２８における動領
域に接する外接四辺形の生成を示す。図３（ｅ）は、同
図（ａ）におけるｉ番目のデジタル信号から前記外接四
辺形内の領域を削除することで、静止領域のみを抽出す
る静止領域抽出部２９の処理を示す。図３（ｆ）は、合
成部３０にて記静止領域を合成していくことで、背景画
像を生成していく過程を示す。ここで、ＡＮＤ部２７か
ら出力がないときには、対象物解析部６には補助入出部
４から新たな画像データを転送することが可能である。

【００３２】図４を参照して、図１に示した対象物モデ
ル格納部１０に格納されているモデルについて説明す
る。図４（ａ）は、例えば人間を対象物とした場合、人
間の肢体を頭部や胴体部など１４個のパーツに分割し
て、楕円のような単純な幾何学的形状で表現した場合の
モデルを示す。

【００３３】このモデルは、各パーツのサイズ比、接続
関係、動作範囲など対象物について予め分かっている情
報を備えている。各パーツの接続関係は、図４（ｂ）に
示すように表すことができる。ここで、各パーツの上方
にある部分を“Ｕ”、下方にある部分を“Ｌ”とし、接
続関係にあるパーツ部分を“１”、接続関係にないパー
ツ部分を“０”としている。また、楕円は、中心座標
（ｘ，ｙ）、長軸の長さを“ａ”、短軸の長さを
“ｂ”、回転を“θ”の５個のパラメータで表すことが
できる。対象物の全体の高さを“ｈ”、各パーツの全体
の高さに対する比をそれぞれα・β・θ・Ｘ・Ｙとする
と、例えば頭部の長軸の長さａは全体の高さの１６％で
あるのでαには“０．１６”が格納されている。回転θ
₀ は各パーツの傾き、ｘ_c ，ｙ_c は対象物存在領域の中
心座標、Δα、Δβ、Δθ、ΔＸ、ΔＹは各パラメータ
のゆらぎを表す。例えば頭部の長軸の長さａは全体の高
さｈの１６％（＝α）、ゆらぎがΔαであるので、頭部
に関する長軸の長さは、 ａ＝ｈ（α±Δα） と表される。同様に他のパラメータも表すことができ
る。

【００３４】ｂ＝ｈ（β±Δβ） θ＝θ₀ ±Δθ ｘ＝ｘ_c ＋ｈ（Ｘ±ΔＸ） ｙ＝ｙ_c ＋ｈ（Ｙ±ΔＹ） このようにモデルのパラメータは、前述した形式で格納
してある。なお、パラメータの算出にあたり、図１４の
座標系を用いる。ただし、単純な幾何学的形状は楕円だ
けでなく、線分や円柱などで記述することも可能であ
る。

【００３５】次に図５には、図１に示した対象物解析部
６の具体的な構成例を示し、説明する。

【００３６】この対象物解析部６は、補助入出力部４か
ら読出された対象物の存在領域の画像データを記憶する
ワークメモリ部４１と、存在領域検知部５からの背景領
域を記憶するワークメモリ部４２と、前記ワークメモリ
部４１とワークメモリ部４２から読出された画像データ
から対象物のシルエット画像を抽出するシルエット生成
部４３と、抽出されたシルエット画像を記憶するワーク
メモリ部４４と、前記ワークメモリ部４４から読出され
たシルエット画像からスケルトン画像を生成するスケル
トン抽出部４５と、スケルトンの位置と元のシルエット
の幅の情報としてスケルトン画像を記憶するワークメモ
リ部４６と、各パーツが存在しうる領域を予測するパー
ツ予測部４７と、前記シルエット画像とスケルトン画像
とに基づきパーツ予測設定を行うパーツ当て嵌め部４８
と、シルエットに好適するパラメータを算出するパラメ
ータ算出部４９とで構成される。

【００３７】このように構成された対象物解析部６によ
る解析動作について説明する。

【００３８】まず、補助入力部４を介して、静止領域抽
出部２９内の対象物の存在領域がワークメモリ部４１に
記憶され、存在領域検知部５を介して、背景領域格納部
３２内の背景領域がワークメモリ部４２に記憶される。
ワークメモリ部４１とワークメモリ部４２から読出され
た画像データは、シルエット生成部４３に送出され、差
の絶対値が算出された後、２値化処理されて、動領域す
なわち、対象物のシルエット画像が取り出される。

【００３９】前記シルエット画像は、ワークメモリ部４
４へ記録された後、制御部１１からの制御に基づきスケ
ルトン抽出部４５へ転送される。スケルトン抽出部４５
では、シルエット画像の骨格成分のみが抽出され、スケ
ルトン画像が生成される。前記スケルトン画像を基に、
スケルトンの位置と元のシルエットの幅からなる情報が
ワークメモリ部４６に記録される。このような骨格成分
の算出に関しては、例えば「コンピュータ画像処理入
門」（総研出版刊：Ｐ７７）等に記載されている。 次
に制御部１１は、シルエット画像とスケルトン画像が生
成された後、対象物モデル格納部１０の情報をパーツ予
測部４７へ転送する。前記パーツ予測部４７は、対象物
モデル格納部１０の各パーツの大きさと位置の情報と補
助入出力部４内の対象物の存在領域の信号から、各パー
ツが存在しうる領域を含め、この結果をパーツ当て嵌め
部４８へ転送する。

【００４０】そしてパーツ当て嵌め部４８では、ワーク
メモリ部４４のシルエット画像とワークメモリ部４６の
スケルトン画像からパーツ予測設定を行う。さらにパラ
メータ算出部４９では、前記パーツ当て嵌め部４８の各
パラメータの初期値に基づいてシルエットに好適するパ
ラメータを算出し、そのパラメータは、補間・補正部７
に出力される。なお、静止領域抽出部２９から補助入出
力部４への出力が座標である場合、補助入出力部４から
ワークメモリ部４１への出力は、画像データと座標であ
り、以降の処理を外接四辺形領域内で行なう。

【００４１】図６を参照して、パーツ予測部４７による
パーツ予測について説明する。

【００４２】まず、パーツ予測部４７では、対象物モデ
ル格納部１０の各パーツの情報と補助入出力部４内の対
象物の存在領域の信号から、各パーツが存在しうる領域
を求める。以下、図４に示した歩行中の人間を例として
説明する。

【００４３】図６（ｂ）には、対象物の存在領域として
抽出された矩形領域に対象となる同図（ａ）に示す歩行
者が存在する。この矩形領域を各パーツの情報に基づき
分割を行う。つまり、歩行中の人間を対象とする場合、
図４における頭部１、胴体部２、脚部７，８の４つのパ
ーツを優先的に設定する。

【００４４】すなわち、図６（ａ）には対象物モデル格
納部１０のモデルを、図６（ｂ）には補助入出力部４内
の対象物の存在領域を、図６（ｃ）にはシルエット生成
部４３で生成されたシルエット画像を示し、図６（ｄ）
にはスケルトン抽出部４５で抽出されたスケルトン画像
を示している。

【００４５】そして、図６（ｅ）には、モデルのサイズ
比と結合関係から求めた頭部１、胴体部２、脚部７，８
が存在する領域を示す。図６（ｅ）内で、ｅ１は頭部
１、ｅ２は胴体部２、ｅ３は脚部７，８が存在する領域
となる。

【００４６】図６（ｆ）は頭部１に関する領域に関し
て、パーツ予測部４７にて予測された存在領域、シルエ
ット生成部４３で生成されたシルエット画像、スケルト
ン抽出部４５で抽出されたスケルトン画像を重ね合わせ
ものを示している。そして、パーツ予測部４７は、胴体
部２、脚部７，８に関しても同様な処理を行う。

【００４７】パーツ当て嵌め部４８では、パーツ予測部
４７からの情報に基づき、図４における頭部１、胴体部
２、脚部７，８の４つのパーツを優先的に処理する。そ
の後、他のパーツにおいても同様な処理を行う。

【００４８】次に図７には、パーツ当て嵌め部４８にお
ける処理過程に従った構成を示し説明する。ここで、対
象物の頭部１、胴体部２、脚部７，８の４つのパーツに
関する当て嵌めを楕円で行なった例を示している。

【００４９】このパーツ当て嵌め部４８は、各パーツの
存在領域内にあるスケルトンとシルエットの抽出を行う
パーツ分割部５１と、パーツ分割されたスケルトンを格
納するワークメモリ部５２と、パーツ分割されたシルエ
ットを格納するワークメモリ部５３と、パーツ分割され
たスケルトンの始点と終点の算出を行う始点・終点算出
部５４と、算出された各パーツの始点・終点のデータを
格納するデータ格納部５５と、データ格納部５５のデー
タを用いて各パラメータの初期値を設定するパラメータ
推定部５６と、このパラメータ推定部５６で初期値設定
された各パラメータを格納するデータ格納部５７とで構
成される。

【００５０】このように構成されたパーツ当て嵌め部４
８に関して説明する。

【００５１】このパーツ分割部５１は、パーツ予測部４
７で算出された各パーツの存在領域内にあるスケルトン
とシルエットの抽出を行う。パーツ分割部５１で抽出さ
れた各パーツのスケルトンをワークメモリ部５２に、シ
ルエットをワークメモリ部５３に格納する。

【００５２】次に、始点・終点算出部５４では、前記ワ
ークメモリ部５２に格納された各パーツのスケルトンの
最も上の点（ｙ座標が最小となる点）を前記パーツのス
ケルトンの始点（ｘ_s ，ｙ_s ）とし、最も下の点（ｙ座
標が最大となる点）を前記パーツのスケルトンの終点
（ｘ_e ，ｙ_e ）とする。

【００５３】このような処理過程を各パーツ毎に行い、
各パーツの始点・終点のデータをデータ格納部５５へ格
納する。パラメータ推定部５６ではデータ格納部５５の
データを用いて、各パラメータの初期値を設定する。こ
のパラメータ推定部５６で初期値設定された各パラメー
タをデータ格納部５７に格納する。なお、前述した当て
嵌める幾何学的形状は、楕円だけでなく円柱や線分でも
行なうことができる。次に、図８にはパラメータ推定部
５６の具体的な構成例を示し説明する。

【００５４】このパラメータ推定部５６は、データ格納
部５５に記憶されるパラメータに基づき、始点と終点と
の中点を算出する中点算出部６１と、前記中点における
スケルトンの半径（幅）の情報を読みとる中点半径算出
部６２と、前記始点と前記終点との距離を２で割った値
ａを算出する距離算出部６３と、前記始点と前記終点を
結ぶ線分とｙ軸とのなす角度θを算出する角度算出部６
４とで構成される。

【００５５】このように構成されたパラメータ推定部５
５において、中点算出部６１では、データ格納部５５の
データに基づき、始点（ｘ_s ，ｙ_s ）、終点（ｘ_e ，ｙ
_e ）の中点（ｘ₀ ，ｙ₀ ）を算出する。そして中点半径
算出部６２では、中点算出部６１で算出された中点（ｘ
₀ ，ｙ₀ ）におけるスケルトンの半径（幅）の情報を読
みとる。距離算出部６３では、始点（ｘ_s ，ｙ_s ）と終
点（ｘ_e ，ｙ_e ）の距離を２で割った値ａを算出する。
角度算出部６４では、始点（ｘ_s ，ｙ_s ）と終点
（ｘ_e ，ｙ_e ）を結ぶ線分とｙ軸のなす角度θを算出す
る。パラメータ推定部５６で算出されたパラメータはデ
ータ格納部５７に格納される。

【００５６】以上のパラメータ推定部５６の算出式を以
下に示す。

【００５７】

【数１】

【００５８】前述した図４に示した頭部１、胴体部２、
脚部７，８の４つのパーツのパラメータを算出した後、
残りのパーツについても同様に行う。ここで算出されな
かったパーツのパラメータにはすべて０が格納される。
手部や脚部においては、左右に分ける必要があるので、
胴体の中心点のｘ座標ｘ₀ を基準とし、図３（ｅ）の外
接四辺形を左右に分割し、この領域に従って、スケルト
ンのパーツ分割を行う。以上のように処理されたデータ
格納部５７のデータは、パラメータ算出部４９へ転送さ
れる。なお、シルエットのパーツ分割は、前述したよう
に高さ方向に対して垂直に分割するのではなく、パーツ
分割されたスケルトンの両端点よりスケルトンに対して
垂直に分割してもよい。

【００５９】次に図９，図１０に示すフローチャートを
参照して、パラメータ算出部４９によるシルエットに最
適な楕円のパラメータを算出する処理について説明す
る。

【００６０】まず、ワークメモリ部５３のパーツ分割さ
れたシルエット画像を２次元配列ｉｍ［ｙ］［ｘ］に代
入する（ステップＳ１）。ここでｘ，ｙは、シルエット
画像のｘ方向、ｙ方向のサイズを意味する。次にｋの初
期値設定を行い（ステップＳ２）、ｋをインクリメント
する（ステップＳ３）。ここで、ｋはパーツ番号を意味
する。

【００６１】そして、各パーツの存在領域の座標をｘ２
［ｋ］，ｙ２［ｋ］，ｘ３［ｋ］，ｙ３［ｋ］に代入
し、データ格納部５７に格納されているパラメータの初
期値をａ₀ ，ｂ₀ ，θ₀ ，ｘ₀ ，ｙ₀ に代入する（ステ
ップＳ４）。

【００６２】次にｉ，ｊの初期値設定を行い（ステップ
Ｓ５、ステップＳ６）、ｉをインクリメントし（ステッ
プＳ７）、次いでｊをインクリメントする（ステップＳ
８）。そして、各パーツのシルエットｉｍ［ｉ］［ｊ］
をＳｉｌ［ｋ］［ｉ］［ｊ］に格納する（ステップＳ
９）。次にｊとｘ３［ｋ］を比較し（ステップＳ１
０）、ｊ＜ｘ３［ｋ］の条件を満たす場合には（ＹＥ
Ｓ）、ステップｓ８に戻り、前記条件を満たさない場合
には（ＮＯ）、ｉとｙ３を比較する（ステップＳ１
１）。このステップＳ１１において、ｉ＜ｙ３［ｋ］の
条件を満たす場合には（ＹＥＳ）、ステップＳ６に戻
り、前記条件を満たさない場合には（ＮＯ）、次のステ
ップＳ１２に移行する。

【００６３】以上の処理によりパーツの存在領域のシル
エット画像がｓｉｌ［ｋ］［ｉ］［ｊ］に格納される。

【００６４】次にステップＳ１２では、すべてのパラメ
ータの初期値が算出されたか判断し（ステップＳ１
２）、パラメータの初期値が１つでも算出されていない
場合には（ＮＯ）、そのパーツについては以降の処理を
行なわず、前記ステップＳ３に戻り、次のパーツ番号の
パーツについて初期値を算出する。しかし、パラメータ
の初期値がすべて算出されていれば（ＹＥＳ）、シルエ
ットとパーツの面積差を最小化する処理を行なう（ステ
ップＳ１３）。但し、このステップＳ１３では、各パラ
メータの揺らぎの範囲、例えば初期値の±２０％の範囲
を決定する。ここで、シルエットとパーツの面積差を示
すｍｉｎの初期値は画面の面積とし、画像サイズの横を
ｃｏｌ、縦をｒｏｗとするとｃｏｌ×ｒｏｗとなる。

【００６５】次に、揺らぎの初期値を決定する（ステッ
プＳ１４）。ａ₁ ，ｂ₁ ，θ₁ ，ｘ₁ ，ｙ₁ の各パラメ
ータをインクリメントする（ステップＳ１５〜Ｓ１
９）。そしてステップＳ２０〜Ｓ３５において、どのパ
ラメータの組み合せがシルエットに最適にマッチするか
どうかの判定を行う。

【００６６】まず、ｓ，ｔ，ａｒｅａの初期値設定を行
い（ステップＳ２０）、ｓ，ｔをそれぞれインクリメン
トする（ステップＳ２１，Ｓ２２）。次に楕円の方程式
を満たすかどうかの判定を行い（ステップＳ２３，Ｓ２
４，Ｓ２５）、満たさないならば（ＮＯ）、ｅｌｌｉ
［ｓ］［ｔ］に例えば“０”を代入し（ステップＳ２
６）、しかし満たすならば（ＹＥＳ）、ｅｌｌｉ［ｓ］
［ｔ］に例えば“１”を代入し（ステップＳ２７）、２
値化処理を行なう。

【００６７】そして、座標（ｔ，ｓ）においてシルエッ
トと楕円が一致するかどうかを判定する（ステップＳ２
８）。一致しないならば（ＹＥＳ）、ａｒｅａに“１”
を加え（ステップＳ２９）、一致するならば（ＮＯ）、
ｔとｘ₃ ［ｋ］を比較する（ステップＳ３０）。

【００６８】このｔとｘ₃ ［ｋ］の比較でｔ＜ｘ
₃ ［ｋ］の条件を満たす場合には（ＹＥＳ）、ステップ
Ｓ２２に戻り、この条件を満たさない場合には（Ｎ
Ｏ）、さらにｓとｙ₃ ［ｋ］を比較する（ステップＳ３
１）。

【００６９】前記ステップＳ３１において、ｓ＜ｙ
₃ ［ｋ］の条件を満たす場合には（ＹＥＳ）、ｔにｘ２
［ｋ］を代入し（ステップＳ３２）、前記ステップＳ２
１に移行する。しかし、ｓ＜ｙ₃ ［ｋ］の条件を満たさ
ない場合には（ＮＯ）、今までの面積差の最小値ｍｉｎ
とａｒｅａを比較する（ステップＳ３３）。

【００７０】このステップＳ３３でａｒｅａの方が小さ
いならば（ＮＯ）、ｍｉｎとａｒｅａを入れ替え、且つ
各ａ，ｂ，θ，ｘ，ｙにａ₁ ，ｂ₁ ，θ₁ ，ｘ₁ ，ｙ₁
の入れ替え（ステップＳ３４）、算出された最適な楕円
のパラメータの値をテーブルに格納する（ステップＳ３
５）。

【００７１】次に、以後のステップＳ３６からＳ４５で
は、それぞれが各条件を満たすならば（ＹＥＳ）、ステ
ップＳ１９，ステップＳ３８，ステップＳ４０，ステッ
プＳ４２，ステップＳ４４，ステップＳ３に移行する。
それぞれのパラメータが各条件を満たさなくなるまで処
理し、その結果の各パラメータは補正および補間の基準
となり、補間・補正部７に出力する。

【００７２】図１１には、前記補間・補正部７の具体的
な構成を示し説明する。

【００７３】この補間・補正部７は、各パーツのパラメ
ータ（時刻、パーツ番号、各パラメータの値（ａ，ｂ，
θ，ｘ，ｙ））を記憶するデータ格納部７１と脚部や手
部における左右の判別を行う左右パーツ判別部７２と、
パーツの左右の判定結果を記憶するデータ格納部７３と
各パーツを対象物の形状に合わせて補正する補正部７４
と、その補正結果を記憶するデータ格納部７５とパーツ
のデータが不確定な時刻を検出する不確定データ検索部
７６と、検出した時刻のデータを回復させる補間部７７
と、補間結果を対象物の形状に合わせて補正する補正部
７８と、回復、補正されたデータを記憶するデータ格納
部７９と、格納されたデータに基づいて楕円を発生させ
る画像作成部８０とで構成される。

【００７４】このように構成された補間・補正部７にお
いては、制御部１１の制御により、対象物解析部６のパ
ラメータ算出部４８で算出された各パーツのパラメータ
（時刻、パーツ番号、各パラメータの値（ａ，ｂ，θ，
ｘ，ｙ））をデータ格納部７１の所定のテーブルに格納
する。

【００７５】そして脚部３，５，７と４，６，８や手部
９，１０，１１と１２，１３，１４の左右の判別を左右
パーツ判別部７２で行い、そのパーツの判定結果をデー
タ格納部７３に格納する。さらに補正部７４では、前記
データ格納部７３に対して対象物モデル格納部１０に基
づき、各パーツを対象物の形状に合わせて補正し、その
補正結果をデータ格納部７５に格納する。

【００７６】次に不確定データ検索部７６では、前記デ
ータ格納部７５に格納されているデータに基づき、各パ
ーツのデータが確定しているかを検出する。不確定な場
合その時刻を検出し、検出された時刻のデータを補間部
７７で回復を行ない、回復されたデータを補正部７８で
対象物の形状に合わせて補正し、回復・補正を行なった
データをデータ格納部７９に格納する。

【００７７】そして画像作成部８０は、データ格納部７
９に格納されているデータに基づいて楕円を発生させ
る。この楕円の発生は、時刻ｔの全てのパーツ（パーツ
番号ｎ＝１から１４まで）に関して以下の式を満たす画
素を例えば黒、満たさない場合白で色づけを行い、画像
を格納する。

【００７８】

【数２】

【００７９】但し、（ｘ₁ ，ｙ₁ ）は楕円の中心点、θ
は回転角、ａは長軸の長さ、ｂは短軸の長さを示す。前
記画像作成部８０に格納されているデジタル信号をＤ／
Ａ部８へ転送し、アナログ信号に変換する。

【００８０】次に図１２には、図１１に示した左右パー
ツ判別部７２の具体的な構成を示し説明する。

【００８１】前述した図５に示したパーツ当て嵌め部４
８では、胴体部を基準として左右にパーツを分別してい
たが、ここでは、左右パーツ判別部７２で各々のパーツ
の同定を行う。

【００８２】この左右パーツ判別部７２は、９０°を跨
ぐデータの時刻を記憶する９０°点格納部８１とその時
刻のデータを入れ替えるパーツ入れ替え部８２とで構成
される。

【００８３】図１３を参照して、左右のパーツ判別につ
いて説明する。

【００８４】図１３（ａ）は、図４（ａ）の３と４のパ
ーツの入れ替えを行う前の時刻とｙ軸とのなす角度θの
変化を表した図である。

【００８５】つまり、他のパーツで手部や脚部のパーツ
が遮蔽される角度が９０°となるので、９０°を基準と
して左右の判別を行う。データ格納部７１に格納されて
いる全ての時刻の手部と脚部の角度θのデータを探索し
て、例えば８０°から９２°、９７°から８７°のよう
に、９０°を跨ぐデータの時刻を９０°点格納部８１で
検出し、その時刻を格納する。ただし測定点の時刻間隔
が３つ以上離れていない場合は、検出誤りとみなして格
納しない。

【００８６】そしてパーツ入れ替え部８２は、格納した
９０°点が最初から奇数番目となる時刻から偶数番目ま
での範囲の時刻のデータを入れ替える。例えば、図１３
（ｂ）は、図４（ａ）の３と４をパーツを９０°点の１
番目の時刻６から２番目の時刻２１までのデータの入れ
替えを行った後の各時刻の角度変化を表した図である。
入れ替えを行った結果をデータ格納部７３に格納する。
このデータ格納部７３のデータと対象物モデル格納部１
０に基づいて、パラメータの補正を行う。

【００８７】図１５には、補正部７４の構成を示し説明
する。

【００８８】この補正部７４は、前記データ格納部７３
に格納された左右パーツ判別部７２が判別したパーツ判
定結果に対して、対象物モデル格納部１０に基づき、各
パーツを対象物の形状に合わせて補正するパーツ補正部
８３とパラメータ比較部８４とで構成される。

【００８９】また図１６には、前記パーツ補正部８３の
構成を示す。

【００９０】このパーツ補正部８３は、パーツとパーツ
とが接する交点を算出する交点算出部８５と、算出した
交点によるパーツとパーツとの接続形態が好適なものか
判断する判断部８６とで構成される。

【００９１】図１７，図１８に示すフローチャートを参
照して、前記補正部７４による補正について説明する。

【００９２】まず、ｔ，ｋの初期値設定を行う（ステッ
プＳ９１，ステップＳ９２）。ここでｔは時刻を、ｋは
パーツ番号を意味する。次にｔ，ｋをインクリメントし
（ステップＳ９３，Ｓ９４）、パーツ番号ｋ、時刻ｔの
ｘ座標をｘ［ｋ］［ｔ］に格納する。他のパラメータも
同様に格納する（ステップＳ９５）。次に、パーツ番号
ｋの長軸の長さａと短軸の長さｂのモデル値をｍｏｄｅ
ｌａ［ｋ］，ｍｏｄｅｌｂ［ｋ］に格納する（ステップ
Ｓ９６）。

【００９３】そして、パーツ番号ｋが手部に該当するか
判定する（ステップＳ９７）。このパーツ番号ｋが手部
に該当する、つまりパーツ番号ｋが９または１２の場合
（ＹＥＳ）、ステップＳ９８からステップＳ１０４にお
ける手部補正処理を行う。

【００９４】この手部補正処理について、図１９を参照
して説明する。

【００９５】図１９は、手部補正の概念図であり、比較
的安定して求められる手と肩の位置を基準として、手、
腕、胴体などの位置関係によりパラメータを補正するこ
とを示している。

【００９６】まず、ステップＳ９８では、パーツ番号
（ｋ＋２）の上方の接点Ｕの位置Ａ（ｘ，ｙ）を算出す
る。図４に示したように、パーツ（ｋ＋２）は上腕であ
り、点Ａ（ｘ，ｙ）は肩の位置を表す。また位置Ａ
（ｘ，ｙ）は胴体（パーツ番号ｋ＝２）のＵの位置から
長軸の長さａの０．１倍の長さだけＬの方向に下げた位
置とする。

【００９７】次に、手（パーツ番号ｋ）の中心点をＢ
（ｘ１，ｙ１）に格納し、上腕（パーツ番号（ｋ＋
２））の長軸の長さａをｒに、下腕（パーツ番号（ｋ＋
１））の長軸の長さａに手（パーツ番号ｋ）の長軸の長
さａを加えたものをｒ１に格納する（ステップＳ９
９）。そして、肩（点Ａ（ｘ，ｙ））を中心とする半径
ｒの円と、手（点Ｂ（ｘ１，ｙ１））を中心とする半径
ｒ１の円を描き両者の交点Ｃ（ｘ０，ｙ０）を算出する
（ステップＳ１００）。この交点Ｃ（ｘ０，ｙ０）が肘
の位置となる。

【００９８】次にステップＳ１０１からステップＳ１０
２により、交点の数の分類を行う。ステップＳ１０１で
交点が１つの場合（ＹＥＳ）、手部補正を終了し、ステ
ップＳ１０７に移行する。またステップＳ１０２で交点
が２つの場合（ＹＥＳ）、ステップＳ１０９からステッ
プＳ１１１の処理を行う。

【００９９】前記ステップＳ１０９では、角ＡＣＢを中
心点Ａ（ｘ，ｙ）、Ｂ（ｘ₁ ，ｙ₁）、Ｃ（ｘ₀ ，
ｙ₀ ）から算出する。算出方法は余弦定理を用いる。

【０１００】

【数３】

【０１０１】但し、Ａ，Ｂ，Ｃはそれぞれ頂点Ａから
Ｂ、ＢからＣ、ＣからＡの距離、φは角ＡＣＢの時計回
りに測った角度を表す。算出された角ＡＣＢと１８０°
とを比較して（ステップＳ１１０）、角ＡＣＢが１８０
°以上ならば（ＹＥＳ）、その交点をＣ（ｘ₀ ，ｙ₀ ）
を格納し（ステップＳ１１１）、ステップＳ１０７に移
行する。しかし、前記角ＡＣＢが１８０℃未満ならば
（ＮＯ）、他方の交点Ｃを用いて角ＡＣＢを算出する。
ステップＳ１０２で交点が２つでない場合（ＮＯ）、つ
まり交点が見つからなかった場合、ステップＳ１０３で
半径ｒとｒ１を増加、例えば、もとの半径の０．０５倍
した数をもとの半径に加えさせながら、ステップＳ１０
０以降の処理を繰り返す。

【０１０２】次に、パーツ番号ｋが脛部に該当するか判
定し（ステップＳ１０４）、パーツ番号ｋが脛部に該当
する、つまりパーツ番号ｋが５または６の場合（ＹＥ
Ｓ）、ステップＳ１１２からステップＳ１２１までの脚
部補正処理を行う。

【０１０３】この脚部補正処理について、図２０を参照
して説明する。

【０１０４】まずステップＳ１１２では、足（パーツ番
号（ｋ＋２））の角度θをｒａｄに、脛部（パーツ番号
ｋ）の角度θをｒａｄ１に格納する。

【０１０５】次に、足（パーツ番号（ｋ＋２））の中心
点（ｘ２，ｙ２）と長軸の長さａと角度ｒａｄを用いて
足（パーツ番号（ｋ＋２））のＬの位置（ｘ３，ｙ
３）、つまり、つま先の位置を算出する（ステップＳ１
１３）。この算出方法は、まず、中心点（ｘ２，ｙ２）
を通り角度ｒａｄをもつ直線の方程式を求める。次に直
線の方程式を満たし、中心点（ｘ２，ｙ２）から距離ａ
だけ離れている点をＬの位置（ｘ３，ｙ３）とする。

【０１０６】そして、足（パーツ番号（ｋ＋２））の長
軸の長さａを０．７倍したものをａｎｋｌｅに格納する
（ステップＳ１１４）。ステップＳ１１５ではステップ
Ｓ１１３で求めた直線の方程式を用いる。直線の方程式
を満たし、中心点（ｘ２，ｙ２）からａｎｋｌｅだけＵ
の方向に離れている点をパーツ番号（ｋ＋２）の足首の
位置（ｘ４，ｙ４）とし、足首の位置（ｘ４，ｙ４）を
算出する（ステップＳ１１５）。

【０１０７】次に、脛部（パーツ番号ｋ）のＵの位置
（ｘ５，ｙ５）つまり膝の位置を算出する（ステップＳ
１１６）。算出方法は、ステップＳ１１３と同様な方法
で行う。足首の位置（ｘ４，ｙ４）と角度ｒａｄ１から
直線の方程式を算出する。対象物モデルのパーツ番号ｋ
の長軸の長さａを用いて、直線の方程式を満たし、足首
の位置（ｘ４，ｙ４）から長軸の長さの２倍だけパーツ
番号ｋのＵ方向に離れている点を膝の位置（ｘ５，ｙ
５）とする。

【０１０８】そして、胴体部（パーツ番号ｋ＝２）のＬ
の位置（ｘ６，ｙ６）を算出する（ステップＳ１１
７）。この点（ｘ６，ｙ６）は股を表す。算出方法は、
ステップＳ１１３と同様な方法で行う。胴体部（パーツ
番号ｋ＝２）の中心点（ｘ８，ｙ８）と角度θから直線
の方程式を算出する。胴体部（パーツ番号ｋ＝２）の長
軸の長さａを用いて中心点（ｘ８，ｙ８）から長軸の長
さａだけＬの方向に離れている点で、直線の方程式を満
たす点をＬの位置（ｘ６，ｙ６）とする。

【０１０９】次にステップＳ１１８からステップＳ１２
１において、大腿部（パーツ番号（ｋ−２））のパラメ
ータの算出を行う。

【０１１０】前記ステップＳ１１８では、パーツ番号
（ｋ−２）の中心点（ｘ７，ｙ７）を算出し、パーツ番
号（ｋ−２）の長軸の長さａを算出し（ステップＳ１１
９）、パーツ番号（ｋ−２）の短軸の長さｂを算出し
（ステップＳ１２０）、パーツ番号（ｋ−２）の角度θ
をパーツ番号ｋのＵの位置（ｘ５，ｙ５）とパーツ番号
ｋ＝２のＬの位置（ｘ６，ｙ６）から算出する（ステッ
プＳ１２１）。

【０１１１】以下に算出式を示す。

【０１１２】

【数４】

【０１１３】またステップＳ１０４の判定で、パーツ番
号ｋが脛部に該当しなかった場合（ＮＯ）、モデルの値
ｍｏｄｅｌａ［ｋ］とデータの値ａ［ｋ］［ｔ］との差
とモデル値とを比較して（ステップＳ１０５）、この比
較でモデルの値の例えば０．２倍より大きければ（Ｎ
Ｏ）、データの入れ替えを行う（ステップＳ１０６）。
この入れ替えは、パラメータがａ［ｋ］［ｔ］，ｂ
［ｋ］［ｔ］についてのみ行う。次にパーツ番号ｋが所
定数ｎになったか判定し（ステップＳ１０７）、所定数
ｎ以下であれば（ＹＥＳ）、ステップＳ９４に戻り、所
定回数ｎ以上であれば（ＮＯ）、時刻ｔが予め定めた終
了時間を越えたか否か判定し（ステップＳ１０８）、終
了前であれば（ＹＥＳ）、ステップＳ９２に戻り、終了
時間を越えれば（ＮＯ）、補正処理を終了する。

【０１１４】これらの処理の結果は、データ格納部７５
に出力する。そして、データ格納部７５のデータを基
に、各パーツのデータが不確定な時刻の検出を不確定デ
ータ検索部７６で行う。

【０１１５】次に図２１のフローチャートを参照して、
不確定データ検索部７６による不確定な時刻検出につい
て説明する。

【０１１６】まず、ｔｉｍｅ（時刻）、ｋ（パーツ番
号）の初期値設定を行う（ステップＳ１３１、ステップ
Ｓ１３２）。そしてパーツ番号ｋをインクリメントする
（ステップＳ１３３）。次に、ｃｏｕｎｔに“０”を代
入し（ステップＳ１３４）、時刻ｔｉｍｅに“１”を加
える（ステップＳ１３５）。ｘ［ｋ］［ｔｉｍｅ］にパ
ーツｋ、時刻ｔｉｍｅのｘ座標を格納する（ステップＳ
１３６）。次に、時刻ｔｉｍｅ＝０かつｘ［ｋ］［ｔｉ
ｍｅ］＝０か否か判定し（ステップＳ１３７）、共に
“０”であれば（ＹＥＳ）、ｓｔａｒｔ［ｋ］［ｃｏｕ
ｎｔ］に“０”を設定する（ステップＳ１３８）。しか
し“０”でなければ（ＮＯ）、時刻ｔｉｍｅ＝０でな
く、ｘ［ｋ］［ｔｉｍｅ］＝０かつｘ［ｋ］［ｔｉｍｅ
−１］＝０でないか否かを判定する（ステップＳ１３
９）。このステップＳ１３９を満たすならば（ＹＥ
Ｓ）、時刻ｔｉｍｅのｘ［ｋ］［ｔｉｍｅ］が“０”で
時刻（ｔｉｍｅ−１）のｘ［ｋ］［ｔｉｍｅ−１］が存
在するとき時刻ｔｉｍｅが不確定データの始まりとなる
ので、ｓｔａｒｔ［ｋ］［ｃｏｕｎｔ］にはｔｉｍｅを
格納する（ステップＳ１４０）。しかし、ステップＳ１
３９を満たさなければ（ＮＯ）、時刻ｔｉｍｅが終了で
なく、ｘ［ｋ］［ｔｉｍｅ］＝０かつｘ［ｋ］［ｔｉｍ
ｅ＋１］＝０でないか否か判定する（ステップＳ１４
１）。このステップＳ１４１を満たすならば（ＹＥ
Ｓ）、時刻ｔｉｍｅのｘ［ｋ］［ｔｉｍｅ］が“０”で
時刻（ｔｉｍｅ＋１）のｘ［ｋ］［ｔｉｍｅ＋１］が存
在するとき、時刻ｔｉｍｅが不確定データの終わりとな
るので、ｅｎｄ［ｋ］［ｃｏｕｎｔ］にｔｉｍｅを格納
する（ステップＳ１４２）。そして、ｃｏｕｎｔに
“１”を加える（ステップＳ１４３）。例えば、ｘ
［ｋ］［３］の値が“０”でｘ［ｋ］［２］の値が“１
２６”の場合には、ｓｔａｒｔ［ｋ］［ｃｏｕｎｔ］＝
３となる。

【０１１７】また、ｘ［ｋ］［２５］＝０かつｘ［ｋ］
［２６］＝２５５の場合には、ｅｎｄ［ｋ］［ｃｏｕｎ
ｔ］＝２５となる。但し、ステップＳ１３７のようにｔ
ｉｍｅ＝０の場合には、ｘ［ｋ］［ｔｉｍｅ−１］が存
在しないため前記ステップＳ１３８のように、ｓｔａｒ
ｔ［ｋ］［ｃｏｕｎｔ］に“０”を設定する。次に、ｔ
ｉｍｅ＝終了かつｘ［ｋ］［終了］＝０か否か判定し
（ステップＳ１４４）、それぞれ“終了”、“０”であ
れば（ＹＥＳ）、時刻ｓｔａｒｔ［ｋ］［ｃｏｕｎｔ］
から時刻ｅｎｄ［ｋ］［ｃｏｕｎｔ］までのデータが不
確定であることを示し、ｅｎｄ［ｋ］［ｃｏｕｎｔ］に
は“終了”時刻を設定し（ステップＳ１４５）、ｃｏｕ
ｎｔに“１”を加える（ステップＳ１４６）。次に時刻
ｔｉｍｅが“終了”前か否か判定し（ステップＳ１４
７）、“終了”前であれば（ＹＥＳ）、前記ステップＳ
１３５に戻り、時刻ｔｉｍｅが“終了”を越えた場合に
は（ＮＯ）、パーツ番号ｋが所定数ｎを越えたか否かを
判定し（ステップＳ１４８）、パーツ番号ｋが所定数ｎ
以下の場合には（ＹＥＳ）、前記ステップＳ１３２に戻
り、パーツ番号ｋが所定数ｎを越えた場合には（Ｎ
Ｏ）、この不確定データの検索を終了する。ｙ座標や角
度θに関しても同様に行う。この配列のデータを補間部
７７へ転送する。

【０１１８】次に前記補間部７７は、前記不確定データ
検索部７６の結果に基づき、不確定データの補間を行
う。

【０１１９】図２２に示すフローチャートを参照して、
補間処理について説明する。

【０１２０】まず、ｍ，ｋ（パーツ番号）の初期値を設
定する（ステップＳ１５１）。そしてパーツ番号ｋをイ
ンクリメントした後（ステップＳ１５２）、パーツ番号
ｋ、時刻ｔのｘをｘ［ｋ］［ｔ］に格納する（ステップ
Ｓ１５３）。次にｍをインクリメントする（ステップＳ
１５４）。

【０１２１】次に、ｓｔａｒｔ［ｋ］［ｍ］＝０か否か
判定し（ステップＳ１５５）、不確定データの始点時刻
が“０”の場合（ＹＥＳ）、不確定データの始点の時刻
ｓｔａｒｔ［ｋ］［ｍ］の１つ後の時刻（ｓｔａｒｔ
［ｋ］［ｍ］＋１）と３つ後の時刻（ｓｔａｒｔ［ｋ］
［ｍ］＋３）のデータを用いて補間を行う（ステップＳ
１５６）。しかし、前記始点時刻が“０”でない場合
（ＮＯ）、ｅｎｄ［ｋ］［ｍ］＝終了か否か判定する
（ステップＳ１５７）。

【０１２２】このステップＳ１５７の判定で、不確定デ
ータの終了時刻が“終了”の場合（ＹＥＳ）、時刻（ｅ
ｎｄ［ｋ］［ｍ］−１）と時刻（ｅｎｄ［ｋ］［ｍ］−
３）のデータを用いて補間を行う（ステップＳ１５
８）。

【０１２３】ここで、図２４（ａ）には、ｓｔａｒｔ
［ｋ］［ｍ］＝０またはｅｎｄ［ｋ］［ｍ］＝終了の場
合の補間の概念を示す。前記ステップＳ１５６及び前記
ステップＳ１５８では、補間を行なう始点の時刻をｓｔ
に、終点の時刻をｅｎに格納する。

【０１２４】次に、ステップｓ１５９では、パーツ番号
ｋ、時刻ｓｔとｅｎのｘをｓｔｘ，ｅｎｘに格納する。
そして、ｔの初期値に時刻（ｓｔａｒｔ［ｋ］［ｍ］−
１）を設定する（ステップｓ１６０）。

【０１２５】次に、時刻ｔをインクリメントし（ステッ
プＳ１６１）、各パラメータと時刻からなる直線の傾き
の算出を行う（ステップＳ１６２）。さらに算出された
傾きから時刻ｔ（ｓｔａｒｔ［ｋ］［ｍ］〜ｅｎｄ
［ｋ］［ｍ］）のｘ座標を求める（ステップＳ１６
３）。ａ，ｂのパラメータに関しては、時刻ｓｔのパラ
メータを用いる（ステップＳ１６４）。そして、時刻ｔ
≦ｅｎｄ［ｋ］［ｍ］か否か判定し（ステップＳ１６
５）、時刻ｔがｅｎｄ［ｋ］［ｍ］以下であれば（ＹＥ
Ｓ）、前記ステップＳ１６１に戻り、時刻ｅｎｄ［ｋ］
［ｍ］を超えれば（ＮＯ）、ステップＳ１７６に移行す
る。そして、ステップＳ１５７の判定において、不確定
データの時刻ｔが終了以外の補間の概念を示す。

【０１２６】まず、ステップＳ１６６においては、不確
定データの始点時刻ｓｔａｒｔ［ｋ］［ｍ］の１つ前の
時刻（ｓｔａｒｔ［ｋ］［ｍ］−１）をｓｔに、不確定
データの終了時刻ｅｎｄ［ｋ］［ｍ］の１つの後の時刻
（ｅｎｄ［ｋ］［ｍ］＋１）をｅｎに格納する。

【０１２７】次に、不確定時刻の差（ｅｎｄ［ｋ］
［ｍ］−ｓｔａｒｔ［ｋ］［ｍ］）をｈに、パーツ番号
ｋ、時刻ｓｔとｅｎのｘをｓｔｘ，ｅｎｘに格納する
（ステップＳ１６７）。そして線形補間するためのパラ
メータｘの間隔ｉｎｔｅｒｖａｌｘを算出する（ステッ
プＳ１６８）。

【０１２８】次にｔの初期値を設定し（ステップＳ１６
９）、ｔをインクリメントする（ステップＳ１７０）。
次に補間する時刻のパラメータを算出する（ステップＳ
１７１）。例えばｘ［ｋ］［ｔ］はｓｔｘにパラメータ
の間隔ｉｎｔｅｒｖａｌｘを加えた値を代入する。次
に、パラメータａ，ｂに関しては、時刻ｓｔのパラメー
タを用いる（ステップＳ１７２）。ｘ［ｋ］［ｔ］をｓ
ｔｘに格納する（ステップＳ１７３）。

【０１２９】次のステップＳ１７４からステップＳ１７
６においては、ｔ，ｍ，ｋのそれぞれが各条件を満たす
場合（ＹＥＳ）、それぞれステップＳ１７０，ステップ
Ｓ１５４，ステップＳ１５２に戻り、処理を行う。これ
らの処理で補間した結果を補正部７８に転送する。な
お、補間部７７では、前述したような線形補間ではな
く、算出された各パラメータと時刻をスプライン関数を
利用しての各区間のスプライン係数を算出し、不確定デ
ータ検索部７６で検索された不確定データをスプライン
関数を用いて補間することも可能である。

【０１３０】以上のようにして補間・補正７における処
理が行われる。これにより、遮蔽や影の影響などの原因
により対象物の形状が正確に認識できなかった場合に、
対象物について、予めわかっている大きさや接続関係の
情報を用いて補正し、前後の時間で得られた情報を用い
て補間することができる。

【０１３１】次に本発明による第２実施例としての画像
解析装置について説明する。

【０１３２】この画像解析装置は、基本的には第１実施
例の構成と同等であり、同等の部材には同じ参照符号を
付して、特徴部分についてのみ説明する図２５は、第２
実施例の画像解析装置における対象物解析部６の具体的
な構成を示す。本実施例は、スケルトンを抽出すること
なくパーツを当て嵌めるものである。

【０１３３】この対象物解析部６ａは、補助入出力部４
から読出された画像データを記憶するワークメモリ部４
１と、存在領域検知部５からの背景領域を記憶するワー
クメモリ部４２と、前記ワークメモリ部４１とワークメ
モリ部４２から読出された画像データから対象物のシル
エット画像を抽出するシルエット生成部４３と、抽出さ
れたシルエット画像を記憶するワークメモリ部４４と、
各パーツが存在しうる領域を予測するパーツ予測部４７
と、シルエットに好適するパラメータを算出するパラメ
ータ算出部９１とで構成される。

【０１３４】このように構成された対象物解析部６ａに
よる解析処理について説明する。

【０１３５】前記対象物解析部６ａにおいて、補助入出
力部４内の静止領域信号はワークメモリ部４１へ、存在
領域検知部５の背景領域格納部３２内の背景領域はワー
クメモリ部４２へ出力される。前記ワークメモリ部４１
とワークメモリ部４２の信号はシルエット生成部４３へ
転送され、差の絶対値が算出された後、２値化処理され
た動領域のみのシルエット画像が生成される。

【０１３６】前記シルエット画像は、ワークメモリ部４
４へ記録される。制御部１１はシルエット画像が生成さ
れた後、対象物モデル格納部１０の情報をパーツ予測部
４７に送出する。

【０１３７】そして、パーツ予測部４７は、前述したよ
うに対象物モデル格納部１０の各パーツの情報と補助入
出力部４内の静止領域信号から、各パーツが存在しうる
領域を求める。この結果をパラメータ算出部９１に出力
する。制御部１１の制御により前記パラメータ算出部９
１では、パーツ予測部４７からの情報に基づき、シルエ
ットに最適に合うパラメータを算出する。パラメータ算
出部９１で算出されたパラメータは補間・補正部７に送
出される。

【０１３８】図２６には、前記パラメータ算出部９１の
具体的な構成を示す。

【０１３９】このパラメータ算出部９１は、ワークメモ
リ部４４に記憶されたシルエット画像を分割するシルエ
ット画像分割部１０１と、分割されたシルエット画像の
外接四辺形を抽出する外接四辺形抽出部１０２と、外接
四辺形領域内のシルエットのモーメントを算出するモー
メント算出部１０３と、分割されたシルエットの領域の
中心位置を算出する重心算出部１０４と、シルエットの
領域の主軸の方向θを算出する主軸方向算出部１０５
と、楕円の長軸・短軸の長さを算出する長軸・短軸算出
部１０６とで構成される。

【０１４０】一般に、最適なパラメータの算出方法は、
各パーツのシルエットのモーメント・重心・主軸の方向
などを算出し、各パラメータを算出する方法がある。

【０１４１】このように構成されたパラメータ算出部９
１においては、シルエット画像分割部１０１では、パー
ツ予測部３０７で予測された各パーツの領域に基づい
て、ワークメモリ部４４に記憶されたシルエット画像を
分割する。

【０１４２】そして外接四辺形抽出部１０２では、図２
に示した外接四辺形抽出部２８と同様な方法でシルエッ
ト画像分割部１０１で分割されたシルエット画像の外接
四辺形を抽出する。モーメント算出部１０３では、外接
四辺形抽出部１０２で抽出された各パーツの外接四辺形
領域内のシルエットのモーメントを以下の式で算出す
る。

【０１４３】

【数５】

【０１４４】ここで、｛ｆｉｊ｝は、２値画像を表し、
（ｉ，ｊ）は画素の座標である。重心算出部１０４で
は、モーメント算出部１０３の結果を用いて分割された
シルエットの領域の中心位置を以下の式で算出する。

【０１４５】

【数６】

【０１４６】そして主軸方向算出部１０５では、モーメ
ント算出部１０３の結果を用いて分割されたシルエット
の領域を伸びている方向つまり主軸の方向θを以下の式
で算出する。

【０１４７】

【数７】

【０１４８】そして長軸・短軸算出部１０６では、楕円
の長軸・短軸の長さを算出する。分割されたシルエット
を主軸に対して投影した値Ｘが正規分布していると仮定
する。確率変数Ｘが正規分布Ｎ（ｍ，σ）に従うとき、

【数８】

【０１４９】が成立する。但し、ｍは平均値、σは分散
である。これを用いて以下の式でｚ₀を算出することで
長軸の長さを算出できる。

【０１５０】

【数９】

【０１５１】ここで、Ｚは（Ｉｃ，Ｊｃ）を原点にして
おり、Ｘ（ｚ）は主軸上で定義されている。上記方法で
長軸の長さを算出することができる。短軸の長さに関し
ては上記で算出した主軸の方向θに対して垂直な方向θ
１を算出し、同様な処理を行なうことで算出できる。

【０１５２】以上のような構成にすることにより、影な
どの影響でスケルトンが良好に得られない場合でも、最
適な当て嵌めを行うことができる。

【０１５３】次に本発明による第３実施例としての画像
解析装置について説明する。

【０１５４】この画像解析装置は、基本的には第１実施
例の構成と同等であり、同等の部材には同じ参照符号を
付して、特徴部分についてのみ説明する図２７には、第
３実施例の画像解析装置における存在領域検知部５ａの
具体的な構成を示す。この存在領域検知部５ａは、図２
に示す構成に対して、合成部３０と初期化部３１とが除
外され、対象物が存在する画像の背景画像のみを予め撮
影して記憶される背景画像格納部１１１が異なっている
他は、図１及び図２と同じ構成である。

【０１５５】この存在領域検知部５ａの動作について図
２７及び図１を参照して説明する。まずＣＣＤカメラ等
で、予め撮影した背景画像について処理が行われる。入
力部１は、制御部１１から制御により背景画像の画像信
号をＡ／Ｄ部２に送出する。前記Ａ／Ｄ部２では入力部
１からの前記画像信号を、例えば量子化レベル８ビッ
ト、離散化サイズ６４０×４８０画素のデジタル画像信
号へ変換してバッファメモリ部３へ送出する。

【０１５６】前記バッファメモリ部３は複数のフレーム
メモリで構成され、Ａ／Ｄ部２からの前記画像データを
フレーム単位で一時的に記録し、これを補助入出力部４
へ出力する。

【０１５７】前記補助入出力部４は、磁気ディスク等で
構成されており、制御部１１からの制御に基づき前記デ
ジタル信号をセレクタ部２１を介して、背景画像格納部
１１１に出力する。続いて、移動物体を撮影した入力部
１は、制御部１１の制御により、所定時間の画像信号を
Ａ／Ｄ部２へ送出する。

【０１５８】前記Ａ／Ｄ部２は入力部１からの前記画像
信号をデジタル化してバッファメモリ部３へ送出する。
バッファメモリ部３は複数のフレームメモリで構成さ
れ、デジタル化された画像信号をフレーム毎に一時的に
記録する。これらの画像信号がバッファメモリ部３から
順次、補助入出力部４に出力され記憶される。そして前
記補助入出力部４から読出された画像データは、存在領
域検知部５ａのセレクタ部２１に出力される。

【０１５９】そして、制御部１１からの制御により、セ
レクタ部２１を介して、ワークメモリ部２２、ワークメ
モリ部２３、ワークメモリ部２４へ順次転送される。こ
のとき制御部１１は、時系列的に連続する３枚の画像を
選択する。前記ワークメモリ部２２とワークメモリ部２
３の画像データは差分部２５に送出され、また前記ワー
クメモリ部２３とワークメモリ部２４の画像データは差
分部２６に送出され、それぞれ差分の絶対値が算出さ
れ、その結果に基づき２値化処理を行う。

【０１６０】前記差分部２５と差分部２６の出力信号
は、ＡＮＤ部２７にてＡＮＤ処理され、外接四辺形抽出
部２８へ送出される。外接四辺形抽出部２８では、ＡＮ
Ｄ部２７の出力信号をラベル処理した後、各レベルに外
接する外接四辺形を生成する。

【０１６１】そして静止領域抽出部２９では、制御部１
１からの制御の基づき、外接四辺形抽出部２８の外接四
辺形の情報とワークメモリ部２３のデジタル信号から、
時刻ｉ番目の静止領域のみを抽出する。抽出された静止
領域信号は、制御部１１からの制御に基づき補助入出力
部４へ出力される。背景画像格納部１１１に予め記憶さ
れた背景信号は対象物解析部６へ出力される。

【０１６２】以上のように構成することにより、構成が
簡単になり、処理を高速に行なうことができる。

【０１６３】次に本発明による第４実施例としての画像
解析装置について説明する。

【０１６４】この画像解析装置は、基本的には第１実施
例の構成と同等であり、同等の部材には同じ参照符号を
付して、特徴部分についてのみ説明する。本実施例は、
背景画像をあらかじめ撮影することも、背景画像を生成
することもなく、良好なシルエット画像を生成するもの
である。

【０１６５】図２８は、第４実施例の画像解析装置にお
ける存在領域検知部５ｂの具体的な一構成例を示すブロ
ック図である。

【０１６６】この存在領域検知部５ｂは、セレクタ部２
１と、ワークメモリ部２２，２３，２４と、画像のエッ
ジ画像を生成するエッジ抽出部１２１，１２２，１２３
と、エッジ画像を記憶するワークメモリ部１２４，１２
５，１２６と、各エッジ画像における画素ごとに差分の
絶対値を算出し２値化処理を行う差分部１２７，１２８
と、出力された各差分の論理積を取るＡＮＤ部１２９
と、外接四辺形抽出部２８と、静止領域抽出部２９とで
構成される。

【０１６７】このように構成された存在領域検知部５ａ
による存在領域の検出について説明する。

【０１６８】この存在領域検知部５ａにおいて、補助入
出力部４からの画像データは、制御部１１の制御により
セレクタ部２１で時系列的に連続する３枚の画像が選択
され、各ワークメモリ部２２，２３，２４にそれぞれ入
力される。

【０１６９】前記ワークメモリ部２２，２３，２４の各
画像データは、エッジ抽出部１２１，１２２，１２３に
送出され、それぞれの画像に対してエッジ画像が生成さ
れる。生成された各エッジ画像は、ワークメモリ部１２
４，１２５，１２６に記憶される。

【０１７０】前記ワークメモリ部１２４と前記ワークメ
モリ部１２５から読出された画像データは、差分部１２
７に入力され、差分の絶対値が算出されて２値化処理さ
れる。同様に、前記ワークメモリ部１２５とワークメモ
リ部１２６から読出された画像データは、差分部１２８
に入力され、差分の絶対値が算出されて２値化処理され
る。

【０１７１】これらの差分部１２７と差分部１２８から
の出力信号（差分値）は、ＡＮＤ部１２９によりＡＮＤ
処理され、外接四辺形抽出部２８に送出される。

【０１７２】前記外接四辺形抽出部２８では、ＡＮＤ部
１２９からの出力信号をラベル処理した後、各ラベルに
外接する外接四辺形を生成する。

【０１７３】そして静止領域抽出部２９では、制御部１
１の制御により、前記外接四辺形抽出部２８による外接
四辺形の情報とワークメモリ部２３の画像データから、
時刻ｉ番目の静止領域のみを抽出する。抽出された静止
領域信号は、制御部１１の制御により、補助入出力部４
へ出力される。また前記ＡＮＤ部１２９の出力は対象物
解析部６に出力される。

【０１７４】次に図２９には、前記対象物解析部６ｂの
具体的な構成例を示し、説明する。この対象物解析部６
ｂは、基本的には第１実施例の対象物解析部の部材と同
等の部材には同じ参照符号を付して、特徴部分について
のみ説明する。

【０１７５】本実施例では、背景画像を用いず、動画像
の差分処理を補い、良好なエッジ画像を生成し、そのエ
ッジよりシルエットを得るものである。

【０１７６】この対象物解析部６ｂは、図２８に示した
ＡＮＤ部１２９からの対象物のエッジ画像を記憶するワ
ークメモリ部１３１と、前記エッジ画像からシルエット
画像を生成するシルエット生成部１３２と、前記シルエ
ット画像を記憶するワークメモリ部１３３と、スケルト
ン抽出部４５と、抽出されたスケルトン画像を記憶する
ワークメモリ部１３４と、パーツ予測部４７と、パラメ
ータ算出部４９と、パーツ当て嵌め部４８とで構成され
る。

【０１７７】このように構成された対象物解析部６ｂに
おける対象物解析処理について説明する。

【０１７８】まず、前述した存在領域検知部５のＡＮＤ
部１２９から出力された対象物のエッジ画像がワークメ
モリ部１３１に入力される。前記ワークメモリ部１３１
に記憶されたエッジ画像は、シルエット生成部１３２に
送出される。

【０１７９】前記シルエット生成部１３２では、対象物
のエッジ画像からシルエット画像が生成され、生成され
たシルエット画像は、一旦、ワークメモリ部１３３に記
憶される。

【０１８０】そして制御部１１の制御により前記ワーク
メモリ部１３３から読出されたシルエット画像は、スケ
ルトン抽出部４５へ送出される。スケルトン抽出部４５
では、前述したようにシルエット画像の骨格成分のみが
抽出されて、スケルトン画像が生成され、ワークメモリ
部１３４に記録される。

【０１８１】次に制御部１１は、シルエット画像とスケ
ルトン画像が生成された後、対象物モデル格納部１０か
ら予め記憶させてある各パーツの情報を読み出し、パー
ツ予測部４７に入力させる。

【０１８２】このパーツ予測部４７は、前記各パーツの
情報と補助入出力部４からの静止領域信号から、各パー
ツが存在しうる領域を求める。そしてパーツ当て嵌め部
４８では、ワークメモリ部１３３のシルエット画像とワ
ークメモリ部１３４のスケルトン画像とパーツ予測部４
７の出力に基づいて各パーツのパラメータの初期値を算
出する。パラメータ算出部４９では、パーツ当てはめ部
４８で算出された各パーツの各パラメータの初期値をも
とにシルエットに最適に当てはまるパラメータの算出を
行う。算出されたパラメータは、制御部１１の制御によ
り、補間・補正部７へ出力される。

【０１８３】図３０には、前記シルエット生成部１３２
の具体的な構成例を示す。

【０１８４】このシルエット生成部１３２は、画像上に
テンプレートを走査させる円盤移動部１４１と、テンプ
レート移動可能領域にラベルを与えるラベリング部１４
２と、ラベル移動可能領域から背景を選択する移動領域
部１４３とで構成される。

【０１８５】このようなシルエット生成部１３２におい
て、ワークメモリ部１３１の対象物のエッジ画像が円盤
移動部１４１に出力される。前記円盤移動部１４１は、
例えば、半径ｒの円盤状のテンプレートを用意し、図３
１（ａ）に示すように前記テンプレートを画像上に走査
させ、そのテンプレートがエッジ成分と交差しないで移
動できる画像領域（テンプレート移動可能領域）を算出
する。

【０１８６】図３１（ｂ）の白い部分がテンプレート移
動可能領域である。ラベリング部１４２では、前記円盤
移動部１４１で算出したテンプレート移動可能領域のラ
ベリングを行う。この処理により、１つの連結した領域
には、予め定めたラベルのうちの１つのラベルが与えら
れる。

【０１８７】次に移動領域部１４３は、移動可能領域を
ラベリング処理によりラベル付けされた同じラベルの面
積を算出し、その中で最大面積を持つラベルの移動可能
領域を背景と判断し、それ以外の移動可能領域と移動不
可能領域を人物存在領域と判断し、２値化処理を行う。
移動領域部１４３で生成されたシルエット画像はワーク
メモリ部１３３に記憶される。

【０１８８】ここで、ＡＮＤ部１２９の出力がないとき
には、対象物解析部６に出力を転送せず、補助入出力部
４から新たな信号を転送することが可能である。

【０１８９】次に本発明による第５実施例としての画像
解析装置について説明する。

【０１９０】この画像解析装置は、基本的には第１実施
例の構成と同等であり、同等の部材には同じ参照符号を
付して、特徴部分についてのみ説明する。

【０１９１】図３２には第５実施例の画像解析装置にお
ける対象物解析部６ｃの具体的な構成例を示し、説明す
る。本実施例は、背景画像をあらかじめ撮影すること
も、背景画像を生成することもなく、動画像から対象物
のエッジ画像抽出し、エッジ画像から当てはめを行う簡
単な幾何学的形状のパラメータを算出するものである。
この対象物解析部６ｃは、図２８に示したＡＮＤ部１２
９からの対象物のエッジ画像を記憶するワークメモリ部
１３１と、対象物を構成する各パーツの情報と補助入出
力部４からの静止領域信号から、各パーツが存在しうる
領域を求めるパーツ予測部４７と、前記エッジ画像とパ
ーツ予測部４７の出力に基づいて各パーツのパラメータ
の初期値を算出するパーツ当て嵌め部１５１とで構成さ
れる。

【０１９２】このように構成された対象物解析部６ｃに
おいて、図２８に示した存在領域検知部５ｂのＡＮＤ部
１２９から出力された対象物のエッジ画像は、ワークメ
モリ部１３１に入力される。制御部１１の制御により、
補助入出力部４からの静止領域信号及び対象物モデル格
納部１０から各パーツの情報が、それぞれ読出され、パ
ーツ予測部４７に送出される。

【０１９３】このパーツ予測部４７は、対象物モデル格
納部１０の各パーツの情報と補助入出力部４内の静止領
域信号に基づき、各パーツが存在しうる領域を求める。
そしてパーツ当て嵌め部１５１では、制御部１１の制御
により、ワークメモリ部１３１のエッジ画像とパーツ予
測部４７の出力に基づいて、各パーツのパラメータの初
期値を算出する。算出されたパラメータは、制御部１１
の制御により補間・補正部７へ出力される。

【０１９４】次に図３３には、前記パーツ当て嵌め部１
５１の具体的な構成例を示す。

【０１９５】このパーツ当て嵌め部１５１は、エッジ成
分を各パーツに割り振り、パーツ処理の優先順位を付け
るエッジ割り振り部１６１と、前記エッジ成分の中から
ほぼ平行となる直線成分を抽出する平行成分抽出部１６
２と、パーツの軸を抽出するパーツ軸算出部１６３と、
抽出されたパーツの軸に基づいて各パラメータを算出す
るパラメータ推定部１６４とで構成される。

【０１９６】このように構成されたパーツ当て嵌め部１
５１において、まず、ワークメモリ部１３１のエッジ画
像とパーツ予測部４７の出力をエッジ割り振り部１６１
に出力する。前記エッジ割り振り部１６１では、パーツ
予測部４７の各パーツの存在領域を用いて、対応しそう
なエッジ成分を各パーツに割り振り、パーツ処理の優先
順位を付ける。

【０１９７】具体的には、図３５（ａ）に示すように、
頭部、すね、手、下腕などの画像内に遮蔽がなく出現す
る順にパーツを並べておく。図３５（ｂ）に示すよう
に、優先順位に従って平行成分抽出部１６２で、各パー
ツに対応しそうなエッジ成分の中から、ほぼ平行となる
直線成分を抽出する。さらに図３５（ｃ）に示すよう
に、パーツ軸算出部１６３では、平行成分抽出部１６２
で抽出されたほぼ平行な直線成分と平行でかつ２直線の
中心にある直線を抽出し、この直線をパーツの軸とす
る。

【０１９８】そして図３５（ｄ）に示すように、パラメ
ータ推定部１６４により、パーツ軸算出部１６３で抽出
された軸に基づいて各パラメータを算出する。算出され
たパラメータは補間・補正部７へ転送される。

【０１９９】次に図３４には、前記パラメータ推定部１
６４の具体的な構成例を示す。

【０２００】このパラメータ推定部１６４は、パーツ軸
の角度を算出する角度推定部１７１と、前記軸上の点か
ら各エッジ点までの距離を算出する長軸・短軸推定部１
７２と、楕円の中心点を算出する中心点推定部１７３と
で構成される。

【０２０１】このように構成されたパラメータ推定部１
６４において、まず、角度推定部１７１では、パーツ軸
算出部１６３で算出したパーツ軸の角度を算出する。長
軸・短軸推定部１７２では、パーツ軸算出部１６３で算
出された軸上の点から各エッジ点までの距離を算出す
る。この距離の最小値と最大値や例えば、足首のように
急激に距離が変化するところを抽出する。図３５（ｄ）
に示すように、急激に変化した点間の軸上の長さが楕円
の長軸の２倍に対応し、距離の最大値が楕円の短軸の長
さに対応する。

【０２０２】そして、中心点推定部１７３では、長軸・
短軸推定部１７２で楕円の長軸を形成する２点が抽出さ
れると、その中点を軸上にとることにより楕円の中心点
を算出する。算出されたパラメータは、制御部１１の制
御により、補間・補正部７に出力される。

【０２０３】以上のようにしてシルエット領域を求める
ことなく、エッジ画像から直接対象物解析を行うことが
できる。

【０２０４】図３６には、本発明による第６実施例とし
ての画像解析装置の概略的な構成を示し説明する。

【０２０５】本実施例の画像解析装置は、背景が単純な
場合に関するものであり、基本的に第１実施例の構成と
同等であり、同等の部材には同じ参照番号を付して特徴
部分についてのみ説明する。

【０２０６】図３６は、本実施例の画像解析装置におけ
る具体的な構成を示す。この画像解析装置は、ＣＣＤカ
メラ等からなる画像の入力部１と、前記入力部１からの
入力信号をデジタル化するＡ／Ｄ部２と、前記Ａ／Ｄ部
２からのデジタル画像信号をフレーム単位で一時的に記
憶するバッファメモリ部３と、前記バッファメモリ部３
からの画像データを保存する磁気ディスク等からなる補
助入出力部４と、対象物の存在領域を生成する存在領域
検知部５と、前記対象物存在領域の情報を用いて対象物
を抽出し、対象物を少数のパラメータに変換する対象物
解析部６と、抽出された対象物において算出されなかっ
たパーツ（遮蔽されたパーツ）を補間し、パラメータの
補正を行う補間・補正部７と、補正及び補間された画像
データをアナログ信号に変換するＤ／Ａ部８と、そのア
ナログ信号化された画像データを表示するディスプレイ
からなる出力部９と、予め解析の対象となる物体の各パ
ーツの形状に関する情報を楕円の様な幾何学的形状で各
パーツを表現するためのモデル情報が格納されている対
象物モデル格納部１０と、前記各構成部材を制御する制
御部１１とで構成される。

【０２０７】このように構成された画像解析装置の画像
解析について説明する。

【０２０８】まず、制御部１１からの制御に基づき、入
力部１で撮影された所定時間の画像信号がＡ／Ｄ部２に
送出される。このＡ／Ｄ部２は前記映像信号を、例えば
量子化レベル８ビット、離散化サイズ６４０×４８０画
素のデジタル信号へ変換してバッファメモリ部３へ転送
する。前記バッファメモリ部３は複数のフレームメモリ
で構成され、Ａ／Ｄ部２からのデジタル画像信号を一時
的に記憶しておきフレーム単位の画像データを順次補助
入出力部４へ出力する。

【０２０９】前記補助入出力部４は、制御部１１からの
制御に基づき、前記画像データを存在領域検知部５へ転
送する。この存在領域検知部５では、対象物の存在領域
を生成し、生成した対象物の存在領域を対象物解析部６
に送出する。対象物モデル格納部１０には、解析の対象
となる物体を、例えば楕円のような単純な幾何学的形状
のパーツで表現したモデル情報が格納されている。前記
対象物解析部６では、存在領域検知部５の対象物存在領
域の情報から対象物を抽出する。続いて抽出された対象
物に対して、対象物モデル格納部１０を用いて、単純な
幾何学的形状を当てはめ、幾何学的形状のパラメータを
算出し、補間・補正部７に送出する。前記補間・補正部
７では、対象物モデル格納部１０の情報に基づいて、各
パーツを対象物の形状に合わせて補正したり、遮蔽など
の原因で算出されなかったパーツの補間を行う。この結
果は、Ｄ／Ａ部８でアナログ信号化され、ディスプレイ
などの出力部９に画像解析結果として表示される。

【０２１０】図３７には、前述した図３６に示した存在
領域検知部５の具体的な構成例を示し、対象物の存在領
域の検出について説明する。

【０２１１】補助入出力部４に蓄積されている画像デー
タは、制御部１１からの制御に基づき、セレクタ部１８
１で選択され、ワークメモリ部１８２、ワークメモリ部
１８３、ワークメモリ部１８４に順次転送される。この
とき前記制御部１１は、時系列的に連続する３枚の画像
を選択する。即ち、ｉを２以上の整数とした場合、ワー
クメモリ部１８２には時刻ｉ−１番目の、ワークメモリ
部１８３には時刻ｉ番目の、ワークメモリ部１８４に
は、時刻ｉ＋１番目の画像データが転送される。前記ワ
ークメモリ部１８２とワークメモリ部１８３の各画像デ
ータは、差分部１８５へ、ワークメモリ部１８３とワー
クメモリ部１８４の画像データは差分部１８６へ転送さ
れ、それぞれ各画素ごとに差分の絶対値が算出され、そ
の結果に基づき２値化処理を行う。差分部１８５と差分
部１８６の２値化された出力信号は、ＡＮＤ部１８７に
て論理積を取り、外接四辺形抽出部１８８へ転送され
る。尚、差分の絶対値に対して和を取り、後に２値化し
てもよい。外接四辺形抽出部１８８では、ＡＮＤ部１８
７の出力信号をラベル処理する。この処理により、一つ
の連結した領域には一つのラベルが与えられる。この
後、各ラベルに外接する外接四辺形を生成する。生成さ
れた外接四辺形を対象物の存在領域として対象物解析部
６に出力される。

【０２１２】尚、存在領域検知部５において背景判定部
を付加することで、処理を行う画像の背景を作成すべき
か否かの判断を自動的に行うことができる。例えば、背
景判定部では、ワークメモリ部１８２，１８３，１８４
に格納された各々の画像のエッジの抽出を行い、隣接す
る２つの時刻の差分処理を行う。差分処理を行った２つ
の画像の論理積を算出し、算出結果を包含するような外
接四辺形の抽出を行う。抽出された外接四辺形の大きさ
がある閾値より大きい場合、背景画像の生成の必要があ
り、閾値以下の場合、背景が単純であるとして処理を行
なう。

【０２１３】以上のような構成の画像解析装置により、
背景画像を生成することなく、構成が簡単になり、処理
を高速に行なうことができる。

【０２１４】次に図３８には、本発明による第７実施例
としての画像解析装置の概略的な構成を示し説明する。
本実施例は、対象物にマーカーを装着させた場合に関す
るものである。この画像解析装置は、基本的には、第
１、第６実施例の構成と同等であり、同等の部材には同
じ参照番号を付して特徴部分についてのみ説明する。

【０２１５】この画像解析装置は、ＣＣＤカメラ等から
なる画像の入力部１と、前記入力部１からの入力信号を
デジタル化するＡ／Ｄ部２と、前記Ａ／Ｄ部２からのデ
ジタル画像信号をフレーム単位で一時的に記憶するバッ
ファメモリ部３と、前記バッファメモリ部３からの画像
データを保存する磁気ディスク等からなる補助入出力部
４と、対象物の存在領域を生成する存在領域検知部５
と、前記存在領域検知部５の情報を用いて対象物の解析
を行う対象物解析部６と、抽出された対象物において算
出されなかったパーツ（遮蔽されたパーツ）を補間し、
パラメータの補正を行う補間・補正部７と、補正及び補
間された画像データをアナログ信号に変換するＤ／Ａ部
８と、そのアナログ信号化された画像データを表示する
ディスプレイからなる出力部９と、予め解析の対象とな
る物体の各パーツの形状に関する情報を、楕円の様な幾
何学的形状で各パーツを表現するためのモデル情報が格
納されている対象物モデル格納部１０と、対象物に装着
したマーカーに関する情報が格納されているマーカー情
報格納部１９０と、前記各構成部材を制御する制御部１
１とで構成される。

【０２１６】このように構成された画像解析装置の画像
解析について説明する。

【０２１７】まず、制御部１１からの制御に基づき、入
力部１で撮影された所定時間の画像信号がＡ／Ｄ部２に
送出される。このＡ／Ｄ部２は前記映像信号を、例えば
量子化レベル８ビット、離散化サイズ６４０×８４０画
素のデジタル信号へ変換してバッファメモリ部３へ転送
する。

【０２１８】前記バッファメモリ部３は複数のフレーム
メモリで構成され、Ａ／Ｄ部２からのデジタル画像信号
を一時的に記憶しておきフレーム単位の画像データを順
次補助入出力部４へ出力する。前記補助入出力部４は、
制御部１１からの制御に基づき前記画像データを存在領
域検知部５へ出力する。この存在領域検知部５では、図
３７に示したような手法で対象物の存在領域を生成す
る。

【０２１９】対象物モデル格納部１０には、解析の対象
となる物体の接続関係などのモデル情報が格納されてい
る。マーカー情報格納部１９０には、対象物に装着した
マーカーの色などに関する情報が格納されている。前記
対象物解析部６では、存在領域検知部５から出力される
対象物存在領域の情報とマーカー情報格納部１９０のマ
ーカーの情報を用いて対象物の各パーツの位置などのパ
ラメータを算出する。続いて、算出されたパーツの位置
などのパラメータと対象物モデル格納部１０の対象物に
関する情報を補間・補正部７に転送する。前記補間・補
正部７では、対象物モデル格納部１０の情報に基づい
て、各パーツを対象物の形状に合わせて補正したり、遮
蔽などの原因で算出されなかったパーツの補間を行う。

【０２２０】この結果は、Ｄ／Ａ部８でアナログ信号化
され、ディスプレイなどの出力部９に画像解析結果とし
て表示される。

【０２２１】次に図３９は、図３８に示したマーカー情
報格納部１９０に格納されているマーカー情報について
説明する。

【０２２２】図３９（ａ）において、人間を対象物とし
た場合、これを頭部や胴体部など１４個のパーツに分解
して各パーツに例えば長方形の色マーカーを装着した場
合の例を示す。対象物に装着するマーカーを例えば各パ
ーツ毎に色を変えた場合、各色の情報を図３９（ｂ）に
示すようにＲＧＢで表現し、テーブルとして格納してお
く。なお、マーカーは長方形でなくてもよく、色情報の
格納方法はＲＧＢ座標系でなく、ＣＩＥ色度座標系のＸ
ＹＺやＵＶなどでもよい。

【０２２３】図４０には、図３８に示した対象物解析部
６の具体的な構成例を示し、対象物の各パーツの位置な
どのパラメータの算出方法について説明する。

【０２２４】この対象物解析部６は、補助入出力部４か
ら読出された画像データを記憶するワークメモリ部１９
１と、存在領域検知部５から読出された対象物の存在領
域を記憶するワークメモリ部１９２と、前記ワークメモ
リ部１９１の画像データと前記ワークメモリ部１９２の
対象物の存在領域とマーカー情報格納部１９０のマーカ
ー情報を用いてマーカーの抽出を行うマーカー検出部１
９３と、前記マーカー検出部１９３で抽出されたマーカ
ーの位置などのパラメータを算出するパラメータ算出部
１９４と、算出されたパラメータを格納するデータ格納
部１９５とで構成される。

【０２２５】このように構成された対象物解析部６によ
る解析動作について説明する。

【０２２６】まず、補助入出力部４を介して、画像デー
タがワークメモリ部１９１に記憶され、また存在領域検
知部５を介して、対象物の存在領域がワークメモリ部１
９２に記憶される。前記ワークメモリ部１９１と前記ワ
ークメモリ部１９２から読出された画像データと、マー
カー情報格納部１９０のマーカー情報とがマーカー検出
部１９３に転送される。存在領域内の対象物のマーカー
をマーカーの色情報を利用して各パーツ毎に抽出する。

【０２２７】具体的に例えば、格納されているＲＧＢ座
標を指定し、存在領域内で指定されたＲＧＢ座標に当て
はまる画素の抽出を行う。マーカー検出部１９３で抽出
された各パーツのマーカーは、パラメータ算出部１９４
に転送され、制御部１１の制御により、各パーツのマー
カーの重心点と傾きを算出する。傾きの算出方法は、例
えば抽出されたマーカー領域の細線化を行い、細線化さ
れた直線の端点を検出を行う。両端点を通る直線の算出
を行い、傾きを算出する。パラメータ算出部１９４で算
出された各パーツのパラメータはデータ格納部１９５に
転送され、そのパラメータは、補間・補正部７に出力さ
れる。

【０２２８】以上のような構成の画像解析装置により、
背景画像を生成することなく、構成が簡単になり、処理
を高速に行なうことができる。

【０２２９】次に図４１には、本発明による第８実施例
としての画像解析装置の概略的な構成を示し説明する。
本実施例は、対象物を撮影するカメラが対象物をいつも
追跡している場合に関するものである。この画像解析装
置は、基本的に第１実施例の構成と同等であり、同等の
部材には同じ参照番号を付して特徴部分についてのみ説
明する。

【０２３０】この画像解析装置は、ＣＣＤカメラ等から
なる画像の入力部１と、前記入力部１からの入力信号を
デジタル化するＡ／Ｄ部２と、前記Ａ／Ｄ部２からのデ
ジタル画像信号をフレーム単位で一時的に記憶するバッ
ファメモリ部３と、前記バッファメモリ部３からの画像
データを保存する磁気ディスク等からなる補助入出力部
４と、静止領域と対象物の存在領域と背景画像とを生成
する存在領域検知部５と、前記対象物存在領域の情報と
背景画像を用いて対象物を抽出し、対象物を少数のパラ
メータに変換する対象物解析部６と、抽出された対象物
において算出されなかったパーツ（遮蔽されたパーツ）
を補間し、パラメータの補正を行う補間・補正部７と、
補正及び補間された画像データをアナログ信号に変換す
るＤ／Ａ部８と、そのアナログ信号化された画像データ
を表示するディスプレイからなる出力部９と、予め解析
の対象となる物体の各パーツの形状に関する情報が格納
されている対象物モデル格納部１０と、前記補助入出力
部４に基づきカメラの移動方向や速度を算出する架台制
御部１９７と、前記架台制御部１９７の結果に基づきカ
メラの制御を行うカメラ制御部１９６と、前記各構成部
材を制御する制御部１１とで構成される。

【０２３１】このように構成された画像解析装置の画像
解析について説明する。

【０２３２】まず、制御部１１の制御により、入力部１
で撮影された所定時間の画像信号がＡ／Ｄ部２に送出さ
れる。このＡ／Ｄ部２は前記映像信号を、例えば量子化
レベル８ビット、離散化サイズ６４０×４８０画素のデ
ジタル信号へ変換してバッファメモリ部３へ転送する。
前記バッファメモリ部３は複数のフレームメモリで構成
され、Ａ／Ｄ部２からのデジタル画像信号を一時的に記
憶しておきフレーム単位の画像データを順次補助入出力
部４へ出力する。

【０２３３】前記補助入出力部４は、制御部１１からの
制御に基づき前記画像データを存在領域検知部５へ出力
する。この存在領域検知部５では、静止領域と対象物の
存在領域と背景画像とを生成し、生成した対象物の存在
領域を補助入出力部４にフィードバックし、生成した背
景画像を対象物解析部６に送出する。

【０２３４】架台制御部１９７では、前記補助入出力部
４の時刻ｉの対象物の存在領域の重心点の算出を行う。
時刻ｉ−１の重心点と時刻ｉの重心点から移動方向（移
動ベクトル）などの算出を行う。対象物の存在領域が画
像枠に接しているかの判断を行い、画像枠に接している
場合のみ、結果をカメラ制御部１９６に転送する。

【０２３５】そしてカメラ制御部１９６では、架台制御
部１９７から転送された移動方向と重心に基づき対象物
が画像枠内に入るようにカメラの制御を行う。対象物モ
デル格納部１０には、解析の対象となる物体を、例えば
楕円のような単純な幾何学的形状のパーツで表現したモ
デル情報が格納されている。前記対象物解析部６では、
補助入出力部４の対象物存在領域の情報と存在領域検知
部５から出力される背景画像を用いて対象物を抽出す
る。続いて抽出された対象物に対して、対象物モデル格
納部１０を用いて、単純な幾何学的形状を当てはめ、幾
何学的形状のパラメータを算出し、補間・補正部７に送
出する。前記補間・補正部７では、対象物モデル格納部
１０の情報に基づいて、各パーツを対象物の形状に合わ
せて補正したり、遮蔽などの原因で算出されなかったパ
ーツの補間を行う。この結果は、Ｄ／Ａ部８でアナログ
信号化され、ディスプレイなどの出力部９に画像解析結
果として表示される。

【０２３６】なお、追跡のみを行う場合は対象物解析部
６、対象物モデル格納部１０、補間・補正部７、Ｄ／Ａ
部８、出力部９を省略することも可能である。

【０２３７】以上のような構成にすることにより、対象
物が大きく移動する場合においても解析を随時行うこと
ができる。

【０２３８】次に図４２には、前述した図５に示したパ
ーツ当て嵌め部４８における処理過程に従った変形例の
構成を示し説明する。ここで、対象物の頭部１、胴体部
２、脚部７，８の４つのパーツに関する当て嵌めを楕円
で行なった例を示している。まず、パーツ分割部２０１
では、パーツ予測部４７で算出された各パーツの存在領
域内にあるスケルトンの抽出を行う。パーツ分割部２０
１で抽出された各パーツのスケルトンをワークメモリ部
２０２に格納する。

【０２３９】次に、始点・終点算出部２０３では、前記
ワークメモリ部２０２に格納された各パーツのスケルト
ンの最も上の点（ｙ座標が最小となる点）を前記パーツ
のスケルトンの始点（ｘｓ，ｙｓ）とし、最も下の点
（ｙ座標が最大となる点）を前記パーツのスケルトンの
終点（ｘｅ，ｙｅ）とする。

【０２４０】このような処理過程を各パーツ毎に行い、
各パーツの始点・終点のデータをデータ格納部２０４へ
格納する。そしてパラメータ推定部２０５では、データ
格納部２０４のデータを用いて、各パラメータの初期値
を設定する。このパラメータ推定部２０５で初期値設定
された各パラメータをデータ格納部２０６に格納する。
なお、前述した当て嵌める幾何学的形状は、楕円だけで
なく円柱や線分でも行なうことができる。尚、パラメー
タ推定部２０５は、前述した図８に示すパラメータ推定
部５６と同様である。

【０２４１】次に図４３には、図１に示した前記補正・
補間部７と構成が異なる構成例を示し説明する。

【０２４２】この補正・補間部７´は、各パーツのパラ
メータ（時刻、パーツ番号、各パラメータの値（ａ，
ｂ，θ，ｘ，ｙ））を記憶するデータ格納部２１１と、
脚部や手部における左右の判別を行う左右パーツ判別部
２１２と、パーツの判定結果を記憶するデータ格納部２
１３と、各パーツを対象物の形状に合わせて補正する補
正部２１４と、その補正結果を記憶するデータ格納部２
１５と、パーツのデータ不確定な場合の時刻を検出する
不確定データ検索部２１６と、検出した時刻のデータを
回復させる補間部２１７と、補間の結果を補正する補正
部２１４と、回復及び補正されたデータを記憶するデー
タ格納部２１８と、格納データに基づいて楕円を発生さ
せる画像制作部２１９とで構成される。

【０２４３】このように構成された補正・補間部７´に
おいては、図１に示した制御部１１の制御により、対象
物解析部６のパラメータ算出部４９で算出された各パー
ツのパラメータ（時刻、パーツ番号、各パラメータの値
（ａ，ｂ，θ，ｘ，ｙ））をデータ格納部７１の所定の
テーブルに格納する。

【０２４４】そして脚部３，５，７と４，６，８や手部
９，１０，１１と１２，１３，１４の左右の判別を左右
パーツ判別部２１２で行い、そのパーツの判定結果をデ
ータ格納部２１３に格納する。さらに補正部２１４で
は、前記データ格納部２１３に対して対象物モデル格納
部１０に基づき、各パーツを対象物の形状に合わせて補
正し、その補正結果をデータ格納部２１５に格納する。

【０２４５】次に不確定データ検索部２１６では、前記
データ格納部２１５で各パーツのデータが確定している
かを調べ、不確定な場合その時刻を検出し、補間部２１
７で検出された時刻のデータの回復を行ない、回復され
たデータを補正部２１４で補正し、回復及び補正された
データをデータ格納部２１８に格納する。

【０２４６】そして、画像制作部２１９は、データ格納
部２１８に格納されているデータに基づいて楕円を発生
させる。この楕円の発生は，時刻ｔの全てのパーツ（パ
ーツ番号ｎ＝１から１４まで）に関して、以下の式を満
たす画素を、例えば「黒」、満たさない場合「白」で色
づけを行い、画像を格納する。

【０２４７】次に図４４に示すフローチャートを参照し
て、図２１のフローチャートと異なる不確定データ検索
部７６による不確定な時刻検出の一例について説明す
る。

【０２４８】まず、ｔｉｍｅ（時刻）、ｋ（パーツ番
号）、ｘ［ｋ］［ｔ］（パーツｋ、時刻ｔｉｍｅのｘ座
標）の初期値を設定する（ステップＳ１８１）。そし
て、パーツ番号ｋをインクリメントする（ステップＳ１
８２）。

【０２４９】次に、ｃｏｕｎｔに“０”を代入し（ステ
ップＳ１８３）、時刻ｔｉｍｅに１加えインクリメント
する（ステップＳ１８４）。

【０２５０】そして、時刻ｔｉｍｅ＝０，ｘ［ｋ］
［０］＝０か否か判定し（ステップＳ１８５）、共に
“０”であれば（ＹＥＳ）、ｓｔａｒｔ［ｋ］［ｃｏｕ
ｎｔ］に“０”を設定する（ステップＳ１８６）。しか
し“０”でなければ（ＮＯ）、時刻ｔｉｍｅ＝０でな
く，ｘ［ｋ］［ｔｉｍｅ］＝０でｘ［ｋ］［ｔｉｍｅ−
１］＝０でないか否か判定する（ステップＳ１８７）。

【０２５１】このステップＳ１８７を満たすならば（Ｙ
ＥＳ）、時刻ｔｉｍｅのｘ［ｋ］［ｔｉｍｅ］が“０”
で時刻（ｔｉｍｅ−１）のｘ［ｋ］［ｔｉｍｅ−１］が
存在するとき時刻ｔｉｍｅが不確定データの始まりとな
るので、ｓｔａｒｔ［ｋ］［ｃｏｕｎｔ］にはｔｉｍｅ
を格納する（ステップＳ１８８）。しかし、満たさなけ
れば（ＮＯ）、時刻ｔｉｍｅ′＝終了でなく、ｘ［ｋ］
［ｔｉｍｅ′］＝０，ｘ［ｋ］［ｔｉｍｅ′＋１］＝０
でないか否か判定する（ステップＳ１８９）。このステ
ップＳ１８９を満たすならば（ＹＥＳ）、時刻ｔｉｍ
ｅ′のｘ［ｋ］［ｔｉｍｅ′］が“０”で時刻（ｔｉｍ
ｅ′＋１）のｘ［ｋ］［ｔｉｍｅ′＋１］が存在すると
き、時刻ｔｉｍｅ′が不確定データの終わりとなるの
で、ｅｎｄ［ｋ］［ｃｏｕｎｔ］には、ｔｉｍｅ′を格
納する。そして、ｃｏｕｎｔに１を加えてインクリメン
トする（ステップＳ１９０，Ｓ１９１）。

【０２５２】例えば、ｘ［ｋ］［３］の値が“０”でｘ
［ｋ］［２］の値が１２６の場合には、ｓｔａｒｔ
［ｋ］［ｃｏｕｎｔ］＝３となる。

【０２５３】また、ｘ［ｋ］［２５］＝０，ｘ［ｋ］
［２６］＝２５５の場合には、ｅｎｄ［ｋ］［ｃｏｕｎ
ｔ］＝２５となる。但し、ステップＳ１８５のように、
ｔｉｍｅ＝０の場合には、ｘ［ｋ］［ｔｉｍｅ−１］が
存在しないため、前記ステップＳ１８６のように、ｓｔ
ａｒｔ［ｋ］［ｃｏｕｎｔ］に“０”を設定する。

【０２５４】次に、ｔｉｍｅ′＝終了，ｘ［ｋ］［終
了］＝０か否か判定し（ステップＳ１９２）、それぞれ
“終了”，“０”であれば（ＹＥＳ）、時刻ｓｔａｒｔ
［ｋ］［ｃｏｕｎｔ］から時刻ｅｎｄ［ｋ］［ｃｏｕｎ
ｔ］までのデータが不確定であることを示し、ｅｎｄ
［ｋ］［ｃｏｕｎｔ］には“終了”を設定し（ステップ
Ｓ１９３）、ｃｏｕｎｔに１を加えてインクリメントす
る（ステップＳ１９４）。次に時刻ｔｉｍｅが“終了”
前か否か判定し（ステップＳ１９５）、“終了”前であ
れば（ＹＥＳ）、前記ステップＳ１８４に戻り、時刻ｔ
ｉｍｅが“終了”を越えた場合には（ＮＯ）、パーツ番
号ｋが所定数ｎを越えたか否か判定し（ステップＳ１９
６）、パーツ番号ｋが所定数ｎ以下の場合には（ＹＥ
Ｓ）、前記ステップＳ１８２に戻り、パーツ番号ｋが所
定数ｎを越えた場合には（ＮＯ）、この不確定データの
検索を終了する。ｙ座標や角度θに関しても同様に行
う。この配列のデータを補間部７へ出力する。

【０２５５】次に、この補間部７は、前記不確定データ
検索部６の結果に基づき、不確定データを補間する。

【０２５６】図４５，図４６に示すフローチャートを参
照して、この補間処理について説明する。

【０２５７】まず、ｍ，ｋ（パーツ番号）の初期値を設
定する（ステップＳ２０１）。そしてパーツ番号ｋをイ
ンクリメントした後（ステップＳ２０２）、パーツ番号
ｋ、時刻ｔのｘをｘ［ｋ］［ｔ］に、ｙをｙ［ｋ］
［ｔ］に、θをθ［ｋ］［ｔ］に格納する（ステップＳ
２０３）。次にｍをインクリメントする（ステップＳ２
０４）。

【０２５８】次に、ｓｔａｔ［ｋ］［ｍ］＝０か否か判
定し（ステップＳ２０５）、不確定データの始点時刻が
“０”の場合（ＹＥＳ）、不確定データ始点の時刻ｓｔ
ａｒｔ［ｋ］［ｍ］の１つ後の時刻（ｓｔａｒｔ［ｋ］
［ｍ］＋１）と３つ後の時刻（ｓｔａｒｔ［ｋ］［ｍ］
＋３）のデータを用いて補間を行う（ステップＳ２０
６）。しかし、前記始点時刻が“０”でない場合（Ｎ
Ｏ）、ｅｎｄ［ｋ］［ｍ］＝終了か否か判定する（ステ
ップＳ２０７）。

【０２５９】このステップＳ２０７の判定で、不確定デ
ータの終了時刻が“終了”の場合（ＹＥＳ）、時刻（ｅ
ｎｄ［ｋ］［ｍ］−１）と時刻（ｅｎｄ［ｋ］［ｍ］−
３）のデータを用いて補間を行う（ステップＳ２０
８）。

【０２６０】ここで、図４６（ａ），（ｂ）には、ｓｔ
ａｒｔ［ｋ］［ｍ］＝０またはｅｎｄ［ｋ］［ｍ］＝終
了の場合の補間の概念を示す。前記ステップＳ２０６及
び前記ステップＳ２０８では、補間を行なう始点の時刻
をｓｔに、終点の時刻をｅｎに格納する。

【０２６１】次に、ステップＳ２０９では、パーツ番号
ｋ、時刻ｓｔまたは時刻ｅｎのｘ，ｙ，θをｓｔｘ，ｓ
ｔｙ，ｓｔｒａｄ，ｅｎｘ，ｅｎｙ，ｅｎｒａｄに格納
する。そして、ｔの初期値に時刻（ｓｔａｒｔ［ｋ］
［ｍ］−１）を設定する（ステップＳ２１０）。

【０２６２】次に、時刻ｔをインクリメントし（ステッ
プＳ２１１）、データ点からなる各パラメータを算出す
る（ステップＳ２１２）。さらに、前記算出された間隔
から時刻ｔ（ｓｔａｒｔ［ｋ］［ｍ］〜ｅｎｄ［ｋ］
［ｍ］）のｘ，ｙ座標とθを求める（ステップＳ２１
３）。他のパラメータに関しては、時刻ｓｔのパラメー
タを用いる（ステップＳ２１４）。

【０２６３】そして、時刻ｔ≦ｅｎｄ［ｋ］［ｍ］か否
か判定し（ステップＳ２１５）、時刻ｔがｅｎｄ［ｋ］
［ｍ］以下であれば（ＹＥＳ）、前記ステップＳ２１１
に戻り、時刻ｔがｅｎｄ［ｋ］［ｍ］を越えれば（Ｎ
Ｏ）、ステップＳ２２８に移行する。

【０２６４】そして、ステップＳ２０７の判定におい
て、不確定データの時刻ｔが終了でなかった場合（Ｎ
Ｏ）、ステップＳ２１６に移行し、以下の処理を行う。
ここで、図２３（ｃ）は、時刻“０”または終了以外の
補間の概念を示す。

【０２６５】まず、ステップＳ２１６においては、不確
定データの始点時刻ｓｔａｒｔ［ｋ］［ｍ］の１つ前の
時刻（ｓｔａｒｔ［ｋ］［ｍ］−１）をｓｔに、不確定
データの終了時刻ｅｎｄ［ｋ］［ｍ］の１つの後の時刻
（ｅｎｄ［ｋ］［ｍ］＋１）をｅｎに格納する。

【０２６６】次に、不確定時刻の差（ｅｎｄ［ｋ］
［ｍ］−ｓｔａｒｔ［ｋ］［ｍ］）をｈに、パーツ番号
ｋ、時刻ｓｔまたはｅｎのｘ，ｙ，θをｓｔｘ，ｓｔ
ｙ，ｓｔｒａｄ，ｅｎｘ，ｅｎｙ，ｅｎｒａｄに格納す
る（ステップＳ２１７）。そして線形補間するためのパ
ラメータｘ，ｙ，θの間隔ｉｎｔｅｒｖａｌｘ，ｉｎｔ
ｅｒｖａｌｙ，ｉｎｔｅｒｖａｌｒａｄを算出する（ス
テップＳ２１８）。

【０２６７】次に、ｉ，ｔの初期値を設定し（ステップ
Ｓ２１９）、ｉ，ｔをそれぞれインクリメントする（ス
テップＳ２２０，Ｓ２２１）。

【０２６８】次に、補間する時刻のパラメータを算出す
る（ステップＳ２２２）。例えば、ｘ［ｋ］［ｔ］は、
ｓｔｘのパラメータに間隔ｉｎｔｅｒｖａｌｘを加えた
値を代入する。ステップＳ２２５からステップＳ２２８
においては、ｔ，ｉ，ｍ，ｋのそれぞれが各条件を満た
す場合（ＹＥＳ）、それぞれＳ２２１，Ｓ２２０，Ｓ２
０４，Ｓ２０２に戻り、処理を行う。前記各条件を満た
さなかった場合には（ＮＯ）、補間処理を終了する。こ
れらの処理で補間した結果を再度、補正部７４で同様に
補正し、その補正した結果をデータ格納部７８に出力す
る。

【０２６９】以上のようにして補間・補正７における処
理が行われる。これにより、遮蔽や影の影響などの原因
により対象物の形状が正確に認識できなかった場合に、
対象物について、予めわかっている大きさや接続関係の
情報を用いて補正し、前後の時間で得られた情報を用い
て補間することができる。

【０２７０】なお、本発明の上記実施態様によれば、以
下のごとき発明も含まれる。

【０２７１】（１） 動画像内の所定の対象物の動きを
解析する画像解析装置において、前記動画像に対応する
動画像データ中から前記対象物が存在する存在領域を抽
出する存在領域抽出手段と、前記存在領域抽出手段によ
って抽出された前記存在領域を除いた複数の動画像のフ
レーム画像データまたはフィールド画像データを合成し
て、背景画像データを生成する背景画像生成手段と、前
記背景画像生成手段によって生成された背景画像データ
に基づいて、前記動画像データから前記所定の対象物に
対応する画像データを抽出する対象物抽出手段と、を具
備することを特徴とする画像解析装置。

【０２７２】この発明に関する実施例は、例えば、第１
実施例が対応する。

【０２７３】（２） 前記存在領域抽出手段は、前記動
画像のフレーム画像データ間またはフィールド画像デー
タ間の差を求める画像間差分演算手段と、前記画像間差
分演算手段からの複数の出力画像データの共通部分を求
める画像間共通部分演算手段と、前記画像間共通部分演
算手段からの出力画像データに外接する矩形領域を求め
る矩形領域生成手段と、を具備することを特徴とする前
記（１）記載の画像解析装置。

【０２７４】この発明に関する実施例は、例えば、第
１，第３，第４，第６実施例が対応する。

【０２７５】（２−１） 前記存在領域抽出手段は、前
記動画像から時間に沿って選択された、前後のフレーム
画像データ間における各画素間の差の絶対値を２値化し
た差分、または前後のフィールド間画像データの画素間
の差の絶対値を２値化した差分を、画像間における対象
物の移動（動画像データ）として求める画像間差分演算
手段と、前記画像間差分演算手段からの複数の出力画像
データの共通部分を求める画像間共通部分演算手段と、
前記画像間共通部分演算手段からの出力画像データに外
接する矩形領域を求める矩形領域生成手段と、を具備す
ることを特徴とする前記（１）記載の画像解析装置。

【０２７６】この発明に関する実施例は、例えば、第
１，第３，第４，第６実施例が対応する。

【０２７７】（３） 前記画像間共通部分演算手段は、
前記画像間差分演算手段からの画像データの差分出力を
受けて、２値化する差分画像２値化手段と、前記差分画
像２値化手段からの複数の出力に対して各画素毎に論理
積演算を行う論理積演算手段と、を具備することを特徴
とする前記（２）記載の画像解析装置。

【０２７８】この発明に関する実施例は、例えば、第
１，第２，第４実施例が対応する。 （３−１） 前記画像間共通部分演算手段は、前記画像
間差分演算手段からの画像データの差分出力を受けて、
該差分出力が示す画像データの領域の各画素の出力を２
値化する差分画像２値化手段と、前記差分画像２値化手
段からの複数の出力に対して各画素毎に論理積演算を行
う論理積演算手段と、を具備することを特徴とする前記
（２）記載の画像解析装置。

【０２７９】この発明に関する実施例は、例えば、第
１，第２，第４実施例が対応する。 （４） 前記画像間共通部分演算手段は、前記画像間差
分演算手段からの画像データの差分出力に対して、各画
素毎に和を求める画素間和演算手段と、前記画素間和演
算手段からの画像データ出力を２値化する差分画像２値
化手段と、を具備することを特徴とする前記（２）記載
の画像解析装置。

【０２８０】この発明に関する実施例は、例えば、第
１，第２，第４実施例が対応する。 （４−１） 前記画像間共通部分演算手段は、前記画像
間差分演算手段からの画像データの差分出力を受けて、
該差分出力が示す画像データの領域の各画素毎に和を求
める画素間和演算手段と、 前記画素間和演算手段から
の画像データ出力を２値化する差分画像２値化手段と、
を具備することを特徴とする前記（２）記載の画像解析
装置。

【０２８１】この発明に関する実施例は、例えば、第
１，第２，第４実施例が対応する。 （５） 前記所定の対象物のモデルを前記所定の対象物
の構成部分とその結合関係として記憶するモデル記憶手
段と、前記モデル記憶手段からの情報に基づいて、前記
所定の対象物に前記モデルを適合させるモデル適合手段
と、をさらに具備することを特徴とする前記（１）〜
（４）のいずれか１つに記載の画像解析装置。

【０２８２】この発明に関する実施例は、例えば、第
１，第６，第７，第８実施例が対応する。

【０２８３】（６） 前記モデル記憶手段は、さらに、
前記対象物の各構成部分において、存在領域に対応する
前記対象物の各構成部分のモデルを前記各対象物に適合
させることを特徴とする前記（５）記載の画像解析装
置。

【０２８４】この発明に関する実施例は、例えば、第
１，第６，第７，第８実施例が対応する。

【０２８５】（７） 前記動画像に対する所定のフレー
ム画像データまたはフィールド画像データの時間的に前
及び／または後の画像データに基づいて、前記モデル適
合手段によって前記所定のフレーム画像データまたはフ
ィールド画像データに適合された前記対象物の各構成部
分のモデルの位置及び／または角度を補間することを特
徴とする前記（５）または（６）記載の画像解析装置。

【０２８６】この発明に関する実施例は、例えば、第１
実施例が対応する。

【０２８７】（８） 前記モデル記憶手段は、さらに、
前記対象物の各構成部分の相対的な大きさを格納し、前
記モデル適合手段は、前記各構成部分の相対的な大きさ
に基づいて、前記対象物の各構成部分に適合するモデル
を補正することを特徴とする前記（５）〜（７）のいず
れか１つに記載の画像解析装置。

【０２８８】この発明に関する実施例は、例えば、第１
実施例が対応する。

【０２８９】（９） 前記モデル適合手段は、前記モデ
ル記憶手段から読出されたモデルを抽出された対象物の
各構成部分の大きさに基づき補正し、補正されたモデル
の配置位置により、モデルとモデルが接続する交点を算
出する交点算出手段と、算出した交点によるモデルとモ
デルとの接続形態が好適なものか判断する接続形態判断
手段とを具備することを特徴とする前記（５）〜（７）
のいずれか１つに記載の画像解析装置。

【０２９０】この発明に関する実施例は、例えば、第１
実施例が対応する。

【０２９１】（１０） 前記モデル記憶手段に記載され
る前記対象物の各構成部分のモデルは楕円であり、前記
モデル適合手段は、前記対象物抽出手段によって抽出さ
れた対象物のスケルトンを抽出するスケルトン抽出手段
を具備し、各構成部分の前記楕円のモデルを該スケルト
ン抽出手段によって抽出されたスケルトンに基づいて、
対象物に適合させることを特徴とする前記（５）〜
（８）のいずれか１つに記載の画像解析装置。

【０２９２】この発明に関する実施例は、例えば、第１
実施例が対応する。

【０２９３】（１１） 前記モデル記憶手段に記載され
る前記対象物の各構成部分のモデルは楕円であり、前記
モデル適合手段は、前記対象物抽出手段によって抽出さ
れた対象物と前記各構成部分の楕円モデルと重なり面積
が最大となるように前記各構成部分の楕円モデルを前記
対象物に適合させることを特徴とする前記（５）〜
（８）のいずれか１つに記載の画像解析装置。

【０２９４】この発明に関する実施例は、例えば、第１
実施例が対応する。

【０２９５】（１２） 前記モデル記憶手段に記載され
る前記対象物の各構成部分のモデルは楕円であり、前記
モデル適合手段は、前記対象物抽出手段によって抽出さ
れた対象物の構成部分の重心を求める重心算出手段と、
前記対象物の前記構成部分のモーメントを求めるモーメ
ント算出手段と、前記重心算出手段と前記モーメント算
出手段との出力に基づいて前記楕円モデルを前記対象物
に適合させることを特徴とする前記（５）〜（８），
（１１）のいずれか１つに記載の画像解析装置。

【０２９６】この発明に関する実施例は、例えば、第２
実施例が対応する。

【０２９７】（１３） 動画像内の所定の対象物の動き
を解析する画像処理において、前記対象物が存在する動
画像の背景画像データを予め記憶する背景画像記憶手段
と、前記背景画像記憶手段による前記背景画像データに
基づいて、前記動画像の各フレーム画像データまたはフ
ィールド画像データから前記所定の対象物に対応する画
像データを抽出する対象物抽出手段と、前記所定の対象
物に相当するモデルを前記所定の対象物の構成部分とそ
の結合関係として記憶するモデル記憶手段と、前記モデ
ル記憶手段からの情報に基づいて、前記所定の対象物に
対応する画像データに前記モデルを適合させるモデル適
合手段と、を具備することを特徴とする画像解析装置。

【０２９８】この発明に関する実施例は、例えば、第３
実施例が対応する。

【０２９９】（１４） 前記動画像に対応する所定のフ
レーム画像データまたはフィールド画像データの時間的
に前及び／または後の画像データに基づいて、前記モデ
ル適合手段によって前記所定のフレーム画像データまた
はフィールド画像データに適合された前記対象物の各構
成部分のモデルの位置及び／または角度を補間すること
を特徴とする前記（１３）記載の画像解析装置。

【０３００】この発明に関する実施例は、例えば、第１
実施例が対応する。

【０３０１】（１５） 前記モデル記憶手段は、さら
に、前記対象物の各構成部分の相対的な大きさを格納
し、前記モデル適合手段は、前記各構成部分の相対的な
大きさに基づいて、前記対象物の各構成部分に適合する
モデルを補正することを特徴とする前記（１３），（１
４）のいずれか１つに記載の画像解析装置。

【０３０２】この発明に関する実施例は、例えば、第１
実施例が対応する。

【０３０３】（１６） 前記モデル適合手段は、前記モ
デル記憶手段から読出されたモデルを抽出された対象物
の各構成部分の大きさに基づき補正し、補正されたモデ
ルの配置位置により、モデルとモデルが接続する交点を
算出する交点算出手段と、算出した交点によるモデルと
モデルとの接続形態が好適なものか判断する接続形態判
断手段とを具備することを特徴とする前記（１３）〜
（１５）のいずれか１つに記載の画像解析装置。

【０３０４】この発明に関する実施例は、例えば、第１
実施例が対応する。

【０３０５】（１７） 前記モデル記憶手段に記載され
る前記対象物の各構成部分のモデルは楕円であり、前記
モデル適合手段は、前記対象物抽出手段によって抽出さ
れた対象物のスケルトンを抽出するスケルトン抽出手段
を具備し、各構成部分の前記楕円のモデルを該スケルト
ン抽出手段によって抽出されたスケルトンに基づいて、
対象物に適合させることを特徴とする前記（１３）〜
（１６）のいずれか１つに記載の画像解析装置。

【０３０６】この発明に関する実施例は、例えば、第１
実施例が対応する。

【０３０７】（１８） 前記モデル記憶手段に記載され
る前記対象物の各構成部分のモデルは楕円であり、前記
モデル適合手段は、前記対象物抽出手段によって抽出さ
れた対象物と前記各構成部分の楕円モデルと重なり面積
が最大となるように前記各構成部分の楕円モデルを前記
対象物に適合させることを特徴とする前記（１３）〜
（１６）のいずれか１つに記載の画像解析装置。

【０３０８】この発明に関する実施例は、例えば、第１
実施例が対応する。

【０３０９】（１９） 前記モデル記憶手段に記載され
る前記対象物の各構成部分のモデルは楕円であり、前記
モデル適合手段は、前記対象物抽出手段によって抽出さ
れた対象物の構成部分の重心を求める重心算出手段と、
前記対象物の前記構成部分のモーメントを求めるモーメ
ント算出手段と、前記重心算出手段と前記モーメント算
出手段との出力に基づいて前記楕円モデルを前記対象物
に適合させることを特徴とする前記（１３）〜（１
６），（１８）のいずれか１つに記載の画像解析装置。

【０３１０】この発明に関する実施例は、例えば、第２
実施例が対応する。

【０３１１】（２０） 動画像内の所定の対象物の動き
を解析する画像処理において、前記動画像に対応する所
定のフレーム画像データまたはフィールド画像データの
時間的に前及び／または後の画像データの差分により所
定の対象物を抽出する対象物抽出手段と、前記所定の対
象物のモデルを前記所定の対象物の構成部分とその結合
関係として記憶するモデル記憶手段と、前記モデル記憶
手段からの情報に基づいて、前記所定の対象物の画像デ
ータに前記モデルを適合させるモデル適合手段と、前記
動画像の所定のフレーム画像データまたはフィールド画
像データの時間的に前及び／または後の画像データに基
づいて、前記モデル適合手段によって前記所定のフレー
ム画像データまたはフィールド画像データに適合された
前記対象物の各構成部分のモデルの位置及び／または角
度を補間する補間手段と、を具備することを特徴とする
画像解析装置。

【０３１２】この発明に関する実施例は、例えば、第１
実施例が対応する。

【０３１３】（２１） 前記モデル記憶手段は、さら
に、前記対象物の各構成部分の相対的な大きさを格納
し、前記モデル適合手段は、前記各構成部分の相対的な
大きさに基づいて、前記対象物の各構成部分に適合する
モデルを補正することを特徴とする前記（２０）記載の
画像解析装置。

【０３１４】この発明に関する実施例は、例えば、第１
実施例が対応する。

【０３１５】（２２） 前記モデル適合手段は、前記モ
デル記憶手段から読出されたモデルを抽出された対象物
の各構成部分の大きさに基づき補正し、補正されたモデ
ルの配置位置により、モデルとモデルが接続する交点を
算出する交点算出手段と、算出した交点によるモデルと
モデルとの接続形態が好適なものか判断する接続形態判
断手段とを具備することを特徴とする前記（２０）また
は（２１）記載の画像解析装置。

【０３１６】この発明に関する実施例は、例えば、第１
実施例が対応する。

【０３１７】（２３） 前記モデル記憶手段に記載され
る前記対象物の各構成部分のモデルは楕円であり、前記
モデル適合手段は、前記対象物抽出手段によって抽出さ
れた対象物のスケルトンを抽出するスケルトン抽出手段
を具備し、各構成部分の前記楕円のモデルを該スケルト
ン抽出手段によって抽出されたスケルトンに基づいて、
対象物に適合させることを特徴とする前記（２０）〜
（２２）のいずれか１つに記載の画像解析装置。

【０３１８】この発明に関する実施例は、例えば、第１
実施例が対応する。

【０３１９】（２４） 前記モデル記憶手段に記載され
る前記対象物の各構成部分のモデルは楕円であり、前記
モデル適合手段は、前記対象物抽出手段によって抽出さ
れた対象物と前記各構成部分の楕円モデルと重なり面積
が最大となるように前記各構成部分の楕円モデルを前記
対象物に適合させることを特徴とする前記（２０）〜
（２２）のいずれか１つに記載の画像解析装置。

【０３２０】この発明に関する実施例は、例えば、第１
実施例が対応する。

【０３２１】（２５） 前記モデル記憶手段に記載され
る前記対象物の各構成部分のモデルは楕円であり、前記
モデル適合手段は、前記対象物抽出手段によって抽出さ
れた対象物の構成部分の重心を求める重心算出手段と、
前記対象物の前記構成部分のモーメントを求めるモーメ
ント算出手段と、前記重心算出手段と前記モーメント算
出手段との出力に基づいて前記楕円モデルを前記対象物
に適合させることを特徴とする前記（２０）〜（２
２），（２４）のいずれか１つに記載の画像解析装置。

【０３２２】この発明に関する実施例は、例えば、第２
実施例が対応する。

【０３２３】（２６） 動画像内の所定の対象物の動き
を解析する画像解析装置において、前記動画像の所定の
フレーム画像またはフィールド画像から前記対象物の形
態に相当するエッジ画像を抽出するエッジ抽出手段と、
前記エッジ画像間の差分画像を生成する差分処理手段
と、前記差分画像間の論理演算を行って対象物の輪郭画
像を抽出する演算処理手段と、を具備することを特徴と
する画像処理装置。

【０３２４】この発明に関する実施例は、例えば、第４
実施例が対応する。

【０３２５】（２７） 前記エッジ抽出手段に抽出され
た前記エッジ画像に存在する分断されたエッジ間を不通
過な任意の形状及び任意の大きさの領域からなるテンプ
レートを生成し、該テンプレートを前記エッジ画像の全
面に走査させるテンプレート移動手段と、前記テンプレ
ートがエッジに当接した交点の位置情報を生成し、予め
定めたラベルを付与するラベル付与手段と、前記ラベル
付与手段によりラベルが付与された位置情報からテンプ
レート移動可能領域を生成して、前記対象物のシルエッ
トを抽出し、前記テンプレートによる位置ずれを補正す
る移動領域生成手段と、を具備することを特徴とする前
記（２６）記載の画像処理装置。

【０３２６】この発明に関する実施例は、例えば、第４
実施例が対応する。

【０３２７】（２８） 前記演算処理手段により抽出さ
れた対象物の輪郭画像に対して、前記対象物の各構成部
分と略平行な直線成分を検出する直線検出手段を含み、
予め定めた優先順位に従って前記対象物の構成部分のモ
デルの適合を行うモデル適合手段を具備することを特徴
とする（２６）記載の画像処理装置。

【０３２８】この発明に関する実施例は、例えば、第５
実施例が対応する。

【０３２９】（２９） 前記モデル適合手段は抽出され
た前記対象物の各構成部分の配置を、主になる構成部分
を基準に左右を入れ替えることを特徴とする前記（５）
乃至（２８）記載の画像処理装置。

【０３３０】この発明に関する実施例は、例えば、第１
実施例が対応する。

【０３３１】（３０） 量子化及び標本化された少なく
とも１枚以上の画像に関して、所定の対象物を解析する
画像解析装置において、前記画像に対応する画像データ
から対象物の存在領域を検知する存在領域検知手段と、
前記対象物の全体及び部分の形態をモデルとして格納す
る対象物モデル格納手段と、前記存在領域検知手段に基
づき背景画像データを生成・格納する背景画像生成・格
納手段と、前記画像データと前記背景画像データから対
象物のシルエットのデータを生成するシルエット生成手
段と、前記シルエットのデータに基づき、対象物のスケ
ルトンのデータを抽出するスケルトン抽出手段と、前記
対象物モデル格納手段に基づき各パーツの位置を予測す
るパーツ予測手段と、前記スケルトンの情報に基づき単
純な幾何学的形状で当て嵌め画像データを生成する当て
嵌め画像生成手段と、前記対象物モデル格納手段に基づ
き前記当て嵌め画像データを補正し補正画像を生成する
補正手段と、前記補正画像データを必要に応じて補間ま
たは補正を行う補間・補正手段と、を具備することを特
徴とする画像解析装置。

【０３３２】この発明に関する実施例は、例えば、第１
実施例が対応する。

【０３３３】（３１） 量子化及び標本化された複数の
画像に関して、移動する対象物を解析する画像解析装置
において、前記画像に対応する画像データから対象物の
存在領域を検知する存在領域検知手段と、前記対象物の
全体及び部分の形態をモデルとして格納する対象物モデ
ル格納手段と、前記存在領域検知手段に基づき背景画像
データを生成・格納する背景画像生成・格納手段と、前
記画像データと前記背景画像データから対象物のシルエ
ットのデータを生成するシルエット生成手段と、前記シ
ルエットのデータに基づき、対象物のスケルトンのデー
タを抽出するスケルトン抽出手段と、前記対象物モデル
格納手段に基づき各パーツの位置を予測するパーツ予測
手段と、前記スケルトンのデータに基づき単純な幾何学
的形状で当て嵌め画像データを生成する当て嵌め画像生
成手段と、前記対象物モデル格納手段に基づき前記当て
嵌め画像データを補正し補正画像データを生成する補正
手段と、前記補正画像データを必要に応じて補間または
補正を行う補間・補正手段と、を具備することを特徴と
する画像解析装置。

【０３３４】この発明に関する実施例は、例えば、第１
実施例が対応する。

【０３３５】（３２） 量子化及び標本化された複数の
画像に関して、移動する対象物を解析する画像解析装置
において、前記画像に対応する画像データから移動する
前記対象物を存在領域を検知する移動領域検知手段と、
前記画像のエッジ画像のデータを抽出するエッジ抽出手
段と、前記エッジ画像のデータ間の差分画像データを生
成する差分処理手段と、前記差分画像データ間の論理演
算を行って前記対象物の輪郭画像データを抽出する演算
処理手段と、前記対象物に関する形状を複数のパーツで
記述したモデルとして格納する対象物モデル格納手段
と、前記対象物モデル格納手段に基づき前記輪郭画像デ
ータの輪郭を連結した輪郭連結画像を生成する輪郭連結
手段と、前記対象物モデル格納手段と前記輪郭連結画像
に基づき前記パーツの位置を予測するパーツ予測手段
と、前記パーツ予測手段の基づき前記単純な幾何学的形
状で当て嵌め画像データを生成する幾何学的形状当ては
め画像生成手段と、前記対象物モデル格納手段に基づき
前記当て嵌め画像データを補正し補正画像データを生成
する補正手段と、前記補正画像データを必要に応じて補
間または補正を行う補間・補正手段と、を具備すること
を特徴とする画像解析装置。

【０３３６】この発明に関する実施例は、例えば、第５
実施例が対応する。

【０３３７】（３３） 量子化及び標本化された複数の
画像に関して、移動する対象物を解析する画像解析装置
において、前記画像に対応する画像データから移動する
前記対象物を存在領域を検知する移動領域検知手段と、
前記画像のエッジ画像のデータを抽出するエッジ抽出手
段と、前記エッジ画像のデータ間の差分画像データを生
成する差分処理手段と、前記差分画像データ間の論理演
算を行って前記対象物の輪郭画像データを抽出する演算
処理手段と、前記対象物に関する形状を複数のパーツで
分類したモデルとして格納する対象物モデル格納手段
と、前記輪郭画像データに基づきシルエットのデータ生
成を行うシルエット抽出手段と、前記シルエットのデー
タに基づきスケルトンのデータを抽出するスケルトン抽
出手段と、前記対象物モデル格納手段に基づき前記パー
ツの位置を予測するパーツ予測手段と、前記スケルトン
の抽出手段と前記パーツ予測手段に基づき単純な幾何学
的形状で当て嵌め画像データを生成する当て嵌め画像生
成手段と、前記対象物モデル格納手段に基づき前記当て
嵌め画像データを補正し補正画像データを生成する補正
手段と、前記補正画像データを必要に応じて補間または
補正を行う補間・補正手段と、を具備することを特徴と
する画像解析装置。

【０３３８】この発明に関する実施例は、例えば、第４
実施例が対応する。

【０３３９】（３４） マーカーを装着した移動する対
象物を解析する画像解析装置において、前記動画像に対
応する画像データ中から前記対象物が存在する存在領域
を検出する存在領域検出手段と、対象物に装着している
マーカーの情報を格納するマーカー情報格納手段と、前
記マーカー情報格納手段の出力に基づき、前記対象物の
解析を行う対象物解析手段と、前記動画像に対応する所
定のフレーム画像データまたはフィールド画像データの
時間的に前及び／または後の画像データに基づいて、前
記モデル適合手段によって前記所定のフレーム画像デー
タまたはフィールド画像データに適合された前記対象物
の各構成部分のモデルの位置及び／または角度を補間す
る補間手段と、を付加したことを特徴とする画像解析装
置。

【０３４０】この発明に関する実施例は、例えば、第７
実施例が対応する。

【０３４１】（３５） 前記対象物解析手段は、前記存
在領域検出手段と前記マーカー情報格納手段の出力を受
けて、マーカーの抽出を行なうマーカー検出手段と、前
記マーカー検出手段の出力に基づきマーカーの位置や傾
斜角の算出を行なうパラメータ算出手段と、を具備する
ことを特徴とする前記（３４）記載の画像解析装置。

【０３４２】この発明に関する実施例は、例えば、第７
実施例が対応する。

【０３４３】（３６） 動画像所定の対象物が大きく移
動する場合においても動きを解析する画像解析装置にお
いて、前記動画像に対応する画像データ中から前記対象
物が存在する存在領域を検出する存在領域検出手段と、
前記存在領域検出手段に基づいて対象物の移動情報を検
出する架台制御手段と、 前記架台制御手段の結果に基
づいて画像を撮影する装置の架台を制御するカメラ制御
手段と、付加したことを特徴とする画像解析装置。

【０３４４】この発明に関する実施例は、例えば、第８
実施例が対応する。

【０３４５】（３７） 動画像内の所定の対象物の動き
を解析する画像解析装置において、前記所定の対象物の
モデルを前記所定に対象物の構成部分とその結合関係と
して記憶するモデル記憶手段と、前記モデル記憶手段か
らの情報に基づいて、前記所定の対象物に前記モデルを
適合させるモデル適合手段と、前記動画像に対応する所
定のフレーム画像データまたはフィールド画像データの
時間的に前及び／または後の画像データに基づいて、前
記モデル適合手段によって前記所定のフレーム画像デー
タまたはフィールド画像データに適合された前記対象物
の各構成部分のモデルの位置及び／または角度を補間す
る補間手段と、を具備することを特徴とする前記（３
６）記載の画像解析装置。

【０３４６】この発明に関する実施例は、例えば、第１
実施例が対応する。

【０３４７】

【発明の効果】以上詳述したように本発明によれば、撮
影された画像から背景画像と対象物をそれぞれ自動的に
生成し、予め定めたモデルにより遮蔽された情報を回復
し、高速処理可能な画像解析装置を提供することができ
る。

【図面の簡単な説明】

【図１】本発明による第１実施例としての画像解析装置
の概略的な構成例を示す図である。

【図２】図１に示した存在領域検知部の具体的な構成を
示す図である。

【図３】存在領域検知部における対象物の抽出と背景画
像の生成について説明するための図である。

【図４】対象物に当て嵌めるモデルに関して説明するた
めの図である。

【図５】図１に示した対象物解析部の具体的な構成例を
示す図である。

【図６】パーツ予測部によるパーツ予測について説明す
るための図である。

【図７】パーツ当て嵌め部における処理過程に従った構
成を示すである。

【図８】パラメータ推定部の具体的な構成例を示す図で
ある。

【図９】パラメータ算出部による算出工程を説明するた
めの前半のフローチャートである。

【図１０】パラメータ算出部による算出工程を説明する
ための後半のフローチャートである。

【図１１】補正・補間部の具体的な構成を示す図であ
る。

【図１２】図１１に示した左右パーツ判別部の具体的な
構成を示す図である。

【図１３】左右のパーツ判別について説明するための図
である。

【図１４】パラメータの算出に用いる座標系を説明する
ための図である。

【図１５】図１１に示した補正部の構成を示す図であ
る。

【図１６】図１５に示したパーツ補正部の構成を示す図
である。

【図１７】補正について説明するための前半のフローチ
ャートである。

【図１８】補正について説明するための後半のフローチ
ャートである。

【図１９】手部補正を説明するための概念図である。

【図２０】脚部補正を説明するための概念図である。

【図２１】不確定データ検索部による不確定な時刻検出
について説明するためのフローチャートである。

【図２２】補間処理について説明するためのフローチャ
ートである。

【図２３】補間処理について説明するための一部のフロ
ーチャートである。

【図２４】補間処理について説明するため概念図であ
る。

【図２５】本発明による第２実施例の画像解析装置にお
ける対象物解析部の具体的な構成を示す図である。

【図２６】図２５に示したパラメータ算出部の具体的な
構成を示す図である。

【図２７】本発明による第３実施例としての画像解析装
置における存在領域検知部の構成を示す図である。

【図２８】本発明による第４実施例としての画像解析装
置における存在領域検知部の構成を示す図である。

【図２９】図２８に示した対象物解析部の具体的な構成
例を示す図である。

【図３０】図２９に示したシルエット生成部の具体的な
構成例を示す図である。

【図３１】テンプレートの移動可能領域を示す図であ
る。

【図３２】本発明による第５実施例としての画像解析装
置における対象物解析部の構成例を示す図である。

【図３３】図３２に示したパーツ当て嵌め部の具体的な
構成例を示す図である。

【図３４】図３３に示したパラメータ推定部の具体的な
構成例を示す図である。

【図３５】パーツの割り振りを説明するための図であ
る。

【図３６】本発明による第６実施例としての画像解析装
置の概略的な構成例を示す図である。

【図３７】図３６に示した存在領域検知部の具体的な構
成例を示す図である。

【図３８】本発明による第７実施例としての画像解析装
置の概略的な構成例を示す図である。

【図３９】図３８に示したマーカー情報格納部に格納さ
れているマーカー情報について説明するための図であ
る。

【図４０】図３８に示した対象物解析部の具体的な構成
例を示す図である。

【図４１】本発明による第８実施例としての画像解析装
置の概略的な構成例を示す図である。

【図４２】第１実施例におけるパーツ当て嵌め部におけ
る処理過程が異なった別の構成例を示すである。

【図４３】第１実施例における補正・補間部の構成が異
なった一例を示す図である。

【図４４】第１実施例における不確定データ検索部によ
る不確定な時刻検出のフローチャートの変形例である。

【図４５】第１実施例における補間処理のフローチャー
トの変形例である。

【図４６】第１実施例における補間処理の一部のフロー
チャートの変形例である。

【符号の説明】

１…入力部、２…Ａ／Ｄ部、３…バッファメモリ部、４
…補助入出力部、５…存在領域検知部、６…対象物解析
部、７…補間・補正部、８…Ｄ／Ａ部、９…出力部、１
０…対象物モデル格納部、１１…制御部。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 動画像内の所定の対象物の動きを解析す
   る画像解析装置において、 前記動画像に対応する動画像データ中から前記対象物が
   存在する存在領域を抽出する存在領域抽出手段と、 前記存在領域抽出手段によって抽出された前記存在領域
   を除いた複数の動画像のフレーム画像データまたはフィ
   ールド画像データを合成して、背景画像データを生成す
   る背景画像生成手段と、 前記背景画像生成手段によって生成された背景画像デー
   タに基づいて、前記動画像データから前記所定の対象物
   の画像データを抽出する対象物抽出手段と、を具備する
   ことを特徴とする画像解析装置。
2. 【請求項２】 動画像内の所定の対象物の動きを解析す
   る画像解析装置において、 前記動画像に対応する動画像データの所定のフレーム画
   像データまたはフィールド画像データの時間的に前及び
   ／または後のフレーム画像データまたはフィールド画像
   データとの画像の差分により所定の対象物に対応する画
   像データを抽出する対象物抽出手段と、 前記所定の対象物のモデルを前記所定の対象物の構成部
   分とその結合関係として記憶するモデル記憶手段と、 前記モデル記憶手段からの情報に基づいて、前記所定の
   対象物に対応する画像データに前記モデルを適合させる
   モデル適合手段と、 前記所定のフレーム画像データまたはフィールド画像デ
   ータの時間的に前及び／または後のフレーム画像データ
   またはフィールド画像データに基づいて、前記モデル適
   合手段によって前記所定のフレーム画像データまたはフ
   ィールド画像データに適合された前記対象物の各構成部
   分のモデルの位置及び／または角度を補間する補間手段
   と、を具備することを特徴とする画像解析装置。
3. 【請求項３】 動画像内の所定の対象物の動きを解析す
   る画像解析装置において、 前記動画像に対応する動画像データの所定のフレーム画
   像データまたはフィールド画像データから前記対象物の
   形態に相当するエッジ画像データを抽出するエッジ抽出
   手段と、 前記エッジ画像データ間の差分画像データを生成する差
   分処理手段と、 前記差分画像データ間の論理演算を行って対象物の輪郭
   画像データを抽出する演算処理手段と、を具備すること
   を特徴とする画像解析装置。