JP4728795B2

JP4728795B2 - 人物オブジェクト判定装置及び人物オブジェクト判定プログラム

Info

Publication number: JP4728795B2
Application number: JP2005362484A
Authority: JP
Inventors: 正樹高橋; 俊彦三須; 真人藤井; 伸行八木
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2005-12-15
Filing date: 2005-12-15
Publication date: 2011-07-20
Anticipated expiration: 2025-12-15
Also published as: JP2007164641A

Description

本発明は、映像制作の技術に係り、特に、人物の映像オブジェクトを検出する人物オブジェクト判定装置及び人物オブジェクト判定プログラムに関する。

従来、時系列に入力される、映像を構成する画像［ノンインタレース方式の場合はフレーム画像、インタレース方式の場合はフレーム画像あるいはフィールド画像（以下、単にフレーム画像という）］から映像オブジェクトを抽出し、その形状や位置を計測する様々な技術が研究されている。中でも人物の映像オブジェクトを抽出して、その動作を分析する研究はセキュリティシステムなどの分野で盛んに行われている。また、スポーツ映像のフレーム画像から選手の映像オブジェクトの領域を抽出して追跡し、その位置情報からフォーメーションを解析する研究も行われている。

例えば、監視カメラによって撮影された映像内に顔領域が含まれているかどうかを判定し、更に、その顔の特徴を利用して人物の顔領域を検知する手法が存在する（特許文献１参照）。また、カメラによって撮影された映像内の映像オブジェクトの外接矩形の縦横比と、映像オブジェクトの外接矩形の領域の面積などの特徴とを利用して人物の映像オブジェクトを認識する手法が存在する（特許文献２参照）。更に、サッカーなどのフィールド競技において、グラウンドを撮影した映像から選手の映像オブジェクトを抽出して追跡する手法が存在する（特許文献３参照）。
特開平７−７３２９８号公報（段落番号００１４〜００２７）特開平６−２４３２５９号公報（段落番号０００４〜００２２）特開２００５−２０９１４８号公報（段落番号０００７〜０１５６）

しかし、特許文献１の手法では、顔領域を検出して、顔の特徴を持つか否かを判定することで人物の顔領域であるかを検知するため、人物の映像オブジェクトがフレーム画像中において顔が判別できる程度の十分な大きさを有する場合にしか適用できない。そのため、例えば、サッカー中継での俯瞰カメラによって撮影された映像のように、フレーム画像中の人物の画像領域の面積が小さく、顔の画像の特徴がほとんど得られない映像に対しては適用できないという問題がある。

また、特許文献２の手法では、映像中の小さい面積の領域の映像オブジェクトに対して適用することができるものの、人物か否かの判定を映像オブジェクトの外接矩形の領域の面積やその変化量などの情報に基づいて行っており、人物の足や腕の動作を認識することはできない。

更に、特許文献３の手法では、映像中の人物の映像オブジェクトの領域の小さいスポーツ映像を対象としており、クロマキー処理又は背景差分によりグラウンドの映像から選手の映像オブジェクトを抽出する。この手法は、抽出された映像オブジェクトの面積に基づいて人物の画像であるかを判断することで、人物以外の映像オブジェクトの抽出を防ぐことができる。しかし、クロマキー処理では、選手のユニフォームの色に基づいて映像オブジェクトの抽出を行うが、この色と似た色で、人物程度の大きさの映像オブジェクトがある場合には、人物以外の映像オブジェクトが抽出されてしまう可能性がある。また、背景差分処理では、映像を撮影しているカメラの揺れなどによって背景画像と現画像とにずれが生じ、そのずれが人物の映像オブジェクト程度の面積になった場合には誤検出する可能性があるため、この手法においても更なる改善の余地がある。

本発明は、前記従来技術の問題を解決するために成されたもので、映像中の小さい面積の領域の映像オブジェクトに対しても適用でき、人物の動作を認識することで検出された映像オブジェクトが人物の画像であるかを認識して、人物以外が誤検出されることを防ぐことができる人物オブジェクト判定装置及び人物オブジェクト判定プログラムを提供することを目的とする。

前記課題を解決するため、請求項１に記載の人物オブジェクト判定装置は、映像を構成し時系列に入力される画像ごとに映像オブジェクトを抽出し、当該映像オブジェクトが人物の画像であるか否かを判定する人物オブジェクト判定装置であって、映像オブジェクト抽出手段と、形状パラメータ生成手段と、オブジェクト動作パターン生成手段と、人物動作パターン記憶手段と、人物判定手段とを備える構成とした。

かかる構成によれば、人物オブジェクト判定装置は、映像オブジェクト抽出手段によって、入力される画像から映像オブジェクトを抽出し、形状パラメータ生成手段によって、映像オブジェクト抽出手段で抽出された映像オブジェクトの輪郭の形状と骨格の形状とを解析して、当該映像オブジェクトの輪郭を示し画素が持つ情報である輪郭情報と、当該映像オブジェクトを代表的な線分の集合に変換した際の線分が持つ情報である骨格情報と、からなる形状パラメータを生成する。また、人物オブジェクト判定装置は、オブジェクト動作パターン生成手段によって、形状パラメータ生成手段で生成された形状パラメータの輪郭情報及び骨格情報を各々時系列に配列し、タイムコードと輪郭情報及び骨格情報の各々とを対応させた輪郭パターン及び骨格パターンからなるオブジェクト動作パターンを生成する。

更に、人物オブジェクト判定装置は、人物動作パターン記憶手段に、所定の動作時における人物の映像オブジェクトの前記輪郭パターン及び骨格パターンからなる人物動作パターンを予め記憶し、人物判定手段によって、オブジェクト動作パターン生成手段で生成されたオブジェクト動作パターンと、人物動作パターン記憶手段に記憶された人物動作パターンとを比較して、映像オブジェクト抽出手段で抽出された映像オブジェクトが人物の画像であるか否かを判定する。

これによって、人物オブジェクト判定装置は、映像オブジェクトの形状の経時変化に基づいて、撮影された映像オブジェクトが人物の画像であるか否かを判定することができる。また、人物オブジェクト判定装置は、映像オブジェクトの輪郭あるいは骨格の形状の変化に基づいて、映像オブジェクトが人物の画像であるか否かを判定することができる。

また、請求項２に記載の人物オブジェクト判定装置は、請求項１に記載の人物オブジェクト判定装置において、前記人物判定手段が、前記オブジェクト動作パターンによって示される前記形状パラメータの周波数及び前記人物動作パターンによって示される前記形状パラメータの周波数に基づいて、前記映像オブジェクトが人物の画像であるかを判定する構成とした。

これによって、人物オブジェクト判定装置は、映像オブジェクトの形状が周期的に変化する場合に、その周波数に基づいて映像オブジェクトが人物の画像であるか否かを判定することができる。

更に、請求項３に記載の人物オブジェクト判定プログラムは、映像を構成し時系列に入力される画像ごとに映像オブジェクトを抽出し、当該映像オブジェクトが人物の画像であるか否かを判定するためにコンピュータを、映像オブジェクト抽出手段、形状パラメータ生成手段、オブジェクト動作パターン生成手段、人物判定手段として機能させることとした。

かかる構成によれば、人物オブジェクト判定プログラムは、映像オブジェクト抽出手段によって、入力される画像から映像オブジェクトを抽出し、形状パラメータ生成手段によって、映像オブジェクト抽出手段で抽出された映像オブジェクトの輪郭の形状と骨格の形状とを解析して、当該映像オブジェクトの輪郭を示し画素が持つ情報である輪郭情報と、当該映像オブジェクトを代表的な線分の集合に変換した際の線分が持つ情報である骨格情報と、からなる形状パラメータを生成する。また、人物オブジェクト判定プログラムは、オブジェクト動作パターン生成手段によって、形状パラメータ生成手段で生成された形状パラメータの輪郭情報及び骨格情報を各々時系列に配列し、タイムコードと輪郭情報及び骨格情報の各々とを対応させた輪郭パターン及び骨格パターンからなるオブジェクト動作パターンを生成する。

更に、人物オブジェクト判定プログラムは、人物判定手段によって、人物動作パターン記憶装置に予め記憶された、所定の動作時における人物の映像オブジェクトの前記輪郭パターン及び骨格パターンからなる人物動作パターンと、オブジェクト動作パターン生成手段で生成されたオブジェクト動作パターンとを比較して、映像オブジェクト抽出手段で抽出された映像オブジェクトが人物の画像であるか否かを判定する。

これによって、人物オブジェクト判定プログラムは、映像オブジェクトの形状が周期的に変化する場合に、その周波数に基づいて映像オブジェクトが人物の画像であるか否かを判定することができる。また、人物オブジェクト判定プログラムは、映像オブジェクトの輪郭あるいは骨格の形状の変化に基づいて、映像オブジェクトが人物の画像であるか否かを判定することができる。

本発明に係る人物オブジェクト判定装置及び人物オブジェクト判定プログラムでは、以下のような優れた効果を奏する。

請求項１又は請求項３に記載の発明によれば、映像オブジェクトの形状の経時変化に基づいて、映像オブジェクトが人物の画像であるか否かを判定するため、映像オブジェクトが映像中において小さい面積の領域であっても、人物か否かを判定することができる。そして、人物以外の映像オブジェクトが誤検出されることを防ぐことができる。また、映像オブジェクトの輪郭あるいは骨格の形状の変化に基づいて、当該映像オブジェクトが人物の画像であるか否かを判定するため、例えば、人物の足や腕等の体の動きに基づいて判定することができる。

請求項２に記載の発明によれば、形状パラメータの経時変化の周波数に基づいて映像オブジェクトが人物の画像であるかを判定するため、判定対象となる映像の映像オブジェクトの形状の時間推移と、人物動作パターンの生成時に解析された映像の映像オブジェクトの形状の時間推移を比較する際に、時間にずれがあったり、形状の変化の大きさに差があったりしても、同程度の周期で形状の変化が起きる映像オブジェクトを人物の映像オブジェクトであると判定することができる。

以下、本発明の実施の形態について図面を参照して説明する。
［人物オブジェクト判定装置の構成］
まず、図１を参照して、人物オブジェクト判定装置１の構成について説明する。図１は本発明の人物オブジェクト判定装置の構成を示したブロック図である。人物オブジェクト判定装置１は、入力される映像を構成するフレーム画像から映像オブジェクトを抽出し、この映像オブジェクトが人物の画像であるかを判定するものである。人物オブジェクト判定装置１は、映像オブジェクト抽出手段１１と、形状パラメータ生成手段１２と、オブジェクト形状パラメータ記憶手段１３と、オブジェクト動作パターン生成手段１４と、人物動作パターン記憶手段１５と、人物判定手段１６とを備える。

映像オブジェクト抽出手段１１は、入力された映像から、フレーム画像ごとに映像オブジェクトを抽出するものである。ここで抽出された映像オブジェクトは、形状パラメータ生成手段１２に出力される。

ここで、映像オブジェクト抽出手段１１は、入力された映像のフレーム画像ごとに、例えば、クロマキー、背景差分及び微分処理のような画像処理を施して、人物の映像オブジェクトの候補となる映像オブジェクトを抜き出した画像を生成することができる。例えば、映像オブジェクト抽出手段１１は、フレーム画像にクロマキー処理を施すことで、特定の色の特徴を持つ映像オブジェクトを抽出することができる。また、映像オブジェクト抽出手段１１は、フレーム画像に背景差分処理を施すことで、背景領域以外の映像オブジェクトを抽出することができる。更に、映像オブジェクト抽出手段１１は、微分処理を施すことで、映像オブジェクトのエッジ領域を抽出することができる。

そして、映像オブジェクト抽出手段１１は、これらのうちのいずれか１つ又は複数の画像処理をフレーム画像に対して行い、映像オブジェクトを真、背景を偽として２値化した画像を生成し、オブジェクト抽出画像とする。例えば、図２（ａ）に示すようなサッカー中継の映像のフレーム画像Ｆ_１が入力された場合に、映像オブジェクト抽出手段１１は、図２（ｂ）に示すような、映像オブジェクトＯｂの領域を白、背景Ｂｋの領域を黒（斜線の領域）としたオブジェクト抽出画像Ｆ_２を生成する。ここで、図２は、フレーム画像と、映像オブジェクト抽出手段によって生成されるオブジェクト抽出画像の例を示す模式図、（ａ）は、フレーム画像の例を示す模式図、（ｂ）は、（ａ）のフレーム画像から映像オブジェクト抽出手段によって生成されるオブジェクト抽出画像を示す模式図である。

なお、ここでは、映像オブジェクト抽出手段１１は、入力された映像から１つの映像オブジェクトを追跡して抽出する場合について説明することとする。

形状パラメータ生成手段１２は、映像オブジェクト抽出手段１１によって生成されたオブジェクト抽出画像によって示される映像オブジェクトの形状を解析して、当該形状を示す形状パラメータを生成するものである。ここでは、形状パラメータ生成手段１２は、映像オブジェクトの輪郭の形状と骨格の形状とを解析し、映像オブジェクトの輪郭を示す画素（輪郭画素）が持つ情報である輪郭情報と、映像オブジェクトを代表的な線分の集合に変換した際の当該線分が持つ情報である骨格情報とを形状パラメータとして生成することとした。ここで、形状パラメータ生成手段１２は、輪郭解析部１２ａと、骨格解析部１２ｂとを備える。

輪郭解析部１２ａは、映像オブジェクト抽出手段１１によって生成されたオブジェクト抽出画像から映像オブジェクトの輪郭を抽出した輪郭画像を生成し、当該輪郭の形状を解析して輪郭情報を生成するものである。ここで生成された輪郭情報は、オブジェクト形状パラメータ記憶手段１３に記憶される。

ここで、図３及び図４を参照（適宜図１参照）して、輪郭解析部１２ａが映像オブジェクトの輪郭情報ｄ_１を生成する方法について説明する。図３は、形状パラメータ生成手段が映像オブジェクトの輪郭情報及び骨格情報を生成する方法を説明するための説明図である。図４は、輪郭解析部が輪郭情報を生成する方法を説明するための説明図である。

図３（ａ）に示すように、輪郭解析部１２ａは、オブジェクト抽出画像から、追跡対象とする映像オブジェクトを含む矩形領域ｇ_１を抜き出して、図３（ｂ）に示すような輪郭画像ｇ_２を生成する。ここで、輪郭解析部１２ａは、矩形領域ｇ_１内の映像オブジェクトＯｂの外周をなぞることにより、輪郭画像ｇ_２を生成する。なお、オブジェクト抽出画像は２値化されているので、輪郭解析部１２ａは容易に輪郭画像ｇ_２を生成することができる。

そして、輪郭解析部１２ａは、輪郭画像ｇ_２から輪郭情報ｄ_１を生成する。ここでは、輪郭解析部１２ａは、輪郭画像ｇ_２において輪郭画素の位置座標からＰ型フーリエ記述子を計算し、フーリエ係数値を輪郭情報ｄ_１とすることとした。輪郭解析部１２ａがＰ型フーリエ記述子を計算する場合、ｉ番目の輪郭画素のデータｗ［ｉ］を以下の式（１）のようにする。

ここで、図４に示すように、ｉ番目の輪郭画素の偏角をθ［ｉ］、輪郭画素の位置座標を（ｘ［ｉ］，ｙ［ｉ］）、ｉ番目の輪郭画素から（ｉ＋１）番目の輪郭画素までの線分の長さをσとする。そして、データｗ［ｉ］をフーリエ変換して得られるフーリエ係数（Ｐ型フーリエ記述子）Ｃ_ｐ［ｋ］は以下の式（２）で求められる。ここで、Ｎは、輪郭画素の画素数である。

ここで、Ｐ型フーリエ記述子Ｃ_ｐ［ｋ］は映像オブジェクトの輪郭の形状や大きさを表す。例えば、第１係数Ｃ_ｐ［０］は映像オブジェクトの大きさを表し、第２係数Ｃ_ｐ［１］は映像オブジェクトの縦横比を表し、第３係数Ｃ_ｐ［２］は映像オブジェクトの形状が分岐しているか否かを示す。そして、輪郭解析部１２ａは、フレーム画像のタイムコード（図３（ｃ）では、「ＴＣ００：００：００：０１」）と、このフレーム画像内の映像オブジェクトの輪郭のＰ型フーリエ記述子の第１係数、第２係数及び第３係数の値（図３（ｃ）では、「第１係数ａ_１」、「第２係数ｂ_１」、「第３係数ｃ_１」）とを輪郭情報ｄ_１とする。

図１に戻って説明を続ける。骨格解析部１２ｂは、映像オブジェクト抽出手段１１によって生成されたオブジェクト抽出画像から映像オブジェクトの骨格を抽出した骨格画像を生成し、当該骨格の形状を解析して骨格情報を生成するものである。ここで生成された骨格情報は、オブジェクト形状パラメータ記憶手段１３に記憶される。

ここで、図３を参照（適宜図１参照）して、骨格解析部１２ｂが映像オブジェクトの骨格情報ｅ_１を生成する方法について説明する。図３（ａ）に示すように、骨格解析部１２ｂは、オブジェクト抽出画像から、追跡対象とする映像オブジェクトを含む矩形領域ｇ_１を抜き出して、図３（ｂ）に示すような骨格画像ｇ_３を生成する。ここで、骨格解析部１２ｂは、矩形領域ｇ_１内の映像オブジェクトＯｂの幅を徐々に狭め、最終的に太さが１画素の線になるまで変換する処理により、骨格画像ｇ_３を生成することができる。

そして、骨格解析部１２ｂは、骨格画像ｇ_３から骨格情報ｅ_１を生成する。ここでは、骨格解析部１２ｂは、骨格画像ｇ_３に対してハフ変換を行い、図３（ｃ）に示すように、フレーム画像のタイムコード「ＴＣ００：００：００：０１」と、このフレーム画像内の映像オブジェクトの骨格を構成する線分の本数、位置α_１−１、α_１−２…、長さβ_１−１、β_１−２…、傾きγ_１−１、γ_１−２…とを骨格情報ｅ_１とすることとした。

なお、ハフ変換は、画像中の直線成分を検出し、代表的な直線の集合に置き換える手法である。ハフ変換によれば、以下のような処理により、骨格を構成する代表的な直線を取得することができる。すなわち、骨格画像ｇ_３中（ｘ−ｙ平面）の骨格を構成する画素のうちの１点を通る直線群を、極座標（ρ−θ平面）に変換すると１本の曲線に対応する。そして、この点の座標ｘ、ｙと、この点から原点を結んだ線分の長さρ及びｘ軸とのなす角θの関係は、以下の式（３）によって表される。
ρ＝ｘｃｏｓθ＋ｙｓｉｎθ …（３）

このρ−θ平面の１点は、ｘ−ｙ平面の１本の直線に対応する。そして、ｘ−ｙ平面における骨格を構成するすべての点（画素）について、各々の点を通る直線群をρ−θ平面に変換し、曲線の交わる頻度の高い点を選定することで、ｘ−ｙ平面上において骨格を代表する線分を検出することができる。

図１に戻って説明を続ける。オブジェクト形状パラメータ記憶手段１３は、形状パラメータ生成手段１２によって生成された形状パラメータを記憶するもので、一般的なハードディスク等の記憶手段からなる。このオブジェクト形状パラメータ記憶手段１３は、輪郭解析部１２ａによって生成された輪郭情報と、骨格解析部１２ｂによって生成された骨格情報とを記憶している。

オブジェクト動作パターン生成手段１４は、オブジェクト形状パラメータ記憶手段１３に記憶された形状パラメータに基づいて、映像オブジェクトの形状パラメータの所定時間内の時間推移であるオブジェクト動作パターンを生成するものである。ここで生成されたオブジェクト動作パターンは、人物判定手段１６に出力される。

このオブジェクト動作パターン生成手段１４は、オブジェクト形状パラメータ記憶手段１３に記憶された形状パラメータの輪郭情報及び骨格情報に含まれるタイムコードに基づいて、所定時間内のフレーム画像の輪郭情報及び骨格情報を取得する。そして、オブジェクト動作パターン生成手段１４は、取得された輪郭情報及び骨格情報を各々時系列に配列し、タイムコードと輪郭情報及び骨格情報の各々とを対応させた輪郭パターン及び骨格パターンを、オブジェクト動作パターンとする。

ここで、図５を参照（適宜図１参照）して、オブジェクト動作パターン生成手段１４がオブジェクト動作パターンを生成する方法について説明する。図５は、オブジェクト動作パターン生成手段がオブジェクト形状パラメータ記憶手段に記憶された形状パラメータに基づいてオブジェクト動作パターンを生成する方法を説明するための説明図である。

ここで、オブジェクト形状パラメータ記憶手段１３には、対象となる映像オブジェクトの輪郭情報ｄ_１、ｄ_２、…、ｄ_ｎ、…と、骨格情報ｅ_１、ｅ_２、…、ｅ_ｎ、…とが記憶されているとする。そうすると、オブジェクト動作パターン生成手段１４は、所定時間内のフレーム画像の輪郭情報と骨格情報とを取得して、輪郭パターン及び骨格パターンとする。ここでは、オブジェクト動作パターン生成手段１４は、ｎフレーム分の輪郭情報と骨格情報とを取得することとした。そこで、オブジェクト動作パターン生成手段１４は、オブジェクト形状パラメータ記憶手段１３からｎフレーム分の輪郭情報ｄ_１、ｄ_２、…、ｄ_ｎを取得して、ｎ個の輪郭情報ｄ_１、ｄ_２、…、ｄ_ｎを時系列に並べた輪郭パターンＤを生成し、更に、骨格情報ｅ_１、ｅ_２、…、ｅ_ｎを取得して、ｎ個の骨格情報ｅ_１、ｅ_２、…、ｅ_ｎを時系列に並べた骨格パターンＥを生成する。なお、後記する人物判定手段１６において精度よく判定するためには、オブジェクト動作パターン生成手段１４は、より長い時間のフレーム画像の輪郭情報と骨格情報とを取得することが望ましいが、リアルタイムで処理するためには、３〜５秒間程度のフレーム画像の輪郭情報と骨格情報とを取得することが好ましい。

なお、映像オブジェクトの抽出状況等によりオブジェクト形状パラメータには誤差が含まれることがあるため、オブジェクト動作パターン生成手段１４は、オブジェクト動作パターンを生成する前に形状パラメータの平滑化を行うことが好ましい。

図１に戻って説明を続ける。人物動作パターン記憶手段（人物動作パターン記憶装置）１５は、所定の動作を行う人物を撮影して得られた映像オブジェクトの人物動作パターンを予め記憶するもので、一般的なハードディスク等の記憶手段からなる。

ここで、人物オブジェクト判定装置１は、所定の動作を行う人物を撮影して得られた映像からフレーム画像ごとに当該人物の映像オブジェクトを予め抽出し、この映像オブジェクトについて、形状パラメータ生成手段１２の輪郭解析部１２ａ及び骨格解析部１２ｂと同様の方法によって輪郭情報及び骨格情報を生成しておく。そして、人物動作パターン記憶手段１５は、この輪郭情報及び骨格情報の各々を時系列に並べたものを人物動作パターンの輪郭パターン及び骨格パターンとして予め記憶することとした。なお、図１では、人物が左に向かって歩く動作の複数の人物動作パターン「歩行時（左）０１」、「歩行時（左）０２」、…と、右に向かって歩く動作の複数の人物動作パターン「歩行時（右）０１」、「歩行時（右）０２」、…と、正面を向いて静止する複数の人物動作パターン「静止時（正面）０１」、「静止時（正面）０２」、…とを人物動作パターン記憶手段１５に記憶する場合を例として示している。

人物判定手段１６は、オブジェクト動作パターン生成手段１４によって生成されたオブジェクト動作パターンと、人物動作パターン記憶手段１５に記憶された人物動作パターンとに基づいて、映像オブジェクト抽出手段１１によって抽出された映像オブジェクトが人物の画像であるかを判定するものである。ここでの判定結果は、外部に出力される。

ここでは、人物判定手段１６は、オブジェクト動作パターンと人物動作パターンとを比較し、輪郭情報及び骨格情報の所定のパラメータの経時変化における周波数に基づいて、映像オブジェクト抽出手段１１によって抽出された映像オブジェクトが人物の画像であるかを判定することとした。

例えば、人物が歩行している場合には、映像上において映像オブジェクトの足の領域が周期的に重なったり分かれたりする。そうすると、輪郭情報のフーリエ係数の第３係数が周期的に変化する。そのため、人物判定手段１６は、オブジェクト動作パターンと人物動作パターンとの輪郭情報の第３係数の周波数を比較し、周波数が近い人物動作パターンがあれば、映像オブジェクト抽出手段１１によって抽出された映像オブジェクトが人物の画像であると判定することができる。一方、周波数が近い人物動作パターンがなければ、人物判定手段１６は、抽出された映像オブジェクトが人物以外の映像オブジェクトであると判断することができる。

同様に、人物が歩行している場合には、骨格情報によって示される足の領域の線分の本数や傾きが周期的に変化する。そのため、人物判定手段１６は、オブジェクト動作パターンと人物動作パターンとの骨格情報のこれらのパラメータの周波数を比較し、周波数が近い人物動作パターンがあれば、映像オブジェクト抽出手段１１によって抽出された映像オブジェクトが人物の画像であると判定することができる。一方、周波数が近い人物動作パターンがなければ、人物判定手段１６は、抽出された映像オブジェクトが人物以外の映像オブジェクトであると判断することができる。

なお、ここでは、人物判定手段１６は、オブジェクト動作パターンの輪郭情報と骨格情報の両方についてそれぞれ比較し、いずれも周波数が近い人物動作パターンがある場合に、抽出された映像オブジェクトが人物の画像であると判定することとした。

これによって、人物オブジェクト判定装置１は、映像オブジェクトを抽出して当該映像オブジェクトが人物の画像か否かを判定することができる。そのため、人物オブジェクト判定装置１によれば、顔の領域の小さい映像であっても人物であるかの判定が可能になる。そして、人物以外の映像オブジェクトが抽出されることを防ぐことができ、映像から人物の映像オブジェクトを抽出する際の精度の向上を図ることができる。更に、例えば、サッカー中継の映像から人物の映像オブジェクトのみを抽出できるため、時々刻々と変化するフォーメーションの情報を解析することができる。

また、人物オブジェクト判定装置１は、所定の動作の人物の映像から生成された映像オブジェクトの人物動作パターンと、抽出された映像オブジェクトのオブジェクト動作パターンとを比較するため、抽出された映像オブジェクトの動作の種類を特定することもできる。このとき、人物オブジェクト判定装置１は、人物動作パターン記憶手段１５に、動作の種類を示す情報を付加した人物動作パターンを記憶することとし、人物判定手段１６が、周波数の近い人物動作パターンがあり映像オブジェクトを人物の画像と判定した際には、当該人物動作パターンの動作の種類を示す情報を当該映像オブジェクトの動作の種類の情報として判定結果とともに外部に出力する。

以上、本発明に係る人物オブジェクト判定装置１の構成について説明したが、本発明はこれに限定されるものではない。例えば、ここでは、追跡対象とする１つの映像オブジェクトについて人物の画像であるかを判定することとしたが、複数の映像オブジェクトを追跡して、各々の映像オブジェクトについて人物の画像であるかを判定することとしてもよい。このとき、形状パラメータ生成手段１２の輪郭解析部１２ａ及び骨格解析部１２ｂが輪郭情報及び骨格情報に映像オブジェクトを識別する識別子を更に付加し、オブジェクト動作パターン生成手段１４が、この識別子に基づいて映像オブジェクトごとに輪郭情報及び骨格情報を取得してオブジェクト動作パターンを生成する。そして、人物判定手段１６が、この識別子に基づいて映像オブジェクトごとにオブジェクト動作パターンと人物動作パターンとを比較することで、映像オブジェクトごとに人物の画像であるかを判定することができる。

更に、ここでは、映像オブジェクト抽出手段１１が映像オブジェクトを抽出する方法としてクロマキー処理、背景差分処理及び微分処理を例に挙げて説明したが、これらの方法に限定されることなく、映像オブジェクト抽出手段１１は、映像オブジェクトを抽出する様々な方法を適用することができる。

また、ここでは、形状パラメータ生成手段１２の輪郭解析部１２ａ及び骨格解析部１２ｂが各々Ｐ型フーリエ記述子及びハフ変換を用いて映像オブジェクトの輪郭及び骨格の形状を解析することとしたが、他の方法によって解析することとしてもよい。例えば、輪郭解析部１２ａは、チェインコード法などの様々な方法によって輪郭を解析することができ、また、骨格解析部１２ｂは、高速ハフ変換などの様々な方法によって骨格を解析することができる。

更に、人物動作パターン記憶手段１５に記憶される人物動作パターンは、人物の映像オブジェクトの形状の経時変化を示すものであればよく、例えば、映像オブジェクトの輪郭の形状を解析して得られたフーリエ係数の第３係数のみを時系列に並べたものであってもよいし、この第３係数の経時変化の周波数であってもよい。同様に、映像オブジェクトの骨格の形状を解析して得られた骨格を代表する線分のうちの足の領域の線分の長さや角度の情報を時系列に並べたものであってもよいし、この長さや角度の経時変化の周波数であってもよい。

また、ここでは、人物判定手段１６によって、形状パラメータの経時変化の周波数に基づいて、抽出された映像オブジェクトが人物の画像であるかを判定することとしたが、他の方法によって判定することとしてもよい。例えば、フーリエ係数の第２係数や第３係数の時間推移や骨格の胴体や足の領域の線分の傾きや本数の時間推移に基づいて、各値の相対変化の推移から判定することとしてもよい。

なお、人物オブジェクト判定装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して、人物オブジェクト判定プログラムとして動作させることも可能である。

［人物オブジェクト判定装置の動作］
次に、図６を参照（適宜図１参照）して、本発明における人物オブジェクト判定装置１の動作について説明する。図６は、本発明における人物オブジェクト判定装置が、フレーム画像から映像オブジェクトを抽出し、この映像オブジェクトが人物の画像であるかを判定する動作を示したフローチャートである。

人物オブジェクト判定装置１は、映像オブジェクト抽出手段１１によって、外部からフレーム画像を入力する（ステップＳ１１）。続いて、人物オブジェクト判定装置１は、映像オブジェクト抽出手段１１によって、ステップＳ１１において入力されたフレーム画像から映像オブジェクトを抽出する（ステップＳ１２）。そして、人物オブジェクト判定装置１は、形状パラメータ生成手段１２によって、ステップＳ１２において抽出された映像オブジェクトのオブジェクト形状パラメータを生成する（ステップＳ１３）。このオブジェクト形状パラメータはオブジェクト形状パラメータ記憶手段１３に記憶される。

続いて、人物オブジェクト判定装置１は、オブジェクト動作パターン生成手段１４によって、オブジェクト形状パラメータ記憶手段１３に所定数（所定時間分）のフレーム画像の輪郭情報及び骨格情報が記憶されているかを判断し（ステップＳ１４）、所定数記憶されていない場合には（ステップＳ１４でＮｏ）、ステップＳ１１に戻って、次のフレーム画像を入力する動作以降の動作を行う。また、所定数記憶された場合には（ステップＳ１４でＹｅｓ）、人物オブジェクト判定装置１は、オブジェクト動作パターン生成手段１４によって、オブジェクト形状パラメータ記憶手段１３からオブジェクト形状パラメータを読み出して、オブジェクト動作パターンを生成する（ステップＳ１５）。

そして、人物オブジェクト判定装置１は、人物判定手段１６によって、人物動作パターン記憶手段１５に予め記憶された人物動作パターンを読み出して、ステップＳ１５において生成されたオブジェクト動作パターンと比較する（ステップＳ１６）。ここで、人物オブジェクト判定装置１は、人物判定手段１６によって、オブジェクト動作パターンによって示される形状パラメータの経時変化の周波数と、人物動作パターンによって示される形状パラメータの経時変化の周波数とを比較する。

そして、人物オブジェクト判定装置１は、人物判定手段１６によって、２つの周波数の差が所定の許容範囲内かを判断する（ステップＳ１７）。そして、許容範囲内の場合には（ステップＳ１７でＹｅｓ）、人物オブジェクト判定装置１は、人物判定手段１６によって、ステップＳ１２において抽出された映像オブジェクトが人物の画像であると判定する（ステップＳ１８）。また、許容範囲内でない場合には（ステップＳ１７でＮｏ）、人物オブジェクト判定装置１は、人物判定手段１６によって、ステップＳ１２において抽出された映像オブジェクトが人物以外の画像であると判定する（ステップＳ１９）。

そして、人物オブジェクト判定装置１は、人物判定手段１６によって、ステップＳ１８あるいはステップＳ１９において判定された判定結果を外部に出力して（ステップＳ２０）、動作を終了する。

本発明の人物オブジェクト判定装置の構成を示したブロック図であるフレーム画像と、本発明の人物オブジェクト判定装置の映像オブジェクト抽出手段によって生成されるオブジェクト抽出画像の例を示す模式図、（ａ）は、フレーム画像の例を示す模式図、（ｂ）は、（ａ）のフレーム画像から映像オブジェクト抽出手段によって生成されるオブジェクト抽出画像を示す模式図である。本発明の人物オブジェクト判定装置の形状パラメータ生成手段が、映像オブジェクトの輪郭情報及び骨格情報を生成する方法を説明するための説明図である。本発明の人物オブジェクト判定装置の形状パラメータ生成手段の輪郭解析部が輪郭情報を生成する方法を説明するための説明図である。本発明の人物オブジェクト判定装置のオブジェクト動作パターン生成手段がオブジェクト形状パラメータ記憶手段に記憶された形状パラメータに基づいてオブジェクト動作パターンを生成する方法を説明するための説明図である。本発明における人物オブジェクト判定装置が、フレーム画像から映像オブジェクトを抽出し、この映像オブジェクトが人物の画像であるかを判定する動作を示したフローチャートである。

符号の説明

１人物オブジェクト判定装置
１１映像オブジェクト抽出手段
１２形状パラメータ生成手段
１４オブジェクト動作パターン生成手段
１５人物動作パターン記憶手段（人物動作パターン記憶装置）
１６人物判定手段

Claims

映像を構成し時系列に入力される画像ごとに映像オブジェクトを抽出し、当該映像オブジェクトが人物の画像であるか否かを判定する人物オブジェクト判定装置であって、
前記映像を構成する画像から前記映像オブジェクトを抽出する映像オブジェクト抽出手段と、
この映像オブジェクト抽出手段によって抽出された映像オブジェクトの輪郭の形状と骨格の形状とを解析し、当該映像オブジェクトの輪郭を示す画素が持つ情報である輪郭情報と、当該映像オブジェクトを代表的な線分の集合に変換した際の線分が持つ情報である骨格情報と、からなる形状パラメータを生成する形状パラメータ生成手段と、
この形状パラメータ生成手段によって生成された形状パラメータの輪郭情報及び骨格情報を各々時系列に配列し、タイムコードと輪郭情報及び骨格情報の各々とを対応させた輪郭パターン及び骨格パターンからなるオブジェクト動作パターンを生成するオブジェクト動作パターン生成手段と、
所定の動作時における人物の映像オブジェクトの前記輪郭パターン及び骨格パターンからなる人物動作パターンを予め記憶する人物動作パターン記憶手段と、
前記オブジェクト動作パターン生成手段によって生成されたオブジェクト動作パターンと、前記人物動作パターン記憶手段に記憶された人物動作パターンとを比較して、前記映像オブジェクト抽出手段によって抽出された映像オブジェクトが人物の画像であるか否かを判定する人物判定手段と、
を備えることを特徴とする人物オブジェクト判定装置。
前記人物判定手段が、前記オブジェクト動作パターンによって示される前記形状パラメータの周波数及び前記人物動作パターンによって示される前記形状パラメータの周波数に基づいて、前記映像オブジェクトが人物の画像であるかを判定することを特徴とする請求項１に記載の人物オブジェクト判定装置。
映像を構成し時系列に入力される画像ごとに映像オブジェクトを抽出し、当該映像オブジェクトが人物の画像であるか否かを判定するためにコンピュータを、
前記映像を構成する画像から前記映像オブジェクトを抽出する映像オブジェクト抽出手段、
この映像オブジェクト抽出手段によって抽出された映像オブジェクトの輪郭の形状と骨格の形状とを解析し、当該映像オブジェクトの輪郭を示す画素が持つ情報である輪郭情報と、当該映像オブジェクトを代表的な線分の集合に変換した際の線分が持つ情報である骨格情報と、からなる形状パラメータを生成する形状パラメータ生成手段、
この形状パラメータ生成手段によって生成された形状パラメータの輪郭情報及び骨格情報を各々時系列に配列し、タイムコードと輪郭情報及び骨格情報の各々とを対応させた輪郭パターン及び骨格パターンからなるオブジェクト動作パターンを生成するオブジェクト動作パターン生成手段、
人物動作パターン記憶装置に予め記憶された、所定の動作時における人物の映像オブジェクトの前記輪郭パターン及び骨格パターンからなる人物動作パターンと、前記オブジェクト動作パターン生成手段によって生成されたオブジェクト動作パターンとを比較して、前記映像オブジェクト抽出手段によって抽出された映像オブジェクトが人物の画像であるか否かを判定する人物判定手段、
として機能させることを特徴とする人物オブジェクト判定プログラム。