JP3735552B2 - 時空間領域情報の処理方法 - Google Patents
時空間領域情報の処理方法 Download PDFInfo
- Publication number
- JP3735552B2 JP3735552B2 JP2001301362A JP2001301362A JP3735552B2 JP 3735552 B2 JP3735552 B2 JP 3735552B2 JP 2001301362 A JP2001301362 A JP 2001301362A JP 2001301362 A JP2001301362 A JP 2001301362A JP 3735552 B2 JP3735552 B2 JP 3735552B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- spatio
- information
- trajectory
- approximate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像中の時空間領域情報の参照軌跡に対する通過性の判定を行うための時空間領域情報の処理方法。
【０００２】
【従来の技術】
近年、映像画像処理技術の急速な発展により、映像や画像をデジタルデータとして扱うことが一般化してきている。このデジタル化によりデータ量が大きい映像画像データを効率的に圧縮する技術が確立された。また、インターネットや衛星放送・ＣＡＴＶなどのネットワーク技術の発展に伴い、大量の映像データを扱うことができるようになってきており、映像や画像情報を蓄積しておいてニーズに合わせて取り出し利用する映像画像データベースシステムやビデオオンデマンドが実用の段階に入ろうとしている。他にも遠隔地からの自動監視システムもメジャーなものになってきている。このように映像や画像を利用しようとするとき、画面内に何があるかを認識したり、逆に望む物体があるような映像の検索抽出をしたり、映像を分類したいという要望がある。
【０００３】
このような要望に答えるため、映像中の複数フレームにわたる任意の時空間領域を効率良く生成し保存するための手法が既に提案されている（例えば、特開２００１−１１８０７５号公報，特開２００１−１１１９９６号公報）。
【０００４】
【発明が解決しようとする課題】
ところが、時空間領域の位置や動きによって時空間領域を検索したり抽出分類する従来の技術においては、時空間領域が存在する全フレームについて領域が条件を満たしているかどうか判別する必要があった。このため、該時空間領域のフレーム数が多かったり、数多くの時空間領域から検索したりする際には計算量が大きく効率が悪いという欠点があった。
【０００５】
本発明は、上記事情を考慮してなされたもので、時空間領域と指定された任意の軌跡との通過判定を高速かつ効率的に行うことのできる時空間領域情報の処理方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、映像データ中における任意の領域の複数フレームにわたる推移である時空間領域を表すものとして記述された、該領域を示す近似図形の代表点の軌跡を特定可能な時空間領域情報を対象とする時空間領域情報処理方法であって、前記近似図形の代表点の軌跡により特定される前記時空間領域の表面部分と時空間上の曲線として指定される参照軌跡とが交差するか否かを判定するための交差判定ステップと、前記時空間領域が存在する所定のフレームについて、該所定のフレームにおける前記参照軌跡の座標が、該所定のフレームにおける前記近似図形の内部に存在するか外部に存在するかを判定するための内外判定ステップとを有することを特徴とする。
【０００７】
好ましくは、前記交差判定ステップにより得られる判定結果と、前記内外判定ステップにより得られる判定結果とに基づいて、前記参照軌跡に対する前記時空間領域の通過性に関する情報を出力するための出力ステップとを有するようにしてもよい。
【０００８】
好ましくは、前記交差判定ステップは、前記参照軌跡が前記領域の表面部分と交差する時刻の情報ｔi（ｉ＝１〜交わる時刻の数）を求め、前記内外判定ステップは、前記時空間領域が存在する先頭時刻ｔsにおけるフレームについて、前記判定を行い、前記出力ステップは、前記交差判定ステップにより前記交わる時刻の情報が複数得られた場合に、前記内外判定ステップにより内部に存在すると判定されたときは、期間ｔs〜ｔ1を始めとする１つおきの期間において、前記参照軌跡を前記時空間領域が通過することを示す情報を出力し、前記内外判定ステップにより外部に存在すると判定されたときは、期間ｔ1〜ｔ2を始めとする１つおきの期間で、前記参照軌跡を前記時空間領域が通過することを示す情報を出力するようにしてもよい。
【０００９】
好ましくは、前記出力ステップは、前記交差判定ステップにより前記交わる時刻の情報が１つ得られた場合に、前記内外判定ステップにより内部に存在すると判定されたときは、該時空間領域が存在する先頭時刻から該得られた時刻までの期間において、前記参照軌跡を前記時空間領域が通過することを示す情報を出力し、前記内外判定ステップにより外部に存在すると判定されたときは、該得られた時刻から該時空間領域が存在する最終時刻までの期間で、前記参照軌跡を前記時空間領域が通過することを示す情報を出力するようにしてもよい。
【００１０】
好ましくは、前記出力ステップは、前記交差判定ステップにより前記交わる時刻の情報が１つも得られなかった場合に、前記内外判定ステップにより内部に存在すると判定されたときは、前記参照軌跡を常に前記時空間領域が通過することを示す情報を出力し、前記内外判定ステップにより外部に存在すると判定されたときは、前記参照軌跡を前記時空間領域が常に通過しないことを示す情報を出力するようにしてもよい。
【００１１】
好ましくは、前記時間領域情報は、前記代表点の位置データをフレームの進行に沿って並べたときの軌跡を所定の関数で近似し、該関数のパラメータを用いて記述されたものであるようにしてもよい。
【００１２】
好ましくは、対象とする時空間領域情報の形式は問わず、全ての前記代表点について、当該代表点の位置データをフレームの進行に沿って並べたときの軌跡を所定の関数で近似し、該関数のパラメータを用いて記述されたものに変換する変換ステップを更に有し、前記交差判定ステップ及び前記内外判定ステップは、前記変換ステップにより変換された後の前記時空間領域情報を対象として行うようにしてもよい。
【００１３】
また、本発明は、映像データ中における任意の領域の複数フレームにわたる推移である時空間領域を表すものとして記述された、該領域を示す近似図形の代表点の軌跡を特定可能な時空間領域情報を対象とする時空間領域情報処理装置であって、前記近似図形の代表点の軌跡により特定される前記時空間領域の表面部分と時空間上の曲線として指定される参照軌跡とが交差するか否かを判定するための交差判定手段と、前記時空間領域が存在する所定のフレームについて、該所定のフレームにおける前記参照軌跡の座標が、該所定のフレームにおける前記近似図形の内部に存在するか外部に存在するかを判定するための内外判定手段とを備えたことを特徴とする。
【００１４】
例えば、近似図形の代表点（例えば、近似図形もしくは近似多角形もしくは近似楕円に外接もしくは内接する矩形の各頂点など）の軌跡と、指定された軌跡が、該時空間領域が存在する全時間において連続であったと仮定すると、該時空間領域の外周が張る曲面と指定された軌跡についての交差判定において、曲面と指定された軌跡が交差するときは、交差した時間に指定された軌跡が、該時空間領域の内部から外部に移動したか、外部から内部に移動したかのどちらかである。該時空間領域が存在する全時間において指定された軌跡が該時空間領域の内部もしくは外部にある場合は、時空間領域が存在する任意の１フレームにおける領域と指定された軌跡の当該フレームにおける座標の内外判定により該時空間領域が存在する全時間において指定された軌跡が該時空間領域の内部にあるか、外部にあるかを判別することが可能である。参照領域から各フレームにおける時空間領域への領域変換パラメータがすべて連続であったとすると、各頂点が領域変換パラメータによって動く軌跡もやはり連続なものとなる。そのため、頂点軌跡をあらかじめ算出してから、各処理を適用することが可能である。
【００１５】
本発明によれば、従来手法のように時空間領域が存在する全フレームについて内外判定を行う必要がなく、高速かつ効率的に時空間領域と指定された軌跡の通過判定を行うことが可能となる。
【００１６】
なお、装置に係る本発明は方法に係る発明としても成立し、方法に係る本発明は装置に係る発明としても成立する。
また、装置または方法に係る本発明は、コンピュータに当該発明に相当する手順を実行させるための（あるいはコンピュータを当該発明に相当する手段として機能させるための、あるいはコンピュータに当該発明に相当する機能を実現させるための）プログラムとしても成立し、該プログラムを記録したコンピュータ読取り可能な記録媒体としても成立する。
【００１７】
【発明の実施の形態】
以下、図面を参照しながら発明の実施の形態を説明する。
【００１８】
（第１の実施の形態）
本発明の実施の形態に係る時空間領域情報検索システムは、対象とされた時空間領域と、ある指定された軌跡（以下、参照軌跡と呼ぶ）との関係、例えば、対象時空間領域が参照軌跡を通過するかどうか、あるいはより詳細に対象時空間領域が参照軌跡を通過する時刻（タイムスタンプやフレーム番号など）もしくは参照軌跡が対象時空間領域の内部にある期間と外部にある期間などを判定するための機能を有するシステムである。
【００１９】
最初に、時空間領域情報について簡単に説明する。
【００２０】
なお、時空間領域情報の内容、生成方法、利用方法などについては、例えば、特開２００１−１１８０７５号公報や特開２００１−１１１９９６号公報などに詳しく開示されている（それらに開示されている物体領域データが、この時空間領域情報の一形態に相当する）。
【００２１】
まず、時空間領域情報の内容や、生成方法について簡単に説明する。
【００２２】
時空間領域情報は、種々の目的のために表示画面（例えばＧＵＩ画面）上に設けられる特定の領域の出現から消失までの時間的空間的領域（例えば各フレームにおける２次元的領域の時間的推移）を示す情報である。また、時空間領域情報は、通常、映像データ（もしくは動画像データ）に付随する情報である（映像データの内容そのものは、実写したもの、実写したものを加工したもの、ＣＧ、アニメーション、それらを組み合わせたもの等、どのようなコンテンツでもよい）。なお、映像データは、複数のフレームからなるものを想定して説明する。
【００２３】
この特定の領域は、例えば、映像データ中に存在する特定の物体（オブジェクト）を示す領域として利用することができる。この場合、あるフレームにおけるその特定の領域の形状が、そのフレームにおけるその特定の物体領域を表す（もしくは近似して表す）ものである。ここで、物体領域とは、映像中における一纏まりの領域部分であり、例えば、人、動物、植物、車、建物、道、川、太陽、雲など（あるいはその一部分、例えば人の頭、車のボンネット、建物の玄関など）、オブジェクトとして把握し得るものならどのようなものでも扱うことができる。また、独立したものであってもよいし、ものの一部（例えば人の頭、車のボンネット、建物の玄関）であってもよいし、ものの集合（例えば鳥や魚の群）であってもよい。
【００２４】
次に、図１、図２を参照しながら、１つの物体領域に対する時空間領域情報の生成について簡単に説明する。
【００２５】
まず、時空間領域情報の生成は、概略的には、例えば次のような手順によって行うことができる。なお、いずれの手順も自動化可能であり、またユーザの手作業を介入させることも可能である。
（１）映像データの所定のフレームから、対象となる物体の物体領域を抽出する。
（２）その物体領域を、所定の図形により近似する。
（３）その近似図形を特定する代表点を抽出する。
１〜３の手順は、当該物体領域に対する近似図形を出現させるフレームから消失させるフレームにわたって、全フレームまたはサンプリングした複数のフレームについて行われる。
（４）各代表点について、その位置（またはこれを特定可能とする量）の時系列を、時間ｔ（例えば映像に付与されているタイムスタンプ）もしくはフレーム番号ｆなどの関数（近似関数）により近似表現する。この近似表現したときの関数のパラメータの値が、求める値である。この関数は、各代表点ごと別々に、かつ、Ｘ座標とＹ座標で別々に表現される。
【００２６】
１〜４の手順は、対象となる各々の物体領域について行われる。
【００２７】
なお、近似図形には、例えば、辺の数がパラメータになる多角形、辺の数が固定された矩形などの多角形、円、楕円など、種々のものがある。また、代表点には、例えば、多角形の頂点、矩形の４つもしくは３つの頂点、円の中心と円周上の一点、もしくは円の直径の両端点、楕円の外接矩形の４つもしくは３つの頂点（内接矩形の４つもしくは３つの頂点でもよい）、または楕円の２つの焦点と楕円上の１点など、図形の種類に応じて、種々のものがある。
【００２８】
この関数のパラメータを保存しておけば、該パラメータから該関数が求められ、該関数をもとに所望の時間ｔもしくはフレーム番号ｆなどにおける各代表点のＸＹ座標値が求められ、該各代表点のＸＹ座標値から、当該所望の時間ｔもしくはフレーム番号ｆなどにおける近似図形の領域を求めることができる。
【００２９】
図１、図２は、物体領域に対する近似図形に多角形を利用し、代表点を多角形の頂点とし、各頂点の時間軸方向の軌跡に対する近似関数として２次の多項式スプライン関数を利用し、画像中のオブジェクト「魚」に対する時空間領域情報を生成する例である。
【００３０】
図１（ａ）において、２０は処理対象となっている映像中の１フレームを示している。２１は抽出対象となっている物体の領域を示している。２２は物体の領域を近似した近似多角形を示している。
【００３１】
図１（ｂ）は、複数のフレームにわたる近似図形の代表点、すなわちこの例における近似多角形２２及びその各頂点の推移、それらのうちの１つの頂点（Ｖ0）の近似曲線を表現したものである。
【００３２】
図１（ｃ）の２４は、代表点Ｖ0 について求められた関数の例である（ここでは基準代表点Ｖ0 の１つの座標軸についてのみ示している）。この例は、近似区間がｔ＝０〜５とｔ＝５〜１６の２つに分割された場合を示している。
【００３３】
図２は、代表点Ｖ0 のＸ座標の値を近似する関数を求めている例である。図中の３１は物体の存在している時間区間を表しており、黒い点（３２）が代表点Ｖ0 のＸ座標の値である。３３がその近似関数である。Ｙ座標に対しても、同様にして近似関数が求められる。近似関数として多項式スプライン関数を用いているので、図１（ｃ）の２４では節点と呼ばれる点により分割された時間区間ごとに多項式が定義されている。ここでは、ｔ＝０，５，１６がそれぞれ節点時刻となる。
【００３４】
代表点Ｖ0 以外の代表点についてもそれぞれ同様である。
【００３５】
一方、代表点Ｖ0 以外の代表点については、当該代表点を当該代表点とは別の代表点からの相対的関係、例えば差分ベクトルによって表し、そのベクトルの軌跡により記述する方法もある。図３は、その一例として、近似多角形において、基準とする代表点Ｖ0 と、その他の代表点を表すための差分ベクトルの各々を説明している図である。図４の黒い点列（４２）は、各時刻におけるベクトルＶ0,1 のＸ成分の値を表している。
【００３６】
また、上記では、各フレームにおける代表点の位置又は差分ベクトルの軌跡を近似したが、ある基準となるフレームにおける代表点の位置又は差分ベクトルを各フレームにおける代表点の位置又は差分ベクトルに変換する関数のパラメータの軌跡を近似する方法もある。あるいは、先行するフレームにおける代表点の位置又は差分ベクトルを後続するフレームにおける代表点の位置又は差分ベクトルに変換する関数のパラメータの軌跡を近似する方法もある。
【００３７】
その他にも、時空間領域情報の形態には、種々のバリエーションがあり、本発明は、どのような形態の時空間領域情報にも適用可能である。
また、時空間領域情報には、例えば、各物体領域に対応する各代表点ごとで且つ各フレームごと、あるいは各物体領域ごとで且つ各フレームごと、あるいは各物体領域の各代表点ごと、あるいは各物体領域ごとなどの所定の単位で、所定の属性情報もしくは関連情報などが付加されることもある。本発明は、このような時空間領域情報にも適用可能である。
【００３８】
図５に、本実施形態の説明で用いる時空間領域情報のデータ構造の一例を示す。図５に示されるように、本例の時空間領域情報は、時空間領域情報識別情報（以下、ＩＤ番号）１０１、先頭時刻１０２、最終時刻１０３、形状フラグ１０４、軌跡データ１０５を含むものである。
【００３９】
ＩＤ番号１０１は、時空間領域ごとに付与される識別番号である。
【００４０】
先頭時刻１０２と最終時刻１０３は、当該ＩＤ番号の時空間領域が存在する先頭と最終の時刻である。先頭時刻と最終時刻はタイムスタンプによって表現してもよいし、フレーム番号で表現してもよい。
【００４１】
形状フラグ１０４は、領域形状がどのように表現されているかを示すものである。領域形状は、例えば、矩形、楕円、多角形などで表現されているため、それらを一意に区別するような情報が記述される。多角形の場合には、頂点数情報も形状フラグに付加される。
【００４２】
軌跡データ１０５は、時空間領域を表現するためのパラメータデータである。これは、先頭時刻から最終時刻までの時空間領域形状が決定できるようなものである。例えば、領域形状が矩形や多角形の場合における、各頂点の軌跡を関数近似したときのパラメータ、領域形状が楕円の場合における、楕円の外接矩形頂点の軌跡を関数近似したときのパラメータなどである。１０６のように、軌跡データ１０５は、１つの代表点について、Ｘ座標軌跡とＹ座標軌跡を別々に記述するため、軌跡データは、代表点数×２だけ存在する。
【００４３】
図６に、図５の時空間領域情報における各々の軌跡データ１０５のデータ構造の一例を示す。これは、スプライン関数などで関数補間された連続する軌跡を表すためのもので、時間とＸ座標やＹ座標などのパラメータとの関係を格納するためのものである。
【００４４】
節点数２０１は、スプライン関数の節点の数を表しており、節点数−１個の多項式のデータ２０６があることを示している。スプライン関数は、隣接する節点の間の区間ごとにそれぞれ別の多項式で表現されるため、節点の数に対応した数の多項式が必要となる。したがって、節点フレーム番号、多項式の係数などを含むデータ２０６は、複数繰り返し記述される。
【００４５】
先頭節点時刻２０２は、スプライン関数の最初の節点の時刻を表す。
【００４６】
節点時刻２０３は、当該多項式データの終わりの節点時刻を表しており、この節点時刻まで多項式のデータ２０６が有効であることを示している。これはフレーム番号の代わりにタイムスタンプによって記述してもよい。多項式の係数データの数は、スプライン関数の最高次数により変化する（最高次数をＫとすると、係数データの数はＫ＋１となる）。そのため、係数データ数を多項式次数２０４に保存してある。多項式次数２０４の後には多項式次数＋１個に相当する数の多項式係数２０５が続く。
【００４７】
なお、時空間領域との間で通過判定を行う「参照軌跡」は、例えば、図６の軌跡データのデータ構造を用いて表現することができる。なお、図５の時空間領域情報における軌跡データのデータ構造と、参照軌跡のデータ構造とが異なっても構わない。
【００４８】
また、参照軌跡の指定の方法については、外部から参照軌跡のデータを読み込む方法であってもよいし、ユーザが所定のツールを用いて参照軌跡のデータを記述する方法であってもよいし、ユーザがＧＵＩ画面上に表示された時空間において描いた軌跡をもとに参照軌跡のデータを生成する方法であってもよいし、それら以外の方法であってもよい。
【００４９】
以下、本実施形態の時空間領域情報検索システムの構成例について詳しく説明する。
【００５０】
ここでは、図５及び図６の時空間領域情報を通過判定の対象とする場合を例にとって説明する。
【００５１】
図７に、本実施形態に係る時空間領域情報検索システムの構成例を示す。図７に示されるように、本時空間領域情報検索システムは、時空間領域情報記憶部３０１、内外判定部３０２、曲面交差判定部３０３、結果出力部３０４を備えている。
【００５２】
この時空間領域情報検索システムは、計算機上でプログラムを実行する形で実現することができる。また、そのプログラムを、他のソフトウェアの一機能として組み込むようにすることも可能である。また、必要に応じて、その計算機に、所望の機能を有するＯＳやドライバソフト、パケット通信用ソフト、暗号ソフト等といったソフトウェア、あるいは通信インタフェース装置や外部記憶装置や入出力装置等といったハードウェアを搭載あるいは接続することができる。
【００５３】
時空間領域情報記憶部３０１は、近似矩形もしくは近似多角形の各頂点の軌跡や近似楕円に外接する矩形の各頂点の軌跡などによって表された時空間領域情報が記憶されているもので、例えばハードディスクや光ディスク、半導体メモリなどで構成される。
【００５４】
内外判定部３０２は、時空間領域が存在する時間のうち所定のフレームを取り出し、そのフレームにおける領域の形状を算出し、通過判定を行う参照軌跡の当該フレームにおける座標との内外判定を行う。なお、内外判定部３０２は、図７では、曲面交差判定部３０３の前段にあるが、その代わりに、曲面交差判定部３０３の後段にあってもよいし、互いに独立したプロセスとして曲面交差判定部３０３と並列に実行されるようにしてもよい。
【００５５】
取り出すべき所定のフレームは、時空間領域が存在しているならば、どのフレームでもよい。例えば、領域形状の求めやすさから、時空間領域の先頭フレームを使用するようにしてもよい。
【００５６】
時空間領域が矩形で表現されているなら、当該フレームの４頂点の座標ｐ１〜ｐ４を求める。時空間領域が多角形で表現されているなら、当該フレームの全頂点の座標ｐ１〜ｐＮ（Ｎ：頂点数）を求める。時空間領域が楕円に外接する矩形で表現されているなら、当該フレームの外接矩形頂点の座標（ｐ１〜ｐ４）を求めて、楕円の中心点、長径・短径の長さ、傾きなど楕円のパラメータを求める。
【００５７】
通過判定を行う参照軌跡の当該フレームにおける座標をｒとすると、当該フレームの領域形状とｒとの内外判定は、例えば以下のように行うことができる。
【００５８】
（１）領域情報が矩形または多角形のとき
図８に示すように、多角形５０１と座標ｒ（５０２）の内外判定となる。この場合の内外判定アルゴリズムは多数存在しており、どのような方法を利用してもよい。例えば、座標ｒから（多角形と交わる）直線５０３を引き、直線５０３が多角形の外周と何回交わるかを判定する。奇数回交わるなら座標ｒは多角形の内側、偶数回交わるなら多角形の外側である。図８の例では、右下の直線を用いたときは１回（左上の直線を用いたときは３回）交わっているので、座標ｒは多角形（すなわち対象となる時空間領域）の内部に存在すると判定される。
【００５９】
（２）領域情報が楕円のとき
図９に示すように、楕円６０１と座標ｒ（６０２）の内外判定となる。この場合の内外判定アルゴリズムは多数存在しており、どのような方法を利用してもよい。図９の例においては、楕円６０１の中心点Ｓ＝（Ｓｘ，Ｓｙ）、楕円の２軸の長さをＶ０，Ｖ１、回転角θとすると、楕円の内部は以下のように表すことができる。
Ｐ＝（cosθ／Ｖ0）2＋（sinθ／ｖ1）2
Ｑ＝２*sinθ*cosθ*（１／Ｖ02−１／Ｖ12）
Ｒ＝（sinθ／Ｖ0）2＋（cosθ／ｖ1）2
Ｐ*（ｘ−Ｓx）2＋Ｑ*（ｘ−Ｓx）*（ｙ−Ｓy）＋Ｒ*（ｙ−Ｓy）2≦１
（ｘ，ｙ）にｒの座標６０２を代入して、この不等式が成り立てば、ｒは楕円の内部にあり、不等式が成り立たなければ、ｒは楕円の外部にあることがわかる。図９の例では、上記の不等式が成り立ち、座標ｒは楕円（すなわち対象となる時空間領域）の内部に存在すると判定される。
【００６０】
なお、楕円の外接矩形の頂点ベクトルをｐ1〜ｐ4（ｐM＝（ｐMx，ｐMy）とする）とすると、楕円の中心点ベクトルＳ＝（Ｓx，Ｓy）、楕円の２軸の長さをＶ0，Ｖ1、回転角θは以下のように表すことができる（ただし、回転角に関しては、sinθ、cosθを求める）。
ｓ＝（ｐ1＋ｐ3）／２
Ｖ0＝｜ｐ2−ｐ1｜／２
ｖ1＝｜ｐ3−ｐ2｜／２
sinθ＝（ｐ2y−ｐ1y）／（２*Ｖ0）
cosθ＝（ｐ2x−ｐ1x）／（２*Ｖ0）
もちろん、時空間領域を近似する近似図形の形状や表現方法に応じて種々の内外判定方法があり、どのような内外判定方法を用いても構わない。なお、内外判定については、例えば、“「グラフィックスの数理」、杉原厚吉著、共立出版株式会社、１９９５年、ｐｐ．８７-９２”にて説明されている。
【００６１】
曲面交差判定部３０３は、時空間領域の外周が張る曲面と参照軌跡との交差判定を行う。これは、時空間領域の外周を数式として表現し、参照軌跡を表す数式との方程式を解くことによって行う。
【００６２】
領域形状が楕円の場合には、楕円外周全体を１つの数式で表せばよい（楕円外周全体を複数の数式で表しても構わない）。領域形状が矩形または多角形の場合には、各辺が張る曲面ごとに数式で表すものとする。時空間領域を表すための頂点軌跡データがスプライン関数で表現されている場合には、スプラインの節点間ごとに曲面を分割して数式で表す。
【００６３】
頂点軌跡間にて同じ節点フレームが利用されている場合には、時空間領域が楕円のときは、（節点数−１）個の曲面、矩形のときは、（節点数−１）*４個の曲面、多角形のときは、（節点数−１）*（頂点数）個の曲面で表すことができる。なお、あるフレームにおいて、ある頂点は、そのフレームで節点となっていて、他の頂点は、節点となっていないときは、節点がない頂点軌跡の当該フレームに節点を追加したものとして扱うことによって、曲面を分割可能である。
【００６４】
時空間領域の外周が張る曲面が複数の曲面で表される場合には、参照軌跡との交差判定を、全曲面についてそれぞれ行う。
【００６５】
１つの曲面（時空間領域の外周が唯一の曲面で表現される場合の当該１つの曲面または時空間領域の外周が複数の曲面で表現される場合の個々の曲面）と、参照軌跡との交差判定処理は、例えば以下のように行うことができる。
【００６６】
（１）領域情報が矩形または多角形のとき
図１０に示すように、矩形または多角形における当該辺７０１の両端の頂点ベクトルの軌跡７０２，７０３を時間ｔの関数で表し、それぞれＰ(t)，Ｑ(t)とする。また、当該曲面の両端の節点時刻をｔ0，ｔ1とする。このとき、曲面上の点Ｒの通過範囲は、パラメータｋを利用して、
Ｒ(t,k)＝Ｐ(t)＋ｋ*（Ｑ(t)−Ｐ(t)）
ただし、ｔ0≦ｔ≦ｔ1，０≦ｋ≦１
と表すことができる。
【００６７】
参照軌跡ベクトルを時間ｔの関数ｒ(t)とすると、
Ｒ(t,k)＝ｒ(t)
ただし、ｔ0≦ｔ≦ｔ1，０≦ｋ≦１
となる、ｔ，ｋが存在するとき、当該曲面と指定された軌跡は、時刻ｔに交差する。よって、
Ｐ(t)＋ｋ*（Ｑ(t)−Ｐ(t)）−ｒ(t)＝０
をｔ，ｋについて解けばよい。
【００６８】
Ｐ(t)＝（Ｐx(t)，Ｐy(t)）
Ｑ(t)＝（Ｑx(t)，Ｑy(t)）
ｒ(t)＝（ｒx(t)，ｒy(t)）
とすると、
Ｐx(t)＋ｋ*（Ｑx(t)−Ｐx(t)）−ｒx(t)＝０
Ｐy(t)＋ｋ*（Ｑy(t)−Ｐy(t)）−ｒy(t)＝０
となり、ｔ，ｋの連立方程式を解く問題に帰着する。ここで、ｋを消去すると、
（ｒx(t)−Ｐx(t)）*（Ｑy(t)−Ｐy(t)）−（ｒy(t)−Ｐy(t)）*（Ｑx(t)−Ｐx(t)）＝０
となり、各軌跡がｎ次関数で表されているとすると、上記方程式は、（２*ｎ）次方程式となる。これを解の公式などで解けばよい。また、高次方程式になった場合は、Ｎｅｗｔｏｎ法などで数値解を求めればよい。そして、ｔ0≦ｔ≦ｔ1なる解について、ｋを評価し、０≦ｋ≦１であれば、当該曲面と参照軌跡は、解となった時刻において交差することがわかる。
【００６９】
各軌跡が任意の非線形関数のときも、上記方程式がＮｅｗｔｏｎ法などで解くことができれば、本手法を用いて交差判定を行うことができる。
【００７０】
（２）領域情報が楕円のとき
図１１に示すように、楕円８０１の中心点ベクトルの時刻ｔに対する軌跡を、Ｓ(t)＝（Ｓx(t)，Ｓy(t)）、楕円の２軸の長さの軌跡をＶ0(t)，Ｖ1(t)、回転角の軌跡をθ(t)とする。ここで、楕円の外接矩形の頂点ベクトルの軌跡を、ｐ1(t)〜ｐ4(t)（ｐM(t)＝ｐMx(t)，ｐMy(t)とする）とする。また、当該曲面の両端の節点時刻を、ｔ0，ｔ1とする。
【００７１】
ｐ21x(t)＝ｐ2x(t)−ｐ1x(t)
ｐ21y(t)＝ｐ2y(t)−ｐ1y(t)
ｐ32x(t)＝ｐ3x(t)−ｐ2x(t)
ｐ32y(t)＝ｐ3y(t)−ｐ2y(t)
とすると、
Ｓ(t)＝（ｐ1(t)＋ｐ3(t)）／２
ｖ0(t)2＝｛ｐ21x(t)2＋ｐ21y(t)2｝／４
ｖ1(t)2＝｛ｐ32x(t)2＋ｐ32y(t)2｝／４
sinθ(t)＝ｐ21y(t)／（２*ｖ0(t)）＝ｐ32x(t)／（２*ｖ1(t)）
cosθ(t)＝ｐ21x(t)／（２*ｖ0(t)）＝ｐ32y(t)／（２*ｖ1(t)）
となる。
【００７２】
楕円の外周の軌跡を表す式は、
Ｐ(t)＝（cosθ(t)／ｖ0(t)）2＋（sinθ(t)／ｖ1(t)）2
Ｑ(t)＝２*sinθ(t)*cosθ(t)*（１／ｖ0(t)2−１／ｖ1(t)2）
Ｒ(t)＝（sinθ(t)／ｖ0(t)）2＋（cosθ(t)／ｖ1(t)）2
としたとき、
Ｐ(t)*（ｘ−Ｓx(t)）2＋Ｑ(t)*（ｘ−Ｓx(t)）*（ｙ−Ｓy(t)）＋Ｒ(t)*（ｙ
−Ｓｙ(t)）2＝１ …（１）
ただし、ｔ0≦ｔ≦ｔ1
となる。
【００７３】
参照軌跡ベクトルを時間ｒ(t)＝（ｒx(t)，ｒy(t)）とすると、
（ｘ，ｙ）＝（ｒx(t)，ｒy(t)）としたとき、式（１）を満たすようなｔが存在すれば、その時刻において楕円外周と参照軌跡は交差する。
【００７４】
よって、
ｒsx(t)＝ｒx(t)−Ｓx(t)
ｒsy(t)＝ｒy(t)−Ｓy(t)
としたとき、
Ｐ(t)*ｒsx(t)2＋Ｑ(t)*ｒsx(t)*ｒsy(t)*（ｒy(t)−Ｓy(t)）＋Ｒ(t)*ｒsy(t
)2＝１ …（２）
ただし、ｔ0≦ｔ≦ｔ1
を解けばよい。
【００７５】
Ｐ(t)，Ｑ(t)，Ｒ(t)は、以下のように変形できる。
Ｐ(t)＝４*（ｐ21y(t)2＋ｐ32y(t)2）／｛（ｐ32x(t)2＋ｐ32y(t)2）*（ｐ21x(t)2＋ｐ21y(t)2）｝
Ｑ(t)＝８*（ｐ32x(t)*ｐ32y(t)−ｐ21x(t)*ｐ21y(t)）／｛（ｐ32x(t)2＋ｐ32y(t)2）*（ｐ21x(t)2＋ｐ21y(t)2）｝
Ｒ(t)＝４*（ｐ21x(t)2＋ｐ32x(t)2）／｛（ｐ32x(t)2＋ｐ32y(t)2）*（ｐ21x(t)2＋ｐ21y(t)2）｝
これより、式（２）は、以下のように整理できる。
ただし、ｔ0≦ｔ≦ｔ1
外形矩形の頂点軌跡および参照軌跡がｎ次関数で表されているとすると、式（３）は、（４*ｎ）次方程式となる。これを解の公式などで解けばよい。また、高次方程式になった場合は、Ｎｅｗｔｏｎ法などで数値解を求めればよい。ｔ0≦ｔ≦ｔ1なる解が存在すれば、当該曲面と参照軌跡は、解となった時刻において交差することがわかる。
【００７６】
各軌跡が任意の非線形関数のときも、式（３）がＮｅｗｔｏｎ法などで解くことができれば、本手法を用いて交差判定を行うことができる。
【００７７】
結果出力部３０４は、内外判定部３０２と曲面交差判定部３０３で得られた情報をもとに、時空間領域と参照軌跡の通過判定の結果を出力する。出力するデバイスは、ディスプレイやハードディスクあるいはネットワーク・インタフェースなど、どのようなものでもよい。また、本システムが、計算機上で動作するプログラムである場合に、通過判定の結果を、同一計算機上で動作する他のプロセスに出力してもよい。
【００７８】
通過判定では、例えば、以下の処理が行われる。
【００７９】
まず、曲面交差判定部３０３により、対象となる時空間領域の外周を表す全曲面について参照軌跡との交差判定を行うことにより、該時空間領域の外周と参照軌跡のすべての交点時刻ｔ1〜ｔkが得られている。
【００８０】
ここで、例えば、交点時刻ｔi〜ｔi+1において参照軌跡が該時空間領域の内部にあったとすれば、交点時刻ｔi-1〜ｔiとｔi+1〜ｔi+2には、参照軌跡は、該時空間領域の外部にあると考えることができる。逆に、交点時刻ｔi〜ｔi+1において参照軌跡が該時空間領域の外部にあたっとすれば、交点時刻ｔi-1〜ｔiとｔi+1〜ｔi+2には、参照軌跡は、該時空間領域の内部にあると考えることができる。すなわち、いずれかの時刻において参照軌跡が時空間領域の内部にあるか外部にあるかがわかれば、いずれの時刻についても参照軌跡が時空間領域の内部にあるか外部にあるかがわかる。
【００８１】
しかして、内外判定部３０２により、該時空間領域が存在する時間内（先頭時刻＝ｔs、最終時刻＝ｔeとする）の所定のフレーム（例えば先頭フレーム）において、参照軌跡が該時空間領域の内部にあるか外部にあるかがわかっている。
【００８２】
そこで、結果出力部３０４は、内外判定部３０２により求められたフレームでの内外判定結果をもとに、曲面交差判定部３０３により求められた交点時刻ｔ1〜ｔkから与えられる、当該時空間領域が存在する時間内の各々の期間ｔs〜ｔ1、ｔ1〜ｔ2、…、ｔk-1〜ｔk、ｔk〜ｔeについて、参照軌跡が該時空間領域の内部にあるか外部にあるかを特定する。
【００８３】
ただし、曲面交差判定部３０３により交点時刻が１つも求まらなかった場合、すなわち参照軌跡が該時空間領域と交わらない場合には、内外判定部３０２により例えば先頭フレームが内部にある判定されたならば、参照軌跡は、当該時空間領域の全期間ｔs〜ｔeにおいて常に該時空間領域の内部にあることがわかり、外部にあると判定されたならば、参照軌跡は、当該時空間領域の全期間ｔs〜ｔeにおいて常に該時空間領域の外部にあることがわかる。
【００８４】
通過判定結果としては、例えば、上記の各期間の開始の時刻または終了の時刻と、その期間において内部か外部かを示す情報との組を列挙することで、表現することができる。
【００８５】
なお、上記に加えて、例えば、交点時刻において参照軌跡が該時空間領域と交わる位置を示す座標をも求めて、通過判定結果に含めて出力するようにしてもよい。
【００８６】
また、例えば、該時空間領域が存在する時間に対する、参照軌跡が該時空間領域の内部に存在する時間の比などの、所定の評価値をも求めて、通過判定結果に含めて出力するようにしてもよい。
【００８７】
なお、結果出力部３０４は、内外判定部３０２で得られた情報（例えば、先頭フレームにおける内外判定結果）と、曲面交差判定部３０３で得られた情報（例えば、交点時刻ｔ1〜ｔk）を、そのまま出力する構成も可能である。
【００８８】
図１２に、本時空間領域情報検索システムにおける処理手順の一例を示す。図１２に示されるように、本処理手順は、任意１フレームにおける内外判定を行うステップＳ４３と、曲面通過判定を行うステップＳ４２と、全曲面についてＳ４２を実行したかを判別するステップＳ４３と、通過判定処理を行ってその結果を出力するステップＳ４２とを有する。
【００８９】
なお、前述したように、ステップＳ４１を、ステップＳ４２およびステップＳ４３のループ処理の後で行ってもよいし、ステップＳ４１と、ステップＳ４２およびステップＳ４３のループ処理とを並列的に行ってもよい。
【００９０】
ステップＳ４１では、時空間領域が存在する時間のうち所定のフレームを取り出し、そのフレームにおける領域の形状を算出し、通過判定を行う軌跡の当該フレームにおける座標との内外判定を行う。ステップＳ４２では、時空間領域の外周が張る曲面を頂点軌跡の節点および各辺で分割した曲面について、参照軌跡との交差判定を行う。ステップＳ４３では、分割された全曲面について交差判定を行ったかどうか判別する。全曲面について交差判定が完了するまでループし、全曲面について交差判定が完了すれば終了する。ステップＳ４２は、例えば、時空間領域が楕円のときは、（節点数−１）回、矩形のときは、（節点数−１）*４回、多角形のときは、（節点数−１）*（頂点数）回、実行される。ステップＳ４４は、結果を出力するためのステップである。これは、ステップＳ４２からステップＳ４４までで得られた情報を要求に合わせて出力する。出力するデバイスは、ディスプレイやハードディスクなど、どのようなものでもよい。
【００９１】
ところで、前述した処理例よりも簡易な通過判定結果を求める構成も可能である。
【００９２】
例えば、参照軌跡が対象となる時空間領域と交わるか否かのみ求めて出力する方法がある。この場合には、交点時刻が１つでも求まれば、参照軌跡が該時空間領域と交わることが分かる。従って、まず、交点時刻が少なくとも１つ存在するか否かを調べればよい（例えば、各曲面について順次、参照軌跡との交点を求めていき、最初に参照軌跡が求まったところで、処理を終了する）。交点時刻が少なくとも１つ存在することが分かった場合には、内外判定は不要になる。次いで、交点時刻が１つも存在しないことが分かった場合（例えば、全曲面について、交点時刻が求まらなかった場合）には、ここではじめて内外判定を行い、内部と判定されたならば、参照軌跡が該時空間領域と交わることがわかり、外部と判定されたならば、参照軌跡が該時空間領域と交わらないことがわかる。
【００９３】
また、複数の通過判定方法を用意し、例えば、目的などに応じて、適宜、使い分けて使用してもよい。例えば、詳細な通過判定方法と、簡易な通過判定方法を用意しておき、参照軌跡が該時空間領域と交わる全交点時刻が必要である場合には、前者の方法を使用し、参照軌跡が対象となる時空間領域と交わるか否かのみの情報が必要である場合には、後者を使用するようにしてもよい。また、例えば、対象とする時空間領域が多数ある場合に、最初に、後者の方法によって、参照軌跡と交わる時空間領域のみを抽出し、抽出された時空間領域のみを対象として、前者の方法により詳細に参照軌跡に対する通過判定処理を行うような方法もある。
【００９４】
（第２の実施形態）
本実施形態では、図５とは異なるデータ構造の時空間領域情報に本発明を適用した場合について説明する。なお、本実施形態では、第１の実施形態と相違する点を中心に説明する。
【００９５】
第１の実施形態では、代表点の位置データをフレームの進行に沿って並べたときの軌跡を所定の関数で近似し、該関数のパラメータを用いて記述された時空間領域情報を例にとったが、本実施形態では、代表点の基準となるフレームにおける位置データから、他のフレームにおける位置データへの領域変換を示す変換パラメータを求め、該変換パラメータについて、該変換パラメータをフレームの進行に沿って並べたときの軌跡を所定の関数で近似し、該関数のパラメータを用いて記述された時空間領域情報を例にとって説明する。
【００９６】
図１３に、時空間領域情報のデータ構造の他の例を示す。図１３に示されるように、本例の時空間領域情報は、ＩＤ番号９０１、先頭時刻９０２、最終時刻９０３、参照領域フラグ９０４、参照領域形状情報９０５、変換形式フラグ９０６、軌跡データ９０７を含むものである。
【００９７】
ＩＤ番号９０１と、先頭時刻９０２と、最終時刻９０３とは、図５におけるＩＤ番号１０１、先頭時刻１０２、最終時刻１０３のそれぞれと同等の意味を持つ。
【００９８】
参照領域フラグ９０４は、参照領域の形状がどのように表現されているかを示すものである。参照領域の形状は、例えば、矩形、楕円、多角形などで表現されているため、それらを一意に区別するような情報が記述される。多角形の場合は、頂点数情報も参照領域フラグに付加される。
【００９９】
参照領域形状情報９０５は、参照領域形状を格納するためのものである。例えば、参照領域形状が矩形や多角形のときは、各頂点の座標、参照領域形状が楕円のときは、外接矩形の頂点座標や、中心点、長軸短軸の長さなどのパラメータが格納される。
【０１００】
変換形式フラグ９０６は、参照領域から各フレームにおける時空間領域情報への領域変換を示す変換パラメータがどのような形式で示されているかを示すものである。領域変換を示す変換パラメータの形式には、例えば、平行移動、一次変換、アフィン変換などがあるため、それらを一意に区別するような情報が記述される。
【０１０１】
軌跡データ９０７は、参照領域から各フレームにおける時空間領域情報への領域変換を示す変換パラメータのそれぞれの軌跡を記述するためのものである。軌跡データ９０７は、例えば、図６に示されるような軌跡データのデータ構造を持つ。変換パラメータは、複数持つことが多いため、軌跡データも変換パラメータの数だけ記述される。軌跡データの数は、変換形式フラグ９０７によって一意に決まり、例えば、平行移動のときは２つ、一次変換のときは４つ、アフィン変換のときは６つである。軌跡データの順番は、変換パラメータの意味によって決めておき、例えば、以下のようにする。
時刻ｔの関数であるパラメータの軌跡データがｚ1（ｔ），ｚ2（ｔ），…と並んでいるとき、参照領域上のある点ｐ＝（ｐx，ｐy）が領域変換によって変換された軌跡を、Ｐ（ｔ）＝（Ｐx（ｔ），Ｐy（ｔ））とすると、
とする。
【０１０２】
パラメータの軌跡データｚ1（ｔ），ｚ2（ｔ），…が、ｎ次多項式で表されているとき、上式よりＰx（ｔ），Ｐy（ｔ）もやはりｎ次多項式で表すことが可能となる。
【０１０３】
なお、時空間領域との間で通過判定を行う「参照軌跡」は、例えば、図６の軌跡データのデータ構造を用いて表現することができる。なお、図５の時空間領域情報における軌跡データのデータ構造と、参照軌跡のデータ構造とが異なっても構わない。
【０１０４】
以下、本実施形態の時空間領域情報検索システムの構成例について詳しく説明する。
【０１０５】
ここでは、図１３及び図６の時空間領域情報を通過判定の対象とする場合を例にとって説明する。
【０１０６】
図１４に、この場合における時空間領域情報検索システムの構成例を示す。
【０１０７】
図１４に示されるように、本時空間領域情報検索システムは、時空間領域情報記憶部１００１、軌跡データ変換部１００２、内外判定部１００３、曲面交差判定部１００４、結果出力部１００５とを備えている。
【０１０８】
時空間領域情報記憶部１００１は、参照領域と参照領域から該フレームにおける時空間領域情報への領域変換を示す変換パラメータにより記述した時空間領域情報が記憶されているもので、例えばハードディスクや光ディスク、半導体メモリなどで構成される。
【０１０９】
軌跡データ変換部１００２は、参照領域と参照領域から該フレームにおける時空間領域情報への領域変換を示す変換パラメータにより記述した時空間領域情報を、近似矩形もしくは近似多角形の各頂点の軌跡や近似楕円に外接する矩形の各頂点の軌跡などによって表された時空間領域情報（すなわち、第１の実施形態の時空間領域情報（図５および図６））に変換する。
【０１１０】
参照領域は、矩形・多角形・楕円などで表されるため、矩形や多角形については、その各頂点座標を領域変換を示す変換パラメータの軌跡によって変換される軌跡を求める。楕円については、その外接矩形の各頂点座標を領域変換を示す変換パラメータの軌跡によって変換される軌跡を求める。参照領域上のある点Ｐ＝（Ｐx，Ｐy）が、領域変換によって変換された軌跡Ｐ(t)＝（Ｐx(t)，Ｐy(t)）は、式（４）のように計算できるため、領域変換を示す変換パラメータの軌跡がｎ次のスプライン関数で記述されていたとすると、軌跡データ変換部によって変換された各頂点の軌跡は、ｎ次のスプライン関数となる。
【０１１１】
軌跡データ変換部１００２と内外判定部１００３と曲面交差判定部１００４と結果出力部１００５は、それぞれ、図７における内外判定部３０１、曲面交差判定部３０２、結果出力部３０３と同等の機能を持つ。軌跡データ変換部１００２によって変換された時空間領域情報は、第１の実施形態における時空間領域情報と同等の情報を持つ。本実施形態の内外判定部１００３や曲面交差判定部１００４は、時空間領域情報記憶部１００１に記憶されている時空間領域情報を処理対象とするのではなく、軌跡データ変換部１００２により変換された後の時空間領域情報を処理対象とする点が、第１の実施形態と相違する。
【０１１２】
すなわち、本実施形態では、軌跡データ変換部１００２が、参照領域と参照領域から該フレームにおける時空間領域情報への領域変換を示す変換パラメータにより記述した時空間領域情報を、近似矩形もしくは近似多角形の各頂点の軌跡や近似楕円に外接する矩形の各頂点の軌跡などによって表された時空間領域情報に変換した後は、第１の実施形態と同様の処理が行われる。
【０１１３】
図１５に、本時空間領域情報検索システムにおける処理手順の一例を示す。図１５に示されるように、本処理手順は、軌跡データを変換するステップＳ１１０１と、任意１フレームにおける内外判定を行うステップＳ１１０２と、曲面通過判定を行うステップＳ１１０３と、全曲面についてＳ１１０３を実行したかを判別するステップＳ１１０４と、通過判定処理を行ってその結果を出力するステップＳ１１０５で構成される。
【０１１４】
なお、前述したように、ステップＳ１１０２を、ステップＳ１１０３およびステップＳ１１０４のループ処理の後で行ってもよいし、ステップＳ１１０２と、ステップＳ１１０３およびステップＳ１１０４のループ処理とを並列的に行ってもよい。
【０１１５】
ステップＳ１１０１では、参照領域と参照領域から該フレームにおける時空間領域情報への領域変換を示す変換パラメータにより記述した時空間領域情報を、近似矩形もしくは近似多角形の各頂点の軌跡や近似楕円に外接する矩形の各頂点の軌跡などによって表された時空間領域情報に変換する。
【０１１６】
ステップＳ１１０２〜Ｓ１１０５は、第１の実施形態（図１２）のステップＳ４１〜Ｓ４４と同様である。
【０１１７】
本実施形態によれば、参照領域と参照領域から該フレームにおける時空間領域情報への領域変換を示す変換パラメータにより記述した時空間領域情報においても、各代表点の軌跡として記述された時空間領域情報と同様に編集を行うことができる。
【０１１８】
もちろん、本時空間領域情報検索システムは、それらの他のデータ構造の時空間領域情報を扱うようにすることもできる。
【０１１９】
例えば、近似図形のある（１又は複数の）代表点については図５および図６のように当該代表点の位置データをフレームの進行に沿って並べたときの軌跡を所定の関数で近似し、該関数のパラメータを用いて記述し、それ以外の代表点については、同一フレームにおける他の代表点を基準としたときの当該代表点の相対的な位置を示すデータ（例えば、差分ベクトル）をフレームの進行に沿って並べたときの軌跡を所定の関数で近似し、該関数のパラメータを用いて記述した時空間領域情報についても、これを軌跡データ変換部１００２によって、近似矩形もしくは近似多角形の各頂点の軌跡や近似楕円に外接する矩形の各頂点の軌跡などによって表された時空間領域情報に変換した後に処理を行えばよい。
【０１２０】
また、例えば、近似図形の（１又は複数の）代表点については図１３および図６のように代表点の基準となるフレームにおける位置データから、他のフレームにおける位置データへの領域変換を示す変換パラメータを求め、該変換パラメータについて、該変換パラメータをフレームの進行に沿って並べたときの軌跡を所定の関数で近似し、該関数のパラメータを用いて記述し、それ以外の代表点については、同一フレームにおける他の代表点を基準としたときの当該代表点の相対的な位置を示すデータ（例えば、差分ベクトル）をフレームの進行に沿って並べたときの軌跡を所定の関数で近似し、該関数のパラメータを用いて記述した時空間領域情報についても、これを軌跡データ変換部１００２によって、近似矩形もしくは近似多角形の各頂点の軌跡や近似楕円に外接する矩形の各頂点の軌跡などによって表された時空間領域情報に変換した後に処理を行えばよい。
【０１２１】
また、本時空間領域情報検索システムは、複数種類のデータ構造の時空間領域情報を扱うようにすることもできる。この場合には、時空間領域情報に、データ構造を識別するための識別情報を付加し、時空間領域情報処理システムは、時空間領域情報を処理するに際して、その識別情報を参照して、データ構造を特定し、そのデータ構造に応じた処理を行うようにすればよい。
【０１２２】
なお、以上の各機能は、ソフトウェアとして実現可能である。
また、本実施形態は、コンピュータに所定の手段を実行させるための（あるいはコンピュータを所定の手段として機能させるための、あるいはコンピュータに所定の機能を実現させるための）プログラムとして実施することもでき、該プログラムを記録したコンピュータ読取り可能な記録媒体として実施することもできる。
【０１２３】
なお、この発明の実施の形態で例示した構成は一例であって、それ以外の構成を排除する趣旨のものではなく、例示した構成の一部を他のもので置き換えたり、例示した構成の一部を省いたり、例示した構成に別の機能あるいは要素を付加したり、それらを組み合わせたりすることなどによって得られる別の構成も可能である。また、例示した構成と論理的に等価な別の構成、例示した構成と論理的に等価な部分を含む別の構成、例示した構成の要部と論理的に等価な別の構成なども可能である。また、例示した構成と同一もしくは類似の目的を達成する別の構成、例示した構成と同一もしくは類似の効果を奏する別の構成なども可能である。
また、この発明の実施の形態で例示した各種構成部分についての各種バリエーションは、適宜組み合わせて実施することが可能である。
また、この発明の実施の形態は、個別装置としての発明、個別装置内部の構成部分についての発明、またはそれらに対応する方法の発明等、種々の観点、段階、概念またはカテゴリに係る発明を包含・内在するものである。
従って、この発明の実施の形態に開示した内容からは、例示した構成に限定されることなく発明を抽出することができるものである。
【０１２４】
本発明は、上述した実施の形態に限定されるものではなく、その技術的範囲において種々変形して実施することができる。
【０１２５】
【発明の効果】
本発明によれば、映像データ中の複数フレームにわたる任意の時空間領域を指定された軌跡が通過するかどうかを高速かつ効率的に判別し、通過する時刻情報を抽出することが可能になる。
【図面の簡単な説明】
【図１】映像中の物体の領域を物体領域データで記述するための処理の概要を説明するための図
【図２】基準代表点のＸ座標の値を近似する関数を求める例を説明するための図
【図３】基準代表点以外の代表点を表すための差分ベクトルの一例を説明するための図
【図４】基準代表点以外の代表点を表すための差分ベクトルのＸ成分の値を近似する関数を求める例を説明するための図
【図５】時空間領域情報のデータ構造の一例を示す図
【図６】軌跡データのデータ構造の一例を示す図
【図７】本発明の一実施形態に係る時空間領域情報検索システムの構成例を示す図
【図８】多角形と座標の内外判定方法の一例を示す図
【図９】楕円と座標の内外判定方法の一例を示す図
【図１０】矩形または多角形の一辺の軌跡と指定された軌跡の交差判定方法を示す図
【図１１】楕円外周の軌跡と指定された軌跡の交差判定方法を示す図
【図１２】同実施形態に係る時空間領域情報検索システムの処理手順の一例を示すフローチャート
【図１３】時空間領域情報のデータ構造の一例を示す図
【図１４】同実施形態に係る時空間領域情報検索システムの他の構成例を示す図
【図１５】同実施形態に係る時空間領域情報検索システムの処理手順の他の例を示すフローチャート
【符号の説明】
３０１，１００１…時空間領域情報記憶部
１００２…軌跡データ変換部
３０２，１００３…内外判定部
３０３，１００４…曲面交差判定部
３０４，１００５…結果出力部
【発明の属する技術分野】
本発明は、映像中の時空間領域情報の参照軌跡に対する通過性の判定を行うための時空間領域情報の処理方法。
【０００２】
【従来の技術】
近年、映像画像処理技術の急速な発展により、映像や画像をデジタルデータとして扱うことが一般化してきている。このデジタル化によりデータ量が大きい映像画像データを効率的に圧縮する技術が確立された。また、インターネットや衛星放送・ＣＡＴＶなどのネットワーク技術の発展に伴い、大量の映像データを扱うことができるようになってきており、映像や画像情報を蓄積しておいてニーズに合わせて取り出し利用する映像画像データベースシステムやビデオオンデマンドが実用の段階に入ろうとしている。他にも遠隔地からの自動監視システムもメジャーなものになってきている。このように映像や画像を利用しようとするとき、画面内に何があるかを認識したり、逆に望む物体があるような映像の検索抽出をしたり、映像を分類したいという要望がある。
【０００３】
このような要望に答えるため、映像中の複数フレームにわたる任意の時空間領域を効率良く生成し保存するための手法が既に提案されている（例えば、特開２００１−１１８０７５号公報，特開２００１−１１１９９６号公報）。
【０００４】
【発明が解決しようとする課題】
ところが、時空間領域の位置や動きによって時空間領域を検索したり抽出分類する従来の技術においては、時空間領域が存在する全フレームについて領域が条件を満たしているかどうか判別する必要があった。このため、該時空間領域のフレーム数が多かったり、数多くの時空間領域から検索したりする際には計算量が大きく効率が悪いという欠点があった。
【０００５】
本発明は、上記事情を考慮してなされたもので、時空間領域と指定された任意の軌跡との通過判定を高速かつ効率的に行うことのできる時空間領域情報の処理方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、映像データ中における任意の領域の複数フレームにわたる推移である時空間領域を表すものとして記述された、該領域を示す近似図形の代表点の軌跡を特定可能な時空間領域情報を対象とする時空間領域情報処理方法であって、前記近似図形の代表点の軌跡により特定される前記時空間領域の表面部分と時空間上の曲線として指定される参照軌跡とが交差するか否かを判定するための交差判定ステップと、前記時空間領域が存在する所定のフレームについて、該所定のフレームにおける前記参照軌跡の座標が、該所定のフレームにおける前記近似図形の内部に存在するか外部に存在するかを判定するための内外判定ステップとを有することを特徴とする。
【０００７】
好ましくは、前記交差判定ステップにより得られる判定結果と、前記内外判定ステップにより得られる判定結果とに基づいて、前記参照軌跡に対する前記時空間領域の通過性に関する情報を出力するための出力ステップとを有するようにしてもよい。
【０００８】
好ましくは、前記交差判定ステップは、前記参照軌跡が前記領域の表面部分と交差する時刻の情報ｔi（ｉ＝１〜交わる時刻の数）を求め、前記内外判定ステップは、前記時空間領域が存在する先頭時刻ｔsにおけるフレームについて、前記判定を行い、前記出力ステップは、前記交差判定ステップにより前記交わる時刻の情報が複数得られた場合に、前記内外判定ステップにより内部に存在すると判定されたときは、期間ｔs〜ｔ1を始めとする１つおきの期間において、前記参照軌跡を前記時空間領域が通過することを示す情報を出力し、前記内外判定ステップにより外部に存在すると判定されたときは、期間ｔ1〜ｔ2を始めとする１つおきの期間で、前記参照軌跡を前記時空間領域が通過することを示す情報を出力するようにしてもよい。
【０００９】
好ましくは、前記出力ステップは、前記交差判定ステップにより前記交わる時刻の情報が１つ得られた場合に、前記内外判定ステップにより内部に存在すると判定されたときは、該時空間領域が存在する先頭時刻から該得られた時刻までの期間において、前記参照軌跡を前記時空間領域が通過することを示す情報を出力し、前記内外判定ステップにより外部に存在すると判定されたときは、該得られた時刻から該時空間領域が存在する最終時刻までの期間で、前記参照軌跡を前記時空間領域が通過することを示す情報を出力するようにしてもよい。
【００１０】
好ましくは、前記出力ステップは、前記交差判定ステップにより前記交わる時刻の情報が１つも得られなかった場合に、前記内外判定ステップにより内部に存在すると判定されたときは、前記参照軌跡を常に前記時空間領域が通過することを示す情報を出力し、前記内外判定ステップにより外部に存在すると判定されたときは、前記参照軌跡を前記時空間領域が常に通過しないことを示す情報を出力するようにしてもよい。
【００１１】
好ましくは、前記時間領域情報は、前記代表点の位置データをフレームの進行に沿って並べたときの軌跡を所定の関数で近似し、該関数のパラメータを用いて記述されたものであるようにしてもよい。
【００１２】
好ましくは、対象とする時空間領域情報の形式は問わず、全ての前記代表点について、当該代表点の位置データをフレームの進行に沿って並べたときの軌跡を所定の関数で近似し、該関数のパラメータを用いて記述されたものに変換する変換ステップを更に有し、前記交差判定ステップ及び前記内外判定ステップは、前記変換ステップにより変換された後の前記時空間領域情報を対象として行うようにしてもよい。
【００１３】
また、本発明は、映像データ中における任意の領域の複数フレームにわたる推移である時空間領域を表すものとして記述された、該領域を示す近似図形の代表点の軌跡を特定可能な時空間領域情報を対象とする時空間領域情報処理装置であって、前記近似図形の代表点の軌跡により特定される前記時空間領域の表面部分と時空間上の曲線として指定される参照軌跡とが交差するか否かを判定するための交差判定手段と、前記時空間領域が存在する所定のフレームについて、該所定のフレームにおける前記参照軌跡の座標が、該所定のフレームにおける前記近似図形の内部に存在するか外部に存在するかを判定するための内外判定手段とを備えたことを特徴とする。
【００１４】
例えば、近似図形の代表点（例えば、近似図形もしくは近似多角形もしくは近似楕円に外接もしくは内接する矩形の各頂点など）の軌跡と、指定された軌跡が、該時空間領域が存在する全時間において連続であったと仮定すると、該時空間領域の外周が張る曲面と指定された軌跡についての交差判定において、曲面と指定された軌跡が交差するときは、交差した時間に指定された軌跡が、該時空間領域の内部から外部に移動したか、外部から内部に移動したかのどちらかである。該時空間領域が存在する全時間において指定された軌跡が該時空間領域の内部もしくは外部にある場合は、時空間領域が存在する任意の１フレームにおける領域と指定された軌跡の当該フレームにおける座標の内外判定により該時空間領域が存在する全時間において指定された軌跡が該時空間領域の内部にあるか、外部にあるかを判別することが可能である。参照領域から各フレームにおける時空間領域への領域変換パラメータがすべて連続であったとすると、各頂点が領域変換パラメータによって動く軌跡もやはり連続なものとなる。そのため、頂点軌跡をあらかじめ算出してから、各処理を適用することが可能である。
【００１５】
本発明によれば、従来手法のように時空間領域が存在する全フレームについて内外判定を行う必要がなく、高速かつ効率的に時空間領域と指定された軌跡の通過判定を行うことが可能となる。
【００１６】
なお、装置に係る本発明は方法に係る発明としても成立し、方法に係る本発明は装置に係る発明としても成立する。
また、装置または方法に係る本発明は、コンピュータに当該発明に相当する手順を実行させるための（あるいはコンピュータを当該発明に相当する手段として機能させるための、あるいはコンピュータに当該発明に相当する機能を実現させるための）プログラムとしても成立し、該プログラムを記録したコンピュータ読取り可能な記録媒体としても成立する。
【００１７】
【発明の実施の形態】
以下、図面を参照しながら発明の実施の形態を説明する。
【００１８】
（第１の実施の形態）
本発明の実施の形態に係る時空間領域情報検索システムは、対象とされた時空間領域と、ある指定された軌跡（以下、参照軌跡と呼ぶ）との関係、例えば、対象時空間領域が参照軌跡を通過するかどうか、あるいはより詳細に対象時空間領域が参照軌跡を通過する時刻（タイムスタンプやフレーム番号など）もしくは参照軌跡が対象時空間領域の内部にある期間と外部にある期間などを判定するための機能を有するシステムである。
【００１９】
最初に、時空間領域情報について簡単に説明する。
【００２０】
なお、時空間領域情報の内容、生成方法、利用方法などについては、例えば、特開２００１−１１８０７５号公報や特開２００１−１１１９９６号公報などに詳しく開示されている（それらに開示されている物体領域データが、この時空間領域情報の一形態に相当する）。
【００２１】
まず、時空間領域情報の内容や、生成方法について簡単に説明する。
【００２２】
時空間領域情報は、種々の目的のために表示画面（例えばＧＵＩ画面）上に設けられる特定の領域の出現から消失までの時間的空間的領域（例えば各フレームにおける２次元的領域の時間的推移）を示す情報である。また、時空間領域情報は、通常、映像データ（もしくは動画像データ）に付随する情報である（映像データの内容そのものは、実写したもの、実写したものを加工したもの、ＣＧ、アニメーション、それらを組み合わせたもの等、どのようなコンテンツでもよい）。なお、映像データは、複数のフレームからなるものを想定して説明する。
【００２３】
この特定の領域は、例えば、映像データ中に存在する特定の物体（オブジェクト）を示す領域として利用することができる。この場合、あるフレームにおけるその特定の領域の形状が、そのフレームにおけるその特定の物体領域を表す（もしくは近似して表す）ものである。ここで、物体領域とは、映像中における一纏まりの領域部分であり、例えば、人、動物、植物、車、建物、道、川、太陽、雲など（あるいはその一部分、例えば人の頭、車のボンネット、建物の玄関など）、オブジェクトとして把握し得るものならどのようなものでも扱うことができる。また、独立したものであってもよいし、ものの一部（例えば人の頭、車のボンネット、建物の玄関）であってもよいし、ものの集合（例えば鳥や魚の群）であってもよい。
【００２４】
次に、図１、図２を参照しながら、１つの物体領域に対する時空間領域情報の生成について簡単に説明する。
【００２５】
まず、時空間領域情報の生成は、概略的には、例えば次のような手順によって行うことができる。なお、いずれの手順も自動化可能であり、またユーザの手作業を介入させることも可能である。
（１）映像データの所定のフレームから、対象となる物体の物体領域を抽出する。
（２）その物体領域を、所定の図形により近似する。
（３）その近似図形を特定する代表点を抽出する。
１〜３の手順は、当該物体領域に対する近似図形を出現させるフレームから消失させるフレームにわたって、全フレームまたはサンプリングした複数のフレームについて行われる。
（４）各代表点について、その位置（またはこれを特定可能とする量）の時系列を、時間ｔ（例えば映像に付与されているタイムスタンプ）もしくはフレーム番号ｆなどの関数（近似関数）により近似表現する。この近似表現したときの関数のパラメータの値が、求める値である。この関数は、各代表点ごと別々に、かつ、Ｘ座標とＹ座標で別々に表現される。
【００２６】
１〜４の手順は、対象となる各々の物体領域について行われる。
【００２７】
なお、近似図形には、例えば、辺の数がパラメータになる多角形、辺の数が固定された矩形などの多角形、円、楕円など、種々のものがある。また、代表点には、例えば、多角形の頂点、矩形の４つもしくは３つの頂点、円の中心と円周上の一点、もしくは円の直径の両端点、楕円の外接矩形の４つもしくは３つの頂点（内接矩形の４つもしくは３つの頂点でもよい）、または楕円の２つの焦点と楕円上の１点など、図形の種類に応じて、種々のものがある。
【００２８】
この関数のパラメータを保存しておけば、該パラメータから該関数が求められ、該関数をもとに所望の時間ｔもしくはフレーム番号ｆなどにおける各代表点のＸＹ座標値が求められ、該各代表点のＸＹ座標値から、当該所望の時間ｔもしくはフレーム番号ｆなどにおける近似図形の領域を求めることができる。
【００２９】
図１、図２は、物体領域に対する近似図形に多角形を利用し、代表点を多角形の頂点とし、各頂点の時間軸方向の軌跡に対する近似関数として２次の多項式スプライン関数を利用し、画像中のオブジェクト「魚」に対する時空間領域情報を生成する例である。
【００３０】
図１（ａ）において、２０は処理対象となっている映像中の１フレームを示している。２１は抽出対象となっている物体の領域を示している。２２は物体の領域を近似した近似多角形を示している。
【００３１】
図１（ｂ）は、複数のフレームにわたる近似図形の代表点、すなわちこの例における近似多角形２２及びその各頂点の推移、それらのうちの１つの頂点（Ｖ0）の近似曲線を表現したものである。
【００３２】
図１（ｃ）の２４は、代表点Ｖ0 について求められた関数の例である（ここでは基準代表点Ｖ0 の１つの座標軸についてのみ示している）。この例は、近似区間がｔ＝０〜５とｔ＝５〜１６の２つに分割された場合を示している。
【００３３】
図２は、代表点Ｖ0 のＸ座標の値を近似する関数を求めている例である。図中の３１は物体の存在している時間区間を表しており、黒い点（３２）が代表点Ｖ0 のＸ座標の値である。３３がその近似関数である。Ｙ座標に対しても、同様にして近似関数が求められる。近似関数として多項式スプライン関数を用いているので、図１（ｃ）の２４では節点と呼ばれる点により分割された時間区間ごとに多項式が定義されている。ここでは、ｔ＝０，５，１６がそれぞれ節点時刻となる。
【００３４】
代表点Ｖ0 以外の代表点についてもそれぞれ同様である。
【００３５】
一方、代表点Ｖ0 以外の代表点については、当該代表点を当該代表点とは別の代表点からの相対的関係、例えば差分ベクトルによって表し、そのベクトルの軌跡により記述する方法もある。図３は、その一例として、近似多角形において、基準とする代表点Ｖ0 と、その他の代表点を表すための差分ベクトルの各々を説明している図である。図４の黒い点列（４２）は、各時刻におけるベクトルＶ0,1 のＸ成分の値を表している。
【００３６】
また、上記では、各フレームにおける代表点の位置又は差分ベクトルの軌跡を近似したが、ある基準となるフレームにおける代表点の位置又は差分ベクトルを各フレームにおける代表点の位置又は差分ベクトルに変換する関数のパラメータの軌跡を近似する方法もある。あるいは、先行するフレームにおける代表点の位置又は差分ベクトルを後続するフレームにおける代表点の位置又は差分ベクトルに変換する関数のパラメータの軌跡を近似する方法もある。
【００３７】
その他にも、時空間領域情報の形態には、種々のバリエーションがあり、本発明は、どのような形態の時空間領域情報にも適用可能である。
また、時空間領域情報には、例えば、各物体領域に対応する各代表点ごとで且つ各フレームごと、あるいは各物体領域ごとで且つ各フレームごと、あるいは各物体領域の各代表点ごと、あるいは各物体領域ごとなどの所定の単位で、所定の属性情報もしくは関連情報などが付加されることもある。本発明は、このような時空間領域情報にも適用可能である。
【００３８】
図５に、本実施形態の説明で用いる時空間領域情報のデータ構造の一例を示す。図５に示されるように、本例の時空間領域情報は、時空間領域情報識別情報（以下、ＩＤ番号）１０１、先頭時刻１０２、最終時刻１０３、形状フラグ１０４、軌跡データ１０５を含むものである。
【００３９】
ＩＤ番号１０１は、時空間領域ごとに付与される識別番号である。
【００４０】
先頭時刻１０２と最終時刻１０３は、当該ＩＤ番号の時空間領域が存在する先頭と最終の時刻である。先頭時刻と最終時刻はタイムスタンプによって表現してもよいし、フレーム番号で表現してもよい。
【００４１】
形状フラグ１０４は、領域形状がどのように表現されているかを示すものである。領域形状は、例えば、矩形、楕円、多角形などで表現されているため、それらを一意に区別するような情報が記述される。多角形の場合には、頂点数情報も形状フラグに付加される。
【００４２】
軌跡データ１０５は、時空間領域を表現するためのパラメータデータである。これは、先頭時刻から最終時刻までの時空間領域形状が決定できるようなものである。例えば、領域形状が矩形や多角形の場合における、各頂点の軌跡を関数近似したときのパラメータ、領域形状が楕円の場合における、楕円の外接矩形頂点の軌跡を関数近似したときのパラメータなどである。１０６のように、軌跡データ１０５は、１つの代表点について、Ｘ座標軌跡とＹ座標軌跡を別々に記述するため、軌跡データは、代表点数×２だけ存在する。
【００４３】
図６に、図５の時空間領域情報における各々の軌跡データ１０５のデータ構造の一例を示す。これは、スプライン関数などで関数補間された連続する軌跡を表すためのもので、時間とＸ座標やＹ座標などのパラメータとの関係を格納するためのものである。
【００４４】
節点数２０１は、スプライン関数の節点の数を表しており、節点数−１個の多項式のデータ２０６があることを示している。スプライン関数は、隣接する節点の間の区間ごとにそれぞれ別の多項式で表現されるため、節点の数に対応した数の多項式が必要となる。したがって、節点フレーム番号、多項式の係数などを含むデータ２０６は、複数繰り返し記述される。
【００４５】
先頭節点時刻２０２は、スプライン関数の最初の節点の時刻を表す。
【００４６】
節点時刻２０３は、当該多項式データの終わりの節点時刻を表しており、この節点時刻まで多項式のデータ２０６が有効であることを示している。これはフレーム番号の代わりにタイムスタンプによって記述してもよい。多項式の係数データの数は、スプライン関数の最高次数により変化する（最高次数をＫとすると、係数データの数はＫ＋１となる）。そのため、係数データ数を多項式次数２０４に保存してある。多項式次数２０４の後には多項式次数＋１個に相当する数の多項式係数２０５が続く。
【００４７】
なお、時空間領域との間で通過判定を行う「参照軌跡」は、例えば、図６の軌跡データのデータ構造を用いて表現することができる。なお、図５の時空間領域情報における軌跡データのデータ構造と、参照軌跡のデータ構造とが異なっても構わない。
【００４８】
また、参照軌跡の指定の方法については、外部から参照軌跡のデータを読み込む方法であってもよいし、ユーザが所定のツールを用いて参照軌跡のデータを記述する方法であってもよいし、ユーザがＧＵＩ画面上に表示された時空間において描いた軌跡をもとに参照軌跡のデータを生成する方法であってもよいし、それら以外の方法であってもよい。
【００４９】
以下、本実施形態の時空間領域情報検索システムの構成例について詳しく説明する。
【００５０】
ここでは、図５及び図６の時空間領域情報を通過判定の対象とする場合を例にとって説明する。
【００５１】
図７に、本実施形態に係る時空間領域情報検索システムの構成例を示す。図７に示されるように、本時空間領域情報検索システムは、時空間領域情報記憶部３０１、内外判定部３０２、曲面交差判定部３０３、結果出力部３０４を備えている。
【００５２】
この時空間領域情報検索システムは、計算機上でプログラムを実行する形で実現することができる。また、そのプログラムを、他のソフトウェアの一機能として組み込むようにすることも可能である。また、必要に応じて、その計算機に、所望の機能を有するＯＳやドライバソフト、パケット通信用ソフト、暗号ソフト等といったソフトウェア、あるいは通信インタフェース装置や外部記憶装置や入出力装置等といったハードウェアを搭載あるいは接続することができる。
【００５３】
時空間領域情報記憶部３０１は、近似矩形もしくは近似多角形の各頂点の軌跡や近似楕円に外接する矩形の各頂点の軌跡などによって表された時空間領域情報が記憶されているもので、例えばハードディスクや光ディスク、半導体メモリなどで構成される。
【００５４】
内外判定部３０２は、時空間領域が存在する時間のうち所定のフレームを取り出し、そのフレームにおける領域の形状を算出し、通過判定を行う参照軌跡の当該フレームにおける座標との内外判定を行う。なお、内外判定部３０２は、図７では、曲面交差判定部３０３の前段にあるが、その代わりに、曲面交差判定部３０３の後段にあってもよいし、互いに独立したプロセスとして曲面交差判定部３０３と並列に実行されるようにしてもよい。
【００５５】
取り出すべき所定のフレームは、時空間領域が存在しているならば、どのフレームでもよい。例えば、領域形状の求めやすさから、時空間領域の先頭フレームを使用するようにしてもよい。
【００５６】
時空間領域が矩形で表現されているなら、当該フレームの４頂点の座標ｐ１〜ｐ４を求める。時空間領域が多角形で表現されているなら、当該フレームの全頂点の座標ｐ１〜ｐＮ（Ｎ：頂点数）を求める。時空間領域が楕円に外接する矩形で表現されているなら、当該フレームの外接矩形頂点の座標（ｐ１〜ｐ４）を求めて、楕円の中心点、長径・短径の長さ、傾きなど楕円のパラメータを求める。
【００５７】
通過判定を行う参照軌跡の当該フレームにおける座標をｒとすると、当該フレームの領域形状とｒとの内外判定は、例えば以下のように行うことができる。
【００５８】
（１）領域情報が矩形または多角形のとき
図８に示すように、多角形５０１と座標ｒ（５０２）の内外判定となる。この場合の内外判定アルゴリズムは多数存在しており、どのような方法を利用してもよい。例えば、座標ｒから（多角形と交わる）直線５０３を引き、直線５０３が多角形の外周と何回交わるかを判定する。奇数回交わるなら座標ｒは多角形の内側、偶数回交わるなら多角形の外側である。図８の例では、右下の直線を用いたときは１回（左上の直線を用いたときは３回）交わっているので、座標ｒは多角形（すなわち対象となる時空間領域）の内部に存在すると判定される。
【００５９】
（２）領域情報が楕円のとき
図９に示すように、楕円６０１と座標ｒ（６０２）の内外判定となる。この場合の内外判定アルゴリズムは多数存在しており、どのような方法を利用してもよい。図９の例においては、楕円６０１の中心点Ｓ＝（Ｓｘ，Ｓｙ）、楕円の２軸の長さをＶ０，Ｖ１、回転角θとすると、楕円の内部は以下のように表すことができる。
Ｐ＝（cosθ／Ｖ0）2＋（sinθ／ｖ1）2
Ｑ＝２*sinθ*cosθ*（１／Ｖ02−１／Ｖ12）
Ｒ＝（sinθ／Ｖ0）2＋（cosθ／ｖ1）2
Ｐ*（ｘ−Ｓx）2＋Ｑ*（ｘ−Ｓx）*（ｙ−Ｓy）＋Ｒ*（ｙ−Ｓy）2≦１
（ｘ，ｙ）にｒの座標６０２を代入して、この不等式が成り立てば、ｒは楕円の内部にあり、不等式が成り立たなければ、ｒは楕円の外部にあることがわかる。図９の例では、上記の不等式が成り立ち、座標ｒは楕円（すなわち対象となる時空間領域）の内部に存在すると判定される。
【００６０】
なお、楕円の外接矩形の頂点ベクトルをｐ1〜ｐ4（ｐM＝（ｐMx，ｐMy）とする）とすると、楕円の中心点ベクトルＳ＝（Ｓx，Ｓy）、楕円の２軸の長さをＶ0，Ｖ1、回転角θは以下のように表すことができる（ただし、回転角に関しては、sinθ、cosθを求める）。
ｓ＝（ｐ1＋ｐ3）／２
Ｖ0＝｜ｐ2−ｐ1｜／２
ｖ1＝｜ｐ3−ｐ2｜／２
sinθ＝（ｐ2y−ｐ1y）／（２*Ｖ0）
cosθ＝（ｐ2x−ｐ1x）／（２*Ｖ0）
もちろん、時空間領域を近似する近似図形の形状や表現方法に応じて種々の内外判定方法があり、どのような内外判定方法を用いても構わない。なお、内外判定については、例えば、“「グラフィックスの数理」、杉原厚吉著、共立出版株式会社、１９９５年、ｐｐ．８７-９２”にて説明されている。
【００６１】
曲面交差判定部３０３は、時空間領域の外周が張る曲面と参照軌跡との交差判定を行う。これは、時空間領域の外周を数式として表現し、参照軌跡を表す数式との方程式を解くことによって行う。
【００６２】
領域形状が楕円の場合には、楕円外周全体を１つの数式で表せばよい（楕円外周全体を複数の数式で表しても構わない）。領域形状が矩形または多角形の場合には、各辺が張る曲面ごとに数式で表すものとする。時空間領域を表すための頂点軌跡データがスプライン関数で表現されている場合には、スプラインの節点間ごとに曲面を分割して数式で表す。
【００６３】
頂点軌跡間にて同じ節点フレームが利用されている場合には、時空間領域が楕円のときは、（節点数−１）個の曲面、矩形のときは、（節点数−１）*４個の曲面、多角形のときは、（節点数−１）*（頂点数）個の曲面で表すことができる。なお、あるフレームにおいて、ある頂点は、そのフレームで節点となっていて、他の頂点は、節点となっていないときは、節点がない頂点軌跡の当該フレームに節点を追加したものとして扱うことによって、曲面を分割可能である。
【００６４】
時空間領域の外周が張る曲面が複数の曲面で表される場合には、参照軌跡との交差判定を、全曲面についてそれぞれ行う。
【００６５】
１つの曲面（時空間領域の外周が唯一の曲面で表現される場合の当該１つの曲面または時空間領域の外周が複数の曲面で表現される場合の個々の曲面）と、参照軌跡との交差判定処理は、例えば以下のように行うことができる。
【００６６】
（１）領域情報が矩形または多角形のとき
図１０に示すように、矩形または多角形における当該辺７０１の両端の頂点ベクトルの軌跡７０２，７０３を時間ｔの関数で表し、それぞれＰ(t)，Ｑ(t)とする。また、当該曲面の両端の節点時刻をｔ0，ｔ1とする。このとき、曲面上の点Ｒの通過範囲は、パラメータｋを利用して、
Ｒ(t,k)＝Ｐ(t)＋ｋ*（Ｑ(t)−Ｐ(t)）
ただし、ｔ0≦ｔ≦ｔ1，０≦ｋ≦１
と表すことができる。
【００６７】
参照軌跡ベクトルを時間ｔの関数ｒ(t)とすると、
Ｒ(t,k)＝ｒ(t)
ただし、ｔ0≦ｔ≦ｔ1，０≦ｋ≦１
となる、ｔ，ｋが存在するとき、当該曲面と指定された軌跡は、時刻ｔに交差する。よって、
Ｐ(t)＋ｋ*（Ｑ(t)−Ｐ(t)）−ｒ(t)＝０
をｔ，ｋについて解けばよい。
【００６８】
Ｐ(t)＝（Ｐx(t)，Ｐy(t)）
Ｑ(t)＝（Ｑx(t)，Ｑy(t)）
ｒ(t)＝（ｒx(t)，ｒy(t)）
とすると、
Ｐx(t)＋ｋ*（Ｑx(t)−Ｐx(t)）−ｒx(t)＝０
Ｐy(t)＋ｋ*（Ｑy(t)−Ｐy(t)）−ｒy(t)＝０
となり、ｔ，ｋの連立方程式を解く問題に帰着する。ここで、ｋを消去すると、
（ｒx(t)−Ｐx(t)）*（Ｑy(t)−Ｐy(t)）−（ｒy(t)−Ｐy(t)）*（Ｑx(t)−Ｐx(t)）＝０
となり、各軌跡がｎ次関数で表されているとすると、上記方程式は、（２*ｎ）次方程式となる。これを解の公式などで解けばよい。また、高次方程式になった場合は、Ｎｅｗｔｏｎ法などで数値解を求めればよい。そして、ｔ0≦ｔ≦ｔ1なる解について、ｋを評価し、０≦ｋ≦１であれば、当該曲面と参照軌跡は、解となった時刻において交差することがわかる。
【００６９】
各軌跡が任意の非線形関数のときも、上記方程式がＮｅｗｔｏｎ法などで解くことができれば、本手法を用いて交差判定を行うことができる。
【００７０】
（２）領域情報が楕円のとき
図１１に示すように、楕円８０１の中心点ベクトルの時刻ｔに対する軌跡を、Ｓ(t)＝（Ｓx(t)，Ｓy(t)）、楕円の２軸の長さの軌跡をＶ0(t)，Ｖ1(t)、回転角の軌跡をθ(t)とする。ここで、楕円の外接矩形の頂点ベクトルの軌跡を、ｐ1(t)〜ｐ4(t)（ｐM(t)＝ｐMx(t)，ｐMy(t)とする）とする。また、当該曲面の両端の節点時刻を、ｔ0，ｔ1とする。
【００７１】
ｐ21x(t)＝ｐ2x(t)−ｐ1x(t)
ｐ21y(t)＝ｐ2y(t)−ｐ1y(t)
ｐ32x(t)＝ｐ3x(t)−ｐ2x(t)
ｐ32y(t)＝ｐ3y(t)−ｐ2y(t)
とすると、
Ｓ(t)＝（ｐ1(t)＋ｐ3(t)）／２
ｖ0(t)2＝｛ｐ21x(t)2＋ｐ21y(t)2｝／４
ｖ1(t)2＝｛ｐ32x(t)2＋ｐ32y(t)2｝／４
sinθ(t)＝ｐ21y(t)／（２*ｖ0(t)）＝ｐ32x(t)／（２*ｖ1(t)）
cosθ(t)＝ｐ21x(t)／（２*ｖ0(t)）＝ｐ32y(t)／（２*ｖ1(t)）
となる。
【００７２】
楕円の外周の軌跡を表す式は、
Ｐ(t)＝（cosθ(t)／ｖ0(t)）2＋（sinθ(t)／ｖ1(t)）2
Ｑ(t)＝２*sinθ(t)*cosθ(t)*（１／ｖ0(t)2−１／ｖ1(t)2）
Ｒ(t)＝（sinθ(t)／ｖ0(t)）2＋（cosθ(t)／ｖ1(t)）2
としたとき、
Ｐ(t)*（ｘ−Ｓx(t)）2＋Ｑ(t)*（ｘ−Ｓx(t)）*（ｙ−Ｓy(t)）＋Ｒ(t)*（ｙ
−Ｓｙ(t)）2＝１ …（１）
ただし、ｔ0≦ｔ≦ｔ1
となる。
【００７３】
参照軌跡ベクトルを時間ｒ(t)＝（ｒx(t)，ｒy(t)）とすると、
（ｘ，ｙ）＝（ｒx(t)，ｒy(t)）としたとき、式（１）を満たすようなｔが存在すれば、その時刻において楕円外周と参照軌跡は交差する。
【００７４】
よって、
ｒsx(t)＝ｒx(t)−Ｓx(t)
ｒsy(t)＝ｒy(t)−Ｓy(t)
としたとき、
Ｐ(t)*ｒsx(t)2＋Ｑ(t)*ｒsx(t)*ｒsy(t)*（ｒy(t)−Ｓy(t)）＋Ｒ(t)*ｒsy(t
)2＝１ …（２）
ただし、ｔ0≦ｔ≦ｔ1
を解けばよい。
【００７５】
Ｐ(t)，Ｑ(t)，Ｒ(t)は、以下のように変形できる。
Ｐ(t)＝４*（ｐ21y(t)2＋ｐ32y(t)2）／｛（ｐ32x(t)2＋ｐ32y(t)2）*（ｐ21x(t)2＋ｐ21y(t)2）｝
Ｑ(t)＝８*（ｐ32x(t)*ｐ32y(t)−ｐ21x(t)*ｐ21y(t)）／｛（ｐ32x(t)2＋ｐ32y(t)2）*（ｐ21x(t)2＋ｐ21y(t)2）｝
Ｒ(t)＝４*（ｐ21x(t)2＋ｐ32x(t)2）／｛（ｐ32x(t)2＋ｐ32y(t)2）*（ｐ21x(t)2＋ｐ21y(t)2）｝
これより、式（２）は、以下のように整理できる。
外形矩形の頂点軌跡および参照軌跡がｎ次関数で表されているとすると、式（３）は、（４*ｎ）次方程式となる。これを解の公式などで解けばよい。また、高次方程式になった場合は、Ｎｅｗｔｏｎ法などで数値解を求めればよい。ｔ0≦ｔ≦ｔ1なる解が存在すれば、当該曲面と参照軌跡は、解となった時刻において交差することがわかる。
【００７６】
各軌跡が任意の非線形関数のときも、式（３）がＮｅｗｔｏｎ法などで解くことができれば、本手法を用いて交差判定を行うことができる。
【００７７】
結果出力部３０４は、内外判定部３０２と曲面交差判定部３０３で得られた情報をもとに、時空間領域と参照軌跡の通過判定の結果を出力する。出力するデバイスは、ディスプレイやハードディスクあるいはネットワーク・インタフェースなど、どのようなものでもよい。また、本システムが、計算機上で動作するプログラムである場合に、通過判定の結果を、同一計算機上で動作する他のプロセスに出力してもよい。
【００７８】
通過判定では、例えば、以下の処理が行われる。
【００７９】
まず、曲面交差判定部３０３により、対象となる時空間領域の外周を表す全曲面について参照軌跡との交差判定を行うことにより、該時空間領域の外周と参照軌跡のすべての交点時刻ｔ1〜ｔkが得られている。
【００８０】
ここで、例えば、交点時刻ｔi〜ｔi+1において参照軌跡が該時空間領域の内部にあったとすれば、交点時刻ｔi-1〜ｔiとｔi+1〜ｔi+2には、参照軌跡は、該時空間領域の外部にあると考えることができる。逆に、交点時刻ｔi〜ｔi+1において参照軌跡が該時空間領域の外部にあたっとすれば、交点時刻ｔi-1〜ｔiとｔi+1〜ｔi+2には、参照軌跡は、該時空間領域の内部にあると考えることができる。すなわち、いずれかの時刻において参照軌跡が時空間領域の内部にあるか外部にあるかがわかれば、いずれの時刻についても参照軌跡が時空間領域の内部にあるか外部にあるかがわかる。
【００８１】
しかして、内外判定部３０２により、該時空間領域が存在する時間内（先頭時刻＝ｔs、最終時刻＝ｔeとする）の所定のフレーム（例えば先頭フレーム）において、参照軌跡が該時空間領域の内部にあるか外部にあるかがわかっている。
【００８２】
そこで、結果出力部３０４は、内外判定部３０２により求められたフレームでの内外判定結果をもとに、曲面交差判定部３０３により求められた交点時刻ｔ1〜ｔkから与えられる、当該時空間領域が存在する時間内の各々の期間ｔs〜ｔ1、ｔ1〜ｔ2、…、ｔk-1〜ｔk、ｔk〜ｔeについて、参照軌跡が該時空間領域の内部にあるか外部にあるかを特定する。
【００８３】
ただし、曲面交差判定部３０３により交点時刻が１つも求まらなかった場合、すなわち参照軌跡が該時空間領域と交わらない場合には、内外判定部３０２により例えば先頭フレームが内部にある判定されたならば、参照軌跡は、当該時空間領域の全期間ｔs〜ｔeにおいて常に該時空間領域の内部にあることがわかり、外部にあると判定されたならば、参照軌跡は、当該時空間領域の全期間ｔs〜ｔeにおいて常に該時空間領域の外部にあることがわかる。
【００８４】
通過判定結果としては、例えば、上記の各期間の開始の時刻または終了の時刻と、その期間において内部か外部かを示す情報との組を列挙することで、表現することができる。
【００８５】
なお、上記に加えて、例えば、交点時刻において参照軌跡が該時空間領域と交わる位置を示す座標をも求めて、通過判定結果に含めて出力するようにしてもよい。
【００８６】
また、例えば、該時空間領域が存在する時間に対する、参照軌跡が該時空間領域の内部に存在する時間の比などの、所定の評価値をも求めて、通過判定結果に含めて出力するようにしてもよい。
【００８７】
なお、結果出力部３０４は、内外判定部３０２で得られた情報（例えば、先頭フレームにおける内外判定結果）と、曲面交差判定部３０３で得られた情報（例えば、交点時刻ｔ1〜ｔk）を、そのまま出力する構成も可能である。
【００８８】
図１２に、本時空間領域情報検索システムにおける処理手順の一例を示す。図１２に示されるように、本処理手順は、任意１フレームにおける内外判定を行うステップＳ４３と、曲面通過判定を行うステップＳ４２と、全曲面についてＳ４２を実行したかを判別するステップＳ４３と、通過判定処理を行ってその結果を出力するステップＳ４２とを有する。
【００８９】
なお、前述したように、ステップＳ４１を、ステップＳ４２およびステップＳ４３のループ処理の後で行ってもよいし、ステップＳ４１と、ステップＳ４２およびステップＳ４３のループ処理とを並列的に行ってもよい。
【００９０】
ステップＳ４１では、時空間領域が存在する時間のうち所定のフレームを取り出し、そのフレームにおける領域の形状を算出し、通過判定を行う軌跡の当該フレームにおける座標との内外判定を行う。ステップＳ４２では、時空間領域の外周が張る曲面を頂点軌跡の節点および各辺で分割した曲面について、参照軌跡との交差判定を行う。ステップＳ４３では、分割された全曲面について交差判定を行ったかどうか判別する。全曲面について交差判定が完了するまでループし、全曲面について交差判定が完了すれば終了する。ステップＳ４２は、例えば、時空間領域が楕円のときは、（節点数−１）回、矩形のときは、（節点数−１）*４回、多角形のときは、（節点数−１）*（頂点数）回、実行される。ステップＳ４４は、結果を出力するためのステップである。これは、ステップＳ４２からステップＳ４４までで得られた情報を要求に合わせて出力する。出力するデバイスは、ディスプレイやハードディスクなど、どのようなものでもよい。
【００９１】
ところで、前述した処理例よりも簡易な通過判定結果を求める構成も可能である。
【００９２】
例えば、参照軌跡が対象となる時空間領域と交わるか否かのみ求めて出力する方法がある。この場合には、交点時刻が１つでも求まれば、参照軌跡が該時空間領域と交わることが分かる。従って、まず、交点時刻が少なくとも１つ存在するか否かを調べればよい（例えば、各曲面について順次、参照軌跡との交点を求めていき、最初に参照軌跡が求まったところで、処理を終了する）。交点時刻が少なくとも１つ存在することが分かった場合には、内外判定は不要になる。次いで、交点時刻が１つも存在しないことが分かった場合（例えば、全曲面について、交点時刻が求まらなかった場合）には、ここではじめて内外判定を行い、内部と判定されたならば、参照軌跡が該時空間領域と交わることがわかり、外部と判定されたならば、参照軌跡が該時空間領域と交わらないことがわかる。
【００９３】
また、複数の通過判定方法を用意し、例えば、目的などに応じて、適宜、使い分けて使用してもよい。例えば、詳細な通過判定方法と、簡易な通過判定方法を用意しておき、参照軌跡が該時空間領域と交わる全交点時刻が必要である場合には、前者の方法を使用し、参照軌跡が対象となる時空間領域と交わるか否かのみの情報が必要である場合には、後者を使用するようにしてもよい。また、例えば、対象とする時空間領域が多数ある場合に、最初に、後者の方法によって、参照軌跡と交わる時空間領域のみを抽出し、抽出された時空間領域のみを対象として、前者の方法により詳細に参照軌跡に対する通過判定処理を行うような方法もある。
【００９４】
（第２の実施形態）
本実施形態では、図５とは異なるデータ構造の時空間領域情報に本発明を適用した場合について説明する。なお、本実施形態では、第１の実施形態と相違する点を中心に説明する。
【００９５】
第１の実施形態では、代表点の位置データをフレームの進行に沿って並べたときの軌跡を所定の関数で近似し、該関数のパラメータを用いて記述された時空間領域情報を例にとったが、本実施形態では、代表点の基準となるフレームにおける位置データから、他のフレームにおける位置データへの領域変換を示す変換パラメータを求め、該変換パラメータについて、該変換パラメータをフレームの進行に沿って並べたときの軌跡を所定の関数で近似し、該関数のパラメータを用いて記述された時空間領域情報を例にとって説明する。
【００９６】
図１３に、時空間領域情報のデータ構造の他の例を示す。図１３に示されるように、本例の時空間領域情報は、ＩＤ番号９０１、先頭時刻９０２、最終時刻９０３、参照領域フラグ９０４、参照領域形状情報９０５、変換形式フラグ９０６、軌跡データ９０７を含むものである。
【００９７】
ＩＤ番号９０１と、先頭時刻９０２と、最終時刻９０３とは、図５におけるＩＤ番号１０１、先頭時刻１０２、最終時刻１０３のそれぞれと同等の意味を持つ。
【００９８】
参照領域フラグ９０４は、参照領域の形状がどのように表現されているかを示すものである。参照領域の形状は、例えば、矩形、楕円、多角形などで表現されているため、それらを一意に区別するような情報が記述される。多角形の場合は、頂点数情報も参照領域フラグに付加される。
【００９９】
参照領域形状情報９０５は、参照領域形状を格納するためのものである。例えば、参照領域形状が矩形や多角形のときは、各頂点の座標、参照領域形状が楕円のときは、外接矩形の頂点座標や、中心点、長軸短軸の長さなどのパラメータが格納される。
【０１００】
変換形式フラグ９０６は、参照領域から各フレームにおける時空間領域情報への領域変換を示す変換パラメータがどのような形式で示されているかを示すものである。領域変換を示す変換パラメータの形式には、例えば、平行移動、一次変換、アフィン変換などがあるため、それらを一意に区別するような情報が記述される。
【０１０１】
軌跡データ９０７は、参照領域から各フレームにおける時空間領域情報への領域変換を示す変換パラメータのそれぞれの軌跡を記述するためのものである。軌跡データ９０７は、例えば、図６に示されるような軌跡データのデータ構造を持つ。変換パラメータは、複数持つことが多いため、軌跡データも変換パラメータの数だけ記述される。軌跡データの数は、変換形式フラグ９０７によって一意に決まり、例えば、平行移動のときは２つ、一次変換のときは４つ、アフィン変換のときは６つである。軌跡データの順番は、変換パラメータの意味によって決めておき、例えば、以下のようにする。
時刻ｔの関数であるパラメータの軌跡データがｚ1（ｔ），ｚ2（ｔ），…と並んでいるとき、参照領域上のある点ｐ＝（ｐx，ｐy）が領域変換によって変換された軌跡を、Ｐ（ｔ）＝（Ｐx（ｔ），Ｐy（ｔ））とすると、
【０１０２】
パラメータの軌跡データｚ1（ｔ），ｚ2（ｔ），…が、ｎ次多項式で表されているとき、上式よりＰx（ｔ），Ｐy（ｔ）もやはりｎ次多項式で表すことが可能となる。
【０１０３】
なお、時空間領域との間で通過判定を行う「参照軌跡」は、例えば、図６の軌跡データのデータ構造を用いて表現することができる。なお、図５の時空間領域情報における軌跡データのデータ構造と、参照軌跡のデータ構造とが異なっても構わない。
【０１０４】
以下、本実施形態の時空間領域情報検索システムの構成例について詳しく説明する。
【０１０５】
ここでは、図１３及び図６の時空間領域情報を通過判定の対象とする場合を例にとって説明する。
【０１０６】
図１４に、この場合における時空間領域情報検索システムの構成例を示す。
【０１０７】
図１４に示されるように、本時空間領域情報検索システムは、時空間領域情報記憶部１００１、軌跡データ変換部１００２、内外判定部１００３、曲面交差判定部１００４、結果出力部１００５とを備えている。
【０１０８】
時空間領域情報記憶部１００１は、参照領域と参照領域から該フレームにおける時空間領域情報への領域変換を示す変換パラメータにより記述した時空間領域情報が記憶されているもので、例えばハードディスクや光ディスク、半導体メモリなどで構成される。
【０１０９】
軌跡データ変換部１００２は、参照領域と参照領域から該フレームにおける時空間領域情報への領域変換を示す変換パラメータにより記述した時空間領域情報を、近似矩形もしくは近似多角形の各頂点の軌跡や近似楕円に外接する矩形の各頂点の軌跡などによって表された時空間領域情報（すなわち、第１の実施形態の時空間領域情報（図５および図６））に変換する。
【０１１０】
参照領域は、矩形・多角形・楕円などで表されるため、矩形や多角形については、その各頂点座標を領域変換を示す変換パラメータの軌跡によって変換される軌跡を求める。楕円については、その外接矩形の各頂点座標を領域変換を示す変換パラメータの軌跡によって変換される軌跡を求める。参照領域上のある点Ｐ＝（Ｐx，Ｐy）が、領域変換によって変換された軌跡Ｐ(t)＝（Ｐx(t)，Ｐy(t)）は、式（４）のように計算できるため、領域変換を示す変換パラメータの軌跡がｎ次のスプライン関数で記述されていたとすると、軌跡データ変換部によって変換された各頂点の軌跡は、ｎ次のスプライン関数となる。
【０１１１】
軌跡データ変換部１００２と内外判定部１００３と曲面交差判定部１００４と結果出力部１００５は、それぞれ、図７における内外判定部３０１、曲面交差判定部３０２、結果出力部３０３と同等の機能を持つ。軌跡データ変換部１００２によって変換された時空間領域情報は、第１の実施形態における時空間領域情報と同等の情報を持つ。本実施形態の内外判定部１００３や曲面交差判定部１００４は、時空間領域情報記憶部１００１に記憶されている時空間領域情報を処理対象とするのではなく、軌跡データ変換部１００２により変換された後の時空間領域情報を処理対象とする点が、第１の実施形態と相違する。
【０１１２】
すなわち、本実施形態では、軌跡データ変換部１００２が、参照領域と参照領域から該フレームにおける時空間領域情報への領域変換を示す変換パラメータにより記述した時空間領域情報を、近似矩形もしくは近似多角形の各頂点の軌跡や近似楕円に外接する矩形の各頂点の軌跡などによって表された時空間領域情報に変換した後は、第１の実施形態と同様の処理が行われる。
【０１１３】
図１５に、本時空間領域情報検索システムにおける処理手順の一例を示す。図１５に示されるように、本処理手順は、軌跡データを変換するステップＳ１１０１と、任意１フレームにおける内外判定を行うステップＳ１１０２と、曲面通過判定を行うステップＳ１１０３と、全曲面についてＳ１１０３を実行したかを判別するステップＳ１１０４と、通過判定処理を行ってその結果を出力するステップＳ１１０５で構成される。
【０１１４】
なお、前述したように、ステップＳ１１０２を、ステップＳ１１０３およびステップＳ１１０４のループ処理の後で行ってもよいし、ステップＳ１１０２と、ステップＳ１１０３およびステップＳ１１０４のループ処理とを並列的に行ってもよい。
【０１１５】
ステップＳ１１０１では、参照領域と参照領域から該フレームにおける時空間領域情報への領域変換を示す変換パラメータにより記述した時空間領域情報を、近似矩形もしくは近似多角形の各頂点の軌跡や近似楕円に外接する矩形の各頂点の軌跡などによって表された時空間領域情報に変換する。
【０１１６】
ステップＳ１１０２〜Ｓ１１０５は、第１の実施形態（図１２）のステップＳ４１〜Ｓ４４と同様である。
【０１１７】
本実施形態によれば、参照領域と参照領域から該フレームにおける時空間領域情報への領域変換を示す変換パラメータにより記述した時空間領域情報においても、各代表点の軌跡として記述された時空間領域情報と同様に編集を行うことができる。
【０１１８】
もちろん、本時空間領域情報検索システムは、それらの他のデータ構造の時空間領域情報を扱うようにすることもできる。
【０１１９】
例えば、近似図形のある（１又は複数の）代表点については図５および図６のように当該代表点の位置データをフレームの進行に沿って並べたときの軌跡を所定の関数で近似し、該関数のパラメータを用いて記述し、それ以外の代表点については、同一フレームにおける他の代表点を基準としたときの当該代表点の相対的な位置を示すデータ（例えば、差分ベクトル）をフレームの進行に沿って並べたときの軌跡を所定の関数で近似し、該関数のパラメータを用いて記述した時空間領域情報についても、これを軌跡データ変換部１００２によって、近似矩形もしくは近似多角形の各頂点の軌跡や近似楕円に外接する矩形の各頂点の軌跡などによって表された時空間領域情報に変換した後に処理を行えばよい。
【０１２０】
また、例えば、近似図形の（１又は複数の）代表点については図１３および図６のように代表点の基準となるフレームにおける位置データから、他のフレームにおける位置データへの領域変換を示す変換パラメータを求め、該変換パラメータについて、該変換パラメータをフレームの進行に沿って並べたときの軌跡を所定の関数で近似し、該関数のパラメータを用いて記述し、それ以外の代表点については、同一フレームにおける他の代表点を基準としたときの当該代表点の相対的な位置を示すデータ（例えば、差分ベクトル）をフレームの進行に沿って並べたときの軌跡を所定の関数で近似し、該関数のパラメータを用いて記述した時空間領域情報についても、これを軌跡データ変換部１００２によって、近似矩形もしくは近似多角形の各頂点の軌跡や近似楕円に外接する矩形の各頂点の軌跡などによって表された時空間領域情報に変換した後に処理を行えばよい。
【０１２１】
また、本時空間領域情報検索システムは、複数種類のデータ構造の時空間領域情報を扱うようにすることもできる。この場合には、時空間領域情報に、データ構造を識別するための識別情報を付加し、時空間領域情報処理システムは、時空間領域情報を処理するに際して、その識別情報を参照して、データ構造を特定し、そのデータ構造に応じた処理を行うようにすればよい。
【０１２２】
なお、以上の各機能は、ソフトウェアとして実現可能である。
また、本実施形態は、コンピュータに所定の手段を実行させるための（あるいはコンピュータを所定の手段として機能させるための、あるいはコンピュータに所定の機能を実現させるための）プログラムとして実施することもでき、該プログラムを記録したコンピュータ読取り可能な記録媒体として実施することもできる。
【０１２３】
なお、この発明の実施の形態で例示した構成は一例であって、それ以外の構成を排除する趣旨のものではなく、例示した構成の一部を他のもので置き換えたり、例示した構成の一部を省いたり、例示した構成に別の機能あるいは要素を付加したり、それらを組み合わせたりすることなどによって得られる別の構成も可能である。また、例示した構成と論理的に等価な別の構成、例示した構成と論理的に等価な部分を含む別の構成、例示した構成の要部と論理的に等価な別の構成なども可能である。また、例示した構成と同一もしくは類似の目的を達成する別の構成、例示した構成と同一もしくは類似の効果を奏する別の構成なども可能である。
また、この発明の実施の形態で例示した各種構成部分についての各種バリエーションは、適宜組み合わせて実施することが可能である。
また、この発明の実施の形態は、個別装置としての発明、個別装置内部の構成部分についての発明、またはそれらに対応する方法の発明等、種々の観点、段階、概念またはカテゴリに係る発明を包含・内在するものである。
従って、この発明の実施の形態に開示した内容からは、例示した構成に限定されることなく発明を抽出することができるものである。
【０１２４】
本発明は、上述した実施の形態に限定されるものではなく、その技術的範囲において種々変形して実施することができる。
【０１２５】
【発明の効果】
本発明によれば、映像データ中の複数フレームにわたる任意の時空間領域を指定された軌跡が通過するかどうかを高速かつ効率的に判別し、通過する時刻情報を抽出することが可能になる。
【図面の簡単な説明】
【図１】映像中の物体の領域を物体領域データで記述するための処理の概要を説明するための図
【図２】基準代表点のＸ座標の値を近似する関数を求める例を説明するための図
【図３】基準代表点以外の代表点を表すための差分ベクトルの一例を説明するための図
【図４】基準代表点以外の代表点を表すための差分ベクトルのＸ成分の値を近似する関数を求める例を説明するための図
【図５】時空間領域情報のデータ構造の一例を示す図
【図６】軌跡データのデータ構造の一例を示す図
【図７】本発明の一実施形態に係る時空間領域情報検索システムの構成例を示す図
【図８】多角形と座標の内外判定方法の一例を示す図
【図９】楕円と座標の内外判定方法の一例を示す図
【図１０】矩形または多角形の一辺の軌跡と指定された軌跡の交差判定方法を示す図
【図１１】楕円外周の軌跡と指定された軌跡の交差判定方法を示す図
【図１２】同実施形態に係る時空間領域情報検索システムの処理手順の一例を示すフローチャート
【図１３】時空間領域情報のデータ構造の一例を示す図
【図１４】同実施形態に係る時空間領域情報検索システムの他の構成例を示す図
【図１５】同実施形態に係る時空間領域情報検索システムの処理手順の他の例を示すフローチャート
【符号の説明】
３０１，１００１…時空間領域情報記憶部
１００２…軌跡データ変換部
３０２，１００３…内外判定部
３０３，１００４…曲面交差判定部
３０４，１００５…結果出力部
Claims (16)
- 映像データ中における任意の領域の複数フレームにわたる推移である時空間領域を表すものとして記述された、該領域を示す近似図形の代表点の軌跡を特定可能な時空間領域情報を対象とする時空間領域情報処理方法であって、
前記近似図形の代表点の軌跡により特定される前記時空間領域の表面部分と時空間上の曲線として指定される参照軌跡とが交差するか否かを判定するための交差判定ステップと、
前記時空間領域が存在する所定のフレームについて、該所定のフレームにおける前記参照軌跡の座標が、該所定のフレームにおける前記近似図形の内部に存在するか外部に存在するかを判定するための内外判定ステップとを有することを特徴とする時空間領域情報処理方法。 - 前記交差判定ステップにより得られる判定結果と、前記内外判定ステップにより得られる判定結果とに基づいて、前記参照軌跡に対する前記時空間領域の通過性に関する情報を出力するための出力ステップとを有することを特徴とする請求項１に記載の時空間領域情報処理方法。
- 前記交差判定ステップは、前記参照軌跡が前記時空間領域の表面部分と交差する時刻の情報を求めることを特徴とする請求項１に記載の時空間領域情報処理方法。
- 前記交差判定ステップは、前記参照軌跡が前記領域の表面部分と交差する時刻の情報ｔi（ｉ＝１〜交わる時刻の数）を求め、
前記内外判定ステップは、前記時空間領域が存在する先頭時刻ｔsにおけるフレームについて、前記判定を行い、
前記出力ステップは、前記交差判定ステップにより前記交わる時刻の情報が複数得られた場合に、前記内外判定ステップにより内部に存在すると判定されたときは、期間ｔs〜ｔ1を始めとする１つおきの期間において、前記参照軌跡を前記時空間領域が通過することを示す情報を出力し、前記内外判定ステップにより外部に存在すると判定されたときは、期間ｔ1〜ｔ2を始めとする１つおきの期間で、前記参照軌跡を前記時空間領域が通過することを示す情報を出力することを特徴とする請求項１に記載の時空間領域情報処理方法。 - 前記出力ステップは、前記交差判定ステップにより前記交わる時刻の情報が１つ得られた場合に、前記内外判定ステップにより内部に存在すると判定されたときは、該時空間領域が存在する先頭時刻から該得られた時刻までの期間において、前記参照軌跡を前記時空間領域が通過することを示す情報を出力し、前記内外判定ステップにより外部に存在すると判定されたときは、該得られた時刻から該時空間領域が存在する最終時刻までの期間で、前記参照軌跡を前記時空間領域が通過することを示す情報を出力することを特徴とする請求項４に記載の時空間領域情報処理方法。
- 前記出力ステップは、前記交差判定ステップにより前記交わる時刻の情報が１つも得られなかった場合に、前記内外判定ステップにより内部に存在すると判定されたときは、前記参照軌跡を常に前記時空間領域が通過することを示す情報を出力し、前記内外判定ステップにより外部に存在すると判定されたときは、前記参照軌跡を前記時空間領域が常に通過しないことを示す情報を出力することを特徴とする請求項４または５に記載の時空間領域情報処理方法。
- 前記交差判定ステップにおいて前記交わる時刻の情報が１つ得られた時点で、該交差判定ステップを終了し、
前記出力ステップは、前記参照軌跡を前記時空間領域が通過することを示す情報を出力することを特徴とする請求項１に記載の時空間領域情報処理方法。 - 前記交差判定ステップにより前記交わる時刻の情報が１つも得られなかった場合に、はじめて、前記内外判定ステップを行い、
前記出力ステップは、前記内外判定ステップにより内部に存在すると判定された場合には、前記参照軌跡を前記時空間領域が通過することを示す情報を出力し、前記内外判定ステップにより外部に存在すると判定された場合には、前記参照軌跡を前記時空間領域が通過しないことを示す情報を出力することを特徴とする請求項７に記載の時空間領域情報処理方法。 - 前記時空間領域情報は、前記代表点の位置データをフレームの進行に沿って並べたときの軌跡を所定の関数で近似し、該関数のパラメータを用いて記述されたものであることを特徴とする請求項１ないし８のいずれか１項に記載の時空間領域情報処理方法。
- 前記近似図形は、近似矩形または近似多角形であり、
前記代表点は、前記近似矩形または近似多角形の頂点であり、
前記交差判定ステップは、前記近似矩形または近似多角形の隣接する頂点の軌跡が張る曲面の各々について、前記参照軌跡との交差判定を行うことを特徴とする請求項９に記載の時空間領域情報処理方法。 - 前記近似図形は、近似楕円であり、
前記代表点は、近似楕円を一意に特定する所定の位置に相当する点であり、
前記交差判定ステップは、前記近似楕円の外周軌跡が張る曲面について、前記参照軌跡との交差判定を行うことを特徴とする請求項９に記載の時空間領域情報処理方法。 - 前記代表点の軌跡は、複数の近似区間に分割されており、
前記交差判定ステップは、前記近似区間ごとに、前記参照軌跡との交差判定を行うことを特徴とする請求項９ないし１１のいずれか１項に記載の時空間領域情報処理方法。 - 対象とする時空間領域情報の形式は問わず、全ての前記代表点について、当該代表点の位置データをフレームの進行に沿って並べたときの軌跡を所定の関数で近似し、該関数のパラメータを用いて記述されたものに変換する変換ステップを更に有し、
前記交差判定ステップ及び前記内外判定ステップは、前記変換ステップにより変換された後の前記時空間領域情報を対象として行うことを特徴とする請求項１ないし１２のいずれか１項に記載の時空間領域情報処理方法。 - 前記時空間領域情報は、前記代表点の基準となるフレームにおける位置データから、他のフレームにおける位置データへの領域変換を示す変換パラメータを求め、該変換パラメータについて、該変換パラメータをフレームの進行に沿って並べたときの軌跡を所定の関数で近似し、該関数のパラメータを用いて記述されたものであることを特徴とする請求項１３に記載の時空間領域情報処理方法。
- 前記時空間領域情報は、前記代表点のうちの少なくとも一つについて、当該代表点についての前記位置データが用いられる代わりに、同一フレームにおける他の代表点を基準としたときの当該代表点の相対的な位置を示すデータが用いられているものであることを特徴とする請求項１３または１４に記載の時空間領域情報処理方法。
- 映像データ中における任意の領域の複数フレームにわたる推移である時空間領域を表すものとして記述された、該領域を示す近似図形の代表点の軌跡を特定可能な時空間領域情報を対象とする時空間領域情報処理装置としてコンピュータを機能させるためのプログラムであって、
前記近似図形の代表点の軌跡により特定される前記時空間領域の表面部分と時空間上の曲線として指定される参照軌跡とが交差するか否かを判定するための交差判定機能と、
前記時空間領域が存在する所定のフレームについて、該所定のフレームにおける前記参照軌跡の座標が、該所定のフレームにおける前記近似図形の内部に存在するか外部に存在するかを判定するための内外判定機能とをコンピュータに実現させるためのプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001301362A JP3735552B2 (ja) | 2001-09-28 | 2001-09-28 | 時空間領域情報の処理方法 |
| US10/259,655 US7092547B2 (en) | 2001-09-28 | 2002-09-30 | Image data processing method and article of manufacture |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001301362A JP3735552B2 (ja) | 2001-09-28 | 2001-09-28 | 時空間領域情報の処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003109013A JP2003109013A (ja) | 2003-04-11 |
| JP3735552B2 true JP3735552B2 (ja) | 2006-01-18 |
Family
ID=19121787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001301362A Expired - Fee Related JP3735552B2 (ja) | 2001-09-28 | 2001-09-28 | 時空間領域情報の処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7092547B2 (ja) |
| JP (1) | JP3735552B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100415266B1 (ko) * | 2000-05-11 | 2004-01-16 | 가부시끼가이샤 도시바 | 물체영역정보 기술방법과 물체영역정보 생성장치 및 기록매체 |
| JP3735552B2 (ja) | 2001-09-28 | 2006-01-18 | 株式会社東芝 | 時空間領域情報の処理方法 |
| US7233413B2 (en) * | 2002-11-22 | 2007-06-19 | E. I. Du Pont De Nemours And Company | Gamut description and visualization |
| JP4505760B2 (ja) * | 2007-10-24 | 2010-07-21 | ソニー株式会社 | 情報処理装置および方法、プログラム、並びに、記録媒体 |
| US9704177B2 (en) | 2008-12-23 | 2017-07-11 | International Business Machines Corporation | Identifying spam avatars in a virtual universe (VU) based upon turing tests |
| US9697535B2 (en) | 2008-12-23 | 2017-07-04 | International Business Machines Corporation | System and method in a virtual universe for identifying spam avatars based upon avatar multimedia characteristics |
| US8537219B2 (en) | 2009-03-19 | 2013-09-17 | International Business Machines Corporation | Identifying spatial locations of events within video image data |
| US8553778B2 (en) * | 2009-03-19 | 2013-10-08 | International Business Machines Corporation | Coding scheme for identifying spatial locations of events within video image data |
| US8656476B2 (en) | 2009-05-28 | 2014-02-18 | International Business Machines Corporation | Providing notification of spam avatars |
| EP3448032B1 (en) * | 2013-03-25 | 2022-10-19 | Imax Corporation | Enhancing motion pictures with accurate motion information |
| CN109460774B (zh) * | 2018-09-18 | 2022-04-22 | 华中科技大学 | 一种基于改进的卷积神经网络的鸟类识别方法 |
| CN110035236A (zh) * | 2019-03-26 | 2019-07-19 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置和电子设备 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3166976B2 (ja) * | 1991-04-25 | 2001-05-14 | キヤノン株式会社 | 画像処理装置及びその方法 |
| JP2765270B2 (ja) * | 1991-05-29 | 1998-06-11 | 日本電気株式会社 | 動画像提示方法 |
| JPH06101018B2 (ja) * | 1991-08-29 | 1994-12-12 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 動画像データベースの検索 |
| JP2718387B2 (ja) * | 1994-12-29 | 1998-02-25 | 日本電気株式会社 | 動物体スイッチ装置 |
| US5982909A (en) * | 1996-04-23 | 1999-11-09 | Eastman Kodak Company | Method for region tracking in an image sequence using a two-dimensional mesh |
| US6185314B1 (en) * | 1997-06-19 | 2001-02-06 | Ncr Corporation | System and method for matching image information to object model information |
| EP0907145A3 (en) * | 1997-10-03 | 2003-03-26 | Nippon Telegraph and Telephone Corporation | Method and equipment for extracting image features from image sequence |
| US6400831B2 (en) * | 1998-04-02 | 2002-06-04 | Microsoft Corporation | Semantic video object segmentation and tracking |
| US6340994B1 (en) * | 1998-08-12 | 2002-01-22 | Pixonics, Llc | System and method for using temporal gamma and reverse super-resolution to process images for use in digital display systems |
| US6449382B1 (en) * | 1999-04-28 | 2002-09-10 | International Business Machines Corporation | Method and system for recapturing a trajectory of an object |
| JP2001118075A (ja) * | 1999-07-09 | 2001-04-27 | Toshiba Corp | 物体領域情報記述方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置 |
| KR100415266B1 (ko) * | 2000-05-11 | 2004-01-16 | 가부시끼가이샤 도시바 | 물체영역정보 기술방법과 물체영역정보 생성장치 및 기록매체 |
| JP3735552B2 (ja) | 2001-09-28 | 2006-01-18 | 株式会社東芝 | 時空間領域情報の処理方法 |
-
2001
- 2001-09-28 JP JP2001301362A patent/JP3735552B2/ja not_active Expired - Fee Related
-
2002
- 2002-09-30 US US10/259,655 patent/US7092547B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7092547B2 (en) | 2006-08-15 |
| US20030063670A1 (en) | 2003-04-03 |
| JP2003109013A (ja) | 2003-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3790126B2 (ja) | 時空間領域情報処理方法及び時空間領域情報処理システム | |
| JP3735552B2 (ja) | 時空間領域情報の処理方法 | |
| CN107610212B (zh) | 场景重建方法、装置、计算机设备以及计算机存储介质 | |
| EP0737938B1 (en) | Method and apparatus for processing visual information | |
| CN110991319A (zh) | 手部关键点检测方法、手势识别方法及相关装置 | |
| JP2004015106A5 (ja) | ||
| WO2024060558A1 (zh) | 可行域预测方法、装置、系统和存储介质 | |
| CN115311468B (zh) | 融合注意力机制的目标检测方法、装置及电子设备 | |
| JP2021018477A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN111738092A (zh) | 一种基于深度学习的恢复被遮挡人体姿态序列方法 | |
| JP4474546B2 (ja) | 顔形状モデリングシステムおよび顔形状モデリング方法 | |
| CN113781659A (zh) | 一种三维重建方法、装置、电子设备及可读存储介质 | |
| CN114220172B (zh) | 一种唇动识别的方法、装置、电子设备和存储介质 | |
| KR100427879B1 (ko) | 물체영역정보를 생성하기 위한 프로그램과 그 프로그램에 의해 생성된 물체영역정보를 격납한 기록매체 | |
| JP4112819B2 (ja) | 物体領域情報生成装置及び物体領域情報記述プログラム | |
| WO2024212740A1 (zh) | 一种基于时序信息融合的扫描场景语义分割方法和装置 | |
| WO2024152659A1 (zh) | 一种图像处理方法、装置、设备、介质及程序产品 | |
| JP4031184B2 (ja) | 物体領域情報記述方法及び物体領域情報生成装置並びに映像情報処理方法及び映像情報処理装置 | |
| JP5468773B2 (ja) | 画像処理装置および画像処理方法 | |
| JP3614709B2 (ja) | 景観画像インデクス方法、装置および景観画像インデクスプログラムを記録した記録媒体 | |
| CN115641581A (zh) | 目标检测方法、电子设备及存储介质 | |
| JP6717049B2 (ja) | 画像解析装置、画像解析方法およびプログラム | |
| JP2023013821A (ja) | 画像処理装置、画像再生装置、及びプログラム | |
| JP7386006B2 (ja) | 領域分割装置、領域分割方法、領域分割プログラム、学習装置、学習方法、及び学習プログラム | |
| JP3518465B2 (ja) | 被写体抽出装置、被写体抽出方法、及び被写体抽出プログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050905 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051018 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051024 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081028 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091028 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |