JP5047102B2 - ３次元動画像再生装置及び付加情報検索方法とプログラム - Google Patents

３次元動画像再生装置及び付加情報検索方法とプログラム Download PDF

Info

Publication number
JP5047102B2
JP5047102B2 JP2008223699A JP2008223699A JP5047102B2 JP 5047102 B2 JP5047102 B2 JP 5047102B2 JP 2008223699 A JP2008223699 A JP 2008223699A JP 2008223699 A JP2008223699 A JP 2008223699A JP 5047102 B2 JP5047102 B2 JP 5047102B2
Authority
JP
Japan
Prior art keywords
information
moving image
display
search
dimensional moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008223699A
Other languages
English (en)
Other versions
JP2010061221A (ja
Inventor
誠 中村
琢也 小川
岳彦 渡邉
智子 伊藤
成哲 小河原
和彦 田中
Original Assignee
エヌ・ティ・ティ・コムウェア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エヌ・ティ・ティ・コムウェア株式会社 filed Critical エヌ・ティ・ティ・コムウェア株式会社
Priority to JP2008223699A priority Critical patent/JP5047102B2/ja
Publication of JP2010061221A publication Critical patent/JP2010061221A/ja
Application granted granted Critical
Publication of JP5047102B2 publication Critical patent/JP5047102B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Description

本発明は、３Ｄディスプレイに表示した３Ｄ動画像上に合成表示する付加情報を検索する３次元動画像再生装置及び付加情報検索方法とプログラムに関する。
従来、動画像中に表示された対象画像を編集する技術は多く存在しており、例えば、２次元の映像上のキャンパスにペンで直接軌跡を描き、その軌跡をクエリとして検索を行うシステムが非特許文献１に開示されている。この非特許文献１では、サッカーの映像に対して、サッカーボールの軌跡情報であるメタデータ（２次元座標位置と動画再生開始からの経過時間の組みの集合）が予め添付されている。そして、ユーザが映像上（２次元上）のキャンパスにペンで直接描いた軌跡に基づいて作成した軌跡情報と、予め映像上のサッカーボールに添付されたメタデータで示される軌跡情報とが、類似するかどうかを判定し、類似する軌跡情報を示すメタデータがあれば、そのメタデータが存在するシーン（メタデータの存在が始まるシーンから、メタデータの存在が終了するシーンまで）の映像を表示する検索システムに関する技術を開示している。
矢島史、外２名、「映像上での動きの直接描画によるサッカー映像検索」、情報処理学会研究報告、データベース・システム研究会報告、IPSJ SIG Notes Vol.2002, No.41(20020521) pp.33-40 2002-DBS-127-5
ここで、上述の非特許文献１に示す従来技術では、映像上に直接描かれた２次元の軌跡をクエリとする映像検索システムの問題点として２点挙げることができる。まず１点目は、２次元の軌跡を使って３次元空間で移動する３Ｄ動画像中の対象物の検索を行うことは難しいという問題点である。また、２間目の問題点は、検索クエリの種類（動き表現情報の種類）が少ないため、ユーザが所望する検索結果が得られないという点である。
つまり、上記非特許文献１の技術では、２次元の映像上へマウスやペンを使って曲線等の軌跡を描き、その軌跡を元に、検索を行う手法である。しかし、２Ｄディスプレイ上でのユーザが書いたペンの２次元の軌跡をクエリとして使用するため３次元空間上で移動する３Ｄ動画像の対象物の検索を行うことは難しい。
また、上記非特許文献１の技術における検索クエリは、２Ｄディスプレイ上にペンで書いた軌跡(時系列データ)により生成されるものである。そして、上記非特許文献１の技術では、ペンで書いた軌跡が、時間の変化に伴い推移する２次元座標位置の情報群に変換され、移動体の位置を示す時系列データとの時系列マッチングが行われることにより、検索クエリと２次元座標位置の時間的推移で表されたメタデータとのマッチングを行うことができるものである。しかしながら、３Ｄ動画中の対象物の動きを検索したい場合には、ユーザは、例えば、移動速度が速い３Ｄ動画中の対象物を検索したい、方向ベクトル(ｘ，ｙ，ｚ)＝（２，３，５）の方向に進んでいく３Ｄ映像の対象物を検索したい、円を描いてぐるぐる回る３Ｄ動画の対象物を検索したい、等の、様々な表現で表される動きを検索したいという要求を行う可能性があり、この要求に応えることができない。
そこでこの発明は、３Ｄ動画像中に合成表示された対象物の検索をユーザが簡易に入力した情報を用いて容易に行うことができ、また、３Ｄ動画像中の対象物をユーザの希望する３Ｄ動画像上の軌跡に基づいて自由に検索を行うことができる３次元動画像再生装置及び付加情報検索方法とプログラムを提供することを目的としている。
また本発明は、３次元動画像に合成表示する付加情報の前記３次元動画像における動きを示す動き表現情報であって、前記３次元動画像上を前記付加情報が移動する表示軌跡上の複数の表示位置と、前記表示軌跡上の複数の表示位置それぞれに前記付加情報を表示させる際の前記３次元動画像の開始時刻からの経過時間と、を少なくとも示す動き表現情報を記憶する動き表現情報記憶手段と、実空間に存在する空間入力装置の空間位置を検出し、当該空間位置の変化に応じて前記３次元動画像中の前記空間入力装置による複数の指定位置と、当該複数の指定位置のうちの最初に検出した指定位置の検出時刻からの各経過時間と、を検出する入力情報検出手段と、前記複数の指定位置を示すと共に、それら指定位置のうちの最初に検出した指定位置の検出時刻からの経過時間を前記複数の指定位置それぞれについて示す検索用情報を生成する検索用情報生成手段と、前記検索用情報の示す前記複数の指定位置のうち最も早い経過時間を示す指定位置と、前記動き表現情報の示す前記複数の表示位置のうち最も早い経過時間を示す表示位置との一致度が閾値以下となる前記動き表現情報を、前記動き表現情報記憶手段より特定し、当該特定した動き表現情報により前記３次元動画像上に合成表示される前記付加情報を検索する付加情報検索手段と、前記検索した付加情報を出力する付加情報出力手段と、を備えることを特徴とする３次元動画像再生装置である。
また本発明は、３次元動画像に合成表示する付加情報の前記３次元動画像における動きを示す動き表現情報であって、前記３次元動画像上を前記付加情報が移動する表示軌跡上の複数の表示位置を少なくとも示す動き表現情報を記憶する動き表現情報記憶手段と、実空間に存在する空間入力装置の空間位置を検出し、当該空間位置の変化に応じて前記３次元動画像中の前記空間入力装置による複数の指定位置を検出する入力情報検出手段と、前記３次元動画像の開始時刻からの経過時間の指定を受け付ける経過時間指定受付手段と、前記複数の指定位置を示す検索用情報を生成する検索用情報生成手段と、前記検索用情報の示す複数の指定位置と、前記動き表現情報の示す複数の表示位置との一致度に基づいて、前記動き表現情報記憶手段より前記動き表現情報を特定した後、前記複数の表示位置のうち最も早い経過時間として、前記指定を受け付けた開始時間を示す表示位置を保持する前記動き表現情報のみを、前記動き表現情報記憶手段より特定し、当該特定した動き表現情報により前記３次元動画像上に合成表示される前記付加情報を検索する付加情報検索手段と、前記検索した付加情報を出力する付加情報出力手段と、を備えることを特徴とする３次元動画像再生装置である。
また本発明は、３次元動画像に合成表示する付加情報の前記３次元動画像における動きを示す動き表現情報であって、前記３次元動画像上を前記付加情報が移動する表示軌跡上の複数の表示位置と、前記表示軌跡上の複数の表示位置それぞれに前記付加情報を表示させる際の前記３次元動画像の開始時刻からの経過時間と、を少なくとも示す動き表現情報を記憶する動き表現情報記憶手段と、実空間に存在する空間入力装置の空間位置を検出し、当該空間位置の変化に応じて前記３次元動画像中の前記空間入力装置による複数の指定位置と、前記複数の指定位置のうちの最初に検出した指定位置の検出時刻からの各経過時間と、を検出する入力情報検出手段と、前記複数の指定位置を示すと共に、それら指定位置のうちの最初に検出した指定位置の検出時刻からの経過時間を前記複数の指定位置それぞれについて示す検索用情報を生成する検索用情報生成手段と、前記検索用情報の示す複数の指定位置のうち最初に検出した指定位置を基点とした所定経過時間を示す位置であって前記複数の指定位置による検索軌跡上の位置と、前記動き表現情報の示す複数の表示位置による表示軌跡上の任意の点を基点とした前記所定経過時間を示す前記表示軌跡上の位置と、に基づいて、異なる複数の前記所定経過時間における前記検索軌跡上の位置と前記表示軌跡上の位置との一致度が全て閾値以下となる前記動き表現情報を、前記動き表現情報記憶手段より特定し、当該特定した動き表現情報により前記３次元動画像上に合成表示される前記付加情報を検索する付加情報検索手段と、前記検索した付加情報を出力する付加情報出力手段と、を備えることを特徴とする３次元動画像再生装置である。
また本発明は、３次元動画像に合成表示する付加情報の前記３次元動画像における動きを示す動き表現情報であって、前記３次元動画像上を前記付加情報が移動する表示軌跡上の複数の表示位置を少なくとも示す動き表現情報を記憶する動き表現情報記憶手段と、実空間に存在する空間入力装置の空間位置を検出し、当該空間位置の変化に応じて前記３次元動画像中の前記空間入力装置による複数の指定位置を検出する入力情報検出手段と、前記複数の指定位置による検索軌跡と、定型軌跡テンプレートが示す軌跡との一致度が所定の閾値以上となる定型軌跡テンプレートを検出して、当該定型軌跡テンプレートの種別情報を示す検索用情報を生成する検索用情報生成手段と、前記動き表現情報の示す前記複数の表示位置による表示軌跡と、定型軌跡テンプレートが示す軌跡との一致度が所定の閾値以上となる定型軌跡テンプレートを検出して、前記検索用情報の示す定型軌跡テンプレートと同一の定型軌跡テンプレートを示す前記動き表現情報を、前記動き表現情報記憶手段より特定し、当該特定した動き表現情報により前記３次元動画像上に合成表示される前記付加情報を検索する付加情報検索手段と、前記検索した付加情報を出力する付加情報出力手段と、を備えることを特徴とする３次元動画像再生装置である。
また本発明は、３次元動画像に合成表示する付加情報の前記３次元動画像における動きを示す動き表現情報であって、前記３次元動画像上を前記付加情報が移動する表示軌跡上の複数の表示位置を少なくとも示す動き表現情報を記憶する動き表現情報記憶手段と、実空間に存在する空間入力装置の空間位置を検出し、当該空間位置の変化に応じて前記３次元動画像中の前記空間入力装置による複数の指定位置を検出する入力情報検出手段と、前記複数の指定位置を示す検索用情報を生成する検索用情報生成手段と、前記検索用情報の示す複数の指定位置に基づいて算出される検索軌跡の方向と、前記動き表現情報の示す複数の表示位置に基づいて算出される表示軌跡の方向との一致度が閾値以上である前記動き表現情報を、前記動き表現情報記憶手段より特定し、当該特定した動き表現情報により前記３次元動画像上に合成表示される前記付加情報を検索する付加情報検索手段と、前記検索した付加情報を出力する付加情報出力手段と、を備えることを特徴とする３次元動画像再生装置である。
また本発明は、３次元動画像に合成表示する付加情報の前記３次元動画像における動きを示す動き表現情報であって、前記３次元動画像上を前記付加情報が移動する表示軌跡上の複数の表示位置と、前記表示軌跡上の複数の表示位置それぞれに前記付加情報を表示させる際の前記３次元動画像の開始時刻からの経過時間と、を少なくとも示す動き表現情報を記憶する動き表現情報記憶手段と、実空間に存在する空間入力装置の空間位置を検出し、当該空間位置の変化に応じて前記３次元動画像中の前記空間入力装置による複数の指定位置と、当該複数の指定位置のうちの最初に検出した指定位置の検出時刻からの各経過時間と、を検出する入力情報検出手段と、前記複数の指定位置を示すと共に、それら指定位置のうちの最初に検出した指定位置の検出時刻からの経過時間を前記複数の指定位置それぞれについて示す検索用情報を生成する検索用情報生成手段と、前記検索用情報の示す複数の指定位置とそれら指定位置の示す経過時間の時間差とに基づいて算出される速度と、前記動き表現情報の示す複数の表示位置とそれら表示位置の示す経過時間の時間差とに基づいて算出される速度との一致度が閾値以上である前記動き表現情報を、前記動き表現情報記憶手段より特定し、当該特定した動き表現情報により前記３次元動画像上に合成表示される前記付加情報を検索する付加情報検索手段と、前記検索した付加情報を出力する付加情報出力手段と、を備えることを特徴とする３次元動画像再生装置である。
また本発明は、上述の３次元動画像再生装置において、前記検索用情報生成手段が複数の前記検索用情報を生成し、前記付加情報検索手段は、複数の前記検索用情報に基づいて前記動き表現情報の特定の処理を行うことを特徴とする。
また本発明は、上述の３次元動画像再生装置において、前記一致度の設定入力を受け付ける一致度設定入力受付手段と、を備えることを特徴とする。
また本発明は、上述の３次元動画像再生装置において、前記動き表現情報記憶手段より所定の数の前記動き表現情報の特定をしたかを判定し、前記所定の数以上の前記動き表現情報を特定した場合には、前記動き表現情報記憶手段より特定する前記動き表現情報の数が前記所定の数以下となるまで自動的に前記一致度を上げて、前記動き表現情報の特定処理を繰り返す一致度調整手段と、を備えることを特徴とする。
また本発明は、３次元動画像装置における付加情報検索方法であって、前記３次元動画像装置の動き表現情報記憶手段が、３次元動画像に合成表示する付加情報の前記３次元動画像における動きを示す動き表現情報であって、前記３次元動画像上を前記付加情報が移動する表示軌跡上の複数の表示位置と、前記表示軌跡上の複数の表示位置それぞれに前記付加情報を表示させる際の前記３次元動画像の開始時刻からの経過時間と、を少なくとも示す動き表現情報を記憶し、前記３次元動画像装置の入力情報検出手段が、実空間に存在する空間入力装置の空間位置を検出し、当該空間位置の変化に応じて前記３次元動画像中の前記空間入力装置による複数の指定位置と、当該複数の指定位置のうちの最初に検出した指定位置の検出時刻からの各経過時間と、を検出し、前記３次元動画像装置の検索用情報生成手段が、前記複数の指定位置を示すと共に、それら指定位置のうちの最初に検出した指定位置の検出時刻からの経過時間を前記複数の指定位置それぞれについて示す検索用情報を生成し、前記３次元動画像装置の付加情報検索手段が、前記検索用情報の示す複数の指定位置のうち最も早い経過時間を示す指定位置と、前記動き表現情報の示す複数の表示位置のうち最も早い経過時間を示す表示位置との一致度が閾値以下となる前記動き表現情報を、前記動き表現情報記憶手段より特定し、当該特定した動き表現情報により前記３次元動画像上に合成表示される前記付加情報を検索し、前記３次元動画像装置の付加情報出力手段が、前記検索した付加情報を出力することを特徴とする付加情報検索方法である。
また本発明は、３次元動画像に合成表示する付加情報の前記３次元動画像における動きを示す動き表現情報であって、前記３次元動画像上を前記付加情報が移動する表示軌跡上の複数の表示位置と、前記表示軌跡上の複数の表示位置それぞれに前記付加情報を表示させる際の前記３次元動画像の開始時刻からの経過時間と、を少なくとも示す動き表現情報を記憶する動き表現情報記憶手段を備えた３次元動画像再生装置のコンピュータを、実空間に存在する空間入力装置の空間位置を検出し、当該空間位置の変化に応じて前記３次元動画像中の前記空間入力装置による複数の指定位置と、当該複数の指定位置のうちの最初に検出した指定位置の検出時刻からの各経過時間と、を検出する入力情報検出手段、前記複数の指定位置を示すと共に、それら指定位置のうちの最初に検出した指定位置の検出時刻からの経過時間を前記複数の指定位置それぞれについて示す検索用情報を生成する検索用情報生成手段、前記検索用情報の示す複数の指定位置のうち最も早い経過時間を示す指定位置と、前記動き表現情報の示す複数の表示位置のうち最も早い経過時間を示す表示位置との一致度が閾値以下となる前記動き表現情報を、前記動き表現情報記憶手段より特定し、当該特定した動き表現情報により前記３次元動画像上に合成表示される前記付加情報を検索する付加情報検索手段、前記検索した付加情報を出力する付加情報出力手段、として機能させるためのプログラムである。
本発明によれば、ユーザは、空間マウスを用いて３次元画像再生装置の表示する仮想空間上に３次元で示される軌跡を入力するだけで、その軌跡と一致度の高い軌跡を３Ｄ動画像上に表示する３Ｄメタデータを検索することができる。
また、３次元画像再生装置の表示する仮想空間上にユーザが空間マウスを用いて入力した３次元の軌跡に基づいて、その軌跡が表す直線、曲線、移動速度、方向、軌跡の形状テンプレートの検索クエリが自動的に生成され、その検索クエリに一致する表示軌跡で３Ｄ動画像上に合成表示される３Ｄメタデータを検索することができるので、ユーザは、従来にくらべて多くの種類の表示軌跡の３Ｄメタデータを自由に検索することができる。
また、ユーザは、３次元画像再生装置の表示する仮想空間上にユーザが空間マウスを用いて入力するのみで、検索クエリを生成するために、特殊なコマンドやプログラムなどの検索用の問い合わせ言語を覚える必要がなく、容易に３Ｄ動画像上に表示される３Ｄメタデータの検索を行うことができる。
また、３Ｄメタデータが３Ｄ動画像上のある対象物の軌跡を追って表示されるものである場合には、ユーザが空間マウスを用いて検索クエリを作成するだけで、その結果検索された３Ｄメタデータに基づいて、所望の３Ｄ動画像上の対象物を検索することができるようになる。
また、上述の処理によれば、一致度の設定をユーザが自由に行うことができるため、ユーザの望む精度や曖昧さで、検索クエリの軌跡と同様の軌跡により３Ｄ動画像上に移動表示される３Ｄメタデータを検索することができる。
また、検索結果が所定の数以上に多く出力されるような場合には、一致度の閾値を自動的に上げる処理を行っているため、検索結果の数を所定の数に自動調整することができる。
以下、本発明の一実施形態による３次元動画像再生装置を図面を参照して説明する。
図１は同実施形態による３次元動画像再生装置の構成を示すブロック図である。
この図より、３次元動画像再生装置は、空間マウス１１、空間マウス制御部１２、３Ｄ動画ＤＢ１３、３ＤメタデータＤＢ１４（動き表現情報記憶手段）、３Ｄディスプレイ１５、再生処理部１６、動き表現情報生成部１７、サンプルポイント生成部１８（入力情報検出手段）、３Ｄメタデータ生成編集部１９、３Ｄクエリ生成部２０（検索用情報生成手段）、３Ｄメタデータ検索部２１（付加情報検索手段）、検索結果表示処理部２２（付加情報出力手段）、マッチング方法選択部２３、の各処理部および記憶部を備えている。ここで、空間マウス１１はユーザが手に持って実空間における位置を変化させることによって情報の入力を３次元動画像再生装置へ行うものであり、３次元動画像再生装置はこの空間マウス１１の実空間における位置の変動によって、その変動に基づく移動量から画像上の指定位置等を検出する。具体的な処理としては、ユーザが空間マウス１１を実空間で移動させると、その空間マウスとの距離や相対位置を３次元動画像再生装置に接続または取り付けられた検出部が赤外線などにより計測し、その計測結果に基づいて空間マウス制御部１２やサンプルポイント生成部１８等の処理部が３Ｄ画像上の位置を特定する処理を行う。また空間マウス制御部１２は、空間マウス１１からの情報を受信して、空間マウスの指定位置等の検出を行う処理部である。また、３Ｄ動画ＤＢ１３は３Ｄ動画像のデータを記憶するＤＢ（データベース）である。また３ＤメタデータＤＢ１４は３Ｄ動画像に合成表示させる付加情報である３Ｄメタデータを記憶している。また３Ｄディスプレイ１５は、パララックスバリア方式（視差バリア方式）等の技術により、平面に表示された画像を観た人間が３次元に見えるような３Ｄ画像表示専用のディスプレイである。
また再生処理部１６は、３Ｄ動画像の３Ｄディスプレイ１５への出力や３Ｄメタデータの３Ｄ動画像上への出力の処理を行う処理部である。また動き表現情報生成部１７は、３Ｄメタデータの表示位置や、その３Ｄメタデータを合成表示する３Ｄ動画像の開始時刻からの経過時間、３Ｄメタデータの３Ｄ動画像上における移動速度、移動方向、軌跡を特定するための表示軌跡情報、などからなる動き表現情報を生成する処理部である。またサンプルポイント生成部１８は、空間マウス制御部１２の検出した３Ｄ動画像上の指定位置のうち、３Ｄ動画像中に３Ｄメタデータを表示させる表示位置の検出を行う処理部である。また３Ｄメタデータ生成編集部１９は、動き表現情報生成部１７の生成した動き表現情報などに基づいて３ＤメタデータＤＢ１４で記憶する情報を書き換える等の処理を行う。また３Ｄクエリ生成部２０は、３Ｄ動画像中に表示される３Ｄメタデータの中からユーザが希望する３Ｄメタデータの検出に利用する検索キーである検索クエリを生成する処理部である。また３Ｄメタデータ検索部２１は、生成された検索クエリと３Ｄメタデータの動き表現情報との比較に基づいて３Ｄメタデータの検索を行う処理部である。また検索結果表示処理部２２は、３Ｄメタデータ検索部２１の検索した３Ｄメタデータを、３Ｄ動画像中などに表示する処理を行う処理部である。
ここで、本実施形態による３次元動画像再生装置は、予め記憶する３Ｄ動画像と３Ｄメタデータとを用いて３Ｄディスプレイ１５に３Ｄ動画像を再生出力するとともに、その動画像上に３Ｄメタデータを合成表示するものである。そして、３次元動画像再生装置は、３次元動画像に合成表示する３Ｄメタデータの３次元動画像における動きを示す動き表現情報であって、３次元動画像上を３Ｄメタデータが移動する表示軌跡上の複数の表示位置を少なくとも示す動き表現情報を３ＤメタデータＤＢ１４に記憶する。そのような状態において、３次元動画像再生装置は、実空間に存在する空間マウス（空間入力装置）の空間位置を検出し、当該空間位置の変化に対応した３次元動画像中の３次元位置を指定し、当該複数の３次元位置の指定位置からなる検索クエリ（検索用情報）を生成する。また、３次元動画像再生装置は、検索クエリの示す複数の指定位置と、動き表現情報の示す複数の表示位置との一致度に基づいて、３ＤメタデータＤＢ１４（動き表現情報記憶手段）に記録されている３Ｄメタデータの動き表現情報を抽出し、当該抽出した動き表現情報の３Ｄメタデータを出力する処理を行う。
図２は３Ｄメタデータ情報テーブルを示す図である。
図３はサンプルポイント情報テーブルを示す図である。
次に、図２、図３を用いて３ＤメタデータＤＢ１４が記憶するデータテーブルについて説明する。
図２で示す３Ｄメタデータ情報テーブルは、３Ｄ動画像上に合成表示する３Ｄメタデータそれぞれについて記憶するものであり、３Ｄメタデータを特定するためのＩＤ、３Ｄメタデータのタイプ（文字情報や図形情報など）、３Ｄメタデータの３Ｄ動画像上への表示の開始時刻、３Ｄ動画像上へ表示してから終了するまでの表示開始時刻からの表示時間幅、表示開始時刻において３Ｄ動画像上に表示する位置である空間座標、３Ｄメタデータのタイプ別の個別情報、３Ｄメタデータを３Ｄ動画像上に表示するために用いられるサンプルポイント情報を対応付けて記憶している。
図３で示すサンプルポイント情報テーブルは、図２で示した３Ｄメタデータ情報テーブル内のサンプルポイント情報の詳細を記憶するデータテーブルである。この図が示すようにサンプルポイント情報テーブルは、３Ｄメタデータの３Ｄ動画像上の離散的な各表示位置を識別するためのサンプルポイント番号、そのサンプルポイント番号で示される表示位置の３Ｄ動画像の仮想空間上の座標、サンプルポイントにおいて３Ｄメタデータが表示される時刻の最初の表示位置の表示時刻からの経過時間、２つの連続する離散的なサンプルポイントの表示位置と各表示時刻に基づいて算出される３Ｄメタデータの移動方向、移動速度、３Ｄメタデータの軌跡のテンプレート、また、３Ｄメタデータの軌跡の線を表す数式の係数、を対応付けて記憶している。
図４は３Ｄメタデータの作成時の処理フローを示す図である。
本実施形態による３次元動画像再生装置の３Ｄメタデータの検索方法を行う場合には、まず、３Ｄ動画像上に合成表示する３Ｄメタデータの動き表現情報が予め生成されていることが必要である。この３Ｄメタデータはユーザの操作に基づいて、３次元動画像再生装置が作成したものである。そして動き表現情報の作成処理について、まず説明する。
３次元動画像再生装置における３Ｄメタデータの作成は、３Ｄディスプレイ１５上に３Ｄ動画像が表示された状況で行われる。この時、まず、再生処理部１６が、ユーザによって指定された３Ｄ動画像データを３Ｄ動画ＤＢ１３から読み取って再生処理し（ステップＳ１０１）、３Ｄディスプレイ１５上に出力する。そして、ユーザはこの３Ｄディスプレイ１５に出力された３Ｄ動画像上に表示させたい３Ｄメタデータを、空間マウス１１を用いて選択する（例えば一覧などから選択する）。すると、再生処理部１６は選択された３Ｄメタデータの情報を３Ｄ動画像上に合成して表示する（ステップＳ１０２）。ここでユーザは、３Ｄ動画像上に表示された３Ｄメタデータを、空間マウス１１を用いて選択し、選択しながら空間マウス１１を上下左右前後等の実空間内の任意の方向に動作させることにより、３Ｄ動画像上に表示された３Ｄメタデータを３Ｄ動画像の仮想空間上の実空間と対応する方向に移動させることができる。具体的にこの処理は、空間マウス制御部１２が空間マウス１１の移動方向や移動量を検出し、その移動方向や移動量を再生処理部１６に通知することにより、再生処理部１６が、選択された３Ｄメタデータの３Ｄ動画像上における表示位置を移動させる処理を行う。
そして、３Ｄ動画像上を３Ｄメタデータが移動表示されている際に、ユーザは空間マウス１１を用いてメタデータの作成開始を指示する。すると、サンプルポイント生成部１８は、メタデータの作成開始の指示を空間マウス制御部１２から受け付け（ステップＳ１０３）、また空間マウス１１から空間マウス制御部１２を介して位置特定情報を受信する（ステップＳ１０４）。この位置特定情報は、ユーザが空間マウス１１を用いて３Ｄメタデータを表示すると指定した位置を特定するためのものである。そしてサンプルポイント生成部１８は、位置特定情報を受信した時における、３Ｄメタデータの３Ｄ動画像上の表示位置（３Ｄ動画像の仮想空間内での座標）と、その表示位置に３Ｄメタデータが表示されている時刻の３Ｄ動画像の再生開始時刻からの経過時間を再生処理部１６へ問い合わせる。再生処理部１６は、位置特定情報の受信時刻における３Ｄメタデータの３Ｄ動画像上の表示位置（３Ｄ動画像の仮想空間内での座標）を検出し（ステップＳ１０５）、また再生開始時刻からの経過時間を計測しているため、そのときの３Ｄ動画像の再生開始時刻からの経過時間を検出して（ステップＳ１０６）、当該検出した３Ｄメタデータの表示位置と再生開始時刻からの経過時間と３ＤメタデータのＩＤとからなる表示属性情報を、サンプルポイント生成部１８へ送信する。するとサンプルポイント生成部１８は受信した表示属性情報と、３Ｄメタデータの作成指示を３Ｄメタデータ生成編集部１９に送信する。
次に表示属性情報と、３Ｄメタデータの作成指示を受け付けた３Ｄメタデータ生成編集部１９は、表示属性情報を一時的に記憶する。また、ユーザが空間マウス１１を用いて表示位置の入力を複数回行うことにより、または、所定の間隔で表示位置が自動的に検出されることにより、その都度サンプルポイント生成部１８が位置特定情報を再生処理部１６へ送信し、その結果、サンプルポイント生成部１８が、再生処理部１６から表示属性情報を受信して、３Ｄメタデータ生成編集部１９へ送信する。これにより３Ｄメタデータ生成編集部１９は、複数の３Ｄメタデータの表示位置に関する表示属性情報を、一時的に記憶することとなる。そして、空間マウス制御部１２は、ユーザの操作に基づいて空間マウス１１から３Ｄメタデータの表示終了の入力を受け付けたかを判定し（ステップＳ１０７）、表示終了の入力を受け付けると、その表示終了時点までのメタデータの作成を行うようサンプルポイント生成部１８に通知する。するとサンプルポイント生成部１８は３Ｄメタデータの生成を３Ｄメタデータ生成編集部１９へ通知し、３Ｄメタデータ生成編集部１９が、一時的に記憶している複数の表示属性情報を、動き表現情報生成部１７に送信し、被検索用データの生成を指示する。
次に動き表現情報生成部１７は、受信した複数の表示属性情報に基づいて、被検索用データの生成を開始する（ステップＳ１０８）。ここで被検索用データとは、表示属性情報で示される３Ｄメタデータの表示位置、再生開始時刻からの経過時刻に基づいて算出される、３Ｄメタデータの３Ｄ動画像上での移動方向、移動速度、軌跡の形状テンプレートである。そして、これら移動方向、移動速度、軌跡の形状テンプレートなどの被検索用データは、３Ｄ動画像中に表示される３Ｄメタデータの検索に利用される情報となる。そして被検索用データの生成が完了すると、動き表現情報生成部１７は、その生成した被検索用データを３Ｄメタデータ生成編集部１９へ送信する。被検索用データは表示属性情報で示される３Ｄメタデータの表示位置（サンプルポイント）ごとに計算されることとなる。そして、３Ｄメタデータ生成編集部１９は、一時的に記憶している各表示属性情報と、それら各表示属性情報について算出された被検索用データを対応付けて、３ＤメタデータＤＢ１４のサンプルポイント情報テーブルに登録する（ステップＳ１０９）。つまり、サンプルポイント情報テーブルには、１つの３Ｄメタデータについて、３ＤメタデータのＩＤと、当該３Ｄメタデータの複数の表示位置と、その複数の表示位置に３Ｄメタデータが表示される再生開始時刻からの経過時間と、その表示位置における移動方向、移動速度、３Ｄメタデータの表示位置による軌跡テンプレートとが、対応付けて登録される。なお、上記のようなサンプルポイント情報テーブルに記録した情報を用いて、３Ｄメタデータを３Ｄ動画像の再生時に出力することとなる。また当該サンプルポイント情報テーブルに記録した情報を用いて、３Ｄ動画像上に表示される３Ｄメタデータの検索が行われることとなる。
以上の処理により、３Ｄ動画像上に表示される３Ｄメタデータの、ユーザが指定した、または自動的に検出した表示位置における移動方向、移動速度、軌跡の形状テンプレートや、その表示位置、表示位置に表示させる再生開始時刻からの経過時刻を登録しておくことができる。そして、このように離散的な表示位置（サンプルポイント）の情報を登録しておくため、３Ｄメタデータの全ての軌跡の位置を記憶させておく必要がなく、これによりデータベースに記憶させておく情報を削減することができる。なお、上述の処理においては、３Ｄメタデータの３Ｄ動画像上での移動方向、移動速度、軌跡の形状テンプレートを算出してサンプルポイント情報テーブルに予め登録する例を示しているが、表示属性情報で示される３ＤメタデータのＩＤと、当該３Ｄメタデータの表示位置のみをサンプルポイント情報テーブルに予め記憶しておき、３Ｄメタデータの３Ｄ動画像上での移動方向、移動速度、軌跡の形状テンプレートについては、検索時にその都度計算するようにしてもよい。
図５は３Ｄメタデータ検索処理の処理フローを示す第１の図である。
図６は３次元動画像再生装置の表示する画面例を示す図である。
３Ｄメタデータの検索処理の第１例として、予め複数の３Ｄ動画像データそれぞれに対して、同一のまたは異なる３Ｄメタデータが１つまたは複数合成表示されるものとして３ＤメタデータＤＢ１４に記録されており、それらの中から、ユーザが空間マウス１１で入力した軌跡に近い軌跡により３Ｄ動画像に合成表示される３Ｄメタデータを検索する際の例について説明する。
図５より、まずユーザが３Ｄ動画像上に表示される３Ｄメタデータの検索の開始の要求を３次元動画像再生装置に入力し、その情報を３次元動画像再生装置が受け付けると（ステップＳ２０１）、３次元動画像再生装置のマッチング方法選択部２３がマッチング方法選択画面と、単独・グループ選択画面（図６）をモニタに出力する（ステップＳ２０２）。ここで、マッチング方法選択画面は、３Ｄメタデータの検索時に、（ａ）空間マウス１１の実空間における位置に基づいて検出した各３Ｄ動画像上の指定位置を直線でつないで検索クエリを作成するか、（ｂ）それら指定位置を曲線でつないで検索クエリを作成するか、（ｃ）当該指定位置に基づいて特定できる定型軌跡テンプレートの検索クエリを作成するか、（ｄ）当該指定位置に基づいて算出できる軌跡の移動方向を示す検索クエリを作成するか、（ｅ）当該指定位置に基づいて算出できる軌跡の移動速度を示す検索クエリを作成するか、の（ａ）〜（ｅ）をユーザに指定させるための画面である。また単独・グループマッチング選択画面は、１つ（単独）の検索クエリで３Ｄメタデータを検索するか、または複数（グループ）の検索クエリに一致する３Ｄメタデータを検索するかを、ユーザに指定させるための画面である。
そして、マッチング方法選択部２３が、マッチング方法選択画面および単独・グループ選択画面によって入力された情報を受け付け（ステップＳ２０３）、３Ｄクエリ生成部２０へ通知する。すると３Ｄクエリ生成部２０は、空間マウス１１による軌跡入力を促す画面を３次元動画像再生装置のモニタ上に表示する（ステップＳ２０４）。ここで、ユーザは空間マウス１１を用いて、軌跡入力開始を指示するとともに（例えば所定のボタンを押下するなど）、当該空間マウス１１が指定しているモニタ上のマウスポインタの指定位置を、その空間マウス１１を実空間の上下左右前後のいずれかの方向に動かすことにより移動させる。このとき、空間マウス制御部１２が空間マウス１１の移動方向や移動量を検出し、その移動方向や移動量を再生処理部１６に通知することにより、再生処理部１６が、空間マウス１１がモニタ上において指定するマウスポインタの位置を移動させる処理を行う。そして、ユーザが空間マウス１１を用いて軌跡入力終了を指示する（例えば所定のボタンを押下するなど）。
そして、軌跡入力開始から軌跡入力終了を受信するまで、空間マウス制御部１２は自動的に定期的な間隔で位置特定情報を生成し（ステップＳ２０５）、サンプルポイント生成部１８は、当該生成された位置特定情報を空間マウス制御部１２より受信する。この位置特定情報は、ユーザが空間マウス１１を用いて指定した３Ｄ仮想空間上の位置の検出の指示を行うものである。ここで、軌跡入力開始から軌跡入力終了までの間において、自動的に所定の時間間隔で、空間マウス制御部１２がマウスポインタの指定位置の検出を指示するための位置特定情報を定期的にサンプルポインタ生成部１８に通知する。
そしてサンプルポイント生成部１８は、位置特定情報を受信した時における、マウスポインタの仮想空間上の指定位置を再生処理部１６へ問い合わせる。再生処理部１６は、位置特定情報の生成時刻におけるマウスポインタの仮想３Ｄ空間上の指定位置（仮想空間内での座標）を検出して（ステップＳ２０６）、当該検出したマウスポインタの指定位置をサンプルポイント生成部１８へ送信する。するとサンプルポイント生成部１８は、最初の位置特定情報を受信した時刻を基準とした経過時間と、そのときのマウスポインタの仮想空間上の指定位置とを示す表示属性情報を生成して（ステップＳ２０７）、３Ｄクエリ生成部２０へ通知する。またサンプルポイント生成部１８は、位置特定情報を受信するたびに、そのときのマウスポインタの指定位置を再生処理部１６に問い合わせ、その結果である表示属性情報を３Ｄクエリ生成部２０へ通知する。これにより３Ｄクエリ生成部２０は、ユーザが空間マウス１１を用いて入力した軌跡を特定するための複数の指定位置と、それら指定位置における最初の指定位置を基準とする軌跡の経過時間を示す表示属性情報を複数記憶する。なお、単独・グループ選択画面において「グループ」が指定されている場合には、ユーザが空間マウス１１を用いて指定する複数の軌跡により検索が行われるため、複数の軌跡に関する表示属性情報がサンプルポイント生成部１８から３Ｄクエリ生成部２０に通知され、３Ｄクエリ生成部２０が一時的に記憶する。
次に、３Ｄクエリ生成部２０は、通知を受けた複数の表示属性情報を動き表現情報生成部１７に通知すると共に、空間マウス１１の軌跡を示す動き表現情報の生成を指示する。このとき３Ｄクエリ生成部２０は、マッチング方法選択画面において選択されたマッチング方法（直線、曲線、定型軌跡テンプレート、方向、速度の何れか）の情報を通知する。すると動き表現情報生成部１７は、通知を受けた複数の表示属性情報で示される各指定位置を結ぶ軌跡を示す表示軌跡情報を動き表現情報として生成する（ステップＳ２０８）。ここで表示軌跡情報は、マッチング方法が直線であれば、複数の表示属性情報で示される各指定位置を経過時間の順にそれぞれ結ぶ直線の各式の係数を示し、またマッチング方法が曲線であれば、複数の表示属性情報で示される各指定位置を結ぶスプライン曲線を表す各式の係数を示すものとなる。また動き表現情報は、マッチング方法が定型軌跡テンプレートであれば、複数の表示属性情報で示される各指定位置による軌跡が、どの定型軌跡テンプレートに類似する軌跡であるかを示す定型軌跡テンプレート種別の情報を示すものとなる。また動き表現情報は、マッチング方法が方向であれば、複数の表示属性情報で示される各指定位置を結ぶ各直線それぞれの方向ベクトルの情報を示すものとなる。また動き表現情報は、マッチング方法が速度であれば、複数の表示属性情報で示される各指定位置間の距離と、その距離における経過時間差とに基づいて算出される速度の情報を示すものとなる。
そして動き表現情報生成部１７において動き表現情報が生成されると、３Ｄクエリ生成部２０は、動き表現情報と、その動き表現情報の算出に利用された各表示属性情報の示すマウスポインタの仮想空間上の各指定位置と、それら指定位置のうち、最初の指定位置の検出時刻を基準とする経過時間と、を示す検索クエリを生成し（ステップＳ２０９）、３Ｄメタデータ検索部２１へ送信する。そして、３Ｄメタデータ検索部２１が、検索クエリと３ＤメタデータＤＢ１４に記録されている各３Ｄメタデータの動き表現情報とを比較して（ステップＳ２１０）、一致度が予め設定された閾値以上の動き表現情報を示す３Ｄメタデータを特定する（ステップＳ２１１）。そして、検索結果表示処理部２２が、３Ｄメタデータ検索部２１の検索した３Ｄメタデータを、３次元動画像再生装置のモニタに表示する処理を行う（ステップＳ２１２）。
図７は３Ｄメタデータ検索処理の処理フローを示す第２の図である。
３Ｄメタデータの検索処理の第２例として、ユーザが３Ｄ動画像データを再生しながら、その３Ｄ動画像データによる３Ｄ動画像に合成される３Ｄメタデータの中から所望の軌跡の３Ｄメタデータを検索する例について以下に説明する。
図７より、まずユーザは、３Ｄ動画像データを指定して３Ｄ動画像データを再生させる入力を行う。これにより３次元動画像再生装置の再生処理部１６が指定された３Ｄ動画像データを再生する（ステップＳ３０１）。そして、ユーザがその３Ｄ動画像において合成表示される３Ｄメタデータを検索したいと考えた場合、３Ｄメタデータの検索の開始の要求を３次元動画像再生装置に入力し、当該入力された情報を３次元動画像再生装置が受け付ける（ステップＳ３０２）。すると、３次元動画像再生装置の再生処理部１６が３Ｄ動画像データの再生処理を一時停止して（ステップＳ３０３）、マッチング方法選択部２３がマッチング方法選択画面と、単独・グループ選択画面（図６）をモニタに出力する（ステップＳ３０４）。ここで、マッチング方法選択画面は、３Ｄメタデータの検索時に、（ａ）空間マウス１１の実空間における位置に基づいて検出した各３Ｄ動画像上の指定位置を直線でつないで検索クエリを作成するか、（ｂ）それら指定位置を曲線でつないで検索クエリを作成するか、（ｃ）当該指定位置に基づいて特定できる定型軌跡テンプレートの検索クエリを作成するか、（ｄ）当該指定位置に基づいて算出できる軌跡の移動方向を示す検索クエリを作成するか、（ｅ）当該指定位置に基づいて算出できる軌跡の移動速度を示す検索クエリを作成するか、の（ａ）〜（ｅ）をユーザに指定させるための画面である。また単独・グループマッチング選択画面は、１つ（単独）の検索クエリで３Ｄメタデータを検索するか、または複数（グループ）の検索クエリに一致する３Ｄメタデータを検索するかを、ユーザに指定させるための画面である。
そして、マッチング方法選択部２３が、マッチング方法選択画面および単独・グループ選択画面によって入力された情報を受け付け（ステップＳ３０５）、その情報を３Ｄクエリ生成部２０へ通知する。すると３Ｄクエリ生成部２０は、空間マウス１１による軌跡入力を促す画面を３次元動画像再生装置のモニタ上に表示する（ステップＳ３０６）。ここで、ユーザは空間マウス１１を用いて、軌跡入力開始を指示するとともに（例えば所定のボタンを押下するなど）、当該空間マウス１１が指定しているモニタ上のマウスポインタの指定位置を、その空間マウス１１を実空間の上下左右前後のいずれかの方向に動かすことにより移動させる。このとき、空間マウス制御部１２が空間マウス１１の移動方向や移動量を検出し、その移動方向や移動量を再生処理部１６に通知することにより、再生処理部１６が、空間マウス１１がモニタ上において指定するマウスポインタの位置を移動させる処理を行う。そして、ユーザが空間マウス１１を用いて軌跡入力終了を指示する（例えば所定のボタンを押下するなど）。
なお、単独・グループ選択画面において「グループ」が選択された場合には、空間マウス１１から複数の軌跡の入力が行われることとなるが、例えば複数の空間マウス１１を用いて同時に軌跡が入力され、それらを１つの検索用の軌跡としてグルーピングするようにしても良いし、１つの空間マウス１１を用いて複数回にわたって軌跡の入力を受け付けて、それらを１つの検索用の軌跡としてグルーピングするようにしても良い。複数の空間マウス１１を用いて同時に軌跡が入力される場合には、複数の空間マウスの実空間上の位置を同時に検出できる機能を有することが必要となる。また空間マウス１１を用いた軌跡の入力は、一時停止した３Ｄ動画像データを再生させて、その３Ｄ動画像上で行うようにしても良いし、当該３Ｄ動画像を一時停止させたまま、その一時停止した動画像上にオーバーラップさせた画面に入力させるようにしても良い。また複数の軌跡を１つの空間マウス１１で入力させる場合であって、再生中の３Ｄ動画像中に軌跡を入力する場合には、１つの軌跡の入力を受け付けた後に、その軌跡の最初の表示時刻における再生画面に戻して３Ｄ動画像データを再生し、再度軌跡の入力を受け付けることで、複数の軌跡における最初のサンプルポイントを同時刻に設定することができる。
そして、軌跡入力開始から軌跡入力終了を受信するまで、空間マウス制御部１２は自動的に定期的な間隔で位置特定情報を生成し（ステップＳ３０７）、サンプルポイント生成部１８は、当該生成された位置特定情報を空間マウス制御部１２より受信する。この位置特定情報は、ユーザが空間マウス１１を用いて指定した３Ｄ仮想空間上の位置の検出の指示を行うものである。ここで、軌跡入力開始から軌跡入力終了までの間において、自動的に所定の時間間隔で、空間マウス制御部１２がマウスポインタの指定位置の検出を指示するための位置特定情報を定期的にサンプルポインタ生成部１８に通知する。
そしてサンプルポイント生成部１８は、位置特定情報を受信した時における、マウスポインタの仮想空間上の指定位置を再生処理部１６へ問い合わせる。再生処理部１６は、位置特定情報の生成時刻におけるマウスポインタの仮想３Ｄ空間上の指定位置（仮想空間内での座標）を検出して（ステップＳ３０８）、当該検出したマウスポインタの指定位置をサンプルポイント生成部１８へ送信する。するとサンプルポイント生成部１８は、最初の位置特定情報を受信した時刻を基準とした経過時間と、そのときのマウスポインタの仮想空間上の指定位置とを示す表示属性情報を生成し（ステップＳ３０９）、３Ｄクエリ生成部２０へ通知する。またサンプルポイント生成部１８は、位置特定情報を受信するたびに、そのときのマウスポインタの指定位置を再生処理部１６に問い合わせ、その結果である表示属性情報を３Ｄクエリ生成部２０へ通知する。これにより３Ｄクエリ生成部２０は、ユーザが空間マウス１１を用いて入力した軌跡を特定するための複数の指定位置と、それら指定位置のうちの、最初の指定位置を基準とする軌跡の経過時間を示す表示属性情報を複数記憶する。なお、単独・グループ選択画面において「グループ」が指定されている場合には、ユーザが空間マウス１１を用いて指定する複数の軌跡により検索が行われるため、複数の軌跡に関する表示属性情報がサンプルポイント生成部１８から３Ｄクエリ生成部２０に通知され、３Ｄクエリ生成部２０が一時的に記憶する。
次に、３Ｄクエリ生成部２０は、通知を受けた複数の表示属性情報を動き表現情報生成部１７に通知すると共に、空間マウス１１の軌跡を示す動き表現情報の生成を指示する。このとき３Ｄクエリ生成部２０は、マッチング方法選択画面において選択されたマッチング方法（直線、曲線、定型軌跡テンプレート、方向、速度の何れか）の情報を通知する。すると動き表現情報生成部１７は、通知を受けた複数の表示属性情報で示される各指定位置を結ぶ軌跡を示す表示軌跡情報を動き表現情報として生成する（ステップＳ３１０）。ここで表示軌跡情報は、マッチング方法が直線であれば、複数の表示属性情報で示される各指定位置を経過時間の順にそれぞれ結ぶ直線の各式の係数を示し、またマッチング方法が曲線であれば、複数の表示属性情報で示される各指定位置を結ぶスプライン曲線を表す各式の係数を示すものとなる。また動き表現情報は、マッチング方法が定型軌跡テンプレートであれば、複数の表示属性情報で示される各指定位置による軌跡が、どの定型軌跡テンプレートに類似する軌跡であるかを示す定型軌跡テンプレート種別の情報を示すものとなる。また動き表現情報は、マッチング方法が方向であれば、複数の表示属性情報で示される各指定位置を結ぶ各直線それぞれの方向ベクトルの情報を示すものとなる。また動き表現情報は、マッチング方法が速度であれば、複数の表示属性情報で示される各指定位置間の距離と、その距離における経過時間差とに基づいて算出される速度の情報を示すものとなる。
そして動き表現情報生成部１７において動き表現情報が生成されると、３Ｄクエリ生成部２０は、動き表現情報と、その動き表現情報の算出に利用された各表示属性情報の示すマウスポインタの仮想空間上の各指定位置と、それら指定位置のうちの、最初の指定位置の検出時刻を基準とする経過時間と、を示す検索クエリを生成し（ステップＳ３１１）、３Ｄメタデータ検索部２１へ送信する。そして、３Ｄメタデータ検索部２１が、検索クエリと３ＤメタデータＤＢ１４に記録されている各３Ｄメタデータの動き表現情報とを比較して（ステップＳ３１２）、一致度が予め設定された閾値以上の動き表現情報を保持する３Ｄメタデータを特定する（ステップＳ３１３）。そして、検索結果表示処理部２２が、３Ｄメタデータ検索部２１の検索した３Ｄメタデータを、３次元動画像再生装置のモニタに表示する処理を行う（ステップＳ３１４）。
図８は動き表現情報算出処理の概要を示す第１の図である。
次に、空間マウス１１により入力された軌跡を、各指定位置を直線に結ぶ軌跡とする場合の動き表現情報の算出例について図８を用いて説明する。
まず、動き表現情報生成部１７は、空間マウス１１によって入力された軌跡の各指定位置と、それら複数の指定位置のうちの最初の指定位置の検出時刻からの経過時間の組を３Ｄクエリ生成部２０より受信する。すると動き表現情報生成部１７は、各指定位置のうち、経過時間が最も早い指定位置Ｐ１と、その次に経過時間が早い指定位置Ｐ２との２点間の直線式（３Ｄ動画像の仮想空間における直線式）の各係数を求める。また同様に、動き表現情報生成部１７は指定位置Ｐ２と、その次に経過時間が早い指定位置Ｐ３との２点間の直線式の各係数を求め、経過時間が近い２つの表示位置の組み毎に、その２点間を結ぶ直線式の各係数を求める。そして、この直線式の各係数を示す表示軌跡情報を動き表現情報として生成する。
図９は動き表現情報算出処理の概要を示す第２の図である。
次に、空間マウス１１により入力された軌跡を、各指定位置をスプライン曲線により結ぶ軌跡とする場合の動き表現情報の算出例について図９を用いて説明する。
動き表現情報生成部１７は、空間マウス１１によって入力された軌跡の各指定位置と、それら複数の指定位置のうちの最初の指定位置の検出時刻からの経過時間の組を３Ｄクエリ生成部２０より受信する。すると動き表現情報生成部１７は、全ての指定位置を滑らかな曲線で結ぶスプライン曲線の計算式を求め、さらに、その各計算式の係数を求め、このスプライン曲線を表わす式の各係数を示す表示軌跡情報を動き表現情報とする。ここで本実施形態においてはスプライン曲線の式は、下記で示すような再生開始時刻からの経過時間ｔの３次関数で表わすものとする。
ｘ＝ａ１ｔ３＋ｂ１ｔ２＋ｃ１ｔ＋ｄ１
ｙ＝ａ２ｔ３＋ｂ２ｔ２＋ｃ２ｔ＋ｄ２
ｚ＝ａ３ｔ３＋ｂ３ｔ２＋ｃ３ｔ＋ｄ３
図１０は動き表現情報の算出処理の概要を示す第３の図である。
次に、空間マウス１１により入力された軌跡を、各指定位置に基づいて特定した定型軌跡テンプレートとする場合の動き表現情報の算出例について図１０を用いて説明する。
この場合、動き表現情報生成部１７は、予め定型軌跡テンプレートのデータを記憶しているものとする。まず、動き表現情報生成部１７は、各指定位置を３Ｄクエリ生成部２０より受信する。そして動き表現情報生成部１７は、各指定位置の重心と、定型軌跡テンプレートの重心とを一致させ、各指定位置が定型軌跡テンプレートで示される軌跡から一定距離以内にあるかどうかを判定する。そして、複数の定型軌跡テンプレートを用いて、空間マウス１１により入力された軌跡に基づく指定位置が、定型軌跡テンプレートで示される軌跡から一定距離以内にあるかどうかにより、一致度を判定し、各指定位置の全てが一定距離以内にあると判定された定型軌跡テンプレートの種別を動き表現情報と特定する。なお、定型軌跡テンプレートとしては仮想空間上の円、楕円、３つの直線により表わされる三角形、４つの直線により表わされる四角形、サインやコサインの曲線などであり、その軌跡は再生開始時刻からの経過時間ｔの関数により表わされるものである。また複数の定型軌跡テンプレートを特定できた場合には、例えば、空間マウス１１により入力された軌跡による各指定位置の、定型軌跡テンプレートからの距離の平均が最も小さい場合の、定型軌跡テンプレートを特定する。
なお、空間マウス１１により入力された軌跡に基づいて、方向、速度、の動き表現情報を算出する場合の例については後述する。
ここで、３Ｄメタデータ検索部２１が、検索クエリと３ＤメタデータＤＢ１４に記録されている各３Ｄメタデータの動き表現情報とを比較して、その一致度が予め設定された閾値以上の動き表現情報を保持する３Ｄメタデータを検索する処理においては、（Ａ）動き表現情報に含まれる動き表現情報のみを用いて一致度を判定する場合、（Ｂ）３Ｄメタデータの表示開始時刻における当該３Ｄメタデータの表示位置と検索クエリの示す動き表現情報の最初の指定位置とを一致させて表示軌跡の一致度を判定する場合、（Ｃ）各サンプルポイントの時間的推移を一致度の判定基準に入れて判定する場合、（Ｄ）３Ｄ動画像データの再生開始時刻からの最初の表示時の経過時間が３Ｄメタデータと検索クエリで同一かどうかの一致度の判断基準を入れて判定する場合、の（Ａ）〜（Ｄ）の組み合わせの判断により処理を行う。具体的には（１）Ａ〜Ｄの全ての判断基準を入れて検索処理を行う場合、（２）Ａ，Ｃ，Ｄの判断基準を入れて検索処理を行う場合、（３）Ａ〜Ｃの判断基準を入れて検索処理を行う場合、（４）Ａ，Ｃの判断基準を入れて検索処理を行う場合、（５）Ａ，Ｂの判断基準を入れて検索処理を行う場合、（６）Ａのみの判断基準により検索処理を行う場合の６通りが考えられる。以下、（１）Ａ〜Ｄの全ての判断基準を入れて検索処理を行う場合と、（３）Ａ〜Ｃの判断基準を入れて検索処理を行う場合の２通りの処理により３Ｄメタデータの検索処理の詳細について説明する。
図１１は３Ｄメタデータ検索部の検索処理の概要を示す第１の図である。
まず、図１１を用いて（１）上記Ａ〜Ｄの全ての判断基準を入れて検索処理を行う場合の、詳細について説明する。
まず、３Ｄメタデータ検索部２１は、全ての３Ｄ動画像データそれぞれの中で合成表示される各３Ｄメタデータを検索対象とするのか、１つの３Ｄ動画像データの中で合成表示される各３Ｄメタデータを検索対象とするのかを判定する。この判定は、例えば３Ｄ動画像データが既に再生されており、その中で検索処理が開始されるのであれば、当該再生中の３Ｄ動画像データ１つに合成表示される各３Ｄメタデータを検索対象とすると判定し、３Ｄ動画像データが再生されていなければ全ての３Ｄ動画像データそれぞれの中で合成表示される各３Ｄメタデータを検索対象とする。そして、３Ｄ動画像データに対応付けられて記録されているその３ＤメタデータのＩＤを３Ｄ動画ＤＢ１３から抽出し、その３ＤメタデータＩＤに基づいて、まず一つ目の３ＤメタデータＩＤに対応付けられて３ＤメタデータＤＢ１４に格納されているサンプルポイント情報（図３）を読み取る。
次に、３Ｄメタデータ検索部２１は、検索クエリに格納されている表示軌跡情報の空間マウス１１による指定位置のうち、最も早い経過時間を示す指定位置と、３Ｄメタデータのサンプルポイント情報で示されるサンプルポイントの表示位置のうち最も早い経過時間を示す表示位置との距離を、経過時間の順に順次算出する。図１１の例を用いて説明すると、まず、３Ｄメタデータ検索部２１は、検索クエリの表示軌跡情報が示す指定位置１ａと、３Ｄメタデータの表示軌跡情報が示す表示位置１ｂとの距離ｄ１を算出する。また３Ｄメタデータ検索部２１は、検索クエリの表示軌跡情報が示す指定位置２ａと、３Ｄメタデータの表示軌跡情報が示す表示位置２ｂとの距離ｄ２、検索クエリの表示軌跡情報が示す指定位置３ａと、３Ｄメタデータの表示軌跡情報が示す表示位置３ｂとの距離ｄ３、検索クエリの表示軌跡情報が示す指定位置４ａと、３Ｄメタデータの表示軌跡情報が示す表示位置４ｂとの距離ｄ４、のそれぞれを算出する。そして３Ｄメタデータ検索部２１はｄ１，ｄ２，ｄ３，ｄ４の全ての距離が所定の閾値距離ｄ以下であるかを判定する。そして、検索クエリの表示軌跡情報が示す指定位置と、検索対象となる３Ｄメタデータの表示軌跡情報が示す表示位置とを順次比較して、ｄ１≦Ｄ，ｄ２≦Ｄ，ｄ２≦Ｄ，ｄ２≦Ｄとなる３Ｄメタデータを、検索結果として出力する。
つまり、この処理では、３Ｄクエリ生成部２０が、空間マウス１１により入力された仮想空間上の複数の指定位置を示すと共に、それら指定位置のうちの最初に検出した指定位置の検出時刻からの経過時間を複数の指定位置それぞれについて示す検索クエリを生成する。そして３Ｄメタデータ検索部２１は、検索クエリの示す複数の指定位置のうち最も早い経過時間を示す指定位置と、３Ｄメタデータの動き表現情報内の表示軌跡情報の示す複数の表示位置のうち最も早い経過時間を示す表示位置との一致度が閾値以下となるかを判定し、また経過時間の順に順次対応する検索クエリの示す指定位置と、３Ｄメタデータの動き表現情報内の表示軌跡情報の示す表示位置との一致度が閾値以下となるかを判定し、全ての対応する２つの仮想空間上の位置が閾値以下であれば、その動き表現情報を用いて３Ｄ動画像上に合成表示される３Ｄメタデータを検索結果として出力している。
図１２は３Ｄメタデータ検索部の検索処理の概要を示す第２の図である。
次に、図１２を用いて、上記（３）Ａ〜Ｃの判断基準を入れて検索処理を行う場合の、詳細について説明する。
まず、３Ｄメタデータ検索部２１は、全ての３Ｄ動画像データそれぞれの中で合成表示される各３Ｄメタデータを検索対象とするのか、１つの３Ｄ動画像データの中で合成表示される各３Ｄメタデータを検索対象とするのかを判定する。この判定は、例えば３Ｄ動画像データが既に再生されており、その中で検索処理が開始されるのであれば、当該再生中の３Ｄ動画像データ１つに合成表示される各３Ｄメタデータを検索対象とすると判定し、３Ｄ動画像データが再生されていなければ全ての３Ｄ動画像データそれぞれの中で合成表示される各３Ｄメタデータを検索対象とする。そして、３Ｄ動画像データに対応付けられて記録されているその３ＤメタデータのＩＤを３Ｄ動画ＤＢ１３から抽出し、その３ＤメタデータＩＤに基づいて、まず一つ目の３ＤメタデータＩＤに対応付けられて３ＤメタデータＤＢ１４に格納されているサンプルポイント情報（図３）を読み取る。
次に、３Ｄメタデータ検索部２１は、検索クエリに格納されている表示軌跡情報の空間マウス１１による指定位置のうち、最も早い経過時間を示す指定位置から所定経過時間経過した位置と、３Ｄメタデータのサンプルポイント情報内の表示軌跡情報で示される表示位置による表示軌跡のうちの任意の位置から所定経過時間経過した位置との距離ｄを、異なる所定経過時間について算出し、それら複数の距離ｄの全てが閾値以下であるかを判定し、全ての距離ｄが閾値以下となる３Ｄメタデータがある場合には、その３Ｄメタデータを検索結果として出力する。
図１２を用いてより詳細に説明すると、３Ｄメタデータ検索部２１は、３Ｄメタデータの軌跡における最初の表示位置Ａから経過時間Ｘ後の表示位置であるＡ１と、検索クエリの表示軌跡情報に基づいて算出される軌跡における最初の表示位置Ａから経過時間Ｘ後の位置であるＡ３との距離ｄ１、および、３Ｄメタデータの軌跡における表示位置Ａ１から経過時間Ｘ後の表示位置Ａ２と、検索クエリの表示軌跡情報に基づいて算出される軌跡における表示位置Ａ３から経過時間Ｘ後の位置Ａ４との距離ｄ２をそれぞれ算出する。そして、それらｄ１とｄ２の両方が所定の高い一致度を示す所定の閾値以下であれば、その３Ｄメタデータを検索結果として出力する。
またｄ１とｄ２が所定の閾値以下でなければ、次に、３Ｄメタデータの表示軌跡上の他の任意の位置Ｂに移り、同様に、表示位置Ｂから経過時間Ｘ後の表示位置であるＢ１と、検索クエリの表示軌跡情報に基づいて算出される軌跡における表示位置Ｂから経過時間Ｘ後の位置であるＢ３との距離ｄ３、および、３Ｄメタデータの軌跡における表示位置Ｂ１から経過時間Ｘ後の表示位置Ｂ２と、検索クエリの表示軌跡情報に基づいて算出される軌跡における表示位置Ｂ３から経過時間Ｘ後の位置Ｂ４との距離ｄ４をそれぞれ算出する。そして、それらｄ３とｄ４の両方が所定の高い一致度を示す所定の閾値以下であれば、その３Ｄメタデータを検索結果として出力する。
またｄ３とｄ４が所定の閾値以下でなければ、次に、３Ｄメタデータの表示軌跡上の他の任意の位置Ｃに移り、同様に、表示位置Ｃから経過時間Ｘ後の表示位置であるＣ１と、検索クエリの表示軌跡情報に基づいて算出される軌跡における表示位置Ｃから経過時間Ｘ後の位置であるＣ３との距離ｄ５、および、３Ｄメタデータの軌跡における表示位置Ｃ１から経過時間Ｘ後の表示位置Ｃ２と、検索クエリの表示軌跡情報に基づいて算出される軌跡における表示位置Ｃ３から経過時間Ｘ後の位置Ｃ４との距離ｄ６をそれぞれ算出する。そして、それらｄ５とｄ６の両方が所定の高い一致度を示す所定の閾値以下であれば、その３Ｄメタデータを検索結果として出力する。そしてこのような処理を複数の任意の点について行い、検索クエリと３Ｄメタデータが一致するかを判定し、その処理を全ての検索対象の３Ｄメタデータに対して行う。
つまり、この処理では、３Ｄクエリ生成部２０が、空間マウス１１により入力された仮想空間上の複数の指定位置を示すと共に、それら指定位置のうちの最初に検出した指定位置の検出時刻からの経過時間を複数の指定位置それぞれについて示す検索クエリを生成する。そして、３Ｄメタデータ検索部２１は、検索クエリの示す複数の指定位置のうち最初に検出した指定位置を基点とした所定経過時間を示す位置であって複数の指定位置による検索軌跡上の位置と、３Ｄメタデータの動き表現情報内の表示軌跡情報の示す複数の表示位置による表示軌跡上の任意の点を基点とした所定経過時間を示す表示軌跡上の位置と、を比較し、異なる複数の所定経過時間における検索軌跡上の位置と表示軌跡上の位置との一致度の全てが閾値以下となる３Ｄメタデータを抽出し、その３Ｄメタデータを検索結果として出力している。
また、上述の処理以外に、例えば、上記（Ｂ）の、３Ｄメタデータの表示開始時刻における当該３Ｄメタデータの表示位置と、検索クエリの示す表示軌跡情報の最初の指定位置とを一致させて表示軌跡の一致度を判定する場合には、まず、３Ｄクエリ生成部２０が、空間マウス１１により入力された仮想空間上の複数の指定位置を示すと共に、それら指定位置のうちの最初に検出した指定位置の検出時刻からの経過時間を複数の指定位置それぞれについて示す検索クエリを生成する。そして、３Ｄメタデータ検索部２１は、検索クエリの示す複数の指定位置のうち最も早い経過時間を示す指定位置と、動き表現情報内の表示検索情報の示す複数の表示位置のうち最も早い経過時間を示す表示位置との一致度が閾値以下となる動き表現情報を抽出し、当該抽出した動き表現情報を用いて３次元動画像上に合成表示される３Ｄメタデータを検索する。
また、上記（Ｄ）の、３Ｄ動画像データの再生開始時刻からの最初の表示時の経過時間が３Ｄメタデータと検索クエリで同一かどうかの一致度の判断基準を入れて判定する場合には、まず、３Ｄ動画像の開始時刻からの経過時間の指定をユーザより受け付ける。そして３Ｄメタデータ検索部２１が、さらに、検索対象の３Ｄメタデータの表示軌跡情報が示す複数の表示位置のうち、最も早い経過時間が、指定を受け付けた開始時間を示す場合に、その３Ｄメタデータを抽出するようにすればよい。
図１３は３Ｄメタデータ検索部の検索処理の概要を示す第３の図である。
次に、図１３を用いて、定型軌跡テンプレートを用いて検索処理を行う場合の、詳細について説明する。
マッチング方法選択画面において「定型軌跡テンプレート」が選択されている時には、上述したように、３Ｄクエリ生成部２０は、空間マウス１１により入力された軌跡が、どの定型軌跡テンプレートに類似する軌跡であるかを示す定型軌跡テンプレート種別の情報を格納した検索クエリを生成する。そして、３Ｄメタデータ検索部２１は、検索クエリを３Ｄクエリ生成部２０から受信すると共に、検索対象となる３Ｄメタデータのサンプルポイント情報内の動き表現情報に基づいて、当該３Ｄメタデータの表示軌跡の類似する定型軌跡テンプレートを検出する。この定型軌跡テンプレートの検出は、例えば、３Ｄメタデータのサンプルポイント情報内の動き表現情報で示される表示軌跡の重心と、定型軌跡テンプレートの重心とを一致させ、各表示位置が定型軌跡テンプレートで示される軌跡から一定距離以内にあるかどうかを判定し、一定距離以内であれば、その３Ｄメタデータの表示軌跡を、比較した定型軌跡テンプレートに類似するものと判定し、その定型軌跡テンプレート種別の情報を出力する。そして、３Ｄメタデータ検索部２１は、検索クエリの示す定型軌跡テンプレート種別と同じ種別の表示軌跡となる検索対象の３Ｄメタデータを検索結果として出力する。
また定型軌跡テンプレートを用いた検索処理において、検索クエリの動き表現情報が示す３Ｄ動画像上の指定位置と、３Ｄメタデータの動き表現情報が示す３Ｄ動画像上の表示位置との一致度が、所定の閾値以上である場合にのみ検索結果として出力するようにいても良い。
図１４は３Ｄメタデータ検索部の検索処理の概要を示す第４の図である。
次に、方向ベクトルを用いて検索処理を行う場合の、詳細について説明する。
マッチング方法選択画面において「方向」が選択されている時には、３Ｄクエリ生成部２０は、空間マウス１１により入力された軌跡の方向ベクトルを示す検索クエリを生成する。例えば図１４で示すように、空間マウス１１で入力された軌跡の最初の指定位置（ｘ，ｙ，ｚ）が（２，８，１１）で、最後の表示位置（ｘ，ｙ，ｚ）が（７，９，１０）であった場合、方向ベクトルは（５，１，−１）であり、検索クエリはこの方向ベクトルの情報を示すものである。そして、その検索クエリが３Ｄメタデータ検索部２１に送信され、３Ｄメタデータ検索部２１は検索クエリが示す方向ベクトルと、検索対象となる３Ｄメタデータのサンプルポイントが示す方向ベクトルとの一致度が、所定の閾値以上であれば、その３Ｄメタデータを検索結果として出力する。ここで、図１４を用いて説明すると、図１４で示している３Ｄメタデータの動き表現情報が示す表示軌跡のうち、表示位置Ｄと表示位置Ｅとを結ぶ直線の方向ベクトルが、検索クエリの示す方向ベクトルと一致したとする。その場合、３Ｄメタデータ検索部２１は、その３Ｄメタデータを検索結果として検索結果表示処理部２２へ出力する。また図１４で示すように、検索結果表示処理部２２は、３Ｄメタデータの表示軌跡のうち、検索クエリと方向ベクトルが一致する表示軌跡の部分（表示位置Ｄと表示位置Ｅとを結ぶ直線）のみの表示軌跡に、３Ｄメタデータを合成表示した検索結果を出力するようにしてもよい。
図１５は３Ｄメタデータ検索部の検索処理の概要を示す第５の図である。
次に、方向ベクトルを用いて検索処理を行う場合の、詳細について説明する。
マッチング方法選択画面において「速度」が選択されている時には、３Ｄクエリ生成部２０は、空間マウス１１により入力された軌跡の移動速度を示す検索クエリを生成する。例えば図１５で示すように、空間マウス１１で入力された軌跡の最初の表示位置（ｘ，ｙ，ｚ）が（２，８，１１）で、最後の表示位置（ｘ，ｙ，ｚ）が（５，１２，１１）であり、また最後の表示位置の示す経過時間が、最初の表示位置に表示時刻を基準として１秒であるとすると、最初の表示位置から最後の表示位置までの距離が√（３２＋４２＋０２）＝√２５＝５であるため、最初の表示位置から最後の表示位置までの空間マウス１１によるマウスポインタの軌跡の移動速度＝距離÷時間＝５／秒となり、検索クエリは５／秒を示す情報を示すものである。そして、その検索クエリが３Ｄメタデータ検索部２１に送信され、３Ｄメタデータ検索部２１は検索クエリが示す速度と、検索対象となる３Ｄメタデータのサンプルポイントの表示位置と経過時間によって算出される表示軌跡の速度との一致度が、所定の閾値以上であれば、その３Ｄメタデータを検索結果として出力する。ここで、図１５を用いて説明すると、図１５で示している３Ｄメタデータの動き表現情報が示す表示軌跡のうち、表示位置（サンプルポイント）０と表示位置（サンプルポイント）１を結ぶ直線の表示軌跡の移動速度が、検索クエリの示す速度と一致したとする。その場合、３Ｄメタデータ検索部２１は、その３Ｄメタデータを検索結果として検索結果表示処理部２２へ出力する。また図１５で示すように、検索結果表示処理部２２は、３Ｄメタデータの表示軌跡のうち、検索クエリと速度が一致する表示軌跡の部分（表示位置（サンプルポイント）０と表示位置（サンプルポイント）１とを結ぶ直線）のみの表示軌跡に、３Ｄメタデータを合成表示した検索結果を出力するようにしてもよい。
なお、上述の処理においては、検索クエリと３Ｄメタデータの動き表現情報が示す表示軌跡や方向、速度の一致度が、所定の閾値以上であるかどうかを判定し、また、検索クエリと３Ｄメタデータの動き表現情報が示す表示軌跡と定型軌跡テンプレートの表示軌跡の一致度が、所定の閾値以上であるかどうかを判定しているが、これら３次元動画像再生装置が予め記憶している一致度の閾値は、ユーザから入力を受け付けて、設定変更できるような機能を備えるようにしてもよい。
また、検索クエリと３Ｄメタデータの動き表現情報が示す表示軌跡や方向、速度の一致度が、所定の閾値以上である検索結果を多数抽出した場合には、その数が、所定の数以下となるまで自動的に一致度の閾値を上げて、抽出結果を所定の数以下にするように設定するようにしてもよい。
以上、本発明の実施形態について説明したが、上述の処理によれば、ユーザは、空間マウスを用いて３次元画像再生装置の表示する仮想空間上に３次元で示される軌跡を入力するだけで、その軌跡と一致度の高い軌跡を３Ｄ動画像上に表示する３Ｄメタデータを検索することができる。
また、３次元画像再生装置の表示する仮想空間上にユーザが空間マウスを用いて入力した３次元の軌跡に基づいて、その軌跡が表す直線、曲線、移動速度、方向、軌跡のテンプレートの検索クエリが自動的に生成され、その検索クエリに一致する表示軌跡で３Ｄ動画像上に合成表示される３Ｄメタデータを検索することができるので、ユーザは、従来にくらべて多くの種類の表示軌跡の３Ｄメタデータを自由に検索することができる。
また、ユーザは、３次元画像再生装置の表示する仮想空間上にユーザが空間マウスを用いて入力するのみで、検索クエリを生成するために、特殊なコマンドやプログラムなどの検索用の問い合わせ言語を覚える必要がなく、容易に３Ｄ動画像上に表示される３Ｄメタデータの検索を行うことができる。
また、３Ｄメタデータが３Ｄ動画像上のある対象物の軌跡を追って表示されるものである場合には、ユーザが空間マウスを用いて検索クエリを作成するだけで、その結果検索された３Ｄメタデータに基づいて、所望の３Ｄ動画像上の対象物を検索することができるようになる。
また、上述の処理によれば、一致度の設定をユーザが自由に行うことができるため、ユーザの望む精度や曖昧さで、検索クエリの軌跡と同様の軌跡により３Ｄ動画像上に移動表示される３Ｄメタデータを検索することができる。
また、検索結果が所定の数以上に多く出力されるような場合には、一致度の閾値を自動的に上げる処理を行っているため、検索結果の数を所定の数に自動調整することができる。
なお、上述の３次元動画像再生装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
３次元動画像再生装置の構成を示すブロック図である。 ３Ｄメタデータ情報テーブルを示す図である。 サンプルポイント情報テーブルを示す図である。 ３Ｄメタデータの作成時の処理フローを示す図である。 ３Ｄメタデータ検索処理の処理フローを示す第１の図である。 ３次元動画像再生装置の表示する画面例を示す図である。 ３Ｄメタデータ検索処理の処理フローを示す第２の図である。 表示軌跡情報算出処理の概要を示す第１の図である。 表示軌跡情報算出処理の概要を示す第２の図である。 表示軌跡情報の算出処理の概要を示す第３の図である。 検索処理の概要を示す第１の図である。 検索処理の概要を示す第２の図である。 検索処理の概要を示す第３の図である。 検索処理の概要を示す第４の図である。 検索処理の概要を示す第５の図である。
符号の説明
１１・・・空間マウス
１２・・・空間マウス制御部
１３・・・３Ｄ動画ＤＢ
１４・・・３ＤメタデータＤＢ
１５・・・３Ｄディスプレイ
１６・・・再生処理部
１７・・・動き表現情報生成部
１８・・・サンプルポイント生成部
１９・・・３Ｄメタデータ生成編集部
２０・・・３Ｄクエリ生成部
２１・・・３Ｄメタデータ検索部
２２・・・検索結果表示処理部
２３・・・マッチング方法選択部

Claims (11)

  1. ３次元動画像に合成表示する付加情報の前記３次元動画像における動きを示す動き表現情報であって、前記３次元動画像上を前記付加情報が移動する表示軌跡上の複数の表示位置と、前記表示軌跡上の複数の表示位置それぞれに前記付加情報を表示させる際の前記３次元動画像の開始時刻からの経過時間と、を少なくとも示す動き表現情報を記憶する動き表現情報記憶手段と、
    実空間に存在する空間入力装置の空間位置を検出し、当該空間位置の変化に応じて前記３次元動画像中の前記空間入力装置による複数の指定位置と、当該複数の指定位置のうちの最初に検出した指定位置の検出時刻からの各経過時間と、を検出する入力情報検出手段と、
    前記複数の指定位置を示すと共に、それら指定位置のうちの最初に検出した指定位置の検出時刻からの経過時間を前記複数の指定位置それぞれについて示す検索用情報を生成する検索用情報生成手段と、
    前記検索用情報の示す前記複数の指定位置のうち最も早い経過時間を示す指定位置と、前記動き表現情報の示す前記複数の表示位置のうち最も早い経過時間を示す表示位置との一致度が閾値以下となる前記動き表現情報を、前記動き表現情報記憶手段より特定し、当該特定した動き表現情報により前記３次元動画像上に合成表示される前記付加情報を検索する付加情報検索手段と、
    前記検索した付加情報を出力する付加情報出力手段と、
    を備えることを特徴とする３次元動画像再生装置。
  2. ３次元動画像に合成表示する付加情報の前記３次元動画像における動きを示す動き表現情報であって、前記３次元動画像上を前記付加情報が移動する表示軌跡上の複数の表示位置を少なくとも示す動き表現情報を記憶する動き表現情報記憶手段と、
    実空間に存在する空間入力装置の空間位置を検出し、当該空間位置の変化に応じて前記３次元動画像中の前記空間入力装置による複数の指定位置を検出する入力情報検出手段と、
    前記３次元動画像の開始時刻からの経過時間の指定を受け付ける経過時間指定受付手段と、
    前記複数の指定位置を示す検索用情報を生成する検索用情報生成手段と、
    前記検索用情報の示す複数の指定位置と、前記動き表現情報の示す複数の表示位置との一致度に基づいて、前記動き表現情報記憶手段より前記動き表現情報を特定した後、前記複数の表示位置のうち最も早い経過時間として、前記指定を受け付けた開始時間を示す表示位置を保持する前記動き表現情報のみを、前記動き表現情報記憶手段より特定し、当該特定した動き表現情報により前記３次元動画像上に合成表示される前記付加情報を検索する付加情報検索手段と、
    前記検索した付加情報を出力する付加情報出力手段と、
    を備えることを特徴とする３次元動画像再生装置。
  3. ３次元動画像に合成表示する付加情報の前記３次元動画像における動きを示す動き表現情報であって、前記３次元動画像上を前記付加情報が移動する表示軌跡上の複数の表示位置と、前記表示軌跡上の複数の表示位置それぞれに前記付加情報を表示させる際の前記３次元動画像の開始時刻からの経過時間と、を少なくとも示す動き表現情報を記憶する動き表現情報記憶手段と、
    実空間に存在する空間入力装置の空間位置を検出し、当該空間位置の変化に応じて前記３次元動画像中の前記空間入力装置による複数の指定位置と、前記複数の指定位置のうちの最初に検出した指定位置の検出時刻からの各経過時間と、を検出する入力情報検出手段と、
    前記複数の指定位置を示すと共に、それら指定位置のうちの最初に検出した指定位置の検出時刻からの経過時間を前記複数の指定位置それぞれについて示す検索用情報を生成する検索用情報生成手段と、
    前記検索用情報の示す複数の指定位置のうち最初に検出した指定位置を基点とした所定経過時間を示す位置であって前記複数の指定位置による検索軌跡上の位置と、前記動き表現情報の示す複数の表示位置による表示軌跡上の任意の点を基点とした前記所定経過時間を示す前記表示軌跡上の位置と、に基づいて、異なる複数の前記所定経過時間における前記検索軌跡上の位置と前記表示軌跡上の位置との一致度が全て閾値以下となる前記動き表現情報を、前記動き表現情報記憶手段より特定し、当該特定した動き表現情報により前記３次元動画像上に合成表示される前記付加情報を検索する付加情報検索手段と、
    前記検索した付加情報を出力する付加情報出力手段と、
    を備えることを特徴とする３次元動画像再生装置。
  4. ３次元動画像に合成表示する付加情報の前記３次元動画像における動きを示す動き表現情報であって、前記３次元動画像上を前記付加情報が移動する表示軌跡上の複数の表示位置を少なくとも示す動き表現情報を記憶する動き表現情報記憶手段と、
    実空間に存在する空間入力装置の空間位置を検出し、当該空間位置の変化に応じて前記３次元動画像中の前記空間入力装置による複数の指定位置を検出する入力情報検出手段と、
    前記複数の指定位置による検索軌跡と、定型軌跡テンプレートが示す軌跡との一致度が所定の閾値以上となる定型軌跡テンプレートを検出して、当該定型軌跡テンプレートの種別情報を示す検索用情報を生成する検索用情報生成手段と、
    前記動き表現情報の示す前記複数の表示位置による表示軌跡と、定型軌跡テンプレートが示す軌跡との一致度が所定の閾値以上となる定型軌跡テンプレートを検出して、前記検索用情報の示す定型軌跡テンプレートと同一の定型軌跡テンプレートを示す前記動き表現情報を、前記動き表現情報記憶手段より特定し、当該特定した動き表現情報により前記３次元動画像上に合成表示される前記付加情報を検索する付加情報検索手段と、
    前記検索した付加情報を出力する付加情報出力手段と、
    を備えることを特徴とする３次元動画像再生装置。
  5. ３次元動画像に合成表示する付加情報の前記３次元動画像における動きを示す動き表現情報であって、前記３次元動画像上を前記付加情報が移動する表示軌跡上の複数の表示位置を少なくとも示す動き表現情報を記憶する動き表現情報記憶手段と、
    実空間に存在する空間入力装置の空間位置を検出し、当該空間位置の変化に応じて前記３次元動画像中の前記空間入力装置による複数の指定位置を検出する入力情報検出手段と、
    前記複数の指定位置を示す検索用情報を生成する検索用情報生成手段と、
    前記検索用情報の示す複数の指定位置に基づいて算出される検索軌跡の方向と、前記動き表現情報の示す複数の表示位置に基づいて算出される表示軌跡の方向との一致度が閾値以上である前記動き表現情報を、前記動き表現情報記憶手段より特定し、当該特定した動き表現情報により前記３次元動画像上に合成表示される前記付加情報を検索する付加情報検索手段と、
    前記検索した付加情報を出力する付加情報出力手段と、
    を備えることを特徴とする３次元動画像再生装置。
  6. ３次元動画像に合成表示する付加情報の前記３次元動画像における動きを示す動き表現情報であって、前記３次元動画像上を前記付加情報が移動する表示軌跡上の複数の表示位置と、前記表示軌跡上の複数の表示位置それぞれに前記付加情報を表示させる際の前記３次元動画像の開始時刻からの経過時間と、を少なくとも示す動き表現情報を記憶する動き表現情報記憶手段と、
    実空間に存在する空間入力装置の空間位置を検出し、当該空間位置の変化に応じて前記３次元動画像中の前記空間入力装置による複数の指定位置と、当該複数の指定位置のうちの最初に検出した指定位置の検出時刻からの各経過時間と、を検出する入力情報検出手段と、
    前記複数の指定位置を示すと共に、それら指定位置のうちの最初に検出した指定位置の検出時刻からの経過時間を前記複数の指定位置それぞれについて示す検索用情報を生成する検索用情報生成手段と、
    前記検索用情報の示す複数の指定位置とそれら指定位置の示す経過時間の時間差とに基づいて算出される速度と、前記動き表現情報の示す複数の表示位置とそれら表示位置の示す経過時間の時間差とに基づいて算出される速度との一致度が閾値以上である前記動き表現情報を、前記動き表現情報記憶手段より特定し、当該特定した動き表現情報により前記３次元動画像上に合成表示される前記付加情報を検索する付加情報検索手段と、
    前記検索した付加情報を出力する付加情報出力手段と、
    を備えることを特徴とする３次元動画像再生装置。
  7. 前記検索用情報生成手段が複数の前記検索用情報を生成し、
    前記付加情報検索手段は、複数の前記検索用情報に基づいて前記動き表現情報の特定の処理を行う
    ことを特徴とする請求項１から請求項６の何れかに記載の３次元動画像再生装置。
  8. 前記一致度の設定入力を受け付ける一致度設定入力受付手段と、
    を備えることを特徴とする請求項１から請求項６の何れかに記載の３次元動画像再生装置。
  9. 前記動き表現情報記憶手段より所定の数の前記動き表現情報の特定をしたかを判定し、前記所定の数以上の前記動き表現情報を特定した場合には、前記動き表現情報記憶手段より特定する前記動き表現情報の数が前記所定の数以下となるまで自動的に前記一致度を上げて、前記動き表現情報の特定処理を繰り返す一致度調整手段と、
    を備えることを特徴とする請求項１から請求項６の何れかに記載の３次元動画像再生装置。
  10. ３次元動画像装置における付加情報検索方法であって、
    前記３次元動画像装置の動き表現情報記憶手段が、３次元動画像に合成表示する付加情報の前記３次元動画像における動きを示す動き表現情報であって、前記３次元動画像上を前記付加情報が移動する表示軌跡上の複数の表示位置と、前記表示軌跡上の複数の表示位置それぞれに前記付加情報を表示させる際の前記３次元動画像の開始時刻からの経過時間と、を少なくとも示す動き表現情報を記憶し、
    前記３次元動画像装置の入力情報検出手段が、実空間に存在する空間入力装置の空間位置を検出し、当該空間位置の変化に応じて前記３次元動画像中の前記空間入力装置による複数の指定位置と、当該複数の指定位置のうちの最初に検出した指定位置の検出時刻からの各経過時間と、を検出し、
    前記３次元動画像装置の検索用情報生成手段が、前記複数の指定位置を示すと共に、それら指定位置のうちの最初に検出した指定位置の検出時刻からの経過時間を前記複数の指定位置それぞれについて示す検索用情報を生成し、
    前記３次元動画像装置の付加情報検索手段が、前記検索用情報の示す複数の指定位置のうち最も早い経過時間を示す指定位置と、前記動き表現情報の示す複数の表示位置のうち最も早い経過時間を示す表示位置との一致度が閾値以下となる前記動き表現情報を、前記動き表現情報記憶手段より特定し、当該特定した動き表現情報により前記３次元動画像上に合成表示される前記付加情報を検索し、
    前記３次元動画像装置の付加情報出力手段が、前記検索した付加情報を出力する
    ことを特徴とする付加情報検索方法。
  11. ３次元動画像に合成表示する付加情報の前記３次元動画像における動きを示す動き表現情報であって、前記３次元動画像上を前記付加情報が移動する表示軌跡上の複数の表示位置と、前記表示軌跡上の複数の表示位置それぞれに前記付加情報を表示させる際の前記３次元動画像の開始時刻からの経過時間と、を少なくとも示す動き表現情報を記憶する動き表現情報記憶手段を備えた３次元動画像再生装置のコンピュータを、
    実空間に存在する空間入力装置の空間位置を検出し、当該空間位置の変化に応じて前記３次元動画像中の前記空間入力装置による複数の指定位置と、当該複数の指定位置のうちの最初に検出した指定位置の検出時刻からの各経過時間と、を検出する入力情報検出手段、
    前記複数の指定位置を示すと共に、それら指定位置のうちの最初に検出した指定位置の検出時刻からの経過時間を前記複数の指定位置それぞれについて示す検索用情報を生成する検索用情報生成手段、
    前記検索用情報の示す複数の指定位置のうち最も早い経過時間を示す指定位置と、前記動き表現情報の示す複数の表示位置のうち最も早い経過時間を示す表示位置との一致度が閾値以下となる前記動き表現情報を、前記動き表現情報記憶手段より特定し、当該特定した動き表現情報により前記３次元動画像上に合成表示される前記付加情報を検索する付加情報検索手段、
    前記検索した付加情報を出力する付加情報出力手段、
    として機能させるためのプログラム。
JP2008223699A 2008-09-01 2008-09-01 ３次元動画像再生装置及び付加情報検索方法とプログラム Active JP5047102B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008223699A JP5047102B2 (ja) 2008-09-01 2008-09-01 ３次元動画像再生装置及び付加情報検索方法とプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008223699A JP5047102B2 (ja) 2008-09-01 2008-09-01 ３次元動画像再生装置及び付加情報検索方法とプログラム

Publications (2)

Publication Number Publication Date
JP2010061221A JP2010061221A (ja) 2010-03-18
JP5047102B2 true JP5047102B2 (ja) 2012-10-10

Family

ID=42187973

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008223699A Active JP5047102B2 (ja) 2008-09-01 2008-09-01 ３次元動画像再生装置及び付加情報検索方法とプログラム

Country Status (1)

Country Link
JP (1) JP5047102B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105513113B (zh) * 2015-12-01 2019-09-24 联想(北京)有限公司 一种图像处理方法及电子设备
JP6649231B2 (ja) * 2016-11-18 2020-02-19 株式会社東芝 検索装置、検索方法およびプログラム
CN114697635B (zh) * 2020-12-31 2023-11-10 三一汽车制造有限公司 臂架设备的场景再现方法、系统、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000217054A (ja) * 1999-01-21 2000-08-04 Telecommunication Advancement Organization Of Japan 動画像に係る映像検索方法およびそのシステム
JP4226730B2 (ja) * 1999-01-28 2009-02-18 株式会社東芝 物体領域情報生成方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置
JP2005025600A (ja) * 2003-07-04 2005-01-27 Hitachi Ltd ３次元ウォークスルー装置を備えた３次元地図表示装置
JP2006012012A (ja) * 2004-06-29 2006-01-12 Matsushita Electric Ind Co Ltd イベント抽出装置及びその方法及びそのプログラム

Also Published As

Publication number Publication date
JP2010061221A (ja) 2010-03-18

Similar Documents

Publication Publication Date Title
KR101729195B1 (ko) 질의동작기반 안무 검색 시스템 및 방법
US10902676B2 (en) System and method of controlling a virtual camera
US9167189B2 (en) Automated content detection, analysis, visual synthesis and repurposing
KR101804848B1 (ko) 비디오 객체 탐색 장치, 비디오 객체 변형 장치 및 그 방법
USRE38401E1 (en) Interactive video icon with designated viewing position
US8005255B2 (en) Content selecting method and content selecting apparatus
JPH05108730A (ja) 動画像データベースの検索
JPH08249348A (ja) 映像検索方法および装置
CN107111620A (zh) 使用上下文数据的视频编辑和使用群组的内容发现
KR20070065798A (ko) 컨텐츠 재생 장치, 리스트 수정 장치, 컨텐츠 재생 방법 및리스트 수정 방법
WO2019029156A1 (zh) 一种室内目标位置的导航方法、装置、电子设备及介质
US10970932B2 (en) Provision of virtual reality content
JP2003092723A (ja) 動画データ処理装置及び方法
JP4693454B2 (ja) ３次元形状比較プログラム及び３次元類似形状検索プログラム
JP5047102B2 (ja) ３次元動画像再生装置及び付加情報検索方法とプログラム
Sugimoto et al. Building Movie Map-A Tool for Exploring Areas in a City-and its Evaluations
JPH07200632A (ja) 情報処理装置
JP4458886B2 (ja) 複合現実感画像の記録装置及び記録方法
JP3566530B2 (ja) 空間散策映像表示方法及び空間内オブジェクト検索方法及び空間内オブジェクト抽出方法及びそれらの装置及びそれらの方法を記録した記録媒体
JP2009301501A (ja) 検索結果表示方法
JP4334898B2 (ja) データベース構築装置、データベース構築プログラム、画像検索装置、画像検索プログラム、及び画像記録再生装置
JP2002262233A (ja) 行動計測システム
KR101059601B1 (ko) 대화형 가상 영화를 제작하기 위한 방법 및 장치
US20120271830A1 (en) Data processing device
Kanade Immersion into visual media: new applications of image understanding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120619

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120717

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150727

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5047102

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250