JP4574771B2 - 画像情報記述方法 - Google Patents
画像情報記述方法 Download PDFInfo
- Publication number
- JP4574771B2 JP4574771B2 JP33946599A JP33946599A JP4574771B2 JP 4574771 B2 JP4574771 B2 JP 4574771B2 JP 33946599 A JP33946599 A JP 33946599A JP 33946599 A JP33946599 A JP 33946599A JP 4574771 B2 JP4574771 B2 JP 4574771B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- sample image
- information
- sample
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像情報、特に映像フレーム群を時間的に任意の間隔でかつ空間的に任意の大きさでサンプリングした標本画像フレーム群に関する標本画像情報を記述する方法に関する。
【０００２】
【従来の技術】
近年、半導体技術およびディジタル信号処理技術の進歩により、動画像（映像）情報をアナログデータからディジタルデータに変換して圧縮する処理をリアルタイムに行うことが可能となっている。実際、ディジタル衛星放送では、動画像圧縮の国際標準規格であるＭＰＥＧ−２により圧縮符号化されたディジタル映像データが配信され、各家庭で圧縮映像データをリアルタイムで伸長復号化してテレビ受像機で映画等を観賞できるようになっている。
【０００３】
また、光ディスクの高密度化により、ＭＰＥＧ−２等で圧縮されたディジタル映像データを記録する技術も実用段階に達しつつある。このような光ディスク媒体の代表的なものとして、ＤＶＤ−ＲＡＭやＣＤ−ＲＷがある。ＤＶＤ−ＲＡＭより記録時間は短いが、ＨＤＤにおいてもディジタル映像データの記録が可能である。今後、ＤＶＤ−ＲＡＭ等に記録されたディジタル映像データについても、ディジタル化された文字や静止画データと同様に、容易に検索できるようにすることが要求されると考えられる。
【０００４】
映像検索の古典的手法は、映画等の映像ファイル毎にタイトル名、およびキーワードを定めておき、タイトル名およびキーワードのいずれか一方または両方によって検索するというものである。この方法は、検索そのものは容易であるが、映像の内容に応じた細かな検索ができず、実際に映像を再生表示しないと所望の映像かどうかが分からないのが欠点である。
【０００５】
圧縮されたディジタル映像データを記録する際、映像を静止画像フレームの連続として扱うことができるため、画像処理技術によって元の映像から代表フレームと呼ばれる特徴的な画像フレームを選択し、一覧表示する方法が考えられている。代表フレームとしては、シーンチェンジと呼ばれる画面が切り替わる部分を用いる場合が多い。しかし、シーンチェンジは数秒に一回、場合によっては数十秒に一回といった頻度でしか起こらないため、代表フレームで映像の内容を表現するには限界がある。シーンチェンジとシーンチェンジの間のフレームの映像を確認しようとすると、元の映像データを復号して表示するしかない。
【０００６】
ＭＰＥＧ−１，ＭＰＥＧ−２といった国際標準規格で圧縮されたディジタル映像データには、ある程度ランダムアクセスするための仕組みが入っており、ランダム再生、早送り再生等の可変速再生（トリックプレイ）ができるようになっている。しかし、これらの可変速再生はディジタル映像データそのものを操作することにより行われるために処理が重く、計算機パワーの小さい家庭用の受信機器では処理の負担が大きい。また、ビデオ・オン・デマンドやインターネットでのブラウズのように、遠隔地に設置されたサーバからネットワークを通してディジタル映像データを配信し、家庭のコンピュータやテレビ受像機で受信するような環境で上記の可変速再生を行うことは、ネットワークのトラフィックを増大させてしまうという困難がある。
【０００７】
【発明が解決しようとする課題】
上述したように、従来の一般的な映像検索は映像ファイルに付与されたタイトル名やキーワードで検索する程度であり、映像の内容を確認して検索するという環境は十分に提供されていないのが実情である。
【０００８】
また、元の映像からシーンチェンジの部分を代表フレームとして選択して一覧表示する方法では、シーンチェンジとシーンチェンジの間のフレームの映像を確認することができないという問題点がある。
【０００９】
さらに、ＭＰＥＧ−１，ＭＰＥＧ−２のような動画像圧縮の国際標準規格に組み込まれた可変速再生の仕組みでは、ディジタル映像データそのものを操作することで可変速再生を行うことから、計算機パワーの小さい機器では処理の負担が大きく、またネットワークを通して配信されるディジタル映像データを受信するような環境で可変速再生を行おうとすると、ネットワークのトラフィックを増大させてしまうという問題点があった。
【００１０】
本発明は、映像の内容を確認しての検索や表示を行うことができる画像情報記述方法を提供することを主たる目的とする。
【００１１】
また、所望のフレームがシーンチェンジとシーンチェンジの間に存在するような場合でも良好な映像検索ができるようにすることを目的としている。
【００１２】
さらに、映像の可変速再生等を行う場合の処理量を軽減し、計算機パワーの小さな機器やネットワーク上でも容易に実現できるようにすることを目的とする。
【００１３】
【課題を解決するための手段】
本発明の一実施態様の画像情報記述方法によれば、複数の映像フレームからなる元映像情報を時間的に任意の間隔でかつ空間的に任意の大きさにサンプリングして得た複数の標本画像フレームからなる標本映像に関する標本映像情報として、前記標本映像の前記元映像情報の時間軸上の場所を示すポインタと、前記標本映像に含まれる複数の標本画像フレームのそれぞれと該標本画像フレームに対応する映像フレームとの対応関係を示す属性情報と、前記映像情報のシーンチェンジ位置情報を含む付帯情報と、を記述し、前記付帯情報は、前記元映像情報の画面変化量の情報も含むものである。
【００２９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【００３０】
図１は、本発明の一実施形態に係るシステムアーキテクチャを示している。このシステムは大きく分けてデータベース１００、映像表示エンジン１０４、検索エンジン／標本画像表示エンジン１０５、コントローラ１０６および表示部１０７からなる。データベース１００の内容は、後に詳しく説明する元映像データ１０１と時・空間標本映像メタデータ１０２、および両者を対応付ける対応テーブル１０３（対応関数テーブルでもよい）の３つのコンポーネントからなっている。
【００３１】
データベース１００は一箇所に集中配置されていてもよいし、複数箇所に分散配置されていてもよく、要は映像表示エンジン１０４や検索エンジン／標本画像表示エンジン１０５でアクセスすることができればよい。元映像データ１０１と時・空間標本映像メタデータ１０２は、別々の媒体に格納されていてもよいし、同一の媒体に格納されていてもよい。媒体としては、例えばＤＶＤ等が用いられる。また、元映像データ１０１は一箇所に記憶されるのではなく、ネットワークを介して伝送されるデータであってもよい。
【００３２】
映像表示エンジン１０４は、コントローラ１０６による制御の下で元映像データ１０１を表示部１０７で表示させるための処理を行う。さらに、映像表示エンジン１０４は、検索エンジン／標本画像表示エンジン１０５により時・空間標本映像メタデータ１０２に基づいて元映像データ１０１が検索された場合には、元映像データ１０１の検索された部分を表示部１０７で表示させるための処理も行う。
【００３３】
検索エンジン／標本画像表示エンジン１０５は、コントローラ１０６による制御の下で、後に詳しく説明する時・空間標本映像メタデータ１０２から、元映像データ１０１の所望フレーム近傍の適切な標本画像フレームを検索し、それらを代表フレームとして表示部１０７で表示させたり、時・空間標本映像メタデータ１０２を用いてコントローラ１０６を介して元映像データ１０１の検索を行う。
【００３４】
ここで、検索エンジン／標本画像表示エンジン１０５と、映像表示エンジン１０４との違いについて説明すると、前者は容量の少ない時・空間標本映像メタデータ１０２の中の標本画像フレーム群を処理するので、受信機器に内蔵の能力の低いＰＣ上のソフトウェアとして実装しても十分な処理速度を得ることができる。
【００３５】
後者はＭＰＥＧ−２映像データやアナログ映像データである元映像データ１０１を処理するものであるため、特別のハードウェアを実装する必要がある場合が多い。具体的には、元映像データ１０１がＭＰＥＧ−２による圧縮映像データの場合は、映像表示エンジン１０４には特別なデコードボード（ＭＰＥＧ−２デコーダ）が用いられ、また元映像データ１０１がアナログ映像信号の場合は、映像表示エンジン１０４としては早送り、巻き戻しをコントロールできるＶＴＲのような映像再生装置が用いられる。
【００３６】
なお、元映像データ１０１がＭＰＥＧ−１やＭＰＥＧ−４による圧縮映像データの場合は、ＰＣ上のソフトウェアでも映像表示エンジン１０４の実装は可能であり、システムのアーキテクチャとして分離する必要はない。
【００３７】
対応テーブル１０３における上下の線のコネクションは概念的なもので、対応テーブル１０３は元映像データ１０１および時・空間標本映像メタデータ１０２と物理的につながっている必要はない。従って、元映像データ１０１が格納された媒体は、映像表示エンジン１０４と同一筐体内に納められる場合があり、また時・空間標本映像メタデータ１０２が格納された媒体は、検索エンジン／標本画像表示エンジン１０５と同じ筐体内に納められる場合もある。
【００３８】
時・空間標本映像メタデータ１０２が格納された媒体と検索エンジン／標本画像表示エンジン１０５が離れた位置に存在していたとしても、両者を接続する回線としては、伝送容量の比較的小さい、例えば１０Ｍｂｐｓのネットワークでも十分である。一方、元映像データ１０１が格納された媒体と映像表示エンジン１０４を接続する回線は、メデイアの種類によっては１００Ｍｂｐｓ以上の回線を用意する必要がある。
【００３９】
図１に示したようなシステムアーキテクチャの有利な点は、検索を元映像データ１０１を対象にして行うのではなく、それよりデータサイズが小さい時・空間標本映像メタデータ１０２を対象に行うため、インタラクティブな操作を快適に行うことができ、また全体的にトラフィックを低く抑えることができるという点である。
【００４０】
図２は、元映像データ１０１と時・空間標本映像メタデータ１０２の概念図である。元映像データ１０１は、ＭＰＥＧ−１，ＭＰＥＧ−２，ＭＰＥＧ−４等により圧縮されたディジタル映像データまたはアナログデータであり、動画像を構成する映像フレームの集合（映像フレーム群）からなっている。また、元映像データ１０１には、各映像フレームの時間軸上の位置を示す位置情報、例えばメディア時間（以下、単に時間と称する）またはフレーム番号という位置情報が関連付けられている。元映像データ１０１と時・空間映像メタデータ１０２の関連付けは、対応テーブル１０３により時間またはフレーム番号で行われる。
【００４１】
時・空間標本映像メタデータ１０２は、標本画像情報２０１１〜２０１ｎを主体として構成され、さらに本実施形態の例では付帯情報としてシーンチェンジ位置情報２０２および画面変化量情報２０３も含まれる。
【００４２】
標本画像情報２０１１〜２０１ｎは、元映像データ１０１を構成する映像フレーム群を時間的に任意の間隔でかつ空間的に任意の大きさにサンプリングして得られた標本画像フレーム群と、各標本画像フレームにそれぞれ対応する元映像フレームの時間軸上の位置を示す位置情報（時間またはフレーム番号）と、各標本画像フレームの大きさを示す大きさ情報等の該標本画像フレームを特定するための属性情報とからなる。これらの属性情報のうち、前者の各標本画像フレームにそれぞれ対応する元映像フレームの時間軸上の位置を示す位置情報（時間またはフレーム番号）は、対応テーブル１０３を参照して記述される。
【００４３】
元映像データ１０１が圧縮されたディジタル映像データのように既にディジタル化されている場合には、時・空間標本映像メタデータ１０２の標本画像情報２０１１〜２０１ｎの中の標本画像フレーム群は、元映像データ１０１の所望のフレームを復号または部分復号することで作成される。元映像データ１０１がアナログデータの場合は、これをディジタル化してから標本画像フレーム群を作成すればよい。
【００４４】
次に、元映像データ１０１がＭＰＥＧ−２圧縮映像データである場合について、属性情報のうちの前者、すなわち各標本画像フレームにそれぞれ対応する元映像フレームの時間軸上の位置を示す位置情報（時間またはフレーム番号）を説明する。この場合は、ＭＰＥＧ−２圧縮映像データである元映像データ１０１を復号して例えば３０フレームに１枚、かつ大きさを縦横１／８ずつ縮小して標本画像フレーム群２０１１〜２０１ｎを作成する。また、このように固定の時間サンプリングと固定の空間サンブリングで標本画像フレーム群を作成するのでなく、これらを適宜変化させて標本画像フレーム群を作成することもできる。画面変化量が少ないところでは、時間方向に粗くサンプリングし、画面変化量の多いところでは時間方向に細かくサンプリングすることも有効である。
【００４５】
ＭＰＥＧ−２圧縮映像データには、Ｉピクチャ（フレーム内符号化フレーム）と呼ばれるフレーム内の相関のみを用いて圧縮したフレームが間欠的に存在する。ＩピクチャはＰピクチャ（前方予測フレーム間符号化フレーム）やＢピクチャ（双方向予測フレーム間符号化フレーム）のようにフレーム間の相関を用いて圧縮していないために、復号が容易である。そこで、標本画像フレーム群を作成するに当たり元映像データ１０１のＩピクチャのみについて、しかもＩピクチャのＤＣＴ（離散コサイン変換）係数のうちのＤＣ成分のみを復号すれば、より容易に時間的かつ空間的にサンプリングした標本画像フレーム群を得ることができる。
【００４６】
Ｉピクチャは、必ずしもー定のフレーム間隔で存在することが保証されていないが、ＭＰＥＧ−２により圧縮された映像データからビデオレート以上のスビードで、時間的かつ空間的にサンプリングした標本画像フレーム群を作成するにはＩピクチャを用いる方法が有効である。
【００４７】
このようにＩピクチャから標本画像フレーム群を作成する方法は、処理量が少ないために、特別なハードウェアを用いなくとも、ＰＣ上のソフトウェアだけで処理が可能である利点がある。また、ネットワークを介して元映像データ１０１から標本画像フレーム群を作成する際にも、Ｉピクチャを用いると、トラフィック増大の問題を容易に回避することができる。
【００４８】
一方、標本画像フレーム群を作成する際の元映像データ１０１の空間方向のサンプリングも固定である必要はなく、適宜可変とすることができ、場合によっては縮小のみでなく、特に重要な画面のフレームについては拡大しても構わない。上述したように、標本画像情報２０１は標本画像フレーム群と標本画像フレームの属性情報が含まれており、属性情報に標本画像フレーム群の大きさ情報が含まれているので、検索または表示時に標本画像フレームを適宜所望の大きさに変換してから用いることができる。
【００４９】
図３に、標本画像情報２０１の具体的な記述例を示す。標本画像情報は標本画像フレーム群の各フレーム毎に記述される情報であり、この例では（１）当該標本画像フレームに対応する元映像データのフレーム番号または時間、（２）当該標本画像フレームの大きさ（高さ×幅）、（３）次の標本画像フレームまでのフレーム数または時間、（４）ＪＰＥＧ，ＲＧＢ，ＹＵＶといった標本画像フレームの画像形式、（５）標本画像フレームの画像データ（または元映像データ１０１へのポインタ）からなっている。ここで、（３）、（４）、（５）は必須でなく、いずれかが省略されていてもよい。また、（１）〜（５）以外の付加的情報がさらに含まれていてもよい。
【００５０】
標本画像フレーム群を時間的に連続したフレーム群からなる映像データ（後述する標本映像）として扱ってもよい。その映像データを例えばＡＶＩファイルやＭＰＥＧ−４ファイルに圧縮することにより、さらにコンパクトにすることも可能である。その場合、その映像データは、元映像データ１０１の映像フレームへのファイルポインタとフレーム番号となる。従って、その映像データから任意のフレームの画像を取得するためのインタフェースが必要となる。
【００５１】
図４は、メタデータ１０２の管理構造を示している。この例では、標本画像情報２０１１，２０１２、…を管理するためにリスト構造を利用している。Ｒｏｏｔ４０１からフレーム番号の小さい順に標本画像情報２０１１，２０１２、…へのポインタとなるリスト４０２、４０３、４０４、４０５をつなげてゆき、Ｅｎｄ４０６が最終のフラグとなる。リスト４０２，４０３，４０４，４０５の番号ＩＤ１，ＩＤ２，ＩＤ３，ＩＤ４は概念的なもので、この順番に各リスト４０２，４０３，４０４，４０５が並んでいることを意味する。この例ではリスト４０２，４０３、４０４，４０５から実際の標本画像情報２０１１，２０１２、２０２３、２０２４のある場所を指し示しポインタが張られている。
【００５２】
このようなリスト構造にすると、標本画像情報の追加・削除が容易である。新しい標本画像フレームを追加するときは、フレーム番号を順に調べてゆき、フレーム番号の大小が逆転しないように標本画像情報の追加を行う。標本画像フレームを削除するときは、対応する標本画像情報をリストから取り外せばよい。
【００５３】
このように標本画像情報２０１の管理をリスト構造として追加・削除を容易にする理由は、標本画像フレームとして最初に決められたものだけでなく、後から追加したい場合が多々あることを考慮している。例えば、ＭＰＥＧ−２圧縮映像データのＩピクチャを標本画像フレームとして登録した後に、ＭＰＥＧ−２圧縮映像のシーンチェンジ位置を検出し、そのシーンチェンジ位置のフレームを標本画像フレームとして登録したい場合が生じる。この場合、先に述べたＩピクチャからの標本画像フレームについてはＤＣ成分のみからなる縮小画像として登録し、シーンチェンジ位置の標本画像フレームについては重要なフレームなので、フルサイズの画像フレームとして登録することも可能である。
【００５４】
なお、標本画像情報の他の記述例については、後述する。
【００５５】
次に、図５を用いて標本画像情報２０１の記述方法の具体的な手順を元映像データ１０１がＭＰＥＧ−２圧縮映像データである場合を例にとり説明する。図５は、標本画像情報２０１の記述を含む時・空間標本映像メタデータ１０２の記録手順を示すフローチャートである。
【００５６】
先ず、元映像データ１０１の映像フレーム群を読み込み（ステップＳ１１）、元映像フレームを時間的にサンプリングする（ステップＳ１２）。元映像データのシーンチェンジ位置を検出する（ステップＳ１３）。シーンチェンジ位置は、例えば読み込んだ元映像データ１０１の隣接するフレーム間の画面変化量を計算し、一定値以上の変化があったところをシーンチェンジ位置として検出する。
【００５７】
ステップＳ１２での元映像データ１０１の時間的なサンプリングは、例えば動きの大きい領域は細かく、動きの小さい領域は粗くサンプリングする等の処理を行うこともできる。この例では元映像データ１０１がＭＰＥＧ−２圧縮映像データであるため、ステップＳ１２においては標本画像フレームを作成するためにＩピクチャを抽出し、また画面変化量を検出するためにＰピクチャを抽出する。
【００５８】
次に、ステップＳ１２で抽出されたＩピクチャを空間的にサンプリングすることにより、一枚の標本画像フレームを作成する（ステップＳ１４）。より具体的には、ステップＳ１４では主としてＩピクチャの画素間引きを行って、縮小画像からなる標本画像フレームを作成する。但し、Ｉピクチャがシーンチェンジ位置のような重要なフレームであれば、縮小せずに元映像データのフレームをそのまま標本画像フレームとするか、場合によっては画素補間により拡大を行って標本画像フレームを作成してもよい。
【００５９】
一方、ステップＳ１２で抽出されたＰピクチャから画面変化量、つまり隣接する画面間の画像の変化の大きさの情報を取得する（ステップＳ１５）。Ｐピクチャには、前フレームからの動きベクトルの情報がサイド情報として付加されているので、この動きベクトルの大きさや分布から画面変化量を求めることができる。
【００６０】
次に、ステップＳ１４で作成された標本画像フレームを必要に応じて圧縮加工した後（ステップＳ１６）、この圧縮標本画像フレームと、ステップＳ１３で検出されたシーンチェンジ位置、およびステップＳ１５で取得された画面変化量の情報を用いて、図２、図３に示すような時・空間標本映像メタデータ１０２を記録し（ステップＳ１７）、処理は終了する。
【００６１】
すなわち、ステップＳ１７では時・空間標本映像メタデータ１０２として、図２に示したように標本画像情報２０１、シーンチェンジ位置情報２０２、画面変化量情報２０３の３つの情報を記録する。また、標本画像情報２０１は、図３に示したように、（１）当該標本画像フレームに対応する元映像データのフレーム番号または時間、（２）当該標本画像フレームの大きさ（高さ×幅）、（３）次の標本画像フレームまでのフレーム数または時間、（４）ＪＰＥＧ，ＲＧＢ，ＹＵＶといった標本画像フレームの画像形式、（５）標本画像フレームの画像データ（または元映像データ１０１へのポインタ）を含んでいる。（５）の標本画像フレームの画像データとは、この例ではステップＳ１２で抽出され、ステップＳ１４で空間的なサンプリングが施され、さらに必要に応じてステップＳ１６で圧縮加工された、あるいは圧縮加工されないＩピクチャの画像データである。
【００６２】
次に、このようにして記録された時・空間標本映像メタデータ１０２の利用形態について説明する。
【００６３】
（１）シーンチェンジ位置情報を用いた標本画像フレームの検索
所望の映像フレームを表示したい場合、その所望映像フレームを元映像データ１０１から直接検索しようとすると、処理に時間がかかってしまうことは前述した通りである。その代わり、元映像データをサンプリングして得られた時・空間標本映像メタデータ１０２を検索することにより所望フレームを探せば、処理時間が短くて済む。しかし、標本画像フレーム群は時間的にサンプリングされているので、所望フレームの画像が含まれているとは限らない。そこで、最も簡単には所望フレームに時間的に最も近い標本画像フレームを検索して表示すればよいことになる。図２の例では、破線で示す所望フレームに、時間的に最も近い標本画像情報２０１ｎの標本画像フレームを表示用の画像フレームとする。
【００６４】
この場合、標本画像フレーム群がどの程度の時間サンプリングで作成されているかによって、所望フレームと表示用の画像フレームとのずれが決まる。このずれは標本画像フレーム群が十分に短い間隔で時間サンプリングされていれば小さいので、ほとんど問題はない。しかし、シーンチェンジがある場合は、必ずしも所望フレームに時間的に最も近い標本画像フレームが表示用の画像フレームとして適当とは限らない。すなわち、所望フレームとそれに最も近い標本画像情報２０１ｎに含まれる標本画像フレームとの間にシーンチェンジがあると、標本画像情報２０１ｎよりも一つ前の標本画像情報２０１ｎ−１に含まれる標本画像フレームの方が所望フレームに類似する表示用の画像フレームとして適当である。本実施形態によれば、図２に示したように時・空間標本映像メタデータ１０２にシーンチェンジ位置情報２０２を付帯情報として付加することによって、この問題を解決することができる。
【００６５】
図６に示すフローチャートを参照して、上記のようにしてシーンチェンジ情報２０２を用いて所望フレームを代表する標本画像フレームを検索する処理手順を説明する。なお、ここではシーンチェンジ情報２０２は、シーンチェンジ位置のフレーム番号（シーンチェンジフレーム番号という）で表されるものとする。
【００６６】
先ず、検索したい所望フレームのフレーム番号が与えられると、当該フレーム番号に一番近いシーンチェンジフレーム番号を検索する（ステップＳ２１）。
【００６７】
次に、（元映像データの）開始フレーム番号からステップＳ２１で検索されたシーンチェンジフレーム番号までの間に所望のフレーム番号が存在するかどうかを判定する（ステップＳ２２）。
【００６８】
ステップＳ２２の判定の結果、所望のフレーム番号が開始フレーム番号〜シーンチェンジフレーム番号の間にあることが分かれば、開始フレーム番号〜シーンチェンジフレーム番号の間において、所望のフレーム番号に時間的に（あるいは空間的に）最も近い標本画像フレームを検索する（ステップＳ２３）。
【００６９】
また、ステップＳ２２の判定の結果、所望のフレーム番号が開始フレーム番号〜シーンチェンジフレーム番号の間にないことが分かれば、シーンチェンジフレーム番号〜（元映像データの）最終フレーム番号の間において、所望のフレーム番号に時間的に（あるいは空間的に）最も近い標本画像フレームを検索する（ステップＳ２４）。
【００７０】
そして、検索された標本画像フレームを所望フレームに最も類似する画像として表示し（ステップＳ２５）、処理は終了する。
【００７１】
（２）標本画像フレームの検索
次に、図７に示すフローチャートを参照して、時・空間標本映像メタデータ１０２を対象としてある画像に類似する画像を検索する手順について説明する。
【００７２】
先ず、検索対象画像Ｒ、つまり検索してほしい画像を提示する（ステップＳ３１）。
【００７３】
次に、時・空間標本映像メタデータ１０２から標本画像フレームを順次１枚ずつ取得する（ステップＳ３３）。
【００７４】
検索対象画像ＲをステップＳ３３で取得された標本画像フレームの大きさに正規化する（ステップＳ３４）。これは、標本画像フレームは一枚一枚サイズが異なるからである。
【００７５】
ステップＳ３３で取得された標本画像フレームと、ステップＳ３４で正規化された検索対象画像Ｒとの間の類似度、例えば画素毎の絶対値差分の合計を計算する（ステップＳ３５）。
【００７６】
この絶対値差分の合計がある閾値以下かどうかを判定する（ステップＳ３６）。ステップＳ３６の判定の結果、絶対値差分の合計が閾値以下ならば、ステップＳ３３で取得された標本画像フレームが検索対象画像Ｒとほぼ同じであると判断して、その標本画像フレームのフレーム番号を検索結果として記録する（ステップＳ３７）。
【００７７】
以上の一連の処理をステップＳ３２で全ての標本画像フレームが取得されたと判定されるまで繰り返して、処理は終了する。
【００７８】
次に、図７のフローチャートに示した手順に従った処理の終了後、以下のようにして検索結果を表示する。
【００７９】
ステップＳ３７で検索結果として得られた標本画像フレームのフレーム番号に基づき、検索された標本画像フレームを図１における検索エンジン／標本画像表示エンジン１０５によって表示部１０７で表示する。
【００８０】
あるいは、ステップＳ３７で検索結果として得られた標本画像フレームのフレーム番号に基づき、元映像データ１０１をそのフレーム番号の位置から再生したい場合は、図１に示した対応テーブル１０３（または対応関数テーブル）を用いて、その標本画像フレームのフレーム番号に対応する元映像データ１０１のフレーム番号を調べる。そして、コントローラ１０６にそのフレーム番号の情報と表示コマンドを送ることにより、映像表示エンジン１０４を用いて元映像データ１０１の該当フレームから再生を行い、表示部１０７で表示する。
【００８１】
（３）時・空間標本映像メタデータを用いた早送り再生
図２に示したように、本実施形態では時・空間標本化ビデオメタデータ１０２には、標本画像情報２０１以外の付帯情報として、シーン位置情報２０２のほか、画面変化量情報２０３も記述されている。
【００８２】
画面変化量情報２０３は、元映像データ１０１の飛び飛びに存在する映像フレーム間の画面変化量を示す情報であり、例えばフレーム間の絶対値差分の合計を用いたり、また元映像データ１０１がＭＰＥＧ圧縮映像データであれば、フレーム間動き補償のデータから画面全体の動きベクトルの大きさの平均（平均パワー）を計算して求めることができる。このような画面変化量情報２０３を時・空間標本化ビデオメタデータ１０２に付帯させることより、高度な可変速再生を行うことができる。
【００８３】
特開平１０−２４３３５１号（特願平０９−０４２６３７号）「映像再生装置」で述べられているように、映像を画面の変化が大きいところではゆっくりと再生し、画面の変化が小さいところでは速く再生することにより、画面の変化量を一定にして見やすい早送り再生を実現する技術は知られている。この特許では、各フレーム毎に画面変化が存在し、かつ全てのフレームを用いることが前提となっているが、本発明のように時間的に離散した標本画像フレームを対象とし、かつ画面変化量も時間的に離散して得られる場合については言及されていない。そこで、本実施形態では時間的に離散した標本画像フレームおよび画面変化量に対して同様の効果が得られる可変速再生を実現する方法を提供する。
【００８４】
最初に、図８に示すフローチャートを参照して、標本画像フレームを用いて可変速再生を行う場合の基本的な処理手順を説明する。
【００８５】
先ず、可変速再生（この場合は、早送り再生）を行う範囲の指定を行う（ステップＳ４１）。可変速再生範囲の開始フレーム番号をＦｓ、終了フレーム番号をＦｅとする。
【００８６】
次に、再生速度倍率ｍ、つまり何倍速で早送り再生を行うかを指定する（ステップＳ４２）。
【００８７】
次に、再生方向の指定、つまり早送り再生を順方向再生で行うか逆方向再生で行うかの指定を行う（ステップＳ４３）。
【００８８】
次に、標本画像フレームの再生フレームレートｒ［フレーム／秒］を指定する（ステップＳ４４）。再生フレームレートｒは、テレビジョン方式によって異なり、例えばＮＴＳＣの場合は３０［フレーム／秒］、ＰＡＬの場合は２４［フレーム／秒］である。
【００８９】
ここで、元映像データ１０１のフレームレートがＲ［フレーム／秒］であったとすると、これを基に可変速再生時に標本画像フレーム群について読み飛ばすフレーム数を後述のようにして計算する（ステップＳ４５）。
【００９０】
そして、再生フレームレートｒ［フレーム／秒］で標本画像フレームの再生を行うために、１／ｒ秒のサイクルで標本画像フレームを取得して表示を行う（ステップＳ４６）。
【００９１】
順方向再生の場合は、フレームＦｓに対応する標本画像フレーム番号から再生を開始し、フレーム番号を増加させる方向で読み飛ばす。逆方向再生の場合は、フレームＦｅに対応する標本画像フレームから再生を開始し、フレ一ム番号を減少させる方向で読み飛ばすことになる。
【００９２】
ここで、ステップＳ４６の処理についてさらに詳しく説明すると、順方向の早送り再生の場合は、１サイクル当たりフレーム番号を（ｍ×Ｒ／ｒ）フレームずつ増加させながら標本画像フレームを取得する。すなわち、（ｍ×Ｒ／ｒ）がステップＳ４５で計算された順方向に読み飛ばすフレーム数であり、ステップＳ４６ではＦｓ＋（ｍ×Ｒ／ｒ）×ｔのフレーム番号における最近傍の標本画像フレームを再生して表示することになる。ここで、ｔはサイクル数である。
【００９３】
同様に、逆方向の早送り再生の場合も、１サイクル当たり（ｍ×Ｒ／ｒ）フレームずつ減少させながら標本画像フレームを取得する。すなわち、（ｍ×Ｒ／ｒ）がステップＳ４５で計算された逆方向に読み飛ばすフレーム数であり、ステップＳ４６ではＦｅ−（ｍ×Ｒ／ｒ）×ｔのフレーム番号における最近傍の標本画像フレームを再生して表示する。
【００９４】
このようにして、標本画像フレーム群を用いて任意の再生速度倍率の可変速再生が可能になる。なお、毎サイクルで取り出す標本画像フレームに違いがない場合は、同じフレームを継続して表示するようにしてもよく、それにより処理効率を上げることができる。
【００９５】
上述の説明では、ユーザが変更しない限り、再生速度倍率ｍは一定であるとしたが、次に、前述した画面変化量情報２０３を利用して、より円滑な可変速再生を行う方法について述べる。この可変速再生の基本は、画面変化量情報２０３に応じて標本画像フレームを用いた可変速再生での再生速度を時時刻刻変化させる、というものである。説明を簡単にするために、可変速再生の範囲を特に指定せず、元映像データ１０１全体を対象に早送り再生を行う場合を考える。
【００９６】
先ず、以下のパラメータを定義する。
【００９７】
元映像データ１０１の全フレーム数：Ｋ［フレーム］
元映像データ１０１のフレームレート：Ｒ［フレーム／秒］
標本画像フレームの再生フレームレート：ｒ［フレーム／秒］
再生速度倍率：ｍ
画面変化量情報：Ｐｉ（ｉ＝０，…，ｎ）
画面変化量に対応して再生速度に与える重み：Ｗｉ
標本画像フレームに対応する元映像データのフレーム番号：Ｆｉ（ｉ＝０，…，ｎ−１）
元映像データの各フレームに対応して再生速度に与える重み：Ｗｊ（ｊ＝０，…，Ｋ−１）
今、激しい動きに対して与える標本画像フレームの画面変化量の限界値をＬとし、限界値Ｌを超えないような値［Ｐｉ］を考える。
【００９８】
［Ｐｉ］＝Ｌ， Ｐｉ＞Ｌの場合，
［Ｐｉ］＝Ｐｉ， その他の場合 …（１）
また、画面変化量に対応して再生速度に与えられる重みをＷｉ＝［Ｐｉ］とする。
【００９９】
次に、各フレームの再生速度に対する重みを考える。離散的な再生速度に対応する重みＷｉを線形補間して、次式に示すＷｊを求める。
【０１００】
Ｗｊ
＝ Ｗｉ ＋ （Ｗ（ｉ＋１）−Ｗｉ）／（Ｆ（ｉ＋１）−Ｆｉ）×ｔ
ここで、ｔ＝０，…，Ｆ（ｉ＋１）−Ｆｉ、
ｊ＝Ｆｉ，…，Ｆ（ｉ＋１）−１、
ｉ＝０，…，ｎ−１ …（２）
Ｗｊを全体の和が１．０になるように正規化したものをＷ’ｊとすると、
Ｗ’ｊ
＝ Ｗｊ／ΣＷｊ
ここで、ｊ＝０，…，ｋ …（３）
ここで、再生速度倍率ｍ、再生フレームレートｒ［フレーム／秒］で再生する場合に必要な表示回数Ｎは次式となる。
【０１０１】
Ｎ
＝ Ｋ／（ｍ×Ｒ／ｒ） …（４）
再生速度に対して与える重みを考慮して、標本画像フレーム群から表示用画像フレームを取得する場合、各標本画像フレームに割り付けられた重みＷ’ｊを加算してゆき、その加算値がＴｈ＝ｐ／Ｎ（ｐ＝０，…，Ｎ−１）なる閾値を超えたときの標本画像フレームを取得する。すなわち、加算値が閾値Ｔｈを超えたときのフレーム番号に対応する最近傍の標本画像フレームが表示用画像フレームとなる。
【０１０２】
上記の計算に従って表示用画像フレームを予め取得しておき、フレームレートｒ［フレーム／秒］で表示すれば、画面変化量が大きい時には遅めに、また画面変化量が小さい時には早目に可変速再生することになるが、結果としては所望の再生速度倍率ｍで画像を表示できる。上記の計算を用いれば、ある時間長の映像番組をそれより短い任意の時間内で再生することが可能となる。再生速度に対して与える重みＷ’ｊに対してスムージングをかけたり、シーンチェンジや静止画の部分で特殊な重み付けを行うことで、可変速再生にさらに特殊効果を加えることも可能である。
【０１０３】
ここでは、元映像データ１０１の全体に対して可変速再生を行う場合について述べたが、部分再生の場合も全く同様の考え方で可変速再生を行うことができる。すなわち、元映像データ１０１全体のＷ’ｊが計算できれば、部分再生の問題は容易に解決できる。また、元映像データ１０１の全体に対しての可変速再生の場合の説明では、可変速再生の開始フレームと終了フレームに画面変化量情報が存在すると仮定したが、これらがない場合は適当に近傍の画面変化量情報を流用するか、デフォルトの値を与えるかして計算すればよい。
【０１０４】
以下、図９に示すフローチャートを参照して、上述のように画面変化量情報２０３を利用して、より円滑な可変速再生を行う場合の具体的な処理手順を説明する。図９において、ステップＳ５１〜Ｓ５４の処理は図８におけるステップＳ４１〜Ｓ４４の処理と基本的に同様である。
【０１０５】
すなわち、先ず画面変化量を一定にして可変速再生（この場合は、早送り再生）を行う範囲の指定を行う（ステップＳ５１）。可変速再生範囲の開始フレームをＦｓ、終了フレームをＦｅとする。次に、再生速度倍率ｍ、つまり何倍速で早送り再生を行うかを指定する（ステップＳ５２）。次に、再生方向の指定、つまり早送り再生を順方向再生で行うか逆方向再生で行うかの指定を行う（ステップＳ５３）。次に、標本画像フレームの再生フレームレートｒ［フレーム／秒］を指定する（ステップＳ５４）。
【０１０６】
この後、式（４）により必要な表示回数Ｎを計算する（ステップＳ５５）。また、式（３）に示した重みＷ’ｊの加算値がＴｈ ＝ ｐ／Ｎ（ｐ＝０，…，Ｎ−１）なる閾値を超えるときの標本画像フレームの位置、つまり加算値が閾値Ｔｈを超えたときのフレーム番号に対応する最近傍の標本画像フレームを表示用画像フレーム位置として計算し、これをテーブルに記録する（ステップＳ５６）。
【０１０７】
そして、再生フレームレートｒ［フレーム／秒］で標本画像フレームを再生して表示するために、１／ｒ秒のサイクルで上記テーブルを用いて表示用標本画像フレームを取得して表示を行う（ステップＳ５７）。
【０１０８】
このように標本画像フレーム群を用いて可変速再生を行う場合、画面変化量に応じて再生速度を変化させる、つまり画面変化量が大きいところでは再生速度を遅く、また画面変化量が小さいところで再生速度を速くすることで、先に示した特開平１０−２４３３５１号（特願平０９−０４２６３７号）「映像再生装置」と同様の画面変化量を一定に保った見やすい早送り再生を標本画像フレームに対して実現することが可能である。
【０１０９】
（４）その他の利用形態
図１０は、上記で述べた方法で選択したシーンチェンジ位置（カット点）近傍の標本画像フレーム５０１，５０２，…を一覧表示した例である。元映像データから画像フレームを取り出すことをしないので、このような一覧画面５００を高速に作成することができる。
【０１１０】
図１１は、元映像全体を時間軸方向に延びた一本のバー６０１で表示し、さらにバー６０１の指定した一部分を拡大したバー６０２で表示した例である。拡大したバー６０２には、この部分の元映像に含まれるカット点のフレームの画像が見出しとして表示されている。さらに拡大したバー６０２の上にマウスカーソル６０３を当てると、カット点の位置を考慮して、指定点の画像フレームに最も類似する近傍の標本画像フレーム６０４を選択し、アイコンとして表示できる。この処理が高速に行えるため、マウスアイコンを左右にスライドさせることにより、アイコンイメージをリアルタイムに動画のように表示することができる。
【０１１１】
一方、監視システムの応用を考えたとき、たまに起る事象を効率よく発見したいという要求がある。例えば、常時は監視画面に背景画像のみが映っているが、あるとき侵入者が映ったとする。侵入者は、背景画像の差分画像として容易に発見することができる。また、映像を記録すると同時に、画面の変化のないところでは標本画像フレームを時間的に粗くサンプリングし、画面の変化があったところでは時間的に細かくサンブリングすることにより、侵入者を確実に記録することができる。侵入者が映った画面に、付加情報としてカット点の管理等のための情報を貯えておき、後で一覧表示を行うことが可能となる。また、侵入者があったときだけ、標本画像フレームの空間的サンブリングを精細にすることにより、標本画像フレームでも侵入者を確認するようにすることもできる。
【０１１２】
さらに、侵入者が入った時に元映像よりも高精細な静止画像を取得し、それを標本画像フレームとして管理することも有効である。通常の映像では解像度が不十分な場合、それよりも高解像度の静止画像を用いて侵入者の判別を行うことが可能となる。
【０１１３】
以上説明したように、本実施形態によれば、元映像データ以外に、元映像フレーム群を時間的に任意の間隔でかつ空間的に任意の大きさにサンプリングして得た標本画像フレーム群の画像データと属性情報からなる標本画像情報を記録しておき、元映像データではなく標本画像情報を検索することにより、計算機パワーやトラフィックに負担をかけることなく、所望フレームの映像検索を容易に行うことが可能となる。また、標本画像情報にシーンチェンジ位置情報を付帯情報として記述することによって、所望のフレームとより類似した標本画像フレームの検索が可能となる。さらに、検索対象画像と各標本画像フレームの画像との差分、例えば絶対値差分の合計を求め、この値が小さい標本画像フレームを検索することによっても、所望フレームの検索ができる。さらに、画面変化量が大きいところでは再生速度を遅く、画面変化量が小さいところで再生速度を速くすることで、画面変化量を一定に保った見やすい可変速再生を標本画像フレームに対して実現することも可能となる。
【０１１４】
以下、本発明の他の実施形態を説明する。他の実施形態の説明において第１の実施形態と同一部分は同一参照数字を付してその詳細な説明は省略する。
【０１１５】
第１実施形態では時・空間標本映像メタデータ１０２は複数の標本画像情報２０１１〜２０１ｎを有するとしたが、その詳細な記述例は説明しなかった。この記述例の具体例に関する第２実施形態を以下に説明する。
【０１１６】
図１２は第２実施形態の標本画像情報の記述例を示している。ここでは、標本画像フレーム群を一つの映像（標本映像）として扱い、その集合として標本映像情報７０１を構成する。標本映像は標本映像情報７０１とは別に用意し、標本映像情報７０１にその場所をＵＲＬ等により記述してもよいし、標本映像を標本映像情報７０１として直接記述してもよい。
【０１１７】
標本画像情報７０２は標本映像情報７０１で示される標本映像内の標本画像フレームと元映像データフレームとの対応付けを示し、標本映像に含まれる標本画像フレーム数に応じて、複数記述される。標本画像情報７０２は元映像フレームのメディア時間７０３と標本映像のメディア時間７０４より構成される。元映像フレームのメディア時間７０３は標本画像フレームに対応する元映像のフレームを示す。元映像のフレームを一意に決めることができれば、タイムスタンプ等の時間であってもよいし、フレーム番号等であってもよい。また、元映像フレームが一定間隔でサンプリングされている場合など、演算によって対応する元映像フレームが求められる場合は、演算に必要な情報（例えばサンプリング間隔）を記述して、元映像フレームのメディア時間７０３を省略してもよい。標本映像のメディア時間７０４は標本映像情報７０１で示される標本映像内の特定の標本画像フレームを示す。標本映像のメディア時間７０４は標本画像フレームを一意に決めることができれば、フレーム番号等であってもよいし、標本映像を通常の映像として扱った場合のタイムスタンプ等の時間であってもよい。また、標本映像と順次対応付けが行われる場合は省略しても構わない。
【０１１８】
図１３は標本画像情報の別の記述例を示している。標本画像情報８０１は各標本画像フレームと元映像データフレームとの対応付けを示し、標本画像フレーム数に応じて、複数記述される。標本画像情報８０１は元映像フレームのメディア時間８０２と標本画像データ８０３より構成される。メディア時間８０２は図１２で示される記述例におけるメディア時間７０３と同様に標本画像フレームに対応する元映像データのフレーム位置を示す。なお、本メディア時間８０２もメディア時間７０３と同様に省略してもよい。標本画像は標本画像データ８０１とは別に個々に用意し、標本画像データ８０１にその場所をＵＲＬ等により記述してもよいし、標本画像を標本画像データとして標本画像データ８０１に直接記述してもよい。また、標本画像のかわりにその内容を示すイラスト等の他の画像を標本画像データとしてもよい。
【０１１９】
図１４は標本画像情報の別の記述例を示している。図１４で示される記述例は図１２及び図１３で示される記述例の両方を含んでいる。標本映像情報９０１は図１２で示される記述例における標本映像情報７０１と同様で、標本映像の場所を示すＵＲＬあるいは標本映像自体を示す。標本画像情報９０２は各標本画像フレームと元映像データフレームとの対応付けを示し、標本画像フレーム数に応じて、複数記述される。標本画像情報９０２は元映像フレームのメディア時間９０３と標本映像のメディア時間９０４Ａあるいは標本画像データ９０４Ｂのいずれかにより構成される。元映像フレームのメディア時間９０３は図１２で示される記述例におけるメディア時間７０３と同様に標本画像フレームに対応する元映像データのフレームを示す。なお、本メディア時間９０３もメディア時間７０３と同様に省略してもよい。標本映像のメディア時間９０４Ａは図１２で示される記述例におけるメディア時間７０４と同様で、標本映像情報９０１で示される標本映像内の特定の標本画像フレームを示す。該メディア時間９０４Ａが標本映像と順次対応付けされる場合は省略しても構わない。標本画像データ９０４Ｂは図１３で示される記述例における標本画像データ８０３と同様で、個々の標本画像フレームの場所や標本画像フレーム自体を示す。
【０１２０】
図１４の記述例によれば、標本映像の一部を差し替えたり、別の標本画像を追加することができる。
【０１２１】
次に、図１２〜図１４で示される記述例を利用して、所望メディア時間の標本画像データを抽出する処理を説明する。図１５はその基本フローである。ステップＳ６１で所望の標本画像フレームに対応する元映像フレームのメディア時間を入力する。メディア時間はタイムスタンプやフレーム番号等、メディア内での時間的な位置を一意に示すものである。ステップＳ６２では図１２〜図１４の記述例で記述される標本画像情報群の中から最初の標本画像情報を取り出す。ステップＳ６３で、所望のメディア時間と標本画像情報に含まれる元映像フレームのメディア時間とを比較し、両者が同一、あるいは、所望のメディア時間の方が後になる場合はステップＳ６４へ進み、標本画像情報で示されている標本画像データを取り出す。標本画像データの抽出方法は記述方法によって異なり、標本フレーム番号が記述されている場合は標本映像の該当標本画像データを抽出し、標本画像データが記述されている場合はそれを用いる。標本画像情報に含まれるメディア時間の方が所望メディア時間より後の場合はステップＳ６５へ進み、標本画像情報群から次の標本画像情報を取り出して、再びステップＳ６３へ進みメディア時間の比較を行う。
【０１２２】
図１６は図１２〜図１４で示される記述例に標本画像フレームの属性情報を付加する記述例である。標本映像は、大きさの異なる標本画像を用いたり、元映像データの一部の領域のみを切り出して、標本画像として用いることができるので、これらのパラメータを属性情報として記述するための一例が図１６に示す記述例である。
【０１２３】
標本画像フレーム群情報１００１は図１２〜図１４で示される記述例等による情報を示す。標本属性情報１００２は個々の標本画像フレームの属性情報で、標本映像に含まれる標本画像フレーム数に応じて、複数記述される。標本属性情報１００２は標本番号１００３、解像度情報１００４、領域情報１００５により構成される。
【０１２４】
標本番号１００３は標本画像フレーム群情報１００１で示される標本画像フレーム群に含まれる特定の標本画像フレームに対応する番号である。標本フレーム番号１００３が標本画像フレーム群内の標本画像フレームと順次対応する場合は省略しても構わない。
【０１２５】
解像度情報１００４は標本番号１００３で示される標本画像フレームの元映像データの対応フレームに対する解像度を示す。例えば、画像を何分の１に縮小したか等を記述する。
【０１２６】
領域情報１００５は標本番号１００３で示される標本画像フレームの元映像データの対応フレームにおける該当傾城を示す。標本画像フレームが元映像データの対応フレームの一部を切り出している場合はその領域を記述する。標本画像フレームが元映像データの対応フレーム全体に相当する場合は領域情報を省略してもよい。
【０１２７】
なお、これら属性情報は図示しないが、図１２〜図１４で示した記録例における各標本画像情報内に記述するようにしてもよい。
【０１２８】
図１７は図１６で示される記述方法を用いた実際の記述例である。元映像フレーム１４０１の中には物体が一部のみに存在しているとする。元映像フレーム１４０１の標本画像フレームを作成する場合、両画全体のサンプリングするよりも一部のみを取り出してサンプリングした方が、画像の内容をより反映した標本画像フレームが作成できる。そこで、元映像フレーム１４０１内の矩形領域１４０２を取り出して、縦横がそれぞれ１／２となるようにサンプリングを行い標本画像フレーム１４０３を作成する。このときの解像度情報、領域情報の記述例は１４０４のようになる。
【０１２９】
図１８はユーザの要求に応じて標本画像フレームの一覧表示を行う基本フローである。スナッブＳ７１ではユーザが一覧表示するレベルを入力する。入力方法は表示レベルに応じて連続的に変化するスライダー等のＧＵＩを用いてもよいし、数字で直接入力してもよい。あるいは、計算機等に接読されたホイールやダイヤル等の入力装置を用いてもよい。
【０１３０】
ステップＳ７２では、ステップＳ７１で入力されたレベル値から一覧表示する標本画像の枚数を計算する。例えば、最大表示レベルをＬｍａｘ、最大表示標本画像フレーム数をＴｍａｘとし、現在の表示レベルがＬであるとすると、表示標本画像フレーム数Ｔ＝Ｔｍａｘ×Ｌ／Ｌｍａｘで求められる。
【０１３１】
ステップＳ７３では、表示標本画像フレーム数に応じて一覧表示する標本画像フレームの選択を行う。例えば、一定時間間隔や一定フレーム間隔で標本画像フレームを選択する。あるいは、カット点情報等の付加情報が与えられている場合は、カット点やシーンの先頭フレーム等のより重要度の高いフレームから優先的に選択してもよい。
【０１３２】
ステップＳ７４では選択された標本画像の一覧を作成して、表示する。
【０１３３】
図１９は図１８で示される基本フローを用いた標本画像フレームの一覧表示のインターフェースを示す。画面１１０１上には表示レベルを指定するためのスライダー１１０２と標本画像一覧１１０３が存在する。スライダー１１０２を画面１１０４内のスライダー１１０５に示すような位置に移動させて表示レベルを大きくすると、一覧表示される標本画像の枚数が一覧表示１１０６に示されるように増加する。このようなインターフェースを用いることによって、ユーザは映像の内容に応じて必要なだけの標本画像を直感的に表示することが可能である。
【０１３４】
図２０は図１６で示される記述例を用いた画面表示の例である。図１６で示される記述例を用いることにより、解像度の異なる標本画像フレームや画面の一部の領域のみを切り出した標本画像フレームを扱うことができる。一方、画像中には字幕部分等の高解像度でサンプリングすることが望ましい領域と、背景等の低解像度でサンプリングすれば十分な領域が混在している。そこで、同一フレームから作成した解像度と領域の異なる標本画像フレームを含む標本画像フレーム群１２０１を用意し、画面表示例１２０２に示すようにこれらを重ね合わせて表示することにより、字幕を高解像度で背景を低解像度で表示することが可能となる。
【０１３５】
図２１は図１６で示される記述例を用いた画面表示の別の例である。画像１３０１は低解像度でサンプリングされた標本画像フレームである。字幕部分等、ユーザがより詳細な画像を所望する領域１３０２をマウス等で指し示すと、領域１３０２のみをより高解像度でサンプリングした標本画像フレーム１３０３がポップアップ等によって表示される。通常は、画像１３０１のような低解像度な標本画像フレームが表示されているので、画像の大きさを小さくすることができ、一覧表示等により多くの画像を表示することができる。
【０１３６】
なお、本発明は上述した実施例に限定されるものではなく、種々変形して実施可能である。
【０１３７】
【発明の効果】
以上説明したように、本発明の画像情報記述方法によれば、映像の内容を確認しての検索や表示を行うことができる。
【０１３８】
また、元映像データをサンプリングして得られた標本画像に基づいて検索を行う場合、所望のフレームがシーンチェンジとシーンチェンジの間に存在するような場合でも良好な映像検索ができる。
【０１３９】
さらに、標本画像に基づいて可変速再生を行うことができるので処理量が軽減でき、計算機パワーの小さな機器やネットワーク上でも容易に可変速再生を実現できる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るシステムアーキテクチャを示す図。
【図２】元映像データおよび時・空間標本映像メタデータの構造を示す概念図。
【図３】時・空間標本映像メタデータに含まれる標本画像情報の説明図。
【図４】標本画像情報の管理構造を示す図。
【図５】標本画像情報の記述手順を説明するための時・空間標本映像メタデータの記録手順を示すフローチャート。
【図６】時・空間標本映像メタデータに含まれるシーンチェンジ情報を用いた標本画像フレームの検索手順を示すフローチャート。
【図７】時・空間標本映像メタデータを対象とした標本画像フレームの検索手順を示すフローチャート。
【図８】標本画像フレームを用いた可変速再生の手順を示すフローチャート。
【図９】標本画像フレームと画面変化量情報を用いて円滑な可変速再生の手順を示すフローチャート。
【図１０】時・空間標本映像メタデータに含まれるシーンチェンジ情報を用いた標本画像フレームの一覧表示の例を示す図。
【図１１】時・空間標本映像メタデータを用いた元映像データと標本画像フレームの表示例を示す図。
【図１２】標本画像情報の他の記述例を示す図。
【図１３】標本画像情報の別の記述例を示す図。
【図１４】標本画像情報のさらに他の記述例を示す図。
【図１５】図１２〜図１４の記述例に従った標本画像情報を用いた標本画像データの検索を示すフローチャート。
【図１６】標本画像情報のさらに別の記述例を示す図。
【図１７】図１６の記述例に従った標本画像情報の具体例を示す図。
【図１８】表示レベルに応じて表示枚数を可変する標本画像一覧表示の動作を示すフローチャート。
【図１９】表示レベルが可変された場合の標本画像一覧表示の変化を示す図。
【図２０】図１６の記述例に従った標本画像情報により解像度と領域の異なる複数の標本画像を重ねて表示する例を示す図。
【図２１】図１６の記述例に従った標本画像情報により解像度と領域の異なる複数の標本画像を重ねて表示する他の例を示す図。
【発明の属する技術分野】
本発明は画像情報、特に映像フレーム群を時間的に任意の間隔でかつ空間的に任意の大きさでサンプリングした標本画像フレーム群に関する標本画像情報を記述する方法に関する。
【０００２】
【従来の技術】
近年、半導体技術およびディジタル信号処理技術の進歩により、動画像（映像）情報をアナログデータからディジタルデータに変換して圧縮する処理をリアルタイムに行うことが可能となっている。実際、ディジタル衛星放送では、動画像圧縮の国際標準規格であるＭＰＥＧ−２により圧縮符号化されたディジタル映像データが配信され、各家庭で圧縮映像データをリアルタイムで伸長復号化してテレビ受像機で映画等を観賞できるようになっている。
【０００３】
また、光ディスクの高密度化により、ＭＰＥＧ−２等で圧縮されたディジタル映像データを記録する技術も実用段階に達しつつある。このような光ディスク媒体の代表的なものとして、ＤＶＤ−ＲＡＭやＣＤ−ＲＷがある。ＤＶＤ−ＲＡＭより記録時間は短いが、ＨＤＤにおいてもディジタル映像データの記録が可能である。今後、ＤＶＤ−ＲＡＭ等に記録されたディジタル映像データについても、ディジタル化された文字や静止画データと同様に、容易に検索できるようにすることが要求されると考えられる。
【０００４】
映像検索の古典的手法は、映画等の映像ファイル毎にタイトル名、およびキーワードを定めておき、タイトル名およびキーワードのいずれか一方または両方によって検索するというものである。この方法は、検索そのものは容易であるが、映像の内容に応じた細かな検索ができず、実際に映像を再生表示しないと所望の映像かどうかが分からないのが欠点である。
【０００５】
圧縮されたディジタル映像データを記録する際、映像を静止画像フレームの連続として扱うことができるため、画像処理技術によって元の映像から代表フレームと呼ばれる特徴的な画像フレームを選択し、一覧表示する方法が考えられている。代表フレームとしては、シーンチェンジと呼ばれる画面が切り替わる部分を用いる場合が多い。しかし、シーンチェンジは数秒に一回、場合によっては数十秒に一回といった頻度でしか起こらないため、代表フレームで映像の内容を表現するには限界がある。シーンチェンジとシーンチェンジの間のフレームの映像を確認しようとすると、元の映像データを復号して表示するしかない。
【０００６】
ＭＰＥＧ−１，ＭＰＥＧ−２といった国際標準規格で圧縮されたディジタル映像データには、ある程度ランダムアクセスするための仕組みが入っており、ランダム再生、早送り再生等の可変速再生（トリックプレイ）ができるようになっている。しかし、これらの可変速再生はディジタル映像データそのものを操作することにより行われるために処理が重く、計算機パワーの小さい家庭用の受信機器では処理の負担が大きい。また、ビデオ・オン・デマンドやインターネットでのブラウズのように、遠隔地に設置されたサーバからネットワークを通してディジタル映像データを配信し、家庭のコンピュータやテレビ受像機で受信するような環境で上記の可変速再生を行うことは、ネットワークのトラフィックを増大させてしまうという困難がある。
【０００７】
【発明が解決しようとする課題】
上述したように、従来の一般的な映像検索は映像ファイルに付与されたタイトル名やキーワードで検索する程度であり、映像の内容を確認して検索するという環境は十分に提供されていないのが実情である。
【０００８】
また、元の映像からシーンチェンジの部分を代表フレームとして選択して一覧表示する方法では、シーンチェンジとシーンチェンジの間のフレームの映像を確認することができないという問題点がある。
【０００９】
さらに、ＭＰＥＧ−１，ＭＰＥＧ−２のような動画像圧縮の国際標準規格に組み込まれた可変速再生の仕組みでは、ディジタル映像データそのものを操作することで可変速再生を行うことから、計算機パワーの小さい機器では処理の負担が大きく、またネットワークを通して配信されるディジタル映像データを受信するような環境で可変速再生を行おうとすると、ネットワークのトラフィックを増大させてしまうという問題点があった。
【００１０】
本発明は、映像の内容を確認しての検索や表示を行うことができる画像情報記述方法を提供することを主たる目的とする。
【００１１】
また、所望のフレームがシーンチェンジとシーンチェンジの間に存在するような場合でも良好な映像検索ができるようにすることを目的としている。
【００１２】
さらに、映像の可変速再生等を行う場合の処理量を軽減し、計算機パワーの小さな機器やネットワーク上でも容易に実現できるようにすることを目的とする。
【００１３】
【課題を解決するための手段】
本発明の一実施態様の画像情報記述方法によれば、複数の映像フレームからなる元映像情報を時間的に任意の間隔でかつ空間的に任意の大きさにサンプリングして得た複数の標本画像フレームからなる標本映像に関する標本映像情報として、前記標本映像の前記元映像情報の時間軸上の場所を示すポインタと、前記標本映像に含まれる複数の標本画像フレームのそれぞれと該標本画像フレームに対応する映像フレームとの対応関係を示す属性情報と、前記映像情報のシーンチェンジ位置情報を含む付帯情報と、を記述し、前記付帯情報は、前記元映像情報の画面変化量の情報も含むものである。
【００２９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【００３０】
図１は、本発明の一実施形態に係るシステムアーキテクチャを示している。このシステムは大きく分けてデータベース１００、映像表示エンジン１０４、検索エンジン／標本画像表示エンジン１０５、コントローラ１０６および表示部１０７からなる。データベース１００の内容は、後に詳しく説明する元映像データ１０１と時・空間標本映像メタデータ１０２、および両者を対応付ける対応テーブル１０３（対応関数テーブルでもよい）の３つのコンポーネントからなっている。
【００３１】
データベース１００は一箇所に集中配置されていてもよいし、複数箇所に分散配置されていてもよく、要は映像表示エンジン１０４や検索エンジン／標本画像表示エンジン１０５でアクセスすることができればよい。元映像データ１０１と時・空間標本映像メタデータ１０２は、別々の媒体に格納されていてもよいし、同一の媒体に格納されていてもよい。媒体としては、例えばＤＶＤ等が用いられる。また、元映像データ１０１は一箇所に記憶されるのではなく、ネットワークを介して伝送されるデータであってもよい。
【００３２】
映像表示エンジン１０４は、コントローラ１０６による制御の下で元映像データ１０１を表示部１０７で表示させるための処理を行う。さらに、映像表示エンジン１０４は、検索エンジン／標本画像表示エンジン１０５により時・空間標本映像メタデータ１０２に基づいて元映像データ１０１が検索された場合には、元映像データ１０１の検索された部分を表示部１０７で表示させるための処理も行う。
【００３３】
検索エンジン／標本画像表示エンジン１０５は、コントローラ１０６による制御の下で、後に詳しく説明する時・空間標本映像メタデータ１０２から、元映像データ１０１の所望フレーム近傍の適切な標本画像フレームを検索し、それらを代表フレームとして表示部１０７で表示させたり、時・空間標本映像メタデータ１０２を用いてコントローラ１０６を介して元映像データ１０１の検索を行う。
【００３４】
ここで、検索エンジン／標本画像表示エンジン１０５と、映像表示エンジン１０４との違いについて説明すると、前者は容量の少ない時・空間標本映像メタデータ１０２の中の標本画像フレーム群を処理するので、受信機器に内蔵の能力の低いＰＣ上のソフトウェアとして実装しても十分な処理速度を得ることができる。
【００３５】
後者はＭＰＥＧ−２映像データやアナログ映像データである元映像データ１０１を処理するものであるため、特別のハードウェアを実装する必要がある場合が多い。具体的には、元映像データ１０１がＭＰＥＧ−２による圧縮映像データの場合は、映像表示エンジン１０４には特別なデコードボード（ＭＰＥＧ−２デコーダ）が用いられ、また元映像データ１０１がアナログ映像信号の場合は、映像表示エンジン１０４としては早送り、巻き戻しをコントロールできるＶＴＲのような映像再生装置が用いられる。
【００３６】
なお、元映像データ１０１がＭＰＥＧ−１やＭＰＥＧ−４による圧縮映像データの場合は、ＰＣ上のソフトウェアでも映像表示エンジン１０４の実装は可能であり、システムのアーキテクチャとして分離する必要はない。
【００３７】
対応テーブル１０３における上下の線のコネクションは概念的なもので、対応テーブル１０３は元映像データ１０１および時・空間標本映像メタデータ１０２と物理的につながっている必要はない。従って、元映像データ１０１が格納された媒体は、映像表示エンジン１０４と同一筐体内に納められる場合があり、また時・空間標本映像メタデータ１０２が格納された媒体は、検索エンジン／標本画像表示エンジン１０５と同じ筐体内に納められる場合もある。
【００３８】
時・空間標本映像メタデータ１０２が格納された媒体と検索エンジン／標本画像表示エンジン１０５が離れた位置に存在していたとしても、両者を接続する回線としては、伝送容量の比較的小さい、例えば１０Ｍｂｐｓのネットワークでも十分である。一方、元映像データ１０１が格納された媒体と映像表示エンジン１０４を接続する回線は、メデイアの種類によっては１００Ｍｂｐｓ以上の回線を用意する必要がある。
【００３９】
図１に示したようなシステムアーキテクチャの有利な点は、検索を元映像データ１０１を対象にして行うのではなく、それよりデータサイズが小さい時・空間標本映像メタデータ１０２を対象に行うため、インタラクティブな操作を快適に行うことができ、また全体的にトラフィックを低く抑えることができるという点である。
【００４０】
図２は、元映像データ１０１と時・空間標本映像メタデータ１０２の概念図である。元映像データ１０１は、ＭＰＥＧ−１，ＭＰＥＧ−２，ＭＰＥＧ−４等により圧縮されたディジタル映像データまたはアナログデータであり、動画像を構成する映像フレームの集合（映像フレーム群）からなっている。また、元映像データ１０１には、各映像フレームの時間軸上の位置を示す位置情報、例えばメディア時間（以下、単に時間と称する）またはフレーム番号という位置情報が関連付けられている。元映像データ１０１と時・空間映像メタデータ１０２の関連付けは、対応テーブル１０３により時間またはフレーム番号で行われる。
【００４１】
時・空間標本映像メタデータ１０２は、標本画像情報２０１１〜２０１ｎを主体として構成され、さらに本実施形態の例では付帯情報としてシーンチェンジ位置情報２０２および画面変化量情報２０３も含まれる。
【００４２】
標本画像情報２０１１〜２０１ｎは、元映像データ１０１を構成する映像フレーム群を時間的に任意の間隔でかつ空間的に任意の大きさにサンプリングして得られた標本画像フレーム群と、各標本画像フレームにそれぞれ対応する元映像フレームの時間軸上の位置を示す位置情報（時間またはフレーム番号）と、各標本画像フレームの大きさを示す大きさ情報等の該標本画像フレームを特定するための属性情報とからなる。これらの属性情報のうち、前者の各標本画像フレームにそれぞれ対応する元映像フレームの時間軸上の位置を示す位置情報（時間またはフレーム番号）は、対応テーブル１０３を参照して記述される。
【００４３】
元映像データ１０１が圧縮されたディジタル映像データのように既にディジタル化されている場合には、時・空間標本映像メタデータ１０２の標本画像情報２０１１〜２０１ｎの中の標本画像フレーム群は、元映像データ１０１の所望のフレームを復号または部分復号することで作成される。元映像データ１０１がアナログデータの場合は、これをディジタル化してから標本画像フレーム群を作成すればよい。
【００４４】
次に、元映像データ１０１がＭＰＥＧ−２圧縮映像データである場合について、属性情報のうちの前者、すなわち各標本画像フレームにそれぞれ対応する元映像フレームの時間軸上の位置を示す位置情報（時間またはフレーム番号）を説明する。この場合は、ＭＰＥＧ−２圧縮映像データである元映像データ１０１を復号して例えば３０フレームに１枚、かつ大きさを縦横１／８ずつ縮小して標本画像フレーム群２０１１〜２０１ｎを作成する。また、このように固定の時間サンプリングと固定の空間サンブリングで標本画像フレーム群を作成するのでなく、これらを適宜変化させて標本画像フレーム群を作成することもできる。画面変化量が少ないところでは、時間方向に粗くサンプリングし、画面変化量の多いところでは時間方向に細かくサンプリングすることも有効である。
【００４５】
ＭＰＥＧ−２圧縮映像データには、Ｉピクチャ（フレーム内符号化フレーム）と呼ばれるフレーム内の相関のみを用いて圧縮したフレームが間欠的に存在する。ＩピクチャはＰピクチャ（前方予測フレーム間符号化フレーム）やＢピクチャ（双方向予測フレーム間符号化フレーム）のようにフレーム間の相関を用いて圧縮していないために、復号が容易である。そこで、標本画像フレーム群を作成するに当たり元映像データ１０１のＩピクチャのみについて、しかもＩピクチャのＤＣＴ（離散コサイン変換）係数のうちのＤＣ成分のみを復号すれば、より容易に時間的かつ空間的にサンプリングした標本画像フレーム群を得ることができる。
【００４６】
Ｉピクチャは、必ずしもー定のフレーム間隔で存在することが保証されていないが、ＭＰＥＧ−２により圧縮された映像データからビデオレート以上のスビードで、時間的かつ空間的にサンプリングした標本画像フレーム群を作成するにはＩピクチャを用いる方法が有効である。
【００４７】
このようにＩピクチャから標本画像フレーム群を作成する方法は、処理量が少ないために、特別なハードウェアを用いなくとも、ＰＣ上のソフトウェアだけで処理が可能である利点がある。また、ネットワークを介して元映像データ１０１から標本画像フレーム群を作成する際にも、Ｉピクチャを用いると、トラフィック増大の問題を容易に回避することができる。
【００４８】
一方、標本画像フレーム群を作成する際の元映像データ１０１の空間方向のサンプリングも固定である必要はなく、適宜可変とすることができ、場合によっては縮小のみでなく、特に重要な画面のフレームについては拡大しても構わない。上述したように、標本画像情報２０１は標本画像フレーム群と標本画像フレームの属性情報が含まれており、属性情報に標本画像フレーム群の大きさ情報が含まれているので、検索または表示時に標本画像フレームを適宜所望の大きさに変換してから用いることができる。
【００４９】
図３に、標本画像情報２０１の具体的な記述例を示す。標本画像情報は標本画像フレーム群の各フレーム毎に記述される情報であり、この例では（１）当該標本画像フレームに対応する元映像データのフレーム番号または時間、（２）当該標本画像フレームの大きさ（高さ×幅）、（３）次の標本画像フレームまでのフレーム数または時間、（４）ＪＰＥＧ，ＲＧＢ，ＹＵＶといった標本画像フレームの画像形式、（５）標本画像フレームの画像データ（または元映像データ１０１へのポインタ）からなっている。ここで、（３）、（４）、（５）は必須でなく、いずれかが省略されていてもよい。また、（１）〜（５）以外の付加的情報がさらに含まれていてもよい。
【００５０】
標本画像フレーム群を時間的に連続したフレーム群からなる映像データ（後述する標本映像）として扱ってもよい。その映像データを例えばＡＶＩファイルやＭＰＥＧ−４ファイルに圧縮することにより、さらにコンパクトにすることも可能である。その場合、その映像データは、元映像データ１０１の映像フレームへのファイルポインタとフレーム番号となる。従って、その映像データから任意のフレームの画像を取得するためのインタフェースが必要となる。
【００５１】
図４は、メタデータ１０２の管理構造を示している。この例では、標本画像情報２０１１，２０１２、…を管理するためにリスト構造を利用している。Ｒｏｏｔ４０１からフレーム番号の小さい順に標本画像情報２０１１，２０１２、…へのポインタとなるリスト４０２、４０３、４０４、４０５をつなげてゆき、Ｅｎｄ４０６が最終のフラグとなる。リスト４０２，４０３，４０４，４０５の番号ＩＤ１，ＩＤ２，ＩＤ３，ＩＤ４は概念的なもので、この順番に各リスト４０２，４０３，４０４，４０５が並んでいることを意味する。この例ではリスト４０２，４０３、４０４，４０５から実際の標本画像情報２０１１，２０１２、２０２３、２０２４のある場所を指し示しポインタが張られている。
【００５２】
このようなリスト構造にすると、標本画像情報の追加・削除が容易である。新しい標本画像フレームを追加するときは、フレーム番号を順に調べてゆき、フレーム番号の大小が逆転しないように標本画像情報の追加を行う。標本画像フレームを削除するときは、対応する標本画像情報をリストから取り外せばよい。
【００５３】
このように標本画像情報２０１の管理をリスト構造として追加・削除を容易にする理由は、標本画像フレームとして最初に決められたものだけでなく、後から追加したい場合が多々あることを考慮している。例えば、ＭＰＥＧ−２圧縮映像データのＩピクチャを標本画像フレームとして登録した後に、ＭＰＥＧ−２圧縮映像のシーンチェンジ位置を検出し、そのシーンチェンジ位置のフレームを標本画像フレームとして登録したい場合が生じる。この場合、先に述べたＩピクチャからの標本画像フレームについてはＤＣ成分のみからなる縮小画像として登録し、シーンチェンジ位置の標本画像フレームについては重要なフレームなので、フルサイズの画像フレームとして登録することも可能である。
【００５４】
なお、標本画像情報の他の記述例については、後述する。
【００５５】
次に、図５を用いて標本画像情報２０１の記述方法の具体的な手順を元映像データ１０１がＭＰＥＧ−２圧縮映像データである場合を例にとり説明する。図５は、標本画像情報２０１の記述を含む時・空間標本映像メタデータ１０２の記録手順を示すフローチャートである。
【００５６】
先ず、元映像データ１０１の映像フレーム群を読み込み（ステップＳ１１）、元映像フレームを時間的にサンプリングする（ステップＳ１２）。元映像データのシーンチェンジ位置を検出する（ステップＳ１３）。シーンチェンジ位置は、例えば読み込んだ元映像データ１０１の隣接するフレーム間の画面変化量を計算し、一定値以上の変化があったところをシーンチェンジ位置として検出する。
【００５７】
ステップＳ１２での元映像データ１０１の時間的なサンプリングは、例えば動きの大きい領域は細かく、動きの小さい領域は粗くサンプリングする等の処理を行うこともできる。この例では元映像データ１０１がＭＰＥＧ−２圧縮映像データであるため、ステップＳ１２においては標本画像フレームを作成するためにＩピクチャを抽出し、また画面変化量を検出するためにＰピクチャを抽出する。
【００５８】
次に、ステップＳ１２で抽出されたＩピクチャを空間的にサンプリングすることにより、一枚の標本画像フレームを作成する（ステップＳ１４）。より具体的には、ステップＳ１４では主としてＩピクチャの画素間引きを行って、縮小画像からなる標本画像フレームを作成する。但し、Ｉピクチャがシーンチェンジ位置のような重要なフレームであれば、縮小せずに元映像データのフレームをそのまま標本画像フレームとするか、場合によっては画素補間により拡大を行って標本画像フレームを作成してもよい。
【００５９】
一方、ステップＳ１２で抽出されたＰピクチャから画面変化量、つまり隣接する画面間の画像の変化の大きさの情報を取得する（ステップＳ１５）。Ｐピクチャには、前フレームからの動きベクトルの情報がサイド情報として付加されているので、この動きベクトルの大きさや分布から画面変化量を求めることができる。
【００６０】
次に、ステップＳ１４で作成された標本画像フレームを必要に応じて圧縮加工した後（ステップＳ１６）、この圧縮標本画像フレームと、ステップＳ１３で検出されたシーンチェンジ位置、およびステップＳ１５で取得された画面変化量の情報を用いて、図２、図３に示すような時・空間標本映像メタデータ１０２を記録し（ステップＳ１７）、処理は終了する。
【００６１】
すなわち、ステップＳ１７では時・空間標本映像メタデータ１０２として、図２に示したように標本画像情報２０１、シーンチェンジ位置情報２０２、画面変化量情報２０３の３つの情報を記録する。また、標本画像情報２０１は、図３に示したように、（１）当該標本画像フレームに対応する元映像データのフレーム番号または時間、（２）当該標本画像フレームの大きさ（高さ×幅）、（３）次の標本画像フレームまでのフレーム数または時間、（４）ＪＰＥＧ，ＲＧＢ，ＹＵＶといった標本画像フレームの画像形式、（５）標本画像フレームの画像データ（または元映像データ１０１へのポインタ）を含んでいる。（５）の標本画像フレームの画像データとは、この例ではステップＳ１２で抽出され、ステップＳ１４で空間的なサンプリングが施され、さらに必要に応じてステップＳ１６で圧縮加工された、あるいは圧縮加工されないＩピクチャの画像データである。
【００６２】
次に、このようにして記録された時・空間標本映像メタデータ１０２の利用形態について説明する。
【００６３】
（１）シーンチェンジ位置情報を用いた標本画像フレームの検索
所望の映像フレームを表示したい場合、その所望映像フレームを元映像データ１０１から直接検索しようとすると、処理に時間がかかってしまうことは前述した通りである。その代わり、元映像データをサンプリングして得られた時・空間標本映像メタデータ１０２を検索することにより所望フレームを探せば、処理時間が短くて済む。しかし、標本画像フレーム群は時間的にサンプリングされているので、所望フレームの画像が含まれているとは限らない。そこで、最も簡単には所望フレームに時間的に最も近い標本画像フレームを検索して表示すればよいことになる。図２の例では、破線で示す所望フレームに、時間的に最も近い標本画像情報２０１ｎの標本画像フレームを表示用の画像フレームとする。
【００６４】
この場合、標本画像フレーム群がどの程度の時間サンプリングで作成されているかによって、所望フレームと表示用の画像フレームとのずれが決まる。このずれは標本画像フレーム群が十分に短い間隔で時間サンプリングされていれば小さいので、ほとんど問題はない。しかし、シーンチェンジがある場合は、必ずしも所望フレームに時間的に最も近い標本画像フレームが表示用の画像フレームとして適当とは限らない。すなわち、所望フレームとそれに最も近い標本画像情報２０１ｎに含まれる標本画像フレームとの間にシーンチェンジがあると、標本画像情報２０１ｎよりも一つ前の標本画像情報２０１ｎ−１に含まれる標本画像フレームの方が所望フレームに類似する表示用の画像フレームとして適当である。本実施形態によれば、図２に示したように時・空間標本映像メタデータ１０２にシーンチェンジ位置情報２０２を付帯情報として付加することによって、この問題を解決することができる。
【００６５】
図６に示すフローチャートを参照して、上記のようにしてシーンチェンジ情報２０２を用いて所望フレームを代表する標本画像フレームを検索する処理手順を説明する。なお、ここではシーンチェンジ情報２０２は、シーンチェンジ位置のフレーム番号（シーンチェンジフレーム番号という）で表されるものとする。
【００６６】
先ず、検索したい所望フレームのフレーム番号が与えられると、当該フレーム番号に一番近いシーンチェンジフレーム番号を検索する（ステップＳ２１）。
【００６７】
次に、（元映像データの）開始フレーム番号からステップＳ２１で検索されたシーンチェンジフレーム番号までの間に所望のフレーム番号が存在するかどうかを判定する（ステップＳ２２）。
【００６８】
ステップＳ２２の判定の結果、所望のフレーム番号が開始フレーム番号〜シーンチェンジフレーム番号の間にあることが分かれば、開始フレーム番号〜シーンチェンジフレーム番号の間において、所望のフレーム番号に時間的に（あるいは空間的に）最も近い標本画像フレームを検索する（ステップＳ２３）。
【００６９】
また、ステップＳ２２の判定の結果、所望のフレーム番号が開始フレーム番号〜シーンチェンジフレーム番号の間にないことが分かれば、シーンチェンジフレーム番号〜（元映像データの）最終フレーム番号の間において、所望のフレーム番号に時間的に（あるいは空間的に）最も近い標本画像フレームを検索する（ステップＳ２４）。
【００７０】
そして、検索された標本画像フレームを所望フレームに最も類似する画像として表示し（ステップＳ２５）、処理は終了する。
【００７１】
（２）標本画像フレームの検索
次に、図７に示すフローチャートを参照して、時・空間標本映像メタデータ１０２を対象としてある画像に類似する画像を検索する手順について説明する。
【００７２】
先ず、検索対象画像Ｒ、つまり検索してほしい画像を提示する（ステップＳ３１）。
【００７３】
次に、時・空間標本映像メタデータ１０２から標本画像フレームを順次１枚ずつ取得する（ステップＳ３３）。
【００７４】
検索対象画像ＲをステップＳ３３で取得された標本画像フレームの大きさに正規化する（ステップＳ３４）。これは、標本画像フレームは一枚一枚サイズが異なるからである。
【００７５】
ステップＳ３３で取得された標本画像フレームと、ステップＳ３４で正規化された検索対象画像Ｒとの間の類似度、例えば画素毎の絶対値差分の合計を計算する（ステップＳ３５）。
【００７６】
この絶対値差分の合計がある閾値以下かどうかを判定する（ステップＳ３６）。ステップＳ３６の判定の結果、絶対値差分の合計が閾値以下ならば、ステップＳ３３で取得された標本画像フレームが検索対象画像Ｒとほぼ同じであると判断して、その標本画像フレームのフレーム番号を検索結果として記録する（ステップＳ３７）。
【００７７】
以上の一連の処理をステップＳ３２で全ての標本画像フレームが取得されたと判定されるまで繰り返して、処理は終了する。
【００７８】
次に、図７のフローチャートに示した手順に従った処理の終了後、以下のようにして検索結果を表示する。
【００７９】
ステップＳ３７で検索結果として得られた標本画像フレームのフレーム番号に基づき、検索された標本画像フレームを図１における検索エンジン／標本画像表示エンジン１０５によって表示部１０７で表示する。
【００８０】
あるいは、ステップＳ３７で検索結果として得られた標本画像フレームのフレーム番号に基づき、元映像データ１０１をそのフレーム番号の位置から再生したい場合は、図１に示した対応テーブル１０３（または対応関数テーブル）を用いて、その標本画像フレームのフレーム番号に対応する元映像データ１０１のフレーム番号を調べる。そして、コントローラ１０６にそのフレーム番号の情報と表示コマンドを送ることにより、映像表示エンジン１０４を用いて元映像データ１０１の該当フレームから再生を行い、表示部１０７で表示する。
【００８１】
（３）時・空間標本映像メタデータを用いた早送り再生
図２に示したように、本実施形態では時・空間標本化ビデオメタデータ１０２には、標本画像情報２０１以外の付帯情報として、シーン位置情報２０２のほか、画面変化量情報２０３も記述されている。
【００８２】
画面変化量情報２０３は、元映像データ１０１の飛び飛びに存在する映像フレーム間の画面変化量を示す情報であり、例えばフレーム間の絶対値差分の合計を用いたり、また元映像データ１０１がＭＰＥＧ圧縮映像データであれば、フレーム間動き補償のデータから画面全体の動きベクトルの大きさの平均（平均パワー）を計算して求めることができる。このような画面変化量情報２０３を時・空間標本化ビデオメタデータ１０２に付帯させることより、高度な可変速再生を行うことができる。
【００８３】
特開平１０−２４３３５１号（特願平０９−０４２６３７号）「映像再生装置」で述べられているように、映像を画面の変化が大きいところではゆっくりと再生し、画面の変化が小さいところでは速く再生することにより、画面の変化量を一定にして見やすい早送り再生を実現する技術は知られている。この特許では、各フレーム毎に画面変化が存在し、かつ全てのフレームを用いることが前提となっているが、本発明のように時間的に離散した標本画像フレームを対象とし、かつ画面変化量も時間的に離散して得られる場合については言及されていない。そこで、本実施形態では時間的に離散した標本画像フレームおよび画面変化量に対して同様の効果が得られる可変速再生を実現する方法を提供する。
【００８４】
最初に、図８に示すフローチャートを参照して、標本画像フレームを用いて可変速再生を行う場合の基本的な処理手順を説明する。
【００８５】
先ず、可変速再生（この場合は、早送り再生）を行う範囲の指定を行う（ステップＳ４１）。可変速再生範囲の開始フレーム番号をＦｓ、終了フレーム番号をＦｅとする。
【００８６】
次に、再生速度倍率ｍ、つまり何倍速で早送り再生を行うかを指定する（ステップＳ４２）。
【００８７】
次に、再生方向の指定、つまり早送り再生を順方向再生で行うか逆方向再生で行うかの指定を行う（ステップＳ４３）。
【００８８】
次に、標本画像フレームの再生フレームレートｒ［フレーム／秒］を指定する（ステップＳ４４）。再生フレームレートｒは、テレビジョン方式によって異なり、例えばＮＴＳＣの場合は３０［フレーム／秒］、ＰＡＬの場合は２４［フレーム／秒］である。
【００８９】
ここで、元映像データ１０１のフレームレートがＲ［フレーム／秒］であったとすると、これを基に可変速再生時に標本画像フレーム群について読み飛ばすフレーム数を後述のようにして計算する（ステップＳ４５）。
【００９０】
そして、再生フレームレートｒ［フレーム／秒］で標本画像フレームの再生を行うために、１／ｒ秒のサイクルで標本画像フレームを取得して表示を行う（ステップＳ４６）。
【００９１】
順方向再生の場合は、フレームＦｓに対応する標本画像フレーム番号から再生を開始し、フレーム番号を増加させる方向で読み飛ばす。逆方向再生の場合は、フレームＦｅに対応する標本画像フレームから再生を開始し、フレ一ム番号を減少させる方向で読み飛ばすことになる。
【００９２】
ここで、ステップＳ４６の処理についてさらに詳しく説明すると、順方向の早送り再生の場合は、１サイクル当たりフレーム番号を（ｍ×Ｒ／ｒ）フレームずつ増加させながら標本画像フレームを取得する。すなわち、（ｍ×Ｒ／ｒ）がステップＳ４５で計算された順方向に読み飛ばすフレーム数であり、ステップＳ４６ではＦｓ＋（ｍ×Ｒ／ｒ）×ｔのフレーム番号における最近傍の標本画像フレームを再生して表示することになる。ここで、ｔはサイクル数である。
【００９３】
同様に、逆方向の早送り再生の場合も、１サイクル当たり（ｍ×Ｒ／ｒ）フレームずつ減少させながら標本画像フレームを取得する。すなわち、（ｍ×Ｒ／ｒ）がステップＳ４５で計算された逆方向に読み飛ばすフレーム数であり、ステップＳ４６ではＦｅ−（ｍ×Ｒ／ｒ）×ｔのフレーム番号における最近傍の標本画像フレームを再生して表示する。
【００９４】
このようにして、標本画像フレーム群を用いて任意の再生速度倍率の可変速再生が可能になる。なお、毎サイクルで取り出す標本画像フレームに違いがない場合は、同じフレームを継続して表示するようにしてもよく、それにより処理効率を上げることができる。
【００９５】
上述の説明では、ユーザが変更しない限り、再生速度倍率ｍは一定であるとしたが、次に、前述した画面変化量情報２０３を利用して、より円滑な可変速再生を行う方法について述べる。この可変速再生の基本は、画面変化量情報２０３に応じて標本画像フレームを用いた可変速再生での再生速度を時時刻刻変化させる、というものである。説明を簡単にするために、可変速再生の範囲を特に指定せず、元映像データ１０１全体を対象に早送り再生を行う場合を考える。
【００９６】
先ず、以下のパラメータを定義する。
【００９７】
元映像データ１０１の全フレーム数：Ｋ［フレーム］
元映像データ１０１のフレームレート：Ｒ［フレーム／秒］
標本画像フレームの再生フレームレート：ｒ［フレーム／秒］
再生速度倍率：ｍ
画面変化量情報：Ｐｉ（ｉ＝０，…，ｎ）
画面変化量に対応して再生速度に与える重み：Ｗｉ
標本画像フレームに対応する元映像データのフレーム番号：Ｆｉ（ｉ＝０，…，ｎ−１）
元映像データの各フレームに対応して再生速度に与える重み：Ｗｊ（ｊ＝０，…，Ｋ−１）
今、激しい動きに対して与える標本画像フレームの画面変化量の限界値をＬとし、限界値Ｌを超えないような値［Ｐｉ］を考える。
【００９８】
［Ｐｉ］＝Ｌ， Ｐｉ＞Ｌの場合，
［Ｐｉ］＝Ｐｉ， その他の場合 …（１）
また、画面変化量に対応して再生速度に与えられる重みをＷｉ＝［Ｐｉ］とする。
【００９９】
次に、各フレームの再生速度に対する重みを考える。離散的な再生速度に対応する重みＷｉを線形補間して、次式に示すＷｊを求める。
【０１００】
Ｗｊ
＝ Ｗｉ ＋ （Ｗ（ｉ＋１）−Ｗｉ）／（Ｆ（ｉ＋１）−Ｆｉ）×ｔ
ここで、ｔ＝０，…，Ｆ（ｉ＋１）−Ｆｉ、
ｊ＝Ｆｉ，…，Ｆ（ｉ＋１）−１、
ｉ＝０，…，ｎ−１ …（２）
Ｗｊを全体の和が１．０になるように正規化したものをＷ’ｊとすると、
Ｗ’ｊ
＝ Ｗｊ／ΣＷｊ
ここで、ｊ＝０，…，ｋ …（３）
ここで、再生速度倍率ｍ、再生フレームレートｒ［フレーム／秒］で再生する場合に必要な表示回数Ｎは次式となる。
【０１０１】
Ｎ
＝ Ｋ／（ｍ×Ｒ／ｒ） …（４）
再生速度に対して与える重みを考慮して、標本画像フレーム群から表示用画像フレームを取得する場合、各標本画像フレームに割り付けられた重みＷ’ｊを加算してゆき、その加算値がＴｈ＝ｐ／Ｎ（ｐ＝０，…，Ｎ−１）なる閾値を超えたときの標本画像フレームを取得する。すなわち、加算値が閾値Ｔｈを超えたときのフレーム番号に対応する最近傍の標本画像フレームが表示用画像フレームとなる。
【０１０２】
上記の計算に従って表示用画像フレームを予め取得しておき、フレームレートｒ［フレーム／秒］で表示すれば、画面変化量が大きい時には遅めに、また画面変化量が小さい時には早目に可変速再生することになるが、結果としては所望の再生速度倍率ｍで画像を表示できる。上記の計算を用いれば、ある時間長の映像番組をそれより短い任意の時間内で再生することが可能となる。再生速度に対して与える重みＷ’ｊに対してスムージングをかけたり、シーンチェンジや静止画の部分で特殊な重み付けを行うことで、可変速再生にさらに特殊効果を加えることも可能である。
【０１０３】
ここでは、元映像データ１０１の全体に対して可変速再生を行う場合について述べたが、部分再生の場合も全く同様の考え方で可変速再生を行うことができる。すなわち、元映像データ１０１全体のＷ’ｊが計算できれば、部分再生の問題は容易に解決できる。また、元映像データ１０１の全体に対しての可変速再生の場合の説明では、可変速再生の開始フレームと終了フレームに画面変化量情報が存在すると仮定したが、これらがない場合は適当に近傍の画面変化量情報を流用するか、デフォルトの値を与えるかして計算すればよい。
【０１０４】
以下、図９に示すフローチャートを参照して、上述のように画面変化量情報２０３を利用して、より円滑な可変速再生を行う場合の具体的な処理手順を説明する。図９において、ステップＳ５１〜Ｓ５４の処理は図８におけるステップＳ４１〜Ｓ４４の処理と基本的に同様である。
【０１０５】
すなわち、先ず画面変化量を一定にして可変速再生（この場合は、早送り再生）を行う範囲の指定を行う（ステップＳ５１）。可変速再生範囲の開始フレームをＦｓ、終了フレームをＦｅとする。次に、再生速度倍率ｍ、つまり何倍速で早送り再生を行うかを指定する（ステップＳ５２）。次に、再生方向の指定、つまり早送り再生を順方向再生で行うか逆方向再生で行うかの指定を行う（ステップＳ５３）。次に、標本画像フレームの再生フレームレートｒ［フレーム／秒］を指定する（ステップＳ５４）。
【０１０６】
この後、式（４）により必要な表示回数Ｎを計算する（ステップＳ５５）。また、式（３）に示した重みＷ’ｊの加算値がＴｈ ＝ ｐ／Ｎ（ｐ＝０，…，Ｎ−１）なる閾値を超えるときの標本画像フレームの位置、つまり加算値が閾値Ｔｈを超えたときのフレーム番号に対応する最近傍の標本画像フレームを表示用画像フレーム位置として計算し、これをテーブルに記録する（ステップＳ５６）。
【０１０７】
そして、再生フレームレートｒ［フレーム／秒］で標本画像フレームを再生して表示するために、１／ｒ秒のサイクルで上記テーブルを用いて表示用標本画像フレームを取得して表示を行う（ステップＳ５７）。
【０１０８】
このように標本画像フレーム群を用いて可変速再生を行う場合、画面変化量に応じて再生速度を変化させる、つまり画面変化量が大きいところでは再生速度を遅く、また画面変化量が小さいところで再生速度を速くすることで、先に示した特開平１０−２４３３５１号（特願平０９−０４２６３７号）「映像再生装置」と同様の画面変化量を一定に保った見やすい早送り再生を標本画像フレームに対して実現することが可能である。
【０１０９】
（４）その他の利用形態
図１０は、上記で述べた方法で選択したシーンチェンジ位置（カット点）近傍の標本画像フレーム５０１，５０２，…を一覧表示した例である。元映像データから画像フレームを取り出すことをしないので、このような一覧画面５００を高速に作成することができる。
【０１１０】
図１１は、元映像全体を時間軸方向に延びた一本のバー６０１で表示し、さらにバー６０１の指定した一部分を拡大したバー６０２で表示した例である。拡大したバー６０２には、この部分の元映像に含まれるカット点のフレームの画像が見出しとして表示されている。さらに拡大したバー６０２の上にマウスカーソル６０３を当てると、カット点の位置を考慮して、指定点の画像フレームに最も類似する近傍の標本画像フレーム６０４を選択し、アイコンとして表示できる。この処理が高速に行えるため、マウスアイコンを左右にスライドさせることにより、アイコンイメージをリアルタイムに動画のように表示することができる。
【０１１１】
一方、監視システムの応用を考えたとき、たまに起る事象を効率よく発見したいという要求がある。例えば、常時は監視画面に背景画像のみが映っているが、あるとき侵入者が映ったとする。侵入者は、背景画像の差分画像として容易に発見することができる。また、映像を記録すると同時に、画面の変化のないところでは標本画像フレームを時間的に粗くサンプリングし、画面の変化があったところでは時間的に細かくサンブリングすることにより、侵入者を確実に記録することができる。侵入者が映った画面に、付加情報としてカット点の管理等のための情報を貯えておき、後で一覧表示を行うことが可能となる。また、侵入者があったときだけ、標本画像フレームの空間的サンブリングを精細にすることにより、標本画像フレームでも侵入者を確認するようにすることもできる。
【０１１２】
さらに、侵入者が入った時に元映像よりも高精細な静止画像を取得し、それを標本画像フレームとして管理することも有効である。通常の映像では解像度が不十分な場合、それよりも高解像度の静止画像を用いて侵入者の判別を行うことが可能となる。
【０１１３】
以上説明したように、本実施形態によれば、元映像データ以外に、元映像フレーム群を時間的に任意の間隔でかつ空間的に任意の大きさにサンプリングして得た標本画像フレーム群の画像データと属性情報からなる標本画像情報を記録しておき、元映像データではなく標本画像情報を検索することにより、計算機パワーやトラフィックに負担をかけることなく、所望フレームの映像検索を容易に行うことが可能となる。また、標本画像情報にシーンチェンジ位置情報を付帯情報として記述することによって、所望のフレームとより類似した標本画像フレームの検索が可能となる。さらに、検索対象画像と各標本画像フレームの画像との差分、例えば絶対値差分の合計を求め、この値が小さい標本画像フレームを検索することによっても、所望フレームの検索ができる。さらに、画面変化量が大きいところでは再生速度を遅く、画面変化量が小さいところで再生速度を速くすることで、画面変化量を一定に保った見やすい可変速再生を標本画像フレームに対して実現することも可能となる。
【０１１４】
以下、本発明の他の実施形態を説明する。他の実施形態の説明において第１の実施形態と同一部分は同一参照数字を付してその詳細な説明は省略する。
【０１１５】
第１実施形態では時・空間標本映像メタデータ１０２は複数の標本画像情報２０１１〜２０１ｎを有するとしたが、その詳細な記述例は説明しなかった。この記述例の具体例に関する第２実施形態を以下に説明する。
【０１１６】
図１２は第２実施形態の標本画像情報の記述例を示している。ここでは、標本画像フレーム群を一つの映像（標本映像）として扱い、その集合として標本映像情報７０１を構成する。標本映像は標本映像情報７０１とは別に用意し、標本映像情報７０１にその場所をＵＲＬ等により記述してもよいし、標本映像を標本映像情報７０１として直接記述してもよい。
【０１１７】
標本画像情報７０２は標本映像情報７０１で示される標本映像内の標本画像フレームと元映像データフレームとの対応付けを示し、標本映像に含まれる標本画像フレーム数に応じて、複数記述される。標本画像情報７０２は元映像フレームのメディア時間７０３と標本映像のメディア時間７０４より構成される。元映像フレームのメディア時間７０３は標本画像フレームに対応する元映像のフレームを示す。元映像のフレームを一意に決めることができれば、タイムスタンプ等の時間であってもよいし、フレーム番号等であってもよい。また、元映像フレームが一定間隔でサンプリングされている場合など、演算によって対応する元映像フレームが求められる場合は、演算に必要な情報（例えばサンプリング間隔）を記述して、元映像フレームのメディア時間７０３を省略してもよい。標本映像のメディア時間７０４は標本映像情報７０１で示される標本映像内の特定の標本画像フレームを示す。標本映像のメディア時間７０４は標本画像フレームを一意に決めることができれば、フレーム番号等であってもよいし、標本映像を通常の映像として扱った場合のタイムスタンプ等の時間であってもよい。また、標本映像と順次対応付けが行われる場合は省略しても構わない。
【０１１８】
図１３は標本画像情報の別の記述例を示している。標本画像情報８０１は各標本画像フレームと元映像データフレームとの対応付けを示し、標本画像フレーム数に応じて、複数記述される。標本画像情報８０１は元映像フレームのメディア時間８０２と標本画像データ８０３より構成される。メディア時間８０２は図１２で示される記述例におけるメディア時間７０３と同様に標本画像フレームに対応する元映像データのフレーム位置を示す。なお、本メディア時間８０２もメディア時間７０３と同様に省略してもよい。標本画像は標本画像データ８０１とは別に個々に用意し、標本画像データ８０１にその場所をＵＲＬ等により記述してもよいし、標本画像を標本画像データとして標本画像データ８０１に直接記述してもよい。また、標本画像のかわりにその内容を示すイラスト等の他の画像を標本画像データとしてもよい。
【０１１９】
図１４は標本画像情報の別の記述例を示している。図１４で示される記述例は図１２及び図１３で示される記述例の両方を含んでいる。標本映像情報９０１は図１２で示される記述例における標本映像情報７０１と同様で、標本映像の場所を示すＵＲＬあるいは標本映像自体を示す。標本画像情報９０２は各標本画像フレームと元映像データフレームとの対応付けを示し、標本画像フレーム数に応じて、複数記述される。標本画像情報９０２は元映像フレームのメディア時間９０３と標本映像のメディア時間９０４Ａあるいは標本画像データ９０４Ｂのいずれかにより構成される。元映像フレームのメディア時間９０３は図１２で示される記述例におけるメディア時間７０３と同様に標本画像フレームに対応する元映像データのフレームを示す。なお、本メディア時間９０３もメディア時間７０３と同様に省略してもよい。標本映像のメディア時間９０４Ａは図１２で示される記述例におけるメディア時間７０４と同様で、標本映像情報９０１で示される標本映像内の特定の標本画像フレームを示す。該メディア時間９０４Ａが標本映像と順次対応付けされる場合は省略しても構わない。標本画像データ９０４Ｂは図１３で示される記述例における標本画像データ８０３と同様で、個々の標本画像フレームの場所や標本画像フレーム自体を示す。
【０１２０】
図１４の記述例によれば、標本映像の一部を差し替えたり、別の標本画像を追加することができる。
【０１２１】
次に、図１２〜図１４で示される記述例を利用して、所望メディア時間の標本画像データを抽出する処理を説明する。図１５はその基本フローである。ステップＳ６１で所望の標本画像フレームに対応する元映像フレームのメディア時間を入力する。メディア時間はタイムスタンプやフレーム番号等、メディア内での時間的な位置を一意に示すものである。ステップＳ６２では図１２〜図１４の記述例で記述される標本画像情報群の中から最初の標本画像情報を取り出す。ステップＳ６３で、所望のメディア時間と標本画像情報に含まれる元映像フレームのメディア時間とを比較し、両者が同一、あるいは、所望のメディア時間の方が後になる場合はステップＳ６４へ進み、標本画像情報で示されている標本画像データを取り出す。標本画像データの抽出方法は記述方法によって異なり、標本フレーム番号が記述されている場合は標本映像の該当標本画像データを抽出し、標本画像データが記述されている場合はそれを用いる。標本画像情報に含まれるメディア時間の方が所望メディア時間より後の場合はステップＳ６５へ進み、標本画像情報群から次の標本画像情報を取り出して、再びステップＳ６３へ進みメディア時間の比較を行う。
【０１２２】
図１６は図１２〜図１４で示される記述例に標本画像フレームの属性情報を付加する記述例である。標本映像は、大きさの異なる標本画像を用いたり、元映像データの一部の領域のみを切り出して、標本画像として用いることができるので、これらのパラメータを属性情報として記述するための一例が図１６に示す記述例である。
【０１２３】
標本画像フレーム群情報１００１は図１２〜図１４で示される記述例等による情報を示す。標本属性情報１００２は個々の標本画像フレームの属性情報で、標本映像に含まれる標本画像フレーム数に応じて、複数記述される。標本属性情報１００２は標本番号１００３、解像度情報１００４、領域情報１００５により構成される。
【０１２４】
標本番号１００３は標本画像フレーム群情報１００１で示される標本画像フレーム群に含まれる特定の標本画像フレームに対応する番号である。標本フレーム番号１００３が標本画像フレーム群内の標本画像フレームと順次対応する場合は省略しても構わない。
【０１２５】
解像度情報１００４は標本番号１００３で示される標本画像フレームの元映像データの対応フレームに対する解像度を示す。例えば、画像を何分の１に縮小したか等を記述する。
【０１２６】
領域情報１００５は標本番号１００３で示される標本画像フレームの元映像データの対応フレームにおける該当傾城を示す。標本画像フレームが元映像データの対応フレームの一部を切り出している場合はその領域を記述する。標本画像フレームが元映像データの対応フレーム全体に相当する場合は領域情報を省略してもよい。
【０１２７】
なお、これら属性情報は図示しないが、図１２〜図１４で示した記録例における各標本画像情報内に記述するようにしてもよい。
【０１２８】
図１７は図１６で示される記述方法を用いた実際の記述例である。元映像フレーム１４０１の中には物体が一部のみに存在しているとする。元映像フレーム１４０１の標本画像フレームを作成する場合、両画全体のサンプリングするよりも一部のみを取り出してサンプリングした方が、画像の内容をより反映した標本画像フレームが作成できる。そこで、元映像フレーム１４０１内の矩形領域１４０２を取り出して、縦横がそれぞれ１／２となるようにサンプリングを行い標本画像フレーム１４０３を作成する。このときの解像度情報、領域情報の記述例は１４０４のようになる。
【０１２９】
図１８はユーザの要求に応じて標本画像フレームの一覧表示を行う基本フローである。スナッブＳ７１ではユーザが一覧表示するレベルを入力する。入力方法は表示レベルに応じて連続的に変化するスライダー等のＧＵＩを用いてもよいし、数字で直接入力してもよい。あるいは、計算機等に接読されたホイールやダイヤル等の入力装置を用いてもよい。
【０１３０】
ステップＳ７２では、ステップＳ７１で入力されたレベル値から一覧表示する標本画像の枚数を計算する。例えば、最大表示レベルをＬｍａｘ、最大表示標本画像フレーム数をＴｍａｘとし、現在の表示レベルがＬであるとすると、表示標本画像フレーム数Ｔ＝Ｔｍａｘ×Ｌ／Ｌｍａｘで求められる。
【０１３１】
ステップＳ７３では、表示標本画像フレーム数に応じて一覧表示する標本画像フレームの選択を行う。例えば、一定時間間隔や一定フレーム間隔で標本画像フレームを選択する。あるいは、カット点情報等の付加情報が与えられている場合は、カット点やシーンの先頭フレーム等のより重要度の高いフレームから優先的に選択してもよい。
【０１３２】
ステップＳ７４では選択された標本画像の一覧を作成して、表示する。
【０１３３】
図１９は図１８で示される基本フローを用いた標本画像フレームの一覧表示のインターフェースを示す。画面１１０１上には表示レベルを指定するためのスライダー１１０２と標本画像一覧１１０３が存在する。スライダー１１０２を画面１１０４内のスライダー１１０５に示すような位置に移動させて表示レベルを大きくすると、一覧表示される標本画像の枚数が一覧表示１１０６に示されるように増加する。このようなインターフェースを用いることによって、ユーザは映像の内容に応じて必要なだけの標本画像を直感的に表示することが可能である。
【０１３４】
図２０は図１６で示される記述例を用いた画面表示の例である。図１６で示される記述例を用いることにより、解像度の異なる標本画像フレームや画面の一部の領域のみを切り出した標本画像フレームを扱うことができる。一方、画像中には字幕部分等の高解像度でサンプリングすることが望ましい領域と、背景等の低解像度でサンプリングすれば十分な領域が混在している。そこで、同一フレームから作成した解像度と領域の異なる標本画像フレームを含む標本画像フレーム群１２０１を用意し、画面表示例１２０２に示すようにこれらを重ね合わせて表示することにより、字幕を高解像度で背景を低解像度で表示することが可能となる。
【０１３５】
図２１は図１６で示される記述例を用いた画面表示の別の例である。画像１３０１は低解像度でサンプリングされた標本画像フレームである。字幕部分等、ユーザがより詳細な画像を所望する領域１３０２をマウス等で指し示すと、領域１３０２のみをより高解像度でサンプリングした標本画像フレーム１３０３がポップアップ等によって表示される。通常は、画像１３０１のような低解像度な標本画像フレームが表示されているので、画像の大きさを小さくすることができ、一覧表示等により多くの画像を表示することができる。
【０１３６】
なお、本発明は上述した実施例に限定されるものではなく、種々変形して実施可能である。
【０１３７】
【発明の効果】
以上説明したように、本発明の画像情報記述方法によれば、映像の内容を確認しての検索や表示を行うことができる。
【０１３８】
また、元映像データをサンプリングして得られた標本画像に基づいて検索を行う場合、所望のフレームがシーンチェンジとシーンチェンジの間に存在するような場合でも良好な映像検索ができる。
【０１３９】
さらに、標本画像に基づいて可変速再生を行うことができるので処理量が軽減でき、計算機パワーの小さな機器やネットワーク上でも容易に可変速再生を実現できる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るシステムアーキテクチャを示す図。
【図２】元映像データおよび時・空間標本映像メタデータの構造を示す概念図。
【図３】時・空間標本映像メタデータに含まれる標本画像情報の説明図。
【図４】標本画像情報の管理構造を示す図。
【図５】標本画像情報の記述手順を説明するための時・空間標本映像メタデータの記録手順を示すフローチャート。
【図６】時・空間標本映像メタデータに含まれるシーンチェンジ情報を用いた標本画像フレームの検索手順を示すフローチャート。
【図７】時・空間標本映像メタデータを対象とした標本画像フレームの検索手順を示すフローチャート。
【図８】標本画像フレームを用いた可変速再生の手順を示すフローチャート。
【図９】標本画像フレームと画面変化量情報を用いて円滑な可変速再生の手順を示すフローチャート。
【図１０】時・空間標本映像メタデータに含まれるシーンチェンジ情報を用いた標本画像フレームの一覧表示の例を示す図。
【図１１】時・空間標本映像メタデータを用いた元映像データと標本画像フレームの表示例を示す図。
【図１２】標本画像情報の他の記述例を示す図。
【図１３】標本画像情報の別の記述例を示す図。
【図１４】標本画像情報のさらに他の記述例を示す図。
【図１５】図１２〜図１４の記述例に従った標本画像情報を用いた標本画像データの検索を示すフローチャート。
【図１６】標本画像情報のさらに別の記述例を示す図。
【図１７】図１６の記述例に従った標本画像情報の具体例を示す図。
【図１８】表示レベルに応じて表示枚数を可変する標本画像一覧表示の動作を示すフローチャート。
【図１９】表示レベルが可変された場合の標本画像一覧表示の変化を示す図。
【図２０】図１６の記述例に従った標本画像情報により解像度と領域の異なる複数の標本画像を重ねて表示する例を示す図。
【図２１】図１６の記述例に従った標本画像情報により解像度と領域の異なる複数の標本画像を重ねて表示する他の例を示す図。
Claims (1)
- 複数の映像フレームからなる元映像情報を時間的に任意の間隔でかつ空間的に任意の大きさにサンプリングして得た複数の標本画像フレームからなる標本映像に関する標本映像情報として、前記標本映像の前記元映像情報の時間軸上の場所を示すポインタと、前記標本映像に含まれる複数の標本画像フレームのそれぞれと該標本画像フレームに対応する映像フレームとの対応関係を示す属性情報と、前記映像情報のシーンチェンジ位置情報を含む付帯情報と、を記述し、
前記付帯情報は、前記元映像情報の画面変化量の情報も含むことを特徴とする画像情報記述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33946599A JP4574771B2 (ja) | 1999-01-28 | 1999-11-30 | 画像情報記述方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11-20386 | 1999-01-28 | ||
| JP2038699 | 1999-01-28 | ||
| JP33946599A JP4574771B2 (ja) | 1999-01-28 | 1999-11-30 | 画像情報記述方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000287165A JP2000287165A (ja) | 2000-10-13 |
| JP4574771B2 true JP4574771B2 (ja) | 2010-11-04 |
Family
ID=26357327
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33946599A Expired - Fee Related JP4574771B2 (ja) | 1999-01-28 | 1999-11-30 | 画像情報記述方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4574771B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3446709B2 (ja) * | 2000-02-23 | 2003-09-16 | 日本電気株式会社 | 番組情報取得装置及び番組情報提供システム並びにプログラムを記録した機械読み取り可能な記録媒体 |
| KR100508569B1 (ko) | 2001-06-19 | 2005-08-18 | 김회율 | 이미지 시퀀스 검색을 위한 모양 변화 기술자 추출 방법 |
| JP4099973B2 (ja) | 2001-10-30 | 2008-06-11 | 松下電器産業株式会社 | 映像データ送信方法及び映像データ受信方法、並びに映像監視システム |
| KR100679124B1 (ko) * | 2005-01-27 | 2007-02-05 | 한양대학교 산학협력단 | 이미지 시퀀스 데이터 검색을 위한 정보 요소 추출 방법및 그 방법을 기록한 기록매체 |
| JP4613851B2 (ja) * | 2006-02-17 | 2011-01-19 | ソニー株式会社 | データ処理装置およびデータ処理方法、並びにプログラム |
| JP5082732B2 (ja) * | 2007-10-03 | 2012-11-28 | ソニー株式会社 | 映像処理装置、表示制御方法およびプログラム |
| JP5945755B2 (ja) * | 2012-02-06 | 2016-07-05 | Jcc株式会社 | 録画装置 |
| KR101747220B1 (ko) | 2012-08-30 | 2017-06-15 | 한화테크윈 주식회사 | 이미지 피라미드의 적응적 이미지 처리 장치 및 방법 |
| JPWO2022209657A1 (ja) * | 2021-03-30 | 2022-10-06 |
-
1999
- 1999-11-30 JP JP33946599A patent/JP4574771B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000287165A (ja) | 2000-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7174055B2 (en) | Image information describing method, video retrieval method, video reproducing method, and video reproducing apparatus | |
| JP3738631B2 (ja) | 画像検索システムおよび画像検索方法 | |
| US9502075B2 (en) | Methods and apparatus for indexing and archiving encoded audio/video data | |
| US6937273B1 (en) | Integrated motion-still capture system with indexing capability | |
| JP4666784B2 (ja) | ビデオシーケンスのキーフレーム抽出方法及びビデオシーケンスのキーフレーム抽出装置 | |
| JP3719933B2 (ja) | 階層的ディジタル動画要約及び閲覧方法、並びにその装置 | |
| WO2002087255A2 (en) | Methods and apparatus for generating, including and using information relating to archived audio/video data | |
| JPH1139850A (ja) | 記録再生装置および記録再生方法、並びに記録媒体 | |
| JPH1132301A (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JP3529540B2 (ja) | 動画像検索装置 | |
| JP2006254366A (ja) | 画像処理装置、カメラシステム、ビデオシステム、ネットワークデータシステム、並びに、画像処理方法 | |
| WO2010041576A1 (ja) | コンテンツの配信システム | |
| JP4574771B2 (ja) | 画像情報記述方法 | |
| US6738425B2 (en) | Image or video data processing system | |
| JP4770875B2 (ja) | 画像特徴データ生成装置、画像特徴判定装置および画像検索システム | |
| JP4667356B2 (ja) | 映像表示装置及びその制御方法、プログラム、記録媒体 | |
| JPH08154230A (ja) | 動画符号化データの媒体蓄積方法 | |
| JP2012044451A (ja) | 画像再生装置、その制御方法、及び画像再生プログラム、並びに記録媒体 | |
| KR20020069724A (ko) | 디지털 영상 기록/재생 장치의 영상 데이터 관리방법 | |
| JP4066454B2 (ja) | オーサリング機能付き信号処理装置及びオーサリングを含む信号処理方法 | |
| JP4090936B2 (ja) | 動画像検索装置 | |
| JP2006018831A (ja) | 画像検索システムおよび画像検索方法 | |
| JP3573493B2 (ja) | 動画検索システムおよび動画検索データ抽出方法 | |
| JP2001197431A (ja) | 情報処理装置および情報処理方法、並びにプログラム格納媒体 | |
| JP2002262240A (ja) | 録画シーン検索方法および記録再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070323 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070403 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070604 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080207 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080512 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20081114 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100624 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100819 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130827 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |