JP4879937B2 - 動画像記録装置、動画像再生装置、動画像削除装置、動画像記録方法、動画像再生方法、動画像削除方法及びそれら方法を実行可能なプログラム - Google Patents

Description

本発明は、フレーム間の相関を利用した圧縮方式の動画像に対する記録、再生、削除を行う動画像記録装置、動画像再生装置、動画像削除装置、動画像記録方法、動画像再生方法、動画像削除方法及びそれら方法を実行可能なプログラムに関する。

近年、ネットワークの高速化、チャンネルの多様化に伴い、個人が視聴することの出来る映像コンテンツの量は飛躍的に増加している。また、ハードディスク装置（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）やＳＤカード、メモリースティックなどに代表されるフラッシュメモリなどの記録媒体の大容量化に伴い、映像コンテンツをこれらの記録媒体へ大量に録画し、放送時間に縛られること無く番組を視聴するというスタイルも一般的となった。

これら映像コンテンツは、主に、映像部分を記録する映像ストリームと音声部分を記録する音声ストリームから成り、該コンテンツを記録するのに必要な容量の大半を占めるのは映像ストリームである。そこで、該ストリームを効率よく圧縮する手段として、現在一般的には、ストリームを構成する画像（フレーム）間の相関を利用した動画像圧縮方式が用いられている。フレーム間の相関に注目した圧縮方式の一つである、フレーム間予測を用いる圧縮方式では、空間圧縮のみを用いてされたイントラフレーム（Ｉフレーム）と呼ばれるフレームと、連続するフレームの類似性に注目し、前又は前後のフレームとの差分を用いることによって圧縮された差分フレーム（Ｐフレーム、Ｂフレーム）と呼ばれるフレームを用いて映像ストリームの圧縮を行う。

図２６（ａ）に、時間的に連続した２枚のフレーム１００１と１００２が存在した場合の、フレーム間予測を用いた圧縮の例を示す。圧縮装置は、最初のフレーム１００１を受け取ると、それを自フレームの情報のみを用いて圧縮されたフレーム、即ち空間圧縮されたＩフレームへと変換する。更に続けてフレーム１００２を受け取ると、直前のフレームである１００１との差分１００３を取り出し、これを基にＰフレームへと変換する。

以上に示したように、フレーム間予測を用いた一般的な圧縮方法では、Ｐフレーム（又はＢフレーム）は、基準となるフレームとの差分のみを記録するようにする為、Ｐフレームを実際に映像出力装置に出力可能な形に伸長する際には、基準となるフレームの伸長が必要になるという手間がかかるが、一方図２６（ｂ）のグラフに示されるように、一般的に空間圧縮空間圧縮のみを用いて圧縮し、記録されたＩフレームのビット量１００５よりも、前のフレームとの差分として記録しているＰフレーム（又は前後のフレームとの差分として記録しているＢフレーム）のビット量１００６の方が少なくなることが知られている。

上記圧縮技術を用いて映像コンテンツを圧縮することにより、ユーザはより大量のコンテンツを記録、蓄積することが可能になった。

しかしながら、一方で、視聴するユーザに対して提供される映像コンテンツの高品質化、高精細化が進んでいる。これにより、映像コンテンツを記録するために必要な記録領域量が飛躍的に増加しており、また、高精細、高品質なまま記録媒体に映像コンテンツを残したいというユーザの要求も高まっていることから、上記圧縮技術を用いても、個人が扱える記録媒体の量に対する蓄積可能な映像コンテンツの量が減少している。

この問題を解決するための一手段として、特許文献１には、映像コンテンツ中に含まれるオープニング、エンディングといった重複する映像コンテンツの一部分（シーン）を自動で検出し、重複するシーンは２度以上記録媒体に書き込まないことで、記録に必要な容量の削減を図る手段が示されている。
特開２００６−２２９５６５号公報

しかしながら、一般的にはオープニング、エンディングシーンなどは、出演者などのテロップが重ねられており、これは各映像コンテンツで異なっていることが多い。この為、特許文献１の技術では、連続ドラマのオープニング、エンディングなどであっても、映像信号的に完全に一致するものとは限らず、同一のオープニング、エンディングとみなさない可能性が高く、結果的には、容量削減にはならないことになる。

一方で、前述のように、映像信号的に完全に一致はしないものの類似しているシーンが、蓄積された複数の映像ストリーム各々に含まれていることが考えられる。例えば、連続ドラマのオープニングやエンディングシーンは、前述の通り多少のテロップの差こそあるが、映像信号的には類似する場合が多い。また、毎日同じ時間、同じ放送局で放送されるニュースなどの場合は、出演するアナウンサーや背景セットなどの変化がほとんど無く、服装などの細かな差異を除けば、映像信号的に類似しているシーンが多く含まれる。更に、ニュース番組で使用されるスポーツのハイライトシーンなどの映像素材は、複数の番組で似通っている場合が多く、その各々の差異は映像に重ねられるテロップ程度であることが多い。

これら別々な映像に含まれる映像信号的に細かな差異しかない複数のシーンをそれぞれに記録することは、記録容量削減の観点から見ると無駄であった。しかしながら、後にそれぞれのシーンとして伸長可能な形であることを前提とし、これら複数の映像ストリームに跨って記録されている類似シーンについて、その各々が持つ細かな差異を許容して圧縮を行う手段が存在しなかった。

また、特許文献１では、重複する映像コンテンツの一部分（シーン）を自動で検出し、重複するシーンは２度以上記録媒体に書き込まないという処理をしているが、重複する映像コンテンツを削除する場合、単にそのまま削除してしまうと、その映像を参照しているコンテンツを再生することができなくなってしまうという問題もあった。

本発明は、斯かる実情に鑑み、別の映像ストリームの類似フレームを利用して圧縮することで、圧縮効率を高めると共に、参照している別の映像ストリームを削除しても、映像ストリームの再生に影響を与えない動画像記録装置、動画像再生装置、動画像削除装置、動画像記録方法、動画像再生方法、動画像削除方法及びそれら方法を実行可能なプログラムを提供しようとするものである。

本発明は、フレーム間の相関を利用した圧縮方式で圧縮された異なる複数の映像ストリームを記録する動画像記録装置において、映像ストリームと、その映像ストリームのメタデータ及び各フレームの特徴情報を蓄積するデータ蓄積手段と、入力映像ストリームからその映像ストリームの特徴情報を検出する特徴検出手段と、入力映像ストリームの特徴情報と、蓄積されている他の映像ストリームの特徴情報とを比較してフレーム相関を求める相関検出手段と、入力映像ストリームのフレームと、他の映像ストリームのフレームとの相関が高ければ、他の映像ストリームを参照する形で入力映像ストリームの圧縮を行い、前記データ蓄積部に記録する圧縮記録手段と、を備えることを特徴とするものである。

前記特徴検索手段は、閾値処理、ヒストグラム計算処理、輪郭追跡処理、拡大縮小処理、オブジェクトへのラベリング処理、各種フィルタリングのうち少なくとも一つを用いて特徴情報を検出することを特徴とする。

前記圧縮記録手段は、入力映像ストリーム及び他の映像ストリームの参照及び被参照メタデータを作成して記録するとともに、前記特徴検出手段で検出した特徴情報も記録することを特徴とする。

前記特徴情報は、多次元のベクトル情報として作成され、前記相関検出手段は、前記特徴情報のユークリッド平方距離が所定値以下の場合に相関が高いと判断することを特徴とする。

また、本発明は、前記動画像記録装置で記録した映像ストリームを再生する動画像再生装置において、映像ストリームと、その映像ストリームのメタデータ及び各フレームの特徴情報を蓄積するデータ蓄積手段と、再生映像ストリームに対して、前記データ蓄積手段に蓄積されている参照及び被参照メタデータを得て再生指示をする参照指示手段と、前記参照指示手段の再生指示に基づいて、前記データ蓄積手段に蓄積されている再生映像ストリームとその参照ストリームに基づいてデータを伸長し再生する伸長手段と、を備えることを特徴とするものである。

さらに、前記伸長手段により伸長するフレームとそのメタデータ、及び伸長するフレームが参照しているフレームとそのメタデータをキャッシュするキャッシュ手段を備え、キャッシュ手段に保持されているデータを用いてフレームを伸長することを特徴とする。

また、本発明は、前記動画像記録装置で記録した映像ストリームを削除する動画像削除装置において、映像ストリームと、その映像ストリームのメタデータ及び各フレームの特徴情報を蓄積するデータ蓄積手段と、削除指示を受けた映像ストリームに対して、前記データ蓄積手段に蓄積されている参照及び被参照メタデータを得て削除するための指示をする参照指示手段と、被参照メタデータを付与された映像ストリームを削除する場合に、前記参照指示手段の指示に基づいて、削除映像ストリームを参照している映像ストリームのフレームを伸長する伸長手段と、前記伸長手段により伸長された映像ストリームのフレームに対し、削除映像ストリームを参照しないように圧縮を行い、前記データ蓄積部に記録する圧縮記録手段と、前記参照指示手段の削除指示に従って前記データ蓄積手段から削除映像ストリームとそれに付随する情報を削除する削除手段と、を備えることを特徴とする。

さらに前記データ蓄積手段に削除されずに残った映像ストリームの特徴情報を比較してフレーム相関を求める相関検出手段を備え、前記圧縮記録手段は、残った映像ストリームのフレーム間で相関が高いものがあれば、異なる映像ストリームを参照する形で圧縮を行い、前記データ蓄積部に記録することを特徴とする。

また、本発明は、フレーム間の相関を利用した圧縮方式で圧縮された異なる複数の映像ストリームをデータ蓄積手段に記録する動画像記録方法において、入力映像ストリームからその映像ストリームの特徴情報を検出する特徴検出ステップと、入力映像ストリームの特徴情報と、蓄積されている他の映像ストリームの特徴情報とを比較してフレーム相関を求める相関検出ステップと、入力映像ストリームのフレームと、他の映像ストリームのフレームとの相関が高ければ、他の映像ストリームを参照する形で入力映像ストリームの圧縮を行い、前記データ蓄積部に記録する圧縮記録ステップと、を備えることを特徴とするものである。

また本発明は、前記動画像記録方法でデータ蓄積手段に記録した映像ストリームを再生する動画像再生方法において、再生映像ストリームに対して、前記データ蓄積手段に蓄積されている参照及び被参照メタデータを得て再生指示をする参照指示ステップと、前記参照指示ステップの再生指示に基づいて、前記データ蓄積手段に蓄積されている再生映像ストリームとその参照ストリームに基づいてデータを伸長し再生する伸長ステップと、を備えることを特徴とするものである。

また本発明は、前記動画像記録方法でデータ蓄積手段に記録した映像ストリームを削除する動画像削除方法において、削除指示を受けた映像ストリームに対して、前記データ蓄積手段に蓄積されている参照及び被参照メタデータを得て削除するための指示をする参照指示ステップと、被参照メタデータを付与された映像ストリームを削除する場合に、前記参照指示ステップの指示に基づいて、削除映像ストリームを参照している映像ストリームのフレームを伸長する伸長ステップと、前記伸長ステップにより伸長された映像ストリームのフレームに対し、削除映像ストリームを参照しないように圧縮を行い、前記データ蓄積部に記録する圧縮記録ステップと、前記参照指示ステップの削除指示に従って前記データ蓄積手段から削除映像ストリームとそれに付随する情報を削除する削除ステップと、
を備えることを特徴とするものである。

さらに本発明は、前記動画像記録方法、動画像再生方法及び動画像削除方法のステップをコンピュータに実行させるためのプログラムである。

本発明によれば、フレーム間の相関を利用した予測方式で圧縮された複数の映像ストリームにおいて、異なるストリーム間に存在する類似フレーム間で圧縮を再度行うので、大量に存在する映像コンテンツの圧縮効率を高めることができる。そして、参照メタデータ及び被参照メタデータに基づいて参照関係を検出するので、異なるストリーム間の圧縮によっても何ら問題なく伸長再生を可能とする。

また、被参照となる映像ストリームを削除する場合は、その映像ストリームを参照している映像ストリームを伸長して、削除映像ストリームを参照しない形で再圧縮記録をしてから削除するので、残った映像ストリームも何ら問題なく再生可能となる。さらに、残った映像ストリーム間で類似フレームの存在があれば、その間で予測符号化による再圧縮を行えば、さらに圧縮効率を高めることができる。

以下、図面を参照して本発明の実施形態について説明する。なお、以下で示すストリームとは、特に断りがない限り映像ストリームのことを指すものとする。

本発明の実施形態は、大容量記憶媒体に映像コンテンツを記録し、また大容量記憶媒体から映像コンテンツを読み出して再生し、また記録された映像コンテンツを削除可能な動画像記録装置・動画像再生装置・動画像削除装置である。本実施形態は、別々の装置として記載するが、各装置の機能を有する一体の装置であっても構わない。

＜動画像記録装置＞
図１は、本発明に係る動画像記録装置の機能構成の一実施形態を示すブロック図である。
図１の動画像記録装置１０は、映像コンテンツ並びに付随する情報を記録するデータ蓄積部１１と、新規映像コンテンツのストリームの入力を受け付ける映像入力部１２、新規に入力したストリームから付随する特徴情報を検出する特徴検出部１３、蓄積されたストリームと新規入力されたストリームの特徴情報から相関を検出する相関検出部１４、相関検出部１４で相関が高いと判断された映像コンテンツ中のストリームに対して再圧縮を行いデータ蓄積部１１に記録する圧縮記録部１５を含んで構成される。

ここで、特徴情報とは、エッジ情報、色情報、輝度ヒストグラム情報、映像中に出現するオブジェクトの大きさや色、形状等の、映像から得られる解析情報を単一的または複合的に組み合わせて作成した情報のことである。オブジェクトは、パターンマッチング等の手法に基づいて検出したものであり、その大きさ、色、形状、位置などの情報を特徴情報として検出する。これら特徴情報は、相関を計算する単位ごとの情報であり、例えば相関検出部１４にて行う相関計算の対象が全フレームであればＩフレーム、Ｐフレーム、Ｂフレームなどのフレームの種類を問わず全フレームに対して記録しておく。

図２のフローを用いて、動画像記録装置１０の動作の概略について説明する。

動画像記録装置１０は、まず映像入力部１２から入力ストリームを受け取り、特徴検出部１３でその特徴情報を検出する（ステップＳ０１）。蓄積部１１に、蓄積したストリーム又は付随するストリームの特徴情報が存在しない場合は（ステップＳ０２；ＮＯ）、圧縮記録部１５は、再圧縮を行わずにそのまま入力ストリームをデータ蓄積部１１に記録し（ステップＳ０８）、また同時に特徴検出部１３で得られた特徴情報を入力ストリームと紐付けて記録する（ステップＳ０７）。

一方、データ蓄積部１１にストリーム並びに該ストリームに付随する特徴情報が存在する場合（ステップＳ０２；ＹＥＳ）、相関検出部１４は、特徴検出部１３から得られた特徴情報とデータ蓄積部１１に記録されている特徴情報の相関を計算する（ステップＳ０３）。ここで、入力ストリームの特徴情報と相関の高い特徴情報を持つ映像が蓄積されていた場合（ステップ０４；ＹＥＳ）、圧縮記録部１５は、入力ストリーム並びに入力ストリームに相関の高いストリームを用いて、入力ストリームを再圧縮し、データ蓄積部１１に記録する（ステップＳ０５）。また、圧縮記録部１５は、この際、再圧縮されたストリームを伸長、参照する為の情報を記録したメタデータを作成し、入力データに紐付けてデータ蓄積部１１に記録する（ステップＳ０６）。最後に特徴検出部１３で得られた入力ストリームの特徴情報を再圧縮された入力ストリームと紐付けてデータ蓄積部１１に記録する（ステップＳ０７）。

また、データ蓄積部１１に入力映像と相関の高い映像が存在しない場合（ステップ０４；ＮＯ）、装置は入力ストリームを再圧縮せずにそのままデータ蓄積部１１に記録し（ステップＳ０８）、また同時に特徴検出部１３で得られた特徴情報を入力ストリームと紐付けて記録する（ステップＳ０７）。

図１の動画像記録装置１０については、新規に入力された映像コンテンツと既に蓄積された映像コンテンツ中のストリームの相関を扱っているが、図３の動画像記録装置２０ように、一旦映像コンテンツをデータ蓄積部１１に蓄積し、データ蓄積部１１に蓄積された入力ストリームを特徴検出部１３にて特徴情報を検出し、入力ストリームと、以前に既に蓄積されたストリームとの相関を相関検出部１４にて計算して圧縮記録部１５にて再圧縮を行う形式としても良い。なお、動作は、図１の動画像記録装置１０と基本的には変わらないので、詳しい説明は省略する。

さらに、本実施形態に係る動画像記録装置１０の各部について詳細に説明する。

ここでは、図１に記載はしていないが、説明の簡単の為に、各ストリームに含まれるＩフレームを、一旦伸長（例えばＲＧＢ形式やＹＵＶ形式に伸長する）し、各々から得られる特徴情報を用いるものとする。しかし、勿論伸長前の各ストリームから得られる特徴情報を用いても良い。また、相関の計算についても、相関が高いと判断された２つ以上のＩフレームに対して考えるものとし、該フレームの再圧縮動作についての説明を行うが、ＩフレームとＰフレームやＰフレームとＰフレームなど、任意のフレーム間の相関を計算し、圧縮するものとしても良い。

図２のステップＳ０１において、映像入力部１２から新たなストリームが入力されると、そのストリームの特徴情報を特徴検出部１３で検出する。特徴検出部１３では、これら特徴情報を閾値処理、ヒストグラム計算処理、輪郭追跡処理、拡大縮小処理、オブジェクトへのラベリング処理、各種フィルタリングなどを用いて解析し、特徴情報を検出する。本発明では、これら検出した特徴情報を多次元のベクトル情報として作成し、相関の計算に使用するものとする。

ステップＳ０２にて特徴情報があれば、ステップＳ０３において、特徴検出部１３で検出された特徴情報とデータ蓄積部１１に記録された他ストリームの特徴情報を用いて、相関検出部１４では新規に入力されたストリームの一部と相関の高いストリームの一部を選出する。

ここでは、ストリームの一部としてストリーム内に含まれるＩフレームと、そこから特徴検出部１３で得られた特徴情報を用いて相関の検出を計算する例を示す。

相関の計算には例えば各々の特徴情報のユークリッド平方距離を指標にする。以下にユークリッド平方距離を指標にした場合の相関計算の例を示す。

先に述べたように、特徴検出部１３で検出された、任意のＩフレームに対する特徴情報はｍ次元のベクトルｘａ＝｛ｘａ_１、ｘａ_２、…、ｘａ_ｍ｝として表現される。ここで、二つの特徴ベクトルｘａとｘｂのユークリッド平方距離ｄ_ａｂは以下のように定義される。

ｄ_ａｂ＝Σ（ｘａ_ｋ−ｘｂ_ｋ）^２ （ただし、ｋ＝１、２、…、ｍ）

ここでユークリッド平方距離ｄ_ａｂが小さいほど特徴が類似している、すなわちその特徴を持つフレームが類似しているとみなされる。

ステップＳ０４において、相関検出部１４は、相関の高い映像（類似映像）が存在するかの確認処理を行う。まず、相関検出部１４は、任意のＩフレームの特徴ベクトルｘａに対し、ユークリッド平方距離ｄ_ａｂが最小な特徴ベクトルｘｂを選出する。さらに相関検出部１４は、あらかじめ設定された閾値Ｔｈを持ち、特徴情報ｘａとｘｂの距離が閾値Ｔｈ以下である場合、特徴情報ｘａとｘｂを持つフレーム各々が類似しているとみなす。また、ｘａに対する最小のユークリッド平方距離ｄ_ａｂを持つｘｂが存在しても、ｄ_ａｂが閾値Ｔｈより大きい場合、特徴情報ｘａを持つフレームに類似するフレームは存在しないとみなす。

以上に示した手順を用いて、入力ストリームのＩフレームから得られた特徴情報と、データ蓄積部１１に記録された特徴情報から、入力ストリームのＩフレームと類似する特徴情報とされた場合、即ちデータ蓄積部１１に類似するＩフレームが存在すると判断された場合、相関検出部１４は圧縮記録部１５へ該フレーム各々の情報を引き渡す。

ステップＳ０５において、圧縮記録部１５は、相関検出部１４で類似するとみなされたストリーム中の一部分を共有し、より容量を削減したストリームに圧縮しなおしてデータ蓄積部１１に記録する。

図４並びに図５を用いて、圧縮記録部１５の動作を示す。

圧縮記録部１５は、相関検出部１４で類似するとみなされたストリーム中の一部分を共有し、より容量を削減したストリームに圧縮しなおす。

ここで、再圧縮に用いる手法としては、例えば再圧縮前のストリームで用いられているフレーム間予測手法と同一の手法を用いるものとする。また、ＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）等の技術を用いるものとしてもよい。ＤＰＣＭは、基準となるデータを定め、それを参照するデータは基準データとの差分値のみを符号化する、予測符号化手法の一つである。

図４に示すように、２つの異なるストリーム、ストリーム１ Ａ０１とストリーム２ Ａ０２が存在したとする。ここで、破線矢印はフレームの参照関係を表し、ストリーム１ Ａ０１、ストリーム２ Ａ０２に含まれるＰフレームは直前のＩフレームまたはＰフレームを参照しているものとする。

今、相関検出部１４での相関関係検出結果から、ストリーム１ Ａ０１中に含まれるＩフレーム５１と、ストリーム２ Ａ０２に含まれるＩフレーム５２が類似していると判断されたとする。圧縮記録部１５は、ストリーム２ Ａ０２中のＩフレーム５２と、ストリーム１ Ａ０１中のＩフレーム５１との差分をとる。そして、図５に示すように、ストリーム２のＩフレーム５２を、Ｉフレーム５１を参照するＰフレーム５３に変換、即ち再圧縮する。

次に、ステップＳ０６において、圧縮記録部１５は、再圧縮されたストリームに付随するメタデータを作成してデータ蓄積部１１に記録する。この処理を説明する。

再圧縮後のストリーム１をＢ０１、ストリーム２をＢ０２とすると、Ｂ０１には、Ｉフレーム５１を参照するＰフレーム５３の記録位置、即ちアドレス情報を、ストリーム２ Ｂ０２の固有識別子（参照ストリームＩＤ）と共にメタデータとして付与する（以降、被参照メタデータと呼ぶ）。固有識別子は、各ストリームを一意に指定するために付された識別子であり、例えばストリームの記録開始位置（開始アドレス）などを固有識別子として登録しても良い。また、Ｐフレーム５３のアドレス情報のみでストリームが一意に限定できれば、必ずしも固有識別子を記録する必要はない。

被参照メタデータは、例えば図６（ａ）に示すようなテーブル形式で記録される。被参照メタデータは、メタデータとしてストリーム中に埋め込んでも良いし、ストリームの外でストリームと結び付けて管理する形としても良い。例えば、ＭＰＥＧで用いられるシステム乃至はファイルフォーマットでは一定の単位でヘッダが付与されるが、このヘッダにメタデータを付随させる形、即ちＭＰＥＧ−２ ＴＳのアダプテーションフィールドやＭＰ４ファイルフォーマットのｍｏｏｖボックスやｍｏｏｆボックスを拡張するような形でメタデータを記録しても良い。また、ＭＰＥＧ−７に代表されるメディアコンテンツの記述インターフェイスを用いて記述し、ストリームと紐付けて管理する形としても良い。各システム並びにファイルフォーマットの詳細については、ＩＳＯ／ＩＥＣ １３８１８−１：２０００、ＩＳＯ／ＩＥＣ １４４９６−１２、ＩＳＯ／ＩＥＣ １４４９６−１４、ＩＳＯ／ＩＥＣ １５９３８などを参照されたい。

他方、再圧縮後のストリーム２であるＢ０２には、Ｂ０２に含まれるＰフレーム５３が参照するＩフレーム５１のアドレス情報（被参照フレーム情報）を、ストリーム１ Ｂ０１の固有識別子（被参照ストリームＩＤ）、Ｐフレーム５３のアドレス情報（参照フレーム情報）と共にメタデータとして付与する（以降、参照メタデータと呼ぶ）。固有識別子については前述と同様なので詳細な説明を割愛するが、こちらの場合もＩフレーム５１のアドレス情報でストリームが一意に特定できるならば省略可能である。

参照メタデータは、例えば、図６（ｂ）に示されるようなテーブル形式で記録される。参照メタデータに関してもＢ０１の場合と同様、ストリームに含む形としても、ストリーム外で管理する形としても良いことは、言うまでもない。

図７（ａ）に、図６のように圧縮された２つのストリームが存在した場合の被参照メタデータ、図７（ｂ）に参照メタデータを示す。但し、図５におけるストリーム１ Ｂ０１、ストリーム２ Ｂ０２の参照ストリームＩＤを各々「ストリーム１」、「ストリーム２」とし、ストリーム１ Ｂ０１内のＩフレーム５１のアドレス情報を「Ｉ０１」、Ｉフレーム５１を参照する形で圧縮されたストリーム２ Ｂ０２内のＰフレーム５３のアドレス情報を「Ｐｉ２２」としている。

最後に、ステップＳ０７において、特徴検出部１３で得られた入力ストリームの特徴情報を再圧縮された入力ストリームと紐付けてデータ蓄積部１１に記録する。

ところで、上記に示すように自ストリームのある任意のＩフレームを他のフレームを参照する差分フレームとして再圧縮することを考える場合、他ストリームの任意のＩフレームを参照する以外に、自ストリームの任意のフレームを参照する場合も考えられる。図８、図９、図１０を用いて、自ストリームの直前のフレームを参照する例を説明する。

図８に示すように、２つのストリーム、ストリーム１ Ｃ０１、ストリーム２ Ｃ０２について考える。図８に示すように、ストリーム１ Ｃ０１のＩフレーム６１とストリーム２ Ｃ０２のＩフレーム６３は相関が高く、類似しているものとする。この場合、この類似を利用して圧縮を行ったストリームを図９に示す。また、一般的に直前直後のフレームの相関が高くなることが多いことから、Ｉフレーム６３の直前のフレームである、Ｐフレーム６２との相関が高いことも考えられる。この相関が高いことを利用して、Ｉフレーム６３がＰフレーム６２を参照して圧縮した場合のストリームを図１０に示す。

以上、図９、図１０に示す再圧縮されたストリーム２（Ｄ０２，Ｅ０２）はどちらも相関の高いフレームを元にしているため、もともとのストリーム２ Ｃ０２に比べて圧縮効率が高くなる。

今、ユーザからの指示により、ストリーム２の最終フレーム位置にシークし、該フレームを表示する場合を考える。即ち、図９及び図１０の各々に示した、再圧縮したストリーム２（Ｄ０２，Ｅ０２）の最終フレーム６７，７６のそれぞれを表示する場合を考える。

どちらの場合も最終フレームはＰフレームすなわち差分フレームであり、これを表示可能な状態に圧縮するには、基準となるＩフレームの位置からの伸長が必要である。図９に示すように、提案手法で圧縮した場合、最終フレーム６７を表示するために伸長が必要なフレームは６１、６３、６７の３フレームである。一方、図１０に示すように、自ストリームの直前のＰフレームを用いて圧縮されたストリームであった場合、基準となるＩフレームとの距離が離れてしまうため、最終フレーム７６を表示するために伸長が必要なフレームは、７１、７２、７３、７４、７５、７６と６フレームを伸長しなければならない。

以上に示すように、他ストリームのＩフレームを参照し再圧縮を行う場合、再圧縮を行う前と行った後のストリームで、伸長時に増加するフレームは最高でも１フレームであるのに対し、自ストリームの直前のフレームを参照する場合は、１フレーム以上の増加が起きる可能性が高く、提案手法で圧縮を行うほうが、伸長時のコスト増加を最小限にして再圧縮をしていることが分かる。

また、基準となるフレームと差分フレームとして圧縮するフレームに相関が少ない場合、自ストリームの直前のフレームを参照し、再圧縮を行うと、圧縮効率が上がらない場合がある。これは、例えば、シーンチェンジの境目や、動きが大きいシーンなどで起きやすい。図１１、図１２を用いて説明する。

今、ストリーム１ Ｆ０１中のフレーム８２を、フレーム８１を基準として圧縮する場合を考える。フレーム８１とフレーム８２は相関に乏しく、これをフレーム間の差分を取る形で圧縮しても、圧縮の効果に乏しい。一方、図１２に示すようなストリーム２ Ｇ０２があった場合を考える。ストリーム２ Ｇ０２にはＩフレーム８５が含まれている。このとき、ストリーム１ Ｇ０１のフレーム８４がストリーム２ Ｎ０２のフレーム８５との相関が高かった場合、これを参照する形で圧縮する方が、相関の低いフレーム８３を参照するより圧縮効率が高くなる。

＜動画像再生装置＞
図１３は本発明に係る動画像再生装置３０についてのブロック図であり、前記動画像記録装置１０，２０によって再圧縮された映像コンテンツ並びに付随する情報を記録するデータ蓄積部１１と、ユーザの選択操作を受け付けるユーザ操作受付部３１と、映像コンテンツ並びにそれに付随する情報を基に他のストリーム中フレームの参照指示を出すストリーム参照指示部３２と、ストリーム参照指示部３２の指示に基づき、ストリームを表示部３４に表示可能な適切な形に伸長する、伸長部３３を含んで構成される。

次に、図１３と図１４、図５を使い、前記圧縮記録部１５を用いて再圧縮されたストリームの伸長を行う動画像再生装置３０を説明する。なお、図１と同一の機能については、同一符号を付し、その詳細な説明を省略する。

動画像再生装置３０は、複数のストリーム並びにその各々に付与されるメタデータを記録したデータ蓄積部１１と、他ストリームのＩフレームを参照する形で圧縮されている差分フレーム（Ｐフレーム）を伸長するストリーム参照指示部３２と、ストリームデータを復号して表示部３４に表示可能なデータに変換する伸長部３３とから成る。

まず、動画像再生装置３０は、ユーザ操作受付部３１から、ユーザがデータ蓄積部１１中のどのストリームに対して再生指示を出したか、情報を取得する（ステップＳ１１）。次に、ストリーム参照指示部３２では、ストリーム内乃至はストリーム外に関連付けて記録されたメタデータとして、参照位置情報が存在すれば（ステップＳ１２；ＹＥＳ）、それを取得し解析する（ステップＳ１３）。該メタデータには、先に説明した圧縮記録部１５で付与された情報である被参照位置情報や、参照位置情報が含まれている。ストリーム参照指示部３２は、メタデータに記録されたこれら情報に基づき伸長部３３に他ストリームの参照指示とその参照位置を通達する。

ここで、ストリームにメタデータが付与されていない場合は（ステップＳ１２；ＮＯ）、ストリーム参照指示部３２は何も指示を出さず、伸長部３３は指定されたストリームのデータのみに基づき、フレームの伸長を行い（ステップＳ１７）、伸長後のデータを表示部３４に引き渡す（ステップＳ１８）。

また、同様にメタデータとして被参照位置情報が付与されていた場合も、ストリーム参照指示部３２はこれに基づく指示を出さず、ストリームにメタデータが付与されていない場合同様に（ステップＳ１２；ＮＯ）、伸長部３３は指定されたストリームのデータに基づきフレームの伸長を行い（ステップＳ１７）、そのデータを表示部３４に引き渡す（ステップＳ１８）。

ストリーム参照指示部３２は、伸長すべきフレームが他ストリームを参照していると判断される場合（ステップＳ１４；ＹＥＳ）、参照情報に含まれているアドレス情報と共に、他ストリームを参照する旨の指示を出す。他ストリーム参照指示を受けた伸長部３３は、まず渡されたアドレスの位置を参照し（ステップＳ１５）、これに基づいてストリーム１ Ｂ０１内のＩフレーム５１を伸長する（ステップＳ１６）。この時点では、伸長部３３は、表示部３４に何もデータを引き渡さない。次に、先に伸長したＩフレーム５１を基に、ストリーム２に含まれるＰフレーム５３を伸長し、出力したい伸長後のデータを取得する（ステップＳ１７）。伸長されたデータはこの時点で初めて伸長部３３から表示部３４に引き渡される（ステップＳ１８）。

伸長すべきフレームが他ストリームを参照していない場合（ステップＳ１４；ＮＯ）、該フレームを自ストリームのみの情報を使用して伸長する（ステップＳ１７）。

動画像再生装置３０は、上記のようなフレームの伸長を伸長すべきフレームが存在しなくなるまで繰り返し（ステップＳ１９；ＹＥＳ）、伸長すべきデータが無くなったら（ステップＳ１９；ＮＯ）動作を終了する。

上記例では実際には表示を行わないフレーム５１を伸長しなければならない。このため、本発明に開示する手法では、一つのストリームのみを表示すると仮定した場合、他ストリームを参照するように再圧縮したフレームの伸長処理時に、１枚のフレームを余分に伸長するというコストを負う。

しかしながら、以下に示すように複数のストリームを同時に伸長する場合は、図１５に示すように、図１３で示した動画像再生装置３０に一時的に伸長済みのフレームを記録しておくキャッシュ部４１を追加するような構成とすることによって、伸長の際の処理の効率化を図ることが出来る。

図１６に示すように、ディスプレイなどの表示部９０に複数のストリームＨ０１、Ｈ０２を同時に表示する、即ち複数のストリームを同時に伸長することを考える。今ここで、図１７に示すように、ストリームＨ０１とＨ０２が上記圧縮手段で圧縮されているものとする。ストリームＨ０２に含まれる、Ｐフレーム１０１は、ストリームＨ０１に含まれるＩフレーム１０２を参照する形で圧縮されている。また、各ストリームのフレームすなわちアドレス情報のＩ１１とＰ２１、Ｐ１３とＰ２３…の表示部９０への表示は、ほぼ同時刻で行われるものとする。

このとき、伸長部３３が両ストリームのフレームを一定数ずつ、例えば５フレームずつ交互に伸長していくものとする。ストリームＨ０１とＨ０２中のフレームの伸長順は、例えば、まずストリームＨ０１のフレームをＩ１１、Ｐ１２、Ｐ１３、Ｐ１４、Ｐ１５（アドレス情報）の順にデコーダは伸長処理を行う。この際、ストリーム参照指示部３２はストリームＨ０１に付随するメタデータを確認するが、この付随するメタデータから、現在同時に圧縮しているストリームＨ０１とＨ０２が参照関係にあると判断された場合、参照されているフレームを伸長したものを、キャッシュ部４１に記録する。図１７の例では、フレーム１０２（Ｉ１１）がストリームＨ０２から参照されていることが付随するメタデータ情報から判断でき、該フレームを伸長したものをキャッシュ部４１に記録する。この時同時に、参照されているフレーム１０２のアドレス情報Ｉ１１も記録する。

次に、ストリームＨ０２のフレームをＰ２１、Ｉ１１、Ｐｉ２２、Ｐ２３、Ｐ２４、Ｐ２５（アドレス情報）の順に伸長を試みる。ここで、フレーム１０１（Ｐｉ２２）を伸長するために、フレーム１０２（Ｉ１１）、即ち他のストリームのフレームの参照が必要になった場合、ストリーム参照指示部３２は、該フレームがキャッシュ部４１に存在しないかどうかを確かめる。前述したように、キャッシュ部４１には伸長済みのフレームと共に、該フレームのアドレス情報が記録されているので、該アドレス情報と、ストリームＨ０２に付随するメタデータである参照メタデータを比較し、一致するフレームが既に伸長済みかどうかを判断する。フレーム１０２（Ｉ１１）はストリームＨ０１の伸長処理を行った際に、既に伸長済みであり、キャッシュ部４１に記録済みである。そこで、フレーム１０２（Ｉ１１）の伸長が必要になった時点で、キャッシュ部４１に保持している伸長済みのフレーム１０２（Ｉ１１）の参照を伸長部３３に指示する。伸長部３３は、キャッシュ部４１の参照を指示された場合、フレーム１０２（Ｉ１１）の新規の伸長を行わず、キャッシュ部４１に蓄積された伸長済みのフレーム１０２（Ｉ１１）を参照し、該フレームを参照して伸長を行うフレーム１０１（Ｐｉ２２）の伸長を行う。

上記のように、複数のストリームを同時に伸長する場合には、共通して利用しているフレームをキャッシュすることで、フレームの伸長に関するコストを増大させることを抑えることが可能である。

＜動画像削除装置＞
図１８は、本発明に係る動画像削除装置の一実施形態を示すブロック図である。
この動画像削除装置４５は、データ蓄積部１１、相関検出部１４、圧縮記録部１５、ユーザ操作受付部３１、ストリーム参照指示部３２、伸長部３３、データ蓄積部１１のストリームを削除する削除部４３を含んで構成される。動画像記録装置１０及び動画像再生装置３０を構成するものと同一のものには共通の符号を付してある。

図５、図１９、図２０、図２１、図２２を用いて、再圧縮されたストリームの削除についての処理を説明する。この処理の場合は、相関検出部１４を用いない。

まず、ユーザ操作受付部３１から、ユーザがデータ蓄積部１１中のどのストリームに対して削除指示を出したかという情報を取得し、削除するストリームを決定する（ステップＳ２１）。次に、ストリーム参照指示部３２は、削除対象のストリームに参照や被参照を示すメタデータが付与されているか否か、即ち他のストリームとの依存関係が存在するかどうかを検査する（ステップＳ２２）。

メタデータが何も付与されていない場合（ステップＳ２２；ＮＯ）、そのストリームは他のストリームを参照しておらず、また他のストリームからも参照されていないので、依存関係は無いということになる。この為、ストリーム参照指示部３２は、削除部４３に指示して、データ蓄積部１１に蓄積されている削除対象のストリームをそのまま削除させる（ステップＳ３０）。

一方、図５のように、ストリーム１ Ｂ０１中のＩフレーム５１を参照する形でストリーム２ Ｂ０２が圧縮されている場合を考える。図２１は、図５のストリーム２ Ｂ０２を削除する場合を示す図である。

ストリーム２ Ｂ０２の削除指示が出された場合、本装置はまずストリーム２ Ｂ０２にメタデータが付与されているかを検査する（ステップＳ２２）。ストリーム２ Ｂ０２にはメタデータが存在し（ステップＳ２２；ＹＥＳ）、それが参照メタデータであるので（ステップＳ２３；ＹＥＳ）、ストリーム参照指示部３２は、データ蓄積部１１に蓄積されている参照メタデータに記録された固有識別子、アドレスを解析してその情報を取得し、参照先のストリーム（ストリーム１ Ｂ０１）を特定する（ステップＳ３１）。

ストリーム参照指示部３２は、次に参照先ストリームの被参照メタデータを参照する。図５の例では、ストリーム２ Ｂ０２のＰフレーム５３が参照するストリームは、ストリーム１ Ｂ０１であり、このストリームの被参照メタデータを参照する（ステップＳ３２）。該被参照メタデータ内には、ストリーム２ Ｂ０２のＰフレーム５３から参照していることを示す情報が含まれており、ストリーム参照指示部３２は、削除部４３に指示して、これを削除する（ステップＳ３３）。削除対象のストリームに付される参照メタデータの情報全てにおいて、上記のような被参照メタデータの削除を行う（ステップＳ３４）。

次に、ストリーム参照指示部３２は、ストリーム２ Ｂ０２に他のストリームから参照されていることを示す、被参照メタデータが付与されているか確認し（ステップＳ２４）、ストリーム２ Ｂ０２には付与されていないので（ステップＳ２４；ＮＯ）、ステップＳ２９に進む。

ステップＳ２９において、削除部４３は、図２１に示すように、ストリーム２ Ｂ０２とそれに付与されたメタデータをデータ蓄積部１１から削除する。

他方、図５中のストリーム１ Ｂ０１を削除する場合の動作を以下に示す。ストリーム１ Ｂ０１の削除指示が出された場合も（ステップＳ２１）、本装置はまずストリーム１ Ｂ０１にメタデータが付与されているかを検査する（ステップＳ２２）。ストリーム１ Ｂ０１にはメタデータが存在するが（ステップＳ２２；ＹＥＳ）、参照メタデータは存在しないので（ステップＳ２３；ＮＯ）、ステップＳ２４に進む。

次に、ストリーム参照指示部３２は、ストリーム２ Ｂ０２に他のストリームの被参照メタデータが付与されているか確認する（ステップＳ２４）。ストリームＢ０１には、前述の通り被参照メタデータが付与されている（ステップＳ２４；ＹＥＳ）。この場合、本装置はまず、被参照メタデータの参照ストリームＩＤから、ストリーム２ Ｂ０２に参照されていることを確認する（ステップＳ２５）。次に、ストリーム２ Ｂ０２に付与されている参照メタデータから、参照されているストリーム１ Ｂ０１内のフレームがＩフレーム ５１であり、それに依存する形でストリーム２ Ｂ０２中のＰフレーム５３が圧縮されていることを確認する（ステップＳ２６）。

ここで、フレーム５１は削除される予定のフレームであり、該フレームが削除されてしまうと、依存するフレーム５３も伸長不可になってしまう。これを回避する為、フレーム５３をフレーム５１に依存しない形へ圧縮しなおす（ステップＳ２７）。即ち、フレーム５１とフレーム５３を用いて、フレーム５３を一旦伸長し、図２２に示すように、これを新たなＩフレーム１１１として、フレーム５３と置き換える。言うまでも無く、Ｉフレーム１１１はストリームＢ０１に依存せず、それ単体で伸長可能なフレームである。

ストリーム１ Ｂ０１の被参照メタデータに記録されている参照関係全てにおいて、上記操作を行っていき（ステップＳ２８）、ストリーム１ Ｂ０１がどのストリームからも参照されなくなった時点で、ストリーム１ Ｂ０１とそれに付されるメタデータを削除する（ステップＳ２９、ステップＳ３０）。

こうして、参照先の他ストリームのフレームに依存していたフレームを自ストリームで伸長可能に再圧縮するので、他ストリームを問題なく削除できる。

図２３、図２４、図２５を用いて、２つ以上のストリームが同一フレームを参照していた場合の、ストリームの削除について説明する。

図２３は、３つのストリーム、ストリーム１ Ｌ０１、ストリーム２ Ｌ０２、ストリーム３ Ｌ０３を前述の再圧縮手法で圧縮したストリームを図示したものである。破線矢印はフレームの参照関係を示し、矢印の根のフレームが矢印の指す先にあるフレームを参照する形で圧縮されていることを意味する。図２３の例では、ストリーム１ Ｌ０１に含まれるＩフレーム１２１を、ストリーム２ Ｌ０２に含まれるＰフレーム１２２と、ストリーム３ Ｌ０３に含まれるＰフレーム１２３が参照する形で圧縮されている。

ストリーム２またはストリーム３が削除される場合は、図５と図１９及び図２０を用いて説明した削除手順と同様になるので、説明を割愛する。

ストリーム１ Ｌ０１が削除される場合を考える。図５と図１９及び図２０を用いて説明したストリームの削除手段と同様、本装置はまず、削除対象のストリーム１ Ｌ０１に付与されている被参照メタデータを参照する。まず、ストリーム２ Ｌ０２に参照されていることが確認されたら、ストリーム２ Ｌ０２に付されている参照メタデータ情報から、ストリーム１ Ｌ０１のＩフレーム１２１が、ストリーム２ Ｌ０２のＰフレーム１２２に参照されていることを確認する。ここで、ストリーム１ Ｌ０１が削除された後もストリーム２ Ｌ０２が伸長できるように、Ｐフレーム１２２をストリーム１ Ｌ０１に依存しない形に再圧縮するが、ストリーム１ が複数のストリームから参照されていると確認できる場合、同様にストリーム１ Ｌ０１中のＩフレーム１２１を参照するストリームが存在しないかを確認する。

図２３の例では、再度ストリーム１ Ｌ０１に付される被参照メタデータを検査し、ストリーム３も参照していることが確認されたので、ストリーム３ Ｌ０３に付されている参照メタデータ中から、Ｉフレーム１２１を参照しているフレームが存在しないかを検査する。ここで、ストリーム３ Ｌ０３中のＰフレーム１２３もストリーム１ Ｌ０１中のＩフレーム１２１を参照していることが確認される。

このように、複数のストリームから参照されるＩフレームが削除対象となる場合、本装置は、削除対象のＩフレームの対象を参照するフレーム各々を他ストリームに依存しないＩフレームに圧縮しなおす。図２４は図２３のストリーム２ Ｌ０２、ストリーム３ Ｌ０３を各々Ｍ０２、Ｍ０３に圧縮しなおした様子を示す図である。ストリーム１ Ｌ０１のＩフレーム１２１に依存していたＰフレーム１２２、１２３は各々依存しないフレーム１３２、１３３に圧縮しなおされている。

一方で、同一のＩフレームを参照していたＰフレームは、相関関係が高い事が予想される。この為、動画像削除装置４５は、同一のＩフレームを参照していたフレームの相関を相関検出部１４で再度検査し、相関が予め設定された閾値以上であれば、それらのフレームを共有する形で再圧縮する。

図２５は、図２４に示す残されたストリーム間のフレームを共有する再圧縮を示す図である。
図２４に示すように、ストリーム１ Ｌ０１が削除されて、ストリーム２ Ｍ０２とストリーム３ Ｍ０３が残っている。相関検出部１４で再検査した場合、ストリーム２ Ｍ０２のフレーム１３２と、ストリーム３ Ｍ０３のフレーム１３３に高い相関性（類似）があることが判明したとする。そこで、圧縮記録部１５は、フレーム１３３がフレーム１３２を参照する形で再圧縮する。そして参照、及び被参照メタデータも共に作成してデータ蓄積部１１に記録する。このような再圧縮を行えば、さらに圧縮効率を高めることが可能である。

なお、前述の動画像記録装置、動画像再生装置及び動画像削除装置における各動作は、各ステップをコンピュータに実行させるプログラムとして作成可能であり、このプログラムを各装置に読み込ませることによって所望の動作を実行させることが可能となる。

本発明に係る動画像記録装置の機能構成の一実施形態を示すブロック図である。 動画像記録装置の記録動作の手順を示すフローチャートである。 本発明に係る動画像記録装置の機能構成の他の実施形態を示すブロック図である。 一般的な２つのストリームのフレーム間予測による圧縮のフレーム参照関係を示す図である。 本発明に係る２つのストリーム間のフレーム間予測による再圧縮のフレーム参照関係を示す図である。 （ａ）は一般的な被参照メタデータの記録形式、（ｂ）は一般的な参照メタデータの記録形式を示す図である。 （ａ）は本発明に係る一般的な被参照メタデータの記録形式、（ｂ）は本発明に係る一般的な参照メタデータの記録形式を示す図である。 一般的な２つのストリームのフレーム間予測による圧縮のフレーム参照関係を示す図である。 本発明に係る２つのストリーム間のフレーム間予測による再圧縮のフレーム参照関係を示す図である。 自ストリームのフレーム間予測による再圧縮のフレーム参照関係を示す図である。 相関に乏しい自ストリームのフレーム間で圧縮した場合のフレーム参照関係を示す図である。 相関関係にある２つのストリームのフレーム間で再圧縮した場合のフレーム参照関係を示す図である。 本発明に係る動画像再生装置の機能構成の一実施形態を示すブロック図である。 動画像再生装置の再生動作の手順を示すフローチャートである。 本発明に係る動画像再生装置の機能構成の他の実施形態を示すブロック図である。 表示部に複数のストリームを同時に表示した図である。 図１の動画像記録装置によって再圧縮された２つのストリームのフレーム参照関係を示す図である。 本発明に係る動画像削除装置の機能構成の一実施形態を示すブロック図である。 動画像削除装置の削除動作の手順を示すフローチャートである。 図１９に続く動画像削除装置の削除動作の手順を示すフローチャートである。 ２つのストリームのうち参照メタデータを有するストリームを削除する場合のフレーム参照関係を示す図である。 ２つのストリームのうち被参照メタデータを有するストリームを削除する場合のフレーム参照関係を示す図である。 ３つのストリームのフレーム参照関係示す図である。 ３つのストリームのうち被参照メタデータを有するストリームを削除する場合のフレーム参照関係を示す図である。 図２４において、さらに残ったストリームの間で再圧縮を行う場合のフレーム参照関係を示す図である。 従来のフレーム間予測を用いた圧縮を示す図である。

符号の説明

１０，２０ 動画像記録装置
１１ データ蓄積部
１２ 映像入力部
１３ 特徴検出部
１４ 相関検出部
１５ 圧縮記録部
３０ 動画像再生装置
３１ ユーザ操作受付部
３２ ストリーム参照指示部
３３ 伸長部
３４ 表示部
４１ キャッシュ部
４３ 削除部
４５ 動画像削除装置

Claims (14)

1. フレーム間の相関を利用した圧縮方式で圧縮された異なる複数の映像ストリームを記録する動画像記録装置において、
   映像ストリームと、その映像ストリームのメタデータ及び各フレームの特徴情報を蓄積するデータ蓄積手段と、
   入力映像ストリームからその映像ストリームの特徴情報を検出する特徴検出手段と、
   入力映像ストリームの特徴情報と、蓄積されている他の映像ストリームの特徴情報とを比較してフレーム相関を求める相関検出手段と、
   入力映像ストリームのフレームと、他の映像ストリームのフレームとの相関が高ければ、他の映像ストリームを参照する形で入力映像ストリームの圧縮を行い、前記データ蓄積部に記録する圧縮記録手段と、
   を備えることを特徴とする動画像記録装置。
2. 前記特徴検索手段は、閾値処理、ヒストグラム計算処理、輪郭追跡処理、拡大縮小処理、オブジェクトへのラベリング処理、各種フィルタリングのうち少なくとも一つを用いて特徴情報を検出することを特徴とする請求項１に記載の動画像記録装置。
3. 前記圧縮記録手段は、入力映像ストリーム及び他の映像ストリームの参照及び被参照メタデータを作成して記録するとともに、前記特徴検出手段で検出した特徴情報も記録することを特徴とする請求項１又は２に記載の動画像記録装置。
4. 前記特徴情報は、多次元のベクトル情報として作成され、
   前記相関検出手段は、前記特徴情報のユークリッド平方距離が所定値以下の場合に相関が高いと判断することを特徴とする請求項１、２又は３に記載の動画像記録装置。
5. 請求項１乃至４のいずれかに記載の動画像記録装置で記録した映像ストリームを再生する動画像再生装置において、
   映像ストリームと、その映像ストリームのメタデータ及び各フレームの特徴情報を蓄積するデータ蓄積手段と、
   再生映像ストリームに対して、前記データ蓄積手段に蓄積されている参照及び被参照メタデータを得て再生指示をする参照指示手段と、
   前記参照指示手段の再生指示に基づいて、前記データ蓄積手段に蓄積されている再生映像ストリームとその参照ストリームに基づいてデータを伸長し再生する伸長手段と、
   を備えることを特徴とする動画像再生装置。
6. 前記伸長手段により伸長するフレームとそのメタデータ、及び伸長するフレームが参照しているフレームとそのメタデータをキャッシュするキャッシュ手段を備え、
   キャッシュ手段に保持されているデータを用いてフレームを伸長することを特徴とする請求項５に記載の動画像再生装置。
7. 請求項１乃至４のいずれかに記載の動画像記録装置で記録した映像ストリームを削除する動画像削除装置において、
   映像ストリームと、その映像ストリームのメタデータ及び各フレームの特徴情報を蓄積するデータ蓄積手段と、
   削除指示を受けた映像ストリームに対して、前記データ蓄積手段に蓄積されている参照及び被参照メタデータを得て削除するための指示をする参照指示手段と、
   被参照メタデータを付与された映像ストリームを削除する場合に、前記参照指示手段の指示に基づいて、削除映像ストリームを参照している映像ストリームのフレームを伸長する伸長手段と、
   前記伸長手段により伸長された映像ストリームのフレームに対し、削除映像ストリームを参照しないように圧縮を行い、前記データ蓄積部に記録する圧縮記録手段と、
   前記参照指示手段の削除指示に従って前記データ蓄積手段から削除映像ストリームとそれに付随する情報を削除する削除手段と、
   を備えることを特徴とする動画像削除装置。
8. 前記データ蓄積手段に削除されずに残った映像ストリームの特徴情報を比較してフレーム相関を求める相関検出手段を備え、
   前記圧縮記録手段は、残った映像ストリームのフレーム間で相関が高いものがあれば、異なる映像ストリームを参照する形で圧縮を行い、前記データ蓄積部に記録することを特徴とする請求項７に記載の動画像削除装置。
9. フレーム間の相関を利用した圧縮方式で圧縮された異なる複数の映像ストリームをデータ蓄積手段に記録する動画像記録方法において、
   入力映像ストリームからその映像ストリームの特徴情報を検出する特徴検出ステップと、
   入力映像ストリームの特徴情報と、蓄積されている他の映像ストリームの特徴情報とを比較してフレーム相関を求める相関検出ステップと、
   入力映像ストリームのフレームと、他の映像ストリームのフレームとの相関が高ければ、他の映像ストリームを参照する形で入力映像ストリームの圧縮を行い、前記データ蓄積部に記録する圧縮記録ステップと、
   を備えることを特徴とする動画像記録方法。
10. 請求項９に記載の動画像記録方法のステップをコンピュータに実行させるためのプログラム。
11. 請求項９に記載の動画像記録方法でデータ蓄積手段に記録した映像ストリームを再生する動画像再生方法において、
    再生映像ストリームに対して、前記データ蓄積手段に蓄積されている参照及び被参照メタデータを得て再生指示をする参照指示ステップと、
    前記参照指示ステップの再生指示に基づいて、前記データ蓄積手段に蓄積されている再生映像ストリームとその参照ストリームに基づいてデータを伸長し再生する伸長ステップと、
    を備えることを特徴とする動画像再生方法。
12. 請求項１１に記載の動画像再生方法のステップをコンピュータに実行させるためのプログラム。
13. 請求項９に記載の動画像記録方法でデータ蓄積手段に記録した映像ストリームを削除する動画像削除方法において、
    削除指示を受けた映像ストリームに対して、前記データ蓄積手段に蓄積されている参照及び被参照メタデータを得て削除するための指示をする参照指示ステップと、
    被参照メタデータを付与された映像ストリームを削除する場合に、前記参照指示ステップの指示に基づいて、削除映像ストリームを参照している映像ストリームのフレームを伸長する伸長ステップと、
    前記伸長ステップにより伸長された映像ストリームのフレームに対し、削除映像ストリームを参照しないように圧縮を行い、前記データ蓄積部に記録する圧縮記録ステップと、
    前記参照指示ステップの削除指示に従って前記データ蓄積手段から削除映像ストリームとそれに付随する情報を削除する削除ステップと、
    を備えることを特徴とする動画像削除方法。
14. 請求項１３に記載の動画像削除方法のステップをコンピュータに実行させるためのプログラム。

Images