JP3847706B2

JP3847706B2 - 映像検出信号生成装置、映像検出信号記録装置ならびに映像信号再生装置、および映像検出信号生成方法、映像検出信号記録方法ならびに映像信号再生方法

Info

Publication number: JP3847706B2
Application number: JP2002375339A
Authority: JP
Inventors: 健次綱島
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2002-12-25
Filing date: 2002-12-25
Publication date: 2006-11-22
Anticipated expiration: 2022-12-25
Also published as: JP2004208076A

Description

【０００１】
【発明の属する技術分野】
この発明は、符号化された映像信号を高速で再生するための映像検出信号を生成する映像検出信号生成装置、ならびに映像検出信号生成方法、および前記映像検出信号生成装置によって生成された映像検出信号を記録する映像検出信号記録装置、ならびに映像検出信号記録方法、および前記映像検出信号に基づいて前記映像信号を高速で再生する映像信号再生装置、ならびに映像信号再生方法に関するものである。
【０００２】
【従来の技術】
従来の映像再生装置においては、現在光ピックアップがアクセスしているＩフレームから通常の再生時における再生時間で隣り合うＩフレームの時間間隔の整数倍の時間より若干短い時間に対応するアドレスだけ、時間軸方向に対して先または後のアドレスのフレームに順次ジャンプを繰り返してＩフレームを検出し、その内容を再生することで高速再生を行っている。（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開平０８−１９５９３４号公報（第３−７頁、第１図）
【０００４】
【発明が解決しようとする課題】
ＴＶ放送等の映像信号をデジタル化して圧縮し、ディスク装置等に記録する際、映像信号は一般に、いわゆるＭＰＥＧ規格（ＭＰＥＧ−１またはＭＰＥＧ−２）に基づいて符号化される。
映像信号は連続する複数のフレームで構成されており、ＭＰＥＧによる符号化に際しては、フレーム内符号化とフレーム間予測符号化とが使い分けられる。
フレーム内符号化では、符号化対象のフレームが各フレーム独立に符号化される。そして、フレーム内符号化することによって得られるフレームをＩ（イントラ）フレームと呼ぶ。一方、フレーム間予測内符号化では、符号化対象のフレームと該符号化対象フレームの前後のフレームとの差異が符号化される。そして、フレーム間予測符号化において符号化対象のフレームより、時間的に前のフレームのみを用いて符号化されたフレームをＰフレーム、時間的に前に位置するフレームおよび後に位置するフレームを用いて符号化されたフレームをＢフレームと呼ぶ。
【０００５】
符号化された映像信号を高速で再生するには、一定間隔毎にフレームを選択して復号し、順次提示すればよいと考えられる。しかし、前記Ｐフレームおよび前記Ｂフレームは独立に復号して表示することができない。よって、これらが選択された場合には、当該Ｐフレームより時間的に前のＩフレームまたはＰフレーム、または当該Ｂフレームより時間的に前または後に位置するＩフレームもしくはＰフレームをも復号しなければならない。したがって、一定間隔毎にフレームを選択しても、スムーズな高速再生画像が得られるとは限らない。
そこで、従来の映像再生装置では、符号化映像信号中のＩフレームに順次ジャンプしてＩフレームを検出し、その内容を提示することで高速再生を行っている。
【０００６】
しかし、従来の映像再生装置ではＩフレームの時間間隔毎にＩフレームを検出するため、映像を高速で再生する際に入力される倍速数が大きくなると、時間的に短いシーン中のＩフレームが全く表示されない場合が生じた。そのため、高速で映像を再生する際に短いシーンを提示することが困難であるという問題点があった。
【０００７】
この発明は、上述のような課題を解決するためになされたもので、符号化映像信号においてシーンの変動が大きいと判断される部分のフレームを優先的に表示することによって、映像を高速で再生する際に入力される倍速数が大きくなっても短いシーンを提示することを可能とするものである。
【０００８】
【課題を解決するための手段】
この発明にかかる映像検出信号生成装置においては、映像信号をフレーム内符号化することによって得られるＩフレーム、該Ｉフレームおよび前記映像信号に基づいて予測符号化することによって得られるＰフレームを含む符号化映像信号から、前記ＩフレームまたはＰフレームを対象フレームとして抽出するフレーム抽出手段と、該フレーム抽出手段によって抽出された前記対象フレームに対応する映像の特徴を示すフレーム特徴量を抽出するフレーム特徴量抽出手段と、該フレーム特徴量抽出手段によって抽出されたフレーム特徴量に基づいて、前記フレーム抽出手段によって抽出された前記対象フレームにおいて、連続する２つのＩフレームの間または連続する２つのＰフレームの間におけるフレーム間変化量を出力するフレーム間変化量出力手段とを、該フレーム間変化量出力手段から出力された前記フレーム間変化量に基づいて前記Ｉフレームを連続的に検出するための情報を生成するように構成したものである。
【０００９】
【発明の実施の形態】
実施の形態１．
図１はこの発明の実施の形態１における映像検出信号生成装置を組み込んだハードディスクレコーダを示すものである。図１において、入力映像信号は映像エンコード手段１４に入力され、符号化、圧縮された符号化映像信号に変換される。このとき映像信号は、フレーム内符号化およびフレーム間予測符号化を用いた動画像圧縮により圧縮される。以下、本実施の形態においては当該動画像圧縮として、ＭＰＥＧを用いた場合について説明する。
前記映像信号に付随する入力音声信号は音声エンコード手段１５に入力され、符号化音声信号に変換される。そして、映像エンコード手段１４によって変換された符号化映像信号および音声エンコード手段１５によって変換された符号化音声信号はともに多重手段１３に出力される。多重手段１３は、映像エンコード手段１４および音声エンコード手段１５からの出力を多重化して１つのデータストリームに統合し、ハードディスクドライブ１２に入力する。ハードディスクドライブ１２にはデータの書込・読出を制御する書込／読出制御手段１１が接続されている。また、ハードディスクドライブ１２には分離手段９が接続される。分離手段９では、ハードディスクドライブ１２から読み出された前記データストリームを符号化映像信号および符号化音声信号に分離する。そして、前記符号化映像信号を映像デコード手段７およびフレーム抽出手段１に、符号化音声信号を音声デコード手段８に出力する。
【００１０】
フレーム抽出手段１は、符号化映像信号からＩフレームを抽出してフレーム特徴量抽出手段２に出力するとともに、Ｉフレームを符号化映像信号から抽出したタイミングを読出位置検出手段４に出力する。フレーム特徴量抽出手段２は、フレーム抽出手段によって抽出されたＩフレームのデータからフレーム特徴量（映像信号を符号化することによって得られる、ＩフレームまたはＰフレームに対応する画像の特徴を示す、たとえばＤＣ係数、動きベクトル等をいう。）としてＤＣ係数を抽出し、フレーム間変化量出力手段３に出力する。フレーム間変化量出力手段３は、前記フレーム抽出手段で抽出されたＩフレームにおいて、連続する２つのＩフレームの間におけるフレーム特徴量の変化量を算出し、これをフレーム間変化量として映像検出信号出力手段５に出力する。また、読出位置検出手段４は、フレーム抽出手段１から出力された、Ｉフレームを抽出したタイミングに基づいて書込／読出制御手段１１から読出し位置情報（映像信号の時間軸上におけるＩフレームの位置、もしくは記録媒体上においてＩフレームが記録されているアドレスの位置等を表す情報をいう。）を取得し、映像検出情報出力手段５に出力する。映像検出信号出力手段５では、フレーム間変化量出力手段３から出力されたフレーム間変化量と、読出位置検出手段４から出力された読出し位置情報とをＩフレームを連続的に検出するための情報として書込／読出制御手段１１に出力する。
なお、図１において、破線で囲まれた部分２０が本実施例における映像検出信号生成装置に相当する。
【００１１】
一方、本装置よる映像信号の再生は、以下のように行われる。まず、分離手段９によってハードディスクドライブ１２からデータストリームが読出され、符号化映像信号と符号化音声信号に分離される。そして、分離された符号化映像信号は映像デコード手段７に入力される。前記符号化映像信号が入力された映像デコード手段７においては、映像エンコード手段１４で行われた圧縮処理に対応した伸長処理が施され、再生映像信号として出力される。また、分離手段９から出力される符号化音声信号は、音声デコード手段８で処理されて、再生音声信号として出力される。
【００１２】
本実施例の映像検出信号生成装置の動作は以下のとおりである。まず、分離手段９によって前記データストリームから分離することによって得られた符号化映像信号をフレーム抽出手段１が読み込む。符号化映像信号を読み込んだフレーム抽出手段１はＩフレーム、Ｐフレーム、Ｂフレームからなる前記符号化映像信号から、Ｉフレームを対象フレームとして抽出する。また、フレーム抽出手段１はＩフレームを抽出するとともに、Ｉフレームを検出したことを示す信号を読出位置検出手段４に出力する。前記Ｉフレームを検出したことを示す信号を受信した読出位置検出手段４は、書込／読出制御手段１１から読出し位置情報を得て映像検出情報出力手段５に送る。フレーム特徴量抽出手段２は、フレーム抽出手段１から出力されたＩフレームからフレーム特徴量としてＤＣ係数を抽出する。
ここで、フレーム特徴量抽出手段２は抽出したＤＣ係数をそのまま出力してもよいが、以下のように上記ＤＣ係数によりヒストグラムを作成してもよい。
【００１３】
ＭＰＥＧ規格に基づく符号化では、映像の各フレームにおいて、いわゆる空間的な冗長度を除去し、より少ないビット数で符号化するための手法の一つである離散コサイン変換（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ：
ＤＣＴ）が用いられる。ここでＭＰＥＧでは、フレーム内の画素を複数の８×８ブロックに分割し、そのブロックごとにＤＣＴを施し、ブロック内の画素値の平均値であるＤＣ係数とその他の成分を表すＡＣ係数を得る。フレーム特徴量抽出手段２では、ＩフレームからＤＣ係数のみを抽出した後、予め定めた基準に従ってＤＣ係数を区画に分類し、フレームごとに各区画に含まれるＤＣ係数の個数を計数してヒストグラムを形成する。ここで区分けの基準としては、単純に値を一定間隔に区切っても良いし、予め複数の閾値を定めておいて、各閾値に対する大小関係に応じて分類しても良い。
【００１４】
また、一般に映像信号は輝度信号と２種類の色信号から成り、ＤＣ係数についても輝度信号と色信号のそれぞれに対応した成分が存在する。ヒストグラム作成にあたってはいずれか一つの成分または２つの成分を対象にすることも出来るし、３つすべてを対象にしても良い。
【００１５】
さらに、複数の成分を対象とする場合、区分けの基準としては、各成分に対し独立に閾値を定め、成分ごとに区分けすることも可能であるが、複数の成分を組み合わせてベクトル化し、組み合わせた値が、あらかじめ区切った２次元または３次元空間の領域の何れに属するかに応じて区分けを行う方が望ましい結果が得られる。
【００１６】
フレーム特徴量抽出手段２で生成されたＤＣ係数のヒストグラム（以下、ＤＣ係数ヒストグラムともいう。）は、フレーム間変化量出力手段３に出力される。フレーム間変化量出力手段３では、フレーム特徴量抽出手段２によって抽出された、映像信号の時間軸において時間的に先のＩフレームで生成されたヒストグラムを保持する。そして、前記時間軸において時間的に後のＩフレームのＤＣ係数ヒストグラムを作成した後に、当該後のＤＣ係数ヒストグラムと前記先のＩフレームのＤＣ係数ヒストグラムとを比較し、両フレームの間におけるフレーム間変化量を前記ＤＣ係数ヒストグラムに基づいて算出する。
【００１７】
前記ＤＣ係数ヒストグラムの差異値は、例えば次のような方法で算出される。
【数１】

【００１８】
本装置は、以上により作成されたヒストグラム差異値と、読出位置検出手段４から受信した読出し位置情報とをＩフレームを連続的に検出するための情報として出力する。そして、符号化映像信号全体にわたって前記Ｉフレームを連続的に検出するための情報を生成する。
【００１９】
このように本装置では、符号化映像信号をすべてデコードすることなく、Ｉフレーム毎という比較的長い時間間隔でフレーム間変化量の算出を行う。したがって、映像信号を高速で再生する際に提示するＩフレームを連続的に検出するための情報を簡易に生成することができる。
【００２０】
本実施の形態では、フレーム間変化量としてＤＣ係数ヒストグラムを使用したが、ＤＣ係数の差分値を用いても同様の効果が得られる。
【００２１】
また、ＤＣ係数に加えてＡＣ係数を用いることで、フレーム間変化量をより正確に算出することができる。
【００２２】
また、本実施の形態では、Ｉフレームを対象フレームとして抽出したが、Ｐフレームを対象フレームとすることもできる。なお、Ｐフレームを対象フレームとする場合は動きベクトルをフレーム特徴量として抽出する。動きベクトルをフレーム特徴量として抽出した場合には、上記実施の形態１と同様にヒストグラムを作成し、連続する２つのＰフレーム間におけるフレーム間変化量を演算する。ここで、１つのマクロブロックに対し、複数の動きベクトルが対応する場合には平均値を用いることにより、各マクロブロックに１つの動きベクトルがある場合と同様に扱えばよい。
更にＰフレームを対象フレームとして、Ｉフレームを連続的に検出するための情報を生成する場合は、図２のように各フレームにおいて算出されたフレーム間変化量を加算する。すなわち、連続する２つのＩフレームの間に並ぶＰフレームにおいて得られた、連続する２つのＰフレームの間におけるフレーム間変化量、および前記連続する２つのＩフレームのうち、映像信号の時間軸において時間的に後のＩフレームを介して連続するＰフレームの間におけるフレーム間変化量を加算する。
【００２３】
実施の形態２．
実施の形態１では、フレーム抽出手段が符号化映像信号からＩフレームまたはＰフレームのいずれか一方を対象フレームとして抽出しているが、上記対象フレームをＩフレームおよびＰフレームの両フレームとすることもできる。
【００２４】
ＩフレームおよびＰフレームを対象フレームとして、Ｉフレームを連続的に検出するための情報を生成する場合は、図２のように各フレームにおいて算出されたフレーム間変化量を加算する。すなわち、連続する２つのＩフレームの間において得られたフレーム間変化量に、前記連続する２つのＩフレームの間に並ぶＰフレームにおいて得られた、連続する２つのＰフレームの間におけるフレーム間変化量、および前記連続する２つのＩフレームのうち、映像信号の時間軸において時間的に後のＩフレームを介して連続するＰフレームの間におけるフレーム間変化量を加算する。
【００２５】
この場合、フレーム間変化量の算出に用いるフレーム特徴量としては実施の形態１と同様に、ＤＣ係数ヒストグラム、動きベクトルヒストグラム、ＤＣ係数差分値等が考えられるが、いずれを用いることも可能である。
また、本実施の形態ではフレーム間変化量を加算しているが、加算でなくとも連続するＩフレーム間の映像の変化をより正確に示すフレーム間変化量が得られるように演算を行えばよい。例えば、加算以外の他の例としては、乗算を行うことで、フレーム間変化量の大きい個所をより大きくすることができる。したがって、本実施例における映像検出信号生成装置によって生成された、Ｉフレームを連続的に検出する情報に基づいて再生を行う際、映像の変化が大きいＩフレームを確実に検出し、再生することが可能となる。また、連続するＩフレームの間での画像の変化を重視する場合には、Ｉフレーム間でのフレーム間変化量に重み係数を乗算するということも可能である。なお、連続するＰフレームの間でのフレーム間変化量にも重み係数を乗算することが可能なことはいうまでもない。
【００２６】
このように、符号化映像信号中において、連続する２つのＩフレームの間におけるフレーム間変化量に、連続する２つのＰフレーム間におけるフレーム間変化量を加えることで、連続するＩフレーム間の映像の変化をより正確に示すフレーム間変化量を算出することができる。
【００２７】
ここで、Ｉフレームについてのフレーム間変化量およびＰフレームについてのフレーム間変化量は、各フレームに対応する映像の変化が小さい場合でも値をもつ。したがって、これらが加算されることによって映像の変化が小さい場合でも加算後のフレーム間変化量が大きくなる可能性がある。このような場合、以下の手段を設け、フレーム間変化量の加算を行う前に、当該フレーム間変化量を変換すればよい。すなわち、予め設けられた閾値と、Ｉフレームについてのフレーム間変化量とを比較し、当該フレーム間変化量が前記閾値以下の場合にはフレーム間変化量の値を所定の値、たとえば０に変換するＩフレーム間変化量変換手段を設ける。また、Ｐフレームについてのフレーム間変化量に対して同様の変換を行う、Ｐフレーム間変化量変換手段を設ければ、変化の小さいフレームを排除することができる。
これらの手段のうち、少なくともいずれか一方を設けることにより、映像の変化が小さいフレームに対応するＩフレームを連続的に検出するための情報を出力することを防ぐことが可能となる。
【００２８】
なお、本実施の形態では、（１）連続する２つのＩフレームの間において得られたフレーム間変化量、（２）前記連続する２つのＩフレームの間に並ぶＰフレームにおいて、連続する２つのＰフレームの間において得られたフレーム間変化量、（３）前記連続する２つのＩフレームのうち、映像信号の時間軸上において時間的に後のＩフレームを介して連続するＰフレームの間において得られるフレーム間変化量の３つの変化量のすべてを加算したが、前記（１）乃至（３）の変化量すべてを加算しなくとも、必要に応じて前記３つの変化量のうちから、いずれかを選択して加算すればよい。
例えば、上記（１）のフレーム間変化量と上記（２）のフレーム間変化量とを加算した場合には、３つのフレーム間変化量を加算した場合とほぼ同じ効果が得られるとともに、演算の負荷を軽減することが可能となる。また、上記（１）のフレーム変化量と上記（３）のフレーム間変化量とを加算した場合も同様であるが、上記（１）のフレーム間変化量と上記（２）のフレーム間変化量とを加算した場合に加えて更に、Ｉフレームと直前のＰフレームとの間で大きく映像が変化したことを検出することが可能となる。なお、上記（２）のフレーム間変化量と上記（３）のフレーム間変化量とを加算した場合は、連続するＰフレームの間でのフレーム間変化量のみを用いた場合であって、実施の形態１において対象フレームをＰフレームとするのと同様である。
【００２９】
実施の形態３．
上記実施の形態１および実施の形態２においては、映像検出信号生成装置について説明したが、前記映像検出信号生成装置を記録装置（以下、映像検出信号記録装置ともいう。）に組み込み、前記映像検出信号生成装置によって生成されたＩフレームを連続的に検出するための情報を記録しておくこともできる。そうすることで同一の映像信号を再度、解析してＩフレームを連続的に検出するための情報を生成する必要がなくなる。なお、記録媒体にはＨＤＤ等の光ディスクの他、磁気ディスク等を使用することも可能である。
【００３０】
映像検出信号記録装置においては、上述のように前記映像検出信号生成装置によって生成されたＩフレームを連続的に検出するための情報をすべて記録媒体に記録してもよいが、記録装置に予め閾値を設け、当該閾値を越えた、前記Ｉフレームを連続的に検出するための情報を記録してもよい。
すなわち、図１における映像検出情報出力手段５は、前記映像検出信号生成装置から出力された、Ｉフレームを連続的に検出するための情報を受信し、予め設けた閾値と、Ｉフレームを連続的に検出するための情報に含まれるフレーム間変化量とを比較する。そして、当該フレーム間変化量が前記閾値を超える、前記Ｉフレームを連続的に検出するための情報を書込／読出制御手段１１に出力する。書込／読出制御手段１１は、映像検出情報出力手段５から出力された前記Ｉフレームを連続的に検出するための情報の記録を指示する信号をＨＤＤ等の記録装置に出力する。
【００３１】
このように、映像検出情報出力手段５に予め定めた閾値を超えるフレーム間変化量を有する、Ｉフレームを連続的に検出するための情報を選択して記録媒体に記録することにより、高速再生時に必要な情報だけを保存することができる。したがって、例えば、当該映像検出信号記録装置を再生装置に備えた場合には、再度、前記Ｉフレームを連続的に検出するための情報を生成することなく、映像検出信号記録装置から、Ｉフレームを連続的に検出するための情報を読み出せば直ちに高速再生を行うことができる。
【００３２】
実施の形態４．
実施の形態３の映像検出信号記録装置においては、映像検出情報出力手段５において、予め設けた閾値とフレーム間変化量とを比較し、閾値を超えるフレーム間変化量を有する、Ｉフレームを連続的に検出するための情報を順次記録する。したがって、前記閾値を変えることによって、記録する、Ｉフレームを連続的に検出するための情報の量を変えることができる。すなわち、映像検出信号記録装置を再生装置に備えた場合、前記閾値を変えることで映像信号を高速で再生する際の倍速数を変えることができる。
本実施の形態は、実施の形態３のように閾値を設けず、入力される倍速数に基づいて、再生時に提示すべきＩフレームの数を決定することにより、任意の倍速数での再生を可能とするものである。
【００３３】
映像検出情報出力手段５は、Ｉフレームを連続的に検出するための情報に含まれるフレーム間変化量の大きい順にＮ個の前記Ｉフレームを連続的に検出するための情報を選択する。ここで、Ｎは入力される倍速数ｍに対応して以下のように求められる。いま、Ｉフレームを連続的に検出するための情報の生成の対象となる符号化映像信号の全フレーム数がｌで、ｋフレーム毎にＩフレームが挿入されているとする。この場合、データストリーム全体にはｌ／ｋ個のＩフレームが存在する。したがって、ストリーム全体からＮ＝ｌ／ｍ個のＩフレームを選択することにより、等価的にｍ倍速となる。
【００３４】
映像検出情報出力手段５は、選択したＮ個の、Ｉフレームを連続的に検出するための情報を書込／読出制御手段１１に出力する。
書込／読出制御手段１１は映像検出情報出力手段５から出力された、前記Ｉフレームを連続的に検出するための情報をＨＤＤ等の磁気ディスク装置、半導体メモリによって構成されるデータレコーダ、光ディスク装置等の記録手段に出力する。
なお、記録手段によって前記Ｉフレームを連続的に検出するための情報を記録する際、当該Ｉフレームを連続的に検出するための情報を映像検出情報出力手段５から出力された順に記録してもよいが、符号化映像信号の時間軸に沿って順次記録するほうがよい。そうすることで、本記録装置を再生装置に組み込んで高速再生を行う場合、前記Ｉフレームを連続的に検出するための情報を記録媒体から読み出すのが容易となる。
【００３５】
本実施例では、入力される倍速数、および符号化映像信号に含まれるフレームの数から算出された、検出すべきIフレームの数に応じて、Ｉフレームを連続的に検出するための情報を選択し、当該Iフレームを連続的に検出するための情報をフレーム間変化量の大きい順に記録することにより、実施の形態３に示した効果を保ちながら、倍速数の指定が可能になる。
【００３６】
実施の形態５．
実施の形態４では、検出すべきＩフレームの数を決定し、前記Ｉフレームの数に基づいて倍速数を任意に設定することを可能とした。本実施の形態は、実施の形態１で用いた閾値を倍速数に応じて決めることによって、任意の倍速数を設定することを可能とするものである。すなわち、映像検出情報出力手段５は、Ｉフレームを連続的に検出するための情報を映像検出信号生成装置から受信し、当該Ｉフレームを連続的に検出するための情報に含まれるフレーム間変化量が最大のものから、Ｎ＋１番目の前記フレーム間変化量を閾値として設定する。ここで、Ｎは実施の形態３と同様に倍速数ｍ、全フレーム数ｌからＮ＝ｌ／ｍで求められる。
【００３７】
本実施の形態においては、閾値を倍速数に基づいて決定することにより、実施の形態４と同様の効果を得ることが可能となる。
【００３８】
なお、実施の形態４および実施の形態５においては、Ｉフレームを連続的に検出するための情報が有するフレーム間変化量の大きい順に前記Ｉフレームを連続的に検出するための情報を並べる必要があるが、前記Ｉフレームを連続的に検出するための情報を予めフレーム間変化量の大きい順に記録媒体に記録しておくことで、倍速数が指定された際、再度並べ直すことなく直ちにフレームの選択、および閾値の設定等を行うことができる。
【００３９】
実施の形態６．
実施の形態４および実施の形態５においては、フレーム間変化量の大きさに基づいて、記録する、Ｉフレームを連続的に検出するための情報を決定することによって倍速数を直接設定した。
本実施の形態においては、入力される倍速数ｍに基づいて符号化映像信号を複数のセグメントに分割し、分割して得られたセグメントの数、およびＩフレームを連続的に検出するための情報に含まれるフレーム間変化量の大きさに基づいてＩフレームを選択する。これにより、実施の形態４および実施の形態５と同様に再生時の倍速数を任意とすることが可能となる。
【００４０】
すなわち、再生時に指定された倍速数がｍの場合、図３に示すように符号化映像信号を先頭から順にｍフレームからなるセグメントに分割した後、各セグメントから１つのＩフレームを連続的に検出するための情報を選択し、記録媒体に記録する。このとき、Ｉフレームを連続的に検出するための情報を選択する基準には、実施の形態４および実施の形態５と同様に、Ｉフレームを連続的に検出する情報に含まれるフレーム間変化量を用いればよい。そして、各セグメントにおいて最大のフレーム間変化量を有するＩフレームを連続的に検出するための情報を選択すればよい。
【００４１】
すなわち、符号化映像信号におけるＩフレームの間隔をｋ、先頭からｇ番目のＩフレームを連続的に検出するための情報が有するフレーム間変化量をｄ_ｇとすると、符号化映像信号の先頭からｓ番目のセグメントに対しては、
（ｓ−１）＊ｍ＜ｋ＊ｇ≦ｓ＊ｍ
を満たす整数ｇに対応するフレーム間変化量の中から最大のフレーム間変化量を有するＩフレームを連続的に検出するための情報を選択する。
【００４２】
本実施の形態においては、各セグメントからＩフレームを連続的に検出するための情報を１つずつ選択したが、セグメントの数、および各セグメントから選択する前記Ｉフレームを連続的に検出するための情報は、倍速数ｍを達成することができればどのように定めてもよい。
たとえば、フレーム間変化量の値が大きい、Ｉフレームを連続的に検出するための情報が、符号化映像信号の先頭から、ｍ番目のセグメントには多く、ｎ番目のセグメントには少ないという場合があり得る。かかる場合に、前期ｍ番目のセグメントからは複数の、Ｉフレームを連続的に検出するための情報を選択し、前期ｎ番目のセグメントからはＩフレームを連続的に検出するための情報を１つ選択することも可能である。
なお、各セグメントには少なくとも１つのIフレームが含まれるようにする。
【００４３】
また、本実施の形態においては、フレーム毎に符号化映像信号をセグメントに分割したが、図４のように前記符号化映像信号を時間軸上において所定の時間間隔に分割することも可能である。なお、図４においては所定の時間間隔を５分としているが、映像の時間の長さ等に応じて当該時間間隔を任意に設定することは可能である。
符号化映像信号を分割してセグメントを設定する際、分割する位置によっては、図４におけるIフレームのように、フレームが分断される可能性がある。この場合は、時間軸において当該フレームより時間的に前または後ろのいずれかのセグメントに、当該分断されるフレームを含めればよい。すなわち、各セグメントは分断されたフレームを含めることなく、整数枚のフレームから構成されるようにする。
なお、符号化映像信号をセグメントに分割する際には、フレーム毎に分割する場合と同様に、各セグメントが少なくとも１つのＩフレームを含むようにする。
【００４４】
本実施の形態においては、入力される倍速数に基づいて符号化映像を分割し、各セグメントから、Ｉフレームを連続的に検出するための情報を選択するようにしたので、当該Ｉフレームを連続的に検出するための情報を符号化映像信号全体からバランスよく選択することが可能となる。
【００４５】
すなわち、実施の形態４および実施の形態５においては局所的にシーンチェンジのある場合に、当該シーンチェンジに対応する、Ｉフレームを連続的に検出するための情報が集中して選択される可能性がある。しかし、本実施の形態によればそのような問題を防止することができる。すなわち、データストリーム全体からバランスよくＩフレームを連続的に検出するための情報が集中して選択することが可能となる。
【００４６】
なお、実施の形態３乃至５において、指定された倍速数と該倍速数にもとづいて選択された、Ｉフレームを連続的に検出するための情報とを関連づけて記録しておくことで、同一の倍速数が指定された際に、Ｉフレームを連続的に検出するための情報の選択を再度行う必要がなくなる。
【００４７】
また、実施の形態３、５または６においては、フレーム間変化量が連続して閾値を超える場合があり得るが、かかる場合に当該フレーム間変化量をすべて選択すると、局所的にＩフレームを連続的に検出するための情報が記録されることになる。このような場合には以下の手順により、連続して閾値を超えたフレーム間変化量を１つ選択し、当該フレーム間変化量に対応する、Ｉフレームを連続的に検出するための情報を選択すればよい。
【００４８】
すなわち、図５に示すように、例えば、連続する３つのフレーム間変化量を比較し、ｓ１が閾値Ｓ_ｔｈを超え、かつ最大になった場合、以下の条件が成立するフレーム間変化量に対応する、Ｉフレームを連続的に検出するための情報を記録する。
ｓ１＞Ｓ_ｔｈかつｓ０＜ｓ１かつｓ１＞ｓ２
また、一度、Ｉフレームを連続的に検出するための情報を記録した後、当該Ｉフレームを連続的に検出するための情報に対応するフレーム間変化量から一定値を差し引いた値を一旦下回るまで、次のＩフレームを連続的に検出するための情報を記録しないようにする。
【００４９】
このように、連続して閾値を超えるフレーム間変化量のすべてを記録することを防止することにより、映像信号全体にわたってバランスよく、Iフレームを連続的に検出するための情報を選択することが可能となる。
【００５０】
実施の形態７.
上記実施の形態１乃至６の、映像検出信号生成装置または映像検出信号記録装置を再生装置（以下、Ｉフレームを連続的に検出するための情報に基づいて映像信号を再生する再生装置を映像信号再生装置ともいう。）に備え、前記映像検出信号生成装置によって生成された、Ｉフレームを連続的に検出するための情報または前記映像検出信号記録装置に記録された、Ｉフレームを連続的に検出するための情報に基づいて映像信号の再生を行うことで、映像信号において映像の変化の大きい、すなわちシーンチェンジのあるＩフレームを的確に提示し、当該映像信号の高速での再生が可能となる。
したがって、映像信号中の他のシーンに比べて短いシーンにおいて、シーンチェンジが発生した場合にも、当該シーンチェンジを確実に再生することができる。
【００５１】
また、映像信号再生装置において、高速再生に先立ち、Ｉフレームを連続的に検出するための情報に基づいて、当該Ｉフレームを連続的に検出するための情報に対応する画像をインデックス表示することで、任意のシーンからの再生を可能とすることもできる。
【００５２】
また、上記実施の形態１乃至６はＨＤＤ等の記録媒体に記録された映像信号を対象にＩフレームを連続的に検出するための情報の生成または記録を行っているが、ＴＶ放送等の映像信号を受信し、当該映像信号の、再生または記録を行うとともに符号化映像信号から前記Ｉフレームを連続的に検出するための情報の、生成または記録を行うこともできる。
【発明の効果】
この発明は以上説明したように、符号化映像信号におけるＩフレームまたはＰフレームに対応するフレーム特徴量から算出されるフレーム間変化量に基づいて、前記映像信号中のシーンチェンジのあるＩフレームを連続的に検出するための情報を生成することにより、符号化映像内のシーンチェンジを簡易な構成で容易に検出できる。また、前記Ｉフレームを連続的に検出するための情報に基づいて再生を行うことで倍速数の大きな再生時においても短いシーンを飛ばすことなく、前記符号化映像信号におけるシーンチェンジを的確に提示することができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１を示すブロック図である。
【図２】この発明の実施の形態２におけるフレーム特徴量を抽出する対象となるフレームを示す図である。
【図３】この発明の実施の形態６における、セグメントをフレーム数を基準に分割する場合を示す図である。
【図４】この発明の実施の形態６における、セグメントを時間を基準に分割する場合を示す図である。
【図５】この発明におけるフレーム間変化量が連続して、設定された閾値を超えた場合のフレーム間変化量の選択方法を示す図である。
【符号の説明】
１Ｉフレーム抽出手段、２フレーム特徴量抽出手段、３フレーム間変化量出力手段、４読出位置検出手段、５映像検出情報出力手段、７映像デコード手段、８音声デコード手段、９分離手段、１１書込／読出制御手段、１２ハードディスクドライブ（ＨＤＤ）、１３多重手段、１４映像エンコード手段、１５音声エンコード手段。

Claims

映像信号をフレーム内符号化することによって得られるＩフレーム、該Ｉフレームおよび前記映像信号に基づいて予測符号化することによって得られるＰフレームを含む符号化映像信号から、前記Ｉフレームを対象フレームとして抽出するＩフレーム抽出手段と、
該Ｉフレーム抽出手段によって抽出された前記対象フレームに対応するＤＣ係数を抽出し、該ＤＣ係数に基づき、所定の基準に従ってＤＣ係数ヒストグラムを作成し、映像の特徴を示すフレーム特徴量とするフレーム特徴量抽出手段と、
前記フレーム抽出手段によって抽出された前記対象フレームにおいて、連続する２つのＩフレームの間における前記フレーム特徴量の差異値をフレーム間変化量として出力するフレーム間変化量出力手段とを備え、
該フレーム間変化量出力手段から出力された前記フレーム間変化量に基づいて符号化映像信号におけるシーンの変化点を示すＩフレームを連続的に検出するための情報を生成することを特徴とする映像検出信号生成装置。
映像信号をフレーム内符号化することによって得られるＩフレーム、該Ｉフレームおよび前記映像信号に基づいて予測符号化することによって得られるＰフレームを含む符号化映像信号から、前記Ｐフレームを対象フレームとして抽出するＰフレーム抽出手段と、
該Ｐフレーム抽出手段によって抽出された前記対象フレームに対応する動きベクトルを抽出し、該動きベクトルに基づき、所定の基準に従って動きベクトルのヒストグラムを作成し、映像の特徴を示すフレーム特徴量とするフレーム特徴量抽出手段と、
前記フレーム抽出手段によって抽出された前記対象フレームにおいて、連続する２つのＰフレームの間における前記フレーム特徴量の差異値をフレーム間変化量として出力するフレーム間変化量出力手段とを備え、
該フレーム間変化量出力手段から出力された前記フレーム間変化量の内、連続する２つのＩフレームの間に並ぶＰフレーム間において得られたフレーム間変化量、および前記連続する２つのＩフレームのうち、映像信号の時間軸において時間的に後のＩフレームに続くＰフレームとその１つ前のＰフレーム間におけるフレーム間変化量を加算して得られる値に基づいて、符号化映像信号におけるシーンの変化点を示すＩフレームを連続的に検出するための情報を生成することを特徴とする映像検出信号生成装置。
映像信号をフレーム内符号化することによって得られるＩフレーム、該Ｉフレームおよび前記映像信号に基づいて予測符号化することによって得られるＰフレームを含む符号化映像信号から、前記ＩフレームおよびＰフレームを対象フレームとして抽出するＩフレーム抽出手段およびＰフレーム抽出手段と、
前記Iフレーム抽出手段によって抽出された前記対象フレームに対応するＤＣ係数を抽出し、該ＤＣ係数に基づき、所定の基準に従ってＤＣ係数ヒストグラムを作成し、映像の特徴を示すフレーム特徴量とする第一のフレーム特徴量抽出手段と、
前記Iフレーム抽出手段によって抽出された前記対象フレームにおいて、連続する２つのＩフレームの間における前記フレーム特徴量の差異値をフレーム間変化量として出力する第一のフレーム間変化量出力手段と、
前記Ｐフレーム抽出手段によって抽出された前記対象フレームに対応する動きベクトルを抽出し、該動きベクトルに基づき、所定の基準に従って動きベクトルのヒストグラムを作成し、映像の特徴を示すフレーム特徴量とする第二のフレーム特徴量抽出手段と、
前記Ｐフレーム抽出手段によって抽出された前記対象フレームにおいて、連続する２つのＰフレームの間における前記動きベクトルのヒストグラムの差異値をフレーム間変化量として出力する第二のフレーム間変化量出力手段とを備え、
前記第二のフレーム間変化量出力手段から出力されたフレーム間変化量の内、連続する２つのＩフレームの間に並ぶＰフレーム間において得られたフレーム間変化量、および前記連続する２つのＩフレームのうち、映像信号の時間軸において時間的に後のＩフレームに続くＰフレームとその１つ前のＰフレーム間におけるフレーム間変化量の合計値と、前記第一のフレーム間変化量出力手段から出力されたフレーム間変化量を加算して得られる値に基づいて符号化映像信号におけるシーンの変化点を示すＩフレームを連続的に検出するための情報を生成することを特徴とする映像検出信号生成装置。
フレーム間変化量出力手段から出力された、連続する２つのＩフレームの間におけるフレーム間変化量と比較する第１の閾値を予め設け、
該第１の閾値と前記連続する２つのＩフレームの間におけるフレーム間変化量を比較し、該連続する２つのＩフレームの間におけるフレーム間変化量が前記第１の閾値より小さい場合、該連続する２つのＩフレームの間におけるフレーム間変化量を予め定めた第１の定数値に変換するＩフレーム間変化量変換部を備えた請求項３記載の映像検出信号生成装置。
フレーム間変化量出力手段から出力された、連続する２つのＰフレームの間におけるフレーム間変化量と比較する第２の閾値を予め設け、
該第２の閾値と前記連続する２つのＰフレームの間におけるフレーム間変化量を比較し、該連続する２つのＰフレームの間におけるフレーム間変化量が前記第２の閾値より小さい場合、該連続する２つのＰフレームの間におけるフレーム間変化量を予め定めた第２の定数値に変換するＰフレーム間変化量変換部を備えた請求項３記載の映像検出信号生成装置。
請求項１乃至５のいずれか１つに記載の映像検出信号生成装置を備える映像検出信号記録装置。
フレーム間変化量出力手段から出力されたフレーム間変化量と比較する閾値を予め設け、
該閾値と前記フレーム間変化量とに基づいて、Ｉフレームを連続的に検出するための情報を記録することを特徴とする請求項６記載の映像検出信号記録装置。
映像信号を高速に再生する機能を備えた映像検出信号記録装置において、高速再生時の速度の通常再生速度に対する倍速数に基づいて、フレーム間変化量出力手段から出力されたフレーム間変化量と比較する閾値を定めることを特徴とする請求項７記載の映像検出信号記録装置。
映像信号を高速に再生する機能を備えた映像検出信号記録装置において、高速再生時の速度の通常再生速度に対する倍速数に基づいて、検出すべきＩフレームの数を決定し、
該検出すべきＩフレームの数、およびフレーム間変化量出力手段から出力されるフレーム間変化量に基づいて、上記検出すべきＩフレームを連続的に検出するための情報を記録することを特徴とする請求項６記載の映像検出信号記録装置。
フレーム間変化量出力手段から出力されるフレーム間変化量の大きさの順に、Ｉフレームを連続的に検出するための情報を記録することを特徴とする請求項６記載の映像検出信号記録装置。
映像信号を高速に再生する機能を備えた映像検出信号記録装置において、高速再生時の速度の通常再生速度に対する倍速数に基づいて、符号化映像信号を少なくとも１つのＩフレームを含むセグメントに分割し、
分割して得られた前記セグメントの数、およびフレーム間変化量出力手段から出力されるフレーム間変化量に基づいて、Ｉフレームを連続的に検出するための情報を記録することを特徴とする請求項６記載の映像検出信号記録装置。
符号化映像信号を時間軸上においてほぼ所定の時間間隔毎に、少なくとも１つのＩフレームを含み、整数枚のフレームからなるセグメントに分割することを特徴とする請求項１１記載の映像検出信号記録装置。
フレーム間変化量出力手段から出力されたフレーム間変化量が連続して閾値を超えた場合、当該フレーム間変化量において最大のフレーム間変化量に基づいて、Ｉフレームを連続的に検出するための情報を記録した後、所定の値以下の前記フレーム間変化量を検出するまで、前記Ｉフレームを連続的に検出するための情報を記録しないことを特徴とする請求項７または８記載の映像検出信号記録装置。
請求項１乃至５のいずれか１つに記載の映像検出信号生成装置を備え、
該映像検出信号生成装置によって生成された、Ｉフレームを連続的に検出するための情報に基づいて映像信号を再生することを特徴とする映像信号再生装置。
請求項６乃至１３のいずれか１つに記載の映像検出信号記録装置を備え、
前記映像検出信号記録装置に記録された、Ｉフレームを連続的に検出するための情報に基づいて映像信号の再生を行うことを特徴とする映像信号再生装置。
映像信号をフレーム内符号化することによって得られるＩフレーム、該Ｉフレームおよび前記映像信号に基づいて予測符号化することによって得られるＰフレームを含む符号化映像信号から、前記Ｉフレームを対象フレームとして抽出し、
抽出された前記対象Iフレームに対応するＤＣ係数を抽出し、該ＤＣ係数に基づき、所定の基準に従って作成したＤＣ係数ヒストグラムからフレーム特徴量として抽出し、
該フレーム特徴量に基づいて、抽出された前記対象フレームにおいて、連続する２つのＩフレームの間におけるフレーム間変化量を出力し、該フレーム間変化量に基づいて、符号化映像信号におけるシーンの変化点を示すＩフレームを連続的に検出するための情報を生成することを特徴とする映像検出信号生成方法。
請求項１６記載の映像検出信号生成方法によって生成された、Ｉフレームを連続的に検出するための情報を、フレーム間変化量に基づいて選択的に記録することを特徴とする映像検出信号記録方法。
請求項１６記載の映像検出信号生成方法によって生成された、Ｉフレームを連続的に検出するための情報に基づいて映像信号を再生することを特徴とする映像信号再生方法。
請求項１７記載の映像検出信号記録方法によって記録された、Ｉフレームを連続的に検出するための情報に基づいて映像信号を再生することを特徴とする映像信号再生方法。