JP3897760B2 - 動画像再生装置 - Google Patents

Description

本発明は、符号化された動画像データを再生する動画像再生装置および動画再生方法に関するものである。

今日、ＭＰＥＧやＨ.２６Ｘシリーズなど動画像を符号化する技術が知られている。これらの技術では、１フレームの画像をＩピクチャ、Ｐピクチャ、さらに符号化技術によってはＢピクチャにより符号化する。Ｉピクチャはフレーム内符号化画像でありそのフレームに対応するデータのみから復号できる。Ｐピクチャ及びＢピクチャは他のフレームを予測画像として参照して符号化されたフレーム間符号化画像であり、参照している画像を先に復号しておく必要がある。Ｐピクチャでは片方向の予測（例えば前方向予測）のみが用いられ、Ｂピクチャは両方向の予測（前方向予測および後方向予測）が用いられる。

従来より符号化された動画像を高速再生する技術として、特許文献１のように、Ｉピクチャのみを再生する方法が知られている。しかしこの方法では、通常Ｉピクチャの数が限られることから（例えば約１秒あたり１枚）、非常にぎこちない再生になるという問題があった。この問題を解決するために、特許文献２のようにＰピクチャも復号する技術が知られている。この文献においてはＩピクチャ(画像内符号化画像)、Ｐピクチャ（前方向予測画像）、Ｂピクチャ(双方向予測画像)からＩピクチャとＰピクチャを出力することで滑らかに再生することが記載されている。

同様に特許文献３にも、Ｂピクチャをスキップすることで滑らかな高速再生を行う方法が記載されている。この文献ではさらに再生速度に応じて出力するピクチャの表示回数を可変にする方法についても記載されている。図１０は、この技術の構成例を示すブロック図である。データ読み出し部１００１は、図示しない入力部から符号化された動画像データ（以下符号化データ）を読み出し、動画像復号部１００２に入力する。

以下、動画像復号部１００２の内部を詳細に説明する。Ｂピクチャヘッダ検出部１００４は、入力された符号化データからＢピクチャを検出し、結果をＢピクチャスキップ部１００３に伝える。Ｂピクチャスキップ部１００３は検出されたＢピクチャをスキップ（すなわち削除）する。そのため復号部１００６にはＩピクチャ及びＰピクチャのみが伝達される。Ｍ検出部１００５は、符号化データのピクチャ構造からアンカーフレーム（ＩピクチャおよびＰピクチャ）の間隔（Ｍフレーム）を検出し表示制御部１００７に伝える。表示制御部１００７は、Ｍの値および高速再生の再生速度から、どのピクチャを複数回表示するかを制御する。図１１を用いて、Ｍ＝３かつ２倍速再生の場合の、図１０の表示制御部１００７における表示制御方法を説明する。

図１１(a)はＩＢＢＰＢＢＰ．．．というピクチャ構造で符号化された動画像の各フレームを示している。この従来技術では、Ｉピクチャ及びＰピクチャのみを復号した上で２フレームに一回の割合で同じフレームを繰り返し表示することで２倍速再生を実現する。たとえば図１１(b)に示すように、I2, P5, P8, P11, P14を復号し、これらのうちI2, P8, P14を２回繰り返し表示する。これによって、通常再生では１５枚表示するところを８枚だけ表示することで、約２倍速の高速再生が実現できる。このように、Ｂピクチャを含むピクチャ構造を持つ動画像に対してＢピクチャを間引き、再生速度に応じて所定のフレームを複数回表示することで、所望の再生速度でかつ滑らかな再生を可能にしている。
特開昭６３−３１０２９３号公報 特開平９−２００７０４号公報 特開平１１−１５５１２９号公報

しかしながら従来の方法では、特許文献１の場合はＩピクチャ数が限られることから、非常にぎこちない再生になるという問題があった。また、特許文献２または特許文献３の場合は、Ｂピクチャを含むピクチャ構造の場合にしか実現できないという問題があった。またＢピクチャを含む場合も、単にＢピクチャのフレームを間引くだけであるから、残ったＩピクチャやＰピクチャを復号・表示するだけで動画像再生装置の復号能力を超える場合には実現不可能である。さらに、符号化データの符号化レート（符号化ビットレート）を考慮せずに復号するフレームを決定しているので、符号化レートが高い場合には必要な読み出し速度がメディアからの読み出し速度を超えることになり、その場合も実現不可能である。

本発明はこのような問題を解決し、再生対象とする動画像のピクチャ構造が不明な場合や、動画像再生装置の復号能力やメディアからの読み出し速度が十分ではない場合でも滑らかな高速再生を可能にすることを目的とする。

本発明は、上記の問題を解決するために、第１の発明は、動画像データ内の指定された位置のデータを読み出すデータ読み出し部と、フレーム内符号化された画像を検索するフレーム内符号化画像検索部と、圧縮された動画像を復号する動画像復号部と符号化レートを算出する符号化レート算出部を備え、高速再生時にフレーム内符号化されたフレーム及びそれに続くフレームを再生する動画像再生装置であって、再生対象となる動画像の符号化レートが大きくなるほど、フレーム内符号化されたフレームを検索する場合の時間間隔を大きくすることを特徴とする。
第１の発明においてより滑らかに再生するために、第２の発明は、第１の発明に加え再生対象となる動画像の符号化レートが大きくなるほど、フレーム内符号化されたフレームに続くフレームの復号枚数又は再生枚数を多くすることを特徴とする。

第３の発明は、動画像データ内の指定された位置のデータを読み出すデータ読み出し部と、フレーム内符号化された画像を検索するフレーム内符号化画像検索部と、圧縮された動画像を復号する動画像復号部と、データの読み出し速度を測るためのデータ読み出し速度算出部を備え、高速再生時にフレーム内符号化されたフレーム及びそれに続くフレームを再生する動画像再生装置であって、データの読み出し速度が小さくなるほど、フレーム内符号化されたフレームを検索する場合の時間間隔を大きくすることを特徴とする。
第３の発明においてより滑らかに再生するために、第４の発明は、第３の発明に加えデータの読み出し速度が小さくなるほど、フレーム内符号化されたフレームに続くフレームの復号枚数又は再生枚数を多くすることを特徴とする。

本発明によれば、ピクチャ構造によらず、Ｉピクチャに続くフレームを復号し表示する構成を取っているために、再生対象とする符号化データにＢピクチャが含まれていない場合にも滑らかな高速再生を実現することができる。

また、復号するフレーム数を再生速度に応じて設定するようにしているので、動画像再生装置の復号能力が低い場合でも高速再生を実現することができる。

さらに、符号化レートや読み込み速度に応じて復号するフレームを（具体的には連続復号枚数及び検索の時間間隔を通じて）制御するという構成を取ることで、動画像再生装置の復号能力やメディアからの読み出し速度が十分ではない場合でも、滑らかな高速再生を実現することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。
〔第１の実施形態〕
図１は、本発明における動画像再生装置の第１の実施形態を示すブロック図である。

連続復号枚数決定部１０１は、再生速度を元に連続復号枚数を決定する部分であり本発明の中心的な部分である。データ読み出し部１０２は、ディスクメディアやメモリカード、ネットワーク等のメディアから符号化データ内の指定された位置のデータを読み出す部分である。動画像復号部１０３は、符号化データを復号する。

ここで、元の符号化データが動画像の符号化データと音声の符号化データを多重したものである場合は、図示しない多重分離部にて符号化データが動画像の符号化データと音声の符号化データに分離され、動画像の符号化データが動画像復号部１０３にて処理される。表示制御部１０４は指定されたタイミングに従って、復号された動画像をモニタ等の表示装置に出力する部分である。フレーム内符号化画像検索部１０５は、フレーム内符号化された画像（フレーム）を検索する部分であり、検索されたフレーム内符号化フレームの位置（符号化データの先頭からのバイト数やビット数、あるいはディスクメディア上のセクタ番号などで表現される）を出力する。

ここで言葉の定義を行なうと、再生速度がＮ倍速であるとは、通常再生の再生速度を１倍速として、Ｎ倍再生したときの再生速度のことである。またあるフレームのＮ秒後のフレームとは、通常再生で再生した場合においてあるフレームを表示した後にＮ秒後に表示されるフレームのことである。

図３は、本発明による高速再生の様子を示すための図である。
図３(a)は、データ読み出し部１０２から入力される符号化データ（元の符号化データ）のピクチャ構造を示しており、Ｉピクチャを１秒間隔で挿入し、残りのフレームはＰピクチャとして符号化されている。図３(b)は２倍速で再生する場合に復号するフレームを、図３(c)は３倍速で再生する場合に復号するフレームを示している。高速再生時に、フレーム内符号化画像検索部１０５にてフレーム内符号化されたフレームが見つかると、データ読み出し部１０２は検索されたフレーム及びそのフレームに続く所定枚数のフレームに対応する符号化データを読み出すと共にこれを動画像復号部１０３に入力する。表示制御部１０４では動画像復号部１０３にて復号されたフレームを所定のタイミングで表示する。

次に所定時間（図３(b)および図３(c)の例では１秒）後のフレーム内符号化されたフレームを検索し、さらにこのフレームに続く所定枚数のフレームを読み出し復号する。表示制御部１０４では、復号されたフレームを所定のタイミングで再生する。このような動作を繰り返すことによって、指定された再生速度で再生する。

再生速度に２倍が設定された場合、連続復号枚数決定部１０１は連続復号枚数を３枚と決定し、その結果（「３枚」ということを示す情報）を連続復号枚数として出力する。データ読み出し部１０２はこの連続復号枚数に従ってフレーム内符号化されたフレーム１枚とそれに続くフレーム２枚に対応する符号化データを読み出し、動画像復号部１０３は、読み出された符号化データ復号する。

同様にして、再生速度に３倍が設定された場合は、連続復号枚数決定部１０１は連続復号枚数として「２枚」を出力する。すると、動画像復号部１０３では、フレーム内符号化されたフレーム１枚とそれに続くフレームと１枚が復号される。

表示制御部１０４は、復号された各フレームを、元の符号化データのフレームレートを用いて表示する。以下、図３の例を使って説明する。元の符号化データを全て復号した図３(a)を見ると、１秒間の間に６枚であるから元の符号化データのフレームレートは６フレーム／秒である。よって表示制御部１０４は、図３(b)でも復号された各フレームを６フレーム／秒で表示するよう制御する。結局、元の符号化データで２秒分に相当する符号化データから６枚を復号し、これを６フレーム／秒で表示する。この場合２秒分のデータを１（＝６／６）秒で表示することになるため丁度２倍速になる。図３(c)では元の符号化データで３秒分に相当する符号化データから６枚を復号し、これを６フレーム／秒で表示するため３倍速で再生できる。

以上のように本発明では、連続枚数決定部１０１は再生速度が大きいほど連続して復号する枚数を少なくするよう連続復号枚数を決定する。逆に言えば、再生速度が小さいほど連続復号枚数を多くすることで、連続復号枚数を固定にする場合に比べ、動きを滑らかにして高速再生することが可能となる。

図４は、動画像のピクチャ構造が図３とは異なる場合の動作を示している。図４(a)は元の符号化データのピクチャ構造を示す。図４(b)は２倍速を指定した場合、図４(c)は３倍速を指定した場合に復号されるフレームを示す。

２倍速を指定した図４(b)の場合、連続して３枚表示するため、フレーム内符号化されたＩピクチャに続く２枚を読み出し復号する。このとき、最初のＩピクチャの後にはＰピクチャだけでなくＩピクチャも混ざっているが、フレーム内・フレーム間を考慮することなく連続した３枚を復号すればよい。

続いて１秒後のＩピクチャに続くフレームは２枚ともＢピクチャであるので、先にＰピクチャを復号する必要がある。そのため、データ読み出し部１０２は連続復号枚数にかかわらず、図４(b)の点線で示されるＰピクチャまで含めた４枚分の符号化データを読み出す。これらのデータは、符号化データ上では表示順序と異なり、I, P, B, Bの順に並んでいる。動画像復号部１０３は先ずＩピクチャとＰピクチャを復号し、それに続いて２枚のＢピクチャを復号する。結局、復号するフレームは連続する４枚になるが、表示制御部１０４の制御によって、表示されるフレームはI, B, Bの３枚となる。

図４(c)に示す３倍速の場合、連続して２枚表示するため、フレーム内符号化されたＩピクチャに続く１枚を読み出し復号する。最初のＩピクチャとそれに続く１枚の復号・表示については、図４(b)と同様である。続いて１秒後のＩピクチャとそれに続く１枚の表示をするためには、データ読み出し部１０２は図４(c)に点線で示されるＰピクチャまで含めた３枚分の符号化データを読み出す。これらのデータは、符号化データ上では表示順序と異なり、I, P, Bの順に連続に並んでいる。動画像復号部１０３は先ずＩピクチャとＰピクチャを復号し、それに続いて１枚のＢピクチャを復号する。結局、復号するフレームは符号化データ上で連続する３枚になるが、表示制御部１０４の制御によって、表示されるフレームはIとBの２枚となる。

次に表示制御部１０４の動作を説明する。図４(ｂ)の場合、まず、最初のＩピクチャから連続して復号された３フレームを、元の符号化データと同じフレームレートで再生する。図４(a)から元の符号化データのフレームレートは１０フレーム／秒であるから、図４(b)の最初の３枚は０．３秒で再生される。次に３枚目のフレームを０．２秒表示したままとする。さらに１秒後のＩピクチャから連続して復号された３フレームについても、３フレームを０．３秒で再生した後、３枚目のフレームを０．２秒表示したままとする。以降この動作を繰り返す。このようにすれば、元の符号化データで１秒分に相当する動画像を０．５秒で表示することになり、２倍速が実現できる。

同様にして図４（c）では、元の符号化データで１秒分に相当する動画像を１／３秒（約０．３３秒）で表示することにより３倍速で再生する。具体的にはＩピクチャから連続して復号した２枚を０．２秒で再生し、その後２枚目のフレームを０．１３秒表示したままとすることで実現する。

以上に説明した例では、図３の場合と異なり復号されたフレームの表示間隔が一定ではないが、表示制御部１０４の動作を変更して、ほぼ等間隔で表示させることも可能である。例えば、図４(b)では連続復号された３枚を１／６秒（約１．６７秒）間隔で表示し、図４(c)では連続復号された２枚を１／６秒（約１．６７秒）間隔で表示するように制御すればよい。

図５は、さらに別のピクチャ構造の場合を示している。図５(a)は元の符号化データのピクチャ構造を示している。図５(b)は２倍速再生、図５(c)は３倍速再生の場合に復号されるフレームである。仮に図３、図４の場合と同様に２倍速の場合に連続する３枚を復号すると、３枚目は次に検索して復号する予定の１秒後のＩピクチャになる。同じフレームを２回復号する意味は無いので３枚目は復号しない。しかし２枚だけ再生することにしても次のような問題がある。すなわち、表示制御部１０４によって元の符号化データのフレームレートと同じフレームレートで再生を行なう場合、復号された連続する２枚のフレーム（ＩピクチャおよびＰピクチャ）を再生すると１秒かかることになる。この場合、元の符号化データで１秒分に相当する動画像を１秒で表示することになり結局１倍速になってしまう。

この問題を避けるため、２枚復号するのではなく１枚だけ復号することとする。一般に、ＩピクチャをＳ秒間隔（ここでＳ秒間隔とは、通常再生で再生した場合に表示間隔がＳ秒となるフレームの時間間隔のことである）で検索し、Ｉピクチャとそれに続くＸ枚のフレームを復号し再生することで、Ｍ倍速の高速再生を実現する場合には、復号されたフレームをＳ／Ｍ秒で表示する必要がある。従って、Ｘ枚分の表示時間が、Ｓ／Ｍ秒を超えるフレームについては復号しない（もしくは表示しない）で破棄ことにする。（ここでのＭは、「背景技術」の説明で用いたＭとは異なる意味を持っている。）なお、制御に余裕を持たせるためＳ／Ｍ―Ｋ（但しＫは所定の定数）を超える場合には復号しないという制御を行っても良い。

図５(b)の場合を用いて再度説明すると、検索時間間隔Ｓ＝１秒、再生速度Ｍ＝２倍であり、（Ｓ／Ｍ）＝（１／２）秒である。この場合、復号したフレームを元の符号化データのフレームレート（０．５フレーム／秒）で表示すると、１枚の表示は１／２秒であるから上記一般化した条件を満たすが、２枚分の表示には１秒かかるため（Ｓ／Ｍ）＝（１／２）を越えてしまう。従って、２枚を復号しても２枚目は表示せずに破棄するか、もしくは２枚目の復号を行なわない。よって、再生するフレームとしてはＩピクチャ１枚のみになる。

図５(c)の３倍速の例では、Ｉピクチャを１秒ごとに検索する方法では実現できないため、Ｉピクチャを２秒ごとに検索し、かつ連続する１枚を復号・表示している。ところで、これまでの説明では表示制御部１０４の動作として、高速再生用に復号されたフレームを表示するフレームレートを、元の符号化データのフレームレートと同じ（あるいはそれ以下）としたが、動画像復号部の復号能力及び表示部の表示能力に余裕があるならば、より高いフレームレートで再生しても良い。

また上記までの説明では、高速再生を行なう場合に、Ｉピクチャとそれに続く連続したフレームを再生する例を説明したが、必ずしも連続している必要はない。すなわちＩピクチャに続くフレームについては１枚おきに再生するものでも良い。勿論１枚おきではなく２枚おきや３枚おきやそれ以上でも良い。この場合連続復号枚数とは、Ｉピクチャ及びそれに続いて表示用に復号するフレームの枚数という意味になる。

次に、フレーム内符号化されたフレームを検索するときに必要なフレーム内符号化画像検索部１０５の動作を説明する。図７は、フレーム内画像検索部の第１の構成例である。この構成例では、フレーム内符号化画像検索部は、インデックスデータをデータから読み出すインデックスデータ読み出し部７０１と、読み出されたデータを保持するインデックスデータ保持部７０２と、インデックスデータを解析するインデックスデータ解析部７０３とから構成される。符号化データの中には、フレーム内符号化画像についてそのフレームの表示時刻と符号化データ内の位置を記録したインデックスと呼ばれるデータを持つものがある。

このような符号化データの場合には図７に示した構成のフレーム内符号化画像検索部を用いてフレーム内符号化画像を検索することができる。まず、所望の時刻（高速再生の場合には現在の表示時刻のＳ秒後に当たる時刻）を示すフレーム内符号化画像を検索する。次にそのフレームの符号化データ内の位置を出力する。このとき所望の時刻に合致するフレームがない場合には、最も近い時刻のフレームを抜き出しても良いし、所望の時刻の直後のフレームを抜き出しても良い。

さて、符号化データによってはインデックスを持たないものがある。この場合は、図８に示したフレーム内符号化画像検索部の第２の構成例を用いて検索を行なうことができる。図８のフレーム内符号化画像検索部は、フレームヘッダを読み出すフレームヘッダ読み出し部８０１と、フレームヘッダ解析部８０２から構成される。

符号化データは、通常、そのフレームの表示時刻とピクチャ種別を示すフレームヘッダと、動画データそのもののフレームデータによって構成される。現在のフレームのＳ秒後の表示時刻を持つフレーム内符号化画像を検索する場合、現在のフレームに続くフレームのフレームヘッダを読み出し、そのフレームがフレーム内符号化画像であるかを解析する。フレーム内符号化画像であれば表示時刻と符号化データ内の位置を保持する。フレーム内符号化画像でなければ、次のフレームのフレームヘッダを読み出し、フレーム内符号化画像であるかを解析する。この動作を、所望の表示時刻となる、後の時刻のフレーム内符号化画像まで続ける。発見されたフレーム内符号化画像のうち、所望の表示時刻にあたるフレームの符号化データ内の位置を出力する。このとき所望の時刻に合致するフレームがない場合には、最も近い時刻のフレームを抜き出しても良いし、所望の時刻の直後のフレームを抜き出しても良い。
〔第２の実施形態〕
第２の実施形態の説明を行う前に、符号化データのフレームレートと高速再生の速度から、連続復号枚数を決定する手法について説明する。

第１の実施形態では、再生速度から一意に決まる値としてフレーム内符号化されたフレームとそれに続くフレームの枚数、すなわち連続復号枚数を指定した（２倍速であれば３枚、３倍速であれば２枚）が、この指定方法では図４で示した例のように指定した枚数では滑らかに再生するための枚数が不足する場合や、図５で示した例のようにそのままでは枚数が多過ぎるために破棄する必要がでてくる場合がある。以下、このような問題を解決するための、連続復号枚数の決め方を説明する。

図６は、Ｓ秒間隔毎にＩピクチャを検索しＩピクチャとそれに続くＸフレームを復号し、かつ、Ｍ倍速で再生する場合を説明している例である。Ｍ倍速で再生するためには、検索して得られたＩピクチャの間隔が元々Ｓ秒であるから、高速再生時の表示間隔はＳ／Ｍ秒とする必要がある。ここでＩピクチャ及びそれに続くフレームをＮフレーム／秒で再生する場合、Ｘフレーム表示するのにＸ／Ｎ秒かかる。

この場合、Ｉピクチャの表示間隔をＳ／Ｍとする必要があるので、高速再生の動作は、Ｉピクチャとそれに続くフレームＸ枚をＸ／Ｎ秒間再生して、最後のＸ枚目をＳ／Ｍ−Ｘ／Ｎ秒間再生したままとするという動作を繰り返すことになる。滑らかに再生するにはあるフレームを再生したままとする区間を小さくすれば良いのだからＳ／Ｍ−Ｘ／Ｎを最も小さい値にしたとき、すなわちＳ／Ｍ−Ｘ／Ｎをゼロにしたときが最適である。よって連続復号枚数Ｘは、Ｘについて、Ｓ／Ｍ−Ｘ／Ｎ＝０の式を解くと、Ｘ＝（Ｓ×Ｎ）／Ｍとすれば良い。このように、検索時の時間間隔Ｓ、再生速度Ｍ及び表示フレームレートＮから最適な連続復号枚数Ｘを決定することができる。なお、制御に余裕を持たせるためＸ＝（Ｓ×Ｎ）／Ｍ―Ｋ（但しＫは所定の定数）という決定方法でも良い。

結局、上記の動作は、Ｘ枚をＮフレーム／秒で復号・再生するというものであるから、上記の高速再生の実現に必要な復号能力及び表示能力は、フレームレートＮで復号及び表示が可能なことである。ところでフレームレートＮは、表示時のフレームレートであるから入力された符号化データや再生速度Ｍによらずに自由に選択することができる。従って、本発明の動画像再生装置では復号能力や表示能力が十分でない場合も滑らかに高速再生することが可能である。

次に、符号化データの符号化レートも考慮した例として第２の実施形態を説明する。
図２は本発明における第２の実施の形態を示すブロック図である。新規に、符号化レートを算出する符号化レート算出部２０６が追加になっている点を除くと第１の実施形態と同じ構成である。第１の実施形態と同様、Ｓ秒間隔毎のＩピクチャを検索し、Ｉピクチャとそれに続くＸフレームを復号し、かつ、Ｍ倍速で再生する場合を説明する。

Ｍ倍速で再生するために、検索されたＩピクチャを表示する間隔をＳ／Ｍ秒とし、その時間内にＸ枚表示する必要があるのであるから、メディアからもＳ／Ｍ秒の間にＸ枚分のデータを読み込まなくてはならない。よって符号化レートをＲビット／秒とすると必要な読み出し速度は、単位をビット／秒とすると、
（Ｒ×Ｘ／Ｎ）／（Ｓ／Ｍ）＝Ｒ×Ｍ×Ｘ／（Ｓ×Ｎ）になる。

このように、必要な読み出し速度は符号化レートＲ及び再生速度Ｍに比例する。そのため符号化レートＲや再生速度Ｍが大きくなると最終的にはメディアの読み出し能力を超えることになり再生できなくなる。よって、符号化レートＲが大きい場合、再生速度によっては読み出し速度を下げないと再生できない。本発明では、１つの方法では、符号化レートＲが高いほど連続復号枚数Ｘを少なくするように制御する。またもう１つの方法では、符号化レートＲが高いほど検索時間間隔Ｓを大きくするように制御する。

〔第３の実施形態〕
次に、メディアからのデータの読み出し速度を直接測定する場合の例として第３の実施形態を説明する。
図９は本発明における第３の実施の形態を示すブロック図である。
新規に、データの読み出し速度を算出する読み出し速度算出部９０６が追加になっている点を除くと、第１の実施形態と同じ構成である。第２の実施形態と同様、Ｓ秒間隔毎のＩピクチャを検索しＩピクチャとそれに続くＸフレームを復号し、かつ、Ｍ倍速で再生する場合に、必要な読み出し速度はＲ×Ｍ×Ｘ／（Ｓ×Ｎ）ビット／秒になる。逆にデータの読み出し速度がＤと決まると、Ｄ ≧ Ｒ×Ｍ×Ｘ／（Ｓ×Ｎ）を満たす必要がある。

この式を満たさない場合、所望の高速再生ができないことになる。そのため読み込み速度Ｄが小さい場合には右辺を小さくする工夫をする必要がある。本発明の１つの方法は、データの読み出し速度Ｄが小さくなるほど、連続復号枚数Ｘを少なくするように制御する。本発明の１つの方法は、データの読み出し速度が小さくほど、検索の時間間隔Ｓを大きくするように制御する。

〔第４の実施形態〕
第４の実施形態は、第２もしくは第３の実施形態と同じ構成であるが制御の方法が異なる。本実施形態では、データの読み出し能力に無理をかけることなく滑らかな動画再生を行なうことを目的としている。

データの読み出しにかかる時間は、指定した位置から読み出すために符号化データ内をシークする時間と、指定した位置から連続したデータを読み出す時間の和で決まる。Ｉピクチャを検索して読み出すためには、シークが必要なためシーク時間が必要であるが、２枚目以降のフレームを読み出す場合には、シークは不要なためデータを読み出す時間のみが必要である。また、２枚目以降のフレームは通常フレーム間符号化されたフレームであるので、Ｉピクチャに比べて１枚当り通常３分の１〜６分の１程度の符号量で済む。

上述したように２枚目以降はシークが不要であること、及び２枚目以降は符号量が小さく済むことが多いことから、連続して復号する枚数を増やしても必要なデータ量があまり変化せずデータの読み出しにかかる時間は通常大きくは変わらない。逆に言えば、連続復号枚数Ｘを少なくしても必要な読み込み速度を小さくする効果は小さい。従って、データの読み込み速度が十分でない場合に、必要な読み込み速度を小さくするためには、連続復号枚数Ｘを少なくする方法よりも検索の時間間隔Ｓを大きくするほうが効果は高い。
さて、第２の実施形態で説明したように、高速再生の動作は、Ｉピクチャとそれに続くＸ枚をＸ／Ｎ秒間再生して、最後のＸ枚目をＳ／Ｍ−Ｘ／Ｎ秒間再生したままとするというものであり、Ｓ／Ｍ−Ｘ／Ｎをゼロに近づけた方が滑らかに再生できる。符号化レートが大きい場合や読み込み速度が小さい場合の対応として検索の時間間隔Ｓを大きくした場合、そのままではＳ／Ｍ−Ｘ／Ｎが大きくなるために再生がぎこちなくなるという問題がある。この値（Ｓ／Ｍ−Ｘ／Ｎ）を小さくするには、表示のフレームレートＮを小さくするか、連続復号枚数Ｘを大きくする必要があるが、表示のフレームレートＮを小さくした場合も表示が滑らかではなくなる問題がある。よって、本発明の１つ方法では、符号化レートが高いほど連続復号枚数Ｘを多くするように制御する。また本発明の１つの方法では、読み込み速度が小さいほど連続復号枚数Ｘを多くするように制御する。

本発明の第１の実施形態の動画像再生装置を示すブロック図である。 本発明の第２の実施形態の動画像再生装置を示すブロック図である。 再生対象となる動画像データのピクチャ構造を示す図（同図（a））、２倍速で再生するときの復号フレームを示す図（同図（b））、３倍速で再生するときの復号フレームを示す図（同図（c））である。 再生対象となる動画像データのピクチャ構造を示す図（同図（a））、２倍速で再生するときの復号フレームを示す図（同図（b））、３倍速で再生するときの復号フレームを示す図（同図（c））である。 再生対象となる動画像データのピクチャ構造を示す図（同図（a））、２倍速で再生するときの復号フレームを示す図（同図（b））、３倍速で再生するときの復号フレームを示す図（同図（c））である。 再生対象となる動画像データのピクチャ構造を示す図（同図（a））、Ｍ倍速で再生するときの復号フレームを示す図（同図（b））である。 フレーム内符号化画像検索部の第１の構成例を示すブロック図である。 フレーム内符号化画像検索部の第２の構成例を示すブロック図である。 本発明の第３の実施形態の動画像再生装置を示すブロック図である。 従来の動画像再生装置のブロック図である。 再生対象となる動画像データのピクチャ構造を示す図（同図（a））、２倍速で再生するときの復号フレームを示す図（同図（b））である。

符号の説明

１０１ 連続復号枚数決定部
１０２ データ読み出し部
１０３ 動画像復号部
１０４ 表示制御部
１０５ フレーム内符号化画像検索部
２０１ 連続復号枚数決定部
２０２ データ読み出し部
２０３ 動画像復号部
２０４ 表示制御部
２０５ フレーム内符号化画像検索部
２０６ 符号化レート算出部
７０１ インデックスデータ読み出し部
７０２ インデックスデータ保持部
７０３ インデックスデータ解析部
８０１ フレームヘッダ読み出し部
８０２ フレームヘッダ解析部
９０１ 連続復号枚数決定部
９０２ データ読み出し部
９０３ 動画像復号部
９０４ 表示制御部
００５ フレーム内符号化画像検索部
９０６ データ読み出し速度算出部
１００１ データ読み出し部
１００２ 動画像復号部
１００３ Ｂピクチャスキップ部
１００４ Ｂピクチャヘッダ検出部
１００５ Ｍ検出部
１００６ 符号化復号部
１００７ 表示制御部

Claims (4)

1. 動画像データ内の指定された位置のデータを読み出すデータ読み出し部と、
   フレーム内符号化された画像を検索するフレーム内符号化画像検索部と、
   圧縮された動画像を復号する動画像復号部と、
   符号化レートを算出する符号化レート算出部を備え、
   高速再生時にフレーム内符号化されたフレーム及びそれに続くフレームを再生する動画像再生装置であって、再生対象となる動画像の符号化レートが大きくなるほど、フレーム内符号化されたフレームを検索する場合の時間間隔を大きくすることを特徴とする動画像再生装置。
2. 再生対象となる動画像の符号化レートが大きくなるほど、フレーム内符号化されたフレームに続くフレームの復号枚数又は再生枚数を多くすることを特徴とする請求項１記載の動画像再生装置。
3. 動画像データ内の指定された位置のデータを読み出すデータ読み出し部と、
   フレーム内符号化された画像を検索するフレーム内符号化画像検索部と、
   圧縮された動画像を復号する動画像復号部と、
   データの読み出し速度を測るためのデータ読み出し速度算出部を備え、
   高速再生時にフレーム内符号化されたフレーム及びそれに続くフレームを再生する動画像再生装置であって、データの読み出し速度が小さくなるほど、フレーム内符号化されたフレームを検索する場合の時間間隔を大きくすることを特徴とする動画像再生装置。
4. データの読み出し速度が小さくなるほど、フレーム内符号化されたフレームに続くフレームの復号枚数又は再生枚数を多くすることを特徴とする請求項３記載の動画像再生装置。

Images