JPH07203454A

JPH07203454A - 動画像再生装置

Info

Publication number: JPH07203454A
Application number: JP33770493A
Authority: JP
Inventors: Kaoru Kawasaki; 薫河嵜; Hiroyuki Kumazawa; 宏之熊沢
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1993-12-28
Filing date: 1993-12-28
Publication date: 1995-08-04

Abstract

(57)【要約】【目的】任意のフレームにランダムアクセスすること
ができる動画像再生装置を得る。【構成】ランダムアクセスを行うフレームの動画像符
号化データを復号する際に必要なフレームの復号画像の
部分領域の画像データを初期情報として記憶する蓄積手
段と、ランダムアクセスを行う場合に、前記初期情報を
参照することによりそのランダムアクセス対象フレーム
の復号画像を得、その復号画像を参照画像として該ラン
ダムアクセス対象フレーム以降の動画像符号化データを
復号し再生する再生手段を備えた動画像再生装置であ
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、動画像符号化技術、
特に動画像を構成するフレーム間の相関を利用した動画
像符号化技術を用いて符号化された符号化データを蓄積
し再生する動画像再生装置に関するものである。

【０００２】

【従来の技術】従来、データベースについては数値や文
字情報を格納しておき、それらを様々な観点から検索す
るという利用形態が中心であったが、次第に数値や文字
情報だけではなく静止画像や動画像（映像）までも蓄積
し、検索可能にするマルチメディアデータベースの開発
が盛んになりつつある。

【０００３】このデータベースをマルチメディアへ展開
していく上での問題点は、様々なデータ形式をいかに
して統一的に扱うか、検索に利用するキーワードをど
のように付与するか、膨大なデータ量を如何に扱うか
などが挙げられる。これらに対する解決策として、に
ついてはオブジェクト指向の考え方を採用することによ
り次第に解決されつつあるのに対して、についてはキ
ーワードの自動抽出などの研究が行なわれているものの
満足のいく結果は得られていない。これに対し、静止画
像については縮小画像、映像についてはその映像を代表
する静止画像を縮小したものをインデックス画像として
一覧表示し、その中から必要なものを選択する方法があ
る。また、については、ＪＰＥＧ（Joint Photograph
ic Experts Group）式に代表される静止画像符号化の国
際標準方式が普及し、静止画像をディジタル形式で蓄積
する方法があるのに対し、映像は依然としてＶＴＲ（ビ
デオテープレコーダ）やビデオディスクなど、アナログ
信号で映像を蓄積するという形態が主流である。しかし
ながら、今後、Ｈ．２６１、ＭＰＥＧ（Motion Picture
coding Experts Group ）などの動画像符号化に関する
国際標準が普及するにつれて、映像もディジタル形式で
符号化圧縮された形でデータベース化されるものと考え
られる。

【０００４】一方、マルチメディアデータベースの中で
特に映像に着目した場合、上記動画像再生装置では、映
像へのランダムアクセス、即ち、任意の時間的な位置
（任意の時点）の映像から再生を行なうことができる必
要がある。これは動画像の符号化技術と組み合わせたと
きに大きな問題となる。

【０００５】図７は例えば、「テレビジョン学会技術報
告 Vol．１５，No．２１」（１９９１年３月テレビジョ
ン学会発行）第９頁に示された従来の動画像再生装置に
おける動画像符号化データの格納形式を示す説明図であ
り、図において８１はシーンチェンジ画像のフレーム、
８２はフレーム内符号化を行うためのフレームである。

【０００６】次に動作について説明する。この格納形式
では、動画像符号化方式としてフレーム間予測符号化方
式と離散コサイン変換（以下、ＤＣＴ変換という）とを
組み合わせたハイブリッド符号化方式が用いられてい
る。ハイブリッド符号化方式では、動画像の連続するフ
レーム間で予測、特に動画像の動きを考慮した動き補償
予測を行い、予測信号と現在のフレームの信号との差分
信号を生成することで動画像の時間軸方向の冗長性を除
去すると共に、その差分信号をＤＣＴ変換することによ
り動画像の空間方向の冗長性を除去し、更に、ＤＣＴ変
換結果を量子化と可変長符号化することにより統計的な
冗長性を除去して効率的な動画像の符号化を実現する方
式である。そして、この方式は、前述の国際標準である
Ｈ．２６１やＭＰＥＧで用いられているものと同様のも
のである。

【０００７】このようなハイブリッド符号化方式ではフ
レーム間の差分信号を符号化しているため、あるフレー
ムを再生するにはその直前のフレームの情報が必要であ
り、一般的には映像の任意のフレームから再生すること
は不可能である。但し、ハイブリッド符号化方式で符号
化された符号化データの中に、フレーム内符号化モー
ド、すなわちフレーム間の予測を全く使用しない符号化
方式で圧縮されたフレームが存在すればそのフレームか
らは再生可能ではある。そして、通常の動画像では、数
秒から数１０秒ごとにシーンチェンジがあり、シーンチ
ェンジ直後ではフレーム内符号化が用いられるため、シ
ーンチェンジ直後のフレームに対してはランダムアクセ
ス可能である。図７の動画像符号化データの格納形式で
は、ランダムアクセスをより高速化するため、このよう
なシーンチェンジ直後のフレーム８１に加えて、強制的
に数秒に１回はフレーム内符号化を行なうフレーム８２
を挿入している。これにより、フレーム内符号化された
フレームに対してはランダムアクセスを実現することが
できる。

【０００８】

【発明が解決しようとする課題】従来の動画像再生装置
は以上のように構成されているので、映像データベース
は強制的に数秒に１回、フレーム内符号化を適用したフ
レームを強制挿入することにより、これらフレーム内符
号化したフレームに対してだけランダムアクセスを実現
できるようになっている。しかしながら強制的なフレー
ム内符号化フレームの挿入により符号化効率が低下する
ため、データ量の増加を招来すると共に、ランダムアク
セスできるフレームがフレーム内符号化されるフレーム
に限定されることで任意のフレームにランダムアクセス
できないという問題点があった。

【０００９】請求項１の発明は上記のような問題点を解
決するためになされたものであり、動画像符号化技術を
利用した映像データベースにおいて、任意のフレームに
ランダムアクセスすることができる動画像再生装置を得
ることを目的とする。

【００１０】請求項２の発明は動画像符号化技術を利用
した映像データベースにおいて、任意のフレームから該
フレーム以後の再生を可能にする動画像再生装置を得る
ことを目的とする。

【００１１】請求項３の発明は、請求項２の発明とは異
なる手段により、任意のフレームから該フレームの次の
フレーム以後の再生を可能にする動画像再生装置を得る
ことを目的とする。

【００１２】請求項４の発明は、請求項２の発明に加え
て開始点のフレームから厳密に再生を可能にする動画像
再生装置を得ることを目的とする。

【００１３】請求項５の発明は、請求項２の発明に加え
て更に蓄積される部分初期画像のデータ量を削減できる
動画像再生装置を得ることを目的とする。

【００１４】請求項６の発明は、請求項３の発明に加え
て更に蓄積される部分初期画像のデータ量を削減できる
動画像再生装置を得ることを目的とする。

【００１５】請求項７の発明は、請求項５あるいは請求
項６と異なる手段により蓄積される部分初期画像のデー
タ量を削減できる動画像再生装置を得ることを目的とす
る。

【００１６】請求項８の発明は、請求項１または請求項
２または請求項３または請求項４または請求項５または
請求項６または請求項７の発明に加え、蓄積される部分
初期画像のデータ量を更に削減できる動画像再生装置を
得ることを目的とする。

【００１７】

【課題を解決するための手段】請求項１の発明に係る動
画像再生装置は、動画像符号化データ内の途中フレーム
のデータを復号する際に必要なフレームの復号画像の部
分領域の画像データを初期情報として記憶し、ランダム
アクセスを行う場合に上記記憶された初期情報を参照し
てランダムアクセスを行うフレームを再現する構成を備
えたものである。

【００１８】請求項２の発明に係る動画像再生装置は、
ランダムアクセスのポイントとなるフレームの復号画像
の中で、該フレーム以前のフレームを参照することによ
り復号された領域の画像データを部分初期画像として記
憶し、ランダムアクセスを行う場合に上記記憶された部
分初期画像を参照して動画像を再現する構成を備えたも
のである。

【００１９】請求項３の発明に係る動画像再生装置は、
ランダムアクセスのポイントとなるフレームの復号画像
の中で、該フレーム以後のフレームを復号する際に参照
される領域の画像データを部分初期画像として記憶し、
ランダムアクセスを行う場合に上記記憶された部分初期
画像を参照して動画像を再現する構成を備えたものであ
る。

【００２０】請求項４の発明に係る動画像再生装置は、
ランダムアクセスのポイントとなるフレームを初期画像
として格納する第２のフレームメモリをフレーム間予測
ループ外に設けた構成を備えたものである。

【００２１】請求項５の発明に係る動画像再生装置は、
請求項２の発明に、ランダムアクセスのポイントとなる
フレーム以前のフレームで、蓄積する部分初期画像のデ
ータ量が指定された値以下であるフレームの部分初期画
像を記憶し、該フレームを初期画像として動画像符号化
データの復号を行い、動画像を再現させる構成を備えた
ものである。

【００２２】請求項６の発明に係る動画像再生装置は、
請求項３の発明に、ランダムアクセスのポイントとなる
フレーム以前のフレームで、蓄積する部分初期画像のデ
ータ量が指定された値以下であるフレームの部分初期画
像を記憶し、該フレームを初期画像として動画像符号化
データの復号を行い、動画像を再現させる構成を備えた
ものである。

【００２３】請求項７の発明に係る動画像再生装置は、
請求項２あるいは請求項３の発明に、ランダムアクセス
のポイントとなるフレーム直前の指定された数のフレー
ムで、蓄積する部分初期画像のデータ量が最小であるフ
レームの部分初期画像を記憶し、該フレームを初期画像
として動画像符号化データの復号を行い、動画像を再現
させる構成を備えたものである。

【００２４】請求項８の発明に係る動画像再生装置は、
部分初期画像を符号化圧縮して記憶し、該符号化圧縮さ
れた部分初期画像の符号化データを復号して初期画像を
得る構成を備えたものである。

【００２５】

【作用】請求項１の発明における動画像再生装置は、動
画像符号化データ内のランダムアクセスのポイントとな
るフレームのデータを復号する際に必要なフレームの復
号画像の部分領域の画像データを初期情報として記憶し
て、ランダムアクセスを行う場合に上記記憶された初期
情報を参照して動画像が再現されるので、任意のフレー
ムにランダムアクセスすることが可能となり該ランダム
アクセスのポイントとなるフレームが再現される。

【００２６】請求項２の発明に係る動画像再生装置は、
ランダムアクセスのポイントとなるフレームの復号画像
の中で、該フレーム以前のフレームを参照することによ
り復号された領域の画像データを部分初期画像として記
憶し、ランダムアクセスを行う場合に上記記憶された部
分初期画像を参照して動画像を再現するので、該フレー
ム以後から動画像が再現される。

【００２７】請求項３の発明に係る動画像再生装置は、
ランダムアクセスのポイントとなるフレームの復号画像
の中で、該フレーム以後のフレームを復号する際に参照
される領域の画像データを部分初期画像として記憶し、
ランダムアクセスを行う場合に上記記憶された部分初期
画像を参照して動画像を再現するので、該フレームの次
のフレーム以後の動画像が再現される。

【００２８】請求項４の発明に係る動画像再生装置は、
ランダムアクセスのポイントとなるフレームを初期画像
として格納する第２のフレームメモリをフレーム間予測
ループ外に設けたので、初期画像が再現された後、それ
に引き続く動画像が再現される。

【００２９】請求項５の発明に係る動画像再生装置は、
請求項２の発明に、ランダムアクセスのポイントとなる
フレーム以前のフレームで、蓄積する部分初期画像のデ
ータ量が指定された値以下であるフレームの部分初期画
像を記憶し、該フレームを初期画像として先行して再現
させるので、蓄積される部分初期画像のデータ量を削減
できる。

【００３０】請求項６の発明に係る動画像再生装置は、
請求項３の発明に、ランダムアクセスのポイントとなる
フレーム以前のフレームで、蓄積する部分初期画像のデ
ータ量が指定された値以下であるフレームの部分初期画
像を記憶し、該フレームを初期画像として先行して再現
させるので、蓄積される部分初期画像のデータ量を削減
できる。

【００３１】請求項７の発明に係る動画像再生装置は、
請求項２あるいは請求項３の発明に、ランダムアクセス
のポイントとなるフレーム直前の指定された数のフレー
ムで、蓄積する部分初期画像のデータ量が最小であるフ
レームの部分初期画像を記憶し、該フレームを初期画像
として先行して再現させるので、蓄積される部分初期画
像のデータ量を削減できる。

【００３２】請求項８の発明に係る動画像再生装置は、
部分初期画像を符号化圧縮して記憶するので、蓄積され
る部分初期画像のデータ量をさらに削減できる。

【００３３】

【実施例】

実施例１．以下、本発明の一実施例を説明する。図１は
請求項１の発明の一実施例による動画像再生装置の構成
を示すブロック図であり、図において１は動画像符号化
データを蓄積する第１の蓄積手段、２は初期情報を蓄積
する第２の蓄積手段、３は初期情報を参照することによ
り動画像符号化データを復号化する復号再生手段（再生
手段）、４は再生された動画像を表示する表示手段、５
は動画像再生装置各部をプログラムにより制御する制御
部（再生手段）である。

【００３４】次に第２の蓄積手段に蓄積されている初期
情報について説明する。図２はフレーム間予測を用いて
符号化された動画像符号化データの一例を示す説明図で
ある。図２に示すように第ｎフレームは複数の部分領域
（以下「ブロック」という）に分割されており、ブロッ
ク毎に符号化されている。各ブロックの符号化データ
は、該ブロックのフレーム間／フレーム内符号化識別フ
ラグと符号化データとで構成されている。そして、符号
化方法がフレーム内符号化であるブロックの符号化デー
タは該ブロックの画像データであり、符号化方法がフレ
ーム間符号化であるブロックの符号化データは参照画像
データとの差分データである。例えば、図２に示す動画
像符号化データの場合、第ｎフレームの第ｉブロックは
符号化方式がフレーム内符号化であり、符号化データと
して該ブロックの画像データが格納されている。また第
ｉ＋１ブロックは符号化方式がフレーム間符号化であ
り、参照画像データである第ｎ−１フレームの第ｉ＋１
ブロックの画像データとの差分データが格納されてい
る。

【００３５】上記の動画像符号化データの第ｎフレーム
を復号する場合、第ｉブロックは動画像符号化データの
みから復号画像を生成することができる。しかし第ｉ＋
１ブロックの復号画像を生成するためには、動画像符号
化データの他に参照画像データである第ｎ−１フレーム
の第ｉ＋１ブロックの画像データが必要となる。

【００３６】以上のようにフレーム間予測を用いて符号
化された動画像符号化データの途中フレームを復号する
ためには、該フレームのブロックまたはフレーム全体に
ついて参照画像データが必要となる。そこで本実施例で
は動画像符号化データの途中フレームのデータを復号す
る際に必要なブロックまたはフレーム全体の参照画像デ
ータを初期情報として第２の蓄積手段２に蓄積してお
く。

【００３７】次に動作について説明する。図１に示され
た動画像再生装置においてランダムアクセスを行う場
合、まずランダムアクセス対象フレームの動画像符号化
データが第１の蓄積手段１より読み出され、復号再生手
段３に入力される。

【００３８】復号再生手段３では、入力された動画像符
号化データの内、該データのみで復号画像の生成可能な
ブロックは復号され復号画像が生成される。該データの
みで復号不可能なブロックについては、該データをフレ
ーム間差分信号に変換し、参照する画像データを第２の
蓄積手段から読みだし、該画像データに前記フレーム間
差分信号を加算することにより復号画像を生成する。

【００３９】以上の動作で生成された復号画像データは
表示手段４によって表示される。該フレーム以後の動画
像を再現する場合、該フレームの復号画像は復号再生手
段３内に一時記憶され、前記フレーム以後の動画像符号
化データを復号する際の参照画像データとして用いられ
る。

【００４０】次に第２の蓄積手段２に蓄積する部分初期
画像の生成方法について述べる。前述のように、動画像
符号化データの復号再生実行中、復号再生手段３内に
は、復号再生中のフレームの参照画像データが一時記憶
されている。そこで該復号再生中のフレームがランダム
アクセス対象フレームとして指定されたとき、該フレー
ムを復号再生するときに参照した参照画像データ内の部
分あるいは全体領域の画像データを、前記指定されたフ
レームから動画像符号化データの復号再生を開始する際
の初期情報として第２の蓄積手段に蓄積する。

【００４１】なお図２では、部分初期画像データが直前
のフレームの復号画像のブロックである場合について説
明したが、直前のフレームに限定されるものではない。
また部分初期画像データはブロック毎に異なるフレーム
の復号画像のブロックであってもよい。このように部分
初期画像が直前フレーム以外のフレームや複数フレーム
にわたっている場合も、参照されるブロックを含む全て
のフレームの復号画像を復号再生手段３内に一時記憶し
ておくことにより、部分初期画像データを生成すること
ができる。

【００４２】また、本実施例では差分データを加えるこ
とにより前のフレームから後のフレームを生成するよう
にしたが、後のフレームから前のフレームを、あるいは
前後のフレームからその中間のフレームを生成するよう
にしてもよい。

【００４３】実施例２．図３は請求項２の発明の一実施
例による動画像再生装置の構成を示すブロック図であ
り、図において１１は動画像符号化データを復号化する
フレーム間差分信号復号部、１２はフレーム間差分信号
とフレーム間予測信号を加算する加算器、１３はフレー
ムメモリ、１４は接点１４ａの接続を接点１４ｂと１４
ｃのどちらか一方に切り換えるスイッチ、１５は復号再
生されたフレームの復号画像の中で、該フレーム以前の
フレームを参照する事により復号された領域を検出する
領域検出手段、１６は第２の蓄積手段２に蓄積されてい
る部分初期画像をフレームメモリ１３に設定する第１の
設定手段、１７は第１の蓄積手段１に蓄積されている動
画像符号化データを復号化した結果得られる部分復号画
像を前記フレームメモリ１３に設定する第２の設定手段
である。上記フレーム間差分信号復号部１１、加算器１
２、フレームメモリ１３、スイッチ１４はハイブリッド
符号化方式により符号化された動画像を復号する動画像
復号装置を構成している。なお、その他の部分で図１と
同一または相当の部分には同一の符号を付し説明を省略
する。

【００４４】次に本実施例の第２の蓄積手段２に蓄積さ
れる部分初期画像について図２を用いて説明する。実施
例１では第２の蓄積手段２にランダムアクセス対象フレ
ームの符号化データを復号する際に参照する画像データ
を部分初期画像として蓄積していた。本実施例では、ラ
ンダムアクセス対象フレームの復号画像の中で、該フレ
ーム以外のフレームを参照する事により復号された領域
の復号画像データを部分初期画像として第２の蓄積手段
２に蓄積している。例えば、図２に示した第ｎフレーム
の場合、該フレームの第ｉ＋１ブロックは第ｎ−１フレ
ームを参照して復号される。そこでこの第ｎフレーム第
ｉ＋１ブロックの復号画像データは、第ｎフレームをラ
ンダムアクセス対象フレームとする場合の、部分初期画
像データとして第２の蓄積手段に蓄積される。

【００４５】次に動作について説明する。ランダムアク
セスを行う場合、まず第１の設定手段１６によりランダ
ムアクセス対象フレームの部分初期画像データが第２の
蓄積手段２から読みだされフレームメモリ１３に設定さ
れる。また、第２の設定手段１７により、第１の蓄積手
段１から該ランダムアクセス対象フレームの符号化デー
タが読みだされ、該符号化データのうち該符号化データ
だけで復号画像を生成できる領域について該符号化デー
タが復号化され復号画像データがフレームメモリ１３に
設定される。以上、第１および第２の設定手段の動作に
より、該ランダムアクセス対象フレーム全体の復号画像
データがフレームメモリ１３に設定されることになる。
次に、第１の蓄積手段１から、該ランダムアクセス対象
フレームの次のフレームから符号化データが読みだされ
復号再生が実行される。

【００４６】次に復号再生の動作を説明する。第１の蓄
積手段１から読み出された符号化データは、フレーム間
差分信号復号部１１においてフレーム間差分信号に変換
される。このフレーム間差分信号は、スイッチ１４の接
点１４ａから出力された参照画像データと加算器１２で
加算されることにより、復号画像データに復号され、表
示手段４により表示される。

【００４７】また同時にこの復号結果は次のフレームの
復号に必要となる参照画像データとしてフレームメモリ
１３に格納される。参照画像データは以下のように生成
される。即ち、符号化データに含まれる制御データであ
るフレーム間／フレーム内符号化識別フラグが読み出さ
れ、該フラグがフレーム間符号化を示している場合は接
点１４ａを接点１４ｂと接続し、また前記フラグがフレ
ーム内符号化を示している場合は接点１４ａを接点１４
ｃと接続するようスイッチ１４が制御部５により制御さ
れる。また、動画像符号化データ内に制御データとして
動きベクトルが含まれる場合は、該動きベクトル分だけ
ずれた位置の画像データをフレームメモリ１３から読み
出すようフレームメモリ１３を制御する。この場合、参
照画像データは、単に前フレームの同一位置の参照画像
データではなく動画像の動きを考慮した、より高度な参
照画像データになっている。なお、前記スイッチ１４や
フレームメモリ１３は制御部５が制御するように構成し
たが、前記動画像復号装置の図示していない制御部が第
１の蓄積手段１から読み出される前記制御データを基に
制御するように構成してもよい。

【００４８】次に第２の蓄積手段２に蓄積する部分初期
画像の生成方法について述べる。前述のように、動画像
符号化データの復号結果の画像データはフレームメモリ
１３に格納される。領域検出手段１５はフレーム間／フ
レーム内符号化識別フラグを参照し、フレームメモリ１
３に格納される復号画像データのうち、どの領域がフレ
ーム間符号化された符号化データを復号して生成された
領域であるかを記憶しておく。そして、復号化されたフ
レームがランダムアクセス対象フレームとして指定され
た場合、フレームメモリ１３に格納されている該フレー
ムの復号画像データのうち、領域検出手段に記憶されて
いる領域、即ち、フレーム間符号化された符号化データ
を復号して生成された領域の画像データを部分初期画像
として第２の蓄積手段２に蓄積する。

【００４９】実施例３．次に請求項３の発明の一実施例
による動画像再生装置について説明する。本実施例によ
る動画像再生装置は、動画像符号化データ内の途中フレ
ームを復号する際に該フレームの直前のフレームの復号
画像データのみを参照する事で復号可能な符号化方式で
符号化された動画像を再生するものである。図４は請求
項３の発明の一実施例による動画像再生装置の構成を示
すブロック図である。図３に示した実施例２の構成にお
いて第２の設定手段１７を省いた構成になっている。な
お、図３と同一または相当部分については同一の符号を
付し説明を省略する。

【００５０】次に本実施例による第２の蓄積手段２に蓄
積される部分初期画像について図２を用いて説明する。
実施例２では第２の蓄積手段２に蓄積される部分初期画
像は、ランダムアクセス対象フレームの復号画像の内、
該フレーム以外のフレームを参照して復号された領域の
画像データであった。本実施例による動画像再生装置で
は、ランダムアクセス対象フレームの復号画像データの
内、該フレーム以後のフレームを復号する際に参照され
る領域の画像データを、部分初期画像として第２の蓄積
手段２に蓄積する。例えば、図２に示した第ｎ−１フレ
ームの場合、該フレームの第ｉ＋１ブロックは該フレー
ムの次のフレームである第ｎフレームの符号化データを
復号する際に参照される。そこでこの第ｎ−１フレーム
第ｉ＋１ブロックの復号画像データは、第ｎ−１フレー
ムをランダムアクセス対象フレームとする場合の部分初
期画像データとして第２の蓄積手段２に蓄積される。

【００５１】次に動作について説明する。ランダムアク
セスを行う場合、まず第１の設定手段１６により、ラン
ダムアクセス対象フレームの部分初期画像データが第２
の蓄積手段２から読みだされフレームメモリ１３に設定
される。次に、第１の蓄積手段１から、該ランダムアク
セス対象フレームの次のフレームからの符号化データが
読みだされ復号再生が実行される。

【００５２】次に復号再生の動作を説明する。第１の蓄
積手段１から読み出された符号化データは、フレーム間
差分信号復号部１１においてフレーム間差分信号に変換
される。このフレーム間差分信号は、スイッチ１４の接
点１４ａから出力された参照画像データと加算器１２で
加算される。参照画像データは、符号化データに含まれ
るフレーム間／フレーム内符号化識別フラグがフレーム
間符号化を示している場合に前記フレームメモリ１３に
格納されている画像データである。ここで、ランダムア
クセス対象フレームの次のフレームの復号再生時には、
フレームメモリ１３には、第２の蓄積手段２から読み出
された部分初期画像のみが第１の設定手段１６により設
定されており、第１の設定手段１６により画像データが
設定されなかった領域についてはフレームメモリ３内に
有意な値は設定されていない。しかし、第２の蓄積手段
２から読み出された部分初期画像は、先に述べたよう
に、該フレーム以後のフレームを復号する際に参照され
る領域の画像データである。従って、この場合、即ちラ
ンダムアクセス対象フレームの次のフレームの復号再生
時でフレームメモリ３に１フレーム分の復号画像データ
全てが設定されていない場合でも、復号再生に必要な参
照画像データはフレームメモリ内に設定されており、該
フレームの全領域について復号が可能である。

【００５３】次に第２の蓄積手段２に蓄積する部分初期
画像の生成方法について述べる。領域検出手段１５は制
御データであるフレーム間／フレーム内符号化識別フラ
グおよび動きベクトルを参照し、フレームメモリ１３に
格納される復号画像データの内、次のフレームの復号時
に参照される領域の画像データを記憶しておく。そし
て、復号化されたフレームがランダムアクセス対象フレ
ームとして指定された場合、領域検出手段１５に記憶さ
れている領域の画像データを、部分初期画像として第２
の蓄積手段２に蓄積する。

【００５４】実施例４．次に請求項４の発明の一実施例
による動画像再生装置について説明する。図５は本実施
例の動画像再生装置の構成を示すブロック図であり、図
において２２は第１のフレームメモリ１３を含むフレー
ム間予測ループの外に接続した第２のフレームメモリで
ある。なお、本実施例の動画像再生装置は、図３に示し
た実施例２の構成に第２のフレームメモリ２２が付加さ
れた構成になっており、図３と同一または相当の部分に
ついては同一の符号を付し説明を省略する。

【００５５】本実施例による第２の蓄積手段２に蓄積さ
れる部分初期画像は、実施例２の第２の蓄積手段に蓄積
される部分初期画像と同様であり、ランダムアクセス対
象フレームの復号画像の内、該フレーム以外のフレーム
を参照して復号された領域の画像データである。

【００５６】次に動作について説明する。図３に示され
た動画像再生装置では、ランダムアクセスを行った場合
に、ランダムアクセス対象フレームは表示されないこと
になるが、実施例４ではランダムアクセス対象フレーム
からの表示（再生）を可能にする。すなわち、まず第１
の設定手段１６によりランダムアクセス対象フレームの
部分初期画像データを第２の蓄積手段２から読みだし第
１のフレームメモリ１３と第２のフレームメモリ２２に
設定し、次に第２の設定手段１７により第１の蓄積手段
１から該ランダムアクセス対象フレームの符号化データ
を読みだし、読み出した符号化データのうちでその符号
化データだけで復号画像を生成できる領域のみ復号化
し、復号した復号画像データを第１のフレームメモリ１
３と第２のフレームメモリ２２に設定する。以上、第１
および第２の設定手段の動作により、ランダムアクセス
対象フレーム全体の復号画像データが第１のフレームメ
モリ１３と第２のフレームメモリ２２に設定される。次
に、第１の蓄積手段１から、該ランダムアクセス対象フ
レームの次のフレームから符号化データを読みだし復号
再生を実行する。このとき、第２のフレームメモリ２２
にはランダムアクセス対象フレームの復号画像が格納さ
れているので、まず該復号画像が表示手段４に送られ表
示再生され、続いて該ランダムアクセス対象フレームの
次のフレーム以後の復号画像が順次表示手段４に送られ
表示再生される。

【００５７】実施例５．図６は請求項５の発明の一実施
例による動画像再生装置の構成を示すブロック図であ
り、図において３１は領域検出手段１５により検出され
た各フレームの部分初期画像を一時的に蓄積するバッフ
ァメモリ、３２は領域検出手段１５により検出された各
フレームの部分初期画像のデータ量を検出する領域デー
タ量検出手段、３３は制御部５の制御で開閉するゲート
であり、フレーム間予測ループの外に接続される。な
お、図３と同一または相当の部分については同一の符号
を付し説明を省略する。

【００５８】本実施例による第２の蓄積手段２には、ラ
ンダムアクセス対象フレームから復号再生を行うために
必要な初期情報が蓄積される。該初期情報は、ランダム
アクセス対象フレーム以前のフレームの部分初期画像で
あり、且つ、そのデータ量が予め指定された値以下であ
るフレームの部分初期画像と、該部分初期画像のフレー
ム番号で構成される。なお、部分初期画像は実施例２で
説明した部分初期画像と同様である。

【００５９】次に、前記第２の蓄積手段２に前記初期情
報を蓄積する動作を説明する。領域検出手段１５は前記
実施例２と同様の動作で、各フレームの部分初期画像と
して蓄積すべき領域の検出を行う。同時に領域データ量
検出手段３２は、前記領域検出手段１５で検出された部
分初期画像のデータ量を検出する。そして、該データ量
があらかじめ設定された値以下である場合に、該部分初
期画像と該フレームのフレーム番号をバッファメモリ３
１に格納する。そしてランダムアクセス対象フレームが
指定されたときに、該バッファメモリ３１に格納されて
いる部分初期画像と該部分初期画像のフレーム番号を、
該ランダムアクセス対象フレームの初期情報として第２
の蓄積手段２に格納する。

【００６０】ランダムアクセスを行う場合、先ず第２の
蓄積手段２からランダムアクセス対象フレームの初期情
報を読みだし、該初期情報が示すフレームの復号画像を
フレームメモリ１３に設定する。該フレーム復号画像の
設定方法は実施例２と同様である。次に該フレームメモ
リ１３に設定した復号画像のフレームの次のフレームか
ら符号化データを読みだし復号を実行する。一方、表示
手段４の前に設けられたゲート３３は、ランダムアクセ
ス対象フレームの復号時から開き、復号画像を表示手段
４に供給する。

【００６１】このように、本実施例によればランダムア
クセスのための情報として実施例２とは異なった初期情
報を蓄積することにより、より少ないデータ量でランダ
ムアクセス対象フレームからの復号再生を可能にする。

【００６２】実施例６．請求項６の発明の一実施例によ
る動画像再生装置の構成は、図６において第２の設定手
段１７を省いた構成で実現される。本実施例における第
２の蓄積手段２に蓄積される部分初期画像およびフレー
ムメモリ１３への該部分初期画像の設定方法は実施例３
と同様である。また、初期情報として部分初期画像を蓄
積するフレームの選択方法および該初期情報を参照した
復号再生方法は、実施例５と同様である。このように本
実施例は、実施例３と実施例５の組み合わせにより実現
できるものであり、実施例３あるいは実施例５とは異な
る方法により初期情報のデータ量を削減できるものであ
る。

【００６３】実施例７．実施例５および実施例６では、
ランダムアクセスのため初期情報として、ランダムアク
セス対象フレーム以前のフレームの部分初期画像で、且
つ、そのデータ量が予め指定された値以下であるフレー
ムの部分初期画像と、該部分初期画像のフレーム番号を
蓄積していた。本実施例では、ランダムアクセス対象フ
レームおよび該フレーム直前の予め指定された数のフレ
ームの中で、領域データ量検出手段で検出されたデータ
量が最小であるフレームの部分初期画像と、該部分初期
画像のフレーム番号とを初期情報として蓄積するように
する。これにより、実施例５および実施例６より更に少
ないデータ量で、ランダムアクセス対象フレームからの
復号再生を可能にする。

【００６４】また、実施例７では、ランダムアクセス対
象フレームおよび該フレーム直前のあらかじめ指定され
た数のフレームの中から領域データ量検出手段で検出さ
れたデータ量が最小であるフレームを選択したが、前記
ランダムアクセス対象フレームは複数であってもよく、
前記ランダムアクセス対象フレームと、該ランダムアク
セス対象フレームの直前の別のランダムアクセス対象フ
レームとの間のフレームの中から、領域データ量検出手
段で検出されるデータ量が最小になるフレームを選択す
るようにしてもよい。

【００６５】実施例８．実施例８の構成は、前述の実施
例１〜７までの構成を適用することができる。但し、第
２の蓄積手段２および第１の設定手段１６の機能が異な
る。即ち、第２の蓄積手段２は、部分初期画像を符号化
圧縮しデータ量を削減した状態で蓄積する。また、第１
の設定手段１６は第２の蓄積手段２から符号化圧縮され
た部分初期画像の符号化データを読みだし、復号化した
後にフレームメモリ１３に復号画像を設定する。なお符
号化圧縮の方法は、可逆符号化（符号化データから元の
画像を歪なく復号できる符号化方式、例えば、ハフマン
符号化）、非可逆符号化（符号化に際して歪が加わるた
め、元の画像を正確には復元できない符号化方式、例え
ば、国際標準の符号化方式であるＪＰＥＧ）いずれも使
用可能である。但し非可逆符号化では、動画像を復号す
る際にフレームメモリ１３に設定される初期画像には歪
が含まれるため本来の初期画像とは異なる。そのため、
歪に起因して復号される動画像も歪む事になるが、この
歪はわずかであり時間と共に減少していくのでほとんど
問題にならない。

【００６６】このように、本実施例によれば、第２の蓄
積手段２に部分初期画像を符号化圧縮する機能を持た
せ、第１の設定手段１６に符号化圧縮された部分初期画
像を復号化する機能を持たせることにより、蓄積される
部分初期画像のデータ量を削減できる。

【００６７】なお、上記実施例１〜実施例８において第
１の蓄積手段１と第２の蓄積手段２は同一の記憶装置に
より構成したものであってもよい。

【００６８】また、上記実施例１〜実施例８において動
画像符号化データは第１の蓄積手段１に記憶し、該第１
の蓄積手段１から読みだして復号化するように説明した
が、動画像符号化データは伝送されてくるものであって
もよい。また、伝送されてくる動画像符号化データを復
号すると同時に第１の蓄積手段１に蓄積するように構成
してもよい。

【００６９】また、実施例１〜実施例８において、各構
成部分はハードウェア的にもソフトウェア的にも構成で
きることは言うまでもない。特に、動画像符号化、復号
化技術の進展は著しく、これらの処理は汎用的なディジ
タル信号処理プロセッサ（ＤＳＰ）を用いて実現されつ
つあり、また近年の汎用的なＣＰＵの処理能力向上を考
慮すると、十分にＣＰＵのソフトウェアで実現できるも
のである。

【００７０】

【発明の効果】以上のように請求項１の発明によれば、
ランダムアクセスを行うフレームの動画像符号化データ
を復号する際に必要なフレームの復号画像の部分領域の
画像データを初期情報として蓄積し、ランダムアクセス
を行う場合に上記初期情報を参照して動画像を再生する
ように構成したので、前記フレームからの動画像を得る
ことができ、任意のフレームに対しランダムアクセスす
ることができる動画像再生装置が得られる効果がある。

【００７１】請求項２の発明によれば、ランダムアクセ
スを行うフレームの復号画像の中で、該フレーム以前の
フレームを参照する事により復号された領域の画像デー
タを部分初期画像として蓄積し、ランダムアクセスを行
う場合に上記部分初期画像と該フレームの符号化データ
からそのフレームの復号画像を得るように構成したの
で、これにより該フレーム以後からの動画像が再生で
き、任意のフレームに対しランダムアクセスすることが
できる動画像再生装置が得られる効果がある。

【００７２】請求項３の発明によれば、ランダムアクセ
スを行うフレームの復号画像の中で、該フレーム以後の
フレームを復号する際に参照される領域の画像データを
部分初期画像として蓄積し、該フレーム以後のフレーム
の符号化データを復号する際に該部分初期画像を参照し
て動画像を再現するように構成したので、該フレームの
次のフレーム以後の動画像を得ることができ、任意のフ
レームに対しランダムアクセスすることができる動画像
再生装置が得られる効果がある。

【００７３】請求項４の発明によれば、ランダムアクセ
スのポイントとなるフレームを初期画像として格納する
第２のフレームメモリをフレーム間予測ループ外にも設
けるように構成したので、フレーム間予測ループ外のフ
レームメモリの初期画像がフレーム間予測ループ内から
得られる動画像より先行して再現され、ランダムアクセ
スのポイントとなるフレームからの再生を可能にする動
画像再生装置が得られる効果がある。

【００７４】請求項５の発明によれば、ランダムアクセ
ス対象フレーム以前のフレームで、部分初期画像のデー
タ量が予め設定された値以下であるフレームの部分初期
画像などを、ランダムアクセス対象フレームの初期情報
として蓄積しておき、ランダムアクセスを行う場合に、
該初期情報を参照して該ランダムアクセス対象フレーム
からの復号再生を行うように構成したので、ランダムア
クセスのポイントとなるフレームからの再生を行なう際
の蓄積するデータ量を削減できる効果がある。

【００７５】請求項６の発明によれば、ランダムアクセ
ス対象フレーム以前のフレームで、部分初期画像のデー
タ量が予め設定された値以下であるフレームの部分初期
画像などを初期情報として蓄積しておき、ランダムアク
セスを行う場合に、上記初期情報を参照して該ランダム
アクセス対象フレームからの復号再生を行うように構成
したので、ランダムアクセスのポイントとなるフレーム
からの再生を行なう際の蓄積するデータ量を削減できる
効果がある。

【００７６】請求項７の発明によれば、ランダムアクセ
ス対象フレーム以前の予め設定された数のフレームの中
で、部分初期画像のデータ量が最小であるフレームの部
分初期画像などを初期情報として蓄積しておき、ランダ
ムアクセスを行う場合に上記初期情報を参照して該ラン
ダムアクセス対象フレームからの復号再生を行うように
構成したので、ランダムアクセスのポイントとなるフレ
ームからの再生を行なう際の蓄積するデータ量を削減で
きる効果がある。

【００７７】請求項８の発明によれば、請求項１〜７の
発明の効果に加えて、部分初期画像を符号化圧縮して蓄
積することで、ランダムアクセスを行う場合に上記符号
化圧縮された部分初期画像を復号化した復号画像を参照
して該ランダムアクセス対象フレームからの復号再生を
行うように構成したので、ランダムアクセスのポイント
となるフレームからの再生を行なう際の蓄積するデータ
量を更に削減できる効果がある。

【図面の簡単な説明】

【図１】請求項１の発明の一実施例による動画像再生装
置の構成を示すブロック図である。

【図２】フレーム間予測を用いて符号化された動画像の
符号化データの一例を示す説明図である。

【図３】請求項２の発明の一実施例による動画像再生装
置の構成を示すブロック図である。

【図４】請求項３の発明の一実施例による動画像再生装
置の構成を示すブロック図である。

【図５】請求項４の発明の一実施例による動画像再生装
置の構成を示すブロック図である。

【図６】請求項５の発明の一実施例による動画像再生装
置の構成を示すブロック図である。

【図７】従来の動画像再生装置における動画像符号化デ
ータの格納形式を示す説明図である。

【符号の説明】

１第１の蓄積手段２第２の蓄積手段３復号再生手段（再生手段）５制御部（再生手段）１３第１のフレームメモリ１４スイッチ１５領域検出手段１６第１の設定手段１７第２の設定手段２２第２のフレームメモリ３１バッファメモリ３２領域データ量検出手段３３ゲート

Claims

【特許請求の範囲】

【請求項１】フレーム間予測を用いて符号化された動
画像符号化データを復号化することで動画像を再生する
動画像再生装置において、動画像符号化データを記憶す
る第１の蓄積手段と、動画像符号化データ内の途中フレ
ームのデータを復号する際に必要なフレームの復号画像
の部分領域の画像データを初期情報として記憶する第２
の蓄積手段と、その第２の蓄積手段に記憶されている初
期情報を参照し、該初期情報を参照することにより復号
可能なフレームの動画像符号化データを、前記第１の蓄
積手段に記憶されている動画像符号化データの中から読
みだし復号化して動画像を再生する再生手段とを備えた
ことを特徴とする動画像再生装置。
【請求項２】フレーム間予測を用いて符号化された動
画像符号化データを復号化することで動画像を再生する
動画像再生装置において、動画像符号化データを記憶す
る第１の蓄積手段と、フレーム間予測ループ内に設けた
フレームメモリと、復号再生を開始するフレーム（以下
「ランダムアクセス対象フレーム」という）の復号画像
の中で、該フレーム以前のフレームを参照することによ
り復号された領域を検出する領域検出手段と、該領域検
出手段で検出された領域の画像データを、部分初期画像
として蓄積する第２の蓄積手段と、ランダムアクセスを
行う場合に前記第２の蓄積手段に蓄積された部分初期画
像を前記フレームメモリに設定する第１の設定手段と、
該ランダムアクセス対象フレームの符号化データのう
ち、該フレーム以前のフレームを参照せずに復号できる
符号化データのみを復号し、復号した画像データを前記
フレームメモリに設定する第２の設定手段と、該ランダ
ムアクセス対象フレームの１フレーム後の動画像符号化
データから復号化することで動画像を再生する再生手段
とを備えたことを特徴とする動画像再生装置。
【請求項３】フレーム間予測を用いて符号化された動
画像符号化データを復号化することで動画像を再生する
動画像再生装置において、動画像符号化データを記憶す
る第１の蓄積手段と、フレーム間予測ループ内に設けた
フレームメモリと、ランダムアクセス対象フレームの復
号画像の中で、該フレーム以後のフレームを復号する際
に参照される領域を検出する領域検出手段と、前記領域
検出手段で検出された領域の画像データを、部分初期画
像として蓄積する第２の蓄積手段と、ランダムアクセス
を行う場合に前記第２の蓄積手段に蓄積された部分初期
画像を前記フレームメモリに設定する設定手段と、前記
ランダムアクセス対象フレームの１フレーム後の動画像
符号化データから復号化することで動画像を再生する再
生手段とを備えたことを特徴とする動画像再生装置。
【請求項４】フレーム間予測を用いて符号化された動
画像符号化データを復号化することで動画像を再生する
動画像再生装置において、動画像符号化データを記憶す
る第１の蓄積手段と、フレーム間予測ループ内に設けた
第１のフレームメモリと、フレーム間予測ループに接続
した第２のフレームメモリと、ランダムアクセス対象フ
レームの復号画像の中で、該フレーム以前のフレームを
参照することにより復号された領域を検出する領域検出
手段と、前記領域検出手段で検出された領域の画像デー
タを部分初期画像として蓄積する第２の蓄積手段と、ラ
ンダムアクセスを行う場合に前記第２の蓄積手段に蓄積
された部分初期画像を前記第１のフレームメモリと前記
第２のフレームメモリに設定する第１の設定手段と、前
記ランダムアクセス対象フレームの符号化データを復号
して、該フレーム以前のフレームを参照せずに復号され
た領域の画像データを前記第１のフレームメモリと前記
第２のフレームメモリに設定する第２の設定手段と、前
記第２のフレームメモリに設定された初期画像を動画像
として再生させた後に前記第１のフレームメモリに設定
された初期画像より１フレーム後の動画像符号化データ
から復号化することで動画像を再生する再生手段とを備
えたことを特徴とする動画像再生装置。
【請求項５】フレーム間予測を用いて符号化された動
画像符号化データを復号化することで動画像を再生する
動画像再生装置において、動画像符号化データを記憶す
る第１の蓄積手段と、フレーム間予測ループ内に設けた
フレームメモリと、前記フレーム間予測ループに接続し
たゲートと、復号再生されたフレームの復号画像の中
で、該フレーム以前のフレームを参照することにより復
号された領域を検出する領域検出手段と、該領域検出手
段で検出された領域の画像データを記憶する際のデータ
量を検出する領域データ量検出手段と、ランダムアクセ
ス対象フレーム以前のフレームで前記領域データ量検出
手段で検出されたデータ量が指定された値以下であるフ
レームを復号再生した際に前記領域検出手段で検出され
た領域の画像データを部分初期画像として蓄積する第２
の蓄積手段と、ランダムアクセスを行う場合に前記第２
の蓄積手段に蓄積された部分初期画像を前記フレームメ
モリに設定する第１の設定手段と、前記第１の設定手段
により前記フレームメモリに設定された部分初期画像の
フレームの動画像符号化データのうち、該フレーム以前
のフレームを参照せずに復号できる符号化データのみを
復号し、復号した画像データを前記フレームメモリに設
定する第２の設定手段と、前記フレームメモリに設定さ
れたのフレームの１フレーム後の動画像符号化データか
ら復号化を実行する再生手段とを備え、ランダムアクセ
ス対象フレームが復号される時点で前記ゲートを開くこ
とを特徴とする動画像再生装置。
【請求項６】フレーム間予測を用いて符号化された動
画像符号化データを復号化することで動画像を再生する
動画像再生装置において、動画像符号化データを記憶す
る第１の蓄積手段と、フレーム間予測ループ内に設けた
フレームメモリと、前記フレーム間予測ループに接続し
たゲートと、復号再生されたフレームの復号画像の中
で、該フレーム以後のフレームを復号する際に参照され
る領域を検出する領域検出手段と、該領域検出手段で検
出された領域の画像データを記憶する際のデータ量を検
出する領域データ量検出手段と、ランダムアクセス対象
フレーム以前のフレームで前記領域データ量検出手段で
検出されたデータ量が指定された値以下であるフレーム
を復号再生した際に前記領域検出手段で検出された領域
の画像データを部分初期画像として蓄積する第２の蓄積
手段と、ランダムアクセスを行う場合に前記第２の蓄積
手段に蓄積された部分初期画像を前記フレームメモリに
設定する設定手段と、前記フレームメモリに設定された
フレームの１フレーム後の動画像符号化データから復号
化を実行する再生手段とを備え、ランダムアクセス対象
フレームが復号される時点で前記ゲートを開くことを特
徴とする動画像再生装置。
【請求項７】第２の蓄積手段は、ランダムアクセス対
象フレームおよび該フレーム直前の指定された数のフレ
ームの中で、領域データ量検出手段で検出されたデータ
量が最小であるフレームを復号再生した際に領域検出手
段で検出された領域の画像データを部分初期画像として
蓄積することを特徴とする請求項５又は請求項６記載の
動画像再生装置。
【請求項８】第２の蓄積手段は、領域検出手段により
検出された領域の画像データを符号化圧縮して部分初期
画像として蓄積し、復号再生を行う際に前記符号化圧縮
された部分初期画像を復号化して参照することを特徴と
する請求項１〜請求項７いずれか１項記載の動画像再生
装置。