JP4589709B2

JP4589709B2 - 映像再生装置

Info

Publication number: JP4589709B2
Application number: JP2004357661A
Authority: JP
Inventors: 清一室屋; 忠司芝田
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2004-12-10
Filing date: 2004-12-10
Publication date: 2010-12-01
Anticipated expiration: 2024-12-10
Also published as: JP2006166285A; US20060130103A1

Description

本発明は、符号化された映像データから動画などの映像を再生する映像再生装置に関し、特に、ＭＰＥＧ等により符号化された符号化映像データを復号して再生する際に、復号化されたデータを格納するフレームメモリのサイズを削減する技術に関する。

従来、符号化された動画像データの復号処理において、フレームメモリのサイズを削減する技術として、非特許文献１に記載されたものがある。この技術は、スケーラブルデコーダを用いる技術である。このスケーラブルデコーダは、符号化動画像データの一部を用いて復号する技術であって、符号化動画像データを復号する際の逆離散コサイン変換（ＩＤＣＴ）において、次数を削減したＩＤＣＴ処理を行い、これにより、復号動画像データ量を縮小して、フレームメモリのサイズを削減する技術である。

また、従来、フレームメモリのサイズを削減する他の技術として、特許文献１に記載された符号化動画像再生装置がある。

以下、前記特許文献１の符号化動画像再生装置を図９に基づいて説明する。同図において、ＭＰＥＧ２などで符号化された符号化映像データは、可変長復号回路２１０で可変長復号されて量子化ＤＣＴ係数が得られ、この量子化ＤＣＴ係数は逆量子化回路２２０で逆量子化されてＮ×Ｎ行列のＤＣＴ係数が得られる。ここで、ＭＰＥＧ方式の場合にはＮ＝８である。その後、０割当回路２２５では、前記得られたＮ×Ｎ行列のＤＣＴ係数のうち、低周波成分のＫ×Ｍ部分以外は０で埋めて新たなＮ×Ｎ行列のＤＣＴ係数とし、その上で、この新たなＮ×Ｎ行列のＤＣＴ係数に対して逆ＤＣＴ変換回路２３０で逆ＤＣＴ処理してＮ×Ｎ行列の差分画素データを得る。加算器２４０では、前記差分画素データと、蓄積メモリ（フレームメモリ）２６０から読み出された参照画像データとが加算されて、再生画像データが得られる。復元された再生画像データは、更に、圧縮回路２５０で再度圧縮されて、蓄積メモリ２６０に蓄積される。

動き補償で必要となるブロックを抽出する際には、蓄積メモリ２６０に蓄積された圧縮画素データのうち、動き補償ブロック内の圧縮画素データが全て伸長回路２７０で伸長され、その後、動き補償部２８０で動き補償処理されて、参照画像データとして前記加算器２４０に出力される。また、加算器２４０で得られた再生画像データは、拡大器２９０で復元されて、再生画像データとして必要な画像サイズに拡大された後、表示用メモリ２９１に順次蓄積されて、画像表示器２９２に出力される。

このように、特許文献１記載の技術では、０割当回路２２５にて高周波成分のＤＣＴ係数を０にすることにより、逆ＤＣＴ変換回路２３０から出力される差分画像データの高周波成分を削減して、蓄積メモリ２６０に蓄積される画像データ量を縮小し、蓄積メモリ２６０のサイズを削減している。
信学技報ＤＳＰ９４-１０８特許第３５７５５０８号

しかしながら、非特許文献１記載の技術では、ＩＤＣＴの次数を削減することにより復号画像が縮小されるので、蓄積メモリ２６０のサイズを削減することが可能であるが、ＩＤＣＴ処理結果の画像サイズが本来の画像サイズと異なるために、次数を削減したＩＤＣＴ処理以降の復号処理を、画像サイズが異なることを考慮した処理に変更する必要がある。

また、特許文献１の技術でも、蓄積メモリ２６０のサイズを削減することが可能であるが、逆量子化回路２２０の後段に特殊な０割当回路２２５を配置して、低周波成分のＤＣＴ係数以外を０で埋めて新たなＮ×Ｎ行列のＤＣＴ係数とする特殊な構成であり、その結果、逆ＤＣＴ変換回路２３０以降の処理において拡大器２９０を必要とするなど、更に特殊な処理を施す必要がある。

つまり、前記２つの従来技術では、蓄積メモリのサイズを有効に削減できるものの、既存の映像再生装置の一部を変更する必要があって、その既存の映像再生装置をそのまま利用できない欠点がある。

更に、特許文献１では、映像表示器２９２への再生画像データの出力単位は、その再生画像データを出力する加算器２４０に連なる動き補償部２８０での動き補償処理の単位、又は逆ＤＣＴ変換回路２３０でのＩＤＣＴ処理の単位に依存しており、これらの処理単位は、ＭＰＥＧなどでは通常８×８画素のブロックとなる。しかし、映像表示器２９２に映像を表示する際には、ライン単位で画素データを映像表示器２９２に出力する必要があるため、少なくとも１ライン分の画素データが表示用メモリ２９１に蓄積されて出揃うまでの間、映像表示器２９２への画素データの出力を待機する必要がある。従って、特許文献１では、蓄積メモリ２６０とは別途に画像表示専用の表示用メモリ２９１が必要であったり、前記のような待機などを考慮した特別な処理が必要となって、通常の表示出力制御でもって映像表示できない欠点がある。

以上の欠点に鑑み、本発明の第１の目的は、符号化映像データからの再生映像データを得るまでの復号処理を従来のスケーラブルデコーダや０割当回路を持たない通常の処理で行いながら、フレームメモリ等の映像メモリのサイズを有効に削減することにある。

また、本発明の第２の目的は、前記第１の目的に加えて、映像表示専用の表示メモリを別途設ける必要がなく且つ通常の映像表示制御が可能な映像再生装置を提供することにある。

前記第１の目的を達成するため、本発明では、符号化映像データの復号処理を通常の処理で行い、その復号処理で得た画像空間の再生映像データを再度周波数変換して周波数係数データとし、この周波数係数データを圧縮して、この圧縮データを映像メモリに記憶する構成とする。

更に、前記第２の目的を達成するため、本発明では、前記圧縮データを記憶した映像メモリを映像表示用の表示メモリとして兼用して、その映像メモリ内の圧縮データに基づいて映像表示器に映像表示する。

すなわち、請求項１記載の発明の映像再生装置は、入力された符号化映像データを再生する映像再生装置であって、前記入力された符号化映像データを復号し、その復号映像データを参照映像データと合成して再生映像データを得る符号化映像復号手段と、前記符号化映像復号手段で生成された再生映像データを圧縮して圧縮映像データを生成する圧縮手段と、前記圧縮手段で生成された圧縮映像データを記憶する映像メモリと、前記映像メモリに記憶された所定の圧縮映像データを読み出して伸長し、その伸長映像データを前記参照映像データの生成用として前記符号化映像復号手段に出力する伸長手段とを備え、前記圧縮手段は、前記符号化映像復号手段で得られた再生映像データを水平方向及び垂直方向のうち何れか一方向に周波数変換して周波数係数データを生成する周波数変換手段と、前記周波数変換手段で生成された周波数係数データを圧縮して前記圧縮映像データを生成する周波数圧縮手段とを含み、前記伸長手段は、前記映像メモリから読み出した前記圧縮映像データを伸長して、伸長周波数係数データを生成する周波数伸長手段と、前記周波数伸長手段で生成された伸長周波数係数データを映像データに変換する逆周波数変換を行って、前記伸長映像データを生成する逆周波数変換手段とを含むことを特徴とする。

請求項２記載の発明は、前記請求項１記載の映像再生装置において、前記映像メモリの圧縮映像データを読み出し、この読み出した圧縮映像データを映像表示形式に応じた映像表示可能なデータに変換して、映像表示器に出力する映像出力手段を備えたことを特徴とする。

請求項３記載の発明は、前記請求項１記載の映像再生装置において、前記周波数圧縮手段は、前記周波数変換手段からの複数の周波数係数データのうち所定の低周波数側の周波数係数データのみを残し、この低周波数側の周波数係数データに対して、前記周波数変換手段の周波数変換の次数未満の次数で逆周波数変換を行って、前記圧縮映像データを生成し、前記周波数伸長手段は、前記映像メモリから読み出した前記圧縮映像データに対して、前記周波数変換手段の周波数変換の次数未満の次数で周波数変換を行い、この周波数変換した圧縮映像データに対して、前記周波数圧縮手段で残さなかった高周波数側の周波数係数データとして０を補間して、前記伸長周波数係数データを生成することを特徴とする。

請求項４記載の発明は、前記請求項１記載の映像再生装置において、前記周波数圧縮手段は、前記周波数変換手段からの各周波数係数データを表現するビット数を、高周波側の周波数係数データほど少ビット数に設定する圧縮処理を行い、この圧縮処理後の圧縮周波数係数データを前記圧縮映像データとして生成し、前記周波数伸長手段は、前記映像メモリから読み出した前記圧縮映像データを伸長して、伸長周波数係数データを生成することを特徴とする。

請求項５記載の発明は、前記請求項１記載の映像再生装置において、前記周波数圧縮手段は、前記周波数変換手段からの各周波数係数データについて、その有するエネルギーが出現頻度の高い所定エネルギー帯に属さない周波数係数データの表現精度を、前記所定エネルギー帯に属する周波数係数データよりも粗く設定する圧縮処理を行い、この圧縮処理後の圧縮周波数係数データを前記圧縮映像データとして生成し、前記周波数伸長手段は、前記映像メモリから読み出した前記圧縮周波数係数データを伸長して、伸長周波数係数データを生成することを特徴とする。

請求項６記載の発明は、前記請求項１記載の映像再生装置において、前記周波数圧縮手段は、前記周波数変換手段からの各周波数係数データについて、その有するエネルギーが出現頻度の高い所定エネルギー帯に属する周波数係数データのみに対して、所定の表現ビットを割り当てる圧縮処理を行い、この圧縮処理後の圧縮周波数係数データを前記圧縮映像データとして生成し、前記周波数伸長手段は、前記映像メモリから読み出した前記圧縮周波数係数データを伸長して、伸長周波数係数データを生成することを特徴とする。

請求項７記載の発明は、前記請求項１記載の映像再生装置において、前記周波数圧縮手段は、前記周波数変換手段からの周波数係数データを受け、互いに隣接する周波数係数データ同士の差分を演算する圧縮処理を行い、この圧縮処理後の差分の圧縮周波数係数データを前記圧縮映像データとして生成し、前記周波数伸長手段は、前記映像メモリから読み出した前記圧縮映像データを伸長して、伸長周波数係数データを生成することを特徴とする。

請求項８記載の発明は、前記請求項５又は６記載の映像再生装置において、別途、圧縮特性制御手段を有し、前記圧縮特性制御手段は、前記周波数変換手段で生成された各周波数係数データ別にその有するエネルギーの出現頻度を解析し、その出願頻度に応じて各周波数係数データ別に前記周波数圧縮手段での圧縮処理の圧縮特性を決定し、前記周波数圧縮手段は、前記圧縮特性制御手段が決定した圧縮特性に基づいて処理動作を行うことを特徴とする。

以上により、請求項１〜８記載の発明では、周波数空間データである符号化映像データが符号化映像復号手段に入力されて復号されて、映像空間データである通常の（図９に示した従来の０割当回路で処理されない）復号映像データ（差分データ）が得られると、圧縮手段では、周波数変換手段が前記復号映像データを再度周波数係数データに変換した後、その周波数係数データが周波数圧縮手段で圧縮されて、その結果の圧縮映像データが映像メモリに記憶される。この映像メモリに記憶された圧縮映像データの所定の一部は、伸長手段により前記圧縮手段の処理とは逆処理されて伸長映像データが生成され、この伸長映像データが参照映像データの生成用として符号化映像復号手段に入力されて参照映像データが生成され、この参照映像データと復号映像データ（差分データ）とが合成されて、再生映像データが得られる。

従って、符号化映像復号手段により通常の再生映像データを得ながら、映像メモリには、圧縮手段で圧縮された圧縮映像データが記憶されるので、符号化映像復号手段を従来の０割当回路を持たない通常の回路構成として符号化映像データの復号処理を変更することなく、圧縮手段及び伸長手段を追加するだけで、画質劣化を抑えながら映像メモリに記憶するデータ容量を小規模にできて、映像メモリのサイズが削減される。

特に、請求項２記載の発明では、映像メモリの内部には、符号化映像復号手段で今回得られた再生映像データだけでなく、前回以前に既に得られた多数の圧縮映像データが記憶されていて、この映像メモリに記憶された多数の圧縮映像データが映像表示器への映像表示用の基礎として使用されるので、従来のように符号化映像データの復号処理のタイミングに依存して最低限１水平ライン分の再生映像データが出揃うまで映像表示処理を待機する必要がない。しかも、映像メモリとは別途に映像表示専用の表示メモリを設ける必要がない。

以上説明したように、請求項１〜８記載の発明の映像再生装置によれば、符号化映像復号手段を従来のスケーラブルデコーダや０割当回路を持たない通常の回路構成として、符号化映像データの復号処理を変更することなく、圧縮手段及び伸長手段を追加するだけで、画質劣化を抑えながら映像メモリに記憶するデータ容量を小規模にできて、映像メモリのサイズの削減が可能である。

特に、請求項２記載の発明によれば、従来のように最低限１水平ライン分の再生映像データが出揃うまで映像表示処理を待機する必要がないので、符号化映像データの復号処理のタイミングに依存することなく、映像表示器への映像表示が可能であると共に、映像表示専用の表示メモリを設ける必要がない。

以下、本発明の実施形態の映像再生装置を図面に基づいて説明する。

（実施形態１）
図１及び図２は本実施形態の映像再生装置の全体構成を示す。

図１及び図２において、１１０は符号化映像復号回路、１３０は本発明でのサイズ削減対象であるフレームメモリ（映像メモリ）である。前記符号化映像復号回路１１０は、符号化映像データ１０１を受け、この符号化映像データ１０１を復号して、その復号結果の映像データである復号映像データ（差分画素データ）を得ると共に、この復号映像データに所定の参照映像データを合成して再生映像データ１１１を生成する。

前記符号化映像復号回路１１０の内部には、図１に示すように、可変長復号回路２１０と、逆量子化回路２２０と、ＩＤＣＴ回路２３０と、加算器２４０と、動き補償部２８０とを備える。すなわち、符号化映像復号回路１１０は、図９に示した従来の映像再生装置の構成から判るように、符号化映像復号回路３００の逆量子化回路２２０と逆ＤＣＴ変換回路２３０との間に配置された０割当回路２２５が省略された通常の構成を持つ。

前記符号化映像復号回路１１０において、可変長復号回路２１０は、符号化映像データ１０１を受け、この受けた符号化映像データ１０１を可変長復号して量子化ＤＣＴ係数を得ると共に、前記所定の参照映像データを得るための参照映像制御信号１１２を生成する。また、前記逆量子化回路２２０は、前記可変長復号回路２１０からの量子化ＤＣＴ係数を逆量子化して、Ｎ×Ｎ行列のＤＣＴ係数を得る。更に、ＩＤＣＴ回路２３０は、前記逆量子化回路２２０からのＤＣＴ係数を逆ＤＣＴ処理してＮ×Ｎ行列の差分画素データを得る。動き補償部２８０は、前記可変長復号回路２１０で生成された参照映像制御信号１１２を受け、この参照映像制御信号１１２の制御内容に基づいてフレームメモリ１３０から所定の記憶データを読み出し、動き補償して、参照映像データ２８１として加算器２４０に出力する。加算回路２４０は前記ＩＤＣＴ回路２３０からの差分画素データと、前記動き補償部２８０からの参照映像データ２８１とを加算して、再生映像データ１１１を出力する。

図１及び図２では、前記符号化映像復号回路１１０に加えて、圧縮回路Ａと、伸長回路Ｂと、映像出力回路１５０とが追加される。

前記圧縮回路Ａは、周波数変換回路１２０と、周波数圧縮回路１６０とを備える。前記周波数変換回路１２０は、前記符号化映像復号回路１１０で周波数空間データから画像空間データに変換された復号映像データ１１１を再度周波数変換して、各周波数係数データ１２１を生成する。また、周波数圧縮回路１６０は、前記周波数変換回路１２０で生成された各周波数係数データ１２１について、低周波数側の周波数係数データ１２１のみを残してデータ量を削減し、その上で、このデータ量を削減した各周波数係数データ１２１に対し、前記周波数変換回路１２０の変換処理での次数未満の次数で逆周波数変換を行って、圧縮映像データ１６１を生成する。これ等の圧縮映像データ１６１は、前記フレームメモリ１３０に出力されて記憶される。

更に、前記伸長回路Ｂは、周波数伸長回路１４０と、逆周波数変換回路１７０とを備える。前記周波数伸長回路１４０は、前記符号化映像復号回路１１０の可変長復号回路２１０で生成された参照映像制御信号１１２を受け、この参照映像制御信号１１２に基づいて前記フレームメモリ１３０に記憶された圧縮映像データ１３１のうち一部を読み出して、この読み出した圧縮映像データ１３１に対して、前記周波数変換回路１２０の変換処理での次数未満の次数で周波数変換を行って周波数空間データである複数の圧縮映像データとし、その上で、この周波数変換した圧縮映像データについて、各々、前記周波数圧縮回路１６０で残さなかった高周波数側の周波数係数データ１２１として０として補間して、各伸長周波数係数データ１４１を生成する。また、前記逆周波数変換回路１７０は、生成された前記各伸長周波数係数データ１４１に対して前記周波数変換回路１２０の変換処理と逆の変換処理を行って、伸長映像データ１７１を生成する。この伸長映像データ１７１は、参照映像データの生成用として、前記符号化映像復号回路１１０の動き補償部２８０に入力される。

前記映像出力回路１５０は、前記フレームメモリ１３０に記憶された圧縮映像データ１３２を読み出し、この圧縮映像データ１３２をそのまま縦又は横に拡大処理を行った後、ＰＡＬ方式などの表示可能なデータに変換して、映像表示器２９２に出力する。

次に、本実施の形態の映像再生装置の動作を説明する。ここでは、フレームメモリ１３０のサイズを２分の１に圧縮する場合を例示して図３に基づいて説明する。

符号化映像復号回路１１０では、符号化映像データ１０１に施された可変長符号化、量子化、ＤＣＴ等の処理後の符号化映像データ１０１に対して復号処理を行って、復号映像データを得た後、参照映像データ２８１を加算して、再生映像データ１１１を生成すると共に、その復号処理に必要となる参照映像データをフレームメモリ１３０から読み出すための参照映像制御信号１１２を生成する。ＭＰＥＧなどでは、符号化映像復号回路１１０でのＩＤＣＴ処理は８×８画素単位の処理となっており、このため、圧縮回路Ａに入力される再生映像データ１１１も８×８画素単位で入力される。

圧縮回路Ａでは、前記８×８画素単位の再生映像データ１１１を受けた周波数変換回路１２０は、その８×８画素単位のうち、水平方向に隣接する８画素についてＤＣＴ変換処理を行って、８個の周波数係数データ１２１を生成する。この場合のＤＣＴ変換行列は８×８の行列で表され、ＤＣＴ変換処理は１×８の画素データに８×８行列のＤＣＴ行列をかける行列演算で表される。

更に、圧縮回路Ａでは、周波数圧縮回路１６０が、得られた８個の周波数係数データ１２１のうち、高周波数側の４個の周波数係数データ１２１を無視し、低周波数側の４個の周波数係数データ１２１のみを記憶対象として、情報量を２分の１に圧縮し、更に、この圧縮された周波数係数データ１２１に対して次数を削減したＩＤＣＴ変換処理を行って、４画素分の画素データを生成する。この場合のＩＤＣＴ変換行列は４×４行列で表され、ＩＤＣＴ変換処理は１×４の周波数係数データに４×４行列のＩＤＣＴ行列をかける行列演算で表される。この４画素分の画素データは、圧縮映像データ１６１として、フレームメモリ１３０に記憶される。

伸長回路Ｂでは、符号化映像復号回路１１０からの参照映像制御信号１１２に基づいて、符号化映像復号回路１１０から要求された伸長映像データ１７１を生成する。具体的には、先ず、周波数伸長回路１４０が、周波数圧縮回路１６０での処理単位に合わせて、フレームメモリ１３０上から読み出す圧縮映像データ１３１として水平方向に隣接する画素データを４画素単位で読み出し、この４画素の圧縮映像データ１３１に対して、次数を削減したＤＣＴ変換処理を行って、４個の周波数係数データを復元する。この場合のＤＣＴ変換行列は前記４×４行列のＩＤＣＴ行列の転置行列である４×４行列で表され、ＤＣＴ変換処理は１×４行列の画素データに４×４行列のＤＣＴ行列をかける行列演算で表される。更に、周波数伸長回路１４０は、この復元した４個の周波数係数データについて、前記周波数圧縮回路１６０で無視して捨て去られた高周波数側の４個の周波数係数データとして０で補間して、伸長周波数係数データ１４１を生成する。従って、この伸長周波数係数データ１４１は、低周波数側の４個の周波数係数データは復元した周波数係数データ自体であり、高周波数側の４個の周波数係数データは０である８個の周波数係数データから成る。

更に、伸長回路Ｂでは、逆周波数変換回路１７０が、前記伸長周波数係数データ１４１に対して、前記周波数変換回路１２０の変換処理と逆の変換処理であるＩＤＣＴ変換処理を行う。この場合のＩＤＣＴ変換行列は前記８×８行列のＤＣＴ行列の転置行列である８×８行列で表され、ＩＤＣＴ変換処理は１×８行列の伸長周波数係数データ１４１に８×８行列のＩＤＣＴ行列をかける行列演算で表される。この結果、８個の画素データが生成される。この８個の画素データは、前記周波数変換回路１２０に入力される水平方向に隣接する８画素の再生映像データ１１１と位置的に同等であって、伸長映像データ１７１として、符号化映像復号回路１１０に入力される。

以上の処理を行うことにより、フレームメモリ１３０には、符号化映像データ１０１を復号した再生映像データ１１１を水平方向に２分の１に圧縮した圧縮映像データ１６１が記憶される。従って、フレームメモリ１３０のサイズは、本来のデータ量の２分の１に削減できる。

映像出力回路１５０は、前記フレームメモリ１３０に記憶された圧縮映像データ１６１を水平方向に読み出し、ＰＡＬ等の表示可能な映像形式に変換した後、水平方向に２分の１に解像度変換された映像として映像表示器２９２に出力したり、又は、水平方向の解像度を本来の解像度に復元するために横２倍拡大処理を行い、表示可能な映像形式に変換した後、映像表示器２９２に出力する。尚、映像出力回路１５０での映像拡大方法については、フレームメモリ１３０から読み出した圧縮映像データ１３２に対して、前記周波数伸長回路１４０及び逆周波数変換回路１７０と同様の処理方法で水平方向に伸長することも可能である。

次に、本実施の形態の映像再生装置の動作について、フレームメモリ１３０のサイズを４分の３に圧縮する場合を図４に例示して説明する。

この場合において、前記２分の１に圧縮する場合と異なる点は、周波数圧縮回路１６０が、水平方向の８個の画素データに対応する８個の周波数係数データ１２１のうち、高周波数側の２個の周波数係数データ１２１を無視し、低周波数側の６個の周波数係数データ１２１のみを記憶対象として、情報量を４分の３に圧縮し、更に、この圧縮された周波数係数データ１２１に対して次数を削減したＩＤＣＴ変換処理を行い、６画素分の画素データを生成する点と、この６画素分の画素データが圧縮映像データ１６１としてフレームメモリ１３０に記憶される点と、周波数伸長回路１４０が、前記フレームメモリ１３０に記憶された６画素分の画素データについて次数を削減したＤＣＴ変換処理を行って６個の周波数係数データを復元した後、この復元した６個の周波数係数データに対して、無視して捨て去られた高周波数側の２個の周波数係数データ１２１として０を補間して伸長周波数係数データ１４１を生成する点である。従って、フレームメモリ１３０のサイズは、本来のデータ量の４分の３に削減される。

尚、以上の説明では、水平方向に２分の１の圧縮や４分の３の圧縮を行って、フレームメモリ１３０のサイズを削減したが、本発明はこれ等に限定されず、圧縮率は任意に決定できるのは勿論のこと、圧縮の方向も水平方向だけでなく垂直方向に圧縮する場合であっても良い。

更に、周波数圧縮回路１６０及び周波数伸長回路１４０は、本実施形態の構成に限定されず、その他、例えば、周波数圧縮回路１６０では隣接する周波数係数データ１２１間の差分を記憶し、周波数伸長回路１４０ではそれ等の差分データから元の周波数係数データを復元する構成を採用しても良い。

（実施形態２）
次に、本発明の実施の形態２の映像再生装置について説明する。尚、本実施形態の映像再生装置の全体構成は図１及び図２と同様であるので、その図示は省略する。本実施形態では、データの圧縮及び伸長に関する周波数圧縮回路１６０及び周波数伸長回路１４０が異なる。

本実施形態では、周波数圧縮回路１６０は、図５に示すデータの周波数圧縮特性に基づいて、圧縮対象である周波数係数データ１２１を圧縮し、この圧縮後の周波数係数データをフレームメモリ１３０に記憶する。また、周波数伸長回路１４０では、フレームメモリ１３０から読み出した圧縮映像データ１３１を図５の圧縮特性と逆の特性で伸長する。

以下、具体的に説明する。周波数変換回路１２０から出力される８個の周波数係数データ１２１について、説明の便宜上、低周波数側から係数Ａ、係数Ｂ、…係数Ｈと呼ぶ。これらの周波数係数データ１２１は、各々、例えば８ビットの精度を持つとすると、各周波数係数データのビット精度を、図５の圧縮特性に従って、低周波数側の周波数係数データほどビット精度を高くする。例えば、周波数側の係数Ａでは図５の圧縮特性Ａに従って８ビット、係数Ｂでは７ビットに設定し、最終的に係数Ｈでは１ビットに設定する。

以上のビット精度の削減により、１係数当り８ビットの精度を持つ８個の周波数係数データ１２１では、合計６４ビットの入力情報を合計３６ビットに圧縮することが可能である。尚、前述のビット精度の割り当ては１つの例示であり、自由にビット精度を割り当てて、データの圧縮を行うことが可能であるのは勿論である。

（実施形態３）
続いて、本発明の実施形態３の映像再生装置を説明する。

図６は、本発明の実施の形態３の映像再生装置の構成を示す。同図が実施形態１の映像再生装置（図２）と異なる点は、圧縮特性制御回路４８０が追加されている点である。

前記圧縮特性制御回路４８０は、圧縮対象となる映像の特性に合わせて圧縮特性を変更するものである。この圧縮特性制御回路４８０は、周波数変換回路１２０からの周波数係数データ１２１に基づいて圧縮特性を決定し、この決定した圧縮特性に基づく圧縮特性制御信号４８１、４８２を各々周波数圧縮回路１６０及び周波数伸長回路１４０に出力する。

前記圧縮特性制御回路４８０は、各周波数係数データ１２１別に出現するエネルギーの頻度をサンプルして累積し、この累積したエネルギーの出現頻度を解析して、その出現頻度の低いエネルギー付近の表現精度を粗くするように、圧縮特性を決定する。図７（ａ）は、このようなエネルギー出現頻度と圧縮特性との関係を示す。同図では、１つの周波数係数データ１２１に注目して、所定の一定時間内に出現するエネルギー値の頻度を累積した場合に、出現頻度に偏りが生じていることを例示している。同図（ａ）では、エネルギー帯Ｅ０〜Ｅ１の間で出現頻度が高い結果が得られているので、圧縮特性制御回路４８０は、同図（ｂ）の入力−出力グラフに例示するように、圧縮特性を前記エネルギー帯Ｅ０〜Ｅ１では精度をそのままとし、それ以外のエネルギー帯では精度を落とすように決定する。同図（ｂ）では、注目している１つ周波数係数データ１２１を１ビット圧縮するために、元々８（０〜２５５）ビットで表現されている周波数係数データ１２１を７（０〜１２７）ビットの周波数係数データ１２１とするように変換されている。

尚、本圧縮特性制御回路４８０は、図８に示すように、エネルギー出現頻度と圧縮特性との関係として、エネルギー値の出現頻度に閾値を設けて、閾値を越える出現頻度のエネルギー帯Ｅ０〜Ｅ１にのみ変換後の精度を与えるように、圧縮特性を決定しても良い。

以上説明したように、本発明は、符号化映像データの復号処理を変更することなく、圧縮手段及び伸長手段を追加するだけで、画質劣化を抑えながら映像メモリのサイズの削減が可能であり、また映像表示専用の表示メモリを設ける必要がないので、高画質で低コストな映像再生装置として有用である。

本発明の実施の形態１の映像再生装置の全体構成を示す図である。同映像再生装置の要部の内部構成を示す図である。同映像再生装置においてフレームメモリに記憶する映像データの２分の１圧縮の処理フローを示す図である。同映像データの４分の３圧縮の処理フローを示す図である。本発明の実施の形態２の映像再生装置における映像データの圧縮特性を示す図である。本発明の実施の形態３の映像再生装置の全体構成を示す図である。同映像再生装置における周波数係数データのエネルギー出現頻度と圧縮特性との関係を示す図である。同周波数係数データのエネルギー出現頻度と圧縮特性との関係の変形例を示す図である。従来の映像再生装置の全体構成を示す図である。

１０１符号化映像データ
１１０符号化映像復号回路（符号化映像復号手段）
１１１復号映像データ
１１２参照映像制御信号
１２０周波数変換回路（周波数変換手段）
１２１周波数係数データ
１３０フレームメモリ（映像メモリ）
１４０周波数伸長回路（周波数伸長手段）
１４１伸長周波数係数データ
１５０映像出力回路（映像出力手段）
１６０周波数圧縮回路（周波数圧縮手段）
１６１圧縮映像データ
１７０逆周波数変換回路（逆周波数変換手段）
１７１伸長映像データ
２１０可変長復号化回路
２２０逆量子化回路
２３０ＩＤＣＴ回路
２４０加算器
Ａ圧縮回路（圧縮手段）
Ｂ伸長回路（伸長手段）
２８０動き補償部
２８１参照映像データ
２９２映像表示器
４８０圧縮特性制御回路（圧縮特性制御手段）
４８１圧縮特性制御信号

Claims

入力された符号化映像データを再生する映像再生装置であって、
前記入力された符号化映像データを復号し、その復号映像データを参照映像データと合成して再生映像データを得る符号化映像復号手段と、
前記符号化映像復号手段で生成された再生映像データを圧縮して圧縮映像データを生成する圧縮手段と、
前記圧縮手段で生成された圧縮映像データを記憶する映像メモリと、
前記映像メモリに記憶された所定の圧縮映像データを読み出して伸長し、その伸長映像データを前記参照映像データの生成用として前記符号化映像復号手段に出力する伸長手段とを備え、
前記圧縮手段は、
前記符号化映像復号手段で得られた再生映像データを水平方向及び垂直方向のうち何れか一方向に周波数変換して周波数係数データを生成する周波数変換手段と、
前記周波数変換手段で生成された周波数係数データを圧縮して前記圧縮映像データを生成する周波数圧縮手段とを含み、
前記伸長手段は、
前記映像メモリから読み出した前記圧縮映像データを伸長して、伸長周波数係数データを生成する周波数伸長手段と、
前記周波数伸長手段で生成された伸長周波数係数データを映像データに変換する逆周波数変換を行って、前記伸長映像データを生成する逆周波数変換手段とを含む
ことを特徴とする映像再生装置。
前記請求項１記載の映像再生装置において、
前記映像メモリの圧縮映像データを読み出し、この読み出した圧縮映像データを映像表示形式に応じた映像表示可能なデータに変換して、映像表示器に出力する映像出力手段を備えた
ことを特徴とする映像再生装置。
前記請求項１記載の映像再生装置において、
前記周波数圧縮手段は、
前記周波数変換手段からの複数の周波数係数データのうち所定の低周波数側の周波数係数データのみを残し、この低周波数側の周波数係数データに対して、前記周波数変換手段の周波数変換の次数未満の次数で逆周波数変換を行って、前記圧縮映像データを生成し、
前記周波数伸長手段は、
前記映像メモリから読み出した前記圧縮映像データに対して、前記周波数変換手段の周波数変換の次数未満の次数で周波数変換を行い、この周波数変換した圧縮映像データに対して、前記周波数圧縮手段で残さなかった高周波数側の周波数係数データとして０を補間して、前記伸長周波数係数データを生成する
ことを特徴とする映像再生装置。
前記請求項１記載の映像再生装置において、
前記周波数圧縮手段は、
前記周波数変換手段からの各周波数係数データを表現するビット数を、高周波側の周波数係数データほど少ビット数に設定する圧縮処理を行い、この圧縮処理後の圧縮周波数係数データを前記圧縮映像データとして生成し、
前記周波数伸長手段は、
前記映像メモリから読み出した前記圧縮映像データを伸長して、伸長周波数係数データを生成する
ことを特徴とする映像再生装置。
前記請求項１記載の映像再生装置において、
前記周波数圧縮手段は、
前記周波数変換手段からの各周波数係数データについて、その有するエネルギーが出現頻度の高い所定エネルギー帯に属さない周波数係数データの表現精度を、前記所定エネルギー帯に属する周波数係数データよりも粗く設定する圧縮処理を行い、この圧縮処理後の圧縮周波数係数データを前記圧縮映像データとして生成し、
前記周波数伸長手段は、
前記映像メモリから読み出した前記圧縮周波数係数データを伸長して、伸長周波数係数データを生成する
ことを特徴とする映像再生装置。
前記請求項１記載の映像再生装置において、
前記周波数圧縮手段は、
前記周波数変換手段からの各周波数係数データについて、その有するエネルギーが出現頻度の高い所定エネルギー帯に属する周波数係数データのみに対して、所定の表現ビットを割り当てる圧縮処理を行い、この圧縮処理後の圧縮周波数係数データを前記圧縮映像データとして生成し、
前記周波数伸長手段は、
前記映像メモリから読み出した前記圧縮周波数係数データを伸長して、伸長周波数係数データを生成する
ことを特徴とする映像再生装置。
前記請求項１記載の映像再生装置において、
前記周波数圧縮手段は、
前記周波数変換手段からの周波数係数データを受け、互いに隣接する周波数係数データ同士の差分を演算する圧縮処理を行い、この圧縮処理後の差分の圧縮周波数係数データを前記圧縮映像データとして生成し、
前記周波数伸長手段は、
前記映像メモリから読み出した前記圧縮映像データを伸長して、伸長周波数係数データを生成する
ことを特徴とする映像再生装置。
前記請求項５又は６記載の映像再生装置において、
別途、圧縮特性制御手段を有し、
前記圧縮特性制御手段は、
前記周波数変換手段で生成された各周波数係数データ別にその有するエネルギーの出現頻度を解析し、その出願頻度に応じて各周波数係数データ別に前記周波数圧縮手段での圧縮処理の圧縮特性を決定し、
前記周波数圧縮手段は、前記圧縮特性制御手段が決定した圧縮特性に基づいて処理動作を行う
ことを特徴とする映像再生装置。