JP4315731B2 - 画像復号表示装置 - Google Patents

画像復号表示装置 Download PDF

Info

Publication number
JP4315731B2
JP4315731B2 JP2003139400A JP2003139400A JP4315731B2 JP 4315731 B2 JP4315731 B2 JP 4315731B2 JP 2003139400 A JP2003139400 A JP 2003139400A JP 2003139400 A JP2003139400 A JP 2003139400A JP 4315731 B2 JP4315731 B2 JP 4315731B2
Authority
JP
Japan
Prior art keywords
sector
frame
field
display
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003139400A
Other languages
English (en)
Other versions
JP2004343553A (ja
Inventor
良平 大河原
明彦 高畠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Technology Corp
Original Assignee
Renesas Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Technology Corp filed Critical Renesas Technology Corp
Priority to JP2003139400A priority Critical patent/JP4315731B2/ja
Priority to US10/730,907 priority patent/US7346112B2/en
Publication of JP2004343553A publication Critical patent/JP2004343553A/ja
Application granted granted Critical
Publication of JP4315731B2 publication Critical patent/JP4315731B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/427Display on the fly, e.g. simultaneous writing to and reading from decoding memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、符号化された動画像の画像データを復号処理して表示する画像復号表示装置に関するものである。
【0002】
【従来の技術】
動画像の符号化は、よく知られているように、国際標準規格であるMPEG−2に準拠して行われている。この符号化された動画像の画像データを復号処理して表示する画像復号表示装置では、フレームメモリの用い方が重要であることから、フレームメモリの制御方法に関して従来から各種の提案がなされている(例えば特許文献1,2)。
【0003】
ここでは、この発明の理解を容易にするため、図11〜図14を参照して、従来実施されているフレームメモリの制御方法について、その概要を説明する。なお、図11は、従来の画像復号表示装置の構成例を示すブロック図である。図12は、図11に示すフレームメモリのバンク#2における画像データとセクタとの対応関係を説明する図である。図13は、図11に示すFIFにおけるセクタ管理装置の構成を示すブロック図である。図14は、図11に示す画像復号表示装置において実施される1セクタリリースモードの動作例を説明するタイムチャートおよびセクタ使用量遷移を説明する図である。
【0004】
図11に示す従来の画像復号表示装置は、全体制御部(以下「SEQ」と記す)101と、画像復号部(以下「VDEC」と記す)102と、フレームメモリ制御部(以下「FIF」と記す)103と、フレームメモリ(Frame Memory)104と、ビデオインターフェイス部(以下「VIF」と記す)105とを備えている。なお、図中、点線矢印は、画像データの流れる方向を示し、細い実線矢印は、制御指示または制御関連情報信号の入出力を示している。
【0005】
SEQ101は、外部からの動作モード指示に従い、画像復号表示装置各部の制御を行う。すなわち、SEQ101は、VDEC102に対しては、制御指示(a)を出力し、画像復号の開始指示と停止指示とを行う。SEQ101は、FIF103から表示出力ラインやセクタ管理情報を含むフレームメモリ管理情報(b)を受けて、FIF103に対し制御指示(c)を出力し、復号画像の書き込みバンク指示、表示画像の読み出しバンク指示、バンク#2のセクタ管理指示などを行う。
【0006】
VDEC102は、外部から入力される画像符号化データを復号処理し、生成される復号画像データをFIF103に出力する。FIF103は、VDEC102から転送される復号画像データをフレームメモリ104に格納(write)する。また、その復号画像データを読み出し(read)、VIF105に出力する。VIF105は、FIF103から転送される復号画像データをフォーマット変換して表示画像データを生成し、外部表示装置に出力する。
【0007】
フレームメモリ104は、3つのバンク(#0,#1,#2)で構成されている。そのうち、バンク#0とバンク#1は、それぞれ、1フレーム分の画像データを記憶する容量を持ち、予測画像として用いられるIフレームとPフレームを記憶するために用いられる。また、バンク#2は、予測画像として用いないフレーム、つまり通常ビデオ再生におけるBフレームを格納するために用いられる。バンク#2は、図示するように複数のセクタ(セクタ0〜セクタm)に分割されて管理される。そして、分割されるセクタの数は、0.5フレーム分以上の容量で可変設定が可能である。
【0008】
次に、図12を参照して、フレームメモリ104のバンク#2における画素データとセクタとの対応関係を説明する。図12では、NTSCサイズに対応して示されおり、1フレームの解像度が720画索×480画素となっている。
【0009】
図12に示すように、トップフィールド(top)16画索×8ラインとボトムフィールド(bot)16画素×8ラインを合わせたものが、符号化データの最小単位となっているマクロブロック120である。
【0010】
図12に示す例では、トップフィールド720画素×8ラインをトップフィールド(top)用の1セクタに対応させ、ボトムフィールド720画素×8ラインをボトムフィールド(bot)用の1セクタに対応させ、それぞれ、その1セクタを単位として水平方向における45個のマクロブロック(以降「マクロブロックライン」と呼ぶ)のデータを記憶することが示されている。
【0011】
次に、FIF103は、図13に示すセクタ管理装置を備え、フレームメモリ104のバンク#2に対して復号画像の書き込み動作と読み出し動作とを行うようになっている。
【0012】
図13に示すセクタ管理装置は、セクタ管理回路131と、複数のセクタ情報(#0〜#m)を保持するセクタ管理テーブル132とで構成されている。各セクタ情報は、そのセクタに格納されている画像データのフレームにおける垂直アドレス情報(垂直アドレス)133と、トップフィールドであるかボトムフィールドであるかを示すフィールドパリティ情報(トップ・ボトム)134と、2フレーム分のデータがバンク#2に混在する場合の識別に使用するフレーム番号情報(フレーム番号)135と、空きセクタか使用中セクタであるか否かを示す使用フラグ情報(使用フラグ)136とからなる。
【0013】
図13に示すセクタ管理装置は、固定マッピングモードと動的マッピングモードの2つのモードで動作する。しかし、この発明は、動的マッピングモードに関するものであるので、ここでは、動的マッピングモードについてのみ説明する。
【0014】
動的マッピングモードで動作している場合、セクタ管理回路131は、復号画像データの新たなマクロブロックラインをフレームメモリ104に書き込むときに、セクタ管理テーブル132を用いて未使用セクタを検索し、そのセクタ番号を外部に出力する。同時にそのセクタ対応のセクタ管理情報を更新し、使用状態とする。この操作は、セクタのアロケーションと称される。
【0015】
FIF103は、検索して取得した未使用セクタ番号をフレームメモリ104の書き込み位置に変換し、復号画像データを書き込む。また、FIF103は、表示用の画像データを読み出すときは、表示ラインに対応する画像データを記憶しているセクタをセクタ管理テーブル132を用いて検索し、そのセクタ番号を外部に出力するとともに、そのセクタから表示データを読み出して出力する。そして、FIF103は、全てのデータの出力が完了した時点でそのセクタの使用フラグをリセットする。このリセット操作は、セクタのリリースと称される。なお、セクタ管理回路131は、使用中のセクタ数情報を管理し、全てが使用中であるか否かを示すフラグ(セクタフルフラグ)を外部に出力するようになっている。
【0016】
次に、図14を参照して、従来の画像復号表示装置の動作について説明する。図14では、「復号フレーム」「表示フレーム」「復号バンク」「表示バンク」「セクタ初期化指示」「セクタアロケート指示」「セクタリリース指示」および「セクタ使用量」の関係がフィールド期間T0〜T15毎に示されている。
【0017】
まず、符号等の説明を行う。図14の最上部に示す「top/bot」は、それぞれビデオ出力のフィールドパリティを表している。Iは、フレーム間予測符号化がなくフレーム内で符号化されたIntra-coded Frame(Iフレーム)を示す。Pは、一方向でのフレーム間予測符号化されたPredictive-coded Frame(Pフレーム)を示す。このPフレームは、時間的に前のIフレームまたはPフレームからのフレーム間予測符号化が存在するフレームである。Bは、双方向でのフレーム間予測符号化されたBidirectional Predictive-coded Frame(Bフレーム)を示す。このBフレームは、時間的に前および後のIフレームまたはPフレームからのフレーム間予測符号化が存在するフレームである。
【0018】
また、I,P,Bに付された番号*は、そのフレームの表示順を示している。そして、I*t,I*bは、それぞれI*フレームのトップフィールドとI*フレームのボトムフィールドを示す。P*t,P*b、およびB*t,B*bも同様である。
【0019】
「復号バンク」とは、復号されたフレームが書き込まれるフレームメモリ104のバンクを表している。図示例で言えば、I2フレームがバンク#0に書き込まれるように指示され、P5フレームがバンク#1に書き込まれるように指示されていることになる。そして、図示するように、全てのBフレームは、予測画像として使用されないのでバンク#2に書き込まれるように指示される。
【0020】
「表示バンク」とは、表示のために画像データを読み出すバンクを表している。図示例で言えば、B1フレームを表示した後にI2フレームを表示するときは、そのフレームがバンク#0に格納されているので、「表示バンク」はバンク#0を指示することになる。
【0021】
「セクタアロケート指示」は、SEQ101からFIF103に出力される制御信号であり、復号画像をフレームメモリ104に書き込むフィールド期間では“1”レベルになり、書き込まないフィールド期間では“0”レベルとなる。図14においては、全てのフレームが2フィールド期間毎に復号されるので、「セクタアロケート指示」は、常に“1”レベルとなっている。
【0022】
FIF103は、この「セクタアロケート指示」が“1”レベルのときに、セクタ管理テーブル132を用いて、使用していないセクタを検索し、空きセクタに対して復号画像データを書き込む。同時にFIF103は、書き込みセクタ部分のセクタ管理テーブル132を使用状態に書き換え、画像位置、フィールドパリティ等の書き込み画像情報を更新する。
【0023】
「セクタリリース指示」は、SEQ101からFIF103に出力される制御信号である。FIF103は、動的マッピングモード時に、この「セクタリリース指示」に従ってセクタのリリースを行う。具体的には、「セクタリリース指示」は1フィールド期間単位で変化するが、「セクタリリース指示」が“1”レベルとなる表示フィールド期間のとき、FIF103はセクタの全データを表示出力した時点でそのセクタをリリースする。逆に「セクタリリース指示」が“0”レベルとなる表示フィールド期間では、セクタリリースを行わずそのデータを保持する。図14では、「セクタリリース指示」は、常に“1”レベルであるので、1セクタ毎にリリースが行われる。
【0024】
さて、フィールド期間T2において、B9フレームの復号が開始される。「セクタアロケート指示」が“1”レベルとなっているので、トップ・ボトム両フィールドの復号動作が進行し、復号されたデータが順次バンク#2の空きセクタに書き込まれて行く。また、同時にセクタ管理テーブル132の書き込みセクタに関する情報が更新される。
【0025】
これに伴い、使用セクタ数は増加していき、このフィールド期間T2の終わりには、それぞれのフィールドのデータ復号が約半分のところまで進むので、総使用セクタ数は、約1フィールド分となる。このB9フレームの書き込み開始時点では、フィールド期間T1の開始時に「セクタ初期化指示」によって初期化された直後であるので、全て空きセクタの状態から書き込みが始まる。
【0026】
次のフィールド期間T3では、引き続きB9フレームの復号が行われるとともに、B9フィールドのトップフィールドB9tの表示が行われる。表示データのフレームメモリ104からの読み出しのため、トップフィールドB9tのデータが格納されているセクタを検索し、表示を行う。このとき、「セクタリリース指示」が“1”レベルとなっているので、セクタ内の全てのデータを読み出し終えた時点で、そのセクタに関するセクタ管理テーブル132を更新し、空きセクタとしてリリースする。
【0027】
B9フレームのトップフィールドB9tのデータは、復号も引き続き行われるが、同時にこのフィールド期間T3にて1フィールド分の読み出しが行われるので、最終的にはフィールド期間T3の終わりに使用量はゼロとなる。一方、B9フレームのボトムフィールドB9bのデータは、1フレーム分の復号書き込みを終わり、かつまだ表示が行われていないので、1フィールド分のセクタを使用している状態となる。
【0028】
次のフィールド期間T4では、次のB10フレームの復号が行われると同時にB9フレームのボトムフィールドB9bの表示が行われる。「セクタアロケート指示」と「セクタリリース指示」の両方が“1”レベルとなっているので、B9フレームのときと同様に復号画像のセクタへの書き込みと表示データの読み出しとが行われる。したがって、B9のボトムフィールドB9bのデータによる使用セクタ数は、表示と共に減っていき、B10フレームのトップフィールドB10tとボトムフィールドB10bの両データによる使用セクタ数が増加していく。
【0029】
次のフィールド期間T5では、B10フレームの復号が引き続き行われると同時に、B10フレームのトップフィールドB10tの表示が行われる。したがって、B10のトップフィールドB10tのデータによる使用セクタ数が減って行き、このフィールド期間T5の最後には、B10フレームのボトムフィールドB10bのデータのみが1フィールド分のセクタを使用している状態になる。
【0030】
次のフィールド期間T6では、バンク#2への復号画像データの新たな書き込みはなく、B10フレームのボトムフィールドB10bの表示のみが行われる。したがって、残っていたボトムフィールドB10bのデータを読み出し、セクタをリリースして行く。これによって、このフィールド期間T6の終わりでは表示が完了し、全てのセクタが空となる。
【0031】
このフィールド期間T2からフィールド期間T6において、FIF103は、バンク#2の空きセクタがない場合は、復号画像データの書き込み動作を停止しなければならない。そのため、FIF103は、セクタ使用状況をSEQ101に出力する。SEQ101は、受け取ったセクタ使用状況を参照し、セクタが全て使用中のときは、VDEC102に復号動作を停止させるようにしている。
【0032】
【特許文献1】
特開平8−107482号公報(0017)
【特許文献2】
特開平9−284779号公報(0036)
【0033】
【発明が解決しようとする課題】
しかしながら、上記した従来のフレームメモリ制御方法では、画像の復号表示に必要なフレームメモリの容量を削減できるという利点はあるが、表示を終了したフィールド期間のデータは、そのフィールド期間内にリリースしてしまうので、表示画像が、インタレース素材である場合は問題ないが、プログレッシブ素材である場合には、画像をそれに最適な形で表示させることができない。
【0034】
また、SIFサイズの画像を拡大表示させることができないので、動的マッピングモードのままで、様々な画像を連続して復号表示することが不可能であるという問題もある。
【0035】
この発明は、上記に鑑みてなされたもので、動的マッピングというフレームメモリの制御方法を用いたままで、あらゆる属性の画像データの復号表示を連続して行うことができ、かつ画像本来の表示形態を実現することにより、画質の向上を図ることのできる画像復号表示装置を得ることを目的とする。
【0036】
【課題を解決するための手段】
上記目的を達成するため、この発明にかかる画像復号表示装置は、予測画像として用いないフレームの復号画像データを格納するフレームメモリを複数のセクタに分割して管理する分割管理手段と、前記フレームメモリの空きセクタを検索し、前記復号画像データにおけるトップフィールドデータとボトムフィールドデータとを別々の空きセクタに書き込む書込制御手段と、前記フレームメモリから復号画像データを読み出して表示する際に、前記フレームメモリのセクタ容量が表示する画像データの1フレーム以上ある場合には、その表示画像の最終表示フィールド期間においてトップフィールドデータを格納するセクタとボトムフィールドデータを格納するセクタとを同時にリリースする読み出し制御手段とを備えたことを特徴とする。
【0037】
この発明によれば、フレームメモリのセクタ容量が表示する画像データの1フレーム以上ある場合には、その表示画像の最終表示フィールド期間においてトップフィールドデータを格納するセクタとボトムフィールドデータを格納するセクタとを同時にリリースすることができる。したがって、動的マッピングモードのままで、プログレッシブ素材の画像でも色差信号を本来のプログレッシブ形式で出力できるようになる。また、SIFサイズ画像の拡大表示処理も可能になる。
【0038】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる画像復号表示装置の好適な実施の形態を詳細に説明する。
【0039】
図1は、この発明の一実施の形態である画像復号表示装置の構成を示すブロック図である。図1に示す画像復号表示装置は、全体制御部(以下「SEQ」と記す)11と、画像復号部(以下「VDEC」と記す)12と、フレームメモリ制御部(以下「FIF」と記す)13と、フレームメモリ(Frame Memory)14と、ビデオインターフェイス部(以下「VIF」と記す)15とを備えている。なお、図中、点線矢印は、画像データの流れる方向を示し、細い実線矢印は、制御指示または制御関連情報信号の入出力を示している。
【0040】
SEQ11は、外部からの動作モード指示に従い、画像復号表示装置各部の制御を行う。すなわち、SEQ11は、VDEC12に対しては、制御指示(a)を出力し、画像復号の開始指示と停止指示とを行う。SEQ11は、FIF13から表示出力ラインやセクタ管理情報を含むフレームメモリ管理情報(b)を受けて、FIF13に対し制御指示(c)を出力し、復号画像の書き込みバンク指示、表示画像の読み出しバンク指示、バンク#2のセクタ管理指示などを行う。
【0041】
VDEC12は、外部から入力される画像符号化データを復号処理し、生成される復号画像データをFIF13に出力する。その際に、VDEC12は、FIF13に対し、復号処理において検出した復号画像フレームの属性、画像サイズ、ピクチャストラクチャ、表示モードなどの復号画像パラメータを示す制御信号(d)を出力するようになっている。
【0042】
FIF13は、VDEC12から転送される復号画像データをフレームメモリ14に格納(write)する。また、その復号画像データを読み出し(read)、VIF15に出力する。VIF15は、FIF13から転送される復号画像データをフォーマット変換して表示画像データを生成し、外部表示装置に出力する。
【0043】
フレームメモリ14は、3つのバンク(#0,#1,#2)で構成されている。そのうち、バンク#0とバンク#1は、1フレーム分の画像データを記憶する容量を持ち、予測画像として用いられるI/Pフレームを記憶するために用いられる。また、バンク#2は、予測画像として用いないフレーム、つまり通常ビデオ再生におけるBフレームを格納するために用いられる。バンク#2は、図13に示すセクタ管理装置によって、複数のセクタ(セクタ0〜セクタm)に分割されて管理される。そして、分割されるセクタの数は、0.5フレーム分以上の容量で可変設定が可能である。
【0044】
ここに、SEQ11は、外部からの動作モード指示に従い、動作モードとして固定マッピングモードと動的マッピングモードとが制御できる。そして、動的マッピングモードでは、FIF13は、VDEC12が生成する制御信号(d)を利用して、従来から行われている1セクタリリースモードに加えて、2セクタリリースモードも制御できるようになっている。
【0045】
なお、1セクタリリースモードは、表示フィールド期間のデータが格納されているセクタを1セクタだけ探索して読み出しを行い、その後、その1セクタの使用フラグをリセットするモードである。これに対し、2セクタリリースモードは、表示フィールド期間のトップフィールドとボトムフィールドの各データが格納されている2セクタをペアで探索して読み出しを行い、その後、その2セクタの使用フラグを同時にリセットするモードである。
【0046】
具体的には、2セクタリリースモードの動作では、FIF13は、表示ラインに相当する表示データの読み出しの際に、その表示ラインを含むマクロブロックラインのトップフィールドのデータとボトムフィールドのデータとがそれぞれ格納されているペアとなる2つのセクタを、図13に示したセクタ管理テーブル132内の垂直アドレス133とフィールド番号情報134、およびフレーム番号135を元に検索する。そして、検出した2つのセクタから表示ライン順にデータを読み出す。
【0047】
このとき、この2つのセクタからの読み出しライン順は、復号画像フレームの属性(プログレッシブ素材であるか、インターレース素材であるか)、画像サイズ(SIFサイズ画像であるか、通常サイズの画像であるか)、表示モード(インターレース表示モニタであるか、プログレッシブ表示モニタであるか)によって決まるようになっている。以下、動作例を説明する。
【0048】
[動作例1]
この動作例1では、図1〜図4を参照して、この実施の形態による基本的なフレームメモリの制御方法について説明する。なお、図2は、図1に示す画像復号表示装置において実施されるインタレース表示モードでのフレーム属性によるセクタからの表示ライン読み出し順序を説明する図である。図3は、図1に示す画像復号表示装置において実施されるプログレッシブ表示モードでのフレーム属性によるセクタからの表示ライン読み出し順序を説明する図である。図4は、図1に示す画像復号表示装置において実施される2セクタリリースモードの動作例を説明するタイムチャートおよびセクタ使用量遷移を説明する図である。
【0049】
図2を参照して、インターレース表示モードでのフレームの属性によるセクタからの表示ラインの読み出し順序を説明する。図2では、復号画像フレームの属性が、(a)インターレース(Interlace)素材の場合と、(b)プログレッシブ(Progressive)素材の場合と、(c)SIFサイズ素材の場合とが示されている。
【0050】
画像データには、輝度成分(以下「Y成分」と記す)と、色差成分(以下「C成分」と記す)とがある。図2では、トップフィールド(top-field)セクタでは、Y成分が#0,#2,〜,#30の16ラインあり、C成分が#0,#2,〜,#14の8ラインある。ボトムフィールド(botttom-field)セクタでは、Y成分が#1,#3,〜,#31の16ラインあり、C成分が#1,#3,〜,#15の8ラインあるとしている。
【0051】
図2(a)において、復号画像フレームの属性がインターレース素材の場合は、トップフィールドデータ用、ボトムフィールドデータ用の2つの読み出しセクタを検索するが、Y成分、C成分共に、該当する2つのセクタのうち表示フィールド期間の1セクタのみからの読み出しとなる。つまり、トップフィールドの表示の場合にはトップフィールドデータ用のセクタのみからの読み出しとなり、ボトムフィールドの表示の場合にはボトムフィールドデータ用のセクタのみからの読み出しとなる。
【0052】
図2(b)において、復号画像フレームの属性がプログレッシブ素材の場合は、Y成分に関してはインターレース素材と同様に該当する2つのセクタのうち表示フィールド期間の1セクタのみからの読み出しとなる。しかし、C成分に関しては、トップフィールドデータ用のセクタとボトムフィールドデータ用のセクタから順に1ラインずつ交互にデータを読み出すことになる。
【0053】
図2(c)において、復号画像フレームの属性がSIFサイズ素材の場合は、Y成分はトップフィールドデータ用、ボトムフィールドデータ用の2つのセクタから順に1ラインずつ交互にデータを読み出す。C成分もY成分同様に、交互に読み出すが、ラインを2回繰り返して読み出す。また、SIFサイズ素材の場合、トップフィールド表示の場合もボトムフィールド表示の場合も同じデータを読み出す。
【0054】
図3を参照して、プログレッシブ表示モードでのフレーム属性による表示ライン読み出しの順序を説明する。図3では、復号画像フレームの属性が、(a)インターレース(Interlace)素材の場合と、(b)プログレッシブ(Proguressive)素材の場合と、(c)SIFサイズ素材の場合とが示されている。また、図2と同様に、トップフィールド(top-field)セクタでは、Y成分が#0,#2,〜,#30の16ラインあり、C成分が#0,#2,〜,#14の8ラインある。ボトムフィールド(botttom-field)セクタでは、Y成分が#1,#3,〜,#31の16ラインあり、C成分が#1,#3,〜,#15の8ラインあるとしている。
【0055】
図3(a)(c)において、復号画像フレームの属性がインターレース素材の場合とSIFサイズ素材の場合は、図2に示したインターレース表示の場合と同じ読み出し順となる。図3(b)において、復号画像フレームの属性がプログレッシブ素材は、Y成分、C成分共にトップフィールドデータ用セクタとボトムフィールドデータ用セクタから1ラインずつ交互に読み出す。
【0056】
次に、図4を参照して、FIF13が2セクタリリリースモードで動作する場合の画像復号表示装置の動作について説明する。図4では、「復号フレーム」「表示フレーム」「復号バンク」「表示バンク」「セクタ初期化指示」「セクタアロケート指示」「セクタリリース指示」および「セクタ使用量」の関係がフィールド期間T0〜T15毎に示されている。
【0057】
まず、符号等の説明を行う。図4の最上部に示す「top/bot」は、それぞれビデオ出力のフィールドパリティを表している。Iは、フレーム間予測符号化がなくフレーム内で符号化されたIntra-coded Frame(Iフレーム)を示す。Pは、一方向でのフレーム間予測符号化されたPredictive-coded Frame(Pフレーム)を示す。このPフレームは、時間的に前のIフレームまたはPフレームからのフレーム間予測符号化が存在するフレームである。Bは、双方向でのフレーム間予測符号化されたBidirectional Predictive-coded Frame(Bフレーム)を示す。このBフレームは、時間的に前および後のIフレームまたはPフレームからのフレーム間予測符号化が存在するフレームである。
【0058】
また、I,P,Bに付された番号*は、そのフレームの表示順を示している。そして、I*t,I*bは、それぞれI*フレームのトップフィールドとI*フレームのボトムフィールドを示す。P*t,P*b、およびB*t,B*bも同様である。
【0059】
「復号フレーム」では、フィールド期間T0,T1にてI2フレームが示され、フィールド期間T2,T3にてB0フレームが示されている。フィールド期間T4,T5にてB1フレームが示され、フィールド期間T6,T7にてP5フレームが示されている。また、フィールド期間T8,T9にてB3フレームが示され、フィールド期間T10,T11にてB4フレームが示され、フィールド期間T12,T13にてP5フレームが示されている。
【0060】
「表示フレーム」では、フィールド期間T3,T4にてB0フレームのトップフィールドB0t,ボトムフィールドB0bが示され、フィールド期間T5,T6にてB1フレームのトップフィールドB1t,ボトムフィールドB1bが示されている。フィールド期間T7,T8にてI2フレームのトップフィールドI2t,ボトムフィールドI2bが示されている。フィールド期間T9,T10にてB3フレームのトップフィールドB3t,ボトムフィールドB3bが示され、フィールド期間T11,T12にてB4フレームのトップフィールドB4t,ボトムフィールドB4bが示されている。フィールド期間T13,T14にてP5フレームのトップフィールドP5t,ボトムフィールドP5bが示されている。
【0061】
「復号バンク」とは、復号されたフレームが書き込まれるフレームメモリ14のバンクを表している。したがって、「復号バンク」は、「復号フレーム」に対応して使用される。そして、図示するように、全てのBフレームは、予測画像として使用されないのでバンク#2に書き込まれるように指示される。一方、予測画像として使用されるI2フレームはバンク#0に書き込まれるように指示され、P5フレームはバンク#1に書き込まれるように指示される。
【0062】
「表示バンク」とは、表示のために画像データを読み出すバンクを表している。すなわち、「表示バンク」は、「表示フレーム」に対応して使用される。図示例で言えば、B1フレームを表示した後にI2フレームを表示するときは、そのフレームがバンク#0に格納されているので、「表示バンク」はバンク#0を指示することになる。
【0063】
具体的には、フィールド期間T3,T4ではバンク#2が使用され、フィールド期間T5,T6ではバンク#2が使用される。フィールド期間T7,T8ではバンク#0が使用される。フィールド期間T9,T10ではバンク#2が使用され、フィールド期間T11,T12ではバンク#2が使用され、フィールド期間T13,T14ではバンク#1が使用される。
【0064】
「セクタ初期化指示」は、フィールド期間T1の開始時、フィールド期間T7の開始時、フィールド期間T13の開始時等においてそれぞれ行われる。「セクタアロケート指示」は、SEQ11からFIF13に出力される制御信号であり、復号画像データをフレームメモリ14に書き込むフィールド期間にて“1”レベルになり、書き込まないフィールド期間では“0”レベルとなる。図4においては、全てのフレームが2フィールド期間毎に復号されるので、「セクタアロケート指示」は、常に“1”レベルとなっている。
【0065】
FIF13は、この「セクタアロケート指示」が“1”レベルのときに、セクタ管理テーブル132を用いて使用していないセクタを検索し、空きセクタに対して復号画像データを書き込む。同時にFIF13は、書き込みセクタ部分のセクタ管理テーブル132を使用状態に書き換え、画像位置、フィールドパリティ等の書き込み画像情報を更新する。
【0066】
「セクタリリース指示」は、SEQ11からFIF13に出力される制御信号である。「セクタリリース指示」は、復号が開始されるフィールド期間T2の開始時までは“0”レベルであるが、以降、フィールド期間毎に“1”レベルと“0”レベルを交互に繰り返すことが示されている。
【0067】
FIF13は、動的マッピングモード時に、この「セクタリリース指示」に従ってセクタリリースを行う。具体的には、「セクタリリース指示」は図示するように、1フィールド期間単位で変化するが、「セクタリリース指示」が“1”レベルとなるフィールド期間では、FIF13はセクタの全データを表示出力した時点で、トップフィールドデータ用とボトムフィールドデータ用のペアになる2つのセクタをリリースする。逆に「セクタリリース指示」が“0”レベルとなるフィールド期間では、セクタリリースを行わずそのデータを保持する。
【0068】
1セクタリリースモード時と2セクタリリースモード時とでは、セクタリリース指示の動作は異なる。SEQ11は、表示フレームの最終表示フィールド期間にてセクタリリースを行うようにセクタリリース指示を制御するようになっている。セクタ使用量遷移図では、復号表示動作中の各フィールド期間におけるセクタ使用量の増減をトップフィールド用セクタとボトムフィールド用セクタとで別々に示している。
【0069】
さて、フィールド期間T2においてB0フレームの復号が行われ、バンク#2への書き込みが行われる。したがって、復号処理の進行とともにトップフィールドB0t用、ボトムフィールドB0b用両方の使用セクタ数は増加し、フィールド期間T2の終わりでは復号処理が半分行われている状態であり、約1/2フレーム分が使用状態となる。
【0070】
次のフィールド期間T3において、復号処理はフィールド期間T2から引き続き行われるとともに、B0フレームのトップフィールドB0tの表示が行われる。このトップフィールドB0tは、B0フレームの最終表示フィールド期間ではないので、2セクタリリースモードでは「セクタリリース指示」は“0”レベルである。つまり、読み出し完了後もリリースは行わず、セクタを保持する。したがって、フィールド期間T3の終わりではB0フレームの復号処理が完了し、1フレーム分のセクタが使用状態となる。
【0071】
次のフィールド期間T4においては、次のB1フレームの復号処理が行われるとともに、B0フレームのボトムフィールドB0bの表示が行われる。このボトムフィールドB0bはB0フレームの最終表示フィールド期間であるので、B1フレームの復号開始とともに、「セクタリリース指示」が“1”レベルとなる。
【0072】
「セクタリリース指示」が“1”レベルとなることによって、このボトムフィールドB0bにおいて読み出しの完了したセクタは、トップフィールドB0t用とボトムフィールドB0b用の両方のセクタがペアでリリースされるので、フィールド期間T4の終わりでは、B0フレームの格納されたセクタは全てリリースされることになる。
【0073】
また、B1フレームの復号処理が約半分行われ、「セクタアロケート指示」が行われるので、この時点で1/2フレーム分のセクタ使用量となる。フィールド期間T5においては、B1フレームの復号処理がフィールド期間T4から引き続いて行われるとともに、B1フレームのトップフィールドB1tの表示出力が行われる。
【0074】
このトップフィールドB1tは、B1フレームの最終表示フィールド期間ではないので、2セクタリリースモードでは「セクタリリース指示」は“0”レベルとなり、読み出し完了後もリリースは行わずセクタを保持する。したがって、このフィールド期間T5の終わりでは、B1フレームの復号処理が完了し、1フレーム分のセクタが使用状態となる。
【0075】
次のフィールド期間T6では、P5フレームの復号処理が行われるとともに、B1フレームのボトムフィールドB1bの表示出力が行われる。このボトムフィールドB1bは、B1フレームの最終表示フィールド期間であるので、「セクタリリース指示」が“1”レベルとなる。これによって、このボトムフィールドB1bにおいて読み出しの完了したセクタは、トップフィールドB1t用とボトムフィールドB1b用の両方のセクタがペアでリリースされる。その結果、フィールド期間T6の終わりでは、B1フレームの格納されたセクタは全てリリースされる。
【0076】
P5フレームの書き込みバンクはバンク#1であるので、このフィールド期間T6ではバンク#2のセクタへのアロケート処理は実行されない。したがって、フィールド期間T6の終わりでは、バンク#2の使用セクタはゼロとなる。
【0077】
このように、2セクタリリースモードでは、バンク#2のフレームメモリ容量は1フレーム以上の領域を必要とするが、動的マッピングモードのままでプログレッシブ素材の画像も色差信号は本来のプログレッシブ形式によって出力が可能となり、SIFサイズ画像の拡大表示処理も可能となる。これによって、1セクタリリースモードに比べて動的マッピングモードでの画質が向上するという効果が得られる。
【0078】
また、動的マッピングモードにて全ての画像に対する復号表示処理が可能となるので、復号画像パラメータが途中で変化するような場合でも動的マッピングモードのままで復号表示処理を続けることが可能となるという効果も得られる。この点に関しては、以下に示す各種の動作例において明らかになる。
【0079】
[動作例2]
この動作例2では、フレームメモリ14のバンク#2のセクタ容量を1フレーム未満に設定した場合の動作について説明する。この場合、入力ビットストリームの画像サイズが通常サイズのままであるときは、2セクタリリースモードでの動的マッピングは不可能であり、1セクタリリースモードでの動作となる。
【0080】
ところが、SIFサイズ画像(352画素×240画素)の縦サイズは、通常サイズ画像(740画素×480画素)の半分であるので、フレームメモリ14のバンク#2のセクタ数を1フレーム未満に削減していても、SIF画像の1フレーム分のセクタ数は確保できる。
【0081】
つまり、フレームメモリ14のバンク#2のセクタ容量を1フレーム未満に設定した場合においても入力ビットストリームの画像サイズが通常サイズから途中でSIFサイズに切り替わる場合に、そのSIFサイズ画像の復号表示においては、2セクタリリースモードに自動的に切り替わるようにすれば、動的マッピングモードのままで復号表示処理を続けることができる。
【0082】
このような復号画像パラメータの途中変更がある場合に対処できるようにするため、FIF13は、例えば図5に示す構成のセクタリリースモード信号生成回路を備えている。図5は、図1に示す画像復号表示装置において画像サイズやピクチャストラクチャなどの復号画像パラメータが切り替わる場合に用いるセクタリリースモード信号を生成するセクタリリースモード信号生成回路の構成例を示すブロック図である。なお、この回路は、後述する動作例3などにおいて取り上げるピクチャストラクチャが切り替わる場合にも使用される。ここでは、画像サイズが切り替わる場合について説明する。
【0083】
図5に示すセクタリリースモード信号生成回路は、パラメータ保持回路21,22,23と、セレクタ24,25と、論理回路26,27とを備えている。セレクタ24は、SEQ11からの復号画像書込バンク指示31に従ってパラメータ保持回路21,22,23の1つを選択し、その選択したパラメータ保持回路にVDEC12からの復号画像パラメータ32を送り込み保持させる。
【0084】
これによって、復号開始のタイミングにおいて、パラメータ保持回路21には、フレームメモリ14のバンク#0用のパラメータが保持される。パラメータ保持回路22には、フレームメモリ14のバンク#1用のパラメータが保持される。また、パラメータ保持回路23には、フレームメモリ14のバンク#2用のパラメータが保持される。なお、VDEC12からの復号画像パラメータ32には、画像サイズやピクチャストラクチャなどが含まれるが、ここでは、画像サイズとする。
【0085】
セレクタ25は、SEQ11からの表示画像読み出しバンク指示33に従ってパラメータ保持回路21,22,23の1つを選択し、その選択したパラメータ保持回路が保持する復号画像パラメータを外部に出力させる。このとき、パラメータ保持回路23が選択されたとき、パラメータ保持回路23が保持するバンク#2用の画像サイズパラメータが論理回路26の一方の入力端に与えられる。
【0086】
論理回路26の他方の入力端には、SEQ11に外部から与えられる動作モード指示のうち、動的マッピングモード設定信号34が入力されている。これによって、論理回路26は、バンク#2への復号画像書込開始のタイミングで切り替わるセクタリリースモード切替予告信号35を生成し論理回路27に出力する。
【0087】
論理回路27は、このセクタリリースモード切替予告信号35をサンプルクロック入力端に入力されるフィールド(field)更新信号がネーブルとなるときにサンプリングし、1セクタリリースモードと2セクタリリースモードのいずれか一方を指示するセクタリリースモード信号36を保持出力する。
【0088】
これによって、論理回路27が出力するセクタリリースモード信号36は、セクタリリース切替予告信号35を1フィールド期間遅延させた信号となる。つまり、バンク#2に書き込まれた画像が表示されるのが復号開始から1フィールド期間後となっているので、バンク#2に書き込まれた復号フレームが表示されるタイミングに合わせた形でセクタリリースモード信号36が発生できることになる。
【0089】
SEQ11は、セクタリリースモード信号36の変化に応じて、FIF13に与える「セクタリリース指示」の動作内容を変えるようにしている。また、FIF14は、セクタリリースモード信号36が1セクタリリースモードから2セクタリリースモードに切り替わるのを検出すると、画像読み出し時のセクタを検索する際に、トップフィールド用とボトムフィールド用の2つのセクタを検索し、図2のSIFサイズ素材(c)で示されるように交互に2つのセクタから表示用データを読み出すようにしている。これによって、SIFサイズ画像の拡大表示が可能なデータ読み出しが行える。
【0090】
以下、図6を参照して、具体的に説明する。図6は、図5に示すセクタリリースモード信号生成回路を用いて、入力ビットストリームの画像サイズが通常サイズ(740画素×480画素)からSIFサイズ(352画素×240画素)に切り替わる場合の動作例を説明するタイムチャートである。
【0091】
図6では、「復号フレーム」「表示フレーム」「復号バンク」「表示バンク」「セクタ初期化指示」「セクタアロケート指示」「セクタリリース指示」「画像サイズ」「セクタリリースモード」および「セクタ使用量」の関係がフィールド期間T0〜T15毎に示されている。
【0092】
「復号フレーム」では、フィールド期間T0,T1にてP11フレームが示され、フィールド期間T2,T3にてB9フレームが示されている。フィールド期間T4,T5にてB10フレームが示され、フィールド期間T6,T7にてI2フレームが示されている。また、フィールド期間T8,T9にてB0フレームが示され、フィールド期間T10,T11にてB1フレームが示され、フィールド期間T12,T13にてP5フレームが示されている。
【0093】
「表示フレーム」では、フィールド期間T3,T4にてB9フレームのトップフィールドB9t,ボトムフィールドB9bが示され、フィールド期間T5,T6にてB10フレームのトップフィールドB10t,ボトムフィールドB10bが示されている。フィールド期間T7,T8にてP11フレームのトップフィールドP11t,ボトムフィールドP11bが示されている。フィールド期間T9,T10にてB0フレームのトップフィールドB0t,ボトムフィールドB0bが示され、フィールド期間T11,T12にてB1フレームのトップフィールドB1t,ボトムフィールドB1bが示されている。フィールド期間T13,T14にてI2フレームのトップフィールドI2t,ボトムフィールドI2bが示されている。
【0094】
「復号バンク」は、「復号フレーム」に対応して使用される。すなわち、フィールド期間T0,T1ではバンク#1が使用され、フィールド期間T2,T3ではバンク#2が使用される。フィールド期間T4,T5ではバンク#2が使用される。フィールド期間T6,T7ではバンク#0が使用され、フィールド期間T8,T9ではバンク#2が使用され、フィールド期間T10,T11ではバンク#2が使用される。フィールド期間T12,T13ではバンク#1が使用される。
【0095】
「表示バンク」は、「表示フレーム」に対応して使用される。すなわち、フィールド期間T3,T4ではバンク#2が使用され、フィールド期間T5,T6ではバンク#2が使用される。フィールド期間T7,T8ではバンク#1が使用される。フィールド期間T9,T10ではバンク#2が使用され、フィールド期間T11,T12ではバンク#2が使用され、フィールド期間T13,T14ではバンク#0が使用される。
【0096】
「セクタアロケート指示」は、常に“1”レベルである。「セクタリリース指示」は、フィールド期間T9の開始時までは“1”レベルであるが、フィールド期間T9では“0”レベルとなり、以降、フィールド期間毎に“1”レベルと“0”レベルを交互に繰り返すことが示されている。
【0097】
「画像サイズ」は、フィールド期間T0〜フィールド期間T5における3フレームP11、B9、B10までが通常サイズ画像(740画素×480画素)であり、フィールド期間T6にて始まる4つ目のフレームI2以降の各フレームではSIFサイズ画像(352画素×240画素)となっている。
【0098】
「セクタリリースモード」は、フィールド期間T0〜フィールド期間T8までが、1セクタリリースモード(1 sector-release mode)であり、フィールド期間T9にて2セクタリリースモード(2 sector-release mode)に切り替わることが示されている。
【0099】
さて、動的マッピングによる復号画像のフレームメモリ14のバンク#2への書き込みが行われるのは、2フレーム目のB9フレームからである。すなわち、フィールド期間T2において、B9フレームの復号が実行され、トップフィールドB9t用セクタとボトムフィールドB9b用セクタは、共にセクタ使用量が増加する。フィールド期間T2の終わりで、B9フレームの約半分が復号され、1/2フレーム分のセクタが使用されている状態となる。
【0100】
次のフィールド期間T3では、引き続きB9フレームの復号が行われるとともに、B9フレームのトップフィールドB9tの表示が開始されるので、トップフィールドB9t用セクタから表示データの読み出しが行われる。ここでは、「セクタリリース指示」が常に“1”レベルである1セクタリリースモードであるので、表示読み出しの完了したセクタからリリースされる。したがって、B9フレームのトップフィールドB9tでのセクタ使用量は減少し、フィールド期間T3の終わりにはゼロとなる。また、B9フレームの復号は終了しているので、B9フレームのボトムフィールドB9bでは、1/2フレーム分のセクタを使用している状態となる。
【0101】
フィールド期間T4では、次のB10フレームの復号が開始されるとともに、B9フレームのボトムフィールドB9bの表示が開始される。したがって、B9フレームのボトムフィールドB9bのセクタは、リリースされて使用量は減少する。同時に、B10フレームのトップフィールドB10tとボトムフィールドB10bが書き込まれるので、フィールド期間T4の終わりではB9フレームはゼロとなり、B10フレームは復号が約半分のところまで進み、セクタの約半分を使用している状態になる。
【0102】
フィールド期間T5,T6では、B10フレームの復号と表示が行われる。B9フレームと同様にセクタへの書き込みとリリースとが行われ、フィールド期間T6の終わりではセクタの使用量はゼロとなる。
【0103】
フィールド期間T6において次のI2フレームの復号を開始するが、このI2フレームから画像サイズが352画素×240画素のSIFサイズ画像データに切り替わる。SIFサイズに切り替わったときに行われるバンク#2への最初の書き込みは、B0フレームからであるが、フィールド期間T8の開始時に、図5に示したセクタリリースモード切替予告信号35が発生し、バンク#2に関する画素サイズ情報が切り替わる。その結果、B0フレームの表示が開始されるフィールド期間T9の開始時に、図5に示したセクタリリースモード信号36が1セクタリリース動作指示から2セクタリリース動作指示に切り替わる。
【0104】
フィールド期間T8では、B0フレームのバンク#2への書き込みが開始されるが、復号画像データの書き込みに関しては、1セクタリリースモードと2セクタリリースモードでの違いはなく、トップフィールドデータとボトムフィールドデータをそれぞれの空きセクタに書き込んで行く。
【0105】
次のフィールド期間T9では、B0フレームの復号がそのまま引き続き行われる。また、B0フレームのトップフィールドB0tの表示が行われる。このとき、SEQ11は、セクタリリースモード信号36が1セクタリリース動作指示から2セクタリリース動作指示に変化すると、このフィールド期間T9における「セクタリリース指示」を“1”レベルから“0”に変更する。その結果、このフィールド期間T9では、表示で読み出したトップフィールドB0tのセクタはリリースせず、次のボトムフィールドB0bの表示まで保持される。
【0106】
また、FIF13では、このフィールド期間T9において、動作モードがセクタリリースモード信号36によって1セクタリリースモードから2セクタリリースモードに切り替わるので、画像読み出し時のセクタ検索時に、トップフィールドデータ用とボトムフィールドデータ用の2つのセクタを検索し、図2の(c)で示されるように交互に2つのセクタから表示用データを読み出すことを行う。
【0107】
このようにして、フィールド期間T9の終わりでは、1/2フレーム分のセクタを使用して、B0フレームの全データを保持している状態になる。次のフィールド期間T10では、B0フレームのボトムフィールドB0bの表示が始まり、同時にB1フレームの復号も開始する。
【0108】
このフィールド期間T10は、B0フレームの最終表示フィールド期間であるので、B1フレームの復号開始と同時に「セクタリリース指示」が“1”レベルとなる。これによって、読み出しの完了したB0フレームのトップフィールドB0t用とボトムフィールドB0b用のペアとなる2つのセクタを同時にリリースしながらの表示が進行して行くことになる。
【0109】
つまり、1セクタリリースモード時の2倍の速さでセクタはリリースされて行く。同時に、B1フレームの復号画像の書き込みが始まり、空いたセクタが復号画像の書き込みに使用されて行く。この後のフィールド期間T11,T12での動作は、フィールド期間T9,T10でのB0フレーム書き込み表示の動作と同様である。フィールド期間T12の最後では全てのセクタがリリースされ、セクタ使用量がゼロとなる。
【0110】
ここで、この動作例2で扱うSIFサイズ画像がNTSCのSIFサイズの場合は、縦の画像サイズが240画素である。したがって、1セクタ当たりの格納ライン数が16ラインである場合には、奇数の15セクタの容量が必要である。しかしながら、この実施の形態では、最後のマクロブロックラインの16ライン分をトップフィールドデータ用のセクタと、ボトムフィールドデータ用のセクタのそれぞれに8ラインずつ分割して保持するようにしているので、必要なセクタ数は16セクタとなる。
【0111】
そして、最後のセクタには、8ラインずつデータが格納される。1セクタ当たりライン数を16ラインとした場合には、格納されている各セクタの8ライン分を読み終えた時点で、1フレーム分の表示読み出しは完了することになる。通常の場合は、セクタからの読み出しの完了は、その読み出しのライン数が1セクタの格納ライン数になった時点である。
【0112】
しかし、セクタ数が奇数の場合には、セクタからの読み出しが完了していないと判断され、このセクタのリリースも行われなくなる。したがって、この場合のようにフルに使用しないセクタの読み出しの完了は別の方法で認識できるようにしなければならない。
【0113】
この方法として、垂直画素サイズを1セクタの格納ライン数で割った値が奇数となる場合に、最後のマクロブロックラインが格納されているトップフィールドデータ用とボトムフィールドデータ用の2つのセクタからの読み出しは、表示読み出しライン数のカウント値が、1セクタ当たりの読み出しライン数の半分になった時点でセクタをリリースさせるようにリリース指示信号を制御する方法を採用する。
【0114】
これによって、NTSCのSIFサイズ画像のように縦方向のマクロブロック数が奇数であり、垂直方向の末尾のマクロブロックがセクタの半分しか格納されない場合においても動的マッピングモードのままで拡大表示が可能となる。
【0115】
[動作例3]
この動作例3では、復号されるフレームのピクチャストラクチャがフレームストラクチャからフィールドストラクチャに変化する場合について説明する。なお、フィールドストラクチャの画像は、今までの動作例で扱ったフレームストラクチャの画像とは異なり、トップフィールドとボトムフィールドとが分離されている構造の画像である。フィールドストラクチャの画像は、縦方向の画像サイズが今までの動作例で扱ったフレームストラクチャの半分のサイズとなり、1フィールド期間にトップフィールドまたはボトムフィールドのフィールドピクチャを1枚復号することになる。
【0116】
このピクチャストラクチャが切り替わる場合には、図5に示したセクタリリースモード信号生成回路におけるパラメータ保持回路21,22,23に、ピクチャストラクチャのパラメータを保持させ、同様にモードの切り替えを表示タイミングに同期して行うようになっている。
【0117】
以下、図7を参照して、具体的に説明する。図7は、図1に示す画像復号表示装置において復号されるフレームにピクチャストラクチャの変化がある場合の動作例を説明するタイムチャートである。なお、図7では、2セクタリリースモード動作時に、ピクチャストラクチャがフレームストラクチャからフィールドピクチャに変化する場合の動作例が示されている。
【0118】
図7では、「復号フレーム」「表示フレーム」「復号バンク」「表示バンク」「セクタ初期化指示」「セクタアロケート指示」「セクタリリース指示」「ピクチャストラクチャ」「セクタリリースモード」および「セクタ使用量」の関係がフィールド期間T0〜T15毎に示されている。
【0119】
「復号フレーム」では、フィールド期間T0,T1にてP2フレームが示され、フィールド期間T2,T3にてB0フレームが示されている。フィールド期間T4,T5にてB1フレームが示され、フィールド期間T6,T7にてI5フレームのトップフィールドI5t,ボトムフィールドI5bが示されている。また、フィールド期間T8,T9にてB3フレームのトップフィールドB3t,ボトムフィールドB3bが示され、フィールド期間T10,T11にてB4フレームのトップフィールドB4t,ボトムフィールドB4bが示され、フィールド期間T12,T13にてP8のトップフィールドP8t,ボトムフィールドP8bフレームが示されている。
【0120】
「表示フレーム」では、フィールド期間T3,T4にてB0フレームのトップフィールドB0t,ボトムフィールドB0bが示され、フィールド期間T5,T6にてB1フレームのトップフィールドB1t,ボトムフィールドB1bが示されている。フィールド期間T7,T8にてP2フレームのトップフィールドP2t,ボトムフィールドP2bが示されている。フィールド期間T9,T10にてB3フレームのトップフィールドB3t,ボトムフィールドB3bが示され、フィールド期間T11,T12にてB4フレームのトップフィールドB4t,ボトムフィールドB4bが示されている。フィールド期間T13,T14にてI5フレームのトップフィールドI5t,ボトムフィールドI5bが示されている。
【0121】
「復号バンク」は、「復号フレーム」に対応して使用される。すなわち、フィールド期間T0,T1ではバンク#0が使用され、フィールド期間T2,T3ではバンク#2が使用される。フィールド期間T4,T5ではバンク#2が使用される。フィールド期間T6,T7ではバンク#1が使用され、フィールド期間T8,T9ではバンク#2が使用され、フィールド期間T10,T11ではバンク#2が使用される。フィールド期間T12,T13ではバンク#0が使用される。
【0122】
「表示バンク」は、「表示フレーム」に対応して使用される。すなわち、フィールド期間T3,T4ではバンク#2が使用され、フィールド期間T5,T6ではバンク#2が使用される。フィールド期間T7,T8ではバンク#0が使用される。フィールド期間T9,T10ではバンク#2が使用され、フィールド期間T11,T12ではバンク#2が使用され、フィールド期間T13,T14ではバンク#1が使用される。
【0123】
「セクタアロケート指示」は、常に“1”レベルである。そして「セクタリリース指示」は、復号が開始されるフィールド期間T2の開始時までは“0”レベルであるが、以降、フィールド期間T8の開始時まではフィールド期間毎に“1”レベルと“0”レベルを交互に繰り返すことが示され、フィールド期間T8にて“1”レベルとなり、以降、各フィールド期間において“1”レベルを保持することが示されている。
【0124】
「ピクチャストラクチャ」は、フィールド期間T0〜フィールド期間T5における3フレームP2、B0、B1までがフレームストラクチャ(frame-structure)であり、フィールド期間T6以降がフィールドストラクチャ(field-structure)である。したがって、「復号フレーム」におけるフィールド期間T6では、I5フレームのトップフィールドI5tが示され、フィールド期間T7では、I5フレームのボトムフィールドI5bが示されている。以降のフィールド期間T8〜フィールド期間T13においても同様の表記になっている。
【0125】
「セクタリリースモード」は、フィールド期間T0〜フィールド期間T8までが、2セクタリリースモード(2 sector-release mode)であり、フィールド期間T9にて1セクタリリースモード(1 sector-release mode)に切り替わることが示されている。また、「セクタ使用量」は、1フレーム(1 frame)の場合と1/2フレーム(1/2 frame)の場合とが示されている。
【0126】
図7において、フィールド期間T6までのフレームP2、B0、B1の動作は動作例1にて説明したのと同様である。ここでは、次のフィールドストラクチャの画像に変化する場合の動作を説明する。次のI5フレーム以降、B3,B4,P8の各フレームがフィールドストラクチャの画像である。
【0127】
フィールド期間T6において次のI5フレームの復号を開始するが、このI5フレームからピクチャストラクチャがフレームストラクチャからフィールドストラクチャに切り替わる。ピクチャストラクチャがフィールドストラクチャに切り替わったときに行われるバンク#2への最初の書き込みは、B3フレームからであるが、フィールド期間T8の開始時に、図5に示したセクタリリースモード切替予告信号35が発生し、バンク#2に関するピクチャストラクチャが切り替わる。その結果、B3フレームの表示が開始されるフィールド期間T9の開始時に図5に示したセクタリリースモード信号36が2セクタリリース動作指示から1セクタリリース動作指示に切り替わる。
【0128】
フィールド期間T8では、B3フレームのトップフィールドB3tの復号が開始され、バンク#2のセクタにトップフィールドB3tの復号画像データが書き込まれて行き、フィールド期間T8の終わりでは、1/2フレーム分のセクタを使用している状態になる。
【0129】
次のフィールド期間T9では、先のフィールド期間T8にて復号されたトップフィールドB3tの表示が行われ、同時にボトムフィールドB3bの復号が行われる。このフィールド期間T9からセクタリリースモードが1セクタリリースモードに切り替わるので、FIF13は、B3フレームのトップフィールドB3tの表示のためにトップフィールドデータが保持されているセクタを1セクタだけ検索し、読み出しを行う。
【0130】
さらにSEQ11からの「セクタリリース指示」が“1”レベルとなるので、FIF13は、読み出しを完了したセクタをリリースして行く。また、FIF13は、空いているセクタには復号しているB3フレームのボトムフィールドB3bを格納して行く。その結果、フィールド期間T9の終わりでは、トップフィールドB3tの読み出しが完了し、ボトムフィールドB3bは復号を完了しているので、ボトムフィールドB3bが1/2フレーム分のセクタを使用している状態となる。
【0131】
次のフィールド期間T10では、B3フレームのボトムフィールドB3bの表示および次のB4フレームのトップフィールドB4tの復号が実行される。このフィールド期間T10でも同様にB3フレームのボトムフィールドB3bを検索し、読み出し完了後にリリースして行く。同時に、B4フレームのトップフィールドB4tの復号画像データを空いているセクタに書き込んで行く。
【0132】
以下同様にB4フレームのトップフィールドB4tに関しても復号表示を行い、フィールド期間T12においてB4フレームのボトムフィールドB4bの表示を行い、セクタをリリースして行くことで最後に使用セクタ数はゼロとなる。
【0133】
要するに、フィールドストラクチャが入力された場合は、トップフィールドとボトムフィールドが別フィールド期間に復号されるので、2セクタリリースモードでは、トップフィールドデータとボトムフィールドデータの両方のセクタをペアで見つけることができない。
【0134】
しかし、上記のようにフィールドストラクチャへの変化を自動的に検出し、その表示の切り替わりのタイミングに合わせて、動的マッピングモードを2セクタリリースモードから1セクタリリースモードに切り替えることができるので、バンク#2を動的マッピングモードのままで動作させ続けることが可能となる。つまり、動的マッピングモードのままでフレームストラクチャとフィールドストラクチャの両方の含まれる画像データに対して復号表示を行うことが可能となる。
【0135】
[動作例4]
この動作例4では、3:2プルダウン処理などのフレームレート変換処理について説明する。このフレームレート変換処理では、フレームメモリ14のバンク#2の容量は1フレーム分以上に設定され、2セクタリリースモードでの動作が行われる。フレームレートの変更はVDEC12が復号処理の過程で検出し、FIF13に通知される。また、FIF13からSEQ11に通知される。
【0136】
以下、図8を参照して、具体的に説明する。図8は、図1に示す画像復号表示装置において実施される2セクタリリースモード動作時にフレームレートを変換する場合の動作例を説明するタイムチャートである。
【0137】
図8では、「復号フレーム」「表示フレーム」「復号バンク」「表示バンク」「セクタ初期化指示」「セクタアロケート指示」「セクタリリース指示(2セクタリリースモード)」および「セクタ使用量」の関係がフィールド期間T0〜T15毎に示されている。
【0138】
「復号フレーム」では、フィールド期間T0,T1にてI2フレームが示され、フィールド期間T2,T3にてB0フレームが示されている。そして、フィールド期間T4を空けてフィールド期間T5,T6にてB1フレームが示され、フィールド期間T7,T8にてP5フレームが示されている。また、フィールド期間T9を空けてフィールド期間T10,T11にてB3フレームが示され、フィールド期間T12,T13にてB4フレームが示され、フィールド期間T14,T15にてP5フレームが示されている。
【0139】
「表示フレーム」では、フィールド期間T3,T4,T5にてB0フレームのトップフィールドB0t,ボトムフィールドB0b,トップフィールドB0tが示され、フィールド期間T6,T7にてB1フレームのボトムフィールドB1b,トップフィールドB1tが示されている。また、フィールド期間T8,T9,T10にてI2フレームのボトムフィールドI2b,トップフィールドI2t,ボトムフィールドI2bが示されている。また、フィールド期間T11,T12にてB3フレームのトップフィールドB3t,ボトムフィールドB3bが示され、フィールド期間T13,T14にてB4フレームのトップフィールドB4t,ボトムフィールドB4bが示されている。
【0140】
「復号バンク」は、「復号フレーム」に対応して使用される。すなわち、フィールド期間T0,T1ではバンク#0が使用され、フィールド期間T2,T3ではバンク#2が使用される。そして、フィールド期間T4を空けてフィールド期間T5,T6ではバンク#2が使用され、フィールド期間T7,T8ではバンク#1が使用される。また、フィールド期間T9を空けてフィールド期間T10,T11ではバンク#2が使用され、フィールド期間T12,T13ではバンク#2が使用され、フィールド期間T14,T15ではバンク#0が使用される。
【0141】
「表示バンク」は、「表示フレーム」に対応して使用される。すなわち、フィールド期間T3,T4,T5ではバンク#2が使用され、フィールド期間T6,T7ではバンク#2が使用される。また、フィールド期間T8,T9,T10ではバンク#0が使用される。また、フィールド期間T11,T12ではバンク#2が使用され、フィールド期間T13,T14ではバンク#2が使用される。
【0142】
「セクタアロケート指示」は常に“1”レベルである。「セクタリリース指示」は、2セクタリリースモードであるので、“1”レベルと“0”レベルが1フィールド期間毎に繰り返している。但し、フィールド期間T3,T4と、フィールド期間T8,T9とでは、この2フィールド期間連続して“0”レベルになっている。また、「セクタ使用量」は、1フレーム(1 frame)の場合と1/2フレーム(1/2 frame)の場合とが示されている。
【0143】
図8において、フィールド期間T3までの動作は、動作例1と同様であるが、フィールド期間T3において最初にバンク#2に書き込まれるB0フレームは3フィールド期間表示のフレームであるので、フィールド期間T4からフィールド期間T6期間にかけてトップフィールドB0t、ボトムフィールドB0b、トップフィールドB0tと表示を行う。これはフレームレート変換を行うためであり、24フレーム分を30フレームの表示期間で表示させるためにこのような動作になる。
【0144】
3フィールド期間表示するフレームの表示中に行われる次フレームの復号は、その3フィールド期間表示するフレームの最終表示フィールド期間にて開始されるように制御される。つまり、動作例1では、フィールド期間T4において次のB1フレームの復号が開始され、同時にセクタのリリースが行われたが、この動作例4の場合には、SEQ11は、B0フレームの最終表示フィールド期間であるフィールド期間T5において次のB1フレームの復号を開始するように復号開始制御を行う。同時に、SEQ11は、フィールド期間T4では「セクタリリース指示」を“0”レベルに維持し、次のB1フレームの復号が開始されるフィールド期間T5において「セクタリリース指示」を“1”レベルに立ち上げるように制御する。
【0145】
したがって、フィールド期間T4では、1フレーム分のセクタを使用し、復号を完了したトップフィールドデータとボトムフィールドデータの両方を保持している。そして、フィールド期間T5において、最終表示フィールド期間での表示のための読み出しを完了したトップフィールド用とボトムフィールド用の2つのセクタを同時にリリースして行く。
【0146】
同時に、フィールド期間T5において、B1フレームの復号画像データを空きセクタに書き込んで行く。B1フレームに関しては、2フィールド期間表示のフレームであるので、動作例1と同様の制御によりセクタリリースを行うことになる。
【0147】
このように、動作例4では、動作例1と同様にバンク#2のセクタ数を1フレーム分以上に設定し、2セクタリリースモードで動作することによって、3:2のプルダウンとなるフレームレート変換処理が可能となる。このとき、変換対象フレーム(上記の例ではB0フレーム)がプログレッシブ素材のフレームである場合でも図2の(b)、図3の(b)で示すライン順で2つのセクタから読み出すことが可能になるので、最適な表示が可能になる。
【0148】
[動作例5]
この動作例5では、ポーズ処理について説明する。ポーズ処理は、1セクタリリースモードと2セクタリリースモードのいずれの動作時においても行える。バンク#2のフレームメモリ容量は1フレーム以上必要である。以下、図9を参照して具体的に説明する。図9は、図1に示す画像復号表示装置においてポーズ処理が実施される場合の動作例を説明するタイムチャートである。
【0149】
図9では、「復号フレーム」「表示フレーム」「復号バンク」「表示バンク」「セクタ初期化指示」「セクタアロケート指示」「セクタリリース指示」「ピクチャストラクチャ」「セクタリリースモード」および「セクタ使用量」の関係がフィールド期間T0〜T15毎に示されている。
【0150】
「復号フレーム」では、フィールド期間T0,T1にてB0フレームが示され、フィールド期間T2,T3にてB1フレームが示されている。そして、フィールド期間T4,T5においてポーズ指令(pause)が入力される。その後のフィールド期間T6,T7にてI5フレームのトップフィールドI5t,ボトムフィールドI5bが示され、フィールド期間T8,T9にてB3フレームのトップフィールドB3t,ボトムフィールドB3bが示されている。そして、フィールド期間T10,T11においてポーズ指令(pause)が入力される。その後のフィールド期間T12,T13にてB4フレームのトップフィールドB4t,ボトムフィールドB4bが示され、フィールド期間T14,T15にてP8フレームのトップフィールドP8t,ボトムフィールドP8bが示されている。
【0151】
「表示フレーム」では、フィールド期間T1,T2にてB0フレームのトップフィールドB0t,ボトムフィールドB0bが示され、フィールド期間T3,T4にてB1フレームのトップフィールドB1t,ボトムフィールドB1bが示されている。そして、フィールド期間T5,T6では、B1フレームがフレームフリーズ(frame freeze)されることが示されている。次のフィールド期間T7,T8にてP2フレームのトップフィールドP2t,ボトムフィールドP2bが示され、フィールド期間T9,T10にB3フレームのトップフィールドB3t,ボトムフィールドB3bが示されている。そして、フィールド期間T11,T12では、B3フレームのボトムフィールドB3bがフィールドフリーズ(field freeze)されることが示されている。次のフィールド期間T13,T14にてB4フレームのトップフィールドB4t,ボトムフィールドB4bが示されている。
【0152】
「復号バンク」は、「復号フレーム」に対応して使用される。すなわち、フィールド期間T0,T1ではバンク#2が使用され、フィールド期間T2,T3ではバンク#2が使用さる。そして、フィールド期間T4,T5を空けてフィールド期間T6,T7ではバンク#1が使用され、フィールド期間T8,T9ではバンク#2が使用さる。また、フィールド期間T10,T11を空けてフィールド期間T12,T13ではバンク#2が使用され、フィールド期間T14,T15ではバンク#0が使用される。
【0153】
「表示バンク」は、「表示フレーム」に対応して使用される。すなわち、フィールド期間T1,T2ではバンク#2が使用され、フィールド期間T3〜フィールド期間T6ではバンク#2が使用される。また、フィールド期間T7,T8ではバンク#0が使用される。また、フィールド期間T9〜フィールド期間T12ではバンク#2が使用され、フィールド期間T13,T14ではバンク#2が使用される。
【0154】
「セクタアロケート指示」は常に“1”レベルである。「セクタリリース指示」は、フィールド期間T0,T1では“0”レベルである。フィールド期間T2では“1”レベルである。フィールド期間T3〜フィールド期間T5では“0”レベルである。フィールド期間T6では“1”レベルである。フィールド期間T7では“0”レベルである。フィールド期間T8,T9では“1”レベルである。フィールド期間T10,T11では“0”レベルである。フィールド期間T12以降では“1”レベルである。
【0155】
「ピクチャストラクチャ」は、フィールド期間T0〜フィールド期間T5ではフレームストラクチャ(frame-structure)であり、フィールド期間T6以降ではフィールドストラクチャ(field-structure)である。したがって、図5に示したセクタリリース信号生成回路が用いられる。
【0156】
「セクタリリースモード」は、フィールド期間T0〜フィールド期間T5では2セクタリリースモード(2 sector release mode)であり、フィールド期間T6以降では1セクタリリースモード(1 sector release mode)である。また、「セクタ使用量」は、1フレーム(1 frame)の場合と1/2フレーム(1/2 frame)の場合とが示されている。
【0157】
図9に示す動作例では、フィールド期間T4,T5と、フィールド期間T10,T11とにおいて復号動作を一時停止させている(pause)。このように復号動作を一時的に停止させた場合には、それに同期して1フィールド期間後から表示フレームの更新も停止する動作となる。したがって、図9に示す動作例では、1フィールド期間後のフィールド期間T5,T6と、フィールド期間T11,T12とにおいて表示フレームの更新停止が行われる。
【0158】
この場合、フィールド期間T3の終わりでは、バンク#2へのB1フレームの復号画像データの書き込みが終了しているので、1フレーム分のセクタにトップフィールドB1tとボトムフィールドB1bの両方を保持している状態となる。そして、次のフィールド期間T4において、B1フレームのボトムフィールドB1bの表示が行われる。
【0159】
このとき、復号動作の停止がなければ、このフィールド期間T4は、B1フレームの最終表示フィールド期間であるので、「セクタリリース指示」を“1”レベルに立ち上げる制御を行い、表示のための読み出しを終えたセクタを順次リリースして行く。しかし、今の例では、フィールド期間T4,T5は、復号停止の期間であるので、このフィールド期間T4は、最終表示フィールド期間とはならない。この場合の最終表示フィールド期間は、ポーズ指令(pause)が解除されるフィールド期間T6となる。
【0160】
したがって、フィールド期間T4では、復号停止に同期して「セクタリリース指示」を“0”レベルに維持し、次のフィールド期間T5でも「セクタリリース指示」を“0”レベルに維持する制御を行い、次のフィールド期間T6において「セクタリリース指示」を“1”レベルに立ち上げる制御を行うことになる。
【0161】
その結果、バンク#2におけるB1フレームのトップフィールドB1tとボトムフィールドB1bの両データは、フィールド期間T4、T5では、保持される。そして、フィールド期間T6では、ポーズ指令(pause)の解除を受けてI5フレームの復号が開始されるとともに、それに同期して表示読み出しの完了した両データのセクタについて同時リリースが実行される。
【0162】
斯くして、図9に示すように、B1フレームの表示がフィールド期間T4以後のフィールド期間T5,T6でも引き続いて行われる(frame freeze)。具体的には、B1フレームのトップフィールドB1tの表示がフィールド期間T5にて行われ,ボトムフィールドB1bの表示がフィールド期間T6にて行われる。
【0163】
この方法によれば、表示のフリーズが行われるB1フレームがプログレッシブ素材である場合でも、フィールド期間T3,T4,T5,T6の表示期間を通してトップフィールドとボトムフィールドの両データを保持しているので、図2の(b)および図3の(b)で示したライン読み出しを行うことが可能になり、表示フリーズ時の画質を高めることができる。
【0164】
次のI5フレームから復号画像がフレームストラクチャ(frame-structure)の画像からフィールドストラクチャ(field-structure)の画像に変わっている。この場合は、動作例3にて説明したように、フィールドストラクチャに変わった後の最初のバンク#2への書き込みが行われるフィールド期間T9にて、強制的に2セクタリリースモード(2 secter-release mode)から1セクタリリースモード(1 secter-release mode)に遷移する。
【0165】
1セクタリリースモードに変わることで、フィールド期間T9にて「セクタリリース指示」は“1”レベルに維持され、B3フレームのトップフィールドB3tを表示した時点でそのトップフィールドB3tはリリースされる。そして、次のフィールド期間T10においてB3フレームのボトムフィールドB3bの表示が行われる。
【0166】
ところが、フィールド期間T10,T11では、ポーズ指令(pause)により復号動作が停止される。そこで、フィールド期間T10では、復号停止に同期して「セクタリリース指示」を“0”レベルに立ち下げ、次のフィールド期間T11でも「セクタリリース指示」を“0”レベルに維持する制御が行われる。そして、フィールド期間T12では、ポーズ指令(pause)の解除を受けて「セクタリリース指示」を“1”レベルに立ち上げる制御が行われる。
【0167】
これによって、フィールド期間T10,T11では、バンク#2におけるB3フレームのボトムフィールドB3bが保持されるので、そのボトムフィールドB3bの表示がフィールド期間T10以後のフィールド期間T11,T12でも引き続いて行われる(field freeze)。そして、フィールド期間T12では、B4フレームのトップフィールドB4tについて復号が開始されるとともに、それに同期して表示読み出しの完了したB3フレームのボトムフィールドB3bを格納するセクタについてリリースが実行される。
【0168】
このように、1セクタリリースモードであるか2セクタリリースモードであるかを監視し、それによって、フリーズ処理をフレームフリーズにするか、フィールドフリーズにするかを切り替えることができるので、全ての画像に対して最適な表示を行うことが可能になる。
【0169】
[動作例6]
この動作例6では、動的マッピングモードによる動画像の逆再生について説明する。MPEG−2等に代表されるデジタル画像圧縮データの復号表示において逆再生を実現する場合、圧縮画像データの一部分を複数回、ビデオ復号装置に繰り返して入力することで復号が行われる。また、フレーム間予測符号化を用いた圧縮を利用している場合は、復号するフレームの時間的に前のフレームと後ろのフレームとを予測画像の抽出のためにフレームメモリに保持しておかなければならない。
【0170】
したがって、動的マッピングモードによる動画像の逆再生では、3面分のフレームメモリ14のうち2つのフレームメモリを前方向と後方向の予測画像保持用に使用し、残りの1フレームメモリを表示フレームの保持用に使用することになる。ここでは、動的マッピングモードで動作するバンク#2のフレームメモリを表示フレーム用のフレームメモリとする。
【0171】
このように3面分のフレームメモリを使い分けて通常再生から逆再生に遷移する場合、通常再生での最後の表示バンクがバンク#2以外である場合、そのバンク#2以外のフレームメモリを逆再生時の表示バンクであるバンク#2に移す必要がある。以下、この移動をデータコピー機能と呼ぶこととする。このバンク#2へのコピーにおいて、動的マッピングモードで動作させている場合は、コピーするフレームの属性によってコピー後の動的マッピングの動作モードが1セクタリリースモードとなるか、2セクタリリースモードとなるかが決まる。
【0172】
そして、1セクタリリースモードの場合におけるコピーでは、トップフィールドとボトムフィールドのいずれか一方の逆再生に移行するまでの表示動作で必要なデータのみのコピーとなる。一方、2セクタリリースモードの場合におけるコピーでは、トップフィールドとボトムフィールドの両データのコピーを行う必要がある。また、コピー後にセクタに格納されているデータの読み出し順序、およびセクタ管理テーブルの更新内容も変わってくる。
【0173】
そこで、図10に示すセクタリリースモード信号生成回路を用いて、図示しないデータコピー実行回路およびFIF13のセクタ制御回路が、データコピー後のバンク#2の動的マッピング動作モードを知ることができるようにしている。図10は、図1に示す画像復号表示装置において実施される動画像の通常再生から逆再生に移行する場合に画像の属性変化を認識するのに用いるセクタリリースモード信号を生成するセクタリリースモード信号生成回路の構成例を示すブロック図である。
【0174】
図10に示すセクタリリースモード信号生成回路は、パラメータ保持回路41,42,43と、セレクタ44,45と、論理回路46,47とを備えている。セレクタ44は、SEQ11からの復号画像書込バンク指示51に従ってパラメータ保持回路41,42の1つを選択し、その選択したパラメータ保持回路にVDEC12からの復号画像パラメータ52を送り込み保持させる。復号画像パラメータ52には、画像サイズやピクチャストラクチャなどが含まれている。
【0175】
これによって、通常再生の復号開始のタイミングにおいて、パラメータ保持回路41には、フレームメモリ14のバンク#0用のパラメータが保持される。パラメータ保持回路42には、フレームメモリ14のバンク#1用のパラメータが保持される。パラメータ保持回路43は、フレームメモリ14のバンク#2用のパラメータを保持する回路である。
【0176】
図示しないデータコピー実行回路は、逆再生指示を受けて、どのバンクからコピーするかを指示するコピー元バンク指示53をセレクタ45に与え、データコピー指示54をパラメータ保持回路43に与える。すなわち、セレクタ45は、パラメータ保持回路41,42の1つを選択し、その選択したパラメータ保持回路が保持する復号画像パラメータをパラメータ保持回路43に送り込むと、パラメータ保持回路43には、画像フレームの属性パラメータがコピーされる。
【0177】
パラメータ保持回路43が保持するバンク#2用の画像パラメータは論理回路46の一方の入力端に与えられる。論理回路46の他方の入力端には、SEQ11に外部から与えられる動作モード指示のうち、動的マッピングモード設定信号55が入力されている。これによって、論理回路46は、データコピー指示54の発生タイミングに同期して切り替わるセクタリリースモード切替予告信号56を生成し論理回路47に出力するとともに、FIF13と図示しないデータコピー実行回路とに出力される。
【0178】
論理回路47は、このセクタリリースモード切替予告信号56をサンプルクロック入力端に入力されるフィールド(field)更新信号がネーブルとなるときにサンプリングし、1セクタリリースモードと2セクタリリースモードのいずれか一方を指示するセクタリリースモード信号57を保持出力する。したがって、セクタリリースモード信号57は、セクタリリースモード切替予告信号56が切り替わったフィールド期間の1フィールド期間後に切り替わることになる。セクタリリースモード信号57は、SEQ11とFIF13とに出力される。
【0179】
セクタリリースモード切替予告信号56は、パラメータがコピーされた結果を反映しているので、コピー後のバンク#2のセクタ管理がどちらのモードに遷移するかを示すことになる。したがって、データコピー実行回路は、このセクタリリースモード切替予告信号56を見て、コピーするデータが片フィールド分か、両フィールド分かを決め、決められた格納順序で画像データのバンク#2へのコピーを行う。また、同時にFIF13もこのセクタリリースモード切替予告信号56によってセクタ管理テーブル132(図13参照)の書き換えを行う。なお、セクタリリースモード信号57を受けるSEQ11とFIF13は、動作例2や動作例3にて説明した動作を行う。
【0180】
これにより、通常再生から逆再生への遷移を画像の属性の変化がある場合でも動的マッピングモードのままで行うことが可能となる。
【0181】
【発明の効果】
以上説明したように、この発明によれば、フレームメモリのセクタ容量が表示する画像データの1フレーム以上ある場合には、その表示画像の最終表示フィールド期間においてトップフィールドデータを格納するセクタとボトムフィールドデータを格納するセクタとを同時にリリースすることができる。したがって、動的マッピングモードのままで、あらゆる属性の画像データの復号表示を連続して行うことができ、かつ画像本来の表示形態を実現することができるので、画質の向上を図ることができる。
【図面の簡単な説明】
【図1】 この発明の一実施の形態である画像復号表示装置の構成を示すブロック図である。
【図2】 図1に示す画像復号表示装置において実施されるインタレース表示モードでのフレーム属性によるセクタからの表示ライン読み出し順序を説明する図である。
【図3】 図1に示す画像復号表示装置において実施されるプログレッシブ表示モードでのフレーム属性によるセクタからの表示ライン読み出し順序を説明する図である。
【図4】 図1に示す画像復号表示装置において実施される2セクタリリースモードの動作例を説明するタイムチャートおよびセクタ使用量遷移を説明する図である。
【図5】 図1に示す画像復号表示装置において画像サイズやピクチャストラクチャなどの復号画像パラメータが切り替わる場合に用いるセクタリリースモード信号を生成するセクタリリースモード信号生成回路の構成例を示すブロック図である。
【図6】 図5に示すセクタリリースモード信号生成回路を用いて入力ビットストリームの画像サイズが通常サイズからSIFサイズに切り替わる場合の動作例を説明するタイムチャートである。
【図7】 図1に示す画像復号表示装置において復号されるフレームにピクチャストラクチャの変化がある場合の動作例を説明するタイムチャートである。
【図8】 図1に示す画像復号表示装置において実施される2セクタリリースモード動作時にフレームレートを変換する場合の動作例を説明するタイムチャートである。
【図9】 図1に示す画像復号表示装置においてポーズ処理が実施される場合の動作例を説明するタイムチャートである。
【図10】 図1に示す画像復号表示装置において実施される動画像の通常再生から逆再生に移行する場合に画像の属性変化を認識するのに用いるセクタリリースモード信号を生成するセクタリリースモード信号生成回路の構成例を示すブロック図である。
【図11】 従来の画像復号表示装置の構成例を示すブロック図である。
【図12】 図11に示すフレームメモリ14のバンク#2における画像データとセクタとの対応関係を説明する図である。
【図13】 図11に示すFIFにおけるセクタ管理装置の構成を示すブロック図である。
【図14】 図11に示す画像復号表示装置において実施される1セクタリリースモードの動作例を説明するタイムチャートおよびセクタ使用量遷移を説明する図である。
【符号の説明】
11 全体制御部(SEQ)、12 画像復号部(VDEC)と、13 フレームメモリ制御部(FIF)と、14 フレームメモリ(Frame Memory)、15ビデオインターフェイス部(VIF)、21,22,23,41,42,43パラメータ保持回路、24,25,44,45 セレクタ、26,27,46,47 論理回路、131 セクタ管理回路、132 セクタ管理テーブル。

Claims (9)

  1. 予測画像として用いないフレームの復号画像データを格納するフレームメモリを複数のセクタに分割して管理する分割管理手段と、
    前記フレームメモリの空きセクタを検索し、前記復号画像データにおけるトップフィールドデータとボトムフィールドデータとを別々の空きセクタに書き込む書込制御手段と、
    前記フレームメモリから復号画像データを読み出して表示する際に、前記フレームメモリのセクタ容量が表示する画像データの1フレーム以上ある場合には、その表示画像の最終表示フィールド期間においてトップフィールドデータを格納するセクタとボトムフィールドデータを格納するセクタとを同時にリリースする読み出し制御手段と、
    を備えたことを特徴とする画像復号表示装置。
  2. 前記読み出し制御手段は、
    前記フレームメモリから復号画像データを読み出して表示する読み出しライン順をその表示画像の属性、画像サイズおよび表示モニタの種類に適合した形式に決定し実行する、
    ことを特徴とする請求項1に記載の画像復号表示装置。
  3. 復号画像データが画像サイズが異なる2つの画像データを含む場合において、前記フレームメモリのセクタ容量が画像サイズの大きい方の画像データの1フレーム未満である場合に、
    前記読み出し制御手段は、
    前記画像サイズの大きい方の画像データの読み出し表示では、各表示フィールド期間において読み出しを完了したトップフィールドデータを格納するセクタとボトムフィールドデータを格納するセクタのうちの該当する一方のセクタをリリースし、
    画像サイズの小さい方の画像データの読み出し表示では、最終表示フィールド期間においてトップフィールドデータを格納するセクタとボトムフィールドデータを格納するセクタとを同時にリリースする、
    ことを特徴とする請求項1に記載の画像復号表示装置。
  4. 前記読み出し制御手段は、
    表示するフレームの画像データを格納するセクタの格納ライン数で当該画像データの垂直画素サイズを割った値が奇数となる場合には、書き込まれているライン数の読み出し完了時点でリリースを実行する、
    ことを特徴とする請求項1または3に記載の画像復号表示装置。
  5. 復号画像データがフレームストラクチャの画像データとフィールドストラクチャの画像データとを含む場合において、
    前記読み出し制御手段は、
    前記フレームストラクチャの画像データの読み出し表示では、最終表示フィールド期間においてトップフィールドデータを格納するセクタとボトムフィールドデータを格納するセクタとを同時にリリースし、
    前記フィールドストラクチャの画像データの読み出し表示では、各表示フィールド期間において読み出しを完了したトップフィールドデータを格納するセクタとボトムフィールドデータを格納するセクタのうちの該当する一方のセクタをリリースする、
    ことを特徴とする請求項1に記載の画像復号表示装置。
  6. 復号画像データがフレームレートの変換処理を必要とする画像データを含む場合において、
    前記読み出し制御手段は、
    該当する画像データの読み出し表示では、1フレームの表示に要する各フィールド期間ではセクタのリリースを実行せず、当該フレームの最終表示フィールド期間においてトップフィールドデータを格納するセクタとボトムフィールドデータを格納するセクタとを同時にリリースする、
    ことを特徴とする請求項1に記載の画像復号表示装置。
  7. 前記読み出し制御手段は、
    ポーズ指令が入力された表示動作期間が、トップフィールドデータを格納するセクタとボトムフィールドデータを格納するセクタのうちの一方のセクタをリリースする表示動作期間である場合はフィールドフリーズを実行し、両セクタを同時にリリースする表示動作期間である場合はフレームフリーズを実行する、
    ことを特徴とする請求項1に記載の画像復号表示装置。
  8. 予測画像として用いないフレームでの復号画像データの属性を保持する属性保持手段と、
    動的マッピングモードの設定を受けて前記属性保持手段が保持する属性を参照しセクタのリリースを1つのセクタについて行う1セクタリリースモードと2つのセクタについて行う2セクタリリースモードとのいずれかを指定するセクタリリースモード信号を生成するリリースモード生成手段と、
    前記セクタリリースモード信号に従って前記読み出し制御手段に実行させるセクタのリリースを制御する制御手段と、
    を備えたことを特徴とする請求項1〜7のいずれか一つに記載の画像復号表示装置。
  9. 通常再生時において、予測画像として用いる2種類のフレームでの復号画像データの属性をそれぞれ保持する属性保持手段と、
    通常再生から逆再生に遷移する際に前記属性保持手段が保持する属性に従って前記フレームメモリでの格納状態を切り替える切替手段と、
    動的マッピングモードの設定を受けて前記属性保持手段が保持する属性を参照しセクタのリリースを1つのセクタについて行う1セクタリリースモードと2つのセクタについて行う2セクタリリースモードとのいずれかを指定するセクタリリースモード信号を生成するリリースモード生成手段と、
    前記セクタリリースモード信号に従って前記読み出し制御手段に実行させるセクタのリリースを制御する制御手段と、
    を備えたことを特徴とする請求項1〜8のいずれか一つに記載の画像復号表示装置。
JP2003139400A 2003-05-16 2003-05-16 画像復号表示装置 Expired - Lifetime JP4315731B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003139400A JP4315731B2 (ja) 2003-05-16 2003-05-16 画像復号表示装置
US10/730,907 US7346112B2 (en) 2003-05-16 2003-12-10 Method of and apparatus for decoding and displaying video that improves quality of the video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003139400A JP4315731B2 (ja) 2003-05-16 2003-05-16 画像復号表示装置

Publications (2)

Publication Number Publication Date
JP2004343553A JP2004343553A (ja) 2004-12-02
JP4315731B2 true JP4315731B2 (ja) 2009-08-19

Family

ID=33410839

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003139400A Expired - Lifetime JP4315731B2 (ja) 2003-05-16 2003-05-16 画像復号表示装置

Country Status (2)

Country Link
US (1) US7346112B2 (ja)
JP (1) JP4315731B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4867235B2 (ja) * 2004-10-26 2012-02-01 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
US20090092376A1 (en) * 2006-04-28 2009-04-09 Satoshi Kinoshita Video reproduction apparatus
JP2007300396A (ja) * 2006-04-28 2007-11-15 Matsushita Electric Ind Co Ltd 映像再生装置
US8134640B2 (en) * 2006-12-26 2012-03-13 Broadcom Corporation Video processor architecture and method for frame rate conversion
FR2925189A1 (fr) * 2007-12-14 2009-06-19 Thomson Licensing Sas Dispositif et procede de gestion de memoire
KR101966064B1 (ko) 2012-09-06 2019-04-05 삼성전자주식회사 파이프라인 디코딩을 위한 비트스트림 처리 장치 및 이를 포함하는 멀티미디어 장치
DE102016124018B4 (de) 2016-12-12 2022-12-01 National Chung Shan Institute Of Science And Technology Adaptives digitales Vorverzerrungssystem

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0628441B2 (ja) * 1986-08-19 1994-04-13 パイオニア株式会社 高速再生機能を有する情報再生装置
JPS63179678A (ja) * 1987-01-20 1988-07-23 Sanyo Electric Co Ltd 高品位静止画再生回路
JPS63193782A (ja) * 1987-02-06 1988-08-11 Canon Inc 映像信号再生装置
JPH08107482A (ja) 1994-10-07 1996-04-23 Graphics Commun Lab:Kk 画像復号装置
KR100215824B1 (ko) 1996-04-09 1999-08-16 구자홍 엠펙 디코더의 프레임 메모리 및 영상 데이타 디코딩방법
US5907372A (en) * 1996-06-28 1999-05-25 Hitachi, Ltd. Decoding/displaying device for decoding/displaying coded picture data generated by high efficiency coding for interlace scanning picture format
DE69731342T2 (de) * 1996-08-22 2005-03-17 Matsushita Electric Industrial Co., Ltd., Kadoma Bildverarbeitungsvorrichtung
JP3738310B2 (ja) * 1997-08-04 2006-01-25 カシオ計算機株式会社 カメラ
JP3779147B2 (ja) * 2000-11-20 2006-05-24 横河電機株式会社 監視システム
JP2003030078A (ja) * 2001-07-12 2003-01-31 Mega Chips Corp 情報配信システム、情報配信方法およびプログラム

Also Published As

Publication number Publication date
US7346112B2 (en) 2008-03-18
US20040228412A1 (en) 2004-11-18
JP2004343553A (ja) 2004-12-02

Similar Documents

Publication Publication Date Title
JP4889573B2 (ja) 画像処理装置
TW200427319A (en) Method for selecting the de-interlacing algorithm of dynamic image
JP5082153B2 (ja) 映像変換装置、映像再生装置、映像変換再生システム及びプログラム
JPH0818953A (ja) 動画像復号表示装置
US20150043897A1 (en) Reproducing apparatus
JP2010081182A (ja) 画像処理装置
JPH08305860A (ja) 画像復号表示装置
JP4315731B2 (ja) 画像復号表示装置
US5929911A (en) Multiformat reduced memory MPEG-2 compliant decoder
JP6253338B2 (ja) 映像処理装置、映像処理装置の制御方法
JP5526641B2 (ja) メモリコントローラ
JP3990392B2 (ja) 可変長復号化装置、可変長復号化方法および撮像システム
JP5096883B2 (ja) 画像処理装置および画像録画再生装置
JP2006166308A (ja) 復号化装置及び復号化方法
KR100469258B1 (ko) 썸네일 영상 생성 장치 및 방법
JP3685386B2 (ja) 複数のビデオ・ソースを有し、オンスクリーン表示グラフィックスでピクチャ内ピクチャを実現する統合ビデオ処理システム
JP2005160021A (ja) 信号処理方法および信号処理装置
JP5867050B2 (ja) 画像処理装置
JP2012100162A (ja) 画像デコード装置及びデコードプログラム
JP2007094391A (ja) 動画像表示装置
JP3256627B2 (ja) 動画復号化方法及びその装置
JP2007288443A (ja) 画像データ復号装置
JPH1084558A (ja) ディジタル圧縮画像復号表示装置
JP2018195946A (ja) 記録装置
JP3572819B2 (ja) ディジタル画像圧縮符号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090303

AA91 Notification that invitation to amend document was cancelled

Free format text: JAPANESE INTERMEDIATE CODE: A971091

Effective date: 20090317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090519

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090519

R150 Certificate of patent or registration of utility model

Ref document number: 4315731

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120529

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120529

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120529

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120529

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130529

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140529

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term