JP3515565B2 - 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 - Google Patents

画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機

Info

Publication number
JP3515565B2
JP3515565B2 JP2002152850A JP2002152850A JP3515565B2 JP 3515565 B2 JP3515565 B2 JP 3515565B2 JP 2002152850 A JP2002152850 A JP 2002152850A JP 2002152850 A JP2002152850 A JP 2002152850A JP 3515565 B2 JP3515565 B2 JP 3515565B2
Authority
JP
Japan
Prior art keywords
picture
decoder
gop
mpeg
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002152850A
Other languages
English (en)
Other versions
JP2003052020A (ja
Inventor
茂之 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2002152850A priority Critical patent/JP3515565B2/ja
Publication of JP2003052020A publication Critical patent/JP2003052020A/ja
Application granted granted Critical
Publication of JP3515565B2 publication Critical patent/JP3515565B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像処理方法およ
びこれを利用可能な画像処理装置およびテレビジョン受
像機に関する。本発明は、例えばMPEG(Moving Pic
ture Expert Group)規格に従って符号化されたデータ
を処理する技術に関する。
【0002】
【従来の技術】マルチメディアで扱われる情報は、膨大
な量で且つ多種多様であり、これらの情報を高速に処理
することがマルチメディアの実用化を図る上で必要とな
る。情報を高速に処理するためには、データの圧縮・伸
長技術が不可欠となる。そのようなデータの圧縮・伸長
技術として「MPEG」方式が挙げられる。このMPE
G方式は、ISO(International Organization for S
tandardization)/IEC(International Electro-te
chnical Commission)傘下のMPEG委員会(ISO/IEC
JTC1/SC29/WG11)によって標準化されつつある。MPE
G方式を利用した画像処理装置は、ムービーカメラ、ス
チルカメラ、テレビジョン、ビデオCD再生装置、DV
D再生装置など、様々な画像関連機器に組み込まれてい
る。
【0003】MPEGで取り扱われるビデオデータは動
画に関するものであり、その動画は1秒間に複数枚、例
えば30枚のフレーム、すなわち静止画またはコマによ
って構成されている。図1に示すように、ビデオデータ
は、シーケンス(Sequence)、GOP(Group Of Pictu
res)、ピクチャ(Picture)、スライス(Slice)、マ
クロブロック(Macroblock)、ブロック(Block)の順
に6層の階層構造から成る。1枚のピクチャを構成する
スライスの個数は一定ではなく、1個のスライスを構成
するマクロブロックの個数も一定ではない。なお、図1
では、マクロブロック層およびブロック層については省
略してある。
【0004】また、MPEGには主に符号化レートの違
いにより、主に、MPEG−1,MPEG−2の2つの
方式がある。MPEG−1においてフレームはピクチャ
に対応している。MPEG−2においては、フレームま
たはフィールドをピクチャに対応させることもできる。
フィールドは、2枚で1枚のフレームを構成している。
ピクチャにフレームが対応している構造はフレーム構造
と呼ばれ、ピクチャにフィールドが対応している構造は
フィールド構造と呼ばれる。
【0005】MPEGでは、フレーム間予測と呼ばれる
圧縮技術を用いる。フレーム間予測は、フレーム間のデ
ータを時間的な相関に基づいて圧縮する。フレーム間予
測では双方向予測が行われる。双方向予測とは、過去の
再生画像またはピクチャから現在の再生画像を予測する
順方向予測と、未来の再生画像から現在の再生画像を予
測する逆方向予測とを併用することである。
【0006】この双方向予測は、Iピクチャ(Intra-Pi
cture)、Pピクチャ(Predictive-Picture)、Bピク
チャ(Bidirectionally predictive-Picture)と呼ばれ
る3つのタイプのピクチャを規定している。Iピクチャ
は、フレーム内符号化処理によって過去や未来の再生画
像とは無関係に独立して生成される画像である。ランダ
ムアクセスを行うために、GOP内には最低1枚のIピ
クチャが必要である。Iピクチャ内の全てのマクロブロ
ック・タイプは、フレーム内予測画面(IntraFrame)で
ある。Pピクチャは、フレーム間符号化処理によって、
順方向予測、すなわち過去のIピクチャまたはPピクチ
ャからの予測により生成される。Pピクチャ内のマクロ
ブロック・タイプは、フレーム内予測画面と順方向予測
画面(Forward Inter Frame)の両方を含む。
【0007】Bピクチャは、フレーム間符号化処理によ
って、双方向予測により生成される。双方向予測におい
てBピクチャは、以下に示す3つの予測のうちいずれか
1つにより生成される。 順方向予測;過去のIピクチャまたはPピクチャから
の予測 逆方向予測;未来のIピクチャまたはPピクチャから
の予測 双方向予測;過去および未来のIピクチャまたはPピ
クチャからの予測 Bピクチャ内のマクロブロック・タイプは、フレーム内
予測画面、順方向予測画面、逆方向予測画面(Backward
Inter Frame)、内挿的予測画面(Interpolative Inte
r Frame)の4つのタイプを含む。
【0008】これらI、P、Bピクチャがそれぞれ符号
化される。つまり、Iピクチャは過去や未来のピクチャ
がなくても生成される。これに対し、Pピクチャは過去
のピクチャがないと生成されず、Bピクチャは過去また
は未来のピクチャがないと生成されない。ただし、Pピ
クチャやBピクチャでも、マクロブロック・タイプが内
挿的予測画面の場合、そのマクロブロックは過去や未来
のピクチャがなくても生成される。
【0009】フレーム間予測では、まず、Iピクチャが
周期的に生成される。次に、Iピクチャよりも数フレー
ム先のフレームがPピクチャとして生成される。このP
ピクチャは、過去から現在への一方向(順方向)の予測
により生成される。つづいて、Iピクチャの前、Pピク
チャの後に位置するフレームがBピクチャとして生成さ
れる。このBピクチャを生成するとき、順方向予測,逆
方向予測,双方向予測の3つの中から最適な予測方法が
選択される。連続した動画では一般的に、現在の画像と
その前後の画像とはよく似ており、異なっているのは、
そのごく一部分に過ぎない。そこで、前のフレームと次
のフレームとは同じであると仮定し、両フレーム間に変
化があればその差分のみを抽出して圧縮する。例えば、
前のフレームをIピクチャ、次のフレームをPピクチャ
とし、差分がBピクチャのデータとして抽出される。こ
れにより、フレーム間のデータを時間的な相関に基づい
て圧縮することができる。MPEGビデオパートに準拠
して符号化されたビデオデータのデータ列またはビット
ストリームは、MPEGビデオストリームと呼ばれる。
【0010】MPEG−1は主に、ビデオCD(Compac
t Disc)やCD−ROM(CD-ReadOnly Memory )など
の蓄積メディアに対応している。MPEG−2は、ビデ
オCD,CD−ROM,DVD(Digital Video Dis
k),VTR(Video Tape Recorder)などの蓄積メディ
アだけでなく、LAN(Local Area Network)などの通
信メディア、地上波放送や衛星放送およびCATV(Co
mmunity Antenna Television)などの放送メディアをも
含む伝達メディア全般に対応している。
【0011】MPEGビデオパートで用いられる技術の
核となるのが、動き補償付予測(MC;Motion Compens
ated prediction)と離散コサイン変換(DCT;Discr
eteCosine Transform)である。MCとDCTを併用し
た符号化技術は、ハイブリッド符号化技術と呼ばれる。
MPEGビデオパートでは、符号化時にDCT(別名F
DCT;Forward DCT)を用い、画像のビデオ信号を
周波数成分に分解して処理する。そして、復号時にDC
Tの逆変換(離散コサイン逆変換;IDCT;Inverse
DCT)を用い、周波数成分を再び画像のビデオ信号に
戻す。
【0012】MPEGでは膨大な量の情報を高速に処理
することができるが、上述したとおり、フレーム間予測
と呼ばれる圧縮技術を用いるため、MPEGビデオパー
トに準拠して時系列的に符号化されて記録されたデータ
列をピクチャサーチのために逆順再生、すなわち逆方向
に再生する場合、通常のビデオテープレコーダのよう
に、記録されたデータ列を単に時間軸を遡って再生する
ことは非常に困難である。そこで従来では、各GOP内
に割り当てられたIピクチャのみを時間軸に遡って再生
することが行われている。Iピクチャは、上述したとお
り、フレーム内符号化処理された画像であるため、前後
のピクチャを参照することなく独立して表示させること
ができる。
【0013】
【発明が解決しようとする課題】従来例にあっては、各
GOP内に割り当てられるIピクチャの数はきわめて少
なく、例えば、MPEGでは、GOP内に割り当てられ
るIピクチャは、15〜30枚のピクチャのうちせいぜ
い1枚であり、15〜30コマ毎のピクチャを逆順再生
したところで、通常のビデオテープレコーダのような滑
らかな逆順再生画面を得ることができず、見たいシーン
でタイミングよくストップさせることが困難であった。
本発明はこの点に鑑みてなされたものであって、その目
的のひとつは、滑らかな逆順再生画面を得ることができ
る画像処理の技術を提供することにある。
【0014】本発明はこの目的、および本明細書から明
らかになるその他の目的に対して、主に画像の符号化と
復号処理に関連する技術において解決を図るものであ
る。
【0015】
【課題を解決するための手段】本発明のある態様は、画
像処理装置に関する。この装置は、MPEGに準拠して
符号化されたIピクチャ、Pピクチャ、Bピクチャを含
む第1の符号化データ列をIピクチャとBピクチャとか
らなる第2の符号化データ列に変換する変換器と、この
変換器により生成された第2の符号化データ列を反時系
列的に復号する後置復号器と、変換器および後置復号器
の動作を制御する制御部と、を具備し、変換器は、第1
の符号化データ列のうち少なくともPピクチャを復号す
る前置復号器と、前置復号器で復号されたデータをMP
EGに準拠してBピクチャとして符号化する符号化器
と、第2の符号化データ列を記憶する記憶部と、を含
む。前置復号器は前述の第1の復号器に対応し、後置復
号器は前述の第2の復号器に対応する。
【0016】本発明の別の態様もまた、画像処理装置に
関する。この装置は、MPEGに準拠して符号化された
Iピクチャ、Pピクチャ、Bピクチャを含む第1の符号
化データ列をIピクチャとBピクチャとからなる第2の
符号化データ列に変換する変換器と、この変換器により
生成された第2の符号化データ列を反時系列的に復号す
る後置復号器と、変換器および後置復号器の動作を制御
する制御部と、を具備し、変換器は、第1の符号化デー
タ列のうち少なくともBピクチャおよびPピクチャを復
号する前置復号器と、前置復号器で復号されたデータを
MPEGに準拠してBピクチャとして符号化する符号化
器と、第2の符号化データ列を記憶する記憶部と、を含
む。
【0017】これらの態様において、制御部の制御に従
い、第2の符号化データ列に含まれるIピクチャとし
て、第1の符号化データ列に含まれるIピクチャを前置
復号器および符号化器による処理を施さずにそのまま割
り当てる割当制御部をさらに備えてもよい。
【0018】第1の符号化データ列は、所定のグループ
単位で、ピクチャが所定の順序で割り当てられて符号化
されたデータであってもよく、その場合、変換器および
後置復号器による各処理が所定のグループ単位で行われ
るとともに、変換器は、あるグループの符号化データ列
のうちPピクチャを復号した画像データを、そのグルー
プに含まれるIピクチャと次のグループに含まれるIピ
クチャとを参照してBピクチャとして符号化してもよ
い。また、変換器は、あるグループの符号化データ列の
うちBピクチャおよびPピクチャを復号した画像データ
を、そのグループに含まれるIピクチャと次のグループ
に含まれるIピクチャとを参照してBピクチャとして符
号化してもよい。
【0019】後置復号器は、第2の符号化データ列を記
憶部から反時系列的に読み出すとともに、第2の符号化
データ列に含まれるBピクチャに関して前方参照先と後
方参照先とが逆になるように復号することにより、反時
系列的な復号を実現してもよい。符号化器は、第2の符
号化データ列を反時系列的な順序で記憶部に記憶させる
とともに、第2の符号化データ列に含まれるBピクチャ
を前方参照先と後方参照先とが逆になるように符号化し
ておくことにより、後置復号器による反時系列的な復号
を実現してもよい。前置復号器と後置復号器とをハード
ウエア的に共通化してもよい。
【0020】本発明のさらに別の態様は、画像処理方法
に関する。この方法は、MPEGに準拠して符号化され
たIピクチャ、Pピクチャ、Bピクチャを含む第1の符
号化データ列をIピクチャとBピクチャとからなる第2
の符号化データ列に変換する処理と、この第2の符号化
データ列を反時系列的に復号する処理と、を含み、この
変換する処理は、第1の符号化データ列のうち少なくと
もPピクチャをMPEGに準拠してBピクチャとして符
号化する処理である。
【0021】本発明のさらに別の態様もまた、画像処理
方法に関する。この方法は、MPEGに準拠して符号化
されたIピクチャ、Pピクチャ、Bピクチャを含む第1
の符号化データ列をIピクチャとBピクチャとからなる
第2の符号化データ列に変換する処理と、この第2の符
号化データ列を反時系列的に復号する処理と、を含み、
この変換する処理は、第1の符号化データ列のうち少な
くともBピクチャおよびPピクチャをMPEGに準拠し
てBピクチャとして符号化する処理である。
【0022】第2の符号化データ列に含まれるIピクチ
ャとして、第1の符号化データ列に含まれるIピクチャ
をそのまま割り当ててもよい。第2の符号化データ列を
記憶部から反時系列的に読み出すとともに、第2の符号
化データ列に含まれるBピクチャに関して前方参照先と
後方参照先とが逆になるように復号することにより、反
時系列的な復号を実現してもよい。第2の符号化データ
列を反時系列的な順序で記憶部に記憶させるとともに、
第2の符号化データ列に含まれるBピクチャを前方参照
先と後方参照先とが逆になるように符号化しておくこと
により、反時系列的な復号を実現してもよい。
【0023】なお、以上のいずれかの画像処理装置を搭
載し、これによって画像の反時系列的な再生を動作仕様
の一部に有するテレビジョン受像機を提供してもよい。
「Iピクチャ」、「Bピクチャ」、「Pピクチャ」は、
それぞれMPEG4において「I−VOP(Video Object Pl
ane)」、「B−VOP」、「P−VOP」に相当する
とともに、これらの概念を包含する。
【0024】以上、いずれの場合も、符号化または復
号、および場合によりそれらに付随する処理は、所定の
グループ単位で実行されてもよい。さらに、以上の任意
の構成要素、処理過程等の異なる組合せ、本発明の表現
を方法、装置、システム、コンピュータプログラム、記
録媒体などの間で変換したものもまた、本発明の態様と
して有効である。
【0025】
【発明の実施の形態】本発明を具体化した実施形態を説
明する。実施形態のいくつかに共通する処理は、画像の
正順および逆順再生である。以下の説明において、「正
順」「逆順」およびそれらの同義語は、説明の便宜上、
画像を構成するピクチャを最終的に表示する形にしたと
きの順序についていうものとする。このため、以下とく
に断らない限り、ピクチャの順序は表示の状態を考え
る。
【0026】以下の実施形態では、さまざまな構成部材
が現れる。これらは、ハードウエア的には、CPU、メ
モリ、その他のLSIや組合せ回路などによって実現で
き、ソフトウエア的にはメモリのロードされた画像処理
機能のあるプログラムなどによって実現されるが、以
下、それらの連携によって実現される機能を中心に描
く。したがって、これらの機能がハードウエアのみ、ソ
フトウエアのみ、またはそれらの組合せによっていろい
ろな形で実現できることは、当業者には理解されるとこ
ろである。なお、画像再生装置は本発明の「画像処理装
置」の一例である。
【0027】(第1実施形態)図2は、画像の逆順再生
の手順に関し概略を示す。本図に沿って本実施形態の概
略を説明する。同図に示されるとおり、逆順再生には
(A)〜(D)の4段階の手順が含まれる。MPEGビ
デオストリームは、I、P、Bピクチャの順序について
いろいろな組合せが考えられるが、以下説明のために、
ビデオストリームを「I
101211…」と決め、一方、ピク
チャの表示順を「I
1112…」と決めておく。
【0028】(A)は、正順再生時のMPEGビデオス
トリームを示す。このストリームは、GOP、GOP
、GOPの順でピクチャを含む。GOPには表示
順で「I」の
ピクチャが含まれ、GOPには表示順で「I10
1112131415161718
」のピクチャが含まれる。
【0029】(B)は、逆順再生時に読み出すMPEG
ビデオストリームを示す。逆順再生においては、MPE
GビデオストリームにおけるGOPの順序を逆順にして
GOP単位で読み出すとともに、各GOP内のピクチャ
は順方向、すなわち時系列的に復号する。このとき、読
出対象のGOPに次のGOPに含まれるIピクチャを含
めさせる。たとえば、GOPのピクチャを読出対象と
する場合、GOPの先頭にあるI20をGOPの末
尾に加える。これにより、GOPの先頭と末尾をそれ
ぞれIピクチャで構成し、間のPピクチャまたはBピク
チャを挟み込む形とする。
【0030】(C)は、再符号化したMPEGビデオス
トリームを示す。(B)におけるIピクチャを再度Iピ
クチャに符号化し、それ以外のピクチャ、すなわちPピ
クチャおよびBピクチャをすべてBピクチャに符号化す
る。Bピクチャに符号化する際には、GOPの先頭と末
尾にある2つのIピクチャを参照する。(B)において
各GOPに加えられたIピクチャは、そのGOPにおけ
る再符号化をスキップする。たとえば、GOPの符号
化ではI20を破棄し、GOPの符号化ではI10
破棄する。
【0031】(D)は、再復号するMPEGビデオスト
リームを示す。この再復号の段階では、各GOP内のピ
クチャの順序をGOPごとに逆順にして復号する。これ
により全体的なピクチャの再生順序として逆順の並びが
実現される。再符号化時にGOPに加えられた逆順再生
における「逆順」とは、主に2回目の復号に関連する。
【0032】図3は、第1実施形態に係る画像再生装置
1のブロック回路を示す。この画像再生装置1は、伝達
メディア2からのMPEGビデオストリームをディスプ
レイ3に出力するムービーカメラ、スチルカメラ、テレ
ビジョン、ビデオCD再生装置、DVD再生装置などに
組み込まれる。なお、伝達メディア2には、蓄積メディ
ア(ビデオCD,CD−ROM,DVD,VTRな
ど)、通信メディア(LANなど)、放送メディア(地
上波放送,衛星放送,CATVなど)などが含まれる。
また、蓄積メディアや放送メディアからのデータがMP
EGビデオパートに準拠して符号化されていないデータ
である場合は、伝達メディアは、このデジタルデータを
符号化するためのMPEGビデオエンコーダをも含む。
画像再生装置1をムービーカメラまたはスチルカメラに
組み込む場合は、伝達メディア2がCCDなどの撮像デ
バイスおよびその信号処理回路に置き換えられる。
【0033】図3において、画像再生装置1は、ハード
ディスク(HD)4、MPEGビデオデコーダ5(以下
単に「デコーダ5」とも表記する)、MPEGビデオエ
ンコーダ6(以下単に「エンコーダ6」とも表記す
る)、第2のMPEGビデオデコーダ7(以下単に「第
2デコーダ7」とも表記する)、切替回路8、表示回路
9、制御コア回路10から構成される。画像再生装置1
全体またはその主要部は1チップのLSIに搭載されて
いてもよく、それは他の実施形態でも同様である。制御
コア回路10は、デコーダ5、第2デコーダ7およびエ
ンコーダ6を始め画像再生装置1の各構成要素の動作を
制御する。ハードディスク4は、磁気ディスクから構成
され、伝達メディア2から転送されてくるビデオストリ
ームを順次蓄積する。ハードディスク4内には特別な記
憶領域4aが設けられている。
【0034】デコーダ5は、ハードディスク4からGO
P単位で複数のピクチャを読み出す。正順再生時には、
制御コア回路10の制御に従って時系列的なGOPの順
序でGOPごとのピクチャを読み出す。時系列的なGO
Pの順序は、たとえばGOP 、GOP、GOP
ごとくである。デコーダ5は、時系列的なGOPの順序
で読み出されたGOP単位のピクチャを、時系列的なピ
クチャの順序で復号する。
【0035】逆順再生時には、デコーダ5は制御コア回
路10の制御に従って反時系列的なGOPの順序でGO
Pごとのピクチャを読み出す。反時系列的なGOPの順
序は、たとえばGOP、GOP、GOPのごとく
である。このとき、デコーダ5は、読出対象のGOPに
加えて次のGOPの先頭に位置するIピクチャも読み出
す。このIピクチャは、Bピクチャの再符号化のために
必要とされる。デコーダ5は、反時系列的なGOPの順
序で読み出されたGOP単位のピクチャを、時系列的な
ピクチャの順序で復号する。
【0036】切替回路8は、制御コア回路10の制御に
従って第1ノード8a、第2ノード8b側への接続が切
り換えられる。切替回路8が第1ノード8a側に接続さ
れると、デコーダ5が生成した再生画像データ列はその
まま表示回路9に入力され、正順再生が行われる。第2
ノード8b側に接続されると、表示回路9には、後述す
るとおり逆順再生を行うために、第2デコーダ7からの
データが入力される。
【0037】表示回路9は、デコーダ5または第2デコ
ーダ7から転送されたピクチャのデータから映像ビデオ
信号を生成し、これを画像再生装置1に接続されたディ
スプレイ3へ出力する。
【0038】デコーダ5が生成した再生画像データ列
は、さらにエンコーダ6にも入力され、再符号化され
る。エンコーダ6では、デコーダ5により生成された再
生画像データ列を画面単位でフレーム内符号化画像であ
るIピクチャ、または双方向予測符号化画像であるBピ
クチャとして符号化する。具体的には、エンコーダ6
は、Iピクチャを復号したデータを再度Iピクチャに符
号化し、それ以外のデータ、すなわちPピクチャおよび
Bピクチャを復号したデータをBピクチャに符号化す
る。Bピクチャへの符号化における後方参照先としての
Iピクチャには、そのGOPに加えられた次のGOPの
Iピクチャを利用する。
【0039】制御コア回路10は、IピクチャとBピク
チャのいずれに再符号化するかを判別するために、GO
Pごとの先頭ピクチャだけをIピクチャに符号化し、次
のピクチャ以降をBピクチャに符号化するようエンコー
ダ6を制御してもよい。なお、各GOPに含めさせた次
のGOPのIピクチャは、次のGOPとの間でピクチャ
重複を避けるためにその再符号化をスキップするよう制
御してもよい。
【0040】デコーダ5により生成された再生画像デー
タ列は、エンコーダ6によって、画面単位でIピクチャ
またはBピクチャに符号化された後、ハードディスク4
内に割り当てられた記憶領域4aに格納される。この記
憶領域4aの容量は、入力されるMPEGビデオストリ
ームの1GOPぶんで十分である。なお、記憶領域4a
が本発明の「記憶部」の一例である。
【0041】第2デコーダ7は、記憶領域4aに記憶さ
せた再符号化データ列に含まれるピクチャを反時系列的
なピクチャの順序で読み出して再復号する。これにより
再生画像データ列を生成し、逆順再生を実現する。この
再生画像データ列は、切替回路8の第2ノード8bから
表示回路9に入力される。
【0042】図4は、デコーダ5の構成を示すブロック
図である。同図において、デコーダ5は、ハフマン復号
回路14、逆量子化回路15、IDCT(Inverse Disc
reteCosine Transform)回路16、MC(Motion Compe
nsated prediction)回路17、ROM(Read Only Mem
ory)18,19から構成されている。なお、デコーダ
5は本発明の「前置復号器」の一例である。
【0043】ハフマン復号回路14は、ハードディスク
4から読み出されたピクチャに対して、ROM18に記
憶されたハフマンテーブルに格納されているハフマンコ
ードに基づいた可変長復号を行う。逆量子化回路15
は、ハフマン復号回路14の復号結果に対して、ROM
19に記憶された量子化テーブルに格納されている量子
化閾値に基づいた逆量子化を行いDCT(Discrete Cos
ine Transform)係数を求める。IDCT回路16は、
逆量子化回路15が求めたDCT係数に対してIDCT
を行う。MC回路17は、IDCT回路16の処理結果
に対してMC(Motion Compensated prediction)を行
う。
【0044】こうして、デコーダ5は、入力されたMP
EGビデオストリームを復号して、時系列的に連続する
再生画像データ列を生成する。なお、このMPEGビデ
オストリームが本発明の「第1の符号化データ列」の一
例である。
【0045】図5は、エンコーダ6の構成を示すブロッ
ク図である。同図において、エンコーダ6は、MC回路
20、DCT回路21、量子化回路22、ハフマン符号
化回路23、ROM24,25から構成されている。な
お、エンコーダ6が本発明の「符号化器」の一例であ
る。
【0046】DCT回路21は、デコーダ5から入力さ
れた再生画像データをブロック単位で取り込み、2次元
の離散コサイン変換を行ってDCT係数を生成する。量
子化回路22は、DCT係数を、ROM24に記憶され
た量子化テーブルに格納されている量子化しきい値を参
照して量子化する。なお、ROM24は、ROM19と
兼用してもよい。
【0047】ハフマン符号化回路23は、量子化された
DCT係数を、ROM25に記憶されたハフマンテーブ
ルに格納されているハフマン符号を参照して可変長符号
化することにより、圧縮された画像データを画面単位で
生成する。なお、ROM25は、ROM18と兼用して
もよい。
【0048】こうして、エンコーダ6は、時系列的に連
続する再生画像データ列を再符号化してMPEGビデオ
ストリームを生成する。なお、このMPEGビデオスト
リームが本発明の「第2の符号化データ列」の一例であ
る。
【0049】図6は、第2デコーダ7の構成を示すブロ
ック図である。同図において、第2デコーダ7は、ハフ
マン復号回路26、逆量子化回路27、IDCT回路2
8、MC回路29、ROM30,31から構成されてい
る。なお、第2デコーダ7が本発明の「後置復号器」の
一例である。
【0050】この第2デコーダ7の構成は、デコーダ5
の構成と同様である。したがって、ハフマン復号回路2
6はハフマン復号回路14と、逆量子化回路27は逆量
子化回路15と、IDCT回路28はIDCT回路16
と、MC回路29はMC回路17と、それぞれ同様の回
路構成を有する。なお、ROM30は、その他のROM
18やROM25と、ROM31は、ROM19やRO
M24と、それぞれ兼用してもよい。
【0051】以上の構成に基づいて、本実施形態の画像
再生装置1における逆順再生の動作を、図7に示すフロ
ーチャートに従って説明する。画像再生装置1の動作
は、制御コア回路10の制御の下に実行される。ここで
は、MPEGビデオストリームがi個のGOP(GOP
〜GOPi−1)からなるとする。
【0052】逆順再生では、各GOPが時間軸に遡って
GOPi−1から順次処理される。ただし、各GOP内
のピクチャは、デコーダ5において順方向、すなわち時
系列的に復号される。逆順再生が指示されると、切替回
路8が第2ノード8bに接続され(S1)、ハードディ
スク4からGOPi−1に相当するMPEGビデオスト
リームがピクチャ単位で読み出されてデコーダ5に入力
され、1画面毎の再生画像データが時系列に順次生成さ
れてエンコーダ6に入力される(S2)。エンコーダ6
では、デコーダ5から入力された1GOPぶんの再生画
像データ列を、IピクチャまたはBピクチャに再符号化
する(S3)。エンコーダ6からの1GOPぶんの再符
号化データ列は、ハードディスク4の記憶領域4aに上
書きされる(S4)。
【0053】記憶領域4aへの書き込みが終了すると、
この記憶領域4aに格納されている再符号化データ列を
反時系列的に、すなわち時間軸に遡って読み出し、これ
を第2デコーダ7が順次復号して表示回路9に出力する
(S5)。記憶領域4aへの書込終了に伴って書込終了
信号が送出され、次のGOPi−2に相当するMPEG
ビデオストリームがデコーダ5に入力され、S2からの
処理が行われる。すなわち、S5において、第2デコー
ダ7で1GOPぶんのデータ列の復号が行われていると
きに、デコーダ5では次の1GOPぶんのデータ列の復
号が行われている。表示回路9には、第2デコーダ7か
ら再生画像データが反時系列的に入力され、ディスプレ
イ3上に逆順再生画面が表示される。
【0054】次に、正順再生のための動作を、図8に示
すフローチャートに従って説明する。正順再生では時間
軸に従ってGOPから順次処理される。各GOP内の
ピクチャは、当然ながらデコーダ5において順方向に復
号される。正順再生が指示されると、切替回路8が第1
ノード8aに接続され(S11)、ハードディスク4か
らGOPに相当するMPEGビデオストリームがピク
チャ単位で読み出されてデコーダ5に入力され、再生画
像データが画面単位で時系列に順次生成され、エンコー
ダ6と表示回路9に並列に入力される(S12)。表示
回路9は、入力された画面単位の再生画像データに基づ
きビデオ信号を生成してディスプレイ3に出力し(S1
3)、これによりディスプレイ3上に正順再生画面が表
示される(S14)。
【0055】一方、エンコーダ6は、表示回路9の処理
と並行して、デコーダ5から入力された1GOPぶんの
再生画像データ列をIピクチャまたはBピクチャに再符
号化する(S15)。再符号化データ列は、ハードディ
スク4の記憶領域4aに上書きされる(S16)。GO
の処理が終了すると再びS12に戻って次のGOP
1の処理を行う。すなわち、正順再生の間、エンコーダ
6は並行して同じ画像データ列をGOP単位で順次Iピ
クチャまたはBピクチャに再符号化する。
【0056】画像再生装置1にあっては、以下のとおり
の作用効果を奏する。 (1)デコーダ5によって生成された再生画像データ列
をエンコーダ6によってIピクチャまたはBピクチャに
変換し、第2デコーダ7によって逆順に再生する。Iピ
クチャはフレーム内符号化画像なので逆順再生に問題が
なく、またBピクチャも前方参照先と後方参照先とを入
れ替えるだけで再生できるので、全体として滑らかな逆
順再生画面を得ることができる。その結果、画像再生装
置1を搭載した機器の画面サーチ機能を向上させること
ができる。 (2)エンコーダ6によって再符号化されたデータ列
は、データ容量に着目すれば実質的にPピクチャをBピ
クチャに変換したものに相当するので、そのぶん再符号
化後のデータ容量を低減できる。 (3)伝達メディア2からのMPEGビデオストリーム
を記憶するハードディスク4内に記憶領域4aを割り当
て、エンコーダ6からの再符号化データ列を記憶させる
よう構成したので、別途記憶素子を設けることに比べて
低コスト化を実現することができる。 (4)記憶領域4aにおいて、1GOPぶんの再符号化
データ列を順次上書きするので、その容量の増加を抑制
でき、ハードディスク4全体の容量の増加も抑制され
る。 (5)第2デコーダ7での1GOPぶんのデータ列の復
号が行われているときに、デコーダ5では次の1GOP
ぶんのデータ列の復号が行われているので、1GOPぶ
んのピクチャの逆順再生が終了するとすぐに次のGOP
ぶんのピクチャの逆順再生に移行することができ、滑ら
かな逆順再生画面を得ることができる。 (6)正順再生を行っている間、エンコーダ6で並行し
て、同じ画像データ列をGOP単位で順次Iピクチャま
たはBピクチャに再符号化している。したがって、正順
再生の途中で逆順再生が指示された場合であっても、そ
の画面切り替えが滑らかに行われる。
【0057】(第2実施形態)図9に、第2実施形態の
画像再生装置51のブロック回路を示す。第1実施形態
と同様の構成部材には同じ符号を用い、その詳細な説明
を省略する。本実施形態のひとつの特徴は、複数のピク
チャからなる第1のピクチャデータの復号器と、複数の
ピクチャからなり、第1のピクチャデータとは異なる処
理ステージにて現れる第2のピクチャデータの復号器と
を共通化した点にある。第1実施形態において、第2デ
コーダ7の構成は、デコーダ5におけるデコードコア回
路13と同様と述べたが、本実施形態はこの点に着目
し、デコーダ5と第2デコーダ7とを共通化している。
図9において、画像再生装置51は、ハードディスク
4、切替回路52、共用デコーダ53、エンコーダ6、
第2切替回路54、表示回路9、制御コア回路10から
構成される。共用デコーダ53の構成は、デコーダ5と
同一である。
【0058】ハードディスク4からのMPEGビデオス
トリームまたは記憶領域4aからの再符号化データ列
は、切替回路52を介して共用デコーダ53に入力さ
れ、その出力が第2切替回路54を介して表示回路9ま
たはエンコーダ6に入力される。
【0059】切替回路52は、制御コア回路10の制御
に従って第1ノード52a、第2ノード52b側への接
続が切り換えられる。切替回路52が第1ノード52a
側に接続されると、ハードディスク4からのMPEGビ
デオストリームが共用デコーダ53に入力され、第2ノ
ード52b側に接続されると、記憶領域4aからの再符
号化データ列が共用デコーダ53に入力される。
【0060】第2切替回路54は、制御コア回路10の
制御に従って第1ノード54a、第2ノード54b側へ
の接続が切り換えられる。第2切替回路54が第1ノー
ド54a側に接続されると、共用デコーダ53からの再
生画像データ列が表示回路9に入力され、第2ノード5
4b側に接続されると、共用デコーダ53からの再生画
像データ列がMPEGエンコーダ6に入力される。
【0061】以上の構成により、正順再生時に切替回路
52は第1ノード52aに接続され、第2切替回路54
は第1ノード54aに接続されている。したがって、ハ
ードディスク4からのMPEGビデオストリームは共用
デコーダ53によって復号されて、そのまま表示回路9
に入力される。
【0062】一方、逆順再生時に、制御コア回路10は
まず、切替回路52を第1ノード52aに接続し、第2
切替回路54を第2ノード54bに接続した状態でハー
ドディスク4から1ピクチャぶんの画像データを読み出
す。その画像データは、第1ノード52aを通って共用
デコーダ53に入力され、復号される。そして、共用デ
コーダ53からの1ピクチャぶんの再生画像データが第
2ノード54bを通ってMPEGエンコーダ6に入力さ
れてIピクチャまたはBピクチャとして再符号化され
る。
【0063】制御コア回路10は、共用デコーダ53か
らMPEGエンコーダ6へ1ピクチャぶんの再生画像デ
ータが送出されるとすぐに、切替回路52の接続を第2
ノード52bに切り替え、第2切替回路54の接続を第
1ノード54aに切り替え、記憶領域4aから逆順再生
のための1ピクチャぶんの再符号化データを読み出す。
再符号化データは、第2ノード52bを通って共用デコ
ーダ53に入力、復号され、1ピクチャぶんの再生画像
データが第1ノード54aを通って表示回路9に入力さ
れてディスプレイ3上に表示される。制御コア回路10
は、共用デコーダ53から表示回路9へ1ピクチャぶん
の再生画像データが送出されるとすぐに、切替回路52
の接続を第1ノード52aに切り替え、第2切替回路5
4の接続を第2ノード54bに切り替え、ハードディス
ク4から1ピクチャぶんの画像データを読み出す。
【0064】以下、同様に制御コア回路10は、共用デ
コーダ53から再生画像データが出力される毎に、切替
回路52,54のノードの接続状態を切り替える。共用
デコーダ53は、第1実施形態におけるデコーダ5の処
理と第2デコーダ7の処理とを時分割で行う。本実施形
態でも基本的な逆順再生動作は図7に示すフローに従
い、正順再生動作は図8に示すフローに従う。ただし、
図7において、デコーダ5、第2デコーダ7の動作が共
用デコーダ53の動作に置き換わる。
【0065】本実施形態では、第1実施形態の作用効果
に加え、回路面積削減効果およびそれによる低コスト化
が実現し、さらに商品価値を高めることが容易となる。
【0066】(第3実施形態)図10は第3実施形態の
画像再生装置1のブロック回路を示す。第1実施形態で
は、逆順再生のために、エンコーダ6はIピクチャおよ
びBピクチャを生成したが、本実施形態はその処理の効
率化を図る。図10において図3と同じ構成には同じ符
号を与え、適宜その説明を省略する。図10における新
たな構成は、ふたつの切替回路100,200であり、
図3に現れた切替回路8と区別するために、それぞれ第
2切替回路100、第3切替回路200とよぶ。
【0067】第2切替回路100は、制御コア回路10
の制御に従って第1ノード100a、第2ノード100
b側への接続が切り換えられる。第2切替回路100が
第1ノード100a側に接続されると、デコーダ5が生
成した再生画像データはそのまま切替回路8に入力さ
れ、第2ノード100b側に接続されると、デコーダ5
が生成した再生画像データはエンコーダ6に入力され
る。
【0068】第3切替回路200は、制御コア回路10
の制御に従って第1ノード200a、第2ノード200
b側への接続が切り換えられる。第3切替回路200が
第1ノード200a側に接続されると、MPEGビデオ
ストリーム中の所定のデータがハードディスク4に割り
当てられた記憶領域4aに格納され、第2ノード200
b側に接続されると、エンコーダ6が生成したデータが
記憶領域4aに格納される。
【0069】図11は、デコーダ5の構成を示すブロッ
ク図である。図4と違い、ピクチャヘッダ検出回路11
およびピクチャ切替回路112が加えられ、図11のデ
コードコア回路13の部分が図4のデコーダ5に相当す
る。ピクチャヘッダ検出回路11は、ハードディスク4
に蓄積されたビデオストリームの各ピクチャの先頭に付
くピクチャヘッダを検出し、その部分に規定されている
ピクチャのタイプ(I,P,B)を検出する。ピクチャ
切替回路112は、制御コア回路10の制御に従って第
1ノード112a、第2ノード112b側への接続が切
り換えられる。そして、ピクチャヘッダ検出回路11で
検出したピクチャのタイプがIピクチャであった場合、
両方向へ導通する第2ノード112b側に接続されてデ
コードコア回路13および第3切替回路200へ転送さ
れ、ピクチャのタイプがPピクチャまたはBピクチャで
あった場合、第1ノード112a側に接続されてデコー
ドコア回路13に転送される。なお、ピクチャ切替回路
112、第3切替回路200が本発明の「割当処理部」
の一例である。
【0070】本実施形態におけるエンコーダ6およびデ
コーダ5の内部構成は、それぞれ図5、図6と同一でよ
い。したがって、MPEGビデオストリームはまず、デ
コーダ5およびエンコーダ6によって、所定の符号化デ
ータ列に変換された後、第3切替回路200を介して、
ハードディスク4内に割り当てられた記憶領域4aに格
納される。
【0071】以上の構成による逆順再生動作は図12の
フローチャートに示される。逆順再生が指示されると、
切替回路8が第2ノード8bに接続される(S1)。ハ
ードディスク4から、GOPi−1に相当するMPEG
ビデオストリームがピクチャ単位で読み出されてデコー
ダ5に入力され、ピクチャヘッダ検出回路11により各
ピクチャのタイプがI,P,Bのいずれのピクチャであ
るかが判別され、ピクチャ切替回路112によって、全
タイプのピクチャがデコードコア回路13によって復号
されるとともに、Iピクチャのデータに関しては第3切
替回路200にも転送される(S2)。
【0072】デコードコア回路13によって復号された
データのうち、PピクチャおよびBピクチャデータを復
号したデータは、第2切替回路100の第2ノード10
0bを介してエンコーダ6に入力される(S3)。Iピ
クチャデータを復号したデータは、第2切替回路100
の第1ノード100aを介して切替回路8に入力される
が、このとき切替回路8は第2ノード8bに接続されて
いるので、そのデータはそのまま捨てられる。すなわ
ち、このデータはPピクチャおよびBピクチャデータの
復号のために利用される。エンコーダ6は、制御コア回
路10の指示に従い、デコーダ5から入力されたデータ
を、それがPピクチャの場合も含め、全てBピクチャに
再符号化する(S4)。
【0073】第3切替回路200は、制御コア回路10
の制御に従い、ピクチャ切替回路112から転送されて
きたIピクチャデータと、エンコーダ6からの再符号化
データ、ここではBピクチャデータとをハードディスク
4の記憶領域4aに時系列的に入力する。記憶領域4a
に入力された1GOP分のデータは、古いデータに対し
上書きされる(S5)。このように、第3切替回路20
0から記憶領域4aに入力される符号化データ列は、I
ピクチャとBピクチャのみからなり、この符号化データ
列が本発明の「第2の符号化データ列」の一例である。
【0074】記憶領域4aへの書き込みが終了すると、
第2デコーダ7は、この記憶領域4aに格納されている
再符号化データを反時系列的に読み出して順次復号し、
表示回路9に出力する(S6)。エンコーダ6からの1
GOPぶんの再符号化データ列には、上述のごとくBピ
クチャが含まれている。したがって、記憶領域4aに格
納されている再符号化データ列を時間軸に遡って読み出
して順次復号するためには、Bピクチャを復号するとき
に、ストリームの入力順に対してその前方参照領域と後
方参照領域とを入れ替える処理を行い、しかる後に復号
する。
【0075】なお、S5において、記憶領域4aへの書
き込みが終了すると、書き込み終了信号が送出されて、
次のGOPi−2に相当するMPEGビデオストリーム
がエンコーダ5に入力され、上記したS2からの処理が
行われる。すなわち、S6において、第2デコーダ7で
1GOPぶんのデータの復号が行われているときに、デ
コーダ5では次の1GOPぶんのデータの復号が行われ
ている。
【0076】以上、本実施形態の画像再生装置1は、上
述の実施形態に加え、以下の効果を奏する。 (7)MPEGビデオストリームのうち、Iピクチャに
相当するデータはエンコーダ6に転送しないので、デコ
ーダ5からエンコーダ6へのデータの転送量が減る上に
エンコーダ6の処理の負荷が軽減される。その結果、エ
ンコーダ6として消費電力が低く回路面積の小さなもの
を用いることができる。 (8)MPEGビデオストリームのうち、Pピクチャ
を、データ容量がより小さいBピクチャデータに変換し
て記憶領域4aに記憶させるので、記憶領域4aの容量
を低減することができ、画像再生装置1の小型化および
低コスト化に寄与することができる。
【0077】(第4実施形態)第4実施形態は第3実施
形態をさらにコンパクトに設計したもので、それらの関
係は第2実施形態と第1実施形態の関係と同じである。
以下、第3実施形態と同様の構成部材には同じ符号を用
い、その詳細な説明を省略する。
【0078】図13に、本実施形態の画像再生装置51
のブロック回路を示す。同図のごとく、デコーダ5のデ
コードコア回路13と第2デコーダ7とを共通化してい
る。画像再生装置51は、ハードディスク4、切替回路
52、共用デコーダ53、エンコーダ6、第2切替回路
100、第3切替回路200、表示回路9、制御コア回
路10から構成される。共用デコーダ53の構成は、デ
コーダ5と同一である。
【0079】画像再生装置51においては、ハードディ
スク4からのMPEGビデオストリームまたは記憶領域
4aからの再符号化データが、切替回路52を介して共
用デコーダ53に入力され、その出力が第2切替回路1
00を介して表示回路9またはエンコーダ6に入力され
る。
【0080】切替回路52が第1ノード52a側に接続
されると、ハードディスク4からのMPEGビデオスト
リームが共用デコーダ53に入力され、第2ノード52
b側に接続されると、記憶領域4aからの再符号化デー
タが共用デコーダ53に入力される。切替回路52が第
2ノード52b側に接続された場合には、ピクチャ切替
回路112は、ピクチャのタイプに関係なく第1ノード
112aに接続される。
【0081】以上の構成に基づき、正順再生時、切替回
路52は第1ノード52aに接続され、第2切替回路1
00は第1ノード100aに接続される。したがって、
ハードディスク4からのMPEGビデオストリームは共
用デコーダ53によって復号されて、そのまま表示回路
9に入力される。
【0082】一方、逆順再生時には、制御コア回路10
は、まず切替回路52を第1ノード52aに接続し、第
2切替回路100を第2ノード100bに接続した状態
で、ハードディスク4から1ピクチャぶんの画像データ
を読み出す。その画像データは、第1ノード52aを通
って共用デコーダ53の切替回路112に入力され、ピ
クチャのタイプに応じてデコードコア回路13または第
3切替回路200に入力される。
【0083】制御コア回路10は、共用デコーダ53か
ら第3切替回路200またはMPEGエンコーダ6へ1
ピクチャぶんの再生画像データが送出されるとすぐに、
切替回路52の接続を第2ノード52bに切り替え、第
2切替回路100の接続を第1ノード100aに切り替
え、記憶領域4aから逆順再生のための1ピクチャぶん
の再符号化データを読み出す。その再符号化データは、
第2ノード52bを通って共用デコーダ53に入力さ
れ、復号される。復号されたデータは第1ノード100
aを通って表示回路9に入力され、ディスプレイ3上に
表示される。
【0084】制御コア回路10は、共用デコーダ53か
ら表示回路9へ1ピクチャぶんの再生画像データが送出
されるとすぐに、切替回路52の接続を第1ノード52
aに切り替え、第2切替回路100の接続を第2ノード
100bに切り替え、ハードディスク4から1ピクチャ
ぶんの画像データを読み出す。
【0085】以下、同様に、制御コア回路10は、共用
デコーダ53から再生画像データが出力される毎に、切
替回路52,100のノードの接続状態を切り替える。
こうすることにより、共用デコーダ53では、第3実施
形態におけるデコーダ5の処理と第2デコーダ7の処理
とを時分割で行う。
【0086】本実施形態における基本的な逆順再生動作
は図12に示すフローに従う。ただし、図12におい
て、デコーダ5、第2デコーダ7の動作が共用デコーダ
53の動作に置き換わる。本実施形態にあっては、第3
実施形態の作用効果に加え、デコーダ5と第2デコーダ
7との共通化による回路面積の削減が実現する。
【0087】(第5実施形態)第5実施形態は、以上の
いずれかの実施形態に係る画像再生装置または画像処理
装置をテレビジョン受像機に組み込んだ例に関する。図
14はその構成図である。テレビジョン受像機500に
おいて、放送波570はアンテナ512を介してチュー
ナ514へ与えられる。チューナ514はユーザが選ん
だチャネルを含むトランスポンダを選択し、QPSK復
調を施す。復調で得られた複数のトランスポートポケッ
トを含むストリームはパケット分離部516へ送られ
る。パケット分離部516はデマルチプレクサであり、
所望のチャネルに対応するパケットを分離して画像・音
声デコーダ518へ出力する。
【0088】画像・音声デコーダ518はMPEGデコ
ーダであり、その画像処理のために、いずれかの実施形
態で挙げた画像再生装置または画像処理装置を組み込
む。画像・音声デコーダ518は、入力されたパケット
を復号し、音声データを音声信号出力部522へ、画像
データを表示装置526へそれぞれ出力する。音声信号
出力部522は入力された音声データに所定の処理を施
し、最終的に音声がスピーカ524へ出力される。
【0089】主制御部536は制御コア回路10その他
CPU等で構成され、ユーザの指示に従い、各部を統括
的に制御する。ユーザの指示は、例えば図示しないリモ
コンからの信号を受けたリモコン受光部548を介して
入力される。メディアI/F回路550は、図示しない
ICカード、MO、CD−ROM、DVD−ROMその
他の記録媒体からマルチメディアデータやプログラムを
主制御部536へ読み込む。以上の構成により、ユーザ
の指示にしたがって正順再生、逆順再生を含む画像再生
処理が実現する。その際、既述の作用効果を享受するこ
とができる。
【0090】(実施形態に関する全般的考察)当業者に
は当然理解されるごとく、いままでに述べなかった実施
形態の任意の組合せも可能である。例えば、以下のよう
な配慮または変形例が可能である。
【0091】(a)ハードディスク4として、磁気ディ
スクに代えて、光磁気ディスク、光ディスクなどを用い
る。 (b)ハードディスク4として、書き換え可能な半導体
メモリ、例えばSDRAM(Synchronous Dynamic RA
M)、DRAM、ラムバスDRAM等を用いる。 (c)ハードディスク4と記憶領域4aとを独立して設
ける。この場合、記憶領域4aには書き換え可能な半導
体メモリが望ましい。
【0092】(d)MPEGビデオストリームから1G
OPではなく以下の単位でデータ列を取り出す。GOP
を含め以下の単位もグループ単位の概念に含まれる。 ・Iピクチャから始まる単位をGOPとせずに、例え
ば、Pピクチャから始まる単位をGOPとする。 ・GOPという概念にとらわれずに、数枚のピクチャを
グループ単位とする。 ・グループ単位でピクチャの枚数を任意に変化させる。
【0093】(e)ROM18,19,24,25,3
0,31に代えて、RAM(RandomAccess Memory)を
用いる。 (f)第1,3実施形態で説明した逆順再生機能を選択
するための操作キーを画像再生装置に設ける。 (g)キー操作に応じて1コマずつ逆順再生させる。
【0094】(h)第1、2実施形態において、各GO
Pに加えた次のGOPのIピクチャは、次のGOPとの
ピクチャ重複を避けるためには再符号化せずに破棄して
いたが、このIピクチャを他のピクチャとともに再符号
化してから破棄する構成または制御を採用してもよい。 (i)各実施形態において、エンコーダ6が生成した再
符号化データ列に含まれるピクチャは時系列的な順序で
記憶領域4aに書き込んでいたが、これを反時系列的な
順序に並べ替えながら記憶領域4aに書き込んでもよ
い。この場合、第2デコーダ7は記憶領域4aから再符
号化データ列を反時系列的に読み出す必要がない。ま
た、記憶領域4aへの書込時に、Bピクチャの前方参照
先と後方参照先とを入れ替えておいてもよい。
【0095】(j)上記した実施形態以外に、一つの装
置内に2つの符号化または復号機能を備えるアプリケー
ションとして以下の形態がある。従って、上記第2,4
実施形態では、デコーダ5と第2デコーダ7を共用デコ
ーダ53として共通化する例を説明したが、2つのエン
コーダを備えるものにあっては、これらのエンコーダを
共通化してもよい。 (i)ムービーカメラにおいて、被写体を異なる視点か
ら同時に撮影し、そのデータをMPEG方式で圧縮・伸
長処理する場合。 (ii)テレビジョンにおいて、複数番組を同時に復号し
て2画面表示する場合。 (iii)テレビジョンにおいて、複数番組を同時に復号
してチャンネル切換えをシームレスに行わせる場合。M
PEGを使った放送では、チャンネル切換えなどで一旦
復号を中断すると、新しいシーケンスヘッダを検出する
までの0.5秒〜2秒の間、次に再開するのに若干時間
がかかり、通常はその間、絵がフリーズするかブラック
アウトするが、(iii)は、この問題を解消するために
有効である。 (iv)DVDやデジタルスチルカメラ等と接続したテレ
ビジョンにおいて、放送とDVDやデジタルスチルカメ
ラとを同時再生する。 (v)番組の再生中、その番組または裏番組を動画や静
止画状態で録画するとともに、録画した動画または静止
画と放送中の番組を重ねて同時に再生する場合。 (vi)一定時間毎に再生画像をJPEG方式で符号化し
てリングバッファに取り込み、これを逆転サーチにおい
て近いシーンにジャンプできるようにするためのインデ
ックスに使う場合。
【0096】(k)逆順再生のために、1GOP分の画
像データをそっくり記憶領域4aに保持する必要があっ
た。GOP内部ではデータは正順方向にしか読み出され
ないため、1GOP分のデータをすべて残しておかなけ
れば逆順再生の際にピクチャを生成できないためであ
る。この理由から、1GOP分の画像データを記録する
だけの容量を記憶領域4aに求めた。これから逆に、そ
うした構成を有効活用し、実施形態1等では、正順再生
の間もエンコーダ6をフリーランで走らせ、つねに1G
OP分の逆順再生用データを生成して保持することにし
た。これにより、正順から逆順への切替を滑らかにする
趣旨であった。
【0097】しかしながらその方法では、確かにフリー
ランをさせないときに比べて円滑な再生方向転換が実現
するものの、必ずしも切替時にタイムラグが生じないわ
けではない。なぜなら、逆順再生がGOPに対して行
われているとき、その前のGOPn−1については、デ
コーダ5が1GOP分の符号化データを読み出して復号
する必要があり、一連の処理がGOPの逆順再生の完
了までに終わらない可能性があるためである。仮に終わ
らない場合、そこで逆順再生が一瞬停止してしまう。
【0098】この対策のために、実施形態1等で述べた
1GOP分の画像データの保存を拡張し、最大2GOP
分程度の画像データを保存すれば、正順再生から逆順再
生への切替の際、タイムラグを完全になくすことができ
る。したがって、そうした仕様を求める場合はこの対策
をとればよい。
【0099】画素数を低減させる場合、デコーダ7にお
けるIDCT処理にて、予めダウンコンバージョン形式
による復号を行ってもよい。すなわち、通常であれば例
えば8×8画素の正方ブロックに対してIDCTを施す
べきところを、8×4画素の1/2サイズのブロックに
対して施してもよい。その場合、画像再生の際にフレー
ムメモリに記憶すべき画像データの容量が1/2になる
ため、その結果空いた領域に前述の2GOPぶんのピク
チャを蓄積することができる。なお、このダウンコンバ
ーションを行うと、高精細モード時の1960×108
0画素の画像が980×1080画素になる。したがっ
て、その再生時に横方向について各画素を二度表示する
など、解像度再現処理を施すものとする。
【0100】(l)前述の切替時のタイムラグは、逆順
再生から正順再生への移行時にも考慮すべきである。こ
のときも上述と同様の措置、すなわち読み込まれたピク
チャのデータを1〜2GOP程度蓄積しておくことで対
応できる。いま逆順再生のために第n番のGOPが読
込処理されているとすれば、このGOPのピクチャの
データを、逆順再生のための読出がその2つ前のGOP
n−2に達するまで保持しておく。すなわち、あるGO
Pのデータをそのふたつ前のGOPのデータの読出まで
保持することにより、正順再生への切替が行われたとき
でも、切れ目のない再生が実現する。
【0101】逆順再生から正順再生への切替は、デコー
ダ5のみの処理で対応できるため、(k)の場合に比
べ、タイムラグはもともと小さい。したがって、ここで
は2GOPぶんとしたが、実際にはせいぜい1GOP強
で十分と思われる。ただし、この値は装置の実装にもよ
るため、機種ごとに実験等により決めることが望まし
い。
【0102】(m)図15はIピクチャをキャッシュメ
モリへおくことによる逆順再生の高速化を説明する。I
ピクチャは「再利用型ピクチャ」である点に着目してい
る。同図では、説明の簡単のために1GOPのピクチャ
を6枚とし、GOP〜GOPの3つのGOPにおけ
るピクチャの並びを、GOPはI〜B、GOP
はI〜B12、GOPはI13〜B18で表してい
る。
【0103】いまGOPから逆順再生が要求されたと
すれば、前述のごとく、GOPの読出、GOP
読出、GOPの読出がこの順に行われる。ここで
GOPの処理に注目すれば、その最後のピクチャB
12を再生するために、GOP の最初のピクチャI
13が読み出されている。ところが、このピクチャI
13は、GOPの逆順再生の際に、すでにいちど読み
出され、復号されていることがわかる。このことから、
各GOPの最初のIピクチャの復号データをMPEGデ
ータストリーム上ひとつ手前のGOPの処理が終わるま
で記憶領域4aまたはそれ以外のメモリにキャッシング
しておけば、そのピクチャを再度読み出して復号する手
間が省ける。このキャッシングによれば、逆順再生時の
処理効率を改善することができる。
【0104】(n)いくつかの実施形態では、エンコー
ダ6による再符号化によってIピクチャを生成し、場合
により、これとBピクチャを合わせて逆順再生のための
符号化データとした。しかし、これに限る必要はなく、
エンコーダ6は結果として当初のMPEGビデオストリ
ームに含まれるIピクチャよりも多くのIピクチャを生
成するなど、当業者が実装段階にて選択する他の形態を
実現してもよい。視点を変えれば、エンコーダ6は、画
像データを、少なくとも同一の予測方向については1枚
を限度として他のピクチャを参照するタイプのピクチャ
の列に符号化してもよい。「予測方向」は順方向または
逆方向で、それぞれ過去からの予測および未来からの予
測である。したがって、ここでは、順方向についても逆
方向についても、0枚か1枚のピクチャのみを参照する
ピクチャを認める。
【0105】現在のMPEGでは、IピクチャおよびB
ピクチャがこの条件に合致するが、再符号化でどのよう
なピクチャを生成すべきかという問題の本質は、もとも
と正順再生に必要な構成、とくにメモリ容量を守って逆
順再生を実現できればよいことにある。MPEGでは、
Pピクチャは順方向について相当離れた複数のピクチャ
を参照している場合があるにも拘わらず、正順再生の場
合は復号されたピクチャを順次出力または表示していく
ため、多数のピクチャを保持しつづける必要はない。逆
にいえば、正順再生だからこそ、Pピクチャも比較的小
さなフレームバッファで支障なく再生できるのであり、
逆順再生の場合はPピクチャの再生のために多数のピク
チャを相当期間保存しなければならない。したがって、
現実的には、同一の予測方向については、2枚以上ピク
チャを参照するようなピクチャは逆順だけのために比較
的大きなメモリ容量を要求し、コスト、実装面積等にお
いて不利になる。このため、I、Bピクチャをはじめと
して、同一予測方向については1枚を限度とするピクチ
ャを認めれば、問題の解決に必要十分と考えられる。
【0106】
【発明の効果】本発明により、滑らかな逆順再生を行う
ことのできる画像処理技術を提供することができる。
【図面の簡単な説明】
【図1】MPEGビデオストリームの階層構造を示す説
明図である。
【図2】第1実施形態における画像の逆順再生の手順に
関し概略を示す図である。
【図3】第1実施形態における画像再生装置のブロック
回路図である。
【図4】第1実施形態におけるデコーダの概略を示すブ
ロック図である。
【図5】第1実施形態におけるエンコーダの概略を示す
ブロック図である。
【図6】第1実施形態におけるデコーダの概略を示すブ
ロック図である。
【図7】第1実施形態における画像再生装置の逆順再生
動作を示すフローチャートである。
【図8】第1実施形態における画像再生装置の正順再生
動作を示すフローチャートである。
【図9】第2実施形態における画像再生装置のブロック
回路図である。
【図10】第3実施形態における画像再生装置のブロッ
ク回路図である。
【図11】第3実施形態におけるデコーダの概略を示す
ブロック図である。
【図12】第3実施形態における画像再生装置の逆順再
生動作を示すフローチャートである。
【図13】第4実施形態における画像再生装置のブロッ
ク回路図である。
【図14】実施形態に係るいずれかの画像再生装置また
は画像処理装置を組み込んだ、第5実施形態におけるテ
レビジョン受像機の構成図である。
【図15】Iピクチャのキャッシングによる逆順再生の
高速化を説明する図である。
【符号の説明】
1,51 画像再生装置 2 伝達メディア 3 ディスプレイ 4 ハードディスク 4a 記憶領域 5,7,53 MPEGビデオデコーダ 6 MPEGビデオエンコーダ 8,52,54 切替回路 9 表示回路 10 制御コア回路 11 ピクチャヘッダ検出回路 13 デコードコア回路 14,26 ハフマン復号回路 15,27 逆量子化回路 16,28 IDCT回路 17,20,29 MC回路 18,19,24,25,30,31 ROM 100 第2切替回路 112 ピクチャ切替回路 200 第3切替回路 500 テレビジョン受像機
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 5/76 - 5/956 H04N 7/24 - 7/68 G11B 20/10 - 20/12

Claims (9)

    (57)【特許請求の範囲】
  1. 【請求項1】 MPEGに準拠して符号化されたIピク
    チャ、Pピクチャ、Bピクチャを含む第1の符号化デー
    タ列をIピクチャとBピクチャとからなる第2の符号化
    データ列に変換する変換器と、この変換器により生成さ
    れた第2の符号化データ列を反時系列的に復号する後置
    復号器と、前記変換器および後置復号器の動作を制御す
    る制御部と、を具備し、 前記変換器は、前記第1の符号化データ列のうち少なく
    ともPピクチャを復号する前置復号器と、前記前置復号
    器で復号されたデータをMPEGに準拠してBピクチャ
    として符号化する符号化器と、前記第2の符号化データ
    列を記憶する記憶部と、を含むことを特徴とする画像処
    理装置。
  2. 【請求項2】 MPEGに準拠して符号化されたIピク
    チャ、Pピクチャ、Bピクチャを含む第1の符号化デー
    タ列をIピクチャとBピクチャとからなる第2の符号化
    データ列に変換する変換器と、この変換器により生成さ
    れた第2の符号化データ列を反時系列的に復号する後置
    復号器と、前記変換器および後置復号器の動作を制御す
    る制御部と、を具備し、 前記変換器は、前記第1の符号化データ列のうち少なく
    ともBピクチャおよびPピクチャを復号する前置復号器
    と、前記前置復号器で復号されたデータをMPEGに準
    拠してBピクチャとして符号化する符号化器と、前記第
    2の符号化データ列を記憶する記憶部と、を含むことを
    特徴とする画像処理装置。
  3. 【請求項3】 前記制御部の制御に従い、前記第2の符
    号化データ列に含まれるIピクチャとして、第1の符号
    化データ列に含まれるIピクチャを前記前置復号器およ
    び符号化器による処理を施さずにそのまま割り当てる割
    当制御部を備えたことを特徴とする請求項1または2に
    記載の画像処理装置。
  4. 【請求項4】 前記第1の符号化データ列は、所定のグ
    ループ単位で、前記ピクチャが所定の順序で割り当てら
    れて符号化されたデータであり、前記変換器および後置
    復号器による各処理が前記所定のグループ単位で行わ
    れ、 前記変換器は、あるグループの符号化データ列のうちP
    ピクチャを復号した画像データを、そのグループに含ま
    れるIピクチャと次のグループに含まれるIピクチャと
    を参照してBピクチャとして符号化することを特徴とす
    る請求項1から3のいずれかに記載の画像処理装置。
  5. 【請求項5】 前記第1の符号化データ列は、所定のグ
    ループ単位で、前記ピクチャが所定の順序で割り当てら
    れて符号化されたデータであり、前記変換器および後置
    復号器による各処理が前記所定のグループ単位で行わ
    れ、 前記変換器は、あるグループの符号化データ列のうちB
    ピクチャおよびPピクチャを復号した画像データを、そ
    のグループに含まれるIピクチャと次のグループに含ま
    れるIピクチャとを参照してBピクチャとして符号化す
    ることを特徴とする請求項2または3に記載の画像処理
    装置。
  6. 【請求項6】 MPEGに準拠して符号化されたIピク
    チャ、Pピクチャ、Bピクチャを含む第1の符号化デー
    タ列をIピクチャとBピクチャとからなる第2の符号化
    データ列に変換する処理と、この第2の符号化データ列
    を反時系列的に復号する処理と、を含み、 前記変換する処理は、前記第1の符号化データ列のうち
    少なくともPピクチャをMPEGに準拠してBピクチャ
    として符号化する処理であることを特徴とする画像処理
    方法。
  7. 【請求項7】 MPEGに準拠して符号化されたIピク
    チャ、Pピクチャ、Bピクチャを含む第1の符号化デー
    タ列をIピクチャとBピクチャとからなる第2の符号化
    データ列に変換する処理と、この第2の符号化データ列
    を反時系列的に復号する処理と、を含み、 前記変換する処理は、前記第1の符号化データ列のうち
    少なくともBピクチャおよびPピクチャをMPEGに準
    拠してBピクチャとして符号化する処理であることを特
    徴とする画像処理方法。
  8. 【請求項8】 前記第2の符号化データ列に含まれるI
    ピクチャとして、前記第1の符号化データ列に含まれる
    Iピクチャをそのまま割り当てることを特徴とする請求
    項6または7に記載の画像処理方法。
  9. 【請求項9】 請求項1または2に記載の画像処理装置
    を搭載し、これによって画像の反時系列的な再生を動作
    仕様の一部に有することを特徴とするテレビジョン受像
    機。
JP2002152850A 2001-05-31 2002-05-27 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機 Expired - Fee Related JP3515565B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002152850A JP3515565B2 (ja) 2001-05-31 2002-05-27 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2001165942 2001-05-31
JP2001-165942 2001-05-31
JP2002152850A JP3515565B2 (ja) 2001-05-31 2002-05-27 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機

Publications (2)

Publication Number Publication Date
JP2003052020A JP2003052020A (ja) 2003-02-21
JP3515565B2 true JP3515565B2 (ja) 2004-04-05

Family

ID=26616170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002152850A Expired - Fee Related JP3515565B2 (ja) 2001-05-31 2002-05-27 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機

Country Status (1)

Country Link
JP (1) JP3515565B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7379656B2 (en) * 2003-05-05 2008-05-27 Thomson Licensing Forward trick modes on progressive video using special groups of pictures
JP4573511B2 (ja) * 2003-10-15 2010-11-04 ルネサスエレクトロニクス株式会社 トランスコーダ、トランスコーディング方法、データ記録装置及び方法、並びに放送データ受信・記録装置
US7366462B2 (en) * 2003-10-24 2008-04-29 Qualcomm Incorporated Method and apparatus for seamlessly switching reception between multimedia streams in a wireless communication system
US7627227B2 (en) * 2004-05-17 2009-12-01 Microsoft Corporation Reverse presentation of digital media streams
JP5428835B2 (ja) * 2009-12-21 2014-02-26 富士通株式会社 署名装置、署名方法、および署名プログラム

Also Published As

Publication number Publication date
JP2003052020A (ja) 2003-02-21

Similar Documents

Publication Publication Date Title
JP3548136B2 (ja) 画像処理装置
US7706445B2 (en) Image processing employing picture type conversion
EP0545323B1 (en) Motion picture decoding system
JP3403168B2 (ja) 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機
JP3825719B2 (ja) 画像再生方法、画像再生装置、および画像記録装置
US7245821B2 (en) Image processing using shared frame memory
US20070058725A1 (en) Coding/decoding apparatus, coding/decoding method, coding/decoding integrated circuit and coding/decoding program
US20030099293A1 (en) Image reproducing method, and image processing method, and image reproducing device, image processing device, and television receiver capable of using the methods
JP3516450B2 (ja) ビットストリームの伝送方法及び伝送システム
US5905534A (en) Picture decoding and encoding method and apparatus for controlling processing speeds
KR100860661B1 (ko) 화상 재생 방법과 화상 처리 방법, 및 이들 방법을 이용가능한 화상 재생 장치, 화상 처리 장치, 텔레비전 수상기
JP3515565B2 (ja) 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機
JP3403169B2 (ja) 画像再生方法とこの方法を利用可能な画像再生装置およびテレビジョン受像機
JP3403167B2 (ja) 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機
JP3374128B2 (ja) 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機
JP3403166B2 (ja) 画像再生方法とこの方法を利用可能な画像再生装置およびテレビジョン受像機
JPH08307896A (ja) 画像信号記録方法および装置、画像信号再生方法および装置、ならびに画像信号記録媒体
JP3548167B2 (ja) 画像処理装置
JP3433179B2 (ja) 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機
JP2001169285A (ja) Mpegビデオデコーダ
JP3964563B2 (ja) ビデオサーバ装置
JP3594017B2 (ja) ビットストリームの伝送方法及び伝送システム
JP2006187037A (ja) 画像再生方法
JPH08307814A (ja) 画像信号記録方法および装置、画像信号再生方法および装置、ならびに画像信号記録媒体
KR100686137B1 (ko) 디지털 방송 수신기 및 캡처된 이미지 편집 및 저장 방법

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040115

R151 Written notification of patent or utility model registration

Ref document number: 3515565

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090123

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090123

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100123

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100123

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110123

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110123

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130123

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees