JP3056653B2

JP3056653B2 - ディジタル動画像復号方法と装置

Info

Publication number: JP3056653B2
Application number: JP6293723A
Authority: JP
Inventors: 茂小松; 豊岡田; 嘉郁川村; 律彦永井; 孝之小林; 隆二西塔; 勝巳後藤
Original assignee: 株式会社グラフィックス・コミュニケーション・ラボラトリーズ
Priority date: 1994-11-02
Filing date: 1994-11-02
Publication date: 2000-06-26
Anticipated expiration: 2015-06-26
Also published as: JPH08130713A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は記録媒体に蓄積された圧
縮ディジタル動画像データの高速サーチに適した動画像
復号方法と装置に関するものである。

【０００２】

【従来の技術】ディジタル表現された画像データを伝送
または蓄積する場合、データ量を削減するために符号化
が行われる。符号化の方法としては、画像情報（画像デ
ータ）の時間的または空間的相関性を利用して冗長度を
少なくする方法がある。

【０００３】時間的相関性を利用する方法として、連続
する２画面（フレーム）の差分を符号化したり、画像の
動きを検出して、動き補償を行ったりするものがある。
また、空間的相関性を利用する方法として、画像を所定
の大きさのブロック（例えば縦方向、横方向とも８画素
ずつ）に分けて、ブロック内のデータを直交変換し、例
えば低周波成分から高周波成分の順に並べ替えて、変換
係数をスキャン変換し、可変長符号化を行うものがあ
る。ＭＰＥＧ（Moving Picture Expert Group ）が標準
化を進めている画像符号化方式（以下、ＭＰＥＧ２と略
す）は、上記２つの方法を併用するものとなっている。
ＭＰＥＧ２の暫定勧告は、“音声をともなう動画像の符
号化”と題するＩＳＯ／ＩＥＣ１３８１−２に記載され
ている。

【０００４】図３は、画像の復号処理装置を備えた符号
化データ蓄積再生装置の構成例である。情報記録装置
６、復号処理装置７と表示処理装置８から成る。情報記
録装置６は、ＶＴＲ、光ディスク等の情報記録装置であ
る。情報記録装置６から復号処理装置７には符号化され
た蓄積データのビット列であるビット・ストリーム５１
と図示を省略してある制御コマンドが入力される。復号
処理装置７で復号の後、再生画像５７が出力される。表
示処理装置８は再生画像５７を表示モニタに適するよう
に変換処理を行うもので表示処理装置８からは画像出力
５９が出力される。ＭＰＥＧ２では、ビット・ストリー
ム５１および制御コマンドの文法と意味、すなわち復号
処理装置７で行うべき処理内容を規定してはいるが、デ
ータ蓄積処理をする情報記録装置６および表示処理装置
８については定めていない。

【０００５】図４は、図３の画像の復号処理装置７内部
の回路構成例である。図４において、バッファ制御部１
１、可変長復号器１３、スキャン変換器１４、逆量子化
器１５、逆ＤＣＴ部１６、動き補償再生部２０Ｂにより
復号処理が実行される。１２はバッファ・メモリ、１７
はフレーム・メモリであり、３つのＩ，Ｐ，Ｂフレーム
の画像を記憶する。なお、Ｉフレームとは当該フレーム
内の情報のみを用いて符号化したフレーム、Ｐフレーム
とは時間的に前のフレームの情報も利用して符号化した
フレーム、Ｂフレームとは時間的に前と後の両方のフレ
ームの情報も利用して符号化したフレームである。ま
た、５１は符号化された画像データである入力されるビ
ット・ストリーム、５５は予測誤差、５７は再生画像を
示す。

【０００６】次に、復号処理装置７の動作について説明
する。入力されたビット・ストリーム５１は、バッファ
制御部１１の制御により、バッファ・メモリ１２に蓄積
される。バッファ・メモリ１２から読み出されたデータ
は、可変長復号器１３によって、可変復号される。それ
と同時に、可変長復号器１３では８×８画素のブロック
と呼ばれる単位で、現在復号中のデータが表示されるべ
き画面上の位置を位置情報５３を介して動き補償再生部
２０Ｂに伝える。

【０００７】次に、スキャン変換器１４によりデータの
順序を並び変えた後、逆量子化器１５により逆量子化さ
れ、逆ＤＣＴ部１６により逆離散コサイン変換される。
動き補償再生部２０Ｂでは、画像の動きを考慮した再生
を行う。ＭＰＥＧ２では、時間的に前のフレーム（ここ
ではＩフレーム）と時間的に後のフレーム（ここではＰ
フレーム）の両方から時間的に中間のフレーム（ここで
はＢフレーム）の予測を行う。そのため、Ｂフレームの
再生には、予め復号されているＩフレームとＰフレーム
の予測フレーム・データをフレーム・メモリ１７Ｉと１
７Ｐから読み出す必要がある。ここに、ＭＰＥＧ２で
は、時間的に後のＰフレームはＢフレームに先立って復
号される。

【０００８】また、予測方式には、前述のフレーム予測
の他にフィールド予測があり、フレーム予測と同様に、
フィールド予測は時間的に前のフィールド（ここではＩ
フィルド）と時間的に後のフィールド（ここではＰフィ
ールド）の両方から時間的に中間のフィールド（ここで
はＢフィールド）の予測を行う。予測フレーム・データ
または予測フィールド・データと逆ＤＣＴ部１６の出力
である予測誤差５５によりＢフレームまたはＢフィール
ドを動き補償再生部２０Ｂで再生し、再生画素データと
してフレーム・メモリ１７Ｂに書き込まれる。フレーム
・メモリ１７Ｉ，１７Ｐ，１７Ｂ中にあるＩ，Ｐ，Ｂの
フレームは、所定の順で読み出され、再生画像５７が出
力される。

【０００９】表示処理装置８では、再生画像５７の雑音
除去、フレーム・レート変換などの処理がなされる。

【００１０】また、図５は情報記録装置６の一例である
ヘリカス・スキャン方式ＶＴＲテープの磁気記録の様子
と、高速サーチの際のヘッドの軌跡の一例を模式的に示
したものである。

【００１１】画像再生装置において情報記録装置６がＶ
ＴＲやＤＡＴのようなヘリカル・スキャン方式で記録・
再生を行う場合、高速サーチを行おうとしても、図５に
示したように、矢印９５の方向へ移動する破線で示した
ヘッドの軌跡７５は矢印９６の方向へ移動するＶＴＲテ
ープ７０のトラック７１と７２を部分的にしか横切らな
い上、隣接するトラック７１Ａと７２Ａ，７２Ａと７１
Ｂ，…，７１Ｄと７２Ｄは相互の漏れ込みを押さえるた
め、トラック７１と７２は異なるアジマス角で記録して
いる。そのため、右下りの斜線により示した信号検出可
能領域７８Ａ，７８Ｂ，７８Ｃは断片的かつ間欠的にし
か存在し得ない。

【００１２】さらに、ＰフレームやＢフレームはそれ単
独では復号画像を再構築することはできないので、断片
的なデータを間欠的にしか拾うことができないヘリカル
・スキャンの場合、元のフレームを、とびとびにせよ、
再構築することをいっそう難しくしていた。これに対
し、例えば特開平６−８６２１５、同６−８６２１８等
のようにＩフレームのみを集めたチャネルを多重化記録
する第１の従来方法や、特開平５−２１１６４３のよう
にＩフレームを固定長サイズのスライスに分割し、拾い
易い形で記録する第２の従来方法等が提案されていた。

【００１３】

【発明が解決しようとする課題】第１および第２の従来
方法では、記録する際に特別なデータの追加や加工、お
よび並べ替え等の制御を必要とするために、高速サーチ
の際に情報記録装置６から間欠的に送られてくるＩフレ
ーム・データの一部を基に、復号処理装置７側でサーチ
画像を再生するためのＭＰＥＧ規格を活かしたフレーム
・メモリ制御方法にはなっていないという解決されなけ
ればならない課題が残されていた。

【００１４】

【課題を解決するための手段】本発明による動画像復号
方法と装置では、情報記録装置６から復号処理装置７に
対し、高速サーチ・モードを指示するモード指示手段
と、情報記録装置６に装着されたテープ等にヘリカル・
スキャン記録されたＩ，Ｐ，Ｂ各フレームを含む動画像
符号化ビット・ストリームから、高速サーチ・モード時
にＭＰＥＧで規定されたイントラ・スライス（前後のフ
レームまたはフィールドの情報を用いず符号化した１６
×１６画素単位のマクロブロックが同一行内で複数個連
続した部分画像）を抽出し、復号処理をするイントラ・
スライス抽出手段と、イントラ・スライス・データを表
示中のフレーム・メモリへ逐次重ね書きするフレーム・
メモリ制御手段を備える。

【００１５】

【作用】モード指示手段により高速サーチ・モードが指
示された場合、イントラ・スライス抽出手段は、間欠的
に読み取れたビット・ストリーム中から、スライス・ヘ
ッダ内のフラグ等を判別し、イントラ・スライスであれ
ば、それを復号し、復号されたスライス・データをフレ
ーム・メモリ読み書き制御手段でスライス・ヘッダ等の
中の位置情報から算出したフレーム・メモリ・アドレス
へ直ちに書き込む。

【００１６】このフレーム・メモリは高速サーチ・モー
ド開始時に表示に使用していたもので、そこに間欠的に
得られたスライス・データを逐次オーバー・ライトす
る。この時、表示は高速サーチ・モードが解除されるま
で、他のフレーム・メモリには切り替えない。また、高
速サーチ・モードが解除された後も、フレーム・メモリ
読み書き制御手段は次の表示可能なフレームが復号され
るまでフリーズ状態で高速サーチ時の最終画像を出力し
続ける。

【００１７】

【実施例】図１は、本発明の第１の実施例による復号処
理装置７の回路構成を示したものである。図１におい
て、図４で説明した構成要素と同一の構成要素には同一
の名称および記号を付した。図４から新たに追加した構
成要素は動き補償再生部２０内のモード・レジスタ２
１、ベクトル復号部２２、フレーム・メモリ読み書き制
御部２３およびモード信号５６、モード設定コマンド５
２の２本の信号線である。

【００１８】図２は、復号処理装置７での高速サーチを
含む処理動作を示したタイミング図である。同図におい
て、Ｂ０，Ｂ１，Ｂ２はＢフレーム、Ｐ０，Ｐ１はＰフ
レーム、ＩはＩフレームを意味する。また、ＲＷ，Ｒ
Ｒ，ＤＲはフレーム・メモリ１７Ｉ，１７Ｐ，１７Ｂの
各タイム・スロット（１／２フレーム周期）におけるア
クセス処理の内容を示しており、ＲＷは復号結果を書き
込む処理、ＲＲはＢ，Ｐフレームを構築するためのＩ，
Ｐフレームからの参照用の再生読み出し処理、ＤＲは再
生画像２００として表示するための表示読み出し処理、
ＨＳはシーケンス・ヘッダ又はＧＯＰヘッダ・サーチ、
ＦＦは早送り、ＦＲは巻戻しサーチである。

【００１９】同図（ａ）は復号の内容を、（ｂ）は表示
の内容を、（ｃ）はフレーム・メモリ１７Ｉの処理状況
を、（ｄ）はフレーム・メモリ１７Ｐの処理状況を、
（ｅ）はフレーム・メモリ１７Ｂの処理状況を、（ｆ）
は再生モードの内容を、（ｇ）は表示モードの内容を表
わしている。

【００２０】次に、図１および図２を用いて本実施例の
動作を説明する。通常再生モード時（図２の時間ｔ１以
前）は入力ビット・ストリーム５１はバッファ制御部１
１を経て、一旦バッファ・メモリ１２に蓄えられた後、
所定の時間経過後に読み出され復号される（図２
（ａ））。

【００２１】すなわち、可変長復号器１３、スキャン変
換器１４、逆量子化器１５、逆ＤＣＴ部１６を経て動き
補償再生部２０でフレーム画像Ｂ０，Ｐ１，Ｂ１を再構
築され、フレーム・メモリ１７Ｉ，１７Ｐ，１７Ｂに図
２（ｃ），（ｄ），（ｅ）のＩ−ＲＷ（（ｃ）ではすで
に図外の左側にて書き込みずみ），Ｐ１−ＲＷ，Ｂ０−
ＲＷとして書き込まれる。それをフレーム周期でＰ０−
ＲＲ，Ｐ１−ＲＲとして読み出しＰ０−ＲＲ−ＤＲ，Ｂ
０−ＲＷ−ＤＲ，ＤＲ，Ｂ１−ＲＷ−ＤＲのように表示
読み出しをして再生画像５７を図２（ｂ）の時間ｔ１以
前のＢ０，Ｐ０，Ｂ１のように得る。

【００２２】ここで、時間ｔ１において情報記録装置６
からモード設定コマンド５２によりモード・レジスタ２
１に早送り（ＦＦ）が設定された場合について説明す
る。時間ｔ１においてはモード・レジスタ２１の出力
は、図２（ｆ）のそれまでの通常再生を示す状態から、
早送りモードを示す特殊再生モード状態となり、モード
信号５６としてバッファ制御部１１とフレーム・メモリ
読み書き制御部２３に伝えられる。バッファ制御部１１
は早送りモードに切り替わると、その時間ｔ１において
入力中のビット・ストリーム５１のバッファ・メモリ１
２への書き込みアドレスを一時退避し、その時復号中の
フレームの復号が終わり次第、上記退避したアドレスか
らバッファの内容（情報記録装置６から送られてくる断
片的な符号化データ）を読み出し、可変長復号器１３に
送り出す。

【００２３】可変長復号器１３は可変長復号しながら、
スライスの先頭を示すスライス・スタート・コードを探
し、さらにそれが、イントラ・スライス（イントラ・マ
クロブロックのみで構成されているスライス）か否かを
フラグで判定し、イントラ・スライスであれば図２
（ａ）の時間ｔ１とｔ４の間の期間のようにイントラ・
スライスのみをスキャン変換器１４に送り込む。ピクチ
ャー・ヘッダ等のイントラ・スライス以外ののデータは
廃棄する。

【００２４】それと同時に可変長復号器１３はスキャン
変換器１４に送り込んだデータが表示されるべき画面上
の位置情報５３をスライス・ヘッダとマクロブロック中
から抜き出し、動き補償再生部２０に伝える。すなわ
ち、モード信号５６により早送りまたは巻戻しサーチを
指示されると、バッファ制御部１１，バッファ・メモリ
１２および可変長復号器１３はイントラ・スライスとそ
の位置情報５３のみを抽出するイントラ・スライス抽出
手段として動作することになる。

【００２５】一方フレーム・メモリ読み書き制御部２３
はモード信号５６が時間ｔ１において早送りモードに替
わると、現在表示読み出し中のフレーム・メモリ１７Ｂ
に表示読み出し対象および復号データ書き込み対象を固
定して図２（ｅ）のＲＷ−ＤＲの動作にすると共に、逆
ＤＣＴ部１６から送られてきた復号画像データを書き込
むべきフレーム・メモリ１７のアドレスを可変長復号器
１３から位置情報５３として与えられたブロック・アド
レスより計算し、書き込み処理を行う。

【００２６】この結果、間欠的に復号されたイントラ・
スライス単位のデータが１つのフレーム・メモリ１７
（図２の例示では１７Ｂ）に、次々にオーバー・ライト
（ＲＷ）されるため、それを表示読み出し（ＤＲ）して
（図２（ｅ））、図２（ｂ）のＦＦ／ＦＲで示した期間
高速サーチ画像の表示を得ることができる。

【００２７】次に、高速サーチ・モードから通常再生に
もどる際の動作について説明する。時間ｔ２において情
報記録装置６からモード設定コマンド５２によりモード
・レジスタ２１に通常再生モードが設定されると、バッ
ファ制御部１１はバッファ１２をクリアし、シーケンス
・ヘッダまたはＧＯＰ（Group of Pictures ）ヘッダを
待つ。

【００２８】この時間ｔ２〜ｔ４までのヘッダ・サーチ
（ＨＳ）により、どちらかを見つけると、バッファ・メ
モリ１２への蓄積を開始し、Ｉフレーム（図２（ｃ））
を待って時間ｔ４からＩフレームの再生書き込み（Ｉ−
ＲＷ）をして復号を開始する。この間、すなわち、時間
ｔ３からｔ５の間はフレーム・メモリ１７Ｂから図２
（ｅ）のように表示読み出し（ＤＲ）をして、（ｂ）の
表示および（ｇ）の表示モードはフリーズの状態とな
る。

【００２９】このフリーズの期間中は、フレーム・メモ
リ読み書き制御部２３は、表示中のフレーム・メモリ１
７Ｂを切り替えることなく、かつ新たに復号画像データ
を書き込むことなく表示し続けてフリーズ状態を維持す
る。表示すべき最初のフレームが時間ｔ４以後のフレー
ム・メモリ１７Ｉ（図２（ｃ））および１７Ｐ（図２
（ｄ））への書き込みおよび読み出し（Ｉ−ＲＷ，Ｉ−
ＲＲ，Ｂ２−ＲＷ）により再構築できた時間ｔ５で初め
てフリーズを解除する。

【００３０】フリーズを解除した時間ｔ５の状態で、
（ｂ）の表示はフレームＩ又はＢ２を表示し、（ｇ）の
表示モードは通常モードに戻る。このとき、フレーム・
メモリ１７Ｉおよび１７Ｐは、（ｃ）および（ｄ）に示
すようにＩフレームの再生読み出しおよび表示読み出し
（Ｉ−ＲＲ−ＤＲ）をし、Ｂ２フレームの再生書き込み
（Ｂ２−ＲＷ）をしている。

【００３１】以上の説明は、早送りモードについて説明
したが、巻戻しサーチ（ＦＲ）についてもＶＴＲテープ
７０からの読み出し方向が異なるだけで復号処理装置７
としては同様の処理で対処できることは明白である。な
お、本実施例ではＧＯＰ構造をＩフレームのほかにＢ、
Ｐ両フレームを同時に含むことを前提で説明したが、Ｉ
またはＰのみ、またはＩとＢのみ、またはＩのみのビッ
ト・ストリームにも対応できることは以上の説明から明
らかである。

【００３２】次に、第２の実施例について説明する。大
まかな構成、動作は図１による第１の実施例と同じであ
るため、相違点のみ説明する。第１の実施例では、高速
サーチの際の入力ビット・ストリーム５１はＶＴＲテー
プ７０から読み取った断片的なビット・ストリームのま
まである。

【００３３】第２の実施例では、情報記録装置６におい
て、上記断片的なビット・ストリーム５１を予め成形
し、トラックとトラックの切り替わりにおける雑音や、
途中から始まったり、途切れているといった中途半端な
スライスは除去し、除去した部分は画像には影響のない
固定データで埋めるスタッフィングで置き換える等の処
理を施している。この結果、図１のバッファ制御部１１
の動作はイントラ・スライスの抽出に絞ることができ、
復号処理装置は標準的なデコーダＬＳＩを用いて構成す
ることが容易となる。

【００３４】

【発明の効果】以上説明したように、本発明によるディ
ジタル動画像復合方法と装置は、ヘリカル・スキャン方
式で記録したＰ，Ｂフレームを含むＭＰＥＧ準拠のビッ
ト・ストリームに対し、なんら特別のストリームを付加
したり、加工したりすることなく、高速サーチが可能と
なるので、処理が単純で、コストおよび回路規模の増加
を最小限に押さえることができる。また、冗長な情報を
含まないので、その分ビット・レートを押さえるか、同
一ビット・レートならばより高品質の画像を記録・再生
できる。

【００３５】また、高速サーチ解除時に通常再生の画像
が準備できるまでフリーズすることにより、操作時の違
和感や不快感を軽減し、使い勝手の向上を図れる。した
がって本発明の効果は極めて大きい。

【図面の簡単な説明】

【図１】本発明の一実施例を示す回路構成図である。

【図２】図１に示した装置のタイム・チャートである。

【図３】従来の復号処理装置を含む符号化データ蓄積再
生装置の構成図である。

【図４】従来の復号処理装置の回路構成図である。

【図５】従来の情報記録装置であるＶＴＲテープの磁気
記録の様子と高速サーチのヘッドの軌跡を示した模式図
である。

【符号の説明】６情報記録装置７復号処理装置８表示処理装置１１バッファ制御部１２バッファ・メモリ１３可変長復号器１４スキャン変換器１５逆量子化器１６逆ＤＣＴ部１７フレーム・メモリ２０動き補償再生部２１モード・レジスタ２２ベクトル復号部２３フレーム・メモリ読み書き制御部５１ビット・ストリーム５２モード設定コマンド５３位置情報５５予測誤差５６モード信号５７再生画像５９画像出力７０ＶＴＲテープ７１，７２トラック７５ヘッドの軌跡７８信号検出可能領域９５，９６矢印Ｂ０〜Ｂ２ＢフレームＤＲ表示読み出しＦＦ早送りＦＲ巻戻しサーチＨＳヘッダ・サーチＩＩフレームＰ０，Ｐ１ＰフレームＲＲ再生読み出しＲＷ再生書き込みｔ１〜ｔ５時間

───────────────────────────────────────────────────── フロントページの続き (72)発明者川村嘉郁東京都渋谷区代々木４丁目36番19号株式会社グラフィックス・コミュニケーション・ラボラトリーズ内 (72)発明者永井律彦東京都渋谷区代々木４丁目36番19号株式会社グラフィックス・コミュニケーション・ラボラトリーズ内 (72)発明者小林孝之東京都渋谷区代々木４丁目36番19号株式会社グラフィックス・コミュニケーション・ラボラトリーズ内 (72)発明者西塔隆二東京都渋谷区代々木４丁目36番19号株式会社グラフィックス・コミュニケーション・ラボラトリーズ内 (72)発明者後藤勝巳東京都渋谷区代々木４丁目36番19号株式会社グラフィックス・コミュニケーション・ラボラトリーズ内 (56)参考文献特開平５−167981（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/91 - 5/956

Claims

(57)【特許請求の範囲】

【請求項１】蓄積されたディジタル動画像データの高
速サーチ状態において、前記高速サーチにより得られる
動画像データのビット・ストリーム（５１）から、それ
のみで部分画像を構成し得るイントラ・スライスを抽出
し、前記部分画像の位置情報（５３）を得るためのイン
トラ・スライス抽出処理（１１，１２，１３）をし、フレーム画像データを書き込み読み出すためのフレーム
・メモリ（１７）の前記位置情報（５３）により示され
た位置に前記イントラ・スライスの画像データをオーバ
ー・ライトして読み出し、再生画像（５７）を得るよう
に制御する場合において、前記高速サーチ状態が解除さ
れて通常速度での再生状態に入ったとき、前記通常速度
での再生画像の最初の１フレームの復号が完了するまで
は、前記高速サーチ状態の解除される直前の前記再生画
像（５７）を得るように動作してフレーム・メモリ読み
書き制御処理（２３）をするディジタル動画像復号方
法。
【請求項２】蓄積されたディジタル動画像データの高
速サーチ状態において、前記高速サーチにより得られる
動画像データのビット・ストリーム（５１）から、それ
のみで部分画像を構成し得るイントラ・スライスを抽出
し、前記部分画像の位置情報（５３）を得るためのイン
トラ・スライス抽出手段（１１，１２，１３）と、フレーム画像データを書き込み読み出すためのフレーム
・メモリ（１７）の前記位置情報（５３）により示され
た位置に前記イントラ・スライスの画像データをオーバ
ー・ライトして読み出し、再生画像（５７）を得るよう
に制御する場合において、前記高速サーチ状態が解除さ
れて通常速度での再生状態に入ったとき、前記通常速度
での再生画像の最初の１フレームの復号が完了するまで
は、前記高速サーチ状態の解除される直前の前記再生画
像（５７）を得るように動作するフレーム・メモリ読み
書き制御手段（２３）とを含むディジタル動画像復号装
置。