JP3184175B2

JP3184175B2 - 復号化装置

Info

Publication number: JP3184175B2
Application number: JP5815799A
Authority: JP
Inventors: 慶光高木
Original assignee: 日本電気アイシーマイコンシステム株式会社
Priority date: 1999-03-05
Filing date: 1999-03-05
Publication date: 2001-07-09
Anticipated expiration: 2019-03-05
Also published as: JP2000261811A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は復号化装置に係り、
特にＭＰＥＧ方式により符号化された複数の番組の符号
化画像データが多重化されてなる信号を復号して、複数
の番組を同時に多画面で表示させる復号化装置に関す
る。

【０００２】

【従来の技術】近年、動画像符号化標準方式であるＭＰ
ＥＧ（Moving Picture Experts Group）方式により高能
率圧縮符号化された複数チャンネル（複数の番組）の符
号化画像データを多重化して伝送する多チャンネルのデ
ィジタル伝送システムが知られている。このようなシス
テムで伝送される多重化ディジタル信号を復号するデコ
ーダは、多数のチャンネルの中から所望の１つのチャン
ネルを視聴者が容易に選択できるようにするために、複
数チャンネルの画像を同時に１画面に表示できることが
望ましい。

【０００３】上記の複数のチャンネル（番組）の符号化
画像データを同時に復号するためには、単純には、複数
のＭＰＥＧ復号化回路を用意することが考えられる。し
かし、この方法は、同時に１画面に表示しようとするチ
ャンネル（番組）が増えるほど、受信機に搭載するＭＰ
ＥＧ復号化回路の個数が増加し、それに伴って費用が高
くなり、経済的な面からも実用化は困難である。

【０００４】次に考えられる方法として、１つのＭＰＥ
Ｇ復号化回路によって時分割で復号するデコード方法が
ある。このデコード方法について、図７のフローチャー
トと共に説明するに、視聴者が主として視聴したい番組
をメイン画面、補助的に視聴したい番組をサブ画面とす
ると、任意のフレームの復号の開始により、まず、メイ
ン画面の復号が開始される（ステップＣ１）。このメイ
ン画面の復号が終了したかどうかチェックが行われ（ス
テップＣ２）、メイン画面の復号が終了すると、次にサ
ブ画面の復号が開始される（ステップＣ３）。

【０００５】そして、このサブ画面の復号が終了が確認
されると（ステップＣ４）、すべてのサブ画面の復号が
終了したかを判断し（ステップＣ５）、終了していなか
った場合はステップＣ３に戻り、次のサブ画面の復号を
開始し、すべてのサブ画面の復号が終了していた場合
は、次のフレームの復号処理に移る。

【０００６】また、多チャンネルのディジタルテレビジ
ョン放送システムの受信機において、多数のチャンネル
の中から所望の１つのチャンネルを視聴者が容易に選択
できるようにするために、複数チャンネルの画像を同時
に１画面に表示できるようにしたデコーダも従来知られ
ている（特開平５−３２８３２１号公報）。

【０００７】この公報に記載されている従来のデコーダ
は、メイン画面用およびサブ画面用の２つの画像復号化
回路を含む。選択した１つのチャンネルの画像のメイン
画面については、多重化分離回路から分離されたすべて
の符号化画像データをメイン画面用の画像復号化回路に
よって復号する。選択されたチャンネル以外の各チャン
ネルの画像のサブ画面については、多重化分離回路から
分離された複数チャンネルの符号化画像データの中か
ら、それぞれＩピクチャのみを分離した後、Ｉピクチャ
多重化回路でそれらを再度多重化してサブ画面用の画像
復号化回路によって復号する。

【０００８】また、他の例として、一度分離されたメイ
ン画面およびＩピクチャのみのサブ画面の符号化画像デ
ータを再度１つの信号として多重化し、１つの画像多重
化回路によって、メイン画面を優先させながら時分割で
復号するという方法も、上記の特開平５−３２８３２１
号公報により開示されている。

【０００９】また、複数チャンネルの符号化画像データ
のうち、選択されたチャンネルの符号化画像データの映
像情報（メイン画面）と、選択されていない各チャンネ
ルの符号化画像データの映像情報（サブ画面）とを、同
一画面上に動画像として表示するようにしたデコーダも
従来より知られている（特開平１０−２８５５５２号公
報）。

【００１０】この特開平１０−２８５５５２号公報記載
の従来のデコーダは、複数チャンネルの符号化画像デー
タのうち、選択されたチャンネルの符号化画像データは
すべての画像データを復号化して第１映像情報として出
力し、選択されたチャンネル以外の複数チャンネルの符
号化画像データは、各チャンネルの符号化画像データの
中で空間周波数が低い直流成分の画像データのみ復号化
して第２映像情報として出力し、第１映像情報に副映像
情報を重畳させて主映像を生成し、主映像に第２映像情
報を重畳させて出力する構成である。これにより、サブ
画面も動画像が表示される。

【００１１】

【発明が解決しようとする課題】しかるに、図７に示し
た手順で復号を行う従来のデコーダでは、１フレーム分
の復号処理として、メイン画面およびサブ画面のすべて
の復号が終了するまで次のフレームの復号処理に移れな
いため、入力される符号化画像データの復号量の変化に
よって、システムが破綻することがある。

【００１２】また、特開平５−３２８３２１号公報記載
の従来のデコーダでは、サブ画面のチャンネルは、はじ
めからＩピクチャ多重化回路によってＩピクチャのみを
分離するという方法をとっているため、サブ画面につい
ては必ずコマ落ちした動きとなる点である。

【００１３】これに対し、特開平１０−２８５５５２号
公報記載の従来のデコーダでは、サブ画面も動画像を表
示することができるが、その反面、サブ画面で表示す
る、選択されたチャンネル以外の複数チャンネルの符号
化画像データを、メイン画面用の第１の復号化部とは別
の専用の第２の復号化部により直流成分のみを復号化す
る構成で、この第２の復号化部は入力されたＤＣＴ係数
ブロックの中の離散コサイン変換（ＤＣＴ）係数の直流
成分のみを取り出す可変長復号化部と、その直流成分を
順次に量子化、逆ＤＣＴを行う量子化器、逆ＤＣＴ器
と、逆ＤＣＴ器の出力画像データを各チャンネル毎にそ
れぞれ記憶する記憶部と、記憶部に対するアドレス制御
部とを有し、画像データがフレーム内予測符号化データ
（Ｉピクチャ）の場合は、加算部をそのまま通して出力
し、画像データが前方向又は双方向フレーム間予測符号
化データ（Ｐ又はＢピクチャ）の場合は、各チャンネル
の画像データと上記の記憶部からの各チャンネルの各画
像データとを上記の加算部で加算して出力する構成であ
るため、構成が大規模になるという問題がある。

【００１４】本発明は以上の点に鑑みなされたもので、
ＭＰＥＧ方式により符号化された複数のチャンネル（番
組）の符号化画像データが多重化されてなる信号を、１
つのＭＰＥＧ復号化回路で、サブ画面の画像のコマ落ち
を最小限に抑えて復号し得る復号化装置を提供すること
を目的とする。

【００１５】

【課題を解決するための手段】本発明は上記の目的を達
成するため、ＭＰＥＧ方式により圧縮符号化された複数
チャンネルの符号化画像データが多重され、かつ、少な
くとも提示時刻情報であるＰＴＳが付加されている多重
化信号を入力として受け、視聴者が主として視聴したい
一つのチャンネルであるメイン画面の符号化画像データ
と、補助的に同時に視聴したい一又は二以上のチャンネ
ルであるサブ画面の符号化画像データとにそれぞれ分離
する分離手段と、入力符号化画像データを復号する画像
復号化回路と、分離手段により分離されたメイン画面の
符号化画像データを画像復号化回路に入力した後、サブ
画面の符号化画像データを画像復号化回路に順次入力す
る選択入力手段と、画像復号化回路に入力されるメイン
画面及びサブ画面の各符号化画像データのすべてを１フ
レームの復号処理にかけることが可能な規定時間を設定
するタイマと、メイン画面の符号化画像データの復号開
始によりタイマを起動し、メイン画面の符号化画像デー
タを復号した後、サブ画面の符号化画像データを順次に
復号し、規定時間内ですべてのサブ画面の符号化画像デ
ータの復号が終了しないときは、規定時間を経過した時
点でサブ画面の符号化画像データの復号動作を中止して
タイマをリセットした後、次のフレームのメイン画面の
符号化画像データの復号動作を開始するように、画像復
号化回路及びタイマの動作を制御する制御手段と、画像
復号化回路から取り出された、メイン画面及びサブ画面
の各復号画像データを合成して出力する画像合成手段と
を有する構成としたものである。

【００１６】本発明では、メイン画面及びサブ画面の各
符号化画像データのすべてを１フレームの復号処理にか
けることが可能な規定時間を設定しておき、画像復号化
回路においてメイン画面の符号化画像データを復号した
後、サブ画面の符号化画像データを復号している途中で
あっても、上記の規定時間を経過したときは、直ちに次
のフレームのメイン画面の符号化画像データの復号を行
うことができる。

【００１７】また、本発明は上記の目的を達成するた
め、上記の制御手段を、規定時間を経過した時点で復号
動作中のサブ画面の符号化画像データが、予測を用いる
双方向予測符号化画像であるかどうか判定し、双方向予
測符号化画像であるときは復号途中の双方向予測符号化
画像の復号結果を破棄し、双方向予測符号化画像でない
ときは次回どのスライスから復号を再開するかを示す復
号再開スライスを記録した後に復号を中断し、次のフレ
ームのメイン画面の符号化画像データの復号終了後に、
復号中断したサブ画面の符号化画像データを、記録復号
再開スライスに基づき中断した所から復号を開始する構
成としたものである。

【００１８】この発明では、サブ画面の符号化画像デー
タが、双方向予測符号化画像でないときは、次のフレー
ムのメイン画面の符号化画像データの復号終了後に、復
号中断したサブ画面の符号化画像データを、中断した所
から復号を行うようにしているため、サブ画面の符号化
画像データを破棄する割合を最小限に止めることができ
る。

【００１９】また、本発明は上記の目的を達成するた
め、上記の制御手段を、画像復号化回路がサブ画面の符
号化画像データの復号を終了する毎にそのときのサブ画
面の出力時刻を取得して、サブ画面の符号化画像データ
から得たＰＴＳとを比較し、サブ画面の出力時刻とＰＴ
Ｓとの誤差が予め設定したしきい値以内であるかどうか
判定し、誤差がしきい値より大であるときは、次のフレ
ームのメイン画面の符号化画像データの復号終了後に、
サブ画面の符号化画像データを次のフレーム内符号化画
像まで読み飛ばしてフレーム内符号化画像から復号を行
うように、画像復号化回路を制御するようにしたもので
ある。この発明では、上記のサブ画面の符号化画像デー
タの中断処理に伴うサブ画面の符号化画像データの復号
遅延を緩和することができる。

【００２０】また、上記選択入力手段は、サブ画面が複
数個ある場合は、サブ画面の符号化画像データの画像復
号化回路への入力順序を定期的に変更して、サブ画面の
符号化画像データの復号開始順序を入れ替えることが、
特定のサブ画面の符号化画像データの復号処理が連続的
に中断することがないので望ましい。

【００２１】また、表示画像のコマ落しを最小限に抑え
るため、本発明はＭＰＥＧ方式により圧縮符号化された
符号化画像データの１フレームの復号処理にかけること
が可能な規定時間を設定するタイマと、符号化画像デー
タが少なくとも提示時刻情報であるＰＴＳと多重されて
いる多重化信号を入力として受け、符号化画像データの
復号を行うと共に、復号開始から規定時間内で１フレー
ムの符号化画像データの復号が終了しないときは、規定
時間経過時点の符号化画像データが、予測を用いる双方
向予測符号化画像であるかどうか判定し、双方向予測符
号化画像でないときはその符号化画像データの復号を終
了するまで継続し、双方向予測符号化画像であるときは
復号途中の双方向予測符号化画像の復号結果を破棄する
と共に復号動作を中止して次のフレームの符号化画像デ
ータの復号を行う画像復号化手段とを有し、画像復号化
手段をソフトウェアにより実現する構成としたものであ
る。

【００２２】本発明では、ＣＰＵの処理速度が遅くて、
復号時間が所定の規定時間を経過しても、符号化画像デ
ータが双方向予測符号化画像でないときは、符号化画像
データの復号を継続し、双方向予測符号化画像であると
きのみその復号結果を破棄するようにしているため、符
号化画像データを破棄する割合を最小限に止めることが
できる。

【００２３】また、本発明は、上記の画像復号化手段
を、符号化画像データの復号を終了する毎にそのときの
出力時刻を取得して、符号化画像データから得たＰＴＳ
とを比較し、出力時刻とＰＴＳとの誤差が予め設定した
しきい値以内であるかどうか判定し、誤差がしきい値よ
り大であるときは、次のフレームの符号化画像データを
次のフレーム内符号化画像まで読み飛ばしてフレーム内
符号化画像から復号を行うようにしたため、符号化画像
データの中断処理に伴う符号化画像データの復号遅延を
緩和することができる。

【００２４】

【発明の実施の形態】次に、本発明の実施の形態につい
て、図面と共に説明する。図１は本発明になる復号化装
置の一実施の形態のブロック図を示す。図１に示すよう
に、復号化装置は、前記ディジタルテレビジョン放送を
受信して得られた、又は記録媒体（ディスク、テープ
等）から再生した、若しくは記憶媒体（メモリ等）から
読み出した、多重化信号の中から希望するチャンネル
（番組）符号化画像データ及び符号化音声データを分離
する多重化分離回路１と、符号化画像データを復号する
画像復号部２と、符号化音声データを復号する音声復号
部３と、タイマ４１を内蔵した中央処理装置（ＣＰＵ）
４と、ＣＰＵ４からの命令を伝達するための制御用バス
５と、システム全体の基準時刻となるシステムタイムク
ロックを出力するシステムクロック発生回路６とを含
む。

【００２５】多重化分離回路１に入力される多重化信号
は、ＭＰＥＧ方式により圧縮符号化された複数チャンネ
ル（番組）の符号化画像データと、ＭＰＥＧ方式により
圧縮符号化された複数チャンネル（番組）の符号化音声
データとが多重されたＴＳ（トランスポートストリー
ム）パケットであり、ヘッダが付加されている。このヘ
ッダには、メディア識別情報（ＰＩＤ）、番組情報（Ｐ
ＩＤ）、提示時刻情報（ＰＴＳ）などを含んでいる。

【００２６】画像復号部２は、多重化分離回路１により
前記ＰＩＤに基づき分離された符号化画像データをバッ
ファリングする符号化画像バッファ２１と、復号を行う
バッファを選択するバッファ選択回路２２と、ＭＰＥＧ
方式で符号化された画像データを復号する画像復号化回
路２３と、復号した画像データを格納する複数の表示メ
モリ２５と、復号画像データを格納する表示メモリ２５
を選択する表示メモリ選択回路２４と、復号された画像
データを希望する形式に合成する画像合成回路２６を備
えている。符号化画像バッファ２１と表示メモリ２５
は、それぞれ画面上に表示するチャンネル（番組）数の
最大数と同数の、複数の符号化画像バッファおよび複数
の表示メモリから構成されている。

【００２７】音声復号部３は、多重化分離回路１により
前記ＰＩＤに基づき分離された符号化音声データをバッ
ファリングする符号化音声バッファ３１と、ＭＰＥＧ形
式で符号化された符号化音声データを復号する音声復号
化回路３２を備えている。ＣＰＵ４は、制御用バス５を
介して、多重化分離回路１と、バッファ選択回路２２
と、画像復号化回路２３と、表示メモリ選択回路２４
と、画像合成回路２６と、音声復号化回路３２とを制御
する。また、ＣＰＵ４は、システムタイムクロック発生
回路６から入力されるシステムクロックに対して初期値
の設定および現在時刻の取得を行う。

【００２８】次に、この実施の形態の動作について説明
する。多重化信号は多重化分離回路１に供給され、メイ
ン画面の符号化画像データ（ＭＶとする）と、サブ画面
の複数の符号化画像データ（ＳＶ１からＳＶｎとする）
およびメイン画面の符号化音声データ（ＭＡとする）と
に分離される。ここで、視聴者が主として視聴したい一
つのチャンネル（番組）をメイン画面、補助的に同時に
視聴したい一又は二以上のチャンネル（番組）をサブ画
面とする。

【００２９】多重化分離回路１により分離されたメイン
画面およびサブ画面の符号化画像データＭＶ及びＳＶ１
〜ＳＶｎは、全部で（ｎ＋１）個ある符号化画像バッフ
ァ２１のうち対応する符号化画像バッファに供給され
て、個別にバッファリングされる。一方、多重化分離回
路１により分離されたメイン画面の符号化音声データＭ
Ａは、単一の符号化音声バッファ３１に供給されてバッ
ファリングされる。

【００３０】次に、ＣＰＵ４は復号する画面を決定す
る。バッファ選択回路２２は、全部で（ｎ＋１）個ある
符号化画像バッファ２１の中から、制御用バス５を介し
てＣＰＵ４から入力された選択信号に基づき、ＣＰＵ４
により指定された画面に対応する符号化画像バッファを
選択し、そこにバッファリングされている符号化画像デ
ータを読み出して画像復号化回路２３へ供給する。

【００３１】画像復号化回路２３によって復号された画
像データは、表示メモリ選択回路２４を介して、対応す
る表示メモリ２５へ格納される。画像合成回路２６は、
視聴者が希望する画面構成にあわせて表示メモリ２５か
ら必要となる画像データを選択および合成し、最終的な
復号化画像信号として端子７へ出力する。また、符号化
音声バッファ３１にバッファリングされたメイン画面の
符号化音声データは、音声復号化回路３２で復号された
後、最終的な音声信号として端子８へ出力される。

【００３２】次に、図２のフローチャートを併せ参照し
て、ＣＰＵ４の動作について更に詳細に説明する。ま
ず、定常状態におけるメイン画面およびサブ画面の１フ
レーム分の復号処理について説明する。任意のフレーム
の復号処理が開始されると、ＣＰＵ４は規定時間を測定
するため、内蔵するタイマ４１を起動させる（図２のス
テップＡ１）。ここで規定時間は、テレビ画面が１フレ
ームを構成する際にかかる走査時間とし、ＮＴＳＣ方式
の場合は３０分の１秒である。

【００３３】次に、ＣＰＵ４はバッファ選択回路２２お
よび表示メモリ選択回路２４に対して、メイン画面の符
号化画像データＭＶを一時格納している一つの符号化画
像バッファ２１からのみ、その記憶符号化画像データＭ
Ｖを選択出力するように、バッファ選択回路２２を制御
し、メイン画面の符号化画像データＭＶをバッファ選択
回路２２を通して画像復号化回路２３に供給して、画像
復号化回路２３に復号を開始させ（図２のステップＡ
２）、メイン画面の符号化画像データＭＶの復号が終了
するまで待機する（図２のステップＡ３）。メイン画面
の符号化画像データＭＶの復号が終了すると、処理はサ
ブ画面の符号化画像データＳＶ１〜ＳＶｎの復号に移
る。

【００３４】サブ画面の符号化画像データＳＶ１〜ＳＶ
ｎの復号処理では、最初に復号中断中のサブ画面の符号
化画像データの有無の判断を行う（図２のステップＡ
４）。しかし、定常状態においては復号中断中のサブ画
面の符号化画像データは存在しないため、次にＣＰＵ４
は、すべてのサブ画面の符号化画像データＳＶ１〜ＳＶ
ｎの中から復号するサブ画面符号化画像データを決定
し、バッファ選択回路２２および表示メモリ選択回路２
４に対して、復号するサブ画面符号化画像データを一時
格納している符号化画像バッファ２１からバッファ選択
回路２２を通して画像復号化回路２３に供給させる設定
を、バッファ選択回路２２に対して行う（図２のステッ
プＡ５）。

【００３５】次に、復号するサブ画面の符号化画像デー
タに対して「次のＩピクチャまでの読み飛ばし命令」が
あるかの判断を行う（図２のステップＡ６）が、この命
令も定常状態においては存在しないため、ＣＰＵ４は画
像復号化回路２３に制御用バス５を介して復号開始信号
を供給して復号を開始させる（図２のステップＡ９）。
続いて、ＣＰＵ４は、タイマ値が規定時間内にある間
は、そのサブ画面の復号が終了するまで待機する（図２
のステップＡ１０およびステップＡ１１）。このステッ
プＡ１０における「規定時間」は、メイン画面とサブ画
面を通して１フレームの復号処理にかけることが可能な
時間に設定されている。

【００３６】サブ画面の符号化画像データの復号が終了
した時点で、ＣＰＵ４はシステムタイムクロック発生回
路６からのシステムクロックに基づいて、「サブ画面出
力時刻」として現在時刻を取得する（図２のステップＡ
１２）。続いて、ＣＰＵ４は上記の「サブ画面出力時
刻」と、サブ画面の符号化画像データ中に多重されてお
り、画像復号化回路２３から取得したそのフレームの提
示時刻情報（ＰＴＳ：Presentation Time Stamp）との
誤差が予め設定したしきい値以内であるかどうか判定す
る（図２のステップＡ１３）。

【００３７】これは、後述するエラー処理で１フレーム
の復号処理にかけることが可能な規定時間を越えた場合
は、サブ画面のＩピクチャ又はＰピクチャの復号を中断
して、次の１フレームのメイン画面の符号化画像データ
の復号を開始し、そのメイン画面の符号化画像データの
復号が終了してから中断した前フレームのサブ画面のＩ
ピクチャ又はＰピクチャの復号を再開するようにしてい
るため、中断したサブ画面の画像の復号遅延を緩和する
ためである。すなわち、上記のＰＴＳとの誤差が上記の
復号遅延のしきい値を越えていない場合は、中断したサ
ブ画面の画像の復号遅延が目立たないとしてステップＡ
１５に進み、すべてのサブ画面の復号が終了したかどう
かチェックし、しきい値を越えている場合は、次のＩピ
クチャまでの読み飛ばし命令を発行して（ステップＡ１
４）、メイン画面の画像に対してより遅延していない方
のサブ画面の画像を表示させる。

【００３８】ここで、ＭＰＥＧ方式の符号化画像データ
には、周知のように、１フレームの画面のすべてを予測
を用いずイントラ符号化するフレーム内符号化画像（Ｉ
ピクチャ）と、予測を用いるフレーム間順方向予測符号
化画像（Ｐピクチャ）と、Ｉ，Ｐピクチャを先に処理し
た後でその間に挿入される、予測を用いる双方向予測符
号化画像（Ｂピクチャ）のピクチャタイプがあり、これ
ら３つのピクチャを適切に組み合わせているが、定期的
にＩピクチャを入れることでランダム・アクセスを可能
にしている。この定期的に伝送されるＩピクチャとＩピ
クチャの間隔は、最大０．３秒以内とＭＰＥＧで規定さ
れている。

【００３９】一方、最低限、コマ落としの画像を得るに
は、１フレームの画像のすべてを予測を用いず符号化し
ていて単独で復号が可能であるＩピクチャを少なくとも
復号する必要があり、また、予測を用いるＰピクチャと
ＢピクチャはＩピクチャから始まる各ピクチャの復号画
像を参照画像とする必要があるので、上記のＰＴＳとの
誤差のしきい値は最低０．３秒は必要となるが、これよ
りもかなり長い例えば１．５秒というような値とする
と、復号を中断後復号したサブ画面の表示画像の遅れが
見た目で分かり、また符号化画像バッファの容量も多く
必要となるので、０．３秒より余裕をみてやや大なる値
の、０．５秒から１．０秒程度が上記の復号遅延のしき
い値に適切であると考えられる。

【００４０】こうして、一つのサブ画面の１フレームの
符号化画像データの復号が終了すると、すべてのサブ画
面の符号化画像データの復号が終了したかどうか判定し
（図２のステップＡ１５）、終了していない場合はステ
ップＡ４に戻り、次のサブ画面の符号化画像データの復
号を開始し、すべてのサブ画面の符号化画像データの復
号が終了すると、ＣＰＵ４はタイマ４１をリセットし
（図２のステップＡ１９）、次のフレームの復号を開始
する。

【００４１】次に、エラー処理について説明する。図２
において、ステップＡ１０で、タイマ値が規定時間を越
えたと判定された場合、ＣＰＵ４は復号中の画像データ
のピクチャタイプに応じて次のエラー処理を行う。すな
わち、タイマ値が規定時間を越えたということは、メイ
ン画面及びサブ画面を通して１フレームの復号処理にか
けることが可能な時間を超過したということであるの
で、サブ画面の符号化画像データの復号中であっても、
その復号を停止する。

【００４２】このとき復号中であった、サブ画面の符号
化画像データがＩピクチャ又はＰピクチャであるとき
は、これらのピクチャはその後のピクチャの参照画像に
用いられるが、Ｂピクチャの場合はその後のピクチャの
参照画像に用いられないため、ＣＰＵ４は、規定時間を
経過した時点で復号していたサブ画面の符号化画像デー
タがＢピクチャであるかどうか判定し（図２のステップ
Ａ１６）、Ｂピクチャでないとき（すなわち、Ｉピクチ
ャ又はＰピクチャであるとき）は、次回どのスライスか
ら復号を再開するかを示す復号再開スライスを記録した
後に復号を中断する（図２のステップＡ１８）。ここ
で、「スライス」とは、１つのピクチャを構成する複数
の帯状の領域で、ラスタスキャンオーダーで左から右、
上から下へ並んでいる。この時のサブ画面の表示状態と
しては、直前の画像を連続して表示することとする。

【００４３】このことについて、図３を参照して説明す
るに、時刻Ｔ２において同図（Ｂ）に模式的に示すよう
に、サブ画面のＩピクチャ又はＰピクチャのフレームＳ
２の復号が間に合わず中断した場合、時刻Ｔ２−Ｔ３間
のサブ画面の表示は、同図（Ｄ）に模式的に示すよう
に、直前のフレームＳ１を表示し続けることになる。時
刻Ｔ２−Ｔ３間で復号が完了したフレームＳ２は、同図
（Ｄ）に模式的に示すように、時刻Ｔ３−Ｔ４間で表示
し、以降表示は１フレームずつ後ろへずれることとな
る。なお、図３（Ａ）、（Ｃ）はそれぞれメイン画面の
符号化画像データの復号と、表示状態を模式的に示して
おり、これらは正常に行われている。

【００４４】これに対し、タイマが規定時間に達したと
きに復号中であった、サブ画面の符号化画像データがＢ
ピクチャであったときは、Ｂピクチャはその後のピクチ
ャの復号時に参照画像としては用いられないため、ＣＰ
Ｕ４は、それまでの復号内容を破棄した後に復号を中止
する（図２のステップＡ１７）。この時のサブ画面の表
示状態としては、直前の画像を連続して表示することと
する。

【００４５】このことについて、図４を参照して説明す
ると、時刻Ｔ２においてサブ画面のフレームＳ２の復号
が間に合わず、図４（Ｂ）に模式的に示すように破棄さ
れた場合、時刻Ｔ２−Ｔ３間のサブ画面の表示は、同図
（Ｄ）に模式的に示すように、直前のフレームＳ１を表
示し続けることになる。次の時刻Ｔ３−Ｔ４間では、図
４（Ｄ）に模式的に示すように、時刻Ｔ２−Ｔ３間で復
号したフレームＳ３を表示することとなり、フレームＳ
２はコマ落ちしたことになる。なお、図４（Ａ）、
（Ｃ）はそれぞれメイン画面の符号化画像データの復号
と、表示状態を模式的に示しており、これらは正常に行
われている。

【００４６】再び図２に戻って説明するに、ステップＡ
１７でサブ画面の符号化画像データの復号内容を破棄し
た場合、あるいはステップＡ１８でサブ画面の符号化画
像データの復号を中断した場合は、ＣＰＵ４は内蔵のタ
イマ４１をリセットした後（図２のステップＡ１５）、
直ちに次の１フレームの復号を開始し、タイマ４１を起
動し（図２のステップＡ１）、メイン画面の符号化画像
データの復号を開始する（ステップＡ２）。

【００４７】その後、ステップＡ４で、復号中断中のサ
ブ画面があると判定した場合、ＣＰＵ４は復号中断処理
（図２のステップＡ１８）で記録した復号再開スライス
を確認（図２のステップＡ８）し、サブ画面の符号化画
像データの復号を再開する（図２のステップＡ９）。こ
れにより、前記図３（Ｂ）にｂで示した繰り越し区間で
の復号が開始される。

【００４８】また、図２において、ステップＡ１３で、
ＰＴＳからの「サブ画面出力時刻」の遅延時間が、予め
設定したしきい値を越えていた場合、そのサブ画面に対
して「次のＩピクチャへの読み飛ばし命令」を発行する
（図２のステップＡ１４）。その後、次の１フレームの
メイン画面の符号化画像データの復号処理終了後に、サ
ブ画面の復号の開始に当たり、ステップＡ６で、そのサ
ブ画面に対して「次のＩピクチャまでの読み飛ばし命
令」があると判定された場合、サブ画面の符号化画像デ
ータに多重されているピクチャヘッダからピクチャタイ
プを読み取り、次のＩピクチャが検出されるまでサブ画
面の符号化画像データの読み飛ばしを行う（図２のステ
ップＡ７）。

【００４９】なお、ステップＡ５で、サブ画面が複数個
ある場合は、特定のサブ画面の復号処理が連続的に中断
することがないように、サブ画面内で復号開始順序を定
期的に（例えばフレーム毎に）入れ替える処理をする。
これは、バッファ選択回路２２を制御することで行え
る。また、このように復号開始順序を入れ替えても、そ
れに対応して表示メモリ選択回路２４の選択順序もＣＰ
Ｕ４が変更するので、（ｎ＋１）個の表示メモリ２５に
は、常に割り当てられたメイン画面又はサブ画面の復号
画像が入力され、よって、サブ画面の表示位置が復号開
始順序を定期的に入れ替えても変化することはない。

【００５０】このように、この実施の形態では、タイマ
４１の規定時間を越えた場合は、たとえサブ画面の符号
化画像データの復号中であっても、直ちに次のメイン画
面の符号化画像データの復号を開始するようにしている
ため、１つのＭＰＥＧ画像復号化回路２３で複数のチャ
ンネル（番組）の画像を時分割で復号する際に、メイン
画面の画像はコマ落ちすることなくすべてのフレームを
復号することができる。

【００５１】しかも、タイマ４１の規定時間を越えた場
合は、たとえサブ画面の符号化画像データの復号中であ
っても、そのサブ画面の符号化画像データがＩピクチャ
又はＰピクチャである場合は、復号を中断して次回のサ
ブ画面の符号化画像データの復号時に中断した所から復
号を再開すると共に、サブ画面の復号が終了する毎に、
画面出力時刻とＰＴＳとを比較し、遅延時間が予め設定
したしきい値を越えていた場合は、次のフレームのサブ
画面の符号化画像データの復号処理の先頭で、次のＩピ
クチャまでの読み飛ばし処理を行うことで、中断処理に
起因するサブ画面の復号遅延を緩和するため、サブ画面
の画像についてもシステムが破綻しない範囲内で、コマ
落ちを最小限に抑えて表示することができる。

【００５２】次に、本発明の他の実施の形態について図
面を参照して説明する。図５は本発明になる復号化装置
の他の実施の形態のブロック図を示す。同図中、図１と
同一構成部分には同一符号を付してある。図５に示すデ
コーダは、多重化された信号の中から希望する符号化画
像および符号化音声を分離する多重化分離回路１と、情
報を記憶する記憶装置９と、プログラムにより動作する
ＭＰＥＧ復号化装置１０と、システム全体の基準時刻と
なるシステムタイムクロックを発生するシステムクロッ
ク発生回路６と、規定時間を測定するタイマ１１とを含
む。

【００５３】記憶装置９は、多重化分離回路１により分
離された符号化画像データをバッファリングする符号化
画像バッファ９１と、多重化分離回路１により分離され
た符号化音声データをバッファリングする符号化音声バ
ッファ９２と、復合された画像データを格納する表示メ
モリ９３とを備えている。ＭＰＥＧ復号化装置１０は、
ＭＰＥＧ方式で符号化された符号化画像データを復号す
る画像復号化手段１０１と、ＭＰＥＧ方式で符号化され
た符号化音声データを復号する音声復号化手段１０２と
を備えている。

【００５４】本実施の形態は、画像復号化手段１０１お
よび音声復号化手段１０２が、図１に示された実施の形
態における画像復号化回路２３および音声復号化回路３
２と比較して、プログラム（ソフトウェア）によって復
号処理を行うという点で異なる。また、図６を参照する
と、本実施の形態は、メイン画面およびサブ画面という
複数の画面を復号するのではなく、１つの画面を復号す
るという点で、図１の実施の形態と異なる。

【００５５】次に、この実施の形態の動作について説明
する。多重化信号は多重化分離回路１に供給され、符号
化画像データと符号化音声データとに分離される。多重
化分離回路１により分離された符号化画像データは、符
号化画像バッファ９１に供給されて、バッファリングさ
れる。一方、多重化分離回路１により分離された符号化
音声データＭＡは、符号化音声バッファ９２に供給され
てバッファリングされる。符号化画像バッファにバッフ
ァリングされている符号化画像データは読み出されて画
像復号化手段１０１へ供給される。

【００５６】画像復号化手段１０１によって復号された
画像データは、表示メモリ９３に格納された後、最終的
な復号化画像信号として端子７へ出力される。また、符
号化音声バッファ９２にバッファリングされた符号化音
声データは、音声復号化手段１０２で復号された後、最
終的な音声信号として端子８へ出力される。

【００５７】次に、この実施の形態の定常状態における
１フレーム分の復号処理について、図６のフローチャー
トを併せ参照して説明する。任意のフレームの復号処理
が開始されると、規定時間を測定するためのタイマ１１
が起動する（図６のステップＢ１）。次に、「次のＩピ
クチャまでの読み飛ばし命令」があるかの判断が行われ
る（図６のステップＢ２）が、定常状態においては上記
の命令は存在しないため、画像復号化手段１０１に復号
を開始させる（図６のステップＢ４）。

【００５８】タイマ１１の値が規定時間内である限り、
そのフレームの復号が終了するまで待機する（図６のス
テップＢ５およびステップＢ６）。復号が終了した時点
で、画像復号化手段１０１は、システムタイムクロック
発生回路６から入力されたシステムタイムクロックに基
づき、「画面出力時刻」として現在時刻を取得する（図
６のステップＢ７）。

【００５９】続いて、画像復号化手段１０１は上記の
「サブ画面出力時刻」と、符号化画像バッファ９１を通
して入力された符号化画像データ中に多重されている、
そのフレームのＰＴＳとの誤差が予め設定したしきい値
以内であるかどうか判定する（図６のステップＢ８）。
ＰＴＳからの遅延時間が予め設定したしきい値を越えて
いない場合は、タイマ１１をリセットし（図６のステッ
プＢ１２）、そのフレームの復号を終了する。ここで、
復号遅延のしきい値としては、前述した実施の形態と同
様の理由で、０．５秒から１．０秒程度が適切であると
考えられる。

【００６０】次に、エラー処理について説明する。図６
のステップＢ５で、タイマ１１が規定時間を越えたと判
定された場合、復号中の画像の符号化タイプを判断し
（図６のステップＢ１０）、次のエラー処理を行う。す
なわち、ＩピクチャおよびＰピクチャについては、その
復号画像が後のピクチャの復号時の参照画像に用いられ
るため、図６のステップＢ６へ進み、復号処理を継続す
る。これに対し、Ｂピクチャについては、その復号画像
がその後のＰピクチャやＢピクチャの参照画像としては
用いられないため、それまでの復号内容を破棄した後に
復号を中止し（図６のステップＢ１１）、タイマ１１を
リセットして（図６のステップＢ１２）、次のフレーム
の復号を開始する。

【００６１】また、図６のステップＢ８で、ＰＴＳと
「画面出力時刻」との誤差が、予め設定したしきい値を
越えていた場合、画像復号化手段１０１は、「次のＩピ
クチャへの読み飛ばし命令」を発行する（図６のステッ
プＢ９）。その後、次の１フレームの符号化画像データ
の復号処理開始に当たり、ステップＢ２で、「次のＩピ
クチャまでの読み飛ばし命令」があると判定された場
合、符号化画像データに多重されているピクチャヘッダ
からピクチャタイプを読み取り、次のＩピクチャが検出
されるまで符号化画像データの読み飛ばしを行う（図６
のステップＢ３）。そして、検出したＩピクチャから復
号を開始する（図６のステップＢ４）本実施の形態は、
プログラムによってＭＰＥＧ復号処理を行う場合におい
て、仮に画像復号化手段１０１および音声復号化手段１
０２をソフトウェアにて実行するコンピュータが、ＣＰ
Ｕの処理速度が遅いものに変わった場合においても、表
示画像のコマ落しを最小限に抑えることができるという
新たな効果を有する。

【００６２】

【発明の効果】以上説明したように、本発明によれば、
画像復号化回路においてメイン画面の符号化画像データ
を復号した後、サブ画面の符号化画像データを復号して
いる途中であっても、上記の規定時間を経過したとき
は、直ちに次のフレームのメイン画面の符号化画像デー
タの復号を行うようにしたため、メイン画面とサブ画面
の各符号化画像データを単一の画像復号化回路で復号し
ても、メイン画面の画像はコマ落ちすることなく、すべ
てのフレームを復号再現できる。

【００６３】また、本発明によれば、メイン画面とサブ
画面の各符号化画像データを単一の画像復号化回路で復
号できるので、それぞれ専用の画像復号化回路を用いる
構成に比べて、装置を安価、かつ、簡単に構成すること
ができる。

【００６４】また、本発明によれば、サブ画面の符号化
画像データが、双方向予測符号化画像でないときは、次
のフレームのメイン画面の符号化画像データの復号終了
後に、復号中断したサブ画面の符号化画像データを、中
断した所から復号を行うことにより、サブ画面の符号化
画像データを破棄する割合を最小限に止めるようにする
ようにしたため、サブ画面の画像のコマ落としを最小限
に止めることができる。

【００６５】また、本発明によれば、サブ画面の出力時
刻とＰＴＳとの誤差が予め設定したしきい値より大であ
るときは、次のフレームのメイン画面の符号化画像デー
タの復号終了後に、サブ画面の符号化画像データを次の
フレーム内符号化画像まで読み飛ばしてフレーム内符号
化画像から復号を行うように、画像復号化回路を制御す
ることにより、上記のサブ画面の符号化画像データの中
断処理に伴うサブ画面の符号化画像データの復号遅延を
緩和するようにしているため、サブ画面の画像をシステ
ムが破綻しない範囲内で、コマ落ちを最小限に押さえて
表示することができる。

【００６６】

【図面の簡単な説明】

【図１】本発明の一実施の形態の構成を示すブロック図
である。

【図２】図１に示す本発明装置の動作説明用フローチャ
ートである。

【図３】サブ画面の復号が規定時間内に終了しなかった
場合の、図１に示す装置の動作説明用タイムチャート
（Ｉ，Ｐピクチャの場合）である。

【図４】サブ画面の復号が規定時間内に終了しなかった
場合、図１に示す装置の動作説明用タイムチャート（Ｂ
ピクチャの場合）である。

【図５】本発明の他の実施の形態の構成を示すブロック
図である。

【図６】図５に示す本発明装置の動作説明用フローチャ
ートである。

【図７】従来装置の一例の動作説明用フローチャートで
ある。

【符号の説明】

１多重化分離回路２ＭＰＥＧ方式で符号化された画像データを復号する
画像復号部３ＭＰＥＧ方式で符号化された音声データを復号する
音声復号部４中央処理装置（ＣＰＵ）５制御用バス６システムタイムクロック発生回路７復号化画像信号出力端子８復号化音声信号出力端子９記憶装置１０プログラムにより動作するＭＰＥＧ復号化装置１１、４１タイマ２１、９１符号化画像バッファ２２バッファ選択回路２３画像復号化回路２４表示メモリ選択回路２５、９３表示メモリ２６画像合成回路３１、９２符号化音声バッファ３２音声復号化回路１０１画像復号化手段１０２音声復号化手段

Claims

(57)【特許請求の範囲】

【請求項１】ＭＰＥＧ方式により圧縮符号化された複
数チャンネルの符号化画像データが多重され、かつ、少
なくとも提示時刻情報であるＰＴＳが付加されている多
重化信号を入力として受け、視聴者が主として視聴した
い一つのチャンネルであるメイン画面の符号化画像デー
タと、補助的に同時に視聴したい一又は二以上のチャン
ネルであるサブ画面の符号化画像データとにそれぞれ分
離する分離手段と、入力符号化画像データを復号する画像復号化回路と、前記分離手段により分離された前記メイン画面の符号化
画像データを前記画像復号化回路に入力した後、前記サ
ブ画面の符号化画像データを前記画像復号化回路に順次
入力する選択入力手段と、前記画像復号化回路に入力される前記メイン画面及びサ
ブ画面の各符号化画像データのすべてを１フレームの復
号処理にかけることが可能な規定時間を設定するタイマ
と、前記メイン画面の符号化画像データの復号開始により前
記タイマを起動し、該メイン画面の符号化画像データを
復号した後、前記サブ画面の符号化画像データを順次に
復号し、該規定時間内ですべてのサブ画面の符号化画像
データの復号が終了しないときは、前記規定時間を経過
した時点で該サブ画面の符号化画像データの復号動作を
中止して前記タイマをリセットした後、次のフレームの
前記メイン画面の符号化画像データの復号動作を開始す
るように、前記画像復号化回路及びタイマの動作を制御
する制御手段と、前記画像復号化回路から取り出された、前記メイン画面
及びサブ画面の各復号画像データを合成して出力する画
像合成手段とを有することを特徴とする復号化装置。
【請求項２】前記制御手段は、前記規定時間を経過し
た時点で復号動作中の前記サブ画面の符号化画像データ
が、予測を用いる双方向予測符号化画像であるかどうか
判定し、該双方向予測符号化画像であるときは復号途中
の該双方向予測符号化画像の復号結果を破棄し、該双方
向予測符号化画像でないときは次回どのスライスから復
号を再開するかを示す復号再開スライスを記録した後に
復号を中断し、次のフレームの前記メイン画面の符号化
画像データの復号終了後に、復号中断したサブ画面の符
号化画像データを、前記記録復号再開スライスに基づき
中断した所から復号を開始することを特徴とする請求項
１記載の復号化装置。
【請求項３】前記制御手段は、前記画像復号化回路が
前記サブ画面の符号化画像データの復号を終了する毎に
そのときのサブ画面の出力時刻を取得して、前記サブ画
面の符号化画像データから得た前記ＰＴＳとを比較し、
該サブ画面の出力時刻とＰＴＳとの誤差が予め設定した
しきい値以内であるかどうか判定し、該誤差が該しきい
値より大であるときは、次のフレームの前記メイン画面
の符号化画像データの復号終了後に、前記サブ画面の符
号化画像データを次のフレーム内符号化画像まで読み飛
ばして該フレーム内符号化画像から復号を行うように、
前記画像復号化回路を制御することを特徴とする請求項
１又は２記載の復号化装置。
【請求項４】前記しきい値は、前記画像復号化回路に
入力される符号化画像データ中の、相隣る２つの前記フ
レーム内符号化画像の時間間隔よりも大なる値に設定さ
れていることを特徴とする請求項３記載の復号化装置。
【請求項５】前記選択入力手段は、前記サブ画面が複
数個ある場合は、前記サブ画面の符号化画像データの画
像復号化回路への入力順序を定期的に変更して、該サブ
画面の符号化画像データの復号開始順序を入れ替えるこ
とを特徴とする請求項１記載の復号化装置。