JPWO2005101829A1 - 符号化データ復号再生装置 - Google Patents

Abstract

圧縮画像データをフレーム単位に入力する画像入力手段１と、高速で再生する特殊再生モードの指定を受け、画像入力手段１により入力された圧縮画像データの中から単独で復号可能なイントラ符号化データを含むブロックを復号する画像復号手段２と、復号されたブロックの復号画像データを蓄積する画像蓄積手段３と、画像復号手段２及び画像蓄積手段３に特殊再生モードを指定し、ブロックの復号画像データを重畳して画像蓄積手段３に蓄積させ、指定した再生速度で出力させる画像復号再生制御手段４とを備えた符号化データ復号再生装置。

Description

この発明は圧縮画像データを復号して高速再生等の特殊再生を行う符号化データ復号再生装置に関するものである。

ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の圧縮符号化された圧縮画像データを復号してアナログＶＴＲの高速再生と同等の特殊再生機能を実現する符号化データ復号再生装置として、例えば、特許第３０３４１７２号公報（特開平８−１２５９６７号公報）に記載されている画像データ記録再生装置がある。圧縮符号化された一般的な圧縮画像データの中で、単体で復号開始可能なスライスには、予測を必要としないイントラマクロブロックのほか、予測を必要とするノンイントラマクロブロックを含むのが一般的である。この従来例では、デジタルＶＴＲに記録された圧縮画像データの高速再生を目的として、圧縮符号化された圧縮動画データを、単体で復号開始可能な１個以上のイントラマクロブロックだけを含むイントラスライスと呼ばれるブロックを含む圧縮画像データに変換し、特殊再生を実施するときには、変換後の圧縮符号化された圧縮画像データから、上記イントラスライスのみを取り出して復号して表示している。
従来の符号化データ復号再生装置は、以上のように構成されているので、特殊再生を行うためには、前もって、オリジナルの圧縮符号化された圧縮画像データから１個以上のイントラマクロブロックを含むイントラスライスに変換しなければならず、このことは、場合によりオリジナルの圧縮画像データとは別に、変換後の圧縮画像データを持つ必要性があるという課題があった。また、上記の前もって行う必要のある変換処理は、圧縮符号化された圧縮画像データを復号・表示する過程で行う処理と全く同一の処理を含んでいるので、装置の構成が複雑になるという課題があった。
この発明は上記のような課題を解決するためになされたもので、オリジナルの圧縮画像データと別に変換後の圧縮画像データを持つ必要性がなく、簡単な構成で特殊再生機能を実現することができる符号化データ復号再生装置を得ることを目的とする。

この発明に係る符号化データ復号再生装置は、圧縮画像データを入力する画像入力手段と、高速で再生する特殊再生モードの指定を受け、上記画像入力手段により入力された圧縮画像データの中から単独で復号可能なイントラ符号化データを含むブロックを復号する画像復号手段と、上記画像復号手段により復号された上記ブロックの復号画像データを蓄積する画像蓄積手段と、上記画像復号手段及び上記画像蓄積手段に特殊再生モードを指定し、上記ブロックの復号画像データを重畳して上記画像蓄積手段に蓄積させ、蓄積されている上記ブロックの復号画像データを指定した再生速度で出力させる画像復号再生制御手段とを備えたものである。
この発明により、オリジナルの圧縮画像データそのまま使用することで別に変換後の圧縮画像データを持つ必要性がなく、入力される圧縮画像データを復号する過程で特殊再生処理を同時に行うことにより、簡単な構成で特殊再生機能を実現することができるという効果がある。

第１図はこの発明の実施の形態１による符号化データ復号再生装置の構成を示すブロック図である。
第２図はこの発明の実施の形態１による符号化データ復号再生装置のスイッチャ及び画像バッファの制御を説明する図である。
第３図はこの発明の実施の形態１による符号化データ復号再生装置の特殊再生モードにおいて複数の符号化モードが含まれる圧縮画像データを入力したときの動作を説明する図である。
第４図はこの発明の実施の形態２による符号化データ復号再生装置の特殊再生モードにおいて複数の符号化モードが含まれる圧縮画像データを入力したときの動作を説明する図である。
第５図はこの発明の実施の形態３による符号化データ復号再生装置の構成を示すブロック図である。
第６図はこの発明の実施の形態４による符号化データ復号再生装置の構成を示すブロック図である。

以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
第１図はこの発明の実施の形態１による符号化データ復号再生装置の構成を示すブロック図である。この符号化データ復号再生装置は、入力データバッファ１１、可変長復号部１２、逆量子化部１３、逆直交変換部１４、加算器１５、動き補償部１６、スイッチャ１７及び画像バッファ１８を備えている。ここで、スイッチャ１７及び画像バッファ１８には、通常のＭＰＥＧ等の圧縮方式準拠による通常再生モードか、高速再生等の特殊再生モードかを指定する再生モード指定１１１が入力され、画像バッファ１８には、再生する際の速度を指定する再生速度指定１１２が入力されている。
第１図に示す符号化データ復号再生装置は、通常のＭＰＥＧ等の圧縮方式準拠による通常再生モードによる再生と高速再生等の特殊再生モードによる再生の両方の機能を実現するものであり、第１図に示す構成から再生モード指定１１１と再生速度指定１１２とスイッチャ１７の入力端子ｂを削除したものが通常再生モードによる再生を行うものである。すなわち、この符号化データ復号再生装置は、通常再生モードにより再生を行う構成に、再生モード指定１１１と再生速度指定１１２とスイッチャ１７の入力端子ｂの極めて簡単な構成を追加することにより、特殊再生モードによる再生を実現するものである。
第１図において、入力データバッファ１１が圧縮画像データ１０１を入力する画像入力手段１を構成している。また、可変長復号部１２、逆量子化部１３、逆直交変換部１４及びスイッチャ１７が、特殊再生モードの指定を受け、画像入力手段１により入力された圧縮画像データ１０１の中から単独で復号可能なイントラ符号化データを含むブロックを復号する画像復号手段２を構成している。さらに、画像バッファ１８が画像復号手段２により復号されたブロックの復号画像データ１０６を蓄積する画像蓄積手段３を構成している。さらに、スイッチャ１７及び画像バッファ１８に入力される再生モード指定１１１と画像バッファ１８に入力される再生速度指定１１２が、画像復号手段２及び画像蓄積手段３に特殊再生モードを指定し、ブロックの復号画像データ１０６を重畳して画像蓄積手段３に蓄積させ、蓄積されているブロックの復号画像データ１０６を指定した再生速度で出力させる画像復号再生制御手段４を構成している。
次に動作について説明する。
所定の圧縮符号化の方式に従った圧縮画像データ１０１は入力データバッファ１１に蓄積される。一般的に、圧縮画像データ１０１には、複数の符号化モードのデータが含まれる。複数の符号化モードとは、画面内で符号化処理が閉じているイントラ符号化や、時間的に異なる画像からの予測を使用する、例えばＭＰＥＧであれば、片方向予測、両方向予測を持つインター符号化（ノンイントラ符号化）等である。インター符号化には予測の種類によりさらに種々のバリエーションが存在する。ただし、フレーム単位で符号化モードを制限することも可能であり、１フレーム全てをイントラ符号化で符号化した圧縮画像データ１０１はイントラフレーム（イントラピクチャ）と呼ばれる。
データバッファ１１に蓄積された圧縮画像データ１０１は、逐次、可変長復号部１２に入力される。可変長復号部１２は圧縮画像データ１０１を可変長復号し、符号化係数データ１０２と量子化パラメータ１０３を逆量子化部１３に出力し、符号化モード１０４をスイッチャ１７に出力し、符号化モード１０４や動きベクトルを含む符号化パラメータ１０５を動き補償部１６に出力する。
逆量子化部１３は量子化パラメータ１０３に基づき符号化係数データ１０２を逆量子化し、逆直交変換部１４は逆量子化部１３の出力を逆直交変換して復号画像データ１０６を出力する。逆直交変換部１４からの復号画像データ１０６は加算器１５とスイッチャ１７に出力される。
スイッチャ１７の入力端子としては、逆直交変換部１４の出力と接続されている入力端子ａ、開放されている入力端子ｂ、加算器１５の出力と接続されている入力端子ｃが備えられている。
第２図はスイッチャ１７及び画像バッファ１８の制御を説明する図である。スイッチャ１７は可変長復号部１２からの符号化モード１０４及び外部からの再生モード指定１１１により制御される。すなわち、スイッチャ１７は、符号化モード１０４が単独で復号可能なイントラ符号化の場合には、再生モード指定１１１が特殊再生モードであっても、通常再生モードであっても入力端子ａを選択し、符号化モード１０４が単独で復号できないノンイントラ符号化の場合には、再生モード指定１１１が特殊再生モードのときに入力端子ｂを選択し、再生モード指定１１１が通常再生モードのときに入力端子ｃを選択する。また、画像バッファ１８は、再生モード指定１１１が特殊再生モードのときに、蓄積している復号画像データ１０６をフレーム単位に更新しないように制御されると共に、蓄積している復号画像データ１０６を外部には出力するが、動き補償部１６には出力しないよう制御される。さらに、画像バッファ１８は、再生モード指定１１１が通常再生モードのときに、蓄積している復号画像データ１０６をフレーム単位に更新するように制御されると共に、蓄積している復号画像データ１０６を外部及び動き補償部１６に出力するよう制御される。
まず、再生モード指定１１１が通常再生モードのときの動作について説明する。符号化モード１０４がイントラ符号化の場合には、スイッチャ１７が入力端子ａを選択することにより、逆直交変換部１４からの復号画像データ１０６はそのまま画像バッファ１８に蓄積され、蓄積されている復号画像データ１０６は再生速度指定１１２により指定された所定の速度で出力されると共にフレーム単位に更新される。
一方、符号化モード１０４がノンイントラ符号化の場合には、スイッチャ１７が入力端子ｃを選択することにより、加算器１５からの復号画像データ１０６、すなわち、逆直交変換部１４からの復号データ画像１０６と、動き補償部１６からの符号化パラメータ１０５と画像バッファ１８に蓄積されている復号画像データ１０６により生成された予測画像データとを加算した復号画像データ１０６が画像バッファ１８に蓄積され、蓄積されている復号画像データ１０６は再生速度指定１１２により指定された所定の速度で出力されると共にフレーム単位に更新される。
次に、再生モード指定１１１が特殊再生モードのときの動作について説明する。符号化モード１０４がイントラ符号化の場合には、スイッチャ１７が入力端子ａを選択することにより、逆直交変換部１４からの復号画像データ１０６はそのまま画像バッファ１８に蓄積され、蓄積されている復号画像データ１０６はフレー厶単位に更新されず、再生速度指定１１２により指定された高速の速度で出力される。
一方、符号化モード１０４がノンイントラ符号化の場合には、スイッチャ１７が入力端子ｂを選択することにより、逆直交変換部１４からの復号画像データ１０６は画像バッファ１８に蓄積されず、この符号化データ復号再生装置からは出力されない。
第３図は特殊再生モードにおいて複数の符号化モードが含まれる圧縮画像データ１０１を入力したときの動作を説明する図である。第３図において左から右に時間が進み、第３図の上段は入力される圧縮画像データ１０１に含まれるイントラ符号化データのマクロブロック（斜線部）の分布を示し、中段は画像バッファ１８に蓄積されるイントラ符号化データのマクロブロックの復号画像データ１０６の状況を示し、下段は再生速度指定１１２の制御により外部に出力される復号画像データ１０６の状況を示している。
フレームＩｎ０にはイントラ符号化データのマクロブロックが三つ含まれている。符号化モード１０４がイントラ符号化で、再生モード指定１１１が特殊再生モードであるので、スイッチャ１７は入力端子ａを選択し、イントラ符号化データのマクロブロックを復号した復号画像データ１０６は画像バッファ１８に書き込まれる。イントラ符号化以外のノンイントラ符号化データのマクロブロックはスイッチャ１７に入力されず、復号画像データ１０６は画像バッファ１８には書き込まれない。画像バッファ１８に書き込まれている復号画像データ１０６の更新は行われないので、次々に入力されるフレームＩｎ１，Ｉｎ２，・・・，Ｉｎ５のイントラ符号化データのマクロブロックを復号した復号画像データ１０６は画像バッファ１８に重畳して蓄積される。イントラ符号化データのマクロブロックの配置に規則性は無いが、一般的に１秒に１回はイントラ符号化のマクロブロックになることが多い。なお、ＭＰＥＧの規定上は、１３２回に１回は必ずイントラ符号化データのマクロブロックが入ることが明記されている。ある程度の時間が経過すると、第３図に示したように、徐々に画面全体をイントラ符号化データのマクロブロックの出力で埋め尽くしていくことになる。
そして、再生速度指定１１２により、画像バッファ１８に蓄積されている復号画像データ１０６の出力タイミングが決定される。画像バッファ１８内の復号画像データ１０６は、第３図に示すように、蓄積状況ｆ０，ｆ１，ｆ２，・・・のように変化していくが、この復号画像データ１０６を逐一出力する必要はない。また、高速再生という観点から逐一出力する意味もない。したがって、再生速度指定１１２により、例えば何倍速という再生速度指定を外部から与えて、その値により出力タイミングを決定する。第３図では、例えば２倍速の場合に、蓄積状況ｆ０，ｆ２，ｆ４の出力タイミングで復号画像データ１０６を出力し、３倍速の場合には、蓄積状況ｆ０，ｆ３，ｆ６，・・・の出力タイミングで復号画像データ１０６を出力する。
この実施の形態１では、イントラ符号化データを含むブロックを符号化の最小単位であるマクロブロックであるとしているが、イントラマクロブロックを複数集めてヘッダを付与した再同期の最小単位であるスライス、又は１フレーム全体がイントラマクロブロックからなり画像の単位であるピクチャのいずれにおいても、同様に高速再生が実現可能である。
以上のように、この実施の形態１によれば、特殊再生処理を行うためにオリジナルの圧縮画像データ１０１をそのまま使用することで、別に変換後の圧縮画像データを持つ必要性がなく、入力される圧縮画像データ１０１を復号する過程で特殊再生処理を同時に行うことにより、簡単な構成で特殊再生機能を実現することができるという効果が得られる。
実施の形態２．
この発明の実施の形態２による符号化データ復号再生装置の構成を示すブロック図は、実施の形態１の第１図と基本的に同じであるが、この実施の形態２では、例えば、圧縮画像データ１０１がＨＤＤ、メモリ等のランダムアクセスが可能な蓄積媒体上で蓄積されており、特殊再生モードのときに、蓄積媒体上で蓄積されている圧縮画像データ１０１が、時刻を遡る順序で、すなわち、送信された符号化ストリームの時間方向とは逆方向に読み出されてこの符号化データ復号再生装置に入力されるものとする。
この実施の形態２では、第１図の入力データバッファ１１が、ランダムアクセスが可能な圧縮画像データ１０１を、送信された符号化ストリームの時間方向とは逆方向に入力する画像入力手段１を構成している。
次に動作について説明する。
第４図は特殊再生モードにおいて複数の符号化モードが含まれる圧縮画像データ１０１を入力したときの動作を説明する図である。第４図の右から左の方向にフレームＩｎ５，Ｉｎ４，・・・，Ｉｎ０の順序で圧縮画像データ１０１が入力され、圧縮画像データ１０１に含まれるイントラ符号化のマクロブロック（斜線部）が次々に画像バッファ１８に書き込まれる。
再生モード指定１１１を特殊再生モードとし、再生速度指定１１２を２倍速や３倍速の高速の再生速度指定をすることにより、第４図に示すように、蓄積状況ｆ０，ｆ１，・・・ｆ５の方向、すなわち、逆方向に高速再生を行う。このように、ＶＴＲの巻き戻しと同様の逆再生が可能となる。
以上のように、この実施の形態２によれば、特殊再生処理を行うためにオリジナルの圧縮画像データ１０１をそのまま使用することで、別に変換後の圧縮画像データを持つ必要性がなく、ランダムアクセスが可能な圧縮画像データ１０１を、送信された符号化ストリームの時間方向とは逆方向に入力することにより簡単な構成で特殊再生機能を実現することができるという効果が得られる。
実施の形態３．
第５図はこの発明の実施の形態３による符号化データ復号再生装置の構成を示すブロック図である。この符号化データ復号再生装置は、実施の形態１の第１図に示す構成に、誤り検出部２１を追加した構成となっている。
次に動作について説明する。
ＭＰＥＧ等予測符号化が含まれる圧縮画像データ１０１に誤りが混入すると、復号時に種々のエラーが発生する。特に予測画像データを生成する際に使用する動くベクトルに誤りが混入すると、本来必要であるエリアからの予測が不可能になるため、ドリフトと呼ばれるエラーが発生する。このようなエラーが発生したまま復号動作を継続すると、絵が溶けたような画像を出力し、人間の視覚上の品質は大幅に劣化する。この実施の形態３はこの視覚上の品質劣化を解消するものである。
誤り検出部２１は入力される圧縮画像データ１０１の誤りの発生を検出し、誤りの発生が多い場合には、特殊再生モードの再生モード指定１１１を第１図のスイッチャ１７及び画像バッファ１８に出力する。スイッチャ１７は実施の形態１と同様に、イントラ符号化データのマクロブロックの復号画像データ１０６を画像バッファ１８に蓄積し、画像バッファ１８に蓄積されているイントラ符号化データのマクロブロックの復号画像データ１０６は、特殊再生モードの再生モード指定１１１及び再生速度指定１１２により実施の形態１と同様に出力される。このようにして、視覚的に劣化の少ない復号画像データ１０６を出力することができる。
以上のように、この実施の形態３によれば、特殊再生処理を行うためにオリジナルの圧縮画像データ１０１をそのまま使用することで、別に変換後の圧縮画像データを持つ必要性がなく、入力される圧縮画像データ１０１を復号する過程で圧縮画像データ１０１の誤りの発生が多い場合に特殊再生処理を同時に行うことにより、簡単な構成で特殊再生機能を実現することができ、視覚的に劣化の少ない復号画像データ１０６を出力することができるという効果が得られる。
実施の形態４．
第６図はこの発明の実施の形態４による符号化データ復号再生装置の構成を示すブロック図である。この符号化データ復号再生装置は、実施の形態１の第１図に示す構成に、誤り検出部２１、画像品質判定部２２及びモード判定部２３を追加した構成となっている。
次に動作について説明する。
誤り検出部２１は入力される圧縮画像データ１０１の誤りの発生を検出してモード判定部２３に通知する。画像品質判定部２２は画像バッファ１８から出力される復号画像データ１０６に含まれる周波数成分等を調べることにより、復号画像データ１０６の品質を調べて品質結果をモード判定部２３に通知する。
モード判定部２３は、誤り検出部２１からの通知により圧縮画像データ１０１の誤りの発生がある場合でも、画像品質判定部２２からの通知により復号画像データ１０６の品質に問題がない場合には、通常再生モードの再生モード指定１１１をスイッチャ１７及び画像バッファ１８に出力する。スイッチャ１７及び画像バッファ１８は実施の形態１と同様にして通常再生モードによる再生動作を行う。
一方、モード判定部２３は、誤り検出部２１からの通知により圧縮画像データ１０１の誤りの発生があり、画像品質判定部２２からの通知により復号画像データ１０６の品質に問題がある場合には、特殊再生モードの再生モード指定１１１をスイッチャ１７及び画像バッファ１８に出力する。スイッチャ１７は実施の形態１と同様にイントラ符号化データのマクロブロックの復号画像データ１０６を画像バッファ１８に蓄積し、画像バッファ１８に蓄積されているイントラ符号化データのマクロブロックの復号画像データ１０６は、特殊再生モードの再生モード指定１１１及び再生速度指定１１２により実施の形態１と同様に出力される。このようにして、視覚的に劣化の少ない復号画像データ１０６を出力することができる。
以上のように、この実施の形態４によれば、特殊再生処理を行うためにオリジナルの圧縮画像データ１０１をそのまま使用することで、別に変換後の圧縮画像データを持つ必要性がなく、入力される圧縮画像データ１０１を復号する過程で復号画像データ１０６の品質に応じて特殊再生処理を同時に行うことにより、簡単な構成で特殊再生機能を実現することができ、視覚的に劣化の少ない復号画像データ１０６を出力することができるという効果が得られる。

以上のように、この発明に係る符号化データ復号再生装置は、オリジナルの圧縮画像データと別に変換後の圧縮画像データを持つ必要性がなく、簡単な構成で特殊再生機能を実現するのに適している。

Claims (5)

1. 圧縮画像データを入力する画像入力手段と、
   高速で再生する特殊再生モードの指定を受け、上記画像入力手段により入力された圧縮画像データの中から単独で復号可能なイントラ符号化データを含むブロックを復号する画像復号手段と、
   上記画像復号手段により復号された上記ブロックの復号画像データを蓄積する画像蓄積手段と、
   上記画像復号手段及び上記画像蓄積手段に特殊再生モードを指定し、上記ブロックの復号画像データを重畳して上記画像蓄積手段に蓄積させ、蓄積されている上記ブロックの復号画像データを指定した再生速度で出力させる画像復号再生制御手段とを備えた符号化データ復号再生装置。
2. 画像復号手段が選択して復号する単独で復号可能なイントラ符号化データを含むブロックは、符号化の最小単位であるマクロブロック、再同期の最小単位であるスライス又は画像の単位であるピクチャのいずれかであることを特徴とする請求の範囲第１項記載の符号化データ復号再生装置。
3. 画像入力手段は、ランダムアクセスが可能な圧縮画像データを、送信された符号化ストリームの時間方向とは逆方向に入力することを特徴とする請求の範囲第１項記載の符号化データ復号再生装置。
4. 画像入力手段により入力された圧縮画像データの誤りの発生を検出し、誤りの発生が多い場合に、画像復号再生制御手段に特殊再生モードを指定させる誤り検出部を備えたことを特徴とする請求の範囲第１項記載の符号化データ復号再生装置。
5. 画像入力手段により入力された圧縮画像データの誤りの発生を検出する誤り検出部と、
   画像蓄積手段から出力される復号画像データの品質を判定する画像品質判定部と、
   上記誤り検出部が圧縮画像データの誤りの発生を検出し、上記画像品質判定部が上記画像蓄積手段から出力される復号画像データの品質に問題があると判定した場合に、画像復号再生制御手段に特殊再生モードを指定させるモード判定部とを備えたことを特徴とする請求の範囲第１項記載の符号化データ復号再生装置。

Images