JPWO2007032058A1 - 復号装置 - Google Patents

Abstract

誤った符号化データが復号装置に入力されてもその映像フレームを含む１映像フレーム時間内に復号装置を復旧し、次映像フレームの復号処理を可能とする。符号化データ１１を受信して１映像フレーム分の符号化データ１２を出力すると共に、復号完了信号１４の受信に基づいて次の１フレームの符号化データを出力し、かつ前記復号完了信号１４が予め定められた時間内に受信されない場合にエラー信号１５を送信する受信部１と、受信部１からの符号化データ１２を復号すると共に、復号完了時に受信部１に復号完了信号１４を送信し、かつリセット信号１６の受信に基づいて復号処理を中断する画像デコーダ２と、エラー信号１５の受信に基づいてリセット信号１６を画像デコーダ２に出力するエラー回復部３とを備える。

Description

この発明は、符号化された画像データを復号して表示するための復号装置に関する。

近年のＭＰＥＧやＪＰＥＧに代表されるデジタル画像圧縮（符号化）技術の急速な進歩により、高品質な映像を少ない情報量で効率良くリアルタイムに送受信できるようになってきた。また、伝送においてもデジタル変復調技術の発展により、衛星や光ファイバを使った高速なデジタル通信が可能なほか、蓄積メディアにおいても大容量のハードディスクやＤＶＤなどが開発されデジタル画像を伝送または保存する環境が整ってきている。

一方、高効率に圧縮された符号化データ（ビットストリーム、ビット列）は誤りに弱いため、誤り訂正技術を用いて伝送路誤りや蓄積媒体からの読み出し誤りに対する保護を行っているが、誤り率を完全にゼロにすることはできずデータに誤りが残存する。誤りが発生した符号化データを元の画像に復号する際、例え１ビットの誤りでも復号画像に対する影響が大きいことがある。このため、エラーに対する復号画像の影響を軽減する目的でエラーを目立たなくするエラーコンシールメントの技術が知られており、エラー発生箇所の正常な画像での差し替えや、灰色画像で置き換えるなどの方法が提案されている（例えば、特許文献１参照）。

特表２００４−５２８７５２号公報（第１４〜１７頁、図３）

従来の画像復号装置では、誤りがある画像データが復号器に入力されると、可変長復号処理でのルックアップテーブルのマッピングや動きベクトル復号、逆量子化処理、逆ＤＣＴ（離散コサイン変換）処理などの一連の処理過程において、誤った値に復号されるほか、場合によっては無限処理ループ処理に入ることがある。この結果、誤った画像が復号されるほか、復号処理がいつまでたっても終了しないという問題が発生する。

この発明は、上記のような問題点を解決するためになされたもので、誤った符号化データが復号装置に入力されてもその映像フレームを含む１映像フレーム時間内に復号装置を復旧し、次映像フレームの復号処理が可能となるようにすることで符号化データの誤りの影響を最小限に留める復号装置を実現する。

上記目的を達成するため、この発明に係る復号装置は、符号化データを受信して１映像フレーム分の符号化データを出力すると共に、復号完了信号の受信に基づいて次の１フレームの符号化データを出力し、かつ前記復号完了信号が予め定められた時間内に受信されない場合にエラー信号を送信する受信手段と、前記受信手段からの符号化データを復号すると共に、復号完了時に前記受信手段に復号完了信号を送信し、かつリセット信号の受信に基づいて復号処理を中断する復号手段と、前記エラー信号の受信に基づいて前記リセット信号を前記復号手段に出力するエラー回復手段とを備えたものである。

この発明に係る復号装置によれば、画像デコーダの復号動作を１映像フレーム内に復旧させるエラー回復手段を設けることにより、符号化データに誤りがあったとしても影響を受ける映像フレーム数を最小限に留めて早く正常な復号動作が継続できるという効果がある。

この発明の実施の形態１に係る復号装置を示す構成図である。 図１の画像デコーダ２の入出力信号を説明する図である。 図１の画像デコーダ２の入出力信号を説明するもので、符号化データにエラーがあった場合の説明図である。 図１の受信部１の内部構成の一例を示したブロック図である。 図１の画像デコーダ２の内部構成の一例を示したブロック図である。

実施の形態１．
図１は、この発明の実施の形態１に係る復号装置の構成を示すブロック図である。図１に示す復号装置は、ネットワークや蓄積媒体からの符号化データ１１を受け取る受信部１と、受信部１からの符号化データ１２を復号する復号手段としての画像デコーダ２と、画像デコーダ２に対して再動作を促すエラー回復部３と、画像デコーダ２により復号された画像をディスプレイやプロジェクタなどに表示する表示部４とを備えている。

次に動作について説明する。
ネットワークやハードディスクなどの蓄積媒体からの符号化データ１１が受信部１に入力され、受信部１の内部でメモリなどに一旦バッファリングされる。受信部１からの１映像フレーム分の符号化データ１２が読み出されて画像デコーダ２に入力され、画像デコーダ２により復号された復号画像フレーム１３が表示部４で表示される。符号化データがＪＰＥＧ（モーションＪＰＥＧ）やＭＰＥＧイントラフレームなどのフレーム内符号化されたデータの場合、１映像フレーム分の符号化データのみで１映像フレームを復号することができる。

画像デコーダ２では、受信部１から受信した１映像フレーム分の符号化データ１２の復号を完了した際に、復号完了信号１４を受信部１に送信する。受信部１では、復号完了信号１４を受信した後、次の１フレームの符号化データ１２を画像デコーダ２に出力する。受信部１において、復号完了信号１４が予め定められた時間内に受信できない時にはエラー信号１５をエラー回復部３へ送信する。エラー回復部３では、エラー信号１５に対応して画像デコーダ２に対してデコーダリセット信号１６を出力する。画像デコーダ２では、デコーダリセット信号１６の入力により、符号化データ１２の復号処理動作を中断し、次の符号化データ１２の入力に備える。

図２は、画像デコーダ２の入出力信号である符号化データ１２、復号完了信号１４、復号画像フレーム１３の時間的な経過を示したもので、横軸に時間軸をとり１映像フレーム時間単位に区切ったものである。図２において、画像デコーダ２への符号化データ１２として、第Ｎフレーム目の１映像フレーム分の符号化データが入力されると、画像デコーダ２で復号開始が行われ、復号完了信号１４の信号はオフになる。このとき、画像デコーダ２からは１映像フレーム前の第Ｎ−１フレームの映像が復号画像フレーム１３としてその１映像フレーム時間の間、出力されている。なお、１映像フレーム時間は１秒あたりの映像フレーム数の逆数であり、例えば毎秒２４映像フレームの場合、１映像フレーム時間は約４１．６７ミリ秒となる。

画像デコーダ２において、第Ｎフレームが復号完了すると、復号完了信号１４がオンになり、次の第Ｎ＋１フレームの符号化データが入力されて復号が開始されるまでの間、オンの状態を維持する。受信部１では、復号完了信号１４がオンになることで画像デコーダ２が正常に第Ｎフレームの符号化データ１２を復号したことを認識し、次の映像フレーム時間になると、第Ｎ＋１フレームの符号化データ１２を画像デコーダ２に出力する。画像デコーダ２は、符号化データ１２に誤りがなく、正常に復号が完了した場合は、この動作を映像フレーム時間の周期で繰り返す。

また、図３は、同じく画像デコーダ２の入出力信号の時間的な経過を示したものであるが、符号化データ１２にエラーや異常などがあり、正常に復号処理が完了せず、復号完了信号１４が出力されない場合の例である。図３において、第Ｎ＋１フレームの符号化データ１２にエラーが含まれており、正常に復号できない場合、第Ｎ＋１フレームの符号化データの入力が完了しても復号完了を示す復号完了信号１４がオンにならない。受信部１では、予め定められた復号完了範囲の時間内に復号完了信号１４がオンにならないと、前述の通り、エラー信号１５をエラー回復部３に出力する。エラー回復部３では、エラー信号１５が入力されると、図３に示すようなデコーダリセット信号１６を画像デコーダ２に出力し、画像デコーダ２のエラー状態からの復旧を行う。

画像デコーダ２では、デコーダリセット信号１６の入力によって復号回路や処理の強制終了を行い、次の第Ｎ＋２フレームの符号化データ１２の復号に備えると共に、復号できなかった第Ｎ＋１フレームの復号画像フレームに代えて直前に正常に復号された第Ｎフレームの画像フレーム１３を次の映像フレーム時間の間、出力する。これにより、復号が完了しなかった場合、１映像フレーム時間内に画像デコーダ２にリセットするので、エラーの影響を受ける画像フレームを最小限に留めることができる。

特に、デジタルシネマの上演システムでは、リアルタイム伝送、あるいは蓄積されたメディアから読み出した符号化データを復号して映画プロジェクタにより大画面スクリーンに表示するため、符号化データに誤りがあった場合においても早急に復旧して画質への影響を最小限かつ最短時間に留める必要があり効果がある。

なお、上記においては、画像を復号する画像デコーダを例に説明したが、オーディオデコーダや字幕などのテキストデータなどのデコーダなどに対してオーディオフレーム時間やテキストフレーム時間内のデコード完了チェック、及び不具合時のデコーダリセット処理を行うことでエラーからの復帰時間を最小限に短縮できる同様の効果が得られる。

したがって、実施の形態１によれば、画像デコーダ２の復号完了信号を映像フレーム毎に監視し、１映像フレーム時間内の予め定められた時間内に復号が完了しない場合には画像デコーダ２の動作を復旧させるためのリセット信号を発するエラー回復手部３を備えることにより、復号データに誤りがあった場合においても１映像フレーム時間内に画像デコーダ２が復旧し、次映像フレームの復号処理が行えるようになり、画像デコーダ２のエラー状態からの復帰時間を短縮できるという効果がある。

また、画像デコーダ２は、エラー回復部３からデコーダリセット信号１６が入力された場合に符号化データの復号を中断して、直前に正常に復号された画面を復号画像として出力するようにしたので、エラーがあった際にはエラー画面に替えて正常に復号された画面を表示することができ、誤りの発生を隠蔽できる効果がある。

実施の形態２．
上述した実施の形態１に係る受信部１において、符号化データ１１の誤りあるいはデータ欠損の発生や検出をした場合には、その映像フレームの符号化データ１２を画像デコーダ２に出力せずに、エラー信号１５を発生させることもできる。

図４は、受信部１の内部構成の一例を示したブロック図である。
図４に示す受信部１は、入力される符号化データ１１のデータの欠損や誤りの検出を行うデータ検査部２１と、データ検査部２１を介して入力される誤りがない符号化データの入力に基づいて１映像フレーム分の符号化データ１２を出力する符号化データ送出部２２と、符号化データ１１に誤りが検出された場合のデータ検査部２１からの検出信号および映像フレーム時間内の予め定められた時間までに復号完了しない場合の復号完了検知部２４からの信号に基づいてエラー信号１５を発生するエラー信号発生部２３と、画像デコーダ２からの復号完了信号１４を入力しつつ映像フレーム時間内の予め定められた時間までに復号が完了しない場合にエラー信号発生部２３に信号を発すると共に、符号化データ送出部２２に信号を出力して画像デコーダ２への出力を中断させる復号完了検知部２４とを有する。

次に動作について説明する。
ネットワークから伝送または蓄積媒体から読み出された符号化データ１１は、データ検査部２１において、データの欠損や誤りの検出が行われる。
検出の方法としては、パケットに格納された符号化データ１１のヘッダ部に付与されたシーケンス番号の連続性を検査し、パケット単位の欠落がないかを調べたり、ＣＲＣ（Cyclic Redundancy Check：巡回冗長検査符号）によるパリティチェックによるビット誤りを検出するなどがある。

データ検査部２１において、符号化データに誤りがない場合は、符号化データは符号化データ送出部２２に送られ、ここから１映像フレーム分の符号化データ１２が画像デコーダ２へ送られる。一方、符号化データ１１に誤りが検出された場合には、エラー信号発生部２３に検出信号が送られ、エラー信号発生部２３からエラー信号１５がエラー回復部３へ送られる。また、画像デコーダ２からの復号完了信号１４は復号完了検知部２４に入力され、映像フレーム時間内の予め定められた時間までに復号が完了しない場合には、エラー信号発生部２３に信号を発し、エラー信号１５がエラー回復部３に送られる。

これにより、受信部１の内部で符号化データのエラーや欠損を検知することで、画像デコーダ２に誤りの含まれた符号化データの送出を防ぎ、画像デコーダエラーを発生させることなく復号処理の回復を行うことができる。

また、符号化データ１１が暗号化されている場合には、データ検査部２１の後段に暗号解読部がおかれ、暗号解読の過程において解読エラーが発生した場合にはエラー信号発生部２３にエラーを知らせる信号が発せられ、エラー信号１５がエラー回復部３に送られる。これにより、符号化データ１１が暗号化されている場合にも、同様の効果を得ることができる。

したがって、実施の形態２によれば、受信部１は、入力される符号化データ１１の誤りあるいはデータ欠損の発生を検知してエラー信号１５をエラー回復部３に出力すると共に、画像デコーダ２への符号化データ１２の出力を中断させるようにしたので、画像デコーダ２でのエラー発生よりも早期にエラーからの回復を行うことができるという効果がある。

実施の形態３．
上述した実施の形態１に係る画像デコーダ２において、画像の復号が１ビットの誤りもなく正常に完了したかどうかを真正性証明の電子透かしを用いて判定することが考えられる。

図５は、画像デコーダ２の内部構成の一例を示したブロック図である。
図５に示す画像デコーダ２は、１映像フレーム分の符号化データ１２を入力して復号処理し、復号された復号画像データを出力するデコーダ部３１と、復号画像データを記憶するフレームメモリ３２と、復号画像データから真正性証明の電子透かしを抽出し、復号画像データが改竄されていないかを検査する電子透かし抽出部３３と、プロジェクタなどの表示装置４への伝送過程で不正利用が行われた場合の追跡を行うために、復号画像データ１３に著作権情報（著作権者、上映日時、上映場所など）を電子透かしとして挿入する電子透かし挿入部３４とを有する。

次に動作について説明する。
１映像フレーム分の符号化データ１２がデコーダ部３１に入力され、デコーダ部３１により、可変長復号、逆量子化、逆ＤＣＴ、復号画像生成の一連の復号処理が行われる。復号された復号画像データはフレームメモリ３２に送られると共に、電子透かし抽出部３３に入力される。

電子透かし抽出部３３では、復号画像データから真正性証明の電子透かしが抽出され、復号画像が改竄されていないかを検査する。ここで、符号化は、真正性証明の電子透かしが埋め込まれた原画像データを完全に復号できる可逆符号化とする。原画像データと１ビットも異ならず同一の復号画像データが復号された場合のみ真正性証明の透かしが抽出できるようにすることで、１ビットの差異もなく正常に復号できたかどうかの判定ができる。電子透かし抽出部３３は、正常に復号できたと判定された場合に、復号完了信号１４を受信部１へ送信する。

一方、画像デコーダ２と表示部４との間で復号された画像データが不正に流出しないように、暗号化されて伝送されるが、万が一、流出した場合の流出経路や日時を追跡できるように、復号画像データ１３に著作権情報（著作権者、上映日時、上映場所など）を電子透かしとして電子透かし挿入部３４にて挿入する。

なお、本実施の形態３では、復号された画像データの中から電子透かしを抽出する方法について説明したが、符号化の過程において非可逆符号化が行われた場合には元の画像データが復元されないため、真正性証明の電子透かしを抽出することはできないが、画像データの符号化ドメインに電子透かしの埋め込み（例えばＤＣＴ係数への透かしデータの埋め込み）を利用することによって同様の効果を得ることができる。

したがって、実施の形態３によれば、画像デコーダ２に、復号された画像に埋め込まれた電子透かしの抽出に基づいて復号完了信号を受信部１に出力する電子透かし抽出部３３を備え、真正性証明の電子透かしを復号画像から抽出するようにしたので、正しく透かし情報が抽出できることによって復号の正常完了を証明することが可能になる。

以上、この発明を要約すると、次に通りである。
この発明に係る復号装置は、画像デコーダの復号完了信号を映像フレーム毎に監視し、１映像フレーム時間内の予め定められた時間内に復号が完了しない場合には画像デコーダの動作を復旧させるためのリセット信号を発するエラー回復手段を備えることを特徴とする。これにより、復号データに誤りがあった場合においても１映像フレーム時間内に画像デコーダが復旧し、次映像フレームの復号処理が行えるようになる。

また、この発明の別の実施の形態に係る復号装置では、エラー回復手段からのリセット信号により画像デコーダからは直前に正常に復号された画像を復号画像として出力する処理を行うことにより、復号エラーのある映像フレームを出力しないようにすることができる。

また、この発明の別の実施の形態に係る復号装置では、画像デコーダの前段の符号化データを受信する受信手段において符号化データのエラーや欠損を検知することにより、画像デコーダに誤りのある符号化データを渡さないようにすることができる。

また、この発明の別の実施の形態に係る復号装置では、画像デコーダで映像フレームが正常に復号できたか否かを記録または外部に出力することにより、復号処理動作を後から確認できるようにすることができる。

また、この発明の別の実施の形態に係る復号装置では、埋め込まれた電子透かしを抽出することにより、正常に復号できたか否かを判断することができる。

Claims (7)

1. 符号化データを受信して１映像フレーム分の符号化データを出力すると共に、復号完了信号の受信に基づいて次の１フレームの符号化データを出力し、かつ前記復号完了信号が予め定められた時間内に受信されない場合にエラー信号を送信する受信手段と、
   前記受信手段からの符号化データを復号すると共に、復号完了時に前記受信手段に復号完了信号を送信し、かつリセット信号の受信に基づいて復号処理を中断する復号手段と、
   前記エラー信号の受信に基づいて前記リセット信号を前記復号手段に出力するエラー回復手段と
   を備えたことを特徴とする復号装置。
2. 請求項１に記載の復号装置において、
   前記復号手段は、前記エラー回復手段からリセット信号が入力された場合に符号化データの復号を中断し、直前に正常に復号された画面を復号画像として出力する
   ことを特徴とする復号装置。
3. 請求項１に記載の復号装置において、
   前記受信手段は、入力される符号化データの誤りあるいはデータ欠損の発生を検知してエラー信号を前記エラー回復手段に出力すると共に、前記復号手段への符号化データの出力を中断させる
   ことを特徴とする復号装置。
4. 請求項３に記載の復号装置において、
   前記受信手段は、
   入力される符号化データの誤りあるいはデータ欠損の検出を行うデータ検査部と、
   前記データ検査部を介して入力される符号化データの入力に基づいて１映像フレーム分の符号化データを出力する符号化データ送出部と、
   前記データ検査部に入力される符号化データに誤りあるいはデータ欠損が検出された場合の検出信号および映像フレーム時間内の予め定められた時間までに復号完了しない場合の復号完了検知部からの信号に基づいてエラー信号を発生するエラー信号発生部と、
   前記復号手段からの復号完了信号を入力しつつ映像フレーム時間内の予め定められた時間までに復号が完了しない場合に、前記エラー信号発生部に信号を発すると共に、前記符号化データ送出部に信号を出力して前記復号手段への出力を中断させる復号完了検知部と
   を有することを特徴とする復号装置。
5. 請求項１に記載の復号装置において、
   前記復号手段は、復号された画像に埋め込まれた電子透かしの抽出に基づいて前記復号完了信号を前記受信手段に出力する
   ことを特徴とする復号装置。
6. 請求項５に記載の復号装置において、
   前記復号手段は、
   １映像フレーム分の符号化データを入力して復号処理し、復号された復号画像データを出力するデコーダ部と、
   前記デコーダ部からの復号画像データを記憶するフレームメモリと、
   前記デコーダ部からの復号画像データから真正性証明の電子透かしの抽出に基づいて前記復号完了信号を前記受信手段に出力する電子透かし抽出部と
   を有することを特徴とする復号装置。
7. 請求項６に記載の復号装置において、
   前記復号手段は、前記フレームメモリからの復号画像データに著作権情報を電子透かしとして挿入して復号画像フレームとして出力する電子透かし挿入部をさらに有することを特徴とする復号装置。

Images