JP4613412B2

JP4613412B2 - Receiving apparatus and digital data decoding method

Info

Publication number: JP4613412B2
Application number: JP2000328197A
Authority: JP
Inventors: 仁中村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-10-27
Filing date: 2000-10-27
Publication date: 2011-01-19
Anticipated expiration: 2020-10-27
Also published as: JP2002135786A

Description

【０００１】
【発明の属する技術分野】
この発明は、ＭＰＥＧ（Moving Picture Coding Experts Group ）符号化系ストリームの復号機能を有する再生装置及びその制御等により符号化された動画像を復号して再生する受信装置及びディジタルデータ復号方法に関する。
【０００２】
【従来の技術】
最近、わが国においても、ＣＳ（Communication Satellite ）系の衛星を使ったＭＰＥＧ符号化系ディジタル放送サービスが普及しつつある。更に近い将来、ＢＳ（Broadcast Satellite ）系の衛星や地上波・ケーブル波等を用いたＭＰＥＧ符号化系ディジタル放送サービスの開始が計画されている。
【０００３】
一般に、このようなディジタル放送サービスの再生信号は、従来のアナログ信号による地上波放送サービスの再生信号と異なり、降雨等の自然現象に起因する信号品質の劣化を非線型に受ける。例えば、降雨が徐々に激しくなるような天候下において、アナログ信号による地上波放送サービスの受信・再生信号は、降雨の激しさにほぼ比例して徐々に画質が劣化していき、線形的に段々と視聴しづらくなる。
【０００４】
しかし、同じような状況下において、ディジタル信号によるディジタル放送サービスの受信・再生信号は、ある程度までの入力信号劣化にはディジタル処理特有のエラー訂正処理により受信・再生信号エラーを防ぐことができるが、ある劣化を境に非線的にエラー訂正することができなくなり、極端に劣化した再生画像・音声信号を出力することになる。この極端に劣化した再生画象・音声信号は、ユーザーに過度の視聴ストレスを与え、受信再生装置としては好ましくない。
【０００５】
その結果として、ディジタル放送サービス受信再生装置は、入力変調信号がある程度劣化した場合には、再生画像・音声信号出力をオフにする等の処理を行うことにより、極端に劣化した画像・音声信号をユーザーに視聴させない工夫を行っている。また、ＭＰＥＧ符号化系ストリームに対する特有のエラー隠蔽処理を復号時に施すことにより、出力再生画像・音声信号上のエラー（ノイズ）を目立たなくするような工夫も行っている。このエラー隠蔽処理には、幾つか代表的な方法がある。例えば、訂正不可能なストリームエラーを画像・音声の各復号部で検出した場合、直近に正しく復号できた結果を代わりに利用し続ける方法や、正しく復号できるまで再生結果を更新しない方法等がある。
【０００６】
【発明が解決しようとする課題】
しかし、従来のエラー隠蔽処理では、チューナー等のフロントエンド部と各画像・音声復号部との連携が不完全であった為、入力変調信号の段階で検出されるストリームエラーに対して、その生起状況に連動してエラー隠蔽強度を動的に変更させることができなかった。
【０００７】
その為、稀に起こる極端に悪化したストリームエラー用にエラー隠蔽強度を強めて固定設定してしまうと、頻繁に起こる軽微なストリームエラーに対しても強度なエラー隠蔽処理を施すことになり、反ってユーザーに視聴ストレスを溜める結果になる場合があった。例えば、復号エラーが検出された時には一切の復号結果を更新させないような強度の隠蔽処理を施した場合、ユーザーが認知できないような軽微な復号エラーが頻繁に起こったとしても、再生画像・音声が更新されないといった結果になった。これは、ユーザーにとって反って視聴ストレスを与える結果であった。
【０００８】
従って、ユーザーに視聴ストレスを与えない理想のエラー隠蔽処理は、ストリームエラーの生起状況を把握して、その状況に相応しい強度の隠蔽処理を逐次動的に変更しながら施すことであると考える。
【０００９】
従って、この発明の目的は、ユーザーに視聴ストレスを与えないような復号部でのエラー隠蔽処理が行える受信装置及びディジタルデータ復号方法を提供することにある。
【００１０】
【課題を解決するための手段】
第１の発明は、伝送されてきたディジタルビデオデータを受信する受信装置において、
ディジタルビデオデータの受信信号のＳ／Ｎ比を検出する検出手段と、
Ｓ／Ｎ比と閾値（所定の値−変数ｐ）とを、変数ｐを変化させて順に比較し、Ｓ／Ｎ比が閾値以下であるときの変数ｐをエラー隠蔽強度として設定する制御手段と、
制御手段において選択されたエラー隠蔽強度に応じてディジタルビデオデータの復号処理を行う復号手段と
を備え、
復号手段が、
エラー隠蔽強度が第１の範囲にある場合には、ディジタルビデオデータのエラー隠蔽処理として、ディジタルビデオデータの二次元フレーム内でのスライス置換を行い、
エラー隠蔽強度が第１の範囲より大きい第２の範囲にある場合には、ディジタルビデオデータのエラー隠蔽処理として、ディジタルビデオデータのピクチャのマクロブロックのそれぞれに付加された動きベクトルを用いてディジタルビデオデータのピクチャから動き補償を行うことにより、ディジタルビデオデータのピクチャ内でのデータ置換を行い、
エラー隠蔽強度が第２の範囲より大きい第３の範囲にある場合には、ディジタルビデオデータのエラー隠蔽処理として、復号できた直近のディジタルビデオデータのピクチャで画像がフリーズされた静止画を表示し、
エラー隠蔽強度が第３の範囲より大きい第４の範囲にある場合には、ディジタルビデオデータの画像をミュートし、
エラー隠蔽強度が第４の範囲より大きい第５の範囲にある場合には、ディジタルビデオデータのエラー隠蔽処理を行わない受信装置である。
また、第２の発明は、伝送されてきたディジタルオーディオデータを受信する受信装置において、
ディジタルオーディオデータの受信信号のＳ／Ｎ比を検出する検出手段と、
Ｓ／Ｎ比と閾値（所定の値−変数ｐ）とを、変数ｐを変化させて順に比較し、Ｓ／Ｎ比が閾値以下であるときの変数ｐをエラー隠蔽強度として設定する制御手段と、
制御手段において選択されたエラー隠蔽強度に応じてディジタルオーディオデータの復号処理を行う復号手段と
を備え、
復号手段が、
エラー隠蔽強度が第１の範囲にある場合には、ディジタルオーディオデータの線形補間または前置ホールドを行い、
エラー隠蔽強度が第１の範囲より大きい第２の範囲にある場合には、ディジタルオーディオデータのオーディオをミュートし、
エラー隠蔽強度が第２の範囲より大きい第３の範囲にある場合には、ディジタルオーディオデータのエラー隠蔽処理を行わない
受信装置である。
【００１１】
第３の発明は、伝送されてきたディジタルビデオデータを受信するステップと、
ディジタルビデオデータの受信信号のＳ／Ｎ比を検出する検出ステップと、
Ｓ／Ｎ比と閾値（所定の値−変数ｐ）とを、変数ｐを変化させて順に比較し、Ｓ／Ｎ比が閾値以下であるときの変数ｐをエラー隠蔽強度として設定する設定ステップと、
エラー隠蔽強度が第１の範囲にある場合には、ディジタルビデオデータのエラー隠蔽処理として、ディジタルビデオデータの二次元フレーム内でのスライス置換を行い、
エラー隠蔽強度が第１の範囲より大きい第２の範囲にある場合には、ディジタルビデオデータのエラー隠蔽処理として、ディジタルビデオデータのピクチャのマクロブロックのそれぞれに付加された動きベクトルを用いてディジタルビデオデータのピクチャから動き補償を行うことにより、ディジタルビデオデータのピクチャ内でのデータ置換を行い、
エラー隠蔽強度が第２の範囲より大きい第３の範囲にある場合には、ディジタルビデオデータのエラー隠蔽処理として、復号できた直近のディジタルビデオデータのピクチャで画像がフリーズされた静止画を表示し、
エラー隠蔽強度が第３の範囲より大きい第４の範囲にある場合には、ディジタルビデオデータの画像をミュートし、
エラー隠蔽強度が第４の範囲より大きい第５の範囲にある場合には、ディジタルビデオデータのエラー隠蔽処理を行わないようにして復号処理を行うステップと
を有することを特徴とするディジタルデータ復号方法である。
第４の発明は、伝送されてきたディジタルオーディオデータを受信するステップと、
ディジタルオーディオデータの受信信号のＳ／Ｎ比を検出する検出ステップと、
Ｓ／Ｎ比と閾値（所定の値−変数ｐ）とを、変数ｐを変化させて順に比較し、Ｓ／Ｎ比が閾値以下であるときの変数ｐをエラー隠蔽強度として設定する設定ステップと、
エラー隠蔽強度が第１の範囲にある場合には、ディジタルオーディオデータの線形補間または前置ホールドを行い、エラー隠蔽強度が第１の範囲より大きい第２の範囲にある場合には、ディジタルオーディオデータのオーディオをミュートし、エラー隠蔽強度が第２の範囲より大きい第３の範囲にある場合には、ディジタルオーディオデータのエラー隠蔽処理を行わないようにして復号処理を行うステップと
を有することを特徴とするディジタルデータ復号方法である。
【００１２】
この発明では、Ｓ／Ｎ比のような入力信号のエラー状況を反映する値に応じて、エラー隠蔽処理方式が切り換えられる。このため、エラー隠蔽強度を逐次適切な強度に保ことが可能になり、ユーザへの視聴ストレスを抑えつつ、エラーを隠蔽することが可能になる。
【００１３】
【発明の実施の形態】
以下、この発明の実施の形態について図面を参照して説明する。図１は、この発明が適用されたＭＰＥＧ符号化系ストリームのディジタル放送サービスを受信する受信再生装置の一例を示すものである。
【００１４】
図１において、パラボラアンテナやケーブル線等から出力された入力変調（ＲＦ）信号は、入力端子１０から、フロントエンド部１内のチューナー部１１に入力供給され、復調部１２で、例えば、ＱＰＳＫ（Quadrature Phase Shift Keying ) 復調される。復調部１２からの出力は、エラー検出・訂正部１３に供給される。エラー検出・訂正部１３は、エラーを検出すると同時に、可能な限り訂正処理を行う。
【００１５】
このとき、フロントエンド部１内で検出された入力変調信号のＳ／Ｎ比情報は、例えば、エラー検出・訂正部１３から、システムバス３を介して、制御マイコン部１４に送られる。
【００１６】
制御マイコン部１４、ＲＯＭ部１５及びＲＡＭ部１６等には、暗号を解読するのに必要なキーが解読プログラムと共に格納してある。送信されてきたディジタル信号が暗号化されている場合は、この暗号を解読するキーと解読処理が必要となる。そこで、制御マイコン部１４、ＲＯＭ部１５、ＲＡＭ部１６等から解読するキーを読み出し、このキーをデマルチプレクサ部１７に供給する。
【００１７】
デマルチプレクサ部１７では、このキーを利用して、暗号化されたディジタル信号を解読する。尚、この解読の為に必要なキーと共に、解読プログラム及び課金情報等もメモリ内に一緒に格納する。
【００１８】
デマルチプレクサ部１７は、エラー検出・訂正部１３からの出力信号を受け、これをデータバッファメモリ用のＲＡＭ部１６の適切なメモリ領域、あるいはデマルチプレクサ部１７内部のメモリ領域に一旦格納する。そして、適宜、これを読み出し、解読した画像信号を画像復号部１８に、音声信号を音声復号部１９に供給する。この時、多重化されている符号化データから、システムクロックを再形成するのに必要な情報をクロック発生部２０で抽出し、画像復号部１８及び音声復号部１９の処理に用いる。
【００１９】
デマルチプレクサ部１７の処理は、ＩＳＯ( International Organization for Standardization ) /ＩＥＣ ( International Electrotechnical Commission ) 13818-1(Geneva 1995) の規格書に詳細に渡って規定されている。
【００２０】
画像復号部１８は、入力された符号化データを、ＲＡＭ部１６に適宜格納し、ＭＰＥＧ方式により圧縮符号化されている画像信号の復号処理を実行する。復号化された画像信号は、表示画像構成部２１に供給され、ここで、例えば、ＮＴＳＣ方式の輝度信号（Ｙ）、クロマ信号（Ｃ）及びコンポジット信号（ＣＶ）に変換される。そして、この信号は、Ｄ／Ａコンバータ部２２でアナログ変換され、出力される。出力端子２３からは、例えばＳビデオ信号形式で、ビデオ信号が出力される。
【００２１】
画像復号部１８の処理は、ＩＳＯ( International Organization for Standardization ) /ＩＥＣ(International Electrotechnical Commission) 13818-2(Geneva 1995)の規格書に詳細に渡って規定されている。
【００２２】
音声復号部１９は、デマルチプレクサ部１７より供給された符号化音声信号をＲＡＭ部１６に適宜格納し、ＭＰＥＧ方式により圧縮符号化されている音声信号の復号処理を実行する。復号化されたディジタル音声信号は、Ｄ／Ａコンバータ部２４に供給され、アナログ変換される。このとき、左右のチャンネルの音声信号が適切に処理され、左右チャンネルの音声出力として、出力端子２５から出力される。
【００２３】
音声復号部１９の処理は、ＩＳＯ International Organization for Standardization ) / ＩＥＣ( International Electrotechnical Commission) 13818-3(Geneva 1995) の規格書に詳細に渡って規定されている。
【００２４】
制御マイコン部１４は、ＲＯＭ部１５に格納されているプログラムに従い、各種の処理を実行する。例えば、システムバス３を介してチューナー部１１、復調部１２、エラー検出・訂正部１３等での処理を制御する。また、システムバス３を介してデマルチプレクサ部１７、画像復号部１８、音声復号部１８、表示画像構成部２１の処理ブロックを制御し、ＲＯＭ部１５、ＲＡＭ部１６、復号データ用メモリ部２６に対する各メモリアドレスの読み出し・書込み処理等を制御する。
【００２５】
一方、この制御マイコン部１４には、リモートコマンダー等からの入力情報を受けたユーザーインターフェース部２７からの所定の命令を直接入力することができる。
【００２６】
また、デマルチプレクサ部１７は、エラー検出・訂正部１３から供給される符号化されたディジタル画像・音声信号以外に、ＥＰＧデータ等のＳＩ(Specification Information) 情報も多重化された状態で供給される。このＳＩ情報は、適宜、ＲＡＭ部１６、あるいは、デマルチプレクサ部１７内のバッファメモリ内に格納されて処理される。
【００２７】
次に、この発明で用いられる画像・音声復号処理時のエラー隠蔽処理について概略を示す。
【００２８】
画像復号処理時のエラー隠蔽処理の代表例は、ミュート法、イントラエラーコンシールメント法、ＳＮＲスケーラビリティ・データパーティショニング法、スモールスライス法等である。また、音声復号処理時のエラー隠蔽処理の代表例は、ミュート法、フェードアウト法、前値ホールド法、平均値補間法等である。
【００２９】
図２は、画像復号処理時のエラー隠蔽処理の一例を示す略線図であり、図２Ａは、通称「イントラコンシールメント」と呼ばれている手法であり、図２Ｂは、「イントラコンシールメントベクトル」と呼ばれている手法の一例である。
【００３０】
ＭＰＥＧ符号化系のような画像間の予測符号化を用いた符号化方式は、一般にエラーに対して弱い。これは、予測符号化が以前に復号された画像から行われる為である。この為、一度エラーが生じると、このエラーは時間軸方向に伝播する。
【００３１】
ＭＰＥＧ符号化系では、このエラー伝播を一定の区間で収束させる為にＩ（Intra ）ピクチャが存在する。
【００３２】
つまり、ＭＰＥＧ２方式では、Ｉ（Intra ）ピクチャと、Ｐ（Predicti）ピクチャと、Ｂ（Bidirectionally Predictive）ピクチャと呼ばれる３種類の画面が送られる。Ｉピクチャでは、同一のフレームの画素を使ってＤＣＴ（Discrete Cosine Transform ）符号化が行なわれる。Ｐピクチャでは、既に符号化されたＩピクチャ又はＰピクチャを参照して、動き補償予測を用いたＤＣＴ符号化が行なわれる。Ｂピクチャでは、その前後のＩピクチャ又はＰピクチャを参照して、動き予測を用いたＤＣＴ符号化が行なわれる。
【００３３】
ＰピクチャやＢピクチャでは、フレーム間での予測符号化となるため、エラーが伝播するが、Ｉピクチャでは、フレーム内符号化となるため、エラーの伝播が防げる。しかしながら、逆に、Ｉピクチャ伝送中にエラーが生じると、このＩピクチャに続くＧＯＰの内容は全て破壊され、復号画像信号のエラーになる。この為、エラー耐性には、まずＩピクチャの保護が原則である。
【００３４】
イントラコンシールメントベクトル法とは、この原則に従った方法である。
【００３５】
なかでも最もエラー隠蔽処理の強度が高い方法は、ＰピクチャやＢピクチャでエラーが存在した場合は、そのピクチャ画像の復号を諦め、直近にエラー無く復号できたピクチャ画像を出力し続けることである。そして、シーケンス・ヘッダ・コードに続く復号エラーの無いＩピクチャを復号できるまで復号結果の更新を行わないことである。
【００３６】
エラー隠蔽処理の強度が低い方法の一例は、図２Ａに示すような、各ピクチャ内に存在するエラーにより失われたブロックを、予測の為の参照画像から、動きを考慮せずにそのままはめ込む方法である。図２Ａにおいて、ピクチャｔのラインｘの画素Ｐ２に対して、その前のピクチャ（ｔ＋１）の同位置にある画素Ｐ１がはめ込まれる。
【００３７】
この方法に対して多少強度を高めた方法は、図２Ｂに示すような、動きベクトルを用いて、参照画像から動き補償を行って隠蔽する方法である。この動き補償の値は、Ｉピクチャの各マクロブロックに付加される。このとき、付加される動きベクトルは、自分自身のブロックのもとに位置するブロックの動きベクトルである。画像復号部では、伝送される各マクロブロックのベクトルを、横１列単位で記憶しておく。仮にブロックがエラーで失われた場合、このブロックのベクトルは１列上に既に伝送され記憶されているので、これを用いてエラーを隠蔽する。
【００３８】
このように、エラー隠蔽処理には複数の方法がある。この発明の実施の形態では、Ｓ／Ｎ比に応じて、エラー隠蔽処理の方法を切り換えるようにしている。
【００３９】
図３は、入力変調信号の復調処理で検出されるＳ／Ｎ比を用いて、画像及び音声復号部の復号エラー隠蔽処理の方式を、各々独立に切り替えることが可能となる制御方法の処理フローである。
【００４０】
なお、処理中のエラー隠蔽方法・その隠蔽強度差に関しては、特に限定した方法・限定した強度は指定しない。この発明は具体的な隠蔽方法、強度値を指定するものではない。
【００４１】
まず、システムが始動すると、ステップＳＴ１の処理により、フロントエンド部１から入力変調信号のＳ／Ｎ比を制御マイコン部１４が受け取る。このＳ／Ｎ比の値に応じて、各々、画像復号部１８、音声復号部１９でのエラー隠蔽処理の強度を逐次変更する。
【００４２】
システムの初期値は、ステップＳＴ２の処理により、エラー隠蔽強度値変数ｐを（ｐ＝１）とする。これにより、あるＳ／Ｎ比に対する閾値threshold-p が決定される。
【００４３】
ステップＳＴ３の処理で、この閾値と、フロントエンド部１で検出された入力変調信号のＳ／Ｎ比とを比較する。
【００４４】
ステップＳＴ３の処理において、閾値threshold-ｐよりもＳ／Ｎ比が小さい場合は、ステップＳＴ４において、エラー隠蔽強度値変数ｐが１インクリメントされて、ステップＳＴ３にリターンされる。
【００４５】
ステップＳＴ３〜ＳＴ４の処理を繰り返していくことにより、閾値が徐々に下がっていき、この閾値とＳ／Ｎ比とを比較することで、入力信号のＳ／Ｎ比が検出されていく。
【００４６】
ステップＳＴ３において、閾値よりもＳ／Ｎ比が大きくなった時は、ステップＳＴ５の処理で、エラー隠蔽強度変数ｐが決められる。
【００４７】
エラー隠蔽強度変数ｐに対応するビデオ及びオーディオのエラー隠蔽処理は、図４及び図５に示すように予め決められている。そして、ステップＳＴ６において、画像復号部１８及び音声復号部１９では、夫々、エラー隠蔽強度変数ＥＣｐに対応するエラー隠蔽処理が実行される。
【００４８】
図４及び図５は、エラー隠蔽強度変数ｐに対応するビデオ及びオーディオのエラー隠蔽処理の一例である。
【００４９】
図４に示すように、ビデオのエラー隠蔽処理では、エラー隠蔽強度値変数ｐが（ｐ＝０〜４）ように、入力信号のＳ／Ｎ比が大きいときには、エラー隠蔽処理として、２次元フレーム内でのスライス置換が行われる。
【００５０】
そして、エラー隠蔽強度値変数ｐが（ｐ＝５〜１０）になると、エラー隠蔽処理として、Ｉピクチャ内でのデータ置換に切り換えられる。なお、このとき、動くベクトルを参照するようにしている。
【００５１】
更に、エラー隠蔽強度値変数ｐが（ｐ＝１０〜ｐ１４）になると、Ｓ／Ｎ比が悪く、動画を再生していくことが困難になる。このときには、復号できた直近のＩピクチャで画像がフリーズされ、静止画再生となる。
【００５２】
更に、エラー隠蔽強度値変数ｐが（ｐ＝１５〜ｐ１９）になると、画像を再生させることが困難になるため、画像がミュートされる。
【００５３】
更に、エラー隠蔽強度値変数ｐが（ｐ＝２０）より大きくなると、画像のミュートが解除される。このように、画像のミュートを解除しているのは、ユーザに、無信号であることを知らせるためである。Ｓ／Ｎ比が非常に悪いときには、画像の再生は困難であるから、画像をミュートすることが考えられる。ところが、画像をミュートしてしまうと、ユーザは故障であると誤認してしまうことが考えられる。この例では、Ｓ／Ｎ比が非常に悪いときには、ユーザに敢えて画像を見せることで、故障と誤認されることを防止している。
【００５４】
図５に示すように、オーディオのエラー隠蔽処理では、エラー隠蔽強度値変数ｐが（ｐ＝０〜１５）のときには、線形補間又は前値ホールドが行われる。
【００５５】
エラー隠蔽強度値変数ｐが（ｐ＝１５〜ｐ１９）になると、オーディオを再生させることが困難になるため、オーディオがミュートされる。
【００５６】
更に、エラー隠蔽強度値変数ｐが（ｐ＝２０）より大きくなると、オーディオのミュートが解除される。このように、オーディオのミュートを解除しているのは、画像の場合と同様に、ユーザに、無信号であることを知らせるためである。
【００５７】
なお、上述のＳ／Ｎ比に対するエラー隠蔽処理の切り替えについては、上述の例に限らず、種々のやり方が考えられる。単に、Ｓ／Ｎ比が大きいときと、Ｓ２Ｎ比が小さいときとで、２段階の切り替えをするようにしても良い。また、上述の例では、ビデオとオーディオとについて、Ｓ／Ｎ比に対するエラー隠蔽処理の切り替えを行っているが、どちらか一方だけ、このような処理を行うようにしても良い。例えば、ビデオについてはＳ／Ｎ比に対するエラー隠蔽処理の切り替えを行うが、オーディオに対しては行わないようにしても良い。
【００５８】
また、上述の例では、受信されたディジタルデータの受信状態をＳ／Ｎ比の検出をエラー検出・訂正部で行うようよしているが、チューナ部で信号強度を検出して受信状態を検出するようにしても良い。
【００５９】
【発明の効果】
この発明によれば、入力信号の受信状態、すなわちＳ／Ｎ比に応じて、エラー隠蔽処理の方式が切り換えられる。
【００６０】
エラー隠蔽処理設定が固定されていると、稀に起こる極端に悪化したストリームエラーを隠蔽するために、エラー隠蔽強度を強めてしまうと、軽微なストリーネエラーに対しても強度なエラー隠蔽処理を施してしまったり、極端に悪化したストリームエラーが長時間続いた場合には、再生画像・音声が長時間一切出力されなくなったりし、かえってユーザにストレスを溜めさせる結果になる。
【００６１】
これに対して、この発明では、Ｓ／Ｎ比のような入力信号のエラー状況を反映する値に応じて、エラー隠蔽処理方式が切り換えられる。このため、エラー隠蔽強度を逐次適切な強度に保ことが可能になり、ユーザへの視聴ストレスを抑えつつ、エラーを隠蔽することが可能になる。
【図面の簡単な説明】
【図１】この発明が適用された衛星放送の受信装置の一例のブロック図である。
【図２】エラー隠蔽処理の説明に用いる略線図である。
【図３】この発明の一実施の形態の説明に用いるフローチャートである。
【図４】この発明の一実施の形態の説明に用いる略線図である。
【図５】この発明の一実施の形態の説明に用いる略線図である。
【符号の説明】
１１・・・チューナ部，１３・・・エラー検出・訂正部，１７・・・デマルチプレクサ部，１８・・・画像復号部，１９・・・音声復号部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a reproducing apparatus having a decoding function of an MPEG (Moving Picture Coding Experts Group) encoding system stream, a receiving apparatus that decodes and reproduces a moving picture encoded by its control, and a digital data decoding method.
[0002]
[Prior art]
In recent years, MPEG encoding digital broadcasting services using CS (Communication Satellite) type satellites are spreading in Japan. In the near future, the start of an MPEG encoding digital broadcasting service using BS (Broadcast Satellite) satellites, terrestrial / cable waves, etc. is planned.
[0003]
In general, a reproduction signal of such a digital broadcast service is subjected to non-linear signal quality degradation caused by a natural phenomenon such as rainfall, unlike a reproduction signal of a terrestrial broadcast service using a conventional analog signal. For example, in weather conditions where rainfall is gradually getting stronger, the reception / playback signals of terrestrial broadcasting services using analog signals gradually deteriorate in image quality almost in proportion to the intensity of rainfall, and gradually increase linearly. It becomes difficult to watch.
[0004]
However, under the same circumstances, the reception / reproduction signal of the digital broadcasting service by the digital signal can prevent the reception / reproduction signal error by the error correction process peculiar to the digital processing for the input signal deterioration to a certain extent. Error correction cannot be performed non-linearly at a certain deterioration, and an extremely deteriorated reproduced image / audio signal is output. This extremely deteriorated reproduced image / audio signal gives an excessive viewing stress to the user, and is not preferable as a receiving / reproducing apparatus.
[0005]
As a result, the digital broadcast service reception / playback apparatus, when the input modulation signal has deteriorated to some extent, performs processing such as turning off the playback image / sound signal output so that the extremely deteriorated image / sound signal is output. The device is designed to prevent users from viewing. In addition, a special error concealment process for the MPEG encoded stream is performed at the time of decoding so as to make an error (noise) on the output reproduced image / audio signal inconspicuous. There are several typical methods for this error concealment process. For example, when an uncorrectable stream error is detected by each image / sound decoding unit, there are a method of continuing to use the result of the most recent correct decoding instead, a method of not updating the reproduction result until it can be correctly decoded, etc. .
[0006]
[Problems to be solved by the invention]
However, in the conventional error concealment process, the linkage between the front-end unit such as a tuner and each image / audio decoding unit is incomplete, so that the occurrence of a stream error detected at the stage of the input modulation signal occurs. The error concealment strength could not be changed dynamically according to the situation.
[0007]
For this reason, if the error concealment strength is increased and fixed for an extremely deteriorated stream error that occurs in rare cases, strong error concealment processing will be performed even for minor stream errors that occur frequently. In some cases, this could result in viewing stress on the user. For example, if a strong concealment process is performed that does not update any decoding result when a decoding error is detected, even if a minor decoding error that cannot be recognized by the user frequently occurs, The result was not updated. This was a result of warping viewers against viewing stress.
[0008]
Therefore, the ideal error concealment process that does not give viewing stress to the user is to grasp the occurrence situation of the stream error and to perform the concealment process having a strength suitable for the situation while dynamically changing it.
[0009]
SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide a receiving apparatus and a digital data decoding method capable of performing an error concealment process in a decoding unit that does not give viewing stress to a user.
[0010]
[Means for Solving the Problems]
According to a first aspect of the present invention, there is provided a receiving apparatus for receiving transmitted digital video data.
Detecting means for detecting an S / N ratio of a received signal of digital video data;
Control means for sequentially comparing the S / N ratio and the threshold (predetermined value-variable p) by changing the variable p, and setting the variable p when the S / N ratio is equal to or less than the threshold as the error concealment strength; ,
Decoding means for decoding digital video data in accordance with the error concealment strength selected by the control means,
Decryption means
When the error concealment strength is in the first range, as error concealment processing of the digital video data, slice replacement in the two-dimensional frame of the digital video data is performed,
When the error concealment strength is in the second range that is larger than the first range, the digital video data is used as an error concealment process for the digital video data by using the motion vector added to each macroblock of the picture of the digital video data. by performing the motion compensation from the picture data, performs data replacement within a picture of the digital video data,
When the error concealment strength is in the third range that is larger than the second range, as a digital video data error concealment process, a still image in which the image is frozen with the latest picture of the digital video data that can be decoded is displayed. ,
If the error concealment strength is in a fourth range greater than the third range, the digital video data image is muted,
When the error concealment strength is in the fifth range which is larger than the fourth range, the receiving apparatus does not perform the error concealment process on the digital video data.
According to a second aspect of the present invention, there is provided a receiving apparatus for receiving transmitted digital audio data.
Detecting means for detecting an S / N ratio of a received signal of digital audio data;
Control means for sequentially comparing the S / N ratio and the threshold (predetermined value-variable p) by changing the variable p, and setting the variable p when the S / N ratio is equal to or less than the threshold as the error concealment strength; ,
Decoding means for decoding digital audio data in accordance with the error concealment strength selected by the control means,
Decryption means
If the error concealment strength is in the first range, perform linear interpolation or pre-hold on the digital audio data,
If the error concealment strength is in a second range greater than the first range, mute the audio of the digital audio data;
When the error concealment strength is in the third range that is larger than the second range, the receiving apparatus does not perform the error concealment process on the digital audio data.
[0011]
A third aspect of the invention comprises a step of receiving transmitted digital video data;
A detection step of detecting an S / N ratio of a received signal of digital video data;
A setting step of comparing the S / N ratio and a threshold value (predetermined value−variable p) in order by changing the variable p, and setting the variable p when the S / N ratio is equal to or less than the threshold value as an error concealment strength; ,
When the error concealment strength is in the first range, as error concealment processing of the digital video data, slice replacement in the two-dimensional frame of the digital video data is performed,
When the error concealment strength is in the second range that is larger than the first range, the digital video data is used as an error concealment process for the digital video data by using the motion vector added to each macroblock of the picture of the digital video data. By performing motion compensation from the picture of the data, the data replacement in the picture of the digital video data is performed,
When the error concealment strength is in the third range that is larger than the second range, as a digital video data error concealment process, a still image in which the image is frozen with the latest picture of the digital video data that can be decoded is displayed. ,
If the error concealment strength is in a fourth range greater than the third range, the digital video data image is muted,
A digital data decoding method comprising: performing a decoding process so as not to perform an error concealment process for digital video data when the error concealment strength is in a fifth range greater than the fourth range. It is.
The fourth invention comprises a step of receiving transmitted digital audio data;
A detection step of detecting the S / N ratio of the received signal of the digital audio data;
A setting step of comparing the S / N ratio and a threshold value (predetermined value−variable p) in order by changing the variable p, and setting the variable p when the S / N ratio is equal to or less than the threshold value as an error concealment strength; ,
When the error concealment strength is in the first range, the digital audio data is linearly interpolated or pre-held, and when the error concealment strength is in the second range larger than the first range, the digital audio data And when the error concealment strength is in a third range larger than the second range, the decoding process is performed without performing the error concealment process on the digital audio data. Is a digital data decoding method.
[0012]
In the present invention, the error concealment processing method is switched according to a value reflecting the error state of the input signal such as the S / N ratio. For this reason, the error concealment strength can be successively maintained at an appropriate strength, and the error can be concealed while suppressing viewing stress on the user.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 shows an example of a reception / playback apparatus for receiving a digital broadcast service of an MPEG encoded stream to which the present invention is applied.
[0014]
In FIG. 1, an input modulation (RF) signal output from a parabolic antenna, a cable line, or the like is input from an input terminal 10 to a tuner unit 11 in the front end unit 1 and is demodulated by a demodulation unit 12, for example, QPSK ( Quadrature Phase Shift Keying) Demodulated. The output from the demodulator 12 is supplied to the error detector / corrector 13. The error detection / correction unit 13 performs correction processing as much as possible at the same time as detecting an error.
[0015]
At this time, the S / N ratio information of the input modulation signal detected in the front end unit 1 is sent from the error detection / correction unit 13 to the control microcomputer unit 14 via the system bus 3, for example.
[0016]
In the control microcomputer unit 14, the ROM unit 15, the RAM unit 16, and the like, keys necessary for decrypting the encryption are stored together with a decryption program. When the transmitted digital signal is encrypted, a key for decrypting the encryption and a decryption process are required. Therefore, the key to be decoded is read from the control microcomputer unit 14, ROM unit 15, RAM unit 16, etc., and this key is supplied to the demultiplexer unit 17.
[0017]
The demultiplexer unit 17 decrypts the encrypted digital signal using this key. A decryption program, billing information, and the like are also stored in the memory together with a key necessary for the decryption.
[0018]
The demultiplexer unit 17 receives the output signal from the error detection / correction unit 13 and temporarily stores it in an appropriate memory area of the RAM unit 16 for the data buffer memory or a memory area inside the demultiplexer unit 17. Then, this is read out appropriately and the decoded image signal is supplied to the image decoding unit 18 and the audio signal is supplied to the audio decoding unit 19. At this time, information necessary for regenerating the system clock is extracted from the multiplexed encoded data by the clock generation unit 20 and used for processing of the image decoding unit 18 and the audio decoding unit 19.
[0019]
The processing of the demultiplexer unit 17 is defined in detail in a standard document of ISO (International Organization for Standardization) / IEC (International Electrotechnical Commission) 13818-1 (Geneva 1995).
[0020]
The image decoding unit 18 appropriately stores the input encoded data in the RAM unit 16, and executes a decoding process of the image signal that has been compression-encoded by the MPEG method. The decoded image signal is supplied to the display image constituting unit 21 where it is converted into, for example, a luminance signal (Y), chroma signal (C), and composite signal (CV) of the NTSC system. This signal is analog-converted by the D / A converter 22 and output. A video signal is output from the output terminal 23, for example, in the S video signal format.
[0021]
The processing of the image decoding unit 18 is defined in detail in a standard document of ISO (International Organization for Standardization) / IEC (International Electrotechnical Commission) 13818-2 (Geneva 1995).
[0022]
The audio decoding unit 19 appropriately stores the encoded audio signal supplied from the demultiplexer unit 17 in the RAM unit 16 and executes a decoding process on the audio signal that has been compression-encoded by the MPEG method. The decoded digital audio signal is supplied to the D / A converter unit 24 and converted into an analog signal. At this time, the audio signals of the left and right channels are appropriately processed and output from the output terminal 25 as the audio output of the left and right channels.
[0023]
The processing of the speech decoding unit 19 is defined in detail in the standard document of ISO International Organization for Standardization (IEC) 13818-3 (Geneva 1995).
[0024]
The control microcomputer unit 14 executes various processes according to a program stored in the ROM unit 15. For example, the processing in the tuner unit 11, the demodulation unit 12, the error detection / correction unit 13, and the like is controlled via the system bus 3. Further, the processing blocks of the demultiplexer unit 17, the image decoding unit 18, the audio decoding unit 18, and the display image configuration unit 21 are controlled via the system bus 3, and the ROM unit 15, the RAM unit 16, and the decoded data memory unit 26 are controlled. Controls read / write processing of each memory address.
[0025]
On the other hand, a predetermined command from the user interface unit 27 that has received input information from a remote commander or the like can be directly input to the control microcomputer unit 14.
[0026]
In addition to the encoded digital image / sound signal supplied from the error detection / correction unit 13, the demultiplexer unit 17 also supplies SI (Specification Information) information such as EPG data in a multiplexed state. . The SI information is appropriately stored in the RAM unit 16 or the buffer memory in the demultiplexer unit 17 for processing.
[0027]
Next, an outline of the error concealment process at the time of the image / sound decoding process used in the present invention will be described.
[0028]
Typical examples of the error concealment process during the image decoding process include a mute method, an intra error concealment method, an SNR scalability / data partitioning method, a small slice method, and the like. Also, typical examples of error concealment processing during speech decoding processing are a mute method, a fade-out method, a previous value hold method, an average value interpolation method, and the like.
[0029]
FIG. 2 is a schematic diagram showing an example of error concealment processing at the time of image decoding processing, FIG. 2A is a technique called “intra concealment”, and FIG. 2B is an “intra concealment vector”. Is an example of a technique called "."
[0030]
An encoding method using predictive encoding between images such as an MPEG encoding system is generally vulnerable to errors. This is because predictive encoding is performed from previously decoded images. For this reason, once an error occurs, this error propagates in the time axis direction.
[0031]
In the MPEG encoding system, there is an I (Intra) picture in order to converge this error propagation in a certain interval.
[0032]
That is, in the MPEG2 system, three types of screens called I (Intra) picture, P (Predicti) picture, and B (Bidirectionally Predictive) picture are sent. In the I picture, DCT (Discrete Cosine Transform) encoding is performed using pixels of the same frame. In a P picture, DCT encoding using motion compensation prediction is performed with reference to an already encoded I picture or P picture. In the B picture, DCT encoding using motion prediction is performed with reference to the preceding and subsequent I or P pictures.
[0033]
In the P picture and the B picture, the error is propagated because of the predictive coding between frames, but in the I picture, the error is prevented from being propagated because of the intra-frame coding. However, conversely, if an error occurs during I picture transmission, the contents of the GOP following this I picture are all destroyed, resulting in an error in the decoded image signal. For this reason, protection of I pictures is the principle for error tolerance.
[0034]
The intraconcealment vector method is a method according to this principle.
[0035]
Among them, the method with the highest error concealment processing strength is to give up decoding of the picture image when there is an error in the P picture or B picture and continue to output the picture image that has been decoded without error most recently. . The decoding result is not updated until an I picture without a decoding error following the sequence header code can be decoded.
[0036]
An example of a method with low error concealment processing strength is a method of fitting a block lost due to an error existing in each picture as shown in FIG. 2A from a reference image for prediction without considering motion. It is. In FIG. 2A, a pixel P1 at the same position of the previous picture (t + 1) is fitted to the pixel P2 of the line x of the picture t.
[0037]
A method in which the intensity is slightly increased with respect to this method is a method of concealing by performing motion compensation from a reference image using a motion vector as shown in FIG. 2B. This motion compensation value is added to each macroblock of the I picture. At this time, the added motion vector is a motion vector of a block located under its own block. In the image decoding unit, the vector of each macroblock to be transmitted is stored in units of horizontal columns. If a block is lost due to an error, the vector of this block has already been transmitted and stored on one column and is used to conceal the error.
[0038]
Thus, there are a plurality of methods for error concealment processing. In the embodiment of the present invention, the error concealment processing method is switched according to the S / N ratio.
[0039]
FIG. 3 shows a processing flow of a control method in which the decoding error concealment processing method of the image and audio decoding unit can be independently switched using the S / N ratio detected in the demodulation processing of the input modulation signal. It is.
[0040]
For the error concealment method being processed and the concealment strength difference, a particularly limited method and a limited strength are not designated. The present invention does not specify a specific concealment method or intensity value.
[0041]
First, when the system is started, the control microcomputer unit 14 receives the S / N ratio of the input modulation signal from the front end unit 1 by the process of step ST1. In accordance with the value of the S / N ratio, the strength of error concealment processing in the image decoding unit 18 and the audio decoding unit 19 is sequentially changed.
[0042]
As an initial value of the system, the error concealment strength value variable p is set to (p = 1) by the process of step ST2. Thereby, a threshold threshold-p for a certain S / N ratio is determined.
[0043]
In the process of step ST3, this threshold value is compared with the S / N ratio of the input modulation signal detected by the front end unit 1.
[0044]
If the S / N ratio is smaller than the threshold threshold-p in the process of step ST3, the error concealment strength value variable p is incremented by 1 in step ST4, and the process returns to step ST3.
[0045]
By repeating the processes of steps ST3 to ST4, the threshold value gradually decreases, and the S / N ratio of the input signal is detected by comparing this threshold value with the S / N ratio.
[0046]
In step ST3, when the S / N ratio becomes larger than the threshold value, the error concealment strength variable p is determined in the process of step ST5.
[0047]
Video and audio error concealment processing corresponding to the error concealment strength variable p is predetermined as shown in FIGS. In step ST6, the image decoding unit 18 and the audio decoding unit 19 execute error concealment processing corresponding to the error concealment strength variable ECp.
[0048]
4 and 5 show an example of video and audio error concealment processing corresponding to the error concealment strength variable p.
[0049]
As shown in FIG. 4, in the video error concealment process, when the S / N ratio of the input signal is large such that the error concealment strength value variable p is (p = 0 to 4), the two-dimensional frame is used as the error concealment process. Slice replacement is performed within.
[0050]
When the error concealment strength value variable p becomes (p = 5 to 10), the error concealment process is switched to data replacement within the I picture. At this time, a moving vector is referred to.
[0051]
Furthermore, when the error concealment strength value variable p is (p = 10 to p14), the S / N ratio is poor and it is difficult to reproduce a moving image. At this time, the image is frozen with the latest decoded I picture, and still image reproduction is performed.
[0052]
Further, when the error concealment strength value variable p becomes (p = 15 to p19), it becomes difficult to reproduce the image, and the image is muted.
[0053]
Further, when the error concealment strength value variable p becomes larger than (p = 20), the image is unmuted. Thus, the mute of the image is canceled in order to inform the user that there is no signal. When the S / N ratio is very bad, it is difficult to reproduce the image, so it is conceivable to mute the image. However, if the image is muted, the user may misunderstand that it is a malfunction. In this example, when the S / N ratio is very bad, it is prevented from being mistaken for a failure by intentionally showing an image to the user.
[0054]
As shown in FIG. 5, in the audio error concealment process, when the error concealment strength value variable p is (p = 0 to 15), linear interpolation or previous value hold is performed.
[0055]
When the error concealment strength value variable p becomes (p = 15 to p19), it becomes difficult to reproduce the audio, so that the audio is muted.
[0056]
Further, when the error concealment strength value variable p becomes larger than (p = 20), the audio mute is released. The audio mute is thus canceled in order to inform the user that there is no signal, as in the case of images.
[0057]
In addition, about the switching of the error concealment process with respect to the above-mentioned S / N ratio, not only the above-mentioned example but various methods can be considered. Simply, switching in two steps may be performed when the S / N ratio is large and when the S2N ratio is small. In the above example, the error concealment process is switched with respect to the S / N ratio for video and audio, but such process may be performed for only one of them. For example, the error concealment process is switched for the S / N ratio for video, but may not be performed for audio.
[0058]
In the above example, the S / N ratio is detected by the error detection / correction unit in the reception state of the received digital data, but the reception state is detected by detecting the signal intensity in the tuner unit. You may do it.
[0059]
【The invention's effect】
According to the present invention, the error concealment processing method is switched according to the reception state of the input signal, that is, the S / N ratio.
[0060]
If the error concealment setting is fixed, the error concealment strength is strengthened in order to conceal the extremely deteriorated stream error that occurs in rare cases. When a stream error that has been applied or extremely deteriorated continues for a long time, the reproduced image / sound is not output for a long time, and the user is stressed.
[0061]
On the other hand, in the present invention, the error concealment processing method is switched according to a value reflecting the error state of the input signal such as the S / N ratio. For this reason, the error concealment strength can be successively maintained at an appropriate strength, and the error can be concealed while suppressing viewing stress on the user.
[Brief description of the drawings]
FIG. 1 is a block diagram of an example of a satellite broadcast receiving apparatus to which the present invention is applied.
FIG. 2 is a schematic diagram used for explaining error concealment processing;
FIG. 3 is a flowchart used to describe an embodiment of the present invention.
FIG. 4 is a schematic diagram used for explaining an embodiment of the present invention.
FIG. 5 is a schematic diagram used for explaining an embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 11 ... Tuner part, 13 ... Error detection / correction part, 17 ... Demultiplexer part, 18 ... Image decoding part, 19 ... Voice decoding part

Claims

In a receiving device for receiving transmitted digital video data,
Detecting means for detecting an S / N ratio of the received signal of the digital video data;
Control for comparing the S / N ratio and the threshold (predetermined value-variable p) in order by changing the variable p, and setting the variable p when the S / N ratio is equal to or less than the threshold as the error concealment strength Means,
Decoding means for decoding the digital video data in accordance with the error concealment strength selected by the control means,
The decoding means is
When the error concealment strength is in the first range, as error concealment processing of the digital video data, performing slice replacement in the two-dimensional frame of the digital video data,
When the error concealment strength is in a second range larger than the first range, the digital video data for the block lost due to an error existing in each picture is used as the error concealment process for the digital video data. By performing motion compensation from the picture of the digital video data using a motion vector added to each of the macroblocks of the picture, to perform data replacement in the picture of the digital video data ,
When the error concealment strength is in a third range that is larger than the second range, as an error concealment process for the digital video data, a still image in which an image is frozen with the most recently decoded picture of the digital video data is obtained. Display
When the error concealment strength is in a fourth range that is greater than the third range, the digital video data image is muted,
A receiving apparatus that does not perform error concealment processing of the digital video data when the error concealment strength is in a fifth range that is larger than the fourth range.

In a receiving apparatus for receiving transmitted digital audio data,
Detecting means for detecting an S / N ratio of the received signal of the digital audio data;
Control for comparing the S / N ratio and the threshold (predetermined value-variable p) in order by changing the variable p, and setting the variable p when the S / N ratio is equal to or less than the threshold as the error concealment strength Means,
Decoding means for decoding the digital audio data in accordance with the error concealment strength selected by the control means,
The decoding means is
When the error concealment strength is in the first range, linear interpolation or pre-holding of the digital audio data is performed,
If the error concealment strength is in a second range greater than the first range, the audio of the digital audio data is muted;
A receiving apparatus that does not perform error concealment processing of the digital audio data when the error concealment strength is in a third range that is larger than the second range.

Receiving the transmitted digital video data;
A detecting step for detecting an S / N ratio of the received signal of the digital video data;
A setting in which the S / N ratio and a threshold (predetermined value−variable p) are sequentially compared by changing the variable p, and the variable p when the S / N ratio is equal to or less than the threshold is set as an error concealment strength. Steps,
When the error concealment strength is in the first range, as error concealment processing of the digital video data, performing slice replacement in the two-dimensional frame of the digital video data,
When the error concealment strength is in a second range larger than the first range, the digital video data for the block lost due to an error existing in each picture is used as the error concealment process for the digital video data. By performing motion compensation from the picture of the digital video data using a motion vector added to each of the macroblocks of the picture, to perform data replacement in the picture of the digital video data ,
When the error concealment strength is in a third range that is larger than the second range, as an error concealment process for the digital video data, a still image in which an image is frozen with the most recently decoded picture of the digital video data is obtained. Display
When the error concealment strength is in a fourth range that is greater than the third range, the digital video data image is muted,
And a step of performing decoding processing without performing error concealment processing of the digital video data when the error concealment strength is in a fifth range larger than the fourth range. Data decryption method.

Receiving the transmitted digital audio data;
A detecting step for detecting an S / N ratio of the received signal of the digital audio data;
A setting in which the S / N ratio and a threshold (predetermined value−variable p) are sequentially compared by changing the variable p, and the variable p when the S / N ratio is equal to or less than the threshold is set as an error concealment strength. Steps,
When the error concealment strength is in the first range, linear interpolation or pre-holding of the digital audio data is performed, and when the error concealment strength is in the second range larger than the first range. When the audio of the digital audio data is muted and the error concealment strength is in a third range larger than the second range, the digital audio data is not subjected to error concealment processing and decoding processing is performed. And a digital data decoding method.