JP4740955B2 - デジタル放送受信用の信号処理装置、信号処理方法および信号処理プログラム並びにデジタル放送受信装置 - Google Patents

Description

本発明は、複数のデジタル放送の受信信号を処理する技術に関し、特に、サイマルキャストで送信された２種類のデジタル放送の受信信号を処理する技術に関する。

日本の地上デジタル放送は、ＩＳＤＢ−Ｔ（Integrated Services Digital Broadcasting Terrestrial）規格で規定され、ＯＦＤＭ（直交周波数分割多重；Orthogonal Frequency Division Multiplexing）変調や階層伝送方式を採用している。ＩＳＤＢ−Ｔ規格によれば、図１に概略的に示すように、１チャネルの伝送帯域幅（約５．６ＭＨｚ）が１３個のサブバンドすなわちＯＦＤＭセグメントＳ₁〜Ｓ₁₃に分割されており、これらＯＦＤＭセグメントＳ₁〜Ｓ₁₃をさらに最大３個のグループすなわち階層に分割することができる。階層毎に、キャリア変調方式や内符号の符号化率、時間インターリーブ長などの異なる伝送特性を設定することができ、また、階層毎に、異なる放送番組を送信することが可能である。たとえば、１２個のＯＦＤＭセグメントＳ₁〜Ｓ₆，Ｓ₈〜Ｓ₁₃を用いて固定受信機向けの高品質のハイビジョン放送（High Definition Television）を提供したり、１２個のＯＦＤＭセグメントＳ₁〜Ｓ₆，Ｓ₈〜Ｓ₁₃を３個の階層に分割して階層毎に固定受信機向けの標準テレビ放送（Standard Definition Television）を提供したり、中央に配置された１セグメントＳ₇のみを用いて移動体向けデジタル放送（簡易動画放送）を提供したりすることができる。固定受信機向けデジタル放送では、画像圧縮方式としてＭＰＥＧ２（Moving Picture Experts Group phase 2）が採用され、移動体向けのデジタル放送では、画像圧縮方式としてＨ．２６４（ＭＰＥＧ４ ＡＶＣ）が採用されている。

地上デジタル放送が本格的に開始される当初には、放送事業者が、同一内容の番組を固定受信機向けデジタル放送と移動体向けデジタル放送との双方で同時に提供するという、いわゆるサイマルキャスト（サイマル放送）が予定されている。そこで、車両などの移動体において、サイマルキャストを利用して極力高品質のデジタル放送を受信する技術がいくつか提案されている。たとえば、特許文献１（特開２００４−３１２３６１号公報）および特許文献２（特開２００４−１６６１７３号公報）では、受信品質に応じて、移動体向けのデジタル放送と固定受信機向けデジタル放送との間で受信放送を自動的に切り換える受信装置が開示されている。

しかしながら、前記特許文献１，２の受信装置では、移動体向けのデジタル放送と固定受信機向けのデジタル放送との一方から他方へ受信放送が切り換えられたときに、画像フレームの画質が突然変化するので、不自然な映像が表示され、放送番組を試聴する者に違和感を与えるという問題がある。

また、移動体向けのデジタル放送と固定受信機向けのデジタル放送とがサイマルキャストで提供されても、両放送の内容が時間的に正確に同期しているとは限らない。かかる場合、受信放送が移動体向けのデジタル放送から固定受信機向けのデジタル放送に切り換えられたときに、不自然な映像が表示され、放送番組を視聴する者に違和感を与え得る。
特開２００４−３１２３６１号公報 特開２００４−１６６１７３号公報

上記に鑑みて本発明の目的は、サイマルキャストで提供されている複数のデジタル放送の受信信号から極力高品質且つ極力自然な表示映像を生成し得るデジタル放送受信用の信号処理装置、信号処理方法および信号処理プログラム並びにデジタル放送受信装置を提供することである。

本発明の一態様による信号処理装置は、サイマルキャストで送信された第１のデジタル放送および第２のデジタル放送の双方の受信信号を処理するデジタル放送受信用の信号処理装置である。この信号処理装置は、第１の符号化規格に従って前記第１のデジタル放送の受信信号を復号化して第１の復号画像信号を生成する第１デコーダと、前記第１の符号化規格とは異なる第２の符号化規格に従って前記第２のデジタル放送の受信信号を復号化して第２の復号画像信号を生成する第２デコーダと、前記第１の復号画像信号と前記第２の復号画像信号とに基づいて出力画像信号を生成しこれを出力する信号出力部と、を備え、前記第１デコーダは、前記受信信号の復号化過程で所定数の画素からなる画素ブロック単位でエラーを検出し、前記信号出力部は、前記エラーが検出されないときは、前記第１の復号画像信号の画素ブロックを出力する一方、前記エラーが検出されたときは、当該エラーが検出された画素ブロックに代えて、前記第２の復号画像信号中の対応する画素ブロックを出力することにより前記出力画像信号を生成するものである。

本発明の一態様によるデジタル放送受信装置は、サイマルキャストで送信された第１のデジタル放送および第２のデジタル放送を受信するデジタル放送受信装置である。このデジタル放送受信装置は、前記第１および第２のデジタル放送の受信信号を供給する受信回路と、第１の符号化規格に従って前記第１のデジタル放送の受信信号を復号化して第１の復号画像信号を生成する第１デコーダと、前記第１の符号化規格とは異なる第２の符号化規格に従って前記第２のデジタル放送の受信信号を復号化して第２の復号画像信号を生成する第２デコーダと、前記第１の復号画像信号と前記第２の復号画像信号とに基づいて出力画像信号を生成しこれを出力する信号出力部と、を備え、前記第１デコーダは、前記受信信号の復号化過程で所定数の画素からなる画素ブロック単位でエラーを検出し、前記信号出力部は、前記エラーが検出されないときは、前記第１の復号画像信号の画素ブロックを出力する一方、前記エラーが検出されたときは、当該エラーが検出された画素ブロックに代えて、前記第２の復号画像信号中の対応する画素ブロックを出力することにより前記出力画像信号を生成するものである。

本発明の一態様による信号処理方法は、サイマルキャストで送信された第１のデジタル放送および第２のデジタル放送の双方の受信信号を処理するデジタル放送受信用の信号処理方法である。この信号処理方法は、（ａ）第１の符号化規格に従って前記第１のデジタル放送の受信信号を復号化して第１の復号画像信号を生成するステップと、（ｂ）前記第１の符号化規格とは異なる第２の符号化規格に従って前記第２のデジタル放送の受信信号を復号化して第２の復号画像信号を生成するステップと、（ｃ）前記ステップ（ａ）の復号化過程で所定数の画素からなる画素ブロック単位でエラーを検出するステップと、（ｄ）前記エラーが検出されないときは、前記第１の復号画像信号の画素ブロックを出力する一方、前記エラーが検出されたときは、当該エラーが検出された画素ブロックに代えて、前記第２の復号画像信号中の対応する画素ブロックを出力することにより出力画像信号を生成するステップと、を備えたものである。

本発明の一態様による信号処理プログラムは、サイマルキャストで送信された第１のデジタル放送および第２のデジタル放送の双方の受信信号の処理をプロセッサに実行させるデジタル放送受信用の信号処理プログラムである。この信号処理プログラムは、前記処理は、（ａ）第１の符号化規格に従って前記第１のデジタル放送の受信信号を復号化して第１の復号画像信号を生成する第１復号化処理と、（ｂ）前記第１の符号化規格とは異なる第２の符号化規格に従って前記第２のデジタル放送の受信信号を復号化して第２の復号画像信号を生成する第２復号化処理と、（ｃ）前記第２復号化処理の過程で所定数の画素からなる画素ブロック単位でエラーを検出するエラー検出処理と、（ｄ）前記エラーが検出されないときは、前記第１の復号画像信号の画素ブロックを出力する一方、前記エラーが検出されたときは、当該エラーが検出された画素ブロックに代えて、前記第２の復号画像信号中の対応する画素ブロックを出力することにより出力画像信号を生成する信号出力処理と、を含むものである。

図１は、１３個のＯＦＤＭセグメントを示す図である。 図２は、本発明に係る実施例のデジタル放送受信装置の構成を概略的に示す機能ブロック図である。 図３は、遅延検出部の概略構成の一例を示す機能ブロック図である。 図４は、遅延検出部の概略構成の他の例を示す機能ブロック図である。 図５は、遅延量検出処理を説明するためのフローチャートである。 図６は、遅延量検出処理を説明するためのフローチャートである。 図７は、遅延量検出処理を説明するための図である。 図８は、信号出力部の概略構成を示す機能ブロック図である。 図９は、出力画像を模式的に示す図である。 図１０は、動き検出処理を説明するためのフローチャートである。

符号の説明

１ デジタル放送受信装置
２ 受信回路（フロントエンド）
３ 信号処理回路
１０ アンテナ
１１ チューナ
１２ 復調回路
１３ 第１デコーダ
１４ 第１遅延部
１５ 第２デコーダ
１６ 第２遅延部
１７ 遅延検出部
１８ 信号出力部
１９ 動き検出部

発明を実施するための形態

本出願は、日本国特許出願第２００５−３３５６５１号を優先権主張の基礎とするものであり、当該基礎出願の内容は本願に援用されるものとする。

以下、本発明に係る種々の実施例について説明する。

図２は、本発明に係る実施例のデジタル放送受信装置１の構成を概略的に示す機能ブロック図である。このデジタル放送受信装置１は、アンテナ１０と受信回路（フロントエンド）２と信号処理回路３とで構成されている。受信回路２は、チューナ１１と復調回路１２とを有する。信号処理回路３は、デマルチプレキサ（ＤＭＵＸ）、第１デコーダ１３、第２デコーダ１５、遅延部１４，１５、遅延検出部１７および信号出力部１８を有している。

図２を参照すると、チューナ１１は、アンテナ１０で受信すべき放送波を選局し、受信した放送波を周波数変換してＯＦＤＭ信号を生成する。復調回路１２は、チューナ１１からのＯＦＤＭ信号にＦＦＴ（高速フーリエ変換）を施してＯＦＤＭ復調信号を生成し、さらにこのＯＦＤＭ復調信号に対してデインターリーブ、デマッピングおよび誤り訂正などの復号化処理を施して、トランスポートストリームＴＳを生成する。デマルチプレキサ（ＤＭＵＸ）は、トランスポートストリームＴＳから、第１エレメンタリストリームＥＳ１，第２エレメンタリストリームＥＳ２およびＴＳエラー情報ＴＳｅを分離し、第１エレメンタリストリームＥＳ１を第１デコーダ１３に供給し、第２エレメンタリストリームＥＳ２を第２デコーダ１５に供給する。第１エレメンタリストリームＥＳ１はＭＰＥＧ２規格に準拠したビット列であり、第２エレメンタリストリームＥＳ２はＨ．２６４規格に準拠したビット列である。

また、復調回路１２は、誤り訂正処理の過程で、訂正不可能なエラーをＴＳパケット単位で検出し、このエラーの発生位置を示すＴＳエラー情報ＴＳｅをトランスポートストリームＴＳに含めてデマルチプレキサ（ＤＭＵＸ）に供給する。

第１デコーダ１３は、第１エレメンタリストリームＥＳ１をＭＰＥＧ２の符号化規格に従って復号化して復号画像信号ＤＳ１を生成する。ここで、第１デコーダ１３は、ＴＳエラー情報ＴＳｅを用いてマクロブロックエラー情報ＭＢｅを生成し、この情報ＭＢｅを信号出力部１８に供給する。マクロブロックエラー情報ＭＢｅは、各マクロブロックについてエラーの有無を示す情報である。マクロブロックは、通常、１６×１６個または８×８個の画素で構成されている。本発明の画素ブロックは、マクロブロック自体、或いはマクロブロックをさらに分割して得られるサブブロックでもよい。第１デコーダ１３は、スキップマクロブロック（skipped macroblock）の有無を示すデータや動きベクトルを含む動き量情報ＭＶ１を動き検出部１９に供給している。

他方、第２デコーダ１５は、第２エレメンタリストリームＥＳ２をＨ．２６４の符号化規格に従って復号化して復号画像信号ＤＳ２を生成する。また、第２デコーダ１５は、スキップマクロブロックの有無を示すデータや動きベクトルを含む動き量情報ＭＶ２を動き検出部１９に供給している。

さらに、第１デコーダ１３と第２デコーダ１５は、それぞれ、復号画像信号ＤＳ１と復号画像信号ＤＳ２のフレームレート、画像サイズ（水平解像度および垂直解像度）、およびパンスキャン（PANSCAN）の指定フラグなどの画像パラメータＰＡ１，ＰＡ２を、遅延検出部１７と信号出力部１８とに供給している。

第１遅延部１４は、遅延検出部１７から供給される第１遅延量ＤＶ１だけ、第１デコーダ１３からの復号画像信号ＤＳ１を遅延させて遅延画像信号ＬＳ１を生成し、この信号ＬＳ１を信号出力部１８に供給する。他方、第２遅延部１６は、遅延検出部１７から供給される第１遅延量ＤＶ２だけ、第２デコーダ１５からの復号画像信号ＤＳ２を遅延させて遅延画像信号ＬＳ２を生成し、この信号ＬＳ２を信号出力部１８に供給する。信号出力部１８は、マクロブロックエラー情報ＭＢｅに応じて、遅延画像信号ＬＳ１と遅延画像信号ＬＳ２とに基づいて出力画像信号ＣＳを生成する。この信号出力部１８の構成については後述する。

動き検出部１９は、復号画像信号ＤＳ１が表す画像（以下、ＭＰＥＧ画像と呼ぶ。）の動き量と、復号画像信号ＤＳ２が表す画像（以下、Ｈ．２６４画像と呼ぶ。）の動き量とを検出し、その検出結果ＭＤを遅延検出部１７に供給する。遅延検出部１７は、その検出結果ＭＤを用いて、復号画像信号ＤＳ１と復号画像信号ＤＳ２との間の同期ずれを検出し、その同期ずれを補償するための第１遅延量ＤＶ１と第２遅延量ＤＶ２とを生成する。これら動き検出部１９と遅延検出部１７の各構成については後述する。

図３は、遅延検出部１７の概略構成の一例を示す機能ブロック図である。図３を参照すると、遅延検出部１７は、画像サイズ検出部２０，ダウンコンバータ（解像度変換部）２１，第１画像抽出部２２，第２画像抽出部２３，一致検出部２４，フレームレート検出部２５および遅延量テーブル２６を有している。

画像サイズ検出部２０は、画像パラメータＰＡ１，ＰＡ２からＭＰＥＧ画像の画像サイズ（垂直解像度および水平解像度）とＨ．２６４画像の画像サイズとを検出し、これら画像サイズの比率である変換比率ＤＲをダウンコンバータ２１に与える。ダウンコンバータ２１は、変換比率ＤＲの倍率で復号画像信号ＤＳ１の解像度を変換して、すなわち復号画像信号ＤＳ１を間引いて変換画像信号ＤＣ１を生成する。この結果、変換画像信号ＤＣ１の画像サイズは復号画像信号ＤＳ２のそれに一致する。たとえば、ＭＰＥＧ画像の高解像度１９２０×１０８０が、Ｈ．２６４画像の解像度３２０×１８０に変換される。

また、画像サイズ検出部２０は、画像パラメータＰＡ１，ＰＡ２から、ＭＰＥＧ画像のアスペクト比とＨ．２６４画像のアスペクト比とを示す情報ＡＲを取得して、この情報ＡＲを一致検出部２４に供給する。

一方、フレームレート検出部２５は、画像パラメータＰＡ１，ＰＡ２からＭＰＥＧ画像のフレームレート（＝ｆｓ１）とＨ．２６４画像のフレームレート（＝ｆｓ２）とを取得し、Ｈ．２６４画像のフレームレートに対するＭＰＥＧ画像のフレームレートの比率（＝ｆｓ１／ｆｓ２）であるフレームレート比ＦＲを算出する。このフレームレート比ＦＲのデータは、第１画像抽出部２２および一致検出部２４にそれぞれ供給される。たとえば、ＭＰＥＧ画像のフレームレートが６０ｆｐｓ（フレーム毎秒）または３０ｆｐｓであり、Ｈ．２６４画像のフレームレートが１５ｆｐｓである場合、フレームレート比ＦＲは、４または２の整数となる。

第１画像抽出部２２は、変換画像信号ＤＣ１を構成する一連の画像フレームの中から、フレームレート比ＦＲに応じた数の基準フレームを抽出し、単数または複数の基準フレームＳＤ１を一致検出部２４に供給する。他方、第２画像抽出部２３は、遅延量テーブル２６から供給された遅延情報ＴＢを用いて、復号画像信号ＤＳ１を構成する一連の画像フレームの中から複数の基準フレームを抽出し、これら基準フレームＳＤ２を一致検出部２４に与える。

ところで、同一チャネルを使用してサイマルキャストされる固定受信機向けのデジタル放送と移動体向けのデジタル放送とは時間的に互いに同期しているとは限らず、両放送間の同期ずれは、デジタル放送を送信する放送局のシステム毎に異なり、当該システムに固有のものである。遅延量テーブル２６には、そのような各放送局で発生する同期ずれに相当する遅延時間のデータが格納されている。また、遅延量テーブル２６には、現在選局されているチャネルを示す受信チャネル情報ＣＨが制御回路（図示せず）から供給されており、遅延量テーブル２６は、受信チャネル情報ＣＨに対応する遅延時間のデータＴＢを第２画像抽出部２３に供給している。

一致検出部２４は、基準フレームＳＤ１，ＳＤ２を比較してこれら基準フレームＳＤ１，ＳＤ２間の情報量の差が最小になる基準フレームの組み合わせを検索する。この検索の結果得られた２枚の基準フレームが表す画像は略一致すると判断される。たとえば、基準フレームＳＤ１の数が２枚であり、基準フレームＳＤ２の数が３枚であれば、２×３（＝６）通りの組み合わせが存在するので、これら６通りの組み合わせの中から、基準フレーム間の情報量の差が最小となる組み合わせを検索することとなる。また、一致検出部２４は、検索の結果得られた基準フレーム間の時間差に基づいて遅延量ＤＶ１，ＤＶ２を算出する。一致検出部２４は、動き検出部１９による検出結果ＭＤに応じて、ＭＰＥＧ画像とＨ．２６４画像の双方に動きがあるか否かを判断することができる。一致検出部２４は、ＭＰＥＧ画像とＨ．２６４画像の双方に動きが殆ど無い場合には、基準フレームの一致精度が低くなるので検索処理を中断する機能を有する。

図４は、遅延検出部１７の概略構成の他の例を示す機能ブロック図である。図３に示した遅延検出部１７では、ダウンコンバータ２１によってＭＰＥＧ画像の解像度がＨ．２６４画像のそれに変換されたが、図４に示す遅延検出部１７では、アップコンバータ２７によってＨ．２６４画像の解像度がＭＰＥＧ画像のそれに変換される。このため、第１画像抽出部２２Ａは、復号画像信号ＤＳ１を構成する一連の画像フレームの中から基準フレームＳＤ１を抽出し、第２画像抽出部２３Ｂは、アップコンバータ２７から供給される変換画像信号ＤＣ１を構成する一連の画像フレームの中から基準フレームＳＤ２を抽出している。また、一致検出部２４Ａは、ＭＰＥＧ画像の高解像度を持つ基準フレームＳＤ１，ＳＤ２を用いて検索処理を実行する。その他の構成は、図３に示した遅延検出部１７の構成と同じである。

次に、主に遅延検出部１７（図３）による遅延量検出処理について、図５および図６のフローチャートを参照しつつ以下に説明する。図５と図６のフローチャートは、接続子Ｃ１，Ｃ２を介して相互に接続されている。

図５を参照すると、ステップＳ１では、制御回路（図示せず）がサイマル放送が受信されているか否かを判定し、サイマル放送が受信されていなければ、遅延量検出処理を終了させる。たとえば、制御回路（図示せず）が復調回路１２で分離されたデータ用のトランスポートストリームを復号化してＥＰＧ（電子番組表）情報を取得し、このＥＰＧ情報に基づいてサイマル放送を受信しているか否かを判定することができる。サイマル放送が受信されている場合、画像サイズ検出部２０は、画像パラメータＰＡ１，ＰＡ２からＭＰＥＧ画像の画像サイズとＨ．２６４画像の画像サイズとを取得し、これら画像サイズの比率を算出する（ステップＳ２）。画像サイズ検出部２０は、この画像サイズの比率である変換比率ＤＲをダウンコンバータ２１に供給し、ダウンコンバータ２１は、変換比率ＤＲに応じた倍率でＭＰＥＧ画像（復号画像信号ＤＳ１）の解像度をＨ．２６４画像の解像度に変換して変換画像信号ＤＣ１を生成する（ステップＳ３）。

さらに、画像サイズ検出部２０は、画像パラメータＰＡ１，ＰＡ２からＭＰＥＧ画像のアスペクト比とＨ．２６４画像のアスペクト比とを取得し（ステップＳ４）、これらアスペクト比ＡＲのデータを一致検出部２４に与える。一致検出部２４は、これらアスペクト比が同一か否かを判定し（ステップＳ５）、アスペクト比が同一でなければ、遅延量検出処理を終了させる。

ＭＰＥＧ画像のアスペクト比とＨ．２６４画像のアスペクト比とが同一であると判定されたとき（ステップＳ５）、フレームレート検出部２５は、画像パラメータＰＡ１，ＰＡ２からＭＰＥＧ画像のフレームレートとＨ．２６４画像のフレームレートとを検出する（ステップＳ６）。フレームレート検出部２５は、さらに、Ｈ．２６４画像のフレームレートが固定レートであるか否かを判定する（ステップＳ７）。Ｈ．２６４画像のフレームレートが可変レートであれば、遅延量検出処理は終了する。

Ｈ．２６４画像のフレームレートが固定レートであると判定したとき（ステップＳ７）、フレームレート検出部２５は、ＭＰＥＧ画像のフレームレートとＨ．２６４画像のフレームレートとの比率ＦＲを算出し（ステップＳ８）、このフレームレート比ＦＲは、第１画像抽出部２２と一致検出部２４とに供給される。一致検出部２４は、フレームレート比ＦＲが整数比であるか否かを判定し（ステップＳ９）、フレームレート比ＦＲが整数比でなければ、遅延量検出処理を終了させる。

続くステップＳ１０（図６）では、動き検出部１９（図２）は、第１デコーダ１３から供給された動き量情報ＭＶ１または復号画像信号ＤＳ１に基づいて、ＭＰＥＧ画像の動き量を検出する。次いで、動き検出部１９は、ＭＰＥＧ画像の動き量が所定範囲外にあるか否か、すなわち、遅延量を検出するために十分な動きがＭＰＥＧ画像にあるか否かを判定する（ステップＳ１１）。ＭＰＥＧ画像の動き量が所定範囲外に無いとき、動き検出部１９はステップＳ１０に処理を戻す。一方、ＭＰＥＧ画像の動き量が所定範囲を超えているとき、動き検出部１９は、さらに、第２デコーダ１５から供給された動き量情報ＭＶ２または復号画像信号ＤＳ２に基づいて、Ｈ．２６４画像の動き量を検出する（ステップＳ１２）。次いで、動き検出部１９は、Ｈ．２６４画像の動き量が所定範囲外にあるか否か、すなわち、遅延量を検出するために十分な動きがＨ．２６４画像にあるか否かを判定する（ステップＳ１３）。動き検出部１９は、Ｈ．２６４画像の動き量が所定範囲外に無いときはステップＳ１０に処理を戻し、Ｈ．２６４画像の動き量が所定範囲を超えているときには次のステップＳ１４に処理を移行させる。動き検出部１９による検出結果ＭＤは、一致検出部２４（図３）に供給される。

このように動き検出部１９は、正確な遅延量を検出すべく、ＭＰＥＧ画像とＨ．２６４画像の双方の動き量を監視して双方の動き量が一定範囲を超えた場合に次のステップＳ１４に処理を移行させているが、かかる場合に限定されるものではない。ＭＰＥＧ画像とＨ．２６４画像のいずれか一方のみの動き量を監視して当該一方の動き量が所定範囲を超えた場合に次のステップＳ１４に処理を移行させることも可能である。

続くステップＳ１４では、第１画像抽出部２２は、ＭＰＥＧ画像からＭ枚（Ｍは正整数）の基準フレームＳＤ１を抽出し、これら基準フレームＳＤ１を一致検出部２４に与える。基準フレームＳＤ１の枚数Ｍは、ＭＰＥＧ画像とＨ．２６４画像とのフレームレート比ＦＲに基づいて決定される。たとえば、フレームレート比ＦＲが「２」の場合、２×ｋ枚（ｋは正整数）の基準フレームＳＤ１を抽出することが可能である。

次に、第２画像抽出部２３は、Ｈ．２６４画像から基準フレームＳＤ２を抽出するために、選局されている放送局に固有の遅延量Δｔを示す遅延情報ＴＢを遅延量テーブル２６から取得する（ステップＳ１５）。続けて、第２画像抽出部２３は、カレント時間ｔ₀から遅延量Δｔだけ遅延させた時間ｔ₁を中心にした長さＴを持つ時間窓（サンプリング窓）を設定する（ステップＳ１６）。図７を参照しつつ時間窓について説明する。図７には、ＭＰＥＧ画像を構成する一連の画像フレームＭ０，Ｍ１，Ｍ２，…と、Ｈ．２６４画像を構成する一連の画像フレームＨ０，Ｈ１，Ｈ２，…とが示されている。これらＭＰＥＧ画像とＨ．２６４画像とは互いに同期していない。また、カレント時間ｔ₀付近に、ＭＰＥＧ画像を構成する２枚の基準フレームＭ５，Ｍ６がサンプリングされている。このとき、長さＴの時間窓が、カレント時間ｔ₀から遅延量Δｔだけ遅延した時間ｔ₁を中心にして設定されることとなる。

次に、第２画像抽出部２３は、時間窓に含まれるＮ枚（Ｎは正整数）の画像フレームを基準フレームとして抽出し、これら基準フレームを一致検出部２４に供給する（ステップＳ１７）。図７の例では、長さＴの時間窓に含まれる３枚の基準フレームＨ１，Ｈ２，Ｈ３が抽出されることとなる。

次に、一致検出部２４は、第１画像抽出部２２からの基準フレームＳＤ１と、第２画像抽出部２３からの基準フレームＳＤ２との差が最小になる組み合わせを検索する（ステップＳ１８）。図７の例では、ＭＰＥＧ画像の基準フレームＭｘとＨ．２６４画像の基準フレームＨｘとの組み合わせ（Ｍｘ，Ｈｘ）は、（Ｍ５，Ｈ１）、（Ｍ５，Ｈ２）、（Ｍ５，Ｈ３）、（Ｍ６，Ｈ１）、（Ｍ６，Ｈ２）、（Ｍ６，Ｈ３）の６通り存在する。これら組み合わせのうち、基準フレーム間の情報量の差が最小になる組み合わせが検索される。具体的には、たとえば、各組み合わせについて基準フレーム間の輝度差を画素毎に算出し、これら輝度差の総和を算出して、総和が最小になる組み合わせを検索すればよい。或いは、基準フレーム間の相関が最大になる組み合わせを検索することも可能である。

さらに、一致検出部２４は、検索が成功したか否かを判定する（ステップＳ１９）。たとえば、前記輝度差の総和が予め定めた閾値を超えているか、または前記相関が予め定めた閾値未満であれば、基準フレーム間の一致度は低く検索に失敗したと判定することができる。検索が成功しないとき、一致検出部２４は、基準フレームの枚数Ｎを増やすために時間窓の長さＴを拡大し（ステップＳ２１）、この後、ステップＳ１７に処理を戻す。他方、検索が成功したとき、一致検出部２４は、検索の結果得た組み合わせの２枚の基準フレームが一致すると判定し、これら基準フレーム間の時間差に基づいて遅延量ＤＶ１，ＤＶ２を算出する（ステップＳ２０）。図７の例では、２枚の基準フレームＭ５，Ｈ２の組み合わせが検索された場合、基準フレームＭ５，Ｈ２間の時間差が得られる。遅延量ＤＶ１，ＤＶ２は、基準フレーム間の時間差を補償するように適宜設定されればよい。以上で、遅延算出処理は終了する。

なお、一致検出部２４は、基準フレーム間の全画素について輝度差や相関を算出することで基準フレーム間の差を得る処理を実行しているが、この処理の代わりに、一致精度を向上させるべく、基準フレームの画像の上下端または左右端にある端部画像領域を除いた中央領域内の画素のみについて輝度差や相関を算出してもよい。

上記のように算出された遅延量ＤＶ１，ＤＶ２は、それぞれ、第１遅延部１４と第２遅延部１６とに供給される。第１遅延部１４は、ＭＰＥＧ画像のタイムスタンプの値に第１遅延量ＤＶ１を加算し、その加算値のタイミングで遅延画像信号ＬＳ１を信号出力部１８に供給する。同様に、第２遅延部１６は、Ｈ．２６４画像のタイムスタンプの値に第２遅延量ＤＶ２を加算し、その加算値によるタイミングで遅延画像信号ＬＳ２を信号出力部１８に供給することとなる。タイムスタンプとしては、ＭＰＥＧ２規格とＨ．２６４規格でそれぞれ規定されるＰＴＳ（Presentation Time Stamp）を使用できる。

図２に示したように、遅延量ＤＶ１，ＤＶ２に応じて、遅延部１４，１６はそれぞれ復号画像信号ＤＳ１，ＤＳ２を遅延させており、遅延部１４，１６はデコーダ１３，１５よりも後段に配置されているが、かかる配置に限定する必要はない。たとえば、第１デコーダ１３よりも前段に遅延部１４を配置してエレメンタリストリームＥＳ１が復号化される時間を調整してもよいし、第２デコーダ１５よりも前段に遅延部１６を配置してエレメンタリストリームＥＳ２が復号化される時間を調整してもよい。或いは、信号処理回路３から遅延部１４，１６を取り除き、遅延検出部１７がデコーダ１３，１５にそれぞれ復号化する時間を調整させる構成を採用してもよい。

なお、サイマルキャストされている固定受信機向けデジタル放送と移動体向けデジタル放送との同時受信を開始する際に遅延量ＤＶ１，ＤＶ２が一度算出されれば、その後、原則として遅延検出部１７は遅延量ＤＶ１，ＤＶ２の算出処理を行う必要がない。ただし、復号画像信号ＤＳ１，ＤＳ２間の同期ずれが変動し得る受信環境下では、定期的に遅延量ＤＶ１，ＤＶ２を算出してもよい。

図８は、信号出力部１８の概略構成を示す機能ブロック図である。この信号出力部１８は、アップコンバータ３０，フレーム補間部３１，画像分割部３２および画素ブロック選択部３３を有している。これらアップコンバータ（解像度変換部）３０，フレーム補間部３１および画像分割部３２には、それぞれ、第１デコーダ１３と第２デコーダ１５から画像パラメータＰＡ１，ＰＡ２が供給されている。

アップコンバータ３０は、遅延画像信号ＬＳ２の解像度を遅延画像信号ＬＳ１の解像度に変換して遅延画像信号ＬＳ２の画像サイズを遅延画像信号ＬＳ１の画像サイズに一致させる画素補間ブロックである。フレーム補間部３１は、アップコンバータ３０の出力をフレーム補間し、遅延画像信号ＬＳ２のフレームレートを遅延画像信号ＬＳ１のフレームレートに変換するフレームレート変換ブロックである。そして、画像分割部３２は、フレーム補間部３１の出力をマクロブロックに分割して画素ブロック選択部３３に供給する。

画素ブロック選択部３３は、マクロブロックエラー情報ＭＢｅに応じて、画像分割部３２の出力信号と遅延画像信号ＬＳ１とのいずれか一方をマクロブロック単位で選択し、選択した信号を出力画像信号ＣＳとして供給する。具体的には、画素ブロック選択部３３は、遅延画像信号ＬＳ１のマクロブロックにエラーが発生していないときは、遅延画像信号ＬＳ１のマクロブロックを選択して出力する一方、遅延画像信号ＬＳ１のマクロブロックにエラーが発生しているときは、当該エラーが起きているマクロブロックに代えて、画像分割部３２の出力信号中の対応するマクロブロックを選択して出力する。

このように、エラーが起きているマクロブロックのみを、画像分割部３２の出力信号中の対応するマクロブロックで置き換えるので、極力高品質且つ極力自然な出力画像信号ＣＳを得ることが可能になる。エラーが発生した場合、図９に示すように、出力画像信号ＣＳが表すピクチャ４０は、固定受信機向け放送の高品質の第１マクロブロック群４１，４１，４１と、移動体向け放送の低品質のマクロブロック群４２ａ，４２ｂとで構成され、エラーが全く起きない場合のピクチャは、固定受信機向け放送の高品質のマクロブロックのみで構成されるので、極力高画質且つ自然で視覚的に良好な表示映像を供給することが可能となる。

また、遅延検出部１７は、ＭＰＥＧ画像とＨ．２６４画像間の同期ずれを検出し、この同期ずれを補償するための遅延量ＤＶ１，ＤＶ２を遅延部１４，１６に供給するので、遅延部１４，１６は、互いに同期したＭＰＥＧ画像とＨ．２６４画像とを信号出力部１８に供給することができる。

さらに、動き検出部１９（図２）は、ＭＰＥＧ画像とＨ．２６４画像に、遅延量を算出し得る程度に十分な動きがあるか否かを検出し、その検出結果ＭＤを一致検出部２４に供給している。一致検出部２４は、検出結果ＭＤが肯定的なときに限り、遅延量ＤＶ１，ＤＶ２を生成するので、誤った遅延量ＤＶ１，ＤＶ２の発生を確実に回避することが可能である。

次に、動き検出部１９（図２）で検出される動き量の具体的な算出法の例をいくつか以下に説明する。第１の算出法は、時間的に連続する複数枚の画像フレーム間の輝度差の和を動き量として算出する方法である。具体的には、時間的に連続する３枚の画像フレームＰ₀，Ｐ₁，Ｐ₂を監視している場合に、動き検出部１９は、画像フレームＰ₀，Ｐ₁間の輝度差の総和ＤＢ１と、画像フレームＰ₁，Ｐ₂間の輝度差の総和ＤＢ２とを動き量として算出する。動き検出部１９は、動き量ＤＢ１が所定の閾値ＴＨ１以上で、且つ、動き量ＤＢ１が所定の閾値ＴＨ２以上である場合に限り、動き量ＤＢ１，ＤＢ２が所定範囲外にあり、画像に動きがあると判定すること（ステップＳ１１，Ｓ１３；図６）が可能である。

動き量の第２の算出法は、スキップマクロブロックの数を利用する方法である。ＭＰＥＧ２規格およびＨ．２６４規格によれば、たとえばＰピクチャの符号化の過程で、符号化すべき現在の画像（カレント画像）のマクロブロックが、当該カレント画像よりも時間的に前の画像のマクロブロックと同一であり、動きベクトルがゼロの場合、当該マクロブロックは符号化されず、スキップされる。このようなスキップマクロブロックの情報は、第１デコーダ１３および第２デコーダ１５で取得される。このため、動き検出部１９は、第１デコーダ１３および第２デコーダ１５より供給される画像パラメータＰＡ１，ＰＡ２からスキップマクロブロックの情報を取得し、スキップマクロブロックの数を動き量として算出することができる。動き検出部１９は、たとえば１画像フレーム内のスキップマクロブロックの数が所定の閾値よりも小さい場合には、動き量が所定範囲外にあり、画像に動きがあると判定すること（ステップＳ１１，Ｓ１３；図６）が可能である。

動き量の第３の算出法は、動きベクトルを利用する方法である。この第３の算出法を図１０のフローチャートを参照しつつ以下に説明する。動き検出部１９は、画像パラメータＰＡ１，ＰＡ２から動きベクトル情報を取得できる。図１０を参照すると、ステップＳ３０では、動き検出部１９は、１画像フレーム内において、動きベクトルのノルムが閾値Ｖ_THを超えたマクロブロックを検索する。ノルムが閾値を超えたマクロブロックが発見できない場合は、動き検出部１９は、検索が失敗したと判定し（ステップＳ３１）、さらに画像の動き量が所定範囲内にあると判定して（ステップＳ３７）、動き検出処理を終了させる。他方、動き検出部１９は、ノルムが閾値を超えたマクロブロックを発見した場合、検索が成功したと判定し（ステップＳ３１）、検索されたマクロブロックを中心にした局所領域を設定する（ステップＳ３２）。この局所領域は、数個〜数百個のマクロブロックを含む領域に設定すればよい。さらに、動き検出部１９は、局所領域内のマクロブロックのうち、動きベクトルのノルムが閾値Ｖ_THを超えているマクロブロックの数を計数する（ステップＳ３３）。動き検出部１９は、その計数値が設定値以上か否かを判定する（ステップＳ３４）。

その計数値が設定値以上であると判定したとき（ステップＳ３４）、動き検出部１９は、局所領域内に移動オブジェクト（たとえば、変化しない背景の中を移動する物体の画像）が存在すると判断して次のステップＳ３５に処理を移行させる。一方、その計数値が設定値未満であると判定したとき（ステップＳ３４）、動き検出部１９は、局所領域内に移動オブジェクトが存在しないと判断し、さらに画像の動き量が所定範囲内にあると判定して（ステップＳ３７）、動き検出処理を終了させる。

ステップＳ３５では、動き検出部１９は、局所領域内の全てのマクロブロックの動きベクトルの角度が所定の角度範囲内（たとえば、約±１５度の範囲内）に収まるか否かを判定する。全マクロブロックの動きベクトルの角度が所定の角度範囲内になければ、動き検出部１９は、画像の動き量が所定範囲内にあると判定して（ステップＳ３７）、動き検出処理を終了させる。他方、全てのマクロブロックの動きベクトルの角度が所定の角度範囲内にあれば、動き検出部１９は、移動オブジェクトは略一方向へ移動していると判断し、さらに、画像の動き量が所定範囲を超えていると判定して（ステップＳ３６）、動き検出処理を終了させる。

なお、上記ステップＳ１８（図６）の検索処理において、一致検出部２４は、上記ステップＳ３２で設定された局所領域のみについて基準フレーム間の情報量の差が最小になる組み合わせを検索してもよい。これにより、局所領域以外の領域については基準フレーム間の差を算出しなくて済むので、処理速度の向上が可能になる。

以上、本発明に係る種々の実施例について説明した。上記信号処理回路３の構成は、ハードウェアで実現されてもよいし、或いは、光ディスクなどの記録媒体に記録されたプログラムまたはプログラムコードで実現されてもよい。そのようなプログラムまたはプログラムコードは、ＣＰＵなどのプロセッサに上記信号処理回路３の機能の全部または一部の処理を実行させるものである。

Claims (12)

1. サイマルキャストで送信された第１のデジタル放送および第２のデジタル放送の双方の受信信号を処理するデジタル放送受信用の信号処理装置であって、
   第１の符号化規格に従って前記第１のデジタル放送の受信信号を復号化して第１の復号画像信号を生成する第１デコーダと、
   前記第１の符号化規格とは異なる第２の符号化規格に従って前記第２のデジタル放送の受信信号を復号化して第２の復号画像信号を生成する第２デコーダと、
   前記第１の復号画像信号と前記第２の復号画像信号とに基づいて出力画像信号を生成しこれを出力する信号出力部と、
   前記第１の復号画像信号と前記第２の復号画像信号との間の同期ずれに相当する遅延量を検出する遅延検出部と、
   前記遅延量に応じて前記第１および第２の復号画像信号の少なくとも一方を遅延させて前記第１および第２の復号画像信号を互いに同期させる遅延部と、を備え、
   前記第１デコーダは、前記受信信号の復号化過程で所定数の画素からなる画素ブロック単位でエラーを検出し、
   前記信号出力部は、前記エラーが検出されないときは、前記第１の復号画像信号の画素ブロックを出力する一方、前記エラーが検出されたときは、当該エラーが検出された画素ブロックに代えて、前記第２の復号画像信号中の対応する画素ブロックを出力することにより前記出力画像信号を生成することを特徴とする信号処理装置。
2. 請求項１記載の信号処理装置であって、前記第１のデジタル放送は、前記第２のデジタル放送よりも高品質のデジタル放送であることを特徴とする信号処理装置。
3. 請求項１または２記載の信号処理装置であって、前記信号出力部は、前記第２の復号画像信号の解像度を前記第１の復号画像信号の解像度に変換する解像度変換部を含むことを特徴とする信号処理装置。
4. 請求項１から３のうちのいずれか１項に記載の信号処理装置であって、前記信号出力部は、前記第２の復号画像信号の面像フレームを補間して前記第２の復号画像信号のフレームレートを前記第１の復号画像信号のフレームレートに変換するフレーム補間部を含むことを特徴とする信号処理装置。
5. 請求項１から４のうちのいずれか１項に記載の信号処理装置であって、前記第１および第２の復号画像信号の少なくとも一方が表す画像の動き量が所定範囲外にあるか否かを検出する動き検出部をさらに備え、
   前記遅延検出部は、前記動き検出部によって前記動き量が所定範囲外にあると検出されたときに限り前記遅延量を検出することを特徴とする信号処理装置。
6. 請求項５記載の信号処理装置であって、
   前記遅延検出部は、
   前記第１の復号画像信号の解像度を前記第２の復号画像信号の解像度に変換する解像度変換部と、
   前記解像度変換部で解像度変換された第１の復号画像信号を構成する一連の画像フレームから第１の基準フレームを抽出し、且つ前記第２の復号画像信号を構成する一連の画像フレームから第２の基準フレームを抽出する画像抽出部と、
   前記第１および第２の基準フレーム間の差が最小になる２枚の基準フレームの組み合わせを検索し、当該検索された基準フレーム間の時間差に基づいて前記遅延量を算出する一致検出部と、
   を含むことを特徴とする信号処理装置。
7. 請求項５記載の信号処理装置であって、
   前記遅延検出部は、
   前記第１の復号画像信号の解像度を前記第２の復号画像信号の解像度に変換する解像度変換部と、
   前記第１の復号画像信号を構成する一連の画像フレームから第１の基準フレームを抽出し、且つ前記解像度変換部で解像度変換された第２の復号画像信号を構成する一連の画像フレームから第２の基準フレームを抽出する画像抽出部と、
   前記第１および第２の基準フレーム間の差が最小になる２枚の基準フレームの組み合わせを検索し、当該検索された基準フレーム間の時間差に基づいて前記遅延量を算出する一致検出部と、
   を含むことを特徴とする信号処理装置。
8. 請求項６または７記載の信号処理装置であって、前記画像抽出部は、予め設定された時間窓内の画像フレームを前記第２の基準フレームとして抽出しており、前記基準フレームの組み合わせの検索に失敗したとき、前記画像抽出部は、前記時間窓を拡大して前記第２の基準フレームを抽出することを特徴とする信号処理装置。
9. 請求項１から４および請求項５から８のうちのいずれか１項に記載の信号処理装置であって、前記第１のデジタル放送は固定受信機向けのデジタル放送であり、前記第２のデジタル放送は移動体向けのデジタル放送であることを特徴とする信号処理装置。
10. サイマルキャストで送信された第１のデジタル放送および第２のデジタル放送を受信するデジタル放送受信装置であって、
    前記第１および第２のデジタル放送の受信信号を供給する受信回路と、
    請求項１から４および請求項５から９のうちのいずれか１項に記載の信号処理装置と、
    を備えることを特徴とするデジタル放送受信装置。
11. サイマルキャストで送信された第１のデジタル放送および第２のデジタル放送の双方の受信信号を処理するデジタル放送受信用の信号処理方法であって、
    （ａ）第１の符号化規格に従って前記第１のデジタル放送の受信信号を復号化して第１の復号画像信号を生成するステップと、
    （ｂ）前記第１の符号化規格とは異なる第２の符号化規格に従って前記第２のデジタル放送の受信信号を復号化して第２の復号画像信号を生成するステップと、
    （ｃ）前記ステップ（ａ）の復号化過程で所定数の画素からなる画素ブロック単位でエラーを検出するステップと、
    （ｄ）前記エラーが検出されないときは、前記第１の復号画像信号の画素ブロックを出力する一方、前記エラーが検出されたときは、当該エラーが検出された画素ブロックに代えて、前記第２の復号画像信号中の対応する画素ブロックを出力することにより出力画像信号を生成するステップと、
    （ｅ）前記第１の復号画像信号と前記第２の復号画像信号との間の同期ずれに相当する遅延量を検出するステップと、
    （ｆ）前記遅延量に応じて前記第１および第２の復号画像信号の少なくとも一方を遅延させて前記第１および第２の復号画像信号を互いに同期させるステップと、
    を備えることを特徴とする信号処理方法。
12. サイマルキャストで送信された第１のデジタル放送および第２のデジタル放送の双方の受信信号の処理をプロセッサに実行させるデジタル放送受信用の信号処理プログラムであって、前記処理は、
    （ａ）第１の符号化規格に従って前記第１のデジタル放送の受信信号を復号化して第１の復号画像信号を生成する第１復号化処理と、
    （ｂ）前記第１の符号化規格とは異なる第２の符号化規格に従って前記第２のデジタル放送の受信信号を復号化して第２の復号画像信号を生成する第２復号化処理と、
    （ｃ）前記第２復号化処理の過程で所定数の画素からなる画素ブロック単位でエラーを検出するエラー検出処理と、
    （ｄ）前記エラーが検出されないときは、前記第１の復号画像信号の画素ブロックを出力する一方、前記エラーが検出されたときは、当該エラーが検出された画素ブロックに代えて、前記第２の復号画像信号中の対応する画素ブロックを出力することにより出力画像信号を生成する信号出力処理と、
    （ｅ）前記第１の復号画像信号と前記第２の復号画像信号との間の同期ずれに相当する遅延量を検出する遅延検出処理と、
    （ｆ）前記遅延量に応じて前記第１および第２の復号画像信号の少なくとも一方を遅延させて前記第１および第２の復号画像信号を互いに同期させる遅延処理と、
    を含むことを特徴とする信号処理プログラム。

Images