JP4425980B2

JP4425980B2 - マルチメディア情報受信装置

Info

Publication number: JP4425980B2
Application number: JP2008537390A
Authority: JP
Inventors: 康明瀧本; 雅浩虻川; 慎二赤津
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2006-10-04
Filing date: 2006-10-04
Publication date: 2010-03-03
Anticipated expiration: 2026-10-04
Also published as: EP2071749B1; CN101517903B; JPWO2008041336A1; EP2071749A4; CN101517903A; US20100115569A1; EP2071749A1; US8726318B2; WO2008041336A1

Description

この発明は、放送と同一内容のマルチメディア情報が通信ネットワークを通じて配信されている場合に、放送系ストリームを、ネット系ストリームで補完して伝送エラーを低減させるマルチメディア情報受信装置に関するものである。

近年、放送衛星の使用や地上波によるデジタル放送が行われるようになって来た。一方、インターネットの普及に伴って音楽やドラマなどデジタル化されたマルチメディア情報の配信も行われるようになってきた。このようにマルチメディア情報の伝送方法の多様化に伴って、複数の伝送系統により伝送されるいずれのマルチメディア情報を一台で選択視聴できる機能を持つ受信装置の出現が見られる。また、情報の提供方法として、異なる伝送系統を介して、同一内容のマルチメディア情報を同時に放送および配信するサービスが整うことが想定される。
ところで、上述のように異なる伝送系統で同一内容のマルチメディア情報が同時に提供される場合において、放送系で受信したストリームの伝送エラーを補完するために、ネット系で受信したストリームのデータを用いることができるとしたら、誤りのより少ない高品質のマルチメディア情報の復元が期待できる。

従来技術として、放送系で伝送された主情報とＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）通信系で伝送された補完情報とを合成することにより、映像を高画質化するマルチメディア情報受信装置がある（例えば特許文献１参照）。この装置で扱っている主情報は規格ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）２のビデオデータを構成する、例えば優先度の高いＩピクチャとＰピクチャデータであり、一方、補完情報は優先度の低いＢピクチャデータである。これら主情報と補完情報は、送信側でマルチメディア情報から予め分離生成され、別系統で伝送される。そして、受信装置において、例えば高画質を望むユーザに対しては、主情報に補完情報を合成して高画質再生を行うようにしている。したがって、送信側では、1つの番組に対して異なるデータを生成する設備が必要となる。また、全く同一の放送データを別伝送系で伝送するものではないので、例えばＩＰ系で伝送された補完情報単独による十分な画質の番組を楽しむことは困難である。さらに、特許文献１においては、伝送エラーの対処方法についての言及は何ら見られない。

特開２００３−３７５７１号公報

この発明は、上記のような課題を解決するためになされたもので、異なる２系統により同一番組のマルチメディア情報が同時に並行して伝送されている環境において、伝送エラーを少なくしたマルチメディア情報を復元し、品質のよい画像や音声の再生を可能にするマルチメディア情報受信装置を得ることを目的とする。

この発明に係るマルチメディア情報受信装置は、放送系と当該放送系とは異なる別伝送系により伝送されるそれぞれのデジタル化されたマルチメディア情報を受信する機能を持つマルチメディア情報受信装置において、放送系により送信されたマルチメディア情報を受信して放送系情報として得る放送系受信手段と、別伝送系により同時に並行して送信された、放送系と同一内容のマルチメディア情報を受信して別伝送系情報として得る別伝送系受信手段と、得られた放送系情報の構成部分と別伝送系情報の構成部分から、エラーの少ない構成部分を選択して並べることにより１本のマルチメディア情報を生成する合成手段とを備え、合成手段は、放送系受信手段で復調された放送系情報を一時的に記憶すると共に、処理単位として所定の時間範囲の放送系情報を出力する放送系一時記憶手段と、別伝送系受信手段で復調された別伝送系情報を一時的に記憶すると共に、所定の時間範囲の別伝送系情報を出力する別伝送系一時記憶手段と、所定の時間範囲の放送系情報の構成部分と所定の時間範囲の別伝送系情報の構成部分との対応付けをそれぞれ行い、対応付けた各対の構成部分間の類似度を評価して置換候補とする構成部分対を決定し、決定した各置換候補の構成部分の識別記号を置換候補情報として出力する対応付け手段と、対応付け処理に対応した所定の時間範囲の放送系情報を前記放送系一時記憶手段から取り出すと共に、同じ対応付け処理に対応した所定の時間範囲の別伝送系情報を別伝送系一時記憶手段から取り出し、置換候補情報が指定する識別信号に基づいて、放送系情報の構成部分と別伝送系情報の構成部分から、エラーの少ない構成部分を選択して並べることにより所定の時間範囲の合成マルチメディア情報を生成する相互置換手段とを有したものである。

このことによって、伝送中に放送系および別伝送系のいずれかにおいて、エラーあるいはデータ抜けが発生したとしても、再生に使用するマルチメディア情報は常にエラー率を下げることができ、画質や音質の乱れを減少させることが可能になる。

この発明の実施の形態１によるマルチメディア情報受信装置の構成を示すブロック図である。この発明の実施の形態１に係る合成部の機能構成を示すブロック図である。この発明の実施の形態１に係る対応付け部の機能構成を示すブロック図である。この発明の実施の形態１に係るＴＳパケット対応付け候補の生成方法を例示する説明図である。この発明の実施の形態１に係る置換候補の生成方法を示す説明図である。この発明の実施の形態１に係る置換候補情報の構成を示す説明図である。この発明の実施の形態１に係る合成部の他の機能構成を示すブロック図である。

以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
この実施の形態１では、マルチメディア情報を、ＭＰＥＧ２方式のトランスポートストリーム（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ；ＴＳ）を用いて送信および受信処理する例について説明する。これに限らず、この発明は、例えばＤＳＭ−ＣＣ（ＤｉｇｉｔａｌＳｔｏｒａｇｅＭｅｄｉａ−ＣｏｍｍａｎｄａｎｄＣｏｎｔｒｏｌ）伝送、ＩＰｏｖｅｒＤＶＢ（ＤｉｇｉｔａｌＶｉｄｅｏＢｒｏａｄｃａｓｔｉｎｇ）伝送など、マルチメディア情報を小単位に分割したパケットなどの構成部分を連続データにして伝送する方式であれば、同様に適用できるものである。
図１は、この発明の実施の形態１によるマルチメディア情報受信装置１００の機能構成を示すブロック図である。図において、マルチメディア情報受信装置１００は、放送系とＩＰ系により同時に並行して伝送されるデジタル化された同一内容のＭＰＥＧ−ＴＳを受信し再生する機能として、放送受信部（放送系受信手段）１０１、ＩＰ通信受信部（別伝送系受信手段）１０２、合成部１０３およびデコード部１０４を備えている。
放送受信部１０１は、放送系により送信されたマルチメディア情報を受信してＭＰＥＧ−ＴＳである放送系ＴＳ（放送系情報）を復調する手段である。ＩＰ通信受信部１０２は、放送系とは別伝送系であるＩＰ通信系により同時に並行して送信される放送系と同一のマルチメディア情報を受信してＭＰＥＧ−ＴＳであるＩＰ系ＴＳ（別伝送系情報）を復調する手段である。合成部１０３は、放送系ＴＳのＴＳパケット（放送系情報の構成部分）とＩＰ系ＴＳのＴＳパケット（別伝送系情報の構成部分）から、エラーの少ないＴＳパケットを選択して並べることにより１本の合成ＭＰＥＧ−ＴＳを生成する手段である。デコード部１０４は、合成ＭＰＥＧ−ＴＳを復号して映像や音声のデータを再生する手段である。

次に図１の装置の動作について説明する。
ここで、マルチメディア情報送信装置２００からは、同一番組のマルチメディア情報のＭＰＥＧ−ＴＳが、放送電波およびＩＰ通信ネットワークにより同時に並行して送信されているものとする。放送受信部１０１では、放送波を受信して復調し、得られた番組の放送系ＴＳｓ１を合成部１０３へ出力する。一方、ＩＰ通信受信部１０２では、ＩＰ系ネットワークを介して伝送されたＩＰ通信信号（別伝送系情報）を受信し、ＩＰ系ＴＳｓ２を取り出して合成部１０３へ出力する。合成部１０３では、入力された放送系ＴＳｓ１とＩＰ系ＴＳｓ２について、各系のＴＳパケットの中からエラーの少ないＴＳパケットを選択して並べ１本の受信ＭＰＥＧ−ＴＳｓ３を生成し、デコード部１０４へ出力する。デコード部１０４では、入力された合成ＭＰＥＧ−ＴＳｓ３を復号して映像および音声のデータｓ４を生成し出力する。

図２に示された合成部１０３の機能構成について説明する。
合成部１０３は、放送系一時記憶部２０１、ＩＰ系一時記憶部（別伝送系一時記憶手段）２０２、対応付け部２０３、および相互置換部２０４、放送系誤り検出訂正部２０５およびＩＰ系誤り検出訂正部２０６を有する。放送系誤り検出訂正部２０５は、放送受信部１０１で復調された放送系ＴＳの誤り検出と訂正を行い、訂正後のＴＳに当該ＴＳの誤り状態を付加して出力する手段である。ＩＰ系誤り検出訂正部２０６は、ＩＰ通信受信部１０２で復調されたＩＰ系ＴＳの誤り検出と訂正を行い、訂正後のＴＳに当該ＴＳの誤り状態を付加して出力する手段である。放送系一時記憶部２０１は、誤り訂正後の放送系ＴＳを一時的に記憶すると共に、処理単位として所定の時間範囲の放送系ＴＳを出力する手段である。ＩＰ系一時記憶部２０２は、誤り訂正後のＩＰ系ＴＳを一時的に記憶すると共に、処理単位として所定の時間範囲のＩＰ系ＴＳを出力する手段である。

対応付け部２０３は、所定の時間範囲の放送系ＴＳの各ＴＳパケットと所定の時間範囲のＩＰ系ＴＳの各ＴＳパケットとの対応付けをそれぞれ行い、対応付けた各対のＴＳパケット間の類似度を評価して置換候補とするＴＳパケット対を決定し、決定した各置換候補のＴＳパケットの識別記号を置換候補情報として出力する手段である。相互置換部２０４は、対応付け処理に対応した所定の時間範囲の放送系ＴＳを放送系一時記憶部２０１から取り出すと共に、ＩＰ系一時記憶部２０２からも同じ対応付け処理に対応した所定の範囲のＩＰ系ＴＳを取り出し、置換候補情報が指定する識別信号に基づいて、放送系ＴＳのＴＳパケットとＩＰ系ＴＳのＴＳパケットから、エラーの少ないＴＳパケットを選択して並べることにより所定の時間範囲の合成ＭＰＥＧ−ＴＳを生成する手段である。

次に、合成部１０３の動作について説明する。
放送系誤り検出訂正部２０５では、入力された放送系ＴＳｓ１に含まれるＴＳパケットそれぞれについて、当該ＴＳパケットの誤りを当該ＴＳパケットに付加された誤り訂正符号により検出および訂正し、訂正後のＴＳパケットに誤り状態を付加して順次出力することによりＴＳｓ１０を得る。他方、ＩＰ系誤り検出訂正部２０６では、入力されたＩＰ系ＴＳｓ２に含まれるＴＳパケットそれぞれについて、当該ＴＳパケットの誤りをアプリケーション層において当該ＴＳパケットに付加された誤り訂正符号により検出および訂正し、訂正後のＴＳパケットに誤り状態を付加して順次出力することによりＴＳｓ２０を得る。放送系一時記憶部２０１では、放送系誤り検出訂正部２０５で誤り訂正処理された放送系ＴＳｓ１０を一時的に記憶すると共に、所定の時間範囲の放送系ＴＳｓ１１を対応付け部２０３に出力する。他方、ＩＰ系一時記憶部２０２では、ＩＰ系誤り検出訂正部２０６で誤り訂正処理されたＩＰ系ＴＳｓ２０を一時的に記憶すると共に、所定の時間範囲のＩＰ系ＴＳｓ２１として対応付け部２０３に出力する。

対応付け部２０３では、入力された所定の時間範囲の放送系一時ＴＳｓ１１の構成部分であるＴＳパケットとＩＰ系一時ＴＳｓ２１の構成部分であるＴＳパケット間の対応付けを後述する方法によりそれぞれ行う。そして、対応付けた各対のＴＳパケット間の類似度を評価して置換候補とするＴＳパケット対を決定し、決定された各置換候補のＴＳパケットの識別記号を抽出して置換候補情報ｄ３として相互置換部２０４へ出力する。相互置換部２０４では、置換候補情報ｄ３が入力されると、対応付け処理に対応した所定の範囲の放送系ＴＳパケットｓ１２を放送系一時記憶部２０１から取り出すと共に、ＩＰ系一時記憶部２０２からも同じ対応付け処理に対応した所定の範囲のＩＰ系ＴＳパケットｓ２２を取り出す。次に、相互置換部２０４において、置換候補情報ｄ３が指定するＴＳパケット対の識別記号の一方に対応した放送系ＴＳｓ１２のＴＳパケットと当該対の識別記号の他方に対応したＩＰ系ＴＳｓ２２のＴＳパケットについて、それぞれのエラー状況を調査し、エラーの少ないＴＳパケットを選択して並べ、所定の時間範囲の合成ＭＰＥＧ−ＴＳｓ３に生成して出力する。この処理は放送系ＴＳｓ１とＩＰ系ＴＳｓ２の所定の時間範囲ごと逐次行われる。

図２で説明した合成部１０３の構成では、放送系誤り検出訂正部２０５およびＩＰ系誤り検出訂正部２０６により放送系ＴＳｓ１とＩＰ系ＴＳｓ２に含まれるＴＳパケットの誤り低減を行っているので、対応付け部２０３で行う対応付けの誤りを低減することできる。
一方、ＩＰ系における誤りの検出および訂正をＩＰ通信受信部１０２において予め行うようにする構成も考えられる。この誤りの検出および訂正の方法としては、例えばイーサネット（登録商標）などのデータリンク層において付加された誤り検出符号または誤り訂正符号を用いて行われ、誤りを持つＩＰパケットは除去されることになる。このような場合は、ＩＰ系ＴＳｓ２に含まれるすべてのＴＳパケットは誤りを含まないものとして扱えるので、図２のＩＰ系誤り検出訂正部２０６は不要となり、ＩＰ系ＴＳｓ２を直接ＩＰ系一時記憶部２０２に直接与える構成とすることができる。
また、ＩＰ通信受信部１０２においてＩＰ系の誤りの検出および訂正を行うようになっている場合、合成部１０３を図７に示すような構成することもできる。この例では、放送系誤り訂正部２０７が、相互置換部２０４が放送系一時記憶部２０１より得るＴＳパケットｓ１２の誤り訂正を、当該ＴＳパケットに付加された誤り訂正符号により可能な限り行い、訂正後のＴＳパケットｓ１３を相互置換部２０４に与えるようにしている。この構成によれば、ＩＰ系ＴＳパケットｓ２２と対応付けがとれた放送系ＴＳパケットｓ１２については、訂正する必要はなく、そのぶん付加処理を軽減することができる。

図３に示された対応付け部２０３の機能構成について説明する。
対応付け部２０３は、ＴＳパケット対応付け候補生成部（構成部分対応付け候補生成手段）３０１、１つ以上の類似度評価手段からなる対応付け候補評価部３０２および置換候補生成部３０３を有する。
ＴＳパケット対応付け候補生成部３０１は、処理単位とする所定の時間範囲の放送系ＴＳのＴＳパケットと同じ所定の時間範囲のＩＰ系ＴＳのＴＳパケットとを対応付けたＴＳパケット対応付け候補（構成部分対応付け候補）を順次生成する手段である。対応付け候補評価部３０２は、予め設定した１つ以上の類似度評価手段の評価基準に基づいて、ＴＳパケット対応付け候補である放送系ＴＳのＴＳパケットとＩＰ系ＴＳのＴＳパケット間の類似度を類似度評価手段ごとに評価してＴＳパケット類似度評価結果（構成部分類似度評価結果）を得る手段である。置換候補生成部３０３は、ＴＳパケット対応付け候補の組み合わせについて、一連のＴＳパケット類似度評価結果に対して所定の基準に従って優先順位付けを行い、優先度の高いＴＳパケット対応付け候補のＴＳパケット対を置換候補として決定し、決定した置換候補のＴＳパケットの識別記号の対からなる置換候補情報を生成する手段である。

次に、対応付け部２０３の動作について説明する。
ＴＳパケット対応付け候補生成部３０１では、放送系一時記憶部２０１およびＩＰ系一時記憶部２０２からそれぞれ処理単位とする所定の時間範囲の放送系ＴＳｓ１１とＩＰ系ＴＳｓ２１が入力されると、それぞれのＴＳを構成しているＴＳパケット同士の対応付けを行う。この対応付け方法を図４に例示するが、例えば放送系の1つのＴＳパケットに対して、対応するＩＰ系のＴＳパケットの前後の幾つかがそれぞれが対を構成するようにして、ＴＳパケット対を順次形成していく。形成されたＴＳパケット対は対応付け候補ｄ１としてそれぞれ対応付け候補評価部３０２へ与えられる。

対応付け候補評価部３０２では、ＴＳパケット対応付け候補ｄ１が入力されると、その候補ｄ１のＴＳパケット間の類似度を、類似度評価手段１，２，・・・，ｎの評価基準の１つ以上を用いて評価する。類似度評価手段１，２，・・・，ｎは、パケット間の類似度評価において、類似、相違の２段階の評価を与えるものもあれば、類似度を数値として多段階の評価を与えるものもあるとする。
類似度評価手段の評価基準としては、例えばＭＰＥＧ−ＴＳ（マルチメディア情報）上の時刻情報、放送系ＴＳ（放送系情報）とＩＰ系ＴＳ（別伝送系情報）のＴＳパケット（構成部分）のビット一致度、ＭＰＥＧ−ＴＳ上の区切り情報、対象ＴＳパケットのエラー状態等を使用する。ここで、ＭＰＥＧ−ＴＳの場合、時刻情報としては、ＰＣＲ（ＰｒｏｇｒａｍＣｌｏｃｋＲｅｆｅｒｅｎｃｅ；情報提示時刻ＰＴＳと復号開始時刻ＤＴＳを決めるための基準時刻）、ＰＴＳ（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅＳｔａｍｐ；映像や音声の提示時刻）、ＤＴＳ（ＤｅｃｏｄｉｎｇＴｉｍｅＳｔａｍｐ；復号開始時刻）などがある。また、区切り情報としては、映像信号の各スタートコード、音声信号のフレームヘッダ、Ｓｅｃｔｉｏｎヘッダがある。

類似度の評価は、例えば次のようにして行う。類似度評価手段１では、放送系ＴＳパケットとＩＰ系ＴＳパケットの双方がＰＣＲを伝送するパケットで、かつエラーを持たず、かつＰＣＲ値が等しい場合に類似とし、それ以外を相違とする。類似度評価手段２では、放送系ＴＳパケットとＩＰ系ＴＳパケットの双方がエラーを持たず、かつ内容が等しい場合に類似とし、それ以外を相違とする。類似度評価手段３では、放送系ＴＳパケットとＩＰ系ＴＳパケットの一方のみがエラーを持たず、かつ双方の内容のビット一致度が一定以上の場合に、一致度が高いほど類似度が高いとする。
類似度評価手段１，２，・・・，ｎのそれぞれにより得られた評価はＴＳパケット類似度評価結果ｄ２として置換候補生成部３０３へ出力される。

置換候補生成部３０３では、類似度評価手段１，２，・・・，ｎの評価に対する優先順位が予め設けられており、ＴＳパケット類似度評価結果ｄ２が入力されると優先度の高い順に矛盾の起きないように置換候補とするＴＳパケット対を決定する。類似度評価手段ごとの評価結果に対する優先順位としては、例えば、「類似度評価手段１で類似＞類似度評価手段２で類似＞類似度評価手段３で類似」のようにしておく。ただし、同一優先順位の類似度評価手段の評価結果が同時に複数ある場合には、より類似度の高い候補の方を優先する。
なお、類似度評価手段ごとに、類似度に関する閾値を設けておき、類似度が当該閾値未満のものについては類似でないとして取り除いて処理するようにしてもよい。

この置換候補生成部３０３による処理は、所定の時間範囲内の対応付け候補（複数のＴＳパケット対）について、次の手順で行う。
ＳＴＥＰ１：優先度の最も高い類似度評価結果のＴＳパケット対応付け候補を置換候補として確定させる。ただし、同一優先度の対応付け同士が矛盾する場合は両方の対応付けを取り除く。
ＳＴＥＰ２：置換候補として確定したＴＳパケット対応付け候補と矛盾する、より低い優先順位の対応付け候補を取り除く。
ＳＴＥＰ３：次の類似度評価結果についてのＴＳパケット対応付け候補を調べる。
ここで、対応付け候補の矛盾とは、複数の対応付け候補があり、一方の系の１つのＴＳパケットが他方の系の異なる複数のＴＳパケットと対応付けられた場合、もしくは複数の対応付け候補が交差する場合のことをいう。ここでいう交差とは、系１のパケットの時間順序がＡ→Ｂとし、系２のパケットの時間順序がＣ→Ｄとしたときに、Ａ−Ｄ、Ｂ−Ｃが対応付けられているような場合のことである。

置換候補の生成方法の例について図５を用いて説明する。
置換候補生成部３０３において、ＴＳパケット類似度評価結果ｄ２を生成した類似度評価手段ごとに優先度と閾値が設けられる。そして、当該閾値以上のＴＳパケット対応付け候補の中から、自身より優先順位の高い対応付け候補と時間方向で交差しないものを順次選択し、選択した対応付け候補を置換候補情報とする。
また、別の例として、置換候補の生成方法は次のようにしてもよい。
ＴＳパケット対応付け候補をそれぞれ含むか含まないかを示すＴＳパケット類似度評価結果ｄ２の全ての組み合わせを順次生成する。そして、当該組み合わせそれぞれにおいて、含まれるＴＳパケット対応付け候補それぞれに対する評価値が、下記（ａ）から（ｄ）の値の合計と等しくなるように決定する。次に、ＴＳパケット類似度評価結果ｄ２の組み合わせ中に含まれるＴＳパケット対応付け候補が持つ合計を計算し、この合計値が最大となる組み合わせを選択して、ＴＳパケット類似度評価結果ｄ２の組み合わせ中の各ＴＳパケット対応付け候補それぞれを置換候補とする。
（ａ）類似度評価手段ごとの所定の重みをＴＳパケット類似度評価結果ｄ２に乗じて加算したもの
（ｂ）現在から所定の時間内の置換候補における放送系情報のＴＳパケットと伝送系情報のＴＳパケット間の入力時間差平均と、当該ＴＳパケット対応付け候補の入力時間差との差に所定の重みを乗じたもの
（ｃ）当該ＴＳパケット対応付け候補と同一のＴＳパケットを指す他のＴＳパケット対応付け候補の評価値に−１より大きく０以下の重みを乗じたもの
（ｄ）当該ＴＳパケット対応付け候補と交差する他のＴＳパケット対応付け候補の評価値に−１より大きく０以下の重みを乗じたもの

置換候補生成部３０３では、上述の方法で生成した置換候補のＴＳパケット対からそれぞれのＴＳパケットの識別記号を抽出し、その識別記号の対を置換候補情報ｄ３として相互置換部２０４に出力する。ここで、置換候補情報ｄ３は、図６に例示するように、所定の時間範囲のＴＳの中で決定されたＴＳパケット対応付け候補ｄ１（ＴＳパケット対）の１以上の組み合わせを表す。置換候補情報ｄ３のデータは、放送系一時ＴＳｓ１１のＴＳパケットの１つの識別記号とＩＰ系一時ＴＳｓ２１のＴＳパケットの１つの識別記号の対からなる。

相互置換部２０４では、置換候補生成部３０３で得られた置換候補情報ｄ３に基づいて、上述したように、放送系ＴＳｓ１２のＴＳパケットとＩＰ系ＴＳｓ２２のＴＳパケットを選択して並べ、エラーの少ない合成ＭＰＥＧ−ＴＳｓ３を生成する相互置換処理を行う。この相互置換処理方法の詳細例について次に説明する。
まず、置換候補情報ｄ３に記載されている識別記号に対応した放送系ＴＳのＴＳパケットとＩＰ系ＴＳのＴＳパケットについては、双方のＴＳパケットがエラーを含まない場合には一方（例えば放送系ＴＳのＴＳパケット）を選択する。また、いずれか一方のＴＳパケットのみがエラーを含んでいる場合には、エラーを含まない他方のＴＳパケットを選択する。ところで、上述した対応付け処理から分かるように、生成された置換候補情報ｄ３には、放送系ＴＳのＴＳパケットとＩＰ系ＴＳのＴＳパケットの全ての対が置換候補として含まれるわけではない。そのため、置換候補情報ｄ３に対象となる識別記号がなく、その前後に置換候補のパケットが存在するＴＳパケットについては、ＰＩＤ（ＰａｃｋｅｔＩＤ：パケット識別子）が異なるパケットを任意の順序で並べる。また、ＰＩＤが同一のパケットは、連続性の指標を持つ場合はその連続性の指標の順序で並べ、一方、連続性の指標を検出できなかった場合（連続性の指標を持っていないか、あるいはエラーにより指標が壊れていると想定されるパケット）は、ＴＳパケットに対する上位のフォーマットと整合がとれる順序で並べて１つにまとめる。ここで、ＴＳパケットに対する上位のデータは、例えばＰＥＳ(ＰａｃｋｅｔｉｚｅｄＥｌｅｍｅｎｔａｒｙＳｔｒｅａｍ)やＳｅｃｔｉｏｎなどである。

以上のように、この実施の形態１によれば、放送系とＩＰ系により同時に並行して同一内容のＭＰＥＧ−ＴＳが伝送されている場合に、両系統のＭＰＥＧ−ＴＳを受信し、両系統のＭＰＥＧ−ＴＳを構成しているＴＳパケットの中からエラーの少ない良好なＴＳパケットを選択して並べることにより１本の受信ＭＰＥＧ−ＴＳを合成するようにしたので、伝送中にいずれかの系においてエラーあるいはデータ抜けが発生した場合においても、再生に使用するＭＰＥＧ−ＴＳは常にエラー率を下げることができ、画質や音質の乱れを減少させることが可能となる。

以上のように、この発明に係るマルチメディア情報受信装置は、放送系と当該放送系とは異なる別伝送系で同時に並行して伝送されるマルチメディア情報を受信し、伝送エラーを削減するように両系統の受信情報を合成するようにしたので、近年行われようとしている放送と同じ番組をＩＰ系配信により同時に提供するサービスへの適用が可能になる。

Claims

放送系と当該放送系とは異なる別伝送系により伝送されるデジタル化されるそれぞれのマルチメディア情報を受信する機能を持つマルチメディア情報受信装置であって、
前記放送系により送信されたマルチメディア情報を受信して放送系情報として得る放送系受信手段と、
前記別伝送系により同時に並行して送信された、前記放送系と同一内容のマルチメディア情報を受信して別伝送系情報として得る別伝送系受信手段と、
得られた前記放送系情報の構成部分と前記別伝送系情報の構成部分から、エラーの少ない構成部分を選択して並べることにより１本の受信マルチメディア情報を生成する合成手段とを備え、
前記合成手段は、
前記放送系受信手段で復調された放送系情報を一時的に記憶すると共に、処理単位として所定の時間範囲の放送系情報を出力する放送系一時記憶手段と、
前記別伝送系受信手段で復調された別伝送系情報を一時的に記憶すると共に、前記所定の時間範囲の別伝送系情報を出力する別伝送系一時記憶手段と、
前記所定の時間範囲の放送系情報の構成部分と前記所定の時間範囲の別伝送系情報の構成部分との対応付けをそれぞれ行い、対応付けた各対の構成部分間の類似度を評価して置換候補とする構成部分対を決定し、決定した各置換候補の構成部分の識別記号を置換候補情報として出力する対応付け手段と、
対応付け処理に対応した所定の時間範囲の放送系情報を前記放送系一時記憶手段から取り出すと共に、同じ対応付け処理に対応した所定の時間範囲の別伝送系情報を前記別伝送系一時記憶手段から取り出し、前記置換候補情報が指定する識別信号に基づいて、前記放送系情報の構成部分と前記別伝送系情報の構成部分から、エラーの少ない構成部分を選択して並べることにより前記所定の時間範囲の合成マルチメディア情報を生成する相互置換手段とを有したことを特徴とするマルチメディア情報受信装置。
対応付け手段は、
処理単位とする所定の時間範囲の放送系情報の構成部分と同じ所定の時間範囲の別伝送系情報の構成部分とを対応付けた構成部分対応付け候補を順次生成する構成部分対応付け候補生成手段と、
予め設定した１つ以上の類似度評価手段の評価基準に基づいて、前記構成部分対応付け候補である放送系情報の構成部分と別伝送系情報の構成部分間の類似度を前記類似度評価手段ごとに評価して構成部分類似度評価結果を得る対応付け候補評価手段と、
構成部分対応付け候補の組み合わせについて、一連の構成部分類似度評価結果に対して所定の基準に従って優先順位付けを行い、優先度の高い構成部分対応付け候補を置換候補として決定し、決定した各置換候補の構成部分の識別記号の対からなる置換候補情報を生成する置換候補生成手段とを有したことを特徴とする請求項１記載のマルチメディア情報受信装置。
相互置換手段は、
置換候補情報に記載されている識別記号に対応した放送系情報の構成部分と別伝送系情報の構成部分については、
双方の構成部分がエラーを含まない場合には一方の構成部分を選択し、
いずれか一方の構成部分のみがエラーを含んでいる場合にはエラーを含まない他方の構成部分を選択し、
置換候補情報に対象となる識別記号がなく、前後に置換候補が存在する構成部分については、
パケット識別子が異なる構成部分は任意の順序で並べ、
パケット識別子が同一の構成部分は、それらが連続性の指標を持つ場合はその指標の順序で、一方、連続性の指標を検出できなかった場合は上位のフォーマットと整合がとれる順序で並べて１つにまとめることにより合成マルチメディア情報を得ることを特徴とする請求項２記載のマルチメディア情報受信装置。
置換候補生成手段は、
構成部分類似度評価結果に対し、類似度評価手段ごとに所定の優先度と閾値を設けており、構成部分対応付け候補の特徴として前記閾値以上の構成部分類似度評価結果を持ち、当該構成部分対応付け候補の持つ前記構成部分類似度評価結果
より高い優先度の構成部分類似度評価結果を持つ構成部分対応付け候補と同一の構成部分を指さず、かつ時間方向で交差しないものを順次選択して置換候補とすることを特徴とする請求項２記載のマルチメディア情報受信装置。
置換候補生成手段は、
構成部分対応付け候補をそれぞれ含むか含まないかを示す構成部分類似度評価結果の全ての組み合わせを順次生成し、
当該組み合わせそれぞれにおいて、含まれる構成部分対応付け候補それぞれに対する評価値が、下記（ａ）から（ｄ）の値の合計と等しくなるように決定し、
（ａ）類似度評価手段ごとの所定の重みを構成部分類似度評価結果に乗じて加算したもの、
（ｂ）現在から所定の時間内の置換候補における放送系情報の構成部分と伝送系情報の構成部分間の入力時間差平均と、当該構成部分対応付け候補の入力時間差との差に所定の重みを乗じたもの、
（ｃ）当該構成部分対応付け候補と同一の構成部分を指す他の構成部分対応付け候補の評価値に−１より大きく０以下の重みを乗じたもの、
（ｄ）当該構成部分対応付け候補と交差する他の構成部分対応付け候補の評価値に−１より大きく０以下の重みを乗じたもの、
前記構成部分類似度評価結果の組み合わせ中に含まれる構成部分対応付け候補が持つ合計を計算し、この合計値が最大となる組み合わせを選択して、前記構成部分類似度評価結果の組み合わせ中の各構成部分対応付け候補それぞれを置換候補とすることを特徴とする請求項２記載のマルチメディア情報受信装置。
放送系情報および別伝送系情報をＭＰＥＧ−ＴＳとし、当該放送系情報と別伝送系情報の各構成部分をＴＳパケットとしたことを特徴とする請求項１記載のマルチメディア情報受信装置。
対応付け候補評価手段における１つ以上の類似度評価手段の評価基準は、マルチメディア情報上の時刻情報、放送系情報と別伝送系情報の構成部分のビット一致度、マルチメディア情報上の区切り情報、対象構成部分のエラー状態を適宜組み合わせたものであることを特徴とする請求項２記載のマルチメディア情報受信装置。