JP5588244B2

JP5588244B2 - 映像伝送システム

Info

Publication number: JP5588244B2
Application number: JP2010151545A
Authority: JP
Inventors: 岡田　　光弘; 弘典小味; 博樹溝添; 祐介谷田部
Original assignee: Hitachi Consumer Electronics Co Ltd
Current assignee: Hitachi Consumer Electronics Co Ltd
Priority date: 2010-07-02
Filing date: 2010-07-02
Publication date: 2014-09-10
Anticipated expiration: 2030-07-02
Also published as: JP2012015871A

Description

本発明は映像伝送システムに関するものである。

本技術分野の背景技術として、例えば、特開平１０−３０８９３２号公報（特許文献１）がある。該公報には「［課題］データ伝送方法において、低遅延性及び映像の実時間性を保証した上で、映像データのエラー及びロスの回復を行うことが可能な技術を提供する。［解決手段］実時間で発生する映像データをノード・ノード間またはエンド・エンド間で高品質にかつリアルタイムに伝送するデータ伝送方法において、複数個の伝送パケットをひとまとめにしたものをブロックとし、受信側で、１ブロック内の各伝送パケットがすべて正しく受信されたことを表すＡＣＫ信号を含む確認応答、あるいは、１ブロック内のいずれかの伝送パケットが正しく受信されなかったことを表すＮＡＫ信号を含む確認応答をブロック単位で生成して送信側へ返送し、送信側で、前記受信側からのブロック単位の確認応答がＮＡＫ信号を含む場合に、再送が必要な伝送パケットのみを複数個コピーして受信側へ再送する。」と記載されている。

特開平１０−３０８９３２号公報

車の後方を確認する車載カメラ等の映像伝送システムは、運転手が車載カメラの映像をモニタで確認しながら運転を行うため、撮影からモニタ表示までの遅延を小さくしたいという要望がある。さらに、ゲーム機、テレビ電話などでも同様に表示されたものに対して行動を行うため、映像送出からモニタ表示までの遅延はできる限り小さい方が良い。また、これらの用途では低遅延だけではなく、映像が乱れてしまうと映像に対するレスポンスが遅れてしまうためエラー耐性も重要となる。

特許文献１では、エラー耐性には優れているが、受信側から送信側にパケットが正しく受信された、もしくは失敗したことを示す応答を返す必要があるため、送信側は受信側の応答を待ってから次のパケットを送信する必要がある。そのため、特に数msオーダーの低遅延で伝送したい場合には問題となる。

本発明は、ネットワークのエラーレートに応じて、最適な画質を提供しつつ、低遅延で映像データを伝送可能な映像伝送システムを提供することを目的とする。

上記目的は、特許請求の範囲に記載の発明により達成される。

本発明によれば、ネットワークへの出力レートを一定に抑えて低遅延で映像を伝送することが可能となる。さらに、例えば、ネットワークのエラーレートが低いときには、冗長度を減らして画質を良くする、逆にエラーレートが高いときには、冗長度を増やして若干の画質劣化は伴うもののブロックエラーのように明らかに視認性の悪化させるエラーを軽減するといった様に、ネットワークのエラーレートに応じて、最適な画質を提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

実施例１における映像伝送システムの一例を示す図である。ＴＳパケットの構造例を示す図である。冗長データの構成例を示す図である。実施例１の映像受信装置の処理フロー例を示す図である。符号化出力レートと冗長化処理の制御例を示す図である。実施例２における映像伝送システムの一例を示す図である。実施例２の映像受信装置の処理フロー例を示す図である。実施例３における映像伝送システムの一例を示す図である。実施例４における映像伝送システムの一例を示す図である。エラーレートと伝送レートの関係を表した図である。実施例５における映像伝送システムの一例を示す図である。実施例６における映像伝送システムの一例を示す図である。実施例７における映像伝送システムの一例を示す図である。

以下、本発明の実施形態を図面を用いて説明する。

図１は、第１の映像伝送システムの例を表しており、映像送信装置１００と映像受信装置１１０から構成される。

映像送信装置１００は、符号化部１０１、パケッタイズ部１０２、ネットワーク送信部１０３、ネットワーク受信部１０４、デパケッタイズ部１０５、制御部１０６から構成される。また、符号化部１０１とパケッタイズ部１０２とデパケッタイズ部１０５と制御部１０６とを纏めてＣｏｄｅｃ部１０７、ネットワーク送信部１０３とネットワーク受信部１０４とを纏めてネットワーク部１０８と呼ぶ。

まず、入力画像を符号化部１０１でＨ．２６４、ＭＰＥＧ２などの符号化方法でエンコード処理をしてビデオストリームを出力する。パケッタイズ部１０２では、前記ビデオストリームのパケット化を行い、パケットデータを出力する。ここで、前記パケットデータとは、例えばＴＳパケットやＰＳパケットなどのことを指す。以後、パケッタイズ部１０２ではＴＳパケット化することを前提に説明する。さらに、パケッタイズ部１０２では、数パケット分のデータを保持できるメモリを持っており、同一ビデオストリームのＴＳパケットをメモリから読み出して出力することで任意の回数の冗長化が可能である。ネットワーク送信部１０３は、前記パケット化したＴＳパケットを所定のパケット数毎にヘッダと誤り訂正符号を付加してフレームを作成し、ネットワークに出力する。一方、映像送信装置１００のネットワーク受信部１０４では映像受信装置１１０からのフレームデータを受信し、誤り訂正を行う。ここで、フレームデータに誤りが無かった場合、もしくは、誤りがあったが誤り訂正できた場合は、フレームデータを解いてＴＳパケットを出力する。逆に、フレームデータに誤りが有り、かつ誤り訂正できなかった場合は、そのフレームデータは削除する。デパケッタイズ部１０５では、前記フレームデータを解いたＴＳパケットにデパケッタイズ処理を施す。ここで、前記デパケッタイズしたＴＳパケットが映像受信装置１１０のエラーレート情報だった場合は制御部１０６に前記エラーレート情報が送られる。制御部１０６は、前記エラーレート情報に応じて、符号化部１０１の出力レートとパケッタイズ部１０２の冗長化の回数を制御する。

続いて映像受信装置１１０について説明する。映像受信装置１１０は、ネットワーク受信部１１１、デパケッタイズ部１１２、復号部１１３、パケッタイズ部１１４、ネットワーク送信部１１５により構成される。また、デパケッタイズ部１１２と復号部１１３とパケッタイズ部１１４とを纏めてＣｏｄｅｃ部１１６、ネットワーク受信部１１１とネットワーク送信部１１５とを纏めてネットワーク部１１７と呼ぶ。

まず、ネットワーク受信部１１１にて、映像送信装置１００が出力したフレームデータを受信し、上記映像送信装置１００のネットワーク受信部１０４と同様の誤り訂正を行い、ＴＳパケットを出力する。前記出力されたＴＳパケットは、デパケッタイズ部１１２にてデパケッタイズ処理しビデオストリームを出力する。ここで、デパケッタイズ部１１２では、ＴＳパケットのヘッダに含まれるコンティニティカウンタの連続性により、パケットロスを判別することができ、そのパケットロスの情報からエラーレートを計算する。前記計算したエラーレートは、パケッタイズ部１１４にて、パケット化して、ネットワーク送信部１１５にてエラーレート情報としてネットワークに出力する。一方、デパケッタイズ処理後のビデオストリームのデータは、復号部１１３に送られ、デコード処理して出力画像を出力する。

図２は、ＴＳパケットの構造を示す。ＴＳパケットは１８８バイトの固定長のパケットであり、４バイトのヘッダ部２００と１８４バイトのペイロード部２０１から構成される。ヘッダ部２００は、ビデオ、オーディオなどを区別する識別用のＰＩＤと、連続なカウンタによりネットワーク上でのパケットロスを検出するためのコンティニティカウンタが含まれている。ペイロード部２０１は、パケット化したいデータを格納する部分であり、ビデオのＰＩＤの場合はビデオストリームのデータが格納される。

図３は、映像送信装置１００のパケッタイズ部１０２で冗長化処理した際のパケッタイズ部１０２の出力データを時間軸とともに表している。例として、冗長化回数を１回、ネットワーク送信部１０３では３ＴＳパケット毎に１フレーム作成する場合について説明する。ＴＳパケットのペイロードの部分は同じ模様のデータは同一のデータであることを示している。図３のようにパケッタイズ部１０２では、ＴＳパケット出力すると同時に、メモリに格納しておき、フレームの作成単位である３ＴＳパケット出力する毎にメモリに蓄えた同一のペイロードを持つデータを連続で出力する。よって、フレームＮｏ．１の先頭のＴＳパケットのペイロードとフレームＮｏ．２の先頭のＴＳパケットのペイロードは同一データとなる。ここで、ヘッダ部も含めて同一のデータを送信してしまうと、映像受信装置１１０でオリジナルＴＳパケットか冗長化ＴＳパケットかを判別できずに冗長ＴＳパケットを取り除くことができないので、オリジナルＴＳパケットと冗長ＴＳパケットとを区別する必要がある。例えば、オリジナルＴＳパケットのＰＩＤと、冗長ＴＳパケットのＰＩＤを別にすることで、映像受信装置１１０にて、判別することが可能となる。このとき、コンティニティカウンタは通常のＴＳパケットの規格ではＰＩＤ毎にカウントアップさせなければいけないが、ネットワーク上ではフレーム単位でロスが発生するため、コンティニティカウンタをフレーム単位でカウントアップするものとする。冗長化ＴＳパケットについてはオリジナルＴＳパケットと同様のコンティニティカウンタを用いる。フレームＮｏ．とＰＩＤ、コンティニティカウンタ、ペイロードデータを纏めた表を図３に示す。このように、ネットワーク送信部１０３のフレーム作成単位で同一のビデオストリームをコピーすることでエラー耐性を高めることができる。

図４に映像受信装置１１０のデパケッタイズ部１１２でのＴＳパケットのロスの判定方法と冗長ＴＳパケットの削除方法のフローチャートを示す。まず、Ｓ１００にて、入力されたＴＳパケットのＰＩＤが前パケットと同一ＰＩＤかつ同一コンティニティカウンタかを判定する。Ｙｅｓの場合はステップＳ１０６の処理を行い、Ｎｏの場合はステップＳ１０１の処理を行う。ステップＳ１０６ではパケット処理フラグがＯＮの場合にはＴＳパケットからストリームデータに変換するデパケッタイズ処理を行い、パケット処理フラグがＯＦＦの場合には、ＴＳパケットを削除する。なお、前記パケット処理フラグは、前回の処理結果のフラグを保持した値である。ステップＳ１０１では、コンティニティカウンタが前回保持したコンティニティカウンタと比較して連続かを判定する。ステップＳ１０１の判定結果がＹｅｓの場合は、初めて到着したＴＳパケットのデータなので、ステップＳ１０２でパケット処理フラグをＯＮにして、ステップＳ１０６の処理を行う。一方、ステップＳ１０１の判定結果がＮｏの場合は、ステップＳ１０３の前回保持したコンティニティカウンタと同値かの判定を行う。ステップＳ１０３の判定結果がＮｏの場合は、パケットロスしたことを意味するので、ステップＳ１０４のエラー処理を実行する。エラー処理は、復号部１０７へパケットが抜けたことを知らせて復号部のリセット処理を行うと同時に、デパケッタイズ部１０５では、次のスライスまたはフレームなど、復号処理が正常に再開始できるところまでパケットを削除し続ける。一方、ステップＳ１０３の判定結果がＹｅｓの場合は、前回のＴＳパケットで同一のデータを処理したこと（冗長ＴＳパケット）を意味するので、ステップＳ１０５でパケット処理フラグをＯＦＦにして、ステップＳ１０６の処理にてＴＳパケットの削除を行う。最後に、Ｓ１０７にて処理したＴＳパケットのコンティニティカウンタを保持する。

このように、映像送信装置１００において、ネットワーク送信部１０３のフレーム毎に冗長ＴＳパケットをオリジナルＴＳパケットの後に連続で送信することで、上記の例では、３ＴＳパケット分の遅延しか発生せずにエラー耐性を強化することができ、低遅延かつエラー耐性の優れた映像伝送システムとなる。また、パケッタイズ部に数パケット分のメモリがあれば実現できるため低コストで実現できる。さらに、冗長ＴＳパケットとして、同一のペイロードのＴＳパケットとすることで、映像受信装置１１０では、そのＴＳパケットを使用するか否かを選択するだけで良いので、誤り訂正符号などの冗長化手法と比べて処理時間を少なくすることができる。

図３と図４では、ＴＳパケットのＰＩＤとコンティニティカウンタを用いて、冗長ＴＳパケットを映像受信部１１０で取り除く例を記載したが、映像受信装置１１０で冗長ＴＳパケットを取り除くことができれば別の方法でも良い。例えば、フレームの先頭に識別用ＴＳパケットを挿入する方法がある。識別用ＴＳパケットのペイロード部には、そのフレーム内のＴＳパケットがオリジナルＴＳパケットであるか冗長ＴＳパケットであるかを判別できるフラグと、コンティニティカウンタのような、連続なカウンタ値を入れておくことで、映像受信装置１１０のデパケッタイズ部１１２にて冗長なＴＳパケットを取り除くことが可能となる。この方法を用いると、フレーム毎に識別用ＴＳパケットを挿入しなければならないので、伝送帯域を増加させることになるが、フレーム内のＴＳパケットは、ヘッダを含めて、同一のデータにできるため、デパケッタイズ部１１２に冗長ＴＳパケットを取り除く処理を追加するだけで、規格に準拠したＴＳパケットを復号部１１３に送ることができる。よって、以降の処理はＴＳパケットが復号できる復号装置であれば、どんな復号装置でも復号処理が可能となる。他にも、ＴＳパケットのヘッダ情報に新たに冗長化を表すフラグを表すビットを追加し冗長ＴＳパケットとオリジナルＴＳパケットを判別しても良い。

また、図３と図４では、同一ビデオストリームを複数回出力することで冗長度を高める例を記載したが、同一ビデオストリームでなくても、オリジナルデータがロスしたときにオリジナルデータを復元できるデータであれば良い。

次に、映像受信装置１１０のエラーレートに応じて、映像送信装置１００のエラー耐性を変更する場合について詳しく説明する。

上記のように冗長ＴＳパケットを挿入する場合、冗長回数を１回とするとネットワークの伝送帯域が２倍、冗長回数を２回とするとネットワークの伝送帯域が３倍となってしまう。一般にネットワークの伝送帯域は限られているので、そのまま冗長化してしまうと、伝送帯域を超えてしまい遅延となってしまう。

遅延を発生させずにエラー耐性を高めるためには、符号化部１０１の出力レートを抑えて、パケッタイズ部１０２で冗長化を行うことで、伝送レートを一定以下に抑える方法がある。しかし、符号化部１０１にて、出力レートを抑えているため、当然画質が劣化する。このように、画質とエラー耐性はトレードオフの関係にある。そこで、ネットワークのエラーレートに応じて、最適な画質を提供する手法を提案する。

図５を用いて、映像受信装置１１０のエラーレートに応じて、映像送信装置１００の符号化部１０１の出力レートとパケッタイズ部１０２の冗長回数の制御する例を具体的に説明する。前提として、伝送帯域は４０Ｍｂｐｓとする。本例では、映像受信装置１１０からのエラーレート情報を基に映像送信装置１００の制御部１０６においてパケットロスなし、パケットロス小、パケットロス大の３段階にわけて符号化部１０１の出力レートとパケッタイズ部１０２の冗長回数を変更する。例えば、パケットロスなしの場合は、パケットロスが無いため、冗長化を行わないで符号化部１０１で４０Ｍｂｐｓ使い高画質化する。また、パケットロス小の場合は、映像受信装置１１０では稀にパケットロスが発生しているので、符号化部１０１の出力レートを半分の２０Ｍｂｐｓにして、その分、パケッタイズ部１０２の冗長回数を１回とする。さらに、パケットロス大の場合は、映像受信装置１１０で頻繁にパケットロスが発生しているので、符号化部１０１の出力レートを４分の１の１０Ｍｂｐｓにして、パケッタイズ部１０２の冗長回数を３としエラー耐性を高める。

ここで、符号化部１０１の出力レートを変更する手段としては、Ｈ．２６４の場合を例に挙げると、ＱＰの値を全体的に大きくすることで画質は落ちるが出力レートを抑えることができる。また、フレームレートを落として符号化すること出力レートを抑えることもできる。また、符号化部の前段に入力画像縮小部を設けて符号化する入力画像のサイズを小さく変更して符号化部して出力レートを抑えても良い。さらに、フレームレートを落とす＋ＱＰの値を大きくするなど、上記方法を２つ以上組み合わせて出力レートを抑えてもかまわない。

図１０にエラーレートとオリジナルデータ・冗長データの関係を時間軸と共に表した図を示す。横軸の時間はエラーレート、伝送レート共に同一の時間軸である。図１０のように、エラーレートが大きくなった場合は、オリジナルデータを抑えて冗長データ（斜線部分）を増やし、エラーレートが小さい場合は、冗長データを抑えてオリジナルデータを増やしており、エラーレートに応じてオリジナルデータと冗長データのバランスを調節することで一定の伝送レートに抑えている。

図５及び図１０を用いて、エラーレートに応じて、全てのビデオストリームの冗長回数を変更する例を記載したが、重要なデータの冗長回数のみ変更するとしても良い。例えば、Ｐピクチャの復号画像を生成する際の参照画像の起点となるＩピクチャのみ冗長回数を多くし、Ｐピクチャは冗長化回数を少なくする。その結果、Ｐピクチャの冗長回数を少なくした分のビットレートを全体的な画質向上のために使用できる。さらに、Ｐピクチャの参照画像の起点となるＩピクチャのエラー耐性を高めることで、エラーの伝播を効率良く防ぐことができるので、高画質化とエラー耐性をさらに高めることができる。また、符号化にＨ．２６４／ＳＶＣのようなスケーラブル符号化を用いた場合には、重要な低階層のデータの冗長回数を多くし、高画質化のための高階層のデータの冗長回数を少なくすることで、低階層のデータを守りつつ、全体を高画質化できる。

次に、映像受信装置１１０でのエラーレートの計算方法の例を示す。図４のフローチャートのエラー処理Ｓ１０５は、フレームが抜けたことを表しているので、この処理を基にエラーレートの計算に利用する。例えば、１００フレームの中で、何フレーム抜けたかを計算することによりエラーレートを計算できる。上記では、エラー処理Ｓ１０５は一度エラー処理が実行されると次のスライスやフレームまでパケットを削除すると記載したが、削除中もフレームが抜けたことを判定する。

上記処理により、ネットワークへの出力レートを一定に抑えて低遅延で映像を伝送することが可能となる。さらに、ネットワークのエラーレートが低いときには、冗長度を減らして画質を良くする、逆にエラーレートが高いときには、冗長度を増やして若干の画質劣化は伴うもののブロックエラーのように明らかに視認性の悪化させるエラーを軽減するといった様に、ネットワークのエラーレートに応じて、最適な画質を提供することができる。また、上記処理は映像送信装置１００のパケッタイズ部１０２と映像受信装置１１０のデパケッタイズ部１１２の変更とＣｏｄｅｃ部１０７、１１６の変更のみでエラー耐性を高めることが可能となる。

上記実施例１では、映像送信装置１００のパケッタイズ部１０２にて、ＴＳパケットにパケッタイズする例を述べたが、ＰＳパケット化など、どんなパケット化処理を用いても良い。また、ストリームデータをＴＳパケットなどにパケット化せずに、フレーム送信部１０３のフレーム単位毎に、同一のストリームデータを連続で出力しても良い。その際は、映像受信装置１１０のデパケッタイズ部１１２にて、冗長データを削除できるように、フレーム毎の先頭に識別データを挿入するなどの工夫が必要である。

さらに、冗長ＴＳパケットは、オリジナルＴＳパケットの次に連続で出力すると述べたが、ネットワーク上のパケットロスの特性で、フレームが数フレームの固まりでロスする場合には、映像送信装置１００のパケッタイズ部１０２のメモリの容量を大きくして、冗長ＴＳパケットの出力タイミングを変更しても良い。この場合、映像受信装置１１０で受信するフレームは時間的関係が前後してしまうので、映像受信装置１１０で時間関係を元に戻せるようなＴＳパケットにする必要がある。

図６は第２の実施例を示す映像伝送システムである。実施例１では図１の映像送信装置１００のＣｏｄｅｃ部１０７のパケッタイズ部１０２にて冗長ＴＳパケットを作成する例を挙げたが、実施例２は、図６の映像送信装置６００のネットワーク部６０７のネットワーク送信部６０３にしてフレーム単位で、同一フレームを再送してエラー耐性を高める例である。

まず、映像送信装置６００について説明する。映像送信装置６００は、Ｃｏｄｅｃ部６０６とネットワーク部６０７で構成される。始めに入力画像を符号化部６０１にて、符号化を行いビデオストリームを出力する。次にパケッタイズ部６０２にて前記ビデオストリームのパケット化を行いＴＳパケットを出力する。ネットワーク送信部６０３では、前記パケット化したＴＳパケットを所定のパケット数毎にヘッダと誤り訂正符号を付加してフレームを作成し、ネットワーク上に出力する。さらに、ネットワーク送信部６０３はフレームを蓄えるメモリを持っており、同一の冗長フレームをネットワーク上に送信することが可能である。ここで、オリジナルフレームと冗長フレームの区別とフレームのロスを検出するため、フレームのヘッダにカウンタ値挿入する必要がある。これをフレームカウンタと呼ぶ。一方、ネットワーク受信部６０４では、映像受信装置６１０から送られたエラーレート情報を受け取る。前記エラーレート情報を基にネットワーク送信部６０３の冗長フレームの出力回数を制御する。さらにＣｏｄｅｃ部６０６に符号化レートを指定し、制御部６０５では、符号化部６０１の出力レートが前記指定された符号化レートになるように制御する。この、ネットワーク部６０３の冗長回数と符号化部６０１の出力レートについては実施例１と同様に、一定の伝送レートになるように制御するものとする。

次に、映像受信装置６１０について説明する。映像受信装置６１０は、Ｃｏｄｅｃ部６１５とネットワーク部６１６で構成される。まず、図７のフローチャートを用いてネットワーク受信部６１１の処理フローを説明する。前提として、映像送信装置６００のネットワーク送信部６０３では、フレーム毎に連続のフレームカウンタを用いて、冗長フレームは同一のフレームを出力するものとする。まず、Ｓ６００でネットワークから受信したフレームに誤りがあるかチャックをする。誤りがある場合（誤り訂正できない場合）は、そのフレームを削除する。誤りが無い場合（誤り訂正ができた場合を含む）は、Ｓ６０１で前回フレームカウンタと同一のフレームカウンタであるか比較する。同一フレームカウンタの場合は、冗長フレームを表すので、そのフレームを削除する。一方、同一フレームカウンタでない場合は、Ｓ６０３で前回フレームカウンタと連続であるかを比較する。連続である場合は、必要なフレームデータであるので、Ｓ６０４でフレームを解いてＴＳパケットを出力し、最後にＳ６０５で次回判定用にフレームカウンタ値を保持しておく。一方、連続でない場合は、フレームデータがロスしてしまったことを示しているのでＳ６０６のエラー処理を行う。

デパケッタイズ部６１２では、前記Ｓ６０４で出力したＴＳパケットにデパケッタイズ処理を行い、ビデオストリームを出力する。復号部６１３では、前記ビデオストリームを復号し、出力画像を出力する。ネットワーク受信部６１１では、図７のＳ６００のフレームデータに誤りがあるかの判定で誤りがあった個数を基にエラーレートを計算する、ネットワーク送信部６０６にて、前記エラーレートをエラーレート情報として、フレーム化してネットワークに出力する。

以上実施例２では、実施例１と同様に、ネットワークへの出力レートを一定に抑えて低遅延で映像を伝送することが可能となる。さらに、ネットワークのエラーレートが低いときには、冗長度を減らして画質を良くする、逆にエラーレートが高いときには、冗長度を増やして若干の画質劣化は伴うもののブロックエラーのように明らかに視認性の悪化させるエラーを軽減するといった様に、ネットワークのエラーレートに応じて、最適な画質を提供することができる。さらに、一般的なＣｏｄｅｃはレートを調節できる機能を持っているため、実施例２の処理は実質的にネットワーク部６０７、６１６のみで独自処理が完結する。そのため、Ｃｏｄｅｃ部を変更する必要が無くなる。

なお、実施例２では、フレームのヘッダにカウンタを埋め込むと記載したが、カウンタでなくても、映像受信装置６１０にて冗長フレームを取り除くことができればよい。また、ヘッダではなく、ヘッダとデータの間にカウンタを入れてもよい。

図８は、ＴＶ会議システムのような、双方向に映像をやり取りする映像伝送システムの一例である。

映像送受信装置８００は、符号化部８０１、パケッタイズ部８０２、ネットワーク送信部８０３、ネットワーク受信部８０４、デパケッタイズ部８０５、復号部８０６、制御部８０７から構成される。また、符号化部８０１とパケッタイズ部８０２とデパケッタイズ部８０５と復号部８０６と制御部８０７とを纏めてＣｏｄｅｃ部８０８、ネットワーク送信部８０３とネットワーク受信部８０４とを纏めてネットワーク部８０９と呼ぶ。実施例３では、同一の機能を持った映像送受信装置８００と映像送受信装置８１０を使用する。

まず、入力画像を符号化部８０１でＨ．２６４、ＭＰＥＧ２などの符号化方法でエンコード処理をしてビデオストリームを出力する。パケッタイズ部８０２では、前記ビデオストリームのパケット化を行い、ＴＳパケットを出力する。さらに、パケッタイズ部８０２では、数パケット分のデータを保持できるメモリを持っており、同一ビデオストリームのＴＳパケットをメモリから読み出して出力することで任意の回数の冗長化が可能である。ネットワーク送信部８０３は、前記パケット化したＴＳパケットを所定のパケット数毎にヘッダと誤り訂正符号を付加してフレームを作成し、ネットワーク上に出力する。一方、ネットワーク受信部８０４では映像送受信装置８１０からのデータを受信し、誤り訂正を行う。ここで、フレームデータに誤りが無かった場合、もしくは、誤りがあったが誤り訂正できた場合は、フレームデータを解いてＴＳパケットを出力する。逆に、フレームデータに誤りが有り、かつ誤り訂正できなかった場合は、そのフレームデータは削除する。デパケッタイズ部８０５では、前記フレームデータを解いたパケットデータをさらにデパケッタイズ処理を施す。ここで、前記デパケッタイズしたＴＳパケットが映像送受信装置８１０のエラーレート情報だった場合は制御部８０６に前記エラーレート情報が送られる。制御部８０６は、前記エラーレート情報に応じて、符号化部８０１の出力レートとパケッタイズ部８０２の冗長化の回数を制御する。なお、この制御方法は、実施例１で詳しく説明したので省略する。一方、フレームを解いたパケットデータがビデオストリームのＴＳパケットだった場合は、デパケッタイズ部８０５でデパケッタイズ処理を行い、ビデオストリームを出力する。復号部８０６で前記ビデオストリームの復号処理を行い出力画像を出力する。また、デパケッタイズ部８０５にて実施例１に記載の方法でエラーレートを計算し、前記エラーレートをパケッタイズ部８０２でビデオストリームとは異なるＰＩＤのＴＳパケットとしてパケット化する。このように、エラーレート情報をビデオストリームとは異なるＰＩＤでＴＳパケット化することにより、デパケッタイズ部８０５で、エラーレート情報とビデオストリームとを判別できる。

実施例３の双方向映像伝送システムでは、実施例１または２と同様にネットワークへの出力レートを一定に抑えて低遅延で映像を伝送することが可能となる。さらに、ネットワークのエラーレートが低いときには、冗長度を減らして画質を良くする、逆にエラーレートが高いときには、冗長度を増やして若干の画質劣化は伴うもののブロックエラーのように明らかに視認性の悪化させるエラーを軽減するといった様に、ネットワークのエラーレートに応じて、最適な画質を提供することができる。

さらに、実施例３の処理は、Ｃｏｄｅｃ部８０８のみで完結するため、ネットワーク部８０９と独立して最適な画質を提供することができる。さらに、本方法は、ＴＳパケット作成時に多重化して情報を送信しているため、実施例１または２とは違い、エラーレート情報を送るためだけに通信する必要が無くなり、既存のシステムを有効に活用することができる。

図９は、双方向に映像をやり取りする映像伝送システムの一例である。

映像送受信装置９００は、符号化部９０１、パケッタイズ部９０２、ネットワーク送信部９０３、ネットワーク受信部９０４、デパケッタイズ部９０５、復号部９０６、制御部９０７から構成される。また、符号化部９０１、パケッタイズ部９０２、デパケッタイズ部９０５、制御部９０７、復号部９０６を纏めてＣｏｄｅｃ部９０８、ネットワーク送信部９０３とネットワーク受信部９０４を纏めてネットワーク部９０９と呼ぶ。実施例４では、同一の機能を持った映像送受信装置９００と映像送受信装置９１０を使用する。

まず、入力画像を符号化部９０１でＨ．２６４、ＭＰＥＧ２などの符号化方法でエンコード処理をしてビデオストリームを出力する。パケッタイズ部９０２では、前記ビデオストリームのパケット化を行い、ＴＳパケットを出力する。ネットワーク送信部９０３は、前記パケット化したＴＳパケットを所定のパケット数毎にヘッダと誤り訂正符号を付加してフレームを作成し、ネットワーク上に出力する。さらに、ネットワーク送信部９０３はフレームを蓄えるメモリを持っており、同一の冗長フレームをネットワーク上に送信することが可能である。なお、フレーム作成時には、オリジナルフレームと冗長フレームの区別とフレームのロスを検出するため、フレームカウンタを挿入する。

一方、ネットワーク受信部９０４では映像送受信装置９１０からのフレームデータを受信し、前記受信したフレームデータを解きＴＳパケットを出力する。

ネットワーク受信部９０４の具体的な処理については、実施例２で詳しく説明したのでここでは省略する。もし、フレームデータがエラーレート情報だった場合、前記エラーレート情報を基にネットワーク送信部９０３の冗長フレームの出力回数を制御する。さらに、Ｃｏｄｅｃ部９０６に符号化レートを指定し、制御部９０７では符号化部９０１の出力レートが前記指定された符号化レートになるように制御する。デパケッタイズ部９０５では、前記フレームデータを解いたＴＳパケットをさらにデパケッタイズ処理を施しビデオストリームを出力する。最後に復号部９０６で前記ビデオストリームの復号化処理を行い出力画像を出力する。

エラーレート情報については、ネットワーク受信部９０４にて実施例２に記載の方法でエラーレートを計算し、前記エラーレートをネットワーク送信部９０３でエラーレート情報としてフレーム化して送信する。

実施例４の双方向映像伝送システムでは、実施例１ないし３と同様にネットワークへの出力レートを一定に抑えて低遅延で映像を伝送することが可能となる。さらに、ネットワークのエラーレートが低いときには、冗長度を減らして画質を良くする、逆にエラーレートが高いときには、冗長度を増やして若干の画質劣化は伴うもののブロックエラーのように明らかに視認性の悪化させるエラーを軽減するといった様に、ネットワークのエラーレートに応じて、最適な画質を提供することができる。

さらに、実施例４の処理は、ネットワーク部９０９のみの変更で最適な画質を提供することができる。さらに、本方法は、フレーム作成時に多重化して情報を送信しているため、実施例１または２とは違い、エラーレート情報を送るためだけに通信する必要が無くなり、既存のシステムを有効に活用することができる。

図１１は第５の実施例を示す映像伝送システムであり、実施例１の映像伝送システムの映像受信装置を３台接続した場合の例である。

実施例５の映像伝送システムは、映像送信装置１０００と映像受信装置１０１０、映像受信装置１０２０、映像受信装置１０３０から構成される。映像送信装置と映像受信装置の内部の個々のブロックについては、実施例１にて説明済みなので同様の記号をつけて機能の説明を省略する。

実施例５のように映像受信装置が複数あった場合、エラーレート情報は、映像受信装置１０１０、映像受信装置１０２０、映像受信装置１０３０の各々から送られてくることになるが、映像送信装置１０００の出力は１つのため、個別に対応することができない。そこで、映像送信装置側で最もエラーレートの高い値を採用する。その結果、複数の映像受信装置を接続した場合でも、全ての映像受信装置で若干の画質劣化は伴うもののブロックエラーのように明らかに視認性の悪化させるエラーを軽減することができる。

以上、実施例５ではＣｏｄｅｃ部１０７の変更で冗長化を行う例で説明したが、実施例２のネットワーク部１０８で冗長化を行う場合でも、最もエラーレートの高い値を映像送信装置で採用することで同様の効果が得られる。また、実施例３または実施例４において複数台接続した場合でも複数のエラーレート情報の中から最もエラーレートの高い値を採用することで同様の効果が得られる。さらに、実施例５では映像受信装置を３台接続する例で説明したが、何台接続しても良い。

図１２は、双方向に映像をやり取りする映像伝送システムの一例である。

映像送受信装置１２００は、符号化部１２０１、パケッタイズ部１２０２、ネットワーク送信部１２０３、ネットワーク受信部１２０４、デパケッタイズ部１２０５、復号部１２０６、制御部１２０７から構成される。また、符号化部１２０１とパケッタイズ部１２０２とデパケッタイズ部１２０５と復号部１２０６と制御部１２０７とを纏めてＣｏｄｅｃ部１２０８、ネットワーク送信部１２０３とネットワーク受信部１２０４とを纏めてネットワーク部１２０９と呼ぶ。実施例６では、同一の機能を持った映像送受信装置１２００と映像送受信装置１２１０を使用する。

まず、入力画像を符号化部１２０１でＨ．２６４、ＭＰＥＧ２などの符号化方法でエンコード処理をしてビデオストリームを出力する。パケッタイズ部１２０２では、前記ビデオストリームのパケット化を行い、ＴＳパケットを出力する。さらに、パケッタイズ部１２０２では、数パケット分のデータを保持できるメモリを持っており、同一ビデオストリームのＴＳパケットをメモリから読み出して出力することで任意の回数の冗長化が可能である。ネットワーク送信部１２０３は、前記パケット化したＴＳパケットを所定のパケット数毎にヘッダと誤り訂正符号を付加してフレームを作成し、ネットワーク上に出力する。一方、ネットワーク受信部１２０４では映像送受信装置１２１０からのデータを受信し、誤り訂正を行う。ここで、フレームデータに誤りが無かった場合、もしくは、誤りがあったが誤り訂正できた場合は、フレームデータを解いてＴＳパケットを出力する。逆に、フレームデータに誤りが有り、かつ誤り訂正できなかった場合は、そのフレームデータは削除する。デパケッタイズ部１２０５では、前記フレームデータを解いたパケットデータをさらにデパケッタイズ処理を施しビデオストリームを出力する。さらに、デパケッタイズ部１２０５は図４のフローチャートのエラー処理Ｓ１０５を利用してエラーレートを計算する。制御部１２０７は、前記エラーレートに応じて、符号化部１２０１の出力レートとパケッタイズ部１２０２の冗長化の回数を制御する。なお、この制御方法は、実施例１で詳しく説明したので省略する。最後に復号部１２０６で前記ビデオストリームの復号処理を行い出力画像を出力する。

実施例６の双方向映像伝送システムでは、実施例１ないし５と同様にネットワークへの出力レートを一定に抑えて低遅延で映像を伝送することが可能となる。さらに、ネットワークのエラーレートが低いときには、冗長度を減らして画質を良くする、逆にエラーレートが高いときには、冗長度を増やして若干の画質劣化は伴うもののブロックエラーのように明らかに視認性の悪化させるエラーを軽減するといった様に、ネットワークのエラーレートに応じて、最適な画質を提供することができる。

さらに、実施例６の処理は、Ｃｏｄｅｃ部１２０８のみで完結するため、ネットワーク部１２０９と独立して最適な画質を提供することができる。さらに、本方法は、エラーレート情報を送信しないため、実施例１ないし５とは違いシステムを簡単化できる。

図１３は、双方向に映像をやり取りする映像伝送システムの一例である。

映像送受信装置１３００は、符号化部１３０１、パケッタイズ部１３０２、ネットワーク送信部１３０３、ネットワーク受信部１３０４、デパケッタイズ部１３０５、復号部１３０６、制御部１３０７から構成される。また、符号化部１３０１、パケッタイズ部１３０２、デパケッタイズ部１３０５、制御部１３０７、復号部１３０６を纏めてＣｏｄｅｃ部１３０８、ネットワーク送信部１３０３とネットワーク受信部１３０４を纏めてネットワーク部１３０９と呼ぶ。実施例７では、同一の機能を持った映像送受信装置１３００と映像送受信装置１３１０を使用する。

まず、入力画像を符号化部１３０１でＨ．２６４、ＭＰＥＧ２などの符号化方法でエンコード処理をしてビデオストリームを出力する。パケッタイズ部１３０２では、前記ビデオストリームのパケット化を行い、ＴＳパケットを出力する。ネットワーク送信部１３０３は、前記パケット化したＴＳパケットを所定のパケット数毎にヘッダと誤り訂正符号を付加してフレームを作成し、ネットワーク上に出力する。さらに、ネットワーク送信部１３０３はフレームを蓄えるメモリを持っており、同一の冗長フレームをネットワーク上に送信することが可能である。なお、フレーム作成時には、オリジナルフレームと冗長フレームの区別とフレームのロスを検出するため、フレームカウンタを挿入する。

一方、ネットワーク受信部１３０４では映像送受信装置１３１０からのフレームデータを受信し、前記受信したフレームデータを解きＴＳパケットを出力する。

ネットワーク受信部１３０４の具体的な処理については、実施例２で詳しく説明したのでここでは省略する。ここで、実施例２で計算したエラーレートを基にネットワーク送信部１３０３の冗長フレームの出力回数を制御する。さらにＣｏｄｅｃ部１３０６に符号化レートを指定し、制御部１３０７では、符号化部１３０１の出力レートが前記指定された符号化レートとなるように制御する。このネットワーク部１３０３の冗長回数と符号化部１３０１の出力レートについては実施例１と同様に、一定の伝送レートになるように制御するものとする。デパケッタイズ部１３０５では、前記フレームデータを解いたＴＳパケットをさらにデパケッタイズ処理を施しビデオストリームを出力する。最後に復号部１３０６で前記ビデオストリームの復号化処理を行い出力画像を出力する。

実施例７の双方向映像伝送システムでは、実施例１ないし６と同様にネットワークへの出力レートを一定に抑えて低遅延で映像を伝送することが可能となる。さらに、ネットワークのエラーレートが低いときには、冗長度を減らして画質を良くする、逆にエラーレートが高いときには、冗長度を増やして若干の画質劣化は伴うもののブロックエラーのように明らかに視認性の悪化させるエラーを軽減するといった様に、ネットワークのエラーレートに応じて、最適な画質を提供することができる。

さらに、実施例７の処理は、ネットワーク部１３０９のみの変更で最適な画質を提供することができる。さらに、本方法は、エラーレート情報を送信しないため、実施例１ないし５とは違いシステムを簡単化できる。

以上，添付図面を参照しながら本発明にかかる好適な実施形態について説明したが，本発明はかかる例に限定されないことは言うまでもない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において，各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、２つ以上の実施例を、その全部または一部において同時に採用する構成も可能である。

１００映像送信装置
１０１映像送信装置の符号化部
１０２映像送信装置のパケッタイズ部
１０３映像送信装置のネットワーク送信部
１０４映像送信装置のネットワーク受信部
１０５映像送信装置のデパケッタイズ部
１０６映像送信装置の制御部
１０７映像送信装置のＣｏｄｅｃ部
１０８映像送信装置のネットワーク部
１１０映像受信装置
１１１映像受信装置のネットワーク受信部
１１２映像受信装置のデパケッタイズ部
１１３映像受信装置の復号部
１１４映像受信装置の制御部
１１５映像受信装置のパケッタイズ部
１１６映像受信装置のネットワーク送信部
１１７映像受信装置のＣｏｄｅｃ部
１１８映像受信装置のネットワーク部

Claims

映像送信装置から映像受信装置に映像を伝送する映像伝送システムであって、
前記映像送信装置は入力画像を圧縮符号化したビデオストリームをパケット化して出力するＣｏｄｅｃ部と、
前記パケット化したビデオストリームをフレームに変換してネットワーク上に送信を行うネットワーク部と、を備え、さらに、
前記ネットワーク部は、前記映像受信装置のエラーレート情報を受信し、
前記Ｃｏｄｅｃ部は、前記エラーレート情報、並びに、前記ビデオストリームのうち参照の起点となるデータであるかどうかによるデータの重要度、に応じて、重み付けして、前記ビデオストリームのレートを下げて作成したビデオストリームと、当該作成したビデオストリームと同一のビデオストリームと、を別ＰＩＤでパケット化して出力し、冗長度を高めることを特徴とする映像伝送システム。
映像送信装置から映像受信装置に映像を伝送する映像伝送システムであって、
前記映像送信装置は入力画像を圧縮符号化したビデオストリームをパケット化して出力するＣｏｄｅｃ部と、
前記パケット化したビデオストリームをフレームに変換してネットワーク上に送信を行うネットワーク部と、を備え、さらに、
前記ネットワーク部は、前記映像受信装置のエラーレート情報を受信し、前記エラーレート情報、並びに、前記ビデオストリームのうち参照の起点となるデータであるかどうかによるデータの重要度、に応じて、重み付けし、冗長度を高めるとともに、
前記Ｃｏｄｅｃ部は、前記エラーレート情報、並びに、前記ビデオストリームのうち参照の起点となるデータであるかどうかによるデータの重要度、に応じて、重み付けして、前記ビデオストリームのレートを下げて作成したビデオストリームと、当該作成したビデオストリームと同一のビデオストリームと、を別ＰＩＤでパケット化して出力することを特徴とする映像伝送システム。
請求項１または２に記載の映像伝送システムにおいて、
前記映像受信装置を複数台接続した場合、前記映像送信装置は受信した複数のエラーレート情報の中から、一番エラーレートの高いエラーレート情報をエラーレート情報として使用することを特徴とする映像伝送システム。
２台の映像送受信装置を用いて映像を双方向に伝送する映像伝送システムであって、
映像送受信装置はＣｏｄｅｃ部とネットワーク部とを備え、
前記Ｃｏｄｅｃ部は、入力画像を圧縮符号化したビデオストリームをパケット化して出力する機能と、パケット化されたビデオストリームをデパケッタイズ処理した後、復号化して再生画像を出力する機能を備え、
前記ネットワーク部は、前記パケット化したビデオストリームをフレームに変換してネットワーク上に送信を行う機能と、他の映像送受信装置から送信されたフレームを受信しフレームを解く機能と、他の映像送受信装置から送信されたエラーレート情報を受け取る機能を備え、
前記Ｃｏｄｅｃ部は、前記エラーレート情報、並びに、前記ビデオストリームのうち参照の起点となるデータであるかどうかによるデータの重要度、に応じて、重み付けして、前記ビデオストリームのレートを下げて作成したビデオストリームと、当該作成したビデオストリームと同一のビデオストリームと、を別ＰＩＤでパケット化して出力し、冗長度を高めることを特徴とする映像伝送システム。
２台の映像送受信装置を用いて映像を双方向に伝送する映像伝送システムであって、
映像送受信装置はＣｏｄｅｃ部とネットワーク部とを備え、
前記Ｃｏｄｅｃ部は、入力画像を圧縮符号化したビデオストリームをパケット化して出力する機能と、パケット化されたビデオストリームをデパケッタイズ処理した後、復号化して再生画像を出力する機能を備え、
前記ネットワーク部は、前記パケット化したビデオストリームをフレームに変換してネットワーク上に送信を行う機能と、他の映像送受信装置から送信されたフレームを受信しフレームを解く機能と、他の映像送受信装置から送信されたエラーレート情報、並びに、前記ビデオストリームのうち参照の起点となるデータであるかどうかによるデータの重要度、に応じて、重み付けして、冗長度を高める機能を備え、さらに、
前記Ｃｏｄｅｃ部は前記エラーレート情報、並びに、前記ビデオストリームのうち参照の起点となるデータであるかどうかによるデータの重要度、に応じて、重み付けして、前記ビデオストリームのレートを下げて作成したビデオストリームと、当該作成したビデオストリームと同一のビデオストリームと、を別ＰＩＤでパケット化して出力することを特徴とする映像伝送システム。
請求項４または５に記載の映像伝送システムにおいて、
映像送受信装置を複数台接続した場合、特定の映像送受信装置は受信した複数のエラーレート情報の中から、一番エラーレートの高いエラーレート情報をエラーレート情報として使用することを特徴とする映像伝送システム。
２台の映像送受信装置を用いて映像を双方向に伝送する映像伝送システムであって、
映像送受信装置は入力画像を圧縮符号化したビデオストリームをパケット化して出力するＣｏｄｅｃ部と、
前記パケット化したビデオストリームをフレームに変換してネットワーク上に送信を行い、かつ他の映像送受信装置から送信されたフレームを受信するネットワーク部と、
を備え、
前記Ｃｏｄｅｃ部は、前記ネットワーク部のフレーム受信時のエラーレート、並びに、前記ビデオストリームのうち参照の起点となるデータであるかどうかによるデータの重要度、に応じて、重み付けして、前記ビデオストリームのレートを下げて作成したビデオストリームと、当該作成したビデオストリームと同一のビデオストリームと、を別ＰＩＤでパケット化して出力し、冗長度を高めることを特徴とする映像伝送システム。
２台の映像送受信装置を用いて映像を双方向に伝送する映像伝送システムであって、
映像送受信装置は入力画像を圧縮符号化したビデオストリームをパケット化して出力するＣｏｄｅｃ部と、
前記パケット化したビデオストリームをフレームに変換してネットワーク上に送信を行い、かつ他の映像送受信装置から送信されたフレームを受信するネットワーク部と、
を備え、
前記ネットワーク部のフレーム受信時のエラーレート、並びに、前記ビデオストリームのうち参照の起点となるデータであるかどうかによるデータの重要度、に応じて、重み付けして、前記Ｃｏｄｅｃ部の前記ビデオストリームのレートを下げて作成したビデオストリームと、当該作成したビデオストリームと同一のビデオストリームと、を別ＰＩＤでパケット化して出力し、冗長度を高めることを特徴とする映像伝送システム。
請求項１ないし８のいずれかに記載の映像伝送システムにおいて、
同一データを複数回送信することによって冗長度を高めることを特徴とする映像伝送システム。
請求項１ないし９のいずれかに記載の映像伝送システムにおいて、
冗長データを連続で出力することを特徴とする映像伝送システム。