JP4932242B2

JP4932242B2 - ストリーム切換装置及びストリーム切換方法

Info

Publication number: JP4932242B2
Application number: JP2005359224A
Authority: JP
Inventors: 昌之馬場; 嘉明加藤
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2005-12-13
Filing date: 2005-12-13
Publication date: 2012-05-16
Anticipated expiration: 2025-12-13
Also published as: JP2007166180A

Description

この発明は、複数のストリームを受信して蓄積し、送信対象のストリームを必要に応じて切り換えながら、ストリームを送信するストリーム切換装置及びストリーム切換方法に関するものである。

例えば、ＭＰＥＧ−２ストリームのようなマルチメディアストリームを切り換える方法として、スプライシングという技術がある（例えば、非特許文献１を参照）。
スプライシングは、切換前後のビデオデータのＶＢＶディレイ値を一致させることにより、受信装置のビデオバッファのオーバーフローやアンダーフローを防ぐ技術である。
しかしながら、切換可能なポイントとして、ＶＢＶディレイ値をある値に固定すると、ビデオデータは固定長符号化に順ずるデータであるため、符号化効率が低下して画質を高めることができなくなる課題を有している。

そこで、従来のストリーム切換装置では、ビデオデータの切換ポイントを検出し、その切換ポイントに新たなデータを入れて調整する方法を採用するようにしている（例えば、特許文献１を参照）。
具体的には、切換ポイントの前後のＶＢＶディレイ値を一致させるため、切換後のＶＢＶディレイ値が切換前のＶＢＶディレイ値より大きい場合、その時間分だけスタッフィングデータを挿入し、切換後のＶＢＶディレイ値が切換前のＶＢＶディレイ値より小さい場合、切換後のＶＢＶディレイ値を下げるビデオデータを挿入する。

この例では、切換後のＶＢＶディレイ値が小さい場合、適切なビデオデータを入れる必要があり、汎用的には使用することができない。また、切換後のＶＢＶディレイ値が大きい場合でも、正確な量のスタッフィングデータを挿入する必要があり、切換時間が短いなかで高度な制御が必要である。
また、ストリームの切換前後で、ストリームの基準クロックが微妙に変化するため、このストリームを受信する受信装置側で、ストリームの切換後にクロックの同期を再度合わせる必要がある。

ＩＳＯ／ＩＥＣ１３８１８−１ＡｎｎｅｘＫ特開平１１−２１５２０３号公報（段落番号［００３８］から［００４８］、図１）

従来のストリーム切換装置は以上のように構成されているので、切換前後のＶＢＶディレイ値に応じてスタッフィングデータやビデオデータを挿入する必要がある。しかし、ストリームの切換時間が短いなかで、正確な量のスタッフィングデータを挿入するには、高度な制御が必要であり、短い切換時間内にスタッフィングデータを挿入する処理が終わらない場合には、ストリームの受信側で、ビデオバッファのアンダーフローやオーバーフローを招くことがあるなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、ストリームの受信側での復号エラーの発生を招くことなく、ストリームの切換条件を緩和して、自由度が高い汎用的な切換処理を実施することができるストリーム切換装置及びストリーム切換方法を得ることを目的とする。

この発明に係るストリーム切換装置は、送信対象のストリームを切り換える際、切換前のストリームにおける切換ポイントから最終符号化単位の復号開始時刻までの時間と、切換後のストリームにおける切換ポイントから先頭符号化単位の復号開始時刻までの時間との時間差より長いストリームの時間間隔を算出し、切換前のストリームの送信を停止してから、上記時間間隔以上をあけて、切換後のストリームの送信を開始するようにしたものである。

この発明によれば、送信対象のストリームを切り換える際、切換前のストリームにおける切換ポイントから最終符号化単位の復号開始時刻までの時間と、切換後のストリームにおける切換ポイントから先頭符号化単位の復号開始時刻までの時間との時間差より長いストリームの時間間隔を算出し、切換前のストリームの送信を停止してから、上記時間間隔以上をあけて、切換後のストリームの送信を開始するように構成したので、ストリームの受信側での復号エラーの発生を招くことなく、ストリームの切換条件を緩和して、自由度が高い汎用的な切換処理を実施することができる効果がある。

実施の形態１．
図１はこの発明の実施の形態１によるストリーム切換装置を示す構成図であり、図において、解析部１ａ，１ｂは外部から復号タイミングが一定周期であることを条件としないストリーム（例えば、Ｈ．２６４やＨ．２６３などの符号化ストリーム）を受信して、そのストリームを内部バッファに蓄積するとともに、そのストリームの切換ポイントを検出して、その切換ポイントを送信部２に通知する処理を実施する。なお、解析部１ａ，１ｂはストリーム蓄積手段を構成している。
図１の例では、ストリーム切換装置が２つの解析部１ａ，１ｂを実装しているものについて示しているが、ストリーム切換装置が３つ以上の解析部を実装するようにしてもよい。

送信部２は解析部１ａ，１ｂの内部バッファに蓄積されている複数のストリームの中から、送信対象のストリームを取得して、そのストリームを送信する処理を実施する。ただし、送信部２は送信対象のストリームを切り換える際、切換前のストリームの送信を停止してから、一定時間以上の時間間隔をあけて、切換後のストリームの送信を開始するようにする。なお、送信部２はストリーム送信手段を構成している。

図２はこの発明の実施の形態１によるストリーム切換装置の送信部２を示す構成図であり、図において、バッファ１１ａは解析部１ａの内部バッファに蓄積されているストリームを取得して、そのストリームを一時的に保持する。
バッファ１１ｂは解析部１ｂの内部バッファに蓄積されているストリームを取得して、そのストリームを一時的に保持する。
切換制御部１２は解析部１ａ，１ｂを制御して送信対象のストリームをバッファ１１ａ，１１ｂに蓄える一方、スイッチ１３の接続先を制御して、バッファ１１ａ，１１ｂに蓄えられている何れかのストリームを外部に送信させる処理を実施する。

次に動作について説明する。
ＭＰＥＧ−２のビデオストリームの場合、復号タイミングが一定周期であることを条件とするため、送信対象のストリームを切り換える際、切換後のストリーム（以下、新ストリームという）を適切な時間でしか遅延させることしかできない。
しかし、解析部１ａ，１ｂが受信して蓄積するストリームは、復号タイミングが一定周期であることを条件としないストリーム（例えば、Ｈ．２６４やＨ．２６３などの符号化ストリーム）であるため、切換前のストリーム（以下、旧ストリームという）と新ストリームの復号タイミングが重ならなければ、新ストリームをいくらでも遅延させることが可能である。

つまり、切換ポイントで挿入する時間間隔は、ある時間より長ければいくらでもよく、ストリーム切換装置としての動作に自由度を与えることができる。
切換ポイントで挿入する一定時間以上の時間間隔は、厳密には切り換えるストリームの種類やタイミングによって変化するが、通常、新旧ストリームの復号タイミングが重ならないような大きな値を指定するようにしておけばよい。
復号タイミングが決して重ならないタイミングに対応する時間間隔Ｔが例えば５００ｍｓであることが既知であれば、予め、５００ｍｓ以上の時間間隔Ｔを送信部２の切換制御部１２に設定する。

解析部１ａ，１ｂは、外部から復号タイミングが一定周期であることを条件としないストリームを受信すると、そのストリームを内部バッファに蓄積するとともに、そのストリームの切換ポイントを検出して、その切換ポイントを送信部２に通知する。
送信部２の切換制御部１２は、例えば、解析部１ａの内部バッファに蓄積されているストリームが送信対象のストリームである場合、ストリームの取得要求を解析部１ａに出力することにより、解析部１ａの内部バッファからストリームを取得して、そのストリームをバッファ１１ａに蓄えるようにする。
また、切換制御部１２は、スイッチ１３の接続先をバッファ１１ａ側に設定して、バッファ１１ａに蓄えているストリームを外部に送信させるようにする。

その後、送信対象のストリームを解析部１ａの内部バッファに蓄積されているストリームから解析部１ｂの内部バッファに蓄積されているストリームに切り換える場合、切換制御部１２がストリームの停止要求を解析部１ａに出力すると、解析部１ａは旧ストリームで最終符号化単位として切換可能なポイントを検索し、複数の切換可能ポイントの位置を切換制御部１２に通知する。そして切換制御部１２は複数の切換可能ポイントの中から適当なものを１つ選び、最終符号化単位を示す切換ポイントとして解析部１ａに通知する。
解析部１ａは、送信部２から切換ポイントの通知を受けると、その切換ポイントまで旧ストリームをバッファ１１ａに出力したのち、旧ストリームの出力を停止する。
これにより、送信部２のバッファ１１ａには、切換ポイントまでの旧ストリームが蓄えられるようになる。

また、切換制御部１２は、送信対象のストリームを切り換える場合、ストリームの取得要求を解析部１ｂに出力すると、解析部１ｂは新ストリームで先頭符号化単位として切換可能なポイントを検索し、複数の切換可能ポイントの位置を切換制御部１２に通知する。そして切換制御部１２は複数の切換可能ポイントの中から適当なものを１つ選び、先頭符号化単位を示す切換ポイントとして解析部１ｂに通知する。
解析部１ｂは、送信部２の切換制御部１２から切換ポイントの通知を受けると、その切換ポイント以降の新ストリームをバッファ１１ｂに出力する。
これにより、送信部２のバッファ１１ｂには、切換ポイント以降の新ストリームが蓄えられるようになる。

次に、切換制御部１２は、バッファ１１ａに蓄えられている旧ストリームがなくなるまで、スイッチ１３の接続先をバッファ１１ａ側に保持して、旧ストリームを外部に送信させるようにする。
切換制御部１２は、バッファ１１ａに蓄えられている旧ストリームがなくなると、予め設定された時間間隔Ｔだけ何のデータも送信しないようにするため、スイッチ１３の接続先を未接続の状態に切り換えるようにする（図２では、接続先を一番下の●に切り換える）。

切換制御部１２は、すべての旧ストリームを外部に送信させてから、予め設定された時間間隔Ｔを経過すると、スイッチ１３の接続先をバッファ１１ｂ側に切り換えて、バッファ１１ｂに蓄えている切換ポイント以降の新ストリームを外部に送信させるようにする。
これにより、送信対象のストリームの切り換えが完了する。

ここで、図３はスイッチ切換装置により送信されるストリームの復号開始タイミングを示す説明図である。
ストリームを構成している各符号化単位には復号開始時刻の情報が含まれており、また、ストリームには現在の時刻情報も含まれている。
ストリームの受信側の装置では、各符号化単位の復号開始時刻と現在時刻を比較して、各符号化単位の復号開始タイミングを認識し、その復号開始タイミングで各符号化単位の復号を開始する。

なお、ストリームによっては、復号開始タイミングが極端に早いものや遅いものが存在する。さらに、これらの復号開始タイミングは変化するため、１つのストリーム内でもタイミングが早い部分や遅い部分が存在する。
仮に、旧ストリームの復号開始タイミングが遅く、新ストリームの復号開始タイミングが早い場合、復号開始タイミングが逆転してしまって、正常なタイミングで復号を実施することができなくなることがある。
しかし、この実施の形態１では、旧ストリームと新ストリームの間に、何のデータも送信しない時間間隔Ｔが挿入されているので、結果的に新ストリームの復号タイミングが後ろにずらされて（時間的に遅延させる）、新旧ストリームの復号タイミングの衝突が避けられる。

以上で明らかなように、この実施の形態１によれば、解析部１ａ，１ｂの内部バッファに復号タイミングが一定周期であることを条件としないストリームが蓄積されている場合、送信部２が送信対象のストリームを切り換える際、旧ストリームの送信を停止してから、一定時間以上の時間間隔Ｔをあけて、新ストリームの送信を開始するように構成したので、ストリームの受信側での復号エラーの発生を招くことなく、ストリームの切換条件を緩和して、自由度が高い汎用的な切換処理を実施することができる効果を奏する。

なお、この実施の形態１では、送信部２がバッファ１１ａ，１１ｂを実装しているが、切換制御部１２が厳密な切換タイミングでスイッチ１３の切換指示を行うことが可能であれば、バッファ１１ａ，１１ｂを実装する必要がない。

実施の形態２．
上記実施の形態１では、予め、切換ポイントで挿入する時間間隔Ｔが送信部２の切換制御部１２に設定されているものについて示したが、送信部２の切換制御部１２が送信対象のストリームを切り換える際、新旧ストリームにおける切換ポイントと復号開始時刻を基準にして、切換ポイントで挿入する時間間隔Ｔを算出するようにしてもよい。
具体的には、次の通りである。

送信部２の切換制御部１２は、新旧ストリームにおける切換ポイントと復号開始時刻を基準にして、以下の式（１）が成立するような時間間隔Ｔを算出する。
ｔｐ＜ｔｎ＋Ｔ（１）
ただし、Ｔ≧０
ｔｐは旧ストリームにおける切換ポイントから最終符号化単位の復号開始時刻までの時間、ｔｎは新ストリームにおける切換ポイントから先頭符号化単位の復号開始時刻までの時間である。

図４はストリーム切換時の時間的な関係を示す説明図である。
式（１）が成立するような時間間隔Ｔを切換ポイントに挿入すると、旧ストリームの最終符号化単位の復号開始タイミングが、常に、新ストリームの先頭符号化単位の復号開始タイミングより早くなる。
例えば、「ＭＰＥＧ−２ＴＳ」の伝送方式を使用する場合、復号開始時刻がＤＴＳ、現在時刻がＰＣＲで与えられるため、これらの情報からｔｐ、ｔｎは容易に算出可能である。つまり離散的に存在するＰＣＲの時刻情報を補完して、切換ポイントの時刻情報を求め、その時刻情報と所望の符号化単位のＤＴＳを比較すれば、復号開始までの時間を求めることができる。

図５はこの発明の実施の形態２によるストリーム切換装置の処理内容を示すフローチャートである。
以下、ストリーム切換装置の処理内容を具体的に説明する。
送信部２の切換制御部１２は、外部からストリーム切換指令を受けると、切換対象のストリームの解析を解析部１ａ，１ｂに指示する。
解析部１ａ，１ｂは、送信部２の切換制御部１２からストリームの解析指示を受けると、ストリームの切換ポイントの検出処理を開始する（ステップＳＴ１）。
ストリームが例えばビデオデータである場合、符号化順序の並び替えや差分データのみを符号化して送信することがあるため、これらの影響を受けないポイントでストリームの切り換えを行う必要がある。
そのため、例えば、ストリームのクローズドＧＯＰの先頭などを切換ポイントとして検出するようにする。

送信部２の切換制御部１２は、解析部１ａ，１ｂが切換ポイントを検出すると、旧ストリームの切換ポイントから最終符号化単位の復号開始時刻までの時間ｔｐを求める（ステップＳＴ２）。
例えば、ストリームが「ＭＰＥＧ２ＴＳ」である場合、切換ポイントの時刻は、切換ポイントにおけるＰＣＲ値（＝ＰＣＲｐ）として、ストリームに離散的に含まれるＰＣＲとストリームのビットレートから算出する。最終符号化単位の復号開始時刻は、最終符号化単位のＤＴＳｐに相当する。
切換ポイントの時刻ＰＣＲｐと最終符号化単位の復号開始時刻ＤＴＳｐは、同一の時間軸上にあるため、旧ストリームの切換ポイントから最終符号化単位の復号開始時刻までの時間ｔｐは、次のようになる。
ｔｐ＝ＰＣＲｐ−ＤＴＳｐ

また、送信部２の切換制御部１２は、新ストリームの切換ポイントから先頭符号化単位の復号開始時刻までの時間ｔｎを求める（ステップＳＴ２）。
切換ポイントの時刻ＰＣＲｎは、時刻ＰＣＲｐと同様に、ストリームに離散的に含まれるＰＣＲとストリームのビットレートから算出する。先頭符号化単位の復号開始時刻は、先頭符号化単位のＤＴＳｎに相当する。
切換ポイントの時刻ＰＣＲｐと先頭符号化単位の復号開始時刻ＤＴＳｎは、同一の時間軸上にあるため、新ストリームの切換ポイントから先頭符号化単位の復号開始時刻までの時間ｔｎは、次のようになる。
ｔｎ＝ＰＣＲｎ−ＤＴＳｎ

送信部２の切換制御部１２は、上記のようにして、時間ｔｐ，ｔｎを求めると、時間ｔｐ，ｔｎを式（１）に代入して、切換ポイントで挿入する時間間隔Ｔを算出する（ステップＳＴ３）。
ただし、式（１）は不等式であるため、時間間隔Ｔは一意には決まらず、式（１）を満足する範囲内で時間間隔Ｔを選択する必要がある。
式（１）を満足する時間間隔Ｔであれば、いかなる時間間隔でもよいため、時間間隔Ｔの選択方法は、特に問うものではないが、システムの制約等（例えば、スイッチング処理の速度の制約等）を考慮して選択すればよい。

送信部２の切換制御部１２は、切換ポイントで挿入する時間間隔Ｔが決まると、送信対象のストリームを切り換える際、切換ポイントまで旧ストリームを送信したのち、時間間隔Ｔの期間中、データ送信を停止し、その後、新ストリームの送信を開始するようにする（ステップＳＴ４）。

以上で明らかなように、この実施の形態２によれば、送信部２の切換制御部１２が送信対象のストリームを切り換える際、新旧ストリームにおける切換ポイントと復号開始時刻を基準にして、切換ポイントで挿入する時間間隔Ｔを算出するように構成したので、正確な時間間隔Ｔを切換ポイントに挿入することができるようになり、その結果、正常かつ素早い切換処理を実施することができる効果を奏する。

実施の形態３．
上記実施の形態２では、特に符号化単位の最小表示間隔を考慮しないで時間間隔Ｔを決定するものについて示したが、符号化単位の最小表示間隔を考慮して時間間隔Ｔを決定するようにしてもよい。
一般に、符号化単位の復号間隔と表示間隔は同じである。そのため、復号間隔が狭い場合には、表示間隔も狭くなる。
ストリームの受信側の装置では、表示間隔に制限があるものもあるため、ストリーム切換装置が最小表示間隔ｔ０を守らなければならない場合がある。

送信部２の切換制御部１２は、符号化単位の最小表示間隔ｔ０を考慮して時間間隔Ｔを決定する場合、下記の式（２）が成立するような時間間隔Ｔを求めるようにする。
ｔｐ＋ｔ０≦ｔｎ＋Ｔ（２）
式（２）が成立するような時間間隔Ｔを切換ポイントに挿入すると、旧ストリームの最終符号化単位の復号開始タイミングが、常に、新ストリームの先頭符号化単位の復号開始タイミングより最小表示間隔ｔ０以上早くなり、切換ポイントでの復号間隔及び表示間隔が最小表示間隔ｔ０より大きくなる。
この実施の形態３によれば、最小表示間隔ｔ０を守りながら素早い切換処理を実施することができる効果を奏する。

実施の形態４．
図６はこの発明の実施の形態４によるストリーム切換装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
データ発生部３は所定のデータ（送信対象のストリームが「ＭＰＥＧ−２ＴＳ」である場合には、ヌルＴＳパケットなど）を発生する処理を実施する。
送信部４は図１の送信部２と同様の処理を実施するほか、時間間隔Ｔの期間中、データ発生部３から発生されるデータを外部に送信させるようにする。
なお、データ発生部３及び送信部４からストリーム送信手段が構成されている。

上記実施の形態１では、送信対象のストリームを切り換える際、切換ポイントまで旧ストリームを送信したのち、時間間隔Ｔの期間中、データ送信を停止し、その後、新ストリームの送信を開始するようにしているが、この実施の形態４では、時間間隔Ｔの期間中、データ発生部３から発生されるデータを送信するようにしている点で相違している。
このように、送信部４が、時間間隔Ｔの期間中にデータ発生部３から発生されるデータを送信するようにする場合、旧ストリームと新ストリームのビットレートが同一であるとき、データ発生部３から発生されるデータのビットレートを新旧ストリームのビットレートに合わせれば、ストリーム切換装置から送信されるデータのビットレートを常に一定にすることができるため、固定レートの伝送路を使用する場合でも、ストリーム切換装置を適用することができる効果を奏する。

実施の形態５．
図７はこの発明の実施の形態５によるストリーム切換装置を示す構成図であり、図において、図６と同一符号は同一または相当部分を示すので説明を省略する。
処理部５ａ，５ｂは送信対象のストリームが切り換わっても、新旧ストリームの識別情報などのパラメータが変わらないように、解析部１ａ，１ｂから出力されたストリームの識別情報などを書き換えるパラメータの整合処理を実施する。なお、処理部５ａ，５ｂはストリーム送信手段を構成している。

上記実施の形態４では、送信対象のストリームを切り換える際、ストリームの識別情報などのパラメータを書き換えることなく、そのストリームを送信するようにしているので、旧ストリームの識別情報などのパラメータと、新ストリームの識別情報などのパラメータとが異なる場合がある。
ところが、送信対象のストリームが、例えば「ＭＰＥＧ−２ＴＳ」などのストリームである場合、ストリームの識別に使用するＰＩＤを新旧ストリームで一致していれば、ストリームの受信側の装置では、ストリームの切換を意識せずに、ストリームの受信処理を実施することが可能となる。

そこで、この実施の形態５では、送信対象のストリームが切り換わっても、新旧ストリームの識別情報などのパラメータが変わらないようにするために、処理部５ａ，５ｂが解析部１ａ，１ｂから出力されたストリームの識別情報などを同じ情報に書き換えるパラメータの整合処理を実施するようにしている。
これにより、ストリームの受信側の装置では、ストリームの切換を意識せずに、ストリームの受信処理を実施することができる効果を奏する。

実施の形態６．
上記実施の形態５では、解析部１ａ，１ｂの後段に処理部５ａ，５ｂを実装しているものについて示したが、図８に示すように、送信対象のストリームが切り換わっても、新旧ストリームの識別情報などのパラメータが変わらないように、解析部１ａ，１ｂから出力されたストリームの識別情報などを書き換える処理部５を送信部４の後段に実装するようにしてもよい。

実施の形態７．
上記実施の形態５では、ストリームの識別情報などのパラメータを書き換えるものについて示したが、例えば、ストリームの時間情報などのパラメータを書き換えるようにしてもよい。
具体的には、以下の通りである。

送信対象のストリームが、例えば「ＭＰＥＧ−２ＴＳ」などのストリームである場合、復号開始時刻はＤＴＳで与えられ、現在時刻はＰＣＲで与えられる。
処理部５ａでは、旧ストリームの切換ポイントにおけるＰＣＲ値（ＰＣＲｐ）を算出して送信部４に通知する。
送信部４では、切換ポイントで挿入する時間間隔Ｔの時間換算値（ＰＣＲの時間換算値）を処理部５ａから通知されたＰＣＲｐに加算し、その加算結果であるＰＣＲｎを新ストリームの切換ポイントの情報として処理部５ｂに通知する。

処理部５ｂは、送信部４から新ストリームの切換ポイントの情報としてＰＣＲｎを受けると、新ストリームの切換ポイントにおけるＰＣＲ値が送信部４から通知されたＰＣＲｎと一致するように、新ストリーム内の各ＰＣＲ値を補正する。
これにより、新ストリームにおける切換ポイントのＰＣＲ値がＰＣＲ０である場合、そのＰＣＲ値がＰＣＲｎに置き換えられることになるので、新ストリーム内の各ＰＣＲ値は、（ＰＣＲｎ−ＰＣＲ０）の値が加算されるように修正される。
同様に新ストリームのＤＴＳ値についても、（ＰＣＲｎ−ＰＣＲ０）の値が加算されるように処理部５ｂで修正される。因みに、新ストリームの先頭符号化単位のＤＴＳの値は、図４から明らかなように、旧ストリームの最終符号化単位のＤＴＳに（ｔｎ−ｔｐ＋Ｔ）を加えたものとなる。

この実施の形態７では、時刻情報や復号開始時刻の情報が、新旧ストリームで連続的な値をとるようにしているので、ストリームの受信側の装置は、ストリームが切り換えられたことを認識しないまま正常に復号することができる効果を奏する。もし、このような処理を実施しない場合、ストリームの受信側の装置では、時間的に連続性がないことを認識し、切換ポイント後に時刻情報の再ロード等の処理によって、一時的に復号処理がとまる可能性がある。

実施の形態８．
上記実施の形態７では、特に言及していないが、各ストリームのメディアには、それぞれ基準クロックが存在する。この基準クロックは、基本的にはほぼ同じ周波数であるが、微妙にずれることがある。
送信対象のストリームが、例えば「ＭＰＥＧ−２ＴＳ」などのストリームである場合、時刻情報のＰＣＲの周波数は、２７ＭＨｚ±８１０Ｈｚの誤差が許されている。これにより、復号タイミングであるＤＴＳの値も誤差を許されることになる。

そこで、送信部４は、処理部５から新ストリームを旧ストリームの基準クロックの速さで取得して送信するようにする。
この場合、送信部４は、旧ストリームの基準クロックを記憶しておくようにしてもよいし、常に、固有の基準クロックで新旧ストリームを取得して送信するようにしてもよい。
ストリームの受信側の装置では、ストリームの切り換えが行われても、ストリームの基準クロックが変化しないため、安定した再生を実施することができる。

図９はクロック調整前後のストリームのタイミングを示す説明図である。
図９の例では、調整前のストリームに入っているＰＣＲを送信部４の基準クロックに合うように調整し、調整後のＰＣＲのタイミングでストリームの送信タイミングをずらしているものである。
また、ＰＣＲのタイミングを修正するのに対応して、メディアの復号時間の情報も修正するようにしてもよい。
例えば、ストリーム切換装置が１０００パケット／秒の送信レートで、１０００パケット送信する毎に、２７ＭＨｚのＰＣＲも１秒分増加する。
あるメディアが１０符号化単位／秒である場合、送信部４は、入力ストリームの固有の基準クロックにかかわらず、処理部５を介して、入力ストリームから１０符号化単位／秒のメディアを抜き出して送信するようにする。
その際の表示タイミングが、ストリーム切換装置のクロック換算で付け替えなおされることで、入力ストリームの基準クロックが多少ずれていても、すべてのストリーム切換装置のクロックに同期して送信されるので、ストリーム切換時のクロックの変化がなくなる。
これにより、ストリームの受信側の装置では、ストリームの切り換えによる影響を受けることなく、ストリームを復号することができる。

上記の例で、クロックの調整時に送信タイミングをすらしたことにより発生した部分の空間に、データ発生部３から発生されたデータを埋めるようにしてもよい。
用途によっては、固定レートでのストリーム送信を希望する場合があるが、上記のように、ストリームを取得するタイミングを調整する際、送信タイミングをすらしたことにより発生した部分の空間に（旧ストリームの送信を停止してから新ストリームの送信を開始するまでの間、または、新ストリームを送信している期間中）、データ発生部３から発生されたデータを離散的に挿入することにより、送信レートを常に一定にすることができる。

上記の例では、基準クロックを常に一定にするために、送信部４が送信タイミングをずらすことで対応するものについて示したが、調整後の送信タイミングを早めなければいけない場合、調整前のストリームの送信レートより高いレートで送信する必要がある。
しかし、送信部４で送信可能なレートが調整後の送信レートより低い場合、送信タイミングを所望のタイミングにずらすことができない。
そこで、ストリームのタイミングを調整しても、送信部４が送信可能なレートより小さくなるように、解析部１ａ，１ｂが、送信部４の送信可能レートよりレートが低いストリームを受信するようにする。
これにより、送信タイミングを調整しても、所望のレートを越えずに送信することができる。

上述したように、送信タイミングの調整によって、ストリームの本来の送信時間より長くなったり、短くなったりする。
例えば、本ストリーム切換装置を番組の放送に用いる場合、例えば、３０秒のＣＭを挿入する際、用意したＣＭコンテンツが丁度３０秒の長さしかないと、送信タイミングの調整によって、ＣＭ時間が３０秒に満たない状況が発生することがある。
そこで、用意するストームは、所望の再生時間より少し長めのものを用意し、送信時に余った後半部分を廃棄することで、正確な再生時間を実現するようにする。
以上のように、扱うストリームを所望の再生時間より長い時間のコンテンツとすることで、所望の送信出力時間を満たすことができる。

また、ストリームの中に複数のメディアが含まれている場合、１つのメディアの符号化単位の復号タイミングに合わせて切換を行うと、他のメディアでは、切換時に再生する符号化単位が多くなり過ぎる状況が発生する。
例えば、ストリームに含まれているビデオの符号化単位で切換処理を行った場合に、そのストリームに一緒に含まれている音声の符号化単位からみると、必ずしも適切な切換処理になるとは限らず、時間当りの音声の符号化単位の数が一時的に多くなったり少なくなったりすることがある。

音声の符号化単位の数が少ない場合は、ストリームの受信側の装置において、音声出力がストリームの切換時に一時中断する程度の影響で済むが、音声の符号化単位の数が多い場合、所望以上の音声データを出力する必要があり、現実的には不可能なため、受信側の装置の動作が保障されなくなる。
そこで、ビデオデータにあわせてストリーム切換を行った時に、音声データの過不足を発見したら、受信側で音声データの基準クロックで再生できる符号化単位の数となるように、符号化単位の数が足りない場合は無音データの音声データを追加し、符号化単位の数が多い場合は音声符号化単位を廃棄する。
これにより、切換前後のストリームの単位時間の符号化単位の数が一定になるため、受信側で切換時に安定した再生を行うことができる。

１つのストリームに複数のメディアが含まれている場合、一定周期の表示タイミングを有するメディアに合わせて、ストリームの切換を実施することで、メディアの連続表示を確保することができる。
図１０は切換前後のストリーム内のメディアの表示タイミングを示す説明図である。
例えば、ストリームに音声（Ａ）とビデオ（Ｖ）が含まれている場合において、音声（Ａ）が一定周期の表示タイミングが必要であるとすると、音声（Ａ）の符号化単位を基準にしてストリームの切換処理を実施することにより、音声（Ａ）の符号化単位の連続性を保持して、音声の途切れを防止する。
一方、ビデオ（Ｖ）は、表示タイミングが重ならないように、切換ポイント付近の符号化単位を削除する。符号化ストリームの中で、ビデオ（Ｖ）の符号化単位の廃棄を考える場合、上記の時間間隔Ｔの値が“０”でも、式（１）又は式（２）が成立するような符号化ユニットを選択することが必要である。
また、図１０では、切換ポイントのタイミングが切換前後で一致しているが、これは解析部１ａ，１ｂで、新ストリームの送信タイミングを調整したものであり、本来、ストリーム切換装置に入力されたタイミングとは異なる。
以上のように、表示間隔が一定のメディアの時間的連続性を維持するように切換を行うようにしたので、受信側で切換時に連続した再生を行うことができる。

この発明の実施の形態１によるストリーム切換装置を示す構成図である。この発明の実施の形態１によるストリーム切換装置の送信部を示す構成図である。スイッチ切換装置により送信されるストリームの復号開始タイミングを示す説明図である。ストリーム切換時の時間的な関係を示す説明図である。この発明の実施の形態２によるストリーム切換装置の処理内容を示すフローチャートである。この発明の実施の形態４によるストリーム切換装置を示す構成図である。この発明の実施の形態５によるストリーム切換装置を示す構成図である。この発明の実施の形態６によるストリーム切換装置を示す構成図である。クロック調整前後のストリームのタイミングを示す説明図である。切換前後のストリーム内のメディアの表示タイミングを示す説明図である。

符号の説明

１ａ，１ｂ解析部（ストリーム蓄積手段）、２送信部（ストリーム送信手段）、３データ発生部（ストリーム送信手段）、４送信部（ストリーム送信手段）、５，５ａ，５ｂ処理部（ストリーム送信手段）、１１ａ，１１ｂバッファ、１２切換制御部、１３スイッチ。

Claims

送信対象のストリームを切り換える際、切換前のストリームと切換後のストリームの復号タイミングが重ならなければ、切換後のストリームの遅延時間を自由に設定することが可能な複数のストリームを受信して、複数のストリームを蓄積するストリーム蓄積手段と、上記ストリーム蓄積手段に蓄積されている複数のストリームの中から、送信対象のストリームを取得して、そのストリームを送信するストリーム送信手段とを備えたストリーム切換装置において、
上記ストリーム送信手段は、送信対象のストリームを切り換える際、切換前のストリームにおける切換ポイントから最終符号化単位の復号開始時刻までの時間と、切換後のストリームにおける切換ポイントから先頭符号化単位の復号開始時刻までの時間との時間差より長いストリームの時間間隔を算出し、切換前のストリームの送信を停止してから、上記時間間隔以上をあけて、切換後のストリームの送信を開始することを特徴とするストリーム切換装置。
送信対象のストリームを切り換える際、切換前のストリームと切換後のストリームの復号タイミングが重ならなければ、切換後のストリームの遅延時間を自由に設定することが可能な複数のストリームを受信して、複数のストリームを蓄積するストリーム蓄積手段と、上記ストリーム蓄積手段に蓄積されている複数のストリームの中から、送信対象のストリームを取得して、そのストリームを送信するストリーム送信手段とを備えたストリーム切換装置において、
上記ストリーム送信手段は、送信対象のストリームを切り換える際、切換前のストリームにおける切換ポイントから最終符号化単位の復号開始時刻までの時間と、切換前又は切換後のストリームの符号化単位の最小表示間隔とを加算し、その加算した時間と、切換後のストリームにおける切換ポイントから先頭符号化単位の復号開始時刻までの時間との時間差より長いストリームの時間間隔を算出し、切換前のストリームの送信を停止してから、上記時間間隔以上をあけて、切換後のストリームの送信を開始することを特徴とするストリーム切換装置。
ストリーム送信手段は、切換前のストリームの送信を停止してから、切換後のストリームの送信を開始するまでの間、送信対象のストリームが「ＭＰＥＧ−２ＴＳ」であれば、ヌルＴＳパケットを送信することを特徴とする請求項１または請求項２記載のストリーム切換装置。
ストリーム送信手段は、送信対象のストリームを切り換える際、切換前のストリームのパラメータと切換後のストリームのパラメータとの整合を図ることを特徴とする請求項１から請求項３のうちのいずれか１項記載のストリーム切換装置。
ストリーム送信手段は、切換前のストリームにおける最終符号化単位の復号開始時刻に、切換後のストリームにおける切換ポイントから先頭符号化単位の復号開始時刻までの時間と、ストリームの時間間隔とを加算するとともに、切換前のストリームにおける最終符号化単位の復号開始時刻から、切換前のストリームにおける切換ポイントから最終符号化単位の復号開始時刻までの時間を減算する演算を実施して、切換後のストリームにおける先頭符号化単位の復号開始時刻を示すパラメータを上記演算結果に修正することを特徴とする請求項４記載のストリーム切換装置。
ストリーム送信手段は、切換前のストリームの基準クロックと切換後のストリームの基準クロックとが一致するように、ストリーム蓄積手段から切換後のストリームを取得するタイミングを調整することを特徴とする請求項４または請求項５記載のストリーム切換装置。
ストリーム送信手段は、ストリームを取得するタイミングを調整する際、ストリームの切換前後で送信レートが一致するように、データ発生部から発生されたデータを離散的に送信することを特徴とする請求項６記載のストリーム切換装置。
ストリーム蓄積手段により受信されて蓄積されるストリームが、所望の送信レートより低いレートであることを特徴とする請求項４から請求項７のうちのいずれか１項記載のストリーム切換装置。
ストリーム蓄積手段により受信されて蓄積されるストリームが、所望の送信時間より長い時間のコンテンツであることを特徴とする請求項４から請求項８のうちのいずれか１項記載のストリーム切換装置。
ストリーム送信手段は、送信対象のストリームを切り換える際、ストリームの切換前後で単位時間当りの符号化単位の数が一致するように、切換後のストリームに対する符号化単位の追加又は削除を実施することを特徴とする請求項１から請求項９のうちのいずれか１項記載のストリーム切換装置。
ストリーム送信手段は、ストリームが、一定周期の表示タイミングが必要な音楽のメディアと、一定周期の表示タイミングを必要としないビデオのメディアを含んでいる場合、上記音楽のメディアの符号化単位を基準にしてストリームの切り換えを実施し、上記ビデオのメディアについては表示タイミングが重ならないように符号化単位を削除することを特徴とする請求項１から請求項１０のうちのいずれか１項記載のストリーム切換装置。
送信対象のストリームを切り換える際、切換前のストリームと切換後のストリームの復号タイミングが重ならなければ、切換後のストリームの遅延時間を自由に設定することが可能な複数のストリームを受信して、複数のストリームを蓄積する一方、その蓄積している複数のストリームの中から、送信対象のストリームを取得して、そのストリームを送信するストリーム切換方法において、
送信対象のストリームを切り換える際、切換前のストリームにおける切換ポイントから最終符号化単位の復号開始時刻までの時間と、切換後のストリームにおける切換ポイントから先頭符号化単位の復号開始時刻までの時間との時間差より長いストリームの時間間隔を算出し、切換前のストリームの送信を停止してから、上記時間間隔以上をあけて、切換後のストリームの送信を開始することを特徴とするストリーム切換方法。
送信対象のストリームを切り換える際、切換前のストリームと切換後のストリームの復号タイミングが重ならなければ、切換後のストリームの遅延時間を自由に設定することが可能な複数のストリームを受信して、複数のストリームを蓄積する一方、その蓄積している複数のストリームの中から、送信対象のストリームを取得して、そのストリームを送信するストリーム切換方法において、
送信対象のストリームを切り換える際、切換前のストリームにおける切換ポイントから最終符号化単位の復号開始時刻までの時間と、切換前又は切換後のストリームの符号化単位の最小表示間隔とを加算し、その加算した時間と、切換後のストリームにおける切換ポイントから先頭符号化単位の復号開始時刻までの時間との時間差より長いストリームの時間間隔を算出し、切換前のストリームの送信を停止してから、上記時間間隔以上をあけて、切換後のストリームの送信を開始することを特徴とするストリーム切換方法。