JP4225185B2 - ストリーム切り替え装置及び切り替え方法 - Google Patents

Description

本発明はストリーム切り替え装置及び切り替え方法に係り、特にＭＰＥＧ（Moving Picture Experts Group）等の規格上での最大バッファ量が異なるためなどの理由で符号化遅延(＝使用可能バッファ量)の異なるストリームを切り替えるストリーム切り替え装置及び切り替え方法に関する。

ディジタル放送送出設備において、ＭＰＥＧ等の規格で圧縮符号化された２系統の映像ストリームを同期させた上で、送出信号に乱れを生じさせることなくスムーズに切り替えるストリーム切り替え装置が従来より知られている(例えば、特許文献１参照)。すなわち、この特許文献１記載のストリーム切り替え装置では、２系統の入力信号を別々に圧縮符号化して第１及び第２のストリームをそれぞれ出力する第１及び第２のエンコーダに対して、トリガ信号発生器から系統切り替えの所定時間前に、同期トリガ信号をそれぞれ供給し、第１及び第２のエンコーダにより、所定時間後に切り替えられるストリーム位置を解析させ、その解析したストリーム位置でＧＯＰ（Group Of Picture）の最後のピクチャがくるように、同期トリガ信号受信時から切り替え時までのストリームのＧＯＰサイズを可変設定させて強制的に同期合わせを行う。その後、トリガ信号発生器はマルチプレクサに切り替えタイミング信号を供給して第１及び第２のエンコーダの２系統のストリームの一方から他方へ切り替えさせる。

換言すると、この特許文献１には、ストリーム切り替え時にＧＯＰ位相＝ピクチャタイプが合っていれば、切り替え後のストリームをデコードしても、デコード処理による画質乱れが起こらないという思想を、ＧＯＰ長の調整によって実現した発明が開示されている。

また、切り替えをＧＯＰより細かい精度で行い、切り替え後の画像の時間的な位相精度をより細かい精度で規定するストリーム切り替え装置も知られている(例えば、特許文献２参照)。この特許文献２記載のストリーム切り替え装置では、第１及び第２のストリームのＧＯＰの位相が合っていない場合に、一方のストリームを時間的にシフトすることにより、ＧＯＰの位相を合わせる位相シフト処理と、ＧＯＰの位相と切り替え信号の位相とが合っていない場合に、切り替え信号の位相をＧＯＰの位相に合わせるシフト処理とを行う遅延手段と制御手段とを設け、切り替え信号により第１及び第２のストリームを切り替え、第３のストリームを出力する。

また、この特許文献２には、２つのストリーム自体はＧＯＰ位相がずれたまま切り替えるが、切り替え信号をデコーダに教えることで崩れる映像フレームの補償を行う方法と、２つのストリームのＧＯＰがずれている場合、同時に用意する切り替え信号を使用してＧＯＰのずれを検出し、そのずれ分を遅延させた後、ストリームを切り替えることで切り替え時のショックを出さないようにする方法も開示されている。

更に、符号化されたストリームを遅延回路によりタイミング調整することにより、適切なストリーム切り替えを行うストリーム切り替え装置も従来より知られている(例えば、特許文献３参照)。すなわち、この特許文献３には、ストリームレベルでは、ＧＯＰ内の任意のピクチャで破綻なく切り替えることができないので、ＧＯＰを切り替えたい映像フレームを持つＧＯＰだけ、ストリームを一旦デコードし、デコードされたベースバンド映像信号をスイッチャで切り替え、再度符号化し、元のストリームと切り替える切り替え装置が開示されている。

この従来のストリーム切り替え装置は、切り替える映像フレームを持つＧＯＰ以外はストリームを遅延させてそのまま使用し、切り替える映像フレームが入るＧＯＰのみ再エンコードし、それらをＧＯＰ同期させ、切り替えを行うため、再エンコード部分以外は切り替えにより画質劣化を起こさないという構成であり、切り替えを行うためのストリームは、ＧＯＰ位相が一致していることが前提となっている。

特開２００２-２９０９６７号公報 特開平９−２８４７７１号公報 特開平１０−９８７１３号公報

しかるに、同じ符号化モードや動作状態(符号化遅延が同じ、使用するバッファ量が同じ)となるストリーム同士を切り替える切り替え装置は従来存在し、また、特許文献２及び３にはストリームを遅延する機能を有しているが、特許文献１乃至３各記載の従来のストリーム切り替え装置では、いずれも切り替えを行うためのストリームは、ＧＯＰ位相（ＧＯＰの先頭）が一致していることが前提となっており、放送用途などに使用されるリアルタイム処理されるエンコーダにおいて、符号化遅延が異なるリアルタイムエンコーダの出力ストリーム同士をシームレスに切り替えることはこれまで実現できていない。

すなわち、従来は符号化遅延が異なる符号化ストリームを切り替える場合、切り替わり点で映像位相を合わせようとすると、復号するタイミングを合わせることができず、復号するタイミングで映像位相を合わせた状態では、切り替わり点を合わせることができないため、シームレスに切り替えを実現することができない。

本発明は以上の点に鑑みなされたもので、ストリーム遅延処理により一時的にストリームの出力位置を変更することにより、放送用途に使用されるようなリアルタイム符号化を行う環境において、切り替え前後のストリームにてデコーダの映像信号の出力位相がずれることなく、良い画質を維持するための遅延を確保しつつ、切り替え点でストリームが欠落や連続性が無くなることによる映像破壊を行うこともなく、シームレス切り替えを実現し得るストリーム切り替え装置及び切り替え方法を提供することを目的とする。

また、本発明の他の目的は、通常時においては画質に対しての悪影響を最小限にするように符号化することが可能なストリーム切り替え装置及び切り替え方法を提供することにある。

上記の目的を達成するため、第１の発明のストリーム切り替え装置は、第１の映像信号を圧縮符号化して第１の符号化ストリームを出力する第１のエンコーダ部と、第２の映像信号を圧縮符号化して第２の符号化ストリームを出力する第２のエンコーダ部と、第１の符号化ストリームを遅延する第１の遅延手段と、第１の符号化ストリームが第１のエンコーダから出力されてからデコーダにより最終的に映像信号として復号出力されるまでの第１の符号化遅延の方が、第２の符号化ストリームが第２のエンコーダから出力されてからデコーダにより最終的に映像信号として復号出力されるまでの第２の符号化遅延に比べて長い場合に、第２の符号化ストリームを、第１の符号化遅延から第２の符号化遅延を差し引いた時間分、定常的に遅延する第２の遅延手段と、第１の遅延手段からの遅延された第１の符号化ストリーム及び第２の遅延手段からの遅延された第２の符号化ストリームの一方から他方へ切り替えて出力する切替手段とを有し、第１の遅延手段は、切替手段による切替点の直前の第１の符号化ストリームのＭＰＥＧ規格の一つのＧＯＰ中の最後のピクチャの終了時点から、第１の符号化遅延から第２の符号化遅延を差し引いた時間分、無効ストリームを出力する遅延動作を行うことを特徴とする。

この発明では、第１の符号化遅延の第１の符号化ストリームと、これよりも符号化遅延の短い第２の符号化遅延の第２の符号化ストリームを切り替える場合に、符号化遅延の短い方の第２の符号化ストリームに対して、第１の符号化遅延から第２の符号化遅延を差し引いた時間分、定常的に遅延する遅延処理を施すと共に、切替手段による切替点の直前の第１の符号化ストリームの所定ストリーム部分出力完了時点から、第１の符号化遅延から第２の符号化遅延を差し引いた時間分、無効ストリームを出力する遅延処理を第１の符号化ストリームに施すようにしたため、切り替え前後のストリームにてデコーダの映像信号の出力位相がずれることなく、良い画質を維持するための遅延を確保しつつ、切り替え点でストリームが欠落や連続性がなくなることを防止できる。また、通常時は規格で定められた中で最大限の符号化バッファを使用することができる。

また、上記の目的を達成するため、第２の発明のストリーム切り替え装置は、第１の発明の第１の遅延手段を、無効ストリーム出力後に、遅延動作を解除して、第１のエンコーダ部で圧縮符号化した切替点直後のストリーム部分から出力する構成に限定したことを特徴とする。

また、上記の目的を達成するため、第３の発明のストリーム切り替え装置は、第１の発明の切替手段による切替点の直前の第１の符号化ストリームを、ＭＰＥＧ規格の１つのＧＯＰ中の最後のピクチャとしたことを特徴とする。

また、上記の目的を達成するため、第４の発明のストリーム切り替え装置は、第１の映像信号を圧縮符号化して第１の符号化ストリームを出力する第１のエンコーダ部と、第２の映像信号を圧縮符号化して第２の符号化ストリームを出力する第２のエンコーダ部と、第１の符号化ストリームを遅延する第１の遅延手段と、第１の符号化ストリームが第１のエンコーダから出力されてからデコーダにより最終的に映像信号として復号出力されるまでの第１の符号化遅延の方が、第２の符号化ストリームが第２のエンコーダから出力されてからデコーダにより最終的に映像信号として復号出力されるまでの第２の符号化遅延に比べて長い場合に、第２の符号化ストリームを、第１の符号化遅延から第２の符号化遅延を差し引いた時間分、定常的に遅延する第２の遅延手段と、第１の遅延手段からの遅延された第１の符号化ストリーム及び第２の遅延手段からの遅延された第２の符号化ストリームの一方から他方へ切り替えて出力する切替手段とを有し、第１の遅延手段は、第１の符号化遅延から第２の符号化遅延を差し引いた時間分遅延する遅延動作を、切替手段による切替点より第１の符号化遅延から第２の符号化遅延を差し引いた時間分だけ手前から継続して行うことを特徴とする。

この発明では、第１の符号化遅延の第１の符号化ストリームと、これよりも符号化遅延の短い第２の符号化遅延の第２の符号化ストリームを切り替える場合に、符号化遅延の短い方の第２の符号化ストリームに対して、第１の符号化遅延から第２の符号化遅延を差し引いた時間分、定常的に遅延する遅延処理を施すと共に、第１の符号化遅延から第２の符号化遅延を差し引いた時間分遅延する遅延動作を、切替手段による切替点を含む所定期間継続して第１の符号化ストリームに施すようにしたため、切り替え前後のストリームにてデコーダの映像信号の出力位相がずれることなく、良い画質を維持するための遅延を確保しつつ、切り替え点でストリームが欠落や連続性がなくなることを防止できる。また、通常時は規格で定められた中で最大限の符号化バッファを使用することができる。

また、上記の目的を達成するため、第５の発明のストリーム切り替え装置は、第４の発明の切替手段を、第１及び第２の符号化ストリームのＭＰＥＧ規格の１つのＧＯＰ中の最後のピクチャと次のＧＯＰ中の先頭ピクチャとの間でストリームの切り替えを行う構成としたことを特徴とする。

また、上記の目的を達成するため、第６の発明のストリーム切り替え方法は、第１の映像信号を第１のエンコーダにより圧縮符号化して第１の符号化ストリームを得ると共に、第２の映像信号を第２のエンコーダにより圧縮符号化して第２の符号化ストリームを得る第１のステップと、第１の符号化ストリームが第１のエンコーダから出力されてからデコーダにより最終的に映像信号として復号出力されるまでの第１の符号化遅延の方が、第２の符号化ストリームが第２のエンコーダから出力されてからデコーダにより最終的に映像信号として復号出力されるまでの第２の符号化遅延に比べて長い場合に、第２の符号化ストリームを、第１の符号化遅延から第２の符号化遅延を差し引いた時間分、定常的に遅延する第２のステップと、切替点の直前の第１の符号化ストリームのＭＰＥＧ規格の一つのＧＯＰ中の最後のピクチャの終了時点から、第１の符号化遅延から第２の符号化遅延を差し引いた時間分、第１の符号化ストリームに替えて無効ストリームを出力する遅延処理を第１の符号化ストリームに施す第３のステップと、第３のステップで遅延された第１の符号化ストリーム及び第２のステップで遅延された第２の符号化ストリームの一方から他方へ、無効ストリームの出力終了時点を切替点として切り替える第４のステップとを含むことを特徴とする。

この発明では、第１の発明のストリーム切り替え装置と同様に、切り替え前後のストリームにてデコーダの映像信号の出力位相がずれることなく、良い画質を維持するための遅延を確保しつつ、切り替え点でストリームが欠落や連続性がなくなることを防止できる。また、通常時は規格で定められた中で最大限の符号化バッファを使用することができる。

また、上記の目的を達成するため、第７の発明のストリーム切り替え方法は、第１の映像信号を第１のエンコーダにより圧縮符号化して第１の符号化ストリームを得ると共に、第２の映像信号を第２のエンコーダにより圧縮符号化して第２の符号化ストリームを得る第１のステップと、第１の符号化ストリームが第１のエンコーダから出力されてからデコーダにより最終的に映像信号として復号出力されるまでの第１の符号化遅延の方が、第２の符号化ストリームが第２のエンコーダから出力されてからデコーダにより最終的に映像信号として復号出力されるまでの第２の符号化遅延に比べて長い場合に、第２の符号化ストリームを、第１の符号化遅延から第２の符号化遅延を差し引いた時間分、定常的に遅延する第２のステップと、第１の符号化遅延から第２の符号化遅延を差し引いた時間分遅延する処理を、第１の符号化ストリームに対して切り替えタイミングから第１の符号化遅延から第２の符号化遅延を差し引いた時間分だけ手前より継続して施す第３のステップと、第３のステップで遅延された第１の符号化ストリーム及び第２のステップで遅延された第２の符号化ストリームの一方から他方へ、第３のステップでの遅延処理期間内で切り替える第４のステップとを含むことを特徴とする。

この発明では、第４の発明のストリーム切り替え装置と同様に、切り替え前後のストリームにてデコーダの映像信号の出力位相がずれることなく、良い画質を維持するための遅延を確保しつつ、切り替え点でストリームが欠落や連続性がなくなることを防止できる。また、通常時は規格で定められた中で最大限の符号化バッファを使用することができる。

ここで、第７の発明の第４のステップは、第１及び第２の符号化ストリームのＭＰＥＧ規格の１つのＧＯＰ中の最後のピクチャと次のＧＯＰ中の先頭ピクチャとの間でストリームの切り替えを行うようにしてもよい。

本発明によれば、放送用途などに使用されるリアルタイム処理されるエンコーダにおいて、符号化遅延の異なるエンコーダの出力ストリーム同士を切り替える場合に、切り替え前後のストリームにてデコーダの映像信号の出力位相がずれることなく、遅延を短い側に合わせた場合には、工夫することなくストリームの切り替えが可能である反面、良い画質を保持することが困難になるが、良い画質を維持するため遅延を確保しつつ、切り替え点でストリームが欠落や連続性がなくなることによる映像破壊を行うこともなく、シームレスにストリームを切り替えることができる。これにより、本発明によれば、映像を破綻することなくデコードすることができる。

また、本発明によれば、通常時は規格で定められた中で最大限の符号化バッファを使用することができるため、画質を高いレベルで維持することができる。

次に、本発明を実施するための最良の形態について図面と共に説明する。図１は本発明になるストリーム切り替え装置の一実施の形態のブロック図を示す。本実施の形態のストリーム切り替え装置は、例えば１０８０ｉである第１の映像信号Ａ及び例えば４８０ｉである第２の映像信号Ｂを、例えばＭＰＥＧ方式により互いに独立して圧縮符号化する第１のエンコーダ部１及び第２のエンコーダ部２と、エンコーダ部１及び２から出力された第１及び第２のストリームＳＡ及びＳＢを別々に所定時間遅延する遅延部３及び４と、エンコーダ部１及び２での符号化の基準となるＧＯＰタイミング信号ｂを発生してエンコーダ部１及び２に供給するＧＯＰ発生部５と、エンコーダ部１及び２に制御信号ｃを供給し、遅延部３及び４に制御信号ｄを供給してその遅延時間を制御し、更に切り替え部７に切り替え信号ｅを供給する制御部６と、遅延部３及び４からの遅延ストリームＤＳＡ及びＤＳＢの一方を、上記切り替え信号ｅにより選択して最終的なストリーム信号ＳＴを出力する。

上記のＧＯＰ発生部５は、入力されたリファレンス信号ａに基づき、エンコーダ部１及び２での符号化の基準となるＧＯＰタイミング信号ｂを発生してエンコーダ部１及び２に供給し、例えばＧＯＰの先頭タイミングを通知する。ここで、リファレンス信号ａは映像信号Ａ及びＢと同期している必要がある。また、上記の制御部６は、遅延部３及び４に対して制御信号ｄにより遅延の設定を行うと同時に、切替部７に対して切り替える方向やタイミングを制御信号ｅにて通知する。また、制御部６は、エンコーダ部１及び２に対しても切り替え情報を制御信号ｃにて通知する。

エンコーダ部１及び２は、ストリーム切り替え時のピクチャタイプを同じにするため、ＧＯＰ発生部５が発生するＧＯＰタイミング信号ｂを使用して、継続的にＧＯＰ同期運転するか、若しくは切り替え直前にＧＯＰ同期運転するように動作する。

次に、本実施の形態の動作について、図２のタイムチャートを併せ参照して説明する。一般に、実際の符号化処理においては、フレーム内の符号化処理が完了してからストリームを出力する。コアピクチャとなるＩピクチャやＰピクチャ、双方向予測を行うＢピクチャを用いて符号化を行うためピクチャの並べ替えが行われる、などにより、エンコーダに入力される映像信号のフレームに対して数フレーム程度ストリーム出力が並び替わったり、遅延したりするが、ここでは理想的に映像信号からストリームへの並び替えや遅延は無いものとして説明する。

図２（Ａ）に模式的に示す映像信号Ａはエンコーダ部１に供給され、ここでＭＰＥＧ方式により圧縮符号化される。映像信号Ａは、図２（Ａ）に示す数字の順番で入力される。図２（Ａ）のＶＡ１、ＶＡ２、ＶＡ３等は、それぞれ映像の１フレームに相当する。エンコーダ部１からは図２（Ｂ）に模式的に示すストリームＳＡが出力される。ここで、図２（Ｂ）のストリームＳＡ１は、映像信号ＶＡ１が符号化されたものであり、ＳＡ２は映像信号ＶＡ２が符号化されたものであり、以下、同様にＳＡｉは映像信号ＶＡｉが符号化されたものである。また、ストリームＳＡ１はＩピクチャであり、ＳＡ２〜ＳＡ１０はＰピクチャである。

このストリームＳＡが一般的なデコーダ（図示せず）に供給されて復号された場合、図２（Ｃ）に模式的に示すような復号信号とされる。ここで、図２（Ｃ）に示す復号信号ＶＡ１’は、同図（Ｂ）に示すストリームＳＡ１を復号した信号であり、同様に、復号信号ＶＡ２’は、ストリームＳＡ２を復号した信号であり、ここではストリームＳＡは一例として７フレームの符号化遅延の後復号されるものとする（換言すると、エンコーダ部１が符号化後のストリームＳＡを出力してから、デコーダが最終的に映像信号Ａを出力するまでの時間である遅延時間が７フレームであるものとする。）。

一方、図２（Ｄ）に模式的に示す映像信号Ｂはエンコーダ部２に供給され、ここでＭＰＥＧ方式により圧縮符号化される。映像信号Ｂは、図２（Ｄ）に示す数字の順番で入力される。図２（Ｄ）のＶＢ１、ＶＢ２、ＶＢ３等は、それぞれ映像の１フレームに相当する。エンコーダ部２からは図２（Ｅ）に模式的に示すストリームＳＢが出力される。ここで、図２（Ｅ）のストリームＳＢ１は、映像信号ＶＢ１が符号化されたものであり、ＳＢ２は映像信号ＶＢ２が符号化されたものであり、以下、同様にＳＢｉは映像信号ＶＢｉが符号化されたものである。また、ストリームＳＢ１はＩピクチャであり、ＳＢ２〜ＳＢ１０はＰピクチャである。また、ストリームＳＡ及びＳＢ共に１ＧＯＰは例えば、１５フレームからなるものとする。

このストリームＳＢが一般的なデコーダ（図示せず）に供給されて復号された場合、図２（Ｇ）に模式的に示すような復号信号とされる。ここで、図２（Ｇ）に示す復号信号ＶＢ１’は、同図（Ｆ）に示すストリームＳＢ１を復号した信号であり、同様に、復号信号ＶＢ２’は、ストリームＳＢ２を復号した信号であり、ここではストリームＳＢは一例として４フレームの符号化遅延の後復号されるものとする（換言すると、エンコーダ部２が符号化後のストリームＳＢを出力してから、デコーダが最終的に映像信号Ｂを出力するまでの時間である遅延時間が４フレームであるものとする。）。

このように、符号化遅延が７フレームの場合のストリームＳＡと、符号化遅延が４フレームの場合のストリームＳＢとを切り替える場合、本実施の形態では、図１の制御部６は遅延部３の遅延時間を０とし、遅延部４の遅延時間を３フレームに制御する。従って、遅延部３から出力されて切替部７に供給されるストリームＤＳＡは、ストリームＳＡと同じであるのに対し、遅延部４から出力された切替部７に供給されるストリームＤＳＢは、図２（Ｆ）に示すように、同図（Ｅ）に示したストリームＳＢを３フレーム遅延した遅延ストリームとなる。

従って、映像信号ＶＡ１は、７フレームの符号化遅延の後デコーダで復号されＶＡ１’のタイミングで映像信号に戻され、映像信号ＶＢ１は、ストリームＳＢを固定的に遅延されることで符号化遅延の長さが異なる場合のデコード映像の位相を合わせるという既知の技術を用いることで、４フレームの符号化遅延に加えて、定常的に３フレーム遅延されたストリームＤＳＢがデコーダで復号されることにより、図２（Ｇ）のＶＢ１’のフレームタイミングにて映像信号に戻される。結果として、同時刻にエンコーダ部１及び２にそれぞれ供給された映像信号Ａ及びＢ（例えば、時報の瞬間の映像信号）は、映像信号Ａの処理系も映像信号の処理系も同時にデコードされ、同じ映像として出力される。

しかし、上記の定常状態において、切替部７が図３にＸで示すように、同図（Ｂ）の遅延部４からの遅延ストリームＤＳＢのＳＢ０とＳＢ１の接続点で切り替えたものとすると、上記の切替点Ｘは同図（Ａ）に示す遅延ストリームＤＳＡのフレームＳＡ３の中間位置であるので、遅延ストリームＤＳＡからＤＳＢへ切り替えた場合は、同図（Ｃ）に模式的に示すように、本来ＳＡ０からＳＢ１に切り替わるべきところ、ＳＡ０からＳＢ１の間にＳＡ１及びＳＡ２の全部とＳＡ３の一部が入ってしまい余分な信号部分となる。他方、遅延ストリームＤＳＢからＤＳＡへ切り替えた場合は、同図（Ｄ）に模式的に示すように、本来ＳＢ０からＳＡ１に切り替わるべきところ、ＳＢ０の直後はＳＡ３の一部に切り替わるため、ＳＡ１及びＳＡ２の全部とＳＡ３の一部が欠落し不足してしまう。すなわち、上記のようにある切替点ＸでストリームＳＡとＳＢの切り替えを行うと、図３のように切り替える前後でストリームが途切れてしまう。

そこで、本実施の形態では、符号化遅延が長い方のストリーム、ここでは７フレームの符号化遅延がある映像信号Ａ側の符号化ストリームを、ストリーム切替の瞬間、遅延部３にて遅延させる。例えば、図４にＹで示すように、同図（Ｂ）に示す遅延ストリームＳＡ０から同図（Ｄ）に示す遅延ストリームＳＢ１へ切り替える場合は、遅延ストリームＳＡ０の遅延部３からの出力が完了した後、ストリームＳＡ１を遅延部３において、一時的にストリームＳＡの符号化遅延７フレームからストリームＳＢの符号化遅延４フレームを減算した値である３フレーム分遅延させる。

これは、遅延部３において、符号化における引抜バッファにおいて、ストリームＳＡ０出力が完了した後、ストリームＳＡ１の出力を３フレーム待つ動作をさせることで実現できる。この結果、図４（Ａ）に模式的に示す映像信号Ａを符号化するエンコード部１からのストリームＳＡを遅延する遅延部３からは図４（Ｂ）にI（Ｎｕｌｌ）で示すように、ストリームＳＡ０が完了した直後から３フレーム分、有効パケットが無い無効ストリームが出力された後、ストリームＳＡ１が出力される。

これにより、図４（Ｃ）に模式的に示す映像信号Ｂを符号化するエンコード部２から出力される同図（Ｄ）に示すストリームＳＢを遅延する遅延部４からは、上記の無効ストリームIが完了した直後より、同図（Ｅ）に模式的に示すように遅延ストリームＳＢ１の先頭から出力されるため、切替部７は同図（Ｆ）に模式的に示すように、ストリームＳＡ０の出力完了後、無効ストリームIを介してストリームＳＢ１の先頭に切り替わるため、切替部７から出力されるストリームＳＴは時間的に連続したものとなり、シームレスな切り替えができる。

他方、図４にＹで示すように、同図（Ｄ）に示す遅延ストリームＳＢ０から同図（Ｂ）に示す遅延ストリームＳＡ１へ切り替える場合は、切替部７は図４（Ｇ）に模式的に示すように、ストリームＳＢ０の完了後、ストリームＳＡ１の先頭に切り替わるため、切替部７から出力されるストリームＳＴは時間的に連続したものとなり、シームレスな切り替えができる。このように、ストリームＳＡから遅延ストリームＤＳＢに切り替える場合、遅延ストリームＤＳＢからストリームＳＡに切り替える場合のどちらも、時間的連続性を持ったまま切り替えることができる。

なお、ストリームＳＡに関しては、ストリームＳＡ１に対して遅延部３により上記の遅延処理を行った直後以降、遅延処理を解除される。この遅延処理解除後は、エンコーダ部１にて通常の符号化制御を行いストリームＳＡを発生することにより、自動時に元の遅延前のストリーム状態に戻り、エンコーダ部１からは図４（Ｂ）に模式的に示すＳＡ１以降のストリームが出力される。また、ストリームＳＢに関しては、遅延部４により定常的に３フレームの遅延が施される。

このように、本実施の形態によれば、符号化遅延の異なるストリームＳＡ及びＳＢをシームレスに切り替えることができるため、映像を破綻することなくデコードすることができる。また、本実施の形態によれば、切り替えを行わない通常時は規格で定められた中で最大限の符号化バッファ（これはデコーダ内にある）を使用することができるため、画質を高いレベルで維持することができる。

次に、本発明の他の実施の形態について説明する。図５は本発明になるストリーム切り替え装置及び方法の他の実施の形態の動作説明用タイミングチャートを示す。本実施の形態は、図１に示したブロック図と同様の構成であるが、図４と共に説明した実施の形態のように、切替点のみストリームを遅延させるのではなく、切替点の少し手前、例えば１ＧＯＰ手前などで遅延処理を開始し、切り替えが終了するまで遅延状態を保持し、切り替えが完了した後、遅延処理を解除するものである。

いま、先の実施の形態と同様に、図５（Ａ）に模式的に示す映像信号Ａの符号化遅延（エンコーダ出力からデコーダ出力までの時間）が７フレーム、同図（Ｃ）に模式的に示す映像信号Ｂの符号化遅延が３フレームであるものとする。また、映像信号Ａをエンコーダ部でＭＰＥＧ方式により圧縮符号化し、更に遅延して得られたストリームＳＡは、図５（Ｂ）に模式的に示され、映像信号Ｂをエンコーダ部でＭＰＥＧ方式により圧縮符号化して得られたストリームＳＢは同図（Ｄ）に模式的に示される。

ここで、ストリームＳＡ中のＳＡｉ（ｉは整数）が映像信号Ａの１フレームＶＡｉを符号化して得たピクチャであり、同様にストリームＳＢ中のＳＢｉが映像信号Ｂの１フレームＶＢｉを符号化して得たピクチャである。また、ＳＡ１〜ＳＡ８で一つのＧＯＰを構成し、ＳＡ９〜ＳＡ１６で一つのＧＯＰを構成しているものとし、同様に、ＳＢ１〜ＳＢ８で一つのＧＯＰを構成し、ＳＢ９〜ＳＢ１６で一つのＧＯＰを構成しているものとする。

いま、あるＧＯＰの最後のＰピクチャＳＢ８又はＳＡ８から、次のＧＯＰの先頭のＩピクチャであるＳＡ９又はＳＢ９へ切り替えるものとすると、切替点Ｚの直前のＧＯＰの先頭のＩピクチャＳＡ１及びＳＢ１のうち、先の実施の形態と同様に、符号化遅延が長い方の７フレームの符号化遅延がある映像信号Ａ側の符号化ストリームを、一時的にストリームＳＡの符号化遅延７フレームからストリームＳＢの符号化遅延４フレームを減算した値である３フレーム分遅延させ、ＳＡ１の直前に図５（Ｂ）にＮｕｌｌで示すように３フレーム分の無効ストリームを挿入する。続いて、ストリームＳＡをＳＡ１からＳＡ１６まで、図５（Ｂ）に示すように＋３フレーム遅延状態を保持する。

一方、図５（Ｄ）に示したストリームＳＢは、先の実施の形態と同様に、遅延部により定常的に３フレーム分遅延されて図５（Ｅ）に模式的に示す遅延ストリームＤＳＢとされる。ここで、図５の切替点Ｚで切り替えるものとすると、遅延状態にあるストリームＳＡのあるＧＯＰの最後のＰピクチャＳＡ８から、遅延ストリームＤＳＢの次のＧＯＰの先頭のＩピクチャであるＳＢ９へ切り替わるか、又は遅延ストリームＤＳＢのあるＧＯＰの最後のＰピクチャＳＢ８から、遅延状態にあるストリームＳＡの次のＧＯＰの先頭のＩピクチャであるＳＡ９切り替わる。このように、本実施の形態では、切り替える点の前後に幅を持たせてストリームＳＡを遅延させた状態で切り替えを行うことにより、先の実施の形態と同様の特長を有する。なお、ストリームＳＡの遅延処理を解除すると、その後通常状態の符号化処理により、元の遅延処理を行う前のストリームの状態に戻る。

なお、図４（Ｂ）及び図５（Ｂ）では、遅延処理解除後のストリームは、遅延処理されたストリームに続いて図示されているが、これは遅延部３による遅延処理中もエンコーダ部１から入力されているストリームＳＡを保持するバッファが遅延部３内にあり、遅延解除後にこのバッファから非遅延ストリームを出力するためである。

本発明切り替え装置の一実施の形態のブロック図である。 図１において定常遅延処理を行ったときのタイミングチャートである。 図２の状態でストリーム切り替えを行ったときの課題説明図である。 本発明の一実施の形態の動作説明用タイミングチャートである。 本発明の他の実施の形態の動作説明用タイミングチャートである。

符号の説明

１、２ エンコーダ部
３、４ 遅延部
５ ＧＯＰ発生部
６ 制御部
７ 切替部
Ａ、Ｂ 映像信号
ＳＡ、ＳＢ ストリーム
ＤＳＡ、ＤＳＢ 遅延ストリーム
ＳＴ 切替後の最終出力ストリーム

Claims (8)

1. 第１の映像信号を圧縮符号化して第１の符号化ストリームを出力する第１のエンコーダ部と、
   第２の映像信号を圧縮符号化して第２の符号化ストリームを出力する第２のエンコーダ部と、
   前記第１の符号化ストリームを遅延する第１の遅延手段と、
   前記第１の符号化ストリームが前記第１のエンコーダから出力されてからデコーダにより最終的に映像信号として復号出力されるまでの第１の符号化遅延の方が、前記第２の符号化ストリームが前記第２のエンコーダから出力されてからデコーダにより最終的に映像信号として復号出力されるまでの第２の符号化遅延に比べて長い場合に、前記第２の符号化ストリームを、前記第１の符号化遅延から前記第２の符号化遅延を差し引いた時間分、定常的に遅延する第２の遅延手段と、
   前記第１の遅延手段からの遅延された前記第１の符号化ストリーム及び前記第２の遅延手段からの遅延された前記第２の符号化ストリームの一方から他方へ切り替えて出力する切替手段と
   を有し、前記第１の遅延手段は、前記切替手段による切替点の直前の前記第１の符号化ストリームのＭＰＥＧ規格の一つのＧＯＰ中の最後のピクチャの終了時点から、前記第１の符号化遅延から前記第２の符号化遅延を差し引いた時間分、無効ストリームを出力する遅延動作を行うことを特徴とするストリーム切り替え装置。
2. 前記第１の遅延手段は、前記無効ストリーム出力後に、前記遅延動作を解除して、前記第１のエンコーダ部で圧縮符号化した前記切替点直後のストリーム部分から出力することを特徴とする請求項１記載のストリーム切り替え装置。
3. 前記切替手段による切替点の直前の前記第１の符号化ストリームは、ＭＰＥＧ規格の１つのＧＯＰ中の最後のピクチャであることを特徴とする請求項１記載のストリーム切り替え装置。
4. 第１の映像信号を圧縮符号化して第１の符号化ストリームを出力する第１のエンコーダ部と、
   第２の映像信号を圧縮符号化して第２の符号化ストリームを出力する第２のエンコーダ部と、
   前記第１の符号化ストリームを遅延する第１の遅延手段と、
   前記第１の符号化ストリームが前記第１のエンコーダから出力されてからデコーダにより最終的に映像信号として復号出力されるまでの第１の符号化遅延の方が、前記第２の符号化ストリームが前記第２のエンコーダから出力されてからデコーダにより最終的に映像信号として復号出力されるまでの第２の符号化遅延に比べて長い場合に、前記第２の符号化ストリームを、前記第１の符号化遅延から前記第２の符号化遅延を差し引いた時間分、定常的に遅延する第２の遅延手段と、
   前記第１の遅延手段からの遅延された前記第１の符号化ストリーム及び前記第２の遅延手段からの遅延された前記第２の符号化ストリームの一方から他方へ切り替えて出力する切替手段と
   を有し、前記第１の遅延手段は、前記第１の符号化遅延から前記第２の符号化遅延を差し引いた時間分遅延する遅延動作を、前記切替手段による切替点より前記第１の符号化遅延から前記第２の符号化遅延を差し引いた時間分だけ手前から継続して行うことを特徴とするストリーム切り替え装置。
5. 前記切替手段は、前記第１及び第２の符号化ストリームのＭＰＥＧ規格の１つのＧＯＰ中の最後のピクチャと次のＧＯＰ中の先頭ピクチャとの間でストリームの切り替えを行うことを特徴とする請求項４記載のストリーム切り替え装置。
6. 第１の映像信号を第１のエンコーダにより圧縮符号化して第１の符号化ストリームを得ると共に、第２の映像信号を第２のエンコーダにより圧縮符号化して第２の符号化ストリームを得る第１のステップと、
   前記第１の符号化ストリームが前記第１のエンコーダから出力されてからデコーダにより最終的に映像信号として復号出力されるまでの第１の符号化遅延の方が、前記第２の符号化ストリームが前記第２のエンコーダから出力されてからデコーダにより最終的に映像信号として復号出力されるまでの第２の符号化遅延に比べて長い場合に、前記第２の符号化ストリームを、前記第１の符号化遅延から前記第２の符号化遅延を差し引いた時間分、定常的に遅延する第２のステップと、
   切替点の直前の前記第１の符号化ストリームのＭＰＥＧ規格の一つのＧＯＰ中の最後のピクチャの終了時点から、前記第１の符号化遅延から前記第２の符号化遅延を差し引いた時間分、前記第１の符号化ストリームに替えて無効ストリームを出力する遅延処理を前記第１の符号化ストリームに施す第３のステップと、
   前記第３のステップで遅延された前記第１の符号化ストリーム及び前記第２のステップで遅延された前記第２の符号化ストリームの一方から他方へ、前記無効ストリームの出力終了時点を前記切替点として切り替える第４のステップと
   を含むことを特徴とするストリーム切り替え方法。
7. 第１の映像信号を第１のエンコーダにより圧縮符号化して第１の符号化ストリームを得ると共に、第２の映像信号を第２のエンコーダにより圧縮符号化して第２の符号化ストリームを得る第１のステップと、
   前記第１の符号化ストリームが前記第１のエンコーダから出力されてからデコーダにより最終的に映像信号として復号出力されるまでの第１の符号化遅延の方が、前記第２の符号化ストリームが前記第２のエンコーダから出力されてからデコーダにより最終的に映像信号として復号出力されるまでの第２の符号化遅延に比べて長い場合に、前記第２の符号化ストリームを、前記第１の符号化遅延から前記第２の符号化遅延を差し引いた時間分、定常的に遅延する第２のステップと、
   前記第１の符号化遅延から前記第２の符号化遅延を差し引いた時間分遅延する処理を、前記第１の符号化ストリームに対して切り替えタイミングから前記第１の符号化遅延から前記第２の符号化遅延を差し引いた時間分だけ手前より継続して施す第３のステップと、
   前記第３のステップで遅延された前記第１の符号化ストリーム及び前記第２のステップで遅延された前記第２の符号化ストリームの一方から他方へ、前記第３のステップでの遅延処理期間内で切り替える第４のステップと
   を含むことを特徴とするストリーム切り替え方法。
8. 前記第４のステップは、前記第１及び第２の符号化ストリームのＭＰＥＧ規格の１つのＧＯＰ中の最後のピクチャと次のＧＯＰ中の先頭ピクチャとの間でストリームの切り替えを行うことを特徴とする請求項７記載のストリーム切り替え方法。

Images