JP3716328B2 - 編集装置および方法、再符号化装置および方法 - Google Patents
編集装置および方法、再符号化装置および方法 Download PDFInfo
- Publication number
- JP3716328B2 JP3716328B2 JP53702799A JP53702799A JP3716328B2 JP 3716328 B2 JP3716328 B2 JP 3716328B2 JP 53702799 A JP53702799 A JP 53702799A JP 53702799 A JP53702799 A JP 53702799A JP 3716328 B2 JP3716328 B2 JP 3716328B2
- Authority
- JP
- Japan
- Prior art keywords
- baseband signal
- encoding
- editing
- generating
- codec information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/40—Combinations of multiple record carriers
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/40—Combinations of multiple record carriers
- G11B2220/41—Flat as opposed to hierarchical combination, e.g. library of tapes or discs, CD changer, or groups of record carriers that together store one title
Description
【０００１】
【発明の属する技術分野】
この発明は、ビットストリームを扱う場合に適用される編集装置および方法、再符号化装置および方法に関する。
【０００２】
【従来の技術】
近年、ディジタル放送においてＭＰＥＧ(Moving Picture Experts Group)に代表される圧縮技術を利用することによって、限られた伝送媒体（無線、有線いずれも）を有効活用してより多数の番組を放送できることが可能となりつつある。同様に、放送業者における素材伝送についても、衛星回線を利用する場合のトランスポンダの使用料は高価であり、占有する帯域を圧縮することは、経済的メリットが大きい。地上波を利用した素材伝送においてもまた同様である。さらに、商用有線回線を利用した場合も同様である。従って、取材現場から局に伝送する場合や、局から局への局間伝送では、ＭＰＥＧストリームを利用する意義が大きい。
【０００３】
次に、局内などでＭＰＥＧなどの圧縮技術を映像素材に適用するメリットの主たるものは、映像素材アーカイバ／サーバの容量の節約である。ノンリニア編集が必要とされていなかった時代には、ランニングコストの安いテープ上に映像素材をアーカイブしておけばこと足りたが、ノンリニア編集の必要性が求められる現在においては、ノンリニア記録媒体（ハードディスク、ＤＶＤなど）の記録容量を節約することが必須である。
【０００４】
ここで、図１５を参照して、ＭＰＥＧ規格に従った伝送システムの概略について説明する。伝送システムは、エンコーダ１１０側のビデオデータに関連した構成として、入力されるビデオデータＤvを符号化し、ビデオエレメンタリストリームＥＳを出力するビデオエンコーダ１１１と、このビデオエンコーダ１１１から出力されるビデオエレメンタリストリームＥＳをパケット化し、ヘッダ等を付加してビデオパケッタイズドエレメンタリストリームＰＥＳを出力するパケッタイザ１１２とが設けられている。また、オーディオデータに関連する構成として、入力されるオーディオデータＤAを符号化し、オーディオエレメンタリストリームＥＳを出力するオーディオエンコーダ１１３と、このオーディオエンコーダ１１３から出力されるオーディオエレメンタリストリームＥＳをパケット化し、ヘッダ等を付加してビデオパケッタイズドエレメンタリストリームＰＥＳを出力するパケッタイザ１１４とが設けられている。さらに、パケッタイザ１１２および１１４からのエレメンタリストリームを多重化し、１８８バイト長のトランスポートストリームパケットを作成し、トランスポートストリームＴＳとして出力するマルチプレクサ１１５とが設けられている。
【０００５】
図１５に示す伝送システムの復号側１２０には、伝送媒体１１６を介して受け取ったトランスポートストリームをビデオＰＥＳとオーディオＰＥＳに分離して出力するデマルチプレクサ１２１が設けられる。ビデオＰＥＳおよびオーディオＰＥＳのパケットをそれぞれ分解するデパケッタイザ１２２、１２４と、デパケッタイザ１２２、１２４からのビデオＥＳおよびオーディオＥＳをそれぞれ復号するビデオデコーダ１２３、オーディオデコーダ１２５とが設けられている。ビデオデコーダ１２３からは、ベースバンドのビデオ信号Ｄv、オーディオ信号ＤAが出力される。このような復号側１２０は、ＩＲＤ（Integrated Receiver/Decoder）と呼ばれる。
【０００６】
ビデオデータを中心に、図１５に示すシステムの動作について説明する。まず、符号化装置１１０側では、各ピクチャが同じビット量を持つ入力ビデオデータＤvは、ビデオエンコーダ１１１により符号化され、各ピクチャ毎に、その冗長度に応じたビット量に変換され、ビデオエレメンタリストリームとして出力される。パケッタイザ１１２は、ビデオエレメンタリストリームを、時間軸上のビット量の変動を吸収して（平均化して）パケット化し、ビデオパケッタイズドエレメンタリストリームとして出力する。トランスポートストリームマルチプレクサ１１５は、ビデオパケッタイズドエレメンタリストリームとパケッタイザ１１４から出力されるオーディオパケッタイズドエレメンタリストリームとを多重化してトランスポートストリームパケットを作成し、トランスポートストリームＴＳとして、伝送媒体１１６を介して復号化装置１２０に送る。
【０００７】
復号化装置１２０側では、トランスポートストリームデマルチプレクサ１２１によって、トランスポートストリームがビデオパケッタイズドエレメンタリストリームとオーディオパケッタイズドエレメンタリストリームとに分離される。デパケッタイザ１２２は、ビデオパケッタイズドエレメンタリストリームをデパケット化し、ビデオエレメンタリストリームとして出力し、ビデオデコーダ１２３がビデオエレメンタリストリームを復号して、ビデオデータＤvを出力する。
【０００８】
復号化装置１２０は、固定レートの到達ストリームから、再生ピクチャ毎の可変ビット量の引き出しを行うための制御を、例えば１．７５ＭビットのＶＢＶ(Video Buffering Verifier)バッファを用いて行う。従って、符号化装置１１０側では、このＶＢＶバッファをオーバーフローまたはアンダーフローさせないように、各ピクチャのビット発生量を制御する必要がある。このような制御がＶＢＶバッファ処理と称される。
【０００９】
上述したように、多チャンネル化に代表される限られた伝送資源の有効活用や、回線使用のランニングコストの面から符号化ストリームの活用は、非常に魅力的である。しかしながら、一方で高能率の圧縮方式であるＭＰＥＧストリームであるがゆえの制約が存在し、放送素材にＭＰＥＧを広く活用することができない問題があった。
【００１０】
ＭＰＥＧの圧縮技術としてのいくつかの特徴を述べると、第１に、ＭＰＥＧでは、ＧＯＰ(Group Of Picture)単位のフレーム相関を用いてコーディングを行なっている。第２に、ＭＰＥＧで符号化した結果の各ピクチャが可変長のビット長を持つ。第３に、ＭＰＥＧ２では、伝送先のＩＲＤが持つバッファの条件を満足するように、ビットレートコントロール（ＶＢＶバッファの処理）を行なっている。第４に、ＭＰＥＧ２エンコードが最終的に伝送を目的とする場合、伝送路の容量にあわせてビットレートコントロールが行われている。
【００１１】
上述したＭＰＥＧの特徴によって、ＭＰＥＧビットストリームを受け取って編集を行う時には、問題が発生する。すなわち、フレーム単位に編集を行なう場合には、ＭＰＥＧストリームをＭＰＥＧ復号で一度ベースバンドに戻してから、編集を行なう必要がある。ベースバンドで編集してから、再度符号化を行なってＭＰＥＧストリームを得る。従って、スイッチングを含め編集作業のたびに、復号、符号化を繰り返すことになる。通常、ベースバンド−ＭＰＥＧストリーム間の復号、符号化チェインは、大きな画質劣化を伴う。また、符号化ビットストリームの任意の位置でスイッチングを行なう場合、それがたとえ符号化単位の切れ目、具体的にはＧＯＰ間の相関を利用しないクローズドＧＯＰ構造であっても、バッファコントロールの連続性が途切れる。それによって、ＶＢＶバッファ制約を満たせないことになり、その結果、アンダーフロー、オーバーフローによって復号後の映像にフリーズや画像破裂が生じる。
【００１２】
これら問題点があるために、ＭＰＥＧストリームによる編集は、事実上不可能であると考えられていた。したがって、送出する放送形態がＭＰＥＧによる圧縮多チャンネル放送であっても、ベースバンドの素材を編集した後に、放送最終段でＭＰＥＧに符号化する手段がとられていた。また、オリジナルの素材がＭＰＥＧストリームである場合には、ＭＰＥＧストリームを復号をした後のベースバンド信号を従来のベースバンド編集器で編集を行っていた。そのため、編集処理後の素材劣化がはなはだしい問題があった。さらに、ゲイン調整などの特殊効果、放送局のロゴなどの挿入だけをとってもＭＰＥＧストリームが利用できない問題があった。
【００１３】
このような問題点について、放送局内の編集システムのいくつかの例に基づいてより具体的に説明する。図１６は、ＭＰＥＧストリームアーカイバを持つ、マスターサーバと、編集スタジオのインターフェースを示し、局内伝送は、ベースバンドである。図１６において、１０１は、局内のマスターアーカイバ／サーバを示している。アーカイバ／サーバ１０１は、ノンリニアアーカイバで、容量を削減するために、ＭＰＥＧ圧縮ストリームによる素材を蓄積部に蓄積する。アーカイバとサーバは、共に映像素材を蓄積するものであり、アーカイバが蓄積専用の装置であるのに対して、サーバは、外部からの要求に従って映像素材を出力する装置である。この発明は、映像蓄積部としての機能を共通に有するので、アーカイバとサーバのいずれに対しても適用でき、その意味でアーカイバ／サーバの用語を使用している。
【００１４】
アーカイバ／サーバ１０１には、蓄積部からのＭＰＥＧストリームを復号するＭＰＥＧデコーダが設けられている。ＭＰＥＧデコーダにより形成されたベースバンドのビデオデータＳ１およびＳ２が編集スタジオ１０２に入力される。局内伝送路の伝送プロトコルは、ベースバンドである。編集スタジオ１０２では、ビデオデータＳ１およびＳ２を接続するような編集（スプライス編集、ＡＢロール等）が行われ、編集処理後のビデオデータＳ３（ベースバンド信号）がアーカイバ／サーバ１０３に入力される。アーカイバ／サーバ１０３には、ＭＰＥＧエンコーダが設けられており、編集結果がＭＰＥＧストリームとして、蓄積部に保管される。
【００１５】
図１７は、編集スタジオ１０２の一例の構成を示す。ベースバンドのビデオデータは、データ容量が大きい（ビットレートが高い）ために、記録媒体としてテープ状媒体が使われる。すなわち、ビデオデータＳ１がリニアストレージ１０４ａに記録され、ビデオデータＳ２がリニアストレージ１０４ｂに記録される。そして、これらのリニアストレージ１０４ａおよび１０４ｂをプレーヤとし、ビデオデータＳａおよびＳｂがエディタおよびスイッチャ１０５に供給され、エディタおよびスイッチャ１０５からの編集結果のビデオデータＳｃがレコーダとしてのリニアストレージ１０４ｃに記録される。リニアストレージ１０４ｃから編集後のビデオデータＳ３が出力される。
【００１６】
編集スタジオ１０２は、図１８に示すように、ノンリニア記録媒体（ハードディスク、光ディスク等）を使用するノンリニアストレージ１０６ａ、１０６ｂ、１０６ｃで構成することも可能である。しかしながら、ベースバンド信号をノンリニア記録媒体で扱うには容量が大きく高価であり、編集スタジオ単位に置くようにした図１８に示す構成は、現実的ではない。また、図１６に示す編集システムは、編集のたびに復号、符号化チェインが発生し、それによって、素材の画質劣化が発生し、また、この劣化の累積を招く。
【００１７】
図１９は、局内の伝送路の伝送プロトコルをＭＰＥＧストリームにした場合のマスターサーバと編集スタジオのインターフェースを示す。アーカイバ／サーバ１３１および１３３には、ＭＰＥＧストリームの素材が蓄積される。アーカイバ／サーバ１３１は、ＭＰＥＧストリームを編集スタジオ１３２に対して出力し、アーカイバ／サーバ１３１には、編集スタジオ１３２からＭＰＥＧストリームが入力されるので、これらは、ＭＰＥＧデコーダ、ＭＰＥＧエンコーダを備えない。ＭＰＥＧストリームで、映像素材を伝送することによって、２以上の映像素材をストリームＴＳ１、ＴＳ２として多重化することができる。このような多チャンネル化によって、伝送路を有効活用できる。なお、ストリームＴＳ１、ＴＳ２は、エレメンタリストリームおよびトランスポートストリームの何れであっても良い。
【００１８】
図１９のシステムにおける編集スタジオ１３２の一例および他の例を図２０および図２１にそれぞれ示す。図２０の例は、ストリームＴＳ１からストリームＴＳ１ａおよびＴＳ１ｂを分離し、ストリームＴＳ１ａおよびＴＳ１ｂをＭＰＥＧデコーダ１３４ａおよび１３４ｂによって、それぞれベースバンド信号に変換する。これらのベースバンド信号をリニアストレージ１３５ａおよび１３５ｂにそれぞれ記録する。リニアストレージ１３５ａ、１３５ｂをプレーヤとして得られたベースバンドのビデオデータＳａおよびＳｂがベースバンドエディタおよびスイッチャ１３６に入力される。ベースバンドエディタおよびスイッチャ１３６からの編集結果のビデオデータＳｃがレコーダとしてのリニアストレージ１３５ｃにより記録される。リニアストレージ１３５ｃからのビデオデータがＭＰＥＧエンコーダ１３４ｃによってＭＰＥＧストリームＴＳ２として出力される。
【００１９】
図２１に示す編集スタジオ１３２の他の例は、リニアストレージ１３５ａ、１３５ｂの代わりにノンリニアストレージ１３７ａ、１３７ｂ、１３７ｃを使用したものである。図２１に示すシステムも、局内伝送路を多チャンネル化が容易なＭＰＥＧストリームで構成できる。しかしながら、図２０および図２１の構成は、編集のたびに復号、符号化チェインが発生し、毎回無視し得ない、素材の画質劣化が発生し、また、この画質劣化の累積を招く。また、ベースバンド信号をノンリニア記録媒体で扱うには容量が大きく高価であり、編集スタジオ単位に置くようにした図２１に示す構成は、現実的ではない。
【００２０】
このような復号−符号化チェインにより生じる素材劣化を避けたい場合、当然のことながらベースバンド素材で素材アーカイブを行なうことになる。この場合には、映像素材のデータ量が多くなり、ノンリニア記録媒体に映像素材を蓄積することが難しくなる。
【００２１】
上述のように、素材劣化の問題と記録容量の問題を解決する手段として、ストリーム上で編集可能なことが望ましい。しかしながら、ストリームにおける編集を行うには、前述したように、ＭＰＥＧストリームの特徴に基づく問題が生じる。この問題を解決するために、いくつかの方法が考えられる。まず、オーバーフローに対応するためには、ピクチャ単位のビット量をカウントしてＶＢＶバッファをシミュレートしてダミーデータを挿入することで解決する。しかしアンダーフローの場合は、補正のしようが無くフリーズするしかない。
【００２２】
一方、符号化時にあらかじめスイッチング点を決めておいて、その場所が規定のバッファ占有量になるようにビットレートコントロールするという方法が在り、この方法を使えば、ＶＢＶバッファの問題は解決する。しかし、あらかじめ符号化前に決められたスイッチング点でのみ解決可能であって、適用範囲が限られる。
【００２３】
また、復号−符号化チェインによる画質劣化の問題を解決するために、ストリームを一度復号して其の際に取り出した符号化、復号に必要な情報（コーデック情報と称する）をベースバンドに多重化して、再符号化時に、コーデック情報を再利用し画像の再構築の精度を高めるトランスコーディングが提案されている。コーデック情報には、動きベクトルの情報、量子化ステップ、ピクチャタイプ等の情報が含まれる。
【００２４】
【発明が解決しようとする課題】
コーデック情報は、少なくない情報量である。従って、ベースバンド信号には、コーディック情報を多重するのに十分な補助的な領域がなく、多重できない残りコーディック情報は、有効画像領域へ多重化するか、別回線で伝送せざるをえない。
【００２５】
図２２は、編集のたびに復号−符号化チェインが発生し、毎回無視し得ない、素材の画質劣化の累積を招くことを解決するために、トランスコーディングを使って編集スタジオを構成した例である。図２２では、コーデック情報を素材信号線と別径路で送る構成である。ストリームＴＳ１ａおよびＴＳ１ｂをＭＰＥＧデコーダ１３４ａおよび１３４ｂによって、それぞれベースバンド信号に変換し、ベースバンドのビデオデータＳａおよびＳｂがベースバンドエディタおよびスイッチャ１３６に入力され、ベースバンドエディタおよびスイッチャ１３６からの編集結果のビデオデータＳｃがＭＰＥＧエンコーダ１３４ｃによってＭＰＥＧストリームＴＳ２として再符号化される。
【００２６】
さらに、ＭＰＥＧデコーダ１３４ａ、１３４ｂで利用される、コーデック情報をストリームまたはデコーダ１３４ａ、１３４ｂから検出する情報検出器１４１ａ、１４１ｂと、コーデック情報を伝送する信号線１４２ａ、１４２ｂ、１４２ｃと、コーデック情報をエンコーダ１３４ｃで利用するための情報見積器１４４と、コーデック情報とベースバンドエディタおよびスイッチャ１３６の編集情報を有機的に結合するコーデック情報アダプタ１４３が設けられる。
【００２７】
このように、別回線でコーディック情報を伝送する場合、エディタおよびスイッチャ１３６が編集を行うと共に、他に別系統で送られたコーディック情報を扱うために、コーデック情報アダプタ１４３のような特別の構成を付加する必要がある。つまり、ベースバンド信号を扱う既存の編集スタジオを利用できない問題が生じる。
【００２８】
図２３は、この問題を解決するために、コーデック情報をベースバンドの有効信号エリアに多重するようにした編集スタジオの構成を示す。コーデック情報を入力ストリームＴＳ１ａおよびＴＳ１ｂまたはまたはデコーダ１３４ａ、１３４ｂからそれぞれ検出する情報検出器１４１ａおよび１４１ｂが設けられる。検出されたコーデック情報がインポーザ１４５ａおよび１４５ｂにおいて、ベースバンドのビデオデータＳａおよびＳｂに対してそれぞれ多重化される。コーデック情報が多重化されたベースバンド信号がベースバンドエディタおよびスイッチャ１３６に入力される。多重化の方法の一例は、ビデオデータの各サンプルの最下位ビットとして、コーデック情報をランダムに重畳するものを採用できる。
【００２９】
ベースバンドエディタおよびスイッチャ１３６から出力されるビデオデータには、コーデック情報が多重化されている。このビデオデータがセパレータ１４６に供給され、コーデック情報が分離される。セパレータ１４６からのビデオデータＳｃがＭＰＥＧエンコーダ１３４ｃにおいて再符号化される。再符号化の時に、セパレータ１４６からのコーデック情報が利用される。
【００３０】
図２４は、図２３の構成に対して、ストリームＴＳ１を一旦記録し、再生したストリームをＭＰＥＧデコーダ１３４ａおよび１３４ｂに対して出力するノンリニアストレージ１４７と、ＭＰＥＧエンコーダ１３４ｃから再符号化されたストリームを記録するノンリニアストレージ１４８とを付加したものである。
【００３１】
図２３または図２４に示すように、コーデック情報をベースバンド信号に多重化して伝送する構成は、ベースバンドエディタおよびスイッチャ１３６がコーデック情報アダプタのような特別な装置を持つ必要がない。しかしながら、有効映像信号区間にコーデック情報を挿入するという手法は、ランダムデータに変換して多重を行なったとしても、映像に歪みをあたえ、Ｓ／Ｎを損なう。
【００３２】
図２３または図２４の構成は、ベースバンドの信号にコーデック情報を多重化する場合、編集スタジオ内に多重化のための構成を設置するものである。一方、アーカイバ／サーバ内にコーデック情報の多重化、分離の構成を設けるようにした構成例を図２５に示す。アーカイバ／サーバ１５１内に、蓄積部１５４からのＭＰＥＧストリームを復号するＭＰＥＧデコーダ１５５ａ、１５５ｂと、ストリームからコーデック情報を検出する情報検出器１５６ａ、１５６ｂと、ベースバンドのビデオデータに対してコーデック情報を多重化するインポーザ１５７ａ、１５７ｂが設置される。
【００３３】
コーデック情報が多重化されたベースバンドのビデオデータＳ１１およびＳ１２が編集スタジオ１５２に入力される。編集スタジオ１５２は、ベースバンド信号を扱うもので、前述した図２４に示す構成と同様に、リニアストレージとベースバンドエディタおよびスイッチャから構成される。
【００３４】
編集結果のビデオデータを蓄えるアーカイバ／サーバ１５３には、編集スタジオ１５２からのコーデック情報が多重化されたベースバンドのビデオデータＳ１３が入力される。セパレータ１５８によってコーデック情報が分離され、ＭＰＥＧエンコーダ１５９では、このコーデック情報を使用して再符号化を行う。ＭＰＥＧエンコーダ１５９からのストリームが蓄積部１６０に蓄積される。
【００３５】
しかしながら、図２５の構成は、実際には、正しく機能せず、誤接続となる。すなわち、編集スタジオ１５２では、ベースバンド用途のＶＴＲ（Video Tape Recorder）等の既に普及している記録媒体にビデオデータを記録するようになされる。当然のことながら、既存のＶＴＲは、コーデック情報を取り出してそれを保存し次段に伝える機能をサポートしていない。さらに、現在普及している、殆どのディジタルＶＴＲは、ＭＰＥＧと異なる圧縮方式を採用するので、有効信号領域に多重した情報がビデオデータと同様に、圧縮・伸長の処理を受ける。コーディック情報も同様の処理を受け、それによって歪みを受けることになるため、コーデック情報として利用できない。例えばビデオデータの最下位ビットにコーデック情報を重畳しても、最下位ビットがＶＴＲの圧縮・伸長の処理によって変化する。
【００３６】
一方、図２３または図２４の構成は、ストリームを伝送する構成とし、編集スタジオ内にＭＰＥＧデコーダ、再符号化用のエンコーダ等の付加的構成要素を設置して、コーデック情報が多重化されたベースバンド信号と既存のＶＴＲとのインターフェースの可能性を排除している。しかしながら、上述したように、有効映像信号区間にコーデック情報を挿入することによって、映像に歪みが与えられ、Ｓ／Ｎを損なう問題を解決することができない。
【００３７】
従って、この発明の一つの目的は、蓄積媒体、伝送媒体を有効に活用することができ、また、画質の劣化を抑えることができ、さらに、既存のベースバンド編集器を使うことが可能な編集装置および方法、再符号化装置および方法を提供することにある。
【００３８】
この発明の他の目的は、編集部から編集位置情報をもらう必要がなく、編集位置を検出することができる編集装置および方法、再符号化装置および方法を提供することにある。
【００３９】
この発明のさらに他の目的は、ピクチャよりきめ細かい単位で、再符号化のためのコーデック情報を利用することができ、再符号化による画質の劣化が防止された編集装置および方法、再符号化装置および方法を提供することにある。
【００４０】
【課題を解決するための手段】
この発明は、第１の符号化ビットストリームを復号し、第１のベースバンド信号を生成１る第１の復号手段と、
第２の符号化ビットストリームを復号し、第２のベースバンド信号を生成する第２の復号手段と、
第１のベースバンド信号および第２のベースバンド信号と、第１のベースバンド信号および第２のベースバンド信号を編集することによって得られる第３のベースバンド信号とを位相を合わせて比較することによって、第１のベースバンド信号と第２のベースバンド信号とが接続された編集位置を検出する検出手段と、
第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化手段と
検出手段により検出された編集位置に基づいて、第１の符号化ビットストリームまたは第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、第２の符号化ビットストリームまたは第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、再符号化手段を制御する制御手段と、
を有する編集装置である。
【００４１】
この発明は、第１の符号化ビットストリームを復号し、第１のベースバンド信号を生成する第１の復号手段と、
第２の符号化ビットストリームを復号し、第２のベースバンド信号を生成する第２の復号手段と、
第１のベースバンド信号と第１のベースバンド信号および第２のベースバンド信号を編集することによって得られる第３のベースバンド信号とを位相を合わせて比較することによって、第１のベースバンド信号と第２のベースバンド信号とが接続された編集位置を検出する検出手段と、
第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化手段と
検出手段により検出された編集位置に基づいて、第１の符号化ビットストリームまたは第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、第２の符号化ビットストリームまたは第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、再符号化手段を制御する制御手段と、
を有する編集装置である。
【００４２】
この発明は、第１の符号化ビットストリームを復号し、第１のベースバンド信号を生成する第１の復号手段と、
第２の符号化ビットストリームを復号し、第２のベースバンド信号を生成する第２の復号手段と、
第２のベースバンド信号と第１のベースバンド信号および第２のベースバンド信号を編集することによって得られる第３のベースバンド信号とを位相を合わせて比較することによって、第１のベースバンド信号と第２のベースバンド信号とが接続された編集位置を検出する検出手段と、
第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化手段と
検出手段により検出された編集位置に基づいて、第１の符号化ビットストリームまたは第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、第２の符号化ビットストリームまたは第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、再符号化手段を制御する制御手段と、
を有する編集装置である。
【００４３】
この発明は、第１の符号化ビットストリームを復号することにより得られる第１のベースバンド信号および第２の符号化ビットストリームを復号することにより得られる第２のベースバンド信号と、第１のベースバンド信号と第２のベースバンド信号とを編集することによって得られる第３のベースバンド信号と、を位相を合わせて比較することによって、第１のベースバンド信号と第２のベースバンド信号とが接続された編集位置を検出する検出手段と、
第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化手段と
検出手段により検出された編集位置に基づいて、第１の符号化ビットストリームまたは第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、第２の符号化ビットストリームまたは第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、再符号化手段を制御する制御手段と、
を有する再符号化装置である。
【００４４】
この発明は、第１の符号化ビットストリームを復号することにより得られる第１のベースバンド信号と、第１のベースバンド信号と第２の符号化ビットストリームを復号することにより得られる第２のベースバンド信号とを編集することによって得られる第３のベースバンド信号と、を位相を合わせて比較することによって、第１のベースバンド信号と第２のベースバンド信号とが接続された編集位置を検出する検出手段と、
第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化手段と
検出手段により検出された編集位置に基づいて、第１の符号化ビットストリームまたは第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、第２の符号化ビットストリームまたは第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、再符号化手段を制御する制御手段と、
を有する再符号化装置である。
【００４５】
この発明は、第２の符号化ビットストリームを復号することにより得られる第２のベースバンド信号と、第１の符号化ビットストリームを復号することにより得られる第１のベースバンド信号と第２のベースバンド信号とを編集することによって得られる第３のベースバンド信号と、を位相を合わせて比較することによって、第１のベースバンド信号と第２のベースバンド信号とが接続された編集位置を検出する検出手段と、
第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化手段と
検出手段により検出された編集位置に基づいて、第１の符号化ビットストリームまたは第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、第２の符号化ビットストリームまたは第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、再符号化手段を制御する制御手段と、
を有する再符号化装置である。
【００４６】
この発明では、編集制御装置の入出力信号形態を符号化ビットストリームとしているので、複数の映像素材の符号化データを多重化することが容易であり、伝送媒体を有効に利用できる。また、編集制御装置は、編集器とベースバンド信号でインターフェースし、また、ベースバンド信号には、コーデック情報が多重化されない。しかも、トランスコーディングのための利用されるコーデック情報を別の信号線で伝送する必要がなく、信号線の増加を防止できると共に、編集器がコーデック情報を扱うための装置を備える必要がない。これらの点から、編集器として既存のベースバンド編集装置を手を加えることなく使用できる。
【００４７】
また、編集器に対して出力した第１および第２のベースバンド信号と、編集器からの戻りの第３のベースバンド信号とを位相を合わせた状態で比較することによって、編集位置を検出することができる。従って、編集器との間で、編集位置情報を伝送する線を省略でき、また、編集位置情報をストリームの時間軸に翻訳する必要がない。
【００４８】
さらに、再符号化のためのコーデック情報の利用の可否をピクチャ単位のみならず、ブロック単位で判別できる。従って、編集点のピクチャが二つのオリジナル素材が混在するものであっても、再符号化による画質の劣化を抑えることができる。
【００４９】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図１は、この発明による編集システムの構成を示す。アーカイバ／サーバ１および３は、符号化ビットストリーム例えばＭＰＥＧストリームの映像素材をそれぞれ蓄積する蓄積部４および５を備える。ＭＰＥＧで圧縮されているので、蓄積部４および５としてノンリニア記録媒体が使用できる。アーカイバとサーバは、共に映像素材を蓄積するものであり、アーカイバが蓄積専用の装置であるのに対して、サーバは、外部からの要求に従って映像素材を出力する装置である。この発明は、映像蓄積部としての機能を共通に有するので、アーカイバとサーバのいずれに対しても適用でき、その意味でアーカイバ／サーバの用語を使用している。
【００５０】
また、アーカイバ／サーバ１と編集スタジオ２とアーカイバ／サーバ３の間の伝送路は、符号化ビットストリーム例えばＭＰＥＧストリームを伝送するようになされる。それによって、複数のチャンネルの多重化が可能となり、伝送資源を有効に利用できる。すなわち、アーカイバ／サーバ１からのストリームＴＳ１には、二つ以上のオリジナルのビデオ／オーディオ素材が多重化される。ストリームＴＳ２は、編集結果のストリームであるが、必要に応じて、編集結果と共に、オリジナルの二つ以上のビデオ／オーディオ素材を多重化できる。なお、ストリームＴＳ１、ＴＳ２は、トランスポートストリームであるが、エレメンタリストリームまたはパケットタイズドエレメンタリストリームでも良い。
【００５１】
編集スタジオ２は、図２または図３に示す構成とされている。図２に示す例では、ストリームＴＳ１が入力され、ストリームＴＳ２が出力されるスプライサ／トランスコーダ２１と、ベースバンド信号のビデオデータＳａおよびＳｂが入力され、ビデオデータＳｃを出力するように、スプライサ／トランスコーダ２１とベースバンドのインターフェースを有するベースバンドエディタおよびスイッチャ２２とが設けられている。スプライサ／トランスコーダ２１が編集制御装置であり、ベースバンドエディタおよびスイッチャ２２が編集器である。
【００５２】
スプライサ／トランスコーダ２１は、基本的には、エディタおよびスイッチャ２２に対して出力されるベースバンド信号へ入力ストリームを変換する復号処理と、エディタおよびスイッチャ２２からの戻りのベースバンド信号を出力ストリームに変換する再符号化処理とをトランスコーディングにより行うトランスコーダである。但し、後述するように、編集点を含む所定の期間のみトランスコーディングを行い、入力ストリームとトランスコーディングの出力とをスイッチングして出力することも可能である。すなわち、スプライサの機能を持つこともある。従って、スプライサ／トランスコーダと呼ぶことにする。
【００５３】
図３に示す編集スタジオ２の他の例は、アーカイバ／サーバ１からのストリームＴＳ１を記録し、スプライサ／トランスコーダ２１に対してストリームＴＳ１１を供給するノンリニアストレージ２３ａと、スプライサ／トランスコーダ２１からのストリームＴＳ１２を記録し、ストリームＴＳ２を出力するノンリニアストレージ２３ｂを図２の構成に対して付加したものである。
【００５４】
図２および図３から分かるように、スプライサ／トランスコーダ２１の入出力信号形態がＭＰＥＧストリームであり、多チャンネル化が容易であり、伝送資源を有効利用できる。また、ベースバンドエディタおよびスイッチャ２２とは、ベースバンド信号でインターフェースを行なうようになされる。
【００５５】
また、スプライサ／トランスコーダ２１は、トランスコーディングを行うものであり、再符号化に必要とされるコーデック情報をエディタおよびスイッチャ２２に対して出力する必要がない。従って、ベースバンドエディタおよびスイッチャ２２として、既存のベースバンド編集装置をそのまま利用して、編集システムの構築が可能となる。
【００５６】
さらに、スプライサおよびトランスコーダ２１は、入力されるストリームＳＴ１に含まれるＭＰＥＧピクチャ（コーデック情報を含む）と、ベースバンド入出力のフレーム（またはフィールド）との関連付けを行なう。スプライサ／トランスコーダ２１において規定されたＭＰＥＧピクチャとタイムコードとの対応関係に基づくタイムコートは、図では省略されているが、ベースバンドエディタおよびスイッチャ２２との間に設けられた双方向の信号線を介して、エディタおよびスイッチャ２２が要求する時には、スプライサ／トランスコーダ２１からエディタおよびスイッチャ２２に対して渡される。すなわち、スプライサ／トランスコーダ２１で使用されるＭＰＥＧピクチャの時刻管理情報と、エディタおよびスイッチャ２２の編集処理に使用される時刻管理情報（タイムコード）とは、１対１に対応するようになされる。
【００５７】
なお、ベースバンドエディタおよびスイッチャ２２から、編集後のベースバンド信号Ｓｃが戻ってくる時刻は、出力時の時刻にベースバンドエディタおよびスイッチャ２２のシステム遅延を加えたものである。再符号化のためのコーデック情報と戻ってきたベースバンド信号Ｓｃのフレームとの対応づけは、スプライサ／トランスコーダ２１からのベースバンド信号の出力時刻を記録しておけば、簡単に行うことができる。
【００５８】
さらに、スプライサ／トランスコーダ２１は、ベースバンドエディタおよびスイッチャ２２から、または、ベースバンドエディタおよびスイッチャ２２をコントロールしているホストＣＰＵあるいはコントロールマシンから、従来から活用されているタイムコードによるキュー情報等の編集位置情報を受け取り、ＭＰＥＧピクチャとの対応づけを行なう。すなわち、スプライサ／トランスコーダ２１では、キュー情報をもとに編集フレームの検出を行ない、再符号化時に利用するコーデック情報を選択する。コーデック情報は、動きベクトル、ピクチャタイプ、量子化ステップサイズ、量子化スケールなどの情報である。
【００５９】
タイムコードとＭＰＥＧピクチャとの対応づけのために、例えば入力ストリーム中に、任意の素材のＰＴＳ（Presentation Time Stamp；再生出力の時刻管理情報）とタイムコードと関連付けを行なうための、ＰＴＳとタイムコード間の関係を示す対照テーブルを挿入する。このような対照テーブルを伝送する方法は、種々のものが可能である。例えば、セクション形式の独立パケットでテーブルを伝送する。また、ストリームシンタックス上のエクステンションなどのユーザエリアにテーブルを載せることができる。
【００６０】
さらに、ＭＰＥＧピクチャと対応付けられたタイムコード自身をストリーム中に挿入して伝送しても良い。その場合には、対照テーブルが不要である。また、伝送する時間情報は、タイムコードに限らない。編集期間中、十分な時間指定が可能な範囲でタイムコードと１対１に対応するピクチャ用のインデックスを伝送しても良い。さらに、ＭＰＥＧストリーム上のシンタックス（符号化データ列の規則）であるＰＴＳ、ピクチャタイプ、ＧＯＰ、プルダウンやフィールドフリップに伴うリピートファーストフィールドなどの情報を使うことによってタイムコードによるキュー情報と対応づけを行なうことが可能である。
【００６１】
図４は、この発明を放送システムに対して適用した場合の概略的構成を示す。３１で示す本局と、複数の地方局３２ａ、３２ｂ、３２ｃ、３２ｄ、・・・が伝送ネットワーク３３を介して結合されている。伝送ネットワークを介してＭＰＥＧビットストリームが伝送される。ＭＰＥＧビットストリームにより多チャンネルを多重化して伝送できる。本局３１には、通信または放送衛星３４からの電波を受信するアンテナ３５が設置されている。アンテナ３５で受信された番組素材、マイクロ波回線３６を介して現場から送られてきたライブ素材、局内のアーカイバ／サーバ４１からの番組素材およびＣＭ素材がスプライサ／トランスコーダ４２にＭＰＥＧストリームの形態でもって入力される。
【００６２】
スプライサ／トランスコーダ４２は、上述したように、ベースバンドエディタおよびスイッチャ４３との間にベースバンドインターフェースを有する。スプライサ／トランスコーダ４２は、入力される番組素材をスイッチングして、放送番組（ＭＰＥＧビットストリーム）を作成する。この放送番組が本局３１からネットワーク３３を介して地方局３２ａ、３２ｂ、・・・に対して配信される。
【００６３】
地方局３２ａは、本局３１から受け取ったＭＰＥＧストリームと、ＣＭ（コマーシャル）サーバ４６ａからのＣＭ素材とがスプライサ／トランスコーダ４４ａに対して入力される。スプライサ／トランスコーダ４４ａとＣＭ挿入スケジューラ４５ａとの間は、ベースバンドインターフェースにより結合されている。ＣＭサーバ４６ａには、地方局３２ａでＣＭ素材が蓄積されている。ＣＭ挿入スケジューラ４５ａは、本局３１から送られてきたプログラムビットストリーム中のＣＭを地方局３２ａに特有のローカルＣＭに差し替える。トランスコーディングによって、殆ど劣化なくＣＭを差し替えることができる。他の地方局３２ｂ、３２ｃ、・・・においても同様に、ＣＭを差し替えることができる。
【００６４】
ＣＭの差し替えに限らず、本局３１、地方局３２ａ、３２ｂ、・・・において、放送局のロゴをプログラムビットストリーム中に挿入する作業を行うことができる。また、地上波放送に限らず、ＣＡＴＶにおけるケーブルオペレータとヘッドエンド局との間の関係に対しても、この発明を同様に適用できる。
【００６５】
スプライサ／トランスコーダ２１の一例および他の例を図５および図７にそれぞれ示す。図５に示す例は、入力されるＭＰＥＧビットストリームの全てをトランスコーディングする。図７に示す例は、入力されるＭＰＥＧビットストリームを部分的にトランスコーディングした後、ストリームスイッチング（スプライス）を行うものである。
【００６６】
図５のスプライサ／トランスコーダの一例について説明する。アーカイバ／サーバの出力、衛星からの受信信号、マイクロ波回線を介して到来した信号等のＭＰＥＧビットストリームＴＳ１が入力される。このストリームＴＳ１は、複数プログラム（番組素材）が多重化されたストリームである。少なくとも２以上のプログラムが多重化されている。トランスポートストリームＴＳに限らず、時間多重されたエレメンタリーストリームＥＳでも良い。但し、ＥＳの場合は、識別用のタグか、または現在入力しているストリームがどのストリームかを識別するための入力情報が必要とされる。
【００６７】
５１は、編集対象の二つのプログラムのパケットを引き出すためのフィルタである。トランスポートストリームＴＳであれば、ＰＩＤ（パケットＩＤ）によって、目的のプログラムを抽出できる。エレメンタリーストリームＥＳの場合では、上述したように、識別タグ等の情報が必要である。
【００６８】
フィルタ５１によって抽出した二つのストリームＡおよびＢをＭＰＥＧデコーダ５２ａ、５２ｂによってそれぞれ復号する。ＭＰＥＧデコーダ５２ａによって、プログラムＡのベースバンドビデオ／オーディオデータＳａが得られ、ＭＰＥＧデコーダ５２ｂによって、プログラムＢのベースバンドビデオ／オーディオデータＳｂが得られる。これらのベースバンドデータＳａおよびＳｂが外部のエディタおよびスイッチャ２２に出力される。
【００６９】
ベースバンドエディタおよびスイッチャ２２からは、編集された結果の戻りのベースバンドビデオ／オーディオデータＳｃが入力される。このベースバンドデータＳｃがＭＰＥＧリエンコーダ５３に供給される。リエンコーダ５３は、ベースバンドデータＳｃのビデオフレームに対応したＭＰＥＧ再符号化用のコーデック情報を径路５４を介して情報バッファ５５から受け取る。この再符号化用のコーデック情報に基づいて、要求の目標ビット量にデータＳｃをＭＰＥＧストリームＴＳ２へ再符号化する。そして、リエンコーダ５３からは、入力ストリームＡ、ストリームＢのＡＢロール編集の結果のストリームＴＳ２が出力される。再符号化用のコーデック情報とは、動きベクトル、ピクチャタイプ、量子化ステップサイズ、量子化レベルなどである。トランスコーディングによって、復号−符号化チェインによる画質の劣化が抑えられる。
【００７０】
以上が本線系で、エディタおよびスイッチャ２２との間に存在する編集ストリーム用のインターフェースは、ベースバンドデータＳａ、Ｓｂ、Ｓｃのみであり、ベースバンドのデータに対してコーデック情報を重畳する必要がない。なお、図５および図７においても、エディタおよびスイッチャ２２からの要求に応じてタイムコードをスプライサ／トランスコーダ２１へ伝送する伝送路は、省略されている。
【００７１】
情報バッファ５５には、ＭＰＥＧデコーダ５２ａおよび５２ｂのそれぞれで復号に使用されたコーデック情報が入力される。情報バッファ５５には、ライトコントローラ５６からのライトアドレスＷＡＤおよびライトイネーブルＷＥが供給される。また、リードコントローラ５７からのリードアドレスＲＡＤが情報バッファ５５に供給される。情報バッファ５５からリエンコーダ５３に対しては、ストリームＳｃの編集点と同期して、再符号化用のコーデック情報が供給されることが必要である。例えばビデオデータＳａに対して編集点（イン点）でビデオデータＳｂが接続されたビデオデータＳｃが戻ってくる時には、ビデオデータＳａの再符号化用のコーデック情報からビデオデータＳｂの再符号化用のコーデック情報への切替えがなされる。情報バッファ５５の容量は、エディタおよびスイッチャ２２のシステム遅延（数フレーム時間）に対応したもので良い。
【００７２】
スプライサ／トランスコーダ２１が出力したビデオデータＳａ、Ｓｂとベースバンドエディタおよびスイッチャ２２からの戻ってきたビデオデータＳｃとの間の位相は、管理テーブル６２によって管理される。このため、ライトコントローラ５６およびリードコントローラ５７が管理テーブル６２と接続され、管理テーブル６２が入力ストリームのピクチャカウント値と戻りのビデオデータＳｃのフレームカウント値を用いて、情報バッファ５５のライト／リードを制御する。フレームカウンタ５８がビデオデータＳｃのフレーム数をカウントし、カウント値をアドレスとして管理テーブル６２に読出し要求ＲＥＱを与える。管理テーブル６２は、リングバッファの構成とされ、入力情報をインクリメントするアドレスに順次書込み、読出し要求ＲＥＱに応じてリードポインタをインクリメントするようにされている。リードポインタが指し示すアドレスの再符号化情報が情報バッファ５５から読出され、経路５４を介してＭＰＥＧリエンコーダ５３に送られる。管理テーブル６２と関連して管理情報生成部６１が設けられる。管理情報生成部６１に対してキュー情報が入力される。管理情報生成部６１については後述する。
【００７３】
エディタおよびスイッチャ２２、またはコントロールマスターから、プログラムの編集のキュー情報がスプライサ／トランスコーダの管理情報生成部６１に供給される。キュー情報は、通常、タイムコードで指定された編集位置情報である。より具体的には、イン点／アウト点の情報がキュー情報に含まれる。キュー情報をもとに編集フレームの検出を行ない、ベースバンドデータＳｃと同期してコーデック情報を利用するように、コーデック情報が選択される。リードコントローラ５７により所定のコーデック情報が読出される時には、このコーデック情報を使用可能なことを示すイネーブル信号がリードコントローラ５７からリエンコーダ５３に供給される。
【００７４】
また、リエンコーダ５３は、ビット量見積器５９と接続され、ＶＢＶバッファの処理がなされる。すなわち、再符号化により得られたＭＰＥＧビットストリームＴＳ２を復号する側のバッファがオーバーフローまたはアンダーフローしないように、適切な符号化がなされる。この制御のために、管理テーブル６２の該当するインデックススロットに書込まれている、編集点付近の目標ビット量（ビット発生量の割り振り、重み付けの情報）がビット量見積器５３に供給される。再符号化によって、基本的に目標発生ビット量が満足される。通常の符号化の制御において行われることは、設定された目標ビット量に対して、リエンコーダ５３の発生ビット量が不足する時には、ダミーデータが付加される。また、発生ビット量が目標ビット量を超過する時、つまり、デコーダ側でアンダーフローが起きそうな場合、スキップドマクロブロックにするか、予測残差（予測画マクロブロックＭＢとの差分）を０にするなどの処理である。この処理でも対応できず、アンダーフローしてしまう時には、デコーダ側の処理方法に依存して再生画像に対する影響が生じる。通常は、バッファにデータが溜まるまでウエイトがかかり、その結果として再生画像がフリーズする。
【００７５】
図６は、管理情報生成部６１のより詳細な構成を示す。編集位置情報としてのキュー情報は、インタープリータ７１に供給され、適宜翻訳される。インタープリータ７１から取り出された情報がマッピング器７２に供給される。マッピング器７２は、タイムコードで表現されたキュー情報を、フィルタ５１で抽出された入力ストリーム７３のタイムスタンプＰＴＳ（再生出力の時刻管理情報）のスケールにマッピングする。
【００７６】
入力ストリーム７３からピクチャカウンタ７４がピクチャヘッダを検出し、ピクチャの数を数える。ピクチャカウンタ７４で数えられたピクチャの数がピクチャ／フレームインデックス生成器７５に供給される。ピクチャ／フレームインデックス生成器７５は、ピクチャおよび情報の管理テーブル６２の整理のために、ピクチャに対応したインデックスを発生する。管理テーブル６２は、このインデックスでテーブルを整理し、フレームカウンタ５８からのビデオデータＳｃのフレームの数のカウント値をアドレスとして管理情報を出力する。
【００７７】
タイムスタンプリーダ７６は、入力ストリーム７３からタイムスタンプＰＴＳを読む。このタイムスタンプＰＴＳと、マッピング器７２の出力とがリエンコーディングストラテジープランナ７７に供給される。マッピング器７２の出力は、ビデオフレームに対する編集点を示すタイムコードがタイムスタンプのスケールに合わせマッピングした結果である。従って、リエンコーディングストラテジープランナ７７は、編集点と入力ストリーム７３のピクチャとの対応付けが行う。リエンコーディングストラテジープランナ７７の出力がインデックスが示す管理テーブル６２のアドレスに対して書き込まれる。
【００７８】
７８は、入力ストリーム７３の発生ビット量をカウントし、カウント結果をＶＢＶバッファシミュレータ７９に供給し、ＶＢＶバッファのシミュレーションを行なう。ＶＢＶバッファは、エンコーダが符号化時に想定しているデコーダ側のバッファの容量であり、ＶＢＶバッファのシミュレーションによって、デコーダ側のバッファのアンダーフローまたはオーバーフローを防止することができる。ＶＢＶバッファシミュレータ７９の結果がリエンコーディングストラテジープランナ７７に送られ、再符号化のための編集点付近のビット発生量の割り振り、重み付けを行ない、これも管理テーブル６２の該当するインデックススロットに書き込む。
【００７９】
図７は、スプライサ／トランスコーダ２１の他の例である。他の例は、実際に編集によって影響を受ける部分を含む必要最小限の期間でのみ、トランスコーディングを行い、トランスコーディング後のストリームと、入力ストリームとのスイッチングを行うものである。他の例は、トランスコーディングによっても避けることができない画質劣化を最小限に抑えることができる。
【００８０】
図５に示し、上述したスプライサ／トランスコーダ２１の一例と相違する点は、フィルタ５１からの入力ストリーム７３をピクチャバッファ６３に蓄え、スイッチング回路６６によって、リエンコーダ５３からのストリームとピクチャバッファ６３からのストリームとを切り替えることである。
【００８１】
ピクチャバッファ６３のライトを制御するためのライトコントローラ６４およびそのリードを制御するためのリードコントローラ６５が設けられている。ライトコントローラ６４およびリードコントローラ６５は、管理テーブル６２により制御される。上述したコーデック情報を情報バッファ５５に書込み、また、情報バッファ５５から再符号化に利用するコーデック情報を読出すための制御と同様の制御がピクチャバッファ６３に対しても適用される。
【００８２】
例えばビデオデータＳａからＳｂに切り替わるビデオデータＳｃの場合には、スイッチング回路６６は、編集点の前後のトランスコーディングが施される期間より前までは、ピクチャバッファ６３からのデータＳａに対応するストリームを選択し、この期間中は、リエンコーダ５３からのストリームを選択し、期間の後では、ピクチャバッファ６３からのデータＳｂに対応するストリームを選択する。スイッチング回路６６の選択動作は、リードコントローラ６５からの制御信号６７により制御される。ピクチャバッファ６３の容量は、エディタおよびスイッチャ２２のシステム遅延（数フレーム時間）＋符号化遅延（数ピクチャ）に相当するもので良く、ピクチャバッファ６３が回路構成上負担にならない。
【００８３】
次に、この発明の他の実施形態について説明する。編集システムの概要は、上述した一実施形態と同様の構成（図１、図２および図３参照）である。また、一実施形態と同様に放送システムに対しても適用できる（図４参照）。上述したこの発明の一実施形態は、オリジナル素材のストリームを復号し、その時のコーデック情報を保存し、編集器に対しては、復号した結果のベースバンド信号のみを伝送し、編集器は、ベースバンド信号の編集を行い、編集結果のベースバンド信号と保存していたコーデック情報との時間（位相）関係をキュー情報に基づいて合わせ、編集結果のベースバンド信号を再符号化し、ストリームとして出力する構成である。このような一実施形態によれば、ストリーム伝送によって、蓄積手段の記憶媒体の容量を節減できると共に、伝送媒体を有効に利用でき、また、トランスコーディングによって画質の劣化を最小限に抑えることができ、さらに、編集器として既存のベースバンド編集器を殆ど手を加えずに活用することができる。
【００８４】
上述した一実施形態では、ベースバンド信号を扱う既存の編集器は、タイムコードによって編集位置を表すので、編集位置情報をストリーム上にマッピングするするために、編集位置情報を翻訳する必要があった。また、編集位置情報は、フレームまたはフィールド単位の編集位置の情報と、ワイプ等のスイッチャの機能を使うときには、そのデュレーションが含まれる程度であり、フレーム（ストリーム上ではピクチャ）内のスイッチングの遷移状態が分からなかった。そのため、再符号化に使用できるコーデック情報をフレーム内できめこまかく使い分けることができなかった。
【００８５】
この発明の他の実施形態は、これらの問題点を解決することができる。すなわち、他の実施形態は、編集位置情報を受け取らなくても、編集器に対して出力した第１および第２のベースバンド信号と、編集器からの戻りの第３のベースバンド信号とを位相を合わせた状態で比較することによって、編集位置を検出することができる。従って、編集器との間で、編集位置情報を伝送する線を省略することができ、また、編集位置情報をストリームの時間軸に翻訳する必要がない。
【００８６】
さらに、再符号化のためのコーデック情報の利用の可否をピクチャ単位のみならず、ブロック単位で判別できる。従って、編集点のピクチャが二つのオリジナル素材が混在するものであっても、再符号化による画質の劣化を抑えることができる。
【００８７】
従って、他の実施形態では、図１、図２および図３の構成において、スプライサ／トランスコーダ２１は、出力したベースバンド信号Ｓａ、Ｓｂと、戻りのベースバンド信号Ｓｃとを比較する。この比較の結果をもとに編集位置の検出を行い、再符号化時に利用するコーデック情報を選択する。編集位置の情報として、フレーム（ピクチャ）単位の編集位置と、ピクチャ内のより細かな単位の編集状況が得られる。コーデック情報は、動きベクトル、ピクチャタイプ、量子化ステップサイズ、量子化スケールなどの情報である。編集位置の検出のために、オリジナル素材を蓄えておりピクチャバッファが必要とされる。トランスコーディングのために、コーデック情報を蓄えており情報バッファが必要とされる。これらのピクチャバッファおよび情報バッファは、エディタおよびスイッチャ２２で生じるシステム遅延に対応した時間（数フレーム程度）、ベースバンド信号およびコーデック情報を遅延させる程度の容量であり、それほど容量が大きいことは、必要とされない。
【００８８】
この発明の他の実施形態におけるスプライサ／トランスコーダ２１の一例を図８に示す。図８に示す例は、入力されるＭＰＥＧビットストリームの全てをトランスコーディングする。但し、入力されるＭＰＥＧビットストリームを部分的にトランスコーディングした後、ストリームスイッチング（スプライス）を行うようにしても良い。すなわち、編集点の前後を含む所定期間のみで、ベースバンド信号Ｓｃをトランスコーディングしたストリームを選択し、所定期間以外では、入力ストリームを選択するように、ストリームを選択するスイッチング手段が設けられる。部分的なトランスコーディングを行う例では、復号−符号化のチェインが一部であるため、トランスコーディングであっても避けることができない、復号−符号化チェインによる画質の劣化を最小限とすることができる。
【００８９】
図８を参照してスプライサ／トランスコーダの一例について説明する。アーカイバ／サーバの出力、衛星からの受信信号、マイクロ波回線を介して到来した信号等のＭＰＥＧビットストリームＴＳ１が入力される。このストリームＴＳ１は、複数プログラム（番組素材）が多重化されたストリームである。少なくとも２以上のプログラムが多重化されている。トランスポートストリームＴＳに限らず、時間多重されたエレメンタリーストリームＥＳでも良い。但し、ＥＳの場合は、識別用のタグか、または現在入力しているストリームがどのストリームかを識別するための入力情報が必要とされる。
【００９０】
２５１は、編集対象の二つのプログラム（オリジナル素材）ＡおよびＢのパケットを引き出すためのフィルタである。トランスポートストリームＴＳであれば、ＰＩＤ（パケットＩＤ）によって、目的のプログラムを抽出できる。エレメンタリーストリームＥＳの場合では、上述したように、識別タグ等の情報が必要である。フィルタ２５１の出力には、選択された二つのプログラムＡおよびＢが多重化されたストリーム２６８が得られる。
【００９１】
フィルタ２５１によって抽出した二つのプログラムＡおよびＢをＭＰＥＧデコーダ２５２ａ、２５２ｂによってそれぞれ復号する。ＭＰＥＧデコーダ２５２ａによって、プログラムＡのベースバンドビデオ／オーディオデータＳａが得られ、ＭＰＥＧデコーダ２５２ｂによって、プログラムＢのベースバンドビデオ／オーディオデータＳｂが得られる。これらのベースバンドデータＳａおよびＳｂが外部のエディタおよびスイッチャ２２２に出力される。これと共に、ベースバンドデータＳａおよびＳｂがピクチャバッファ２６３に記憶される。ピクチャバッファ２６３のライトを制御するためのライトコントローラ２６４およびそのリードを制御するためのリードコントローラ２６５が設けられている。ピクチャバッファ２６３には、ライトコントローラ２６４からのライトアドレスＷＡＤおよびライトイネーブルＷＥが供給される。また、リードコントローラ２６５からのリードアドレスＲＡＤがピクチャバッファ２６３に供給される。
【００９２】
情報バッファ２５５には、ＭＰＥＧデコーダ２５２ａおよび２５２ｂのそれぞれで復号に使用されたコーデック情報が入力される。情報バッファ２５５には、ライトコントローラ２５６からのライトアドレスＷＡＤおよびライトイネーブルＷＥが供給される。また、リードコントローラ２５７からのリードアドレスＲＡＤが情報バッファ２５５に供給される。情報バッファ２５５からリエンコーダ２５３に対しては、ストリームＳｃの編集点と同期して、再符号化用のコーデック情報が供給されることが必要である。例えばビデオデータＳａに対して編集点（イン点）でビデオデータＳｂが接続されたビデオデータＳｃが戻ってくる時には、ビデオデータＳａの再符号化用のコーデック情報からビデオデータＳｂの再符号化用のコーデック情報への切替えがなされる。
【００９３】
上述したように、情報バッファ２５５およびピクチャバッファ２６３の容量は、エディタおよびスイッチャ２２のシステム遅延（数フレーム時間）に対応したもので良く、情報バッファ２５５およびピクチャバッファ２６３が回路構成上負担にならない。
【００９４】
ベースバンドエディタおよびスイッチャ２２からは、編集された結果の戻りのベースバンドビデオ／オーディオデータＳｃが入力される。このベースバンドデータＳｃがＭＰＥＧリエンコーダ２５３に供給される。リエンコーダ２５３は、ベースバンドデータＳｃのビデオフレームに対応したＭＰＥＧ再符号化用のコーデック情報を径路２５４を介して情報バッファ２５５から受け取る。この再符号化用のコーデック情報に基づいて、要求の目標ビット量にデータＳｃをＭＰＥＧストリームＴＳ２へ再符号化する。そして、リエンコーダ２５３からは、入力ストリームＡ、ストリームＢのＡＢロール編集の結果のストリームＴＳ２が出力される。再符号化用のコーデック情報とは、動きベクトル、ピクチャタイプ、量子化ステップサイズ、量子化スケールなどである。トランスコーディングによって、復号−符号化チェインによる画質の劣化が抑えられる。
【００９５】
ベースバンドデータＳｃと同期してコーデック情報を利用するように、コーデック情報が選択される。リードコントローラ２５７により所定のコーデック情報が読出される時には、このコーデック情報を使用可能なことを示すイネーブル信号がリードコントローラ２５７からリエンコーダ２５３に供給される。
【００９６】
入力ストリーム２６８と、その復号結果であるベースバンド信号Ｓａ、Ｓｂとが時間的に１対１に対応付けられる。ＭＰＥＧデコーダ２５２ａおよび２５２ｂのそれぞれで復号に使用されたコーデック情報を情報バッファ２５５に保存する時には、時間的に１対１の対応をとるための整理タグに関連付けてコーデック情報が保存される。このように、コーデック情報を保存するために、また、スプライサ／トランスコーダ２１が出力したビデオデータＳａ、Ｓｂとベースバンドエディタおよびスイッチャ２２からの戻ってきたビデオデータＳｃとの間の位相を管理するために、管理テーブル２６１が設けられている。情報バッファ２５５およびピクチャバッファ２６３のそれぞれのライトおよびリードを制御する、ライトコントローラ２５６および２６４と、リードコントローラ２５７および２６５が管理テーブル２６１と接続される。
【００９７】
管理テーブル２６１が入力ストリームのピクチャカウント値と戻りのビデオデータＳｃのフレームカウント値を用いて、情報バッファ２５５およびピクチャバッファ２６３のライト／リードを制御する。フレームカウンタ２５８がビデオデータＳｃのフレーム数をカウントし、カウント値をアドレスとして管理テーブル２６１に読出し要求ＲＥＱを与える。入力ストリーム２６８からピクチャカウンタ２７１がピクチャヘッダを検出し、ピクチャの数を数える。ピクチャカウンタ２７１で数えられたピクチャの数がピクチャ／フレームインデックス生成器２７２に供給される。ピクチャ／フレームインデックス生成器２７２は、ピクチャおよび情報の管理テーブル２６１の整理のために、ピクチャに対応したインデックスを発生する。
【００９８】
管理テーブル２６１は、このインデックスでテーブルを整理し、フレームカウンタ２５８からのビデオデータＳｃのフレームの数のカウント値をアドレスとして管理情報を出力する。管理テーブル２６１は、リングバッファの構成とされ、入力情報をインクリメントするアドレスに順次書込み、読出し要求ＲＥＱに応じてリードポインタをインクリメントするようになされている。リードポインタが指し示すアドレスの再符号化情報が情報バッファ２５５から読出され、経路２５４を介してＭＰＥＧリエンコーダ２５３に送られる。ピクチャバッファ２６３も、情報バッファ２５５と同様に制御される。
【００９９】
また、リエンコーダ２５３は、ビット量見積器２５９と接続され、ＶＢＶバッファの処理がなされる。すなわち、再符号化により得られたＭＰＥＧビットストリームＴＳ２を復号する側のバッファがオーバーフローまたはアンダーフローしないように、適切な符号化がなされる。再符号化によって、基本的に目標発生ビット量が満足される。通常の符号化の制御において行われることは、設定された目標ビット量に対して、リエンコーダ２５３の発生ビット量が不足する時には、ダミーデータが付加される。また、発生ビット量が目標ビット量を超過する時、つまり、デコーダ側でアンダーフローが起きそうな場合、スキップドマクロブロックにするか、予測残差（予測画マクロブロックＭＢとの差分）を０にするなどの処理である。この処理でも対応できず、アンダーフローしてしまう時には、デコーダ側の処理方法に依存して再生画像に対する影響が生じる。通常は、バッファにデータが溜まるまでウエイトがかかり、その結果として再生画像がフリーズする。
【０１００】
２７３は、入力ストリーム２６８の発生ビット量をカウントし、カウント結果をＶＢＶバッファシミュレータ２７４に供給し、ＶＢＶバッファのシミュレーションを行なう。ＶＢＶバッファシミュレータ２７４の結果がリエンコーディングストラテジープランナ２７５に送られ、再符号化のための編集点付近のビット発生量の割り振り、重み付けを行ない、これも管理テーブル２６１の該当するインデックススロットに書き込む。そして、管理テーブル２６１の該当するインデックススロットに書込まれている、編集点付近の目標ビット量（ビット発生量の割り振り、重み付けの情報）がビット量見積器２５９に供給され、リエンコーダ２５３の再符号化により発生するビット量が適切となるように、制御される。。
【０１０１】
図８に示すスプライサ／トランスコーダは、編集器からの編集位置情報なしに、編集点を検出し、ベースバンド信号Ｓｃの編集状況を得ることが可能とされている。この目的のために、比較的２７０が設けられている。比較部２７０には、ピクチャバッファ２６３からのオリジナルの二つのベースバンド信号Ｓａ、Ｓｂと、戻ってきたベースバンド信号Ｓｃとが供給される。また、情報バッファ２５５からＧＯＰヘッダ、ピクチャヘッダ、マクロブロックタイプ、動きベクトル等の付加的情報が比較部２７０に供給される。比較部２７０では、エディタおよびスイッチャ２２に出力した信号Ｓａ、Ｓｂと、戻ってきた信号Ｓｃとの一致検出に基づいて、編集点を検出する。これと共に、再符号化のためにコーデック情報を利用する可能かどうかをピクチャ単位およびマクロブロック単位で判別する。
【０１０２】
図９は、この発明の他の実施形態の説明に用いるベースバンド信号Ｓａ（ピクチャＰｉｃＡと称する）、ベースバンド信号Ｓｂ（ピクチャＰｉｃＢと称する）を編集した結果のベースバンド信号Ｓｃ（ピクチャＰｉｃＣと称する）の一例を示す。ベースバンド信号ＳａおよびＳｃのそれぞれのピクチャ単位およびマクロブロック単位でコーデック情報が保存される。図９の例では、編集点でもって、ピクチャＰｉｃＡからピクチャＰｉｃＢへ単にスイッチングされるのではなく、ワイプ、クロスフェード等の処理が二つのピクチャに対してなされている。すなわち、ピクチャＰｉｃＣにおいては、編集点の前までの各フレームは、ピクチャＰｉｃＡのフレームと一致したものであり、編集点のフレームがＰｉｃＡおよびＢの両者を処理したものであり、編集点より後の各フレームは、ピクチャＰｉｃＢのフレームと一致したものである。ベースバンド信号ＳａおよびＳｂのそれぞれのピクチャ毎およびマクロブロック毎にコーデック情報が保存される。
【０１０３】
比較部２７０は、時間的に位相が合わされたピクチャＰｉｃＡとＰｉｃＣとの一致検出、並びにピクチャＰｉｃＢとＰｉｃＣとの一致検出を行う。この二つの比較の少なくとも一方において、不一致が検出される時には、編集点のフレームであると検出する。各ピクチャの同一位置の画素同士の差が０ならば、一致、０以外ならば、不一致と、２枚のピクチャの一致／不一致が決定される。例えば時間的に位相を合わせた状態で、二つのピクチャの各画素を順に減算回路に入力し、差が０でない画素が発生したら、不一致と決定する。この場合、差が０でない画素が所定数に到達したら、不一致と決定するようにしても良い。
【０１０４】
このような編集点の検出に合わせて、リエンコーダ２５３における再符号化に使用するコーデック情報が選択される。スイッチングの例のように、ピクチャ（フレーム）単位で、画像が切り替えられる場合では、再利用するコーデック情報も、それに合わせてピクチャ単位で選択される。しかしながら、図９に示す例のように、編集点のピクチャに、二つのピクチャを混在する場合には、コーデック情報をピクチャ単位で選択する処理は、再符号化による画質の劣化を防止するためには不十分である。
【０１０５】
従って、この発明の他の実施形態では、コーデック情報の再利用（再符号化のための利用を意味する）の判定をマクロブロック単位で行うことを可能としている。以下、マクロブロック単位のコーデック情報の再利用を可能とするための評価、判定の処理について説明する。この処理は、比較部２７０においてなされる。
【０１０６】
図１０に示すように、ピクチャＰｉｃＡ（またはＰｉｃＢ）に含まれるマクロブロック（ＭＢＡまたはＭＢＢと表す）と、ピクチャＰｉｃＣに含まれ、空間的にマクロブロックＭＢＡ／ＭＢＢと同一の位置のマクロブロック（ＭＢＣと表す）とが比較される。例えばマクロブロックは、（１６×１６）の大きさである。マクロブロックの一致／不一致の検出は、ピクチャの場合と同様になされる。
【０１０７】
図１１は、コーデック情報の再利用の可否を判別するための処理を示すフローチャートである。エディタおよびスイッチャから編集後のビデオ信号Ｓｃ（ピクチャＰｉｃＣ）が到来すると、処理が開始される。最初のステップＳ１において、ピクチャバッファ２６３からオリジナルのピクチャＡおよびＢが読出される。
【０１０８】
比較のステップＳ２では、ピクチャＡおよびＣが比較される。ピクチャＡおよびＣが不一致の場合では、比較のステップＳ３で、ピクチャＢおよびＣが比較される。ピクチャＢおよびＣが不一致の場合では、比較のステップＳ４で、マクロブロックＭＢＡおよびＭＢＣが比較される。マクロブロックＭＢＡおよびＭＢＣが不一致の場合では、比較のステップＳ５で、マクロブロックＭＢＢおよびＭＢＣが比較される。上述したように、各ピクチャ内で空間的に同一位置の二つのマクロブロックが比較される。
【０１０９】
ステップＳ２において、ＰｉｃＡ＝ＰｉｃＣが満足される場合には、ピクチャＡを復号するのに使用したコーデック情報を再利用して、ピクチャＣの再符号化がなされる。ＭＰＥＧの場合では、ピクチャタイプが３種類ある。すなわち、フレーム内符号化画像であるＩ（Intra）ピクチャと、フレーム間前方向予測符号化画像であるＰ(Predictive)ピクチャと、双方向予測画像であるＢ(Bidirectionally predictive)ピクチャとがある。これらのピクチャタイプによって再利用の条件が異なるので、ピクチャサブルーチンＳ６の処理がなされる。サブルーチンＳ６については、後述する。
【０１１０】
サブルーチンＳ６の後でステップＳ７の処理がなされる。ステップＳ７では、ピクチャＣ上の予測対象ピクチャがピクチャＡの要素であるかどうかが決定される（これをＰＩＣ（ＦＷ／ＢＷ），ＰＩＣ Ｆｇ≠０？と表す）。この条件が満足される時には、ピクチャ単位でコーデック情報を再利用するために、該当ピクチャのコーデック情報を準備する（ステップＳ８）。ピクチャ単位にコーデック情報を再利用する場合は、両方向予測時のピクチャの再符号化のために、片側ピクチャのコーデック情報を利用することも含む。
【０１１１】
ステップＳ７における条件が満足されない場合には、ＰｉｃＡ≠ＰｉｃＣの場合と同様に、ステップＳ３に処理が移る。すなわち、ピクチャＣ上の予測対象ピクチャがピクチャＡの要素でない時は、次の条件が探される。
【０１１２】
ステップＳ３において、ＰｉｃＢ＝ＰｉｃＣが満足される場合には、ピクチャＢのコーデック情報を再利用して、ピクチャＣの再符号化がなされる。この場合も、ピクチャタイプに応じて再利用の条件が異なるので、ピクチャサブルーチンＳ６の処理がなされる。そして、ステップＳ９において、ピクチャＡのステップＳ７と同様に、ピクチャＣ上の予測対象ピクチャがピクチャＢの要素であるかどうかが決定される。この条件が満たされる場合には、ステップＳ８に処理が移り、該当ピクチャのコーデック情報を再利用するために、それを準備する。具体的には、情報バッファ２５５から該当ピクチャのコーデック情報を読出してリエンコーダ２５３に対して与える。
【０１１３】
ステップＳ９の条件が満足されない時には、ＰｃｉＢ≠ＰｉｃＣの場合と同様に、ステップＳ４に処理が移る。すなわち、（ＰｉｃＡ≠ＰｉｃＣ）且つ（ＰｉｃＢ≠ＰｉｃＣ）の場合に、マクロブロック単位で比較（ＭＢＡ＝ＭＢＣ）がなされる。図９に示す例のように、ピクチャＣの編集点のピクチャに、ピクチャＡおよびＢが混在する時には、（ＰｉｃＡ≠ＰｉｃＣ）且つ（ＰｉｃＢ≠ＰｉｃＣ）となる。この場合では、マクロブロック単位でコーデック情報を再利用するようになされる。
【０１１４】
ステップＳ４において、ＭＢＡ＝ＭＢＣが満足される場合には、マクロブロックＡのコーデック情報を再利用して、マクロブロックＭＢＣの再符号化がなされる。ＭＰＥＧの場合では、ピクチャタイプと同様に、マクロブロックタイプが３種類ある。すなわち、フレーム内符号化（Intra）マクロブロックと、過去から未来を予測する前方向(Foward)フレーム間予測マクロブロックと、未来から過去を予測する後方向（Backwrd）フレーム間予測マクロブロックと、前後両方向から予測する内挿的（Interpolative）マクロブロックとがある。
【０１１５】
Ｉピクチャ内の全てのマクロブロックは、フレーム内符号化マクロブロックである。また、Ｐピクチャ内には、フレーム内符号化マクロブロックと前方向フレーム間予測マクロブロックとが含まれる。Ｂピクチャ内には、上述した４種類の全てのタイプのマクロブロックが含まれる。これらのマクロブロックタイプによって再利用の条件が異なるので、マクロブロックサブルーチンＳ１０の処理がなされる。サブルーチンＳ１０については、後述する。
【０１１６】
サブルーチンＳ１０の後でステップＳ１１の処理がなされる。ステップＳ１１では、ピクチャＣ上の予測対象マクロブロックがピクチャＡの要素であるかどうかが決定される（これをＭＢ（ＦＷ／ＢＷ），ＭＢ Ｆｇ≠０？と表す）。この条件が満足される時には、マクロブロック単位でコーデック情報を再利用するために、該当マクロブロックのコーデック情報を準備する（ステップＳ１２）。マクロブロック単位にコーデック情報を再利用する場合には、両方向予測時のマクロブロックに関して片側マクロブロックのコーデック情報を利用する場合も含まれる。
【０１１７】
ステップＳ１１における条件が満足されない場合には、ステップＳ１３に処理が移る。すなわち、ピクチャＣ上の予測対象マクロブロックがピクチャＡ上の要素でない時は、コーデック情報の再利用が不可とされる（ステップＳ１３）。この場合では、トランスコーディングがされず、単なる符号化がなされる。
【０１１８】
ステップＳ４で、ＭＢＡ≠ＭＢＣとされると、ステップＳ５で、ＭＢＢ＝ＭＢＣが満足されるかどうかが決定される。ＭＢ≠ＭＢＣの場合では、ステップＳ１３に処理が移り、コーデック情報の再利用がされない。ステップＳ５において、ＭＢＢ＝ＭＢＣが満足される場合には、マクロブロックＭＢＢのコーデック情報を再利用して、マクロブロックＭＢＣの再符号化がなされる。この場合も、マクロブロックタイプに応じて再利用の条件が異なるので、マクロブロックサブルーチンＳ１０の処理がなされる。そして、ステップＳ１４において、ステップＳ１１と同様に、ピクチャＣ上の予測対象マクロブロックがピクチャＢ上の要素であるかどうかが決定される。この条件が満たされる場合には、ステップＳ１２に処理が移り、該当マクロブロックのコーデック情報を再利用するために、それを準備する。具体的には、情報バッファ２５５から該当マクロブロックのコーデック情報を読出してリエンコーダ２５３に対して与える。ステップＳ１４の条件が満足されない時には、コーデック情報が再利用されない（ステップＳ１３）。
【０１１９】
ピクチャサブルーチンＳ６について、図１２を参照してより詳細に説明する。まず、ピクチャタイプを判別するために、ステップＳ２１では、Ｉピクチャかどうかが決定される。ピクチャタイプは、情報バッファ５５に格納されているピクチャヘッダの情報から分かる。Ｉピクチャの場合では、ステップＳ２２において、ピクチャフラグＰＩＣ Ｆｇを１にセットする。ピクチャ単位で予測対象ピクチャの存在、非存在を示すピクチャフラグＰＩＣ Ｆｇは、次のように定義される。
【０１２０】
ＰＩＣ Ｆｇ＝０；対応するピクチャが存在しない
ＰＩＣ Ｆｇ＝１；フレーム内に対応するピクチャが存在する
ＰＩＣ Ｆｇ＝２；Ｐピクチャで前方向に予測対象ピクチャが存在する
ＰＩＣ Ｆｇ＝３；Ｂピクチャで前方向に予測対象ピクチャが存在する
ＰＩＣ Ｆｇ＝４；Ｂピクチャで後方向に予測対象ピクチャが存在する
ＰＩＣ Ｆｇ＝５；Ｂピクチャで前後方向に予測対象ピクチャが存在する
【０１２１】
ステップＳ２２では、コーデック情報を再利用する場合に、予測対象ピクチャが存在するピクチャを示すために、ピクチャフラグＰＩＣ Ｆｇがセットされる。このピクチャフラグは、コーデック情報を再利用するか否かの判定と、情報バッファ２５５からリエンコーダ２５３に与えるコーデック情報を規定するのに使用される。
【０１２２】
ステップＳ２１で、Ｉピクチャでないと決定されると、ステップＳ２３で、Ｐピクチャかどうかが決定される。Ｐピクチャの場合には、ステップＳ２４において、予測対象ピクチャのサーチおよび検出がなされる。Ｐピクチャの場合では、過去のピクチャから予測されるように符号化されているので、過去のピクチャから符号化の基になっている予測対象ピクチャが検出される。過去の予測対象ピクチャの位置は、ＧＯＰヘッダに含まれるＧＯＰシーケンスの情報に基づいて、決定される。
【０１２３】
検出されたピクチャＣ上の予測対象ピクチャがピクチャＡ（図１１のステップＳ２に続くサブルーチンの場合）またはピクチャＢ（図１１のステップＳ３に続くサブルーチンの場合）上に存在しているかどうかが決定される（ステップＳ２５）。この決定は、予測対象ピクチャと、この予測対象ピクチャと同一の時間関係にある、ピクチャＡまたはＢ上のピクチャとを比較することでなされる。予測対象ピクチャがピクチャＡまたはＢ上に存在している場合には、ステップＳ２２において、ピクチャフラグが上述したように、２の値にセットされる。若し、存在していない場合には、ピクチャフラグＰＩＣ Ｆｇが０とされる（ステップＳ２６）。
【０１２４】
ステップＳ２３において、Ｐピクチャでないと決定される時、すなわち、Ｂピクチャの場合には、ステップＳ２７において、予測対象ピクチャのサーチおよび検出がなされる。そして、検出されたピクチャＣ上の予測対象ピクチャがピクチャＡまたはピクチャＢ上に存在しているかどうかが決定される（ステップＳ２８）。存在しない場合には、ピクチャフラグＰＩＣ Ｆｇが０とされる（ステップＳ２６）。存在する場合には、Ｂピクチャの場合で、予測対象ピクチャが前（過去）、後（未来）、前後方向の何れの方向に存在しているかによって、上述したように、ピクチャフラグＰＩＣ Ｆｇが３、４または５の値にセットされる。
【０１２５】
以上のようにして、ピクチャ単位のコーデック情報の再利用の判定がなされる。図９に示す例は、編集点のピクチャがＢピクチャの場合を示している。Ｂピクチャの場合では、図１２のフローチャートに示すように、編集点から見た前方向の予測対象ピクチャ（Ｐピクチャ）と、編集点から見た後方向の予測対象ピクチャ（Ｐピクチャ）とがサーチされる。そして、前方向の予測対象ピクチャと、ピクチャＡ上の対応するピクチャとの比較がなされる。両者が一致する時には、前方向に予測対象ピクチャが存在しているものと決定される。後方向のピクチャと、ピクチャＡ上の対応するピクチャとの比較がなされ、両者が一致する時には、後方向に予測対象ピクチャが存在しているものと決定される。両方向で、一致しているピクチャが存在する場合もある。但し、図９の例では、注目ピクチャには、二つのピクチャが混在しているので、ピクチャ単位では、ステップＳ２およびＳ３の何れの条件も満足されず、マクロブロック単位の判別に処理が移行することになる。
【０１２６】
図１３は、マクロブロック単位のコーデック情報の再利用判別処理（マクロブロックサブルーチンＳ１０）を示すフローチャートである。まず、ステップＳ３１、ステップＳ３２およびステップＳ３３において、マクロブロックタイプが決定される。マクロブロックタイプは、ＭＰＥＧ２シンタックスのマクロブロックレイヤーのマクロブロックモード内に含まれており、この情報に基づいてマクロブロックタイプが決定される。
【０１２７】
ステップＳ３１では、フレーム内符号化マクロブロック（Ｉ ＭＢ）かどうかが決定される。Ｉ ＭＢでない場合には、ステップＳ３２で、内挿的（両方向）マクロブロックＢｉｄ ＭＢかどうかが決定される。Ｂｉｄ ＭＢでない場合には、ステップＳ３３で、後方向フレーム間予測マクロブロック（バックワードマクロブロックと図示されている）かどうかが決定される。Ｉ ＭＢでもなく、Ｂｉｄ ＭＢでもなく、バックワードマクロブロックでもない場合は、前方向フレーム間予測マクロブロック（フォワードマクロブロックと図示されている）である。
【０１２８】
これらのマクロブロックのタイプ毎に、コーデック情報を再利用可能かどうかが決定される。ステップＳ３１で、注目マクロブロックがＩ ＭＢと決定されると、ステップＳ３４では、マクロブロックフラグＭＢ Ｆｇが１の値にセットされる。Ｉ ＭＢ以外のマクロブロックの場合では、動きベクトルを選択し、選択した動きベクトルによりずらされた位置に予測対象マクロブロックに対応するマクロブロックがピクチャＡまたはＢに存在するかどうかが判別される。これらの条件が満足される時には、コーデック情報の再利用が可能とされる。
【０１２９】
マクロブロック単位で、ピクチャＡまたはＢにおいて予測対象マクロブロックの存在、非存在を示す、マクロブロックフラグＭＢ Ｆｇは、
ＭＢ Ｆｇ＝０；対応するマクロブロックが存在しない
ＭＢ Ｆｇ＝１；フレーム内に対応するマクロブロックが存在する
ＭＢ Ｆｇ＝２；前方向に対応するマクロブロックが存在する
ＭＢ Ｆｇ＝３；後方向に対応するマクロブロックが存在する
ＭＢ Ｆｇ＝４；両方向に対応するマクロブロックが存在する
ＭＢ Ｆｇ＝５；両方向の前方向に対応するマクロブロックが存在する
ＭＢ Ｆｇ＝６；両方向の後方向に対応するマクロブロックが存在する
と定義される。このマクロブロックフラグは、マクロブロック単位でコーデック情報の再利用の可否を判定するのに使用され、また、情報バッファ２５５からリエンコーダ２５３に与えるコーデック情報を規定するのに使用される。
【０１３０】
ステップＳ３２において、判別の対象としている注目マクロブロックタイプが両方向マクロブロックの場合には、前方向の動きベクトルおよび後方向の動きベクトルが準備される（ステップＳ３５）。この動きベクトルを使用して、予測対象マクロブロックがサーチ、検出される（ステップＳ３６）。予測対象マクロブロックの位置は、ＧＯＰシーケンスに従っているので、ＧＯＰヘッダに含まれるＧＯＰシーケンスの情報に基づいて、予測対象マクロブロックが検出される。
【０１３１】
次のステップＳ３７で、予測対象マクロブロックがピクチャＡ（図１１のステップＳ４に続くサブルーチンの場合）またはピクチャＢ（図１１のステップＳ５に続くサブルーチンの場合）上に存在しているかどうかが決定される。この決定は、予測対象マクロブロックと、この予測対象マクロブロックを動きベクトルでずらした位置の、ピクチャＡまたはＢ上のマクロブロック相当画像ブロックとを比較することでなされる。
【０１３２】
ステップＳ３７において、予測対象マクロブロックがピクチャＡおよび／またはピクチャＢに存在していると決定されると、ステップＳ３８において、マクロブロックフラグＭＢ Ｆｇが４、５、または６にセットされる。若し、予測対象マクロブロックに対応するマクロブロックが存在しないと決定されると、ステップＳ３９において、マクロブロックフラグＭＢ Ｆｇが０にセットされる。ＭＢ Ｆｇ＝０は、マクロブロック単位でコーデック情報を再利用できないことを意味する。
【０１３３】
図１４に示すように、ピクチャＡおよびＢが混在している時には、マクロブロック単位で判定がなされる。図１４の例は、図９中の編集点のピクチャの付近を示しており、注目しているピクチャのピクチャタイプがＢであり、また、２個の両方向マクロブロックが示しているピクチャのピクチャタイプがＢであり、また、２個の両方向マクロブロックが示されている。編集点のピクチャにおいて、ピクチャＡの部分に含まれるマクロブロックＭＢが前方向の動きベクトルの分ずれた位置の過去のピクチャＡ内のマクロブロック相当画像ブロックと比較される。この例では、両マクロブロックが一致する（図ではＧＯＯＤと示されている）。また、後方向の動きベクトルの分ずれた位置の未来のピクチャＢ内のマクロブロック相当画像ブロックと比較される。両ブロックが一致しない（図ではＮＧと示されている）。従って、この場合では、マクロブロックフラグＭＢ Ｆｇの値が５にセットされる。
【０１３４】
編集点のピクチャ中でピクチャＢの部分に含まれるマクロブロックＭＢについても、前方向および後方向の動きベクトルによりずれた位置のピクチャＡおよびＢのマクロブロック相当画像ブロックと比較される。図１４に示すように、後方向の動きベクトルでずれた未来のピクチャ（この例では、Ｐピクチャ）内のマクロブロックと一致する。従って、この場合では、マクロブロックフラグＭＢ Ｆｇの値が６にセットされる。若し、ピクチャＡ、Ｂが混在していない時には、前後の両方向に予測対象マクロブロックに対応するマクロブロック相当画像ブロックが存在し、マクロブロックフラグＭＢ Ｆｇが４の値にセットされる。
【０１３５】
図１３に戻って説明すると、ステップＳ３３において、ピクチャＣ内の注目マクロブロックがバックワードマクロブロックと決定されると、ステップＳ４１において後方向の動きベクトルが準備される。そして、動きベクトルによりずれた位置の未来のピクチャＡまたはＢ内のマクロブロック相当画像ブロックがサーチ、検出される（ステップＳ４２）。検出されたマクロブロック相当画像ブロックと、注目マクロブロックの予測対象マクロブロックとが比較され、予測対象マクロブロックに対応するマクロブロック相当画像ブロックが存在するかどうかが決定される（ステップＳ４３）。
【０１３６】
ステップＳ４３において、予測対象マクロブロックに対応するマクロブロック相当画像ブロックが存在すると決定されると、ステップＳ４４においてマクロブロックフラグＭＢ Ｆｇが３の値にセットされる。予測対象マクロブロックに対応するマクロブロック相当画像ブロックが存在しない時には、ステップＳ３９においてマクロブロックフラグＭＢ Ｆｇが０の値にセットされる。
【０１３７】
ステップＳ３３において、ピクチャＣ内の注目マクロブロックがバックワードマクロブロックとない場合、すなわち、これがフォワードマクロブロックの場合では、ステップＳ４５において前方向の動きベクトルが準備される。そして、動きベクトルによりずれた位置の過去のピクチャＡまたはＢ内のマクロブロック相当画像ブロックがサーチ、検出される（ステップＳ４６）。検出されたマクロブロックと、注目マクロブロックの予測対象マクロブロックとが比較され、予測対象マクロブロックに対応するマクロブロック相当画像ブロックが存在するかどうかが決定される（ステップＳ４７）。
【０１３８】
ステップＳ４７において、予測対象マクロブロックに対応するマクロブロック相当画像ブロックが存在すると決定されると、ステップＳ４８においてマクロブロックフラグＭＢ Ｆｇが２の値にセットされる。対応するマクロブロック相当画像ブロックが存在しない時には、ステップＳ３９においてマクロブロックフラグＭＢ Ｆｇが０の値にセットされる。
【０１３９】
以上のようにして、マクロブロック単位のコーデック情報の再利用の判定がなされる。従って、図９に示すように、編集点のピクチャが二つのオリジナルピクチャＡおよびＢが混在している場合であっても、マクロブロック単位でコーデック情報を再利用して、ピクチャＣを再符号化できる。それによって、ピクチャ単位の再符号化よりも、きめ細かくコーデック情報を再利用でき、画質の劣化を低減することができる。
【０１４０】
なお、以上の説明では、ＭＰＥＧを圧縮符号化として採用しているが、ＭＰＥＧ以外の圧縮符号化を採用することができる。
【０１４１】
【発明の効果】
この発明による編集制御装置は、アーカイバ／サーバ等との間の入力／出力インターフェースが符号化ストリームであり、編集器とのインターフェースは、ベースバンドであり、また、トランスコーディングによって、復号−符号化チェインによる画質劣化が最小限とできる。トランスコーディングのための再符号化情報をベースバンド信号に付加して外部編集機器、ストレージ機器に送る必要が無いため、外部機器に何ら影響をもたらすことなく編集を可能にする。従って、映像素材等の素材をストリームで蓄えることができる。また、局内、スタジオ内に導入されている既存の編集器の構成を変える必要がない。ユーザから見ると、編集器および編集制御装置からなる編集システムは、ストリーム上の編集を行っているが、編集システムの内部では、ベースバンドの編集がされている。
【０１４２】
また、ベースバンド信号と、ビットストリームを関係付けを行なうことによって、必要最小限のピクチャに対してトランスコーディングを行ない、該当ビットストリームとスイッチングを行ない、変換による歪みを最小限にすることが可能である。さらに、圧縮素材で受けたものは、圧縮素材で、蓄積、編集を行い、ベースバンド素材で受けたものは、ベースバンド素材で、蓄積、編集を行なうという切り分けができる。
【０１４３】
また、この発明は、編集システムがＭＰＥＧストリームをそのまま扱うので、既に局内に施設されているネットワーク線の多チャンネル化が実現し、局内の素材伝送資源を有効に利用できる。さらに、現在の地上波放送に見られる本局対地方局の関係、ＣＡＴＶに見られるケーブルオペレータとヘッドエンド局との関係を考えた場合、この発明によれば、メイン局から送られてきた放送素材のＣＭとローカルＣＭの差し替えを行なったり、局のロゴを挿入する作業をほとんど劣化なくビットストリーム上で行うことができる。
【０１４４】
よりさらに、この発明では、他の実施形態について説明したように、符号化ビットストリームを復号したベースバンド信号を編集し、編集結果のベースバンド信号を再符号化してストリームとして出力する時に、編集位置情報を編集器から貰う必要がない。従って、編集位置情報を伝送するための伝送線を省略でき、また、タイムコードで表された編集情報をストリームの時間軸上に翻訳する処理等を省略することができる。
【０１４５】
また、この発明は、他の実施形態について説明したように、トランスコーディングのために、コーデック情報を再利用する場合に、ピクチャ単位のみならず、マクロブロックのようなより細かい単位で、コーデック情報を選択することができる。従って、編集点の画像が二つ以上のオリジナル素材が混在する場合でも、再符号化による画質の劣化を抑えることができる。
【図面の簡単な説明】
【図１】この発明の一実施形態の局内のシステム全体を示すブロック図である。
【図２】この発明の一実施形態中の編集スタジオの一例を示すブロック図である。
【図３】この発明の一実施形態中の編集スタジオの他の例を示すブロック図である。
【図４】この発明を適用できる放送ネットワークの一例を示すブロック図である。
【図５】この発明の一実施形態中の主要部であるスプライサ／トランスコーダの一例を示すブロック図である。
【図６】スプライサ／トランスコーダ中の管理情報生成部の構成の一例を示すブロック図である。
【図７】この発明の一実施形態中の主要部であるスプライサ／トランスコーダの他の例を示すブロック図である。
【図８】この発明の他の実施形態中の主要部であるスプライサ／トランスコーダの一例を示すブロック図である。
【図９】ベースバンド信号の時間関係、並びにコーデック情報の再利用のための処理を説明するための略線図である。
【図１０】ピクチャおよびマクロブロックの関係を示す略線図である。
【図１１】コーデック情報の再利用のための判別処理を示すフローチャートである。
【図１２】図１１中のピクチャサブルーチンを示すフローチャートである。
【図１３】図１１中のマクロブロックサブルーチンを示すフローチャートである。
【図１４】マクロブロック単位のコーデック情報の再利用を説明するための略線図である。
【図１５】従来のＭＰＥＧの符号化、復号システムのブロック図である。
【図１６】この発明の説明の参考とした局内のシステムの構成の一例を示すブロック図である。
【図１７】図１６中の編集スタジオの一例を示すブロック図である。
【図１８】図１６中の編集スタジオの他の例を示すブロック図である。
【図１９】この発明の説明の参考とした局内のシステムの構成の他の例を示すブロック図である。
【図２０】図１９中の編集スタジオの一例を示すブロック図である。
【図２１】図１９中の編集スタジオの他の例を示すブロック図である。
【図２２】この発明の説明の参考とした編集スタジオの構成の一例を示すブロック図である。
【図２３】この発明の説明の参考とした編集スタジオの構成の他の例を示すブロック図である。
【図２４】図２３の構成に対してノンリニアストレージを付加した構成を示すブロック図である。
【図２５】この発明の説明の参考とした局内システムの構成を示すブロック図である。
【符号の説明】
１，３・・・アーカイバ／サーバ、２・・・編集スタジオ、２１・・・スプライサ／トランスコーダ、２２・・・ベースバンドエディタおよびスイッチャ、５２ａ、５２ｂ・・・ＭＰＥＧデコーダ、５３・・・ＭＰＥＧリエンコーダ、５５・・・情報バッファ、６１・・・管理情報生成部、６２・・・管理テーブル、２５３・・・ＭＰＥＧリエンコーダ、２５９・・・ビット量見積器、２６１・・・管理テーブル、２６３・・・ピクチャバッファ
【発明の属する技術分野】
この発明は、ビットストリームを扱う場合に適用される編集装置および方法、再符号化装置および方法に関する。
【０００２】
【従来の技術】
近年、ディジタル放送においてＭＰＥＧ(Moving Picture Experts Group)に代表される圧縮技術を利用することによって、限られた伝送媒体（無線、有線いずれも）を有効活用してより多数の番組を放送できることが可能となりつつある。同様に、放送業者における素材伝送についても、衛星回線を利用する場合のトランスポンダの使用料は高価であり、占有する帯域を圧縮することは、経済的メリットが大きい。地上波を利用した素材伝送においてもまた同様である。さらに、商用有線回線を利用した場合も同様である。従って、取材現場から局に伝送する場合や、局から局への局間伝送では、ＭＰＥＧストリームを利用する意義が大きい。
【０００３】
次に、局内などでＭＰＥＧなどの圧縮技術を映像素材に適用するメリットの主たるものは、映像素材アーカイバ／サーバの容量の節約である。ノンリニア編集が必要とされていなかった時代には、ランニングコストの安いテープ上に映像素材をアーカイブしておけばこと足りたが、ノンリニア編集の必要性が求められる現在においては、ノンリニア記録媒体（ハードディスク、ＤＶＤなど）の記録容量を節約することが必須である。
【０００４】
ここで、図１５を参照して、ＭＰＥＧ規格に従った伝送システムの概略について説明する。伝送システムは、エンコーダ１１０側のビデオデータに関連した構成として、入力されるビデオデータＤvを符号化し、ビデオエレメンタリストリームＥＳを出力するビデオエンコーダ１１１と、このビデオエンコーダ１１１から出力されるビデオエレメンタリストリームＥＳをパケット化し、ヘッダ等を付加してビデオパケッタイズドエレメンタリストリームＰＥＳを出力するパケッタイザ１１２とが設けられている。また、オーディオデータに関連する構成として、入力されるオーディオデータＤAを符号化し、オーディオエレメンタリストリームＥＳを出力するオーディオエンコーダ１１３と、このオーディオエンコーダ１１３から出力されるオーディオエレメンタリストリームＥＳをパケット化し、ヘッダ等を付加してビデオパケッタイズドエレメンタリストリームＰＥＳを出力するパケッタイザ１１４とが設けられている。さらに、パケッタイザ１１２および１１４からのエレメンタリストリームを多重化し、１８８バイト長のトランスポートストリームパケットを作成し、トランスポートストリームＴＳとして出力するマルチプレクサ１１５とが設けられている。
【０００５】
図１５に示す伝送システムの復号側１２０には、伝送媒体１１６を介して受け取ったトランスポートストリームをビデオＰＥＳとオーディオＰＥＳに分離して出力するデマルチプレクサ１２１が設けられる。ビデオＰＥＳおよびオーディオＰＥＳのパケットをそれぞれ分解するデパケッタイザ１２２、１２４と、デパケッタイザ１２２、１２４からのビデオＥＳおよびオーディオＥＳをそれぞれ復号するビデオデコーダ１２３、オーディオデコーダ１２５とが設けられている。ビデオデコーダ１２３からは、ベースバンドのビデオ信号Ｄv、オーディオ信号ＤAが出力される。このような復号側１２０は、ＩＲＤ（Integrated Receiver/Decoder）と呼ばれる。
【０００６】
ビデオデータを中心に、図１５に示すシステムの動作について説明する。まず、符号化装置１１０側では、各ピクチャが同じビット量を持つ入力ビデオデータＤvは、ビデオエンコーダ１１１により符号化され、各ピクチャ毎に、その冗長度に応じたビット量に変換され、ビデオエレメンタリストリームとして出力される。パケッタイザ１１２は、ビデオエレメンタリストリームを、時間軸上のビット量の変動を吸収して（平均化して）パケット化し、ビデオパケッタイズドエレメンタリストリームとして出力する。トランスポートストリームマルチプレクサ１１５は、ビデオパケッタイズドエレメンタリストリームとパケッタイザ１１４から出力されるオーディオパケッタイズドエレメンタリストリームとを多重化してトランスポートストリームパケットを作成し、トランスポートストリームＴＳとして、伝送媒体１１６を介して復号化装置１２０に送る。
【０００７】
復号化装置１２０側では、トランスポートストリームデマルチプレクサ１２１によって、トランスポートストリームがビデオパケッタイズドエレメンタリストリームとオーディオパケッタイズドエレメンタリストリームとに分離される。デパケッタイザ１２２は、ビデオパケッタイズドエレメンタリストリームをデパケット化し、ビデオエレメンタリストリームとして出力し、ビデオデコーダ１２３がビデオエレメンタリストリームを復号して、ビデオデータＤvを出力する。
【０００８】
復号化装置１２０は、固定レートの到達ストリームから、再生ピクチャ毎の可変ビット量の引き出しを行うための制御を、例えば１．７５ＭビットのＶＢＶ(Video Buffering Verifier)バッファを用いて行う。従って、符号化装置１１０側では、このＶＢＶバッファをオーバーフローまたはアンダーフローさせないように、各ピクチャのビット発生量を制御する必要がある。このような制御がＶＢＶバッファ処理と称される。
【０００９】
上述したように、多チャンネル化に代表される限られた伝送資源の有効活用や、回線使用のランニングコストの面から符号化ストリームの活用は、非常に魅力的である。しかしながら、一方で高能率の圧縮方式であるＭＰＥＧストリームであるがゆえの制約が存在し、放送素材にＭＰＥＧを広く活用することができない問題があった。
【００１０】
ＭＰＥＧの圧縮技術としてのいくつかの特徴を述べると、第１に、ＭＰＥＧでは、ＧＯＰ(Group Of Picture)単位のフレーム相関を用いてコーディングを行なっている。第２に、ＭＰＥＧで符号化した結果の各ピクチャが可変長のビット長を持つ。第３に、ＭＰＥＧ２では、伝送先のＩＲＤが持つバッファの条件を満足するように、ビットレートコントロール（ＶＢＶバッファの処理）を行なっている。第４に、ＭＰＥＧ２エンコードが最終的に伝送を目的とする場合、伝送路の容量にあわせてビットレートコントロールが行われている。
【００１１】
上述したＭＰＥＧの特徴によって、ＭＰＥＧビットストリームを受け取って編集を行う時には、問題が発生する。すなわち、フレーム単位に編集を行なう場合には、ＭＰＥＧストリームをＭＰＥＧ復号で一度ベースバンドに戻してから、編集を行なう必要がある。ベースバンドで編集してから、再度符号化を行なってＭＰＥＧストリームを得る。従って、スイッチングを含め編集作業のたびに、復号、符号化を繰り返すことになる。通常、ベースバンド−ＭＰＥＧストリーム間の復号、符号化チェインは、大きな画質劣化を伴う。また、符号化ビットストリームの任意の位置でスイッチングを行なう場合、それがたとえ符号化単位の切れ目、具体的にはＧＯＰ間の相関を利用しないクローズドＧＯＰ構造であっても、バッファコントロールの連続性が途切れる。それによって、ＶＢＶバッファ制約を満たせないことになり、その結果、アンダーフロー、オーバーフローによって復号後の映像にフリーズや画像破裂が生じる。
【００１２】
これら問題点があるために、ＭＰＥＧストリームによる編集は、事実上不可能であると考えられていた。したがって、送出する放送形態がＭＰＥＧによる圧縮多チャンネル放送であっても、ベースバンドの素材を編集した後に、放送最終段でＭＰＥＧに符号化する手段がとられていた。また、オリジナルの素材がＭＰＥＧストリームである場合には、ＭＰＥＧストリームを復号をした後のベースバンド信号を従来のベースバンド編集器で編集を行っていた。そのため、編集処理後の素材劣化がはなはだしい問題があった。さらに、ゲイン調整などの特殊効果、放送局のロゴなどの挿入だけをとってもＭＰＥＧストリームが利用できない問題があった。
【００１３】
このような問題点について、放送局内の編集システムのいくつかの例に基づいてより具体的に説明する。図１６は、ＭＰＥＧストリームアーカイバを持つ、マスターサーバと、編集スタジオのインターフェースを示し、局内伝送は、ベースバンドである。図１６において、１０１は、局内のマスターアーカイバ／サーバを示している。アーカイバ／サーバ１０１は、ノンリニアアーカイバで、容量を削減するために、ＭＰＥＧ圧縮ストリームによる素材を蓄積部に蓄積する。アーカイバとサーバは、共に映像素材を蓄積するものであり、アーカイバが蓄積専用の装置であるのに対して、サーバは、外部からの要求に従って映像素材を出力する装置である。この発明は、映像蓄積部としての機能を共通に有するので、アーカイバとサーバのいずれに対しても適用でき、その意味でアーカイバ／サーバの用語を使用している。
【００１４】
アーカイバ／サーバ１０１には、蓄積部からのＭＰＥＧストリームを復号するＭＰＥＧデコーダが設けられている。ＭＰＥＧデコーダにより形成されたベースバンドのビデオデータＳ１およびＳ２が編集スタジオ１０２に入力される。局内伝送路の伝送プロトコルは、ベースバンドである。編集スタジオ１０２では、ビデオデータＳ１およびＳ２を接続するような編集（スプライス編集、ＡＢロール等）が行われ、編集処理後のビデオデータＳ３（ベースバンド信号）がアーカイバ／サーバ１０３に入力される。アーカイバ／サーバ１０３には、ＭＰＥＧエンコーダが設けられており、編集結果がＭＰＥＧストリームとして、蓄積部に保管される。
【００１５】
図１７は、編集スタジオ１０２の一例の構成を示す。ベースバンドのビデオデータは、データ容量が大きい（ビットレートが高い）ために、記録媒体としてテープ状媒体が使われる。すなわち、ビデオデータＳ１がリニアストレージ１０４ａに記録され、ビデオデータＳ２がリニアストレージ１０４ｂに記録される。そして、これらのリニアストレージ１０４ａおよび１０４ｂをプレーヤとし、ビデオデータＳａおよびＳｂがエディタおよびスイッチャ１０５に供給され、エディタおよびスイッチャ１０５からの編集結果のビデオデータＳｃがレコーダとしてのリニアストレージ１０４ｃに記録される。リニアストレージ１０４ｃから編集後のビデオデータＳ３が出力される。
【００１６】
編集スタジオ１０２は、図１８に示すように、ノンリニア記録媒体（ハードディスク、光ディスク等）を使用するノンリニアストレージ１０６ａ、１０６ｂ、１０６ｃで構成することも可能である。しかしながら、ベースバンド信号をノンリニア記録媒体で扱うには容量が大きく高価であり、編集スタジオ単位に置くようにした図１８に示す構成は、現実的ではない。また、図１６に示す編集システムは、編集のたびに復号、符号化チェインが発生し、それによって、素材の画質劣化が発生し、また、この劣化の累積を招く。
【００１７】
図１９は、局内の伝送路の伝送プロトコルをＭＰＥＧストリームにした場合のマスターサーバと編集スタジオのインターフェースを示す。アーカイバ／サーバ１３１および１３３には、ＭＰＥＧストリームの素材が蓄積される。アーカイバ／サーバ１３１は、ＭＰＥＧストリームを編集スタジオ１３２に対して出力し、アーカイバ／サーバ１３１には、編集スタジオ１３２からＭＰＥＧストリームが入力されるので、これらは、ＭＰＥＧデコーダ、ＭＰＥＧエンコーダを備えない。ＭＰＥＧストリームで、映像素材を伝送することによって、２以上の映像素材をストリームＴＳ１、ＴＳ２として多重化することができる。このような多チャンネル化によって、伝送路を有効活用できる。なお、ストリームＴＳ１、ＴＳ２は、エレメンタリストリームおよびトランスポートストリームの何れであっても良い。
【００１８】
図１９のシステムにおける編集スタジオ１３２の一例および他の例を図２０および図２１にそれぞれ示す。図２０の例は、ストリームＴＳ１からストリームＴＳ１ａおよびＴＳ１ｂを分離し、ストリームＴＳ１ａおよびＴＳ１ｂをＭＰＥＧデコーダ１３４ａおよび１３４ｂによって、それぞれベースバンド信号に変換する。これらのベースバンド信号をリニアストレージ１３５ａおよび１３５ｂにそれぞれ記録する。リニアストレージ１３５ａ、１３５ｂをプレーヤとして得られたベースバンドのビデオデータＳａおよびＳｂがベースバンドエディタおよびスイッチャ１３６に入力される。ベースバンドエディタおよびスイッチャ１３６からの編集結果のビデオデータＳｃがレコーダとしてのリニアストレージ１３５ｃにより記録される。リニアストレージ１３５ｃからのビデオデータがＭＰＥＧエンコーダ１３４ｃによってＭＰＥＧストリームＴＳ２として出力される。
【００１９】
図２１に示す編集スタジオ１３２の他の例は、リニアストレージ１３５ａ、１３５ｂの代わりにノンリニアストレージ１３７ａ、１３７ｂ、１３７ｃを使用したものである。図２１に示すシステムも、局内伝送路を多チャンネル化が容易なＭＰＥＧストリームで構成できる。しかしながら、図２０および図２１の構成は、編集のたびに復号、符号化チェインが発生し、毎回無視し得ない、素材の画質劣化が発生し、また、この画質劣化の累積を招く。また、ベースバンド信号をノンリニア記録媒体で扱うには容量が大きく高価であり、編集スタジオ単位に置くようにした図２１に示す構成は、現実的ではない。
【００２０】
このような復号−符号化チェインにより生じる素材劣化を避けたい場合、当然のことながらベースバンド素材で素材アーカイブを行なうことになる。この場合には、映像素材のデータ量が多くなり、ノンリニア記録媒体に映像素材を蓄積することが難しくなる。
【００２１】
上述のように、素材劣化の問題と記録容量の問題を解決する手段として、ストリーム上で編集可能なことが望ましい。しかしながら、ストリームにおける編集を行うには、前述したように、ＭＰＥＧストリームの特徴に基づく問題が生じる。この問題を解決するために、いくつかの方法が考えられる。まず、オーバーフローに対応するためには、ピクチャ単位のビット量をカウントしてＶＢＶバッファをシミュレートしてダミーデータを挿入することで解決する。しかしアンダーフローの場合は、補正のしようが無くフリーズするしかない。
【００２２】
一方、符号化時にあらかじめスイッチング点を決めておいて、その場所が規定のバッファ占有量になるようにビットレートコントロールするという方法が在り、この方法を使えば、ＶＢＶバッファの問題は解決する。しかし、あらかじめ符号化前に決められたスイッチング点でのみ解決可能であって、適用範囲が限られる。
【００２３】
また、復号−符号化チェインによる画質劣化の問題を解決するために、ストリームを一度復号して其の際に取り出した符号化、復号に必要な情報（コーデック情報と称する）をベースバンドに多重化して、再符号化時に、コーデック情報を再利用し画像の再構築の精度を高めるトランスコーディングが提案されている。コーデック情報には、動きベクトルの情報、量子化ステップ、ピクチャタイプ等の情報が含まれる。
【００２４】
【発明が解決しようとする課題】
コーデック情報は、少なくない情報量である。従って、ベースバンド信号には、コーディック情報を多重するのに十分な補助的な領域がなく、多重できない残りコーディック情報は、有効画像領域へ多重化するか、別回線で伝送せざるをえない。
【００２５】
図２２は、編集のたびに復号−符号化チェインが発生し、毎回無視し得ない、素材の画質劣化の累積を招くことを解決するために、トランスコーディングを使って編集スタジオを構成した例である。図２２では、コーデック情報を素材信号線と別径路で送る構成である。ストリームＴＳ１ａおよびＴＳ１ｂをＭＰＥＧデコーダ１３４ａおよび１３４ｂによって、それぞれベースバンド信号に変換し、ベースバンドのビデオデータＳａおよびＳｂがベースバンドエディタおよびスイッチャ１３６に入力され、ベースバンドエディタおよびスイッチャ１３６からの編集結果のビデオデータＳｃがＭＰＥＧエンコーダ１３４ｃによってＭＰＥＧストリームＴＳ２として再符号化される。
【００２６】
さらに、ＭＰＥＧデコーダ１３４ａ、１３４ｂで利用される、コーデック情報をストリームまたはデコーダ１３４ａ、１３４ｂから検出する情報検出器１４１ａ、１４１ｂと、コーデック情報を伝送する信号線１４２ａ、１４２ｂ、１４２ｃと、コーデック情報をエンコーダ１３４ｃで利用するための情報見積器１４４と、コーデック情報とベースバンドエディタおよびスイッチャ１３６の編集情報を有機的に結合するコーデック情報アダプタ１４３が設けられる。
【００２７】
このように、別回線でコーディック情報を伝送する場合、エディタおよびスイッチャ１３６が編集を行うと共に、他に別系統で送られたコーディック情報を扱うために、コーデック情報アダプタ１４３のような特別の構成を付加する必要がある。つまり、ベースバンド信号を扱う既存の編集スタジオを利用できない問題が生じる。
【００２８】
図２３は、この問題を解決するために、コーデック情報をベースバンドの有効信号エリアに多重するようにした編集スタジオの構成を示す。コーデック情報を入力ストリームＴＳ１ａおよびＴＳ１ｂまたはまたはデコーダ１３４ａ、１３４ｂからそれぞれ検出する情報検出器１４１ａおよび１４１ｂが設けられる。検出されたコーデック情報がインポーザ１４５ａおよび１４５ｂにおいて、ベースバンドのビデオデータＳａおよびＳｂに対してそれぞれ多重化される。コーデック情報が多重化されたベースバンド信号がベースバンドエディタおよびスイッチャ１３６に入力される。多重化の方法の一例は、ビデオデータの各サンプルの最下位ビットとして、コーデック情報をランダムに重畳するものを採用できる。
【００２９】
ベースバンドエディタおよびスイッチャ１３６から出力されるビデオデータには、コーデック情報が多重化されている。このビデオデータがセパレータ１４６に供給され、コーデック情報が分離される。セパレータ１４６からのビデオデータＳｃがＭＰＥＧエンコーダ１３４ｃにおいて再符号化される。再符号化の時に、セパレータ１４６からのコーデック情報が利用される。
【００３０】
図２４は、図２３の構成に対して、ストリームＴＳ１を一旦記録し、再生したストリームをＭＰＥＧデコーダ１３４ａおよび１３４ｂに対して出力するノンリニアストレージ１４７と、ＭＰＥＧエンコーダ１３４ｃから再符号化されたストリームを記録するノンリニアストレージ１４８とを付加したものである。
【００３１】
図２３または図２４に示すように、コーデック情報をベースバンド信号に多重化して伝送する構成は、ベースバンドエディタおよびスイッチャ１３６がコーデック情報アダプタのような特別な装置を持つ必要がない。しかしながら、有効映像信号区間にコーデック情報を挿入するという手法は、ランダムデータに変換して多重を行なったとしても、映像に歪みをあたえ、Ｓ／Ｎを損なう。
【００３２】
図２３または図２４の構成は、ベースバンドの信号にコーデック情報を多重化する場合、編集スタジオ内に多重化のための構成を設置するものである。一方、アーカイバ／サーバ内にコーデック情報の多重化、分離の構成を設けるようにした構成例を図２５に示す。アーカイバ／サーバ１５１内に、蓄積部１５４からのＭＰＥＧストリームを復号するＭＰＥＧデコーダ１５５ａ、１５５ｂと、ストリームからコーデック情報を検出する情報検出器１５６ａ、１５６ｂと、ベースバンドのビデオデータに対してコーデック情報を多重化するインポーザ１５７ａ、１５７ｂが設置される。
【００３３】
コーデック情報が多重化されたベースバンドのビデオデータＳ１１およびＳ１２が編集スタジオ１５２に入力される。編集スタジオ１５２は、ベースバンド信号を扱うもので、前述した図２４に示す構成と同様に、リニアストレージとベースバンドエディタおよびスイッチャから構成される。
【００３４】
編集結果のビデオデータを蓄えるアーカイバ／サーバ１５３には、編集スタジオ１５２からのコーデック情報が多重化されたベースバンドのビデオデータＳ１３が入力される。セパレータ１５８によってコーデック情報が分離され、ＭＰＥＧエンコーダ１５９では、このコーデック情報を使用して再符号化を行う。ＭＰＥＧエンコーダ１５９からのストリームが蓄積部１６０に蓄積される。
【００３５】
しかしながら、図２５の構成は、実際には、正しく機能せず、誤接続となる。すなわち、編集スタジオ１５２では、ベースバンド用途のＶＴＲ（Video Tape Recorder）等の既に普及している記録媒体にビデオデータを記録するようになされる。当然のことながら、既存のＶＴＲは、コーデック情報を取り出してそれを保存し次段に伝える機能をサポートしていない。さらに、現在普及している、殆どのディジタルＶＴＲは、ＭＰＥＧと異なる圧縮方式を採用するので、有効信号領域に多重した情報がビデオデータと同様に、圧縮・伸長の処理を受ける。コーディック情報も同様の処理を受け、それによって歪みを受けることになるため、コーデック情報として利用できない。例えばビデオデータの最下位ビットにコーデック情報を重畳しても、最下位ビットがＶＴＲの圧縮・伸長の処理によって変化する。
【００３６】
一方、図２３または図２４の構成は、ストリームを伝送する構成とし、編集スタジオ内にＭＰＥＧデコーダ、再符号化用のエンコーダ等の付加的構成要素を設置して、コーデック情報が多重化されたベースバンド信号と既存のＶＴＲとのインターフェースの可能性を排除している。しかしながら、上述したように、有効映像信号区間にコーデック情報を挿入することによって、映像に歪みが与えられ、Ｓ／Ｎを損なう問題を解決することができない。
【００３７】
従って、この発明の一つの目的は、蓄積媒体、伝送媒体を有効に活用することができ、また、画質の劣化を抑えることができ、さらに、既存のベースバンド編集器を使うことが可能な編集装置および方法、再符号化装置および方法を提供することにある。
【００３８】
この発明の他の目的は、編集部から編集位置情報をもらう必要がなく、編集位置を検出することができる編集装置および方法、再符号化装置および方法を提供することにある。
【００３９】
この発明のさらに他の目的は、ピクチャよりきめ細かい単位で、再符号化のためのコーデック情報を利用することができ、再符号化による画質の劣化が防止された編集装置および方法、再符号化装置および方法を提供することにある。
【００４０】
【課題を解決するための手段】
この発明は、第１の符号化ビットストリームを復号し、第１のベースバンド信号を生成１る第１の復号手段と、
第２の符号化ビットストリームを復号し、第２のベースバンド信号を生成する第２の復号手段と、
第１のベースバンド信号および第２のベースバンド信号と、第１のベースバンド信号および第２のベースバンド信号を編集することによって得られる第３のベースバンド信号とを位相を合わせて比較することによって、第１のベースバンド信号と第２のベースバンド信号とが接続された編集位置を検出する検出手段と、
第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化手段と
検出手段により検出された編集位置に基づいて、第１の符号化ビットストリームまたは第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、第２の符号化ビットストリームまたは第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、再符号化手段を制御する制御手段と、
を有する編集装置である。
【００４１】
この発明は、第１の符号化ビットストリームを復号し、第１のベースバンド信号を生成する第１の復号手段と、
第２の符号化ビットストリームを復号し、第２のベースバンド信号を生成する第２の復号手段と、
第１のベースバンド信号と第１のベースバンド信号および第２のベースバンド信号を編集することによって得られる第３のベースバンド信号とを位相を合わせて比較することによって、第１のベースバンド信号と第２のベースバンド信号とが接続された編集位置を検出する検出手段と、
第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化手段と
検出手段により検出された編集位置に基づいて、第１の符号化ビットストリームまたは第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、第２の符号化ビットストリームまたは第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、再符号化手段を制御する制御手段と、
を有する編集装置である。
【００４２】
この発明は、第１の符号化ビットストリームを復号し、第１のベースバンド信号を生成する第１の復号手段と、
第２の符号化ビットストリームを復号し、第２のベースバンド信号を生成する第２の復号手段と、
第２のベースバンド信号と第１のベースバンド信号および第２のベースバンド信号を編集することによって得られる第３のベースバンド信号とを位相を合わせて比較することによって、第１のベースバンド信号と第２のベースバンド信号とが接続された編集位置を検出する検出手段と、
第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化手段と
検出手段により検出された編集位置に基づいて、第１の符号化ビットストリームまたは第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、第２の符号化ビットストリームまたは第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、再符号化手段を制御する制御手段と、
を有する編集装置である。
【００４３】
この発明は、第１の符号化ビットストリームを復号することにより得られる第１のベースバンド信号および第２の符号化ビットストリームを復号することにより得られる第２のベースバンド信号と、第１のベースバンド信号と第２のベースバンド信号とを編集することによって得られる第３のベースバンド信号と、を位相を合わせて比較することによって、第１のベースバンド信号と第２のベースバンド信号とが接続された編集位置を検出する検出手段と、
第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化手段と
検出手段により検出された編集位置に基づいて、第１の符号化ビットストリームまたは第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、第２の符号化ビットストリームまたは第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、再符号化手段を制御する制御手段と、
を有する再符号化装置である。
【００４４】
この発明は、第１の符号化ビットストリームを復号することにより得られる第１のベースバンド信号と、第１のベースバンド信号と第２の符号化ビットストリームを復号することにより得られる第２のベースバンド信号とを編集することによって得られる第３のベースバンド信号と、を位相を合わせて比較することによって、第１のベースバンド信号と第２のベースバンド信号とが接続された編集位置を検出する検出手段と、
第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化手段と
検出手段により検出された編集位置に基づいて、第１の符号化ビットストリームまたは第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、第２の符号化ビットストリームまたは第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、再符号化手段を制御する制御手段と、
を有する再符号化装置である。
【００４５】
この発明は、第２の符号化ビットストリームを復号することにより得られる第２のベースバンド信号と、第１の符号化ビットストリームを復号することにより得られる第１のベースバンド信号と第２のベースバンド信号とを編集することによって得られる第３のベースバンド信号と、を位相を合わせて比較することによって、第１のベースバンド信号と第２のベースバンド信号とが接続された編集位置を検出する検出手段と、
第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化手段と
検出手段により検出された編集位置に基づいて、第１の符号化ビットストリームまたは第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、第２の符号化ビットストリームまたは第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、再符号化手段を制御する制御手段と、
を有する再符号化装置である。
【００４６】
この発明では、編集制御装置の入出力信号形態を符号化ビットストリームとしているので、複数の映像素材の符号化データを多重化することが容易であり、伝送媒体を有効に利用できる。また、編集制御装置は、編集器とベースバンド信号でインターフェースし、また、ベースバンド信号には、コーデック情報が多重化されない。しかも、トランスコーディングのための利用されるコーデック情報を別の信号線で伝送する必要がなく、信号線の増加を防止できると共に、編集器がコーデック情報を扱うための装置を備える必要がない。これらの点から、編集器として既存のベースバンド編集装置を手を加えることなく使用できる。
【００４７】
また、編集器に対して出力した第１および第２のベースバンド信号と、編集器からの戻りの第３のベースバンド信号とを位相を合わせた状態で比較することによって、編集位置を検出することができる。従って、編集器との間で、編集位置情報を伝送する線を省略でき、また、編集位置情報をストリームの時間軸に翻訳する必要がない。
【００４８】
さらに、再符号化のためのコーデック情報の利用の可否をピクチャ単位のみならず、ブロック単位で判別できる。従って、編集点のピクチャが二つのオリジナル素材が混在するものであっても、再符号化による画質の劣化を抑えることができる。
【００４９】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図１は、この発明による編集システムの構成を示す。アーカイバ／サーバ１および３は、符号化ビットストリーム例えばＭＰＥＧストリームの映像素材をそれぞれ蓄積する蓄積部４および５を備える。ＭＰＥＧで圧縮されているので、蓄積部４および５としてノンリニア記録媒体が使用できる。アーカイバとサーバは、共に映像素材を蓄積するものであり、アーカイバが蓄積専用の装置であるのに対して、サーバは、外部からの要求に従って映像素材を出力する装置である。この発明は、映像蓄積部としての機能を共通に有するので、アーカイバとサーバのいずれに対しても適用でき、その意味でアーカイバ／サーバの用語を使用している。
【００５０】
また、アーカイバ／サーバ１と編集スタジオ２とアーカイバ／サーバ３の間の伝送路は、符号化ビットストリーム例えばＭＰＥＧストリームを伝送するようになされる。それによって、複数のチャンネルの多重化が可能となり、伝送資源を有効に利用できる。すなわち、アーカイバ／サーバ１からのストリームＴＳ１には、二つ以上のオリジナルのビデオ／オーディオ素材が多重化される。ストリームＴＳ２は、編集結果のストリームであるが、必要に応じて、編集結果と共に、オリジナルの二つ以上のビデオ／オーディオ素材を多重化できる。なお、ストリームＴＳ１、ＴＳ２は、トランスポートストリームであるが、エレメンタリストリームまたはパケットタイズドエレメンタリストリームでも良い。
【００５１】
編集スタジオ２は、図２または図３に示す構成とされている。図２に示す例では、ストリームＴＳ１が入力され、ストリームＴＳ２が出力されるスプライサ／トランスコーダ２１と、ベースバンド信号のビデオデータＳａおよびＳｂが入力され、ビデオデータＳｃを出力するように、スプライサ／トランスコーダ２１とベースバンドのインターフェースを有するベースバンドエディタおよびスイッチャ２２とが設けられている。スプライサ／トランスコーダ２１が編集制御装置であり、ベースバンドエディタおよびスイッチャ２２が編集器である。
【００５２】
スプライサ／トランスコーダ２１は、基本的には、エディタおよびスイッチャ２２に対して出力されるベースバンド信号へ入力ストリームを変換する復号処理と、エディタおよびスイッチャ２２からの戻りのベースバンド信号を出力ストリームに変換する再符号化処理とをトランスコーディングにより行うトランスコーダである。但し、後述するように、編集点を含む所定の期間のみトランスコーディングを行い、入力ストリームとトランスコーディングの出力とをスイッチングして出力することも可能である。すなわち、スプライサの機能を持つこともある。従って、スプライサ／トランスコーダと呼ぶことにする。
【００５３】
図３に示す編集スタジオ２の他の例は、アーカイバ／サーバ１からのストリームＴＳ１を記録し、スプライサ／トランスコーダ２１に対してストリームＴＳ１１を供給するノンリニアストレージ２３ａと、スプライサ／トランスコーダ２１からのストリームＴＳ１２を記録し、ストリームＴＳ２を出力するノンリニアストレージ２３ｂを図２の構成に対して付加したものである。
【００５４】
図２および図３から分かるように、スプライサ／トランスコーダ２１の入出力信号形態がＭＰＥＧストリームであり、多チャンネル化が容易であり、伝送資源を有効利用できる。また、ベースバンドエディタおよびスイッチャ２２とは、ベースバンド信号でインターフェースを行なうようになされる。
【００５５】
また、スプライサ／トランスコーダ２１は、トランスコーディングを行うものであり、再符号化に必要とされるコーデック情報をエディタおよびスイッチャ２２に対して出力する必要がない。従って、ベースバンドエディタおよびスイッチャ２２として、既存のベースバンド編集装置をそのまま利用して、編集システムの構築が可能となる。
【００５６】
さらに、スプライサおよびトランスコーダ２１は、入力されるストリームＳＴ１に含まれるＭＰＥＧピクチャ（コーデック情報を含む）と、ベースバンド入出力のフレーム（またはフィールド）との関連付けを行なう。スプライサ／トランスコーダ２１において規定されたＭＰＥＧピクチャとタイムコードとの対応関係に基づくタイムコートは、図では省略されているが、ベースバンドエディタおよびスイッチャ２２との間に設けられた双方向の信号線を介して、エディタおよびスイッチャ２２が要求する時には、スプライサ／トランスコーダ２１からエディタおよびスイッチャ２２に対して渡される。すなわち、スプライサ／トランスコーダ２１で使用されるＭＰＥＧピクチャの時刻管理情報と、エディタおよびスイッチャ２２の編集処理に使用される時刻管理情報（タイムコード）とは、１対１に対応するようになされる。
【００５７】
なお、ベースバンドエディタおよびスイッチャ２２から、編集後のベースバンド信号Ｓｃが戻ってくる時刻は、出力時の時刻にベースバンドエディタおよびスイッチャ２２のシステム遅延を加えたものである。再符号化のためのコーデック情報と戻ってきたベースバンド信号Ｓｃのフレームとの対応づけは、スプライサ／トランスコーダ２１からのベースバンド信号の出力時刻を記録しておけば、簡単に行うことができる。
【００５８】
さらに、スプライサ／トランスコーダ２１は、ベースバンドエディタおよびスイッチャ２２から、または、ベースバンドエディタおよびスイッチャ２２をコントロールしているホストＣＰＵあるいはコントロールマシンから、従来から活用されているタイムコードによるキュー情報等の編集位置情報を受け取り、ＭＰＥＧピクチャとの対応づけを行なう。すなわち、スプライサ／トランスコーダ２１では、キュー情報をもとに編集フレームの検出を行ない、再符号化時に利用するコーデック情報を選択する。コーデック情報は、動きベクトル、ピクチャタイプ、量子化ステップサイズ、量子化スケールなどの情報である。
【００５９】
タイムコードとＭＰＥＧピクチャとの対応づけのために、例えば入力ストリーム中に、任意の素材のＰＴＳ（Presentation Time Stamp；再生出力の時刻管理情報）とタイムコードと関連付けを行なうための、ＰＴＳとタイムコード間の関係を示す対照テーブルを挿入する。このような対照テーブルを伝送する方法は、種々のものが可能である。例えば、セクション形式の独立パケットでテーブルを伝送する。また、ストリームシンタックス上のエクステンションなどのユーザエリアにテーブルを載せることができる。
【００６０】
さらに、ＭＰＥＧピクチャと対応付けられたタイムコード自身をストリーム中に挿入して伝送しても良い。その場合には、対照テーブルが不要である。また、伝送する時間情報は、タイムコードに限らない。編集期間中、十分な時間指定が可能な範囲でタイムコードと１対１に対応するピクチャ用のインデックスを伝送しても良い。さらに、ＭＰＥＧストリーム上のシンタックス（符号化データ列の規則）であるＰＴＳ、ピクチャタイプ、ＧＯＰ、プルダウンやフィールドフリップに伴うリピートファーストフィールドなどの情報を使うことによってタイムコードによるキュー情報と対応づけを行なうことが可能である。
【００６１】
図４は、この発明を放送システムに対して適用した場合の概略的構成を示す。３１で示す本局と、複数の地方局３２ａ、３２ｂ、３２ｃ、３２ｄ、・・・が伝送ネットワーク３３を介して結合されている。伝送ネットワークを介してＭＰＥＧビットストリームが伝送される。ＭＰＥＧビットストリームにより多チャンネルを多重化して伝送できる。本局３１には、通信または放送衛星３４からの電波を受信するアンテナ３５が設置されている。アンテナ３５で受信された番組素材、マイクロ波回線３６を介して現場から送られてきたライブ素材、局内のアーカイバ／サーバ４１からの番組素材およびＣＭ素材がスプライサ／トランスコーダ４２にＭＰＥＧストリームの形態でもって入力される。
【００６２】
スプライサ／トランスコーダ４２は、上述したように、ベースバンドエディタおよびスイッチャ４３との間にベースバンドインターフェースを有する。スプライサ／トランスコーダ４２は、入力される番組素材をスイッチングして、放送番組（ＭＰＥＧビットストリーム）を作成する。この放送番組が本局３１からネットワーク３３を介して地方局３２ａ、３２ｂ、・・・に対して配信される。
【００６３】
地方局３２ａは、本局３１から受け取ったＭＰＥＧストリームと、ＣＭ（コマーシャル）サーバ４６ａからのＣＭ素材とがスプライサ／トランスコーダ４４ａに対して入力される。スプライサ／トランスコーダ４４ａとＣＭ挿入スケジューラ４５ａとの間は、ベースバンドインターフェースにより結合されている。ＣＭサーバ４６ａには、地方局３２ａでＣＭ素材が蓄積されている。ＣＭ挿入スケジューラ４５ａは、本局３１から送られてきたプログラムビットストリーム中のＣＭを地方局３２ａに特有のローカルＣＭに差し替える。トランスコーディングによって、殆ど劣化なくＣＭを差し替えることができる。他の地方局３２ｂ、３２ｃ、・・・においても同様に、ＣＭを差し替えることができる。
【００６４】
ＣＭの差し替えに限らず、本局３１、地方局３２ａ、３２ｂ、・・・において、放送局のロゴをプログラムビットストリーム中に挿入する作業を行うことができる。また、地上波放送に限らず、ＣＡＴＶにおけるケーブルオペレータとヘッドエンド局との間の関係に対しても、この発明を同様に適用できる。
【００６５】
スプライサ／トランスコーダ２１の一例および他の例を図５および図７にそれぞれ示す。図５に示す例は、入力されるＭＰＥＧビットストリームの全てをトランスコーディングする。図７に示す例は、入力されるＭＰＥＧビットストリームを部分的にトランスコーディングした後、ストリームスイッチング（スプライス）を行うものである。
【００６６】
図５のスプライサ／トランスコーダの一例について説明する。アーカイバ／サーバの出力、衛星からの受信信号、マイクロ波回線を介して到来した信号等のＭＰＥＧビットストリームＴＳ１が入力される。このストリームＴＳ１は、複数プログラム（番組素材）が多重化されたストリームである。少なくとも２以上のプログラムが多重化されている。トランスポートストリームＴＳに限らず、時間多重されたエレメンタリーストリームＥＳでも良い。但し、ＥＳの場合は、識別用のタグか、または現在入力しているストリームがどのストリームかを識別するための入力情報が必要とされる。
【００６７】
５１は、編集対象の二つのプログラムのパケットを引き出すためのフィルタである。トランスポートストリームＴＳであれば、ＰＩＤ（パケットＩＤ）によって、目的のプログラムを抽出できる。エレメンタリーストリームＥＳの場合では、上述したように、識別タグ等の情報が必要である。
【００６８】
フィルタ５１によって抽出した二つのストリームＡおよびＢをＭＰＥＧデコーダ５２ａ、５２ｂによってそれぞれ復号する。ＭＰＥＧデコーダ５２ａによって、プログラムＡのベースバンドビデオ／オーディオデータＳａが得られ、ＭＰＥＧデコーダ５２ｂによって、プログラムＢのベースバンドビデオ／オーディオデータＳｂが得られる。これらのベースバンドデータＳａおよびＳｂが外部のエディタおよびスイッチャ２２に出力される。
【００６９】
ベースバンドエディタおよびスイッチャ２２からは、編集された結果の戻りのベースバンドビデオ／オーディオデータＳｃが入力される。このベースバンドデータＳｃがＭＰＥＧリエンコーダ５３に供給される。リエンコーダ５３は、ベースバンドデータＳｃのビデオフレームに対応したＭＰＥＧ再符号化用のコーデック情報を径路５４を介して情報バッファ５５から受け取る。この再符号化用のコーデック情報に基づいて、要求の目標ビット量にデータＳｃをＭＰＥＧストリームＴＳ２へ再符号化する。そして、リエンコーダ５３からは、入力ストリームＡ、ストリームＢのＡＢロール編集の結果のストリームＴＳ２が出力される。再符号化用のコーデック情報とは、動きベクトル、ピクチャタイプ、量子化ステップサイズ、量子化レベルなどである。トランスコーディングによって、復号−符号化チェインによる画質の劣化が抑えられる。
【００７０】
以上が本線系で、エディタおよびスイッチャ２２との間に存在する編集ストリーム用のインターフェースは、ベースバンドデータＳａ、Ｓｂ、Ｓｃのみであり、ベースバンドのデータに対してコーデック情報を重畳する必要がない。なお、図５および図７においても、エディタおよびスイッチャ２２からの要求に応じてタイムコードをスプライサ／トランスコーダ２１へ伝送する伝送路は、省略されている。
【００７１】
情報バッファ５５には、ＭＰＥＧデコーダ５２ａおよび５２ｂのそれぞれで復号に使用されたコーデック情報が入力される。情報バッファ５５には、ライトコントローラ５６からのライトアドレスＷＡＤおよびライトイネーブルＷＥが供給される。また、リードコントローラ５７からのリードアドレスＲＡＤが情報バッファ５５に供給される。情報バッファ５５からリエンコーダ５３に対しては、ストリームＳｃの編集点と同期して、再符号化用のコーデック情報が供給されることが必要である。例えばビデオデータＳａに対して編集点（イン点）でビデオデータＳｂが接続されたビデオデータＳｃが戻ってくる時には、ビデオデータＳａの再符号化用のコーデック情報からビデオデータＳｂの再符号化用のコーデック情報への切替えがなされる。情報バッファ５５の容量は、エディタおよびスイッチャ２２のシステム遅延（数フレーム時間）に対応したもので良い。
【００７２】
スプライサ／トランスコーダ２１が出力したビデオデータＳａ、Ｓｂとベースバンドエディタおよびスイッチャ２２からの戻ってきたビデオデータＳｃとの間の位相は、管理テーブル６２によって管理される。このため、ライトコントローラ５６およびリードコントローラ５７が管理テーブル６２と接続され、管理テーブル６２が入力ストリームのピクチャカウント値と戻りのビデオデータＳｃのフレームカウント値を用いて、情報バッファ５５のライト／リードを制御する。フレームカウンタ５８がビデオデータＳｃのフレーム数をカウントし、カウント値をアドレスとして管理テーブル６２に読出し要求ＲＥＱを与える。管理テーブル６２は、リングバッファの構成とされ、入力情報をインクリメントするアドレスに順次書込み、読出し要求ＲＥＱに応じてリードポインタをインクリメントするようにされている。リードポインタが指し示すアドレスの再符号化情報が情報バッファ５５から読出され、経路５４を介してＭＰＥＧリエンコーダ５３に送られる。管理テーブル６２と関連して管理情報生成部６１が設けられる。管理情報生成部６１に対してキュー情報が入力される。管理情報生成部６１については後述する。
【００７３】
エディタおよびスイッチャ２２、またはコントロールマスターから、プログラムの編集のキュー情報がスプライサ／トランスコーダの管理情報生成部６１に供給される。キュー情報は、通常、タイムコードで指定された編集位置情報である。より具体的には、イン点／アウト点の情報がキュー情報に含まれる。キュー情報をもとに編集フレームの検出を行ない、ベースバンドデータＳｃと同期してコーデック情報を利用するように、コーデック情報が選択される。リードコントローラ５７により所定のコーデック情報が読出される時には、このコーデック情報を使用可能なことを示すイネーブル信号がリードコントローラ５７からリエンコーダ５３に供給される。
【００７４】
また、リエンコーダ５３は、ビット量見積器５９と接続され、ＶＢＶバッファの処理がなされる。すなわち、再符号化により得られたＭＰＥＧビットストリームＴＳ２を復号する側のバッファがオーバーフローまたはアンダーフローしないように、適切な符号化がなされる。この制御のために、管理テーブル６２の該当するインデックススロットに書込まれている、編集点付近の目標ビット量（ビット発生量の割り振り、重み付けの情報）がビット量見積器５３に供給される。再符号化によって、基本的に目標発生ビット量が満足される。通常の符号化の制御において行われることは、設定された目標ビット量に対して、リエンコーダ５３の発生ビット量が不足する時には、ダミーデータが付加される。また、発生ビット量が目標ビット量を超過する時、つまり、デコーダ側でアンダーフローが起きそうな場合、スキップドマクロブロックにするか、予測残差（予測画マクロブロックＭＢとの差分）を０にするなどの処理である。この処理でも対応できず、アンダーフローしてしまう時には、デコーダ側の処理方法に依存して再生画像に対する影響が生じる。通常は、バッファにデータが溜まるまでウエイトがかかり、その結果として再生画像がフリーズする。
【００７５】
図６は、管理情報生成部６１のより詳細な構成を示す。編集位置情報としてのキュー情報は、インタープリータ７１に供給され、適宜翻訳される。インタープリータ７１から取り出された情報がマッピング器７２に供給される。マッピング器７２は、タイムコードで表現されたキュー情報を、フィルタ５１で抽出された入力ストリーム７３のタイムスタンプＰＴＳ（再生出力の時刻管理情報）のスケールにマッピングする。
【００７６】
入力ストリーム７３からピクチャカウンタ７４がピクチャヘッダを検出し、ピクチャの数を数える。ピクチャカウンタ７４で数えられたピクチャの数がピクチャ／フレームインデックス生成器７５に供給される。ピクチャ／フレームインデックス生成器７５は、ピクチャおよび情報の管理テーブル６２の整理のために、ピクチャに対応したインデックスを発生する。管理テーブル６２は、このインデックスでテーブルを整理し、フレームカウンタ５８からのビデオデータＳｃのフレームの数のカウント値をアドレスとして管理情報を出力する。
【００７７】
タイムスタンプリーダ７６は、入力ストリーム７３からタイムスタンプＰＴＳを読む。このタイムスタンプＰＴＳと、マッピング器７２の出力とがリエンコーディングストラテジープランナ７７に供給される。マッピング器７２の出力は、ビデオフレームに対する編集点を示すタイムコードがタイムスタンプのスケールに合わせマッピングした結果である。従って、リエンコーディングストラテジープランナ７７は、編集点と入力ストリーム７３のピクチャとの対応付けが行う。リエンコーディングストラテジープランナ７７の出力がインデックスが示す管理テーブル６２のアドレスに対して書き込まれる。
【００７８】
７８は、入力ストリーム７３の発生ビット量をカウントし、カウント結果をＶＢＶバッファシミュレータ７９に供給し、ＶＢＶバッファのシミュレーションを行なう。ＶＢＶバッファは、エンコーダが符号化時に想定しているデコーダ側のバッファの容量であり、ＶＢＶバッファのシミュレーションによって、デコーダ側のバッファのアンダーフローまたはオーバーフローを防止することができる。ＶＢＶバッファシミュレータ７９の結果がリエンコーディングストラテジープランナ７７に送られ、再符号化のための編集点付近のビット発生量の割り振り、重み付けを行ない、これも管理テーブル６２の該当するインデックススロットに書き込む。
【００７９】
図７は、スプライサ／トランスコーダ２１の他の例である。他の例は、実際に編集によって影響を受ける部分を含む必要最小限の期間でのみ、トランスコーディングを行い、トランスコーディング後のストリームと、入力ストリームとのスイッチングを行うものである。他の例は、トランスコーディングによっても避けることができない画質劣化を最小限に抑えることができる。
【００８０】
図５に示し、上述したスプライサ／トランスコーダ２１の一例と相違する点は、フィルタ５１からの入力ストリーム７３をピクチャバッファ６３に蓄え、スイッチング回路６６によって、リエンコーダ５３からのストリームとピクチャバッファ６３からのストリームとを切り替えることである。
【００８１】
ピクチャバッファ６３のライトを制御するためのライトコントローラ６４およびそのリードを制御するためのリードコントローラ６５が設けられている。ライトコントローラ６４およびリードコントローラ６５は、管理テーブル６２により制御される。上述したコーデック情報を情報バッファ５５に書込み、また、情報バッファ５５から再符号化に利用するコーデック情報を読出すための制御と同様の制御がピクチャバッファ６３に対しても適用される。
【００８２】
例えばビデオデータＳａからＳｂに切り替わるビデオデータＳｃの場合には、スイッチング回路６６は、編集点の前後のトランスコーディングが施される期間より前までは、ピクチャバッファ６３からのデータＳａに対応するストリームを選択し、この期間中は、リエンコーダ５３からのストリームを選択し、期間の後では、ピクチャバッファ６３からのデータＳｂに対応するストリームを選択する。スイッチング回路６６の選択動作は、リードコントローラ６５からの制御信号６７により制御される。ピクチャバッファ６３の容量は、エディタおよびスイッチャ２２のシステム遅延（数フレーム時間）＋符号化遅延（数ピクチャ）に相当するもので良く、ピクチャバッファ６３が回路構成上負担にならない。
【００８３】
次に、この発明の他の実施形態について説明する。編集システムの概要は、上述した一実施形態と同様の構成（図１、図２および図３参照）である。また、一実施形態と同様に放送システムに対しても適用できる（図４参照）。上述したこの発明の一実施形態は、オリジナル素材のストリームを復号し、その時のコーデック情報を保存し、編集器に対しては、復号した結果のベースバンド信号のみを伝送し、編集器は、ベースバンド信号の編集を行い、編集結果のベースバンド信号と保存していたコーデック情報との時間（位相）関係をキュー情報に基づいて合わせ、編集結果のベースバンド信号を再符号化し、ストリームとして出力する構成である。このような一実施形態によれば、ストリーム伝送によって、蓄積手段の記憶媒体の容量を節減できると共に、伝送媒体を有効に利用でき、また、トランスコーディングによって画質の劣化を最小限に抑えることができ、さらに、編集器として既存のベースバンド編集器を殆ど手を加えずに活用することができる。
【００８４】
上述した一実施形態では、ベースバンド信号を扱う既存の編集器は、タイムコードによって編集位置を表すので、編集位置情報をストリーム上にマッピングするするために、編集位置情報を翻訳する必要があった。また、編集位置情報は、フレームまたはフィールド単位の編集位置の情報と、ワイプ等のスイッチャの機能を使うときには、そのデュレーションが含まれる程度であり、フレーム（ストリーム上ではピクチャ）内のスイッチングの遷移状態が分からなかった。そのため、再符号化に使用できるコーデック情報をフレーム内できめこまかく使い分けることができなかった。
【００８５】
この発明の他の実施形態は、これらの問題点を解決することができる。すなわち、他の実施形態は、編集位置情報を受け取らなくても、編集器に対して出力した第１および第２のベースバンド信号と、編集器からの戻りの第３のベースバンド信号とを位相を合わせた状態で比較することによって、編集位置を検出することができる。従って、編集器との間で、編集位置情報を伝送する線を省略することができ、また、編集位置情報をストリームの時間軸に翻訳する必要がない。
【００８６】
さらに、再符号化のためのコーデック情報の利用の可否をピクチャ単位のみならず、ブロック単位で判別できる。従って、編集点のピクチャが二つのオリジナル素材が混在するものであっても、再符号化による画質の劣化を抑えることができる。
【００８７】
従って、他の実施形態では、図１、図２および図３の構成において、スプライサ／トランスコーダ２１は、出力したベースバンド信号Ｓａ、Ｓｂと、戻りのベースバンド信号Ｓｃとを比較する。この比較の結果をもとに編集位置の検出を行い、再符号化時に利用するコーデック情報を選択する。編集位置の情報として、フレーム（ピクチャ）単位の編集位置と、ピクチャ内のより細かな単位の編集状況が得られる。コーデック情報は、動きベクトル、ピクチャタイプ、量子化ステップサイズ、量子化スケールなどの情報である。編集位置の検出のために、オリジナル素材を蓄えておりピクチャバッファが必要とされる。トランスコーディングのために、コーデック情報を蓄えており情報バッファが必要とされる。これらのピクチャバッファおよび情報バッファは、エディタおよびスイッチャ２２で生じるシステム遅延に対応した時間（数フレーム程度）、ベースバンド信号およびコーデック情報を遅延させる程度の容量であり、それほど容量が大きいことは、必要とされない。
【００８８】
この発明の他の実施形態におけるスプライサ／トランスコーダ２１の一例を図８に示す。図８に示す例は、入力されるＭＰＥＧビットストリームの全てをトランスコーディングする。但し、入力されるＭＰＥＧビットストリームを部分的にトランスコーディングした後、ストリームスイッチング（スプライス）を行うようにしても良い。すなわち、編集点の前後を含む所定期間のみで、ベースバンド信号Ｓｃをトランスコーディングしたストリームを選択し、所定期間以外では、入力ストリームを選択するように、ストリームを選択するスイッチング手段が設けられる。部分的なトランスコーディングを行う例では、復号−符号化のチェインが一部であるため、トランスコーディングであっても避けることができない、復号−符号化チェインによる画質の劣化を最小限とすることができる。
【００８９】
図８を参照してスプライサ／トランスコーダの一例について説明する。アーカイバ／サーバの出力、衛星からの受信信号、マイクロ波回線を介して到来した信号等のＭＰＥＧビットストリームＴＳ１が入力される。このストリームＴＳ１は、複数プログラム（番組素材）が多重化されたストリームである。少なくとも２以上のプログラムが多重化されている。トランスポートストリームＴＳに限らず、時間多重されたエレメンタリーストリームＥＳでも良い。但し、ＥＳの場合は、識別用のタグか、または現在入力しているストリームがどのストリームかを識別するための入力情報が必要とされる。
【００９０】
２５１は、編集対象の二つのプログラム（オリジナル素材）ＡおよびＢのパケットを引き出すためのフィルタである。トランスポートストリームＴＳであれば、ＰＩＤ（パケットＩＤ）によって、目的のプログラムを抽出できる。エレメンタリーストリームＥＳの場合では、上述したように、識別タグ等の情報が必要である。フィルタ２５１の出力には、選択された二つのプログラムＡおよびＢが多重化されたストリーム２６８が得られる。
【００９１】
フィルタ２５１によって抽出した二つのプログラムＡおよびＢをＭＰＥＧデコーダ２５２ａ、２５２ｂによってそれぞれ復号する。ＭＰＥＧデコーダ２５２ａによって、プログラムＡのベースバンドビデオ／オーディオデータＳａが得られ、ＭＰＥＧデコーダ２５２ｂによって、プログラムＢのベースバンドビデオ／オーディオデータＳｂが得られる。これらのベースバンドデータＳａおよびＳｂが外部のエディタおよびスイッチャ２２２に出力される。これと共に、ベースバンドデータＳａおよびＳｂがピクチャバッファ２６３に記憶される。ピクチャバッファ２６３のライトを制御するためのライトコントローラ２６４およびそのリードを制御するためのリードコントローラ２６５が設けられている。ピクチャバッファ２６３には、ライトコントローラ２６４からのライトアドレスＷＡＤおよびライトイネーブルＷＥが供給される。また、リードコントローラ２６５からのリードアドレスＲＡＤがピクチャバッファ２６３に供給される。
【００９２】
情報バッファ２５５には、ＭＰＥＧデコーダ２５２ａおよび２５２ｂのそれぞれで復号に使用されたコーデック情報が入力される。情報バッファ２５５には、ライトコントローラ２５６からのライトアドレスＷＡＤおよびライトイネーブルＷＥが供給される。また、リードコントローラ２５７からのリードアドレスＲＡＤが情報バッファ２５５に供給される。情報バッファ２５５からリエンコーダ２５３に対しては、ストリームＳｃの編集点と同期して、再符号化用のコーデック情報が供給されることが必要である。例えばビデオデータＳａに対して編集点（イン点）でビデオデータＳｂが接続されたビデオデータＳｃが戻ってくる時には、ビデオデータＳａの再符号化用のコーデック情報からビデオデータＳｂの再符号化用のコーデック情報への切替えがなされる。
【００９３】
上述したように、情報バッファ２５５およびピクチャバッファ２６３の容量は、エディタおよびスイッチャ２２のシステム遅延（数フレーム時間）に対応したもので良く、情報バッファ２５５およびピクチャバッファ２６３が回路構成上負担にならない。
【００９４】
ベースバンドエディタおよびスイッチャ２２からは、編集された結果の戻りのベースバンドビデオ／オーディオデータＳｃが入力される。このベースバンドデータＳｃがＭＰＥＧリエンコーダ２５３に供給される。リエンコーダ２５３は、ベースバンドデータＳｃのビデオフレームに対応したＭＰＥＧ再符号化用のコーデック情報を径路２５４を介して情報バッファ２５５から受け取る。この再符号化用のコーデック情報に基づいて、要求の目標ビット量にデータＳｃをＭＰＥＧストリームＴＳ２へ再符号化する。そして、リエンコーダ２５３からは、入力ストリームＡ、ストリームＢのＡＢロール編集の結果のストリームＴＳ２が出力される。再符号化用のコーデック情報とは、動きベクトル、ピクチャタイプ、量子化ステップサイズ、量子化スケールなどである。トランスコーディングによって、復号−符号化チェインによる画質の劣化が抑えられる。
【００９５】
ベースバンドデータＳｃと同期してコーデック情報を利用するように、コーデック情報が選択される。リードコントローラ２５７により所定のコーデック情報が読出される時には、このコーデック情報を使用可能なことを示すイネーブル信号がリードコントローラ２５７からリエンコーダ２５３に供給される。
【００９６】
入力ストリーム２６８と、その復号結果であるベースバンド信号Ｓａ、Ｓｂとが時間的に１対１に対応付けられる。ＭＰＥＧデコーダ２５２ａおよび２５２ｂのそれぞれで復号に使用されたコーデック情報を情報バッファ２５５に保存する時には、時間的に１対１の対応をとるための整理タグに関連付けてコーデック情報が保存される。このように、コーデック情報を保存するために、また、スプライサ／トランスコーダ２１が出力したビデオデータＳａ、Ｓｂとベースバンドエディタおよびスイッチャ２２からの戻ってきたビデオデータＳｃとの間の位相を管理するために、管理テーブル２６１が設けられている。情報バッファ２５５およびピクチャバッファ２６３のそれぞれのライトおよびリードを制御する、ライトコントローラ２５６および２６４と、リードコントローラ２５７および２６５が管理テーブル２６１と接続される。
【００９７】
管理テーブル２６１が入力ストリームのピクチャカウント値と戻りのビデオデータＳｃのフレームカウント値を用いて、情報バッファ２５５およびピクチャバッファ２６３のライト／リードを制御する。フレームカウンタ２５８がビデオデータＳｃのフレーム数をカウントし、カウント値をアドレスとして管理テーブル２６１に読出し要求ＲＥＱを与える。入力ストリーム２６８からピクチャカウンタ２７１がピクチャヘッダを検出し、ピクチャの数を数える。ピクチャカウンタ２７１で数えられたピクチャの数がピクチャ／フレームインデックス生成器２７２に供給される。ピクチャ／フレームインデックス生成器２７２は、ピクチャおよび情報の管理テーブル２６１の整理のために、ピクチャに対応したインデックスを発生する。
【００９８】
管理テーブル２６１は、このインデックスでテーブルを整理し、フレームカウンタ２５８からのビデオデータＳｃのフレームの数のカウント値をアドレスとして管理情報を出力する。管理テーブル２６１は、リングバッファの構成とされ、入力情報をインクリメントするアドレスに順次書込み、読出し要求ＲＥＱに応じてリードポインタをインクリメントするようになされている。リードポインタが指し示すアドレスの再符号化情報が情報バッファ２５５から読出され、経路２５４を介してＭＰＥＧリエンコーダ２５３に送られる。ピクチャバッファ２６３も、情報バッファ２５５と同様に制御される。
【００９９】
また、リエンコーダ２５３は、ビット量見積器２５９と接続され、ＶＢＶバッファの処理がなされる。すなわち、再符号化により得られたＭＰＥＧビットストリームＴＳ２を復号する側のバッファがオーバーフローまたはアンダーフローしないように、適切な符号化がなされる。再符号化によって、基本的に目標発生ビット量が満足される。通常の符号化の制御において行われることは、設定された目標ビット量に対して、リエンコーダ２５３の発生ビット量が不足する時には、ダミーデータが付加される。また、発生ビット量が目標ビット量を超過する時、つまり、デコーダ側でアンダーフローが起きそうな場合、スキップドマクロブロックにするか、予測残差（予測画マクロブロックＭＢとの差分）を０にするなどの処理である。この処理でも対応できず、アンダーフローしてしまう時には、デコーダ側の処理方法に依存して再生画像に対する影響が生じる。通常は、バッファにデータが溜まるまでウエイトがかかり、その結果として再生画像がフリーズする。
【０１００】
２７３は、入力ストリーム２６８の発生ビット量をカウントし、カウント結果をＶＢＶバッファシミュレータ２７４に供給し、ＶＢＶバッファのシミュレーションを行なう。ＶＢＶバッファシミュレータ２７４の結果がリエンコーディングストラテジープランナ２７５に送られ、再符号化のための編集点付近のビット発生量の割り振り、重み付けを行ない、これも管理テーブル２６１の該当するインデックススロットに書き込む。そして、管理テーブル２６１の該当するインデックススロットに書込まれている、編集点付近の目標ビット量（ビット発生量の割り振り、重み付けの情報）がビット量見積器２５９に供給され、リエンコーダ２５３の再符号化により発生するビット量が適切となるように、制御される。。
【０１０１】
図８に示すスプライサ／トランスコーダは、編集器からの編集位置情報なしに、編集点を検出し、ベースバンド信号Ｓｃの編集状況を得ることが可能とされている。この目的のために、比較的２７０が設けられている。比較部２７０には、ピクチャバッファ２６３からのオリジナルの二つのベースバンド信号Ｓａ、Ｓｂと、戻ってきたベースバンド信号Ｓｃとが供給される。また、情報バッファ２５５からＧＯＰヘッダ、ピクチャヘッダ、マクロブロックタイプ、動きベクトル等の付加的情報が比較部２７０に供給される。比較部２７０では、エディタおよびスイッチャ２２に出力した信号Ｓａ、Ｓｂと、戻ってきた信号Ｓｃとの一致検出に基づいて、編集点を検出する。これと共に、再符号化のためにコーデック情報を利用する可能かどうかをピクチャ単位およびマクロブロック単位で判別する。
【０１０２】
図９は、この発明の他の実施形態の説明に用いるベースバンド信号Ｓａ（ピクチャＰｉｃＡと称する）、ベースバンド信号Ｓｂ（ピクチャＰｉｃＢと称する）を編集した結果のベースバンド信号Ｓｃ（ピクチャＰｉｃＣと称する）の一例を示す。ベースバンド信号ＳａおよびＳｃのそれぞれのピクチャ単位およびマクロブロック単位でコーデック情報が保存される。図９の例では、編集点でもって、ピクチャＰｉｃＡからピクチャＰｉｃＢへ単にスイッチングされるのではなく、ワイプ、クロスフェード等の処理が二つのピクチャに対してなされている。すなわち、ピクチャＰｉｃＣにおいては、編集点の前までの各フレームは、ピクチャＰｉｃＡのフレームと一致したものであり、編集点のフレームがＰｉｃＡおよびＢの両者を処理したものであり、編集点より後の各フレームは、ピクチャＰｉｃＢのフレームと一致したものである。ベースバンド信号ＳａおよびＳｂのそれぞれのピクチャ毎およびマクロブロック毎にコーデック情報が保存される。
【０１０３】
比較部２７０は、時間的に位相が合わされたピクチャＰｉｃＡとＰｉｃＣとの一致検出、並びにピクチャＰｉｃＢとＰｉｃＣとの一致検出を行う。この二つの比較の少なくとも一方において、不一致が検出される時には、編集点のフレームであると検出する。各ピクチャの同一位置の画素同士の差が０ならば、一致、０以外ならば、不一致と、２枚のピクチャの一致／不一致が決定される。例えば時間的に位相を合わせた状態で、二つのピクチャの各画素を順に減算回路に入力し、差が０でない画素が発生したら、不一致と決定する。この場合、差が０でない画素が所定数に到達したら、不一致と決定するようにしても良い。
【０１０４】
このような編集点の検出に合わせて、リエンコーダ２５３における再符号化に使用するコーデック情報が選択される。スイッチングの例のように、ピクチャ（フレーム）単位で、画像が切り替えられる場合では、再利用するコーデック情報も、それに合わせてピクチャ単位で選択される。しかしながら、図９に示す例のように、編集点のピクチャに、二つのピクチャを混在する場合には、コーデック情報をピクチャ単位で選択する処理は、再符号化による画質の劣化を防止するためには不十分である。
【０１０５】
従って、この発明の他の実施形態では、コーデック情報の再利用（再符号化のための利用を意味する）の判定をマクロブロック単位で行うことを可能としている。以下、マクロブロック単位のコーデック情報の再利用を可能とするための評価、判定の処理について説明する。この処理は、比較部２７０においてなされる。
【０１０６】
図１０に示すように、ピクチャＰｉｃＡ（またはＰｉｃＢ）に含まれるマクロブロック（ＭＢＡまたはＭＢＢと表す）と、ピクチャＰｉｃＣに含まれ、空間的にマクロブロックＭＢＡ／ＭＢＢと同一の位置のマクロブロック（ＭＢＣと表す）とが比較される。例えばマクロブロックは、（１６×１６）の大きさである。マクロブロックの一致／不一致の検出は、ピクチャの場合と同様になされる。
【０１０７】
図１１は、コーデック情報の再利用の可否を判別するための処理を示すフローチャートである。エディタおよびスイッチャから編集後のビデオ信号Ｓｃ（ピクチャＰｉｃＣ）が到来すると、処理が開始される。最初のステップＳ１において、ピクチャバッファ２６３からオリジナルのピクチャＡおよびＢが読出される。
【０１０８】
比較のステップＳ２では、ピクチャＡおよびＣが比較される。ピクチャＡおよびＣが不一致の場合では、比較のステップＳ３で、ピクチャＢおよびＣが比較される。ピクチャＢおよびＣが不一致の場合では、比較のステップＳ４で、マクロブロックＭＢＡおよびＭＢＣが比較される。マクロブロックＭＢＡおよびＭＢＣが不一致の場合では、比較のステップＳ５で、マクロブロックＭＢＢおよびＭＢＣが比較される。上述したように、各ピクチャ内で空間的に同一位置の二つのマクロブロックが比較される。
【０１０９】
ステップＳ２において、ＰｉｃＡ＝ＰｉｃＣが満足される場合には、ピクチャＡを復号するのに使用したコーデック情報を再利用して、ピクチャＣの再符号化がなされる。ＭＰＥＧの場合では、ピクチャタイプが３種類ある。すなわち、フレーム内符号化画像であるＩ（Intra）ピクチャと、フレーム間前方向予測符号化画像であるＰ(Predictive)ピクチャと、双方向予測画像であるＢ(Bidirectionally predictive)ピクチャとがある。これらのピクチャタイプによって再利用の条件が異なるので、ピクチャサブルーチンＳ６の処理がなされる。サブルーチンＳ６については、後述する。
【０１１０】
サブルーチンＳ６の後でステップＳ７の処理がなされる。ステップＳ７では、ピクチャＣ上の予測対象ピクチャがピクチャＡの要素であるかどうかが決定される（これをＰＩＣ（ＦＷ／ＢＷ），ＰＩＣ Ｆｇ≠０？と表す）。この条件が満足される時には、ピクチャ単位でコーデック情報を再利用するために、該当ピクチャのコーデック情報を準備する（ステップＳ８）。ピクチャ単位にコーデック情報を再利用する場合は、両方向予測時のピクチャの再符号化のために、片側ピクチャのコーデック情報を利用することも含む。
【０１１１】
ステップＳ７における条件が満足されない場合には、ＰｉｃＡ≠ＰｉｃＣの場合と同様に、ステップＳ３に処理が移る。すなわち、ピクチャＣ上の予測対象ピクチャがピクチャＡの要素でない時は、次の条件が探される。
【０１１２】
ステップＳ３において、ＰｉｃＢ＝ＰｉｃＣが満足される場合には、ピクチャＢのコーデック情報を再利用して、ピクチャＣの再符号化がなされる。この場合も、ピクチャタイプに応じて再利用の条件が異なるので、ピクチャサブルーチンＳ６の処理がなされる。そして、ステップＳ９において、ピクチャＡのステップＳ７と同様に、ピクチャＣ上の予測対象ピクチャがピクチャＢの要素であるかどうかが決定される。この条件が満たされる場合には、ステップＳ８に処理が移り、該当ピクチャのコーデック情報を再利用するために、それを準備する。具体的には、情報バッファ２５５から該当ピクチャのコーデック情報を読出してリエンコーダ２５３に対して与える。
【０１１３】
ステップＳ９の条件が満足されない時には、ＰｃｉＢ≠ＰｉｃＣの場合と同様に、ステップＳ４に処理が移る。すなわち、（ＰｉｃＡ≠ＰｉｃＣ）且つ（ＰｉｃＢ≠ＰｉｃＣ）の場合に、マクロブロック単位で比較（ＭＢＡ＝ＭＢＣ）がなされる。図９に示す例のように、ピクチャＣの編集点のピクチャに、ピクチャＡおよびＢが混在する時には、（ＰｉｃＡ≠ＰｉｃＣ）且つ（ＰｉｃＢ≠ＰｉｃＣ）となる。この場合では、マクロブロック単位でコーデック情報を再利用するようになされる。
【０１１４】
ステップＳ４において、ＭＢＡ＝ＭＢＣが満足される場合には、マクロブロックＡのコーデック情報を再利用して、マクロブロックＭＢＣの再符号化がなされる。ＭＰＥＧの場合では、ピクチャタイプと同様に、マクロブロックタイプが３種類ある。すなわち、フレーム内符号化（Intra）マクロブロックと、過去から未来を予測する前方向(Foward)フレーム間予測マクロブロックと、未来から過去を予測する後方向（Backwrd）フレーム間予測マクロブロックと、前後両方向から予測する内挿的（Interpolative）マクロブロックとがある。
【０１１５】
Ｉピクチャ内の全てのマクロブロックは、フレーム内符号化マクロブロックである。また、Ｐピクチャ内には、フレーム内符号化マクロブロックと前方向フレーム間予測マクロブロックとが含まれる。Ｂピクチャ内には、上述した４種類の全てのタイプのマクロブロックが含まれる。これらのマクロブロックタイプによって再利用の条件が異なるので、マクロブロックサブルーチンＳ１０の処理がなされる。サブルーチンＳ１０については、後述する。
【０１１６】
サブルーチンＳ１０の後でステップＳ１１の処理がなされる。ステップＳ１１では、ピクチャＣ上の予測対象マクロブロックがピクチャＡの要素であるかどうかが決定される（これをＭＢ（ＦＷ／ＢＷ），ＭＢ Ｆｇ≠０？と表す）。この条件が満足される時には、マクロブロック単位でコーデック情報を再利用するために、該当マクロブロックのコーデック情報を準備する（ステップＳ１２）。マクロブロック単位にコーデック情報を再利用する場合には、両方向予測時のマクロブロックに関して片側マクロブロックのコーデック情報を利用する場合も含まれる。
【０１１７】
ステップＳ１１における条件が満足されない場合には、ステップＳ１３に処理が移る。すなわち、ピクチャＣ上の予測対象マクロブロックがピクチャＡ上の要素でない時は、コーデック情報の再利用が不可とされる（ステップＳ１３）。この場合では、トランスコーディングがされず、単なる符号化がなされる。
【０１１８】
ステップＳ４で、ＭＢＡ≠ＭＢＣとされると、ステップＳ５で、ＭＢＢ＝ＭＢＣが満足されるかどうかが決定される。ＭＢ≠ＭＢＣの場合では、ステップＳ１３に処理が移り、コーデック情報の再利用がされない。ステップＳ５において、ＭＢＢ＝ＭＢＣが満足される場合には、マクロブロックＭＢＢのコーデック情報を再利用して、マクロブロックＭＢＣの再符号化がなされる。この場合も、マクロブロックタイプに応じて再利用の条件が異なるので、マクロブロックサブルーチンＳ１０の処理がなされる。そして、ステップＳ１４において、ステップＳ１１と同様に、ピクチャＣ上の予測対象マクロブロックがピクチャＢ上の要素であるかどうかが決定される。この条件が満たされる場合には、ステップＳ１２に処理が移り、該当マクロブロックのコーデック情報を再利用するために、それを準備する。具体的には、情報バッファ２５５から該当マクロブロックのコーデック情報を読出してリエンコーダ２５３に対して与える。ステップＳ１４の条件が満足されない時には、コーデック情報が再利用されない（ステップＳ１３）。
【０１１９】
ピクチャサブルーチンＳ６について、図１２を参照してより詳細に説明する。まず、ピクチャタイプを判別するために、ステップＳ２１では、Ｉピクチャかどうかが決定される。ピクチャタイプは、情報バッファ５５に格納されているピクチャヘッダの情報から分かる。Ｉピクチャの場合では、ステップＳ２２において、ピクチャフラグＰＩＣ Ｆｇを１にセットする。ピクチャ単位で予測対象ピクチャの存在、非存在を示すピクチャフラグＰＩＣ Ｆｇは、次のように定義される。
【０１２０】
ＰＩＣ Ｆｇ＝０；対応するピクチャが存在しない
ＰＩＣ Ｆｇ＝１；フレーム内に対応するピクチャが存在する
ＰＩＣ Ｆｇ＝２；Ｐピクチャで前方向に予測対象ピクチャが存在する
ＰＩＣ Ｆｇ＝３；Ｂピクチャで前方向に予測対象ピクチャが存在する
ＰＩＣ Ｆｇ＝４；Ｂピクチャで後方向に予測対象ピクチャが存在する
ＰＩＣ Ｆｇ＝５；Ｂピクチャで前後方向に予測対象ピクチャが存在する
【０１２１】
ステップＳ２２では、コーデック情報を再利用する場合に、予測対象ピクチャが存在するピクチャを示すために、ピクチャフラグＰＩＣ Ｆｇがセットされる。このピクチャフラグは、コーデック情報を再利用するか否かの判定と、情報バッファ２５５からリエンコーダ２５３に与えるコーデック情報を規定するのに使用される。
【０１２２】
ステップＳ２１で、Ｉピクチャでないと決定されると、ステップＳ２３で、Ｐピクチャかどうかが決定される。Ｐピクチャの場合には、ステップＳ２４において、予測対象ピクチャのサーチおよび検出がなされる。Ｐピクチャの場合では、過去のピクチャから予測されるように符号化されているので、過去のピクチャから符号化の基になっている予測対象ピクチャが検出される。過去の予測対象ピクチャの位置は、ＧＯＰヘッダに含まれるＧＯＰシーケンスの情報に基づいて、決定される。
【０１２３】
検出されたピクチャＣ上の予測対象ピクチャがピクチャＡ（図１１のステップＳ２に続くサブルーチンの場合）またはピクチャＢ（図１１のステップＳ３に続くサブルーチンの場合）上に存在しているかどうかが決定される（ステップＳ２５）。この決定は、予測対象ピクチャと、この予測対象ピクチャと同一の時間関係にある、ピクチャＡまたはＢ上のピクチャとを比較することでなされる。予測対象ピクチャがピクチャＡまたはＢ上に存在している場合には、ステップＳ２２において、ピクチャフラグが上述したように、２の値にセットされる。若し、存在していない場合には、ピクチャフラグＰＩＣ Ｆｇが０とされる（ステップＳ２６）。
【０１２４】
ステップＳ２３において、Ｐピクチャでないと決定される時、すなわち、Ｂピクチャの場合には、ステップＳ２７において、予測対象ピクチャのサーチおよび検出がなされる。そして、検出されたピクチャＣ上の予測対象ピクチャがピクチャＡまたはピクチャＢ上に存在しているかどうかが決定される（ステップＳ２８）。存在しない場合には、ピクチャフラグＰＩＣ Ｆｇが０とされる（ステップＳ２６）。存在する場合には、Ｂピクチャの場合で、予測対象ピクチャが前（過去）、後（未来）、前後方向の何れの方向に存在しているかによって、上述したように、ピクチャフラグＰＩＣ Ｆｇが３、４または５の値にセットされる。
【０１２５】
以上のようにして、ピクチャ単位のコーデック情報の再利用の判定がなされる。図９に示す例は、編集点のピクチャがＢピクチャの場合を示している。Ｂピクチャの場合では、図１２のフローチャートに示すように、編集点から見た前方向の予測対象ピクチャ（Ｐピクチャ）と、編集点から見た後方向の予測対象ピクチャ（Ｐピクチャ）とがサーチされる。そして、前方向の予測対象ピクチャと、ピクチャＡ上の対応するピクチャとの比較がなされる。両者が一致する時には、前方向に予測対象ピクチャが存在しているものと決定される。後方向のピクチャと、ピクチャＡ上の対応するピクチャとの比較がなされ、両者が一致する時には、後方向に予測対象ピクチャが存在しているものと決定される。両方向で、一致しているピクチャが存在する場合もある。但し、図９の例では、注目ピクチャには、二つのピクチャが混在しているので、ピクチャ単位では、ステップＳ２およびＳ３の何れの条件も満足されず、マクロブロック単位の判別に処理が移行することになる。
【０１２６】
図１３は、マクロブロック単位のコーデック情報の再利用判別処理（マクロブロックサブルーチンＳ１０）を示すフローチャートである。まず、ステップＳ３１、ステップＳ３２およびステップＳ３３において、マクロブロックタイプが決定される。マクロブロックタイプは、ＭＰＥＧ２シンタックスのマクロブロックレイヤーのマクロブロックモード内に含まれており、この情報に基づいてマクロブロックタイプが決定される。
【０１２７】
ステップＳ３１では、フレーム内符号化マクロブロック（Ｉ ＭＢ）かどうかが決定される。Ｉ ＭＢでない場合には、ステップＳ３２で、内挿的（両方向）マクロブロックＢｉｄ ＭＢかどうかが決定される。Ｂｉｄ ＭＢでない場合には、ステップＳ３３で、後方向フレーム間予測マクロブロック（バックワードマクロブロックと図示されている）かどうかが決定される。Ｉ ＭＢでもなく、Ｂｉｄ ＭＢでもなく、バックワードマクロブロックでもない場合は、前方向フレーム間予測マクロブロック（フォワードマクロブロックと図示されている）である。
【０１２８】
これらのマクロブロックのタイプ毎に、コーデック情報を再利用可能かどうかが決定される。ステップＳ３１で、注目マクロブロックがＩ ＭＢと決定されると、ステップＳ３４では、マクロブロックフラグＭＢ Ｆｇが１の値にセットされる。Ｉ ＭＢ以外のマクロブロックの場合では、動きベクトルを選択し、選択した動きベクトルによりずらされた位置に予測対象マクロブロックに対応するマクロブロックがピクチャＡまたはＢに存在するかどうかが判別される。これらの条件が満足される時には、コーデック情報の再利用が可能とされる。
【０１２９】
マクロブロック単位で、ピクチャＡまたはＢにおいて予測対象マクロブロックの存在、非存在を示す、マクロブロックフラグＭＢ Ｆｇは、
ＭＢ Ｆｇ＝０；対応するマクロブロックが存在しない
ＭＢ Ｆｇ＝１；フレーム内に対応するマクロブロックが存在する
ＭＢ Ｆｇ＝２；前方向に対応するマクロブロックが存在する
ＭＢ Ｆｇ＝３；後方向に対応するマクロブロックが存在する
ＭＢ Ｆｇ＝４；両方向に対応するマクロブロックが存在する
ＭＢ Ｆｇ＝５；両方向の前方向に対応するマクロブロックが存在する
ＭＢ Ｆｇ＝６；両方向の後方向に対応するマクロブロックが存在する
と定義される。このマクロブロックフラグは、マクロブロック単位でコーデック情報の再利用の可否を判定するのに使用され、また、情報バッファ２５５からリエンコーダ２５３に与えるコーデック情報を規定するのに使用される。
【０１３０】
ステップＳ３２において、判別の対象としている注目マクロブロックタイプが両方向マクロブロックの場合には、前方向の動きベクトルおよび後方向の動きベクトルが準備される（ステップＳ３５）。この動きベクトルを使用して、予測対象マクロブロックがサーチ、検出される（ステップＳ３６）。予測対象マクロブロックの位置は、ＧＯＰシーケンスに従っているので、ＧＯＰヘッダに含まれるＧＯＰシーケンスの情報に基づいて、予測対象マクロブロックが検出される。
【０１３１】
次のステップＳ３７で、予測対象マクロブロックがピクチャＡ（図１１のステップＳ４に続くサブルーチンの場合）またはピクチャＢ（図１１のステップＳ５に続くサブルーチンの場合）上に存在しているかどうかが決定される。この決定は、予測対象マクロブロックと、この予測対象マクロブロックを動きベクトルでずらした位置の、ピクチャＡまたはＢ上のマクロブロック相当画像ブロックとを比較することでなされる。
【０１３２】
ステップＳ３７において、予測対象マクロブロックがピクチャＡおよび／またはピクチャＢに存在していると決定されると、ステップＳ３８において、マクロブロックフラグＭＢ Ｆｇが４、５、または６にセットされる。若し、予測対象マクロブロックに対応するマクロブロックが存在しないと決定されると、ステップＳ３９において、マクロブロックフラグＭＢ Ｆｇが０にセットされる。ＭＢ Ｆｇ＝０は、マクロブロック単位でコーデック情報を再利用できないことを意味する。
【０１３３】
図１４に示すように、ピクチャＡおよびＢが混在している時には、マクロブロック単位で判定がなされる。図１４の例は、図９中の編集点のピクチャの付近を示しており、注目しているピクチャのピクチャタイプがＢであり、また、２個の両方向マクロブロックが示しているピクチャのピクチャタイプがＢであり、また、２個の両方向マクロブロックが示されている。編集点のピクチャにおいて、ピクチャＡの部分に含まれるマクロブロックＭＢが前方向の動きベクトルの分ずれた位置の過去のピクチャＡ内のマクロブロック相当画像ブロックと比較される。この例では、両マクロブロックが一致する（図ではＧＯＯＤと示されている）。また、後方向の動きベクトルの分ずれた位置の未来のピクチャＢ内のマクロブロック相当画像ブロックと比較される。両ブロックが一致しない（図ではＮＧと示されている）。従って、この場合では、マクロブロックフラグＭＢ Ｆｇの値が５にセットされる。
【０１３４】
編集点のピクチャ中でピクチャＢの部分に含まれるマクロブロックＭＢについても、前方向および後方向の動きベクトルによりずれた位置のピクチャＡおよびＢのマクロブロック相当画像ブロックと比較される。図１４に示すように、後方向の動きベクトルでずれた未来のピクチャ（この例では、Ｐピクチャ）内のマクロブロックと一致する。従って、この場合では、マクロブロックフラグＭＢ Ｆｇの値が６にセットされる。若し、ピクチャＡ、Ｂが混在していない時には、前後の両方向に予測対象マクロブロックに対応するマクロブロック相当画像ブロックが存在し、マクロブロックフラグＭＢ Ｆｇが４の値にセットされる。
【０１３５】
図１３に戻って説明すると、ステップＳ３３において、ピクチャＣ内の注目マクロブロックがバックワードマクロブロックと決定されると、ステップＳ４１において後方向の動きベクトルが準備される。そして、動きベクトルによりずれた位置の未来のピクチャＡまたはＢ内のマクロブロック相当画像ブロックがサーチ、検出される（ステップＳ４２）。検出されたマクロブロック相当画像ブロックと、注目マクロブロックの予測対象マクロブロックとが比較され、予測対象マクロブロックに対応するマクロブロック相当画像ブロックが存在するかどうかが決定される（ステップＳ４３）。
【０１３６】
ステップＳ４３において、予測対象マクロブロックに対応するマクロブロック相当画像ブロックが存在すると決定されると、ステップＳ４４においてマクロブロックフラグＭＢ Ｆｇが３の値にセットされる。予測対象マクロブロックに対応するマクロブロック相当画像ブロックが存在しない時には、ステップＳ３９においてマクロブロックフラグＭＢ Ｆｇが０の値にセットされる。
【０１３７】
ステップＳ３３において、ピクチャＣ内の注目マクロブロックがバックワードマクロブロックとない場合、すなわち、これがフォワードマクロブロックの場合では、ステップＳ４５において前方向の動きベクトルが準備される。そして、動きベクトルによりずれた位置の過去のピクチャＡまたはＢ内のマクロブロック相当画像ブロックがサーチ、検出される（ステップＳ４６）。検出されたマクロブロックと、注目マクロブロックの予測対象マクロブロックとが比較され、予測対象マクロブロックに対応するマクロブロック相当画像ブロックが存在するかどうかが決定される（ステップＳ４７）。
【０１３８】
ステップＳ４７において、予測対象マクロブロックに対応するマクロブロック相当画像ブロックが存在すると決定されると、ステップＳ４８においてマクロブロックフラグＭＢ Ｆｇが２の値にセットされる。対応するマクロブロック相当画像ブロックが存在しない時には、ステップＳ３９においてマクロブロックフラグＭＢ Ｆｇが０の値にセットされる。
【０１３９】
以上のようにして、マクロブロック単位のコーデック情報の再利用の判定がなされる。従って、図９に示すように、編集点のピクチャが二つのオリジナルピクチャＡおよびＢが混在している場合であっても、マクロブロック単位でコーデック情報を再利用して、ピクチャＣを再符号化できる。それによって、ピクチャ単位の再符号化よりも、きめ細かくコーデック情報を再利用でき、画質の劣化を低減することができる。
【０１４０】
なお、以上の説明では、ＭＰＥＧを圧縮符号化として採用しているが、ＭＰＥＧ以外の圧縮符号化を採用することができる。
【０１４１】
【発明の効果】
この発明による編集制御装置は、アーカイバ／サーバ等との間の入力／出力インターフェースが符号化ストリームであり、編集器とのインターフェースは、ベースバンドであり、また、トランスコーディングによって、復号−符号化チェインによる画質劣化が最小限とできる。トランスコーディングのための再符号化情報をベースバンド信号に付加して外部編集機器、ストレージ機器に送る必要が無いため、外部機器に何ら影響をもたらすことなく編集を可能にする。従って、映像素材等の素材をストリームで蓄えることができる。また、局内、スタジオ内に導入されている既存の編集器の構成を変える必要がない。ユーザから見ると、編集器および編集制御装置からなる編集システムは、ストリーム上の編集を行っているが、編集システムの内部では、ベースバンドの編集がされている。
【０１４２】
また、ベースバンド信号と、ビットストリームを関係付けを行なうことによって、必要最小限のピクチャに対してトランスコーディングを行ない、該当ビットストリームとスイッチングを行ない、変換による歪みを最小限にすることが可能である。さらに、圧縮素材で受けたものは、圧縮素材で、蓄積、編集を行い、ベースバンド素材で受けたものは、ベースバンド素材で、蓄積、編集を行なうという切り分けができる。
【０１４３】
また、この発明は、編集システムがＭＰＥＧストリームをそのまま扱うので、既に局内に施設されているネットワーク線の多チャンネル化が実現し、局内の素材伝送資源を有効に利用できる。さらに、現在の地上波放送に見られる本局対地方局の関係、ＣＡＴＶに見られるケーブルオペレータとヘッドエンド局との関係を考えた場合、この発明によれば、メイン局から送られてきた放送素材のＣＭとローカルＣＭの差し替えを行なったり、局のロゴを挿入する作業をほとんど劣化なくビットストリーム上で行うことができる。
【０１４４】
よりさらに、この発明では、他の実施形態について説明したように、符号化ビットストリームを復号したベースバンド信号を編集し、編集結果のベースバンド信号を再符号化してストリームとして出力する時に、編集位置情報を編集器から貰う必要がない。従って、編集位置情報を伝送するための伝送線を省略でき、また、タイムコードで表された編集情報をストリームの時間軸上に翻訳する処理等を省略することができる。
【０１４５】
また、この発明は、他の実施形態について説明したように、トランスコーディングのために、コーデック情報を再利用する場合に、ピクチャ単位のみならず、マクロブロックのようなより細かい単位で、コーデック情報を選択することができる。従って、編集点の画像が二つ以上のオリジナル素材が混在する場合でも、再符号化による画質の劣化を抑えることができる。
【図面の簡単な説明】
【図１】この発明の一実施形態の局内のシステム全体を示すブロック図である。
【図２】この発明の一実施形態中の編集スタジオの一例を示すブロック図である。
【図３】この発明の一実施形態中の編集スタジオの他の例を示すブロック図である。
【図４】この発明を適用できる放送ネットワークの一例を示すブロック図である。
【図５】この発明の一実施形態中の主要部であるスプライサ／トランスコーダの一例を示すブロック図である。
【図６】スプライサ／トランスコーダ中の管理情報生成部の構成の一例を示すブロック図である。
【図７】この発明の一実施形態中の主要部であるスプライサ／トランスコーダの他の例を示すブロック図である。
【図８】この発明の他の実施形態中の主要部であるスプライサ／トランスコーダの一例を示すブロック図である。
【図９】ベースバンド信号の時間関係、並びにコーデック情報の再利用のための処理を説明するための略線図である。
【図１０】ピクチャおよびマクロブロックの関係を示す略線図である。
【図１１】コーデック情報の再利用のための判別処理を示すフローチャートである。
【図１２】図１１中のピクチャサブルーチンを示すフローチャートである。
【図１３】図１１中のマクロブロックサブルーチンを示すフローチャートである。
【図１４】マクロブロック単位のコーデック情報の再利用を説明するための略線図である。
【図１５】従来のＭＰＥＧの符号化、復号システムのブロック図である。
【図１６】この発明の説明の参考とした局内のシステムの構成の一例を示すブロック図である。
【図１７】図１６中の編集スタジオの一例を示すブロック図である。
【図１８】図１６中の編集スタジオの他の例を示すブロック図である。
【図１９】この発明の説明の参考とした局内のシステムの構成の他の例を示すブロック図である。
【図２０】図１９中の編集スタジオの一例を示すブロック図である。
【図２１】図１９中の編集スタジオの他の例を示すブロック図である。
【図２２】この発明の説明の参考とした編集スタジオの構成の一例を示すブロック図である。
【図２３】この発明の説明の参考とした編集スタジオの構成の他の例を示すブロック図である。
【図２４】図２３の構成に対してノンリニアストレージを付加した構成を示すブロック図である。
【図２５】この発明の説明の参考とした局内システムの構成を示すブロック図である。
【符号の説明】
１，３・・・アーカイバ／サーバ、２・・・編集スタジオ、２１・・・スプライサ／トランスコーダ、２２・・・ベースバンドエディタおよびスイッチャ、５２ａ、５２ｂ・・・ＭＰＥＧデコーダ、５３・・・ＭＰＥＧリエンコーダ、５５・・・情報バッファ、６１・・・管理情報生成部、６２・・・管理テーブル、２５３・・・ＭＰＥＧリエンコーダ、２５９・・・ビット量見積器、２６１・・・管理テーブル、２６３・・・ピクチャバッファ
Claims (32)
- 第１の符号化ビットストリームを復号し、第１のベースバンド信号を生成１る第１の復号手段と、
第２の符号化ビットストリームを復号し、第２のベースバンド信号を生成する第２の復号手段と、
上記第１のベースバンド信号および第２のベースバンド信号と、上記第１のベースバンド信号および上記第２のベースバンド信号を編集することによって得られる第３のベースバンド信号とを位相を合わせて比較することによって、上記第１のベースバンド信号と上記第２のベースバンド信号とが接続された編集位置を検出する検出手段と、
上記第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化手段と
上記検出手段により検出された上記編集位置に基づいて、上記第１の符号化ビットストリームまたは上記第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、上記第２の符号化ビットストリームまたは上記第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、上記再符号化手段を制御する制御手段と、
を有する編集装置。 - 上記制御手段は、上記第３のベースバンド信号を対象として、上記検出手段により検出された上記編集位置を含む所定期間のみを再符号化するように、上記再符号化手段を制御する
請求項１に記載の編集装置。 - 上記編集位置を含む所定期間では、上記再符号化手段により生成された上記第３の符号化ビットストリームを選択し、上記所定期間以外では、上記第１の符号化ビットストリームおよび上記第２の符号化ビットストリームの一方を選択する選択手段を更に有する
請求項１に記載の編集装置。 - 上記検出手段は、ピクチャ単位で位相を合わせて比較することによって、ピクチャ単位で上記編集点を検出する
請求項１に記載の編集装置。 - 上記制御手段は、上記ピクチャ単位の編集位置に基づいて、ピクチャ単位で上記第１のコーデック情報と上記第２のコーデック情報とを選択的に再利用して再符号化するように、上記再符号化手段を制御する
請求項４に記載の編集装置。 - 上記検出手段は、上記第１のベースバンド信号および上記第３のベースバンド信号における各ピクチャの空間的に同一位置の画素同士の差分をとることにより、ピクチャ単位で上記編集位置を検出する
請求項４に記載の編集装置。 - 上記検出手段は、上記第２のベースバンド信号および上記第３のベースバンド信号における各ピクチャの同一位置の画素同士の差分をとることにより、ピクチャ単位で上記編集位置を検出する
請求項４に記載の編集装置。 - 上記検出手段は、上記差分が０でない画素を有するピクチャを上記編集点として検出する
請求項６または７に記載の編集装置。 - 上記検出手段は、上記差分が０でない画素が所定数に到達しているピクチャを上記編集点として検出する
請求項８に記載の編集装置。 - 上記制御手段は、上記ピクチャ単位の編集点に上記第１のベースバンド信号のピクチャおよび上記第２のベースバンド信号のピクチャが混在する場合には、マクロブロック単位で位相を合わせて比較し、マクロブロック単位で上記第１のコーデック情報と上記第２のコーデック情報とを選択的に再利用して再符号化するように、上記再符号化手段を制御する
請求項４に記載の編集装置。 - 上記検出手段により検出された上記編集位置に対応するピクチャのピクチャタイプを判別する判別手段を更に有し、
上記制御手段は、上記判別手段により判別されたピクチャタイプに基づいて、上記編集位置に対応するピクチャの予測対象ピクチャを検出することにより、ピクチャ単位で上記第１のコーデック情報および上記第２のコーデック情報の再利用を判定する
請求項４に記載の編集装置。 - 上記制御手段は、上記予測対象ピクチャが上記第３のベースバンド信号中に存在しない場合は、上記第１のコーデック情報および上記第２のコーデック情報を再利用しない
請求項１１に記載の編集装置。 - 上記判別手段により判別されたピクチャタイプに基づいて、上記編集位置に対応するピクチャの予測対象ピクチャの存在を識別するピクチャフラグを設定する設定手段を更に有し、
上記制御手段は、上記設定手段により設定された上記ピクチャフラグを参照することにより、ピクチャ単位で上記第１のコーデック情報および上記第２のコーデック情報の再利用を判定する
請求項１１に記載の編集装置。 - 上記検出手段により検出された上記編集位置に対応するピクチャのマクロブロックタイプをそれぞれ判別する判別手段を更に有し、
上記制御手段は、上記判別手段により判別されたマクロブロックタイプに基づいて、上記編集位置に対応するマクロブロックの予測対象マクロブロックを検出することにより、マクロブロック単位で上記第１のコーデック情報および上記第２のコーデック情報の再利用を判定する
請求項１０に記載の編集装置。 - 上記判別手段により判別されたマクロブロックタイプに基づいて、上記編集位置に対応するマクロブロックの予測対象マクロブロックの存在を識別するマクロブロックフラグを設定する設定手段を更に有し、
上記制御手段は、上記設定手段により設定された上記マクロブロックフラグを参照することにより、上記第１のコーデック情報および上記第２のコーデック情報の再利用をマクロブロック単位で判定する
請求項１４に記載の編集装置。 - 第１の符号化ビットストリームを復号し、第１のベースバンド信号を生成する第１の復号手段と、
第２の符号化ビットストリームを復号し、第２のベースバンド信号を生成する第２の復号手段と、
上記第１のベースバンド信号と上記第１のベースバンド信号および第２のベースバンド信号を編集することによって得られる第３のベースバンド信号とを位相を合わせて比較することによって、上記第１のベースバンド信号と上記第２のベースバンド信号とが接続された編集位置を検出する検出手段と、
上記第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化手段と
上記検出手段により検出された上記編集位置に基づいて、上記第１の符号化ビットストリームまたは上記第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、上記第２の符号化ビットストリームまたは上記第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、上記再符号化手段を制御する制御手段と、
を有する編集装置。 - 第１の符号化ビットストリームを復号し、第１のベースバンド信号を生成する第１の復号手段と、
第２の符号化ビットストリームを復号し、第２のベースバンド信号を生成する第２の復号手段と、
上記第２のベースバンド信号と上記第１のベースバンド信号および第２のベースバンド信号を編集することによって得られる第３のベースバンド信号とを位相を合わせて比較することによって、上記第１のベースバンド信号と上記第２のベースバンド信号とが接続された編集位置を検出する検出手段と、
上記第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化手段と
上記検出手段により検出された上記編集位置に基づいて、上記第１の符号化ビットストリームまたは上記第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、上記第２の符号化ビットストリームまたは上記第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、上記再符号化手段を制御する制御手段と、
を有する編集装置。 - 第１の符号化ビットストリームを復号することにより得られる第１のベースバンド信号および第２の符号化ビットストリームを復号することにより得られる第２のベースバンド信号と、上記第１のベースバンド信号と上記第２のベースバンド信号とを編集することによって得られる第３のベースバンド信号と、を位相を合わせて比較することによって、上記第１のベースバンド信号と上記第２のベースバンド信号とが接続された編集位置を検出する検出手段と、
上記第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化手段と
上記検出手段により検出された上記編集位置に基づいて、上記第１の符号化ビットストリームまたは上記第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、上記第２の符号化ビットストリームまたは上記第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、上記再符号化手段を制御する制御手段と、
を有する再符号化装置。 - 第１の符号化ビットストリームを復号することにより得られる第１のベースバンド信号と、上記第１のベースバンド信号と第２の符号化ビットストリームを復号することにより得られる上記第２のベースバンド信号とを編集することによって得られる第３のベースバンド信号と、を位相を合わせて比較することによって、上記第１のベースバンド信号と上記第２のベースバンド信号とが接続された編集位置を検出する検出手段と、
上記第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化手段と
上記検出手段により検出された上記編集位置に基づいて、上記第１の符号化ビットストリームまたは上記第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、上記第２の符号化ビットストリームまたは上記第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、上記再符号化手段を制御する制御手段と、
を有する再符号化装置。 - 第２の符号化ビットストリームを復号することにより得られる第２のベースバンド信号と、第１の符号化ビットストリームを復号することにより得られる第１のベースバンド信号と上記第２のベースバンド信号とを編集することによって得られる第３のベースバンド信号と、を位相を合わせて比較することによって、上記第１のベースバンド信号と上記第２のベースバンド信号とが接続された編集位置を検出する検出手段と、
上記第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化手段と
上記検出手段により検出された上記編集位置に基づいて、上記第１の符号化ビットストリームまたは上記第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、上記第２の符号化ビットストリームまたは上記第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、上記再符号化手段を制御する制御手段と、
を有する再符号化装置。 - 第１の符号化ビットストリームを復号することにより得られる第１のベースバンド信号と第２の符号化ビットストリームを復号することにより得られる第２のベースバンド信号とを編集することによって得られる第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化手段と
上記第１のベースバンド信号および上記第２のベースバンド信号と上記第３のベースバンド信号とを位相を合わせて比較することによって検出された、上記第１のベースバンド信号と上記第２のベースバンド信号とが接続された編集位置に基づいて、上記第１の符号化ビットストリームまたは上記第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、上記第２の符号化ビットストリームまたは上記第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、上記再符号化手段を制御する制御手段と、
を有する再符号化装置。 - 第１の符号化ビットストリームを復号することにより得られる第１のベースバンド信号と第２の符号化ビットストリームを復号することにより得られる第２のベースバンド信号とを編集することによって得られる第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化手段と
上記第１のベースバンド信号と上記第３のベースバンド信号とを位相を合わせて比較することによって検出された、上記第１のベースバンド信号と上記第２のベースバンド信号とが接続された編集位置に基づいて、上記第１の符号化ビットストリームまたは上記第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、上記第２の符号化ビットストリームまたは上記第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、上記再符号化手段を制御する制御手段と、
を有する再符号化装置。 - 第１の符号化ビットストリームを復号することにより得られる第１のベースバンド信号と第２の符号化ビットストリームを復号することにより得られる第２のベースバンド信号とを編集することによって得られる第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化手段と、
上記第２のベースバンド信号と上記第３のベースバンド信号とを位相を合わせて比較することによって検出された、上記第１のベースバンド信号と上記第２のベースバンド信号とが接続された編集位置に基づいて、上記第１の符号化ビットストリームまたは上記第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、上記第２の符号化ビットストリームまたは上記第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、上記再符号化手段を制御する制御手段と、
を有する再符号化装置。 - 第１の符号化ビットストリームを復号し、第１のベースバンド信号を生成する第１の復号工程と、
第２の符号化ビットストリームを復号し、第２のベースバンド信号を生成する第２の復号工程と、
上記第１のベースバンド信号および第２のベースバンド信号と、上記第１のベースバンド信号および上記第２のベースバンド信号を編集することによって得られる第３のベースバンド信号とを位相を合わせて比較することによって、上記第１のベースバンド信号と上記第２のベースバンド信号とが接続された編集位置を検出する検出工程と、
上記第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化工程と
上記検出工程において検出された上記編集位置に基づいて、上記第１の符号化ビットストリームまたは上記第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、上記第２の符号化ビットストリームまたは上記第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、上記再符号化工程の再符号化の再符号化を制御する制御工程と、
を含む編集方法。 - 第１の符号化ビットストリームを復号し、第１のベースバンド信号を生成する第１の復号工程と、
第２の符号化ビットストリームを復号し、第２のベースバンド信号を生成する第２の復号工程と、
上記第１のベースバンド信号と上記第１のベースバンド信号および第２のベースバンド信号を編集することによって得られる第３のベースバンド信号とを位相を合わせて比較することによって、上記第１のベースバンド信号と上記第２のベースバンド信号とが接続された編集位置を検出する検出工程と、
上記第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化工程と
上記検出工程において検出された上記編集位置に基づいて、上記第１の符号化ビットストリームまたは上記第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、上記第２の符号化ビットストリームまたは上記第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、上記再符号化工程の再符号化を制御する制御工程と、
を含む編集方法。 - 第１の符号化ビットストリームを復号し、第１のベースバンド信号を生成する第１の復号工程と、
第２の符号化ビットストリームを復号し、第２のベースバンド信号を生成する第２の復号工程と、
上記第２のベースバンド信号と上記第１のベースバンド信号および第２のベースバンド信号を編集することによって得られる第３のベースバンド信号とを位相を合わせて比較することによって、上記第１のベースバンド信号と上記第２のベースバンド信号とが接続された編集位置を検出する検出工程と、
上記第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化工程と
上記検出工程において検出された上記編集位置に基づいて、上記第１の符号化ビットストリームまたは上記第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、上記第２の符号化ビットストリームまたは上記第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、上記再符号化工程の再符号化を制御する制御工程と、
を含む編集方法。 - 第１の符号化ビットストリームを復号することにより得られる第１のベースバンド信号と、上記第１のベースバンド信号と第２の符号化ビットストリームを復号することにより得られる上記第２のベースバンド信号とを編集することによって得られる第３のベースバンド信号と、を位相を合わせて比較することによって、上記第１のベースバンド信号と上記第２のベースバンド信号とが接続された編集位置を検出する検出工程と、
上記第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化工程と
上記検出工程において検出された上記編集位置に基づいて、上記第１の符号化ビットストリームまたは上記第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、上記第２の符号化ビットストリームまたは上記第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、上記再符号化工程の再符号化を制御する制御工程と、
を含む再符号化方法。 - 第２の符号化ビットストリームを復号することにより得られる第２のベースバンド信号と、第１の符号化ビットストリームを復号することにより得られる第１のベースバンド信号と上記第２のベースバンド信号とを編集することによって得られる第３のベースバンド信号と、を位相を合わせて比較することによって、上記第１のベースバンド信号と上記第２のベースバンド信号とが接続された編集位置を検出する検出工程と、
上記第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化工程と
上記検出工程において検出された上記編集位置に基づいて、上記第１の符号化ビットストリームまたは上記第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、上記第２の符号化ビットストリームまたは上記第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、上記再符号化工程の再符号化を制御する制御工程と、
を含む再符号化方法。 - 第１の符号化ビットストリームを復号することにより得られる第１のベースバンド信号および第２の符号化ビットストリームを復号することにより得られる第２のベースバンド信号と、上記第１のベースバンド信号と上記第２のベースバンド信号とを編集することによって得られる第３のベースバンド信号と、を位相を合わせて比較することによって、上記第１のベースバンド信号と上記第２のベースバンド信号とが接続された編集位置を検出する検出工程と、
上記第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化工程と
上記検出工程において検出された上記編集位置に基づいて、上記第１の符号化ビットストリームまたは上記第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、上記第２の符号化ビットストリームまたは上記第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、上記再符号化工程の再符号化を制御する制御工程と、
を含む再符号化方法。 - 第１の符号化ビットストリームを復号することにより得られる第１のベースバンド信号と第２の符号化ビットストリームを復号することにより得られる第２のベースバンド信号とを編集することによって得られる第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化工程と
上記第１のベースバンド信号と上記第３のベースバンド信号とを位相を合わせて比較することによって検出された、上記第１のベースバンド信号と上記第２のベースバンド信号とが接続された編集位置に基づいて、上記第１の符号化ビットストリームまたは上記第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、上記第２の符号化ビットストリームまたは上記第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、上記再符号化工程の再符号化を制御する制御工程と、
を含む再符号化方法。 - 第１の符号化ビットストリームを復号することにより得られる第１のベースバンド信号と第２の符号化ビットストリームを復号することにより得られる第２のベースバンド信号とを編集することによって得られる第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化工程と、
上記第２のベースバンド信号と上記第３のベースバンド信号とを位相を合わせて比較することによって検出された、上記第１のベースバンド信号と上記第２のベースバンド信号とが接続された編集位置に基づいて、上記第１の符号化ビットストリームまたは上記第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、上記第２の符号化ビットストリームまたは上記第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、上記再符号化工程の再符号化を制御する制御工程と、
を含む再符号化方法。 - 第１の符号化ビットストリームを復号することにより得られる第１のベースバンド信号と第２の符号化ビットストリームを復号することにより得られる第２のベースバンド信号とを編集することによって得られる第３のベースバンド信号を再符号化し、第３の符号化ビットストリームを生成する再符号化工程と
上記第１のベースバンド信号および上記第２のベースバンド信号と上記第３のベースバンド信号とを位相を合わせて比較することによって検出された、上記第１のべースバンド信号と上記第２のベースバンド信号とが接続された編集位置に基づいて、上記第１の符号化ビットストリームまたは上記第１のベースバンド信号を生成する際に利用された第１のコーデック情報と、上記第２の符号化ビットストリームまたは上記第２のベースバンド信号を生成する際に利用された第２のコーデック情報とを選択的に再利用して再符号化するように、上記再符号化工程の再符号化を制御する制御工程と、
を含む再符号化方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP769098 | 1998-01-19 | ||
| JP768998 | 1998-01-19 | ||
| PCT/JP1999/000151 WO1999036912A1 (fr) | 1998-01-19 | 1999-01-19 | Systeme d'edition, dispositif de commande d'edition et procede de commande d'edition |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005120366A Division JP2005278207A (ja) | 1998-01-19 | 2005-04-18 | 編集装置および方法、再符号化装置および方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP3716328B2 true JP3716328B2 (ja) | 2005-11-16 |
Family
ID=26342024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP53702799A Expired - Fee Related JP3716328B2 (ja) | 1998-01-19 | 1999-01-19 | 編集装置および方法、再符号化装置および方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US7305040B1 (ja) |
| EP (1) | EP0982726A4 (ja) |
| JP (1) | JP3716328B2 (ja) |
| KR (1) | KR100548665B1 (ja) |
| CN (1) | CN1157727C (ja) |
| CA (1) | CA2284216A1 (ja) |
| WO (1) | WO1999036912A1 (ja) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000165802A (ja) * | 1998-11-25 | 2000-06-16 | Matsushita Electric Ind Co Ltd | ストリーム編集装置と編集方法 |
| DE10119214A1 (de) * | 2001-04-19 | 2002-10-24 | Highlight Comm Ag Pfaeffikon | Verfahren zum Komprimieren von Videodaten |
| US7266150B2 (en) * | 2001-07-11 | 2007-09-04 | Dolby Laboratories, Inc. | Interpolation of video compression frames |
| JP4120934B2 (ja) | 2003-06-16 | 2008-07-16 | ソニー株式会社 | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム |
| JP4470431B2 (ja) * | 2003-10-01 | 2010-06-02 | ソニー株式会社 | データ処理装置およびその方法 |
| US7502368B2 (en) * | 2004-04-08 | 2009-03-10 | John Sanders | Method and apparatus for switching a source of an audiovisual program configured for distribution among user terminals |
| JP4207072B2 (ja) * | 2006-04-07 | 2009-01-14 | ソニー株式会社 | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム |
| US8279928B2 (en) * | 2006-05-09 | 2012-10-02 | Canon Kabushiki Kaisha | Image encoding apparatus and encoding method, image decoding apparatus and decoding method |
| JP2008066851A (ja) * | 2006-09-05 | 2008-03-21 | Sony Corp | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム |
| JP4221676B2 (ja) * | 2006-09-05 | 2009-02-12 | ソニー株式会社 | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム |
| JP4325657B2 (ja) * | 2006-10-02 | 2009-09-02 | ソニー株式会社 | 光ディスク再生装置、信号処理方法、およびプログラム |
| US9872066B2 (en) * | 2007-12-18 | 2018-01-16 | Ibiquity Digital Corporation | Method for streaming through a data service over a radio link subsystem |
| US8290036B2 (en) * | 2008-06-11 | 2012-10-16 | Optibase Technologies Ltd. | Method, apparatus and system for concurrent processing of multiple video streams |
| US9185426B2 (en) * | 2008-08-19 | 2015-11-10 | Broadcom Corporation | Method and system for motion-compensated frame-rate up-conversion for both compressed and decompressed video bitstreams |
| US20100046623A1 (en) * | 2008-08-19 | 2010-02-25 | Chen Xuemin Sherman | Method and system for motion-compensated frame-rate up-conversion for both compressed and decompressed video bitstreams |
| US8510107B2 (en) * | 2009-11-18 | 2013-08-13 | General Instrument Corporation | Audio data bit rate detector |
| US8755444B2 (en) | 2010-08-06 | 2014-06-17 | Qualcomm Incorporated | Two-stage entropy decoding |
| CN102098500A (zh) * | 2011-03-02 | 2011-06-15 | 天津大学 | 一种提高八视点自由立体视频网络传输性能的纠错方法 |
| CN102164286B (zh) * | 2011-05-27 | 2012-09-26 | 天津大学 | 一种八视点自由立体视频传输错误隐藏方法 |
| US8813245B1 (en) | 2013-01-25 | 2014-08-19 | Amazon Technologies, Inc. | Securing content using pipelines |
| US9223621B1 (en) * | 2013-01-25 | 2015-12-29 | Amazon Technologies, Inc. | Organizing content using pipelines |
| US9183049B1 (en) | 2013-01-25 | 2015-11-10 | Amazon Technologies, Inc. | Processing content using pipelines |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69122595T2 (de) | 1990-12-27 | 1997-03-20 | Toshiba Kawasaki Kk | Aufzeichnungs- und Abspielgerät |
| US5265122A (en) * | 1992-03-19 | 1993-11-23 | Motorola, Inc. | Method and apparatus for estimating signal weighting parameters in a diversity receiver |
| JP3196906B2 (ja) | 1992-08-21 | 2001-08-06 | 富士ゼロックス株式会社 | 画像信号の符号化装置 |
| JPH06253331A (ja) * | 1993-03-01 | 1994-09-09 | Toshiba Corp | 可変長符号化信号に対応した編集装置 |
| JP3163830B2 (ja) | 1993-03-29 | 2001-05-08 | ソニー株式会社 | 画像信号伝送方法及び装置 |
| NL9301358A (nl) | 1993-08-04 | 1995-03-01 | Nederland Ptt | Transcodeerinrichting. |
| US5715009A (en) | 1994-03-29 | 1998-02-03 | Sony Corporation | Picture signal transmitting method and apparatus |
| US5940130A (en) | 1994-04-21 | 1999-08-17 | British Telecommunications Public Limited Company | Video transcoder with by-pass transfer of extracted motion compensation data |
| JP3200515B2 (ja) * | 1994-06-15 | 2001-08-20 | 日本電信電話株式会社 | 符号化復号化画像の処理方法 |
| AU2744095A (en) * | 1994-06-17 | 1996-01-15 | British Broadcasting Corporation, The | Video compression |
| US5828421A (en) * | 1994-10-11 | 1998-10-27 | Hitachi America, Ltd. | Implementation efficient digital picture-in-picture decoding methods and apparatus |
| JP3588153B2 (ja) * | 1994-10-31 | 2004-11-10 | 三洋電機株式会社 | データ編集方法及び編集装置 |
| GB9501736D0 (en) | 1995-01-30 | 1995-03-22 | Snell & Wilcox Ltd | Video signal processing |
| GB2307613B (en) * | 1995-08-31 | 2000-03-22 | British Broadcasting Corp | Switching bit-rate reduced signals |
| JP3277787B2 (ja) * | 1995-12-21 | 2002-04-22 | ソニー株式会社 | 音声・映像データ記録・再生装置 |
| JPH09322078A (ja) * | 1996-05-24 | 1997-12-12 | Toko Inc | 画像伝送装置 |
| US6137834A (en) * | 1996-05-29 | 2000-10-24 | Sarnoff Corporation | Method and apparatus for splicing compressed information streams |
| JPH1098713A (ja) * | 1996-09-20 | 1998-04-14 | Sony Corp | 映像信号切換装置 |
| US6262777B1 (en) * | 1996-11-15 | 2001-07-17 | Futuretel, Inc. | Method and apparatus for synchronizing edited audiovisual files |
| JPH10150647A (ja) * | 1996-11-19 | 1998-06-02 | Fujitsu Ltd | ビデオ会議システム |
| US6038256A (en) * | 1996-12-31 | 2000-03-14 | C-Cube Microsystems Inc. | Statistical multiplexed video encoding using pre-encoding a priori statistics and a priori and a posteriori statistics |
| JP2933132B2 (ja) * | 1997-01-09 | 1999-08-09 | 日本電気株式会社 | 多地点テレビ会議制御装置及び画面合成符号化方法 |
| EP0923243B1 (en) * | 1997-07-25 | 2010-09-15 | Sony Corporation | Editing device, editing method, splicing device, splicing method, encoding device, and encoding method |
-
1999
- 1999-01-19 JP JP53702799A patent/JP3716328B2/ja not_active Expired - Fee Related
- 1999-01-19 WO PCT/JP1999/000151 patent/WO1999036912A1/ja active IP Right Grant
- 1999-01-19 US US09/381,190 patent/US7305040B1/en not_active Expired - Fee Related
- 1999-01-19 CN CNB998002410A patent/CN1157727C/zh not_active Expired - Fee Related
- 1999-01-19 KR KR1019997008583A patent/KR100548665B1/ko not_active IP Right Cessation
- 1999-01-19 CA CA002284216A patent/CA2284216A1/en not_active Abandoned
- 1999-01-19 EP EP99900350A patent/EP0982726A4/en not_active Withdrawn
-
2006
- 2006-01-18 US US11/334,168 patent/US7920634B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| KR100548665B1 (ko) | 2006-02-03 |
| WO1999036912A1 (fr) | 1999-07-22 |
| CN1157727C (zh) | 2004-07-14 |
| CA2284216A1 (en) | 1999-07-22 |
| EP0982726A4 (en) | 2003-06-04 |
| US20060120466A1 (en) | 2006-06-08 |
| EP0982726A1 (en) | 2000-03-01 |
| CN1256782A (zh) | 2000-06-14 |
| US7305040B1 (en) | 2007-12-04 |
| US7920634B2 (en) | 2011-04-05 |
| KR20010005525A (ko) | 2001-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3716328B2 (ja) | 編集装置および方法、再符号化装置および方法 | |
| KR100604631B1 (ko) | 편집 장치, 편집 방법, 재부호화 장치, 재부호화 방법,스플라이싱 장치 및 스플라이싱 방법 | |
| EP1323314B1 (en) | Transcoding progressive i-slice refreshed mpeg data streams to enable trick play | |
| US5917988A (en) | Editing apparatus, editing method and decoding apparatus for compressed video signal | |
| KR100574186B1 (ko) | 부호화 스트림 스플라이싱 장치 및 방법과 부호화 스트림 생성 장치 및 방법과 편집 장치 및 방법 및 편집 시스템 | |
| JP2001204035A (ja) | デジタル・ビデオ復号システム、複数のビデオ・プログラムを順次表示する方法およびユーザーによって選択される次のチャネルを予測する方法 | |
| JP4337248B2 (ja) | 画像情報の伝送装置、伝送システムおよび伝送方法 | |
| KR20030061789A (ko) | 트랜스코딩 방법 및 장치 | |
| US6483945B1 (en) | Moving picture encoding method and apparatus | |
| KR100289856B1 (ko) | 화상 신호 재생 방법 및 화상 신호 재생 장치 | |
| EP0869679A2 (en) | Encoding, decoding and editing | |
| KR19990072461A (ko) | 동화상부호화방법및장치및기록매체 | |
| JPH11187310A (ja) | ディジタルデータ伝送方法およびディジタルデータ伝送装置 | |
| JP2005278207A (ja) | 編集装置および方法、再符号化装置および方法 | |
| JPH11185317A (ja) | ディジタルデータ記録再生方法および装置、ディジタルデータ記録方法および装置、ディジタルデータ再生方法および装置 | |
| JP2002247565A (ja) | ネットワークａｖカメラおよびシステム | |
| JP4178521B2 (ja) | 符号化映像信号の記録方法、及び映像信号符号化装置 | |
| US9219930B1 (en) | Method and system for timing media stream modifications | |
| JPH11177921A (ja) | ディジタルデータ編集方法、ディジタルデータ編集装置 | |
| KR0183812B1 (ko) | 트릭 플레이를 위한 디지탈 비디오 테이프의 기록 및 재생 장치 | |
| JP2005253093A (ja) | アフレコ信号伝送装置 | |
| JP2005245006A (ja) | アフレコ信号再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050418 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050802 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050815 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080909 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090909 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090909 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100909 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110909 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110909 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120909 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130909 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |