JP4503858B2 - 遷移ストリームの生成/処理方法 - Google Patents

遷移ストリームの生成/処理方法 Download PDF

Info

Publication number
JP4503858B2
JP4503858B2 JP2000611504A JP2000611504A JP4503858B2 JP 4503858 B2 JP4503858 B2 JP 4503858B2 JP 2000611504 A JP2000611504 A JP 2000611504A JP 2000611504 A JP2000611504 A JP 2000611504A JP 4503858 B2 JP4503858 B2 JP 4503858B2
Authority
JP
Japan
Prior art keywords
stream
frame
transition
video
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000611504A
Other languages
English (en)
Other versions
JP2002542681A (ja
JP2002542681A5 (ja
Inventor
クリストファー ウォード,
ロバート, ノーマン ハースト,
Original Assignee
ライト チャンス インコーポレイテッドRight Chance,Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US12927599P priority Critical
Priority to US06/129,275 priority
Priority to US09/347,213 priority patent/US6912251B1/en
Priority to US09/347,213 priority
Priority to US09/430,631 priority patent/US6909743B1/en
Priority to US09/430,631 priority
Priority to PCT/US2000/010208 priority patent/WO2000062552A2/en
Application filed by ライト チャンス インコーポレイテッドRight Chance,Inc. filed Critical ライト チャンス インコーポレイテッドRight Chance,Inc.
Publication of JP2002542681A publication Critical patent/JP2002542681A/ja
Publication of JP2002542681A5 publication Critical patent/JP2002542681A5/ja
Application granted granted Critical
Publication of JP4503858B2 publication Critical patent/JP4503858B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365Multiplexing of several video streams
    • H04N21/23655Statistical multiplexing, e.g. by controlling the encoder to alter its bitrate to optimize the bandwidth utilization
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/40Combinations of multiple record carriers
    • G11B2220/41Flat as opposed to hierarchical combination, e.g. library of tapes or discs, CD changer, or groups of record carriers that together store one title
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Description

【0001】
【関連出願のクロスリファレンス】
本出願は、援用文献であって1999年7月2日に出願された「情報ストリームをフレームアキュレイトでシームレスに継ぎ合わせる方法」(代理人事件整理番号13235)というタイトルの米国出願09/347,213の一部継続出願である。本出願は、援用文献であって1999年4月14日に出願された米国仮出願No.60/129,275の恩恵を享受することを請求するものである。
【0002】
本発明は、一般的に通信システムに関し、特にほぼシームレスに情報ストリームを継ぎ合わせる、即ち、連結する方法に関する。
【0003】
【発明の背景】
通信システムの中には、送信データを圧縮することによって利用可能な帯域幅を効率的に利用するものがある。例えば、動画エキスパートグループ(MPEG)はデジタルデータ伝送システムに関する複数の規格を発表している。第一に、ISO/IEC規格11172はMPEG−1として周知のものであって、それは本願の援用文献である。第二に、ISO/IEC規格13818はMPEG−2として周知のものであって、本願の援用文献である。圧縮されたデジタル映像システムは、高品位テレビシステム委員会(ATSC)のデジタルテレビ規格文書A/53に記述されており、それは本願の援用文献である。
【0004】
テレビスタジオやその他の情報ストリームの「消費者」にとって重要なことは、情報ストリーム(例えば、映像や音声やその他の関連情報サブストリーム等を含む符号化された伝送プログラムストリーム)間をフレームアキュレイトでほぼシームレスに連結する、即ち、継ぎ合わせることができることである。「フレームアキュレイト」とは、符号化されたフレームのフレームタイプ(例えば、符号化されたIフレームやPフレームやBフレーム)に関係なく、ユーザが選択した複数のフレームが正確に継ぎ合わされることである。「シームレスな継ぎ合わせ」とは、連続する有効なMPEGストリームが得られる継ぎ合わせを意味する。従って、フレームアキュレイトなシームレススプライサが、第1の情報ストリームをフレームアキュレイトでシームレスに継ぎ合わせて第2の情報ストリームを生成するときに、正確な数のフレームを保存する(例えば、900個の映像フレームのコマーシャル描写を備える、符号化された伝送プログラムを、ちょうど900個のフレームから成る一「スロット」にスケジュールすることができる)。
【0005】
幾つかの周知の方法では、以下の手順を変更したものが利用される。即ち、「インストリーム」や「アウトストリーム」をベースバンド、即ち、基本レベルに復号化するステップと、継ぎ合わせを実行するステップと、その結果継ぎ合わされたストリームを再び符号化するステップである。これらの方法によって、フレームアキュレイトでシームレスに継ぎ合わせられるが、莫大な費用がかかる。
【0006】
伝送ストリームレベルでシームレスな継ぎ合わせを可能にするよう改良された方法では、例えば映像情報等を含むMPEGやMPEG準拠の情報ストリームは、比較的シームレスに継ぎ合わされるが、これは、適切なストリームの入口ポイントと出口ポイントの各々を示す各ストリームの「インポイント」と「アウトポイント」を定義することによって行われる。例えば、MPEG準拠の映像ストリーム内の映像シーケンスヘッダを含むパケットは、適切なインポイントを備える。MPEG準拠の情報ストリームはそのインポイントやアウトポイントを含むので、継ぎ合わせが可能であると考えられている。米国映画テレビ技術者協会(SMPTE)ではそのような継ぎ合わせポイントを定義する規格SMPTE312Mを提案しており、これは、「MPEG−2伝送ストリームの継ぎ合わせポイント」というタイトルであって援用文献である。
【0007】
あいにく、このようなインポイントやアウトポイントの配置は、画像フレーム符号化モードやグループオブピクチャーズ(GOP)構造等の要因によって定義される。従って、望ましい継ぎ合わせポイントが適切なインポイントやアウトポイントでない場合、情報ストリーム間のシームレスな継ぎ合わせを行おうとするエンドユーザは、「フレームアキュレイト」にそれを実行することはできない。
【0008】
従って、MPEG準拠の伝送ストリームを、正確なフレームが得られるようにシームレスに継ぎ合わせる方法や装置を提供することが望ましい。さらに、フレームアキュレイトでシームレスに継ぎ合わせる方法や装置をテレビスタジオやその他の映像提供環境等の特定の環境に適用する方法や装置を備えることが望ましいと考えられる。
【0009】
【発明の概要】
本発明は、遷移ストリームを生成し、画素領域プロセスや音声領域プロセスやその他のデータ領域プロセスを用いて、映像や音声や遷移ストリーム内のその他のデータをそれぞれ処理するための方法を備える。本発明の別の実施形態では、遷移ストリームを形成する画像フレームに関する非映像データが遷移ストリームに含まれることが保証される。本発明は、マルチ/シングルプログラム伝送ストリームの継ぎ合わせ処理を支援する。
【0010】
特に、画像フレームを含む伝送ストリームを処理するシステムで、第1の伝送ストリームから第2の伝送ストリームへほぼシームレスに遷移させるために遷移ストリームを生成する方法であって、提供される第1の伝送ストリームの最終画像フレームを示す少なくとも一つのターゲットアウトフレームを含む第1の伝送ストリームの一部を復号化するステップと、提供される第2の伝送ストリームの最終画像フレームを示す少なくとも一つのターゲットインフレームを含む第2の伝送ストリームの一部を復号化するステップと、復号化された画像フレームのうちの少なくとも一つを画素領域プロセスを用いて処理するステップと、遷移ストリームを生成するためにターゲットアウトフレームとターゲットインフレームを含む復号化された画像フレームを符号化するステップを備える。
【0011】
添付の図面で詳細な説明を検討することによって、本発明の教唆をすぐに理解することができる。
【0012】
容易に理解できるように、複数の図で共通の同一の要素を示すために同一の参照番号を用いている。
【0013】
【詳細な説明】
以下の説明を検討すれば、当業者はあらゆる情報処理システムで本発明の教唆をすぐに利用できることを明確に認識できる。尚、この情報処理システムでは、映像サブストリームを含むMPEG準拠の伝送ストリーム等を正確なフレームが得られるようにシームレスに継ぎ合わせなければならない。
【0014】
放送用コントローラによって、格納された映像ストリーム(例えば映像セグメント、即ち、「クリップ」)をサーバから検索し、それをフレームアキュレイトでシームレスに継ぎ合わし、例えば遠距離にあるデコーダに伝送するのに適したMPEG−2準拠の映像ストリーム等を作成するテレビスタジオ環境に関して、本発明の一実施形態が説明される。しかしながら、本発明の範囲と教唆の適用範囲は非常に広く、開示された実施形態に本発明が限定されるものだと解釈されるべきではない。例えば、ケーブルヘッドエンドに対するサーバでのアセットストリーミングや、デジタル映画へのローカルなコマーシャルと予告編の挿入や、インターネットに基づき正確なフレームを得るためのMPEG−2伝送ストリームのストリーミングや、限定された制作施設(即ち、ニュースやその他のアプリケーションの複数のセグメントを組み立てる制作施設)にも本発明を適用することができる。
【0015】
本明細書では本発明を説明するために様々な用語が用いられている。以下の記述によって変更されない限り、それらの用語は次のように定義される。継ぎ合わされたストリームは、特定の継ぎ合わせポイントで出口ストリーム(即ち、フロムストリーム)と入口ストリーム(即ち、ツーストリーム)を連結されて形成されたストリームを備える。出口フレームは出口ストリームの最終フレームである。入口フレームは入口ストリームの第1のフレームである。
【0016】
図1は、テレビスタジオの高レベルなブロック図を示す。特に図1のスタジオには、放送サーバ110と大容量記憶デバイス115と放送用コントローラ120とルータ130とネットワークインタフェースデバイス(NID)140が備えられている。
【0017】
大容量記憶デバイス115を利用して、例えば、符号化された映像サブストリームとそれに関連する音声ストリームが含まれるMPEG−2伝送ストリームを格納することよって番組を提供することができる。また、大容量記憶デバイス115を利用することによって、映像データと音声データとプログラム情報とその他のデータを含むパケット化基本ストリームや非パケット化基本ストリームなどのその他の種類の情報ストリームも格納することができる。
【0018】
信号経路S1を介して、放送サーバ110は大容量記憶デバイス115から情報ストリームを検索する。放送用コントローラ120(例えば、プレイリスト)によって作成された制御信号に応じて検索された情報ストリームを処理することによって、複数の連結された伝送ストリームを備える出力伝送ストリームを作成することができる。放送サーバ110は出力伝送ストリームを供給し、信号経路S2を介してルータ130に接続される。
【0019】
信号経路S3を介して放送用コントローラ120は放送サーバ110や他のスタジオ機器(図示せず)に制御信号を供給する。信号経路S3はルータ130に接続される。ルータ130を用いることによって、テレビスタジオ100の様々な機能要素間の全制御情報やプログラム情報のルートを決定することができる。例えば、制御情報は信号経路S3を介して放送用コントローラ120からルータ130に送られ、その後、ルータ130はその制御情報を信号経路S2を介して放送サーバ110に送る。オプションとして、放送用コントローラ120と放送サーバ110間の直接制御接続線CONTOLを用いることによって制御情報を送信することができる。
【0020】
信号経路S2を介してルータ130は放送サーバ110から出力伝送ストリームを受信し、すぐに出力伝送ストリームを信号経路S5を介して他のスタジオコンポーネント(例えば、エディタやオフライン記憶要素等)に、あるいは信号経路S6を介してネットワークインタフェースデバイス140に送る。
【0021】
ネットワークインタフェースデバイス(NID)140を用いることによって、出力伝送ストリームや、制御情報や、図1のテレビスタジオ100とその他のスタジオ(図示せず)間でのその他の情報を通信することができる。オプションとして、NIDは他のスタジオや離れたところにいるカメラクルーや放送局等から情報ストリームを受信する。これらのストリームは、放送サーバ110に与えられ、それはすぐに処理されて出力伝送ストリーム(例えば、ニュースイベントの「生」放送)が生成されたり、遅延処理されたり、あるいは(処理されて、もしくは、処理されずに)大容量記憶デバイスに格納される。
【0022】
例えばカリフォルニア州マウンテンビューのSGI社製のオリジン(Origin)2000の「放送/制作サーバ」等の圧縮ビットストリーム映像サーバを用いて放送サーバ110や大容量記憶デバイス115が実現される。
【0023】
放送用コントローラ120は、放送サーバ110から出力された伝送ストリームの後に組み込まれる予定の情報ストリーム、即ち、クリップに対応するプレイリスト125を備える。プレイリスト125には、情報ストリーム、即ち、クリップの各々の正確なフレームの入口/出口位置情報が含まれる。尚、放送サーバによって、クリップは大容量記憶デバイス115から検索され、連結される、即ち、継ぎ合わされて、出力される伝送ストリームが生成される。また、プレイリスト125では、情報ストリーム、即ち、クリップの各々に対する第一のフレームと最終フレームが識別可能である。
【0024】
プレイリスト125の少なくとも一部を提供する放送用コントローラからの制御信号に応じて、放送サーバ110は大容量記憶デバイスから適切なストリーム、即ち、クリップを検索し、制御信号のフレーム入口/出口情報に基づいてフレームアキュレイトでシームレスにクリップを継ぎ合わせることによって出力伝送ストリームが生成される。重要なことであるが、生成された出力伝送ストリームには、構文エラーや、ネットワークインタフェースデバイス140によって提供されたリモートフィードを含むその他のスタジオ要素に対する不連続部分がない。放送サーバによって行われる継ぎ合わせ、即ち、連結処理については、図2A及び図2Bについて以下で詳細に説明される。
【0025】
図2Aと図2Bは、本発明を理解するために役立つ継ぎ合わせ処理を示す図表である。特に、図2Aは、遷移クリップ(230)を用いて30フレーム/秒で2つのMPEG−2伝送ストリームクリップ(210、220)をフレームアキュレイトでシームレスに継ぎ合わせて、30フレーム/秒で継ぎ合わされたMPEG−2伝送ストリームクリップ(240)を生成する処理を図示したものである。第1のストリーム210の一部と第2のストリーム220の一部を用いて遷移ストリーム230が形成される。継ぎ合わされたストリーム240は、第1のストリーム210と遷移ストリーム230と第2のストリーム220の連結部を備える。継ぎ合わされたストリーム240には、第1のストリーム210のアウトポイント(210−OUT)と第2のストリーム220のインポイント(220−IN)にある第1のストリームと第2のストリーム間の「ナイフエッジ」、即ち、正確なフレームを得るための継ぎ合わせ部分が備えられる。
【0026】
図2Bは、図2Aに示されたストリーム、即ち、クリップの様々なSMPTEタイムコードを示す。第1のストリーム、即ち、クリップ210(ストリームA)は、SMPTEタイムコード00:00:00:00で示される時間t0で始まる第1のフレーム210−STを含む複数のフレームと、時間t1で始まる遷移アウトフレーム210−TRANSとSMPTEタイムコード00:00:02:13で示される時間t2で終了するアウトフレーム210−OUTと、時間t2後に始まる最終フレーム210−ENDを備える。
【0027】
アウトフレーム210−OUTは、表示される第1のストリーム210の最終フレーム(即ち、望ましい継ぎ合わせポイントのすぐ前にあるフレーム)を備える。アウトフレーム210−OUTは遷移ストリーム230内に含まれる。遷移アウトフレーム210−TRANSは伝送される第1のストリーム210の最終フレームを備える。つまり、遷移ストリーム230は遷移アウトフレーム210−TRANS直後の第1のストリーム210に連結される。
【0028】
第2のストリーム、即ち、クリップ220(ストリームB)はSMPTEタイムコード00:00:00:00で始まる第1のフレーム220−STと、SMPTEタイムコード00:00:00:23で示される時間t2で始まるインフレーム220−INと、時間t3で始まる遷移インフレーム220−TRANSと、SMPTEタイムコード00:00:04:17で示される時間t4で終了する最終フレーム210−ENDを備える。
【0029】
インフレーム220−INは、表示される第2のストリーム220の第1のフレーム(即ち、望ましい継ぎ合わせポイント直後のフレーム)を備える。インフレーム220−INは遷移ストリーム230内に含まれる。遷移インフレーム210−TRANSは、伝送される第2のストリーム220の第一のフレームを備える。つまり、遷移インフレーム220−TRANSは遷移ストリーム230に連結される第2のストリーム210の第1のフレームである。
【0030】
遷移ストリーム、即ち、クリップ230(ストリームT)は映像ストリームをフレームアキュレイトでシームレスに継ぎ合わせるのに適したデータ構造である。遷移ストリーム、即ち、クリップ230(ストリームT)は時間t1で始まる第1のフレーム230−STと時間t3で終了する最終フレーム230−ENDを含む複数のフレームを備える。遷移クリップは、各インフレームとアウトフレームを含む第1のストリーム210と第2のストリーム220からのフレームを備える。図2では、遷移クリップの開始点と終了点はそれぞれ時間t1とt3として示されている。これらの時間や遷移ストリームの実際の第1のフレームと最終フレームは、図8と9に関して以下で説明される方法で決定されることに注意されたい。
【0031】
継ぎ合わされたストリーム240は、SMPTEタイムコード00:00:00:00で示される時間t0で始まる第1のフレーム240−STと、SMPTEタイムコード00:00:04:17で示される時間t4で終了する最終フレーム240−ENDを含むフレームを備える。継ぎ合わされたストリーム240は、第1のクリップ210(即ち、t0からt2)からの73個のフレームと第2のクリップ(即ち、t2からt4)からの115個のフレームを備える。
【0032】
図2Aに示される継ぎ合わされたストリーム240には、ナイフエッジの継ぎ合わせ(タイムコード00:00:02:13で示される遷移ストリーム240)を実現するよう(遷移ストリーム230を用いて)に連結された第1のストリーム210と第2のストリーム220が含まれており、第1のストリーム210は明らかにアウトフレーム210−OUTで終わり、明らかにインフレーム220−INから第2のストリーム220が始まる。本発明を用いることによって、アウト(出口)フレームやイン(入口)フレームのフレームタイプに関係なく、フレームアキュレイトで継ぎ合わせ処理を行うことができる。
【0033】
(SMPTE312M継ぎ合わせ規格で議論された)理想的な継ぎ合わせ状態では遷移クリップは不要であることに注意されたい。しかしながら、ほとんどの状態下では、理想的な状態で生成されることがある「空フレーム」の遷移クリップではない多数のフレームが遷移クリップに含まれる。
【0034】
図3は、図1のテレビスタジオでの使用に適する放送サーバに関する一実施形態を示す。特に、図3の模範的な放送サーバ110は、入出力(I/O)回路部310とサポート回路部330とプロセッサ320とメモリ部340と、オプションとしてのタイムベースコレクタ350を備える。電源やクロック回路やキャッシュメモリ等と同様に放送サーバ110内の様々なソフトウェアルーチンの実行を支援する回路部等の従来のサポート回路部310とプロセッサ320は、一緒に動作する。また、放送サーバ110と大容量記憶デバイス115とルータ130間のインタフェースを形成する入出力回路部310を放送サーバ110は含む。
【0035】
メモリ部340には、本発明を実施するために適したプログラムやその他の情報が含まれる。特に、メモリ部340を利用して複数のプログラムを格納することができるが、それらがプロセッサ320によって実行されると、インデックス生成機能342と、遷移クリップ生成機能344と、オプションとして遷移クリップタイム再スタンピング機能345が実行される。オプションとして、メモリ部340は、インデックスライブラリ346とストリームライブラリ348のうちの1つまたはその両方を含む。
【0036】
図2Aや図2Bに関してすでに説明したような継ぎ合わせ処理を行うために、本発明は遷移クリップ生成機能344を利用する。遷移クリップ生成機能344では、遷移クリップを生成することによって、(例えば、遷移ストリームジェネレータによって決定された)第1の所定の伝送パケット境界で第1のストリーム210を終了し、生成された遷移クリップ230を実行し、第2の所定の伝送パケット境界から第2のストリーム220を入れることができる。第1のストリーム210と第2のストリーム220に対する実際の出口ポイント(210−TRANS)と入口ポイント(220−TRANS)は、通常、要求された実際のフレームとは一致しない。むしろ、継ぎ合わせを要求された第1のストリーム210の出口ポイント210−OUTの直前のフレームと、継ぎ合わせを要求された第2のストリーム220の入口ポイント220−INによって、遷移クリップは構成される。
【0037】
本発明では、ストリーム間の遷移の質を最適化する方法で、遷移ストリームに含まれるフレームを選択することが好ましい。つまり、フレームアキュレイトでシームレスな継ぎ合わせ処理を行っても、継ぎ合わせポイント近傍で映像情報の質の劣化は起こりうる。これは、例えば映像バッファリングベリファイヤ(VBV)レベルのミスマッチによる「ビット欠乏」やその他の符号化の偏差によって引き起こされる。本発明では、VBVレベルを適応してそのような偏差を最低限に抑える。
【0038】
インデックス生成機能342について詳細に述べる。二種類の情報を用いることによって遷移クリップとフレームデータとMPEGデータを構築することができる。フロムストリームとツーストリームの特定のフレームに関する位置とコードタイプと表記順等の情報がフレームデータに含まれる。フレームデータを用いることによって、フロムストリームとツーストリームのどのフレームを再び符号化し遷移クリップを作成するかが決定される。フレームの寸法やビットレートやフレームフォーマット対フィールドフォーマットや映像バッファリングベリファイヤ(VBV)遅延量やクロミナンスサンプリングフォーマット等の情報がMPEGデータに含まれる。MPEGデータを用いることによって、伝送ストリームのMPEG符号化特性を指定することができる。遷移クリップを入力TSと同じMPEGパラメータを用いて符号化、即ち、再符号化することが好ましい。
【0039】
遷移クリップ生成機能344によって遷移クリップの生成を支援するために、本発明ではインデックス生成機能342を用いる。特に、インデックス生成機能342を用いることによって、継ぎ合わされる各伝送を処理し、伝送ストリームの各フレームに関する複数のパラメータを決定することができる。インデックス生成機能342によって処理された各伝送ストリームがそれと関連をもつメタファイルを備えるように、決定されたパラメータはメタファイルに格納される。インデックス生成機能342によって処理された伝送ストリームは、大容量記憶デバイス115またはストリームライブラリ348に格納される。同様に、伝送ストリームに関連するメタファイルは、大容量記憶デバイス115またはインデックスライブラリ346に格納される。
【0040】
模範的な実施形態では、インデックス生成機能342は、符号化された伝送映像ストリームの各映像フレームについて以下のものを決定する:
1)現在のピクチャ番号(表示順)と;
2)ピクチャコードタイプ(I、P、Bフレーム)と;
3)フレームの先頭を含む伝送パケット数と;
4)最終フレームを含む伝送パケット数と;
5)フレームの表示タイムスタンプ(PTS)と;
6)フレームの復号化タイムスタンプ(DTS)と;
7)フレームに先行するシーケンスヘッダの先頭を含む伝送パケット数と;
8)フレームに先行するピクチャヘッダの先頭を含む伝送パケット数と;
9)SMPTE312M継ぎ合わせシンタックスに基づくフレームマーキング等によって与えられた適切なインフレームやアウトフレームを備えるフレームの印。
【0041】
フレーム毎のデータの他に、インデックス生成機能342はオプションとして、シーケンスヘッダとピクチャヘッダ等のMPEG−2構造共通の全フィールドを保存する。
【0042】
従って、ストリームライブラリ348(または大容量記憶デバイス115)は、インデックス生成機能342によって処理された複数の伝送ストリームを備える。インデックス生成機能342の一実施形態は、図10について以下で説明される。
【0043】
伝送ストリームの構文解析は時間がかかるので、本発明の実施形態ではプリインデキシングが用いられる。即ち、大容量記憶デバイス115やストリームライブラリ348に格納された伝送ストリームは、その格納時か、もしくは、その後のできるだけ早いときに、インデックス生成機能342によって処理される。このように、遷移クリップを構築するのに必要な時間は大幅に短縮される。何故ならば、継ぎ合わせてストリームのMPEGパラメータとフレームを決定するときに、伝送ストリームを構文解析する必要がないからである。さらに、オプションとして、大容量記憶デバイス115やインデックスライブラリ346に格納されたメタファイルを用いることによって、放送サーバ110はスケジューリングやフレームレート等のその他の機能に必要な伝送ストリームの特性を素早く検索することができる。
【0044】
図10は、一情報ストリームにインデックスを付ける方法のフローチャートである。特に、図10は方法1000のフローチャートであり、図3の放送サーバ110のインデックス生成機能342で使用するのに適している。図10の方法1000は、図7の方法700の実施ステップ705で使用するのに適している。
【0045】
方法1000はステップ1005から始まり、インデックスが付けられる一つの情報ストリームが受信される。方法1000はステップ1010に進む。
【0046】
ステップ1010では、インデックス付けられる情報ストリームの伝送レイヤが構文解析される。つまり、構文解析される情報ストリーム内の各伝送パケットのヘッダ部をテストすることによって、伝送パケット数(tr)や伝送パケット内のシーケンスヘッダの有無や伝送パケット内のピクチャヘッダの有無やインフレームやアウトフレームの継ぎ合わせを示すSMPTE312M継ぎ合わせシンタックスの有無やその他の情報を識別することができる。方法1000はステップ1015に進む。
【0047】
ステップ1015では、第1のフレームまたは現在のフレームがテストされる。つまり、インデックス付けられる情報ストリームを、パケット化基本ストリーム(PES)レイヤに至るまで構文解析することによって、インデックス付けられる情報ストリーム内に含まれる映像基本ストリームの第1の映像フレームをテストすることができる。方法1000はステップ1020に進む。
【0048】
ステップ1020では、ステップ1015でテストされたフレームの様々なパラメータが決定される。特に、図1020−Dを参照すると、現在のピクチャ番号(表示順)やピクチャ符号化タイプ(I、PまたはBフレーム)やフレームの先頭を含む伝送パケット数やフレームの最後を含む伝送パケット数やフレームの表示タイムスタンプ(PTS)や復号化タイムスタンプ(DTS)はステップ1020によって決定される。ステップ1010で前もって述べたが、フレームに先行するシーケンスヘッダの先頭を含む伝送パケットについて言及し、また、フレームに先行するピクチャヘッダの先頭を含む伝送パケット数について言及し、例えば、SMPTE312M継ぎ合わせシンタックスに基づくフレームマーキングによって提供される適切なインフレームやアウトフレームを備えるフレームの印についても言及した。さらに、ステップ1020では、「CBd」や「Bd」も決定される。次に、方法1000はステップ1025に進む。
【0049】
量Bdはストリーム内でマークされたバッファ遅延量である。これは、ピクチャの第1のビットがVBVバッファ内に残っている時間である。量CBdは計算されたバッファ遅延量である。インデクサはこの値を計算するが、それについてはMPEG−2仕様書の付録Cで示されている。バッファ遅延量Bdと計算されたバッファ遅延量CBdは一致しなければならないが、入口ストリームが不適切にマークされた場合には、この二つの量は一致しない。本発明は、バッファ遅延値を利用して、210transと220trans間のVBVレベルを調整する方法を決める。VBVレベルは、遷移クリップで調整される。
【0050】
ステップ1025では、インデックス情報に関する情報が、例えば大容量記憶デバイス115やインデックスライブラリ346に格納される。方法1000はステップ1030に進む。
【0051】
ステップ1030では、さらに多くのフレームを処理すべきかどうかについての問合せがなされる。その問合せの答えがいいえの場合、方法1000はステップ1040に進み、そこで終了する。その問合せの答えがはいの場合、方法1000はステップ1035とステップ1015に進む。ステップ1035では、次のフレームが待ち行列に入れられる。また、ステップ1015では次の待機フレームが検査される。
【0052】
図11は、図3のインデックスライブラリ346で使用するのに適したメタファイルを表形式で表わしたものである。特に、図11の表1100は、複数のレコード(1−54)であって、その各レコードは各開始伝送パケットフィールド1110に関連する、当該レコードと、パケット化された基本ストリーム識別フィールド1120と、フレーム/フレームタイプ識別フィールド1130と、PTSフィールド1140と、DTSフィールド1150と、Bdフィールド1160と、CBdフィールド1170と、マークされた継ぎ合わせポイントフィールド1180を備える。
【0053】
本発明の一実施形態では、伝送ストリームを受信したり継ぎ合わせたりした後ではインデックス生成機能342は用いられない。本実施形態では、継ぎ合わされる各伝送ストリームの少なくとも一部をシングルパス処理することによってフレームが選択されるので、フロムストリームとツーストリームに関する複数のパラメータを決定することができる。
【0054】
フロムストリームとツーストリームのどちらの場合でも、以下のパラメータが決定される。即ち、復号化開始のためのシーケンス_ヘッダとピクチャ_ヘッダの伝送パケットオフセットと、復号化するフレーム数と、廃棄される復号化されたフレーム数(例えば、遷移クリップに含まれるフレームを復号化するために必要なアンカーフレーム等)が決定される。
【0055】
フロムストリームだけに対しては、以下のパラメータが決定される。即ち、フロムストリーム(即ち、新しい出口ポイント、即ち、出口フレーム)からプレイさせるための最終伝送パケットと、遷移クリップに表示するための第1のフレームのPTSである。
【0056】
ツーストリームだけに対しては、以下のパラメータが決定される。即ち、遷移クリップに対して送られるIフレームの先頭と最後の伝送パケットと、遷移クリップに対して送られる残りのGOPの先頭と最後の伝送パケットと、ツーストリーム(即ち、新規入口ポイント、即ち、入口フレーム)からプレイさせるための第1の伝送パケットと、コピーされるフレーム数である。
【0057】
さらに、伝送ストリームを構文解析するときにインデックスライブラリによってMPEGフィールドが検索されるので、フレーム選択中に必要な符号化パラメータはすべて保存される。
【0058】
ここで、遷移クリップ生成機能344について詳細に説明する。遷移クリップを構成するプロセスは、1)遷移クリップにどのフレームを組み入れるかを決定するステップと、2)遷移クリップに組み入れるフレームを復号化するステップと、3)遷移クリップを形成するフレームを符号化または再び符号化するステップと、4)遷移クリップを伝送用に符号化(即ち、パケット化)するステップを備える。
【0059】
フレームを選択すると、出力される遷移クリップの大きさと、遷移クリップを生成するために必要な時間に影響し、再符号化された映像の質の最適化に関する拘束条件がエンコーダに与えられる。ここで議論されるフレーム選択方法によってフレーム依存の問題が解決される一方で、フレーム数が削減され、質を大きく損なうことなく映像を再符号化するために十分な遷移時間が与えられる。
【0060】
符号化または再符号化のステップは、通常遷移クリップ生成機能344の中で最も時間のかかるステップであるが、再符号化するフレーム数を削減することによって時間を短縮することができる。しかしながら、遷移クリップを構築する主な理由のうちの1つは、継ぎ合わされる二つの伝送ストリーム間のVBVレベルの相違を調和させることである。そのため、フレーム数を削減すると(特に、VBVレベルを下げると、ほんの少しのビットでフレームを符号化しなければならないため)、エンコーダはVBVレベルを調整しながら映像の質を維持することがさらに難しくなる。VBVレベルを下げるために、バッファから取り出されるのではなくバッファに与えなければならないビットはほとんどない。これによって、エンコーダにとってピクチャ毎に用いるビット(平均して)はほとんどない。
【0061】
図5は、本発明を理解する上で役立つように、画像フレームの表示順と画像フレームの伝送順を表形式で示す。特に、図5は、映像シーケンスの一部を構成する24個の符号化された画像フレームを表示順に示した第1の表510と、映像シーケンスを構成する24個の画像フレームを伝送順に示した第2の表520を示す。これについて議論する目的のために、図2の第1のストリーム210について既に説明したように、図5に示される映像シーケンスには、フロムストリーム映像シーケンス(即ち、継ぎ合わせられたシーケンス形式で表示される第1のシーケンス)の一部が含まれる。
【0062】
特に、第1の表510によって画像フレームが表示され、以下のような(フレーム1からフレーム24の)グループオブピクチャーズ(GOP)構造に基づいて符号化される:
I−B−B−P−B−B−P−B−B−I−B−B−P−B−B−P−B−B−I−B−B−P−B−B。
【0063】
さらに、第2の表520によって画像フレームが以下のフレーム順に伝送される:
1−4−2−3−7−5−6−10−8−9−13−11−12−16−14−15−19−17−18−22−20−21−25−23。
【0064】
以下で議論するために、図5に示された映像シーケンスが、Bフレームを備えるフレーム15で終了することが望ましいと仮定する。つまり、フレーム15は図5に示された出口ストリームであるアウトフレームを備える。以下で議論されるように、フレーム10からフレーム15は(表示順に)復号化される。フレーム16は、伝送順でフレーム15に先行するアンカーフレームであることに注意されたい。従って、フレーム16を復号化した後で(Bフレームである)フレーム14と15を復号化しなければならない。遷移クリップに先行するフロムクリップの最終フレームは、フレーム13である。つまり、フロムクリップはフレーム16の直前で終了する。
【0065】
図6は、本発明を理解する上で役に立つ、画像フレームの表示順と画像フレームの伝送順を示す表である。特に、図6は、映像シーケンスの一部を構成する26個の符号化された画像フレームを表示順に示す第1の表610と、映像シーケンスを構成する26個の画像フレームを伝送順に示す第2の表620を示す。これについて議論する目的で、図6に示された映像シーケンスは、図2の第2のストリーム220について既に説明したように、ツーストリーム映像シーケンス(即ち、継ぎ合わされたシーケンスに表示される第2のシーケンス)の一部を備える。
【0066】
特に、第1の表610毎に画像フレームが表示され、以下のような(フレーム1からフレーム26までの)グループオブピクチャーズ(GOP)構造に基づいて符号化される:
I−B−B−P−B−B−P−B−B−I−B−B−P−B−B−P−B−B−I−B−B−P−B−B−I−B。
【0067】
さらに、第2の表520毎に画像フレームが以下のフレーム順に伝送される:1−4−2−3−7−5−6−10−8−9−13−11−12−16−14−15−19−17−18−22−20−21−25−23−24−28。
【0068】
以下の議論を行う目的で、Bフレームを備えるフレーム15から、図6に示された映像シーケンスに入ることが望ましいと仮定する。つまり、フレーム15は、図6に示された入口ストリームであるインフレームを備える。以下で議論されるが、フレーム10からフレーム18が(表示順に)復号化される。ツーストリームから表示される第1のフレームはフレーム25(遷移クリップに含まれないIフレーム)であることに注意されたい。
【0069】
図7は遷移ストリーム、即ち、遷移クリップを生成する方法のフローチャートである。図7は方法700のフローチャートであり、図3の放送サーバ110の遷移クリップ生成機能344で使用することに適している。
【0070】
方法700はステップ705から始まり、ここでは、「フロムストリーム」と「ツーストリーム」に注釈がつけられる。即ち、継ぎ合わせポイントに先行する情報を提供する情報ストリーム(フロムストリーム)と、継ぎ合わせポイント以降の情報を提供する情報ストリーム(ツーストリーム)に注釈をつけることによって、インデックス生成機能342に関して上述された様々なフレームパラメータをフレーム毎に識別することができる。情報ストリームに注釈をつける方法は、図10で既に説明した。次に、方法700はステップ710に進む。
【0071】
ステップ710では、出口フレームに先行するフロムストリームの一部が復号化される。つまり、出口フレーム(即ち、表示されるフロムストリーム内の最終情報フレーム)を含むフロムストリーム内の複数の情報フレームが復号化される。次に、方法700はステップ715に進む。
【0072】
ステップ715では、入口フレームで始まるツーストリームの一部が復号化される。つまり、入口フレーム(即ち、表示されるツーストリームの第1フレーム)から始まるツーストリーム内の情報フレームが復号化される。次に、方法700はステップ750に進む。
【0073】
ステップ720では、フロムストリームとツーストリームの復号化された部分を再符号化することによって、遷移クリップ、即ち、遷移ストリームを生成する。伝送ストリームには、例えばフロムストリーム及びツーストリームに関する映像及び音声情報が含まれる。
【0074】
図7の方法700によって生成された遷移ストリーム、即ち、遷移クリップは例えば、図1及び図3の放送サーバ110によってフロムストリームとツーストリーム間の遷移用である。
【0075】
【A.フレームの選択】
遷移クリップ、即ち、遷移ストリームを構築する処理の第1のステップは、どのフレームを遷移クリップに含ませるかを決定するステップ(即ち、フレーム選択処理)を備える。
【0076】
図8は、フロムストリーム内のどの情報フレームを遷移ストリームに含ませるかを決定する方法のフローチャートである。図8の方法800は、図7の方法700を実施するステップ710で使用することに適している。
【0077】
方法800はステップ805に入り、ここではフロムストリームの出口フレームが識別される。フロムストリームの出口フレームは、継ぎ合わせポイントに先行して表示されるフロムストリームの最終フレームである。例えば、図5に示されたフロムストリームを参照すると、出口フレーム(フレーム15)は、フレーム513として示されるBフレームを備える。次に、方法800はステップ810に進む。
【0078】
方法800のステップ810では、出口フレームと、その直前の非アンカーフレームを表示順に復号化する。即ち、図5を再び参照すると、出口フレーム(フレーム15)とその直前の非アンカーフレーム(フレーム11と12と13と14)が復号化される。フレーム11、12、13はフレーム10を用いて予測されるため、フレーム10も復号化しなければならない。しかしながら、復号化されたフレーム10はフレーム11−13が復号化された後に廃棄される。つまり、表示順に出口フレームの前のIフレームから出口フレームまでの全フレームが復号化される。Iフレームはフレーム依存性がない(即ち、他のフレームを先に復号化せずに復号化できる)ので、Iフレームから始めなければならない。次に、方法800はステップ815に進む。
【0079】
ステップ815では、出口フレームがBフレームであるかどうか問合せされる。ステップ815の問合せの答えがいいえであれば、方法はステップ820に進む。ステップ815の問合せの答えがはいであれば、方法800はステップ825に進む。
【0080】
ステップ820では、出口フレームはIフレームまたはPフレームのいずれかであるので、遷移ストリームフレームの前に表示される最終フロムストリームフレーム(即ち、遷移フレーム)は、伝送順で出口フレームの直前のフレームである。つまり、図5に示されたフロムストリームのフレーム15がBフレームではなくPフレームまたはIフレームであった場合は、表示される最終フロムストリームフレームはフレーム14となる。出口フレームがIまたはPフレームならば、フレームの依存性および再順序付けによって、次のアンカーフレームの直前(即ち、出口フレームに依存する全てのBフレームの後)の伝送フレームカットすることができる。これによって、再符号化するフレーム数が減り、遷移のためのVBVレベルを調整する機会も減る。次に、方法800はステップ830に進む。
【0081】
ステップ825では、出口フレームがBフレーム(図5に示されたフロムストリーム内の出口フレーム等)である場合、表示される最終フロムストリームのフレームは、伝送順でアンカーフレームの直前のフレームである。図5を参照すると、出口フレームに関するアンカーフレームに先行するフレームは、Pフレーム(フレーム13)である。図5に示された24個のフレームシーケンスのうち伝送される最終フレームはBフレーム12であるが、表示される最終フレームはPフレーム13であることに注意されたい。次に、方法800はステップ830に進む。
【0082】
ステップ830では、表示順で最終フロムストリームフレームの後の復号化されたフレーム(例えば、図5のフレーム12として示されるBフレーム)が遷移クリップ内に格納される。また、遷移ストリーム、即ち、クリップはツーストリームからのフレームも含むことに注意されたい。遷移クリップ内に格納されるフレームは全て再符号化され、符号化された遷移クリップ、即ち、遷移ストリームを形成する。
【0083】
図9は、ツーストリーム内のどの情報フレームを遷移ストリーム内に含ませるかを決定する方法のフローチャートである。特に、図9の方法900は、図7の遷移ストリーム生成方法700の実施ステップ715で使用するのに適している。
【0084】
方法900はステップ905に入る。ステップ905ではツーストリームの入口フレームが識別される。ツーストリームの入口フレームは、継ぎ合わせポイントの後に表示されるツーストリーム内の第1のフレームである。例えば、図6に示されたツーストリームを参照すると、入口フレーム(フレーム15)はBフレームを備える。次に、方法900はステップ910に進む。
【0085】
ステップ910では、表示順で入口フレームと次のIフレームの前にある全フレームが復号化される。つまり、図6を参照すると、入口フレーム(フレーム15)と次のIフレーム(フレーム19)の前にある全フレーム(即ち、フレーム16、17、18)が復号化される。図6に示されたツーストリーム映像シーケンス内のフレーム17、18は次のIフレーム(フレーム19)からの情報を用いて予測されるので、次のIフレームも復号化しなければならない。しかしながら、復号化されたフレーム19は、フレーム17、18が復号化された後に廃棄される。次に、方法900はステップ915に進む。
【0086】
ステップ915では、次のIフレーム(例えば、映像シーケンス610のフレーム19)は遷移クリップにコピーされる。つまり、ツーストリームを構成する伝送パケット内の映像情報(即ち、映像基本ストリーム情報)は伝送パケットから抽出され、遷移クリップにコピーされる。エンコーダの出力は映像基本ストリーム(VES)であるが、これはエンコーダからの出力を遷移クリップに直接コピーできるようにするためであることに注意されたい。その後、遷移クリップはパケット化される。次に、方法900はステップ920に進む。
【0087】
また、ステップ920では、次のIフレーム(例えば、フレーム25)とその次のIフレーム(例えば、フレーム19)間のフレーム(例えば、フレーム20から22)も遷移クリップに伝送順にコピーされる。ステップ915、920で遷移クリップにコピーされたフレーム(例えば、フレーム19−21)は、符号化されたフレームとして遷移クリップにコピーされることに注意されたい。従って、入口フレームと次のIフレームの前にある全フレームとを備える復号化されたフレームと、次のIフレームと、次のIフレームとその次のIフレーム間のすべてのフレームとを備える符号化されたフレームは、方法900によって遷移クリップに追加される。
【0088】
図8と図9で既に説明したフロムストリームとツーストリームのフレーム選択方法では、遷移ストリームのフレーム間のフレーム依存性と、フロムストリームとツーストリームのうちの1つまたはその両方のフレーム依存性が受け入れられる。以下の制約事項が守られなければならない。遷移クリップは閉GOP構造として符号化される。つまり、遷移クリップは自己内蔵型映像クリップである。終了の伝送ストリームから、遷移クリップ内のフレームへの参照付けはない。開GOP構造を用いて、入力される伝送ストリームが符号化される場合は、遷移クリップ内のフレームに参照付けられたフレームを含んでいてもよい。
【0089】
本発明の重要な点は、遷移クリップを処理して、遷移クリップ内に含まれるフレームのフレーム依存性に適切に対処することである。フレーム依存性には、例えば、遷移クリップ外のアンカーフレームを用いて復号化する必要のある遷移クリップ内の予測フレーム(即ち、Pフレーム又はBフレーム)が含まれる。外部フレーム依存性のない遷移クリップ(即ち、「自己内蔵型」クリップ)を作成することが望ましいが、本発明は、そのフレーム依存性を含むMPEG準拠の遷移クリップを作成することができる。
【0090】
【B.復号化】
遷移クリップ、即ち、遷移ストリームを構築する処理の第2のステップは、フレーム選択処理で選択されたフレームを復号化するステップを備える。選択されたフレームは、標準的なハードウェアまたはソフトウェアによる復号化技術を用いて復号化される。
【0091】
どのフレームが復号化されるかに無関係に、Iフレームから復号化しなければならないことに注意されたい。MPEG符号化予測を用いるため、Iフレーム以外のフレームはすべて、最終的にその前のIフレームに依存する。上述したフレーム選択方法ではこれらの依存性をなくすことによって、伝送ストリーム間をフレームアキュレイトでシームレスに継ぎ合わせることができる。
【0092】
【C.符号化】
遷移クリップ、即ち、遷移ストリームを構築する処理の第3のステップは、フレーム選択処理および復号化処理によって復号化されたフレームを符号化するステップを備える。選択されたフレームは、標準的なハードウェアまたはソフトウェアによる復号化技術を用いて符号化される。
【0093】
(上述したように)フレーム依存性をなくすこと以外に、遷移クリップを生成する主目的の一つは、継ぎ合わされた伝送ストリームを処理する遠距離にあるデコーダがオーバフロー、アンダーフロー、或いはデコーダバッファメモリの望ましくない動作の影響を受けないように、フロムストリームとツーストリーム間のVBVレベルを調整することである。例えば、フロムストリームの出口ポイントのVBVレベルがツーストリームの入口ポイントのVBVレベルよりも低い場合は、継ぎ合わせ点から下流でアンダーフローが起こることがある。一般的なデコーダでは、これによって「フレームのフリーズ」が引き起こされ、デコーダはデータが利用可能になるまで待つ。フロムストリームの出口ポイントのVBVレベルがツーストリームの入口ポイントのVBVレベルよりも高いときは、もっと重大な問題が起こる。このため、継ぎ合わせ点から下流でVBVオーバフローが発生することがある。バッファ可能な量より多くのデータが利用できるときにオーバフローが起こる。オーバフローはデータの損失および/または乱れを引き起こし、一般的に、視覚的なアーチファクト(artifacts)が復号化されたピクチャ内に発生し、デコーダをリセットしてしまうことさえある。
【0094】
選択されたフレームがベースバンドに復号化されると、それらはVESに再符号化される。発明者らは、サーノフコーポレーション(Sarnoff Corporation)製のDTV/MPEG−2ソフトウェアエンコーダを用いて、全体性能とピクチャ品質とモジュール性を確実に高めた。エンコーダのレート制御アルゴリズムは、初期および最終VBVレベルを特定できるように修正され、エンコーダの入力モジュールはデコーダの出力ファイルフォーマットをサポートするように更新された。フレーム選択中に伝送ストリームから構文解析されたMPEG符号化パラメータはエンコーダに送られて、継ぎ合わされるクリップと再符号化された映像がコンパチブルであることが保証される。
【0095】
(遷移クリップの再符号化部分の全体的ピクチャ品質を最終的に決定する)レート制御について、VBVレベルを上げるように調整すると、選択されたフレームは元のストリームよりも少ないビットで符号化される。VBVレベルを上げると、出力品質はいくらか落ちるが、これはヒューマンビジュアルシステムのマスキングによるものである。また、シーン変化の際に映像品質がいくらか劣化することがあるが、これは視聴者には感知できない程度のものである。発明者らは、フレームアキュレイトでシームレスに継ぎ合わされたストリームにそのような視覚的な劣化が起っても、感知できるような映像の劣化を引き起こすことはないことがわかった。
【0096】
本発明の一実施形態では、フロムストリームとツーストリームの各々は、映像バッファリングベリファイヤ(VBV)をもつ伝送ストリームを備える。本発明は、フロムストリームVBVとツーストリームVBV間に相違があるかどうかを確認し、必要に応じてその相違に対して再符号化処理を適用する。例えば、第1の閾値レベルによってフロムストリームVBVがツーストリームVBVを上回ると確認されたならば、レート制御ビットの割り当てを増やすことによって、また第2の閾値レベルによってツーストリームVBVがフロムストリームVBVを上回ると確認されたならば、レート制御ビットの割り当てを少なくすることによって、本発明は再符号化処理に対応することができる。
【0097】
【D.パケット化】
遷移クリップ、即ち、遷移ストリームを構築する処理の第4のステップは、フレーム選択および復号化処理によって復号化されたフレームを符号化するステップを備える。
【0098】
選択されたフレームを再符号化後に、ツーストリームからコピーされたIフレームと残りのGOPは、再符号化されたVESに追加される。時間_基準フィールドの再スタンピングが実行されていないときに、遷移クリップには、構文として完全なMPEG−2ストリーム(シーケンス_エンド_コードのないものは除く)が含まれ、また、その遷移内の全フレームが含まれる。最後のステップは、VESを伝送ストリームにパケット化するステップである。
【0099】
遷移ストリームをパケット化する第1のステップは、遷移ストリームを構文解析し、各フレームの先頭のオフセット(シーケンス_ヘッダ又はピクチャ_ヘッダ)とフレームタイプを遷移ストリーム内に配置する。このデータが利用可能になると、フレーム間の依存性が計算され、フレームの表示順が決定される。時間_基準フィールドは、GOPの再構築のために現在無効であるため、この目的には適していないことに注意されたい。表示順が決定すると、時間_基準フィールドは再スタンピングされ、遷移ストリームの各フレームに対して表示タイムスタンプ(PTS)と復号化タイムスタンプ(DTS)が計算される。
【0100】
MPEG−2規格では、伝送ストリームに時間的不連続部分が許容されることに注意されたい。しかしながら、デコーダにはMPEG−2規格に完全に準拠していないものもあるので、伝送ストリーム内の時間的不連続部分を許すことによって、デコーダの不適切な動作が引き起こされる。従って、再スタンピング処理によって伝送ストリーム内の時間的不連続部分を除去することが望ましい。
【0101】
再スタンピング処理の出力を用いてPESヘッダが生成され、フレームがPESストリームに出力される。各PESヘッダの位置および各PESパケットの大きさはこの処理の間に記録される。最終的に、伝送パケットが生成されて、PESパケットが保持される。パケットの各レイヤではTSにオーバヘッドが与えられるので、わずかにサイズが大きくなる。結果として生じるTS内のパケットは、継ぎ合わされる映像ストリームのPIDを用いてスタンピングされる。パケット化処理の最後の出力は、シングルVESを含むTSである。このストリームにはプログラム特有情報(PSI)は含まれていない。
【0102】
【E.再多重化】
遷移クリップ、即ち、遷移ストリームを構築する処理の最後のステップは、元のプログラムストリームからプログラム特有情報(PSI)をもつ映像クリップ(ここでは、伝送ストリーム)を再多重化するステップを備える。
【0103】
再多重化ステップを達成するためにフロムストリームが検査され、プログラム関連テーブル(PAT)とプログラムマップテーブル(PMT)の一例が(伝送パケットとして)抽出される。単独のプログラム伝送ストリームを継ぎ合わせる場合、一つのPMTだけが存在する。複数のプログラム伝送ストリームを継ぎ合わせる場合、複数のPMTだけが存在する。オプションとして、ATSCブロードキャストフォーマットを完全に用いるためには(当業者はわかっていることであるが)その他のテーブルも抽出しなければならない。
【0104】
PATとPMTを抽出した後、多重化ビットレートと遷移クリップ内のフレーム数とフレームレートに基づいて遷移クリップ内のパケット数が計算される。例えば、ATSC仕様では、少なくとも100msごとにPATと少なくとも400msごとにPMTが必要となる。PATテーブルとPMTテーブル間のパケット数は、多重化ビットレートから決定される。
【0105】
遷移クリップ内のパケット数の計算後に、空伝送パケットから成る空遷移クリップが生成され、PATテーブルとPMTテーブルが、計算された間隔で(例えば、PATは100mS毎で、PMTは400mS毎)挿入される。
【0106】
空遷移ストリーム内にPATとPMTを適切に挿入した後で、残りの利用可能なパケット内のスペーシングパケットによって、空遷移ストリームに映像伝送ストリームが挿入されるので、出力伝送ストリームが形成される。
【0107】
PATとPMTと映像パケットを空遷移クリップに挿入するとき、各パケットは新規の継続カウンタによって再スタンピングされなければならないことに注意されたい。出口ストリーム、即ち、フロムストリームから、連続_カウンタの開始値が各PID毎に決定される。映像クリップが非常に大きい場合は、遷移クリップ内には十分な伝送パケットはない。これは、遷移クリップの大きさが予測クリップ期間に基づいて計算されているからである。この計算では、フレーム数とフレームレートとVBV遅延量とマルチプレクスビットレート等を考慮に入れている。VBVレベルの調整がエンコーダによって適切に行われることは重要なことである。
【0108】
次に、完成した遷移クリップは、計算された伝送パケットオフセットで、継ぎ合わされた伝送ストリーム間に挿入され、これによってシームレスな継ぎ合わせを行うことができる。
【0109】
上述の本発明のメリットは、遷移ストリーム、即ち、クリップを用いて伝送ストリームをフレームアキュレイトでシームレスに継ぎ合わせる、即ち、連結することによって、伝送ストリーム全体を新規に構築する必要がないということである。処理中はフロムストリームもツーストリームも修正されない。何故ならば、遷移ストリームを作成するのに十分な情報を提供するためだけにそれらが用いられるからである。ストリーム間の変更を行うために遷移ストリームが用いられた後で、それはシステムによって廃棄されるか、または将来の使用のために保存される。
【0110】
映像ストリーム又はサブストリームを含むMPEG−2伝送ストリームをシームレスに継ぎ合わせるために適している映像情報を含む遷移ストリームの生成に関連して本発明を基本的に説明した。その他の形式の情報もそのような映像ストリームに関係することは、当業者にとっては明らかなことである。例えば、複数の映像ストリームは対応する音声ストリームと関連する。また、データエッセンスおよびメタデータ等のその他の形式の情報は、映像情報を含む情報ストリームに組み込まれる。データエッセンスはストリーム内の映像および/または音声データとは無関係の内容のデータである。データエッセンスの例として、映像および/または音声データ等と関係のない株式情報、気象報告およびその他のニュースやお知らせ又は制御情報等が挙げられる。
【0111】
メタデータは、映像または音声ストリームの特性を記述するデータ等のその他のデータに関するデータである。メタデータの例として、別々のカメラアングル、映画俳優の名前、番組タイトル等の映像および音声フレームに関する映像またはインターネットデータブロードキャストパケットが挙げられる。
【0112】
映像情報ストリーム内の特定の映像フレームに関する音声情報、データエッセンスおよび/またはメタデータの場合、特定の映像フレームに関連する全データを映像フレームのレシーバが確実に利用可能であることが望ましい。従って、1つ以上の映像ストリームを連結することによって継ぎ合わされた映像ストリームを作成する継ぎ合わせアプリケーションの場合、継ぎ合わせを可能にする遷移クリップ内で用いられる映像フレームに関する音声情報、データエッセンスおよび/またはメタデータがその遷移クリップに含まれることが保証されることが望ましい。
【0113】
図4Aは、本発明を理解する上で役に立つ継ぎ合わせ処理の図を含む。特に、図4Aは、ストリームAとして示されるフロムストリーム410と、ストリームBとして示されるツーストリーム420と、ストリームTとして示される遷移ストリーム、即ち、遷移クリップ430を備える。ストリームA(410)とB(420)とT(430)はそれぞれMPEG伝送ストリームであり、映像フレーム(図示せず)とメタデータとデータエッセンスと音声データを備えることに注意されたい。これらの伝送ストリームは、複数のパケット化された情報を多重化することによって形成され、その結果、映像ストリームと音声ストリームとその他のデータストリームを含む情報ストリームが提供される。あいにく多重化処理では音声とデータエッセンスとメタデータのパケットはそれぞれの映像時間に正確に配列されない。つまり、伝送ストリーム内の各映像フレームについては、(ビットストリーム順で)映像フレームに関する音声データ、データエッセンス又はメタデータを含むパケットの前または後に映像フレームを含むパケットがくる。従って、出口または入口フレームを形成する映像パケットだけに関する遷移ストリームが形成される場合、出口または入口フレームに関するメタデータ、データエッセンスおよび/または音声データは失われるか、または不完全に遷移ストリームに提供されるだろう。
【0114】
ストリームA(410)は、スタート映像フレーム410−STとエンド映像フレーム410−ENDによってその範囲が制限される。ストリームAは、出口映像フレーム410−OUTで終了するフロムストリームを備える。従って、遷移ストリーム生成方法について上述したように、遷移映像フレーム410−TRANで始まり、出口映像フレーム410−OUTで終わる複数の情報フレームは復号化され、遷移ストリームを形成するために用いられる。しかしながら、出口映像フレーム410−OUTは、メタデータ410−MD、データエッセンス410−DE及び音声データ410−ADと関連しており、そのデータはストリームA内の出口映像フレーム410−OUTの後に配置される。そのデータは出口映像フレーム410−OUTの前に配置してもよいことに注意されたい。従って、この非映像データを遷移ストリームに組み込む場合は、非映像データを抽出し、復号化しなければならない。ストリームA(410)を参照すると、出口フレーム410−OUTに関する非映像データは、遷移フレーム410−TRANと範囲フレーム410−EXTによってその範囲が制限される。尚、この範囲フレームは非映像データと関連する最大境界(即ち、範囲)を定義するものである。
【0115】
ストリームB(420)は、スタート映像フレーム420−STとエンド映像フレーム420−ENDによってその範囲が制限される。ストリームBは、入口映像フレーム420−INから始まるツーストリームを備える。従って、遷移ストリーム生成方法に関して上述したように、入口フレーム420−INで始まり、遷移映像フレーム420−TRANで終わる複数の情報フレームは、復号化されて、遷移ストリーム430を形成するために用いられる。しかしながら、入口映像フレーム420−INは、メタデータ420−NDとデータエッセンス420−DEと音声データ420−ADと関連しており、そのデータはストリームB内の入口映像フレーム420−INの前に配置される。そのデータは入口映像フレーム420−INの後に配置することもできることに注意されたい。従って、この非映像データを遷移ストリーム430に組み込む場合は、非映像データを抽出して復号化しなければならない。ストリームB(420)を参照すると、入口フレーム420−INに関する非映像データは、範囲フレーム420−EXTと遷移フレーム420−TRANによってその範囲が制限される。範囲フレーム420−EXTは、ビットストリーム順で入口フレーム420−INの前にある非映像データに関連する最大境界(即ち、範囲)を定義する。
【0116】
従って、遷移ストリームに適切な全映像フレームと、それらの映像フレームに関連する非映像データの全てを取り込む場合、ストリームAの分解された部分は410−TRANと410−EXTによってその範囲が制限される。同様に、ストリームBの分解された部分は、420−EXTと420−EXTと420−TRANによって制限される。ストリームAとBからの映像データ、メタデータ、データエッセンス及び音声データを復号化および/または抽出したりした後で、遷移ストリーム430はそのデータを含むように形成される。従って、遷移ストリーム430は、スタートフレーム430−STとエンドフレーム430−ENDによってその範囲が制限される。適切な出口フレーム410−OUTと入口フレーム420INから始まる二つのストリーム間のフレームアキュレイトな継ぎ合わせ位置がSPLICEポイントによって定義される。さらに、遷移ストリーム430内に含まれる映像フレームに関するメタデータ、データエッセンスおよび/または音声データも遷移ストリーム内に含まれる。この非映像データは、継ぎ合わせポイントに関係なく遷移ストリーム内に配置される。つまり、映像データパケットとそれ以外のデータパケット間の関係を保持しながら、映像データパケットを利用して非映像データを多重化することができる。
【0117】
図4Bは、本発明を理解する上で役に立つ継ぎ合わせ処理の図である。特に、図4Bは、第1のマルチプログラム伝送ストリーム440と第2のマルチプログラム伝送ストリーム450を備える。第1および第2のマルチプログラム伝送ストリーム440、450はそれぞれ、複数の伝送サブストリームを備える。本発明を用いることによって、非映像データとそれに関する映像データとの関係を保持しながら、そのマルチプログラム伝送ストリーム間でフレームアキュレイトでシームレスな継ぎ合わせを行うことができる。
【0118】
伝送多重化部A440は、3つの伝送サブストリーム、即ち、プログラム1(441)とプログラム1(442)とプログラム(443)を備える。伝送多重化部B450は、3つの伝送サブストリーム、即ち、プログラムA(451)とプログラムB(452)とプログラムC(453)を備える。これについて議論するために、伝送多重化部Bはサブストリームレベルで伝送多重化部Aと連結されていると仮定する。つまり、プログラム1 441とプログラムA 451は連結され、複数のサブストリームを備える遷移ストリーム内に第1の伝送サブストリームが形成される。特に、プログラム1はアウトフレーム441−OUTで終了し、プログラムAはインフレーム451−INに入る。同様に、プログラム2はアウトフレーム442−OUTで終了する。一方、プログラムBはインフレーム452−INに入る。プログラム3はアウトフレーム443−OUTで終了する。一方、プログラムCはインフレーム453−INに入る。その結果、形成された遷移ストリームは伝送多重ストリームを備え、それは図4Bに示されて説明されたように正確なフレームが得られるような継ぎ合わせポイントを含む6つのストリームの全部分を備える。
【0119】
映像フレームの他に、各伝送サブストリームは、メタデータとデータエッセンスと音声データ等の非映像データを含む。図4Bに示すように、遷移ストリームに含まれる継ぎ合わせポイントや映像フレームはそれぞれ、ある範囲の非映像データに関連する。従って、各伝送多重化サブストリームを復号化するか、そうでなければ必要な映像データやそれ以外のデータの全てを抽出するように処理することによって、個々の遷移サブストリームを作成することができる。マルチプログラム遷移ストリームに個々の遷移サブストリームを組み込むことによって、第1のマルチプログラムストリームA(440)と第2のマルチプログラムストリームB(450)を連結することができる。
【0120】
図4Cは、本発明を理解する上で役に立つ継ぎ合わせ処理の図である。特に、図4Cは、構築中の遷移ストリーム460内の非映像パケットのプレースホルダの確保状態を示す。つまり、遷移ストリームを形成しているときに、継ぎ合わされるフレームからの復号化された映像フレームの符号化ステップが実行された後に、部分的に形成された遷移ストリームに非映像データを挿入するステップがおそらく実行される。遷移ストリーム内の非映像データを、それに関連する映像データの最近傍に確実に配置するために、映像符号化中にプレースホルダを確立して、遷移ストリーム内に非映像データを続けて挿入できるようにする。特に、図4Cで示されるように、複数の音声やデータエッセンスやメタデータのプレースホルダが構築中の遷移ストリーム内に挿入される。遷移ストリームが完成すると、これらのプレースホルダは非映像データを格納するためには用いられずに削除され、完成した遷移ストリーム460’が遷移ストリームとして用いられる。
【0121】
図4Bで既に説明したようなマルチプログラム伝送ストリームに関して、遷移ストリーム生成処理中に形成される各伝送サブストリームでは、非映像データのプレースホルダセットが用いられる。各ストリームが完成すると、不使用のプレースホルダを削除するか、そうでなければ「不使用」とするか、(例えば、NULLデータを挿入することによって)それを放棄して完全な遷移ストリームが形成される。
【0122】
得られた遷移ストリーム、即ち、遷移クリップ430は、ストリームAとBの各々からの映像情報と非映像情報を備える。
【0123】
図12は、画素領域効果を含む遷移ストリーム、即ち、遷移クリップを生成する方法のフローチャートである。特に、図12は方法1200のフローチャートであり、図3の放送サーバ110の遷移クリップ生成機能344で使用するのに適している。
【0124】
方法1200はステップ1210に入り、ここでは「フロムストリーム」と「ツーストリーム」に注釈が付けられる。情報ストリームに注釈をつける方法は既に図10で説明された。前述したように、この注釈付けは本発明を実施するために必ずしも必要なわけではない。しかしながら、ストリームに注釈を付ける処理は、次の処理ステップやその他の処理ステップでストリームを効率的に処理する際に役に立つ。次に、方法1200はステップ1220に進む。
【0125】
ステップ1220では、図7の方法700のステップ710で既に説明したように、出口フレームに先行するフロムストリームの一部が復号化される。次に、方法1200はステップ1230に進む。
【0126】
ステップ1230では、図7の方法700のステップ715で既に説明したように入口フレームから始まるツーストリームの一部が復号化される。次に、方法1200はステップ1240に進む。
【0127】
ステップ1240では、フロムストリームとツーストリームの復号化された部分は、1つ以上の画素領域プロセスステップで処理されて、例えば、特定の効果やその他の処理効果が得られる。ステップ1240で得られる特定の効果には、ボックス1240で示される1つ以上の特定の効果が含まれる。即ち、モーフィングやフェイドやワイプやディゾルブ(dissolve)やプッシュやリビール(reveal)やブラックフレームやフレームのフリーズやその他の周知の画素領域プロセス効果が含まれる。モーフィングの効果には、一形態から別の形態への段階的な(例えば一フレーム毎の)変形が含まれる。ワイプの効果には、画像内の領域的変化による一画像から他の画像への変化、例えば、左から右へあるいは上から下へ第1及び第2の画像を描く垂直バーの位置の変化が含まれる。フェイド、即ち、ディゾルブ効果には、第1の画像を段階的にフェイド、即ち、ディゾルブさせて、第1の画像の下にある第2の画像を現わすことが含まれる。下にある画像をフェイドさせ、フェイドする第1の画像とは逆に出現させることもできる。ブラック(またはブルー)フレーム効果には、二つの画像間にモノクロフレームを挿入することが含まれる。「プッシュ」効果は、スクリーンに現れた新しい画像に押されたかのように古い画像がスクリーンからスライドしていくように見せるものである。古い画像と新しい画像を任意の方向にスライドさせることによって、この効果を生み出すことができる。「リビール」効果は、古い画像を除去し、下にある新しい画像を現すことである。リビール効果には、「コーナのめくり」、即ち、コーナのめくりのグラフィック表記によって古い画像の下にある新しい画像の一部が現われる「ピールバック」効果が含まれる。新しい画像を選択すると、古い画像はピールバックされるか、そうでなければコーナのめくり部分から始まるビューから除去され、下にある新しい画像が現われる。
【0128】
メタデータ領域に対する非画素領域効果には、文境界での字幕の変化が含まれることがある。音声領域に対する非画素領域効果には、ストリームAの音声からフェイドし、沈黙期間を通して、ストリームBに関する音声情報に戻ることで継ぎ合わされた情報ストリームを形成することが含まれる。
【0129】
画素領域プロセスステップを用いることによって、映像クリップ間を遷移する芸術的な、即ち、興味深い手段を提供することができる。注意効果は、例えば、フレーム1とフレーム6の一部を含む4つの介在フレームを介してフレーム1からフレーム6へ遷移させることによって、6フレームの遷移クリップで実現可能である。画素領域プロセスによって、ある形式の遷移情報を視聴者に確実に知らせることが望ましいが、遷移情報を知らせることは必ずしも必要なわけではない。次に、方法1200はステップ1250に進む。
【0130】
本発明の一実施形態では、複数の伝送ストリームやその他のストリームに関して画素領域プロセスが実行される。特に、本発明は、連結される少なくとも画像情報を含む二つの伝送ストリームについて主に説明されてきた。これによって、少なくとも画像情報を含む継ぎ合わされた伝送ストリームを作成することができる。遷移ストリーム、即ち、遷移クリップの生成中は、画素領域プロセスによって処理するために画素領域情報が利用可能となるように、各伝送ストリーム内の画像情報が復号化される。本発明の一実施形態の画素領域または非画素領域プロセスステップでは、さらに別の画素領域(または非画素領域)情報が用いられる。クロマキー処理の一例として、Kストリームとして示されるクロマキーイング信号を含む伝送ストリームには、1つ以上のクロマキー処理された画像部を含む映像情報が含まれる。Kストリーム内のキー処理された第1の画像部は、第1の色によって示される。一方、Kストリーム内のキー処理された第2の画像部は、第2の色によって示される。キー処理された第1の部分に関する遷移クリップ内の画素領域情報は、第1の情報ソース、即ち、情報ストリームからの情報に置き換えられる。一方、キー処理された第2の部分に関する遷移クリップ内の画素領域情報は、第2の情報ソース、即ち、情報ストリームからの情報に置き換えられる。従って、ストリームAはストリームBに連結されたKストリームを備えて、遷移ストリームを形成するが、(部分ストリーム1と部分ストリーム2として示された)さらに二つの情報ストリームを用いることによって、Kストリームの第1と第2のキー処理された部分をそれぞれ置き換えることができる。どのような数の領域も利用することができ、非画素情報も複数の領域に分割できることは当業者であれば理解している。
【0131】
ステップ1250では、復号化され処理された映像フレームを再符号化することによって、遷移ストリームを形成することができる。ステップ1250は、図7の方法700のステップ720で既に述べた方法とほぼ同様に実施される。
【0132】
従って、遷移ストリーム、即ち、遷移クリップの生成の他に、図12の方法1200では、芸術的な、即ち、興味深い視覚的な目的のために、遷移ストリーム、即ち、遷移クリップに映像情報を適合させる。このように、フロムストリームが終了してツーストリームが入るときに、既知の画素領域プロセス技術を用いて、視聴者に対してより現実的な遷移の印象を与えることができる。図4A−4Cで既に説明された非映像データについて非映像領域での処理が実行されることに注意されたい。
【0133】
従って、本発明の有用性は、画素自体の概念や、二つの画像ストリームだけの画像領域処理すること以上に及ぶ。むしろ、従属発明の方が広い適用性があり、例えば、複数の情報ストリームを用いることによって、生成される遷移ストリーム内の画素領域やその他の、即ち、非映像領域情報を処理することができる。このように、遷移クリップを構成する二つ以上のストリームからの映像情報や非映像情報とその映像情報と非映像情報をマージするように、多数の情報ソースに対応して遷移ストリーム、即ち、遷移クリップが生成される。
【0134】
遷移クリップ、即ち、遷移ストリームは所定数の映像フレームから構成されることに注意されたい。従って、既に説明されたVBV処理の機会に加えて、所定数のフレームを用いてフレームの一部を選択的に符号化することによって、特定の画素領域効果を得ることができる。例えば、遷移クリップが5つの映像フレームをもつ場合、5つのフレームの各々はフレーム内で6つの部分に分割される。第1のフレームは、ツーストリームからの1/6の映像データとフロムストリームからの5/6のデータを含み、第2のフレームは、フロムストリームからの2/6のデータとツーストリームからの4/6のデータを含み、第5フレームは、フロムストリームからの1/6のデータとツーストリームからの5/6のデータを含む。発明者らは、ユーザが選択できる3枚から25枚の間(もしくは所定の)の数のフレームを遷移ストリームに与えることによって、ほとんどの画素領域プロセスとVBVバッファ正規化機能を可能にする柔軟性を十分に提供することを決心した。
【0135】
図13は、本発明の一実施形態に基づく遷移ストリーム、即ち、遷移クリップの生成方法のフローチャートである。特に、図13は方法1300のフローチャートであり、図3の放送サーバ110の遷移クリップ生成機能344で使用するのに適している。
【0136】
方法1300はステップ1310から入り、出口フレームに先行するフロムストリーム映像の適切な部分が復号化される。次に、方法1300はステップ1320に進む。
【0137】
ステップ1320では、復号化された映像部分に関連するフロムストリーム内のデータエッセンスや音声やメタデータやその他のデータ等の非映像情報が抽出されたり、復号化される。即ち、ステップ1310で復号化されたフロムストリーム内の映像フレームに関する前述の非映像データタイプ等の補助的な、即ち、付加的なデータを抽出したり、復号化することによって、遷移ストリーム、もしくは遷移クリップでそれを用いることができる。
【0138】
ステップ1330では、入口フレームで始まるツーストリーム映像の適切な部分が復号化される。次に、方法1300はステップ1320に進む。
【0139】
ステップ1340では、ステップ1330で復号化された映像フレームに関連する非映像データが抽出されるか、もしくは、復号化される。つまり、ステップ1330で復号化された映像フレームに関連するツーストリーム内のデータエッセンスや音声やメタデータやその他のデータを抽出したり復号化することによって、遷移ストリーム、即ち、遷移クリップでそれを使用することができる。次に、方法1300はステップ1350に進む。
【0140】
ステップ1350はオプションとしての処理ステップであり、部分的に形成された遷移ストリーム、即ち、遷移クリップで使用するのに適している。特に、オプションとしてのステップ1350は3つのオプションとしてのサブステップを含み、それらを別々にまたは組み合わせて用いることによって、ステップ1310、1330で復号化された映像データや、ステップ1320、1340で抽出されたり復号化された非映像データを処理することができる。
【0141】
オプションとしてのステップ1350の第1のサブステップ1352は、復号化された映像データを画素領域処理する性能を備える。つまり、図12のステップ1240やボックス1245で既に説明された画素領域プロセス技術を少なくともいくつか用いることによって、それぞれステップ1310、1330で復号化されたツーストリーム映像情報とフロムストリーム映像情報を処理することができる。次に、方法1300はステップ1354に進む。
【0142】
ステップ1350のオプションとしての第2のサブステップ1354では、ステップ1320やステップ1340から抽出され復号化された音声データの音声領域プロセスが実行される。そのような音声処理には、周知の音声領域プロセス技術を用いて、例えば、遷移の感覚やその他の音声的印象をリスナに与えることができる。次に、方法1300はステップ1356に進む。
【0143】
ステップ1350のオプションとしての第3のサブステップ1356では、抽出されたり復号化されたデータエッセンスやメタデータや、ステップ1320、1340で抽出されたり復号化されたその他のデータに対してデータ領域プロセスが実行される。そのようなデータ処理には、例えば、ステップ1352で実行された画素領域プロセスに基づくメタデータやデータエッセンスの調整が含まれる。例えば、画素領域プロセスから得られた遷移クリップ映像フレームの画素領域プロパティをメタデータで記述する場合、対応する画素領域プロセスを反映するようにメタデータが処理される。その他のデータ処理機能も同様に実施される。次に、方法1300はステップ1360に進む。
【0144】
ステップ1360では、遷移ストリーム、即ち、クリップが復号化され、オプションとして処理された映像部が再符号化される。さらに、抽出されたり復号化されたデータエッセンスや音声やメタデータや、ステップ1352−1356で処理された非映像データを含むその他のデータが適切なフォーマットで再符号化されるか、またはデータタイプに基づいて挿入される。即ち、ステップ1310−1350で作成され、オプションとして処理された映像情報やそれ以外の情報は再符号化されるか再び挿入されて、伝送ストリームフォーマットになり、遷移クリップ、即ち、遷移ストリームが形成される。
【0145】
図4Cで既に説明された本発明の一実施形態では、形成される遷移ストリームは、伝送ストリームやその他のストリームを備え、複数のパケットを用いて映像データや非映像データを表すことができる。本発明の本実施形態では、遷移ストリーム、即ち、遷移クリップを形成する前に、情報を保持するために用いられる利用可能なパケットの一部が非映像データ用に保持される。このように、映像フレームに最も近いデータプレースホルダを映像フレーム中に散在させて、この最も近い映像フレームに関連するデータを含ませるように、非映像情報処理の前に映像情報が処理される。従って、本発明の本実施形態では、図13の方法1300のステップ1310よりも先に、オプションとしてのステップ1350が用いられる。特に、ステップ1350では、形成される遷移ストリーム内にデータプレースホルダが含まれる。即ち、ステップ1350では、非映像用パケットを定義するプレースホルダ情報を備え、遷移ストリームに用いられるメモリの一部や複数のパケットを散在させる。次に、方法1300はステップ1310からステップ1360に進む。
【0146】
ステップ1360はボックス1365に従って、適切なプレースホルダを利用して、オプションとして処理された音声やメタデータやデータエッセンスや、映像フレームに関連するその他のデータを含む非映像情報を格納する。遷移クリップが完成すると、即ち、非映像情報を全て処理し、処理された非映像情報を適切なプレースホルダに配置すると、未使用のプレースホルダは除去されるか、そうでなければその他の目的で使用される。
【0147】
前述したが、遷移クリップをさらに処理することによって、ほぼシームレスな継ぎ合わせを実行するようにフロムストリームとツーストリームのVBVを確実に適応させることができる。
【0148】
二つのシングルプログラム伝送ストリーム、即ち、映画やテレビ番組やコマーシャル等のシングル音声ビジュアルプログラムを含む伝送ストリームを継ぎ合わせる、即ち、連結させる方法について本発明が主に説明されてきた。しかしながら、当業者であればわかっていることであるが、本発明では、マルチプログラム伝送ストリーム間でも同様に、正確なフレームを持つようにシームレスな継ぎ合わせが実行される。その継ぎ合わせを行うために、上述した方法を適用して、アウトフレームやインフレームやマルチプログラム伝送ストリーム内の各プログラムに対するその他の適切なパラメータを決定することができる。
【0149】
本発明の教唆を含む様々な実施形態がここで示され詳細に説明されたが、当業者であればこれらの教唆を含むその他の様々な実施形態をすぐに考案することが可能である。
【図面の簡単な説明】
【図1】 テレビスタジオの高レベルなブロック図を示す。
【図2A】 本発明を理解する上で役に立つ継ぎ合わせ処理を示す。
【図2B】 本発明を理解する上で役に立つ継ぎ合わせ処理を示す。
【図3】 図1のテレビスタジオで使用するのに適する放送サーバの一実施形態を示す。
【図4A】 本発明を理解する上で役に立つ継ぎ合わせ処理を示す。
【図4B】 本発明を理解する上で役に立つ継ぎ合わせ処理を示す。
【図4C】 本発明を理解する上で役に立つ継ぎ合わせ処理を示す。
【図5】 本発明を理解する上で役に立つイメージフレームの表示順と伝送順の表を示す。
【図6】 本発明を理解する上で役に立つイメージフレームの表示順と伝送順の表を示す。
【図7】 遷移ストリーム、即ち、遷移クリップを生成する方法のフローチャートを示す。
【図8】 フロムストリーム内のどの情報フレームが遷移ストリーム内に含まれるべきであるかを決定する方法のフローチャートを示す。
【図9】 ツーストリーム内のどの情報フレームが遷移ストリーム内に含まれるべきであるかを決定する方法のフローチャートを示す。
【図10】 情報ストリームにインデックスを付けるための方法のフローチャートを示す。
【図11】 図3の放送サーバで使用するのに適したメタファイルの表を示す。
【図12】 画素領域効果を含む遷移ストリーム、即ち、遷移クリップを生成する方法のフローチャートを示す。
【図13】 本発明の一実施形態にかかる遷移ストリーム、即ち、遷移クリップを生成する方法のフローチャートを示す。
【符号の説明】
210 第1のストリーム
220 第2のストリーム
230 遷移ストリーム
240 継ぎ合わされたストリーム

Claims (9)

  1. 画像フレームを含む伝送ストリームを処理するシステムで、第1の伝送ストリームから第2の伝送ストリームへほぼシームレスに遷移させるように遷移ストリームを生成する方法であって:
    提供される前記第1の伝送ストリームの最終画像フレームを示す少なくとも一つのターゲットアウトフレームを含む前記第1の伝送ストリームの一部を復号化するステップと;
    提供される前記第2の伝送ストリームの最終画像フレームを示す少なくとも一つのターゲットインフレームを含む前記第2の伝送ストリームの一部を復号化するステップと;
    復号化された前記画像フレームのうちの少なくとも一つを、画素領域プロセスを用いて処理するステップと;
    前記遷移ストリームが生成されるように、前記ターゲットアウトフレームと前記ターゲットインフレームを含む複数の復号化された前記画像フレームを符号化するステップと、
    を備え、
    前記第1及び第2の伝送ストリームにそれぞれインデックスを付けるステップをさらに備え、
    前記インデックスを付けるステップは:
    シーケンスヘッダとピクチャヘッダと所定の継ぎ合わせシンタックスのうちの少なくとも一つに関連するパケットが識別されるようにインデックスが付けられるストリームの伝送レイヤを構文解析するステップと;
    インデックスが付けられる前記ストリーム内の各フレームに対して、ピクチャ番号とピクチャコードタイプとフレーム伝送パケット先頭番号とフレーム伝送パケット最終番号と表示タイムスタンプ(PTS)と復号化タイムスタンプ(DTS)のうちの少なくとも一つを決定するステップと、
    を備え
    前記画素領域プロセスは、モーフィング、フェイド、ワイプ、ディゾルブ、プッシュ、リビール、ブラックフレーム、フレームのフリーズ及びクロマキーイング画素領域プロセスのうちの少なくとも一つを備える、方法。
  2. 前記第1および第2の伝送ストリームから前記遷移ストリームを形成するのに用いられる前記映像フレームに関連する非映像データを抽出するステップと;
    前記遷移ストリームに、抽出された前記非映像データを挿入するステップと、をさらに備える、請求項1の方法。
  3. 前記非映像データは、音声データとメタデータと補助データと追加データのうちの少なくとも一つを備える、請求項の方法。
  4. 非映像領域プロセスを用いて、抽出された前記非映像データの少なくとも一部を処理するステップをさらに備える、請求項の方法。
  5. 復号化された複数の画像を符号化する前記ステップが、前記符号化された複数の画像フレームを伝送するステップを含む方法であって:
    前記遷移ストリーム内に複数の伝送パケットを保持するステップであって、前記保持されたパケットは符号化された画像情報を格納するのに用いられない、当該ステップと;
    前記抽出された非映像データが格納されるように、前記保持された複数の伝送パケットの少なくとも一部を用いるステップと、をさらに備える、請求項の方法。
  6. 前記第1の伝送ストリームと前記第2の伝送ストリームが、それぞれ第1と第2のマルチプログラム伝送ストリームに多重化される方法であって:
    処理される伝送ストリームを含む各マルチプログラム伝送ストリームに対して、遷移ストリームに含まれる全ての画像フレームの最大範囲を決定するステップと;
    各マルチプログラム伝送ストリームを脱多重化して、決定された最大範囲の各々を適応させるステップと、をさらに備える、請求項の方法。
  7. 画像データ範囲を決定する前記ステップは、遷移ストリームに含まれる画像フレームに関連する非映像データの全ての最大範囲を決定するステップを含み、前記最大範囲は前記画像データ範囲と非映像データ範囲の組み合わせを含む、請求項の方法。
  8. 前記フロムストリームと前記ツーストリームはそれぞれ、それに関連する映像バッファリングベリファイヤ(VBV)パラメータを有する伝送ストリームを含む方法であって:
    フロムストリームVBVパラメータとツーストリームVBVパラメータ間に相違があるかどうかを決定するステップと;
    前記決定に対応して再符号化するステップを適応させるステップと、をさらに備える、請求項1の方法。
  9. 前記適応させるステップは:
    前記フロムストリームVBVパラメータが前記ツーストリームVBVパラメータを第1の閾値レベル分上回るという決定に応じて、レート制御ビットの割り当てを増やすステップと;
    前記ツーストリームVBVパラメータが前記フロムストリームVBVパラメータを第2の閾値レベル分上回るという決定に応じて、前記レート制御ビットの割り当てを減らすステップと、を備える、請求項の方法。
JP2000611504A 1998-09-25 2000-04-14 遷移ストリームの生成/処理方法 Expired - Lifetime JP4503858B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
US12927599P true 1999-04-14 1999-04-14
US06/129,275 1999-04-14
US09/347,213 US6912251B1 (en) 1998-09-25 1999-07-02 Frame-accurate seamless splicing of information streams
US09/347,213 1999-07-02
US09/430,631 1999-10-29
US09/430,631 US6909743B1 (en) 1999-04-14 1999-10-29 Method for generating and processing transition streams
PCT/US2000/010208 WO2000062552A2 (en) 1999-04-14 2000-04-14 Method for generating and processing transition streams

Publications (3)

Publication Number Publication Date
JP2002542681A JP2002542681A (ja) 2002-12-10
JP2002542681A5 JP2002542681A5 (ja) 2007-06-14
JP4503858B2 true JP4503858B2 (ja) 2010-07-14

Family

ID=27383864

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000611504A Expired - Lifetime JP4503858B2 (ja) 1998-09-25 2000-04-14 遷移ストリームの生成/処理方法

Country Status (4)

Country Link
EP (1) EP1169864A2 (ja)
JP (1) JP4503858B2 (ja)
CA (1) CA2366549C (ja)
WO (1) WO2000062552A2 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100382655B1 (ko) * 2001-07-25 2003-05-09 삼성전자주식회사 프로그램 저장 방법 및 이에 적합한 저장 장치
US6996173B2 (en) 2002-01-25 2006-02-07 Microsoft Corporation Seamless switching of scalable video bitstreams
US20030151753A1 (en) 2002-02-08 2003-08-14 Shipeng Li Methods and apparatuses for use in switching between streaming video bitstreams
CA2479585A1 (en) * 2002-03-27 2003-10-09 Timothy Ralph Jebb Data structure for data streaming system
US20030206596A1 (en) * 2002-05-03 2003-11-06 David Carver Multimedia content assembly
JP2003337596A (ja) * 2002-05-20 2003-11-28 Teac Corp オ−ディオデータ処理方法及び装置
EP1579451A1 (en) * 2002-12-20 2005-09-28 Koninklijke Philips Electronics N.V. Creating edit effects on mpeg-2 compressed video
WO2005025227A1 (en) * 2003-09-05 2005-03-17 General Instrument Corporation Methods and apparatus to improve the rate control during splice transitions
US7366462B2 (en) 2003-10-24 2008-04-29 Qualcomm Incorporated Method and apparatus for seamlessly switching reception between multimedia streams in a wireless communication system
JP4081772B2 (ja) 2005-08-25 2008-04-30 ソニー株式会社 再生装置および再生方法、プログラム、並びにプログラム格納媒体
WO2007072252A2 (en) * 2005-12-23 2007-06-28 Koninklijke Philips Electronics N.V. Creation of 'trick-play' streams for plaintext, partially, or fully encrypted video streams
US8875199B2 (en) 2006-11-13 2014-10-28 Cisco Technology, Inc. Indicating picture usefulness for playback optimization
US8416859B2 (en) 2006-11-13 2013-04-09 Cisco Technology, Inc. Signalling and extraction in compressed video of pictures belonging to interdependency tiers
US8958486B2 (en) 2007-07-31 2015-02-17 Cisco Technology, Inc. Simultaneous processing of media and redundancy streams for mitigating impairments
US8804845B2 (en) 2007-07-31 2014-08-12 Cisco Technology, Inc. Non-enhancing media redundancy coding for mitigating transmission impairments
US8873932B2 (en) 2007-12-11 2014-10-28 Cisco Technology, Inc. Inferential processing to ascertain plural levels of picture interdependencies
US8155207B2 (en) 2008-01-09 2012-04-10 Cisco Technology, Inc. Processing and managing pictures at the concatenation of two video streams
US8416858B2 (en) 2008-02-29 2013-04-09 Cisco Technology, Inc. Signalling picture encoding schemes and associated picture properties
US8886022B2 (en) 2008-06-12 2014-11-11 Cisco Technology, Inc. Picture interdependencies signals in context of MMCO to assist stream manipulation
US8705631B2 (en) 2008-06-17 2014-04-22 Cisco Technology, Inc. Time-shifted transport of multi-latticed video for resiliency from burst-error effects
US8699578B2 (en) 2008-06-17 2014-04-15 Cisco Technology, Inc. Methods and systems for processing multi-latticed video streams
US8971402B2 (en) 2008-06-17 2015-03-03 Cisco Technology, Inc. Processing of impaired and incomplete multi-latticed video streams
US8259814B2 (en) 2008-11-12 2012-09-04 Cisco Technology, Inc. Processing of a video program having plural processed representations of a single video signal for reconstruction and output
WO2010096767A1 (en) 2009-02-20 2010-08-26 Cisco Technology, Inc. Signalling of decodable sub-sequences
US8782261B1 (en) 2009-04-03 2014-07-15 Cisco Technology, Inc. System and method for authorization of segment boundary notifications
US8949883B2 (en) 2009-05-12 2015-02-03 Cisco Technology, Inc. Signalling buffer characteristics for splicing operations of video streams
US8279926B2 (en) 2009-06-18 2012-10-02 Cisco Technology, Inc. Dynamic streaming with latticed representations of video
US9667885B2 (en) 2014-12-12 2017-05-30 Futurewei Technologies, Inc. Systems and methods to achieve interactive special effects
US20210144416A1 (en) * 2019-11-13 2021-05-13 Disney Enterprises, Inc. Generating media programs configured for seamless playback

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2307613B (en) * 1995-08-31 2000-03-22 British Broadcasting Corp Switching bit-rate reduced signals
US6144773A (en) * 1996-02-27 2000-11-07 Interval Research Corporation Wavelet-based data compression
US6137834A (en) * 1996-05-29 2000-10-24 Sarnoff Corporation Method and apparatus for splicing compressed information streams
EP0971542A3 (en) * 1998-07-10 2001-08-01 Tektronix, Inc. Readjustment of bit rates when switching between compressed video streams
US6912251B1 (en) * 1998-09-25 2005-06-28 Sarnoff Corporation Frame-accurate seamless splicing of information streams

Also Published As

Publication number Publication date
CA2366549C (en) 2015-09-08
CA2366549A1 (en) 2000-10-19
WO2000062552A2 (en) 2000-10-19
WO2000062552A3 (en) 2001-02-01
EP1169864A2 (en) 2002-01-09
JP2002542681A (ja) 2002-12-10

Similar Documents

Publication Publication Date Title
US10869102B2 (en) Systems and methods for providing a multi-perspective video display
US9992555B2 (en) Signaling random access points for streaming video data
JP5770345B2 (ja) ビデオデータをストリーミングするためのビデオ切替え
US10129609B2 (en) Method for transceiving media files and device for transmitting/receiving using same
US9716883B2 (en) Tracking and determining pictures in successive interdependency levels
Haskell et al. Digital video: an introduction to MPEG-2
US9390754B2 (en) Video trick mode system
KR101750049B1 (ko) 적응적인 스트리밍 방법 및 장치
EP2499792B1 (en) Method and apparatus for adaptive streaming using segmentation
AU723973B2 (en) Splicing compressed packetized digital video streams
EP1585336B1 (en) Transcoding system and method for maintaining timing parameters before and after performing transcoding process
US7023924B1 (en) Method of pausing an MPEG coded video stream
US7096481B1 (en) Preparation of metadata for splicing of encoded MPEG video and audio
US8503541B2 (en) Method and apparatus for determining timing information from a bit stream
JP4777583B2 (ja) 独立コード化領域を特徴とする画像シーケンス圧縮
EP0881838B1 (en) Timing correction
KR101777348B1 (ko) 데이터 전송 방법 및 장치와 데이터 수신 방법 및 장치
US8285106B2 (en) Information processing apparatus
CA2237761C (en) Method and apparatus for modifying encoded digital video for improved channel utilization
EP0862837B1 (en) Method and apparatus for statistical -multiplexing programs using decoder buffer fullness
KR100750520B1 (ko) 부호화 스트림 생성 장치 및 방법, 데이터 전송 시스템 및 방법, 편집 시스템 및 방법
US6952521B2 (en) Methods and apparatus for editing digital video recordings, and recordings made by such methods
US8290353B2 (en) Data processing device and method
JP4296604B2 (ja) 符号化ストリームスプライシング装置及び方法、並びに符号化ストリーム生成装置及び方法
US6819394B1 (en) Time-varying image editing method and time-varying image editing device

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070406

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070406

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20070514

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090915

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20091215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100413

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Ref document number: 4503858

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100422

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130430

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130430

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140430

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term