JP4764707B2

JP4764707B2 - 番組単位分離装置、及び番組単位分離プログラム

Info

Publication number: JP4764707B2
Application number: JP2005345197A
Authority: JP
Inventors: 盛司山下; 統之堀井; 徹也山口; 雄彦川添
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2005-11-30
Filing date: 2005-11-30
Publication date: 2011-09-07
Anticipated expiration: 2025-11-30
Also published as: JP2007150956A

Description

本発明は、専用のＩＰ（インターネットプロトコル）網やインターネット等の通信網を利用してＶＯＤやリアルタイム番組提供サービス（ＩＰ放送等）を提供する際、コンテンツの供給元よりリアルタイムに提供される圧縮符号化された映像ストリームを番組単位に分離し、再利用可能なコンテンツとして蓄積する技術に関する。

近年、デジタルコンテンツ流通において、専用のＩＰ（インターネットプロトコル）網やインターネット等の通信網を利用したＶＯＤやリアルタイム番組提供サービス（ＩＰ放送）を提供するサービスが活発化し、別の提供、又は視聴形態のためのコンテンツの再利用といった、有限なコンテンツを有効に活用することが望まれている。

そのために、例えば、権利処理を行った上で、コンテンツの供給元より連続したストリームとして提供された映像コンテンツを番組毎に分離して蓄積し、ＶＯＤサービスとして再提供する場合、供給された映像ストリームを、極力人手を介すことなく、正確に番組単位に分離し、蓄積できることが望ましい。

ここで、複数の番組を時系列に連続した映像ストリームとして提供するリアルタイム番組提供型のサービスにおいては、ＥＰＧ（電子番組ガイド）情報として各番組の情報も流通しているのが一般的であり、この情報に基づき、所望の番組の開始時刻と終了時刻を取得し、その区間のストリームを蓄積することが可能である。

ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）による方式では、送信側と受信側の符号化と、復号化及び再生の同期をとるためにストリームと合わせて伝送されるＰＣＲ（ＰｒｏｇｒａｍＣｌｏｃｋＲｅｆｅｒｅｎｃｅ：プログラム時刻基準参照値）と、ＤＴＳ（ＤｅｃｏｄｉｎｇＴｉｍｅＳｔａｍｐ）とＰＴＳ（ＰｒｅｓｅｎｔａｓｉｏｎＴｉｍｅＳｔａｍｐ）のタイムスタンプを利用し、伝送されたストリームデータの復号、再生を可能としており、蓄積されたデータもこれらの値を必要に応じて修正することで正しく再生されるデータとすることができる。

しかしながら、ここで映像ストリーム内の番組区間の時刻と、提供元より送出された映像ストリームが通信網を経由し、該当の装置に入力される時刻とがずれている場合、意図した開始位置、もしくは終了位置とずれてしまうことになり、番組区間を適切に分離、蓄積できないこととなる。

そこで、特許文献１においては、時系列情報、すなわち、映像ストリームの送出側が、その部分情報、すなわち番組区間の開始と終了時刻のタイムスタンプを指定するインデックス指定情報を生成し、送出することで、その情報に基づき所望の番組区間を切り出す方法について提案されている。しかし、コンテンツの提供元、すなわち、該当の映像ストリーム提供側の設備がこの方式に対応している必要があり、そうでない提供元の映像ストリームは扱えないこととなる。

また、提供元の付加情報に依存せずに、コンテンツから所望の一部区間を適切に切り出す方法として、映像を解析し、シーンが切り替わるカット点を自動的に抽出した上で、そのカット点よりコンテンツが開始、又は終了するよう処理する技術は、コンテンツの編集技術としては基本的な技術であり、特許文献２においては、入力される映像を解析し、カット点を抽出した上で、その他の解析結果と合わせて目的とする映像区間を正確に切り出す方法について提案されている。
特許３５９４４７９号公報特開２００５−１１７３３０号公報

しかしながら、リアルタイムに提供される圧縮符号化された映像ストリームを効率的に扱う際に、同時に入力される複数の映像ストリームを扱うケースや、切り出す対象の番組として、その分離区間が数時間に渡るケース、連続する複数の番組を切り出すケースも想定される。このため、ストリームの復号処理や解析処理量が少ないことが望ましい。

また、リアルタイムに入力される映像ストリームの蓄積については、一度全てのストリームを蓄積した上で処理するわけにはいかず、可能な限り対象の番組区間分のみを蓄積することで、装置の蓄積容量への考慮がなされるべきである。

上記従来技術ではこういった処理負荷や蓄積量を考慮しながらストリームを番組単位に分離し、蓄積する方法については考慮されていない。

そこで、リアルタイムに提供される圧縮符号化された映像ストリームにおいて、複数のストリームの処理や、長時間に渡る区間を切り出すこと、連続する複数の番組を切り出すことも想定した上で、その処理負荷と蓄積量を低減しながら、番組単位に適切な開始位置と終了位置で分離し、蓄積することを目的とする。

そこで上記課題を解決するために、請求項１に記載の発明は、入力された番組情報より番組分離スケジュールを編成し、該番組分離スケジュールに基づいて、前記番組情報中の指定された番組開始時刻より一定時間前の番組開始時刻側解析開始時刻、および前記指定された番組終了時刻より一定時間前の番組終了時刻側解析開始時刻から各々映像解析を開始するよう指示する解析指示を映像解析部へ出力し、前記指定された番組開始時刻より一定時間前の時刻に行う番組区間の切り出し開始指示および前記指定された番組終了時刻より一定時間後の時刻に行う番組区間の切り出し終了指示を映像処理部へ出力する番組分離管理部と、圧縮符号化された映像ストリームを入力とし、前記番組分離管理部からの解析指示により指示される番組開始時刻側解析開始時刻から、前記指定された番組開始時刻を過ぎて最初のカット点が抽出されるまでの区間前記映像ストリームの復号および映像解析を行い、前記指定された番組開始時刻前後のカット点出現時刻を比較し、該指定された番組開始時刻により近いカット点の出現時刻を番組開始補正時刻として映像処理部に通知し、前記番組分離管理部からの解析指示により指示される番組終了時刻側解析開始時刻から、前記指定された番組終了時刻を過ぎて最初のカット点が抽出されるまでの区間前記映像ストリームの復号および映像解析を行い、前記指定された番組終了時刻前後のカット点出現時刻を比較し、該指定された番組終了時刻により近いカット点の出現時刻を番組終了補正時刻として映像処理部に通知する映像解析部と、前記圧縮符号化された映像ストリームを入力とし、前記番組分離管理部より出力された番組区間の切り出し開始指示を受信してから、切り出し終了指示を受信するまでの区間の前記映像ストリームを一時蓄積し、前記映像解析部より通知された番組開始補正時刻から番組終了補正時刻までの区間の映像ストリームを、前記一時蓄積されたファイルから分離する映像処理部と、を備えたことを特徴とする。

また、請求項２に記載の発明は、分離対象の番組として、複数の番組が指定され、これらの番組が連続している場合において、前の番組と後の番組の切り替わる点の前後一定区間を共有区間として蓄積し、指定された前の番組の開始時刻より一定時刻前から共有区間までを蓄積したファイルとし、共有区間として蓄積されたファイルを結合して前の番組とし、共有区間として蓄積されたファイルと、共有区間後から指定された後の番組の終了時刻の一定時刻後までを蓄積したファイルを結合して後の番組として処理することを特徴とする。

また、請求項３に記載の発明は、映像ストリームの送出元の時刻と映像ストリームの番組単位分離装置への入力時刻との差を事前にオフセットとして設定可能とし、番組単位分離装置と映像ストリームの時刻補正を行うことを特徴とする。

また、請求項４に記載の発明は、コンピュータを請求項１ないし３のいずれか１項に記載の各部として機能させる番組単位分離プログラムであることを特徴とする。

請求項１〜４に記載の発明によれば、番組単位に適切な開始位置と終了位置で分離し、蓄積することが可能となる

(実施形態)
図１は実施形態の番組単位分離装置の構成例を示した図である。

図１において、番組単位分離装置は、番組分離管理部１００、映像解析部１０１、映像処理部１０２、及び映像蓄積部１０３を有して構成される。

送出元より入力された映像ストリームは、分岐されて映像解析部１０１、映像処理部１０２にそれぞれ入力され、映像ストリームに対する分離、蓄積対象の番組の切り出しに必要な番組情報を番組分離管理部１００にて設定され、その情報に基づき、映像を解析し、映像のカット点の抽出を行う映像解析部１０１、入力された映像ストリームを指定された番組区間で切り出す映像処理部１０２を制御する構成となっている。

番組単位分離の動作として、まず、事前に運用者が入力される映像ストリームに対して、分離、蓄積対象の番組の情報を番組分離管理部１００に入力する。

ここで番組情報として、対象の番組の開始時刻と終了時刻を指定するが、複数の映像ストリームを扱う場合は、ストリームを識別するためのストリームＩＤ、同一ストリーム上に複数のプログラム（チャンネル）が多重されて入力される場合は、そのプログラムを識別するためのサービスＩＤ（プログラムＩＤ）が指定される。また、必要に応じて、分離後のファイルの蓄積先を指定してもよい。

番組分離管理部１００は、この入力された番組情報より番組分離スケジュールを編成し管理する。この番組スケジュールに基づき、入力される映像ストリームの映像解析部１０１への解析指示と、映像処理部１０２への番組区間の切り出し指示を行う。

この解析指示においては、対象番組の開始、又は終了時刻の一定時刻前より解析するよう、適切な番組開始位置、又は終了位置を判定するために必要となる区間が設定される。

また、番組区間の切り出し指示に関しても、解析結果による映像ストリームの切り出し区間の補正を考慮して余分に切り出されるよう、対象番組の開始、又は終了時刻の前後一定時間を設け、これがバッファ時間として設定される。

送出元より伝送された映像ストリームは、映像解析部１０１と映像処理部１０２に、分岐され同時に入力される。

番組分離管理部１００は、映像処理部１０２に対して、バッファ時間を考慮して指定された番組開始時刻より前に、映像ストリームの切り出し開始指示を行う。

映像処理部１０２は、切り出し開始指示を受信した地点より映像処理部１０２内の一時蓄積に、入力された映像ストリームの蓄積を開始する。

合わせて、番組分離管理部１００は、対象の番組開始時刻の一定時間前に映像解析部１０１に対して、解析指示を行う。この解析指示において、入力された対象番組の開始時刻と、対象のストリーム、プログラム（チャンネル）を識別するＩＤが渡される。

解析指示を受信した映像解析部１０１は、入力された映像ストリームを復号し、その映像を解析し、シーンの切り替わり点であるカット点を抽出する。そして、カット点の出現時刻を保持しながら解析を続け、指定された対象番組の開始時刻を過ぎて最初のカット点が抽出された地点で映像の解析及び映像ストリームの復号を終了する。

ここで、映像解析部１０１は、指定された対象番組の開始時刻の前後のカット点出現時刻を比較し、指定された対象番組の開始時刻に対してより近傍のカット点出現時刻を判定し、その近傍カット点の出現時刻を番組開始補正時刻として、映像処理部１０２に通知する。

また、番組の終了位置に関しても、番組分離管理部１００は、映像処理部１０２に対して、バッファ時間を考慮して指定された番組終了時刻より後に、映像ストリームの切り出し終了指示を行う。

映像処理部１０２は、切り出し終了指示を受信した地点で、入力されたストリームの蓄積を終了する。

ここでも同様に、番組管理部１００は映像解析部１０１に対して解析指示を行い、映像解析部１０１はその解析指示に基づき、番組開始時と同様に指示された対象番組の終了時刻の近傍のカット点を判定し、その出現時刻を番組終了補正時刻として、映像処理部１０２に通知する。

映像処理部１０２は、映像解析部１０１より受信した番組開始補正時刻で補正された時刻に相当する位置より一時蓄積したコンテンツファイルの先頭位置を補正して分離し、また、番組終了補正時刻で補正された時刻に相当する位置より蓄積したコンテンツファイルの終了位置を補正する。

この補正の際には、切り出したコンテンツファイルの先頭位置と、終了位置においては、これらの箇所が正しく再生されるようフレーム単位、又は、ＭＰＥＧ方式によるストリームでは複数のフレームをまとめたＧＯＰ（ＧｒｏｕｐｏｆＰｉｃｔｕｒｅｓ）の単位でファイルを処理するようにする。

ここで、一時蓄積としてメモリ上にバッファリングするようにし、映像処理部１０２が映像解析部１０１より番組開始補正時刻を受信した地点で、補正された時刻に相当する位置よりコンテンツの蓄積を開始し、終了地点も同様に、映像処理部１０２が番組終了補正時刻を受信した地点で、蓄積を終了してもよい。

但し、この場合であっても、切り出したコンテンツファイルの先頭位置と終了位置の処理が必要となるので、この処理を考慮して余分に切り出されるようにしなければならず、この余分については別途設定可能なオフセット値として管理されなければならない。

図２は、上記の番組単位分離処理の概念図である。番組Ａは映像ストリームにおける分離、蓄積対象の番組である。ここで、指定された番組Ａの開始時刻をｔｓ、終了時刻をｔｅとする。一時蓄積の際のバッファ時間をｔｂとした場合、一時蓄積として、番組単位分離装置の時刻において、ｔｓ−ｔｂからｔｅ＋ｔｂの区間が分離される。

同時に、映像ストリームの復号、映像解析による指定時刻からの近傍カット点の抽出が行われ、この場合、開始時刻の近傍カット点、すなわち、補正番組開始時刻をｔｒｓ、終了時刻の近傍カット点、すなわち、補正番組終了時刻をｔｒｅとした場合、ファイル先頭位置より先頭位置はｔｂ＋ｔｓ−ｔｒｓ、終了位置はｔｂ＋ｔｅ−ｔｒｅの位置で補正されることにより、適切な開始、終了位置での番組単位分離を実現している。

これらの処理により、処理負荷がかかる映像ストリームの復号、解析処理を必要な範囲のみに限定し、処理負荷の低減を図りながら、抽出したカット点出現時刻で対象番組の開始時刻と終了を適正に補正することが可能となる。

図３は、分離対象の番組として、複数の番組が指定され、かつ、それらの番組が連続している場合における番組単位分離の概念図である。

番組Ａと番組Ｂは、映像ストリームにおいて連続した番組となっており、番組Ａ、番組Ｂともに、解析結果による映像ストリームの切り出し区間の補正を考慮したバッファ時間ｔｂをとった一時蓄積を行う場合、まずは、番組Ａの開始時刻よりｔｂ前から番組Ａの終了時刻よりｔｂ前、すなわち番組Ｂの開始時刻のｔｂ前までの区間Ｆ１として一時蓄積を行う。

次に、番組Ａの終了時刻のｔｂ前より、番組Ｂの開始時刻のｔｂ後、すなわち番組Ａの終了時刻のｔｂ後までの区間をＦ２として一時蓄積する。そして、番組Ｂの開始時刻のｔｂ後より番組Ｂの終了時刻のｔｂ後までの区間をＦ３として一時蓄積を行う。

ここで、番組Ａにおいては、Ｆ１とＦ２を結合したファイルより、前述の近傍カット点出現時刻による分離補正を行い、番組Ａの番組単位ファイルとする。

また、番組Ｂにおいては、Ｆ２とＦ３を結合したファイルより、分離補正を行い、番組Ｂの番組単位ファイルとすることで、番組が連続している場合においても、適正に番組単位に分離、蓄積することが可能となる。

また、送出元から当該装置までの映像ストリームの伝送等によって生じるストリームの送出時刻と該装置の入力時刻の誤差については、ある程度定常的な誤差として把握可能であるが、この場合、当該装置に事前にオフセットとして設定可能とし、当該装置への映像ストリームの入力時刻を補正することで、映像ストリーム内の時刻と当該装置の時刻におけるカット点の出現範囲より大きな時刻誤差を吸収することが可能となる。

上記実施形態において、番組単位分離装置は、例えば、番組単位分離装置を構成するコンピュータ装置が有するＣＰＵによって実現され、番組分離管理部、映像解析部、映像処理部などをアプリケーションプログラムとして搭載することができる。

また、番組分離管理部、映像解析部、映像処理部などで行った処理結果、計算結果、当該処理に必要な情報等のデータを内部メモリや外部記憶装置等に書き込み・読み出しができるようにしてもよい。

また、番組単位分離装置の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム、又は装置に供給し、そのシステム、又は装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することも可能である。この場合、記憶媒体から読み出されたプログラムコード自体が上記実施形態の機能を実現することになり、このプログラムコードを記憶した記憶媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、及びＨＤＤ等がある。

上記実施形態によれば、リアルタイムに提供される圧縮符号化された映像ストリームにおいて、複数のストリームの処理や、長時間に渡る区間を切り出すこと、連続する複数の番組を切り出すことも想定した上で、その蓄積量と処理負荷を低減し、番組単位に適切な開始位置と終了位置で分離し、蓄積することが可能となる。

番組単位分離装置を示すブロック図。番組単位分離処理の概念図。分離対象の番組として、複数の番組が指定され、かつ、それらの番組が連続している場合における番組単位分離の概念図。

符号の説明

１００番組分離管理部
１０１映像解析部
１０２映像処理部
１０３映像蓄積部

Claims

入力された番組情報より番組分離スケジュールを編成し、該番組分離スケジュールに基づいて、前記番組情報中の指定された番組開始時刻より一定時間前の番組開始時刻側解析開始時刻、および前記指定された番組終了時刻より一定時間前の番組終了時刻側解析開始時刻から各々映像解析を開始するよう指示する解析指示を映像解析部へ出力し、前記指定された番組開始時刻より一定時間前の時刻に行う番組区間の切り出し開始指示および前記指定された番組終了時刻より一定時間後の時刻に行う番組区間の切り出し終了指示を映像処理部へ出力する番組分離管理部と、
圧縮符号化された映像ストリームを入力とし、前記番組分離管理部からの解析指示により指示される番組開始時刻側解析開始時刻から、前記指定された番組開始時刻を過ぎて最初のカット点が抽出されるまでの区間前記映像ストリームの復号および映像解析を行い、前記指定された番組開始時刻前後のカット点出現時刻を比較し、該指定された番組開始時刻により近いカット点の出現時刻を番組開始補正時刻として映像処理部に通知し、前記番組分離管理部からの解析指示により指示される番組終了時刻側解析開始時刻から、前記指定された番組終了時刻を過ぎて最初のカット点が抽出されるまでの区間前記映像ストリームの復号および映像解析を行い、前記指定された番組終了時刻前後のカット点出現時刻を比較し、該指定された番組終了時刻により近いカット点の出現時刻を番組終了補正時刻として映像処理部に通知する映像解析部と、
前記圧縮符号化された映像ストリームを入力とし、前記番組分離管理部より出力された番組区間の切り出し開始指示を受信してから、切り出し終了指示を受信するまでの区間の前記映像ストリームを一時蓄積し、前記映像解析部より通知された番組開始補正時刻から番組終了補正時刻までの区間の映像ストリームを、前記一時蓄積されたファイルから分離する映像処理部と、
を備えたことを特徴とする番組単位分離装置。
分離対象の番組として、複数の番組が指定され、これらの番組が連続している場合において、
前の番組と後の番組の切り替わる点の前後一定区間を共有区間として蓄積し、指定された前の番組の開始時刻より一定時刻前から共有区間までを蓄積したファイルとし、共有区間として蓄積されたファイルを結合して前の番組とし、共有区間として蓄積されたファイルと、共有区間後から指定された後の番組の終了時刻の一定時刻後までを蓄積したファイルを結合して後の番組として処理することを特徴とする請求項１記載の番組単位分離装置。
映像ストリームの送出元の時刻と映像ストリームの番組単位分離装置への入力時刻との差を事前にオフセットとして設定可能とし、番組単位分離装置と映像ストリームの時刻補正を行うことを特徴とする請求項１記載の番組単位分離装置。
コンピュータを請求項１ないし３のいずれか１項に記載の各部として機能させる番組単位分離プログラム。