JP5771098B2 - COMMUNICATION CONTENT GENERATION DEVICE AND COMMUNICATION CONTENT GENERATION PROGRAM - Google Patents
COMMUNICATION CONTENT GENERATION DEVICE AND COMMUNICATION CONTENT GENERATION PROGRAM Download PDFInfo
- Publication number
- JP5771098B2 JP5771098B2 JP2011191815A JP2011191815A JP5771098B2 JP 5771098 B2 JP5771098 B2 JP 5771098B2 JP 2011191815 A JP2011191815 A JP 2011191815A JP 2011191815 A JP2011191815 A JP 2011191815A JP 5771098 B2 JP5771098 B2 JP 5771098B2
- Authority
- JP
- Japan
- Prior art keywords
- communication
- communication content
- content
- broadcast
- pts
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、放送と通信を連携したサービスを実現するためのシステムに係り、特に、放送コンテンツに同期した通信コンテンツを生成する通信コンテンツ生成装置および通信コンテンツ生成プログラムに関する。 The present invention relates to a system for realizing a service in which broadcasting and communication are linked, and more particularly, to a communication content generation apparatus and a communication content generation program for generating communication content synchronized with broadcast content.
デジタル放送では、従来のアナログ放送のサービスに加えて、例えばデータ放送や電子番組表(EPG:Electronic Program Guide)等により多機能なサービスが提供されている。また、近年では、放送と通信を連携した様々のサービス(以下、放送通信連携サービスという)として、例えば、番組カスタマイズサービス、ソーシャルテレビサービス、番組お薦めサービス、携帯端末連携サービス等が提案されてきている。 In digital broadcasting, in addition to conventional analog broadcasting services, for example, multi-functional services are provided by data broadcasting, electronic program guide (EPG), and the like. In recent years, for example, a program customization service, a social TV service, a program recommendation service, a mobile terminal cooperation service, and the like have been proposed as various services (hereinafter referred to as a broadcast communication cooperation service) that link broadcasting and communication. .
番組カスタマイズサービスは、放送番組に関連する字幕や音声、動画などを通信経由で提供することで、視聴者個人のニーズにあった視聴を可能にするサービスである。
ソーシャルテレビサービスは、例えば、つぶやきのような視聴者投稿を画面にオーバーレイして表示可能なサービスである。
番組お薦めサービスは、インターネットで提供される番組ライブラリーの中から視聴者にお薦めのVOD(Video On Demand)番組を提示するサービスである。
携帯端末連携サービスは、番組お薦めサービス等のために、携帯端末と据え置き型のテレビを連携させることで視聴者個人がASP(Application Service Provider)等にログインする手続きを簡素化するサービスである。
The program customization service is a service that enables viewing tailored to the needs of individual viewers by providing, via communication, subtitles, sounds, and moving pictures related to broadcast programs.
The social TV service is a service that can display viewer posts such as tweets over a screen, for example.
The program recommendation service is a service for presenting a recommended VOD (Video On Demand) program to viewers from a program library provided on the Internet.
The mobile terminal cooperation service is a service that simplifies the procedure for a viewer to log in to an ASP (Application Service Provider) or the like by linking a mobile terminal and a stationary television for a program recommendation service or the like.
従来、これらのサービスを実現するための基盤となる様々な技術が研究・開発されている。例えば、番組カスタマイズサービスを実現させるための基盤技術の1つに、電波で送られてくる放送番組(放送コンテンツ)と、ネットワーク経由で送られてくるコンテンツ(通信コンテンツ)とを受信機(コンテンツ受信端末)で同期して合成して提示する技術が挙げられる。 Conventionally, various technologies as a basis for realizing these services have been researched and developed. For example, as one of the basic technologies for realizing a program customization service, a broadcast program (broadcast content) sent via radio waves and a content (communication content) sent via a network are received (content reception) And a technique of synthesizing and presenting them synchronously on a terminal.
通常、放送コンテンツには、いわゆる時刻情報としてPTS(Presentation Time Stamp)が付加されている。そのため、通信コンテンツにもPTSを付加して、受信機において、放送コンテンツのPTSと、通信コンテンツのPTSとをそれぞれ検出し、比較し、どちらかのコンテンツを遅延させることで同期させて提示する送受信システムが検討されている。
この送受信システムでは、送信側において、放送コンテンツにPTSが付加されているように、通信コンテンツにもPTSを付加しようとするとき、放送と同期したPTSをつけなければならない。つまり、送信側では、通信コンテンツに対して、同期させようとする放送コンテンツのPTSと同じ値を埋め込まなければならない。
Normally, PTS (Presentation Time Stamp) is added to broadcast content as so-called time information. Therefore, PTS is also added to the communication content, and at the receiver, the PTS of the broadcast content and the PTS of the communication content are detected, compared, and transmitted / received in a synchronized manner by delaying either content. The system is being considered.
In this transmission / reception system, when a PTS is added to communication content on the transmission side, a PTS that is synchronized with the broadcast must be attached, as the PTS is added to the broadcast content. That is, on the transmission side, the same value as the PTS of the broadcast content to be synchronized must be embedded in the communication content.
従来、デジタル放送の映像・音声信号に字幕信号を別個に同期させて放送できるようにする技術が知られている(特許文献1参照)。しかしながら、特許文献1に記載の技術は、アナログ放送からデジタル放送への移行に際して、例えば字幕サービス等の提供方法が変わって同期PES(Packetized Elementary Stream)とすることができなかったことを解決するための技術である。そのため、この技術は、放送通信連携サービスに適用することができない。また、放送通信連携サービスにおいて、放送局側で、通信コンテンツに、同期のためのPTSを付加する技術は、これまで知られていない。 2. Description of the Related Art Conventionally, there has been known a technique that allows a subtitle signal to be separately synchronized with a video / audio signal of digital broadcasting (see Patent Document 1). However, the technique described in Patent Document 1 solves the problem that, for example, a method for providing a caption service or the like has been changed and a synchronous PES (Packetized Elementary Stream) cannot be achieved when shifting from analog broadcasting to digital broadcasting. Technology. For this reason, this technology cannot be applied to the broadcasting / communication cooperation service. Further, in the broadcasting / communication cooperation service, a technology for adding a PTS for synchronization to communication contents on the broadcasting station side has not been known so far.
放送番組は、2種類に大別される。1つは、ドラマのように、編集して出来上がった素材であって、それを放送の時には再生するという番組(いわゆる完プロ番組)であり、もう1つは生放送番組(いわゆるライブ)である。このうち、完プロ番組においては、放送コンテンツは放送前に既に完成しているので、放送前に監視者が放送コンテンツを視聴しながら通信コンテンツの同期をとって、放送コンテンツと同じタイミングでPTSを通信コンテンツに付加することができる。この場合、放送コンテンツと通信コンテンツとを同時に送ることができる。 Broadcast programs are roughly divided into two types. One is a material produced by editing, such as a drama, which is a program (so-called complete program) that is played back during broadcasting, and the other is a live broadcast program (so-called live). Of these, in the complete professional program, since the broadcast content has already been completed before the broadcast, the supervisor synchronizes the communication content while watching the broadcast content before the broadcast, and performs the PTS at the same timing as the broadcast content. It can be added to communication content. In this case, broadcast content and communication content can be sent simultaneously.
しかしながら、生放送番組の場合、通信コンテンツの制作は、実際に放送される時刻以降となり、通信コンテンツに付加すべきPTSの値が不明である。そのため、放送コンテンツを視聴してから通信コンテンツを制作する制作者にとって、PTSを付けることが非常に難しく、通信コンテンツに対して、放送コンテンツに同期したPTSを付加することができなかった。具体的には、生放送番組では、カメラで撮ったそのままを放送するため、制作者が、例えばカメラ映像に同期した通信用のコンテンツの素材として字幕を作っている間に、放送が流れてしまう。つまり、カメラで撮った瞬間の映像のタイミングは、字幕を作っている間に進んでしまう。 However, in the case of a live broadcast program, the production of communication content is after the actual broadcast time, and the value of PTS to be added to the communication content is unknown. For this reason, it is very difficult for a producer who creates communication content after viewing broadcast content to add a PTS to the communication content in synchronization with the broadcast content. Specifically, since a live broadcast program broadcasts as it is taken by a camera, the broadcast flows while the producer is creating subtitles as material for communication content synchronized with the camera video, for example. In other words, the timing of the video taken by the camera advances while making subtitles.
前記番組カスタマイズサービスでは、例えば、放送コンテンツとして、実況者と解説者による野球中継の生放送番組を仮定し、かつ、通信コンテンツとして、一方のチームを応援する別の解説者による字幕を仮定した場合を考える。このような想定の場合、視聴を希望する視聴者だけが通信コンテンツを要求することでサービスを享受できるが、字幕が常に遅れるので、視聴者は野球中継の映像の場面よりも字幕が遅れていると感じることになる。したがって、番組カスタマイズサービスの品質を向上させることが要望されている。 In the program customization service, for example, a case where a live broadcast program of a baseball broadcast by a live commentator and a commentator is assumed as broadcast content, and a subtitle by another commentator who supports one team is assumed as communication content is assumed. Think. In such an assumption, only viewers who wish to view can enjoy the service by requesting the communication content, but since the caption is always delayed, the viewer is behind the baseball broadcast video scene. Will feel. Therefore, it is desired to improve the quality of the program customization service.
本発明は、以上のような問題点に鑑みてなされたものであり、生放送番組であっても送信側で放送コンテンツと通信コンテンツとを同期させることができる通信コンテンツ生成装置および通信コンテンツ生成プログラムを提供することを課題とする。 The present invention has been made in view of the above-described problems. A communication content generation apparatus and a communication content generation program that can synchronize broadcast content and communication content on the transmission side even in a live broadcast program. The issue is to provide.
前記課題を解決するために、本発明のうち請求項1に記載の通信コンテンツ生成装置は、放送波により放送用TS信号として放送される1つの放送コンテンツと通信ネットワークで配信するための1または複数の通信用コンテンツ素材とを送信側で同期させるためにそれぞれ監視する監視者が同期用の所望の時間を選択する操作を行うために用いる操作手段の操作量に基づいて、前記1または複数の通信用コンテンツ素材から1または複数の通信コンテンツを生成する通信コンテンツ生成装置であって、タイムスタンプ抽出手段と、入力手段と、遅延手段と、演算手段と、タイムスタンプ付加手段と、を備えることとした。 In order to solve the above-mentioned problem, the communication content generation device according to claim 1 of the present invention is provided with one or a plurality of broadcast contents that are broadcasted as broadcast TS signals by broadcast waves and one or more for distribution on a communication network. The one or more communications based on the amount of operation of the operating means used by the supervisor who monitors each of the content materials for communication on the transmission side to perform an operation of selecting a desired time for synchronization. Communication content generating apparatus that generates one or a plurality of communication contents from a content material for use, comprising: a time stamp extracting means, an input means, a delay means, a computing means, and a time stamp adding means. .
かかる構成によれば、通信コンテンツ生成装置は、タイムスタンプ抽出手段によって、前記監視者が利用する表示装置に入力する前記放送用TS信号に多重化されているPESパケットに予め付加されているPTSの値を抽出する。そして、通信コンテンツ生成装置は、入力手段によって、前記操作手段から、当該監視者が利用する表示装置において前記放送コンテンツを前記所望の時間だけ遅延させて表示するための遅延時間として前記操作量の入力を受け付ける。そして、通信コンテンツ生成装置は、遅延手段によって、前記表示装置に入力する前記放送用TS信号を前記遅延時間だけ遅延させて前記表示装置に出力する。そして、通信コンテンツ生成装置は、演算手段によって、前記表示装置に入力する放送用TS信号より抽出されたPTSの値から、前記遅延時間のPTS換算値を減算した値を有する第2のPTSを生成する。そして、通信コンテンツ生成装置は、前記通信用コンテンツ素材毎に設けられたタイムスタンプ付加手段によって、当該通信用コンテンツ素材を符号化して前記第2のPTSを付加することで、通信用のPESパケットを前記通信コンテンツとしてそれぞれ生成する。
したがって、放送コンテンツと通信コンテンツとを受信する受信端末において、受信した通信コンテンツに付加されたPTSは、そのとき受信中の放送コンテンツのPTS値よりも遡った値を用いて生成されているので、受信端末は、受信中の通信コンテンツを、それ以前に受信した放送コンテンツをバッファリングして遅延させることで同期をとることができる。
According to such a configuration, the communication content generation device uses the time stamp extraction unit to store the PTS packet added in advance to the PES packet multiplexed in the broadcasting TS signal input to the display device used by the monitor. Extract the value. Then, the communication content generation device inputs the operation amount as a delay time for displaying the broadcast content with a delay by the desired time on the display device used by the monitor from the operation unit. Accept. Then, the communication content generation device delays the broadcast TS signal input to the display device by the delay time and outputs the delayed signal to the display device. Then, the communication content generation device generates a second PTS having a value obtained by subtracting the PTS conversion value of the delay time from the PTS value extracted from the broadcasting TS signal input to the display device by the arithmetic means. To do. Then, the communication content generation device encodes the communication content material and adds the second PTS by a time stamp addition unit provided for each communication content material, thereby adding a communication PES packet. Each of them is generated as the communication content.
Therefore, in the receiving terminal that receives the broadcast content and the communication content, the PTS added to the received communication content is generated using a value that goes back from the PTS value of the broadcast content being received at that time. The receiving terminal can synchronize the communication content being received by buffering and delaying the broadcast content received earlier.
また、請求項1に記載の通信コンテンツ生成装置において、前記通信用コンテンツ素材のうち少なくとも1つは映像または音声を含み、前記タイムスタンプ抽出手段が、分離手段と、復号手段と、周波数変換手段と、を備え、前記タイムスタンプ付加手段が、AD変換手段と、符号化手段と、を備えることとした。 In the communication content generation apparatus according to 請 Motomeko 1, wherein at least one of the communication content material comprises a video or audio, the time stamp extracting means, separating means, decoding means, frequency conversion means The time stamp adding unit includes an AD converting unit and an encoding unit.
かかる構成によれば、通信コンテンツ生成装置は、前記タイムスタンプ抽出手段において、分離手段によって、前記放送用TS信号に含まれる映像・音声とPCRとを分離する。ここで、分離とは、放送用TS信号に多重化されている映像・音声とPCRとを逆多重化することを示す。そして、前記タイムスタンプ抽出手段において、復号手段によって、前記分離された映像・音声を表示可能に復号すると共に前記PTSの値を抽出する。そして、前記タイムスタンプ抽出手段において、周波数変換手段によって、前記分離されたPCRに格納されているシステムクロックを分周して前記システムクロックよりも低い所定のクロックに変換する。また、かかる構成によれば、通信コンテンツ生成装置は、前記タイムスタンプ付加手段において、AD変換手段によって、前記通信用コンテンツ素材のアナログ信号を、前記周波数変換手段で変換されたクロックにしたがってデジタル信号に変換する。そして、前記タイムスタンプ付加手段において、符号化手段によって、前記AD変換された通信用コンテンツ素材に前記第2のPTSを付加して符号化する。
したがって、放送コンテンツと通信コンテンツとを受信する受信端末において、受信した放送コンテンツのクロックと、受信した通信コンテンツのクロックと、を1つのクロックで動かすことができるので、受信中の通信コンテンツを、それ以前に受信した放送コンテンツとの同期を精密にとることができる。
According to such a configuration, the communication content generation apparatus separates the video / audio and the PCR included in the broadcast TS signal by the separation unit in the time stamp extraction unit. Here, the separation means demultiplexing the video / audio multiplexed on the broadcast TS signal and the PCR. Then, in the time stamp extraction means, the separated video / audio is decoded so as to be displayable by the decoding means, and the value of the PTS is extracted. In the time stamp extraction means, the frequency conversion means divides the system clock stored in the separated PCR and converts it to a predetermined clock lower than the system clock. According to such a configuration, the communication content generation device converts the analog signal of the communication content material into a digital signal according to the clock converted by the frequency conversion unit by the AD conversion unit in the time stamp addition unit. Convert. In the time stamp adding means, the encoding means adds the second PTS to the AD-converted communication content material and encodes it.
Therefore, the receiving terminal that receives the broadcast content and the communication content can move the received broadcast content clock and the received communication content clock with one clock. Precise synchronization with previously received broadcast content can be achieved.
また、請求項2に記載の通信コンテンツ生成装置は、請求項1に記載の通信コンテンツ生成装置において、前記タイムスタンプ付加手段が、多重化手段と、配信手段と、を備えることとした。 The communication content creating apparatus according to claim 2, in the communication content generation apparatus according to claim 1, wherein the time stamp adding unit, and a further comprising a multiplexing means, a delivery means.
かかる構成によれば、通信コンテンツ生成装置は、前記タイムスタンプ付加手段において、多重化手段によって、前記通信用コンテンツ素材に対して生成された前記通信用のPESパケットを多重化した通信用TS信号を生成する。そして、前記タイムスタンプ付加手段において、配信手段によって、放送波を介して放送用TS信号として放送される放送コンテンツを受信する受信端末から、前記通信ネットワークを介して、当該放送コンテンツのために用意された通信コンテンツの要求を受け付け、当該受信端末に対して、前記要求された通信コンテンツとして前記通信用TS信号を配信する。 According to such a configuration, the communication content generation device receives the communication TS signal obtained by multiplexing the communication PES packet generated for the communication content material by the multiplexing unit in the time stamp addition unit. Generate. In the time stamp addition means, the distribution means prepares the broadcast content via the communication network from the receiving terminal that receives the broadcast content broadcast as a broadcast TS signal via the broadcast wave. The communication content request is received, and the communication TS signal is distributed as the requested communication content to the receiving terminal.
また、請求項3に記載の通信コンテンツ生成プログラムは、コンピュータを、前記通信コンテンツ生成装置として機能させるためのプログラムである。 The communication content generation program according to claim 3, a computer, a program to function as the communication content generating device.
請求項1または請求項3に記載の発明によれば、監視者が遅延させた放送コンテンツを視聴して、放送コンテンツと通信コンテンツとの同期を確認することができるので、生放送番組であっても送信側で放送コンテンツと通信コンテンツとを同期させることができる。 According to the first or third aspect of the invention, the broadcast content delayed by the monitor can be viewed and the synchronization between the broadcast content and the communication content can be confirmed. Broadcast content and communication content can be synchronized on the transmission side.
請求項1または請求項3に記載の発明によれば、生成した通信コンテンツを受信する側において、受信した放送コンテンツのクロックと、受信した通信コンテンツのクロックと、を1つのクロックで動かすことができるので、通信コンテンツと放送コンテンツとの同期を精密にとることができる。
請求項2に記載の発明によれば、生成した通信コンテンツを配信することができる。
According to the first or third aspect of the invention, on the side of receiving the generated communication content, the clock of the received broadcast content and the clock of the received communication content can be moved by one clock. Therefore, it is possible to precisely synchronize communication content and broadcast content.
According to the second aspect of the present invention, the generated communication content can be distributed.
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
[通信コンテンツ生成装置の概要]
図1に示す通信コンテンツ生成装置1は、放送されるコンテンツ(放送コンテンツ)に関連して通信ネットワークNで配信するためのコンテンツ(通信コンテンツ)を、監視者の操作に基づいて生成するものである。ここで、コンテンツの符号化方式としては、MPEG−2、MPEG−4、H.264等が存在するが、以下では、一例として、MPEG−2を用いることとする。なお、図1に示す監視者周辺機材10は、通信コンテンツ生成装置1の外部にあるものとして説明する(図2参照)。
Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings.
[Outline of communication content generation device]
The communication content generation apparatus 1 shown in FIG. 1 generates content (communication content) to be distributed on the communication network N in relation to the broadcast content (broadcast content) based on the operation of the supervisor. . Here, as a content encoding method, MPEG-2, MPEG-4, H.264, or the like is used. In the following, MPEG-2 is used as an example. Note that the supervisor
この通信コンテンツ生成装置1の機能の概要について図2を参照(適宜図1参照)して説明する。図2は、通信コンテンツ生成装置1を含む送受信システムの概要を示す構成図である。放送局の主調整室100では、放送コンテンツであるデジタル放送番組(映像・音声)に用いる映像素材が映像エンコーダ110で符号化され、かつ、音声素材が音声エンコーダ120で符号化され、その後、映像および音声は多重化装置130によって多重化される。多重化されたTS信号は、放送局の変調手段140によって変調され、出力手段150によって、アンテナ160を介して放送波として送出される。これにより、視聴者は、所有するコンテンツ受信端末200を利用してデジタル放送番組を視聴することができる。
An outline of functions of the communication content generation apparatus 1 will be described with reference to FIG. 2 (refer to FIG. 1 as appropriate). FIG. 2 is a configuration diagram illustrating an outline of a transmission / reception system including the communication content generation device 1. In the main adjustment room 100 of the broadcasting station, the video material used for the digital broadcast program (video / audio) that is the broadcast content is encoded by the
コンテンツ受信端末200は、デジタル放送が受信可能でインターネット接続可能な端末であって、例えば、テレビジョン、パーソナルコンピュータ、セットトップボックス、携帯端末、スマートフォン等から構成される。
コンテンツ受信端末200は、放送コンテンツを受信して提示する。また、コンテンツ受信端末200は、視聴者の操作に応じて当該放送コンテンツのために用意された通信コンテンツを、通信ネットワークNを介して要求し、要求に応じて送信された通信コンテンツを受信して提示する。
The content receiving terminal 200 is a terminal that can receive digital broadcasts and can be connected to the Internet, and includes, for example, a television, a personal computer, a set-top box, a portable terminal, a smartphone, and the like.
The content receiving terminal 200 receives and presents broadcast content. In addition, the content receiving terminal 200 requests communication content prepared for the broadcast content according to the operation of the viewer via the communication network N, and receives the communication content transmitted in response to the request. Present.
通信コンテンツ生成装置1に入力する放送コンテンツは、主調整室100の多重化装置130から出力され、変調されていないTS信号であり、以下では、これを放送用TS信号とも呼ぶ。
通信コンテンツ生成装置1は、監視者の操作に基づいて、放送コンテンツに関連した1または複数の通信コンテンツの素材(通信用コンテンツ素材)から1または複数の通信コンテンツを生成する。以下では、これを通信用TS信号ともいう。図1に示す例では、通信用コンテンツ素材として、字幕と音声とを用いて、字幕の通信コンテンツ(通信用TS信号)と、音声の通信コンテンツ(通信用TS信号)とをそれぞれ生成することとした。
生成された通信コンテンツは、インターネット等の通信ネットワークNを介して、視聴者が所有するコンテンツ受信端末200からの要求にしたがって配信される。
The broadcast content input to the communication content generation device 1 is an unmodulated TS signal output from the
The communication content generation device 1 generates one or a plurality of communication contents from one or a plurality of communication content materials (communication content materials) related to the broadcast content based on the operation of the supervisor. Hereinafter, this is also referred to as a communication TS signal. In the example shown in FIG. 1, subtitle communication content (communication TS signal) and audio communication content (communication TS signal) are respectively generated using subtitles and audio as communication content materials. did.
The generated communication content is distributed via a communication network N such as the Internet in accordance with a request from the content receiving terminal 200 owned by the viewer.
通信用コンテンツ素材としては、その種類は特に限定されないが、音声や字幕のほか、例えば、映像、字幕以外のテキスト情報、つぶやき等のコミュニケーションサービスで投稿される短文の情報、番組に対する意見・感想・要望等として視聴者(コンテンツを要求する視聴者以外の他人)が書き込んだ情報なども用いることができる。 The type of content material for communication is not particularly limited, but in addition to audio and subtitles, for example, video, text information other than subtitles, short text information posted on communication services such as tweets, opinions, impressions, Information written by a viewer (other than the viewer who requests the content) can be used as a request or the like.
監視者は、監視者周辺機材10を利用して、放送コンテンツと、通信用コンテンツ素材とを監視すると共に、放送コンテンツを見ながら通信コンテンツに対して放送コンテンツに同期したPTSを付加する操作を行う。ここで、放送コンテンツ(放送用TS信号)には予めPTSが付加されており、通信コンテンツ生成装置1は、放送コンテンツに付加されているものとは異なるPTS値を有したPTSを生成する。以下では、通信コンテンツ生成装置1が生成して通信コンテンツ(通信用TS信号)に付加するPTSのことを第2のPTSと呼称して区別する。
The monitor uses the monitor
[監視者周辺機材の構成例]
監視者周辺機材10は、図1に示す例では、表示装置11と、操作手段12と、表示装置13と、スピーカ14とを備える。
表示装置11は、オンエアされている放送コンテンツ(Air、放送用TS信号)を表示し、表示装置13は、通信用コンテンツ素材である字幕を表示するものとする。各表示装置11,13は、例えば液晶ディスプレイ等から構成される。スピーカ14は、通信用コンテンツ素材である音声を出力する。
[Configuration example of equipment around the observer]
In the example illustrated in FIG. 1, the supervisor
The
操作手段12は、監視者が放送コンテンツと通信コンテンツとの同期用の所望の時間を選択する操作を行うために用いるユーザインタフェースである。これにより、監視者は第2のPTSを付加する操作を行うことができる。
この操作手段12としては、例えば、回転軸に取り付けた操作ツマミを回転させたときにロータリーエンコーダ等のセンサで回転量、回転角度、回転位置等を操作量として計測・検出して、検出した操作量を示す信号を通信コンテンツ生成装置1に出力するものを用いることができる。
The operation means 12 is a user interface used for the monitor to perform an operation of selecting a desired time for synchronizing the broadcast content and the communication content. As a result, the supervisor can perform an operation of adding the second PTS.
As this operation means 12, for example, when the operation knob attached to the rotating shaft is rotated, the rotation amount, rotation angle, rotation position, etc. are measured and detected as operation amounts by a sensor such as a rotary encoder, and the detected operation is detected. What outputs the signal which shows quantity to the communication content production | generation apparatus 1 can be used.
以下では、操作手段12は、一例として、操作ツマミを回転させたときの操作量を示す信号を出力するものとして説明する。この操作手段12の操作量は、表示装置11において放送コンテンツを所望の時間だけ遅延させて表示するための遅延時間に相当するものである。例えば、操作手段12の操作ツマミが基準位置を示すときに操作量が0であって遅延が0(遅延なし)となり、操作ツマミが最大位置を示すときに操作量が最大であって遅延が最大となるように正規化しておくことができる。
Hereinafter, the
遅延時間は、例えば放送コンテンツの番組内容や通信用コンテンツ素材の種類等に応じて適宜設定することができる。通信用コンテンツ素材が例えば音声である場合には、遅延時間はあまり必要ないので、遅延時間の最大値が例えば1秒未満(数〜数十フレーム程度)、字幕の場合には、例えば数〜10秒程度等で指定されるように予め設定される。 The delay time can be appropriately set according to, for example, the program content of the broadcast content, the type of content material for communication, and the like. When the communication content material is, for example, audio, the delay time is not necessary so much. Therefore, the maximum delay time is, for example, less than 1 second (about several to several tens of frames). It is set in advance so as to be specified in about seconds or the like.
[通信コンテンツ生成装置の構成]
通信コンテンツ生成装置1は、例えば、CPU(Central Processing Unit)等の演算装置と、RAM(Random Access Memory)やROM(Read Only Memory)等のメモリ、ハードディスク等の記憶装置と、外部との各種情報の送受信を行うインタフェース装置とを備えたコンピュータと、このコンピュータにインストールされたプログラムとから構成される。この通信コンテンツ生成装置1は、ハードウェア装置とソフトウェアとが協働することによって、前記したハードウェア資源がプログラムによって制御されることにより実現され、図1に示すように、タイムスタンプ抽出手段2と、入力手段3と、遅延手段4と、演算手段5と、タイムスタンプ付加手段6とを備える。なお、オンエアされている放送コンテンツ(Air、放送用TS信号)は、監視者周辺機材10の表示装置11に表示されることを前提とする。
[Configuration of communication content generation device]
The communication content generation device 1 includes, for example, an arithmetic device such as a CPU (Central Processing Unit), a memory such as a RAM (Random Access Memory) and a ROM (Read Only Memory), a storage device such as a hard disk, and various types of external information. The computer is provided with an interface device that performs transmission and reception, and a program installed in the computer. The communication content generation apparatus 1 is realized by the hardware device and software cooperating to control the above hardware resources by a program. As shown in FIG. , Input means 3, delay means 4, calculation means 5, and time stamp addition means 6. It is assumed that on-air broadcast content (Air, broadcast TS signal) is displayed on the
タイムスタンプ抽出手段2は、監視者周辺機材10の表示装置11に入力する放送用TS信号に多重化されているPESパケットに予め付加されているPTSの値を抽出するものである。本実施形態では、タイムスタンプ抽出手段2は、図1に示すように、分離手段21と、復号手段22と、周波数変換手段23とを備える。
The time stamp extracting means 2 extracts the PTS value added in advance to the PES packet multiplexed in the broadcasting TS signal input to the
分離手段21は、放送用TS信号を入力し、放送用TS信号に含まれる映像・音声とPCR(Program Clock Reference)とを分離(逆多重化)するものである。この分離手段21は、例えば一般的なデマルチプレクサから構成される。分離された映像・音声は、復号手段22に入力する。また、PCRは、周波数変換手段23で利用される。 The separating means 21 receives a broadcasting TS signal and separates (demultiplexes) video / audio and PCR (Program Clock Reference) included in the broadcasting TS signal. This separating means 21 is constituted by a general demultiplexer, for example. The separated video / audio is input to the decoding means 22. The PCR is used by the frequency conversion means 23.
復号手段22は、分離手段21で分離された映像・音声を表示可能に復号すると共にPTSの値を抽出するものである。この復号手段22は、例えば一般的な映像・音声デコーダから構成される。ここで抽出されたPTSの値は、演算手段5へ出力される。また、復号された映像・音声は、遅延手段4に入力する。なお、PTSは90kHzを単位とした33ビットの情報を示す。 The decoding means 22 decodes the video / audio separated by the separation means 21 so as to be displayable, and extracts the PTS value. The decoding means 22 is composed of, for example, a general video / audio decoder. The PTS value extracted here is output to the computing means 5. The decoded video / audio is input to the delay means 4. Note that PTS indicates 33-bit information in units of 90 kHz.
周波数変換手段23は、分離手段21で分離されたPCRに格納されているシステムクロック(STC:System Time Clock)を分周してシステムクロックよりも低い所定のクロック(例えばf/s)に変換するものである。周波数変換手段23は、例えば一般的な分周器から構成される。システムクロックから変換された所定のクロックは、タイムスタンプ付加手段6bの後記するAD変換手段60に入力する。ここで、fは例えばAD変換手段60のクロック、sはシステムクロックを示す。
The frequency conversion means 23 divides the system clock (STC: System Time Clock) stored in the PCR separated by the separation means 21 and converts it to a predetermined clock (for example, f / s) lower than the system clock. Is. The
入力手段3は、監視者周辺機材10の操作手段12から、監視者周辺機材10の表示装置11において放送コンテンツを所望の時間だけ遅延させて表示するための遅延時間として操作量の入力を受け付けるものである。この入力手段3は、所定のインタフェース、図示しない算出部およびメモリ等から構成される。ここで受け付けた遅延時間は、遅延手段4と演算手段5とにそれぞれ入力する。
The input means 3 accepts input of an operation amount from the operation means 12 of the supervisor
入力手段3は、監視者周辺機材10の操作手段12から、操作ツマミを回転させたときの操作量を示す信号を遅延時間として受け付け、当該遅延時間、または、そのフレーム換算値やPTS換算値を遅延手段4に出力する。換算する場合、放送をはじめとする動画像システムで用いられているインターレース方式では、時間方向のサンプリング周波数は59.94fps(Field Per Second)であることから換算できる。また、PTSは、STCを基準として、PESペイロードの提示時刻を90kHz単位で示すことから換算できる。また、入力手段3は、受け付けた遅延時間のPTS換算値を演算手段5に出力する。
The input unit 3 receives a signal indicating an operation amount when the operation knob is rotated from the
遅延手段4は、監視者周辺機材10の表示装置11に入力する放送用TS信号を、入力手段3から入力された遅延時間だけ遅延させて表示装置11に出力するものである。この遅延手段4は、可変遅延回路から構成される。すなわち、遅延手段4は、入力端または出力端の候補を複数有していて、入力端または出力端のどちらかの接続位置を切り替えることで記憶容量が可変となる記憶手段から構成される。例えば、Nを任意の整数としてNフレーム分の記憶容量を有するFIFO型フレームメモリを複数組み合わせ、フレームメモリ間に例えば入力端を2つ設けることで可変遅延回路を構成することができる。
The delay means 4 delays the broadcast TS signal input to the
遅延手段4は、例えば、監視者周辺機材10の操作手段12の操作ツマミが基準位置を示すときに、復号手段22と表示装置11とを短絡する配線に切り替わって記憶容量が0(遅延なし)となり、操作ツマミが最大位置を示すときに記憶容量が最大に伸長する配線に切り替わるように予め設定される。
For example, when the operation knob of the
演算手段5は、監視者周辺機材10の表示装置11に入力する放送用TS信号より抽出されたPTSの値から、遅延時間のPTS換算値を減算した値を有する第2のPTSを生成するものである。この演算手段5は、一般的な加算器や減算器から構成される。ここで生成された第2のPTSは、タイムスタンプ付加手段6の後記する符号化手段61で利用される。すなわち、第2のPTSのPTS値は、符号化手段61に入力する。
The calculation means 5 generates a second PTS having a value obtained by subtracting the PTS conversion value of the delay time from the PTS value extracted from the broadcasting TS signal input to the
タイムスタンプ付加手段6は、通信用コンテンツ素材毎に設けられ、当該通信用コンテンツ素材を符号化して第2のPTSを付加することで、通信用のPESパケットを通信コンテンツとして生成するものである。
図1に示す通信コンテンツ生成装置1では、一例として、通信用コンテンツ素材として字幕を付加するためのタイムスタンプ付加手段6aと、音声を付加するためのタイムスタンプ付加手段6bとを備えることとした。ここで、字幕は、監視者周辺機材10の表示装置13に表示され、音声は監視者周辺機材10のスピーカ14に出力される。これにより、監視者は、表示装置11に表示される遅延した放送コンテンツと、それに付加しようとする通信コンテンツ(字幕や音声)との同期を調整することができる。
The time stamp adding means 6 is provided for each communication content material, and generates a communication PES packet as communication content by encoding the communication content material and adding a second PTS.
As an example, the communication content generation apparatus 1 shown in FIG. 1 includes a time stamp adding unit 6a for adding subtitles as communication content material and a time stamp adding unit 6b for adding audio. Here, the caption is displayed on the
タイムスタンプ付加手段6aは、符号化手段61と、多重化手段62と、配信手段63とを備える。
The time stamp adding unit 6 a includes an
符号化手段61は、入力された字幕(通信用コンテンツ素材)を符号化して通信用のPESパケットを生成するものである。符号化手段61は、例えば一般的な映像エンコーダから構成される。生成された通信用のPESパケットは多重化手段62に入力する。 The encoding means 61 encodes the input subtitle (communication content material) to generate a PES packet for communication. The encoding means 61 is composed of a general video encoder, for example. The generated communication PES packet is input to the multiplexing means 62.
多重化手段62は、字幕(通信用コンテンツ素材)に対して生成された通信用のPESパケットを多重化した通信用TS信号を生成するものである。この多重化手段62は、例えば一般的なマルチプレクサから構成される。生成された通信用TS信号は配信手段63の図示しないコンテンツ記憶部に入力する。
The multiplexing means 62 generates a communication TS signal obtained by multiplexing the communication PES packet generated for the subtitle (communication content material). The multiplexing means 62 is composed of a general multiplexer, for example. The generated communication TS signal is input to a content storage unit (not shown) of the
配信手段63は、コンテンツ受信端末200(図2参照)から、通信ネットワークNを介して、通信コンテンツの要求を受け付け、当該コンテンツ受信端末200に対して、要求された通信コンテンツとして、生成した通信用TS信号を配信するものである。このために、配信手段63は、図示を省略したコンテンツ要求受付部と、コンテンツ記憶部と、通信コンテンツ送信部とを備える。なお、受け付けるコンテンツ要求には、要求された通信コンテンツを特定するためのコンテンツ識別情報や受信端末識別情報等を含んでいる。これにより、通信コンテンツ送信部は、要求された通信コンテンツをコンテンツ記憶部から取得することができる。
The
タイムスタンプ付加手段6bは、符号化手段61、多重化手段62、配信手段63に加えて、AD変換手段60も備えている。
AD変換手段60は、通信用コンテンツ素材である音声のアナログ信号を、周波数変換手段23で変換されたクロックにしたがってデジタル信号に変換するものである。この音声のデジタル信号は、一般的な音声エンコーダから構成された符号化手段61に入力し、符号化手段61は、AD変換された音声(通信用コンテンツ素材)に第2のPTSを付加して符号化し、多重化手段62に出力する。
The time stamp adding unit 6 b includes an
The AD conversion means 60 converts an audio analog signal, which is a communication content material, into a digital signal according to the clock converted by the frequency conversion means 23. This digital audio signal is input to encoding means 61 composed of a general audio encoder. The encoding means 61 adds a second PTS to the AD converted audio (communication content material). Encode and output to the multiplexing means 62.
[通信コンテンツ生成装置の処理の流れ]
ここでは、通信コンテンツ生成装置の処理の流れについて、図1および図2を参照して説明する。以下では、処理の各段階に便宜的にS1〜S6のナンバリングを行って説明するが、各処理の実行順序は、ナンバリング通りである必要はなく、また、少なくともいずれか2つの処理を並列に行ってもよい。
[Processing flow of communication content generation device]
Here, the flow of processing of the communication content generation apparatus will be described with reference to FIGS. 1 and 2. In the following, the numbering of S1 to S6 will be described for convenience in each stage of processing, but the execution order of each processing does not have to be numbering, and at least any two processes are performed in parallel. May be.
(S1:放送コンテンツのモニタリング)
通信コンテンツ生成装置1は、主調整室100の多重化装置130から出力された放送コンテンツ(放送用TS信号)を受信すると、分離手段21によって、映像・音声とPCRとを分離する。このうち、映像・音声は、復号手段22によってデコードされ、デコードされたコンテンツは、遅延手段4によって、遅延してから、監視者周辺機材10の表示装置11に入力し、表示装置11によって、表示される。
(S1: Broadcast content monitoring)
When the communication content generation device 1 receives the broadcast content (broadcast TS signal) output from the
(S2:遅延量の選択)
監視者は、監視者周辺機材10の表示装置11に表示された放送コンテンツと、表示装置13に表示された字幕(通信用コンテンツ素材)やスピーカ14から出力される音声(通信用コンテンツ素材)とを視聴して、放送コンテンツと通信コンテンツとが同期するように遅延量を調整する。監視者は、監視者周辺機材10の操作手段12を操作することによって遅延時間を変更することができる。なお、遅延量の具体例については後記する。
(S2: Selection of delay amount)
The supervisor displays the broadcast content displayed on the
このとき、通信コンテンツ生成装置1の入力手段3は、監視者周辺機材10の操作手段12から、操作ツマミを回転させたときの操作量を示す信号(遅延時間)を受け付け、遅延手段4および演算手段5に出力する。入力手段3が、例えば遅延時間のフレーム換算値を遅延手段4に出力し、遅延時間のPTS換算値を演算手段5に出力すると、監視者は、フレーム単位で遅延させた放送コンテンツを見ながら、通信コンテンツに対して、放送コンテンツに同期したPTS(第2のPTS)を付加することができる。
At this time, the input means 3 of the communication content generation apparatus 1 receives a signal (delay time) indicating the operation amount when the operation knob is rotated from the operation means 12 of the supervisor
(S3:PTSの生成)
通信コンテンツ生成装置1は、復号手段22によって、映像・音声をデコードするときに、放送コンテンツ(放送用TS信号)に予め付加されているPTSを抽出し、演算手段5に出力する。そして、通信コンテンツ生成装置1は、演算手段5によって、抽出されたPTSの値から、遅延量(遅延時間のPTS換算値)を減算した値を有する第2のPTSを生成する。
(S3: Generation of PTS)
When the video / audio is decoded by the
ここで、一例として、監視者が、オンエア中の放送コンテンツ(Air)から、ある遅延量(遅延時間のPTS換算値)で遅延させた放送コンテンツをモニタしているタイミングで、演算手段5が演算する例について説明する。
このときの遅延量(遅延時間のPTS換算値)をPTS1として以下の式(1)に示す。また、遅延させた放送コンテンツに付加されているPTSの値をPTS2として以下の式(2)に示す。このとき、オンエア中の放送コンテンツ(Air)から既に抽出されているPTSの値をPTS3として以下の式(3)で示す(PTS3>PTS2)。なお、この例では、PTS3からPTS2を減算した値がPTS1となっている。
上記設定の場合、演算手段5は、PTS3からPTS1を減算し、その演算結果のPTS値として以下の式(4)で示されるPTS4を有した第2のPTSを生成することとなる。
PTS1=000・・000101 …式(1)
PTS2=000・・001011 …式(2)
PTS3=000・・010000 …式(3)
PTS4=000・・001011 …式(4)
Here, as an example, the calculation means 5 calculates at the timing when the monitor monitors the broadcast content delayed by a certain delay amount (PTS conversion value of the delay time) from the broadcast content (Air) being on the air. An example will be described.
The delay amount (PTS conversion value of the delay time) at this time is represented by the following formula (1) as PTS1. Also, the value of PTS added to the delayed broadcast content is represented by the following formula (2), where PTS2 is set. At this time, the PTS value already extracted from the on-air broadcast content (Air) is represented by the following formula (3) as PTS3 (PTS3> PTS2). In this example, the value obtained by subtracting PTS2 from PTS3 is PTS1.
In the case of the above setting, the calculation means 5 subtracts PTS1 from PTS3 and generates a second PTS having PTS4 expressed by the following expression (4) as the PTS value of the calculation result.
PTS1 = 000 ..000101 Formula (1)
PTS2 = 000 ..001011 ... Formula (2)
PTS3 = 000 ..010000 ... Formula (3)
PTS4 = 000 ..001011 ... Formula (4)
式(4)に示すPTS4は、式(2)に示すPTS2と同じ値なので、監視者は、遅延させた放送コンテンツに付加されているPTSの値と同じ値を有した通信コンテンツを生成することが可能となる。これは、生放送番組等で既に流れてしまったAirのPTS値を抽出して、既に流れてしまったタイミングで通信コンテンツを同期させることとなる。
なお、上記説明では、PTS値の演算を具体的に示すために、33ビットの下5桁ほどのビット列に単純化して説明した。
Since the PTS4 shown in the equation (4) is the same value as the PTS2 shown in the equation (2), the monitor should generate communication content having the same value as the PTS value added to the delayed broadcast content. Is possible. This means that the PTS value of Air that has already flowed in a live broadcast program or the like is extracted, and the communication content is synchronized at the timing that has already flowed.
In the above description, in order to specifically show the calculation of the PTS value, the description is simplified to the bit string of the last 5 digits of 33 bits.
(S4:PTSの付加)
通信コンテンツ生成装置1は、配信手段63によって、コンテンツ受信端末200(図2参照)から、通信ネットワークNを介して、通信コンテンツの要求を受け付ける。
通信コンテンツ生成装置1は、タイムスタンプ付加手段6の符号化手段61によって、例えば字幕や音声等の通信用コンテンツ素材に対して第2のPTSを付加し、エンコードすることでPESパケットを生成する。
(S4: Addition of PTS)
The communication content generation apparatus 1 accepts a request for communication content from the content receiving terminal 200 (see FIG. 2) via the communication network N by the
The communication content generation apparatus 1 generates a PES packet by adding and encoding the second PTS to the communication content material such as subtitles and audio by the
(S5:通信コンテンツの配信)
通信コンテンツ生成装置1は、通信用コンテンツ素材毎に、多重化手段62によって、PESパケットを多重化して通信コンテンツ(通信用TS信号)を生成する。
通信コンテンツ生成装置1は、配信手段63によって、通信ネットワークNを介して、要求元のコンテンツ受信端末200(図2参照)に対して、通信コンテンツを配信する。これにより、コンテンツ受信端末200は、通信コンテンツを表示する。
(S5: Distribution of communication content)
The communication content generation device 1 generates communication content (communication TS signal) by multiplexing the PES packet by the multiplexing
The communication content generation device 1 distributes the communication content to the request source content receiving terminal 200 (see FIG. 2) via the communication network N by the
(S6:クロックによる同期)
通信コンテンツが例えば音声である場合、以下の処理を行う。
通信コンテンツ生成装置1は、通信用コンテンツ素材が音声である場合、放送コンテンツ(放送用TS信号)から分離手段21によって分離(逆多重化)されたPCRを抽出し、PCRからSTCを生成し、周波数変換手段23によって、STCを分周することで、AD変換手段60のためのクロックを生成する。そして、タイムスタンプ付加手段6bのAD変換手段60は、この生成されたクロックにより、アナログ音声(通信用コンテンツ素材)をデジタル信号の音声に変換する。一方、コンテンツ受信端末200(図2参照)は、受信した放送コンテンツから分離(逆多重化)、生成するSTCからDA変換処理のためのクロックを生成して使用する。したがって、通信コンテンツを送信する側のAD変換処理のクロックと、通信コンテンツを受信する側のDA変換処理のクロックとが揃い、同期が確立できる。これによれば、通信コンテンツが音声や映像等の場合、クロックを揃えることで同期を精密に行うことができる。
(S6: Synchronization by clock)
For example, when the communication content is audio, the following processing is performed.
When the communication content material is audio, the communication content generation device 1 extracts the PCR separated (demultiplexed) by the separation means 21 from the broadcast content (broadcast TS signal), generates an STC from the PCR, The
[遅延量の具体例]
ここでは、遅延量の具体例について説明する。例えば、実況者と解説者による野球中継の生放送番組(放送コンテンツ)を仮定し、かつ、この放送コンテンツに対して用意する通信用コンテンツ素材として、一方のチームを応援する特別解説者の音声を付加する場合を想定する。この想定において、特別解説者がスタジオで野球中継の映像を見ながら解説する、といった場合、原理的に、野球中継の映像に対して、特別解説者の音声が遅れることになる。つまり、このサービスを受けている視聴者にとってみれば、視聴中に、特別解説者の音声の方が、野球中継の映像の場面よりも遅れていると感じる。
[Specific example of delay amount]
Here, a specific example of the delay amount will be described. For example, assuming a live broadcast program (broadcast content) of a live baseball game by live commentators and commentators, the voice of a special commentator who supports one team is added as a communication content material prepared for this broadcast content. Assume that In this assumption, when a special commentator explains in a studio while watching a video of a baseball broadcast, in principle, the voice of the special commentator is delayed with respect to the video of the baseball broadcast. In other words, for the viewer receiving this service, during the viewing, the voice of the special commentator feels behind the scene of the baseball broadcast video.
監視者は、このように遅れて聞こえるような感じを与えないように遅延量(操作量)を選択する。このことができる理由は、監視者が監視している環境、すなわち、監視者周辺機材10のある環境は、視聴者がコンテンツ受信端末200を利用して視聴している環境を再現したことになるからである。
The monitoring person selects the delay amount (operation amount) so as not to give such a feeling that the sound can be heard with a delay. The reason why this is possible is that the environment monitored by the supervisor, that is, the environment where the
なお、視聴者が見たり聞いたりしていて不自然にならないように調整するので、音声(通信用コンテンツ素材)については、ほぼ遅延なしとなる。字幕(通信用コンテンツ素材)に関しては、放送コンテンツを視聴しながら制作しなければならないので、長いときには数秒程度遅延させることとなる。 In addition, since adjustment is performed so that the viewer is watching and listening and not unnatural, the sound (content material for communication) has almost no delay. Subtitles (communication content material) must be produced while viewing the broadcast content, so that it may be delayed by several seconds when it is long.
以上により、本実施形態の通信コンテンツ生成装置1によれば、放送局側で、遅延させた放送コンテンツを視聴して、放送コンテンツと通信コンテンツとの同期を監視者により確認した後に、通信コンテンツにPTS(第2のPTS)を付加することができる。そのため、生放送番組において、従来は不可能であった通信コンテンツに放送コンテンツに同期したPTSを付加することが可能となる。これにより、生放送番組であっても、コンテンツ受信端末において、放送コンテンツと通信コンテンツとの同期をとることができる。したがって、コンテンツ受信端末において、通信コンテンツとして、例えば、多言語の字幕、多言語の音声、放送映像に同期した他の映像等を、放送コンテンツと同時に提示することができる。 As described above, according to the communication content generation device 1 of the present embodiment, the broadcast station views the broadcast content that has been delayed, and after confirming the synchronization between the broadcast content and the communication content by the supervisor, A PTS (second PTS) can be added. Therefore, in a live broadcast program, it becomes possible to add a PTS synchronized with the broadcast content to the communication content that has been impossible in the past. Thereby, even in the case of a live broadcast program, the broadcast content and the communication content can be synchronized at the content receiving terminal. Therefore, in the content receiving terminal, for example, multilingual subtitles, multilingual audio, other video synchronized with the broadcast video, and the like can be presented simultaneously with the broadcast content as the communication content.
以上、実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではなく、その趣旨を逸脱しない範囲で適宜変形することができる。例えば、通信コンテンツ生成装置1の入力手段3は、監視者周辺機材10の操作手段12から受け付けた遅延時間からPTS換算値等を求めるものとして説明したが、操作手段12が、遅延時間からPTS換算値等を求める機能を備えるようにしてもよい。
As described above, the present invention has been described based on the embodiment, but the present invention is not limited to this, and can be appropriately modified without departing from the spirit of the present invention. For example, although the input unit 3 of the communication content generation apparatus 1 has been described as obtaining a PTS converted value from the delay time received from the
また、本実施形態では、監視者周辺機材10の操作手段12が、操作ツマミを回転させるタイプのものとして説明したが、例えば、スライド機構に取り付けたレバーを直線上で移動させたときに変位センサで距離や変位等を操作量として計測・検出するスライダ装置でもよい。その他、ジョイスティックやマウス等のポインティングデバイスを用いることもできる。
In the present embodiment, the operation means 12 of the
また、図1に示す例では、表示装置11と、操作手段12と、表示装置13と、スピーカ14とを個別の装置であるものとして説明したが、1つの表示装置を兼用するなど、いずれか複数またはすべての装置を1ユニット化した装置であっても構わない。
In the example illustrated in FIG. 1, the
また、監視者が放送局にて監視を行う場合、主調整室100に、通信コンテンツ生成装置1を配置して、主調整室100の備品等を監視者周辺機材10として用いることができる。
In addition, when the supervisor performs monitoring at the broadcasting station, the communication content generation device 1 can be arranged in the main adjustment room 100 and the equipment of the main adjustment room 100 can be used as the
また、監視者は放送局以外の場所にて監視を行ってもよいことは勿論である。また、監視者は、放送局に属する人物に限定されるものではなく、例えば、ASP(Application Service Provider)や、通信コンテンツを企画、生成、流通させる事業者等であってもよい。この場合、例えば、放送局の主調整室100の多重化装置130から、放送コンテンツ(放送用TS信号)を、ASPのもとに設置された通信コンテンツ生成装置1へ入力する通信線を設ければ、同様の効果を奏することができる。
Of course, the supervisor may monitor at a place other than the broadcasting station. Further, the supervisor is not limited to a person belonging to a broadcasting station, and may be, for example, an ASP (Application Service Provider) or a business operator that plans, generates, and distributes communication content. In this case, for example, a communication line for inputting broadcast content (broadcast TS signal) from the
1 通信コンテンツ生成装置
2 タイムスタンプ抽出手段
3 入力手段
4 遅延手段
5 演算手段
6(6a、6b) タイムスタンプ付加手段
10 監視者周辺機材
11 表示装置
12 操作手段
13 表示装置
14 スピーカ
21 分離手段
22 復号手段
23 周波数変換手段
60 AD変換手段
61 符号化手段
62 多重化手段
63 配信手段
100 主調整室
110 映像エンコーダ
120 音声エンコーダ
130 多重化装置
140 変調手段
150 出力手段
160 アンテナ
200 コンテンツ受信端末
N 通信ネットワーク
DESCRIPTION OF SYMBOLS 1 Communication content production | generation apparatus 2 Time stamp extraction means 3 Input means 4 Delay means 5 Calculation means 6 (6a, 6b) Time stamp addition means 10 Monitor
Claims (3)
前記監視者が利用する表示装置に入力する前記放送用TS信号に多重化されているPESパケットに予め付加されているPTSの値を抽出するタイムスタンプ抽出手段と、
前記操作手段から、当該監視者が利用する表示装置において前記放送コンテンツを前記所望の時間だけ遅延させて表示するための遅延時間として前記操作量の入力を受け付ける入力手段と、
前記表示装置に入力する前記放送用TS信号を前記遅延時間だけ遅延させて前記表示装置に出力する遅延手段と、
前記表示装置に入力する放送用TS信号より抽出されたPTSの値から、前記遅延時間のPTS換算値を減算した値を有する第2のPTSを生成する演算手段と、
前記通信用コンテンツ素材毎に設けられ、当該通信用コンテンツ素材を符号化して前記第2のPTSを付加することで、通信用のPESパケットを前記通信コンテンツとして生成するタイムスタンプ付加手段と、
を備え、
前記通信用コンテンツ素材のうち少なくとも1つは映像または音声を含み、
前記タイムスタンプ抽出手段は、
前記放送用TS信号に含まれる映像・音声とPCRとを分離する分離手段と、
前記分離された映像・音声を表示可能に復号すると共に前記PTSの値を抽出する復号手段と、
前記分離されたPCRに格納されているシステムクロックを分周して前記システムクロックよりも低い所定のクロックに変換する周波数変換手段と、を備え、
前記タイムスタンプ付加手段は、
前記通信用コンテンツ素材のアナログ信号を、前記周波数変換手段で変換されたクロックにしたがってデジタル信号に変換するAD変換手段と、
前記AD変換された通信用コンテンツ素材に前記第2のPTSを付加して符号化する符号化手段と、を備えることを特徴とする通信コンテンツ生成装置。 A supervisor who monitors each broadcast content in order to synchronize one broadcast content broadcasted as a broadcast TS signal by broadcast waves and one or a plurality of communication content materials for distribution on a communication network on the transmission side is desired for synchronization. A communication content generation device that generates one or a plurality of communication contents from the one or a plurality of communication content materials based on an operation amount of an operation means used for performing an operation of selecting the time of
Time stamp extraction means for extracting a PTS value added in advance to a PES packet multiplexed in the broadcasting TS signal input to the display device used by the supervisor;
An input means for receiving an input of the operation amount as a delay time for displaying the broadcast content with a delay by the desired time on the display device used by the monitor from the operation means;
Delay means for delaying the broadcasting TS signal input to the display device by the delay time and outputting the delayed signal to the display device;
A calculation means for generating a second PTS having a value obtained by subtracting a PTS conversion value of the delay time from a PTS value extracted from a broadcasting TS signal input to the display device;
A time stamp adding means that is provided for each of the communication content materials and generates the communication PES packet as the communication content by encoding the communication content material and adding the second PTS;
Equipped with a,
At least one of the communication content materials includes video or audio,
The time stamp extraction means includes:
Separating means for separating video / audio and PCR included in the broadcasting TS signal;
Decoding means for decoding the separated video / audio so that it can be displayed and extracting the value of the PTS;
A frequency conversion means for dividing the system clock stored in the separated PCR and converting it to a predetermined clock lower than the system clock;
The time stamp adding means includes
AD conversion means for converting the analog signal of the communication content material into a digital signal according to the clock converted by the frequency conversion means;
An apparatus for generating communication content, comprising: an encoding unit that adds the second PTS to the AD-converted communication content material for encoding .
前記通信用コンテンツ素材に対して生成された前記通信用のPESパケットを多重化した通信用TS信号を生成する多重化手段と、
放送波を介して放送用TS信号として放送される放送コンテンツを受信する受信端末から、前記通信ネットワークを介して、当該放送コンテンツのために用意された通信コンテンツの要求を受け付け、当該受信端末に対して、前記要求された通信コンテンツとして前記通信用TS信号を配信する配信手段と、
を備えることを特徴とする請求項1に記載の通信コンテンツ生成装置。 The time stamp adding means includes
A multiplexing means for generating a communication TS signal obtained by multiplexing the communication PES packet generated for the communication content material;
A request for communication content prepared for the broadcast content is received via the communication network from a reception terminal that receives broadcast content broadcast as a broadcast TS signal via a broadcast wave. Distribution means for distributing the communication TS signal as the requested communication content;
The communication content generation apparatus according to claim 1 , further comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011191815A JP5771098B2 (en) | 2011-09-02 | 2011-09-02 | COMMUNICATION CONTENT GENERATION DEVICE AND COMMUNICATION CONTENT GENERATION PROGRAM |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011191815A JP5771098B2 (en) | 2011-09-02 | 2011-09-02 | COMMUNICATION CONTENT GENERATION DEVICE AND COMMUNICATION CONTENT GENERATION PROGRAM |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013055479A JP2013055479A (en) | 2013-03-21 |
JP5771098B2 true JP5771098B2 (en) | 2015-08-26 |
Family
ID=48132106
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011191815A Active JP5771098B2 (en) | 2011-09-02 | 2011-09-02 | COMMUNICATION CONTENT GENERATION DEVICE AND COMMUNICATION CONTENT GENERATION PROGRAM |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5771098B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6481290B2 (en) * | 2014-08-27 | 2019-03-13 | 沖電気工業株式会社 | Information processing device |
JP6433273B2 (en) * | 2014-12-05 | 2018-12-05 | 株式会社テレビ朝日 | Terminal device, server device, and program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3092701B2 (en) * | 1997-10-29 | 2000-09-25 | 日本ビクター株式会社 | Clock generator |
US20010037499A1 (en) * | 2000-03-23 | 2001-11-01 | Turock David L. | Method and system for recording auxiliary audio or video signals, synchronizing the auxiliary signal with a television singnal, and transmitting the auxiliary signal over a telecommunications network |
KR20050085344A (en) * | 2002-12-04 | 2005-08-29 | 코닌클리즈케 필립스 일렉트로닉스 엔.브이. | Synchronization of signals |
JP5191493B2 (en) * | 2006-11-20 | 2013-05-08 | エスケー プラネット カンパニー、リミテッド | Additional information service providing system related to broadcast content, additional information service providing server, and additional information service providing method |
-
2011
- 2011-09-02 JP JP2011191815A patent/JP5771098B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013055479A (en) | 2013-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200288182A1 (en) | Transmission device, transmission method, receiving device, and receiving method for rendering a multi-image-arrangement distribution service | |
JP5575949B2 (en) | Broadcast data transmission method and apparatus | |
JP2012507968A (en) | Apparatus and method for synchronizing stereoscopic images, and stereoscopic image providing apparatus and method using the same | |
KR20100042771A (en) | Image processing apparatus and image processing method | |
KR20060087421A (en) | A method of controlling presentation time and output priority of caption information and an apparatus thereof | |
KR20130138213A (en) | Methods for processing multimedia flows and corresponding devices | |
JP5903010B2 (en) | CG stream distribution apparatus, broadcast communication cooperative reception apparatus, CG stream distribution program, CG synchronous reproduction program, and CG stream synchronous system | |
KR101769353B1 (en) | Augmented broadcasting stream transmission device and method, and augmented broadcasting service providing device and method | |
KR20130050464A (en) | Augmenting content providing apparatus and method, augmenting broadcasting transmission apparatus and method, and augmenting broadcasting reception apparatus and method | |
US11523154B2 (en) | Transmission device, transmission method, reception device, and reception method | |
JP5771098B2 (en) | COMMUNICATION CONTENT GENERATION DEVICE AND COMMUNICATION CONTENT GENERATION PROGRAM | |
KR20170130883A (en) | Method and apparatus for virtual reality broadcasting service based on hybrid network | |
JP2006217662A (en) | Digital broadcast receiver | |
JP7477116B2 (en) | Apparatus and method for distributing broadcast services over a communication network | |
JP3882208B2 (en) | Transmitting device and receiving device | |
KR20130103931A (en) | Advance metadata provision augmented broadcasting apparatus and method | |
JP2020080481A (en) | Subtitle data processing system, processing method, and program for television programs simultaneously distributed via internet | |
JP7001639B2 (en) | system | |
JP6446347B2 (en) | Thumbnail providing device, display device, thumbnail video display system, thumbnail video display method, and program | |
US12028562B2 (en) | Transmission device, transmission method, reception device, and reception method | |
JP2012142798A (en) | Stream switching method and digital broadcast transmission system | |
Cheong et al. | Interactive terrestrial digital multimedia broadcasting (T-DMB) player | |
KR100950771B1 (en) | Apparatus and method for transmitting and receiving the broadcasting signal | |
EP3528505A1 (en) | Apparatus and method for operating a media device to select from plural instances of content for play back | |
JP2014060625A (en) | Video signal transmission method, video signal receiver, and video signal reception method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140130 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140326 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150626 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5771098 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |