JP6481290B2 - Information processing device - Google Patents
Information processing device Download PDFInfo
- Publication number
- JP6481290B2 JP6481290B2 JP2014173063A JP2014173063A JP6481290B2 JP 6481290 B2 JP6481290 B2 JP 6481290B2 JP 2014173063 A JP2014173063 A JP 2014173063A JP 2014173063 A JP2014173063 A JP 2014173063A JP 6481290 B2 JP6481290 B2 JP 6481290B2
- Authority
- JP
- Japan
- Prior art keywords
- related information
- information
- display
- video
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、情報処理装置に関する。 The present invention relates to an information processing equipment.
近年、ブロードバンドネットワークの普及に伴い、ネットワークを通じた映像配信技術（例えば、リアルタイムＩＰ放送等）が進展している。映像配信技術の進展に伴い、ユーザにおいては、単なる映像の視聴だけでなく、映像に関連した情報（以下、「関連情報」とも呼ぶ）をリアルタイムに取得したいニーズが高まっている。 In recent years, with the widespread use of broadband networks, video distribution technology (for example, real-time IP broadcasting, etc.) through the network has progressed. With the progress of video distribution technology, there is an increasing need for users to acquire not only video viewing but also information related to video (hereinafter also referred to as “related information”) in real time.
このニーズに応えるため、例えば、ベンダーは、映像と共に字幕（関連情報の一例）を配信するサービスを提供しているが、この際、映像と字幕を同期する技術が重要となっている。 In order to meet this need, for example, vendors provide a service for delivering subtitles (an example of related information) together with video, but at this time, technology for synchronizing video and subtitles is important.
特許文献１には、受信機での表示において字幕作成遅延時間の影響を考慮して、受信機側でデジタル字幕放送信号の映像データ・音声データと字幕データとの同期を実現するための技術が記載されている。まず、字幕放送システムは、字幕作成時に生成される字幕入力開始タイミングを示す制御フラグと、字幕重畳タイミングを示す制御フラグを含む遅延制御信号を字幕付き映像信号中に重畳して配信する。前記字幕付き映像信号を受信した受信機は、映像データ及び音声データに対して固定遅延を与えて表示する。一方、字幕データに対しては、前記の制御フラグから算出される可変長の遅延時間を与えて表示している。これにより、映像データ・音声データと字幕データとの表示の同期を可能としている。
しかしながら、特許文献１に記載の技術は、映像と字幕の同期のために、制御フラグ（字幕重畳タイミングを示すフラグ）を含む遅延制御信号を字幕付き映像信号中に重畳する必要があった。そのため、データの配信量が多くなり、受信機側の同期処理の負荷が大きくなるという問題が生じ得る。
However, the technique described in
そのため、簡易な手段により、映像と関連情報との同期を取りつつ、映像と関連情報の同期処理の負荷を軽減することができる情報処理装置が望まれている。 Thus, by simple means, while synchronizing the video and related information, the information processing equipment which can reduce the load of synchronization of the video and related information is desired.
本発明の情報処理装置は、（１）第１映像表示画面情報の表示に関わる第１タイムスタンプ情報、及び第２映像表示画面情報の表示に関わる第２タイムスタンプ情報からなる第１差分情報と、上記第１映像表示画面情報の表示に関わる第１時刻情報、及び上記第２映像表示画面情報の表示に関わる第２時刻情報からなる第２差分情報と、上記第１時刻情報、及び映像表示画面情報における関連表示情報の表示に関わる第３時刻情報からなる第３差分情報とを用いて、上記関連表示情報の表示に関わる第３タイムスタンプ情報を算出する算出部と、（２）上記関連表示情報及び上記第３タイムスタンプ情報を有する関連情報を送信する送信部とを有することを特徴とする。 The information processing apparatus according to the present invention includes: (1) first difference information including first time stamp information related to display of first video display screen information and second time stamp information related to display of second video display screen information; The second time information related to the display of the first video display screen information, the second time information related to the display of the second video display screen information, the first time information, and the video display A calculation unit that calculates third time stamp information related to display of the related display information using third difference information including third time information related to display of related display information in screen information; and (2) the related information And a transmission unit for transmitting related information including the display information and the third time stamp information .
本発明によれば、簡易な手段により、映像データと関連情報との同期を行うことが可能となり、映像と関連情報の同期処理の負荷を軽減することができるという効果が得られる。 According to the present invention, it is possible to synchronize video data and related information by simple means, and the effect of reducing the load of synchronization processing of video and related information can be obtained.
（Ａ）主たる実施形態
以下、本発明による情報処理装置の一実施形態を、図面を参照しながら詳述する。
(A) principal embodiment Hereinafter, an embodiment of the information processing apparatus according to the present invention will be described in detail with reference to the drawings.
（Ａ−１）実施形態の構成
（Ａ−１−１）放送配信システム１の全体構成
図１は、この実施形態の放送配信システム１の全体構成を示すブロック図である。図１において、放送配信システム１は、情報表示装置１０、関連情報形成装置２０、映像入力装置３０、中継サーバ４０、ＩＰＴＶ放送配信サーバ５０、関連情報提供サーバ６０及びネットワークＮを有する。
(A-1) Configuration of Embodiment (A-1-1) Overall Configuration of
放送配信システム１は、撮像された映像を利用者の情報表示装置１０にネットワークＮを介して映像配信するシステムである。この実施形態では、特に映像を瞬時に配信する生放送（ライブ放送）を想定している。なお、ネットワークＮの通信方式については限定されないものであるが、例えば、インターネット等のＩＰ通信網を適用することができる。なお、放送配信システム１は、配信システムの一例である。
The
映像入力装置３０は、中継サーバ４０と接続されており、リアルタイムで撮影された映像信号を中継サーバ４０に送出するものである。映像入力装置３０は、種々様々な装置を適用することができるが、例えば、ビデオカメラ装置等を適用することができる。
The
中継サーバ４０は、ＩＰＴＶ放送配信サーバ５０、映像入力装置３０、及び関連情報形成装置２０と接続されており、映像入力装置３０から入力される映像信号を所定の符号化方式（例えば、ＭＰＥＧ２ＴＳ形式）でエンコードし、符号化した映像信号（以下、「映像ストリーム」とも呼ぶ）をＩＰＴＶ放送配信サーバ５０、及び、関連情報形成装置２０に対して送出するものである。
The
ここで、中継サーバ４０は、映像ストリームを一時的に格納し、所定の遅延時間を与えて、映像ストリームとＩＰＴＶ放送配信サーバ５０に対して送信する。一方、中継サーバ４０は、関連情報形成装置２０に対して、映像ストリームを即座に（遅延を与えずに）送信する。これは、情報表示装置１０は、同期すべき映像ストリームと関連情報を含む信号（以下、「関連情報パケット」とも呼ぶ）を互いに異なる経由から受信するため、情報表示装置１０が保持すべき映像ストリームと関連情報パケットの持ち時間を短くするためである。
Here, the
ＩＰＴＶ放送配信サーバ５０は、中継サーバ４０、及びネットワークＮを介して、情報表示装置１０と接続されている。ＩＰＴＶ放送配信サーバ５０は、中継サーバ４０から送出された映像ストリームを受信し、情報表示装置１０に対してリアルタイムで送出するライブストリーミング配信を行うものである。
The IPTV
関連情報形成装置２０は、関連情報提供サーバ６０、及び中継サーバ４０と接続されており、関連情報入力作業者Ｕが中継サーバ４０から送出される映像ストリームをもとに作成するデータ（以下、「関連情報」とも呼ぶ）を、映像ストリームから算出されるタイムスタンプ値と共に関連情報提供サーバ６０に送出するものである。ここで、「関連情報」とは、映像に関連付けられた何らかの情報を言い、例えば、映像の字幕（日本語、英語等の外国語、及びその翻訳語等）、映像で使用された音源の曲名、映像（テレフォンショッピング等）で紹介された商品のＵＲＬ等が該当する。
The related
関連情報提供サーバ６０は、関連情報形成装置２０、及びネットワークＮを介して、情報表示装置１０と接続されている。関連情報提供サーバ６０は、関連情報形成装置２０から送出された関連情報パケットを受信し、情報表示装置１０に対して瞬時に送出するものである。
The related
情報表示装置１０は、ネットワークＮを介してＩＰＴＶ放送配信サーバ５０、及び、関連情報提供サーバ６０と接続しており、ＩＰＴＶ放送配信サーバから送出された映像ストリームデータを表示する。また、情報表示装置１０は、関連情報提供サーバ６０から送出された関連情報を映像ストリームデータと時刻同期させて表示する機能を提供する。情報表示装置１０は、種々様々な端末を適用することができるが、例えば、パーソナルコンピュータ（ＰＣ）、携帯通信端末（一例は、携帯電話、及びスマートフォン等である）、テレビ受像機、ゲーム機、及びタブレット端末等を適用することができる。
The
（Ａ−１−２）関連情報形成装置２０の詳細な構成
図２は、関連情報形成装置２０の構成を示すブロック図である。関連情報形成装置２０は、種々様々な装置を適用することができるが、例えば、汎用コンピュータを適用することができる。
(A-1-2) Detailed Configuration of Related
関連情報形成装置２０は、映像データ受信部９０、映像データ表示部９１、映像データ解析部９２、入力制御部９３、入力データ管理部９４、ＤＢ９５、入力データ表示部９６、操作パネル制御部９７、関連情報構成部９８及び関連情報送出部９９を有する。
The related
映像データ受信部９０は、中継サーバ４０から映像ストリームを受信し、映像データ表示部９１、及び映像データ解析部９２に転送するものである。
The video
映像データ表示部９１は、映像データ受信部９０から転送された映像ストリームを表示するものである。
The video
映像データ解析部９２は、映像データ受信部９０から転送された映像ストリームを解析し、タイムスタンプ値を随時取得するものである。取得されるタイムスタンプ値は、映像表示用タイムスタンプ値の一例である。
The video
入力制御部９３は、操作パネル制御部９７からの通知を受けて、関連情報入力作業者Ｕにより入力されたデータを取得し、入力データ管理部９４に入力データを転送するものである。また、入力制御部９３は、後述されるように、関連情報構成部９８に入力データを転送するものである。入力データは、種々様々な形式のデータを適用することができるが、例えば、テキストデータ（一例として字幕や、ＨＴＭＬ５をはじめとするマークアップ言語、ＪａｖａＳｃｒｉｐｔ（登録商標）をはじめとするプログラム言語などにより記述されたテキスト）やバイナリデータ（一例として画像、音声、映像などのファイル）にも適用することができる。なお、入力制御部９３は、関連情報入力部の一例である。また、入力データは、関連表示情報の一例である。
The
入力データ管理部９４は、ＤＢ９５を使用して入力制御部９３から転送された入力データを管理するものである。各入力データには、一意に識別可能なＩＤが付与される。
The input
ＤＢ９５は、入力データ管理部９４で生成されたＩＤと入力データの組を保存、検索するための機能を提供するものである。
The
図３は、ＤＢ９５（図２）に記憶されるテーブル（レコード）を示す説明図である。テーブルＴは、図３においてＩＤと入力データの項目を有する。例えば、ＩＤが「０００００００１」に対しては入力データ「おはようございます」が記憶されている。 FIG. 3 is an explanatory diagram showing a table (record) stored in the DB 95 (FIG. 2). The table T has items of ID and input data in FIG. For example, the input data “Good morning” is stored for the ID “00000001”.
図２に戻って説明を続ける。入力データ表示部９６は、ＤＢ９５に保存されているＩＤと入力データの組を、表示画面上に表示するものである。
Returning to FIG. 2, the description will be continued. The input
操作パネル制御部９７は、入力データの挿入操作を関連情報構成部９８、決定操作を入力制御部９３及び関連情報送出部９９に対して通知するものである。
The operation
関連情報構成部９８は、操作パネル制御部９７の通知を受けて、映像データ解析部９２からタイムスタンプ値の取得を行うものである。また、関連情報構成部９８は、関連情報送出部９９の指示により、ＤＢ９５から入力データを取得した後、前記タイムスタンプ値と入力データとを含む関連情報を構成し、関連情報送出部９９に転送するものである。さらに、関連情報構成部９８は、関連情報送出部９９の指示により、入力制御部９３から入力データを取得した後、前記タイムスタンプ値と入力データとを含む関連情報を構成し、関連情報送出部９９に転送するものである。なお、関連情報構成部９８は、関連表示情報用タイムスタンプ値推定部の一例である。
The related
関連情報送出部９９は、操作パネル制御部９７の通知を受けて、関連情報構成部９８から関連情報を取得し、関連情報提供サーバ６０に送出するものである。なお、関連情報送出部９９は、関連情報送信部の一例である。
The related
図４は、関連情報形成装置２０のインタフェース例を示す説明図である。インタフェース例は、インタフェース表示画面６０であり、このインタフェース表示画面６０は、映像表示画面６１、一覧表示・選択手段６２、データ入力手段６３及び操作パネル６４を有する。
FIG. 4 is an explanatory diagram illustrating an example of an interface of the related
映像表示画面６１は、映像データ表示部９１（図２）の表示画面である。映像表示画面６１は、関連情報入力作業者Ｕが挿入すべき関連情報の位置を決定するために視聴される映像を表示する。
The
一覧表示・選択手段６２は、入力データ表示部９６（図２）の表示画面である。一覧表示・選択手段６２は、例えば、図４に示すレコードを一覧表示し、関連情報入力作業者Ｕにより、一覧表示された任意のレコード（関連情報）を選択できるように表示する。 The list display / selection means 62 is a display screen of the input data display unit 96 (FIG. 2). The list display / selection means 62 displays, for example, a list of records shown in FIG. 4 so that the related information input operator U can select any record (related information) displayed in a list.
データ入力手段６３は、入力制御部９３（図２）に対する入力データの入力方法を提供するものである。データ入力手段６３の一例は、図４に示されるように、コマンドライン入力に対応したインタフェースを示している。 The data input means 63 provides a method for inputting input data to the input control unit 93 (FIG. 2). An example of the data input means 63 shows an interface corresponding to command line input, as shown in FIG.
操作パネル６４は、関連情報入力作業者Ｕに対して、操作パネル制御部９７（図２）の各種操作（挿入・決定・取消）を実行するための操作方法を提供するものである。操作パネル６４の「ｉｎｓｅｒｔ」は、一覧表示・選択手段６２で選択された関連情報又はデータ入力手段６３により直接入力された関連情報を映像表示画面６１に表示されている映像（フレーム）に挿入する位置を決定する（挿入）ボタンである。操作パネル６４の「ｃａｎｃｅｌ」は、先述の挿入処理を取り消すボタンである。操作パネル６４の「ＯＫ」は、先述の挿入処理を決定するボタンである。
The
図５は、ＭＰＥＧ２システムのトランスポートパケット（以下、「ＴＳパケット」とも呼ぶ）の構成を示す説明図である。 FIG. 5 is an explanatory diagram showing the structure of a transport packet (hereinafter also referred to as “TS packet”) in the MPEG2 system.
映像データ受信部９０（図２）が受信する映像ストリームは、複数のＴＳパケットにより構成される。また、各ＴＳパケットは、ＴＳヘッダとＴＳペイロードにより構成される。 The video stream received by the video data receiving unit 90 (FIG. 2) is composed of a plurality of TS packets. Each TS packet includes a TS header and a TS payload.
ＴＳパケットは、ＴＳヘッダの１２ビット目から１３ビットの領域にＰｒｏｇｒａｍＩＤ（以下、「ＰＩＤ」とも呼ぶ）が格納されており、ＰＩＤによりＴＳペイロードの内容が決定される。 In the TS packet, ProgramID (hereinafter also referred to as “PID”) is stored in the 12th to 13th bit areas of the TS header, and the content of the TS payload is determined by the PID.
後述するＰＥＳパケットは、Ｖｉｄｅｏデータを示すＰＩＤをＴＳヘッダ内に持つＴＳパケットのＴＳペイロードを連結することにより得ることができる。 A PES packet to be described later can be obtained by concatenating TS payloads of TS packets having a PID indicating Video data in a TS header.
なお、Ｖｉｄｅｏデータを示すＰＩＤは、ＰＩＤの値が０であるＴＳパケットのＴＳペイロードに格納されているＰｒｏｇｒａｍＡｓｓｏｃｉａｔｉｏｎＴａｂｌｅ（以下、「ＰＡＴ」とも呼ぶ）、及びＰＩＤがＰＡＴ内で指定されている値であるＴＳパケットのＴＳペイロードに格納されているＰｒｏｇｒａｍＭａｐＴａｂｌｅ（以下、「ＰＭＴ」とも呼ぶ）により特定される。 Note that the PID indicating the video data is a Program Association Table (hereinafter also referred to as “PAT”) stored in the TS payload of the TS packet whose PID value is 0, and the PID is a value specified in the PAT. It is specified by ProgramTable (hereinafter also referred to as “PMT”) stored in the TS payload of the TS packet.
図６は、映像データが格納されるＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケットの構成を示す説明図である。 FIG. 6 is an explanatory diagram showing the structure of a PES (Packetized Elementary Stream) packet in which video data is stored.
ＰＥＳパケットは、ＰＥＳヘッダとＰＥＳペイロードとから構成される可変長パケットであり、図６に示すように、そのＰＥＳヘッダには、パケット開始コード、パケット長等の情報に加え、メディアを表示・出力するのに必要な時間情報（タイムスタンプ）としてＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）等も含まれている。 A PES packet is a variable-length packet composed of a PES header and a PES payload. As shown in FIG. 6, the PES header displays and outputs media in addition to information such as a packet start code and a packet length. PTS (Presentation Time Stamp) and the like are also included as time information (time stamp) necessary for this.
（Ａ−１−３）情報表示装置１０の詳細な構成
図７は、情報表示装置１０の構成を示すブロック図である。
(A-1-3) Detailed Configuration of
情報表示装置１０は、映像データ受信部１１、映像データ表示部１２、映像データ解析部１３、関連情報受信部１５、関連情報表示部１６、及び、関連情報同期部１７を有する。
The
この実施形態の情報表示装置は、映像データ受信部や関連情報受信部を除いた部分をハードウェアで構成することも可能であり、また、ＣＰＵが実行するソフトウェア（情報表示プログラム）とＣＰＵとで実現することも可能であるが、いずれの実現方法を採用した場合であっても、機能的には図７で表すことができる。 In the information display device of this embodiment, the part excluding the video data receiving unit and the related information receiving unit can be configured by hardware, and the software (information display program) executed by the CPU and the CPU Although it is possible to realize this, it can be functionally represented in FIG. 7 regardless of which implementation method is employed.
映像データ受信部１１は、ＩＰＴＶ放送配信サーバ５０から送出される映像ストリームを受信し、映像データ解析部１３に転送するものである。なお、映像データ受信部１１は、映像信号受信部の一例である。
The video data receiving unit 11 receives the video stream sent from the IPTV
映像データ表示部１２は、映像データ解析部１３から転送される映像ストリームを表示画面に表示するものである。なお、映像データ表示部１２は、映像表示部の一例である。
The video
映像データ解析部１３は、映像データ受信部１１から転送される映像ストリームを解析し、得られたタイムスタンプ値を関連情報同期部１７に転送すると共に、映像ストリームを映像データ表示部１２に転送するものである。なお、映像データ解析部１３は、映像表示用タイムスタンプ値取得部の一例である。
The video
関連情報受信部１５は、関連情報提供サーバ６０から送出される関連情報パケットを受信し、関連情報同期部１７に転送するものである。
The related information receiving unit 15 receives the related information packet transmitted from the related
関連情報表示部１６は、関連情報同期部１７から転送される関連情報パケットに含まれる入力データを画面に表示するものである。
The related
関連情報同期部１７は、関連情報受信部１５から転送される関連情報に含まれるタイムスタンプ値と、映像データ解析部１３から転送されるタイムスタンプ値により、関連情報表示部１６に対する関連情報の転送時刻を決定するものである。関連情報同期部１７は、関連情報表示用タイムスタンプ値取得部及び関連表示情報同期制御部の一例である。
The related
（Ａ−２）実施形態の動作
まず、映像ストリーム配信の動作の説明を行う。
(A-2) Operation of Embodiment First, the operation of video stream distribution will be described.
映像入力装置３０は、自身のエンコーダがエンコードを開始すると、入力された映像信号をＭＰＥＧ２ＴＳ形式に変換する。映像入力装置３０は、エンコード済みの映像ストリームを中継サーバ４０に送信する。
When the encoder of the
中継サーバ４０は、映像入力装置３０から映像信号を受信する。
The
中継サーバ４０は、中継先として予め登録されたＩＰＴＶ放送配信サーバ５０、及び、関連情報形成装置２０に対して、エンコード済みの映像ストリームの送出を行う。この際、中継サーバ４０は、関連情報形成装置２０に対しては即座に送出を行うが、ＩＰＴＶ放送配信サーバ５０に対しては一定の遅延時間Ｄfixを与えて送出する。この遅延時間Ｄfixは、この実施形態では固定値としているが、中継するサーバの数、配信経路等を考慮して可変値としても良い。
The
ＩＰＴＶ放送配信サーバ５０は、中継サーバ４０から受信した映像ストリームを、配信対象（情報表示装置１０）のネットワークＮに対して送出する。
The IPTV
次に、関連情報形成装置２０の関連情報の配信の動作の説明を行う。
Next, the related information distribution operation of the related
映像データ受信部９０は、中継サーバ４０から映像ストリームを受信する。
The video
映像データ解析部９２は、受信した映像ストリームを解析する。
The video
映像データ解析部９２は、Ｖｉｄｅｏデータを示すＰＩＤをＴＳヘッダ内に持つＴＳパケットのＴＳペイロードを連結することによりＰＥＳパケット（映像データ）を取得する。
The video
映像データ解析部９２は、ＰＥＳパケット中、ＰＴＳ＆ＤＴＳフラグが「０ｂ１１」、又は「０ｂ１０」の場合には、ＰＥＳヘッダの７３ビット目から４０ビット（の内の３３ビット）の領域に存在するＰＴＳ値を取得する。
When the PTS & DTS flag is “0b11” or “0b10” in the PES packet, the video
ＤＢ９５は、次に記載される処理に基づいて、関連情報入力作業者Ｕより入力されたデータを登録する。入力制御部９３は、データ入力手段６３を介して、関連情報入力作業者Ｕより入力されたデータを取得し、操作パネル制御部９７は、操作パネル６４を介して、関連情報入力作業者Ｕによる「ＯＫ」ボタンが押下されたことを入力制御部９３に通知することにより、入力制御部９３は、入力されたデータを入力データ管理部９４に転送する。入力データ管理部９４は、入力されたデータに対して、一意に識別可能なＩＤを付与する。ＤＢ９５は、ＩＤと入力されたデータの組を蓄積する。
The
また、関連情報構成部９８は、操作パネル制御部９７の通知を受けて、関連情報の挿入位置に対するタイムスタンプ値を推定する。ここで、操作パネル制御部９７の通知の内容は、関連情報入力作業者Ｕが、映像表示画面６１に表示される映像を視聴しながら、操作パネル６４の「ｉｎｓｅｒｔ」ボタンを押下したことについてである。図８は、関連情報構成部９８が関連情報の挿入位置に対するタイムスタンプ値を推定する手順を示す説明図である。図８においてＴnは、ある画面（フレーム）の表示時刻を示している。Ｔn+1は、Ｔnを基準として、表示時刻順で次のフレームに対応する表示時刻を示し、Ｔn-1は、Ｔnを基準として、表示時刻順で一つ前のフレームに対応する表示時刻を示す。Ｔ0は、初期フレームの時刻を示し、Ｔinsertは、操作パネル６４の「ｉｎｓｅｒｔ」ボタンが押下された時刻を示している。時刻Ｔ0に対応するフレームはＰ0を示し、ＰＴＳ値は、ＰＴＳ0を示している。以下、同様に、時刻Ｔn-1に対応するフレームはＰn-1を示し、ＰＴＳ値は、ＰＴＳn-1を示している。時刻Ｔnに対応するフレームはＰnを示し、ＰＴＳ値は、ＰＴＳnを示している。時刻Ｔinsertに対応するフレームはＰinsertを示し、ＰＴＳ値は、ＰＴＳinsertを示している。時刻Ｔn+1に対応するフレームはＰ+1を示し、ＰＴＳ値は、ＰＴＳn+1を示している。時刻Ｔ0からＴnまでの時間は、Ｔn―Ｔ0で示されており、その間のＰＴＳ値は、（ＰＴＳn−ＰＴＳ0）ｍｏｄ２33である。時刻Ｔ0からＴinsertまでの時間は、Ｔinsert―Ｔ0で示されており、その間のＰＴＳ値は以下の（１）式で推定される。
In addition, the related
以下の、図９を用いて、図８の時刻ＴinsertのＰＴＳ値であるＰＴＳinsertを推定する処理を説明する。図９は、タイムスタンプ値を推定する手順を示したフローチャートである。 A process for estimating the PTS insert that is the PTS value at the time T insert in FIG. 8 will be described with reference to FIG. FIG. 9 is a flowchart showing a procedure for estimating the time stamp value.
まず、関連情報構成部９８は、映像データ解析部９２から、映像データの最初に表示した画面に対応するＰＴＳ値（ＰＴＳ0）と表示時刻（Ｔ0）及び、直前に表示した画面に対応するＰＴＳ値（ＰＴＳn）と表示時刻（Ｔn）を取得する（Ｓ１０１）。
First, the related
次に、関連情報構成部９８は、「ｉｎｓｅｒｔ」ボタンが押下された時刻（Ｔinsert）と最初に表示した画面の表示時刻（Ｔ0）の差分（Ｔinsert−Ｔ0）に対して、直前までのＰＴＳ値と表示時刻との比率（（ＰＴＳn−ＰＴＳ0）ｍｏｄ２33）／（Ｔn−Ｔ0）を乗じる（上記（１）式に相当）。つまり、関連情報構成部９８は、「ｉｎｓｅｒｔ」ボタンが押下された時刻に対応するタイムスタンプ値（ＰＴＳinsert）と最初に表示した画面に対応するＰＴＳ値（ＰＴＳ0）との差分を推定する（Ｓ１０２）。
Next, the related
最後に、関連情報構成部９８は、最初に表示した画面に対応するＰＴＳ値（ＰＴＳ0）に前記で推定した差分値を加算し、その結果をｍｏｄ２33することで、「ｉｎｓｅｒｔ」ボタンが押下された時刻に対応するタイムスタンプ値（ＰＴＳinsert）の推定値を取得することができる（Ｓ１０３）。
Finally, the related
関連情報入力作業者Ｕが、作成済みの入力情報の一覧表示・選択手段６２、又はデータ入力手段６３から入力データを指定した後、操作パネル６４の「ＯＫ」ボタンが押下すると、操作パネル制御部９７から関連情報構成部９８に対して関連情報の生成が要求される。
When the related information input operator U designates input data from the created input information list display / selection means 62 or the data input means 63 and then presses the “OK” button on the
関連情報構成部９８は、操作パネル６４の「ｉｎｓｅｒｔ」ボタンの押下に際して決定されたタイムスタンプ値ＰＴＳinsertと選択された入力データとを含む関連情報を作成する。関連情報には、シーケンシャルな番号（関連情報番号）が付与される。関連情報送出部９９は、関連情報構成部９８が作成した関連情報を取得し、関連情報提供サーバ６０に送出する。
The related
関連情報提供サーバ６０は、関連情報形成装置２０から受信した関連情報を、配信対象のネットワークＮに対して送出する。
The related
最後に、情報表示装置１０の動作を説明する。
Finally, the operation of the
情報表示装置１０は、ＩＰＴＶ放送配信サーバ５０から送出された映像ストリームを映像データ受信部１１で受信した後、映像データ解析部１３に映像ストリームを転送する。
The
映像データ解析部１３は、映像ストリームを映像データ表示部１２に転送する。また、映像データ解析部１３は、映像表示用に取得されたＭＰＥＧ２ＴＳのＰＥＳヘッダに格納されたＰＴＳ値を取得し、関連情報同期部１７に転送する。
The video
映像データ表示部１２は、映像データ解析部１３から転送された映像ストリームを表示する。
The video
一方、関連情報受信部１５は、関連情報提供サーバ６０から送出された関連情報パケットを受信した後、当該関連情報パケットを関連情報同期部１７に転送する。
On the other hand, after receiving the related information packet sent from the related
図１０は、情報表示装置１０におけるＰＴＳを用いた映像と関連情報の同期処理を示すフローチャートである。図１０に示すフローチャートは、主として、関連情報同期部１７及び関連情報表示部１６により実行される。
FIG. 10 is a flowchart showing a synchronization process of video and related information using PTS in the
関連情報同期部は、関連情報パケットに含まれるタイムスタンプ値ＰＴＳinsertを取得すると、今回取得した関連情報とは異なる他の関連情報が存在しているか否かを確認する（Ｓ２０１、Ｓ２０２）。 When acquiring the time stamp value PTS insert included in the related information packet, the related information synchronization unit checks whether there is other related information different from the related information acquired this time (S201, S202).
そして、他の関連情報が存在する場合には、ステップＳ２０３の処理に移行し、関連情報同期部１７は、表示する関連情報の表示調整を行う。一方、他の関連情報が存在する場合には、後述するステップＳ２０４の処理を実行する（Ｓ２０２）。
If other related information exists, the process proceeds to step S203, and the related
ステップ２０３における表示調整処理の詳細な説明は、後述する図１１を用いて具体的に説明するが、ステップＳ２０３では、今回受信された関連情報の他に、他の関連情報が受信されていた場合には、関連情報を表示する順序等の調整を行う。例えば、ネットワーク上での揺らぎ等により、情報表示装置１０が関連情報パケットを受信する順序が変化する場合も生じるが、関連情報同期部１７は、今回受信した関連情報及び他の関連情報のそれぞれに含まれているＰＴＳinsertの値を比較し、ＰＴＳinsertの値が小さい順に関連情報を並び替えるようにしても良い。この並び替えにより、値の小さいＰＴＳinsertを有するものから先に関連情報を表示することができる。なお、この実施形態では、関連情報に含まれるＰＴＳinsertの値の比較に基づいて、関連情報の並べ替えを行うようにしたが、関連情報受信部１５が、関連情報パケットに含まれるシーケンシャルな番号に基づいて、関連情報の並び替えを行うようにしても良い。
The detailed description of the display adjustment process in
関連情報同期部１７は、ＰＴＳinsertが映像データ解析部１３から転送されたＰＴＳ値以上となった時点で、関連情報を関連情報表示部１６に転送する（Ｓ２０４）。
The related
関連情報表示部１６は、関連情報同期部１７から関連情報が転送された場合、前回表示した関連情報が残っていた場合には不要な関連情報を消去する（Ｓ２０５、Ｓ２０６）。当該関連情報が存在しない場合には、後述するステップＳ２０７の処理を実行する。
The related
関連情報表示部１６は、関連情報の表示を行う（Ｓ２０７）。
The related
図１１は、情報表示装置１０における、関連情報受信時刻と関連情報表示の関係から表示の調整が必要な場合を示す説明図である。
FIG. 11 is an explanatory diagram illustrating a case where display adjustment is necessary based on the relationship between the related information reception time and the related information display in the
図１１において、「○」（白抜き丸）は関連情報を受信した時に関連情報同期部１７が保持しているＰＴＳ値を示しており、「●」（黒抜き丸）は関連情報の表示を開始するＰＴＳ値を示す。ＰＴＳ1は、関連情報１のＰＴＳinsert値を示している。ＰＴＳ2は、関連情報２のＰＴＳinsert値を示している。両者は、ＰＴＳ2＞ＰＴＳ1の関係を有している。よって、通常であれば、関連情報１が表示された後に、関連情報２が生じされることになる。パケットの遅延等により、両関連情報の表示の調整が必要な場合が生じる。
In FIG. 11, “◯” (open circle) indicates the PTS value held by the related
図１１（Ａ−１）は、関連情報１と関連情報２共に、推定値（ＰＴＳ1、ＰＴＳ2）よりも前の時点で関連情報を受信している。この場合、関連情報同期部１７では、関連情報１が受信された後に、関連情報２が受信されており、関連情報１の推定値ＰＴＳ1が、関連情報２の推定値ＰＴＳ2よりも小さいため、関連情報同期部１７は、関連情報１を先に表示する。まず、関連情報同期部１７は、映像データ解析部１３から取得する映像のＰＴＳ値と、関連情報１の推定値ＰＴＳ1を比較し、推定値ＰＴＳ1が、映像のＰＴＳ値以上となった時点で、関連情報１を関連情報表示部１６に与える。これにより、関連情報１が表示される。関連情報１が表示され、関連情報２の推定値ＰＴＳ2が映像のＰＴＳ値以上となった時点で、関連情報同期部１７は、関連情報２を関連情報表示部１６に与えて、関連情報２が表示される。
In FIG. 11A-1, both the
図１１（Ａ−２）は、（Ａ−１）と比べて、関連情報２が関連情報１よりも先に受信した例を示している。この場合、関連情報２が関連情報１よりも先に受信されているが、関連情報同期部１７は、関連情報１及び２の各推定値ＰＴＳ1とＰＴＳ2を比較し、値の小さい関連情報１を関連情報２よりも先に表示するように調整する。そして、関連情報同期部１７は、映像データ解析部１３から取得する映像のＰＴＳ値と、関連情報１の推定値ＰＴＳ1とを比較し推定値ＰＴＳ1が映像のＰＴＳ値以上となった時点で、関連情報１を関連情報表示部１６に与える。これにより、関連情報１が表示される。関連情報２の表示処理については、（Ａ−１）と同様である。
FIG. 11A-2 illustrates an example in which the
図１１（Ａ−３）は、（Ａ−１）と比べて、関連情報２が関連情報１の表示中に受信した例を示している。この場合も、関連情報同期部１７では、関連情報１が受信された後に、関連情報２が受信されており、関連情報１の推定値ＰＴＳ1が、関連情報２の推定値ＰＴＳ2よりも小さいため、関連情報の表示処理については、（Ａ−１）と異なる点はない。
FIG. 11A-3 shows an example in which the
図１１（Ｂ）は、関連情報２の受信が関連情報２の表示すべき時刻（ＰＴＳ2）よりも遅れている例を示している。この場合、関連情報同期部１７では、関連情報１が受信された後に、関連情報２が受信されており、関連情報１の推定値ＰＴＳ1が、関連情報２の推定値ＰＴＳ2よりも小さいため、関連情報同期部１７は、関連情報１を先に表示する。ただし、関連情報２の受信が遅れているため、関連情報関連情報１は、ＰＴＳ1から関連情報２の受信時刻に対応するＰＴＳの間表示されることになる。また、関連情報２の表示開始は、関連情報２の受信時刻に対応するＰＴＳとなる。この実施形態では、関連情報表示部１６は、新たな関連情報が関連情報同期部１７より送信されるまでは、前回の関連情報が表示されたままである。言い換えれば、関連情報表示部１６から表示されている関連情報を消去したい場合、空の入力データを含む関連情報パケットを作成し、関連情報提供サーバ６０より配信する必要がある。変形例として、関連情報表示部１６は、表示時刻がＰＴＳ2になった時点でタイマーを設定し、所定時間後に関連情報１の表示を消去する処理を行っても良い。
FIG. 11B shows an example in which the reception of the
図１１（Ｃ−１）は、関連情報１の受信が関連情報１の表示すべき時刻（ＰＴＳ2）よりも遅れている例を示している。この場合、関連情報１は、関連情報１の受信時刻に対応するＰＴＳからＰＴＳ2の間表示される。関連情報２は、関連情報１の表示時間中に受信しているので、関連情報２は、ＰＴＳ2から表示される。
FIG. 11C-1 shows an example in which the reception of the
図１１（Ｃ−２）は、（Ｃ−１）と比べて、関連情報２が関連情報１よりも先に受信した例を示している。この場合、関連情報同期部１７では、関連情報１が受信された後に、関連情報２が受信されており、関連情報１の推定値ＰＴＳ1が、関連情報２の推定値ＰＴＳ2よりも小さいため、関連情報同期部１７は、関連情報１を先に表示する。まず、関連情報同期部１７は、映像データ解析部１３から取得する映像のＰＴＳ値と、関連情報１の推定値ＰＴＳ1を比較し、推定値ＰＴＳ1が、映像のＰＴＳ値以上となった時点で、関連情報１を関連情報表示部１６に与える。これにより、関連情報１が表示される。関連情報１が表示され、関連情報２の推定値ＰＴＳ2が映像のＰＴＳ値以上となった時点で、関連情報同期部１７は、関連情報２を関連情報表示部１６に与えて、関連情報２が表示される。
FIG. 11C-2 illustrates an example in which the
図１１（Ｃ−３）は、（Ｃ−２）と比べて、関連情報２が関連情報１によりもさらに先に（ＰＴＳ1よりも）受信した例を示している。この場合も、関連情報の表示処理についは、（Ｃ−２）と異なる点はない。
FIG. 11C-3 illustrates an example in which the
図１１（Ｄ−１）は、関連情報１と関連情報２共に、推定値（ＰＴＳ1、ＰＴＳ2）よりも後の時点で関連情報を受信している例を示している。この場合、関連情報１は、関連情報の受信時刻に対応するＰＴＳから関連情報２の受信時刻に対応するＰＴＳの間表示される。また、関連情報２の表示開始は関連情報２の受信時刻に対応するＰＴＳとなる。関連情報同期部１７は、映像データ解析部１３から取得する映像のＰＴＳ値と、関連情報１の推定値ＰＴＳ1を比較し、推定値ＰＴＳ1が、映像のＰＴＳ値以上となった時点で、関連情報１を関連情報表示部１６に与える。これにより、関連情報１が表示される。関連情報１が表示され、関連情報２の推定値ＰＴＳ2が映像のＰＴＳ値以上となった時点で、関連情報同期部１７は、関連情報２を関連情報表示部１６に与えて、関連情報２が表示される。
FIG. 11D-1 shows an example in which the
図１１（Ｄ−２）は、（Ｄ−１）と比べて、関連情報１が関連情報２の表示時間中に受信した例を示している。関連情報の表示処理についは、関連情報１の表示開始が関連情報２の表示時間中にずれ込む点が異なる。
FIG. 11 (D-2) shows an example in which the
図１１（Ｅ−１）は、関連情報２の推定値（ＰＴＳ2）よりも後の時点で関連情報１を受信し、ささに、関連情報２がＰＴＳ1よりも先に受信している例を示している。この場合、関連情報１は表示されず、関連情報２はＰＴＳ2より表示される。まず、関連情報同期部１７は、映像データ解析部１３から取得する映像のＰＴＳ値と、関連情報２の推定値ＰＴＳ2を比較し、推定値ＰＴＳ2が、映像のＰＴＳ値以上となった時点で、関連情報２を関連情報表示部１６に与える。これにより、関連情報２が表示される。関連情報２が表示された後に、関連情報１を受信するが、関連情報同期部１７は、現在表示中の映像との乖離を想定して、関連情報１の表示を行わない。
FIG. 11E-1 shows an example in which the
図１１（Ｅ−２）は、（Ｅ−１）と比べて、関連情報２が関連情報１の表示時間中に受信した例を示している。関連情報の表示処理については、（Ｅ−１）と異なる点はない。
FIG. 11E-2 illustrates an example in which the
図１１（Ｆ）は、関連情報２の推定値（ＰＴＳ2）よりも後の時点で関連情報１と関連情報２を受信した例を示している。この場合、関連情報１は表示されない。また、関連情報２の表示開始は関連情報２の受信時刻に対応するＰＴＳとなる。
FIG. 11F shows an example in which the
（Ａ−３）実施形態の効果
中継サーバ４０で映像ストリームの配信に固定の遅延時間を与え、関連情報形成装置２０で表示する映像位置を示すタイムスタンプ値を関連情報に含めて配信することにより、情報表示装置１０における映像と関連情報の表示の同期を、映像出力時に取得する必要のあるタイムスタンプ値の比較のみで可能とした。以上により、情報表示装置１０における映像と関連情報表示の同期処理の処理負荷を低減することできるという効果が得られる。また、関連情報を入力し、配信するシステム側の処理負荷も、全体として低減することができるという効果も得られる。
(A-3) Effect of Embodiment By giving a fixed delay time to the distribution of the video stream by the
（Ｂ）他の実施形態
上記の実施形態に加えて、さらに、以下に例示するような変形実施形態も挙げることができる。
(B) Other Embodiments In addition to the above-described embodiments, the following modified embodiments can be exemplified.
（Ｂ−１） 上記の実施形態では、放送配信システム１の構成要素として、関連情報形成装置２０を適用した例を示したが、生放送に対する字幕の入力装置を適用しても良い。
(B-1) In the above embodiment, an example in which the related
１…放送配信システム、１０…情報表示装置、２０…関連情報形成装置、３０…映像入力装置、４０…中継サーバ、５０…ＩＰＴＶ放送配信サーバ、６０…関連情報提供サーバ、１１…映像データ受信部、１２…映像データ表示部、１３…映像データ解析部、１５…関連情報受信部、１６…関連情報表示部、１７…関連情報同期部、６１…映像表示画面、６２…一覧表示・選択手段、６３…データ入力手段、６４…操作パネル、９０…映像データ受信部、９１…映像データ表示部、９２…映像データ解析部、９３…入力制御部、９４…入力データ管理部、９５…ＤＢ、９６…入力データ表示部、９７…操作パネル制御部、９８…関連情報構成部、９９…関連情報送出部、Ｎ…ネットワーク、Ｔ…テーブル
DESCRIPTION OF
Claims (3)
上記第１映像表示画面情報の表示に関わる第１時刻情報、及び上記第２映像表示画面情報の表示に関わる第２時刻情報からなる第２差分情報と、
上記第１時刻情報、及び映像表示画面情報における関連表示情報の表示に関わる第３時刻情報からなる第３差分情報とを用いて、
上記関連表示情報の表示に関わる第３タイムスタンプ情報を算出する算出部と、
上記関連表示情報及び上記第３タイムスタンプ情報を有する関連情報を送信する送信部と
を有することを特徴とする情報処理装置。 First difference information including first time stamp information related to display of first video display screen information and second time stamp information related to display of second video display screen information;
Second difference information consisting of first time information related to display of the first video display screen information and second time information related to display of the second video display screen information;
Using the first time information and the third difference information composed of the third time information related to the display of the related display information in the video display screen information,
A calculation unit for calculating third time stamp information related to display of the related display information;
An information processing apparatus comprising: a transmission unit that transmits related information including the related display information and the third time stamp information.
上記第３時刻情報に関わるタイミング情報を受信する第２受信部と
を有することを特徴とする請求項１に記載の情報処理装置。 A first receiver for receiving the related display information;
The information processing apparatus according to claim 1, further comprising: a second reception unit that receives timing information related to the third time information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014173063A JP6481290B2 (en) | 2014-08-27 | 2014-08-27 | Information processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014173063A JP6481290B2 (en) | 2014-08-27 | 2014-08-27 | Information processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016048846A JP2016048846A (en) | 2016-04-07 |
| JP6481290B2 true JP6481290B2 (en) | 2019-03-13 |
Family
ID=55649541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014173063A Active JP6481290B2 (en) | 2014-08-27 | 2014-08-27 | Information processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6481290B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6461681B2 (en) * | 2015-03-31 | 2019-01-30 | 日本放送協会 | Broadcast apparatus, mapping information transmission apparatus, receiver, presentation target data transmission apparatus, broadcast communication data synchronization system, and program |
| KR102123593B1 (en) * | 2018-07-23 | 2020-06-16 | 스노우 주식회사 | Method, system, and non-transitory computer readable record medium for synchronization of real-time live video and information data |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003259312A (en) * | 2002-02-28 | 2003-09-12 | Lsi Japan Kk | Caption program data conversion apparatus |
| JP2008199117A (en) * | 2007-02-08 | 2008-08-28 | Sharp Corp | Digital broadcast receiver |
| JP5674590B2 (en) * | 2011-08-16 | 2015-02-25 | 日本放送協会 | Sending apparatus, content providing system, and program |
| JP5771098B2 (en) * | 2011-09-02 | 2015-08-26 | 日本放送協会 | COMMUNICATION CONTENT GENERATION DEVICE AND COMMUNICATION CONTENT GENERATION PROGRAM |
| JP5924728B2 (en) * | 2012-02-02 | 2016-05-25 | 日本放送協会 | Signal processing apparatus and program |
-
2014
- 2014-08-27 JP JP2014173063A patent/JP6481290B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016048846A (en) | 2016-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10715571B2 (en) | Self-adaptive streaming medium processing method and apparatus | |
| CN110933449B (en) | Method, system and device for synchronizing external data and video pictures | |
| US11201903B1 (en) | Time synchronization between live video streaming and live metadata | |
| US10764473B2 (en) | Automatically synchronizing multiple real-time video sources | |
| JP6313704B2 (en) | Reception device and synchronization processing method thereof | |
| US10334293B2 (en) | Multiplexing apparatus, receiving apparatus, multiplexing method, and delay adjustment method | |
| JP6333173B2 (en) | Receiving apparatus and receiving method | |
| JP6310109B2 (en) | Broadcast service retransmission system and portable terminal for viewing | |
| CN113891132B (en) | Audio and video synchronous monitoring method and device, electronic equipment and storage medium | |
| US9854019B2 (en) | Method and apparatus for modifying a stream of digital content | |
| US20140365685A1 (en) | Method, System, Capturing Device and Synchronization Server for Enabling Synchronization of Rendering of Multiple Content Parts, Using a Reference Rendering Timeline | |
| JP6481290B2 (en) | Information processing device | |
| CA2849064A1 (en) | Method of processing an interactive service related to a broadcast program and apparatus therefor | |
| WO2018224839A2 (en) | Methods and systems for generating a reaction video | |
| JP2022095777A (en) | Broadcast service Communication network distribution device and method | |
| JP5466633B2 (en) | Stream switching method and digital broadcast transmission system | |
| van Deventer et al. | Media synchronisation for television services through HbbTV | |
| JP2022507910A (en) | Time-shift playback | |
| KR100846772B1 (en) | Method for generating program guide using preview and apparatus thereof | |
| JP2011077893A (en) | Content transmitter, content receiver and method of receiving content | |
| JP5579657B2 (en) | Video frame synchronization system | |
| Segundo et al. | Remote temporal couplers for multiple content synchronization | |
| US10531136B2 (en) | Data processing device, data processing method, and program | |
| JP4373802B2 (en) | Program transmission method, program transmission apparatus, program transmission system, and program transmission program | |
| JP2009100410A (en) | Data distribution apparatus and data distribution system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170515 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180320 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180516 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181030 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190115 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190128 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6481290 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |