JP6446347B2 - Thumbnail providing device, display device, thumbnail video display system, thumbnail video display method, and program - Google Patents
Thumbnail providing device, display device, thumbnail video display system, thumbnail video display method, and program Download PDFInfo
- Publication number
- JP6446347B2 JP6446347B2 JP2015180889A JP2015180889A JP6446347B2 JP 6446347 B2 JP6446347 B2 JP 6446347B2 JP 2015180889 A JP2015180889 A JP 2015180889A JP 2015180889 A JP2015180889 A JP 2015180889A JP 6446347 B2 JP6446347 B2 JP 6446347B2
- Authority
- JP
- Japan
- Prior art keywords
- thumbnail
- frame
- video
- channel
- channels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 58
- 230000005540 biological transmission Effects 0.000 claims description 17
- 230000001360 synchronised effect Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 239000000872 buffer Substances 0.000 description 5
- 230000008707 rearrangement Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000012536 storage buffer Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、映像配信技術に関連し、特に、配信される映像のサムネイルを表示する技術に関するものである。 The present invention relates to a video distribution technique, and more particularly to a technique for displaying a thumbnail of a distributed video.
テレビ放送、CATV、IPTV多チャンネル等の映像配信サービスやVOD映像配信サービスにおいて、"今"どのような番組が放送(配信)されているかを知る手段を提供することは、ユーザが番組を実際に視聴する上での助けになる。ユーザが視聴したいチャンネルを選択する上では、番組表やEPG等の文字情報により、番組内容を把握し、興味を持った内容が記載されるチャンネルを選択するか、ザッピングの形でチャンネルを短時間に切り替えながら、興味を持ったチャンネルを選択するという手法が取られていた。 In TV broadcasting, CATV, IPTV multi-channel video distribution services and VOD video distribution services, providing a means of knowing what programs are being broadcast (distributed) now allows users to actually It will help you to watch. When selecting a channel that the user wants to watch, grasp the contents of the program using text information such as the program guide or EPG, and select a channel that describes the content that interests you, or select a channel in the form of zapping for a short time. While switching to, the method of selecting the channel that interests you was taken.
番組表やEPGでは、一覧性は優れているが、文字情報で要約された形の情報しか掲載されておらず、"今"実際に何が放送されているかは不明である。また、ザッピングの場合は、"今"何が放送されているかを実際に見ることはできるが、チャンネル数が多くなると、ザッピングに要する時間や手間が非常にかかるといった課題がある。 In the program guide and EPG, the listability is excellent, but only information in a form summarized with text information is posted, and it is unclear what is being broadcast “now”. Further, in the case of zapping, it is possible to actually see what is being broadcasted, but there is a problem that if the number of channels is increased, the time and labor required for zapping become very long.
上記の課題に関連し、ユーザの映像視聴体験を向上させる取組みとして、スマートフォン/タブレット上に、各チャンネルの配信内容をアニメーションGIFによりサムネイル表示させて、ユーザはサムネイルの一覧画面を見ながら、内容に興味を持ったチャンネルを選択することでTVのチャンネルを切り替えるというリモコンアプリが提案されている。 In relation to the above issues, as an effort to improve the user's video viewing experience, the distribution contents of each channel are displayed as thumbnails with animated GIFs on the smartphone / tablet, and the user can view the contents while viewing the thumbnail list screen. A remote control app that switches TV channels by selecting channels that interest them has been proposed.
しかし、上記従来技術のようにアニメーションGIF化されたサムネイル画像が表示されたとしても、"今"放送(配信)されている映像が表示されているとはいえない。また、アニメーションGIF化させるためには、大きな遅延が発生するといった問題や、新規のサムネイル画像を受信しない間は、過去のサムネイル画像が繰り返し表示されてしまい、実際の放送(配信)内容とタブレット/スマートフォン上のサムネイル画像がかい離してしまうといった問題が発生する。 However, even if a thumbnail image converted into an animated GIF is displayed as in the above prior art, it cannot be said that a video that is being broadcast (distributed) is being displayed. In addition, in order to make animated GIFs, there is a problem such as a large delay, and past thumbnail images are displayed repeatedly while new thumbnail images are not received, and actual broadcast (distribution) contents and tablet / There is a problem that the thumbnail images on the smartphone are separated.
また、アニメーションGIF化させることによって映像中の時間的情報が欠落するため、タブレット/スマートフォン上のサムネイル画像と、放送(配信)内容の時間的同期をとることも困難である。すなわち、従来技術では、映像配信サービスにより配信される複数チャンネルの映像のサムネイルをユーザ端末上で適切に表示することができないという問題がある。 In addition, since the temporal information in the video is lost by converting it to an animated GIF, it is difficult to synchronize the thumbnail images on the tablet / smartphone and the broadcast (distributed) content. In other words, the conventional technology has a problem that thumbnails of videos of a plurality of channels distributed by the video distribution service cannot be properly displayed on the user terminal.
本発明は上記の点に鑑みてなされたものであり、映像配信サービスにより配信される複数チャンネルの映像のサムネイルをユーザ端末上で適切に表示することを可能とする技術を提供することを目的とする。 The present invention has been made in view of the above points, and an object of the present invention is to provide a technique capable of appropriately displaying thumbnails of videos of a plurality of channels distributed by a video distribution service on a user terminal. To do.
本発明の実施の形態によれば、映像配信サービスにおける複数チャンネルのサムネイル映像を提供するサムネイル提供装置であって、
前記映像配信サービスにより提供される各チャンネルのフレームデータを取得し、当該フレームデータから、各チャンネルのサムネイル映像として用いるフレーム群を所定の間隔で取得するフレーム取得手段と、
前記フレーム取得手段により取得したフレーム群を時間軸方向に並べることにより、サムネイル映像シーケンスを生成するシーケンス生成手段と、
前記シーケンス生成手段により取得したサムネイル映像シーケンスを送出する手段と
を備えることを特徴とするサムネイル提供装置が提供される。
According to an embodiment of the present invention, there is provided a thumbnail providing apparatus that provides thumbnail images of a plurality of channels in a video distribution service,
Frame acquisition means for acquiring frame data of each channel provided by the video distribution service, and acquiring a frame group used as a thumbnail video of each channel from the frame data at a predetermined interval;
Sequence generating means for generating a thumbnail video sequence by arranging the frames acquired by the frame acquiring means in the time axis direction;
A thumbnail providing apparatus comprising: means for transmitting a thumbnail video sequence acquired by the sequence generating means.
また、映像配信サービスにおける複数チャンネルのサムネイル映像の情報を表示装置に提供するサムネイル提供装置であって、
前記複数チャンネルのIフレームのプレイリストから、各チャンネルのサムネイル映像として用いるIフレームの情報を記述したIフレーム情報を取得するフレーム情報取得手段と、
前記フレーム情報取得手段により取得した複数チャンネルのIフレーム情報について、同時刻のIフレーム情報毎に、当該Iフレーム情報をチャンネルの順番に並び替える並び替え手段と、
前記並び替え手段により並び替えられた複数チャンネルのIフレーム情報をサムネイル映像プレイリストとして前記表示装置に送信する送信手段と
を備えることを特徴とするサムネイル提供装置が提供される。
Further, a thumbnail providing device that provides information on a plurality of channels of thumbnail video in a video distribution service to a display device,
Frame information acquisition means for acquiring I frame information describing information of an I frame used as a thumbnail image of each channel from the I frame playlist of the plurality of channels;
Reordering means for reordering the I frame information in the order of the channels for each I frame information at the same time for the I frame information of a plurality of channels acquired by the frame information acquisition means;
There is provided a thumbnail providing device comprising: a transmission unit configured to transmit I frame information of a plurality of channels rearranged by the rearranging unit to the display device as a thumbnail video playlist.
また、本発明の実施の形態によれば、映像配信サービスにおける複数チャンネルのサムネイル映像を提供するサムネイル提供装置であって、
前記映像配信サービスにより提供される各チャンネルのフレームデータを取得し、当該フレームデータから、各チャンネルのサムネイル映像として用いるフレーム群であって、全チャンネル間で時間的に同期がとれるフレーム群を所定の間隔で取得するフレーム取得手段と、
前記フレーム取得手段により取得したフレーム群毎に、当該フレーム群を結合して1枚のサムネイル映像フレームを生成し、当該サムネイル映像フレームを時間方向に並べたサムネイル映像シーケンスを生成するシーケンス生成手段と、
前記シーケンス生成手段により生成したサムネイル映像シーケンスを送出する手段と
を備えることを特徴とするサムネイル提供装置が提供される。
In addition, according to the embodiment of the present invention, there is provided a thumbnail providing apparatus for providing thumbnail images of a plurality of channels in a video distribution service,
Frame data of each channel provided by the video distribution service is acquired, and a frame group used as a thumbnail video of each channel is obtained from the frame data, and a frame group that is synchronized in time between all channels is determined in advance. Frame acquisition means for acquiring at intervals;
For each frame group acquired by the frame acquisition means, a sequence generation means for generating a thumbnail video sequence by combining the frames and generating one thumbnail video frame and arranging the thumbnail video frames in the time direction ;
And a means for sending a thumbnail video sequence generated by the sequence generation means.
また、本発明の実施の形態によれば、映像配信サービスにおける複数チャンネルのサムネイル映像を表示する表示装置であって、
サムネイル提供装置から受信したサムネイル映像シーケンスであって、所定の間隔で取得された前記複数チャンネルに対応するフレーム群が時間軸方向に並べられたサムネイル映像シーケンスにおいて、当該フレーム群毎に、先頭のチャンネルからフレームデータを順次取得するフレーム取得手段と、
前記フレーム取得手段により取得された各フレームデータを、当該フレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する表示手段と
を備えることを特徴とする表示装置が提供される。
Further, according to the embodiment of the present invention, there is provided a display device for displaying thumbnail images of a plurality of channels in a video distribution service,
A thumbnail video sequence received from a thumbnail providing apparatus , wherein a first channel is provided for each frame group in a thumbnail video sequence in which frames corresponding to the plurality of channels acquired at predetermined intervals are arranged in a time axis direction. Frame acquisition means for sequentially acquiring frame data from:
There is provided a display device comprising: display means for sequentially displaying each frame data acquired by the frame acquisition means as a thumbnail at a screen position corresponding to a channel of the frame data.
また、本発明の実施の形態によれば、映像配信サービスにおける複数チャンネルのサムネイル映像を表示する表示装置であって、
サムネイル提供装置から、各チャンネルのサムネイル映像として用いるIフレームの情報を記述したIフレーム情報を含むサムネイル映像プレイリストを取得するプレイリスト取得手段と、
前記サムネイル映像プレイリストにおけるIフレーム情報に基づいて、映像配信サーバから各チャンネルのIフレームデータを取得する映像データ取得手段と、
前記映像データ取得手段により取得された各Iフレームデータを、当該Iフレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する表示手段と
を備えることを特徴とする表示装置が提供される。
Further, according to the embodiment of the present invention, there is provided a display device for displaying thumbnail images of a plurality of channels in a video distribution service,
Playlist acquisition means for acquiring a thumbnail video playlist including I frame information describing I frame information used as thumbnail video of each channel from the thumbnail providing device;
Video data acquisition means for acquiring I frame data of each channel from the video distribution server based on the I frame information in the thumbnail video playlist;
There is provided a display device comprising: display means for sequentially displaying each I frame data obtained by the video data obtaining means as a thumbnail at a screen position corresponding to a channel of the I frame data.
本発明の実施の形態によれば、映像配信サービスにより配信される複数チャンネルの映像のサムネイルをユーザ端末上で適切に表示することを可能とする技術が提供される。 According to the embodiment of the present invention, there is provided a technique capable of appropriately displaying thumbnails of videos of a plurality of channels distributed by a video distribution service on a user terminal.
以下、図面を参照して本発明の実施の形態を説明する。なお、以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。なお、本明細書及び特許請求の範囲において、「映像配信」は、映像を配信もしくは放送するあらゆるサービスを含むものとする。 Embodiments of the present invention will be described below with reference to the drawings. The embodiment described below is only an example, and the embodiment to which the present invention is applied is not limited to the following embodiment. In the present specification and claims, “video distribution” includes any service that distributes or broadcasts video.
(システムの構成概要)
図1に、本発明の実施の形態に係るサムネイル映像配信システムの全体概要構成図を示す。図1に示すように、本実施の形態では、多チャンネル映像配信事業者の設備(アンテナ20、IP網10内の装置等)からユーザ宅等のテレビ400に放送波、あるいはIP網により多チャンネルの映像配信がなされる。
(System configuration overview)
FIG. 1 shows an overall schematic configuration diagram of a thumbnail video distribution system according to an embodiment of the present invention. As shown in FIG. 1, in this embodiment, a multi-channel video distribution company's facilities (
一方、当該映像配信に係る多チャンネルのサムネイル映像ストリームが、サムネイル提供装置100からユーザ端末150に送信される。なお、図1では、例として「サムネイル提供装置100」、「ユーザ端末150」のように、後述する第1(第3)の実施の形態での参照符号を付しているが、全体装置構成は第1〜第3の実施の形態で共通である。
On the other hand, a multi-channel thumbnail video stream related to the video distribution is transmitted from the
また、サムネイル提供装置100からユーザ端末150へのサムネイル映像ストリームの送信は、IP網を介して行ってもよいし、放送波で行ってもよいし、その他の網で行ってもよい。
Further, transmission of the thumbnail video stream from the
本実施の形態では、ユーザ端末150は、タブレット型端末であることを想定しているが、これは一例に過ぎず、ユーザ端末150は、タブレット型端末以外の装置であってもよい。例えば、ユーザ端末150がテレビ400であってもよい。
In the present embodiment, it is assumed that the
サムネイル映像ストリームを受信したユーザ端末150では、映像配信中のチャンネル毎のサムネイル映像が表示される。これにより、視聴者(ユーザ)は、それぞれのチャンネルで"今"何が配信されているかを容易に把握しながら、興味を持ったチャンネルを選択しテレビ400に表示させて視聴することができる。なお、ユーザ端末150を表示装置と称してもよい。
In the
なお、本実施の形態において、ユーザ端末150からテレビ400へのチャンネル指示の方法はどのような方法であってもよい。例えば、IP網を経由した指示であってもよいし、近距離無線や赤外線等を使用した直接的な指示であってもよい。
In the present embodiment, any method for instructing a channel from
本実施の形態において、サムネイル映像をユーザ端末に提供する方式として、時間方向サムネイルストリーム方式、時間方向サムネイルプレイリスト方式、空間方向サムネイルストリーム方式がある。以下、それぞれ、第1の実施の形態、第2の実施の形態、第3の実施の形態として説明する。 In the present embodiment, there are a time direction thumbnail stream method, a time direction thumbnail playlist method, and a space direction thumbnail stream method as methods for providing thumbnail video to a user terminal. Hereinafter, the first embodiment, the second embodiment, and the third embodiment will be described.
(第1の実施の形態:時間方向サムネイルストリーム方式)
<装置構成:サムネイル提供装置100>
図2に、第1の実施の形態におけるサムネイル提供装置100の構成図を示す。図2に示すように、本実施の形態に係るサムネイル提供装置100は、フレームデータ取得部101、サムネイル映像フレーム抽出部102、サムネイル映像シーケンス生成部103、エンコード部104、及び符号量調整部105を有する。各部の機能概要は以下のとおりである。
(First embodiment: time direction thumbnail stream method)
<Apparatus configuration:
FIG. 2 shows a configuration diagram of the
フレームデータ取得部101は、多チャンネル映像配信事業者ヘッドエンド(映像配信のための機器)から送信された複数チャンネルの映像データを受信し、当該映像データをデコードしてフレームデータを取得する。
The frame
サムネイル映像フレーム抽出部102は、フレームデータ取得部101により得られたフレームデータからサムネイル映像用フレームを抽出する。サムネイル映像シーケンス生成部103は、サムネイル映像フレーム抽出部102により抽出されたサムネイル映像用フレームを並び替えて1つのサムネイル映像シーケンスを生成する。
The thumbnail video
エンコード部104は、サムネイル映像シーケンス生成部103により生成されたサムネイル映像シーケンスをエンコード(符号化)して、ユーザ端末150側に送出する。符号量調整部105は、チャンネル間で元ストリームの符号量を比較して、エンコード部104に対して、各フレームのビット量を配分する制御を行う。なお、符号量調整部105を備えることは必須ではなく、これを備えなくてもよい。
The
サムネイル提供装置100は、1つの装置(コンピュータ)で構成してもよいし、複数の装置(コンピュータ)をネットワーク接続して構成してもよい。また、サムネイル提供装置100を、クラウド上のサーバリソースを利用して構成することもできる。また、サムネイル提供装置100を、サムネイル提供システムと称してもよい。これらの点は、他の実施の形態についても同様である。
The
本実施の形態に係るサムネイル提供装置100(他の実施の形態でも同様)は、例えば、1つ又は複数のコンピュータに、実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。すなわち、当該装置が有する機能は、当該コンピュータに内蔵されるCPUやメモリ、ハードディスクなどのハードウェア資源を用いて、当該装置で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体(可搬メモリ等)に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
<装置構成:ユーザ端末150>
図3に、第1の実施の形態におけるユーザ端末150の構成図を示す。図3に示すように、本実施の形態に係るユーザ端末150は、デコード部151、フレーム抽出部152、サムネイル出力部153、操作・表示部154、連動制御部155を有する。各機能部の概要は以下のとおりである。
<Apparatus configuration:
FIG. 3 shows a configuration diagram of the
デコード部151は、サムネイル提供装置100から送信されるサムネイル映像ストリームをネットワークを介して受信し、受信したサムネイル映像ストリームをデコードしてサムネイル映像シーケンスの各フレームのデータを取得する。
The
フレーム抽出部152は、デコード部151により得られた多重化されたフレームを分解して、チャンネル毎にフレームを並び替え、並び替えた各フレームを取得する。サムネイル出力部153は、フレーム抽出部152により得られた各チャンネルのサムネイル映像用のフレームを一定間隔で操作・表示部154に出力する。
The
本実施の形態における操作・表示部154は、タッチパネルのように、操作受付機能と表示機能とを兼ね備えたものである。操作・表示部154は、サムネイル出力部153から受け取ったチャンネル毎のフレームを、例えば図1に示したように、チャンネルに対応する位置に表示する。
The operation /
例えば、チャンネル毎のサムネイル映像が表示されている操作・表示部154上でユーザによりチャンネルの指定(サムネイル映像の指定)がなされた場合に、連動制御部155は、操作・表示部154からチャンネル情報(チャンネル番号等)を取得し、当該チャンネル情報をテレビ400に対して送信することで、ユーザが所望のチャンネルの映像を視聴することを可能とする。
For example, when the user designates a channel (thumbnail image designation) on the operation /
本実施の形態に係るユーザ端末150(他の実施の形態でも同様)は、例えば、コンピュータ(例:タブレット型端末)に、実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。すなわち、当該装置が有する機能は、当該コンピュータに内蔵されるCPUやメモリ、ハードディスクなどのハードウェア資源を用いて、当該装置で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体(可搬メモリ等)に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
The
<第1の実施の形態におけるシステムの動作例>
次に、上述した構成を備えるサムネイル提供装置100、及びユーザ端末150の処理動作を、図4、図5を参照してより詳細に説明する。図4、図5におけるS1、S2等の記号は、以下の説明でのステップS1、ステップS2等のステップ番号に対応する。まず、図4を参照してサムネイル提供装置100における処理例を説明する。
<Example of System Operation in the First Embodiment>
Next, processing operations of the
[ステップS1:複数チャンネル映像のデコード]
ステップS1において、サムネイル映像を作りたい全てのチャンネルの映像ストリームをそれぞれデコードし、各ストリームのフレームデータを得る。当該処理において、フレームデータ取得部101は、各フレームを構成するのに必要なパケット(MPEG-2 TSパケット、NALユニット等)のデータ量をそれぞれ取得しておく。なお、デコード処理は、映像配信に係る映像ストリームがMPEG-2やH.264等で圧縮されている場合に行われるものであり、もしも、サムネイル提供装置100がベースバンド機器からのSDI信号等を受信する場合、デコード処理は不要である。
[Step S1: Decoding Multiple Channel Video]
In step S1, video streams of all channels for which thumbnail videos are to be created are decoded, and frame data of each stream is obtained. In this processing, the frame
[ステップS2:サムネイル映像シーケンスを構成するフレームの取得]
ステップS2では、サムネイル映像フレーム抽出部102が、ステップS1で取得された各チャンネルのフレームデータにおいて、全チャンネル間で時間的に同期がとれるフレーム群を一定間隔(=F)で取得し、マルチチャンネルフレームバッファに格納する。マルチチャンネルフレームバッファは、サムネイル映像フレーム抽出部102が備えるメモリ等の記憶手段でもよいし、サムネイル映像フレーム抽出部102の外部に備えられる記憶手段でもよい。
[Step S2: Acquisition of Frames Comprising Thumbnail Video Sequence]
In step S2, the thumbnail video
ここで、上記のFは、サムネイル映像の滑らかさに依存するパラメータであり、外部パラメータ等で任意に設定可能な値である。図4の例では、15フレーム間隔でフレーム群を取得するイメージを記載している。 Here, F is a parameter that depends on the smoothness of the thumbnail video, and is a value that can be arbitrarily set by an external parameter or the like. In the example of FIG. 4, an image for acquiring a frame group at intervals of 15 frames is described.
すなわち、図4に示される例では、ストリーム1(1ch:チャンネル1、以下同様)のフレーム0、ストリーム2のフレーム1、....ストリームNのフレーム14が、時間的に同期がとれるフレーム群として取得され、15フレーム後におけるフレーム群(ストリーム1のフレーム15、ストリーム2のフレーム16、....ストリームNのフレーム29)が次の時刻のフレーム群として取得されている。
That is, in the example shown in FIG. 4,
[ステップS3:サムネイル映像シーケンスの生成]
ステップS3では、サムネイル映像シーケンス生成部103が、ステップS2の処理で得られ、マルチチャンネルフレームバッファに保存されたフレーム群を、時間軸方向に並べ替えることにより、サムネイル映像シーケンスを生成する。
[Step S3: Generation of Thumbnail Video Sequence]
In step S3, the thumbnail video
すなわち、図4のS3の部分に示されるように、本例では、ストリーム1のフレーム0、ストリーム2のフレーム1、....ストリームNのフレーム14からなるフレーム群の各フレームがこの順番で並べられ、それに続いて、ストリーム1のフレーム15、ストリーム2のフレーム16、....ストリームNのフレーム29からなるフレーム群の各フレームがこの順番で並べられる。
That is, as shown in the S3 part of FIG. 4, in this example,
[ステップS4:サムネイル映像ストリームの生成]
ステップS3の処理までで生成されたサムネイル映像シーケンスは非圧縮のデータであるため、ステップS4では、エンコード部104が、サムネイル映像シーケンス送信のためにエンコード、MUX処理等を行う。一例として、エンコードにMPEG-2、H.264等を使用できる。
[Step S4: Generation of Thumbnail Video Stream]
Since the thumbnail video sequence generated up to the processing in step S3 is uncompressed data, in step S4, the
エンコード部104が実行する圧縮の方式については特に制限はなく、どのような方式を用いてもよい。ただし、本実施の形態のサムネイル映像シーケンスは、異なるチャンネルのフレームを並べたシーケンスなので、フレーム間の相関が低い。よって、フレーム間相関を用いるインター符号化ではなく、画面間相関のみを行うイントラ符号化で圧縮を行う方が望ましい。また、イントラ符号化の場合は、フレーム間相関が無いため、受信側で各フレームを独立して抽出し処理することが可能のため、受信側の実装負荷を軽減することにもつながる。
The compression method executed by the
ところで、映像エンコードにおいては、一般にビットレート制御の手法として、単位時間あたりの符号量を一定にするCBR(Constant Bit-Rate)によるエンコードが行われる。本実施の形態におけるサムネイル映像シーケンスを構成するフレームは、異なるチャンネル(=異なるコンテンツ)の映像を時間軸方向に並べ替えたもので構成されるが、チャンネルによっては、簡単な絵柄(アニメなど平坦な絵柄)から、複雑な絵柄(自然画像や精緻な絵柄)まで様々であるため、エンコード時に各フレームに等しい符号量を割り当てるよりも、フレームの絵柄の複雑さに応じて割り当てる符号量を変化させた方が、統計多重的効果により、符号量の無駄を押えてエンコードを行うことができる。本実施の形態では、符号量調整部105が上記の符号量割り当てを行う。
By the way, in video encoding, encoding by CBR (Constant Bit-Rate) that makes the code amount per unit time constant is generally performed as a bit rate control method. Frames constituting the thumbnail video sequence in the present embodiment are configured by rearranging videos of different channels (= different contents) in the time axis direction. Since there are a variety of patterns (from natural patterns) to complex patterns (natural images and elaborate patterns), the amount of code to be assigned was changed according to the complexity of the frame design rather than assigning an equal amount of code to each frame during encoding. On the other hand, encoding can be performed with a waste of code amount due to the statistical multiplexing effect. In the present embodiment, the code
[ステップS5:サムネイル映像ストリームの送出]
ステップS5において、エンコード部104(送信機能を含む)が、エンコードされたサムネイル映像ストリームを送出する。送出の方式については、特に限定はないが、例えば、配信サービスの形態に合わせて、RTP/RTSP、RTMP、HLS、MPEG-DASH等を使用することができる。本実施の形態においてサムネイル映像配信のために送出するストリームは1本であるため、通常、映像ストリームを送出する方法と同じ方法で送出を行うことができる。
[Step S5: Send thumbnail video stream]
In step S5, the encoding unit 104 (including the transmission function) transmits the encoded thumbnail video stream. The transmission method is not particularly limited, but for example, RTP / RTSP, RTMP, HLS, MPEG-DASH, etc. can be used according to the form of the distribution service. In the present embodiment, since there is one stream to be transmitted for thumbnail video distribution, it can be normally transmitted by the same method as the method of transmitting a video stream.
続いて、例えばフレームデータ取得部101(送信機能を含む)が、サムネイル映像ストリームとして束ねたチャンネル数、先頭チャンネルのサムネイルを特定する(同期をとる)ための情報(ストリーム中のバイト位置、時刻情報)を、チャンネル識別補助情報として別途送出する。この補助情報について、もしもストリームの配信がHLSやMPEG-DASH等の配信方式により行われる場合は、それぞれで用いるプレイリストファイルやマニフェストファイル、インデックスファイルに記載しても良い。 Subsequently, for example, the frame data acquisition unit 101 (including the transmission function) specifies the number of channels bundled as a thumbnail video stream and information for identifying (synchronizing) the first channel thumbnail (byte position in the stream, time information). ) Is separately transmitted as channel identification auxiliary information. This auxiliary information may be described in a playlist file, a manifest file, and an index file used for each of the streams if the stream is distributed by a distribution method such as HLS or MPEG-DASH.
図4の例において、チャンネル識別補助情報は、例えば、束ねたチャンネル数=N、先頭チャンネルのサムネイルを特定するための情報=(先頭チャンネル(ストリーム1)のフレームの開始バイト位置(例:ストリームの開始からXバイト目)、当該フレームを表示する時刻)、といった情報である。なお、チャンネル識別補助情報は、ユーザ端末側において、映像と同期してサムネイル映像をチャンネル毎に表示することを可能とする情報であればどのような情報でもよい。 In the example of FIG. 4, the channel identification auxiliary information includes, for example, the number of bundled channels = N, information for specifying the thumbnail of the first channel = (start byte position of the frame of the first channel (stream 1) (eg, stream The Xth byte from the start), and the time at which the frame is displayed. The channel identification auxiliary information may be any information as long as it is possible to display a thumbnail video for each channel in synchronization with the video on the user terminal side.
次に、図5を参照してユーザ端末150における処理を説明する。
Next, processing in the
[ステップS6:ストリームの受信、補助情報の受信]
ステップS6において、デコード部151は、サムネイル提供装置100から送出されるサムネイル映像ストリームを受信し、受信したサムネイル映像ストリームに対し、DEMUX処理、デコード(復号)処理等を行って、サムネイル映像シーケンスのフレームデータを取得する。また、同時に、フレーム抽出部152は、チャンネル識別補助情報(サムネイルとしてストリームに束ねられたチャンネル数、ストリーム中先頭チャンネル情報(バイト位置、時間情報))を、サムネイル提供装置100から取得する。
[Step S6: Receive Stream, Receive Auxiliary Information]
In step S6, the
なお、前述したように、チャンネル識別補助情報は、もしも配信ファイルがHLSやMPEG-DASH等の配信方式によるものであれば、プレイリストファイルやマニフェストファイルから取得しても良い。 As described above, the channel identification auxiliary information may be acquired from a playlist file or a manifest file if the distribution file is based on a distribution method such as HLS or MPEG-DASH.
[ステップS7:サムネイル映像ストリームの分解・抽出]
ステップS6で得られたサムネイル映像シーケンスは、フレーム抽出部152が備えるデコードフレーム格納バッファに格納される。
[Step S7: Decomposition / Extraction of Thumbnail Video Stream]
The thumbnail video sequence obtained in step S6 is stored in the decoded frame storage buffer provided in the
そして、フレーム抽出部152は、チャンネル毎のフレームの分解、抽出を行う。チャンネル毎の分解、抽出は、ステップS6で取得したチャンネル識別補助情報を元に行う。まず、チャンネル識別補助情報に基づき、サムネイル映像シーケンスから、チャンネル先頭位置を判別する。次に、チャンネル数情報を元に、判別したチャンネル先頭位置からフレームを順次取り出すことで、各チャンネルのそれぞれ最初のサムネイル(フレーム)を得る。以降に表示するチャンネル毎のフレームについても同様にチャンネル識別補助情報を用いて行うことができる。
The
上記の例では、チャンネル識別補助情報が、フレーム群(時刻同期している全チャンネルのフレーム)毎に提供されることを想定しているが、最初のフレーム群のみについてチャンネル識別補助情報が提供されることとしてもよい。後者の場合、ユーザ端末100では、2番目以降のフレーム群のチャンネル先頭位置については、最初のフレーム群の最後のフレームの次のフレームとして推定できる。また、チャンネル数については、フレーム群毎に同じであるとすればよい。
In the above example, it is assumed that channel identification auxiliary information is provided for each frame group (frames of all channels synchronized in time), but channel identification auxiliary information is provided only for the first frame group. It is also good to do. In the latter case, the
図5の例(図4に対応)では、最初(n秒目)に表示する各チャンネルのフレームとして、チャンネル1のフレーム0、チャンネル2のフレーム1、...チャンネルNのフレーム14が分解・抽出され、次(n+1秒目)に表示する各チャンネルのフレームとして、チャンネル1のフレーム15、チャンネル2のフレーム1、6...チャンネルNのフレーム29が分解・抽出される。
In the example of FIG. 5 (corresponding to FIG. 4), the
なお、送信側・受信側で合意された予め定められたルールに従ってチャンネル毎のフレームの分解、抽出を正しく行うことができる場合、チャンネル識別補助情報を用いないこととしてもよい。 Note that the channel identification auxiliary information may not be used when the frame can be correctly decomposed and extracted for each channel in accordance with a predetermined rule agreed between the transmitting side and the receiving side.
[ステップS8:画面表示]
次に、サムネイル出力部153は、ステップS7で取得された各チャンネルのサムネイル(フレーム)をチャンネル毎に順次、画面の所定の位置(チャンネルに対応する位置)に表示されるよう、操作・表示部154に対して出力する。サムネイルの更新に関しては、ストリーム中の全てのチャンネルのサムネイルを表示しなくてもよく、端末のスペックに合わせて、適宜間引いて表示してもよい。
[Step S8: Screen Display]
Next, the
また、各チャンネルのサムネイルを公平に同一フレームレートで表示しなくてもよい。例えば、有料チャンネルと無料チャンネルでフレームレートを変えたり、映像配信事業者が優先するチャンネルのサムネイルはフレームレートを高く表示するといった工夫を行い、ユーザのチャンネル選択の誘導付けを行ってもよい。このような処理は、他の実施の形態でも同様である。 Also, the thumbnails of each channel need not be displayed fairly at the same frame rate. For example, the user may be guided to select a channel by changing the frame rate between a pay channel and a free channel, or by displaying a higher frame rate for a thumbnail of a channel that is prioritized by the video distributor. Such processing is the same in other embodiments.
画面表示がなされた後、例えば、ユーザによるサムネイルの選択によって、チャンネル選択がなされ、連動制御部155により、選択されたチャンネルの情報がテレビ400に通知される。
After the screen is displayed, for example, a channel is selected by the user selecting a thumbnail, and the interlocking
上記のように、本実施の形態では、映像配信サービスにおける複数チャンネルのサムネイル映像を提供するサムネイル提供装置であって、前記映像配信サービスにより提供される各チャンネルのフレームデータを取得し、当該フレームデータから、各チャンネルのサムネイル映像として用いるフレーム群を所定の間隔で取得するフレーム取得手段と、前記フレーム取得手段により取得したフレーム群を時間軸方向に並べることにより、サムネイル映像シーケンスを生成するシーケンス生成手段と、前記シーケンス生成手段により取得したサムネイル映像シーケンスを送出する手段とを備えるサムネイル提供装置が提供される。 As described above, in the present embodiment, a thumbnail providing apparatus that provides thumbnail videos of a plurality of channels in a video distribution service, acquires frame data of each channel provided by the video distribution service, and the frame data A frame acquisition means for acquiring a frame group used as a thumbnail video of each channel at a predetermined interval, and a sequence generation means for generating a thumbnail video sequence by arranging the frame groups acquired by the frame acquisition means in a time axis direction And a thumbnail providing apparatus comprising: a thumbnail video sequence acquired by the sequence generating means.
また、ユーザ端末(表示装置)については、映像配信サービスにおける複数チャンネルのサムネイル映像を表示する表示装置であって、サムネイル提供装置から受信したサムネイル映像シーケンスにおいて、所定の間隔で生成された前記複数チャンネルに対応するフレーム群毎に、先頭のチャンネルからフレームデータを順次取得するフレーム取得手段と、
前記フレーム取得手段により取得された各フレームデータを、当該フレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する表示手段とを備える表示装置が提供される。
The user terminal (display device) is a display device that displays a plurality of channels of thumbnail images in a video distribution service, and the plurality of channels generated at predetermined intervals in a thumbnail video sequence received from a thumbnail providing device. Frame acquisition means for sequentially acquiring frame data from the first channel for each frame group corresponding to
There is provided a display device comprising display means for sequentially displaying each frame data acquired by the frame acquisition means as a thumbnail at a screen position corresponding to a channel of the frame data.
(第2の実施の形態:時間方向サムネイルプレイリスト方式)
次に、第2の実施の形態について説明する。IPを利用した映像配信では、一般にHTTPベースの映像配信方式であるHLS(HTTP Live Streaming)やMPEG-DASH (Dynamic Adaptive Streaming over HTTP)方式が用いられる。これらはどちらも、元の映像データを細切れのファイル(例:10秒程度)に分割し、再生順序が記載されたプレイリストを用意する。クライアント側では、プレイリストを基に細切れのファイルを再生順にサーバから取得し、再生を行う。
(Second embodiment: time-direction thumbnail playlist method)
Next, a second embodiment will be described. In video distribution using IP, generally, HTTP-based video distribution methods such as HLS (HTTP Live Streaming) and MPEG-DASH (Dynamic Adaptive Streaming over HTTP) are used. Both of these divide the original video data into pieces of files (eg, about 10 seconds) and prepare a playlist that describes the playback order. On the client side, the file is obtained from the server in the order of playback based on the playlist and played back.
第2の実施の形態では、これらの方式における配信ファイル(主に、プレイリストファイル、マニフェストファイル)を利用したサムネイルプレイリスト方式による処理例について説明する。本実施の形態では、第1の実施の形態と異なり、サムネイル提供装置側でのコーデックは不要となる。 In the second embodiment, an example of processing by the thumbnail playlist method using distribution files (mainly playlist files and manifest files) in these methods will be described. In the present embodiment, unlike the first embodiment, a codec on the thumbnail providing apparatus side is not necessary.
<装置構成:サムネイル提供装置200>
図6に、第2の実施の形態におけるサムネイル提供装置200の構成図を示す。図2に示すように、本実施の形態に係るサムネイル提供装置200は、Iフレーム情報取得部201、Iフレーム情報並び替え部202、サムネイル映像プレイリスト生成部203、サムネイル映像プレイリスト格納部204、サムネイル映像プレイリスト送信部205を有する。各部の機能概要は以下のとおりである。
<Apparatus configuration:
FIG. 6 shows a configuration diagram of the
Iフレーム情報取得部201は、上記の配信方式において用意されているIフレーム情報ファイルから、サムネイル映像に用いる分の各チャンネルのIフレームの情報を取得する。Iフレーム情報並び替え部202は、各チャンネルのIフレームの情報をチャンネル順に並び替える。
The I frame
サムネイル映像プレイリスト生成部203は、Iフレーム情報並び替え部202により並び替えられたIフレーム情報からサムネイル映像プレイリストを生成する。サムネイル映像プレイリスト格納部204は、サムネイル映像プレイリスト生成部203により生成されたサムネイル映像プレイリストを格納する。
The thumbnail video
サムネイル映像プレイリスト送信部205は、例えばユーザ端末250からの要求に応じて、サムネイル映像プレイリストをユーザ端末250に送信する。なお、ユーザ端末250からの要求に基づかないで送信を行うこととしてもよい。
The thumbnail video
サムネイル映像プレイリスト生成部203により生成されたプレイリストは、別装置に格納してもよいが、本実施の形態では、例として、サムネイル提供装置200がサムネイル映像プレイリストを格納し、ユーザ端末250への送信を行うこととしている。
Although the playlist generated by the thumbnail video
また、本実施の形態では、元の映像(及び元のプレイリスト)を配信する映像配信サーバが別途備えられているものとする。ただし、サムネイル提供装置200が映像配信サーバの機能も有することとしてもよい。
In the present embodiment, it is assumed that a video distribution server that distributes the original video (and the original playlist) is separately provided. However, the
<装置構成:ユーザ端末250>
図7に、第2の実施の形態におけるユーザ端末250の構成図を示す。図7に示すように、本実施の形態に係るユーザ端末250は、サムネイル映像プレイリスト取得部251、サムネイル映像プレイリスト格納部252、サムネイル映像取得部253、サムネイル出力部254、操作・表示部255、連動制御部256を有する。各機能部の概要は以下のとおりである。
<Apparatus configuration:
FIG. 7 shows a configuration diagram of the
サムネイル映像プレイリスト取得部251は、サムネイル提供装置200からサムネイル映像プレイリストをHTTP経由で取得する。取得したサムネイル映像プレイリストはサムネイル映像プレイリスト格納部252に格納される。サムネイル映像取得部253は、サムネイル映像プレイリストに基づいて、各チャンネルのサムネイルの映像データ(本実施の形態ではIフレーム)を取得する。
The thumbnail video
サムネイル出力部254は、サムネイル映像取得部253により取得した映像データ(Iフレームデータ)を再生(デコード)し、チャンネル毎の画面位置に表示されるように操作・表示部255に出力する。操作・表示部255は、チャンネル毎にサムネイル映像の表示を行う。また、第1の実施の形態と同様、例えば、チャンネル毎のサムネイル映像が表示されている操作・表示部255上でユーザによりチャンネルの指定(サムネイル映像の指定)がなされた場合に、連動制御部256は、操作・表示部255からチャンネル情報(チャンネル番号等)を取得し、当該チャンネル情報をテレビ400に対して送信することで、ユーザが所望のチャンネルの映像を視聴することを可能とする。
The
<第2の実施の形態におけるシステムの動作例>
次に、上述した構成を備えるサムネイル提供装置200、及びユーザ端末250の処理動作の例を、図8、図9を参照して説明する。図8、図9におけるS21、S22等の記号は、以下の説明でのステップS21、ステップS22等のステップ番号に対応する。まず、図8を参照してサムネイル提供装置200における処理例を説明する。
<Example of System Operation in Second Embodiment>
Next, an example of processing operations of the
[ステップS21:Iフレームの情報取得]
本実施の形態では、前述した映像配信サーバが、通常のプレイリストの他に、ランダムアクセス可能なIフレームの位置を記載したIフレームのプレイリストを有している。
[Step S21: Acquisition of I Frame Information]
In the present embodiment, the video distribution server described above has an I-frame playlist that describes the positions of randomly accessible I-frames in addition to the normal playlist.
具体的には、HLS配信方式では、通常のプレイリストの他に、ランダムアクセス可能なIフレームの位置を記載したI-FRAMEプレイリストが備えられる。I-FRAMEプレイリストには、チャンネル毎、時刻(再生時刻)毎に、Iフレームの情報として、例えば、Iフレームデータの取得位置(Iフレームデータを格納するファイルのURL,ファイル内のバイト位置、Iフレームデータのバイト数等)が含まれる。 Specifically, in the HLS distribution method, in addition to a normal play list, an I-FRAME play list that describes the positions of randomly accessible I frames is provided. In the I-FRAME playlist, for each channel and time (reproduction time), as I frame information, for example, an I frame data acquisition position (URL of a file storing I frame data, byte position in the file, The number of bytes of I frame data).
また、MPEG-DASH配信方式では、I-FRAMEプレイリストに記述された情報と同様の情報が、INDEX情報として用意される。当該INDEX情報はマニフェストファイルに記載したRepresentationIndex要素やindex属性から参照可能である。このような情報を総称してIフレームのプレイリストと呼ぶことができる。 Also, in the MPEG-DASH distribution method, information similar to the information described in the I-FRAME playlist is prepared as INDEX information. The INDEX information can be referenced from the RepresentationIndex element and index attribute described in the manifest file. Such information can be collectively referred to as an I-frame playlist.
ステップS21では、Iフレーム情報取得部201は、映像配信サーバに格納されているIフレームのプレイリストから、サムネイル映像に用いる分のIフレームの情報(時刻情報(PTS)、ストリーム中のバイト位置等)を取り出す。図8の例では、チャンネル毎に、サムネイル映像に用いる分のIフレームの情報として、時刻t、時刻t+1、時刻t+2、....の情報が取得されたことが示されている。
In step S21, the I-frame
[ステップS22:並べ替え]
次に、Iフレーム情報並び替え部202が、ステップS21にて取得された各チャンネルのIフレームの情報を、チャンネル順に並べ替える。例えば、チャンネル数がN個である場合、まずN個のチャンネルのIフレーム(時刻t)の情報をチャンネル順に並べ、その次に、各チャンネルの次のIフレーム(時刻t+1)の情報を並べる、という処理を繰り返す。この処理により、図8に示すような順番に並び替えられたIフレームの情報が得られる。
[Step S22: Rearrangement]
Next, the I frame
[ステップS23:サムネイル映像プレイリストの生成]
続いて、サムネイル映像プレイリスト生成部203が、ステップS22で並べ替えられたIフレームの情報から、サムネイル映像プレイリストを生成する。サムネイル映像プレイリストとして、例えば、図8に示すとおりの情報((チャンネル1、時刻tのIフレーム情報)、(チャンネル2、時刻tのIフレーム情報)...(チャンネルN、時刻tのIフレーム情報)、(チャンネル1、時刻t+1のIフレーム情報)、(チャンネル2、時刻t+1のIフレーム情報)...(チャンネルN、時刻t+1のIフレーム情報)...)を、サムネイル映像プレイリストとしてもよいし、その他の形式でもよいし、特定の方式に準拠した形式のプレイリストを生成してもよい。
特定の方式に準拠した形式のプレイリストを生成する一例として、HLSの方式に準拠させる場合、I-FRAMEプレイリストと同様の規則により、プレイリストを生成することができる。ここで、チャンネル数、チャンネル識別情報(どのチャンネルのIフレーム情報かを識別)は、プレイリストで規定されるタイトル属性(またはコメント属性)中に記載しておけばよい。
[Step S23: Generation of Thumbnail Video Playlist]
Subsequently, the thumbnail video play
As an example of generating a playlist in a format that conforms to a specific method, when conforming to the HLS method, a playlist can be generated according to the same rules as those for an I-FRAME playlist. Here, the number of channels and channel identification information (which channel I frame information is identified) may be described in a title attribute (or comment attribute) defined in the playlist.
また、例えば、MPEG-DASHの方式に準拠させる場合、番組を構成する映像や音声、字幕等の要素は、AdaptationSet要素としてマニフェストファイル(HLSで言うところのプレイリストファイル)に記載することができる。そこで、各チャンネルのサムネイル映像は、それぞれ独立したAdaptationSet要素に記載する。チャンネル数は、映像のAdaptation要素数で判別可能であり、チャンネル識別情報は、AdaptationSetのID属性値で識別可能である。また、Iフレームの情報は、MPEG-DASHで規定されるINDEXファイルとして構成するか、専用のMP4ファイル(INDEX情報はSegmentIndex Box, SubSegmentIndex Box)として構成し、MPEG-DASHで規定されているRepresentationIndex要素やindex属性として参照可能なように指定しておくことができる。 For example, when conforming to the MPEG-DASH system, elements such as video, audio, and subtitles constituting a program can be described in a manifest file (a playlist file in HLS) as an AdaptationSet element. Therefore, the thumbnail video of each channel is described in an independent AdaptationSet element. The number of channels can be determined by the number of adaptation elements of video, and the channel identification information can be identified by the ID attribute value of AdaptationSet. In addition, I frame information is configured as an INDEX file defined by MPEG-DASH or a dedicated MP4 file (INDEX information is SegmentIndex Box, SubSegmentIndex Box), and a RepresentationIndex element defined by MPEG-DASH It can be specified so that it can be referenced as an index attribute.
[ステップS24:配置]
本実施の形態において、ステップS23で生成されたサムネイル映像プレイリストはサムネイル映像プレイリスト格納部204に格納される。また、サムネイル映像プレイリストに基づき参照される映像データについては、映像配信サーバに格納されている。また、元のプレイリストも映像配信サーバに格納されている。
[Step S24: Arrangement]
In the present embodiment, the thumbnail video playlist generated in step S23 is stored in the thumbnail video
次に、図9を参照してユーザ端末250における処理例を説明する。
Next, an example of processing in the
[ステップS25:サムネイル映像プレイリストの受信]
ユーザ端末250のサムネイル映像プレイリスト取得部251は、サムネイル提供装置200からサムネイル映像プレイリストをHTTP経由で取得する。すなわち、サムネイル映像プレイリスト取得部251はサムネイル提供装置200に対してサムネイル映像プレイリストの送信要求を送信し、当該送信要求に応じて、サムネイル提供装置200のサムネイル映像プレイリスト送信部205が、サムネイル映像プレイリストをサムネイル映像プレイリスト格納部204から読み出してユーザ端末250に送信する。
[Step S25: Receiving Thumbnail Video Playlist]
The thumbnail video
図9には、取得されたサムネイル映像プレイリストの例が示されている。取得されたサムネイル映像プレイリストは、ユーザ端末250におけるサムネイル映像プレイリスト格納部252に格納される。
FIG. 9 shows an example of the acquired thumbnail video playlist. The acquired thumbnail video playlist is stored in the thumbnail video
[ステップS26:サムネイル映像の表示]
続いて、サムネイル映像取得部253は、ステップS25で取得したサムネイル映像プレイリストを先頭から順に走査する。そして、走査により得られた各Iフレーム情報に基づいて、各時刻の各チャンネルのサムネイル映像データ(Iフレームデータ)を映像配信サーバから取得する。
[Step S26: Display Thumbnail Image]
Subsequently, the thumbnail
例えば、図9に示すように、サムネイル映像プレイリストが、((チャンネル1、時刻tのIフレーム情報)、(チャンネル2、時刻tのIフレーム情報)...(チャンネルN、時刻tのIフレーム情報)、(チャンネル1、時刻t+1のIフレーム情報)、(チャンネル2、時刻t+1のIフレーム情報)...(チャンネルN、時刻t+1のIフレーム情報)...)である場合において、サムネイル映像取得部253は、まず、(チャンネル1、時刻tのIフレーム情報)を取得する。そして、サムネイル映像取得部253は、当該Iフレーム情報(目的のIフレームデータのファイルのURL,ファイル内のバイト位置等の情報)に基づいて、当該Iフレームのデータを映像配信サーバから取得する。
For example, as shown in FIG. 9, a thumbnail video play list has ((
同様に、サムネイル映像取得部253は、(チャンネル2、時刻tのIフレーム情報)...(チャンネルN、時刻tのIフレーム情報)、(チャンネル1、時刻t+1のIフレーム情報)、(チャンネル2、時刻t+1のIフレーム情報)...(チャンネルN、時刻t+1のIフレーム情報)を順次取得するとともに、該当Iフレーム情報に基づいてIフレームのデータを取得する。
Similarly, the thumbnail
サムネイル映像取得部253により取得されたサムネイル映像データは、サムネイル出力部254に渡される。サムネイル出力部254は、例えば、チャンネルに対応する画面上の位置に、プレイリストに記述された時刻に従って、サムネイル映像データを表示させるように、当該サムネイル映像データを再生し、操作・表示部255に出力し、操作・表示部255がチャンネルに対応する画面位置に当該サムネイル映像を表示する。
The thumbnail video data acquired by the thumbnail
また、第1の実施の形態と同様、例えば、チャンネル毎のサムネイル映像が表示されている操作・表示部255上でユーザによりチャンネルの指定(サムネイル映像の指定)がなされた場合に、連動制御部256は、操作・表示部255からチャンネル情報(チャンネル番号等)を取得し、当該チャンネル情報をテレビ400に対して送信することで、ユーザが所望のチャンネルの映像を視聴することを可能とする。
Similarly to the first embodiment, for example, when a user designates a channel (thumbnail video designation) on the operation /
なお、本実施の形態では、テレビ400が各チャンネルの映像ストリーム本体のプレイリストを取得し、当該プレイリストに基づきチャンネルの映像表示を行うことを想定している。上述したように、本実施の形態でのサムネイル映像プレイリストは、映像ストリーム本体のプレイリストから作成されているので、ユーザ端末250において、テレビ400に表示される映像と同期したサムネイル映像の表示が可能である。なお、ユーザ端末150自身が、映像ストリーム本体のプレイリストを取得し、当該プレイリストに基づきチャンネルの映像表示を行うこととしてもよい(図8における点線)。
In the present embodiment, it is assumed that
以上、説明したように、本実施の形態では、映像配信サービスにおける複数チャンネルのサムネイル映像の情報を表示装置に提供するサムネイル提供装置であって、前記複数チャンネルのIフレームのプレイリストから、各チャンネルのサムネイル映像として用いるIフレームの情報を記述したIフレーム情報を取得するフレーム情報取得手段と、前記フレーム情報取得手段により取得した複数チャンネルのIフレーム情報について、同時刻のIフレーム情報毎に、当該Iフレーム情報をチャンネルの順番に並び替える並び替え手段と、前記並び替え手段により並び替えられた複数チャンネルのIフレーム情報をサムネイル映像プレイリストとして前記表示装置に送信する送信手段とを備えるサムネイル提供装置が提供される。 As described above, according to the present embodiment, the thumbnail providing apparatus that provides the display apparatus with the information on the thumbnail images of the plurality of channels in the image distribution service, and each channel from the playlist of the plurality of I-frames. Frame information acquisition means for acquiring I frame information describing I frame information to be used as thumbnail images of the image, and I frame information of a plurality of channels acquired by the frame information acquisition means for each I frame information at the same time A thumbnail providing apparatus comprising: rearranging means for rearranging I frame information in the order of channels; and transmission means for transmitting I frame information of a plurality of channels rearranged by the rearranging means to the display device as a thumbnail video playlist. Is provided.
また、映像配信サービスにおける複数チャンネルのサムネイル映像を表示する表示装置であって、サムネイル提供装置から、各チャンネルのサムネイル映像として用いるIフレームの情報を記述したIフレーム情報を含むサムネイル映像プレイリストを取得するプレイリスト取得手段と、前記サムネイル映像プレイリストにおけるIフレーム情報に基づいて、映像配信サーバから各チャンネルのIフレームデータを取得する映像データ取得手段と、前記映像データ取得手段により取得された各Iフレームデータを、当該Iフレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する表示手段とを備える表示装置が提供される。 Also, a display device that displays thumbnail videos of a plurality of channels in a video distribution service, and obtains a thumbnail video playlist including I frame information describing I frame information used as thumbnail videos of each channel from the thumbnail providing device. Based on the I frame information in the thumbnail video playlist, video data acquisition means for acquiring I frame data of each channel from the video distribution server, and each I acquired by the video data acquisition means There is provided a display device including display means for sequentially displaying frame data as thumbnails at a screen position corresponding to a channel of the I frame data.
(第3の実施の形態:空間方向サムネイルストリーム方式)
次に、第3の実施の形態について説明する。第3の実施の形態では、サムネイルとして用いる複数チャンネルのフレームデータを、空間方向に結合して1枚のフレームにした上で配信を行い、ユーザ端末側では結合されたフレームを各チャンネルのフレームに分割しサムネイルとして表示させることとしている。
(Third embodiment: Spatial direction thumbnail stream method)
Next, a third embodiment will be described. In the third embodiment, frame data of a plurality of channels used as thumbnails is combined in the spatial direction to be delivered as one frame, and the user terminal side converts the combined frame to a frame of each channel. Divided and displayed as thumbnails.
第3の実施の形態における各装置の構成は第1の実施の形態と同じであり、図2(サムネイル提供装置100)、図3(ユーザ端末150)に示すとおりである。つまり、第3の実施の形態に係るサムネイル提供装置100は、フレームデータ取得部101、サムネイル映像フレーム抽出部102、サムネイル映像シーケンス生成部103、エンコード部104、及び符号量調整部105を有する。また、第3の実施の形態に係るユーザ端末150は、デコード部151、フレーム抽出部152、サムネイル出力部153、操作・表示部154、連動制御部155を有する。
The configuration of each device in the third embodiment is the same as that in the first embodiment, as shown in FIG. 2 (thumbnail providing device 100) and FIG. 3 (user terminal 150). That is, the
ただし、本実施の形態では、サムネイル提供装置100のサムネイル映像シーケンス生成部103が、サムネイルとして用いる複数チャンネルのフレームを時間方向に並べるのではなく、空間方向に結合する。また、ユーザ端末150のフレーム抽出部152は、空間方向に結合された1枚のフレームから各チャンネルに対応する領域のフレームを抽出する処理を行う。
However, in the present embodiment, the thumbnail video
<第3の実施の形態におけるシステムの動作例>
次に、上述した構成を備えるサムネイル提供装置100、及びユーザ端末150の処理動作を、図10、図11を参照してより詳細に説明する。図10、図11におけるS31、S32等の記号は、以下の説明でのステップS31、ステップS32等のステップ番号に対応する。まず、図10を参照してサムネイル提供装置100における処理例を説明する。
<Example of System Operation in Third Embodiment>
Next, processing operations of the
[ステップS31:フレームの取得]
まず、第1の実施の形態と同様にして、フレームデータ取得部101は、サムネイル映像を作りたい全てのチャンネルの映像ストリームをそれぞれデコードし、各ストリームのフレームデータを得る。
[Step S31: Acquisition of Frame]
First, as in the first embodiment, the frame
[ステップS32:サムネイル映像シーケンスの生成]
続いて、サムネイル映像フレーム抽出部102が、ステップS31で取得された各チャンネルのフレームデータにおいて、全チャンネル間で時間的に同期がとれるフレーム群を一定間隔(=F)で取得し、マルチチャンネルフレームバッファに格納する。
[Step S32: Generation of Thumbnail Video Sequence]
Subsequently, the thumbnail video
そして、サムネイル映像シーケンス生成部103が、マルチチャンネルフレームバッファに保存されたフレーム群(時間的に同時刻のフレーム群)を、空間方向に組み合わせてサムネイル映像フレームを生成する。この処理を一定間隔(=F)で繰り返し、サムネイル映像フレームが時間方向に並べられたサムネイル映像シーケンスを生成する。
Then, the thumbnail video
図10に示す例では、時刻毎に、チャンネル1、チャンネル2、....、チャンネルNのフレーム(デコードされた映像データ)が結合されて1枚の画像データがサムネイル映像フレームとして生成されている。当該サムネイル映像フレームを時刻順に並べることでサムネイル映像シーケンスが生成される。
In the example shown in FIG. 10, for each time,
[ステップS33:サムネイル映像ストリームの生成]
ステップS32の処理までで生成されたサムネイル映像シーケンスは非圧縮のデータであるため、ステップS33では、エンコード部104が、サムネイル映像シーケンス送信のためにエンコードを行い、サムネイル映像ストリームを生成する。この時、各チャンネルの領域をスライスとして、スライス毎に異なるスライスIDを付与しておく。当該スライスIDは、例えば、各スライスの所定位置(例:先頭位置)に配置される。なお、スライスIDは、スライスに対応するチャンネルの番号であってもよい。スライスIDは、符号化前のスライスに付与してもよいし、符号化後のスライスに付与してもよい。また、符号量調整部105が各チャンネル領域の絵柄の複雑さによって、フレーム内の符号量配分を行うこととしてもよい。
[Step S33: Generation of Thumbnail Video Stream]
Since the thumbnail video sequence generated up to the processing in step S32 is uncompressed data, in step S33, the
[ステップS34:サムネイル映像ストリームの送出]
ステップS34において、エンコード部104(送信機能を含む)が、エンコードされたサムネイル映像ストリームを送出する。
[Step S34: Send thumbnail video stream]
In step S34, the encoding unit 104 (including the transmission function) transmits the encoded thumbnail video stream.
次に、図11を参照してユーザ端末150における処理を説明する。
Next, processing in the
[ステップS35:ストリームの受信]
ステップS35において、デコード部151は、サムネイル提供装置100から送出されるサムネイル映像ストリームを受信し、受信したサムネイル映像ストリームに対し、DEMUX処理、デコード処理等を行って、サムネイル映像シーケンスを取得する。
[Step S35: Receive Stream]
In step S35, the
[ステップS36:サムネイル映像フレームの分解・抽出]
ステップS35で得られたサムネイル映像シーケンスは、フレーム抽出部152が備えるデコードフレーム格納バッファに格納される。そして、フレーム抽出部152は、サムネイル映像シーケンスを構成する各サムネイル映像フレーム(複数チャンネルの同時刻のフレームが結合されたフレーム)から、各チャンネルの領域の映像データ(サムネイル)をそれぞれ切り出す。各チャンネルの領域は、ストリーム中のスライスIDから識別できる。なお、スライスIDを用いることに代えて、第1の実施の形態のように、補助情報を用いて各チャンネルの領域を識別するようにしてもよい。
[Step S36: Decomposition and Extraction of Thumbnail Video Frame]
The thumbnail video sequence obtained in step S35 is stored in the decoded frame storage buffer provided in the
[ステップS37:画面表示]
次に、サムネイル出力部153は、ステップS36で取得された各チャンネルのサムネイル(フレームデータ)をチャンネル毎に順次、画面上の所定の位置に表示されるよう、操作・表示部154に対して出力する。
[Step S37: Screen Display]
Next, the
画面表示がなされた後、例えば、ユーザによるサムネイルの選択によって、チャンネル選択がなされ、連動制御部155により、選択されたチャンネルの情報がテレビ400に通知される。
After the screen is displayed, for example, a channel is selected by the user selecting a thumbnail, and the interlocking
上記のように、本実施の形態では、映像配信サービスにおける複数チャンネルのサムネイル映像を提供するサムネイル提供装置であって、前記映像配信サービスにより提供される各チャンネルのフレームデータを取得し、当該フレームデータから、各チャンネルのサムネイル映像として用いるフレーム群を所定の間隔で取得するフレーム取得手段と、前記フレーム取得手段により取得したフレーム群毎に、当該フレーム群を結合して1枚のサムネイル映像フレームを生成し、当該サムネイル映像フレームを並べたサムネイル映像シーケンスを生成するシーケンス生成手段と、前記シーケンス生成手段により生成したサムネイル映像シーケンスを送出する手段とを備えるサムネイル提供装置が提供される。 As described above, in the present embodiment, a thumbnail providing apparatus that provides thumbnail videos of a plurality of channels in a video distribution service, acquires frame data of each channel provided by the video distribution service, and the frame data Frame acquisition means for acquiring a frame group used as a thumbnail image of each channel at a predetermined interval, and for each frame group acquired by the frame acquisition means, the frame group is combined to generate one thumbnail video frame Then, a thumbnail providing apparatus is provided that includes a sequence generation unit that generates a thumbnail video sequence in which the thumbnail video frames are arranged, and a unit that transmits the thumbnail video sequence generated by the sequence generation unit.
また、映像配信サービスにおける複数チャンネルのサムネイル映像を表示する表示装置であって、サムネイル提供装置から受信したサムネイル映像シーケンスから、前記複数チャンネルのフレームデータを結合して生成されたサムネイル映像フレーム毎に、各チャンネルに対応する領域のフレームデータを取得するフレーム取得手段と、前記フレーム取得手段により取得された各フレームデータを、当該フレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する表示手段とを備える表示装置が提供される。 Further, the display device displays thumbnail videos of a plurality of channels in a video distribution service, and for each thumbnail video frame generated by combining the frame data of the plurality of channels from a thumbnail video sequence received from a thumbnail providing device, Frame acquisition means for acquiring frame data of an area corresponding to each channel, and display means for sequentially displaying each frame data acquired by the frame acquisition means as a thumbnail at a screen position corresponding to the channel of the frame data. A display device is provided.
(実施の形態で説明した技術のまとめ、効果等)
以上、説明したように、各実施の形態では、サムネイル用の映像は、メインの配信映像と同様にストリーミングデータとして生成させる。例えば、複数チャンネルの映像データは、サムネイル提供装置側で表示に必要な部分のみ抽出しながら1つの映像データとして束ねて配信させる。ユーザ端末側では受信したストリーミングデータを用いて各チャンネルのサムネイル映像を表示できる。
(Summary of technology explained in the embodiment, effects, etc.)
As described above, in each embodiment, the thumbnail video is generated as streaming data in the same manner as the main distribution video. For example, the video data of a plurality of channels is bundled and distributed as one video data while extracting only the part necessary for display on the thumbnail providing apparatus side. On the user terminal side, the thumbnail video of each channel can be displayed using the received streaming data.
また、サムネイル映像向けのストリーミングデータに関し、実際の配信データと対応付けを行うための位置情報(時刻情報、バイト位置情報等)が提供されるため、実際の配信内容との時刻同期が可能である。 In addition, since the position information (time information, byte position information, etc.) for associating with the actual distribution data is provided for the streaming data for the thumbnail video, the time synchronization with the actual distribution contents is possible. .
これにより、多チャンネル映像配信サービスにおいて、ユーザは、それぞれのチャンネルで"今"何が配信されているかを容易に把握しながら、興味を持ったチャンネルを選択しテレビに表示・視聴することができる。 As a result, in the multi-channel video distribution service, the user can select the channel he / she is interested in and display / view it on the TV while easily grasping what is being distributed in each channel. .
(第1項)
映像配信サービスにおける複数チャンネルのサムネイル映像を提供するサムネイル提供装置であって、
前記映像配信サービスにより提供される各チャンネルのフレームデータを取得し、当該フレームデータから、各チャンネルのサムネイル映像として用いるフレーム群を所定の間隔で取得するフレーム取得手段と、
前記フレーム取得手段により取得したフレーム群を時間軸方向に並べることにより、サムネイル映像シーケンスを生成するシーケンス生成手段と、
前記シーケンス生成手段により取得したサムネイル映像シーケンスを送出する手段と
を備えることを特徴とするサムネイル提供装置。
(第2項)
映像配信サービスにおける複数チャンネルのサムネイル映像の情報を表示装置に提供するサムネイル提供装置であって、
前記複数チャンネルのIフレームのプレイリストから、各チャンネルのサムネイル映像として用いるIフレームの情報を記述したIフレーム情報を取得するフレーム情報取得手段と、
前記フレーム情報取得手段により取得した複数チャンネルのIフレーム情報について、同時刻のIフレーム情報毎に、当該Iフレーム情報をチャンネルの順番に並び替える並び替え手段と、
前記並び替え手段により並び替えられた複数チャンネルのIフレーム情報をサムネイル映像プレイリストとして前記表示装置に送信する送信手段と
を備えることを特徴とするサムネイル提供装置。
(第3項)
映像配信サービスにおける複数チャンネルのサムネイル映像を提供するサムネイル提供装置であって、
前記映像配信サービスにより提供される各チャンネルのフレームデータを取得し、当該フレームデータから、各チャンネルのサムネイル映像として用いるフレーム群を所定の間隔で取得するフレーム取得手段と、
前記フレーム取得手段により取得したフレーム群毎に、当該フレーム群を結合して1枚のサムネイル映像フレームを生成し、当該サムネイル映像フレームを並べたサムネイル映像シーケンスを生成するシーケンス生成手段と、
前記シーケンス生成手段により生成したサムネイル映像シーケンスを送出する手段と
を備えることを特徴とするサムネイル提供装置。
(第4項)
コンピュータを、第1項ないし第3項のうちいずれか1項に記載のサムネイル提供装置における各手段として機能させるためのプログラム。
(第5項)
映像配信サービスにおける複数チャンネルのサムネイル映像を表示する表示装置であって、
サムネイル提供装置から受信したサムネイル映像シーケンスにおいて、所定の間隔で生成された前記複数チャンネルに対応するフレーム群毎に、先頭のチャンネルからフレームデータを順次取得するフレーム取得手段と、
前記フレーム取得手段により取得された各フレームデータを、当該フレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する表示手段と
を備えることを特徴とする表示装置。
(第6項)
映像配信サービスにおける複数チャンネルのサムネイル映像を表示する表示装置であって、
サムネイル提供装置から、各チャンネルのサムネイル映像として用いるIフレームの情報を記述したIフレーム情報を含むサムネイル映像プレイリストを取得するプレイリスト取得手段と、
前記サムネイル映像プレイリストにおけるIフレーム情報に基づいて、映像配信サーバから各チャンネルのIフレームデータを取得する映像データ取得手段と、
前記映像データ取得手段により取得された各Iフレームデータを、当該Iフレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する表示手段と
を備えることを特徴とする表示装置。
(第7項)
映像配信サービスにおける複数チャンネルのサムネイル映像を表示する表示装置であって、
サムネイル提供装置から受信したサムネイル映像シーケンスから、前記複数チャンネルのフレームデータを結合して生成されたサムネイル映像フレーム毎に、各チャンネルに対応する領域のフレームデータを取得するフレーム取得手段と、
前記フレーム取得手段により取得された各フレームデータを、当該フレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する表示手段と
を備えることを特徴とする表示装置。
(第8項)
コンピュータを、第5項ないし第7項のうちいずれか1項に記載の表示装置における各手段として機能させるためのプログラム。
(第9項)
映像配信サービスにおける複数チャンネルのサムネイル映像を提供するサムネイル提供装置と表示装置とを有するサムネイル映像表示システムにおいて実行されるサムネイル映像表示方法であって、
前記サムネイル提供装置が、
前記映像配信サービスにより提供される各チャンネルのフレームデータを取得し、当該フレームデータから、各チャンネルのサムネイル映像として用いるフレーム群を所定の間隔で取得し、
前記フレーム群を時間軸方向に並べることにより、サムネイル映像シーケンスを生成し、当該サムネイル映像シーケンスを送出し、
前記表示装置が、
前記サムネイル提供装置から受信した前記サムネイル映像シーケンスにおいて、所定の間隔で生成された前記複数チャンネルに対応するフレーム群毎に、先頭のチャンネルからフレームデータを順次取得し、
取得された各フレームデータを、当該フレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する
ことを特徴とするサムネイル映像表示方法。
(第10項)
映像配信サービスにおける複数チャンネルのサムネイル映像の情報を表示装置に提供するサムネイル提供装置と表示装置とを有するサムネイル映像表示システムにおいて実行されるサムネイル映像表示方法であって、
前記サムネイル提供装置が、
前記複数チャンネルのIフレームのプレイリストから、各チャンネルのサムネイル映像として用いるIフレームの情報を記述したIフレーム情報を取得し、
前記取得した複数チャンネルのIフレーム情報について、同時刻のIフレーム情報毎に、当該Iフレーム情報をチャンネルの順番に並び替え、
前記並び替えられた複数チャンネルのIフレーム情報をサムネイル映像プレイリストとして前記表示装置に送信し、
前記表示装置が、
前記サムネイル提供装置から、前記サムネイル映像プレイリストを受信し、
前記サムネイル映像プレイリストにおけるIフレーム情報に基づいて、映像配信サーバから各チャンネルのIフレームデータを取得し、
前記映像配信サーバから取得された各Iフレームデータを、当該Iフレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する
ことを特徴とするサムネイル映像表示方法。
(第11項)
映像配信サービスにおける複数チャンネルのサムネイル映像を提供するサムネイル提供装置と表示装置とを有するサムネイル映像表示システムにおいて実行されるサムネイル映像表示方法であって、
前記サムネイル提供装置が、
前記映像配信サービスにより提供される各チャンネルのフレームデータを取得し、当該フレームデータから、各チャンネルのサムネイル映像として用いるフレーム群を所定の間隔で取得し、
前記フレーム群毎に、当該フレーム群を結合して1枚のサムネイル映像フレームを生成し、当該サムネイル映像フレームを並べたサムネイル映像シーケンスを生成し、当該サムネイル映像シーケンスを送出し、
前記表示装置が、
前記サムネイル提供装置から受信した前記サムネイル映像シーケンスから、前記複数チャンネルのフレームデータを結合して生成されたサムネイル映像フレーム毎に、各チャンネルに対応する領域のフレームデータを取得し、
取得された各フレームデータを、当該フレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する
ことを特徴とするサムネイル映像表示方法。
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
(Section 1)
A thumbnail providing apparatus for providing thumbnail images of a plurality of channels in a video distribution service,
Frame acquisition means for acquiring frame data of each channel provided by the video distribution service, and acquiring a frame group used as a thumbnail video of each channel from the frame data at a predetermined interval;
Sequence generating means for generating a thumbnail video sequence by arranging the frames acquired by the frame acquiring means in the time axis direction;
Means for sending a thumbnail video sequence acquired by the sequence generation means;
A thumbnail providing apparatus comprising:
(Section 2)
A thumbnail providing device for providing information on thumbnail images of a plurality of channels in a video distribution service to a display device,
Frame information acquisition means for acquiring I frame information describing information of an I frame used as a thumbnail image of each channel from the I frame playlist of the plurality of channels;
Reordering means for reordering the I frame information in the order of the channels for each I frame information at the same time for the I frame information of a plurality of channels acquired by the frame information acquisition means;
Transmitting means for transmitting I-frame information of a plurality of channels rearranged by the rearranging means to the display device as a thumbnail video playlist;
A thumbnail providing apparatus comprising:
(Section 3)
A thumbnail providing apparatus for providing thumbnail images of a plurality of channels in a video distribution service,
Frame acquisition means for acquiring frame data of each channel provided by the video distribution service, and acquiring a frame group used as a thumbnail video of each channel from the frame data at a predetermined interval;
For each frame group acquired by the frame acquisition unit, the frame group is combined to generate one thumbnail video frame, and a sequence generation unit that generates a thumbnail video sequence in which the thumbnail video frames are arranged;
Means for sending a thumbnail video sequence generated by the sequence generation means;
A thumbnail providing apparatus comprising:
(Section 4)
A program for causing a computer to function as each unit in the thumbnail providing apparatus according to any one of
(Section 5)
A display device for displaying thumbnail images of a plurality of channels in a video distribution service,
Frame acquisition means for sequentially acquiring frame data from the first channel for each frame group corresponding to the plurality of channels generated at predetermined intervals in the thumbnail video sequence received from the thumbnail providing device;
Display means for sequentially displaying each frame data acquired by the frame acquisition means as a thumbnail at a screen position corresponding to the channel of the frame data;
A display device comprising:
(Section 6)
A display device for displaying thumbnail images of a plurality of channels in a video distribution service,
Playlist acquisition means for acquiring a thumbnail video playlist including I frame information describing I frame information used as thumbnail video of each channel from the thumbnail providing device;
Video data acquisition means for acquiring I frame data of each channel from the video distribution server based on the I frame information in the thumbnail video playlist;
Display means for sequentially displaying each I frame data acquired by the video data acquisition means as a thumbnail at a screen position corresponding to the channel of the I frame data;
A display device comprising:
(Section 7)
A display device for displaying thumbnail images of a plurality of channels in a video distribution service,
Frame acquisition means for acquiring frame data of an area corresponding to each channel for each thumbnail video frame generated by combining the frame data of the plurality of channels from the thumbnail video sequence received from the thumbnail providing device;
Display means for sequentially displaying each frame data acquired by the frame acquisition means as a thumbnail at a screen position corresponding to the channel of the frame data;
A display device comprising:
(Section 8)
A program for causing a computer to function as each unit in the display device according to any one of Items 5 to 7.
(Section 9)
A thumbnail video display method executed in a thumbnail video display system having a thumbnail providing device and a display device for providing thumbnail video of a plurality of channels in a video distribution service,
The thumbnail providing device is
Obtaining frame data of each channel provided by the video distribution service, obtaining a frame group used as a thumbnail video of each channel from the frame data at a predetermined interval;
By arranging the frame groups in the time axis direction, a thumbnail video sequence is generated, and the thumbnail video sequence is transmitted.
The display device
In the thumbnail video sequence received from the thumbnail providing device, for each frame group corresponding to the plurality of channels generated at a predetermined interval, frame data is sequentially acquired from the first channel;
Each acquired frame data is sequentially displayed as a thumbnail at the screen position corresponding to the channel of the frame data.
A thumbnail image display method characterized by that.
(Section 10)
A thumbnail video display method executed in a thumbnail video display system including a thumbnail providing device and a display device for providing thumbnail video information of a plurality of channels to a display device in a video distribution service,
The thumbnail providing device is
Obtaining I frame information describing I frame information used as thumbnail video of each channel from the I channel playlist of the plurality of channels;
For the acquired I-frame information of a plurality of channels, the I-frame information is rearranged in the order of the channels for each I-frame information at the same time,
Transmitting the rearranged I-frame information of a plurality of channels as a thumbnail video playlist to the display device;
The display device
Receiving the thumbnail video playlist from the thumbnail providing device;
Based on the I frame information in the thumbnail video playlist, obtain I frame data of each channel from the video distribution server,
Each I frame data acquired from the video distribution server is sequentially displayed as a thumbnail at a screen position corresponding to the channel of the I frame data.
A thumbnail image display method characterized by that.
(Section 11)
A thumbnail video display method executed in a thumbnail video display system having a thumbnail providing device and a display device for providing thumbnail video of a plurality of channels in a video distribution service,
The thumbnail providing device is
Obtaining frame data of each channel provided by the video distribution service, obtaining a frame group used as a thumbnail video of each channel from the frame data at a predetermined interval;
For each frame group, combine the frame groups to generate one thumbnail video frame, generate a thumbnail video sequence in which the thumbnail video frames are arranged, send the thumbnail video sequence,
The display device
For each thumbnail video frame generated by combining the frame data of the plurality of channels from the thumbnail video sequence received from the thumbnail providing device, obtain frame data of an area corresponding to each channel;
Each acquired frame data is sequentially displayed as a thumbnail at the screen position corresponding to the channel of the frame data.
A thumbnail image display method characterized by that.
The present invention is not limited to the above-described embodiments, and various modifications and applications are possible within the scope of the claims.
100、200 サムネイル提供装置
150、250 ユーザ端末
400 テレビ
101 フレームデータ取得部
102 サムネイル映像フレーム抽出部
103 サムネイル映像シーケンス生成部
104 エンコード部
105 符号量調整部
151 デコード部
152 フレーム抽出部
153 サムネイル出力部
154 操作・表示部
155 連動制御部
201 Iフレーム情報取得部
202 Iフレーム情報並び替え部
203 サムネイル映像プレイリスト生成部
204 サムネイル映像プレイリスト格納部
205 サムネイル映像プレイリスト送信部
251 サムネイル映像プレイリスト取得部
252 サムネイル映像プレイリスト格納部
253 サムネイル映像取得部
254 サムネイル出力部
255 操作・表示部
256 連動制御部
100, 200
Claims (11)
前記映像配信サービスにより提供される各チャンネルのフレームデータを取得し、当該フレームデータから、各チャンネルのサムネイル映像として用いるフレーム群を所定の間隔で取得するフレーム取得手段と、
前記フレーム取得手段により取得したフレーム群を時間軸方向に並べることにより、サムネイル映像シーケンスを生成するシーケンス生成手段と、
前記シーケンス生成手段により取得したサムネイル映像シーケンスを送出する手段と
を備えることを特徴とするサムネイル提供装置。 A thumbnail providing apparatus for providing thumbnail images of a plurality of channels in a video distribution service,
Frame acquisition means for acquiring frame data of each channel provided by the video distribution service, and acquiring a frame group used as a thumbnail video of each channel from the frame data at a predetermined interval;
Sequence generating means for generating a thumbnail video sequence by arranging the frames acquired by the frame acquiring means in the time axis direction;
Means for sending out a thumbnail video sequence acquired by the sequence generating means.
前記複数チャンネルのIフレームのプレイリストから、各チャンネルのサムネイル映像として用いるIフレームの情報を記述したIフレーム情報を取得するフレーム情報取得手段と、
前記フレーム情報取得手段により取得した複数チャンネルのIフレーム情報について、同時刻のIフレーム情報毎に、当該Iフレーム情報をチャンネルの順番に並び替える並び替え手段と、
前記並び替え手段により並び替えられた複数チャンネルのIフレーム情報をサムネイル映像プレイリストとして前記表示装置に送信する送信手段と
を備えることを特徴とするサムネイル提供装置。 A thumbnail providing device for providing information on thumbnail images of a plurality of channels in a video distribution service to a display device,
Frame information acquisition means for acquiring I frame information describing information of an I frame used as a thumbnail image of each channel from the I frame playlist of the plurality of channels;
Reordering means for reordering the I frame information in the order of the channels for each I frame information at the same time for the I frame information of a plurality of channels acquired by the frame information acquisition means;
A thumbnail providing apparatus comprising: transmission means for transmitting I-frame information of a plurality of channels rearranged by the rearranging means to the display device as a thumbnail video playlist.
前記映像配信サービスにより提供される各チャンネルのフレームデータを取得し、当該フレームデータから、各チャンネルのサムネイル映像として用いるフレーム群であって、全チャンネル間で時間的に同期がとれるフレーム群を所定の間隔で取得するフレーム取得手段と、
前記フレーム取得手段により取得したフレーム群毎に、当該フレーム群を結合して1枚のサムネイル映像フレームを生成し、当該サムネイル映像フレームを時間方向に並べたサムネイル映像シーケンスを生成するシーケンス生成手段と、
前記シーケンス生成手段により生成したサムネイル映像シーケンスを送出する手段と
を備えることを特徴とするサムネイル提供装置。 A thumbnail providing apparatus for providing thumbnail images of a plurality of channels in a video distribution service,
Frame data of each channel provided by the video distribution service is acquired, and a frame group used as a thumbnail video of each channel is obtained from the frame data, and a frame group that is synchronized in time between all channels is determined in advance. Frame acquisition means for acquiring at intervals;
For each frame group acquired by the frame acquisition means, a sequence generation means for generating a thumbnail video sequence by combining the frames and generating one thumbnail video frame and arranging the thumbnail video frames in the time direction ;
Means for sending out a thumbnail video sequence generated by the sequence generating means.
サムネイル提供装置から受信したサムネイル映像シーケンスであって、所定の間隔で取得された前記複数チャンネルに対応するフレーム群が時間軸方向に並べられたサムネイル映像シーケンスにおいて、当該フレーム群毎に、先頭のチャンネルからフレームデータを順次取得するフレーム取得手段と、
前記フレーム取得手段により取得された各フレームデータを、当該フレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する表示手段と
を備えることを特徴とする表示装置。 A display device for displaying thumbnail images of a plurality of channels in a video distribution service,
A thumbnail video sequence received from a thumbnail providing apparatus , wherein a first channel is provided for each frame group in a thumbnail video sequence in which frames corresponding to the plurality of channels acquired at predetermined intervals are arranged in a time axis direction. Frame acquisition means for sequentially acquiring frame data from:
A display device comprising: display means for sequentially displaying each frame data acquired by the frame acquisition means as a thumbnail at a screen position corresponding to a channel of the frame data.
サムネイル提供装置から、各チャンネルのサムネイル映像として用いるIフレームの情報を記述したIフレーム情報を含むサムネイル映像プレイリストを取得するプレイリスト取得手段と、
前記サムネイル映像プレイリストにおけるIフレーム情報に基づいて、映像配信サーバから各チャンネルのIフレームデータを取得する映像データ取得手段と、
前記映像データ取得手段により取得された各Iフレームデータを、当該Iフレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する表示手段と
を備えることを特徴とする表示装置。 A display device for displaying thumbnail images of a plurality of channels in a video distribution service,
Playlist acquisition means for acquiring a thumbnail video playlist including I frame information describing I frame information used as thumbnail video of each channel from the thumbnail providing device;
Video data acquisition means for acquiring I frame data of each channel from the video distribution server based on the I frame information in the thumbnail video playlist;
A display device comprising: display means for sequentially displaying each I frame data acquired by the video data acquisition means as a thumbnail at a screen position corresponding to a channel of the I frame data.
前記表示装置は、
サムネイル提供装置から受信したサムネイル映像シーケンスから、前記複数チャンネルのフレームデータを結合して生成されたサムネイル映像フレーム毎に、各チャンネルに対応する領域のフレームデータを取得するフレーム取得手段と、
前記フレーム取得手段により取得された各フレームデータを、当該フレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する表示手段と
を備えることを特徴とするサムネイル映像表示システム。 A thumbnail video display system comprising: the thumbnail providing device according to claim 3; and a display device that displays thumbnail videos of a plurality of channels in a video distribution service .
The display device
Frame acquisition means for acquiring frame data of an area corresponding to each channel for each thumbnail video frame generated by combining the frame data of the plurality of channels from the thumbnail video sequence received from the thumbnail providing device;
A thumbnail video display system comprising: display means for sequentially displaying each frame data acquired by the frame acquisition means as a thumbnail at a screen position corresponding to a channel of the frame data.
前記サムネイル提供装置が、
前記映像配信サービスにより提供される各チャンネルのフレームデータを取得し、当該フレームデータから、各チャンネルのサムネイル映像として用いるフレーム群を所定の間隔で取得し、
前記フレーム群を時間軸方向に並べることにより、サムネイル映像シーケンスを生成し、当該サムネイル映像シーケンスを送出し、
前記表示装置が、
前記サムネイル提供装置から受信した前記サムネイル映像シーケンスにおいて、所定の間隔で生成された前記複数チャンネルに対応するフレーム群毎に、先頭のチャンネルからフレームデータを順次取得し、
取得された各フレームデータを、当該フレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する
ことを特徴とするサムネイル映像表示方法。 A thumbnail video display method executed in a thumbnail video display system having a thumbnail providing device and a display device for providing thumbnail video of a plurality of channels in a video distribution service,
The thumbnail providing device is
Obtaining frame data of each channel provided by the video distribution service, obtaining a frame group used as a thumbnail video of each channel from the frame data at a predetermined interval;
By arranging the frame groups in the time axis direction, a thumbnail video sequence is generated, and the thumbnail video sequence is transmitted.
The display device
In the thumbnail video sequence received from the thumbnail providing device, for each frame group corresponding to the plurality of channels generated at a predetermined interval, frame data is sequentially acquired from the first channel;
A thumbnail video display method, wherein each acquired frame data is sequentially displayed as a thumbnail at a screen position corresponding to a channel of the frame data.
前記サムネイル提供装置が、
前記複数チャンネルのIフレームのプレイリストから、各チャンネルのサムネイル映像として用いるIフレームの情報を記述したIフレーム情報を取得し、
前記取得した複数チャンネルのIフレーム情報について、同時刻のIフレーム情報毎に、当該Iフレーム情報をチャンネルの順番に並び替え、
前記並び替えられた複数チャンネルのIフレーム情報をサムネイル映像プレイリストとして前記表示装置に送信し、
前記表示装置が、
前記サムネイル提供装置から、前記サムネイル映像プレイリストを受信し、
前記サムネイル映像プレイリストにおけるIフレーム情報に基づいて、映像配信サーバから各チャンネルのIフレームデータを取得し、
前記映像配信サーバから取得された各Iフレームデータを、当該Iフレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する
ことを特徴とするサムネイル映像表示方法。 A thumbnail video display method executed in a thumbnail video display system including a thumbnail providing device and a display device for providing thumbnail video information of a plurality of channels to a display device in a video distribution service,
The thumbnail providing device is
Obtaining I frame information describing I frame information used as thumbnail video of each channel from the I channel playlist of the plurality of channels;
For the acquired I-frame information of a plurality of channels, the I-frame information is rearranged in the order of the channels for each I-frame information at the same time,
Transmitting the rearranged I-frame information of a plurality of channels as a thumbnail video playlist to the display device;
The display device
Receiving the thumbnail video playlist from the thumbnail providing device;
Based on the I frame information in the thumbnail video playlist, obtain I frame data of each channel from the video distribution server,
A thumbnail video display method, wherein each I frame data acquired from the video distribution server is sequentially displayed as a thumbnail at a screen position corresponding to a channel of the I frame data.
前記サムネイル提供装置が、
前記映像配信サービスにより提供される各チャンネルのフレームデータを取得し、当該フレームデータから、各チャンネルのサムネイル映像として用いるフレーム群であって、全チャンネル間で時間的に同期がとれるフレーム群を所定の間隔で取得し、
前記フレーム群毎に、当該フレーム群を結合して1枚のサムネイル映像フレームを生成し、当該サムネイル映像フレームを時間方向に並べたサムネイル映像シーケンスを生成し、当該サムネイル映像シーケンスを送出し、
前記表示装置が、
前記サムネイル提供装置から受信した前記サムネイル映像シーケンスから、前記複数チャンネルのフレームデータを結合して生成されたサムネイル映像フレーム毎に、各チャンネルに対応する領域のフレームデータを取得し、
取得された各フレームデータを、当該フレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する
ことを特徴とするサムネイル映像表示方法。 A thumbnail video display method executed in a thumbnail video display system having a thumbnail providing device and a display device for providing thumbnail video of a plurality of channels in a video distribution service,
The thumbnail providing device is
Frame data of each channel provided by the video distribution service is acquired, and a frame group used as a thumbnail video of each channel is obtained from the frame data, and a frame group that is synchronized in time between all channels is determined in advance. Get at intervals,
For each frame group, combine the frame groups to generate one thumbnail video frame, generate a thumbnail video sequence in which the thumbnail video frames are arranged in the time direction, and send the thumbnail video sequence,
The display device
For each thumbnail video frame generated by combining the frame data of the plurality of channels from the thumbnail video sequence received from the thumbnail providing device, obtain frame data of an area corresponding to each channel;
A thumbnail video display method, wherein each acquired frame data is sequentially displayed as a thumbnail at a screen position corresponding to a channel of the frame data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015180889A JP6446347B2 (en) | 2015-09-14 | 2015-09-14 | Thumbnail providing device, display device, thumbnail video display system, thumbnail video display method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015180889A JP6446347B2 (en) | 2015-09-14 | 2015-09-14 | Thumbnail providing device, display device, thumbnail video display system, thumbnail video display method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017059886A JP2017059886A (en) | 2017-03-23 |
JP6446347B2 true JP6446347B2 (en) | 2018-12-26 |
Family
ID=58390977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015180889A Active JP6446347B2 (en) | 2015-09-14 | 2015-09-14 | Thumbnail providing device, display device, thumbnail video display system, thumbnail video display method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6446347B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108024159A (en) * | 2017-12-07 | 2018-05-11 | 上海网达软件股份有限公司 | A kind of generation method and system of video file thumbnail |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4945236B2 (en) * | 2006-12-27 | 2012-06-06 | 株式会社東芝 | Video content display device, video content display method and program thereof |
US8875183B2 (en) * | 2008-10-31 | 2014-10-28 | International Business Machines Corporation | Intelligent TV mosaic for IPTV |
US20130283318A1 (en) * | 2012-04-23 | 2013-10-24 | Comcast Cable Communications, LLC. | Dynamic Mosaic for Creation of Video Rich User Interfaces |
JP5702411B2 (en) * | 2013-01-21 | 2015-04-15 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Remote control system, remote control method, and remote control program |
CN105409235B (en) * | 2013-07-19 | 2019-07-09 | 索尼公司 | File creating apparatus and method and content reproduction apparatus and method |
KR20160077067A (en) * | 2013-10-30 | 2016-07-01 | 소니 주식회사 | Transmission device, transmission method, reception device, and reception method |
-
2015
- 2015-09-14 JP JP2015180889A patent/JP6446347B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017059886A (en) | 2017-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11470405B2 (en) | Network video streaming with trick play based on separate trick play files | |
US9462307B2 (en) | ABR live to VOD system and method | |
US9681197B2 (en) | Methods of implementing multi mode trickplay | |
JP6462566B2 (en) | Transmitting apparatus, transmitting method, receiving apparatus, and receiving method | |
US7644425B2 (en) | Picture-in-picture mosaic | |
JP6317872B2 (en) | Decoder for synchronizing the rendering of content received over different networks and method therefor | |
US10028021B2 (en) | Method and device for encoding a captured screenshot and controlling program content switching based on the captured screenshot | |
KR102106103B1 (en) | Method and Apparatus for Extracting Video from High Resolution Video | |
KR102247976B1 (en) | Communication apparatus, communication data generation method, and communication data processing method | |
CN102326403A (en) | Accelerating channel change time with external picture property markings | |
CN105430510A (en) | Video on demand method, gateway, smart terminal and video on demand system | |
JP6446347B2 (en) | Thumbnail providing device, display device, thumbnail video display system, thumbnail video display method, and program | |
KR101700626B1 (en) | Multi angle view processing apparatus | |
CN102710967A (en) | Cloud television system and method | |
KR20170130883A (en) | Method and apparatus for virtual reality broadcasting service based on hybrid network | |
TWI673999B (en) | Method for transmission of audiovisual content and/or data | |
WO2016014129A1 (en) | Methods of implementing multi mode trickplay | |
JP5466633B2 (en) | Stream switching method and digital broadcast transmission system | |
US20180359503A1 (en) | Method And System For Communicating Inserted Material To A Client Device In A Centralized Content Distribution System | |
KR100587973B1 (en) | Apparatus and method for transmission of multi applications, and digital data broadcasting system using its | |
KR101684705B1 (en) | Apparatus and method for playing media contents | |
KR20100109261A (en) | Method and system for providing channel surfing service based on multi-decoder | |
KR20070046498A (en) | System and method for supporting a personalized mosaic epg service | |
JP2010213109A (en) | Video distribution control server, receiving terminal, video simplifying multiplexer, method of distributing video, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180904 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181203 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6446347 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |