JP6446347B2 - Thumbnail providing device, display device, thumbnail video display system, thumbnail video display method, and program - Google Patents

Thumbnail providing device, display device, thumbnail video display system, thumbnail video display method, and program Download PDF

Info

Publication number
JP6446347B2
JP6446347B2 JP2015180889A JP2015180889A JP6446347B2 JP 6446347 B2 JP6446347 B2 JP 6446347B2 JP 2015180889 A JP2015180889 A JP 2015180889A JP 2015180889 A JP2015180889 A JP 2015180889A JP 6446347 B2 JP6446347 B2 JP 6446347B2
Authority
JP
Japan
Prior art keywords
thumbnail
frame
video
channel
channels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015180889A
Other languages
Japanese (ja)
Other versions
JP2017059886A (en
Inventor
小林 大祐
大祐 小林
宏信 柴田
宏信 柴田
勝志 進藤
勝志 進藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Communications Corp
Original Assignee
NTT Communications Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Communications Corp filed Critical NTT Communications Corp
Priority to JP2015180889A priority Critical patent/JP6446347B2/en
Publication of JP2017059886A publication Critical patent/JP2017059886A/en
Application granted granted Critical
Publication of JP6446347B2 publication Critical patent/JP6446347B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、映像配信技術に関連し、特に、配信される映像のサムネイルを表示する技術に関するものである。   The present invention relates to a video distribution technique, and more particularly to a technique for displaying a thumbnail of a distributed video.

テレビ放送、CATV、IPTV多チャンネル等の映像配信サービスやVOD映像配信サービスにおいて、"今"どのような番組が放送(配信)されているかを知る手段を提供することは、ユーザが番組を実際に視聴する上での助けになる。ユーザが視聴したいチャンネルを選択する上では、番組表やEPG等の文字情報により、番組内容を把握し、興味を持った内容が記載されるチャンネルを選択するか、ザッピングの形でチャンネルを短時間に切り替えながら、興味を持ったチャンネルを選択するという手法が取られていた。   In TV broadcasting, CATV, IPTV multi-channel video distribution services and VOD video distribution services, providing a means of knowing what programs are being broadcast (distributed) now allows users to actually It will help you to watch. When selecting a channel that the user wants to watch, grasp the contents of the program using text information such as the program guide or EPG, and select a channel that describes the content that interests you, or select a channel in the form of zapping for a short time. While switching to, the method of selecting the channel that interests you was taken.

番組表やEPGでは、一覧性は優れているが、文字情報で要約された形の情報しか掲載されておらず、"今"実際に何が放送されているかは不明である。また、ザッピングの場合は、"今"何が放送されているかを実際に見ることはできるが、チャンネル数が多くなると、ザッピングに要する時間や手間が非常にかかるといった課題がある。   In the program guide and EPG, the listability is excellent, but only information in a form summarized with text information is posted, and it is unclear what is being broadcast “now”. Further, in the case of zapping, it is possible to actually see what is being broadcasted, but there is a problem that if the number of channels is increased, the time and labor required for zapping become very long.

上記の課題に関連し、ユーザの映像視聴体験を向上させる取組みとして、スマートフォン/タブレット上に、各チャンネルの配信内容をアニメーションGIFによりサムネイル表示させて、ユーザはサムネイルの一覧画面を見ながら、内容に興味を持ったチャンネルを選択することでTVのチャンネルを切り替えるというリモコンアプリが提案されている。   In relation to the above issues, as an effort to improve the user's video viewing experience, the distribution contents of each channel are displayed as thumbnails with animated GIFs on the smartphone / tablet, and the user can view the contents while viewing the thumbnail list screen. A remote control app that switches TV channels by selecting channels that interest them has been proposed.

特開2014−140104号公報JP 2014-140104 A

しかし、上記従来技術のようにアニメーションGIF化されたサムネイル画像が表示されたとしても、"今"放送(配信)されている映像が表示されているとはいえない。また、アニメーションGIF化させるためには、大きな遅延が発生するといった問題や、新規のサムネイル画像を受信しない間は、過去のサムネイル画像が繰り返し表示されてしまい、実際の放送(配信)内容とタブレット/スマートフォン上のサムネイル画像がかい離してしまうといった問題が発生する。   However, even if a thumbnail image converted into an animated GIF is displayed as in the above prior art, it cannot be said that a video that is being broadcast (distributed) is being displayed. In addition, in order to make animated GIFs, there is a problem such as a large delay, and past thumbnail images are displayed repeatedly while new thumbnail images are not received, and actual broadcast (distribution) contents and tablet / There is a problem that the thumbnail images on the smartphone are separated.

また、アニメーションGIF化させることによって映像中の時間的情報が欠落するため、タブレット/スマートフォン上のサムネイル画像と、放送(配信)内容の時間的同期をとることも困難である。すなわち、従来技術では、映像配信サービスにより配信される複数チャンネルの映像のサムネイルをユーザ端末上で適切に表示することができないという問題がある。   In addition, since the temporal information in the video is lost by converting it to an animated GIF, it is difficult to synchronize the thumbnail images on the tablet / smartphone and the broadcast (distributed) content. In other words, the conventional technology has a problem that thumbnails of videos of a plurality of channels distributed by the video distribution service cannot be properly displayed on the user terminal.

本発明は上記の点に鑑みてなされたものであり、映像配信サービスにより配信される複数チャンネルの映像のサムネイルをユーザ端末上で適切に表示することを可能とする技術を提供することを目的とする。   The present invention has been made in view of the above points, and an object of the present invention is to provide a technique capable of appropriately displaying thumbnails of videos of a plurality of channels distributed by a video distribution service on a user terminal. To do.

本発明の実施の形態によれば、映像配信サービスにおける複数チャンネルのサムネイル映像を提供するサムネイル提供装置であって、
前記映像配信サービスにより提供される各チャンネルのフレームデータを取得し、当該フレームデータから、各チャンネルのサムネイル映像として用いるフレーム群を所定の間隔で取得するフレーム取得手段と、
前記フレーム取得手段により取得したフレーム群を時間軸方向に並べることにより、サムネイル映像シーケンスを生成するシーケンス生成手段と、
前記シーケンス生成手段により取得したサムネイル映像シーケンスを送出する手段と
を備えることを特徴とするサムネイル提供装置が提供される。
According to an embodiment of the present invention, there is provided a thumbnail providing apparatus that provides thumbnail images of a plurality of channels in a video distribution service,
Frame acquisition means for acquiring frame data of each channel provided by the video distribution service, and acquiring a frame group used as a thumbnail video of each channel from the frame data at a predetermined interval;
Sequence generating means for generating a thumbnail video sequence by arranging the frames acquired by the frame acquiring means in the time axis direction;
A thumbnail providing apparatus comprising: means for transmitting a thumbnail video sequence acquired by the sequence generating means.

また、映像配信サービスにおける複数チャンネルのサムネイル映像の情報を表示装置に提供するサムネイル提供装置であって、
前記複数チャンネルのIフレームのプレイリストから、各チャンネルのサムネイル映像として用いるIフレームの情報を記述したIフレーム情報を取得するフレーム情報取得手段と、
前記フレーム情報取得手段により取得した複数チャンネルのIフレーム情報について、同時刻のIフレーム情報毎に、当該Iフレーム情報をチャンネルの順番に並び替える並び替え手段と、
前記並び替え手段により並び替えられた複数チャンネルのIフレーム情報をサムネイル映像プレイリストとして前記表示装置に送信する送信手段と
を備えることを特徴とするサムネイル提供装置が提供される。
Further, a thumbnail providing device that provides information on a plurality of channels of thumbnail video in a video distribution service to a display device,
Frame information acquisition means for acquiring I frame information describing information of an I frame used as a thumbnail image of each channel from the I frame playlist of the plurality of channels;
Reordering means for reordering the I frame information in the order of the channels for each I frame information at the same time for the I frame information of a plurality of channels acquired by the frame information acquisition means;
There is provided a thumbnail providing device comprising: a transmission unit configured to transmit I frame information of a plurality of channels rearranged by the rearranging unit to the display device as a thumbnail video playlist.

また、本発明の実施の形態によれば、映像配信サービスにおける複数チャンネルのサムネイル映像を提供するサムネイル提供装置であって、
前記映像配信サービスにより提供される各チャンネルのフレームデータを取得し、当該フレームデータから、各チャンネルのサムネイル映像として用いるフレーム群であって、全チャンネル間で時間的に同期がとれるフレーム群を所定の間隔で取得するフレーム取得手段と、
前記フレーム取得手段により取得したフレーム群毎に、当該フレーム群を結合して1枚のサムネイル映像フレームを生成し、当該サムネイル映像フレームを時間方向に並べたサムネイル映像シーケンスを生成するシーケンス生成手段と、
前記シーケンス生成手段により生成したサムネイル映像シーケンスを送出する手段と
を備えることを特徴とするサムネイル提供装置が提供される。
In addition, according to the embodiment of the present invention, there is provided a thumbnail providing apparatus for providing thumbnail images of a plurality of channels in a video distribution service,
Frame data of each channel provided by the video distribution service is acquired, and a frame group used as a thumbnail video of each channel is obtained from the frame data, and a frame group that is synchronized in time between all channels is determined in advance. Frame acquisition means for acquiring at intervals;
For each frame group acquired by the frame acquisition means, a sequence generation means for generating a thumbnail video sequence by combining the frames and generating one thumbnail video frame and arranging the thumbnail video frames in the time direction ;
And a means for sending a thumbnail video sequence generated by the sequence generation means.

また、本発明の実施の形態によれば、映像配信サービスにおける複数チャンネルのサムネイル映像を表示する表示装置であって、
サムネイル提供装置から受信したサムネイル映像シーケンスであって、所定の間隔で取得された前記複数チャンネルに対応するフレーム群が時間軸方向に並べられたサムネイル映像シーケンスにおいて、当該フレーム群毎に、先頭のチャンネルからフレームデータを順次取得するフレーム取得手段と、
前記フレーム取得手段により取得された各フレームデータを、当該フレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する表示手段と
を備えることを特徴とする表示装置が提供される。
Further, according to the embodiment of the present invention, there is provided a display device for displaying thumbnail images of a plurality of channels in a video distribution service,
A thumbnail video sequence received from a thumbnail providing apparatus , wherein a first channel is provided for each frame group in a thumbnail video sequence in which frames corresponding to the plurality of channels acquired at predetermined intervals are arranged in a time axis direction. Frame acquisition means for sequentially acquiring frame data from:
There is provided a display device comprising: display means for sequentially displaying each frame data acquired by the frame acquisition means as a thumbnail at a screen position corresponding to a channel of the frame data.

また、本発明の実施の形態によれば、映像配信サービスにおける複数チャンネルのサムネイル映像を表示する表示装置であって、
サムネイル提供装置から、各チャンネルのサムネイル映像として用いるIフレームの情報を記述したIフレーム情報を含むサムネイル映像プレイリストを取得するプレイリスト取得手段と、
前記サムネイル映像プレイリストにおけるIフレーム情報に基づいて、映像配信サーバから各チャンネルのIフレームデータを取得する映像データ取得手段と、
前記映像データ取得手段により取得された各Iフレームデータを、当該Iフレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する表示手段と
を備えることを特徴とする表示装置が提供される。
Further, according to the embodiment of the present invention, there is provided a display device for displaying thumbnail images of a plurality of channels in a video distribution service,
Playlist acquisition means for acquiring a thumbnail video playlist including I frame information describing I frame information used as thumbnail video of each channel from the thumbnail providing device;
Video data acquisition means for acquiring I frame data of each channel from the video distribution server based on the I frame information in the thumbnail video playlist;
There is provided a display device comprising: display means for sequentially displaying each I frame data obtained by the video data obtaining means as a thumbnail at a screen position corresponding to a channel of the I frame data.

本発明の実施の形態によれば、映像配信サービスにより配信される複数チャンネルの映像のサムネイルをユーザ端末上で適切に表示することを可能とする技術が提供される。   According to the embodiment of the present invention, there is provided a technique capable of appropriately displaying thumbnails of videos of a plurality of channels distributed by a video distribution service on a user terminal.

本発明の実施の形態に係るシステムの全体概要構成図である。1 is an overall schematic configuration diagram of a system according to an embodiment of the present invention. 第1の実施の形態におけるサムネイル提供装置100の構成図である。It is a block diagram of the thumbnail provision apparatus 100 in 1st Embodiment. 第1の実施の形態におけるユーザ端末200の構成図である。It is a block diagram of the user terminal 200 in 1st Embodiment. サムネイル提供装置100の処理例を説明するための図である。6 is a diagram for explaining a processing example of a thumbnail providing apparatus 100. FIG. ユーザ端末150の処理例を説明するための図である。It is a figure for demonstrating the example of a process of the user terminal. 第2の実施の形態におけるサムネイル提供装置200の構成図である。It is a block diagram of the thumbnail provision apparatus 200 in 2nd Embodiment. 第2の実施の形態におけるユーザ端末250の構成図である。It is a block diagram of the user terminal 250 in 2nd Embodiment. サムネイル提供装置200の処理例を説明するための図である。FIG. 10 is a diagram for explaining a processing example of a thumbnail providing apparatus 200. ユーザ端末250の処理例を説明するための図である。It is a figure for demonstrating the example of a process of the user terminal. 第3の実施の形態におけるサムネイル提供装置100の処理例を説明するための図である。It is a figure for demonstrating the example of a process of the thumbnail provision apparatus 100 in 3rd Embodiment. 第3の実施の形態におけるユーザ端末150の処理例を説明するための図である。It is a figure for demonstrating the example of a process of the user terminal 150 in 3rd Embodiment.

以下、図面を参照して本発明の実施の形態を説明する。なお、以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。なお、本明細書及び特許請求の範囲において、「映像配信」は、映像を配信もしくは放送するあらゆるサービスを含むものとする。   Embodiments of the present invention will be described below with reference to the drawings. The embodiment described below is only an example, and the embodiment to which the present invention is applied is not limited to the following embodiment. In the present specification and claims, “video distribution” includes any service that distributes or broadcasts video.

(システムの構成概要)
図1に、本発明の実施の形態に係るサムネイル映像配信システムの全体概要構成図を示す。図1に示すように、本実施の形態では、多チャンネル映像配信事業者の設備(アンテナ20、IP網10内の装置等)からユーザ宅等のテレビ400に放送波、あるいはIP網により多チャンネルの映像配信がなされる。
(System configuration overview)
FIG. 1 shows an overall schematic configuration diagram of a thumbnail video distribution system according to an embodiment of the present invention. As shown in FIG. 1, in this embodiment, a multi-channel video distribution company's facilities (antenna 20, devices in the IP network 10 and the like) are connected to a television 400 such as a user's house by broadcast waves or an IP network. Video distribution.

一方、当該映像配信に係る多チャンネルのサムネイル映像ストリームが、サムネイル提供装置100からユーザ端末150に送信される。なお、図1では、例として「サムネイル提供装置100」、「ユーザ端末150」のように、後述する第1(第3)の実施の形態での参照符号を付しているが、全体装置構成は第1〜第3の実施の形態で共通である。   On the other hand, a multi-channel thumbnail video stream related to the video distribution is transmitted from the thumbnail providing apparatus 100 to the user terminal 150. In FIG. 1, reference numerals in the first (third) embodiment to be described later are given as an example, such as “thumbnail providing apparatus 100” and “user terminal 150”. Is common to the first to third embodiments.

また、サムネイル提供装置100からユーザ端末150へのサムネイル映像ストリームの送信は、IP網を介して行ってもよいし、放送波で行ってもよいし、その他の網で行ってもよい。   Further, transmission of the thumbnail video stream from the thumbnail providing apparatus 100 to the user terminal 150 may be performed via the IP network, may be performed by a broadcast wave, or may be performed by another network.

本実施の形態では、ユーザ端末150は、タブレット型端末であることを想定しているが、これは一例に過ぎず、ユーザ端末150は、タブレット型端末以外の装置であってもよい。例えば、ユーザ端末150がテレビ400であってもよい。   In the present embodiment, it is assumed that the user terminal 150 is a tablet terminal, but this is only an example, and the user terminal 150 may be an apparatus other than the tablet terminal. For example, the user terminal 150 may be the television 400.

サムネイル映像ストリームを受信したユーザ端末150では、映像配信中のチャンネル毎のサムネイル映像が表示される。これにより、視聴者(ユーザ)は、それぞれのチャンネルで"今"何が配信されているかを容易に把握しながら、興味を持ったチャンネルを選択しテレビ400に表示させて視聴することができる。なお、ユーザ端末150を表示装置と称してもよい。   In the user terminal 150 that has received the thumbnail video stream, the thumbnail video for each channel during video distribution is displayed. Thus, the viewer (user) can select the channel he / she is interested in and display it on the television 400 while easily grasping what is “now” being distributed in each channel. The user terminal 150 may be referred to as a display device.

なお、本実施の形態において、ユーザ端末150からテレビ400へのチャンネル指示の方法はどのような方法であってもよい。例えば、IP網を経由した指示であってもよいし、近距離無線や赤外線等を使用した直接的な指示であってもよい。   In the present embodiment, any method for instructing a channel from user terminal 150 to television 400 may be used. For example, an instruction via an IP network may be used, or a direct instruction using short-range wireless or infrared rays may be used.

本実施の形態において、サムネイル映像をユーザ端末に提供する方式として、時間方向サムネイルストリーム方式、時間方向サムネイルプレイリスト方式、空間方向サムネイルストリーム方式がある。以下、それぞれ、第1の実施の形態、第2の実施の形態、第3の実施の形態として説明する。   In the present embodiment, there are a time direction thumbnail stream method, a time direction thumbnail playlist method, and a space direction thumbnail stream method as methods for providing thumbnail video to a user terminal. Hereinafter, the first embodiment, the second embodiment, and the third embodiment will be described.

(第1の実施の形態:時間方向サムネイルストリーム方式)
<装置構成:サムネイル提供装置100>
図2に、第1の実施の形態におけるサムネイル提供装置100の構成図を示す。図2に示すように、本実施の形態に係るサムネイル提供装置100は、フレームデータ取得部101、サムネイル映像フレーム抽出部102、サムネイル映像シーケンス生成部103、エンコード部104、及び符号量調整部105を有する。各部の機能概要は以下のとおりである。
(First embodiment: time direction thumbnail stream method)
<Apparatus configuration: Thumbnail providing apparatus 100>
FIG. 2 shows a configuration diagram of the thumbnail providing apparatus 100 according to the first embodiment. As shown in FIG. 2, the thumbnail providing apparatus 100 according to the present embodiment includes a frame data acquisition unit 101, a thumbnail video frame extraction unit 102, a thumbnail video sequence generation unit 103, an encoding unit 104, and a code amount adjustment unit 105. Have. The function outline of each part is as follows.

フレームデータ取得部101は、多チャンネル映像配信事業者ヘッドエンド(映像配信のための機器)から送信された複数チャンネルの映像データを受信し、当該映像データをデコードしてフレームデータを取得する。   The frame data acquisition unit 101 receives video data of a plurality of channels transmitted from a multi-channel video distribution provider head end (device for video distribution), decodes the video data, and acquires frame data.

サムネイル映像フレーム抽出部102は、フレームデータ取得部101により得られたフレームデータからサムネイル映像用フレームを抽出する。サムネイル映像シーケンス生成部103は、サムネイル映像フレーム抽出部102により抽出されたサムネイル映像用フレームを並び替えて1つのサムネイル映像シーケンスを生成する。   The thumbnail video frame extraction unit 102 extracts a thumbnail video frame from the frame data obtained by the frame data acquisition unit 101. The thumbnail video sequence generation unit 103 rearranges the thumbnail video frames extracted by the thumbnail video frame extraction unit 102 to generate one thumbnail video sequence.

エンコード部104は、サムネイル映像シーケンス生成部103により生成されたサムネイル映像シーケンスをエンコード(符号化)して、ユーザ端末150側に送出する。符号量調整部105は、チャンネル間で元ストリームの符号量を比較して、エンコード部104に対して、各フレームのビット量を配分する制御を行う。なお、符号量調整部105を備えることは必須ではなく、これを備えなくてもよい。   The encoding unit 104 encodes (encodes) the thumbnail video sequence generated by the thumbnail video sequence generation unit 103 and sends it to the user terminal 150 side. The code amount adjustment unit 105 compares the code amount of the original stream between channels and performs control to distribute the bit amount of each frame to the encoding unit 104. Note that the provision of the code amount adjustment unit 105 is not essential, and this need not be provided.

サムネイル提供装置100は、1つの装置(コンピュータ)で構成してもよいし、複数の装置(コンピュータ)をネットワーク接続して構成してもよい。また、サムネイル提供装置100を、クラウド上のサーバリソースを利用して構成することもできる。また、サムネイル提供装置100を、サムネイル提供システムと称してもよい。これらの点は、他の実施の形態についても同様である。   The thumbnail providing apparatus 100 may be configured by one apparatus (computer), or may be configured by connecting a plurality of apparatuses (computers) over a network. The thumbnail providing apparatus 100 can also be configured using server resources on the cloud. Further, the thumbnail providing apparatus 100 may be referred to as a thumbnail providing system. These points are the same for the other embodiments.

本実施の形態に係るサムネイル提供装置100(他の実施の形態でも同様)は、例えば、1つ又は複数のコンピュータに、実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。すなわち、当該装置が有する機能は、当該コンピュータに内蔵されるCPUやメモリ、ハードディスクなどのハードウェア資源を用いて、当該装置で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体(可搬メモリ等)に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。   Thumbnail providing apparatus 100 according to the present embodiment (the same applies to other embodiments) can be realized, for example, by causing one or a plurality of computers to execute a program describing the processing contents described in the embodiment. It is. That is, the function of the device can be realized by executing a program corresponding to the process executed by the device using hardware resources such as a CPU, a memory, and a hard disk built in the computer. It is. The above-mentioned program can be recorded on a computer-readable recording medium (portable memory or the like), stored, or distributed. It is also possible to provide the program through a network such as the Internet or electronic mail.

<装置構成:ユーザ端末150>
図3に、第1の実施の形態におけるユーザ端末150の構成図を示す。図3に示すように、本実施の形態に係るユーザ端末150は、デコード部151、フレーム抽出部152、サムネイル出力部153、操作・表示部154、連動制御部155を有する。各機能部の概要は以下のとおりである。
<Apparatus configuration: user terminal 150>
FIG. 3 shows a configuration diagram of the user terminal 150 in the first embodiment. As illustrated in FIG. 3, the user terminal 150 according to the present embodiment includes a decoding unit 151, a frame extraction unit 152, a thumbnail output unit 153, an operation / display unit 154, and an interlock control unit 155. The outline of each functional part is as follows.

デコード部151は、サムネイル提供装置100から送信されるサムネイル映像ストリームをネットワークを介して受信し、受信したサムネイル映像ストリームをデコードしてサムネイル映像シーケンスの各フレームのデータを取得する。   The decoding unit 151 receives the thumbnail video stream transmitted from the thumbnail providing apparatus 100 via the network, decodes the received thumbnail video stream, and acquires data of each frame of the thumbnail video sequence.

フレーム抽出部152は、デコード部151により得られた多重化されたフレームを分解して、チャンネル毎にフレームを並び替え、並び替えた各フレームを取得する。サムネイル出力部153は、フレーム抽出部152により得られた各チャンネルのサムネイル映像用のフレームを一定間隔で操作・表示部154に出力する。   The frame extraction unit 152 disassembles the multiplexed frames obtained by the decoding unit 151, rearranges the frames for each channel, and acquires the rearranged frames. The thumbnail output unit 153 outputs the thumbnail video frames of each channel obtained by the frame extraction unit 152 to the operation / display unit 154 at regular intervals.

本実施の形態における操作・表示部154は、タッチパネルのように、操作受付機能と表示機能とを兼ね備えたものである。操作・表示部154は、サムネイル出力部153から受け取ったチャンネル毎のフレームを、例えば図1に示したように、チャンネルに対応する位置に表示する。   The operation / display unit 154 according to the present embodiment has both an operation reception function and a display function like a touch panel. The operation / display unit 154 displays the frame for each channel received from the thumbnail output unit 153 at a position corresponding to the channel, for example, as shown in FIG.

例えば、チャンネル毎のサムネイル映像が表示されている操作・表示部154上でユーザによりチャンネルの指定(サムネイル映像の指定)がなされた場合に、連動制御部155は、操作・表示部154からチャンネル情報(チャンネル番号等)を取得し、当該チャンネル情報をテレビ400に対して送信することで、ユーザが所望のチャンネルの映像を視聴することを可能とする。   For example, when the user designates a channel (thumbnail image designation) on the operation / display unit 154 displaying the thumbnail video for each channel, the interlock control unit 155 receives channel information from the operation / display unit 154. (Channel number or the like) is acquired and the channel information is transmitted to the television 400, thereby enabling the user to view the video of the desired channel.

本実施の形態に係るユーザ端末150(他の実施の形態でも同様)は、例えば、コンピュータ(例:タブレット型端末)に、実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。すなわち、当該装置が有する機能は、当該コンピュータに内蔵されるCPUやメモリ、ハードディスクなどのハードウェア資源を用いて、当該装置で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体(可搬メモリ等)に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。   The user terminal 150 according to the present embodiment (the same applies to other embodiments) is realized, for example, by causing a computer (eg, a tablet-type terminal) to execute a program describing the processing contents described in the embodiment. Is possible. That is, the function of the device can be realized by executing a program corresponding to the process executed by the device using hardware resources such as a CPU, a memory, and a hard disk built in the computer. It is. The above-mentioned program can be recorded on a computer-readable recording medium (portable memory or the like), stored, or distributed. It is also possible to provide the program through a network such as the Internet or electronic mail.

<第1の実施の形態におけるシステムの動作例>
次に、上述した構成を備えるサムネイル提供装置100、及びユーザ端末150の処理動作を、図4、図5を参照してより詳細に説明する。図4、図5におけるS1、S2等の記号は、以下の説明でのステップS1、ステップS2等のステップ番号に対応する。まず、図4を参照してサムネイル提供装置100における処理例を説明する。
<Example of System Operation in the First Embodiment>
Next, processing operations of the thumbnail providing apparatus 100 having the above-described configuration and the user terminal 150 will be described in more detail with reference to FIGS. Symbols such as S1 and S2 in FIGS. 4 and 5 correspond to step numbers such as step S1 and step S2 in the following description. First, an example of processing in the thumbnail providing apparatus 100 will be described with reference to FIG.

[ステップS1:複数チャンネル映像のデコード]
ステップS1において、サムネイル映像を作りたい全てのチャンネルの映像ストリームをそれぞれデコードし、各ストリームのフレームデータを得る。当該処理において、フレームデータ取得部101は、各フレームを構成するのに必要なパケット(MPEG-2 TSパケット、NALユニット等)のデータ量をそれぞれ取得しておく。なお、デコード処理は、映像配信に係る映像ストリームがMPEG-2やH.264等で圧縮されている場合に行われるものであり、もしも、サムネイル提供装置100がベースバンド機器からのSDI信号等を受信する場合、デコード処理は不要である。
[Step S1: Decoding Multiple Channel Video]
In step S1, video streams of all channels for which thumbnail videos are to be created are decoded, and frame data of each stream is obtained. In this processing, the frame data acquisition unit 101 acquires the data amount of packets (MPEG-2 TS packet, NAL unit, etc.) necessary to configure each frame. The decoding process is performed when a video stream related to video distribution is compressed with MPEG-2, H.264, or the like. If the thumbnail providing apparatus 100 receives an SDI signal or the like from a baseband device, the decoding process is performed. When receiving, the decoding process is unnecessary.

[ステップS2:サムネイル映像シーケンスを構成するフレームの取得]
ステップS2では、サムネイル映像フレーム抽出部102が、ステップS1で取得された各チャンネルのフレームデータにおいて、全チャンネル間で時間的に同期がとれるフレーム群を一定間隔(=F)で取得し、マルチチャンネルフレームバッファに格納する。マルチチャンネルフレームバッファは、サムネイル映像フレーム抽出部102が備えるメモリ等の記憶手段でもよいし、サムネイル映像フレーム抽出部102の外部に備えられる記憶手段でもよい。
[Step S2: Acquisition of Frames Comprising Thumbnail Video Sequence]
In step S2, the thumbnail video frame extraction unit 102 acquires a frame group that can be temporally synchronized among all the channels in the frame data of each channel acquired in step S1, at a fixed interval (= F). Store in the frame buffer. The multi-channel frame buffer may be a storage unit such as a memory provided in the thumbnail video frame extraction unit 102, or may be a storage unit provided outside the thumbnail video frame extraction unit 102.

ここで、上記のFは、サムネイル映像の滑らかさに依存するパラメータであり、外部パラメータ等で任意に設定可能な値である。図4の例では、15フレーム間隔でフレーム群を取得するイメージを記載している。   Here, F is a parameter that depends on the smoothness of the thumbnail video, and is a value that can be arbitrarily set by an external parameter or the like. In the example of FIG. 4, an image for acquiring a frame group at intervals of 15 frames is described.

すなわち、図4に示される例では、ストリーム1(1ch:チャンネル1、以下同様)のフレーム0、ストリーム2のフレーム1、....ストリームNのフレーム14が、時間的に同期がとれるフレーム群として取得され、15フレーム後におけるフレーム群(ストリーム1のフレーム15、ストリーム2のフレーム16、....ストリームNのフレーム29)が次の時刻のフレーム群として取得されている。   That is, in the example shown in FIG. 4, frame 0 of stream 1 (1ch: channel 1, the same applies hereinafter), frame 1 of stream 2,. Frame 14 of stream N is acquired as a frame group that can be synchronized in time, and a frame group after 15 frames (frame 15 of stream 1, frame 16 of stream 2,..., Frame 29 of stream N) is the next. Is acquired as a frame group at the time.

[ステップS3:サムネイル映像シーケンスの生成]
ステップS3では、サムネイル映像シーケンス生成部103が、ステップS2の処理で得られ、マルチチャンネルフレームバッファに保存されたフレーム群を、時間軸方向に並べ替えることにより、サムネイル映像シーケンスを生成する。
[Step S3: Generation of Thumbnail Video Sequence]
In step S3, the thumbnail video sequence generation unit 103 generates a thumbnail video sequence by rearranging the frame groups obtained in the process of step S2 and stored in the multichannel frame buffer in the time axis direction.

すなわち、図4のS3の部分に示されるように、本例では、ストリーム1のフレーム0、ストリーム2のフレーム1、....ストリームNのフレーム14からなるフレーム群の各フレームがこの順番で並べられ、それに続いて、ストリーム1のフレーム15、ストリーム2のフレーム16、....ストリームNのフレーム29からなるフレーム群の各フレームがこの順番で並べられる。   That is, as shown in the S3 part of FIG. 4, in this example, frame 0 of stream 1, frame 1, stream 2,. The frames of the frame group consisting of the frames 14 of the stream N are arranged in this order, followed by the frame 15 of the stream 1, the frame 16 of the stream 2,. The frames of the frame group including the frames 29 of the stream N are arranged in this order.

[ステップS4:サムネイル映像ストリームの生成]
ステップS3の処理までで生成されたサムネイル映像シーケンスは非圧縮のデータであるため、ステップS4では、エンコード部104が、サムネイル映像シーケンス送信のためにエンコード、MUX処理等を行う。一例として、エンコードにMPEG-2、H.264等を使用できる。
[Step S4: Generation of Thumbnail Video Stream]
Since the thumbnail video sequence generated up to the processing in step S3 is uncompressed data, in step S4, the encoding unit 104 performs encoding, MUX processing, and the like for transmission of the thumbnail video sequence. As an example, MPEG-2, H.264, etc. can be used for encoding.

エンコード部104が実行する圧縮の方式については特に制限はなく、どのような方式を用いてもよい。ただし、本実施の形態のサムネイル映像シーケンスは、異なるチャンネルのフレームを並べたシーケンスなので、フレーム間の相関が低い。よって、フレーム間相関を用いるインター符号化ではなく、画面間相関のみを行うイントラ符号化で圧縮を行う方が望ましい。また、イントラ符号化の場合は、フレーム間相関が無いため、受信側で各フレームを独立して抽出し処理することが可能のため、受信側の実装負荷を軽減することにもつながる。   The compression method executed by the encoding unit 104 is not particularly limited, and any method may be used. However, since the thumbnail video sequence of the present embodiment is a sequence in which frames of different channels are arranged, the correlation between frames is low. Therefore, it is desirable to perform compression not by inter coding using inter-frame correlation but by intra coding that performs only inter-screen correlation. In addition, in the case of intra coding, since there is no inter-frame correlation, each frame can be extracted and processed independently on the receiving side, which leads to a reduction in mounting load on the receiving side.

ところで、映像エンコードにおいては、一般にビットレート制御の手法として、単位時間あたりの符号量を一定にするCBR(Constant Bit-Rate)によるエンコードが行われる。本実施の形態におけるサムネイル映像シーケンスを構成するフレームは、異なるチャンネル(=異なるコンテンツ)の映像を時間軸方向に並べ替えたもので構成されるが、チャンネルによっては、簡単な絵柄(アニメなど平坦な絵柄)から、複雑な絵柄(自然画像や精緻な絵柄)まで様々であるため、エンコード時に各フレームに等しい符号量を割り当てるよりも、フレームの絵柄の複雑さに応じて割り当てる符号量を変化させた方が、統計多重的効果により、符号量の無駄を押えてエンコードを行うことができる。本実施の形態では、符号量調整部105が上記の符号量割り当てを行う。   By the way, in video encoding, encoding by CBR (Constant Bit-Rate) that makes the code amount per unit time constant is generally performed as a bit rate control method. Frames constituting the thumbnail video sequence in the present embodiment are configured by rearranging videos of different channels (= different contents) in the time axis direction. Since there are a variety of patterns (from natural patterns) to complex patterns (natural images and elaborate patterns), the amount of code to be assigned was changed according to the complexity of the frame design rather than assigning an equal amount of code to each frame during encoding. On the other hand, encoding can be performed with a waste of code amount due to the statistical multiplexing effect. In the present embodiment, the code amount adjustment unit 105 performs the code amount assignment described above.

[ステップS5:サムネイル映像ストリームの送出]
ステップS5において、エンコード部104(送信機能を含む)が、エンコードされたサムネイル映像ストリームを送出する。送出の方式については、特に限定はないが、例えば、配信サービスの形態に合わせて、RTP/RTSP、RTMP、HLS、MPEG-DASH等を使用することができる。本実施の形態においてサムネイル映像配信のために送出するストリームは1本であるため、通常、映像ストリームを送出する方法と同じ方法で送出を行うことができる。
[Step S5: Send thumbnail video stream]
In step S5, the encoding unit 104 (including the transmission function) transmits the encoded thumbnail video stream. The transmission method is not particularly limited, but for example, RTP / RTSP, RTMP, HLS, MPEG-DASH, etc. can be used according to the form of the distribution service. In the present embodiment, since there is one stream to be transmitted for thumbnail video distribution, it can be normally transmitted by the same method as the method of transmitting a video stream.

続いて、例えばフレームデータ取得部101(送信機能を含む)が、サムネイル映像ストリームとして束ねたチャンネル数、先頭チャンネルのサムネイルを特定する(同期をとる)ための情報(ストリーム中のバイト位置、時刻情報)を、チャンネル識別補助情報として別途送出する。この補助情報について、もしもストリームの配信がHLSやMPEG-DASH等の配信方式により行われる場合は、それぞれで用いるプレイリストファイルやマニフェストファイル、インデックスファイルに記載しても良い。   Subsequently, for example, the frame data acquisition unit 101 (including the transmission function) specifies the number of channels bundled as a thumbnail video stream and information for identifying (synchronizing) the first channel thumbnail (byte position in the stream, time information). ) Is separately transmitted as channel identification auxiliary information. This auxiliary information may be described in a playlist file, a manifest file, and an index file used for each of the streams if the stream is distributed by a distribution method such as HLS or MPEG-DASH.

図4の例において、チャンネル識別補助情報は、例えば、束ねたチャンネル数=N、先頭チャンネルのサムネイルを特定するための情報=(先頭チャンネル(ストリーム1)のフレームの開始バイト位置(例:ストリームの開始からXバイト目)、当該フレームを表示する時刻)、といった情報である。なお、チャンネル識別補助情報は、ユーザ端末側において、映像と同期してサムネイル映像をチャンネル毎に表示することを可能とする情報であればどのような情報でもよい。   In the example of FIG. 4, the channel identification auxiliary information includes, for example, the number of bundled channels = N, information for specifying the thumbnail of the first channel = (start byte position of the frame of the first channel (stream 1) (eg, stream The Xth byte from the start), and the time at which the frame is displayed. The channel identification auxiliary information may be any information as long as it is possible to display a thumbnail video for each channel in synchronization with the video on the user terminal side.

次に、図5を参照してユーザ端末150における処理を説明する。   Next, processing in the user terminal 150 will be described with reference to FIG.

[ステップS6:ストリームの受信、補助情報の受信]
ステップS6において、デコード部151は、サムネイル提供装置100から送出されるサムネイル映像ストリームを受信し、受信したサムネイル映像ストリームに対し、DEMUX処理、デコード(復号)処理等を行って、サムネイル映像シーケンスのフレームデータを取得する。また、同時に、フレーム抽出部152は、チャンネル識別補助情報(サムネイルとしてストリームに束ねられたチャンネル数、ストリーム中先頭チャンネル情報(バイト位置、時間情報))を、サムネイル提供装置100から取得する。
[Step S6: Receive Stream, Receive Auxiliary Information]
In step S6, the decoding unit 151 receives the thumbnail video stream transmitted from the thumbnail providing apparatus 100, performs DEMUX processing, decoding (decoding) processing, and the like on the received thumbnail video stream, and performs a frame of the thumbnail video sequence. Get the data. At the same time, the frame extraction unit 152 acquires channel identification auxiliary information (the number of channels bundled in the stream as thumbnails and head channel information (byte position, time information) in the stream) from the thumbnail providing apparatus 100.

なお、前述したように、チャンネル識別補助情報は、もしも配信ファイルがHLSやMPEG-DASH等の配信方式によるものであれば、プレイリストファイルやマニフェストファイルから取得しても良い。   As described above, the channel identification auxiliary information may be acquired from a playlist file or a manifest file if the distribution file is based on a distribution method such as HLS or MPEG-DASH.

[ステップS7:サムネイル映像ストリームの分解・抽出]
ステップS6で得られたサムネイル映像シーケンスは、フレーム抽出部152が備えるデコードフレーム格納バッファに格納される。
[Step S7: Decomposition / Extraction of Thumbnail Video Stream]
The thumbnail video sequence obtained in step S6 is stored in the decoded frame storage buffer provided in the frame extraction unit 152.

そして、フレーム抽出部152は、チャンネル毎のフレームの分解、抽出を行う。チャンネル毎の分解、抽出は、ステップS6で取得したチャンネル識別補助情報を元に行う。まず、チャンネル識別補助情報に基づき、サムネイル映像シーケンスから、チャンネル先頭位置を判別する。次に、チャンネル数情報を元に、判別したチャンネル先頭位置からフレームを順次取り出すことで、各チャンネルのそれぞれ最初のサムネイル(フレーム)を得る。以降に表示するチャンネル毎のフレームについても同様にチャンネル識別補助情報を用いて行うことができる。   The frame extraction unit 152 then decomposes and extracts frames for each channel. The disassembly and extraction for each channel is performed based on the channel identification auxiliary information acquired in step S6. First, the channel head position is determined from the thumbnail video sequence based on the channel identification auxiliary information. Next, the first thumbnail (frame) of each channel is obtained by sequentially extracting frames from the determined channel head position based on the channel number information. Similarly, the frame for each channel to be displayed thereafter can be performed using the channel identification auxiliary information.

上記の例では、チャンネル識別補助情報が、フレーム群(時刻同期している全チャンネルのフレーム)毎に提供されることを想定しているが、最初のフレーム群のみについてチャンネル識別補助情報が提供されることとしてもよい。後者の場合、ユーザ端末100では、2番目以降のフレーム群のチャンネル先頭位置については、最初のフレーム群の最後のフレームの次のフレームとして推定できる。また、チャンネル数については、フレーム群毎に同じであるとすればよい。   In the above example, it is assumed that channel identification auxiliary information is provided for each frame group (frames of all channels synchronized in time), but channel identification auxiliary information is provided only for the first frame group. It is also good to do. In the latter case, the user terminal 100 can estimate the channel start position of the second and subsequent frame groups as the next frame after the last frame of the first frame group. The number of channels may be the same for each frame group.

図5の例(図4に対応)では、最初(n秒目)に表示する各チャンネルのフレームとして、チャンネル1のフレーム0、チャンネル2のフレーム1、...チャンネルNのフレーム14が分解・抽出され、次(n+1秒目)に表示する各チャンネルのフレームとして、チャンネル1のフレーム15、チャンネル2のフレーム1、6...チャンネルNのフレーム29が分解・抽出される。   In the example of FIG. 5 (corresponding to FIG. 4), the frame 0 of channel 1, the frame 1 of channel 2,... As a frame of each channel that is extracted and displayed next (n + 1 second), a frame 15 of channel 1, a frame 1, channel 2 of channel 2, 6 ... a frame 29 of channel N are decomposed and extracted.

なお、送信側・受信側で合意された予め定められたルールに従ってチャンネル毎のフレームの分解、抽出を正しく行うことができる場合、チャンネル識別補助情報を用いないこととしてもよい。   Note that the channel identification auxiliary information may not be used when the frame can be correctly decomposed and extracted for each channel in accordance with a predetermined rule agreed between the transmitting side and the receiving side.

[ステップS8:画面表示]
次に、サムネイル出力部153は、ステップS7で取得された各チャンネルのサムネイル(フレーム)をチャンネル毎に順次、画面の所定の位置(チャンネルに対応する位置)に表示されるよう、操作・表示部154に対して出力する。サムネイルの更新に関しては、ストリーム中の全てのチャンネルのサムネイルを表示しなくてもよく、端末のスペックに合わせて、適宜間引いて表示してもよい。
[Step S8: Screen Display]
Next, the thumbnail output unit 153 operates the operation / display unit so that the thumbnails (frames) of each channel acquired in step S7 are sequentially displayed for each channel at a predetermined position (a position corresponding to the channel). Output to 154. Regarding the updating of the thumbnails, it is not necessary to display the thumbnails of all the channels in the stream, and the thumbnails may be appropriately thinned and displayed according to the specifications of the terminal.

また、各チャンネルのサムネイルを公平に同一フレームレートで表示しなくてもよい。例えば、有料チャンネルと無料チャンネルでフレームレートを変えたり、映像配信事業者が優先するチャンネルのサムネイルはフレームレートを高く表示するといった工夫を行い、ユーザのチャンネル選択の誘導付けを行ってもよい。このような処理は、他の実施の形態でも同様である。   Also, the thumbnails of each channel need not be displayed fairly at the same frame rate. For example, the user may be guided to select a channel by changing the frame rate between a pay channel and a free channel, or by displaying a higher frame rate for a thumbnail of a channel that is prioritized by the video distributor. Such processing is the same in other embodiments.

画面表示がなされた後、例えば、ユーザによるサムネイルの選択によって、チャンネル選択がなされ、連動制御部155により、選択されたチャンネルの情報がテレビ400に通知される。   After the screen is displayed, for example, a channel is selected by the user selecting a thumbnail, and the interlocking control unit 155 notifies the television 400 of information on the selected channel.

上記のように、本実施の形態では、映像配信サービスにおける複数チャンネルのサムネイル映像を提供するサムネイル提供装置であって、前記映像配信サービスにより提供される各チャンネルのフレームデータを取得し、当該フレームデータから、各チャンネルのサムネイル映像として用いるフレーム群を所定の間隔で取得するフレーム取得手段と、前記フレーム取得手段により取得したフレーム群を時間軸方向に並べることにより、サムネイル映像シーケンスを生成するシーケンス生成手段と、前記シーケンス生成手段により取得したサムネイル映像シーケンスを送出する手段とを備えるサムネイル提供装置が提供される。   As described above, in the present embodiment, a thumbnail providing apparatus that provides thumbnail videos of a plurality of channels in a video distribution service, acquires frame data of each channel provided by the video distribution service, and the frame data A frame acquisition means for acquiring a frame group used as a thumbnail video of each channel at a predetermined interval, and a sequence generation means for generating a thumbnail video sequence by arranging the frame groups acquired by the frame acquisition means in a time axis direction And a thumbnail providing apparatus comprising: a thumbnail video sequence acquired by the sequence generating means.

また、ユーザ端末(表示装置)については、映像配信サービスにおける複数チャンネルのサムネイル映像を表示する表示装置であって、サムネイル提供装置から受信したサムネイル映像シーケンスにおいて、所定の間隔で生成された前記複数チャンネルに対応するフレーム群毎に、先頭のチャンネルからフレームデータを順次取得するフレーム取得手段と、
前記フレーム取得手段により取得された各フレームデータを、当該フレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する表示手段とを備える表示装置が提供される。
The user terminal (display device) is a display device that displays a plurality of channels of thumbnail images in a video distribution service, and the plurality of channels generated at predetermined intervals in a thumbnail video sequence received from a thumbnail providing device. Frame acquisition means for sequentially acquiring frame data from the first channel for each frame group corresponding to
There is provided a display device comprising display means for sequentially displaying each frame data acquired by the frame acquisition means as a thumbnail at a screen position corresponding to a channel of the frame data.

(第2の実施の形態:時間方向サムネイルプレイリスト方式)
次に、第2の実施の形態について説明する。IPを利用した映像配信では、一般にHTTPベースの映像配信方式であるHLS(HTTP Live Streaming)やMPEG-DASH (Dynamic Adaptive Streaming over HTTP)方式が用いられる。これらはどちらも、元の映像データを細切れのファイル(例:10秒程度)に分割し、再生順序が記載されたプレイリストを用意する。クライアント側では、プレイリストを基に細切れのファイルを再生順にサーバから取得し、再生を行う。
(Second embodiment: time-direction thumbnail playlist method)
Next, a second embodiment will be described. In video distribution using IP, generally, HTTP-based video distribution methods such as HLS (HTTP Live Streaming) and MPEG-DASH (Dynamic Adaptive Streaming over HTTP) are used. Both of these divide the original video data into pieces of files (eg, about 10 seconds) and prepare a playlist that describes the playback order. On the client side, the file is obtained from the server in the order of playback based on the playlist and played back.

第2の実施の形態では、これらの方式における配信ファイル(主に、プレイリストファイル、マニフェストファイル)を利用したサムネイルプレイリスト方式による処理例について説明する。本実施の形態では、第1の実施の形態と異なり、サムネイル提供装置側でのコーデックは不要となる。   In the second embodiment, an example of processing by the thumbnail playlist method using distribution files (mainly playlist files and manifest files) in these methods will be described. In the present embodiment, unlike the first embodiment, a codec on the thumbnail providing apparatus side is not necessary.

<装置構成:サムネイル提供装置200>
図6に、第2の実施の形態におけるサムネイル提供装置200の構成図を示す。図2に示すように、本実施の形態に係るサムネイル提供装置200は、Iフレーム情報取得部201、Iフレーム情報並び替え部202、サムネイル映像プレイリスト生成部203、サムネイル映像プレイリスト格納部204、サムネイル映像プレイリスト送信部205を有する。各部の機能概要は以下のとおりである。
<Apparatus configuration: Thumbnail providing apparatus 200>
FIG. 6 shows a configuration diagram of the thumbnail providing apparatus 200 according to the second embodiment. As shown in FIG. 2, the thumbnail providing apparatus 200 according to the present embodiment includes an I-frame information acquisition unit 201, an I-frame information rearrangement unit 202, a thumbnail video playlist generation unit 203, a thumbnail video playlist storage unit 204, A thumbnail video playlist transmission unit 205 is provided. The function outline of each part is as follows.

Iフレーム情報取得部201は、上記の配信方式において用意されているIフレーム情報ファイルから、サムネイル映像に用いる分の各チャンネルのIフレームの情報を取得する。Iフレーム情報並び替え部202は、各チャンネルのIフレームの情報をチャンネル順に並び替える。   The I frame information acquisition unit 201 acquires I frame information for each channel for use in thumbnail video from the I frame information file prepared in the above distribution method. The I frame information rearrangement unit 202 rearranges the I frame information of each channel in the order of channels.

サムネイル映像プレイリスト生成部203は、Iフレーム情報並び替え部202により並び替えられたIフレーム情報からサムネイル映像プレイリストを生成する。サムネイル映像プレイリスト格納部204は、サムネイル映像プレイリスト生成部203により生成されたサムネイル映像プレイリストを格納する。   The thumbnail video playlist generating unit 203 generates a thumbnail video playlist from the I frame information rearranged by the I frame information rearranging unit 202. The thumbnail video playlist storage unit 204 stores the thumbnail video playlist generated by the thumbnail video playlist generation unit 203.

サムネイル映像プレイリスト送信部205は、例えばユーザ端末250からの要求に応じて、サムネイル映像プレイリストをユーザ端末250に送信する。なお、ユーザ端末250からの要求に基づかないで送信を行うこととしてもよい。   The thumbnail video playlist transmission unit 205 transmits the thumbnail video playlist to the user terminal 250 in response to a request from the user terminal 250, for example. Note that transmission may be performed without being based on a request from the user terminal 250.

サムネイル映像プレイリスト生成部203により生成されたプレイリストは、別装置に格納してもよいが、本実施の形態では、例として、サムネイル提供装置200がサムネイル映像プレイリストを格納し、ユーザ端末250への送信を行うこととしている。   Although the playlist generated by the thumbnail video playlist generation unit 203 may be stored in another device, in the present embodiment, as an example, the thumbnail providing device 200 stores the thumbnail video playlist and the user terminal 250. To send to.

また、本実施の形態では、元の映像(及び元のプレイリスト)を配信する映像配信サーバが別途備えられているものとする。ただし、サムネイル提供装置200が映像配信サーバの機能も有することとしてもよい。   In the present embodiment, it is assumed that a video distribution server that distributes the original video (and the original playlist) is separately provided. However, the thumbnail providing apparatus 200 may have a function of a video distribution server.

<装置構成:ユーザ端末250>
図7に、第2の実施の形態におけるユーザ端末250の構成図を示す。図7に示すように、本実施の形態に係るユーザ端末250は、サムネイル映像プレイリスト取得部251、サムネイル映像プレイリスト格納部252、サムネイル映像取得部253、サムネイル出力部254、操作・表示部255、連動制御部256を有する。各機能部の概要は以下のとおりである。
<Apparatus configuration: user terminal 250>
FIG. 7 shows a configuration diagram of the user terminal 250 in the second embodiment. As illustrated in FIG. 7, the user terminal 250 according to the present embodiment includes a thumbnail video playlist acquisition unit 251, a thumbnail video playlist storage unit 252, a thumbnail video acquisition unit 253, a thumbnail output unit 254, and an operation / display unit 255. And an interlocking control unit 256. The outline of each functional part is as follows.

サムネイル映像プレイリスト取得部251は、サムネイル提供装置200からサムネイル映像プレイリストをHTTP経由で取得する。取得したサムネイル映像プレイリストはサムネイル映像プレイリスト格納部252に格納される。サムネイル映像取得部253は、サムネイル映像プレイリストに基づいて、各チャンネルのサムネイルの映像データ(本実施の形態ではIフレーム)を取得する。   The thumbnail video playlist acquisition unit 251 acquires a thumbnail video playlist from the thumbnail providing apparatus 200 via HTTP. The acquired thumbnail video playlist is stored in the thumbnail video playlist storage unit 252. The thumbnail video acquisition unit 253 acquires thumbnail video data (I frame in this embodiment) of each channel based on the thumbnail video playlist.

サムネイル出力部254は、サムネイル映像取得部253により取得した映像データ(Iフレームデータ)を再生(デコード)し、チャンネル毎の画面位置に表示されるように操作・表示部255に出力する。操作・表示部255は、チャンネル毎にサムネイル映像の表示を行う。また、第1の実施の形態と同様、例えば、チャンネル毎のサムネイル映像が表示されている操作・表示部255上でユーザによりチャンネルの指定(サムネイル映像の指定)がなされた場合に、連動制御部256は、操作・表示部255からチャンネル情報(チャンネル番号等)を取得し、当該チャンネル情報をテレビ400に対して送信することで、ユーザが所望のチャンネルの映像を視聴することを可能とする。   The thumbnail output unit 254 reproduces (decodes) the video data (I frame data) acquired by the thumbnail video acquisition unit 253, and outputs it to the operation / display unit 255 so as to be displayed at the screen position for each channel. The operation / display unit 255 displays thumbnail images for each channel. Similarly to the first embodiment, for example, when a user designates a channel (thumbnail video designation) on the operation / display unit 255 on which a thumbnail video for each channel is displayed, the interlock control unit 256 acquires channel information (such as a channel number) from the operation / display unit 255 and transmits the channel information to the television 400, thereby enabling the user to view a video of a desired channel.

<第2の実施の形態におけるシステムの動作例>
次に、上述した構成を備えるサムネイル提供装置200、及びユーザ端末250の処理動作の例を、図8、図9を参照して説明する。図8、図9におけるS21、S22等の記号は、以下の説明でのステップS21、ステップS22等のステップ番号に対応する。まず、図8を参照してサムネイル提供装置200における処理例を説明する。
<Example of System Operation in Second Embodiment>
Next, an example of processing operations of the thumbnail providing apparatus 200 having the above-described configuration and the user terminal 250 will be described with reference to FIGS. Symbols such as S21 and S22 in FIGS. 8 and 9 correspond to step numbers such as step S21 and step S22 in the following description. First, an example of processing in the thumbnail providing apparatus 200 will be described with reference to FIG.

[ステップS21:Iフレームの情報取得]
本実施の形態では、前述した映像配信サーバが、通常のプレイリストの他に、ランダムアクセス可能なIフレームの位置を記載したIフレームのプレイリストを有している。
[Step S21: Acquisition of I Frame Information]
In the present embodiment, the video distribution server described above has an I-frame playlist that describes the positions of randomly accessible I-frames in addition to the normal playlist.

具体的には、HLS配信方式では、通常のプレイリストの他に、ランダムアクセス可能なIフレームの位置を記載したI-FRAMEプレイリストが備えられる。I-FRAMEプレイリストには、チャンネル毎、時刻(再生時刻)毎に、Iフレームの情報として、例えば、Iフレームデータの取得位置(Iフレームデータを格納するファイルのURL,ファイル内のバイト位置、Iフレームデータのバイト数等)が含まれる。   Specifically, in the HLS distribution method, in addition to a normal play list, an I-FRAME play list that describes the positions of randomly accessible I frames is provided. In the I-FRAME playlist, for each channel and time (reproduction time), as I frame information, for example, an I frame data acquisition position (URL of a file storing I frame data, byte position in the file, The number of bytes of I frame data).

また、MPEG-DASH配信方式では、I-FRAMEプレイリストに記述された情報と同様の情報が、INDEX情報として用意される。当該INDEX情報はマニフェストファイルに記載したRepresentationIndex要素やindex属性から参照可能である。このような情報を総称してIフレームのプレイリストと呼ぶことができる。   Also, in the MPEG-DASH distribution method, information similar to the information described in the I-FRAME playlist is prepared as INDEX information. The INDEX information can be referenced from the RepresentationIndex element and index attribute described in the manifest file. Such information can be collectively referred to as an I-frame playlist.

ステップS21では、Iフレーム情報取得部201は、映像配信サーバに格納されているIフレームのプレイリストから、サムネイル映像に用いる分のIフレームの情報(時刻情報(PTS)、ストリーム中のバイト位置等)を取り出す。図8の例では、チャンネル毎に、サムネイル映像に用いる分のIフレームの情報として、時刻t、時刻t+1、時刻t+2、....の情報が取得されたことが示されている。   In step S21, the I-frame information acquisition unit 201 extracts I-frame information (time information (PTS), byte position in the stream, and the like for the thumbnail video from the I-frame playlist stored in the video distribution server. ). In the example of FIG. 8, time t, time t + 1, time t + 2,... It is shown that the information of was acquired.

[ステップS22:並べ替え]
次に、Iフレーム情報並び替え部202が、ステップS21にて取得された各チャンネルのIフレームの情報を、チャンネル順に並べ替える。例えば、チャンネル数がN個である場合、まずN個のチャンネルのIフレーム(時刻t)の情報をチャンネル順に並べ、その次に、各チャンネルの次のIフレーム(時刻t+1)の情報を並べる、という処理を繰り返す。この処理により、図8に示すような順番に並び替えられたIフレームの情報が得られる。
[Step S22: Rearrangement]
Next, the I frame information rearrangement unit 202 rearranges the I frame information of each channel acquired in step S21 in the order of the channels. For example, when the number of channels is N, information on I frames (time t) of N channels is first arranged in the order of channels, and then information on the next I frame (time t + 1) of each channel is arranged. Repeat the process of arranging. By this processing, information of I frames rearranged in the order as shown in FIG. 8 is obtained.

[ステップS23:サムネイル映像プレイリストの生成]
続いて、サムネイル映像プレイリスト生成部203が、ステップS22で並べ替えられたIフレームの情報から、サムネイル映像プレイリストを生成する。サムネイル映像プレイリストとして、例えば、図8に示すとおりの情報((チャンネル1、時刻tのIフレーム情報)、(チャンネル2、時刻tのIフレーム情報)...(チャンネルN、時刻tのIフレーム情報)、(チャンネル1、時刻t+1のIフレーム情報)、(チャンネル2、時刻t+1のIフレーム情報)...(チャンネルN、時刻t+1のIフレーム情報)...)を、サムネイル映像プレイリストとしてもよいし、その他の形式でもよいし、特定の方式に準拠した形式のプレイリストを生成してもよい。
特定の方式に準拠した形式のプレイリストを生成する一例として、HLSの方式に準拠させる場合、I-FRAMEプレイリストと同様の規則により、プレイリストを生成することができる。ここで、チャンネル数、チャンネル識別情報(どのチャンネルのIフレーム情報かを識別)は、プレイリストで規定されるタイトル属性(またはコメント属性)中に記載しておけばよい。
[Step S23: Generation of Thumbnail Video Playlist]
Subsequently, the thumbnail video play list generation unit 203 generates a thumbnail video play list from the information of the I frames rearranged in step S22. As a thumbnail video playlist, for example, information ((channel 1, I frame information at time t), (channel 2, I frame information at time t), ... (channel N, I at time t) as shown in FIG. (Frame information), (Channel 1, I frame information at time t + 1), (Channel 2, I frame information at time t + 1) ... (Channel N, I frame information at time t + 1) ...) A list may be used, other formats may be used, and a playlist that conforms to a specific method may be generated.
As an example of generating a playlist in a format that conforms to a specific method, when conforming to the HLS method, a playlist can be generated according to the same rules as those for an I-FRAME playlist. Here, the number of channels and channel identification information (which channel I frame information is identified) may be described in a title attribute (or comment attribute) defined in the playlist.

また、例えば、MPEG-DASHの方式に準拠させる場合、番組を構成する映像や音声、字幕等の要素は、AdaptationSet要素としてマニフェストファイル(HLSで言うところのプレイリストファイル)に記載することができる。そこで、各チャンネルのサムネイル映像は、それぞれ独立したAdaptationSet要素に記載する。チャンネル数は、映像のAdaptation要素数で判別可能であり、チャンネル識別情報は、AdaptationSetのID属性値で識別可能である。また、Iフレームの情報は、MPEG-DASHで規定されるINDEXファイルとして構成するか、専用のMP4ファイル(INDEX情報はSegmentIndex Box, SubSegmentIndex Box)として構成し、MPEG-DASHで規定されているRepresentationIndex要素やindex属性として参照可能なように指定しておくことができる。   For example, when conforming to the MPEG-DASH system, elements such as video, audio, and subtitles constituting a program can be described in a manifest file (a playlist file in HLS) as an AdaptationSet element. Therefore, the thumbnail video of each channel is described in an independent AdaptationSet element. The number of channels can be determined by the number of adaptation elements of video, and the channel identification information can be identified by the ID attribute value of AdaptationSet. In addition, I frame information is configured as an INDEX file defined by MPEG-DASH or a dedicated MP4 file (INDEX information is SegmentIndex Box, SubSegmentIndex Box), and a RepresentationIndex element defined by MPEG-DASH It can be specified so that it can be referenced as an index attribute.

[ステップS24:配置]
本実施の形態において、ステップS23で生成されたサムネイル映像プレイリストはサムネイル映像プレイリスト格納部204に格納される。また、サムネイル映像プレイリストに基づき参照される映像データについては、映像配信サーバに格納されている。また、元のプレイリストも映像配信サーバに格納されている。
[Step S24: Arrangement]
In the present embodiment, the thumbnail video playlist generated in step S23 is stored in the thumbnail video playlist storage unit 204. Further, the video data referred to based on the thumbnail video playlist is stored in the video distribution server. The original playlist is also stored in the video distribution server.

次に、図9を参照してユーザ端末250における処理例を説明する。   Next, an example of processing in the user terminal 250 will be described with reference to FIG.

[ステップS25:サムネイル映像プレイリストの受信]
ユーザ端末250のサムネイル映像プレイリスト取得部251は、サムネイル提供装置200からサムネイル映像プレイリストをHTTP経由で取得する。すなわち、サムネイル映像プレイリスト取得部251はサムネイル提供装置200に対してサムネイル映像プレイリストの送信要求を送信し、当該送信要求に応じて、サムネイル提供装置200のサムネイル映像プレイリスト送信部205が、サムネイル映像プレイリストをサムネイル映像プレイリスト格納部204から読み出してユーザ端末250に送信する。
[Step S25: Receiving Thumbnail Video Playlist]
The thumbnail video playlist acquisition unit 251 of the user terminal 250 acquires a thumbnail video playlist from the thumbnail providing apparatus 200 via HTTP. That is, the thumbnail video playlist acquisition unit 251 transmits a thumbnail video playlist transmission request to the thumbnail providing device 200, and the thumbnail video playlist transmission unit 205 of the thumbnail provision device 200 responds to the transmission request by the thumbnail video playlist transmission unit 205. The video playlist is read from the thumbnail video playlist storage unit 204 and transmitted to the user terminal 250.

図9には、取得されたサムネイル映像プレイリストの例が示されている。取得されたサムネイル映像プレイリストは、ユーザ端末250におけるサムネイル映像プレイリスト格納部252に格納される。   FIG. 9 shows an example of the acquired thumbnail video playlist. The acquired thumbnail video playlist is stored in the thumbnail video playlist storage unit 252 in the user terminal 250.

[ステップS26:サムネイル映像の表示]
続いて、サムネイル映像取得部253は、ステップS25で取得したサムネイル映像プレイリストを先頭から順に走査する。そして、走査により得られた各Iフレーム情報に基づいて、各時刻の各チャンネルのサムネイル映像データ(Iフレームデータ)を映像配信サーバから取得する。
[Step S26: Display Thumbnail Image]
Subsequently, the thumbnail video acquisition unit 253 scans the thumbnail video playlist acquired in step S25 in order from the top. Then, based on each I frame information obtained by scanning, thumbnail video data (I frame data) of each channel at each time is acquired from the video distribution server.

例えば、図9に示すように、サムネイル映像プレイリストが、((チャンネル1、時刻tのIフレーム情報)、(チャンネル2、時刻tのIフレーム情報)...(チャンネルN、時刻tのIフレーム情報)、(チャンネル1、時刻t+1のIフレーム情報)、(チャンネル2、時刻t+1のIフレーム情報)...(チャンネルN、時刻t+1のIフレーム情報)...)である場合において、サムネイル映像取得部253は、まず、(チャンネル1、時刻tのIフレーム情報)を取得する。そして、サムネイル映像取得部253は、当該Iフレーム情報(目的のIフレームデータのファイルのURL,ファイル内のバイト位置等の情報)に基づいて、当該Iフレームのデータを映像配信サーバから取得する。   For example, as shown in FIG. 9, a thumbnail video play list has ((channel 1, I frame information at time t), (channel 2, I frame information at time t), ... (channel N, I at time t). Frame information), (channel 1, I frame information at time t + 1), (channel 2, I frame information at time t + 1) ... (channel N, I frame information at time t + 1) ...) The thumbnail video acquisition unit 253 first acquires (channel 1, I frame information at time t). Then, the thumbnail video acquisition unit 253 acquires the data of the I frame from the video distribution server based on the I frame information (information such as the URL of the file of the target I frame data and the byte position in the file).

同様に、サムネイル映像取得部253は、(チャンネル2、時刻tのIフレーム情報)...(チャンネルN、時刻tのIフレーム情報)、(チャンネル1、時刻t+1のIフレーム情報)、(チャンネル2、時刻t+1のIフレーム情報)...(チャンネルN、時刻t+1のIフレーム情報)を順次取得するとともに、該当Iフレーム情報に基づいてIフレームのデータを取得する。   Similarly, the thumbnail video acquisition unit 253 performs (Channel 2, I frame information at time t) ... (Channel N, I frame information at time t), (Channel 1, I frame information at time t + 1), (Channel 2. (I frame information at time t + 1)... (Channel N, I frame information at time t + 1) are sequentially acquired, and I frame data is acquired based on the corresponding I frame information.

サムネイル映像取得部253により取得されたサムネイル映像データは、サムネイル出力部254に渡される。サムネイル出力部254は、例えば、チャンネルに対応する画面上の位置に、プレイリストに記述された時刻に従って、サムネイル映像データを表示させるように、当該サムネイル映像データを再生し、操作・表示部255に出力し、操作・表示部255がチャンネルに対応する画面位置に当該サムネイル映像を表示する。   The thumbnail video data acquired by the thumbnail video acquisition unit 253 is passed to the thumbnail output unit 254. For example, the thumbnail output unit 254 reproduces the thumbnail video data so that the thumbnail video data is displayed at the position on the screen corresponding to the channel according to the time described in the playlist, and the thumbnail display unit 255 displays the thumbnail video data on the operation / display unit 255. The operation / display unit 255 displays the thumbnail image at the screen position corresponding to the channel.

また、第1の実施の形態と同様、例えば、チャンネル毎のサムネイル映像が表示されている操作・表示部255上でユーザによりチャンネルの指定(サムネイル映像の指定)がなされた場合に、連動制御部256は、操作・表示部255からチャンネル情報(チャンネル番号等)を取得し、当該チャンネル情報をテレビ400に対して送信することで、ユーザが所望のチャンネルの映像を視聴することを可能とする。   Similarly to the first embodiment, for example, when a user designates a channel (thumbnail video designation) on the operation / display unit 255 on which a thumbnail video for each channel is displayed, the interlock control unit 256 acquires channel information (such as a channel number) from the operation / display unit 255 and transmits the channel information to the television 400, thereby enabling the user to view a video of a desired channel.

なお、本実施の形態では、テレビ400が各チャンネルの映像ストリーム本体のプレイリストを取得し、当該プレイリストに基づきチャンネルの映像表示を行うことを想定している。上述したように、本実施の形態でのサムネイル映像プレイリストは、映像ストリーム本体のプレイリストから作成されているので、ユーザ端末250において、テレビ400に表示される映像と同期したサムネイル映像の表示が可能である。なお、ユーザ端末150自身が、映像ストリーム本体のプレイリストを取得し、当該プレイリストに基づきチャンネルの映像表示を行うこととしてもよい(図8における点線)。   In the present embodiment, it is assumed that television 400 acquires a playlist of the video stream body of each channel and performs video display of the channel based on the playlist. As described above, since the thumbnail video playlist in the present embodiment is created from the playlist of the video stream body, the thumbnail video synchronized with the video displayed on the television 400 is displayed on the user terminal 250. Is possible. Note that the user terminal 150 itself may acquire the playlist of the video stream main body and display the video of the channel based on the playlist (dotted line in FIG. 8).

以上、説明したように、本実施の形態では、映像配信サービスにおける複数チャンネルのサムネイル映像の情報を表示装置に提供するサムネイル提供装置であって、前記複数チャンネルのIフレームのプレイリストから、各チャンネルのサムネイル映像として用いるIフレームの情報を記述したIフレーム情報を取得するフレーム情報取得手段と、前記フレーム情報取得手段により取得した複数チャンネルのIフレーム情報について、同時刻のIフレーム情報毎に、当該Iフレーム情報をチャンネルの順番に並び替える並び替え手段と、前記並び替え手段により並び替えられた複数チャンネルのIフレーム情報をサムネイル映像プレイリストとして前記表示装置に送信する送信手段とを備えるサムネイル提供装置が提供される。   As described above, according to the present embodiment, the thumbnail providing apparatus that provides the display apparatus with the information on the thumbnail images of the plurality of channels in the image distribution service, and each channel from the playlist of the plurality of I-frames. Frame information acquisition means for acquiring I frame information describing I frame information to be used as thumbnail images of the image, and I frame information of a plurality of channels acquired by the frame information acquisition means for each I frame information at the same time A thumbnail providing apparatus comprising: rearranging means for rearranging I frame information in the order of channels; and transmission means for transmitting I frame information of a plurality of channels rearranged by the rearranging means to the display device as a thumbnail video playlist. Is provided.

また、映像配信サービスにおける複数チャンネルのサムネイル映像を表示する表示装置であって、サムネイル提供装置から、各チャンネルのサムネイル映像として用いるIフレームの情報を記述したIフレーム情報を含むサムネイル映像プレイリストを取得するプレイリスト取得手段と、前記サムネイル映像プレイリストにおけるIフレーム情報に基づいて、映像配信サーバから各チャンネルのIフレームデータを取得する映像データ取得手段と、前記映像データ取得手段により取得された各Iフレームデータを、当該Iフレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する表示手段とを備える表示装置が提供される。   Also, a display device that displays thumbnail videos of a plurality of channels in a video distribution service, and obtains a thumbnail video playlist including I frame information describing I frame information used as thumbnail videos of each channel from the thumbnail providing device. Based on the I frame information in the thumbnail video playlist, video data acquisition means for acquiring I frame data of each channel from the video distribution server, and each I acquired by the video data acquisition means There is provided a display device including display means for sequentially displaying frame data as thumbnails at a screen position corresponding to a channel of the I frame data.

(第3の実施の形態:空間方向サムネイルストリーム方式)
次に、第3の実施の形態について説明する。第3の実施の形態では、サムネイルとして用いる複数チャンネルのフレームデータを、空間方向に結合して1枚のフレームにした上で配信を行い、ユーザ端末側では結合されたフレームを各チャンネルのフレームに分割しサムネイルとして表示させることとしている。
(Third embodiment: Spatial direction thumbnail stream method)
Next, a third embodiment will be described. In the third embodiment, frame data of a plurality of channels used as thumbnails is combined in the spatial direction to be delivered as one frame, and the user terminal side converts the combined frame to a frame of each channel. Divided and displayed as thumbnails.

第3の実施の形態における各装置の構成は第1の実施の形態と同じであり、図2(サムネイル提供装置100)、図3(ユーザ端末150)に示すとおりである。つまり、第3の実施の形態に係るサムネイル提供装置100は、フレームデータ取得部101、サムネイル映像フレーム抽出部102、サムネイル映像シーケンス生成部103、エンコード部104、及び符号量調整部105を有する。また、第3の実施の形態に係るユーザ端末150は、デコード部151、フレーム抽出部152、サムネイル出力部153、操作・表示部154、連動制御部155を有する。   The configuration of each device in the third embodiment is the same as that in the first embodiment, as shown in FIG. 2 (thumbnail providing device 100) and FIG. 3 (user terminal 150). That is, the thumbnail providing apparatus 100 according to the third embodiment includes a frame data acquisition unit 101, a thumbnail video frame extraction unit 102, a thumbnail video sequence generation unit 103, an encoding unit 104, and a code amount adjustment unit 105. Further, the user terminal 150 according to the third embodiment includes a decoding unit 151, a frame extraction unit 152, a thumbnail output unit 153, an operation / display unit 154, and an interlock control unit 155.

ただし、本実施の形態では、サムネイル提供装置100のサムネイル映像シーケンス生成部103が、サムネイルとして用いる複数チャンネルのフレームを時間方向に並べるのではなく、空間方向に結合する。また、ユーザ端末150のフレーム抽出部152は、空間方向に結合された1枚のフレームから各チャンネルに対応する領域のフレームを抽出する処理を行う。   However, in the present embodiment, the thumbnail video sequence generation unit 103 of the thumbnail providing apparatus 100 combines frames of a plurality of channels used as thumbnails in the spatial direction instead of arranging them in the time direction. In addition, the frame extraction unit 152 of the user terminal 150 performs a process of extracting a frame in an area corresponding to each channel from one frame combined in the spatial direction.

<第3の実施の形態におけるシステムの動作例>
次に、上述した構成を備えるサムネイル提供装置100、及びユーザ端末150の処理動作を、図10、図11を参照してより詳細に説明する。図10、図11におけるS31、S32等の記号は、以下の説明でのステップS31、ステップS32等のステップ番号に対応する。まず、図10を参照してサムネイル提供装置100における処理例を説明する。
<Example of System Operation in Third Embodiment>
Next, processing operations of the thumbnail providing apparatus 100 having the above-described configuration and the user terminal 150 will be described in more detail with reference to FIGS. Symbols such as S31 and S32 in FIGS. 10 and 11 correspond to step numbers such as step S31 and step S32 in the following description. First, an example of processing in the thumbnail providing apparatus 100 will be described with reference to FIG.

[ステップS31:フレームの取得]
まず、第1の実施の形態と同様にして、フレームデータ取得部101は、サムネイル映像を作りたい全てのチャンネルの映像ストリームをそれぞれデコードし、各ストリームのフレームデータを得る。
[Step S31: Acquisition of Frame]
First, as in the first embodiment, the frame data acquisition unit 101 decodes the video streams of all the channels for which thumbnail images are to be created, and obtains the frame data of each stream.

[ステップS32:サムネイル映像シーケンスの生成]
続いて、サムネイル映像フレーム抽出部102が、ステップS31で取得された各チャンネルのフレームデータにおいて、全チャンネル間で時間的に同期がとれるフレーム群を一定間隔(=F)で取得し、マルチチャンネルフレームバッファに格納する。
[Step S32: Generation of Thumbnail Video Sequence]
Subsequently, the thumbnail video frame extraction unit 102 acquires, in the frame data of each channel acquired in step S31, a group of frames that can be temporally synchronized between all channels at a constant interval (= F), so that a multi-channel frame is acquired. Store in buffer.

そして、サムネイル映像シーケンス生成部103が、マルチチャンネルフレームバッファに保存されたフレーム群(時間的に同時刻のフレーム群)を、空間方向に組み合わせてサムネイル映像フレームを生成する。この処理を一定間隔(=F)で繰り返し、サムネイル映像フレームが時間方向に並べられたサムネイル映像シーケンスを生成する。   Then, the thumbnail video sequence generation unit 103 generates a thumbnail video frame by combining the frame groups (frame groups at the same time in time) stored in the multi-channel frame buffer in the spatial direction. This process is repeated at regular intervals (= F) to generate a thumbnail video sequence in which thumbnail video frames are arranged in the time direction.

図10に示す例では、時刻毎に、チャンネル1、チャンネル2、....、チャンネルNのフレーム(デコードされた映像データ)が結合されて1枚の画像データがサムネイル映像フレームとして生成されている。当該サムネイル映像フレームを時刻順に並べることでサムネイル映像シーケンスが生成される。   In the example shown in FIG. 10, for each time, channel 1, channel 2,. Channel N frames (decoded video data) are combined to generate one image data as thumbnail video frames. A thumbnail video sequence is generated by arranging the thumbnail video frames in time order.

[ステップS33:サムネイル映像ストリームの生成]
ステップS32の処理までで生成されたサムネイル映像シーケンスは非圧縮のデータであるため、ステップS33では、エンコード部104が、サムネイル映像シーケンス送信のためにエンコードを行い、サムネイル映像ストリームを生成する。この時、各チャンネルの領域をスライスとして、スライス毎に異なるスライスIDを付与しておく。当該スライスIDは、例えば、各スライスの所定位置(例:先頭位置)に配置される。なお、スライスIDは、スライスに対応するチャンネルの番号であってもよい。スライスIDは、符号化前のスライスに付与してもよいし、符号化後のスライスに付与してもよい。また、符号量調整部105が各チャンネル領域の絵柄の複雑さによって、フレーム内の符号量配分を行うこととしてもよい。
[Step S33: Generation of Thumbnail Video Stream]
Since the thumbnail video sequence generated up to the processing in step S32 is uncompressed data, in step S33, the encoding unit 104 performs encoding for transmitting the thumbnail video sequence to generate a thumbnail video stream. At this time, the area of each channel is used as a slice, and a different slice ID is assigned to each slice. For example, the slice ID is arranged at a predetermined position (eg, head position) of each slice. The slice ID may be a channel number corresponding to the slice. The slice ID may be assigned to a slice before encoding or may be assigned to a slice after encoding. Also, the code amount adjustment unit 105 may perform code amount distribution within a frame depending on the complexity of the design of each channel region.

[ステップS34:サムネイル映像ストリームの送出]
ステップS34において、エンコード部104(送信機能を含む)が、エンコードされたサムネイル映像ストリームを送出する。
[Step S34: Send thumbnail video stream]
In step S34, the encoding unit 104 (including the transmission function) transmits the encoded thumbnail video stream.

次に、図11を参照してユーザ端末150における処理を説明する。   Next, processing in the user terminal 150 will be described with reference to FIG.

[ステップS35:ストリームの受信]
ステップS35において、デコード部151は、サムネイル提供装置100から送出されるサムネイル映像ストリームを受信し、受信したサムネイル映像ストリームに対し、DEMUX処理、デコード処理等を行って、サムネイル映像シーケンスを取得する。
[Step S35: Receive Stream]
In step S35, the decoding unit 151 receives the thumbnail video stream transmitted from the thumbnail providing apparatus 100, and performs a DEMUX process, a decoding process, and the like on the received thumbnail video stream to obtain a thumbnail video sequence.

[ステップS36:サムネイル映像フレームの分解・抽出]
ステップS35で得られたサムネイル映像シーケンスは、フレーム抽出部152が備えるデコードフレーム格納バッファに格納される。そして、フレーム抽出部152は、サムネイル映像シーケンスを構成する各サムネイル映像フレーム(複数チャンネルの同時刻のフレームが結合されたフレーム)から、各チャンネルの領域の映像データ(サムネイル)をそれぞれ切り出す。各チャンネルの領域は、ストリーム中のスライスIDから識別できる。なお、スライスIDを用いることに代えて、第1の実施の形態のように、補助情報を用いて各チャンネルの領域を識別するようにしてもよい。
[Step S36: Decomposition and Extraction of Thumbnail Video Frame]
The thumbnail video sequence obtained in step S35 is stored in the decoded frame storage buffer provided in the frame extraction unit 152. Then, the frame extraction unit 152 cuts out the video data (thumbnail) of the area of each channel from each thumbnail video frame constituting the thumbnail video sequence (a frame in which frames of a plurality of channels at the same time are combined). The area of each channel can be identified from the slice ID in the stream. Instead of using slice IDs, each channel region may be identified using auxiliary information as in the first embodiment.

[ステップS37:画面表示]
次に、サムネイル出力部153は、ステップS36で取得された各チャンネルのサムネイル(フレームデータ)をチャンネル毎に順次、画面上の所定の位置に表示されるよう、操作・表示部154に対して出力する。
[Step S37: Screen Display]
Next, the thumbnail output unit 153 outputs the thumbnails (frame data) of each channel acquired in step S36 to the operation / display unit 154 so that the thumbnails (frame data) are sequentially displayed at predetermined positions on the screen. To do.

画面表示がなされた後、例えば、ユーザによるサムネイルの選択によって、チャンネル選択がなされ、連動制御部155により、選択されたチャンネルの情報がテレビ400に通知される。   After the screen is displayed, for example, a channel is selected by the user selecting a thumbnail, and the interlocking control unit 155 notifies the television 400 of information on the selected channel.

上記のように、本実施の形態では、映像配信サービスにおける複数チャンネルのサムネイル映像を提供するサムネイル提供装置であって、前記映像配信サービスにより提供される各チャンネルのフレームデータを取得し、当該フレームデータから、各チャンネルのサムネイル映像として用いるフレーム群を所定の間隔で取得するフレーム取得手段と、前記フレーム取得手段により取得したフレーム群毎に、当該フレーム群を結合して1枚のサムネイル映像フレームを生成し、当該サムネイル映像フレームを並べたサムネイル映像シーケンスを生成するシーケンス生成手段と、前記シーケンス生成手段により生成したサムネイル映像シーケンスを送出する手段とを備えるサムネイル提供装置が提供される。   As described above, in the present embodiment, a thumbnail providing apparatus that provides thumbnail videos of a plurality of channels in a video distribution service, acquires frame data of each channel provided by the video distribution service, and the frame data Frame acquisition means for acquiring a frame group used as a thumbnail image of each channel at a predetermined interval, and for each frame group acquired by the frame acquisition means, the frame group is combined to generate one thumbnail video frame Then, a thumbnail providing apparatus is provided that includes a sequence generation unit that generates a thumbnail video sequence in which the thumbnail video frames are arranged, and a unit that transmits the thumbnail video sequence generated by the sequence generation unit.

また、映像配信サービスにおける複数チャンネルのサムネイル映像を表示する表示装置であって、サムネイル提供装置から受信したサムネイル映像シーケンスから、前記複数チャンネルのフレームデータを結合して生成されたサムネイル映像フレーム毎に、各チャンネルに対応する領域のフレームデータを取得するフレーム取得手段と、前記フレーム取得手段により取得された各フレームデータを、当該フレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する表示手段とを備える表示装置が提供される。   Further, the display device displays thumbnail videos of a plurality of channels in a video distribution service, and for each thumbnail video frame generated by combining the frame data of the plurality of channels from a thumbnail video sequence received from a thumbnail providing device, Frame acquisition means for acquiring frame data of an area corresponding to each channel, and display means for sequentially displaying each frame data acquired by the frame acquisition means as a thumbnail at a screen position corresponding to the channel of the frame data. A display device is provided.

(実施の形態で説明した技術のまとめ、効果等)
以上、説明したように、各実施の形態では、サムネイル用の映像は、メインの配信映像と同様にストリーミングデータとして生成させる。例えば、複数チャンネルの映像データは、サムネイル提供装置側で表示に必要な部分のみ抽出しながら1つの映像データとして束ねて配信させる。ユーザ端末側では受信したストリーミングデータを用いて各チャンネルのサムネイル映像を表示できる。
(Summary of technology explained in the embodiment, effects, etc.)
As described above, in each embodiment, the thumbnail video is generated as streaming data in the same manner as the main distribution video. For example, the video data of a plurality of channels is bundled and distributed as one video data while extracting only the part necessary for display on the thumbnail providing apparatus side. On the user terminal side, the thumbnail video of each channel can be displayed using the received streaming data.

また、サムネイル映像向けのストリーミングデータに関し、実際の配信データと対応付けを行うための位置情報(時刻情報、バイト位置情報等)が提供されるため、実際の配信内容との時刻同期が可能である。   In addition, since the position information (time information, byte position information, etc.) for associating with the actual distribution data is provided for the streaming data for the thumbnail video, the time synchronization with the actual distribution contents is possible. .

これにより、多チャンネル映像配信サービスにおいて、ユーザは、それぞれのチャンネルで"今"何が配信されているかを容易に把握しながら、興味を持ったチャンネルを選択しテレビに表示・視聴することができる。   As a result, in the multi-channel video distribution service, the user can select the channel he / she is interested in and display / view it on the TV while easily grasping what is being distributed in each channel. .

(第1項)
映像配信サービスにおける複数チャンネルのサムネイル映像を提供するサムネイル提供装置であって、
前記映像配信サービスにより提供される各チャンネルのフレームデータを取得し、当該フレームデータから、各チャンネルのサムネイル映像として用いるフレーム群を所定の間隔で取得するフレーム取得手段と、
前記フレーム取得手段により取得したフレーム群を時間軸方向に並べることにより、サムネイル映像シーケンスを生成するシーケンス生成手段と、
前記シーケンス生成手段により取得したサムネイル映像シーケンスを送出する手段と
を備えることを特徴とするサムネイル提供装置。
(第2項)
映像配信サービスにおける複数チャンネルのサムネイル映像の情報を表示装置に提供するサムネイル提供装置であって、
前記複数チャンネルのIフレームのプレイリストから、各チャンネルのサムネイル映像として用いるIフレームの情報を記述したIフレーム情報を取得するフレーム情報取得手段と、
前記フレーム情報取得手段により取得した複数チャンネルのIフレーム情報について、同時刻のIフレーム情報毎に、当該Iフレーム情報をチャンネルの順番に並び替える並び替え手段と、
前記並び替え手段により並び替えられた複数チャンネルのIフレーム情報をサムネイル映像プレイリストとして前記表示装置に送信する送信手段と
を備えることを特徴とするサムネイル提供装置。
(第3項)
映像配信サービスにおける複数チャンネルのサムネイル映像を提供するサムネイル提供装置であって、
前記映像配信サービスにより提供される各チャンネルのフレームデータを取得し、当該フレームデータから、各チャンネルのサムネイル映像として用いるフレーム群を所定の間隔で取得するフレーム取得手段と、
前記フレーム取得手段により取得したフレーム群毎に、当該フレーム群を結合して1枚のサムネイル映像フレームを生成し、当該サムネイル映像フレームを並べたサムネイル映像シーケンスを生成するシーケンス生成手段と、
前記シーケンス生成手段により生成したサムネイル映像シーケンスを送出する手段と
を備えることを特徴とするサムネイル提供装置。
(第4項)
コンピュータを、第1項ないし第3項のうちいずれか1項に記載のサムネイル提供装置における各手段として機能させるためのプログラム。
(第5項)
映像配信サービスにおける複数チャンネルのサムネイル映像を表示する表示装置であって、
サムネイル提供装置から受信したサムネイル映像シーケンスにおいて、所定の間隔で生成された前記複数チャンネルに対応するフレーム群毎に、先頭のチャンネルからフレームデータを順次取得するフレーム取得手段と、
前記フレーム取得手段により取得された各フレームデータを、当該フレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する表示手段と
を備えることを特徴とする表示装置。
(第6項)
映像配信サービスにおける複数チャンネルのサムネイル映像を表示する表示装置であって、
サムネイル提供装置から、各チャンネルのサムネイル映像として用いるIフレームの情報を記述したIフレーム情報を含むサムネイル映像プレイリストを取得するプレイリスト取得手段と、
前記サムネイル映像プレイリストにおけるIフレーム情報に基づいて、映像配信サーバから各チャンネルのIフレームデータを取得する映像データ取得手段と、
前記映像データ取得手段により取得された各Iフレームデータを、当該Iフレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する表示手段と
を備えることを特徴とする表示装置。
(第7項)
映像配信サービスにおける複数チャンネルのサムネイル映像を表示する表示装置であって、
サムネイル提供装置から受信したサムネイル映像シーケンスから、前記複数チャンネルのフレームデータを結合して生成されたサムネイル映像フレーム毎に、各チャンネルに対応する領域のフレームデータを取得するフレーム取得手段と、
前記フレーム取得手段により取得された各フレームデータを、当該フレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する表示手段と
を備えることを特徴とする表示装置。
(第8項)
コンピュータを、第5項ないし第7項のうちいずれか1項に記載の表示装置における各手段として機能させるためのプログラム。
(第9項)
映像配信サービスにおける複数チャンネルのサムネイル映像を提供するサムネイル提供装置と表示装置とを有するサムネイル映像表示システムにおいて実行されるサムネイル映像表示方法であって、
前記サムネイル提供装置が、
前記映像配信サービスにより提供される各チャンネルのフレームデータを取得し、当該フレームデータから、各チャンネルのサムネイル映像として用いるフレーム群を所定の間隔で取得し、
前記フレーム群を時間軸方向に並べることにより、サムネイル映像シーケンスを生成し、当該サムネイル映像シーケンスを送出し、
前記表示装置が、
前記サムネイル提供装置から受信した前記サムネイル映像シーケンスにおいて、所定の間隔で生成された前記複数チャンネルに対応するフレーム群毎に、先頭のチャンネルからフレームデータを順次取得し、
取得された各フレームデータを、当該フレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する
ことを特徴とするサムネイル映像表示方法。
(第10項)
映像配信サービスにおける複数チャンネルのサムネイル映像の情報を表示装置に提供するサムネイル提供装置と表示装置とを有するサムネイル映像表示システムにおいて実行されるサムネイル映像表示方法であって、
前記サムネイル提供装置が、
前記複数チャンネルのIフレームのプレイリストから、各チャンネルのサムネイル映像として用いるIフレームの情報を記述したIフレーム情報を取得し、
前記取得した複数チャンネルのIフレーム情報について、同時刻のIフレーム情報毎に、当該Iフレーム情報をチャンネルの順番に並び替え、
前記並び替えられた複数チャンネルのIフレーム情報をサムネイル映像プレイリストとして前記表示装置に送信し、
前記表示装置が、
前記サムネイル提供装置から、前記サムネイル映像プレイリストを受信し、
前記サムネイル映像プレイリストにおけるIフレーム情報に基づいて、映像配信サーバから各チャンネルのIフレームデータを取得し、
前記映像配信サーバから取得された各Iフレームデータを、当該Iフレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する
ことを特徴とするサムネイル映像表示方法。
(第11項)
映像配信サービスにおける複数チャンネルのサムネイル映像を提供するサムネイル提供装置と表示装置とを有するサムネイル映像表示システムにおいて実行されるサムネイル映像表示方法であって、
前記サムネイル提供装置が、
前記映像配信サービスにより提供される各チャンネルのフレームデータを取得し、当該フレームデータから、各チャンネルのサムネイル映像として用いるフレーム群を所定の間隔で取得し、
前記フレーム群毎に、当該フレーム群を結合して1枚のサムネイル映像フレームを生成し、当該サムネイル映像フレームを並べたサムネイル映像シーケンスを生成し、当該サムネイル映像シーケンスを送出し、
前記表示装置が、
前記サムネイル提供装置から受信した前記サムネイル映像シーケンスから、前記複数チャンネルのフレームデータを結合して生成されたサムネイル映像フレーム毎に、各チャンネルに対応する領域のフレームデータを取得し、
取得された各フレームデータを、当該フレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する
ことを特徴とするサムネイル映像表示方法。
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
(Section 1)
A thumbnail providing apparatus for providing thumbnail images of a plurality of channels in a video distribution service,
Frame acquisition means for acquiring frame data of each channel provided by the video distribution service, and acquiring a frame group used as a thumbnail video of each channel from the frame data at a predetermined interval;
Sequence generating means for generating a thumbnail video sequence by arranging the frames acquired by the frame acquiring means in the time axis direction;
Means for sending a thumbnail video sequence acquired by the sequence generation means;
A thumbnail providing apparatus comprising:
(Section 2)
A thumbnail providing device for providing information on thumbnail images of a plurality of channels in a video distribution service to a display device,
Frame information acquisition means for acquiring I frame information describing information of an I frame used as a thumbnail image of each channel from the I frame playlist of the plurality of channels;
Reordering means for reordering the I frame information in the order of the channels for each I frame information at the same time for the I frame information of a plurality of channels acquired by the frame information acquisition means;
Transmitting means for transmitting I-frame information of a plurality of channels rearranged by the rearranging means to the display device as a thumbnail video playlist;
A thumbnail providing apparatus comprising:
(Section 3)
A thumbnail providing apparatus for providing thumbnail images of a plurality of channels in a video distribution service,
Frame acquisition means for acquiring frame data of each channel provided by the video distribution service, and acquiring a frame group used as a thumbnail video of each channel from the frame data at a predetermined interval;
For each frame group acquired by the frame acquisition unit, the frame group is combined to generate one thumbnail video frame, and a sequence generation unit that generates a thumbnail video sequence in which the thumbnail video frames are arranged;
Means for sending a thumbnail video sequence generated by the sequence generation means;
A thumbnail providing apparatus comprising:
(Section 4)
A program for causing a computer to function as each unit in the thumbnail providing apparatus according to any one of Items 1 to 3.
(Section 5)
A display device for displaying thumbnail images of a plurality of channels in a video distribution service,
Frame acquisition means for sequentially acquiring frame data from the first channel for each frame group corresponding to the plurality of channels generated at predetermined intervals in the thumbnail video sequence received from the thumbnail providing device;
Display means for sequentially displaying each frame data acquired by the frame acquisition means as a thumbnail at a screen position corresponding to the channel of the frame data;
A display device comprising:
(Section 6)
A display device for displaying thumbnail images of a plurality of channels in a video distribution service,
Playlist acquisition means for acquiring a thumbnail video playlist including I frame information describing I frame information used as thumbnail video of each channel from the thumbnail providing device;
Video data acquisition means for acquiring I frame data of each channel from the video distribution server based on the I frame information in the thumbnail video playlist;
Display means for sequentially displaying each I frame data acquired by the video data acquisition means as a thumbnail at a screen position corresponding to the channel of the I frame data;
A display device comprising:
(Section 7)
A display device for displaying thumbnail images of a plurality of channels in a video distribution service,
Frame acquisition means for acquiring frame data of an area corresponding to each channel for each thumbnail video frame generated by combining the frame data of the plurality of channels from the thumbnail video sequence received from the thumbnail providing device;
Display means for sequentially displaying each frame data acquired by the frame acquisition means as a thumbnail at a screen position corresponding to the channel of the frame data;
A display device comprising:
(Section 8)
A program for causing a computer to function as each unit in the display device according to any one of Items 5 to 7.
(Section 9)
A thumbnail video display method executed in a thumbnail video display system having a thumbnail providing device and a display device for providing thumbnail video of a plurality of channels in a video distribution service,
The thumbnail providing device is
Obtaining frame data of each channel provided by the video distribution service, obtaining a frame group used as a thumbnail video of each channel from the frame data at a predetermined interval;
By arranging the frame groups in the time axis direction, a thumbnail video sequence is generated, and the thumbnail video sequence is transmitted.
The display device
In the thumbnail video sequence received from the thumbnail providing device, for each frame group corresponding to the plurality of channels generated at a predetermined interval, frame data is sequentially acquired from the first channel;
Each acquired frame data is sequentially displayed as a thumbnail at the screen position corresponding to the channel of the frame data.
A thumbnail image display method characterized by that.
(Section 10)
A thumbnail video display method executed in a thumbnail video display system including a thumbnail providing device and a display device for providing thumbnail video information of a plurality of channels to a display device in a video distribution service,
The thumbnail providing device is
Obtaining I frame information describing I frame information used as thumbnail video of each channel from the I channel playlist of the plurality of channels;
For the acquired I-frame information of a plurality of channels, the I-frame information is rearranged in the order of the channels for each I-frame information at the same time,
Transmitting the rearranged I-frame information of a plurality of channels as a thumbnail video playlist to the display device;
The display device
Receiving the thumbnail video playlist from the thumbnail providing device;
Based on the I frame information in the thumbnail video playlist, obtain I frame data of each channel from the video distribution server,
Each I frame data acquired from the video distribution server is sequentially displayed as a thumbnail at a screen position corresponding to the channel of the I frame data.
A thumbnail image display method characterized by that.
(Section 11)
A thumbnail video display method executed in a thumbnail video display system having a thumbnail providing device and a display device for providing thumbnail video of a plurality of channels in a video distribution service,
The thumbnail providing device is
Obtaining frame data of each channel provided by the video distribution service, obtaining a frame group used as a thumbnail video of each channel from the frame data at a predetermined interval;
For each frame group, combine the frame groups to generate one thumbnail video frame, generate a thumbnail video sequence in which the thumbnail video frames are arranged, send the thumbnail video sequence,
The display device
For each thumbnail video frame generated by combining the frame data of the plurality of channels from the thumbnail video sequence received from the thumbnail providing device, obtain frame data of an area corresponding to each channel;
Each acquired frame data is sequentially displayed as a thumbnail at the screen position corresponding to the channel of the frame data.
A thumbnail image display method characterized by that.
The present invention is not limited to the above-described embodiments, and various modifications and applications are possible within the scope of the claims.

100、200 サムネイル提供装置
150、250 ユーザ端末
400 テレビ
101 フレームデータ取得部
102 サムネイル映像フレーム抽出部
103 サムネイル映像シーケンス生成部
104 エンコード部
105 符号量調整部
151 デコード部
152 フレーム抽出部
153 サムネイル出力部
154 操作・表示部
155 連動制御部
201 Iフレーム情報取得部
202 Iフレーム情報並び替え部
203 サムネイル映像プレイリスト生成部
204 サムネイル映像プレイリスト格納部
205 サムネイル映像プレイリスト送信部
251 サムネイル映像プレイリスト取得部
252 サムネイル映像プレイリスト格納部
253 サムネイル映像取得部
254 サムネイル出力部
255 操作・表示部
256 連動制御部
100, 200 Thumbnail providing apparatus 150, 250 User terminal 400 Television 101 Frame data acquisition unit 102 Thumbnail video frame extraction unit 103 Thumbnail video sequence generation unit 104 Encoding unit 105 Code amount adjustment unit 151 Decoding unit 152 Frame extraction unit 153 Thumbnail output unit 154 Operation / display unit 155 Link control unit 201 I frame information acquisition unit 202 I frame information rearrangement unit 203 Thumbnail video playlist generation unit 204 Thumbnail video playlist storage unit 205 Thumbnail video playlist transmission unit 251 Thumbnail video playlist acquisition unit 252 Thumbnail image playlist storage unit 253 Thumbnail image acquisition unit 254 Thumbnail output unit 255 Operation / display unit 256 Interlocking control unit

Claims (11)

映像配信サービスにおける複数チャンネルのサムネイル映像を提供するサムネイル提供装置であって、
前記映像配信サービスにより提供される各チャンネルのフレームデータを取得し、当該フレームデータから、各チャンネルのサムネイル映像として用いるフレーム群を所定の間隔で取得するフレーム取得手段と、
前記フレーム取得手段により取得したフレーム群を時間軸方向に並べることにより、サムネイル映像シーケンスを生成するシーケンス生成手段と、
前記シーケンス生成手段により取得したサムネイル映像シーケンスを送出する手段と
を備えることを特徴とするサムネイル提供装置。
A thumbnail providing apparatus for providing thumbnail images of a plurality of channels in a video distribution service,
Frame acquisition means for acquiring frame data of each channel provided by the video distribution service, and acquiring a frame group used as a thumbnail video of each channel from the frame data at a predetermined interval;
Sequence generating means for generating a thumbnail video sequence by arranging the frames acquired by the frame acquiring means in the time axis direction;
Means for sending out a thumbnail video sequence acquired by the sequence generating means.
映像配信サービスにおける複数チャンネルのサムネイル映像の情報を表示装置に提供するサムネイル提供装置であって、
前記複数チャンネルのIフレームのプレイリストから、各チャンネルのサムネイル映像として用いるIフレームの情報を記述したIフレーム情報を取得するフレーム情報取得手段と、
前記フレーム情報取得手段により取得した複数チャンネルのIフレーム情報について、同時刻のIフレーム情報毎に、当該Iフレーム情報をチャンネルの順番に並び替える並び替え手段と、
前記並び替え手段により並び替えられた複数チャンネルのIフレーム情報をサムネイル映像プレイリストとして前記表示装置に送信する送信手段と
を備えることを特徴とするサムネイル提供装置。
A thumbnail providing device for providing information on thumbnail images of a plurality of channels in a video distribution service to a display device,
Frame information acquisition means for acquiring I frame information describing information of an I frame used as a thumbnail image of each channel from the I frame playlist of the plurality of channels;
Reordering means for reordering the I frame information in the order of the channels for each I frame information at the same time for the I frame information of a plurality of channels acquired by the frame information acquisition means;
A thumbnail providing apparatus comprising: transmission means for transmitting I-frame information of a plurality of channels rearranged by the rearranging means to the display device as a thumbnail video playlist.
映像配信サービスにおける複数チャンネルのサムネイル映像を提供するサムネイル提供装置であって、
前記映像配信サービスにより提供される各チャンネルのフレームデータを取得し、当該フレームデータから、各チャンネルのサムネイル映像として用いるフレーム群であって、全チャンネル間で時間的に同期がとれるフレーム群を所定の間隔で取得するフレーム取得手段と、
前記フレーム取得手段により取得したフレーム群毎に、当該フレーム群を結合して1枚のサムネイル映像フレームを生成し、当該サムネイル映像フレームを時間方向に並べたサムネイル映像シーケンスを生成するシーケンス生成手段と、
前記シーケンス生成手段により生成したサムネイル映像シーケンスを送出する手段と
を備えることを特徴とするサムネイル提供装置。
A thumbnail providing apparatus for providing thumbnail images of a plurality of channels in a video distribution service,
Frame data of each channel provided by the video distribution service is acquired, and a frame group used as a thumbnail video of each channel is obtained from the frame data, and a frame group that is synchronized in time between all channels is determined in advance. Frame acquisition means for acquiring at intervals;
For each frame group acquired by the frame acquisition means, a sequence generation means for generating a thumbnail video sequence by combining the frames and generating one thumbnail video frame and arranging the thumbnail video frames in the time direction ;
Means for sending out a thumbnail video sequence generated by the sequence generating means.
コンピュータを、請求項1ないし3のうちいずれか1項に記載のサムネイル提供装置における各手段として機能させるためのプログラム。   The program for functioning a computer as each means in the thumbnail provision apparatus of any one of Claims 1 thru | or 3. 映像配信サービスにおける複数チャンネルのサムネイル映像を表示する表示装置であって、
サムネイル提供装置から受信したサムネイル映像シーケンスであって、所定の間隔で取得された前記複数チャンネルに対応するフレーム群が時間軸方向に並べられたサムネイル映像シーケンスにおいて、当該フレーム群毎に、先頭のチャンネルからフレームデータを順次取得するフレーム取得手段と、
前記フレーム取得手段により取得された各フレームデータを、当該フレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する表示手段と
を備えることを特徴とする表示装置。
A display device for displaying thumbnail images of a plurality of channels in a video distribution service,
A thumbnail video sequence received from a thumbnail providing apparatus , wherein a first channel is provided for each frame group in a thumbnail video sequence in which frames corresponding to the plurality of channels acquired at predetermined intervals are arranged in a time axis direction. Frame acquisition means for sequentially acquiring frame data from:
A display device comprising: display means for sequentially displaying each frame data acquired by the frame acquisition means as a thumbnail at a screen position corresponding to a channel of the frame data.
映像配信サービスにおける複数チャンネルのサムネイル映像を表示する表示装置であって、
サムネイル提供装置から、各チャンネルのサムネイル映像として用いるIフレームの情報を記述したIフレーム情報を含むサムネイル映像プレイリストを取得するプレイリスト取得手段と、
前記サムネイル映像プレイリストにおけるIフレーム情報に基づいて、映像配信サーバから各チャンネルのIフレームデータを取得する映像データ取得手段と、
前記映像データ取得手段により取得された各Iフレームデータを、当該Iフレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する表示手段と
を備えることを特徴とする表示装置。
A display device for displaying thumbnail images of a plurality of channels in a video distribution service,
Playlist acquisition means for acquiring a thumbnail video playlist including I frame information describing I frame information used as thumbnail video of each channel from the thumbnail providing device;
Video data acquisition means for acquiring I frame data of each channel from the video distribution server based on the I frame information in the thumbnail video playlist;
A display device comprising: display means for sequentially displaying each I frame data acquired by the video data acquisition means as a thumbnail at a screen position corresponding to a channel of the I frame data.
請求項3に記載のサムネイル提供装置と、映像配信サービスにおける複数チャンネルのサムネイル映像を表示する表示装置とを備えるサムネイル映像表示システムであって、
前記表示装置は、
サムネイル提供装置から受信したサムネイル映像シーケンスから、前記複数チャンネルのフレームデータを結合して生成されたサムネイル映像フレーム毎に、各チャンネルに対応する領域のフレームデータを取得するフレーム取得手段と、
前記フレーム取得手段により取得された各フレームデータを、当該フレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する表示手段と
を備えることを特徴とするサムネイル映像表示システム
A thumbnail video display system comprising: the thumbnail providing device according to claim 3; and a display device that displays thumbnail videos of a plurality of channels in a video distribution service .
The display device
Frame acquisition means for acquiring frame data of an area corresponding to each channel for each thumbnail video frame generated by combining the frame data of the plurality of channels from the thumbnail video sequence received from the thumbnail providing device;
A thumbnail video display system comprising: display means for sequentially displaying each frame data acquired by the frame acquisition means as a thumbnail at a screen position corresponding to a channel of the frame data.
コンピュータを、請求項5又は6に記載の表示装置における各手段として機能させるためのプログラム。 The program for functioning a computer as each means in the display apparatus of Claim 5 or 6 . 映像配信サービスにおける複数チャンネルのサムネイル映像を提供するサムネイル提供装置と表示装置とを有するサムネイル映像表示システムにおいて実行されるサムネイル映像表示方法であって、
前記サムネイル提供装置が、
前記映像配信サービスにより提供される各チャンネルのフレームデータを取得し、当該フレームデータから、各チャンネルのサムネイル映像として用いるフレーム群を所定の間隔で取得し、
前記フレーム群を時間軸方向に並べることにより、サムネイル映像シーケンスを生成し、当該サムネイル映像シーケンスを送出し、
前記表示装置が、
前記サムネイル提供装置から受信した前記サムネイル映像シーケンスにおいて、所定の間隔で生成された前記複数チャンネルに対応するフレーム群毎に、先頭のチャンネルからフレームデータを順次取得し、
取得された各フレームデータを、当該フレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する
ことを特徴とするサムネイル映像表示方法。
A thumbnail video display method executed in a thumbnail video display system having a thumbnail providing device and a display device for providing thumbnail video of a plurality of channels in a video distribution service,
The thumbnail providing device is
Obtaining frame data of each channel provided by the video distribution service, obtaining a frame group used as a thumbnail video of each channel from the frame data at a predetermined interval;
By arranging the frame groups in the time axis direction, a thumbnail video sequence is generated, and the thumbnail video sequence is transmitted.
The display device
In the thumbnail video sequence received from the thumbnail providing device, for each frame group corresponding to the plurality of channels generated at a predetermined interval, frame data is sequentially acquired from the first channel;
A thumbnail video display method, wherein each acquired frame data is sequentially displayed as a thumbnail at a screen position corresponding to a channel of the frame data.
映像配信サービスにおける複数チャンネルのサムネイル映像の情報を表示装置に提供するサムネイル提供装置と表示装置とを有するサムネイル映像表示システムにおいて実行されるサムネイル映像表示方法であって、
前記サムネイル提供装置が、
前記複数チャンネルのIフレームのプレイリストから、各チャンネルのサムネイル映像として用いるIフレームの情報を記述したIフレーム情報を取得し、
前記取得した複数チャンネルのIフレーム情報について、同時刻のIフレーム情報毎に、当該Iフレーム情報をチャンネルの順番に並び替え、
前記並び替えられた複数チャンネルのIフレーム情報をサムネイル映像プレイリストとして前記表示装置に送信し、
前記表示装置が、
前記サムネイル提供装置から、前記サムネイル映像プレイリストを受信し、
前記サムネイル映像プレイリストにおけるIフレーム情報に基づいて、映像配信サーバから各チャンネルのIフレームデータを取得し、
前記映像配信サーバから取得された各Iフレームデータを、当該Iフレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する
ことを特徴とするサムネイル映像表示方法。
A thumbnail video display method executed in a thumbnail video display system including a thumbnail providing device and a display device for providing thumbnail video information of a plurality of channels to a display device in a video distribution service,
The thumbnail providing device is
Obtaining I frame information describing I frame information used as thumbnail video of each channel from the I channel playlist of the plurality of channels;
For the acquired I-frame information of a plurality of channels, the I-frame information is rearranged in the order of the channels for each I-frame information at the same time,
Transmitting the rearranged I-frame information of a plurality of channels as a thumbnail video playlist to the display device;
The display device
Receiving the thumbnail video playlist from the thumbnail providing device;
Based on the I frame information in the thumbnail video playlist, obtain I frame data of each channel from the video distribution server,
A thumbnail video display method, wherein each I frame data acquired from the video distribution server is sequentially displayed as a thumbnail at a screen position corresponding to a channel of the I frame data.
映像配信サービスにおける複数チャンネルのサムネイル映像を提供するサムネイル提供装置と表示装置とを有するサムネイル映像表示システムにおいて実行されるサムネイル映像表示方法であって、
前記サムネイル提供装置が、
前記映像配信サービスにより提供される各チャンネルのフレームデータを取得し、当該フレームデータから、各チャンネルのサムネイル映像として用いるフレーム群であって、全チャンネル間で時間的に同期がとれるフレーム群を所定の間隔で取得し、
前記フレーム群毎に、当該フレーム群を結合して1枚のサムネイル映像フレームを生成し、当該サムネイル映像フレームを時間方向に並べたサムネイル映像シーケンスを生成し、当該サムネイル映像シーケンスを送出し、
前記表示装置が、
前記サムネイル提供装置から受信した前記サムネイル映像シーケンスから、前記複数チャンネルのフレームデータを結合して生成されたサムネイル映像フレーム毎に、各チャンネルに対応する領域のフレームデータを取得し、
取得された各フレームデータを、当該フレームデータのチャンネルに対応する画面位置にサムネイルとして順次表示する
ことを特徴とするサムネイル映像表示方法。
A thumbnail video display method executed in a thumbnail video display system having a thumbnail providing device and a display device for providing thumbnail video of a plurality of channels in a video distribution service,
The thumbnail providing device is
Frame data of each channel provided by the video distribution service is acquired, and a frame group used as a thumbnail video of each channel is obtained from the frame data, and a frame group that is synchronized in time between all channels is determined in advance. Get at intervals,
For each frame group, combine the frame groups to generate one thumbnail video frame, generate a thumbnail video sequence in which the thumbnail video frames are arranged in the time direction, and send the thumbnail video sequence,
The display device
For each thumbnail video frame generated by combining the frame data of the plurality of channels from the thumbnail video sequence received from the thumbnail providing device, obtain frame data of an area corresponding to each channel;
A thumbnail video display method, wherein each acquired frame data is sequentially displayed as a thumbnail at a screen position corresponding to a channel of the frame data.
JP2015180889A 2015-09-14 2015-09-14 Thumbnail providing device, display device, thumbnail video display system, thumbnail video display method, and program Active JP6446347B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015180889A JP6446347B2 (en) 2015-09-14 2015-09-14 Thumbnail providing device, display device, thumbnail video display system, thumbnail video display method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015180889A JP6446347B2 (en) 2015-09-14 2015-09-14 Thumbnail providing device, display device, thumbnail video display system, thumbnail video display method, and program

Publications (2)

Publication Number Publication Date
JP2017059886A JP2017059886A (en) 2017-03-23
JP6446347B2 true JP6446347B2 (en) 2018-12-26

Family

ID=58390977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015180889A Active JP6446347B2 (en) 2015-09-14 2015-09-14 Thumbnail providing device, display device, thumbnail video display system, thumbnail video display method, and program

Country Status (1)

Country Link
JP (1) JP6446347B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108024159A (en) * 2017-12-07 2018-05-11 上海网达软件股份有限公司 A kind of generation method and system of video file thumbnail

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4945236B2 (en) * 2006-12-27 2012-06-06 株式会社東芝 Video content display device, video content display method and program thereof
US8875183B2 (en) * 2008-10-31 2014-10-28 International Business Machines Corporation Intelligent TV mosaic for IPTV
US20130283318A1 (en) * 2012-04-23 2013-10-24 Comcast Cable Communications, LLC. Dynamic Mosaic for Creation of Video Rich User Interfaces
JP5702411B2 (en) * 2013-01-21 2015-04-15 エヌ・ティ・ティ・コミュニケーションズ株式会社 Remote control system, remote control method, and remote control program
CN105409235B (en) * 2013-07-19 2019-07-09 索尼公司 File creating apparatus and method and content reproduction apparatus and method
KR20160077067A (en) * 2013-10-30 2016-07-01 소니 주식회사 Transmission device, transmission method, reception device, and reception method

Also Published As

Publication number Publication date
JP2017059886A (en) 2017-03-23

Similar Documents

Publication Publication Date Title
US11470405B2 (en) Network video streaming with trick play based on separate trick play files
US9462307B2 (en) ABR live to VOD system and method
US9681197B2 (en) Methods of implementing multi mode trickplay
JP6462566B2 (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
US7644425B2 (en) Picture-in-picture mosaic
JP6317872B2 (en) Decoder for synchronizing the rendering of content received over different networks and method therefor
US10028021B2 (en) Method and device for encoding a captured screenshot and controlling program content switching based on the captured screenshot
KR102106103B1 (en) Method and Apparatus for Extracting Video from High Resolution Video
KR102247976B1 (en) Communication apparatus, communication data generation method, and communication data processing method
CN102326403A (en) Accelerating channel change time with external picture property markings
CN105430510A (en) Video on demand method, gateway, smart terminal and video on demand system
JP6446347B2 (en) Thumbnail providing device, display device, thumbnail video display system, thumbnail video display method, and program
KR101700626B1 (en) Multi angle view processing apparatus
CN102710967A (en) Cloud television system and method
KR20170130883A (en) Method and apparatus for virtual reality broadcasting service based on hybrid network
TWI673999B (en) Method for transmission of audiovisual content and/or data
WO2016014129A1 (en) Methods of implementing multi mode trickplay
JP5466633B2 (en) Stream switching method and digital broadcast transmission system
US20180359503A1 (en) Method And System For Communicating Inserted Material To A Client Device In A Centralized Content Distribution System
KR100587973B1 (en) Apparatus and method for transmission of multi applications, and digital data broadcasting system using its
KR101684705B1 (en) Apparatus and method for playing media contents
KR20100109261A (en) Method and system for providing channel surfing service based on multi-decoder
KR20070046498A (en) System and method for supporting a personalized mosaic epg service
JP2010213109A (en) Video distribution control server, receiving terminal, video simplifying multiplexer, method of distributing video, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181203

R150 Certificate of patent or registration of utility model

Ref document number: 6446347

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250