JP7327953B2 - Video distribution device, video distribution method and program - Google Patents
Video distribution device, video distribution method and program Download PDFInfo
- Publication number
- JP7327953B2 JP7327953B2 JP2019044096A JP2019044096A JP7327953B2 JP 7327953 B2 JP7327953 B2 JP 7327953B2 JP 2019044096 A JP2019044096 A JP 2019044096A JP 2019044096 A JP2019044096 A JP 2019044096A JP 7327953 B2 JP7327953 B2 JP 7327953B2
- Authority
- JP
- Japan
- Prior art keywords
- segment
- frame
- generating
- acquisition request
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、動画配信装置、動画配信方法及びプログラムに関する。 The present invention relates to a video distribution device, a video distribution method, and a program.
近年、IP(Internet Protocol)ネットワークを利用した配信システムが増加してきている。こうした配信システムとしては、スキー場や動物園の状況を配信するシステムや、店舗・ビル監視のシステムがある。 In recent years, distribution systems using IP (Internet Protocol) networks have been increasing. Such distribution systems include systems for distributing the conditions of ski resorts and zoos, and systems for monitoring stores and buildings.
動画サービスでは、HTTP(Hyper Text Transfer Protocol)を用いたAdaptive Bitrate Streaming技術が普及してきている。Adaptive Bitrate Streaming技術としては、DASH(Dynamic Adaptive Streaming over HTTP)やHLS(HTTP Live Streaming)がある。DASHは、MPEG(Moving Picture Experts Group)によって規格化された技術である。HLSは、Appleが主導して規格化している技術である。 Adaptive Bitrate Streaming technology using HTTP (Hyper Text Transfer Protocol) is becoming popular in video services. Adaptive Bitrate Streaming technology includes DASH (Dynamic Adaptive Streaming over HTTP) and HLS (HTTP Live Streaming). DASH is a technique standardized by MPEG (Moving Picture Experts Group). HLS is a standardized technology led by Apple.
一般的なDASH配信では、配信サーバ側で解像度やビットレートが異なる複数の動画データを数秒単位のセグメントと言われる動画ファイルに分割する。一方、クライアントは、配信サーバから動画の全体情報が記載されているMPD(Media Presentation Description)ファイルを取得し、ファイルを参照し、適切な解像度やビットレートの動画ストリームを選択する。そして、クライアントは、MPDの記載に従って、MPEG2 TSストリームまたはMP4ファイルの動画データをセグメント単位でダウンロードして再生する。 In general DASH distribution, a distribution server divides a plurality of moving image data with different resolutions and bit rates into moving image files called segments of several seconds. On the other hand, the client acquires an MPD (Media Presentation Description) file describing overall information of the moving image from the distribution server, refers to the file, and selects a moving image stream with appropriate resolution and bit rate. Then, the client downloads and reproduces moving image data of the MPEG2 TS stream or MP4 file in units of segments according to the description of the MPD.
特許文献1には、複数の映像ストリームを蓄積しておき、ストリーム切り換え時は蓄積された映像を送ることで、ストリーム切り替え時の再生開始待ち時間を削減し、任意の時点でストリームを切り替える方法が開示されている。特許文献2には、異なる帯域を持つ複数の映像ストリームを同期配信するシステムにおいて、再生する映像ストリームをFIFO(First in,First out)でバッファリングしながらネットワークの通信速度や欠損を検出してストリームを切り換える方法が開示されている。 Patent Document 1 discloses a method of storing a plurality of video streams and transmitting the stored video when switching streams, thereby reducing the waiting time for starting playback when switching streams, and switching streams at any time. disclosed. In Patent Document 2, in a system for synchronously distributing a plurality of video streams having different bandwidths, a video stream to be reproduced is buffered by FIFO (first in, first out), and the communication speed and loss of the network are detected and streamed. is disclosed.
一般に、複数の映像ストリームを同時に生成できる機器では各映像ストリームが独立して生成される。このため、フレーム内符号化されたフレーム(以降では、Iフレーム)は必ずしも同じタイミングで生成されるわけではない。 In general, devices capable of simultaneously generating multiple video streams generate each video stream independently. Therefore, intra-frame-encoded frames (hereinafter referred to as I-frames) are not necessarily generated at the same timing.
Adaptive Bitrate Streaming技術を使ったライブ配信では、ネットワーク帯域等に合わせて映像ストリームを切り替えることができる。しかしながら、Iフレームの生成タイミングが異なる状況で映像ストリームを切り替えようとすると、必ずしもIフレームから始まるセグメントを構成できるとは限らない。すなわち、配信映像データを受信するクライアント側で連続して再生できなくなるという課題があった。 In live distribution using Adaptive Bitrate Streaming technology, video streams can be switched according to network bandwidth and the like. However, if it is attempted to switch video streams in a situation where I-frame generation timing is different, it is not always possible to form a segment starting from an I-frame. That is, there is a problem that the client receiving the distributed video data cannot reproduce it continuously.
本発明はこのような問題点に鑑みなされたもので、動画ストリームの切り替え時においても、連続再生可能な動画ストリームを配信することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of such problems, and it is an object of the present invention to distribute moving image streams that can be continuously reproduced even when moving image streams are switched.
そこで、本発明は、動画配信装置であって、撮影画像に基づいて、複数の動画データを生成する動画生成手段と、前記動画生成手段により生成された動画データにおける所定時間分の動画データであるセグメントを生成するセグメント生成手段と、前記セグメント生成手段によって生成されたセグメントを送信する送信手段とを有し、前記セグメント生成手段は、クライアント装置から、当該クライアント装置に送信済みのセグメントの動画データと異なる種類の動画データのセグメントの取得要求を受信した場合に、前記取得要求に係るセグメントよりも前の、フレーム内符号化されたフレームから前記取得要求に係るセグメントの最後のフレームまでを含む第1のセグメントを生成し、前記取得要求に係るセグメントよりも前のフレームの表示時間を、前記取得要求に係るセグメントに含まれるフレームの表示時間よりも短い時間に設定し、前記送信手段は、前記第1のセグメントを送信することを特徴とする。 Accordingly, the present invention provides a moving picture distribution apparatus comprising: moving picture generating means for generating a plurality of moving picture data based on a photographed image; and a transmitting means for transmitting the segment generated by the segment generating means, wherein the segment generating means transmits the moving image of the segment that has already been transmitted from the client device to the client device When receiving a request to acquire a segment of video data of a type different from that of the data , includes intra-frame-encoded frames before the segment related to the acquisition request up to the last frame of the segment related to the acquisition request generating a first segment , setting a display time of a frame preceding the segment related to the acquisition request to a time shorter than a display time of a frame included in the segment related to the acquisition request, and , transmitting the first segment .
本発明によれば、動画ストリームの切り替え時においても、連続再生可能な動画ストリームを配信することができる。 According to the present invention, it is possible to deliver continuously reproducible moving image streams even when moving image streams are switched.
以下、本発明の実施形態について図面に基づいて説明する。 BEST MODE FOR CARRYING OUT THE INVENTION An embodiment of the present invention will be described below with reference to the drawings.
(第1の実施形態)
図1は、本実施形態に係る動画配信システムの全体構成図である。動画配信システムは、カメラサーバ装置100とクライアント装置120とを有している。カメラサーバ装置100は、動画配信装置の一例である。カメラサーバ装置100とクライアント装置120は、ネットワーク140を介して相互に接続されている。カメラサーバ装置100は、カメラを備え、カメラにより得られた撮影画像(動画)を、ネットワーク140を介して配信する。本実施形態のカメラサーバ装置100は、DASH配信により、種類が異なる複数の動画を生成し、クライアント装置120の表示性能や通信帯域に応じた種類の動画をセグメント単位でクライアント装置120に送信する。ここで、種類の異なる複数の動画としては、解像度やビットレート、フレームレートが異なる複数の動画が挙げられる。また、セグメントとは、所定の分割単位で分割(セグメント化)された動画データのファイルである。すなわち、セグメントは、動画のうち時間軸方向の一部のデータを含んだ動画ファイルである。クライアント装置120は、カメラサーバ装置100から受信した動画を表示する。
(First embodiment)
FIG. 1 is an overall configuration diagram of a video distribution system according to this embodiment. The video distribution system has a
図1においては、説明の簡略化のためにカメラサーバ装置100を1台のみ示しているが、動画配信システムは、複数のカメラサーバ装置100を有してもよい。すなわち、複数のカメラサーバ装置100が一のクライアント装置120に対し動画を配信してもよい。また、他の例としては、一のカメラサーバ装置100が複数のクライアント装置120に動画を配信してもよい。
Although only one
ネットワーク140は、Ethernet(登録商標)等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。なお、ネットワーク140は、装置間の通信が支障なく行えるものであればその通信規格、規模、構成を問わない。故にインターネットからLAN(Local Area Network)にまで適用可能である。
The
図2は、カメラサーバ装置100のハードウェア構成図である。カメラサーバ装置100は、CPU201、一次記憶装置202、二次記憶装置203、画像キャプチャI/F204、画像センサ205及びネットワークI/F206を有している。CPU201、一次記憶装置202、二次記憶装置203、画像キャプチャI/F204及びネットワークI/F206は、内部バス207を介して相互に接続されている。
FIG. 2 is a hardware configuration diagram of the
CPU201は、カメラサーバ装置100の全体を制御する。一次記憶装置202は、RAMに代表される書き込み可能な高速の記憶装置で、OSや各種プログラム及び各種データがロードされ、またOSや各種プログラムの作業領域としても使用される。二次記憶装置203は、フラッシュメモリ、HDD、SDカード等に代表される不揮発性記憶装置で、OSや各種プログラム及び各種データの永続的な記憶領域として使用される他に、短期的な各種データの記憶領域としても使用される。
The
画像キャプチャI/F204には、CCDやCMOSからなる画像センサ205が接続されている。画像キャプチャI/F204は、画像センサ205から取得した画像データを所定のフォーマットに変換・圧縮し、変換・圧縮後の画像データを一次記憶装置202に転送する。ネットワークI/F206は、前述のネットワーク140と接続するためのI/Fであり、Ethernet等の通信媒体を介してクライアント装置120等との通信を担う。
An
図3は、カメラサーバ装置100の機能構成図である。カメラサーバ装置100は、撮像処理部301と、配信管理部302と、通信処理部303と、を有している。なお、これらの機能は、CPU201が、OSを含む各種プログラムを実行することにより実現されるものである。撮像処理部301は、画像キャプチャI/F204を経由して、画像センサ205で生成されたフレームを取得する。そして、撮像処理部301は、取得したフレームに対し、符号化処理を行う。さらに、撮像処理部301は、SPS(Sequence Parameter Set)やPPS(Picture Parameter Set)などの動画再生に必要な動画メタ情報と共に、符号化後のフレームを一次記憶装置202に格納する。
FIG. 3 is a functional configuration diagram of the
配信管理部302は、DASH配信により、一次記憶装置202に記憶されているフレームをクライアント装置120に配信する処理を制御する。配信管理部302は、一次記憶装置202に記憶されているフレームから、種類の異なる複数のフレームを生成する。具体的には、配信管理部302は、解像度の異なる複数のフレームを生成する。さらに、配信管理部302は、一次記憶装置202に記憶されている動画メタ情報とフレームとに基づいて、初期化セグメント情報及びセグメント情報を作成する。ここで、初期化セグメント情報は、動画ストリームの再生に必要な情報である。セグメント情報は、フレームに含まれる各セグメントの再生に必要な情報である。セグメント情報は、セグメントに含まれる単数又は複数のフレームと、セグメントのヘッダー部とを含む。通信処理部303は、外部装置との通信を制御する。通信処理部303は、例えば、配信管理部302の制御の下、セグメント情報をクライアント装置120に送信する。
The
図4は、DASH配信に利用される配信データの構成図である。配信データの最上位には、動画情報を束ねるMPDファイル400が存在する。MPDファイル400には、動画ストリーム情報として、解像度や符号化情報、セグメントの情報が定義されている。なお、動画ストリームは、単数でも複数でもよい。本実施形態においては、MPDファイル400において、解像度の異なる3つの動画ストリーム(動画ストリーム1、動画ストリーム2及び動画ストリーム3)が定義されているものとする。
FIG. 4 is a configuration diagram of distribution data used for DASH distribution. At the top of the distribution data, there is an
動画ストリーム1は、最も解像度の大きい動画ファイルである。動画ストリーム1が配信された場合、クライアント装置120がダウンロードするデータ量は大きくなるが高画質な動画の再生が可能である。動画ストリーム3は、最も解像度が小さい動画ファイルである。動画ストリーム2は、解像度が中程度の動画ファイルである。動画ストリーム2は、動画ストリーム1よりもデータ量が小さく、動画ストリーム3よりもデータ量が大きい。なお、本実施形態においては、撮像処理部301は、種類の異なる複数の動画ストリームを生成するものとするが、種類及びその数は実施形態に限定されるものではない。動画ストリームの種類は、フレームレート、ビットレート等に応じて定められてもよい。
A moving image stream 1 is a moving image file with the highest resolution. When the video stream 1 is distributed, the amount of data downloaded by the
図5は、動画ストリーム1~3とセグメントの関係図である。ここでは、理解し易くするため、1秒当たりに生成されるフレームを3フレームとし、3フレームを1セグメントとする。撮像処理部301は、動画ストリーム1として、連続したフレーム500~508を生成する。このうち、フレーム500,503,506は、Iフレームである。これ以外のフレーム501,502,504,505,507,508は、Pフレームである。ここで、Iフレームは、映像を構成するために必要な映像情報を有するフレームであり、フレーム内符号化されたフレームの一例である。Pフレームは、直前の画像との差分の映像情報を有するフレームである。同様に、撮像処理部301は、動画ストリーム2として、フレーム510~518を生成し、動画ストリーム3として、フレーム520~528を生成する。
FIG. 5 is a diagram showing the relationship between video streams 1 to 3 and segments. Here, for ease of understanding, it is assumed that 3 frames are generated per second and 3 frames are 1 segment. The
各セグメントは、3つのフレームを含んでいる。すなわち、動画ストリーム1の最初のセグメント(セグメント1)には、フレーム500~502が含まれ、続くセグメント2には、フレーム503~505が含まれ、続くセグメント3には、フレーム506~508が含まれている。同様に、動画ストリーム2のセグメント1には、フレーム510~512が含まれ、セグメント2には、フレーム513~515が含まれ、セグメント3には、フレーム516~518が含まれている。動画ストリーム3も同様である。なお、本実施形態においては、差分の動画情報をPフレームとしたが、Bフレームとしてもよい。
Each segment contains three frames. That is, the first segment (segment 1) of video stream 1 includes frames 500-502, the following segment 2 includes frames 503-505, and the following
セグメントは動画ストリームのある時間帯に含まれるフレームを示しており、クライアント装置120は動画ストリーム番号とセグメント番号を指定して所望のストリームの動画データを取得することができる。
A segment indicates a frame included in a certain time period of a moving image stream, and the
本実施形態においては、クライアント装置120が動画ストリーム1のセグメント1、動画ストリーム2のセグメント2、動画ストリーム3のセグメント3の順に動画ストリームの切り替えを要求した場合を例にカメラサーバ装置100の処理について説明する。
In the present embodiment, the processing of the
カメラサーバ装置100は、まず、動画ストリーム1のセグメント1を送信する場合、セグメント1の先頭フレーム500がIフレームであるため、フレーム500,501,502をセグメント化してクライアント装置120へ送信する。
First, when transmitting segment 1 of video stream 1 , the
次に、カメラサーバ装置100は、動画ストリーム2のセグメント2を送信する。ただし、動画ストリーム2のセグメント2の先頭フレーム513はIフレームではないため、このまま送信しても、クライアント装置120は、先頭フレーム513を再生することができない。そこで、カメラサーバ装置100は、先頭フレーム513よりも前のIフレーム511からセグメント2の最終フレーム515までをセグメント化してクライアント装置120へ送信する。このとき、クライアント装置120は、フレーム511,512と同じ時間のフレーム501,502を既に受信、表示しているため、フレーム511,512を表示する必要がない。そこで、カメラサーバ装置100は、セグメントのヘッダー部にて、フレーム511,512の表示時間にゼロを設定する。なお、セグメントデータのデータ構成については、図6を参照しつつ後に詳述する。
Next, the
さらに、カメラサーバ装置100は、動画ストリーム3のセグメント3を送信する。ただし、動画ストリーム3のセグメント3の先頭フレーム526がIフレームではない。そこで、カメラサーバ装置100は、フレーム526より前のIフレーム525からセグメント3の最終フレーム528までをセグメント化してクライアント装置120へ送信する。この場合も、クライアント装置120は、フレーム515についてはすでにクライアント装置120に送信しているため、セグメントのヘッダー部にてフレーム525の表示時間にゼロを設定する。
Furthermore, the
このように、カメラサーバ装置100が動画ストリームを切り換えた直後のセグメントにIフレームから始まる映像データを含め、表示が重複する場合は表示時間をゼロにして、映像ストリームを配信する。これにより、クライアント装置120は任意のタイミングでストリームを切り換えることができる。さらに、クライアント装置120は、重複配信された映像データについては、復号化処理は行うものの表示処理をしなくて済むため途切れやスキップがない映像を再生することができる。
In this way, the segment immediately after the
図6は、セグメント551のデータ構造の一例を示す図である。本実施形態においては、セグメントデータは、MP4ファイルフォーマットのデータであるものとする。セグメントデータの先頭には、セグメントであることを示すBOX styp600とセグメントの順番を示すBOX sidx601が存在する。続いて、フラグメントの先頭を示すBOX moof602がある。BOX moof602の中にはBOX trun603が含まれている。BOX trun603には、フラグメントに含まれるフレームの表示時間が格納される。BOX trun603にはフラグメントに含まれるフレーム数sample_count と、各フレームの表示時間sample_durationが含まれる。図6の例においては、フレーム数sample_countが5、先頭の2フレームが表示時間ゼロ、続く3フレームの表示時間はフレームレートから算出される表示時間nであることを示している。例えば、30fpsの場合は33msを意味する数字が設定される。最後に映像データを含むBOX mdat604が存在する。
FIG. 6 is a diagram showing an example of the data structure of the
図7は、動画配信処理を示すシーケンス図である。動画配信処理は、カメラサーバ装置100がクライアント装置120に動画を配信する処理である。図5に示す動画ストリーム1,2,3を配信対象とする場合を例に説明する。
FIG. 7 is a sequence diagram showing moving image distribution processing. The moving image distribution processing is processing in which the
S701において、クライアント装置120は、MPDファイルの取得要求をカメラサーバ装置100に送信する。カメラサーバ装置100の配信管理部302は、S701においてMPDファイルの取得要求を受信すると、S702において、配信可能な動画ストリームの動画生成の開始を撮像処理部301に指示する。次に、S703において、配信管理部302は、動画ストリーム情報を記載したMPDファイルを作成して、クライアント装置120に返信する。
In S<b>701 , the
なお、本図においては、前提として、別のクライアント装置に映像配信する、または録画しているなどの理由により、撮像処理部301が動画ストリーム2、3の映像生成を既に開始している状態であるものとする。さらに、動画ストリーム2、3において、次に生成される映像はPフレームであるものとする。なお、別クライアントへの映像配信や録画処理は省略する。
Note that in this figure, it is assumed that the
撮像処理部301は、また、取得要求を受信すると、動画ストリーム1,2,3それぞれのフレーム1、すなわちフレーム500,510,520(I,P,Pフレーム)を生成する。本処理は、動画生成処理の一例である。撮像処理部301は、フレームが生成されると、S704において、フレーム1を生成したことを配信管理部302に通知する。なお、説明の都合上、3ストリーム全てのフレームを一緒に通知するものとして説明するが、最初に生成されるフレームがPフレームとなる場合はフレームの生成を通知せずIフレームが生成するまでスキップしても構わない。
Upon receiving the acquisition request, the
次に、S705において、配信管理部302は、動画ストリーム1のIフレームに付属するSPS/PPSデータから初期化セグメントを作成する。本例においては、SPS/PPSデータはIフレームに付属するものとするが、I/P/Bフレームなどの種別に関係なく、SPS/PPSデータを配信管理部302に通知しても構わない。以降、配信管理部302は各ストリームの最初のIフレームを受信した時に初期化セグメントを作成するものとする。
Next, in S<b>705 , the
一方で、クライアント装置120は、S706において、MPDファイルを受信すると、自装置のCPU能力、表示解像度及びネットワーク帯域などから受信する動画ストリームを選択する。そして、クライアント装置120は、再生に必要な情報が含まれている初期化セグメントの取得要求をカメラサーバ装置100に送信する。本例においては、クライアント装置120は動画ストリーム1を選択したものとする。次に、S707において、配信管理部302は、S705にて作成した初期化セグメントをレスポンスとして送信する。
On the other hand, upon receiving the MPD file in S706, the
カメラサーバ装置100においては、撮像処理部301は、動画ストリーム1、2、3それぞれのフレーム2、すなわちフレーム501,511,521(P,I,Pフレーム)を生成すると、処理をS708へ進める。S708において、撮像処理部301は、フレーム2を生成したことを配信管理部302に通知する。同様に、S709において、撮像処理部301は、次に生成したフレーム3、すなわちフレーム502,512,522(P、P、Iフレーム)についても、生成した旨を通知する。次に、S710において、配信管理部302は、フレーム1,2,3から3ストリーム分のセグメント1を作成し、セグメントの取得要求を受信するまでバッファリングする。本処理は、セグメント生成処理の一例である。S711において、クライアント装置120は、動画ストリーム1のセグメント1の取得要求を送信する。次に、S712において、カメラサーバ装置100の配信管理部302は、S710で生成したセグメントをレスポンスとして送信する。図5の例では、セグメント550が送信される。
In the
同様に、撮像処理部301は、順次、3つの動画ストリームのフレーム(フレーム4,5,6)を生成し(S713,S714,S717)、配信管理部302は、3フレームが揃った時点で次のセグメントを作成する(S718)。S713で通知されるフレーム4は、フレーム503,513,523(I,P,Pフレーム)である。S714で通知されるフレーム5は、フレーム504,514,524(P,I,Pフレーム)である。S717で通知されるフレーム6は、フレーム505,515、525(P,P,Iフレーム)である。
Similarly, the
S718において生成される、動画ストリーム2及び動画ストリーム3のセグメントは、いずれもPフレームから始まるセグメントである。Pフレームから始まるセグメントを最初のフレームとするセグメントを送信した場合に、クライアント装置120は、Pフレームを表示することができない。
The segments of moving image stream 2 and moving
クライアント装置120においては、S715において、既にカメラサーバ装置100から送信済みの動画ストリーム1から動画ストリーム2に切り替えるため、新しい動画ストリーム2の初期化セグメントの取得要求を送信する。次に、S716において、カメラサーバ装置100の配信管理部302は、動画ストリーム2の初期化セグメントをレスポンスとして送信する。
In S715, the
次に、S719において、クライアント装置120は、動画ストリーム2のセグメント2の取得要求を送信する。ただし、配信管理部302が保持しているセグメント2の先頭はPフレームである。そこで、S720において、配信管理部302は、直前のIフレーム、すなわちフレーム511まで遡り、フレーム511(Iフレーム)からフレーム515までを含んだ再構成されたセグメント551を再構成する。次に、S721において、配信管理部302は、再構成されたセグメントをレスポンスとして送信する。
Next, in S<b>719 , the
なお、この場合、配信管理部302は、S720にて再構成されたセグメントよりも前のフレーム(フレーム511,512)の表示時間をゼロに設定する。また、配信管理部302は、送信対象のセグメント(セグメント2)のフレーム(フレーム513,514,515)の表示時間については、フレームレートから算出された値を設定する。
In this case, the
このように、クライアント装置120はセグメントを順次取得しながら動画再生を行う。クライアント装置120では、ネットワーク帯域を測定するためにセグメントのデータ量をカウントするが、表示時間がゼロのフレームを含むセグメントは本来必要ないデータである。このため、受信済みの動画ストリームからの切り替え時の再構成されたセグメントを受信したときはセグメント全体をカウント対象から外す、もしくは表示時間ゼロのフレームのみカウント対象から外してもよい。
In this way, the
図8は、配信管理部302による配信管理処理を示すフローチャートである。配信管理処理は、カメラサーバ装置100がクライアント装置120からMPDファイルの取得要求を受信した場合に開始される。
FIG. 8 is a flowchart showing distribution management processing by the
S801において、配信管理部302は、撮像処理部301に対してフレームの生成開始を指示する。本処理は、図7を参照しつつ説明したS702の処理に対応する。次に、S802において、配信管理部302は、クライアント装置120にMPDファイルを送信する。本処理は、S703の処理に対応する。次に、S803において、配信管理部302は、イベントが発生するのを待つ。次に、S302は、イベントが発生すると、イベントの内容を確認する。配信管理部302は、イベントの内容が、撮像処理部301からのフレーム生成通知イベントの場合には(S804でフレーム生成通知)、処理をS805へ進める。配信管理部302は、イベントの内容が、クライアント装置120からのセグメント取得要求イベントの場合には(S804でセグメント取得要求)、処理をS810へ進める。
In S801, the
S805において、配信管理部302は、生成されたフレームがセグメント分生成されたか否かを判定する。配信管理部302は、セグメント分のフレームが生成された場合には(S805でYES)、処理をS806へ進める。配信管理部302は、セグメント分のフレームが生成されていない場合には(S805でNO)、処理をS808へ進める。S806において、配信管理部302は、セグメント番号とセグメントに含まれるフレーム情報から、生成されたフレームを含むセグメントを生成する。次に、S807において、配信管理部302は、一次記憶装置202に設けられた、該当する動画ストリームの送信待ちリストに追加し、その後処理をS803へ進める。また、S808においては、配信管理部302は、フレーム情報を保存し、その後処理をS803に戻る。
In S<b>805 , the
S810においては、配信管理部302は、要求されたストリームの送信待ちリストに、要求されたセグメントが格納されているか否かを判定する。配信管理部302は、要求されたセグメントが格納されている場合には(S810でYES)、処理をS811へ進める。配信管理部302は、要求されたセグメントが格納されていない場合には(S810でNO)、処理をS819へ進める。
In S810, the
S811において、配信管理部302は、セグメントの先頭のフレームがIフレームであるか否かを判定する。配信管理部302は、Iフレームの場合には(S811でYES)、処理をS812へ進める。配信管理部302は、Iフレームでない場合には(S811でNO)、処理をS813へ進める。S812において、配信管理部302は、セグメントをクライアント装置120に送信し、その後処理をS803へ進める。
In S811, the
S813において、配信管理部302は、直前のIフレームが送信待ちリスト内に存在するか否かを判定する。配信管理部302は、直前のIフレームが送信待ちリストに存在する場合には(S813でYES)、処理をS814へ進める。配信管理部302は、直前のIフレームが送信待ちリストに存在しない場合には(S813でNO)、処理をS816へ進める。なお、図5の例においては、各セグメントに1つのIフレームが含まれるが、例えば、1つのIフレームに対し、Pフレームが3以上連続するような場合には、送信待ちリストにIフレームが存在しない場合がある。また、送信待ちリストのバッファリング量を超えたことで直前のIフレームが送信待ちリストから削除される場合がある。
In S813, the
S814において、配信管理部302は、第1のセグメント再構成処理を行う。具体的には、配信管理部302は、直前のIフレームから要求セグメントまでのフレームを含むセグメント(第1の再構成セグメント)を再構成する。さらにこの場合、配信管理部302は、要求に係るセグメントよりも前のフレームの表示時間にゼロを設定し、要求に係るセグメントに含まれるフレームの表示時間にはフレームレートにより算出された値を設定する。なお、要求に係るセグメントよりも前のフレームの表示時間には、フレームレートにより算出された値よりも短い時間が設定されればよく、その値はゼロに限定されるものではない。次に、S815において、配信管理部302は、再構成されたセグメントをクライアント装置120に送信し、その後処理をS803へ進める。
In S814, the
このように、配信管理部302は、配信対象のセグメントの先頭フレームがIフレームでない場合には、先頭フレームよりも前のIフレームから配信対象のセグメントの最後のフレームまでのセグメントを再構成し、これを送信する。したがって、クライアント装置120は、配信対象のセグメントの先頭フレームから抜けなく再生することができる。さらに、配信対象のセグメントよりも前のフレームの表示時間がゼロに設定されるので、クライアント装置120において、ストリームが切り替えられた後では、ストリーム切り換え前に表示されたフレームに続くフレームから表示することができる。
In this way, when the first frame of the segment to be distributed is not an I frame, the
S816において、配信管理部302は、要求されたセグメント内にIフレームが存在するか否かを判定する。配信管理部302は、要求されたセグメント内にIフレームが存在する場合には(S816でYES)、処理をS817へ進める。配信管理部302は、要求されたセグメント内にIフレームが存在しない場合には(S816でNO)、処理をS819へ進める。
In S816, the
S817において、配信管理部302は、第2の再構成処理を行う。具体的には、配信管理部302は、要求されたセグメント内のIフレームを先頭とし、要求されたセグメント内の最終フレームを最終フレームとするセグメント(第2の再構成セグメント)を再構成する。次に、S818において、配信管理部302は、再構成されたセグメントをクライアント装置120に送信し、その後処理をS803へ進める。なお、S816、S817、S818の処理は、動画データの一部を捨ててしまう処理である。これら処理については、省略してもよい。
In S817, the
S819においては、配信管理部302は、エラーレスポンスをクライアント装置120に送信し、その後処理をS803へ進める。なお、配信管理部302は、S819の処理に替えて、次に配信可能なセグメントが生成されるまで待機することとしてもよい。
In S819, the
以上のように、本実施形態に係るカメラサーバ装置100は、配信対象のセグメントよりも前のIフレームを含んだセグメントを再構成し、これをクライアント装置120に送信する。したがって、カメラサーバ装置100は、動画ストリームの切り替え時においても、連続再生可能な動画ストリームを配信することができる。
As described above, the
実施形態の第1の変形例としては、配信管理部302は、S816にてNOと判定した場合には、以下の処理を行うこととしてもよい。すなわち、配信管理部302は、配信対象のセグメント以降において初めに生成されるIフレームまでの期間が所定の期間以上未来の場合には、撮像処理部301に対しIフレームの生成を要求してもよい。これに対し、撮像処理部301は、次に予定されるIフレームよりも前のタイミングにおいてIフレームを生成する。そして、配信管理部302は、撮像処理部301により生成されたIフレームを先頭フレームとするセグメント(第3の再構成セグメント)を再構成し、クライアント装置120に送信することとしてもよい。
第2の変形例について説明する。本実施形態においては、DASH配信を利用する場合を例に、動画配信処理を説明したが、配信方法は実施形態に限定されるものではない。他の例としては、動画配信に、HLS配信など他のAdaptive Bitrate Streaming技術を用いてもよい。
As a first modified example of the embodiment, the
A second modification will be described. In the present embodiment, the moving image distribution processing has been described using the DASH distribution as an example, but the distribution method is not limited to the embodiment. As another example, other adaptive bitrate streaming techniques such as HLS distribution may be used for moving image distribution.
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to such specific embodiments, and various modifications can be made within the scope of the gist of the invention described in the claims.・Changes are possible.
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
100 カメラサーバ装置
120 クライアント装置
301 撮像処理部
302 配信管理部
303 通信管理部
100
Claims (13)
前記動画生成手段により生成された動画データにおける所定時間分の動画データであるセグメントを生成するセグメント生成手段と、
前記セグメント生成手段により生成されたセグメントを送信する送信手段と
を有し、
前記セグメント生成手段は、クライアント装置から、当該クライアント装置に送信済みのセグメントの動画データと異なる種類の動画データのセグメントの取得要求を受信した場合に、前記取得要求に係るセグメントよりも前の、フレーム内符号化されたフレームから前記取得要求に係るセグメントの最後のフレームまでを含む第1のセグメントを生成し、前記取得要求に係るセグメントよりも前のフレームの表示時間を、前記取得要求に係るセグメントに含まれるフレームの表示時間よりも短い時間に設定し、
前記送信手段は、前記第1のセグメントを送信する
ことを特徴とする動画配信装置。 a moving image generating means for generating a plurality of moving image data based on the captured image;
segment generation means for generating a segment, which is video data for a predetermined time in the video data generated by the video generation means;
a transmitting means for transmitting the segment generated by the segment generating means ;
When receiving from a client device a request to acquire a segment of moving image data of a type different from the moving image data of the segment already transmitted to the client device , the segment generating means generates a frame prior to the segment related to the acquisition request. generating a first segment including the inner-coded frame to the last frame of the segment related to the acquisition request, and displaying the display time of the frame before the segment related to the acquisition request, Set it to a time shorter than the display time of the frames included in the segment,
The moving picture distribution device, wherein the transmission means transmits the first segment .
ことを特徴とすることを特徴とする請求項1に記載の動画配信装置。 2. The method according to claim 1 , wherein said segment generating means generates said first segment when the first frame of the segment related to said acquisition request is not an intra-frame encoded frame. The moving picture distribution device described.
前記セグメント生成手段は、前記取得要求に係るセグメントの先頭のフレームがフレーム内符号化されたフレームではなく、かつ前記記憶手段にフレーム内符号化されたフレームが格納されている場合に、前記第1のセグメントを生成する
ことを特徴とする請求項2に記載の動画配信装置。 further comprising storage means for storing the segments generated by the segment generation means;
The segment generation means generates the first 3. The moving picture distribution device according to claim 2, wherein the segments of are generated.
前記送信手段は、前記第2のセグメントを送信する
ことを特徴とする請求項3に記載の動画配信装置。 When the first frame of the segment related to the acquisition request is not an intra-frame-encoded frame and the storage unit does not store an intra-frame-encoded frame, the segment generation means generates the acquisition request. generating a second segment including from the intra-frame encoded frame included in the segment related to the acquisition request to the last frame of the segment related to the acquisition request,
4. The moving picture distribution apparatus according to claim 3, wherein said transmission means transmits said second segment .
前記セグメント生成手段は、前記動画生成手段により生成された前記フレーム内符号化されたフレームを先頭フレームとする第3のセグメントを生成する
ことを特徴とする請求項4に記載の動画配信装置。 The motion picture generation means determines that the first frame of the segment related to the acquisition request is not an intra-frame-encoded frame, the storage means does not store an intra-frame-encoded frame, and generating an intra-coded frame if the segment does not include an intra-coded frame;
5. The moving image distribution apparatus according to claim 4, wherein the segment generating means generates a third segment having the frame that is intra-frame-encoded and generated by the moving image generating means as a leading frame.
ことを特徴とする請求項5に記載の動画配信装置。 The motion picture generating means determines that the first frame of the segment related to the acquisition request is not an intra-frame-encoded frame, the storage means does not store an intra-frame-encoded frame, and If the segment does not include an intra-frame-encoded frame, and the period until the first intra-frame-encoded frame generated after the segment related to the acquisition request is equal to or longer than a predetermined period, 6. The moving picture distribution device according to claim 5, wherein an intra-frame encoded frame is generated.
ことを特徴とする請求項1乃至6の何れか1項に記載の動画配信装置。 The moving picture distribution device according to any one of claims 1 to 6, wherein the segment generating means sets the display time to zero.
ことを特徴とする請求項1乃至7の何れか1項に記載の動画配信装置。 The moving picture distribution device according to any one of claims 1 to 7, wherein the plurality of moving picture data are data different in at least one of resolution, frame rate, and bit rate.
前記動画配信装置は、
撮影画像に基づいて、複数の動画データを生成する動画生成手段と、
前記動画生成手段により生成された動画データにおける所定時間分の動画データであるセグメントを生成するセグメント生成手段と、
前記セグメント生成手段によって生成されたセグメントを送信する送信手段と
を有し、
前記セグメント生成手段は、クライアント装置から、当該クライアント装置に送信済みのセグメントの動画データと異なる種類の動画データのセグメントの取得要求を受信した場合に、前記取得要求に係るセグメントよりも前のフレーム内符号化されたフレームから前記取得要求に係るセグメントの最後のフレームまでを含む第1のセグメントを生成し、前記取得要求に係るセグメントよりも前のフレームの表示時間を、前記取得要求に係るセグメントに含まれるフレームの表示時間よりも短い時間に設定し、
前記送信手段は、前記第1のセグメントを送信する
ことを特徴とする動画配信システム。 A video distribution system having a video distribution device and a client device,
The video distribution device is
a moving image generating means for generating a plurality of moving image data based on the captured image;
segment generation means for generating a segment, which is video data for a predetermined time in the video data generated by the video generation means;
a transmitting means for transmitting the segment generated by the segment generating means ;
When receiving from a client device a request to acquire a segment of video data of a type different from the video data of the segment already transmitted to the client device , the segment generation means receives a segment within a frame before the segment related to the acquisition request. generating a first segment including the encoded frame to the last frame of the segment related to the acquisition request, and displaying the display time of the frame before the segment related to the acquisition request to the segment related to the acquisition request; set it to a time shorter than the display time of the frames contained in the
The moving image distribution system, wherein the transmission means transmits the first segment .
受信した動画データに基づいてネットワーク帯域を算出する算出手段をさらに有し、
前記算出手段は、受信済みのセグメントの動画データと異なる種類の動画データのセグメントを受信した場合には、セグメントが切り替わった直後に受信したセグメントを除いて前記ネットワーク帯域を算出する
ことを特徴とする請求項9に記載の動画配信システム。 The client device
further comprising calculating means for calculating a network bandwidth based on the received video data;
The calculation means calculates the network bandwidth by excluding a segment received immediately after switching of a segment when a segment of video data different from video data of a segment that has already been received is received. The moving picture delivery system according to claim 9.
前記受信した動画データに基づいてネットワーク帯域を算出する算出手段をさらに有し、
前記算出手段は、表示時間が所定の時間よりも短いフレームを除いて前記ネットワーク帯域を算出する
ことを特徴とする請求項9に記載の動画配信システム。 The client device
further comprising calculating means for calculating a network bandwidth based on the received video data;
10. The moving picture delivery system according to claim 9, wherein said calculating means calculates said network bandwidth excluding frames whose display time is shorter than a predetermined time.
撮影画像に基づいて、複数の動画データを生成する動画生成ステップと、
前記動画生成ステップにおいて生成された動画データにおける所定時間分の動画データであるセグメントを生成するセグメント生成ステップと、
前記セグメント生成ステップにより生成されたセグメントを送信する送信ステップと
を含み、
前記セグメント生成ステップでは、クライアント装置から、当該クライアント装置に送信済みのセグメントの動画データと異なる種類の動画データのセグメントの取得要求を受信した場合に、前記取得要求に係るセグメントよりも前の、フレーム内符号化されたフレームから前記取得要求に係るセグメントの最後のフレームまでを含む第1のセグメントを生成し、前記取得要求に係るセグメントよりも前のフレームの表示時間を、前記取得要求に係るセグメントに含まれるフレームの表示時間よりも短い時間に設定し、
前記送信ステップでは、前記第1のセグメントを送信する
ことを特徴とする動画配信方法。 A video distribution method executed by a video distribution device,
a moving image generating step of generating a plurality of moving image data based on the captured image;
a segment generation step of generating a segment that is video data for a predetermined time in the video data generated in the video generation step;
a transmitting step of transmitting the segment generated by the segment generating step ;
In the segment generating step, when receiving from a client device a request to acquire a segment of moving picture data of a type different from the moving picture data of the segment already transmitted to the client device , a frame prior to the segment related to the acquisition request is received. generating a first segment including the inner-coded frame to the last frame of the segment related to the acquisition request, and displaying the display time of the frame before the segment related to the acquisition request, Set it to a time shorter than the display time of the frames included in the segment,
The moving image distribution method, wherein in the transmitting step, the first segment is transmitted.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019044096A JP7327953B2 (en) | 2019-03-11 | 2019-03-11 | Video distribution device, video distribution method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019044096A JP7327953B2 (en) | 2019-03-11 | 2019-03-11 | Video distribution device, video distribution method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020150321A JP2020150321A (en) | 2020-09-17 |
JP7327953B2 true JP7327953B2 (en) | 2023-08-16 |
Family
ID=72429919
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019044096A Active JP7327953B2 (en) | 2019-03-11 | 2019-03-11 | Video distribution device, video distribution method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7327953B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012085216A (en) | 2010-10-14 | 2012-04-26 | Sony Computer Entertainment Inc | Moving image reproducer, information processor and moving image reproduction method |
JP2014187510A (en) | 2013-03-22 | 2014-10-02 | Fujitsu Ltd | System, method, program and server for streaming distribution |
JP2016059018A (en) | 2014-09-12 | 2016-04-21 | 株式会社東芝 | Distribution device, reproduction device, and distribution system |
JP2016072858A (en) | 2014-09-30 | 2016-05-09 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Media data generation method, media data reproduction method, media data generation device, media data reproduction device, computer readable recording medium and program |
JP2019009492A (en) | 2017-06-20 | 2019-01-17 | キヤノン株式会社 | Imaging apparatus, processing method of the same, and program |
-
2019
- 2019-03-11 JP JP2019044096A patent/JP7327953B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012085216A (en) | 2010-10-14 | 2012-04-26 | Sony Computer Entertainment Inc | Moving image reproducer, information processor and moving image reproduction method |
JP2014187510A (en) | 2013-03-22 | 2014-10-02 | Fujitsu Ltd | System, method, program and server for streaming distribution |
JP2016059018A (en) | 2014-09-12 | 2016-04-21 | 株式会社東芝 | Distribution device, reproduction device, and distribution system |
JP2016072858A (en) | 2014-09-30 | 2016-05-09 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Media data generation method, media data reproduction method, media data generation device, media data reproduction device, computer readable recording medium and program |
JP2019009492A (en) | 2017-06-20 | 2019-01-17 | キヤノン株式会社 | Imaging apparatus, processing method of the same, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2020150321A (en) | 2020-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102324326B1 (en) | Streaming multiple encodings encoded using different encoding parameters | |
WO2005062614A1 (en) | Video data processing method and vide data processing device | |
US11128897B2 (en) | Method for initiating a transmission of a streaming content delivered to a client device and access point for implementing this method | |
CN108696505B (en) | Video distribution apparatus, video reception apparatus, video distribution method, and recording medium | |
JP7105675B2 (en) | Transmission device, server device, transmission method and program | |
CN112672163B (en) | Transcoder adjustment for segment mobility | |
US11457286B2 (en) | Video distribution apparatus, distribution method, and recording medium | |
JP7327953B2 (en) | Video distribution device, video distribution method and program | |
JP2020113922A (en) | Video distribution device, video distribution method, and program | |
JP2020022106A (en) | Information processing apparatus, information processing method, and program | |
JP6907104B2 (en) | Video distribution device, control method and program | |
JP7172055B2 (en) | Processing device, processing program and processing method | |
JP6890977B2 (en) | Transmitter, transmission method, and program | |
CN113315997B (en) | Transmission device, server device, transmission method, and program | |
JP7292901B2 (en) | Transmission device, transmission method, and program | |
JP7438835B2 (en) | Server device, communication system, program and information processing method | |
JP7302076B2 (en) | Transmission device, server device, transmission method and program | |
KR102602898B1 (en) | Server device, information processing method, and non-transitory computer readable recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220308 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230803 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7327953 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |