JP7327953B2 - Video distribution device, video distribution method and program - Google Patents

Video distribution device, video distribution method and program Download PDF

Info

Publication number
JP7327953B2
JP7327953B2 JP2019044096A JP2019044096A JP7327953B2 JP 7327953 B2 JP7327953 B2 JP 7327953B2 JP 2019044096 A JP2019044096 A JP 2019044096A JP 2019044096 A JP2019044096 A JP 2019044096A JP 7327953 B2 JP7327953 B2 JP 7327953B2
Authority
JP
Japan
Prior art keywords
segment
frame
generating
acquisition request
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019044096A
Other languages
Japanese (ja)
Other versions
JP2020150321A (en
Inventor
勝敏 田尻
隆治 大澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019044096A priority Critical patent/JP7327953B2/en
Publication of JP2020150321A publication Critical patent/JP2020150321A/en
Application granted granted Critical
Publication of JP7327953B2 publication Critical patent/JP7327953B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、動画配信装置、動画配信方法及びプログラムに関する。 The present invention relates to a video distribution device, a video distribution method, and a program.

近年、IP(Internet Protocol)ネットワークを利用した配信システムが増加してきている。こうした配信システムとしては、スキー場や動物園の状況を配信するシステムや、店舗・ビル監視のシステムがある。 In recent years, distribution systems using IP (Internet Protocol) networks have been increasing. Such distribution systems include systems for distributing the conditions of ski resorts and zoos, and systems for monitoring stores and buildings.

動画サービスでは、HTTP(Hyper Text Transfer Protocol)を用いたAdaptive Bitrate Streaming技術が普及してきている。Adaptive Bitrate Streaming技術としては、DASH(Dynamic Adaptive Streaming over HTTP)やHLS(HTTP Live Streaming)がある。DASHは、MPEG(Moving Picture Experts Group)によって規格化された技術である。HLSは、Appleが主導して規格化している技術である。 Adaptive Bitrate Streaming technology using HTTP (Hyper Text Transfer Protocol) is becoming popular in video services. Adaptive Bitrate Streaming technology includes DASH (Dynamic Adaptive Streaming over HTTP) and HLS (HTTP Live Streaming). DASH is a technique standardized by MPEG (Moving Picture Experts Group). HLS is a standardized technology led by Apple.

一般的なDASH配信では、配信サーバ側で解像度やビットレートが異なる複数の動画データを数秒単位のセグメントと言われる動画ファイルに分割する。一方、クライアントは、配信サーバから動画の全体情報が記載されているMPD(Media Presentation Description)ファイルを取得し、ファイルを参照し、適切な解像度やビットレートの動画ストリームを選択する。そして、クライアントは、MPDの記載に従って、MPEG2 TSストリームまたはMP4ファイルの動画データをセグメント単位でダウンロードして再生する。 In general DASH distribution, a distribution server divides a plurality of moving image data with different resolutions and bit rates into moving image files called segments of several seconds. On the other hand, the client acquires an MPD (Media Presentation Description) file describing overall information of the moving image from the distribution server, refers to the file, and selects a moving image stream with appropriate resolution and bit rate. Then, the client downloads and reproduces moving image data of the MPEG2 TS stream or MP4 file in units of segments according to the description of the MPD.

特許文献1には、複数の映像ストリームを蓄積しておき、ストリーム切り換え時は蓄積された映像を送ることで、ストリーム切り替え時の再生開始待ち時間を削減し、任意の時点でストリームを切り替える方法が開示されている。特許文献2には、異なる帯域を持つ複数の映像ストリームを同期配信するシステムにおいて、再生する映像ストリームをFIFO(First in,First out)でバッファリングしながらネットワークの通信速度や欠損を検出してストリームを切り換える方法が開示されている。 Patent Document 1 discloses a method of storing a plurality of video streams and transmitting the stored video when switching streams, thereby reducing the waiting time for starting playback when switching streams, and switching streams at any time. disclosed. In Patent Document 2, in a system for synchronously distributing a plurality of video streams having different bandwidths, a video stream to be reproduced is buffered by FIFO (first in, first out), and the communication speed and loss of the network are detected and streamed. is disclosed.

特開2004-349743号公報Japanese Patent Application Laid-Open No. 2004-349743 特開2003-348548号公報Japanese Patent Application Laid-Open No. 2003-348548

一般に、複数の映像ストリームを同時に生成できる機器では各映像ストリームが独立して生成される。このため、フレーム内符号化されたフレーム(以降では、Iフレーム)は必ずしも同じタイミングで生成されるわけではない。 In general, devices capable of simultaneously generating multiple video streams generate each video stream independently. Therefore, intra-frame-encoded frames (hereinafter referred to as I-frames) are not necessarily generated at the same timing.

Adaptive Bitrate Streaming技術を使ったライブ配信では、ネットワーク帯域等に合わせて映像ストリームを切り替えることができる。しかしながら、Iフレームの生成タイミングが異なる状況で映像ストリームを切り替えようとすると、必ずしもIフレームから始まるセグメントを構成できるとは限らない。すなわち、配信映像データを受信するクライアント側で連続して再生できなくなるという課題があった。 In live distribution using Adaptive Bitrate Streaming technology, video streams can be switched according to network bandwidth and the like. However, if it is attempted to switch video streams in a situation where I-frame generation timing is different, it is not always possible to form a segment starting from an I-frame. That is, there is a problem that the client receiving the distributed video data cannot reproduce it continuously.

本発明はこのような問題点に鑑みなされたもので、動画ストリームの切り替え時においても、連続再生可能な動画ストリームを配信することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of such problems, and it is an object of the present invention to distribute moving image streams that can be continuously reproduced even when moving image streams are switched.

そこで、本発明は、動画配信装置であって、撮影画像に基づいて、複数の動画データを生成する動画生成手段と、前記動画生成手段により生成された動画データにおける所定時間分の動画データであるセグメントを生成するセグメント生成手段と、前記セグメント生成手段によって生成されたセグメントを送信する送信手段とを有し、前記セグメント生成手段は、クライアント装置から、当該クライアント装置に送信済みのセグメントの動画データと異なる種類の動画データのセグメントの取得要求を受信した場合に、前記取得要求に係るセグメントよりも前の、フレーム内符号化されたフレームから前記取得要求に係るセグメントの最後のフレームまでを含む第1のセグメントを生成し、前記取得要求に係るセグメントよりも前のフレームの表示時間を、前記取得要求に係るセグメントに含まれるフレームの表示時間よりも短い時間に設定し、前記送信手段は、前記第1のセグメントを送信することを特徴とする。 Accordingly, the present invention provides a moving picture distribution apparatus comprising: moving picture generating means for generating a plurality of moving picture data based on a photographed image; and a transmitting means for transmitting the segment generated by the segment generating means, wherein the segment generating means transmits the moving image of the segment that has already been transmitted from the client device to the client device When receiving a request to acquire a segment of video data of a type different from that of the data , includes intra-frame-encoded frames before the segment related to the acquisition request up to the last frame of the segment related to the acquisition request generating a first segment , setting a display time of a frame preceding the segment related to the acquisition request to a time shorter than a display time of a frame included in the segment related to the acquisition request, and , transmitting the first segment .

本発明によれば、動画ストリームの切り替え時においても、連続再生可能な動画ストリームを配信することができる。 According to the present invention, it is possible to deliver continuously reproducible moving image streams even when moving image streams are switched.

動画配信システムの全体構成図である。1 is an overall configuration diagram of a video distribution system; FIG. カメラサーバ装置のハードウェア構成図である。3 is a hardware configuration diagram of a camera server device; FIG. カメラサーバ装置の機能構成図である。3 is a functional configuration diagram of a camera server device; FIG. 配信データの構成図である。4 is a configuration diagram of distribution data; FIG. 動画ストリームとセグメントの関係図である。FIG. 4 is a relationship diagram between a video stream and segments; セグメントのデータ構造の一例を示す図である。It is a figure which shows an example of the data structure of a segment. 動画配信処理を示すシーケンス図である。FIG. 10 is a sequence diagram showing moving image distribution processing; 配信管理処理を示すフローチャートである。9 is a flowchart showing distribution management processing;

以下、本発明の実施形態について図面に基づいて説明する。 BEST MODE FOR CARRYING OUT THE INVENTION An embodiment of the present invention will be described below with reference to the drawings.

(第1の実施形態)
図1は、本実施形態に係る動画配信システムの全体構成図である。動画配信システムは、カメラサーバ装置100とクライアント装置120とを有している。カメラサーバ装置100は、動画配信装置の一例である。カメラサーバ装置100とクライアント装置120は、ネットワーク140を介して相互に接続されている。カメラサーバ装置100は、カメラを備え、カメラにより得られた撮影画像(動画)を、ネットワーク140を介して配信する。本実施形態のカメラサーバ装置100は、DASH配信により、種類が異なる複数の動画を生成し、クライアント装置120の表示性能や通信帯域に応じた種類の動画をセグメント単位でクライアント装置120に送信する。ここで、種類の異なる複数の動画としては、解像度やビットレート、フレームレートが異なる複数の動画が挙げられる。また、セグメントとは、所定の分割単位で分割(セグメント化)された動画データのファイルである。すなわち、セグメントは、動画のうち時間軸方向の一部のデータを含んだ動画ファイルである。クライアント装置120は、カメラサーバ装置100から受信した動画を表示する。
(First embodiment)
FIG. 1 is an overall configuration diagram of a video distribution system according to this embodiment. The video distribution system has a camera server device 100 and a client device 120 . The camera server device 100 is an example of a video distribution device. The camera server device 100 and client device 120 are interconnected via a network 140 . The camera server device 100 includes a camera, and distributes captured images (moving images) obtained by the camera via the network 140 . The camera server device 100 of the present embodiment generates a plurality of moving images of different types by DASH distribution, and transmits the moving images of the type corresponding to the display performance and communication band of the client device 120 to the client device 120 in segment units. Here, the multiple moving images of different types include multiple moving images having different resolutions, bit rates, and frame rates. A segment is a file of moving image data divided (segmented) into predetermined division units. In other words, a segment is a moving image file containing part of the data in the time axis direction of the moving image. The client device 120 displays the video received from the camera server device 100 .

図1においては、説明の簡略化のためにカメラサーバ装置100を1台のみ示しているが、動画配信システムは、複数のカメラサーバ装置100を有してもよい。すなわち、複数のカメラサーバ装置100が一のクライアント装置120に対し動画を配信してもよい。また、他の例としては、一のカメラサーバ装置100が複数のクライアント装置120に動画を配信してもよい。 Although only one camera server device 100 is shown in FIG. 1 for simplification of explanation, the video distribution system may have a plurality of camera server devices 100 . That is, a plurality of camera server devices 100 may distribute moving images to one client device 120 . As another example, one camera server device 100 may distribute moving images to a plurality of client devices 120 .

ネットワーク140は、Ethernet(登録商標)等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。なお、ネットワーク140は、装置間の通信が支障なく行えるものであればその通信規格、規模、構成を問わない。故にインターネットからLAN(Local Area Network)にまで適用可能である。 The network 140 is composed of a plurality of routers, switches, cables, etc. that satisfy communication standards such as Ethernet (registered trademark). It should be noted that the network 140 may have any communication standard, scale, or configuration as long as communication between devices can be performed without hindrance. Therefore, it is applicable from the Internet to LAN (Local Area Network).

図2は、カメラサーバ装置100のハードウェア構成図である。カメラサーバ装置100は、CPU201、一次記憶装置202、二次記憶装置203、画像キャプチャI/F204、画像センサ205及びネットワークI/F206を有している。CPU201、一次記憶装置202、二次記憶装置203、画像キャプチャI/F204及びネットワークI/F206は、内部バス207を介して相互に接続されている。 FIG. 2 is a hardware configuration diagram of the camera server device 100. As shown in FIG. The camera server device 100 has a CPU 201 , a primary storage device 202 , a secondary storage device 203 , an image capture I/F 204 , an image sensor 205 and a network I/F 206 . The CPU 201 , primary storage device 202 , secondary storage device 203 , image capture I/F 204 and network I/F 206 are interconnected via an internal bus 207 .

CPU201は、カメラサーバ装置100の全体を制御する。一次記憶装置202は、RAMに代表される書き込み可能な高速の記憶装置で、OSや各種プログラム及び各種データがロードされ、またOSや各種プログラムの作業領域としても使用される。二次記憶装置203は、フラッシュメモリ、HDD、SDカード等に代表される不揮発性記憶装置で、OSや各種プログラム及び各種データの永続的な記憶領域として使用される他に、短期的な各種データの記憶領域としても使用される。 The CPU 201 controls the entire camera server device 100 . The primary storage device 202 is a writable high-speed storage device represented by a RAM, loaded with an OS, various programs, and various data, and is also used as a work area for the OS and various programs. The secondary storage device 203 is a non-volatile storage device represented by flash memory, HDD, SD card, etc., and is used as a permanent storage area for the OS, various programs, and various data, as well as various short-term data. It is also used as a storage area for

画像キャプチャI/F204には、CCDやCMOSからなる画像センサ205が接続されている。画像キャプチャI/F204は、画像センサ205から取得した画像データを所定のフォーマットに変換・圧縮し、変換・圧縮後の画像データを一次記憶装置202に転送する。ネットワークI/F206は、前述のネットワーク140と接続するためのI/Fであり、Ethernet等の通信媒体を介してクライアント装置120等との通信を担う。 An image sensor 205 consisting of a CCD or CMOS is connected to the image capture I/F 204 . The image capture I/F 204 converts/compresses image data acquired from the image sensor 205 into a predetermined format, and transfers the converted/compressed image data to the primary storage device 202 . A network I/F 206 is an I/F for connecting to the network 140 described above, and is responsible for communication with the client device 120 and the like via a communication medium such as Ethernet.

図3は、カメラサーバ装置100の機能構成図である。カメラサーバ装置100は、撮像処理部301と、配信管理部302と、通信処理部303と、を有している。なお、これらの機能は、CPU201が、OSを含む各種プログラムを実行することにより実現されるものである。撮像処理部301は、画像キャプチャI/F204を経由して、画像センサ205で生成されたフレームを取得する。そして、撮像処理部301は、取得したフレームに対し、符号化処理を行う。さらに、撮像処理部301は、SPS(Sequence Parameter Set)やPPS(Picture Parameter Set)などの動画再生に必要な動画メタ情報と共に、符号化後のフレームを一次記憶装置202に格納する。 FIG. 3 is a functional configuration diagram of the camera server device 100. As shown in FIG. The camera server device 100 has an imaging processing section 301 , a distribution management section 302 and a communication processing section 303 . Note that these functions are realized by the CPU 201 executing various programs including the OS. The imaging processing unit 301 acquires frames generated by the image sensor 205 via the image capture I/F 204 . Then, the imaging processing unit 301 performs encoding processing on the acquired frames. Further, the imaging processing unit 301 stores the encoded frames in the primary storage device 202 together with moving image meta information necessary for moving image reproduction such as SPS (Sequence Parameter Set) and PPS (Picture Parameter Set).

配信管理部302は、DASH配信により、一次記憶装置202に記憶されているフレームをクライアント装置120に配信する処理を制御する。配信管理部302は、一次記憶装置202に記憶されているフレームから、種類の異なる複数のフレームを生成する。具体的には、配信管理部302は、解像度の異なる複数のフレームを生成する。さらに、配信管理部302は、一次記憶装置202に記憶されている動画メタ情報とフレームとに基づいて、初期化セグメント情報及びセグメント情報を作成する。ここで、初期化セグメント情報は、動画ストリームの再生に必要な情報である。セグメント情報は、フレームに含まれる各セグメントの再生に必要な情報である。セグメント情報は、セグメントに含まれる単数又は複数のフレームと、セグメントのヘッダー部とを含む。通信処理部303は、外部装置との通信を制御する。通信処理部303は、例えば、配信管理部302の制御の下、セグメント情報をクライアント装置120に送信する。 The distribution management unit 302 controls processing for distributing frames stored in the primary storage device 202 to the client device 120 by DASH distribution. The distribution management unit 302 generates a plurality of different types of frames from the frames stored in the primary storage device 202 . Specifically, the distribution management unit 302 generates multiple frames with different resolutions. Furthermore, the distribution management unit 302 creates initialization segment information and segment information based on the moving image meta information and frames stored in the primary storage device 202 . Here, the initialization segment information is information necessary for reproducing the moving image stream. The segment information is information necessary for reproducing each segment included in the frame. The segment information includes one or more frames included in the segment and the header portion of the segment. A communication processing unit 303 controls communication with an external device. The communication processing unit 303 transmits the segment information to the client device 120 under the control of the delivery management unit 302, for example.

図4は、DASH配信に利用される配信データの構成図である。配信データの最上位には、動画情報を束ねるMPDファイル400が存在する。MPDファイル400には、動画ストリーム情報として、解像度や符号化情報、セグメントの情報が定義されている。なお、動画ストリームは、単数でも複数でもよい。本実施形態においては、MPDファイル400において、解像度の異なる3つの動画ストリーム(動画ストリーム1、動画ストリーム2及び動画ストリーム3)が定義されているものとする。 FIG. 4 is a configuration diagram of distribution data used for DASH distribution. At the top of the distribution data, there is an MPD file 400 that bundles moving image information. The MPD file 400 defines resolution, encoding information, and segment information as moving image stream information. Note that the moving image stream may be singular or plural. In this embodiment, the MPD file 400 defines three video streams (video stream 1, video stream 2, and video stream 3) with different resolutions.

動画ストリーム1は、最も解像度の大きい動画ファイルである。動画ストリーム1が配信された場合、クライアント装置120がダウンロードするデータ量は大きくなるが高画質な動画の再生が可能である。動画ストリーム3は、最も解像度が小さい動画ファイルである。動画ストリーム2は、解像度が中程度の動画ファイルである。動画ストリーム2は、動画ストリーム1よりもデータ量が小さく、動画ストリーム3よりもデータ量が大きい。なお、本実施形態においては、撮像処理部301は、種類の異なる複数の動画ストリームを生成するものとするが、種類及びその数は実施形態に限定されるものではない。動画ストリームの種類は、フレームレート、ビットレート等に応じて定められてもよい。 A moving image stream 1 is a moving image file with the highest resolution. When the video stream 1 is distributed, the amount of data downloaded by the client device 120 is large, but high-quality video can be reproduced. A moving image stream 3 is a moving image file with the smallest resolution. A video stream 2 is a video file with medium resolution. The moving picture stream 2 has a smaller data amount than the moving picture stream 1 and a larger data amount than the moving picture stream 3 . In this embodiment, the imaging processing unit 301 generates a plurality of moving image streams of different types, but the types and number are not limited to those in the embodiment. The type of video stream may be determined according to the frame rate, bit rate, and the like.

図5は、動画ストリーム1~3とセグメントの関係図である。ここでは、理解し易くするため、1秒当たりに生成されるフレームを3フレームとし、3フレームを1セグメントとする。撮像処理部301は、動画ストリーム1として、連続したフレーム500~508を生成する。このうち、フレーム500,503,506は、Iフレームである。これ以外のフレーム501,502,504,505,507,508は、Pフレームである。ここで、Iフレームは、映像を構成するために必要な映像情報を有するフレームであり、フレーム内符号化されたフレームの一例である。Pフレームは、直前の画像との差分の映像情報を有するフレームである。同様に、撮像処理部301は、動画ストリーム2として、フレーム510~518を生成し、動画ストリーム3として、フレーム520~528を生成する。 FIG. 5 is a diagram showing the relationship between video streams 1 to 3 and segments. Here, for ease of understanding, it is assumed that 3 frames are generated per second and 3 frames are 1 segment. The imaging processing unit 301 generates continuous frames 500 to 508 as the moving image stream 1 . Of these frames, frames 500, 503 and 506 are I frames. Other frames 501, 502, 504, 505, 507 and 508 are P frames. Here, the I frame is a frame having video information necessary to construct a video, and is an example of an intra-frame encoded frame. A P frame is a frame having video information of the difference from the previous image. Similarly, the imaging processing unit 301 generates frames 510 to 518 as moving image stream 2 and frames 520 to 528 as moving image stream 3 .

各セグメントは、3つのフレームを含んでいる。すなわち、動画ストリーム1の最初のセグメント(セグメント1)には、フレーム500~502が含まれ、続くセグメント2には、フレーム503~505が含まれ、続くセグメント3には、フレーム506~508が含まれている。同様に、動画ストリーム2のセグメント1には、フレーム510~512が含まれ、セグメント2には、フレーム513~515が含まれ、セグメント3には、フレーム516~518が含まれている。動画ストリーム3も同様である。なお、本実施形態においては、差分の動画情報をPフレームとしたが、Bフレームとしてもよい。 Each segment contains three frames. That is, the first segment (segment 1) of video stream 1 includes frames 500-502, the following segment 2 includes frames 503-505, and the following segment 3 includes frames 506-508. is Similarly, segment 1 of video stream 2 includes frames 510-512, segment 2 includes frames 513-515, and segment 3 includes frames 516-518. The video stream 3 is also the same. Note that in the present embodiment, the moving image information of the difference is the P frame, but it may be the B frame.

セグメントは動画ストリームのある時間帯に含まれるフレームを示しており、クライアント装置120は動画ストリーム番号とセグメント番号を指定して所望のストリームの動画データを取得することができる。 A segment indicates a frame included in a certain time period of a moving image stream, and the client device 120 can acquire moving image data of a desired stream by specifying a moving image stream number and a segment number.

本実施形態においては、クライアント装置120が動画ストリーム1のセグメント1、動画ストリーム2のセグメント2、動画ストリーム3のセグメント3の順に動画ストリームの切り替えを要求した場合を例にカメラサーバ装置100の処理について説明する。 In the present embodiment, the processing of the camera server device 100 will be described by taking as an example a case where the client device 120 requests switching of video streams in the order of segment 1 of video stream 1, segment 2 of video stream 2, and segment 3 of video stream 3. explain.

カメラサーバ装置100は、まず、動画ストリーム1のセグメント1を送信する場合、セグメント1の先頭フレーム500がIフレームであるため、フレーム500,501,502をセグメント化してクライアント装置120へ送信する。 First, when transmitting segment 1 of video stream 1 , the camera server device 100 segments frames 500 , 501 , and 502 and transmits them to the client device 120 because the leading frame 500 of segment 1 is an I frame.

次に、カメラサーバ装置100は、動画ストリーム2のセグメント2を送信する。ただし、動画ストリーム2のセグメント2の先頭フレーム513はIフレームではないため、このまま送信しても、クライアント装置120は、先頭フレーム513を再生することができない。そこで、カメラサーバ装置100は、先頭フレーム513よりも前のIフレーム511からセグメント2の最終フレーム515までをセグメント化してクライアント装置120へ送信する。このとき、クライアント装置120は、フレーム511,512と同じ時間のフレーム501,502を既に受信、表示しているため、フレーム511,512を表示する必要がない。そこで、カメラサーバ装置100は、セグメントのヘッダー部にて、フレーム511,512の表示時間にゼロを設定する。なお、セグメントデータのデータ構成については、図6を参照しつつ後に詳述する。 Next, the camera server device 100 transmits segment 2 of video stream 2 . However, since the first frame 513 of segment 2 of video stream 2 is not an I frame, the client device 120 cannot reproduce the first frame 513 even if it is transmitted as it is. Therefore, the camera server device 100 segments the I frame 511 before the first frame 513 to the final frame 515 of the segment 2 and transmits the segments to the client device 120 . At this time, since the client device 120 has already received and displayed the frames 501 and 502 at the same times as the frames 511 and 512, there is no need to display the frames 511 and 512. FIG. Therefore, the camera server device 100 sets the display times of the frames 511 and 512 to zero in the segment header. The data configuration of the segment data will be detailed later with reference to FIG.

さらに、カメラサーバ装置100は、動画ストリーム3のセグメント3を送信する。ただし、動画ストリーム3のセグメント3の先頭フレーム526がIフレームではない。そこで、カメラサーバ装置100は、フレーム526より前のIフレーム525からセグメント3の最終フレーム528までをセグメント化してクライアント装置120へ送信する。この場合も、クライアント装置120は、フレーム515についてはすでにクライアント装置120に送信しているため、セグメントのヘッダー部にてフレーム525の表示時間にゼロを設定する。 Furthermore, the camera server device 100 transmits segment 3 of video stream 3 . However, the first frame 526 of segment 3 of video stream 3 is not an I frame. Therefore, the camera server device 100 segments from the I frame 525 before the frame 526 to the last frame 528 of the segment 3 and transmits them to the client device 120 . In this case as well, since the client device 120 has already transmitted the frame 515 to the client device 120, the display time of the frame 525 is set to zero in the segment header.

このように、カメラサーバ装置100が動画ストリームを切り換えた直後のセグメントにIフレームから始まる映像データを含め、表示が重複する場合は表示時間をゼロにして、映像ストリームを配信する。これにより、クライアント装置120は任意のタイミングでストリームを切り換えることができる。さらに、クライアント装置120は、重複配信された映像データについては、復号化処理は行うものの表示処理をしなくて済むため途切れやスキップがない映像を再生することができる。 In this way, the segment immediately after the camera server device 100 switches the video stream includes the video data starting from the I frame, and if the display overlaps, the display time is set to zero and the video stream is distributed. This allows the client device 120 to switch streams at arbitrary timing. Furthermore, the client device 120 performs decoding processing for duplicately distributed video data but does not need to perform display processing, so that video can be reproduced without interruptions or skips.

図6は、セグメント551のデータ構造の一例を示す図である。本実施形態においては、セグメントデータは、MP4ファイルフォーマットのデータであるものとする。セグメントデータの先頭には、セグメントであることを示すBOX styp600とセグメントの順番を示すBOX sidx601が存在する。続いて、フラグメントの先頭を示すBOX moof602がある。BOX moof602の中にはBOX trun603が含まれている。BOX trun603には、フラグメントに含まれるフレームの表示時間が格納される。BOX trun603にはフラグメントに含まれるフレーム数sample_count と、各フレームの表示時間sample_durationが含まれる。図6の例においては、フレーム数sample_countが5、先頭の2フレームが表示時間ゼロ、続く3フレームの表示時間はフレームレートから算出される表示時間nであることを示している。例えば、30fpsの場合は33msを意味する数字が設定される。最後に映像データを含むBOX mdat604が存在する。 FIG. 6 is a diagram showing an example of the data structure of the segment 551. As shown in FIG. In this embodiment, the segment data shall be MP4 file format data. At the beginning of the segment data, there are BOX styp 600 indicating the segment and BOX sidx 601 indicating the order of the segment. Then there is a BOX moof 602 indicating the beginning of the fragment. BOX moof 602 contains BOX trun 603 . BOX trun 603 stores the display time of the frame included in the fragment. The BOX trun 603 contains the number of frames sample_count included in the fragment and the display time sample_duration of each frame. The example of FIG. 6 indicates that the number of frames sample_count is 5, the display time of the first two frames is zero, and the display time of the following three frames is the display time n calculated from the frame rate. For example, in the case of 30 fps, a number representing 33 ms is set. Finally there is a BOX mdat 604 containing video data.

図7は、動画配信処理を示すシーケンス図である。動画配信処理は、カメラサーバ装置100がクライアント装置120に動画を配信する処理である。図5に示す動画ストリーム1,2,3を配信対象とする場合を例に説明する。 FIG. 7 is a sequence diagram showing moving image distribution processing. The moving image distribution processing is processing in which the camera server device 100 distributes moving images to the client device 120 . A case in which video streams 1, 2, and 3 shown in FIG. 5 are to be distributed will be described as an example.

S701において、クライアント装置120は、MPDファイルの取得要求をカメラサーバ装置100に送信する。カメラサーバ装置100の配信管理部302は、S701においてMPDファイルの取得要求を受信すると、S702において、配信可能な動画ストリームの動画生成の開始を撮像処理部301に指示する。次に、S703において、配信管理部302は、動画ストリーム情報を記載したMPDファイルを作成して、クライアント装置120に返信する。 In S<b>701 , the client device 120 transmits an MPD file acquisition request to the camera server device 100 . Upon receiving the MPD file acquisition request in S701, the distribution management unit 302 of the camera server apparatus 100 instructs the imaging processing unit 301 to start generating a distributable moving image stream in S702. Next, in S<b>703 , the distribution management unit 302 creates an MPD file describing the moving image stream information and sends it back to the client device 120 .

なお、本図においては、前提として、別のクライアント装置に映像配信する、または録画しているなどの理由により、撮像処理部301が動画ストリーム2、3の映像生成を既に開始している状態であるものとする。さらに、動画ストリーム2、3において、次に生成される映像はPフレームであるものとする。なお、別クライアントへの映像配信や録画処理は省略する。 Note that in this figure, it is assumed that the imaging processing unit 301 has already started video generation of the video streams 2 and 3 for reasons such as video distribution to another client device or recording. Assume that there is Furthermore, in moving image streams 2 and 3, it is assumed that the next generated video is a P frame. Video distribution to another client and recording processing are omitted.

撮像処理部301は、また、取得要求を受信すると、動画ストリーム1,2,3それぞれのフレーム1、すなわちフレーム500,510,520(I,P,Pフレーム)を生成する。本処理は、動画生成処理の一例である。撮像処理部301は、フレームが生成されると、S704において、フレーム1を生成したことを配信管理部302に通知する。なお、説明の都合上、3ストリーム全てのフレームを一緒に通知するものとして説明するが、最初に生成されるフレームがPフレームとなる場合はフレームの生成を通知せずIフレームが生成するまでスキップしても構わない。 Upon receiving the acquisition request, the imaging processing unit 301 also generates frame 1 of moving image streams 1, 2, and 3, ie, frames 500, 510, and 520 (I, P, and P frames). This process is an example of a moving image generation process. When the frame is generated, the imaging processing unit 301 notifies the distribution management unit 302 that frame 1 has been generated in S704. For the convenience of explanation, it is assumed that the frames of all three streams are notified together, but if the frame generated first is a P frame, the generation of the frame is not notified and is skipped until the I frame is generated. I don't mind.

次に、S705において、配信管理部302は、動画ストリーム1のIフレームに付属するSPS/PPSデータから初期化セグメントを作成する。本例においては、SPS/PPSデータはIフレームに付属するものとするが、I/P/Bフレームなどの種別に関係なく、SPS/PPSデータを配信管理部302に通知しても構わない。以降、配信管理部302は各ストリームの最初のIフレームを受信した時に初期化セグメントを作成するものとする。 Next, in S<b>705 , the distribution management unit 302 creates an initialization segment from the SPS/PPS data attached to the I frame of the moving picture stream 1 . In this example, the SPS/PPS data is attached to the I frame, but the SPS/PPS data may be notified to the distribution management unit 302 regardless of the type such as the I/P/B frame. After that, it is assumed that the distribution management unit 302 creates an initialization segment when receiving the first I frame of each stream.

一方で、クライアント装置120は、S706において、MPDファイルを受信すると、自装置のCPU能力、表示解像度及びネットワーク帯域などから受信する動画ストリームを選択する。そして、クライアント装置120は、再生に必要な情報が含まれている初期化セグメントの取得要求をカメラサーバ装置100に送信する。本例においては、クライアント装置120は動画ストリーム1を選択したものとする。次に、S707において、配信管理部302は、S705にて作成した初期化セグメントをレスポンスとして送信する。 On the other hand, upon receiving the MPD file in S706, the client device 120 selects a video stream to be received based on its own CPU power, display resolution, network bandwidth, and the like. The client device 120 then transmits to the camera server device 100 an acquisition request for an initialization segment containing information necessary for reproduction. In this example, it is assumed that client device 120 has selected video stream 1 . Next, in S707, the distribution management unit 302 transmits the initialization segment created in S705 as a response.

カメラサーバ装置100においては、撮像処理部301は、動画ストリーム1、2、3それぞれのフレーム2、すなわちフレーム501,511,521(P,I,Pフレーム)を生成すると、処理をS708へ進める。S708において、撮像処理部301は、フレーム2を生成したことを配信管理部302に通知する。同様に、S709において、撮像処理部301は、次に生成したフレーム3、すなわちフレーム502,512,522(P、P、Iフレーム)についても、生成した旨を通知する。次に、S710において、配信管理部302は、フレーム1,2,3から3ストリーム分のセグメント1を作成し、セグメントの取得要求を受信するまでバッファリングする。本処理は、セグメント生成処理の一例である。S711において、クライアント装置120は、動画ストリーム1のセグメント1の取得要求を送信する。次に、S712において、カメラサーバ装置100の配信管理部302は、S710で生成したセグメントをレスポンスとして送信する。図5の例では、セグメント550が送信される。 In the camera server device 100, the imaging processing unit 301 generates frame 2 of each of the moving image streams 1, 2, and 3, that is, frames 501, 511, and 521 (P, I, P frames), and advances the process to S708. In S708, the imaging processing unit 301 notifies the distribution management unit 302 that frame 2 has been generated. Similarly, in S709, the imaging processing unit 301 notifies that frame 3 generated next, that is, frames 502, 512, and 522 (P, P, and I frames) has also been generated. Next, in S710, the distribution management unit 302 creates segment 1 for three streams from frames 1, 2, and 3, and buffers until a segment acquisition request is received. This process is an example of the segment generation process. In S<b>711 , the client device 120 transmits a request to acquire segment 1 of video stream 1 . Next, in S712, the distribution management unit 302 of the camera server device 100 transmits the segment generated in S710 as a response. In the example of FIG. 5, segment 550 is transmitted.

同様に、撮像処理部301は、順次、3つの動画ストリームのフレーム(フレーム4,5,6)を生成し(S713,S714,S717)、配信管理部302は、3フレームが揃った時点で次のセグメントを作成する(S718)。S713で通知されるフレーム4は、フレーム503,513,523(I,P,Pフレーム)である。S714で通知されるフレーム5は、フレーム504,514,524(P,I,Pフレーム)である。S717で通知されるフレーム6は、フレーム505,515、525(P,P,Iフレーム)である。 Similarly, the imaging processing unit 301 sequentially generates three video stream frames (frames 4, 5, and 6) (S713, S714, and S717), and the distribution management unit 302 generates the next frame when the three frames are complete. segment is created (S718). Frame 4 notified in S713 are frames 503, 513, and 523 (I, P, P frames). Frame 5 notified in S714 are frames 504, 514, and 524 (P, I, P frames). Frame 6 notified in S717 is frames 505, 515, and 525 (P, P, I frames).

S718において生成される、動画ストリーム2及び動画ストリーム3のセグメントは、いずれもPフレームから始まるセグメントである。Pフレームから始まるセグメントを最初のフレームとするセグメントを送信した場合に、クライアント装置120は、Pフレームを表示することができない。 The segments of moving image stream 2 and moving image stream 3 generated in S718 are both segments starting from P frames. If a segment whose first frame is a segment starting with a P frame is transmitted, the client device 120 cannot display the P frame.

クライアント装置120においては、S715において、既にカメラサーバ装置100から送信済みの動画ストリーム1から動画ストリーム2に切り替えるため、新しい動画ストリーム2の初期化セグメントの取得要求を送信する。次に、S716において、カメラサーバ装置100の配信管理部302は、動画ストリーム2の初期化セグメントをレスポンスとして送信する。 In S715, the client device 120 transmits a request to acquire the initialization segment of the new video stream 2 in order to switch from the video stream 1 that has already been transmitted from the camera server device 100 to the video stream 2. FIG. Next, in S716, the distribution management unit 302 of the camera server device 100 transmits the initialization segment of the moving image stream 2 as a response.

次に、S719において、クライアント装置120は、動画ストリーム2のセグメント2の取得要求を送信する。ただし、配信管理部302が保持しているセグメント2の先頭はPフレームである。そこで、S720において、配信管理部302は、直前のIフレーム、すなわちフレーム511まで遡り、フレーム511(Iフレーム)からフレーム515までを含んだ再構成されたセグメント551を再構成する。次に、S721において、配信管理部302は、再構成されたセグメントをレスポンスとして送信する。 Next, in S<b>719 , the client device 120 transmits a request to acquire segment 2 of video stream 2 . However, the beginning of segment 2 held by the distribution management unit 302 is a P frame. Therefore, in S720, the distribution management unit 302 goes back to the immediately preceding I frame, that is, the frame 511, and reconstructs a reconstructed segment 551 including the frame 511 (I frame) to the frame 515. FIG. Next, in S721, the distribution management unit 302 transmits the reconstructed segment as a response.

なお、この場合、配信管理部302は、S720にて再構成されたセグメントよりも前のフレーム(フレーム511,512)の表示時間をゼロに設定する。また、配信管理部302は、送信対象のセグメント(セグメント2)のフレーム(フレーム513,514,515)の表示時間については、フレームレートから算出された値を設定する。 In this case, the distribution management unit 302 sets the display time of the frames (frames 511 and 512) before the segment reconstructed in S720 to zero. Also, the distribution management unit 302 sets a value calculated from the frame rate for the display time of the frames (frames 513, 514, and 515) of the segment (segment 2) to be transmitted.

このように、クライアント装置120はセグメントを順次取得しながら動画再生を行う。クライアント装置120では、ネットワーク帯域を測定するためにセグメントのデータ量をカウントするが、表示時間がゼロのフレームを含むセグメントは本来必要ないデータである。このため、受信済みの動画ストリームからの切り替え時の再構成されたセグメントを受信したときはセグメント全体をカウント対象から外す、もしくは表示時間ゼロのフレームのみカウント対象から外してもよい。 In this way, the client device 120 reproduces the moving image while sequentially acquiring segments. The client device 120 counts the amount of segment data in order to measure the network bandwidth, but segments containing frames whose display time is zero are essentially unnecessary data. Therefore, when a segment reconstructed at the time of switching from a previously received video stream is received, the entire segment may be excluded from the count target, or only frames whose display time is zero may be excluded from the count target.

図8は、配信管理部302による配信管理処理を示すフローチャートである。配信管理処理は、カメラサーバ装置100がクライアント装置120からMPDファイルの取得要求を受信した場合に開始される。 FIG. 8 is a flowchart showing distribution management processing by the distribution management unit 302. As shown in FIG. The distribution management process is started when the camera server device 100 receives an MPD file acquisition request from the client device 120 .

S801において、配信管理部302は、撮像処理部301に対してフレームの生成開始を指示する。本処理は、図7を参照しつつ説明したS702の処理に対応する。次に、S802において、配信管理部302は、クライアント装置120にMPDファイルを送信する。本処理は、S703の処理に対応する。次に、S803において、配信管理部302は、イベントが発生するのを待つ。次に、S302は、イベントが発生すると、イベントの内容を確認する。配信管理部302は、イベントの内容が、撮像処理部301からのフレーム生成通知イベントの場合には(S804でフレーム生成通知)、処理をS805へ進める。配信管理部302は、イベントの内容が、クライアント装置120からのセグメント取得要求イベントの場合には(S804でセグメント取得要求)、処理をS810へ進める。 In S801, the distribution management unit 302 instructs the imaging processing unit 301 to start frame generation. This process corresponds to the process of S702 described with reference to FIG. Next, in S<b>802 , the distribution management unit 302 transmits the MPD file to the client device 120 . This process corresponds to the process of S703. Next, in S803, the distribution management unit 302 waits for an event to occur. Next, in S302, when an event occurs, the contents of the event are confirmed. If the content of the event is a frame generation notification event from the imaging processing unit 301 (frame generation notification in S804), the distribution management unit 302 advances the process to S805. If the content of the event is a segment acquisition request event from the client device 120 (segment acquisition request in S804), the distribution management unit 302 advances the process to S810.

S805において、配信管理部302は、生成されたフレームがセグメント分生成されたか否かを判定する。配信管理部302は、セグメント分のフレームが生成された場合には(S805でYES)、処理をS806へ進める。配信管理部302は、セグメント分のフレームが生成されていない場合には(S805でNO)、処理をS808へ進める。S806において、配信管理部302は、セグメント番号とセグメントに含まれるフレーム情報から、生成されたフレームを含むセグメントを生成する。次に、S807において、配信管理部302は、一次記憶装置202に設けられた、該当する動画ストリームの送信待ちリストに追加し、その後処理をS803へ進める。また、S808においては、配信管理部302は、フレーム情報を保存し、その後処理をS803に戻る。 In S<b>805 , the distribution management unit 302 determines whether or not the generated frames are generated for the segments. If the frame for the segment has been generated (YES in S805), the distribution management unit 302 advances the process to S806. If the frame for the segment has not been generated (NO in S805), the distribution management unit 302 advances the process to S808. In S806, the distribution management unit 302 generates a segment including the generated frame from the segment number and frame information included in the segment. Next, in S807, the distribution management unit 302 adds the corresponding video stream to the transmission waiting list provided in the primary storage device 202, and then advances the process to S803. Also, in S808, the distribution management unit 302 saves the frame information, and then returns to S803.

S810においては、配信管理部302は、要求されたストリームの送信待ちリストに、要求されたセグメントが格納されているか否かを判定する。配信管理部302は、要求されたセグメントが格納されている場合には(S810でYES)、処理をS811へ進める。配信管理部302は、要求されたセグメントが格納されていない場合には(S810でNO)、処理をS819へ進める。 In S810, the distribution management unit 302 determines whether the requested segment is stored in the transmission waiting list of the requested stream. If the requested segment is stored (YES in S810), the distribution management unit 302 advances the process to S811. If the requested segment is not stored (NO in S810), distribution management unit 302 advances the process to S819.

S811において、配信管理部302は、セグメントの先頭のフレームがIフレームであるか否かを判定する。配信管理部302は、Iフレームの場合には(S811でYES)、処理をS812へ進める。配信管理部302は、Iフレームでない場合には(S811でNO)、処理をS813へ進める。S812において、配信管理部302は、セグメントをクライアント装置120に送信し、その後処理をS803へ進める。 In S811, the distribution management unit 302 determines whether the leading frame of the segment is an I frame. If it is an I frame (YES in S811), the distribution management unit 302 advances the process to S812. If the frame is not an I frame (NO in S811), the distribution management unit 302 advances the process to S813. In S812, the distribution management unit 302 transmits the segment to the client device 120, and then advances the process to S803.

S813において、配信管理部302は、直前のIフレームが送信待ちリスト内に存在するか否かを判定する。配信管理部302は、直前のIフレームが送信待ちリストに存在する場合には(S813でYES)、処理をS814へ進める。配信管理部302は、直前のIフレームが送信待ちリストに存在しない場合には(S813でNO)、処理をS816へ進める。なお、図5の例においては、各セグメントに1つのIフレームが含まれるが、例えば、1つのIフレームに対し、Pフレームが3以上連続するような場合には、送信待ちリストにIフレームが存在しない場合がある。また、送信待ちリストのバッファリング量を超えたことで直前のIフレームが送信待ちリストから削除される場合がある。 In S813, the distribution management unit 302 determines whether or not the immediately preceding I frame exists in the transmission waiting list. If the immediately preceding I frame exists in the transmission waiting list (YES in S813), the distribution management unit 302 advances the process to S814. If the immediately preceding I frame does not exist in the transmission waiting list (NO in S813), the distribution management unit 302 advances the process to S816. In the example of FIG. 5, one I frame is included in each segment. For example, when three or more P frames are consecutive for one I frame, the I frame is added to the transmission waiting list. May not exist. In addition, the immediately preceding I frame may be deleted from the transmission waiting list because the buffering amount of the transmission waiting list is exceeded.

S814において、配信管理部302は、第1のセグメント再構成処理を行う。具体的には、配信管理部302は、直前のIフレームから要求セグメントまでのフレームを含むセグメント(第1の再構成セグメント)を再構成する。さらにこの場合、配信管理部302は、要求に係るセグメントよりも前のフレームの表示時間にゼロを設定し、要求に係るセグメントに含まれるフレームの表示時間にはフレームレートにより算出された値を設定する。なお、要求に係るセグメントよりも前のフレームの表示時間には、フレームレートにより算出された値よりも短い時間が設定されればよく、その値はゼロに限定されるものではない。次に、S815において、配信管理部302は、再構成されたセグメントをクライアント装置120に送信し、その後処理をS803へ進める。 In S814, the distribution management unit 302 performs the first segment reconstruction processing. Specifically, the distribution management unit 302 reconstructs a segment (first reconstructed segment) including frames from the immediately preceding I frame to the requested segment. Furthermore, in this case, the distribution management unit 302 sets the display time of the frame before the requested segment to zero, and sets the display time of the frame included in the requested segment to a value calculated from the frame rate. do. Note that the display time of the frame before the requested segment may be set to a time shorter than the value calculated from the frame rate, and the value is not limited to zero. Next, in S815, the distribution management unit 302 transmits the reconfigured segments to the client device 120, and then advances the process to S803.

このように、配信管理部302は、配信対象のセグメントの先頭フレームがIフレームでない場合には、先頭フレームよりも前のIフレームから配信対象のセグメントの最後のフレームまでのセグメントを再構成し、これを送信する。したがって、クライアント装置120は、配信対象のセグメントの先頭フレームから抜けなく再生することができる。さらに、配信対象のセグメントよりも前のフレームの表示時間がゼロに設定されるので、クライアント装置120において、ストリームが切り替えられた後では、ストリーム切り換え前に表示されたフレームに続くフレームから表示することができる。 In this way, when the first frame of the segment to be distributed is not an I frame, the distribution management unit 302 reconstructs the segment from the I frame before the first frame to the last frame of the segment to be distributed, Send this. Therefore, the client device 120 can reproduce the segment to be distributed from the first frame without omission. Furthermore, since the display time of the frame before the segment to be distributed is set to zero, after the stream is switched on the client device 120, the frame displayed before the stream switching can be displayed from the frame following the frame. can be done.

S816において、配信管理部302は、要求されたセグメント内にIフレームが存在するか否かを判定する。配信管理部302は、要求されたセグメント内にIフレームが存在する場合には(S816でYES)、処理をS817へ進める。配信管理部302は、要求されたセグメント内にIフレームが存在しない場合には(S816でNO)、処理をS819へ進める。 In S816, the distribution management unit 302 determines whether an I frame exists within the requested segment. If an I frame exists in the requested segment (YES in S816), distribution management unit 302 advances the process to S817. If there is no I frame in the requested segment (NO in S816), distribution management unit 302 advances the process to S819.

S817において、配信管理部302は、第2の再構成処理を行う。具体的には、配信管理部302は、要求されたセグメント内のIフレームを先頭とし、要求されたセグメント内の最終フレームを最終フレームとするセグメント(第2の再構成セグメント)を再構成する。次に、S818において、配信管理部302は、再構成されたセグメントをクライアント装置120に送信し、その後処理をS803へ進める。なお、S816、S817、S818の処理は、動画データの一部を捨ててしまう処理である。これら処理については、省略してもよい。 In S817, the distribution management unit 302 performs second reconstruction processing. Specifically, the distribution management unit 302 reconstructs a segment (second reconstructed segment) having the I frame in the requested segment as the head and the final frame in the requested segment as the final frame. Next, in S818, the distribution management unit 302 transmits the reconstructed segments to the client device 120, and then advances the process to S803. Note that the processes of S816, S817, and S818 are processes for discarding part of the moving image data. These processes may be omitted.

S819においては、配信管理部302は、エラーレスポンスをクライアント装置120に送信し、その後処理をS803へ進める。なお、配信管理部302は、S819の処理に替えて、次に配信可能なセグメントが生成されるまで待機することとしてもよい。 In S819, the distribution management unit 302 transmits an error response to the client device 120, and then advances the process to S803. Note that the distribution management unit 302 may wait until the next distributable segment is generated instead of the process of S819.

以上のように、本実施形態に係るカメラサーバ装置100は、配信対象のセグメントよりも前のIフレームを含んだセグメントを再構成し、これをクライアント装置120に送信する。したがって、カメラサーバ装置100は、動画ストリームの切り替え時においても、連続再生可能な動画ストリームを配信することができる。 As described above, the camera server device 100 according to this embodiment reconstructs a segment including an I-frame preceding the segment to be distributed and transmits this to the client device 120 . Therefore, the camera server device 100 can deliver continuously reproducible moving image streams even when moving image streams are switched.

実施形態の第1の変形例としては、配信管理部302は、S816にてNOと判定した場合には、以下の処理を行うこととしてもよい。すなわち、配信管理部302は、配信対象のセグメント以降において初めに生成されるIフレームまでの期間が所定の期間以上未来の場合には、撮像処理部301に対しIフレームの生成を要求してもよい。これに対し、撮像処理部301は、次に予定されるIフレームよりも前のタイミングにおいてIフレームを生成する。そして、配信管理部302は、撮像処理部301により生成されたIフレームを先頭フレームとするセグメント(第3の再構成セグメント)を再構成し、クライアント装置120に送信することとしてもよい。
第2の変形例について説明する。本実施形態においては、DASH配信を利用する場合を例に、動画配信処理を説明したが、配信方法は実施形態に限定されるものではない。他の例としては、動画配信に、HLS配信など他のAdaptive Bitrate Streaming技術を用いてもよい。
As a first modified example of the embodiment, the distribution management unit 302 may perform the following processing when it is determined as NO in S816. That is, when the period until the first generated I frame after the segment to be distributed is more than a predetermined period in the future, the distribution management unit 302 requests the imaging processing unit 301 to generate an I frame. good. On the other hand, the imaging processing unit 301 generates an I frame at a timing before the next scheduled I frame. Then, the distribution management unit 302 may reconstruct a segment (third reconstructed segment) having the I frame generated by the imaging processing unit 301 as the first frame, and transmit the segment to the client device 120 .
A second modification will be described. In the present embodiment, the moving image distribution processing has been described using the DASH distribution as an example, but the distribution method is not limited to the embodiment. As another example, other adaptive bitrate streaming techniques such as HLS distribution may be used for moving image distribution.

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to such specific embodiments, and various modifications can be made within the scope of the gist of the invention described in the claims.・Changes are possible.

本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.

100 カメラサーバ装置
120 クライアント装置
301 撮像処理部
302 配信管理部
303 通信管理部
100 camera server device 120 client device 301 imaging processing unit 302 distribution management unit 303 communication management unit

Claims (13)

撮影画像に基づいて、複数の動画データを生成する動画生成手段と、
前記動画生成手段により生成された動画データにおける所定時間分の動画データであるセグメントを生成するセグメント生成手段と、
前記セグメント生成手段により生成されたセグメントを送信する送信手段と
を有し、
前記セグメント生成手段は、クライアント装置から、当該クライアント装置に送信済みのセグメントの動画データと異なる種類の動画データのセグメントの取得要求を受信した場合に、前記取得要求に係るセグメントよりも前の、フレーム内符号化されたフレームから前記取得要求に係るセグメントの最後のフレームまでを含む第1のセグメントを生成し、前記取得要求に係るセグメントよりも前のフレームの表示時間を、前記取得要求に係るセグメントに含まれるフレームの表示時間よりも短い時間に設定し、
前記送信手段は、前記第1のセグメントを送信する
ことを特徴とする動画配信装置。
a moving image generating means for generating a plurality of moving image data based on the captured image;
segment generation means for generating a segment, which is video data for a predetermined time in the video data generated by the video generation means;
a transmitting means for transmitting the segment generated by the segment generating means ;
When receiving from a client device a request to acquire a segment of moving image data of a type different from the moving image data of the segment already transmitted to the client device , the segment generating means generates a frame prior to the segment related to the acquisition request. generating a first segment including the inner-coded frame to the last frame of the segment related to the acquisition request, and displaying the display time of the frame before the segment related to the acquisition request, Set it to a time shorter than the display time of the frames included in the segment,
The moving picture distribution device, wherein the transmission means transmits the first segment .
前記セグメント生成手段は、前記取得要求に係るセグメントの先頭のフレームがフレーム内符号化されたフレームでない場合に、前記第1のセグメントを生成する
ことを特徴とすることを特徴とする請求項1に記載の動画配信装置。
2. The method according to claim 1 , wherein said segment generating means generates said first segment when the first frame of the segment related to said acquisition request is not an intra-frame encoded frame. The moving picture distribution device described.
前記セグメント生成手段により生成されたセグメントを格納する記憶手段をさらに有し、
前記セグメント生成手段は、前記取得要求に係るセグメントの先頭のフレームがフレーム内符号化されたフレームではなく、かつ前記記憶手段にフレーム内符号化されたフレームが格納されている場合に、前記第1のセグメントを生成する
ことを特徴とする請求項2に記載の動画配信装置。
further comprising storage means for storing the segments generated by the segment generation means;
The segment generation means generates the first 3. The moving picture distribution device according to claim 2, wherein the segments of are generated.
前記セグメント生成手段は、前記取得要求に係るセグメントの先頭のフレームがフレーム内符号化されたフレームではなく、かつ前記記憶手段にフレーム内符号化されたフレームが格納されていない場合に、前記取得要求に係るセグメントに含まれるフレーム内符号化されたフレームから前記取得要求に係るセグメントの最後のフレームまでを含む第2のセグメントを生成し、
前記送信手段は、前記第2のセグメントを送信する
ことを特徴とする請求項3に記載の動画配信装置。
When the first frame of the segment related to the acquisition request is not an intra-frame-encoded frame and the storage unit does not store an intra-frame-encoded frame, the segment generation means generates the acquisition request. generating a second segment including from the intra-frame encoded frame included in the segment related to the acquisition request to the last frame of the segment related to the acquisition request,
4. The moving picture distribution apparatus according to claim 3, wherein said transmission means transmits said second segment .
前記動画生成手段は、前記取得要求に係るセグメントの先頭のフレームがフレーム内符号化されたフレームではなく、前記記憶手段にフレーム内符号化されたフレームが格納されておらず、かつ前記取得要求に係るセグメントにフレーム内符号化されたフレームが含まれない場合に、フレーム内符号化されたフレームを生成し、
前記セグメント生成手段は、前記動画生成手段により生成された前記フレーム内符号化されたフレームを先頭フレームとする第3のセグメントを生成する
ことを特徴とする請求項4に記載の動画配信装置。
The motion picture generation means determines that the first frame of the segment related to the acquisition request is not an intra-frame-encoded frame, the storage means does not store an intra-frame-encoded frame, and generating an intra-coded frame if the segment does not include an intra-coded frame;
5. The moving image distribution apparatus according to claim 4, wherein the segment generating means generates a third segment having the frame that is intra-frame-encoded and generated by the moving image generating means as a leading frame.
前記動画生成手段は、前記取得要求に係るセグメントの先頭のフレームがフレーム内符号化されたフレームではなく、前記記憶手段にフレーム内符号化されたフレームが格納されておらず、前記取得要求に係るセグメントにフレーム内符号化されたフレームが含まれておらず、かつ前記取得要求に係るセグメント以降において、はじめに生成されるフレーム内符号化されたフレームまでの期間が所定の期間以上の場合に、前記フレーム内符号化されたフレームを生成する
ことを特徴とする請求項5に記載の動画配信装置。
The motion picture generating means determines that the first frame of the segment related to the acquisition request is not an intra-frame-encoded frame, the storage means does not store an intra-frame-encoded frame, and If the segment does not include an intra-frame-encoded frame, and the period until the first intra-frame-encoded frame generated after the segment related to the acquisition request is equal to or longer than a predetermined period, 6. The moving picture distribution device according to claim 5, wherein an intra-frame encoded frame is generated.
前記セグメント生成手段は、前記表示時間をゼロに設定する
ことを特徴とする請求項1乃至6の何れか1項に記載の動画配信装置。
The moving picture distribution device according to any one of claims 1 to 6, wherein the segment generating means sets the display time to zero.
前記複数の動画データは、解像度、フレームレート、及びビットレートの少なくとも1つが異なるデータである
ことを特徴とする請求項1乃至7の何れか1項に記載の動画配信装置。
The moving picture distribution device according to any one of claims 1 to 7, wherein the plurality of moving picture data are data different in at least one of resolution, frame rate, and bit rate.
動画配信装置と、クライアント装置と、を有する動画配信システムであって、
前記動画配信装置は、
撮影画像に基づいて、複数の動画データを生成する動画生成手段と、
前記動画生成手段により生成された動画データにおける所定時間分の動画データであるセグメントを生成するセグメント生成手段と、
前記セグメント生成手段によって生成されたセグメントを送信する送信手段と
を有し、
前記セグメント生成手段は、クライアント装置から、当該クライアント装置に送信済みのセグメントの動画データと異なる種類の動画データのセグメントの取得要求を受信した場合に、前記取得要求に係るセグメントよりも前のフレーム内符号化されたフレームから前記取得要求に係るセグメントの最後のフレームまでを含む第1のセグメントを生成し、前記取得要求に係るセグメントよりも前のフレームの表示時間を、前記取得要求に係るセグメントに含まれるフレームの表示時間よりも短い時間に設定し、
前記送信手段は、前記第1のセグメントを送信する
ことを特徴とする動画配信システム。
A video distribution system having a video distribution device and a client device,
The video distribution device is
a moving image generating means for generating a plurality of moving image data based on the captured image;
segment generation means for generating a segment, which is video data for a predetermined time in the video data generated by the video generation means;
a transmitting means for transmitting the segment generated by the segment generating means ;
When receiving from a client device a request to acquire a segment of video data of a type different from the video data of the segment already transmitted to the client device , the segment generation means receives a segment within a frame before the segment related to the acquisition request. generating a first segment including the encoded frame to the last frame of the segment related to the acquisition request, and displaying the display time of the frame before the segment related to the acquisition request to the segment related to the acquisition request; set it to a time shorter than the display time of the frames contained in the
The moving image distribution system, wherein the transmission means transmits the first segment .
前記クライアント装置は、
受信した動画データに基づいてネットワーク帯域を算出する算出手段をさらに有し、
前記算出手段は、受信済みのセグメントの動画データと異なる種類の動画データのセグメントを受信した場合には、セグメントが切り替わった直後に受信したセグメントを除いて前記ネットワーク帯域を算出する
ことを特徴とする請求項9に記載の動画配信システム。
The client device
further comprising calculating means for calculating a network bandwidth based on the received video data;
The calculation means calculates the network bandwidth by excluding a segment received immediately after switching of a segment when a segment of video data different from video data of a segment that has already been received is received. The moving picture delivery system according to claim 9.
前記クライアント装置は、
前記受信した動画データに基づいてネットワーク帯域を算出する算出手段をさらに有し、
前記算出手段は、表示時間が所定の時間よりも短いフレームを除いて前記ネットワーク帯域を算出する
ことを特徴とする請求項9に記載の動画配信システム。
The client device
further comprising calculating means for calculating a network bandwidth based on the received video data;
10. The moving picture delivery system according to claim 9, wherein said calculating means calculates said network bandwidth excluding frames whose display time is shorter than a predetermined time.
動画配信装置が実行する動画配信方法であって、
撮影画像に基づいて、複数の動画データを生成する動画生成ステップと、
前記動画生成ステップにおいて生成された動画データにおける所定時間分の動画データであるセグメントを生成するセグメント生成ステップと、
前記セグメント生成ステップにより生成されたセグメントを送信する送信ステップと
を含み、
前記セグメント生成ステップでは、クライアント装置から、当該クライアント装置に送信済みのセグメントの動画データと異なる種類の動画データのセグメントの取得要求を受信した場合に、前記取得要求に係るセグメントよりも前の、フレーム内符号化されたフレームから前記取得要求に係るセグメントの最後のフレームまでを含む第1のセグメントを生成し、前記取得要求に係るセグメントよりも前のフレームの表示時間を、前記取得要求に係るセグメントに含まれるフレームの表示時間よりも短い時間に設定し、
前記送信ステップでは、前記第1のセグメントを送信する
ことを特徴とする動画配信方法。
A video distribution method executed by a video distribution device,
a moving image generating step of generating a plurality of moving image data based on the captured image;
a segment generation step of generating a segment that is video data for a predetermined time in the video data generated in the video generation step;
a transmitting step of transmitting the segment generated by the segment generating step ;
In the segment generating step, when receiving from a client device a request to acquire a segment of moving picture data of a type different from the moving picture data of the segment already transmitted to the client device , a frame prior to the segment related to the acquisition request is received. generating a first segment including the inner-coded frame to the last frame of the segment related to the acquisition request, and displaying the display time of the frame before the segment related to the acquisition request, Set it to a time shorter than the display time of the frames included in the segment,
The moving image distribution method, wherein in the transmitting step, the first segment is transmitted.
コンピュータを、請求項1乃至8の何れか1項に記載の動画配信装置の各手段として機能させるためのプログラム。 A program for causing a computer to function as each means of the moving image distribution apparatus according to any one of claims 1 to 8.
JP2019044096A 2019-03-11 2019-03-11 Video distribution device, video distribution method and program Active JP7327953B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019044096A JP7327953B2 (en) 2019-03-11 2019-03-11 Video distribution device, video distribution method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019044096A JP7327953B2 (en) 2019-03-11 2019-03-11 Video distribution device, video distribution method and program

Publications (2)

Publication Number Publication Date
JP2020150321A JP2020150321A (en) 2020-09-17
JP7327953B2 true JP7327953B2 (en) 2023-08-16

Family

ID=72429919

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019044096A Active JP7327953B2 (en) 2019-03-11 2019-03-11 Video distribution device, video distribution method and program

Country Status (1)

Country Link
JP (1) JP7327953B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012085216A (en) 2010-10-14 2012-04-26 Sony Computer Entertainment Inc Moving image reproducer, information processor and moving image reproduction method
JP2014187510A (en) 2013-03-22 2014-10-02 Fujitsu Ltd System, method, program and server for streaming distribution
JP2016059018A (en) 2014-09-12 2016-04-21 株式会社東芝 Distribution device, reproduction device, and distribution system
JP2016072858A (en) 2014-09-30 2016-05-09 エヌ・ティ・ティ・コミュニケーションズ株式会社 Media data generation method, media data reproduction method, media data generation device, media data reproduction device, computer readable recording medium and program
JP2019009492A (en) 2017-06-20 2019-01-17 キヤノン株式会社 Imaging apparatus, processing method of the same, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012085216A (en) 2010-10-14 2012-04-26 Sony Computer Entertainment Inc Moving image reproducer, information processor and moving image reproduction method
JP2014187510A (en) 2013-03-22 2014-10-02 Fujitsu Ltd System, method, program and server for streaming distribution
JP2016059018A (en) 2014-09-12 2016-04-21 株式会社東芝 Distribution device, reproduction device, and distribution system
JP2016072858A (en) 2014-09-30 2016-05-09 エヌ・ティ・ティ・コミュニケーションズ株式会社 Media data generation method, media data reproduction method, media data generation device, media data reproduction device, computer readable recording medium and program
JP2019009492A (en) 2017-06-20 2019-01-17 キヤノン株式会社 Imaging apparatus, processing method of the same, and program

Also Published As

Publication number Publication date
JP2020150321A (en) 2020-09-17

Similar Documents

Publication Publication Date Title
KR102324326B1 (en) Streaming multiple encodings encoded using different encoding parameters
WO2005062614A1 (en) Video data processing method and vide data processing device
US11128897B2 (en) Method for initiating a transmission of a streaming content delivered to a client device and access point for implementing this method
CN108696505B (en) Video distribution apparatus, video reception apparatus, video distribution method, and recording medium
JP7105675B2 (en) Transmission device, server device, transmission method and program
CN112672163B (en) Transcoder adjustment for segment mobility
US11457286B2 (en) Video distribution apparatus, distribution method, and recording medium
JP7327953B2 (en) Video distribution device, video distribution method and program
JP2020113922A (en) Video distribution device, video distribution method, and program
JP2020022106A (en) Information processing apparatus, information processing method, and program
JP6907104B2 (en) Video distribution device, control method and program
JP7172055B2 (en) Processing device, processing program and processing method
JP6890977B2 (en) Transmitter, transmission method, and program
CN113315997B (en) Transmission device, server device, transmission method, and program
JP7292901B2 (en) Transmission device, transmission method, and program
JP7438835B2 (en) Server device, communication system, program and information processing method
JP7302076B2 (en) Transmission device, server device, transmission method and program
KR102602898B1 (en) Server device, information processing method, and non-transitory computer readable recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230803

R151 Written notification of patent or utility model registration

Ref document number: 7327953

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151