JP6688367B1 - Video distribution device, terminal, video distribution system, video distribution method, and program - Google Patents

Video distribution device, terminal, video distribution system, video distribution method, and program Download PDF

Info

Publication number
JP6688367B1
JP6688367B1 JP2018212404A JP2018212404A JP6688367B1 JP 6688367 B1 JP6688367 B1 JP 6688367B1 JP 2018212404 A JP2018212404 A JP 2018212404A JP 2018212404 A JP2018212404 A JP 2018212404A JP 6688367 B1 JP6688367 B1 JP 6688367B1
Authority
JP
Japan
Prior art keywords
image
terminal
quality data
image quality
panoramic video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018212404A
Other languages
Japanese (ja)
Other versions
JP2020080455A (en
Inventor
洋平 川崎
洋平 川崎
能登 肇
肇 能登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT TechnoCross Corp
Original Assignee
NTT TechnoCross Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT TechnoCross Corp filed Critical NTT TechnoCross Corp
Priority to JP2018212404A priority Critical patent/JP6688367B1/en
Application granted granted Critical
Publication of JP6688367B1 publication Critical patent/JP6688367B1/en
Publication of JP2020080455A publication Critical patent/JP2020080455A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】パノラマ動画におけるユーザの視野範囲に応じた高画質領域を配信すること。【解決手段】パノラマ動画を再生する端末とネットワークを介して接続される動画配信装置であって、前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第1の高画質データと、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第2の高画質データとのうちのいずれを前記端末に配信するかを判定する判定手段と、前記判定手段による判定結果に応じて、前記第1の高画質データ又は前記第2の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを作成する作成手段と、前記作成手段が作成した前記第1の高画質データ又は前記第2の高画質データと前記低画質データとを前記端末に配信する配信手段と、を有することを特徴とする。【選択図】図4PROBLEM TO BE SOLVED: To deliver a high quality area according to a user's visual field range in a panoramic video. A video distribution device connected to a terminal for playing a panoramic video through a network, the frame image of the panoramic video including the range depending on the position of the range displayed on the terminal, Further, any one of the first high-quality image data of a predetermined image size and the second high-quality image data including the range and including the vicinity of the pole when represented by the omnidirectional projection sphere is described. Determining means for determining whether to deliver to the terminal, and the first high image quality data or the second high image quality data, and a low level obtained by compressing the frame image to the image size according to the determination result by the determining means. And a delivery unit configured to deliver the image quality data and the first image quality data or the second image quality data produced by the creation unit and the low image quality data to the terminal. The features. [Selection diagram] Fig. 4

Description

本発明は、動画配信装置、端末、動画配信システム、動画配信方法、及びプログラムに関する。   The present invention relates to a moving picture distribution device, a terminal, a moving picture distribution system, a moving picture distribution method, and a program.

近年、上下左右の全方位360度の動画を撮影可能なカメラ装置が知られており、このようなカメラ装置で撮影された動画はパノラマ動画(又は、「パノラマ映像」や「360度パノラマ動画」等とも称される。)として視聴可能である。   2. Description of the Related Art In recent years, a camera device capable of shooting a 360-degree moving image in all directions is known, and a moving image shot by such a camera device is a panoramic moving image (or "panoramic image" or "360-degree panoramic moving image"). Also referred to as)) is available for viewing.

また、例えば、動画配信サーバがパノラマ動画を端末にストリーミング配信等することで、当該端末でパノラマ動画を視聴することも行われている。しかしながら、パノラマ動画は一般にデータサイズが大きい場合が多く、パノラマ動画の配信に時間が掛かり、端末にパノラマ動画が表示されるまでに時間を要することがあった。   In addition, for example, the moving image distribution server performs streaming distribution of a panoramic moving image to a terminal so that the terminal can view the panoramic moving image. However, the panoramic video generally has a large data size, and it takes time to deliver the panoramic video, and it may take time before the panoramic video is displayed on the terminal.

これに対して、端末に表示される範囲(以降、「視野範囲」とも表す。)を通常の画質で配信し、端末に表示されない範囲は低画質で配信する技術が知られている(非特許文献1参照)。   On the other hand, a technology is known in which a range displayed on a terminal (hereinafter, also referred to as a “field of view range”) is distributed with normal image quality, and a range not displayed on the terminal is distributed with low image quality (Non-patent Reference). Reference 1).

例えば、図1に示すように、全天周投影球で表現されるパノラマ動画では、全天周投影球の中心を観測位置として、この観測位置にある疑似的なカメラ装置が所定の画角で撮影した範囲が視野範囲となる。また、全天周投影球で表現されるパノラマ動画は、垂直角度θが0〜π、水平角度φが0〜2πの正距円筒図法で表現することができる。このとき、非特許文献1に記載されている技術では、正距円筒図法で表現されたパノラマ動画の視野範囲を含む部分領域データを「部分領域タイル」、パノラマ動画全体を圧縮したデータを「全体縮小タイル」として端末に配信する。この技術を用いることで、パノラマ動画の配信に要する時間を削減させることができると共に、視野範囲では高画質な動画が視聴可能であり、かつ、視野範囲を移動させた場合であっても動画が途切れることなく視聴可能とさせることができる。なお、本明細書では、圧縮とは、画像サイズの縮小を意味するものとする。   For example, as shown in FIG. 1, in a panoramic video image represented by a omnidirectional projection sphere, the center of the omnidirectional projection sphere is set as an observation position, and a pseudo camera device at this observation position has a predetermined angle of view. The captured range is the field of view. Further, the panoramic video represented by the omnidirectional projection sphere can be represented by an equirectangular projection with a vertical angle θ of 0 to π and a horizontal angle φ of 0 to 2π. At this time, in the technique described in Non-Patent Document 1, partial area data including the visual field range of the panoramic video represented by the equirectangular projection is “partial area tile”, and data obtained by compressing the entire panoramic video is “entire”. Delivered to terminals as "reduced tiles". By using this technology, it is possible to reduce the time required to distribute a panoramic video, and it is possible to view high-quality video in the visual field range and even if the visual field range is moved It can be viewed without interruption. In this specification, compression means reduction in image size.

越智 大介、岩城 進之介、「リアルタイム全天球映像配信システム (特集 ドワンゴ×NTT R&Dコラボレーション)」、NTT技術ジャーナル 27(4)、51-54、2015-04Daisuke Ochi, Shinnosuke Iwaki, "Real-time spherical image distribution system (Special feature Dwango x NTT R & D collaboration)", NTT Technical Journal 27 (4), 51-54, 2015-04

しかしながら、非特許文献1に記載された技術では、部分領域タイルの垂直角度θによっては全天周投影球上で部分領域タイルに対応する領域(以降、全天周投影球上の領域を「実効領域」とも表す。)が小さくなる場合がある。例えば、図2に示すように、部分領域タイルの上辺の垂直角度θがπである場合、部分領域タイルの実効領域は、全天周投影球の球面上で1つの頂点が北極点となる三画形状の領域となる。   However, in the technique described in Non-Patent Document 1, an area corresponding to the partial area tile on the omnidirectional projection sphere (hereinafter, the area on the omnidirectional projection sphere is referred to as “effective” depending on the vertical angle θ of the partial area tile). Also referred to as "area") may be smaller. For example, as shown in FIG. 2, when the vertical angle θ of the upper side of the partial area tile is π, the effective area of the partial area tile has three vertices in which one vertex is the north pole on the spherical surface of the omnidirectional projection sphere. It becomes a picture-shaped area.

このため、例えば、図2に示すように、北極方向へ視野範囲を移動させた場合、部分領域タイルに対応する実効領域が視野範囲よりも小さくなり、視野範囲で高画質な動画を視聴できなくなる場合があった。   For this reason, for example, as shown in FIG. 2, when the visual field range is moved toward the North Pole, the effective area corresponding to the partial area tile becomes smaller than the visual field range, and high-quality moving images cannot be viewed in the visual field range. There were cases.

本発明の実施の形態は、上記の点に鑑みてなされたもので、パノラマ動画におけるユーザの視野範囲に応じた高画質領域を配信することを目的とする。   The embodiment of the present invention has been made in view of the above points, and an object thereof is to distribute a high image quality region according to a visual field range of a user in a panoramic video.

上記目的を達成するため、本発明の実施の形態は、パノラマ動画を再生する端末とネットワークを介して接続される動画配信装置であって、前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第1の高画質データと、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第2の高画質データとのうちのいずれを前記端末に配信するかを判定する判定手段と、前記判定手段による判定結果に応じて、前記第1の高画質データ又は前記第2の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを作成する作成手段と、前記作成手段が作成した前記第1の高画質データ又は前記第2の高画質データと前記低画質データとを前記端末に配信する配信手段と、を有することを特徴とする。   In order to achieve the above object, an embodiment of the present invention is a moving image distribution apparatus connected to a terminal for playing a panoramic moving image via a network, in which a frame image of the panoramic moving image is displayed on the terminal. Depending on the position of the first range, the first high-quality image data of a predetermined image size, and the second range including the range and including the vicinity of the pole when represented by the omnidirectional projection sphere. Determining means for determining which of the high image quality data to be delivered to the terminal, and the first high image quality data or the second high image quality data according to the determination result by the determining means. Creating means for creating the low image quality data obtained by compressing the frame image to the image size; and the first high image quality data or the second high image quality data and the low image quality data created by the creating means. end It characterized by having a a delivery means for delivering the.

パノラマ動画におけるユーザの視野範囲に応じた高画質領域を配信することができる。   It is possible to distribute a high quality area in the panoramic video according to the user's visual field range.

従来技術の一例を説明するための図である。It is a figure for demonstrating an example of a prior art. 課題を説明するための図である。It is a figure for explaining a subject. 本実施形態に係るパノラマ動画配信システムの全体構成の一例を示す図である。It is a figure showing an example of the whole composition of the panoramic video distribution system concerning this embodiment. 天頂タイルの一例を説明するための図である。It is a figure for explaining an example of a zenith tile. 本実施形態に係るパノラマ動画配信システムの機能構成の一例を示す図である。It is a figure showing an example of functional composition of a panoramic video distribution system concerning this embodiment. 本実施形態に係るパノラマ動画配信処理の一例を示すシーケンス図である。It is a sequence diagram which shows an example of the panoramic video distribution process concerning this embodiment.

以下、本発明の実施の形態(以降、「本実施形態」とも表す。)について、図面を参照しながら詳細に説明する。本実施形態では、正距円筒図法で表現されたパノラマ動画におけるユーザの視野範囲の位置(垂直角度θの値)に応じて、部分領域タイル又は全天周投影球の極付近をカバーするタイル(後述する天頂タイル)のいずれか配信するパノラマ動画配信システム1について説明する。   Hereinafter, embodiments of the present invention (hereinafter, also referred to as “this embodiment”) will be described in detail with reference to the drawings. In the present embodiment, a partial area tile or a tile that covers the vicinity of the pole of the omnidirectional projection sphere (the value of the vertical angle θ) in the panoramic video represented by the equirectangular projection is used ( A panoramic video distribution system 1 that distributes any of the below-mentioned zenith tiles) will be described.

ここで、部分領域タイル及び天頂タイルは、いずれも全体縮小タイルと比べて高画質なタイルであるものとする。したがって、部分領域タイル及び天頂タイルを「高画質タイル」、全体縮小タイルを「低画質タイル」とも称する。また、タイルとは、正距円筒図法で表現されたパノラマ動画における矩形領域のことである。ただし、タイルは必ずしも矩形でなくても良く、例えば、三角形や円形等の任意の形状の領域であっても良い。   Here, it is assumed that the partial area tile and the zenith tile have higher image quality than the overall reduced tile. Therefore, the partial area tiles and the zenith tiles are also referred to as “high image quality tiles”, and the entire reduced tiles are also referred to as “low image quality tiles”. A tile is a rectangular area in a panoramic video represented by the equirectangular projection. However, the tile does not necessarily have to be rectangular, and may be a region having any shape such as a triangle or a circle.

また、パノラマ動画とは、全天周投影球で表現される画像(又は、この画像を正距円筒図法で表現した画像)をフレーム画像とする動画のことである。本実施形態では、パノラマ動画の各フレーム画像は、正距円筒図法で表現されているものとする。この場合、パノラマ動画は、視聴の際のレンダリング時に、正距円筒図法で表現されているフレーム画像が全天周投影球上のテキスチャとしてマッピングされ、全天周投影球で表現される。   The panoramic video is a video in which a frame image is an image represented by a omnidirectional projection sphere (or an image represented by the equirectangular cylindrical projection method). In this embodiment, it is assumed that each frame image of the panoramic video is represented by the equirectangular projection. In this case, the panoramic video is represented by the omnidirectional projection sphere by mapping the frame image represented by the equirectangular cylinder projection as a texture on the omnidirectional projection sphere at the time of rendering during viewing.

なお、パノラマ動画には音声が含まれていても良いし、音声は含まれていなくても良い。また、パノラマ動画としては実写を想定するが、必ずしも実写である必要はなく、例えば、CG(コンピュータグラフィックス)やアニメーション等であっても良い。   Note that the panoramic video may or may not include audio. The panoramic video is supposed to be a live-action image, but the panoramic video is not necessarily a live-action image, and may be, for example, CG (computer graphics) or animation.

<全体構成>
まず、本実施形態に係るパノラマ動画配信システム1の全体構成について、図3を参照しながら説明する。図3は、本実施形態に係るパノラマ動画配信システム1の全体構成の一例を示す図である。
<Overall structure>
First, the overall configuration of the panoramic video distribution system 1 according to the present embodiment will be described with reference to FIG. FIG. 3 is a diagram showing an example of the overall configuration of the panoramic video distribution system 1 according to the present embodiment.

図3に示すように、本実施形態に係るパノラマ動画配信システム1には、パノラマ動画配信サーバ10と、1以上の端末20とが含まれる。また、パノラマ動画配信サーバ10と、端末20とは、例えばインターネット等のネットワークNを介して通信可能に接続されている。   As shown in FIG. 3, the panoramic video distribution system 1 according to the present embodiment includes a panoramic video distribution server 10 and one or more terminals 20. Further, the panoramic video distribution server 10 and the terminal 20 are communicably connected via a network N such as the Internet.

パノラマ動画配信サーバ10は、端末20からの要求に応じて、パノラマ動画をストリーミング配信するコンピュータ又はコンピュータシステムである。このとき、パノラマ動画配信サーバ10は、当該端末20に表示される視野範囲の位置(垂直角度θの値)に応じて、部分領域タイル又は後述する天頂タイルと、全体縮小タイルとを当該端末20に配信する。なお、本実施形態では、パノラマ動画において、端末20に表示される範囲を「視野範囲」と表現するが、視野範囲は、例えば「視認範囲」や「表示範囲」、「視聴範囲」等と称されても良い。   The panoramic video distribution server 10 is a computer or a computer system that streams and distributes a panoramic video in response to a request from the terminal 20. At this time, the panoramic video distribution server 10 sets a partial area tile or a zenith tile, which will be described later, and an overall reduction tile according to the position (the value of the vertical angle θ) of the visual field range displayed on the terminal 20. To deliver to. In the present embodiment, the range displayed on the terminal 20 in the panoramic video is referred to as a “viewing range”. The viewing range is referred to as, for example, a “viewing range”, a “display range”, or a “viewing range”. May be done.

ここで、部分領域タイルとは、パノラマ動画(より正確には、当該パノラマ動画のフレーム画像)において、視野範囲を含む部分領域のデータである。また、天頂タイルとは、後述するように、パノラマ動画(より正確には、当該パノラマ動画のフレーム画像)において、視野範囲を含み、かつ、全天周投影球で天頂タイルに対応する実効領域が極付近(つまり、極の近傍)も含む部分領域のことである。更に、全体縮小タイルとは、パノラマ動画(より正確には、当該パノラマ動画のフレーム画像)全体を圧縮したデータである。   Here, the partial area tile is data of a partial area including a visual field range in a panoramic video (more accurately, a frame image of the panoramic video). As will be described later, the zenith tile is an effective area that includes the field of view in the panoramic video (more accurately, the frame image of the panoramic video) and that corresponds to the zenith tile in the omnidirectional projection sphere. It is a partial area that includes the vicinity of the pole (that is, the vicinity of the pole). Further, the overall reduced tile is data obtained by compressing the entire panoramic video (more accurately, the frame image of the panoramic video).

端末20は、パノラマ動画を視聴可能なスマートフォンやタブレット端末、ヘッドマウントディスプレイ、ウェアラブルデバイス、PC(パーソナルコンピュータ)等である。ユーザは、端末20を用いて、パノラマ動画配信サーバ10から配信されたパノラマ動画を視聴することができる。   The terminal 20 is a smartphone, a tablet terminal, a head mounted display, a wearable device, a PC (personal computer), or the like that can view a panoramic video. The user can view the panoramic video distributed from the panoramic video distribution server 10 using the terminal 20.

ここで、ユーザは、端末20を操作等することで、パノラマ動画中における視野範囲を移動又は変更することができる。このような操作としては、例えば、端末20のディスプレイに対するスワイプ操作やフリック操作、視野範囲の移動ボタンの押下操作等であっても良いし、マウス等のポインティングデバイスを用いた視野範囲の移動ボタンの押下操作等であっても良い。また、上下左右の全方位360度の向きを検出可能なセンサを端末20が備えている場合には、当該端末20の向きを変更することで、視野範囲の移動又は変更を行うことができても良い。   Here, the user can move or change the visual field range in the panoramic video by operating the terminal 20 or the like. Such an operation may be, for example, a swipe operation or a flick operation on the display of the terminal 20, an operation of pressing a moving button in the visual field range, or a moving button in the visual field range using a pointing device such as a mouse. It may be a pressing operation or the like. In addition, when the terminal 20 is provided with a sensor capable of detecting 360 ° orientations in all directions (up, down, left and right), it is possible to move or change the visual field range by changing the orientation of the terminal 20. Is also good.

なお、図1に示すパノラマ動画配信システム1の構成は一例であって、他の構成であっても良い。例えば、端末20に対してパノラマ動画をライブ配信する場合には、上下左右の全方位360度の動画を撮影可能なカメラ装置や音を収集するマイク等がパノラマ動画配信システム1に含まれていても良い。また、例えば、端末20に対してパノラマ動画をオンデマンド配信する場合には、パノラマ動画を保持する記憶装置等がパノラマ動画配信システム1に含まれていても良い。   The configuration of the panoramic video distribution system 1 shown in FIG. 1 is an example, and other configurations may be used. For example, when a panoramic video is live-distributed to the terminal 20, the panoramic video distribution system 1 includes a camera device capable of shooting a 360-degree video in all directions and a microphone for collecting sound. Is also good. Further, for example, when a panoramic video is distributed on demand to the terminal 20, a storage device or the like that holds the panoramic video may be included in the panoramic video distribution system 1.

<天頂タイル>
次に、天頂タイルについて、図4を参照しながら説明する。図4は、天頂タイルの一例を説明するための図である。以降では、視野範囲の位置は、当該視野範囲の中心座標で表されるものとする。なお、中心座標は、水平角度φと垂直角度θとの組(φ,θ)で表される。
<Zenith tile>
Next, the zenith tile will be described with reference to FIG. FIG. 4 is a diagram for explaining an example of the zenith tile. Hereinafter, the position of the visual field range is represented by the center coordinates of the visual field range. The center coordinates are represented by a set (φ, θ) of horizontal angle φ and vertical angle θ.

図4(a)に示すように、視野範囲の中心座標の垂直角度θがπに近い場合(言い換えれば、中心座標の垂直角度θが第1の閾値Th以上の場合)、パノラマ動画配信サーバ10は、当該視野範囲を含み、かつ、4頂点が(0,π),(0,θ),(2π,θ),(2π,π)で表される天頂タイル(以降では、この天頂タイルを「第1の天頂タイル」とも表す。)を配信する。この第1の天頂タイルの実効領域は、北極点の付近を含むものとなる。 As shown in FIG. 4A, when the vertical angle θ of the central coordinates of the visual field range is close to π (in other words, when the vertical angle θ of the central coordinates is the first threshold Th 1 or more), the panoramic video distribution server 10 includes the field of view, and four vertices (0, π), (0 , θ 1), with (2π, θ 1), ( 2π, π) zenith tiles represented by (hereinafter, this The zenith tile is also referred to as a “first zenith tile”. The effective area of this first zenith tile includes the vicinity of the North Pole.

ここで、θは、第1の天頂タイルの高さ(垂直角度方向の幅)を決定するためのパラメータである。このθは、予め決められた値であっても良いし、ユーザが設定することができても良い。なお、視野範囲が第1の天頂タイルに含まれる必要があるため、π−θが視野範囲の高さ(垂直角度方向の幅)より大きくなるようにθが決定される必要がある。また、同様の理由から第1の閾値Thは、θに応じて決定される。例えば、εをパラメータ、視野範囲の高さをhとして、第1の閾値Th=θ+h×1/2+ε等と決定される。 Here, θ 1 is a parameter for determining the height (width in the vertical angle direction) of the first zenith tile. This θ 1 may be a predetermined value or may be set by the user. Since the field of view needs to be included in the first zenith tile, it is necessary to [pi-theta 1 the height of the field of view is so theta 1 is larger than the (vertical angular width) is determined. Further, for the same reason, the first threshold Th 1 is determined according to θ 1 . For example, when ε 1 is a parameter and the height of the visual field range is h, the first threshold value Th 1 = θ 1 + h × 1/2 + ε 1 is determined.

図4(b)に示すように、視野範囲の中心座標の垂直角度θが0に近い場合(言い換えれば、中心座標の垂直角度θが第2の閾値Th以下の場合)、パノラマ動画配信サーバ10は、当該視野範囲を含み、かつ、4頂点が(0,θ),(0,0),(2π,0),(2π,θ)で表される天頂タイル(以降では、この天頂タイルを「第2の天頂タイル」とも表す。)を配信する。この第2の天頂タイルの実効領域は、南極点の付近を含むものとなる。 As shown in FIG. 4B, when the vertical angle θ of the center coordinates of the visual field range is close to 0 (in other words, when the vertical angle θ of the center coordinates is the second threshold Th 2 or less), the panoramic video distribution server 10 is the zenith tile (hereinafter, this zenith tile is included in the visual field range and whose four vertices are represented by (0, θ 2 ), (0, 0), (2π, 0), (2π, θ 2 ). The zenith tile is also referred to as a "second zenith tile". The effective area of this second zenith tile includes the vicinity of the South Pole.

ここで、θは、第2の天頂タイルの高さを決定するためのパラメータである。このθは、予め決められた値であっても良いし、ユーザが設定することができても良い。なお、視野範囲が第2の天頂タイルに含まれる必要があるため、θが視野範囲の高さより大きくなるようにθが決定される必要がある。また、同様の理由から第2の閾値Thは、θに応じて決定される。例えば、εをパラメータ、視野範囲の高さをhとして、第2の閾値Th=θ−h×1/2−ε等と決定される。 Here, θ 2 is a parameter for determining the height of the second zenith tile. This θ 2 may be a predetermined value or may be set by the user. Note that since the visual field range needs to be included in the second zenith tile, θ 2 needs to be determined so that θ 2 is larger than the height of the visual field range. Further, for the same reason, the second threshold Th 2 is determined according to θ 2 . For example, when ε 2 is a parameter and the height of the visual field range is h, it is determined that the second threshold value Th 2 = θ 2 −h × 1 / 2−ε 2 or the like.

なお、上記のパラメータθ及びθの関係について、π−θ≠θであっても良いし、π−θ=θであっても良い。π−θ≠θである場合は第1の天頂タイルの高さと第2の天頂タイルの高さとが異なる一方で、π−θ=θである場合は第1の天頂タイルの高さと第2の天頂タイルの高さとが同じになる。 Regarding the relationship between the parameters θ 1 and θ 2 described above, π−θ 1 ≠ θ 2 may be satisfied, or π−θ 1 = θ 2 may be satisfied. When π−θ 1 ≠ θ 2 , the height of the first zenith tile and the height of the second zenith tile are different, while when π−θ 1 = θ 2 , the height of the first zenith tile is And the height of the second zenith tile are the same.

以上のように、本実施形態に係るパノラマ動画配信サーバ10は、視野範囲の位置が垂直角度θ=πに近くなった場合又は視野範囲の位置が垂直角度θ=0に近くなった場合、部分領域タイルの代わりに、天頂タイルを端末20に配信する。これにより、全天周投影球での実効領域を大きくすることができる。   As described above, the panoramic video distribution server 10 according to the present embodiment performs partial processing when the position of the visual field range is close to the vertical angle θ = π or when the position of the visual field range is close to the vertical angle θ = 0. The zenith tile is delivered to the terminal 20 instead of the area tile. As a result, the effective area of the omnidirectional projection sphere can be increased.

また、上記では、視野範囲の位置が垂直角度θ=πに近くなった場合又は視野範囲の位置が垂直角度θ=0に近くなった場合に天頂タイルを端末20に配信するものとしたが、これ以外にも、例えば、ユーザの視野範囲の履歴(視野範囲の中心座標の履歴)等を用いて視野範囲の位置が垂直角度θ=π又はθ=0に近くなることを予測した上で、この予測結果に応じて天頂タイルを端末20に配信するようにしても良い。   In the above description, the zenith tile is distributed to the terminal 20 when the position of the field of view is close to the vertical angle θ = π or when the position of the field of view is close to the vertical angle θ = 0. In addition to this, for example, after predicting that the position of the visual field range is close to the vertical angle θ = π or θ = 0 using the history of the visual field range of the user (history of the center coordinates of the visual field range) or the like, The zenith tile may be delivered to the terminal 20 according to the prediction result.

なお、正距円筒図法で表現されたパノラマ動画は、極に近い程(つまり、垂直角度θがπ/2から離れる程)、所定の単位領域当たりの情報量が減少する。このため、天頂タイルは部分領域タイルと同等程度のデータサイズで配信することが可能である。   In the panoramic video represented by the equirectangular projection, the amount of information per predetermined unit area decreases as it approaches the pole (that is, as the vertical angle θ moves away from π / 2). Therefore, the zenith tile can be distributed with a data size comparable to that of the partial area tile.

<機能構成>
次に、本実施形態に係るパノラマ動画配信システム1の機能構成について、図5を参照しながら説明する。図5は、本実施形態に係るパノラマ動画配信システム1の機能構成の一例を示す図である。
<Functional configuration>
Next, the functional configuration of the panoramic video distribution system 1 according to the present embodiment will be described with reference to FIG. FIG. 5 is a diagram showing an example of the functional configuration of the panoramic video distribution system 1 according to the present embodiment.

図5に示すように、本実施形態に係るパノラマ動画配信システム1のパノラマ動画配信サーバ10は、機能部として、動画配信処理部101を有する。当該機能部は、パノラマ動画配信サーバ10にインストールされた1以上のプログラムがCPU(Central Processing Unit)等に実行させる処理により実現される。   As shown in FIG. 5, the panoramic video distribution server 10 of the panoramic video distribution system 1 according to the present embodiment has a video distribution processing unit 101 as a functional unit. The functional unit is realized by a process that is executed by a CPU (Central Processing Unit) or the like by one or more programs installed in the panoramic video distribution server 10.

動画配信処理部101は、端末20からの要求に応じて、パノラマ動画(すなわち、パノラマ動画の各フレーム画像の部分領域タイル又は天頂タイルと全体縮小タイル)を当該端末20に配信する処理を実行する。ここで、動画配信処理部101には、判定部111と、タイル作成部112と、配信部113とが含まれる。   In response to a request from the terminal 20, the moving image distribution processing unit 101 executes a process of distributing a panoramic moving image (that is, a partial area tile or a zenith tile and an entire reduced tile of each frame image of the panoramic moving image) to the terminal 20. . Here, the moving image delivery processing unit 101 includes a determination unit 111, a tile creation unit 112, and a delivery unit 113.

判定部111は、高画質タイルとして部分領域タイル又は天頂タイルのいずれを配信するかを判定する。ここで、判定部111は、視野範囲の中心座標の垂直角度θと、所定の閾値(第1の閾値Th及び第2の閾値Th)とを比較判定することで、部分領域タイル又は天頂タイルのいずれを配信するかを判定する。 The determination unit 111 determines whether to deliver a partial area tile or a zenith tile as the high quality tile. Here, the determination unit 111 compares the vertical angle θ of the center coordinates of the visual field range with a predetermined threshold value (first threshold value Th 1 and second threshold value Th 2 ) to determine the partial area tile or the zenith. Determine which of the tiles to deliver.

タイル作成部112は、判定部111の判定結果に応じて、高画質タイルと低画質タイルとを作成する。すなわち、タイル作成部112は、高画質タイルとして部分領域タイルを配信すると判定部111が判定した場合、部分領域タイルと全体縮小タイルとを作成する。一方で、タイル作成部112は、高画質タイルとして天頂タイルを配信すると判定部111が判定した場合、天頂タイルと全体縮小タイルとを作成する。   The tile creating unit 112 creates a high quality tile and a low quality tile according to the determination result of the determining unit 111. That is, the tile creating unit 112 creates the partial region tile and the entire reduced tile when the determining unit 111 determines that the partial region tile is to be delivered as the high quality tile. On the other hand, when the determination unit 111 determines that the zenith tile is to be delivered as the high quality tile, the tile creation unit 112 creates the zenith tile and the entire reduced tile.

なお、例えば、端末20に対してパノラマ動画をライブ配信する場合には、タイル作成部112は、カメラ装置等から受信したパノラマ動画を用いて、高画質タイルと低画質タイルとを作成する。一方で、例えば、端末20に対してパノラマ動画をオンデマンド配信する場合には、タイル作成部112は、所定の記憶装置等に予め保持されているパノラマ動画を用いて、高画質タイルと低画質タイルとを作成する。   Note that, for example, when a panoramic video is live-distributed to the terminal 20, the tile creating unit 112 creates a high quality tile and a low quality tile using the panoramic video received from the camera device or the like. On the other hand, for example, when a panoramic video is delivered to the terminal 20 on demand, the tile creating unit 112 uses the panoramic video stored in advance in a predetermined storage device or the like to generate high-quality tiles and low-quality images. Create tiles and.

配信部113は、タイル作成部112が作成した高画質タイル及び低画質タイルを端末20に配信する。   The distribution unit 113 distributes the high image quality tile and the low image quality tile created by the tile creation unit 112 to the terminal 20.

また、図5に示すように、本実施形態に係るパノラマ動画配信システム1の端末20は、機能部として、動画視聴処理部201を有する。当該機能部は、端末20にインストールされた1以上のプログラムがCPUに実行させる処理により実現される。   Further, as shown in FIG. 5, the terminal 20 of the panoramic video distribution system 1 according to the present embodiment has a video viewing processing unit 201 as a functional unit. The functional unit is realized by a process that the CPU executes by one or more programs installed in the terminal 20.

動画視聴処理部201は、パノラマ動画を表示するためのタイル配信要求をパノラマ動画配信サーバ10に送信する。ここで、タイル配信要求には、例えば、視野範囲の中心座標又は当該中心座標を特定するための情報が含まれる。視野範囲の中心座標を特定するための情報としては、例えば、視野範囲の各頂点の座標等が挙げられる。   The video viewing processing unit 201 transmits a tile distribution request for displaying a panoramic video to the panoramic video distribution server 10. Here, the tile distribution request includes, for example, the center coordinates of the visual field range or information for specifying the center coordinates. The information for specifying the center coordinates of the visual field range includes, for example, the coordinates of each vertex of the visual field range.

また、動画視聴処理部201は、パノラマ動画配信サーバ10から配信されたタイル(高画質タイル及び低画質タイル)によりパノラマ動画を表示する。これにより、端末20には、パノラマ動画配信サーバ10からストリーミング配信されたパノラマ動画が表示される。   Further, the moving image viewing processing unit 201 displays the panoramic moving image by the tiles (high quality tile and low quality tile) distributed from the panoramic video distribution server 10. As a result, the panoramic video distributed by streaming from the panoramic video distribution server 10 is displayed on the terminal 20.

<パノラマ動画配信処理>
次に、パノラマ動画配信サーバ10がパノラマ動画を端末20に配信する処理(パノラマ動画配信処理)について、図6を参照しながら説明する。図6は、本実施形態に係るパノラマ動画配信処理の一例を示すシーケンス図である。以降のステップS101〜ステップS107は、例えば、パノラマ動画のフレーム画像の或るまとまり(例えば、1秒乃至数秒間のフレーム画像群)毎に繰り返し実行される。
<Panorama video distribution processing>
Next, a process (panoramic video distribution process) in which the panoramic video distribution server 10 distributes a panoramic video to the terminal 20 will be described with reference to FIG. FIG. 6 is a sequence diagram showing an example of the panoramic video distribution processing according to this embodiment. The subsequent steps S101 to S107 are repeatedly executed, for example, for each certain group of frame images of the panoramic video (for example, a frame image group of 1 second to several seconds).

まず、端末20の動画視聴処理部201は、タイル配信要求をパノラマ動画配信サーバ10に送信する(ステップS101)。ここで、タイル配信要求には、例えば、視野範囲の中心座標又は当該中心座標を特定するための情報が含まれる。   First, the video viewing processing unit 201 of the terminal 20 transmits a tile distribution request to the panoramic video distribution server 10 (step S101). Here, the tile distribution request includes, for example, the center coordinates of the visual field range or information for specifying the center coordinates.

パノラマ動画配信サーバ10の動画配信処理部101は、判定部111により、高画質タイルとして部分領域タイル又は天頂タイルのいずれを配信するかを判定する(ステップS102)。すなわち、判定部111は、視野範囲の中心座標の垂直角度θと、所定の閾値(第1の閾値Th及び第2の閾値Th)とを比較判定することで、部分領域タイル又は天頂タイルのいずれを配信するかを判定する。 The moving image distribution processing unit 101 of the panoramic moving image distribution server 10 determines whether the partial area tile or the zenith tile is to be distributed as the high quality tile by the determination unit 111 (step S102). That is, the determination unit 111 compares the vertical angle θ of the center coordinates of the visual field range with a predetermined threshold value (first threshold value Th 1 and second threshold value Th 2 ) to determine the partial area tile or the zenith tile. Which of the above is to be delivered is determined.

ここで、中心座標の垂直角度θが第1の閾値Th未満かつ第2の閾値Thより大である場合、判定部111は、高画質タイルとして部分領域タイルを配信すると判定する。一方で、中心座標の垂直角度θが第1の閾値Th以上又は第2の閾値Th以下であると場合、判定部111は、高画質タイルとして天頂タイルを配信すると判定する。 Here, when the vertical angle θ of the central coordinates is less than the first threshold Th 1 and greater than the second threshold Th 2 , the determination unit 111 determines to deliver the partial area tile as the high quality tile. On the other hand, when the vertical angle θ of the central coordinates is equal to or greater than the first threshold Th 1 or equal to or less than the second threshold Th 2 , the determination unit 111 determines to deliver the zenith tile as the high quality tile.

なお、ユーザは、天頂タイルの使用有無を設定することができても良い。天頂タイルの使用有無が「使用無」に設定されている場合には、上記のステップS102の判定を行わずに、以降のステップS103のみを実行すれば良い。   The user may be able to set whether or not to use the zenith tile. When the use / nonuse of the zenith tile is set to “not used”, only the subsequent step S103 may be executed without performing the determination in step S102.

ステップS102で高画質タイルとして部分領域タイルを配信すると判定された場合、パノラマ動画配信サーバ10の動画配信処理部101は、タイル作成部112により、高画質タイルとして部分領域タイルを作成する(ステップS103)。すなわち、タイル作成部112は、視野範囲を含み、かつ、所定の画像サイズの部分領域タイルを作成する。所定の画像サイズとしては、例えば、HDサイズ(1280×720)やフルHDサイズ(1920×1080)等が挙げられる。部分領域タイルの画像サイズとしてどのような画像サイズを利用するかは、例えば、ユーザにより予め設定される。   When it is determined in step S102 that the partial area tile is to be distributed as the high-quality tile, the video distribution processing unit 101 of the panoramic video distribution server 10 causes the tile creating unit 112 to create the partial area tile as the high-quality tile (step S103). ). That is, the tile creating unit 112 creates a partial area tile that includes the visual field range and has a predetermined image size. Examples of the predetermined image size include HD size (1280 × 720) and full HD size (1920 × 1080). The image size to be used as the image size of the partial area tile is set in advance by the user, for example.

一方で、ステップS102で高画質タイルとして天頂タイルを配信すると判定された場合、パノラマ動画配信サーバ10の動画配信処理部101は、タイル作成部112により、高画質タイルとして天頂タイルを作成する(ステップS104)。すなわち、タイル作成部112は、視野範囲を含み、かつ、所定の4頂点で特定される天頂タイルを作成する。   On the other hand, when it is determined in step S102 that the zenith tile is to be distributed as the high quality tile, the video distribution processing unit 101 of the panoramic video distribution server 10 causes the tile creating unit 112 to create the zenith tile as the high quality tile (step). S104). That is, the tile creating unit 112 creates a zenith tile that includes the visual field range and that is specified by four predetermined vertices.

ここで、中心座標の垂直角度θが第1の閾値Th以上である場合、タイル作成部112は、4頂点{(0,π),(0,θ),(2π,θ),(2π,π)}で特定される第1の天頂タイルを作成する。一方で、中心座標の垂直角度θが第2の閾値Th以下である場合、タイル作成部112は、4頂点{(0,θ),(0,0),(2π,0),(2π,θ)}で特定される第2の天頂タイルを作成する。 Here, when the vertical angle θ of the center coordinates is equal to or larger than the first threshold Th 1 , the tile creation unit 112 causes the four vertices {(0, π), (0, θ 1 ), (2π, θ 1 ), Create a first zenith tile identified by (2π, π)}. On the other hand, when the vertical angle θ of the center coordinates is equal to or smaller than the second threshold Th 2 , the tile creation unit 112 causes the four vertices {(0, θ 2 ), (0, 0), (2π, 0), ( 2π, θ 2 )} to create a second zenith tile.

なお、タイル作成部112は、第1の天頂タイル又は第2の天頂タイルを、上記のステップS103で作成される部分領域タイルと同じ画像サイズに圧縮しても良い。   The tile creating unit 112 may compress the first zenith tile or the second zenith tile to the same image size as the partial area tile created in step S103.

ステップS103又はステップS104に続いて、パノラマ動画配信サーバ10の動画配信処理部101は、タイル作成部112により、低画質タイルとして全体縮小タイルを作成する(ステップS105)。すなわち、タイル作成部112は、パノラマ動画のフレーム画像を、上記のステップS103で作成される部分領域タイルと同じ画像サイズに圧縮した全体縮小タイルを作成する。   Following step S103 or step S104, the moving image distribution processing unit 101 of the panoramic moving image distribution server 10 causes the tile creating unit 112 to create an overall reduced tile as a low image quality tile (step S105). That is, the tile creating unit 112 creates an overall reduced tile by compressing the frame image of the panoramic video to the same image size as the partial area tile created in step S103.

例えば、パノラマ動画のフレーム画像が4Kサイズ(3840×2160)、部分領域タイルがHDサイズである場合、タイル作成部112は、当該フレーム画像をHDサイズに圧縮することで全体縮小タイルを作成する。   For example, when the frame image of the panoramic video is 4K size (3840 × 2160) and the partial area tile is HD size, the tile creating unit 112 creates an overall reduced tile by compressing the frame image to HD size.

なお、上記のステップS103〜ステップS105では、フレーム画像群に含まれる各フレーム画像から部分領域タイル又は天頂タイルと全体縮小タイルとがそれぞれ作成される。   In steps S103 to S105 described above, a partial area tile or a zenith tile and an overall reduced tile are created from each frame image included in the frame image group.

次に、パノラマ動画配信サーバ10の動画配信処理部101は、配信部113により、高画質タイル(部分領域タイル又は天頂タイル)と低画質タイル(全体縮小タイル)とを端末20に配信する(ステップS106)。   Next, the video distribution processing unit 101 of the panoramic video distribution server 10 distributes the high image quality tiles (partial area tiles or zenith tiles) and the low image quality tiles (whole reduction tiles) to the terminal 20 by the distribution unit 113 (step. S106).

端末20の動画視聴処理部201は、パノラマ動画配信サーバ10から配信されたパノラマ動画(高画質タイル及び低画質タイル)を表示(再生)する(ステップS107)。このとき、動画視聴処理部201は、全体縮小タイルを元の画像サイズ(すなわち、元のフレーム画像のサイズ)に伸張した上でパノラマ動画を再生する。例えば、パノラマ動画のフレーム画像が4Kサイズである場合、動画配信処理部101は、全体縮小タイルを4Kサイズに伸張する。これにより、端末20のユーザはパノラマ動画を視聴することができる。なお、圧縮及び伸張が行われることにより、全体縮小タイルは、部分領域タイル及び天頂タイルよりも低画質で表示されることになる。   The video viewing processing unit 201 of the terminal 20 displays (reproduces) the panoramic video (high quality tile and low quality tile) distributed from the panoramic video distribution server 10 (step S107). At this time, the moving image viewing processing unit 201 expands the overall reduced tile to the original image size (that is, the size of the original frame image) and then reproduces the panoramic moving image. For example, when the frame image of the panoramic video is 4K size, the video distribution processing unit 101 expands the entire reduced tile to 4K size. This allows the user of the terminal 20 to view the panoramic video. It should be noted that, by performing compression and decompression, the overall reduced tile is displayed with lower image quality than the partial area tile and the zenith tile.

<まとめ>
以上のように、本実施形態に係るパノラマ動画配信システム1は、端末20からの要求に応じて、視野範囲を含む高画質タイルと、視野範囲外の低画質タイルとをパノラマ動画配信サーバ10が配信する。これにより、本実施形態に係るパノラマ動画配信システム1では、例えば、端末20のユーザが視野範囲を高画質タイル外に移動させたような場合であっても、低画質タイルによりパノラマ動画の再生を継続させることができるようになる。
<Summary>
As described above, in the panoramic video distribution system 1 according to the present embodiment, the panoramic video distribution server 10 provides the high-quality tiles including the visual range and the low-quality tiles outside the visual range in response to the request from the terminal 20. To deliver. As a result, in the panoramic video distribution system 1 according to the present embodiment, even if the user of the terminal 20 moves the field of view out of the high quality tile, the panoramic video is reproduced by the low quality tile. You will be able to continue.

また、本実施形態に係るパノラマ動画配信システム1は、全天周投影球上の視野範囲の位置が極(北極点又は南極点)に近い場合には、高画質タイルとして、部分領域タイルの代わりに天頂タイルを配信する。これにより、本実施形態に係るパノラマ動画配信システム1では、全天周投影球上で視野範囲が極に近い場合であっても、高画質タイルがカバーする実効領域の範囲を広く確保することができる。このため、例えば、天頂タイル内でユーザが視野範囲を移動させたような場合に、高画質なパノラマ動画なユーザに提供することができるようになる。   In addition, the panoramic video distribution system 1 according to the present embodiment uses the high-quality tile instead of the partial area tile when the position of the visual field range on the omnidirectional projection sphere is close to the pole (North Pole or South Pole). Deliver zenith tiles to. As a result, in the panoramic video distribution system 1 according to the present embodiment, it is possible to secure a wide range of the effective area covered by the high-quality tile even when the visual field range on the omnidirectional projection sphere is very close. it can. Therefore, for example, when the user moves the field of view within the zenith tile, it is possible to provide the user with a high-quality panoramic video.

なお、本実施形態に係るパノラマ動画配信システム1では、全天周投影球上の視野範囲の位置が極に近い場合には、高画質タイルとして、部分領域タイルの代わりに天頂タイルを配信する場合について説明したが、これに限られず、例えば、端末20に配信する部分領域タイルのアスペクト比を変更(例えば、極に近いほど部分領域タイルの横のサイズを大きくする等)するようにしても良い。   In the panoramic video distribution system 1 according to the present embodiment, when the position of the visual field range on the omnidirectional projection sphere is close to the pole, the zenith tile is distributed as the high quality tile instead of the partial area tile. However, the aspect ratio of the partial area tiles to be distributed to the terminal 20 may be changed (for example, the lateral size of the partial area tiles may be increased toward the extreme). .

また、本実施形態に係るパノラマ動画配信システム1では、パノラマ動画配信サーバ10が端末20に対して、ネットワークNを介してパノラマ動画を配信する場合(つまり、パノラマ動画がネットワーク配信される場合)について説明したが、これに限られない。すなわち、本実施形態は、例えば、パノラマ動画配信サーバ10の機能を端末20が有しており、端末20がローカルストレージ内のパノラマ動画(例えば、端末20のHDD等に格納されているパノラマ動画)を再生する場合についても同様に適用することができる。これにより、端末20がパノラマ動画を再生する際における処理負荷等を軽減させることができるようになる。   Further, in the panoramic video distribution system 1 according to the present embodiment, regarding the case where the panoramic video distribution server 10 distributes the panoramic video to the terminal 20 via the network N (that is, the panoramic video is distributed via the network). Although explained, it is not limited to this. That is, in the present embodiment, for example, the terminal 20 has the function of the panoramic video distribution server 10, and the terminal 20 has the panoramic video in the local storage (for example, the panoramic video stored in the HDD or the like of the terminal 20). The same can be applied to the case of reproducing. This makes it possible to reduce the processing load and the like when the terminal 20 reproduces the panoramic video.

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。   The present invention is not limited to the above specifically disclosed embodiments, and various modifications and changes can be made without departing from the scope of the claims.

1 パノラマ動画配信システム
10 パノラマ動画配信サーバ
20 端末
101 動画配信処理部
111 判定部
112 タイル作成部
113 配信部
201 動画視聴処理部
1 Panorama Video Distribution System 10 Panorama Video Distribution Server 20 Terminal 101 Video Distribution Processing Section 111 Judgment Section 112 Tile Creating Section 113 Distribution Section 201 Video Viewing Processing Section

Claims (9)

パノラマ動画を再生する端末とネットワークを介して接続される動画配信装置であって、
前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第1の高画質データと、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第2の高画質データとのうちのいずれを前記端末に配信するかを判定する判定手段と、
前記判定手段による判定結果に応じて、前記第1の高画質データ又は前記第2の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを作成する作成手段と、
前記作成手段が作成した前記第1の高画質データ又は前記第2の高画質データと前記低画質データとを前記端末に配信する配信手段と、
を有することを特徴とする動画配信装置。
A video distribution device connected to a terminal for playing a panoramic video via a network,
Depending on the position of the range in which the frame image of the panoramic video is displayed on the terminal, the range includes the first high-quality image data of a predetermined image size, and the range, and the entire circumference Determination means for determining which of the second high image quality data including the vicinity of the pole when represented by the projection sphere is to be delivered to the terminal;
Creating means for creating the first high image quality data or the second high image quality data and low image quality data obtained by compressing the frame image to the image size according to a result of the determination made by the determining means;
Distribution means for distributing the first high image quality data or the second high image quality data and the low image quality data created by the creating means to the terminal;
A moving image distribution apparatus comprising:
前記作成手段は、
前記判定手段により前記第2の高画質データを前記端末に配信すると判定された場合、前記第2の高画質データを前記画像サイズに圧縮した第3の高画質データを作成し、
前記配信手段は、
前記第3の高画質データと前記低画質データとを前記端末に配信する、ことを特徴とする請求項1に記載の動画配信装置。
The creating means is
When it is determined by the determination means that the second high image quality data is to be delivered to the terminal, the third high image quality data is created by compressing the second high image quality data into the image size,
The delivery means is
The moving image distribution apparatus according to claim 1, wherein the third high image quality data and the low image quality data are distributed to the terminal.
前記判定手段は、
前記パノラマ動画のフレーム画像を正距円筒図法で表現した場合に、前記範囲の中心座標の垂直角度が第1の閾値未満かつ第2の閾値より大であるとき、前記第1の高画質データを前記端末に配信すると判定し、前記中心座標の垂直角度が第1の閾値以上又は前記第2の閾値以下であるとき、前記第2の高画質データを前記端末に配信すると判定する、ことを特徴とする請求項1又は2に記載の動画配信装置。
The determination means is
When the frame image of the panoramic video is represented by the equirectangular projection, when the vertical angle of the center coordinates of the range is less than the first threshold value and greater than the second threshold value, the first high quality image data is It is determined to deliver to the terminal, and when the vertical angle of the central coordinates is equal to or more than a first threshold value or less than the second threshold value, it is determined to deliver the second high image quality data to the terminal. The moving image distribution apparatus according to claim 1 or 2.
前記作成手段は、
前記判定手段により前記第2の高画質データを前記端末に配信すると判定された場合に、前記中心座標の垂直角度が第1の閾値以上であるときは、全天周投影球で表現した場合に北極の近傍を含む第2の高画質データを作成し、前記中心座標の垂直角度が第2の閾値以下であるときは、全天周投影球で表現した場合に南極の近傍を含む第2の高画質データを作成する、ことを特徴とする請求項3に記載の動画配信装置。
The creating means is
When the determination unit determines that the second high-quality image data is to be delivered to the terminal, and when the vertical angle of the central coordinates is equal to or larger than the first threshold value, it is represented by a omnidirectional projection sphere. When the second high-quality image data including the vicinity of the North Pole is created, and the vertical angle of the central coordinates is equal to or smaller than the second threshold value, the second image including the vicinity of the South Pole when expressed by the omnidirectional projection sphere. The moving image distribution apparatus according to claim 3, wherein high-quality image data is created.
パノラマ動画を配信する動画配信装置とネットワークを介して接続される端末であって、
前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第1の高画質データ、又は、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第2の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを前記動画配信装置から受信する受信手段と、
前記受信手段が受信した前記第1の高画質データ又は前記第2の高画質データと前記低画質データとに基づいて、前記パノラマ動画を再生する再生手段と、
を有することを特徴とする端末。
A terminal connected via a network to a video distribution device that distributes panoramic video,
Depending on the position of the range in which the frame image of the panoramic video is displayed on the terminal, the range includes the first high-quality image data of a predetermined image size or the range, and the whole sky Receiving means for receiving, from the moving image distribution apparatus, second high-quality image data including the vicinity of a pole when represented by a circular projection sphere, and low-quality image data obtained by compressing the frame image to the image size.
Reproducing means for reproducing the panoramic video based on the first high image quality data or the second high image quality data and the low image quality data received by the receiving means;
A terminal characterized by having.
パノラマ動画を再生する端末であって、
前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第1の高画質データと、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第2の高画質データとのうちのいずれを前記端末に表示するかを判定する判定手段と、
前記判定手段による判定結果に応じて、前記第1の高画質データ又は前記第2の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを作成する作成手段と、
前記作成手段が作成した前記第1の高画質データ又は前記第2の高画質データと前記低画質データとを表示する表示手段と、
を有することを特徴とする端末。
A terminal that plays panoramic video,
Depending on the position of the range in which the frame image of the panoramic video is displayed on the terminal, the range includes the first high-quality image data of a predetermined image size, and the range, and the entire circumference Determination means for determining which of the second high image quality data including the vicinity of the pole when represented by the projection sphere is displayed on the terminal;
Creating means for creating the first high image quality data or the second high image quality data and low image quality data obtained by compressing the frame image to the image size according to a result of the determination made by the determining means;
Display means for displaying the first high image quality data or the second high image quality data and the low image quality data created by the creating means;
A terminal characterized by having.
パノラマ動画を再生する端末と、該端末とネットワークを介して接続される動画配信装置とが含まれる動画配信システムであって、
前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第1の高画質データと、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第2の高画質データとのうちのいずれを前記端末に配信するかを判定する判定手段と、
前記判定手段による判定結果に応じて、前記第1の高画質データ又は前記第2の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを作成する作成手段と、
前記作成手段が作成した前記第1の高画質データ又は前記第2の高画質データと前記低画質データとを前記端末に配信する配信手段と、
を有することを特徴とする動画配信システム。
A video distribution system including a terminal for playing a panoramic video, and a video distribution device connected to the terminal via a network,
Depending on the position of the range in which the frame image of the panoramic video is displayed on the terminal, the range includes the first high-quality image data of a predetermined image size, and the range, and the entire circumference Determination means for determining which of the second high image quality data including the vicinity of the pole when represented by the projection sphere is to be delivered to the terminal;
Creating means for creating the first high image quality data or the second high image quality data and low image quality data obtained by compressing the frame image to the image size according to a result of the determination made by the determining means;
Distribution means for distributing the first high image quality data or the second high image quality data and the low image quality data created by the creating means to the terminal;
A video distribution system characterized by having.
パノラマ動画を再生する端末とネットワークを介して接続される動画配信装置が、
前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第1の高画質データと、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第2の高画質データとのうちのいずれを前記端末に配信するかを判定する判定手順と、
前記判定手順による判定結果に応じて、前記第1の高画質データ又は前記第2の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを作成する作成手順と、
前記作成手順が作成した前記第1の高画質データ又は前記第2の高画質データと前記低画質データとを前記端末に配信する配信手順と、
を実行することを特徴とする動画配信方法。
A video distribution device connected via a network to a terminal that plays panoramic video,
Depending on the position of the range in which the frame image of the panoramic video is displayed on the terminal, the range includes the first high-quality image data of a predetermined image size, and the range, and the entire circumference A determination procedure for determining which of the second high image quality data including the vicinity of the pole when represented by the projection sphere is to be delivered to the terminal;
A creation procedure for creating the first high-quality image data or the second high-quality image data and low-quality image data obtained by compressing the frame image to the image size according to the determination result of the determination procedure;
A delivery procedure for delivering the first high image quality data or the second high image quality data and the low image quality data created by the creating procedure to the terminal;
A video distribution method characterized by executing.
コンピュータを、請求項1乃至4の何れか一項に記載の動画配信装置における各手段として機能させるためのプログラム。   A program for causing a computer to function as each unit in the moving image distribution apparatus according to claim 1.
JP2018212404A 2018-11-12 2018-11-12 Video distribution device, terminal, video distribution system, video distribution method, and program Active JP6688367B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018212404A JP6688367B1 (en) 2018-11-12 2018-11-12 Video distribution device, terminal, video distribution system, video distribution method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018212404A JP6688367B1 (en) 2018-11-12 2018-11-12 Video distribution device, terminal, video distribution system, video distribution method, and program

Publications (2)

Publication Number Publication Date
JP6688367B1 true JP6688367B1 (en) 2020-04-28
JP2020080455A JP2020080455A (en) 2020-05-28

Family

ID=70413892

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018212404A Active JP6688367B1 (en) 2018-11-12 2018-11-12 Video distribution device, terminal, video distribution system, video distribution method, and program

Country Status (1)

Country Link
JP (1) JP6688367B1 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002312778A (en) * 2001-04-09 2002-10-25 Be Here Corp Method and device for electronically distributing motion panoramic image
WO2016191694A1 (en) * 2015-05-27 2016-12-01 Google Inc. Streaming spherical video
JP2018026670A (en) * 2016-08-09 2018-02-15 日本電信電話株式会社 Video distribution system, terminal device, distribution server, video distribution method, video display method, video distribution program, and video display program
US10595069B2 (en) * 2016-12-05 2020-03-17 Adobe Inc. Prioritizing tile-based virtual reality video streaming using adaptive rate allocation
EP3367626A1 (en) * 2017-02-27 2018-08-29 Nokia Solutions and Networks Oy Providing content
US10904508B2 (en) * 2017-03-15 2021-01-26 Avago Technologies International Sales Pte. Limited 360 degree video with combined projection format

Also Published As

Publication number Publication date
JP2020080455A (en) 2020-05-28

Similar Documents

Publication Publication Date Title
US11303881B2 (en) Method and client for playing back panoramic video
CN109417624B (en) Apparatus and method for providing and displaying content
JP6410918B2 (en) System and method for use in playback of panoramic video content
EP3466083B1 (en) Spatially tiled omnidirectional video streaming
US20160277772A1 (en) Reduced bit rate immersive video
US20180310010A1 (en) Method and apparatus for delivery of streamed panoramic images
WO2018121333A1 (en) Real-time generation method for 360-degree vr panoramic graphic image and video
CN112204993B (en) Adaptive panoramic video streaming using overlapping partitioned segments
WO2021238454A1 (en) Method and apparatus for displaying live video, and terminal and readable storage medium
US10437545B2 (en) Apparatus, system, and method for controlling display, and recording medium
WO2018014495A1 (en) Real-time panoramic live broadcast network camera and system and method
US11941748B2 (en) Lightweight view dependent rendering system for mobile devices
WO2019131577A1 (en) Information processing device, information processing method, and program
TW201843651A (en) Methods of compressing a texture image and image data processing system and methods of generating a 360-degree panoramic video thereof
US11698680B2 (en) Methods and systems for decoding and rendering a haptic effect associated with a 3D environment
JP6224516B2 (en) Encoding method and encoding program
TW201803358A (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
JPWO2019078033A1 (en) Reproduction device and method, and generation device and method
JP6688367B1 (en) Video distribution device, terminal, video distribution system, video distribution method, and program
JP6394682B2 (en) Method and image processing apparatus
CN112438051B (en) Method performed by a terminal
Shi et al. Real time streaming of 8K 360 degree video to mobile VR headsets
Shi et al. Latency Adaptive Streaming of 8K 360 Degree Video to Mobile VR Headsets
US20240022688A1 (en) Multiuser teleconferencing with spotlight feature
JP2023085913A (en) Moving image distribution system, moving image distribution device, method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200403

R150 Certificate of patent or registration of utility model

Ref document number: 6688367

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250