JP6688367B1 - Video distribution device, terminal, video distribution system, video distribution method, and program - Google Patents
Video distribution device, terminal, video distribution system, video distribution method, and program Download PDFInfo
- Publication number
- JP6688367B1 JP6688367B1 JP2018212404A JP2018212404A JP6688367B1 JP 6688367 B1 JP6688367 B1 JP 6688367B1 JP 2018212404 A JP2018212404 A JP 2018212404A JP 2018212404 A JP2018212404 A JP 2018212404A JP 6688367 B1 JP6688367 B1 JP 6688367B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- terminal
- quality data
- image quality
- panoramic video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 17
- 230000000007 visual effect Effects 0.000 abstract description 42
- 238000010586 diagram Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】パノラマ動画におけるユーザの視野範囲に応じた高画質領域を配信すること。【解決手段】パノラマ動画を再生する端末とネットワークを介して接続される動画配信装置であって、前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第1の高画質データと、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第2の高画質データとのうちのいずれを前記端末に配信するかを判定する判定手段と、前記判定手段による判定結果に応じて、前記第1の高画質データ又は前記第2の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを作成する作成手段と、前記作成手段が作成した前記第1の高画質データ又は前記第2の高画質データと前記低画質データとを前記端末に配信する配信手段と、を有することを特徴とする。【選択図】図4PROBLEM TO BE SOLVED: To deliver a high quality area according to a user's visual field range in a panoramic video. A video distribution device connected to a terminal for playing a panoramic video through a network, the frame image of the panoramic video including the range depending on the position of the range displayed on the terminal, Further, any one of the first high-quality image data of a predetermined image size and the second high-quality image data including the range and including the vicinity of the pole when represented by the omnidirectional projection sphere is described. Determining means for determining whether to deliver to the terminal, and the first high image quality data or the second high image quality data, and a low level obtained by compressing the frame image to the image size according to the determination result by the determining means. And a delivery unit configured to deliver the image quality data and the first image quality data or the second image quality data produced by the creation unit and the low image quality data to the terminal. The features. [Selection diagram] Fig. 4
Description
本発明は、動画配信装置、端末、動画配信システム、動画配信方法、及びプログラムに関する。 The present invention relates to a moving picture distribution device, a terminal, a moving picture distribution system, a moving picture distribution method, and a program.
近年、上下左右の全方位360度の動画を撮影可能なカメラ装置が知られており、このようなカメラ装置で撮影された動画はパノラマ動画(又は、「パノラマ映像」や「360度パノラマ動画」等とも称される。)として視聴可能である。 2. Description of the Related Art In recent years, a camera device capable of shooting a 360-degree moving image in all directions is known, and a moving image shot by such a camera device is a panoramic moving image (or "panoramic image" or "360-degree panoramic moving image"). Also referred to as)) is available for viewing.
また、例えば、動画配信サーバがパノラマ動画を端末にストリーミング配信等することで、当該端末でパノラマ動画を視聴することも行われている。しかしながら、パノラマ動画は一般にデータサイズが大きい場合が多く、パノラマ動画の配信に時間が掛かり、端末にパノラマ動画が表示されるまでに時間を要することがあった。 In addition, for example, the moving image distribution server performs streaming distribution of a panoramic moving image to a terminal so that the terminal can view the panoramic moving image. However, the panoramic video generally has a large data size, and it takes time to deliver the panoramic video, and it may take time before the panoramic video is displayed on the terminal.
これに対して、端末に表示される範囲(以降、「視野範囲」とも表す。)を通常の画質で配信し、端末に表示されない範囲は低画質で配信する技術が知られている(非特許文献1参照)。 On the other hand, a technology is known in which a range displayed on a terminal (hereinafter, also referred to as a “field of view range”) is distributed with normal image quality, and a range not displayed on the terminal is distributed with low image quality (Non-patent Reference). Reference 1).
例えば、図1に示すように、全天周投影球で表現されるパノラマ動画では、全天周投影球の中心を観測位置として、この観測位置にある疑似的なカメラ装置が所定の画角で撮影した範囲が視野範囲となる。また、全天周投影球で表現されるパノラマ動画は、垂直角度θが0〜π、水平角度φが0〜2πの正距円筒図法で表現することができる。このとき、非特許文献1に記載されている技術では、正距円筒図法で表現されたパノラマ動画の視野範囲を含む部分領域データを「部分領域タイル」、パノラマ動画全体を圧縮したデータを「全体縮小タイル」として端末に配信する。この技術を用いることで、パノラマ動画の配信に要する時間を削減させることができると共に、視野範囲では高画質な動画が視聴可能であり、かつ、視野範囲を移動させた場合であっても動画が途切れることなく視聴可能とさせることができる。なお、本明細書では、圧縮とは、画像サイズの縮小を意味するものとする。
For example, as shown in FIG. 1, in a panoramic video image represented by a omnidirectional projection sphere, the center of the omnidirectional projection sphere is set as an observation position, and a pseudo camera device at this observation position has a predetermined angle of view. The captured range is the field of view. Further, the panoramic video represented by the omnidirectional projection sphere can be represented by an equirectangular projection with a vertical angle θ of 0 to π and a horizontal angle φ of 0 to 2π. At this time, in the technique described in
しかしながら、非特許文献1に記載された技術では、部分領域タイルの垂直角度θによっては全天周投影球上で部分領域タイルに対応する領域(以降、全天周投影球上の領域を「実効領域」とも表す。)が小さくなる場合がある。例えば、図2に示すように、部分領域タイルの上辺の垂直角度θがπである場合、部分領域タイルの実効領域は、全天周投影球の球面上で1つの頂点が北極点となる三画形状の領域となる。
However, in the technique described in
このため、例えば、図2に示すように、北極方向へ視野範囲を移動させた場合、部分領域タイルに対応する実効領域が視野範囲よりも小さくなり、視野範囲で高画質な動画を視聴できなくなる場合があった。 For this reason, for example, as shown in FIG. 2, when the visual field range is moved toward the North Pole, the effective area corresponding to the partial area tile becomes smaller than the visual field range, and high-quality moving images cannot be viewed in the visual field range. There were cases.
本発明の実施の形態は、上記の点に鑑みてなされたもので、パノラマ動画におけるユーザの視野範囲に応じた高画質領域を配信することを目的とする。 The embodiment of the present invention has been made in view of the above points, and an object thereof is to distribute a high image quality region according to a visual field range of a user in a panoramic video.
上記目的を達成するため、本発明の実施の形態は、パノラマ動画を再生する端末とネットワークを介して接続される動画配信装置であって、前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第1の高画質データと、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第2の高画質データとのうちのいずれを前記端末に配信するかを判定する判定手段と、前記判定手段による判定結果に応じて、前記第1の高画質データ又は前記第2の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを作成する作成手段と、前記作成手段が作成した前記第1の高画質データ又は前記第2の高画質データと前記低画質データとを前記端末に配信する配信手段と、を有することを特徴とする。 In order to achieve the above object, an embodiment of the present invention is a moving image distribution apparatus connected to a terminal for playing a panoramic moving image via a network, in which a frame image of the panoramic moving image is displayed on the terminal. Depending on the position of the first range, the first high-quality image data of a predetermined image size, and the second range including the range and including the vicinity of the pole when represented by the omnidirectional projection sphere. Determining means for determining which of the high image quality data to be delivered to the terminal, and the first high image quality data or the second high image quality data according to the determination result by the determining means. Creating means for creating the low image quality data obtained by compressing the frame image to the image size; and the first high image quality data or the second high image quality data and the low image quality data created by the creating means. end It characterized by having a a delivery means for delivering the.
パノラマ動画におけるユーザの視野範囲に応じた高画質領域を配信することができる。 It is possible to distribute a high quality area in the panoramic video according to the user's visual field range.
以下、本発明の実施の形態(以降、「本実施形態」とも表す。)について、図面を参照しながら詳細に説明する。本実施形態では、正距円筒図法で表現されたパノラマ動画におけるユーザの視野範囲の位置(垂直角度θの値)に応じて、部分領域タイル又は全天周投影球の極付近をカバーするタイル(後述する天頂タイル)のいずれか配信するパノラマ動画配信システム1について説明する。
Hereinafter, embodiments of the present invention (hereinafter, also referred to as “this embodiment”) will be described in detail with reference to the drawings. In the present embodiment, a partial area tile or a tile that covers the vicinity of the pole of the omnidirectional projection sphere (the value of the vertical angle θ) in the panoramic video represented by the equirectangular projection is used ( A panoramic
ここで、部分領域タイル及び天頂タイルは、いずれも全体縮小タイルと比べて高画質なタイルであるものとする。したがって、部分領域タイル及び天頂タイルを「高画質タイル」、全体縮小タイルを「低画質タイル」とも称する。また、タイルとは、正距円筒図法で表現されたパノラマ動画における矩形領域のことである。ただし、タイルは必ずしも矩形でなくても良く、例えば、三角形や円形等の任意の形状の領域であっても良い。 Here, it is assumed that the partial area tile and the zenith tile have higher image quality than the overall reduced tile. Therefore, the partial area tiles and the zenith tiles are also referred to as “high image quality tiles”, and the entire reduced tiles are also referred to as “low image quality tiles”. A tile is a rectangular area in a panoramic video represented by the equirectangular projection. However, the tile does not necessarily have to be rectangular, and may be a region having any shape such as a triangle or a circle.
また、パノラマ動画とは、全天周投影球で表現される画像(又は、この画像を正距円筒図法で表現した画像)をフレーム画像とする動画のことである。本実施形態では、パノラマ動画の各フレーム画像は、正距円筒図法で表現されているものとする。この場合、パノラマ動画は、視聴の際のレンダリング時に、正距円筒図法で表現されているフレーム画像が全天周投影球上のテキスチャとしてマッピングされ、全天周投影球で表現される。 The panoramic video is a video in which a frame image is an image represented by a omnidirectional projection sphere (or an image represented by the equirectangular cylindrical projection method). In this embodiment, it is assumed that each frame image of the panoramic video is represented by the equirectangular projection. In this case, the panoramic video is represented by the omnidirectional projection sphere by mapping the frame image represented by the equirectangular cylinder projection as a texture on the omnidirectional projection sphere at the time of rendering during viewing.
なお、パノラマ動画には音声が含まれていても良いし、音声は含まれていなくても良い。また、パノラマ動画としては実写を想定するが、必ずしも実写である必要はなく、例えば、CG(コンピュータグラフィックス)やアニメーション等であっても良い。 Note that the panoramic video may or may not include audio. The panoramic video is supposed to be a live-action image, but the panoramic video is not necessarily a live-action image, and may be, for example, CG (computer graphics) or animation.
<全体構成>
まず、本実施形態に係るパノラマ動画配信システム1の全体構成について、図3を参照しながら説明する。図3は、本実施形態に係るパノラマ動画配信システム1の全体構成の一例を示す図である。
<Overall structure>
First, the overall configuration of the panoramic
図3に示すように、本実施形態に係るパノラマ動画配信システム1には、パノラマ動画配信サーバ10と、1以上の端末20とが含まれる。また、パノラマ動画配信サーバ10と、端末20とは、例えばインターネット等のネットワークNを介して通信可能に接続されている。
As shown in FIG. 3, the panoramic
パノラマ動画配信サーバ10は、端末20からの要求に応じて、パノラマ動画をストリーミング配信するコンピュータ又はコンピュータシステムである。このとき、パノラマ動画配信サーバ10は、当該端末20に表示される視野範囲の位置(垂直角度θの値)に応じて、部分領域タイル又は後述する天頂タイルと、全体縮小タイルとを当該端末20に配信する。なお、本実施形態では、パノラマ動画において、端末20に表示される範囲を「視野範囲」と表現するが、視野範囲は、例えば「視認範囲」や「表示範囲」、「視聴範囲」等と称されても良い。
The panoramic
ここで、部分領域タイルとは、パノラマ動画(より正確には、当該パノラマ動画のフレーム画像)において、視野範囲を含む部分領域のデータである。また、天頂タイルとは、後述するように、パノラマ動画(より正確には、当該パノラマ動画のフレーム画像)において、視野範囲を含み、かつ、全天周投影球で天頂タイルに対応する実効領域が極付近(つまり、極の近傍)も含む部分領域のことである。更に、全体縮小タイルとは、パノラマ動画(より正確には、当該パノラマ動画のフレーム画像)全体を圧縮したデータである。 Here, the partial area tile is data of a partial area including a visual field range in a panoramic video (more accurately, a frame image of the panoramic video). As will be described later, the zenith tile is an effective area that includes the field of view in the panoramic video (more accurately, the frame image of the panoramic video) and that corresponds to the zenith tile in the omnidirectional projection sphere. It is a partial area that includes the vicinity of the pole (that is, the vicinity of the pole). Further, the overall reduced tile is data obtained by compressing the entire panoramic video (more accurately, the frame image of the panoramic video).
端末20は、パノラマ動画を視聴可能なスマートフォンやタブレット端末、ヘッドマウントディスプレイ、ウェアラブルデバイス、PC(パーソナルコンピュータ)等である。ユーザは、端末20を用いて、パノラマ動画配信サーバ10から配信されたパノラマ動画を視聴することができる。
The
ここで、ユーザは、端末20を操作等することで、パノラマ動画中における視野範囲を移動又は変更することができる。このような操作としては、例えば、端末20のディスプレイに対するスワイプ操作やフリック操作、視野範囲の移動ボタンの押下操作等であっても良いし、マウス等のポインティングデバイスを用いた視野範囲の移動ボタンの押下操作等であっても良い。また、上下左右の全方位360度の向きを検出可能なセンサを端末20が備えている場合には、当該端末20の向きを変更することで、視野範囲の移動又は変更を行うことができても良い。
Here, the user can move or change the visual field range in the panoramic video by operating the
なお、図1に示すパノラマ動画配信システム1の構成は一例であって、他の構成であっても良い。例えば、端末20に対してパノラマ動画をライブ配信する場合には、上下左右の全方位360度の動画を撮影可能なカメラ装置や音を収集するマイク等がパノラマ動画配信システム1に含まれていても良い。また、例えば、端末20に対してパノラマ動画をオンデマンド配信する場合には、パノラマ動画を保持する記憶装置等がパノラマ動画配信システム1に含まれていても良い。
The configuration of the panoramic
<天頂タイル>
次に、天頂タイルについて、図4を参照しながら説明する。図4は、天頂タイルの一例を説明するための図である。以降では、視野範囲の位置は、当該視野範囲の中心座標で表されるものとする。なお、中心座標は、水平角度φと垂直角度θとの組(φ,θ)で表される。
<Zenith tile>
Next, the zenith tile will be described with reference to FIG. FIG. 4 is a diagram for explaining an example of the zenith tile. Hereinafter, the position of the visual field range is represented by the center coordinates of the visual field range. The center coordinates are represented by a set (φ, θ) of horizontal angle φ and vertical angle θ.
図4(a)に示すように、視野範囲の中心座標の垂直角度θがπに近い場合(言い換えれば、中心座標の垂直角度θが第1の閾値Th1以上の場合)、パノラマ動画配信サーバ10は、当該視野範囲を含み、かつ、4頂点が(0,π),(0,θ1),(2π,θ1),(2π,π)で表される天頂タイル(以降では、この天頂タイルを「第1の天頂タイル」とも表す。)を配信する。この第1の天頂タイルの実効領域は、北極点の付近を含むものとなる。
As shown in FIG. 4A, when the vertical angle θ of the central coordinates of the visual field range is close to π (in other words, when the vertical angle θ of the central coordinates is the first threshold Th 1 or more), the panoramic
ここで、θ1は、第1の天頂タイルの高さ(垂直角度方向の幅)を決定するためのパラメータである。このθ1は、予め決められた値であっても良いし、ユーザが設定することができても良い。なお、視野範囲が第1の天頂タイルに含まれる必要があるため、π−θ1が視野範囲の高さ(垂直角度方向の幅)より大きくなるようにθ1が決定される必要がある。また、同様の理由から第1の閾値Th1は、θ1に応じて決定される。例えば、ε1をパラメータ、視野範囲の高さをhとして、第1の閾値Th1=θ1+h×1/2+ε1等と決定される。 Here, θ 1 is a parameter for determining the height (width in the vertical angle direction) of the first zenith tile. This θ 1 may be a predetermined value or may be set by the user. Since the field of view needs to be included in the first zenith tile, it is necessary to [pi-theta 1 the height of the field of view is so theta 1 is larger than the (vertical angular width) is determined. Further, for the same reason, the first threshold Th 1 is determined according to θ 1 . For example, when ε 1 is a parameter and the height of the visual field range is h, the first threshold value Th 1 = θ 1 + h × 1/2 + ε 1 is determined.
図4(b)に示すように、視野範囲の中心座標の垂直角度θが0に近い場合(言い換えれば、中心座標の垂直角度θが第2の閾値Th2以下の場合)、パノラマ動画配信サーバ10は、当該視野範囲を含み、かつ、4頂点が(0,θ2),(0,0),(2π,0),(2π,θ2)で表される天頂タイル(以降では、この天頂タイルを「第2の天頂タイル」とも表す。)を配信する。この第2の天頂タイルの実効領域は、南極点の付近を含むものとなる。
As shown in FIG. 4B, when the vertical angle θ of the center coordinates of the visual field range is close to 0 (in other words, when the vertical angle θ of the center coordinates is the second threshold Th 2 or less), the panoramic
ここで、θ2は、第2の天頂タイルの高さを決定するためのパラメータである。このθ2は、予め決められた値であっても良いし、ユーザが設定することができても良い。なお、視野範囲が第2の天頂タイルに含まれる必要があるため、θ2が視野範囲の高さより大きくなるようにθ2が決定される必要がある。また、同様の理由から第2の閾値Th2は、θ2に応じて決定される。例えば、ε2をパラメータ、視野範囲の高さをhとして、第2の閾値Th2=θ2−h×1/2−ε2等と決定される。 Here, θ 2 is a parameter for determining the height of the second zenith tile. This θ 2 may be a predetermined value or may be set by the user. Note that since the visual field range needs to be included in the second zenith tile, θ 2 needs to be determined so that θ 2 is larger than the height of the visual field range. Further, for the same reason, the second threshold Th 2 is determined according to θ 2 . For example, when ε 2 is a parameter and the height of the visual field range is h, it is determined that the second threshold value Th 2 = θ 2 −h × 1 / 2−ε 2 or the like.
なお、上記のパラメータθ1及びθ2の関係について、π−θ1≠θ2であっても良いし、π−θ1=θ2であっても良い。π−θ1≠θ2である場合は第1の天頂タイルの高さと第2の天頂タイルの高さとが異なる一方で、π−θ1=θ2である場合は第1の天頂タイルの高さと第2の天頂タイルの高さとが同じになる。 Regarding the relationship between the parameters θ 1 and θ 2 described above, π−θ 1 ≠ θ 2 may be satisfied, or π−θ 1 = θ 2 may be satisfied. When π−θ 1 ≠ θ 2 , the height of the first zenith tile and the height of the second zenith tile are different, while when π−θ 1 = θ 2 , the height of the first zenith tile is And the height of the second zenith tile are the same.
以上のように、本実施形態に係るパノラマ動画配信サーバ10は、視野範囲の位置が垂直角度θ=πに近くなった場合又は視野範囲の位置が垂直角度θ=0に近くなった場合、部分領域タイルの代わりに、天頂タイルを端末20に配信する。これにより、全天周投影球での実効領域を大きくすることができる。
As described above, the panoramic
また、上記では、視野範囲の位置が垂直角度θ=πに近くなった場合又は視野範囲の位置が垂直角度θ=0に近くなった場合に天頂タイルを端末20に配信するものとしたが、これ以外にも、例えば、ユーザの視野範囲の履歴(視野範囲の中心座標の履歴)等を用いて視野範囲の位置が垂直角度θ=π又はθ=0に近くなることを予測した上で、この予測結果に応じて天頂タイルを端末20に配信するようにしても良い。 In the above description, the zenith tile is distributed to the terminal 20 when the position of the field of view is close to the vertical angle θ = π or when the position of the field of view is close to the vertical angle θ = 0. In addition to this, for example, after predicting that the position of the visual field range is close to the vertical angle θ = π or θ = 0 using the history of the visual field range of the user (history of the center coordinates of the visual field range) or the like, The zenith tile may be delivered to the terminal 20 according to the prediction result.
なお、正距円筒図法で表現されたパノラマ動画は、極に近い程(つまり、垂直角度θがπ/2から離れる程)、所定の単位領域当たりの情報量が減少する。このため、天頂タイルは部分領域タイルと同等程度のデータサイズで配信することが可能である。 In the panoramic video represented by the equirectangular projection, the amount of information per predetermined unit area decreases as it approaches the pole (that is, as the vertical angle θ moves away from π / 2). Therefore, the zenith tile can be distributed with a data size comparable to that of the partial area tile.
<機能構成>
次に、本実施形態に係るパノラマ動画配信システム1の機能構成について、図5を参照しながら説明する。図5は、本実施形態に係るパノラマ動画配信システム1の機能構成の一例を示す図である。
<Functional configuration>
Next, the functional configuration of the panoramic
図5に示すように、本実施形態に係るパノラマ動画配信システム1のパノラマ動画配信サーバ10は、機能部として、動画配信処理部101を有する。当該機能部は、パノラマ動画配信サーバ10にインストールされた1以上のプログラムがCPU(Central Processing Unit)等に実行させる処理により実現される。
As shown in FIG. 5, the panoramic
動画配信処理部101は、端末20からの要求に応じて、パノラマ動画(すなわち、パノラマ動画の各フレーム画像の部分領域タイル又は天頂タイルと全体縮小タイル)を当該端末20に配信する処理を実行する。ここで、動画配信処理部101には、判定部111と、タイル作成部112と、配信部113とが含まれる。
In response to a request from the terminal 20, the moving image
判定部111は、高画質タイルとして部分領域タイル又は天頂タイルのいずれを配信するかを判定する。ここで、判定部111は、視野範囲の中心座標の垂直角度θと、所定の閾値(第1の閾値Th1及び第2の閾値Th2)とを比較判定することで、部分領域タイル又は天頂タイルのいずれを配信するかを判定する。
The
タイル作成部112は、判定部111の判定結果に応じて、高画質タイルと低画質タイルとを作成する。すなわち、タイル作成部112は、高画質タイルとして部分領域タイルを配信すると判定部111が判定した場合、部分領域タイルと全体縮小タイルとを作成する。一方で、タイル作成部112は、高画質タイルとして天頂タイルを配信すると判定部111が判定した場合、天頂タイルと全体縮小タイルとを作成する。
The
なお、例えば、端末20に対してパノラマ動画をライブ配信する場合には、タイル作成部112は、カメラ装置等から受信したパノラマ動画を用いて、高画質タイルと低画質タイルとを作成する。一方で、例えば、端末20に対してパノラマ動画をオンデマンド配信する場合には、タイル作成部112は、所定の記憶装置等に予め保持されているパノラマ動画を用いて、高画質タイルと低画質タイルとを作成する。
Note that, for example, when a panoramic video is live-distributed to the terminal 20, the
配信部113は、タイル作成部112が作成した高画質タイル及び低画質タイルを端末20に配信する。
The
また、図5に示すように、本実施形態に係るパノラマ動画配信システム1の端末20は、機能部として、動画視聴処理部201を有する。当該機能部は、端末20にインストールされた1以上のプログラムがCPUに実行させる処理により実現される。
Further, as shown in FIG. 5, the
動画視聴処理部201は、パノラマ動画を表示するためのタイル配信要求をパノラマ動画配信サーバ10に送信する。ここで、タイル配信要求には、例えば、視野範囲の中心座標又は当該中心座標を特定するための情報が含まれる。視野範囲の中心座標を特定するための情報としては、例えば、視野範囲の各頂点の座標等が挙げられる。
The video
また、動画視聴処理部201は、パノラマ動画配信サーバ10から配信されたタイル(高画質タイル及び低画質タイル)によりパノラマ動画を表示する。これにより、端末20には、パノラマ動画配信サーバ10からストリーミング配信されたパノラマ動画が表示される。
Further, the moving image
<パノラマ動画配信処理>
次に、パノラマ動画配信サーバ10がパノラマ動画を端末20に配信する処理(パノラマ動画配信処理)について、図6を参照しながら説明する。図6は、本実施形態に係るパノラマ動画配信処理の一例を示すシーケンス図である。以降のステップS101〜ステップS107は、例えば、パノラマ動画のフレーム画像の或るまとまり(例えば、1秒乃至数秒間のフレーム画像群)毎に繰り返し実行される。
<Panorama video distribution processing>
Next, a process (panoramic video distribution process) in which the panoramic
まず、端末20の動画視聴処理部201は、タイル配信要求をパノラマ動画配信サーバ10に送信する(ステップS101)。ここで、タイル配信要求には、例えば、視野範囲の中心座標又は当該中心座標を特定するための情報が含まれる。
First, the video
パノラマ動画配信サーバ10の動画配信処理部101は、判定部111により、高画質タイルとして部分領域タイル又は天頂タイルのいずれを配信するかを判定する(ステップS102)。すなわち、判定部111は、視野範囲の中心座標の垂直角度θと、所定の閾値(第1の閾値Th1及び第2の閾値Th2)とを比較判定することで、部分領域タイル又は天頂タイルのいずれを配信するかを判定する。
The moving image
ここで、中心座標の垂直角度θが第1の閾値Th1未満かつ第2の閾値Th2より大である場合、判定部111は、高画質タイルとして部分領域タイルを配信すると判定する。一方で、中心座標の垂直角度θが第1の閾値Th1以上又は第2の閾値Th2以下であると場合、判定部111は、高画質タイルとして天頂タイルを配信すると判定する。
Here, when the vertical angle θ of the central coordinates is less than the first threshold Th 1 and greater than the second threshold Th 2 , the
なお、ユーザは、天頂タイルの使用有無を設定することができても良い。天頂タイルの使用有無が「使用無」に設定されている場合には、上記のステップS102の判定を行わずに、以降のステップS103のみを実行すれば良い。 The user may be able to set whether or not to use the zenith tile. When the use / nonuse of the zenith tile is set to “not used”, only the subsequent step S103 may be executed without performing the determination in step S102.
ステップS102で高画質タイルとして部分領域タイルを配信すると判定された場合、パノラマ動画配信サーバ10の動画配信処理部101は、タイル作成部112により、高画質タイルとして部分領域タイルを作成する(ステップS103)。すなわち、タイル作成部112は、視野範囲を含み、かつ、所定の画像サイズの部分領域タイルを作成する。所定の画像サイズとしては、例えば、HDサイズ(1280×720)やフルHDサイズ(1920×1080)等が挙げられる。部分領域タイルの画像サイズとしてどのような画像サイズを利用するかは、例えば、ユーザにより予め設定される。
When it is determined in step S102 that the partial area tile is to be distributed as the high-quality tile, the video
一方で、ステップS102で高画質タイルとして天頂タイルを配信すると判定された場合、パノラマ動画配信サーバ10の動画配信処理部101は、タイル作成部112により、高画質タイルとして天頂タイルを作成する(ステップS104)。すなわち、タイル作成部112は、視野範囲を含み、かつ、所定の4頂点で特定される天頂タイルを作成する。
On the other hand, when it is determined in step S102 that the zenith tile is to be distributed as the high quality tile, the video
ここで、中心座標の垂直角度θが第1の閾値Th1以上である場合、タイル作成部112は、4頂点{(0,π),(0,θ1),(2π,θ1),(2π,π)}で特定される第1の天頂タイルを作成する。一方で、中心座標の垂直角度θが第2の閾値Th2以下である場合、タイル作成部112は、4頂点{(0,θ2),(0,0),(2π,0),(2π,θ2)}で特定される第2の天頂タイルを作成する。
Here, when the vertical angle θ of the center coordinates is equal to or larger than the first threshold Th 1 , the
なお、タイル作成部112は、第1の天頂タイル又は第2の天頂タイルを、上記のステップS103で作成される部分領域タイルと同じ画像サイズに圧縮しても良い。
The
ステップS103又はステップS104に続いて、パノラマ動画配信サーバ10の動画配信処理部101は、タイル作成部112により、低画質タイルとして全体縮小タイルを作成する(ステップS105)。すなわち、タイル作成部112は、パノラマ動画のフレーム画像を、上記のステップS103で作成される部分領域タイルと同じ画像サイズに圧縮した全体縮小タイルを作成する。
Following step S103 or step S104, the moving image
例えば、パノラマ動画のフレーム画像が4Kサイズ(3840×2160)、部分領域タイルがHDサイズである場合、タイル作成部112は、当該フレーム画像をHDサイズに圧縮することで全体縮小タイルを作成する。
For example, when the frame image of the panoramic video is 4K size (3840 × 2160) and the partial area tile is HD size, the
なお、上記のステップS103〜ステップS105では、フレーム画像群に含まれる各フレーム画像から部分領域タイル又は天頂タイルと全体縮小タイルとがそれぞれ作成される。 In steps S103 to S105 described above, a partial area tile or a zenith tile and an overall reduced tile are created from each frame image included in the frame image group.
次に、パノラマ動画配信サーバ10の動画配信処理部101は、配信部113により、高画質タイル(部分領域タイル又は天頂タイル)と低画質タイル(全体縮小タイル)とを端末20に配信する(ステップS106)。
Next, the video
端末20の動画視聴処理部201は、パノラマ動画配信サーバ10から配信されたパノラマ動画(高画質タイル及び低画質タイル)を表示(再生)する(ステップS107)。このとき、動画視聴処理部201は、全体縮小タイルを元の画像サイズ(すなわち、元のフレーム画像のサイズ)に伸張した上でパノラマ動画を再生する。例えば、パノラマ動画のフレーム画像が4Kサイズである場合、動画配信処理部101は、全体縮小タイルを4Kサイズに伸張する。これにより、端末20のユーザはパノラマ動画を視聴することができる。なお、圧縮及び伸張が行われることにより、全体縮小タイルは、部分領域タイル及び天頂タイルよりも低画質で表示されることになる。
The video
<まとめ>
以上のように、本実施形態に係るパノラマ動画配信システム1は、端末20からの要求に応じて、視野範囲を含む高画質タイルと、視野範囲外の低画質タイルとをパノラマ動画配信サーバ10が配信する。これにより、本実施形態に係るパノラマ動画配信システム1では、例えば、端末20のユーザが視野範囲を高画質タイル外に移動させたような場合であっても、低画質タイルによりパノラマ動画の再生を継続させることができるようになる。
<Summary>
As described above, in the panoramic
また、本実施形態に係るパノラマ動画配信システム1は、全天周投影球上の視野範囲の位置が極(北極点又は南極点)に近い場合には、高画質タイルとして、部分領域タイルの代わりに天頂タイルを配信する。これにより、本実施形態に係るパノラマ動画配信システム1では、全天周投影球上で視野範囲が極に近い場合であっても、高画質タイルがカバーする実効領域の範囲を広く確保することができる。このため、例えば、天頂タイル内でユーザが視野範囲を移動させたような場合に、高画質なパノラマ動画なユーザに提供することができるようになる。
In addition, the panoramic
なお、本実施形態に係るパノラマ動画配信システム1では、全天周投影球上の視野範囲の位置が極に近い場合には、高画質タイルとして、部分領域タイルの代わりに天頂タイルを配信する場合について説明したが、これに限られず、例えば、端末20に配信する部分領域タイルのアスペクト比を変更(例えば、極に近いほど部分領域タイルの横のサイズを大きくする等)するようにしても良い。
In the panoramic
また、本実施形態に係るパノラマ動画配信システム1では、パノラマ動画配信サーバ10が端末20に対して、ネットワークNを介してパノラマ動画を配信する場合(つまり、パノラマ動画がネットワーク配信される場合)について説明したが、これに限られない。すなわち、本実施形態は、例えば、パノラマ動画配信サーバ10の機能を端末20が有しており、端末20がローカルストレージ内のパノラマ動画(例えば、端末20のHDD等に格納されているパノラマ動画)を再生する場合についても同様に適用することができる。これにより、端末20がパノラマ動画を再生する際における処理負荷等を軽減させることができるようになる。
Further, in the panoramic
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。 The present invention is not limited to the above specifically disclosed embodiments, and various modifications and changes can be made without departing from the scope of the claims.
1 パノラマ動画配信システム
10 パノラマ動画配信サーバ
20 端末
101 動画配信処理部
111 判定部
112 タイル作成部
113 配信部
201 動画視聴処理部
1 Panorama
Claims (9)
前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第1の高画質データと、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第2の高画質データとのうちのいずれを前記端末に配信するかを判定する判定手段と、
前記判定手段による判定結果に応じて、前記第1の高画質データ又は前記第2の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを作成する作成手段と、
前記作成手段が作成した前記第1の高画質データ又は前記第2の高画質データと前記低画質データとを前記端末に配信する配信手段と、
を有することを特徴とする動画配信装置。 A video distribution device connected to a terminal for playing a panoramic video via a network,
Depending on the position of the range in which the frame image of the panoramic video is displayed on the terminal, the range includes the first high-quality image data of a predetermined image size, and the range, and the entire circumference Determination means for determining which of the second high image quality data including the vicinity of the pole when represented by the projection sphere is to be delivered to the terminal;
Creating means for creating the first high image quality data or the second high image quality data and low image quality data obtained by compressing the frame image to the image size according to a result of the determination made by the determining means;
Distribution means for distributing the first high image quality data or the second high image quality data and the low image quality data created by the creating means to the terminal;
A moving image distribution apparatus comprising:
前記判定手段により前記第2の高画質データを前記端末に配信すると判定された場合、前記第2の高画質データを前記画像サイズに圧縮した第3の高画質データを作成し、
前記配信手段は、
前記第3の高画質データと前記低画質データとを前記端末に配信する、ことを特徴とする請求項1に記載の動画配信装置。 The creating means is
When it is determined by the determination means that the second high image quality data is to be delivered to the terminal, the third high image quality data is created by compressing the second high image quality data into the image size,
The delivery means is
The moving image distribution apparatus according to claim 1, wherein the third high image quality data and the low image quality data are distributed to the terminal.
前記パノラマ動画のフレーム画像を正距円筒図法で表現した場合に、前記範囲の中心座標の垂直角度が第1の閾値未満かつ第2の閾値より大であるとき、前記第1の高画質データを前記端末に配信すると判定し、前記中心座標の垂直角度が第1の閾値以上又は前記第2の閾値以下であるとき、前記第2の高画質データを前記端末に配信すると判定する、ことを特徴とする請求項1又は2に記載の動画配信装置。 The determination means is
When the frame image of the panoramic video is represented by the equirectangular projection, when the vertical angle of the center coordinates of the range is less than the first threshold value and greater than the second threshold value, the first high quality image data is It is determined to deliver to the terminal, and when the vertical angle of the central coordinates is equal to or more than a first threshold value or less than the second threshold value, it is determined to deliver the second high image quality data to the terminal. The moving image distribution apparatus according to claim 1 or 2.
前記判定手段により前記第2の高画質データを前記端末に配信すると判定された場合に、前記中心座標の垂直角度が第1の閾値以上であるときは、全天周投影球で表現した場合に北極の近傍を含む第2の高画質データを作成し、前記中心座標の垂直角度が第2の閾値以下であるときは、全天周投影球で表現した場合に南極の近傍を含む第2の高画質データを作成する、ことを特徴とする請求項3に記載の動画配信装置。 The creating means is
When the determination unit determines that the second high-quality image data is to be delivered to the terminal, and when the vertical angle of the central coordinates is equal to or larger than the first threshold value, it is represented by a omnidirectional projection sphere. When the second high-quality image data including the vicinity of the North Pole is created, and the vertical angle of the central coordinates is equal to or smaller than the second threshold value, the second image including the vicinity of the South Pole when expressed by the omnidirectional projection sphere. The moving image distribution apparatus according to claim 3, wherein high-quality image data is created.
前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第1の高画質データ、又は、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第2の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを前記動画配信装置から受信する受信手段と、
前記受信手段が受信した前記第1の高画質データ又は前記第2の高画質データと前記低画質データとに基づいて、前記パノラマ動画を再生する再生手段と、
を有することを特徴とする端末。 A terminal connected via a network to a video distribution device that distributes panoramic video,
Depending on the position of the range in which the frame image of the panoramic video is displayed on the terminal, the range includes the first high-quality image data of a predetermined image size or the range, and the whole sky Receiving means for receiving, from the moving image distribution apparatus, second high-quality image data including the vicinity of a pole when represented by a circular projection sphere, and low-quality image data obtained by compressing the frame image to the image size.
Reproducing means for reproducing the panoramic video based on the first high image quality data or the second high image quality data and the low image quality data received by the receiving means;
A terminal characterized by having.
前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第1の高画質データと、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第2の高画質データとのうちのいずれを前記端末に表示するかを判定する判定手段と、
前記判定手段による判定結果に応じて、前記第1の高画質データ又は前記第2の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを作成する作成手段と、
前記作成手段が作成した前記第1の高画質データ又は前記第2の高画質データと前記低画質データとを表示する表示手段と、
を有することを特徴とする端末。 A terminal that plays panoramic video,
Depending on the position of the range in which the frame image of the panoramic video is displayed on the terminal, the range includes the first high-quality image data of a predetermined image size, and the range, and the entire circumference Determination means for determining which of the second high image quality data including the vicinity of the pole when represented by the projection sphere is displayed on the terminal;
Creating means for creating the first high image quality data or the second high image quality data and low image quality data obtained by compressing the frame image to the image size according to a result of the determination made by the determining means;
Display means for displaying the first high image quality data or the second high image quality data and the low image quality data created by the creating means;
A terminal characterized by having.
前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第1の高画質データと、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第2の高画質データとのうちのいずれを前記端末に配信するかを判定する判定手段と、
前記判定手段による判定結果に応じて、前記第1の高画質データ又は前記第2の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを作成する作成手段と、
前記作成手段が作成した前記第1の高画質データ又は前記第2の高画質データと前記低画質データとを前記端末に配信する配信手段と、
を有することを特徴とする動画配信システム。 A video distribution system including a terminal for playing a panoramic video, and a video distribution device connected to the terminal via a network,
Depending on the position of the range in which the frame image of the panoramic video is displayed on the terminal, the range includes the first high-quality image data of a predetermined image size, and the range, and the entire circumference Determination means for determining which of the second high image quality data including the vicinity of the pole when represented by the projection sphere is to be delivered to the terminal;
Creating means for creating the first high image quality data or the second high image quality data and low image quality data obtained by compressing the frame image to the image size according to a result of the determination made by the determining means;
Distribution means for distributing the first high image quality data or the second high image quality data and the low image quality data created by the creating means to the terminal;
A video distribution system characterized by having.
前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第1の高画質データと、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第2の高画質データとのうちのいずれを前記端末に配信するかを判定する判定手順と、
前記判定手順による判定結果に応じて、前記第1の高画質データ又は前記第2の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを作成する作成手順と、
前記作成手順が作成した前記第1の高画質データ又は前記第2の高画質データと前記低画質データとを前記端末に配信する配信手順と、
を実行することを特徴とする動画配信方法。 A video distribution device connected via a network to a terminal that plays panoramic video,
Depending on the position of the range in which the frame image of the panoramic video is displayed on the terminal, the range includes the first high-quality image data of a predetermined image size, and the range, and the entire circumference A determination procedure for determining which of the second high image quality data including the vicinity of the pole when represented by the projection sphere is to be delivered to the terminal;
A creation procedure for creating the first high-quality image data or the second high-quality image data and low-quality image data obtained by compressing the frame image to the image size according to the determination result of the determination procedure;
A delivery procedure for delivering the first high image quality data or the second high image quality data and the low image quality data created by the creating procedure to the terminal;
A video distribution method characterized by executing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018212404A JP6688367B1 (en) | 2018-11-12 | 2018-11-12 | Video distribution device, terminal, video distribution system, video distribution method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018212404A JP6688367B1 (en) | 2018-11-12 | 2018-11-12 | Video distribution device, terminal, video distribution system, video distribution method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6688367B1 true JP6688367B1 (en) | 2020-04-28 |
JP2020080455A JP2020080455A (en) | 2020-05-28 |
Family
ID=70413892
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018212404A Active JP6688367B1 (en) | 2018-11-12 | 2018-11-12 | Video distribution device, terminal, video distribution system, video distribution method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6688367B1 (en) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002312778A (en) * | 2001-04-09 | 2002-10-25 | Be Here Corp | Method and device for electronically distributing motion panoramic image |
WO2016191694A1 (en) * | 2015-05-27 | 2016-12-01 | Google Inc. | Streaming spherical video |
JP2018026670A (en) * | 2016-08-09 | 2018-02-15 | 日本電信電話株式会社 | Video distribution system, terminal device, distribution server, video distribution method, video display method, video distribution program, and video display program |
US10595069B2 (en) * | 2016-12-05 | 2020-03-17 | Adobe Inc. | Prioritizing tile-based virtual reality video streaming using adaptive rate allocation |
EP3367626A1 (en) * | 2017-02-27 | 2018-08-29 | Nokia Solutions and Networks Oy | Providing content |
US10904508B2 (en) * | 2017-03-15 | 2021-01-26 | Avago Technologies International Sales Pte. Limited | 360 degree video with combined projection format |
-
2018
- 2018-11-12 JP JP2018212404A patent/JP6688367B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020080455A (en) | 2020-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11303881B2 (en) | Method and client for playing back panoramic video | |
CN109417624B (en) | Apparatus and method for providing and displaying content | |
JP6410918B2 (en) | System and method for use in playback of panoramic video content | |
EP3466083B1 (en) | Spatially tiled omnidirectional video streaming | |
US20160277772A1 (en) | Reduced bit rate immersive video | |
US20180310010A1 (en) | Method and apparatus for delivery of streamed panoramic images | |
WO2018121333A1 (en) | Real-time generation method for 360-degree vr panoramic graphic image and video | |
CN112204993B (en) | Adaptive panoramic video streaming using overlapping partitioned segments | |
WO2021238454A1 (en) | Method and apparatus for displaying live video, and terminal and readable storage medium | |
US10437545B2 (en) | Apparatus, system, and method for controlling display, and recording medium | |
WO2018014495A1 (en) | Real-time panoramic live broadcast network camera and system and method | |
US11941748B2 (en) | Lightweight view dependent rendering system for mobile devices | |
WO2019131577A1 (en) | Information processing device, information processing method, and program | |
TW201843651A (en) | Methods of compressing a texture image and image data processing system and methods of generating a 360-degree panoramic video thereof | |
US11698680B2 (en) | Methods and systems for decoding and rendering a haptic effect associated with a 3D environment | |
JP6224516B2 (en) | Encoding method and encoding program | |
TW201803358A (en) | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices | |
JPWO2019078033A1 (en) | Reproduction device and method, and generation device and method | |
JP6688367B1 (en) | Video distribution device, terminal, video distribution system, video distribution method, and program | |
JP6394682B2 (en) | Method and image processing apparatus | |
CN112438051B (en) | Method performed by a terminal | |
Shi et al. | Real time streaming of 8K 360 degree video to mobile VR headsets | |
Shi et al. | Latency Adaptive Streaming of 8K 360 Degree Video to Mobile VR Headsets | |
US20240022688A1 (en) | Multiuser teleconferencing with spotlight feature | |
JP2023085913A (en) | Moving image distribution system, moving image distribution device, method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200310 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200403 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6688367 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |