JP6889371B2 - Video information processing device and its control method and control program - Google Patents

Video information processing device and its control method and control program Download PDF

Info

Publication number
JP6889371B2
JP6889371B2 JP2017181742A JP2017181742A JP6889371B2 JP 6889371 B2 JP6889371 B2 JP 6889371B2 JP 2017181742 A JP2017181742 A JP 2017181742A JP 2017181742 A JP2017181742 A JP 2017181742A JP 6889371 B2 JP6889371 B2 JP 6889371B2
Authority
JP
Japan
Prior art keywords
display device
viewpoint
image
criterion
acceleration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017181742A
Other languages
Japanese (ja)
Other versions
JP2019057847A (en
JP2019057847A5 (en
Inventor
匡信 菅野
匡信 菅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mixi Inc
Original Assignee
Mixi Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mixi Inc filed Critical Mixi Inc
Priority to JP2017181742A priority Critical patent/JP6889371B2/en
Publication of JP2019057847A publication Critical patent/JP2019057847A/en
Publication of JP2019057847A5 publication Critical patent/JP2019057847A5/ja
Application granted granted Critical
Publication of JP6889371B2 publication Critical patent/JP6889371B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、動画を配信する動画配信システムに関する。
本発明は、特に、配信された動画を再生するよう動画情報処理装置を制御する制御技術に関する。
The present invention relates to a moving image distribution system that distributes moving images.
The present invention particularly relates to a control technique for controlling a moving image information processing device so as to reproduce a distributed moving image.

人間の直感に近い操作により立体画像のアングルを変更する機能を有する表示装置が知られている(例えば、特許文献1参照。)。
特許文献1に記載の表示装置は、立体画像が表示部に表示されている状態において当該表示装置の回転移動が検出された場合に、当該表示部における当該立体画像に対するアングルを当該回転移動に連動させて徐々に変更する(同文献の[0055]−[0056],[0078]−[0083])。
A display device having a function of changing the angle of a stereoscopic image by an operation close to human intuition is known (see, for example, Patent Document 1).
The display device described in Patent Document 1 links the angle of the display unit with respect to the stereoscopic image to the rotational movement when the rotational movement of the display device is detected while the stereoscopic image is displayed on the display unit. And gradually change ([0055]-[0056], [0078]-[0083] of the same document).

特開2004−102738号公報Japanese Unexamined Patent Publication No. 2004-102738

特許文献1に記載の技術では、表示装置の回転移動により表示部の角度も変化する(同文献図11の「B」)。
そのため、表示部に表示される立体画像のアングルが変更された場合に、ユーザの目と表示部との相対的な位置関係をユーザに調整させる必要がある。
In the technique described in Patent Document 1, the angle of the display unit also changes due to the rotational movement of the display device (“B” in FIG. 11 of the same document).
Therefore, when the angle of the stereoscopic image displayed on the display unit is changed, it is necessary for the user to adjust the relative positional relationship between the user's eyes and the display unit.

本発明が解決しようとする課題は、余計な負担なく再生中の映像を直感的に変更する仕組みをユーザに提供することである。 An object to be solved by the present invention is to provide a user with a mechanism for intuitively changing a video being played without an extra burden.

〔A〕上記課題を解決するため、本発明の一態様は、所定空間内の限定された範囲の映像を含む動画を表示装置に再生表示させる動画情報処理装置であって、前記所定空間内の第1視点からの第1映像が前記表示装置で再生されている最中に該表示装置において所定の動きが検出された場合に、該所定空間内の第2視点からの第2映像を該第1映像に代えて該表示装置に再生させる再生制御手段を備える。
〔B〕上記課題を解決するため、本発明の一態様は、所定空間内の限定された範囲の映像を含む動画を表示装置に再生表示させる動画情報処理装置の制御方法であって、前記所定空間内の第1視点からの第1映像が前記表示装置で再生されている最中に該表示装置において所定の動きが検出された場合に、該所定空間内の第2視点からの第2映像を該第1映像に代えて該表示装置に再生させる再生制御ステップを含む。
〔C〕上記課題を解決するため、本発明の一態様である「制御プログラム」は、所定空間内の限定された範囲の映像を含む動画を表示装置に再生表示させる動画情報処理装置のコンピュータに、前記所定空間内の第1視点からの第1映像が前記表示装置で再生されている最中に該表示装置において所定の動きが検出された場合に、該所定空間内の第2視点からの第2映像を該第1映像に代えて該表示装置に再生させる再生制御機能を実現させる。
〔D〕上記課題を解決するため、本発明の一態様である「コンピュータ読取り可能な記録媒体」に記録される制御プログラムは、所定空間内の限定された範囲の映像を含む動画を表示装置に再生表示させる動画情報処理装置のコンピュータに、前記所定空間内の第1視点からの第1映像が前記表示装置で再生されている最中に該表示装置において所定の動きが検出された場合に、該所定空間内の第2視点からの第2映像を該第1映像に代えて該表示装置に再生させる再生制御機能を実現させる。
[A] In order to solve the above problems, one aspect of the present invention is a moving image information processing device that reproduces and displays a moving image including a limited range of images in a predetermined space on a display device, and is in the predetermined space. When a predetermined movement is detected in the display device while the first image from the first viewpoint is being reproduced by the display device, the second image from the second viewpoint in the predetermined space is used as the second image. (1) A reproduction control means for reproducing the video on the display device instead of the video is provided.
[B] In order to solve the above-mentioned problems, one aspect of the present invention is a control method of a moving image information processing device for reproducing and displaying a moving image including an image in a limited range in a predetermined space on a display device. When a predetermined movement is detected in the display device while the first image from the first viewpoint in the space is being reproduced by the display device, the second image from the second viewpoint in the predetermined space is detected. Includes a reproduction control step in which the display device reproduces the first image.
[C] In order to solve the above problems, the "control program", which is one aspect of the present invention, is applied to a computer of a moving image information processing device that reproduces and displays a moving image including an image in a limited range in a predetermined space on a display device. When a predetermined movement is detected in the display device while the first image from the first viewpoint in the predetermined space is being reproduced by the display device, the second viewpoint in the predetermined space is used. A reproduction control function for reproducing the second image on the display device in place of the first image is realized.
[D] In order to solve the above problems, a control program recorded on a "computer-readable recording medium", which is one aspect of the present invention, displays a moving image including a limited range of images in a predetermined space on a display device. When a predetermined movement is detected in the display device while the first image from the first viewpoint in the predetermined space is being reproduced by the computer of the moving image information processing device to be reproduced and displayed. A reproduction control function for reproducing a second image from a second viewpoint in the predetermined space on the display device in place of the first image is realized.

上記〔A〕の「動画情報処理装置」には、下記の技術的限定を加えてもよい。また、同様の技術的限定を、上記〔B〕の「動画情報処理装置制御方法」,上記〔C〕の「制御プログラム」及び上記〔D〕の「記録媒体」が記録する制御プログラムにそれぞれ加えてもよい。
・前記再生制御手段が、前記表示装置において前記所定の動きに関連付けて所定操作が検出された場合に、前記第1視点を基準として前記所定空間内で前記所定の動きに応じた方向にある前記第2視点からの前記第2映像を該表示装置に再生させる。
・前記再生制御手段が、前記第1映像に含まれる前記所定空間内の位置を指定する前記所定操作が検出された場合に、該所定操作により指定される指定位置を含む方向の前記第2映像を前記表示装置に再生させる。
・前記再生制御手段が、前記所定の動きが第1基準を満たす場合に、前記第2映像を即座に前記表示装置に再生させる。
・前記再生制御手段が、前記所定の動きが第2基準を満たす場合に、前記第2映像が前記表示装置に再生される前に、前記第1視点と前記第2視点とを結ぶ線上にそれぞれ存在する複数の視点からの前記指定位置をそれぞれ含む方向の映像を視点が該第1視点から近い順に該表示装置に順次再生させる。
・前記再生制御手段が、被写体のサイズが前記第1映像における該被写体のサイズと同程度になるように調整された映像を前記表示装置に再生させる。
・前記再生制御手段が、前記所定空間内の第1位置を含む方向の映像が再生されている最中に前記所定の動きが検出された場合に、前記第1位置を含む方向の前記第2映像を前記再生装置に再生させる。
・前記再生制御手段が、前記第2映像が再生されている最中に前記所定の動きが検出された場合に、前記第2視点からの前記所定空間内の第2位置を含む方向の第3映像を該第2映像に代えて前記再生装置に再生させる。
The following technical limitation may be added to the "video information processing apparatus" of the above [A]. Further, the same technical limitation is added to the control program recorded by the "video information processing device control method" in the above [B], the "control program" in the above [C], and the "recording medium" in the above [D], respectively. You may.
When the reproduction control means detects a predetermined operation in association with the predetermined movement in the display device, the reproduction control means is in a direction corresponding to the predetermined movement in the predetermined space with reference to the first viewpoint. The display device reproduces the second image from the second viewpoint.
When the reproduction control means detects the predetermined operation for designating the position in the predetermined space included in the first video, the second video in the direction including the designated position designated by the predetermined operation. Is reproduced by the display device.
-When the predetermined movement satisfies the first criterion, the reproduction control means immediately reproduces the second image on the display device.
When the predetermined movement satisfies the second criterion, the reproduction control means is on a line connecting the first viewpoint and the second viewpoint before the second image is reproduced on the display device. Images in directions including the designated positions from a plurality of existing viewpoints are sequentially reproduced by the display device in the order in which the viewpoints are closer to the first viewpoint.
-The reproduction control means causes the display device to reproduce an image adjusted so that the size of the subject is about the same as the size of the subject in the first image.
-When the reproduction control means detects the predetermined movement while the image in the direction including the first position in the predetermined space is being reproduced, the second in the direction including the first position. The video is reproduced by the reproduction device.
When the reproduction control means detects the predetermined movement while the second image is being reproduced, the third in the direction including the second position in the predetermined space from the second viewpoint. The video is reproduced by the playback device in place of the second video.

本明細書では、下記のように用語を用いる。
・「所定空間」は、現実空間と仮想空間を包含する。
・「映像」は、所定空間内のある視点から見える高角の映像(例えば、360度映像)のうち限定された範囲の映像をいう。所定空間内の複数の視点から同時期にそれぞれ見える複数の映像は、相互に対応付けられているものとする。
・「動画」は、所定空間内に存在する複数のオブジェクトが登場する映像を含むものが好適である。特に、所定空間内の限定された範囲を観戦,鑑賞,観覧の対象とするような映像を含む動画が好適である。
・「動画」は、ストリーミング配信される動画であってもよいし、ダウンロードされる動画であってもよいし、記録媒体から読み出される動画であってもよい。
・「所定の動き」は、「表示装置」の表示面にほぼ平行な方向(所定方向)に「表示装置」が移動する動きを少なくとも包含する。「所定基準」(実施例では、第1基準,第2基準)を満たすことが条件になっている場合には、当該「所定基準」を満たす所定方向の動きをいう。
・「所定操作」は、「表示装置」で再生される映像に映る空間内の位置を指定する操作を少なくとも包含する。例えば、タッチパネル上の任意の位置をタッチ(例えば、タップ,プレス(長押し))する操作や、ポインタを特定の位置で静止させてクリック(例えば、左クリック,右クリック)する操作が好適である。
・「表示装置」は、動画情報処理装置と一体に構成されていてもよいし、動画情報処理装置と別体で構成されていてもよい。別体で構成される場合、「所定の動き」を検出する機能の少なくとも一部は表示装置の側にある。同様に、別体で構成される場合、「所定操作」を検出する機能の少なくとも一部は表示装置の側にある。
In this specification, terms are used as follows.
-The "predetermined space" includes the real space and the virtual space.
-"Video" refers to a limited range of video (for example, 360-degree video) that can be seen from a certain viewpoint in a predetermined space. It is assumed that a plurality of images that can be seen at the same time from a plurality of viewpoints in a predetermined space are associated with each other.
-The "moving image" is preferably one that includes an image in which a plurality of objects existing in a predetermined space appear. In particular, a moving image including an image in which a limited range within a predetermined space is to be watched, viewed, or viewed is preferable.
-The "moving image" may be a moving image to be streamed, a moving image to be downloaded, or a moving image read from a recording medium.
-The "predetermined movement" includes at least the movement of the "display device" in a direction (predetermined direction) substantially parallel to the display surface of the "display device". When it is a condition that the "predetermined standard" (in the embodiment, the first standard and the second standard) is satisfied, it means a movement in a predetermined direction that satisfies the "predetermined standard".
-The "predetermined operation" includes at least an operation of designating a position in the space reflected in the image reproduced by the "display device". For example, an operation of touching (for example, tapping or pressing (long-pressing)) an arbitrary position on the touch panel or an operation of holding the pointer at a specific position and clicking (for example, left-clicking or right-clicking) is preferable. ..
-The "display device" may be configured integrally with the moving image information processing device, or may be configured separately from the moving image information processing device. When configured as a separate body, at least part of the function of detecting "predetermined movement" is on the display device side. Similarly, when configured as a separate body, at least part of the function of detecting the "predetermined operation" is on the display device side.

本発明に係る動画情報処理装置は、表示装置にて再生される映像を当該表示装置において検出される所定の動きに応じて変更させる。
よって、本発明によれば、ユーザは、表示中の映像を余計な負担なく直感的に変更させることが可能になる。
The moving image information processing device according to the present invention changes the image reproduced on the display device according to a predetermined movement detected on the display device.
Therefore, according to the present invention, the user can intuitively change the displayed image without any extra burden.

映像変更処理の概要を例示する。(実施例)An outline of the video change process is illustrated. (Example) 動画配信システムのネットワーク構成例を示す(実施例)An example of a network configuration of a video distribution system is shown (Example). ユーザ装置のハードウェア的機能構成例を示す。(実施例)An example of the hardware function configuration of the user device is shown. (Example) サーバ装置のハードウェア的機能構成例を示す。(実施例)An example of the hardware function configuration of the server device is shown. (Example) ユーザ端末のソフトウェア的機能構成例を示す。(実施例)An example of software function configuration of a user terminal is shown. (Example) 動画再生手順を例示する。(実施例)An example of a moving image playback procedure. (Example) 映像変更処理の手順を例示する。(実施例)The procedure of the image change processing is illustrated. (Example) 映像変更処理の概要を例示する。(変形例2)An outline of the video change process is illustrated. (Modification 2)

[1.実施形態]
[1−1.概要]
本実施形態は、表示装置に動画を再生させる動画情報処理装置に関する。
本実施形態に係る動画情報処理装置は、余計な負担なく再生中の映像を直感的に変更する仕組みをユーザに提供するため、表示装置に再生表示させる映像を当該表示装置において検出される所定の動きに応じて変更するように構成される。
[1. Embodiment]
[1-1. Overview]
The present embodiment relates to a moving image information processing device that causes a display device to reproduce a moving image.
The moving image information processing device according to the present embodiment provides the user with a mechanism for intuitively changing the video being played back without an extra burden, and therefore, a predetermined video information processing device to be played back and displayed on the display device is detected by the display device. It is configured to change according to the movement.

[1−2.動画情報処理装置]
所定空間内の限定された範囲の映像を含む動画を表示装置(例えば、表示部520)に再生表示させる動画情報処理装置(例えば、ユーザ端末10)であって、前記所定空間内の第1視点からの第1映像が前記表示装置で再生されている最中に該表示装置において所定の動きが検出された場合に、該所定空間内の第2視点からの第2映像を該第1映像に代えて該表示装置に再生させる再生制御手段(例えば、再生制御部515)を備える。
[1-2. Video information processing device]
A video information processing device (for example, a user terminal 10) that reproduces and displays a moving image including a limited range of images in a predetermined space on a display device (for example, a display unit 520), and is a first viewpoint in the predetermined space. When a predetermined movement is detected in the display device while the first image from the above is being reproduced by the display device, the second image from the second viewpoint in the predetermined space is used as the first image. Instead, the display device is provided with a reproduction control means (for example, a reproduction control unit 515) for reproducing the reproduction.

[2.実施例]
[2−1.概要]
本実施例は、動画をストリーミング配信する動画配信システムに関する。
本実施例に係るユーザ端末10は、再生中の配信動画に含まれる映像を余計な負担なく直感的に変更する仕組みをユーザに提供するため、ユーザ端末10で再生表示される映像をユーザ端末10において検出される所定の動きに応じて変更するように構成される。
[2. Example]
[2-1. Overview]
This embodiment relates to a video distribution system for streaming video.
The user terminal 10 according to the present embodiment provides the user with a mechanism for intuitively changing the video included in the distributed video being played without any extra burden, so that the video reproduced and displayed on the user terminal 10 is displayed on the user terminal 10. It is configured to change according to a predetermined movement detected in.

図1を参照しつつ、本実施例の概要を示す。
本実施例では、仮想空間X内の視点110(第1視点)からの映像111(第1映像)がユーザ端末10で再生されている最中にユーザ端末10の表示面にほぼ平行な方向(例えば、方向112)への動きがユーザ端末10において検出され、かつ、当該動きに関連付けて映像111に含まれる位置(例えば、指定位置113)を指定するタッチ操作(所定操作)が検出された場合に、仮想空間X内の視点120(第2視点)からの位置113を含む方向の映像121(第2映像)が映像111に代えてユーザ端末10において再生される。
つまり、ユーザ端末10が存在する現実空間におけるユーザ端末10の物理的な動きに応じて映像の視点が変更される。また、ユーザ端末10に対するタッチ操作に応じて映像の方向(範囲)が決定される。
An outline of this embodiment is shown with reference to FIG.
In this embodiment, while the image 111 (first image) from the viewpoint 110 (first viewpoint) in the virtual space X is being played back by the user terminal 10, the direction substantially parallel to the display surface of the user terminal 10 ( For example, when a movement in the direction 112) is detected in the user terminal 10, and a touch operation (predetermined operation) for designating a position (for example, a designated position 113) included in the image 111 in association with the movement is detected. In addition, the video 121 (second video) in the direction including the position 113 from the viewpoint 120 (second viewpoint) in the virtual space X is reproduced on the user terminal 10 instead of the video 111.
That is, the viewpoint of the image is changed according to the physical movement of the user terminal 10 in the real space where the user terminal 10 exists. Further, the direction (range) of the image is determined according to the touch operation on the user terminal 10.

上記動きが第1基準を満たす場合(例えば、検出された加速度の大きさが第1閾値以上である場合)に、映像121が即座にユーザ端末10で再生されるように構成するとよい。
一方、上記動きが第2基準を満たす場合(例えば、検出された加速度の大きさが第2閾値以上であるが第1閾値未満である場合)に、視点110と視点120とを結ぶ曲線上にそれぞれ存在する複数の視点からの位置113をそれぞれ含む方向の映像が、視点が視点110から視点120まで徐々に移動するようにユーザ端末10に順次再生されるように構成するとよい。
When the movement satisfies the first criterion (for example, when the magnitude of the detected acceleration is equal to or greater than the first threshold value), the video 121 may be configured to be immediately reproduced on the user terminal 10.
On the other hand, when the movement satisfies the second criterion (for example, when the magnitude of the detected acceleration is equal to or greater than the second threshold value but less than the first threshold value), the curve connecting the viewpoint 110 and the viewpoint 120 is formed. It is preferable that the images in the directions including the positions 113 from each of the plurality of existing viewpoints are sequentially reproduced on the user terminal 10 so that the viewpoints gradually move from the viewpoint 110 to the viewpoint 120.

[2−2.ネットワーク構成]
図2は、実施例のシステム(動画配信システム)のネットワーク構成例を示す。
本実施例のシステムは、ユーザが使用するユーザ端末10と、配信動画を管理する動画管理システム20と、動画を配信する配信管理システム30と、を含む。
動画管理システム20は、管理サーバ21とストレージ22を含む。配信管理システム30は、配信サーバ31とストレージ32を含む。
[2-2. Network configuration]
FIG. 2 shows a network configuration example of the system (video distribution system) of the embodiment.
The system of this embodiment includes a user terminal 10 used by the user, a video management system 20 that manages the distributed video, and a distribution management system 30 that distributes the video.
The video management system 20 includes a management server 21 and a storage 22. The distribution management system 30 includes a distribution server 31 and a storage 32.

ユーザ端末10と管理サーバ21とは、通信ネットワーク40を通じてデータの授受が可能である。管理サーバ21は、ストレージ22に記憶される動画管理データにアクセス可能である。
ユーザ端末10と配信サーバ31とは、通信ネットワーク40を通じてデータの授受が可能である。配信サーバ31は、ストレージ32に記憶される配信動画データにアクセス可能である。
通信ネットワーク40は、インターネット(Internet),携帯電話網,無線WAN(Wireless Wide Area Network),無線LAN(Wireless Local Area Network),イーサネット(Ethernet)(登録商標)などの既存のネットワークのうち少なくともいずれかを含んでいてよい。
Data can be exchanged between the user terminal 10 and the management server 21 through the communication network 40. The management server 21 can access the moving image management data stored in the storage 22.
Data can be exchanged between the user terminal 10 and the distribution server 31 through the communication network 40. The distribution server 31 can access the distribution moving image data stored in the storage 32.
The communication network 40 is at least one of existing networks such as the Internet, a mobile phone network, a wireless WAN (Wireless Wide Area Network), a wireless LAN (Wireless Local Area Network), and an Ethernet (registered trademark). May include.

[2−2−1.ユーザ端末]
ユーザ端末10は、所定の動画再生プログラム又はWebブラウザプログラムがインストールされたユーザ装置(コンピュータ)である。
本実施例のシステムでは、ユーザ装置として、動画再生プログラム及びWebブラウザプログラムをインストール可能な汎用の携帯装置(例えば、携帯電話,スマートフォン(smartphone),タブレット(tablet)端末,タブレットPC(personal computer),ウェアラブルデバイス(wearable device)など)や汎用の処理装置(例えば、PC(personal computer)など)を用いることができる。
[2-2-1. User terminal]
The user terminal 10 is a user device (computer) in which a predetermined video playback program or Web browser program is installed.
In the system of this embodiment, as a user device, a general-purpose portable device (for example, a mobile phone, a smartphone (smartphone), a tablet (tablet) terminal, a tablet PC (personal computer)) capable of installing a video playback program and a Web browser program. A wearable device (such as a wearable device) or a general-purpose processing device (for example, a personal computer (for example)) can be used.

[2−2−2.動画管理システム]
動画管理システム20は、管理サーバ21とストレージ22を含む。
管理サーバ21は、Webサーバプログラムがインストールされたサーバ装置(コンピュータ)である。
管理サーバ21は、要求元から取得したデータをストレージ22に記憶させる。また、管理サーバ21は、要求(リクエスト)に応じてストレージ22に記憶されるデータを検索し、処理結果を要求元に提供(レスポンス)する。
なお、複数のサーバ装置を連携させてサーバシステムを構成し、管理サーバ21の機能を分担させ又は管理サーバ21にかかる負荷を分散させてもよい。
[2-2-2. Video management system]
The video management system 20 includes a management server 21 and a storage 22.
The management server 21 is a server device (computer) in which a Web server program is installed.
The management server 21 stores the data acquired from the request source in the storage 22. Further, the management server 21 searches the data stored in the storage 22 in response to the request (request), and provides (response) the processing result to the request source.
A plurality of server devices may be linked to form a server system, and the functions of the management server 21 may be shared or the load applied to the management server 21 may be distributed.

ストレージ22は、動画配信サービスの動画管理データを記憶する記憶装置である。本実施例では、特に、動画配信サービスに登録されている配信動画のメタ情報が記憶される。
なお、複数の記憶装置を用意し、ストレージ22が記憶するデータの種類ごとに別々に記憶させてもよい。またストレージ22が記憶するデータを複数の記憶装置に分散配置することも可能である。
The storage 22 is a storage device that stores the video management data of the video distribution service. In this embodiment, in particular, the meta information of the distribution video registered in the video distribution service is stored.
A plurality of storage devices may be prepared and stored separately for each type of data stored in the storage 22. It is also possible to distribute the data stored in the storage 22 to a plurality of storage devices.

[2−2−3.配信管理システム]
配信管理システム30は、配信サーバ31とストレージ32を含む。
配信サーバ31は、ストリーミング配信サーバプログラムがインストールされたサーバ装置(コンピュータ)である。
配信サーバ31は、配信要求(リクエスト)に応じて、ストレージ32から必要な動画データを読み出し、要求元にストリーミング配信(レスポンス)する。
なお、複数のサーバ装置を連携させてサーバシステムを構成し、配信サーバ31の機能を分担させ又は配信サーバ31にかかる負荷を分散させてもよい。
[2-2-3. Distribution management system]
The distribution management system 30 includes a distribution server 31 and a storage 32.
The distribution server 31 is a server device (computer) in which a streaming distribution server program is installed.
The distribution server 31 reads necessary moving image data from the storage 32 in response to a distribution request (request), and streams and distributes (responses) to the request source.
A server system may be configured by linking a plurality of server devices, and the functions of the distribution server 31 may be shared or the load applied to the distribution server 31 may be distributed.

ストレージ32は、動画配信サービスの動画データを記憶する記憶装置である。本実施例では、特に、配信動画のファイルデータが記憶される。
なお、複数の記憶装置を用意し、ストレージ32が記憶するデータの種類ごとに別々に記憶させてもよい。またストレージ32が記憶するデータを複数の記憶装置に分散配置することも可能である。
The storage 32 is a storage device that stores the moving image data of the moving image distribution service. In this embodiment, in particular, the file data of the distributed moving image is stored.
A plurality of storage devices may be prepared and stored separately for each type of data stored in the storage 32. It is also possible to distribute the data stored in the storage 32 to a plurality of storage devices.

[2−3.ハードウェア的機能構成]
[2−3−1.ユーザ装置のハードウェア的機能構成]
図3は、ユーザ装置のハードウェア的機能構成例を示す。
典型的なユーザ装置は、制御処理装置であるMPU(Micro-Processing Unit)311と、主記憶装置であるRAM(Random Access Memory)321と、補助記憶装置であるROM(Read Only Memory)322及びEEPROM(Electrically Erasable Programmable Read-Only Memory)323と、入力装置と表示装置を兼ねるタッチパネルディスプレイ331と、音声出力装置であるスピーカ332と、通信制御装置であるNIC(Network Interface Controller)341及び無線LAN(Local Area Network)チップ342と、検出装置である加速度センサ351と、を少なくとも有する。
[2-3. Hardware functional configuration]
[2-3-1. Hardware function configuration of user device]
FIG. 3 shows an example of a hardware functional configuration of a user device.
Typical user devices are an MPU (Micro-Processing Unit) 311 which is a control processing device, a RAM (Random Access Memory) 321 which is a main storage device, and a ROM (Read Only Memory) 322 and an EEPROM which are auxiliary storage devices. (Electrically Erasable Programmable Read-Only Memory) 323, touch panel display 331 that doubles as an input device and display device, speaker 332 that is an audio output device, NIC (Network Interface Controller) 341 that is a communication control device, and wireless LAN (Local). It has at least an Area Network) chip 342 and an acceleration sensor 351 which is a detection device.

RAM321と、ROM322と、EEPROM323と、タッチパネルディスプレイ331と、スピーカ332と、NIC341と、無線LANチップ342と、加速度センサ351とは、バスラインを介してMPU311と接続される。
MPU311は、(1)ROM322又はEEPROM323に記憶されたプログラムをRAM321上に読み込み、(2)プログラムの指示に従ってタッチパネルディスプレイ331とEEPROM323とNIC341と無線LANチップ342と加速度センサ351との少なくともいずれかからデータを取得し、(3)取得したデータをプログラムに規定される手順で演算・加工した上で、(4)演算済み・加工済みのデータをEEPROM323とタッチパネルディスプレイ331とスピーカ332とNIC341と無線LANチップ342との少なくともいずれかに提供する。
The RAM 321 and ROM 322, the EEPROM 323, the touch panel display 331, the speaker 332, the NIC 341, the wireless LAN chip 342, and the acceleration sensor 351 are connected to the MPU 311 via a bus line.
The MPU311 (1) reads the program stored in the ROM 322 or the EEPROM 323 onto the RAM 321 and (2) data from at least one of the touch panel display 331, the EEPROM 323, the NIC 341, the wireless LAN chip 342, and the acceleration sensor 351 according to the instructions of the program. (3) Calculate and process the acquired data according to the procedure specified in the program, and (4) Calculate the calculated and processed data in EEPROM 323, touch panel display 331, speaker 332, NIC341, and wireless LAN chip. Provided in at least one of 342.

[2−3−2.サーバ装置のハードウェア的機能構成]
図4は、サーバ装置のハードウェア的機能構成例を示す。
典型的なサーバ装置は、MPUやROMを含む制御処理装置410と、RAMを含む主記憶装置420と、HDD(Hard Disc Drive)を含む補助記憶装置430と、マウスやキーボードを含む入力装置440と、ディスプレイやスピーカを含む出力装置450と、ネットワークカード(Network Interface Card)を含む通信制御装置460と、を有する。
[2-3-2. Hardware function configuration of server device]
FIG. 4 shows an example of a hardware functional configuration of the server device.
Typical server devices include a control processing device 410 including an MPU and ROM, a main storage device 420 including a RAM, an auxiliary storage device 430 including an HDD (Hard Disc Drive), and an input device 440 including a mouse and a keyboard. It has an output device 450 including a display and a speaker, and a communication control device 460 including a network interface card.

主記憶装置420、補助記憶装置430、入力装置440、出力装置450及び通信制御装置460は、バスラインを介して制御処理装置410とそれぞれ接続される。
制御処理装置410は、(1)補助記憶装置430に記憶されたプログラムを主記憶装置420上に読み込み、(2)プログラムの指示に従って入力装置440と補助記憶装置430と通信制御装置460との少なくともいずれかからデータを取得し、(3)取得したデータをプログラムに規定される手順で演算・加工した上で、(4)演算済み・加工済みのデータを補助記憶装置430と出力装置450と通信制御装置460との少なくともいずれかに提供する。
The main storage device 420, the auxiliary storage device 430, the input device 440, the output device 450, and the communication control device 460 are connected to the control processing device 410 via a bus line, respectively.
The control processing device 410 (1) reads the program stored in the auxiliary storage device 430 onto the main storage device 420, and (2) follows at least the input device 440, the auxiliary storage device 430, and the communication control device 460 according to the instruction of the program. Data is acquired from either of them, (3) the acquired data is calculated and processed according to the procedure specified in the program, and (4) the calculated and processed data is communicated with the auxiliary storage device 430 and the output device 450. Provided in at least one of the control devices 460.

[2−4.ソフトウェア的機能構成]
図5は、ユーザ端末のソフトウェア的機能構成例を示す。
図5に例示されるように、ユーザ端末10は、第1取得部505と、第2取得部510と、再生制御部515と、表示部520と、第1検出部525と、第2検出部530と、入力解析部535と、を有する。
表示部520及び第2検出部530は、タッチパネルディスプレイ331を含んで構成される。第1取得部505及び第2取得部510は、NIC341と無線LANチップ342の少なくともいずれかを含んで構成される。第1検出部525は、加速度センサ351を含んで構成される。
[2-4. Software functional configuration]
FIG. 5 shows an example of a software-like functional configuration of a user terminal.
As illustrated in FIG. 5, the user terminal 10 includes a first acquisition unit 505, a second acquisition unit 510, a reproduction control unit 515, a display unit 520, a first detection unit 525, and a second detection unit. It has a 530 and an input analysis unit 535.
The display unit 520 and the second detection unit 530 include a touch panel display 331. The first acquisition unit 505 and the second acquisition unit 510 include at least one of the NIC 341 and the wireless LAN chip 342. The first detection unit 525 includes an acceleration sensor 351.

ユーザ端末10のソフトウェア的機能は、ユーザ装置向けOS(Operating System)と当該OS上で動作する動画再生プログラムがユーザ装置にそれぞれインストールされることにより実現される。
なお、動画再生プログラムに代えて、上記ユーザ装置向けOS上で動作するWebブラウザプログラムと当該Webブラウザプログラム上で動作する動画再生プログラムがユーザ装置にそれぞれインストールされることによってもユーザ端末10のソフトウェア的機能が実現され得る。
The software function of the user terminal 10 is realized by installing an OS (Operating System) for the user device and a moving image playback program running on the OS in the user device, respectively.
In addition, instead of the video playback program, the Web browser program running on the OS for the user device and the video playback program running on the Web browser program are installed in the user device, respectively, so that the software of the user terminal 10 can be used. The function can be realized.

ユーザ装置向けOSは、出荷当初からユーザ装置にインストールされているのが一般的である。ユーザ装置にインストールされるべきその他のプログラムは、通信ネットワーク40を介し搬送波に重畳させてユーザ装置に供給されるのが一般的である。
なお、ユーザ装置にインストールされるべき上記その他のプログラムは、CD(Compact Disc),DVD(Digital Versatile Disk),MOディスク(Magneto-Optical disk),フラッシュメモリ(flash memory)などの記録媒体に記録された状態で配布され当該記録媒体からユーザ装置に読み込まれてもよい。
The OS for user devices is generally installed in the user devices from the beginning of shipment. Other programs to be installed on the user device are generally supplied to the user device by superimposing them on a carrier wave via the communication network 40.
The above-mentioned other programs to be installed in the user device are recorded on a recording medium such as a CD (Compact Disc), a DVD (Digital Versatile Disk), an MO disk (Magneto-Optical disk), or a flash memory (flash memory). It may be distributed in this state and read from the recording medium into the user device.

第1取得部505は、ストリーミング配信の要求に必要な情報を動画管理システム20から取得する。必要な情報は、例えば、配信動画を特定可能なURLである。
第2取得部510は、動画管理システム20から取得される情報に基づいて配信管理システム30にアクセスし、配信動画のストリーミング配信を受ける。ストリーミング配信の要求には、映像の視点と方向を指定するデータが含まれてもよい。ストリーミング配信される配信動画は、配信の要求に含まれるデータにより指定される視点からの当該データにより指定される方向の映像が含まれる。ストリーミング配信の要求に映像の視点と方向を指定するデータが含まれない場合は、デフォルトの視点からのデフォルトの方向の映像が含まれるとよい。
再生制御部515は、配信管理システム30によりストリーミング配信される配信動画を表示部520に再生表示させる。
第1検出部525は、ユーザ端末10にかかる加速度の方向と大きさを検出し入力解析部535に出力する。
第2検出部530は、タッチパネルに対する接触体(例えば、指先,タッチペンのペン先)の接触位置を検出し入力解析部535に出力する。
The first acquisition unit 505 acquires information necessary for requesting streaming distribution from the video management system 20. The necessary information is, for example, a URL that can identify the delivered video.
The second acquisition unit 510 accesses the distribution management system 30 based on the information acquired from the video management system 20, and receives the streaming distribution of the distributed video. The streaming distribution request may include data that specifies the viewpoint and direction of the video. The distribution video to be streamed includes a video in a direction specified by the data from a viewpoint specified by the data included in the distribution request. If the streaming distribution request does not include data that specifies the viewpoint and direction of the video, it is preferable to include the video in the default direction from the default viewpoint.
The playback control unit 515 causes the display unit 520 to play and display the distribution video streamed by the distribution management system 30.
The first detection unit 525 detects the direction and magnitude of the acceleration applied to the user terminal 10 and outputs the direction and magnitude to the input analysis unit 535.
The second detection unit 530 detects the contact position of the contact body (for example, the fingertip or the pen tip of the touch pen) with respect to the touch panel and outputs the contact position to the input analysis unit 535.

入力解析部535は、表示部520において映像が再生されている最中に、第1検出部525により所定の動きが検出されたか否かを次のように判定する。
〔1〕第1検出部525により検出される加速度の方向が「所定方向」(本実施例では、タッチパネルディスプレイ331の画面にほぼ平行な方向)に該当するか否かを判定する。
〔2〕第1検出部525により検出された加速度の大きさと予め設定されている第1閾値及び第2閾値(ただし、第1閾値>第2閾値である。)との間の大小関係に応じて「所定基準」を満たすか否かを判定する。具体的には、加速度の大きさが第1閾値以上であれば、第1の所定基準(第1基準)を満たすと判定する。また、加速度の大きさが第2閾値以上第1閾値未満であれば、第2の所定基準(第2基準)を満たすと判定する。一方、検出された加速度の大きさが第2閾値未満であれば、所定基準を満たさないと判定する。
〔3〕検出された加速度の方向が「所定方向」に該当し、かつ、検出された加速度の大きさが第1基準又は第2基準を満たす場合に、第1検出部525により所定の動きが検出されたと判定する。なお、タッチパネルディスプレイ331の画面が傾かないように移動したことがさらに「所定の動き」の条件になってもよい。
The input analysis unit 535 determines whether or not a predetermined movement is detected by the first detection unit 525 while the video is being reproduced on the display unit 520 as follows.
[1] It is determined whether or not the direction of acceleration detected by the first detection unit 525 corresponds to the "predetermined direction" (in this embodiment, the direction substantially parallel to the screen of the touch panel display 331).
[2] Depending on the magnitude relationship between the magnitude of the acceleration detected by the first detection unit 525 and the preset first threshold value and the second threshold value (however, the first threshold value> the second threshold value). To determine whether or not the "predetermined standard" is satisfied. Specifically, if the magnitude of the acceleration is equal to or greater than the first threshold value, it is determined that the first predetermined criterion (first criterion) is satisfied. If the magnitude of the acceleration is equal to or greater than the second threshold value and less than the first threshold value, it is determined that the second predetermined criterion (second criterion) is satisfied. On the other hand, if the magnitude of the detected acceleration is less than the second threshold value, it is determined that the predetermined criterion is not satisfied.
[3] When the direction of the detected acceleration corresponds to the "predetermined direction" and the magnitude of the detected acceleration satisfies the first reference or the second reference, the first detection unit 525 makes a predetermined movement. It is determined that it has been detected. Further, the condition of "predetermined movement" may be that the screen of the touch panel display 331 is moved so as not to be tilted.

また、入力解析部535は、表示部520において映像が再生されている最中に、第2検出部530により所定のタッチ操作が検出されたか否かを次のように判定する。
〔1〕第2検出部530により検出される接触位置の経時的変化が「所定態様」(本実施例では、プレス(長押し)する態様)に該当するか否かを判定する。
〔2〕「所定態様」に該当する場合、さらに所定の動きとの間に関連性があるか否かを判定する。具体的には、所定の動きが検出された期間又はその前後の期間の少なくとも一部を少なくとも含む所定期間内に検出された場合に、上記所定の動きとの間に関連性があると判定する。
〔3〕経時的変化が「所定態様」に該当し、かつ、所定の動きとの間に関連性がある場合に、第2検出部530により「所定のタッチ操作」が検出されたと判定する。
Further, the input analysis unit 535 determines whether or not a predetermined touch operation is detected by the second detection unit 530 while the video is being reproduced on the display unit 520 as follows.
[1] It is determined whether or not the change with time of the contact position detected by the second detection unit 530 corresponds to the "predetermined mode" (in this embodiment, the press (long press) mode).
[2] When the "predetermined mode" is applicable, it is further determined whether or not there is a relationship with the predetermined movement. Specifically, when a predetermined movement is detected within a predetermined period including at least a part of the period before or after the detection, it is determined that there is a relationship with the predetermined movement. ..
[3] When the change with time corresponds to the "predetermined mode" and is related to the predetermined movement, it is determined that the "predetermined touch operation" is detected by the second detection unit 530.

そして、入力解析部535は、第1検出部525により所定の動きが検出され、かつ、第2検出部530により所定のタッチ操作が検出された場合に、所定の動きの方向及び当該動きが満たした基準と、所定のタッチ操作により指定された位置と、をそれぞれ特定する情報を再生制御部515に出力する。
このとき再生制御部515は、表示部520において再生されている映像を変更するため、所定の動きが満たした基準に応じ、下記のデータを配信管理システム30に送信するよう第2取得部510に指示する。第2取得部510は、これらのデータを配信管理システム30に送信する。
(a)所定の動きの方向(つまり、加速度の方向)に対応する変位方向指定データ
(b)所定の動きの規模(つまり、加速度の大きさ)に対応する変位距離指定データ
(c)所定のタッチ操作が指定する位置(つまり、接触位置)に対応する空間位置指定データ
(d)再生中の動画の先頭からの経過時間(つまり、タイムライン上の位置)を示す時間位置指定データ
Then, when the first detection unit 525 detects a predetermined movement and the second detection unit 530 detects a predetermined touch operation, the input analysis unit 535 satisfies the predetermined movement direction and the movement. Information for specifying the reference and the position designated by a predetermined touch operation is output to the reproduction control unit 515.
At this time, in order to change the video being reproduced on the display unit 520, the reproduction control unit 515 causes the second acquisition unit 510 to transmit the following data to the distribution management system 30 according to the criteria satisfied by the predetermined movement. Instruct. The second acquisition unit 510 transmits these data to the distribution management system 30.
(A) Displacement direction designation data corresponding to a predetermined movement direction (that is, the direction of acceleration) (b) Displacement distance designation data corresponding to a predetermined movement scale (that is, the magnitude of acceleration) (c) Predetermined Spatial position specification data corresponding to the position (that is, contact position) specified by the touch operation (d) Time position specification data indicating the elapsed time from the beginning of the video being played (that is, the position on the timeline)

配信管理システム30は、次のように配信動画をストリーミング配信する。
〔1〕ユーザ端末10で再生中の映像と対応付けられている映像のうち、再生中の映像の視点位置に対し変位方向指定データが示す変位方向であって距離指定データが示す変位距離にある位置又はこれに近似する位置を視点とする映像を含む動画ファイルを特定する。
〔2〕空間位置指定データが示す空間位置を含む方向を設定する。
〔3〕時間位置指定データが示す時間位置又はこれ以降の適当な時間位置を設定する。
〔4〕映像変更の前後でユーザ端末10における被写体の表示サイズが大きく変わらないよう、ズームレベルを設定する。例えば、仮想空間Xにおいて空間位置指定データが示す空間位置から視点が遠ざかるならばズームイン(ズームアップ)し、当該空間位置に視点が近づくならばズームアウト(ズームバック)する。
〔5〕上記〔1〕で特定した動画ファイルの上記〔2〕で設定した方向の映像が上記〔3〕で設定した時間位置から上記〔4〕で設定したズームレベルで再生されるようユーザ端末10に動画をストリーミング配信する。
The distribution management system 30 streams and distributes the distributed video as follows.
[1] Among the images associated with the image being reproduced by the user terminal 10, the displacement direction indicated by the displacement direction designation data with respect to the viewpoint position of the image being reproduced is at the displacement distance indicated by the distance designation data. Identify a moving image file containing an image whose viewpoint is a position or a position close to the position.
[2] Set the direction including the spatial position indicated by the spatial position designation data.
[3] Set the time position indicated by the time position designation data or an appropriate time position thereafter.
[4] The zoom level is set so that the display size of the subject on the user terminal 10 does not change significantly before and after the image change. For example, in the virtual space X, if the viewpoint moves away from the space position indicated by the space position designation data, the viewpoint is zoomed in (zoom up), and if the viewpoint approaches the space position, the viewpoint is zoomed out (zoom back).
[5] The user terminal so that the video in the direction set in the above [2] of the moving image file specified in the above [1] is played back from the time position set in the above [3] at the zoom level set in the above [4]. Stream the video to 10.

[2−5.動画再生手順]
図6は、動画配信システムにおける動画再生手順を例示する。
S610では、第1取得部505が動画管理システム20に、配信動画のストリーミング再生に必要な情報を要求する。ここでは、必要な情報がHTMLデータに含まれるものとする。
S620では、第1取得部505が動画管理システム20から、配信動画のストリーミング再生に必要な情報(配信動画を特定するURL)が含まれるHTMLデータを取得する。
S630では、第2取得部510が動画管理システム20から取得される情報に基づいて配信管理システム30にアクセスし、配信動画のストリーミング配信を要求する。
S640では、再生制御部515が表示部520に、配信動画を再生表示させる。
[2-5. Video playback procedure]
FIG. 6 illustrates a moving image playback procedure in a moving image distribution system.
In S610, the first acquisition unit 505 requests the video management system 20 for information necessary for streaming playback of the distributed video. Here, it is assumed that the necessary information is included in the HTML data.
In S620, the first acquisition unit 505 acquires HTML data including information (URL for specifying the distributed video) necessary for streaming playback of the distributed video from the video management system 20.
In S630, the second acquisition unit 510 accesses the distribution management system 30 based on the information acquired from the video management system 20 and requests the streaming distribution of the distributed video.
In S640, the reproduction control unit 515 causes the display unit 520 to reproduce and display the distributed moving image.

[2−6.映像変更処理]
図7は、ユーザ端末による映像変更処理の手順を例示する。
S710では、入力解析部535が、表示部520において映像が再生されている最中に、第1検出部525により所定の動きが検出されたか否かを判定し続ける。検出された場合に、S720に進む。
S720では、入力解析部535が、表示部520において映像が再生されている最中に、第2検出部530により所定のタッチ操作が検出されたか否かを判定する。検出された場合に、S730に進む。検出されなかった場合に、S710に戻る。
S730では、再生制御部515が第2取得部510を介して配信管理システム30に映像の変更を要求し、表示部520において再生されている映像を変更する。
[2-6. Video change processing]
FIG. 7 illustrates a procedure of video change processing by a user terminal.
In S710, the input analysis unit 535 continues to determine whether or not a predetermined movement is detected by the first detection unit 525 while the video is being reproduced on the display unit 520. If detected, the process proceeds to S720.
In S720, the input analysis unit 535 determines whether or not a predetermined touch operation is detected by the second detection unit 530 while the image is being reproduced on the display unit 520. If detected, the process proceeds to S730. If it is not detected, the process returns to S710.
In S730, the reproduction control unit 515 requests the distribution management system 30 to change the video via the second acquisition unit 510, and changes the video being reproduced on the display unit 520.

S740では、再生制御部515が映像の変更回数が規定回数に達したか否かを判定する。規定回数に達していない場合、S730に戻る。一方、規定回数に達している場合、S710に戻る。なお、本実施例では、第1基準を満たした場合の規定回数は1回、第2基準を満たした場合の規定回数はn回(nは2以上の自然数)、である。また、所定の動きが第2基準を満たした場合、ループ処理によるn回の映像の変更が規定時間内(例えば、mミリ秒間(mは適当な自然数))に終了するように構成するとよい。 In S740, the reproduction control unit 515 determines whether or not the number of times the video has been changed has reached the specified number of times. If the specified number of times has not been reached, the process returns to S730. On the other hand, when the specified number of times has been reached, the process returns to S710. In this embodiment, the specified number of times when the first criterion is satisfied is once, and the specified number of times when the second criterion is satisfied is n times (n is a natural number of 2 or more). Further, when the predetermined movement satisfies the second criterion, it is preferable to configure the loop processing so that the change of the image n times is completed within the specified time (for example, m millisecond (m is an appropriate natural number)).

[3.変形例]
[3−1.変形例1:映像変更処理における役割分担]
上記実施例では、所定の動きが第2基準を満たす場合に、配信管理システム30に要求して映像を変更する処理を規定回数(n回)だけユーザ端末10が繰り返す(図7のS730〜S740)。
これに対し、第2基準を満たしたことを配信管理システム30に伝達することにより、小刻みな映像の変更を配信管理システム30が繰り返すように構成してもよい。
[3. Modification example]
[3-1. Modification 1: Role sharing in video change processing]
In the above embodiment, when the predetermined movement satisfies the second criterion, the user terminal 10 repeats the process of requesting the distribution management system 30 to change the video a predetermined number of times (n times) (S730 to S740 in FIG. 7). ).
On the other hand, the distribution management system 30 may be configured to repeat small changes in the video by transmitting to the distribution management system 30 that the second criterion is satisfied.

例えば、配信管理システム30は、下記の手順でストリーミング配信中に映像の変更を規定回数だけ繰り返す。
〔1〕ユーザ端末10で再生中の映像と対応付けられている映像のうち、再生中の映像の視点位置に対し変位方向指定データが示す変位方向にある近接する位置又はこれに近似する位置を視点とする映像を含む動画ファイルを特定する。
〔2〕空間位置指定データが示す空間位置を含む方向を設定する。
〔3〕時間位置指定データが示す時間位置又はこれ以降の適当な時間位置を設定する。
〔4〕映像切換の前後でユーザ端末10における被写体の表示サイズが大きく変わらないよう、ズームレベルを設定する。例えば、仮想空間Xにおいて空間位置指定データが示す空間位置から視点が遠ざかるならばズームイン(ズームアップ)し、当該空間位置に視点が近づくならばズームアウト(ズームバック)する。
〔5〕上記〔1〕で特定した動画ファイルの上記〔2〕で設定した方向の映像が上記〔3〕で設定した時間位置から上記〔4〕で設定したズームレベルで再生されるようユーザ端末10に動画をストリーミング配信する。
For example, the distribution management system 30 repeats the change of the video a predetermined number of times during the streaming distribution according to the following procedure.
[1] Among the images associated with the image being reproduced by the user terminal 10, a position close to or close to the displacement direction indicated by the displacement direction designation data with respect to the viewpoint position of the image being reproduced. Identify the video file that contains the video to be the viewpoint.
[2] Set the direction including the spatial position indicated by the spatial position designation data.
[3] Set the time position indicated by the time position designation data or an appropriate time position thereafter.
[4] The zoom level is set so that the display size of the subject on the user terminal 10 does not change significantly before and after the image switching. For example, in the virtual space X, if the viewpoint moves away from the space position indicated by the space position designation data, the viewpoint is zoomed in (zoom up), and if the viewpoint approaches the space position, the viewpoint is zoomed out (zoom back).
[5] The user terminal so that the video in the direction set in the above [2] of the moving image file specified in the above [1] is played back from the time position set in the above [3] at the zoom level set in the above [4]. Stream the video to 10.

[3−2.変形例2:映像変更処理の態様]
上記実施例では、第1検出部525により所定の動きが検出され、かつ、第2検出部530により所定のタッチ操作が検出された場合に、表示部520において再生されている映像が変更される(図7のS710〜S740)。
これに対し、第1検出部525により所定の動きが検出された場合に、第2検出部530により所定のタッチ操作が検出されなくても、表示部520において再生されている映像が変更されるように構成してもよい。
[3-2. Deformation example 2: Mode of video change processing]
In the above embodiment, when a predetermined movement is detected by the first detection unit 525 and a predetermined touch operation is detected by the second detection unit 530, the image being reproduced on the display unit 520 is changed. (S710 to S740 in FIG. 7).
On the other hand, when a predetermined movement is detected by the first detection unit 525, the image being reproduced on the display unit 520 is changed even if the second detection unit 530 does not detect the predetermined touch operation. It may be configured as follows.

例えば、次のような態様が考えられる。
(a)表示部520において再生されている映像中の表示部520の所定位置(例えば、中心位置)に対応する空間位置が指定されたものとみなす。
(b)所定の動きが第1基準を満たす場合に視点のみを変位させ、所定の動きが第2基準を満たす場合に視点を変位させかつ方向を変化させる。
(c)視点の変位と方向の変化を所定の順序で(例えば、指定順序で,交互に,ランダムな順序で)繰り返す。
For example, the following aspects can be considered.
(A) It is considered that the spatial position corresponding to the predetermined position (for example, the center position) of the display unit 520 in the video being reproduced by the display unit 520 is designated.
(B) Only the viewpoint is displaced when the predetermined movement satisfies the first criterion, and the viewpoint is displaced and the direction is changed when the predetermined movement satisfies the second criterion.
(C) The displacement of the viewpoint and the change of direction are repeated in a predetermined order (for example, in a specified order, alternately, and in a random order).

例えば、図8に示すように、所定の動きの方向(つまり、加速度の方向)が方向805を示す場合に、次のような順序で映像が順次表示されるように構成することできる。
(1):視点810からの位置811を含む方向の映像
(2):視点820からの位置811を含む方向の映像
(3):視点820からの位置821を含む方向の映像
(4):視点830からの位置821を含む方向の映像
(5):視点830からの位置831を含む方向の映像
For example, as shown in FIG. 8, when the predetermined direction of movement (that is, the direction of acceleration) indicates the direction 805, the images can be sequentially displayed in the following order.
(1): Image in the direction including the position 811 from the viewpoint 810 (2): Image in the direction including the position 811 from the viewpoint 820 (3): Image in the direction including the position 821 from the viewpoint 820 (4): Image in the direction including the position 821 from the viewpoint 820 Image in the direction including the position 821 from the viewpoint (5): Image in the direction including the position 831 from the viewpoint 830.

10 ユーザ端末(「動画情報処理装置」の一例)
20 動画管理システム
21 管理サーバ
22 ストレージ
30 配信管理システム
31 配信サーバ
32 ストレージ
40 通信ネットワーク

10 User terminal (an example of "video information processing device")
20 Video management system 21 Management server 22 Storage 30 Distribution management system 31 Distribution server 32 Storage 40 Communication network

Claims (7)

所定空間内の被写体が映る動画を表示装置に再生表示させる動画情報処理装置であって、
前記表示装置は、加速度センサを備え、
前記所定空間内の第1視点から第1方向で前記被写体を映した第1映像が前記表示装置で再生されている最中に該表示装置において前記加速度センサで検出される加速度の大きさに応じて、前記第1映像に代えて第2映像を該表示装置に再生させる再生制御手段を備え、
前記再生制御手段は、前記加速度の大きさが第1基準を満たす場合には、前記第1視点と異なる第2視点から前記第1方向で映した第2映像を前記表示装置に再生させ、前記加速度の大きさが前記第1基準を満たさず、第2基準を満たす場合には、前記第1視点と異なる視点から前記第1方向とは異なる第2方向で映した第2映像を前記表示装置に再生させる、
動画情報処理装置。
A moving image information processing device that reproduces and displays a moving image of a subject in a predetermined space on a display device.
The display device includes an acceleration sensor.
Depending on the magnitude of acceleration detected by the acceleration sensor on the display device while the first image showing the subject in the first direction from the first viewpoint in the predetermined space is being reproduced by the display device. Therefore, a reproduction control means for reproducing the second image on the display device instead of the first image is provided.
When the magnitude of the acceleration satisfies the first criterion, the reproduction control means causes the display device to reproduce a second image projected in the first direction from a second viewpoint different from the first viewpoint. When the magnitude of the acceleration does not satisfy the first criterion and satisfies the second criterion, the second image projected from the third viewpoint different from the first viewpoint in the second direction different from the first direction is displayed. Play on the display device,
Video information processing device.
前記再生制御手段は、前記加速度センサで検出される加速度が第1閾値以上である前記第1基準を満たす場合に、前記第2視点から前記第1方向で映した第2映像を前記表示装置に再生させ、前記加速度が前記第1閾値未満かつ、前記第1閾値より小さい第2閾値以上である前記第2基準を満たす場合に、前記第視点から前記第2方向で映した第2映像を前記表示装置に再生させる、
請求項1に記載の動画情報処理装置。
When the reproduction control means satisfies the first criterion that the acceleration detected by the acceleration sensor is equal to or higher than the first threshold value, the reproduction control means displays a second image projected in the first direction from the second viewpoint on the display device. When the second criterion is satisfied in which the acceleration is less than the first threshold value and greater than or equal to the second threshold value smaller than the first threshold value, the second image projected in the second direction from the third viewpoint is displayed. Reproduced by the display device,
The moving image information processing apparatus according to claim 1.
前記表示装置は、タッチパネルディスプレイであり、
前記再生制御手段は、前記タッチパネルディスプレイで検出するタッチ操作の位置に基づいて、前記第2視点からの前記第2方向を決定する、
請求項2に記載の動画情報処理装置。
The display device is a touch panel display.
It said reproduction control means, based on the position of the touch operation detecting before Symbol touch panel display, determining a second direction from the second viewpoint,
The moving image information processing apparatus according to claim 2.
前記再生制御手段が、前記加速度の大きさが前記第1基準を満たさず、第2基準を満たす場合には、前記第2映像が前記表示装置に再生される前に、前記第1視点と前記第視点とを結ぶ線上にそれぞれ存在する複数の視点からの前記被写体をそれぞれ含む方向の映像を視点が該第1視点から近い順に該表示装置に順次再生させる、
請求項1ないし3のいずれかに記載の動画情報処理装置。
When the reproduction control means does not satisfy the first criterion and the magnitude of the acceleration satisfies the second criterion , the first viewpoint and the said Images in directions including the subject from a plurality of viewpoints existing on a line connecting the third viewpoints are sequentially reproduced on the display device in the order in which the viewpoints are closer to the first viewpoint.
The moving image information processing apparatus according to any one of claims 1 to 3.
前記再生制御手段が、前記第1映像における前記被写体のサイズと前記第2映像における前記被写体のサイズとが同程度になるように調整した前記第2映像を前記表示装置に再生させる、
請求項1ないし4のいずれかに記載の動画情報処理装置。
The reproduction control means causes the display device to reproduce the second image adjusted so that the size of the subject in the first image and the size of the subject in the second image are about the same.
The moving image information processing apparatus according to any one of claims 1 to 4.
所定空間内の被写体が映る動画を表示装置に再生表示させる動画情報処理方法であって、
前記所定空間内の第1視点から第1方向で前記被写体を映した第1映像が前記表示装置で再生されている最中に該表示装置において該表示装置が備える加速度センサで検出される加速度の大きさに応じて、前記第1映像に代えて第2映像を該表示装置に再生させる再生制御ステップを有し、
前記再生制御ステップは、前記加速度の大きさが第1基準を満たす場合には、前記第1視点と異なる第2視点から前記第1方向で映した第2映像を前記表示装置に再生させ、前記加速度の大きさが前記第1基準を満たさず、第2基準を満たす場合には、前記第1視点と異なる視点から前記第1方向とは異なる第2方向で映した第2映像を前記表示装置に再生させる、動画情報処理方法。
It is a moving image information processing method that reproduces and displays a moving image of a subject in a predetermined space on a display device.
Of acceleration detected by the acceleration sensor included in the display device in the display device while the first image which reflects the subject in a first direction from a first viewpoint in said predetermined space is reproduced by the display device It has a reproduction control step for causing the display device to reproduce the second image instead of the first image according to the size.
When the magnitude of the acceleration satisfies the first criterion, the reproduction control step causes the display device to reproduce a second image projected in the first direction from a second viewpoint different from the first viewpoint. When the magnitude of the acceleration does not satisfy the first criterion and satisfies the second criterion, the second image projected from the third viewpoint different from the first viewpoint in the second direction different from the first direction is displayed. A video information processing method that is played back on a display device.
所定空間内の被写体が映る動画を表示装置に再生表示させる動画情報処理装置のコンピュータに、
前記所定空間内の第1視点から第1方向で前記被写体を映した第1映像が前記表示装置で再生されている最中に該表示装置において該表示装置が備える加速度センサで検出される加速度の大きさに応じて、前記第1映像に代えて第2映像を該表示装置に再生させる再生制御機能を実現させ、
前記再生制御機能は、前記加速度の大きさが第1基準を満たす場合には、前記第1視点と異なる第2視点から前記第1方向で映した第2映像を前記表示装置に再生させ、前記加速度の大きさが前記第1基準を満たさず、第2基準を満たす場合には、前記第1視点と異なる視点から前記第1方向とは異なる第2方向で映した第2映像を前記表示装置に再生させる、制御プログラム。
On the computer of the video information processing device that reproduces and displays the video showing the subject in the predetermined space on the display device,
Of acceleration detected by the acceleration sensor included in the display device in the display device while the first image which reflects the subject in a first direction from a first viewpoint in said predetermined space is reproduced by the display device A reproduction control function for reproducing a second image on the display device instead of the first image is realized according to the size.
When the magnitude of the acceleration satisfies the first criterion, the reproduction control function causes the display device to reproduce a second image projected in the first direction from a second viewpoint different from the first viewpoint. When the magnitude of the acceleration does not satisfy the first criterion and satisfies the second criterion, the second image projected from the third viewpoint different from the first viewpoint in the second direction different from the first direction is displayed. A control program that is played back on the display device.
JP2017181742A 2017-09-21 2017-09-21 Video information processing device and its control method and control program Active JP6889371B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017181742A JP6889371B2 (en) 2017-09-21 2017-09-21 Video information processing device and its control method and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017181742A JP6889371B2 (en) 2017-09-21 2017-09-21 Video information processing device and its control method and control program

Publications (3)

Publication Number Publication Date
JP2019057847A JP2019057847A (en) 2019-04-11
JP2019057847A5 JP2019057847A5 (en) 2019-12-05
JP6889371B2 true JP6889371B2 (en) 2021-06-18

Family

ID=66106322

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017181742A Active JP6889371B2 (en) 2017-09-21 2017-09-21 Video information processing device and its control method and control program

Country Status (1)

Country Link
JP (1) JP6889371B2 (en)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11128533A (en) * 1997-10-30 1999-05-18 Nintendo Co Ltd Video game device and memory media for the same
JP5330640B2 (en) * 2006-05-09 2013-10-30 任天堂株式会社 GAME PROGRAM, GAME DEVICE, GAME SYSTEM, AND GAME PROCESSING METHOD
JP5029062B2 (en) * 2007-02-26 2012-09-19 富士通株式会社 Multi-view video transmission system
JP5334595B2 (en) * 2009-01-09 2013-11-06 任天堂株式会社 GAME DEVICE AND GAME PROGRAM
JP5316588B2 (en) * 2011-05-30 2013-10-16 沖電気工業株式会社 Video distribution system and method
JP5887994B2 (en) * 2012-02-27 2016-03-16 日本電気株式会社 Video transmission device, terminal device, video transmission method and program
US9462301B2 (en) * 2013-03-15 2016-10-04 Google Inc. Generating videos with multiple viewpoints
JP2015173424A (en) * 2014-03-12 2015-10-01 株式会社セック Video distribution system and video display device
JP6354244B2 (en) * 2014-03-25 2018-07-11 大日本印刷株式会社 Image playback terminal, image playback method, program, and multi-viewpoint image playback system
JP6607433B2 (en) * 2014-06-23 2019-11-20 パナソニックIpマネジメント株式会社 Video distribution method and server
JP6236573B2 (en) * 2015-05-01 2017-11-22 株式会社電通 Free-viewpoint video data distribution system
JP6185123B1 (en) * 2016-08-18 2017-08-23 グリー株式会社 Program, control method, and information processing apparatus

Also Published As

Publication number Publication date
JP2019057847A (en) 2019-04-11

Similar Documents

Publication Publication Date Title
JP7053869B2 (en) Video generation methods, devices, electronics and computer readable storage media
JP2022510178A (en) Courseware recording methods and devices, courseware playback methods and devices, intelligent interactive tablets, and storage media.
JP7253279B2 (en) Video distribution device, video distribution system, video distribution method and video distribution program
JP4859876B2 (en) Information processing device
JP6787394B2 (en) Information processing equipment, information processing methods, programs
JP5400055B2 (en) Method, system and server for reproducing media by movement of terminal
US11523144B2 (en) Communication apparatus, communication method, and computer-readable storage medium
KR20190027323A (en) Information processing apparatus, information processing method, and program
JPWO2016194441A1 (en) 3D advertisement space determination system, user terminal, and 3D advertisement space determination computer
JP5910447B2 (en) Image processing apparatus, image processing method, and image processing program
US20190179526A1 (en) Controlling presentation of media content at an electronic device based on circular motion pattern gestures
JP5966834B2 (en) Image processing apparatus, image processing method, and image processing program
JP6889371B2 (en) Video information processing device and its control method and control program
WO2021002338A1 (en) Information processing device, information processing method, reproduction processing device, and reproduction processing method
US20190058861A1 (en) Apparatus and associated methods
JP6571859B1 (en) VIDEO DISTRIBUTION DEVICE, VIDEO DISTRIBUTION SYSTEM, VIDEO DISTRIBUTION METHOD, AND VIDEO DISTRIBUTION PROGRAM
KR101914206B1 (en) Server of cloud audio rendering based on 360-degree vr video
JP5861684B2 (en) Information processing apparatus and program
KR20180028313A (en) Apparatus of 360-degree vr video play
JP5920152B2 (en) Image processing apparatus, image processing method, and image processing program
JP2019033393A (en) Video information processing apparatus, control method thereof, and control program
JP2021033354A (en) Communication device and control method therefor
JP6551107B2 (en) Server apparatus, server program, terminal program, moving image transmission method, moving image display method, communication system
US20230305631A1 (en) Information processing apparatus, information processing system, information processing method, and program
JP2013211821A (en) Image processing device, image processing method, and image processing program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191024

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191024

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20201125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210420

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210503

R150 Certificate of patent or registration of utility model

Ref document number: 6889371

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250