JP7403581B2 - systems and devices - Google Patents
systems and devices Download PDFInfo
- Publication number
- JP7403581B2 JP7403581B2 JP2022083966A JP2022083966A JP7403581B2 JP 7403581 B2 JP7403581 B2 JP 7403581B2 JP 2022083966 A JP2022083966 A JP 2022083966A JP 2022083966 A JP2022083966 A JP 2022083966A JP 7403581 B2 JP7403581 B2 JP 7403581B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- virtual reality
- competition
- movement
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004044 response Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000005259 measurement Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 239000011295 pitch Substances 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- YYJNOYZRYGDPNH-MFKUBSTISA-N fenpyroximate Chemical compound C=1C=C(C(=O)OC(C)(C)C)C=CC=1CO/N=C/C=1C(C)=NN(C)C=1OC1=CC=CC=C1 YYJNOYZRYGDPNH-MFKUBSTISA-N 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、仮想現実映像を表示するためのシステム及びデバイスに関する。 The present invention relates to systems and devices for displaying virtual reality images.
従来、スポーツの試合映像に基づいて、試合で用いられる球等の物体がどのように移動しているかをトラッキングし、物体の移動を再現した仮想現実映像を生成して、ヘッドマウントディスプレイ等の画面に表示する技術が知られている。非特許文献1では、野球の試合における投球の軌道をトラッキングし、仮想現実映像として提供する技術が開示されている。
Conventionally, based on footage of sports matches, the movement of objects such as balls used in matches is tracked, and virtual reality images that reproduce the movement of objects are generated and displayed on screens such as head-mounted displays. There are known techniques for displaying images. Non-Patent
しかしながら、上述のような従来技術は、ユーザが立体映像の仮想現実映像を視聴する場合に、専用のヘッドマウントディスプレイ或いはゴーグルを着用することを要し、仮想現実映像を視聴している間は、リアルタイムの試合映像を視聴することが出来ない。よって、例えば、投手の直前の投球を仮想現実映像で再度すぐに見てみたいが、同時に試合状況からは目が離せないというユーザのニーズを満たすことができない。 However, the above-mentioned conventional technology requires a user to wear a dedicated head-mounted display or goggles when viewing a stereoscopic virtual reality video, and while viewing the virtual reality video, Unable to watch real-time match footage. Therefore, for example, it is not possible to satisfy the needs of a user who wants to immediately see the pitcher's previous pitch in a virtual reality video, but at the same time cannot take his eyes off the game situation.
本発明の一態様は、上記の問題に鑑みてなされたものであり、ユーザが競技の進行状況をリアルタイムで把握しつつ、競技の仮想現実映像を視聴可能とすることを目的とする。 One aspect of the present invention has been made in view of the above problem, and aims to enable a user to view virtual reality video of a competition while grasping the progress of the competition in real time.
上記の課題を解決するために、本発明の一態様に係るシステムは、サーバとデバイスとを備えるシステムであって、前記サーバは、対象となる競技が進行したときにおける、前記競技に関与する物体の移動を特定する移動情報を取得する第1取得部と、前記移動情報を参照して、前記競技の仮想現実映像を生成する生成部と、を備え、前記デバイスは、前記競技の撮影映像と前記仮想現実映像とを取得する第2取得部と、当該単一のデバイスにおいて、前記撮影映像と前記仮想現実映像とを同時に表示する表示部と、を備える。 In order to solve the above problems, a system according to one aspect of the present invention is a system including a server and a device, the server is a system that includes an object that is involved in the competition when the target competition is in progress. a first acquisition unit that acquires movement information that specifies the movement of the player; and a generation unit that generates a virtual reality image of the competition by referring to the movement information, and the device includes a first acquisition unit that acquires movement information that specifies the movement of The device includes a second acquisition unit that acquires the virtual reality video, and a display unit that simultaneously displays the captured video and the virtual reality video on the single device.
本発明の他の態様に係るデバイスは、対象となる競技の撮影映像と、前記競技の仮想現実映像とを取得する取得部と、当該単一のデバイスにおいて、前記撮影映像と前記仮想現実映像とを同時に表示する表示部と、を備える。 A device according to another aspect of the present invention includes an acquisition unit that acquires a shot video of a target competition and a virtual reality video of the competition; and a display section that simultaneously displays.
コンピュータを本発明の各態様に係るサーバ又はデバイスが備える各部(ソフトウェア要素)として動作させることにより前記サーバ又はデバイスをコンピュータにて実現させるサーバ又はデバイスの制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。 A server or device control program that realizes the server or device on a computer by causing the computer to operate as each part (software element) included in the server or device according to each aspect of the present invention, and a computer-readable computer-readable program recorded thereon. Recording media also fall within the scope of the present invention.
また、前記制御プログラムは、コンピュータを前記各部として動作させる処理又はその他の処理において、各種の機械学習手法を用いてもよい。この場合、機械学習手法を用いるプログラムはサーバ又はデバイスで動作するものであってもよいし、他の装置(例えばエッジコンピュータまたはクラウドサーバ等)で動作するものであってもよい。 Further, the control program may use various machine learning techniques in the process of causing the computer to operate as each of the units or in other processes. In this case, a program using machine learning techniques may run on a server or device, or may run on another device (for example, an edge computer or a cloud server).
本発明の一態様によれば、ユーザが競技の進行状況をリアルタイムで把握しつつ、競技の仮想現実映像を視聴可能となる。 According to one aspect of the present invention, a user can view virtual reality video of a competition while grasping the progress of the competition in real time.
以下、本発明の一実施形態について、詳細に説明する。 Hereinafter, one embodiment of the present invention will be described in detail.
〔1.システム1の構成例〕
図1は、本開示に係るシステム1の機能的構成を示すブロック図の一例である。システム1は、対象となる競技の仮想現実映像を生成及び表示するためのシステムであって、サーバ10及び1又は複数のデバイス20を備えている。
[1. Configuration example of system 1]
FIG. 1 is an example of a block diagram showing the functional configuration of a
本開示において「競技」には、球技及びその他のスポーツ、並びに、競技に関与する物体の移動を伴う各種のゲームが含まれる。球技の一例としては、野球、ソフトボール、サッカー、ラグビー、バレー、バスケットボール、テニス、卓球、ゴルフ、ボーリング及びビリヤード等が挙げられる。球技以外のスポーツの一例としては、カーレース、競馬、競輪、ボートレース、オートレース、カーリング、バトミントン、水泳、スキー、スケート、陸上競技、体操競技、ダンス、柔道、剣道及び弓道等が挙げられる。また、前述した各種のゲームの一例としては、ダーツ、カルタ及び百人一首等が挙げられる。以下、一態様として、競技が野球の試合である場合を例に挙げて説明する。 In the present disclosure, "competition" includes ball games and other sports, as well as various games involving movement of objects involved in the competition. Examples of ball games include baseball, softball, soccer, rugby, volleyball, basketball, tennis, table tennis, golf, bowling, and billiards. Examples of sports other than ball games include car racing, horse racing, bicycle racing, boat racing, auto racing, curling, badminton, swimming, skiing, skating, track and field, gymnastics, dance, judo, kendo, archery, and the like. Furthermore, examples of the various games mentioned above include darts, karuta, Hyakunin Isshu, and the like. Hereinafter, as one aspect, a case where the competition is a baseball game will be described as an example.
本開示において、競技に関与する「物体」には、競技に用いられる球、道具等に加え、競技に参加する人物又は動物が含まれ得る。また、競技の参加者は複数であることに限定されず、単数であってもよい。 In the present disclosure, "objects" involved in a competition may include people or animals participating in the competition, in addition to balls, tools, etc. used in the competition. Further, the number of participants in the competition is not limited to a plurality of participants, and may be a single number of participants.
サーバ10は、競技の撮影映像及び仮想現実映像をデバイス20に供給するサーバとして機能する装置であって、制御部11、記憶部15及び通信部16を備えている。
The
本開示において「撮影映像」とは、競技の放映等に用いられる、全般的な競技の様子を撮影した映像を意味し、例えばリアルタイムのテレビ放送のような中継映像であるが、必ずしもこの限りではなく、録画された映像であってもよい。また、撮影映像の一部又は全部が、後述する計測用映像として用いられてもよい。対して「仮想現実映像」とは、仮想的な3次元空間内または2次元平面内において、物体の移動等を、CG(Computer Graphics)を用いて再現した映像を意味する。なお、本開示におけるリアルタイムとは、被写体の撮影からデバイスに映像が表示されるまでの一連の処理(通信を含む)において、通常要する時間の遅延を含むものである。 In the present disclosure, "captured video" means a video shot of the general appearance of a competition that is used for broadcasting the competition, for example, a relay video such as a real-time TV broadcast, but this does not necessarily apply. Instead, it may be a recorded video. Further, part or all of the captured video may be used as a measurement video to be described later. On the other hand, a "virtual reality image" refers to an image in which the movement of an object, etc. is reproduced using CG (Computer Graphics) in a virtual three-dimensional space or two-dimensional plane. Note that real time in the present disclosure includes a delay of the time normally required in a series of processing (including communication) from photographing a subject to displaying an image on a device.
制御部11は、サーバ10全体を統括する制御装置であって、取得部(第1取得部)12及び生成部13を備えている。
The
取得部12は、対象となる競技が進行したときにおける、競技に関与する物体の移動を特定する移動情報を取得する。移動情報は、例えば競技中の各時点において各物体の座標及び速度を示す情報である。なお、移動情報は、或る時点において球等の物体が静止していることを示していてもよいし、バット又はラケット等の物体を人物が持った状態における、当該物体の動きを示す情報であってもよい。また、移動情報は、制御部11が、物体の移動をトラッキング(3次元計測)するための1又は複数の計測用映像を、図1には図示しない撮影装置3等から取得して、当該計測用映像を参照して算出する構成であってもよいし、取得部12が、移動情報を別の外部サーバ等から取得する構成であってもよい。
The
例えば取得部12は、競技が球技である場合に、球技が進行したときにおける、球技に用いられる球の移動を特定する移動情報を取得する。
For example, when the competition is a ball game, the
図2は、計測用映像を撮影する撮影装置3の配置例を示している。多くの場合、撮影装置3は、図2に例示するように競技場で競技の参加者が移動する範囲を囲むように複数配置される。
FIG. 2 shows an example of the arrangement of the photographing
生成部13は、取得部12が取得した移動情報を参照して、競技の仮想現実映像を生成する。生成部13は、移動情報を参照することによって、計測用映像を撮影する撮影装置3の位置以外の視点から見た仮想現実映像を生成することができる。
The
図3は、投手5の投球を、捕手の視点から見た場合における仮想現実映像の一例を示している。図3の例では、球6の移動が移動情報に基づいて再現されており、投手5の動作は、予め規定された所定の動作である。換言すると、図3の仮想現実映像は、球6以外の箇所のテンプレートとなる映像に対して、移動情報に準拠して移動する球6が合成された映像である。多くの場合、前記テンプレートとなる映像には、背景となる競技場内部等の映像又は静止画が含まれる。このように、仮想現実映像内の一部においては、取得部12が移動情報を取得する前に作成されたものであってよく、また、仮想現実映像内の一部の物体においては、移動情報が用いられずに動作が予め規定されていてもよい。また、特に移動情報に基づいて移動が再現される物体については、図3の球6に例示するように、移動の軌跡が表示される構成であってもよい。換言すると、生成部13は、移動情報を参照して移動を再現した物体の軌跡を描画した仮想現実映像を生成する構成であってもよい。
FIG. 3 shows an example of a virtual reality image of
また、単一の仮想現実映像には、移動情報に基づいて移動が再現される物体が複数含まれていてもよい。例えば生成部13は、投手5が投げた球6の移動を特定する移動情報と、図示しない打者がスイングしたバットの移動を特定する移動情報とに基づいて、球6及び前記バットの移動を略同じタイミングで再現した単一の仮想現実映像を生成してもよい。
Further, a single virtual reality video may include a plurality of objects whose movements are reproduced based on movement information. For example, the
また、制御部11は、撮影装置3又は外部サーバ等から撮影映像を取得し、通信部16を介してデバイス20に送信する処理を行う。
Further, the
記憶部15は、各種情報を記憶する記憶装置であって、例えば生成部13が仮想現実映像を生成する場合に参照する情報であって、前述したテンプレートとなる映像を示す情報、及び競技場の形状を示す情報、並びに各映像を示す情報等を記憶する。
The
通信部16は、制御部11による制御に基づいて、デバイス20等の外部装置との通信処理を行うインターフェースである。例えば通信部16は、撮影映像及び仮想現実映像をデバイス20に送信する処理を行う。
The
デバイス20は、受信した撮影映像及び仮想現実映像を画面に表示するデバイスであって、例えばスマートフォン又はタブレット等の携帯通信端末である。デバイス20は、制御部21、記憶部25、通信部26、表示部27及び入力部28を備えている。
The
制御部21は、デバイス20全体を統括する制御装置であって、取得部(第2取得部)22を備えている。取得部22は、サーバ10から送信された、競技の撮影映像と仮想現実映像とを取得する。
The
記憶部25は、各種情報を記憶する記憶装置であって、デバイス20における表示設定を示す情報、及び通信先となるサーバ10を特定するための情報等を記憶する。
The
通信部26は、制御部21による制御に基づいて、サーバ10等の外部装置との通信処理を行うインターフェースである。例えば通信部26は、撮影映像及び仮想現実映像をサーバ10から受信する。
The
表示部27は、制御部21による制御に基づいて、静止画像又は映像等を画面に表示するディスプレイである。入力部28は、デバイス20に対するユーザの指示を受け付けるボタン等のインターフェースである。なお、表示部27及び入力部28は、これらが一体となったタッチパッドとして実現される構成であってもよいし、入力部28は、デバイス20本体とは別機器のリモコン又はコントローラ等であってもよい。
The
なお、システム1が備える単一の部材の機能が、別の複数の部材によって実現されてもよく、システム1が備える複数の部材の機能が、別の単一の部材によって実現されてもよい。例えば、サーバ10は、データベースを有する第1のサーバと、デバイス20との通信を行う第2のサーバとによって実現される構成であってもよい。
Note that the function of a single member included in the
〔2.システム1の処理例〕
続いて、システム1が実行する処理の流れについて一例を挙げて説明する。図4は、本例に係る処理の流れを示すシーケンス図の一例である。
[2. Processing example of system 1]
Next, the flow of processing executed by the
S101(ステップS101)において、サーバ10の制御部11は、前述した撮影装置3等から、対象となる競技の撮影映像及び計測用映像を、通信部16を介して取得する。
In S101 (step S101), the
S102において、制御部11は、計測用映像を参照して移動情報を算出する。また、取得部12は、当該移動情報を取得する。
In S102, the
S103において、生成部13は、取得部12が取得した移動情報を参照して、競技の仮想現実映像を生成する。S101~S103において制御部11が取得又は生成した各映像を示す情報は、少なくとも一時的に記憶部15に記憶される。
In S103, the
S104において、デバイス20の制御部21は、撮影映像及び仮想現実映像の送信を要求する情報を、通信部26を介してサーバ10に送信する。このS104の処理は、撮影映像及び仮想現実映像の表示を開始するためのユーザの指示を、入力部28が受け付けた場合に実行される。
In S104, the
S105において、サーバ10の制御部11は、撮影映像及び仮想現実映像を、要求元のデバイス20に対して送信する。
In S105, the
S106において、デバイス20の制御部21は、サーバ10から受信して取得部22が取得した撮影映像及び仮想現実映像を、規定された位置にそれぞれ配置して表示部27に同時に表示させる。
In S106, the
なお、図4の各処理が実行される順序は、前述した順序に限定されず、例えば、サーバ10が、撮影映像の取得と並行して仮想現実映像を生成する構成であってもよいし、S104の処理が、S101又はS102の前又は後のタイミングで実行される構成であってもよい。
Note that the order in which the processes in FIG. 4 are executed is not limited to the above-described order; for example, the
また、デバイス20が撮影映像の送信を要求するタイミングと仮想現実映像の送信を要求するタイミングとは同時でなくともよいし、サーバ10が撮影映像の送信を開始するタイミングと仮想現実映像の送信を開始するタイミングとは同時でなくともよい。また、仮想現実映像は、生成され次第、デバイス20からの要求に依らず、撮影映像を表示中のデバイス20に送信される構成であってもよい。
Furthermore, the timing at which the
なお、サーバ10は、撮影映像又は仮想現実映像を取得又は生成する前に、これら各映像の送信の要求を受け付けてもよい。前記の場合、サーバ10は、送信が可能となり次第、各映像をデバイス20に対して送信する。
Note that the
本例の構成によれば、ユーザが競技の進行状況をリアルタイムで把握しつつ、競技の仮想現実映像を視聴可能となる。 According to the configuration of this example, the user can view the virtual reality video of the competition while grasping the progress of the competition in real time.
〔3.表示画面例〕
続いて、デバイス20の表示部27に表示される画面例について説明する。制御部21は、入力部28に入力されたユーザの指示に応じた画面を生成して表示部27に表示させる。
[3. Display screen example]
Next, an example of a screen displayed on the
図5の画面31及び画面36は、前述したS106の処理において、表示部27である単一のディスプレイに表示される画面の一例を示している。
画面31に示す「スマホモード」は、デバイス20を、ユーザが手で把持して、又は机上のスタンドに配置して視聴するモードである。画面31においては、撮影映像33が、仮想現実映像34に重畳して表示されている。
The “smartphone mode” shown on the
なお、各映像の配置は、逆であってもよく、仮想現実映像34が、画面全体に表示された撮影映像33に重畳する構成であってもよい。即ち、表示部27は、撮影映像と仮想現実映像とのうち一方を、他方に重畳させて表示してもよい。これにより、各映像の一覧性を向上させることができる。従って、例えばユーザが仮想現実映像34を注視している場合であっても、撮影映像33が同時にユーザの視界に入ることになるので、ユーザは競技の進行状況をリアルタイムに把握しやすくなる。
Note that the arrangement of each video may be reversed, and the
一態様において、撮影映像33は、リアルタイムの中継映像であり、仮想現実映像34は、当該中継映像に対応する投球等のプレイを直後に再現した仮想現実映像である。また、撮影映像38A(38B)及び仮想現実映像39A(39B)についても、同様の説明が適用される。前記の態様においては、例えば、中継された撮影映像33におけるプレイを、直後に仮想現実映像34で確認することができる。
In one aspect, the
仮想現実映像34の生成に時間を要するため、通常、撮影映像33と、仮想現実映像34との間においては、各プレイの表示タイミングに0.5秒程の時間差が生じるが、ユーザの指示に応じて、前記時間差分だけ撮影映像33の再生を遅らせることによって、表示タイミングを一致させてもよい。また、表示部27は、ユーザの指示に応じて、前記時間差を更に大きくして画面表示を行ってもよい。
Since it takes time to generate the
画面36に示す「VRモード(Virtual Realityモード)」は、デバイス20であるスマートフォンを、専用のゴーグル等のウェアラブルデバイスにセットして視聴するモードである。つまり、VRモードは、デバイス20と前記ウェアラブルデバイスとが単一のデバイスを構成する状態において視聴を行うモードである。なお、デバイス20が、前記ウェアラブルデバイスを備えるものと見做しても構わない。
“VR mode (Virtual Reality mode)” shown on the
画面36に含まれる仮想現実映像39Aと仮想現実映像39Bとは、互いに視差のある同内容の映像であり、ユーザは、仮想現実映像39A及び39Bを、奥行きのある立体映像として視聴することができる。即ち、専用のゴーグル等を用いて画面36を視聴した場合、投手の投球が、ユーザ側に迫ってくるように見える。
The
なお、多くの場合、撮影映像38A及び38Bは、互いに視差が無い平面的な映像であるが、必ずしもこの限りではない。
Note that in many cases, the photographed
表示部27は、ユーザの指示に応じて、「スマホモード」の画面31と「VRモード」の画面36とを切り替えて表示する。また、表示部27は、ユーザの指示に応じて、撮影映像と仮想現実映像とのうち、撮影映像のみを画面に表示してもよいし、仮想現実映像のみを画面に表示してもよい。また、制御部21は、表示部27に表示させない映像については、サーバ10から取得せずともよい。
The
図6は、表示部27に表示される仮想現実映像の他の一例であって、捕手の後方に位置する審判の視点から見た仮想現実映像の一例を示している。図6の画面には、撮影映像は表示されていない。
FIG. 6 is another example of the virtual reality image displayed on the
図6に例示するように、仮想現実映像には、競技のスコア40、競技の参加者名である投手名41及び打者名42、次の打者名43、他の参加者の位置44、及び現競技中における成績45等の情報が画面に含まれていてもよい。換言すれば、生成部13は、制御部11が別途取得した前記情報を含む仮想現実映像を生成する構成であってもよい。
As illustrated in FIG. 6, the virtual reality image includes the
また、図7は、競技の映像を表示する図6等に例示するモードとは別のモードであって、仮想空間中に再現された競技場50の内外を、アバター51を操作して移動させるモードにおける画面例を示している。
Further, FIG. 7 shows a mode different from the mode illustrated in FIG. 6 etc. in which images of the competition are displayed, in which the
図7において、ボタン53は、アバター51を移動させるためのボタンである。ボタン54及び55は、アバターに特定のアクションを実行させるためのボタンである。ボタン55に対しては、例えばジャンプ等のアクションが割り当てられる。ボタン57は、別個体のデバイス20を操作する他のユーザとチャットを行うためのボタンである。なお、前述した仮想空間は、他のユーザと共通する場所であってもよい。即ち、仮想空間内においては、他のユーザが操作する別のアバター51が表示されて、自身が操作するアバター51と会話等が可能な構成であってもよい。ボタン58は、仮想空間の地図を表示させるためのボタンである。ボタン59は、アバターの外観等の各種設定を行うためのボタンである。
In FIG. 7,
表示部27は、ユーザの指示に応じて、競技の映像を表示するモードと、アバター51を移動させるモードとを切り替えて表示する。また、アバター51を競技場の客席等の所定位置に移動させた場合に、自動的に競技の映像を表示するモードに遷移する構成であってもよい。図7に例示する構成によれば、デバイス20を用いた映像表示のゲーム性を向上させることに加え、没入感を向上させ、ユーザを実際に競技場に来ている気分にさせることに寄与する。
The
〔4.変形例〕
競技の撮影映像は、サーバ10がデバイス20に供給する構成に限定されない。換言すれば、デバイス20が撮影映像を取得する取得先は、仮想現実映像を供給するサーバ10とは別の外部サーバ等であってもよい。
[4. Modified example]
The captured video of the competition is not limited to the configuration in which the
また、撮影映像及び仮想現実映像を画面に配置する処理であって、例えば撮影映像と仮想現実映像とのうち一方を他方に重畳させる処理は、デバイス20側ではなく、サーバ10の制御部11が行う構成であってもよい。
Further, the process of arranging the photographed video and the virtual reality video on the screen, for example, the process of superimposing one of the photographed video and the virtual reality video on the other, is performed not by the
また、図6に関連して、競技のスコア40等の情報を仮想現実映像に配置する処理は、デバイス20の制御部21が、前記情報をサーバ10等から取得して行う構成であってもよい。
Further, in relation to FIG. 6, the process of arranging information such as the
また、デバイス20が表示部27として複数のディスプレイを備え、第1のディスプレイが撮影映像を表示し、第2のディスプレイが仮想現実映像を表示する構成であってもよい。また、図5の画面36に関連して、第1のディスプレイが撮影映像38A及び仮想現実映像39Aを表示し、第2のディスプレイが撮影映像38B及び仮想現実映像39Bを表示する構成であってもよい。
Alternatively, the
また、表示部27は、撮影映像と仮想現実映像とを同じサイズで表示してもよいし、互いに異なるサイズで表示してもよい。加えて、表示部27は、撮影映像と仮想現実映像とのうち少なくとも一方を、ユーザの指示に応じたサイズで表示してもよい。また、各映像の配置も特定の配置に限定されず、ユーザの指示によって変更可能な構成であってもよい。
Further, the
また、サーバ10の生成部13が複数の仮想現実映像を生成し、デバイス20の表示部27が、前記複数の仮想現実映像のうち、ユーザが指定した1又は複数の仮想現実映像を、任意のタイミングで表示する構成であってもよい。前記の構成は、サーバ10の制御部11が、記憶部15に蓄積した仮想現実映像のうち、ユーザに指定された仮想現実映像をデバイス20に送信することによって実現する。また、複数の仮想現実映像は、或る競技の1試合の映像を複数に分割した映像であってもよい。これにより、例えば特定の打者に対応する仮想現実映像、又は各打者に対して投げられた初球に対応する仮想現実映像等を、ユーザがまとめて視聴することが可能となる。
Further, the
また、生成部13が生成する、前述した複数の仮想現実映像は、競技の同一場面における、互いに異なる視点からの仮想現実映像であってもよい。また、表示部27は、複数の仮想現実映像を同時に表示してもよい。例えば表示部27は、野球全体の撮影映像と、捕手の視点から見た仮想現実映像と、打者、走者、監督、又は審判の視点から見た仮想現実映像とを同時に表示してもよい。
Further, the plurality of virtual reality videos described above generated by the
また、表示部27は、競技に関与する物体が所定の移動を行った場合、即ち前記物体の移動が所定条件を満たした場合に限り、仮想現実映像を表示する構成であってもよい。一態様において、生成部13は、競技に関与する物体が所定の移動を行ったことを移動情報が示していない場合には、仮想現実映像を生成しない構成であってもよい。例えば、表示部27は、撮影映像と仮想現実映像とのうち、撮影映像のみを常時表示し、投球の球速が所定速度を超えた場合に限り、前記投球を再現する仮想現実映像を、撮影映像に重畳させて表示してもよい。
Furthermore, the
〔5.ソフトウェアによる実現例〕
サーバ10及びデバイス20(以下、「装置」と呼ぶ)の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック(特に制御部11又は制御部21に含まれる各部)としてコンピュータを機能させるためのプログラムにより実現することができる。
[5. Example of implementation using software]
The functions of the
この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも1つの制御装置(例えばプロセッサ)と少なくとも1つの記憶装置(例えばメモリ)を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。 In this case, the device includes a computer having at least one control device (for example, a processor) and at least one storage device (for example, a memory) as hardware for executing the program. By executing the above program using this control device and storage device, each function described in each of the above embodiments is realized.
上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、1または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。 The above program may be recorded on one or more computer-readable recording media instead of temporary. This recording medium may or may not be included in the above device. In the latter case, the program may be supplied to the device via any transmission medium, wired or wireless.
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。 Further, part or all of the functions of each of the control blocks described above can also be realized by a logic circuit. For example, an integrated circuit in which a logic circuit functioning as each of the control blocks described above is formed is also included in the scope of the present invention. In addition to this, it is also possible to realize the functions of each of the control blocks described above using, for example, a quantum computer.
また、上記各実施形態で説明した各処理は、AI(Artificial Intelligence:人工知能)に実行させてもよい。この場合、AIは上記制御装置で動作するものであってもよいし、他の装置(例えばエッジコンピュータまたはクラウドサーバ等)で動作するものであってもよい。 Further, each process described in each of the above embodiments may be executed by AI (Artificial Intelligence). In this case, the AI may operate on the control device, or may operate on another device (for example, an edge computer or a cloud server).
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the embodiments described above, and various modifications can be made within the scope of the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. are also included within the technical scope of the present invention.
1 システム
10 サーバ
11、21 制御部
12 取得部(第1取得部)
13 生成部
15、25 記憶部
16、26 通信部
20 デバイス
22 取得部(第2取得部)
27 表示部
28 入力部
1
13
27
Claims (3)
前記サーバは、
対象となる競技が進行したときにおける、前記競技に関与する物体の移動を特定する移動情報を取得する第1取得部と、
前記移動情報を参照して、前記競技の第1仮想現実映像を生成する生成部と、を備え、
前記デバイスは、
前記競技の撮影映像と前記第1仮想現実映像とを取得する第2取得部と、
前記第1仮想現実映像とは異なる仮想空間内に再現された競技場の内外でアバターを移動させるためのユーザの操作を受け付ける受付部と、
単一の前記デバイスにおいて、前記撮影映像と前記第1仮想現実映像とを同時に表示する第1のモード、及び前記受付部が受け付けたユーザの操作に応じて移動するアバターの移動に応じた表示をする第2のモードを備えた表示部と、
を備え、
前記表示部は、
ユーザが前記アバターを前記仮想空間内に再現された競技場の所定位置に移動させた場合に、自動的に前記第2のモードから前記第1のモードへ切り替えて表示し、
前記第1のモードにおいては、前記撮影映像において前記競技に関与する物体の移動を表示した後に、前記第1仮想現実映像において、前記撮影映像において表示した前記競技に関与する物体の移動を再現するように表示する、システム。 A system comprising a server and a device,
The server is
a first acquisition unit that acquires movement information that specifies the movement of objects involved in the competition as the target competition progresses;
a generation unit that generates a first virtual reality image of the competition with reference to the movement information,
The device includes:
a second acquisition unit that acquires the photographed video of the competition and the first virtual reality video;
a reception unit that accepts a user's operation to move the avatar in and out of a stadium reproduced in a virtual space different from the first virtual reality image;
A first mode in which the captured video and the first virtual reality video are simultaneously displayed in the single device, and a display that corresponds to the movement of an avatar that moves in response to a user's operation received by the reception unit. a display unit having a second mode;
Equipped with
The display section is
When a user moves the avatar to a predetermined position of a stadium reproduced in the virtual space, automatically switching the display from the second mode to the first mode;
In the first mode, after displaying the movement of an object involved in the competition in the photographed video, the movement of the object involved in the competition displayed in the photographed video is reproduced in the first virtual reality video. The system to display as such.
対象となる競技の撮影映像と、前記競技の第1仮想現実映像とを取得する取得部と、
単一の前記デバイスにおいて、前記撮影映像と前記第1仮想現実映像とを同時に表示する表示部と、
前記第1仮想現実映像とは異なる仮想空間内に再現された競技場の内外でアバターを移動させるためのユーザの操作を受け付ける受付部と、
を備え、
前記表示部は、
前記撮影映像において前記競技に関与する物体の移動を表示した後に、前記第1仮想現実映像において、前記撮影映像において表示した前記競技に関与する物体の移動を再現するように表示し、
単一の前記デバイスにおいて、前記撮影映像と前記第1仮想現実映像とを同時に表示する第1のモード、及び前記受付部が受け付けたユーザの操作に応じて移動するアバターを表示する第2のモードを備え、
ユーザが前記アバターを前記仮想空間内に再現された競技場の所定位置に移動させた場合に、自動的に前記第2のモードから前記第1のモードへ切り替えて表示する、デバイス。 A device,
an acquisition unit that acquires a captured video of a target competition and a first virtual reality video of the competition;
a display unit that simultaneously displays the captured video and the first virtual reality video in the single device;
a reception unit that accepts a user's operation to move the avatar in and out of a stadium reproduced in a virtual space different from the first virtual reality image;
Equipped with
The display section is
After displaying the movement of an object involved in the competition in the photographed video, displaying in the first virtual reality video so as to reproduce the movement of the object involved in the competition displayed in the photographed video,
A first mode in which the captured video and the first virtual reality video are simultaneously displayed on the single device, and a second mode in which an avatar that moves in response to a user's operation received by the reception unit is displayed. Equipped with
A device that automatically switches and displays the second mode to the first mode when a user moves the avatar to a predetermined position of a stadium reproduced in the virtual space.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022083966A JP7403581B2 (en) | 2022-05-23 | 2022-05-23 | systems and devices |
JP2023190082A JP2024019170A (en) | 2022-05-23 | 2023-11-07 | System and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022083966A JP7403581B2 (en) | 2022-05-23 | 2022-05-23 | systems and devices |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023190082A Division JP2024019170A (en) | 2022-05-23 | 2023-11-07 | System and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023172282A JP2023172282A (en) | 2023-12-06 |
JP7403581B2 true JP7403581B2 (en) | 2023-12-22 |
Family
ID=89028905
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022083966A Active JP7403581B2 (en) | 2022-05-23 | 2022-05-23 | systems and devices |
JP2023190082A Pending JP2024019170A (en) | 2022-05-23 | 2023-11-07 | System and program |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023190082A Pending JP2024019170A (en) | 2022-05-23 | 2023-11-07 | System and program |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7403581B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007097280A1 (en) | 2006-02-21 | 2007-08-30 | Matsushita Electric Industrial Co., Ltd. | Display control device, display control method, and display control program |
JP2014215828A (en) | 2013-04-25 | 2014-11-17 | シャープ株式会社 | Image data reproduction device, and viewpoint information generation device |
JP2018129576A (en) | 2017-02-06 | 2018-08-16 | ソフトバンク株式会社 | Moving image data generation device, display system, display control device, and program |
JP2020119584A (en) | 2017-04-11 | 2020-08-06 | 株式会社バスキュール | Virtual reality provision system |
JP2020179045A (en) | 2019-04-26 | 2020-11-05 | 富士通株式会社 | Display control device, display control method, and display control program |
-
2022
- 2022-05-23 JP JP2022083966A patent/JP7403581B2/en active Active
-
2023
- 2023-11-07 JP JP2023190082A patent/JP2024019170A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007097280A1 (en) | 2006-02-21 | 2007-08-30 | Matsushita Electric Industrial Co., Ltd. | Display control device, display control method, and display control program |
JP2014215828A (en) | 2013-04-25 | 2014-11-17 | シャープ株式会社 | Image data reproduction device, and viewpoint information generation device |
JP2018129576A (en) | 2017-02-06 | 2018-08-16 | ソフトバンク株式会社 | Moving image data generation device, display system, display control device, and program |
JP2020119584A (en) | 2017-04-11 | 2020-08-06 | 株式会社バスキュール | Virtual reality provision system |
JP2020179045A (en) | 2019-04-26 | 2020-11-05 | 富士通株式会社 | Display control device, display control method, and display control program |
Also Published As
Publication number | Publication date |
---|---|
JP2024019170A (en) | 2024-02-08 |
JP2023172282A (en) | 2023-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6976424B2 (en) | Audience view of the interactive game world shown at live events held at real-world venues | |
US10821347B2 (en) | Virtual reality sports training systems and methods | |
JP6761811B2 (en) | Sports virtual reality system | |
Miles et al. | A review of virtual environments for training in ball sports | |
US20200035019A1 (en) | Method and system for generating an image | |
US11826628B2 (en) | Virtual reality sports training systems and methods | |
KR20140103033A (en) | Augmented reality for live events | |
US8973083B2 (en) | Phantom gaming in broadcast media system and method | |
JP2022132286A (en) | Virtual reality provision system | |
JP2009000383A (en) | Program, information recording medium and image generating system | |
US9210473B2 (en) | Phantom gaming in a broadcast media, system and method | |
Desai et al. | QoE studies on interactive 3D tele-immersion | |
CN114618168A (en) | Game play record moving image creation system | |
JP7403581B2 (en) | systems and devices | |
KR101164894B1 (en) | A device and system producing a ball playing image in player's views for the baseball game broadcasting and the recording medium thereof | |
US20200050288A1 (en) | An apparatus, computer program and method | |
JP5220349B2 (en) | Program, information storage medium, and image generation system | |
KR20150006624A (en) | Interactive sports events information service system | |
GB2555841A (en) | An apparatus, computer program and method | |
KR20210112027A (en) | Method for providing virtual sports stadium service to watch a game in realtime in virtual space of sports stadium and system therefore | |
WO2021144847A1 (en) | Exercise learning device | |
JP2022173865A (en) | Play analysis device, play analysis method, and, computer program | |
JP2023154058A (en) | Game system and device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221215 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230421 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230623 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230808 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231107 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20231115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231212 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7403581 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |