WO2020166402A1 - 映像音声提示装置、映像音声提示方法、プログラム - Google Patents

映像音声提示装置、映像音声提示方法、プログラム Download PDF

Info

Publication number
WO2020166402A1
WO2020166402A1 PCT/JP2020/003847 JP2020003847W WO2020166402A1 WO 2020166402 A1 WO2020166402 A1 WO 2020166402A1 JP 2020003847 W JP2020003847 W JP 2020003847W WO 2020166402 A1 WO2020166402 A1 WO 2020166402A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual space
video
offset
semi
body reaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/003847
Other languages
English (en)
French (fr)
Inventor
麻理子 五十川
弾 三上
康輔 高橋
草地　良規
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to US17/430,257 priority Critical patent/US11715240B2/en
Publication of WO2020166402A1 publication Critical patent/WO2020166402A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/0002—Training appliances or apparatus for special sports for baseball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—Three-dimensional [3D] animation
    • G06T13/40—Three-dimensional [3D] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G09B19/0038—Sports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/0002—Training appliances or apparatus for special sports for baseball
    • A63B2069/0004—Training appliances or apparatus for special sports for baseball specially adapted for particular training aspects
    • A63B2069/0008—Training appliances or apparatus for special sports for baseball specially adapted for particular training aspects for batting
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0625—Emitting sound, noise or music
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0638—Displaying moving images of recorded environment, e.g. virtual environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2102/00—Application of clubs, bats, rackets or the like to the sporting activity ; particular sports involving the use of balls and clubs, bats, rackets, or the like
    • A63B2102/02—Tennis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2102/00—Application of clubs, bats, rackets or the like to the sporting activity ; particular sports involving the use of balls and clubs, bats, rackets, or the like
    • A63B2102/18—Baseball, rounders or similar games
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2243/00—Specific ball sports not provided for in A63B2102/00 - A63B2102/38
    • A63B2243/0025—Football

Definitions

  • the present invention relates to a video/audio presentation device, a video/audio presentation method, and a program.
  • Non-Patent Document 1 There is a system for training sports using VR (Virtual Reality) (for example, Non-Patent Document 1).
  • sports training is defined as training for improving the physical reaction of a subject to an object (flying object) flying toward the subject.
  • the body reaction generally means that the body reacts with a flying object at a predetermined timing.
  • Non-Patent Document 2 When training is performed in a virtual space that faithfully reproduces the real world using VR technology, as in the system of Patent Document 1, it is known that the subject responds similarly to the real world (Non-Patent Document 2). ).
  • HMD Head Mount Display
  • FIG. Fig. 1 shows a case where baseball batting practice is performed in (1) real space, (2) semi-virtual space in which virtual space and real space are combined (space in which virtual space and real space expressed on a flat panel display, etc. are combined. , (Hereinafter, simply referred to as semi-virtual space) (3) From release to swing start when performed in a virtual space that does not include real space (complete VR space by HMD, hereinafter simply referred to as virtual space) It is a graph which shows the result of the experiment (nonpatent literature 2) which investigated time [second] about two types of spheres (straight, curve).
  • the physical reaction of the subject in the real space and the physical reaction of the subject in the virtual space showed the same tendency, and there was no large delay.
  • the body reaction of the subject in the semi-virtual space is delayed by a maximum of about 0.2 sec compared with the body reaction of the subject in the real space and the body reaction of the subject in the virtual space. This is because it is difficult for the subject to grasp the spatial position of the flying object in the semi-virtual space.
  • the present invention provides a video/audio presentation device capable of presenting video and audio for sports training in which delay in physical reaction is unlikely to occur.
  • the video/audio presentation device of the present invention includes an offset determination unit, a video presentation unit, and an audio presentation unit.
  • the offset determination unit uses the time-series data of the body reaction of the subject to the flying object in the real space as the body reaction A real, and the subject to the flying object represented in a virtual space that does not include the real space (hereinafter simply referred to as virtual space).
  • time series data and body reactions a VR, semi virtual space that combines virtual space and the real space (hereinafter, simply referred to as a semi-virtual space) time-series data of the body reactions of the subject to flying objects represented on the body reaction was a somatic response a mix, and body react a real and physical reaction a time difference mix or body reaction a VR and body reaction a time difference t diff time difference mix,, scale of the ratio of the real space and the semi-virtual space or virtual
  • a time series offset t offset obtained by correcting the time difference t diff is determined based on a correction coefficient ⁇ determined according to the ratio of the scale of the space and the semi-virtual space.
  • the video presentation unit presents a video in the semi-virtual space.
  • the audio presentation unit shifts the audio corresponding to the video based on the time series offset t offset so that the timing is earlier than the video, and presents the shifted audio in the semi-virtual space.
  • the video/audio presentation device of the present invention it is possible to present video and audio for sports training in which a physical reaction is less likely to be delayed.
  • FIG. 3 is a diagram showing a first example of sports training expressed in a semi-virtual space according to the first embodiment.
  • FIG. 6 is a diagram showing a second example of sports training expressed in the semi-virtual space of the first embodiment.
  • 3 is a block diagram showing the configuration of the video/audio presentation device of Embodiment 1.
  • FIG. 3 is a flowchart showing the operation of the video/audio presentation device according to the first embodiment.
  • the video/audio presentation device of this embodiment can represent a semi-virtual space for batting practice of baseball.
  • a space including a simulated ground 8 simulating a space around the batter, such as a batter box, and a large-sized flat display 9 the pitcher's pitching motion and the image of a flying ball are projected on the flat display 9. Since the space displayed on the flat panel display 9 is a virtual space, the space shown in the figure can be said to be a semi-virtual space in which the virtual space and the real space are combined.
  • the video/audio presentation device of the present embodiment can represent a semi-virtual space for tennis practice.
  • a space including a simulated court 8 simulating the space around the player, such as a half surface of a tennis court, and a large flat display 9 the plane display 9 flies with an image of an opponent's serve or receive. Project the image of the ball.
  • the space displayed on the flat display 9 is a virtual space
  • the space shown in the figure can be said to be a semi-virtual space in which the virtual space and the real space are combined.
  • the image displayed on the flat display 9 is not limited to an image simulating a real space such as an image in which a VR space image is two-dimensionally displayed, and may be a two-dimensional image obtained by photographing the real space.
  • d' represents the distance (initial distance) between the flying object (ball) before release and the subject (or the catcher, or the reference position) in the semi-virtual space in the same figure.
  • d' is a concept including virtual length. In the example of the figure, d'is not the distance between the flat display 9 and the reference position, but the virtual distance in the virtual space represented by the flat display 9 to the distance between the flat display 9 and the reference position. Is the sum of.
  • the video/audio presentation device 1 includes a video acquisition unit 11, a sound acquisition unit 12, a video/audio storage unit 10a, an offset data storage unit 10b, and an offset determination unit 13.
  • the video presenting unit 14 and the audio presenting unit 15 are included.
  • the operation of each component will be described below with reference to FIG. In the following operations, baseball, tennis, and soccer will be described as examples, but the video/audio presentation device 1 of the present embodiment can be applied to training of other sports and is not limited to the above.
  • the video acquisition unit 11 acquires a video presented in the virtual space corresponding to the audio acquired in step S12 from, for example, an external device and stores the video in the video/audio storage unit 10a (S11). It is assumed that time information is associated with each frame of the video. There is no particular limitation on the frame rate of the image.
  • the video is related to what should be expressed in the semi-virtual space in order to perform sports training. For example, a video image of a baseball pitcher, an opponent player of tennis, a free kicker in soccer, or a video image of these in CG. Note that in the present specification, the term "video" does not include audio.
  • the sound acquisition unit 12 is a sound that is presented in the virtual space and corresponds to the image acquired in step S11 and that is generated by a flying object (for example, a catching sound when a catcher catches a baseball).
  • a flying object for example, a catching sound when a catcher catches a baseball.
  • a camera or a recorder having a general recording function can be used to acquire the voice.
  • Time information is associated with each audio frame, and each audio frame corresponding to each video frame is uniquely determined. There is no particular limitation on the audio frame rate.
  • the video/audio storage unit 10a receives and stores the video acquired by the video acquisition unit 11 and the audio acquired by the audio acquisition unit 12 as input.
  • the offset data storage unit 10b stores a time series offset t offset , or a set of experimental parameters and time series offsets t offset-baseball , t offset-tennis , t offset-soccer ... Or t diff , [r, d, r', d '] (or var) or t diff is input, the input data is stored, and the input data is output to the offset determination unit 13.
  • the time difference t diff is defined as follows.
  • the time-series data of the body reaction of the subject to the flying object in the real space is referred to as the body reaction A real, and the time series of the body reaction of the subject to the flying object expressed in a virtual space that does not include the real space (hereinafter simply referred to as virtual space).
  • the data is the body reaction A VR, and the time-series data of the body reaction of the subject to the flying object expressed in the semi-virtual space (hereinafter simply referred to as the semi-virtual space) that combines the virtual space and the real space is the body reaction A mix ,
  • the time difference between the body reaction A real and the body reaction A mix or the time difference between the body reaction A VR and the body reaction A mix is defined as the time difference t diff .
  • the scale information includes information on the scale of the real space and the semi-virtual space, or the scale of the virtual space and the semi-virtual space. For example, let r be the size of the flying object in the real space (or virtual space) (the largest value among the width, depth, and height), and the size of the flying object in the semi-virtual space (largest among the width, depth, and height).
  • the distance (initial distance) between the flying object before release and the subject (or the reference position) in the real space (or virtual space) is d
  • the distance (initial distance) between the object and the subject (or the reference position) may be d'
  • r, r', d, d', r'/r, d'/d may be included as scale information.
  • the scale information may be a scalar value and stored in a vector.
  • this vector is called var.
  • the offset data storage unit 10b may previously acquire, store, and output the time series offset t offset obtained by correcting the time difference t diff based on the correction coefficient ⁇ .
  • Specific examples of the method of deriving the correction coefficient ⁇ and the method of calculating the time series offset t offset are shown below.
  • the correction coefficient ⁇ (d'/d).
  • the offset data storage unit 10b includes, for example, a time series offset t offset-baseball corresponding to baseball practice, a time series offset t offset-tennis corresponding to tennis practice, a time series offset t offset-soccer corresponding to soccer practice, and the like. May be acquired, stored, and output together with experimental parameters that specify the type of sport.
  • the offset determination unit 13 uses the time series offset t offset , or the experimental parameter, the time series offset t offset-baseball , t offset-tennis , t offset-soccer ... Or t diff , [r, d, r', d']. (Or var) is input, and the time series offset t offset obtained by correcting the time difference t diff is determined based on the correction coefficient ⁇ that is determined according to the ratio of the scale of the real space (or virtual space) to the half virtual space. And outputs it to the voice presentation unit 15 (S13).
  • the time series offset t offset may be prepared in advance in the offset data storage unit 10b, and the offset determination unit 13 may only acquire the prepared time series offset t offset from the offset data storage unit 10b. ..
  • the offset determination unit 13 receives, as a variable, a parameter (experimental parameter) representing a difference in experimental conditions such as baseball, tennis, and soccer, and a time series offset (eg, t offset-baseball , t offset-tennis ) corresponding thereto. , T offset-soccer (7) From the offset data storage unit 10b.
  • a parameter experimental parameter
  • a time series offset eg, t offset-baseball , t offset-tennis
  • ⁇ Operation pattern 3> Further, only t diff , r, d is stored in advance in the offset data storage unit 10b, the offset determination unit 13 acquires r′, d′ from the outside, and t diff ,r, d is acquired from the offset data storage unit 10b. May be acquired, and the time series offset t offset may be acquired by calculating the time series offset t offset by any of the calculation methods of ⁇ Calculation example 1>> to ⁇ Calculation example 3>>.
  • the video presentation unit 14 reads the video from the video/audio storage unit 10a and presents the read video in the semi-virtual space (S14).
  • the audio presentation unit 15 receives the audio corresponding to the video, shifts the audio based on the time-series offset t offset so that the timing is earlier than the video of the corresponding frame, and the shifted audio is placed in the semi-virtual space.
  • Present (S15) the audio presentation unit 15 receives the audio corresponding to the video, shifts the audio based on the time-series offset t offset so that the timing is earlier than the video of the corresponding frame, and the shifted audio is placed in the semi-virtual space.
  • the audio corresponding to the video is shifted based on the time-series offset t offset so that the timing is earlier than the video of the corresponding frame.
  • Video and audio for sports training can be presented.
  • the device of the present invention is, for example, as a single hardware entity, an input unit to which a keyboard or the like can be connected, an output unit to which a liquid crystal display or the like can be connected, a communication device (for example, a communication cable) capable of communicating with the outside of the hardware entity.
  • a communication device for example, a communication cable
  • Connectable communication unit CPU (Central Processing Unit, cache memory and registers may be provided), memory RAM and ROM, hard disk external storage device and their input unit, output unit, communication unit ,
  • CPU Central Processing Unit, cache memory and registers may be provided
  • memory RAM and ROM hard disk external storage device and their input unit, output unit, communication unit ,
  • the hardware entity may be provided with a device (drive) capable of reading and writing a recording medium such as a CD-ROM.
  • a physical entity having such hardware resources includes a general-purpose computer.
  • the external storage device of the hardware entity stores a program necessary for realizing the above-described functions and data necessary for the processing of this program (not limited to the external storage device, for example, the program is read). It may be stored in a ROM that is a dedicated storage device). In addition, data and the like obtained by the processing of these programs are appropriately stored in the RAM, the external storage device, or the like.
  • each program stored in an external storage device or ROM, etc.
  • the data necessary for the processing of each program are read into the memory as necessary, and interpreted and executed/processed by the CPU as appropriate. ..
  • the CPU realizes a predetermined function (each constituent element represented by the above,... Unit,... Means, etc.).
  • the present invention is not limited to the above-mentioned embodiments, and can be modified as appropriate without departing from the spirit of the present invention. Further, the processing described in the above embodiments may be executed not only in time series according to the order described, but also in parallel or individually according to the processing capability of the device that executes the processing or the need. ..
  • the processing function of the hardware entity (the device of the present invention) described in the above embodiment is realized by the computer, the processing content of the function that the hardware entity should have is described by the program. Then, by executing this program on the computer, the processing functions of the hardware entity are realized on the computer.
  • the program describing this processing content can be recorded in a computer-readable recording medium.
  • the computer-readable recording medium may be, for example, a magnetic recording device, an optical disc, a magneto-optical recording medium, a semiconductor memory, or the like.
  • a magnetic recording device a hard disk device, a flexible disk, a magnetic tape, etc.
  • an optical disc a DVD (Digital Versatile Disc), a DVD-RAM (Random Access Memory), a CD-ROM (Compact Disc Read Only).
  • CD-R Recordable
  • RW ReWritable
  • magneto-optical recording media MO (Magneto-Optical disc), etc., as semiconductor memory, EEP-ROM (Electronically Erasable and Programmable-Read Only Memory), etc. Can be used.
  • Distribution of this program is performed by selling, transferring, or lending a portable recording medium such as a DVD or a CD-ROM in which the program is recorded. Further, the program may be stored in a storage device of a server computer and transferred from the server computer to another computer via a network to distribute the program.
  • a computer that executes such a program first stores, for example, the program recorded in a portable recording medium or the program transferred from the server computer in its own storage device. Then, when executing the processing, this computer reads the program stored in its own recording medium and executes the processing according to the read program.
  • a computer may directly read the program from a portable recording medium and execute processing according to the program, and the program is transferred from the server computer to this computer. Each time, the processing according to the received program may be sequentially executed.
  • the above-mentioned processing is executed by a so-called ASP (Application Service Provider) type service that realizes a processing function only by executing the execution instruction and the result acquisition without transferring the program from the server computer to this computer.
  • ASP Application Service Provider
  • the program in this embodiment includes information that is used for processing by an electronic computer and that conforms to the program (such as data that is not a direct command to a computer but has the property of defining computer processing).
  • the hardware entity is configured by executing a predetermined program on the computer, but at least a part of the processing content may be implemented by hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

身体反応に遅れが生じにくいスポーツトレーニング用の映像および音声を提示することができる映像音声提示装置を提供する。実空間の飛来物体に対する身体反応の時系列データを身体反応Arealとし、仮想空間上で表現される飛来物体に対する身体反応の時系列データを身体反応AVRとし、半仮想空間上で表現される飛来物体に対する身体反応の時系列データを身体反応Amixとし、ArealとAmixの時間差、またはAVRとAmixの時間差を時間差tdiffとし、補正係数αに基づいて時間差tdiffを補正して得られる時系列オフセットtoffsetを決定するオフセット決定部と、半仮想空間上に映像を提示する映像提示部と、映像と対応する音声を時系列オフセットtoffsetに基づいて映像よりもタイミングが早まるようにシフトさせ、シフトさせた音声を半仮想空間上に提示する音声提示部を含む。

Description

映像音声提示装置、映像音声提示方法、プログラム
　本発明は、映像音声提示装置、映像音声提示方法、プログラムに関する。
　VR(Virtual Reality)を用いてスポーツのトレーニングを行うシステムがある（例えば非特許文献１）。本明細書では、スポーツのトレーニングを、被験者に向かって飛来する物体（飛来物体）に対する被験者の身体反応を向上させるためのトレーニングであると定義する。なお、身体反応とは、飛来物体に対して所定のタイミングをとって、身体で反応すること全般を指すものとする。
　特許文献１のシステムのように、VR技術を用いて実世界を忠実に再現した仮想空間を用いてトレーニングする場合、被験者は実世界と類似した反応をすることが分かっている（非特許文献２）。
三上弾、高橋康輔、西條直樹、五十川麻理子、木村聡貴、木全英明、「VRイメージトレーニングシステムの実現と野球への適用」、NTT技術ジャーナル、日本電信電話株式会社、平成30年1月、vol.30, no.1, 2018. Isogawa, M., Mikami, D., Fukuda, T., Saijo N., Takahashi, K., Kimata, H., Kashino, M.: What can VR systems tell sports players? Reaction-based analysis of baseball batters in virtual and real worlds. IEEE VR, 2018.
　しかし、VR空間を体験するためにはHMD(Head Mount Display)など専用の機材が必要である。一方で、ヘッドマウント型でないディスプレイ（例えば平面ディスプレイ、曲面ディスプレイ）であればHMDと比較して容易に機材を用意できると考えられるが、平面ディスプレイなどによって、ピッチャーや対戦相手などを仮想的に表示してスポーツのトレーニングを行うと、被験者の身体反応が実空間やVR空間における身体反応と比較して遅れてしまうことが知られている。
　これについて図１を参照して説明する。図１は、野球のバッティング練習を（１）実空間で行った場合、（２）仮想空間と実空間を組み合わせた半仮想空間（平面ディスプレイなどに表現された仮想空間と実空間を組み合わせた空間、以下、単に半仮想空間という）で行った場合（３）実空間を含まない仮想空間（HMDによる完全なVR空間、以下、単に仮想空間という）で行った場合の、リリースからスイング開始までの時間［秒］を、二種類の球種（ストレート、カーブ）について調べた実験（非特許文献２）の結果を示すグラフである。
　同図に示すように、実空間における被験者の身体反応と仮想空間における被験者の身体反応は同様の傾向を示し、大きな遅れはなかった。しかしながら、半仮想空間における被験者の身体反応は、実空間における被験者の身体反応、仮想空間における被験者の身体反応と比較して、最大0.2sec程度遅れている。これは、半仮想空間において、被験者が飛来する物体の空間位置を把握しにくいことに起因する。
　そこで本発明では、身体反応に遅れが生じにくいスポーツトレーニング用の映像および音声を提示することができる映像音声提示装置を提供する。
　本発明の映像音声提示装置は、オフセット決定部と、映像提示部と、音声提示部を含む。
　オフセット決定部は、実空間の飛来物体に対する被験者の身体反応の時系列データを身体反応Arealとし、実空間を含まない仮想空間（以下、単に仮想空間という）上で表現される飛来物体に対する被験者の身体反応の時系列データを身体反応AVRとし、仮想空間と実空間を組み合わせた半仮想空間（以下、単に半仮想空間という）上で表現される飛来物体に対する被験者の身体反応の時系列データを身体反応Amixとし、身体反応Arealと身体反応Amixの時間差、または身体反応AVRと身体反応Amixの時間差を時間差tdiffとし、実空間と半仮想空間のスケールの比、または仮想空間と半仮想空間のスケールの比に応じて定まる補正係数αに基づいて時間差tdiffを補正して得られる時系列オフセットtoffsetを決定する。映像提示部は、半仮想空間上に映像を提示する。音声提示部は、映像と対応する音声を時系列オフセットtoffsetに基づいて映像よりもタイミングが早まるようにシフトさせ、シフトさせた音声を半仮想空間上に提示する。
　本発明の映像音声提示装置によれば、身体反応に遅れが生じにくいスポーツトレーニング用の映像および音声を提示することができる。
野球のバッティング練習を（１）実空間（２）半仮想空間（３）仮想空間で行った場合の、リリースからスイング開始までの時間を、二種類の球種（ストレート、カーブ）について調べた実験の結果を示すグラフ。 実施例１の半仮想空間で表現されるスポーツのトレーニングの例１を示す図。 実施例１の半仮想空間で表現されるスポーツのトレーニングの例２を示す図。 実施例１の映像音声提示装置の構成を示すブロック図。 実施例１の映像音声提示装置の動作を示すフローチャート。
　以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
　図２、図３を参照して実施例１の映像音声提示装置が提示する半仮想空間で表現されるスポーツのトレーニングの例について説明する。例えば、図２に示すように、本実施例の映像音声提示装置は、野球のバッティング練習用の半仮想空間を表現することができる。具体的には、バッターボックスなど、バッターの周囲の空間を模擬した模擬グラウンド８と、大型の平面ディスプレイ９を含む空間において、平面ディスプレイ９にピッチャーの投球モーションと、飛来するボールの映像を映し出す。平面ディスプレイ９に映し出された空間は仮想空間であるから、同図に示す空間は、仮想空間と実空間を組み合わせた半仮想空間といえる。
　また、図３に示すように、本実施例の映像音声提示装置は、テニス練習用の半仮想空間を表現することができる。具体的には、テニスコートの半面など、プレイヤーの周囲の空間を模擬した模擬コート８と、大型の平面ディスプレイ９を含む空間において、平面ディスプレイ９に対戦相手のサーブやレシーブの映像と、飛来するボールの映像を映し出す。平面ディスプレイ９に映し出された空間は仮想空間であるから、同図に示す空間は、仮想空間と実空間を組み合わせた半仮想空間といえる。なお、平面ディスプレイ９に映し出される映像は、VR空間の映像を２次元表示した映像など実空間を模擬した映像に限らず、実空間を撮影した２次元映像であってもよい。
　図２、図３におけるd'は、同図の半仮想空間における、リリース前の飛来物体（ボール）と被験者（またはキャッチャー、あるいは基準となる位置）との距離（初期距離）を表す。d'は、仮想の長さを含む概念であることに注意する。同図の例においてd'は、平面ディスプレイ９と基準となる位置との距離ではなく、平面ディスプレイ９と基準となる位置との距離に、平面ディスプレイ９に表現された仮想空間内における仮想の距離を足し合わせたものである。
　以下、図４を参照して本実施例の映像音声提示装置の構成を説明する。同図に示すように本実施例の映像音声提示装置１は、映像取得部１１と、音声取得部１２と、映像・音声記憶部１０ａと、オフセットデータ記憶部１０ｂと、オフセット決定部１３と、映像提示部１４と、音声提示部１５を含む。以下、図５を参照して各構成要件の動作を説明する。なお、以下の動作では、野球、テニス、サッカーを例に説明を進めるが、本実施例の映像音声提示装置１はこの他のスポーツのトレーニングにも適用でき、上記に限定されない。
＜映像取得部１１＞
　映像取得部１１は、ステップＳ１２で取得される音声に対応し、仮想空間上に提示される映像を、例えば外部装置から取得し、映像・音声記憶部１０ａに記憶する（Ｓ１１）。映像の各フレームには、時刻情報が対応付けられているものとする。映像のフレームレートに特に制限はない。映像は、スポーツトレーニングを行うために、半仮想空間上に表現すべき内容に関する。例えば、野球のピッチャー、テニスの相手プレイヤー、サッカーにおけるフリーキッカーなどを撮影した映像、これらをＣＧで表現した映像などである。なお、本明細書において「映像」という場合、音声を含まないものとする。
＜音声取得部１２＞
　音声取得部１２は、ステップＳ１１で取得される映像に対応し、仮想空間上に提示される音声であって、飛来物体によって生じる音声（例えば、捕手が野球ボールを捕球する際の捕球音、サーブまたはレシーブされたテニスボールのインパクトの音、コートに跳ね返る音、ゴールに向かって蹴り出されたサッカーボールのインパクトの音、ゴールネットに接触した時の音）を、例えば外部装置から取得し、映像・音声記憶部１０ａに記憶する（Ｓ１２）。音声の取得には、一般的な録音機能付きのカメラや録音機を用いることができる。音声の各フレームには、時刻情報が対応付けられているものとし、映像の各フレームに対応する音声の各フレームが一意に定まるものとする。音声のフレームレートに特に制限はない。
＜映像・音声記憶部１０ａ＞
　映像・音声記憶部１０ａは、映像取得部１１が取得した映像、音声取得部１２が取得した音声を入力とし、記憶する。
＜オフセットデータ記憶部１０ｂ＞
　オフセットデータ記憶部１０ｂは時系列オフセットtoffset、または実験パラメータと時系列オフセットtoffset-baseball、toffset-tennis、toffset-soccer…のセット、またはtdiff, [r, d, r', d']（またはvar）、あるいはtdiffを入力とし、入力されたデータを記憶し、入力されたデータをオフセット決定部１３に出力する。
　時間差tdiffは、以下のように定義される。実空間の飛来物体に対する被験者の身体反応の時系列データを身体反応Arealとし、実空間を含まない仮想空間（以下、単に仮想空間）上で表現される飛来物体に対する被験者の身体反応の時系列データを身体反応AVRとし、仮想空間と実空間を組み合わせた半仮想空間（以下、単に半仮想空間）上で表現される飛来物体に対する被験者の身体反応の時系列データを身体反応Amixとし、身体反応Arealと身体反応Amixの時間差、または身体反応AVRと身体反応Amixの時間差を時間差tdiffとする。
　またスケール情報は、実空間と半仮想空間のスケール、または仮想空間と半仮想空間のスケールの情報を含む。例えば、実空間（または仮想空間）における飛来物体のサイズ（幅、奥行き、高さのうち最も大きい値）をrとし、半仮想空間における飛来物体のサイズ（幅、奥行き、高さのうち最も大きい値）をr'とし、実空間（または仮想空間）における、リリース前の飛来物体と被験者（あるいは基準となる位置）との距離（初期距離）をdとし、半仮想空間における、リリース前の飛来物体と被験者（あるいは基準となる位置）との距離（初期距離）をd'とし、r, r', d, d', r'/r, d'/dなどをスケール情報として含んでもよい。スケール情報はスカラー値とし、ベクトルに格納してもよい。以下、このベクトルをvarという。例えば、実空間における一般的な野球場で18m離れた位置から半径5cmの野球ボール（飛来物体）が投球された場合であって、半仮想空間における野球場において、16m離れた位置から半径4cmの野球ボール（飛来物体）が投球された場合var=[r, r', d, d', r'/r, d'/d]=[5, 4, 18, 16, 4/5, 8/9]となる。
　オフセットデータ記憶部１０ｂは、補正係数αに基づいて時間差tdiffを補正して得られる時系列オフセットtoffsetを予め取得、記憶、出力してもよい。補正係数αの導出方法、および時系列オフセットtoffsetの計算方法の具体例を以下に示す。
≪計算例１≫
　補正係数α=(r'/r) * (d'/d)とする。すなわち、
toffset= tdiff * (r'/r) * (d'/d)
≪計算例２≫
　補正係数α=(r'/r)とする。すなわち、
toffset= tdiff * (r'/r)
≪計算例３≫
　補正係数α=(d'/d)とする。すなわち、
toffset= tdiff * (d'/d)
　オフセットデータ記憶部１０ｂは、例えば野球の練習に対応する時系列オフセットtoffset-baseball、テニスの練習に対応する時系列オフセットtoffset-tennis、サッカーの練習に対応する時系列オフセットtoffset-soccerなどを、スポーツの種類を指定する実験パラメータとともに取得、記憶、出力してもよい。
＜オフセット決定部１３＞
　オフセット決定部１３は、時系列オフセットtoffset、または実験パラメータ、時系列オフセットtoffset-baseball、toffset-tennis、toffset-soccer…、またはtdiff, [r, d, r', d']（またはvar）を入力とし、実空間（または仮想空間）と半仮想空間のスケールの比に応じて定まる補正係数αに基づいて時間差tdiffを補正して得られる時系列オフセットtoffsetを決定して、音声提示部１５に出力する（Ｓ１３）。
＜動作パターン１＞
　前述したように、予めオフセットデータ記憶部１０ｂに時系列オフセットtoffsetを用意しておき、オフセット決定部１３は、予め用意された時系列オフセットtoffsetをオフセットデータ記憶部１０ｂから取得するだけでもよい。
＜動作パターン２＞
　オフセット決定部１３は、変数として例えば野球、テニス、サッカーなど、実験条件の違いを表すパラメータ（実験パラメータ）を入力とし、これに対応する時系列オフセット（例えば、toffset-baseball、toffset-tennis、toffset-soccer…の何れか）をオフセットデータ記憶部１０ｂから取得してもよい。
＜動作パターン３＞
　また予めオフセットデータ記憶部１０ｂにtdiff, r, dのみを記憶しておき、オフセット決定部１３は、外部からr', d'を取得し、オフセットデータ記憶部１０ｂからtdiff, r, dを取得し、上記≪計算例１≫～≪計算例３≫の何れかの計算方法により、時系列オフセットtoffsetを計算することにより、時系列オフセットtoffsetを取得してもよい。
　あるいは、予めオフセットデータ記憶部１０ｂにtdiffのみを記憶しておき、オフセット決定部１３は、外部からr, d, r', d'（またはvar=[r, r', d, d', r'/r, d'/d]）を取得し、オフセットデータ記憶部１０ｂからtdiffのみを取得し、上記≪計算例１≫～≪計算例３≫の何れかの計算方法により、時系列オフセットtoffsetを計算することにより、時系列オフセットtoffsetを取得してもよい。
＜映像提示部１４＞
　映像提示部１４は、映像・音声記憶部１０ａから映像を読み出し、読み出した映像を半仮想空間上に提示する（Ｓ１４）。
＜音声提示部１５＞
　音声提示部１５は、映像と対応する音声を入力とし、時系列オフセットtoffsetに基づいて対応するフレームの映像よりもタイミングが早まるように音声をシフトさせ、シフトさせた音声を半仮想空間上に提示する（Ｓ１５）。
　本実施例の映像音声提示装置１によれば、映像と対応する音声を時系列オフセットtoffsetに基づいて対応するフレームの映像よりもタイミングが早まるようにシフトさせたため、身体反応に遅れが生じにくいスポーツトレーニング用の映像および音声を提示することができる。
＜補記＞
　本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ－ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
　ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
　ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
　本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
　既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ（Random Access Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ－ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
　また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (6)

  1. 　実空間の飛来物体に対する被験者の身体反応の時系列データを身体反応Arealとし、実空間を含まない仮想空間（以下、単に仮想空間という）上で表現される飛来物体に対する被験者の身体反応の時系列データを身体反応AVRとし、仮想空間と実空間を組み合わせた半仮想空間（以下、単に半仮想空間という）上で表現される飛来物体に対する被験者の身体反応の時系列データを身体反応Amixとし、身体反応Arealと身体反応Amixの時間差、または身体反応AVRと身体反応Amixの時間差を時間差tdiffとし、前記実空間と前記半仮想空間のスケールの比、または前記仮想空間と前記半仮想空間のスケールの比に応じて定まる補正係数αに基づいて前記時間差tdiffを補正して得られる時系列オフセットtoffsetを決定するオフセット決定部と、
    　前記半仮想空間上に映像を提示する映像提示部と、
    　前記映像と対応する音声を前記時系列オフセットtoffsetに基づいて前記映像よりもタイミングが早まるようにシフトさせ、シフトさせた前記音声を前記半仮想空間上に提示する音声提示部
    　を含む映像音声提示装置。
  2. 　請求項１に記載の映像音声提示装置であって、
    　実空間または仮想空間における前記飛来物体のサイズをrとし、半仮想空間における前記飛来物体のサイズをr’とし、実空間におけるリリース前の前記飛来物体と被験者との距離をdとし、半仮想空間におけるリリース前の前記飛来物体と被験者との距離をd'とし、前記補正係数αを(r'/r)*(d'/d)とする
    　映像音声提示装置。
  3. 　請求項１に記載の映像音声提示装置であって、
    　実空間または仮想空間における前記飛来物体のサイズをrとし、半仮想空間における前記飛来物体のサイズをr’とし、前記補正係数αを(r'/r)とする
    　映像音声提示装置。
  4. 　請求項１に記載の映像音声提示装置であって、
    　実空間または仮想空間におけるリリース前の前記飛来物体と被験者との距離をdとし、半仮想空間におけるリリース前の前記飛来物体と被験者との距離をd'とし、前記補正係数αを(d'/d)とする
    　映像音声提示装置。
  5. 　実空間の飛来物体に対する被験者の身体反応の時系列データを身体反応Arealとし、実空間を含まない仮想空間（以下、単に仮想空間という）上で表現される飛来物体に対する被験者の身体反応の時系列データを身体反応AVRとし、仮想空間と実空間を組み合わせた半仮想空間（以下、単に半仮想空間という）上で表現される飛来物体に対する被験者の身体反応の時系列データを身体反応Amixとし、身体反応Arealと身体反応Amixの時間差、または身体反応AVRと身体反応Amixの時間差を時間差tdiffとし、前記実空間と前記半仮想空間のスケールの比、または前記仮想空間と前記半仮想空間のスケールの比に応じて定まる補正係数αに基づいて前記時間差tdiffを補正して得られる時系列オフセットtoffsetを決定するステップと、
    　前記半仮想空間上に映像を提示するステップと、
    　前記映像と対応する音声を前記時系列オフセットtoffsetに基づいて前記映像よりもタイミングが早まるようにシフトさせ、シフトさせた前記音声を前記半仮想空間上に提示するステップ
    　を含む映像音声提示方法。
  6. 　コンピュータを請求項１から４の何れかに記載の映像音声提示装置として機能させるプログラム。
PCT/JP2020/003847 2019-02-15 2020-02-03 映像音声提示装置、映像音声提示方法、プログラム Ceased WO2020166402A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/430,257 US11715240B2 (en) 2019-02-15 2020-02-03 Video and audio presentation device, video and audio presentation method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-025761 2019-02-15
JP2019025761A JP7085145B2 (ja) 2019-02-15 2019-02-15 映像音声提示装置、映像音声提示方法、プログラム

Publications (1)

Publication Number Publication Date
WO2020166402A1 true WO2020166402A1 (ja) 2020-08-20

Family

ID=72044820

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/003847 Ceased WO2020166402A1 (ja) 2019-02-15 2020-02-03 映像音声提示装置、映像音声提示方法、プログラム

Country Status (3)

Country Link
US (1) US11715240B2 (ja)
JP (1) JP7085145B2 (ja)
WO (1) WO2020166402A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115237248B (zh) * 2022-06-20 2024-10-15 北京有竹居网络技术有限公司 虚拟对象的展示方法、装置、设备、存储介质及程序产品
TWI827134B (zh) * 2022-07-12 2023-12-21 紐因科技股份有限公司 具延展實境、語音及動作辨識之團隊視野訓練系統及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001029529A (ja) * 1999-07-14 2001-02-06 Kenji Matsui 画像表示部付ピッチングマシン

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10089063B2 (en) * 2016-08-10 2018-10-02 Qualcomm Incorporated Multimedia device for processing spatialized audio based on movement
WO2018053159A1 (en) * 2016-09-14 2018-03-22 SonicSensory, Inc. Multi-device audio streaming system with synchronization
US11262838B2 (en) * 2018-01-30 2022-03-01 Sony Corporation Information processing device and information processing method
US11064228B2 (en) * 2019-04-02 2021-07-13 Qualcomm Incorporated Audio playback timing adjustment
US11611705B1 (en) * 2019-06-10 2023-03-21 Julian W. Chen Smart glasses with augmented reality capability for dentistry

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001029529A (ja) * 1999-07-14 2001-02-06 Kenji Matsui 画像表示部付ピッチングマシン

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MIKAMI, DANN: "Sports brain science", NTT GIJUTU JOURNAL, vol. 30, 1 January 2018 (2018-01-01), pages 22 - 25 *

Also Published As

Publication number Publication date
US11715240B2 (en) 2023-08-01
JP2020130440A (ja) 2020-08-31
US20220138999A1 (en) 2022-05-05
JP7085145B2 (ja) 2022-06-16

Similar Documents

Publication Publication Date Title
US10974130B1 (en) Systems and methods for indicating events in game video
EP3388119B1 (en) Method, apparatus, and non-transitory computer-readable storage medium for view point selection assistance in free viewpoint video generation
US12239909B2 (en) Media-object binding for predicting performance in a media
US11951405B2 (en) Media-object binding for dynamic generation and displaying of play data associated with media
CN103886009B (zh) 基于所记录的游戏玩法自动产生为云游戏建议的小游戏
US11442987B2 (en) Media-object binding for displaying real-time play data for live-streaming media
US20160314620A1 (en) Virtual reality sports training systems and methods
CN113710337A (zh) 媒体-活动绑定和内容阻止
KR20160111444A (ko) 대형 포맷 디스플레이 시스템 상에 사용자 선택가능 아이콘들을 갖는 포털을 묘화하기 위한 방법 및 시스템
US20140287391A1 (en) Method and system for training athletes
WO2020166402A1 (ja) 映像音声提示装置、映像音声提示方法、プログラム
KR20130137320A (ko) 시뮬레이션을 이용한 스포츠 경기 중계 방법, 시스템 및 컴퓨터 판독 가능한 매체
CN109771957B (zh) 游戏中观战的方法及装置、电子设备、存储介质
US12274940B2 (en) Gaze-based coordination of virtual effects indicators
AU2015398537B2 (en) Video editor servers, video editing methods, client devices, and methods for controlling a client device
JP2023531818A (ja) 仮想ゴルフシミュレーション装置及び仮想ゴルフシミュレーション方法
US20240115919A1 (en) Systems and methods for football training
EP3062897B1 (en) Generation of an instant virtual reenactment of an occurring event
US11504619B1 (en) Interactive reenactment within a video game
EP4138063A1 (en) Game-based lesson plans and learning
TW201325673A (zh) 提供運動遊戲的遊戲伺服器、方法、記錄媒體及遊戲裝置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20755794

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20755794

Country of ref document: EP

Kind code of ref document: A1