WO2017029915A1 - プログラム、表示装置、表示方法、放送システム及び放送方法 - Google Patents

プログラム、表示装置、表示方法、放送システム及び放送方法 Download PDF

Info

Publication number
WO2017029915A1
WO2017029915A1 PCT/JP2016/070891 JP2016070891W WO2017029915A1 WO 2017029915 A1 WO2017029915 A1 WO 2017029915A1 JP 2016070891 W JP2016070891 W JP 2016070891W WO 2017029915 A1 WO2017029915 A1 WO 2017029915A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
performance
data
display
performer
Prior art date
Application number
PCT/JP2016/070891
Other languages
English (en)
French (fr)
Inventor
彩人 藤井
Original Assignee
日本テレビ放送網株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本テレビ放送網株式会社 filed Critical 日本テレビ放送網株式会社
Priority to JP2016563003A priority Critical patent/JP6099850B1/ja
Publication of WO2017029915A1 publication Critical patent/WO2017029915A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G10G1/02—Chord or note indicators, fixed or adjustable, for keyboard of fingerboards

Definitions

  • the present invention relates to a program, a display device, a display method, a broadcast system, and a broadcast method.
  • the present invention includes a performance operator such as a plurality of keyboards, a photographing means for photographing a field of view including the plurality of performance operators, and generating view image information, a fingering image of the performer, and a plurality of performance operators.
  • the view image information is synthesized and displayed.
  • the finger can be used to operate an operator such as a keyboard, and information on how to carry the finger (fingering information) is displayed while actually practicing the performance. It is possible to practice the performance while looking at the display screen and the actual musical instrument and the user's hand that are visible beyond the display screen.
  • the above-described invention cannot reflect elements such as the undulation of the emotion during performance of the performer and the direction of the line of sight, which are important elements in viewing the performance, and only shows how to move the finger. There wasn't.
  • the present invention provides a program, a display device, a display method, a broadcasting system, and a broadcasting method that can reflect factors such as the undulation of emotion during performance of the performer and the line-of-sight direction, which are important elements in performance viewing. There is to do.
  • a virtual image including at least a joint motion image obtained by motion-capturing a performer's performance and a physical change image obtained by imaging a physical change during the performer's performance is optically transmitted or
  • This is a program for causing a computer to execute a display process for displaying on a display unit in a superimposed manner on a captured user's view field image.
  • a display unit in which a view field image is optically transmitted or photographed and displayed, a joint motion image obtained by motion-capturing the performance of the performer, and a physical change during the performance of the performer
  • the display device includes a display control unit that displays a virtual image including at least a converted body change image on the display unit so as to be superimposed on the view field image.
  • a virtual image including at least a joint motion image obtained by motion-capturing a performer's performance and a physical change image obtained by imaging a physical change during the performer's performance is optically transmitted or
  • This is a display method in which the image is displayed on the display unit so as to be superimposed on the captured field of view image of the user.
  • the display device includes a display control unit that synchronizes with a predetermined start timing of the content and displays the image on the display unit in a superimposed manner, the content, and the content It is a broadcasting system having a broadcasting unit that broadcasts synchronization information.
  • predetermined content and synchronization information for synchronizing with the content are broadcasted, the synchronization information for synchronizing with the content is received, and the performance of the performer is obtained by motion capture.
  • the present invention is important in viewing the performance by displaying factors such as the undulation of the emotion during the performance of the performer and the gaze direction as an effect image together with the joint motion image obtained by motion capture of the performer's performance. It is possible to express the increase in the emotions of the performer as an element.
  • FIG. 1 is a block diagram for explaining an outline of an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of an image displayed on the display unit 1.
  • FIG. 3 is a block diagram of the performance information display apparatus according to the first embodiment of the present invention.
  • FIG. 4 is a diagram showing an example of an HMD that is the performance information display device 3 according to the first embodiment of the present invention.
  • FIG. 5 is a block diagram of the display control unit 5.
  • FIG. 6 is a view showing an example of a display of a body change image (effect image).
  • FIG. 7 is a diagram showing an example of a display of a body change image (effect image).
  • FIG. 8 is a view showing an example of a display of a body change image (effect image).
  • FIG. 1 is a block diagram for explaining an outline of an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of an image displayed on the display unit 1.
  • FIG. 3 is a block diagram of the performance information
  • FIG. 9 is a view showing an example of a display of a body change image (effect image).
  • FIG. 10 is a diagram showing an example in which the body change image (effect image) is a character.
  • FIG. 11 is a diagram illustrating an example of an image that clearly indicates the line-of-sight direction.
  • FIG. 12 is an operation flowchart of the first embodiment.
  • FIG. 13 is a diagram illustrating an example of a head mounted display (HMD) using a smartphone.
  • FIG. 14 is a diagram for explaining an example of a method for acquiring music data and basic image data.
  • FIG. 15 is a diagram illustrating an example of an image displayed on the display unit when the user views the piano from an oblique direction with the HMD attached.
  • FIG. 16 is a diagram illustrating an example of an image C displayed on the display unit in a state where the user wears the HMD, in which the virtual image B is superimposed on the visual field image A when viewed from behind the performer.
  • FIG. 17 is a diagram showing an example in which an operation element image of a piano operation element (keyboard) is displayed on the upper part of an actual piano, and a performance image is displayed on the virtual operation element image.
  • FIG. 18 is a block diagram of the fourth embodiment.
  • FIG. 19 is a diagram showing an example of an image displayed on the display unit 1 when the performance is calligraphy.
  • FIG. 20 is a block diagram of the performance display device 100 constituted by a processor or the like.
  • FIG. 1 is a block diagram for explaining an outline of an embodiment of the present invention.
  • a display unit 1 on which a view field image is optically transmitted or photographed and displayed, a joint motion image obtained by motion-capturing a performer's performance, and a physical change during the performer's performance.
  • the display device includes a display control unit 2 that displays a virtual image including at least an imaged body change image on the display unit 1 so as to be superimposed on the view field image.
  • performance refers to an action performed by a performer for some purpose. For example, not only playing musical instruments, conducting performances, performing theater, dancing, but also calligraphy, carrying sign language, painting, origami fingers and arms.
  • the display unit 1 is, for example, a display unit of a head mounted display (head mounted display: “Head” Mounted Display, HMD).
  • the head-mounted display includes an optically transmissive head-mounted display in which a visual field image is optically transmitted and displayed, and a video transmissive head-mounted display in which a visual field image is captured and displayed.
  • the view image is a concept that includes not only an image of a musical instrument such as a piano that the user is looking at but also an external scenery.
  • the display control unit 2 is, for example, a processing unit built in a head mounted display.
  • the display control unit 2 superimposes a virtual image including at least a joint motion image obtained by motion capturing the performer's performance and a body change image obtained by imaging a physical change during the performer's performance on the view image, Displayed on the display unit 1.
  • joint motion images There are two virtual images (for example, 3D graphics), and one is a joint motion image obtained by motion capture of the performer's performance.
  • Typical examples of joint motion images are fingering images showing the shape of fingering of musical instrument players, and fingering images of fingers and arms such as calligraphy, sign language, and painting.
  • this fingering image is based on music data such as MIDI.
  • MIDI a schematic representation of fingering (fingering) with respect to a piano keyboard.
  • the other is a feature image of the present invention, which is a body change image (effect image) that visualizes the emotions of the performer during performance.
  • This physical change image (effect image) is a series of performance information about physical changes obtained from at least one of the gaze direction, heart rate, calories burned, body temperature change, blood glucose level, brain waves, etc. It is an effect image that is digitized in time series with respect to the operation of and changes based on the numerical value.
  • These virtual images are superimposed on the view field image and displayed on the display unit 1.
  • FIG. 2 is a diagram showing an example of an image displayed on the display unit 1.
  • the performance of the piano is taken as an example and the joint motion image is a fingering image showing the shape of the fingering of the player of the piano.
  • the fingering image and the body change image are superimposed and displayed on the view image including the piano.
  • a finger to operate a piano keyboard is displayed superimposed on the keyboard.
  • body data obtained from at least one of the gaze direction, heart rate, calorie consumption, body temperature change, blood sugar level, brain wave, etc. as parameters.
  • the displayed body change image effect image
  • the present invention displays elements such as the undulation of the emotion during the performance of the performer and the direction of the line of sight as an effect image together with the joint motion image, so that the emotion of the performer that is an important element in performance viewing is displayed. We can express increase.
  • a performance information display device in which a piano performance is taken as an example of a performance and the joint motion image is a fingering image showing the shape of the fingering of the player of the piano.
  • FIG. 3 is a block diagram of the performance information display device according to the first embodiment of the present invention.
  • the performance information display device 3 includes a display unit 4, a display control unit 5, and a space recognition sensor 6 (including a visible light camera or an infrared camera).
  • a typical example of the performance information display device 3 is a head mounted display (HMD) that can be worn on the head and can see the real world (view image) and can view computer graphics and the like.
  • HMD head mounted display
  • FIG. 4 is a diagram showing an example of the HMD that is the performance information display device 3 according to the first embodiment of the present invention.
  • the user wears the HMD and performs performance practice, appreciation of music, etc. while viewing the musical instrument and performance image displayed on the HMD.
  • FIG. 5 is a block diagram of the display control unit 5.
  • the display control unit 5 includes a storage unit 10 in which performance data including MIDI (Musical Instrument Digital Interface) data and basic image data (fingering data and body data (including a basic body change image)) are stored; A sequencer unit 11 to which MIDI (Musical Instrument Digital Interface) data and basic image data (fingering data and body data) are input, and a sound signal that is a sound source based on the MIDI data input to the sequencer unit 11 An audio processing unit 12 for outputting and an image processing unit 13 for performing drawing by computer graphics based on performance image data input to the sequencer unit 11 and outputting as output image data.
  • MIDI Musical Instrument Digital Interface
  • basic image data including a basic body change image
  • An audio processing unit 12 for outputting and an image processing unit 13 for performing drawing by computer graphics based on performance image data input to the sequencer unit 11 and outputting as output image data.
  • MIDI data stored in the storage unit 10 is data of musical performance sound and is represented based on the MIDI standard.
  • the MIDI standard is a data standard for playing an electronic musical instrument by controlling it from the outside.
  • the MIDI standard is defined so that data on each sound constituting a musical composition is input to the electronic musical instrument or the like in time series.
  • MIDI data for the sound that appears sequentially from the beginning of the song, for each channel that roughly corresponds to part or hand distinction, the pitch, magnitude, length, and start of the next sound from the beginning of that sound. Information such as the interval until the time is given.
  • the MIDI data includes a part of basic image data (fingering data and body data) necessary for the performance image (fingering data and body change image (effect image)).
  • basic image data (fingering data and body data) is stored in an optional part of MIDI.
  • the fingering data is obtained by the performer actually playing an electronic musical instrument, etc., and MIDI data (note number (keyboard position), duration (sound length), velocity (keystroke strength), etc.) is acquired.
  • MIDI data note number (keyboard position), duration (sound length), velocity (keystroke strength), etc.
  • Leap ⁇ Motion as a product that can perform such motion capture. Based on the data acquired in this way, three-dimensional coordinate data of a finger for a musical instrument such as a piano is acquired, and the data is arranged in time series in accordance with the tempo information of the MIDI data.
  • the body data necessary for the body change image is obtained by wearing a measuring instrument such as a heart rate monitor, a thermometer, and a gaze direction detector on the performer during the performance described above.
  • a measuring instrument such as a heart rate monitor, a thermometer, and a gaze direction detector on the performer during the performance described above.
  • Gazical data obtained from at least one of gaze direction, heart rate, calories burned, body temperature change, blood glucose level, brain wave.
  • the acquired body data is arranged in time series according to the tempo information of the MIDI data.
  • performance data including the acquired MIDI (Musical Instrument Digital Interface) data and performance images (fingering data and body change images (effect images)) are stored in the storage unit 10.
  • MIDI Musical Instrument Digital Interface
  • performance images fingering data and body change images (effect images)
  • the sequencer unit 11 inputs performance data including stored MIDI (Musical Instrument Digital Interface) data and basic image data (fingering data and body data), and in time series, the MIDI (Musical Instrument Digital Digital) Interface) data and basic image data (fingering data and body data) are separated. Then, MIDI data (note number (keyboard position), duration (sound length), velocity (key strength), etc.) necessary for audio output is output to the audio processing unit 12. In addition, timing information (playback trigger) and basic image data (fingering data and body data) in MIDI (Musical Instrument Digital Interface) data are output to the image processing unit 13.
  • the audio processing unit 12 generates an audio signal based on MIDI (Musical Instrument Digital Interface) data, and outputs it to an external output device such as an electronic piano or a MIDI keyboard.
  • MIDI Musical Instrument Digital Interface
  • the image processing unit 13 generates a fingering image and a body change image (effect image) based on MIDI (Musical Instrument Digital Interface) data and basic image data (fingering data and body data).
  • MIDI Musical Instrument Digital Interface
  • basic image data fingering data and body data
  • the fingering data and MIDI data By analyzing the fingering data and MIDI data, it is possible to know when to press a certain key on the keyboard.
  • the actual movement and shape of the finger varies depending on whether the target of keystroke is a black key or a white key, and which finger plays which key immediately before and after.
  • the three-dimensional coordinate data of the performer's finger acquired by motion capture is acquired in time series as finger fingering data.
  • the image processing unit 13 uses the signal of the space recognition sensor 6 to see what the visual field image displayed on the display unit 4 of the performance information display device 3 is, specifically, the user is viewing. Analyzes which part of the piano is being viewed (for example, which keyboard of the piano is being viewed).
  • a piano model composed of known piano feet and keyboards is stored as a space recognition method of the image processing unit 13.
  • This known piano model is composed of images taken from a plurality of angles.
  • the position of the space recognition sensor 6 is set as the photographing reference position, the horizontal plane is grasped, and the floor surface is recognized from the area and continuity.
  • the space recognition sensor 6 recognizes an object continuous with the floor, and estimates its shape and distance. It is estimated whether the recognized object matches the stored piano model.
  • the angle and distance from the actual piano are estimated from the positional relationship between the photographing reference position and the object.
  • the positional relationship of the keyboard between the object and the known piano model is known, and the position of the keyboard is estimated based on the angle and distance from the obtained piano.
  • the fingering image is generated by specifying the three-dimensional coordinate data of the player's finger corresponding to the keyboard position.
  • the fingering image is superimposed on the keyboard position of the piano that the user is currently viewing. It should be noted that data representing the shapes of fingers, hands, arm skin, nails and the like are stored in advance in the memory inside the image processing unit 13, and these data and the three-dimensional coordinate data of the performer's fingers are stored. Based on this, a fingering image is drawn.
  • the body change image (effect image) is generated based on the body data.
  • the body data is worn by a measuring instrument such as a heart rate monitor, a thermometer, and a gaze direction detector when performing, and the data obtained from the measuring instrument is normalized. It is arranged in time series according to the tempo information of the data. Therefore, a body change image (effect image) is generated from a function using MIDI data and body data as parameters.
  • a measuring instrument such as a heart rate monitor, a thermometer, and a gaze direction detector when performing
  • a body change image is generated from a function using MIDI data and body data as parameters.
  • effect image For example, as shown in FIG. 6, it is reflected in the generation amount of particles which is one of the particle systems of computer graphics.
  • the smaller the effect E the smaller the generation amount of particles (when the effect E is 0). Does not generate particles).
  • the larger the effect E the larger the amount of particles generated (when the effect E is 100, the amount of particles generated is the maximum).
  • a fluctuation element may be added to the effect.
  • E motion value
  • the parameter f may be changed randomly. In this way, it is possible to change the speed at which particles disappear as shown in FIG. 7, the generation speed of particles as shown in FIG. 8, and the angle at which particles are generated as shown in FIG.
  • other information of the MIDI data for example, a value such as a duration may be used to give undulation to the particles.
  • FIG. 10 is a diagram illustrating an example in which the body change image (effect image) is a character.
  • the left diagram shows the character when the effect E (emotional value) is small
  • the right diagram shows the character when the effect E (emotional value) is large. Is.
  • the effect E (emotional value) is small, the character has a dark image, and when the effect E (emotional value) is large, the character has a bright image. In this way, the character motion may be changed according to the effect E (emotion value).
  • particles corresponding to the above-described effect E (emotion value) may be generated from the character.
  • the image processing unit 13 uses the body change image (effect image) generated in this manner as a fingering image, particularly at the timing of the finger pressing the instrument operator (for example, a piano keyboard). It is displayed superimposed on the image.
  • FIG. 11 is a diagram illustrating an example of an image that clearly indicates the line-of-sight direction.
  • the user is looking at the front of the piano, and the fingering image and the body change image (effect image) are superimposed and displayed on the actual piano keyboard.
  • FIG. 12 is an operation flowchart of the first embodiment.
  • the sequencer unit 11 of the display control unit 5 reads performance data stored in the storage unit 10 (Step 100).
  • the sequencer unit 11 extracts timing information from MIDI (Musical Instrument Digital Interface) data of the performance data (Step 101).
  • MIDI Musical Instrument Digital Interface
  • the image processing unit 13 estimates the positional relationship between the object displayed on the display unit 4 of the performance information display device 3 and the performance information display device 3 based on the result of the space recognition sensor 6 (Step 102). Then, a fingering image is generated based on the estimated positional relationship (Step 103).
  • the image processing unit 13 calculates an effect which is an effect of the body change image (effect image) from a function having MIDI data and body data as parameters (Step 104). Then, a body change image (effect image) is generated from the calculated effect (Step 105).
  • the generated fingering image and body change image are superimposed and displayed on the operator of the musical instrument that is the object in the view field image (Step 106) in accordance with the timing of sound output.
  • the performer's important elements in performance viewing Can express emotional growth.
  • the head mounted display (HMD) shown in FIG. 4 has been described as an example.
  • the present invention is not limited to this, and for example, a function similar to that of a head mounted display (HMD) may be realized by attaching a smartphone to goggles to which a smartphone can be attached.
  • FIG. 13 is a diagram showing an example of a head mounted display (HMD) using a smartphone.
  • FIG. 13 shows a goggle 51 that can store and wear the smartphone 50. Since the smartphone 50 is equipped with a camera, an acceleration sensor, and the like, it can take a field-of-view image from the camera, and can perform space recognition based on sensing information of various sensors. Therefore, the same function as the performance information display device 3 described above can be realized even with a head-mounted display (HMD) using a smartphone.
  • HMD head-mounted display
  • music data such as MIDI (Musical Instrument Digital Interface) data, and basic image data (fingering data and physical data (including basic physical change images)
  • MIDI Musical Instrument Digital Interface
  • basic image data fingering data and physical data (including basic physical change images)
  • the user goes directly to the store to store the data.
  • a content distribution server 60 for distributing music data and basic image data is prepared, and the user accesses the performance information display device 3 using a key code
  • Music data and basic image data may be downloaded and acquired.
  • the performance information display device 3 is effective in the case of a head mounted display (HMD) or a smartphone having a communication function.
  • HMD head mounted display
  • smartphone having a communication function.
  • a performance viewing mode is added to the first embodiment described above.
  • the user usually looks at an instrument such as a piano, but the line-of-sight angle varies. For example, when the whole instrument such as a piano is viewed, or when the instrument such as a piano is viewed from the side. Furthermore, there are cases where the instrument itself such as a piano is not seen.
  • the image processing unit 13 can recognize the visual field image displayed on the display unit 4 of the performance information display device 3 by the space recognition sensor 6, and can recognize a piano or the like. It is also possible to recognize when the instrument is viewed from the side or when the instrument such as a piano is not viewed.
  • the image processing unit 13 changes the performance image in accordance with the viewing angle of the user.
  • the fingering image is displayed not only as an image of a finger and arm, but also as an entire player. Therefore, the image processing unit 13 detects the positional relationship between the predetermined reference portion including the musical instrument and the performance information display device 3, and the performer viewed from the direction displayed on the display unit 4 of the performance information display device 3.
  • FIG. 15 is a diagram illustrating an example of an image displayed on the display unit when the user views the piano from an oblique direction with the HMD attached.
  • an image of a fingering and a player viewed from an oblique direction and a body change image (effect image) are superimposed and displayed.
  • the user may appreciate the piano keyboard from an invisible position with the HMD attached. In that case, it is only necessary to display an image that can be seen naturally from that position.
  • the view image actual video
  • the view image A a plurality of people are wearing the HMD for viewing
  • the fingering that can be seen from that position A virtual image B that is an image, a back view of a player, a part of a body change image (effect image), or the like is generated, and the view image A and the virtual image B are superimposed to display the image C on the display unit.
  • the display of the fingering and performer images and the body change image (effect image) is changed according to the viewing position and viewing direction of the user, so that the image is not unnatural for the user. effective.
  • a practice mode is added to the first and second embodiments described above.
  • the finger and the fingering image are displayed overlapping each other. This is convenient because it is only necessary to carry your finger so that it overlaps the fingering image when you practice. However, if your finger overlaps the fingering image, it may be difficult to see your finger, which may be inconvenient.
  • an example of displaying an operator of a musical instrument such as a piano (for example, a piano keyboard) and a performance image (fingering and body change image (effect image)) so as not to overlap.
  • a musical instrument such as a piano (for example, a piano keyboard) and a performance image (fingering and body change image (effect image)) so as not to overlap.
  • the image processing unit 13 estimates the positional relationship between a musical instrument such as a piano and the performance information display device 3 such as an HMD, and determines the position of an operator of the musical instrument such as a piano. Then, a performance image (fingering and body change image (effect image)) is displayed so as not to overlap with an operator of a musical instrument such as a piano. At this time, an operator image of an operator of a musical instrument such as a piano (for example, a piano keyboard) is prepared in advance, and a performance image (fingering and body change image (effect image) is provided on the virtual operator image. )) May be displayed.
  • FIG. 17 shows an example in which an operator image of a piano operator (keyboard) is displayed above the actual piano, and a performance image is displayed on the virtual operator image.
  • a mode for displaying an operator of an instrument such as an actual piano (for example, a piano keyboard) and a performance image (fingering and body change image (effect image)) so as not to overlap. Since it is provided, it is possible to eliminate the inconvenience that it is difficult to see one's finger due to the performance image during practice.
  • FIG. 18 is a block diagram of the fourth embodiment.
  • the fourth embodiment has a broadcasting station 20, a television receiver 21, and a performance information display device 3.
  • symbol is attached
  • Broadcast station 20 transmits a key trigger by an event message or the like simultaneously with output of a predetermined key sound.
  • the television receiver 21 receives key sounds and event messages. Then, the received key sound is output.
  • the sound output from the television receiver 21 is acquired by the sound source acquisition unit 30 of the performance information display device 3.
  • the television receiver 21 extracts a telegram of the received event message by the hybrid cast application, transmits the telegram to the performance information display device 3 existing in the same network, and obtains a key trigger acquisition unit of the performance information display device 3. 31.
  • the performance information display device 3 records the time difference between the key sound source acquired by the sound source acquisition unit 30 and the key trigger acquired by the key trigger acquisition unit 31 as an error adjustment amount.
  • the time difference is a delay time for decoding or the like due to individual differences of the television receiver 21.
  • the performance information display device 3 adds an error adjustment amount based on the acquired key trigger, and starts playing the performance data stored in the storage unit 11 of the performance information display device 3.
  • the performance data linked with the broadcast program can be reproduced by taking into account the delay time such as decoding due to individual differences of the television receiver 21.
  • the embodiment has been described by taking the performance of an instrument or the like as an example, but the present invention is not limited to this.
  • the performance is an example of calligraphy and the joint motion image is an image of a brush, a finger, and an arm in calligraphy will be described.
  • the configuration of the fifth embodiment is basically the same as that of the above-described embodiment, but since the data stored in the storage unit 10 of the display control unit 5 does not require sound data, the basic image There are only data (fingering data and body data) and a sequencer unit 11 for separating MIDI (Musical Instrument Digital Interface) data is unnecessary.
  • the basic image data includes time-series fingering data (brush, finger and arm image data) along the writing order, body data along the time series, and handwriting generation images along the time series. Is included.
  • the fingering data allows the performer to actually write the characters
  • the infrared sensor can capture the performer's brushing fingering (hands, fingers, brush movements, handwriting in three dimensions, Information on movement up and down, left and right, and back and forth), and based on the acquired data, 3D coordinate data of brush strokes is acquired, and the data is arranged in time series.
  • the body data required for the body change image (effect image) can be obtained from the above-mentioned calligraphy performance by wearing a measuring instrument such as a heart rate monitor, thermometer, and gaze direction detector.
  • Information (physical data obtained from at least one of gaze direction, heart rate, calories burned, body temperature change, blood glucose level, brain wave) is acquired.
  • the acquired body data is arranged according to the time series of fingering data.
  • the spatial recognition of the image processing unit 13 is a de facto standard, so if the half paper is a known model, the space can be easily recognized. Therefore, since the user can recognize the position of the half paper currently being viewed, the fingering image is generated by specifying the three-dimensional coordinate data of the performer's brush fingering corresponding to the half paper position. The fingering image and the body change image (effect image) at that time are superimposed on the half paper position that the user is currently viewing.
  • FIG. 19 is a diagram showing an example of an image displayed on the display unit 1 when the performance is calligraphy.
  • the fingering image and the body change image are superimposed and displayed on the view image including the half paper.
  • a fingering image a brush, a finger and a hand operating the brush, and a handwriting are displayed superimposed on a half-paper.
  • the brush operated by the performer it was obtained from a function using as parameters the body data obtained from at least one of the gaze direction, heart rate, calories burned, body temperature change, blood sugar level, brain wave, etc.
  • a body change image effect image is displayed.
  • the fifth embodiment displays the joint motion image of the performance performed by the performer and the effect image of elements such as the undulations of the performer's performance and the direction of the gaze direction. Express emotional relief.
  • a virtual piano or half paper image is generated, and the virtual piano or half paper image is placed at a favorite position.
  • the fingering image and the body change image (effect image) may be displayed.
  • each unit is configured by hardware, but may be configured by a program that causes a processor (for example, CPU) to perform the above-described operation processing.
  • a processor for example, CPU
  • FIG. 20 is a block diagram of the performance display device 100 configured by a processor or the like.
  • the performance display device 100 includes a display unit 4 such as the above-described display and a space recognition sensor 6 (including a visible light camera or an infrared camera). Furthermore, the performance display device 100 includes a processor 110, a memory 111, and a memory 112.
  • the memory 111 is a main memory, and the memory 111 stores a program for performing processing corresponding to the display control unit 5 described above.
  • the memory 112 is a hard disk, a flash memory, or the like.
  • the memory 112 stores joint motion data, body change data, and body change image data.
  • the processor 110 executes a program stored in the memory 101 and processes joint motion data, body change data, and body change image data, thereby realizing the same function as the above-described embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Processing Or Creating Images (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Studio Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本発明は、視界画像が光学的透過又は撮影されて表示される表示部と、演者のパフォーマンスをモーションキャプチャして得られた関節動作画像と、演者のパフォーマンス時の身体変化を画像化した身体変化画像とを少なくとも含む仮想画像を、前記視界画像に重畳して前記表示部に表示する表示制御部とを有する表示装置である。

Description

プログラム、表示装置、表示方法、放送システム及び放送方法
　本発明は、プログラム、表示装置、表示方法、放送システム及び放送方法に関する。
　鍵盤楽器などを練習する場合、どこをどのように押さえるかが楽譜を見ただけではわかりづらく、練習がうまく出来なかったり、上達しなかったりすることがある。これは、演奏する対象の鍵盤と、演奏を指示している楽譜に物理的な隔たりがあるからである。この隔たりがあるために、演奏者（練習者）は、楽譜と鍵盤を交互に見なければならず、演奏練習は、非常にわずらわしいものとなる。このような場合に、演奏者が楽譜と鍵盤を交互に見なくても良いように、楽曲データに基づいて、鍵盤を光らせるなどの演奏ガイドを表示する電子楽器が提案されている。
　しかし、鍵盤上に演奏ガイドを表示した場合、どの操作子（鍵）を操作するのかは、鍵盤から目を離さずに確認することが出来るが、その操作子をどの指で操作するべきなのかは、鍵盤上に表示される演奏ガイドからは、判別することが出来ない。
　そこで、演奏者に演奏支援情報を効率的に提示する発明が開示されている。この発明は、複数の鍵盤等の演奏操作子と、複数の演奏操作子を含む視界を撮影し、視界画像情報を生成する撮影手段と、演奏者の運指画像と複数の演奏操作子を含む視界画像情報とを合成して表示するものである。
特開２００２－３６６１４２号公報 特開２０００－３５２９７３号公報 特許第３９６８９７５号公報
　上述した発明は、鍵盤等の操作子をどの指で操作すれば良いか、また、実際に演奏の練習をしながら、指の運び方の情報（運指情報）が表示されるので、ユーザは表示画面と、表示画面の向こう側に見える実際の楽器及びユーザの手を見ながら演奏練習を行うことができる。
　しかしながら、上述した発明は、演奏視聴において重要な要素である演奏者の演奏時の感情の起伏や、視線方向等の要素を反映することはできず、指の動かし方だけを示したものにすぎなかった。
　同様なことは、上述した楽器の演奏のみならず、演者が何らかの目的を持って行うパフォーマンス、例えば、演劇や、ダンス、演奏の指揮のみならず、書道や、手話、絵画などの指や腕の運びなどにもいえ、パフォーマンスの画像を見ただけでは、パフォーマンス時の感情の起伏等がわからず、ユーザに提供する情報が不足していた。
　そこで、本発明は、パフォーマンス視聴において重要な要素である演者のパフォーマンス時の感情の起伏や、視線方向等の要素を反映することができるプログラム、表示装置、表示方法、放送システム及び放送方法を提供することにある。
　本発明の一態様は、演者のパフォーマンスをモーションキャプチャして得られた関節動作画像と、前記演者のパフォーマンス時の身体変化を画像化した身体変化画像とを少なくとも含む仮想画像を、光学的透過又は撮影されたユーザの視界画像に重畳して表示部に表示する表示処理をコンピュータに実行させるプログラムである。
　本発明の一態様は、視界画像が光学的透過又は撮影されて表示される表示部と、演者のパフォーマンスをモーションキャプチャして得られた関節動作画像と、前記演者のパフォーマンス時の身体変化を画像化した身体変化画像とを少なくとも含む仮想画像を、前記視界画像に重畳して前記表示部に表示する表示制御部とを有する表示装置である。
　本発明の一態様は、演者のパフォーマンスをモーションキャプチャして得られた関節動作画像と、前記演者のパフォーマンス時の身体変化を画像化した身体変化画像とを少なくとも含む仮想画像を、光学的透過又は撮影されたユーザの視界画像に重畳して表示部に表示する表示方法である。
　本発明の一態様は、視界画像が光学的透過又は撮影されて表示される表示部と、放送されるコンテンツから、前記コンテンツと同期を取るための同期情報を受信する受信部と、視界画像が光学的透過又は撮影されて表示される表示部と、演者のパフォーマンスをモーションキャプチャして得られた関節動作画像と、前記演者のパフォーマンス時の身体変化を画像化した身体変化画像とを少なくとも含む仮想画像を、前記同期情報に基づいて、前記コンテンツの所定の開始タイミングと同期させて、前記視界画像に重畳して前記表示部に表示する表示制御部とを有する表示装置と、前記コンテンツと、前記同期情報とを放送する放送部とを有する放送システムである。
　本発明の一態様は、所定のコンテンツと、前記コンテンツと同期を取るための同期情報とを放送し、前記コンテンツと同期を取るための同期情報を受信し、演者のパフォーマンスをモーションキャプチャして得られた関節動作画像と、前記演者のパフォーマンス時の身体変化を画像化した身体変化画像とを少なくとも含む仮想画像を、前記同期情報に基づいて、前記コンテンツの所定の開始タイミングと同期させて、前記視界画像に重畳して表示する放送方法である。
　本発明は、演者のパフォーマンス時の感情の起伏や、視線方向等の要素を、エフェクト画像として、演者のパフォーマンスをモーションキャプチャして得られた関節動作画像と共に表示することにより、パフォーマンス視聴において重要な要素である演者の感情の高まり等を表現することができる。
図１は本発明の実施の形態の概要を説明するためのブロック図である。 図２は表示部１に表示される画像の一例を示した図である。 図３は本発明の第１の実施の形態による演奏情報表示装置のブロック図である。 図４は、本発明の第１の実施の形態における演奏情報表示装置３であるＨＭＤの一例を示した図である。 図５は表示制御部５のブロック図である。 図６は身体変化画像（エフェクト画像）の表示の一例を示した図である。 図７は身体変化画像（エフェクト画像）の表示の一例を示した図である。 図８は身体変化画像（エフェクト画像）の表示の一例を示した図である。 図９は身体変化画像（エフェクト画像）の表示の一例を示した図である。 図１０は身体変化画像（エフェクト画像）がキャラクタである例を示した図である。 図１１は視線方向を明示する画像の一例を示した図である。 図１２は第１の実施の形態の動作フローチャートである。 図１３はスマートフォンを利用したヘッドマウントディスプレイ（ＨＭＤ）の一例を示した図である。 図１４は音楽データ及び画像基本データを取得する方法の一例を説明するための図である。 図１５はユーザがＨＭＤを装着した状態で、ピアノを斜め方向から見た時に表示部に表示される画像の一例を示した図である。 図１６はユーザがＨＭＤを装着した状態で、表示部に表示される、演奏者の後方から見た時に、視界画像Ａに仮想画像Ｂが重畳された画像Ｃの一例を示した図である。 図１７は実際のピアノの上部に、ピアノの操作子（鍵盤）の操作子画像を表示し、この仮想の操作子画像の上に、演奏画像を表示している例を示す図である。 図１８は第４の実施の形態のブロック図である。 図１９はパフォーマンスが書道の場合の表示部１に表示される画像の一例を示した図である。 図２０はプロセッサ等で構成したパフォーマンス表示装置１００のブロック図である。
　本発明の実施の形態を説明する。
　図１は、本発明の実施の形態の概要を説明するためのブロック図である。
　本発明の実施の形態は、視界画像が光学的透過又は撮影されて表示される表示部１と、演者のパフォーマンスをモーションキャプチャして得られた関節動作画像と、演者のパフォーマンス時の身体変化を画像化した身体変化画像とを少なくとも含む仮想画像を、視界画像に重畳して表示部１に表示する表示制御部２とを有する表示装置である。
　ここで、パフォーマンスとは、演者が何らかの目的を持って行う動作をいう。例えば、楽器の演奏、演奏の指揮、演劇、ダンスのみならず、書道や、手話、絵画、折り紙などの指や腕の運びなども含まれる。
　表示部１は、例えば、ヘッドマウントディスプレイ（頭部装着ディスプレイ: Head Mounted Display、HMD）のディスプレイ部である。ヘッドマウントディスプレイには、視界画像が光学的透過されて表示される光学透過型ヘッドマウントディスプレイや、視界画像が撮影されて表示されるビデオ透過型ヘッドマウントディスプレイ等があるが、いずれのものでも良い。尚、視界画像は、ユーザが見ているピアノ等の楽器の画像のみならず、外部の景色等も含む概念である。
　表示制御部２は、例えば、ヘッドマウントディスプレイに内蔵された処理部である。表示制御部２は、演者のパフォーマンスをモーションキャプチャして得られた関節動作画像と、演者のパフォーマンス時の身体変化を画像化した身体変化画像とを少なくとも含む仮想画像を視界映像に重畳して、表示部１に表示する。
　仮想画像（例えば、３Ｄグラフィック）には二つあり、ひとつは、演者のパフォーマンスをモーションキャプチャして得られた関節動作画像である。関節動作画像の例としては、楽器の演奏者の運指の形状を示す運指画像や、書道や、手話、絵画などの指や腕の運指画像が代表的なものである。例えば、関節動作画像が演奏者の運指の形状を示す運指画像である場合、この運指画像は、ＭＩＤＩ等の楽曲データに基づいて、その演奏者が楽器を演奏する際の操作子（例えば、ピアノの鍵盤）に対する指運び（運指）を模式的に表したものである。
　もうひとつは、本発明の特徴をなすものであり、演者のパフォーマンス時の感情等を画像化した身体変化画像（エフェクト画像）である。この身体変化画像（エフェクト画像）は、演者のパフォーマンス時の視線方向、心拍数、消費カロリー、体温変化、血糖値、脳波等の少なくとも一つから得られる身体変化に関する身体変化情報を、パフォーマンスの一連の動作に対して時系列に数値化し、数値に基づいて変化するエフェクト画像である。これらの仮想画像が視界画像に重畳して表示部１に表示される。
　図２は、表示部１に表示される画像の一例を示した図である。図２では、パフォーマンスの一例として、ピアノの演奏を例にし、関節動作画像がそのピアノの演奏者の運指の形状を示す運指画像である場合の画像の一例を示している。具体的には、ピアノを含む視界画像に、運指画像と身体変化画像とが重畳されて表示されている。運指画像はピアノの鍵盤（操作子）を操作するべき指が、その鍵盤に重ね合わせて表示されている。更に、その指で演奏された鍵盤上からは、その演奏時の視線方向、心拍数、消費カロリー、体温変化、血糖値、脳波等の少なくとも一つから得られる身体データをパラメータとする関数から得られた身体変化画像（エフェクト画像）が表示されている。図２では、ある演奏の一瞬を示した画像であるため、身体変化画像（エフェクト画像）の変化を表現することはできないが、演奏時間の経過によって、身体変化画像（エフェクト画像）は変化する。例えば、演奏者の心拍数が上昇すると、出現する粒子の数が多くなったり、その色が変化したりする。
　このように、本発明は、演者のパフォーマンス時の感情の起伏や、視線方向等の要素を、エフェクト画像として、関節動作画像と共に表示することにより、パフォーマンス視聴において重要な要素である演者の感情の高まり等を表現することができる。
　次に、本発明の第１の実施の形態を説明する。
　第１の実施の形態では、パフォーマンスの一例として、ピアノの演奏を例にし、関節動作画像がそのピアノの演奏者の運指の形状を示す運指画像である演奏情報表示装置について説明する。
　図３は、本発明の第１の実施の形態による演奏情報表示装置のブロック図である。
　演奏情報表示装置３は、表示部４と、表示制御部５と、空間認識センサ６（可視光カメラまたは赤外線カメラ等を含む）とを備える。演奏情報表示装置３の代表的な例としては、頭部に装着し、実世界（視界画像）を見ることができると共に、コンピュータグラフィックス等を視聴できるヘッドマウントディスプレイ（ＨＭＤ）がある。
　図４は、本発明の第１の実施の形態における演奏情報表示装置３であるＨＭＤの一例を示した図である。ユーザは、ＨＭＤを装着して、そこに映し出される楽器及び演奏画像を視聴しながら、演奏練習や、曲の鑑賞等を行う。
　次に、表示制御部５の具体的な構成について説明する。図５は表示制御部５のブロック図である。
　表示制御部５は、ＭＩＤＩ(Musical Instrument Digital Interface)データと、画像基本データ（運指データ及び身体データ（基本となる身体変化画像も含む））とを含む演奏データが格納された格納部１０と、ＭＩＤＩ(Musical Instrument Digital Interface)データと画像基本データ（運指データ及び身体データ）とが入力されるシーケンサ部１１と、音源であってシーケンサ部１１に入力されたＭＩＤＩデータに基づいて音声信号を出力する音声処理部１２と、シーケンサ部１１に入力された演奏画像データに基づいてコンピュータグラフィクスにより描画を行って出力画像データとして出力する画像処理部１３と、から構成されている。
　格納部１０に格納されるＭＩＤＩデータは、楽曲の演奏音のデータであって、ＭＩＤＩ規格に基づいて表わされている。ＭＩＤＩ規格は、電子楽器を外部から制御して演奏させるためのデータの規格であり、楽曲を構成する各音についてのデータを時系列にしたがって、電子楽器等に入力するように定められている。ＭＩＤＩデータでは、楽曲の先頭から順次出現する音に対し、パートや手の区別に概ね対応するチャネルごとに、その音の音程や大きさ、長さ、その音の開始時点から次の音の開始時点までの間隔などの情報を与えている。
　本実施の形態では、そのＭＩＤＩデータに、演奏画像（運指データ及び身体変化画像（エフェクト画像））に必要な画像基本データ（運指データ及び身体データ）の一部を含めている。例えば、ＭＩＤＩのオプション部分に、画像基本データ（運指データ及び身体データ）を格納している。
　運指データは、演奏者に電子楽器等を実際に演奏してもらい、ＭＩＤＩデータ（ノートナンバー（鍵盤位置）、デュレーション（音の長さ）、ベロシティ（打鍵強さ）等）を取得する。また、同時に、指の運指データの取得のため（関節動作画像を生成するに必要なデータ）、赤外線センサにより、演奏者の運指（手や指の動きを、３次元的に捉えることが可能で、上下左右、前後への移動の情報）も撮影する（モーションキャプチャする）。尚、このようなモーションキャプチャができる製品としては、Leap Motionがある。このように取得したデータを元に、ピアノ等の楽器に対する指の３次元の座標データを取得し、そのデータを、ＭＩＤＩデータのテンポ情報に合わせて、時系列に配置する。
　一方、身体変化画像（エフェクト画像）に必要な身体データは、上述した演奏の際、演奏者に、心拍計や体温計、視線方向検知器などの計測器を装着し、その計測器から身体変化情報（視線方向、心拍数、消費カロリー、体温変化、血糖値、脳波の少なくとも一つから得られる身体データ）を取得する。取得した身体データは、ＭＩＤＩデータのテンポ情報に合わせて、時系列に配置する。
　このように、取得されたＭＩＤＩ(Musical Instrument Digital Interface)データと演奏画像（運指データ及び身体変化画像（エフェクト画像））とを含む演奏データは、格納部１０に格納される。
　シーケンサ部１１は、格納されているＭＩＤＩ(Musical Instrument Digital Interface)データと、画像基本データ（運指データ及び身体データ）とを含む演奏データを入力し、時系列に沿って、ＭＩＤＩ(Musical Instrument Digital Interface)データと、画像基本データ（運指データ及び身体データ）とを分離する。そして、音声出力に必要なＭＩＤＩデータ（ノートナンバー（鍵盤位置）、デュレーション（音の長さ）、ベロシティ（打鍵強さ）等）を、音声処理部１２に出力する。また、ＭＩＤＩ(Musical Instrument Digital Interface)データのうちのタイミング情報（再生トリガ）や、画像基本データ（運指データ及び身体データ）を、画像処理部１３に出力する。
　音声処理部１２は、ＭＩＤＩ(Musical Instrument Digital Interface)データに基づいて音声信号を生成し、外部の出力装置、例えば、電子ピアノ、ＭＩＤＩキーボード等に出力する。
　画像処理部１３は、ＭＩＤＩ(Musical Instrument Digital Interface)データと、画像基本データ（運指データ及び身体データ）に基づいて、運指画像と、身体変化画像（エフェクト画像）とを生成する。
　まず、運指画像の生成について説明する。
　運指データとＭＩＤＩデータとを解析することにより、鍵盤上のある鍵をどのタイミングで打鍵すればよいかが分かる。しかしながら、実際の指の動きや形状は、打鍵対象が黒鍵であるか白鍵であるか、また、直前直後にどの指がどの鍵を弾くかなどに応じて変化する。本実施の形態では、指の運指データとして、モーションキャプチャにより取得した演奏者の指の３次元の座標データを、時系列的に取得している。
　一方、画像処理部１３は、空間認識センサ６の信号により、演奏情報表示装置３の表示部４に映し出される視界画像がどのような画像であるか、具体的には、ユーザが見ているのは、ピアノのどの部分（例えば、ピアノのどの鍵盤であるのか）を見ているかを解析する。
　例えば、画像処理部１３の空間認識の方法として、既知のピアノの足および鍵盤から構成されるピアノモデルを記憶しておく。この既知のピアノモデルは、複数角度から撮影した画像より構成されるものとする。次に、空間認識センサ６の位置を撮影基準位置とし、水平面を把握し、その面積や、連続性から床面を認識する。そして、空間認識センサ６により、床と連続する対象物を認識し、その形状および距離を推定する。認識された対象物が、記憶されているピアノモデルと一致するか推定する。認識した対象物が既知のピアノモデルと合致する場合に、撮影基準位置とこの対象物との位置関係から実際のピアノとの角度、距離を推定する。そして、対象物と既知のピアノモデルとの鍵盤の位置関係は既知であるとし、得られたピアノとの角度、距離を元に鍵盤の位置を推定する。
　このように、ユーザが、現在、見ているピアノの鍵盤位置を認識することができるので、その鍵盤位置に対応する演奏者の指の３次元の座標データを特定して運指画像を生成し、その運指画像を、ユーザが、現在見ているピアノの鍵盤位置に重畳する。尚、指や手、腕の皮膚や爪などの形状を表わすデータは、画像処理部１３の内部のメモリに予め蓄積しておき、これらのデータと演奏者の指の３次元の座標データとに基づいて、運指画像を描画するようにする。
　次に、画像処理部１３による身体変化画像（エフェクト画像）の生成について説明する。
　身体変化画像（エフェクト画像）は、身体データに基づいて生成する。身体データは、上述した通り、演奏の際、演奏者に、心拍計や体温計、視線方向検知器などの計測器を装着し、その計測器から得られたデータが正規化され、そのデータがＭＩＤＩデータのテンポ情報に合わせて時系列に配置されている。そこで、ＭＩＤＩデータと身体データとをパラメータとする関数から、身体変化画像（エフェクト画像）を生成する。具体的な一例を説明すると、ＭＩＤＩデータのベロシティ（打鍵強さ）の値をＰ、演奏者の心拍数のデータをＶとすると、エフェクトＥ（感情値）は、以下の式で表現することができる。
Ｅ＝Ｐ×Ｖ
　次に、得られたエフェクトＥを０から１００の間で正規化する。そして、あらかじめ設定した身体変化画像（エフェクト画像）に反映させる。例えば、図６に示すように、コンピュータグラフィックスのパーティクル・システムの一つである粒子の発生量に反映させ、エフェクトＥが小さいほど、粒子の発生量を少なくする（エフェクトＥが０の場合には粒子は発生しない）。一方、エフェクトＥが大きいほど、粒子の発生量を多くする（エフェクトＥが１００の場合には粒子の発生量は最大となる）。
　また、これに限らず、エフェクトに揺らぎの要素を加えても良い。例えば、エフェクトＥ（感情値）に、粒子の発生速度や消える速度、粒子の発生角度を変化させる揺らぎのパラメータｆを加え、
Ｅ＝Ｐ×Ｖ×ｆ
とし、パラメータｆをランダムに変化させるようにしても良い。このようにすれば、図７のように粒子の消える速度や、図８のように粒子の発生速度、図９のように粒子が発生させる角度を変化させることができる。更に、ＭＩＤＩデータの他の情報、例えば、デュレーション等の値を利用して、粒子にうねりを与えるようにしても良い。
　また、表示する画像は、粒子だけでなく、音符や他のキャラクタであっても良い。図１０は、身体変化画像（エフェクト画像）がキャラクタである例を示した図である。図１０の例では、左側の図はエフェクトＥ（感情値）が小さい場合のキャラクタの様子を示したものであり、右側の図はエフェクトＥ（感情値）が大きい場合のキャラクタの様子を示したものである。エフェクトＥ（感情値）が小さい場合にはキャラクタは暗いイメージとなり、エフェクトＥ（感情値）が大きい場合にはキャラクタは明るいイメージとなる。このように、エフェクトＥ（感情値）に応じてキャラクタの動作を変化させるようにしても良い。更に、キャラクタの動作の変化に加え、キャラクタから上述したエフェクトＥ（感情値）に応じた粒子を発生させるようにしても良い。
　画像処理部１３は、このようにして生成された身体変化画像（エフェクト画像）を、運指画像に、特に、そのタイミングで、楽器の操作子（例えば、ピアノの鍵盤）を押さえている指の画像上に重畳して表示する。
　更に、画像処理部１３は、身体データが視線方向を含む場合、その視線方向を明示する画像を身体変化画像に追加しても良い。図１１は、視線方向を明示する画像の一例を示した図である。図１１の例では、ユーザがピアノの正面を見ており、実際のピアノの鍵盤上に、運指画像と身体変化画像（エフェクト画像）とが重畳されて表示されている例である。
　続いて、第１の実施の形態の動作を説明する。
　図１２は第１の実施の形態の動作フローチャートである。
　まず、表示制御部５のシーケンサ部１１は、格納部１０に格納されている演奏データを読み込む（Ｓｔｅｐ　１００）。
　シーケンサ部１１は、演奏データのＭＩＤＩ(Musical Instrument Digital Interface)データからタイミング情報を抽出する（Ｓｔｅｐ　１０１）。
　次に、画像処理部１３は、空間認識センサ６の結果により、演奏情報表示装置３の表示部４に映し出される対象物と演奏情報表示装置３との位置関係を推定する（Ｓｔｅｐ　１０２）。そして、推定された位置関係に基づいて、運指画像を生成する（Ｓｔｅｐ　１０３）。
　また、画像処理部１３は、ＭＩＤＩデータと身体データとをパラメータとする関数から、身体変化画像（エフェクト画像）の効果であるエフェクトを算出する（Ｓｔｅｐ　１０４）。そして、算出されたエフェクトから、身体変化画像（エフェクト画像）を生成する（Ｓｔｅｐ　１０５）。
　最後に、音声出力のタイミングに合わせて、生成した運指画像及び身体変化画像（エフェクト画像）を、視界画像中の対象物である楽器の操作子上に重畳して表示する（Ｓｔｅｐ　１０６）。
　第１の実施の形態は、演奏者の演奏時の感情の起伏や、視線方向等の要素を、エフェクト画像として、運指画像と共に表示することにより、演奏視聴において重要な要素である演奏者の感情の高まり等を表現することができる。
　尚、上述した第１の実施の形態では、図４に示すヘッドマウントディスプレイ（ＨＭＤ）を例にして説明した。しかし、これに限らず、例えば、スマートフォンを装着できるゴーグルに、スマートフォンを装着してヘッドマウントディスプレイ（ＨＭＤ）と同様な機能を実現しても良い。
　図１３はスマートフォンを利用したヘッドマウントディスプレイ（ＨＭＤ）の一例を示した図である。図１３では、スマートフォン５０を収納、装着できるゴーグル５１を示している。スマートフォン５０は、カメラや加速度センサ等が装備されているため、カメラから視界画像を撮影することができ、また、各種センサのセンシング情報により、空間認識を行うことができる。よって、スマートフォンを利用したヘッドマウントディスプレイ（ＨＭＤ）でも、上述した演奏情報表示装置３と同様な機能を実現できる。
　また、ＭＩＤＩ(Musical Instrument Digital Interface)データ等の音楽データ、及び画像基本データ（運指データ及び身体データ（基本となる身体変化画像も含む））であるが、ユーザが店舗に直接出向いてそれらデータを購入しても良いが、例えば、図１４のように、音楽データ及び画像基本データを配信するコンテンツ配信サーバ６０を用意し、ユーザが演奏情報表示装置３により、キーコードを用いてアクセスし、音楽データ及び画像基本データをダウンロードして取得するようにしても良い。この場合、演奏情報表示装置３が通信機能を有するヘッドマウントディスプレイ（ＨＭＤ）やスマートフォン場合に有効である。
　第２の実施の形態を説明する。
　第２の実施の形態は、上述した第１の実施の形態に、演奏視聴モードを追加した形態である。
　上述したように、ユーザは通常、ピアノ等の楽器を見ているのであるが、その視線角度はまちまちである。例えば、ピアノ等の楽器全体を見ている場合や、ピアノ等の楽器を横から見ている場合などである。更には、ピアノ等の楽器自体を見ていない場合もある。
　一方、上述したように、画像処理部１３は、空間認識センサ６により、演奏情報表示装置３の表示部４に映し出される視界画像がどのような画像であるか、認識することができ、ピアノ等の楽器を横から見ている場合や、ピアノ等の楽器自体を見ていない場合も認識可能である。
　そこで、第２の実施の形態では、画像処理部１３は、ユーザの視線角度に応じて演奏画像を変化させる例を説明する。
　具体的には、運指画像を単なる指及び腕等の画像のみならず、演奏者全体の画像も表示するようにする。そのため、画像処理部１３は、楽器を含む所定の基準部位と、演奏情報表示装置３との位置関係を検出し、その演奏情報表示装置３の表示部４に表示される方向から見た演奏者も含む運指画像を表示するようにする。
　図１５は、ユーザがＨＭＤを装着した状態で、ピアノを斜め方向から見た時に表示部に表示される画像の一例を示した図である。図１５では、斜め方向から見た運指及び演奏者の画像と、身体変化画像（エフェクト画像）とが重畳されて表示されている。
　尚、ユーザがＨＭＤを装着した状態で、ピアノの鍵盤を見えない位置から鑑賞する場合もあり得る。その場合は、その位置から自然に見える状態のものを表示すれば良い。例えば、図１６に示すように、ＨＭＤを装着した状態で見える視界画像（実映像）が視界画像Ａ（複数人がＨＭＤを装着して視聴している）である場合、その位置から見える運指画像、演奏者の後ろ姿や、身体変化画像（エフェクト画像）の一部等である仮想画像Ｂを生成し、視界画像Ａと仮想画像Ｂとを重畳して、画像Ｃを表示部に表示する。尚、図１６に示す仮想画像Ｂでは、運指画像、演奏者の後ろ姿や、身体変化画像（エフェクト画像）の一部に加えて、演奏者のビデオ画像、演奏している曲の楽譜及び身体変化情報の変化を時系列的に表示したグラフも表示している。
　第２の実施の形態は、ユーザの視聴位置、視聴方向によって、運指及び演奏者の画像と身体変化画像（エフェクト画像）の表示を変化させているので、ユーザにとって不自然な画像とはならない効果がある。
　第３の実施の形態を説明する。
　第３の実施の形態は、上述した第１、第２の実施の形態に、練習モードを追加した形態である。
　本発明の演奏画像を見ながら、楽器の演奏練習をする場合、自分の指と運指画像とが重なって表示される。これは、練習する際に、自分の指を運指画像と重なるように運べば良いので、都合が良い。しかし、自分の指が運指画像と重なると、自分の指が見づらく、不都合になる場合もあると思われる。
　そこで、第３の実施の形態では、ピアノ等の楽器の操作子（例えば、ピアノの鍵盤）と、演奏画像（運指及び身体変化画像（エフェクト画像））とが重ならないように表示する例を説明する。
　画像処理部１３は、ピアノ等の楽器とＨＭＤ等の演奏情報表示装置３との位置関係を推定し、ピアノ等の楽器の操作子の位置を確定する。その上で、ピアノ等の楽器の操作子に重ならないように、演奏画像（運指及び身体変化画像（エフェクト画像））を表示する。この時、予めピアノ等の楽器の操作子（例えば、ピアノの鍵盤）の操作子画像を用意しておき、この仮想の操作子画像の上に、演奏画像（運指及び身体変化画像（エフェクト画像））を表示するようにしても良い。
　図１７は、実際のピアノの上部に、ピアノの操作子（鍵盤）の操作子画像を表示し、この仮想の操作子画像の上に、演奏画像を表示している例である。
　第３の実施の形態は、実際のピアノ等の楽器の操作子（例えば、ピアノの鍵盤）と、演奏画像（運指及び身体変化画像（エフェクト画像））とが重ならないように表示するモードを備えているので、練習の際、演奏画像により、自分の指が見づらくなるという、不都合を解消することができる。
　第４の実施の形態を説明する。
　第４の実施の形態は、放送番組連携の例を説明する。尚、第４の実施の形態では、演奏情報表示装置３に格納される演奏データに関するコンテンツ、例えば、実際に楽器を演奏するコンサートの番組コンテンツを放送し、この番組と連動して演奏情報表示装置３では、演奏データを再生する場合を説明する。
　図１８は第４の実施の形態のブロック図である。
　第４の実施の形態は、放送局２０と、テレビ受信機２１と、演奏情報表示装置３とを有している。尚、上述した実施の形態と同様な構成のものについては、同じ符号を付してある。
　放送局２０は、所定のキイ音声の出力と同時に、イベントメッセージ等でキートリガを送信する。
　テレビ受信機２１は、キイ音声とイベントメッセージとを受信する。そして、受信したキイ音声を出力する。テレビ受信機２１から出力される音声は、演奏情報表示装置３の音源取得部３０により取得される。一方、テレビ受信機２１は、ハイブリッドキャストアプリケーションにより、受信したイベントメッセージの電文を抽出し、当該電文を同一ネットワーク内に存在する演奏情報表示装置３に送信され、演奏情報表示装置３のキートリガ取得部３１により取得される。
　演奏情報表示装置３は、音源取得部３０により取得したキイ音源と、キートリガ取得部３１により取得したキートリガとから、その時間差を誤差調整量として記録する。尚、その時間差が、テレビ受信機２１の個体差によるデコード等の遅延時間である。
　演奏情報表示装置３は、取得したキートリガを基準に、誤差調整量を加算し、演奏情報表示装置３の格納部１１に格納されている演奏データの再生を開始する。
　第４の実施の形態では、テレビ受信機２１の個体差によるデコード等の遅延時間を考慮することで、放送番組と連動した演奏データの再生を行うことができる。
　第５の実施の形態を説明する。
　上述した実施の形態では、楽器等の演奏を例にして実施の形態を説明したが、本発明はこれに限定されない。第５の実施の形態では、パフォーマンスが書道の例にし、関節動作画像が書道における筆、指及び腕の画像である場合を説明する。
　第５の実施の形態の構成は基本的には上述した実施の形態と同様な構成であるが、表示制御部５の格納部１０に格納されるデータが音のデータが不要のため、画像基本データ（運指データ及び身体データ）のみである点、ＭＩＤＩ(Musical Instrument Digital Interface)データを分離するシーケンサ部１１が不要な点にある。
　一方、画像基本データには、書き順に沿った時系列的な運指データ(筆、指及び腕の画像データ)と、その時系列的に沿った身体データ及びその時系列的に沿った筆跡の生成画像が含まれる。
　尚、運指データは、演者に実際に字を書いてもらい、赤外線センサにより、演者の筆運びの運指（手や指、筆の動き、筆跡を、３次元的に捉えることが可能で、上下左右、前後への移動の情報）をモーションキャプチャし、取得したデータを元に、筆運びの３次元の座標データを取得し、そのデータを時系列に配置する。
　また、身体変化画像（エフェクト画像）に必要な身体データは、上述した書道のパフォーマンスの際、演者に、心拍計や体温計、視線方向検知器などの計測器を装着し、その計測器から身体変化情報（視線方向、心拍数、消費カロリー、体温変化、血糖値、脳波の少なくとも一つから得られる身体データ）を取得する。取得した身体データは、運指データの時系列にあわせて配置する。
　一方、画像処理部１３の空間認識であるが、書道に用いられる半紙は事実上の標準規格（ディファクトスタンダード）であるため、半紙を既知モデルとすれば、容易に空間認識が可能である。従って、ユーザが、現在、見ている半紙の位置を認識することができるので、その半紙位置に対応する演者の筆運びの運指の３次元の座標データを特定して運指画像を生成し、その運指画像及びその時間の身体変化画像（エフェクト画像）を、ユーザが、現在見ている半紙位置に重畳する。
　図１９は、パフォーマンスが書道の場合の表示部１に表示される画像の一例を示した図である。図１９では、半紙を含む視界画像に、運指画像と身体変化画像とが重畳されて表示されている。運指画像として、筆、筆を操る指や手、及び筆跡が、半紙に重ね合わせて表示されている。更に、演者に操られる筆上からは、その演奏時の視線方向、心拍数、消費カロリー、体温変化、血糖値、脳波等の少なくとも一つから得られる身体データをパラメータとする関数から得られた身体変化画像（エフェクト画像）が表示されている。
　第５の実施の形態は、演者が行うパフォーマンスの関節動作画像と、その演者のパフォーマンス時の感情の起伏や、視線方向等の要素を、エフェクト画像とを表示することにより、パフォーマンス時の演者の感情の起伏を表現することができる。
　尚、上述した実施の形態において、ピアノや半紙等が実際にない場合であっても、仮想的なピアノや半紙の画像を生成し、自分の好きな位置に、仮想的なピアノや半紙の画像、運指画像及び身体変化画像（エフェクト画像）を表示させるようにしても良い。
　上述した実施の形態では、各部をハードウェアで構成したが、上述した動作の処理をプロセッサ（例えば、ＣＰＵ）に行わせるプログラムによっても構成できる。
　図２０は、プロセッサ等で構成したパフォーマンス表示装置１００のブロック図である。
　パフォーマンス表示装置１００は、上述したディスプレイ等の表示部４と、空間認識センサ６（可視光カメラまたは赤外線カメラ等を含む）とを備える。更に、パフォーマンス表示装置１００は、プロセッサ１１０と、メモリ１１１と、メモリ１１２とを備える。
　メモリ１１１は主メモリであり、メモリ１１１には上述した表示制御部５に対応する処理を行うプログラムが格納されている。メモリ１１２はハードディスクやフラシュメモリ等などであり、メモリ１１２には、関節動作データ、身体変化データ及び身体変化画像データが格納される。そして、プロセッサ１１０がメモリ１０１に格納されているプログラムを実行し、関節動作データ、身体変化データ及び身体変化画像データを処理することで、上述した実施の形態と同様な機能が実現される。
　以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
　本出願は、２０１５年８月１７日に出願された日本出願特願２０１５－１６０５９５号、及び２０１５年９月１１日に出願された日本出願特願２０１５－１７９０４６号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１　　　表示部
２　　　表示制御部
３　　　演奏情報表示装置
４　　　表示部
５　　　表示制御部
６　　　空間認識センサ
１０　　格納部
１１　　シーケンサ部
１２　　音声処理部
１３　　画像処理部
２０　　放送局
２１　　テレビ受信機
３０　　音源取得部
３１　　キートリガ取得部
５０　　スマートフォン
５１　　ゴーグル
６０　　コンテンツサーバ
１００　パフォーマンス表示装置
１１０　プロセッサ
１１１　メモリ
１１２　メモリ

Claims (27)

  1. 　演者のパフォーマンスをモーションキャプチャして得られた関節動作画像と、前記演者のパフォーマンス時の身体変化を画像化した身体変化画像とを少なくとも含む仮想画像を、光学的透過又は撮影されたユーザの視界画像に重畳して表示部に表示する表示処理を
    コンピュータに実行させるプログラム。
  2. 　前記表示処理は、
    　前記関節動作画像の関節動作データと、前記身体変化の身体変化データと、前記身体変化画像の身体変化画像データとが格納された記録媒体から、所定のパフォーマンス時の関節動作画像データ及び身体変化データを読み出す処理と、
    　前記読み出した関節動作画像データに基づいて、前記所定のパフォーマンス時の関節動作画像を生成する処理と、
    　前記読み出した身体変化データに基づいて、前記所定のパフォーマンス時の身体変化画像を生成する処理と、
    　前記所定のパフォーマンス時の関節動作画像及び身体変化画像を、ユーザの視界画像に重畳して表示部に表示する処理と
    を有する請求項１に記載のプログラム。
  3. 　前記身体変化データは、前記演者のパフォーマンス時の視線方向、心拍数、消費カロリー、体温変化、血糖値、脳波の少なくとも一つから得られる身体データを、パフォーマンスの動作に対応して時系列に数値化したものである
    請求項１又は請求項２に記載のプログラム。
  4. 　前記身体変化画像は、前記身体変化データの数値に基づいて変化するエフェクト画像である
    請求項３に記載のプログラム。
  5. 　前記記録媒体には、前記演者のパフォーマンスに関するデータが時系列的にデータ化されたパフォーマンスデータが格納されており、
    　前記表示処理は、前記パフォーマンスデータと前記身体変化データとをパラメータとする関数から、前記エフェクト画像を生成する
    請求項４に記載のプログラム。
  6. 　前記パラメータに、揺らぎの要素を加える
    請求項５に記載のプログラム。
  7. 　前記表示処理は、
    　光学的透過又は撮影されたユーザの視界画像における所定の物体と表示部との位置関係を検出し、前記位置関係に基づき、前記視界画像における前記仮想画像の位置及び形状を制御する表示制御処理
    を有する請求項１から請求項６のいずれかに記載のプログラム。
  8. 　前記演者のパフォーマンスが、楽器の演奏者の運指であり、
    　前記関節動作画像が、前記運指の運指画像であり、
    　前記パフォーマンスデータが、楽器の演奏データである
    請求項５から請求項７のいずれかに記載のプログラム。
  9. 　前記表示処理は、
    　光学的透過又は撮影されたユーザの視界画像における、楽器の形状及び位置と前記楽器の演奏操作子の形状及び位置とに基づいて、前記ユーザの視界画像における運指画像の重畳位置を決定する処理
    を有する請求項８に記載のプログラム。
  10. 　前記楽器はピアノであり、前記楽器の演奏操作子は鍵盤である
    請求項８又は請求項９に記載のプログラム。
  11. 　前記表示部は、人の頭部に装着する表示装置に設けられる
    請求項１から請求項１０のいずれかに記載のプログラム。
  12. 　放送されるコンテンツから、前記コンテンツと同期を取るための同期情報を受信する受信処理と、
    　前記コンテンツの所定の開始タイミングと同期して、前記仮想画像を、前記視界画像に重畳して前記表示部に表示する
    請求項１から請求項１２のいずれかに記載のプログラム。
  13. 　視界画像が光学的透過又は撮影されて表示される表示部と、
    　演者のパフォーマンスをモーションキャプチャして得られた関節動作画像と、前記演者のパフォーマンス時の身体変化を画像化した身体変化画像とを少なくとも含む仮想画像を、前記視界画像に重畳して前記表示部に表示する表示制御部と
    を有する表示装置。
  14. 　前記表示制御部は、
    　前記関節動作画像の関節動作データと、前記身体変化の身体変化データと、前記身体変化画像の身体変化画像データとが格納された記録媒体と、
    　前記記録媒体から、所定のパフォーマンス時の関節動作画像データ及び身体変化データを読み出し、前記読み出した関節動作画像データに基づいて、前記所定のパフォーマンス時の関節動作画像を生成し、前記読み出した身体変化データに基づいて、前記所定のパフォーマンス時の身体変化画像を生成し、前記所定のパフォーマンス時の関節動作画像及び身体変化画像を、ユーザの視界画像に重畳して表示部に表示する制御部と
    を有する請求項１３に記載の表示装置。
  15. 　前記身体変化データは、前記演者のパフォーマンス時の視線方向、心拍数、消費カロリー、体温変化、血糖値、脳波の少なくとも一つから得られる身体データを、パフォーマンスの動作に対応して時系列に数値化したものである
    請求項１３又は請求項１４に記載の表示装置。
  16. 　前記身体変化画像は、前記身体変化データの数値に基づいて変化するエフェクト画像である
    請求項１５に記載の表示装置。
  17. 　前記記録媒体には、前記演者のパフォーマンスに関するデータが時系列的にデータ化されたパフォーマンスデータが格納されており、
    　前記表示制御部は、前記パフォーマンスデータと前記身体変化データとをパラメータとする関数から、前記エフェクト画像を生成する
    請求項１６に記載の表示装置。
  18. 　前記パラメータに、揺らぎの要素を加える
    請求項１７に記載の表示装置。
  19. 　前記表示制御部は、
    　光学的透過又は撮影されたユーザの視界画像における所定の物体と表示部との位置関係を検出し、前記位置関係に基づき、前記視界画像における前記仮想画像の位置及び形状を制御する請求項１３から請求項１８のいずれかに記載の表示装置。
  20. 　前記演者のパフォーマンスが、楽器の演奏者の運指であり、
    　前記関節動作画像が、前記運指の運指画像であり、
    　前記パフォーマンスデータが、楽器の演奏データである
    請求項１７から請求項１９のいずれかに記載の表示装置。
  21. 　前記表示制御部は、
    　光学的透過又は撮影されたユーザの視界画像における、楽器の形状及び位置と前記楽器の演奏操作子の形状及び位置とに基づいて、前記ユーザの視界画像における運指画像の重畳位置を決定する
    請求項２０に記載の表示装置。
  22. 　前記楽器はピアノであり、前記楽器の演奏操作子は鍵盤である
    請求項２０又は請求項２１に記載の表示装置。
  23. 　前記表示装置は、人の頭部に装着されるヘッドマウントディスプレイである
    請求項１３から請求項２２のいずれかに記載の表示装置。
  24. 　前記表示制御部は、
    　放送されるコンテンツから、前記コンテンツと同期を取るための同期情報を受信する同期情報受信部を有し、
    　前記コンテンツの所定の開始タイミングと同期して、前記仮想画像を、前記視界画像に重畳して前記表示部に表示する
    請求項１３から請求項２３のいずれかに記載の表示装置。
  25. 　演者のパフォーマンスをモーションキャプチャして得られた関節動作画像と、前記演者のパフォーマンス時の身体変化を画像化した身体変化画像とを少なくとも含む仮想画像を、光学的透過又は撮影されたユーザの視界画像に重畳して表示部に表示する
    表示方法。
  26. 　視界画像が光学的透過又は撮影されて表示される表示部と、
    　放送されるコンテンツから、前記コンテンツと同期を取るための同期情報を受信する受信部と、
    　視界画像が光学的透過又は撮影されて表示される表示部と、
    　演者のパフォーマンスをモーションキャプチャして得られた関節動作画像と、前記演者のパフォーマンス時の身体変化を画像化した身体変化画像とを少なくとも含む仮想画像を、前記同期情報に基づいて、前記コンテンツの所定の開始タイミングと同期させて、前記視界画像に重畳して前記表示部に表示する表示制御部と
    を有する表示装置と、
    　前記コンテンツと、前記同期情報とを放送する放送部と
    を有する放送システム。
  27. 　所定のコンテンツと、前記コンテンツと同期を取るための同期情報とを放送し、
    　前記コンテンツと同期を取るための同期情報を受信し、
    　演者のパフォーマンスをモーションキャプチャして得られた関節動作画像と、前記演者のパフォーマンス時の身体変化を画像化した身体変化画像とを少なくとも含む仮想画像を、前記同期情報に基づいて、前記コンテンツの所定の開始タイミングと同期させて、前記視界画像に重畳して表示する
    放送方法。
PCT/JP2016/070891 2015-08-17 2016-07-14 プログラム、表示装置、表示方法、放送システム及び放送方法 WO2017029915A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016563003A JP6099850B1 (ja) 2015-08-17 2016-07-14 プログラム、表示装置、表示方法、放送システム及び放送方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015-160595 2015-08-17
JP2015160595 2015-08-17
JP2015-179046 2015-09-11
JP2015179046 2015-09-11

Publications (1)

Publication Number Publication Date
WO2017029915A1 true WO2017029915A1 (ja) 2017-02-23

Family

ID=58050728

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/070891 WO2017029915A1 (ja) 2015-08-17 2016-07-14 プログラム、表示装置、表示方法、放送システム及び放送方法

Country Status (2)

Country Link
JP (2) JP6099850B1 (ja)
WO (1) WO2017029915A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019153952A (ja) * 2018-03-05 2019-09-12 日本テレビ放送網株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイシステム及びプログラム
WO2020105503A1 (ja) * 2018-11-19 2020-05-28 株式会社ソニー・インタラクティブエンタテインメント 表示制御プログラム、表示制御装置、及び表示制御方法
CN112466266A (zh) * 2019-09-06 2021-03-09 雅马哈株式会社 控制系统以及控制方法
WO2021261307A1 (ja) * 2020-06-26 2021-12-30 ソニーグループ株式会社 制御装置、画像表示システム、画像表示方法、及び移動体
CN112466266B (zh) * 2019-09-06 2024-05-31 雅马哈株式会社 控制系统以及控制方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7155242B2 (ja) * 2018-03-14 2022-10-18 マクセル株式会社 携帯情報端末
JP2020042161A (ja) * 2018-09-11 2020-03-19 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012252437A (ja) * 2011-06-01 2012-12-20 Sony Corp 画像処理装置、画像処理方法、およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012252437A (ja) * 2011-06-01 2012-12-20 Sony Corp 画像処理装置、画像処理方法、およびプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019153952A (ja) * 2018-03-05 2019-09-12 日本テレビ放送網株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイシステム及びプログラム
WO2020105503A1 (ja) * 2018-11-19 2020-05-28 株式会社ソニー・インタラクティブエンタテインメント 表示制御プログラム、表示制御装置、及び表示制御方法
JP2020086674A (ja) * 2018-11-19 2020-06-04 株式会社ソニー・インタラクティブエンタテインメント 表示制御プログラム、表示制御装置、及び表示制御方法
JP7199204B2 (ja) 2018-11-19 2023-01-05 株式会社ソニー・インタラクティブエンタテインメント 表示制御プログラム、表示制御装置、及び表示制御方法
US11951397B2 (en) 2018-11-19 2024-04-09 Sony Interactive Entertainment Inc. Display control program, display control device, and display control method
CN112466266A (zh) * 2019-09-06 2021-03-09 雅马哈株式会社 控制系统以及控制方法
CN112466266B (zh) * 2019-09-06 2024-05-31 雅马哈株式会社 控制系统以及控制方法
WO2021261307A1 (ja) * 2020-06-26 2021-12-30 ソニーグループ株式会社 制御装置、画像表示システム、画像表示方法、及び移動体

Also Published As

Publication number Publication date
JP2017138992A (ja) 2017-08-10
JP6830829B2 (ja) 2021-02-17
JPWO2017029915A1 (ja) 2017-08-17
JP6099850B1 (ja) 2017-03-22

Similar Documents

Publication Publication Date Title
JP6099850B1 (ja) プログラム、表示装置、表示方法、放送システム及び放送方法
KR102196380B1 (ko) 사용자의 감정 상태들을 사용하여 가상 이미지 생성 시스템을 제어하기 위한 기술
US10613627B2 (en) Systems and methods for providing haptic feedback for remote interactions
US11178456B2 (en) Video distribution system, video distribution method, and storage medium storing video distribution program
WO2014056000A1 (en) Augmented reality biofeedback display
US10783712B2 (en) Visual flairs for emphasizing gestures in artificial-reality environments
TWI486904B (zh) 律動影像化方法、系統以及電腦可讀取記錄媒體
US7889170B2 (en) Inner force sense presentation device, inner force sense presentation method, and inner force sense presentation program
EP2759908A1 (en) System and method for transforming a sensed movement of a recorded object into a haptic output signal
CN109416562B (zh) 用于虚拟现实的装置、方法和计算机可读介质
JPWO2019234879A1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
KR101263686B1 (ko) 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법
JP7416903B2 (ja) 動画配信システム、動画配信方法、及び動画配信プログラム
JP2017062598A (ja) 情報処理装置、情報処理方法、およびプログラム
CN109119057A (zh) 音乐创作方法、装置及存储介质和穿戴式设备
US20210056866A1 (en) Portable Reading, Multi-sensory Scan and Vehicle-generated Motion Input
CN105389013A (zh) 一种基于手势的虚拟弹奏系统
WO2015194509A1 (ja) 動画像生成装置、動画像生成方法、プログラム、及び情報記憶媒体
JP7285244B2 (ja) コンピュータプログラム、方法及びサーバ装置
JP6836329B2 (ja) 演奏装置及び演奏支援システム
JP6836877B2 (ja) 吹奏楽器の練習支援装置及び練習支援方法
US20130106689A1 (en) Methods of operating systems having optical input devices
JP2017062347A (ja) データ処理装置及びプログラム
US20240104870A1 (en) AR Interactions and Experiences
EP4120052A1 (en) Head-mountable display systems and methods

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016563003

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16836906

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16836906

Country of ref document: EP

Kind code of ref document: A1