WO2021059365A1 - アニメーション制作システム - Google Patents

アニメーション制作システム Download PDF

Info

Publication number
WO2021059365A1
WO2021059365A1 PCT/JP2019/037417 JP2019037417W WO2021059365A1 WO 2021059365 A1 WO2021059365 A1 WO 2021059365A1 JP 2019037417 W JP2019037417 W JP 2019037417W WO 2021059365 A1 WO2021059365 A1 WO 2021059365A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
track
character
controller
stored
Prior art date
Application number
PCT/JP2019/037417
Other languages
English (en)
French (fr)
Inventor
義仁 近藤
雅人 室橋
Original Assignee
株式会社エクシヴィ
エイベックス・テクノロジーズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社エクシヴィ, エイベックス・テクノロジーズ株式会社 filed Critical 株式会社エクシヴィ
Priority to PCT/JP2019/037417 priority Critical patent/WO2021059365A1/ja
Priority to US16/977,077 priority patent/US20220351438A1/en
Priority to JP2020541626A priority patent/JP7218875B6/ja
Publication of WO2021059365A1 publication Critical patent/WO2021059365A1/ja
Priority to JP2023005879A priority patent/JP2023055753A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/205—3D [Three Dimensional] animation driven by audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Definitions

  • the present invention relates to an animation production system.
  • a virtual camera is placed in the virtual space (see Patent Document 1).
  • the present invention has been made in view of such a background, and an object of the present invention is to provide a technique capable of shooting an animation in a virtual space.
  • the main invention of the present invention for solving the above problems is an animation production method that provides a virtual space in which a predetermined object is arranged, and an animation production method that provides a virtual space in which a predetermined object is arranged.
  • the user's voice is stored in the first track
  • the motion of the user wearing the head-mounted display is detected
  • the motion of the object is controlled based on the detected motion of the user
  • the motion of the object is controlled.
  • the action data related to the movement of the photographed object is stored in the second track
  • the user's voice is stored in the second track
  • the voice stored in the first track is reproduced. Includes photographing the movement of the object.
  • HMD head-mounted display
  • FIG. 1 A schematic view of the appearance of the head-mounted display (hereinafter referred to as HMD) 110 according to the present embodiment is shown.
  • the schematic diagram of the appearance of the controller 210 which concerns on this embodiment is shown.
  • the functional block diagram of the HMD 110 which concerns on this embodiment is shown.
  • the functional block diagram of the controller 210 which concerns on this embodiment is shown.
  • the functional block diagram of the image generation apparatus 310 which concerns on this embodiment is shown.
  • the animation production method according to the embodiment of the present invention has the following configurations.
  • [Item 1] An animation production method that provides a virtual space in which a given object is placed.
  • the user's voice is stored in the first track, Detects the movement of the user wearing the head-mounted display and detects Control the behavior of the object based on the detected user behavior Take a picture of the movement of the object
  • the action data related to the movement of the captured object is stored in the second track, and the action data is stored in the second track.
  • Store the user's voice in the second track Taking a picture of the movement of the object while playing back the sound stored in the first track. How to include.
  • [Item 2] The method of item 1, wherein the first track or second track is editable.
  • FIG. 1 is a diagram showing an example of a virtual space displayed on a head-mounted display (HMD) worn by a user in the animation production system of the present embodiment.
  • the character 4 and the camera 3 are arranged in the virtual space 1, and the character 4 is photographed by using the camera 3.
  • a cameraman 2 is arranged in the virtual space 1, and the cameraman 2 virtually operates the camera 3.
  • the user can arrange the character 4 and the camera 3 while looking down at the virtual space 1 from a TPV (Third Person View), or can use the FPV (3rd person view) as the cameraman 2.
  • TPV Transmissiond Person View
  • FIG. 2 is a diagram showing an overall configuration example of the animation production system 300 according to the embodiment of the present invention.
  • the animation production system 300 can include, for example, an HMD 110, a controller 210, and an image generation device 310 that functions as a host computer.
  • An infrared camera (not shown) or the like for detecting the position, orientation, tilt, etc. of the HMD 110 or the controller 210 can be added to the animation production system 300.
  • These devices can be connected to each other by wired or wireless means.
  • each device is equipped with a USB port, and communication can be established by connecting with a cable.
  • HDMI, wired LAN, infrared rays, Bluetooth (registered trademark), WiFi (registered trademark), etc. are wired.
  • communication can be established wirelessly.
  • the image generation device 310 may be any device having a calculation processing function, such as a PC, a game machine, or a mobile communication terminal.
  • FIG. 3 shows a schematic view of the appearance of the head-mounted display (hereinafter referred to as HMD) 110 according to the present embodiment.
  • FIG. 5 shows a functional configuration diagram of the HMD 110 according to the present embodiment.
  • the HMD 110 is attached to the user's head and includes a display panel 120 so as to be arranged in front of the user's left and right eyes.
  • As the display panel an optical transmissive type and a non-transmissive type display can be considered, but in the present embodiment, a non-transmissive type display panel capable of providing a more immersive feeling is exemplified.
  • An image for the left eye and an image for the right eye are displayed on the display panel 120, and an image having a stereoscopic effect can be provided to the user by utilizing the parallax of both eyes. If the image for the left eye and the image for the right eye can be displayed, the display for the left eye and the display for the right eye can be provided separately, or an integrated display for the left eye and the right eye can be provided. is there.
  • the housing 130 of the HMD 110 includes a sensor 140.
  • the sensor 140 may include, for example, a magnetic sensor, an acceleration sensor, or a gyro sensor, or a combination thereof, in order to detect movements such as the orientation and tilt of the user's head.
  • the vertical direction of the user's head is the Y-axis, and of the axes orthogonal to the Y-axis, the axis that connects the center of the display panel 120 and the user and corresponds to the front-back direction of the user is the Z-axis, and the Y-axis and the Z-axis.
  • the senor 140 When the axis corresponding to the user's left-right direction is the X-axis, the sensor 140 has a rotation angle around the X-axis (so-called pitch angle), a rotation angle around the Y-axis (so-called yaw angle), and Z. The rotation angle around the axis (so-called roll angle) can be detected.
  • the housing 130 of the HMD 110 may include a plurality of light sources 150 (for example, infrared light LED, visible light LED).
  • a camera for example, an infrared light camera, a visible light camera
  • the HMD 110 may be provided with a camera for detecting a light source installed in the housing 130 of the HMD 110.
  • the housing 130 of the HMD 110 may also include an eye tracking sensor.
  • Eye tracking sensors are used to detect the gaze direction and gaze point of the user's left and right eyes.
  • Various types of eye tracking sensors can be considered. For example, the position of the reflected light on the cornea formed by irradiating the left eye and the right eye with weak infrared light is used as a reference point, and the position of the pupil with respect to the position of the reflected light is used as a reference point.
  • a method of detecting the line-of-sight direction and detecting the intersection of the line-of-sight directions of the left eye and the right eye as the gazing point can be considered.
  • FIG. 4 shows a schematic view of the appearance of the controller 210 according to the present embodiment.
  • FIG. 6 shows a functional configuration diagram of the controller 210 according to the present embodiment.
  • the controller 210 can support the user to make a predetermined input in the virtual space.
  • the controller 210 can be configured as a set of controllers for the left hand 220 and the right hand 230.
  • the left-hand controller 220 and the right-hand controller 230 can each have an operation trigger button 240, an infrared LED 250, a sensor 260, a joystick 270, and a menu button 280.
  • the operation trigger button 240 is arranged as 240a and 240b at positions assuming that when the grip 235 of the controller 210 is gripped, an operation such as pulling the trigger with the middle finger and the index finger is performed.
  • a plurality of infrared LEDs 250 are provided on the frame 245 formed in a ring shape downward from both side surfaces of the controller 210, and the positions of these infrared LEDs are detected by a camera (not shown) provided outside the controller. The position, orientation and tilt of the controller 210 in a specific space can be detected.
  • the controller 210 can incorporate a sensor 260 in order to detect an operation such as the orientation or tilt of the controller 210.
  • the sensor 260 may include, for example, a magnetic sensor, an acceleration sensor, a gyro sensor, or a combination thereof.
  • a joystick 270 and a menu button 280 can be provided on the upper surface of the controller 210. The joystick 270 can be moved in the 360-degree direction about the reference point, and it is assumed that the joystick 270 is operated by the thumb when the grip 235 of the controller 210 is gripped. It is assumed that the menu button 280 is also operated with the thumb.
  • the controller 210 may also include a vibrator (not shown) for giving vibration to the hand of the user who operates the controller 210.
  • the controller 210 inputs and outputs in order to output information such as the user's input contents via a button or a joystick and the position, orientation and tilt of the controller 210 via a sensor or the like, and to receive information from the host computer. It has a unit and a communication unit.
  • the system determines the movement and posture of the user's hand based on whether or not the user holds the controller 210 and operates various buttons and joysticks, and the information detected by the infrared LED and the sensor, and pseudo in the virtual space.
  • the user's hand can be displayed and operated.
  • FIG. 7 shows a functional configuration diagram of the image generation device 310 according to the present embodiment.
  • the image generator 310 stores user input information transmitted from the HMD 110 or the controller 210, information on the user's head movement or controller movement or operation acquired by a sensor or the like, and performs a predetermined calculation process.
  • Devices such as PCs, game consoles, mobile communication terminals, etc., which have a function for generating images, can be used.
  • the image generation device 310 can include, for example, an input / output unit 320 for establishing a wired connection with peripheral devices such as the HMD 110 and the controller 210, and includes infrared rays, Bluetooth (registered trademark), WiFi (registered trademark), and the like.
  • a communication unit 330 for establishing a wireless connection can be provided.
  • Information regarding the operation of the user's head and the operation or operation of the controller received from the HMD 110 and / or the controller 210 via the input / output unit 320 and / or the communication unit 330 is transmitted in the control unit 340 to the position of the user. It is detected as input content including movements such as line of sight and posture, utterance, operation, etc., and the character is controlled by executing the control program stored in the storage unit 350 according to the input content of the user, and the image is displayed. Is performed.
  • the control unit 340 can be configured by a CPU, but by further providing a GPU specialized for image processing, information processing and image processing can be dispersed and overall processing efficiency can be improved.
  • the image generation device 310 can also communicate with another calculation processing device and have the other calculation processing device share information processing and image processing.
  • the control unit 340 includes a user input detection unit 410 that detects information about the user's head movement, user's speech, and controller operation and operation received from the HMD 110 and / or the controller 210, and a storage unit 350 in advance. It has a character control unit 420 that executes a control program stored in the control program storage unit for a character stored in the character data storage unit 440, and an image generation unit 430 that generates an image based on the character control.
  • information such as the orientation and tilt of the user's head and the movement of the hand detected via the HMD 110 and the controller 210 is created according to the movement and restrictions of the joints of the human body.
  • control unit 340 has a recording / reproducing execution unit 440 that records and reproduces the image-generated character on the track, and an editing execution unit 450 that edits each track and generates the final content. Further, the control unit 340 has a recording / playback execution unit 460 that records voice based on the user's utterance.
  • the storage unit 350 has a character data storage unit 510 that stores information related to the character such as character attributes in addition to the character image data. Further, the control program storage unit 520 stores a program for controlling the movement and facial expression of the character in the virtual space. Further, the storage unit 350 is a track storage unit that stores action data composed of parameters that control the movement of the character in the moving image generated by the image generation unit 630, and motion data related to the user's voice and / or lip sync. Has 530.
  • FIG. 8 is a flowchart illustrating an example of a track generation process according to an embodiment of the present invention.
  • the recording / playback execution unit 460 of the control unit 340 of the image generation device 310 records for storing the sound applied to the first character in the virtual space in the first track of the track storage unit 530 (so-called so-called).
  • S101 Before recording) is started (S101).
  • the recording start operation may be instructed by a remote controller such as the controller 210, or may be instructed by another terminal. Further, this operation may be performed by a user who plays the character, or may be performed by a user other than the user who plays the character. Further, the recording process may be automatically started based on the detection of the utterance by the user who plays the character.
  • the recording / playback execution unit 460 detects voice information regarding the user's utterance received from the HMD 110 or a microphone (not shown) via the user input detection unit 410 and records it on the first track (S102). ..
  • the voice input by the user can be received via a sound collecting means such as a microphone input to the input / output unit 320 of the image generation device 310.
  • the recording / playback execution unit 460 confirms whether the instruction to end recording has been received from the user (S103), and when the instruction to end recording is received, completes the recording of the first track (S104).
  • the recording / playback execution unit 460 continues the recording process unless it receives an instruction to end recording from the user.
  • the recording / playback execution unit 440 can also perform a process of automatically completing the recording when the operation by the user who plays the character is no longer detected. It is also possible to execute the recording end process at a predetermined time by activating a timer instead of receiving an instruction from the user.
  • the processing related to the recording of S101 to S104 instead of recording the user's voice on the first track, or by adding the user's voice, the corresponding lip sync (movement of the character's lips) based on the user's voice. It is also possible to store motion data composed of parameters related to. When the motion data related to the lip sync is stored together with the recording, the storage of the motion data can be stopped in S103 and S104 when the voice by the user is no longer detected.
  • the sound source data of an external data source (for example, a CD or a music distribution server) can be stored in the first track.
  • motion data related to lip sync can be generated and stored based on the sound source data.
  • the recording / playback execution unit 440 of the control unit 340 of the image generation device 310 stores the action data of the moving image related to the operation by the first character in the virtual space in the second track of the track storage unit 530.
  • Recording is started (S105).
  • the user can also set the position of the camera that shoots the character and the viewpoint of the camera (for example, FPV, TPV, etc.).
  • the position where the cameraman 2 is arranged and the angle of the camera 3 can be set with respect to the character 4 corresponding to the first character.
  • the user may be the same user as the user who recorded the voice, or may be a different user.
  • the recording start operation may be instructed by a remote controller such as the controller 210, or may be instructed by another terminal. Further, this operation may be performed by a user who plays the character who wears the HMD 110 and operates the controller 210, or may be performed by a user other than the user who plays the character. Further, the recording process may be automatically started based on the detection of the operation by the user who plays the character described later.
  • the user input detection unit 410 of the control unit 340 detects information regarding the operation of the user's head, the user's utterance, and the operation and operation of the controller received from the HMD 110 and / or the controller 210 (S106). ).
  • the user can perform a predetermined operation by using the HMD 110 and / or the controller 210 while playing back the sound recorded on the first track.
  • the sensor 140 provided in the HMD 110 detects the tilt and transmits information about the tilt to the image generation device 310.
  • the image generation device 310 receives information about the user's movement via the communication unit 330, and the user input detection unit 410 detects the movement of the user's head based on the received information. Further, when the user performs a predetermined operation or operation such as lifting the controller 210 or pressing a button using the controller 210, the sensor 260 provided in the controller performs the operation and / or operation. It detects and transmits information about the operation and / or operation to the image generator 310. The image generation device 310 receives information on the user's controller operation and operation via the communication unit 330, and the user input detection unit 410 detects the user's controller operation and operation based on the received information.
  • a predetermined operation or operation such as lifting the controller 210 or pressing a button using the controller 210
  • the sensor 260 provided in the controller performs the operation and / or operation. It detects and transmits information about the operation and / or operation to the image generator 310.
  • the image generation device 310 receives information on the user's controller
  • the character control unit 420 of the control unit 340 controls the operation of the first character in the virtual space based on the detected user operation (S107). For example, the character control unit 420 controls to tilt the head of the first character based on the detection of the action of the user tilting the head. Further, based on the detection that the user lifts the controller and presses a predetermined button on the controller, the character control unit 420 controls to grasp something while extending the arm of the first character upward. To do.
  • the character control unit 420 controls the user input detection unit 410 to perform the corresponding operation each time the user input detection unit 410 detects an operation by the user transmitted from the HMD 110 or the controller 210.
  • the operation and / or the parameter related to the operation detected by the user input detection unit 410 is stored in the first track of the track storage unit 530. Further, it is possible to control the character to perform a predetermined performance movement without relying on user input, and it is possible to store action data related to the predetermined performance movement in the first track, or the user. It is also possible to store both the action by the operation and the action data related to the predetermined operation.
  • the recording / playback execution unit 440 confirms whether the instruction to end recording has been received from the user (S108), and when the instruction to end recording is received, the recording of the first track related to the first character is completed. (S109).
  • the recording / playback execution unit 440 continues the recording process unless it receives an instruction to end recording from the user.
  • the recording / playback execution unit 440 can also perform a process of automatically completing the recording when the operation by the user who plays the character is no longer detected. It is also possible to execute the recording end process at a predetermined time by activating a timer instead of receiving an instruction from the user.
  • FIG. 9 is a flowchart illustrating an example of the track editing process according to the embodiment of the present invention.
  • the editing execution unit 450 of the control unit 340 of the image generation device 310 performs a process of editing the first track stored in the track storage unit 530 (S201).
  • the user edits a first track (T1) related to audio via a user interface for track editing, as shown in FIG. 10 (a).
  • the user interface displays an area in which the first track is stored in chronological order.
  • the sound stored in the first track is played back.
  • the user interface for track editing is not limited to the above display, and for example, a method of displaying the track name and title (for example, "voice 1") in a list format can be considered.
  • the volume and sound quality of the stored voice can be adjusted, and the voice can be converted to other voice.
  • the first track stored in the second track in FIG. 1 is stored.
  • the timing of the utterance can be adjusted while checking the movement of the character 4. For example, fine adjustment is achieved by moving the position of the bar indicating the first track shown in FIG. 10B to the left and right relative to the position of the bar indicating the first track on the time axis. Can be done.
  • the lip sync along with the reproduction of the utterance of the first character by the first track, the lip sync according to the content of the utterance can be applied to the first character. Similarly, the lip sync timing can be adjusted by this editing process.
  • the editing execution unit 450 of the control unit 340 of the image generation device 310 performs a process of editing the second track stored in the track storage unit 530 (S202).
  • the user selects an option (not shown) to edit the second track (T2) associated with the first character via the user interface for track editing, as shown in FIG. 10 (b).
  • a bar indicating an area in which the second track is stored is arranged in chronological order.
  • the user can edit the second track independently of the first track and make relative adjustments such as synchronizing the playback timing of each track. Become.
  • the user can edit another track (eg, a third track (T3)).
  • the arrangement position of the character 4 corresponding to the first character in the virtual space 1 is changed, the shooting position and angle of the character 4 are changed, and the shooting viewpoints (FPV, TPV) are changed. ) May be changed. It is also possible to change or delete the time scale.
  • the editing execution unit 450 saves the edited contents according to the user's request or automatically (S203).
  • the editing processes of S201 and S202 can be executed regardless of the order, and can be moved back and forth.
  • the saving process of S203 can also be executed each time the editing of S201 and S202 is executed.
  • multi-track recording (MTR) method to animation production according to the present embodiment
  • character movements and sounds linked to user movements can be stored in each track, and within each track or between tracks.
  • Simple and efficient animation production can be realized by editing with.
  • the track generation method and the editing method have been described by taking a character as an example, but the present embodiment includes not only characters but also objects (vehicles, structures, articles, etc.) including characters.
  • the disclosed method can also be applied.
  • the image generation device 310 is described as being separate from the HMD 110, but the HMD 110 may be provided with all or a part of the configurations and functions provided by the image generation device 310.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】仮想空間内でアニメーションを撮影することができるようにする。 【解決手段】　上記課題を解決するための本発明の主たる発明は、所定のオブジェクトが配置される仮想空間を提供する、アニメーション制作方法であって、所定のオブジェクトが配置される仮想空間を提供する、アニメーション制作方法であって、ユーザによる音声を第１のトラックに格納し、ヘッドマウントディスプレイを装着するユーザの動作を検出し、前記検出したユーザの動作に基づいて、オブジェクトの動作を制御し、前記オブジェクトの動作を撮影し、前記撮影されたオブジェクトの動作に関するアクションデータを第２のトラックに格納し、ユーザによる音声を第２のトラックに格納し、前記第１のトラックに格納された音声を再生しながら、前記オブジェクトの動作を撮影すること、を含む。　

Description

アニメーション制作システム
　本発明は、アニメーション制作システムに関する。
　仮想空間内に仮想カメラを配置することが行われている（特許文献１参照）。
特開２０１７－１４６６５１号公報
　仮想空間内でアニメーションを撮影しようとする取り組みが行われてこなかった。
　本発明はこのような背景を鑑みてなされたものであり、仮想空間内でアニメーションを撮影することのできる技術を提供することを目的とする。
　上記課題を解決するための本発明の主たる発明は、所定のオブジェクトが配置される仮想空間を提供する、アニメーション制作方法であって、所定のオブジェクトが配置される仮想空間を提供する、アニメーション制作方法であって、ユーザによる音声を第１のトラックに格納し、ヘッドマウントディスプレイを装着するユーザの動作を検出し、前記検出したユーザの動作に基づいて、オブジェクトの動作を制御し、前記オブジェクトの動作を撮影し、前記撮影されたオブジェクトの動作に関するアクションデータを第２のトラックに格納し、ユーザによる音声を第２のトラックに格納し、前記第１のトラックに格納された音声を再生しながら、前記オブジェクトの動作を撮影すること、を含む。
　その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
　本発明によれば、仮想空間内でアニメーションを撮影することができる。
本実施形態のアニメーション制作システムにおいてユーザが装着するヘッドマウントディスプレイ（ＨＭＤ）に表示される仮想空間の一例を示す図である。 本発明の一実施形態に係るアニメーション制作システム３００の全体構成例を示す図である。 本実施形態に係るヘッドマウントディスプレイ（以下：ＨＭＤ）１１０の外観の模式図を示す。 本実施形態に係るコントローラ２１０の外観の模式図を示す。 本実施形態に係るＨＭＤ１１０の機能構成図を示す。 本実施形態に係るコントローラ２１０の機能構成図を示す。 本実施形態に係る画像生成装置３１０の機能構成図を示す。 本発明の実施形態に係る、トラック生成処理の一例を説明するフローチャートである。 本発明の実施形態に係る、トラック編集処理の一例を説明するフローチャートである。 本発明の実施形態に係る、トラック編集用のユーザインターフェースの一例を説明する図である。
　本発明の実施形態の内容を列記して説明する。本発明の実施の形態によるアニメーション制作方法は、以下のような構成を備える。
［項目１］
　所定のオブジェクトが配置される仮想空間を提供する、アニメーション制作方法であって、
　ユーザによる音声を第１のトラックに格納し、
　ヘッドマウントディスプレイを装着するユーザの動作を検出し、
　前記検出したユーザの動作に基づいて、オブジェクトの動作を制御し、
　前記オブジェクトの動作を撮影し、
前記撮影されたオブジェクトの動作に関するアクションデータを第２のトラックに格納し、
ユーザによる音声を第２のトラックに格納し、
前記第１のトラックに格納された音声を再生しながら、前記オブジェクトの動作を撮影すること、
を含む方法。
［項目２］
前記第１のトラックまたは第２のトラックは編集可能である、項目１に記載の方法。
　本発明の一実施形態に係るアニメーション制作システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
＜概要＞
　図１は、本実施形態のアニメーション制作システムにおいてユーザが装着するヘッドマウントディスプレイ（ＨＭＤ）に表示される仮想空間の一例を示す図である。本実施形態のアニメーション制作システムでは、仮想空間１にキャラクタ４とカメラ３とを配置し、カメラ３を用いてキャラクタ４を撮影する。また、仮想空間１にはカメラマン２が配置され、カメラマン２によりカメラ３が仮想的に操作される。本実施形態のアニメーション制作システムでは、ユーザは、図１に示すように仮想空間１をＴＰＶ（Third Person View；三人称視点）で俯瞰しながらキャラクタ４やカメラ３を配置したり、カメラマン２としてＦＰＶ（First Person View；一人称支援）でキャラクタ４を撮影したり、ＦＰＶでキャラクタ４の演技を行ったりしながら、アニメーションを制作していく。また、仮想空間１内には複数のキャラクタ（図１の例では、キャラクタ４およびキャラクタ５）を配置することができ、ユーザは、キャラクタ４とキャラクタ５とにそれぞれ憑依しながら演技を行うことができる。すなわち、本実施形態のアニメーション制作システムでは、一人が何役もの役割（ロール）を果たすことができる。また、カメラマン２としてカメラ２を仮想的に操作しながら撮影を行うことができるので、自然なカメラワークを実現することが可能となり、撮影される動画の表現を豊かにすることができる。
＜全体構成＞
　図２は、本発明の一実施形態に係るアニメーション制作システム３００の全体構成例を示す図である。アニメーション制作システム３００は、例えば、ＨＭＤ１１０、コントローラ２１０及びホストコンピュータとして機能する画像生成装置３１０を含んで構成することができる。アニメーション制作システム３００には、ＨＭＤ１１０やコントローラ２１０の位置、向き及び傾き等を検出するための赤外線カメラ（図示せず）等を追加することもできる。これらの装置は、相互に、有線又は無線手段により接続することができる。例えば、各々の装置にＵＳＢポートを備え、ケーブルで接続することで通信を確立することもできるし、他に、ＨＤＭＩ、有線ＬＡＮ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）等の有線又は無線により通信を確立することもできる。画像生成装置３１０は、ＰＣ、ゲーム機、携帯通信端末等、計算処理機能を有する装置であればよい。
＜ＨＭＤ１１０＞
　図３は、本実施形態に係るヘッドマウントディスプレイ（以下：ＨＭＤ）１１０の外観の模式図を示す。図５は、本実施形態に係るＨＭＤ１１０の機能構成図を示す。ＨＭＤ１１０はユーザの頭部に装着され、ユーザの左右の眼前に配置されるよう表示パネル１２０を備える。表示パネルとしては、光学透過型と非透過型のディスプレイが考えられるが、本実施形態では、より没入感を提供可能な非透過型の表示パネルを例示する。表示パネル１２０には、左目用画像と右目用画像とが表示され、両目の視差を利用することにより立体感のある画像をユーザに提供することができる。左目用画像と右目用画像とを表示することができれば、左目用ディスプレイと右目用ディスプレイとを個別に備えることも可能であるし、左目用及び右目用の一体型のディスプレイを備えることも可能である。
　ＨＭＤ１１０の筐体部１３０は、センサ１４０を備える。センサ１４０は、ユーザの頭部の向きや傾きといった動作を検出するために、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。ユーザの頭部の垂直方向をＹ軸とし、Ｙ軸と直交する軸のうち、表示パネル１２０の中心とユーザとを結ぶ、ユーザの前後方向に相当する軸をＺ軸とし、Ｙ軸及びＺ軸と直交し、ユーザの左右方向に相当する軸をＸ軸とするとき、センサ１４０は、Ｘ軸まわりの回転角（いわゆる、ピッチ角）、Ｙ軸まわりの回転角（いわゆる、ヨー角）、Ｚ軸まわりの回転角（いわゆる、ロール角）を検出することができる。
　センサ１４０に代えて、またはセンサ１４０に加えて、ＨＭＤ１１０の筐体部１３０は、複数の光源１５０（例えば、赤外光ＬＥＤ、可視光ＬＥＤ）を備えることもできる。ＨＭＤ１１０の外部（例えば、室内等）に設置されたカメラ（例えば、赤外光カメラ、可視光カメラ）がこれらの光源を検出することで、特定の空間におけるＨＭＤ１１０の位置、向き、傾きを検出することができる。または、同じ目的で、ＨＭＤ１１０に、ＨＭＤ１１０の筐体部１３０に設置された光源を検出するためのカメラを備えることもできる。
　ＨＭＤ１１０の筐体部１３０は、アイトラッキング・センサを備えることもできる。アイトラッキング・センサは、ユーザの左目及び右目の視線方向及び注視点を検出するために用いられる。アイトラッキング・センサとしては様々な方式が考えられるが、例えば、左目および右目に弱い赤外光を照射してできる角膜上の反射光の位置を基準点とし、反射光の位置に対する瞳孔の位置により視線方向を検出し、左目及び右目の視線方向の交点を注視点として検出する方法などが考えられる。
＜コントローラ２１０＞
　図４は、本実施形態に係るコントローラ２１０の外観の模式図を示す。図６は、本実施形態に係るコントローラ２１０の機能構成図を示す。コントローラ２１０により、仮想空間内において、ユーザが所定の入力を行うことをサポートすることができる。コントローラ２１０は、左手用２２０及び右手用２３０のコントローラのセットとして構成することができる。左手用コントローラ２２０及び右手用コントローラ２３０は、各々操作用トリガーボタン２４０、赤外線ＬＥＤ２５０、センサ２６０、ジョイスティック２７０、メニューボタン２８０を有することができる。
　操作用トリガーボタン２４０は、コントローラ２１０のグリップ２３５を把持したときに、中指及び人差し指でトリガーを引くような操作を行うことを想定した位置に２４０ａ、２４０ｂとして配置される。コントローラ２１０の両側面から下方にリング状に形成されるフレーム２４５には、複数の赤外線ＬＥＤ２５０が備えられ、コントローラ外部に備えられるカメラ（図示せず）により、これらの赤外線ＬＥＤの位置を検出することで、特定の空間におけるコントローラ２１０の位置、向き及び傾きを検出することができる。
　また、コントローラ２１０は、コントローラ２１０の向きや傾きといった動作を検出するために、センサ２６０を内蔵することができる。センサ２６０として、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、コントローラ２１０の上面には、ジョイスティック２７０及びメニューボタン２８０を備えることができる。ジョイスティック２７０は、基準点を中心に３６０度方向に動かすことができ、コントローラ２１０のグリップ２３５を把持したときに、親指で操作されることが想定される。メニューボタン２８０もまた同様に、親指で操作されることが想定される。さらに、コントローラ２１０は、コントローラ２１０を操作するユーザの手に振動を与えるためのバイブレータ（図示せず）を内蔵することもできる。ボタンやジョイスティックを介したユーザの入力内容やセンサ等を介したコントローラ２１０の位置、向き及び傾きといった情報を出力するため、また、ホストコンピュータからの情報を受信するために、コントローラ２１０は、入出力部及び通信部を有する。
　ユーザがコントローラ２１０を把持し、各種ボタンやジョイスティックを操作することの有無、及び赤外線ＬＥＤやセンサにより検出される情報によって、システムはユーザの手の動作や姿勢を決定し、仮想空間内において擬似的にユーザの手を表示させ、動作させることができる。
＜画像生成装置３１０＞
　図７は、本実施形態に係る画像生成装置３１０の機能構成図を示す。画像生成装置３１０としては、ＨＭＤ１１０やコントローラ２１０から送信された、ユーザ入力情報やセンサ等により取得されたユーザの頭部動作やコントローラの動作や操作に関する情報を記憶し、所定の計算処理を行い、画像を生成するための機能を有する、ＰＣ、ゲーム機及び携帯通信端末等といった装置を使用することができる。画像生成装置３１０は、例えば、ＨＭＤ１１０やコントローラ２１０等の周辺装置との有線による接続を確立するための入出力部３２０を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部３３０を備えることができる。入出力部３２０及び／又は通信部３３０を介して、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動作やコントローラの動作や操作に関する情報は、制御部３４０において、ユーザの位置、視線、姿勢等の動作、発話、操作等を含めた入力内容として検出され、ユーザの入力内容に応じて、記憶部３５０に格納された制御プログラムを実行することで、キャラクタの制御を行い、画像を生成するといった処理がなされる。制御部３４０は、ＣＰＵで構成することもできるが、画像処理に特化したＧＰＵをさらに設けることで、情報処理と画像処理を分散化し、全体の処理の効率化を図ることもできる。画像生成装置３１０はまた、他の計算処理装置と通信を行い、他の計算処理装置に情報処理や画像処理を分担させることもできる。
　制御部３４０は、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動作やユーザの発話、また、コントローラの動作や操作に関する情報を検出するユーザ入力検出部４１０と、予め記憶部３５０のキャラクタデータ格納部４４０に格納されたキャラクタに対して、制御プログラム格納部に格納された制御プログラムを実行するキャラクタ制御部４２０と、キャラクタ制御に基づいて画像を生成する画像生成部４３０を有する。ここでキャラクタの動作の制御については、ＨＭＤ１１０やコントローラ２１０を介して検出されたユーザ頭部の向きや傾き、手の動作といった情報を、人間の身体の関節の動作や制約に則って作成されたボーン構造の各部の動作に変換し、予め格納されたキャラクタデータに対して、ボーン構造を関連付けることで、ボーン構造の動作を適用させることで実現される。さらに、制御部３４０は、画像生成されたキャラクタをトラックに録画し、再生する録画再生実行部４４０と、各トラックを編集し、最終コンテンツを生成する編集実行部４５０とを有する。さらに、制御部３４０は、ユーザの発話に基づいて音声を録音する、録音再生実行部４６０を有する。
　記憶部３５０は、キャラクタのイメージデータのほか、キャラクタの属性等キャラクタに関連する情報を格納するキャラクタデータ格納部５１０を有する。また、制御プログラム格納部５２０は、仮想空間におけるキャラクタの動作や表情を制御するためのプログラムを格納する。また、記憶部３５０は、画像生成部６３０で生成される動画像におけるキャラクタの動きを制御するパラメータで構成されるアクションデータ、及びユーザの音声及び／またはリップシンクに関するモーションデータを格納するトラック格納部５３０を有する。
　図８は、本発明の実施形態に係る、トラック生成処理の一例を説明するフローチャートである。
　まず、画像生成装置３１０の制御部３４０の録音再生実行部４６０は、仮想空間における、第１のキャラクタに適用する音声を、トラック格納部５３０の第１のトラックに格納するための録音（いわゆる、ビフォレコ）を開始する（Ｓ１０１）。ここで、ユーザの音声の音量、音質を設定したり、ユーザの音声を他の音声に変換する設定を行うこともできる。録音開始操作は、コントローラ２１０等のリモートコントローラによって指示されてもよく、他の端末によって指示されてもよい。また、本操作は、キャラクタを演じるユーザによって行われてもよく、または、キャラクタを演じるユーザ以外のユーザによって行われてもよい。また、キャラクタを演じるユーザによる発話を検出することに基づいて録音処理を自動的に開始してもよい。
　続いて、録音再生実行部４６０は、ＨＭＤ１１０または（図示しない）マイクから受信されたユーザの発話に関する音声情報を、ユーザ入力検出部４１０を介して検出し、第１のトラックに録音する（Ｓ１０２）。または、ユーザによる音声入力を、画像生成装置３１０の入出力部３２０に入力されるマイク等の集音手段を介して受け付けることもできる。
　続いて、録音再生実行部４６０は、ユーザから録音終了の指示を受け付けたかを確認し（Ｓ１０３）、録画終了の指示を受け付けたときには、第１のトラックの録音を完了する（Ｓ１０４）。録音再生実行部４６０は、ユーザから録音終了の指示を受け付けない限り、録音処理を継続する。ここで、録音再生実行部４４０は、キャラクタを演じるユーザによる動作を検出しなくなったときに、自動的に録音を完了する処理を行うこともできる。また、ユーザによる指示を受けつけるのではなく、タイマーを作動させることで所定の時間に録音終了の処理を実行することもできる。
なお、Ｓ１０１乃至Ｓ１０４の録音に関する処理について、ユーザの音声を第１のトラックに録音する代わりに、または、さらに追加して、ユーザの音声に基づいて、対応するリップシンク（キャラクタの唇の動き）に関するパラメータで構成されるモーションデータを格納することもできる。リップシンクに関するモーションデータを録音とともに格納する場合においては、Ｓ１０３、Ｓ１０４において、ユーザによる音声を検出しなくなったときにモーションデータの格納を中止することができる。
　また、上記録音に関する処理について、ユーザの音声を録音する代わりに、外部のデータソース（例えば、ＣＤや音楽配信サーバ等）の音源データを第１のトラックに格納することもできる。この場合、音源データに基づいてリップシンクに関するモーションデータを生成し、格納することもできる。
　続いて、画像生成装置３１０の制御部３４０の録画再生実行部４４０は、仮想空間における、第１のキャラクタによる動作に関連する動画像のアクションデータを、トラック格納部５３０の第２のトラックに格納するための録画を開始する（Ｓ１０５）。ここで、ユーザは、キャラクタを撮影するカメラの位置、カメラの視点（例えば、ＦＰＶ、ＴＰＶ等）を設定することもできる。例えば、図１に示す仮想空間１において、第１のキャラクタに対応するキャラクタ４に対し、カメラマン２が配置される位置、また、カメラ３のアングルを設定することができる。ここで、ユーザは、音声を録音したユーザと同じユーザであってもよく、異なるユーザであってもよい。録画開始操作は、コントローラ２１０等のリモートコントローラによって指示されてもよく、他の端末によって指示されてもよい。また、本操作は、ＨＭＤ１１０を装着し、コントローラ２１０を操作する、キャラクタを演じるユーザによって行われてもよく、または、キャラクタを演じるユーザ以外のユーザによって行われてもよい。また、後述のキャラクタを演じるユーザによる動作を検出することに基づいて録画処理を自動的に開始してもよい。
　続いて、制御部３４０のユーザ入力検出部４１０は、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動作やユーザの発話、また、コントローラの動作や操作に関する情報を検出する（Ｓ１０６）。ここで、ユーザは、第１のトラックに録音された音声を再生しながら、ＨＭＤ１１０及び／またはコントローラ２１０を用いて、所定の動作を行うことができる。例えば、ＨＭＤ１１０を装着するユーザが、頭部を傾けるとＨＭＤ１１０に備えられるセンサ１４０が、その傾きを検出し、傾きに関する情報を画像生成装置３１０に送信する。画像生成装置３１０は、通信部３３０を介して、ユーザの動作に関する情報を受信し、ユーザ入力検出部４１０は、受信した情報を基にユーザの頭部の動作を検出する。また、ユーザが、コントローラ２１０を使って、コントローラ２１０を持ち上げたり、ボタンを押下したりする等の所定の動作や操作を行ったとき、コントローラに備えられたセンサ２６０がその動作及び／または操作を検出し、動作及び／または操作に関する情報を画像生成装置３１０に送信する。画像生成装置３１０は、通信部３３０を介して、ユーザのコントローラ動作や操作に関する情報を受信し、ユーザ入力検出部４１０は、受信した情報を基にユーザのコントローラ動作や操作を検出する。
　続いて、制御部３４０のキャラクタ制御部４２０は、検出したユーザの動作に基づいて仮想空間内における第１のキャラクタの動作を制御する（Ｓ１０７）。例えば、ユーザが頭部を傾ける動作を検出したことに基づいて、キャラクタ制御部４２０は、第１のキャラクタの頭部を傾けるよう制御する。また、ユーザがコントローラを持ち上げ、コントローラの所定のボタンを押下したことを検出したことに基づいて、キャラクタ制御部４２０は、第１のキャラクタの腕を上方向に伸ばしながら、何かを掴むよう制御する。キャラクタ制御部４２０は、ユーザ入力検出部４１０が、ＨＭＤ１１０またはコントローラ２１０から送信されたユーザによる動作を検出する度に、第１のキャラクタが対応する動作を行うよう制御する。ユーザ入力検出部４１０によって検出された操作及び／または操作に関するパラメータを、トラック格納部５３０の第１のトラックに格納する格納する。また、ユーザ入力によらずに、キャラクタが所定の演技の動きを実行するよう制御することもでき、この所定の演技の動きに関するアクションデータを第１のトラックに格納することもでき、または、ユーザによる動作と所定の動作に関するアクションデータを両方格納することもできる。
　続いて、録画再生実行部４４０は、ユーザから録画終了の指示を受け付けたかを確認し（Ｓ１０８）、録画終了の指示を受け付けたときには、第１のキャラクタに関連する第１のトラックの録画を完了する（Ｓ１０９）。録画再生実行部４４０は、ユーザから録画終了の指示を受け付けない限り、録画処理を継続する。ここで、録画再生実行部４４０は、キャラクタを演じるユーザによる動作を検出しなくなったときに、自動的に録画を完了する処理を行うこともできる。また、ユーザによる指示を受けつけるのではなく、タイマーを作動させることで所定の時間に録画終了の処理を実行することもできる。
　図９は、本発明の実施形態に係る、トラック編集処理の一例を説明するフローチャートである。
　まず、画像生成装置３１０の制御部３４０の編集実行部４５０は、トラック格納部５３０に格納された、第１のトラックを編集する処理を行う（Ｓ２０１）。例えば、ユーザは、図１０（ａ）に示すような、トラック編集用のユーザインターフェースを介して音声に関連する第１のトラック（Ｔ１）を編集する。例えば、ユーザインターフェースには、時系列に沿って、第１のトラックが格納された領域が表示される。ユーザが、所望のバーを選択することで、第１のトラックに格納された音声が再生される。なお、トラック編集用のユーザインターフェースとして、上記のような表示に限らず、例えば、トラック名とタイトル（例えば、「音声１」）をリスト形式で表示する方法も考えられる。
　編集処理として、格納された音声の音量、音質を調整したり、音声を他の音声に変換したりすることができる。また、例えば、図１０（ｂ）に示すように、第２のトラックが格納され、編集用ユーザインターフェース上に登録された後において、図１における、第２のトラックに格納された、第１のキャラクタに対応するキャラクタ４の動作に同期するように、第１のトラックを再生することによって、キャラクタ４の動作を確認しながら、発話のタイミングを調整することができる。例えば、図１０（ｂ）に示す、第１のトラックを示すバーの位置を、第１のトラックを示すバーの位置に対して時間軸上で相対的に左右に動かすことにより微調整を図ることができる。また、第１のトラックによる、第１のキャラクタの発話の再生と共に、発話の内容に応じたリップシンクを第１のキャラクタに対して適用することもできる。リップシンクのタイミングについても、同様に本編集処理により調整を行うことができる。
　次に、画像生成装置３１０の制御部３４０の編集実行部４５０は、トラック格納部５３０に格納された、第２のトラックを編集する処理を行う（Ｓ２０２）。例えば、ユーザは、トラック編集用のユーザインターフェースを介して、第１のキャラクタに関連する第２のトラック（Ｔ２）を編集するオプション（図示せず）を選択し、図１０（ｂ）に示すような、ユーザインターフェースを介して、時系列に沿って、第２のトラックが格納される領域を示すバーを配置する。図１０（ｂ）に示すように、ユーザは、第２のトラックを第１のトラックと独立して編集しつつ、各トラックの再生タイミングの同期を図るなど、相対的に調整することが可能となる。同様に、ユーザは、他のトラック（例えば、第３のトラック（Ｔ３））を編集することができる。
　編集処理として、例えば、図１において、第１のキャラクタに対応するキャラクタ４の、仮想空間１における配置位置を変更したり、キャラクタ４の撮影位置及びアングルを変更するほか、撮影視点（ＦＰＶ、ＴＰＶ）を変更することが考えられる。また、時間の尺を変更したり、削除したりすることも考えられる。
　さらに、編集処理として、各トラックの再生を行うことで、各トラックに対応するキャラクタの動作を含む動画像やキャラクタの音声を仮想空間内で再生することで、全体として仮想空間で実現されるアニメーション動画像を作成することができる。
　編集処理が終了後、編集実行部４５０は、ユーザの要求に応じて、または、自動的に編集内容を保存する（Ｓ２０３）。
　なお、Ｓ２０１、Ｓ２０２の編集処理は、その順番を問わず実行することができ、前後に行き来することもできる。Ｓ２０３の保存処理は、Ｓ２０１、Ｓ２０２の編集が実行される都度実行することもできる。
以上のように、本実施形態により、マルチトラックレコーディング（ＭＴＲ）の方式をアニメーション制作に適用することで、ユーザ動作に連動したキャラクタ動作や音声を各トラックに格納し、各トラック内または各トラック間で編集作業を行うことで簡易かつ効率的なアニメーション制作を実現することができる。
　以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
　例えば、本実施形態において、トラック生成方法及び編集方法につき、キャラクタを例に説明したが、キャラクタに限らず、キャラクタを含む、動作を伴うオブジェクト（乗り物、構造物、物品等）に本実施形態に開示される方法を適用することもできる。
　また、例えば、本実施形態において、画像生成装置３１０をＨＭＤ１１０とは別個のものとして記載したが、画像生成装置３１０によって提供される、全部または一部の構成及び機能をＨＭＤ１１０に備えることもできる。
　　１　仮想空間
　　２　カメラマン
　　３　カメラ
　　４　キャラクタ
　　５　キャラクタ
　　１１０　ＨＭＤ
　　２１０　コントローラ
　　３１０　画像生成装置

Claims (2)

  1. 　所定のオブジェクトが配置される仮想空間を提供する、アニメーション制作方法であって、
    　ユーザによる音声を第１のトラックに格納し、
    　ヘッドマウントディスプレイを装着するユーザの動作を検出し、
    　前記検出したユーザの動作に基づいて、オブジェクトの動作を制御し、
    　前記オブジェクトの動作を撮影し、
    　前記撮影されたオブジェクトの動作に関するアクションデータを第２のトラックに格納し、
    　ユーザによる音声を第２のトラックに格納し、
    　前記第１のトラックに格納された音声を再生しながら、前記オブジェクトの動作を撮影すること、
    　を含む方法。
  2. 　前記第１のトラックまたは第２のトラックは編集可能である、請求項１に記載の方法。
PCT/JP2019/037417 2019-09-24 2019-09-24 アニメーション制作システム WO2021059365A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2019/037417 WO2021059365A1 (ja) 2019-09-24 2019-09-24 アニメーション制作システム
US16/977,077 US20220351438A1 (en) 2019-09-24 2019-09-24 Animation production system
JP2020541626A JP7218875B6 (ja) 2019-09-24 2019-09-24 アニメーション制作システム
JP2023005879A JP2023055753A (ja) 2019-09-24 2023-01-18 アニメーション制作システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/037417 WO2021059365A1 (ja) 2019-09-24 2019-09-24 アニメーション制作システム

Publications (1)

Publication Number Publication Date
WO2021059365A1 true WO2021059365A1 (ja) 2021-04-01

Family

ID=75165227

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/037417 WO2021059365A1 (ja) 2019-09-24 2019-09-24 アニメーション制作システム

Country Status (3)

Country Link
US (1) US20220351438A1 (ja)
JP (2) JP7218875B6 (ja)
WO (1) WO2021059365A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0226898B2 (ja) * 1983-02-21 1990-06-13 Nippon Electric Co

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4917920B2 (ja) * 2007-03-05 2012-04-18 日本放送協会 コンテンツ生成装置及びコンテンツ生成プログラム
US10410392B2 (en) * 2015-01-30 2019-09-10 Dentsu Inc. Data structure for computer graphics, information processing device, information processing method and information processing system
US10089063B2 (en) * 2016-08-10 2018-10-02 Qualcomm Incorporated Multimedia device for processing spatialized audio based on movement
US20180052512A1 (en) * 2016-08-16 2018-02-22 Thomas J. Overly Behavioral rehearsal system and supporting software
JP6526898B1 (ja) * 2018-11-20 2019-06-05 グリー株式会社 動画配信システム、動画配信方法、及び動画配信プログラム
JP2020149399A (ja) * 2019-03-14 2020-09-17 株式会社シーエスレポーターズ 仮想現実空間の提供方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0226898B2 (ja) * 1983-02-21 1990-06-13 Nippon Electric Co

Also Published As

Publication number Publication date
JP2023055753A (ja) 2023-04-18
JPWO2021059365A1 (ja) 2021-10-07
US20220351438A1 (en) 2022-11-03
JP7218875B2 (ja) 2023-02-07
JP7218875B6 (ja) 2023-12-11

Similar Documents

Publication Publication Date Title
JP7470344B2 (ja) アニメーション制作システム
JP7470345B2 (ja) アニメーション制作システム
JP7470346B2 (ja) アニメーション制作システム
US20220301249A1 (en) Animation production system for objects in a virtual space
JP2022025465A (ja) アニメーション制作システム
JP6964302B2 (ja) アニメーション制作方法
JP2022025468A (ja) アニメーション制作システム
JP7218875B6 (ja) アニメーション制作システム
JP7390540B2 (ja) アニメーション制作システム
JP7218874B6 (ja) アニメーション制作システム
JP2022025464A (ja) アニメーション制作システム
JP6955725B2 (ja) アニメーション制作システム
WO2021059357A1 (ja) アニメーション制作システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020541626

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19947143

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19947143

Country of ref document: EP

Kind code of ref document: A1