WO2021059358A1 - アニメーション制作システム - Google Patents

アニメーション制作システム Download PDF

Info

Publication number
WO2021059358A1
WO2021059358A1 PCT/JP2019/037410 JP2019037410W WO2021059358A1 WO 2021059358 A1 WO2021059358 A1 WO 2021059358A1 JP 2019037410 W JP2019037410 W JP 2019037410W WO 2021059358 A1 WO2021059358 A1 WO 2021059358A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
character
controller
virtual space
camera
Prior art date
Application number
PCT/JP2019/037410
Other languages
English (en)
French (fr)
Inventor
義仁 近藤
雅人 室橋
Original Assignee
株式会社エクシヴィ
エイベックス・テクノロジーズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社エクシヴィ, エイベックス・テクノロジーズ株式会社 filed Critical 株式会社エクシヴィ
Priority to JP2020541604A priority Critical patent/JP7218873B6/ja
Priority to PCT/JP2019/037410 priority patent/WO2021059358A1/ja
Priority to US16/977,058 priority patent/US20220351441A1/en
Publication of WO2021059358A1 publication Critical patent/WO2021059358A1/ja
Priority to JP2023005877A priority patent/JP2023052473A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Definitions

  • the present invention relates to an animation production system.
  • a virtual camera is placed in the virtual space (see Patent Document 1).
  • the present invention has been made in view of such a background, and an object of the present invention is to provide a technique capable of shooting an animation in a virtual space.
  • the main invention of the present invention for solving the above problems is an animation production system, from at least one of a virtual camera arranged in a virtual space, a head-mounted display and a controller worn by the user.
  • a user input detection unit that detects the input of the user, a reception unit that accepts the selection of one of a plurality of characters arranged in the virtual space in response to the input, and an operation target of the user in response to the input.
  • An operation target switching unit for switching the character is provided.
  • HMD head-mounted display
  • FIG. 1 It is a figure which shows an example of the virtual space displayed on the head-mounted display (HMD) which a user wears in the animation production system 300 of this embodiment. It is a figure which shows the whole structure example of the animation production system 300 which concerns on one Embodiment of this invention. It is a figure which shows typically the appearance of the HMD 110 which concerns on this embodiment. It is a figure which shows the functional structure example of the HMD 110 which concerns on this embodiment. It is a figure which shows typically the appearance of the controller 210 which concerns on this embodiment. It is a figure which shows the functional structure example of the controller 210 which concerns on this embodiment. It is a figure which shows the functional block diagram of the image generation apparatus 310 which concerns on this embodiment. It is a figure explaining the operation of the possession object switching part 480 in the animation production system 300 of this embodiment.
  • the present invention includes, for example, the following configuration.
  • [Item 1] A virtual camera placed in the virtual space and A user input detection unit that detects the user's input from at least one of the head-mounted display and the controller worn by the user, and A reception unit that accepts the selection of one of a plurality of characters arranged in the virtual space in response to the input.
  • An operation target switching unit that switches the character to be operated by the user in response to the input.
  • An animation production system characterized by being equipped with.
  • FIG. 2 The animation production system according to item 1.
  • An image generation unit for recording an image taken by the camera is further provided.
  • the operation target switching unit can switch the operation target of the user even during the recording of the image.
  • An animation production system featuring.
  • FIG. 1 is a diagram showing an example of a virtual space displayed on a head-mounted display (HMD) worn by a user in the animation production system 300 of the present embodiment.
  • the animation production system 300 of the present embodiment arranges a virtual character 4 and a virtual camera 3 in the virtual space 1, and attempts to produce an animation by shooting the character 4 using the camera 3. is there.
  • a cameraman 2 (photographer character) is arranged in the virtual space 1, and the cameraman 2 virtually operates the camera 3.
  • the user can arrange the character 4 and the camera 3 while looking down at the virtual space 1 from the TPV (Third Person View), or the FPV as the cameraman 2.
  • TPV Transmissiond Person View
  • FPV FPV
  • animation is created.
  • a plurality of characters 4 (character 4-1 and character 4-2 in the example of FIG. 1) can be arranged in the virtual space 1, and the user possesses the selected character 4 (sets the operation target). You can perform acting.
  • the user can switch the possessed target (operation target) to any of the characters 4 (for example, characters 4-1 and 4-2).
  • the animation production system 300 of the present embodiment one person can play many roles. Further, since the cameraman 2 can perform shooting while virtually operating the camera 2, it is possible to realize natural camera work and enrich the expression of the moving image to be shot.
  • FIG. 2 is a diagram showing an overall configuration example of the animation production system 300 according to the embodiment of the present invention.
  • the animation production system 300 can include, for example, an HMD 110, a controller 210, and an image generation device 310 that functions as a host computer.
  • An infrared camera (not shown) or the like for detecting the position, orientation, tilt, etc. of the HMD 110 or the controller 210 can be added to the animation production system 300.
  • These devices can be connected to each other by wired or wireless means.
  • each device is equipped with a USB port, and communication can be established by connecting with a cable.
  • HDMI, wired LAN, infrared rays, Bluetooth (registered trademark), WiFi (registered trademark), etc. are wired.
  • communication can be established wirelessly.
  • the image generation device 310 may be any device having a calculation processing function, such as a PC, a game machine, or a mobile communication terminal.
  • FIG. 3 is a diagram schematically showing the appearance of the HMD 110 according to the present embodiment.
  • FIG. 4 is a diagram showing a functional configuration example of the HMD 110 according to the present embodiment.
  • the HMD 110 is attached to the user's head and includes a display panel 120 so as to be arranged in front of the user's left and right eyes.
  • a display panel 120 an optical transmissive type and a non-transmissive type display can be considered, but in the present embodiment, a non-transmissive type display panel capable of providing a more immersive feeling is exemplified.
  • An image for the left eye and an image for the right eye are displayed on the display panel 120, and an image having a stereoscopic effect can be provided to the user by utilizing the parallax of both eyes. If the image for the left eye and the image for the right eye can be displayed, the display for the left eye and the display for the right eye can be provided separately, or an integrated display for the left eye and the right eye can be provided. is there.
  • the housing 130 of the HMD 110 includes a sensor 140.
  • the sensor 140 may include, for example, a magnetic sensor, an acceleration sensor, or a gyro sensor, or a combination thereof, in order to detect movements such as the orientation and tilt of the user's head.
  • the vertical direction of the user's head is the Y-axis, and of the axes orthogonal to the Y-axis, the axis that connects the center of the display panel 120 and the user and corresponds to the front-back direction of the user is the Z-axis, and the Y-axis and the Z-axis.
  • the senor 140 When the axis corresponding to the user's left-right direction is the X-axis, the sensor 140 has a rotation angle around the X-axis (so-called pitch angle), a rotation angle around the Y-axis (so-called yaw angle), and Z. The rotation angle around the axis (so-called roll angle) can be detected.
  • the housing 130 of the HMD 110 may include a plurality of light sources 150 (for example, infrared light LED, visible light LED).
  • a camera for example, an infrared light camera, a visible light camera
  • the HMD 110 may be provided with a camera for detecting a light source installed in the housing 130 of the HMD 110.
  • the housing 130 of the HMD 110 may also include an eye tracking sensor.
  • Eye tracking sensors are used to detect the gaze direction and gaze point of the user's left and right eyes.
  • Various types of eye tracking sensors can be considered. For example, the position of the reflected light on the cornea formed by irradiating the left eye and the right eye with weak infrared light is used as a reference point, and the position of the pupil with respect to the position of the reflected light is used as a reference point.
  • a method of detecting the line-of-sight direction and detecting the intersection of the line-of-sight directions of the left eye and the right eye as the gazing point can be considered.
  • FIG. 5 is a diagram schematically showing the appearance of the controller 210 according to the present embodiment.
  • FIG. 6 is a diagram showing a functional configuration example of the controller 210 according to the present embodiment.
  • the controller 210 can support the user to perform a predetermined input in the virtual space.
  • the controller 210 can be configured as a set of controllers for the left hand 220 and the right hand 230.
  • the left-hand controller 220 and the right-hand controller 230 can each have an operation trigger button 240, an infrared LED 250, a sensor 260, a joystick 270, and a menu button 280.
  • the operation trigger button 240 is arranged as 240a and 240b at positions assuming that when the grip 235 of the controller 210 is gripped, an operation such as pulling the trigger with the middle finger and the index finger is performed.
  • a plurality of infrared LEDs 250 are provided on the frame 245 formed in a ring shape downward from both side surfaces of the controller 210, and the positions of these infrared LEDs are detected by a camera (not shown) provided outside the controller. The position, orientation and tilt of the controller 210 in a specific space can be detected.
  • the controller 210 can incorporate a sensor 260 in order to detect movements such as the orientation and tilt of the controller 210.
  • the sensor 260 may include, for example, a magnetic sensor, an acceleration sensor, a gyro sensor, or a combination thereof.
  • a joystick 270 and a menu button 280 can be provided on the upper surface of the controller 210.
  • the joystick 270 can be moved in the 360-degree direction about the reference point, and it is assumed that the joystick 270 is operated by the thumb when the grip 235 of the controller 210 is gripped. It is assumed that the menu button 280 is also operated with the thumb.
  • the controller 210 may also include a vibrator (not shown) for giving vibration to the hand of the user who operates the controller 210.
  • the controller 210 inputs and outputs in order to output information such as the user's input contents via a button or a joystick and the position, orientation and tilt of the controller 210 via a sensor or the like, and to receive information from the host computer. It has a unit and a communication unit.
  • the system determines the movement and posture of the user's hand based on whether or not the user holds the controller 210 and operates various buttons and joysticks, and the information detected by the infrared LED and the sensor, and pseudo in the virtual space.
  • the user's hand can be displayed and operated.
  • FIG. 7 is a diagram showing a functional configuration diagram of the image generation device 310 according to the present embodiment.
  • the image generator 310 stores user input information transmitted from the HMD 110 or the controller 210, information on the user's head movement and controller movement and operation acquired by a sensor or the like, and performs a predetermined calculation process. Devices such as PCs, game consoles, mobile communication terminals, etc., which have a function for generating images, can be used.
  • the image generation device 310 can include, for example, an input / output unit 320 for establishing a wired connection with peripheral devices such as the HMD 110 and the controller 210, and includes infrared rays, Bluetooth (registered trademark), WiFi (registered trademark), and the like.
  • a communication unit 330 for establishing a wireless connection can be provided.
  • Information regarding the movement of the user's head and the movement and operation of the controller received from the HMD 110 and / or the controller 210 via the input / output unit 320 and / or the communication unit 330 is transmitted to the control unit 340 by the user's position.
  • the character 4 is controlled by executing the control program stored in the storage unit 350 according to the input contents of the user, which is detected as the input contents including the movements such as the line of sight and the posture, the utterance, and the operation. Processing such as generating an image is performed.
  • the control unit 340 can be configured by a CPU, but by further providing a GPU specialized for image processing, information processing and image processing can be dispersed and overall processing efficiency can be improved.
  • the image generation device 310 can also communicate with another calculation processing device and have the other calculation processing device share information processing and image processing.
  • the control unit 340 includes a user input detection unit 410 that detects information about the movement of the user's head and the user's speech, and information about the movement and operation of the controller received from the HMD 110 and / or the controller 210, and a storage unit 350 in advance.
  • the character control unit 420 that executes the control program stored in the control program storage unit 460 with respect to the character 4 stored in the character data storage unit 450, and the virtual space 1 arranged in accordance with the character control.
  • a camera control unit 440 that controls the camera 3, a possession target switching unit 480 that switches the possession target (operation target), and an image generation unit that generates an image in which the camera 3 captures the virtual space 1 based on character control. It has 430 and.
  • information such as the orientation and inclination of the user's head and the movement of the hand detected via the HMD 110 and the controller 210 is based on the movements and restrictions of the joints of the human body. It is realized by applying the movement of the bone structure by converting it into the movement of each part of the bone structure created by the above and associating the bone structure with the character data stored in advance.
  • the control of the camera 3 is, for example, various settings for the camera 3 according to the movement of the hand of the character 4 (for example, the position of the camera 3 in the virtual space 1, the shooting direction of the camera 3, the focal position, the zoom, etc.). It is done by changing.
  • the storage unit 350 stores the image data of the character 4 and information related to the character 4 such as the attributes of the character 4 in the character data storage unit 450 described above. Further, the control program storage unit 460 stores a program for controlling the movement and facial expression of the character 4 in the virtual space and controlling an object such as the camera 3.
  • the image data storage unit 470 stores the image generated by the image generation unit 430.
  • FIG. 8 is a diagram illustrating the operation of the possession target switching unit 480 in the animation production system 300 of the present embodiment.
  • the possession target switching unit 480 accepts the selection of the character 4 to be the possession target (operation target) (S601).
  • the selection of the character 4 is performed in a state where the virtual space 1 is overlooked as shown in FIG. 1, for example, the character 4 is indicated by the movement of the user's finger 21, and the trigger button 240 is in a state where the finger 21 indicates the character 4.
  • the possession target switching unit 480 can determine that the character 4 indicated by the finger 21 has been selected.
  • the possession target switching unit 480 sets the selected character 4 as a possession target from the user (S602).
  • the operation of the user's controller 210 or HMD 110 is not reflected in the operation of the character 4, and is two-dimensional or three-dimensional in the virtual space 1.
  • Various object operations are performed (S604).
  • the operation of the object in the virtual space 1 includes, for example, arranging a new character 4, changing the position of the character 4, selecting the character 4 to be possessed, arranging a new camera 3, and arranging the camera 3.
  • the target possessed by the user is operated (S605).
  • the character control unit 420 controls the operation of the character 4 according to the operation of the user controller 210 or the HMD 110 (S605).
  • various two-dimensional or three-dimensional objects can be grasped and moved by the character 4's hand, and accessories can be attached.
  • a specific object which can be specified by the user
  • a specific object which can be specified by the user
  • the user can operate the camera 3 as the cameraman 2 in the virtual space 1 to shoot a moving image. Therefore, since the camera 3 can be operated and photographed in the same manner as in the real world, it is possible to realize natural camera work, and it is possible to give a richer expression to the animated moving image.
  • the character 4 can be sequentially performed while switching the character 4 to be possessed in the virtual space 1. Therefore, it is possible to efficiently shoot an animation.
  • the image generator 310 is assumed to be one computer, but the present invention is not limited to this, and the HMD 110 or the controller 210 may be provided with all or a part of the functions of the image generator 310. Good. Further, another computer communicably connected to the image generator 310 can be provided with some functions of the image generator 310.
  • a virtual space based on virtual reality (VR) is assumed, but the present invention is not limited to this, and is limited to an augmented reality (AR) space or a mixed reality (MR) space. Even if there is, the animation production system 300 of this embodiment can be applied as it is.
  • VR virtual reality
  • AR augmented reality
  • MR mixed reality
  • the description of the switching process between the mode in which the virtual space 1 is overlooked and the mode in which the character 4 is operated is omitted, but the switching between these modes is realized by an arbitrary method. be able to.
  • a button for switching the mode can be arranged in the virtual space 1, and the mode can be switched by tapping the button or selecting the button according to the operation of the controller 210.
  • the mode may be switched according to the pressing of the trigger button 240 or the menu button 280 of the controller 210 and the motion of the controller 210.
  • the character 4 is selected by the user moving the finger 21 in the mode in which the virtual space 1 is overlooked, but the present invention is not limited to this, and the character 4 is selected by a method. If there is, any method can be adopted.
  • the user can select another character 4 during the operation of the character 4 and switch the character 4 to be operated.
  • the user may select the character 4 to be possessed by operating the joystick 270 or the menu button 280 of the controller 210, or the user may be placed at the focal position of the field of view from the first-person viewpoint of the character 4 being operated. It is also possible to determine the character 4 as the character 4 to be possessed. Further, during the operation of the character 4, the character 4 or the cameraman 2 (camera 3) to be the switching destination of possession can be selected by using the hand or finger of the character 4.
  • a pointer having a shape such as a laser beam can be operated by the controller 210 to select the character 4 or the cameraman 2 (camera 3) to be switched to. Further, after selecting the switching target as described above, it is possible to perform an actual switching according to a predetermined operation by the controller 210 or an operation on the body part of the user that can be detected by the HMD 110 or the controller 210. it can.
  • the user can select the character 4 during the operation of the camera 3 and switch the character 4 to be operated.
  • the user may select the character 4 to be possessed by operating the joystick 270 of the controller 210 or the menu button 280, or the user may be placed at the focal position of the field of view from the first-person viewpoint of the photographer 2 during operation. It is also possible to determine the character 4 as the character 4 to be possessed. Further, during the operation of the cameraman 2, the character 4 or the cameraman 2 (camera 3) to be the switching destination of possession can be selected by using the hand or finger of the cameraman 2.
  • the operation mode is a bird's-eye view mode or not (S603), but a rendering mode for creating a final animation movie based on the action data may be provided.

Abstract

【課題】仮想空間内でアニメーションを撮影することができるようにする。 【解決手段】アニメーション制作システムは、仮想空間内に配置される仮想的なカメラと、ユーザが装着したヘッドマウントディスプレイおよびコントローラの少なくともいずれかからユーザの入力を検出するユーザ入力検出部と、入力に応じて、仮想空間内に配置された複数のキャラクタの一つの選択を受け付ける受付部と、入力に応じて、ユーザの操作対象となるキャラクタを切り替える操作対象切替部と、を備える。

Description

アニメーション制作システム
　本発明は、アニメーション制作システムに関する。
　仮想空間内に仮想カメラを配置することが行われている（特許文献１参照）。
特開２０１７－１４６６５１号公報
　仮想空間内でアニメーションを撮影しようとする取り組みが行われてこなかった。
　本発明はこのような背景を鑑みてなされたものであり、仮想空間内でアニメーションを撮影することのできる技術を提供することを目的とする。
　上記課題を解決するための本発明の主たる発明は、アニメーション制作システムであって、仮想空間内に配置される仮想的なカメラと、ユーザが装着したヘッドマウントディスプレイおよびコントローラの少なくともいずれかから前記ユーザの入力を検出するユーザ入力検出部と、前記入力に応じて、前記仮想空間内に配置された複数のキャラクタの一つの選択を受け付ける受付部と、前記入力に応じて、前記ユーザの操作対象となる前記キャラクタを切り替える操作対象切替部と、を備えることとする。
　その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
　本発明によれば、仮想空間内でアニメーションを撮影することができる。
本実施形態のアニメーション制作システム３００においてユーザが装着するヘッドマウントディスプレイ（ＨＭＤ）に表示される仮想空間の一例を示す図である。 本発明の一実施形態に係るアニメーション制作システム３００の全体構成例を示す図である。 本実施形態に係るＨＭＤ１１０の外観を模式的に示す図である。 本実施形態に係るＨＭＤ１１０の機能構成例を示す図である。 本実施形態に係るコントローラ２１０の外観を模式的に示す図である。 本実施形態に係るコントローラ２１０の機能構成例を示す図である。 本実施形態にかかる画像生成装置３１０の機能構成図を示す図である。 本実施形態のアニメーション制作システム３００における憑依対象切替部４８０の動作を説明する図である。
　本発明の実施形態の内容を列記して説明する。本発明は、たとえば以下のような構成を備える。
［項目１］
　仮想空間内に配置される仮想的なカメラと、
　ユーザが装着したヘッドマウントディスプレイおよびコントローラの少なくともいずれかから前記ユーザの入力を検出するユーザ入力検出部と、
　前記入力に応じて、前記仮想空間内に配置された複数のキャラクタの一つの選択を受け付ける受付部と、
　前記入力に応じて、前記ユーザの操作対象となる前記キャラクタを切り替える操作対象切替部と、
　を備えることを特徴とするアニメーション制作システム。
［項目２］
　項目１に記載のアニメーション制作システムであって、
　前記カメラが撮影した画像を記録する画像生成部をさらに備え、
　前記操作対象切替部は、前記画像の記録中にも前記ユーザの操作対象を切り替え可能であること、
　を特徴とするアニメーション制作システム。
　本発明の一実施形態に係るアニメーション制作システム３００の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
＜概要＞
　図１は、本実施形態のアニメーション制作システム３００においてユーザが装着するヘッドマウントディスプレイ（ＨＭＤ）に表示される仮想空間の一例を示す図である。本実施形態のアニメーション制作システム３００は、仮想空間１に仮想的なキャラクタ４と仮想的なカメラ３とを配置し、カメラ３を用いてキャラクタ４を撮影することによりアニメーションを制作しようとするものである。
　仮想空間１にはカメラマン２（撮影者キャラクタ）が配置され、カメラマン２によりカメラ３が仮想的に操作される。本実施形態のアニメーション制作システム３００では、ユーザは、図１に示すように仮想空間１をＴＰＶ（Third Person View；三人称視点）で俯瞰しながらキャラクタ４やカメラ３を配置したり、カメラマン２としてＦＰＶ（First Person View；一人称視点）でキャラクタ４を撮影したり、ＦＰＶでキャラクタ４の演技を行ったりしながら、アニメーションを制作していく。仮想空間１内には複数のキャラクタ４（図１の例では、キャラクタ４－１およびキャラクタ４－２）を配置することができ、ユーザは、選択したキャラクタ４に憑依しながら（操作対象を設定して）演技を行うことができる。複数のキャラクタ４が配置されている場合、ユーザは、憑依する対象（操作対象）をキャラクタ４（たとえば、キャラクタ４－１および４－２）のいずれかに切り替えることができる。
　このように、本実施形態のアニメーション制作システム３００では、一人が何役もの役割（ロール）を果たすことができる。また、カメラマン２としてカメラ２を仮想的に操作しながら撮影を行うことができるので、自然なカメラワークを実現することが可能となり、撮影される動画の表現を豊かにすることができる。
＜全体構成＞
　図２は、本発明の一実施形態に係るアニメーション制作システム３００の全体構成例を示す図である。アニメーション制作システム３００は、例えば、ＨＭＤ１１０、コントローラ２１０及びホストコンピュータとして機能する画像生成装置３１０を含んで構成することができる。アニメーション制作システム３００には、ＨＭＤ１１０やコントローラ２１０の位置、向き及び傾き等を検出するための赤外線カメラ（図示せず）等を追加することもできる。これらの装置は、相互に、有線又は無線手段により接続することができる。例えば、各々の装置にＵＳＢポートを備え、ケーブルで接続することで通信を確立することもできるし、他に、ＨＤＭＩ、有線ＬＡＮ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）等の有線又は無線により通信を確立することもできる。画像生成装置３１０は、ＰＣ、ゲーム機、携帯通信端末等、計算処理機能を有する装置であればよい。
＜ＨＭＤ１１０＞
　図３は、本実施形態に係るＨＭＤ１１０の外観を模式的に示す図である。図４は、本実施形態に係るＨＭＤ１１０の機能構成例を示す図である。
　ＨＭＤ１１０はユーザの頭部に装着され、ユーザの左右の眼前に配置されるよう表示パネル１２０を備える。表示パネル１２０としては、光学透過型と非透過型のディスプレイが考えられるが、本実施形態では、より没入感を提供可能な非透過型の表示パネルを例示する。表示パネル１２０には、左目用画像と右目用画像とが表示され、両目の視差を利用することにより立体感のある画像をユーザに提供することができる。左目用画像と右目用画像とを表示することができれば、左目用ディスプレイと右目用ディスプレイとを個別に備えることも可能であるし、左目用及び右目用の一体型のディスプレイを備えることも可能である。
　ＨＭＤ１１０の筐体部１３０は、センサ１４０を備える。センサ１４０は、ユーザの頭部の向きや傾きといった動きを検出するために、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。ユーザの頭部の垂直方向をＹ軸とし、Ｙ軸と直交する軸のうち、表示パネル１２０の中心とユーザとを結ぶ、ユーザの前後方向に相当する軸をＺ軸とし、Ｙ軸及びＺ軸と直交し、ユーザの左右方向に相当する軸をＸ軸とするとき、センサ１４０は、Ｘ軸まわりの回転角（いわゆる、ピッチ角）、Ｙ軸まわりの回転角（いわゆる、ヨー角）、Ｚ軸まわりの回転角（いわゆる、ロール角）を検出することができる。
　センサ１４０に代えて、またはセンサ１４０に加えて、ＨＭＤ１１０の筐体部１３０は、複数の光源１５０（例えば、赤外光ＬＥＤ、可視光ＬＥＤ）を備えることもできる。ＨＭＤ１１０の外部（例えば、室内等）に設置されたカメラ（例えば、赤外光カメラ、可視光カメラ）がこれらの光源を検出することで、特定の空間におけるＨＭＤ１１０の位置、向き、傾きを検出することができる。または、同じ目的で、ＨＭＤ１１０に、ＨＭＤ１１０の筐体部１３０に設置された光源を検出するためのカメラを備えることもできる。
　ＨＭＤ１１０の筐体部１３０は、アイトラッキング・センサを備えることもできる。アイトラッキング・センサは、ユーザの左目及び右目の視線方向及び注視点を検出するために用いられる。アイトラッキング・センサとしては様々な方式が考えられるが、例えば、左目および右目に弱い赤外光を照射してできる角膜上の反射光の位置を基準点とし、反射光の位置に対する瞳孔の位置により視線方向を検出し、左目及び右目の視線方向の交点を注視点として検出する方法などが考えられる。
＜コントローラ２１０＞
　図５は、本実施形態に係るコントローラ２１０の外観を模式的に示す図である。図６は、本実施形態に係るコントローラ２１０の機能構成例を示す図である。
　コントローラ２１０により、仮想空間内において、ユーザが所定の入力を行うことをサポートすることができる。コントローラ２１０は、左手用２２０及び右手用２３０のコントローラのセットとして構成することができる。左手用コントローラ２２０及び右手用コントローラ２３０は、各々操作用トリガーボタン２４０、赤外線ＬＥＤ２５０、センサ２６０、ジョイスティック２７０、メニューボタン２８０を有することができる。
　操作用トリガーボタン２４０は、コントローラ２１０のグリップ２３５を把持したときに、中指及び人差し指でトリガーを引くような操作を行うことを想定した位置に２４０ａ、２４０ｂとして配置される。コントローラ２１０の両側面から下方にリング状に形成されるフレーム２４５には、複数の赤外線ＬＥＤ２５０が備えられ、コントローラ外部に備えられるカメラ（図示せず）により、これらの赤外線ＬＥＤの位置を検出することで、特定の空間におけるコントローラ２１０の位置、向き及び傾きを検出することができる。
　また、コントローラ２１０は、コントローラ２１０の向きや傾きといった動きを検出するために、センサ２６０を内蔵することができる。センサ２６０として、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。さらに、コントローラ２１０の上面には、ジョイスティック２７０及びメニューボタン２８０を備えることができる。ジョイスティック２７０は、基準点を中心に３６０度方向に動かすことができ、コントローラ２１０のグリップ２３５を把持したときに、親指で操作されることが想定される。メニューボタン２８０もまた同様に、親指で操作されることが想定される。さらに、コントローラ２１０は、コントローラ２１０を操作するユーザの手に振動を与えるためのバイブレータ（図示せず）を内蔵することもできる。ボタンやジョイスティックを介したユーザの入力内容やセンサ等を介したコントローラ２１０の位置、向き及び傾きといった情報を出力するため、また、ホストコンピュータからの情報を受信するために、コントローラ２１０は、入出力部及び通信部を有する。
　ユーザがコントローラ２１０を把持し、各種ボタンやジョイスティックを操作することの有無、及び赤外線ＬＥＤやセンサにより検出される情報によって、システムはユーザの手の動きや姿勢を決定し、仮想空間内において擬似的にユーザの手を表示させ、動作させることができる。
＜画像生成装置３１０＞
　図７は、本実施形態にかかる画像生成装置３１０の機能構成図を示す図である。画像生成装置３１０としては、ＨＭＤ１１０やコントローラ２１０から送信された、ユーザ入力情報やセンサ等により取得されたユーザの頭部動きやコントローラの動きや操作に関する情報を記憶し、所定の計算処理を行い、画像を生成するための機能を有する、ＰＣ、ゲーム機及び携帯通信端末等といった装置を使用することができる。画像生成装置３１０は、例えば、ＨＭＤ１１０やコントローラ２１０等の周辺装置との有線による接続を確立するための入出力部３２０を備えることができ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉＦｉ（登録商標）等無線による接続を確立するための通信部３３０を備えることができる。入出力部３２０及び／又は通信部３３０を介して、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動きやコントローラの動きや操作に関する情報は、制御部３４０において、ユーザの位置、視線、姿勢等の動作、発話、操作等を含めた入力内容として検出され、ユーザの入力内容に応じて、記憶部３５０に格納された制御プログラムを実行することで、キャラクタ４の制御を行い、画像を生成するといった処理がなされる。制御部３４０は、ＣＰＵで構成することもできるが、画像処理に特化したＧＰＵをさらに設けることで、情報処理と画像処理を分散化し、全体の処理の効率化を図ることもできる。画像生成装置３１０はまた、他の計算処理装置と通信を行い、他の計算処理装置に情報処理や画像処理を分担させることもできる。
　制御部３４０は、ＨＭＤ１１０及び／又はコントローラ２１０から受信された、ユーザの頭部の動きやユーザの発話、また、コントローラの動きや操作に関する情報を検出するユーザ入力検出部４１０と、予め記憶部３５０のキャラクタデータ格納部４５０に格納されたキャラクタ４に対して、制御プログラム格納部４６０に格納された制御プログラムを実行するキャラクタ制御部４２０と、キャラクタ制御に応じて、仮想空間１に配置された仮想的なカメラ３の制御を行うカメラ制御部４４０と、憑依対象（操作対象）を切り替える憑依対象切替部４８０と、キャラクタ制御に基づいてカメラ３が仮想空間１を撮影した画像を生成する画像生成部４３０とを有する。ここでキャラクタ４やカメラマン２の動きの制御については、ＨＭＤ１１０やコントローラ２１０を介して検出されたユーザ頭部の向きや傾き、手の動きといった情報を、人間の身体の関節の動きや制約に則って作成されたボーン構造の各部の動きに変換し、予め格納されたキャラクタデータに対して、ボーン構造を関連付けることで、ボーン構造の動きを適用させることで実現される。カメラ３の制御は、たとえば、キャラクタ４の手の動きに応じて、カメラ３についての各種設定（たとえば、カメラ３の仮想空間１内での位置、カメラ３の撮影方向、焦点位置、ズームなど）を変更することにより行われる。
　記憶部３５０は、上述のキャラクタデータ格納部４５０に、キャラクタ４のイメージデータのほか、キャラクタ４の属性等キャラクタ４に関連する情報を格納する。また、制御プログラム格納部４６０は、仮想空間におけるキャラクタ４の動作や表情を制御し、カメラ３などのオブジェクトを制御するためのプログラムを格納する。画像データ格納部４７０は、画像生成部４３０で生成された画像を格納する。
＜動作＞
　図８は、本実施形態のアニメーション制作システム３００における憑依対象切替部４８０の動作を説明する図である。
　憑依対象切替部４８０は、憑依対象（操作対象）となるキャラクタ４の選択を受け付ける（Ｓ６０１）。キャラクタ４の選択は、図１に示されるように仮想空間１を俯瞰した状態において、たとえば、ユーザの指２１の動きでキャラクタ４を示し、指２１がキャラクタ４を示した状態で、トリガーボタン２４０が引かれた場合に、憑依対象切替部４８０は、指２１が示しているキャラクタ４が選択されたと判定することができる。憑依対象切替部４８０は、キャラクタ４が選択されると、選択されたキャラクタ４をユーザからの憑依対象として設定する（Ｓ６０２）。
　図１のように仮想空間１が俯瞰されている場合には（Ｓ６０３：ＹＥＳ）、ユーザのコントローラ２１０やＨＭＤ１１０の操作はキャラクタ４の動作には反映されず、仮想空間１における２次元または３次元の各種のオブジェクト操作が行われる（Ｓ６０４）。仮想空間１におけるオブジェクトの操作には、たとえば、新しいキャラクタ４を配置したり、キャラクタ４の位置を変更したり、憑依対象となるキャラクタ４を選択したり、新しいカメラ３を配置したり、カメラ３の位置や撮影方向を変更したり、新しい背景画像を配置したり、背景画像の位置や大きさを変更したり、新しい光源（不図示）を配置したり、光源の位置を移動したり、新しい風源（不図示）を配置したり、風源の位置を変更したり、風源からの風の吹き出し方向を変更したり、風源からの風の吹き出しの開始または終了のためのスイッチのオンオフを行ったり、キャラクタ４にテクスチャを設定したり、キャラクタ４にアクセサリを付けたりすることが含まれる。
　一方、俯瞰モードになっていない場合には（Ｓ６０３：ＮＯ）、ユーザが憑依している対象を操作する（Ｓ６０５）。たとえば、キャラクタ４に憑依している場合には、キャラクタ制御部４２０は、ユーザのコントローラ２１０やＨＭＤ１１０の操作に応じてキャラクタ４の動作を制御する（Ｓ６０５）。なお、キャラクタ４を操作することにより、キャラクタ４の手で各種の２次元または３次元のオブジェクトを掴んで動かしたり、アクセサリを装着したりすることができる。また、背景画像など、特定のオブジェクト（ユーザが指定することができる。）については、キャラクタ４の憑依中にキャラクタ４が掴んで動かせないようにすることができる。これにより、たとえば、キャラクタ４の演技中に背景を誤って掴んで動かしてしまうようなことを予防することができる。
　以上説明したように、本実施形態のアニメーション制作システム３００によれば、仮想空間１内においてユーザがカメラマン２としてカメラ３を操作して、動画を撮影することができる。したがって、現実世界と同様にカメラ３を操作して撮影を行うことができるので、自然なカメラワークを実現することが可能となり、アニメーション動画により豊かな表現を与えることができる。
　また、本実施形態のアニメーション制作システム３００によれば、仮想空間１内において憑依対象となるキャラクタ４を切り替えながらキャラクタ４の演技を順次行うことができる。したがって、効率的にアニメーションの撮影を行うことができる。
　以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
　たとえば、本実施形態では、画像生成装置３１０は１台のコンピュータであるものとしたが、これに限らず、ＨＭＤ１１０またはコントローラ２１０に画像生成装置３１０の全部または一部の機能を備えるようにしてもよい。また、画像生成装置３１０と通信可能に接続する他のコンピュータに画像生成装置３１０の一部の機能を備えるようにすることができる。
　また、本実施形態では、仮想現実（ＶＲ；Virtual Reality）による仮想空間を想定していたが、これに限らず、拡張現実（ＡＲ；Augumented Reality）空間あるいは複合現実（ＭＲ；Mixed Reality）空間であっても本実施形態のアニメーション制作システム３００はそのまま適用可能である。
　また、本実施形態では、仮想空間１を俯瞰しているモードと、キャラクタ４を操作しているモードとの切替処理についての説明を省略したが、これらのモードの切替は任意の手法により実現することができる。たとえば、仮想空間１中にモードを切り替えるボタンを配置し、コントローラ２１０の操作に応じてボタンのタップやボタンの選択などによりモードを切り替えることができる。また、たとえば、コントローラ２１０のトリガーボタン２４０やメニューボタン２８０の押下とコントローラ２１０のモーションとに応じてモードを切り替えるようにしてもよい。
　また、本実施形態では、キャラクタ４の選択は、仮想空間１を俯瞰しているモードにおいてユーザが指２１を動かすことで行うものとしたが、これに限らず、キャラクタ４が選択される方法であれば任意の方法を採用することができる。
　また、キャラクタ４を操作しているモード（演技モード）であっても、ユーザは、キャラクタ４の操作中に他のキャラクタ４を選択し、操作対象のキャラクタ４を切り替えるようにすることもできる。たとえば、ユーザは、コントローラ２１０のジョイスティック２７０やメニューボタン２８０の操作により、憑依対象となるキャラクタ４を選択するようにしてもよいし、操作中のキャラクタ４の一人称視点において視界の焦点位置に配置されているキャラクタ４を憑依対象のキャラクタ４として判定するようにすることもできる。また、キャラクタ４の操作中に、キャラクタ４の手や指を用いて憑依の切り替え先となるキャラクタ４やカメラマン２（カメラ３）を選択するようにすることもできる。また、たとえば、レーザービーム状などの形状のポインタをコントローラ２１０で操作して切り替え先のキャラクタ４やカメラマン２（カメラ３）を選択するようにすることもできる。また、上記のような切替対象の選択をした後、コントローラ２１０による所定の操作、またはＨＭＤ１１０もしくはコントローラ２１０が検出可能なユーザの身体部位に動作に応じて、実際の切り替えを行うようにすることができる。
　また、カメラ３を操作しているモードであっても、ユーザは、カメラ３の操作中にキャラクタ４を選択し、操作対象のキャラクタ４を切り替えるようにすることもできる。たとえば、ユーザは、コントローラ２１０のジョイスティック２７０やメニューボタン２８０の操作により、憑依対象となるキャラクタ４を選択するようにしてもよいし、操作中のカメラマン２の一人称視点において視界の焦点位置に配置されているキャラクタ４を憑依対象のキャラクタ４として判定するようにすることもできる。また、カメラマン２の操作中に、カメラマン２の手や指を用いて憑依の切り替え先となるキャラクタ４やカメラマン２（カメラ３）を選択するようにすることもできる。
　また、本実施形態では、動作モードは俯瞰モードであるか否か（Ｓ６０３）の２択であったが、アクションデータに基づいて最終的なアニメーション動画を作成するレンダリングモードを設けてもよい。
　　１　　　仮想空間
　　２　　　カメラマン
　　３　　　カメラ
　　４　　　キャラクタ
　　１１０　ＨＭＤ
　　１２０　表示パネル
　　１３０　筐体部
　　１４０　センサ
　　１５０　光源
　　２１０　コントローラ
　　２２０　左手用コントローラ
　　２３０　右手用コントローラ
　　２３５　グリップ
　　２４０　トリガーボタン
　　２５０　赤外線ＬＥＤ
　　２６０　センサ
　　２７０　ジョイスティック
　　２８０　メニューボタン
　　３００　アニメーション制作システム
　　３１０　画像生成装置
　　３２０　入出力部
　　３３０　通信部
　　３４０　制御部
　　３５０　記憶部
　　４１０　ユーザ入力検出部
　　４２０　キャラクタ制御部
　　４３０　画像生成部
　　４４０　カメラ制御部
　　４５０　キャラクタデータ格納部
　　４６０　プログラム格納部
　　４７０　画像データ格納部
　　４８０　憑依対象切替部
　　５１０　ハンドル
　　５２０　表示部
　　５３０　レール
　　５４０　スライダ
　　５５０　録画ボタン
 

Claims (2)

  1. 　仮想空間内に配置される仮想的なカメラと、
    　ユーザが装着したヘッドマウントディスプレイおよびコントローラの少なくともいずれかから前記ユーザの入力を検出するユーザ入力検出部と、
    　前記入力に応じて、前記仮想空間内に配置された複数のキャラクタの一つの選択を受け付ける受付部と、
    　前記入力に応じて、前記ユーザの操作対象となる前記キャラクタを切り替える操作対象切替部と、
    　を備えることを特徴とするアニメーション制作システム。
  2. 　請求項１に記載のアニメーション制作システムであって、
    　前記カメラが撮影した画像を記録する画像生成部をさらに備え、
    　前記操作対象切替部は、前記画像の記録中にも前記ユーザの操作対象を切り替え可能であること、
    　を特徴とするアニメーション制作システム。
     
PCT/JP2019/037410 2019-09-24 2019-09-24 アニメーション制作システム WO2021059358A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020541604A JP7218873B6 (ja) 2019-09-24 2019-09-24 アニメーション制作システム
PCT/JP2019/037410 WO2021059358A1 (ja) 2019-09-24 2019-09-24 アニメーション制作システム
US16/977,058 US20220351441A1 (en) 2019-09-24 2019-09-24 Animation production system
JP2023005877A JP2023052473A (ja) 2019-09-24 2023-01-18 アニメーション制作システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/037410 WO2021059358A1 (ja) 2019-09-24 2019-09-24 アニメーション制作システム

Publications (1)

Publication Number Publication Date
WO2021059358A1 true WO2021059358A1 (ja) 2021-04-01

Family

ID=75165212

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/037410 WO2021059358A1 (ja) 2019-09-24 2019-09-24 アニメーション制作システム

Country Status (3)

Country Link
US (1) US20220351441A1 (ja)
JP (2) JP7218873B6 (ja)
WO (1) WO2021059358A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018195177A (ja) * 2017-05-19 2018-12-06 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3962079B1 (ja) 2006-02-16 2007-08-22 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018195177A (ja) * 2017-05-19 2018-12-06 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム

Also Published As

Publication number Publication date
JP2023052473A (ja) 2023-04-11
JP7218873B6 (ja) 2023-12-11
JP7218873B2 (ja) 2023-02-07
US20220351441A1 (en) 2022-11-03
JPWO2021059358A1 (ja) 2021-10-14

Similar Documents

Publication Publication Date Title
JP2022184958A (ja) アニメーション制作システム
JP7454818B2 (ja) アニメーション制作方法
JP2022153476A (ja) アニメーション制作システム
JP6964302B2 (ja) アニメーション制作方法
JP2022025467A (ja) アニメーション制作システム
JP7078216B2 (ja) アニメーション制作方法
WO2021059367A1 (ja) アニメーション制作システム
WO2021059369A1 (ja) アニメーション制作システム
WO2021059368A1 (ja) アニメーション制作システム
JP7218873B6 (ja) アニメーション制作システム
JP7218872B6 (ja) アニメーション制作システム
JP7115698B2 (ja) アニメーション制作システム
JP6955725B2 (ja) アニメーション制作システム
JP7218874B6 (ja) アニメーション制作システム
JP2022025475A (ja) アニメーション制作システム
JP2022025473A (ja) 動画配信方法
JP2022025476A (ja) アニメーション制作システム
WO2021059370A1 (ja) アニメーション制作システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020541604

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19946962

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19946962

Country of ref document: EP

Kind code of ref document: A1