WO2002033660A1 - Dispositif de production d'informations video - Google Patents

Dispositif de production d'informations video Download PDF

Info

Publication number
WO2002033660A1
WO2002033660A1 PCT/JP2001/009236 JP0109236W WO0233660A1 WO 2002033660 A1 WO2002033660 A1 WO 2002033660A1 JP 0109236 W JP0109236 W JP 0109236W WO 0233660 A1 WO0233660 A1 WO 0233660A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
function
scene
frame
small image
Prior art date
Application number
PCT/JP2001/009236
Other languages
English (en)
French (fr)
Inventor
Kenji Saito
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US10/399,235 priority Critical patent/US7002584B2/en
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to EP01978843A priority patent/EP1329852A4/en
Publication of WO2002033660A1 publication Critical patent/WO2002033660A1/ja

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation

Definitions

  • the present invention relates to a video information creating device that creates a moving image by computer graphics technology.
  • Video 1 1 ⁇ ) ⁇ location to perform a go-between by the video created in computer graphics (CG) technology is widely used in such commercials.
  • CG computer graphics
  • animals created by CG technology play an active role in the leading role of the movie, and people transform and become robots. It is an era that cannot be talked about.
  • the elemental technologies of CG include creating a 3D object (this is called modeling), illuminating the 3D object, taking a picture of the object (called rendering), and creating a moving image (called animation). ) and so on.
  • the modeling work involves observing the three-dimensional object being worked on by rendering, and correcting defects. If the animal moves, determine the skeleton, create an image of the fixed joints and the movable bones that are moved little by little, memorize them, and create a screen of the desired movement. In order to convert complex movements into natural movements, wear a measuring device that measures the position of human joints and operate to obtain data on the force of each joint movement (motion capture) .
  • the main object of the present invention is to create a CG moving image, and in particular, to handle three-dimensional image information of an actual object as a moving part or a background part, even if the apparatus is a low-speed computer with a cheap personal computer. By doing so, we will further develop CG technology, and at the same time, share a video 1 fffg creation device that can reduce program production costs. Disclosure of the invention
  • the image tffR product according to the present invention achieves the above object by taking the following functions. Before describing this function, terms are explained. Real image means an image of a real thing. There are many different things that exist.
  • the video / sickle-shooting butterfly device uses an input device for three-dimensional image information of a real image, which is such a real part.
  • an input device include a non-contact three-dimensional digitizer and a three-dimensional laser shape measurement system.
  • the ability to capture a three-dimensional image of a real part (subject) into a computer or other processing device is a feature of this system.
  • the computer as the processing device 3 for inputting the real image three-dimensional image ⁇ is generally a high-speed computer.
  • the projection operation separation according to the present invention includes a processing device for processing real image three-dimensional image information input by the input device.
  • This processing includes a storage function for storing, and a video ⁇ ffg generation function for applying motion to the real image three-dimensional image ⁇ ffg read from the storage function by applying computer graphics technology to generate video information. Have. And this butterfly is stored by the movie 1tfg generation function.
  • the 3D image information of the real image is read out from the function, and the desired image processing technique, for example, computer graphics technology is used to add desired movement to the 3D image information of the actual image to automatically generate moving image information.
  • the desired image processing technique for example, computer graphics technology
  • a talent is taken as a real person, instead of having the talent actually act, if a real image 3D image 1tfg of the talent is acquired in advance, then the talent Even in the absence of the user, the user can read the three-dimensional image information of the actual image of the talent at an arbitrary date and time and freely move it within the range of image processing technology to create moving image information of a desired operation.
  • Talents are not required to act, and can significantly reduce the time of restraint. As a result, production costs can be reduced.
  • the transport contract female device of the present invention includes an input device that inputs a three-dimensional image ⁇ ffg of a real image, and a processing device such as a computer that processes three-dimensional image information from the input device.
  • the processing includes a storage function for storing the actual HH-dimensional image 'Itfg input from the input device, and image processing such as computer graphics technology for the real image three-dimensional image read from the storage function. It is equipped with a movie @ ffg generation function that gives motion by applying technology and generates movie information. With this configuration, it is possible to automatically input three-dimensional image information of a real image as a real part, thereby saving work labor.
  • the elephant iffg of the present invention has an input device for inputting three-dimensional image information of a real image, and a device for processing three-dimensional image information from the ten input devices.
  • Difficulty is: an input function for inputting the three-dimensional image ttfg of the real image, a memory function for storing the real image three-dimensional image information input by the input function, and a real image tertiary read from the storage function.
  • Small image tg generation function to generate small image ⁇ ken from original image
  • storage function to associate and store the real image 3D image and small image 1ffg
  • a function of reading the small image 1ffg from the L5 function and displaying the small image in the small image frame, a function of selecting the small image in the small image frame on the display, moving it to a desired position of the scene frame, and pasting it A function of storing the arrangement if g of the pasted small image in the scene frame; a function of correcting the expression form of the small image displayed in the scene frame in the own scene frame; A function to change the operation mode of the small image displayed in the scene frame; a function to update the arrangement information of the small image after the modification or the change; and a function to change the small image before the change in the scene frame. It has a moving image information creation function of calculating a change in operation from a small image to a small image after change to create a series of time-series moving image information, and a function of storing the created moving image request.
  • the present invention handles two types of detailed image information and simplified images itfg for the three-dimensional image itfg of a part.
  • the three-dimensional image information of the lb part consists of the position and color information of points on the surface of the part. However, there are cases where there is no ffg for the color (monochrome).
  • the detailed image information describes the density of points on the surface high, while the simplified image information describes the density of points on the surface as 1/100 (one example) and the amount of space is 10 It is about 1/0. Note that this numerical value is merely an example for reference, and may be an arbitrary number.
  • a small image of a part is created by creating an image (example) viewed from the front of the part from a simplified image, or creating a manga (example) showing the part, and adding a unique number or name to the part. Called.
  • This small image shall include information associated with detailed image information or simplified image information of the part.
  • small image information generated from a real image three-dimensional image is displayed in a small image frame (also called a thumbnail display).
  • a small image frame also called a thumbnail display
  • a small image corresponding to the small image information displayed in the small image frame is selected by, for example, a drag-and-drop operation, moved to a desired position in the scene frame, and pasted.
  • the pasting position of the small image at this time is stored as the arrangement ⁇ f g.
  • a scene consisting of a combination of background and moving object is temporarily formed in the scene frame. This can be corrected for the representation of small images within the scene frame. This is to create a more favorable scene.
  • Corrections include changes in size, rotation, perspective, and fine adjustment of the vertical, horizontal, and vertical positions. It is also possible to change the operation mode of the small image.
  • the motion modes are standing, sitting, sleeping, flying, walking, running, and so on.
  • the motion change from the small image before the change to the small image after the change in the scene frame is calculated by the video information creation function, and a series of time-series video iffg is calculated. create.
  • the created moving image information is stored.
  • the things that move are humans, animals, cars, etc. Humans and animals have movement modes such as walking and running. By defining the movement according to the movement style and automatically drawing the movement, the labor is reduced.
  • the moving image creation function in the processing unit includes a function of duplicating the Eli plane frame to which the small image is pasted, and a function of copying the small image in the duplicated scene frame to the scene.
  • a function to move within the frame a function to specify the transfer formula of the small image related to the movement, and a specification of an operation time from a small image before duplication to a small image after duplication within the scene frame
  • a small image is already copied, and then the small image is moved within the duplicated scene frame.
  • This provides information about the transition from the position of the small image in the original scene frame to the position of the small image in the duplicate scene frame. Also, specify the movement mode in which the small image should be moved.
  • the movement style is a form of movement such as power when walking, power when running, and flying. Also, specify the operation time from the small image before duplication to the small image after duplication, but if you want to make the movement relatively relaxed, set the operation time longer and make the movement relatively fast Sometimes the operating time is set shorter.
  • the processing further includes: a function of changing a visual field in a three-dimensional space in the duplicated scene frame; and a small image after the duplication from the small image before the duplication. And a function of controlling so as to create a moving image $ fS in a state in which the change in the field of view is taken into account when creating a series of time-series moving images $ ffg related to a change in motion up to an image.
  • the processing as further includes a function of changing a viewpoint in a three-dimensional space in a scene frame that has been tin-replicated, and a motion from the small image before the duplication to the small image after the duplication.
  • a function is provided to control the creation of moving image information in a state in which the change of the viewpoint is taken into account when creating a series of time-series moving images f.
  • the operation according to this embodiment is as follows.
  • a series of time-series videos fflg not only are the viewpoints fixed at one point, but also the die It is possible to create a dynamic video knowledge. In other words, move the camera ⁇ ! It is the # 1 ability to create moving images with a change in viewing direction (panning).
  • the step 3 further comprises a function of displaying a scene description frame for describing the scene of the scene frame accompanying the scene frame;
  • the operation according to this embodiment is as follows.
  • An outline of the procedure for producing a video program (movie, TV program, etc.) is the original book, script, acting-shooting, editing, and post-production.
  • the original book is a regular book created by the author. Plan the production of a video program by selecting excellent or characteristic originals.
  • the script describes the contents of the video program, and describes the performers, scene composition, dialogue, etc. in detail.
  • a script mainly consists of a combination of scenes, descriptions of the scenes, and the performer's dialogue (this is called a storyboard).
  • storyboards are often created by multiple authors for each scene.
  • the storyboard creation tool has a function to combine or replace multiple storyboards for each scene in the specified order. This function is equivalent to editing work in program production.
  • the three-dimensional image information of the performer is created on a computer, for example, on a computer, and the acting is created on a computer, thereby making it possible to create a moving image.
  • the creation of dialogue on a computer is also a ⁇ !
  • the present invention intends to easily create a storyboard and a script described later by ffling the storyboard with a computer.
  • moving images can be generated by describing the scene composition of the storyboard in detail and specifying the movement ⁇ ffg between storyboards.
  • the dialog box describes the dialogue spoken in the corresponding scene frame. Then, in order to associate the speech with the small image, the speech in the speech frame is pasted to the small image in the scene frame.
  • a storyboard can be created on a low-speed computer such as a personal computer by creating simplified images of the parts.
  • the storyboard creation tools on a personal computer are as follows.
  • a scene frame indicating a scene a small image frame for displaying a plurality of input small images, a scene description frame for explaining the scene, and a speech frame for inputting dialogue are displayed.
  • a symbol indicating the viewpoint is displayed, and a standard view is designated. Select a small screen and paste the small image at an appropriate position in the frame of the scene by dragging and dropping.
  • the dialog is described in the dialog box.
  • the dialogue specifies the speaker, the time from the start of the scene power to the start of the dialogue, if necessary, automatic generation of speech, and moves the part mouth as if the dialogue was generated Also do things. This completes the creation of one storyboard.
  • a low-speed video information generation device such as a personal computer, which is a low-speed computer, to easily create a storyboard that is associated with a scene frame, a scene description frame, a dialog box, and a casino frame. Will work.
  • the computer further has a function of designating a timing to be generated for the speech described in the speech frame, and a function of speech-synthesizing and outputting the corresponding speech at the designated timing. It has.
  • the operation according to this embodiment is as follows. For the dialogue described in the storyboard, specify a small image such as the speaker to associate with the dialogue, and specify the time, that is, the timing from the start of the scene to the time when the dialogue is $.
  • voice-synthesizing the corresponding dialogue at a specified timing at the same time as the creation of the moving image, voice information for speaking the dialogue is created in a format specified for the person or the like. That is, the dialogue can be automatically generated from the storyboard.
  • the audio ⁇ ffg is automatically generated, it is not always necessary to be caught in that, and it may be created by a method in which the audio talent speaks to the video that has been conventionally hired (a TV). Even in this case, the cost is not much and is not a problem.
  • the processing unit further has a function of controlling the small image representing the mouth in the small image to be in a sounding shape in synchronization with the timing of the output of the speech. I have.
  • the operation according to this embodiment is as follows. At the same time as creating the video, The action of automatically moving the mouth of a person or the like to resemble the ⁇ in a story written in a storyboard is automatically added. Therefore, no extra work is needed to move the mouth.
  • the processing unit further describes a single scene composed of a scene frame, a scene description frame, and a dialog box as one unit It has a function to manage the containers collectively.
  • a collection of multiple storyboards can be called a script.However, the script must be managed as one valid video ⁇ ⁇ ⁇ ffg. Ka ⁇ !
  • the processing unit further comprises a plurality of storyboards, and a script describing a unit program or the like is used as a script. If a specific storyboard is specified, it has a function to display the video Itfg from the storyboard if it is not specified, and a function to output audio ⁇ ffg if necessary. It is characterized by the following.
  • the operation according to this embodiment is as follows. Designate a script or a storyboard that is part of a script, and generate and display the moving iPlffg described in the storyboard from that part, or generate and output audio as needed. Therefore, it is the ability to preview the script (check it by playing it).
  • a movie created by a preview command can be displayed on a PC screen.
  • This moving image is usually based on a simplified image request. It's a rough screen, but the content of the video is # 1 ninja.
  • the processing is further configured by associating a high-speed ($ t $ S generating apparatus) and a low-speed image (1tfg)] apparatus, and the high-speed image processing).
  • the apparatus has a function of creating a simplified image by removing a part of the image ⁇ ffg from the real image three-dimensional image 1ffg, and performing a data transfer to and from the low-speed image 1ffg.
  • the ⁇ tfg work place executes the processing of each function in the self-simple image that has been stored in the data car, creates a script based on the simple image information, and transfers the data to the high-speed iff work] ⁇ device.
  • the selfish high-speed elephant sculptor converts the script based on the simplified image 'ff, which has been data $ S, into the script created based on the real image three-dimensional image ⁇ tfg as the detailed image It has a function to do.
  • the operation according to this embodiment is as follows.
  • a high-speed computer such as a high-speed computer
  • a part of the image was removed from the real-dimensional image information representing a person or the background! ⁇ That is, a simplified image was created and a low-speed computer (PC), etc.
  • PC low-speed computer
  • the low-speed information processing device executes the processing of each of the above functions in the simplified image data transferred, creates a script based on the simplified image ⁇ ffg, and transfers the script to a high-speed computer. I do.
  • High-speed video information production 1 is based on a simplified image ⁇ ffg script that has been created as a data car. Convert to a script created based on the Ht ⁇ -dimensional image ifg.
  • a high-speed computer inputs detailed image information of parts required to create a storyboard related to the script.
  • the operation of the storyboard creation tool is the same even on a high-speed computer.
  • the animation creation command the animation is created based on the detailed H-elevation information of the parts.
  • a high-speed computer shall be equipped with a function to display the image on the screen or on the monitor TV, instead of the preview on the CRT screen, so that it can be used in a production environment.
  • the script created using the simplified image code on a low-speed system such as a personal computer is input to the high-speed system, and the script is moved using the original three-dimensional image iffg! Creating Hffg and voice if g is the function of r.
  • the component $ ffg can be used for other programs, and it will be necessary to construct an environment that can be stored in a mass storage device, managed collectively, and reused. The ability to further reduce program production costs by reusing parts $ ffg is expected.
  • FIG. 1 is an explanatory diagram of a configuration example of a high-speed computer system in a video information creating apparatus according to a preferred embodiment of the present invention.
  • FIG. 2 is an explanatory diagram of an example of a system configuration in a video con- verter in the video information creating device according to the preferred embodiment of the present invention.
  • FIG. 3 is an explanatory diagram of an example of a non-linear three-dimensional digitizer in a W elephant contracted separation according to a preferred embodiment of the present invention.
  • FIG. 4 is an explanatory diagram of scene creation as an example of the operation of the video information creation device according to the preferred embodiment of the present invention.
  • FIG. 5 is an explanatory diagram of an example of scene replication and person movement as an example of the operation of the video information creating apparatus according to the preferred embodiment of the present invention.
  • FIG. 6 is an explanatory diagram of an example of scene replication and viewpoint movement as an example of the operation of the video information creation device according to the preferred embodiment of the present invention.
  • FIG. 7 is an explanatory diagram of an operation / movement mode as an example of an operation of the image production ⁇ ! ⁇ Device according to the preferred embodiment of the present invention.
  • FIG. 8 is a video tffg work according to the best embodiment of the present invention! Illustration of the skeleton as an example of the operation of ⁇
  • FIG. 9 is an example of a storyboard as an example of the operation of the video 1ffg device according to the preferred embodiment of the present invention.
  • FIG. 10 is an explanatory diagram of dialogue pasting as an example of the operation of the elephant information creation / placement according to the preferred embodiment of the present invention.
  • FIG. 11 is a diagram illustrating an example of the role of a high-speed computer and a bath computer in the elephant information processing according to the preferred embodiment of the present invention.
  • the digitizer 1 is a three-dimensional image information input device that inputs a three-dimensional image 1 ttg from a subject or a photograph. .
  • the high-speed computer body 2 is a computer having one or more high-speed processors and a large-capacity storage function.
  • the mouse 3 and the keyboard 5 as operating devices operate the high-speed computer main body 2.
  • the CRT 4 as a display displays information of the high-speed computer body 2.
  • the monitor TV 6 as a display device displays an image output from the high-speed computer main body 2.
  • These high-speed computer main bodies 2 are included in the processing device.
  • a mouse 3 and a keypad 5, a CRT 4, and a monitor-TV 6 may also be included in the processing device.
  • these components that constitute the processing device may be configured integrally or separately, or may transmit and receive each other's ffg by wire or wirelessly.
  • the CG input function 7 indicates that the high-speed computer main unit 2 has an ability to create an image and take an image from the digitizer "!.
  • the script creation function 8 indicates that the high-speed computer 2 has a script input / output function composed of a scene frame, a scene description frame, and a dialog box.
  • the movie creation function 9 indicates that the high-speed computer main unit 2 is equipped with a function for creating a movie specified by a script and a function for previewing a movie.
  • the simplified image creation function and the small image creation function 10 indicate that the high-speed computer 2 is equipped with a small image creation function used for script creation and a simplified image creation function used for previewing.
  • the simple image's small image i A output function indicates that the computer has an input / output function with another computer via the network communication function 11.
  • Network communication function 11 indicates that it has a function to communicate with other high-speed computers and personal computers.
  • the digitizer 12 inputs a three-dimensional image 1f
  • Digitizer 12 The area surrounded by the broken line indicates that this function is normally performed by the high-speed computer shown in Fig. 1 and is not executed on a non-computer system.
  • the CRT 13 as a display unit displays the display ff $ g from the personal computer 14.
  • the personal computer main body 14 is a computer having a processor and a built-in 1t device.
  • the keyboard 15 and mouse 16 as operating devices operate the personal computer 14.
  • the computer body 14 is included in the processing unit 3, but the mouse 16 and the keyboard 15 and the CRT 13 may also be included in the processing device. Further, these units constituting the device 3 may be formed integrally or separately, or may transmit and receive each other ⁇ f ⁇ by wire or wirelessly.
  • the CG input function 17 indicates that the personal computer “! 4” is equipped with a function to create a 3D CG image or to input a 3D image Iffg from a subject or a photo using the digitizer 12.
  • the fact that this frame is a dashed line means that this function is usually performed on the high-speed computer of Figure 1, Simplified image ⁇ small Indicates that is input and used by IHA output function 20.
  • the script creation function 18 indicates that the personal computer 14 has a script input / output function composed of a scene frame, a scene description frame, and a dialog box.
  • the movie creation function 19 indicates that the computer has a function to create a movie based on the simplified image and to preview it.
  • the simplified image / small image input / output function 20 is a function of inputting the simplified image / small image created by the high-speed computer shown in Fig. 1 or the function of outputting the stored simplified image / small image. Indicates that it is equipped.
  • the network communication function 21 indicates that the function of communicating with another personal computer or high-speed computer is provided in the computer body 14.
  • FIG. 3 shows an example of a non-3 ⁇ 4 three-dimensional digitizer.
  • the subject 23 was photographed simultaneously by five cameras, the first camera 24, the second camera 25, the third camera 26, the fourth camera 27, and the fifth camera 28, Calculate ⁇ ffg and create a three-dimensional image request for subject 23.
  • the unevenness of the subject is calculated from images from two different directions, and this process is performed for all adjacent cameras.
  • the mechanism for taking the images of each camera into the high-speed computer main body 2 is omitted.
  • the small image frame 71 displays a small image showing the three-dimensional image ⁇ ffg.
  • Small image 72 shows a house
  • small image 73 shows a person A
  • small image 74 shows a tree
  • small image 75 shows a standing sign
  • small image 76 shows a person B.
  • the scene frame 61 indicates a scene.
  • Tree 62 is a small image 74 pasted by drag and drop operation.
  • the small image 74 remains in the small image frame 71, and the copied small image is pasted.
  • House 6 3 has a small image 7 2 pasted
  • person A 6 4 has a small image 76 pasted
  • person B 6 5 has a small image 73 pasted
  • standing signboard 6 6 Is a small image 75 pasted.
  • the small image pasted on the scene frame 61 is a separate image containing proper nouns, etc., rather than the actual 3D drawing basket, such as person A, person B, etc. , So that you can understand.
  • the scene frame 81 is a copy of the scene frame 61 to which a small image of a person or the like is stuck.
  • Small images 82, 83, 86 remain duplicated.
  • Small image 64 is moved to small image 84, and small image 65 is moved to small image 85.
  • the dashed small image is the position before the movement.
  • the detailed settings of the small images 84, 85 after moving are displayed in the real image by double-clicking, fine-tuned by the pull-down menu, and in this case, the moving is performed. Is also displayed, and the movement style such as walking is set by selection.
  • Figure 6 shows an example of scene duplication and viewpoint movement.
  • a scene frame 91 is a duplicate of the scene frame 81 of FIG.
  • the small images 92, 93, 94, 95, and 96 of the scene frame 91 do not move.
  • Camera position 97 is in the middle of the scene. Drag and drop camera position 97 to move to position 98.
  • the scene frame 91 is duplicated by moving the camera position.
  • the moving image power during which the camera position is moving is generated.
  • FIG. 7 is an explanatory diagram of the operation / movement mode.
  • the person 31 is looking upright from the left side.
  • Person 32 has his left hand slightly forward and his right foot slightly forward, and it is his left foot that is in contact with the ground.
  • the landing foot is fixed to the ground.
  • Figure 8 shows the skeleton of a person.
  • the skeleton is made up of bones that serve as joints and connect between the joints.
  • Joints 4 1 and 4 2 are shoulder joints, and these joints do not move much when walking.
  • the joint 43 is an arm joint and the joint 41 is connected by a bone, so that the distance between the joint 41 and the joint 43 does not change.
  • Joints 44 are joints of the right arm, and similarly, joints 45 to 50 are joints of the body.
  • the motion of a person is composed of movable joint force ⁇ moving.
  • the person wearing a measuring device that measures the joint position moves.
  • Make and measure joint position iffg. This work is called motion capture, and you can move the animal so that it looks like a natural movement, depending on how the person moves.
  • the mode of operation is often standard.
  • 1 ftfg of a motion is acquired and determined by a motion capture or the like for a standard motion.
  • the operation mode of the pull-down menu is specified, the operation is performed according to the information of the operation corresponding to the operation mode.
  • Figure 9 shows an example of a storyboard.
  • a scene frame 101 is a small image attached.
  • the scene description frame 103 describes a scene number, a cut number, and the like.
  • a picture frame is composed of a scene frame 101, a dialogue line 102, and a scene description frame 103.
  • FIG. 10 is an explanatory diagram of pasting dialogue.
  • Paste work 1 1 1 pastes dialogue A to the person in the scene by drag-and-drop operation of the mouse.
  • Paste work 1 1 2 pastes dialogue B to another person in the scene. .
  • the panel 1 1 3 is displayed near it, and you can specify the start time of the dialogue from the start of the scene, the pause time of the next dialogue after the end of the previous dialogue, etc.
  • the upper right panel 113 is an enlarged view of the displayed / nel.
  • the dialogue is uttered by a person.
  • a person has the ability to set his or her mouth only or speaks with speech synthesis.
  • the utterance by speech synthesis does not become a natural utterance of human beings, and is limited to non-humans such as lopots or animals for the time being.
  • Human utterances are produced by a method (Atereco), in which after the video is completed, the dialogue is uttered while watching the video, and then the voice is combined with the video.
  • the flowchart 12 21 shows the procedure for producing the high-speed computer.
  • a high-speed computer is equivalent to a high-speed video production device, and a personal computer is equivalent to a low-speed video production device.
  • the three-dimensional C Git gA force 122 is a task of inputting CG information using the keyboard 5 and the mouse 3.
  • the input 't contract is a three-dimensional image ⁇ [store as a sickle.
  • Digitizer real image input 1 2 3 is the work of inputting real physical data and other three-dimensional image information using the non-swordworm type three-dimensional digitizer shown in FIG.
  • the input ⁇ ffg is nets 9 as a three-dimensional image ⁇ ffg.
  • Image dragon simplification ⁇ 24 is a task of simplifying a stored three-dimensional image and storing it as a simplified image, and creating and storing a small image.
  • Storyboarding 1 2 5 consists of pasting a small image to the scene frame to compose the scene, duplicating the scene and moving the small image, specifying the movement style, describing the scene, describing the dialogue, pasting the dialogue It is the work of attaching.
  • the three-dimensional image used here may be a simplified image ⁇ g or detailed image information other than the simplified image 1 itfg.
  • This work frame is indicated by a broken line, indicating that it is a work normally performed on a personal computer.
  • Script check 1 26 is the task of creating a moving image using detailed image information, which is simple image information or non-simplified image information, and confirming it.
  • Movie creation 127 is the process of creating a movie from the confirmed script with detailed image information.
  • Flowchart 13 1 shows the procedure for producing a Nosokocon program.
  • the three-dimensional CG'fffgA force 132 is a task of inputting CG information using the keyboard 15 and the mouse 16.
  • the input 1ffg is described as a three-dimensional image ⁇ ffg.
  • Digitizer actual image tfg input 1 3 3 is the work of inputting three-dimensional image information from the real object using the non-linear three-dimensional digitizer shown in FIG.
  • the input 'I' sickle is stored as a 3D image 1f3 ⁇ 4. These tasks are usually performed on a high-speed computer.
  • Image sickle simplification 1 3 4 is the task of simplifying and storing the stored three-dimensional image as a simplified image, and creating and storing a small image. This work is also usually performed on a high-speed computer.
  • Storyboarding 1 3 5 consists of pasting a small image to the scene frame to compose the scene, duplicating the scene and moving the small image, specifying the movement style, describing the scene, describing the dialogue, pasting the dialogue This is the work of attaching. This work is performed on a personal computer using a simplified image sickle.
  • the script confirmation 1 3 6 uses the simplified image ⁇ ffg to create an action from the script, Work.
  • Script confirmation 1 3F Create a video from the script using the detailed image ffifg, Ne! ! , 3 ⁇ 41 It is a task to endure. This task is usually performed on a high-speed computer, but may be performed on a computer. But it requires a long time.
  • Movie creation 1 3 8 is the process of creating a movie from a script using detailed images 1 fg. This is usually done on a high-speed computer.
  • the following effects can be achieved by creating a tool to create script and storyboards on a computer, and combining the existing CG technology and speech synthesis technology with the storyboards. it can.
  • a script and storyboard can be created on a computer, a movie can be created from the storyboard and previewed, so that a program can be produced on a desk. For this reason, program production costs can be reduced.
  • three-dimensional image information of a real object—a person or the like can be captured, and a moving image of an object—a person or the like can be created by using computer graphics technology.
  • a moving image of an object—a person or the like can be created by using computer graphics technology.
  • a simplified image ⁇ fS is created by the high-speed 3 ⁇ 4 W elephant information creator, passed to the low-speed ⁇ elephant information ⁇ ⁇ device, and a storyboard or script is created by the low-speed 3 ⁇ 4 w elephant tfg creation device.
  • Jt ⁇ a video is created with detailed image information, so the main work may be performed by a low-speed video information creation device such as a bass computer, which also makes it more efficient and powerful. This makes it easy to create moving pictures of real parts at low cost.

Description

映像籠作蝶置 技術分野
本発明は、 コンピュータグラフィックス技術によって動画作成を行う映像情報作成装置 に関するものである。
鶴技術
コンピュータグラフィックス( C G )技術によつて動画作成を行う映像11請作)^置は、 映画産業、 コマーシャルなどで広く利用されている。 特に映画産業では、 C G技術により 創り出された動物が映画の主役として活躍したり、 人物が変ィ匕していってロボッ卜になつ たリという具合に、 C G技術なしには最先端の映画を語れない時代となっている。
C Gの要素技術には、 三次元物体を創る (これをモデリングと称す) 、 三次元物体に照 明を当てて、 その物体の写真を撮る (レンダリングと称す) 、 動画を創る (アニメーショ ンと称す) などがある。
モデリングには、 三次元物体に衣服を着せるテクスチャマッピング、 動物の毛皮を付け るファ一等の詳細技術がある。
モデリング作業は、 レンダリングで作業中の三次元物体を観察し、 不具合点を修正する 作業である。動物が動く場合は、 骨格 (スケルトン) を定め、 固定関節と移動可能な骨を、 少しずつ動かした画像を作り、 記憶して、 目的の動きの画面を作る。複雑な動きを自然な 動きにするために、 人間の関節の位置を測定する測定器を着て動作することで、 各関節が どのような動きをする力、のデータを取る (モーションキヤプチャ) 。
漫画の場合には、 動画情報にかかわる部品を入力作業で作成する。 実在しない世界の表 現も可能であり、 これが C Gの特長である。
以上は C G技術の概要であり、 これについては、 例えば、 文献『コンピュータグラフィ ックの基礎知識一塩川厚著、 オームネ ±J等で解説され、 C G技術は既に実用化されている。 動画を構成する部品には、 移動するものと、 移動しなし、背景がある。 従来における C G 技術による動画作成においては、 移動部品も背景部品も、 共に、 三次元画像情報として、 オペレータがコンピュータを用いてマニュアル的に作成していた。 そのコンピュータとし ては、 高速コンピュータを必要とし、 また、 動画を 1枚ずつ作成するため、 多大な労力を 必要としていた。
また、 実在する物、例えば実在の人物、 動物、樹木、 家、 山、 河、 商品などについては、 その三次元画像 iffgを C G技術における移動部品や背 品として取り扱うことにおいて、 依然、 未熟な状況にお力、れている。 すなわち、 実在する物を部品として取り扱い、 それを 自由自在に動力、す等の技術力《未完成である。
したがって、 本発明の主たる目的は、 安価なパソコンなどによる低速 ¾W象情報作 ί¾¾置 であっても、 C G動画の作成、 特に実在する物についての三次元画像情報を移動部品や背 景部品として取り扱えるようにすることにより、 C G技術のさらなる発展を図り、 併せて 番組制作費用の削減を図ることのできる映像1 fffg作成装置を 共することである。 発明の開示
( 1 )本発明の像 tffR作]^置は、 次のような機能を講じることにより、 上記目的を達成す るものである。 この機能の説明に先立ち、 用語を説明すると、 実画像とは、 実在するもの についての画像の意味である。実在するものとしては多種多様なものがある。
動画という観点から分類すると、 移動するものである動体と移動しなしゝ静止体および背 景とに分けることができる。 移動しない静止体については、 これを背景に統括することが できる。 この実在する部品である動体と背景を同時に複数の方向から撮影または撮像した ものが実画像の三次元画像情報であり、 それぞれ移動部品、 背景部品と呼んで、 それらは 画像処理技神 えばコンピュータグラフィックス技術で取り扱うこと力《できるものである。 本発明の映像†鎌作蝶置は、 そのような実在する部品である実画像の三次元画像情報 の入力装置を用いる。 そのような入力装置としては、 例えば、 非接触型三次元デジタイザ 装置や三次元レーザー形状計測システムなどがある。
これらにより実在する部品 (被写体) の三次元画像 をコンピュータなどの処3¾置 に取り込むこと力河能である。 あるいは、 H¾する部品についての複数の角度から撮影し た写真の情報から三次元画像情報を作成することも可能である。
その実画像三次元画像情報の入力を自動的に行えるので、 作業労力の軽減を図ることが できる。 背景も^ Eする場合は、 複数の角度からの写真撮影で済み、 大道具制作費または ロケ費用の削減が 能である。 なお、 この実画像三次元画像 ΐϋδの入力を行う処3¾置と してのコンピュータは、 一般的には高速コンピュータとなる。
また、 本発明による 射麵作離置は、 前記の入力装置によって入力した実画像三次 元画像情報を処理するための処理装置を備える。
この処3¾置は、 記憶する記憶機能と、 その記憶機能から読み出した実画像三次元画像 †ffgにコンピュータグラフィックス技術を適用して動きを付与し動画情報を生成する動画 †ffg生成機能とを有する。 そして、 この処蝶置は、 その動画 1tfg生成機能により、 記憶
9, 機能から実画像三次元画像情報を読み出し、 所要の画像処理技神 えばコンピュータグラ フィックス技術を利用して、 その実画像三次元画像情報に所望の動きを付与し、 動画情報 を自動的に生成する。
実画像についても三次元画像1 [ffgとして扱うことにより、 動画を構成する複数の画面を 処3¾置が計算して描画することが^!能なため、 1枚ずつ描く必要がなくなリ、 大幅な労 力削減が^!能となる。
これは、 処¾¾置によって部品の三次元画像†ffgに基づいて色々な視点からの画像を自 動生成することが 能である。 これは、 部品が 動しても、 移動を示す複数の画面から構 成される動画の全ての画像を同じ三次元画像 1 fgから生成することカできるためである。 以上のように本発明によれば、 実在する物体、 人物等の動画を、 画像処理技術であるコ ンピュータグラフィックス技術を用いて容易に自動作成すること力《できる。 その結果とし て、 次のような利点が生じる。
実在する人物として例えばタレン卜を取り上げると、 そのタレン卜に実際に演技をさせ ることに代えて、 そのタレントの実画像三次元画像 1tfgをあらかじめ取得しておけば、 あ とは、 そのタレン卜の不在の状態でも、 任意の日時において、 そのタレン卜の実画像三次 元画像情報を読み出し、 画像処理技術の範囲内で自由に動かして、 所望の動作の動画情報 を作成すること力《できる。 タレントは演技すること力《不要であり、 拘束時間を大幅に緩和 することができる。 これによつて、 制作費用の肖 II減が 能となる。
実在のタレントであれば、 高所からの飛ひ 1¾リなどの危険な行動や大河を一気に飛び越 えるなどの突飛な現実にはあり得ない行動については、 これを実行することが実際上無理 である。 しかし、 タレン卜の実画像三次元画像情報をもとにして画像処理技術を利用して 作成する動画1 Tifgの場合には、 そのような制約がな そのコンピュータグラフィックス 技術の範囲の中で思いどおりのシチュエーションで動画情報を自由自在に作成することが できる。
背景については、 実在するものの三次元画像情報を利用するため、 大道具が不要となる 等、 番組制作費を大幅に削減することが^!能となる。
以上のように本発明の輸†請作雌置は、 実画像の三次元画像†ffgを入力する入力装 置と、 前記入力装置からの三次元画像情報を処理するコンピュータなどの処理装置とを有 し、 前記処 置は、 前記入力装置から入力した実 H H次元画像 'Itfgを記憶する記憶機 能と、 前記記憶機能から読み出した実画像三次元画像 t識にコンピュータグラフィックス 技術等の画像処理技術を適用して動きを付与し動画情報を生成する動画†ffg生成機能とを 備えている。 この構成により、 実在する部品である実画像の三次元画像情報の入力を自動的に行える ので、 作業労力の車减を図ることができる。
また、 記憶機能から読み出した実画像三次元画像1 !ffgに対して所要のコンピュータグラ フィックス技術をもって所望の動きを付与し、動酣麵を自動的に生成すること力《できる。
5 実画像についても三次元画像 として扱うことにより、 動画を構成する複数の画面を コンピュータ力《計算して描画すること力《可能なため、 1枚ずつ描く必要がなくなり、 大幅 な労力削減力 能となり、 また、 背景につしゝては大道具が不要となる等、 番組制作費を大 幅に削減することができる。
( 2)本発明の 象 iffg作] ^置は、 実画像の三次元画像情報を入力する入力装置と、 前記 10 入力装置からの三次元画像情報を処理する処 置とを有し、 前記処難置は、 実画像の 三次元画像 ttfgを入力する入力機能と、 前記入力機能によリ入力した実画像三次元画像情 報を記憶する記醒能と、 前記記憶機能から読み出した実画像三次元画像†謙から小画像 †謙を生成する小画像t g生成機能と、 前記実画像三次元画像 と前記小画像 1ffgとを 関連付けて記憶する記憶機能と、 三次元空間表現用の場面枠を表示する機能と、 編己記憶
L5 機能から前記小画像 1ffgを読み出してその小画像を小画像枠において表示する機能と、 前 記小画像枠における小画像を表示上で選択し前記場面枠の所望位置に移動させ貼り付ける 機能と、 前記貼り付けた小画像の前記場面枠における配置 if gを記憶する機能と、 前記場 面枠に表示されている小画像の表現形態を Ιΐίϊ己場面枠内で修正する機能と、 前記場面枠に 表示されている小画像の動作形態を前記場面枠内で変更する機能と、 前記修正後または変 20 更後の小画像の配置情報を更新する機能と、 前記場面枠内での変更前の小画像から変更後 の小画像までの動作変化を演算して時系列的な一連の動画情報を作成する動画情報作成機 能と、 前記作成した動画†請を記憶する機能とを備えている。
本発明では、 部品の三次元画像 itfgについて、 詳細画像情報と簡略画像 itfgの 2種類を 扱う。
lb 部品の三次元画像情報は、 部品の表面上の点の位置と色の情報で構成する。 ただし、 色 のす ffgはなし、場合もある (モノクロ) 。
詳細画像情報は表面上の点の密度を高く記述するが、 簡略画像情報は表面上の点の密度 を 1 0 0分の 1禾雖 (一例) としたものであり、す麵量も 1 0 0分の 1程度となる。なお、 この数値はあくまで参考のための一例を挙げたにすぎず、 任意の数であってよい。
50 簡略画像情報から作成した画像は荒いものであるが、 動画の確認が^!能な程度とする。
例えば、 部品の正面から見た画像 (一例) を簡略画像 から作成し、 またはその部品を 示すマンガ (一例) を作成し、 部品固有の番号または名称を追加した画面を部品の小画像 と称す。 この小画像には、 その部品の詳細画像情報または簡略画像情報と関連付ける情報 を含むものとする。
例えば、 モデリング、 デジタイズ、 レンダリング等の機能を搭載したコンピュータグラ フィックス制作システムにおいて、 実画像三次元画像 から生成した小画像情報を小画 像枠に表示する (サムネイル表示とも呼ばれる) 。
表示する小画像情報は、 通常は複数ある。 小画像枠に表示された小画像情報にカヽかわる 小画像を、 例えばドラッグ-アンド- ドロップ操作などによって選択し、 場面枠の所望位 置に移動させて貼り付ける。 このときの小画像の貼り付け位置は配置†f gとして記憶され る。
このような作業を繰リ返すことにより、 場面枠におし、て背景と動体の組み合わせからな る場面を仮に形作る。 場面枠内での小画像の表現形態については、 これを修正することが 可能である。 より好ましい場面を作るためである。
修正については、 サイズの大小変化、 回転、 遠近、 上下左右の位置微調整などがある。 また、 小画像の動作形態を変更することも可能である。動作形態とは、立つ、座る、寝る、 飛ぶ、 歩く、 走る等々である。修正や変更をしたときには、 その修正後または変更後の小 画像の配置†ffgが 新される。
そして、 小画像に動きを与えるために、 動画情報作成機能によって、 場面枠内での変更 前の小画像から変更後の小画像までの動作変化を演算して時系列的な一連の動画 iffgを作 成する。 その作成された動画情報は記憶される。
以上において、実在する部品としての実画像三次元画像 iffgにかかわる小画像のもとで、 動画を構成する複数の画面をコンピュータ力《計算して描画すること力 能なため、 1枚ず つ描く必要が無くなり、 労力肖嘁が^!能となる。
これは、 コンピュータによって部品の三次元画像†f gから色々な視点からの画像を自動 生成することカ^!能であり、 部品カ够動しても、 移動を示す複数の画面から構成される動 画の全ての画像を同じ三次元画像†ffgから生成することができるためである。
移動するものは、 人間や動物、 自動車等であるが、 人間や動物には歩く、 走る等の移動 様式がある。 移動様式に合わせた動作を規定して、 移動動作を自動描画することにより、 労力肖リ減が^!能である。
タレント等の部品力《広い川を飛び越えるなど、 現実にはあり得ない画像の作成について も自由自在に作成することカ^!能となる。タレントは演技が不要で、拘束時間も短いため、 制作費用の削減も可能となる。
背景も実在する場合は、 複数の角度からの写真撮影で済み、 大道具制作費またはロケ費 用の削減が^!能である。
本発明の好ましい実施態様として、 前記処^¾置における動画 作成機能が、 前記小 画像が貼り付けられている前言 Eli面枠を複製する機能と、 前記複製された場面枠における 小画像を前記場面枠内で移動させる機能と、 前記移動にカヽかわる前記小画像の移賺式を 指定する機能と、 前記場面枠内での複製前の小画像から複製後の小画像までの動作時間を 指定する機能と、 前記複製前の小画像から it己複製後の小画像までの動作変化にかかわる 時系列的な一連の動画1 r籠の作成において編己指定された動作時間分の動画情報が作成さ れるように制御する機能とを含む。
この実施態様によると、 すでに小画像力《貼り付けられた場面枠を複製したのち、 その複 製場面枠内で小画像を移動させる。
これで、 元の場面枠での小画像の位置から複製場面枠での小画像の位置への遷移の情報 力《得られる。 また、 小画像を移動させるべき移動様式を指定する。
移動様式とは、 歩くと力、、 走ると力、、 飛ぶとかの動作形態のことである。 また、 複製前 の小画像から複製後の小画像までの動作時間を指定するが、 相対的にゆつくリとした動き にしたいときは動作時間を長めに設定し、 相対的に速い動きにしたいときには動作時間を 短めに設定する。
以上のように準備をしておいて、 複製前の小画像から前記複製後の小画像までの動作変 化にかかわる時系列的な一連の動画†f gの作成を行う力 そのときに、 前記の移 SW 式に おし、ての前記の指定された動作時間分の動画す識を自動的に作成することが 能となる。 本発明の他の好ましい実施態様として、 処3¾置は、 さらに、 前記複製された場面枠に おける三次元空間での視野を変更する機能と、前記複製前の小画像から前記複製後の小画 像までの動作変化にかかわる時系列的な一連の動画†ffgの作成において前記視野の変更を 加味した状態で動画†f Sが作成されるように制御する機能とを含む。
この機能により、 時系列的な一連の動画情報の作成において、 視野を 1つに固定化した 状態で作成するだけでなく、 視野そのものを動かしてのダイナミックな動画情報の作成を 可能としている。 つまり、 ズームした状態での動画情報の作成が^!能となっている。 本発明の他の 態様として、 処 as置はさらに、 tin己複製された場面枠における三次 元空間での視点を変更する機能と、 前記複製前の小画像から前記複製後の小画像までの動 作変化にかかわる時系列的な一連の動画 f請の作成において前記視点の変更を加味した状 態で動画情報が作成されるように制御する機能とを備えている。
この実施態様による作用は次のとおリである。 時系列的な一連の動画' fflgの作成におい て、 視点を 1点に固定化した状態で作成するだけでなく、 視点そのものを動かしてのダイ ナミックな動画識の作成を可能としている。つまり、 カメラ移動^!見方向の変更(パン) を伴う状態での動画 の作成が ¾1能となっている。
本発明の他のさらに好まししゝ実施態様として、 処3¾置はさらに、 前記場面枠に付随し てその場面枠の場面を説明する記述を行うための場面説明枠を表示する機能と、 Itif己場面 枠の場面における台詞 (せリふ)を記述するための台詞枠を表示する機能と、 前記場面枠に おしゝて選択された小画像に対して前記台詞枠に記述された台詞を貼り付ける機能とを備え ている。
この実施態様による作用は次のとおりである。 動画番組 (映画、 T V番組等) を制作す る手順の概要は、 原作本、 台本、 演技-撮影、 編集、 ポスプロである。 原作本は作家が作 成する通常の書物である。 優秀であるかまたは特徴のある原作本を選択して、 動画番組の 制作を企画する。
次に台本を作成する。 台本は、 動画番組の内容を記述するもので、 出演者、 場面構成、 台詞等を詳細に記述する。 台本は、 主として場面と場面の説明、 および出演者の台詞の組 み合わせ (これを絵コンテと称する) で構成される。
通常、 一般的には、 絵コンテは、 場面毎に複数の制作者により作成されること力《多い。 絵コンテ作成ツールは、 場面毎の複数の絵コンテを指定された順序で、 結合し、 または入 れ替える機能を装備している。 この機能は、 番組制作上の編集作業に相当する。
従来であれば、番組制作において、全ての場面で出演者力《演技をして撮影を行っていた。 これに対して、 本発明においては、 出演者の三次元画像情報を処3¾置例えばコンビュ —タ上で作成して、 コンピュータ上で演技を創り、動画像の作成が 能となるのであるが、 台詞についてもコンピュータ上での作成が^!能となっている。
本発明では、 絵コンテをコンピュータを fflして、 絵コンテや後述する台本を容易に作 成することを意図している。 また、 絵コンテの場面構成を詳細に記述し、 この絵コンテ間 の移動†ffgを指定することで、 動画の生成も可能になることを意図している。
場面説明枠では、 対応する場面枠での場面がどのようなシーンであるのかの説明を記述 する。 また、 台詞枠では、 対応する場面枠で話される台詞を記述する。 そして、 台詞と小 画像とを関連付けるために、 台詞枠における台詞を場面枠における小画像に対して貼り付 ける。
絵コンテの作成については、 部品の簡略画像 を することで、 パソコン等の低速 コンピュータで可能なものとする。 パソコン上の絵コンテ作成ツールは、 以下のようなも のである。
パソコンには、 絵コンテ作成に必要な部品の簡略画像情報を入力する。 パソコンの画面 に、 場面を示す場面枠と、 入力した複数の小画像を表示する小画像枠と、 場面を説明する 場面説明枠と、 台詞を入力する台詞枠が表示される。
場面を示す枠には、視点を示す記号が表示されていて、標準的な観が指定されている。 小画面を選択して、 ドラッグ 'アンド- ドロップ操作などによって小画像を場面の枠内の 適当な位置に貼り付ける。
マウス操作で、 部品の大きさ、 向きを設定する。 複数の部品を貼り付けて場面を記述す る。 場面の説明枠には、 番組名称、 場面の名称、 シーン番号等の情報を入力する。
台詞は、 台詞欄に記述する。 台詞は、 話す人、 当該場面力開始してから台詞を始めるま での時間を指定して、 また、 必要に応じて、 音声の自動生成も行い、 また当該部品口を台 詞の発生らしく動かすことも行う。 これで 1枚の絵コンテ作成が完了する。
以上のようにして、 低速なコンピュータであるパソコンなどの低速映像情報作成装置を 使用して、 場面枠と場面説明枠と台詞枠とカ湘互に関連付けられてなる絵コンテを容易に 作成することが 能となる。
本発明の他のさらに好ましい実施態様として、 コンピュータはさらに前記台詞枠に記述 された台詞について発生するタイミングを指定する機能と、 前記指定されたタィミングで 対応する台詞を音声合成して出力する機能とを備えている。
この実施態様による作用は次のとおりである。 絵コンテに記述された台詞について、 話 す人などの小画像を指定して台詞との関連付けを行うとともに、 当該場面が開始してから 台詞を $台めるまでの時間すなわちタイミングを指定する。
必要に応じて、 話す人などの小画像に関連付けた音声の発音様式を指定し、 あるいは話 す順番を指定し、 前言終了後から話出すまでの時間を指定する。
そして、 指定のタイミングで対応する台詞を音声合成することにより、 動画の作成と同 時に、 当該人物等に指定された様式で、 台詞を話す音声情報を作成する。 すなわち、 台詞 を絵コンテから自動生成することができる。
なお、 音声†ffgについて、 自動生成すると説明したが、 必ずしもそれにとらわれる必要 性はなく、 従来 Hi¾されている映像に合わせて音声タレントに話してもらう方法 (ァテレ コ) で作成してもよくて、 この場合でも、 費用はあまり必要とはせず、 さほど問題ではな い。
本発明の他のさらに好ましい実施態様として、 処3¾置はさらに前記台詞の出力のタイ ミングに同期して前記小画像における口を表す小画像を発音形状に動力、す制御を行う機能 を備えている。
この実施態様による作用は次のとおりである。 動画の作成と同時に、 絵コンテ中の当該 人物等の口を、 絵コンテに記述した台詞の^に似せて自動的に動す動作が自動付加され る。 したがって、 口を動かすための別途の作業を不要ィヒする。
以上によって、 1枚の絵コンテの作成が完了する。
本発明の他のさらに好ましし 施態様として、処¾¾置はさらに、場面枠、場面説明枠、 台詞枠で構成される 1つの場面を記述する1 Iffgを単位の絵コンテとして、 複数の絵コンテ をまとめて管理する機能を備えている。
複数の絵コンテをまとめたものは、 これを台本と称することができるが、 例えば番組 1 本分の絵コンテをまとめて台本とするなど、 その台本を 1つの有効な映像†ffgとして管理 することカ^!能となる。
本発明の他のさらに好ましい実施態様として、 処^置はさらに、 複数の絵コンテで構 成され、 単位の ί¾ϋ番組等を記述したものを台本として、 前記管理されている複数の台本 の一つを指定し、 特定の絵コンテを指定された場合はその絵コンテから、 指定がなければ 最初からそれぞれ動画 Itfgを表示する機能と、 必要に応じて音声†ffgを出力する機能とを 備えていることを特徴とする。
この実施態様による作用は次のとおりである。 台本または台本の一部である絵コンテを 指定して、 その部分から絵コンテに記述された動 iPlffgを生成して表示する、 あるいは必 要に応じて音声を生成して出力する。 したがって、 台本のプレビュー (再生しての確認) を行うこと力 能である。
例えば、 プレビュー指令で作成された動画をパソコン画面上でネ できる。 この動画は、 通常は簡略画像†請によるものとする。 それは荒い画面であるが、 動画の内容は ¾1忍可能 なものである。
不具合があれば、 各場面に修正を加え、 動画生成、 プレビューを繰り返し、 完全なもの とする。 場面が変わる場合は、 新場面を指定すると、 場面枠内力《消去され、 場面名称も消 去され、 新たな場面の入力ができる。
本発明の他のさらに好ましい実施態様として、 処 置はさらに、 高速 «†t$S作成装 置と低速 象 1tfg作]^置とを連携させて構成されておリ、前記高速映像 作)^置は、 前記実画像三次元画像 1ffgから画像†ffgの一部を削除した簡略画像す請を作成し、 前記低 速映像 1ffg作離置にデータ車 £ϋする機能を有し、 前記低速赚†tfg作職置は、 データ 車 £ϋされてきた 己簡略画像 において肅己各機能の処理を実行し、 前記簡略画像情報 による台本を作成し、 前記高速 i fg作]^置にデータ転送する機能を有し、 媚己高速 象†麵作麟置は、 データ $S¾されてきた前記簡略画像 'ff による台本を前記詳細画像 としての実画像三次元画像†tfgを基に作成した台本に変換する機能を有する。 この実施態様による作用は次のとおリである。 高速コンピュータなどの高速 ¾W象す請作 雌置は、 人物等もしくは背景を表す実画 次元画像情報から画像髓の一部を削除し た!^すなわち簡略画像 を作成し、 低速コンピュータ (パソコン) などの低速 ¾W象情 報作 置に対して簡略画像1 I fgをデータ車 Siする。
低速赚情報作戯置は、 データ転送されてきた簡略画像す謙において前記各機能の処 理を実行し、 簡略画像†ffgによる台本を作成し、 高速コンピュータに対してその台本をデ ータ転送する。
高速映像情報作 1 ^置は、 データ車 されてきた簡略画像†ffgによる台本を詳細画像情 報としての実!Ht≡次元画像 i fgを基に作成した台本に変換する。
より具体的に説明すると、 高速コンピュータには、 その台本にかかわる絵コンテの作成 に必要な部品の詳細画像情報を入力する。
高速コンピュータ上でも、 絵コンテ作成ツールの操作は同じである力 動画作成指令で は、 部品の詳細 H象情報により動画作成が行われる。
高速コンピュータでは、 C R T画面上でのプレビューではなく、 スクリーンまたは、 モ 二ター T Vに映し出す機能を装備して、 本番環境での ¾|忍ができるものとする。
不具合があれば、 高速コンピュータ上の絵コンテを修正する。 タレン卜の悲しい表情な ど、 微妙な表現が必要な場合は、 タレントの演技を実写してこれを、 部品 (動く部品) と して入力し、 絵コンテに貼り付けることで、 実写映像の挿入も可能なものとする。
このように、 パソコン等の低速システムで簡略画像髓を使用して作成した台本を、 高 速システムに入力して、 もとの三次元画像 iffgを使用して台本の動!Hffg、 音声 if gを作 成することが^ r能となる。
なお、 部品†ffgは、 他の番組でも使用可能であり、 大容量記憶装置に記憶し、 一括管理 して、 再利用できる環境の構築も必要となるであろう。 部品†ffgの再利用により、 さらに 番組の制作費の削減を図ること力《期待される。
なお、 将来パソコンの性能力《向上した場合は、 パソコンでも詳細画像 'Iffgによる絵コン テ作成をしても構わない。 図面の簡単な説明
図 1は、 本発明の最良の実施形態に係る映像情報作成装置における高速コンピュータシス テム構成例の説明図
図 2は、 本発明の最良の実施形態に係る映像情報作成装置における/ \°Vコンでのシステム 構成例の説明図 図 3は、 本発明の最良の実施形態に係る ¾W象†請作離置における非 ¾ 型三次元デジタ ィザの例の説明図
図 4は、 本発明の最良の実施形態に係る映像情報作成装置の動作の一例としての場面作成 の説明図
図 5は、 本発明の最良の実施形態に係る映像情報作成装置の動作の一例としての場面の複 製と人物移動例の説明図
6は、 本発明の最良の実施形態に係る映像情報作成装置の動作の一例としての場面の複 製と視点移動例の説明図
図 7は、 本発明の最良の実施形態に係る映像 作 β! ^置の動作の一例としての動作■移 動様式の説明図
図 8は、 本発明の最良の実施形態に係る映像 tffg作!^置の動作の一例としての骨格の説 明図
図 9は、 本発明の最良の実施形態に係る映像 1ffg作] 置の動作の一例としての絵コンテ の例
図 1 0は、 本発明の最良の実施形態に係る 象情報作/ 置の動作の一例としての台詞貼 り付けの説明図
図" I 1は、 本発明の最良の実施形態に係る 象情報作 置における高速コンピュータと バソコンの役割例の説明図 発明を実施するための最良の形態
以下、 本発明の最良の実施形態に係る映像情報作成装置を、 図面を参照して詳細に説明 する。
図 1を参照して、 映像情報作成装置における高速コンピュータシステムの構成を説明す ると、 デジタイザ 1は、 の被写体または写真等から三次元画像1 tt gを入力する三次元 画像情報入力装置である。
高速コンピュータ本体 2は、 単数または複数の高速プロセッサを備えているとともに、 大容量記憶機能をもつコンピュータである。
操作器としてのマウス 3およびキーボード 5は、 高速コンピュータ本体 2を操作するも のである。
表示器としての C R T 4は、 高速コンピュータ本体 2の情報を表示するものである。 表 示器としてのモニター T V 6は、 高速コンピュータ本体 2からの画像出力を表示するもの である。 これら高速コンピュータ本体 2は処理装置に含まれる。 この場合、 マウス 3およびキー ポード 5、 C R T 4、 モニタ一 T V 6も、 処理装置に含めてよい。
また、 処理装置を構成するこれらは一体または別体に構成されてよいし、 有線または無 線で互いの†ffgを送受信するようにしてもよい。
C G入力機能 7は、 高速コンピュータ本体 2に、 画像作成およびデジタイザ"!からの画 像取リ込^ 能力 備されていることを示す。
台本作成機能 8は、 高速コンピュータ本体 2に、 場面枠、 場面説明枠、 台詞枠から構成 される台本の入カ 出力機能カ 備されていることを示す。
動画作成機能 9は、 高速コンピュータ本体 2に、 台本で指定された動画を作成する機能 およぴネ舰確認 (プレビュー) の機能力《装備されていることを示す。
簡略画像作成機能および小画像作成機能 1 0は、 高速コンピュータ本体 2に、 台本作成 に使用する小画像作成機能と、 プレビューに使用する簡略画像作成機能力《装備されている ことを示す。
簡略画像'小画 i A出力機能は、 ネットワーク通信機能 1 1を介して他のコンピュータ との入出力機能が備わつていることを示す。
ネットワーク通信機能 1 1は、 他の高速コンピュータやパソコンと通信をする機能が備 わっていることを示す。
図 2を参照して、映像†ffg作 /^置におけるパソコンでのシステムの構成を説明すると、 デジタイザ 1 2は、 実物の被写体または写真等 (実画像)から三次元画像 1f|gを入力する三 次元画像情報入力装置である。
デジタイザ 1 2力破線で囲ってあるのは、 通常この機能は、 図 1の高速コンピュータで 実 し、 ノ ソコンシステムではあまリ実行しないことを示す。
表示器としての C R T 1 3は、 パソコン本体 1 4からの表示 ff$gを表示する。 パソコン 本体 1 4は、 プロセッサ、 記 1t¾置を内蔵するコンピュータである。 操作器としてのキー ボード 1 5、 マウス 1 6は、 パソコン本体 1 4を操作するものである。
これらノ ソコン本体 1 4は処3¾置に含まれるが、 マウス 1 6およびキーボード 1 5、 C R T 1 3も、 処理装置に含めてよい。 また、 処3¾置を構成するこれらは一体または別 体に構成されてよいし、 有線または無線で互いの†f¾を送受信するようにしてもよい。
C G入力機能 1 7は、 三次元 C G画像を作成、 または被写体または写真からデジタイザ 1 2により三次元画像 Iffgを入力する機能がパソコン本体"! 4に装備されていることを示 す。
この枠が破線であることは、 この機能は、 通常は、 図 1の高速コンピュータで実行し、 簡略画像■小 IH A出力機能 2 0により を入力して使用することを示す。 台本作成機能 1 8は、 場面枠、 場面説明枠、 台詞枠から構成される台本の入カ 出力機 能がパソコン本体 1 4に装備されていることを示す。
動画作成機能 1 9は、 簡略画像に基づき動画を作成して、 プレビューする機能をバソコ ン本体 1 4力《装備していることを示す。
簡略画像■小画像入出力機能 2 0は、 図 1の高速コンピュータで作成した簡略画像■小 画像を入力する機能または記憶している簡略画像■小画像を出力する機能をパソコン本体 1 4力《装備していることを示す。
ネットワーク通信機能 2 1は、 他のパソコンまたは高速コンピュータと通信する機能が ノ ソコン本体 1 4に装備されていることを示す。
図 3は、 非 ¾ 三次元デジタイザの例を示す。 被写体 2 3を第 1のカメラ 2 4、 第 2 のカメラ 2 5、 第 3のカメラ 2 6、 第 4のカメラ 2 7および第 5のカメラ 2 8の 5台の力 メラが同時に撮影し、 この†ffgを計算して被写体 2 3の三次元画像†請を作成する。
異なる 2方向からの画像により被写体の凹凸を計算し、 この処理を隣接するカメラの全 てについて実行する。 この図では、 各カメラの画像を高速コンピュータ本体 2に取り込む 仕組みは省略してある。
図 4を参照して、 映像†ffg作!^置の動作の一例としての場面作成を説明すると、 小画 像枠 7 1は、 三次元画像†ffgを示す小画像を表示する。 小画像 7 2は家、 小画像 7 3は人 A、 小画像 7 4は樹木、 小画像 7 5は立て看板、 小画像 7 6は人 Bを示す。
場面枠 6 1は、 場面を示す。 樹木 6 2は、 小画像 7 4をドラッグ 'アンド' ドロップ操 作で貼り付けたものである。
この際、 小画像 7 4は小画像枠 7 1におし、てそのまま残り、 複製された小画像が貼り付 けられる。 家 6 3は、 小画像 7 2を貼り付けたもので、 人 A 6 4は小画像 7 6を貼り付け たもの、 人 B 6 5は小画像 7 3を貼り付けたもの、 立て看板 6 6は小画像 7 5を貼り付け たものである。
場面枠 6 1に貼り付けた小画像は、人 A、人 B等のように三次元画谢籠の実体よりは、 固有名詞等を含めた個別の画像とし、 場面の人物が誰である力、分かるようにする。
貼り付けた小画像の向きや大きさ、 位置の微調整には、 小画像をダブルクリックして、 小画像の位置に簡略画像情報による三次元画像情報を表示し、 同時に付近にプルダウンメ ニュー等を表示して、 大小、 回転、 遠近、 左右などの翻整力 能なものとする。 ブルダ ゥンメニュー (一例) の終了で、 三次元の実像表示から小画像表示に戻る。
図 5を参照して、 映像†ffg作 j¾¾置の動作の一例としての場面の複製と人物移 Sl^を説 明すると、 場面枠 8 1は、 人物等の小画像が貼り付いた場面枠 6 1をそのまま複製したも のである。 小画像 8 2, 8 3, 8 6は複製したままである。
小画像 6 4は小画像 8 4に、 小画像 6 5は小画像 8 5に移動させている。 破線の小画像 は、 移動前の位置である。 移動後の小画像 8 4, 8 5の詳細設定は、 ダブルクリックによ る実画表示およびプルダウンメニューによる微調整、 およびこの場合は移動をしているの で、 プルダウンメニューには移動様式の項目も表示され、 選択により、 歩 走る等の移 動様式も設定する。
場面枠 6 1と場面枠 8 1との間の時間を設定することで、 場面枠 6 1と場面枠 8 1との 間の動画を作成する。
図 6は、 場面の複製と視点移動例を示す。 図 6において場面枠 9 1は、 図 5の場面枠 8 1を複製したものである。
場面枠 9 1の小画像 9 2 , 9 3, 9 4, 9 5, 9 6は移動していない。 カメラ位置 9 7 は場面中央にある。 カメラ位置 9 7をドラッグ-アンド■ ドロップ操作して位置 9 8に移 動する。
場面枠 9 1を複製すると、 カメラ位置の移動により、 場面枠 9 9のように複製される。 場面枠 9 1と場面枠 9 9間の時間を指定して、 動画を作成させると、 この間、 カメラ位置 が 動している動画力《生成される。
場面枠 9 1から場面枠 9 9の間では力メラ位置のみ移動したが、 人物の移動や力メラ位 置のみならず、 カメラの視野 (ズーム) の変更も可能である。
図 7は、 動作■移動様式の説明図である。 図 7において人物 3 1は、 直立姿勢を左横か ら見ている。 人物 3 2は左手を少し前に、 右足を少し前に出したところで、 接地している のは、 左足である。 接地足は地面に固定している。
人物 3 3では、 この動作がもう少し進み、 人物 3 4では、 右足が接地したことを示す。 人物 3 1から 3 4は人物が歩く場合を示している。この動作を左右交互に実行することで、 歩く動作になる。
図 8は、 人物の骨格を示す。 骨格は関節が支点となり、 関節間を接続する骨で構成され る。
関節 4 1 , 4 2は肩の関節で、 この関節は歩く動作ではあまり動かない。 関節 4 3は、 腕の関節で、 関節 4 1とは骨で接続されているため、 関節 4 1と関節 4 3の距離は変わら ない。 関節 4 4は右腕の関節、 以下同様に、 関節 4 5から 5 0は体の関節である。
人物の動作は、 移動可能関節力《動くことで構成される。 人物の複雑な動作や、 より自然 な動作で、 C Gの人物を動かすために、 関節位置を測定する測定器を身につけた人物が動 作して、 関節の位置 iffgを測定する。 この作業をモーションキヤプチヤと称して、 人物の 動き方で、 動物の動きまで自然な動きに見えるように動かすこともできる。
動作様式は、 標準的な場合が多い。 本発明では、 標準的な動きをモーションキヤプチャ 等で動きの1 ftfgを取得し定めておく。前記プルダウンメニューの動作様式を指定した場合、 動作様式に該当する動きの情報によリ動かす。
しかし、 番組によっては、 標準で準備した動作様式では表現できず、 多くの場面でモ一 シヨンキヤプチャをしなければならないこともある。 し力、し、 モーションキヤプチヤのう ち使用可能な様式は、忍び足、後ずさり等、 プルダウンメニューには動作様式を 口する。 図 9は、 絵コンテの例を示す。 図 9において場面枠 1 0 1は、 小画像が貼り付いたもの である。台詞 1 0 2には、 人物 A、 人物 Bの台詞が記入されている。場面説明枠 1 0 3は、 場面番号、 カツト番号等が記述されている。場面枠 1 0 1 , 台詞 1 0 2 , 場面説明枠 1 0 3で 1枚の絵コンテカ構成される。
図 1 0は、 台詞貼り付けの説明図である。 貼り付け作業 1 1 1は、 台詞 Aをマウスのド ラッグ-アンド- ドロップ操作で、 場面の人物に貼り付け、 貼り付け作業 1 1 2は、 台詞 Bを場面の他の人物に貼り付けている。
貼り付け時、その近くにパネル 1 1 3を表示し、場面が開始してからの台詞の開始時間、 前の台詞終了後から次の台詞の間合い時間等が指定できる。 右上のパネル 1 1 3は、 表示 された/ ネルの拡大図である。
貼り付け作業により、 当該台詞を人物力発声することになる。 人物は、 口を動かすのみ の場合と、 音声合成で発声する場合の設定カ^!能である。
ただし、 現状の技術では、 音声合成による発声は、 人間の自然な発声にはならず、 当面 はロポットまたは動物等、 人間以外のものに限られる。 人間の発声は、 動画完成後に、 動 画を見ながら台詞を発声して録音し、 後で動画と音声を合わせる手法 (アテレコ) で制作 される。
これで 1枚の絵コンテ作成が 了する。 次の絵コンテの作成を指令すると、 シーン番号 がインクリメントされ、 場面枠の内容は変化なし、 台詞は消去される。 場面枠に表示され ている小画像をドラッグ-アンド- ドロップ操作などによって移動させて、 その部品の移 動量を指定する。移動した小画像をダブルクリックして、 プルダウンメニューにより、 歩 <、 走る等の移動様式を指定する。
移動のための動作をする動画 (複数の画像から構成される) を作成するためには、 部品 の骨格の定義や、 モーションキヤプチャ、 滑りの修正など、 自然な動きを生成するための 高度な技術を必要とする力 この技術は、 本発明の主旨ではない。 図 1 1を参照して、 高速コンピュータとパソコンの役割を説明すると、 フローチャート 1 2 1は高速コンピュータの 且制作手順である。 高速コンピュータは高速映像 作成 装置に相当し、 パソコンは低速 作] ^置に相当している。
三次元 C Git gA力 1 2 2は、 C G情報を、 キーボード 5およびマウス 3を使用して入 力する作業である。 入力された' t請は、 三次元画像《[鎌として記憶する。
デジタイザ実画 入力 1 2 3は、 図 3の非劍虫型三次元デジタイザ等を使用して実物 力、らの三次元画像情報を入力する作業である。 入力された†ffgは、 三次元画像†ffgとして nets 9 。
画像龍簡略化 Ί 2 4は、 記憶してある三次元画像髓を簡略ィ匕して簡略画像 とし て記憶し、 小画像を作成して記憶する作業である。
絵コンテ作成 1 2 5は、 場面枠へ小画像を貼り付けて場面を構成し、 場面の複製と小画 像の移動'移動様式の指定をし、 場面の説明、 台詞の記述、 台詞の貼り付けをする作業で あ 。
ここで使用する三次元画像 は、 簡略画像† gでもよいし、 簡略画像1 itfgでない詳細 画像情報でも構わない。 この作業枠が破線表示であるが、 これは、 通常パソコンで行う作 業であることを示す。
台本確認 1 2 6は簡略画像情報または、 非簡略画像情報である詳細画像情報により動画 を作成してネ し確認する作業である。 動画作成 1 2 7は、 確認した台本から詳細画像情 報で動画を作成する作業である。
フローチャート 1 3 1は、 ノ ソコンの番組の制作手順を示す。
三次元 C G'fffgA力 1 3 2は、 C G情報をキーポード 1 5およびマウス 1 6を して 入力する作業である。 入力された 1ffgは、 三次元画像†ffgとして記 る。
デジタイザ実画†tfg入力 1 3 3は、 図 3の非 ¾ 型三次元デジタイザ等を使用して実物 からの三次元画像情報を入力する作業である。 入力された' I"鎌は、 三次元画像 1f¾として 記憶する。 これらの作業は、 通常、 高速コンピュータで実行する。
画像す鎌簡略化 1 3 4は、 記憶してある三次元画像す請を簡略化して簡略画像識とし て記憶し、 小画像を作成して記憶する作業である。 この作業も通常は高速コンピュータで 実施する。
絵コンテ作成 1 3 5は、 場面枠へ小画像を貼り付けて場面を構成し、 場面の複製と小画 像の移動'移動様式の指定をし、 場面の説明、 台詞の記述、 台詞の貼り付けをする作業で ある。 この作業は、 簡略画像†鎌を使用して、 パソコン上で実行する。
台本確認 1 3 6は、 簡略画像†ffgを使用して、 台本から動作を作成し、 ネ !¾、 慮忍する 作業である。
台本確認 1 3フは、 詳細画像 ffifgを使用して台本から動画を作成して、 ネ!!、 ¾1忍する 作業である。 この作業は通常、 高速コンピュータで実行するが、 ノ ソコンで実行しても構 わない。 しかし長時間を必要とする。
動画作成 1 3 8は、 詳細画像 1 fgを使用して台本から動画を作成する作業である。 この 作業は、 通常、 高速コンピュータで実行する。
画像 itfg簡略化 1 2 4力、ら絵コンテ作成 1 3 5への矢印は、 高速コンピュータで作成し た簡略画像ffgをパソコンに^して ソコン上で絵コンテ作成を実行することを示す。 台本確認 1 3 6から台本確認 1 2 6への矢印はパソコンで作成した台本を高速コンビュ -タに転送して、 詳細画像 1 "請で動画作成を実行することを示す。
以上の映像†f¾作成装置によれば、 台本■絵コンテをコンピュータ上で作成するツール を作成し、 絵コンテに既存の C G技術と音声合成技術を組み合わせることにより、 以下の 各項目の効果を実現できる。
1 . 実在する物体'人物の三次元画像 を取り込み、 C G技術を利用して実在する物 体'人物の動画を作成することができ、 タレント拘束時間の大幅短縮、 自然の景色の利用 で大道具が不要等、 番組制作費の大幅な肖 ! が^!能である。
2. C G技術の利用により、 実在のタレントに高所からの飛び降り等の危険な行動や、 大河を一気に飛び越えるなど ^実にはあり得ない動画の作成も自由自在に行うことができ る。
3. 台本、 絵コンテをコンピュータ上で作成し、 絵コンテから動画を生成してプレビュ 一することにより、 机上で番組の制作が可能である。 このため、 番組制作費の削減ができ る。
4. 三次元画像 itfgの簡略画像 を作成して、 パソコン等の低速コンピュータでも番 組の制作が可能で、 バソコン上で完成した台本を高速コンピュータに車 5ϋして、 高速コン ピュータ上では、 詳細画像髓での動画作成が^!能である。
5. 移動動作の他、 台詞による口動かしの動画作成が^!能である。
6. 台詞による音声合成ができる。
以上の映像情報作成装置によれば、実在する物体■人物等の三次元画像情報を取り込み、 コンピュータグラフィックス技術を用いて^ ¾する物体■人物等の動画を作成することが できる。 そのため、 タレント拘束時間を大幅に短縮化することができ、 また、 背景につい て、 実在するものの三次元画像 f請を利用するため、 大道具が不要となる等、 番組制作費 を大幅に削減することカ^!能となる。 また、 タレン卜の実画像三次元画像情報をもとにしてコンピュータグラフィックス技術 の範囲の中で思いどおりのシチユエ一ションで動画情報を作成することができる。 そのた め、 高所からの飛び降りなどの危険な行動や大河を一気に飛び越えるなどの突飛な現実に はあり得ない行動についても、 自由自在にその動画を作成することカ^!能となる。
さらに、 高速 ¾W象情報作職置で簡略画像† fSを作成し、 それを低速映像情報作 ϋ ^置 に渡して、 低速 ¾w象†tfg作成装置で絵コンテや台本を作成し、 その台本をもとに高速映像 す識作 Jt^置では詳細画像情報で動画を作成するので、 メィンの作業を行うのがバソコン などの低速映像情報作成装置でよく、 これによつてもより効率良く、 力つ低廉に実在の部 品についての動画を容易に作成することができる。 産業上の利用可能性
本発明によれば、 コンピュータグラフィックス技術によって動画作成を行う映像情報作 離置に劃すること力《できる。

Claims

主' a 求、 >.の範囲
1 . コンピュータ本体と、
コンピュータ本体を操作する操作器と、
5 コンピュータ本体の《[f|gを表示する表示器とを有し、
前記コンピュータ本体は、
実画像三次元画像情報を記憶する機能と、 前記記憶機能から読み出した実画像三次元画 像 1 fgに画像処理技術を適用して動きを付与し動画 iffgを生成する機能とを有し、 力つ、 前記操作器の操作に応じて前記各機能を実行し、 前記表示器に所要の画像を表示させる映
L0 像髓作蝶置。
2. 実画像の三次元画像情報を入力する入力装置と、
前記入力装置からの三次元画像 1f¾を処理する処 置とを有し、
前記処驟置は、
コンピュータ本体と、
L5 コンピュータ本体を操作する操作器と、
コンピュータ本体の tffgを表示する表示器とを有し、
前記コンピュータ本体は、
実画像三次元画像情報を記憶する機能と、前記記憶機能から読み出した実画像三次元画 像 Iffgに画像処理技術を適用して動きを付与し動画 Iffgを生成する機能とを有し、 力つ、 20 前記操作器の操作に応じて前記各機能を実行し、 前記表示器に所要の画像を表示させる映 像詾作離置。
3. コンピュータ本体と、
コンピュータ本体を操作する操作器と、
コンピュータ本体の†ffgを表示する表示器とを有し、
15 前記コンピュータ本体は、
実画像三次元画像情報を記憶する機能と、前記記憶機能から読み出した実画像三次元画 像†ffgから小画像情報を生成する機能と、 肅己実画像三次元画像†ffgと前記小画像1 [嫌と を関連付けて記憶する機能と、 三次元空間表現用の場面枠を表示する機能と、 前記小画像 にかかわる小画像を小画像枠において表示する機能と、 前記小画像枠における小画像 30 を表示上で選択し前記場面枠の所望位置に移動させ貼り付ける機能と、 前記貼リ付けた小 画像の前記場面枠における配謝麵を記憶する機能と、前記場面枠に表示されている小画 像の表現形態を前記場面枠内で修正する機能と、 前記場面枠に表示されている小画像の動 作形態を前記場面枠内で変更する機能と、 肅己修正後または変更後の小画像の配置情報を 更新する機能と、 前記場面枠内での変更前の小画像から変更後の小画像までの動作変化を 演算して時系列的な一連の動画f¾を作成する動画† g作成機能と、 前記作成した動画情 報を記憶する機能とを含む aw象† fg作]^置。
4. 実画像の三次元画像 を入力する入力装置と、
前記入力装置からの三次元画像 1t¾を処理する処^¾置とを有し、
前記処3¾置は、
実画像三次元画像情報を記憶する機能と、前記記憶機能から読み出した実画像三次元画 像 1ffgから小画像情報を生成する機能と、 肅己実画像三次元画像†鎌と前記小画像 と を関連付けて記财る機能と、 三次元空間表現用の場面枠を表示する機能と、 前記小画像 itfgにかかわる小画像を小画像枠において表示する機能と、 前記小画像枠における小画像 を表示上で選択し前記場面枠の所望位置に移動させ貼り付ける機能と、 前記貼り付けた小 画像の前記場面枠における配置情報を記憶する機能と、 前記場面枠に表示されている小画 像の表現形態を前記場面枠内で修正する機能と、 前記場面枠に表示されている小画像の動 作形態を前記場面枠内で変更する機能と、 編己修正後または変更後の小画像の配謝青報を 更新する機能と、前記場面枠内での変更前の小画像から変更後の小画像までの動作変化を 演算して時系列的な一連の動画 1ffgを作成する動画†f ^作成機能と、 前記作成した動画情 報を記憶する機能とを含む映 ί象†ffg作 ^置。
5. 前記処3¾置における till己動画†ffg作成機能は、
前記小画像が貼り付けられている前記場面枠を複製する機能と、
前記複製された場面枠における小画像を編己場面枠内で移動させる機能と、
前記移動に力、かわる前記小画像の移動様式を指定する機能と、
前記場面枠内での複製前の小画像から複製後の小画像までの動作時間を指定する機能と、 前記複製前の小画像から前記複製後の小画像までの動作変化にかかわる時系列的な一連 の動画1 tffgの作成において前記指定された動作時間分の動 親が作成されるように制御 する機能と、 を含む請求項 4に記載の映像 fflfg作成装置。
6. 前記処3¾置は、 さらに、 前記複製された場面枠における三次元空間での »を変 更する機能と、 編己複製前の小画像から前記複製後の小画像までの動作変化にかかわる時 系列的な一連の動画 iffgの作成において前記ネ跟の変更を加味した状態で動画†請が作成 されるように制御する機能とを含む請求項 5に記載の ¾W象†tfR作! ^置。
7. 前記処^¾置は、 さらに、 前記複製された場面枠における三次元空間での視点を変 更する機能と、 爾己複製前の小画像から前記複製後の小画像までの動作変化にかかわる時 系列的な一連の動画 の作成において前記視点の変更を加味した状態で動画 が作成 されるように制御する機能とを含む請求項 に記載の映像†ffg作] ^置。
8. 前記処^¾置は、 さらに、 前記場面枠に付随してその場面枠の場面を説明する記述 を行うための場面説明枠を表示する機能と、前記場面枠の場面における台詞を記述するた めの台詞枠を表示する機能と、 前記場面枠において選択された小画像に対して前記台詞枠 に記述された台詞を貼リ付ける機能とを含む請求項 4に記載の映像†t g作/^置。
9. ltS処 置は、 さらに、 Hit己台詞枠に記述された台詞について発生するタイミン グを指定する機能と、 前記指定されたタイミングで対応する台詞を音声合成して出力する 機能とを含む請求項 8に記載の映像†ffg作]^置。
1 0. 前記処3¾置は、 さらに、 前記台詞の出力のタイミングに同期して前記小画像に おける口を表す小画像を発音形状に動力ヽす制御を行う機能を含む請求項 9に記載の映像情 報作戯置。
1 1 . 前記処 置は、 さらに、 場面枠、 場面説明枠、 台詞枠で構成される 1つの場面 を記述する iffgを単位の絵コンテとして、 複数の絵コンテをまとめて管理する機能を含む 請求項 8に記載の映像†tfg作] ^置。
1 2. 前記処 置は、 さらに、 複数の絵コンテで構成され、 単位の放送番組等を記述 したものを台本として、 前記管理されている複数の台本の一つを指定し、 特定の絵コンテ を指定された場合はその絵コンテから、 指定がなければ最初からそれぞれ動画f¾を表示 する機能と、 必要に応じて音声情報を出力する機能とを含む請求項 1 1に記載の映像情報 作離置。
1 3. 前記処3¾置は、 高速映像 作 itg置と低速„ 作)^置とを連携させて 構成されており、
前記高速映像 作 J¾置は、 前記実画ィ t≡次元画像,から画像†ffgの一部を削除し た簡略画像1 tf gを作成し、 前記低速映像 ffifg作 f¾¾置にデータ転送する機能を有し、 前記低速映像 ί識作 ϋ ^置は、 データ転送されてきた前記簡略画像†ffgにおいて前記各 機能の処理を実行し、 前記簡略画像 iffgによる台本を作成し、 前記高速映像情報作^置 にデータ^する機能を有し、
前記高速映像†請作職置は、 データ転送されてきた前記簡略画像†ffgによる台本を前 記詳細画像tfgとしての実 Ht≡次元画像†f¾を基に作成した台本に変換する機能を有す るものに構成されている請求項 4に記載の 象 作 置。
1 4. 前記処蝶置は、 の記憶および処理機能を有するコンピュータ本体と、 前記 コンピュータ本体を操作する操作器と、 前記コンピュータ本体からの を表示する表示 器とを含み、
前記コンピュータ本体は、 前記操作器の操作に従い、 前記各機能を実行するとともに、 所要の情報を前言 E¾示器に表示させる請求項 4に記載の映像情報作成装置。
PCT/JP2001/009236 2000-10-20 2001-10-22 Dispositif de production d'informations video WO2002033660A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US10/399,235 US7002584B2 (en) 2000-10-20 2001-10-11 Video information producing device
EP01978843A EP1329852A4 (en) 2000-10-20 2001-10-22 VIDEO INFORMATION PRODUCTION FACILITY

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2000321117A JP2002133444A (ja) 2000-10-20 2000-10-20 映像情報作成装置
JP2000-321117 2000-10-20

Publications (1)

Publication Number Publication Date
WO2002033660A1 true WO2002033660A1 (fr) 2002-04-25

Family

ID=18799302

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2001/009236 WO2002033660A1 (fr) 2000-10-20 2001-10-22 Dispositif de production d'informations video

Country Status (5)

Country Link
US (1) US7002584B2 (ja)
EP (1) EP1329852A4 (ja)
JP (1) JP2002133444A (ja)
CN (1) CN1244077C (ja)
WO (1) WO2002033660A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3348833B2 (ja) * 1998-07-10 2002-11-20 富士通株式会社 動画像合成装置
US7837728B2 (en) * 2003-12-19 2010-11-23 Cardiac Dimensions, Inc. Reduced length tissue shaping device
TWI255141B (en) * 2004-06-02 2006-05-11 Imagetech Co Ltd Method and system for real-time interactive video
US7548243B2 (en) * 2004-03-26 2009-06-16 Pixar Dynamic scene descriptor method and apparatus
US7512883B2 (en) * 2004-06-30 2009-03-31 Microsoft Corporation Portable solution for automatic camera management
US10083536B2 (en) * 2007-01-12 2018-09-25 Autodesk, Inc. System for mapping animation from a source character to a destination character while conserving angular configuration
US20090201298A1 (en) * 2008-02-08 2009-08-13 Jaewoo Jung System and method for creating computer animation with graphical user interface featuring storyboards
US8253728B1 (en) 2008-02-25 2012-08-28 Lucasfilm Entertainment Company Ltd. Reconstituting 3D scenes for retakes
JP4954319B2 (ja) * 2010-08-02 2012-06-13 シャープ株式会社 映像処理装置、映像処理方法及びコンピュータプログラム
GB2511668A (en) * 2012-04-12 2014-09-10 Supercell Oy System and method for controlling technical processes
JP6292921B2 (ja) * 2014-02-24 2018-03-14 Kddi株式会社 カメラワーク情報生成装置、カメラワーク情報生成方法およびコンピュータプログラム
US11331485B2 (en) * 2015-12-23 2022-05-17 Mayo Foundation For Medical Education And Research System and method for integrating three dimensional video and galvanic vestibular stimulation
CN114697635B (zh) * 2020-12-31 2023-11-10 三一汽车制造有限公司 臂架设备的场景再现方法、系统、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05342330A (ja) * 1992-06-08 1993-12-24 Nec Corp コンピュータアニメーション・カメラ演出方式
JPH096978A (ja) * 1995-06-19 1997-01-10 Sharp Corp シナリオ情報処理装置
JPH09120466A (ja) * 1995-10-25 1997-05-06 Hitachi Ltd 対話型アニメーション作成・再生方法および装置
JPH10126687A (ja) * 1996-10-16 1998-05-15 Matsushita Electric Ind Co Ltd すり替え編集システム
JPH10326354A (ja) * 1997-05-23 1998-12-08 Nippon Hoso Kyokai <Nhk> Cg俳優像生成装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5111409A (en) * 1989-07-21 1992-05-05 Elon Gasper Authoring and use systems for sound synchronized animation
JP3179474B2 (ja) * 1990-11-28 2001-06-25 株式会社日立製作所 コンピュータグラフィックの表示方法及び情報処理装置
US6031549A (en) * 1995-07-19 2000-02-29 Extempo Systems, Inc. System and method for directed improvisation by computer controlled characters
KR100517856B1 (ko) * 1996-06-05 2005-09-30 가부시키가이샤 세가 게임용 화상 처리 장치
US6040841A (en) * 1996-08-02 2000-03-21 Microsoft Corporation Method and system for virtual cinematography
WO1998041952A1 (fr) * 1997-03-18 1998-09-24 Namco Ltd. Generateur d'images et support de donnees
US6466213B2 (en) * 1998-02-13 2002-10-15 Xerox Corporation Method and apparatus for creating personal autonomous avatars
JP3601350B2 (ja) * 1998-09-29 2004-12-15 ヤマハ株式会社 演奏画像情報作成装置および再生装置
US6570555B1 (en) * 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6503086B1 (en) * 2000-04-25 2003-01-07 Michael M. Golubov Body motion teaching system
US6554706B2 (en) * 2000-05-31 2003-04-29 Gerard Jounghyun Kim Methods and apparatus of displaying and evaluating motion data in a motion game apparatus
US6522332B1 (en) * 2000-07-26 2003-02-18 Kaydara, Inc. Generating action data for the animation of characters
US6608624B1 (en) * 2000-09-06 2003-08-19 Image Tech Incorporation Method for accelerating 3D animation production

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05342330A (ja) * 1992-06-08 1993-12-24 Nec Corp コンピュータアニメーション・カメラ演出方式
JPH096978A (ja) * 1995-06-19 1997-01-10 Sharp Corp シナリオ情報処理装置
JPH09120466A (ja) * 1995-10-25 1997-05-06 Hitachi Ltd 対話型アニメーション作成・再生方法および装置
JPH10126687A (ja) * 1996-10-16 1998-05-15 Matsushita Electric Ind Co Ltd すり替え編集システム
JPH10326354A (ja) * 1997-05-23 1998-12-08 Nippon Hoso Kyokai <Nhk> Cg俳優像生成装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1329852A4 *

Also Published As

Publication number Publication date
CN1470039A (zh) 2004-01-21
US7002584B2 (en) 2006-02-21
US20040027353A1 (en) 2004-02-12
JP2002133444A (ja) 2002-05-10
CN1244077C (zh) 2006-03-01
EP1329852A1 (en) 2003-07-23
EP1329852A4 (en) 2007-05-30

Similar Documents

Publication Publication Date Title
US8633933B2 (en) System and method of producing an animated performance utilizing multiple cameras
US6654031B1 (en) Method of editing a video program with variable view point of picked-up image and computer program product for displaying video program
US7791608B2 (en) System and method of animating a character through a single person performance
EP2629267A2 (en) Real-time compositing of live recording-based and computer graphics-based media streams
US20160162154A1 (en) System, apparatus and method for movie camera placement based on a manuscript
KR102186607B1 (ko) 증강현실을 통한 발레 공연 시스템 및 방법
CN103258338A (zh) 利用真实数据来驱动仿真的虚拟环境的方法和系统
JPH11219446A (ja) 映像音響再生システム
WO2005114466A2 (en) Animation review methods and apparatus
WO2002033660A1 (fr) Dispositif de production d&#39;informations video
JP2001202531A (ja) 動画像編集方法
JP5044582B2 (ja) 撮影カメラ学習装置及びそのプログラム
JP2006221489A (ja) Cgアニメーション製作システム
JP6275759B2 (ja) 三次元コンテンツの生成方法、プログラム、及びクライアント装置
JP2006073026A (ja) 動画像編集方法
KR101859318B1 (ko) 360˚ 가상카메라를 활용한 영상콘텐츠 제작 방법
JP2007316971A (ja) 表示処理装置、表示処理方法、及びコンピュータプログラム
Chanpum Virtual production: Interactive and real-time technology for filmmakers
JP4111727B2 (ja) 映像データ編集方法及び映像データ編集装置
Jo et al. CollageVis: Rapid Previsualization Tool for Indie Filmmaking using Video Collages
JP2006198136A (ja) ゲーム装置
Chan A proposed character animation workflow for digital production arts with preparation for cloth dynamics
La Manna Changes and Evolution in Audiovisual Production: The impact of digital and virtual technologies on standards and practices
JP2002092651A (ja) 映像データ編集方法及び映像データ編集プログラムを記憶したコンピュータ読み取り可能な記憶媒体
CN110782533A (zh) 一种虚拟预演中虚拟角色交互控制的系统

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 10399235

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2001978843

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 018176496

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2001978843

Country of ref document: EP

WWW Wipo information: withdrawn in national office

Ref document number: 2001978843

Country of ref document: EP