WO2017094527A1 - 動画生成システムおよび動画表示システム - Google Patents

動画生成システムおよび動画表示システム Download PDF

Info

Publication number
WO2017094527A1
WO2017094527A1 PCT/JP2016/084224 JP2016084224W WO2017094527A1 WO 2017094527 A1 WO2017094527 A1 WO 2017094527A1 JP 2016084224 W JP2016084224 W JP 2016084224W WO 2017094527 A1 WO2017094527 A1 WO 2017094527A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
moving image
frames
similarity
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/084224
Other languages
English (en)
French (fr)
Inventor
五十嵐　健夫
伸樹 依田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nidec Corp
Original Assignee
Nidec Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nidec Corp filed Critical Nidec Corp
Priority to JP2017553773A priority Critical patent/JP7009997B2/ja
Publication of WO2017094527A1 publication Critical patent/WO2017094527A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof

Definitions

  • This application relates to a moving image generation system and a moving image display system.
  • the present application also relates to a data structure used in the moving image generating system and a robot system including the moving image generating system.
  • anthropomorphic conversational agent using a computer has been developed.
  • the anthropomorphic dialogue agent displays a human or a human-like character on the screen of a display device (display), and interacts with the user according to the user's voice or keyboard input.
  • a moving image is displayed on the screen of the display, and the facial expression (particularly mouth movement) and posture of the subject image change in accordance with the content of the sound produced by a subject such as a human.
  • the moving image is generated by a moving image generation system.
  • the main video generation systems that display realistic people on the display screen are classified into two types.
  • a lip sync animation is synthesized from a two-dimensional (2D) photograph or moving image.
  • Such a synthetic moving image can be generated by a method using morphing of a still image (Non-Patent Document 1) or a method of preparing a number of mouth images and displaying them in an optimal order (Non-Patent Document 2).
  • a human three-dimensional (3D) model and its speech animation are created and drawn. Research on human face modeling and animation necessary for this drawing has been conducted (Non-Patent Document 3).
  • it is necessary to combine various techniques such as hair modeling, animation, rendering, and skin rendering.
  • the mouth only moves according to the content of the utterance, so it is far from a realistic human facial expression change.
  • the embodiment of the present disclosure provides a moving image generation system and a moving image display system capable of displaying a realistic change in human facial expression or posture.
  • An exemplary moving image generation system includes a recording device in which a moving image clip that is a sequence of a plurality of frames including a subject image is recorded, each frame included in a frame group selected from the plurality of frames, and the like.
  • a computer that reconstructs the plurality of frames based on the similarity between the frames and generates composite video data, and the similarity is a feature amount of the subject image in each frame.
  • the computer determines the similarity to the Nth frame as the (N + 1) th frame which is the next frame of the Nth frame (N is a positive integer) of the synthesized moving image.
  • One frame is determined from a plurality of candidate frames selected based on the frame group.
  • FIG. 1 is a diagram illustrating an example of a basic configuration of a moving image generation system according to the present disclosure.
  • FIG. 2 is a diagram schematically illustrating a configuration example of a table that defines a relationship between a certain frame and “a plurality of candidate frames” associated with the frame.
  • FIG. 3 is a diagram illustrating a configuration example of a non-limiting exemplary embodiment of the moving image generation system according to the present disclosure.
  • FIG. 4 is a diagram illustrating a configuration example of a moving image clip in which a standby section and an utterance section are alternately repeated.
  • FIG. 5 is a diagram showing a plurality of feature points of the subject image automatically extracted by the photographing apparatus.
  • FIG. 1 is a diagram illustrating an example of a basic configuration of a moving image generation system according to the present disclosure.
  • FIG. 2 is a diagram schematically illustrating a configuration example of a table that defines a relationship between a certain frame and “a plurality of candidate frames” associated with the frame.
  • FIG. 6 is a diagram schematically illustrating feature points of the subject image in the i-th frame i and the j-th frame j in the moving image clip.
  • FIG. 7 is a diagram schematically illustrating an example of a matrix that defines the distances D i and j between the frame i and the frame j obtained by pre-calculation.
  • FIG. 8 is a diagram schematically illustrating an example of a matrix that defines the transition costs C i , j between the frame i and the frame j obtained by pre-calculation.
  • FIG. 9 is a diagram illustrating an example of transition between frames when cross dissolve processing is used for frame interpolation.
  • FIG. 10 is a diagram schematically illustrating an example in which a predetermined frame is excluded from candidate frames.
  • FIG. 10 is a diagram schematically illustrating an example in which a predetermined frame is excluded from candidate frames.
  • FIG. 11 is a diagram illustrating a modification of the moving image display system.
  • FIG. 12 is a diagram schematically illustrating an exemplary embodiment of a robot system according to the present disclosure.
  • FIG. 13 is a flowchart illustrating an example of a processing procedure performed in advance.
  • FIG. 14 is a flowchart illustrating an example of a processing procedure for moving image generation and moving image display.
  • FIG. 15 is a diagram illustrating an internal configuration example of the computer 20.
  • Non-Patent Document 4 and Patent Document 1 disclose the technique of “Video Textures” as a technique capable of generating a realistic moving image of a human being.
  • Video Textures is a technology that can acquire a moving image clip of a finite time that originally has a beginning and an end by shooting and continuously reproduce the moving image synthesized from the moving image clip. According to this technology, instead of simply connecting the end point and start point of a video clip to make an infinite loop, the probability of transition from one frame to the next in the displayed video is based on the similarity between frames. Do it. For this reason, a frame sequence without a simple repetition can be generated.
  • Video Textures a plurality of frames similar to each other are selected in advance as candidate frames from among a large number of frames constituting a moving image clip acquired by shooting.
  • “transition” from the current frame to the next frame is performed according to a probability distribution according to the similarity. More specifically, one frame is selected from a plurality of candidate frames similar to the current frame according to a probability distribution corresponding to the degree of similarity. This probability distribution is defined by a function having the similarity between frames as a variable, and a transition to a frame with a high similarity occurs frequently.
  • the degree of similarity between frames is given by the distance between two frames of interest (frame-to-frame distance).
  • This “distance” is defined by adding the difference (absolute value or square) of pixel values in two frames for all the pixels constituting the frame. The smaller the “distance” defined in this way, the higher the similarity between frames.
  • Patent Document 2 discloses detecting the positions of a plurality of feature points arranged on a facial part. The apparatus of Patent Literature 2 takes correspondence of feature positions between captured face images, and analyzes how each feature position moves and how a video pattern changes due to utterance.
  • the degree of similarity is defined based on the “feature amount of the subject image” in the frame.
  • a typical example of a subject is a human face, which may include a part or the whole of the human body.
  • the subject may be an animal or a robot that can be anthropomorphized.
  • the subject image includes a face that defines an expression such as a human being, in particular, an eye and mouth image.
  • Such subject images are identified by various feature quantities that can be used in the field of pattern recognition.
  • the feature amount may be defined based on a plurality of points (feature points) extracted to express the facial expression and orientation, that is, the appearance of the face. For example, the position coordinates themselves within the frame of the feature point of the subject image can be the feature amount.
  • the sum of differences in the position coordinates of the corresponding feature points in the two frames corresponds to the distance for defining the similarity.
  • the position of the feature point may be a three-dimensional coordinate in the space where the subject is located. Note that pixel values at each feature point of the subject image, such as chromaticity or brightness, may be included in the feature quantity.
  • the similarity between frames is defined based on the feature amount of the subject image included in the frame instead of the entire frame, and therefore the similarity between frames can be obtained with a smaller calculation amount. .
  • some frames are excluded from a plurality of candidate frames selected based on the degree of similarity according to the order of the frames constituting the synthesized moving image.
  • some frames it is possible to suppress repeated use of the same frame having a high degree of similarity within a short period for the synthesized moving image.
  • K L is an integer of 1 or more
  • T L of frames T L is an integer of 2 or more
  • Claims can be selected as “partial frames” above and excluded from candidate frames.
  • FIG. 1 illustrates an example of a basic configuration of a moving image generation system according to the present disclosure.
  • the illustrated moving image generation system 100 includes a recording device 10 and a computer 20.
  • the moving image clip acquired by the previous shooting is recorded in the recording device 10.
  • the moving image clip is a sequence of a plurality of frames including a subject image such as a person facing the front.
  • the computer 20 reconstructs the frames based on the similarity between the frames included in the frame group of the moving image clip, and generates synthesized moving image data.
  • the “similarity” is defined based on the feature amount of the subject image in each frame.
  • the synthesized moving image generated by the moving image generating system 100 is a sequence of a plurality of frames in which the display order is reconfigured. That is, a composite moving image is configured by frames in which the order of frames in a moving image clip acquired by shooting is at least partially rearranged in a new order.
  • the computer 20 selects from the “plurality of candidate frames” the (N + 1) th frame that is the frame next to the Nth frame (N is a positive integer) in the combined moving image.
  • the “plurality of candidate frames” is selected based on the similarity from the frame group of the moving image clip.
  • the computer 10 determines one frame (for example, the frame 12 including the subject image 14) as the (N + 1) th frame in the synthesized moving image from the plurality of candidate frames selected in this way.
  • one frame for example, the frame 12 including the subject image 14
  • the frame having the highest similarity is selected, a specific frame is always selected from the candidate frames.
  • frames are selected probabilistically based on a probability distribution function with similarity as a parameter.
  • the change in the feature amount of the subject image between successive frames is small.
  • the moving image is synthesized so that the positions of the face, eyes, and mouth in the frame and their sizes naturally change.
  • the number of frames that transition from the same frame is not fixed to one and changes probabilistically, so even if a movie is displayed for a long time, the monotony of the facial expression or movement of the subject is reduced. obtain.
  • Multiple candidate frames are determined in advance for each frame.
  • the configuration of the “plurality of candidate frames” associated with the frame may be different.
  • the relationship between a frame and “a plurality of candidate frames” associated with the frame can be represented by a table, for example.
  • FIG. 2 is a diagram schematically showing a configuration example of such a table.
  • This table has a configuration capable of storing a value corresponding to the similarity (for example, “distance” between frames) for 12 frames selected from the moving image clip.
  • a table can be prepared for a huge number of frames exceeding tens of thousands.
  • the 12 frames are typically 12 consecutive frames acquired by photographing. However, the order of the frames does not necessarily need to match the order acquired at the time of shooting.
  • i and j are integers of 1 to 12.
  • a numerical value corresponding to the similarity between the frame i and the frame j is stored. It is assumed that the numerical values in this example indicate how much the coordinates of the feature points on the face of the person who is the subject are shifted for each frame.
  • the frame may be randomly selected from such candidate frames regardless of the degree of similarity, or some other rule A frame may be selected according to
  • a typical example of the subject image in the video clip is a human being, but it may be an anthropomorphized animal or robot.
  • “Reconstruction” is not only a mode in which a plurality of frames actually shot are used as they are to generate a synthesized movie, but a synthesized movie is generated by additionally using frames other than frames acquired by shooting.
  • a mode is also included.
  • a typical example of a mode in which a composite moving image is generated using a plurality of frames actually captured as it is is to generate a composite moving image by rearranging the display order of frames acquired at the time of shooting.
  • An example of “a frame other than a frame acquired by shooting” may be a frame generated by morphing, for example, from a frame acquired at the time of shooting.
  • FIG. 3 illustrates an example configuration of a non-limiting exemplary embodiment of a video generation system according to the present disclosure.
  • the illustrated moving image generation system 100 includes a recording device 10 in which a moving image clip is recorded, and a computer 20 that reconstructs a plurality of frames constituting the moving image clip and generates composite moving image data.
  • the moving image generating system 100 displays the combined moving image on the screen of the display 50 such as a liquid crystal display or an organic EL display.
  • the display 50 may be a projector that projects a moving image on a screen.
  • the display 50 can be connected to the moving image generating system 100 by wire or wireless at all times or as necessary.
  • One or both of the recording device 10 and the computer 20 in the moving image generation system 100 may be provided at a position away from the display 50.
  • the display 50 may be a part of the moving image generation system 100 or may not be included in the moving image generation system 100.
  • the display 50 in this embodiment has a built-in speaker (not shown) that outputs sound.
  • the computer 20 only needs to have a known configuration, and can typically be a commercially available general-purpose computer incorporating a central processing unit (CPU) and a memory.
  • the memory contains a program that includes a plurality of commands that define the order of processing by the computer 20. In operation, the computer 20 operates according to the instructions of this program.
  • the computer 20 determines one frame from a plurality of candidate frames as the (N + 1) th frame that is the frame next to the Nth frame (N is a positive integer) in the synthesized moving image.
  • this “determination” can be continuously performed in a mode in which a synthesized moving image including a waiting subject image is displayed on the display 50.
  • a display frame transitions from a certain frame (Nth frame) of the synthesized moving image to the next frame (N + 1th frame)
  • the transition occurs between two frames whose similarity satisfies a predetermined relationship. Arise.
  • the subject image in the synthesized moving image can show a natural movement as viewed from the user.
  • FIG. 3 shows a moving image display system 200 including the moving image generating system 100.
  • the moving image display system 200 includes an interface device 60 such as a microphone or a keyboard and a dialog engine 70 in addition to the moving image generation system 100.
  • the dialog engine 70 obtains some input from the user via the interface device 60, and causes the computer 20 to execute a dialog corresponding to the input, for example, to make an appropriate reply to the user. For example, when the user utters "Hello", the user's voice is input to the dialog engine 70 is converted into a digital signal by the interface unit 60.
  • the dialogue engine 70 discriminates the content of the words uttered by the user by voice recognition, and makes a response according to the discrimination result. Specifically, in response to a response instruction from the dialog engine 70, the computer 20 reads an appropriate part of the moving image clip from the recording device 10 and reproduces it.
  • the dialogue engine 70 may be realized by a program installed in the computer 20.
  • the dialogue engine 70 may be located away from the display 50.
  • the interface device 60 is typically placed near the display 50. Alternatively, the interface device 60 may be integrated with the display 50.
  • the moving image display system 200 according to an aspect includes a housing that houses the recording device 10, the computer 20, the display 50, and the interface device 60.
  • the moving image clip recorded in the recording device 10 includes a moving image portion for reply as will be described later.
  • the speaker of the display 50 for example voice "Hello”
  • humans accordance with the audio video utters "Hello” is displayed on the screen of the display 50. That is, a moving image showing a change in the appearance of the face corresponding to the voices of “ko”, “n”, “ni”, “chi”, and “wa” is displayed in accordance with the voice.
  • Such video had been obtained by previously imaging can be most easily produced by reproducing a series of frames that utters "Hello” to the sequence as at the time of shooting.
  • the moving image generation system according to the present embodiment does not generate a speech animation from an input character string or voice, unlike the above-described prior art.
  • the moving image generation system according to the present embodiment is preferably used for a dialogue system that selects an appropriate response from predetermined lines, such as a simple visitor correspondence and reservation reception system.
  • a standby subject image is displayed on the display 50. Such a period is called a “waiting period”.
  • the operation state of the moving image generation system 100 during the “standby period” is referred to as “standby mode”.
  • the period in which the voice and the moving image for replying to the user are reproduced is called “speech period”.
  • the operation state of the moving image generation system 100 in the “speech period” is referred to as “speech mode”.
  • the subject image displayed on the display 50 during the standby period is not a still image but a moving image synthesized by the computer 50.
  • this synthesized moving image is a new sequence of frames generated by the computer 50 reconstructing a frame group of moving image clips. Therefore, the order of the frames constituting the moving image displayed during the standby period is determined by the probabilistic transition between frames as described above.
  • the composite moving image data in the standby period and the reproduced moving image data in the utterance period are alternately sent to the display 50.
  • the length of the waiting period varies depending on the input timing by the user, but the length of the utterance period is defined by the length of the moving image portion selected according to the content of the utterance.
  • the “moving image clip” in the present embodiment includes a moving image portion of a subject image that emits a predetermined line, and a moving image portion of a subject image that is in a state before and after such a line is emitted.
  • the computer 20 is programmed to perform one of the generation of the data of the synthesized moving image and the selection of the partial clip that is a part of the moving image clip in accordance with the user input.
  • the display 50 displays the generated synthesized moving image or the selected partial clip.
  • a recording system used to acquire a movie clip includes, for example, one computer and one movie shooting device.
  • the moving image photographing apparatus used in the present embodiment is Kinect (registered trademark) manufactured by Microsoft (registered trademark).
  • a moving image capturing device such as a normal camera that does not acquire depth information may be used.
  • the actor immediately after the start of recording, the actor waits without doing anything in order to record the standby state (interactive section).
  • the operator selects a line
  • the actor utters the selected line (speech section). For example, when the words of "Hello” is selected, the actor gives a voice to the "Hello”.
  • the operator inputs the timing when the actor has finished speaking to the system. After that, the standby recording is continued for a while, and when the operator selects a dialogue again, the recording of the next dialogue starts.
  • a moving image clip in which a standby section and a speech section are alternately repeated is obtained as illustrated in FIG.
  • This increases the number of candidate frames at the transition positions before and after the utterance state, making it easier to realize more natural frame transitions when generating a moving image.
  • the same dialogue may be recorded multiple times.
  • a plurality of moving images in the utterance section that utter the same dialogue are acquired, even when the same dialogue is repeatedly uttered in response to a user input when the moving image is generated, it can be avoided that the same moving image is repeatedly reproduced.
  • the number of videos in the utterance state where the same dialogue is uttered increases, the number of frames that can be selected when transitioning from the various frames in the standby state to the first frame in each utterance state increases. It becomes easy to do.
  • the information stored in the recording system includes voice, camera RGB data, face recognition results, posture recognition results, and the start and end timings of utterances input by the operator.
  • FIG. 5 shows some of the face feature point positions f i, k (1 ⁇ k ⁇ F) of the subject image in the i-th frame i in the moving image clip.
  • some positions s i, k (1 ⁇ k ⁇ S) of posture feature points of the subject image are described.
  • F and S are a maximum value of the number of face feature points and a maximum value of the number of posture feature points used for processing, respectively.
  • the positions f i, k and s i, k of these feature points change. Even for the same corresponding feature points, their positions may vary from frame to frame.
  • a predetermined number of feature point positions are acquired for each frame.
  • the position of the human head, which is the subject is indicated by the intersection of the alternate long and short dash line 15X extending in the horizontal direction (X-axis direction) and the alternate long and short dash line 15Y extending in the vertical direction (Y-axis direction).
  • a position indicating the posture of a human being, which is a subject is shown by the intersection of one broken line 16X extending in the horizontal direction and each of two broken lines 16Y extending in the vertical direction.
  • this photographing apparatus 80 it is possible to display the difference in attitude from the start of recording on the display of the recording system. If the difference is too large during shooting, the operator can interrupt the recording or use it to determine the posture when resuming when taking a break during shooting.
  • pre-computation is performed to determine a frame transition candidate frame to be performed at the time of generating the synthesized video.
  • a transition cost between frames is calculated for an arbitrary frame pair in a recording clip, and a cost matrix is obtained.
  • the transition cost is a numerical value of unnaturalness when transitioning from one frame in a recording clip to another frame.
  • This calculation can follow the method disclosed in Non-Patent Document 4.
  • the entire contents of Non-Patent Document 4 are incorporated herein.
  • the similarity between frames in the present embodiment is performed using the feature points of face recognition, not the pixel-by-pixel comparison.
  • a plurality of frames that realize a low-cost transition are extracted for each of the transition from the standby state to the standby state and the transition from the standby state to the speech state.
  • a plurality of frames that are transition destinations with low costs are candidate frames.
  • a process of cutting out the sound recorded in parallel with the shooting of the candidate frame and a process of converting the RGB data of each frame for reproduction are also performed.
  • FIG. 6 schematically shows feature points of a subject image in an i-th frame i and a j-th frame j in a moving image clip.
  • 1 ⁇ i ⁇ j.
  • arrows indicating the positions f i, 15 and s i, 2 of two feature points are described.
  • the position f i, 15 is the fifteenth facial feature point
  • s i, 2 is the second posture feature.
  • arrows indicating the positions f j, 15 and s j, 2 of the two feature points corresponding to the two feature points in the frame i are described.
  • the distance (difference) between f i, 15 in frame i and position f j, 15 in frame j may occur for the fifteenth facial feature point.
  • the distance (difference) is large, when a transition occurs from frame i to frame j at the time of moving image generation, the movement of the feature point can be recognized by the user.
  • the distance (difference) between the feature points of the subject image is used as a value indicating the similarity between frames. The smaller this distance, the higher the similarity.
  • the distance between feature points of a subject image is obtained from face detection and posture information by Kinect (registered trademark). Then, the sum of the distances of the plurality of feature points is defined as “interframe distance”.
  • interframe distance an example of the “interframe distance” will be described.
  • the number F of facial feature points is 121.
  • those that are always visible when photographing the upper body head, right shoulder, left shoulder, center of shoulder
  • the number S of posture feature points is four.
  • the distance between the i-th frame and the j-th frame is expressed by the following expression when weighting parameters ⁇ and ⁇ are introduced.
  • the distance is standardized by the average of the distances, and the distance between the face and the posture is used at a ratio of 7: 3 as shown in the following expressions 2 and 3.
  • the distances D i , j between the frame i and the frame j obtained by such calculation can be expressed as a matrix as shown in FIG.
  • interpolation is performed by cross dissolve processing at the time of transition between non-adjacent frames.
  • d 3 corresponding to 0.25 seconds is used.
  • the edge distance can be approximated by the distance of the feature point. That is, the cost of transition from frame i to frame j can be defined using Equation 4 below.
  • the transition cost C i , j between the frame i and the frame j obtained by such calculation can be expressed as a matrix as shown in FIG.
  • the transition cost from the i-th frame to the i + 1-th frame is zero. Further, considering not only the static difference between frames but also the difference in motion expressed by a plurality of frames, it is preferable to take the sum of distances for a plurality of adjacent frames.
  • the cost of transition from one frame to another frame is specified using a plurality of frames (frame sets).
  • frame sets it is preferable to consider the order of frames in the frame set.
  • the similarity determined by the frame set is simply obtained as the sum of the similarities of each frame, the moving image may become unnatural.
  • N frame sets If only the sum of the similarities of the frames is used, there is a possibility that N frame sets in the direction in which the mouth closes are selected.
  • the videos played in that order are very unnatural. Therefore, in calculating the transition cost, the order of frames in the frame set may be added as a parameter.
  • the transition cost when calculating a transition cost when transitioning from frame i to frame j using a frame set, includes a first set of consecutive frames including frame i and frame j. For a second set of consecutive frames, it can be obtained as a linear combination of similarities between corresponding frames of the same order.
  • Non-Patent Document 1 for transition between standby states includes a method for selecting a transition with the minimum cost for each frame and a method for selecting a transition with a cost equal to or less than a certain threshold as a method for selecting a transition to be actually used from the transition cost matrix described above. Is disclosed. In the embodiment of the present disclosure, the former is used, but the latter may be used to select a necessary minimum number of more accurate transitions.
  • the moving image clip according to the embodiment of the present disclosure includes the standby state section and the utterance state section alternately. For this reason, when the technique of Video Textures is simply applied, there is a possibility that only a transition within the same section occurs.
  • a transition within the same section (local transition) and a transition to another section (global transition) are distinguished, and the number of transitions with the minimum cost is selected for each. Specifically, the following calculation is executed for each frame in the standby state. (1) Select N L transitions with the lowest cost among transitions to the same section. (2) Select NG pieces with low cost among transitions to different sections. However, select so that the transition destination sections do not overlap.
  • Transition to the utterance state The transition from the standby state to the utterance state occurs according to an instruction from the dialog engine. At that time, it is not always necessary to make a transition immediately after the instruction, and it naturally takes about one second to “react” with the subject image. A time delay may be provided from the instruction to the actual transition. In that case, candidates for the timing of transition increase, and a more natural transition can be selected. In the present embodiment, the maximum number of frames that can be spent from the time when the instruction is given until the first frame in the speech state is reached is k. When the transition to the utterance state starting from the j-th frame is instructed during the display of the i-th frame, the transition occurs as shown below.
  • the data structure used for the moving image generation system of the present embodiment can be prepared in advance.
  • Such a data structure indicates the similarity between a moving image clip, which is a sequence of a plurality of frames including a subject image, and each frame included in a frame group selected from the plurality of frames and each other frame.
  • the similarity has similarity information prescribed
  • a dialog agent is drawn using the recorded data and the result of pre-calculation.
  • a synthetic moving image in a standby state continues to be generated unless there is an instruction from the dialogue engine.
  • the video generation system in the standby mode accepts an instruction to speak any of the registered lines. Then, the best transition to the instructed dialogue is selected and a transition is made to reproduce the moving image. When the playback of the utterance period is finished, the system returns to the standby mode again. When transitioning to either the standby state or the utterance state, smoother transition is possible by performing frame interpolation.
  • Frame Interpolation at Transition Frame interpolation is performed when transitioning between non-adjacent frames.
  • a method using cross dissolve, morphing, optical flow, or a method further developed from the method can be considered.
  • Cross dissolve is the simplest method of performing linear interpolation for each pixel. In the present embodiment, cross dissolve is used for frame interpolation.
  • transition between frames is performed as shown in FIG.
  • frame i is displayed at time t and transition to frame j (j ⁇ i + 1) at time t + 1.
  • frame i + k and frame j + k ⁇ 1 are combined and displayed at a ratio of d + 1 ⁇ k: k.
  • d is a value defined in “3.2. Transition Cost” and satisfies the relationship of 1 ⁇ k ⁇ d.
  • the standby state is divided into two types, a section in which transition by cross dissolve is performed and a section in which transition is not performed.
  • the “section in which no transition is performed” includes, for example, a video clip playback section before transition and a video clip playback section after transition. It is assumed that the movie clip playback section (time t) before the transition is in the i-th frame. However, t is represented by the number of frames at the same frame rate as the recorded data. At this time, the probability of transition to the jth frame at time t + 1 is The transition destination is selected from among N L + NG selected in advance calculation. As ⁇ 0 is smaller, the probability is biased toward a lower cost transition.
  • the moving image generation system When the moving image generation system according to the present embodiment receives an instruction to utter speech from the dialogue engine, the moving image generation system switches from the standby mode to the utterance mode.
  • the moving image clip since the same dialogue is included in a plurality of moving image portions, a parameter ⁇ 1 for adjusting the probability distribution is introduced, and the probability is similarly calculated using Equation 6. The above-mentioned value is used as the transition cost at that time.
  • the standby state is recorded after the utterance state. For this reason, a transition is naturally made to the standby state.
  • An HTTP (Hypertext Transfer Protocol) server can be implemented in a moving image generation system in an embodiment.
  • the utterance instruction may be given as an HTTP request.
  • FIG. 10 shows a case where, for example, when a transition is made from the (N + X) th frame (X is an integer of 2 or more) to the next frame, a frame used for display twice in the past 10 seconds exists in the candidate frame. Is schematically shown. In this case, the frame (X mark in FIG. 10) is excluded from the candidate frames. However, such exclusion is not performed when there is no transition candidate. Record the history of the past K L visits in each frame.
  • ⁇ Example> shooting was performed using a Kinect (registered trademark) camera with a human (actor) as a subject.
  • RGB data of 1280 ⁇ 960 pixels was acquired at 12 FPS
  • depth data of 640 ⁇ 480 pixels was acquired at 30 FPS in the proximity mode.
  • the center 640 ⁇ 480 of 1280 ⁇ 960 pixels was cut out and used. This is because posture recognition and face recognition do not function if the distance between the camera and the actor is small.
  • the posture direction of the subject image can be further reduced by displaying the depth direction of the posture data on the screen of the display and showing it to the actor, or by using an actual recorded image for posture control.
  • a frame is formed by recording a larger size and cutting out the central portion. You may adjust the range of the center part made into the object of clipping based on attitude
  • the program in the system of this embodiment is basically written in C #.
  • the cost matrix is not stored in the memory in the computer, but is stored in a hard disk drive (HDD) that operates as another recording device. For this reason, processing with many disk accesses is increasing.
  • the computer that performed the pre-calculation has a central processing unit (CPU) that operates at 3.2 GHz and an 8 GB memory, and is connected to a 7200 rpm, 500 GB HDD.
  • CPU central processing unit
  • the playback system according to the present embodiment is realized by a tablet (including a CPU operating at 1.33 GHz, a 2 GB memory, and a 32 GB storage medium) in which Windows® 8.1 (registered trademark) is installed.
  • a tablet including a CPU operating at 1.33 GHz, a 2 GB memory, and a 32 GB storage medium
  • Windows® 8.1 registered trademark
  • the moving image generation system of the present disclosure may further include a line-of-sight tracking device that tracks the line of sight of the subject and outputs line-of-sight information related to the line of sight.
  • the computer calculates an additional cost that decreases as the line of sight of the subject specified based on the line of sight information decreases and increases as the line of sight of the subject increases.
  • the above-mentioned transition cost is corrected using such an additional cost. According to such a modification, it is possible to prevent generation of a composite image in which the line-of-sight direction of the subject image changes discontinuously.
  • the position of the feature point is used to calculate the similarity of the subject image, but the similarity of the subject is not limited to this example.
  • the subject image can be expressed by linearly combining products of each of a plurality of base images prepared in advance and each of a plurality of coefficients.
  • a base image may be referred to as a “unique face”.
  • the feature amount of the subject image can be defined by a combination of these multiple coefficients.
  • a “face” appearing in the i-th frame is expressed by linear superposition of a plurality of face images
  • a set of weighting factors defining the face in the i-th frame and a face in the j-th frame are defined.
  • the “similarity” between frames may be defined by the distance or difference from the set of weighting factors to be performed.
  • FIG. 11 is a diagram illustrating a modification of the moving image display system.
  • the moving image generation system 100 can distribute some or all of the generated combined moving image to the plurality of mobile terminal devices 500 via the communication network 300.
  • the moving image generation system 100 includes a system-side communication circuit 120 that transmits data of a composite moving image generated by the computer 20.
  • the mobile terminal device 500 includes a device-side communication circuit 520 that receives data of a composite video transmitted from the video generation system 100, and a display 550 that displays the composite video.
  • the system-side communication circuit 120 can receive an instruction signal transmitted from the outside via the communication network 300, for example.
  • a part of the communication network 300 may be an Internet line.
  • the instruction signal is sent in response to a user's voice input, for example, by a dialogue engine (not shown).
  • the dialogue engine may be provided in the moving image generation system 100.
  • the computer 20 Until the system-side communication circuit 120 receives the instruction signal, the computer 20 generates data of the synthesized moving image. After receiving the instruction signal, the computer 20 selects a partial clip that is a part of the moving image clip in accordance with the instruction signal.
  • the system-side communication circuit 120 transmits the composite video and partial clip data via the communication network 300.
  • the synthesized moving image and the partial clip received by the device-side communication circuit 520 are displayed.
  • FIG. 12 is a diagram schematically illustrating an exemplary embodiment of a robot system according to the present disclosure.
  • a robot system 400 shown in this figure includes the above-described moving image generation system 100 and a robot 90 including a plurality of actuators (electric motors) 92 for changing at least one of facial expressions and postures.
  • the robot 90 includes a drive circuit 94 that changes at least one of the expression and posture of the robot 90 by driving a plurality of actuators 92 following the change of at least one of the expression and posture of the subject image in the composite video. Yes.
  • the drive circuit 94 supplies power to an appropriate actuator 92 so that the mouth of the robot 90 opens when the subject image of the composite moving image opens the mouth, for example.
  • the robot 90 is equipped with a speaker (not shown) used for speech, and the speech selected by the dialogue engine 70 is uttered as speech.
  • the robot 90 having a three-dimensional structure interacts with the user, not the image displayed on the display.
  • the robot 90 does not have to be a human type, and may be an animal type, for example.
  • FIG. 13 is a flowchart illustrating an example of a processing procedure performed in advance.
  • step S10 video clip data including the standby section and the utterance section is stored in the recording device.
  • This recording device may typically be a recording device different from the recording device provided in the moving image generation system.
  • step S12 a frame group excluding unnecessary frames is selected from a number of frames constituting the moving image clip. This selection can typically be made by a human selecting and specifying an unnecessary frame.
  • step S14 the computer used for the pre-calculation calculates the cost matrix described above. The calculation result is stored in the recording device in the form of a table as described with reference to FIG.
  • FIG. 14 is a flowchart illustrating an example of a processing procedure for moving image generation and moving image display.
  • step S20 after the processing is started, it is determined in step S20 whether or not the input device has received an input from the user. If there is no input, the process proceeds to step S30, and the standby mode operation is executed. In the standby mode, a plurality of candidate frames including the next frame that transitions from the current display frame are selected with reference to a cost matrix prepared in advance and stored in the recording device. In step S32, one frame is determined probabilistically from the candidate frames according to the principle described above. In step S34, the determined next frame is displayed on the display. Thereafter, the process proceeds to step S20. Thus, stochastic inter-frame transition is realized.
  • step S40 an utterance section corresponding to the input is selected.
  • the first frame in any utterance section is selected probabilistically by the same operation as the operation in the standby mode.
  • step S42 the selected top frame is displayed on the display.
  • step S42 the moving image of the utterance section including the first frame is reproduced. In this moving image, the frame transitions according to the frame sequence in the moving image clip.
  • FIG. 15 is a diagram illustrating an internal configuration example of the computer 20.
  • the computer 20 includes a CPU 22, a memory 24, a GPU 26, and an interface (I / F) terminal 28, which are connected to each other via a bus so as to communicate with each other.
  • I / F interface
  • FIG. 15 also shows the recording device 10 connected to the computer 20.
  • the recording device 10 is, for example, a solid state drive (SSD) or an HDD.
  • the CPU 22 is an arithmetic circuit integrated on one chip.
  • the memory 24 is a ROM and / or RAM that stores a computer program composed of instructions that define processing by the processor 22.
  • the computer program is a group of instructions for realizing the above-described processing (for example, FIG. 14).
  • the computer program stored in the ROM is expanded in the RAM.
  • the CPU 22 sequentially reads instructions included in the computer program from the RAM, interprets them, and executes them.
  • the GPU 26 is an image processing circuit called a so-called graphics processing unit.
  • the GPU 26 performs image processing when generating the above-described moving image or image processing when displaying the moving image.
  • the GPU 26 may perform processing for displaying an image obtained as a result of the processing on the display 50 (FIG. 3).
  • the I / F terminal 28 is a connection terminal through which the computer 20 exchanges information with devices provided outside the computer 20. This will be described with reference to the example shown in FIG. Assume that a recording device 10, a display 20, and a dialogue engine 70 are provided outside the computer 20. Regarding the connection between the computer 20 and the recording apparatus 10, the I / F terminal 28 may be, for example, a serial ATA standard connection terminal. Regarding the connection between the computer 20 and the display 50, the I / F terminal 28 can be, for example, a display port (registered trademark), an HDMI (registered trademark), or a DVI video connection terminal.
  • the I / F terminal 28 is a communication terminal capable of performing wired communication of, for example, Ethernet (registered trademark) standard or IEEE 1394 standard, or Wi-fi (registered trademark). ) A communication circuit capable of performing wireless communication according to standards and the like.
  • the moving image generation system and the moving image display system of the present disclosure can be used for generating and displaying a moving image of an anthropomorphic dialogue agent in, for example, a customer response system and a reservation reception system that operate using a computer.
  • the moving image generation system of the present disclosure can also be used for a system in which a robot operates following a change in at least one of the expression and posture of a subject image in a combined moving image.
  • DESCRIPTION OF SYMBOLS 10 ... Recording device, 20 ... Computer, 50 ... Display, 60 ... Interface device, 70 ... Dialogue engine, 80 ... Shooting device, 90 ... Robot, 92 ... Actuator, 94 ... Drive circuit, 100 ... Movie generation system, 120 ... System Side communication circuit, 200 ... video display system, 300 ... communication network, 400 ... robot system, 500 ... terminal device, 520 ... device side communication circuit, 550 ... display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】 写実的な被写体の表情または姿勢の変化を表示し得る合成動画を生成する。 【解決手段】 動画生成システム１００は、被写体像を含む複数のフレームのシーケンスである動画クリップが記録されている記録装置（１０）と、複数のフレームから選択されたフレーム群に含まれる各フレームと他のそれぞれのフレームとの間の類似度に基づいて複数のフレームを再構成して合成動画のデータを生成するコンピュータ（２０）とを備える。類似度は、各フレーム内における被写体像の特徴量に基づいて規定されている。コンピュータ（２０）は、合成動画の第Ｎ番目のフレーム（Ｎは正の整数）の次のフレームである第Ｎ＋１番目のフレームとして、第Ｎ番目のフレームとの類似度に基づいてフレーム群から選択された複数の候補フレームから、１つのフレームを決定する。

Description

動画生成システムおよび動画表示システム
　本願は、動画生成システムおよび動画表示システムに関する。また、本願は、動画生成システムに用いられるデータ構造、および動画生成システムを備えるロボットシステムにも関している。
　コンピュータを用いる「擬人化対話エージェント（ｅｍｂｏｄｉｅｄ　ｃｏｎｖｅｒｓａｔｉｏｎａｌ　ａｇｅｎｔ）」が開発されている。擬人化対話エージェントは、人間または人間のようなキャラクターを表示装置（ディスプレイ）の画面に表示し、ユーザの音声またはキーボードによる入力に応じて、ユーザと対話を行う。ディスプレイの画面には動画が表示され、人間などの被写体が発する音声の内容に合わせて被写体像の表情（特に口の動き）および姿勢などが変化する。動画は、動画生成システムによって生成される。
　写実的な人間をディスプレイの画面に表示する主な動画生成システムは２通りに分類される。第１の動画生成システムでは、２次元（２Ｄ）の写真または動画からリップシンクアニメーションが合成される。このような合成動画の生成は、静止画のモーフィングを用いる方法（非特許文献１）、多数の口元の画像を用意して最適な順番で表示する方法（非特許文献２）が用いられ得る。第２の動画生成システムでは、人間の３次元（３Ｄ）モデルとその発話アニメーションとが作成されて描画が行われる。この描画に必要な人間の顔のモデリングおよびアニメーションの研究が行われている（非特許文献３）。写実的な描画のためには、髪の毛のモデリング、アニメーション、レンダリング、皮膚のレンダリングなどの様々な技術を組み合わせる必要がある。
米国特許第６６３６２２０号明細書 特開２００６－３２３７７４号公報
T. Ezzat and T. Poggio, "Visual speech synthesis by morphing visemes", International Journal of Computer Vision, 38（1）:45-57, 2000. L. Wang, X. Qian, W. Han, and F. K.Soong, "Synthesizing photo-real talking head via trajectory-guided sample selection", In INTER-SPEECH, Vol. 10, pp. 446-449, 2010. Z. Deng and J. Noh, "Computer facial animation: A survey", In Data-driven 3D facial animation, pp. 1-28. Springer, 2008. A. Schodl, R. Szeliski, D. H. Salesin, and I. Essa, "Video Textures", In Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques, SIGGRAPH '00, pp. 489-498, New York, NY, USA, 2000. ACM Press/Addison-Wesley Publishing Co.
　上記の従来技術のうち、第１の方法によると、発話内容に合わせて口が動くだけであるため、写実的な人間の表情変化には程遠い。より自然なアニメーションを生成するためには、３Ｄモデルと組み合わせる必要がある。第２の方法による場合は、髪の毛のモデリング、アニメーション、レンダリングなどの様々な技術を組み合わせて写実的な対話シーンを描画することは困難である。
　本開示の実施形態は、写実的な人間の表情または姿勢の変化を表示し得る動画生成システムおよび動画表示システムを提供する。
　本開示の例示的な動画生成システムは、被写体像を含む複数のフレームのシーケンスである動画クリップが記録されている記録装置と、前記複数のフレームから選択されたフレーム群に含まれる各フレームと他のそれぞれのフレームとの間の類似度に基づいて前記複数のフレームを再構成して合成動画のデータを生成するコンピュータとを備え、前記類似度は、各フレーム内における前記被写体像の特徴量に基づいて規定されており、前記コンピュータは、前記合成動画の第Ｎ番目のフレーム（Ｎは正の整数）の次のフレームである第Ｎ＋１番目のフレームとして、第Ｎ番目のフレームとの類似度に基づいて前記フレーム群から選択された複数の候補フレームから、１つのフレームを決定する。
　本開示の実施形態によると、撮影によって得られた動画クリップのフレームシーケンスを被写体像の類似度に基づいて再構成した動画を生成することが可能になる。
図１は、本開示による動画生成システムの基本的な構成の一例を示す図である。 図２は、あるフレームと、そのフレームに対応づけられる「複数の候補フレーム」との関係を規定するテーブルの構成例を模試的に示す図である。 図３は、本開示による動画生成システムの限定的ではない例示的な実施形態の構成例を示す図である。 図４は、待機区間と発話区間とが交互に繰り返された動画クリップの構成例を示す図である。 図５は、撮影装置によって自動的に抽出された被写体像の複数の特徴点を示す図である。 図６は、動画クリップ内のｉ番目のフレームｉおよびｊ番目のフレームｊにおける被写体像の特徴点を模式的に示す図である。 図７は、事前計算によって得られたフレームｉとフレームｊとの間の距離Ｄi、jを規定する行列の一例を模式的に示す図である。 図８は、事前計算によって得られたフレームｉとフレームｊとの間の遷移コストＣi、jを規定する行列の一例を模式的に示す図である。 図９は、フレーム補間にクロスディゾルブ処理を用いるときのフレーム間遷移の一例を示す図である。 図１０は、候補フレームから所定のフレームを除く例を模式的に示す図である。 図１１は、動画表示システムの変形例を示す図である。 図１２は、本開示によるロボットシステムの例示的な実施形態を模式的に示す図である。 図１３は、事前に行う処理手順の一例を示すフローチャートである。 図１４は、動画生成および動画表示の処理手順の一例を示すフローチャートである。 図１５は、コンピュータ２０の内部構成例を示す図である。
＜本願発明者の知見＞　人間の写実的な動画を生成し得る技術として、「Ｖｉｄｅｏ　Ｔｅｘｔｕｒｅｓ」の技術が非特許文献４および特許文献１に開示されている。「Ｖｉｄｅｏ　Ｔｅｘｔｕｒｅｓ」とは、本来ならば始まりと終わりがある有限時間の動画クリップを撮影によって取得し、その動画クリップから合成した動画を連続的に限りなく再生し続けることが可能な技術である。この技術によれば、単に動画クリップの終点と始点とを繋げて無限にループさせるのではなく、表示される動画内のあるフレームから次のフレームへの遷移をフレーム間の類似度に基づいて確率的に行う。このため、単純な繰り返しがないフレームシーケンスを生成することができる。
　「Ｖｉｄｅｏ　Ｔｅｘｔｕｒｅｓ」では、撮影によって取得した動画クリップを構成する多数のフレームの中から、相互に類似する複数のフレームを前もって候補フレームとして選択しておく。フレームを再配列して動画を合成するとき、現在のフレームから次のフレームへの「遷移」を類似度に応じた確率分布に従って行う。より具体的には、現在のフレームに類似する複数の候補フレームから、類似度に応じた確率分布に従って、１つのフレームが選択される。この確率分布は、フレーム間の類似度を変数とする関数で定義され、類似度の高いフレームへの遷移が高い頻度で発生することになる。
　「Ｖｉｄｅｏ　Ｔｅｘｔｕｒｅｓ」では、フレーム間の類似度が、着目する２枚のフレームの距離（ｆｒａｍｅ－ｔｏ－ｆｒａｍｅ　ｄｉｓｔａｎｃｅ）によって与えられる。この「距離」は、２枚のフレームにおける画素値の差分（絶対値または二乗）を、フレームを構成する全ての画素について加算することによって定義される。このように定義された「距離」が小さいほど、フレーム間の類似度は高い。
　本願発明者らの検討によると、「Ｖｉｄｅｏ　Ｔｅｘｔｕｒｅｓ」の技術を用いて動画生成システムを実現しようとすると、フレーム間の類似度の計算量が膨大であるという問題、および、類似度の高いフレーム間の遷移が不自然に繰り返されるという問題のあることがわかった。
　本願発明者は、フレーム全体の類似度ではなく、フレーム内の被写体像の特徴量に基づいて規定される類似度を用いることにより、対話に用いられ得る自然な動画を、より少ない計算量で合成できることを見いだした。また、類似度に基づいて選択された候補フレームの範囲の一部を過去の表示状況に応じて制限する（採用しない）ことにより、合成動画におけるシーケンスの不自然な繰り返しを抑制できることを見いだした。なお、特許文献２には、顔の部品上に配置した複数の特徴点の位置を検出することが開示されている。特許文献２の装置は、撮影した顔の画像間で特徴位置の対応をとり、発声に伴う各特徴位置の動き方と映像パターンの変化の仕方が解析される。
　本開示では、フレーム内の「被写体像の特徴量」に基づいて類似度を規定する。被写体の典型例は、人間の顔であり、人間の身体の一部または全体を含み得る。また、被写体は、擬人化され得る動物またはロボットであってもよい。好ましい実施形態において、被写体像は、人間などの表情を規定する顔、特に目および口の像を含む。このような被写体像は、パターン認識の分野で利用され得る種々の特徴量によって識別される。ある実施形態において、この特徴量は、顔の表情および向き、すなわち顔の外観を表現するために抽出された複数の点（特徴点）に基づいて規定され得る。たとえば、被写体像の特徴点のフレーム内における位置座標そのものが特徴量であり得る。この場合、２枚のフレームにおいて、対応する特徴点の位置座標の差異の総和が類似度を規定するための距離に相当する。特徴点の位置は、被写体が位置する空間内の３次元座標であってもよい。なお、被写体像の各特徴点における画素値、たとえば色度または明度を特徴量に含めてもよい。
　このように本開示では、フレームの全体ではなく、フレームに含まれる被写体像の特徴量に基づいてフレーム間の類似度を定義するため、より少ない計算量でフレーム間の類似度を求めることができる。
　また、本開示の他の側面によると、類似度に基づいて選択された複数の候補フレームから、合成動画を構成するフレームの順序に応じて一部のフレームを除外する。一部のフレームを除外することにより、短い期間内に類似度の高い同じフレームを繰り返して合成動画に使用することを抑制できる。たとえば、第Ｎ番目のフレームよりも前の所定数ＴLのフレーム（ＴLは２以上の整数）に所定数ＫL回以上含まれるフレーム（ＫLは１以上の整数）があるとき、当該クレームを上記の「一部のフレーム」として選択し、候補フレームから除外することができる。
＜本開示にかかる動画生成の原理の説明＞
　以下、実施の形態の説明に先立って、本開示による動画生成システムの基本原理を説明する。
　まず、図１を参照する。図１は、本開示による動画生成システムの基本的な構成の一例を示している。図示されている動画生成システム１００は、記録装置１０とコンピュータ２０とを備えている。
　記録装置１０には、事前の撮影によって取得された動画クリップが記録されている。動画クリップは、たとえば正面を向いた人間などの被写体像を含む複数のフレームのシーケンスである。
　コンピュータ２０は、動画クリップのフレーム群に含まれるフレーム間の類似度に基づいて、フレームを再構成して合成動画のデータを生成する。この「類似度」は、前述したように、各フレーム内における被写体像の特徴量に基づいて規定されている。
　動画生成システム１００によって生成される合成動画は、表示順序が再構成された複数のフレームのシーケンスである。すなわち、撮影によって取得された動画クリップにおけるフレームの順序を、少なくとも一部において、新しい順序に並び替えたフレームによって合成動画が構成される。動画を合成する際、コンピュータ２０は、合成動画における第Ｎ番目のフレーム（Ｎは正の整数）の次のフレームである第Ｎ＋１番目のフレームを「複数の候補フレーム」から選択する。「複数の候補フレーム」は、動画クリップのフレーム群から類似度に基づいて選択される。
　コンピュータ１０は、このようにして選択された複数の候補フレームから、合成動画における第Ｎ＋１番目のフレームとして１つのフレーム（たとえば、被写体像１４を含むフレーム１２）を決定する。複数の候補フレームから１つのフレームを決定する仕方は多様であり得る。類似度が最も高いフレームを選択するようにすると、候補フレームから特定のフレームが常に選択されることになる。好ましい実施形態においては、類似度をパラメータとする確率分布関数に基づいて確率的にフレームが選択される。
　このようにして生成された合成動画では、連続するフレーム間で被写体像の特徴量の変化が小さくなる。たとえば、フレーム内における顔、目および口の位置ならびにそれらの大きさが、自然に変化するように動画が合成される。しかも、同一のフレームから遷移する先のフレームは、１個に固定されておらず、確率的に変化するため、長時間、動画を表示しても、被写体の表情または動きの単調さが低減され得る。
　「複数の候補フレーム」は、各フレームに対して事前に決定される。各フレームの中身（被写体像の外観）に応じて、そのフレームに対応づけられる「複数の候補フレーム」の構成は異なり得る。好ましい実施形態において、あるフレームと、そのフレームに対応づけられる「複数の候補フレーム」との関係は、たとえばテーブルによって表現され得る。
　図２は、このようなテーブルの構成例を模試的に示す図である。このテーブルは、動画クリップから選択された１２枚のフレームについて、類似度に対応する値（たとえばフレーム間の「距離」）を格納し得る構成を有している。現実には、数万枚を超える膨大な枚数のフレームについてテーブルが用意され得る。１２枚のフレームは、典型的には、撮影によって取得された連続する１２枚のフレームである。しかし、フレームの順序は、必ずしも、撮影時に取得された順序に一致する必要はない。
　ここで、ｉおよびｊを、１～１２の整数とする。テーブルのｉ行ｊ列には、フレームｉとフレームｊとの間の類似度に対応する数値が記憶される。この例における数値は、被写体である人の顔における特徴点の座標がフレームごとにどれだけシフトしているかを示しているとする。図２のテーブルでは、簡単のため、テーブルのｉ＝３の行のみに類似度を示す数値の例が記載されている。この数値が小さいほど、被写体像の類似度が高い。すなわち、この数値が小さいほど、フレームが遷移しても、被写体である人の顔における特徴点の位置変動が小さい。
　ｉ＝３のフレームｉに対して類似度が最も高いフレームｊは、同一フレームであるｊ＝３のフレームを除外すると、ｊ＝４のフレームである。類似度が相対的に高い３枚の候補フレームとして、たとえばｊ＝４、５、１１のフレームｊが選択される。このような候補フレームは、ｉ＝１～１２のフレームｉとｊ＝１～１２のフレームｊとの間で事前に類似度を求めておけば、ｉ＝１～１２のフレームｉのそれぞれについて事前に選択しておくことが可能である。
　複数の候補フレームから１つのフレームを決定する動作は、合成動画を生成するときにコンピュータによって実行される。前述のように、好ましい実施形態において、この決定の動作は、確率的に行われる。たとえば、ｉ＝３のフレームｉが合成動画のＮ番目のフレームである場合、第Ｎ＋１番目のフレームを複数の候補フレーム、すなわち、ｊ＝４、５、１１のフレームｊから１つのフレームが選択され得る。このとき、被写体像の類似度が最も高い（特徴点の位置変動が最も小さい）フレームを常に選択するならば、ｉ＝３のフレームｉからは、常にｊ＝４のフレームｊに遷移することになり、合成動画における被写体像の変化の多様性が失われてしまう。このような多様性を確保するためには、ｊ＝４、５、１１のフレームｊによって構成される候補フレームの中から、確率的にフレームが選択されることが好ましい。しかし、候補フレームが、相対的に類似度の高いフレームから構成されている場合、そのような候補フレームからは、類似度によらず、ランダムにフレームが選択されてもよいし、他の何らかのルールに従ってフレームが選択されてもよい。
　動画クリップにおける被写体像の典型例は、人間であるが、擬人化された動物またはロボットであってもよい。「再構成」とは、実際に撮影された複数のフレームをそのまま用いて合成動画を生成する態様のみならず、撮影によって取得されたフレーム以外のフレームを追加的に利用して合成動画を生成する態様も含むものとする。実際に撮影された複数のフレームをそのまま用いて合成動画を生成する態様の典型例は、撮影時に取得されたフレームの表示順序を並べ替えることによって合成動画を生成することである。「撮影によって取得されたフレーム以外のフレーム」の例は、撮影時に取得されたフレームから、たとえばモーフィングによって生成されたフレームであり得る。
＜実施形態＞
　以下、適宜図面を参照しながら、本開示による実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。たとえば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。本願発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供する。これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
１．基本構成
　まず、図３を参照する。図３は、本開示による動画生成システムの限定的ではない例示的な実施形態の構成例を示している。
　図示されている動画生成システム１００は、動画クリップが記録されている記録装置１０と、動画クリップを構成する複数のフレームを再構成して合成動画のデータを生成するコンピュータ２０とを備えている。
　動画生成システム１００は、たとえば液晶ディスプレイまたは有機ＥＬディスプレイなどのディスプレイ５０の画面に合成動画を表示する。ディスプレイ５０は、スクリーン上に動画を投影するプロジェクタであってもよい。ディスプレイ５０は、常時または必要に応じて、動画生成システム１００に有線または無線によって接続され得る。動画生成システム１００における記録装置１０およびコンピュータ２０の一方または両方は、ディスプレイ５０から離れた位置に設けられていても良い。ディスプレイ５０は、動画生成システム１００の一部であってもよいし、動画生成システム１００に含まれなくてもよい。本実施形態におけるディスプレイ５０は、音声を出力するスピーカ（不図示）を内蔵している。
　コンピュータ２０は、公知の構成を備えていれば良く、典型的には、中央演算ユニット（ＣＰＵ）およびメモリを内蔵する市販の汎用コンピュータであり得る。メモリには、コンピュータ２０による処理の順序を規定する複数の指令を含むプログラムが内蔵される。動作時において、このプログラムの指令に従ってコンピュータ２０は動作する。
　コンピュータ２０は、前述したように、合成動画における第Ｎ番目のフレーム（Ｎは正の整数）の次のフレームである第Ｎ＋１番目のフレームとして、複数の候補フレームから１つのフレームを決定する。この「決定」は、好ましい実施形態において、待機中の被写体像を含む合成動画をディスプレイ５０に表示するモードで連続して行われ得る。合成動画のあるフレーム（第Ｎ番目のフレーム）から、次のフレーム（第Ｎ＋１番目のフレーム）に表示フレームが遷移するとき、類似度が所定の関係を満足する２枚のフレームの間で遷移が生じる。これにより、合成動画における被写体像がユーザからみて自然な動きを示すことができる。
　図３には、動画生成システム１００を含む、動画表示システム２００が示されている。動画表示システム２００は、動画生成システム１００に加え、マイクまたはキーボードなどのインタフェース装置６０と、対話エンジン７０とを含んでいる。対話エンジン７０は、ユーザからインタフェース装置６０を介して何らかの入力を得て、この入力に応じた対話、たとえば、ユーザに適切な返事をすることをコンピュータ２０に実行させる。たとえばユーザが「こんにちは」と発声すると、ユーザの音声はインタフェース装置６０によってデジタル信号に変換されて対話エンジン７０に入力される。対話エンジン７０は、音声認識により、ユーザの発した言葉の内容を判別し、判別結果に応じた返答を行う。具体的には、コンピュータ２０は、対話エンジン７０による返答の指示に応答して、記録装置１０から動画クリップの適切な部分を読み出して再生する。
　対話エンジン７０は、コンピュータ２０にインストールされたプログラムによって実現されてもよい。対話エンジン７０は、ディスプレイ５０から離れた位置にあってもよい。インタフェース装置６０は、典型的には、ディスプレイ５０の近くに置かれる。または、インタフェース装置６０はディスプレイ５０と一体化されてもよい。ある態様における動画表示システム２００は、記録装置１０、コンピュータ２０、ディスプレイ５０およびインタフェース装置６０を収容する筐体を備えている。
　記録装置１０に記録されている動画クリップには、後述するように、返答のための動画部分が含まれている。これにより、ディスプレイ５０のスピーカから、たとえば「こんにちは」の音声が発せられる場合、その音声に合わせて人間が「こんにちは」と発する動画がディスプレイ５０の画面上に表示される。すなわち、「こ」、「ん」、「に」、「ち」、「わ」の音声に対応した顔の外見変化を示す動画が音声に合わせて表示される。このような動画は、前もって撮影によって取得されていた、「こんにちは」と発話する一連のフレームを撮影時のシーケンス通りに再生することによって最も簡単に生成され得る。
　本実施形態による動画生成システムは、前述の先行技術とは異なり、入力された文字列や音声から発話アニメーションを生成するものではない。本実施形態による動画生成システムは、簡単な来客対応および予約受付システムなどのように、あらかじめ定められた台詞の中から適切な返答を選ぶ対話システムに好適に使用される。
　ユーザからの入力がない期間、ディスプレイ５０に待機状態の被写体像が写し出される。このような期間を「待機期間」と呼ぶ。また「待機期間」における動画生成システム１００の動作状態を「待機モード」と呼ぶ。これに対して、ユーザに返答するための音声と動画が再生される期間を「発話期間」と呼ぶ。また、「発話期間」における動画生成システム１００の動作状態を「発話モード」と呼ぶ。
　本開示の実施形態によれば、待機期間にディスプレイ５０に表示される被写体像は、静止画ではなく、コンピュータ５０によって合成された動画である。この合成動画は、図１を参照して説明したように、動画クリップのフレーム群をコンピュータ５０が再構成して生成したフレームの新しいシースケンスである。したがって、待機期間に表示される動画を構成するフレームの順序は、前述したように、確率的なフレーム間遷移によって決定される。本開示の動画生成システムによれば、待機期間の合成動画のデータと、発話期間の再生動画のデータとが、交互にディスプレイ５０に送られる。待機期間の長さは、ユーザによる入力のタイミングによって異なるが、発話期間の長さは発話の内容に応じて選択される動画部分の長さによって規定される。本実施形態における「動画クリップ」は、あらかじめ定まった台詞を発している被写体像の動画部分と、そのような台詞を発する前後の状態にある被写体像の動画部分とを含んでいる。
　このように本実施形態におけるコンピュータ２０は、ユーザの入力に応じて、合成動画のデータの生成、および動画クリップの一部である部分クリップの選択の一方を行うようにプログラムされている。コンピュータ２０の指示により、ディスプレイ５０は、生成された合成動画または選択された部分クリップを表示する。
２．動画クリップの取得
　動画クリップを取得するために用いる録画システムは、たとえば１台のコンピュータと１つの動画撮影装置を含む。本実施形態で使用する動画撮影装置は、Ｍｉｃｒｏｓｏｆｔ（登録商標）社製のＫｉｎｅｃｔ（登録商標）である。奥行き情報を取得しない通常のカメラなどの動画撮影装置を用いても良い。
　対話エージェントのモデルとなる人物（被写体）に、あらかじめ用意した台詞を読み上げて演じてもらい、その様子をカメラで録画する。台詞を読み始めたタイミングを適切に記録しておく。録画は、モデルとなる俳優とコンピュータを操作する人（オペレータ）の２人で行うことが可能である。録画前に、オペレータは俳優に演じてもらう台詞を用意し、そのテキストと音声をシステムに登録しておく。
　本実施形態では、録画開始直後、待機状態を録画するために、俳優は何もせずに待つ（対話区間）。オペレータが台詞を選択すると、選択された台詞を俳優が発話する（発話区間）。たとえば「こんにちは」という台詞が選択されたとき、俳優は「こんにちは」と声を出す。オペレータは俳優が台詞を演じ終えたタイミングをシステムに入力する。その後しばらく待機状態の録画を継続し、再びオペレータが台詞を選択すると、次の台詞の録画が始まる。
　上記の手順を繰り返すと、図４に例示されるように、待機区間と発話区間とが交互に繰り返された動画クリップが得られる。これにより、発話状態前後の遷移位置の候補フレームが増えるため、動画生成時に、より自然なフレーム遷移を実現しやすくなる。同じ台詞を複数回録画しても良い。同じ台詞を発する発話区間の動画が複数取得されていると、動画生成時に、ユーザの入力に応答して同じ台詞を繰り返して発する場合でも、全く同じ動画を繰り返して再生することが避けられ得る。また、同じ台詞が発せられる発話状態の動画が増えると、待機状態における種々のフレームから、各発話状態における最初のフレームに遷移するときに選択可能なフレームが増えるため、自然なフレーム間遷移を実現しやすくなる。
　必ずしも全ての録画を連続して行う必要はない。録画を連続して行えば、髪型や服装などの細かい見た目の変化を最小限に留めることができる。録画システムが保存する情報は、音声、カメラのＲＧＢデータ、顔認識の結果、姿勢認識の結果、オペレータが入力した発話の開始と終了のタイミングである。
　図５に示すように、本実施形態によれば、撮影装置８０によって被写体像の複数の特徴点を自動的に抽出し、顔の向きおよび姿勢情報を取得することができる。図５では、動画クリップにおけるｉ番目のフレームｉにおける被写体像の顔特徴点の位置ｆi,k（１≦ｋ≦Ｆ）の幾つかが記載されている。また、被写体像の姿勢特徴点の位置ｓi,k（１≦ｋ≦Ｓ）の幾つかが記載されている。ここで、「Ｆ」および「Ｓ」は、それぞれ、処理に利用する顔特徴点の個数の最大値および姿勢特徴点の個数の最大値である。
　被写体の顔の向き、表情、および被写体の姿勢が変化すると、これらの特徴点の位置ｆi,k、ｓi,kが変化する。対応する同じ特徴点であっても、それらの位置は、フレームごとに異なり得る。本実施形態では、被写体の撮影によって動画クリップを取得するとき、各フレームについて、所定数の特徴点位置が取得される。
　なお、図５に示す例では、水平方向（Ｘ軸方向）に延びる一点鎖線１５Ｘと垂直方向（Ｙ軸方向）に延びる一点鎖線１５Ｙとの交点により、被写体である人間の頭の位置が示されている。また、水平方向に延びる１本の破線１６Ｘと垂直方向に延びる２本の破線１６Ｙの各々との交点により、被写体である人間の姿勢を示す位置が示されている。この撮影装置８０によれば、録画開始時との姿勢の差分を録画システムのディスプレイに表示することが可能である。撮影中にその差分が大きすぎる場合、オペレータが録画を中断したり、撮影中に休憩を挟む場合の再開時の姿勢決定に用いたりすることができる。
３．事前計算
　次に、事前計算を行い、合成動画の生成時に行うフレーム遷移の候補フレームを決定する。
　本実施形態では、事前計算として、録画クリップ中の任意のフレーム対について、フレーム間の遷移コストを計算し、コスト行列を求める。遷移コストとは、録画クリップ内のあるフレームから、ある別のフレームへ遷移する際の、不自然さを数値化したものである。この計算は、非特許文献４に開示されている方法に従うことができる。非特許文献４の全体の内容をここに援用する。ただし、本実施形態におけるフレーム間の類似度は、画素ごとの比較ではなく、顔認識の特徴点を用いて行われる。
　求めたコスト行列を用いて、待機状態から待機状態への遷移と、待機状態から発話状態への遷移のそれぞれについて、コストの少ない遷移を実現する複数のフレームを抽出する。コストの少ない遷移先となる複数のフレームが、候補フレームである。候補フレームの撮影と並行して収録された音声を切り出す処理、および各フレームのＲＧＢデータを再生用に変換する処理も行う。
　３．１．フレーム間の類似度
　図６は、動画クリップ内のｉ番目のフレームｉおよびｊ番目のフレームｊにおける被写体像の特徴点を模式的に示している。ここで、１≦ｉ＜ｊとする。図６のフレームｉでは、例示的に２つの特徴点の位置ｆi,15およびｓi,2を示す矢印が記載されている。位置ｆi,15は１５番目の顔特徴点であり、ｓi,2は２番目の姿勢特徴であるとする。また、図６のｊ番目のフレームでは、フレームｉにおける２つの特徴点に対応する２つの特徴点の位置ｆj,15およびｓj,2を示す矢印が記載されている。フレームｉからフレームｊに遷移が生じるとき、１５番目の顔特徴点について、フレームｉにおけるｆi,15とフレームｊにおける位置ｆj,15との距離（差異）が発生し得る。このような距離（差異）が大きいと、動画生成時にフレームｉからフレームｊに遷移が生じるとき、特徴点の動きがユーザに認識され得る。
　本実施形態では、フレーム間の類似度を示す値として、被写体像の特徴点の距離（差異）を用いる。この距離が小さいほど、類似度は高い。本実施形態では、まず、Ｋｉｎｅｃｔ（登録商標）による顔検出および姿勢情報から、被写体像の特徴点の距離を求める。そして、複数の特徴点の距離の合計を「フレーム間距離」として定義する。以下、この「フレーム間距離」の一例を説明する。
　Ｋｉｎｅｃｔ（登録商標）の顔認識の仕様に従うと、顔特徴点の個数Ｆは１２１である。姿勢特徴点は、Ｋｉｎｅｃｔ（登録商標）が定義する２０個のうち、上半身の撮影で常に見えているもの（頭、右肩、左肩、肩中央）を利用することができる。この場合、姿勢特徴点の個数Ｓは４である。ｉ番目のフレームとｊ番目のフレームとの間の距離は、重み付けのパラメータαとβを導入すると、以下の式で表される。
Figure JPOXMLDOC01-appb-M000001
　本実施形態では、距離の平均で標準化し、以下の式２および式３に示すように、顔および姿勢の距離を７対３の割合で用いる。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　このような計算によって得られたフレームｉとフレームｊとの間の距離Ｄi、jは、図７に示されるような行列として表現され得る。
　３．２．遷移コスト
　本開示の実施形態では、隣接しないフレーム間の遷移時に、クロスディゾルブ処理で補間を行う。クロスディゾルブするフレーム数は固定とし、それをｄとする。（本実施形態では、０．２５秒にあたるｄ＝３を用いる。）。画像内のエッジの距離が十分に小さいほど、自然な補間が可能となる。このエッジの距離を特徴点の距離で近似できると考える。すなわち、フレームｉからフレームｊに遷移するコストを、以下の式４を用いて定義することができる。
　このような計算によって得られたフレームｉとフレームｊとの間の遷移コストＣi、jは、図８に示されるような行列として表現され得る。
　ｉ番目のフレームからｉ＋１番目のフレームへの遷移コストはゼロである。また、フレーム間の静的な差異だけでなく、複数のフレームで表現される動きの差異も考慮すると、隣接する複数のフレームについて距離の和をとることが好ましい。
　あるフレームから他のフレームに遷移するコストを、複数のフレーム（フレームセット）を利用して特定する場合には、フレームセット内のフレームの順番も考慮することが好ましい。その理由は、フレームセットによって定まる類似度を単に各フレームの類似度の和として求めると、動画が不自然になるおそれが生じるからである。たとえば、口が開く方向の合成動画をＮ枚のフレーム（フレームセット）から生成する例を考える。単に各フレームの類似度の和を利用するだけでは、口が閉じる方向のＮ枚分のフレームセットが選択されるおそれがある。その順序で再生された動画は非常に不自然である。よって、遷移コストの計算にあたっては、フレームッセット内のフレームの順番をパラメータとして加えてもよい。
　たとえば、フレームセットを利用して、フレームｉからフレームｊに遷移するときの遷移コストを計算する際、遷移コストは、フレームｉを含む連続したフレーム群の第１のセット、および、フレームｊを含む連続したフレーム群の第２のセットについて、対応する同じ順番のフレームどうしの類似度の線形結合として得ることができる。
　３．３．待機状態間の遷移
　非特許文献１には、前述の遷移コスト行列から実際に使う遷移を選ぶ方法として、フレームごとに最小コストの遷移を選ぶ方法と、ある閾値以下のコストの遷移を選ぶ方法とが開示されている。本開示の実施形態では、前者を用いるが、より精度の高い遷移を必要最小限の数だけ選ぶためには、後者を用いても良い。
　本開示の実施形態における動画クリップでは、前述したように、待機状態の区間と発話状態の区間とが交互に含まれている。このため、Ｖｉｄｅｏ　Ｔｅｘｔｕｒｅｓの技術を単純に適用すると、同じ区間内での遷移のみが生じる可能性がある。本開示の実施形態では、同じ区間内の遷移（局所遷移）と別区間への遷移（大域遷移）を区別し、それぞれについてコストが最小となる遷移を指定した個数だけ選ぶ。具体的には、待機状態の各フレームについて、以下の計算を実行する。
　（１） 同じ区間への遷移のうち、コストが小さいものをＮL個選ぶ。
　（２） 異なる区間への遷移のうち、コストが小さいものをＮG個選ぶ。
ただし、遷移先の区間が重複しないように選ぶ。
　たとえばＮL＝１０、ＮG＝５を用いることができる。録画時の失敗などに起因して利用したくないフレームがある場合、それらのフレームを除外したフレーム群から候補フレームを選択してもよい。
　３．４．発話状態への遷移
　待機状態から発話状態への遷移は、対話エンジンからの指示によって起こる。その際、必ずしも指示の直後に遷移をする必要はなく、被写体像による「反応」までに１秒程度時間がかかるのは自然である。指示から実際の遷移までに時間的猶予を設けても良い。その場合、遷移するタイミングの候補が増え、より自然な遷移を選ぶことができる。本実施形態では、指示があった時点から発話状態の最初のフレームに到達するまでに費やして良い最大のフレーム数をｋとする。ｉ番目のフレームの表示中に、ｊ番目のフレームから始まる発話状態への遷移を指示された場合、以下に示すように遷移が生じる。
Figure JPOXMLDOC01-appb-M000005
　ただし、ａ＋ｂ≦ｋである。事前計算では、各フレームと各発話区間について、Ｃi+a,j-bが最小となるようなａとｂを求める。
　このように、事前計算によって得られた情報に基づいて、本実施形態の動画生成システムに用いられるデータ構造が事前に用意され得る。このようなデータ構造は、被写体像を含む複数のフレームのシーケンスである動画クリップと、複数のフレームから選択されたフレーム群に含まれる各フレームと他のそれぞれのフレームとの間の類似度を示す類似度情報であって、前記類似度は、各フレーム内における前記被写体像の特徴量に基づいて規定される類似度情報とを有している。
４．動画生成
　動画生成時、録画データおよび事前計算の結果を用いて対話エージェントを描画する。本実施形態における動画生成システムを動作させると、対話エンジンからの指示がない限り、待機状態の合成動画が生成され続ける。
　待機モードにおける動画生成システムは、登録された台詞のどれかを発話する指示を受け付ける。すると、指示された台詞への最も良い遷移を選んで遷移し、動画を再生する。発話区間の再生が終わると、システムは再び待機モードに戻る。待機状態と発話状態、どちらへ遷移する場合も、フレーム補完を行うと、よりスムーズな遷移が可能となる。
　４．１．遷移時のフレーム補間
　フレーム補間は、隣接しないフレーム間を遷移する際に行われる。補完の方法としては、クロスディゾルブ、モーフィング、オプティカルフローを用いる方法、またはそれをさらに発展させた方法などが考えられる。
　モーフィングに関しては、フレームごとにいくつかの特徴線さえ用意しておけば、リアルタイムに高速に描画ができる。クロスディゾルブは、ピクセルごとに線形補間を行うという最も単純な方法である。本実施形態では、フレーム補間にクロスディゾルブを用いる。
　本実施形態では、図９に示すようにフレーム間の遷移を行う。時間ｔにフレームｉが表示されており、時間ｔ＋１にフレームｊ（ｊ≠ｉ＋１）に遷移する場合を考える。この場合、時間ｔ＋ｋでフレームｉ＋ｋとフレームｊ＋ｋ－１をｄ＋１－ｋ：ｋの比率で合成して表示する。ただし、ｄは「３．２．遷移コスト」で定義した値であり、１≦ｋ≦ｄの関係を満足する。
　４．２．待機状態
　待機状態は、クロスディゾルブによる遷移が行われている区間と、遷移が行われていない区間の２種類に分けられる。「遷移が行われていない区間」とは、たとえば、遷移する前までの動画クリップ再生区間、および遷移した後の動画クリップ再生区間を含む。今、遷移する前までの動画クリップ再生区間（時間ｔ）で、ｉ番目のフレームにいるとする。ただし、ｔは録画データと同じフレームレートによるフレーム数で表す。このとき、時間ｔ＋１にｊ番目のフレームに遷移する確率が、
Figure JPOXMLDOC01-appb-M000006
 となるように、事前計算で選んだＮL＋ＮG個の中から遷移先を選ぶ。σ0は小さいほどコストの小さい遷移に確率が偏る。ここまでは非特許文献に開示されている方法と全く同じである。フレームｊ（ｊ≠ｉ＋１）が選ばれた場合、時間ｔ＋１からｔ＋ｄの間クロスディゾルブ処理を行い、ｔ＋ｄ＋１で再び通常の状態に戻る。なお、待機状態では頻繁にフレーム遷移が起こるため、録画時の音声は再生しない。
　なお、上述の数（６）は、類似度に関する単調減少関数の一例である。他の単調減少関数を用いてもよい。
　４．３．発話状態への遷移
　本実施形態における動画生成システムは、対話エンジンから台詞の発話の指示を受け付けると、待機モードから発話モードに切り替わる。動画クリップでは、同じ台詞が複数の動画部分に含まれているため、確率分布を調整するパラメータσ１を導入し、式６を用いて同様に確率を計算する。その際の遷移コストとしては前述した値を用いる。クロスディゾルブで遷移を行った後、発話状態の開始から終了までを音声付きで単純に再生する。本実施形態では、発話状態の後には待機状態が録画されている。そのため、自然と待機状態に遷移する。
　ある実施形態における動画生成システムには、ＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ　Ｔｒａｎｓｆｅｒ　Ｐｒｏｔｏｃｏｌ）サーバーが実装され得る。その場合、発話指示は、ＨＴＴＰリクエストとして与えられ得る。
　４．４　待機状態の局所的な繰り返し対策
　本実施形態によれば、上記の構成を採用することにより、動画全体としては繰り返しのない無限シーケンスが生成され得る。しかし、局所的には、有限回の不自然な細かい繰り返しが発生する場合がある。たとえば、あるフレームからの最も確率の高い遷移がｄフレーム前に戻る遷移だとすると、その間を何度もループしてしまう可能性が高い。
　これを避ける方法として、事前計算でそのような遷移を除去する方法と、動画生成時に回避する方法とがある。本実施形態では、動画生成時に回避する態様を採用する。すなわち、待機状態の遷移先を選ぶ際に、過去ＴLフレーム以内にＫL回以上訪れたフレームは候補から除外する。たとえば、ＴLを１０秒に相当するフレーム数、ＫL＝２とすることができる。図１０は、たとえばＮ＋Ｘ番目（Ｘは２以上の整数）のフレームから次のフレームに遷移するとき、候補フレームの中に、過去１０秒間に２回表示に使用されたフレームが存在していた場合を模式的に示している。この場合、そのフレーム（図１０においてＸマークが付されている）が候補フレームから除外される。ただし、これにより遷移候補がひとつも無くなってしまう場合には、このような除外は行わない。各フレームで過去ＫL回分の訪れた時間の履歴を記録する。
　４．５　動画全体の有効利用
　事前計算で十分な数の大域遷移を用意すれば、確率的にはどの待機区間も再生される可能性がある。しかし、実際に再生してみると、いくつかの待機区間を往来し続け、使われる区間が極端に偏る場合がある。これを回避する方法も、事前計算と再生時の２通りが考えられるが、本実施形態では、後者を採用している。すなわち、「過去ＴG回の大域遷移の中で、ＫG回以上遷移先に選ばれた区間は、大域遷移先から除外する」というルールを適用する。たとえばＴG＝１０、ＫG＝２が設定され得る。
＜実施例＞
　本実施例では、人間（俳優）を被写体としてＫｉｎｅｃｔ（登録商標）のカメラを用いた撮影を行った。１２８０×９６０ピクセルのＲＧＢデータを１２ＦＰＳで取得するとともに、近接モードで６４０×４８０ピクセルの深度データを３０ＦＰＳで取得した。録画時のプレビューや再生には、１２８０×９６０ピクセルのうち中央の６４０×４８０を切り抜いて用いた。これは、カメラと俳優の距離が小さいと、姿勢認識や顔認識が機能しないためである。
　読み上げる台詞は「おはようございます」および「はじめまして」などの挨拶、デモンストレーション用の対話に用いる台詞など、合計６２個を用意し、あらかじめシステムに入力した。どの台詞も２～３回ずつ録画し、失敗も含めて合計１７０個の発話状態を録画した。各台詞の発話後はそれぞれ５～１０秒ほど待機状態として録画した。録画は、休憩を挟みながら３回に分けて行われた。時間はそれぞれ、７分４６秒、２５分４２秒、１０分２０秒で、合計４３分４８秒間であった。フレーム数は合計３１３１５フレームであった。
　各休憩後の再開時には、図５を参照しながら説明した方法で姿勢を決定した。姿勢データの奥行方向についてもディスプレイの画面に表示して俳優に見せたり、姿勢制御に実際の録画画像も用いたりすることにより、被写体像の姿勢変化を更に小さくすることができる。本実施例では、大きめのサイズで録画して中央部分を切り抜いてフレームを形成している。切り抜きの対象とする中央部分の範囲を、姿勢データに基づいて調整してもよい。
　本実施例のシステムにおけるプログラムは基本的にはＣ♯で書かれている。本実施例では、コスト行列がコンピュータ内のメモリに格納されておらず、他の記録装置として動作するハード・ディスク・ドライブ（ＨＤＤ）に格納されている。このため、ディスクアクセスの多い処理が増えている。事前計算を行ったコンピュータは、３．２ＧＨｚで動作する中央演算処理ユニット（ＣＰＵ）および８ＧＢのメモリを搭載し、７２００ｒｐｍ、５００ＧＢのＨＤＤに接続されている。画像の変換に５２分、巨大な単一ファイルである録画データをコピーして分解するのに８２分、後述の不要なフレームの除去作業に２分２０秒、コスト行列の計算と書き出しに６時間６分、最終的な遷移候補の選択に４分、合計すると約８時間３０分かかった。
　録画時、待機状態の録画中に俳優が話してしまうなどのミスがあったため、待機状態の録画クリップを構成する一部のフレームを遷移先の候補フレームから除外した。本実施例では、顔認識の上唇と下唇の特徴点が一定以上離れているフレームとその周辺のフレームを機械的に検出し、待機状態の約２１５５１フレーム中、４７０８フレームを取り除いた。
　本実施例の再生システムは、Ｗｉｎｄｏｗｓ ８．１（登録商標）がインストールされているタブレット（１．３３ＧＨｚで動作するＣＰＵ、２ＧＢのメモリ、および３２ＧＢのストレージメディアを備える）によって実現されている。本実施例では、人間を被写体とするビデオ映像のフレームをそのまま用いて合成動画を生成しているため、従来技術に比べると、被写体像が自然である。また、フレームの遷移も、特に注意していなければ気にならなった。
変形例１
　本開示の動画生成システムは、被写体の視線を追跡し、この視線に関する視線情報を出力する視線追跡装置をさらに備えていてもよい。この場合、コンピュータは、視線情報に基づいて特定される被写体の視線方向が近いほど小さく、被写体の視線方向が遠いほど大きくなる追加コストを算出する。このような追加コストを利用して前述の遷移コストを修正する。このような変形例によれば、被写体像の視線方向が不連続に変化するような合成画像の生成が防止され得る。
変形例２
　上記の実施形態では、被写体像の類似度の算出に特徴点の位置を用いているが、被写体の類似度は、この例に限定されない。被写体像は、あらかじめ用意された複数の基底画像の各々と、複数の係数の各々との積を線形的に結合して表現され得る。被写体が人の顔である場合、このような基底画像は「固有顔」と呼ばれることがある。基底画像の線形結合によって被写体像を表現するとき、被写体像の特徴量は、これらの複数の係数の組み合わせによって定義され得る。たとえば、ｉ番目のフレームに現れる「顔」を複数の顔画像の線形的な重ねあわせによって表現する場合、ｉ番目のフレームにおける顔を規定する重み係数のセットと、ｊ番目のフレームにおける顔を規定する重み係数のセットとの距離または差異によってフレーム間の「類似度」を定義しても良い。
変形例３
　図１１は、動画表示システムの変形例を示す図である。この例における動画表示システムでは、動画生成システム１００は、生成した合成動画の一部または全部を、通信網３００を介して、複数のモバイル端末装置５００に配信することができる。
　動画生成システム１００は、コンピュータ２０によって生成された合成動画のデータを送信するシステム側通信回路１２０を備えている。またモバイル端末装置５００は、動画生成システム１００から送信された合成動画のデータを受信する装置側通信回路５２０と、合成動画を表示するディスプレイ５５０とを備えている。
　システム側通信回路１２０は、たとえば通信網３００を介して、外部から送信された指示信号を受信することが可能である。通信網３００の一部はインターネット回線であってもよい。指示信号は、たとえば不図示の対話エンジンにより、ユーザの音声入力などに応答して送出される。対話エンジンは、動画生成システム１００内に設けられていてもよい。システム側通信回路１２０が指示信号を受け取るまで、コンピュータ２０は合成動画のデータを生成する。指示信号を受信した後、コンピュータ２０は、指示信号に応じて、動画クリップの一部である部分クリップを選択する。システム側通信回路１２０は、通信網３００を介して、合成動画および部分クリップのデータを送信する。モバイル端末装置５００のディスプレイ５５０には、装置側通信回路５２０によって受け取られた合成動画および部分クリップが表示される。
変形例４
　図１２は、本開示によるロボットシステムの例示的な実施形態を模式的に示す図である。この図に示されるロボットシステム４００は、前述した動画生成システム１００と、表情および姿勢の少なくとも一方を変化させるための複数のアクチュエータ（電動モータ）９２を備えたロボット９０とを備えている。ロボット９０は、合成動画における被写体像の表情および姿勢の少なくとも一方の変化に追従して複数のアクチュエータ９２を駆動することにより、ロボット９０の表情および姿勢の少なくとも一方を変化させる駆動回路９４を備えている。駆動回路９４は、合成動画の被写体像がたとえば口を開くとき、ロボット９０の口が開くように適切なアクチュエータ９２に電力を供給する。ロボット９０には、発話に用いられる不図示のスピーカが搭載されており、対話エンジン７０が選択した台詞が音声として発せられる。
　このようなロボットシステム４００によれば、ディスプレイに表示される映像ではなく、立体的な構造を有するロボット９０がユーザと対話する。ロボット９０は、人間型である必要はなく、たとえば動物型であってもよい。
フローチャート
　図１３は、事前に行う処理手順の一例を示すフローチャートである。
　この例では、まず、ステップＳ１０において、待機区間および発話区間を含む動画クリップのデータが記録装置に格納される。この記録装置は、典型的には、動画生成システムが備える記録装置とは異なる記録装置であり得る。ステップＳ１２において、動画クリップを構成する多数のフレームのうち、不要なフレームを除いたフレーム群が選択される。この選択は、典型的には、人間が不要なフレームを選択して指定することによって行われ得る。次に、ステップＳ１４において、事前計算に用いるコンピュータが前述したコスト行列を計算する。計算結果は、図８を参照して説明したようにテーブルの形式で記録装置に格納される。
　こうして、本開示の動画生成システムおよび動画表示システムで利用される動画クリップと、コスト行列とを有するデータが用意される。
　次に、図１４を参照する。図１４は、動画生成および動画表示の処理手順の一例を示すフローチャートである。
　この例では、処理の開始後、ステップＳ２０において、入力装置がユーザからの入力を受けたか否かが判定される。入力がない場合、ステップＳ３０に進み、待機モードの動作を実行する。待機モードでは、あらかじめ用意されて記録装置に格納されているコスト行列を参照し、現在の表示フレームから遷移する次のフレームを含む複数の候補フレームを選択する。ステップＳ３２において、候補フレームから１つのフレームを前述した原理に従って確率的に決定する。ステップＳ３４において、決定した次のフレームをディスプレイに表示させる。この後、ステップＳ２０に進む。こうして、確率的なフレーム間遷移が実現する。
　ステップＳ２０において、入力装置がユーザからの入力を受けたとされたとき、ステップＳ４０に進み、発話モードの動作を実行する。ステップＳ４０において、入力に応じた発話区間を選択する。複数の発話区間がある場合、いずれかの発話区間における先頭フレームが待機モードの動作と同様の動作により、確率的に選択される。ステップＳ４２において、選択された先頭フレームがディスプレイに表示される。ステップＳ４２において、この先頭フレームを含む発話区間の動画が再生される。この動画は、動画クリップにおけるフレームシーケンスの通りにフレームが遷移する。発話内容に即した動画の再生が完了すると、ステップＳ２０に戻る。
　図１５は、コンピュータ２０の内部構成例を示す図である。コンピュータ２０は、ＣＰＵ２２と、メモリ２４と、ＧＰＵ２６と、インタフェース（Ｉ／Ｆ）端子２８とを備えており、これらはバスを介して相互に通信可能に接続されている。
　図１５には、コンピュータ２０に接続された記録装置１０も示されている。記録装置１０は、たとえばソリッド・ステート・ドライブ（ＳＳＤ）またはＨＤＤである。
　ＣＰＵ２２は、一つのチップ上に集積された演算回路である。メモリ２４は、プロセッサ２２による処理を規定する指令から構成されたコンピュータブログラムを格納する、ＲＯＭおよび／またはＲＡＭである。コンピュータブログラムは、上述した処理（たとえば図１４）を実現するための命令群である。コンピュータブログラムの実行時には、ＲＯＭに格納されていたコンピュータブログラムがＲＡＭに展開される。ＣＰＵ２２はコンピュータブログラムに含まれる命令をＲＡＭから逐次読み出し、解釈して実行する。
　ＧＰＵ２６は、いわゆるグラフィックス・プロセッシング・ユニットと呼ばれる画像処理回路である。ＧＰＵ２６は、上述した動画を生成する際の画像処理、または動画を表示する際の画像処理を行う。ＧＰＵ２６は、処理の結果得られた画像をディスプレイ５０（図３）に表示するための処理を行ってもよい。
　Ｉ／Ｆ端子２８は、コンピュータ２０が、コンピュータ２０の外部に設けられた機器との間で情報の授受を行う接続端子である。図３に示す例で説明する。コンピュータ２０の外部に、記録装置１０、ディスプレイ２０および対話エンジン７０が設けられているとする。コンピュータ２０と記録装置１０との接続に関しては、Ｉ／Ｆ端子２８は、たとえばシリアルＡＴＡ規格の接続端子であり得る。コンピュータ２０とディスプレイ５０との接続に関しては、Ｉ／Ｆ端子２８は、たとえばＤｉｓｐｌａｙ　Ｐｏｒｔ（登録商標）、ＨＤＭＩ（登録商標）またはＤＶＩの映像接続端子であり得る。また、コンピュータ２０と対話エンジン７０との接続に関しては、Ｉ／Ｆ端子２８は、たとえばＥｔｈｅｒｎｅｔ（登録商標）規格またはＩＥＥＥ１３９４規格の有線通信を行うことが可能な通信端子、またはＷｉ－ｆｉ（登録商標）規格等の無線通信を行うことが可能な通信回路である。
　本開示の動画生成システムおよび動画表示システムは、たとえばコンピュータを用いて動作する来客対応システムおよび予約受付システムなどにおける擬人化対話エージェントの動画生成および表示に利用され得る。また、本開示の動画生成システムは、ロボットが合成動画における被写体像の表情および姿勢の少なくとも一方の変化に追従して動作するシステムにも利用され得る。
　１０…記録装置、　２０…コンピュータ、　５０…ディスプレイ、　６０…インタフェース装置、　７０…対話エンジン、　８０…撮影装置、　９０…ロボット、　９２…アクチュエータ、　９４…駆動回路、　１００…動画生成システム、　１２０…システム側通信回路、　２００…動画表示システム、　３００…通信網、　４００…ロボットシステム、　５００…端末装置、　５２０…装置側通信回路、　５５０…ディスプレイ

Claims (30)

  1. 　被写体像を含む複数のフレームのシーケンスである動画クリップが記録されている記録装置と、
    　前記複数のフレームから選択されたフレーム群に含まれる各フレームと他のそれぞれのフレームとの間の類似度に基づいて前記複数のフレームを再構成して合成動画のデータを生成するコンピュータと、を備え、
    　前記類似度は、各フレーム内における前記被写体像の特徴量に基づいて規定されており、
    　前記コンピュータは、
    　前記合成動画の第Ｎ番目のフレーム（Ｎは正の整数）の次のフレームである第Ｎ＋１番目のフレームとして、第Ｎ番目のフレームとの類似度に基づいて前記フレーム群から選択された複数の候補フレームから、１つのフレームを決定する、動画生成システム。
  2. 　前記コンピュータは、前記フレーム群から選択された複数の候補フレームから、前記類似度に基づいて、１つのフレームを決定する、請求項１に記載の動画生成システム。
  3. 　前記コンピュータは、前記フレーム群から選択された複数の候補フレームから、前記類似度の単調減少関数に基づいて、確率的に１つのフレームを決定する、請求項１に記載の動画生成システム。
  4. 　前記被写体像の特徴量は、前記被写体像に含まれる複数の特徴点の位置である、請求項１に記載の動画生成システム。
  5. 　前記被写体像の特徴量は、前記複数の特徴点の輝度および色の少なくとも一方をさらに含む、請求項４に記載の動画生成システム。
  6. 　前記フレーム群に含まれる任意の第１フレームと、前記フレーム群に含まれる前記第１フレーム以外の第２フレームとの間の前記類似度は、前記第１フレーム内における前記被写体像の各特徴点と前記第２フレーム内における対応する各特徴点との配置関係によって規定されている、請求項４に記載の動画生成システム。
  7. 　前記フレーム群に含まれる任意の第１フレームと、前記フレーム群に含まれる前記第１フレーム以外の第２フレームとの間の前記類似度は、前記第１フレーム内における前記被写体像の各特徴点の位置と前記第２フレーム内における対応する各特徴点の位置との距離の関数である、請求項４に記載の動画生成システム。
  8. 　前記複数の候補フレームは、前記類似度に基づいて算出された遷移コストに応じて選択されており、
    　前記第１フレームから前記第２フレームに遷移するときの遷移コストは、前記フレーム群において前記第１フレームを含む連続した所定数のフレームの第１のセット、および、前記フレーム群において前記第２フレームを含む連続した前記所定数のフレームの第２のセットについて、対応する同じ順番のフレームどうしの前記類似度の線形結合である、請求項６に記載の動画生成システム。
  9. 　前記コンピュータは、第Ｎ番目のフレームから前記候補フレームの各々に遷移するときの遷移コストをパラメータとして含む確率分布に従って第Ｎ＋１番目のフレームを選択する、請求項８に記載の動画生成システム。
  10. 　被写体の視線を追跡し、前記視線に関する視線情報を出力する視線追跡装置をさらに備え、
    　前記コンピュータは、
    　　前記視線情報に基づいて特定される、前記被写体の視線の方向が近いほど小さく、前記被写体の視線の方向が遠いほど大きい追加コストを算出し、
    　　前記追加コストを利用して前記遷移コストを修正する、
    　請求項８に記載の動画生成システム。
  11. 　前記フレーム群は、前記複数のフレームから選択されたフレームに加え、あらかじめ用意された複数の補間フレームを含んでいる、請求項１に記載の動画生成システム。
  12. 　前記コンピュータは、前記合成動画をディスプレイに表示させる、請求項１に記載の動画生成システム。
  13. 　前記コンピュータは、前記第Ｎ番目のフレームと前記第Ｎ＋１番目のフレームとの類似度に応じて、クロスディゾルブを行う、請求項１２に記載の動画生成システム。
  14. 　前記被写体の少なくとも一部は人の顔および身体の少なくとも一方を含む、請求項１に記載の動画生成システム。
  15. 　前記被写体像は、あらかじめ用意された複数の基底画像の各々と、複数の係数の各々との積を線形的に結合して表現され、
    　前記特徴量は、前記複数の係数の組み合わせによって定義される、請求項１に記載の動画生成システム。
  16. 　被写体像を含む複数のフレームのシーケンスである動画クリップが記録されている記録装置と、
    　前記複数のフレームから選択されたフレーム群に含まれる各フレームと他のそれぞれのフレームとの間の類似度に基づいて前記複数のフレームを再構成して合成動画のデータを生成するコンピュータと、を備え、
    　前記コンピュータは、
    　前記合成動画の第Ｎ番目のフレーム（Ｎは正の整数）の次のフレームである第Ｎ＋１番目のフレームとして、第Ｎ番目のフレームとの類似度に基づいて前記フレーム群から選択された複数の候補フレームから、一部のフレームを除外したうえで、１つのフレームを選択する、動画生成システム。
  17. 　前記コンピュータは、前記合成動画を構成するフレームの順序に応じて前記一部のフレームを選択し、前記候補フレームから除外する、請求項１６に記載の動画生成システム。
  18. 　前記コンピュータは、第Ｎ番目のフレームよりも前の所定数ＴLのフレーム（ＴLは２以上の整数）に所定数ＫL回以上含まれるフレーム（ＫLは１以上の整数）があるとき、当該クレームを前記一部のフレームとして選択し、前記候補フレームから除外する、請求項１７に記載の動画生成システム。
  19. 　前記コンピュータは、前記フレーム群から選択された複数の候補フレームから、前記類似度に基づいて、１つのフレームを決定する、請求項１６に記載の動画生成システム。
  20. 　前記コンピュータは、前記フレーム群から選択された複数の候補フレームから、前記類似度の単調減少関数に基づいて、確率的に１つのフレームを決定する、請求項１６に記載の動画生成システム。
  21. 　前記合成動画を表示するディスプレイをさらに備えた、請求項１に記載の動画生成システム。
  22. 　ユーザの入力を受け付けるインタフェース装置をさらに備え、
    　前記コンピュータは、前記ユーザの入力に応じて、前記合成動画のデータの生成、および前記動画クリップの一部である部分クリップの選択、の一方を行い、
    　前記ディスプレイは、生成された前記合成動画または選択された前記部分クリップを表示する、請求項２１に記載の動画生成システム。
  23. 　前記記録装置、前記コンピュータ、前記ディスプレイおよび前記インタフェース装置を収容する筐体を備えた、請求項２２に記載の動画生成システム。
  24. 　請求項１に記載の動画生成システムと、
    　端末装置と、
    　を備えた動画表示システムであって、
    　前記動画生成システムは、コンピュータによって生成された前記合成動画のデータを送信するシステム側通信回路をさらに備え、
    　前記端末装置は、
    　　前記動画生成システムから送信された前記合成動画のデータを受信する装置側通信回路と、
    　　前記合成動画を表示するディスプレイと、
    　を備える、動画表示システム。
  25. 　前記システム側通信回路は、外部から送信された指示信号を受信することが可能であり、
    　前記指示信号を受信するまでは、前記コンピュータは前記合成動画のデータを生成し、
    　前記指示信号を受信した後は、前記コンピュータは、前記指示信号に応じて、前記動画クリップの一部である部分クリップを選択し、
    　前記システム側通信回路は、前記合成動画および前記部分クリップのデータを送信し、
    　前記端末装置のディスプレイは、前記装置側通信回路によって受信された前記合成動画および前記部分クリップを表示する、請求項２４に記載の動画表示システム。
  26. 　請求項１に記載の動画生成システムにおいて用いられるデータ構造であって、
    　被写体像を含む複数のフレームのシーケンスである動画クリップと、
    　前記複数のフレームから選択されたフレーム群に含まれる各フレームと他のそれぞれのフレームとの間の類似度を示す類似度情報であって、前記類似度は、各フレーム内における前記被写体像の特徴量に基づいて規定される、類似度情報と、
    　を有するデータ構造。
  27. 　前記被写体像の特徴量は、前記被写体像に含まれる複数の特徴点の位置である、請求項２６に記載のデータ構造。
  28. 　前記被写体像の特徴量は、前記複数の特徴点の輝度および色の少なくとも一方をさらに含む、請求項２７に記載のデータ構造。
  29. 　前記被写体像は、顔および姿勢を特定可能な人物の像であり、
    　前記類似度は、各フレームと、前記他のそれぞれのフレームとの間の、前記顔に関する特徴量の差および前記姿勢に関する特徴量の差に基づいて決定される、請求項２６に記載のデータ構造。
  30. 　請求項１に記載の動画生成システムと、
    　表情および姿勢の少なくとも一方を変化させるための複数のアクチュエータを備えたロボットと、
    　前記合成動画における前記被写体像の表情および姿勢の少なくとも一方の変化に追従して前記複数のアクチュエータを駆動することにより、前記ロボットの表情および姿勢の少なくとも一方を変化させる駆動回路と、
    　を備えた、ロボットシステム。
PCT/JP2016/084224 2015-12-04 2016-11-18 動画生成システムおよび動画表示システム Ceased WO2017094527A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017553773A JP7009997B2 (ja) 2015-12-04 2016-11-18 動画生成システムおよび動画表示システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015237517 2015-12-04
JP2015-237517 2015-12-04

Publications (1)

Publication Number Publication Date
WO2017094527A1 true WO2017094527A1 (ja) 2017-06-08

Family

ID=58797258

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/084224 Ceased WO2017094527A1 (ja) 2015-12-04 2016-11-18 動画生成システムおよび動画表示システム

Country Status (2)

Country Link
JP (1) JP7009997B2 (ja)
WO (1) WO2017094527A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113066155A (zh) * 2021-03-23 2021-07-02 华强方特（深圳）动漫有限公司 一种3d表情处理方法及装置
KR20220057754A (ko) * 2020-10-30 2022-05-09 주식회사 딥브레인에이아이 발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치
WO2022265148A1 (ko) * 2021-06-16 2022-12-22 주식회사 딥브레인에이아이 발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치
WO2022270669A1 (ko) * 2021-06-25 2022-12-29 주식회사 딥브레인에이아이 발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치
US20230005202A1 (en) * 2021-06-30 2023-01-05 Deepbrain Ai Inc. Speech image providing method and computing device for performing the same
KR20230049473A (ko) * 2021-10-06 2023-04-13 주식회사 마인즈랩 영상 촬영 가이드 제공 방법, 장치 및 컴퓨터 프로그램
WO2024038976A1 (ko) * 2022-08-16 2024-02-22 주식회사 딥브레인에이아이 발화 비디오 제공 장치 및 방법
WO2024038975A1 (ko) * 2022-08-16 2024-02-22 주식회사 딥브레인에이아이 발화 비디오 제공 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076165A (ja) * 1999-09-06 2001-03-23 Fujitsu Ltd アニメーション編集システムおよびアニメーション編集プログラムを記録した記憶媒体
JP2012199613A (ja) * 2011-03-18 2012-10-18 Sony Corp 画像処理装置および方法、並びにプログラム
WO2013146508A1 (ja) * 2012-03-30 2013-10-03 ソニー株式会社 画像処理装置および方法、並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076165A (ja) * 1999-09-06 2001-03-23 Fujitsu Ltd アニメーション編集システムおよびアニメーション編集プログラムを記録した記憶媒体
JP2012199613A (ja) * 2011-03-18 2012-10-18 Sony Corp 画像処理装置および方法、並びにプログラム
WO2013146508A1 (ja) * 2012-03-30 2013-10-03 ソニー株式会社 画像処理装置および方法、並びにプログラム

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220057754A (ko) * 2020-10-30 2022-05-09 주식회사 딥브레인에이아이 발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치
CN114766036A (zh) * 2020-10-30 2022-07-19 株式会社明芒科技 有声影像提供方法及用于执行其的计算装置
KR20220109373A (ko) * 2020-10-30 2022-08-04 주식회사 딥브레인에이아이 발화 영상 제공 방법
KR102639526B1 (ko) * 2020-10-30 2024-02-22 주식회사 딥브레인에이아이 발화 영상 제공 방법
CN114766036B (zh) * 2020-10-30 2025-10-24 株式会社明芒科技 有声影像提供方法及用于执行其的计算装置
US11967336B2 (en) 2020-10-30 2024-04-23 Deepbrain Ai Inc. Method for providing speech video and computing device for executing the method
KR102506604B1 (ko) * 2020-10-30 2023-03-06 주식회사 딥브레인에이아이 발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치
CN113066155A (zh) * 2021-03-23 2021-07-02 华强方特（深圳）动漫有限公司 一种3d表情处理方法及装置
KR102510892B1 (ko) * 2021-06-16 2023-03-27 주식회사 딥브레인에이아이 발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치
WO2022265148A1 (ko) * 2021-06-16 2022-12-22 주식회사 딥브레인에이아이 발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치
KR20220168328A (ko) * 2021-06-16 2022-12-23 주식회사 딥브레인에이아이 발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치
US12243550B2 (en) 2021-06-16 2025-03-04 Deepbrain Ai Inc. Speech image providing method and computing device for performing the same
US12536727B2 (en) 2021-06-25 2026-01-27 Deepbrain Ai Inc. Speech image providing method and computing device for performing the same
KR102509106B1 (ko) * 2021-06-25 2023-03-10 주식회사 딥브레인에이아이 발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치
KR20230000702A (ko) * 2021-06-25 2023-01-03 주식회사 딥브레인에이아이 발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치
WO2022270669A1 (ko) * 2021-06-25 2022-12-29 주식회사 딥브레인에이아이 발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치
KR20230003894A (ko) * 2021-06-30 2023-01-06 주식회사 딥브레인에이아이 발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치
WO2023277231A1 (ko) * 2021-06-30 2023-01-05 주식회사 딥브레인에이아이 발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치
KR102546532B1 (ko) * 2021-06-30 2023-06-22 주식회사 딥브레인에이아이 발화 영상 제공 방법 및 이를 수행하기 위한 컴퓨팅 장치
US20230005202A1 (en) * 2021-06-30 2023-01-05 Deepbrain Ai Inc. Speech image providing method and computing device for performing the same
US11830120B2 (en) 2021-06-30 2023-11-28 Deepbrain Ai Inc. Speech image providing method and computing device for performing the same
KR20230049473A (ko) * 2021-10-06 2023-04-13 주식회사 마인즈랩 영상 촬영 가이드 제공 방법, 장치 및 컴퓨터 프로그램
KR102604672B1 (ko) * 2021-10-06 2023-11-23 주식회사 마음에이아이 영상 촬영 가이드 제공 방법, 장치 및 컴퓨터 프로그램
WO2023058813A1 (ko) * 2021-10-06 2023-04-13 주식회사 마인즈랩 영상 촬영 가이드 제공 방법, 장치 및 컴퓨터 프로그램
KR20240023963A (ko) * 2022-08-16 2024-02-23 주식회사 딥브레인에이아이 발화 비디오 제공 장치 및 방법
KR20240023962A (ko) * 2022-08-16 2024-02-23 주식회사 딥브레인에이아이 발화 비디오 제공 장치 및 방법
WO2024038975A1 (ko) * 2022-08-16 2024-02-22 주식회사 딥브레인에이아이 발화 비디오 제공 장치 및 방법
KR102679446B1 (ko) 2022-08-16 2024-06-28 주식회사 딥브레인에이아이 발화 비디오 제공 장치 및 방법
KR102685842B1 (ko) 2022-08-16 2024-07-17 주식회사 딥브레인에이아이 발화 비디오 제공 장치 및 방법
WO2024038976A1 (ko) * 2022-08-16 2024-02-22 주식회사 딥브레인에이아이 발화 비디오 제공 장치 및 방법

Also Published As

Publication number Publication date
JPWO2017094527A1 (ja) 2018-09-27
JP7009997B2 (ja) 2022-01-26

Similar Documents

Publication Publication Date Title
JP7009997B2 (ja) 動画生成システムおよび動画表示システム
JP7248859B2 (ja) 仮想、拡張、または複合現実環境内で３ｄビデオを生成および表示するための方法およびシステム
CN111464834B (zh) 一种视频帧处理方法、装置、计算设备及存储介质
US8958686B2 (en) Information processing device, synchronization method, and program
US20240112394A1 (en) AI Methods for Transforming a Text Prompt into an Immersive Volumetric Photo or Video
JP7127659B2 (ja) 情報処理装置、仮想・現実合成システム、学習済みモデルの生成方法、情報処理装置に実行させる方法、プログラム
KR20210124312A (ko) 인터랙티브 대상의 구동 방법, 장치, 디바이스 및 기록 매체
CN113228625A (zh) 支持复合视频流的视频会议
US20160275990A1 (en) Method for generating a cyclic video sequence
JP2018113616A (ja) 情報処理装置、情報処理方法、およびプログラム
CN112102449A (zh) 虚拟人物的生成方法、展示方法及装置、设备和介质
CN113395569B (zh) 视频生成方法及装置
JP2022522579A (ja) ウェアラブルヘッドマウントディスプレイのための装置、システム、および方法
US20250078377A1 (en) Body tracking from monocular video
WO2022224964A1 (ja) 情報処理装置及び情報処理方法
US11961201B2 (en) Viewing 3D photo galleries in VR
JP7786460B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN117197308A (zh) 数字人驱动方法、数字人驱动设备及存储介质
JP2023111639A (ja) 情報処理装置、情報処理方法、及びプログラム
CN121368797A (zh) 基于图像和音频数据生成面部模型
US12548229B2 (en) Robust facial animation from video and audio
JP7740333B2 (ja) 情報処理装置及び情報処理方法
US20260080601A1 (en) Automatic rigging with 2d supervised learning
US20250218093A1 (en) Dynamic head generation for animation
US12462508B1 (en) User representation based on an anchored recording

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16870465

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017553773

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 16870465

Country of ref document: EP

Kind code of ref document: A1