WO2015194509A1 - 動画像生成装置、動画像生成方法、プログラム、及び情報記憶媒体 - Google Patents

動画像生成装置、動画像生成方法、プログラム、及び情報記憶媒体 Download PDF

Info

Publication number
WO2015194509A1
WO2015194509A1 PCT/JP2015/067202 JP2015067202W WO2015194509A1 WO 2015194509 A1 WO2015194509 A1 WO 2015194509A1 JP 2015067202 W JP2015067202 W JP 2015067202W WO 2015194509 A1 WO2015194509 A1 WO 2015194509A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving image
timing
sound
music
character object
Prior art date
Application number
PCT/JP2015/067202
Other languages
English (en)
French (fr)
Inventor
筒井　京弥
Original Assignee
株式会社ソニー・コンピュータエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・コンピュータエンタテインメント filed Critical 株式会社ソニー・コンピュータエンタテインメント
Priority to JP2016529338A priority Critical patent/JP6268287B2/ja
Publication of WO2015194509A1 publication Critical patent/WO2015194509A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites

Definitions

  • the present invention relates to a moving image generating apparatus, a moving image generating method, a program, and an information storage medium storing the program, which generate a moving image that shows how a character object moves in accordance with music.
  • Patent Document 1 Conventionally, techniques for analyzing the characteristics of music by detecting the pitch, intensity, type of beat, and the like of sounds included in music have been studied (for example, Patent Document 1 and Patent Document 2).
  • One of the methods for allowing users to enjoy music is to display a moving image that shows how a character object that imitates a person or animal moves during the music playback. .
  • a moving image was manually created by the creator, which was very time-consuming.
  • the present invention has been made in consideration of the above situation, and one of its purposes is a moving image generating apparatus capable of easily generating a moving image showing a state in which a character object moves in accordance with music, To provide a moving image generation method, a program, and an information storage medium storing the program.
  • the moving image generating apparatus uses an acquisition unit that acquires timing information indicating the timing of sounds constituting the target music, and the timing information according to the timing of the character object according to the timing of the sounds. And a generation unit that generates a moving image showing a state of operation.
  • the step of acquiring timing information indicating the timing of the sound constituting the target music, and the state where the character object operates according to the timing of the sound using the timing information is generated.
  • the program according to the present invention includes a step of obtaining timing information indicating the timing of sounds constituting the target music, and a moving image showing how the character object operates in accordance with the timing of the sounds using the timing information.
  • FIG. 1 is a configuration block diagram of a moving image generation device according to an embodiment of the present invention. It is a functional block diagram of the moving image generation device according to the embodiment of the present invention. It is a figure which shows an example of a mode that a character object performs separate operation
  • FIG. 1 is a block diagram showing a configuration of a moving image generating apparatus 1 according to an embodiment of the present invention.
  • the moving image generating apparatus 1 is an information processing apparatus such as a personal computer or a home game machine, and includes a control unit 11 and a storage unit 12 as shown in FIG.
  • the moving image generating apparatus 1 is connected to the input unit 13, the display unit 14, and the audio output unit 15.
  • the control unit 11 is a CPU or the like, and performs various types of information processing according to programs stored in the storage unit 12.
  • the storage unit 12 includes a memory element such as a RAM, and stores a program executed by the control unit 11 and data to be processed by the program.
  • the input unit 13 receives an operation input from the user of the moving image generating apparatus 1.
  • the input unit 13 may be a keyboard or a mouse, for example.
  • a touch panel, an operation button, etc. may be included.
  • An operation signal indicating the content of the operation input by the user to the input unit 13 is transmitted to the control unit 11.
  • the display unit 14 is, for example, a liquid crystal display panel or the like, and displays a moving image generated by the moving image generation device 1 on the screen under the control of the control unit 11.
  • the sound output unit 15 is a speaker, a headphone, or the like, and sounds a sound according to the control of the control unit 11.
  • the moving image generating apparatus 1 generates a moving image that shows how a character object moves in accordance with the music M as a target music (hereinafter referred to as music M).
  • music M a target music
  • the moving image generation device 1 is functionally configured to include a feature data acquisition unit 21, a moving image generation unit 22, and a moving image reproduction unit 23. These functions are realized when the control unit 11 executes a program stored in the storage unit 12. This program may be provided to the moving image generation apparatus 1 via a communication network such as the Internet, or may be provided by being stored in various computer-readable information storage media such as an optical disk.
  • the feature data acquisition unit 21 acquires data indicating the features of the music M (hereinafter referred to as feature data).
  • the feature data includes ringing timing information indicating the timing at which each of a plurality of sounds constituting the music M is played.
  • the ringing timing information may be information indicating the elapsed time from the start of the performance of the music M to the timing at which the corresponding sound rings. With this ringing timing information, the timing at which the sound is played in the music M can be specified.
  • the feature data includes, for each of a plurality of sounds constituting the music M, beat type information indicating the pitch of the sound, the intensity (level) of the sound, and the type of beat (beat), etc.
  • the beat type information is information indicating the relationship between the target sound and the beat of the music M, and whether the sound matches the basic beat of the music M (hereinafter referred to as a beat sound), or This indicates whether the sound does not match the basic beat such as the back beat (hereinafter referred to as non-beat sound). Furthermore, when the sound is a beat sound, the beat type information includes information indicating whether the sound is a strong beat (beat such as the beginning of a measure) or a weak beat (beat such as the second beat of the measure). Information indicating detailed beat types may be included.
  • the feature data includes not only information related to the individual sounds constituting the music M, but also information related to the key of the music M (major or minor) and time signature (3 time, 4 time, 2 time, etc.), 1 bar length Information on the entire music M such as sheath and tempo information may be included. Information indicating the start timing of each measure may also be included.
  • This feature data can be generated, for example, by performing frequency analysis on audio data of music M recorded in a format such as PCM. Methods for specifying the pitch, intensity, timing, beat type, and the like of a sound included in music M by frequency analysis are disclosed in, for example, Patent Document 1, Patent Document 2, and the like.
  • the feature data acquisition unit 21 may generate the feature data by performing such frequency analysis on the sound data of the music M itself. Alternatively, feature data generated by another information processing apparatus may be received from the outside via a communication network or the like.
  • the feature data may be obtained by extracting music M audio data described in a format such as MIDI, music M score data, or the like.
  • the feature data acquisition unit 21 acquires feature data of the entire music M before generation of a moving image described later is started.
  • static processing the process of the procedure in which the feature data acquisition unit 21 acquires the feature data of the entire music M before starting the generation of the moving image A in this way is referred to as static processing.
  • the moving image generation unit 22 uses the feature data acquired by the feature data acquisition unit 21 to generate a moving image (hereinafter, referred to as a moving image A) that shows how the character object moves along with the music M.
  • the character object is an object representing a character imitating a person or an animal, and may be a 2D object or a 3D object.
  • the character object is composed of a plurality of parts connected to each other, and each part operates within a range that satisfies a predetermined restriction condition with respect to each other's positional relationship.
  • a character object is a humanoid object and is composed of parts such as a head, a torso, arms, and legs.
  • the object data of the character object is stored in the storage unit 12 in advance.
  • the moving image generation unit 22 may paste a user's face image captured by a camera (not shown) connected to the moving image generation device 1 on the head part of the character object.
  • the moving image generating unit 22 generates the moving image A by moving at least some parts (for example, arms and legs) of the character object in accordance with the sounding timing of the sound included in the music M. Thereby, for example, a moving image A in which a person is dancing to the music M can be generated.
  • a specific example of the method in which the moving image generation unit 22 generates the moving image A will be described later.
  • the moving image reproduction unit 23 reproduces the moving image A generated by the moving image generation unit 22 in accordance with the music M. Specifically, the moving image reproduction unit 23 separately acquires audio data of music M and causes the audio output unit 15 to reproduce the audio. Then, while synchronizing with the reproduction of the music M, the moving image A generated by the moving image generating unit 22 is displayed on the screen of the display unit 14. As a result, the user can view how the character object in the moving image A moves according to the music M. For example, the moving image reproduction unit 23 may reproduce the moving image A together with the music M as a karaoke image or a music M promotion image.
  • the moving image generation unit 22 generates the moving image A.
  • a method for generating a moving image A using a predefined routine will be described.
  • a standard action constituted by a series of movements of the character object is defined in advance. This standard operation is assumed to be executed in accordance with a phrase composed of one or more bars of the music.
  • the moving image generation unit 22 adjusts the reproduction speed of the standard operation so that the reproduction time of the standard operation matches the time determined according to the ringing timing information.
  • the moving image generation unit 22 uses the ringing timing information included in the feature data, and the length (required time) of the unit phrase of music M (a unit of music M composed of one or more bars). ). Then, the playback speed of the standard operation is adjusted to be a part of the moving image A so that the time required for one standard operation matches the length of the unit phrase. Further, the start timing of the standard operation in the moving image A is determined so as to coincide with the start timing of the unit phrase in the music M. In this way, it is possible to generate a moving image A that shows how the character object performs a standard action in accordance with the reproduction of the unit phrase.
  • the moving image generation unit 22 operates the character objects continuously by combining the standard operations selected according to the given conditions. Moreover, it is good also as preparing several types of fixed operation
  • the moving image generation unit 22 refers to the beat type information included in the feature data, and extracts a sound of a predetermined beat type (for example, a beat sound). Then, the moving image A is generated so that a specific part constituting the character object is moved at a timing corresponding to the timing at which the extracted sound is generated in the music M.
  • a predetermined beat type for example, a beat sound
  • the moving image playback unit 22 moves the character object in accordance with timings such as a strong beat, a weak beat, or a back beat identified from the timing at which the sound is generated, not only at the timing at which the sound is played. Also good.
  • the action that the character object performs at the timing according to the timing of each sound in the second example is referred to as an individual action.
  • the moving image generation unit 22 may determine the content of the individual motion in accordance with the pitch and intensity of the corresponding sound, the beat type, etc., when causing the character object to execute the individual motion. As a specific example, when moving the arm of the character object at a timing according to the timing of the sound in the music M, the moving image generation unit 22 changes the magnitude of the movement of the arm according to the strength of the sound. May be. Further, for example, the moving image generation unit 22 may move different character object parts depending on the beat type, such as an arm at a timing when a beat sound is sounded and a wrist at a timing when a non-beat sound is sounded. .
  • FIG. 3 is a diagram showing an example of the individual operation in the second example.
  • an example of moving the right arm of the character object in accordance with the beat sound is shown as a specific example of the individual action.
  • the music M is assumed to be a 4-beat music piece.
  • P0 indicates the reference position of the right hand (the tip of the right arm)
  • P1 to P4 indicate the position of the right hand (target position) at the timing from the first beat to the fourth beat in one measure, respectively. ing.
  • the right hand of the character object starts from the reference position P0, reaches the target position P1 at the timing of the first beat, the target position P2 at the timing of the second beat, the target position P3 at the timing of the third beat, and the fourth beat To the target position P4.
  • the character object performs an operation of rotating the arm in accordance with the music M in the moving image A.
  • the position of the right hand in the above-described example may be changed according to the strength (level) of each beat sound.
  • the beat sound level is the maximum value
  • the right hand is moved to the target positions P1 to P4.
  • the beat sound level is the minimum value (0)
  • the right hand is not moved from the reference position P0. I will do it.
  • the beat sound level is between the minimum value and the maximum value
  • the right hand is moved so that the smaller the position is, the closer the position is to the reference position P0. Thereby, the louder the sound, the larger the character object can be operated.
  • when moving a character object according to the timing of a certain sound by moving the parts that make up the character object by an amount corresponding to the sound level, natural motion expression that matches the sound level It can be performed.
  • the first example and the second example described above may be used in combination.
  • a part corresponding to the first one bar of music M is generated by the method of the first example, and a part corresponding to the next bar is generated by the method of the second example.
  • the moving image A corresponding to the music M may be generated by another method.
  • FIG. 4 shows the transition along the time series of the moving image A generated by such a method.
  • the horizontal axis indicates the passage of time
  • the arrow extending upward from the horizontal axis indicates the timing at which the beat sound of the music M sounds
  • the arrow extending downward indicates the timing at which the non-beat sound sounds. ing.
  • the character object executes one standard action with the time adjusted.
  • the character object executes an individual action in accordance with each sound included in the measure.
  • the white circles and black circles in the figure indicate the execution timing of individual movements that match the sound of music M.
  • the white circles indicate movements that match the beat sound (for example, movements of the shoulders and elbows), and the black circles indicate nonbeat sounds. It is shown that the movement (for example, wrist movement) is performed.
  • the moving image generation unit 22 may generate a moving image corresponding to one unit phrase by a method combining the first example and the second example.
  • the moving image generating unit 22 causes a character object to perform a fixed movement in accordance with a unit phrase, and a moving image to perform individual movements according to individual sounds (particularly non-beat sounds) between the fixed movements. Is generated.
  • a moving image that causes a part of the character object for example, a foot or a body
  • the other part for example, an arm
  • the moving image generation unit 22 generates the moving image A that shows how a single character object operates.
  • the present invention is not limited to this, and the moving image A may show a state in which a plurality of character objects move according to the music M.
  • the character objects may perform the same action with each other, or may perform different actions determined by different methods.
  • the moving image A may include other objects that operate asynchronously with the music M in addition to the character object that operates in accordance with the music M.
  • the objects included in the moving image A may interact with each other.
  • the parts of each character object for example, each other's parts
  • the parts of each character object may approach within a predetermined distance.
  • two character objects may hold hands and perform a predetermined action for a certain period of time, and then resume the action in accordance with the music M.
  • the character object may perform an operation such as grabbing or throwing another object moving in the virtual space.
  • the moving image generation unit 22 may generate the moving image A based on a user instruction.
  • the user selects a standard action that is actually executed by the character object from among a plurality of standard action candidates, or is specific to the sound included in the music M.
  • the moving image A is generated by designating the contents of individual individual operations.
  • the user only needs to specify the contents of the routine action or the individual action, and the timing for executing these actions is determined by the moving image generation unit 22 based on the ringing timing information included in the feature data.
  • the user can create the moving image A according to the music M easily. For this reason, for example, presenting a self-made moving image A to other users, or comparing a plurality of self-made moving images A according to the same music M, and performing a contest to compete for the result. It can be easily realized.
  • the moving image generation unit 22 receives an operation input to the input unit 13 by the user during the reproduction of the moving image A by the moving image reproduction unit 23, and changes the content of the moving image A according to the content of the operation input. Also good. In this case, the moving image generation unit 22 determines the action of the character object in real time during the reproduction of the moving image A by the moving image reproduction unit 23 and reflects it in the subsequent reproduction of the moving image A.
  • the moving image generating apparatus 1 executes the static process for generating the moving image A after acquiring the feature data of the entire music M in advance.
  • the present invention is not limited to this, and the moving image generation apparatus 1 may generate the moving image A while acquiring feature data in real time during the reproduction of the music M.
  • the processing of such a procedure is referred to as real-time processing.
  • the moving image generating apparatus 1 is connected to a sound collecting device (not shown) such as a microphone, and generates a moving image A while recording music M reproduced by an external sound source with the sound collecting device. I will do it.
  • the feature data acquisition unit 21 performs analysis processing such as frequency analysis on the sound data recorded by the sound collector in real time to identify the timing of the sound included in the music M. Further, the feature data acquisition unit 21 estimates information related to the periodically repeated rhythm cycle of the music M, such as the time signature of the music M, the length of the measure, and the timing of the beginning of the measure, from the timing of the specified sound. Also good.
  • the beat type of a newly detected sound can be specified.
  • the sound detected at time t1 is a beat sound (strong beat) at the beginning of a measure and the length of one measure is estimated as Tb from the timing of the sound detected so far.
  • the feature data acquisition unit 21 determines that the sound is also the first beat sound of the measure.
  • the moving image generation unit 22 performs the character object in accordance with the sound timing by various methods as in the case of the static processing described above. It is possible to generate a moving image A showing how the camera operates. Specifically, for example, when sound generation is detected, the moving image generation unit 22 generates a moving image A that causes the character object to execute a predetermined individual operation immediately in accordance with the timing.
  • the moving image generation unit 22 can cause the character object to perform a standard action in accordance with the unit phrase.
  • the moving image generation unit 22 uses one or n rhythm cycles (n is a predetermined natural number) detected by the feature data acquisition unit 21 as a unit phrase so as to match the length of the unit phrase.
  • n is a predetermined natural number
  • the user may instruct the timing of the music M beat.
  • the user may instruct the beat timing of the music M by, for example, clapping.
  • the feature data acquisition unit 21 can more accurately calculate the rhythm cycle of the music M than when using only the music M sound. Can be estimated.
  • the user may explicitly perform an operation input for instructing the beat timing to the input unit 14. In this case, the user performs an operation input to the operation buttons and the touch sensor in accordance with the beat timing of the music M being reproduced.
  • the feature data acquisition unit 21 specifies the timing of this operation input as the beat timing of the music M. Thereby, the rhythm cycle of the music M can be specified with high accuracy.
  • the embodiments of the present invention are not limited to those described above.
  • the moving image A generated by the moving image generating device 1 is reproduced by itself.
  • the present invention is not limited to this, and other moving devices can be distributed by distributing the moving image A via a communication network. It is good also as making it reproduce.
  • the state in which the character object operates in accordance with the music M can be reproduced by reproducing the moving image A in synchronization with the music M on the reproduction apparatus side.
  • the moving image generating apparatus 1 may generate moving image data by synthesizing the moving image A data and the audio data of the music M, and may be a distribution target to the outside. Further, the data of the moving image A and the audio data of the music M obtained individually on the playback device side may be played back synchronously.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　音楽に合わせてキャラクターオブジェクトが動作する様子を示す動画像を容易に生成することのできる動画像生成装置を提供する。対象となる音楽を構成する音のタイミングを示すタイミング情報を取得し、取得したタイミング情報を用いて、キャラクターオブジェクトが音のタイミングに応じたタイミングで動作する様子を示す動画像を生成する動画像生成装置である。

Description

動画像生成装置、動画像生成方法、プログラム、及び情報記憶媒体
　本発明は、音楽に合わせてキャラクターオブジェクトが動作する様子を示す動画像を生成する動画像生成装置、動画像生成方法、プログラム、及び当該プログラムを格納した情報記憶媒体に関する。
　従来より、音楽に含まれる音の音程、強さ、ビートの種類などを検出して、音楽の特徴を解析する技術が検討されている（例えば特許文献１、特許文献２等）。
特開２００５－２７４７０８号公報 特開２００８－１０２４０５号公報
　ユーザーに音楽鑑賞を楽しんでもらうための手法の一つとして、音楽の再生中に、当該音楽に合わせて人や動物などを模したキャラクターオブジェクトが動作する様子を示す動画像を表示することがある。従来は、このような動画像を制作者が手作業で制作していたため、非常に手間がかかっていた。
　本発明は上記実情を考慮してなされたものであって、その目的の一つは、音楽に合わせてキャラクターオブジェクトが動作する様子を示す動画像を容易に生成することのできる動画像生成装置、動画像生成方法、プログラム、及び当該プログラムを格納した情報記憶媒体を提供することにある。
　本発明に係る動画像生成装置は、対象となる音楽を構成する音のタイミングを示すタイミング情報を取得する取得部と、前記タイミング情報を用いて、キャラクターオブジェクトが前記音のタイミングに応じたタイミングで動作する様子を示す動画像を生成する生成部と、を含むことを特徴とする。
　本発明に係る動画像生成方法は、対象となる音楽を構成する音のタイミングを示すタイミング情報を取得するステップと、前記タイミング情報を用いて、キャラクターオブジェクトが前記音のタイミングに合わせて動作する様子を示す動画像を生成するステップと、を含むことを特徴とする。
　本発明に係るプログラムは、対象となる音楽を構成する音のタイミングを示すタイミング情報を取得するステップと、前記タイミング情報を用いて、キャラクターオブジェクトが前記音のタイミングに合わせて動作する様子を示す動画像を生成するステップと、をコンピュータに実行させるためのプログラムである。このプログラムは、コンピュータ読み取り可能な情報記憶媒体に格納されてよい。
本発明の実施の形態に係る動画像生成装置の構成ブロック図である。 本発明の実施の形態に係る動画像生成装置の機能ブロック図である。 キャラクターオブジェクトが個別動作を実行する様子の一例を示す図である。 音楽と動画像の生成パターンとの間の関係の一例を示す図である。
　以下、本発明の実施形態について、図面に基づき詳細に説明する。
　図１は、本発明の一実施形態に係る動画像生成装置１の構成ブロック図である。動画像生成装置１は、パーソナルコンピュータや家庭用ゲーム機等の情報処理装置であって、図１に示すように、制御部１１と、記憶部１２と、を含んで構成されている。また、動画像生成装置１は、入力部１３、表示部１４、及び音声出力部１５と接続されている。
　制御部１１は、ＣＰＵ等であって、記憶部１２に格納されたプログラムに従って各種の情報処理を行う。記憶部１２は、ＲＡＭ等のメモリ素子を含んで構成され、制御部１１が実行するプログラム、及び当該プログラムが処理対象とするデータを記憶する。
　入力部１３は、動画像生成装置１のユーザーから操作入力を受け付ける。入力部１３は、例えばキーボードやマウス等であってよい。また、タッチパネルや操作ボタンなどを含んでもよい。ユーザーが入力部１３に対して入力した操作の内容を示す操作信号は、制御部１１に伝達される。表示部１４は、例えば液晶表示パネル等であって、制御部１１の制御に従って動画像生成装置１が生成した動画像を画面に表示する。音声出力部１５は、スピーカーやヘッドフォン等であって、制御部１１の制御に従って音声を鳴動させる。
　動画像生成装置１は、対象となる音楽（以下、音楽Ｍと表記する）について、その音楽Ｍに合わせてキャラクターオブジェクトが動く様子を示す動画像を生成する。以下、本実施形態において動画像生成装置１が実現する機能について説明する。図２に示すように、動画像生成装置１は、機能的に、特徴データ取得部２１と、動画像生成部２２と、動画像再生部２３と、を含んで構成されている。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムを実行することにより実現される。このプログラムは、インターネット等の通信ネットワークを経由して動画像生成装置１に提供されてもよいし、光ディスク等の各種のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。
　特徴データ取得部２１は、音楽Ｍの特徴を示すデータ（以下、特徴データという）を取得する。特に本実施形態において、特徴データは、音楽Ｍを構成する複数の音のそれぞれについて、その音の鳴るタイミングを示す鳴動タイミング情報を含んでいる。例えば鳴動タイミング情報は、音楽Ｍの演奏開始から対応する音が鳴動するタイミングまでの経過時間を示す情報であってよい。この鳴動タイミング情報により、音楽Ｍ内においてその音が鳴るタイミングが特定できる。さらに特徴データは、鳴動タイミング情報のほかにも、音楽Ｍを構成する複数の音のそれぞれについて、その音の音程や音の強さ（レベル）、ビート（拍）の種別を示すビート種別情報などを含んでもよい。ここでビート種別情報は、対象となる音と音楽Ｍのビートとの関係を示す情報であって、その音が音楽Ｍの基本の拍に一致する音（以下、ビート音という）なのか、あるいは裏拍などの基本の拍に一致しない音（以下、非ビート音という）なのかを示している。さらにビート種別情報は、その音がビート音の場合に、その音が強拍（小節の先頭などの拍）か、あるいは弱拍（小節の２拍目などの拍）かを示す情報など、さらに詳細なビートの種類を示す情報を含んでもよい。また、特徴データは、音楽Ｍを構成する個々の音に関する情報だけでなく、音楽Ｍの調（長調か短調か）や拍子（３拍子、４拍子、２拍子など）に関する情報、１小節の長さやテンポの情報など、音楽Ｍ全体に関する情報を含んでもよい。また、各小節の先頭のタイミングを示す情報を含んでもよい。
　この特徴データは、例えば、ＰＣＭなどの形式で記録された音楽Ｍの音声データに対して周波数解析を行うことによって生成できる。周波数解析によって音楽Ｍに含まれる音の音程や強さ、タイミング、ビートの種別などを特定する方法は、例えば特許文献１、特許文献２などに開示されている。特徴データ取得部２１は、自分自身で音楽Ｍの音声データに対してこのような周波数解析を行って、特徴データを生成してもよい。あるいは、他の情報処理装置によって生成された特徴データを、通信ネットワーク等を介して外部から受信してもよい。また、特徴データは、ＭＩＤＩ等のフォーマットで記述された音楽Ｍの音声データや、音楽Ｍの楽譜データなどから抽出して得られるものであってもよい。ここでは特徴データ取得部２１は、後述する動画像の生成が開始される前に、音楽Ｍ全体の特徴データを取得するものとする。以下では、このように動画像Ａの生成を開始する前に特徴データ取得部２１が音楽Ｍ全体の特徴データを取得するという手順の処理を、静的処理という。
　動画像生成部２２は、特徴データ取得部２１が取得した特徴データを用いて、音楽Ｍに合わせてキャラクターオブジェクトが動く様子を示す動画像（以下、動画像Ａと表記する）を生成する。キャラクターオブジェクトは、人や動物などを模したキャラクターを表すオブジェクトであって、２Ｄオブジェクト、及び３Ｄオブジェクトのいずれであってもよい。キャラクターオブジェクトは、互いに連結された複数のパーツから構成されており、各パーツは、互いの位置関係について予め定められた制限条件を満たす範囲内で動作する。具体例として、以下ではキャラクターオブジェクトは、人型のオブジェクトであって、頭、胴体、腕、足などのパーツから構成されるものとする。このキャラクターオブジェクトのオブジェクトデータは、予め記憶部１２に記憶されている。また、動画像生成部２２は、動画像生成装置１に接続されたカメラ（不図示）によって撮影されたユーザーの顔画像を、キャラクターオブジェクトの頭のパーツに貼り付けてもよい。動画像生成部２２は、キャラクターオブジェクトの少なくとも一部のパーツ（例えば腕や足など）を音楽Ｍに含まれる音の鳴動タイミングに合わせて動かすことによって、動画像Ａを生成する。これにより、例えば人が音楽Ｍに合わせて踊っているような動画像Ａが生成できる。動画像生成部２２が動画像Ａを生成する手法の具体例については、後述する。
　動画像再生部２３は、動画像生成部２２が生成した動画像Ａを、音楽Ｍに合わせて再生する。具体的に、動画像再生部２３は、音楽Ｍの音声データを別途取得し、その音声を音声出力部１５から再生させる。そして、音楽Ｍの再生と同期させながら、動画像生成部２２が生成した動画像Ａを表示部１４の画面に表示させる。これにより、ユーザーは動画像Ａ内のキャラクターオブジェクトが音楽Ｍに合わせて動作する様子を視聴することができる。例えば動画像再生部２３は、カラオケ用の映像や音楽Ｍのプロモーション映像として動画像Ａを音楽Ｍとともに再生してもよい。
　以下、動画像生成部２２が動画像Ａを生成する手法のいくつかの具体例について、説明する。まず第１の例として、予め定義された定型動作を用いて動画像Ａを生成する手法について説明する。この例では、キャラクターオブジェクトの一連の動きによって構成される定型動作が予め定義されている。この定型動作は、楽曲の１又は複数の小節から構成されるフレーズに合わせて実行されることが想定されている。しかしながら、定型動作は音楽Ｍとは無関係に予め作成されているため、音楽Ｍのリズムと一致した動きになっているとは限らない。そこで動画像生成部２２は、定型動作の再生時間が鳴動タイミング情報に応じて決まる時間に一致するように、定型動作の再生速度を調整する。
　より具体的に、動画像生成部２２は、特徴データに含まれる鳴動タイミング情報を用いて、音楽Ｍの単位フレーズ（１又は複数の小節からなる音楽Ｍのまとまった単位）の長さ（所要時間）を特定する。そして、１回の定型動作の所要時間が単位フレーズの長さに一致するように、定型動作の再生速度を調整して動画像Ａの一部とする。また、音楽Ｍ中における単位フレーズの開始タイミングに一致させるように、動画像Ａ中における定型動作の開始タイミングを決定する。こうすれば、単位フレーズの再生に合わせてキャラクターオブジェクトが定型動作を行う様子を示す動画像Ａを生成することができる。
　なお、定型動作は複数種類用意されてもよい。この場合、動画像生成部２２は、所与の条件に従って選択した定型動作を組み合わせてキャラクターオブジェクトを連続して動作させる。また、３拍子や４拍子など、拍子の種類に合わせて複数種類の定型動作を用意することとしてもよい。この場合、動画像生成部２２は、特徴データに含まれる音楽Ｍの拍子の種類に応じて、動画像Ａに使用する定型動作の種類を決定する。
　次に、第２の例として、音楽Ｍを構成する個々の音に合わせてキャラクターオブジェクトを動かす手法について、説明する。この例では、音楽Ｍを構成する複数の音の全部、又は一部に合わせて、その音が鳴るタイミングに応じたタイミングでキャラクターオブジェクトを構成するパーツを動かすこととする。例えば動画像生成部２２は、特徴データに含まれるビート種別情報を参照して、予め定められたビート種別の音（例えばビート音）を抽出する。そして、音楽Ｍ中においてその抽出された音が鳴るタイミングに応じたタイミングで、キャラクターオブジェクトを構成する特定のパーツを動かすように、動画像Ａを生成する。なお、動画像再生部２２は、音が鳴るタイミングと一致するタイミングに限らず、音が鳴るタイミングから特定される強拍や弱拍、あるいは裏拍などのタイミングに合わせてキャラクターオブジェクトを動かすこととしてもよい。以下では、この第２の例において個々の音のタイミングに応じたタイミングでキャラクターオブジェクトに行わせる動作を、個別動作という。
　動画像生成部２２は、個別動作をキャラクターオブジェクトに実行させる場合において、その個別動作の内容を、対応する音の音程や強さ、ビート種別などに応じて決定してもよい。具体例として、動画像生成部２２は、音楽Ｍ中の音のタイミングに応じたタイミングでキャラクターオブジェクトの腕を動かす場合に、その腕の動きの大きさを、音の強さに応じて変化させてもよい。また、例えば動画像生成部２２は、ビート音が鳴るタイミングで腕を、非ビート音が鳴るタイミングでは手首を、といったように、ビート種別に応じて互いに異なるキャラクターオブジェクトのパーツを動かすこととしてもよい。
　図３は、この第２の例における個別動作の一例を示す図である。この図では、個別動作の具体例として、ビート音に合わせてキャラクターオブジェクトの右腕を動かす例が示されている。この図の例では、音楽Ｍは４拍子の楽曲であることとしている。図中、Ｐ０が右手（右腕の先端部分）の基準位置を示しており、Ｐ１～Ｐ４がそれぞれ１つの小節内における第１拍から第４拍までのタイミングにおける右手の位置（目標位置）を示している。キャラクターオブジェクトの右手は、基準位置Ｐ０から開始して、第１拍のタイミングで目標位置Ｐ１に、第２拍のタイミングで目標位置Ｐ２に、第３拍のタイミングで目標位置Ｐ３に、第４拍のタイミングで目標位置Ｐ４に、それぞれ移動する。その結果、キャラクターオブジェクトは、動画像Ａ内において音楽Ｍに合わせて腕を回転させる動作を行うことになる。
　なお、上述した例における右手の位置は、各ビート音の強さ（レベル）に応じて変化させてもよい。その場合、例えばビート音のレベルが最大値の場合には目標位置Ｐ１～Ｐ４に右手を移動させることとし、ビート音のレベルが最小値（０）の場合には右手を基準位置Ｐ０から動かさないこととする。そして、ビート音のレベルが最小値と最大値の間にある場合には、基準位置Ｐ０と目標位置Ｐ１～Ｐ４とを結ぶ直線上において、その音のレベルが大きければ大きいほど目標位置Ｐ１～Ｐ４に近く、小さければ小さいほど基準位置Ｐ０に近い位置になるように、右手を動かすこととする。これにより、音が大きければ大きいほどキャラクターオブジェクトを大きく動作させることができる。このように、ある音が鳴るタイミングに合わせてキャラクターオブジェクトを動作させる際に、その音のレベルに応じた量だけキャラクターオブジェクトを構成するパーツを動かすことによって、音のレベルに合わせた自然な動作表現を行うことができる。
　以上説明した第１の例と第２の例は、組み合わせて用いてもよい。例えば、音楽Ｍの最初の１小節に対応する部分は第１の例の手法で生成し、次の小節に対応する部分は第２の例の手法で生成するなど、小節ごと、又は単位フレーズごとに別の手法で音楽Ｍに対応した動画像Ａを生成してもよい。図４は、このような手法で生成される動画像Ａの時系列に沿った推移を示している。この図４において、横軸は時間経過を示しており、横軸から上方向に延びる矢印は音楽Ｍのビート音が鳴るタイミングを、下方向に延びる矢印は非ビート音が鳴るタイミングを、それぞれ示している。この図の例では、音楽Ｍの第１小節に対応する時間には、時間を調整した１回の定型動作をキャラクターオブジェクトが実行する。また、第２小節に対応する時間には、当該小節に含まれる各音に合わせた個別動作をキャラクターオブジェクトが実行している。図中の白丸と黒丸は、音楽Ｍの音に合わせた個別動作の実行タイミングを示しており、白丸はビート音に合わせた動作（例えば肩や肘の動き）を、黒丸は非ビート音に合わせた動作（例えば手首の動き）を実行することを示している。
　動画像生成部２２は、一つの単位フレーズに対応する動画像を、第１の例と第２の例とを組み合わせた手法で生成してもよい。具体例として、動画像生成部２２は、単位フレーズに合わせてキャラクターオブジェクトに定型動作を行わせつつ、定型動作の合間に個々の音（特に非ビート音）に合わせた個別動作を行わせる動画像を生成する。あるいは、キャラクターオブジェクトの一部のパーツ（例えば足や体）については定型動作に沿った動きをさせながら、他のパーツ（例えば腕）については第２の例によって決定される動きを行わせる動画像Ａを生成してもよい。
　以上の説明では、動画像生成部２２は単体のキャラクターオブジェクトが動作する様子を示す動画像Ａを生成することとした。しかしながらこれに限らず、動画像Ａは複数のキャラクターオブジェクトが音楽Ｍに合わせて動作する様子を示すものであってもよい。この場合、各キャラクターオブジェクトは互いに同じ動作をすることとしてもよいし、互いに異なる手法により決定された異なる動作をすることとしてもよい。また、動画像Ａには、音楽Ｍに合わせて動作するキャラクターオブジェクトのほかに、音楽Ｍと非同期に動作する他のオブジェクトが含まれてもよい。
　さらに、動画像Ａに含まれる各オブジェクトは、互いに相互作用することとしてもよい。具体例として、仮想空間内に配置された２人のキャラクターオブジェクトが互いに独立に音楽Ｍに合わせた動作を行っている場合において、その動作内容に応じて、各キャラクターオブジェクトのパーツ同士（例えばお互いの手）が所定距離内まで近づくことがある。このようなイベントが発生した場合に、例えば２人のキャラクターオブジェクトが互いに手をつないで一定時間予め定められた動作を行い、その後、また音楽Ｍに合わせた動作を再開することとしてもよい。また、キャラクターオブジェクトは、仮想空間内を移動する他のオブジェクトを掴んだり、投げたりといった動作を行ってもよい。
　また、動画像生成部２２は、ユーザーの指示に基づいて動画像Ａを生成してもよい。この場合、例えばユーザーは、音楽Ｍを構成する単位フレーズごとに、複数の定型動作の候補の中から実際にキャラクターオブジェクトに実行させる定型動作を選択したり、音楽Ｍに含まれる音に合わせた具体的な個別動作の内容を指定したりすることによって、動画像Ａを生成する。この場合にも、ユーザーは定型動作や個別動作の内容だけを指定すればよく、それらの動作を実行するタイミングは動画像生成部２２が特徴データに含まれる鳴動タイミング情報に基づいて決定する。これにより、個々の動作のタイミングをユーザーが指定する場合と比較して、ユーザーは容易に音楽Ｍに合わせた動画像Ａを自作することができる。そのため、例えば自作の動画像Ａを他のユーザーにプレゼントしたり、複数ユーザーが同じ音楽Ｍに合わせてそれぞれ自作した動画像Ａ同士を比較して、その出来を競うコンテストを行ったりといった楽しみ方を容易に実現できる。
　さらに、動画像生成部２２は、動画像再生部２３による動画像Ａの再生中にユーザーの入力部１３に対する操作入力を受け付け、その操作入力の内容に応じて動画像Ａの内容を変化させてもよい。この場合、動画像生成部２２は、動画像再生部２３による動画像Ａの再生中にリアルタイムでキャラクターオブジェクトの動作を決定し、続く動画像Ａの再生に反映させることになる。
　以上の説明では、動画像生成装置１は事前に音楽Ｍ全体の特徴データを取得し終えてから動画像Ａを生成する静的処理を実行することとした。しかしながら、これに限らず動画像生成装置１は、音楽Ｍの再生中にリアルタイムで特徴データを取得しながら動画像Ａを生成してもよい。以下ではこのような手順の処理を、リアルタイム処理という。リアルタイム処理の具体例について、以下に説明する。この処理例では、動画像生成装置１はマイクロフォン等の集音装置（不図示）と接続されており、外部の音源によって再生される音楽Ｍを集音装置で録音しながら動画像Ａを生成することとする。
　この処理例では、特徴データ取得部２１は、集音装置によって録音された音声データに対して、リアルタイムで周波数解析などの解析処理を実行して、音楽Ｍに含まれる音のタイミングを特定する。さらに特徴データ取得部２１は、特定された音のタイミングから、音楽Ｍの拍子、小節の長さ、及び小節の先頭のタイミングなど、音楽Ｍの周期的に繰り返されるリズムサイクルに関する情報を推定してもよい。このようなリズムサイクルの推定を行うことによって、新たに検出された音についても、そのビート種別を特定することができるようになる。具体例として、これまでに検出された音のタイミングから、時刻ｔ１に検出された音が小節の先頭のビート音（強拍）であり、１小節の長さがＴｂと推定されたものとする。この場合、特徴データ取得部２１は、その後に時刻（ｔ１＋Ｔｂ）に新たな音が鳴ったことを検出した場合、その音がやはり小節の先頭のビート音であると判定する。
　このように特徴データ取得部２１が音の鳴動タイミングを検出することができれば、動画像生成部２２は、前述した静的処理の場合と同様に、各種の方法で音のタイミングに合わせてキャラクターオブジェクトが動作する様子を示す動画像Ａを生成することができる。具体的に、例えば動画像生成部２２は、音の鳴動が検出された場合、そのタイミングに合わせて直ちにキャラクターオブジェクトに所定の個別動作を実行させる動画像Ａを生成する。このとき、音の検出から、キャラクターオブジェクトの動作内容の決定、そして決定された個別動作を行う動画像Ａの表示部１４への表示までの一連の処理が十分短い時間で行われれば、実際には音の発生からわずかに遅延してキャラクターオブジェクトが動作を行ったとしても、ユーザーの目には音楽Ｍ内の音に合わせてキャラクターオブジェクトが動作しているように見える。
　また、動画像生成部２２は、前述したようなリズムサイクルの推定が行われていれば、単位フレーズに合わせた定型動作をキャラクターオブジェクトに実行させることもできる。具体的に動画像生成部２２は、特徴データ取得部２１が検出したリズムサイクル１個分又はｎ個分（ｎは所定の自然数）を単位フレーズとして、その単位フレーズの長さに一致するように速度を調整した定型動作をキャラクターオブジェクトに実行させる。これにより、前述した静的処理の例と同様に、単位フレーズに合わせた定型動作をキャラクターオブジェクトが行う様子を示す動画像Ａを生成することができる。
　また、このリアルタイム処理においては、音楽Ｍのビートのタイミングをユーザーが指示することとしてもよい。具体的に、ユーザーは、例えば手拍子によって音楽Ｍのビートのタイミングを指示してもよい。この手拍子の音を集音装置で集音し、周波数解析によって検出することによって、特徴データ取得部２１は、音楽Ｍの音だけを用いる場合と比較して、より精度よく音楽Ｍのリズムサイクルを推定することができる。また、ユーザーは、明示的に入力部１４に対してビートのタイミングを指示する操作入力を行うこととしてもよい。この場合、ユーザーは再生中の音楽Ｍのビートのタイミングに合わせて操作ボタンやタッチセンサに対する操作入力を行う。特徴データ取得部２１は、この操作入力のタイミングを、音楽Ｍのビートのタイミングとして特定する。これにより、精度よく音楽Ｍのリズムサイクルを特定することができる。
　なお、本発明の実施の形態は以上説明したものに限られない。例えば以上の説明では動画像生成装置１が生成した動画像Ａを自身で再生することとしたが、これに限らず動画像Ａを通信ネットワーク経由で配信したりすることによって、他の再生装置で再生させることとしてもよい。この場合にも、再生装置側で音楽Ｍと同期して動画像Ａを再生することで、音楽Ｍに合わせてキャラクターオブジェクトが動作する様子を再生することができる。この場合において、動画像生成装置１は、動画像Ａのデータと音楽Ｍの音声データとを合成して一つの動画像データを生成し、外部への配信対象としてもよい。また、再生装置側で個別に入手した動画像Ａのデータと音楽Ｍの音声データとを同期再生してもよい。

Claims (8)

  1. 　対象となる音楽を構成する音のタイミングを示すタイミング情報を取得する取得部と、
    　前記タイミング情報を用いて、キャラクターオブジェクトが前記音のタイミングに応じたタイミングで動作する様子を示す動画像を生成する生成部と、
    　を含むことを特徴とする動画像生成装置。
  2. 　請求項１に記載の動画像生成装置において、
    　前記キャラクターオブジェクトは複数のパーツから構成され、
    　前記生成部は、前記音のタイミングに応じたタイミングで前記複数のパーツのいずれかを動かして前記動画像を生成する
    　ことを特徴とする動画像生成装置。
  3. 　請求項１又は２に記載の動画像生成装置において、
    　前記生成部は、前記タイミング情報を用いて、前記音楽の単位フレーズの長さを特定し、前記キャラクターオブジェクトが予め定められた定型動作を前記単位フレーズに合わせて実行する動画像を生成する
    　ことを特徴とする動画像生成装置。
  4. 　請求項２又は３に記載の動画像生成装置において、
    　前記取得部は、前記音の強さを示す情報を併せて取得し、
    　前記生成部は、前記複数のパーツのいずれかを前記音の強さに応じた量だけ動かして前記動画像を生成する
    　ことを特徴とする動画像生成装置。
  5. 　請求項１から４のいずれか一項に記載の動画像生成装置において、
    　前記取得部は、前記音のビート種別を示す情報を併せて取得し、
    　前記生成部は、前記音のタイミングに応じたタイミングで前記キャラクターオブジェク
    トに実行させる動作の内容を、当該音のビート種別に応じて変化させる
    　ことを特徴とする動画像生成装置。
  6. 　対象となる音楽を構成する音のタイミングを示すタイミング情報を取得するステップと、
    　前記タイミング情報を用いて、キャラクターオブジェクトが前記音のタイミングに合わせて動作する様子を示す動画像を生成するステップと、
    　を含むことを特徴とする動画像生成方法。
  7. 　対象となる音楽を構成する音のタイミングを示すタイミング情報を取得するステップと、
    　前記タイミング情報を用いて、キャラクターオブジェクトが前記音のタイミングに合わせて動作する様子を示す動画像を生成するステップと、
    　をコンピュータに実行させるためのプログラム。
  8. 　対象となる音楽を構成する音のタイミングを示すタイミング情報を取得するステップと、
    　前記タイミング情報を用いて、キャラクターオブジェクトが前記音のタイミングに合わせて動作する様子を示す動画像を生成するステップと、
    　をコンピュータに実行させるためのプログラムを格納した、コンピュータ読み取り可能な情報記憶媒体。
PCT/JP2015/067202 2014-06-20 2015-06-15 動画像生成装置、動画像生成方法、プログラム、及び情報記憶媒体 WO2015194509A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016529338A JP6268287B2 (ja) 2014-06-20 2015-06-15 動画像生成装置、動画像生成方法、プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014127619 2014-06-20
JP2014-127619 2014-06-20

Publications (1)

Publication Number Publication Date
WO2015194509A1 true WO2015194509A1 (ja) 2015-12-23

Family

ID=54935495

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/067202 WO2015194509A1 (ja) 2014-06-20 2015-06-15 動画像生成装置、動画像生成方法、プログラム、及び情報記憶媒体

Country Status (2)

Country Link
JP (1) JP6268287B2 (ja)
WO (1) WO2015194509A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017162119A (ja) * 2016-03-08 2017-09-14 株式会社電通 装置、プログラム及び情報処理方法
JP2019103728A (ja) * 2017-12-14 2019-06-27 株式会社バンダイナムコエンターテインメント プログラム及びゲームシステム
WO2020077914A1 (zh) * 2018-10-19 2020-04-23 北京微播视界科技有限公司 图像处理方法、装置、硬件装置
JP2020161053A (ja) * 2019-03-28 2020-10-01 株式会社ミクシィ 画像処理プログラム及び画像処理装置
JP2021087213A (ja) * 2020-05-01 2021-06-03 グリー株式会社 動画配信システム、情報処理方法およびコンピュータプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830807A (ja) * 1994-07-18 1996-02-02 Fuji Television:Kk 演奏連動型動画生成装置、音声連動型動画生成装置及びこれを利用したカラオケ装置
JPH11126066A (ja) * 1997-10-22 1999-05-11 Matsushita Electric Ind Co Ltd Ａｖ同期装置、及びａｖ同期方法、並びにａｖ同期プログラムを記録した記録媒体
JPH11224084A (ja) * 1997-12-02 1999-08-17 Yamaha Corp 楽音応答画像生成システム、方法、装置、及び、そのための記録媒体
US20110144780A1 (en) * 2007-03-27 2011-06-16 Hiromu Ueshima Timing control device and timing control method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4940588B2 (ja) * 2005-07-27 2012-05-30 ソニー株式会社 ビート抽出装置および方法、音楽同期画像表示装置および方法、テンポ値検出装置および方法、リズムトラッキング装置および方法、音楽同期表示装置および方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830807A (ja) * 1994-07-18 1996-02-02 Fuji Television:Kk 演奏連動型動画生成装置、音声連動型動画生成装置及びこれを利用したカラオケ装置
JPH11126066A (ja) * 1997-10-22 1999-05-11 Matsushita Electric Ind Co Ltd Ａｖ同期装置、及びａｖ同期方法、並びにａｖ同期プログラムを記録した記録媒体
JPH11224084A (ja) * 1997-12-02 1999-08-17 Yamaha Corp 楽音応答画像生成システム、方法、装置、及び、そのための記録媒体
US20110144780A1 (en) * 2007-03-27 2011-06-16 Hiromu Ueshima Timing control device and timing control method

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10916045B2 (en) 2016-03-08 2021-02-09 Dentsu Inc. Device, program, and information processing method
WO2017154894A1 (ja) * 2016-03-08 2017-09-14 株式会社電通 装置、プログラム及び情報処理方法
CN108780580A (zh) * 2016-03-08 2018-11-09 株式会社电通 装置、程序及信息处理方法
JP2017162119A (ja) * 2016-03-08 2017-09-14 株式会社電通 装置、プログラム及び情報処理方法
JP2019103728A (ja) * 2017-12-14 2019-06-27 株式会社バンダイナムコエンターテインメント プログラム及びゲームシステム
JP7144931B2 (ja) 2017-12-14 2022-09-30 株式会社バンダイナムコエンターテインメント プログラム及びゲームシステム
WO2020077914A1 (zh) * 2018-10-19 2020-04-23 北京微播视界科技有限公司 图像处理方法、装置、硬件装置
GB2593059A (en) * 2018-10-19 2021-09-15 Beijing Microlive Vision Tech Co Ltd Image processing method and apparatus, and hardware apparatus
GB2593059B (en) * 2018-10-19 2023-08-09 Beijing Microlive Vision Tech Co Ltd Image processing method and apparatus, and hardware apparatus
JP2020161053A (ja) * 2019-03-28 2020-10-01 株式会社ミクシィ 画像処理プログラム及び画像処理装置
JP7280493B2 (ja) 2019-03-28 2023-05-24 株式会社Mixi 画像処理プログラム及び画像処理装置
JP2021087213A (ja) * 2020-05-01 2021-06-03 グリー株式会社 動画配信システム、情報処理方法およびコンピュータプログラム
JP7134197B2 (ja) 2020-05-01 2022-09-09 グリー株式会社 動画配信システム、情報処理方法およびコンピュータプログラム

Also Published As

Publication number Publication date
JPWO2015194509A1 (ja) 2017-04-20
JP6268287B2 (ja) 2018-01-24

Similar Documents

Publication Publication Date Title
JP6268287B2 (ja) 動画像生成装置、動画像生成方法、プログラム
JP6724879B2 (ja) 再生制御方法、再生制御装置およびプログラム
JP2014217627A (ja) 身体動作評価装置、カラオケシステム、及びプログラム
US11557269B2 (en) Information processing method
WO2009007512A1 (en) A gesture-controlled music synthesis system
JP2018011201A (ja) 情報処理装置、情報処理方法、およびプログラム
JP6776788B2 (ja) 演奏制御方法、演奏制御装置およびプログラム
JP6830829B2 (ja) プログラム、表示装置、表示方法、放送システム及び放送方法
US10810984B2 (en) Fingering display device and fingering display program
JP2014012138A (ja) 音楽ゲームを進める方法、装置およびプログラム
JP2006255072A (ja) プログラム、情報記憶媒体及びゲームシステム
JP2001215963A (ja) 音楽演奏装置、音楽演奏ゲーム装置及び記録媒体
TWI585614B (zh) 複合節拍特效系統及複合節拍特效處理方法
JP2015097639A (ja) カラオケ装置、ダンス採点方法、およびプログラム
Erkut et al. 17 Heigh Ho: Rhythmicity in Sonic Interaction
JP6287921B2 (ja) 情報処理装置及びプログラム
JP5773956B2 (ja) 楽曲演奏装置、楽曲演奏制御方法及びプログラム
Lopes et al. Tumaracatu: an ubiquitous digital musical experience of maracatu
JP4728593B2 (ja) プログラム、情報記憶媒体およびゲームシステム
JP7174456B1 (ja) ゲームシステム、それに用いるコンピュータプログラム、及び制御方法
JP4391885B2 (ja) プログラム、情報記憶媒体およびゲームシステム
JP5399831B2 (ja) 音楽ゲームシステム及びそのコンピュータプログラム並びに効果音データの生成方法
JP6977813B2 (ja) 自動演奏システムおよび自動演奏方法
JP5949638B2 (ja) 情報処理装置及びプログラム
JP2007323293A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15809612

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016529338

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15809612

Country of ref document: EP

Kind code of ref document: A1