JP7226709B2 - 映像制御システム、及び映像制御方法 - Google Patents
映像制御システム、及び映像制御方法 Download PDFInfo
- Publication number
- JP7226709B2 JP7226709B2 JP2019000686A JP2019000686A JP7226709B2 JP 7226709 B2 JP7226709 B2 JP 7226709B2 JP 2019000686 A JP2019000686 A JP 2019000686A JP 2019000686 A JP2019000686 A JP 2019000686A JP 7226709 B2 JP7226709 B2 JP 7226709B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- information
- performance
- unit
- video control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 14
- 238000004458 analytical method Methods 0.000 claims description 34
- 230000007786 learning performance Effects 0.000 claims description 9
- 239000000203 mixture Substances 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 13
- 238000013500 data storage Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000011435 rock Substances 0.000 description 4
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000238876 Acari Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
- G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
- G10G3/04—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument using electrical means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
- G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
- G10H1/0058—Transmission between separate instruments or between individual components of a musical system
- G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/056—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction or identification of individual instrumental parts, e.g. melody, chords, bass; Identification or separation of instrumental parts by their characteristic voices or timbres
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/005—Non-interactive screen display of musical or status data
- G10H2220/015—Musical staff, tablature or score displays, e.g. for score reading during a performance
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/311—Neural networks for electrophonic musical instruments or musical processing, e.g. for musical recognition or control, automatic composition or improvisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Auxiliary Devices For Music (AREA)
- Television Signal Processing For Recording (AREA)
- Electrophonic Musical Instruments (AREA)
Description
本発明は、映像制御システム、及び映像制御方法に関する。
従来、イベント会場などにおいては楽曲に合わせて映像を流すことで効果的な映像演出を実現している。例えば、特許文献1には、映像の再生順などの編集をユーザが直観的に行うことができる技術が開示されている。
しかしながら、コンサートなどのイベントの場合、生演奏に合わせて映像を制御しなければならない。生演奏においては演奏者が楽譜通りに演奏することは稀であり、テンポが遅くなったり早くなったりすることがある。このような生演奏に合わせて映像を制御するには特別な訓練や技術が必要である。つまり、技術を有していないユーザにとって生演奏に合わせて映像を制御することは困難であった。
本発明は、このような状況に鑑みてなされたもので、その目的は、特別な技術を有していないユーザであっても楽曲に合わせて映像を制御することができる映像制御システムを提供することである。
上述した課題を解決するために、本発明の一態様は、楽曲の演奏を表す音響信号を学習済みモデルに入力することにより、前記音響信号の前記楽曲における演奏に関する演奏情報を推定する推定部と、ユーザによる操作であって、映像を再生する操作を表す操作情報を取得する取得部と、前記推定部により推定された前記演奏情報に基づいて前記映像の再生を制御する映像制御部と、を備え、前記映像制御部は、前記取得部により前記操作情報が取得された場合、前記操作情報に基づいて前記映像の再生を制御する映像制御システムである。
また、本発明の一態様は、推定部が、楽曲の演奏を表す音響信号を学習済みモデルに入力することにより、前記音響信号の前記楽曲における演奏に関する演奏情報を推定する推定過程と、取得部が、ユーザによる操作であって、映像を再生する操作を表す操作情報を取得する取得過程と、映像制御部が、前記推定部により推定された前記演奏情報に基づいて前記映像の再生を制御する映像制御過程と、を含み、前記映像制御過程において、前記映像制御部は、前記取得部により前記操作情報が取得された場合、前記操作情報に基づいて前記映像の再生を制御する、映像制御方法である。
本発明によれば、特別な技術を有していないユーザであっても楽曲に合わせて映像を制御することができる。
以下、本発明の実施形態を、図面を参照して説明する。
図1は、実施形態の映像制御システム1の構成例を示すブロック図である。映像制御システム1は、例えば、収音装置10と、演奏解析装置20と、映像制御装置30と、映像出力装置40と、入力装置50とを備える。
収音装置10は、演奏者による楽器の演奏や歌唱を収音して音響信号Aを生成する。例えば、収音装置10は、マイクロホンである。収音装置10は、演奏解析装置20と接続しており、演奏解析装置20に、生成した音響信号Aを出力する。なお、演奏者が電子楽器にて演奏する場合には、電子楽器から出力される演奏信号を、直接、演奏解析装置20に出力するように構成されてもよく、この場合、収音装置10は省略することが可能である。例えば、演奏信号は、MIDI信号である。
なお、以下の説明では、演奏に歌唱等の実演を含むものとする。
なお、以下の説明では、演奏に歌唱等の実演を含むものとする。
演奏解析装置20は、収音装置10から取得した音響信号Aを解析することで音響信号Aの演奏に関する演奏情報Bを推定する。この解析には、例えば、特開2015-79183号公報記載の技術が用いられる。演奏情報Bは、演奏に関係する情報であればよく、例えば、演奏の位置、又は演奏の速度を示す情報である。演奏解析装置20は、映像制御装置30と接続しており、映像制御装置30に推定した演奏情報Bを出力する。
なお、演奏解析装置20は、電子楽器から取得した演奏信号を解析することで演奏情報Bを推定してもよい。
なお、演奏解析装置20は、電子楽器から取得した演奏信号を解析することで演奏情報Bを推定してもよい。
入力装置50は、映像制御装置30と接続し、後述する映像制御装置30の表示部302(図5参照)に表示される内容に対して、ユーザにより操作入力される内容を取得する装置である。例えば、入力装置50は、マウス、キーボード、タッチパネルなどの装置である。入力装置50は、ユーザにより操作入力された内容を取得し、取得した内容に基づいて操作情報Dを生成する。操作情報Dは、ユーザによる表示部302に表示された内容に対する操作を示す情報であって、例えば、映像制御装置30が制御する映像の再生位置や再生速度を指定する情報である。入力装置50は、映像制御装置30に生成した操作情報Dを出力する。
映像制御装置30は、演奏解析装置20から取得した演奏情報B、又は、入力装置50から取得した操作情報Dに基づいて、映像出力装置40に出力させる映像の再生を制御する映像制御情報Cを生成する。映像制御情報Cは、映像の再生を制御する情報であって、例えば、映像の再生位置や再生速度を表す情報である。映像制御装置30は、映像出力装置40と接続しており、映像出力装置40に生成した映像制御情報Cを出力する。
ここで、映像制御システム1においては、映像制御装置30は、機械による情報(演奏解析装置20による演奏情報B)よりも、ユーザによる操作(入力装置50からの操作情報D)を優先させて、映像の再生を制御する。具体的に、映像制御装置30は、演奏情報Bに基づいて映像の再生を制御する際に、操作情報Dが入力された場合、操作情報Dに基づいて映像の再生を制御する。これにより、ユーザは、例えば、通常の場合は機械により生演奏の演奏速度に映像の再生速度を合わせることができる。一方、ユーザは、楽曲のクライマックスなどの重要なフレーズ(決めの場面)では、ユーザ自らの操作により映像を制御して効果的な映像演出を実現することが可能である。
映像出力装置40は、映像制御装置30から取得した映像制御情報Cに基づいて、映像データMを生成し、生成した映像データMを、図示しないスクリーン等の表示装置に出力する。映像データMは、表示装置に表示させる映像の情報である。
図2は、実施形態の演奏解析装置20の構成例を示すブロック図である。演奏解析装置20は、例えば、音響信号取得部200と、演奏情報推定部201と、演奏情報出力部202と、楽曲データ記憶部203と、学習済みモデル記憶部204と、制御部205とを備える。ここで、演奏情報推定部201は、「推定部」の一例である。
音響信号取得部200は、収音装置10により出力された音響信号Aを取得する。音響信号取得部200は、取得した音響信号Aを演奏情報推定部201に出力する。
演奏情報推定部201は、音響信号Aを学習済みモデルに入力することにより、音響信号Aの楽曲における演奏に関する演奏情報Bを推定する。演奏情報推定部201は、推定した演奏情報Bを演奏情報出力部202に出力する。
ここで、学習済みモデルは、学習に用いる演奏データである学習用演奏データと当該学習用演奏データが示す演奏位置との対応関係を、機械学習を実行することにより学習したモデルである。機械学習の技法としては、隠れマルコフモデル(HMM)、ディープラーニング、リカレントニューラルネットワーク、畳み込みニューラルネットワーク、サポートベクタマシン(SVM)、決定木学習、遺伝的プログラミング、などの一般的に用いられている技法のいずれが用いられてもよい。
例えば、学習済みモデルは、楽曲の音響信号を所定の周期で区分した演奏データ(学習用演奏データ)の各々に、各演奏データの演奏位置を対応付けたデータを学習データとして学習させたモデルである。学習済みモデルは、未学習の音響信号Aが入力されると、音響信号Aと学習済みの学習用演奏データとの類似度合いを算出する。類似度合いは、例えば、入力された音響信号Aの特徴量をベクトル表現により数値化した値と、学習用演奏データの特徴量をベクトル表現により数値化した値との、ベクトル空間における距離として算出される。ベクトル空間における距離は、互いのベクトル表現により数値化した値の相関量に比例し、例えば、ベクトルの内積等により算出される。そして、学習済みモデルは、入力された音響信号Aとのベクトル空間における距離が所定の閾値未満である、つまり類似している学習用演奏データに対応付けられた演奏位置を、音響信号Aにおいて推定される演奏位置として出力する。
演奏情報推定部201が推定する演奏情報Bは、例えば、音響信号Aが現に演奏している楽曲上の位置に関係する情報である。この場合、演奏情報Bは、楽曲に対応する楽譜における、演奏開始からの小節の数、拍目、ティック等を示す情報である。或いは、演奏情報Bは、楽譜に示された速度(速度記号や速度用語により示される速度)で演奏が行われた場合における、演奏開始時点から演奏位置に到達するまでの時間を、演奏位置として示した情報であってもよい。この場合、演奏情報推定部201は、推定した演奏位置に基づいて、楽曲データ記憶部203を参照し、楽曲に対応する楽譜において示された速度を取得する。演奏情報推定部201は、取得した楽譜上の速度を用いて、演奏位置を演奏開始時点から演奏位置に到達するまでの時間に換算した演奏情報Bを導出する。
また、演奏情報Bは、演奏の速度を表す演奏速度であってもよい。この場合、演奏情報推定部201は、演奏位置を時間微分することにより演奏速度を導出してもよいし、学習用演奏データに当該学習用演奏データの演奏速度を対応付けたデータを学習データとして学習させた学習済みモデルを用いて演奏速度を推定するようにしてもよい。
演奏情報推定部201は、映像制御装置30から再生情報を取得した場合、再生情報を用いて、演奏情報Bを再生情報に対応する内容に設定する。再生情報は、映像制御装置30が、現在、映像を再生している位置(再生位置)、又は再生速度を示す情報である。これにより、演奏情報推定部201により推定した演奏情報Bが、実際の演奏位置から外れている場合に、正しい演奏位置に設定し直すことが可能である。
演奏情報出力部202は、演奏情報推定部201により推定された演奏情報Bを映像制御装置30に出力する。
楽曲データ記憶部203は、演奏者が演奏する楽曲の楽譜に相当する楽曲データを記憶する。楽曲データは、楽曲を構成する音符の各々について音高と音量と発音期間とが示された時系列データであり、例えば、MIDI形式のファイル(SMF、Standard MIDI File)である。
学習済みモデル記憶部204は、学習済みモデルを記憶する。
制御部205は、例えばCPU(Central Processing Unit)等の処理回路であり、演奏解析装置20の各要素を統括的に制御する。
なお、演奏解析装置20とは別体の記憶装置(例えばクラウドストレージ)を用意し、移動体通信網またはインターネット等の通信網を介して制御部205が、楽曲データ記憶部203、及び学習済みモデル記憶部204に記憶する情報を書込みしたり読み出したりする構成とすることも可能である。この場合、楽曲データ記憶部203、及び学習済みモデル記憶部204は省略することが可能である。
楽曲データ記憶部203は、演奏者が演奏する楽曲の楽譜に相当する楽曲データを記憶する。楽曲データは、楽曲を構成する音符の各々について音高と音量と発音期間とが示された時系列データであり、例えば、MIDI形式のファイル(SMF、Standard MIDI File)である。
学習済みモデル記憶部204は、学習済みモデルを記憶する。
制御部205は、例えばCPU(Central Processing Unit)等の処理回路であり、演奏解析装置20の各要素を統括的に制御する。
なお、演奏解析装置20とは別体の記憶装置(例えばクラウドストレージ)を用意し、移動体通信網またはインターネット等の通信網を介して制御部205が、楽曲データ記憶部203、及び学習済みモデル記憶部204に記憶する情報を書込みしたり読み出したりする構成とすることも可能である。この場合、楽曲データ記憶部203、及び学習済みモデル記憶部204は省略することが可能である。
図3は、実施形態の映像制御装置30の構成例を示すブロック図である。映像制御装置30は、例えば、演奏情報取得部300と、操作情報取得部301と、表示部302と、映像制御部303と、映像メタ情報記憶部304と、制御部305とを備える。ここで、映像メタ情報記憶部304は、「記憶部」の一例である。
演奏情報取得部300は、演奏解析装置20から演奏情報Bを取得する。操作情報取得部301は、取得した演奏情報Bを映像制御部303に出力する。
操作情報取得部301は、入力装置50から操作情報Dを取得する。操作情報取得部301は、取得した操作情報Dを映像制御部303に出力する。
表示部302は、例えば、液晶ディスプレイであり、ユーザが映像の再生を操作する際のメニュー画面、操作画面、設定画面などを表示する。
操作情報取得部301は、入力装置50から操作情報Dを取得する。操作情報取得部301は、取得した操作情報Dを映像制御部303に出力する。
表示部302は、例えば、液晶ディスプレイであり、ユーザが映像の再生を操作する際のメニュー画面、操作画面、設定画面などを表示する。
映像制御部303は、演奏情報B、又は操作情報Dに基づいて、映像の再生を制御する。映像制御部303は、例えば、ユーザにより予め設定された内容に応じて、演奏者が演奏する楽曲の区間ごとに、演奏情報B、又は操作情報Dに基づいて映像の再生を制御する。
映像制御部303は、演奏情報Bに基づいて映像を制御する区間においては、演奏情報Bに対応する、映像位置及び映像速度を指定する映像制御情報Cを生成する。
映像制御部303は、操作情報Dに基づいて映像を制御する区間においては、操作情報Dに示される映像位置又は/及び映像速度に対応する映像制御情報Cを生成する。
映像制御部303は、演奏情報Bに基づいて映像を制御する区間においては、演奏情報Bに対応する、映像位置及び映像速度を指定する映像制御情報Cを生成する。
映像制御部303は、操作情報Dに基づいて映像を制御する区間においては、操作情報Dに示される映像位置又は/及び映像速度に対応する映像制御情報Cを生成する。
ここで、映像制御部303は、演奏情報Bに基づいて映像を制御する際に、操作情報取得部301から操作情報Dを取得した場合、操作情報Dに基づく制御に切り替える。つまり、映像制御部303は、機械による制御(演奏情報Bに基づく制御)を行っている場合であっても、ユーザによる制御(操作情報Dに基づく制御)が操作された場合には、ユーザによる制御を優先させる。
映像制御部303は、操作情報Dに基づいて映像を制御する際に、ユーザにより演奏情報Bに基づいて制御する旨を指示する操作がなされた場合、演奏情報Bに基づく制御に切り替える。つまり、映像制御部303は、ユーザによる指示(演奏情報B又は操作情報Dに基づく制御をする旨の指示)がなされた場合には、ユーザによる指示に従う。
映像制御部303は、操作情報Dに基づく制御の際に、指示情報が操作情報取得部301に取得された場合、演奏解析装置20の演奏情報推定部201に、再生情報を出力する。指示情報は、演奏情報Bに基づいて映像の再生を制御する旨の指示を示す情報である。再生情報は、現在、映像を再生している位置(再生位置)、又は再生速度を示す情報である。これにより、機械側の制御に切替わった際に映像の再生位置や再生速度が変化してしまうことがなく滑らかな切替えを行うことが可能である。
映像制御部303は、操作情報Dに基づく制御の際に、映像メタ情報を用いる。映像メタ情報は、映像メタ情報記憶部304に記憶される情報である。
映像メタ情報は、ユーザが操作の対象とする対象映像とその対象映像における再生の内容を示すメタ情報とを対応付けた情報である。
メタ情報は、再生の内容を示す情報であって、例えば、再生の有無、停止の有無、ジャンプカットの有無、ループの有無などである。再生の有無は、対象映像を表示させた後にその映像から再生位置を進める(再生する)か否かを示す情報である。停止の有無は対象映像を表示させた後にその映像を停止させたままとするか否かを示す情報である。ジャンプカットは対象映像を表示させる際に、現在再生している画像から直接対象画像を表示させ、その間の映像を飛ばす(ジャンプカット)するか否かを示す情報である。ループの有無は、対象映像を再生し終えた際に、再度対象映像の再生を繰り返す(ループ)するか否かを示す情報である。
映像メタ情報は、ユーザが操作の対象とする対象映像とその対象映像における再生の内容を示すメタ情報とを対応付けた情報である。
メタ情報は、再生の内容を示す情報であって、例えば、再生の有無、停止の有無、ジャンプカットの有無、ループの有無などである。再生の有無は、対象映像を表示させた後にその映像から再生位置を進める(再生する)か否かを示す情報である。停止の有無は対象映像を表示させた後にその映像を停止させたままとするか否かを示す情報である。ジャンプカットは対象映像を表示させる際に、現在再生している画像から直接対象画像を表示させ、その間の映像を飛ばす(ジャンプカット)するか否かを示す情報である。ループの有無は、対象映像を再生し終えた際に、再度対象映像の再生を繰り返す(ループ)するか否かを示す情報である。
映像メタ情報記憶部304は、映像メタ情報を記憶する。
制御部305は、例えばCPU(Central Processing Unit)等の処理回路であり、映像制御装置30の各要素を統括的に制御する。
制御部305は、例えばCPU(Central Processing Unit)等の処理回路であり、映像制御装置30の各要素を統括的に制御する。
図4は、実施形態の映像メタ情報記憶部304に記憶される映像メタ情報の例を示す図である。映像メタ情報は、例えば、項目、秒数、マーカ情報RGB、再生、停止、ジャンプカット、ループ、AI適用などの各項目を備える。
項目は、映像メタ情報として登録された内容に付された番号である。秒数は、映像の位置を映像開始時点から経過時間[秒]により示す情報である。マーカ情報RGBは、操作の表示画面(図5参照)に登録した映像のサムネイル(図5の画像G6~G9)の枠に付す色をRGB値で示す情報である。これにより登録する映像が多くなる場合であっても、操作対象とする所望の映像のサムネイルを、ユーザが見分け易くすることが可能である。
再生は登録した映像を表示させた後に再生するか否かを示す情報である。停止は登録した映像を表示させた後に停止するか否かを示す情報である。ジャンプカットは登録した映像を表示させる際に間の映像をカットするか否かを示す情報である。ループは登録した映像を再生し終えた際に再度の再生を行うか否かを示す情報である。AI適用は機械(演奏解析装置20)による映像制御を適用するか否かを示す情報である。
この例では、映像の開始時点(0秒後)、1秒後、630.8秒後、1274.50秒後…の映像がそれぞれ登録されている。また、0秒後の映像は再生され、再生の制御にAIは適用しないが、0秒後の映像は停止され、再生の制御にAIが適用されることが示されている。
図5は、実施形態の表示部302における表示の例を示す図である。この図の例に示すように、表示部302は、例えば、画像G1~G9を表示する。
画像G1は、AIの適用、つまり演奏解析装置20による映像制御を適用するか否かを操作する操作ボタンである。画像G2は、映像の再生を制御する操作ボタンである。画像G2には再生、停止、早送り、及び巻き戻しなどの操作ボタンが設けられる。画像G3は再生速度を変更するスライドバー(ツマミ)である。スライドバーの画像G30を上下方向に移動させる操作を行うことにより再生速度が変化する。例えば、画像G30を上方向に移動させると再生速度が速くなり、画像G30を下方向に移動させると再生速度が遅くなる。
画像G1は、AIの適用、つまり演奏解析装置20による映像制御を適用するか否かを操作する操作ボタンである。画像G2は、映像の再生を制御する操作ボタンである。画像G2には再生、停止、早送り、及び巻き戻しなどの操作ボタンが設けられる。画像G3は再生速度を変更するスライドバー(ツマミ)である。スライドバーの画像G30を上下方向に移動させる操作を行うことにより再生速度が変化する。例えば、画像G30を上方向に移動させると再生速度が速くなり、画像G30を下方向に移動させると再生速度が遅くなる。
画像G4は、再生中の画像が表示される再生画面である。画像G5は、映像メタ情報として登録された映像に切り替える操作を行うための画像である。画像G6~G9は、映像メタ情報として登録された映像の各々の先頭に位置する映像のサムネイル画像である。画像G6は映像の開始時点から0秒後の映像である。画像G7は映像の開始時点から1秒後の映像である。画像G8は映像の開始時点から630.80秒後の映像である。画像G9は映像の開始時点から1274.50秒後の映像である。
図6は、実施形態の映像制御装置30の動作を説明する図である。
演奏情報取得部300により取得された演奏情報Bは、映像制御部303のセレクタ303Aに入力される。
また、操作情報取得部301により取得された、映像の再生速度を変更する操作(スライドバーの画像G30を移動させる操作)を示す操作信号は、セレクタ303Aに入力される。また、この操作信号は、AIをOFFする操作示す操作信号に変換され、AI適用を操作(画像G1をクリックする操作)に変換される。この変換された操作は、AIをOFFする操作を示す操作信号として、セレクタ303Aに入力される。この操作信号はセレクタ303Aの選択制御を示す信号として、入力される。つまり、AIをOFFする操作を示す操作信号がセレクタ303Aに入力されると、セレクタ303Aからは操作信号が出力される。
演奏情報取得部300により取得された演奏情報Bは、映像制御部303のセレクタ303Aに入力される。
また、操作情報取得部301により取得された、映像の再生速度を変更する操作(スライドバーの画像G30を移動させる操作)を示す操作信号は、セレクタ303Aに入力される。また、この操作信号は、AIをOFFする操作示す操作信号に変換され、AI適用を操作(画像G1をクリックする操作)に変換される。この変換された操作は、AIをOFFする操作を示す操作信号として、セレクタ303Aに入力される。この操作信号はセレクタ303Aの選択制御を示す信号として、入力される。つまり、AIをOFFする操作を示す操作信号がセレクタ303Aに入力されると、セレクタ303Aからは操作信号が出力される。
セレクタ303Aから出力された操作信号は、映像制御部303の機能部303Bに入力される。機能部303Bは、再生速度を制御する機能部である。機能部303Bは、操作信号から映像制御情報C(再生速度制御情報)を生成して映像出力装置40に出力する。また、機能部303Bは、生成した映像制御情報C(演奏位置指定情報)を演奏解析装置20に出力(フィードバック)する。この例に示すように、機能部303Bは、ユーザによる手動の操作に切替えられた際に、周期的に映像制御情報C(演奏位置指定情報)を演奏解析装置20にフィードバックしてもよい。
一方、操作情報取得部301により取得された、映像の切り替えるシーン切替画面の操作(画像G6~G9をクリックする操作)を示す操作信号は、映像制御部303の機能部303Cに入力される。機能部303Cは、再生位置を制御する機能部である。機能部303Cは、入力された操作信号から映像制御情報C(再生位置制御情報)を生成して映像出力装置40に出力する。また、機能部303Cは、生成した映像制御情報C(演奏位置指定情報)を演奏解析装置20に出力(フィードバック)する。この例に示すように、機能部303Cは、ユーザにより映像が切替えられた際に、周期的に映像制御情報C(演奏位置指定情報)を演奏解析装置20にフィードバックしてもよい。
図7は、実施形態の映像制御システム1の動作の流れを示すシーケンス図である。
まず、収音装置10は演奏の音を収音し(ステップS10)、収音した音を用いて音響信号Aを生成する(ステップS11)。収音装置10は、生成した音響信号Aを演奏解析装置20に出力する。
まず、収音装置10は演奏の音を収音し(ステップS10)、収音した音を用いて音響信号Aを生成する(ステップS11)。収音装置10は、生成した音響信号Aを演奏解析装置20に出力する。
演奏解析装置20は、収音装置10より音響信号Aを取得し(ステップS12)、取得した音響信号Aを学習済みモデルに入力する(ステップS13)。演奏解析装置20は、学習済みモデルからの出力を、音響信号Aにおいて推定された演奏情報Bとする(ステップS14)。演奏解析装置20は、推定した演奏情報Bを映像制御装置30に出力する。
映像制御装置30は、演奏解析装置20より演奏情報Bを取得し(ステップS15)、取得した演奏情報Bに基づいて映像の再生を制御する(ステップS16)。
映像制御装置30は、演奏解析装置20より演奏情報Bを取得し(ステップS15)、取得した演奏情報Bに基づいて映像の再生を制御する(ステップS16)。
一方、入力装置50には、ユーザの操作による入力を示す入力情報が入力される(ステップS17)。入力装置50は、入力情報を用いて操作情報Dを生成する(ステップS18)。入力装置50は、生成した操作情報Dを映像制御装置30に出力する。
映像制御装置30は、入力装置50から操作情報Dを取得すると(ステップS19)、映像の制御を切り替え、操作情報Dに基づいて映像の再生の制御を行う(ステップS20)。
映像制御装置30は、入力装置50から操作情報Dを取得すると(ステップS19)、映像の制御を切り替え、操作情報Dに基づいて映像の再生の制御を行う(ステップS20)。
以上説明したように、第1の実施形態の映像制御システム1は、楽曲の演奏を表す音響信号Aを、学習済みモデルに入力することにより、音響信号Aにおける楽曲における演奏に関する演奏情報Bを推定する演奏情報推定部201(「推定部」の一例)と、ユーザによる操作であって、映像を再生する操作を表す操作情報Dを取得する操作情報取得部301(「取得部」の一例)と、演奏情報推定部201により推定された演奏情報B、又は操作情報取得部301により取得された操作情報Dに基づいて映像の再生を制御する映像制御部303と、を備え、映像制御部303は、操作情報取得部301により操作情報Dが取得された場合、操作情報Dに基づいて映像の再生を制御する。
これにより、第1の実施形態の映像制御システム1は、演奏情報に応じて映像を制御することができ、特別な技術を有していないユーザであっても楽曲に合わせて映像を制御することが可能である。また、ユーザからの操作情報Dが取得された場合には、操作情報Dに基づいて映像の再生を制御することができるため、楽曲のクライマックスなどの重要なフレーズ(決めの場面)や収音装置10が故障して演奏解析装置20に音響信号Aが入力されない等の不測の事態において、ユーザの手動により映像を制御することができ、より効果的な映像演出を実現することが可能である。
また、第1の実施形態の映像制御システム1では、学習済みモデルは、学習に用いる演奏データである学習用演奏データと当該学習用演奏データが示す演奏の位置又は速度との対応関係を、機械学習を実行することにより学習したモデルであり、演奏情報推定部201は、音響信号Aにおける楽曲における演奏の位置又は速度に関する演奏情報Bを推定する。これにより、第1の実施形態の映像制御システム1は、演奏情報に示される演奏の位置や素度に応じて、映像の再生位置や再生速度を制御することができ、例えば、生演奏の演奏速度(テンポ)が遅くなったり早くなったりする場合であっても、映像の再生速度を生演奏の演奏速度に合わせることができる。
また、第1の実施形態の映像制御システム1では、映像制御部303は、操作情報Dに基づいて映像の再生を制御する際に、演奏情報に基づいて映像の再生を制御する旨を指示する指示情報が操作情報取得部301により取得された場合、演奏情報推定部201に映像における再生の速度に関する再生情報を出力し、演奏情報推定部201は、映像制御部303から取得した再生情報を用いて、演奏情報を再生情報に対応する内容に設定する。
これにより、第1の実施形態の映像制御システム1では、ユーザの手動による映像の制御から、機械(演奏情報推定部201)による制御に戻すことができ、機械に制御を戻す際に現在の再生速度や再生位置を機械側に通知することで、機械側の制御に切替わった際に映像の再生位置や再生速度が変化してしまうことがなく滑らかな切替えを行うことが可能である。
これにより、第1の実施形態の映像制御システム1では、ユーザの手動による映像の制御から、機械(演奏情報推定部201)による制御に戻すことができ、機械に制御を戻す際に現在の再生速度や再生位置を機械側に通知することで、機械側の制御に切替わった際に映像の再生位置や再生速度が変化してしまうことがなく滑らかな切替えを行うことが可能である。
また、第1の実施形態の映像制御システム1では、操作の対象である対象映像と対象映像における再生の内容を示すメタ情報とを対応付けた情報を記憶する映像メタ情報記憶部304、を更に備え、操作情報Dは、対象映像を示す情報であり、映像制御部303は、操作情報Dとしての対象映像を示す情報が操作情報取得部301により取得された場合、対象映像を表示させると共に、映像メタ情報記憶部304に記憶された情報に基づいて対象映像を表示させた後の映像の再生を制御する。これにより、第1の実施形態の映像制御システム1では、ユーザが手動により映像を制御する場合に、表示させたい映像(対象映像)に対応付けて、映像を表示させた後の再生の内容(例えば、待機する、所定の映像区間の再生を繰り返す(ループする)など)をメタ情報として記録させる(登録する)ことができるために、ユーザは、予め登録した映像を選択しさえすれば、メタ情報に登録した通りに映像を再生させることができ、映像を停止させたりループさせたりする操作を行う必要がないため再生速度の調整に集中することができる。
また、第1の実施形態の映像制御システム1では、演奏情報推定部201を有し、演奏情報を送信する演奏解析装置20と、操作情報取得部301と映像制御部303とを有し、演奏情報Bを受信する映像制御装置30と、を備える構成としてもよい。これにより、上述した効果と同様の効果を奏する。
(実施形態の変形例)
次に、実施形態の変形例について説明する。本変形例では、演奏解析装置20は、学習済みモデル記憶部204に複数の学習済みモデルを記憶させる点において、上述した実施形態と相違する。
複数の学習済みモデルの各々は、楽曲の種別ごとに異なる学習データを用いて学習させたモデルである。楽曲の種別は、演奏のスタイルが異なるジャンルであり、例えば、オーケストラ、室内楽、歌唱、ロックなどである。
複数の学習済みモデルのうち、ある学習済みでモデルは、様々なオーケストラによる演奏を所定の周期で区分した演奏データ(学習用演奏データ)の各々に、各演奏データの演奏位置を対応付けたデータを学習データとして学習させたモデルである。また、複数の学習済みモデルのうち、別の学習済みでモデルは、様々な室内楽による演奏を所定の周期で区分した演奏データ(学習用演奏データ)の各々に、各演奏データの演奏位置を対応付けたデータを学習データとして学習させたモデルである。歌唱やロックなどのジャンルについても同様である。
本変形例では、このように楽曲のジャンル(種別)に応じた学習データを用いて学習させた、複数の互いに学習内容の異なる学習済みモデルを用いる。
そして、演奏者が演奏する楽曲のジャンルに応じて、推定に用いる学習済みモデルを切り替える。例えば、演奏者がオーケストラを演奏する場合、オーケストラの演奏を学習した学習済みモデルを用いる。演奏者が室内楽を演奏する場合、室内楽の演奏を学習した学習済みモデルを用いる。歌唱やロックなどのジャンルについても同様である。
次に、実施形態の変形例について説明する。本変形例では、演奏解析装置20は、学習済みモデル記憶部204に複数の学習済みモデルを記憶させる点において、上述した実施形態と相違する。
複数の学習済みモデルの各々は、楽曲の種別ごとに異なる学習データを用いて学習させたモデルである。楽曲の種別は、演奏のスタイルが異なるジャンルであり、例えば、オーケストラ、室内楽、歌唱、ロックなどである。
複数の学習済みモデルのうち、ある学習済みでモデルは、様々なオーケストラによる演奏を所定の周期で区分した演奏データ(学習用演奏データ)の各々に、各演奏データの演奏位置を対応付けたデータを学習データとして学習させたモデルである。また、複数の学習済みモデルのうち、別の学習済みでモデルは、様々な室内楽による演奏を所定の周期で区分した演奏データ(学習用演奏データ)の各々に、各演奏データの演奏位置を対応付けたデータを学習データとして学習させたモデルである。歌唱やロックなどのジャンルについても同様である。
本変形例では、このように楽曲のジャンル(種別)に応じた学習データを用いて学習させた、複数の互いに学習内容の異なる学習済みモデルを用いる。
そして、演奏者が演奏する楽曲のジャンルに応じて、推定に用いる学習済みモデルを切り替える。例えば、演奏者がオーケストラを演奏する場合、オーケストラの演奏を学習した学習済みモデルを用いる。演奏者が室内楽を演奏する場合、室内楽の演奏を学習した学習済みモデルを用いる。歌唱やロックなどのジャンルについても同様である。
以上説明したように、第1の実施形態の変形例の映像制御システム1では、学習済みモデルは、楽曲の種別に応じて複数設けられ、演奏情報推定部201は、音響信号Aに対応する楽曲の種別に応じた学習済みモデルを用いて演奏情報Bを推定する。これにより、第1の実施形態の変形例の映像制御システム1では、演奏させる楽曲の種別(ジャンル)に応じた学習済みモデルを用いて演奏情報Bを推定することができ、オーケストラや、室内楽、ロック、歌唱などの各々のジャンルに特有の特徴(例えば、演奏中のテンポが変化しやすい、或いは変化し難いなど)を反映させた演奏情報Bを推定することができ、映像の再生を、演奏される楽曲によりマッチさせることが可能となる。
上述した実施形態における映像制御システム1の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1…映像制御システム、20…演奏解析装置、200…音響信号取得部、201…演奏情報推定部、202…演奏情報出力部、203…楽曲データ記憶部、204…学習済みモデル記憶部、205…制御部、30…映像制御装置、300…演奏情報取得部、301…操作情報取得部、302…表示部、303…映像制御部、304…映像メタ情報記憶部、305…制御部
Claims (7)
- 楽曲の演奏を表す音響信号を学習済みモデルに入力することにより、前記音響信号の前記楽曲における演奏に関する演奏情報を推定する推定部と、
ユーザによる操作であって、映像を再生する操作を表す操作情報を取得する取得部と、
前記推定部により推定された前記演奏情報に基づいて前記映像の再生を制御する映像制御部と、
を備え、
前記映像制御部は、前記取得部により前記操作情報が取得された場合、前記操作情報に基づいて前記映像の再生を制御する、
映像制御システム。 - 前記学習済みモデルは、学習に用いる演奏データである学習用演奏データと当該学習用演奏データに示された楽曲における演奏の位置又は速度との対応関係を、機械学習を実行することにより学習したモデルであり、
前記推定部は、前記音響信号の前記楽曲における演奏の位置又は速度に関する演奏情報を推定する
請求項1に記載の映像制御システム。 - 前記映像制御部は、前記操作情報に基づいて前記映像の再生を制御する際に、前記演奏情報に基づいて前記映像の再生を制御する旨を指示する指示情報が前記取得部に取得された場合、前記推定部に前記映像の再生の位置に関する再生情報を出力し、
前記推定部は、前記映像制御部から取得した前記再生情報を用いて、前記演奏情報を前記再生情報に対応する内容に設定する、
請求項1又は請求項2に記載の映像制御システム。 - 操作の対象である対象映像と前記対象映像における再生の内容を示すメタ情報とを対応付けた情報を記憶する映像メタ情報記憶部、を更に備え、
前記操作情報は、前記対象映像を示す情報であり、
前記映像制御部は、前記操作情報としての前記対象映像を示す情報が前記取得部に取得された場合、前記対象映像を表示させると共に、前記映像メタ情報記憶部に記憶された情報に基づいて前記対象映像を表示させた後の映像の再生を制御する、
請求項1から請求項3の何れか一項に記載の映像制御システム。 - 前記学習済みモデルは、楽曲の種別に応じて複数設けられ、
前記推定部は、前記音響信号に対応する楽曲の種別に応じた前記学習済みモデルを用いて前記演奏情報を推定する、
請求項1から請求項4の何れか一項に記載の映像制御システム。 - 前記推定部を有し、前記演奏情報を送信する演奏解析装置と、
前記取得部と前記映像制御部とを有し、前記演奏情報を受信する映像制御装置と、
を備える請求項1から請求項5の何れか一項に記載の映像制御システム。 - 推定部が、楽曲の演奏を表す音響信号を学習済みモデルに入力することにより、前記音響信号の前記楽曲における演奏に関する演奏情報を推定する推定過程と、
取得部が、ユーザによる操作であって、映像を再生する操作を表す操作情報を取得する取得過程と、
映像制御部が、前記推定部により推定された前記演奏情報に基づいて前記映像の再生を制御する映像制御過程と、
を含み、
前記映像制御過程において、前記取得部により前記操作情報が取得された場合、前記操作情報に基づいて前記映像の再生を制御する、
映像制御方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019000686A JP7226709B2 (ja) | 2019-01-07 | 2019-01-07 | 映像制御システム、及び映像制御方法 |
CN201980087885.4A CN113272890B (zh) | 2019-01-07 | 2019-12-27 | 影像控制系统及影像控制方法 |
PCT/JP2019/051566 WO2020145209A1 (ja) | 2019-01-07 | 2019-12-27 | 映像制御システム、及び映像制御方法 |
US17/367,925 US20210335331A1 (en) | 2019-01-07 | 2021-07-06 | Image control system and method for controlling image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019000686A JP7226709B2 (ja) | 2019-01-07 | 2019-01-07 | 映像制御システム、及び映像制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020109918A JP2020109918A (ja) | 2020-07-16 |
JP7226709B2 true JP7226709B2 (ja) | 2023-02-21 |
Family
ID=71521699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019000686A Active JP7226709B2 (ja) | 2019-01-07 | 2019-01-07 | 映像制御システム、及び映像制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210335331A1 (ja) |
JP (1) | JP7226709B2 (ja) |
CN (1) | CN113272890B (ja) |
WO (1) | WO2020145209A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7226709B2 (ja) * | 2019-01-07 | 2023-02-21 | ヤマハ株式会社 | 映像制御システム、及び映像制御方法 |
WO2024040194A1 (en) | 2022-08-17 | 2024-02-22 | Capstan Therapeutics, Inc. | Conditioning for in vivo immune cell engineering |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004233698A (ja) | 2003-01-30 | 2004-08-19 | Ricoh Co Ltd | 音楽支援装置、音楽支援サーバ、音楽支援方法およびプログラム |
JP2008145973A (ja) | 2006-12-13 | 2008-06-26 | Yamaha Corp | コンテンツ再生装置 |
JP2010122630A (ja) | 2008-11-21 | 2010-06-03 | Sony Corp | 情報処理装置、音声解析方法、及びプログラム |
JP2010521021A (ja) | 2007-02-14 | 2010-06-17 | ミューズアミ, インコーポレイテッド | 楽曲ベースの検索エンジン |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7221852B2 (en) * | 2001-05-10 | 2007-05-22 | Yamaha Corporation | Motion picture playback apparatus and motion picture playback method |
JP4329857B2 (ja) * | 2001-05-10 | 2009-09-09 | ヤマハ株式会社 | 動画再生装置 |
JP3663626B2 (ja) * | 2001-09-18 | 2005-06-22 | ソニー株式会社 | ビデオ信号処理装置および方法、プログラム、情報記録媒体、並びにデータ構造 |
US7897865B2 (en) * | 2002-01-15 | 2011-03-01 | Yamaha Corporation | Multimedia platform for recording and/or reproducing music synchronously with visual images |
JP3982443B2 (ja) * | 2003-03-31 | 2007-09-26 | ソニー株式会社 | テンポ解析装置およびテンポ解析方法 |
JP4940588B2 (ja) * | 2005-07-27 | 2012-05-30 | ソニー株式会社 | ビート抽出装置および方法、音楽同期画像表示装置および方法、テンポ値検出装置および方法、リズムトラッキング装置および方法、音楽同期表示装置および方法 |
JP4321518B2 (ja) * | 2005-12-27 | 2009-08-26 | 三菱電機株式会社 | 楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置 |
CN1953044B (zh) * | 2006-09-26 | 2011-04-27 | 中山大学 | 一种基于midi文件的乐器演奏提示和检测系统及方法 |
CN102037486A (zh) * | 2008-02-20 | 2011-04-27 | Oem有限责任公司 | 用于学习和混录音乐的系统 |
CN201294089Y (zh) * | 2008-11-17 | 2009-08-19 | 音乐传奇有限公司 | 互动音乐演奏设备 |
JP5625235B2 (ja) * | 2008-11-21 | 2014-11-19 | ソニー株式会社 | 情報処理装置、音声解析方法、及びプログラム |
JP2010141461A (ja) * | 2008-12-10 | 2010-06-24 | Panasonic Corp | 映像編集装置 |
US8629342B2 (en) * | 2009-07-02 | 2014-01-14 | The Way Of H, Inc. | Music instruction system |
JP5382361B2 (ja) * | 2010-05-11 | 2014-01-08 | ブラザー工業株式会社 | 楽曲演奏装置 |
JP5842383B2 (ja) * | 2011-05-16 | 2016-01-13 | ヤマハ株式会社 | カラオケシステム及びカラオケ装置 |
JP2013171070A (ja) * | 2012-02-17 | 2013-09-02 | Pioneer Electronic Corp | 楽曲情報処理装置及び楽曲情報処理方法 |
JP2013231951A (ja) * | 2012-04-06 | 2013-11-14 | Yamaha Corp | 音響データ処理装置および音響データ通信システム |
JP6187132B2 (ja) * | 2013-10-18 | 2017-08-30 | ヤマハ株式会社 | スコアアライメント装置及びスコアアライメントプログラム |
US9754503B2 (en) * | 2014-03-24 | 2017-09-05 | Educational Testing Service | Systems and methods for automated scoring of a user's performance |
JP6627325B2 (ja) * | 2014-10-17 | 2020-01-08 | ヤマハ株式会社 | 音響システム及び音響装置 |
JP2017044765A (ja) * | 2015-08-25 | 2017-03-02 | ヤマハ株式会社 | 映像提供装置、映像提供システム及びプログラム |
US9721551B2 (en) * | 2015-09-29 | 2017-08-01 | Amper Music, Inc. | Machines, systems, processes for automated music composition and generation employing linguistic and/or graphical icon based musical experience descriptions |
JP6801225B2 (ja) * | 2016-05-18 | 2020-12-16 | ヤマハ株式会社 | 自動演奏システムおよび自動演奏方法 |
EP3489945B1 (en) * | 2016-07-22 | 2021-04-14 | Yamaha Corporation | Musical performance analysis method, automatic music performance method, and automatic musical performance system |
JP6776788B2 (ja) * | 2016-10-11 | 2020-10-28 | ヤマハ株式会社 | 演奏制御方法、演奏制御装置およびプログラム |
US10629223B2 (en) * | 2017-05-31 | 2020-04-21 | International Business Machines Corporation | Fast playback in media files with reduced impact to speech quality |
CN107464572B (zh) * | 2017-08-16 | 2020-10-16 | 重庆科技学院 | 多模式交互音乐感知系统及其控制方法 |
CN107770596A (zh) * | 2017-09-25 | 2018-03-06 | 北京达佳互联信息技术有限公司 | 一种特效同步方法、装置及移动终端 |
CN108806657A (zh) * | 2018-06-05 | 2018-11-13 | 平安科技(深圳)有限公司 | 音乐模型训练、音乐创作方法、装置、终端及存储介质 |
WO2020031544A1 (ja) * | 2018-08-10 | 2020-02-13 | ヤマハ株式会社 | 楽譜データの情報処理装置 |
JP7226709B2 (ja) * | 2019-01-07 | 2023-02-21 | ヤマハ株式会社 | 映像制御システム、及び映像制御方法 |
CN114402387A (zh) * | 2019-09-27 | 2022-04-26 | 雅马哈株式会社 | 音响处理方法及音响处理系统 |
US11166050B2 (en) * | 2019-12-11 | 2021-11-02 | At&T Intellectual Property I, L.P. | Methods, systems, and devices for identifying viewed action of a live event and adjusting a group of resources to augment presentation of the action of the live event |
US20220036866A1 (en) * | 2020-07-31 | 2022-02-03 | Yamaha Corporation | Reproduction control method, reproduction control system, and reproduction control apparatus |
-
2019
- 2019-01-07 JP JP2019000686A patent/JP7226709B2/ja active Active
- 2019-12-27 WO PCT/JP2019/051566 patent/WO2020145209A1/ja active Application Filing
- 2019-12-27 CN CN201980087885.4A patent/CN113272890B/zh active Active
-
2021
- 2021-07-06 US US17/367,925 patent/US20210335331A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004233698A (ja) | 2003-01-30 | 2004-08-19 | Ricoh Co Ltd | 音楽支援装置、音楽支援サーバ、音楽支援方法およびプログラム |
JP2008145973A (ja) | 2006-12-13 | 2008-06-26 | Yamaha Corp | コンテンツ再生装置 |
JP2010521021A (ja) | 2007-02-14 | 2010-06-17 | ミューズアミ, インコーポレイテッド | 楽曲ベースの検索エンジン |
JP2010122630A (ja) | 2008-11-21 | 2010-06-03 | Sony Corp | 情報処理装置、音声解析方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2020145209A1 (ja) | 2020-07-16 |
CN113272890B (zh) | 2024-06-18 |
JP2020109918A (ja) | 2020-07-16 |
US20210335331A1 (en) | 2021-10-28 |
CN113272890A (zh) | 2021-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10062367B1 (en) | Vocal effects control system | |
CN1808566B (zh) | 重放装置和方法 | |
US8091027B2 (en) | Content playback apparatus, content playback method and storage medium | |
US8339458B2 (en) | Technique for allowing the modification of the audio characteristics of items appearing in an interactive video using RFID tags | |
US20130011111A1 (en) | Modifying audio in an interactive video using rfid tags | |
JPH11341350A (ja) | マルチメディア情報編集および再生装置、マルチメディア情報再生プログラムを記録した記録媒体ならびにシーケンス情報を記録した記録媒体 | |
JP2013080538A (ja) | コンテンツ再生装置およびコンテンツ再生方法、並びにプログラム | |
WO2004057571A1 (ja) | 楽音再生装置及び楽音再生プログラム | |
WO2017028686A1 (zh) | 一种信息处理方法、终端设备及计算机存储介质 | |
JP4373466B2 (ja) | 編集方法、コンピュータプログラム、編集システム及びメディア・プレーヤ | |
JP7226709B2 (ja) | 映像制御システム、及び映像制御方法 | |
JP2006127367A (ja) | 情報管理方法、情報管理プログラムおよび情報管理装置 | |
US20140122606A1 (en) | Information processing device, information processing method, and program | |
JP5110706B2 (ja) | 絵本画像再生装置、絵本画像再生方法、絵本画像再生プログラム及び記録媒体 | |
US20160267805A1 (en) | Systems and methods for music instruction | |
JP2007028242A (ja) | 端末装置および同端末装置に適用されるコンピュータプログラム | |
JP5044503B2 (ja) | 演出画像再生装置、演出画像再生方法、演出画像再生プログラム及び記録媒体 | |
JP2000056756A (ja) | 楽器練習の支援装置および楽器練習用情報の記録媒体 | |
JP4401740B2 (ja) | 編集装置 | |
JP6110731B2 (ja) | ジェスチャーによるコマンド入力識別システム | |
JP2017108198A (ja) | 楽譜表示システム、動画データ供給装置、楽譜データ供給装置、及び画像表示装置、並びに楽譜表示プログラム | |
JP4780128B2 (ja) | スライド再生装置、スライド再生システム、およびスライド再生プログラム | |
Borchers et al. | Engineering a realistic real-time conducting system for the audio/video rendering of a real orchestra | |
JP2005302155A (ja) | 情報再生装置、情報再生方法、コンピュータで実行可能なプログラム、及び記録媒体 | |
TWI789083B (zh) | 擴增實境內容播放之控制方法、系統及其電腦可讀媒介 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230131 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7226709 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |