JP4124247B2 - 楽曲練習支援装置、制御方法及びプログラム - Google Patents
楽曲練習支援装置、制御方法及びプログラム Download PDFInfo
- Publication number
- JP4124247B2 JP4124247B2 JP2006185987A JP2006185987A JP4124247B2 JP 4124247 B2 JP4124247 B2 JP 4124247B2 JP 2006185987 A JP2006185987 A JP 2006185987A JP 2006185987 A JP2006185987 A JP 2006185987A JP 4124247 B2 JP4124247 B2 JP 4124247B2
- Authority
- JP
- Japan
- Prior art keywords
- pitch
- voice
- section
- trainer
- voice data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 47
- 238000012545 processing Methods 0.000 description 36
- 230000000875 corresponding effect Effects 0.000 description 33
- 230000008569 process Effects 0.000 description 30
- 238000013500 data storage Methods 0.000 description 27
- 238000001228 spectrum Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000002459 sustained effect Effects 0.000 description 2
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013077 scoring method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
- G10K15/04—Sound-producing devices
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/003—Changing voice quality, e.g. pitch or formants
- G10L21/007—Changing voice quality, e.g. pitch or formants characterised by the process used
- G10L21/013—Adapting to target pitch
- G10L2021/0135—Voice conversion or morphing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Description
本発明は上述した背景の下になされたものであり、歌唱者が自身の歌唱をどのように修正すればよいかを聴覚的に認識することのできる技術を提供することを目的とする。
この態様において、前記ピッチシフト手段は、前記対応箇所特定手段の特定結果に応じて、前記模範音声のピッチに対応する練習者音声のピッチが検出されたフレームにおいては、検出されたピッチを当該ピッチに対応する模範音声のピッチに一致させるようにシフトし、一方、ピッチが検出されなかったフレームにおいては、当該フレームに近接するフレームのピッチで当該フレームのピッチを補間してもよい。
<A:構成>
図1は、この発明の一実施形態である楽曲練習支援装置としてのカラオケ装置1のハードウェア構成を例示したブロック図である。CPU(Central Processing Unit)11は、ROM(Read Only Memory)12または記憶部14に記憶されているコンピュータプログラムを読み出してRAM(Random Access Memory)13にロードし、これを実行することにより、カラオケ装置1の各部を制御する。記憶部14は、例えばハードディスクなどの大容量の記憶手段であり、伴奏・歌詞データ記憶領域14aと、区切データ記憶領域14bと、模範音声データ記憶領域14cと、練習者音声データ記憶領域14dとを有している。表示部15は、例えば液晶ディスプレイなどであり、CPU11の制御の下で、カラオケ装置1を操作するためのメニュー画面や、背景画像に歌詞テロップが重ねられたカラオケ画面などの各種画面を表示する。操作部16は、各種のキーを備えており、押下されたキーに対応した信号をCPU11へ出力する。マイクロフォン17は、練習者が発声した音声を収音し、音声信号(アナログデータ)を出力する。音声処理部18は、マイクロフォン17が出力する音声信号(アナログデータ)をデジタルデータに変換してCPU11に出力する。スピーカ19は、音声処理部18から出力される音声を放音する。
また、基礎分析部111は、検出したスペクトルに基づいて、両者の対応関係を求める。模範音声と練習者音声とは時間的に前後にずれている可能性がある。例えば、練習者が発音タイミングを間違えて歌唱した場合や、または、模範となる歌唱者が歌い始めや歌い終わりを意図的にずらして歌唱した場合などは、模範音声と練習者音声とは時間的に前後にずれている。このように模範音声と練習者音声とが時間的に前後にずれている場合であっても、両者を対応付けられるようにするため、練習者音声データの時間軸を伸縮させる時間正規化(DTW:Dynamic Time Warping)を行い、両者の時間軸を合わせる。このDTWを行うための手法としては、この実施形態ではDP(Dynamic Programming:動的計画法)を用いる。具体的には以下のような処理となる。
以上がDPマッチングの仕組みである。
基礎分析部111によって検出された対応箇所は、ピッチシフト指示情報生成部112に出力されるとともに、とタイムストレッチ指示情報生成部113に出力される。
出力部115は、加工処理部114により生成された練習者音声加工データを音声処理部18に出力する。
次に、図5に示すフローチャートを参照しつつ、カラオケ装置1の動作を説明する。
練習者は、カラオケ装置1の操作部16を操作して、歌唱したい楽曲を選択する操作を行い、楽曲の再生を指示する。操作部16は操作された内容に応じた信号をCPU11へ出力し、CPU11は、操作部16から供給される信号に応じて、カラオケ伴奏を開始する(ステップS1)。すなわち、CPU11は、伴奏・歌詞データ記憶領域14aから伴奏データを読み出して音声処理部18に供給し、音声処理部18は、伴奏データをアナログ信号に変換し、スピーカ19に供給して放音させる。また、CPU11は、伴奏・歌詞データ記憶領域14aから歌詞データを読み出して歌詞テロップを表示部15に表示させる。
練習者は、スピーカ19から放音される伴奏に合わせて歌唱を行う。このとき、練習者の音声はマイクロフォン17によって収音されて音声信号に変換され、音声処理部18へと出力される。音声処理部18によってA/D変換された練習者音声データは、伴奏開始からの経過時間を表す情報と共に、練習者音声データ記憶領域14dに時系列に記憶(録音)されていく(ステップS2)。
図6において、CPU11は、まず、ステップS5の処理によって検出された模範音声と練習者音声の対応関係に基づいて、区切データ記憶領域14bに記憶された区切データの示す各区間の開始時刻に対応する時刻を算出し、模範音声の区間の区間長とその区間に対応する練習者音声の区間の区間長との比を算出する(ステップS61)。すなわち、CPU11は、区切データ記憶領域14bに記憶された区切データとステップS5の処理によって検出された模範音声データと練習者音声データの対応関係に応じて、模範音声と練習者音声とを区間毎に対応付け、各区間毎に、模範音声の区間長と練習者音声の区間長との比を算出する。
T1:T2=(p1−t1):(p2−t21)
であるから、
p2=t21+T2/T1(p1−t1)
として算出される。
また、音節の区切りのみが記憶されており、音素の区切りが記憶されていない場合、音声のピッチの抽出状況を以って、発音内容の対応をつけてもよい。これは、持続される母音部分はピッチが抽出されるのに対して、子音部分はピッチが抽出されないことが多いためである。
なお、ステップS8においては、CPU11は、ピッチシフト処理を行った後にタイムストレッチ処理を行うようにしてもよく、または、タイムストレッチ処理を施した後にピッチシフト処理を行うようにしてもよい。または、練習者音声データに対して時系列に、ピッチシフト処理とタイムストレッチ処理とを並行して行うようにしてもよい。
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。
(1)上述した実施形態においては、練習者の歌唱練習を支援する場合を例に挙げて説明したが、これに限らず、練習者の楽器演奏の練習を支援するようにしてもよい。この場合、伴奏・歌詞データ記憶領域14aには、練習したい楽器(例えばギター)以外の楽器(例えばベースやドラム)の演奏データが記憶されており、模範音声データ記憶領域14cには、模範となる模範演奏データが記憶されており、練習者音声データ記憶領域14dには、練習者の演奏音を表す演奏データが記憶される。練習者は練習したい楽器を演奏し、その演奏音はマイクロフォン17によって収音されて音声信号に変換され、音声処理部18でデジタル信号に変換されて練習者音声データ記憶領域14dに記憶される。また、区切データ記憶領域14bには、模範音声データの表す演奏音に含まれる各音の開始時刻や終了時刻などの音の区切り位置を示す情報が記憶される。CPU11は、これらのデータに基づき、上記と同様の処理を経て練習者音声加工データを生成して放音する。
または、模範音声データそのものを記憶しておくようにせず、模範音声のピッチやスペクトルを示すデータを記憶させておくようにしてもよい。この場合は、カラオケ装置のCPUは、模範音声のピッチ、スペクトルの算出処理を行わず、記憶部に記憶されたピッチデータやスペクトルデータに基づいて、対応箇所の検出やピッチシフト処理、タイムストレッチ処理を施す。
また、上述した実施形態では、マイクロフォン17で練習者の音声を収音して音声処理部18が練習者音声データを生成するようにしたが、これに代えて、通信ネットワークを介して練習者音声データを受信するようにしてもよく、または、USB(Universal Serial Bus)等のインタフェースを介して練習者音声データを入力するようにしてもよい。要するに、カラオケ装置のCPUに練習者音声データを入力するものであればどのようなものであってもよい。
また、タイムストレッチ処理についても同様であり、CPU11がタイムストレッチ指示情報を生成する処理において、CPU11が、操作部16を介してテンポコントロールの内容を示すテンポコントロールデータの入力を受け付け(図2に鎖線で図示)、入力されたテンポコントロールデータの示す内容に応じて、模範音声データを時間軸方向に圧縮又は伸長するタイムストレッチ処理を行い、タイムストレッチ処理が施された模範音声データと練習者音声データとに応じて、タイムストレッチ指示情報を生成してもよい。
上述した実施形態におけるカラオケ装置1のCPU11によって実行されるプログラムの概要は以下のとおりである。
「コンピュータに、予め記憶された模範音声データと入力された練習者音声データとを時間軸方向に対応付ける対応付機能と、前記対応付機能の対応付け結果に応じて、前記練習者音声データのピッチを、当該ピッチに対応する前記模範音声データのピッチに一致させるようにシフトするピッチシフト機能と、前記対応付機能の対応付け結果に応じて、前記練習者音声データにおいて時間軸方向に予め定められた区間の区間長を、当該区間に対応する模範音声データの区間の区間長に一致させるように、当該区間を時間軸方向に圧縮又は伸長するタイムストレッチ機能と、前記ピッチシフト機能によりピッチをシフトされるとともに前記タイムストレッチ機能により時間軸方向に圧縮又は伸長された練習者音声データを放音手段に出力する出力機能とを実現させるプログラム。」
「制御手段を備えた楽曲練習支援装置の制御方法であって、前記制御手段が、予め記憶された模範音声データと入力された練習者音声データとを時間軸方向に対応付けるステップと、前記制御手段が、対応付け結果に応じて、前記練習者音声データのピッチを、当該ピッチに対応する前記模範音声データのピッチに一致させるようにシフトするステップと、前記制御手段が、対応付け結果に応じて、前記練習者音声データにおいて時間軸方向に予め定められた区間の区間長を、当該区間に対応する模範音声データの区間の区間長に一致させるように、当該区間を時間軸方向に圧縮または伸長するステップと、前記制御手段が、ピッチをシフトされるとともに時間軸方向に圧縮又は伸長された練習者音声データを放音手段に出力するステップとを備えることを特徴とする制御方法。」
Claims (5)
- 予め記憶された模範音声データと入力された練習者音声データとを時間軸方向に対応付ける対応付手段と、
前記模範音声データにおいて時間軸方向に予め定められた区間毎の区切り位置を示す区切り情報を記憶する記憶手段と、
前記記憶手段に記憶された区切り情報と前記対応付手段の対応付け結果とに応じて、前記模範音声データと前記練習者音声データとを前記区間毎に対応付け、各区間毎に、前記模範音声データの示す模範音声の区間長と前記練習者音声データの示す練習者音声の区間長との比を算出する区間長比算出手段と、
前記区間長比算出手段により算出された比に応じて、区間毎の模範音声と練習者音声の対応箇所を所定時間長のフレーム単位で特定する対応箇所特定手段と、
前記対応箇所特定手段の特定結果に応じて、前記入力された練習者音声データの示す練習者音声のピッチを、当該ピッチに対応する模範音声のピッチに一致させるようにシフトするピッチシフト手段と、
前記対応付手段の対応付け結果に応じて、前記練習者音声データにおいて時間軸方向に予め定められた区間の区間長を、当該区間に対応する模範音声データの区間の区間長に一致させるように、当該区間を時間軸方向に圧縮又は伸長するタイムストレッチ手段と、
前記ピッチシフト手段によりピッチをシフトされるとともに前記タイムストレッチ手段により時間軸方向に圧縮又は伸長された練習者音声データを放音手段に出力する出力手段と
を備えることを特徴とする楽曲練習支援装置。 - 前記ピッチシフト手段は、前記対応箇所特定手段の特定結果に応じて、前記模範音声のピッチに対応する練習者音声のピッチが検出されたフレームにおいては、検出されたピッチを当該ピッチに対応する模範音声のピッチに一致させるようにシフトし、一方、ピッチが検出されなかったフレームにおいては、当該フレームに近接するフレームのピッチで当該フレームのピッチを補間する
ことを特徴とする請求項1に記載の楽曲練習支援装置。 - 楽曲練習支援装置の制御方法であって、
予め記憶された模範音声データと入力された練習者音声データとを時間軸方向に対応付ける対応付ステップと、
前記模範音声データにおいて時間軸方向に予め定められた区間毎の区切り位置を示す区切り情報を記憶する記憶ステップと、
前記記憶ステップによって記憶された区切り情報と前記対応付ステップによる対応付け結果とに応じて、前記模範音声データと前記練習者音声データとを前記区間毎に対応付け、各区間毎に、前記模範音声データの示す模範音声の区間長と前記練習者音声データの示す練習者音声の区間長との比を算出する区間長比算出ステップと、
前記区間長比算出ステップにより算出された比に応じて、区間毎の模範音声と練習者音声の対応箇所を所定時間長のフレーム単位で特定する対応箇所特定ステップと、
前記対応箇所特定ステップによる特定結果に応じて、前記入力された練習者音声データの示す練習者音声のピッチを、当該ピッチに対応する模範音声のピッチに一致させるようにシフトするピッチシフトステップと、
前記対応付ステップによる対応付け結果に応じて、前記練習者音声データにおいて時間軸方向に予め定められた区間の区間長を、当該区間に対応する模範音声データの区間の区間長に一致させるように、当該区間を時間軸方向に圧縮又は伸長するタイムストレッチステップと、
前記ピッチシフトステップによりピッチをシフトされるとともに前記タイムストレッチステップにより時間軸方向に圧縮又は伸長された練習者音声データを放音手段に出力する出力ステップと
を備える制御方法。 - 前記ピッチシフトステップは、前記対応箇所特定ステップによる特定結果に応じて、前記模範音声のピッチに対応する練習者音声のピッチが検出されたフレームにおいては、検出されたピッチを当該ピッチに対応する模範音声のピッチに一致させるようにシフトし、一方、ピッチが検出されなかったフレームにおいては、当該フレームに近接するフレームのピッチで当該フレームのピッチを補間する
請求項3に記載の制御方法。 - 楽曲練習支援装置を制御する制御方法をコンピュータに実行させるプログラムであって、
前記制御方法は、
予め記憶された模範音声データと入力された練習者音声データとを時間軸方向に対応付ける対応付ステップと、
前記模範音声データにおいて時間軸方向に予め定められた区間毎の区切り位置を示す区切り情報を記憶する記憶ステップと、
前記記憶ステップによって記憶された区切り情報と前記対応付ステップによる対応付け結果とに応じて、前記模範音声データと前記練習者音声データとを前記区間毎に対応付け、各区間毎に、前記模範音声データの示す模範音声の区間長と前記練習者音声データの示す練習者音声の区間長との比を算出する区間長比算出ステップと、
前記区間長比算出ステップにより算出された比に応じて、区間毎の模範音声と練習者音声の対応箇所を所定時間長のフレーム単位で特定する対応箇所特定ステップと、
前記対応箇所特定ステップによる特定結果に応じて、前記入力された練習者音声データの示す練習者音声のピッチを、当該ピッチに対応する模範音声のピッチに一致させるようにシフトするピッチシフトステップと、
前記対応付ステップによる対応付け結果に応じて、前記練習者音声データにおいて時間軸方向に予め定められた区間の区間長を、当該区間に対応する模範音声データの区間の区間長に一致させるように、当該区間を時間軸方向に圧縮又は伸長するタイムストレッチステップと、
前記ピッチシフトステップによりピッチをシフトされるとともに前記タイムストレッチステップにより時間軸方向に圧縮又は伸長された練習者音声データを放音手段に出力する出力ステップと
を備えるプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006185987A JP4124247B2 (ja) | 2006-07-05 | 2006-07-05 | 楽曲練習支援装置、制御方法及びプログラム |
PCT/JP2007/063512 WO2008004641A1 (fr) | 2006-07-05 | 2007-06-29 | Dispositif d'entraînement au chant |
US12/307,178 US8027631B2 (en) | 2006-07-05 | 2007-06-29 | Song practice support device |
KR1020097002261A KR100949872B1 (ko) | 2006-07-05 | 2007-06-29 | 악곡 연습 지원 장치, 악곡 연습 지원 장치의 제어 방법, 악곡 연습 지원 장치를 제어하는 제어 방법을 컴퓨터로 실행시키는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006185987A JP4124247B2 (ja) | 2006-07-05 | 2006-07-05 | 楽曲練習支援装置、制御方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2008015195A JP2008015195A (ja) | 2008-01-24 |
JP2008015195A5 JP2008015195A5 (ja) | 2008-03-06 |
JP4124247B2 true JP4124247B2 (ja) | 2008-07-23 |
Family
ID=38894608
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006185987A Expired - Fee Related JP4124247B2 (ja) | 2006-07-05 | 2006-07-05 | 楽曲練習支援装置、制御方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US8027631B2 (ja) |
JP (1) | JP4124247B2 (ja) |
KR (1) | KR100949872B1 (ja) |
WO (1) | WO2008004641A1 (ja) |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1025920A (ja) * | 1996-07-11 | 1998-01-27 | Fujita Corp | 建築構造物の制震装置 |
JPH1144046A (ja) * | 1997-07-28 | 1999-02-16 | Kajima Corp | 鉄筋の組立方法およびコンクリート構造物 |
US7459624B2 (en) | 2006-03-29 | 2008-12-02 | Harmonix Music Systems, Inc. | Game controller simulating a musical instrument |
US8678896B2 (en) | 2007-06-14 | 2014-03-25 | Harmonix Music Systems, Inc. | Systems and methods for asynchronous band interaction in a rhythm action game |
EP2206540A1 (en) | 2007-06-14 | 2010-07-14 | Harmonix Music Systems, Inc. | System and method for simulating a rock band experience |
JP5136128B2 (ja) * | 2008-03-12 | 2013-02-06 | ヤマハ株式会社 | 音声合成装置 |
JP5125958B2 (ja) * | 2008-09-30 | 2013-01-23 | ブラザー工業株式会社 | 音域特定システム、プログラム |
US8148621B2 (en) * | 2009-02-05 | 2012-04-03 | Brian Bright | Scoring of free-form vocals for video game |
US20100304810A1 (en) * | 2009-05-29 | 2010-12-02 | Harmonix Music Systems, Inc. | Displaying A Harmonically Relevant Pitch Guide |
US8080722B2 (en) * | 2009-05-29 | 2011-12-20 | Harmonix Music Systems, Inc. | Preventing an unintentional deploy of a bonus in a video game |
US8026435B2 (en) * | 2009-05-29 | 2011-09-27 | Harmonix Music Systems, Inc. | Selectively displaying song lyrics |
US7935880B2 (en) | 2009-05-29 | 2011-05-03 | Harmonix Music Systems, Inc. | Dynamically displaying a pitch range |
US7982114B2 (en) * | 2009-05-29 | 2011-07-19 | Harmonix Music Systems, Inc. | Displaying an input at multiple octaves |
US20100304811A1 (en) * | 2009-05-29 | 2010-12-02 | Harmonix Music Systems, Inc. | Scoring a Musical Performance Involving Multiple Parts |
US8465366B2 (en) | 2009-05-29 | 2013-06-18 | Harmonix Music Systems, Inc. | Biasing a musical performance input to a part |
US7923620B2 (en) * | 2009-05-29 | 2011-04-12 | Harmonix Music Systems, Inc. | Practice mode for multiple musical parts |
US8017854B2 (en) * | 2009-05-29 | 2011-09-13 | Harmonix Music Systems, Inc. | Dynamic musical part determination |
US8449360B2 (en) | 2009-05-29 | 2013-05-28 | Harmonix Music Systems, Inc. | Displaying song lyrics and vocal cues |
US8076564B2 (en) * | 2009-05-29 | 2011-12-13 | Harmonix Music Systems, Inc. | Scoring a musical performance after a period of ambiguity |
US8575465B2 (en) | 2009-06-02 | 2013-11-05 | Indian Institute Of Technology, Bombay | System and method for scoring a singing voice |
US9981193B2 (en) | 2009-10-27 | 2018-05-29 | Harmonix Music Systems, Inc. | Movement based recognition and evaluation |
EP2494432B1 (en) | 2009-10-27 | 2019-05-29 | Harmonix Music Systems, Inc. | Gesture-based user interface |
US8983829B2 (en) * | 2010-04-12 | 2015-03-17 | Smule, Inc. | Coordinating and mixing vocals captured from geographically distributed performers |
US9058797B2 (en) | 2009-12-15 | 2015-06-16 | Smule, Inc. | Continuous pitch-corrected vocal capture device cooperative with content server for backing track mix |
US8568234B2 (en) | 2010-03-16 | 2013-10-29 | Harmonix Music Systems, Inc. | Simulating musical instruments |
US20110306397A1 (en) | 2010-06-11 | 2011-12-15 | Harmonix Music Systems, Inc. | Audio and animation blending |
US8562403B2 (en) | 2010-06-11 | 2013-10-22 | Harmonix Music Systems, Inc. | Prompting a player of a dance game |
US9358456B1 (en) | 2010-06-11 | 2016-06-07 | Harmonix Music Systems, Inc. | Dance competition game |
US9024166B2 (en) | 2010-09-09 | 2015-05-05 | Harmonix Music Systems, Inc. | Preventing subtractive track separation |
US8729374B2 (en) * | 2011-07-22 | 2014-05-20 | Howling Technology | Method and apparatus for converting a spoken voice to a singing voice sung in the manner of a target singer |
US8907195B1 (en) * | 2012-01-14 | 2014-12-09 | Neset Arda Erol | Method and apparatus for musical training |
US20140260903A1 (en) * | 2013-03-15 | 2014-09-18 | Livetune Ltd. | System, platform and method for digital music tutoring |
JP6144592B2 (ja) * | 2013-09-27 | 2017-06-07 | 株式会社第一興商 | 歌唱採点システム |
JP6144593B2 (ja) * | 2013-09-27 | 2017-06-07 | 株式会社第一興商 | 歌唱採点システム |
JP6144605B2 (ja) * | 2013-10-31 | 2017-06-07 | 株式会社第一興商 | 歌唱採点システム |
JP6415341B2 (ja) * | 2015-01-30 | 2018-10-31 | 株式会社第一興商 | ハーモニー歌唱のためのピッチシフト機能を備えたカラオケシステム |
JP6798253B2 (ja) * | 2016-11-02 | 2020-12-09 | ヤマハ株式会社 | 信号処理方法、および信号処理装置 |
JP7035697B2 (ja) * | 2018-03-27 | 2022-03-15 | カシオ計算機株式会社 | 歌唱練習装置、歌唱練習方法、及びプログラム |
CN110087122A (zh) * | 2019-05-06 | 2019-08-02 | 北京字节跳动网络技术有限公司 | 用于处理信息的系统、方法和装置 |
US11315585B2 (en) | 2019-05-22 | 2022-04-26 | Spotify Ab | Determining musical style using a variational autoencoder |
JP7331588B2 (ja) * | 2019-09-26 | 2023-08-23 | ヤマハ株式会社 | 情報処理方法、推定モデル構築方法、情報処理装置、推定モデル構築装置およびプログラム |
US11355137B2 (en) | 2019-10-08 | 2022-06-07 | Spotify Ab | Systems and methods for jointly estimating sound sources and frequencies from audio |
US11366851B2 (en) | 2019-12-18 | 2022-06-21 | Spotify Ab | Karaoke query processing system |
JP6793422B1 (ja) * | 2020-02-04 | 2020-12-02 | Jeインターナショナル株式会社 | 音声補正装置、歌唱システム、音声補正方法、およびプログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA1204855A (en) * | 1982-03-23 | 1986-05-20 | Phillip J. Bloom | Method and apparatus for use in processing signals |
JPH05165484A (ja) | 1991-12-18 | 1993-07-02 | Matsushita Electric Ind Co Ltd | カラオケ装置 |
JP3317181B2 (ja) * | 1997-03-25 | 2002-08-26 | ヤマハ株式会社 | カラオケ装置 |
US6301992B1 (en) * | 1999-07-22 | 2001-10-16 | Paolo Paparoni | Adjustment and assembly system for mechanical cable remote control |
JP4323029B2 (ja) | 1999-10-21 | 2009-09-02 | ヤマハ株式会社 | 音声処理装置およびカラオケ装置 |
JP2001117599A (ja) | 1999-10-21 | 2001-04-27 | Yamaha Corp | 音声処理装置およびカラオケ装置 |
US6836761B1 (en) * | 1999-10-21 | 2004-12-28 | Yamaha Corporation | Voice converter for assimilation by frame synthesis with temporal alignment |
JP4205824B2 (ja) | 1999-10-21 | 2009-01-07 | ヤマハ株式会社 | 歌唱評価装置およびカラオケ装置 |
JP4219652B2 (ja) | 2002-10-23 | 2009-02-04 | 株式会社第一興商 | リピート演奏時に直前に計測したピッチ誤差に基づいて該当箇所の主旋律音量を制御するカラオケ装置の歌唱練習支援システム |
JP4135615B2 (ja) | 2003-10-27 | 2008-08-20 | カシオ計算機株式会社 | 楽音比較装置および楽音比較プログラム |
US7271329B2 (en) * | 2004-05-28 | 2007-09-18 | Electronic Learning Products, Inc. | Computer-aided learning system employing a pitch tracking line |
US7825321B2 (en) * | 2005-01-27 | 2010-11-02 | Synchro Arts Limited | Methods and apparatus for use in sound modification comparing time alignment data from sampled audio signals |
US8244546B2 (en) * | 2008-05-28 | 2012-08-14 | National Institute Of Advanced Industrial Science And Technology | Singing synthesis parameter data estimation system |
-
2006
- 2006-07-05 JP JP2006185987A patent/JP4124247B2/ja not_active Expired - Fee Related
-
2007
- 2007-06-29 WO PCT/JP2007/063512 patent/WO2008004641A1/ja active Application Filing
- 2007-06-29 KR KR1020097002261A patent/KR100949872B1/ko not_active IP Right Cessation
- 2007-06-29 US US12/307,178 patent/US8027631B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
WO2008004641A1 (fr) | 2008-01-10 |
US8027631B2 (en) | 2011-09-27 |
US20090317783A1 (en) | 2009-12-24 |
JP2008015195A (ja) | 2008-01-24 |
KR100949872B1 (ko) | 2010-03-25 |
KR20090041392A (ko) | 2009-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4124247B2 (ja) | 楽曲練習支援装置、制御方法及びプログラム | |
US7579541B2 (en) | Automatic page sequencing and other feedback action based on analysis of audio performance data | |
JP5605066B2 (ja) | 音合成用データ生成装置およびプログラム | |
JP2008026622A (ja) | 評価装置 | |
JP2008139426A (ja) | 評価用データのデータ構造、カラオケ装置及び記録媒体 | |
JP2007310204A (ja) | 楽曲練習支援装置、制御方法及びプログラム | |
JP5151245B2 (ja) | データ再生装置、データ再生方法およびプログラム | |
JP2007233077A (ja) | 評価装置、制御方法及びプログラム | |
JP2008225117A (ja) | ピッチ表示制御装置 | |
JP5136128B2 (ja) | 音声合成装置 | |
JP2009169103A (ja) | 練習支援装置 | |
JP4913638B2 (ja) | 評価装置及びカラオケ装置 | |
JP4458096B2 (ja) | データ再生装置、データ再生方法およびプログラム | |
JP2008039833A (ja) | 音声評価装置 | |
JP4839967B2 (ja) | 指導装置及びプログラム | |
JP2008020621A (ja) | コンテンツオーサリングシステム | |
JP2008040260A (ja) | 楽曲練習支援装置、動的時間整合モジュールおよびプログラム | |
JP2022065554A (ja) | 音声合成方法およびプログラム | |
JP5106437B2 (ja) | カラオケ装置及びその制御方法並びにその制御プログラム | |
JP5416396B2 (ja) | 歌唱評価装置およびプログラム | |
JP4501874B2 (ja) | 楽曲練習装置 | |
JP6406182B2 (ja) | カラオケ装置、及びカラオケシステム | |
JP5983670B2 (ja) | プログラム、情報処理装置、及びデータ生成方法 | |
JP2007233078A (ja) | 評価装置、制御方法及びプログラム | |
JP5262908B2 (ja) | 歌詞表示装置,プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071128 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071128 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20071128 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20080110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080129 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080321 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080415 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080428 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4124247 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140516 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |