JP6669883B2 - 音声データ処理方法及び装置 - Google Patents

音声データ処理方法及び装置 Download PDF

Info

Publication number
JP6669883B2
JP6669883B2 JP2018541477A JP2018541477A JP6669883B2 JP 6669883 B2 JP6669883 B2 JP 6669883B2 JP 2018541477 A JP2018541477 A JP 2018541477A JP 2018541477 A JP2018541477 A JP 2018541477A JP 6669883 B2 JP6669883 B2 JP 6669883B2
Authority
JP
Japan
Prior art keywords
data
audio data
sound
last
last sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018541477A
Other languages
English (en)
Other versions
JP2018537732A (ja
Inventor
▲偉▼峰 ▲趙▼
▲偉▼峰 ▲趙▼
雪▲キ▼ ▲陳▼
雪▲キ▼ ▲陳▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Kugou Computer Technology Co Ltd
Original Assignee
Guangzhou Kugou Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Kugou Computer Technology Co Ltd filed Critical Guangzhou Kugou Computer Technology Co Ltd
Publication of JP2018537732A publication Critical patent/JP2018537732A/ja
Application granted granted Critical
Publication of JP6669883B2 publication Critical patent/JP6669883B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0091—Means for obtaining special acoustic effects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
    • G10H1/08—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by combining tones
    • G10H1/10—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by combining tones for obtaining chorus, celeste or ensemble effects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/366—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems with means for modifying or correcting the external signal, e.g. pitch correction, reverberation, changing a singer's voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/87—Detection of discrete points within a voice signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/005—Musical accompaniment, i.e. complete instrumental rhythm synthesis added to a performed melody, e.g. as output by drum machines
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/061—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of musical phrases, isolation of musically relevant segments, e.g. musical thumbnail generation, or for temporal structure analysis of a musical piece, e.g. determination of the movement sequence of a musical work
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/245—Ensemble, i.e. adding one or more voices, also instrumental voices
    • G10H2210/251—Chorus, i.e. automatic generation of two or more extra voices added to the melody, e.g. by a chorus effect processor or multiple voice harmonizer, to produce a chorus or unison effect, wherein individual sounds from multiple sources with roughly the same timbre converge and are perceived as one
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/325—Musical pitch modification
    • G10H2210/331—Note pitch correction, i.e. modifying a note pitch or replacing it by the closest one in a given scale
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G10H2220/011—Lyrics displays, e.g. for karaoke applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/325—Synchronizing two or more audio tracks or files according to musical features or musical timings
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Machine Translation (AREA)
  • Auxiliary Devices For Music (AREA)

Description

本発明は音声データ処理方法及び装置に関する。
メディアアプリケーションの発展に伴って、音声データに対して編集を行うアプリケーションがますます多くなる。種々の音声データの収集及び再生のみに限らず、もっと音声データの編集に注目して、収集された音声データを原音として様々な音声データの出力が図る。
例えば、ユーザに提供されるカラオケの機能では、収集された音声データに対して、編集を行うとともに特定の効果音を付けてから出力し、リスナーに聴取されることが多い。音声データに対して行う編集において、ハーモニーの効果音の模擬を実現する必要があると、相応的な実現方式は、収集された音声データ、即ち入力された人声を原音として、他の人声をある数且つある比例で原音に重畳することにより、出力用の音声データが得られる。
ところで、そのハーモニーの効果音の模擬は、原音全体にハーモニーの効果音を付けることにより実現される。即ち、期間全体に亘ってハーモニー処理を行うので、リアルシーンでのハーモニーに反し、ハーモニーの効果音の模擬に歪みが生じるという制限がある。
これに鑑みて、本発明の一つの実施例では、音声データ全体が期間全体に亘ってハーモニーの効果音が付けられることを避け、ハーモニーの模擬のリアル性を向上させることができる音声データ処理方法を提供する。
また、一つの実施例では、音声データ全体が期間全体に亘ってハーモニーの効果音が付けられることを避け、ハーモニーの模擬のリアル性を向上させることができる音声データ処理装置を提供する。
本発明の一側面において、
処理する音声データに基づいて相応的な歌詞ファイルを取得することと、
前記歌詞ファイルにおける文に基づいて前記音声データを分割することにより、音声データセグメントを取得することと、
前記音声データセグメントにおける最後の音が対応するデータを抽出することと、
前記最後の音が対応するデータに対してハーモニー処理を行うこととを含む音声データ処理方法を提供する。
本発明の他の側面において、処理する音声データに基づいて相応的な歌詞ファイルを取得するための取得モジュールと、
前記歌詞ファイルにおける文に基づいて前記音声データを分割することにより、音声データセグメントを取得するための分割モジュールと、
前記音声データセグメントにおける最後の音が対応するデータを抽出するためのデータ抽出モジュールと、
前記最後の音が対応するデータに対してハーモニー処理を行うための最後の音処理モジュールとを含む音声データ処理装置を提供する。
さらに、本発明のまた他の側面において、いくつかの音声データ処理方法および音声データ処理装置を提供する
上記の側面からわかるように、ハーモニーの模擬を行う必要がある任意の音声データに対して、まず、その音声データが対応する歌詞ファイルを取得し、歌詞ファイルにおける文に基づいて音声データを分割することにより、音声データセグメントを取得して、音声データセグメントにおける最後の音が対応するデータを抽出し、そのデータに対してハーモニー処理を行う。つまり、その音声データに対して行う編集では、その音声データにおいて最後の音が対応するデータのみにハーモニー処理を行い、音声データ全体に対して期間全体に亘ってハーモニー処理を行うことではないので、ハーモニーの模擬の実現が実際に歌を歌う際に行われるハーモニーと一致し、ハーモニーの模擬のリアル性が向上する。
図１は、本発明の実施例が提供する電子機器の構成模式図である。 図２は、１つの実施例における音声データ処理方法のフローチャートである。 図３は、図２における処理する音声データに基づいて歌詞ファイルを取得する方法のフローチャートである。 図４は、図２における歌詞ファイルにおける文に基づいて音声データを分割することにより、音声データセグメントを取得する方法のフローチャートである。 図５は、１つの実施例における予め設定された最後の音の長さの値に基づいて音声データセグメントから最後の音が対応するデータを抽出する方法のフローチャートである。 図６は、図２における最後の音が対応するデータに対してハーモニー処理を行う方法のフローチャートである。 図７は、１つの実施例における音声処理装置の構成模式図である。 図８は、図７における歌詞取得モジュールの構成模式図である。 図９は、図７における分割モジュールの構成模式図である。 図１０は、図７における抽出モジュールの構成模式図である。 図１１は、図７における最後の音処理モジュールの構成模式図である。
本発明の代表的な実施形態について、以下の説明で詳細に記載する。本発明は、異なる実施形態に種々の変化があり、それらの変化がいずれも本発明の範囲を逸脱しないとともに、その説明及び図示が本質的に説明するためのものであり、本発明を制限するためのものではないこと、が理解すべきである。
上述したように、音声データに対して行う種々の編集では、入力された人声にハーモニーの効果音を付ける必要があれば、入力された人声全体に対して付けなければならなく、即ち、入力された人声全体にハーモニーの効果音を付加する。よって、従来の音声データの編集では、入力された任意の音声データに所要の効果音を付加することが可能であるが、ハーモニーの効果音に対して、単に、不自然に他の人声を当該音声データに直接重畳することにより、音声データ全体にハーモニーの効果音を付ける。これにより、ハーモニーの目的を達成するが、リアル性が欠けるので、リアルシーンでのハーモニーの效果を表さない。
よって、模擬のリアル性を確保し、リアルシーンでのハーモニーの效果を表すために、音声データ処理方法を提出する。当該音声データ処理方法が、コンピュータプログラムにより実現されることが可能であり、それに応じて、構築された音声データ処理装置が電子機器に格納されることが可能であるとともに、その電子機器でランニングすることが可能であり、これにより、任意の音声データのハーモニーを実現する。
図１に、本発明の実施例が提供する電子機器の構成を示す。当該電子機器１００は、本発明に適合する例だけであり、本発明の使用範囲を制限するものではない。当該電子機器１００が、図示する実施例の電子機器１００における１つまたは複数の部材の組み合わせを備える、または、それに依存する必要があること、と解釈できない。
図１に示すように、電子機器１００は、プロセッサ１１０と、メモリ１２０とシステムバス１３０とを含む。メモリ１２０とプロセッサ１１０を含む種々の構成要素がシステムバス１３０に接続される。プロセッサ１１０は、コンピュータシステムにおける基本的な演算及び論理演算によりコンピュータプログラムの命令を実行させるためのハードウェアによって実施されることが可能である。メモリ１２０は、コンピュータプログラムやデータを一時的または永続的に記憶するための物理機器によって実施されることが可能である。
そのうち、メモリ１２０には、複数の音声データ及び種々の歌詞ファイルが記憶されることが可能である。プロセッサ１１０は、メモリ１２０におけるプログラム命令を実行する。
携帯端末装置１００は、種々の操作の入力を実現するように、入力インターフェイス１７０と入力装置１４０とをさらに含む。そのうち、この入力装置１４０は、タッチスクリーンや、キーや、キーボードや、マウスなどの少なく１種であってもよい。
携帯端末装置１００は、記憶装置１８０をさらに含み、記憶装置１８０が、複数種のコンピュータ可読記憶媒体から選択されることが可能である。コンピュータ可読記憶媒体とは、アクセス可能且つ利用可能な任意の媒体を指し、リムーバブル媒体と固定媒体との２種類の媒体を含む。コンピュータ可読媒体は、例えば、フラッシュメモリ（マイクロＳＤカード）、ＣＤ−ＲＯＭ、ディジタルバーサタイルディスク（ＤＶＤ）または他のディスク、磁気テープカセット、磁気テープ記憶媒体または他の記憶装置、或いは所要の情報を記憶可能且つアクセス可能な他の任意の媒体を含んでもよいが、これに限定されない。
上記詳細に説明したように、本発明が適用される電子機器１００は、ハーモニー効果音を実現するための特定の操作を実行し、即ち、プロセッサ１１０によりメモリ１２０におけるプログラム命令を実行するという形で当該特定の操作を実行することにより、電子機器１００での音声データの処理を実現する。
また、ハードウェア回路またはハードウェア回路とソフトウェア命令との組み合わせによりも同様に本発明を実現することができるので、本発明の実現は、特定のハードウェア回路、ソフトウェア及び両方の組み合わせに限定されない。
１つの実施例では、具体的に、当該音声データ処理方法は、図２に示すように、下記動作を実行する。
ステップ２１０において、処理する音声データに基づいて相応的な歌詞ファイルを取得する。
その音声データは、現在編集している音声データであって、ユーザがある曲を歌っている際に録音される音声データであってもよいし、ユーザが予めある曲を歌って予め録音された音声データであってもよい。よって、音声データに対する編集は、リアルタイムに行ってもよいし、その音声データに対して行う後続編集であってもよい。
その音声データが属する曲に基づいて、歌詞ファイルを取得して、歌詞ファイルを根拠として当該音声データのハーモニーの模擬を行う。
また、当該音声データ処理方法は、図２に示すように、さらに下記動作を実行する。ステップ２３０において、歌詞ファイルにおける文に基づいて前記音声データを分割することにより、音声データセグメントを取得する。
歌詞ファイルの内容は、曲の１文毎の歌詞及び種々の相関の時点を含むので、歌詞ファイルにおける文に基づいて音声データの分割を行うことができ、即ち、前記音声データを分割して、文に対応する音声データセグメントを取得する。例えば、その音声データは１曲全体に亘って録音されたものであれば、歌詞ファイルにおける文に基づいて行う分割により、毎文が対応する音声データセグメントを取得する。
その音声データは、現在でリアルタイムに録音されているものであれば、その歌詞ファイルにおける相応的な文に基づいて分割を行うことにより、音声データの録音の進みに伴って分割して音声データセグメントを取得し続ける。
また、当該音声データ処理方法は、図２に示すように、さらに下記動作を実行する。ステップ２５０において、音声データセグメントにおける最後の音が対応するデータを抽出する。
音声データセグメントにおける最後の音に基づいてデータの抽出を行うことにより、最後の音が対応するデータを取得する。これにより、分割により取得された複数の音声データセグメントに対して、音声データセグメント毎における最後の音が対応するデータを取得するようになる。
また、当該音声データ処理方法は、図２に示すように、さらに下記動作を実行する。ステップ２７０において、最後の音が対応するデータに対してハーモニー処理を行う。
音声データセグメントにおける最後の音が対応するデータのみに対してハーモニー処理を行い、最後の音でハーモニー効果音の模擬を行う音声データセグメントを取得し、その音声データセグメントによりハーモニーの効果音を模擬する音声データを構成し、出力された音声データにハーモニーの効果音が付けられ、且つその音声データの出力において最後の音の部分のみにハーモニーの効果音の模擬が行われ、リアルシーンでのハーモニーと一致して、ハーモニー模擬のリアル性が保証される。
さらに、本実施例では、図３に示すように、１つの実施例において、当該ステップ２１０では、下記動作を実行する。テップ２１１において、処理する音声データに基づいて所属曲を取得する。また、テップ２１３において、所属曲が対応する歌詞ファイルを取得する。
当該音声データが対応する歌詞ファイルは、任意の形式であってもよいが、その内容が必ず複数の文及び文毎が対応する開始終了時点、即ち文毎の開始時間及び終了時間を含む。
さらに、実際の運営では、歌詞ファイルにおける内容は、歌詞が対応する文字及びその文字が対応する時点を含む。ここで、まず、１文毎の頭尾がそれぞれ対応する文字を決定して、その文の頭尾が対応する時点を取得する。その文の頭尾が対応する時点は、それぞれ文の開始時間と終了時間である。
１つの実施例では、図４に示すように、当該ステップ２３０では、下記動作を実行する。テップ２３１において、歌詞ファイルにおける文の開始時間及び終了時間を抽出する。
歌詞ファイルから文の開始時間及び終了時間の抽出を行い、文同士が時間を境界として区分される。
説明したいことは、歌詞ファイルにおいて文同士に間隔があると、その間隔が前の１文の尾端或いは次の１文の先端に帰属し、それに応じて、その終了時間が、間隔の末端が対応する時間であり、または、その開始時間が、間隔の前端が対応する時間である。
また、図４に示すように、当該ステップ２３０では、下記動作も実行する。テップ２３３において、開始時間及び終了時間に基づいて音声データを分割することにより、文が対応する音声データセグメントを取得する。
音声データにおける時間が歌詞ファイルにおける時間に一致するので、歌詞ファイルにおける時間に基づいて分割して文が対応する音声データセグメントを取得することができる。
つまり、歌を歌って録音された音声データに対して、その歌う内容が歌詞ファイルにおける歌詞及び時点に対応するので、歌詞ファイルにおける文と同じ期間にあるデータは、その文が対応する音声データセグメントである。
例えば、１文分の歌詞の最後の音が３秒であると、その文の歌詞が対応する音声データセグメントにおける３秒は、その音声データセグメントにおける１５秒から１８秒が対応するデータであり、その１５秒から１８秒が対応するデータは、その音声データセグメントにおける最後の音が対応するデータである。
さらに、本実施例では、当該ステップ２５０において、予め設定された最後の音の長さの値に基づいて音声データセグメントから最後の音が対応するデータを抽出する動作を含む。
最後の音の長さの値が予め設定された。当該最後の音の長さの値は、時間の値であり、最後の音が対応する時間の長さを表す。好ましくは、当該最後の音の長さの値が３秒に予め設定される。
音声データセグメント毎から、予め設定された最後の音の長さの値に基づいて最後の音が対応するデータを決定することが可能であるので、直接抽出すればよい。つまり、音声データセグメント毎において尾部の時間の長さが当該最後の音の長さの値に一致するデータは、最後の音が対応するデータである。
さらに、本実施例では、図５に示すように、予め設定された最後の音の長さの値に基づいて音声データセグメントから最後の音が対応するデータを抽出するステップは、ステップ２５１において、音声データセグメントの属する文が対応する終了時間及び予め設定された最後の音の長さの値に基づいて最後の音の開始時間を取得することを含む。
開始時間と終了時間に基づいて行う音声データの分割により、その分割された音声データセグメントが歌詞ファイルにおける文に対応する。これにより、音声データセグメント毎に、属する文があり、当該文が対応する終了時間を取得する。
終了時間と予め設定された最後の音の長さの値との差分は、最後の音の開始時間であり、最後の音の開始時間が音声データセグメントにおいて最後の音が対応するデータの抽出の開始点とされる。
また、図５に示すように、予め設定された最後の音の長さの値に基づいて音声データセグメントから最後の音が対応するデータを抽出するステップは、ステップ２５３において、最後の音の開始時間及び音声データのサンプリングレートに基づいて音声データセグメントから最後の音が対応する開始データの位置を決定することを含む。
音声データセグメントにおけるデータ毎に、対応する時間があり、つまり、その対応する時間がその音声データにおける位置及びサンプリングレートに基づいて決定されることが可能であり、即ち、ｔ＝ｎ／ｆｓ。ただし、ｔはデータが対応する時間であり、ｎは当該データの音声データにおける座標であり、ｆｓは音声データのサンプリングレートである。
上記からわかるように、最後の音の開始時間及び音声データのサンプリングレートに基づいて、最後の音の開始時間である時間が対応する音声データにおける座標を算出することができ、音声データセグメントからデータの位置を決定し、最後の音が対応する開始データを取得する。
また、図５に示すように、予め設定された最後の音の長さの値に基づいて音声データセグメントから最後の音が対応するデータを抽出するステップは、ステップ２５５において、音声データセグメントから、開始データを開始として、音声データセグメントの尾端を抽出するまでデータの抽出を行うことにより、最後の音が対応するデータを取得することを含む。
音声データセグメントから、直接に開始データを開始として、音声データセグメントの尾端を抽出するまで順序にデータの抽出を行い、これにより取得されたデータは、最後の音が対応するデータであり、その抽出されたデータに対してハーモニーの処理を行う。
上記したプロセスにより、分割し取得された音声データセグメントから最後の音が対応するデータを抽出し取得することができ、そのデータにより音声データセグメント毎のハーモニーの効果音の模擬を実現することで、音声データ全体のハーモニーの効果音の模擬が完成し、効果音の模擬のリアル性が向上される。
なお、注意すべきのは、文同士の間隔が前の１文が対応する音声データセグメントに帰属すれば、最後の音が対応するデータの抽出プロセスが、開始データと間隔の末端とのデータの抽出プロセスである。つまり、間隔が付加された音声データセグメントに対しても、開始データを開始として順次にデータの抽出を行うことにより、その間隔を含む最後の音が対応するデータを取得する。
後続のハーモニー処理においても、間隔を含む最後の音が対応するデータに対して、直接にハーモニー処理を行えばよい。
１つの実施例では、図６に示すように、当該ステップ２７０では、下記動作を含む。ステップ２７１において、最後の音が対応するデータを原音として、その原音をコピーしフォーリングトーン処理を行うことにより、中間データを取得する。
最後の音が対応するデータを１部コピーし、いずれの最後の音が対応するデータを原音として、他の最後の音が対応するデータに対してフォーリングトーン処理を行うことにより、中間データを取得する。そのうち、フォーリングトーン処理のためのアルゴリズムは、任意のｐｉｔｃｈｓｈｉｆｔに関するアルゴリズムである。
また、図６に示すように、当該ステップ２７０では、下記動作を含む。ステップ２７３において、前記中間データをコピーして複数部の中間データを取得し、毎部の中間データに対してそれぞれランダムな遅延及び減衰処理を行い、複数部のハーモニーの効果音データを取得する。
上記のようなステップにより、原音である最後の音が対応するデータ及び中間データを取得し、この際、中間データｓ’（ｎ）をＬ部コピーし、毎部にランダムな遅延及びランダムな減衰を付加し、即ち、ｓ”＝ｒ＊ｓ’（ｎ−Ｐ）。ただし、ｒは小数であり、Ｐは正数であり、ｓ”は任意のハーモニーの効果音データである。
また、図６に示すように、当該ステップ２７０では、下記動作を含む。ステップ２７５において、原音とハーモニーの効果音データとを重畳してハーモニーを模擬する音声データを取得する。
Ｌ部のｓ”を原音に重畳することにより音声データセグメントにおけるハーモニーを模擬した最後の音を取得することができ、音声データセグメントにおけるハーモニーの模擬を実現する。複数個の音声データセグメントがスティッチングされることにより、出力する音声データを得ることができる。
間隔を含む最後の音が対応するデータを原音とすれば、ハーモニーの効果音データも、その間隔を含む最後の音が対応するデータを基本として処理を行うことにより得られたものであるので、最後の音が対応するデータにおいて、間隔に対応する部分は空であり、それに応じて、ハーモニーの効果音データにおいて、間隔に対応する部分も空である。よって、原音とハーモニーの効果音データの重畳では、そのデータが空である部分も重畳されることにより、ハーモニーを模擬し間隔を含む最後の音を取得するので、最後の音のハーモニーの模擬を実現するとともに、既存の音声データに存在する間隔に影響しない。
具体的なアプリケーションにおいて、上記のような音声データ処理方法は、まず、相応的な歌詞ファイル、歌詞ファイルにおける文毎の開始時間ｓ（ｍ）及び終了時間ｄ（ｍ）を取得し、ただし、ｍとは、歌詞ファイルにおける第ｍ個の文を指す。開始時間ｓ（ｍ）及び終了時間ｄ（ｍ）も、その文が対応する音声データセグメントの開始点及び終了点である。
処理する音声データをｘ（ｎ）と仮定し、ｎはＮよりも小さい整数であり、その音声データの全長はＮである。
最後の音の長さの値をＴとして予め設定し、Ｔ＝３秒であり、これにより、音声データセグメントにおける最後の音の開始時間ｔｓ（ｍ）を取得し、即ち、ｔｓ（ｍ）＝ｄ（ｍ）−Ｔ。これにより、音声データセグメント毎に、それぞれ最後の音が対応するデータｓ（ｎ）を集める。
１部のｓ（ｎ）をコピーして、コピーにより得られたｓ（ｎ）に対してフォーリングトーン処理を行い、中間データｓ’（ｎ）を取得する。
この際、Ｌ部の中間データｓ’（ｎ）をコピーし、毎部の中間データｓ’（ｎ）にランダムな遅延及びランダムな減衰を付加し、即ち、ｓ”＝ｒ＊ｓ’（ｎ−Ｐ）であり、ただし、ｒは小数であり、Ｐは正数である。
Ｌ部のｓ”とｓ（ｎ）とを重畳してハーモニーを模擬した最後の音ｙ（ｎ）を得る。
上記のようなプロセスにより、音声データに対して、最後の音のハーモニーの模擬が精確的に実現される。
上記のような音声データ処理方法によれば、種々の音声アプリケーション、例えば、カラオケ用のアプリケーションが音声データのハーモニーの模擬を実現し、音声アプリケーションの機能を非常に豊富させる。
１つの実施例では、相応的に音声データ処理装置を提供する。図７に示すように、当該装置は、歌詞取得モジュール３１０と、分割モジュール３３０と、抽出モジュール３５０と最後の音処理モジュール３７０とを含む。
そのうち、歌詞取得モジュール３１０は、処理する音声データに基づいて歌詞ファイルを取得する。
分割モジュール３３０は、歌詞ファイルにおける文に基づいて音声データを分割することにより、音声データセグメントを取得する。
抽出モジュール３５０は、音声データセグメントにおける最後の音が対応するデータを抽出する。
最後の音処理モジュール３７０は、最後の音が対応するデータに対してハーモニー処理を行う。
１つの実施例では、図８に示すように、当該歌詞取得モジュール３１０は、所属曲取得手段３１１とファイル取得手段３１３とを含む。
そのうち、所属曲取得手段３１は、処理する音声データに基づいて所属曲を取得する。
ファイル取得手段３１３は、所属曲が対応する曲ファイルを取得する。
１つの実施例では、図９に示すように、当該分割モジュール３３０は、時間抽出モジュール３３１とデータ分割手段３３３とを含む。
そのうち、時間抽出モジュール３３１は、歌詞ファイルにおける文の開始時間及び終了時間を抽出する。
データ分割手段３３３が、開始時間及び終了時間に基づいて音声データを分割することにより、文が対応する音声データセグメントを取得する。
１つの実施例では、抽出モジュール３５０は、さらに、予め設定された最後の音の長さの値に基づいて音声データセグメントから最後の音が対応するデータを抽出する。
さらに、本実施例では、如図１０に示すように、当該抽出モジュール３５０は、最後の音時間算出手段３５１と、開始データ位置決定手段３５３と、データ抽出手段３５５とを含む。
そのうち、最後の音時間算出手段３５１は、音声データの属する文が対応する終了時間及び予め設定された最後の音の長さの値に基づいて、最後の音の開始時間を取得する。
開始データ位置決定手段３５３は、最後の音の開始時間及び音声データのサンプリングレートに基づいて、音声データセグメントから最後の音が対応する開始データの位置を決定する。
データ抽出手段３５５は、音声データセグメントから、開始データを開始として、音声データセグメントの尾端を抽出するまでデータの抽出を行うことにより、最後の音が対応するデータを取得する。
１つの実施例では、図１１に示すように、当該最後の音処理モジュール３７０は、フォーリングトーン処理手段３７１と、効果音生成手段３７３と、重畳手段３７５とを含む。
そのうち、フォーリングトーン処理手段３７２は、最後の音が対応するデータを原音として、その原音をコピーしフォーリングトーン処理を行うことにより、中間データを取得する。
効果音生成手段３７３は、前記中間データをコピーして、複数部の中間データを取得し、毎部の中間データに対してそれぞれランダムな遅延及び減衰処理を行い、複数部のハーモニーの効果音データを取得する。
重畳手段３７５は、原音とハーモニーの効果音データとを混合し重畳することにより、ハーモニーを模擬する音声データを取得する。
当業者は、以下のことが理解できる。上記実施例の全部または一部のステップがハードウェアにより実現されてもよく、プログラムからのかかるハードウェアへの命令により実現されてもよい。前記プログラムがコンピュータ可読記憶媒体に記憶されてもよい。上記言及した記憶媒体は、ＲＯＭやディスク、光ディスクなどであってもよい。
いくつかの代表的な実施態様を参照して本発明を説明しましたが、使用される用語は、制限的ではなく、説明用で例示的な用語であること、が理解できる。本発明が発明の要旨または本質を逸脱することなく様々な形で実施することができるので、上記実施態様は、いかなる前記詳細に限定されず、添付される特許請求の範囲で広く解釈されるべきものであるため、添付される特許請求の範囲に入るすべての変化及び変更が特許請求の範囲に含まれることが、理解できる。
１００ 電子機器
１１０ プロセッサ
１２０ メモリ
１３０ システムバス
１４０ 入力装置
１７０ 入力インターフェイス
１８０ 記憶装置
３１０ 歌詞取得モジュール
３１１ 所属曲取得手段
３１３ ファイル取得手段
３３０ 分割モジュール
３３１ 時間抽出モジュール
３３３ データ分割手段
３５０ 抽出モジュール
３５１ 最後の音時間算出手段
３５３ 開始データ位置決定手段
３５５ データ抽出手段
３７０ 最後の音処理モジュール
３７１ フォーリングトーン処理手段
３７３ 効果音生成手段
３７５ 重畳手段

Claims (12)

  1. 処理する音声データに基づいて歌詞ファイルを取得することと、
    前記歌詞ファイルにおける文に基づいて前記音声データを分割することにより、音声データセグメントを取得することと、
    前記音声データセグメントにおける最後の音が対応するデータを抽出することと、
    前記最後の音が対応するデータに対してハーモニーの処理を行うことと、を含むことを特徴とする音声データ処理方法。
  2. 前記処理する音声データに基づいて歌詞ファイルを取得するステップは、前記処理する音声データに基づいて所属曲を取得することと、前記所属曲が対応する歌詞ファイルを取得することと、を含むことを特徴とする請求項１に記載の方法。
  3. 前記歌詞ファイルにおける文に基づいて前記音声データを分割することにより、音声データセグメントを取得するステップは、前記歌詞ファイルにおける文の開始時間及び終了時間を抽出することと、前記開始時間及び終了時間に基づいて前記音声データを分割して、文が対応する音声データセグメントを取得することと、を含むことを特徴とする請求項１に記載の方法。
  4. 前記音声データセグメントにおける最後の音が対応するデータを抽出するステップは、予め設定された最後の音の長さの値に基づいて、前記音声データセグメントから最後の音が対応するデータを抽出すること、を含むことを特徴とする請求項３に記載の方法。
  5. 予め設定された最後の音の長さの値に基づいて、前記音声データセグメントから最後の音が対応するデータを抽出するステップは、前記音声データセグメントの属する文が対応する終了時間及び予め設定された最後の音の長さの値に基づいて最後の音の開始時間を取得することと、前記最後の音の開始時間及び前記音声データのサンプリングレートに基づいて、前記音声データセグメントから最後の音が対応する開始データの位置を決定することと、前記音声データセグメントから、前記開始データを開始として、前記音声データセグメントの尾端を抽出するまでデータの抽出を行うことにより、前記最後の音が対応するデータを取得することと、を含むことを特徴とする請求項４に記載の方法。
  6. 前記最後の音が対応するデータに対してハーモニーの処理を行うステップは、前記最後の音が対応するデータを原音として、前記原音をコピーしフォーリングトーン処理を行うことにより、中間データを取得することと、前記中間データをコピーして、複数部の前記中間データを取得することと、毎部の中間データに対してそれぞれランダムな遅延及び減衰処理を行い、複数部のハーモニーの効果音データを取得することと、前記原音と前記ハーモニーの効果音データとを混合し重畳することにより、ハーモニーを模擬する音声データを取得することと、含むことを特徴とする請求項１に記載の方法。
  7. 処理する音声データに基づいて歌詞ファイルを取得するための歌詞取得モジュールと、
    前記歌詞ファイルにおける文に基づいて前記音声データを分割することにより、音声データセグメントを取得するための分割モジュールと、
    前記音声データセグメントにおける最後の音が対応するデータを抽出するための抽出モジュールと、
    前記最後の音が対応するデータに対してハーモニー処理を行うための最後の音処理モジュールとを含むことを特徴とする音声データ処理装置。
  8. 前記歌詞取得モジュールは、前記処理する音声データに基づいて所属曲を取得するための所属曲取得手段と、前記所属曲が対応する歌詞ファイルを取得するためのファイル取得手段と、を含むことを特徴とする請求項７に記載の装置。
  9. 前記分割モジュールは、前記歌詞ファイルにおける文の開始時間及び終了時間を抽出するための時間抽出手段と、前記開始時間及び終了時間に基づいて前記音声データを分割して、文が対応する音声データセグメントを取得するためのデータ分割手段と、を含むことを特徴とする請求項７に記載の装置。
  10. 前記抽出モジュールは、さらに、予め設定された最後の音の長さの値に基づいて、前記音声データセグメントから最後の音が対応するデータを抽出することを特徴とする請求項９に記載の装置。
  11. 前記抽出モジュールは、前記音声データセグメントの属する文が対応する終了時間及び予め設定された最後の音の長さの値に基づいて最後の音の開始時間を取得するための最後の音時間算出手段と、前記最後の音の開始時間及び前記音声データのサンプリングレートに基づいて、前記音声データセグメントから最後の音が対応する開始データの位置を決定するための開始データ位置決定手段と、前記音声データセグメントから、前記開始データを開始として、前記音声データセグメントの尾端を抽出するまでデータの抽出を行うことにより、前記最後の音が対応するデータを取得するためのデータ抽出手段と、を含むことを特徴とする請求項１０に記載の装置。
  12. 前記最後の音処理モジュールは、前記最後の音が対応するデータを原音として、前記原音をコピーしフォーリングトーン処理を行うことにより、中間データを取得するためのフォーリングトーン処理手段と、前記中間データをコピーして、複数部の前記中間データを取得し、毎部の中間データに対してそれぞれランダムな遅延及び減衰処理を行い、複数部のハーモニーの効果音データを取得するための効果音生成手段と、前記原音と前記ハーモニーの効果音データとを混合し重畳することにより、ハーモニーを模擬する音声データを取得するための重畳手段と、を含むことを特徴とする請求項７に記載の装置。
JP2018541477A 2015-11-03 2016-11-03 音声データ処理方法及び装置 Active JP6669883B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510738376.7A CN106653037B (zh) 2015-11-03 2015-11-03 音频数据处理方法和装置
CN201510738376.7 2015-11-03
PCT/CN2016/104402 WO2017076304A1 (zh) 2015-11-03 2016-11-03 音频数据处理方法和装置

Publications (2)

Publication Number Publication Date
JP2018537732A JP2018537732A (ja) 2018-12-20
JP6669883B2 true JP6669883B2 (ja) 2020-03-18

Family

ID=58662548

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018541477A Active JP6669883B2 (ja) 2015-11-03 2016-11-03 音声データ処理方法及び装置

Country Status (6)

Country Link
US (1) US10665218B2 (ja)
EP (1) EP3373299B1 (ja)
JP (1) JP6669883B2 (ja)
KR (1) KR102083917B1 (ja)
CN (1) CN106653037B (ja)
WO (1) WO2017076304A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106653037B (zh) * 2015-11-03 2020-02-14 广州酷狗计算机科技有限公司 音频数据处理方法和装置
CN107452361B (zh) * 2017-08-08 2020-07-07 腾讯音乐娱乐（深圳）有限公司 歌曲分句方法及装置
CN108182953B (zh) * 2017-12-27 2021-03-16 上海传英信息技术有限公司 音频尾部pop音处理方法和装置
CN108172210B (zh) * 2018-02-01 2021-03-02 福州大学 一种基于歌声节奏的演唱和声生成方法
CN108648733B (zh) * 2018-03-15 2020-07-03 北京雷石天地电子技术有限公司 一种迪曲生成方法及系统
CN108831425B (zh) * 2018-06-22 2022-01-04 广州酷狗计算机科技有限公司 混音方法、装置及存储介质
CN112559798B (zh) * 2019-09-26 2022-05-17 北京新唐思创教育科技有限公司 音频内容质量的检测方法及装置
CN111145765B (zh) * 2019-12-31 2022-04-15 思必驰科技股份有限公司 一种音频处理方法、装置、电子设备及存储介质
CN111429880A (zh) * 2020-03-04 2020-07-17 苏州驰声信息科技有限公司 一种切割段落音频的方法、系统、装置、介质

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4527274A (en) * 1983-09-26 1985-07-02 Gaynor Ronald E Voice synthesizer
US5621538A (en) * 1993-01-07 1997-04-15 Sirius Publishing, Inc. Method for synchronizing computerized audio output with visual output
JP2838977B2 (ja) * 1995-01-17 1998-12-16 ヤマハ株式会社 カラオケ装置
JP2921428B2 (ja) * 1995-02-27 1999-07-19 ヤマハ株式会社 カラオケ装置
JP3183117B2 (ja) * 1995-09-13 2001-07-03 ヤマハ株式会社 カラオケ装置
EP0913808B1 (en) * 1997-10-31 2004-09-29 Yamaha Corporation Audio signal processor with pitch and effect control
US7058889B2 (en) * 2001-03-23 2006-06-06 Koninklijke Philips Electronics N.V. Synchronizing text/visual information with audio playback
US20020193895A1 (en) * 2001-06-18 2002-12-19 Ziqiang Qian Enhanced encoder for synchronizing multimedia files into an audio bit stream
AU2003275089A1 (en) * 2002-09-19 2004-04-08 William B. Hudak Systems and methods for creation and playback performance
US20050123886A1 (en) * 2003-11-26 2005-06-09 Xian-Sheng Hua Systems and methods for personalized karaoke
US7718885B2 (en) * 2005-12-05 2010-05-18 Eric Lindemann Expressive music synthesizer with control sequence look ahead capability
KR100658869B1 (ko) * 2005-12-21 2006-12-15 엘지전자 주식회사 음악생성장치 및 그 운용방법
US20070166683A1 (en) * 2006-01-05 2007-07-19 Apple Computer, Inc. Dynamic lyrics display for portable media devices
US8304642B1 (en) * 2006-03-09 2012-11-06 Robison James Bryan Music and lyrics display method
CN101046956A (zh) * 2006-03-28 2007-10-03 国际商业机器公司 交互式音效产生方法及系统
CN101438342A (zh) * 2006-05-08 2009-05-20 皇家飞利浦电子股份有限公司 用于对准歌曲与它的歌词的方法和电子设备
CN101261865B (zh) * 2007-04-20 2012-07-04 炬力集成电路设计有限公司 媒体电子文件的制作方法、装置及其播放设备及方法
US8244546B2 (en) * 2008-05-28 2012-08-14 National Institute Of Advanced Industrial Science And Technology Singing synthesis parameter data estimation system
CN101567184B (zh) * 2009-03-24 2013-07-10 广州酷狗计算机科技有限公司 一种卡拉ok动感歌词的制作方法
JP2011215358A (ja) * 2010-03-31 2011-10-27 Sony Corp 情報処理装置、情報処理方法及びプログラム
US9601127B2 (en) * 2010-04-12 2017-03-21 Smule, Inc. Social music system and method with continuous, real-time pitch correction of vocal performance and dry vocal capture for subsequent re-rendering based on selectively applicable vocal effect(s) schedule(s)
US20120234158A1 (en) * 2011-03-15 2012-09-20 Agency For Science, Technology And Research Auto-synchronous vocal harmonizer
JP2013037274A (ja) * 2011-08-10 2013-02-21 Sony Corp 信号処理装置および方法、信号処理システム、並びにプログラム
JP5895740B2 (ja) * 2012-06-27 2016-03-30 ヤマハ株式会社 歌唱合成を行うための装置およびプログラム
JP6083764B2 (ja) * 2012-12-04 2017-02-22 国立研究開発法人産業技術総合研究所 歌声合成システム及び歌声合成方法
US9620092B2 (en) * 2012-12-21 2017-04-11 The Hong Kong University Of Science And Technology Composition using correlation between melody and lyrics
CN103165119B (zh) * 2013-01-31 2015-12-09 华为技术有限公司 K歌方法及系统
JP5817854B2 (ja) * 2013-02-22 2015-11-18 ヤマハ株式会社 音声合成装置およびプログラム
JP6171828B2 (ja) * 2013-10-18 2017-08-02 ヤマハ株式会社 音響効果データ生成方法を実現するためのプログラムおよび音響効果データ生成装置
CN104834642B (zh) * 2014-02-11 2019-06-18 北京三星通信技术研究有限公司 改变音乐演绎风格的方法、装置及设备
JP6283936B2 (ja) * 2014-02-26 2018-02-28 ブラザー工業株式会社 カラオケ装置、及びカラオケ用プログラム
KR101554662B1 (ko) * 2014-04-29 2015-09-21 김명구 디지털 오디오 데이터에 대한 코드 제공 방법 및 이에 의한 사용자 단말
CN105006234B (zh) * 2015-05-27 2018-06-29 广州酷狗计算机科技有限公司 一种k歌处理方法及装置
CN106653037B (zh) * 2015-11-03 2020-02-14 广州酷狗计算机科技有限公司 音频数据处理方法和装置

Also Published As

Publication number Publication date
CN106653037A (zh) 2017-05-10
EP3373299B1 (en) 2020-11-04
US10665218B2 (en) 2020-05-26
CN106653037B (zh) 2020-02-14
KR20180088824A (ko) 2018-08-07
US20180247629A1 (en) 2018-08-30
JP2018537732A (ja) 2018-12-20
KR102083917B1 (ko) 2020-04-23
EP3373299A1 (en) 2018-09-12
EP3373299A4 (en) 2019-07-17
WO2017076304A1 (zh) 2017-05-11

Similar Documents

Publication Publication Date Title
JP6669883B2 (ja) 音声データ処理方法及び装置
CN106652997B (zh) 一种音频合成的方法及终端
TWI576822B (zh) Ｋ歌處理方法及系統
CN107123415B (zh) 一种自动编曲方法及系统
CN106486128B (zh) 一种双音源音频数据的处理方法及装置
US10325581B2 (en) Singing voice edit assistant method and singing voice edit assistant device
KR20180050745A (ko) 노래 확정 방법과 장치, 기억 매체
WO2016188211A1 (zh) 音频处理方法、装置及系统
CN106971749A (zh) 音频处理方法及电子设备
US10497347B2 (en) Singing voice edit assistant method and singing voice edit assistant device
JP2017513049A (ja) カラオケ曲の演奏に関するフィードバックをユーザに提供する方法
JP2019219638A (ja) 音楽合成方法及びシステム、端末並びにコンピュータ可読記憶媒体
CN112967705B (zh) 一种混音歌曲生成方法、装置、设备及存储介质
US10343072B2 (en) Apparatus and method of producing rhythm game, and non-transitory computer readable medium
CN112995736A (zh) 语音字幕合成方法、装置、计算机设备及存储介质
WO2016112841A1 (zh) 一种信息处理方法及客户端、计算机存储介质
WO2020015411A1 (zh) 一种训练改编水平评价模型、评价改编水平的方法及装置
WO2023051246A1 (zh) 视频录制方法、装置、设备及存储介质
CN109410972B (zh) 生成音效参数的方法、装置及存储介质
JP2017032601A (ja) 自動伴奏データ生成装置および自動伴奏データ生成プログラム
Pan et al. Musical instruments simulation on mobile platform
KR101580247B1 (ko) 스트리밍 음원의 리듬분석 장치 및 방법
Hope et al. Reading ‘Free Music:’Adapting Percy Grainger’s ‘Free Music’Scores for Live Performance
US11922911B1 (en) Method and system for performing musical score
WO2018008081A1 (ja) 照明制御データ生成用楽曲選択装置、照明制御データ生成用楽曲選択方法、および照明制御データ生成用楽曲選択プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180613

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180613

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200227

R150 Certificate of patent or registration of utility model

Ref document number: 6669883

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250