JP6988343B2 - 歌唱音声の編集支援方法、および歌唱音声の編集支援装置 - Google Patents

歌唱音声の編集支援方法、および歌唱音声の編集支援装置 Download PDF

Info

Publication number
JP6988343B2
JP6988343B2 JP2017191630A JP2017191630A JP6988343B2 JP 6988343 B2 JP6988343 B2 JP 6988343B2 JP 2017191630 A JP2017191630 A JP 2017191630A JP 2017191630 A JP2017191630 A JP 2017191630A JP 6988343 B2 JP6988343 B2 JP 6988343B2
Authority
JP
Japan
Prior art keywords
editing
waveform
singing
pitch curve
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017191630A
Other languages
English (en)
Other versions
JP2019066650A (ja
Inventor
基 小笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2017191630A priority Critical patent/JP6988343B2/ja
Priority to CN201811130796.7A priority patent/CN109584910B/zh
Priority to US16/145,661 priority patent/US10354627B2/en
Priority to EP18197462.7A priority patent/EP3462441B1/en
Publication of JP2019066650A publication Critical patent/JP2019066650A/ja
Application granted granted Critical
Publication of JP6988343B2 publication Critical patent/JP6988343B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G10H7/008Means for controlling the transition from one tone waveform to another
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033Voice editing, e.g. manipulating the voice of the synthesiser
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/325Musical pitch modification
    • G10H2210/331Note pitch correction, i.e. modifying a note pitch or replacing it by the closest one in a given scale
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005Non-interactive screen display of musical or status data
    • G10H2220/011Lyrics displays, e.g. for karaoke applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • G10H2220/116Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters for graphical editing of sound parameters or waveforms, e.g. by graphical interactive control of timbre, partials or envelope
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • G10H2220/121Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters for graphical editing of a musical score, staff or tablature
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • G10H2220/126Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters for graphical editing of individual notes, parts or phrases represented as variable length segments on a 2D or 3D representation, e.g. graphical edition of musical collage, remix files or pianoroll representations of MIDI-like files
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/315Sound category-dependent sound synthesis processes [Gensound] for musical use; Sound category-specific synthesis-controlling parameters or control means therefor
    • G10H2250/455Gensound singing voices, i.e. generation of human voices for musical applications, vocal singing sounds or intelligible words at a desired pitch or with desired vocal effects, e.g. by phoneme synthesis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

本発明は、歌唱音声の編集を支援する技術に関する。
近年、歌唱音声を電気的に合成する歌唱合成技術が普及している。従来の歌唱合成技術では、ピアノロール形式の画面を用いて曲のメロディを構成する音符の入力や音符に合せて発音する歌詞の入力を行うことが一般的であった(例えば、特許文献1参照)。
特開2011−221085号公報
実際の歌唱音声では、音符の開始タイミングとその音符に対応する歌詞の音声の再生開始タイミングとが揃っていないことがある。しかし、特許文献1に開示の技術では、音符の開始タイミングとその音符に対応する歌詞の音声の再生開始タイミングのずれを把握することはできず、音符に対応する歌詞の音声の再生開始部分の編集が難しい、といった問題があった。
本発明は以上に説明した課題に鑑みて為されたものであり、歌唱音声の合成において音符に対応する歌詞の音声の再生開始部分の編集を容易に行えるようにする技術を提供することを目的とする。
上記課題を解決するために本発明は、以下の波形表示ステップと音素表示ステップと、を有することを特徴とする歌唱音声の編集支援方法を提供する。波形表示ステップは、音符の時系列を表す楽譜データと歌詞を表す歌詞データとに相当する歌唱波形データの表す歌唱波形を、一方の軸が音高を表し他方の軸が時間を表す波形表示画面に音符毎に配置して表示装置に表示するである。音素表示ステップは、歌詞の音素を示す情報を前記波形表示画面における当該音素の発音位置に表示するステップである。
本発明によれば、波形表示画面に表示される歌唱波形の開始位置と歌詞の音素を示す情報の表示位置とから、音符の開始タイミングと音符に対応する歌詞の音声の再生開始タイミングのずれを、視覚を通じて容易に把握することが可能になる。このため、本発明によれば、音符の開始タイミングと音符に対応する歌詞の音声の再生開始タイミングのずれを視覚的に把握しつつ、歌唱音声の編集を行えるようになるので、音符に対応する歌詞の音声の再生開始部分の編集が容易になる。
より好ましい態様においては、上記編集支援方法は、以下の切り替えステップと算出ステップと、を含むことを特徴とする。切り替えステップは、前記楽譜データと前記歌詞データの少なくとも一方に対する編集指示の入力を契機として、前記表示装置の表示画面を、前記楽譜データと前記歌詞データの少なくとも一方を編集するための楽譜編集画面に切り替えるステップである。算出ステップは、前記楽譜編集画面に対する編集操作に応じて前記楽譜データと前記歌詞データの少なくとも一方を変更し、前記歌唱波形データを算出し直すステップである。楽譜編集画面の一例としては前述のピアノロール形式の画面が挙げられる。楽譜データ或いは歌詞データの編集には前述のピアノロール形式の画面が好適だからである。本態様によれば、楽譜データや歌詞データの編集に好適な画面に切り替えてそれらデータの編集を行うことが可能になるとともに、それらデータの変更により生じた歌唱波形の変化や歌詞を構成する音素の変化(或いは当該音素の発音位置や音高の変化)を即座に把握することが可能になる。
別の好ましい態様においては、上記編集支援方法は、以下の開始タイミング編集ステップと算出ステップとを含むことを特徴とする。開始タイミング編集ステップは、音符に対応する歌唱波形の開始タイミングの変更指示を受け付け、指示内容に応じて歌唱波形の開始タイミングを編集するステップである。算出ステップは、開始タイミング編集ステップにおける編集内容に応じて前記歌唱波形データを算出し直すステップである。この態様によれば、音符に対応する歌唱波形の開始タイミングの変更に伴う歌唱波形の変化を確認しつつ、歌唱波形の開始タイミングを変更することが可能になり、音符に対応する歌詞の音声の再生開始部分の編集を一層容易に行えるようになる。さらに好ましい態様においては、上記編集支援方法は、音符を示す一区切りの図形である音符ブロックを楽譜データにしたがって音符毎に波形表示画面に表示する音符表示ステップをさらに有することを特徴とする。この態様によれば、音符の開始タイミングと歌唱波形の開始位置の関係をより明確に把握することができ、音符に対応する歌詞の音声の再生開始部分の編集を一層容易に行えるようになる。
別の好ましい態様においては、上記編集支援方法は、以下のピッチカーブ表示ステップ、ピッチカーブ編集ステップ、および算出ステップを含むことを特徴とする。ピッチカーブ表示ステップは、音高の時間変化を表すピッチカーブを前記楽譜データにしたがって前記波形表示画面に表示するステップである。ピッチカーブ編集ステップは、前記ピッチカーブにおけるアタック部分またはリリース部分の変更指示を音符毎に受け付け、指示内容に応じて前記ピッチカーブを編集するステップである。そして、算出ステップは、前記ピッチカーブ編集ステップにおける編集内容に応じて前記歌唱波形データを算出し直すステップである。この態様によれば、音高の時間変化と歌唱波形の関係を一目で把握することができ、音符に対応する歌詞の音声の再生開始部分の編集を一層容易に行えるようになる。さらに好ましい態様としては、前記ピッチカーブ編集ステップでは、前記歌唱音声に付与する音響効果の種類に応じて時間軸方向と音量軸方向の少なくとも一方の方向に前記ピッチカーブを伸縮させることを促す編集補助画面を前記表示装置に表示させ、当該編集補助画面に対する指示内容に応じて前記ピッチカーブを編集する態様が考えられる。この態様によれば、ピッチカーブの編集が容易になる。
また、上記課題を解決するために本発明は、以下の波形表示手段と音素表示手段とを有することを特徴とする歌唱音声の編集支援装置を提供する。波形表示手段は、音符の時系列を表す楽譜データと歌詞を表す歌詞データとに相当する歌唱波形データの表す歌唱波形を、一方の軸が音高を表し他方の軸が時間を表す波形表示画面に音符毎に配置して表示装置に表示する。音素表示手段は、歌詞の音素を示す情報を前記波形表示画面における当該音素の発音位置に表示する。この態様によっても、歌唱音声の合成における音符に対応する歌詞の音声の再生開始部分の編集を容易に行えるようになる。
本発明の別の態様としては、上記波形表示ステップと上記音素表示ステップとをコンピュータに実行させるプログラム、或いは、コンピュータを上記波形表示手段および上記音素表示手段として機能させるプログラム、を提供する態様が考えられる。また、これらプログラムの具体的な提供態様としてはインターネットなどの電気通信回線経由のダウンロードにより配布する態様や、CD−ROM(Compact Disk-Read Only Memory)などのコンピュータ読み取り可能な記録媒体に書き込んで配布する態様が考えられる。
本発明の一実施形態による編集支援方法を実行する歌唱合成装置1の構成例を示す図である。 歌唱合成入力データの構成および歌唱合成出力データの構成を示す図である。 編集支援プログラムにしたがって作動している制御部100が表示部120aに表示させる楽譜編集画面の一例を示す図である。 編集対象の歌唱合成入力データが指定された後の楽譜編集画面の表示例を示す図である。 編集支援プログラムにしたがって制御部100が実行する更新処理の流れを示すフローチャートである。 編集支援プログラムにしたがって制御部100が実行する波形表示処理の流れを示すフローチャートである。 編集支援プログラムにしたがって作動している制御部100が表示部120aに表示させる波形表示画面の一例を示す図である。 編集支援プログラムにしたがって作動している制御部100が表示部120aに表示させる波形表示画面の一例を示す図である。 編集支援プログラムにしたがって制御部100が実行する更新処理の流れを示すフローチャートである。 波形表示画面における歌唱波形の開始タイミングの編集対象領域A03の表示例を示す図である。 ピッチカーブのアタック部分或いはリリース部分にエフェクトを付与する際の編集補助画面の一例を示す図である。 本発明の編集支援装置10の構成例を示す図である。
以下、図面を参照しつつ本発明の実施形態を説明する。
図1は、本発明の一実施形態の歌唱合成装置1の構成例を示す図である。歌唱合成装置1は、例えばパーソナルコンピュータであり、歌唱合成用データベース134aと歌唱合成プログラム134bが予めインストールされている。図1に示すように、歌唱合成装置1は、制御部100、外部機器インタフェース部110、ユーザインタフェース部120、記憶部130、およびこれら構成要素間のデータ授受を仲介するバス140を有する。なお、図1では、外部機器インタフェース部110は外部機器I/F部110と略記されており、ユーザインタフェース部120はユーザI/F部120と略記されている。以下、本明細書においても同様に略記する。本実施形態では、歌唱合成用データベース134aおよび歌唱合成プログラム134bのインストール先のコンピュータ装置がパーソナルコンピュータである場合について説明するが、タブレット端末やスマートフォン、PDAなどの携帯型情報端末であっても良く、また、携帯型或いは据置型の家庭用ゲーム機であっても良い。
制御部100は例えばCPU(Central Processing Unit)である。制御部100は記憶部130に記憶されている歌唱合成プログラム134bを実行することにより、歌唱合成装置1の制御中枢として機能する。
図1では詳細な図示を省略したが、外部機器I/F部110は、通信インタフェースとUSBインタフェースを含む。外部機器I/F部110は、他のコンピュータ装置などの外部機器との間でデータ授受を行う。具体的には、USB(Universal Serial Bus)インタフェースにはUSBメモリ等が接続され、制御部100による制御の下で当該USBメモリからデータを読み出し、読み出したデータを制御部100に引き渡す。通信インタフェースはインターネットなどの電気通信回線に有線接続または無線接続される。通信インタフェースは、制御部200による制御の下で接続先の電気通信回線から受信したデータを制御部100に引き渡す。外部機器I/F部110は、歌唱合成用データベース134aや歌唱合成プログラム134bのインストールの際に利用される。
ユーザI/F部120は、表示部120aと、操作部120bと、音出力部120cとを有する。表示部120aは例えば液晶ディスプレイとその駆動回路である。表示部120aは、制御部100による制御の下、各種画像を表示する。表示部120aに表示される画像の一例としては、歌唱音声の編集を支援するための各種画面の画像が挙げられる。操作部120bは、例えばマウスなどのポインティングデバイスとキーボードとを含む。操作部120bに対してユーザが何らかの操作を行うと、操作部120bはその操作内容を表すデータを制御部100に引き渡す。これにより、ユーザの操作内容が制御部100に伝達される。なお、歌唱合成プログラム134bを携帯型情報端末にインストールして歌唱合成装置1を構成する場合には、操作部120bとしてタッチパネルを用いるようにすれば良い。音出力部120cは制御部100から与えられる波形データにD/A変換を施してアナログ音信号を出力するD/A変換器と、D/A変換器から出力されるアナログ音信号に応じて音を出力するスピーカとを含む。音声出力部120cは、合成した歌唱音声を再生する際に利用される。
記憶部130は、図1に示すように揮発性記憶部132と不揮発性記憶部134とを含む。揮発性記憶部132は例えばRAM(Random Access Memory)である。揮発性記憶部132は、プログラムを実行する際のワークエリアとして制御部100によって利用される。不揮発性記憶部134は例えばハードディスクである。不揮発性記憶部134には、歌唱合成用データベース134aが記憶されている。歌唱合成用データベース134aには、声色や音素が異なる多種多様な音声素片の各々の波形データである音声素片データが声色毎に分類されて格納されている。不揮発性記憶部134aには、歌唱合成用データベース134aの他に歌唱合成プログラム134bが格納されている。また、図1では詳細な図示を省略したが、不揮発性記憶部134には、OS(Operating System)を制御部100に実現させるカーネルプログラムが記憶されている。
制御部100は、歌唱合成装置1の電源投入を契機としてカーネルプログラムを不揮発性記憶部134から揮発性記憶部132に読出し、その実行を開始する。なお、図1では、歌唱合成装置1の電源の図示は省略されている。カーネルプログラムにしたがってOSを実現している状態の制御部100は、操作部120bに対する操作により実行を指示されたプログラムを不揮発性記憶部134から揮発性記憶部132へ読出し、その実行を開始する。例えば、操作部120bに対する操作により歌唱合成プログラム134bの実行を指示された場合には、制御部100は歌唱合成プログラム134bを不揮発性記憶部134から揮発性記憶部132へ読出し、その実行を開始する。なお、プログラムの実行を指示する操作の具体例としては、プログラムに対応付けて表示部120aに表示されるアイコンのマウスクリックや当該アイコンに対するタップが挙げられる。
歌唱合成プログラム134bにしたがって作動している制御部100は、歌唱音声の合成対象となる曲のメロディに対応する音符の時系列を表す楽譜データと、音符に合せて発音する歌詞を表す歌詞データとにしたがって歌唱合成出力データを生成し、当該生成した歌唱合成出力データを不揮発性記憶部134に書き込む歌唱合成エンジンとして機能する。歌唱合成出力データとは、楽譜データと歌詞データとにしたがって合成される歌唱音声の音波形を表す波形データ(例えば、wav形式のオーディオデータ)であり、より具体的には、当該音波形をサンプリングして得られるサンプル列である。本実施形態では、上記楽譜データと歌詞データは、両者を一体とした歌唱合成入力データとして歌唱合成装置1に記憶される。また、当該歌唱合成入力データにしたがって生成された歌唱合成出力データは、当該歌唱合成入力データに対応付けて記憶される。
図2は、歌唱合成入力データINDと、この歌唱合成入力データINDから合成される歌唱合成出力データOUTDの関係を示す図である。歌唱合成入力データINDは、例えばSMF(Standard MIDI File)の形式に準拠したデータ、すなわち発音すべきノート(音符)のイベントを発音順に規定するデータである。図2に示すように、歌唱合成入力データINDは、歌唱音声の合成対象となる曲のメロディを構成する音符の発音順に、当該音符の開始/終了時刻を表すデータ、当該音符の音高を表す音程データ、当該音符に合せて発音する歌詞を表す歌詞データ、および歌唱音声における歌唱の個性の調整用のパラメータを配列したデータである。音符の開始/終了時刻を表すデータと当該音符の音高を表す音程データは前述した楽譜データの役割を果たす。歌唱音声の歌唱の個性の調整の具体例としては、人間の歌唱したような自然な歌唱音声となるように音量の変化態様や音高の変化態様、歌詞の発音の長さを編集することが挙げられる。歌唱音声における歌唱の個性の調整用のパタメータの具体例としては、楽譜データの表す各音符の音量、音高、および継続時間の少なくとも1つ、ブレスの付与タイミング或いは回数、ブレスの強さを表すパラメータ、歌唱音声の音色(声色)を指定するデータ、音符に合せて発音する歌詞の子音の長さを規定するデータ、ビブラートの持続時間および振幅を示すデータ等が挙げられる。本実施形態では、従来の歌唱合成技術と同様にSMFにおける音符のVelocityデータに、当該音符に合せて発音する歌詞の子音の長さを規定するデータの役割を担わせている。
本実施形態では、音符に合せて発音する歌詞を表す歌詞データとして、歌詞を構成する文字列を表すテキストデータと、当該歌詞の音素を表す発音記号データが用いられている。しかし、上記歌詞データとしてテキストデータのみを用いても良く、また発音記号データのみを用いても良い。ただし、歌詞データとして上記テキストデータのみを用いる場合には、当該テキストデータから発音記号データを生成する仕組みを歌唱合成プログラム134bに設けておく必要がある。つまり、本実施形態の歌唱合成入力データにおける歌詞データは、歌詞の発音記号を表すデータ、或いは当該発音記号を特定可能なデータであればどのような内容或いは形式のデータであっても良い。
図2に示すように、歌唱合成エンジンにより生成され、不揮発性記憶部134に書き込まれる歌唱合成出力データOUTDは、歌唱音声のフレーム毎に当該フレームにおける歌唱音声の波形を表す歌唱波形データと、当該フレームにおけるピッチの時間変化を表すピッチカーブデータと、当該フレームにおける歌詞の音素を表す発音記号データとを配列したデータである。フレームとは、歌唱波形データを構成するサンプル列のサンプリングタイミングのことを言い、歌唱波形データ或いはピッチカーブデータのフレーム毎のデータとは、サンプリングタイミング毎の歌唱波形或いはピッチカーブのサンプル値のことを言う。歌唱合成出力データOUTDに含まれる歌唱波形データは、歌唱合成入力データINDの表す音符毎に当該音符に合せて発音する歌詞の音素に対応した音声素片データを歌唱合成用データベース134aから読み出し、当該音符の音高に対応するピッチ変換して接続することで生成される。
歌唱合成プログラム134bには、歌唱音声の編集を支援するための編集支援プログラムが含まれている。操作部120bに対する操作により歌唱合成プログラム134bの実行を指示された場合には、制御部100は、まず、編集支援プログラムを実行する。編集支援プログラムにしがって作動している制御部100は、従来の歌唱合成技術における場合と同様に、ピアノロール形式の楽譜編集画面を表示部120aに表示させ、歌詞の入力や音符の入力を支援する。加えて、本実施形態の編集支援プログラムは、音符に対応する歌詞の音声の再生開始部分の編集を容易に行えるようにするために、ユーザの指示に応じて歌唱波形の表示を行えるように構成されており、この点に本実施形態の特徴の一つがある。
以下、図2に示す歌唱合成入力データINDおよびこの歌唱合成入力データINDに基づいて生成された歌唱合成出力データOUTDが不揮発性記憶部134に既に格納されている場合を例にとって、編集支援プログラムにしたがって実行される編集支援方法の流れを説明する、
編集支援プログラムの実行を開始した制御部100は、まず、図3に示す楽譜編集画面を表示部120aに表示させる。楽譜編集画面とは、楽曲のデータを提示するときに、音高のイベントを図形表示で提示し、当該図形に対する操作により音高のイベントを規定するデータを編集できる画面のことを言う。図3に示すように、楽譜編集画面には、一方の軸が音高を表し、他方の軸が時間を表すピアノロール形式の編集領域A01と、データ読み込みボタンB01が設けられている。ピアノロール形式とは、縦軸で音高を、横軸で時間を表示する表示形式のことを言う。データ読み込みボタンB01は、マウスのクリック等によって操作可能な仮想操作子である。図3に示すように、編集支援プログラムの実行開始直後に表示部120aに表示される楽譜編集画面の編集領域A01には、音符や音符に合せて発音する歌詞は表示されない。
図3に示す楽譜編集画面を視認したユーザは操作部120bに対する操作により、合成対象の歌唱音声のメロディを構成する音符や音符に合せて発音する歌詞を入力することができる。また、ユーザは、操作部120bに対する操作によりデータ読み込みボタンB01をクリックすることで、既に生成済みの歌唱合成入力データを編集対象として読み込むことを指示することができる。データ読み込みボタンB01がクリックされると、制御部100は、不揮発性記憶部134に格納されている歌唱合成入力データを示す情報(例えば、ファイル名を表す文字列)のリストを表示部120aに表示させる。ユーザは当該リストに対する選択操作を行うことで編集対象の歌唱合成入力データを指定することができる。
上記の要領で編集対象の歌唱合成入力データが指定されると、制御部100は、ユーザにより指定された歌唱合成入力データを不揮発性記憶部134から揮発性記憶部132へ読み出し、当該歌唱合成入力データにしたがって、音符毎に、音符を示すひと区切りの図形(すなわち、音高のイベントを示す図形)、音符に合せて発音する歌詞を表す文字列、および当該歌詞の音素を表す発音記号を編集領域A01に配置し、楽譜編集画面の表示内容を更新する。ひと区切りの図形とは、閉じた輪郭線で区画される1つの図形のことを言う。以下では、音符を示すひと区切りの図形を「音符ブロック」と呼ぶ。例えば、前述の歌唱合成入力データINDが編集対象として指定された場合には、楽譜編集画面の表示内容は図4のように更新される。
図4に示すように、本実施形態では、音符ブロックとして輪郭線が実線で描画された矩形が用いられている。制御部100は、音符毎に、歌唱合成入力データの示す開始時刻から終了時刻に至る巾の矩形を当該音符の音程に対応する音高軸方向の位置に配置する。制御部100は、当該音符に対応する歌詞の音素を表す発音記号を当該音符に対応音符ブロック内に当該音符の発音開始タイミング側につめて配置し、当該矩形の下側近傍に当該音符に対応する歌詞の文字列を配置する。つまり、図4に示す楽譜編集画面では、音符に対応する歌詞の音素の発音開始タイミングと当該音素の発音を示す発音記号の表示位置は対応付けられていない。音符ブロック毎に発音される音素が把握できれば十分だからである。なお、一つの音符に対応付けられる音素は一つとは限らず、一つの音符に複数の音素が対応付けられる場合もある。一つの音符に複数の音素が対応付けられている場合には、制御部100は、音符に対応付けられている複数の音素の各々の発音を表す発音記号をその発音順に配列して当該音符ブロックの内部に配置する。図3と図4とを比較すれば明らかなように、編集対象の歌唱合成入力データの読み込みが完了すると、データ読み込みボタンB01の他に波形表示ボタンB02が楽譜編集画面に表示される。波形表示ボタンB02はデータ読み込みボタンB01と同様に仮想操作子である。本実施形態では、編集対象の歌唱合成入力データの読み込み完了前は波形表示ボタンB02を表示せず、編集対象の歌唱合成入力データの読み込み完了を契機として波形表示ボタンB02を表示するが、波形表示ボタンB02を常時表示しても良い。
歌唱合成装置1のユーザは、各音符に対応する矩形の時間軸方向の巾や位置、音高軸方向の位置を変更することで音符の編集を行うことができ、さらに歌詞を表す文字列を書き換えることで、音符に合せて発音する歌詞を編集することができる。編集支援プログラムにしたがって作動している制御部100は、音符の編集或いは歌詞の編集が為されたことを契機として、図5に示す更新処理を実行する。この更新処理では、制御部100は、編集対象の歌唱合成入力データを編集領域A01に対する編集内容に応じて更新し(ステップSA100)、当該編集対象の歌唱合成入力データに基づいて生成された(当該編集対象の歌唱合成入力データに対応して記憶されている)歌唱合成出力データを算出し直す(ステップSA110)。なお、ステップSA120では、制御部100は、楽譜編集画面にて歌詞等の編集が行われた音符に対応する歌唱波形データのみを算出し直す。
また、ユーザは、波形表示ボタンB02をクリックすることで、表示部120aの表示画面を波形表示画面に切り替えることができる。波形表示ボタンB02のクリックを契機として制御部100は、表示部120aの表示画面を波形表示画面に切り替え、図6に示す波形表示処理を実行する。波形表示画面は、楽譜編集画面と同様に一方の軸が音高を表し、他方の軸が時間を表すピアノロール形式の編集領域A02(図7参照)を有する。波形表示画面の編集領域A02には、歌唱合成出力データに含まれる歌唱波形データの表す歌唱波形のうち、波形表示画面への切り替え前に楽譜編集画面の編集領
域A01に音符ブロック等が表示されていた時間区間の歌唱波形が表示される。つまり、本実施形態の波形表示画面は、楽曲の情報を提示するときに、楽曲の音波形の表示により当該楽曲のデータを提示し、当該音波形に対する操作により楽曲のデータを編集できる画面である。
波形表示処理の波形表示ステップSB100(図6参照)では、制御部100は、編集対象の歌唱合成入力データに対応する歌唱合成出力データ、すなわち編集対象の歌唱合成入力データから合成された歌唱合成出力データに含まれる歌唱波形データの表す歌唱音声の波形のうち波形表示画面への切り替え前に楽譜編集画面の編集領域A01に音符ブロック等が表示されていた時間区間の波形を音符毎に区切って編集領域A02に表示する。歌唱音声の波形の表示形式には、歌唱音声の波形そのもの(すなわち歌唱音声における振幅の時間変化を示す振動波形)を表示する表示形式(以下、歌唱波形形式)と、当該振動波形の包絡線を表示する表示形式示(以下、包絡線形式)の2種類があり、本実施形態では包絡線形式が採用されている。表示ステップSB100では、制御部100は、編集対象の歌唱合成入力データに対応する歌唱合成出力データに含まれる歌唱波形データの各々について、当該歌唱波形データに対応付けられている発音記号を検索キーとして歌唱合成入力データを検索し、対応する音符を特定する。次いで、制御部100は、n(n=0、1,2・・・)番目の音符について、歌唱波形データの表す波形のうちの当該音符に対応する部分の波形W−nのピーク(山)についての包絡線PH−nと当該歌唱波形正における負のピーク(谷)についての包絡線PL−nとを求め、編集領域A02における当該音符の音高に対応する音高軸方向の位置に包絡線PH−nとPL−nを描画する(図7参照)。包絡線PH−nは歌唱音声の波形の山(正の最大振幅)の時間変化を表し、包絡線PL−nは歌唱音声の波形の谷(負の最大振幅)の時間変化を表す。したがって、包絡線形式で描画するときには、包絡線の値がゼロとなる位置を、包絡線が対応している音符の音高の位置(編集領域02における高さ方向の位置)に合せて描画する。これに対して、歌唱波形形式が採用されている場合は、制御部100は、n(n=0、1,2・・・)番目の音符について上記波形W−nを編集領域A02における当該音符の音高に対応する音高軸方向の位置に描画する。歌唱波形形式で描画するときには、歌唱音声の波形の値がゼロとなる位置を、当該歌唱音声の波形が対応している音符の音高の位置(編集領域02における高さ方向の位置)に合せて描画する。図8は歌唱波形形式の表示例を示す図である。図8では、図面が煩雑になることを避けるために、図7における2番目の音符についてのみ当該音符に対応する歌唱音声の波形W−2が描画されている。なお、ステップSB100における歌唱音声の波形の表示形式をユーザの指示に応じて切り換えるようにしても良い。
波形表示処理の音素表示ステップSB110では、制御部100は、編集対象の歌唱合成入力データにしたがって、歌詞の音素を示す発音記号を音素毎にその音素の発音が開始されるタイミングに応じた編集領域A02の時間軸上の位置に表示する(図7参照)。より詳細に説明すると、制御部100は、歌詞の音素を表す発音記号の切り替わり箇所となるフレームを、編集対象の歌唱合成入力データに対応する歌唱合成出力データを参照して特定する。次いで、制御部100は、当該フレームに対応する時刻を、当該フレームが歌唱音声の先頭フレームから何番目のフレームであるかに基づいて特定し、その時刻を当該発音記号の表す音素の発音が開始されるタイミングとして特定し、さらに当該タイミングを編集領域A02の時間軸上の位置に換算することで当該発音記号の時間軸方向の表示位置が特定される、一方、音高軸方向の表示位置については、上記の要領で特定された時刻における音程を、編集対象の歌唱合成入力データを参照して特定すれば良い。
波形表示処理の音符表示ステップSB120では、制御部100は、編集対象の歌唱合成入力データにしたがって、音符毎に音符ブロックを編集領域A02に表示する。本実施形態の波形表示画面では、図7に示すように、音符ブロックとして輪郭線が点線で描画された矩形が用いられており、波形表示画面における音符ブロックの表示方法は楽譜編集画面における音符ブロックの表示方法と同一である。波形表示処理のピッチカーブ表示ステップSB130では、制御部100は、音高の時間変化を表すピッチカーブPC(図7参照)を歌唱合成出力データに含まれるピッチカーブデータにしたがって編集領域A02に表示する。本実施形態では、歌唱合成出力データに含まれるピッチカーブデータにしたがってピッチカーブを表示するが、歌唱合成入力データに含まれている音程データにしたがってピッチカーブを表示しても良い。
例えば、歌唱合成入力データINDが編集対象として指定されていた場合、当該歌唱合成入力データINDに対応する歌唱合成出力データOUTDにしたがって上記波形表示ステップSB100からピッチカーブ表示ステップSB130の処理が実行される。その結果、表示部120aには、図7に示す波形表示画面が表示される。前述したように、実際の歌唱音声では、音符の開始タイミングとその音符に対応する歌詞の音声の再生開始タイミングとが異なる場合がある。このような場合、本実施形態では、歌詞の音素を表す発音記号は歌唱合成出力データにしたがって本来の発音位置に表示され、当該歌詞に対応する音符を表す矩形からはみ出して表示される。図7に示す例では、歌詞「love」の先頭音素「lO」、歌詞「so」の先頭音素「S」および歌詞「much」の先頭音素「m」が、各々の歌詞に対応する音符の発音タイミングよりも前のタイミングに表示され、各々の歌詞に対応する音符に先行する音符に対応する音符ブロック内に表示されている様子が示されている。
このように、音符の開始タイミングとその音符に対応する歌詞の音声の再生開始タイミングとが異なる場合、本実施形態の歌唱合成装置1では、当該歌詞の先頭音素の発音記号は当該歌詞に対応する音符を表す矩形からはみ出して表示される。このため、歌唱合成装置1のユーザは、音符の開始タイミングとその音符に対応する歌詞の音声の再生開始タイミングとが異なることを、視覚を通じて把握することができる。
図7に示す波形表示画面を視認したユーザは、表示部120aの表示画面を前述の楽譜編集画面に切り替える操作を行うことができる。図7に示すように、波形表示画面には、波形表示ボタンB02に代えて楽譜編集ボタンB03が設けられている。なお、波形表示画面において楽譜編集ボタンB02と波形表示ボタンB03を常に並べて表示しても良く、この場合、楽譜編集画面においても楽譜編集ボタンB02と波形表示ボタンB03を常に並べて表示しても良い。つまり、楽譜編集ボタンB02と波形表示ボタンB03を常に同時に表示する態様であっても良い。楽譜編集ボタンB03は、表示部120aの表示画面を前述の楽譜編集画面に切り替えることをユーザに指示させるための仮想操作子である。ユーザは楽譜編集ボタンB03をクリックすることで、楽譜編集画面への切り替えを指示することができる。また、波形表示画面が表示部210aに表示されている状況下では、ユーザは音符に対応する歌唱波形の開始タイミングを音符毎に変更することができる。例えば、ユーザは、開始タイミングの変更を所望する歌唱波形のアタック部分付近をマウスオーバ或いはタップ等することで、変更対象の音符を指定することができる。なお、本実施形態では、音符に対応する歌唱波形の開始タイミングが変更されても、当該歌唱波形の終了タイミングは変更しない。つまり、音符に対応する歌唱波形の開始タイミングの変更は当該歌唱波形全体の時間軸方向の平行移動を意味する訳ではない。歌唱波形の歌詞タイミングがより前のタイミングに変更されると、その変更分だけ歌唱波形全体の時間軸方向の長さが伸びることとなり、逆に歌唱波形の歌詞タイミングがより後のタイミングに変更されると、その変更分だけ歌唱波形全体の時間軸方向の長さが短くなる。
対応する歌唱波形の開始タイミングを変更する音符が指定されると、編集支援プログラムにしたがって作動している制御部100は、図9に示す更新処理を実行する。図9に示す更新処理のステップSC100では、制御部100は、音符に対応する歌唱波形の開始タイミングの変更指示を受け付け、指示内容に応じて歌唱波形の開始タイミングを編集する。より詳細に説明すると、制御部100は、マウスオーバ等により指定された音符について、当該音符に対応する歌唱波形のアタック部分の編集対象領域を表示する。図10では、歌詞「much」に対応する音符、すなわち5番目の音符がマウスオーバ等により指定された場合の編集対象領域A03がハッチングで示されている。なお、図10では、歌唱音声の波形の表示形式として包絡線形式を採用した場合の表示例が示されている。前述したように、歌詞「much」の先頭の音素の開始タイミングは、1つ前の音符、すなわち4番目の音符にはみ出している。このため、編集対象領域A03の開始位置は上記4番目の音符まではみ出している。ユーザは、編集対象領域A03の開始位置をマウス等で左右にドラッグすることで、マウスオーバ等により指定された音符に対応する歌唱波形の開始位置の移動方向および移動量を指定することができる。
図9のステップSC110では、制御部100は、ステップSC100における編集内容(ドラッグ操作による編集対象領域A01の開始位置の移動方向および移動量の指定)に応じて歌唱波形データを算出し直し、波形表示画面の表示内容を更新する。これにより、ユーザは、ステップSC100における編集内容に応じた歌唱波形の変化を、視覚を通じて即座に把握することができる。より詳細に説明すると、制御部100は、マウスオーバ等により指定された音符に対応する歌唱の個性の調整用パラメータに含まれる子音の長さを規定するデータを、編集対象領域A03の開始位置の変更内容に応じて更新する。具体的には、制御部100は、編集対象領域A03の開始位置が左へ変更された場合には移動量が大きいほど子音が長くなるように該当する音符のVelocityデータを更新し、逆に開始位置が右へ変更された場合には移動量が大きいほど子音が短くなるように該当する音符のVelocityデータを更新する。そして、制御部100は、上記の要領で歌唱の構成の調整用パラメータが更新された歌唱合成入力データから歌唱合成出力データを生成し直す。このステップSC110においても、制御部100は、前述のステップSA110における場合と同様に、開始位置が変更された音符に対応する歌唱波形データのみを生成し直す。
以上説明したように、本実施形態によれば、音符の開始タイミングとその音符に対応する歌詞の音声の再生開始タイミングとが異なる場合には当該歌詞の先頭音素の発音記号が当該歌詞に対応する音符を表す矩形からはみ出して表示される。このため、歌唱合成装置1のユーザは、音符の開始タイミングとその音符に対応する歌詞の音声の再生開始タイミングとが異なることを、視覚を通じて把握しつつ歌唱音声の編集を行うことができ、音符に対応する歌詞の音声の再生開始部分の編集を容易に行えるようになる。
以上本発明の一実施形態について説明したが、この実施形態に以下の変形を加えても勿論良い。(1)音符或いは歌詞の編集の際にピッチカーブのアタック部分或いはリリース部分に付与するエフェクトをユーザに選択させるための編集補助画面SG01を楽譜表示画面と並べて表示部120aに表示し(図11参照)、ピッチカーブのアタック部分或いはリリース部分に付与するエフェクトをユーザに選択させるようにしても良い。この態様によれば、ピッチカーブのアタック部分或いはリリース部分へのエフェクトの付与が容易になる、といった効果が奏される。
また、ピッチカーブにおけるアタック部分またはリリース部分の変更指示を音符毎に受け付け、指示内容に応じてピッチカーブを編集するピッチカーブ編集ステップを、上記開始タイミング編集ステップに加えて、或いは上記開始タイミング編集ステップに代えて設けても良い。
(2)上記実施形態では、波形表示画面にピッチカーブと音符ブロックの両方を表示したが、ピッチカーブと音符ブロックの何れか一方を波形表示画面に表示しても良い。ピッチカーブの表示と音符ブロックの表示の何れか一方だけでも、波形表示画面において音高の時間変化を把握することは可能だからである。また、音高の時間変化は歌唱波形からも把握可能であるから、波形表示画面ではピッチカーブの表示と音符ブロックの表示の両方の表示を省略しても良い。つまり、図6における音符表示ステップSB120およびピッチカーブ表示ステップSB130の両方或いは何れか一方を省略しても良い。
(3)上記実施形態では、歌唱合成装置1の表示部120aに楽譜編集画面や波形表示画面等の各種画面を表示させたが、外部機器I/F部110を介して歌唱合成装置1に接続される表示装置に各種画面を表示させても良い。歌唱合成装置1に対して各種指示を入力するための操作入力装置についても、歌唱合成装置1の操作部120bを用いるのではなく、外部機器I/F部110を介して歌唱合成装置1に接続されるマウスやキーボードにその役割を担わせても良い。また、上記実施形態では、歌唱合成装置1の制御部100に本発明の編集支援方法を実行させたが、この編集支援方法を実行する編集支援装置を歌唱合成装置とは別箇の装置として提供しても良い。
具体的には、図12に示すように、波形表示手段と音素表示手段とを組み合わせて構成される編集支援装置10を提供しても良い。波形表示手段は、図6における波形表示ステップSB100の処理を実行する手段である。音素表示手段は、図6における音素表示ステップSB110の処理を実行する手段である。また、コンピュータを上記波形表示手段および音素表示手段として機能させるプログラムを提供しても良い。このような態様であれば、パーソナルコンピュータやタブレット端末等の一般的なコンピュータ装置を本発明の編集支援装置として機能させることが可能になる。また、編集支援装置を1台のコンピュータで実現するのではなく、電気通信回線経由の通信により協働可能な複数のコンピュータにより編集支援装置を実現するクラウド態様、具体的には波形表示手段と音素表示手段を各々別個のコンピュータで実現する態様であっても良い。
1…歌唱合成装置、10…編集支援装置、100…制御部、110…外部機器I/F部、120…ユーザI/F部、120a…表示部、120b…操作部、120c…音出力部、130…記憶部、132…揮発性記憶部、134…不揮発性記憶部、140…バス。

Claims (27)

  1. 音符の時系列を表す楽譜データと歌詞を表す歌詞データとに相当する歌唱波形データの表す歌唱波形を、一方の軸が音高を表し他方の軸が時間を表す波形表示画面に音符毎に配置して表示装置に表示する波形表示ステップと、
    歌詞の音素を示す情報を前記波形表示画面における当該音素の発音位置に表示する音素表示ステップと、を有し、
    前記音素表示ステップでは、
    前記歌唱波形データを参照して歌詞の音素を示す情報の切り替わり箇所となる時刻を特定し、当該時刻を前記発音位置として特定する、
    ことを特徴とする編集支援方法。
  2. 前記音素表示ステップでは、
    前記歌唱波形データを参照して歌詞の音素を示す情報の切り替わり箇所となる時刻を特定し、当該時刻を当該情報の示す音素の発音が開始されるタイミングとして特定し、さらに当該タイミングを前記波形表示画面の時間軸上の位置に換算することで、前記発音位置を特定する、
    ことを特徴とする請求項1に記載の編集支援方法。
  3. 前記楽譜データと前記歌詞データの少なくとも一方に対する編集指示の入力を契機として、前記表示装置の表示画面を、前記楽譜データと前記歌詞データの少なくとも一方を編集するための楽譜編集画面に切り替える切り替えステップと、
    前記楽譜編集画面に対する編集操作に応じて前記楽譜データと前記歌詞データの少なくとも一方を変更し、前記歌唱波形データを算出し直す算出ステップと、
    を含むことを特徴とする請求項1又は請求項2に記載の編集支援方法。
  4. 前記歌唱波形の開始タイミングの変更指示を音符毎に受け付け、指示内容に応じて歌唱波形の開始タイミングを編集する開始タイミング編集ステップと、
    前記開始タイミング編集ステップにおける編集内容に応じて前記歌唱波形データを算出し直す算出ステップと、
    を含むことを特徴とする請求項1又は請求項2に記載の編集支援方法。
  5. 前記楽譜データにしたがって音符を示す一区切りの図形である音符ブロックを音符毎に前記波形表示画面に表示する音符表示ステップを有する、
    ことを特徴とする請求項4に記載の歌唱音声の編集支援方法。
  6. 音高の時間変化を表すピッチカーブを前記楽譜データにしたがって前記波形表示画面に表示するピッチカーブ表示ステップと、
    前記ピッチカーブにおけるアタック部分またはリリース部分の変更指示を音符毎に受け付け、指示内容に応じて前記ピッチカーブを編集するピッチカーブ編集ステップと、
    前記ピッチカーブ編集ステップにおける編集内容に応じて前記歌唱波形データを算出し直す算出ステップと、を含む
    ことを特徴とする請求項1又は請求項2に記載の編集支援方法。
  7. 前記ピッチカーブ編集ステップでは、
    前記歌唱音声に付与する音響効果の種類に応じて時間軸方向と音量軸方向の少なくとも一方の方向に前記ピッチカーブを伸縮させることを促す編集補助画面を前記表示装置に表示させ、当該編集補助画面に対する指示内容に応じて前記ピッチカーブを編集することを特徴とする請求項6に記載の編集支援方法。
  8. 音符の時系列を表す楽譜データと歌詞を表す歌詞データとに相当する歌唱波形データの表す歌唱波形を、一方の軸が音高を表し他方の軸が時間を表す波形表示画面に音符毎に配置して表示装置に表示する波形表示ステップと、
    歌詞の音素を示す情報を前記波形表示画面における当該音素の発音位置に表示する音素表示ステップと、
    音高の時間変化を表すピッチカーブを前記楽譜データにしたがって前記波形表示画面に表示するピッチカーブ表示ステップと、
    前記ピッチカーブにおけるアタック部分またはリリース部分の変更指示を音符毎に受け付け、指示内容に応じて前記ピッチカーブを編集するピッチカーブ編集ステップと、
    前記ピッチカーブ編集ステップにおける編集内容に応じて前記歌唱波形データを算出し直す算出ステップと、を含む
    ことを特徴とする編集支援方法。
  9. 前記ピッチカーブ編集ステップでは、
    前記歌唱音声に付与する音響効果の種類に応じて時間軸方向と音量軸方向の少なくとも一方の方向に前記ピッチカーブを伸縮させることを促す編集補助画面を前記表示装置に表示させ、当該編集補助画面に対する指示内容に応じて前記ピッチカーブを編集することを特徴とする請求項8に記載の編集支援方法。
  10. 音符の時系列を表す楽譜データと歌詞を表す歌詞データとに相当する歌唱波形データの表す歌唱波形を、一方の軸が音高を表し他方の軸が時間を表す波形表示画面に音符毎に配置して表示装置に表示する波形表示手段と、
    歌詞の音素を示す情報を前記波形表示画面における当該音素の発音位置に表示する音素表示手段と、を有し、
    前記音素表示手段は、
    前記歌唱波形データを参照して歌詞の音素を示す情報の切り替わり箇所となる時刻を特定し、当該時刻を前記発音位置として特定する、
    ことを特徴とする編集支援装置。
  11. 前記音素表示手段は、
    前記歌唱波形データを参照して歌詞の音素を示す情報の切り替わり箇所となる時刻を特定し、当該時刻を当該情報の示す音素の発音が開始されるタイミングとして特定し、さらに当該タイミングを前記波形表示画面の時間軸上の位置に換算することで、前記発音位置を特定する、
    ことを特徴とする請求項10に記載の編集支援装置。
  12. 前記楽譜データと前記歌詞データの少なくとも一方に対する編集指示の入力を契機として、前記表示装置の表示画面を、前記楽譜データと前記歌詞データの少なくとも一方を編集するための楽譜編集画面に切り替える切り替え手段と、
    前記楽譜編集画面に対する編集操作に応じて前記楽譜データと前記歌詞データの少なくとも一方を変更し、前記歌唱波形データを算出し直す算出手段と、
    を含むことを特徴とする請求項10又は請求項11に記載の編集支援装置。
  13. 前記歌唱波形の開始タイミングの変更指示を音符毎に受け付け、指示内容に応じて歌唱波形の開始タイミングを編集する開始タイミング編集手段と、
    前記開始タイミング編集手段による編集内容に応じて前記歌唱波形データを算出し直す算出手段と、
    を含むことを特徴とする請求項10又は請求項11に記載の編集支援装置。
  14. 前記楽譜データにしたがって音符を示す一区切りの図形である音符ブロックを音符毎に前記波形表示画面に表示する音符表示手段を有する、
    ことを特徴とする請求項13に記載の歌唱音声の編集支援装置。
  15. 音高の時間変化を表すピッチカーブを前記楽譜データにしたがって前記波形表示画面に表示するピッチカーブ表示手段と、
    前記ピッチカーブにおけるアタック部分またはリリース部分の変更指示を音符毎に受け付け、指示内容に応じて前記ピッチカーブを編集するピッチカーブ編集手段と、
    前記ピッチカーブ編集手段による編集内容に応じて前記歌唱波形データを算出し直す算出手段と、を含む
    ことを特徴とする請求項10又は請求項11に記載の編集支援装置。
  16. 前記ピッチカーブ編集手段は、
    前記歌唱音声に付与する音響効果の種類に応じて時間軸方向と音量軸方向の少なくとも一方の方向に前記ピッチカーブを伸縮させることを促す編集補助画面を前記表示装置に表示させ、当該編集補助画面に対する指示内容に応じて前記ピッチカーブを編集することを特徴とする請求項15に記載の編集支援装置。
  17. 音符の時系列を表す楽譜データと歌詞を表す歌詞データとに相当する歌唱波形データの表す歌唱波形を、一方の軸が音高を表し他方の軸が時間を表す波形表示画面に音符毎に配置して表示装置に表示する波形表示手段と、
    歌詞の音素を示す情報を前記波形表示画面における当該音素の発音位置に表示する音素表示手段と、
    音高の時間変化を表すピッチカーブを前記楽譜データにしたがって前記波形表示画面に表示するピッチカーブ表示手段と、
    前記ピッチカーブにおけるアタック部分またはリリース部分の変更指示を音符毎に受け付け、指示内容に応じて前記ピッチカーブを編集するピッチカーブ編集手段と、
    前記ピッチカーブ編集手段による編集内容に応じて前記歌唱波形データを算出し直す算出手段と、を含む
    ことを特徴とする編集支援装置。
  18. 前記ピッチカーブ編集手段は、
    前記歌唱音声に付与する音響効果の種類に応じて時間軸方向と音量軸方向の少なくとも一方の方向に前記ピッチカーブを伸縮させることを促す編集補助画面を前記表示装置に表示させ、当該編集補助画面に対する指示内容に応じて前記ピッチカーブを編集することを特徴とする請求項17に記載の編集支援装置。
  19. コンピュータに、
    音符の時系列を表す楽譜データと歌詞を表す歌詞データとに相当する歌唱波形データの表す歌唱波形を、一方の軸が音高を表し他方の軸が時間を表す波形表示画面に音符毎に配置して表示装置に表示する波形表示ステップと、
    歌詞の音素を示す情報を前記波形表示画面における当該音素の発音位置に表示する音素表示ステップと、を実行させ、
    前記音素表示ステップでは、前記コンピュータは、
    前記歌唱波形データを参照して歌詞の音素を示す情報の切り替わり箇所となる時刻を特定し、当該時刻を前記発音位置を特定する、
    ことを特徴とするプログラム。
  20. 前記音素表示ステップでは、前記コンピュータは、
    前記歌唱波形データを参照して歌詞の音素を示す情報の切り替わり箇所となる時刻を特定し、当該時刻を当該情報の示す音素の発音が開始されるタイミングとして特定し、さらに当該タイミングを前記波形表示画面の時間軸上の位置に換算することで、前記発音位置を特定する、
    ことを特徴とする請求項19に記載のプログラム。
  21. 前記楽譜データと前記歌詞データの少なくとも一方に対する編集指示の入力を契機として、前記表示装置の表示画面を、前記楽譜データと前記歌詞データの少なくとも一方を編集するための楽譜編集画面に切り替える切り替えステップと、
    前記楽譜編集画面に対する編集操作に応じて前記楽譜データと前記歌詞データの少なくとも一方を変更し、前記歌唱波形データを算出し直す算出ステップと、
    を前記コンピュータにさらに実行させる、ことを特徴とする請求項19又は請求項20に記載のプログラム。
  22. 前記歌唱波形の開始タイミングの変更指示を音符毎に受け付け、指示内容に応じて歌唱波形の開始タイミングを編集する開始タイミング編集ステップと、
    前記開始タイミング編集ステップにおける編集内容に応じて前記歌唱波形データを算出し直す算出ステップと、
    を前記コンピュータにさらに実行させることを特徴とする請求項19又は請求項20に記載のプログラム。
  23. 前記楽譜データにしたがって音符を示す一区切りの図形である音符ブロックを音符毎に前記波形表示画面に表示する音符表示ステップを、
    前記コンピュータにさらに実行させることを特徴とする請求項22に記載のプログラム。
  24. 音高の時間変化を表すピッチカーブを前記楽譜データにしたがって前記波形表示画面に表示するピッチカーブ表示ステップと、
    前記ピッチカーブにおけるアタック部分またはリリース部分の変更指示を音符毎に受け付け、指示内容に応じて前記ピッチカーブを編集するピッチカーブ編集ステップと、
    前記ピッチカーブ編集ステップにおける編集内容に応じて前記歌唱波形データを算出し直す算出ステップと、
    を前記コンピュータにさらに実行させることを特徴とする請求項19又は請求項20に記載のプログラム。
  25. 前記ピッチカーブ編集ステップでは、前記コンピュータは、
    前記歌唱音声に付与する音響効果の種類に応じて時間軸方向と音量軸方向の少なくとも一方の方向に前記ピッチカーブを伸縮させることを促す編集補助画面を前記表示装置に表示させ、当該編集補助画面に対する指示内容に応じて前記ピッチカーブを編集することを特徴とする請求項24に記載のプログラム。
  26. コンピュータに、
    音符の時系列を表す楽譜データと歌詞を表す歌詞データとに相当する歌唱波形データの表す歌唱波形を、一方の軸が音高を表し他方の軸が時間を表す波形表示画面に音符毎に配置して表示装置に表示する波形表示ステップと、
    歌詞の音素を示す情報を前記波形表示画面における当該音素の発音位置に表示する音素表示ステップと、
    音高の時間変化を表すピッチカーブを前記楽譜データにしたがって前記波形表示画面に表示するピッチカーブ表示ステップと、
    前記ピッチカーブにおけるアタック部分またはリリース部分の変更指示を音符毎に受け付け、指示内容に応じて前記ピッチカーブを編集するピッチカーブ編集ステップと、
    前記ピッチカーブ編集ステップにおける編集内容に応じて前記歌唱波形データを算出し直す算出ステップと、
    を実行させるプログラム。
  27. 前記ピッチカーブ編集ステップでは、前記コンピュータは、
    前記歌唱音声に付与する音響効果の種類に応じて時間軸方向と音量軸方向の少なくとも一方の方向に前記ピッチカーブを伸縮させることを促す編集補助画面を前記表示装置に表示させ、当該編集補助画面に対する指示内容に応じて前記ピッチカーブを編集することを特徴とする請求項26に記載のプログラム。
JP2017191630A 2017-09-29 2017-09-29 歌唱音声の編集支援方法、および歌唱音声の編集支援装置 Active JP6988343B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017191630A JP6988343B2 (ja) 2017-09-29 2017-09-29 歌唱音声の編集支援方法、および歌唱音声の編集支援装置
CN201811130796.7A CN109584910B (zh) 2017-09-29 2018-09-27 歌唱音频的编辑辅助方法以及歌唱音频的编辑辅助装置
US16/145,661 US10354627B2 (en) 2017-09-29 2018-09-28 Singing voice edit assistant method and singing voice edit assistant device
EP18197462.7A EP3462441B1 (en) 2017-09-29 2018-09-28 Singing voice edit assistant method and singing voice edit assistant device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017191630A JP6988343B2 (ja) 2017-09-29 2017-09-29 歌唱音声の編集支援方法、および歌唱音声の編集支援装置

Publications (2)

Publication Number Publication Date
JP2019066650A JP2019066650A (ja) 2019-04-25
JP6988343B2 true JP6988343B2 (ja) 2022-01-05

Family

ID=63708217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017191630A Active JP6988343B2 (ja) 2017-09-29 2017-09-29 歌唱音声の編集支援方法、および歌唱音声の編集支援装置

Country Status (4)

Country Link
US (1) US10354627B2 (ja)
EP (1) EP3462441B1 (ja)
JP (1) JP6988343B2 (ja)
CN (1) CN109584910B (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7000782B2 (ja) * 2017-09-29 2022-01-19 ヤマハ株式会社 歌唱音声の編集支援方法、および歌唱音声の編集支援装置
JP6835247B2 (ja) * 2017-11-07 2021-02-24 ヤマハ株式会社 データ生成装置およびプログラム
WO2019240042A1 (ja) * 2018-06-15 2019-12-19 ヤマハ株式会社 表示制御方法、表示制御装置およびプログラム
US10923105B2 (en) * 2018-10-14 2021-02-16 Microsoft Technology Licensing, Llc Conversion of text-to-speech pronunciation outputs to hyperarticulated vowels
US11289067B2 (en) * 2019-06-25 2022-03-29 International Business Machines Corporation Voice generation based on characteristics of an avatar
CN110289024B (zh) * 2019-06-26 2021-03-02 北京字节跳动网络技术有限公司 一种音频编辑方法、装置、电子设备及存储介质
CN111063372B (zh) * 2019-12-30 2023-01-10 广州酷狗计算机科技有限公司 确定音高特征的方法、装置、设备及存储介质
JP2021128297A (ja) * 2020-02-17 2021-09-02 ヤマハ株式会社 推定モデル構築方法、演奏解析方法、推定モデル構築装置、演奏解析装置、およびプログラム
CN111883090A (zh) * 2020-06-30 2020-11-03 海尔优家智能科技(北京)有限公司 基于移动终端的音频文件的制作方法及装置
CN112071287A (zh) * 2020-09-10 2020-12-11 北京有竹居网络技术有限公司 用于生成歌谱的方法、装置、电子设备和计算机可读介质
WO2022074753A1 (ja) * 2020-10-07 2022-04-14 ヤマハ株式会社 情報処理方法、情報処理システムおよびプログラム
CN113035158B (zh) * 2021-01-28 2024-04-19 深圳点猫科技有限公司 一种在线midi音乐编辑方法、系统及存储介质
CN113035157B (zh) * 2021-01-28 2024-04-16 深圳点猫科技有限公司 一种图形化音乐编辑方法、系统及存储介质
CN113204673A (zh) * 2021-04-28 2021-08-03 北京达佳互联信息技术有限公司 音频处理方法、装置、终端及计算机可读存储介质
CN113407275B (zh) * 2021-06-17 2024-08-02 广州繁星互娱信息科技有限公司 音频编辑方法、装置、设备及可读存储介质
CN113870820A (zh) * 2021-10-28 2021-12-31 福建星网视易信息系统有限公司 一种谱音同步方法及终端

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010216354A (ja) * 2009-03-16 2010-09-30 Daihatsu Motor Co Ltd 排気ガス浄化装置
US8545083B2 (en) 2009-12-22 2013-10-01 Sumita Optical Glass, Inc. Light-emitting device, light source and method of manufacturing the same
JP5330306B2 (ja) 2010-03-30 2013-10-30 豊田合成株式会社 発光装置
JP5605066B2 (ja) * 2010-08-06 2014-10-15 ヤマハ株式会社 音合成用データ生成装置およびプログラム
ITPD20110235A1 (it) * 2011-07-07 2013-01-08 Geosec S R L Metodo di consolidamento di terreni di fondazione e/o di aree fabbricabili
JP6070010B2 (ja) * 2011-11-04 2017-02-01 ヤマハ株式会社 音楽データ表示装置および音楽データ表示方法
JP6236765B2 (ja) * 2011-11-29 2017-11-29 ヤマハ株式会社 音楽データ編集装置および音楽データ編集方法
JP5811837B2 (ja) * 2011-12-27 2015-11-11 ヤマハ株式会社 表示制御装置及びプログラム
US8907195B1 (en) * 2012-01-14 2014-12-09 Neset Arda Erol Method and apparatus for musical training
JP6127371B2 (ja) * 2012-03-28 2017-05-17 ヤマハ株式会社 音声合成装置および音声合成方法
JP5821824B2 (ja) * 2012-11-14 2015-11-24 ヤマハ株式会社 音声合成装置
EP2930714B1 (en) * 2012-12-04 2018-09-05 National Institute of Advanced Industrial Science and Technology Singing voice synthesizing system and singing voice synthesizing method
JP5949607B2 (ja) * 2013-03-15 2016-07-13 ヤマハ株式会社 音声合成装置
JP6171711B2 (ja) * 2013-08-09 2017-08-02 ヤマハ株式会社 音声解析装置および音声解析方法
US20180268792A1 (en) * 2014-08-22 2018-09-20 Zya, Inc. System and method for automatically generating musical output
JP6507579B2 (ja) * 2014-11-10 2019-05-08 ヤマハ株式会社 音声合成方法
JP6620462B2 (ja) * 2015-08-21 2019-12-18 ヤマハ株式会社 合成音声編集装置、合成音声編集方法およびプログラム

Also Published As

Publication number Publication date
US10354627B2 (en) 2019-07-16
US20190103082A1 (en) 2019-04-04
CN109584910A (zh) 2019-04-05
EP3462441B1 (en) 2020-09-23
JP2019066650A (ja) 2019-04-25
EP3462441A1 (en) 2019-04-03
CN109584910B (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
JP6988343B2 (ja) 歌唱音声の編集支援方法、および歌唱音声の編集支援装置
JP5895740B2 (ja) 歌唱合成を行うための装置およびプログラム
JP7000782B2 (ja) 歌唱音声の編集支援方法、および歌唱音声の編集支援装置
JP2019066649A (ja) 歌唱音声の編集支援方法、および歌唱音声の編集支援装置
JP2001075564A (ja) 演奏データ処理装置及び方法
JP3915807B2 (ja) 奏法自動判定装置及びプログラム
JP4561636B2 (ja) 楽音合成装置及びプログラム
JP2013231872A (ja) 歌唱合成を行うための装置およびプログラム
JP4483304B2 (ja) 楽譜表示プログラム及び楽譜表示装置
JP3815249B2 (ja) 楽譜表示装置及び楽譜表示プログラム
JP4407473B2 (ja) 奏法決定装置及びプログラム
JP5176981B2 (ja) 音声合成装置、およびプログラム
JP5969421B2 (ja) 楽器音出力装置及び楽器音出力プログラム
JP4853054B2 (ja) 演奏データ編集装置及びプログラム
JP2000081883A (ja) 音楽処理手段の設定方法、波形デ―タ生成手段の設定方法、楽音生成方法、および、プログラムが記録された記録媒体
JP3972899B2 (ja) 楽譜表示装置
JP4802947B2 (ja) 奏法決定装置及びプログラム
JP3620396B2 (ja) 情報修正装置及び情報修正プログラムを記録した媒体
JP5224021B2 (ja) 楽譜表示装置および楽譜表示用プログラム
JP4835434B2 (ja) 演奏パターン再生装置及びそのコンピュータプログラム
JP3794303B2 (ja) 演奏情報編集装置及び演奏情報編集プログラム
JP2570214B2 (ja) 演奏情報入力装置
JP4182889B2 (ja) コード構成音高決定装置及びプログラム
JP2014149488A (ja) 音楽データ編集方法、当該音楽データ編集方法を実現するためのプログラムおよび音楽データ編集装置
JP5272599B2 (ja) 電子音楽装置及びプログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171024

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210112

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211115

R151 Written notification of patent or utility model registration

Ref document number: 6988343

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151