JP6569205B2 - 属性調整装置 - Google Patents

属性調整装置 Download PDF

Info

Publication number
JP6569205B2
JP6569205B2 JP2014211477A JP2014211477A JP6569205B2 JP 6569205 B2 JP6569205 B2 JP 6569205B2 JP 2014211477 A JP2014211477 A JP 2014211477A JP 2014211477 A JP2014211477 A JP 2014211477A JP 6569205 B2 JP6569205 B2 JP 6569205B2
Authority
JP
Japan
Prior art keywords
attribute
sound
state
change
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014211477A
Other languages
English (en)
Other versions
JP2016080846A (ja
Inventor
慶二郎 才野
慶二郎 才野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2014211477A priority Critical patent/JP6569205B2/ja
Publication of JP2016080846A publication Critical patent/JP2016080846A/ja
Application granted granted Critical
Publication of JP6569205B2 publication Critical patent/JP6569205B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、音の属性を調整する属性調整装置に関する。
近年、パーソナルコンピュータまたはタブレット端末等を用いた楽曲制作において、ピアノロール型の編集画面が用いられる。ピアノロール型の編集画面では、縦軸が音の高さを示し、横軸が時間の経過を示す。使用者は、編集画面上において、各音の高さおよび発音期間、ならびに各音に割り当てられる歌詞等を入力することができる。特許文献1に記載される歌唱音合成装置においては、楽譜データ入出力領域、パラメータ選択領域およびパラメータ入出力領域が表示部により表示される。楽譜データ入出力領域はピアノロール型の編集画面であり、この楽譜データ入出力領域に各音の高さおよび発音期間を表す棒状の画像が表示される。また、パラメータ選択領域において、表示または編集すべきパラメータが選択され、選択されたパラメータの時間変化がパラメータ入出力領域に表示される。
特開2008−165130号公報
上記のパラメータ入出力領域に表示されるパラメータは、各音の属性の時間変化に対応するパラメータではない。そのため、使用者は、各音の属性の時間変化を直感的に認識することができない。また、各音の属性の時間変化を調整することも容易でない。
本発明の目的は、音の主音素の時間変化を直感的に認識することができかつ容易に調整することが可能な属性調整装置を提供することである。
(1)本発明に係る属性調整装置は、音の高さおよび発音期間を表す音指定情報、ならびに音の主音素の時間変化を表す属性情報を取得する取得手段と、音の高さを示す第1の軸および時間の経過を示す第2の軸を有する第1の表示領域上に、音指定情報に基づいて音の高さおよび発音期間を表す第1の図形を表示する第1の表示手段と、取得された属性情報に基づいて、第2の軸と平行にそれぞれ独立に移動可能な第1および第2の操作子を含みかつ音の主音素のみの時間変化を表す第2の図形を、第1の図形と対応するように第1の表示領域上に表示する第2の表示手段と、第1および第2の操作子の操作を検出する第1の検出手段と、検出された第1および第2の操作子の操作に基づいて、音の主音素の時間変化を調整する調整手段とを備える。
この属性調整装置においては、取得された音指定情報に基づいて、音の高さおよび発音期間を表す第1の図形が第1の表示領域上に表示され、取得された属性情報に基づいて、音の主音素の時間変化を表す第2の図形が第1の表示領域上に表示される。この場合、第2の図形が第1の図形に対応するように表示されるので、使用者は、音の高さおよび発音期間に加えて、音の主音素の時間変化を直感的に認識することができる。
また、第2の図形は第2の軸と平行にそれぞれ独立に移動可能な第1および第2の操作子を含み、第1および第2の操作子の操作に基づいて属性情報が調整される。これにより、使用者は、煩雑な操作を行うことなく、音の主音素の時間変化を容易にかつ直感的に調整することができる。
(2)音の主音素は、その開始状態に相当する第1の状態から安定的な第2の状態を経てその終了状態に相当する第3の状態に変化し、第1の操作子と第2の操作子との間の距離は、音の主音素が第2の状態に維持される期間の長さに対応し、調整手段は、検出された第1の操作子の操作に基づいて第1の状態から第2の状態への主音素の変化時間を調整し、検出された第2の操作子の操作に基づいて第2の状態から第3の状態への主音素の変化時間を調整してもよい。
この場合、使用者は、第1の状態から第2の状態への主音素変化時間主音素が第2の状態に維持される期間の長さ、および第2の状態から第3の状態への主音素変化時間を容易にかつ直感的に調整することができる。
(3)第2の図形は、第2の軸に平行な第1の線分、第1の線分に平行な第2の線分、第1の線分の一端と第2の線分の一端とを結ぶ第3の線分、および第1の線分の他端と第2の線分の他端とを結ぶ第4の線分を有し、第1および第2の操作子は第1の線分の一端および他端にそれぞれ位置し、第2の線分の一端および他端は、音の発音期間の始点および終点にそれぞれ対応してもよい。
この場合、第3の線分の傾きが第1の状態から第2の状態への主音素の変化速度を表し、第4の線分の傾きが第2の状態から第3の状態への主音素の変化速度を表す。したがって、使用者は、第3および第4の線分の傾きにより、音の主音素の時間変化を直感的に認識することができる。
(4)属性調整装置は、時間の経過を示す第3の軸および主音素の状態を示す第4の軸を有する第2の表示領域上に、取得された属性情報に基づいて、第1の状態から第2の状態への変化を表す第5の線分、第2の状態を表す第6の線分、第2の状態から第3の状態への変化を表す第7の線分、および第5および第7の線分の形状を変化させる形態調整操作子を表示する第3の表示手段と、形態調整操作子の操作を検出する第2の検出手段とをさらに備え、調整手段は、検出された形態調整操作子の操作に基づいて取得された属性情報を調整してもよい。
この場合、使用者は、形態調整操作子を操作することによって第1の状態から第2の状態への主音素の時間変化および第2の状態から第3の状態への主音素の時間変化を詳細に調整することができる。
(5)形態調整操作子は、第3の軸と平行に移動可能でかつ第4の軸に平行に移動可能な第3および第4の操作子を含み、第3の軸の方向における第3の操作子の位置は、第6の線分の一端の位置に対応し、第3の軸の方向における第4の操作子の位置は、第6の線分の他端の位置に対応し、第4の軸の方向における第3の操作子の位置は、第5の線分の曲率に対応し、第4の軸の方向における第4の操作子の位置は、第7の線分の曲率に対応してもよい。
この場合、使用者は、煩雑な操作を行うことなく、第3および第4の操作子を操作することによって第1の状態から第2の状態への主音素の時間変化および第2の状態から第3の状態への主音素の時間変化を容易に調整することができる。
(6)音の主音素の時間変化は、複数の音声素片間の遷移を含み、第3の表示手段は、第5の操作子をさらに表示し、調整手段は、第5の操作子の操作に基づいて複数の音声素片間におけるクロスフェードの期間の長さを調整してもよい。
この場合、使用者は、第5の操作子を操作することによって複数の音声素片間におけるクロスフェードの期間の長さを容易に調整することができる。
(7)属性調整プログラムは、音の高さおよび発音期間を表す音指定情報、ならびに音の主音素の時間変化を表す属性情報を取得するステップと、音の高さを示す第1の軸および時間の経過を示す第2の軸を有する第1の表示領域上に、音指定情報に基づいて音の高さおよび発音期間を表す第1の図形を表示するステップと、取得された属性情報に基づいて、第2の軸と平行にそれぞれ独立に移動可能な第1および第2の操作子を含みかつ音の主音素の時間変化を表す第2の図形を、第1の図形と対応するように第1の表示領域上に表示するステップと、第1および第2の操作子の操作を検出するステップと、検出された第1および第2の操作子の操作に基づいて音の主音素の時間変化を調整するステップとを、コンピュータに実行させる。
この属性調整プログラムによれば、取得された音指定情報に基づいて、音の高さおよび発音期間を表す第1の図形が第1の表示領域上に表示され、取得された属性情報に基づいて、音の主音素の時間変化を表す第2の図形が第1の表示領域上に表示される。この場合、第2の図形が第1の図形に対応するように表示されるので、使用者は、音の高さおよび発音期間に加えて、音の主音素の時間変化を直感的に認識することができる。
また、第2の図形は第2の軸と平行にそれぞれ独立に移動可能な第1および第2の操作子を含み、第1および第2の操作子の操作に基づいて属性情報が調整される。これにより、使用者は、煩雑な操作を行うことなく、音の主音素の時間変化を容易にかつ直感的に調整することができる。
本発明によれば、音の主音素の時間変化を直感的に認識することができかつ容易に調整することが可能である。
実施の形態に係る属性調整装置の構成を示す機能ブロック図である。 図1の属性調整装置のハードウエア構成の一例を示すブロック図である。 編集画面の一例を示す図である。 属性指示子と属性の時間変化との関係について説明するための模式図である。 初期状態の属性指示子の形状について説明するための図である。 初期状態の属性指示子の形状について説明するための図である。 詳細調整画面の一例を示す図である。 操作子の移動について説明するための図である。 操作子の移動について説明するための図である。 操作子の移動について説明するための図である。 クロスフェード調整領域について説明するための図である。 属性調整処理のフローチャートである。 属性調整処理のフローチャートである。 編集画面の他の例を示す図である。 属性指示子のさらに他の例を示す図である。
以下、本発明の一実施の形態に係る属性調整装置について図面を用いて説明する。
(1)属性調整装置の構成
図1は、本実施の形態に係る属性調整装置の構成を示す機能ブロック図である。属性調整装置100は、音の属性を調整する装置であり、取得部10、表示制御部20、操作検出部30および属性調整部40を備える。本例では、音声合成技術によって生成される歌唱音の属性が調整される。以下の説明において、音とは、歌唱音を意味する。
取得部10は、音指定情報取得部11、歌詞情報取得部12および属性情報取得部13を含む。音指定情報取得部11は、各音の高さおよび発音期間を表す音指定情報を取得する。音指定情報は、例えばMIDI(Musical Instrument Digital Interface)規格に準じたデータである。音指定情報は、使用者によって入力されることにより取得されてもよく、または通信網等を介して取得されてもよい。
歌詞情報取得部12は、楽曲の歌詞を表す歌詞情報を取得する。歌詞情報は、使用者によって入力されることにより取得されてもよく、通信網等を介して取得されてもよい。属性情報取得部13は、歌詞情報取得部12により取得された歌詞情報に基づいて、音の属性の時間変化を表す属性情報を取得する。本例において、音の属性は、音声の基本単位としての音素であり、属性情報は、音素の時間変化を表す。属性情報の詳細については後述する。
表示制御部20は、音指示子表示部21、属性指示子表示部22および詳細調整画面表示部23を含む。音指示子表示部21は、音指定情報取得部11により取得された音指定情報に基づいて、各音の高さおよび発音期間を表す音指示子81(後述の図3)を表示する。また、音指示子表示部21は、歌詞情報取得部12により取得された歌詞情報に基づいて、各音に割り当てられた音節を表す文字および発音記号を表示する。属性指示子表示部22は、属性情報取得部13により取得された属性情報に基づいて、属性(音素)の時間変化を表す属性指示子82(後述の図3)を表示する。詳細調整画面表示部23は、属性情報取得部13により取得された属性情報に基づいて、詳細調整画面90(後述の図7)を表示する。音指示子81、属性指示子82および詳細調整画面90の詳細については後述する。
操作検出部30は、後述の操作子T1,T2(図3)の操作を検出する。属性調整部40は、操作検出部30により検出された操作子T1,T2の操作に基づいて、属性情報取得部13により取得された属性情報を調整する。
図2は、図1の属性調整装置100のハードウエア構成の一例を示すブロック図である。属性調整装置100は、例えば、パーソナルコンピュータ、タブレット端末または携帯電話からなる。属性調整装置100は、CPU(中央演算処理装置)110、ROM(リードオンリメモリ)120、RAM(ランダムアクセスメモリ)130、記憶装置140、表示装置150、入力装置160および出力装置170を含む。
ROM120は、例えば不揮発性メモリからなり、システムプログラムおよび属性調整プログラム等のコンピュータプログラムを記憶する。RAM130は、例えば揮発性メモリからなり、CPU110の作業領域として用いられるとともに、各種データを一時的に記憶する。CPU110は、ROM120に記憶された属性調整プログラムをRAM130上で実行することにより後述の属性調整処理を行う。これにより、図1の各構成要素の機能が実現される。
記憶装置140は、ハードディスク、光学ディスク、磁気ディスクまたはメモリカード等の記録媒体を含む。記憶装置140には、例えば、図1の音指定情報取得部11により取得された音指定情報、歌詞情報取得部12により取得された歌詞情報、および属性情報取得部13により取得された属性情報が記憶される。また、上記の属性調整プログラムが記憶装置140に記憶されてもよい。また、記憶装置140には、歌唱音の合成に用いられる素片情報が記憶される。素片情報は、複数の音声素片にそれぞれ対応する複数の素片データを含む。音声素片は、一の音素、または複数の音素が連結された音素連鎖である。
表示装置150は、液晶表示装置、有機EL(エレクトロルミネッセンス)表示装置またはプラズマディスプレイ装置等からなる。図1の音指示子表示部21および属性指示子表示部22は、表示装置150により音指示子81および属性指示子82を表示する。
入力装置160は、マウスおよびキーボード等を含む。使用者は、入力装置160を操作することにより、音指定情報および歌詞情報を入力することができる。入力装置160が電子楽器を含んでもよい。この場合、電子楽器を用いて音指定情報を入力することができる。また、表示装置150および入力装置160がタッチパネルディスプレイとして一体化されてもよい。出力装置170は、音響出力端子およびヘッドフォン等を含む。また、出力装置170がスピーカを含んでもよい。
属性調整装置100は、CPU110の代わりにDSP(Digital Signal Processor)を備えてもよく、またはCPU110に加えてDSPを備えてもよい。また、図1の各構成要素の一部または全てが電子回路等のハードウエアにより構成されてもよい。
(2)編集画面
図2の表示装置150により、音指定情報、歌詞情報および属性情報の入力および編集を行うための編集画面が表示される。図3は、編集画面の一例を示す図である。図3に示すように、編集画面70は座標領域71を含む。座標領域71は、ピアノロール型の座標平面を表す。座標領域71において、横軸は時間の経過を示し、縦軸は音の高さを示す。
図1の音指示子表示部21は、音指定情報に基づいて、各音に対応する音指示子81を座標領域71に表示する。本例において音指示子81は矩形であり、縦軸の方向における各音指示子81の位置が、対応する音の高さを表し、横軸の方向における各音指示子81の位置および長さが、対応する音の発音期間を表す。
また、音指示子表示部21は、歌詞情報に基づいて、各音指示子81に重なるように、その音指示子81に対応する音に割り当てられた音節を表す文字および発音記号を表示する。図3の例では、3つの音指示子81に重なるように、音節を表す文字として、“you”、“may”および“be”がそれぞれ表示され、かつこれらの発音記号がそれぞれ表示される。
使用者は、編集画面70を参照しながら図2の入力装置160を操作することにより、音指定情報および歌詞情報を入力および変更することができる。この場合、使用者によって音指定情報および歌詞情報が入力されることにより、音指示子81および文字が適宜追加される。また、使用者によって音指定情報および歌詞情報が変更されることにより、表示される音指示子81の配置および長さ等が適宜変更され、かつ表示される文字が適宜変更される。
図1の属性指示子表示部22は、属性情報に基づいて、各音に対応する属性指示子82を座標領域71に表示する。各属性指示子82は、対応する音指示子81と縦軸の方向に隣り合うように配置される。本例において、属性指示子82は台形であり、横軸に平行な上辺SI1および底辺SI2を有する。属性指示子82の底辺SI2は、音指示子81の上辺と一致する。
各属性指示子82は、それぞれ独立に移動可能な操作子T1,T2を含む。本例では、操作子T1,T2が矩形であるが、操作子T1,T2が円形等の他の形状であってもよい。操作子T1は、上辺SI1の一端(左端)に配置され、操作子T2は、上辺SI1の他端(右端)に配置される。使用者は、図2の入力装置160を操作することにより、操作子T1,T2を横軸の方向にそれぞれ独立に移動させることができる。操作子T1,T2の移動に追従して、属性指示子82の上辺SI1の一端および他端の位置がそれぞれ移動し、属性指示子82が変形する。操作子T1と操作子T2との間の距離は、属性が一定に維持される期間の長さに対応する。
図1の操作検出部30は、使用者による操作子T1,T2の操作を検出し、属性調整部40は、検出された操作子T1,T2の操作に基づいて、属性指示子82の変形に対応するように、属性情報取得部13により取得された属性情報を調整する。
(3)属性指示子の詳細
図4は、属性指示子82と属性(音素)の時間変化との関係について説明するための模式図である。図4においては、一例として、音節が“may”である場合の音素の時間変化が示される。音節“may”は、音素[m]および音素[eI]によって構成される。以下の説明では、属性指示子82の上辺SI1の一端(左端)と底辺SI2の一端(左端)とを結ぶ線分を側辺SI3と呼び、属性指示子82の上辺SI1の他端(右端)と底辺SI2の他端(右端)とを結ぶ線分を側辺SI4と呼ぶ。
図4(a)〜(c)の上段には、種々の形状の属性指示子82が示され、図4(a)〜(c)の下段には、それらの属性指示子82に対応する音素の時間変化が示される。使用者によって属性指示子82の操作子T1,T2が移動されていない場合、初期状態の属性指示子82が表示される。図4(a)には、初期状態の属性指示子82が示される。本例では、初期状態において、側辺SI3と底辺SI2との角度θ1および側辺SI4と底辺SI2との角度θ2は互いに等しい。
各音に割り当てられる音節は、図2の記憶装置140に記憶された複数の素片データが合成されることによって得られる。例えば、“may”([meI])という音節は、無音(本例では、♯で表される)から音素[m]への遷移を表す音声素片[♯−m]、音素[m]から音素[eI]への遷移を表す音声素片[m−eI]、および音素[eI]から無音への遷移を表す音声素片[eI−♯]にそれぞれ対応する素片データが合成されることによって得られる。属性指示子82が初期状態である場合、複数の素片データが予め定められた初期設定に基づいて合成される。
一の音節が伸ばして発音される場合、その発音時間のうちの大部分は、当該音節に含まれる一の母音または子音の発音時間となる。以下、このような発音時間の大部分を占める子音または母音を主音素と呼ぶ。主音素は、一の音素に相当する場合もあり、一の音素の一部(以下、部分音素と呼ぶ)に相当する場合もある。主音素は、例えば、音節内の最初の母音に相当する音素または部分音素である。“may”の主音素は、音素[eI]の部分音素[e]である。
操作子T1を移動させることにより、主音素の立ち上がり時間M1を調整することができ、操作子T2を移動させることにより、主音素の立ち下がり時間M2を調整することができる。立ち上がり時間M1は、先行の音素、部分音素または無音から主音素への遷移時間である。立ち下がり時間M2は、主音素から後続の音素、部分音素または無音への遷移時間である。図4においては、属性指示子82が、音素[m]と無音[♯]との間における音素[eI]の時間変化を表し、音素[m]から部分音素[e]への遷移に要する時間が立ち上がり時間M1に相当し、部分音素[e]から部分音素[I]への遷移、および部分音素[I]から無音[♯]への遷移に要する時間が立ち下がり時間M2に相当する。立ち上がり時間M1の終了時点から立ち下がり時間M2の開始時点までの期間においては、主音素が安定的に発音されるので、属性が一定に維持される。以下、立ち上がり時間M1と立ち下がり時間M2との間において、属性が一定に維持される時間を安定時間M3と呼ぶ。また、安定時間M3における属性の状態を安定状態と呼ぶ。
例えば、横軸の方向における操作子T1,T2の各々の位置を表す位置パラメータとして、“0”から“100”までの値が設定される。横軸の方向において、“0”は、底辺SI2の左端またはそれよりわずかに右の位置に相当し、“100”は、底辺SI2の右端またはそれよりわずかに左の位置に相当する。操作子T1,T2の各々は、位置パラメータが0以上100以下の値となるように、横軸の方向に移動可能である。ただし、操作子T1の位置パラメータを操作子T2の位置パラメータより大きくすることはできない。属性指示子82が初期状態である場合、操作子T1の位置パラメータは例えば“10”に設定され、操作子T2の位置パラメータは例えば“90”に設定される。
図4においては、理解を容易にするために、横軸の方向において、操作子T1の位置が安定時間M3の始点と一致し、操作子T2の位置が安定時間M3の終点と一致するが、実際には、操作子T1,T2の位置は、安定時間M3の始点および終点を直接的に表さない。安定時間M3の始点および終点は、選択される素片データ、および複数の素片データの合成のための初期設定等に依存する。
図4(b)に示すように、使用者によって操作子T1が移動されると、立ち上がり時間M1が変化する。操作子T1が左方に移動された場合、立ち上がり時間M1が短くなり、操作子T1が右方に移動された場合(図4(b)の例)、立ち上がり時間M1が長くなる。側辺SI3の傾斜角度θ1は、安定状態に向かって属性が変化する速度を概念的に表す。
また、図4(c)に示すように、操作子T2が移動されると、立ち下がり時間M2が変化する。操作子T2が左方に移動された場合(図4(c)の例)、立ち下がり時間M2が長くなり、操作子T2が右方に移動された場合、立ち下がり時間M2が短くなる。側辺SI4の傾斜角度θ2は、安定状態から属性が変化する速度を概念的に表す。
このように、属性指示子82の上辺SI1は、属性が安定状態に維持されることを概念的に表し、属性指示子82の側辺SI3,SI4は、安定状態の前後における属性の変化速度を概念的に表す。使用者は、属性指示子82の形状を見て、対応する音の属性の時間変化を直感的に認識することができる。
(4)初期状態の属性指示子
図5および図6は、初期状態の属性指示子82の形状について説明するための図である。上記のように、例えば初期状態での操作子T1,T2の位置パラメータは“10”および“90”にそれぞれ設定される。そこで、図5(a)の例のように、横軸の方向において、底辺SI2の一端から操作子T1までの距離G1、および底辺SI2の他端から操作子T2までの距離G2をそれぞれ底辺SI2の長さLAの10分の1(LA/10)に設定することが考えられる。しかしながら、この場合には、底辺SI2の長さLAが大きいほど、側辺SI3,SI4の傾斜角度θ1,θ2が小さくなる。
上記のように、側辺SI3,SI4の傾斜角度θ1,θ2は、属性の変化速度を概念的に表す。通常、音の長さが極端に短い場合を除いて、音の長さによって属性の変化速度が異なることはない。そのため、底辺SI2の長さLAによって初期状態での角度θ1,θ2が異なると、使用者は、音の長さによって属性の変化速度が異なると認識する可能性がある。
そこで、傾斜角度θ1,θ2を一定値(例えば、45度)に固定することが考えられる。しかしながら、図5(b)の例のように、底辺SI2が短い場合には、側辺SI3と側辺SI4とが交差し、属性指示子82の形状が適切でなくなる。
本例では、一定の条件が満たされる場合には傾斜角度θ1,θ2が一定値に設定され、一定の条件が満たされない場合には傾斜角度θ1,θ2が異なる値に設定される。例えば、傾斜角度θ1,θ2がX度(Xは正の値)に設定された場合の距離G1,G2が、底辺SI2の長さLAのY分の1(Yは正の値)以下となる場合には、傾斜角度θ1,θ2がX度に設定される。一方、傾斜角度θ1,θ2がX度に設定された場合の距離G1,G2が、底辺SI2の長さLAのY分の1より大きくなる場合には、距離G1,G2が底辺SI2の長さLAのY分の1となるように傾斜角度θ1,θ2が設定される。
図6を参照しながら、上記Xが45であり、かつ上記Yが10である場合を例に説明する。図6(a)の例では、傾斜角度θ1,θ2が45度に設定された場合の距離G1,G2が、長さLA/10より小さい。図6(b)の例では、傾斜角度θ1,θ2が45度に設定された場合の距離G1,G2が、長さLA/10と等しい。これらの場合、傾斜角度θ1,θ2が45度に設定される。一方、図6(c)の例では、傾斜角度θ1,θ2が45度に設定された場合の距離G1,G2が、長さLA/10より大きい。この場合、図6(d)の例のように、距離G1,G2が長さLA/10に設定される。これにより、底辺SI2がいかなる長さであっても、属性指示子82が適切に表示され、かつ使用者が属性の変化速度を誤認識しにくい。
図5および図6の例では、属性指示子82の幅(縦軸の方向における長さ)が一定であるが、属性指示子82の底辺SI2の長さLAに依存するように、属性指示子82の幅が適宜変更されてもよい。例えば、属性指示子82の底辺SI2の長さに比例するように、属性指示子82の幅が調整されてもよい。この場合、属性指示子82の底辺SI2が短くても、図5(b)の例のように、側辺SI3,SI4が交差することはない。そのため、底辺SI2がいかなる長さであっても、傾斜角度θ1,θ2を一定値に設定することができる。
(5)詳細調整画面
使用者による図2の入力装置160の操作に基づいて、図1の詳細調整画面表示部23は、音の属性の時間変化を詳細に調整するための詳細調整画面を表示する。例えば、図3の編集画面70において、ポインターにより一の属性指示子82が指定された状態でマウスがダブルクリックされることにより、その属性指示子82に対応する詳細調整画面が表示装置150により表示される。
図7は、詳細調整画面の一例を示す図である。図7の詳細調整画面90は、変化調整領域91およびクロスフェード調整領域92を含む。変化調整領域91において、横軸は、時間の経過を示し、縦軸は、属性の変化を示す。横軸の一端(左端)は、音の開始時点を表し、横軸の他端(右端)は、音の終了時点を表す。また、縦軸の一端(下端)は、音の開始時点における属性の状態(以下、開始状態と呼ぶ)を表し、縦軸の他端(上端)は、音の終了時点における属性の状態(以下、終了状態と呼ぶ)を表す。図4の例のように、一の音に音節“may”が割り当てられる場合、音素[m]が属性の開始状態に相当し、無音[♯]が属性の終了状態に相当する。
また、変化調整領域91の縦軸の方向に沿って、その音の属性に相当する音素が表示される。本例では、音節“may”を構成する一の音素[eI]が表示される。通常、音節の最初の音素が子音である場合、その音素の発音の開始時点は、対応する音の開始時点より前である。そのため、本例では、音素[m]は表示されず、音素[eI]のみが表示される。
変化調整領域91において、横軸の一端でかつ縦軸の一端が、その音の属性の始点P1であり、横軸の他端でかつ縦軸の他端が、その音の属性の終点P2である。属性の始点P1から終点P2にかけて、属性の変化を表す属性変化線SAが表示される。属性変化線SAは、第1の変化線L1、第2の変化線L2および安定線L3を含む。第1の変化線L1は、開始状態から安定状態までの属性の変化を表し、始点P1から安定線L3の一端にかけて延びる。第2の変化線L2は、安定状態から終了状態までの属性の変化を表し、安定線L3の他端から終点P2にかけて延びる。安定線L3は、安定状態を表し、横軸に平行に延びる。縦軸の方向における安定線L3の位置は一定である。
変化調整領域91は、操作子T3,T4,T5,T6を含む。操作子T3,T4は、それぞれ縦軸に平行な線分であり、横軸の方向にそれぞれ独立に移動可能である。操作子T3は、第1の変化線L1と安定線L3との連結部を通り、操作子T4は、安定線L3と第2の変化線L2との連結部を通る。操作子T3は図3の操作子T1に対応し、横軸の方向において操作子T3と始点P1との間の距離が図4の立ち上がり時間M1に対応する。操作子T4は図3の操作子T2に対応し、横軸の方向において操作子T4と終点P2との間の距離が図4の立ち下がり時間M2に対応する。また、操作子T3と操作子T4との間の距離(安定線L3の長さ)が図4の安定時間M3に対応する。操作子T5は操作子T3上に配置され、操作子T6は操作子T4上に配置される。操作子T5は、操作子T3上で縦軸の方向に移動可能であり、操作子T6は、操作子T4上で縦軸の方向に移動可能である。
また、横軸の方向における操作子T3,T4の位置を表す位置パラメータLH,RH、および縦軸の方向における操作子T5,T6の位置を表す位置パラメータLV,RVがそれぞれ表示される。位置パラメータLH,RH,LV,RVは、例えば、“0”から“100”までの値で表される。図7の例では、操作子T3の位置パラメータLHが“10”であり、操作子T4の位置パラメータRHが“90”である。また、操作子T5,T6の位置パラメータLV,RVがそれぞれ“50”である。操作子T3の位置パラメータLHは、図3の操作子T1の位置パラメータと一致し、操作子T4の位置パラメータRHは、図3の操作子T2の位置パラメータと一致する。
使用者は、図2の入力装置160を操作することにより、操作子T3,T4,T5,T6をそれぞれ独立に移動させることができる。図8および図9は、操作子T3,T4の移動について説明するための図である。図10は、操作子T5,T6の移動について説明するための図である。
図8に示すように、操作子T3,T4が横軸の方向にそれぞれ移動されることにより、立ち上がり時間M1、立ち下がり時間M2および安定時間M3が調整される。また、操作子T3,T4の移動に追従して、属性変化線SAが変化する。また、図9に示すように、操作子T3を横軸の一端に最大限まで近づけた場合でも、一定の立ち上がり時間M1が確保されることが好ましい。同様に、操作子T4を横軸の他端に最大限まで近づけた場合でも、一定の立ち上がり時間M2が確保されることが好ましい。この場合、操作子T3,T4の移動範囲は、横軸の左端よりも一定時間分だけ右の位置から横軸の右端よりも一定時間分だけ左の位置までに限定される。また、上記の位置パラメータHが“0”または“100”に調整された場合でも、図9の例のように、一定の立ち上がり時間M1,M2が確保されることが好ましい。このように、一定の立ち上がり時間M1,M2が確保されることにより、音節の発音が不自然になることが防止される。操作子T3が移動されると、それに追従するように図3の操作子T1も移動され、操作子T4が移動されると、それに追従するように図3の操作子T2も移動される。
図10に示すように、操作子T5が縦軸の方向に移動されることにより、第1の変化線L1の曲率が調整される。本例では、縦軸の方向において操作子T5が安定線L3と同じ位置にある場合、第1の変化線L1は直線である。操作子T5が安定線L3よりも縦軸の一端に近づく方向(下方)に移動されると(図10の例)、始点P1から安定線L3の一端にかけて、第1の変化線L1の傾き(変化速度)が漸次大きくなるように、第1の変化線L1が凹状に湾曲する。一方、操作子T5が安定線L3よりも縦軸の他端に近づく方向(上方)に移動されると、始点P1から安定線L3の一端にかけて、第1の変化線L1の傾きが漸次小さくなるように、第1の変化線L1が凸状に湾曲する。操作子T5が安定線L3から遠ざかるほど、第1の変化線L1の曲率が大きくなる。
同様に、操作子T6が縦軸の方向に移動されることにより、第2の変化線L2の曲率が調整される。本例では、縦軸の方向において操作子T6が安定線L3と同じ位置にある場合、第2の変化線L2は直線である。操作子T6が安定線L3よりも縦軸の一端に近づく方向(下方)に移動されると、安定線L3の他端から終点P2にかけて、第2の変化線L2の傾きが漸次大きくなるように、第2の変化線L2が凹状に湾曲する。一方、操作子T6が安定線L3よりも縦軸の他端に近づく方向(上方)に移動されると(図10の例)、安定線L3の他端から終点P2にかけて、第2の変化線L2の傾きが漸次小さくなるように、第2の変化線L2が凸状に湾曲する。操作子T6から安定線L3から遠ざかるほど、第2の変化線L2の曲率が大きくなる。例えば、下式(1)を用いて、第1の変化線L1の曲率が算出される。
Figure 0006569205
式(1)において、“i”は、合成すべき音のフレーム(時間位置)のインデックスを示す整数であり、“ih”は、予め記憶される素片データのフレームのインデックスを示す実数である。これは、“i”番目のフレームを合成する際に、素片データの“ih”番目のフレームの属性が適用されることを意味する。初期状態では、“i”=“ih”である。“ih”は、非整数であってもよい。例えば、“ih”=5.7である場合、素片データの5番目のフレームの属性と6番目のフレームの属性が3:7の割合で補間される。“D”は、合成すべき音の時間長(フレーム数)であり、 “Dh”は、予め記憶される素片データの時間長である。
“α”は、使用者によって調整される値であり、縦軸の方向における操作子T5の位置を表す。例えば、“α”は−0.9以上0.9以下の範囲で調整可能であり、縦軸の方向において操作子T5が安定線L3と同じ位置にある場合、“α”が0となる。操作子T5が安定線L3よりも下方にある場合、“α”が負の値となり、操作子T5が安定線L3よりも上方にある場合、“α”が正の値となる。同様にして、第2の変化線L2の曲率も算出することができる。
なお、操作子T5,T6を横軸の方向に移動させることも可能である。操作子T5が横軸の方向に移動されると、それに追従するように操作子T3も横軸の方向に移動され、操作子T6が横軸の方向に移動されると、それに追従するように操作子T4も横軸の方向に移動される。これにより、安定線L3の長さが変化される。
図1の操作検出部30は、使用者による操作子T3,T4,T5,T6の操作を検出し、属性調整部40は、検出された操作子T3,T4,T5,T6の操作に基づいて、属性変化線SAの変化に対応するように、属性情報取得部13により取得された属性情報を調整する。
マウス等のポインティングデバイスまたはタッチパネルディスプレイ用のタッチペン等を用いて、使用者が第1の変化線L1および第2の変化線L2の形状を任意に変化させることが可能であってもよい。その場合、より高い自由度で属性を変化させることができる。
図11は、クロスフェード調整領域92について説明するための図である。図11に示すように、クロスフェード調整領域92は、クロスフェード時間を模式的に表すクロスフェード画像92aおよびクロスフェード時間を調整するための操作子T7を含む。ここで、クロスフェードとは、先行の音声素片をフェードアウトさせつつ後続の音声素片をフェードインさせることであり、クロスフェード時間とは、先行の音声素片と後続の音声素片とが重なる期間の長さである。例えば、先行の音声素片が[m−eI]であり、後続の音声素片が[eI−♯]である場合、これらの重なりの期間の長さがクロスフェード時間である。
クロスフェード画像92aは、先行の音声素片D1および後続の音声素片D2を表し、これらの一部が互いに重なる。その重なりの長さMSが、クロスフェード時間を表す。操作子T7は、一方向(本例では、横軸の方向)に延びる操作線OL上で移動可能である。使用者は、図2の入力装置160を操作することにより、操作子T7を移動させることができる。操作子T7が右方に移動されると(図11の例)、クロスフェード時間が長くなり、操作子T7が左方に移動されると、クロスフェード時間が短くなる。操作子T7の移動に追従するように、クロスフェード画像92Aにおける長さMSが変化する。
クロスフェード時間に加えて、クロスフェードが行われる時点(例えば、開始時点および終了時点)が調整可能であってもよい。その場合、クロスフェードが行われる時点を調整するための他の操作子が設けられてもよい。あるいは、操作子T7が上記一方向と異なる他の方向(例えば、縦軸の方向)に移動方向に設けられ、操作子T7が他の方向に移動されることによってクロスフェードが行われる時点が調整されてもよい。
(6)属性調整処理
図12および図13は、図1の属性調整装置100により行われる属性調整処理のフローチャートである。図12および図13の属性調整処理は、図2のCPU110がROM120に記憶された属性調整プログラムを実行することにより行われる。説明の簡便のため、図12および図13においては、一の音に関する処理について説明する。
まず、図12に示すように、音指定情報取得部11が、音の高さおよび発音期間を表す音指定情報を取得する(ステップS1)。次に、歌詞情報取得部12が、取得された音指定情報に対応する歌詞情報を取得する(ステップS2)。次に、属性情報取得部13が、取得された歌詞情報に基づいて、音の属性の時間変化を表す属性情報を取得する(ステップS3)。この場合、図2の記憶装置140に記憶される素片情報から、音節を構成するための複数の素片データが取得され、それら複数の素片データが合成される。本例では、ステップS1〜S3で取得される音指定情報、歌詞情報および属性情報が図2の記憶装置140に記憶される。
次に、音指示子表示部21が、ステップS1で取得された音指定情報に基づいて、音の高さおよび発音期間を表す音指示子81を表示し、かつその音指示子81に重なるように、ステップS2で取得された歌詞情報に基づいて、音節を表す文字および発音記号を表示する(ステップS4)。次に、属性指示子表示部22が、ステップS3で取得された属性情報に基づいて、音の属性の時間変化を表す属性指示子82を表示する(ステップS5)。
次に、操作検出部30が、属性指示子82の操作子T1,T2が操作されたか否かを判定する(ステップS6)。操作子T1,T2の少なくとも一方が操作された場合、その操作に基づいて、属性指示子表示部22が、属性指示子82の表示を更新するとともに(ステップS7)、属性調整部40が、記憶装置140に記憶される属性情報を調整する(ステップS8)。これにより、操作子T1,T2の移動に追従するように属性指示子82が変形され、かつ属性指示子82の変形に対応するように属性情報が調整される。ステップS6において、属性指示子82の操作子T1,T2がいずれも操作されていない場合、ステップS7,S8の処理は行われない。
次に、図13に示すように、詳細調整画面表示部23が、図2の入力装置160の操作に基づいて、詳細調整画面の表示が要求されたか否かを判定する(ステップS9)。詳細調整画面の表示が要求された場合、詳細調整画面表示部23が、記憶装置140に記憶される属性情報に基づいて、詳細調整画面を表示する(ステップS10)。
次に、操作検出部30が、詳細調整画面の操作子T3,T4,T5,T6が操作されたか否かを判定する(ステップS11)。詳細調整画面の操作子T3,T4,T5,T6の少なくとも1つが操作された場合、その操作に基づいて、詳細調整画面表示部23が、詳細調整画面の属性変化線SAおよび属性指示子82の表示を更新するとともに(ステップS12)、属性調整部40が、記憶装置140に記憶される属性情報を調整する(ステップS13)。これにより、操作子T3〜T6の移動に追従するように属性変化線SAおよび属性指示子82が変形され、かつその変形に対応するように属性情報が調整される。ステップS11において、操作子T3,T4,T5,T6がいずれも操作されていない場合、ステップS12,S13の処理は行われない。
次に、操作検出部30が、詳細調整画面の操作子T7が操作されたか否かを判定する(ステップS14)。操作子T7が操作された場合、その操作に基づいて、詳細調整画面表示部23が、クロスフェード画像92Aの表示を更新するとともに(ステップS15)、属性調整部40が、記憶装置140に記憶される属性情報を調整する(ステップS16)。ステップS14において、操作子T7が操作されていない場合、ステップS15,S16の処理は行われない。また、ステップS9において、詳細調整画面の表示が要求されていない場合、ステップS10〜S16の処理は行われない。その後、ステップS6〜S16の処理が繰り返される。
(7)効果
本実施の形態に係る属性調整装置100においては、音指定情報に基づいて編集画面70上に音指示子81が表示され、その音指示子81と隣り合うように、属性情報に基づいて属性指示子82が表示されるので、使用者は、音の高さおよび発音期間に加えて、音の属性の時間変化を直感的に認識することができる。また、属性指示子82が横軸の方向に独立に移動可能な操作子T1、T2を含み、操作子T1、T2の操作に基づいて属性情報が調整されるので、、使用者は、煩雑な操作を行うことなく、音の属性の時間変化を容易にかつ直感的に調整することができる。
また、本実施の形態では、属性指示子82の上辺SI1が、属性が安定状態に維持されることを概念的に表し、属性指示子82の側辺SI3,SI4が、安定状態の前後における属性の変化速度を概念的に表す。これにより、使用者は、属性指示子82の形状を見て、対応する音の属性の時間変化を直感的に認識することができる。
また、本実施の形態では、詳細調整画面90において、安定状態までの属性の時間変化を表す第1の変化線L1の曲率を変化させることができ、安定状態からの属性の時間変化を表す第2の変化線L2の曲率を変化させることができる。これにより、使用者は、属性の時間変化を詳細に調整することができる。
(8)属性指示子の他の例
図14は、編集画面70の他の例を示す図である。図14の編集画面70について、図3の例と異なる点を説明する。図14の編集画面70には、台形の属性指示子82の代わりに、折れ線状の属性指示子83が表示される。属性指示子83は、図7の詳細調整画面90の属性変化線SAと同様に、開始状態から安定状態までの属性の変化を表す線分、安定状態を表す線分、および安定状態から終了状態までの属性の変化を表す線分を含む。横軸の方向における属性指示子83の寸法は予め定められており、対応する音指示子81の長さに依存しない。
属性指示子83は、操作子T8,T9を有する。使用者は、図2の入力装置160を操作することにより、操作子T8,T9を横軸の方向にそれぞれ独立に移動させることができる。操作子T8,T9の移動に追従して、属性指示子83が変形する。操作子T8は、図3の操作子T1および図7の操作子T3に対応し、操作子T9は、図3の操作子T2および図7の操作子T4に対応する。操作子T8,T9が横軸の方向にそれぞれ移動されることにより、立ち上がり時間M1、立ち下がり時間M2および安定時間M3(図4および図7)が調整される。本例の属性指示子83においては、図7の属性変化線SAと異なり、線分の曲率を変化させることはできない。
図3の例では、横軸の方向において、各属性指示子82の底辺SI2の長さが、対応する音指示子81の長さと同じであり、その底辺SI2の一端と他端との間において、操作子T1,T2が移動される。この場合、使用者は、横軸の方向における操作子T1,T2の位置が、横軸によって表される時間位置と直接的に対応していると認識する可能性がある。具体的には、操作子T1の位置が、安定時間M3(図4)の始点を直接的に表し、操作子T2の位置が、安定時間M3の終点を直接的に表すと認識される可能性がある。しかしながら、上記のように、安定時間M3の始点および終点は、選択される素片データ、および複数の素片データの合成のための初期設定等に依存するので、操作子T1,T2の位置は安定時間M3の始点および終点を直接的に表さない。すなわち、使用者は、操作子T1の位置と安定時間M3の始点との関係、および操作子T2の位置と安定時間M3の終点との関係を誤って認識する可能性がある。
図14の例では、属性指示子83の長さが一定であるので、横軸の方向における操作子T8,T9の位置が、横軸によって表される時間位置と直接的に対応しないことが明らかである。それにより、使用者が、操作子T1の位置と安定時間M3の始点との関係、および操作子T2の位置と安定時間M3の終点との関係を誤って認識することが防止される。
図15は、属性指示子のさらに他の例を示す図である。図15の例について、図3の例と異なる点を説明する。図15(a)の属性指示子84は、操作子T1と操作子T2との間に、縦軸の方向および横軸の方向に移動可能な操作子T11を含む。さらに、図15(b)の属性指示子85は、操作子T1と操作子T2との間に、操作子T11に加えて、縦軸の方向および横軸の方向に移動可能な操作子T12,T13を含む。このように、操作子T1,T2に加えて、1または複数の他の操作子が設けられてもよい。これらの操作子が移動されることにより、属性の時間変化をより高い自由度で調整することができる。図14の属性指示子83においても、操作子T8,T9の間に、1または複数の他の操作子が設けられてもよい。一方、図15(c)の属性指示子86は、操作子T1,T2の代わりに、1つの操作子T20を有する。操作子T20は、横軸の方向にのみ移動可能であってもよく、縦軸の方向にのみ移動可能であってもよく、横軸の方向および縦軸の方向の両方に移動可能であってもよい。このように、1つの操作子T20のみが設けられることにより、より簡単な操作で属性の時間変化を調整することができる。
(9)他の実施の形態
上記実施の形態では、属性指示子82の側辺SI3,SI4(図4)がそれぞれ直線であるが、本発明はこれに限らない。例えば、図7の詳細調整画面90において、第1および第2の変化線L1,L2の曲率が変化された場合、その変化に追従するように、属性指示子82の側辺SI3,SI4が曲線状に変化されてもよい。
また、サーバ装置が属性調整装置100を構成し、サーバ装置が属性調整処理を行ってもよい。また、属性調整プログラムがウェブプログラムとして提供され、CPU110がウェブプログラムを実行することにより属性調整処理を行ってもよい。
(10)請求項の各構成要素と実施の形態の各要素との対応
以下、請求項の各構成要素と実施の形態の各要素との対応の例について説明するが、本発明は下記の例に限定されない。
上記実施の形態では、取得部10が取得手段の例であり、音指示子表示部21が第1の表示手段の例であり、座標領域71の縦軸が第1の軸の例であり、座標領域71の横軸が第2の軸の例であり、座標領域71が第1の表示領域の例であり、音指示子81が第1の図形の例であり、属性指示子表示部22が第2の表示手段の例であり、操作子T1が第1の操作子の例であり、操作子T2が第2の操作子の例であり、属性指示子82が第2の図形の例であり、操作検出部30が第1の検出手段の例であり、属性調整部40が調整手段の例である。また、開始状態が第1の状態の例であり、安定状態が第2の状態の例であり、終了状態が第3の状態の例であり、上辺SI1が第1の線分の例であり、底辺SI2が第2の線分の例であり、側辺SI3が第3の線分の例であり、側辺SI4が第4の線分の例である。また、詳細調整画面表示部23が第3の表示手段の例であり、変化調整領域91が第2の表示領域の例であり、第1の変化線L1が第5の線分の例であり、安定線L3が第6の線分の例であり、第2の変化線L2が第7の線分の例であり、操作子T3,T4,T5,T6が形態調整操作子の例であり、操作検出部30が第2の検出手段の例である。また、変化調整領域91の横軸が第3の軸の例であり、変化調整領域91の縦軸が第4の軸の例であり、操作子T5が第3の操作子の例であり、操作子T6が第4の操作子の例であり、操作子T7が第5の操作子の例である。請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。
(11)参考形態
本参考形態に係る属性調整装置は、音の高さおよび発音期間を表す音指定情報、ならびに音の属性の時間変化を表す属性情報を取得する取得手段と、音の高さを示す第1の軸および時間の経過を示す第2の軸を有する第1の表示領域上に、音指定情報に基づいて音の高さおよび発音期間を表す第1の図形を表示する第1の表示手段と、取得された属性情報に基づいて、第2の軸と平行にそれぞれ独立に移動可能な第1および第2の操作子を含みかつ音の属性の時間変化を表す第2の図形を、第1の図形と対応するように第1の表示領域上に表示する第2の表示手段と、第1および第2の操作子の操作を検出する第1の検出手段と、検出された第1および第2の操作子の操作に基づいて取得された属性情報を調整する調整手段とを備える。
この属性調整装置においては、取得された音指定情報に基づいて、音の高さおよび発音期間を表す第1の図形が第1の表示領域上に表示され、取得された属性情報に基づいて、音の属性の時間変化を表す第2の図形が第1の表示領域上に表示される。この場合、第2の図形が第1の図形に対応するように表示されるので、使用者は、音の高さおよび発音期間に加えて、音の属性の時間変化を直感的に認識することができる。
また、第2の図形は第2の軸と平行にそれぞれ独立に移動可能な第1および第2の操作子を含み、第1および第2の操作子の操作に基づいて属性情報が調整される。これにより、使用者は、煩雑な操作を行うことなく、音の属性の時間変化を容易にかつ直感的に調整することができる。
音の属性は、第1の状態から第2の状態を経て第3の状態に変化し、第1の操作子と第2の操作子との間の距離は、属性が第2の状態に維持される期間の長さに対応し、調整手段は、検出された第1の操作子の操作に基づいて第1の状態から第2の状態への属性の変化を調整し、検出された第2の操作子の操作に基づいて第2の状態から第3の状態への属性の変化を調整してもよい。
この場合、使用者は、第1の状態から第2の状態への属性の時間変化、属性が第2の状態に維持される期間の長さ、および第2の状態から第3の状態への属性の時間変化を容易にかつ直感的に調整することができる。
第2の図形は、第2の軸に平行な第1の線分、第1の線分に平行な第2の線分、第1の線分の一端と第2の線分の一端とを結ぶ第3の線分、および第1の線分の他端と第2の線分の他端とを結ぶ第4の線分を有し、第1および第2の操作子は第1の線分の一端および他端にそれぞれ位置し、第2の線分の一端および他端は、発音期間の始点および終点にそれぞれ対応してもよい。
この場合、第3の線分の傾きが第1の状態から第2の状態への属性の変化速度を表し、第4の線分の傾きが第2の状態から第3の状態への属性の変化速度を表す。したがって、使用者は、第3および第4の線分の傾きにより、音の属性の時間変化を直感的に認識することができる。
属性調整装置は、時間の経過を示す第3の軸および属性の状態を示す第4の軸を有する第2の表示領域上に、取得された属性情報に基づいて、第1の状態から第2の状態への変化を表す第5の線分、第2の状態を表す第6の線分、第2の状態から第3の状態への変化を表す第7の線分、および第5および第7の線分の形状を変化させる形態調整操作子を表示する第3の表示手段と、形態調整操作子の操作を検出する第2の検出手段とをさらに備え、調整手段は、検出された形態調整操作子の操作に基づいて取得された属性情報を調整してもよい。
この場合、使用者は、形態調整操作子を操作することによって第1の状態から第2の状態への属性の時間変化および第2の状態から第3の状態への属性の時間変化を詳細に調整することができる。
形態調整操作子は、第3の軸と平行に移動可能でかつ第4の軸に平行に移動可能な第3および第4の操作子を含み、第3の軸の方向における第3の操作子の位置は、第6の線分の一端の位置に対応し、第3の軸の方向における第4の操作子の位置は、第6の線分の他端の位置に対応し、第4の軸の方向における第3の操作子の位置は、第5の線分の曲率に対応し、第4の軸の方向における第4の操作子の位置は、第7の線分の曲率に対応してもよい。
この場合、使用者は、煩雑な操作を行うことなく、第3および第4の操作子を操作することによって第1の状態から第2の状態への属性の時間変化および第2の状態から第3の状態への属性の時間変化を容易に調整することができる。
属性の時間変化は、複数の音素間の遷移を含み、第3の表示手段は、第5の操作子をさらに表示し、調整手段は、第5の操作子の操作に基づいて複数の音声素片間におけるクロスフェードの期間の長さを調整してもよい。
この場合、使用者は、第5の操作子を操作することによって複数の音声素片間におけるクロスフェードの期間の長さを容易に調整することができる。
属性調整プログラムは、音の高さおよび発音期間を表す音指定情報、ならびに音の属性の時間変化を表す属性情報を取得するステップと、音の高さを示す第1の軸および時間の経過を示す第2の軸を有する第1の表示領域上に、音指定情報に基づいて音の高さおよび発音期間を表す第1の図形を表示するステップと、取得された属性情報に基づいて、第2の軸と平行にそれぞれ独立に移動可能な第1および第2の操作子を含みかつ音の属性の時間変化を表す第2の図形を、第1の図形と対応するように第1の表示領域上に表示するステップと、第1および第2の操作子の操作を検出するステップと、検出された第1および第2の操作子の操作に基づいて取得された属性情報を調整するステップとを、コンピュータに実行させる。
この属性調整プログラムによれば、取得された音指定情報に基づいて、音の高さおよび発音期間を表す第1の図形が第1の表示領域上に表示され、取得された属性情報に基づいて、音の属性の時間変化を表す第2の図形が第1の表示領域上に表示される。この場合、第2の図形が第1の図形に対応するように表示されるので、使用者は、音の高さおよび発音期間に加えて、音の属性の時間変化を直感的に認識することができる。
また、第2の図形は第2の軸と平行にそれぞれ独立に移動可能な第1および第2の操作子を含み、第1および第2の操作子の操作に基づいて属性情報が調整される。これにより、使用者は、煩雑な操作を行うことなく、音の属性の時間変化を容易にかつ直感的に調整することができる。
本発明は、音の主音素の時間変化を調整するために有効に利用することができる。
10…取得部、11…音指定情報取得部、12…歌詞情報取得部、13…属性情報取得部、20…表示制御部、21…音指示子表示部、22…属性指示子表示部、23…詳細調整画面表示部、30…操作検出部、40…属性調整部、70…編集画面、71…座標領域、81…音指示子、82…属性指示子、90…詳細調整画面、100…属性調整装置、110…CPU、120…ROM、130…RAM、140…記憶装置、150…表示装置、160…入力装置、170…出力装置、T1,T2,T3,T4,T5,T6,T7…操作子

Claims (3)

  1. 音の高さおよび発音期間を表す音指定情報、ならびに前記音の主音素の時間変化を表す属性情報を取得する取得手段と、
    音の高さを示す第1の軸および時間の経過を示す第2の軸を有する第1の表示領域上に、前記音指定情報に基づいて前記音の高さおよび発音期間を表す第1の図形を表示する第1の表示手段と、
    前記属性情報に基づいて、前記第2の軸と平行にそれぞれ独立に移動可能な第1および第2の操作子を含みかつ前記音の主音素のみの時間変化を表す第2の図形を、前記第1の図形と対応するように前記第1の表示領域上に表示する第2の表示手段と、
    前記第1および第2の操作子の操作を検出する第1の検出手段と、
    検出された前記第1および第2の操作子の操作に基づいて、前記音の主音素の時間変化を調整する調整手段とを備える、属性調整装置。
  2. 前記音の主音素は、その開始状態に相当する第1の状態から安定的な第2の状態を経てその終了状態に相当する第3の状態に変化し、
    前記第1の操作子と前記第2の操作子との間の距離は、前記音の主音素が前記第2の状態に維持される期間の長さに対応し、
    前記調整手段は、検出された前記第1の操作子の操作に基づいて、前記第1の状態から前記第2の状態への主音素の変化時間を調整し、検出された前記第2の操作子の操作に基づいて、前記第2の状態から前記第3の状態への主音素の変化時間を調整する、請求項1記載の属性調整装置。
  3. 前記第2の図形は、前記第2の軸に平行な第1の線分、前記第1の線分に平行な第2の線分、前記第1の線分の一端と前記第2の線分の一端とを結ぶ第3の線分、および前記第1の線分の他端と前記第2の線分の他端とを結ぶ第4の線分を有し、
    前記第1および第2の操作子は前記第1の線分の前記一端および前記他端にそれぞれ位置し、
    前記第2の線分の前記一端および前記他端は、前記音の発音期間の始点および終点にそれぞれ対応する、請求項2記載の属性調整装置。
JP2014211477A 2014-10-16 2014-10-16 属性調整装置 Active JP6569205B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014211477A JP6569205B2 (ja) 2014-10-16 2014-10-16 属性調整装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014211477A JP6569205B2 (ja) 2014-10-16 2014-10-16 属性調整装置

Publications (2)

Publication Number Publication Date
JP2016080846A JP2016080846A (ja) 2016-05-16
JP6569205B2 true JP6569205B2 (ja) 2019-09-04

Family

ID=55958543

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014211477A Active JP6569205B2 (ja) 2014-10-16 2014-10-16 属性調整装置

Country Status (1)

Country Link
JP (1) JP6569205B2 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55103596A (en) * 1979-01-31 1980-08-07 Kawai Musical Instr Mfg Co Electronic musical instrument
JP3033465B2 (ja) * 1995-03-30 2000-04-17 ヤマハ株式会社 パラメータ設定装置
JP3632523B2 (ja) * 1999-09-24 2005-03-23 ヤマハ株式会社 演奏データ編集装置、方法及び記録媒体
JP3620405B2 (ja) * 2000-05-09 2005-02-16 ヤマハ株式会社 楽音変動情報生成方法、楽音変動情報生成装置および記録媒体
US20140281970A1 (en) * 2006-10-23 2014-09-18 Soenke Schnepel Methods and apparatus for modifying audio information
JP5614262B2 (ja) * 2010-11-29 2014-10-29 ヤマハ株式会社 音楽情報表示装置
JP6236765B2 (ja) * 2011-11-29 2017-11-29 ヤマハ株式会社 音楽データ編集装置および音楽データ編集方法

Also Published As

Publication number Publication date
JP2016080846A (ja) 2016-05-16

Similar Documents

Publication Publication Date Title
US8975500B2 (en) Music data display control apparatus and method
EP2680254B1 (en) Sound synthesis method and sound synthesis apparatus
JP5783206B2 (ja) 音楽情報表示制御装置およびプログラム
JP6236765B2 (ja) 音楽データ編集装置および音楽データ編集方法
US10423385B2 (en) Audio feedback for continuous scrolled content
CN104021783A (zh) 语音合成方法、语音合成设备和计算机可读记录介质
JP2008268477A (ja) 韻律調整可能な音声合成装置
JP2012083563A (ja) 音声合成装置およびプログラム
JP6261924B2 (ja) 韻律編集装置、方法およびプログラム
JP2017181724A (ja) 楽譜表示制御方法、楽譜表示制御装置、楽譜表示制御プログラム
JP6569205B2 (ja) 属性調整装置
JP5949720B2 (ja) 歌唱結果表示装置、プログラム
JP2012103654A (ja) 音声合成装置及びプログラム
JP6149917B2 (ja) 音声合成装置および音声合成方法
JP2014089475A (ja) 音声合成装置およびプログラム
JP2012083564A (ja) 楽曲編集装置およびプログラム
WO2019239971A1 (ja) 情報処理方法、情報処理装置およびプログラム
JP5904298B2 (ja) シーケンスデータの編集装置、およびプログラム
US20230401980A1 (en) Screen Reader Software For Generating A Background Tone Based On A Spatial Location of a Graphical Object
JP5429840B2 (ja) 音声合成装置およびプログラム
JP6341032B2 (ja) 楽音情報を処理する装置およびプログラム
JP6439288B2 (ja) 合成情報管理装置および合成情報管理方法
JP5391597B2 (ja) 楽音データ編集装置及びプログラム
US20240029695A1 (en) Signal processing method, signal processing device, and sound generation method using machine learning model
JP4508196B2 (ja) 曲編集装置および曲編集プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190722

R151 Written notification of patent or utility model registration

Ref document number: 6569205

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151