WO2004111996A1

WO2004111996A1 - 音響区間検出方法および装置

Info

Publication number: WO2004111996A1
Application number: PCT/JP2004/008051
Authority: WO
Inventors: Tetsu Suzuki; Takeo Kanamori; Takashi Kawamura
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2003-06-11
Filing date: 2004-06-03
Publication date: 2004-12-23
Also published as: JP3744934B2; US7567900B2; US20060053003A1; JPWO2004111996A1

Abstract

入力信号のレベル変動に依存せず、リアルタイム性に優れ、耐雑音性のある調波構造性音響信号区間検出装置は、入力信号にＦＦＴを施し、フレームごとにパワースペクトル成分を求めるＦＦＴ部（２００）と、パワースペクトル成分より調波構造のみを残す調波構造抽出部（２０１）と、調波構造抽出部（２０１）で抽出された調波構造のフレーム間での相関性を評価することにより、母音の区間であるか否かを評価し、有声区間を抽出する有声評価部（２１０）と、有声評価部（２１０）の出力の連続性および持続性に基づいて音声区間を決定する音声区間決定部（２０５）とを備える。

Description

明細書音響区間検出方法および装置技術分野

本発明は、入力音響信号から調波構造を有する信号とくに音声が含まれる区間を音声区間として検出する調波構造信号区間および調波構造性音響信号区間検出方法に関し、特に、環境雑音下における調波構造信号および調波構造性音響信号区間検出方法に関する。背景技術

人間の音声は、声帯の振動と発声器官の共振によって形成されており、音の大きさや音の高低を区別するために声帯を制御して振動の周波数を変化させたり，鼻や舌などの発声器官の位置つまり声道形状を変動させたりすることで、人はさまざまな音を発声していることが知られている。このように生成される音声を、音響信号として捕えると、その特徴は、周波数とともに緩やかに変化する成分である、スぺクトル包絡と、短時間の周期的（有声母音などの場合）にまたは非周期的に変化する成分（子音や無声母音の場合）である、スペクトル微細構造から構成されていることが知られている。前者のスぺクトル包絡成分が発声器官の共振特性を表しており、人間の喉や口の形をあらわす特徴量として用いられ、たとえば音声認識の特徴量としても用いられている。一方、後者のスぺクトル微細構造は、音源の周期性を表しており、声帯の基本周期（ピッチ）、音の高低を表す特徴量として用いられている。音声信号のスぺクトルは、これら 2つの要素の積で表現されている。とくに母音部などにおいて、後者の基本周期およびその高調波成分をよく残している信号は、音声の調波構造とも呼ばれている。

従来、入力音響信号から音声区間を検出する手法は、様々提案されている。それらを大きく分類すると、入力音響信号の帯域パワーやスぺクトルの概形を示すスペクトル包絡などの振幅情報を用いて識別する方法 (以下、「方法 1 」という。）、口映像を動画像解析することにより、その開閉を検出する方法（以下、「方法 2」という。）、音声や雑音を表現する音響モデルと入力音響信号の音響特徴量とを比較することにより音声区間を検出する方法（以下、「方法 3 J という。）、および音声の調音器官の特徴である声道形状によって形成されるスペクトル包絡形状や声帯振動によって形成される調波構造に着目して音声区間を決定する方法（以下、「方法 4」という。）などがある。

しかし、方法 1 では、もともと振幅情報だけで音声と雑音とを識別することが難しいという問題を含んでいる。このため、方法 1 では、音声区間と雑音区間とを仮定し、音声区間と雑音区間とを区別するために設定したしきい値を再学習することにより、音声区間の検出を行なっている。したがって、学習過程において雑音区間の振幅が音声区間の振幅に対して大きくなる（すなわち音声雑音比（以下、「 S N R」という。）が 0 d B程度まで低下する）と、雑音区間であるか音声区間であるかの仮定そのものの精度が性能に影響し、しきい値学習の精度が劣化してしまう。その結果として、音声区間検出の性能が劣化するという問題がある。また、方法 2では、例えば音入力を用いずに画像だけを用いて口が開いたことを検出するようにすれば、その音声区間検出推定精度は、 S N Rとは無関係に一定に保つことが可能である。しかし、画像解析処理は音声信号の解析処理に比べて、コストが高いことと、口がカメラの方向に向いていない場合には音声区間の検出ができないという問題がある。さらに、方法 3では、想定した環境雑音下での性能は確保されるものの、雑音を想定することそのものが難しいため、この方法を使用できる環境は限定的となってしまう。その場の雑音環境を学習する手法も提案されているが、振幅情報を利用する方法（方法 1 ) と同様に、学習方法の精度に依存して性能が劣化するという問題もある。

一方、音声の調音器官の特徴である、声道形状によって形成されるスベクトル包絡形状や声帯振動によって形成される調波構造に着目して音声区間を決定する方法（方法 4 ) も提案されてきた。

スぺクトル包絡形状を利用した方法には、帯域パワー例えばケプストラムの連続性を評価する方法などがあるが、 S N Rが低下した状況では雑音のオフセット成分との区別がつきにくくなるため、性能が劣化する。調波構造に着目した方法として、ピッチ検出法はその手法の一つであリ、時間軸上の自己相関や高次ケフレンシ一を抽出する方法、周波数軸上の自己相関を行なう方法等が提案されている。しかし、これらの方法は、対象とする信号が単一のピッチ（高調波の基本周波数）を持つ信号でない場合には音声区間の抽出が困難であり、環境雑音によって抽出誤りが発生し易い等の問題がある。

また、複数種類の音響信号が混在した音響信号から、人の音声や特定の楽器音等の調波構造を持った音響信号を強調したり、抑圧したり、分離抽出したりする技術が知られている。例えば音声信号に対しては、雑音と音声信号とが混在した音響信号から雑音のみを抑圧する雑音抑圧装置（たとえば、特開平 9一 1 5 3 7 6 9号公報参照。）が、また音楽に対しては演奏に含まれる旋律の分離方法や除去方法（たとえば、特開平 1 1 — 1 4 3 4 6 0号公報参照。）力《、それぞれ提案されている。

しかし、特開平 9一 1 5 3 7 6 9号公報に記載の方法では、入力信号の線形予測残差信号を帯域ごとに観察することで音声および非音声の検出を行っている。したがって、線形予測がうまく機能しない低 S N Rの非定常雑音下では性能が劣化するという問題がある。

また、特開平 1 1 — 1 4 3 4 6 0号公報に記載の方法は、同一の音程の音が一定時間持続するという音楽の旋律特有の性質を利用した方法である。このため、この方法を、音声と雑音との区別にそのまま用いることは困難であるという問題がある。音響の分離や除去を目的としない場合には、その処理量の多さが問題となる。

調波構造を表現する音響特徴量そのものを評価関数に用いる手法（たとえば、特開 2 0 0 1 — 2 2 2 2 8 9号公報参照。）も提案されている。図 3 2は、特開 2 0 0 1 — 2 2 2 2 8 9号公報で提案されている方法を用いた音声区間決定装置の概略構成を示すブロック図である。

図 3 2に示される音声区間検出装置 1 0は、入力信号中の音声区間を決定する装置であり、 F F T (Fast Fourier Transform) 部 1 0 0 と、調波構造評価部 1 0 1 と、調波構造ピーク検出部 1 0 2 と、ピツチ候補検出部 1 0 3 と、フレーム間振幅差分調波構造評価部 1 0 4 と、音声区間決定部 1 0 5 とを備える。

F F T部 1 0 0は、入力信号に対し、フレーム（たとえば、 1 フレー厶は、 1 0 m s e c ) ごとに F F T処理を行ない、入力信号を周波数変換し、各種の分析を行なう。調波構造評価部 1 0 1 は、 F F T部 1 0 0 より得られた周波数分析結果より、フレームごとに調波構造を有するか否かの評価を行なう。調波構造ピーク検出部 1 0 2は、調波構造評価部 1 0 1 で抽出された調波構造をローカルピーク形状に変換し、ローカルピークを検出する。

ピッチ候補検出部 1 0 3は、調波構造ピーク検出部 1 0 2で検出されたローカルピークを時間軸方向（フレーム方向）にトラッキングすることによりピッチ検出を行なう。ピッチとは、調波構造の基本周波数のことである。フレーム間振幅差分調波構造評価部 1 0 4は、 F F T部 1 0 0における周波数分析の結果得られた振幅をフレーム間で差分し、差分値を求め、その差分値より着目しているフレームが調波構造を有するか否かの評価を行なう。

音声区間決定部 1 0 5は、ピッチ候補検出部 1 0 3で検出されたピッチと、フレーム間振幅差分調波構造評価部 1 0 4の評価結果とを総合的に判断し、音声区間を決定する。

したがって、図 3 2に示される音声区間検出装置 1 0では、単一のピツチのみを有する音響信号のみならず、複数のピッチを有する音響信号であっても、音声区間を決定できる。

しかしながら、ピッチ候補検出部 1 0 3において、ローカルピークをトラッキングする際には、ローカルピークの出現や消滅などを考慮しなければならず、これらを考慮しつつ、高精度でピッチを検出するのは困難である。

また、ピークという極大値を扱う性質上、雑音に対する耐性もあまり期待できない。さらに、時間的な変動を評価するために、フレーム間振幅差分調波構造評価部 1 0 4においては、フレーム間差分に対して調波構造の有無を評価しているが、単に、振幅の差分を用いているため、調波構造の有する情報が失われてしまうだけではなく、例えば突発雑音が生じた場合には、差分値として突発雑音の音響特徴量がそのまま評価されてしまうという問題がある。

そこで、本発明は上述の課題を解決するためになされたものであり、入力信号のレベル変動に依存せず、精度良く音声区間を検出可能な調波構造性音響信号区間検出方法および装置を提供することを目的とする。

また、リアルタイム性に優れた調波構造性音響信号区間検出方法および装置を提供することも目的とする。発明の開示

本発明のある局面に係る調波構造性音響信号区間検出方法は、入力音響信号から調波構造を有する信号とくに音声が含まれる区間を音声区間として検出する調波構造性音響信号区間検出方法であって、前記入力音響信号に対し、所定の時間で区切られたフレーム単位で音響特徴量を抽出する音響特徴量抽出ステップと、前記音響特徴量の持続性を評価し、評価結果に従って音声区間を決定する区間決定ステップとを含むことを特徴とする。

このように、音響特徴量の持続性を評価することにより、音声区間の決定を行なっている。このため、口一カルピークをトラッキングする従来の方法のように口一カルピークの出現や消滅など、入力信号のレベル変動を考慮する必要がなく、精度よく音声区間を決定することができる。好ましくは、前記音響特徴量抽出ステップでは、前記入力音響信号に対しフレーム単位で周波数変換を行ない、前記周波数変換の結果よリ調波構造のみを強調し、前記音響特徴量を抽出することを特徴とする。音声（特に母音）には、調波構造が見られる。このため、調波構造を強調した音響特徴量を用いて音声区間を決定することにより、さらに精度よく音声区間を決定することができる。

さらに好ましくは、前記音響特徴量抽出ステップでは、さらに、前記周波数変換の結果より調波構造を抽出し、当該調波構造を含む所定の帯域の周波数変換の結果を、前記音響特徴量とすることを特徴とする。調波構造が保たれている帯域のみからなる音響特徴量を用いて音声区間を決定することにより、さらに精度よく音声区間を決定することができる。

さらに好ましくは、前記区間決定ステップでは、前記音響特徴量のフレーム間における相関値に基づいて、前記持続性を評価することを特徴とする。

このように、調波構造の持続性をフレーム間の音響特徴量の相関値により評価している。このため、フレーム間での振幅差分を取り調波構造の持続性を評価する従来方法に比べ、調波構造の有する情報を残した評価が可能である。よって、短いフレームにわたる突発雑音が生じたような場合であっても、そのような突発雑音を音声区間として検出することがなくなり、精度よく音声区間を決定することができる。

さらに好ましくは、前記区間決定ステップは、前記音響特徴量の持続性を評価する評価値を算出する評価ステップと、前記評価値の時間的な連続性を評価し、評価結果に従って音声区間を決定する音声区間決定ステツプとを含むことを特徴とする。

音声区間決定ステップでの処理は、実施の形態に述べるように、時間的に連続する有声区間（評価値のみから求められた音声区間）を連結して音声区間を検出す処理に相当する。このように、時間的に連続する有声区間を連結し、音声区間を決定することにより、母音に比べ調波構造性評価値が小さい子音をも音声区間と決定することができる。

さらに、調波構造を有する区間を、詳細に評価することにより、音声か非音声である音楽かどうかを判定することが可能である。調波構造を有すると判定されたフレームにおいて、フレーム内部で最大あるいは最小の調波構造性値が検出された帯域の番号指数を連続的に評価することで、その検出が可能である。

また、フレーム間における調波構造持続性評価値を用いて、調波構造があるとみなされた区間において、該評価値の分散を用いて、音声あるいは音楽など調波構造が持続した区間からの変移なのか、調波構造を持つ突発的なノイズなのかを判別することが可能である。

また、上記調波構造に関する特徴を有する区間以外の区間に対しては、無音とみなせるほど入力信号が小さい区間あるいは調波構造を有しない非調波構造の区間を判定することができる。

また、実施の形態 5で示すように、音入力しながらフレーム単位で調波構造性の判定を行なう方法を開示する。

さらに好ましくは、前記区間決定ステップは、さらに、所定数のフレー厶にわたる前記評価ステップにおいて算出される前記評価値と第 1 の所定しきい値との比較に基づいて、前記入力音響信号の音声雑音比を推定するステップと、推定された前記音声雑音比が第 2の所定しきい値以上の場合には、前記評価ステップにおいて算出される前記評価値に基づいて前記音声区間を決定するステップとを含み、前記音声区間決定ステップでは、前記音声雑音比が前記第 2の所定しきい値未満の場合に、前記評価値の時間的な連続性を評価し、評価結果に従って前記音声区間を決定することを特徴とする。

これにより、入力音響信号の推定音声雑音比が良好な場合には、音響特徴量の持続性を評価する評価値の時間的な連続性を評価し、前記音声区間を決定する処理を省略することができる。このため、リアルタイム性に優れた音声区間の検出が可能になる。

なお、本発明は、以上のような調波構造性音響信号区間検出方法として実現することができるだけでなく、そのステップを手段とする調波構造性音響信号区間検出装置として実現したり、調波構造性音響信号区間検出方法の各ステップをコンピュータに実行させるためのプログラムとして実現したりすることもできる。そのようなプログラムは、 C D— R O M等の記録媒体やインターネット等の伝送媒体を介して配信することができるのはいうまでもない。

以上のように、本発明に係る調波構造性音響信号区間検出方法および装置によると、音声区間と雑音区間との精度良い選別が可能となり、特に、音声認識方法の前処理として本発明を適用することにより、音声認識率を向上させることができ、その実用的価値は極めて高い。また、 I C ( I ntegr ated C i r cu i t) レコーダなどに使用することにより音声区間のみを録音したりすることにより、記録容量の効率利用も可能である。図面の簡単な説明

図 1 は、本発明の実施の形態 1 に係る音声区間検出装置のハードゥエァ構成を示すブロック図である。

図 2は、実施の形態 1 に係る音声区間検出装置が実行する処理のフロ —チヤ一トである。

図 3は、調波構造抽出部による調波構造抽出処理のフローチャー卜である。

図 4 ( a ) 〜図 4 ( f ) は、各フレームにおけるスペクトル成分から調波構造のみを残したスぺクトル成分を抽出する過程を模式的に示す図である。

図 5 ( a ) 〜図 5 ( f ) は、本発明による入力信号の変換の遷移を示す図である。

図 6は、音声区間決定処理のフローチャートである。

図 7は、本発明の実施の形態 2に係る音声区間検出装置のハードゥエァ構成を示すブロック図である。

図 8は、実施の形態 2に係る音声区間検出装置が実行する処理のフロ一チヤ一トである。

図 9は、実施の形態 3に係る音声区間検出装置のハードウエア構成を示すブロック図である。

図 1 0は、音声区間検出装置が実行する処理のフローチャートである。図 1 1 は、調波構造抽出処理を説明するための図である。図 1 2は、調波構造抽出処理の詳細を示すフローチャートである。図 1 3 ( a ) は、入力信号のパワースペクトルを示す図である。図 1

3 ( b ) は、調波構造性値 R ( i ) を示す図である。図 1 3 ( c ) は帯域番号 N ( i ) を示す図である。図 1 3 ( d ) は重み付き帯域番号 N e ( i ) を示す図である。図 1 3 ( e ) は補正調波構造性値 R ' ( i ) を示す図である。

図 1 4 ( a ) は、入力信号のパワースペクトルを示す図である。図 1

4 ( b ) は、調波構造性値 R ( i .) を示す図である。図 1 4 ( c ) は帯域番号 N ( i ) を示す図である。図 1 4 ( d ) は重み付き帯域番号 N e ( i ) を示す図である。図 1 4 ( e ) は補正調波構造性値 R ' ( i ) を示す図である。

図 1 5 ( a ) は、入力信号のパワースペクトルを示す図である。図 1

5 ( b ) は、調波構造性値 R ( i ) を示す図である。図 1 5 ( c ) は帯域番号 N ( i ) を示す図である。図 1 5 ( d ) は重み付き帯域番号 N e ( i ) を示す図である。図 1 5 ( e ) は補正調波構造性値 R ' ( i ) を示す図である。

図 1 6 ( a ) は、入力信号のパワースペクトルを示す図である。図 1

6 ( b ) は、調波構造性値 R ( i ) を示す図である。図 1 6 ( c ) は帯域番号 N ( i ) を示す図である。図 1 6 ( d ) は重み付き帯域番号 N e ( i ) を示す図である。図 1 6 ( e ) は補正調波構造性値 R ' ( i ) を示す図である。

図 1 7は、音声 · 音楽区間決定処理の詳細なフローチャートである。図 1 8は、実施の形態 4に係る音声区間検出装置のハードウ：！：ァ構成を示すブロック図である。

図 1 9は、音声区間検出装置が実行する処理のフローチヤ一トである。図 2 0は、調波構造抽出処理の詳細を示すフローチャートである。図 2 1 は、音声区間決定処理の詳細を示すフローチャートである。図 2 2 ( a ) は入力信号のパワースペクトルを示す図である。図 2 2 ( b ) は調波構造性値 R ( i ) を示す図である。図 2 2 ( c ) は、重み付き分散 V e ( i ) を示す図である。図 2 2 ( d ) は連結前の音声区間を示す図である。図 2 2 ( e ) は連結後の音声区間を示す図である。図 2 3 ( a ) は入力信号のパワースペクトルを示す図である。図 2 3 ( b ) は調波構造性値 R ( i ) を示す図である。図 2 3 ( c ) は、重み付き分散 V e ( i ) を示す図である。図 2 3 ( d ) は連結前の音声区間を示す図である。図 2 3 ( e ) は連結後の音声区間を示す図である。図 2 4は、調波構造抽出処理の他の一例を示すフローチャートである。図 2 5 ( a ) は入力信号を示す図である。図 2 5 ( b ) は入力信号のパワースペクトルを示す図である。図 2 5 ( c ) は調波構造性値 R ( i ) を示す図である。図 2 5 ( d ) は重み付き調波構造性値 R e ( i ) を示す図である。図 2 5 ( e )は補正調波構造性値 R' ( i ) を示す図である。図 2 6 ( a ) は入力信号を示す図である。図 2 6 ( b ) は入力信号のパワースペクトルを示す図である。図 2 6 ( c ) は調波構造性値 R ( i ) を示す図である。図 2 6 ( d ) は重み付き調波構造性値 R e ( i ) を示す図である。図 2 6 ( e ) は補正調波構造性値 R' ( i ) を示す図である。図 2 7は、実施の形態 5に係る音声区間検出装置 6 0の構成を示すブロック図である。

図 2 8は、音声区間検出装置の実行する処理のフローチャートである。図 2 9 ( a ) 〜図 2 9 ( d ) は、調波構造性区間の連結を説明するための図である。

図 3 0は、調波構造性フレーム仮判定処理の詳細なフローチャートである。

図 3 1 は、調波構造性区間確定処理の詳細なフローチャートである。図 3 2は、従来の音声区間決定装置の概略のハードウェア構成を示す図である。発明を実施するための最良の形態

(実施の形態 1 )

以下、図面を参照しながら本発明の実施の形態 1 に係る音声区間検出装置について説明する。図 1 は、本実施の形態に係る音声区間検出装置 2 0のハードウェア構成を示すブロック図である。

音声区間検出装置 2 0は、入力音響信号（以下、単に「入力信号」という。）の中から人間が発声している区間である音声区間を決定する装置であり、 F F T部 2 0 0と、調波構造抽出部 2 0 1 と、有声評価部 2 1 0と、音声区間決定部 2 0 5とを備える。

F F T部 2 0 0は、入力信号に F F Tを施し、フレームごとにパワースぺクトル成分を求める。ここで、 1 フレームあたりの時間は 1 O m s e c とするが、この時間に限定されるものではない。

調波構造抽出部 2 0 1 は、 F F T部 2 0 0で抽出されたパワースぺクトル成分から雑音成分等を取り除き、調波構造のみを残したパワースぺクトル成分を抽出する。

有声評価部 2 1 0は、調波構造抽出部 2 0 1 で抽出された調波構造のみを残したパワースぺクトル成分のフレーム間での相関性を評価することにより、母音の区間であるか否かを評価し、有声区間を抽出する装置であり、特徴量保存部 2 0 2と、特徴量フレーム間相関値算出部 2 0 3 と、差分処理部 2 0 4とを備える。なお、調波構造は、母音の発声区間内のパワースぺクトル分布において主に見られる性質であり、子音の発声区間内のパワースぺクトル分布においては、母音ほどの調波構造は見られない。特徴量保存部 2 0 2は、調波構造抽出部 2 0 1 より出力されるパワースぺクトルを所定数のフレーム分保存する。特徴量フレーム間相関値算出部 2 0 3は、調波構造抽出部 2 0 1 より出力されるパワースぺクトルと、特徴量保存部 2 0 2に保存されている一定フレーム前のパワースぺクトルとの相関値を算出する。差分処理部 2 0 4は、特徴量フレーム間相関値算出部 2 0 3で求められた相関値のある一定期間における平均値を求め、特徴量フレーム間相関値算出部 2 0 3 より出力される相関値から平均値を引き、相関値と平均値との平均差分による補正相関値を求める。

音声区間決定部 2 0 5は、差分処理部 2 0 4 より出力される平均差分による補正相関値に基づいて、音声区間を決定する。

以上のように構成された音声区間検出装置 2 0の動作について以下に説明する。図 2は、音声区間検出装置 2 0が実行する処理のフローチヤ ― トである。

F F T部 2 0 0は、調波構造を抽出するために使用する音響特徴量として、入力信号に F F Tを施すことにより、パワースペクトル成分を求める（ S 2 )。より具体的には、 F F T部 2 0 0は、入力信号を所定のサンプリング周波数 F s (たとえば、 1 1 . 0 2 5 k H z ) でサンプリングし、 1 フレーム（たとえば、 1 0 m s e c ) ごとに、所定のポイント (たとえば、 1 フレ一厶あたり 1 2 8ポイント）で F F Tのスぺクトル成分を求める。 F F T部 2 0 0は、各ポイントで求められたスペクトル成分を対数化することによりパワースペクトル成分を求める。以下、パワースぺクトル成分を、適宜単にスぺクトル成分と表記する。

次に、調波構造抽出部 2 0 1 は、 F F T部 2 0 0で抽出されたパワースぺクトル成分から雑音成分等を取り除き、調波構造のみを残したパヮ一スペクトル成分を抽出する（ S 4 )。 F F T部 2 0 0で算出されたパワースぺクトル成分には、雑音によるオフセットゃ声道形状によって形成されるスぺクトル包絡形状が含まれており、それぞれが時間変動を起こしている。このため、調波構造抽出部 2 0 1 は、これらの成分を取り除き、声帯振動によって形成される調波構造のみを残したパワースペクトル成分をとりだす。これにより、よリ効果的に有声区間検出が行なわれる。

調波構造抽出部 2 0 1 による処理（ S 4 ) を図 3および図 4を参照しながらよリ詳細に説明する。図 3は、調波構造抽出部 2 0 1 による調波構造抽出処理のフローチヤ一卜であり、図 4は、各フレームにおけるスぺクトル成分から調波構造のみを残したスぺクトル成分を抽出する過程を模式的に示す図である。

図 4 ( a ) に示されるように、調波構造抽出部 2 0 1 は、各フレームのスぺクトル成分 S ( f ) より、その極大値をピークホールドした値 H m a x ( f ) を算出し（ S 2 2 )、スペクトル成分 S ( f ) の極小値をピークホールドした値 H m i n ( f ) を算出する（ S 2 4 )。

図 4 ( b ) に示されるように、調波構造抽出部 2 0 1 は、スペクトル成分 S ( f ) から極小値のピークホールド値 H m i n ( f ) を引くことにより、スペクトル成分 S ( f ) に含まれるフロア成分を除去する（ S 2 6 )。これにより、雑音オフセット成分およびスぺクトル包絡に起因する変動成分が除去される。

図 4 ( c ) に示されるように、調波構造抽出部 2 0 1 は、極大値のピ —クホ一ルド値 H m a x ( f )と極小値のピークホールド値 H m i n ( f ) との差分値を求め、ピーク変動量を算出する（ S 2 8 )。

図 4 ( d ) に示されるように、調波構造抽出部 2 0 1 は、ピーク変動量を周波数方向に微分し、その変化量を算出する（ S 3 0 )。これは、調波構造成分を有する帯域では、ピーク変動量の変化が小さいという仮定に基づいて、調波構造の検出を行なうことを目的としている。

図 4 ( e ) に示されるように、調波構造抽出部 2 0 1 は、上記仮定が反映されるような重み W ( f ) を算出する（ S 3 2 )。すなわち、調波構造抽出部 2 0 1 は、ピーク変動量の変化量の絶対値と所定のしきい値とを比較し、当該変化量の絶対値が所定のしきい値 0以下であれば重み W ( f ) を 1 とし、所定のしきい値 0 以上であれば当該変化量の絶対値の逆数を重み W ( f ) とする。これにより、ピーク変動量の変化が大きい部分の重みを小さくし、ピーク変動量の変化が小さい部分の重みを大きくすることができる。

図 4 ( f ) に示されるように、調波構造抽出部 2 0 1 は、フロア成分が除去されたスペクトル成分（ S ( f ) - H m i n ( f )) に重み W ( f ) を掛け合わせ、スペクトル成分 S ' ( f ) を求める（ S 3 4 )。この処理により、ピーク変動量の変化の大きい非調波構造成分を除去することが可能となる。

再度、図 2に示される音声区間検出装置 2 0の動作説明を続ける。調波構造抽出処理（図 2の S 4、図 3 ) の後、特徴量フレーム間相関値算出部 2 0 3は、調波構造抽出部 2 0 1 より出力されるスぺクトル成分と、特徴量保存部 2 0 2に保存されている所定フレーム前のスぺクトル成分との間の相関値を算出する（ S 6 )。

ここでは、着目しているフレームを j 番目のフレームとした場合、隣接するフレームのスペクトル成分を用いて相関値 E 1 ( j ) を求める方法について説明する。相関値 E 1 ( j ) は、次式（ 1 ) 〜（ 5 ) に従い求められる。すなわち、 i フレームおよび i — 1 フレームの 1 2 8ポィントにおけるパワースペクトル成分 P ( i ) および P ( i - 1 ) を次式 ( 1 ) および（ 2 ) でそれぞれ表すものとする。また、パワースぺクトル成分 P ( i ) および P ( i — 1 ) の相関関数 x c o r r ( P ( j - 1 ), P ( j )) の値を次式（ 3 ) で表すものとする。すなわち、相関関数 x c o r r ( P ( j - 1 ), P ( j )) の値は、各ポイントにおける内積値からなるベクトル量である。 z 1 ( i ) を次式（ 4 ) に示されるように X c o r r ( P ( j - 1 ), P ( j )) のベクトルの要素の最大値を求める。これを j フレームの相関値 E 1 ( j ) としてもよいし、次式（ 5 ) で表されるようにたとえば 3フレーム分加算した値を用いても良い。

P(i) = (pl(i),p2(i),...,pl28(i)) … い） P(i - 1) = (pl(i - l),p2(i - l),...,pl28(i - 1)) (₂₎ xcorr(P(i-l),P(i)) =

(pl(i - 1) pl(i),p2(i - 1) p2(i),...,pl28(i - 1) x pl28(i))

… ( 3 ) zl(i) = max(xcorr(P(i - l)，P(i))) ( 4 ) … ）

相関値 E l ( j ) の一例を図 5に示すグラフを用いて説明する。図 5 は、入力信号を処理することにより得られる信号を表すグラフである。図 5 ( a ) は入力信号の波形を示している。この波形は、掃除機の雑音 ( S N R = 0. 5 d B ) がある環境において、約 1 2 0 0〜 3 0 0 0 m s e cの間に「アールアンドビ一ホテルヒガシ二ホン j と発音している場合の波形である。この入力信号には、約 5 0 0 m s e cの箇所に掃除機を動かした際の「力タツ」という突発音が含まれ、 2 8 0 0 m s e c 頃に掃除機のモータの回転速度を弱から強に変更し、掃除機の音のレべルが大きくなつている。図 5 ( b ) は、図 5 ( a ) に示される入力信号に F F Tを施した場合のパワーを示しており、図 5 ( c ) は、相関値算出処理（ S 6 ) で求められた相関値の遷移を示している。

ここで、相関値 E 1 ( j ) の算出は、以下に示すような知見に基づいて算出される。すなわち、フレーム間の音響特徴量の相関値は、時間的に連続するフレームにおいて調波構造が連続していることに基づいている。このため、この調波構造を時間的に近いフレーム同士で相関をとることで、有声検出が行なわれる。調波構造が時間的に持続するのは主に母音区間である。このため、母音区間では相関値は大きくなリ、子音区間では母音区間よりも相関値は小さくなるものと想定される。このように、調波構造に着目しフレーム間でパワースぺクトル成分の相関値をとることによって、非周期的な雑音区間においては、相関値が小さくなるものと考えられる。このため、有声区間がより際立って識別可能となる。また、一般的な発話スピードにおいて母音区間の持続時間は 5 0〜 1 5 0 m s e c ( 5 〜 1 5 フレーム）と言われており、その持続時間内であれば、フレーム間の相関係数の値は隣接するフレームでなくとも高くなるものと想定できる。この仮定が正しければ、やはり非周期的な雑音の影響を受けにくい評価関数であるということがいえる。相関値 E 1 ( j ) を算出する際に、数フレームにわたる相関関数の値の和を用いているのは、突発的に生じる雑音の影響を除去するためと、母音であれば、上記のように 5 0〜 1 5 0 m s e cの持続時間があるという知見によるものである。従って、図 5 ( c ) に示されるように、 5 0 フレームの近傍で発声する突発音に対しては反応せずに、相関値は小さいままである。次に、差分処理部 2 0 4は、特徴量フレーム間相関値算出部 2 0 3で算出された相関値の一定時間にわたる平均値を求め、各フレームにおける相関値から当該平均値を減算し、平均差分による補正相関値を求める ( S 8 )。なぜならば、相関値から平均値を引くことにより、長時間にわたり生じている周期性の雑音の影響を取り除くことができると考えられるためである。ここでは、 5秒程度の相関値の平均値を求めており、図 5 ( c ) では、平均値を実線 5 0 2で示している。すなわち、実線 5 0 2よりも上の部分に相関値が存在する区間が上記平均差分による補正相関値が正の区間である。

次に、音声区間決定部 2 0 5は、主に有音区間を検出する相関値 E 1 ( j ) の差分処理部 2 0 4で算出された平均差分による補正相関値に基づいて、後述する、相関値による選別、区間の持続長、子音区間や促音区間を加味した区間の連結、の 3つの区間補正方法に従い音声区間を決定する（ S 1 0 )。

ここで、音声区間決定部 2 0 5による音声区間決定処理（図 2の S 1 0 ) についてより詳細に説明する。図 6は、一発声単位で音声区間決定する処理の詳細を示すフローチヤ一トである。

まず、第一の区間の補正方法である相関値による区間の判定について述べる。音声区間決定部 2 0 5は、着目しているフレームについて、差分処理部 2 0 4で求められた補正相関値が所定のしきい値よりも大きいか否かを調べる（ S 4 4 )。たとえば、所定のしきい値を 0とした場合には、図 5 ( c ) に示される相関値が相関値の平均値（実線 5 0 2 ) よりも大きいか否かを調べることと等価である。

補正相関値が所定のしきい値よりも大きい場合には（ S 4 4で Y E S ) 当該着目フレームは音声フレームであると判断し（S 4 6 )、補正相関値が所定のしきい値以下の場合には（ S 4 4で N O)、当該着目フレームは非音声フレームであると判断する（S 4 8 )。以上の音声判断処理（ S 4 4 ~ S 4 8 ) を音声区間検出対象となっているすべてのフレームについて繰返す（S 4 2 ~ S 5 0 )。以上の処理により、図 5 ( d ) に示されるようなグラフが得られ、音声フレームが連続する区間が有声区間として検出される。

このように、補正相関値の値がしきい値以下である場合には、そのフレームを非音声フレームであると判断する。ただし、騒音のレベルの影響や、音響特徴量のさまざまな条件に応じて、検出区間において期待される補正相関値が異なる。このため、音声フレームと非音声（雑音）フレームとを区別するためのしきい値は、事前の実験を通じて適宜定め用いることも可能である。この処理により調波構造性を有する信号の選別基準を厳しくすることにより、平均差分を求めた時間長より短い、例えば 5 0 0 m s程度の周期雑音を非音声フレームとすることが期待できる _c 次に、第二の区間の補正方法である隣接有声区間の連結法について述ベる。音声区間決定部 2 0 5は、着目している有声区間と、当該有声区間に隣接する有声区間との間の距離が所定フレーム数未満であるかを調ベる（S 5 4 )。たとえば、ここでは所定フレーム数を 3 0 フレームとする。当該距離が 3 0 フレーム未満の場合には（S 5 4で Y E S )、隣接する 2つの有声区間を連結する（S 5 6 )。以上の処理（ S 5 4〜 S 5 6 ) をすベての有声区間について行なう（S 5 2 ~ S 5 8 )。以上の有声区間連結処理により、図 5 ( e ) に示されるようなグラフが得られ、近接する有声区間が連結されていることが分かる。

有声区間の連結をするのは、以下のような理由による。すなわち、子音区間、特に破裂音（Z k Z, / c /, / t /, / p /) や摩擦音などの無声子音の区間においては、調波構造が表れにくいため、相関値が小さく、有声区間として検出されにくい。しかし、子音の近傍には母音が存在するため、母音が連続する区間は有声区間とみなされるという理由による。これにより、子音部分も有声区間とすることが可能になる。最後に、第三の区間の補正方法である区間持続時間について述べる。音声区間決定部 2 0 5は、着目している有声区間について、その持続時間が所定時間よりも長いか否かを調べる（ S 6 2 )。たとえば、所定時間は、 5 0 m s e cであるとする。持続時間が 5 0 m s e cよりも長い場合には（ S 6 2で Y E S )、当該有声区間を音声区間と決定し（ S 6 4)、持続時間が 5 O m s e c以下の場合には（ S 6 2で N O )、当該有声区間を非音声区間と決定する（ S 6 6 )。以上の処理（ S 6 2〜 S 6 6 ) をすベての有声区間について行なうことにより音声区間が決定される（ S 6 0〜 S 6 8 )。以上説明した処理により、図 5 ( f ) に示すようなグラフが得られ、 1 1 0〜 2 8 0 フレームあたりに音声区間が検出される。また、図 5 ( e ) のグラフに存在していた 3 2 5フレームあたりに存在していた周期性ノイズに対する有声区間は、非音声区間と決定されていることが分かる。このように、有声区間の持続時間によリ有声区間を選別する処理では、相関値が高い短時間の周期的雑音を取り除くことができる。

以上説明したように本実施の形態によれば、調波構造を有するスぺクトル成分のフレーム間での持続性を評価することにより、有声区間を決定している。このため、口一カルピ一クをトラッキングする従来の方法に比べ、精度よく音声区間を決定することができる。

特に、調波構造の持続性をフレーム間のスぺクトル成分の相関値によリ評価している。このため、フレーム間での振幅差分を取り調波構造の持続性を評価する従来方法に比べ、調波構造の有する情報を残した評価が可能である。よって、短いフレームにわたる突発雑音が生じたような場合であっても、突発雑音を有声区間として検出することがない。また、時間的に隣接する有声区間を連結することにより音声区間と決定している。このため、母音に比べ調波構造が小さい子音をも音声区間と決定することが可能である。また、有声区間の持続時間を評価することにより、周期性を有する雑音を除去することが可能になる。 (実施の形態 2 )

以下、図面を参照しながら本発明の実施の形態 2に係る音声区間検出装置について説明する。本実施の形態に係る音声区間検出装置では、入力信号の S N Rがよい場合には、フレーム間でのスぺクトル成分の相関性のみから音声区間を決定する点が実施の形態 1 に係る音声区間検出装置とは異なる。

図 7 は、本実施の形態に係る音声区間検出装置 3 0のハードウヱァ構成を示すブロック図である。実施の形態 1 に係る音声区間検出装置 2 0 と同一の構成要素については、同一の参照番号を付す。その名称および機能も同一であるため、適宜説明を省略する。なお、以下の実施の形態においても同様に適宜説明を省略する。

音声区間検出装置 3 0は、入力信号の中から人間が発声している区間である音声区間を決定する装置であり、 F F T部 2 0 0 と、調波構造抽出部 2 0 1 と、有声評価部 2 1 0 と、 S N R推定部 2 0 6 と、音声区間決定部 2 0 5 とを備える。

有声評価部 2 1 0は、有声区間を抽出する装置であり、特徴量保存部 2 0 2 と、特徴量フレーム間相関値算出部 2 0 3 と、差分処理部 2 0 4 とを備える。

S N R推定部 2 0 6は、差分処理部 2 0 4より出力される平均差分による補正相関値に基づいて、入力信号の S N Rを推定する。 S N R推定部 2 0 6は、 S N Rが悪いと推定される場合には、差分処理部 2 0 4よリ出力される補正相関値を音声区間決定部 2 0 5に出力し、 S N Rがよいと推定される場合には、音声区間決定部 2 0 5への補正相関値の出力は行なわずに、差分処理部 2 0 4より出力される補正相関値より音声区間を決定する。これは、入力信号の S N Rが良好な場合には、音声区間と非音声区間との相関値の差がはっきりとしているという性質があるためである。

次に、 S N R推定部 2 0 6による入力信号の S N Rの推定方法について説明する。 S N R推定部 2 0 6は、差分処理部 2 0 4で求められる相関値の平均値が所定のしきい値未満の場合には、 S N Rが良好であると推定し、当該平均値が所定のしきい値以上の場合には、 S N Rが悪いと推定する。これは、以下のような理由に基づく。すなわち、相関値の平均値を、一発声の持続時間よりも十分に長い時間（たとえば、 5秒間）にわたつて求めると、 S N Rが良好な環境下においては、雑音区間における相関値が小さくなるため、相関値の平均値が小さくなる。これに対し、周期性の雑音を有するような S N Rが悪い環境下においては、雑音区間における相関値が大きくなるため、相関値の平均値が大きくなる。このように、相関値の平均値と S N Rとが連動しているという性質を用いることにより、既に計算済みの一つのパラメータを評価するだけで簡単に S N Rを推定することが可能である。

以上のように構成された音声区間検出装置 3 0の動作について以下に説明する。図 8は、音声区間検出装置 3 0が実行する処理のフローチヤ > — 卜である。

F F T部 2 0 0による F F T処理（ S 2 ) から差分処理部 2 0 4による補正相関値算出処理（ S 8 ) までは、図 2に示した実施の形態 1 における音声区間検出装置 2 0の動作と同様である。そのため、その詳細な説明はここでは繰返さない。

次に、 S N R推定部 2 0 6は、上記方法に従い、入力信号の S N Rを推定する（ S 1 2 )。 S N Rが良好であると推定される場合には（ S 1 4 で Y E S )、所定のしきい値を超える補正相関値を音声区間として決定する（ S 1 6 )。 S N Rが悪いと推定される場合には（S 1 4で N O)、図 2および図 6を参照して説明した実施の形態 1 に係る音声区間決定部 2 0 5による音声区間決定処理（図 2の S 1 0 ) と同様の処理を実行し、音声区間を決定する（ S 1 0 )。

以上説明したように、本実施の形態によると、実施の形態 1 に記載の効果に加え、入力信号の S N Rが良好な場合には、有声区間の連続性および持続時間による音声区間決定処理を行なう必要がなくなる。このため、リアルタイム性に優れた音声区間の検出が可能になる。

(実施の形態 3 )

以下、図面を参照しながら本発明の実施の形態 3に係る音声区間検出装置について説明する。本実施の形態に係る音声区間検出装置では、調波構造性を有する音声区間を決定するのみならず、音声区間の中から特に、音楽と人間の音声とを識別することができる。

図 9は、本実施の形態に係る音声区間検出装置 4 0のハードウ Iァ構成を示すブロック図である。音声区間検出装置 4 0は、入力信号の中から人間が発声している区間である音声区間と、音楽の区間である音楽区間とを決定する装置であり、 F F T部 2 0 0と、調波構造抽出部 4 0 1 と、音声 · 音楽区間決定部 4 0 2とを備える。

調波構造抽出部 4 0 1 は、 F F T部 2 0 0で抽出されたパワースぺクトル成分に基づいて、調波構造性を示す値を出力する処理部である。音声 · 音楽区間決定部 4 0 2は、差分処理部 2 0 4より出力された調波構造性を示す値に基づいて、音声区間および音楽区間を決定する処理部である。

以上のように構成された音声区間検出装置 4 0の動作について以下に説明する。図 1 0は、音声区間検出装置 4 0が実行する処理のフローチヤートである。

F F T部 2 0 0は、調波構造を抽出するために使用する音響特徴量として、入力信号に F F Tを施すことにより、パワースぺクトル成分を求める（ S 2 )。

次に、調波構造抽出部 4 0 1 は、 F F T部 2 0 0で抽出されたパワースぺクトル成分から、調波構造性を示す値を抽出する（S 8 2 )。調波構造抽出処理（S 8 2 ) については、後に詳述する。

調波構造抽出部 4 0 1 は、調波構造性を示す値に基づいて、音声区間および音楽区間を決定する（ S 8 4 )。音声 ·音楽区間決定処理（ S 8 4 ) については、後に詳述する。

次に、上述した調波構造抽出処理（ S 8 2 ) について、詳細に説明する。調波構造抽出処理（ S 8 2 ) では、パワースペクトル成分を複数の帯域に分割した際に、帯域間の相関を取ることにより、調波構造性を示す値を求める。このような方法により調波構造性を示す値を求めるのは、以下のような理由による。すなわち、調波構造性は、その発生源である声帯振動における信号の影響がよく残されている帯域に見られると仮定すると、隣接帯域との間で、パワースぺクトル成分の相関性が高いという推測が成立するからである。すなわち、図 1 1 に示すように、横軸に示す各フレームにおいて、縦軸に示すパワースぺクトル成分を複数の帯域（この図において、帯域数は 8 ) に区切った場合には、調波構造性を有する帯域間（例えば、帯域 6 0 8と帯域 6 0 6との間）においては、相関性が高いが、調波構造性を有しない帯域間（例えば、帯域 6 0 2と帯域 6 0 4との間）においては、相関性が低い。

図 1 2は、調波構造抽出処理（ S 8 2 ) の詳細を示すフローチャートである。調波構造抽出部 4 0 1 は、各フレームについて、上述のように、各帯域間で帯域間相関値 C ( i , k ) を算出する（S 9 2 )。帯域間相関値 C ( i , k ) は次式（ 6 ) で表される。

C(i, k)=max(Xcorr (P ( i , L* (k-1 ) +1： L*k) , P ( i , L*k+1： L* (k+1 ) ) ) )

… ( 6 ) ここで、 P ( i， x : y)はフレーム i のパワースぺクトルにおける周波数成分 X ： y ( X以上、 y以下）での、ベクトル列を示す。また、 Lは帯域幅を示し、 m a x ( X c o r r ( · )) はべクトル列間の相関係数の最大値を示す。

調波構造性を有する帯域では、隣接帯域との相関性が高いため、帯域間相関値 C ( i ， k ) が大きな値を示す。逆に、調波構造性を有しない帯域では、隣接帯域との相関性が低いため、帯域間相関値 C ( i , k ) が小さな値を示す。

なお、帯域間相関値 C ( i , j ) は次式（ 7 ) により求めてもよい。

C(i, k)=max(Xcorr (P(i, L*(k-1)+1： L*k) , P ( i +1， L*k+1： L*(k+1))))

- ( 7 ) なお、式（ 6 ) は、帯域 6 0.8および帯域 6 0 6間、または帯域 6 0 4および帯域 6 0 2間のように、同一フレーム内の隣接する帯域間でのパワースペクトルの相関を示しているのに対し、式（ 7 ) は、帯域 6 0 8および帯域 6 1 0間のように、隣接するフレーム間であり、かつ隣接する帯域間でのパワースペクトルの相関を示している。式（ 7 ) のように、隣接フレーム間でも相関を取ることにより、帯域間の相関とフレー厶間の相関とを同時に計算することができる。

さらに、帯域間相関値 C ( i ， k ) は次式（ 8 ) によリ求めてもよい。

C(i, k)=max(Xcorr (P(i, L*(k-1)+1： L*k) , P ( i , L* (k-1 ) +1： L* (k+1 ) ) ) )

- ( 8 ) 式（ 8 ) は、隣接フレームの同一帯域間でのパワースペクトルの相関を示している。

次に、フレーム i における調波構造性を示す調波構造性値 R ( i ) および帯域番号 N ( i ) の組 [ R ( i ), N ( i )] を求める（ S 9 4 )。 [ R ( i ), N ( i )] は、次式（ 9 ) に従い表される。 [ R ( i ), N ( i )] = [ R 1 ( i ) - R 2 ( i )，

N 1 ( i ) 一 N 2 ( i )] … （ 9 ) ただし、 R 1 ( i ). R 2 ( i ) は以下のようにあらわされる。

R₁(i) = max(C(i,k)); (10)

k=l,.L-l

R₂(i)= km=l.i.しn- 1(C(i,k)); (ID

C：フレーム iの帯域 kにおける帯域調波性尺度

L ：帯域数また、 N 1 ( i ) および N 2 ( i ) は、 C ( i , k ) が最大となる帯域番号および最小となる帯域番号をそれぞれ示す。式（ 9 ) に示される調波構造性値は、同一フレーム内での帯域間相関値の最大値から最小値を引くことにより求められる。このため、調波構造性のあるフレームではその値が大きくなリ、調波構造性の無いフレームではその値が小さくなる。また、最大値から最小値を引くことにより、帯域間相関値を正規化している効果もある。このため、図 2の S 8の処理のように、平均相関値との差分処理を行なうことなく、 1 つのフレームにおいて正規化処理を行なうことができる。

次に、調波構造抽出部 4 0 1 は、帯域番号 N ( i ) をその過去 X cフレームにおける分散で重み付けした補正帯域番号 N d ( i ) を算出する ( S 9 6 ) o また、調波構造抽出部 4 0 1 は、補正帯域番号 N d ( i ) の過去 X c フレームにおける最大値 N e ( i ) を求める（ S 9 8 )。最大値 N e ( i ) を以下では重み付き帯域番号と称する。

補正帯域番号 N d ( i ) および重み付き帯域番号 N e ( i ) は X c = 5とした場合、以下の式により求められる。 Nd(i) = median(N(k)) - var (N(k))； (12) k=i-Xc:i k=i-Xc:i

Ne(i) = max (Nd(k)); (13)

k=i:i+Xc

Nd：分散で補正した帯域番号

Ne：分散で補正した帯域番号 Ndの過去 Xcフレームの最大値

XC:分散計算フレーム幅

調波構造性のない区間では、帯域番号 N ( i ) の分散が大きくなる。このため、補正帯域番号 N d ( i ) の値が小さな値（例えば、負の値）になリ、これに伴ない、重み付き帯域番号 N e ( i ) も小さな値になる。さらに、調波構造抽出部 4 0 1 は、調波構造性値 R ( i ) を重み付き帯域番号 N e ( i ) で補正し、補正調波構造性値 R' ( i ) を算出する（S

1 0 0 )。補正調波構造性値 R' ( i ) は、次式（ 1 4 ) に従い求められる。なお、ここで用いる調波構造性値 R ( i ) は、 S 8で算出した値を用いてもよい。

R' ( i ) = R ( i ) * N e ( i ) ··· ( 1 4 ) 図 1 3〜図 1 5は、上述の調波構造抽出処理（ S 8 2 ) の実験結果を示す図である。

図 1 3は、掃除機のノイズがある環境下（ S N R = 1 0 d B) で人間が音声を発声している場合の実験結果を示す図である。 4 0フレーム近傍には、掃除機を動かした際の「力タツ」という突発音が発生しており、およそ 2 8 0フレーム前後で、掃除機のモーターの回転速度を弱から強に変更したために、掃除機の音のレベルが大きくなリ、周期性ノイズが発せられているものとする。また、人間は 8 0フレームあたりから 2 8 0 フレームあたりまでの間に音声を発声しているものとする。

図 1 3 ( a )は入力信号のパワースペクトルを示しており、図 1 3 ( b ) は調波構造性値 R ( i ) を示しており、図 1 3 ( c ) は帯域番号 N ( i ) を示しており、図 1 3 ( d ) は重み付き帯域番号 N e ( i ) を示しておリ、図 1 3 ( e ) は補正調波構造性値 R ' ( i ) を示している。なお、図 1 3 ( c ) に示す帯域番号は、図を見やすくするために実際の帯域番号に一 1 を掛けているため、 0に近いほど周波数が小さい。

図 1 3 ( c ) に示すように、突発音や周期性ノイズが発生している部分（図中破線で囲った部分）では、帯域番号 N ( i ) の変動が大きくなつている。このため、図 1 3 ( d ) に示すように、その部分の重み付き帯域番号 N e ( i ) は小さな値を示し、それに伴ない、図 1 3 ( e ) に示すように、補正調波構造性値も小さくなっている。

図 1 4は、掃除機のノイズがほとんどない環境下（S N R = 4 0 d B ) で、図 1 3と同じ音声を発生した場合の実験結果を示す図である。このような環境下においても図 1 3と同様に、調波構造性のない部分の補正調波構造性値 R ' ( i ) は小さくなつている（図 1 4 ( e ) )。

図 1 5は、ボーカルの無い音楽に対する実験結果を示す図である。音楽では和音が出力されるため調波構造性を有するが、ドラムによリビートを刻む区間などでは調波構造性を有しない。図 1 5 ( a ) は入力信号のパワースぺクトルを示しており、図 1 5 ( b ) は調波構造性値 R ( i ) を示しており、図 1 5 ( c ) は帯域番号 N ( i ) を示しており、図 1 5 ( d ) は重み付き帯域番号 N e ( i ) を示しており、図 1 5 ( e ) は補正調波構造性値を示している。なお、図 1 5 ( c ) に示す帯域番号は、図 1 3 ( c ) と同じ理由により、 0に近いほど周波数が小さい。図 1 5 ( c ) の破線で囲っている部分では、ドラムによりビートが刻まれることにより、調波構造性が失われている。尾のため、その部分では、図 1 5 ( d ) に示すように重み付き帯域番号 N e ( i ) が小さくなつている。したがって、図 1 5 ( e ) に示すように重み付き調波構造性値 R ' ( i ) も小さくなつている。また、無声区間においても同様に調波構造性値 R ' ( i ) が小さくなつている。なお、 S 9 4の処理において、フレーム ί における調波構造性を示す調波構造性値 R ( i ) および帯域番号 N ( i ) の組 [ R ( i ), N ( i )] を次式（ 1 5 ) に従い求めてもよい。

[ R ( i ), N ( ί )] = [ R 1 ( i ) - R 2 ( i ),

N 1 ( i ) - N 2 ( i )] ·■■ ( 1 5 ) ただし、 R 1 ( i ), R 2 ( i ) は以下のようにあらわされる。

R,(i)= ∑(C(i,k)) (16) k=l..NSP

R₂(i)= ∑(C(i,k)) (17)

k=L-NSP..L-l

C：フレーム iの帯域 kにおける帯域調波性尺度。

L ：帯域数

NSP ：音声ピッチ周波数帯域と仮定する帯域数また、 N 1 ( i ) および N 2 ( i ) は、 C ( i ， k ) が最大となる帯域番号および最小となる帯域番号をそれぞれ示す。

なお、 R 1 ( i ) または R 2 ( i ) を調波構造性値 R ( i ) としてもよい。

図 1 6は、式（ 1 5 ) に従い重み付き調波構造性値 R' ( i ) を求めた実験結果である。図 1 6は、掃除機のノイズがかなりある環境下（ S N R = 0 d B ) で人間が音声を発生している場合の実験結果を示す図である。なお、人間が音声を発生するタイミング、掃除機の突発音および周期性ノイズの発生タイミングは、図 1 3に示したものと同じである。ここでは、式（ 1 5 ) において、 L = 1 6、 N S P = 2としたときの値を示している。

この場合においても、人間が発声しているフレームの重み付き調波構造性値 R ' ( i ) は大きい値を示し、突発音および周期性ノイズが発生しているフレームにおいては、重み付き調波構造性値 R ' ( i ) は小さい値を示している。

次に、音声 ' 音楽区間決定処理（図 1 0の S 8 4 ) について詳細に説明する。図 1 7は、音声 · 音楽区間決定処理（図 1 0の S 8 4 ) の詳細なフローチャートである。

音声 ' 音楽区間決定部 4 0 2は、フレーム i について、パワースぺクトル P ( i ) が所定の閾値 P m i nよりも大きいか否かを調べる（S 1 1 2 )。所定の閾値 P m i n以下の場合には（S I 1 2で N O)、そのフレームは無音のフレームであると判断する（S 1 2 6 )。パワースぺクトル P ( i ) が所定の閾値 P m i nよりも大きい場合には（ S 1 1 2で Y E S )、補正調波構造性値 R ' ( i ) が所定の閾値 R m i nよりも大きいか否かを判断する（ S 1 1 4 )。

補正調波構造性値 R ' ( i ) が所定の閾値 R m i n以下の場合には（ S 1 1 4で N O )、フレーム i が調波構造性の無い音のフレームであると判断する（ S 1 2 4 )。補正調波構造性値 R' ( i ) が所定の閾値 R m i n よりも大きい場合には（ S 1 1 4で Y E S )、音声 '音楽区間決定部 4 0 2は、重み付き帯域番号 N e ( i ) の単位時間平均値 a v e— N e ( i ) を算出し（ S 1 1 6 )、当該単位時間平均値 a v e _N e ( i ) が所定の閾値 N e— m i nよりも大きいか否かを調べる（ S 1 1 8 )。ここで a v e— N e ( i ) は以下の式に従い求められる。すなわち、フレーム i を含む d フレーム（ここでは 5 0 フレームとした）における N e ( i ) の平均値を示している。 ave Ne i) = average (Ne(i)); 8)

k=i- :i

d：単位時間平均値を求めるフレーム数

a V e _N e ( i ) が所定の閾値 N e _m i nよりも大きい場合には

( S 1 1 8で Y E S )、音楽と判断し（S 1 2 0 )、それ以外の場合には ( S 1 1 8で N O )、人間の音声のような調波構造性を有する音であると判断する（ S 1 2 2 )。以上の処理（S I 1 2〜 S 1 2 6 ) をすベてのフレームについて繰り返す（S 1 1 0 ~ S 1 2 8 )。

なお、以上のように a v e— N e ( i ) の大きさにより調波構造性を有する音の中から音楽と音声とを分離したのは以下のような考え方に基づく。すなわち、音楽も音声も信号そのものには調波構造性を有する音であるが、音声は、有声音と無声音とが繰り返し出現される音であることより、調波構造性値が有声音の部分では大きく、無声音の部分では小さくなリ、それらが短い周期で交互に繰り返される。一方、音楽は、和音が連続的に出力されるため調波構造性を有する期間が比較的長い時間連続し、調波構造性値が大きい状態が一定する。したがって、調波構造性値が音楽ではあまり変動しないものの、音声では変動することを示している。換言すれば、重み付き帯域番号 N e ( i ) の単位時間平均値 a V e _N e ( i ) は、音楽の方が音声よりも大きくなる。

なお、調波構造性値の時間的連続性に着目して音声と音楽とを判別するようにしてもよい。すなわち、単位時間内に調波構造性値が小さくなるフレーム数がどの程度あるかを調べるようにしてもよい。そのため、例えば、重み付き帯域番号 N e ( i ) が単位時間あたり負になる個数を数えるようにしてもよい。単位時間（例えば、着目しているフレーム i を含む過去 5 0 フレーム）のうち、重み付き帯域番号 N e ( i ) が負になるフレーム数を N e _ c o u n t ( i ) とした場合に、 S 1 1 6で a v e一 N e ( i ) の代わりに N e— c o u n t ( i ) を算出し、 S 1 1 8でフレーム数 N e _ c o u n t ( i ) が所定の閾値よりも大きい場合に音声とし、小さい場合に音楽とするようにしてもよい。

以上説明したように、本実施の形態では、各フレームにおけるパワースぺクトル成分を複数の帯域に区切り、帯域間で相関を取っている。このため、声帯振動における信号の影響が良く残されている帯域を抽出することができ、調波構造を確実に抽出することができる。

また、調波構造の変動や、調波構造の連続性に基づいて調波構造を有する音が音楽であるのか音声であるのかを判定することができる。 (実施の形態 4 )

次に、図面を参照しながら本発明の実施の形態 4に係る音声区間検出装置について説明する。本実施の形態にかかる音声区間検出装置では、調波構造性値の分散に基づいて調波構造を有する音声区間を決定する。図 1 8は、本実施の形態に係る音声区間検出装置 5 0のハードウェア構成を示すブロック図である。音声区間検出装置 5 0は、入力信号の中から調波構造性を有する音声区間を検出する装置であり、 F F T部 2 0 0と、調波構造抽出部 5 0 1 と、 S N R推定部 2 0 6と、音声区間決定部 5 0 2とを備える。

調波構造抽出部 5 0 1 は、 F F T部 2 0 0よリ出力されたパワースぺクトル成分に基づいて、調波構造性を示す値を出力する処理部である。音声区間決定部 5 0 2は、調波構造性を示す値および推定された S N R に基づいて、音性区間を決定する処理部である。

以上のように構成された音声区間検出装置 5 0の動作について以下に説明する。図 1 9は、音声区間検出装置 5 0が実行する処理のフローチヤー卜である。 F F T部 2 0 0は、調波構造を抽出するために使用する音響特徴量として、入力信号に F F Tを施すことにより、パワースぺクトル成分を求める（ S 2 )。

次に、調波構造抽出部 5 0 1 は、 F F T部 2 0 0で抽出されたパワースぺクトル成分から、調波構造性を示す値を抽出する（S 1 4 0 )。調波構造処理（S 1 4 0 ) については、後述する。

S N R推定部 2 0 6は、調波構造性を示す値に基づいて、入力信号の S N Rを推定する（ S 1 2 )。 S N Rの推定方法は、実施の形態 2と同様である。このため、その詳細な説明はここでは繰り返さない。

音声区間決定部 5 0 2は、調波構造性を示す値および推定された S N Rに基づいて音声区間を決定する（ S 1 4 2 )。音声区間決定処理（ S 1 4 2 ) については、後に詳述する。

本実施の形態では、有声音と無声音との間の遷移区間に対して評価を加えることにより、音声区間決定の制度を向上させる。図 6に示した音声区間決定方法では、（ 1 ) 音声区間間の距離が所定フレーム未満であれば、音声区間を連結し（ S 5 2 )、（ 2 ) 連結後の音声区間の持続時間が所定時間以下であればその区間を非音声区間としていた（ S 6 0 )。すなわち、無声音に対しては、（ 1 ) の処理において、 S 4 2において有声音と判断された音声の区間の間のフレームに対してなんら評価を行うことなく、（ 2 ) の処理により連結されることを暗に期待する方法である。音声区間を詳細にみると、有声音、無声音.および騒音（非音声区間）の遷移関係から次の 3つのグループ（Aグループ、 Bグループおよび C グループ）に分類できるものと考えられる。

Aグループは有声音のグループであり、有声音から有声音への遷移、騒音から有声音への遷移、有声音から騒音への遷移が考えられる。

Bグループは、有声音と無声音が混在する音のグループであり、有声音から無声音への遷移と、無声音から有声音への遷移が考えられる。

Cグループは非有声音のグループであり、無声音から無声音への遷移、無声音から騒音への遷移、騒音から無声音への遷移、騒音から騒音への遷移が考えられる。

Aグループに含まれる音については、調波構造性を示す値の精度に依存して有音区間のみが決定されるものである。これに対して、 B グループに含まれる音については、有声区間の周辺での音の遷移を評価することができれば、無声音区間をも抽出することが期待できるものと考えられる。 C グループに含まれる音については、無声音区間だけを騒音下で抽出することは非常に難しいと考えられる。これは、騒音の性質が簡単には規定できないため、または、無声音の騒音に対する S N Rが悪い場合が多いためである。

したがって、本実施の形態では、 Aグループのみを抽出して音声区間を決定していた図 6の方法に加えて、有声音と無声音との間の遷移を評価することにより、 Bグループの音の抽出を行なう。このことにより、音声区間の決定精度を向上させることができるものと考える。また、無声音から有声音への遷移区間および有声音から無声音への遷移区間において、調波構造性を示す値は大から小および小から大へとそれぞれ大きく変化していると仮定できる。このため、調波構造性を示す値を用いて有音区間と判断された区間周辺について、調波構造性を示す値の分散に基づく尺度を用いることより、この調波構造性の値の変化を捉えることができる。ここで、調波構造性を示す値の分散を重み付き分散 V e と呼次に、調波構造抽出処理（図 1 9の S "I 4 0 ) について、詳細に説明する。図 2 0は、調波構造抽出処理（ S 1 4 0 ) の詳細を示すフローチヤー卜である。

調波構造抽出部 5 0 1 は、各フレームについて、帯域間相関値 C ( i ， k ) を算出する（ S 1 5 0 )。帯域間相関値 C ( i , k ) の算出は、図 1 2の S 9 2と同様である。このため、その詳細な説明はここでは繰り返さない。

次に、調波構造抽出部 5 0 1 は、帯域間相関値 C ( i , k ) を用いて重み付き分散 V e ( i ) を次式に従い算出する（ S 1 5 2 )。 Ve(i) = count( if var (C j，k)) > th—var— change) (19) k=l:L j=i-Xc:i ― ―

ここで、 X c ：フレーム幅（= 1 6 )

L ：帯域数（= 1 6 )

t h― v a r― c h a n g e : 間値

である。

また、関数 V a r () は括弧内の値の分散を示す関数であり、関数 c o u n t () は、カツコ内の条件を満たす個数をカウントする関数であるものとする。

最後に、調波構造抽出部 5 0 1 は、調波構造性値 R ( i ) を算出する ( S 1 5 4 )。この算出方法は、図 1 2の S 9 4と同様である。このため、その詳細な説明はここでは繰り返さない。

次に、図 2 1 を参照して、音声区間決定処理（図 1 9の S 1 4 2 ) について説明する。音声区間決定部 5 0 2は、フレーム i について R ( i ) が閾値 T h— Rより大きくかつ V e ( i ) が閾値 T h— V eより大きいか否かを判断する（S 1 8 2 )。上述の条件を満たす場合には（S 1 8 2 で Y E S )、音声区間決定部 5 0 2は、フレーム i を音声フレームであると判断し、満たさない場合には（ S 1 8 2で N O )、非音声フレームであると判断する（S 1 8 6 )。音声区間決定部 5 0 2は、以上の処理をすベてのフレームについて行なう（ S 1 8 0〜 S 1 8 8 )。次に、音声区間決定部 5 0 2は、 S N R推定部 2 0 6で推定された S N Rが悪いか否かを判断し（ S 1 9 0 )、推定 S N Rが悪い場合には、ループ Bおよびループ Cの処理を実行する（S 5 2〜 S 6 8 )。ループ Bおよびループ Cの処理は図 6に示したものと同様である。このため、その詳細な説明はここでは繰り返さない。

なお、推定 S N Rがよい場合には（ S 1 9 0で N O )、ループ Bを省略し、ループ Cの処理（ S 6 0〜 S 6 8 ) のみを実行する。

図 2 2および図 2 3は、音声区間検出装置 5 0の実行する処理の結果を示す図である。図 2 2は、掃除機のノイズがある環境下（S N R = 1 0 d B ) で人間が音声を発声している場合の実験結果を示す図である。

4 0 フレーム近傍は、掃除機を動かした際の「力タツ」という突発音が発生しており、およそ 2 8 0フレーム前後で、掃除機のモータ一の回転速度を弱から強に変更したために、掃除機の音のレベルが大きくなリ、周期性ノイズが発せられているものとする。また、人間は 8 0フレームあたりから 2 8 0フレームあたりまでの間に音声を発声しているものとする。

図 2 2 ( a )は入力信号のパワースぺクトルを示しており、図 2 2 ( b ) は調波構造性値 R ( i ) を示しており、図 2 2 ( c ) は、重み付き分散 V e ( i ) を示しており、図 2 2 ( d ) は連結前の音声区間を示しており、図 2 2 ( e ) は連結後の音声区間を示している。

図 2 2 ( d ) において、実線は、調波構造性値 R ( i ) を閾値処理（図 6のループ A ( S 4 2 ~ S 5 0 ))することにより得られる音声区間を示しておリ、破線は、調波構造性値 R ( i ) および重み付き分散 V e ( i ) を閾値処理（図 2 1 のループ A ( S 1 8 0〜 S 1 8 8 )) することにより得られる音声区間を示している。また、図 2 2 ( e ) において、破線は区間連結処理（図 2 1 の S 1 9 0〜 S 6 8 ) に従い、図 2 2 ( d ) の破線で示した音声区間を連結した後の処理結果を示しておリ、実線は区間連結処理（図 6の S 5 2〜 S 6 8 ) に従い、図 2 2 ( d ) の実線で示した音声区間を連結した後の処理結果を示している。図 2 2 ( e ) に示されるように、重み付き分散 V e ( i ) を用いることにより、正確に音声区間を抽出することができている。

図 2 3は、掃除機のノイズがほとんどない環境下（S N R = 4 0 d B ) で、図 2 2と同じ音声を発生した場合の実験結果を示す図である。図 2 3 ( a ) 〜図 2 3 ( e ) のグラフの意味は、図 2 2 ( a ) 〜図 2 2 ( e ) のグラフの意味と同様である。図 2 3から、区間連結前の図 2 3 ( d ) と区間連結後の図 2 3 ( e ) とを比較すると、図 2 3 ( d ) の破線で示される S 1 8 0の結果は、図 2 3 ( e ) の実線と同様に音声区間が精度良く連結されていることを示している。したがって、推定 S N Rが非常にょい場合には、図 2 1 の S 1 9 0の判定処理により、 S 5 2〜 S 5 8 の処理を行なわずに、音声区間が決定されても音声区間の検出性能を維持することが可能である。

以上説明したように、本実施の形態によると、重み付き分散 V eを用いて無声音と有声音との遷移区間を評価することにより、上述の Bグル —プに属する音を抽出することができるようになった。このため、推定 S N Rを用いて S N Rがよいと判断された場合には区間連結を行わずとも音声区間が正確に抽出できるようになった。また、 S N Rが悪く、区間連結が必要な場合であっても、連結時の所定フレーム数（図 2 1 の S 5 4 ) を小さくすることができるため、ノイズ区間を音声区間として誤検出することが少なくなつた。

なお、以下に示すように調波構造性値 R ( i ) の代わりに補正調波構造性値 R' ( i ) を算出し、重み付き分散 V e ( i ) と補正調波構造性値 R' ( ί ) とから音声区間を検出するようにしてもよい。図 2 4は、調波構造抽出処理（図 1 9の S 1 4 0 ) の他の一例を示すフロ一チャートでる。

調波構造抽出部 5 0 1 は、帯域間相関値 C ( i , k )、重み付き分散 V e ( i ) および調波構造性値 R ( i ) を算出する（S 1 6 0 ~ S 1 6 4 )。これらの算出方法は、図 2 0と同様であるため、その詳細な説明はここでは繰り返さない。次に、調波構造抽出部 5 0 1 は、重み付き調波構造性値 R e ( i ) を算出する（S 1 6 6 )。重み付き調波構造性値 R e ( i ) は、次式に従い算出される。これらの式と S 9 6 Z S 9 8において算出される式との違いは、 S 9 4において算出されるフレーム i における調波構造性値 R ( i ) を用いるかその帯域番号 N ( i ) を用いるかの違いにある。これらの式は、ともに、重み付き分散により補正されることにより、調波構造性を強調する指標となる。

Rd(i) = median(R(k)) - var (R(k))； (20)

k=i-Xc:i — k=i-Xc:i

Re(i) = max (Rd(k)); (21)

k=i:i+Xc

Xc:分散計算フレーム幅（ = 5) ここで、関数 m e d i a n () は、括弧内の中央値を示す。

調波構造抽出部 5 0 1 は、補正調波構造性値 R ' ( i ) を算出する（S 1 6 8 )。補正調波構造性値 R' ( i ) は以下の式に従い算出される。

R'(i) = Re(i);： if Re(i) > 0; (22) R'(i) = 0; ： if Re(i) < 0; (23) 図 2 5および図 2 6は、図 2 4に示したフローチヤ一卜に従い処理された処理結果を示す図である。図 2 5は、掃除機のノイズが無い環境下 ( S N R = 4 0 d B ) で人間が音声を発声している場合の実験結果を示しておリ、図 2 6は、掃除機のノイズがある状況下（ S N R = 1 0 d B ) で人間が音声を発声している場合の実験結果を示している。この実験では、図 2 3と同じ音声を発生するものとし、突発音と周期性ノイズの発生タイミングも同じであるものとする。

図 2 5 ( a ) は入力信号を示し、図 2 5 ( b ) は入力信号のパワースベクトルを示しており、図 2 5 ( c ) は調波構造性値 R ( i ) を示しており、図 2 5 ( d ) は重み付き調波構造性値 R e ( i ) を示しており、図 2 5 ( e ) は補正調波構造性値 R ' ( i ) を示している。図 2 6 ( a ) 〜図 2 6 ( e ) も図 2 5 ( a ) 〜図 2 5 ( e ) とそれぞれ同様のグラフを示している。

補正調波構造性値 R ' ( i ) は、調波構造性値 R ( i ) 自身の分散に基づいて算出されている。このため、調波構造性を有する部分には当該分散が大きく、調波構造性を有しない部分では当該分散が小さいという性質を利用して、調波構造性を有する部分を適切に抽出することができる。 (実施の形態 5 )

上述した実施の形態 1 ~ 4に記載の音声区間決定装置では、入力信号が予ファイル等に記録されている音声に対して区間決定を行なうものである。このような処理方法は、例えば、録音済みのデータに対して処理を行なう際には、有効であるが、音声を入力しながら区間決定を行なゔには不向きである。そこで、本実施の形態においては、音声の入力に同期しながら音声区間をリアルタイムで決定する音声区間決定装置について説明する。

図 2 7は、本発明の実施の形態に係る音声区間検出装置 6 0の構成を示すブロック図である。音声区間検出装置 6 0は、入力信号から調波構造性を有する音声区間（調波構造性区間）を検出する装置であり、 F F T部 2 0 0と、調波構造抽出部 6 0 1 と、調波構造性区間確定部 6 0 2 と、制御部 6 0 3とを備えている。

図 2 8は、音声区間検出装置 6 0の実行する処理のフローチヤ一卜である。制御部 6 0 3は、 F R、 F R S、 F R E、 R H、 R M、 C H、 C Mおよび C Nを 0にセットする（S 2 0 0 )。ここで、 F Rは、後述する調波構造性値 R ( i ) を未算出のフレームの先頭フレーム番号を示す。また、 F R Sは、調波構造性区間か否かが未確定の区間の先頭フレーム番号を示す。 F R Eは、後述する調波構造性フレーム仮判定処理を行なつた最終フレームのフレーム番号を示す。 R Hおよび R Mは調波構造性値の累積値を示す。 C H、 C Mおよび C Nはカウンタである。

F F T部 2 0 0は、入力フレームを F F T変換する。調波構造抽出部 6 0 1 は、 F F T部 2 0 0で抽出されたパワースペクトル成分に基づいて、調波構造性値 R ( i ) を抽出する。以上の処理を開始フレーム F R から現在時刻のフレーム F R Nまで行なう（ S 2 0 2 ~ S 2 1 0、ループ A )。ループ処理が 1 回実行されるごとに、カウンタ i が 1 つずつインクリメントされ、開始フレーム F Rにカウンタ i の値が代入される（ S 2 1 0 )。

次に、調波構造性区間確定部 6 0 2は、ここまでで求められた調波構造性値 R ( i ) に基づいて、調波構造性を有する区間を仮判定する調波構造性フレーム仮判定処理を実行する（ S 2 1 2 )。調波構造性フレーム仮判定処理については後述する。

調波構造性区間確定部 6 0 2は、 S 2 1 2の処理の後、隣接する調波構造性区間が見つかつたか否か、すなわち非調波構造性区間長 C Nが 0 より大きいか否かを調べる（ S 2 1 4 )。非調波構造性区間長 C Nは、図 2 9 ( a ) に図示するように、調波構造性区間の最終フレームと次の調波構造性区間の開始フレームとの間のフレーム長を示す。

隣接する調波構造性区間が見つかった場合には、非調波構造性区間長 C Nが所定の閾値よリも小さいか否かを調べる（ S 2 1 6 )。非調波構造性区間長 C Nが所定の閾値 T Hよりも小さければ（ S 2 1 6で Y E S )、調波構造性区間確定部 6 0 2は、図 2 9 ( b ) に示すように調波構造性区間を連結し、フレーム F R S 2からフレーム（ F R S 2 + C N ) までを調波構造性区間であると仮判定する（ S 2 1 8 )。ここで、 F R S 2 とは、非調波構造性区間であると仮判定された最初のフレーム番号を示す。非調波構造性区間長 C Nが所定の閾値 T H以上の場合には（ S 2 1 6 で N O )、図 2 9 ( c ) に示されるように調波構造性区間は連結されることなく、調波構造性区間確定部 6 0 2が、後述する調波構造性区間確定処理を実行する（ S 2 2 0 )。その後、制御部 6 0 3は、 F S Rに F R E を代入し、 R H、 R m、 C H、 C Mおよび C Nに 0 を代入する（ S 2 2 2 )。調波構造性区間確定処理（ S 2 2 0 ) については後述する。

隣接する調波構造性区間が見つからなかった場合（ S 2 1 4で N O、図 2 9 ( d ))、 S 2 1 8の処理の後、または S 2 2 2の処理の後、制御部 6 0 3は、音声信号の入力が終了したか否かを判断する（ S 2 2 4 )。音声信号の入力が終了していなければ（ S 2 2 4で N O )、 S 2 0 2以降の処理が繰り返される。音声信号の入力が終了していれば（ S 2 2 4で Y E S )、調波構造性区間確定部 6 0 2は、調波構造性区間確定処理（ S 2 2 6 ) を実行し、処理を終了する。調波構造性区間確定処理（ S 2 2 6 ) については、後述する。

次に、調波構造性フレーム仮判定処理（図 2 8の S 2 1 2 ) について説明する。図 3 0は、調波構造性フレーム仮判定処理の詳細なフローチヤー卜である。調波構造性区間確定部 6 0 2は、調波構造性値 R ( i ) が予め定められた調波構造性閾値 1 よリも大きいか否かを判断し（ S 2 3 2 )、大きい場合には（ S 2 3 2で Y E S )、着目しているフレーム i を調波構造性を有するフレームであると仮判断する。そして、累積調波構造性値 R Hに調波構造性値 R ( i ) を加算し、カウンタ C Hを 1 っィンクリメントする（ S 2 3 4 )。

次に、調波構造性区間確定部 6 0 2は、調波構造性値 R ( i ) が調波構造性閾値 2よりも大きいか否かを判断し（ S 2 3 6 )、大きい場合には ( S 2 3 6で Y E S )、着目しているフレーム i を調波構造性を有する音楽のフレームであると仮判断する。そして、累積音楽調波構造性値 R M に調波構造性値 R ( i ) を加算し、カウンタ C Mを 1 つインクリメントする（ S 2 3 6 )。以上の処理をフレーム F R Eからフレーム F R Nまで繰り返す（ S 2 3 0〜 S 2 3 8 )。

次に、調波構造性区間確定部 6 0 2は、フレーム F R S 2 をフレーム F R S とした後に、着目しているフレーム i の調波構造性値 R ( i ) が調波構造性閾値 1 よリも大きいか否かを判断し（ S 2 4 2 )、大きい場合にはフレ一厶 F R S 2をフレーム i とする（ S 2 4 4 )。以上の処理をフレーム F R Sからフレーム F R Nまで繰り返す（ S 2 4 0〜 S 2 4 6 )。次に、調波構造性区間確定部 6 0 2は、カウンタ C Nを 0にセットした後に、着目しているフレーム i の調波構造性値 R ( i ) が調波構造性閾値 1 以下であるか否かを判断し（ S 2 5 0 )、調波構造性閾値 1 以下である場合には（ S 2 5 0で Y E S )、フレーム i を非調波構造性区間であると仮判断し、カウンタ C Nを 1 つインクリメントする（ S 2 5 2 )。以上の処理をフレーム F R S 2からフレーム F R Nまで繰り返す（ S 2 4 8〜 S 2 5 4 )。以上の処理により、調波構造性を有する区間、音楽の調波構造性を有する区間および非調波構造性区間が仮判断される。

次に、調波構造性区間確定処理（図 2 8の S 2 2 0、 S 2 2 6 ) について詳細に説明する。図 3 1 は、調波構造性区間確定処理（図 2 8の S 2 2 0、 S 2 2 6 ) の詳細なフローチャートである。

調波構造性区間確定部 6 0 2は、調波構造性を有するフレーム数を示したカウンタ C Hの値が調波構造性フレーム長閾値 1 より大きく、かつ累積調波構造性値 R Hが（ F R S— F R E ) X調波構造性閾値 3 よりも大きいか否かを判断する（ S 2 6 0 )。上記条件を満たす場合には（ S 2 6 0で Y E S )、フレーム F R Sからフレーム F R Eまでを調波構造性フレームであると判断する（ S 2 6 2 )。

調波構造性区間確定部 6 0 2は、音楽調波構造性を有するフレーム数を示したカウンタ C Mの値が調波構造性フレーム長閾値 2 より大きく、かつ累積音楽調波構造性値 R Mが（ F R S— F R E ) x調波構造性閾値 4よりも大きいか否かを判断する（ S 2 6 4 )。上記条件を満たす場合には（ S 2 6 4で Y E S )、フレーム F R Sからフレーム F R Eまでを音楽調波構造性フレームであると判断する（ S 2 6 6 )。

S 2 6 0の条件を満たさない場合（ S 2 6 0で N O)、または S 2 6 4 で N Oの場合、音楽調波構造は有しないが、調波構造を有するフレームであると判断できる。このため、フレーム F R Sからフレーム F R Eまでを非調波構造性フレームと判断し、カウンタ C Hに 0 を代入し、カウンタ C Nに C N + F R E— F R Sを代入する（ S 2 6 8 )。

フレームワイズに調波性判断を行なう場合には調波構造性仮判定の判断を用い、より正確に調波性判断を行なう場合には調波構造性区間決定の結果を用いることにより、場合によりこれらを切り替えて使用するなどの自由度の高い選択が可能である。

上述したような処理を行なうことにより、調波構造性フレームと、音楽調波構造性フレームと、非調波構造性フレームと確定を行なうことができる。

以上説明したように、本実施の形態によると、入力される音声信号に対し、リアルタイムに調波構造性を有するか否かの判断を行なうことができる。このため、携帯電話などにおいて、所定フレーム遅れで非調波性のノイズを除去したりすることができる。また、音声と音楽とを見分けることができるため、携帯電話などを用いた通信において、音声部分と音楽部分とを異なる方法によリ符号化して通信を行なつたりすることができる。

上述の実施の形態によると、環境雑音下で発声を行なった場合であつても、入力信号のレベル変動に依存せず、精度よく音声区間を決定することができる。また、突発雑音や周期性雑音の影響を取り除き、精度良く音声区間を検出することができる。さらに、リアルタイムで音声区間を検出することができる。さらにまた、調波構造が小さい子音部分をも音声区間として精度良く検出することができる。また、入力信号を周波数変換したスぺクトル成分にローカツトフィルタをかけることにより、スぺクトル包絡成分を除去することができる。

以上、本発明に係る音声区間検出装置について実施の形態 1 ~ 5に基づいて説明したが、本発明はこれらの実施の形態に限定されるものではない。

( F F T部 2 0 0の変形例）

たとえば、上述の実施の形態では、音響特徴量として F F Tパワースぺクトル成分を用いる方法について述べたが、 F F Tスぺクトル成分そのものや、フレーム単位での自己相関関数や、時間軸上での線形予測残差の F F Tパワースペクトル成分を用いてもよい。また、 F F Tスぺクトルから F F Tパワースぺクトルを求める前に、各スぺクトル成分を二乗するなどの方法により、極大値および極小値の差を拡大させ、調波構造を強調させてもよい。さらに、 F F Tスペクトルの対数を取り、 F F Tパワースぺクトルを求める代わりに、 F F Tスぺクトルの平方根を求め、 F F Tパワースペクトルとしてもよい。さらにまた、 F F Tスぺクトル成分を求める前に、時間軸データに対して、フレームごとにハミング窓などの係数をかけてもよいし、プリエンファシス処理（ 1 一 _Z— 1 ) を行なうことで、高域強調を行ってもよい。また、音響特徴量として線スペクトル周波数（ L S F) を用いてもよい。また、周波数変換演算として、 F F T に限られるものではなく、 D F T (Discrete Fourier Transform)、 D C T (Discrete Co sine Transform)、 D S T (Discrete Sine Transform)を fflしゝてもしゝ。 (調波構造抽出部 2 0 1 の変形例）

また、調波構造抽出部 2 0 1 によるスペクトル成分 S ( f ) に含まれるフロア成分の除去処理（図 3の S 2 6 ) の代わりに、スペクトル成分 S ( f ) に口一カットフィルタを通過させるようにしてもよい。各フレームのスぺクトル成分 S ( f )を周波数軸方向に並べた波形とみなすと、スペクトル包絡成分は、調波構造に比べゆっくりした変動である。このため、スペクトル成分に口一カットフィルタをかけることにより、スぺクトル包絡成分を除去することができる。この手法は時間軸上で口一力ットフィルタを用いて低周波数成分を取り除くことに相当するが、帯域パワーやスぺクトル包絡などの情報と調音構造とを同時に評価することができる点において、周波数軸上で処理する方法の方が好ましいといえる。ただし、このようなローカットフィルタを用いて算出されたスぺクトル成分は、調音構造に起因する変動の他に、非周期雑音や電子音などの単一周波数を有する音声以外の音を含んでいる可能性がある。しかし、これらの音は、有声評価部 2 1 0や音声区間決定部 2 0 5の処理により除去される。

その他のフロア成分除去の方法としては、各スぺクトル成分のうち、所定の基準値以下のスペクトル成分は利用しないようにする方法がある, 基準値の算出方法としては、全フレームのスぺクトル成分の平均値を基準値に用いる方法、一発声の持続時間よりも十分に長い時間（たとえば、 5秒間）におけるスペクトル成分の平均値を基準値に用いる方法、スぺクトル成分をいくつかの帯域に予め分割しておき、帯域ごとにスぺクトル成分の平均値を求める基準値とする方法などがある。特に、静かな環境からうるさい環境へ変化するなどの環境の変動がある場合には、基準値として、全フレームのスペクトル成分の平均値を利用するよりも、現在検出しようとしているフレームを含む数秒程度の区間のスぺクトル成分の平均値を用いるのがよい。

(特徴量フレーム間相関値算出部 2 0 3の変形例）

また、特徴量フレーム間相関値算出部 2 0 3は、相関関数として、式 ( 3 ) の代わりに、次式（ 2 4 ) を用いて相関値 E 1 ( j ) を求めるようにしてもよい。ここで、式（ 2 4 ) は、 P ( i - 1 ) および P ( i ) を 1 2 8次元べクトル空間中のべクトルとした場合の 2つのべクトル P ( ί — 1 ) および Ρ ( i ) がなす角の余弦を示している。また、特徴量フレーム間相関値算出部 2 0 3は、相関値 E 1 ( j ) の代わりにフレーム j と 4フレーム離れたフレーム間相関値を特徴とさせて、次式（ 2 5 ) および（ 2 6 ) に従い相関値 E 2 ( j ) を求めるようにしてもよいし、 8 フレーム離れたフレーム間相関値を特徴として、次式（ 2 フ）および（ 2 8 ) に従い相関値 E 3 ( j ) を求めるようにしてもよい。このように、離れたフレーム間で相関値を求めることにより、突発的な環境雑音に強い相関値を得ることができるという特徴がある。

さらに、次式（ 2 9 ) ~ ( 3 1 ) に従い、相関値 E l ( j )、相関値 E 2 ( j )、相関値 E 3 ( j ) の大小関係に応じた相関値 E 4 ( j ) を求めるようにしてもよいし、次式（ 3 2 ) に従い相関値 E 1 ( j )、相関値 E 2 ( j )、相関値 E 3 ( j ) を加算した相関値 E 5 ( j ) を求めるようにしてもよいし、次式（ 3 3 )に従い、相関値 E 1 ( 】）、相関値巳 2 ( j )、相関値 E 3 ( j ) のうちの最大値を相関値 E 6 ( j ) を求めるようにしてもよい。 xcorr(P(i-l),P(i)) =

|P^(i-i)||P(«i)|

ρ10-1)χρ1ϋ) + p2(j - 1) x p20) + ... + pl28Q - 1) pl28(j)

plO" - 1)² + p2(j - 1)² + ... + pl28(j - 1)¹ ^pl Y + p2(j)² + ... + pl28(j)²

- ( 2 4 ) z2(i) = max(xcorr(P(i - 4),P(i))) ( 2 5 )

z3(i) = max(xcorr(P(i - 8),P(i))) ( 2 7 )

E4{j) = zl① ( 2 9 ) if ( z3 ) > 0.5 ) E4(j) = E4(j) + zl(j)/_Z3(j) - o o) if(z2G)>0.5) E4(j)=E4(j) + zl(j)/_Z2(j) - ( 3 D E5(j) = El(j) + E2(j) + E3(j)

E6(j) = m_ax(ElG)，E2(j)，E3(j))

= max(∑zl(i),∑z2(i), ∑z3(i)) ( 3 3 )

i=j-2 i=j-2 i=j-2

なお、相関値は、上述の E 1 ( j ) 〜 E 6 ( j ) の 6つに限定されるわけではなく、これらの相関値を組み合わせて、新たな相関値を算出するようにしてもよい。たとえば、過去に推定された入力音響信号の S N Rから、 S N Rが小さい場合には、相関値 E 1 ( j ) を使用し、 S N R が大きい場合には、相関値 E 2 ( j ) または E 3 ( j ) を使用するようにしてもよい。

(音声区間決定部 2 0 5の変形例）図 6を用いて説明した音声区間決定部 20 5の処理は、相関値による有声区間決定処理（S 4 2 ~ S 5 0 )、有声区間の連結処理（ S 5 2 ~ S

5 8 )、および有声区間の持続時間による音声区間決定処理（ S 6 0 ~ S

6 8 ) の 3つの処理に大きく分類されるが、これら 3つの処理を図 6に示される順序で実行する必要はなく、他の順序で実行するようにしてもよい。また、 3つの処理のうち、 1 つまたは 2つの処理のみを実行するようにしてもよい。また、図 6は、一発声単位で処理を行なう例であるが、たとえば注目フレームごとに相関値による有声区間決定処理のみを行なうことで、フレーム単位で音声区間を決定補正してもよい。さらに、リアルタイム性が要求されることを想定して、フレーム単位の相関値による音声区間を速報値として出力しておき、別途、定期的に、一発声等長い単位で補正決定された音声区間を確定値として出力することで、リアルタイム性にも、検出区間性能にも対応可能な、音声検出器として作用させてもよい。

(S N R推定部 2 06の変形例）

また、 S N R推定部 2 0 6は、入力信号から直接 S N Rを推定するようにしてもよい。たとえば、差分処理部 204で算出された補正相関値が正の部分を S (シグナル）部分とし、 S.部分のパワーを求め、補正相関値が負の部分を N (ノイズ）部分とし、 N部分のパワーを求め、 S N Rを求めるようにする。

(その他の変形例）

さらに、上述の音声区間検出処理を前処理とし、音声区間のみについて音声認識を行なう音声認識装置に音声区間検出装置を使用してもよいまた、上述の音声区間検出処理を前処理として、音声区間のみについて録音を行なう I C ( Integrated Ci rcuit) レコーダなどの音声録音装置に音声区間検出装置を使用しても良い。このように、音声区間のみを録音することにより、〖 c レコーダの記憶領域を効率的に利用することが可能となる。再生時には、音声区間のみを抽出し、話速変換機能を用いて、効率的な再生も可能となる。

また、音声区間以外の区間の入力信号をカツ卜して雑音を抑制する雑音抑制装置に音声認識装置を利用してもよい。

さらにまた、 V T R ( V i deo Tape Reco r de r )等で撮影された映像から、音声区間の映像を抽出するのに、上述の音声区間検出処理を用いてもよく、映像を編集するォーサリングツールなどにも適用可能である。

また、図 4 ( f ) に示されるパヮ一スペクトル成分 S ' ( f ) のうち、調波構造が最もよく保たれている帯域を 1 つ以上抽出し、その帯域のみを用いて処理を行なうようにしてもよい。

また、非音声区間を検出することにより、非音声区間内でノイズの特徴を学習し、ノイズ除去のためのフィルタリング係数、ノイズ決定のパラメ一タ等を決めたりするようにしてもよい。このようにすることによリ、ノイズ除去のための装置を作成することができる。

また、上述した実施の形態における各種調波構造性値または各種相関値と、各種 *声区間決定方法との組み合わせは、上述した実施の形態に限定されない。産業上の利用の可能性

本発明に係る音声区間検出装置は、音声区間と雑音区間との精度よい選別が可能となるため、音声認識装置の前処理装置、音声区間のみを録音する I Cレコーダ、音声区間と音楽区間とを異なる符号化方法で符号化する通信装置等に有用である。

Claims

請求の範囲

1 . 入力音響信号から音声が含まれる区間を音声区間として検出する調波構造性音響信号区間検出方法であって、

前記入力音響信号に対し、所定の時間で区切られたフレーム単位で音響特徴量を抽出する音響特徴量抽出ステップと、

前記音響特徴量の持続性を評価し、評価結果に従って音声区間を決定する区間決定ステップとを含み、

前記音響特徴量抽出ステップでは、所定の時間で区切られたフレーム単位で前記入力音響信号を周波数変換し、調波構造を尺度化した音響特徴量を抽出し、

前記区間決定ステップでは、前記音響特徴量の同一フレーム内における相関値または前記音響特徴量の異なるフレーム間における相関値に基づいて、音声区間を決定する

ことを特徴とする調波構造性音響信号区間検出方法。

2 . 前記音響特徴量抽出ステップでは、さらに、前記周波数変換の結果より調波構造を強調し、前記音響特徴量を抽出する

ことを特徴とする請求の範囲第 1 項に記載の調波構造性音響信号区間検出方法。

3 . 前記音響特徴量抽出ステップでは、さらに、前記周波数変換の結果より調波構造を抽出し、当該調波構造を含む所定帯域の周波数変換の結果を、前記音響特徴量とする

ことを特徴とする請求の範囲第 2項に記載の調波構造性音響信号区間検出方法。

4 . 前記音響特徴量抽出ステップでは、さらに、フレーム単位の周波数変換の結果を所定の周波数帯域幅ごとに分割し、同一フレーム内の所定の周波数帯域間で、前記周波数変換の結果の相関値を算出し、算出結果に基づいて前記音響特徴量を抽出する

5 . 前記音響特徴量抽出ステップでは、さらに、フレームごとに前記相関値の最大値と最小値との差を求め、当該差に基づいて、前記音響特徴量を抽出する

ことを特徴とする請求の範囲第 4項に記載の調波構造性音響信号区間検出方法。

6 . 前記音響特徴量抽出ステップでは、フレーム単位の周波数変換の結果を所定の周波数帯域幅ごとに分割し、異なるフレーム間、かつ所定の周波数帯域間で、前記周波数変換の結果の相関値を算出し、算出結果に基づいて前記音響特徴量を抽出する

7 . 前記音響特徴量抽出ステップでは、さらに、フレームごとに前記相関値の最大値と最小値との差を求め、前記差に基づいて、前記音響特徴量を抽出する

ことを特徴とする請求の範囲第 6項に記載の調波構造性音響信号区間検出方法。

8 . 前記区間決定ステップでは、異なるフレーム間における前記音響特徴量の相関値に基づいて、前記音響特徴量の持続性を評価し、評価結果に従って音声区間を決定する

ことを特徴とする請求の範囲第 1項に記載の調波構造性音響信号区間検出方法。

9 . 前記区間決定ステップでは、異なるフレーム間における前記音響特徴量の分散に基づいて、前記音響特徴量の持続性を評価し、評価結果に従って音声区間を決定する

1 0 . 前記音響特徴量の持続性を評価する評価値を算出する評価ス亍ップと、

前記評価値の時間的な連続性を評価し、評価結果に従って音声区間を決定する音声区間決定ステップとを含む

1 1 . 前記区間決定ステップは、さらに、

所定数のフレームにわたる、音響特徴量抽出ステップにおいて算出される音響特徴量または、前記評価ステップにおいて算出される前記評価値と、第 1 の所定しきい値との比較に基づいて、前記入力音響信号の音声雑音比を推定するステップと、

推定された前記音声雑音比が第 2の所定しきい値以上の場合には、前記評価ステツプにおいて算出される前記評価値に基づいて前記音声区間を決定するステップとを含み、

前記音声区間決定ステップでは、前記音声雑音比が前記第 2の所定しきい値未満の場合に、前記評価値の時間的な連続性を評価し、評価結果に従って前記音声区間を決定する

ことを特徴とする請求の範囲第 1 0項に記載の調波構造性音響信号区間検出方法。

1 2 . 前記区間決定ステップは、

前記音響特徴量の持続性を評価する評価値を算出する評価ステップと前記評価値の時間的な連続性を評価し、評価結果に従って調波構造を有するが音声ではない非音声調波構造区間を決定する非音声調波構造区間決定ステップとを含む

ことを特徴とする請求の範囲第 1 項に記載の調波構造音響調波構造性音響信号区間検出方法。

1 3 . 前記音響特徴量抽出ステップは、

所定の時間で区切られたフレーム単位で、前記入力音響信号を周波数変換する周波数変換ステップと、

フレーム単位の周波数変換の結果を所定の周波数帯域ごとに分割し、同一フレーム内の所定の周波数帯域間で、前記周波数変換の結果の相関値を算出する相関値算出ステップと、

同一フレーム内における相関値の最大値または最小値をとる周波数帯域の識別子を前記音響特徴量として抽出する抽出ステップとを含むことを特徴とする請求の範囲第 1 2項に記載の調波構造性音響信号区間検出方法。

1 4 . 前記音響特徴量抽出ステップは、

所定数離れたフレーム間で前記周波数変換の結果の相関値を算出する相関値算出ステップと、

所定数のフレームごとに前記相関値の分散を算出することにより、前記調波構造を尺度化した音響特徴量を抽出する音響特徴量抽出ステップとを含む

ことを特徴とする請求の範囲第 1項に記載の調波構造音響区間検出方法。

1 5 . 前記区間決定ステップでは、 2種以上の異なる間隔のフレー厶間における複数の相関値に基づいて、前記持続性を評価する

1 6 . 前記区間決定ステップでは、前記入力音響信号の音声雑音比に基づいて、前記 2種以上の異なる間隔のフレーム間における相関値のいずれかを選択し、選択された相関値に基づいて前記持続性を評価することを特徴とする請求の範囲第 1 5項に記載の調波構造性音響信号区間検出方法。

1 7 . 前記区間決定ステップでは、前記音響特徴量のフレーム間における相関値と、前記相関値を所定フレーム数にわたり平均した平均値との補正相関値に基づいて、前記持続性を評価する

1 8 . 前記音響特徴量抽出手段は、所定の時間で区切られたフレーム単位で前記入力音響信号を周波数変換し、調波構造を尺度化した音響特徴量を抽出し、

前記区間決定手段は、前記音響特徴量の同一フレーム内における相関値または前記音響特徴量の異なるフレーム間における相関値に基づいて、音声区間を決定する

ことを特徴とする請求の範囲第 2 8項に記載の調波構造性音響信号区間検出装置。

1 9 . 入力音響信号に含まれる音声を認識する音声認識装置であつて、

前記入力音響信号に対し、所定の時間で区切られたフレーム単位で音響特徴量を抽出する音響特徴量抽出手段と、

前記音響特徴量の持続性を評価し、評価結果に従って音声区間を決定する区間決定手段と、

前記区間決定手段で決定された音声区間において音声認識を行なう認識手段とを備え、

前記音響特徴量抽出手段は、所定の時間で区切られたフレーム単位で前記入力音響信号を周波数変換し、調波構造を尺度化した音響特徴量を抽出し、

前記区間決定手段は、前記音響特徴量の同一フレーム内における相関値または前記音響特徴量の異なるフレーム間における相関値に基づいて音声区間を決定する

ことを特徴とする音声認識装置。

2 0 . 入力音響信号に含まれる音声を録音する音声録音装置であつて、

前記音響特徴量の持続性を評価し、評価結果に従って音声区間を決定する区間決定手段と、、前記区間決定手段で決定された音声区間における入力音響信号を録音する録音手段とを備え、

前記音響特徴量抽出手段は、所定の時間で区切られたフレーム単位で前記入力音響信号を周波数変換し、調波構造を尺度化した音響特徴量を抽し、

前記区間決定手段は、前記音響特徴量の同一フレーム内における相関値または前記音響特徴量の異なるフレーム間における相関値に基づぃて , 音声区間を決定する

ことを特徴とする音声録音装置。

2 1 . 入力音響信号に対し、所定の時間で区切られたフレーム単位で音響特徴量を抽出する音響特徴量抽出ステップと、

前記音響特徴量の持続性を評価し、評価結果に従って音声区間を決定する区間決定ステップとをコンピュータに実行させ、

前記区間決定ステップでは、前記音響特徴量の同一フレーム内における相関値または前記音響特徴量の異なるフレーム間における相関値に基づいて、音声区間を決定するを特徴とするプログラム