JP4017748B2

JP4017748B2 - 発話速度計測システム、方法および記録媒体

Info

Publication number: JP4017748B2
Application number: JP16379698A
Authority: JP
Inventors: 章中村; 真人藤井; 源曽根原; 和久井口; 裕司野尻
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 1998-06-11
Filing date: 1998-06-11
Publication date: 2007-12-05
Anticipated expiration: 2018-06-11
Also published as: JPH11353468A

Description

【０００１】
【発明の属する技術分野】
本発明は、発話された音声の発話速度を計測する発話計測システム、方法および記録媒体に関する。
【０００２】
【従来の技術】
従来、発話速度計測システムとしては音声認識の手法を使用して発話速度を測定するシステム（特開平７−２９５５８８号公報）が提案されている。このシステムでは入力音声中の母音を音声認識により検出し、所望の時間区間内に検出した母音数を音節数に換算する。その音節数を時間区間の値で除した値を発話速度の計測値としている。
【０００３】
【発明が解決しようとする課題】
しかしながら、計測対象の音声が発声されている環境下に雑音や他人の音声、音響が混入すると、音声のＳ／Ｎ比が音声認識にとって良好なものとならない場合がある。さらに曖昧に発声された場合なども音声認識を行うことが困難となる。このような状態では極端な場合、発話速度を測定することが困難となる。
【０００４】
そこで、本発明の目的は、このような点に鑑みて、映像の唇の動きから発話速度を計測することにより音声の発声環境に影響されない発話速度計測システム、方法および記録媒体を提供することにある。
【０００５】
【課題を解決するための手段】
このような目的を達成するために、請求項１の発明は、発話時の唇の動きを撮影した映像をカラーの映像信号の形態で入力する入力手段と、当該入力されたカラーの映像信号を輝度信号に変換して供給する信号処理手段と、該信号処理手段から供給された前記発話時の唇の動きを撮影した前記映像の中の、前記唇上の特徴点の移動量を時系列的に検出する位置検出手段と、該位置検出手段により検出された隣接の２つの時点の移動量の変化を算出し、当該算出結果が予め定めた範囲を超える時点をモーラの変化の時点として検出するモーラ検出手段と、該モーラの検出手段によりモーラの変化が検出される所定時間内での回数を計数する計数手段と、該計数手段により計数された計数結果を発話速度に換算する演算処理手段とを具えたことを特徴とする。
【０００７】
請求項２の発明は、請求項１に記載の発話速度計測システムにおいて、前記唇の特徴点は前記唇の水平および垂直方向のそれぞれの方向について共通の１つの端点であることを特徴とする。
【０００８】
請求項３の発明は、請求項１に記載の発話速度計測システムにおいて、前記特徴点は、水平方向および垂直方向の移動量の検出のために当該水平方向および垂直方向に対応して各別に計２つ用意されていることを特徴とする。
【０００９】
請求項４の発明は、発話時の唇の動きを撮影した映像をカラーの映像信号の形態で入力し、当該入力されたカラーの映像信号を輝度信号に変換し、前記変換された前記発話時の唇の動きを撮影した前記映像の中の、前記唇上の特徴点の移動量を時系列的に検出し、隣接の２つの時点について当該検出された移動量の変化を算出し、当該算出結果が予め定めた範囲を超える時点をモーラの変化の時点として検出し、該モーラの変化が検出される所定時間内での回数を計数し、当該計数された計数結果を発話速度に換算することを特徴とする。
【００１１】
請求項５の発明は、請求項４に記載の発話速度計測方法において、前記唇の特徴点は前記唇の水平および垂直方向のそれぞれの方向について共通の１つの端点であることを特徴とする。
【００１２】
請求項６の発明は、請求項４に記載の発話速度計測方法において、前記特徴点は、水平方向および垂直方向の移動量の検出のために当該水平方向および垂直方向に対応して各別に計２つ用意されていることを特徴とする。
【００１３】
請求項７の発明は、コンピュータにより実行するプログラムを記録した記録媒体において、前記プログラムは、発話時の唇の動きを撮影した映像をカラーの映像信号の形態で入力するステップと、当該入力されたカラーの映像信号を輝度信号に変換するステップと、前記変換された前記発話時の唇の動きを撮影した前記映像の中の、前記唇上の特徴点の移動量を時系列的に検出するステップと、隣接の２つの時点について当該検出された移動量の変化を算出するステップと、当該算出結果が予め定めた範囲を超える時点をモーラの変化の時点として検出するステップと、該モーラの変化が検出される所定時間内での回数を計数するステップと、当該計数された計数結果を発話速度に換算するステップとを具えたことを特徴とする。
【００１５】
請求項８の発明は、請求項７に記載の記録媒体において、前記唇の特徴点は前記唇の水平および垂直方向のそれぞれの方向について共通の１つの端点であることを特徴とする。
【００１６】
請求項９の発明は、請求項７に記載の記録媒体において、前記特徴点は、水平方向および垂直方向の移動量の検出のために当該水平方向および垂直方向に対応して各別に計２つ用意されていることを特徴とする。
【００１７】
【発明の実施の形態】
以下、図面に示す実施例に基づいて本発明の実施形態を詳細に説明する。
【００１８】
図１は本発明を適用した発話速度計測システムのシステム構成を示す。発話音声にあわせて撮影する映像はハイビジョン、ＮＴＳＣ、ＰＡＬ等の各方向に適応可能であるが、ここでは、ハイビジョンについての場合を示す。
【００１９】
図１において、Ａ／Ｄ変換部１はハイビジョンテレビ信号をデジタル処理可能なデジタル信号にアナログ／デジタル変換する。
【００２０】
動きベクトル検出部１０は、後述の前処理部２、画像抜きだし部３、動き検出部４および発話検出部５を有する。モーラ数カウンター部６は、動きベクトル検出部１０により検出されたモーラの所定時間あたりの個数を計数する。
【００２１】
動きベクトル検出部１０の各構成部２〜５およびモーラ数カウンター６の処理は情報処理装置がプログラムを実行することにより実現される。情報処理装置としては、パーソナルコンピュータ等の汎用コンピュータや、メモリとデジタルプロセッサ等を有するデジタル回路等を使用することができる。
【００２２】
このようなシステム構成におけるシステム動作を次に説明する。
【００２３】
（ａ）唇の動きを撮影した映像（例えば、ニュースなどのようなバストショットで撮影された映像の）を外部から発明速度計測システムに入力する。
【００２４】
（ｂ）映像をＲＧＢ４：４：４フォーマットでＡ／Ｄ変換部１においてＡ／Ｄ変換する。
【００２５】
（ｃ）変換された映像から、唇の動きベクトルを検出するための前処理を前処理部２で行う。具体的には映像（信号）からマトリクスによる動きベクトル検出用の照度信号に変換する。
【００２６】
（ｄ）前処理部２で前処理されて転送され、唇の動きを伴った映像から、唇の近傍の画像を画像抜きだし部３において、抜きだす。
【００２７】
（ｅ）例えば、勾配法に基づく初期偏位ベクトル（例えば、候補ベクトル：８種、ブロックサイズ：８画素、８ライン）を用いた反復勾配法（例えば、最大反復回数：２回、ブロックサイズ：８画素、８ライン、特願平９−２４９１３４号、テレビジョン学会誌Ｖｏｌ．４８，Ｎｏ．１，ｐｐ８４−９４（１９９４）、ＮＨＫ技研Ｒ＆Ｄ，Ｎｏ．２６，１９９３年９月参照）により、唇の近傍の動きベクトルを動き検出部４において求める。
【００２８】
（ｆ）発話検出部５において、唇の上下方向の動きベクトル、および左右方向の動きベクトルのベクトルを検出する。上下方向の動きベクトル、および左右方向の動きベクトルがある一定値以上の変化を示した場合、１モーラを発生したことになる。発話検出部５では、左右、上下方向の動きベクトルを取得すると共にしきい値を比較し、唇の動きから１モーラ毎の発声を検出する。（唇の上下方向の動きベクトルの定義内容を図２に、左右方向の動きベクトルの定義内容を図３に示す。また、唇の上下方向、および左右方向の動きベクトルの変化例を図４に示す。）
（ｇ）発話検出部５により１モーラの発声を検出する毎にモーラ数カウンター６にてモーラ数を計数する。一定単位時間毎にモーラ数カウンター６の計数結果を不図示の除算器により単位時間（例えば、秒）当たりで除算し、単位時間（例えば、秒）当たり平均和速（例えば、モーラ／秒）に換算する。
【００２９】
図２に、唇の上下（垂直）方向の動きベクトルの定義方法を示す。無音状態（何も発声せず、口を結んでいる状態）の場合の唇の中央部あるいは上端部を始点とし、この点（上唇）が上に上がる（開いた）方向のベクトルを「上下方向の動きベクトル」とし、ａａであらわす。このベクトルａａは始点を０ベクトルとして、上方向が（＋）のベクトルである。
【００３０】
図３に、唇の左右（水平）方向の動きベクトルの定義方法を示す。無音状態（何も発声せず、口を結んでいる状態）における、唇の左端（もしくは右端）を始点として、この点が、外側へ延びる方向を「左右方向の動きベクトル」とし、ｂｂであらわす。このベクトルｂｂは、始点を０ベクトルとして、外側方向が（＋）のベクトルであり、内側方向が（−）のベクトルである。
【００３１】
図４は、“あいうえお”と連続で発声した場合、唇の上下方向の動きベクトル量（上の図）と左右方向の動きベクトル（下の図）の関係を示した例である。
【００３２】
このグラフで、
（１）無音（何も発声していない状態）の場合の唇の上下方向の動きベクトルをａａ₀ 、左右方向の動きベクトルをｂｂ₀ とする。
【００３３】
（２）／あ／と発声した場合の唇の上下方向の動きベクトルをａａ₁ とする。このときの、左右方向の動きベクトルをｂｂ₁ とする。この場合、全体の唇の変位ＳＳ₁ を
【００３４】
【数１】
ＳＳ₁ ＝ａａ₁ ＋ｂｂ₁
と定義する。
【００３５】
（３）同様に、／い／と発声した場合の唇の上下方向の動きベクトルをａａ₂ とする。このときの、左右方向の動きベクトルをｂｂ₂ とする。この場合、全体の唇の変位ＳＳ₂ は、
【００３６】
【数２】
ＳＳ₂ ＝ａａ₂ ＋ｂｂ₂
（４）ここで、ｎ番目に発声された単音節における、唇の変動：ＭＭ_n 、
【００３７】
【数３】
ＭＭ_n ＝ＳＳ_n −ＳＳ_n-1
と定義すると、発声が、／あ／から／い／に変化する場合の、唇の変動：ＭＭ₂ は、
【００３８】
【数４】
ＭＭ_n ＝ＳＳ₂ −ＳＳ₁
となる。
【００３９】
ここで、ＭＭ₂ がある閾値より大きい場合、１モーラを発声したことになる。この閾値は唇の動きを撮した映像や、個人差によって差があり、事前に設定する。発話検出に際し、唇の上下方向の動きベクトルに加え、左右方向の動きベクトルも勘案することにより、例えば、／い／／う／と発声した場合、唇の上下方向の動きベクトルは、ａａ₂ 、ａａ₃ となり、
【００４０】
【数５】

【００４１】
の関係があり、発話を検出しにくいが、左右方向の動きベクトル（ｂｂ）も、発話検出のパラメータとして導入することにより、正確に発話検出が可能となる。
【００４２】
上述の発話速度計測処理をコンピュータで実行するための具体的処理内容を説明しておく。映像発生源、たとえば、テレビジョン、ビデオテープレコーダ、ビデオカメラ等で撮影された発話者の唇の映像は、デジタル変換された後、コンピュータ内のメモリあるいはハードディスク記憶装置に取り込まれる。映像ここでは動画像は、複数のフレーム（１画面の静止画像）から構成されるので、各静止画像の唇の特徴点、本実施形態では、無音状態の唇の端点位置を検出する。唇の映像は、たとえば輪郭部を検出したり、背景を除去する画像処理により得られるので、このようにして取得した唇の上記特徴点の画面上の位置を検出する。各静止画面から検出された特徴点の位置情報はメモリに一時格納される。この位置情報に基づき上述の反復勾配法等の画像分析手法により、唇の特徴点の動きベクトルを計算する。発話の内容（モーラ）が異なると、唇の特徴点の移動軌跡が大きく変化するので、図４に示すように上下、左右方向の動きベクトルも変化する。そこで、現時点の動きベクトルの値と、隣接する過去の時点の動きベクトルの値の差分値（この場合、移動量についての差）を取得し、その差分値をしきい値と比較する。発話内容が変化した場合には、上記差分値は閾値よりも大きくなるので、この時点をたとえば、これまで発声された音節の終わりおよびこれから発声されようとする音節の始まりと決定することができる。この音節の区切れが検出される回数を計数することが上述のモーラの個数を計数することになる。一定時間（たとえば、１秒）毎にモーラの個数を計数すると計数値は０（ゼロ）にリセットされて、以後、計数処理は繰り返し行われる。計数されたモーラ数を上記一定時間の値で除すと単位時間当たりのモーラ数、すなわち、発話速度が得られる。
【００４３】
以上の処理を汎用コンピュータにより実現するためには構成部２〜６の機能毎の処理ステップを規定したプログラムを用意しておけばよく、当業者であれば、本明細書に基づき容易にプログラムを作成できるであろう。
【００４４】
このプログラムは発話速度計測システムのハード構成に好適な記録媒体に記録しておけばよい。発話速度計測システムを汎用コンピュータで実現する場合には、上記プログラムをＣＤＲＯＭやフロッピーディスクに記録しておき、汎用コンピュータのハードディスクに実装すればよい。また、発話速度計測システムを、単体（ＣＰＵ，メモリ）等で構成する場合には、ＲＯＭなどの不揮発性メモリに記憶するとよい。
【００４５】
本実施例の他に次の形態を実施することができる。
【００４６】
１）上述の実施形態では、映像のみで発話速度を計測する例であったが、音声に基づいて発話速度を計測するシステムと切り替え使用してもよい。この切り替えはキーボードからの手動により行ってもよいし、音声のＳ／Ｎ比の値に応じて自動切換えすることが考えられる。
【００４７】
２）唇の動きを検出すために用意する特徴点は、上述の実施形態のように形状的に定まる点（端点、中央の点）の他に、最大輝度を有する点等の特徴点を使用することができる。
【００４８】
３）上述の形態では、水平方向と垂直方向のそれぞれに特徴点を用意したが、唇の中央部や水平方向以外の特徴点を最大輝度により決定する場合には、特徴点は１つでよい。この場合には、移動方向と移動量のそれぞれについての許容範囲以上の変化の有無を検出することになる。
【００４９】
４）話者を特定者に限定する場合には特徴点の移動量を、特徴点の位置の変化として取り扱うことができる。この場合には、ベクトルの変化（差分値）を閾値と比較する代わりに、特徴点の位置がある特定の位置から、他の特定の位置に移動したか否かを判定する。ただし、この場合には、不特定話者の唇の動きを分析できないという欠点がある。
【００５０】
５）上述の実施形態では発話速度計測システムに入力する映像信号はアナログのカラー映像信号を説明したが、モノクロの映像信号でもよい。この場合には、カラー映像信号を輝度信号に変換する前処理は不要となる。さらに、デジタル映像信号の形態で入力を行ってもよく、映像信号の形態に好適な入力インターフェースを用意するとよい。
【００５１】
６）本願出願人は、音声の発話速度を変更可能なシステムを提案しているが、本実施形態の発話速度計測システムと組み合わせると、映像から計測した発話速度がある範囲に到達した場合には、音声信号の発話速度を自動的に好適な速度に変更することも可能となる。
【００５２】
【発明の効果】
以上、説明したように、請求項１、４、７の発明では、唇の映像上の特徴点の移動量、換言すると、特徴点の位置の軌跡に基づいて、モーラが変化する時点を検出し、変化するモーラの個数を計数することで発話速度を計測する。したがって、音声を分析することなく、映像信号のみで、発話速度を計測することが可能であり、音楽会場等雑音が混在する環境下での発話者の発話速度を精度よく、計測することができる。また、映像音声メディア、テレビ電話、テレビジョン中継の映像伝送媒体を介して発話者と離れた遠隔地でも発話速度を計測することができる。また、発声者が曖昧な発声を行なっても、上記発明では、モーラの変化を唇の変化で検出するので、曖昧な音声の影響を受けない。
【００５３】
また、請求項１、４，７の発明では、映像をたとえば、ＮＴＳＣ等のどのカラーの映像信号の形態で入力することによりテレビ受像機、テープレコーダ、ビデオカメラ等既存のカラー映像発生源により取得した映像の発話速度を計測することができる。
【００５４】
請求項２、５、８の発明では、唇の特徴点を前記唇の水平および垂直方向のそれぞれの方向について共通の１つの端点とすることにより、唇の形が変形しても、端点の位置の変化を追跡することで、唇の動きを検出することができる。また、画像処理上、端点は、画素位置の比較のみで簡単に検出できるので、計測処理自体の短縮化に寄与することができる。
【００５５】
特徴点が１つの場合には特徴点の位置が２次元空間上の座標値で表されるので、移動量の計算が複雑になる。請求項３、６、９の発明では特徴点を、水平方向および垂直方向に対応して各別に計２つ用意することにより、１次元空間上の（直線上の）位置だけを取り扱えばよいので、計算量が減少し、計測処理が短縮化される。
【図面の簡単な説明】
【図１】本発明実施形態のシステム構成を示すブロック図である。
【図２】唇の上下方向の動きベクトルの定義を説明するための説明図である。
【図３】唇の左右方向の動きべクテルの定義を説明するための説明図である。
【図４】本発明実施例の動きベクトルの変化例を示す説明図である。
【符号の説明】
１Ａ／Ｄ変換器
２前処理部
３画像抜きだし部
４動き検出部
５発話検出部
６モーラ数カウンター
１０動きベクトル検出部

Claims

発話時の唇の動きを撮影した映像をカラーの映像信号の形態で入力する入力手段と、
当該入力されたカラーの映像信号を輝度信号に変換して供給する信号処理手段と、
該信号処理手段から供給された前記発話時の唇の動きを撮影した前記映像の中の、前記唇上の特徴点の移動量を時系列的に検出する位置検出手段と、
該位置検出手段により検出された隣接の２つの時点の移動量の変化を算出し、当該算出結果が予め定めた範囲を超える時点をモーラの変化の時点として検出するモーラ検出手段と、
該モーラの検出手段によりモーラの変化が検出される所定時間内での回数を計数する計数手段と、
該計数手段により計数された計数結果を発話速度に換算する演算処理手段と
を具えたことを特徴とする発話速度計測システム。
請求項１に記載の発話速度計測システムにおいて、前記唇の特徴点は前記唇の水平および垂直方向のそれぞれの方向について共通の１つの端点であることを特徴とする発話速度計測システム。
請求項１に記載の発話速度計測システムにおいて、前記特徴点は、水平方向および垂直方向の移動量の検出のために当該水平方向および垂直方向に対応して各別に計２つ用意されていることを特徴とする発話速度計測システム。
発話時の唇の動きを撮影した映像をカラーの映像信号の形態で入力し、
当該入力されたカラーの映像信号を輝度信号に変換し、
前記変換された前記発話時の唇の動きを撮影した前記映像の中の、前記唇上の特徴点の移動量を時系列的に検出し、
隣接の２つの時点について当該検出された移動量の変化を算出し、
当該算出結果が予め定めた範囲を超える時点をモーラの変化の時点として検出し、
該モーラの変化が検出される所定時間内での回数を計数し、
当該計数された計数結果を発話速度に換算する
ことを特徴とする発話速度計測方法。
請求項４に記載の発話速度計測方法において、前記唇の特徴点は前記唇の水平および垂直方向のそれぞれの方向について共通の１つの端点であることを特徴とする発話速度計測方法。
請求項４に記載の発話速度計測方法において、前記特徴点は、水平方向および垂直方向の移動量の検出のために当該水平方向および垂直方向に対応して各別に計２つ用意されていることを特徴とする発話速度計測方法。
コンピュータにより実行するプログラムを記録した記録媒体において、前記プログラムは、
発話時の唇の動きを撮影した映像をカラーの映像信号の形態で入力するステップと、
当該入力されたカラーの映像信号を輝度信号に変換するステップと、
前記変換された前記発話時の唇の動きを撮影した前記映像の中の、前記唇上の特徴点の移動量を時系列的に検出するステップと、
隣接の２つの時点について当該検出された移動量の変化を算出するステップと、
当該算出結果が予め定めた範囲を超える時点をモーラの変化の時点として検出するステップと、
該モーラの変化が検出される所定時間内での回数を計数するステップと、
当該計数された計数結果を発話速度に換算するステップと
を具えたことを特徴とする記録媒体。
請求項７に記載の記録媒体において、前記唇の特徴点は前記唇の水平および垂直方向のそれぞれの方向について共通の１つの端点であることを特徴とする記録媒体。
請求項７に記載の記録媒体において、前記特徴点は、水平方向および垂直方向の移動量の検出のために当該水平方向および垂直方向に対応して各別に計２つ用意されていることを特徴とする記録媒体。