JPH11353468A - 発話速度計測システム、方法および記録媒体 - Google Patents
発話速度計測システム、方法および記録媒体Info
- Publication number
- JPH11353468A JPH11353468A JP10163796A JP16379698A JPH11353468A JP H11353468 A JPH11353468 A JP H11353468A JP 10163796 A JP10163796 A JP 10163796A JP 16379698 A JP16379698 A JP 16379698A JP H11353468 A JPH11353468 A JP H11353468A
- Authority
- JP
- Japan
- Prior art keywords
- time
- lip
- utterance
- mora
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
(57)【要約】
【課題】 雑音の影響を受けることなく発話速度を計測
する。 【解決手段】 映像の中の発声者の唇の動きからモーラ
（音節）の変化を検出する。このために唇の特徴点の移
動軌跡を動き検出部４により検出し、モーラの変化時に
現れる特徴点の大きな移動軌跡の変化すなわち、動きベ
クトルの変化を発話検出部５で検出する。モーラの変化
の回数がモーラ数カウンター６により計数され、その計
数結果が発話速度に換算される。
する。 【解決手段】 映像の中の発声者の唇の動きからモーラ
（音節）の変化を検出する。このために唇の特徴点の移
動軌跡を動き検出部４により検出し、モーラの変化時に
現れる特徴点の大きな移動軌跡の変化すなわち、動きベ
クトルの変化を発話検出部５で検出する。モーラの変化
の回数がモーラ数カウンター６により計数され、その計
数結果が発話速度に換算される。
Description
【０００１】
【発明の属する技術分野】本発明は、発話された音声の
発話速度を計測する発話計測システム、方法および記録
媒体に関する。
発話速度を計測する発話計測システム、方法および記録
媒体に関する。
【０００２】
【従来の技術】従来、発話速度計測システムとしては音
声認識の手法を使用して発話速度を測定するシステム
（特開平７−２９５５８８号公報）が提案されている。
このシステムでは入力音声中の母音を音声認識により検
出し、所望の時間区間内に検出した母音数を音節数に換
算する。その音節数を時間区間の値で除した値を発話速
度の計測値としている。
声認識の手法を使用して発話速度を測定するシステム
（特開平７−２９５５８８号公報）が提案されている。
このシステムでは入力音声中の母音を音声認識により検
出し、所望の時間区間内に検出した母音数を音節数に換
算する。その音節数を時間区間の値で除した値を発話速
度の計測値としている。
【０００３】
【発明が解決しようとする課題】しかしながら、計測対
象の音声が発声されている環境下に雑音や他人の音声、
音響が混入すると、音声のＳ／Ｎ比が音声認識にとって
良好なものとならない場合がある。さらに曖昧に発声さ
れた場合なども音声認識を行うことが困難となる。この
ような状態では極端な場合、発話速度を測定することが
困難となる。
象の音声が発声されている環境下に雑音や他人の音声、
音響が混入すると、音声のＳ／Ｎ比が音声認識にとって
良好なものとならない場合がある。さらに曖昧に発声さ
れた場合なども音声認識を行うことが困難となる。この
ような状態では極端な場合、発話速度を測定することが
困難となる。
【０００４】そこで、本発明の目的は、このような点に
鑑みて、映像の唇の動きから発話速度を計測することに
より音声の発声環境に影響されない発話速度計測システ
ム、方法および記録媒体を提供することにある。
鑑みて、映像の唇の動きから発話速度を計測することに
より音声の発声環境に影響されない発話速度計測システ
ム、方法および記録媒体を提供することにある。
【０００５】
【課題を解決するための手段】このような目的を達成す
るために、請求項１の発明は、発話時の唇の動きを撮影
した映像の中の、前記唇上の特徴点の移動量を時系列的
に検出する位置検出手段と、該位置検出手段により検出
された隣接の２つの時点の移動量の変化を算出し、当該
算出結果が予め定めた範囲を超える時点をモーラの変化
の時点として検出するモーラ検出手段と、該モーラの検
出手段によりモーラの変化が検出される所定時間内での
回数を計数する計数手段と、該計数手段により計数され
た計数結果を発話速度に換算する演算処理手段とを具え
たことを特徴とする。
るために、請求項１の発明は、発話時の唇の動きを撮影
した映像の中の、前記唇上の特徴点の移動量を時系列的
に検出する位置検出手段と、該位置検出手段により検出
された隣接の２つの時点の移動量の変化を算出し、当該
算出結果が予め定めた範囲を超える時点をモーラの変化
の時点として検出するモーラ検出手段と、該モーラの検
出手段によりモーラの変化が検出される所定時間内での
回数を計数する計数手段と、該計数手段により計数され
た計数結果を発話速度に換算する演算処理手段とを具え
たことを特徴とする。
【０００６】請求項２の発明は、請求項１に記載の発話
速度計測システムにおいて、前記映像をカラーの映像信
号の形態で入力する入力手段と、当該入力されたカラー
の映像信号を輝度信号に変換して前記位置検出手段に供
給する信号処理手段とをさらに具えたことを特徴とす
る。
速度計測システムにおいて、前記映像をカラーの映像信
号の形態で入力する入力手段と、当該入力されたカラー
の映像信号を輝度信号に変換して前記位置検出手段に供
給する信号処理手段とをさらに具えたことを特徴とす
る。
【０００７】請求項３の発明は、請求項１に記載の発話
速度計測システムにおいて、前記唇の特徴点は前記唇の
水平および垂直方向のそれぞれの方向の１つの端点であ
ることを特徴とする。
速度計測システムにおいて、前記唇の特徴点は前記唇の
水平および垂直方向のそれぞれの方向の１つの端点であ
ることを特徴とする。
【０００８】請求項４の発明は、請求項１に記載の発話
速度計測システムにおいて、前記特徴点は、水平方向お
よび垂直方向の移動量の検出のために当該水平方向およ
び垂直方向に対応して２つ用意されていることを特徴と
する。
速度計測システムにおいて、前記特徴点は、水平方向お
よび垂直方向の移動量の検出のために当該水平方向およ
び垂直方向に対応して２つ用意されていることを特徴と
する。
【０００９】請求項５の発明は、発話時の唇の動きを撮
影した映像の中の、前記唇上の特徴点の移動量を時系列
的に検出し、隣接の２つの時点について当該検出された
移動量の変化を算出し、当該算出結果が予め定めた範囲
を超える時点をモーラの変化の時点として検出し、該モ
ーラの変化が検出される所定時間内での回数を計数し、
当該計数された計数結果を発話速度に換算することを特
徴とする。
影した映像の中の、前記唇上の特徴点の移動量を時系列
的に検出し、隣接の２つの時点について当該検出された
移動量の変化を算出し、当該算出結果が予め定めた範囲
を超える時点をモーラの変化の時点として検出し、該モ
ーラの変化が検出される所定時間内での回数を計数し、
当該計数された計数結果を発話速度に換算することを特
徴とする。
【００１０】請求項６の発明は、請求項５に記載の発話
速度計測方法において、前記映像をカラーの映像信号の
形態で入力し、当該入力されたカラーの映像信号を輝度
信号に変換して前記特徴点の移動量を検出することを特
徴とする。
速度計測方法において、前記映像をカラーの映像信号の
形態で入力し、当該入力されたカラーの映像信号を輝度
信号に変換して前記特徴点の移動量を検出することを特
徴とする。
【００１１】請求項７の発明は、請求項５に記載の発話
速度計測方法において、前記唇の特徴点は前記唇の水平
および垂直方向のそれぞれの方向の１つの端点であるこ
とを特徴とする。
速度計測方法において、前記唇の特徴点は前記唇の水平
および垂直方向のそれぞれの方向の１つの端点であるこ
とを特徴とする。
【００１２】請求項８の発明は、請求項５に記載の発話
速度計測方法において、前記特徴点は、水平方向および
垂直方向の移動量の検出のために当該水平方向および垂
直方向に対応して２つ用意されていることを特徴とす
る。
速度計測方法において、前記特徴点は、水平方向および
垂直方向の移動量の検出のために当該水平方向および垂
直方向に対応して２つ用意されていることを特徴とす
る。
【００１３】請求項９の発明は、コンピュータにより実
行するプログラムを記録した記録媒体において、前記プ
ログラムは、発話時の唇の動きを撮影した映像の中の、
前記唇上の特徴点の移動量を時系列的に検出するステッ
プと、隣接の２つの時点について当該検出された移動量
の変化を算出するステップと、当該算出結果が予め定め
た範囲を超える時点をモーラの変化の時点として検出す
るステップと、該モーラの変化が検出される所定時間内
での回数を計数するステップと、当該計数された計数結
果を発話速度に換算するステップとを具えたことを特徴
とする。
行するプログラムを記録した記録媒体において、前記プ
ログラムは、発話時の唇の動きを撮影した映像の中の、
前記唇上の特徴点の移動量を時系列的に検出するステッ
プと、隣接の２つの時点について当該検出された移動量
の変化を算出するステップと、当該算出結果が予め定め
た範囲を超える時点をモーラの変化の時点として検出す
るステップと、該モーラの変化が検出される所定時間内
での回数を計数するステップと、当該計数された計数結
果を発話速度に換算するステップとを具えたことを特徴
とする。
【００１４】請求項１０の発明は、請求項９に記載の記
録媒体において、前記映像をカラーの映像信号の形態で
入力するステップと、当該入力されたカラーの映像信号
を輝度信号に変換して前記特徴点の移動量を検出するス
テップをさらに具えたことを特徴とする。
録媒体において、前記映像をカラーの映像信号の形態で
入力するステップと、当該入力されたカラーの映像信号
を輝度信号に変換して前記特徴点の移動量を検出するス
テップをさらに具えたことを特徴とする。
【００１５】請求項１１の発明は、請求項９に記載の記
録媒体において、前記唇の特徴点は前記唇の水平および
垂直方向のそれぞれの方向の１つの端点であることを特
徴とする。
録媒体において、前記唇の特徴点は前記唇の水平および
垂直方向のそれぞれの方向の１つの端点であることを特
徴とする。
【００１６】請求項１２の発明は、請求項９に記載の記
録媒体において、前記特徴点は、水平方向および垂直方
向の移動量の検出のために当該水平方向および垂直方向
に対応して２つ用意されていることを特徴とする。
録媒体において、前記特徴点は、水平方向および垂直方
向の移動量の検出のために当該水平方向および垂直方向
に対応して２つ用意されていることを特徴とする。
【００１７】
【発明の実施の形態】以下、図面に示す実施例に基づい
て本発明の実施形態を詳細に説明する。
て本発明の実施形態を詳細に説明する。
【００１８】図１は本発明を適用した発話速度計測シス
テムのシステム構成を示す。発話音声にあわせて撮影す
る映像はハイビジョン、ＮＴＳＣ、ＰＡＬ等の各方向に
適応可能であるが、ここでは、ハイビジョンについての
場合を示す。
テムのシステム構成を示す。発話音声にあわせて撮影す
る映像はハイビジョン、ＮＴＳＣ、ＰＡＬ等の各方向に
適応可能であるが、ここでは、ハイビジョンについての
場合を示す。
【００１９】図１において、Ａ／Ｄ変換部１はハイビジ
ョンテレビ信号をデジタル処理可能なデジタル信号にア
ナログ／デジタル変換する。
ョンテレビ信号をデジタル処理可能なデジタル信号にア
ナログ／デジタル変換する。
【００２０】動きベクトル検出部１０は、後述の前処理
部２、画像抜きだし部３、動き検出部４および発話検出
部５を有する。モーラ数カウンター部６は、動きベクト
ル検出部１０により検出されたモーラの所定時間あたり
の個数を計数する。
部２、画像抜きだし部３、動き検出部４および発話検出
部５を有する。モーラ数カウンター部６は、動きベクト
ル検出部１０により検出されたモーラの所定時間あたり
の個数を計数する。
【００２１】動きベクトル検出部１０の各構成部２〜５
およびモーラ数カウンター６の処理は情報処理装置がプ
ログラムを実行することにより実現される。情報処理装
置としては、パーソナルコンピュータ等の汎用コンピュ
ータや、メモリとデジタルプロセッサ等を有するデジタ
ル回路等を使用することができる。
およびモーラ数カウンター６の処理は情報処理装置がプ
ログラムを実行することにより実現される。情報処理装
置としては、パーソナルコンピュータ等の汎用コンピュ
ータや、メモリとデジタルプロセッサ等を有するデジタ
ル回路等を使用することができる。
【００２２】このようなシステム構成におけるシステム
動作を次に説明する。
動作を次に説明する。
【００２３】（ａ）唇の動きを撮影した映像（例えば、
ニュースなどのようなバストショットで撮影された映像
の）を外部から発明速度計測システムに入力する。
ニュースなどのようなバストショットで撮影された映像
の）を外部から発明速度計測システムに入力する。
【００２４】（ｂ）映像をＲＧＢ４：４：４フォーマッ
トでＡ／Ｄ変換部１においてＡ／Ｄ変換する。
トでＡ／Ｄ変換部１においてＡ／Ｄ変換する。
【００２５】（ｃ）変換された映像から、唇の動きベク
トルを検出するための前処理を前処理部２で行う。具体
的には映像（信号）からマトリクスによる動きベクトル
検出用の照度信号に変換する。
トルを検出するための前処理を前処理部２で行う。具体
的には映像（信号）からマトリクスによる動きベクトル
検出用の照度信号に変換する。
【００２６】（ｄ）前処理部２で前処理されて転送さ
れ、唇の動きを伴った映像から、唇の近傍の画像を画像
抜きだし部３において、抜きだす。
れ、唇の動きを伴った映像から、唇の近傍の画像を画像
抜きだし部３において、抜きだす。
【００２７】（ｅ）例えば、勾配法に基づく初期偏位ベ
クトル（例えば、候補ベクトル：８種、ブロックサイ
ズ：８画素、８ライン）を用いた反復勾配法（例えば、
最大反復回数：２回、ブロックサイズ：８画素、８ライ
ン、特願平９−２４９１３４号、テレビジョン学会誌Ｖ
ｏｌ．４８，Ｎｏ．１，ｐｐ８４−９４（１９９４）、
ＮＨＫ技研Ｒ＆Ｄ，Ｎｏ．２６，１９９３年９月参照）
により、唇の近傍の動きベクトルを動き検出部４におい
て求める。
クトル（例えば、候補ベクトル：８種、ブロックサイ
ズ：８画素、８ライン）を用いた反復勾配法（例えば、
最大反復回数：２回、ブロックサイズ：８画素、８ライ
ン、特願平９−２４９１３４号、テレビジョン学会誌Ｖ
ｏｌ．４８，Ｎｏ．１，ｐｐ８４−９４（１９９４）、
ＮＨＫ技研Ｒ＆Ｄ，Ｎｏ．２６，１９９３年９月参照）
により、唇の近傍の動きベクトルを動き検出部４におい
て求める。
【００２８】（ｆ）発話検出部５において、唇の上下方
向の動きベクトル、および左右方向の動きベクトルのベ
クトルを検出する。上下方向の動きベクトル、および左
右方向の動きベクトルがある一定値以上の変化を示した
場合、１モーラを発生したことになる。発話検出部５で
は、左右、上下方向の動きベクトルを取得すると共にし
きい値を比較し、唇の動きから１モーラ毎の発声を検出
する。（唇の上下方向の動きベクトルの定義内容を図２
に、左右方向の動きベクトルの定義内容を図３に示す。
また、唇の上下方向、および左右方向の動きベクトルの
変化例を図４に示す。） （ｇ）発話検出部５により１モーラの発声を検出する毎
にモーラ数カウンター６にてモーラ数を計数する。一定
単位時間毎にモーラ数カウンター６の計数結果を不図示
の除算器により単位時間（例えば、秒）当たりで除算
し、単位時間（例えば、秒）当たり平均和速（例えば、
モーラ／秒）に換算する。
向の動きベクトル、および左右方向の動きベクトルのベ
クトルを検出する。上下方向の動きベクトル、および左
右方向の動きベクトルがある一定値以上の変化を示した
場合、１モーラを発生したことになる。発話検出部５で
は、左右、上下方向の動きベクトルを取得すると共にし
きい値を比較し、唇の動きから１モーラ毎の発声を検出
する。（唇の上下方向の動きベクトルの定義内容を図２
に、左右方向の動きベクトルの定義内容を図３に示す。
また、唇の上下方向、および左右方向の動きベクトルの
変化例を図４に示す。） （ｇ）発話検出部５により１モーラの発声を検出する毎
にモーラ数カウンター６にてモーラ数を計数する。一定
単位時間毎にモーラ数カウンター６の計数結果を不図示
の除算器により単位時間（例えば、秒）当たりで除算
し、単位時間（例えば、秒）当たり平均和速（例えば、
モーラ／秒）に換算する。
【００２９】図２に、唇の上下（垂直）方向の動きベク
トルの定義方法を示す。無音状態（何も発声せず、口を
結んでいる状態）の場合の唇の中央部あるいは上端部を
始点とし、この点（上唇）が上に上がる（開いた）方向
のベクトルを「上下方向の動きベクトル」とし、ａａで
あらわす。このベクトルａａは始点を０ベクトルとし
て、上方向が（＋）のベクトルである。
トルの定義方法を示す。無音状態（何も発声せず、口を
結んでいる状態）の場合の唇の中央部あるいは上端部を
始点とし、この点（上唇）が上に上がる（開いた）方向
のベクトルを「上下方向の動きベクトル」とし、ａａで
あらわす。このベクトルａａは始点を０ベクトルとし
て、上方向が（＋）のベクトルである。
【００３０】図３に、唇の左右（水平）方向の動きベク
トルの定義方法を示す。無音状態（何も発声せず、口を
結んでいる状態）における、唇の左端（もしくは右端）
を始点として、この点が、外側へ延びる方向を「左右方
向の動きベクトル」とし、ｂｂであらわす。このベクト
ルｂｂは、始点を０ベクトルとして、外側方向が（＋）
のベクトルであり、内側方向が（−）のベクトルであ
る。
トルの定義方法を示す。無音状態（何も発声せず、口を
結んでいる状態）における、唇の左端（もしくは右端）
を始点として、この点が、外側へ延びる方向を「左右方
向の動きベクトル」とし、ｂｂであらわす。このベクト
ルｂｂは、始点を０ベクトルとして、外側方向が（＋）
のベクトルであり、内側方向が（−）のベクトルであ
る。
【００３１】図４は、“あいうえお”と連続で発声した
場合、唇の上下方向の動きベクトル量（上の図）と左右
方向の動きベクトル（下の図）の関係を示した例であ
る。
場合、唇の上下方向の動きベクトル量（上の図）と左右
方向の動きベクトル（下の図）の関係を示した例であ
る。
【００３２】このグラフで、 （１）無音（何も発声していない状態）の場合の唇の上
下方向の動きベクトルをａａ0 、左右方向の動きベクト
ルをｂｂ0 とする。
下方向の動きベクトルをａａ0 、左右方向の動きベクト
ルをｂｂ0 とする。
【００３３】（２）／あ／と発声した場合の唇の上下方
向の動きベクトルをａａ1 とする。このときの、左右方
向の動きベクトルをｂｂ1 とする。この場合、全体の唇
の変位ＳＳ1 を
向の動きベクトルをａａ1 とする。このときの、左右方
向の動きベクトルをｂｂ1 とする。この場合、全体の唇
の変位ＳＳ1 を
【００３４】
【数１】ＳＳ1 ＝ａａ1 ＋ｂｂ1 と定義する。
【００３５】（３）同様に、／い／と発声した場合の唇
の上下方向の動きベクトルをａａ2 とする。このとき
の、左右方向の動きベクトルをｂｂ2 とする。この場
合、全体の唇の変位ＳＳ2 は、
の上下方向の動きベクトルをａａ2 とする。このとき
の、左右方向の動きベクトルをｂｂ2 とする。この場
合、全体の唇の変位ＳＳ2 は、
【００３６】
【数２】ＳＳ2 ＝ａａ2 ＋ｂｂ2 （４）ここで、ｎ番目に発声された単音節における、唇
の変動：ＭＭn 、
の変動：ＭＭn 、
【００３７】
【数３】ＭＭn ＝ＳＳn −ＳＳn-1 と定義すると、発声が、／あ／から／い／に変化する場
合の、唇の変動：ＭＭ2は、
合の、唇の変動：ＭＭ2は、
【００３８】
【数４】ＭＭn ＝ＳＳ2 −ＳＳ1 となる。
【００３９】ここで、ＭＭ2 がある閾値より大きい場
合、１モーラを発声したことになる。この閾値は唇の動
きを撮した映像や、個人差によって差があり、事前に設
定する。発話検出に際し、唇の上下方向の動きベクトル
に加え、左右方向の動きベクトルも勘案することによ
り、例えば、／い／／う／と発声した場合、唇の上下方
向の動きベクトルは、ａａ2 、ａａ3 となり、
合、１モーラを発声したことになる。この閾値は唇の動
きを撮した映像や、個人差によって差があり、事前に設
定する。発話検出に際し、唇の上下方向の動きベクトル
に加え、左右方向の動きベクトルも勘案することによ
り、例えば、／い／／う／と発声した場合、唇の上下方
向の動きベクトルは、ａａ2 、ａａ3 となり、
【００４０】
【数５】
【００４１】の関係があり、発話を検出しにくいが、左
右方向の動きベクトル（ｂｂ）も、発話検出のパラメー
タとして導入することにより、正確に発話検出が可能と
なる。
右方向の動きベクトル（ｂｂ）も、発話検出のパラメー
タとして導入することにより、正確に発話検出が可能と
なる。
【００４２】上述の発話速度計測処理をコンピュータで
実行するための具体的処理内容を説明しておく。映像発
生源、たとえば、テレビジョン、ビデオテープレコー
ダ、ビデオカメラ等で撮影された発話者の唇の映像は、
デジタル変換された後、コンピュータ内のメモリあるい
はハードディスク記憶装置に取り込まれる。映像ここで
は動画像は、複数のフレーム（１画面の静止画像）から
構成されるので、各静止画像の唇の特徴点、本実施形態
では、無音状態の唇の端点位置を検出する。唇の映像
は、たとえば輪郭部を検出したり、背景を除去する画像
処理により得られるので、このようにして取得した唇の
上記特徴点の画面上の位置を検出する。各静止画面から
検出された特徴点の位置情報はメモリに一時格納され
る。この位置情報に基づき上述の反復勾配法等の画像分
析手法により、唇の特徴点の動きベクトルを計算する。
発話の内容（モーラ）が異なると、唇の特徴点の移動軌
跡が大きく変化するので、図４に示すように上下、左右
方向の動きベクトルも変化する。そこで、現時点の動き
ベクトルの値と、隣接する過去の時点の動きベクトルの
値の差分値（この場合、移動量についての差）を取得
し、その差分値をしきい値と比較する。発話内容が変化
した場合には、上記差分値は閾値よりも大きくなるの
で、この時点をたとえば、これまで発声された音節の終
わりおよびこれから発声されようとする音節の始まりと
決定することができる。この音節の区切れが検出される
回数を計数することが上述のモーラの個数を計数するこ
とになる。一定時間（たとえば、１秒）毎にモーラの個
数を計数すると計数値は０（ゼロ）にリセットされて、
以後、計数処理は繰り返し行われる。計数されたモーラ
数を上記一定時間の値で除すと単位時間当たりのモーラ
数、すなわち、発話速度が得られる。
実行するための具体的処理内容を説明しておく。映像発
生源、たとえば、テレビジョン、ビデオテープレコー
ダ、ビデオカメラ等で撮影された発話者の唇の映像は、
デジタル変換された後、コンピュータ内のメモリあるい
はハードディスク記憶装置に取り込まれる。映像ここで
は動画像は、複数のフレーム（１画面の静止画像）から
構成されるので、各静止画像の唇の特徴点、本実施形態
では、無音状態の唇の端点位置を検出する。唇の映像
は、たとえば輪郭部を検出したり、背景を除去する画像
処理により得られるので、このようにして取得した唇の
上記特徴点の画面上の位置を検出する。各静止画面から
検出された特徴点の位置情報はメモリに一時格納され
る。この位置情報に基づき上述の反復勾配法等の画像分
析手法により、唇の特徴点の動きベクトルを計算する。
発話の内容（モーラ）が異なると、唇の特徴点の移動軌
跡が大きく変化するので、図４に示すように上下、左右
方向の動きベクトルも変化する。そこで、現時点の動き
ベクトルの値と、隣接する過去の時点の動きベクトルの
値の差分値（この場合、移動量についての差）を取得
し、その差分値をしきい値と比較する。発話内容が変化
した場合には、上記差分値は閾値よりも大きくなるの
で、この時点をたとえば、これまで発声された音節の終
わりおよびこれから発声されようとする音節の始まりと
決定することができる。この音節の区切れが検出される
回数を計数することが上述のモーラの個数を計数するこ
とになる。一定時間（たとえば、１秒）毎にモーラの個
数を計数すると計数値は０（ゼロ）にリセットされて、
以後、計数処理は繰り返し行われる。計数されたモーラ
数を上記一定時間の値で除すと単位時間当たりのモーラ
数、すなわち、発話速度が得られる。
【００４３】以上の処理を汎用コンピュータにより実現
するためには構成部２〜６の機能毎の処理ステップを規
定したプログラムを用意しておけばよく、当業者であれ
ば、本明細書に基づき容易にプログラムを作成できるで
あろう。
するためには構成部２〜６の機能毎の処理ステップを規
定したプログラムを用意しておけばよく、当業者であれ
ば、本明細書に基づき容易にプログラムを作成できるで
あろう。
【００４４】このプログラムは発話速度計測システムの
ハード構成に好適な記録媒体に記録しておけばよい。発
話速度計測システムを汎用コンピュータで実現する場合
には、上記プログラムをＣＤＲＯＭやフロッピーディス
クに記録しておき、汎用コンピュータのハードディスク
に実装すればよい。また、発話速度計測システムを、単
体（ＣＰＵ，メモリ）等で構成する場合には、ＲＯＭな
どの不揮発性メモリに記憶するとよい。
ハード構成に好適な記録媒体に記録しておけばよい。発
話速度計測システムを汎用コンピュータで実現する場合
には、上記プログラムをＣＤＲＯＭやフロッピーディス
クに記録しておき、汎用コンピュータのハードディスク
に実装すればよい。また、発話速度計測システムを、単
体（ＣＰＵ，メモリ）等で構成する場合には、ＲＯＭな
どの不揮発性メモリに記憶するとよい。
【００４５】本実施例の他に次の形態を実施することが
できる。
できる。
【００４６】１）上述の実施形態では、映像のみで発話
速度を計測する例であったが、音声に基づいて発話速度
を計測するシステムと切り替え使用してもよい。この切
り替えはキーボードからの手動により行ってもよいし、
音声のＳ／Ｎ比の値に応じて自動切換えすることが考え
られる。
速度を計測する例であったが、音声に基づいて発話速度
を計測するシステムと切り替え使用してもよい。この切
り替えはキーボードからの手動により行ってもよいし、
音声のＳ／Ｎ比の値に応じて自動切換えすることが考え
られる。
【００４７】２）唇の動きを検出すために用意する特徴
点は、上述の実施形態のように形状的に定まる点（端
点、中央の点）の他に、最大輝度を有する点等の特徴点
を使用することができる。
点は、上述の実施形態のように形状的に定まる点（端
点、中央の点）の他に、最大輝度を有する点等の特徴点
を使用することができる。
【００４８】３）上述の形態では、水平方向と垂直方向
のそれぞれに特徴点を用意したが、唇の中央部や水平方
向以外の特徴点を最大輝度により決定する場合には、特
徴点は１つでよい。この場合には、移動方向と移動量の
それぞれについての許容範囲以上の変化の有無を検出す
ることになる。
のそれぞれに特徴点を用意したが、唇の中央部や水平方
向以外の特徴点を最大輝度により決定する場合には、特
徴点は１つでよい。この場合には、移動方向と移動量の
それぞれについての許容範囲以上の変化の有無を検出す
ることになる。
【００４９】４）話者を特定者に限定する場合には特徴
点の移動量を、特徴点の位置の変化として取り扱うこと
ができる。この場合には、ベクトルの変化（差分値）を
閾値と比較する代わりに、特徴点の位置がある特定の位
置から、他の特定の位置に移動したか否かを判定する。
ただし、この場合には、不特定話者の唇の動きを分析で
きないという欠点がある。
点の移動量を、特徴点の位置の変化として取り扱うこと
ができる。この場合には、ベクトルの変化（差分値）を
閾値と比較する代わりに、特徴点の位置がある特定の位
置から、他の特定の位置に移動したか否かを判定する。
ただし、この場合には、不特定話者の唇の動きを分析で
きないという欠点がある。
【００５０】５）上述の実施形態では発話速度計測シス
テムに入力する映像信号はアナログのカラー映像信号を
説明したが、モノクロの映像信号でもよい。この場合に
は、カラー映像信号を輝度信号に変換する前処理は不要
となる。さらに、デジタル映像信号の形態で入力を行っ
てもよく、映像信号の形態に好適な入力インターフェー
スを用意するとよい。
テムに入力する映像信号はアナログのカラー映像信号を
説明したが、モノクロの映像信号でもよい。この場合に
は、カラー映像信号を輝度信号に変換する前処理は不要
となる。さらに、デジタル映像信号の形態で入力を行っ
てもよく、映像信号の形態に好適な入力インターフェー
スを用意するとよい。
【００５１】６）本願出願人は、音声の発話速度を変更
可能なシステムを提案しているが、本実施形態の発話速
度計測システムと組み合わせると、映像から計測した発
話速度がある範囲に到達した場合には、音声信号の発話
速度を自動的に好適な速度に変更することも可能とな
る。
可能なシステムを提案しているが、本実施形態の発話速
度計測システムと組み合わせると、映像から計測した発
話速度がある範囲に到達した場合には、音声信号の発話
速度を自動的に好適な速度に変更することも可能とな
る。
【００５２】
【発明の効果】以上、説明したように、請求項１、５、
９の発明では、唇の映像上の特徴点の移動量、換言する
と、特徴点の位置の軌跡に基づいて、モーラが変化する
時点を検出し、変化するモーラの個数を計数することで
発話速度を計測する。したがって、音声を分析すること
なく、映像信号のみで、発話速度を計測することが可能
であり、音楽会場等雑音が混在する環境下での発話者の
発話速度を精度よく、計測することができる。また、映
像音声メディア、テレビ電話、テレビジョン中継の映像
伝送媒体を介して発話者と離れた遠隔地でも発話速度を
計測することができる。また、発声者が曖昧な発声を行
なっても、上記発明では、モーラの変化を唇の変化で検
出するので、曖昧な音声の影響を受けない。
９の発明では、唇の映像上の特徴点の移動量、換言する
と、特徴点の位置の軌跡に基づいて、モーラが変化する
時点を検出し、変化するモーラの個数を計数することで
発話速度を計測する。したがって、音声を分析すること
なく、映像信号のみで、発話速度を計測することが可能
であり、音楽会場等雑音が混在する環境下での発話者の
発話速度を精度よく、計測することができる。また、映
像音声メディア、テレビ電話、テレビジョン中継の映像
伝送媒体を介して発話者と離れた遠隔地でも発話速度を
計測することができる。また、発声者が曖昧な発声を行
なっても、上記発明では、モーラの変化を唇の変化で検
出するので、曖昧な音声の影響を受けない。
【００５３】請求項２、６，１０の発明では、映像をた
とえば、ＮＴＳＣ等のどのカラーの映像信号の形態で入
力することによりテレビ受像機、テープレコーダ、ビデ
オカメラ等既存のカラー映像発生源により取得した映像
の発話速度を計測することができる。
とえば、ＮＴＳＣ等のどのカラーの映像信号の形態で入
力することによりテレビ受像機、テープレコーダ、ビデ
オカメラ等既存のカラー映像発生源により取得した映像
の発話速度を計測することができる。
【００５４】請求項３、７，１１の発明では、唇の特徴
点を前記唇の水平および垂直方向のそれぞれの方向の１
つの端点とすることにより、唇の形が変形しても、端点
の位置の変化を追跡することで、唇の動きを検出するこ
とができる。また、画像処理上、端点は、画素位置の比
較のみで簡単に検出できるので、計測処理自体の短縮化
に寄与することができる。
点を前記唇の水平および垂直方向のそれぞれの方向の１
つの端点とすることにより、唇の形が変形しても、端点
の位置の変化を追跡することで、唇の動きを検出するこ
とができる。また、画像処理上、端点は、画素位置の比
較のみで簡単に検出できるので、計測処理自体の短縮化
に寄与することができる。
【００５５】特徴点が１つの場合には特徴点の位置が２
次元空間上の座標値で表されるので、移動量の計算が複
雑になる。請求項４、８、１２の発明では特徴点を、水
平方向および垂直方向に対応して２つ用意することによ
り、１次元空間上の（直線上の）位置だけを取り扱えば
よいので、計算量が減少し、計測処理が短縮化される。
次元空間上の座標値で表されるので、移動量の計算が複
雑になる。請求項４、８、１２の発明では特徴点を、水
平方向および垂直方向に対応して２つ用意することによ
り、１次元空間上の（直線上の）位置だけを取り扱えば
よいので、計算量が減少し、計測処理が短縮化される。
【図１】本発明実施形態のシステム構成を示すブロック
図である。
図である。
【図２】唇の上下方向の動きベクトルの定義を説明する
ための説明図である。
ための説明図である。
【図３】唇の左右方向の動きべクテルの定義を説明する
ための説明図である。
ための説明図である。
【図４】本発明実施例の動きベクトルの変化例を示す説
明図である。
明図である。
１ Ａ／Ｄ変換器 ２ 前処理部 ３ 画像抜きだし部 ４ 動き検出部 ５ 発話検出部 ６ モーラ数カウンター １０ 動きベクトル検出部
フロントページの続き (72)発明者 井口 和久 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 野尻 裕司 東京都世田谷区砧一丁目10番11号 日本放 送協会 放送技術研究所内
Claims (12)
- 【請求項１】 発話時の唇の動きを撮影した映像の中
の、前記唇上の特徴点の移動量を時系列的に検出する位
置検出手段と、 該位置検出手段により検出された隣接の２つの時点の移
動量の変化を算出し、当該算出結果が予め定めた範囲を
超える時点をモーラの変化の時点として検出するモーラ
検出手段と、 該モーラの検出手段によりモーラの変化が検出される所
定時間内での回数を計数する計数手段と、 該計数手段により計数された計数結果を発話速度に換算
する演算処理手段とを具えたことを特徴とする発話速度
計測システム。 - 【請求項２】 請求項１に記載の発話速度計測システム
において、前記映像をカラーの映像信号の形態で入力す
る入力手段と、当該入力されたカラーの映像信号を輝度
信号に変換して前記位置検出手段に供給する信号処理手
段とをさらに具えたことを特徴とする発話速度計測シス
テム。 - 【請求項３】 請求項１に記載の発話速度計測システム
において、前記唇の特徴点は前記唇の水平および垂直方
向のそれぞれの方向の１つの端点であることを特徴とす
る発話速度計測システム。 - 【請求項４】 請求項１に記載の発話速度計測システム
において、前記特徴点は、水平方向および垂直方向の移
動量の検出のために当該水平方向および垂直方向に対応
して２つ用意されていることを特徴とする発話速度計測
システム。 - 【請求項５】 発話時の唇の動きを撮影した映像の中
の、前記唇上の特徴点の移動量を時系列的に検出し、 隣接の２つの時点について当該検出された移動量の変化
を算出し、 当該算出結果が予め定めた範囲を超える時点をモーラの
変化の時点として検出し、 該モーラの変化が検出される所定時間内での回数を計数
し、 当該計数された計数結果を発話速度に換算することを特
徴とする発話速度計測方法。 - 【請求項６】 請求項５に記載の発話速度計測方法にお
いて、前記映像をカラーの映像信号の形態で入力し、当
該入力されたカラーの映像信号を輝度信号に変換して前
記特徴点の移動量を検出することを特徴とする発話速度
計測方法。 - 【請求項７】 請求項５に記載の発話速度計測方法にお
いて、前記唇の特徴点は前記唇の水平および垂直方向の
それぞれの方向の１つの端点であることを特徴とする発
話速度計測方法。 - 【請求項８】 請求項５に記載の発話速度計測方法にお
いて、前記特徴点は、水平方向および垂直方向の移動量
の検出のために当該水平方向および垂直方向に対応して
２つ用意されていることを特徴とする発話速度計測方
法。 - 【請求項９】 コンピュータにより実行するプログラム
を記録した記録媒体において、前記プログラムは、 発話時の唇の動きを撮影した映像の中の、前記唇上の特
徴点の移動量を時系列的に検出するステップと、 隣接の２つの時点について当該検出された移動量の変化
を算出するステップと、 当該算出結果が予め定めた範囲を超える時点をモーラの
変化の時点として検出するステップと、 該モーラの変化が検出される所定時間内での回数を計数
するステップと、 当該計数された計数結果を発話速度に換算するステップ
とを具えたことを特徴とする記録媒体。 - 【請求項１０】 請求項９に記載の記録媒体において、
前記映像をカラーの映像信号の形態で入力するステップ
と、当該入力されたカラーの映像信号を輝度信号に変換
して前記特徴点の移動量を検出するステップをさらに具
えたことを特徴とする記録媒体。 - 【請求項１１】 請求項９に記載の記録媒体において、
前記唇の特徴点は前記唇の水平および垂直方向のそれぞ
れの方向の１つの端点であることを特徴とする記録媒
体。 - 【請求項１２】 請求項９に記載の記録媒体において、
前記特徴点は、水平方向および垂直方向の移動量の検出
のために当該水平方向および垂直方向に対応して２つ用
意されていることを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16379698A JP4017748B2 (ja) | 1998-06-11 | 1998-06-11 | 発話速度計測システム、方法および記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16379698A JP4017748B2 (ja) | 1998-06-11 | 1998-06-11 | 発話速度計測システム、方法および記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11353468A true JPH11353468A (ja) | 1999-12-24 |
| JP4017748B2 JP4017748B2 (ja) | 2007-12-05 |
Family
ID=15780876
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16379698A Expired - Fee Related JP4017748B2 (ja) | 1998-06-11 | 1998-06-11 | 発話速度計測システム、方法および記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4017748B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002165153A (ja) * | 2000-11-27 | 2002-06-07 | Asaka Co Ltd | 映像／音声ずれ補正方法及び装置 |
| WO2004090867A1 (ja) * | 2003-04-09 | 2004-10-21 | Toyota Jidosha Kabushiki Kaisha | 変化情報認識装置および変化情報認識方法 |
| WO2018130273A1 (en) * | 2017-01-11 | 2018-07-19 | Telefonaktiebolaget Lm Ericsson (Publ) | Displaying text to a user of a computing device |
| JP2019060921A (ja) * | 2017-09-25 | 2019-04-18 | 富士ゼロックス株式会社 | 情報処理装置、及びプログラム |
-
1998
- 1998-06-11 JP JP16379698A patent/JP4017748B2/ja not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002165153A (ja) * | 2000-11-27 | 2002-06-07 | Asaka Co Ltd | 映像／音声ずれ補正方法及び装置 |
| WO2004090867A1 (ja) * | 2003-04-09 | 2004-10-21 | Toyota Jidosha Kabushiki Kaisha | 変化情報認識装置および変化情報認識方法 |
| US7302086B2 (en) | 2003-04-09 | 2007-11-27 | Toyota Jidosha Kabushiki Kaisha | Change information recognition apparatus and change information recognition method |
| US7508959B2 (en) | 2003-04-09 | 2009-03-24 | Toyota Jidosha Kabushiki Kaisha | Change information recognition apparatus and change information recognition method |
| WO2018130273A1 (en) * | 2017-01-11 | 2018-07-19 | Telefonaktiebolaget Lm Ericsson (Publ) | Displaying text to a user of a computing device |
| JP2019060921A (ja) * | 2017-09-25 | 2019-04-18 | 富士ゼロックス株式会社 | 情報処理装置、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4017748B2 (ja) | 2007-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4286860B2 (ja) | 動作内容判定装置 | |
| JP6464449B2 (ja) | 音源分離装置、及び音源分離方法 | |
| CA1263187A (en) | Image encoding and synthesis | |
| US7480446B2 (en) | Variable rate video playback with synchronized audio | |
| KR100820141B1 (ko) | 음성 구간 검출 장치 및 방법 그리고 음성 인식 시스템 | |
| US20110050939A1 (en) | Image processing apparatus, image processing method, program, and electronic device | |
| US6633844B1 (en) | Late integration in audio-visual continuous speech recognition | |
| US5625704A (en) | Speaker recognition using spatiotemporal cues | |
| EP1555635A1 (en) | Image processing apparatus, method and program | |
| Kumar et al. | Profile view lip reading | |
| JP2012003326A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| EP1081960A1 (en) | Signal processing method and video/voice processing device | |
| JP4715738B2 (ja) | 発話検出装置及び発話検出方法 | |
| JP2007156493A (ja) | 音声区間検出装置及び方法並びに音声認識システム | |
| CN109348277B (zh) | 运动像素视频特效添加方法、装置、终端设备及存储介质 | |
| CN113077470B (zh) | 一种横竖屏转换画面的裁剪方法、系统、装置及介质 | |
| Iwano et al. | Bimodal speech recognition using lip movement measured by optical-flow analysis | |
| Yoshinaga et al. | Audio-visual speech recognition using lip movement extracted from side-face images | |
| JP4281338B2 (ja) | 画像検出装置及び画像検出方法 | |
| US20040022448A1 (en) | Image processor | |
| JP2003348528A (ja) | 代表画像選択方法，代表画像選択装置，代表画像選択プログラムおよび代表画像選択プログラムの記録媒体 | |
| KR20170129676A (ko) | 영상 정보를 기반으로 음성 구간을 검출하는 방법 및 장치 | |
| JPH11353468A (ja) | 発話速度計測システム、方法および記録媒体 | |
| CN113939871A (zh) | 讲话区间检测装置、讲话区间检测方法及讲话区间检测程序 | |
| JP3377463B2 (ja) | 映像／音声ずれ補正システム、方法および記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040408 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070406 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070615 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070814 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070814 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070907 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070919 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110928 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120928 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120928 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130928 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140928 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |