JPS601675B2 - 発声の解析方式 - Google Patents

Description

【発明の詳細な説明】 本発明は、口唇の動きを時間的かつ二次元的に解析して
、発声内容を認識しうるようにした発声の解析方式に関
する。

従来より、発声波形を周波数分析等の手法により解析し
、発声波形の特徴を抽出して、その発声内容を検出する
方式は種々提案されている。

しかしながら、従来のこの種解析方式では、同じ音を発
声したとしても、人により発声波形が微妙に相異するた
め、個性を除去して本質的な特徴のみを有効に検出する
ためには、種々のデータ処理が必要で大型コンピュータ
を用いた解析システム等を用いなければならないといっ
た問題があり、信頼性も劣るものであった。本発明は、
かかる従来の発声解析方式とは全く異なった新規な解析
方式を採用し、簡易な構成でありながら、信頼度の高い
発声解析方式を提供することを基本的な目的としている
。

この目的のために、本発明が採用する原理的方法は、発
声時における口唇形状の経時的な変化の観察に塞いてい
る。

一般に、発声時には、上あごは動かず、下あごだけが動
き、口唇はこれに応じて上、下唇が、上下，左右に、特
定のパターンで動き、これによって特定の音を発声する
ことができるのである。

即ち、第１図イ，口に示すように、口唇の両端点１，ｍ
間の長さ即ち口唇の幅をＷ、両端点１，ｍを結ぶ線分則
ち口唇の中心線Ｌに対する上唇及び下唇の高さを夫々ｈ
，，ｈ２，またこれら高さｈ，，ｈ２の和を日（Ｈ＝ｈ
，十ｈ２）とすると、これら諸量Ｗ，ｈ，，ｈ２，Ｈ‘
ま、発声音の種類に応じて、時間的に変化し、時間ｔの
関数となる。いま、第２図，第３図及び第４図にハ （ＨＡ），バ（ＢＡ）及びパ（ＰＡ）について、上記諸
量を発声波形とともに示す。

これらの比較から明らかなように、口唇形状の変化が最
も緩やかなのは、″ＨＡ″の発声時であり、変化が最も
急激なのは、″ＰＡ″の発声時であり、両者の中間力ｒ
ＢＡ″である。

これをより具体的に観察すると、″ＨＡ″の発声時には
、発声の開始前に既に口唇が一定量開かれており、しか
も子音部″Ｈ″の部分が長いために、形状変化が緩慢と
なることが理解される。

これに対し、″ＢＡ″及び″ＰＡ″の発声では、発声開
始以前において口唇は閉じられており、かつ、子音部″
Ｂ″，″Ｐ″の時間が短いため、発声初期における形状
変化が急激となるのである。以下、発声初期における形
状変化を起始部というとすると、″ＢＡ″と″ＰＡ′′
の発声については、口唇の高さの起女台部の時間幅↑に
おいて″ＢＡ″の方が″ＰＡ″に比して大きく（↑（Ｂ
Ａ）＞ヶ（ＰＡ））、一方口唇の幅〇において″ＰＡ＾
′の方力ジＢＡ″に比して大きい（〇（ＰＡ）＞。（Ｂ
Ａ））。したがって、″ＢＡ″と″ＰＡ′とはこれら起
始部諸畠丁，０を比較することによって識別することが
できる。以上の例示から明らかなように、発声時におけ
る口唇の形状変化の経時的変化のパターンの特徴を抽出
することによって、発声内容を解析することができるの
である。

以下、本発明の一実施例に係る発声解析装置について具
体的に説明する。第５図に示すように、口唇の形状変化
は、口唇の正面でこれを大写しうるように対峠し、かつ
第６図に示す如く、走査線が口唇の幅方向にほぼ直交す
るように設置したテレビカメラ１によって撮影する。

このテレビカメラ１のビデオ信号は、解析器２に入力さ
れ、解析器２によってビデオ信号から取り出された上記
諸量Ｗｔ，ｈ，ｔ，ｈ２ｔ，Ｈｔは、ベンレコーダ３に
よって経時的に記録される。なお、口唇は、口紅もしく
はこれに類するものを塗っておいて、明確な映像信号を
得るようにするのことが好ましい。第７図は、上記解析
器２の回路構成のブロック図を示すものであり、基本的
には、信号分離部Ａ、コントロール信号発生部Ｂ及び計
側部Ｃの計３個のブロックによって構成される。

信号分離部Ａは、信号分離部Ａに入力されるテレビカメ
ラーのビデオ信号ａ中に含まれる映像信号ｂ、水平同期
信号ｃおよび垂直同期信号ｄを分離し、映像信号ｂ，水
平同期信号ｃ，サンプルパルスＳＨ及びリセットパルス
ＲＳを出力する。

コント。ール信号発生部Ｂは、水平同期信号ｃが入力さ
れ、これに応じて水平ランプ信号ＨＬを発生する水平ラ
ンプ信号発生回路Ｂ−１、リセットパルスＲＳが入力さ
れ、これに応じて垂直ランプ信号ＶＬ′を発生する垂直
ランプ信号発生回路Ｂ−２、これら水平，垂直ランプ信
号ＨＬ，ＶＬ′を入力信号とし、画面の上下，左右の検
出範囲を設定するりミッタ回路Ｂ−３及び該リミッ夕回
路Ｂ−３によって設定された検出範囲内においてのみ入
力されてくる映像信号ｂ′を出力するとともに、後述す
るゲートコントロールパルスＶｓ及びＣＰを出力する映
像ゲート回路Ｂ−４により構成されている。また、計測
部Ｃは、口唇の高さＨｔ（ｈ，ｔ，ｈ２ｔ）を計測する
ためのアナログゲートＣ−１、ピーク値記憶回路Ｃ−２
及びアナログメモリＣ−３とからなるシリーズＣ‐１と
、口唇の幅Ｗｔを計測するための、アナログゲートＣ−
４、ピーク値記憶回路Ｃ−５及びアナログメモリＣ−６
とからなるシリーズＣ−０とにより構成されている。

以下、より具体的に上記各部の構成を説明する。

｛１’信号分離部Ａ この信号分離部Ａは、第８図に示すように、テレビカメ
ラ１からのビデオ信号ａが入力される１つの入力端子ｌ
ｐａと、ビデオ信号ａ中の映像信号ｂのみを出力する出
力端子○ｐ−ｂ、ビデオ信号ａ中の水平同期信号ｃのみ
を出力する出力端子○ｐ−ｃ、ビデオ信号ａ中の垂直同
期信号ｄの立上りによって発生されるサンプルパルスＳ
Ｈを出力する出力端子○ｐ−ＳＨ、垂直同期信号ｄの立
下りによって発生されるリセツトパルスＲＳを出力する
出力端子０ｐ−−ＲＳからなる計４個の出力端子とを有
する。

入力端子ｌｐａに、その反転入力端子が接続された演算
増幅器Ｑ，は、基準電源Ｖｃｃに接続された可変抵抗Ｖ
ＲＩによって非反転入力端子に設定された正のしきし、
値電圧Ｖｂ以上の信号波が反転入力端子に入力されたと
きに反転するようにセットされ、その反転出力は、これ
と直列に接続されたィンバータＩＶＩによって反転され
た後、出力端子○ｐ−ｂに印加される。

この出力信号ｂは、したがって、正のしきい値Ｖｂ以下
の信号がカットされ、かつィンバータＩＶＩによって波
形整形された映像信号である。また、上記演算増幅器Ｑ
，と並列された演算増幅器Ｑ２は、ビデオ信号ａ中に含
まれた水平（及び垂直）信号を取り出すためのもので、
反転入力端子は入力端子ｌｐａに接続される−方、非反
転入力端子には、負の電源−Ｖｃｃに接続された可変抵
抗ＶＲ２によって設定される負のしきし、値電圧Ｖｃが
印加され、この賞のしきし、値電圧Ｖｃ以下の信号則ち
、水平（及び垂直）同期信号ｃが反転入力端子に入力さ
れたときに、反転して、その反転出力を出力端子０ｐ−
ｃに印加する。この演算増幅器Ｑ２の出力端子側に抵抗
とコンデンサよりなり、水平同期信号と垂直同期信号の
時間幅を検出する時定数回路ＩＣＩを介して、その非反
転入力端子が接続された演算増幅器Ｑ３は、水平同期信
号と垂直同期信号とを識別するためのものであって、そ
の反転入力端子には、電源Ｖｃｃに対して直列した二つ
の抵抗により与えられる分圧によって設定された正のし
きし、値電圧Ｖｄが入力されている。この演算増幅器Ｑ
３の出力端子側には、コンデンサと抵抗よりなる微分回
路ＤＣ１，ＤＣ２が並列され、正の電源Ｖｃｃに抵抗の
一端が接続された微分回路ＤＣＩは、インバータＩＶ２
を介して、リセツトパルスＲＳの出力端子○ｐ−ＲＳに
接続され、一端が接地された微分回路ＤＣ２は、バッフ
ァアンプＢＡＩを介して、サンプルパルスＳＨの出力端
子○ｐ一ＳＨに接続されている。したがって、上記演算
増幅器Ｑ３は、前段の演算増幅器Ｑ２が、水平同期信号
ｃと垂直同期信号ｄとが相隣接した反転出力を出力した
ときに、水平同期信号ｃの時間幅の経過した後、正の出
力パルスｄを出力し、垂直同期信号ｄを分離する。

微分回路ＤＣ２は、反転した垂直同期信号ｄの立上りを
とらえ、バッファアンプＢＡＩを介して、出力端子○ｐ
−ＳＨにサンプルパルスＳＨを出力する。

また、いま一つの微分回路ＤＣＩは、反転した垂直同期
信号ｄの立下りをとらえ、ィンバータＩＶ２を介して、
正のりセットパルスＲＳを出力する。上記サンプルパル
スＳＨは、これによって後述のアナログメモリに計測信
号を記憶し、またリセットパルスＲＳは、計測回路Ｃを
リセットするためのものである。

（０） コントロール信号発生部Ｂ 第９図に示す如く、コントロール信号発生部Ｂは、信号
分離部Ａの出力端子○ｐ−ｂに接続され、分離された映
像信号ｂが入力される入力端子ｌｐｂと信号分離部Ａの
出力端子０ｐ−ｃに接続され、水平同期信号ｃが入力さ
れる入力端子】ｐｃと、信号分離部Ａの出力端子０ｐ−
ＲＳに接続され、リセットパルスＲＳが入力される入力
端子ｌｐＲＳの計３つの入力端子を有する。

入力端子ｌｐｃに入力される水平同期信号ｃによって作
動する水平ランプ信号発生回路Ｂ−１は、水平同期信号
ｃによってオンするトランジスタＴｒ，と定電流源ＣＩ
−１に接続されたコンデンサＣ，とからなり、水平同期
信号ｃが入力される毎にトランジスタＴｒ，の導通によ
って、コンデンサＣ，を放電させ、放電後のコンデンサ
Ｃ，の充電によって、三角波状の水平ランプ信号ＨＬを
発生する。また、入力端子ｌｐＲＳに入力されるリセツ
トパルスＲＳによって作動する垂直ランプ信号発生回路
Ｂ−２は、水平ランプ信号発生回路Ｂ−１と同様、リセ
ットパルスＲＳによって導適するトランジスタＴｒ２と
、定電流源ＣＩ−２に接続されたコンデンサＣ２とから
なり、垂直同期信号ｄに同期したりセットパルスＲＳの
周期毎に、額斜の緩やかな三角波状の垂直ランプ信号Ｖ
Ｌ′を発生する。リミツタ回路Ｂ−３は、各ランプ信号
ＨＬ，ＶＬ′が入力され、そのレベル弁別を行うための
計４段の演算増幅器Ｑ４，Ｑ５，Ｑ６，Ｑ７よりなり、
水平ランプ信号ＨＬが、反転入力端子に入力される演算
増幅器Ｑと、非反転入力端子に入力される演算増幅器Ｑ
５の出力端子は、アンドゲートＡＮＤＩの各入力端子に
夫々接続され、また、垂直ランプ信号ＶＬ′が反転入力
端子に入力される演算増幅器Ｑと、非反転入力端子に入
力される演算増幅器Ｑ７の出力端子は、いま一つのアン
ドゲートＡＮＤ２の各入力端子に夫々接続されている。

両アソドゲートＡＮＤ１，ＡＮＤ２の各出力は、アンド
ゲートＡＮＤ３の各入力とされ、アンドゲートＡＮＤ３
の出力は、映像ゲート回路Ｂ一４に属し、映像信号ｂを
一方入力とするアンドゲートＡＮＤ４の他方入力とされ
る。

なお、水平ランプ信号ＨＬを非反転入力とする演算増幅
器Ｑ８は、バッファアンプとして使用される。このリミ
ッタ回路Ｂ−３は、第６図に示すように、全画面中、口
唇の検出に必要な範囲を残して周囲の不要部分を除去し
、検出範囲ＤＡ内にある映像信号ｂ′のみを取り出すた
めのものである。

映像ゲート回路Ｂ一４は、アンドゲート ＡＮＤ４と、上記アンドゲ−トＡＮＤ４のゲート出力信
号（映像信号ｂ′）をＴ入力とする計３個のＤ一Ｔフリ
ツプフロツプＦ／Ｆ１，２，３によって構成され、上記
映像信号ｂ′の出力端子○ｐ−ｂ′，映像信号ｂ′のパ
ルス数に応じたパルス中を有するゲートコントロールパ
ルスＶｓの出力端子○ｐ−Ｖｓ及び上唇，下唇の高さｈ
，ｔ，ｈ２ｔを計測するためのゲートコントロールパル
スＣｐの出力端子○ｐ−Ｃｐを有する。

上記３個のフリツプフロツプＦ／Ｆ１，２，３のうち、
第１段目のＤ−ＴフリップフロップＦ／ＦＩは、映像信
号ｂ′を一方入力とし、かつ、Ｑ端子からのフィードバ
ックを他方入力とするアンドゲートＡＮＤ５の出力側に
Ｔ入力端子が接続されており、リセットパルスＲＳによ
ってリセットされる。

出力端子○ｐ−Ｃｐへの出力は、フリツプフロツプＦ／
ＦＩのＱ出力から取り出されるようになっており、リセ
ット後の最初の映像信号ｂ′によって立下るゲートコン
トロールパルスＣｐを出力する。映像ゲート回路Ｂ−４
の第２段のフリップフロップ回路Ｆ／Ｆ２は、Ｔ入力端
子に映像信号ｂ′が入力され、Ｑ出力端子が出力端子○
ｐ−Ｖｓに接続されたフリップフロップ回路で、このフ
リップフロップ回路Ｆ／Ｆ２のＲ端子には第３段目のフ
リツプフロップ回路Ｆ／Ｆ３のＱ出力端子を一方入力と
し、入力端子ｌｐｃからの水平同期信号ｃを他方入力と
するアンドゲートＡＮＤ６の出力が印加される。

この第３段目のフリップフロッブ回路Ｆ／Ｆ３は、その
Ｒ端子が抵抗とコンデンサよりなり、水平同期信号ｃを
僅かな時間遅延させる遅延回路ＤＣＩを介して入力端子
ｌｐｃに接続されている。上記第２段目のフリップフロ
ップ回路Ｆ／Ｆ２のＱ出力端子は最初の映像信号ｂ′で
立上り、最後の映像信号ｂ′に対応したアンドゲートＡ
ＮＤ６によりリセット信号によってリセツトされるまで
の間、ゲートコントロールパルスＶｓを出力する。

アンドゲートＡＮＤ６の一方入力である第３段目のフリ
ップフロップＦ／Ｆ３のＱ出力端子は、フリップフロッ
ブＦ／Ｆ３が、遅延回路ＤＣＩを介して印加される遅延
された水平同期信号毎にリセットされ、かつ、映像信号
けが、Ｔ入力端子に入力されるごとに反転されるため、
交互に″１″と″０″とを繰返すが、最後の映像信号ｂ
′が出力されたのちは、リセットがかかったままに保持
され、次の水平同期信号ｃと同期して、アンドゲートＡ
ＮＤ６はゲートを開き、そのゲート出力によって、第２
段目のフリツプフロツプ回路Ｆ／Ｆ２をリセットし、Ｑ
端子による出力、即ちゲ−トコントロールパルスＶｓの
出力を停止する。

（ｍ） 計測部Ｃ 計測部Ｃは、上唇，下層の高さｈ，ｔ，ｈ２ｔ及びその
和Ｈｔを計測する計測部Ｃ−１と、口唇の両端点間の幅
Ｗｔを計測する計測部Ｃ−０とからなり、これらは、基
本的に、アナログゲート、ピーク値記憶回路およびアナ
ログメモリが直列された構成を有する。

（ｍ）−１ 口唇の高さの計測部Ｃ−１ 入力端子ｌｐ−ＨＬから入力される水平ランプ信号ＨＬ
を入力信号とし、入力端子ｌｐ−ｂ′から入力される映
像信号ｂ′によりゲートが開かれる対のアナログゲート
ＧＩ，Ｇ２のうち、第１のアナログゲートＧＩの出力側
には順方向に援続したダイオードｄ，を介して、コンデ
ンサＣ３より構成される正ピークホールド回路ＰＨＩが
、該正ピークホールド回路ＰＨＩのリセット回路を構成
するトランジスタＴｒ３と並設されている。

また、第２のアナログゲートＧ２の出力側には、逆方向
に接続したダイオードｄ２を介して、コンデンサＣ４よ
り構成される負ピ−クホールド回路ＰＨ２がその放電用
（リセット用）トランジスタＴｒ４とともに、正の電源
Ｖｃｃに対して設けられている。上記正のピークホール
ド回路ＰＨＩは、映像信号ｂ′によって開かれたアナロ
グゲートＧＩからの水平ランプ信号ＨＬによって充電さ
れ、アナログゲートＧＩが閉じられた時点における水平
ランプ信号ＨＬの電圧値をホールドする。

このピークホールド‘ま、最大幅の映像信号ｂ′が印加
されたときに最大幅での正のピーク電圧をホールドする
。また、負のピークホールド回路ＰＨ２は、正のピーク
ホールド回路ＰＨＩとは、正負を逆にした作動を示し、
最大幅の映像信号ｂ′に対応した最小値をホールドする
。

正負のピークホールド回路ＰＨ１，ＰＨ２は、入力端子
ｌｐ−ＲＳからのＩＪセットパルスＲＳによって、最大
値、最小値をホールドしていたコンデンサＣ３，Ｃ４を
放電させ、リセットする。これら、最大値，最小値とし
てホールドされたピーク値は、夫々上唇の高さｈ，ｔ、
下唇の高さｈ２ｔに対応する。

また、第３段目のアナログゲートＧ３は、入力端子ｌｐ
−ＣｐからのゲートコントロールパルスＣｐによって開
かれるゲートであり、このゲートコントロールパルスＣ
ｐが、最初の映像信号ｂ′の立上りで立上り、立下りで
立下ることから、最初の映像信号ｂ′換言すれば、口唇
の端点に対応する映像信号ｂ′に対応して開かれ、その
時点における水平ランプ信号ＨＬの値を、コンデンサＣ
６よりなるホールド回路ＰＨ３にホールドする。

このホールド回路ＰＨ３は、口唇の両端点１，ｍを結ぶ
線分の高さの基準値として設定するためのもので、いわ
ば上唇，下唇の高さｈ，ｔ，ｈ２ｔを計測するうえでの
零点を与える。上記各ホールド回路ＰＨ１，２，３に対
しては、夫々加減算器Ｑ９，Ｑ，ｏ，Ｑ，．が設けられ
ている。

加減算器Ｑ９は、正のピークホールド回路ＰＨＩにホー
ルドされた最大値を非反転入力とし、負のピークホール
ド回路ＰＨ２にホールドされた最小値を反転入力とし、
基本的には、上唇と下唇の高さの和に対応する両者の差
電圧を出力する。また、加減算器Ｑ，ｏ，Ｑ，．は上記
ホールド回路ＰＨ３にホールドされた基準値Ｖｏを、バ
ッファアンプＢＡ２を介し、さらに分割抵抗を介して反
転入力側に入力されるようになった加減算器で、加減算
器Ｑ，ｏの非反転入力端子には、正ピークホールド回路
ＰＨＩにホールドされた最大値が入力され、その差電圧
に応じて、上層の高さｈ，ｔを出力する。

一方、加減算器Ｑ，．の反転入力には、負ピークホール
ド回路ＰＨ２にホールドされた最小値が入力され、その
差電圧に応じて、下唇の高さｈ２ｔを出力する。

これら、各加減算器Ｑ９，Ｑ，ｏ，Ｑ，．の出力は、次
の垂直同期信号に対応して発生されるサンプルパルスＳ
別こよって開かれるアナログゲートＧ５，Ｇ６，Ｇ７に
夫々入力され、各アナログゲートＧ５，Ｇ６，Ｇ７は、
出力側に設けた各コンデンサＣ７，Ｃ８，Ｃ９によって
構成されるホールド回路ＰＨ７，ＰＨ８，ＰＨ９に、そ
れぞれの出力値を印加してこれをホールドさせると同時
に、次段の各バッファアンプＱ，３，Ｑ，４，Ｑ，５の
非反転入力にこれを印加し、各出力端子○ｐ−ｈ．，○
ｐ−ｈ２，０ｐ−日からは、上唇の高さｈ，ｔ，下唇の
高さｈ２ｔ及び両方の高さの和Ｈｔを夫々出力する。

（ｍ）‐２ 口唇の幅方向の計測部Ｃ−ロ口唇の幅方向
の計測部Ｃ−山ま、定電流電源ＣＩ−３による定電流を
入力とし、入力端子ｌｐ−Ｖｓから印放されるゲートコ
ントロールパルスＶｓによって開かれるアナログゲート
Ｇ４と、コンデンサＣ６により構成されるピークホール
ド回路ＰＨ４と、そのリセットのためのトランジスタＴ
ｔ５と、ピークホールド回路ＰＨ４のピークホールド値
を非反転入力とするバッファアンプＱ，２と、該バッフ
ァアンプＱ，２の出力を入力とし、サンプルパルスＳＨ
によって開かれるアナログゲートＧ８と、アナログゲー
トＧ８の出力をホールドするコンデンサＣＩＯよりなる
ホールド回路ＰＨＩＯと、ホールド回路ＰＨＩＯ‘こホ
ールドされたピーク値を非反転入力とするバッファアン
プＱ，６とからなり、バツフアアンプＱ，６の出力を出
力端子○ｐ−Ｗから出力する。

上記ゲートコントロールパルスＶｓは、１回の走査にお
いて、最初の映像信号ｂ′が出力されてから、最後の映
像信号けが出力されるまでの間、換言すれば、口唇の幅
方向の一端から池端に至るまでの時間、持続されるパレ
スであり、そのパレス幅に応じて、ホールド回路ＰＨ４
を構成するコンデンサＣ６は、定電流電源ＩＣ−３から
の定電流によって充電され、パルス幅に応じた、即ち口
唇の幅Ｗｔに応じたピーク値をホールドする。

このピーク値は、バッファアンプＱ，２の出力をサンプ
ルパルスＳＨによって、アナログゲートＧ８が開かれた
ときに、ホールド回路ＰＨ，ｏにピーク値をホールドさ
せ、バッファアンプＱ，６を介して出力端子○ｐ−Ｗか
ら、口唇の幅Ｗｔを出力する。（ｍ）‐３ 口唇の幅方
向の計測に関する変形例第１１図に示す回路は、口唇の
幅方向の計測について、垂直ランプ信号ＶＬ′を利用す
るようにしたものである。

即ち、第９図に仮想線で示すように、垂直ランプ信号Ｖ
Ｌ′をバッファアンプＱ２ｏを介して、出力端子○ｐ−
ＶＬ′から取り出し、この垂直ランプ信号ＶＬ′によっ
て、口唇の高さの計測について用いた方式と同様の方式
で、口唇の幅方向の検出を行うようにしたものである。

このため、第１１図に示すように、ゲートコントロール
パルスＶｓによってゲートが開かれる２つのアナログゲ
ート○凶， Ｇ２，に、垂直ランプ信号ＶＬ′を入力す
るようにし、一方のアナログゲ−トＧ２川こ対して、正
のピークホールド回路ＰＨ２０およびそのリセットのた
めのトランジスタＴｒ２０を設けるとともに、他方のア
ナログゲートＧ２１に対して負のピークホールド回路Ｐ
Ｈ２１およびそのリセットのためのトランジスタＴｒ２
１を設け正のピークホールド回路ＰＨ２０の出力を演算
増幅器Ｑ３。

の非反転入力とし、負のピークホールド回路ＰＨ２１の
出力を反転入力とし、これら両入力の差を演算増幅器Ｑ
ｏの出力として取り出すようにしている。この場合、ゲ
ートコントロールパルスＶｓは、前述した如く、最初の
映像信号ｂ′によって立上り、最後の映像信号ｂ′によ
って立下るパルスであり、このパルスＶｓによってアナ
ログゲートＧ２０，Ｇ２１が開かれると、正負のピーク
ホールド回路ＰＨ２０，ＰＨ２１は、まずゲートが開か
れたときの垂直ランプ信号ＶＬ′の値Ｖｍ−をホールド
する。

正のピークホールド回路ＰＨ２０は、以後、垂直ランプ
信号ＶＬ′の上昇に応じてホールド値が上昇し、ゲート
コントロールパルスＶｓの立下り時における垂直ランプ
信号ＶＬ′の値Ｖｍａｘを最終的に正のピーク値として
ホールドす。一方、負のピークホールド回路ＰＨ２１は
垂直ランプ信号ＶＬ′が増加するのみであるので、最初
にホールドしたときの値Ｖｍｉｎをそのま）ホールドす
る。したがって、演算増幅器Ｑ３ｏは、正のピ−クホー
ルド回路ＰＨ２０のピーク値Ｖｍａｘと負のピークホー
ルド回路ＰＨ２１のピーク値Ｖｍｉｎとの差、換言すれ
ば、最初の映像信号ｂ′から最後の映像信号ｂ′までの
時間に比例した値、即ち口唇の幅の値Ｗｔを出力するこ
とができる。

次に、上記解析器の作用について説明す る。

いまテレビカメラ１によって口唇を撮影すると、垂直同
期信号毎に、水平同期信号に同期した水平走査が、第６
図に図式的にしめすように、図の右側から左側に一定の
ピッチ間隔でおこなわれ、これに応じて、解析器２の信
号分離部Ａに入力される。

このビデオ信号ａは、第１２図イに示すように、負の矩
形波よりなる同期信号と、第６図に図式的に示す口唇形
状に対応して、口唇の端点１から「走査線が口唇縁によ
って切取られた線分ａ，ｂ，，ａ２Ｑ，・・・・・・，
ａｓ広およびいま一方の口唇の端点ｍに夫々対応する正
のピークを有する映像信号ｂとからなっている。

このビデオ信号ａが入力される信号分離部Ａは、第１段
の演算増幅器Ｑ，によって、正のしきし、値Ｖｂ以上に
ある映像信号ｂのピークをピークの幅に比例したパルス
幅を有する負のパルスとして出力し、ィンバータＩＶＩ
によって正のパルスに変換したのち、出力端子○ｐ−ｂ
からは、第１２図口に示す正の映像信号ｂ′として出力
する。

一方、ビデオ信号ａ中の同期信号は、第２段の演算増幅
器Ｑ２によって、設定した負のしきし、値Ｖｃ以下のパ
ルスが、反転された状態で出力され、第１２図ハに示す
ように、正のパルスとして水平同期信号ｃが、出力端子
○ｐ−ｃから出力される。

この場合、最初の水平同期信号ｃには、垂直同期信号ｄ
が重なっており、時定数回路ＩＣＩを介して、水平同期
信号ｃが非反転入力端子に入力される第３段の演算増幅
器Ｑは、非反転入力が反転入力端子に対して設定された
しきし、値Ｖｄを越えたときに、正のパルスを出力する
。

上記時定数回路に１は、単独の水平同期信号ｃのパルス
幅に見合って設定されており、この時間幅の経過と同時
に非反転入力が、しきし、値Ｖｄを越える。

したがって、第３段目の演算増幅器Ｑ３の出力は、第１
２図二に示すように、垂直同期信号ｄそのものとなって
いる。この第３段目の演算増幅器Ｑ３の出力側に設けた
二つの微分回路ＤＣ１，ＤＣ２のうち、図の下側の微分
回路ＤＣ２は、垂直同期信号ｄの立上りで、バッファア
ンプＢＡＩを介して、出力端子○ｐ−ＳＨから、第１２
図木に示すように、サンプルパルスＳＨを出力する。

また、いま一つの微分回路ＤＣＩは、垂直同期信号ｄの
立下りで、ィンバータＩＶ２を介して、出力端子○ｐ−
ＲＳから、第１２図へに示すように、正のりセットパル
スＲＳを出力する。上記映像パルス信号ｂ、水平同期信
号ｃおよびリセット信号ＲＳは、コントロール信号発生
部Ｂの各入力端子ｌｐｂ，ｌｐｃ，ｌｐＲＳに、各々入
力される。

水平同期信号ｃが入力されると、コントロール信号発生
部Ｂの水平ランプ発生回路Ｂ−１のトランジスタＴｒ，
が導通し、充電されたコンデンサＣＩを一旦放電する。

次いで、トランジスタＴｒ，がオフしたのちのコンデン
サＣＩへの定電流電源ＣＩ−１による充電で、水平ラン
プ信号ＨＬを発生し、バッファアンプＱ８を介して、出
力端子○ｐ−ＨＬから、第１２図卜に示すように、水平
同期信号ｃを周期とする三角波状の水平ランプ信号ＨＬ
を出力する。また、同様の作用で、垂直ランプ信号発生
回路Ｂ一２は、リセット信号ＲＳが入力されたときに、
第１２図チに示す如く、これに応じて緩やかに上昇する
垂直ランプ信号ＶＬ′を発生する。

この垂直ランプ信号ＶＬ′は、垂直同期信号ｄの立下り
で発生されるリセツト信号ＲＳを周期として繰返される
。上記水平ランプ信号ＨＬおよび垂直ランプ信号ＶＬ′
は、計４段の演算増幅器Ｑ４，・・・・・・Ｑ７および
論理回路ＡＮＤ１，２，３で構成するりミツタ回路Ｂ−
３に入力される。

即ち、水平ランプ信号ＨＬを反転入力とする演算増幅器
Ｑは、その非反転入力端子に設定された上限しきい値よ
り低い水平ランプ信号ＨＬが入力されている間出力を続
ける一方、水平ランプ信号ＨＬを非反転入力とする演算
増幅器Ｑ５は、反転入力端子に設定された下限しきい値
より高い水平ランプ信号ＨＬが入力されると出力を生じ
、アンド回路ＡＮＤＩは、両者の論理和をとって、両方
の出力がある場合にだけゲートを開く。

上記の作用によって、第６図に示す画面中、上側および
下側の不要ゾーンＵＺ，ＤＺの範囲にある映像信号をカ
ットすることができる。また、′垂直ランプ信号ＶＬ′
が入力される一対の演算増幅器Ｑ６，Ｑ７は、上記と同
様の作用で、第６図の左右の不要ゾーンＲＺ，ＬＺ‘こ
ある映像信号をカットし、アンド回路ＡＮＤ２は、両方
の演算増幅器Ｑ６，Ｑ７の出力の論理和をとり、不要ゾ
ーンＲＺ，山の間の領域にあるときにのみゲートを開く
。

上記両方のアンド回路ＡＮＤ１，ＡＮＤ２の出力を入力
とするアンド回路ＡＮＤ３は、両アンド回路ＡＮＤＩと
ＡＮＤ２から同時に出力されたときに、ゲートを開き、
映像ゲート回路Ｂ−４‘こ属するアンド回路ＡＮＤ４の
他方入力に、ゲート信号を印加する。

このアンド回路ＡＮＤ４の一方の入力端子には、映像パ
ルス信号ｂが入力され、その映像パルスｂが第６図中の
検出範囲ＤＡ内にあるときに、アンド回路ＡＮＤ４は、
ゲートを開き、不要なノイズを取除いた状態で、映像パ
ルスｂ′を、出力端子０ｐ−ｂ′から出力する。

上記映像ゲート回路Ｂ−４の第１段目のフリツプフロッ
ブ回路Ｆ／ＦＩのＱ出力は、映像パルス信号けが出力さ
れていない段階では、″１″であり、このＱ出力を他方
入力とするアンド回路ＡＮＤ５は、最初の映像パルス信
号ｂ′が入力されるとゲートを開いて、フリップフロッ
プＦ／ＦＩのＴ端子に、その最初の映像パルス信号ｂ′
を印加する。

このとき、フリップフロツプＦ／ＦＩは反転し、そのＱ
出力は、″０″となる。この″０″出力は、このフリツ
プフロップＦ／ＦＩが、リセツト信号ＲＳによってリセ
ットされるまで維持され、第１２図川こ示すように、最
初の映像パルス信号ｂ′によって立下るゲートコントロ
ールパルスＣｐを出力端子○ｐ−Ｃｐに発生する。

また、第２段目のフリップフロップＦ／ＦＩは、最初の
映像パルス信号けがＴ端子に入力されたときに、反転し
、Ｑ出力からは″１″が出力される。

この状態は、Ｒ端子に対して設けたアンド回路ＡＮＤ６
からの映像信号がなくなるまで継続される。このアンド
回路ＡＮＤ６の他方入力としては、水平同期信号ｃが入
力され、一方の入力端子には第３段目のフリップフロッ
プＦ／Ｆ３のＱ出力が入力される。

この第３段目のフリップフロッブＦ／Ｆ３のＲ端子には
、遅延回路ＤＣＩを介して水平同期信号ｃが印加される
が、そのリセットのタイミングは、水平同期信号ｃとラ
ップしないように僅かに遅延させられているため、リセ
ットによるＱ出力と水平同期信号ｃとが同期することは
ない。リセットされたフリツプフロツプＦ／Ｆ３は、次
の映像パルス信号ｂ′によってすぐに反転され、以後、
遅延回路ＤＣＩを介したりセット信号によるリセットと
、映像パルスｂ′‘こよる反転とが繰返され、その間、
Ｑ出力が、水平同期信号ｃと同期することはない。

ところが、最後の映像パルス信号ｂ′によってフリツプ
フロップＦ／Ｆ３が反転され、その後、リセット信号に
よってリセットされると、次の映像パルス信号がないた
めに、Ｑ出力は、″１″の状態即ちリセットされたま）
の状態となり、次の水平同期信号ｃがアンド回路ＡＮＤ
６に印加されると、これに同期して、ァンド回路ＡＮＤ
６はゲートを開き、第２段目のフリツプフロツプＦ／Ｆ
２をリセットする。

第２段目のフリップフロップＦ／Ｆ２は、このリセット
により、Ｑ出力が″０″となり、その結果そのゲートコ
ントロールパルスＶｓの出力を停止する。

即ち、このゲートコントロールパルスＶｓは、第１２図
ヌに示すように、最初の映像パルス信号ｂ′によって立
上り、最後の映像パルス信号ｂ′の次の水平同期信号ｃ
によって立下るパルスであり、換言すれば、映像パルス
信号ｂ′が存在する間、このゲートコントロールパルス
Ｖｓを出力端子○ｐ一Ｖｓに発生する。上記映像ゲート
回路Ｂ−４によって形成される映像パルス信号ｂ′、ゲ
ートコントロールパルスＣｐ，Ｖｓは、信号分離部Ａに
よって生成されるリセット信号ＲＳおよびサンプルパル
スＳＨとともに、測定部Ｃの各入力端子ｌｐ−ＳＨ，Ｒ
Ｓ，ｂ′，ＨＬ，Ｃｐ，Ｖｓに印加される。

口唇の高さ方向の計測を受持つ計測部Ｃ−１に属する第
１段目，第２段目のアナログゲートＧＩ，Ｇ２は、いず
れも、映像パルス信号ｂ′ごとにそのパルス幅に応じて
開かれ、その都度、水平ランプ信号ＨＬがゲートを通過
する。

このゲート信号としての映像パルス信号ｂ′は、第１３
図イに示すように、口唇の形状に対応して、パルス幅が
段階的に増加し、口唇の中央において最大幅となり、そ
れ以後、段階的にその幅が減少する。

このため、口唇の中央に対応して、パルス幅が最大とな
る映像パルス信号ｂ′によって、アナログゲートＧＩ，
Ｇ２が開かれたときには、第１３図口に示すように、水
平同期信号ｃと同期する水平ランプ信号ＨＬの最も早い
時点から、最も遅い時点までがアナログゲートＧＩ，Ｇ
２を通過し、その結果、正のピークホールド回路ＰＨＩ
は、第１３図ハに示すように、水平ランプ信号ＨＬの最
大値Ｖａ４をホールドし、負のピークホールド回路ＰＨ
２は、第１３図二に示すように、その最小値ＶＱをホー
ルドする。これらの最大値Ｖａ４、最小値Ｖｂ４は、上
唇の最高点および下唇の最下点に夫々対応する。一方、
第３段目のアナログゲートＧ３は、第１３図ホに示すよ
うに、上記した如く、口唇の端点に対応した最初の映像
パルス信号ｂ′で立下るゲートコントロールパルスＣｐ
によって、それまで開いていたゲートを閉じ、ホールド
回路ＰＨ３は、第１３図ハに示すように、ゲートが閉じ
られた時点における値、即ち口唇の端点に応じた値ＶＩ
をホールドする。

上記各ホールド回路ＰＨ１，２，３に各々ホールドされ
た値のうち、上唇の最高点を検出するためのピーク値Ｖ
ａ４は、後続の上段の演算増幅器Ｑ，ｏの非反転入力端
子および下段の演算増幅器Ｑの非反転入力端子に入力さ
れる一方、下唇の最下点に対応した最小値Ｖ広は、中段
の演算増幅器Ｑ，．の非反転入力端子および下段の演算
増幅器Ｑ９の反転入力端子に入力される。

また、上段，中段の演算増幅器Ｑ，ｏ，Ｑ９の反転入力
には、ホールド回路ＰＨ３にホールドされた口唇の端点
に対応した値が、バッファアンプＢＡ２および分割抵抗
を介して、基準値ＶＩとして入力される。

これら、計３段の演算増幅器Ｑ側Ｑ，．，Ｑ９の出力
側に夫々設定したアナログゲートＧ５，Ｇ６，Ｇ７は、
次の垂直同期信号ｄの立上りで発生されるサンプルパル
スＳＨによって、一斉に開かれ、アナログゲートＧ５，
Ｇ６，Ｇ７の各次段に設定したホールド回路ＰＨ７，８
，９によって、各演算増幅器Ｑ，ｏ，Ｑ，．，Ｑ９の出
力をホールドするとともに、次段の各バッファアンプＱ
，３，Ｑ，４，Ｑ，５を介して、各出力端子○ｐ−ｈ，
，○ｐ−ｈ２，０ｐ一別こ出力を発生する。

この場合、サンプルパルスＳＨによってアナログゲート
Ｇ５が開かれたときに、上段の演算増幅器Ｑ，ｏは、上
唇の最高点の高さと、口唇の端点に対応する高さの差に
比例した値、即ち、口唇の端点に対する上唇の最高点の
高さｈ，ｔ‘こ対応する値を出力するので、出力端子○
ｐ−ｈ，には、上唇の最高点の高さｈ，ｔに対応した電
圧値が出力される。

と同様に、中段の演算増幅器Ｑ，．は、下唇の最下点の
口唇の端点に対する相対高さに対応する値を出力し、出
力端子０ｐ−ｈ２は、これに対応した値則ち、下唇の相
対高さｈ２ｔに比例した電圧値を出力する。

また、下段の演算増幅器Ｑ９は、上唇の最高点を非反転
入力とし、下唇の最下点を反転入力としているから、両
方の高さの和に対応した値を出力し、出力端子○ｐ一日
からは、これに対応して、最高点の高さｈ，ｔと最下点
の高さｈ２ｔの和に対応した電圧値Ｈｔ（＝ｈ，ｔ十ｈ
２ｔ）が出力される。これらの電圧値ｈ，上，ｈ２ｔ，
Ｈｔは、夫々ペンレコーダ３の各入力信号として入力さ
れ、その値が経時的に記録されていく。

一方、いま一つのゲートコントロールパルスＶｓ即ち、
第１４図イに示すように、映像パルス信号ｂ′が存在す
る間、第１４図口に示すように継続するゲートコントロ
ールパルスＶｓによって、ゲートが開かれるアナログゲ
ートＧ４は、その間、定電流電源ＩＣ３から供給される
定電流を通過させ、第１４図ハに示すように、ピークホ
ールド回路ＰＨ４を構成するコンデンサＣ６を充電して
いき、ゲートが閉じられた時点における充電電圧を、ピ
ークホールド回路ＰＨ４にホールドさせる。

このホールドされたピーク値Ｖｉｍは、サンプルパルス
ＳＨによって、アナログゲートＧ８が開かれたときに、
バッファアンプＱ，２を介して、次段に設定されたピー
クホールド回路ＰＨＩＯにホールドされ、またその次段
のバッファアンプＱ，６を介して、出力端子○ｐ−Ｗに
出力を生じる。この出力端子○ｐ−Ｗに発生されるパレ
スは、ゲートコントロールパルスＶｓが、頂度口唇の一
方の端点ｍから他方の端点１に至るまでの走査時間、換
言すれば、両端点ｍ，１間に含まれる走査線の数に比例
したものであることから、結局、口唇の最大幅Ｗｔに対
応したパルスとして形成されることとなる。

この□唇の最大幅を表わすパルスＷｔは、上記と同機ペ
ンレコーダ３によって記録される。上記計測は、サンプ
ルパルスＳ印こ後続するりセットパルスＲＳによって、
全体がリセツトされた後、再び行なわれ、計測値ｈ，ｔ
，ｈ２ｔ，Ｈｔ，Ｗｔがペンレコーダ３によって記録さ
れる。

この記録は、経時的に行なわれ、このようにして得られ
た記録波形を解析し、その特徴を抽出することによって
、発声された音が、どのような音であったかを認識する
ことができるのである。

以上のように、本発明は、発声時における口唇の動きを
テレビカメラに撮影し、その映像信号を二次元的に解析
する第１，第２検出手段を設け、これら第１，第２検出
手段の検出信号を機械的、もしくは電気的に記録する記
録手段を設け、その記録から、発声内容を解析しうるよ
うにしたことを特徴とする発声の解析方式を提供するも
のである。

本発明は、発声時における口唇の動きを二次元的，経時
的に解析して発声内容を認識するという新規な解析方式
を採用したから、発声の解析方式としては、その装置を
著しく簡単化することができるうえ、検出精度を向上さ
せることができる。

本発明は、聴覚障害者の発声教育用機器や口唇の動きを
直酸的に音に変換する、あるいは活字に変換する装置等
に応用することができる。

【図面の簡単な説明】

第１図イ，口は発声時における口唇の動きを示す正面図
、第２図，第３図，第４図は、夫々″ＨＡ″，″ＢＡ″
，″ＰＡ″の発声時における口唇の高さ方向ｈ，，ｈ２
，日および口幅の変化を音声波とともに示すグラフ、第
５図は、本発明の一実施例の全体を示す図、第６図は、
一走査画面を示す正面図、第７図は、解析器の回路のブ
ロック図、第８図は、信号分離部Ａの一回路例を示す回
路図、第９図は、コントロール信号発生部Ｂの一回路例
を示す回路図、第１０図は、測定部Ｃの一回路例を示す
回路図、第１１図は、口唇の幅の検出回路の一変形例を
示す回路図、第１２図イ〜ルは、各信号波形を示す波形
図、第１３図イ〜へは、口唇の高さ方向の計測に用いら
れる各信号の波形図、第１４図イ〜ハは、口唇の幅方向
の計測に用いられる各信号の波形図である。 １・・・・・・テレビカメラ、２・・・・・・解析器、
３・・・・・・ベンレコーダ；Ａ・・・・・・信号分離
部、Ｂ…・・・コントロール信号発生部、Ｃ・・・・・
・計測部（Ｃ−１・・・…高さ方向計測部、Ｃーロ……
幅方向計測器）；ｈ，ｔ，ｈ２ｔ・・・・・０上，下唇
の任意の時間における高さ、Ｈｔ…・・・これらの和、
Ｗｔ・・・・・・口唇の任意の時間における幅。 第１図 第２図 第３図 第４図 第５図 第６図 第７図 第８図 第９図 図 糠 第１１図 第１２図 第１３図 第１４図

Claims (1)

【特許請求の範囲】
1. １ 口唇の動きを撮影するテレビカメラを備え、該テレ
   ビカメラのビデオ信号を用いて、垂直同期信号の周期毎
   に、水平走査線方向の映像幅を検出する第１検出手段及
   び垂直走査方向における水平走査線の本数を検出する第
   ２検出手段と、第１，第２検出手段からの検出出力を経
   時的に記録する手段とを設け、発声時における口唇形状
   の経時的変化を検出して発声を解析しうるようにしたこ
   とを特徴とする発声の解析方式。