JPH0434500A - 会議場音声処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 「産業上の利用分野」 この発明は、例えば会議において発言者ごとに入力され
た音声データを蓄積し、その後、特定の発言者のみの音
声データを出力するために用いられる音声処理装置に関
する。

「従来の技術」 従来の複数話者の音声データを蓄積する方式は、音声デ
ータ入力部対応に、各別のメモリ（トラック）に格納す
る方式と、音声データ入力部からの音声データを混合し
たものを単数のメモリに格納する方式とに大別される。

前者の方式は、音声データ入力部の個数によって線形的
に蓄積ハードウェア量が増大するという問題があった。

一方、後者の方式は、蓄積ハードウェア量が、音声デー
タ入力部の数には影響されず一定しており、蓄積装置の
利用効率がよいという利点がある反面、話者ごとに音声
データを再生するには、音声認識処理や声紋照合処理を
組み合わせて、有音単位に話者の識別子をつける方法が
考えられるが、これを実現する回路が複雑化するととも
にハードウェア量が増大するという問題があった。しか
もこのようにしても複数話者が同時に発言した状態の音
声データに対しては話者ごとに個別処理をすることがで
きない。

この発明の目的は、ハードウェア量を増大させずに、複
数話者による入力音声データから、特定話者のみの音声
データを出力することが可能な音声データ処理装置を提
供することにある。

「課題を解決するための手段」 この発明によれば各音声データ入力部から入力された音
声データはそれぞれ各別の音声データ有音抽出部により
有音区間データが抽出され、これら各有音区間データは
音声データ蓄積部に蓄積されると共に、その蓄積された
有音区間データの蓄積メモリアドレス情報とその有音区
間データの開始時刻を示す時間情報とが音声データ入力
部の識別子ごとに音声区間管理情報蓄積部に記憶され、
出力すべき音声データが入力された入力部を示す情報が
入力されると、これに応じたその入力部識別子の時間情
報と蓄積メモリアドレス情報とが読み出され、その読み
出された時間情報の内容にもどすとき、その読み出され
た蓄積メモリアドレス情報から有音区間データが読み出
され、その読み出された有音区間データが音声出力部へ
供給されて音声として出力される。

「実施例」 第１図にこの発明の実施例の構成を示す。マイクロホン
、テープレコーダなどのｎ個の音声入力装置１００は、
ｎ個の音声データ有音抽出部１１０にそれぞれ接続され
、ｎ個の音声データ有音抽出部１１０は、音声データ蓄
積処理部１２０に接続され、音声データ蓄積処理部１２
０はｍ個の音声出力部１３０に接続され、ｍ個の音声出
力部１３０はそれぞれｍ個のスピーカなどの音声出力装
置１４０にそれぞれ接続され、音声データ蓄積処理部１
２０には音声データ表示制御部１５０および音声データ
並行処理部１７０が接続され、音声データ表示制御部１
５０に、画像表示装置１６０が接続される。

音声データ有音抽出部１１０の具体例を第２図に示す、
これは音声入力部１１１、有音／無音判定部１１２、音
声データ抽出用蓄積部１１３、区切り符号付加部１１４
、無音部分時間測定部１１５および無音時間しきい値入
力部１１６からなる。

音声データ蓄積処理部１２０は例えば第３図に示すよう
に、時間情報測定部１２１、音声データ処理部１２２お
よびデータ蓄積部１２３とからなり、データ蓄積部１２
３は、有音区間管理情報蓄積部１２３１と音声データ蓄
積部１２３２とよりなる。

第２図において、音声入力装置１００を介して入力され
た音声データは、音声データ有音抽出部１１０内の音声
入力部１１１に入力され、この音声データに対し、有音
／無音判定部１１２において、音圧レヘル等により有音
、無音の判定が行われ、有音から無音、無音から有音に
変化した場合には、それぞれ、無音検出信号、有音検出
信号が音声データ抽出用蓄積部１１３、区切り符号付加
部１１４および無音部分時間測定部１１５に対しそれぞ
れ送出される。音声データ抽出用蓄積部１１３は、音声
入力開始以障、最初の有音検出信号を受信した時点から
、その音声データの第一次蓄積を行う。音声データ抽出
用蓄積部１１３がその処理中において、有音／無音判定
部１１２から無音検出信号を区切り符号付加部１１４が
受信した場合、区切り符号付加部１１４は音声データ抽
出用蓄積部１１３に対し、有音区間終了を示す仮区切り
符号を送出し、その時点の入力箇所に仮区切り符号を付
加する。一方、この無音検出信号により無音部分時間測
定部１１５が起動され、仮区切り符号付加時から、次の
有音検出信号を受信するまでの時間を計測する。

次の有音検出信号受信時に、無音部分時間測定部１１５
は、仮区切り符号付加時から、次の有音検出信号受信ま
での時間と、無音時間しきい値入力部１１６からあらか
しめ入力された無音時間しきい値Ｔｔｋとを比較し、こ
の時間が無音時間しきい値Ｔいをこえない場合には、こ
の無音部分は、有音区間中のデータに分類し、仮区切り
符号をはずして、引続き、データ蓄積を行う。仮区切り
符号付加時から、次の有音検出信号を受信するまでの時
間が無音時間しきい値Ｔｔｈをこえた場合には、仮区切
り符号を本図切り符号に変更する。この時、音声データ
抽出用蓄積部１１３に記憶された本図切り符号以前の音
声データを有音区間とする。本図切り符号以降のデータ
については、無音区間とし、冗長な情報として、蓄積デ
ータを破棄する。

この処理の後、音声データ抽出用蓄積部１１３は有音区
間の音声データ有音声データ蓄積処理部１２０に送信す
る。

第３回において、音声データ蓄積処理部１２０内の音声
データ処理部１２２は入力された有音区間音声データを
、データ蓄積部１２３中の音声データ蓄積部１２３２に
蓄積する。また、音声データ処理部１２２は、この蓄積
処理と並行して、有音区間音声データを受信した信号線
により、音声入力のあった入力部１１１を判定すると同
時に、時間情報測定部１２１よりその有音区間音声デー
タの開始時刻を示す時間情報（例えば、この音声処理装
置の入力（起動）開始からの経過時間）を読みだし、ど
の入力部１１１からの入力であるかを示す入力部識別子
、時間情報およびその有音区間音声データが音声データ
蓄積部１２３２へ記憶された場所を示す蓄積メモリアド
レス情報有音声データの管理情報として、データ蓄積部
１２３中の有音区関管理情報蓄積部１２３１に蓄積する
。

以上説明した、有音区間の抽出ならびに、ｎ個の音声デ
ータ入力部１１１に応じた識別子の付加を伴ったデータ
蓄積を、ｎ個の音声人力装置に応した各音声データ有音
抽出部１１０ならびに音声データ蓄積処理部１２０にお
いて、音声データ並行制御部１７０の管理のもとに、並
行して行う。

音声データの出力時には、音声データ並行制御部１７０
を介して、音声データ処理部１２２に対し、出力すべき
音声データが入力された入力部番号および出力すべき出
力部番号の指示信号を送出する。音声データ処理部１２
２は、この指示信号を受けると、有音区間管理情報蓄積
部１２３１内の音声データの管理情報を参照し、指示さ
れた入力部に対応する入力部識別子で管理される音声デ
ータのみを、その時間情報内容の順に従って、その蓄積
メモリアドレス情報から音声データ蓄積部１２３２の音
声データを読み出して、入力された出力部番号の指示に
従った複数または単数の音声出力部１３０に送出し、対
応する音声出力装置１４０より音声出力がなされる。複
数の入力部から入力された蓄積音声データを一音声出力
装置から同時に出力することも、−人力部からの音声を
複数音声出力装置に出力することも、音声データ並行処
理部１７０における指示により可能である。

このようにして時間的にばらばらに発言された複数話者
の音声を記憶し、その記憶から指定した特定話者の音声
のみを読み出して音声出力することができる。

第４回に、データ蓄積部１２３Ｇこ蓄積された、複数の
音声データ入力部からの入力音声データの時間軸上の存
在状況を単数の画像表示装置１６０に表示した画面表示
例を示す。この場合は時間情報測定部１２１の情報を利
用し、音声出力開始時からの経過時間と、管理情報に記
憶されている入力開始からの経過時間とを対応させて一
致した音声データを読み出すと共にその入力部識別子に
より入力部を区別する。この例では５分間分の音声デー
タの有音、無音の別を３０秒ごとに区切って表示した例
であり、図中のハツチング部分は有音区間データ、ハン
チング部分の間の白い部分は無音区間を示しており、ハ
ツチングのテクスチャの違いにより、入力部の違いを識
別しており、有音区間音声データは、音声データ入力部
１】１ａからの有音区間データ４００と、音声データ人
力部１１１ｂからの有音区間データ４１０と、音声デー
タ入力部１１１ｃからの有音区間データ４２０とからな
っている場合である。音声データ表示制御部１５０は、
有音区間データに関し、音声データの管理情報である時
間情報および、入力部識別子に従って、画像表示装置１
６０に表示された時間軸上に、入力部対応の音声データ
を、表示色、テクスチャ等をかえることによって、区別
して表示する。

第５図は、第４回においての表示において、複数入力部
からの音声データが時間軸５０３上で重複した場合の表
示例を示す図であり、５１０．５２０．５３０の二側を
示している。即ち音声データ入力部１１１ａからの有音
区間データ５０１、音声データ入力部１１１ｂからの有
音区間データ５０２とが、状態例５００に示すように一
部時間的に重なった入力状態にある場合に対し、表示例
５１０は、重複区間を、先に人力が開始された音声デー
タ入力部１１１ａからの有音区間データ５０１を示すテ
クスチャで表示する例であり、表示例５２０は、重複区
間を、後に入力が開始された音声データ入力部１１１ｂ
からの有音区間データ５０２を示すテクスチャで表示す
る例であり、表示例５３０は、重複区間を、音声データ
入力部１１１ａからの有音区間データ５０１を示すテク
スチャと、後に入力が開始された音声データ入力部１１
１ｂからの有音区間データ５０２を示すテクスチャとを
、表示上でも重畳させて表示する例である。特に、表示
例５３０は、複数話者の音声の重複状況が明確に示され
ている。

上述において音声データ蓄積部１２３２に蓄積する有音
区間音声データに対し区切り符号を付けることなく、有
音区間音声データの蓄積の終わりを示すメモリアドレス
情報も音声データ管理情報として記憶しておいてもよい
。

「発明の効果」 以上説明したように、この発明によれば、複数の音声入
力部からの入力音声に対し、入力部対応に音声データの
有音区間ごとに、時間情報の他に、入力部識別子及びメ
モリアドレスを管理情報として蓄積し、音声データは有
音区間音声データのみを蓄積しているから、蓄積装置の
規模は比較的小さくてよく、しかも話者側に分離して音
声を出力することが可能であり、音声入力時に、複数話
者の発言が重なった場合にも、特定話者のみの音声出力
が可能である。また急変わり等で話者を区別した音声デ
ータの時間的経過を画面表示することにより、各話者の
発言の順序、発言の回数、発言の時間などを容易に読み
取ることができる。しかも音声認識等の複雑な処理を行
わないためハードウェア量の大幅な増大を伴わすに、行
うことが可能である。

【図面の簡単な説明】

第１図はこの発明の実施例の全体構成例を示すブロック
図、第２図は音声データ有音抽出部の構成例を示すブロ
ック図、第３図は、音声データ蓄積処理部の構成例を示
すフロック図、第４図は画像表示装置の表示画面例を示
す図、第５図は複数人力音声重複時の音声データ画面表
示例を示す図である。 特許出願人　日本電信電話株式会社

Claims (2)

【特許請求の範囲】
1. （１）複数の音声データ入力部から入力された音声デー
   タからそれぞれ有音区間のデータを抽出する音声データ
   有音抽出部と、 上記抽出した有音区間データの開始時刻を示す時間情報
   を検出する手段と、 上記抽出した各有音区間データを蓄積する音声データ蓄
   積部と、 上記各有音区間データごとにその入力部に対応する入力
   部識別子と、その有音区間データの上記時間情報と、そ
   の有音区間が蓄積されている蓄積メモリアドレス情報と
   が記憶される有音区間管理情報蓄積部と、 出力すべき音声データが入力された入力部を示す情報が
   入力されると、これに応じたその入力部識別子の時間情
   報と蓄積メモリアドレス情報とを上記有音区間管理情報
   蓄積部から読み出し、その読みを出した時間情報内容に
   もとずき、その読み出した蓄積メモリアドレス情報から
   上記音声データ蓄積部の有音区間データを読み出す手段
   と、その読み出された有音区間データが供給されて音声
   として出力する音声出力部とを具備する音声処理装置。
2. （２）上記有音区間管理情報蓄積部に記憶されている情
   報に基づき、上記音声データ蓄積部に蓄積されている音
   声データについて音声データ入力部を区別して、有音区
   間データの継続状況および時間的重複状況が表示される
   画像表示装置を具備することを特徴とする請求項１記載
   の音声処理装置。