JP6342792B2 - 音声認識方法、音声認識装置及び音声認識プログラム - Google Patents

Description

本発明は、音声を認識し、認識結果を加工する技術に関する。

講演や講義において音声認識を利用して講義内容の記録に活用する試みは広く行われている。例えば非特許文献１は、聴覚障碍者の情報保障を目的とし、音声認識を行って講義の内容をリアルタイムに文字として提示するシステムを開示している。また、最近では、スライドを聴講者に提示して講義を行うことも多いため、非特許文献２のように、講義のスライド情報を利用して言語モデルを適応させ、音声認識制度の向上を行うこともある。

六藤雄一、外４名、"特別支援学校ＩＣＴツール「こえみる」"、ＮＴＴ技術ジャーナル、日本電信電話株式会社、２０１２年１１月、第２４巻、第１１号、ｐ．４２−４５ 山崎裕紀、外４名、"講義音声認識における講義スライド情報の利用"、情報処理学会研究報告ＳＬＰ，音声言語情報処理、一般社団法人情報処理学会、２００６年１２月２２日、Ｖｏｌ．２００６、Ｎｏ．１３６、ｐ．２２１−２２６

しかしながら、従来の音声認識技術では音声認識結果として言語的な情報のみを返し、講演者が行った非言語的な情報は損なわれてしまっている。例えば、講演者が語気を強めて強調して発言した箇所などは発言内容の中でも特に重要性が高いと推測されるが、従来の音声認識技術では言語的な情報として発言内容のみを記録するため、音声認識された文章（以下、認識文とする）を講義後に読み返しても、講演者の口調などを読み取ることはできない。

また、講演者はスライドを操作し、スライドのページを送りながら説明をすることもあるが、講義後に認識文を読み返した場合に、どのスライドでどの発言が行われたのか、認識文とスライドを対応付けることが一見して分かりにくいといった問題があった。

そのため、従来の音声認識を使って作成された認識文を見返した際に、重要な発言が一見して分かりにくかったり、講義中の発言とスライドとの対応が分かりにくかったり、認識文を読んだだけでは内容の理解がはかどらないことがある。

本発明は、上記に鑑みてなされたものであり、要点の理解に役立つ音声認識結果を得ることを目的とする。

第１の本発明に係る音声認識方法は、コンピュータにより実行される音声認識方法であって、スライドの文字情報を入力するステップと、前記スライドを説明する音声情報を入力するステップと、前記音声情報を音声認識して認識結果を得るステップと、前記音声情報に基づいて前記認識結果から強調区間候補を決定するステップと、前記認識結果を前記文字情報と比較し、前記文字情報に類似しない部分であって前記強調区間候補でない部分に削除可能区間を設定するステップと、を有することを特徴とする。
第１の本発明に係る別の音声認識方法は、コンピュータにより実行される音声認識方法であって、スライドに対する操作情報を入力するステップと、前記スライドを説明する音声情報を入力するステップと、前記音声情報を音声認識して認識結果を得るとともに、文の区切りを認識するステップと、前記文の区切りと前記操作情報に基づいて前記認識結果にページ区切りを設定するステップと、を有することを特徴とする。

第２の本発明に係る音声認識装置は、スライドの文字情報を入力する文字情報入力手段と、前記スライドを説明する音声情報を入力する音声情報入力手段と、前記音声情報を音声認識して認識結果を得る音声認識手段と、前記音声情報に基づいて前記認識結果から強調区間候補を決定する強調区間候補決定手段と、前記認識結果を前記文字情報と比較し、前記文字情報に類似しない部分であって前記強調区間候補でない部分に削除可能区間を設定する削除可能区間設定手段と、を有することを特徴とする。
第２の本発明に係る別の音声認識装置は、スライドに対する操作情報を入力する操作情報入力手段と、前記スライドを説明する音声情報を入力する音声情報入力手段と、前記音声情報を音声認識して認識結果を得るとともに、文の区切りを認識する音声認識手段と、前記文の区切りと前記操作情報に基づいて前記認識結果にページ区切りを設定するページ区切り設定手段と、を有することを特徴とする。

第３の本発明に係る音声認識プログラムは、上記音声認識装置の各手段としてコンピュータを動作させることを特徴とする。

本発明によれば、要点の理解に役立つ音声認識結果を得ることができる。

本実施の形態における音声認識システムの構成を示す機能ブロック図である。 認識サーバにおける音声処理の流れを示すフローチャートである。 クライアントにおけるスライドに関する処理の流れを示すフローチャートである。 音声の認識結果、強調区間、スライドの操作データを結合する処理の流れを示すフローチャートである。 加工済認識文の例を示す図である。 本実施の形態における音声認識システムの出力結果を利用する認識文提示アプリケーションの構成を示す機能ブロック図である。 上記認識文提示アプリケーションが認識文を提示した様子を示す図である。 図７に示した認識文に対応するスライド資料を表示した様子を示す図である。

図１は、本実施の形態における音声認識システムの構成を示す機能ブロック図である。本音声認識システムは、認識サーバ１とクライアント３を備え、スライドを用いて講演する講演者の音声を認識し、講演者が強調して発言した強調区間やスライドのページ送りタイミングを音声認識結果に付与して出力するシステムである。以下、認識サーバ１とクライアント３について説明する。

クライアント３は、講演者がスライドを操作する装置であり、音声送信部３１とスライド提示アプリケーション３２を備える。

音声送信部３１は、マイクロフォン３３を接続し、講演者のスライドを説明する音声を入力して音声データを認識サーバ１に送信する。

スライド提示アプリケーション３２は、スライド資料蓄積装置４からスライド資料を取得して提示するとともに、講演者からスライドに対する操作を受け付けてスライドを操作し、スライドに対する操作の情報である操作データと提示したスライドに記載された文字情報であるスライド情報を認識サーバ１に送信する。

認識サーバ１は、音声認識をする装置であり、音声受信部１１、音声認識部１２、韻律認識部１３、強調判定部１４、操作データ受信部１５、操作バッファ１６、スライド情報受信部１７、情報結合部１８、比較部１９、およびスライド情報蓄積部２０を備える。

音声受信部１１は、音声データを受信し、受信した音声データを音声認識部１２と韻律認識部１３に送信する。

音声認識部１２は、音響モデル、言語モデルを利用して音声データの文章認識を行い、認識結果を情報結合部１８に送信する。音声認識部１２は、音声データから文末などの文境界を判定し、文境界が存在する場合は認識結果に文境界の情報を含める。

韻律認識部１３は、音声データから音声のパワー（強さ）・基本周波数（ピッチ）・スペクトル変化量（速さ）などの韻律情報を求め、求めた韻律情報を強調判定部１４に送信する。

強調判定部１４は、音声が強調区間であるか否かを判定する。強調区間の判定方法としては、例えば、参考文献１（日高浩太、外４名、“音声の感性情報に着目したマルチメディアコンテンツ要約技術”、インタラクション２００３予稿集、一般社団法人情報処理学会、２００３年、ｐ．１７−２４）に開示されている技術を用いることができる。強調判定部１４は、判定した強調区間の情報を情報結合部１８に送信する。

操作データ受信部１５は、操作データを受信し、操作バッファ１６に格納する。操作データとしては、次のスライドに進めるページ送りの操作やアニメーションを開始させる操作のデータがある。

操作バッファ１６は、音声の認識結果と操作データとを統合するタイミングを合わせるために操作データを一時的に格納する。

スライド情報受信部１７は、スライド情報を受信し、スライド情報蓄積部２０に格納する。

情報結合部１８は、音声の認識結果と強調区間情報を受信し、認識結果の認識文とスライド情報蓄積部２０に格納されたスライド情報とを比較部１９に比較させて、認識文とスライド情報との類似度が高く、強調区間情報が強調区間であることを示す場合に強調区間を示すタグを認識結果に挿入する。このとき、情報結合部１８は、強調区間情報を用いず、認識文とスライド情報との類似度が高い場合に強調区間を示すタグを認識結果に挿入してもよい。

比較部１９は、認識文とスライド情報蓄積部２０に格納されたスライド情報とを比較する。認識文とスライド情報は、ＴＦ−ＩＤＦなどで特徴語を抽出してから比較してもよいし、スライド情報で使われている語が認識文に含まれているか否かで比較してもよい。認識文に強調区間を設定するときに認識文とスライド情報を比較することで、受講者を注意する声などの講義の内容とは関係のない事柄を強調区間として判定することを防ぐ。

さらに、情報結合部１８は、認識文のうち、スライド情報と類似しない、かつ、強調区間の含まれていない文に削除のタグを挿入してもよい。

また、情報結合部１８は、操作バッファ１６に操作データが格納されているか否かを調べ、操作データが存在する場合、かつ、認識文に文境界が含まれている場合は、認識文の文境界にページ区切りのタグを挿入する。ページ送り操作とアニメーション開始操作が認識可能なようにタグの種類を分けてもよい。

情報結合部１８によりタグが付与された加工済認識文は、認識文受信装置５に送信され、認識文蓄積装置６に格納される。

認識サーバ１とクライアント３が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは認識サーバ１とクライアント３が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。なお、本実施の形態では、認識サーバ１で音声認識処理を行ったが、クライアント３と同一装置上で音声認識処理を行ってもよい。

次に、本実施の形態における音声認識システムの動作について説明する。

まず、音声の処理について説明する。

図２は、認識サーバ１における音声処理の流れを示すフローチャートである。

音声受信部１１が音声データを受信すると（ステップＳ１１）、音声認識部１２が音声データを音声認識するとともに（ステップＳ１２）、韻律認識部１３が音声データの韻律情報を求め（ステップＳ１３）、強調判定部１４が韻律情報に基づいて音声が強調区間であるか否かを判定する（ステップＳ１４）。認識サーバ１は、音声データが入力される度にステップＳ１１〜Ｓ１４の処理を繰り返す。

音声認識部１２による認識結果と強調判定部１４による強調区間情報は情報結合部１８に送信される。

続いて、スライドの処理について説明する。

図３は、クライアント３におけるスライドに関する処理の流れを示すフローチャートである。

まず、スライド資料がクライアント３に読み込まれたか否か判定する（ステップＳ２１）。

スライド資料が読み込まれた場合は、クライアント３に読み込まれたスライド資料の文字情報をスライド情報として認識サーバ１に送信する（ステップＳ２２）。

クライアント３に読み込まれたスライド資料は、スライド提示アプリケーション３２により提示され、講演者によって操作される。

クライアント３は、スライド資料に対するページ送り操作やアニメーション開始操作が検出されたか否か判定する（ステップＳ２３）。

ページ送り操作やアニメーション開始操作が検出された場合は、その操作データを認識サーバ１に送信する（ステップＳ２４）。

クライアント３は、ステップＳ２１〜Ｓ２４の処理を繰り返し、提示されたスライド資料の文字情報を認識サーバ１に送信するとともに、スライドに対する操作データを認識サーバ１に送信する。

認識サーバ１は、クライアント３から受信したスライド情報をスライド情報蓄積部２０に格納し、操作データを操作バッファに格納する。

続いて、音声の認識結果、強調区間、スライドの操作データを結合する処理について説明する。

図４は、音声の認識結果、強調区間、スライドの操作データを結合する処理の流れを示すフローチャートである。

情報結合部１８は、音声の認識結果と強調区間情報を取得する（ステップＳ３１）。

強調区間情報が強調区間であることを示しており、対応する認識結果の認識文がスライド情報と類似している場合（ステップＳ３２，Ｓ３３のいずれもＹＥＳ）、認識文の強調区間を＜ｅ＞タグで囲む（ステップＳ３４）。

操作バッファに操作データが存在しており、認識文に文末情報が含まれている場合（ステップＳ３５，Ｓ３６のいずれもＹＥＳ）、認識文の文末にページ区切りを示す＜ｐａｇｅ＃＞タグ（＃にはページ番号が入る）を入れて（ステップＳ３７）、操作バッファ１６をクリアする（ステップＳ３８）。

情報結合部１８は、音声の認識結果と強調区間情報を取得する度にステップＳ３１〜Ｓ３８の処理を繰り返し、認識結果に強調区間情報や操作データを反映させた加工済認識文を認識文受信装置５に送信し、認識文蓄積装置６に格納させる。

なお、上記の処理に加えて、認識文がスライド情報と類似するか否か、強調区間であるか否かを判定し、スライド情報と類似しない、かつ、強調区間の含まれていない認識文に削除可能な箇所を示す＜ｄｅｌ＞タグを挿入する処理を行ってもよい。

図５に、加工済認識文の例を示す。上記で説明したように、本実施の形態では、ＨＴＭＬやＸＭＬ形式などのタグを用いて強調区間、ページ送りおよび削除箇所を認識結果内に記述した。強調区間は＜ｅ＞タグで囲まれ、ページ送りに対応する文末には＜ｐａｇｅ＃＞タグが挿入されている。また、削除する文は＜ｄｅｌ＞タグで囲まれている。

次に、本実施の形態における音声認識システムの出力結果を利用する例について説明する。

図６は、本実施の形態における音声認識システムの出力結果を利用する認識文提示アプリケーションの構成を示す機能ブロック図である。同図に示す認識文提示アプリケーション７は、聴講者の保持するパーソナルコンピュータなどの端末上で動作する。

認識文提示アプリケーション７は、音声認識結果を提示する認識結果提示部７１と音声認識結果に対応するスライドを表示するスライド内容表示部７２を備える。

認識結果提示部７１は、音声認識システムの出力結果である加工済認識文を格納した認識文蓄積装置６から認識文を取得して聴講者に提示する。認識文を提示した様子を図７に示す。同図では、強調区間に下線が引いてある。強調区間については、フォントを変える、太字にする、色を変えるなどの修飾を施し、強調区間であることが明示的にわかるようにする。また、同図では、ページ区切り箇所において段落を分けている。さらに、削除を示すタグで囲まれた部分は表示しない、もしくは、打ち消し線を付与する。

提示した認識文が操作（クリック）されたときは、認識結果提示部７１は、操作された認識文に対応するスライドを表示するように、スライド呼び出し要求をスライド内容表示部７２に送信する。あるいは、スライドバーなどが操作されて、提示している箇所が変わったときに、提示している認識文に対応するスライドを表示するように、スライド呼び出し要求をスライド内容表示部７２に送信してもよい。

スライド内容表示部７２は、認識結果提示部７１からの指示に基づいて、スライド資料蓄積装置４から対応するスライド資料を取得して聴講者に提示する。スライド資料を提示した様子を図８に示す。図８では、図７に示した認識結果の上の段落の認識文に対応するスライド資料が表示されている。

以上説明したように、本実施の形態によれば、音声受信部１１がスライドを説明する音声データを入力し、スライド情報受信部１７がスライドの文字情報であるスライド情報を入力し、強調判定部１４が韻律認識部１３の求めた韻律情報に基づいて強調区間を判定し、比較部１９が音声認識部１２による音声データの認識結果とスライド情報とを比較し、認識結果とスライド情報との類似度が高く、強調区間と判定された場合に、情報結合部１８が認識結果に強調区間を示すタグを挿入することにより、講演者が強調して発言した部位が分かり、要点の理解に役立つ音声認識結果を得ることができる。

本実施の形態によれば、認識結果とスライド情報とを比較した結果、認識結果がスライド情報に類似しておらず、強調区間と判定されていない部分に削除のタグを挿入することにより、講演内容とは関係のない発言を削除することが可能となる。

本実施の形態によれば、操作データ受信部１５がスライドに対する操作データを受信し、音声認識部１２が文末などの文境界を判定し、操作データが存在し、かつ、認識結果に文境界が含まれる場合に、ページ区切りのタグを挿入することにより、発言とスライドとの対応付けを分かりやすくできる。

１…認識サーバ
１１…音声受信部
１２…音声認識部
１３…韻律認識部
１４…強調判定部
１５…操作データ受信部
１６…操作バッファ
１７…スライド情報受信部
１８…情報結合部
１９…比較部
２０…スライド情報蓄積部
３…クライアント
３１…音声送信部
３２…スライド提示アプリケーション
３３…マイクロフォン
４…スライド資料蓄積装置
５…認識文受信装置
６…認識文蓄積装置
７…認識文提示アプリケーション
７１…認識結果提示部
７２…スライド内容表示部

Claims (5)

1. コンピュータにより実行される音声認識方法であって、
   スライドの文字情報を入力するステップと、
   前記スライドを説明する音声情報を入力するステップと、
   前記音声情報を音声認識して認識結果を得るステップと、
   前記音声情報に基づいて前記認識結果から強調区間候補を決定するステップと、
   前記認識結果を前記文字情報と比較し、前記文字情報に類似しない部分であって前記強調区間候補でない部分に削除可能区間を設定するステップと、
   を有することを特徴とする音声認識方法。
2. コンピュータにより実行される音声認識方法であって、
   スライドに対する操作情報を入力するステップと、
   前記スライドを説明する音声情報を入力するステップと、
   前記音声情報を音声認識して認識結果を得るとともに、文の区切りを認識するステップと、
   前記文の区切りと前記操作情報に基づいて前記認識結果にページ区切りを設定するステップと、
   を有することを特徴とする音声認識方法。
3. スライドの文字情報を入力する文字情報入力手段と、
   前記スライドを説明する音声情報を入力する音声情報入力手段と、
   前記音声情報を音声認識して認識結果を得る音声認識手段と、
   前記音声情報に基づいて前記認識結果から強調区間候補を決定する強調区間候補決定手段と、
   前記認識結果を前記文字情報と比較し、前記文字情報に類似しない部分であって前記強調区間候補でない部分に削除可能区間を設定する削除可能区間設定手段と、
   を有することを特徴とする音声認識装置。
4. スライドに対する操作情報を入力する操作情報入力手段と、
   前記スライドを説明する音声情報を入力する音声情報入力手段と、
   前記音声情報を音声認識して認識結果を得るとともに、文の区切りを認識する音声認識手段と、
   前記文の区切りと前記操作情報に基づいて前記認識結果にページ区切りを設定するページ区切り設定手段と、
   を有することを特徴とする音声認識装置。
5. 請求項３又は４に記載の音声認識装置の各手段としてコンピュータを動作させることを特徴とする音声認識プログラム。

Images