JPWO2016067348A1 - プレゼンテーション支援方法、プレゼンテーション支援プログラム及びプレゼンテーション支援装置 - Google Patents

Abstract

プレゼンテーション支援装置（１０）は、表示時に画面単位で表示されるページを含む文書ファイルのページが分割された領域ごとに領域が含む文字列から第１の単語を抽出する。プレゼンテーション支援装置（１０）は、音声認識を実行し、表示装置５に表示中であるページ内の領域ごとに領域から抽出された第１の単語と音声認識の結果として得られる第２の単語とから関連度を算出する。プレゼンテーション支援装置（１０）は、領域ごとに算出された関連度が高い領域ほど領域のハイライト表示を進行させる速度を高く設定し、あるいは関連度が低い領域ほど領域のハイライト表示を進行させる速度を低く設定する。プレゼンテーション支援装置（１０）は、領域ごとに設定された速度にしたがってページ内のハイライト表示を制御する。

Description

本発明は、プレゼンテーション支援方法、プレゼンテーション支援プログラム及びプレゼンテーション支援装置に関する。

プレゼンテーションを支援する技術の一例として、プレゼンタが説明中である箇所をプレゼンタや聴講者に提示するものがある。例えば、原稿の読み飛ばしを抑制することを目的とする表示装置が提案されている。この表示装置では、話者が発声した語句を認識し、認識した語句をもとに、表示パネルに表示中の原稿のうち読み上げられた部分を特定し、この特定した部分の表示状態を、第１の表示状態とは異なる第２の表示状態、例えば点滅等のハイライト表示に変化させる。

特開２００９−２７１８１４号公報 特開２００５−２０８２９２号公報 特開２００２−２６８６６７号公報 特開昭６１−０３６８５３号公報

しかしながら、上記の技術では、次に説明するように、プレゼンタの説明箇所がハイライト表示されない場合がある。

すなわち、上記の表示装置では、話者が発声する語句を得るために音声認識が用いられる。ところが、音声認識で誤認識が発生する場合、誤認識に伴って話者が説明中でない箇所がハイライト表示される結果、話者の説明箇所がハイライト表示されない場合がある。この場合、表示装置は、話者や聴講者に説明箇所を提示できず、プレゼンテーションを妨げてしまうことがある。

１つの側面では、プレゼンタの説明箇所がハイライト表示されない事態を抑制できるプレゼンテーション支援方法、プレゼンテーション支援プログラム及びプレゼンテーション支援装置を提供することを目的とする。

一態様のプレゼンテーション支援方法は、コンピュータが、表示時に画面単位で表示されるページを含む文書ファイルのページが分割された領域ごとに当該領域が含む文字列から第１の単語を抽出する処理を実行する。さらに、前記コンピュータが、音声認識を実行し、所定の表示部に表示中であるページ内の領域ごとに当該領域から抽出された第１の単語と前記音声認識の結果として得られる第２の単語とから関連度を算出する処理を実行する。さらに、前記コンピュータが、前記領域ごとに算出された関連度が高い領域ほど前記領域のハイライト表示を進行させる速度を高く設定し、あるいは関連度が低い領域ほど前記領域のハイライト表示を進行させる速度を低く設定する処理を実行する。さらに、前記コンピュータが、前記領域ごとに設定された速度にしたがって前記ページ内のハイライト表示を制御する処理を実行する。

プレゼンタの説明箇所がハイライト表示されない事態を抑制できる。

図１は、実施例１に係るプレゼンテーション支援システムの構成を示す図である。 図２は、実施例１に係るプレゼンテーション支援装置の機能的構成を示すブロック図である。 図３は、抽出単語データの一例を示す図である。 図４は、ハイライト表示の進行度に関する時間変化の一例を示す図である。 図５は、スライド画面の遷移例を示す図である。 図６は、スライド画面の遷移例を示す図である。 図７は、実施例１に係る重み付与処理の手順を示すフローチャートである。 図８は、実施例１に係る音声認識処理の手順を示すフローチャートである。 図９は、実施例１に係る表示制御処理の手順を示すフローチャートである。 図１０は、実施例１及び実施例２に係るプレゼンテーション支援プログラムを実行するコンピュータのハードウェア構成例を示す図である。

以下に添付図面を参照して本願に係るプレゼンテーション支援方法、プレゼンテーション支援プログラム及びプレゼンテーション支援装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［システム構成］
図１は、実施例１に係るプレゼンテーション支援システムの構成を示す図である。図１に示すプレゼンテーション支援システム１は、文書ファイルが表示装置５に表示されたプレゼンテーション画面のうちマイク３から入力される音声の認識結果として得られた単語を含む領域をハイライト表示させるプレゼンテーション支援サービスを提供する。

かかるプレゼンテーション支援サービスの一環として、プレゼンテーション支援システム１は、単語との関連度が高い領域の表示ほどハイライトの速度を上げ、関連度が低い領域の表示ほどハイライトの速度を下げる表示制御を実現する。これをもって、プレゼンタの説明箇所がハイライト表示されない事態を抑制する。

ここで、以下では、一例として、上記の表示制御に関する機能がプレゼンテーションソフトにアドオンされる場合を想定し、当該プレゼンテーションソフトを用いて作成された文書ファイルが含む１または複数のスライドを表示装置５に表示させることによってプレゼンテーションが進行される場合を想定する。かかるスライドには、テキストや図形を始め、他のアプリケーションプログラムによって作成されたコンテンツをインポートすることができる。例えば、ワープロソフトで作成された文書、表計算ソフトで作成された表やグラフをインポートしたり、撮像デバイスで撮像された画像や動画、さらには、画像編集ソフトで編集された画像や動画などをインポートしたりすることができる。

図１に示すように、プレゼンテーション支援システム１には、マイク３と、表示装置５と、入力装置７と、プレゼンテーション支援装置１０とが収容される。これらマイク３、表示装置５及び入力装置７などの周辺機器と、プレゼンテーション支援装置１０との間は、有線または無線により接続される。

マイク３は、音声を電気信号に変換する装置であり、マイクロフォンと呼ばれることもある。例えば、マイク３は、プレゼンテーションを実施するプレゼンタに装着させることができる。この場合、ヘッドセット型やタイピン型のマイクをプレゼンタの身体や衣服の所定位置に装着させたり、ハンド型のマイクをプレゼンタに携帯させたりすることができる。また、マイク３は、プレゼンタの発話が集音できる範囲の所定位置に設置することもできる。この場合、マイク３には、取付け型や据置き型のマイクを採用することもできる。これらいずれの場合においても、マイク３には、任意のタイプの指向性を持つマイクを採用できるが、プレゼンタの発話以外の音声、例えば聴講者等の発話や騒音などの雑音が集音されるのを抑制するために、マイクの感度をプレゼンタの発声方向に限定することもできる。なお、マイク３には、ダイナミック型、エレクトレットコンデンサ型、コンデンサ型などの任意の変換方式を採用することができる。

このマイク３に音声を採取することにより得られたアナログ信号は、デジタル信号へ変換された上でプレゼンテーション支援装置１０へ入力される。

表示装置５は、各種の情報を表示する装置である。例えば、表示装置５には、発光により表示を実現する液晶ディスプレイや有機ＥＬ（electroluminescence）ディスプレイなどを採用することもできるし、投影により表示を実現するプロジェクタを採用することもできる。また、表示装置５の設置台数は、必ずしも１台に限定されずともよく、複数の台数であってかまわない。例えば、プレゼンタもしくはその関係者用の表示装置として液晶ディスプレイを実装すると共に、プレゼンタ及び聴講者の共用の表示装置としてプロジェクタ及びプロジェクタが投影する画像を映すスクリーンを実装することもできる。また、各聴講者に専用の液晶ディスプレイを実装することとしてもかまわない。

この表示装置５は、一例として、プレゼンテーション支援装置１０からの指示にしたがってプレゼンテーション画面を表示する。例えば、表示装置５は、プレゼンテーション支援装置１０上で動作するプレゼンテーションソフトが開く文書ファイルのスライドを表示する。この場合、表示装置５は、文書ファイルが含むスライドのうちプレゼンタが入力装置７を介して指定する任意のスライドを表示させることもできるし、プレゼンテーションソフトが有するスライドショーの機能がＯＮ状態に設定された場合、各スライドが作成されたページ順に文書ファイルが含むスライドを切り替えて表示させることもできる。

入力装置７は、各種の情報に対する指示入力を受け付ける装置である。例えば、表示装置５が液晶ディスプレイとして実装される場合、入力装置７には、マウスやキーボードを採用したり、液晶ディスプレイ上に貼り合わせられたタッチセンサを採用したりすることもできる。また、表示装置５がプロジェクタとして実装される場合、スクリーンに映し出された画面上の位置を指し示すレーザポインタを入力装置７として実装することもできる。すなわち、レーザポインタの中には、スライドのページを進めたり、戻したりする各種のボタンなどの操作部が設けられたリモコン機能付きのレーザポインタも存在する。このリモコン機能付きのレーザポインタが有する操作部を入力装置７として援用することもできる。さらには、レーザポインタによって指し示された光点の位置をセンシングする画像センサを入力装置７として実装することもできる。

この入力装置７は、一例として、プレゼンテーション支援装置１０上でプレゼンテーションソフトに実行させる文書ファイルの指定、スライドのページを進める操作やスライドのページを戻す操作などを受け付ける。このように入力装置７を介して受け付けられた操作は、プレゼンテーション支援装置１０へ出力されることになる。

プレゼンテーション支援装置１０は、プレゼンテーションソフトが実行されるコンピュータである。

一実施形態として、プレゼンテーション支援装置１０には、デスクトップ型またはノート型のパーソナルコンピュータなどの情報処理装置を採用することができる。この他、プレゼンテーション支援装置１０には、上記のパーソナルコンピュータなどの据置き型の端末のみならず、各種の携帯端末装置を採用することもできる。例えば、携帯端末装置の一例として、スマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistants）などのスレート端末などがその範疇に含まれる。

なお、本実施例では、あくまで一例として、プレゼンテーション支援装置１０が上記のプレゼンテーションソフトを外部のリソースに依存せずに単独で実行するスタンドアローンで上記のプレゼンテーション支援サービスを提供する場合を想定する。詳細は後述するが、上記のプレゼンテーション支援サービスは、スタンドアローンで提供される実装に限定されない。例えば、プレゼンテーションソフトを実行するクライアントに対し、上記のプレゼンテーション支援サービスを提供するサーバを設けることによってクライアントサーバシステムとして構築することもできる。

［プレゼンテーション支援装置１０の構成］
続いて、本実施例に係るプレゼンテーション支援装置１０の機能的構成について説明する。図２は、実施例１に係るプレゼンテーション支援装置１０の機能的構成を示すブロック図である。図２に示すように、プレゼンテーション支援装置１０は、入出力Ｉ／Ｆ（InterFace）部１１と、記憶部１３と、制御部１５とを有する。

入出力Ｉ／Ｆ部１１は、マイク３、表示装置５及び入力装置７などの周辺機器との間で入出力を行うインタフェースである。

一実施形態として、入出力Ｉ／Ｆ部１１は、マイク３から入力された音声データを制御部１５へ出力する。また、入出力Ｉ／Ｆ部１１は、制御部１５から出力されたスライドの画像データを表示装置５へ出力したり、制御部１５から出力されたスライドに含まれる領域に対するハイライト指示またはそのキャンセル指示を表示装置５へ出力したりする。また、入出力Ｉ／Ｆ部１１は、入力装置７から入力された各種の操作を制御部１５へ出力する。

記憶部１３は、制御部１５で実行されるＯＳ（Operating System）やプレゼンテーションソフトを始め、アプリケーションプログラムなどの各種プログラムに用いられるデータを記憶するデバイスである。

一実施形態として、記憶部１３は、プレゼンテーション支援装置１０における主記憶装置として実装される。例えば、記憶部１３には、各種の半導体メモリ素子、例えばＲＡＭ（Random Access Memory)やフラッシュメモリを採用できる。また、記憶部１３は、補助記憶装置として実装することもできる。この場合、ＨＤＤ（Hard Disk Drive）、光ディスクやＳＳＤ（Solid State Drive）などを採用できる。

記憶部１３は、制御部１５で実行されるプログラムに用いられるデータの一例として、文書データ１３ａ、抽出単語データ１３ｂ及び認識単語データ１３ｃを記憶する。なお、上記の文書データ１３ａ以外の抽出単語データ１３ｂ及び認識単語データ１３ｃは、制御部１５による処理を経て生成される中間データであるので、制御部１５の説明で併せて説明することとする。また、記憶部１３には、上記のデータ以外にも、他の電子データ、例えばプレゼンテーションの時間割なども併せて記憶することもできるのは言うまでもない。

文書データ１３ａは、文書に関するデータである。

一実施形態として、文書データ１３ａには、プレゼンテーションソフトを用いて１または複数のスライドが作成された文書ファイルを採用できる。かかるスライドには、テキストや図形を始め、他のアプリケーションプログラムによって作成されたコンテンツをインポートすることができる。例えば、ワープロソフトで作成された文書、表計算ソフトで作成された表やグラフをインポートしたり、撮像デバイスで撮像された画像や動画、さらには、画像編集ソフトで編集された画像や動画などをインポートしたりすることができる。このように、テキスト以外のコンテンツには、音声認識によるキーワード検索を実現するために、プレゼンテーションの開始前までに当該コンテンツの説明語句や説明文などの文字列を含むメタ情報を付与しておくことができる。

制御部１５は、各種のプログラムや制御データを格納する内部メモリを有し、これらによって種々の処理を実行するものである。

一実施形態として、制御部１５は、中央処理装置、いわゆるＣＰＵ（Central Processing Unit）として実装される。なお、制御部１５は、必ずしも中央処理装置として実装されずともよく、ＭＰＵ（Micro Processing Unit）として実装されることとしてもよい。また、制御部１５は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

制御部１５は、各種のプログラムを実行することによって下記の処理部を仮想的に実現する。例えば、制御部１５は、図２に示すように、分割部１５ａと、抽出部１５ｂと、付与部１５ｃと、認識部１５ｄと、算出部１５ｅと、設定部１５ｆと、表示制御部１５ｇとを有する。

分割部１５ａは、スライドを複数の領域に分割する処理部である。

一実施形態として、分割部１５ａは、記憶部１３に記憶された文書データ１３ａが含む文書ファイルのうち先に指定を受け付けた文書ファイルを読み出す。ここでは、一例として、分割部１５ａが記憶部１３から文書ファイルを読み出す場合を例示したが、文書ファイルの入手経路はこれに限定されない。例えば、分割部１５ａは、ハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢ（Universal Serial Bus）メモリなどのリムーバブルメディアから画像を取得することもできる。また、取得部１５ａは、外部装置からネットワークを介して受信することによって画像を取得することもできる。

続いて、分割部１５ａは、先に読み出した文書ファイルに含まれるスライドを複数の領域へ分割する。例えば、分割部１５ａは、一文、行、段落などの単位でスライドを分割する。この場合、分割部１５ａは、スライドが含む文字列を走査して、スペース、句点または改行に対応する区切り文字を検出し、当該区切り文字を領域の境界に設定する。かかる境界を前後に、分割部１５ａは、スライドが含む文字列を区切る。これによって、スライドが複数の領域へ区切り文字ごとに分割される。その上で、分割部１５ａは、スライドの分割によって得られた領域に当該領域を識別するインデックスを割り当てる。なお、ここでは、スライドを自動的に分割する場合を例示したが、入力装置７等を介して領域の境界を指定させることによってスライドを手動設定で分割することとしてもよい。

抽出部１５ｂは、領域が含む文字列から単語を抽出する処理部である。

一実施形態として、抽出部１５ｂは、スライドの分割後に、複数の領域のうち領域を１つ選択する。続いて、抽出部１５ｂは、先に選択された領域が含む文字列に対し、自然言語処理を実行することによって単語を抽出する。例えば、抽出部１５ｂは、領域内の文字列に形態素解析等を実行することにより得られた形態素のうち品詞が名詞である単語を抽出する。そして、抽出部１５ｂは、先に抽出された各単語に当該単語が含まれる領域に割り当てられたインデックスを付与する。その後、抽出部１５ｂは、スライドが含む領域が全て選択されるまで上記の単語の抽出及び上記のインデックスの付与を繰返し実行する。なお、ここでは、スライドが含む領域を１つずつ順番に処理する場合を例示したが、各領域を並列して処理することができるのは言うまでもない。

付与部１５ｃは、各単語に重みを付与する処理部である。

一実施形態として、付与部１５ｃは、抽出部１５ｂにより全ての領域から単語が抽出された後に、スライドに含まれる単語ごとに当該単語ｋの出現頻度ｆ_ｋを算出する。かかる出現頻度の一例として、付与部１５ｃは、単語ｋが同一のスライドに出現する回数を集計することによって単語別の総出現回数を算出する。そして、付与部１５ｃは、先に単語別に算出された出現頻度ｆ_ｋに対応する単語の重みｗ_ｋを付与する。この場合、付与部１５ｃは、出現頻度ｆ_ｋが高くなるにしたがって重みｗ_ｋが小さい値となる重みの算出式を用いる。例えば、付与部１５ｃは、重みの算出式「ｗ_ｋ＝１／ｆ_ｋ ^２」に出現頻度ｆ_ｋを代入することによって計算された重みｗ_ｋを単語ｋに付与する。その上で、付与部１５ｃは、単語ｋ、インデックスｉｄｘ及び重みｗ_ｋが対応付けられた抽出単語データ１３ｂを記憶部１３へ登録する。

図３は、抽出単語データ１３ｂの一例を示す図である。図３には、複数のスライドのうち１つのスライドに関する抽出単語データが抜粋して示されている。図３に示す抽出単語データ１３ｂの例で言えば、単語“ａ”が領域「ｉｄｘ１」及び領域「ｉｄｘ２」の２つの領域に出現することを意味する。さらに、単語“ａ”は、出現頻度が「２」であるので、１／２^２の計算により０．２５が重みとして付与されている。また、単語“ｂ”が領域「ｉｄｘ１」及び領域「ｉｄｘ３」の２つの領域に出現することを意味する。さらに、単語“ｂ”も出現頻度が「２」であるので、０．２５が重みとして付与されている。また、単語“ｃ”が領域「ｉｄｘ１」及び領域「ｉｄｘ２」の２つの領域に出現することを意味する。さらに、単語“ｃ”も出現頻度が「２」であるので、０．２５が重みとして付与されている。また、単語“ｄ”が領域「ｉｄｘ２」及び領域「ｉｄｘ３」の２つの領域に出現することを意味する。さらに、単語“ｄ”も出現頻度が「２」であるので、０．２５が重みとして付与されている。最後に、単語“ｅ”が領域「ｉｄｘ３」の１つの領域に出現することを意味する。そして、単語“ｅ”は、出現頻度が「１」であるので、１／１^２の計算により１が重みとして付与されている。なお、図３には、１つのスライドに関する抽出単語データを例示したが、他のスライドについても各項目の値は異なれども図３の例と同様にコンピュータが単語の領域や重みを識別できる状態で抽出単語データが記憶される。

なお、単語の重みｆ_ｋの算出方法に関する応用例の詳細については後述するが、単語の重みｆ_ｋは上記の例に限定されない。すなわち、付与部１５ｃは、上記の総出現回数以外の他の因子を用いて単語の重みｆ_ｋを算出することもできるし、あるいは上記の総出現回数に他の因子を加えて単語の重みｆ_ｋを算出することができる。

認識部１５ｄは、音声認識を実行する処理部である。

一実施形態として、認識部１５ｄは、プレゼンテーションソフトが文書ファイルを開いた状態でプレゼンテーションの開始指示を受け付けた場合に起動し、マイク３から所定時間長の音声信号が入力されるまで待機する。例えば、少なくとも１フレーム分の時間長、例えば１０ｍｓｅｃの音声信号が入力されるのを待機する。そして、認識部１５ｄは、マイク３から所定時間長の音声信号が入力される度に、当該音声信号にワードスポッティングなどの音声認識を実行する。このとき、認識部１５ｄは、記憶部１３に記憶された抽出単語データ１３ｂのうちプレゼンテーションソフトが実行中である文書ファイルが含むスライドであり、かつ表示装置５に表示中であるスライドに関する抽出単語データをワードスポッティングに適用する。これによって、認識部１５ｄは、プレゼンタの発話の中に表示中のスライドに含まれる各領域から抽出された単語が存在するか否かを認識する。そして、認識部１５ｄは、音声信号から単語が認識された場合、当該単語及びその単語が認識された時間が対応付けられた認識単語データ１３ｃを記憶部１３へ登録する。なお、同一の単語が時間経過に伴って複数回にわたって認識される場合には、最後、すなわち最新に認識された時刻が記憶部１３へ登録される。

その後、認識部１５ｄは、記憶部１３に記憶された認識単語データ１３ｃのうち記憶部１３へ登録されてから所定の期間が経過した単語が存在するか否かを判定する。例えば、認識部１５ｄは、認識単語データ１３ｃに含まれる単語ごとに、当該単語に対応付けて登録された時間と、認識部１５ｄが認識単語データ１３ｃを参照する時間、すなわち現時間との差が所定の閾値を超過するか否かを判定する。このとき、認識部１５ｄは、分割部１５ａによってスライドが分割された単位、例えば一文、行や段落などによって上記の判定に用いる閾値を変えることができる。例えば、スライドが行単位で分割される場合、１つの領域で読み上げられる文字数はおよそ２０〜３０文字であると想定できる。この場合、上記の閾値の一例として、５〜１０秒を用いることができる。また、スライドが段落単位で分割される場合、行単位よりも長い時間が読み上げに割かれると想定できる。この場合、上記の閾値の一例として、２０〜３０秒を用いることができる。

ここで、記憶部１３へ登録されてから所定の期間が経過した単語が存在する場合、当該単語を含むスライドの領域に関する説明が終了している可能性が高まる。このような単語を残しておくと、説明が終了している領域がハイライトで表示される可能性も高まる。よって、認識部１５ｄは、記憶部１３に記憶された認識単語データ１３ｃから当該単語に関するレコードを削除する。一方、記憶部１３へ登録されてから所定の期間が経過した単語が存在しない場合、認識単語データ１３ｃに含まれる単語が出現するスライドの領域に関する説明が終了していない可能性が高まる。この場合、説明が終了している領域がハイライトで表示される可能性は低い。よって、認識部１５ｄは、記憶部１３に記憶された認識単語データ１３ｃに含まれる単語を削除せずにそのまま残す。

また、認識部１５ｄは、表示装置５に表示されるスライドのページが変更されたか否かを判定する。例えば、認識部１５ｄは、スライドショーによりスライドが切り替えられたり、入力装置７を介してスライドのページを進める操作またはスライドのページを戻す操作を受け付けたりしたかを判定する。このとき、表示装置５に表示されるスライドのページが変更された場合、プレゼンタの説明も変更前のページのスライドから変更後のページのスライドへ切り替わった可能性が高い。この場合、認識部１５ｄは、記憶部１３に記憶された認識単語データ１３ｃを削除する。一方、表示装置５に表示されるスライドのページが変更されていない場合、プレゼンタが説明するページにも変りがない可能性が高い。この場合、認識部１５ｄは、記憶部１３に記憶された認識単語データ１３ｃに含まれる単語を削除せずにそのまま残す。

これら一連の動作により、認識部１５ｄは、表示中であるスライドの中でプレゼンタが説明中である可能性が高い単語を認識する。以下では、抽出単語データ１３ｂに含まれる単語のことを「抽出単語」と記載すると共に、認識単語データ１３ｃに含まれる単語のことを「認識単語」と記載し、互いのラベルを区別する場合がある。

算出部１５ｅは、表示中であるスライド内の領域と、音声認識結果として得られた単語との関連度を算出する処理部である。

一実施形態として、算出部１５ｅは、表示装置５に表示中であるスライドが含む領域のインデックスのうちインデックスを１つ選択する。続いて、算出部１５ｅは、先に選択されたインデックスの領域に対応付けられた抽出単語データ１３ｂの抽出単語のうち認識単語データ１３ｃの認識単語と一致する抽出単語に付与された重みから当該領域の関連度を算出する。例えば、上記の単語の重みｗ_ｋを用いて領域ｘの関連度ｒ_ｘを算出する場合、算出部１５ｅは、認識単語と一致する抽出単語に付与された重みｗ_ｋを合計することによって関連度ｒ_ｘを算出できる。このとき、インデックスの領域に対応付けられた抽出単語の中に認識単語と一致する単語が存在しない場合、当該領域の関連度はゼロと算出されることになる。このような算出ロジックによって、スライド内の各領域の記述内容がプレゼンタの発話内容との間で関連している度合いを上記の「関連度」として求める。

設定部１５ｆは、スライド内の領域のハイライト表示を進行させる速度を設定する処理部である。以下では、ハイライト表示を進行させる速度のことを「ハイライト速度」と記載する場合がある。

一実施形態として、設定部１５ｆは、算出部１５ｅにより関連度が算出される度に、関連度が高い領域ほどハイライト速度を高く設定し、あるいは関連度が低い領域ほどハイライト速度を低く設定する。例えば、上記の関連度ｒ_ｘを用いて領域ｘのハイライト速度ｖ_ｘを設定する場合、設定部１５ｆは、ハイライト速度ｖ_ｘの算出式「ｖ_ｘ＝Ｖ×ｒ_ｘ」に上記の関連度ｒ_ｘを代入することによって算出することができる。この算出式に含まれる「Ｖ」は、予め定められた固定値である。つまり、上記のハイライト速度ｖ_ｘの算出式を用いれば、関連度ｒ_ｘの値と比例するハイライト速度ｖ_ｘを算出することが可能となる。

表示制御部１５ｇは、表示装置５に対する表示制御を実行する処理部である。

一実施形態として、表示制御部１５ｇは、プレゼンテーションソフトにより文書ファイルが開かれた場合、当該文書ファイルが含むスライドを表示装置５に表示させる。このとき、表示制御部１５ｇは、文書ファイルが含むスライドのうち最初のページのスライドを表示させることとしてもよいし、最後に編集が行われたページのスライドを表示させることとしてもよい。

その後、表示制御部１５ｇは、プレゼンテーションの開始指示を受け付けた場合、設定部１５ｆにより各領域のハイライト速度が設定される度に、次のような処理を実行する。すなわち、表示制御部１５ｇは、表示中のスライドが含む領域ごとに当該領域に設定されたハイライト速度にしたがってハイライト表示を進行させる。すなわち、表示制御部１５ｇは、領域のハイライト速度にゼロよりも大きな値が設定されたからといってハイライト表示を直ちに完了させるとは限らない。つまり、表示制御部１５ｇは、設定部１５ｆにより設定されたハイライト速度でハイライト表示を完了へ向けて進行させる。これによって、ゼロよりも大きいハイライト速度が設定された領域に対し、スライドの作成時に設定された表示形態とは異なる表示形態へ向けてハイライト表示が進行される。以下では、領域のハイライト表示が完了へ向けて進行している度合いのことを「進行度」と記載する場合がある。

ここで、表示制御部１５ｇは、任意のハイライト表示を実行することができる。例えば、表示制御部１５ｇは、スライドの作成時に領域へ設定された輝度よりも領域が含む文字列または文字列の背景の輝度を上昇させることによって強調表示を実現することができる。また、表示制御部１５ｇは、文字列のフォントを変えたり、背景の表示色や塗りつぶしを変えることとしてもかまわない。この他、表示制御部１５ｇは、領域を反転表示させることによって強調表示を実現することもできる。

また、表示制御部１５ｇは、ハイライト表示の進行度が所定の閾値以上である領域の有無を監視する。そして、ハイライト表示の進行度が所定の閾値以上である領域が存在する場合、当該領域は、ハイライト表示の進行度が閾値未満である領域よりもハイライト速度、言い換えれば関連度の総和の平均が高い状態で維持されたと判断できる。この場合、表示制御部１５ｇは、ハイライト表示の進行度が閾値以上である領域のハイライト速度の設定は維持し、ハイライト表示の進行度が閾値未満である領域のハイライト表示を元の状態に戻すと共にハイライト表示の進行度が閾値未満である領域のハイライト速度をゼロにリセットする。これによって、時間経過もしくは認識単語と一致する抽出単語の時間経過による積み重なりから、プレゼンタの説明箇所であると判断できる領域に絞ってハイライト表示を実行させる。

その後、表示制御部１５ｇは、ハイライト表示の進行度が閾値以上である領域で算出部１５ｅにより算出される関連度が低下するか否かを判定する。例えば、今回に算出されるカレントの関連度が前回に算出されたパストの関連度よりも低い場合、時間経過によって認識単語と一致する抽出単語の数が減ったり、あるいは重みの低い抽出単語しか認識単語と一致しなかったりという状況変化があると判断できる。この場合、表示制御部１５ｇは、関連度が低下した領域のハイライト表示を元の状態に戻すと共にハイライト速度をゼロにリセットする。なお、ここでは、カレントの関連度がパストの関連度よりも低い場合にハイライト表示を取り消す場合を例示したが、カレントの関連度がパストの関連度よりも一定値にわたって低い場合にハイライト表示を取り消すこととしてもかまわない。

また、表示制御部１５ｇは、入力装置７を介してページの切替え指示を受け付けた場合、表示装置５に表示させるスライドを変更する。例えば、ページを進める操作を受け付けた場合、表示制御部１５ｇは、表示中のスライドの次ページのスライドを表示装置５に表示させる。また、ページを戻る操作を受け付けた場合、表示制御部１５ｇは、表示中のスライドの前ページのスライドを表示装置５に表示させる。

［具体例］
次に、図４〜図６を用いて、プレゼンテーション支援方法の具体例について説明する。図４は、ハイライト表示の進行度に関する時間変化の一例を示す図である。図５及び図６は、スライド画面の遷移例を示す図である。これら図４には、図３に示した抽出単語データ１３ｂを用いて、表示装置５に表示中であるスライドが含む各領域の関連度が算出される場合が例示されている。また、図５及び図６には、図３に示した抽出単語データ１３ｂの例にしたがって表示装置５に表示中であるスライドがインデックスｉｄｘ１〜ｉｄｘ３の３つの領域を含む場合が例示されている。なお、ここでは、ハイライト表示の一例として、領域に設定されたハイライト速度にしたがって各領域の反転表示が実行される場合を例示する。

図４に示すように、時刻ｔ１の時点までは、いずれの単語も認識されていないので、インデックスｉｄｘ１〜ｉｄｘ３のいずれの領域でもハイライト表示が実行されていない。すなわち、図５の最上段に示すように、スライドの作成時に設定された表示形態のままでインデックスｉｄｘ１〜ｉｄｘ３の領域が表示される。

ここで、時刻ｔ１の時点で単語“ａ”が認識されたとしたとき、各領域の関連度は、次のように算出される。すなわち、図３に示したように、インデックスｉｄｘ１及びインデックスｉｄｘ２の２つの領域には、抽出単語に重み「０．２５」が設定された認識単語“ａ”が含まれるので、関連度が「０．２５」と算出される。一方、インデックスｉｄｘ３の領域には、いずれの認識単語も含まれないので、関連度が「０」と算出される。この結果、インデックスｉｄｘ１及びインデックスｉｄｘ２の２つの領域には、関連度「０．２５」に比例するハイライト速度が設定されると共に、インデックスｉｄｘ３の領域には、ハイライト速度がゼロに設定される。

そして、時刻ｔ２の時点では、図５の上から２番目に示すスライド画面となる。すなわち、インデックスｉｄｘ１及びインデックスｉｄｘ２の２つの領域は、ハイライト表示が同程度に進行する一方で、インデックスｉｄｘ３の領域は、ハイライト表示が進行していない状態に遷移する。

この時刻ｔ２の時点で単語“ｂ”が認識されたとする。この場合、インデックスｉｄｘ１の領域には、抽出単語に重み「０．２５」が設定された認識単語“ａ”と重み「０．２５」が設定された認識単語“ｂ”との２つの認識単語が含まれるので、関連度が「０．５」と算出される。また、インデックスｉｄｘ２の領域には、時刻ｔ１の時点と同様に、抽出単語に重み「０．２５」が設定された認識単語“ａ”が含まれるので、関連度が「０．２５」と算出される。一方、インデックスｉｄｘ３の領域には、抽出単語に重み「０．２５」が設定された認識単語“ｂ”が含まれるので、関連度が「０．２５」と算出される。この結果、インデックスｉｄｘ１には、関連度「０．５」に比例するハイライト速度が設定され、インデックスｉｄｘ２の領域には、関連度「０．２５」に比例するハイライト速度が設定され、インデックスｉｄｘ３の領域には、関連度「０．２５」に比例するハイライト速度が設定される。つまり、時刻ｔ２の時点で、各領域のハイライト速度は、「ｉｄｘ１＞ｉｄｘ２＝ｉｄｘ３」となる。

その後、時刻ｔ３の時点では、図５の上から３番目に示すスライド画面へ遷移する。すなわち、インデックスｉｄｘ１及びインデックスｉｄｘ２の２つの領域の間で、ハイライト表示の進行度に差が生じ始める。つまり、インデックスｉｄｘ１の領域は、インデックスｉｄｘ２の領域に比べて大きくハイライト表示が進行する。さらに、インデックスｉｄｘ３の領域は、インデックスｉｄｘ２よりも遅れてハイライト速度が設定された分、インデックスｉｄｘ２のハイライト表示の進行度との間に遅れがある。

この時刻ｔ３の時点で単語“ｃ”が認識されたとする。この場合、インデックスｉｄｘ１の領域には、重み「０．２５」が設定された認識単語“ａ”、重み「０．２５」が設定された認識単語“ｂ”、及び、重み「０．２５」が設定された認識単語“ｃ”の３つが抽出単語に含まれる。このため、関連度は、「０．２５＋０．２５＋０．２５」の計算により、「０．７５」と算出される。また、インデックスｉｄｘ２の領域には、抽出単語に重み「０．２５」が設定された認識単語“ａ”と抽出単語に重み「０．２５」が設定された認識単語“ｃ”とが含まれるので、関連度が「０．５」と算出される。一方、インデックスｉｄｘ３の領域には、時刻ｔ２の場合と同様に、抽出単語に重み「０．２５」が設定された認識単語“ｂ”が含まれるので、関連度が「０．２５」と算出される。この結果、インデックスｉｄｘ１には、関連度「０．７５」に比例するハイライト速度が設定され、インデックスｉｄｘ２の領域には、関連度「０．５」に比例するハイライト速度が設定され、インデックスｉｄｘ３の領域には、関連度「０．２５」に比例するハイライト速度が設定される。つまり、時刻ｔ３の時点で、各領域のハイライト速度は、「ｉｄｘ１＞ｉｄｘ２＞ｉｄｘ３」となる。

その後、時刻ｔ４の時点では、図５の上から４番目に示すスライド画面へ遷移する。すなわち、インデックスｉｄｘ１の領域のハイライト表示が閾値に達する段階まで進行する。一方で、インデックスｉｄｘ２及びインデックスｉｄｘ３の２つの領域は、互いの進行度に差はあるものの、進行度は閾値までは達していない。

このようにインデックスｉｄｘ１の領域のハイライト表示が閾値まで進行した場合、図６の上から１番目に示すスライド画面へ遷移する。つまり、ハイライト表示が閾値まで進行したインデックスｉｄｘ１の領域は、そのままハイライト表示が維持される一方で、ハイライト表示が閾値まで進行していないインデックスｉｄｘ２及びインデックスｉｄｘ３の領域は、ハイライト表示がキャンセルされる。

その後、時刻ｔ５の時点になるまで図６の上から１番目に示すスライド画面のまま遷移し、時刻ｔ５になって認識単語データ１３ｃから認識単語“ａ”、“ｂ”及び“ｃ”が削除されると、図６の上から２番目に示すスライド画面へ遷移する。すなわち、インデックスｉｄｘ１〜インデックスｉｄｘ３の３つの領域には、いずれも認識単語が含まれなくなるので、関連度が「０」と算出される。この結果、ハイライト表示が閾値まで進行したインデックスｉｄｘ１の領域の関連度が低下するので、インデックスｉｄｘ１の領域のハイライト表示がキャンセルされる。このため、インデックスｉｄｘ１〜インデックスｉｄｘ３の３つの領域は、いずれもスライドの作成時に設定されたデフォルトの表示形態に戻る。そして、図６の上から２番目に示すスライド画面は、時刻ｔ６の時点になって単語“ｅ”が認識されるまで維持される。

その後、時刻ｔ６の時点になって単語“ｅ”が認識されると、各領域の関連度は、次のように算出される。すなわち、３つの領域のうち抽出単語に認識単語“ｅ”が含まれる領域は、インデックスｉｄｘ３だけである。このため、インデックスｉｄｘ３の領域には、認識単語“ｅ”に設定された重み「１」が関連度として算出される。一方、インデックスｉｄｘ１及びインデックスｉｄｘ２の領域は、いずれの認識単語も含まれないので、関連度が「０」と算出される。この結果、インデックスｉｄｘ１及びインデックスｉｄｘ２の２つの領域には、ハイライト速度がゼロに設定されると共に、インデックスｉｄｘ３の領域には、関連度「１」に比例するハイライト速度が設定される。

この結果、時刻ｔ７の時点では、インデックスｉｄｘ３の領域のハイライト表示が閾値まで進行する。この場合、図６の上から３番目に示すスライド画面へ遷移する。つまり、ハイライト表示が閾値まで進行したインデックスｉｄｘ３の領域は、そのままハイライト表示が維持される一方で、インデックスｉｄｘ２及びインデックスｉｄｘ３の領域は、いずれもスライドの作成時に設定されたデフォルトの表示形態が維持される。

このとき、インデックスｉｄｘ３の領域のハイライト表示の進行度が閾値に達するまでの期間は、インデックスｉｄｘ１の領域のハイライト表示の進行度が閾値に達するまでの期間よりも短い。これは、インデックスｉｄｘ３の領域には、関連度「１」に比例するハイライト速度が設定されるので、時刻ｔ１、時刻ｔ２及び時刻ｔ３の各時点のうち最高でも、関連度「０．７５」に比例するハイライト速度が設定されたインデックスｉｄｘ１の領域のハイライト表示よりも、進行度が閾値に達するまでの期間は短くなるからである。

これら図５及び図６に示すハイライト表示によって、時刻ｔ１〜時刻ｔ５にかけてプレゼンタがインデックスｉｄｘ１の領域に関する説明を行う場合に、インデックスｉｄｘ１の領域を含めてハイライト表示できる。すなわち、時刻ｔ１及び時刻ｔ２の段階で、インデックスｉｄｘ２やインデックスｉｄｘ３の領域の抽出単語に認識単語が含まれるからといってインデックスｉｄｘ２やインデックスｉｄｘ３の領域のハイライト表示だけが進行される訳ではなく、インデックスｉｄｘ１の領域もハイライト表示が進行される。したがって、プレゼンタの説明箇所がハイライト表示されない事態を抑制できる。

さらに、プレゼンタが時刻ｔ６からインデックスｉｄｘ３の領域に関する説明を行う場合には、インデックスｉｄｘ３の領域の抽出単語にしか含まれない単語が認識される。このようにプレゼンタがインデックスｉｄｘ３の領域に関する説明を確度が高い場合、インデックスｉｄｘ３の領域のハイライト表示の進行度を高めることもできる。したがって、プレゼンタの発話からハイライト表示までのレスポンスの低下を抑制しつつ、誤りのおそれがあるハイライト表示に注意が集まる事態を抑制できる。

［処理の流れ］
次に、本実施例に係るプレゼンテーション支援装置１０の処理の流れについて説明する。なお、ここでは、プレゼンテーション支援装置１０によって実行される（１）重み付与処理、（２）音声認識処理、（３）表示制御処理の順に説明することとする。

（１）重み付与処理
図７は、実施例１に係る重み付与処理の手順を示すフローチャートである。この処理は、自動的に開始することもできるし、手動設定で開始することもできる。例えば、自動的に開始する場合、プレゼンテーションソフトが文書ファイルを記憶部１３に保存した上で閉じる場合、あるいはプレゼンテーションを介する文書ファイルの編集中に文書ファイルが記憶部１３に保存された場合に、処理を起動させることができる。また、手動設定で開始する場合、入力装置７を介してプレゼンテーションの前処理の実行指示を受け付けた場合に、処理を起動させることができる。いずれの場合においても、記憶部１３に記憶された文書データ１３ａが含む文書ファイルのうち、保存または実行指示に対応する文書ファイルを読み出すことによって処理が開始される。

図７に示すように、分割部１５ａは、文書ファイルに含まれるスライドを一文、行または段落などの単位で複数の領域へ分割する（ステップＳ１０１）。続いて、分割部１５ａは、ステップＳ１０１で得られた領域に各領域を識別するインデックスを割り当てる（ステップＳ１０２）。

そして、抽出部１５ｂは、ステップＳ１０２で割り当てられたインデックスのうちインデックスを１つ選択する（ステップＳ１０３）。続いて、抽出部１５ｂは、ステップＳ１０３で選択されたインデックスの領域内の文字列に形態素解析等を実行することにより得られた形態素のうち品詞が名詞である単語を抽出する（ステップＳ１０４）。その後、抽出部１５ｂは、ステップＳ１０４で抽出された各単語に当該単語が含まれる領域に割り当てられたインデックスを付与する（ステップＳ１０５）。

そして、抽出部１５ｂは、ステップＳ１０２で割り当てられたインデックスが全て選択されるまで（ステップＳ１０６Ｎｏ）、上記のステップＳ１０３〜ステップＳ１０５までの処理を繰返し実行する。

その後、ステップＳ１０１で割り当てられたインデックスが全て選択された場合（ステップＳ１０６Ｙｅｓ）、付与部１５ｃは、スライドに含まれる単語ごとに当該単語ｋの出現頻度ｆ_ｋを算出する（ステップＳ１０７）。そして、付与部１５ｃは、ステップＳ１０７で単語別に算出された出現頻度ｆ_ｋに対応する単語の重みｗ_ｋを付与する（ステップＳ１０８）。その上で、付与部１５ｃは、単語ｋ、インデックスｉｄｘ及び重みｗ_ｋが対応付けられた抽出単語データ１３ｂを記憶部１３へ登録し（ステップＳ１０９）、処理を終了する。

（２）音声認識処理
図８は、実施例１に係る音声認識処理の手順を示すフローチャートである。この処理は、プレゼンテーションソフトが文書ファイルを開いた状態でプレゼンテーションの開始指示を受け付けた場合に起動し、プレゼンテーションの終了指示を受け付けるまで繰返し実行される。

図８に示すように、認識部１５ｄは、マイク３から所定時間長の音声信号が入力されるまで、例えば少なくとも１フレーム分の時間長、例えば１０ｍｓｅｃの音声信号が入力されるまで待機する（ステップＳ３０１）。

そして、マイク３から所定時間長の音声信号が入力されると（ステップＳ３０１Ｙｅｓ）、認識部１５ｄは、当該音声信号にワードスポッティングなどの音声認識を実行する（ステップＳ３０２）。かかるステップＳ３０２でワードスポッティングが実行される場合には、記憶部１３に記憶された抽出単語データ１３ｂのうちプレゼンテーションソフトが実行中である文書ファイルが含むスライドであり、かつ表示装置５に表示中であるスライドに関する抽出単語データが辞書データとして適用される。

このとき、音声信号から単語が認識された場合（ステップＳ３０３Ｙｅｓ）、認識部１５ｄは、ステップＳ３０２で認識された単語及びその単語が認識された時間が対応付けられた認識単語データ１３ｃを記憶部１３へ登録し（ステップＳ３０４）、ステップＳ３０５の処理へ移行する。

一方、マイク３から所定時間長の音声信号が入力されていない場合、あるいは音声信号から単語が認識されなかった場合（ステップＳ３０１ＮｏまたはステップＳ３０３Ｎｏ）、以降の処理を飛ばしてステップＳ３０５の処理へ移行する。

ここで、認識部１５ｄは、記憶部１３に記憶された認識単語データ１３ｃのうち記憶部１３へ登録されてから所定の期間が経過した単語が存在するか否かを判定する（ステップＳ３０５）。そして、記憶部１３へ登録されてから所定の期間が経過した単語が存在する場合（ステップＳ３０５Ｙｅｓ）、認識部１５ｄは、記憶部１３に記憶された認識単語データ１３ｃから当該単語に関するレコードを削除する（ステップＳ３０６）。なお、記憶部１３へ登録されてから所定の期間が経過した単語が存在しない場合（ステップＳ３０５Ｎｏ）には、ステップＳ３０６の処理を飛ばしてステップＳ３０７の処理へ移行する。

その後、認識部１５ｄは、表示装置５に表示されるスライドのページが変更されたか否かを判定する（ステップＳ３０７）。このとき、表示装置５に表示されるスライドのページが変更された場合（ステップＳ３０７Ｙｅｓ）、認識部１５ｄは、記憶部１３に記憶された認識単語データ１３ｃを削除し（ステップＳ３０８）、ステップＳ３０１の処理へ戻る。なお、表示装置５に表示されるスライドのページが変更されていない場合（ステップＳ３０７Ｎｏ）、ステップＳ３０８の処理を実行せずにステップＳ３０１の処理へ戻る。

（３）表示制御処理
図９は、実施例１に係る表示制御処理の手順を示すフローチャートである。この処理は、図８に示した音声認識処理と並行して実行される処理であり、プレゼンテーションソフトが文書ファイルを開いた状態でプレゼンテーションの開始指示を受け付けた場合に起動し、プレゼンテーションの終了指示を受け付けるまで繰返し実行される。なお、処理の実行が繰り返される周期は、図８に示した音声認識処理と同様であってもよいし、異なってもよく、図８に示した音声認識処理と同期して実行されることとしてもよいし、非同期で実行されることとしてもかまわない。

図９に示すように、算出部１５ｅは、表示装置５に表示中であるスライドが含む領域のインデックスのうちインデックスを１つ選択する（ステップＳ５０１）。続いて、算出部１５ｅは、ステップＳ５０１で選択されたインデックスの領域に対応付けられた抽出単語データ１３ｂの抽出単語のうち認識単語と一致する抽出単語に付与された重みから当該領域の関連度を算出する（ステップＳ５０２）。

そして、設定部１５ｆは、ステップＳ５０１で選択されたインデックスの領域に対し、ステップＳ５０２で算出された関連度が高いほどハイライト速度を高く設定し、あるいは関連度が低いほどハイライト速度を低く設定する（ステップＳ５０３）。

その後、全てのインデックスが選択されるまで（ステップＳ５０４Ｎｏ）、上記のステップＳ５０１〜ステップＳ５０３までの処理を繰返し実行する。これによって、全ての領域にハイライト速度が設定されるまで上記のステップＳ５０１〜ステップＳ５０３までの処理が繰返し実行されることになる。

その後、全てのインデックスが選択された場合（ステップＳ５０４Ｙｅｓ）、ハイライト表示の進行度が所定の閾値以上である領域の有無を監視する（ステップＳ５０５）。このとき、ハイライト表示の進行度が所定の閾値以上である領域が存在しない場合（ステップＳ５０５Ｎｏ）、表示制御部１５ｇは、次のような処理を実行する。すなわち、表示制御部１５ｇは、ステップＳ５０３で各領域に設定されたハイライト速度にしたがって各領域のハイライト表示を進行させ（ステップＳ５０６）、処理を終了する。

一方、ハイライト表示の進行度が所定の閾値以上である領域が存在する場合（ステップＳ５０５Ｙｅｓ）、表示制御部１５ｇは、次のような処理を実行する。すなわち、表示制御部１５ｇは、ハイライト表示の進行度が閾値以上である領域のハイライト速度の設定は維持し、ハイライト表示の進行度が閾値未満である領域のハイライト表示を元の状態に戻すことによりハイライト表示をキャンセルし（ステップＳ５０７）、ハイライト表示の進行度が閾値未満である領域のハイライト速度をゼロにリセットする（ステップＳ５０８）。

続いて、表示制御部１５ｇは、ハイライト表示の進行度が閾値以上である領域でカレントの関連度がパストの関連度未満であるか否かを判定する（ステップＳ５０９）。このとき、カレントの関連度がパストの関連度以上である場合（ステップＳ５０９Ｎｏ）、表示制御部１５ｇは、ステップＳ５０８で各領域に設定されたハイライト速度にしたがって各領域のハイライト表示を進行させ（ステップＳ５０６）、処理を終了する。

一方、カレントの関連度がパストの関連度未満である場合（ステップＳ５０９Ｙｅｓ）、表示制御部１５ｇは、関連度が低下した領域のハイライト表示を元の状態に戻すことによりハイライト表示をキャンセルし（ステップＳ５１０）、ハイライト速度をゼロにリセットし（ステップＳ５１１）、処理を終了する。

［効果の一側面］
上述してきたように、本実施例に係るプレゼンテーション支援装置１０は、プレゼンテーション画面のうち音声の認識結果として得られた単語を含む領域をハイライト表示させる場合に、単語との関連度が高い領域の表示ほどハイライトの速度を上げ、関連度が低い領域の表示ほどハイライトの速度を下げる。

このように、本実施例に係るプレゼンテーション支援装置１０では、ハイライト表示が実行される領域が必ずしも択一に限定されない。このため、音声認識で単語が複数の領域にまたがって検出された場合、各領域でハイライト表示が実行される。それ故、ハイライト表示が実行される領域の中にプレゼンタの説明箇所が含まれる可能性を高めることができる。したがって、本実施例に係るプレゼンテーション支援装置１０によれば、プレゼンタの説明箇所がハイライト表示されない事態を抑制できる。

さらに、本実施例に係るプレゼンテーション支援装置１０では、音声認識の結果として得た単語及び領域の関連度の高低によって領域をハイライトさせる速度が変化する。例えば、複数の領域がハイライト表示される場合でも、プレゼンタの説明箇所である可能性が高い領域に関するハイライト表示のレスポンスを上げる。これによって、プレゼンタの説明箇所である可能性が高い領域を注目させやすくできる。これと共に、プレゼンタの説明箇所である可能性が低い領域に関するハイライト表示のレスポンスを下げる。これによって、プレゼンタの説明箇所でない可能性が他の領域よりも高い領域が知覚されるのを遅らせることができる。このように、プレゼンタの発話からハイライト表示までのレスポンスの低下を抑制しつつ、誤りのおそれがあるハイライト表示に注意が集まる事態を抑制できる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

［テキスト以外のハイライト表示］
上記の実施例１では、スライドのうち文字列を含む領域をハイライト表示させる場合を例示したが、スライドには、文字列以外にも、グラフ、表、画像や動画などが含まれていてもかまわない。この場合、例えば、プレゼンテーション支援装置１０は、グラフ、表、画像や動画に設定されたメタ情報に含まれる文字列から単語を抽出することによって上記の実施例１と同様に抽出単語データを生成することができる。

［ハイライト表示の対象］
上記の実施例１では、ハイライト表示の進行度が閾値以上であるか否かによってハイライトの表示及び非表示を切り替える場合を例示したが、他の因子によってハイライトの表示及び非表示を切り替えることもできる。例えば、表示制御部１５ｇは、領域の関連度または領域のハイライト速度が所定の閾値以上であるか否かによってハイライトの表示及び非表示を切り替えることもできる。この場合、時間経過によってハイライト表示が進行するよりも前にハイライトの表示及び非表示を制御できる。

［出現頻度の応用例］
上記の実施例１では、単語ｋが同一のスライドに出現する回数が集計された総出現回数を出現頻度として用いる場合を例示したが、必ずしも出現頻度は総出現回数に限定されない。例えば、単語ｋが各領域間で出現する回数が集計された領域間の出現回数を出現頻度として用いることもできる。一例を挙げれば、インデックスｉｄｘ１〜ｉｄｘ３の３つの領域のうち単語ｋが１つの領域に出現される場合には、領域間の出現頻度が１／３であるので、単語ｋの重みとして１／（１／３）^２を付与する。このとき、単語ｋが１つの領域に出現する回数はのべ回数では集計されず、複数回にわたって出現しても同様の重みが付与される。

［重み付与方法の応用例１］
また、上記の実施例１では、単語ｋの出現頻度に応じて単語ｋに重みを付与する場合を例示したが、出現頻度以外の因子によって単語ｋに重みを付与することもできる。例えば、付与部１５ｃは、単語ｋのモーラ数によって単語ｋに重みを付与することもできる。具体的には、付与部１５ｃは、単語ｋのモーラ数が多いほど大きい重みを付与することができる。例えば、重みの算出式の一例として、次の２式を用いることができる。すなわち、単語ｋのモーラ数ｍの重みをｗ_ｍとしたとき、モーラ数ｍが固定値Ｍ、例えば「６」よりも大きい場合には、「ｗ_ｍ＝１（ｍ＞Ｍ）」を用いる一方で、モーラ数ｍが固定値Ｍ以下である場合には、「ｗ_ｍ＝ｍ／Ｍ（ｍ≦Ｍ）」を用いる。なお、ここでは、モーラ音素を用いる場合を例示したが、他の音素を用いることができるのは言うまでもない。

一般に、モーラ音素が少ないほど音声認識の精度は低下する傾向にある。それ故、上記の重み付与方法により、単語ｋのモーラ音素が少ない場合よりも単語ｋのモーラ音素が多い場合の方が大きい重みを付与することで、音声認識の精度が高くなるにつれて大きな重みを付与できる結果、関連度の算出精度も高めることができる。なお、本項で説明した重み付与方法は、上記の実施例１で説明した重み付与方法の代わりに単独で用いて実施することもできるし、また、上記の実施例１で説明した重み付与方法や実施例２で説明する他の重み付与方法と組み合わせて実施することもできる。

［重み付与方法の応用例２］
また、上記の実施例１では、音声認識が実行される前に抽出単語に重みを付与する場合を例示したが、重み付与方法はこれに限定されない。例えば、プレゼンテーション支援装置１０は、音声認識が実行された後に認識単語に重みを付与することもできる。すなわち、音声認識が実行される場合には認識単語と共に認識単語が学習データ等の正解である尤もらしさ、いわゆるスコアが算出されることが多い。このため、プレゼンテーション支援装置１０は、認識単語にスコアの多寡に応じて重みを付与することもできる。なお、本項で説明した重み付与方法は、上記の実施例１で説明した重み付与方法の代わりに単独で用いて実施することもできるし、また、上記の実施例１で説明した重み付与方法や実施例２で説明する他の重み付与方法と組み合わせて実施することもできる。

［関連度の算出方法の応用例１］
上記の実施例１では、認識単語と一致する抽出単語の数により関連度を領域ごとに算出する場合を例示したが、関連度の算出方法はこれに限定されない。すなわち、上記の実施例１では、認識単語と一致する抽出単語の重みを足し合わせる場合を例示したが、抽出単語の総数に対する、認識単語と一致する抽出単語の数の割合により、関連度を領域ごとに算出することもできる。このような関連度の算出方法を用いる理由は、各領域から抽出される抽出単語の総数が必ずしも同一または略同一であるとは限らないからである。このため、認識単語と一致する抽出単語の重みを足し合わせる場合、抽出単語の総数の少ない領域の方が抽出単語の総数の多い領域よりも関連度が不当に低く算出されることもある。このことから、上記の割合をそのまま関連度として用いたり、上記の割合を用いて認識単語と一致する抽出単語の重みが足し合わされた合計値を正規化することにより、関連度の算出精度を高めることができる。なお、本項で説明した重み付与方法は、上記の実施例１で説明した重み付与方法の代わりに単独で用いて実施することもできるし、また、上記の実施例１で説明した重み付与方法や実施例２で説明する他の重み付与方法と組み合わせて実施することもできる。

［プレゼンタの指示操作］
例えば、プレゼンテーション支援装置１０は、入力装置７等を介してハイライト表示の加速指示またはキャンセル指示を受け付けることもできる。例えば、キーボードに含まれる所定のキー、マウスが有する所定のボタン、あるいはリモコン機能付きのレーザポインタが有する所定のボタンに、ハイライト表示を加速する指示を受け付けたり、ハイライト表示をキャンセルする指示を受け付けたりするキーやボタンを割り当てる。そして、プレゼンテーション支援装置１０は、ハイライト表示を加速する指示を受け付けた場合に、当該指示を受け付けた段階でハイライト表示の進行度が最も大きい領域のハイライト速度を加速させる。このとき、プレゼンテーション支援装置１０は、ハイライト表示の進行度が最も大きい領域のハイライト表示の進行度を一度に閾値まで引き上げることも上記の加速の範疇に含まれる。一方、プレゼンテーション支援装置１０は、ハイライト表示を取り消す指示を受け付けた場合に、当該指示を受け付けた段階でハイライト表示の進行度が最も大きい領域のハイライト表示をキャンセルすると共に当該領域のハイライト速度をリセットすることもできる。

ここで、プレゼンタは、プレゼンタ自身がプレゼンテーションに用いるスライドを作成している点、さらには、プレゼンタ自身がプレゼンテーションの前準備としてスライドの説明順序や論理構成を組み立てている点などから、聴講者よりもスライドでハイライト表示された領域を気付くことができる可能性が高い。このため、聴講者がハイライト表示に気付く前にハイライト表示を加速する指示を受け付けたり、ハイライト表示をキャンセルする指示を受け付けたりできる可能性が高まる。したがって、聴講者に対するハイライト表示のレスポンスを高めたり、聴講者が誤ったハイライト表示に気付く事態を抑制したりすることができる。

［関連度の算出範囲］
上記の実施例１では、表示中のスライド内の領域に絞って各領域の関連度を算出する場合を例示したが、必ずしも関連度の算出範囲はこれに限定されない。例えば、表示中のスライド以外の領域についても関連度の算出範囲に含めることもできる。このとき、表示中のスライド以外の領域の関連度が表示中のスライド内の領域の関連度よりも高い場合、プレゼンテーション支援装置１０は、表示装置５に表示されるスライドを関連度が最高である領域を持つスライドに切り替えた上で当該領域に関するハイライト表示を進行させることもできる。

［文書ファイルの応用例］
上記の実施例１では、プレゼンテーションソフトによって作成された文書ファイルを用いる場合を例示したが、他のアプリケーションプログラムによって作成された文書ファイルを用いることができる。すなわち、表示時に画面単位で表示されるページを含む文書ファイルであれば、ワープロソフトの文書ファイルが有するページをスライドに読み替えたり、表計算ソフトの文書ファイルが有するシートをスライドに読み替えることによって図７〜図９に示した処理を同様に適用できる。

［他の実装例］
上記の実施例１では、プレゼンテーション支援装置１０が上記のプレゼンテーションソフトを外部のリソースに依存せずに単独で実行するスタンドアローンで上記のプレゼンテーション支援サービスを提供する場合を例示したが、他の実装形態を採用することもできる。例えば、プレゼンテーションソフトを実行するクライアントに対し、上記のプレゼンテーション支援サービスを提供するサーバを設けることによってクライアントサーバシステムとして構築することもできる。この場合、パッケージソフトウェアやオンラインソフトウェアとして上記のプレゼンテーション支援サービスを実現するプレゼンテーション支援プログラムをインストールさせることによってサーバ装置を実装できる。例えば、サーバ装置１０は、上記のプレゼンテーション支援サービスを提供するＷｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記のプレゼンテーション支援サービスを提供するクラウドとして実装することとしてもかまわない。なお、上記の実施例１では、プレゼンテーション支援プログラムがプレゼンテーションソフトにアドオンされる場合を想定したが、ライセンス権限を有するクライアントからプレゼンテーション支援プログラムをライブラリとして参照する要求を受け付けた場合に、プレゼンテーション支援プログラムをプラグインさせることもできる。

［プレゼンテーション支援プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１０を用いて、上記の実施例と同様の機能を有するプレゼンテーション支援プログラムを実行するコンピュータの一例について説明する。

図１０は、実施例１及び実施例２に係るプレゼンテーション支援プログラムを実行するコンピュータのハードウェア構成例を示す図である。図１０に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。

ＨＤＤ１７０には、図１０に示すように、上記の実施例１で示した分割部１５ａ、抽出部１５ｂ、付与部１５ｃ、認識部１５ｄ、算出部１５ｅ、設定部１５ｆ及び表示制御部１５ｇと同様の機能を発揮するプレゼンテーション支援プログラム１７０ａが記憶される。このプレゼンテーション支援プログラム１７０ａは、図２に示した分割部１５ａ、抽出部１５ｂ、付与部１５ｃ、認識部１５ｄ、算出部１５ｅ、設定部１５ｆ及び表示制御部１５ｇの各構成要素と同様、統合又は分離してもかまわない。すなわち、ＨＤＤ１７０には、必ずしも上記の実施例１で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７０に格納されればよい。

このような環境の下、ＣＰＵ１５０は、ＨＤＤ１７０からプレゼンテーション支援プログラム１７０ａを読み出した上でＲＡＭ１８０へ展開する。この結果、プレゼンテーション支援プログラム１７０ａは、図１０に示すように、プレゼンテーション支援プロセス１８０ａとして機能する。このプレゼンテーション支援プロセス１８０ａは、ＲＡＭ１８０が有する記憶領域のうちプレゼンテーション支援プロセス１８０ａに割り当てられた領域にＨＤＤ１７０から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、プレゼンテーション支援プロセス１８０ａが実行する処理の一例として、図７〜図９に示す処理などが含まれる。なお、ＣＰＵ１５０では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。

なお、上記のプレゼンテーション支援プログラム１７０ａは、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶されておらずともかまわない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。

１ プレゼンテーション支援システム
３ マイク
５ 表示装置
７ 入力装置
１０ プレゼンテーション支援装置
１１ 入出力Ｉ／Ｆ部
１３ 記憶部
１５ 制御部
１５ａ 分割部
１５ｂ 抽出部
１５ｃ 付与部
１５ｄ 認識部
１５ｅ 算出部
１５ｆ 設定部
１５ｇ 表示制御部

Claims (13)

1. コンピュータが、
   表示時に画面単位で表示されるページを含む文書ファイルのページが分割された領域ごとに当該領域が含む文字列から第１の単語を抽出し、
   音声認識を実行し、
   所定の表示部に表示中であるページ内の領域ごとに当該領域から抽出された第１の単語と前記音声認識の結果として得られる第２の単語とから関連度を算出し、
   前記領域ごとに算出された関連度が高い領域ほど前記領域のハイライト表示を進行させる速度を高く設定し、あるいは関連度が低い領域ほど前記領域のハイライト表示を進行させる速度を低く設定し、
   前記領域ごとに設定された速度にしたがって前記ページ内のハイライト表示を制御する
   処理を実行することを特徴とするプレゼンテーション支援方法。
2. 前記コンピュータが、
   前記音声認識の結果として得られる第２の単語を記憶部に登録してから所定の期間にわたって保存する処理をさらに実行し、
   前記算出する処理は、前記記憶部に記憶された第２の単語を用いて前記関連度を前記領域ごとに算出し、
   前記設定する処理は、前記領域ごとに前記関連度が算出される度に、各領域のハイライト表示の速度を設定することを特徴とする請求項１に記載のプレゼンテーション支援方法。
3. 前記制御する処理は、前記関連度または前記ハイライト表示の進行度が所定の閾値以上である領域に関するハイライト表示を実行することを特徴とする請求項１または２に記載のプレゼンテーション支援方法。
4. 前記制御する処理は、前記関連度または前記ハイライト表示の進行度が所定の閾値未満である領域に関するハイライト表示をキャンセルすることを特徴とする請求項３に記載のプレゼンテーション支援方法。
5. 前記コンピュータが
   前記領域ごとに抽出される第１の単語に重みを付与する処理をさらに実行することを特徴とする請求項１に記載のプレゼンテーション支援方法。
6. 前記付与する処理は、前記ページ内における第１の単語の出現頻度を用いて、前記第１の単語に重みを付与することを特徴とする請求項５に記載のプレゼンテーション支援方法。
7. 前記付与する処理は、前記第１の単語のモーラ数を用いて、前記第１の単語に重みを付与することを特徴とする請求項５に記載のプレゼンテーション支援方法。
8. 前記算出する処理は、前記第２の単語と一致する第１の単語の数により、前記関連度を前記領域ごとに算出することを特徴とする請求項１に記載のプレゼンテーション支援方法。
9. 前記算出する処理は、前記領域から抽出された第１の単語の数に対する、前記第２の単語と一致する第１の単語の数の割合により、前記関連度を前記領域ごとに算出することを特徴とする請求項１に記載のプレゼンテーション支援方法。
10. 前記コンピュータが、
    前記ハイライト表示を加速する指示を受け付け、
    前記制御する処理は、前記指示を受け付けた場合に、前記ハイライト表示の進行度が最も高い領域のハイライト表示を加速させることを特徴とする請求項１に記載のプレゼンテーション支援方法。
11. 前記コンピュータが、
    前記ハイライト表示をキャンセルする指示を受け付け、
    前記制御する処理は、前記指示を受け付けた場合に、前記ハイライト表示の進行度が最も高い領域以外の領域のハイライト表示をキャンセルすることを特徴とする請求項１に記載のプレゼンテーション支援方法。
12. コンピュータに、
    表示時に画面単位で表示されるページを含む文書ファイルのページが分割された領域ごとに当該領域が含む文字列から第１の単語を抽出し、
    音声認識を実行し、
    所定の表示部に表示中であるページ内の領域ごとに当該領域から抽出された第１の単語と前記音声認識の結果として得られる第２の単語とから関連度を算出し、
    前記領域ごとに算出された関連度が高い領域ほど前記領域のハイライト表示を進行させる速度を高く設定し、あるいは関連度が低い領域ほど前記領域のハイライト表示を進行させる速度を低く設定し、
    前記領域ごとに設定された速度にしたがって前記ページ内のハイライト表示を制御する
    処理を実行させることを特徴とするプレゼンテーション支援プログラム。
13. 表示時に画面単位で表示されるページを含む文書ファイルのページが分割された領域ごとに当該領域が含む文字列から第１の単語を抽出する抽出部と、
    音声認識を実行する認識部と、
    所定の表示部に表示中であるページ内の領域ごとに当該領域から抽出された第１の単語と前記音声認識の結果として得られる第２の単語とから関連度を算出する算出部と、
    前記領域ごとに算出された関連度が高い領域ほど前記領域のハイライト表示を進行させる速度を高く設定し、あるいは関連度が低い領域ほど前記領域のハイライト表示を進行させる速度を低く設定する設定部と、
    前記領域ごとに設定された速度にしたがって前記ページ内のハイライト表示を制御する表示制御部と
    を有することを特徴とするプレゼンテーション支援装置。

Images