JP4946187B2 - 関連語表示装置、検索装置、その方法及びプログラム - Google Patents

Description

本発明は、指定されたキーワードに基づいて所望の文書等を検索する技術に関する。

従来、任意の検索語の入力を受け付けて、その単語を含む文書をデータベースから検索する検索システムが知られている。このようなシステムにおいては、検出された文書（ヒット件数）が多数となる場合に、検索語を追加して複数の検索語を組み合わせて検索を行ったり、検索した検索語を別の単語に置き換えて検索を行うことが一般的に行われている。

このとき、検索語に関連する関連語をユーザに提示して、検索精度を向上させる技術が知られている。関連語、連想語、共起語などと呼ばれる検索語と関連性の強い語を抽出して、ユーザに提示する。ユーザは関連語の中から最適な語を選択して検索結果を絞り込む。

特許文献１では、検索語を含む文書中で、検索語の近傍に表れる単語のうち出現数が所定数以上の単語を追加検索候補として選択している。

特開２００１−７５９８１号公報

しかしながら、出現頻度の高い関連語が、必ずしも文書を代表するキーワードになっているわけではなく、所望の文書を検索できるわけではない。

例えば、会議のプレゼンテーションに使用したスライドを検索するシステムを考える。会議中のプレゼンテーションに使用されるスライドには、多くの時間を割いて説明がなされた重要なスライドと、ほとんど説明がなされずに飛ばされたスライドとがある。
このようなスライドが記録された検索システムにおいて、所望のスライドを検索する場合、検索語と、出現頻度の高い関連語とを入力しても、所望のスライドを検出できない場合がある。これは、各スライドのプレゼンテーション時の活用度や閲覧頻度などの重要度を考慮していないためである。

本発明は、上記事情に鑑みてなされたものであり、入力された検索語に対して有効な関連語を表示することができる関連語表示装置、検索装置、その方法及びプログラムを提供することを目的とする。

かかる目的を達成するために本発明の関連語表示装置は、記憶装置を検索して、入力を受け付けた検索語に関連する関連語を検出し表示する関連語表示装置であって、前記記憶装置を検索して、入力を受け付けた検索語の出現するスライドを検出する第１検出手段と、前記第１検出手段によって検出されたスライドに、前記検索語と共に出現する単語を関連語候補として検出する第２検出手段と、前記関連語候補が出現する各スライドの活用度合いを評価した第１評価値を生成する第１評価値生成手段と、前記各スライドの第１評価値の平均値と、前記各スライドの第１評価値の重み付け和と、前記各スライドの第１評価値の加重平均とのいずれか１つを用いて、前記関連語候補の第２評価値を算出する第２評価値生成手段と、前記第２評価値と事前に設定されたしきい値とを比較して、前記第２評価値が前記しきい値よりも高い関連語候補を選択する選択手段と、前記選択手段により選択された関連語候補を関連語として表示する表示手段とを備え、前記第１評価値生成手段は、会議中にスライドを表示装置に表示した表示時間と、前記表示装置にスライドを表示した際の、前記スライドに対する会議参加者の総発言時間と、前記表示装置にスライドを表示した際に、ポインティングデバイスを使用したポインティングが前記スライドに対して行われた時間との少なくとも１つの時間を会議中におけるスライドの活用度合いを表す第１評価値として生成することを特徴としている。
本発明は、会議に使用されたスライドの活用度合いを考慮に入れて、検索語に関連する関連語を検索しているので、活用度の高い重要なスライドに出現する関連語を表示手段に表示することができる。
また、会議中にスライドを表示装置に表示した表示時間と、表示装置にスライドを表示した際の、スライドに対する会議参加者の総発言時間と、表示装置にスライドを表示した際に、ポインティングデバイスを使用したポインティングがスライドに対して行われた時間との少なくとも１つに基づいてスライドの活用度合いを表す評価値を生成しているので、活用度の高い重要なスライドを判定して、活用度合いの高いスライドの中から関連語を検出することができる。

上記関連語表示装置において、前記第１評価値生成手段は、前記記憶装置に記憶されたスライドが閲覧された回数と、スライドを記憶した前記記憶装置のアドレスが、ブラウザソフトに登録された件数と、スライドに付加された情報数との少なくとも１つを評価項目とし、選択した評価項目の評価対象の数をカウントして前記第１評価値を算出するとよい。
また、前記第１評価値生成手段は、前記関連語候補がスライドのタイトルを記述した位置にあるか否かと、前記関連語候補の文字サイズが他の文字サイズよりも大きいか否かと、前記関連語候補の文字が色付きであるか否かと、前記関連語候補の文字に下線が引かれているか否かと、前記関連語候補の文字が太文字であるか否かとの少なくとも１つを評価項目とし、選択した評価項目の判定結果が肯定判定である場合に前記評価値に所定値を加算して、前記第１評価値を算出するとよい。
従って、スライドの会議での活用度合いを精度よく評価することができる。

上記関連語表示装置において、前記関連語候補と、前記第２評価値生成手段によって生成された前記関連語候補の評価値とを記憶した評価値記憶手段を有し、前記選択手段は、検索語が入力されると、前記評価値記憶手段を参照して評価値の高い関連語候補を選択し、前記表示手段は、前記選択手段により選択された関連語候補を関連語として表示するとよい。

本発明の検索装置は、請求項１から４のいずれか１項に記載の関連語表示装置によって前記表示手段に表示された関連語が記載されたスライドを前記記憶装置を検索して検出し、前記表示手段に表示させることを特徴とする。
従って、所望とするスライドを効率的に検索することができる。

本発明の関連語表示方法は、記憶装置を検索して、入力を受け付けた検索語に関連する関連語を検出し表示する関連語表示装置の関連語表示方法であって、前記記憶装置を検索して、入力を受け付けた検索語の出現するスライドを検出する第１ステップと、前記第１ステップによって検出されたスライドに、前記検索語と共に出現する単語を関連語候補として検出する第２ステップと、前記関連語候補が出現する各スライドの活用度合いを評価した第１評価値を生成する第３ステップと、前記各スライドの第１評価値の平均値と、前記各スライドの第１評価値の重み付け和と、前記各スライドの第１評価値の加重平均とのいずれか１つを用いて、前記関連語候補の第２評価値を算出する第４ステップと、前記第２評価値と事前に設定されたしきい値とを比較して、前記第２評価値が前記しきい値よりも高い関連語候補を選択する第５ステップと、前記第５ステップにより選択された関連語候補を関連語として表示手段に表示する第６ステップとを備え、前記第３ステップは、会議中にスライドを表示装置に表示した表示時間と、前記表示装置にスライドを表示した際の、前記スライドに対する会議参加者の総発言時間と、前記表示装置にスライドを表示した際に、ポインティングデバイスを使用したポインティングが前記スライドに対して行われた時間との少なくとも１つの時間を会議中におけるスライドの活用度合いを表す第１評価値として生成することを特徴とする。

本発明のプログラムは、記憶装置を検索して、入力を受け付けた検索語に関連する関連語を検出し表示する関連語表示装置で実行されるプログラムであって、コンピュータに、前記記憶装置を検索して、入力を受け付けた検索語の出現するスライドを検出する第１手順と、前記第１手順によって検出されたスライドに、前記検索語と共に出現する単語を関連語候補として検出する第２手順と、前記関連語候補が出現する各スライドの活用度合いを評価した第１評価値を生成する第３手順と、前記各スライドの第１評価値の平均値と、前記各スライドの第１評価値の重み付け和と、前記各スライドの第１評価値の加重平均とのいずれか１つを用いて、前記関連語候補の第２評価値を算出する第４手順と、前記第２評価値と事前に設定されたしきい値とを比較して、前記第２評価値が前記しきい値よりも高い関連語候補を選択する第５手順と、前記第５手順により選択された関連語候補を関連語として表示手段に表示する第６手順とを実行させ、前記第３手順は、会議中にスライドを表示装置に表示した表示時間と、前記表示装置にスライドを表示した際の、前記スライドに対する会議参加者の総発言時間と、前記表示装置にスライドを表示した際に、ポインティングデバイスを使用したポインティングが前記スライドに対して行われた時間との少なくとも１つの時間を会議中におけるスライドの活用度合いを表す第１評価値として生成することを特徴とする。

本発明によれば、入力された検索語に対して有効な関連語を提示することができる。

添付図面を参照しながら本発明の好適な実施例を説明する。

まず、図１を参照しながら本実施例の構成を説明する。本実施例は、図１に示すように、ＰＣ（パーソナルコンピュータ）１０、カメラ１１、マイク１２、画像表示装置（プロジェクタ）１３、映像・音声取込み部１４、データ登録部１５、画像・音声データベース１６、テキスト抽出部１７、インデックス生成部１８、インデックス情報格納部１９、関連語情報生成部２０、関連語情報データベース２１、検索制御部２２、インターフェース部２３、閲覧情報データベース２４を有している。

ＰＣ１０は、ユーザのノートＰＣや予め会議室などに用意されたＰＣであって、会議で使用するスライド等の資料がＰＣ１０の記録装置に格納されている。また、資料は、ＰＣ１０の記憶装置ではなく、フラッシュメモリ等の外部記憶装置に保存しておき、資料を使用する際にＰＣ１０に読み込んで表示させてもよい。ＰＣ１０は、映像・音声取込み部１４に接続されており、ＰＣ１０から映像・音声取込み部１４にはＲＧＢ信号等の映像信号が出力される。

映像・音声取込み部１４には、さらにカメラ１１、マイク１２が接続されている。カメラ１１は、画像表示装置１３でスクリーンに表示された画像とその周辺画像、例えば、スクリーンに表示した資料に対して、発話者がポインティングデバイス等によってポインティングしている映像を撮影する。マイク１２は、発話者の発言を取り込んで、映像・音声取込み部１４に出力する。

映像・音声取込み部１４は、ＰＣ１０から取り込んだ映像信号をプロジェクタやプラズマディスプレイ等の画像表示装置１３に出力して表示させる。ユーザは、所持するＰＣ１０に蓄えた映像を画像表示装置１３に表示させることができる。
また、映像・音声取込み部１４は、ＲＧＢの映像信号からＪＰＥＧなどの画像データを生成する。映像・音声取込み部１４は、一定の時間間隔で映像信号から画像データを生成する。この他に、映像信号に変化が生じた場合に映像信号から画像データを生成してもよい。さらに、映像・音声取込み部１４は、マイク１２から音声を入力し、映像信号から画像データを生成するタイミングで音声を分割して音声データを生成する。画像データの内容が表示されていた際に入力した音声データをその画像データに対応づける。
映像・音声取込み部１４は、画像データと音声データとが生成される度に、これらのデータと、データの取得時間と、映像・音声取込み部１４に割り当てられた会議室ＩＤと（以下ではこれらをデータセットと呼ぶ）をデータ登録部１５に送出する。

データ登録部１５は、映像・音声取込み部１４から出力されたデータセットに対して、データＩＤを割り振る。割り当てたデータＩＤと、データセットとを組みにして映像・音声データベース１６に登録する。また、画像データがどのプレゼンテーションの一部であったかについてもデータＩＤに対応させて記録する。さらに、データ登録部１５で、画像データからサムネイルを生成し、映像・音声データベース１６に登録しておいてもよい。データ登録部１５は、データＩＤとデータセットとをテキスト抽出部１７に送出する。

テキスト抽出部１７は、文字情報を読み取り可能な読取り装置（例えば、ＯＣＲ（Optical Character Reader））を備えており、画像データからテキスト情報を抽出する。抽出されたテキスト情報と、データＩＤ及びデータセットとをインデックス生成部１８に送出する。

インデックス生成部１８は、転送されたテキストから単語等を抽出する。例えば、形態素解析によって単語を抽出したり、英語の場合には空白部分で分割して文字列を抽出する。インデックス生成部１８は、抽出した単語と、データＩＤとを組みとしてインデックス情報格納部１９に登録する。

関連語情報生成部（本発明の第１、第２検出手段と、評価値生成手段とに該当する）２０は、定期的に、もしくはインデックス情報格納部１９や閲覧情報データベース２４が更新された場合に、画像・音声データベース１６、インデックス情報格納部１９、閲覧情報データベース２４から各種情報を受け取る。これらの情報から関連語情報を生成して、関連語情報データベース（本発明の評価値記憶手段に該当する）２１に登録する。関連語情報生成部２０は、画像・音声データベース１６からデータＩＤ、データセットを取得し、インデックス情報格納部１９から、資料中に含まれる単語情報を取り出す。これらを会議資料関連情報という。また、関連語情報生成部２０は、閲覧情報データベース２４からユーザのデータ閲覧回数、ブックマーク数、アノテーション（注釈）付与数といった情報（以下、閲覧情報という）を受け取る。なお、関連語情報生成部２０の詳細と関連語情報については後述する。

インターフェース部２３は、ＬＡＮやインターネット等のネットワークに接続可能であって、ユーザ端末のブラウザソフトウェアからのアクセスを受け付ける。接続したユーザ端末からの指示に従って、指示された画像や音声をユーザ端末に表示、出力する。

検索制御部（本発明の表示手段に関連する）２２は、ユーザ端末によって指示された画像や音声を画像・音声データベース１６を検索して取り出し、インターフェース部２３を介してユーザ端末に送信する。
また、検索制御部２２は、ユーザ端末から所望の資料を検索するための検索語が入力されると、この検索語が出現するデータセットのデータＩＤをインデックス情報格納部１９から取得する。そして、取得したデータＩＤに対応する画像と音声を画像・音声データベース１６から取得し、ユーザ端末に表示させる。
また、検索制御部２２は、関連語を表示させる指示がユーザからあった場合には、入力された検索語を用いて検索語に対応する関連語を関連語情報データベース２１から取得し、ユーザ端末に表示させる。
また検索制御部２２は、画像・音声データベース１６に登録された各画像データの閲覧回数と、各画像データのブックマーク登録数（ブックマークに登録したスライドまたはプレゼンテーション数）と、各画像データに付与されたアノテーション数とを閲覧情報データベース２４に登録して管理する。

なお、図１に示すデータ登録部１５、テキスト抽出部１７、インデックス生成部１８、関連語候補生成部２０、検索制御部２２の各機能は、ソフトウェア制御によって実現することができる。図２には、このソフトウェア制御を実現する制御装置の構成を示すものであり、ＲＯＭ２６に格納したプログラムをＣＰＵ２５が読み込んで、このプログラムに従った演算をＣＰＵ２５で行うことにより、各部の機能が実現される。なお、ＲＡＭ２７には、演算結果のデータが書き込まれ、ＮＶＲＡＭ（Non Volatile RAM）２８には、電源オフ時にバックアップが必要なデータが保存される。

次に、図３を参照しながら関連語情報生成部２０の詳細について説明する。
関連語情報生成部２０は、図３に示すように情報入力部３１と、関連語候補取得部３２と、活用度判定部３３と、資料スコア計算部３４と、関連語候補スコア計算部３５と、関連語情報書込み部３６とを有している。

情報入力部３１は、画像・音声データベース１６からデータＩＤ、画像データ、音声データ、取得時間、関連語候補等の会議資料情報を入力する。また、インデックス情報格納部１９からデータＩＤ、出現単語を入力する。また、閲覧情報データベース２４からデータＩＤ、画像データの閲覧回数、ブックマーク登録数、アノテーション付与数等の閲覧情報を入力する。

関連語候補取得部３２は、インデックス情報格納部１９から得た出現単語のそれぞれに対応する関連語候補を取得する。関連語候補は出現単語とある範囲内で共起した単語とする。共起したと認める範囲は、同一スライド内、または、同一プレゼンテーション内とする。同一スライド内とする場合には、活用度判定部３３においてもスライド単位で資料を評価する。また、同一プレゼンテーション内とする場合には、活用度判定部３３においてもプレゼンテーション単位で資料を評価する。

活用度判定部３３は、会議に使用された資料の、会議での活用度を判定して数値化する。資料の会議での活用度を評価する評価項目が複数用意されており、活用度判定部３３は、評価項目ごとに対象資料の活用度を判定して数値化する。資料スコア計算部３４は、評価項目ごとの数値に基づいて、対象資料の評価スコアを計算する。計算方法については後述する。
スライド単位で資料を評価する場合には、全プレゼンテーションを構成するスライドのうち、関連語候補が含まれるスライドの資料スコアを基に関連語候補スコアを計算する。
また、プレゼンテーション単位で資料を評価する場合には、関連語候補が含まれるスライドが属するプレゼンテーションの各スライドを数値化し、これらを合計するなどしてプレゼンテーション資料のスコアを求める。そして、関連語候補が含まれるプレゼンテーション資料の資料スコアを基に関連語候補スコアを計算する。

関連語候補スコア計算部３５は、関連語候補ごとに、資料スコアから関連語候補スコアを計算する。関連語候補スコア計算部３５は、関連語候補が含まれる資料の資料スコアから関連語候補スコアを計算する。計算方法については後述する。

本実施例は、プレゼンテーションで使用された資料（以下では、資料として１枚、１枚のスライドを単位とした説明を行うが、１回のプレゼンテーションで使用されたプレゼンテーション資料を単位に採ることもできる）を記憶装置に記憶し、これらの資料に対して閲覧、検索機能を提供する装置である。

このような装置においては、会議中に提示された資料の提示時間、資料が閲覧された回数、資料中の文字情報（文字の大きさ、色、下線の有無など）等のプレゼンテーション資料に関連した情報を取得することができる。これらの情報を利用することにより、ユーザにより入力された検索語と同じスライド内に出現（以下、「共起」と表現する）する単語のうち、重要な資料を検索可能な単語や、資料のキーワードとなっている単語を関連語として選択し、表示することができる。

資料から得られる情報には、資料が会議中又は会議後に活用された度合いを示す評価項目のグループと、関連語候補が資料のキーワードになっているかどうかを示す評価項目のグループとがある。これらについては後述する。

具体例を挙げて本実施例の処理手順を詳細に説明する。スライドＡ〜Ｆの資料を用いたプレゼンテーションが一度だけ行われたものとする。このときの各スライドの表示順と表示時間を図４に示す。スライドＡ〜Ｆの画像データは、ＰＣ１０から映像・音声取込み部１４に取り込まれ、データ登録部１５から画像・音声データベース１６に登録される。また、各スライドを表示しているときの発言内容は、マイク１２によって取り込まれ、データ登録部１５から画像・音声データベース１６に登録される。また、テキスト抽出部１７でテキスト情報を抽出し、これを使用してインデックス生成部１８で単語を抽出する。ここでは名詞のみを抽出するものとする。

抽出結果を表１に示す。関連語情報データベース２１には、表１に示すように、各スライドのＩＤと、スライド中に出現する単語とが登録される。なお、以下では、画像表示装置１３に表示した１枚のスライドに対して、１つの画像を画像・音声データベース１６に記憶する場合を例に説明する。このため、データＩＤをスライドＩＤという。

次に、関連語情報生成部２０で関連語情報を生成する。この手順について詳細に説明する。関連語情報生成部２０では、まず全スライドに出現した単語を重複なく集めた単語集合（＝出現単語）のそれぞれについて、同一スライド内に出現（共起）した単語を関連語候補として抽出する。表２に出現単語に対する関連語候補の抽出結果を示す。

次に、関連語情報生成部２０は、取得している会議資料関連情報と閲覧情報とを用いて、各スライドを評価する。各スライドを評価する評価項目には、以下に示すア〜キの項目が含まれる。
ア：プレゼンテーション時の資料記録回数
イ：プレゼンテーション時の資料提示時間（秒）
ウ：プレゼンテーション時の資料提示の際の発話量（無音区間を除く発話時間）（秒）
エ：プレゼンテーション時の提示資料に対するポインティング時間
オ：閲覧機能におけるユーザの資料閲覧回数
カ：閲覧機能における資料に対するブックマーク登録人数
キ：閲覧機能における資料に対するアノテーション付与数

アのプレゼンテーション時の使用記録回数は、スライドの画像の特徴がほぼ一致しているものを同一のスライドとみなし、同一スライドが記録されている数とする。
イのプレゼンテーション時の資料提示時間（秒）は、スライドを取得してから次のスライドを取得するまでの時間から計算する。
ウのプレゼンテーション時の資料提示の際の発話量（無音区間を除く発話時間）は、資料提示中の音声を記録したものについて、各フレームのパワーがある一定のしきい値以上かどうかを判定し、しきい値以上の区間を発話区間としてこの発話区間の時間を計算することで得る。この資料提示されている際の発話量には、資料提示中の音声を音声認識装置にかけて得られた文字数などを代用することもできる。
エのプレゼンテーション時の提示資料に対するポインティング時間は、プレゼンテーション時にカメラ１１によって映像を撮り、映像中にポインティングされているかどうかを画像処理によって判定する。ポインティングされていると判定された時間を加算して求める。
オ、カ、キのユーザの閲覧回数、ブックマーク登録人数、アノテーション付与数は、ユーザ本人が閲覧した際の回数でもよいし、複数のユーザが閲覧した際の回数でもよい。

ア〜キの各評価項目について、各スライドを評価した結果を表３に示す。

次に、関連語情報生成部２０は、表３に示す各評価項目から、スライドごとに資料スコア（本発明の評価値に該当する）を生成する。表４にスライドごとの資料スコアを示す。

この資料スコアの計算方法は、以下に示す式（１）に示すように評価項目ごとの数値に重みを付けて和を取る方法、式（２）に示すように各評価項目の数値の平均をもとめる方法、式（３）のように各評価項目の数値の荷重平均を求める方法などが挙げられる。表４には、すべての情報項目を重みを１にして和を取った場合を示す。

各関連語候補が出現するスライドについてまとめた表を表５に示す。

関連語情報生成部２０は、表４に示すスライドごとの資料スコアと、表５の関連語候補が出現するスライドの情報とをもとに、出現単語に対する各関連語候補の関連語候補スコアを計算する。表６にその結果を示す。表６には、出現単語と、その出現単語に関連する関連語候補と、関連語候補のスコアとが示されている。なお、表６に示す各数値は、小数点以下第一位で四捨五入したものである。また、この表６に示す情報が関連語情報であり、出現単語と、その関連語候補と、各関連語候補スコアとが関連語情報として関連語情報データベース２１に格納される。

例えば、出現単語が「インターネット」で、関連語候補が「メディア」の場合の関連語候補スコアの計算方法について説明する。関連語候補である「メディア」が出現する全スライドは、表５より「Ａ，Ｃ，Ｄ，Ｅ」である（「メディア」が出現する全スライドであり、「インターネット」と共起したスライドだけではない）。これらの資料スコアは、表４より９７、１０、５８、９０である。関連語候補「メディア」の関連語候補スコアは、これらの値を基に計算する。計算方法は、（式４）に示すように各値に重み付けをして和を取る方法、（式５）に示すように平均値を求める方法、（式６）に示すように加重平均を求める方法、などが挙げられる。以下では、式５に従って平均値を求めた場合を例に説明する。スライドＡ，Ｃ，Ｄ，Ｅの資料スコア９７、１０、５８、９０の平均値を求めると、「メディア」の関連語候補スコアは６３．７５となる。四捨五入して６４となる。このスコアは、関連語候補「メディア」が有用なスライドに含まれているかどうかを示す度合いを示す。

ここで、検索語「インターネット」がユーザによって入力されたとする。この場合、表６に示す出現単語の欄の「インターネット」から関連語候補である「メディア」、「放送」、「拠点」、「動画」、「コンテンツ」、「認証」が抽出され、それぞれの関連語候補スコアを参照する。
関連語情報の選択は、しきい値を設けて、このしきい値よりも高い関連語候補スコアの関連語情報を選択する。例えば、しきい値を「１７０」とした場合、関連語候補スコアが３４２、１８９である「放送」、「認証」が関連語となる。例えば、表示された「放送」を用いて検索した場合、「放送」が含まれるスライドＢが検索される。スライドＢは、資料がこれまでに記録された回数、資料の提示時間、資料提示されている際の発話量、資料に対するプレゼンテーション時のポインティング時間、資料にユーザのアノテーションが付与されている数において、他のスライドより数値化した値が大きく、ユーザにとって有用なスライドであると考えられる。このような関連語選択方法を利用することで、有用なスライドをいち早く検索することができる。

関連語情報の表示は、関連語、関連語候補スコアを表示する。また関連語候補スコアに代えて、関連語候補スコアの割合を計算し表示してもよい。関連語候補スコアの割合を計算する式を式７に示す。

「インターネット」の関連語候補である「メディア」、「放送」、「拠点」、「動画」、「コンテンツ」、「認証」のそれぞれの関連語候補スコアは、表６から「６４」、「３４２」、「１６３」、「１０」、「３４」、「１８９」であり、この合計値が８０２である。しきい値を１７０として関連語候補スコアから「放送」、「認証」を選択したとする。このとき「放送」の関連語候補スコアの割合は、（３４２／８０２）×１００（％）で、約４３％となる。認証も同様の計算を行うと約２４％となる。

図５に検索語「インターネット」を入力する場合のユーザインターフェースの例を示す。また、図６に、検索語「インターネット」が入力された場合の関連語候補スコアの占める割合を含んだ関連語情報をユーザインターフェースで表示する場合の例を示す。

関連語候補スコアのしきい値は０に設定してもよい。この場合、すべての関連語候補から選択することになる。また、逆に関連語候補スコアが低いほうから関連語として選択し、表示してもよい。

また、関連語候補スコアの低い方から関連語を選択する場合、検索語「インターネット」が入力されると、表６の出現単語の欄の「インターネット」から関連語候補である「メディア」、「放送」、「拠点」、「動画」、「コンテンツ」、「認証」とそれぞれに対応した関連語候補スコアを参照する。関連語候補スコアのしきい値を５０とした場合、関連語候補スコアが１０、３４である「動画」、「コンテンツ」が関連語となる。

また、関連語情報を読み出して、それを表示せず、決定した関連語を用いてそのまま検索を行ってもよい。このような場合には、関連語候補スコアが一番高いもので検索する方法や、決定した関連語すべてで検索する方法、入力された検索語と関連語を組み合わせる方法が挙げることができる。関連語候補スコアが一番高い関連語候補を関連語とする方法で検索を行う場合を例にとると、上述した検索語「インターネット」が入力された場合、関連語候補スコアが一番高い関連語は「放送」であるので、この関連語を用いてそのまま検索を行うことになる。その結果、放送が含まれているスライドＢが検索される。

次に、図７に示すフローチャートを参照しながら予め関連語情報データベース２１に情報を登録することなく、検索語が入力されてから関連語候補スコアの計算を行う場合の検索装置１の処理手順を説明する。なお、このフローでは、検索語が入力された後に、その検索語の関連語を計算して求め、ユーザ端末画面に表示する手順を説明する。

アクセスのあったユーザ端末から、検索語が入力されると（ステップＳ１）、インターフェース部２３から検索制御部２２にこの検索語が通知される。検索制御部２２は、検索語を関連語情報生成部２０に出力する。
関連語情報生成部２０は、インデックス情報格納部１９から全データＩＤとそれに対応した出現単語を取得し、閲覧情報データベース２４から全データＩＤとそれに対応した閲覧情報を取得する（ステップＳ２）。閲覧情報には、データ閲覧回数、ブックマーク数、アノテーション付与数といった情報が含まれる。
次に、関連語情報生成部２０は、関連語候補取得部３２で、検索語と共起する単語を関連語候補として取得する（ステップ３）。

次に、活用度判定部３３で、会議に使用された資料の、会議中・会議後での活用度を判定して、数値化する（ステップＳ４）。資料の会議での活用度を評価する評価項目が複数用意されており、活用度判定部３３は、評価項目ごとに対象資料（スライド）の活用度を判定して数値化する。

資料スコア計算部３４では、評価項目ごとに求められた数値を加算して平均値を求める。これを資料スコアとする（ステップＳ５）。そして、関連語候補スコア計算部３５で、関連語候補ごとに、資料スコアから関連語候補スコアを計算する（ステップＳ６）。関連語候補スコア計算部３５は、関連語候補が含まれる資料の資料スコアから関連語候補スコアを計算する。
スライド中に出現する単語（出現単語）と、その関連語候補と、計算した関連語候補スコアとは関連語情報として関連語情報データベース２１に格納されると共に、検索制御部２２に出力される。

検索制御部２２は、関連語情報生成部２０から取得した関連語情報から関連語を選択し（ステップＳ７）、選択した関連語の関連語情報を表示する（ステップＳ８）。

次に、図８に示すフローチャートを参照しながら、予め関連語情報データベース２１に登録してある関連語情報を検索制御部２２で参照して、関連語を表示して、対象スライドを検索する手順を説明する。
ネットワークを介して接続したユーザ端末から検索語が入力されると、検索制御部２２は、その検索語に対応した関連語候補と関連語候補スコアを関連語情報データベース２１から取得する（ステップＳ１１）。検索制御部２２は、関連語情報に含まれる関連語候補スコアを参照して、スコアの高い関連語候補を選択する（ステップＳ１２）。選択した関連語候補を関連語とし、検索語と関連語を用いたスライド検索を実施する（ステップＳ１３）。このスライド検索によって得られた検索結果をユーザ端末に表示させる（ステップＳ１４）。

上述した実施例１では、表３に示す各評価項目の数値は、スライド単位で計算を行っているが、プレゼンテーション単位に置き換えて計算を行い、資料スコアや関連語候補スコアはその結果を用いて計算してもよい。プレゼンテーション単位での各評価項目の計算は、以下のようになる。
「ア：プレゼンテーション時の資料記録回数」は、プレゼンテーションが記録された回数となる。
「イ：プレゼンテーション時の資料提示時間(秒)」は、プレゼンテーションの総提示時間となる。
「ウ：プレゼンテーション時の資料提示の際の発話量（無音区間を除く発話時間）(秒)」は、プレゼンテーションの総発話量となる。
「エ：プレゼンテーション時の提示資料に対するポインティング時間」は、プレゼンテーションの総ポインティング時間となる。
「オ：閲覧機能におけるユーザの資料閲覧回数」は、ユーザがプレゼンテーション資料の一部または全部を閲覧した回数となる。
「カ：閲覧機能における資料に対するブックマーク登録人数」は、ユーザによりプレゼンテーション資料の一部または全部がブックマークに登録されている回数となる。
「キ：閲覧機能における資料に対するアノテーション付与数」は、プレゼンテーション資料全体に対して付与されたもの、またはスライドごとに付与されたアノテーションの総数となる。

本実施例は、インターフェース部２３によってユーザ端末に表示されるインターフェース画面の実施例である。
本実施例は、ユーザ端末に表示する表示画面において、関連語を検索する単語の入力位置と、通常のスライド検索を行うための単語入力位置とを同じにしている。これらは別にしてもよい。また、検索に利用する単語は、以下のいずれでもよい。
１．入力された検索語
２．入力された検索語と、一番関連語候補スコアが高い関連語
３．入力された検索語と、事前に指定された関連語
関連語を事前に指定する方法としては、例えば、「関連語のうちで、１番目から３番目に関連語候補スコアが高いものを検索語として入力する」というように設定しておく方法が考えられる。

図９には、スライドの検索の実行後にユーザ端末に表示されるインターフェース画面の一例を示す。検索語が入力されると、その検索語のみを用いて通常のスライドの検索を行い、検索結果を表示するとともに、関連語情報を取得し、この結果も同じユーザインターフェースで表示する。また、図９に表示された関連語にリンクを貼り、これをクリックするなどして、この関連語のみを用いた検索、または検索語とクリックされた関連語を用いた検索を行うようにしてもよい。また、提示された関連語をチェックボックスにチェックを入れるなどして一つまたは複数選択し、これらの関連語を用いた検索、または検索語と選択された関連語を用いた検索を行ってもよい。

上述したアからキの評価項目のうち、複数の情報を利用する場合は、関連語情報の表示の際に、関連語候補スコアだけでなく、スコアの中に占める割合が大きい評価項目の情報や、各評価項目のスコアの内訳を表示してもよい。

これを表示させる方法は、表３の各評価項目の数値から表４の資料スコアの計算を行って記録するときに、スライドごとに各評価項目の内訳を一緒に記録しておく。実施例のデータに基づいた例を表７に示す。

スライドごとに算出された資料スコアは、表３のアからキの評価項目の数値の合計であるので、表３の数値がそのまま表７の資料スコアの覧に格納される。各評価項目の数値に重み付けをする場合は、重み付けした後の値を表７のアからキの欄に入力する。
また、表６に示した各関連語候補に対する関連語候補スコアを計算して記録する際にも、表７の各情報の内訳を用いて、関連語候補スコアの内訳を一緒に記録しておくとよい。実施例のデータに基づいた例を表８に示す。なお、表８のアからキに示す各数値は、少数点以下第一位で四捨五入したものである。

上述した実施例１では、関連語候補が出現する各スライドの資料スコアについて平均を計算したが、本実施例でも、各関連語候補に対する関連語候補スコアのアからキのそれぞれの内訳を計算する場合に平均値を計算する。各評価項目の数値に重み付けをする場合は、重み付けした後の値を用いる。
例えば、検索語が「インターネット」で、関連語候補が「メディア」で、イの評価項目（プレゼンテーション時の資料提示時間（秒））を計算する場合について説明する。表５より「メディア」はスライドＡ，Ｃ，Ｄ，Ｅに出現し、スライドＡ，Ｃ，Ｄ，Ｅに対応する評価項目イの数値は、表７より３３、６、２６、４０であり、これについて平均を取る。よって２６．２５となり、四捨五入して２６となる。

また、ユーザ端末に検出した関連語を表示する際には、そのまま表８に記録された評価項目の内訳をすべて表示するか、または評価項目の中で、値が最大のもののみを表示するようにしてもよい。
表８に示す例で、例えば、検索語として「インターネット」を入力し、「放送」「認証」が関連語として検出されたとする。この２つについて内訳を表示する場合は、表８より「インターネット」「放送」の行と、「インターネット」「認証」の行のアからキの各情報を取得すればよい。また、この２つについて値が最大のものの情報名を表示する場合は、「放送」については、「インターネット」「放送」の行のうち、イのプレゼンテーション時の資料の提示時間(秒)が最大であり、「認証」についても、「インターネット」「認証」の行のうち、イの資料の提示時間(秒)が最大であり、それぞれこの情報を関連語付近に表示する。図１０には、評価項目の内訳の全てを表示する場合の表示例を示す。

上述した実施例１では、表６の関連語候補スコアの計算を行う時に、関連語候補が出現する全スライドの資料スコアの平均を求めていた。本実施例では、検索語と関連語候補とが両方とも出現するスライドの資料スコアの平均を計算する。この場合、検索語と関連語候補とが両方とも出現するスライドのみを用いて計算を行うため、より精度のよい関連語候補スコアを得ることができる。

以下では、ユーザによって入力された検索語と、関連語候補のうち関連語候補スコアが一番高い単語とが共起するスライドを検索する例を示す。関連語候補スコアの計算は、関連語候補が出現する全スライドの資料スコアで計算する場合と、検索語と関連語候補とが共に出現するスライドの資料スコアで計算する場合との両方を示す。

図１１のような時刻と提示順でスライドAからCの資料を用いたプレゼンテーションが行われ、これらのスライドの画像データと、音声データとが画像・音声データベース１６に保存された。

資料中の出現単語をインデックス生成部１８でスライドごとに抽出すると、表９に示すようであったとする。

また資料中の検索語に対してスライド単位（１枚のスライドの範囲内）で共起した単語を関連語候補とし、これを抽出すると表１０のようになる。

会議資料関連情報と閲覧情報とから、上述したアからキの評価項目をスライドごとに抽出した結果は、表１１の通りであったとする。

表１１の各評価項目に基づき、各スライドの資料スコアを計算する。実施例１と同様に、全ての情報の数値に対して重みを１にして和を取った場合を表１２に示す。

表１３に各関連語候補が出現するスライドを示す。また、表１４に出現単語と関連語候補が共起するスライドを示す。

表１３または表１４の情報と、表１２のスライドごとに対応する資料スコアとを基に、表１０の出現単語に対する関連語候補について、関連語候補スコアを計算する。この計算は、実施例１と同様に、資料スコアの平均を行い、少数点以下第一位で四捨五入する。
表１５には、実施例１に示した関連語候補が出現する全スライドの資料スコアを用いて関連語候補スコアを計算した場合を示す。例えば、出現単語が「インターネット」の場合で、関連語候補が「拠点」の場合の関連語候補スコアの計算方法を説明する。関連語候補である「拠点」が出現する全スライドは、表１３よりスライドＡ，Ｂである。これらの資料スコアは表１２より２３５、１０であるため、平均値は１２３となる。

表１６には、出現単語と関連語候補が共起するスライドのみで資料スコアを計算した場合を示す。こちらについても、出現単語が「インターネット」の場合で、関連語候補が「拠点」の場合について説明すると、関連語候補である「インターネット」と「拠点」が共起するスライドは、表１４よりスライドＡのみである。スライドＡの資料スコアは表１２より２３５であるため、平均値も２３５となる。

検索語として「インターネット」を入力し、その関連語候補スコアが一番高い関連語候補を関連語とし、「インターネット」とその関連語が共起するスライドを検索する場合を考える。表１５を用いると、出現単語が「インターネット」に対する関連語は、関連語候補スコアが１３１で最大となっている「コンテンツ」である。「インターネット」と「コンテンツ」が共起するスライドは、表９（または表１４）からＣである。
一方、表１６を用いた場合、関連語は、関連語候補スコアが２３５で最大となっている「拠点」である。「インターネット」と「拠点」が共起するスライドは、表９(または表１４)からスライドＡである。どのスライドが検索されるべきかは、表１１、表１２から判断すると、スライドＣよりも情報項目の数値や資料スコアの高いＡである。よって、入力単語と関連語が共起するスライドを検索する場合、関連語候補スコアの計算には、出現単語と関連語候補が共起するスライドのみの資料スコアを用いた方がよい場合がある。

関連語を得るために入力する検索語は複数であってもよい。実施例１のデータに基づき、「インターネット」と「メディア」を入力したときにＡＮＤ検索で関連語を求める手順は、以下のようになる。
まず、表１を用いて、「インターネット」と「メディア」が共起するスライドに出現するその他の共起語を取得する。この場合、スライドＡ，Ｃ，Ｅで「インターネット」と「メディア」が共起している。その他の共起語は、スライドＡからは取得されず、スライドＣからは「動画」「コンテンツ」、スライドＥからは「拠点」が取得される。
次に、表６から「動画」、「コンテンツ」、「拠点」のそれぞれの関連語候補スコアを取得する。この場合、それぞれ１０，３４，１６３となる。
次に、閾値を設けて表示する関連語を決定する。例えば閾値を０とすれば、「動画」、「コンテンツ」、「拠点」が表示される。

また、実施例に基づき、「動画」と「遠隔」を入力したときにＯＲ検索で関連語を求める手順は、以下のようになる。
まず、表６を用いて、「動画」または「遠隔」の関連語候補を重複を除いて全て取得する。この場合、「動画」の関連語候補は、「インターネット」、「メディア」、「コンテンツ」であり、「遠隔」の関連語候補は、「メディア」、「拠点」、「コンテンツ」である。よって「インターネット」、「メディア」、「コンテンツ」、「拠点」が取得される。
次に、取得された関連語候補の関連語候補スコアを取得する。この場合、それぞれ１４６，６４，３４，１６３が取得される。
次に、閾値を設け表示する関連語を決定する。例えばしきい値を５０とすれば、「拠点」、「インターネット」、「メディア」が表示される。

資料スコアの算出に用いた評価項目は、ユーザにとって有用な資料であるかどうかを示す項目であったが、この他に、関連語候補が出現するスライドにおいて、そのスライドを代表する単語であるかを示す以下の評価項目を利用することもできる。
ク：タイトルが記述される位置に関連語候補があるか
ケ：関連語候補の文字が大きいか
コ：関連語候補の文字に色がついているか
サ：関連語候補の文字に下線が引かれているか
シ：関連語候補の文字が太字か
関連語候補の位置、矩形の大きさ、下線の有無、太字かどうかは、資料に保持されている資料自体や、画像にしたスライドに対する文字認識、画像認識の結果から得ることができる。「ク：タイトルが記述される位置に関連語候補があるか」については、スライドの上部に関連語候補が存在するかどうかを判定あれば一定のスコアを付け、なければ０とする。または、上部にあればあるほど、スコアを大きくしてもよい。「ケ：関連語候補の文字が大きいか」については、文字の矩形の大きさについて閾値を設け、閾値を超えた場合は一定のスコアを付け、超えなければ０とする。または、大きさに応じてスコアを付けてもよい。「コ：関連語候補の文字に色がついているか」については、色が付いていれば一定のスコアを与え、なければ０とする。または、色に応じてスコアを付けてもよい。「サ：関連語候補の文字に下線が引かれているか」については、引かれていれば一定のスコアを付け、引かれてなければ０とする。「シ：関連語候補の文字が太字か」については、太字であれば、一定のスコアを付け、なければ０とする。

また、資料スコアは、ユーザにとって有用かどうかを示す評価項目を利用する場合と異なり、資料ごとに計算するのではなく、その資料に出現する単語ごとに計算する。表１７に例を示す。この例は、スライドＡには「インターネット」「メディア」、スライドＢには「放送」、スライドＣには「メディア」「拠点」「認証」が出現した場合である。表１７の資料スコアは、各評価項目の数値の重みを1にして和を取った値である。

また、実施例１の表６に対応する、資料スコアを利用した関連語候補スコアの計算では、関連語候補スコアを計算しようとしている関連語候補が出現するスライドの、対応する出現単語の資料スコアを用いる。関連語候補「メディア」の関連語候補スコアを計算する場合は、スライドＡの出現単語「メディア」の資料スコア５と、スライドＣの出現単語「メディア」の資料スコア２１を用いる。

上述した実施例は本発明の好適な実施例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

検索装置の構成を示すブロック図である。 ソフトウェア制御によって検索装置を構成する場合のハードウェア構成を示す図である。 関連語情報生成部の構成を示すブロック図である。 プレゼンテーションで使用されたスライドの提示順と、提示時間とを示す図である。 ユーザ端末に表示されるインターフェース画面を示すものであり、検索語を入力する入力欄と、検索開始ボタンとを表示した例を示す図である。 ユーザ端末に表示されるインターフェース画面を示すものであり、検索語の入力欄の他に、関連語とその関連語候補スコアとを表示した例を示す図である。 検索装置の処理手順を示すフローチャートであり、検索語が入力される毎に、関連語候補スコアを計算して関連語を選択する手順を示す図である。 検索装置の処理手順を示すフローチャートであり、予め計算された関連語候補スコアを利用して関連語を選択する手順を示す図である。 ユーザ端末に表示されるインターフェース画面を示すものであり、検索語の入力欄の他に、関連語と、検索結果とを表示した例を示す図である。 ユーザ端末に表示されるインターフェース画面を示すものであり、検索語の入力欄の他に、関連語と、その関連語候補スコアと、その内訳とを表示した例を示す図である。 プレゼンテーションで使用されたスライドの提示順と、提示時間とを示す図である。

符号の説明

１０ ＰＣ
１１ カメラ
１２ マイク
１３ 画像表示装置
１４ 映像・音声取込み部
１５ データ登録部
１６ 画像・音声データベース
１７ テキスト抽出部
１８ インデックス生成部
１９ インデックス情報格納部
２０ 関連語情報生成部
２１ 関連語情報データベース
２２ 検索制御部
２３ インターフェース部
３１ 情報入力部
３３ 活用度判定部
３４ 資料スコア計算部
３５ 関連語候補スコア計算部
３６ 関連語情報書込み部

Claims (7)

1. 記憶装置を検索して、入力を受け付けた検索語に関連する関連語を検出し表示する関連語表示装置であって、
   前記記憶装置を検索して、入力を受け付けた検索語の出現するスライドを検出する第１検出手段と、
   前記第１検出手段によって検出されたスライドに、前記検索語と共に出現する単語を関連語候補として検出する第２検出手段と、
   前記関連語候補が出現する各スライドの活用度合いを評価した第１評価値を生成する第１評価値生成手段と、
   前記各スライドの第１評価値の平均値と、前記各スライドの第１評価値の重み付け和と、前記各スライドの第１評価値の加重平均とのいずれか１つを用いて、前記関連語候補の第２評価値を算出する第２評価値生成手段と、
   前記第２評価値と事前に設定されたしきい値とを比較して、前記第２評価値が前記しきい値よりも高い関連語候補を選択する選択手段と、
   前記選択手段により選択された関連語候補を関連語として表示する表示手段とを備え、
   前記第１評価値生成手段は、会議中にスライドを表示装置に表示した表示時間と、前記表示装置にスライドを表示した際の、前記スライドに対する会議参加者の総発言時間と、前記表示装置にスライドを表示した際に、ポインティングデバイスを使用したポインティングが前記スライドに対して行われた時間との少なくとも１つの時間を会議中におけるスライドの活用度合いを表す第１評価値として生成することを特徴とする関連語表示装置。
2. 前記第１評価値生成手段は、前記記憶装置に記憶されたスライドが閲覧された回数と、スライドを記憶した前記記憶装置のアドレスが、ブラウザソフトに登録された件数と、スライドに付加された情報数との少なくとも１つを評価項目とし、選択した評価項目の評価対象の数をカウントして前記第１評価値を算出することを特徴とする請求項１記載の関連語表示装置。
3. 前記第１評価値生成手段は、前記関連語候補がスライドのタイトルを記述した位置にあるか否かと、前記関連語候補の文字サイズが他の文字サイズよりも大きいか否かと、前記関連語候補の文字が色付きであるか否かと、前記関連語候補の文字に下線が引かれているか否かと、前記関連語候補の文字が太文字であるか否かとの少なくとも１つを評価項目とし、選択した評価項目の判定結果が肯定判定である場合に前記評価値に所定値を加算して、前記第１評価値を算出することを特徴とする請求項１又は２記載の関連語表示装置。
4. 前記関連語候補と、前記第２評価値生成手段によって生成された前記関連語候補の評価値とを記憶した評価値記憶手段を有し、
   前記選択手段は、検索語が入力されると、前記評価値記憶手段を参照して評価値の高い関連語候補を選択し、
   前記表示手段は、前記選択手段により選択された関連語候補を関連語として表示することを特徴とする請求項１から３のいずれか一項記載の関連語表示装置。
5. 請求項１から４のいずれか１項に記載の関連語表示装置によって前記表示手段に表示された関連語と前記検索語とが記載されたスライドを前記記憶装置を検索して検出し、前記表示手段に表示させることを特徴とする検索装置。
6. 記憶装置を検索して、入力を受け付けた検索語に関連する関連語を検出し表示する関連語表示装置の関連語表示方法であって、
   前記記憶装置を検索して、入力を受け付けた検索語の出現するスライドを検出する第１ステップと、
   前記第１ステップによって検出されたスライドに、前記検索語と共に出現する単語を関連語候補として検出する第２ステップと、
   前記関連語候補が出現する各スライドの活用度合いを評価した第１評価値を生成する第３ステップと、
   前記各スライドの第１評価値の平均値と、前記各スライドの第１評価値の重み付け和と、前記各スライドの第１評価値の加重平均とのいずれか１つを用いて、前記関連語候補の第２評価値を算出する第４ステップと、
   前記第２評価値と事前に設定されたしきい値とを比較して、前記第２評価値が前記しきい値よりも高い関連語候補を選択する第５ステップと、
   前記第５ステップにより選択された関連語候補を関連語として表示手段に表示する第６ステップとを備え、
   前記第３ステップは、会議中にスライドを表示装置に表示した表示時間と、前記表示装置にスライドを表示した際の、前記スライドに対する会議参加者の総発言時間と、前記表示装置にスライドを表示した際に、ポインティングデバイスを使用したポインティングが前記スライドに対して行われた時間との少なくとも１つの時間を会議中におけるスライドの活用度合いを表す第１評価値として生成することを特徴とする関連語表示方法。
7. 記憶装置を検索して、入力を受け付けた検索語に関連する関連語を検出し表示する関連語表示装置で実行されるプログラムであって、
   コンピュータに、
   前記記憶装置を検索して、入力を受け付けた検索語の出現するスライドを検出する第１手順と、
   前記第１手順によって検出されたスライドに、前記検索語と共に出現する単語を関連語候補として検出する第２手順と、
   前記関連語候補が出現する各スライドの活用度合いを評価した第１評価値を生成する第３手順と、
   前記各スライドの第１評価値の平均値と、前記各スライドの第１評価値の重み付け和と、前記各スライドの第１評価値の加重平均とのいずれか１つを用いて、前記関連語候補の第２評価値を算出する第４手順と、
   前記第２評価値と事前に設定されたしきい値とを比較して、前記第２評価値が前記しきい値よりも高い関連語候補を選択する第５手順と、
   前記第５手順により選択された関連語候補を関連語として表示手段に表示する第６手順とを実行させ、
   前記第３手順は、会議中にスライドを表示装置に表示した表示時間と、前記表示装置にスライドを表示した際の、前記スライドに対する会議参加者の総発言時間と、前記表示装置にスライドを表示した際に、ポインティングデバイスを使用したポインティングが前記スライドに対して行われた時間との少なくとも１つの時間を会議中におけるスライドの活用度合いを表す第１評価値として生成することを特徴とするプログラム。

Images