JP3879786B2 - 会議情報記録再生装置および会議情報記録再生方法 - Google Patents
会議情報記録再生装置および会議情報記録再生方法 Download PDFInfo
- Publication number
- JP3879786B2 JP3879786B2 JP21029197A JP21029197A JP3879786B2 JP 3879786 B2 JP3879786 B2 JP 3879786B2 JP 21029197 A JP21029197 A JP 21029197A JP 21029197 A JP21029197 A JP 21029197A JP 3879786 B2 JP3879786 B2 JP 3879786B2
- Authority
- JP
- Japan
- Prior art keywords
- speech
- speaker
- similar
- similarity
- intention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、会議における音声情報あるいは映像情報などの会議情報を記録し、再生する装置および方法において、会議の参加者の発言構造から特定の状況の音声情報および／または映像情報を検索して再生する場合に、特に、検索者の意図に適したアクセス個所をできるだけもれなく効率的に検索できる装置および方法に関わる。
【０００２】
【従来の技術】
会議では、多くの情報が会話による音声情報として生成される。これらのうち、ホワイトボードや議事録にテキスト情報として記録される情報はわずかであり、多くの重要な情報が記録されない、あるいは正確に思い出せないなどの問題点がある。
【０００３】
この問題に対して、会議で発生するあらゆる情報を記録しておく会議記録装置があり、この会議記録装置の一例が、特開平6-343146号公報に記載されている。ここでは、マイクロフォンから入力された音声情報、ビデオカメラから入力された映像情報、ペン入力によるテキスト情報や図形情報など、あらゆるマルチメディア情報がもれなく記録される。
【０００４】
このような会議記録装置においては、会議の内容を思い出そうとしたとき、どのようにして、適切に必要な場所へアクセスできるのかが重要な問題となる。しかし、リアルタイムに参加者が、各会議場面にインデックスを貼付するのはきわめて困難である。この点、会議終了後、人間による手動によって、適切なインデックスづけがなされれば、効果的なインデックスが可能である。
【０００５】
しかしながら、このようなインデックス付けの手間は莫大である。さらに、後で必要な情報は、検索を行う人それぞれによって、あるいは時間の経過に伴って変化することが多く、あらかじめ決められたインデックスで十分な検索を行うことは困難である。したがって、会議中に発生する多様な手がかり情報から、人手をわずらわせず、自動的に効果的なインデックスを提供する方法が検討されている。
【０００６】
特開平6-343146号公報では、ペンによる入力手段によって、テキストやジェスチャーが入力された時刻をインデックスとして、音声や映像情報を検索できる手段を提供している。会議参加者は、重要な発言が発生すると、しばしば手書きメモをとる。このことから、手書きメモを行った時刻をインデックスとすることで、会議の重要情報に効果的にアクセスすることが可能となる。
【０００７】
しかしながら、会議参加者は議論に熱中すると、メモがとれないという問題点が存在する。したがって、このような会議参加者の能動的な指示および行為を必要とするインデックスは、効果的なものが多い反面、もれも多い。また、十分なインデックスを作成しようと思ったら、会議参加者は、多くのメモを取らなければならず、負担が増す。また、十分なメモ書きが存在すれば、マルチメディア記録の必要性も小さくなるという矛盾が発生する。
【０００８】
できるだけ会議参加者に負担をかけず、十分なインデックスを自動的に抽出するための方法として、他にもいくつかの方法が検討されている。特開平2-113790号公報では、動画像から、画像情報の特徴抽出により検索シーンを抽出し、これをメニュー表示することにより、検索者が対話的に必要とする場面を選択していくことにより、大量の動画像データから、効率的に必要なデータへとアクセスを可能とする。「特定の人物が黒板に出て話した時」というように、会議の中でもこのような技術が有効である局面は存在する。しかしながら、一般的には会議における映像情報はあまり大きな変化がなく、ここから会議内容を思い出すための十分な手がかりを抽出するのは困難である。
【０００９】
会議で最も重要な情報は、会話による音声データである。この音声データから検索のための手がかりを抽出す方法が試みられている。特開平3-250481号公報には、ユーザが道具を使用している映像の中からトラブルに陥った時の映像へとアクセスするために、トラブル時に頻繁に発せられるキーワードを用いて、該当するデータが記録されている場所へとアクセスする手法が記載されている。しかしながら、ここではかなり状況が特定化されており、汎用的な手がかり情報とはなり得ていない。
【００１０】
同じく音声情報を利用するものとして、特開示平6-236410号公報がある。ここでは、発話者の言語解析を行い、発話内容の話題とその分野を同定し、話題に適した情報群をデータベースから自動的に選択する。ここでは、発話表現用の辞書を用いて、話題転換個所およびそこでの話題の候補を検出する。話題の転換点は、会議記録へのアクセスの手がかりとして、非常に重要である。
【００１１】
しかしながら、話題転換点は重要ではあるが、アクセスの手がかり情報としては、粒度が大きすぎることで、きめの細かいアクセスができないという問題点がある。さらに、実用的な話題転換点を見つけるためには、現時点での自然な発話における音声認識技術では対応が十分ではないことと、発話表現用の辞書の充実において困難性が高い。
【００１２】
一方、特開平8-317365号公報には、会議の発言者の音声データを、データの記憶量の大きさに応じた長さで時系列的にグラフ化する技術が示されている。これにより、どのような順序で、誰が、どのくらいの時間長の発言を行ったのかを、グラフとして視覚化することができる。以下、この明細書では、この発言構造図を発言者チャートと呼ぶこととする。
【００１３】
この発言者チャートから会議参加者は、会議終了後でも、自身が参加した会議の会議内容をある程度想起することができ、重要な、あるいは必要とする情報の記録場所にアクセスすることが可能となる。この技術の利点は、高度な音声認識技術や辞書を必要としないこと、会議参加者の明示的な指示が必要なく、記録された情報だけから自動的に作成可能な点である。
【００１４】
【発明が解決しようとする課題】
しかしながら、発言者チャートを使用した会議記録における検索においては、次のような問題点が存在する。
【００１５】
一つには、記録された会議情報中の「部分情報」にアクセスすることに起因する問題点である。具体的には、現在、アクセスしている情報が、どこの情報だったのかがわからなくなってしまうという、アクセスの絶対位置の喪失の問題がある。また、会議全体の中で現在アクセスしている場所がどの辺なのかがわからないと言う、全体の中の相対的な位置の喪失感の問題がある。さらに、アクセスした部分情報を信用して結論を出してしまい、後で、結論が覆った部分の情報を見逃してしまうという、論理展開のどんでん返しに対する弱さが存在している。
【００１６】
２点めは、正しくない再生場所にアクセスした時、他のどこに必要な情報が存在しているのかわからないという点が挙げられる。
【００１７】
これらの問題点に対して、特開平8-317365号公報では対処できていない。これに対して、Xerox PARCのAudio browsing Tool(Donald G. Kimber,lynn D.Wilcox, Francine R. Chen, and Thomas Moran: "Speaker Segmentation for Browsing Recorded Audio", CHI ’95 Proceedings( short paper), pp.212-213) では、現在アクセスしている場所を明示的に発言者チャート上に示すことと、全体の中のどの部分を発言者チャートとして表示しているのかという２つの情報を表示することで、上記の「部分情報」へのアクセスに起因する問題点の、絶対的および相対的なアクセス位置の喪失という問題点は解決している。
【００１８】
しかし、他の２つ問題点は残されたままである。すなわち、会議に中では、論理展開が二点三点する可能性があり、誤って最初の結論にアクセスしてしまった時、その後に存在する正しい情報を見落としがちである。したがって、このような論理展開の転換に対して、アクセス漏れがなくなるような支援が必要となる。
【００１９】
また、発言者チャート自身は必ずしも、１回で正確に必要な情報の存在場所にアクセスできるインデックスではない。実際には、手書きメモなどと併用されることで、正確さを増すことができる。しかしながら、先にも述べたように手書きメモは参加者の負荷が高いため、むしろ、あいまい性の存在する発言者チャートから、どのように適切な情報の存在場所にたどりつける支援を行えるのかが重要となる。すなわち、たとえ正しくない場所にアクセスしたとしても、必要とする情報が他のどの辺に存在しているのかがわかるような情報が必要である。
【００２０】
以上の問題点に鑑み、この発明は、会議における発言構造を視覚化表示し、それを記録された会議情報へのアクセスのインデックスとして利用することが可能な会議情報記録再生装置において、会議参加者の負荷が小さく、しかも検索漏れが少なくでき、できるだけ効率的に欲しい情報へと到達できるようにする装置を提供することを目的とする。
【００２１】
【課題を解決するための手段】
上記課題を解決するため、請求項１に記載の発明による会議情報記録再生装置は、
複数人の会議参加者が会議を行う際の音声データを記録する記録手段と、
前記音声データから、前記複数人の会議参加者による発言を抽出して発言構造を示す情報を記憶するとともに、前記発言に関連する複数の属性情報を記憶する発言構造情報記憶手段と、
前記発言構造を視覚化するための視覚化情報を生成する視覚化情報生成手段と、
前記視覚化情報に基づいて前記発言構造を表示装置にて視覚化させる発言構造表示手段と、
前記発言構造表示手段により表示装置上に視覚化された発言構造中において指示入力を行うための指示入力手段と、
前記指示入力手段で指示された位置または部分に該当する音声データを再生する再生手段と、
前記指示入力手段で指示された位置または部分に対応する前記複数の属性情報を、前記発言構造記憶手段から、検索者の指示操作の意図として取得する意図取得手段と、
前記意図取得手段で取得された前記複数の属性情報と、前記発言構造情報記憶手段に記憶されている各発言に関連する複数の属性情報との類似度を算出して、前記検索者の指示操作の意図と類似した意図を持つと判定される音声データ区間を検出する類似候補検出手段と、
前記類似候補検出手段で検出された類似候補を表示装置上に視覚化するための類似候補表示手段と、
を具備することを特徴とする。
【００２２】
また、請求項２に記載の発明による会議情報記録再生装置は、
会議情報の音声データを入力するために会議参加者のそれぞれに設けられる音声入力装置と、
前記音声データを格納する第１の記憶手段と、
前記音声データから発言を抽出する発話データ抽出手段と、
前記抽出した発言のデータと、前記発言に関連する複数の属性情報と、タイマーとから発言構造テーブルを生成する発言構造テーブル生成手段と、
前記発言構造テーブルを格納する第２の記憶手段と、
前記音声入力装置と前記会議参加者との対応関係を保持する会議参加者テーブルを格納する第３の記憶手段と、
前記発言構造テーブルを表示装置上に視覚化するための発言者チャートを生成する発言者チャート生成手段と、
前記発言者チャート生成手段で生成された前記発言者チャートを前記表示装置上に表示する発言者チャート表示手段と、
前記発言者チャート上で、検索者が再生を意図する任意の発言を指示するための指示入力手段と、
前記指示入力手段によって指示された発言を特定する発言特定手段と、
前記発言特定手段で特定された発言の音声データを再生する再生手段と、
前記特定された発言に関する前記検索者の指示意図として、前記特定された前記発言に関連する複数の属性情報を、前記第２の記憶手段から取得する意図取得手段と、
前記意図取得手段で取得された前記複数の属性情報と、前記第２の記憶手段に記憶されている各発言に関連する複数の属性情報との類似度を算出して、前記検索者の再生指示操作の意図と類似した意図を持つと判定される類似発言候補を検出する類似発言検出手段と、
前記類似発言検出手段で検出された類似発言候補を表示装置上に視覚化するための類似発言候補表示手段と
を具備することを特徴とする。
【００２３】
また、請求項３に記載の発明による会議情報記録再生装置は、請求項２に記載の会議情報記録再生装置において、
前記意図取得手段では、前記指示された発言に関する、発言者名、発言時間、前発言者名、後発言者名の４つの属性情報を、前記検索者の意図として取得することを特徴とする。
【００２４】
また、請求項４に記載の発明による会議情報記録再生装置は、請求項２に記載の会議情報記録再生装置において、
前記類似発言検出手段は、
前記指示意図抽出手段において抽出された指示入力された発言の意図と、前記発言構造テーブル中の他の発言との類似度を、前記複数個の属性情報の合成関数により算出する発言類似度算出手段と、
前記発言類似度算出手段で算出された前記類似度が、予め定めた値以上の類似度を持つか否かを判定する発言類似度判定手段と、
を有し、前記発言類似度判定手段の判定結果に基づいて、前記類似発言候補を検出することを特徴とする。
【００２５】
また、請求項５に記載の会議情報記録再生装置は、請求項２に記載の会議情報記録再生装置において、
前記指示入力手段によって、前記検索者が再生区間の指示が可能であり、
前記意図取得手段では、
前記検索者の再生行為を監視する再生操作監視手段を持ち、
再生された音声データ区間の一連の発言群に関わる前記属性情報を、検索者の再生意図として取得する再生意図取得手段を備える
ことを特徴とする。
【００２６】
また、請求項６に記載の発明による会議情報記録再生装置は、請求項５に記載の会議情報記録再生装置において、
前記再生意図取得手段で用いる前記属性情報は、前記再生された音声データ区間の一連の発言群の再生開始発言に関する発言者名、発言時間、前発言者名、後発言者名の４つの属性情報と、停止発言者名と、総発言数と、総発言時間と、発言者集合と、発言遷移行列であることを特徴とする。
【００２７】
また、請求項７に記載の発明による会議情報記録再生装置は、請求項５に記載の会議情報記録再生装置において、
前記類似発言検出手段では、
前記再生意図取得手段からの前記複数の属性情報を用いて、前記発言構造テーブル中の他の一連の発言群に関して、発言構造の類似度を算出する発言構造類似度算出手段と、
前記発言構造類似度算出手段で算出された前記発言構造の類似度が、予め定めた値以上の類似度を持つか否かを判定する発言構造類似度判定手段と、
を有し、前記発言構造類似度判定手段の判定結果に基づいて、前記類似発言構造候補を検出することを特徴とする。
【００２８】
また、請求項８に記載の発明による会議情報再生装置は、請求項５の会議情報記録再生装置において、
前記類似発言検出手段は、
再生された発言の状況に応じて、類似発言検出手段と類似発言構造検出手段を自動的に選択する類似度判定方式選択手段を有することを特徴とする。
【００２９】
また、請求項９に記載の発明による会議情報再生装置は、請求項２の会議情報記録再生装置において、
前記類似発言候補表示手段は、
会議時間の情報を時系列的に可視化する全会議時間表示領域と、複数個の発言構造の縮小図を表示する類似候補縮小図表示領域との２つの表示領域を持ち、
前記全会議時間表示領域に、前記検索者の前記指示入力装置からの入力指示により定まる再生区間およびその再生区間の類次候補の存在区間を前記時系列上に部分表示領域として表示する手段と、
前記類似候補縮小図表示領域には、前記全会議時間表示領域に表示された部分表示領域の区間の発言構造を縮小した類似候補縮小図を、前記部分表示領域の数だけ一覧表示する一覧表示手段と、
を備え、
さらに、前記一覧表示された複数個の前記類似候補縮小図のうちの一つが、前記検索者により選択指示されたことを検知して、前記選択指示された区間の音声データを再生する手段と、
を備えることを特徴とする。
【００３０】
【作用】
請求項１の発明の会議情報記録再生装置では、会議情報の音声入力データから、発言構造を抽出し、記録する。ここで、発言構造は、例えば、音声入力データから発言を抽出し、その発言の発言者、発言開始時刻、発言終了時刻を特定し、さらに、発言順序をも特定することにより抽出できる。この発言構造は、視覚化情報生成手段により生成された視覚化情報により表示装置上に視覚化される。
【００３１】
そして、この視覚化情報上の任意の位置が、例えばマウス等のポインティングデバイスからなる指示入力手段により指示されることにより、音声および映像で記録された会議情報データの任意の位置が再生される。この際、検索者の検索行為が監視され、検索行動から検索者の検索の意図が自動的に抽出される。そして、会議中の他の部分に関して、抽出した検索者の意図と類似した意図を持つ発言が存在するかが検出され、検出された類似候補が表示装置上に表示される。
【００３２】
これにより、検索者に対して自動的に類似候補を提示することができる。この情報は、検索が失敗した場合に、次にアクセスすべき情報の存在を示し、効率的な検索を支援することができる。また、検索が成功した場合にも、他にも正解の候補が存在することを検索者に知らしめ、検索もれを減少させる効果を持つ。
【００３３】
請求項２の発明の会議情報記録再生装置では、会議情報の音声入力データから、発言構造を抽出し、発言構造データを記録する。発言構造データを視覚化するための手段として、例えば発言者、発言時間、発言遷移情報などの発言構造情報を時系列的に表示する発言者チャートが使用される。
【００３４】
発言者チャート上の任意の位置が検索者により指示入力されると、検索者の指示意図が自動的に抽出される。ここでの指示意図は、検索者が指示して再生した特定の発言に関する検索の意図であり、その発言に関わる複数の属性の特性値から構成される。指示発言の意図が抽出されたのち、発言構造データファイル中の他の発言に関して、指示意図と類似した意図を持つ発言が存在するかが評価される。類似した発言が検出された場合、その類似発言として抽出された発言が、発言者チャート上の該当する位置に視覚化される。
【００３５】
これにより、会議情報の検索者の検索意図と類似した構造を持つ発言が、検索者の付加的な入力なしに、自動的に抽出できる。さらに、検索者に類次発言候補を視覚的に提示することにより、その存在を知らしめることが可能となる。
【００３６】
請求項３の発明の会議情報記録再生装置では、指示意図の抽出において、検索者が指示入力により特定した発言に関する、発言者名、発言時間、前発言者名、後発言者名の４つの属性値を抽出することにより、検索者が行った指示入力の意図を算出することができる。これにより、検索者の意図の複雑な構造から、指示意図を表現する代表的な４つの属性を特定することにより、少ない情報量でかつ適切な検索者の指示意図を抽出することが可能となる。
【００３７】
請求項４の発明の会議情報記録再生装置では、検索者により指示された発言以外の会議中に行われた他の発言に関し、指示された発言との類似度が算出される。そして、この類似度がある基準を満足しているかを判定することにより、類似発言が抽出される。これにより、検索者が再生を指示した発言と類似した発言を自動的に抽出することが可能となる。
【００３８】
請求項５または請求項６の発明の会議情報記録再生装置では、検索者の検索行為から、指示入力行為だけではなく、再生行為からも自動的に検索意図が抽出される。
【００３９】
検索者は発言者チャート上の任意の発言を指示して会議情報を記録した音声および映像データを再生する。ついでしばらく再生した後、再生を停止するという再生行為を行うことができる。ここでは、再生停止指示入力が行われた後、再生区間を特定し、再生区間から、指示入力意図と再生意図の両者が自動的に抽出される。再生区間から意図を抽出するということは、単に１つの発言だけではなく、再生された一連の発言群とその発言構造から検索意図が抽出されるということを意味する。
【００４０】
ここで再生意図とは、請求項６においては、開始発言の指示意図、停止発言者名、総発言数、総発言時間、発言者集合、発言遷移行列の６つの発言構造に関わる属性により算出できる。これにより、指示意図だけを利用した時に比較し、より正確に検索者の検索意図を推論することが可能となる。
【００４１】
請求項７の発明の会議情報記録再生装置では、再生した区間の発言構造以外の、会議中に発生した他の発言構造について、再生した区間との類似度が算出される。この類似度が一定条件を満たすかが判断され、条件を満足したものが、類似発言構造候補として検出される。これにより、検索者の再生意図と類似した発言構造を持つ一連の発言群が自動的に抽出できる。
【００４２】
請求項８の発明の会議情報記録再生装置では、検索者の検索行為から、検索者の意図が特定の発言なのか、一連の発言群なのかを判定し、それぞれに適切な類似度の判定方式を自動的に判定する。これにより、検索者の付加的な入力なしに、適切な類似度を判定する手段を選択でき、より適切な類似候補を提示することが可能となる。
【００４３】
請求項９の発明の会議情報記録再生装置では、検出した類次候補を検索者に提示する表示方法に関して、会議の全体を時系列的に示す表示領域と、類次候補の発言構造を縮小表示によって一覧できる表示領域を持つことにより、類次候補の会議の中の相対的な位置関係を時間軸上で把握できることと、その詳細を縮小表示により一覧できることにより、発言の内容の詳細と時系列上の相対的な位置関係の２つの情報を有機的に連結して表示することが可能となる。
【００４４】
これにより、発言構造の認識力が向上し、より効率的に検索が可能となる。また、このような情報を参照しながら再生情報を聞く、または見ることにより、再生内容の理解も促進することができる。
【００４５】
【発明の実施の形態】
以下、図を参照しながら、この発明による会議情報記録再生装置の実施の形態を説明する。
【００４６】
図１は、この発明の一実施の形態の会議情報記録再生装置のシステム構成図を示すブロック図である。この実施の形態の会議情報記録再生装置は、会議情報として音声および映像データを記録し、かつ、記録した音声および映像データファイルの任意の位置へのアクセス手段を持ち、このアクセス手段によりアクセスされた個所の音声および映像データを再生するものである。
【００４７】
この実施の形態における会議情報記録再生装置では、検索者の再生指示に応じて、会議情報として記録された音声および映像データファイル中の任意の位置へアクセスすることができるようにするため、発言者チャートのような発言構造を視覚化したアクセスインデックスを備える装置を前提としている。そして、この発言者チャートを介して、検索者が再生指示をしたときに、指示された位置に該当する音声および映像データを再生するのはもちろんであるが、その上に、検索者の再生指示意図を抽出し、その意図と類似した検索候補が存在しないかを検出し、それを表示することにより、検索者の検索もれを減少させるようにするものである。
【００４８】
図１に示すように、この実施の形態の会議情報記録再生装置は、複数個の音声入力装置１ａと、映像入力装置１ｂと、音声入力装置１ａからの音声信号用のＡ／Ｄ変換装置２と、音声データ合成装置３と、ファイル格納部４と、発言者チャート生成制御部５と、表示装置１１と、指示入力装置１２と、映像再生装置１３と、音声再生装置１４とを備える。
【００４９】
発言者チャート生成制御部５は、発話データ抽出部６と、タイマー７と、発言構造テーブル生成部８と、発言者チャート生成部９と、発言者チャート表示部１０の一部とを備える。発言者チャート検索制御部１５は、発言特定部１６と、検索者意図抽出部１７と、類似候補検出部１８と、類次候補表示部１９と、発言者チャート表示部１０の一部とを備える。
【００５０】
この実施の形態においては、発言者チャート生成制御部５および発言者チャート検索制御部１５は、コンピュータ処理装置の構成とされる。すなわち、発言者チャート生成制御部５および発言者チャート検索制御部１５の各部は、コンピュータのソフトウエアで実現される機能部の構成とされる。
【００５１】
音声入力装置１ａは、マイクロフォンなどからなる会議参加者の音声を入力する装置であり、会議参加者のそれぞれに割り当てられている。複数個の音声入力装置１ａのそれぞれの出力音声信号は、Ａ／Ｄ変換装置２においてデジタル信号に変換される。このＡ／Ｄ変換装置２からの複数個のデジタル音声データは、音声データ合成装置３によって会議参加者全員の音声データとして合成され、ファイル格納部４に音声データファイルとして格納される。
【００５２】
映像入力装置１ｂは、例えばデジタルビデオカメラからなり、この映像入力装置１ｂからのデジタル映像データは、ファイル格納部４に映像データファイルとして格納される。映像入力装置１ｂのデジタルビデオカメラは、１台でも、あるいは複数台でもよい。
【００５３】
図２は、ファイル格納部４に格納されるデータファイルについて説明する図である。ファイル格納部４には、この例では、４つのデータファイルが格納されている。発言構造テーブル４１は、会議における会議参加者の発言の構造を、入力音声データから抽出して生成されるデータファイルである。このデータは、音声データファイル４３および映像データファイル４４へアクセスするためのインデックスとなる情報を保持している。さらに、発言者チャートを生成するためのデータともなる。この発言構造テーブル４１については、後で詳述する。
【００５４】
音声データファイル４３および映像データファイル４４は、会議情報として記録した音声データおよび映像データを保持するデータファイルである。これら音声データファイル４３および映像データファイル４４は、発言構造テーブル４１とのあいだにリンク関係を保持している。会議参加者テーブル４２は、会議参加者を識別するためのデータファイルであり、音声入力装置１ａのそれぞれに対応して付与された入力装置番号と会議参加者名との関係をデータとして保持している。
【００５５】
図３は会議参加者テーブル４２のデータ構造を説明するための図である。会議参加者テーブルは、会議参加者と入力装置番号との対応関係を保持するデータファイルである。フィールド４２ａは入力装置番号であり、音声入力装置１ａが保持する識別子である装置番号を意味する。フィールド４２ｂは会議参加者名であり、各音声入力装置１ａに割り当てられた会議参加者の名前がテキストデータとして保持される。
【００５６】
Ａ／Ｄ変換装置２からの、複数個の音声入力装置１ａのそれぞれについてのデジタル音声データは、発言者チャート生成制御部５に渡され、処理される。発言者チャート生成制御部５は、ファイル格納部４に格納された音声データファイルの任意の位置にアクセスするためのアクセス手段の１つである発言者チャートを生成する装置である。この発言者チャートの生成処理の詳細については後述する。
【００５７】
表示装置１１は、発言者チャート生成制御部５で生成された発言者チャートを、その画面に視覚的に表示する。また、映像再生装置１３により再生された映像も、さらに表示するようにしてもよい。すなわち、映像再生装置１３は表示部を備えるので、その表示部に再生された映像を表示するが、表示装置１１の表示画面に表示してもよい。もちろん、表示装置１１には、発言者チャートのみを表示し、映像は、映像再生装置１３の表示部に表示するように分担させて表示させるようにすることもできる。
【００５８】
指示入力装置１２は、表示装置１１の表示画面に表示された発言者チャート中の発言や発言構造を指示するためのもので、マウスやポインティングデバイスによって構成される。
【００５９】
映像再生装置１３は、ファイル格納部４の映像データファイルの内の、発言者チャートからユーザにより指示された部分の映像データを再生する装置である。また、音声再生装置１４は、同様に、ファイル格納部４の音声データファイルの内の、ユーザにより指示された部分の音声データを再生する装置である。発言者チャートを使用して、音声データと同期させて、映像データの任意の箇所を、映像再生装置１３で再生することもできる。
【００６０】
発言者チャート探索制御部１５は、表示装置１１の表示画面の発言者チャート上において指示入力装置１２により指示された任意の位置に対応する音声データおよび画像データを検索して再生するものである。
【００６１】
以下の説明においては、説明の簡単のため、音声データファイルからの指示された音声データの検索について述べるが、会議情報のデータファイルの再生に関しては、映像データにおいても同様である。
【００６２】
まず、発言者チャート生成制御部５における処理動作について説明する。
【００６３】
Ａ／Ｄ変換装置２からの、複数個の音声入力装置１ａのそれぞれについてのデジタル音声データは、発話データ抽出部６に入力される。この発話データ抽出部６においては、入力された音声データのそれぞれについて、ある一定以上の音量レベルが一定時間以上継続した場合を発話としてみなして発言区間を抽出し、その発言区間データを発言構造テーブル生成部８に伝達する。発言区間データは、音声入力装置１ａのいずれからの音声データをあるかを示す入力装置番号と、発言開始タイミングと、発言終了タイミングの情報とによって構成されている。
【００６４】
発言構造テーブル生成部８では、会議の発言を記録した音声データファイルへのアクセスインデックスとなる、発言構造テーブルを生成する。すなわち、前記発話データ抽出部６からの発言区間データと、タイマー７の時間情報から、入力装置番号、発言開始時刻、発言終了時刻など、会議参加者の発言区間に関する情報を抽出し、発言構造テーブルを生成し、ファイル格納部４に格納する。
【００６５】
図４は、発言構造テーブルのデータ構造を説明するための図である。発言構造テーブルは、会議における会議参加者の発言の構造を保持し、会議情報を記録した音声データファイルおよび映像データファイルへのアクセスインデックスとして使用されるデータファイルである。
【００６６】
図４において、フィールド５１は発言番号であり、発言の時間順に識別子が割り当てられる。フィールド５２は発言が検出された音声入力装置１ａの識別子としての入力装置番号である。フィールド５３は発言開始時刻であり、検出された発言の開始時刻を記録開始時からの経過時間として記録する。フィールド５４は発言終了時刻であり、検出された発言の終了時刻を同様に記録する。
【００６７】
前述もしたように、音声データファイル４３と発言構造テーブルとは対応関係が付けられている。例えば、図４で発言番号７の発言についての、両者の対応関係について説明すると、５６は音声データファイル４３に記録された発言番号７の記録個所を示しており、リンク５５ａは発言番号７の記録位置の開始点を指している。また、同様に、リンク５５ｂは発言番号７の記録位置の終了点を指している。
【００６８】
発言者チャート生成部９は、ファイル格納部４に格納された発言構造テーブルの情報を受け、この発言構造テーブルを視覚化して表示するための発言者チャートの情報を生成する。生成された発言者チャート情報は発言者チャート表示部１０に渡され、発言者チャート表示部１０は、発言者チャートを表示装置１１に表示する。
【００６９】
図５は、発言者チャートの一実施の形態を示す図である。１０１は発言者チャート表示領域である。発言者チャートは、会議全体のオーバービューとして表示する全会議時間表示領域１０２と、この全会議時間表示領域１０２中に表示される詳細表示個所１０４に該当する部分の発言構造の詳細を表示する発言構造表示領域１０３の２つの領域から構成される。
【００７０】
全会議時間表示領域１０２は、会議の開始時刻を「００：００：００」とし、それから会議終了までを相対時刻として表示する時刻表示を伴う。図５の例では、途中の相対時刻は丁度中間時点の時刻のみを表示している。詳細表示箇所１０４は、全会議時間のうちの特定の時間区間を示すものである。
【００７１】
そして、詳細表示箇所１０４で示される時間区間の発言構造の詳細が、発言構造表示領域１０３に表示されるという関係になっている。換言すれば、発言構造表示領域１０３に表示されている発言構造は、全会議時間中のどの辺りの時間区間のものであるかを詳細表示個所１０４の、全会議時間表示領域１０２中の位置により知ることができる。
【００７２】
発言構造表示領域１０３は、発言者を識別するための発言者名を表示する発言者名領域１０６と、発言の遷移の状態を視覚的に表示するための発言遷移表示領域１０７とから構成される。図５に示すように、発言構造表示領域１０３の発言遷移表示領域１０７に対しても、この領域１０７に詳細表示される区間の先頭の時刻と、終りの時刻とが表示されて、全会議時間の内のどの時間部分の発言構造が詳細表示されているかが表示されている。
【００７３】
発言遷移表示領域１０７の発言者毎の各欄には、各会議参加者（発言者）が会議時間中において、いつ、どのくらいの時間の発言を行ったのかが、発言区間バーＶＢの表示位置と長さにより示される。この発言遷移表示領域１０７の全会議参加者分の発言区間バーの遷移として表示される発言構造を読み取ることで、誰の発言から誰の発言へと遷移したのかという、詳細表示箇所１０４で示される時間区間の発言遷移構造を読みとることが可能となる。
【００７４】
図５の全会議時間表示領域１０２における三角点１０５ａ、または発言遷移表示領域１０７における破線１０５ｂは、その時に再生中の音声データに該当する発言者チャート上の時間位置を示している。
【００７５】
この表示装置１１に表示された発言者チャートを、指示入力装置１２によって任意の位置を指示することで、記録した会議の音声データの任意の位置を再生することができる。発言者チャート検索制御部１５は、指示された任意の位置の音声データを検索して再生する。
【００７６】
発言者チャート検索制御部１５の発言特定部１６は、表示装置１１上で指示された位置情報から、ファイル格納部４の発言構造テーブル４１の該当する発言（発言区間）を特定する処理を行う装置である。そして、図４に示したように、発言構造テーブル４１に記録されているインデックスに従い、音声データファイル４３の該当する個所が検索され、特定された発言（発言区間）に該当する音声データが音声データファイル４３から抽出され、音声再生装置１４において再生される。
【００７７】
検索者意図抽出部１７では、指示入力を行った検索者の指示入力の意図（指示意図）の抽出を行う。ここで、指示意図とは、音声および映像データの任意の位置を再生したい検索者であるユーザが、再生したい発言を指示した時の指示入力の検索意図を意味している。この実施の形態では、検索者の指示意図は、発言に関わる４つの属性、
▲１▼再生が指示された発言に関する発言者名、
▲２▼その発言時間、
▲３▼その前発言者名、
▲４▼その後発言者名
から抽出される。▲３▼前発言者名および▲４▼後発言者名は、発言遷移構造に関わる属性である。検索者意図抽出部１７は、発言特定部１６で特定された発言に関する情報に基づいて、ファイル格納部４を検索して、前記▲１▼〜▲４▼の４つの属性を取得し、それにより指示意図を抽出する。
【００７８】
類次候補検出部１８では、検索者意図抽出部１７で抽出された指示意図の情報を受けて、当該指示意図に類似した発言である類似候補が存在するかを検索する。類似候補が存在した場合には、類次候補表示部１９にその情報を送る。これを受けて、類似候補表示部１９は、表示装置１１に類似候補を表示する。
【００７９】
図６は、検索者が再生したい発言を指示する方法を説明するための図である。図６では、発言者チャートの一部分を拡大して図示している。検索者は、再生したい発言に該当する領域を、指示入力装置１２を構成するマウス等のポインティングデバイスを用いて指示する。
【００８０】
図６には、図５および図７において番号１０８を付した、発言者「佐藤」の発言区間バーが図示されており、指示入力装置１２で指し示されている位置が、矢印カーソル１１０によって示されている。矢印カーソル１１０の示している位置で、マウスボタンのクリック等、指示入力装置１２による指示を行うと、後述するようにして発言区間バー１０８に該当する音声データが再生される。
【００８１】
図７は、検索者の指示入力位置の、発言者チャート表示領域１０１における相対座標位置を説明するための図である。この実施の形態では、指示入力位置は、表示装置１１上の座標ではなく、発言者チャート表示領域１０１内における相対座標として扱われる。図７において、１２１は発言者チャートにおける起点の座標（０，０）を示す。
【００８２】
また、発言遷移表示領域１０７に表示されている区間の起点（座標（０，０））に該当する会議時刻は、Ｔoriginと表すこととする。また、発言遷移表示領域１０７に表示されている部分に該当する会議区間の時間幅をΔＴｍとし、発言遷移表示領域１０７の表示幅をΔＸｍとする。したがって、時間幅ΔＴｍは、そのときに発言構造表示領域１０３内に表示されている会議区間に応じた値を持つ。ΔＸｍは、そのときに表示されている発言者チャート表示領域１０１の表示枠の大きさに依存して変動する。
【００８３】
そして、図７において、１２２は、検索者による指示入力装置１２による指示入力位置を示しており、この指示入力位置１２２に該当する会議時刻の値を、指示入力時刻をＴpoint とする。Δｘは、この指示入力位置１２２の、発言者チャート表示領域１０１における起点１２１からのｘ方向（横方向）の相対座標を示している。
【００８４】
この指示入力時刻Ｔpoint の算出式は、
Ｔpoint ＝Ｔorigin＋ΔＴｍ（Δｘ／ΔＸｍ） …（１）
となる。
【００８５】
次に、図８に、発言者チャート検索制御部１５における処理の流れを示すフローチャートを示す。
【００８６】
ステップ201 では、検索者であるユーザからの再生の指示入力があるかを監視する。ステップ202 では、指示入力があったかどうかを判定し、指示入力がない場合には、ステップ201 へ戻り、ユーザの指示入力の監視を繰り返す。
【００８７】
ユーザからの指示入力があった場合には、ステップ203 において、ユーザの指示入力座標Ｐpoint を獲得する。これは表示画面上における絶対座標である。次いで、ステップ204 において指示入力位置に該当する発言を特定する。この際に、ステップ203 で獲得したユーザの指示入力座標Ｐpoint を、前述した発言遷移表示領域１０７内の相対座標位置に変換する処理も行う。以上の処理は、発言特定部１６が行うことになる。そして、ステップ204 の処理の詳細は、図９のフローチャートを用いて後述する。
【００８８】
ステップ205 では、特定した発言の意図を抽出する処理を行う。このステップ205 の処理は、検索者意図抽出部１７が行う処理に相当する。このステップ205 の処理の詳細は、図１１のフローチャートを用いて後述する。
【００８９】
次のステップ206 では、抽出した指示意図と類似の発言候補を検出するための処理を行う。このステップ206 の処理は、類似候補検出部１８が行う。このステップ206 の詳細は、図１３のフローチャートを用いて後述する。
【００９０】
次に、図９のフローチャートを用いて、ステップ204 の発言特定処理を説明する。ステップ251 では、入力された座標位置Ｐpoint を、発言遷移表示領域１０７内の相対座標位置に変換し、指示入力位置のｘ座標Δｘを算出する。そして、次のステップ252 では、前述した（１）式から、指示入力時刻Ｔpoint を算出する。
【００９１】
次のステップ253 では、ファイル格納部４の発言構造テーブル４１から１レコード分、読込み、変数R1に代入する。これは、任意の１発言に相当するデータである。次のステップ254 では、読込んだレコードR1の発言開始時刻フィールドと発言終了時刻フィールドの値をＴ（開始）、Ｔ（終了）という変数にそれぞれ代入する。
【００９２】
次のステップ255 では、指示入力時刻Ｔpoint が、レコードR1の発言開始時刻と終了時刻の間の時刻であるかを判定する。入力指示時刻Ｔpoint が発言開始時刻と発言終了時刻の間に存在している場合には、指示発言が特定できたと判断し、ステップ256 において、発言構造テーブル４１の該当する発言のレコードR1の発言番号フィールドの値を獲得し、それを変数IDに代入し、その変数IDの値を返す。もし、ステップ255 で、指示入力時刻Ｔpoint が、レコードR1の発言開始時刻と終了時刻の間に存在しないと判定された場合は、ステップ253 にもどり、次のレコードを読込み、次の発言に関する処理を行う。
【００９３】
次に、指示意図抽出処理について説明する。
指示意図は、前述したように、発言に関わる４つの属性、発言者名、発言時間、前発言者名、後発言者名によって定義する。これらの属性を用いて、指示意図は、この明細書では、Ｉinst（発言者名，発言時間，前発言者名，後発言者名）と表記する。
【００９４】
図１０に発言者チャートの一部を示すが、この図１０では、矢印カーソル１１０により示されるように、会議参加者名「田中」の発言が、検索者により指示されたことを示している。このときの検索者の指示意図は、Ｉinst（田中，６５秒，鈴木，佐藤）と規定される。これは、「田中」の発言が、発言時間が６５秒であり、「鈴木」の後に発言し、「田中」の後には「佐藤」が発言したことを意味する。この実施の形態では、検索者は、この４つの属性により表現されている意図をもって特定の発言を指示したと解釈するものである。
【００９５】
なお、発言に対する指示意図全体ではなく、指示意図を、個別の属性について表記する場合には、指示意図Ｉinst（）の、（）内にそれぞれの属性を記すこととする。例えば、指示意図の発言者名属性は、Ｉinst（発言者名）と標記する。他の発言時間、前発言者名、後発言者名の属性の場合も同様の形式で記述する。
【００９６】
次に、図１１のフローチャートを用いて、ステップ205 の指示意図抽出処理を説明する。
【００９７】
図１１は指示意図を抽出する処理を説明するためのフローチャートである。ステップ311 は初期設定であり、変数IDに発言特定処理によって特定された発言の発言番号を代入する。次のステップ312 では、発言構造テーブル４１から、変数IDで示される発言番号のレコードを読込み変数Riに代入する。同様に、変数IDで示される発言番号の前後の発言に関するレコードも読込み、それぞれ変数Rp，変数Rnに代入する。
【００９８】
次のステップ313 では、変数Riから発言者名属性に関する指示意図Ｉinst（発言者名）を導出する。次のステップ314 においても、同様に、発言時間属性の指示意図Ｉinst（発言時間）を導出する。
【００９９】
また、次のステップ315 では、発言遷移構造に関わる指示意図を算出する。まず、変数Rpの入力装置番号に該当する会議参加者名を、ファイル格納部４の会議参加者テーブル４２から抽出し、前発言者名属性の指示意図Ｉinst（前発言者名）を導出する。同様にして、変数Rnの入力装置番号に該当する会議参加者名を、ファイル格納部４の会議参加者テーブル４２から抽出し、後発言者名属性の指示意図Ｉinst（後発言者名）を導出する。
【０１００】
そして、次のステップ316 においては、特定された指示意図Ｉinst（発言者名，発言時間，前発言者名，後発言者名）の値を、類似候補検出部１８に送る。
【０１０１】
次に、ステップ206 の類似発言検出処理について説明する。以下の説明において、発言の類似度はＤＩartiと表記する。この発言の類似度ＤＩartiは、発言意図Ｉinstを構成する４つの属性に関する各々の類似度の合成関数として定義される。類似度を、個別の属性について表記する場合には、類似度ＤＩarti（）の、（）内にそれぞれの属性を記すこととする。例えば、類似度の発言者名属性は、ＤＩarti（発言者名）と標記する。他の発言時間、前発言者名、後発言者名も同様の形式で記述する。
【０１０２】
類似度ＤＩartiは、類似度が高いほど小さな値を持つものとする。ＤＩarti（Ａ，Ｂ）は、発言Ａと発言Ｂの指示意図の類似度とする。発言Ａと発言Ｂの指示意図の各属性毎の類似度は、ＤＩarti（Ａ，Ｂ）（）の（）内にそれぞれの属性を記すことにする。
【０１０３】
発言者名属性の類似度ＤＩarti（Ａ，Ｂ）（発言者名）は、発言Ａと発言Ｂの発言者名が等しい場合に０の値を持つ。異なる場合には、ＤＩmax というきわめて大きな類似度の値が割り当てられる。すなわち、類似度を評価する際、発言者名属性の類似度は０でない場合には、まったく類似していないと判断される。発言時間属性の類似度ＤＩarti（Ａ，Ｂ）（発言時間）は、発言時間の差異の絶対値で評価する。前発言者名および後発言者名の類似度は一致した場合が０，不一致の場合に１の値をとる。
【０１０４】
発言の類似度ＤＩartiは、発言者名属性を条件部として、その他の各属性毎の類似度の重みづき合成関数として表現される。この発言の類似度ＤＩartiの定義式は、次のようになる。
【０１０５】
すなわち、
(i) ＤＩarti（発言者名）＝０のときには、
ＤＩarti＝ｗ１×ＤＩarti（発言時間）＋ｗ２×ＤＩarti（前発言者名）＋ｗ３×ＤＩarti（後発言者名）
(ii)ＤＩarti（発言者名）＞０のときには、
ＤＩarti＝ＤＩmax …（２）
と表すことができる。なお、ｗ１，ｗ２，ｗ３は重み係数である。
【０１０６】
発言の類似度ＤＩartiの定義式および発言Ａと発言Ｂの指示意図の各属性毎の類似度の定義を、図１２にまとめて示す。
【０１０７】
（２）式に示されるように、発言の類似度ＤＩartiに関し、発言者名属性の類似度ＤＩarti（Ａ，Ｂ）（発言者名）は条件部であり、一致が必要条件になる。そして、ＤＩarti（発言者名）＝０で、発言者名が一致しているときに、他の３つの属性、発言時間、前発言者名、後発言者名の合成関数として定義される。この場合、発言時間、前発言者名、後発言者名の３つの属性については、各々の類似度に、ｗ１，ｗ２，ｗ３という重みがつけられ、これらが加算されることにより発言の類似度ＤＩartiが算出される。そして、発言者名が不一致の場合は、類似度は無限大の値ＤＩmax をとり、まったく類似していないことを意味する。
【０１０８】
図１３は類似発言を検出するための処理を説明するフローチャートである。ステップ351 は初期設定値であり、類似発言候補のリストを保持する変数Listに初期値（）を設定している。ステップ352 からステップ356 の間では、発言構造テーブル４１中の各レコード、すなわち各発言に対して、類似度の算出および判定などの一連の処理を繰り返す。
【０１０９】
ステップ352 では、発言構造テーブル４１から１レコードを読込み、変数R1に代入している。ステップ353 で変数R1がnil でなければ、すなわち処理すべきレコードが存在すれば、ステップ354 の発言類似度算出処理を行う。ついでステップ355 では発言の類似度が、類似していると判定できる一定の基準を満たしているかを評価する発言類似度判定処理を行う。次のステップ356 では、類似していると判定された発言候補に該当するデータファイルの存在場所（音声データファイルや映像データファイル中の位置）を検出する。ステップ353 において、読込むべきレコードがなかったと判定された場合には処理を終了する。
【０１１０】
図１４は、図１３のステップ354 の発言類似度算出処理を説明するためのフローチャートである。ステップ401 では、変数の初期設定値を示し、変数input には発言特定処理によって特定した発言の発言番号を代入し、変数R1にはinput との類似比較対照である、現在処理中の発言番号が代入されている。
【０１１１】
ステップ402 では、変数input および変数R1の２つの発言番号の発言の指示意図Ｉinst（input ）およびＩinst（R1）を算出する。次のステップ403 では、定義式（２）に沿って、発言者名属性に関する変数input の指示発言と変数R1の類似発言候補の類似度ＤＩarti（input ，R1）（発言者名）を算出する。
【０１１２】
そして、次のステップ404 で、この発言者名属性の類似度ＤＩarti（input ，R1）（発言者名）の値が１かどうかを判定する。発言者属性の類似度ＤＩarti（input ，R1）（発言者名）の値が１以外の値、すなわち不一致である場合は、これ以降の類似度は算出せず、ステップ407 において、類似度ＤＩarti（input ，R1）（発言者名）の値として、前述したＤＩmax というきわめて大きな値を代入して処理を終了する。
【０１１３】
一方、ステップ404 で発言者名が一致したと判定された場合はステップ405 に移行する。ステップ405 では、残りの３つの属性に関する類似度ＤＩarti（input ，R1）（発言時間）、ＤＩarti（input ，R1）（前発言者名）およびＤＩarti（input ，R1）（後発言者名）を個別に算出する。そして、ステップ406 において、発言番号input の指示発言と、発言番号R1の類似発言候補との類似度ＤＩarti（input ，R1）を、定義式（２）に従って算出し、その値を発言類似度判定処理に渡す。
【０１１４】
図１５は発言類似度判定処理を説明するためのフローチャートである。
ステップ451 では、初期設定として前記発言類似度算出処理により、発言番号input の入力指示発言と、発言番号R1の類似候補発言との類似度が求められている。次のステップ452 では、算出された類似度ＤＩarti（input ，R1）の値が、類似しているという評価基準の類似度ＤＩlimit よりも小さいかが判定される。評価基準値ＤＩlimit よりも小さい場合には、この２つの発言は類似していると判定し、ステップ453 において「True」の値を返す。基準値ＤＩlimit よりも大きい場合には、この２つの発言は類似していないと判断し、ステップ454 において「False 」の値を返す。
【０１１５】
図１６は、図１３のステップ356 の類似発言候補検出処理に相当するデータファイルの場所を検出する処理を説明するためのフローチャートである。
【０１１６】
ステップ471 では初期設定が行われ、変数R1に現在処理中の発言構造テーブル４１のレコードが代入されている。ステップ472 において、前記類似度判定処理の結果の判定が行われ、もし戻り値が「True」の場合にはステップ473 において、指示入力発言と類似していると判定された発言に該当する音声データファイルの場所を、発言の開始時刻と終了時刻の区間によって表し、変数Listに追加する。ステップ472 において戻り値が「False 」の場合には、そのまま処理を終了する。
【０１１７】
以上により、会議等の参加者の音声情報を記録し、音声データファイルへアクセスするためのインデックス情報としての発言構造データを抽出し、発言構造データを発言者チャートとして視覚化するような手段を持つマルチメディア会議記録再生装置において、会議記録の検索者であるユーザが、発言者チャート上の任意の発言位置をポインティングデバイス等で指示したとき、ユーザの指示の意図を抽出し、その意図と類似の発言候補を検出するので、ユーザは、再生された音声や画像の視聴により、自分の意図したものでないと判断したときに、自分の意図するものと類似の発言を容易に検索することができる。
【０１１８】
［第２の実施の形態］
前記の実施の形態においては、ユーザの検索意図を、特定の発言を指示する指示入力から抽出した。しかし、ユーザの検索意図を、ユーザの再生行為による再生意図を抽出することにより、ユーザが必要としている情報を、より忠実に抽出することが可能になる。
【０１１９】
この第２の実施の形態では、ユーザは、特定の発言区間を再生するために、前述したように発言チャート上で、希望する発言（発言区間バー）を指示するだけでなく、発言者チャート上で再生開始指示を行い、再生情報を視聴しながら再生終了指示をすることができるようにされている。すなわち、ユーザは、複数個の発言区間に跨がった再生区間を指示することができる。そして、この第２の実施の形態では、ユーザのこの再生指示行為から再生意図を抽出して、それに基づいてユーザが必要としている情報を抽出することができるようにする。
【０１２０】
図１７は、この第２の実施の形態の場合の検索者意図抽出部１７の詳細を説明するためのブロック図であり、検索者意図抽出部１７は、指示入力の意図を抽出する指示意図抽出部１７ａと再生意図を抽出する再生意図抽出部１７ｂから構成される。
【０１２１】
指示意図抽出部１７ａは、指示入力情報から、指示された特定の発言に対して前述の第１の実施の形態で説明したようにして指示意図を抽出するのに対して、再生意図抽出部１７ｂでは、再生開始から再生終了までの区間に含まれる一連の発言群の発言構造から、ユーザの、検索したい情報に対する再生意図を抽出する。
【０１２２】
図１８は、この第２の実施の形態の場合の類似候補検出部１８の詳細を説明するためのブロック図である。この第２の実施の形態の場合、類似候補検出部１８は、類似度判定方式選択部１８ａと、類似発言候補検出部１８ｂと、類似発言構造候補検出部１８ｆとから構成される。
【０１２３】
類似度判定方式選択部１８ａは、検索者の指示入力情報と、再生情報とから、類似発言候補検出部１８ｂと類似発言構造候補検出部１８ｆとの、いずれかの適切な類似度の判定方式を選択するための処理を行う。この実施の形態では、類似度判定方式選択部１８ａは、後述もするように、ユーザの指示入力に応じて特定された再生区間内に１個の発言のみしか含まれていない場合は、類似発言候補検出部１８ｂを選択し、再生区間内に複数個の発言が含まれている場合には、類似発言構造候補検出部１８ｆを選択するようにする。
【０１２４】
類似発言候補検出部１８ｂは、図１３を用いて説明した第１の実施の形態の類似候補検出部の動作と同じもので、発言類似度算出部１８ｃと、発言類似度判定部１８ｄと、類似発言検出部１８ｅとの３つの構成要素からなる。そして、類似発言候補検出部１８ｂ、発言類似度判定部１８ｄおよび類似発言検出部１８ｅの処理は、図１４、図１５および図１６を用いて説明したものと同じである。
【０１２５】
類似発言構造候補検出部１８ｆは、発言構造類似度算出部１８ｇと、発言構造類似度判定部１８ｈと、類似発言構造検出部１８ｉの３つ部分から構成される。類似発言候補検出部１８ｂと類似発言構造候補検出部１８ｆとの相違は、次の通りである。すなわち、指示入力された発言に対して類似度を検出する場合が類似発言候補検出部１８ｂであり、再生情報も付加して一連の発言群に対して類似度を検出するのが類似発言構造候補検出部１８ｆである。
【０１２６】
図１９は、発言者チャートにおける、ユーザの再生区間の指定について説明するための図である。図１９は、発言者チャートの一部を示すものである。
【０１２７】
再生指示入力位置も、第１の実施の形態の指示入力の場合と同様に、発言遷移表示領域１０７内における相対座標であらわされる。図１９で、発言遷移表示領域１０７のｘ方向の最も左側を、起点501 として、その相対座標を（０，０）で表す。そして、ユーザにより再生開始指示された再生開始点のｘ座標502 をΔｘstart 、再生終了指示された再生終了点のｘ座標503 をΔｘstopとする。
【０１２８】
そして、起点（０，０）に相当する時刻を起点時刻Ｔoriginと表し、ユーザにより再生開始指示入力された時刻である再生開始指示時刻をＴstart と表し、また、ユーザにより再生終了指示入力された時刻である再生終了指示時刻をＴstopと表す。再生開始指示時刻Ｔstart と、再生終了指示時刻Ｔstopとの間が、再生区間である。検索者の再生意図は、この再生区間に含まれる一連の発言群に対して抽出する。
【０１２９】
図２０は、類似発言構造候補を検出するための処理を説明するためのフローチャートである。
【０１３０】
ステップ601 では、検索者であるユーザからの再生開始の指示入力があるかを監視する。ステップ602 では、指示入力があったかどうかを判定し、指示入力がないと判定した場合には、ステップ601 へ戻り、ユーザの指示入力の監視を繰り返す。
【０１３１】
ステップ602 で、ユーザからの再生開始指示入力があったと判定された場合には、ステップ603 においてユーザの再生開始指示入力座標を抽出し、その座標を変数Ｐstart に入力する。この座標変数Ｐstart に対して、発言特定処理を行い、指示入力位置の発言を特定する。この発言特定処理は、図９を用いて説明した処理と同様である。
【０１３２】
次いで、ステップ605 では、ユーザからの指示入力の監視を継続し、次のステップ606 において再生の終了指示入力があったかを監視し、終了指示入力がない場合にはステップ605 において監視を継続する。ステップ606 で、再生終了指示入力があったと判定された場合には、ステップ607 において、変数Ｔstopに再生終了時刻を代入する。次いで、ステップ608 において再生区間特定処理を行う。ここで再生区間が特定され、再生区間に含まれる一連の発言群が特定される。再生区間特定処理の詳細については、図２１を用いて後述する。
【０１３３】
検索者の再生終了指示入力後、類似度の判定処理が行われる。
まず、ステップ609 において類似度の判定方式を選択するための類似度判定処理を行う。この類似度判定処理の詳細については、図２２を用いて後述する。
【０１３４】
そして、ステップ610 で、ステップ609 での類似度判定処理の結果、類似度の判定が発言に対して行われると判断された場合には、ステップ611 に移り、指示意図抽出処理を行い、また、次のステップ612 で類似発言検出処理を行う。この611 および612 の処理は、第１の実施の形態において、図１１から図１６までを参照しながら説明した一連の処理に相当する。
【０１３５】
また、ステップ610 で、類似度判定処理の結果、類似度の判定が発言構造に対して行われると判断された場合には、ステップ613 において再生意図を抽出するための処理を行い、次のステップ614 において類似した発言構造の検出処理を行う。ステップ613 の再生意図を抽出するための処理は、図２４を用いて後述する。また、ステップ614 の類似した発言構造の検出処理は、図２７〜図３１６を用いて後述する。
【０１３６】
前記ステップ608 の再生区間を特定する処理を、図２１のフローチャートを用いて説明する。
【０１３７】
ステップ651 は、変数ＩＤstart と変数ＩＤstopの初期設定を示すものであり、変数ＩＤstart には、再生開始指示入力位置Ｐstart から、ステップ604 の発言特定処理によって特定された発言番号を代入する。同様に、変数ＩＤstopには、再生停止指示入力によって指示された入力時刻Ｔstopから特定された発言番号を代入する。この場合の発言特定処理は、図９に示したステップ253 〜256 の処理を指す。
【０１３８】
これによって、ユーザが指示入力した再生区間は求められる。しかしながら、再生終了指示行為においては、再生したいという意図がないにも関わらず、次の発言が再生された後に終了指示入力がなされるという可能性も存在する。したがって、できるだけユーザの意図した再生区間を正確に抽出するために、再生の過剰部分を補正する処理を行うほうがよい。
【０１３９】
一般に、ユーザは、発言の再生が開始して、それが自分の再生意図区間に関係ないものとなったときは、比較的、即座に再生終了入力をすると考えられる。そこで、この第２の実施の形態では、ユーザの再生終了指示入力があった位置の発言（以下、停止発言という）の開始時刻から、再生終了指示入力時刻までが、予め定めた一定時間ΔＴlimit よりも短いときには、その最後の発言である停止発言は、再生意図に関係ない発言として、ユーザの意図した再生区間から除外するように補正する。
【０１４０】
すなわち、ステップ652 で、変数Ｔstopに再生終了指示時刻を代入する。次のステップ653 において、現時点で特定されている停止発言の発言番号ＩＤstopに相当する発言構造テーブル４１のレコードを読込み、それを変数R1に代入する。次に、ステップ654 において、変数Ｔ（開始時刻）に、変数R1のレコード中の開始時刻フィールドを代入する。
【０１４１】
そして、次のステップ655 では、再生終了指示入力のあった実際の時刻Ｔstopと、停止発言として特定された発言番号ＩＤstopの開始時刻Ｔ（開始時刻）との差が、ある一定時間ΔＴlimit よりも小さいか否かを判定する。小さい場合には、ステップ656 に移行し、検索者は意図せず過剰に再生したものと見做し、停止発言の区間は再生区間には含めないこととする。すなわち、ステップ656 においては、再生区間の終了時の発言を、停止発言の１つ前の発言と見做し、変数ＩＤstopを「１」だけ減算する。
【０１４２】
ステップ655 で、再生終了指示入力のあった実際の時刻Ｔstopと、停止発言の開始時刻Ｔ（開始時刻）との差が、ΔＴlimit よりも大きいと判別された場合には何もせず、再生終了指示入力位置で指定された時刻までの区間をそのまま再生区間とする。そして、次のステップ657 においては、以上のようにして求めた再生区間（ＩＤstart ，ＩＤstop）の値を返す。
【０１４３】
次に、類似度の判定方式を選択するための処理を、図２２のフローチャートについて説明する。
【０１４４】
まず、ステップ671 では、前述した再生区間特定処理によって、再生区間（ＩＤstart ，ＩＤstop）が特定されている。次のステップ672 においては、再生開始発言ＩＤstart と再生停止発言ＩＤstopが等しいかが判断される。等しい場合には再生区間は区間ではなく、単一発言であることから、戻り値としては”発言”を返し、発言に対する類似度判定を行う。一方、等しくない場合には、再生区間には複数の発言が含まれていることから、戻り値としては”発言構造”を返し、発言構造に対する類似度判定を行う。
【０１４５】
図２３は、再生意図を説明するための図であり、これは、発言者チャートの一部を示すものである。
【０１４６】
図２４に、再生意図の定義と表記方式について示す。この実施の形態において、再生意図は、再生区間内における発言群の発言構造に関わる６つの属性によって定義する。６つの属性とは、▲１▼指示発言、▲２▼停止発言者名、▲３▼総発言数、▲４▼総発言時間、▲５▼発言者集合、▲６▼発言遷移行列である。
【０１４７】
これらの属性を用いて、再生意図は、Ｉreplay（指示発言，停止発言者名，総発言数，総発言時間，発言者集合，発言遷移行列）と表記する。また、再生意図全体ではなく、再生意図を、個別の属性について表記する場合には、再生意図Ｉreplay（）の、（）内にそれぞれの属性を記すこととする。例えば、再生意図の発言者名属性は、Ｉreplay（発言者名）と標記する。他の停止発言者名、総発言数、総発言時間、発言者集合、発言遷移行列の属性の場合も同様の形式で記述する。
【０１４８】
６つの属性の詳細について説明すると、指示発言は、再生区間指示の場合には、再生開始指示位置の発言（発言区間）に相当し、Ｉreplay（指示発言）＝Ｉinst（指示発言）である。停止発言者名は、停止発言の発言者名である。総発言数は、再生区間（ＩＤstart ，ＩＤstop）内に含まれる発言数である。また、総発言時間は、再生区間（ＩＤstart ，ＩＤstop）内の各発言の時間の総和である。発言者集合は、再生区間（ＩＤstart ，ＩＤstop）内に含まれる発言者名の、重複を除いたリストである。
【０１４９】
発言遷移行列は、発言者集合に含まれる複数人の発言者間の発言の遷移を表す行列であり、発言者集合の発言者数がｎ人であれば、ｎ行×ｎ列の行列である。すなわち、発言者ごとの入力装置番号順に、ｎ人を並べ、また、ｎ列に並べる。そして、ある発言者Ａから、ある発言者Ｂに発言の遷移があった場合に、発言者Ａの入力装置番号に相当する行であって、発言者Ｂの入力装置番号に相当する列の要素に１を加算する。これによって、どの発言者からどの発言者へ、何回の遷移が生じたのかを表すことができる。
【０１５０】
図２５は、図２３に示した発言者チャートの再生区間に該当する再生意図の記述例を示している。
【０１５１】
まず、指示発言は再生入力指示された発言であるから、発言番号205 が特定される。停止発言者名は、特定された再生区間の停止発言に該当する発言の発言者名であるから、図２３の例では発言番号209 の発言者「鈴木」である。総発言数は、再生区間内に含まれる発言の総数であるから、この例では５件である。総発言時間は、再生区間内に含まれる発言群の各発言時間の総和であるが、再生指示時刻Ｔstart ，再停止時刻Ｔstopの差異時間は考慮せず、発言番号205 の先頭から、発言番号209 の最後までであり、例えば３分２０秒である。発言者集合は、この例では、（田中，鈴木，佐藤）である。鈴木は３度の発言を行っているが、重複を除くので、１度しかカウントしない。
【０１５２】
発言遷移行列は、図２３の例では、発言者「鈴木」から「田中」に１回、発言者「田中」から「鈴木」に１回、発言者「鈴木」から「佐藤」に１回、発言者「佐藤」から「鈴木」に１回という行列になる。
【０１５３】
図２６および図２７は、再生意図を抽出する処理を説明するためのフローチャートである。
【０１５４】
ステップ711 とステップ712 とは、初期設定のための処理である。まず、ステップ711 で、再生区間特定処理によって変数ＩＤstart とＩＤstopに、それぞれ再生開始指示のあった発言の発言番号、再生終了指示のあった発言の発言番号が代入される。
【０１５５】
次のステップ712 では、各種の変数の初期値を設定している。変数timeは総発言時間の値を保持する。変数Listは発言者集合を保持するためのリストである。変数idには初期値として指示発言（開始発言）が設定される。変数transferは発言遷移行列を保持する変数である。初期値としては、会議参加者数ｎとした場合、ｎ×ｎのゼロ行列が設定される。
【０１５６】
ステップ713 では、再生停止発言の発言番号ＩＤstopに相当する発言構造テーブルのレコードを読込み、変数R1に代入する。次のステップ714 では、変数name-stop に、読み込んだ変数R1のレコード中の入力装置番号に相当する会議参加者名を、会議参加者テーブル４２から獲得して代入する。これは、停止発言者名に相当する。
【０１５７】
次のステップ715 では、発言構造テーブル４１中の、再生開始発言の１つ前の発言のレコードを読込み、それを変数R1に代入し、以後のステップ716 からステップ721 における繰り返し処理の準備を行う。ステップ716 〜ステップ721 までの処理は、再生区間内の各発言に対して繰り返し行われる再生意図抽出処理である。
【０１５８】
まず、ステップ716 において、変数idに示される再生開始発言の発言番号と一致するレコードを発言構造テーブル４１から読込み、それを変数R2に代入する。したがって、変数R1と変数R2とには、前後した発言に関するレコードが代入されていることになる。なお、以下の繰り返し処理の中での基本的な処理対象はR2である。
【０１５９】
ステップ717 では、変数R2のレコード中の発言番号が、停止発言ＩＤstopの発言番号よりも小さいか、すなわち再生区間内に存在するかを判定する。再生区間内に存在する場合には、ステップ718 ，ステップ719 ，ステップ720 において、再生意図に関わる属性の計算を行う。
【０１６０】
まず、ステップ718 では、総発言時間timeに、変数R2のレコード中の発言時間を加算する。総発言数の変数numberも、＋１、加算する。ステップ719 では、発言者集合に関する処理が行われる。変数nameとしては、変数R2のレコード中の入力装置番号に該当する会議参加者名を、会議者参加者テーブル４２から取り出す。これが現在処理中の発言の発言者名である。そして、この変数nameに示される発言者名が、発言者集合Listにすでに存在しているかが判定され、まだリストに存在していない場合には、発言者集合Listに、その変数nameの発言者名が追加される。
【０１６１】
ステップ720 では、発言遷移号列の処理が行われる。会議参加者数＝ｎのときのｎ×ｎ行列において、発言R2の前発言R1の入力装置番号を行番号とし、R2の入力装置番号を列番号とする要素の値に＋１加算する。これはR1からR2への発言の遷移があったことを意味している。
【０１６２】
ステップ721 では、次の繰り返しのための後処理が行われている。すなわち、変数idに＋１加算することで、次の発言を処理するための準備をおこなう。また、変数R2は次の処理ループにおいては前発言となり、変数R1に代入する。
【０１６３】
ステップ717 で変数idの発言番号が、発言区間内に存在しないと判断された場合には、ステップ722 に移行し、算出した意図属性から全体の再生意図を導出し、再生意図Ｉreplay（ＩＤstart ，name-stop ，number，time，List，transfer）を戻り値として返す。
【０１６４】
図２８は、発言構造の類似度の定義および表記方法を説明する図である。発言の類似度と同様、意図をＩ、類似度をＤＩと表記する。ＤＩは発言構造Ａ，Ｂの類似度とする。この場合も、類似度は、類似度が高いほど小さな値を持つものとする。
【０１６５】
発言構造の類似度は、図示の定義式のように定義される。すなわち、発言構造の類似度ＤＩa-struは、指示発言の類似度ＤＩartiと、発言構造の類似度ＤＩstruの総和として定義でき、
ＤＩa-stru＝α１×ＤＩarti＋α２×ＤＩstru …（３）
として表される。α１およびα２はそれぞれ重み係数である。
【０１６６】
指示発言の類似度はすでに定義済みであるので、ここでは、再生意図を構成する６つの属性のうち、指示発言を除く、他の５つの属性に関する類似度の定義について説明する。
【０１６７】
停止発言者名の類似度ＤＩstru（Ａ，Ｂ）（停止発言者名）は、発言構造Ａと発言構造Ｂのおのおのの発言区間において、最終の発言者名が同一であるかを判断するものである。停止発言者名が一致する場合には、０の値をとり、異なる場合はＤＩmax という大きな値を持つ。これは、指示発言の類似度と同様に、発言構造の類似度においては、停止発言者名が一致しなければ、類似度の値は限りなく大きくなり、類似していないと判断されることを意味している。
【０１６８】
総発言数の類似度ＤＩstru（Ａ，Ｂ）（総発言数）は、総発言数の差異の絶対値で定義される。
【０１６９】
同様に、総発言時間の類似度ＤＩstru（Ａ，Ｂ）（総発言時間）は、総発言時間の差異の絶対値で定義される。
【０１７０】
発言者集合の類似度ＤＩstru（Ａ，Ｂ）（発言者集合）は、発言構造Ａと発言構造Ｂの発言者集合の和において、集合内の要素でＡとＢで重複しない発言者の集合を算出する。類似度は、この算出された集合の要素数で定義され、発言者集合が一致しない発言者が多いほどその数値は大きくなる。
【０１７１】
発言遷移構造の類似度ＤＩstru（Ａ，Ｂ）（発言遷移行列）は、発言遷移行列の差異の絶対値を算出し、各要素の総和によって定義される。これは、発言者Ｘから発言者Ｙへの遷移というパターンの一致度がどのくらい存在するのかを表し、同一遷移パターンが多いほど、類似度の値は小さくなり、類似度は大きいと解釈する。
【０１７２】
発言構造の類似度は、次の定義式（４）に示すように、停止発言者名属性を条件部として、その他の各属性毎の類似度の重みづき合成関数として表現される。すなわち、発言構造の類似度ＤＩstruは、
(i) ＤＩstru（停止発言者名）＝０のときには、
ＤＩstru＝ｗ１×ＤＩstru（総発言数）＋ｗ２×ＤＩstru（総発言時間）＋ｗ３×ＤＩstru（発言者集合）＋ｗ４×ＤＩstru（Ａ，Ｂ）（発言遷移行列）
(ii)ＤＩstru（停止発言者名）＞０のときには、
ＤＩstru＝ＤＩmax …（４）
と定義される。なお、ｗ１，ｗ２，ｗ３，ｗ４は重み係数である。
【０１７３】
この式（４）に示されるように、発言構造の類似度に関し、停止発言者名属性の類似度は条件部であり、一致が必要条件になる。停止発言者名が一致しているときに、他の４つの属性の合成関数の合成関数として定義される。すなわち、発言構造が類似しているということは、指示発言が類似していることに加えて、停止発言者名が一致していることが必要条件であり、不一致の場合は類似度は無限大の値をとり、まったく類似していないことを意味するからである。
【０１７４】
総発言数、総発言時間、発言者集合、発言遷移行列の４つの属性の合成関数では、各々の類似度に、ｗ１，ｗ２，ｗ３，ｗ４という重みがつけられ、加算することにより類似度を算出する。
【０１７５】
図２９は、類似発言構造を検出するための処理を説明するフローチャートである。
【０１７６】
ステップ781 は初期設定を行うステップであり、類似発言構造の存在場所の値のリストを保持する変数Listに初期値（）を設定している。ステップ782 では、発言構造テーブル４１から１レコード読込み、変数R1に代入する。次のステップ783 では、変数R1がnil でなければ、すなわち処理すべきレコードが存在すれば、次のステップ784 において類似発言構造候補の区間の抽出を行う。次いで、ステップ785 の発言構造類似度算出処理を行う。
【０１７７】
そして、次のステップ786 では、算出された発言構造の類似度が、類似しているという一定の基準を満たしているかいなかを評価する発言構造類似度判定処理を行い、ステップ787 で類似していると判定された発言構造候補に該当するデータファイルの存在場所を検出する。ステップ783 において読込むべきレコードがなかった場合には処理を終了する。
【０１７８】
図３０は、発言構造の類似候補の発言区間を抽出するための処理を説明するフローチャートである。
【０１７９】
ステップ801 では、処理の初期値として、再生区間特定処理によって再生区間Ａと、再生意図抽出処理によって再生意図Ｉreplay（Ａ）（指示発言、停止発言者名、総発言数、総発言時間、発言者集合、発言遷移行列）を算出する。
【０１８０】
次のステップ802 では、検出した類似発言構造候補を代入する変数ＫListに空リスト()を代入する。ステップ803 では、現在処理中の発言構造テーブルのレコードR1の発言番号を抽出し、変数idに代入する。ステップ804 では、再生区間の開始発言である発言番号ＩＤstart の発言と、発言番号idの発言との類似度を算出し、その類似度が、ある一定の類似度ＤＩlimit よりも小さいか否かが判定される。開始発言の指示意図が類似していることは、発言構造が類似しているための必要条件である。従って、もし、類似度が一定の値よりも大きい、すなわち、類似していないと判定されたら、ステップ813 へ移り、戻り値としてＫListを返し、処理は終了する。
【０１８１】
ステップ804 で、再生区間の開始発言と、発言番号idの発言が類似していると判定された場合には、ステップ805 〜ステップ812 の処理で、発言構造の区間を特定する。
【０１８２】
すなわち、ステップ805 では、カウンタ変数ｎの初期値としてid＋１を代入する。これは、現在処理中の発言の次の発言から処理を行うことを意味している。また、停止発言者の処理に関するカウンタ変数ｍの初期値として１を設定し、変数Ｍには、停止発言者名に関する処理のループの最大回数として、再生区間内における停止発言者名の発言回数を設定する。これは、類似発言構造の区間を抽出する際、調査する区間の範囲を限定する一つの基準として、停止発言者の出現回数を用いたケースである。
【０１８３】
次のステップ806 においては、発言番号がｎのレコードを発言構造テーブル４１から読込み、それを変数R2に代入する。次のステップ807 においては、変数R2がnil かどうかを判定し、nil の場合、すなわち、読込むべきレコードがない場合には、適切な発言構造が抽出できなかったとして、ステップ813 に移り、変数ＫListを戻り値として返し、処理は終了する。
【０１８４】
ステップ807 において、変数R2がnil でないと判定されたときには、ステップ808 に移行する。ステップ808 では、変数ｍが停止発言者名に関するループの最大値を超えたかどうかが判断され、超えていた場合には、発言idに関する処理は終了し、ステップ813 で戻り値としてＫListを返し、処理は終了する。超えていなければ、ステップ809 に進む。
【０１８５】
ステップ809 においては、再生意図の停止発言者名属性の値と、変数R2の発言番号に相当する会議参加者名が一致しているかを判断する。一致しない場合には、ステップ811 においてカウンタ変数ｎに１を加算し、次の発言の処理を行うためにステップ806 へ移行する。一致している場合には、類似発言候補の区間が特定されたと判断し、ステップ810 に移行して、変数ＫListに、特定された類似発言候補の区間（id，ｎ）をＫListに追加する。そして、ステップ812 で停止発言者名に関する処理のカウンタ変数ｍに１を加えて、発言番号idの発言に関して次の発言構造を探索するための処理を継続する。
【０１８６】
図３１は、発言構造の類似度算出処理を説明するためのフローチャートである。まず、ステップ851 では、初期設定として類似発言構造区間抽出処理により、抽出した区間のリストをＫListに代入する。次いで、ステップ852 では、再生区間を変数Ａに設定する。
【０１８７】
ステップ853 からステップ858 は、ＫListの各要素毎に類似度を算出するための処理を行う。ステップ853 では、ＫListから類似発言構造候補である１つの区間（ＩＤstart ，ＩＤstop）を取り出し、変数Ｂに代入する。ステップ854 では、ＫList中のすべての発言構造についての処理が終了したのかを判断する。もし終了したら、ステップ859 に移る。
【０１８８】
ステップ854 で処理すべき再生区間が存在すると判定された場合には、ステップ855 で変数Ａの再生区間と、変数Ｂの再生区間のそれぞれ開始発言に関する指示意図の類似度を定義式にそって算出する。ついで、ステップ856 では、発言構造を規定する各属性毎の類似度を算出する。このとき、停止発言者名に関する類似度は区間抽出時に判定済みであり、ここでは、総発言数、総発言時間、総発言者集合、発言遷移行列の４つの属性について算出する。
【０１８９】
次のステップ857 では、定義式にそって、再生区間Ａと再生区間Ｂの発言構造の類似度を定義式にそって算出する。次のステップ858 では、開始発言の指示意図の類似度と、発言構造の類似度の両者を合わせた総合的な発言構造の類似度を算出し、類似度のリストを保持する変数ＤListに追加する。以降、ステップ853 に戻り、処理を繰り返す。
【０１９０】
最後に、ステップ859 で、類似発言候補のリストＫListと、類似度のリストＤListを戻り値として処理を終了する。
【０１９１】
図３２は、類似発言構造候補の類似度の判定を行い、該当する音声データファイルの場所を検出する処理を説明するためのフローチャートである。
【０１９２】
ステップ871 で、初期設定が行われ、類似度算出処理による戻り値である類似発言候補の区間のリストを変数ＫListに、再生意図との類似度の値のリストを変数ＤListに、それぞれ代入する。
【０１９３】
ステップ872 からステップ875 までは、リスト中の各要素に対して、類似度判定処理を行う。まずステップ872 において、ＤList，ＫListのリスト中からそれぞれ１つの要素を取り出し、変数Ｄ，変数Ｋに代入する。次のステップ873 では処理すべき要素が終了したか否かを判定する。終了した場合にはステップ876 に進む。ステップ876 では、類似発言構造の区間を保持する変数Listの値を戻り値として返し、処理を終了する。
【０１９４】
ステップ873 で、リスト中の要素の処理が終了していないと判定した場合には、ステップ874 で、類似度の値が、ある一定の制限値ＤＩlimit よりも小さいか否かを判定する。ある一定の類似度よりも小さな値の場合には、類似していると判定され、ステップ875 に進み、変数Ｄに該当する区間Ｋを、類似発言構造候補を保持するリストListに追加する。そして、ステップ872 に戻り、次の要素に関して処理を繰り返す。ステップ874 で、変数Ｄの値がＤＩlimit よりも大きい場合は、類似していないと判定し、ステップ872 に戻り、次の要素の処理に進む。
【０１９５】
図３３は、検出された類似発言構造候補の表示方法の一実施例を説明するための図である。
【０１９６】
901 は類似発言構造候補表示領域である。この領域901 は、全会議時間表示領域902 と、類似発言構造候補縮小図表示領域903 との２つの領域から構成される。類似発言構造が検出されると、全会議時間表示領域902 に、類似発言構造候補が存在する場所が、縦バー表示904 および905 のように示される。縦バー表示904 は、再生区間を示している。
【０１９７】
縦バー表示905 は、類似発言候補の存在場所を示す。全会議時間表示領域902 に、類似発言構造候補の存在場所が示されることで、類似発言候補が全体のどの部分に存在しているのかが一覧できる。
【０１９８】
類似発言構造候補縮小図表示領域903 は、複数の矩形領域から構成される。各矩形領域には、発言構造の縮小図が表示される。906 に表示された縮小図は904 再生区間に相当する発言構造である。矩形領域907 を始めとするその他の矩形領域には、縦バー表示905 を始めとする他の会議時間中に存在する類似発言構造候補に相当する発言構造の縮小図が、時系列順に表示されている。検索者は、表示された縮小図をマウス等ポインティングデバイスによりクリックすることにより、類次候補を選択し、再生することができる。
【０１９９】
なお、全会議時間表示領域902 において、その存在場所を示すだけではなく、矩形領域の表示色を変化させることで、類似度の大きさも情報として提示することもできる。また、ここでは類似発言候補に関して表示例を示したが、類似発言の表示方法に関しても、類似発言および前後の遷移発言構造を含めた部分に関して、同様の表示を行うことができる。
【０２００】
【発明の効果】
以上のように、請求項１〜請求項１１の発明による会議記録再生装置および方法によれば、検索者の検索意図を検索の指示入力行為および再生行為から自動的に抽出し、類似した発言および一連の発言群を検出し、表示画面上に視覚化して提示する。これにより、会議情報の検索者の検索意図と類似した構造を持つ発言が、検索者の付加的な入力なしに、自動的に抽出できる。さらに、検索者に類次発言候補を視覚的に提示することにより、その存在を知らしめることが可能となる。
【０２０１】
また、請求項１〜請求項１１の発明によれば、類似発言および類似発言構造候補を、検索者に提示することにより、会議情報の必要とする情報へとアクセスしたい検索者が、十分なアクセスのための手がかりがない状態でアクセスし、正しい場所にアクセスできなかった場合にも、検索意図に類似した他の候補が自動的に提示されることにより、効率的に、正しいアクセス場所へとたどり着くことが可能となる。
【０２０２】
逆に、あいまいな記憶にたよって、再生個所を正しいと誤って判断した場合にも、他に類似候補が存在することを検索者に示すことで、他にも正しいと考えられる候補が存在することを検索者が知ることができ、検索もれを減少させることができる。
【０２０３】
また、請求項９の発明によれば、類次候補の表示画面において、時系列的な全体の中の相対的な位置と、各類似候補の内容が把握できる詳細情報の縮小図の一覧表示を同時に表示することにより、相対的な位置情報と絶対的な内容に関する情報２つの情報を有機的に連結することができる。これにより、発言構造の認識力が向上し、検索者の検索行為を適切にナビゲートし、効率的に検索が可能となる。また、このような情報を参照しながら再生情報を聞く、または見ることにより、再生内容の理解も促進することができる。
【図面の簡単な説明】
【図１】この発明の一実施の形態の会議情報記録再生装置のシステム構成図を示すブロック図である。
【図２】この発明の一実施の形態の会議情報記録再生装置のファイル格納部に格納されるデータファイルについて説明する図である。
【図３】図２のファイル格納部の会議参加者テーブルのデータ構造を説明するための図である。
【図４】図２のファイル格納部の発言構造テーブルのデータ構造を説明するための図である。
【図５】発言者チャートの一例を示す図である。
【図６】検索者が再生したい発言を指示する方法を説明するための図である。
【図７】検索者の指示入力位置と発言者チャート表示領域における相対座標位置との関係を説明するための図である。
【図８】この発明の一実施の形態の会議情報記録再生装置において、類似発言候補を検出するための処理の概要を示すフローチャートである。
【図９】この発明の一実施の形態の会議情報記録再生装置において、発言特定処理を説明するためのフローチャートである。
【図１０】この発明の一実施の形態の会議情報記録再生装置において、指示意図を説明するための図である。
【図１１】この発明の一実施の形態の会議情報記録再生装置において、指示意図を抽出する処理を説明するためのフローチャートである。
【図１２】この発明の一実施の形態の会議情報記録再生装置において、発言の類似度の定義および表記方法を説明する図である。
【図１３】この発明の一実施の形態の会議情報記録再生装置において、類似発言を検出するための処理を説明するフローチャートである。
【図１４】この発明の一実施の形態の会議情報記録再生装置において、発言類似度算出処理を説明するためのフローチャートである。
【図１５】この発明の一実施の形態の会議情報記録再生装置において、発言類似度判定処理を説明するためのフローチャートである。
【図１６】この発明の一実施の形態の会議情報記録再生装置において、発言類似候補に相当するデータファイルの場所を検出する処理を説明するためのフローチャートである。
【図１７】この発明の一実施の形態の会議情報記録再生装置において、検索者意図抽出部の詳細を説明するためのブロック図である。
【図１８】この発明の一実施の形態の会議情報記録再生装置において、類似候補検出部の詳細を説明するためのブロック図である。
【図１９】この発明の一実施の形態の会議情報記録再生装置において、発言者チャートにおける再生区間について説明するための図である。
【図２０】この発明の一実施の形態の会議情報記録再生装置において、類似発言構造候補を検出するための処理を説明するためのフローチャートである。
【図２１】この発明の一実施の形態の会議情報記録再生装置において、再生区間を特定する処理を説明するためのフローチャートである。
【図２２】この発明の一実施の形態の会議情報記録再生装置において、類似度の判定方式を選択するための処理を説明するフローチャートである。
【図２３】この発明の一実施の形態の会議情報記録再生装置において、再生意図を説明するための図である。
【図２４】この発明の一実施の形態の会議情報記録再生装置において、再生意図を説明するための図である。
【図２５】この発明の一実施の形態の会議情報記録再生装置において、再生意図を説明するための図である。
【図２６】この発明の一実施の形態の会議情報記録再生装置において、再生意図を抽出する処理を説明するためのフローチャートの一部を示す図である。
【図２７】この発明の一実施の形態の会議情報記録再生装置において、再生意図を抽出する処理を説明するためのフローチャートの一部を示す図である。
【図２８】この発明の一実施の形態の会議情報記録再生装置において、発言構造の類似度の定義および表記方法を説明する図である。
【図２９】この発明の一実施の形態の会議情報記録再生装置において、類似発言構造を検出するための処理を説明するフローチャートである。
【図３０】この発明の一実施の形態の会議情報記録再生装置において、発言構造の類似候補の発言区間を抽出するための処理を説明するフローチャートである。
【図３１】この発明の一実施の形態の会議情報記録再生装置において、発言構造の類似度算出処理を説明するためのフローチャートである。
【図３２】この発明の一実施の形態の会議情報記録再生装置において、類似発言構造候補の類似度の判定を行い、該当する音声データファイルの場所を検出する処理を説明するためのフローチャートである。
【図３３】この発明の一実施の形態の会議情報記録再生装置において、検出された類似発言構造候補の表示方法の一実施例を説明するための図である。
【符号の説明】
１ａ 音声入力装置
２ Ａ／Ｄ変換装置
４ ファイル格納部
５ 発言者チャート生成制御部
６ 発話データ抽出部
７ タイマー
８ 発言構造テーブル生成部
９ 発言者チャート生成部
１０ 発言者チャート表示部
１１ 表示装置
１２ 指示入力装置
１３ 映像再生装置
１４ 音声再生装置
１５ 発言者チャート検索制御部
１６ 発言特定部
１７ 検索者意図抽出部
１８ 類似候補検出部
１９ 類似候補表示部
【発明の属する技術分野】
この発明は、会議における音声情報あるいは映像情報などの会議情報を記録し、再生する装置および方法において、会議の参加者の発言構造から特定の状況の音声情報および／または映像情報を検索して再生する場合に、特に、検索者の意図に適したアクセス個所をできるだけもれなく効率的に検索できる装置および方法に関わる。
【０００２】
【従来の技術】
会議では、多くの情報が会話による音声情報として生成される。これらのうち、ホワイトボードや議事録にテキスト情報として記録される情報はわずかであり、多くの重要な情報が記録されない、あるいは正確に思い出せないなどの問題点がある。
【０００３】
この問題に対して、会議で発生するあらゆる情報を記録しておく会議記録装置があり、この会議記録装置の一例が、特開平6-343146号公報に記載されている。ここでは、マイクロフォンから入力された音声情報、ビデオカメラから入力された映像情報、ペン入力によるテキスト情報や図形情報など、あらゆるマルチメディア情報がもれなく記録される。
【０００４】
このような会議記録装置においては、会議の内容を思い出そうとしたとき、どのようにして、適切に必要な場所へアクセスできるのかが重要な問題となる。しかし、リアルタイムに参加者が、各会議場面にインデックスを貼付するのはきわめて困難である。この点、会議終了後、人間による手動によって、適切なインデックスづけがなされれば、効果的なインデックスが可能である。
【０００５】
しかしながら、このようなインデックス付けの手間は莫大である。さらに、後で必要な情報は、検索を行う人それぞれによって、あるいは時間の経過に伴って変化することが多く、あらかじめ決められたインデックスで十分な検索を行うことは困難である。したがって、会議中に発生する多様な手がかり情報から、人手をわずらわせず、自動的に効果的なインデックスを提供する方法が検討されている。
【０００６】
特開平6-343146号公報では、ペンによる入力手段によって、テキストやジェスチャーが入力された時刻をインデックスとして、音声や映像情報を検索できる手段を提供している。会議参加者は、重要な発言が発生すると、しばしば手書きメモをとる。このことから、手書きメモを行った時刻をインデックスとすることで、会議の重要情報に効果的にアクセスすることが可能となる。
【０００７】
しかしながら、会議参加者は議論に熱中すると、メモがとれないという問題点が存在する。したがって、このような会議参加者の能動的な指示および行為を必要とするインデックスは、効果的なものが多い反面、もれも多い。また、十分なインデックスを作成しようと思ったら、会議参加者は、多くのメモを取らなければならず、負担が増す。また、十分なメモ書きが存在すれば、マルチメディア記録の必要性も小さくなるという矛盾が発生する。
【０００８】
できるだけ会議参加者に負担をかけず、十分なインデックスを自動的に抽出するための方法として、他にもいくつかの方法が検討されている。特開平2-113790号公報では、動画像から、画像情報の特徴抽出により検索シーンを抽出し、これをメニュー表示することにより、検索者が対話的に必要とする場面を選択していくことにより、大量の動画像データから、効率的に必要なデータへとアクセスを可能とする。「特定の人物が黒板に出て話した時」というように、会議の中でもこのような技術が有効である局面は存在する。しかしながら、一般的には会議における映像情報はあまり大きな変化がなく、ここから会議内容を思い出すための十分な手がかりを抽出するのは困難である。
【０００９】
会議で最も重要な情報は、会話による音声データである。この音声データから検索のための手がかりを抽出す方法が試みられている。特開平3-250481号公報には、ユーザが道具を使用している映像の中からトラブルに陥った時の映像へとアクセスするために、トラブル時に頻繁に発せられるキーワードを用いて、該当するデータが記録されている場所へとアクセスする手法が記載されている。しかしながら、ここではかなり状況が特定化されており、汎用的な手がかり情報とはなり得ていない。
【００１０】
同じく音声情報を利用するものとして、特開示平6-236410号公報がある。ここでは、発話者の言語解析を行い、発話内容の話題とその分野を同定し、話題に適した情報群をデータベースから自動的に選択する。ここでは、発話表現用の辞書を用いて、話題転換個所およびそこでの話題の候補を検出する。話題の転換点は、会議記録へのアクセスの手がかりとして、非常に重要である。
【００１１】
しかしながら、話題転換点は重要ではあるが、アクセスの手がかり情報としては、粒度が大きすぎることで、きめの細かいアクセスができないという問題点がある。さらに、実用的な話題転換点を見つけるためには、現時点での自然な発話における音声認識技術では対応が十分ではないことと、発話表現用の辞書の充実において困難性が高い。
【００１２】
一方、特開平8-317365号公報には、会議の発言者の音声データを、データの記憶量の大きさに応じた長さで時系列的にグラフ化する技術が示されている。これにより、どのような順序で、誰が、どのくらいの時間長の発言を行ったのかを、グラフとして視覚化することができる。以下、この明細書では、この発言構造図を発言者チャートと呼ぶこととする。
【００１３】
この発言者チャートから会議参加者は、会議終了後でも、自身が参加した会議の会議内容をある程度想起することができ、重要な、あるいは必要とする情報の記録場所にアクセスすることが可能となる。この技術の利点は、高度な音声認識技術や辞書を必要としないこと、会議参加者の明示的な指示が必要なく、記録された情報だけから自動的に作成可能な点である。
【００１４】
【発明が解決しようとする課題】
しかしながら、発言者チャートを使用した会議記録における検索においては、次のような問題点が存在する。
【００１５】
一つには、記録された会議情報中の「部分情報」にアクセスすることに起因する問題点である。具体的には、現在、アクセスしている情報が、どこの情報だったのかがわからなくなってしまうという、アクセスの絶対位置の喪失の問題がある。また、会議全体の中で現在アクセスしている場所がどの辺なのかがわからないと言う、全体の中の相対的な位置の喪失感の問題がある。さらに、アクセスした部分情報を信用して結論を出してしまい、後で、結論が覆った部分の情報を見逃してしまうという、論理展開のどんでん返しに対する弱さが存在している。
【００１６】
２点めは、正しくない再生場所にアクセスした時、他のどこに必要な情報が存在しているのかわからないという点が挙げられる。
【００１７】
これらの問題点に対して、特開平8-317365号公報では対処できていない。これに対して、Xerox PARCのAudio browsing Tool(Donald G. Kimber,lynn D.Wilcox, Francine R. Chen, and Thomas Moran: "Speaker Segmentation for Browsing Recorded Audio", CHI ’95 Proceedings( short paper), pp.212-213) では、現在アクセスしている場所を明示的に発言者チャート上に示すことと、全体の中のどの部分を発言者チャートとして表示しているのかという２つの情報を表示することで、上記の「部分情報」へのアクセスに起因する問題点の、絶対的および相対的なアクセス位置の喪失という問題点は解決している。
【００１８】
しかし、他の２つ問題点は残されたままである。すなわち、会議に中では、論理展開が二点三点する可能性があり、誤って最初の結論にアクセスしてしまった時、その後に存在する正しい情報を見落としがちである。したがって、このような論理展開の転換に対して、アクセス漏れがなくなるような支援が必要となる。
【００１９】
また、発言者チャート自身は必ずしも、１回で正確に必要な情報の存在場所にアクセスできるインデックスではない。実際には、手書きメモなどと併用されることで、正確さを増すことができる。しかしながら、先にも述べたように手書きメモは参加者の負荷が高いため、むしろ、あいまい性の存在する発言者チャートから、どのように適切な情報の存在場所にたどりつける支援を行えるのかが重要となる。すなわち、たとえ正しくない場所にアクセスしたとしても、必要とする情報が他のどの辺に存在しているのかがわかるような情報が必要である。
【００２０】
以上の問題点に鑑み、この発明は、会議における発言構造を視覚化表示し、それを記録された会議情報へのアクセスのインデックスとして利用することが可能な会議情報記録再生装置において、会議参加者の負荷が小さく、しかも検索漏れが少なくでき、できるだけ効率的に欲しい情報へと到達できるようにする装置を提供することを目的とする。
【００２１】
【課題を解決するための手段】
上記課題を解決するため、請求項１に記載の発明による会議情報記録再生装置は、
複数人の会議参加者が会議を行う際の音声データを記録する記録手段と、
前記音声データから、前記複数人の会議参加者による発言を抽出して発言構造を示す情報を記憶するとともに、前記発言に関連する複数の属性情報を記憶する発言構造情報記憶手段と、
前記発言構造を視覚化するための視覚化情報を生成する視覚化情報生成手段と、
前記視覚化情報に基づいて前記発言構造を表示装置にて視覚化させる発言構造表示手段と、
前記発言構造表示手段により表示装置上に視覚化された発言構造中において指示入力を行うための指示入力手段と、
前記指示入力手段で指示された位置または部分に該当する音声データを再生する再生手段と、
前記指示入力手段で指示された位置または部分に対応する前記複数の属性情報を、前記発言構造記憶手段から、検索者の指示操作の意図として取得する意図取得手段と、
前記意図取得手段で取得された前記複数の属性情報と、前記発言構造情報記憶手段に記憶されている各発言に関連する複数の属性情報との類似度を算出して、前記検索者の指示操作の意図と類似した意図を持つと判定される音声データ区間を検出する類似候補検出手段と、
前記類似候補検出手段で検出された類似候補を表示装置上に視覚化するための類似候補表示手段と、
を具備することを特徴とする。
【００２２】
また、請求項２に記載の発明による会議情報記録再生装置は、
会議情報の音声データを入力するために会議参加者のそれぞれに設けられる音声入力装置と、
前記音声データを格納する第１の記憶手段と、
前記音声データから発言を抽出する発話データ抽出手段と、
前記抽出した発言のデータと、前記発言に関連する複数の属性情報と、タイマーとから発言構造テーブルを生成する発言構造テーブル生成手段と、
前記発言構造テーブルを格納する第２の記憶手段と、
前記音声入力装置と前記会議参加者との対応関係を保持する会議参加者テーブルを格納する第３の記憶手段と、
前記発言構造テーブルを表示装置上に視覚化するための発言者チャートを生成する発言者チャート生成手段と、
前記発言者チャート生成手段で生成された前記発言者チャートを前記表示装置上に表示する発言者チャート表示手段と、
前記発言者チャート上で、検索者が再生を意図する任意の発言を指示するための指示入力手段と、
前記指示入力手段によって指示された発言を特定する発言特定手段と、
前記発言特定手段で特定された発言の音声データを再生する再生手段と、
前記特定された発言に関する前記検索者の指示意図として、前記特定された前記発言に関連する複数の属性情報を、前記第２の記憶手段から取得する意図取得手段と、
前記意図取得手段で取得された前記複数の属性情報と、前記第２の記憶手段に記憶されている各発言に関連する複数の属性情報との類似度を算出して、前記検索者の再生指示操作の意図と類似した意図を持つと判定される類似発言候補を検出する類似発言検出手段と、
前記類似発言検出手段で検出された類似発言候補を表示装置上に視覚化するための類似発言候補表示手段と
を具備することを特徴とする。
【００２３】
また、請求項３に記載の発明による会議情報記録再生装置は、請求項２に記載の会議情報記録再生装置において、
前記意図取得手段では、前記指示された発言に関する、発言者名、発言時間、前発言者名、後発言者名の４つの属性情報を、前記検索者の意図として取得することを特徴とする。
【００２４】
また、請求項４に記載の発明による会議情報記録再生装置は、請求項２に記載の会議情報記録再生装置において、
前記類似発言検出手段は、
前記指示意図抽出手段において抽出された指示入力された発言の意図と、前記発言構造テーブル中の他の発言との類似度を、前記複数個の属性情報の合成関数により算出する発言類似度算出手段と、
前記発言類似度算出手段で算出された前記類似度が、予め定めた値以上の類似度を持つか否かを判定する発言類似度判定手段と、
を有し、前記発言類似度判定手段の判定結果に基づいて、前記類似発言候補を検出することを特徴とする。
【００２５】
また、請求項５に記載の会議情報記録再生装置は、請求項２に記載の会議情報記録再生装置において、
前記指示入力手段によって、前記検索者が再生区間の指示が可能であり、
前記意図取得手段では、
前記検索者の再生行為を監視する再生操作監視手段を持ち、
再生された音声データ区間の一連の発言群に関わる前記属性情報を、検索者の再生意図として取得する再生意図取得手段を備える
ことを特徴とする。
【００２６】
また、請求項６に記載の発明による会議情報記録再生装置は、請求項５に記載の会議情報記録再生装置において、
前記再生意図取得手段で用いる前記属性情報は、前記再生された音声データ区間の一連の発言群の再生開始発言に関する発言者名、発言時間、前発言者名、後発言者名の４つの属性情報と、停止発言者名と、総発言数と、総発言時間と、発言者集合と、発言遷移行列であることを特徴とする。
【００２７】
また、請求項７に記載の発明による会議情報記録再生装置は、請求項５に記載の会議情報記録再生装置において、
前記類似発言検出手段では、
前記再生意図取得手段からの前記複数の属性情報を用いて、前記発言構造テーブル中の他の一連の発言群に関して、発言構造の類似度を算出する発言構造類似度算出手段と、
前記発言構造類似度算出手段で算出された前記発言構造の類似度が、予め定めた値以上の類似度を持つか否かを判定する発言構造類似度判定手段と、
を有し、前記発言構造類似度判定手段の判定結果に基づいて、前記類似発言構造候補を検出することを特徴とする。
【００２８】
また、請求項８に記載の発明による会議情報再生装置は、請求項５の会議情報記録再生装置において、
前記類似発言検出手段は、
再生された発言の状況に応じて、類似発言検出手段と類似発言構造検出手段を自動的に選択する類似度判定方式選択手段を有することを特徴とする。
【００２９】
また、請求項９に記載の発明による会議情報再生装置は、請求項２の会議情報記録再生装置において、
前記類似発言候補表示手段は、
会議時間の情報を時系列的に可視化する全会議時間表示領域と、複数個の発言構造の縮小図を表示する類似候補縮小図表示領域との２つの表示領域を持ち、
前記全会議時間表示領域に、前記検索者の前記指示入力装置からの入力指示により定まる再生区間およびその再生区間の類次候補の存在区間を前記時系列上に部分表示領域として表示する手段と、
前記類似候補縮小図表示領域には、前記全会議時間表示領域に表示された部分表示領域の区間の発言構造を縮小した類似候補縮小図を、前記部分表示領域の数だけ一覧表示する一覧表示手段と、
を備え、
さらに、前記一覧表示された複数個の前記類似候補縮小図のうちの一つが、前記検索者により選択指示されたことを検知して、前記選択指示された区間の音声データを再生する手段と、
を備えることを特徴とする。
【００３０】
【作用】
請求項１の発明の会議情報記録再生装置では、会議情報の音声入力データから、発言構造を抽出し、記録する。ここで、発言構造は、例えば、音声入力データから発言を抽出し、その発言の発言者、発言開始時刻、発言終了時刻を特定し、さらに、発言順序をも特定することにより抽出できる。この発言構造は、視覚化情報生成手段により生成された視覚化情報により表示装置上に視覚化される。
【００３１】
そして、この視覚化情報上の任意の位置が、例えばマウス等のポインティングデバイスからなる指示入力手段により指示されることにより、音声および映像で記録された会議情報データの任意の位置が再生される。この際、検索者の検索行為が監視され、検索行動から検索者の検索の意図が自動的に抽出される。そして、会議中の他の部分に関して、抽出した検索者の意図と類似した意図を持つ発言が存在するかが検出され、検出された類似候補が表示装置上に表示される。
【００３２】
これにより、検索者に対して自動的に類似候補を提示することができる。この情報は、検索が失敗した場合に、次にアクセスすべき情報の存在を示し、効率的な検索を支援することができる。また、検索が成功した場合にも、他にも正解の候補が存在することを検索者に知らしめ、検索もれを減少させる効果を持つ。
【００３３】
請求項２の発明の会議情報記録再生装置では、会議情報の音声入力データから、発言構造を抽出し、発言構造データを記録する。発言構造データを視覚化するための手段として、例えば発言者、発言時間、発言遷移情報などの発言構造情報を時系列的に表示する発言者チャートが使用される。
【００３４】
発言者チャート上の任意の位置が検索者により指示入力されると、検索者の指示意図が自動的に抽出される。ここでの指示意図は、検索者が指示して再生した特定の発言に関する検索の意図であり、その発言に関わる複数の属性の特性値から構成される。指示発言の意図が抽出されたのち、発言構造データファイル中の他の発言に関して、指示意図と類似した意図を持つ発言が存在するかが評価される。類似した発言が検出された場合、その類似発言として抽出された発言が、発言者チャート上の該当する位置に視覚化される。
【００３５】
これにより、会議情報の検索者の検索意図と類似した構造を持つ発言が、検索者の付加的な入力なしに、自動的に抽出できる。さらに、検索者に類次発言候補を視覚的に提示することにより、その存在を知らしめることが可能となる。
【００３６】
請求項３の発明の会議情報記録再生装置では、指示意図の抽出において、検索者が指示入力により特定した発言に関する、発言者名、発言時間、前発言者名、後発言者名の４つの属性値を抽出することにより、検索者が行った指示入力の意図を算出することができる。これにより、検索者の意図の複雑な構造から、指示意図を表現する代表的な４つの属性を特定することにより、少ない情報量でかつ適切な検索者の指示意図を抽出することが可能となる。
【００３７】
請求項４の発明の会議情報記録再生装置では、検索者により指示された発言以外の会議中に行われた他の発言に関し、指示された発言との類似度が算出される。そして、この類似度がある基準を満足しているかを判定することにより、類似発言が抽出される。これにより、検索者が再生を指示した発言と類似した発言を自動的に抽出することが可能となる。
【００３８】
請求項５または請求項６の発明の会議情報記録再生装置では、検索者の検索行為から、指示入力行為だけではなく、再生行為からも自動的に検索意図が抽出される。
【００３９】
検索者は発言者チャート上の任意の発言を指示して会議情報を記録した音声および映像データを再生する。ついでしばらく再生した後、再生を停止するという再生行為を行うことができる。ここでは、再生停止指示入力が行われた後、再生区間を特定し、再生区間から、指示入力意図と再生意図の両者が自動的に抽出される。再生区間から意図を抽出するということは、単に１つの発言だけではなく、再生された一連の発言群とその発言構造から検索意図が抽出されるということを意味する。
【００４０】
ここで再生意図とは、請求項６においては、開始発言の指示意図、停止発言者名、総発言数、総発言時間、発言者集合、発言遷移行列の６つの発言構造に関わる属性により算出できる。これにより、指示意図だけを利用した時に比較し、より正確に検索者の検索意図を推論することが可能となる。
【００４１】
請求項７の発明の会議情報記録再生装置では、再生した区間の発言構造以外の、会議中に発生した他の発言構造について、再生した区間との類似度が算出される。この類似度が一定条件を満たすかが判断され、条件を満足したものが、類似発言構造候補として検出される。これにより、検索者の再生意図と類似した発言構造を持つ一連の発言群が自動的に抽出できる。
【００４２】
請求項８の発明の会議情報記録再生装置では、検索者の検索行為から、検索者の意図が特定の発言なのか、一連の発言群なのかを判定し、それぞれに適切な類似度の判定方式を自動的に判定する。これにより、検索者の付加的な入力なしに、適切な類似度を判定する手段を選択でき、より適切な類似候補を提示することが可能となる。
【００４３】
請求項９の発明の会議情報記録再生装置では、検出した類次候補を検索者に提示する表示方法に関して、会議の全体を時系列的に示す表示領域と、類次候補の発言構造を縮小表示によって一覧できる表示領域を持つことにより、類次候補の会議の中の相対的な位置関係を時間軸上で把握できることと、その詳細を縮小表示により一覧できることにより、発言の内容の詳細と時系列上の相対的な位置関係の２つの情報を有機的に連結して表示することが可能となる。
【００４４】
これにより、発言構造の認識力が向上し、より効率的に検索が可能となる。また、このような情報を参照しながら再生情報を聞く、または見ることにより、再生内容の理解も促進することができる。
【００４５】
【発明の実施の形態】
以下、図を参照しながら、この発明による会議情報記録再生装置の実施の形態を説明する。
【００４６】
図１は、この発明の一実施の形態の会議情報記録再生装置のシステム構成図を示すブロック図である。この実施の形態の会議情報記録再生装置は、会議情報として音声および映像データを記録し、かつ、記録した音声および映像データファイルの任意の位置へのアクセス手段を持ち、このアクセス手段によりアクセスされた個所の音声および映像データを再生するものである。
【００４７】
この実施の形態における会議情報記録再生装置では、検索者の再生指示に応じて、会議情報として記録された音声および映像データファイル中の任意の位置へアクセスすることができるようにするため、発言者チャートのような発言構造を視覚化したアクセスインデックスを備える装置を前提としている。そして、この発言者チャートを介して、検索者が再生指示をしたときに、指示された位置に該当する音声および映像データを再生するのはもちろんであるが、その上に、検索者の再生指示意図を抽出し、その意図と類似した検索候補が存在しないかを検出し、それを表示することにより、検索者の検索もれを減少させるようにするものである。
【００４８】
図１に示すように、この実施の形態の会議情報記録再生装置は、複数個の音声入力装置１ａと、映像入力装置１ｂと、音声入力装置１ａからの音声信号用のＡ／Ｄ変換装置２と、音声データ合成装置３と、ファイル格納部４と、発言者チャート生成制御部５と、表示装置１１と、指示入力装置１２と、映像再生装置１３と、音声再生装置１４とを備える。
【００４９】
発言者チャート生成制御部５は、発話データ抽出部６と、タイマー７と、発言構造テーブル生成部８と、発言者チャート生成部９と、発言者チャート表示部１０の一部とを備える。発言者チャート検索制御部１５は、発言特定部１６と、検索者意図抽出部１７と、類似候補検出部１８と、類次候補表示部１９と、発言者チャート表示部１０の一部とを備える。
【００５０】
この実施の形態においては、発言者チャート生成制御部５および発言者チャート検索制御部１５は、コンピュータ処理装置の構成とされる。すなわち、発言者チャート生成制御部５および発言者チャート検索制御部１５の各部は、コンピュータのソフトウエアで実現される機能部の構成とされる。
【００５１】
音声入力装置１ａは、マイクロフォンなどからなる会議参加者の音声を入力する装置であり、会議参加者のそれぞれに割り当てられている。複数個の音声入力装置１ａのそれぞれの出力音声信号は、Ａ／Ｄ変換装置２においてデジタル信号に変換される。このＡ／Ｄ変換装置２からの複数個のデジタル音声データは、音声データ合成装置３によって会議参加者全員の音声データとして合成され、ファイル格納部４に音声データファイルとして格納される。
【００５２】
映像入力装置１ｂは、例えばデジタルビデオカメラからなり、この映像入力装置１ｂからのデジタル映像データは、ファイル格納部４に映像データファイルとして格納される。映像入力装置１ｂのデジタルビデオカメラは、１台でも、あるいは複数台でもよい。
【００５３】
図２は、ファイル格納部４に格納されるデータファイルについて説明する図である。ファイル格納部４には、この例では、４つのデータファイルが格納されている。発言構造テーブル４１は、会議における会議参加者の発言の構造を、入力音声データから抽出して生成されるデータファイルである。このデータは、音声データファイル４３および映像データファイル４４へアクセスするためのインデックスとなる情報を保持している。さらに、発言者チャートを生成するためのデータともなる。この発言構造テーブル４１については、後で詳述する。
【００５４】
音声データファイル４３および映像データファイル４４は、会議情報として記録した音声データおよび映像データを保持するデータファイルである。これら音声データファイル４３および映像データファイル４４は、発言構造テーブル４１とのあいだにリンク関係を保持している。会議参加者テーブル４２は、会議参加者を識別するためのデータファイルであり、音声入力装置１ａのそれぞれに対応して付与された入力装置番号と会議参加者名との関係をデータとして保持している。
【００５５】
図３は会議参加者テーブル４２のデータ構造を説明するための図である。会議参加者テーブルは、会議参加者と入力装置番号との対応関係を保持するデータファイルである。フィールド４２ａは入力装置番号であり、音声入力装置１ａが保持する識別子である装置番号を意味する。フィールド４２ｂは会議参加者名であり、各音声入力装置１ａに割り当てられた会議参加者の名前がテキストデータとして保持される。
【００５６】
Ａ／Ｄ変換装置２からの、複数個の音声入力装置１ａのそれぞれについてのデジタル音声データは、発言者チャート生成制御部５に渡され、処理される。発言者チャート生成制御部５は、ファイル格納部４に格納された音声データファイルの任意の位置にアクセスするためのアクセス手段の１つである発言者チャートを生成する装置である。この発言者チャートの生成処理の詳細については後述する。
【００５７】
表示装置１１は、発言者チャート生成制御部５で生成された発言者チャートを、その画面に視覚的に表示する。また、映像再生装置１３により再生された映像も、さらに表示するようにしてもよい。すなわち、映像再生装置１３は表示部を備えるので、その表示部に再生された映像を表示するが、表示装置１１の表示画面に表示してもよい。もちろん、表示装置１１には、発言者チャートのみを表示し、映像は、映像再生装置１３の表示部に表示するように分担させて表示させるようにすることもできる。
【００５８】
指示入力装置１２は、表示装置１１の表示画面に表示された発言者チャート中の発言や発言構造を指示するためのもので、マウスやポインティングデバイスによって構成される。
【００５９】
映像再生装置１３は、ファイル格納部４の映像データファイルの内の、発言者チャートからユーザにより指示された部分の映像データを再生する装置である。また、音声再生装置１４は、同様に、ファイル格納部４の音声データファイルの内の、ユーザにより指示された部分の音声データを再生する装置である。発言者チャートを使用して、音声データと同期させて、映像データの任意の箇所を、映像再生装置１３で再生することもできる。
【００６０】
発言者チャート探索制御部１５は、表示装置１１の表示画面の発言者チャート上において指示入力装置１２により指示された任意の位置に対応する音声データおよび画像データを検索して再生するものである。
【００６１】
以下の説明においては、説明の簡単のため、音声データファイルからの指示された音声データの検索について述べるが、会議情報のデータファイルの再生に関しては、映像データにおいても同様である。
【００６２】
まず、発言者チャート生成制御部５における処理動作について説明する。
【００６３】
Ａ／Ｄ変換装置２からの、複数個の音声入力装置１ａのそれぞれについてのデジタル音声データは、発話データ抽出部６に入力される。この発話データ抽出部６においては、入力された音声データのそれぞれについて、ある一定以上の音量レベルが一定時間以上継続した場合を発話としてみなして発言区間を抽出し、その発言区間データを発言構造テーブル生成部８に伝達する。発言区間データは、音声入力装置１ａのいずれからの音声データをあるかを示す入力装置番号と、発言開始タイミングと、発言終了タイミングの情報とによって構成されている。
【００６４】
発言構造テーブル生成部８では、会議の発言を記録した音声データファイルへのアクセスインデックスとなる、発言構造テーブルを生成する。すなわち、前記発話データ抽出部６からの発言区間データと、タイマー７の時間情報から、入力装置番号、発言開始時刻、発言終了時刻など、会議参加者の発言区間に関する情報を抽出し、発言構造テーブルを生成し、ファイル格納部４に格納する。
【００６５】
図４は、発言構造テーブルのデータ構造を説明するための図である。発言構造テーブルは、会議における会議参加者の発言の構造を保持し、会議情報を記録した音声データファイルおよび映像データファイルへのアクセスインデックスとして使用されるデータファイルである。
【００６６】
図４において、フィールド５１は発言番号であり、発言の時間順に識別子が割り当てられる。フィールド５２は発言が検出された音声入力装置１ａの識別子としての入力装置番号である。フィールド５３は発言開始時刻であり、検出された発言の開始時刻を記録開始時からの経過時間として記録する。フィールド５４は発言終了時刻であり、検出された発言の終了時刻を同様に記録する。
【００６７】
前述もしたように、音声データファイル４３と発言構造テーブルとは対応関係が付けられている。例えば、図４で発言番号７の発言についての、両者の対応関係について説明すると、５６は音声データファイル４３に記録された発言番号７の記録個所を示しており、リンク５５ａは発言番号７の記録位置の開始点を指している。また、同様に、リンク５５ｂは発言番号７の記録位置の終了点を指している。
【００６８】
発言者チャート生成部９は、ファイル格納部４に格納された発言構造テーブルの情報を受け、この発言構造テーブルを視覚化して表示するための発言者チャートの情報を生成する。生成された発言者チャート情報は発言者チャート表示部１０に渡され、発言者チャート表示部１０は、発言者チャートを表示装置１１に表示する。
【００６９】
図５は、発言者チャートの一実施の形態を示す図である。１０１は発言者チャート表示領域である。発言者チャートは、会議全体のオーバービューとして表示する全会議時間表示領域１０２と、この全会議時間表示領域１０２中に表示される詳細表示個所１０４に該当する部分の発言構造の詳細を表示する発言構造表示領域１０３の２つの領域から構成される。
【００７０】
全会議時間表示領域１０２は、会議の開始時刻を「００：００：００」とし、それから会議終了までを相対時刻として表示する時刻表示を伴う。図５の例では、途中の相対時刻は丁度中間時点の時刻のみを表示している。詳細表示箇所１０４は、全会議時間のうちの特定の時間区間を示すものである。
【００７１】
そして、詳細表示箇所１０４で示される時間区間の発言構造の詳細が、発言構造表示領域１０３に表示されるという関係になっている。換言すれば、発言構造表示領域１０３に表示されている発言構造は、全会議時間中のどの辺りの時間区間のものであるかを詳細表示個所１０４の、全会議時間表示領域１０２中の位置により知ることができる。
【００７２】
発言構造表示領域１０３は、発言者を識別するための発言者名を表示する発言者名領域１０６と、発言の遷移の状態を視覚的に表示するための発言遷移表示領域１０７とから構成される。図５に示すように、発言構造表示領域１０３の発言遷移表示領域１０７に対しても、この領域１０７に詳細表示される区間の先頭の時刻と、終りの時刻とが表示されて、全会議時間の内のどの時間部分の発言構造が詳細表示されているかが表示されている。
【００７３】
発言遷移表示領域１０７の発言者毎の各欄には、各会議参加者（発言者）が会議時間中において、いつ、どのくらいの時間の発言を行ったのかが、発言区間バーＶＢの表示位置と長さにより示される。この発言遷移表示領域１０７の全会議参加者分の発言区間バーの遷移として表示される発言構造を読み取ることで、誰の発言から誰の発言へと遷移したのかという、詳細表示箇所１０４で示される時間区間の発言遷移構造を読みとることが可能となる。
【００７４】
図５の全会議時間表示領域１０２における三角点１０５ａ、または発言遷移表示領域１０７における破線１０５ｂは、その時に再生中の音声データに該当する発言者チャート上の時間位置を示している。
【００７５】
この表示装置１１に表示された発言者チャートを、指示入力装置１２によって任意の位置を指示することで、記録した会議の音声データの任意の位置を再生することができる。発言者チャート検索制御部１５は、指示された任意の位置の音声データを検索して再生する。
【００７６】
発言者チャート検索制御部１５の発言特定部１６は、表示装置１１上で指示された位置情報から、ファイル格納部４の発言構造テーブル４１の該当する発言（発言区間）を特定する処理を行う装置である。そして、図４に示したように、発言構造テーブル４１に記録されているインデックスに従い、音声データファイル４３の該当する個所が検索され、特定された発言（発言区間）に該当する音声データが音声データファイル４３から抽出され、音声再生装置１４において再生される。
【００７７】
検索者意図抽出部１７では、指示入力を行った検索者の指示入力の意図（指示意図）の抽出を行う。ここで、指示意図とは、音声および映像データの任意の位置を再生したい検索者であるユーザが、再生したい発言を指示した時の指示入力の検索意図を意味している。この実施の形態では、検索者の指示意図は、発言に関わる４つの属性、
▲１▼再生が指示された発言に関する発言者名、
▲２▼その発言時間、
▲３▼その前発言者名、
▲４▼その後発言者名
から抽出される。▲３▼前発言者名および▲４▼後発言者名は、発言遷移構造に関わる属性である。検索者意図抽出部１７は、発言特定部１６で特定された発言に関する情報に基づいて、ファイル格納部４を検索して、前記▲１▼〜▲４▼の４つの属性を取得し、それにより指示意図を抽出する。
【００７８】
類次候補検出部１８では、検索者意図抽出部１７で抽出された指示意図の情報を受けて、当該指示意図に類似した発言である類似候補が存在するかを検索する。類似候補が存在した場合には、類次候補表示部１９にその情報を送る。これを受けて、類似候補表示部１９は、表示装置１１に類似候補を表示する。
【００７９】
図６は、検索者が再生したい発言を指示する方法を説明するための図である。図６では、発言者チャートの一部分を拡大して図示している。検索者は、再生したい発言に該当する領域を、指示入力装置１２を構成するマウス等のポインティングデバイスを用いて指示する。
【００８０】
図６には、図５および図７において番号１０８を付した、発言者「佐藤」の発言区間バーが図示されており、指示入力装置１２で指し示されている位置が、矢印カーソル１１０によって示されている。矢印カーソル１１０の示している位置で、マウスボタンのクリック等、指示入力装置１２による指示を行うと、後述するようにして発言区間バー１０８に該当する音声データが再生される。
【００８１】
図７は、検索者の指示入力位置の、発言者チャート表示領域１０１における相対座標位置を説明するための図である。この実施の形態では、指示入力位置は、表示装置１１上の座標ではなく、発言者チャート表示領域１０１内における相対座標として扱われる。図７において、１２１は発言者チャートにおける起点の座標（０，０）を示す。
【００８２】
また、発言遷移表示領域１０７に表示されている区間の起点（座標（０，０））に該当する会議時刻は、Ｔoriginと表すこととする。また、発言遷移表示領域１０７に表示されている部分に該当する会議区間の時間幅をΔＴｍとし、発言遷移表示領域１０７の表示幅をΔＸｍとする。したがって、時間幅ΔＴｍは、そのときに発言構造表示領域１０３内に表示されている会議区間に応じた値を持つ。ΔＸｍは、そのときに表示されている発言者チャート表示領域１０１の表示枠の大きさに依存して変動する。
【００８３】
そして、図７において、１２２は、検索者による指示入力装置１２による指示入力位置を示しており、この指示入力位置１２２に該当する会議時刻の値を、指示入力時刻をＴpoint とする。Δｘは、この指示入力位置１２２の、発言者チャート表示領域１０１における起点１２１からのｘ方向（横方向）の相対座標を示している。
【００８４】
この指示入力時刻Ｔpoint の算出式は、
Ｔpoint ＝Ｔorigin＋ΔＴｍ（Δｘ／ΔＸｍ） …（１）
となる。
【００８５】
次に、図８に、発言者チャート検索制御部１５における処理の流れを示すフローチャートを示す。
【００８６】
ステップ201 では、検索者であるユーザからの再生の指示入力があるかを監視する。ステップ202 では、指示入力があったかどうかを判定し、指示入力がない場合には、ステップ201 へ戻り、ユーザの指示入力の監視を繰り返す。
【００８７】
ユーザからの指示入力があった場合には、ステップ203 において、ユーザの指示入力座標Ｐpoint を獲得する。これは表示画面上における絶対座標である。次いで、ステップ204 において指示入力位置に該当する発言を特定する。この際に、ステップ203 で獲得したユーザの指示入力座標Ｐpoint を、前述した発言遷移表示領域１０７内の相対座標位置に変換する処理も行う。以上の処理は、発言特定部１６が行うことになる。そして、ステップ204 の処理の詳細は、図９のフローチャートを用いて後述する。
【００８８】
ステップ205 では、特定した発言の意図を抽出する処理を行う。このステップ205 の処理は、検索者意図抽出部１７が行う処理に相当する。このステップ205 の処理の詳細は、図１１のフローチャートを用いて後述する。
【００８９】
次のステップ206 では、抽出した指示意図と類似の発言候補を検出するための処理を行う。このステップ206 の処理は、類似候補検出部１８が行う。このステップ206 の詳細は、図１３のフローチャートを用いて後述する。
【００９０】
次に、図９のフローチャートを用いて、ステップ204 の発言特定処理を説明する。ステップ251 では、入力された座標位置Ｐpoint を、発言遷移表示領域１０７内の相対座標位置に変換し、指示入力位置のｘ座標Δｘを算出する。そして、次のステップ252 では、前述した（１）式から、指示入力時刻Ｔpoint を算出する。
【００９１】
次のステップ253 では、ファイル格納部４の発言構造テーブル４１から１レコード分、読込み、変数R1に代入する。これは、任意の１発言に相当するデータである。次のステップ254 では、読込んだレコードR1の発言開始時刻フィールドと発言終了時刻フィールドの値をＴ（開始）、Ｔ（終了）という変数にそれぞれ代入する。
【００９２】
次のステップ255 では、指示入力時刻Ｔpoint が、レコードR1の発言開始時刻と終了時刻の間の時刻であるかを判定する。入力指示時刻Ｔpoint が発言開始時刻と発言終了時刻の間に存在している場合には、指示発言が特定できたと判断し、ステップ256 において、発言構造テーブル４１の該当する発言のレコードR1の発言番号フィールドの値を獲得し、それを変数IDに代入し、その変数IDの値を返す。もし、ステップ255 で、指示入力時刻Ｔpoint が、レコードR1の発言開始時刻と終了時刻の間に存在しないと判定された場合は、ステップ253 にもどり、次のレコードを読込み、次の発言に関する処理を行う。
【００９３】
次に、指示意図抽出処理について説明する。
指示意図は、前述したように、発言に関わる４つの属性、発言者名、発言時間、前発言者名、後発言者名によって定義する。これらの属性を用いて、指示意図は、この明細書では、Ｉinst（発言者名，発言時間，前発言者名，後発言者名）と表記する。
【００９４】
図１０に発言者チャートの一部を示すが、この図１０では、矢印カーソル１１０により示されるように、会議参加者名「田中」の発言が、検索者により指示されたことを示している。このときの検索者の指示意図は、Ｉinst（田中，６５秒，鈴木，佐藤）と規定される。これは、「田中」の発言が、発言時間が６５秒であり、「鈴木」の後に発言し、「田中」の後には「佐藤」が発言したことを意味する。この実施の形態では、検索者は、この４つの属性により表現されている意図をもって特定の発言を指示したと解釈するものである。
【００９５】
なお、発言に対する指示意図全体ではなく、指示意図を、個別の属性について表記する場合には、指示意図Ｉinst（）の、（）内にそれぞれの属性を記すこととする。例えば、指示意図の発言者名属性は、Ｉinst（発言者名）と標記する。他の発言時間、前発言者名、後発言者名の属性の場合も同様の形式で記述する。
【００９６】
次に、図１１のフローチャートを用いて、ステップ205 の指示意図抽出処理を説明する。
【００９７】
図１１は指示意図を抽出する処理を説明するためのフローチャートである。ステップ311 は初期設定であり、変数IDに発言特定処理によって特定された発言の発言番号を代入する。次のステップ312 では、発言構造テーブル４１から、変数IDで示される発言番号のレコードを読込み変数Riに代入する。同様に、変数IDで示される発言番号の前後の発言に関するレコードも読込み、それぞれ変数Rp，変数Rnに代入する。
【００９８】
次のステップ313 では、変数Riから発言者名属性に関する指示意図Ｉinst（発言者名）を導出する。次のステップ314 においても、同様に、発言時間属性の指示意図Ｉinst（発言時間）を導出する。
【００９９】
また、次のステップ315 では、発言遷移構造に関わる指示意図を算出する。まず、変数Rpの入力装置番号に該当する会議参加者名を、ファイル格納部４の会議参加者テーブル４２から抽出し、前発言者名属性の指示意図Ｉinst（前発言者名）を導出する。同様にして、変数Rnの入力装置番号に該当する会議参加者名を、ファイル格納部４の会議参加者テーブル４２から抽出し、後発言者名属性の指示意図Ｉinst（後発言者名）を導出する。
【０１００】
そして、次のステップ316 においては、特定された指示意図Ｉinst（発言者名，発言時間，前発言者名，後発言者名）の値を、類似候補検出部１８に送る。
【０１０１】
次に、ステップ206 の類似発言検出処理について説明する。以下の説明において、発言の類似度はＤＩartiと表記する。この発言の類似度ＤＩartiは、発言意図Ｉinstを構成する４つの属性に関する各々の類似度の合成関数として定義される。類似度を、個別の属性について表記する場合には、類似度ＤＩarti（）の、（）内にそれぞれの属性を記すこととする。例えば、類似度の発言者名属性は、ＤＩarti（発言者名）と標記する。他の発言時間、前発言者名、後発言者名も同様の形式で記述する。
【０１０２】
類似度ＤＩartiは、類似度が高いほど小さな値を持つものとする。ＤＩarti（Ａ，Ｂ）は、発言Ａと発言Ｂの指示意図の類似度とする。発言Ａと発言Ｂの指示意図の各属性毎の類似度は、ＤＩarti（Ａ，Ｂ）（）の（）内にそれぞれの属性を記すことにする。
【０１０３】
発言者名属性の類似度ＤＩarti（Ａ，Ｂ）（発言者名）は、発言Ａと発言Ｂの発言者名が等しい場合に０の値を持つ。異なる場合には、ＤＩmax というきわめて大きな類似度の値が割り当てられる。すなわち、類似度を評価する際、発言者名属性の類似度は０でない場合には、まったく類似していないと判断される。発言時間属性の類似度ＤＩarti（Ａ，Ｂ）（発言時間）は、発言時間の差異の絶対値で評価する。前発言者名および後発言者名の類似度は一致した場合が０，不一致の場合に１の値をとる。
【０１０４】
発言の類似度ＤＩartiは、発言者名属性を条件部として、その他の各属性毎の類似度の重みづき合成関数として表現される。この発言の類似度ＤＩartiの定義式は、次のようになる。
【０１０５】
すなわち、
(i) ＤＩarti（発言者名）＝０のときには、
ＤＩarti＝ｗ１×ＤＩarti（発言時間）＋ｗ２×ＤＩarti（前発言者名）＋ｗ３×ＤＩarti（後発言者名）
(ii)ＤＩarti（発言者名）＞０のときには、
ＤＩarti＝ＤＩmax …（２）
と表すことができる。なお、ｗ１，ｗ２，ｗ３は重み係数である。
【０１０６】
発言の類似度ＤＩartiの定義式および発言Ａと発言Ｂの指示意図の各属性毎の類似度の定義を、図１２にまとめて示す。
【０１０７】
（２）式に示されるように、発言の類似度ＤＩartiに関し、発言者名属性の類似度ＤＩarti（Ａ，Ｂ）（発言者名）は条件部であり、一致が必要条件になる。そして、ＤＩarti（発言者名）＝０で、発言者名が一致しているときに、他の３つの属性、発言時間、前発言者名、後発言者名の合成関数として定義される。この場合、発言時間、前発言者名、後発言者名の３つの属性については、各々の類似度に、ｗ１，ｗ２，ｗ３という重みがつけられ、これらが加算されることにより発言の類似度ＤＩartiが算出される。そして、発言者名が不一致の場合は、類似度は無限大の値ＤＩmax をとり、まったく類似していないことを意味する。
【０１０８】
図１３は類似発言を検出するための処理を説明するフローチャートである。ステップ351 は初期設定値であり、類似発言候補のリストを保持する変数Listに初期値（）を設定している。ステップ352 からステップ356 の間では、発言構造テーブル４１中の各レコード、すなわち各発言に対して、類似度の算出および判定などの一連の処理を繰り返す。
【０１０９】
ステップ352 では、発言構造テーブル４１から１レコードを読込み、変数R1に代入している。ステップ353 で変数R1がnil でなければ、すなわち処理すべきレコードが存在すれば、ステップ354 の発言類似度算出処理を行う。ついでステップ355 では発言の類似度が、類似していると判定できる一定の基準を満たしているかを評価する発言類似度判定処理を行う。次のステップ356 では、類似していると判定された発言候補に該当するデータファイルの存在場所（音声データファイルや映像データファイル中の位置）を検出する。ステップ353 において、読込むべきレコードがなかったと判定された場合には処理を終了する。
【０１１０】
図１４は、図１３のステップ354 の発言類似度算出処理を説明するためのフローチャートである。ステップ401 では、変数の初期設定値を示し、変数input には発言特定処理によって特定した発言の発言番号を代入し、変数R1にはinput との類似比較対照である、現在処理中の発言番号が代入されている。
【０１１１】
ステップ402 では、変数input および変数R1の２つの発言番号の発言の指示意図Ｉinst（input ）およびＩinst（R1）を算出する。次のステップ403 では、定義式（２）に沿って、発言者名属性に関する変数input の指示発言と変数R1の類似発言候補の類似度ＤＩarti（input ，R1）（発言者名）を算出する。
【０１１２】
そして、次のステップ404 で、この発言者名属性の類似度ＤＩarti（input ，R1）（発言者名）の値が１かどうかを判定する。発言者属性の類似度ＤＩarti（input ，R1）（発言者名）の値が１以外の値、すなわち不一致である場合は、これ以降の類似度は算出せず、ステップ407 において、類似度ＤＩarti（input ，R1）（発言者名）の値として、前述したＤＩmax というきわめて大きな値を代入して処理を終了する。
【０１１３】
一方、ステップ404 で発言者名が一致したと判定された場合はステップ405 に移行する。ステップ405 では、残りの３つの属性に関する類似度ＤＩarti（input ，R1）（発言時間）、ＤＩarti（input ，R1）（前発言者名）およびＤＩarti（input ，R1）（後発言者名）を個別に算出する。そして、ステップ406 において、発言番号input の指示発言と、発言番号R1の類似発言候補との類似度ＤＩarti（input ，R1）を、定義式（２）に従って算出し、その値を発言類似度判定処理に渡す。
【０１１４】
図１５は発言類似度判定処理を説明するためのフローチャートである。
ステップ451 では、初期設定として前記発言類似度算出処理により、発言番号input の入力指示発言と、発言番号R1の類似候補発言との類似度が求められている。次のステップ452 では、算出された類似度ＤＩarti（input ，R1）の値が、類似しているという評価基準の類似度ＤＩlimit よりも小さいかが判定される。評価基準値ＤＩlimit よりも小さい場合には、この２つの発言は類似していると判定し、ステップ453 において「True」の値を返す。基準値ＤＩlimit よりも大きい場合には、この２つの発言は類似していないと判断し、ステップ454 において「False 」の値を返す。
【０１１５】
図１６は、図１３のステップ356 の類似発言候補検出処理に相当するデータファイルの場所を検出する処理を説明するためのフローチャートである。
【０１１６】
ステップ471 では初期設定が行われ、変数R1に現在処理中の発言構造テーブル４１のレコードが代入されている。ステップ472 において、前記類似度判定処理の結果の判定が行われ、もし戻り値が「True」の場合にはステップ473 において、指示入力発言と類似していると判定された発言に該当する音声データファイルの場所を、発言の開始時刻と終了時刻の区間によって表し、変数Listに追加する。ステップ472 において戻り値が「False 」の場合には、そのまま処理を終了する。
【０１１７】
以上により、会議等の参加者の音声情報を記録し、音声データファイルへアクセスするためのインデックス情報としての発言構造データを抽出し、発言構造データを発言者チャートとして視覚化するような手段を持つマルチメディア会議記録再生装置において、会議記録の検索者であるユーザが、発言者チャート上の任意の発言位置をポインティングデバイス等で指示したとき、ユーザの指示の意図を抽出し、その意図と類似の発言候補を検出するので、ユーザは、再生された音声や画像の視聴により、自分の意図したものでないと判断したときに、自分の意図するものと類似の発言を容易に検索することができる。
【０１１８】
［第２の実施の形態］
前記の実施の形態においては、ユーザの検索意図を、特定の発言を指示する指示入力から抽出した。しかし、ユーザの検索意図を、ユーザの再生行為による再生意図を抽出することにより、ユーザが必要としている情報を、より忠実に抽出することが可能になる。
【０１１９】
この第２の実施の形態では、ユーザは、特定の発言区間を再生するために、前述したように発言チャート上で、希望する発言（発言区間バー）を指示するだけでなく、発言者チャート上で再生開始指示を行い、再生情報を視聴しながら再生終了指示をすることができるようにされている。すなわち、ユーザは、複数個の発言区間に跨がった再生区間を指示することができる。そして、この第２の実施の形態では、ユーザのこの再生指示行為から再生意図を抽出して、それに基づいてユーザが必要としている情報を抽出することができるようにする。
【０１２０】
図１７は、この第２の実施の形態の場合の検索者意図抽出部１７の詳細を説明するためのブロック図であり、検索者意図抽出部１７は、指示入力の意図を抽出する指示意図抽出部１７ａと再生意図を抽出する再生意図抽出部１７ｂから構成される。
【０１２１】
指示意図抽出部１７ａは、指示入力情報から、指示された特定の発言に対して前述の第１の実施の形態で説明したようにして指示意図を抽出するのに対して、再生意図抽出部１７ｂでは、再生開始から再生終了までの区間に含まれる一連の発言群の発言構造から、ユーザの、検索したい情報に対する再生意図を抽出する。
【０１２２】
図１８は、この第２の実施の形態の場合の類似候補検出部１８の詳細を説明するためのブロック図である。この第２の実施の形態の場合、類似候補検出部１８は、類似度判定方式選択部１８ａと、類似発言候補検出部１８ｂと、類似発言構造候補検出部１８ｆとから構成される。
【０１２３】
類似度判定方式選択部１８ａは、検索者の指示入力情報と、再生情報とから、類似発言候補検出部１８ｂと類似発言構造候補検出部１８ｆとの、いずれかの適切な類似度の判定方式を選択するための処理を行う。この実施の形態では、類似度判定方式選択部１８ａは、後述もするように、ユーザの指示入力に応じて特定された再生区間内に１個の発言のみしか含まれていない場合は、類似発言候補検出部１８ｂを選択し、再生区間内に複数個の発言が含まれている場合には、類似発言構造候補検出部１８ｆを選択するようにする。
【０１２４】
類似発言候補検出部１８ｂは、図１３を用いて説明した第１の実施の形態の類似候補検出部の動作と同じもので、発言類似度算出部１８ｃと、発言類似度判定部１８ｄと、類似発言検出部１８ｅとの３つの構成要素からなる。そして、類似発言候補検出部１８ｂ、発言類似度判定部１８ｄおよび類似発言検出部１８ｅの処理は、図１４、図１５および図１６を用いて説明したものと同じである。
【０１２５】
類似発言構造候補検出部１８ｆは、発言構造類似度算出部１８ｇと、発言構造類似度判定部１８ｈと、類似発言構造検出部１８ｉの３つ部分から構成される。類似発言候補検出部１８ｂと類似発言構造候補検出部１８ｆとの相違は、次の通りである。すなわち、指示入力された発言に対して類似度を検出する場合が類似発言候補検出部１８ｂであり、再生情報も付加して一連の発言群に対して類似度を検出するのが類似発言構造候補検出部１８ｆである。
【０１２６】
図１９は、発言者チャートにおける、ユーザの再生区間の指定について説明するための図である。図１９は、発言者チャートの一部を示すものである。
【０１２７】
再生指示入力位置も、第１の実施の形態の指示入力の場合と同様に、発言遷移表示領域１０７内における相対座標であらわされる。図１９で、発言遷移表示領域１０７のｘ方向の最も左側を、起点501 として、その相対座標を（０，０）で表す。そして、ユーザにより再生開始指示された再生開始点のｘ座標502 をΔｘstart 、再生終了指示された再生終了点のｘ座標503 をΔｘstopとする。
【０１２８】
そして、起点（０，０）に相当する時刻を起点時刻Ｔoriginと表し、ユーザにより再生開始指示入力された時刻である再生開始指示時刻をＴstart と表し、また、ユーザにより再生終了指示入力された時刻である再生終了指示時刻をＴstopと表す。再生開始指示時刻Ｔstart と、再生終了指示時刻Ｔstopとの間が、再生区間である。検索者の再生意図は、この再生区間に含まれる一連の発言群に対して抽出する。
【０１２９】
図２０は、類似発言構造候補を検出するための処理を説明するためのフローチャートである。
【０１３０】
ステップ601 では、検索者であるユーザからの再生開始の指示入力があるかを監視する。ステップ602 では、指示入力があったかどうかを判定し、指示入力がないと判定した場合には、ステップ601 へ戻り、ユーザの指示入力の監視を繰り返す。
【０１３１】
ステップ602 で、ユーザからの再生開始指示入力があったと判定された場合には、ステップ603 においてユーザの再生開始指示入力座標を抽出し、その座標を変数Ｐstart に入力する。この座標変数Ｐstart に対して、発言特定処理を行い、指示入力位置の発言を特定する。この発言特定処理は、図９を用いて説明した処理と同様である。
【０１３２】
次いで、ステップ605 では、ユーザからの指示入力の監視を継続し、次のステップ606 において再生の終了指示入力があったかを監視し、終了指示入力がない場合にはステップ605 において監視を継続する。ステップ606 で、再生終了指示入力があったと判定された場合には、ステップ607 において、変数Ｔstopに再生終了時刻を代入する。次いで、ステップ608 において再生区間特定処理を行う。ここで再生区間が特定され、再生区間に含まれる一連の発言群が特定される。再生区間特定処理の詳細については、図２１を用いて後述する。
【０１３３】
検索者の再生終了指示入力後、類似度の判定処理が行われる。
まず、ステップ609 において類似度の判定方式を選択するための類似度判定処理を行う。この類似度判定処理の詳細については、図２２を用いて後述する。
【０１３４】
そして、ステップ610 で、ステップ609 での類似度判定処理の結果、類似度の判定が発言に対して行われると判断された場合には、ステップ611 に移り、指示意図抽出処理を行い、また、次のステップ612 で類似発言検出処理を行う。この611 および612 の処理は、第１の実施の形態において、図１１から図１６までを参照しながら説明した一連の処理に相当する。
【０１３５】
また、ステップ610 で、類似度判定処理の結果、類似度の判定が発言構造に対して行われると判断された場合には、ステップ613 において再生意図を抽出するための処理を行い、次のステップ614 において類似した発言構造の検出処理を行う。ステップ613 の再生意図を抽出するための処理は、図２４を用いて後述する。また、ステップ614 の類似した発言構造の検出処理は、図２７〜図３１６を用いて後述する。
【０１３６】
前記ステップ608 の再生区間を特定する処理を、図２１のフローチャートを用いて説明する。
【０１３７】
ステップ651 は、変数ＩＤstart と変数ＩＤstopの初期設定を示すものであり、変数ＩＤstart には、再生開始指示入力位置Ｐstart から、ステップ604 の発言特定処理によって特定された発言番号を代入する。同様に、変数ＩＤstopには、再生停止指示入力によって指示された入力時刻Ｔstopから特定された発言番号を代入する。この場合の発言特定処理は、図９に示したステップ253 〜256 の処理を指す。
【０１３８】
これによって、ユーザが指示入力した再生区間は求められる。しかしながら、再生終了指示行為においては、再生したいという意図がないにも関わらず、次の発言が再生された後に終了指示入力がなされるという可能性も存在する。したがって、できるだけユーザの意図した再生区間を正確に抽出するために、再生の過剰部分を補正する処理を行うほうがよい。
【０１３９】
一般に、ユーザは、発言の再生が開始して、それが自分の再生意図区間に関係ないものとなったときは、比較的、即座に再生終了入力をすると考えられる。そこで、この第２の実施の形態では、ユーザの再生終了指示入力があった位置の発言（以下、停止発言という）の開始時刻から、再生終了指示入力時刻までが、予め定めた一定時間ΔＴlimit よりも短いときには、その最後の発言である停止発言は、再生意図に関係ない発言として、ユーザの意図した再生区間から除外するように補正する。
【０１４０】
すなわち、ステップ652 で、変数Ｔstopに再生終了指示時刻を代入する。次のステップ653 において、現時点で特定されている停止発言の発言番号ＩＤstopに相当する発言構造テーブル４１のレコードを読込み、それを変数R1に代入する。次に、ステップ654 において、変数Ｔ（開始時刻）に、変数R1のレコード中の開始時刻フィールドを代入する。
【０１４１】
そして、次のステップ655 では、再生終了指示入力のあった実際の時刻Ｔstopと、停止発言として特定された発言番号ＩＤstopの開始時刻Ｔ（開始時刻）との差が、ある一定時間ΔＴlimit よりも小さいか否かを判定する。小さい場合には、ステップ656 に移行し、検索者は意図せず過剰に再生したものと見做し、停止発言の区間は再生区間には含めないこととする。すなわち、ステップ656 においては、再生区間の終了時の発言を、停止発言の１つ前の発言と見做し、変数ＩＤstopを「１」だけ減算する。
【０１４２】
ステップ655 で、再生終了指示入力のあった実際の時刻Ｔstopと、停止発言の開始時刻Ｔ（開始時刻）との差が、ΔＴlimit よりも大きいと判別された場合には何もせず、再生終了指示入力位置で指定された時刻までの区間をそのまま再生区間とする。そして、次のステップ657 においては、以上のようにして求めた再生区間（ＩＤstart ，ＩＤstop）の値を返す。
【０１４３】
次に、類似度の判定方式を選択するための処理を、図２２のフローチャートについて説明する。
【０１４４】
まず、ステップ671 では、前述した再生区間特定処理によって、再生区間（ＩＤstart ，ＩＤstop）が特定されている。次のステップ672 においては、再生開始発言ＩＤstart と再生停止発言ＩＤstopが等しいかが判断される。等しい場合には再生区間は区間ではなく、単一発言であることから、戻り値としては”発言”を返し、発言に対する類似度判定を行う。一方、等しくない場合には、再生区間には複数の発言が含まれていることから、戻り値としては”発言構造”を返し、発言構造に対する類似度判定を行う。
【０１４５】
図２３は、再生意図を説明するための図であり、これは、発言者チャートの一部を示すものである。
【０１４６】
図２４に、再生意図の定義と表記方式について示す。この実施の形態において、再生意図は、再生区間内における発言群の発言構造に関わる６つの属性によって定義する。６つの属性とは、▲１▼指示発言、▲２▼停止発言者名、▲３▼総発言数、▲４▼総発言時間、▲５▼発言者集合、▲６▼発言遷移行列である。
【０１４７】
これらの属性を用いて、再生意図は、Ｉreplay（指示発言，停止発言者名，総発言数，総発言時間，発言者集合，発言遷移行列）と表記する。また、再生意図全体ではなく、再生意図を、個別の属性について表記する場合には、再生意図Ｉreplay（）の、（）内にそれぞれの属性を記すこととする。例えば、再生意図の発言者名属性は、Ｉreplay（発言者名）と標記する。他の停止発言者名、総発言数、総発言時間、発言者集合、発言遷移行列の属性の場合も同様の形式で記述する。
【０１４８】
６つの属性の詳細について説明すると、指示発言は、再生区間指示の場合には、再生開始指示位置の発言（発言区間）に相当し、Ｉreplay（指示発言）＝Ｉinst（指示発言）である。停止発言者名は、停止発言の発言者名である。総発言数は、再生区間（ＩＤstart ，ＩＤstop）内に含まれる発言数である。また、総発言時間は、再生区間（ＩＤstart ，ＩＤstop）内の各発言の時間の総和である。発言者集合は、再生区間（ＩＤstart ，ＩＤstop）内に含まれる発言者名の、重複を除いたリストである。
【０１４９】
発言遷移行列は、発言者集合に含まれる複数人の発言者間の発言の遷移を表す行列であり、発言者集合の発言者数がｎ人であれば、ｎ行×ｎ列の行列である。すなわち、発言者ごとの入力装置番号順に、ｎ人を並べ、また、ｎ列に並べる。そして、ある発言者Ａから、ある発言者Ｂに発言の遷移があった場合に、発言者Ａの入力装置番号に相当する行であって、発言者Ｂの入力装置番号に相当する列の要素に１を加算する。これによって、どの発言者からどの発言者へ、何回の遷移が生じたのかを表すことができる。
【０１５０】
図２５は、図２３に示した発言者チャートの再生区間に該当する再生意図の記述例を示している。
【０１５１】
まず、指示発言は再生入力指示された発言であるから、発言番号205 が特定される。停止発言者名は、特定された再生区間の停止発言に該当する発言の発言者名であるから、図２３の例では発言番号209 の発言者「鈴木」である。総発言数は、再生区間内に含まれる発言の総数であるから、この例では５件である。総発言時間は、再生区間内に含まれる発言群の各発言時間の総和であるが、再生指示時刻Ｔstart ，再停止時刻Ｔstopの差異時間は考慮せず、発言番号205 の先頭から、発言番号209 の最後までであり、例えば３分２０秒である。発言者集合は、この例では、（田中，鈴木，佐藤）である。鈴木は３度の発言を行っているが、重複を除くので、１度しかカウントしない。
【０１５２】
発言遷移行列は、図２３の例では、発言者「鈴木」から「田中」に１回、発言者「田中」から「鈴木」に１回、発言者「鈴木」から「佐藤」に１回、発言者「佐藤」から「鈴木」に１回という行列になる。
【０１５３】
図２６および図２７は、再生意図を抽出する処理を説明するためのフローチャートである。
【０１５４】
ステップ711 とステップ712 とは、初期設定のための処理である。まず、ステップ711 で、再生区間特定処理によって変数ＩＤstart とＩＤstopに、それぞれ再生開始指示のあった発言の発言番号、再生終了指示のあった発言の発言番号が代入される。
【０１５５】
次のステップ712 では、各種の変数の初期値を設定している。変数timeは総発言時間の値を保持する。変数Listは発言者集合を保持するためのリストである。変数idには初期値として指示発言（開始発言）が設定される。変数transferは発言遷移行列を保持する変数である。初期値としては、会議参加者数ｎとした場合、ｎ×ｎのゼロ行列が設定される。
【０１５６】
ステップ713 では、再生停止発言の発言番号ＩＤstopに相当する発言構造テーブルのレコードを読込み、変数R1に代入する。次のステップ714 では、変数name-stop に、読み込んだ変数R1のレコード中の入力装置番号に相当する会議参加者名を、会議参加者テーブル４２から獲得して代入する。これは、停止発言者名に相当する。
【０１５７】
次のステップ715 では、発言構造テーブル４１中の、再生開始発言の１つ前の発言のレコードを読込み、それを変数R1に代入し、以後のステップ716 からステップ721 における繰り返し処理の準備を行う。ステップ716 〜ステップ721 までの処理は、再生区間内の各発言に対して繰り返し行われる再生意図抽出処理である。
【０１５８】
まず、ステップ716 において、変数idに示される再生開始発言の発言番号と一致するレコードを発言構造テーブル４１から読込み、それを変数R2に代入する。したがって、変数R1と変数R2とには、前後した発言に関するレコードが代入されていることになる。なお、以下の繰り返し処理の中での基本的な処理対象はR2である。
【０１５９】
ステップ717 では、変数R2のレコード中の発言番号が、停止発言ＩＤstopの発言番号よりも小さいか、すなわち再生区間内に存在するかを判定する。再生区間内に存在する場合には、ステップ718 ，ステップ719 ，ステップ720 において、再生意図に関わる属性の計算を行う。
【０１６０】
まず、ステップ718 では、総発言時間timeに、変数R2のレコード中の発言時間を加算する。総発言数の変数numberも、＋１、加算する。ステップ719 では、発言者集合に関する処理が行われる。変数nameとしては、変数R2のレコード中の入力装置番号に該当する会議参加者名を、会議者参加者テーブル４２から取り出す。これが現在処理中の発言の発言者名である。そして、この変数nameに示される発言者名が、発言者集合Listにすでに存在しているかが判定され、まだリストに存在していない場合には、発言者集合Listに、その変数nameの発言者名が追加される。
【０１６１】
ステップ720 では、発言遷移号列の処理が行われる。会議参加者数＝ｎのときのｎ×ｎ行列において、発言R2の前発言R1の入力装置番号を行番号とし、R2の入力装置番号を列番号とする要素の値に＋１加算する。これはR1からR2への発言の遷移があったことを意味している。
【０１６２】
ステップ721 では、次の繰り返しのための後処理が行われている。すなわち、変数idに＋１加算することで、次の発言を処理するための準備をおこなう。また、変数R2は次の処理ループにおいては前発言となり、変数R1に代入する。
【０１６３】
ステップ717 で変数idの発言番号が、発言区間内に存在しないと判断された場合には、ステップ722 に移行し、算出した意図属性から全体の再生意図を導出し、再生意図Ｉreplay（ＩＤstart ，name-stop ，number，time，List，transfer）を戻り値として返す。
【０１６４】
図２８は、発言構造の類似度の定義および表記方法を説明する図である。発言の類似度と同様、意図をＩ、類似度をＤＩと表記する。ＤＩは発言構造Ａ，Ｂの類似度とする。この場合も、類似度は、類似度が高いほど小さな値を持つものとする。
【０１６５】
発言構造の類似度は、図示の定義式のように定義される。すなわち、発言構造の類似度ＤＩa-struは、指示発言の類似度ＤＩartiと、発言構造の類似度ＤＩstruの総和として定義でき、
ＤＩa-stru＝α１×ＤＩarti＋α２×ＤＩstru …（３）
として表される。α１およびα２はそれぞれ重み係数である。
【０１６６】
指示発言の類似度はすでに定義済みであるので、ここでは、再生意図を構成する６つの属性のうち、指示発言を除く、他の５つの属性に関する類似度の定義について説明する。
【０１６７】
停止発言者名の類似度ＤＩstru（Ａ，Ｂ）（停止発言者名）は、発言構造Ａと発言構造Ｂのおのおのの発言区間において、最終の発言者名が同一であるかを判断するものである。停止発言者名が一致する場合には、０の値をとり、異なる場合はＤＩmax という大きな値を持つ。これは、指示発言の類似度と同様に、発言構造の類似度においては、停止発言者名が一致しなければ、類似度の値は限りなく大きくなり、類似していないと判断されることを意味している。
【０１６８】
総発言数の類似度ＤＩstru（Ａ，Ｂ）（総発言数）は、総発言数の差異の絶対値で定義される。
【０１６９】
同様に、総発言時間の類似度ＤＩstru（Ａ，Ｂ）（総発言時間）は、総発言時間の差異の絶対値で定義される。
【０１７０】
発言者集合の類似度ＤＩstru（Ａ，Ｂ）（発言者集合）は、発言構造Ａと発言構造Ｂの発言者集合の和において、集合内の要素でＡとＢで重複しない発言者の集合を算出する。類似度は、この算出された集合の要素数で定義され、発言者集合が一致しない発言者が多いほどその数値は大きくなる。
【０１７１】
発言遷移構造の類似度ＤＩstru（Ａ，Ｂ）（発言遷移行列）は、発言遷移行列の差異の絶対値を算出し、各要素の総和によって定義される。これは、発言者Ｘから発言者Ｙへの遷移というパターンの一致度がどのくらい存在するのかを表し、同一遷移パターンが多いほど、類似度の値は小さくなり、類似度は大きいと解釈する。
【０１７２】
発言構造の類似度は、次の定義式（４）に示すように、停止発言者名属性を条件部として、その他の各属性毎の類似度の重みづき合成関数として表現される。すなわち、発言構造の類似度ＤＩstruは、
(i) ＤＩstru（停止発言者名）＝０のときには、
ＤＩstru＝ｗ１×ＤＩstru（総発言数）＋ｗ２×ＤＩstru（総発言時間）＋ｗ３×ＤＩstru（発言者集合）＋ｗ４×ＤＩstru（Ａ，Ｂ）（発言遷移行列）
(ii)ＤＩstru（停止発言者名）＞０のときには、
ＤＩstru＝ＤＩmax …（４）
と定義される。なお、ｗ１，ｗ２，ｗ３，ｗ４は重み係数である。
【０１７３】
この式（４）に示されるように、発言構造の類似度に関し、停止発言者名属性の類似度は条件部であり、一致が必要条件になる。停止発言者名が一致しているときに、他の４つの属性の合成関数の合成関数として定義される。すなわち、発言構造が類似しているということは、指示発言が類似していることに加えて、停止発言者名が一致していることが必要条件であり、不一致の場合は類似度は無限大の値をとり、まったく類似していないことを意味するからである。
【０１７４】
総発言数、総発言時間、発言者集合、発言遷移行列の４つの属性の合成関数では、各々の類似度に、ｗ１，ｗ２，ｗ３，ｗ４という重みがつけられ、加算することにより類似度を算出する。
【０１７５】
図２９は、類似発言構造を検出するための処理を説明するフローチャートである。
【０１７６】
ステップ781 は初期設定を行うステップであり、類似発言構造の存在場所の値のリストを保持する変数Listに初期値（）を設定している。ステップ782 では、発言構造テーブル４１から１レコード読込み、変数R1に代入する。次のステップ783 では、変数R1がnil でなければ、すなわち処理すべきレコードが存在すれば、次のステップ784 において類似発言構造候補の区間の抽出を行う。次いで、ステップ785 の発言構造類似度算出処理を行う。
【０１７７】
そして、次のステップ786 では、算出された発言構造の類似度が、類似しているという一定の基準を満たしているかいなかを評価する発言構造類似度判定処理を行い、ステップ787 で類似していると判定された発言構造候補に該当するデータファイルの存在場所を検出する。ステップ783 において読込むべきレコードがなかった場合には処理を終了する。
【０１７８】
図３０は、発言構造の類似候補の発言区間を抽出するための処理を説明するフローチャートである。
【０１７９】
ステップ801 では、処理の初期値として、再生区間特定処理によって再生区間Ａと、再生意図抽出処理によって再生意図Ｉreplay（Ａ）（指示発言、停止発言者名、総発言数、総発言時間、発言者集合、発言遷移行列）を算出する。
【０１８０】
次のステップ802 では、検出した類似発言構造候補を代入する変数ＫListに空リスト()を代入する。ステップ803 では、現在処理中の発言構造テーブルのレコードR1の発言番号を抽出し、変数idに代入する。ステップ804 では、再生区間の開始発言である発言番号ＩＤstart の発言と、発言番号idの発言との類似度を算出し、その類似度が、ある一定の類似度ＤＩlimit よりも小さいか否かが判定される。開始発言の指示意図が類似していることは、発言構造が類似しているための必要条件である。従って、もし、類似度が一定の値よりも大きい、すなわち、類似していないと判定されたら、ステップ813 へ移り、戻り値としてＫListを返し、処理は終了する。
【０１８１】
ステップ804 で、再生区間の開始発言と、発言番号idの発言が類似していると判定された場合には、ステップ805 〜ステップ812 の処理で、発言構造の区間を特定する。
【０１８２】
すなわち、ステップ805 では、カウンタ変数ｎの初期値としてid＋１を代入する。これは、現在処理中の発言の次の発言から処理を行うことを意味している。また、停止発言者の処理に関するカウンタ変数ｍの初期値として１を設定し、変数Ｍには、停止発言者名に関する処理のループの最大回数として、再生区間内における停止発言者名の発言回数を設定する。これは、類似発言構造の区間を抽出する際、調査する区間の範囲を限定する一つの基準として、停止発言者の出現回数を用いたケースである。
【０１８３】
次のステップ806 においては、発言番号がｎのレコードを発言構造テーブル４１から読込み、それを変数R2に代入する。次のステップ807 においては、変数R2がnil かどうかを判定し、nil の場合、すなわち、読込むべきレコードがない場合には、適切な発言構造が抽出できなかったとして、ステップ813 に移り、変数ＫListを戻り値として返し、処理は終了する。
【０１８４】
ステップ807 において、変数R2がnil でないと判定されたときには、ステップ808 に移行する。ステップ808 では、変数ｍが停止発言者名に関するループの最大値を超えたかどうかが判断され、超えていた場合には、発言idに関する処理は終了し、ステップ813 で戻り値としてＫListを返し、処理は終了する。超えていなければ、ステップ809 に進む。
【０１８５】
ステップ809 においては、再生意図の停止発言者名属性の値と、変数R2の発言番号に相当する会議参加者名が一致しているかを判断する。一致しない場合には、ステップ811 においてカウンタ変数ｎに１を加算し、次の発言の処理を行うためにステップ806 へ移行する。一致している場合には、類似発言候補の区間が特定されたと判断し、ステップ810 に移行して、変数ＫListに、特定された類似発言候補の区間（id，ｎ）をＫListに追加する。そして、ステップ812 で停止発言者名に関する処理のカウンタ変数ｍに１を加えて、発言番号idの発言に関して次の発言構造を探索するための処理を継続する。
【０１８６】
図３１は、発言構造の類似度算出処理を説明するためのフローチャートである。まず、ステップ851 では、初期設定として類似発言構造区間抽出処理により、抽出した区間のリストをＫListに代入する。次いで、ステップ852 では、再生区間を変数Ａに設定する。
【０１８７】
ステップ853 からステップ858 は、ＫListの各要素毎に類似度を算出するための処理を行う。ステップ853 では、ＫListから類似発言構造候補である１つの区間（ＩＤstart ，ＩＤstop）を取り出し、変数Ｂに代入する。ステップ854 では、ＫList中のすべての発言構造についての処理が終了したのかを判断する。もし終了したら、ステップ859 に移る。
【０１８８】
ステップ854 で処理すべき再生区間が存在すると判定された場合には、ステップ855 で変数Ａの再生区間と、変数Ｂの再生区間のそれぞれ開始発言に関する指示意図の類似度を定義式にそって算出する。ついで、ステップ856 では、発言構造を規定する各属性毎の類似度を算出する。このとき、停止発言者名に関する類似度は区間抽出時に判定済みであり、ここでは、総発言数、総発言時間、総発言者集合、発言遷移行列の４つの属性について算出する。
【０１８９】
次のステップ857 では、定義式にそって、再生区間Ａと再生区間Ｂの発言構造の類似度を定義式にそって算出する。次のステップ858 では、開始発言の指示意図の類似度と、発言構造の類似度の両者を合わせた総合的な発言構造の類似度を算出し、類似度のリストを保持する変数ＤListに追加する。以降、ステップ853 に戻り、処理を繰り返す。
【０１９０】
最後に、ステップ859 で、類似発言候補のリストＫListと、類似度のリストＤListを戻り値として処理を終了する。
【０１９１】
図３２は、類似発言構造候補の類似度の判定を行い、該当する音声データファイルの場所を検出する処理を説明するためのフローチャートである。
【０１９２】
ステップ871 で、初期設定が行われ、類似度算出処理による戻り値である類似発言候補の区間のリストを変数ＫListに、再生意図との類似度の値のリストを変数ＤListに、それぞれ代入する。
【０１９３】
ステップ872 からステップ875 までは、リスト中の各要素に対して、類似度判定処理を行う。まずステップ872 において、ＤList，ＫListのリスト中からそれぞれ１つの要素を取り出し、変数Ｄ，変数Ｋに代入する。次のステップ873 では処理すべき要素が終了したか否かを判定する。終了した場合にはステップ876 に進む。ステップ876 では、類似発言構造の区間を保持する変数Listの値を戻り値として返し、処理を終了する。
【０１９４】
ステップ873 で、リスト中の要素の処理が終了していないと判定した場合には、ステップ874 で、類似度の値が、ある一定の制限値ＤＩlimit よりも小さいか否かを判定する。ある一定の類似度よりも小さな値の場合には、類似していると判定され、ステップ875 に進み、変数Ｄに該当する区間Ｋを、類似発言構造候補を保持するリストListに追加する。そして、ステップ872 に戻り、次の要素に関して処理を繰り返す。ステップ874 で、変数Ｄの値がＤＩlimit よりも大きい場合は、類似していないと判定し、ステップ872 に戻り、次の要素の処理に進む。
【０１９５】
図３３は、検出された類似発言構造候補の表示方法の一実施例を説明するための図である。
【０１９６】
901 は類似発言構造候補表示領域である。この領域901 は、全会議時間表示領域902 と、類似発言構造候補縮小図表示領域903 との２つの領域から構成される。類似発言構造が検出されると、全会議時間表示領域902 に、類似発言構造候補が存在する場所が、縦バー表示904 および905 のように示される。縦バー表示904 は、再生区間を示している。
【０１９７】
縦バー表示905 は、類似発言候補の存在場所を示す。全会議時間表示領域902 に、類似発言構造候補の存在場所が示されることで、類似発言候補が全体のどの部分に存在しているのかが一覧できる。
【０１９８】
類似発言構造候補縮小図表示領域903 は、複数の矩形領域から構成される。各矩形領域には、発言構造の縮小図が表示される。906 に表示された縮小図は904 再生区間に相当する発言構造である。矩形領域907 を始めとするその他の矩形領域には、縦バー表示905 を始めとする他の会議時間中に存在する類似発言構造候補に相当する発言構造の縮小図が、時系列順に表示されている。検索者は、表示された縮小図をマウス等ポインティングデバイスによりクリックすることにより、類次候補を選択し、再生することができる。
【０１９９】
なお、全会議時間表示領域902 において、その存在場所を示すだけではなく、矩形領域の表示色を変化させることで、類似度の大きさも情報として提示することもできる。また、ここでは類似発言候補に関して表示例を示したが、類似発言の表示方法に関しても、類似発言および前後の遷移発言構造を含めた部分に関して、同様の表示を行うことができる。
【０２００】
【発明の効果】
以上のように、請求項１〜請求項１１の発明による会議記録再生装置および方法によれば、検索者の検索意図を検索の指示入力行為および再生行為から自動的に抽出し、類似した発言および一連の発言群を検出し、表示画面上に視覚化して提示する。これにより、会議情報の検索者の検索意図と類似した構造を持つ発言が、検索者の付加的な入力なしに、自動的に抽出できる。さらに、検索者に類次発言候補を視覚的に提示することにより、その存在を知らしめることが可能となる。
【０２０１】
また、請求項１〜請求項１１の発明によれば、類似発言および類似発言構造候補を、検索者に提示することにより、会議情報の必要とする情報へとアクセスしたい検索者が、十分なアクセスのための手がかりがない状態でアクセスし、正しい場所にアクセスできなかった場合にも、検索意図に類似した他の候補が自動的に提示されることにより、効率的に、正しいアクセス場所へとたどり着くことが可能となる。
【０２０２】
逆に、あいまいな記憶にたよって、再生個所を正しいと誤って判断した場合にも、他に類似候補が存在することを検索者に示すことで、他にも正しいと考えられる候補が存在することを検索者が知ることができ、検索もれを減少させることができる。
【０２０３】
また、請求項９の発明によれば、類次候補の表示画面において、時系列的な全体の中の相対的な位置と、各類似候補の内容が把握できる詳細情報の縮小図の一覧表示を同時に表示することにより、相対的な位置情報と絶対的な内容に関する情報２つの情報を有機的に連結することができる。これにより、発言構造の認識力が向上し、検索者の検索行為を適切にナビゲートし、効率的に検索が可能となる。また、このような情報を参照しながら再生情報を聞く、または見ることにより、再生内容の理解も促進することができる。
【図面の簡単な説明】
【図１】この発明の一実施の形態の会議情報記録再生装置のシステム構成図を示すブロック図である。
【図２】この発明の一実施の形態の会議情報記録再生装置のファイル格納部に格納されるデータファイルについて説明する図である。
【図３】図２のファイル格納部の会議参加者テーブルのデータ構造を説明するための図である。
【図４】図２のファイル格納部の発言構造テーブルのデータ構造を説明するための図である。
【図５】発言者チャートの一例を示す図である。
【図６】検索者が再生したい発言を指示する方法を説明するための図である。
【図７】検索者の指示入力位置と発言者チャート表示領域における相対座標位置との関係を説明するための図である。
【図８】この発明の一実施の形態の会議情報記録再生装置において、類似発言候補を検出するための処理の概要を示すフローチャートである。
【図９】この発明の一実施の形態の会議情報記録再生装置において、発言特定処理を説明するためのフローチャートである。
【図１０】この発明の一実施の形態の会議情報記録再生装置において、指示意図を説明するための図である。
【図１１】この発明の一実施の形態の会議情報記録再生装置において、指示意図を抽出する処理を説明するためのフローチャートである。
【図１２】この発明の一実施の形態の会議情報記録再生装置において、発言の類似度の定義および表記方法を説明する図である。
【図１３】この発明の一実施の形態の会議情報記録再生装置において、類似発言を検出するための処理を説明するフローチャートである。
【図１４】この発明の一実施の形態の会議情報記録再生装置において、発言類似度算出処理を説明するためのフローチャートである。
【図１５】この発明の一実施の形態の会議情報記録再生装置において、発言類似度判定処理を説明するためのフローチャートである。
【図１６】この発明の一実施の形態の会議情報記録再生装置において、発言類似候補に相当するデータファイルの場所を検出する処理を説明するためのフローチャートである。
【図１７】この発明の一実施の形態の会議情報記録再生装置において、検索者意図抽出部の詳細を説明するためのブロック図である。
【図１８】この発明の一実施の形態の会議情報記録再生装置において、類似候補検出部の詳細を説明するためのブロック図である。
【図１９】この発明の一実施の形態の会議情報記録再生装置において、発言者チャートにおける再生区間について説明するための図である。
【図２０】この発明の一実施の形態の会議情報記録再生装置において、類似発言構造候補を検出するための処理を説明するためのフローチャートである。
【図２１】この発明の一実施の形態の会議情報記録再生装置において、再生区間を特定する処理を説明するためのフローチャートである。
【図２２】この発明の一実施の形態の会議情報記録再生装置において、類似度の判定方式を選択するための処理を説明するフローチャートである。
【図２３】この発明の一実施の形態の会議情報記録再生装置において、再生意図を説明するための図である。
【図２４】この発明の一実施の形態の会議情報記録再生装置において、再生意図を説明するための図である。
【図２５】この発明の一実施の形態の会議情報記録再生装置において、再生意図を説明するための図である。
【図２６】この発明の一実施の形態の会議情報記録再生装置において、再生意図を抽出する処理を説明するためのフローチャートの一部を示す図である。
【図２７】この発明の一実施の形態の会議情報記録再生装置において、再生意図を抽出する処理を説明するためのフローチャートの一部を示す図である。
【図２８】この発明の一実施の形態の会議情報記録再生装置において、発言構造の類似度の定義および表記方法を説明する図である。
【図２９】この発明の一実施の形態の会議情報記録再生装置において、類似発言構造を検出するための処理を説明するフローチャートである。
【図３０】この発明の一実施の形態の会議情報記録再生装置において、発言構造の類似候補の発言区間を抽出するための処理を説明するフローチャートである。
【図３１】この発明の一実施の形態の会議情報記録再生装置において、発言構造の類似度算出処理を説明するためのフローチャートである。
【図３２】この発明の一実施の形態の会議情報記録再生装置において、類似発言構造候補の類似度の判定を行い、該当する音声データファイルの場所を検出する処理を説明するためのフローチャートである。
【図３３】この発明の一実施の形態の会議情報記録再生装置において、検出された類似発言構造候補の表示方法の一実施例を説明するための図である。
【符号の説明】
１ａ 音声入力装置
２ Ａ／Ｄ変換装置
４ ファイル格納部
５ 発言者チャート生成制御部
６ 発話データ抽出部
７ タイマー
８ 発言構造テーブル生成部
９ 発言者チャート生成部
１０ 発言者チャート表示部
１１ 表示装置
１２ 指示入力装置
１３ 映像再生装置
１４ 音声再生装置
１５ 発言者チャート検索制御部
１６ 発言特定部
１７ 検索者意図抽出部
１８ 類似候補検出部
１９ 類似候補表示部
Claims (11)
- 複数人の会議参加者が会議を行う際の音声データを記録する記録手段と、
前記音声データから、前記複数人の会議参加者による発言を抽出して発言構造を示す情報を記憶するとともに、前記発言に関連する複数の属性情報を記憶する発言構造情報記憶手段と、
前記発言構造を視覚化するための視覚化情報を生成する視覚化情報生成手段と、
前記視覚化情報に基づいて前記発言構造を表示装置にて視覚化させる発言構造表示手段と、
前記発言構造表示手段により前記表示装置上に視覚化された発言構造中において指示入力を行うための指示入力手段と、
前記指示入力手段で指示された位置または部分に該当する音声データを再生する再生手段と、
前記指示入力手段で指示された位置または部分に対応する前記複数の属性情報を、前記発言構造記憶手段から、検索者の指示操作の意図として取得する意図取得手段と、
前記意図取得手段で取得された前記複数の属性情報と、前記発言構造情報記憶手段に記憶されている各発言に関連する複数の属性情報との類似度を算出して、前記検索者の指示操作の意図と類似した意図を持つと判定される音声データ区間を検出する類似候補検出手段と、
前記類似候補検出手段で検出された類似候補を表示装置上に視覚化するための類似候補表示手段と、
を具備することを特徴とする会議情報記録再生装置。 - 会議情報の音声データを入力するために会議参加者のそれぞれに設けられる音声入力装置と、
前記音声データを格納する第１の記憶手段と、
前記音声データから発言を抽出する発話データ抽出手段と、
前記抽出した発言のデータと、前記発言に関連する複数の属性情報と、タイマーとから発言構造テーブルを生成する発言構造テーブル生成手段と、
前記発言構造テーブルを格納する第２の記憶手段と、
前記音声入力装置と前記会議参加者との対応関係を保持する会議参加者テーブルを格納する第３の記憶手段と、
前記発言構造テーブルを表示装置上に視覚化するための発言者チャートを生成する発言者チャート生成手段と、
前記発言者チャート生成手段で生成された前記発言者チャートを前記表示装置上に表示する発言者チャート表示手段と、
前記発言者チャート上で、検索者が再生を意図する任意の発言を指示するための指示入力手段と、
前記指示入力手段によって指示された発言を特定する発言特定手段と、
前記発言特定手段で特定された発言の音声データを再生する再生手段と、
前記特定された発言に関する前記検索者の指示意図として、前記特定された前記発言に関連する複数の属性情報を、前記第２の記憶手段から取得する意図取得手段と、
前記意図取得手段で取得された前記複数の属性情報と、前記第２の記憶手段に記憶されている各発言に関連する複数の属性情報との類似度を算出して、前記検索者の再生指示操作の意図と類似した意図を持つと判定される類似発言候補を検出する類似発言検出手段と、
前記類似発言検出手段で検出された類似発言候補を表示装置上に視覚化するための類似発言候補表示手段と
を具備することを特徴とする会議情報記録再生装置。 - 請求項２に記載の会議情報記録再生装置において、
前記意図取得手段では、前記指示された発言に関する、発言者名、発言時間、前発言者名、後発言者名の４つの属性情報を、前記検索者の意図として取得することを特徴とする会議情報記録再生装置。 - 請求項２に記載の会議情報記録再生装置において、
前記類似発言検出手段は、
前記指示意図抽出手段において抽出された指示入力された発言の意図と、前記発言構造テーブル中の他の発言との類似度を、前記複数個の属性情報の合成関数により算出する発言類似度算出手段と、
前記発言類似度算出手段で算出された前記類似度が、予め定めた値以上の類似度を持つか否かを判定する発言類似度判定手段と、
を有し、前記発言類似度判定手段の判定結果に基づいて、前記類似発言候補を検出することを特徴とする会議情報記録再生装置。 - 請求項２に記載の会議情報記録再生装置において、
前記指示入力手段によって、前記検索者が再生区間の指示が可能であり、
前記意図取得手段では、
前記検索者の再生行為を監視する再生操作監視手段を持ち、
再生された音声データ区間の一連の発言群に関わる前記属性情報を、検索者の再生意図として取得する再生意図取得手段を備える
ことを特徴とする会議情報記録再生装置。 - 請求項５に記載の会議情報記録再生装置において、
前記再生意図取得手段で用いる前記属性情報は、前記再生された音声データ区間の一連の発言群の再生開始発言に関する発言者名、発言時間、前発言者名、後発言者名の４つの属性情報と、停止発言者名と、総発言数と、総発言時間と、発言者集合と、発言遷移行列であることを特徴とする会議情報記録再生装置。 - 請求項５に記載の会議情報記録再生装置において、
前記類似発言検出手段では、
前記再生意図取得手段からの前記複数の属性情報を用いて、前記発言構造テーブル中の他の一連の発言群に関して、発言構造の類似度を算出する発言構造類似度算出手段と、
前記発言構造類似度算出手段で算出された前記発言構造の類似度が、予め定めた値以上の類似度を持つか否かを判定する発言構造類似度判定手段と、
を有し、前記発言構造類似度判定手段の判定結果に基づいて、前記類似発言構造候補を検出することを特徴とする会議情報記録再生装置。 - 請求項５の会議情報記録再生装置において、
前記類似発言検出手段は、
再生された発言の状況に応じて、類似発言検出手段と類似発言構造検出手段を自動的に選択する類似度判定方式選択手段を有することを特徴とする会議情報記録再生装置。 - 請求項２の会議情報記録再生装置において、
前記類似発言候補表示手段は、
会議時間の情報を時系列的に可視化する全会議時間表示領域と、複数個の発言構造の縮小図を表示する類似候補縮小図表示領域との２つの表示領域を持ち、
前記全会議時間表示領域に、前記検索者の前記指示入力装置からの入力指示により定まる再生区間およびその再生区間の類次候補の存在区間を前記時系列上に部分表示領域として表示する手段と、
前記類似候補縮小図表示領域には、前記全会議時間表示領域に表示された部分表示領域の区間の発言構造を縮小した類似候補縮小図を、前記部分表示領域の数だけ一覧表示する一覧表示手段と、
を備え、
さらに、前記一覧表示された複数個の前記類似候補縮小図のうちの一つが、前記検索者により選択指示されたことを検知して、前記選択指示された区間の音声データを再生する手段と、
を備えることを特徴とする会議情報記録再生装置。 - 記録手段と、発言構造記憶手段と、視覚化情報生成手段と、発言構造表示手段と、指示入力手段と、再生手段と、意図取得手段と、類似候補検出手段と、類似候補表示手段とを具備する会議情報記録再生装置が行う会議情報記録再生方法であって、
前記記録手段が、複数人の会議参加者が会議を行う際の音声データを記録する記録工程と、
前記発言構造記憶手段が、前記音声データから、前記複数人の会議参加者による発言を抽出して発言構造を示す情報を記憶するとともに、前記発言に関連する複数の属性情報を記憶部に記憶する発言構造情報記憶工程と、
前記視覚化情報生成手段が、前記発言構造抽出工程で抽出された前記発言構造を視覚化するための視覚化情報を生成する視覚化情報生成工程と、
前記発言構造表示手段が、前記視覚化情報生成工程で生成された前記視覚化情報に基づいて前記発言構造を表示装置に表示する表示工程と、
前記指示入力検出手段が、前記表示装置上に表示された発言構造中において指示入力手段を通じて入力された指示入力を検出する指示入力検出工程と、
前記再生手段が、前記指示入力検出工程で検出された前記指示入力手段によって指示された位置または部分に該当する音声データを、前記記録された音声データから再生する再生工程と、
前記意図取得手段が、前記指示入力検出工程で検出された前記指示入力に基づいて、前記指示入力手段で指示された位置または部分に対応する発言に関連する前記複数の属性情報を、前記記憶部から、検索者の指示操作の意図として取得する意図取得工程と、
前記類似候補検出手段が、前記意図取得工程で取得された前記複数の属性情報と、前記記憶部に記憶されている各発言に関連する複数の属性情報との類似度を算出して、前記検索者の指示操作の意図と類似した意図を持つと判定される音声データ区間を検出する類似候補検出工程と、
前記類似候補表示手段が、前記類似候補検出工程で検出された類似候補を前記表示装置上に視覚化する類似候補表示工程と、
を具備することを特徴とする会議情報記録再生方法。 - 第１および第２の記録手段と、発話データ抽出手段と、発言構造テーブル生成手段と、発言者チャート生成手段と、発言者チャート表示手段と、指示入力手段と、発言特定手段と、再生手段と、意図取得手段と、類似発言検出手段と、類似発言候補表示手段とを具備する会議情報記録再生装置が行う会議情報記録再生方法であって、
前記第１の記録手段が、会議参加者のそれぞれに設けられる音声入力装置からの音声データを第１の記憶部に記録する第１の記録工程と、
前記発話データ抽出手段が、前記音声入力装置からの音声データから発言を抽出する発話データ抽出工程と、
前記発言構造テーブル生成手段が、前記発話データ抽出工程で抽出された発言のデータと、前記発言に関連する複数の属性情報と、タイマーとから発言構造テーブルを生成する発言構造テーブル生成工程と、
前記第２の記録手段が、前記発言構造テーブル生成工程で生成された前記発言構造テーブルを第２の記憶部に記録する第２の記録工程と、
前記発言者チャート生成手段が、前記発言構造テーブルを表示装置上に視覚化するための発言者チャートを生成する発言者チャート生成工程と、
前記発言者チャート表示手段が、前記発言者チャート生成工程で生成された前記発言者チャートを前記表示装置上に表示する発言者チャート表示工程と、
前記発言特定手段が、前記発言者チャート表示工程により表示された前記発言者チャート上で、指示入力手段により指示された発言を特定する発言特定工程と、
前記再生手段が、前記発言特定工程で特定された発言の音声データを、前記第１の記憶部に記録された音声データから再生する再生工程と、
前記意図取得手段が、前記発言特定工程で特定された発言に関する前記検索者の指示意図として、前記特定された前記発言に関連する複数の属性情報を、前記第２の記憶手段から取得する意図取得工程と、
前記類似発言検出手段と、前記意図取得工程で取得された前記複数の属性情報と、前記第２の記憶部に記憶されている各発言に関連する複数の属性情報との類似度を算出して、前記検索者の再生指示操作の意図と類似した意図を持つと判定される類似発言候補を検出する類似発言検出工程と、
前記類似発言候補表示手段が、前記類似発言検出工程で検出された類似発言候補を表示装置上に視覚化するようにする類似発言候補表示工程と
を具備することを特徴とする会議情報記録再生方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21029197A JP3879786B2 (ja) | 1997-08-05 | 1997-08-05 | 会議情報記録再生装置および会議情報記録再生方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21029197A JP3879786B2 (ja) | 1997-08-05 | 1997-08-05 | 会議情報記録再生装置および会議情報記録再生方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1153385A JPH1153385A (ja) | 1999-02-26 |
| JP3879786B2 true JP3879786B2 (ja) | 2007-02-14 |
Family
ID=16586976
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21029197A Expired - Fee Related JP3879786B2 (ja) | 1997-08-05 | 1997-08-05 | 会議情報記録再生装置および会議情報記録再生方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3879786B2 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002251393A (ja) * | 2001-02-22 | 2002-09-06 | Ricoh Co Ltd | 記録装置、記録方法、プログラムおよび記録媒体並びに記録再生システム |
| JP2005250317A (ja) * | 2004-03-08 | 2005-09-15 | Fuji Xerox Co Ltd | 情報処理装置 |
| JP2007027918A (ja) * | 2005-07-13 | 2007-02-01 | Sharp Corp | 実世界コミュニケーション管理装置 |
| JP2007256498A (ja) * | 2006-03-22 | 2007-10-04 | Yamaha Corp | 音声状況データ生成装置、音声状況可視化装置、音声状況データ編集装置、音声データ再生装置、および音声通信システム |
| JP4962783B2 (ja) * | 2007-08-31 | 2012-06-27 | ソニー株式会社 | 情報処理装置および情報処理方法、並びにプログラム |
| JP5521414B2 (ja) * | 2009-07-08 | 2014-06-11 | 株式会社ナカヨ通信機 | 録音装置 |
| JP5573402B2 (ja) * | 2010-06-21 | 2014-08-20 | 株式会社リコー | 会議支援装置、会議支援方法、会議支援プログラムおよび記録媒体 |
| JP5849819B2 (ja) * | 2012-03-28 | 2016-02-03 | 富士通株式会社 | 音声データ検索装置、音声データ検索方法および音声データ検索プログラム |
| US10089061B2 (en) | 2015-08-28 | 2018-10-02 | Kabushiki Kaisha Toshiba | Electronic device and method |
| US20170075652A1 (en) | 2015-09-14 | 2017-03-16 | Kabushiki Kaisha Toshiba | Electronic device and method |
| CN106921842B (zh) * | 2015-12-28 | 2019-10-01 | 南宁富桂精密工业有限公司 | 录影播放系统及方法 |
| JP6672399B2 (ja) * | 2018-08-13 | 2020-03-25 | Ｄｙｎａｂｏｏｋ株式会社 | 電子機器 |
| JP7172299B2 (ja) * | 2018-08-31 | 2022-11-16 | 沖電気工業株式会社 | 情報処理装置、情報処理方法、プログラムおよび情報処理システム |
| JP7279928B2 (ja) * | 2019-03-14 | 2023-05-23 | ハイラブル株式会社 | 議論分析装置及び議論分析方法 |
-
1997
- 1997-08-05 JP JP21029197A patent/JP3879786B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1153385A (ja) | 1999-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3879786B2 (ja) | 会議情報記録再生装置および会議情報記録再生方法 | |
| Tucker et al. | Accessing multimodal meeting data: Systems, problems and possibilities | |
| JPH08249348A (ja) | 映像検索方法および装置 | |
| JP3185505B2 (ja) | 会議録作成支援装置 | |
| US7110592B2 (en) | Image recording apparatus, image reproducing apparatus and methods therefor | |
| US9167189B2 (en) | Automated content detection, analysis, visual synthesis and repurposing | |
| US6799180B1 (en) | Method of processing signals and apparatus for signal processing | |
| US20060288273A1 (en) | Event-driven annotation techniques | |
| KR20180107147A (ko) | 다변수 서치용 사용자 인터페이스 | |
| CN110335625A (zh) | 背景音乐的提示及识别方法、装置、设备以及介质 | |
| JP2005267279A (ja) | 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム | |
| CN105045828B (zh) | 一种音视频语音信息精确定位的检索系统及方法 | |
| JP3736597B2 (ja) | 発言構造情報提示装置および発言構造情報提示方法 | |
| JP2001092838A (ja) | マルチメディア情報収集管理装置およびプログラムを格納した記憶媒体 | |
| US9098503B1 (en) | Subselection of portions of an image review sequence using spatial or other selectors | |
| JPH06205151A (ja) | 電子会議システム | |
| Bouamrane et al. | Meeting browsing: State-of-the-art review | |
| JP3372096B2 (ja) | 画像情報アクセス装置 | |
| EP0597798A1 (en) | Method and system for utilizing audible search patterns within a multimedia presentation | |
| JP3879793B2 (ja) | 発言構造検出表示装置 | |
| JP2001306579A (ja) | 情報検索装置、情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JPH06309381A (ja) | 動画像処理装置 | |
| JP2015109612A (ja) | 画像音声再生システム及び画像音声再生方法とプログラム | |
| JP2006228059A (ja) | ポインタの位置情報を利用するプレゼンテーションコンテンツ検索システムおよびその方法、ならびにコンピュータ読み取り可能な記録媒体 | |
| JP2009283020A (ja) | 記録装置、再生装置、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060517 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060629 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061018 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061031 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101117 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111117 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111117 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121117 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121117 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131117 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |