WO2018173252A1 - 重要単語抽出装置、及び関連会議抽出システム - Google Patents

重要単語抽出装置、及び関連会議抽出システム Download PDF

Info

Publication number
WO2018173252A1
WO2018173252A1 PCT/JP2017/011995 JP2017011995W WO2018173252A1 WO 2018173252 A1 WO2018173252 A1 WO 2018173252A1 JP 2017011995 W JP2017011995 W JP 2017011995W WO 2018173252 A1 WO2018173252 A1 WO 2018173252A1
Authority
WO
WIPO (PCT)
Prior art keywords
word
information
words
conference
importance
Prior art date
Application number
PCT/JP2017/011995
Other languages
English (en)
French (fr)
Inventor
訓史 鵜飼
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Priority to JP2019506885A priority Critical patent/JP6737398B2/ja
Priority to PCT/JP2017/011995 priority patent/WO2018173252A1/ja
Publication of WO2018173252A1 publication Critical patent/WO2018173252A1/ja
Priority to US16/573,142 priority patent/US11355099B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/216Parsing using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/268Morphological analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

重要単語を抽出する装置において、その抽出精度の向上を図る。本開示にかかる重要単語抽出装置は、受信した音声情報を文章データに変換する音声認識部と、前記文章データを複数の単語を含む単語の列に変換する形態素解析部と、前記複数の単語の出現頻度を算出する頻度解析部と、前記複数の単語の中から、キーワードデータベースに含まれるキーワードを抽出し、前記キーワードが発せられたタイミングと前記複数の単語のそれぞれが発せられたタイミングとに基づいて、重み付け対象単語に関する重み付け対象単語情報を取得し、前記出現頻度と、前記重み付け対象単語情報とに基づき、前記複数の単語の重要度を算出する重要度算出部と、を含む。

Description

重要単語抽出装置、及び関連会議抽出システム
 本発明は、重要単語抽出装置、及び関連会議抽出システムに関する。
 下記特許文献1には、録音された会話を音声認識して、出現頻度の高い単語を重要単語として抽出し、抽出された重要単語の一致度等を用いて、それ以前に行われた複数の会議の内、関連度の高い会議を抽出し表示する装置が開示されている。
特開2014-229075号公報
 従来の装置では、出現頻度のみを用いて重要単語を抽出しているため、必ずしも重要度の高い単語が抽出されているとは限らなかった。
 本発明は、上記問題点に鑑みてなされたものであり、その目的は、重要単語を抽出する装置において、その抽出精度の向上を図ることである。
 (1)本開示に係る重要単語抽出装置は、受信した音声情報を文章データに変換する音声認識部と、前記文章データを複数の単語を含む単語の列に変換する形態素解析部と、前記複数の単語の出現頻度を算出する頻度解析部と、前記複数の単語の中から、キーワードデータベースに含まれるキーワードを抽出し、前記キーワードが発せられたタイミングと前記複数の単語のそれぞれが発せられたタイミングとに基づいて、重み付け対象単語に関する重み付け対象単語情報を取得し、前記出現頻度と、前記重み付け対象単語情報とに基づき、前記複数の単語の重要度を算出する重要度算出部と、を含む。
 (2)本開示に係る重要単語抽出装置は、受信した音声情報を文章データに変換し、前記文章データを複数の単語を含む単語の列に変換し、前記複数の単語の出現頻度を算出し、前記複数の単語の中から、キーワードデータベースに含まれるキーワードを抽出し、前記キーワードが発せられたタイミングと前記複数の単語のそれぞれが発せられたタイミングとに基づいて、重み付け対象単語に関する重み付け対象単語情報を取得し、前記出現頻度と、前記重み付け対象単語情報とに基づき、前記複数の単語の重要度を算出するための、保存された指示を実行する少なくとも一つのプロセッサーを含む。
 (3)本開示の関連会議抽出システムは、上記(1)の重要単語抽出装置と、関連会議情報データベースに含まれる複数の過去の会議情報の中から、前記複数の単語の重要度に基づき、関連度の高い会議の前記会議情報を抽出する関連会議抽出部と、を含む。
図1は第1の実施形態に係る重要単語抽出装置のブロック図である。 図2は第1の実施形態に係る重要単語抽出装置の制御方法を示すフローチャートである。 図3は第1の実施形態に係る重要単語抽出装置を用いた会議風景を示す模式的な上面図である。 図4は第1の実施形態に係る重要単語抽出装置における肯定単語発言者数と重み付け係数との関係を表す参照表である。 図5は第1の実施形態に係る重要単語抽出装置における会議開催時からの経過時間に対する肯定単語出現回数を示すグラフである。 図6は第1の実施形態に係る重要単語抽出装置が生成する重要単語表示画像を示す概念図である。 図7は第1の実施形態に係る重要単語抽出装置が生成する重要単語表示画像を含むスケジューラーを示す概念図である。 図8は第1の実施形態に係る関連会議抽出システムのブロック図である。 図9は第1の実施形態に係る重要単語抽出装置に含まれる類義語データベースを示す概念図である。 図10は第1の実施形態に係る関連会議抽出システムの制御方法を示すフローチャートである。 図11は第1の実施形態に係る関連会議抽出システムが生成する関連会議表示画像を示す概念図である。
[第1の実施形態]
 第1の実施形態について、図面を用いて以下に説明する。
[重要単語抽出装置100]
 図1は、本実施形態に係る重要単語抽出装置100のブロック図である。重要単語抽出装置100は、例えば会議におけるユーザーの発言から、重要単語を抽出するシステムである。本実施形態において、重要単語抽出装置100は制御部10と記憶部40とを有している。制御部10は、重要単語抽出装置100の外部に接続された収音機器30、表示機器60と接続されている。
 なお、重要単語抽出装置100と収音機器30との接続、及び重要単語抽出装置100と表示機器60との接続は有線、無線を問わない。また、本実施形態においては、収音機器30、及び表示機器60を重要単語抽出装置100に接続される外部機器として位置づけているが、重要単語抽出装置100の内蔵機器として設ける構成としてもかまわない。
 重要単語抽出装置100の制御部10は、記憶部40に保存されたプログラム42に基づいて、後述する音声認識ステップS1、形態素解析ステップS2、頻度解析ステップS3、話者位置推定ステップS4、重要度算出ステップS5、表示画像生成ステップS6などを実行するコンピュータである。当該プログラム42は、光学的、磁気的等の種類を問わず、様々な記録媒体からインストールされてよく、インターネットを介してダウンロードされてもよい。
[収音機器30]
 収音機器30は、重要単語抽出装置100の制御部10に有線、又は無線により接続されており、マイクを含む。マイクの数は特に限定されないが、本実施形態においては、収音機器30がN個の指向性マイクを有し、N個の指向性マイクが360/N度ごとの異なる方向に最高感度の方向が向くように配置され、各指向性マイクが音声を収音することが可能な構成を例として説明する。収音機器30は、ユーザーが発した音声を収音するとともに、当該音声に関する情報を制御部10に送信する。なお、収音機器30から重要単語抽出装置100への音声情報の送信は、直接送信でもよく、サーバーなどを介した間接送信でもよい。
[記憶部40]
 記憶部40は、例えばHDD(Hard Disc Drive)として実現される。記録媒体としては、フラッシュメモリ等の固体メモリ、固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、記憶部40としては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。
 記憶部40には、制御部10が重要単語抽出装置100全体の制御に使用するプログラム42の他、文法データベース41、品詞データベース43、類義語データベース44、及びキーワードデータベース45が保存されている。本実施形態においては、キーワードデータベース45が、後述する肯定単語をキーワードとして保存する例を説明する。
[制御部10]
 制御部10はプロセッサーとメモリを含む。制御部10は、音声認識部11、形態素解析部12、頻度解析部13、話者位置推定部14、重要度算出部15、表示画像生成部16などを有しており、記憶部40に保存されたプログラム42を用いて、音声認識部11、形態素解析部12、頻度解析部13、話者位置推定部14、重要度算出部15、表示画像生成部16、及び記憶部40の動作を制御する。
[音声認識部11]
 音声認識部11は、収音機器30から送信された音声情報を受信し、当該音声情報をテキスト形式などの文章データに変換する。音声認識部11は、文章データを形態素解析部12に送信する。
[形態素解析部12]
 形態素解析部12は、記憶部40に含まれる文法データベース41や品詞データベース43に保存された情報に基づき、音声認識部11から受け取った文章データを、複数の形態素に分割し、各形態素の品詞等を判別する。形態素解析部12は、形態素の品詞判別結果から、文章データを複数の単語を含む単語の列に変換し、頻度解析部13、及び重要度算出部15に送信する。
 なお、この単語の列は、会議開始からの経過時間順に配列されているため、時刻情報を含んでいるといえる。
[頻度解析部13]
 頻度解析部13は、形態素解析部12から受信した単語の列を解析し、各単語の出現頻度を算出する。即ち、ある会議におけるユーザーの発言内容において、各単語がそれぞれ何度含まれていたかを算出する。頻度解析部13は、各単語の出現頻度情報を重要度算出部15に送信する。
 なお、本実施形態においては、頻度解析部13は、記憶部40に含まれる類義語データベース44を用いて、会議において発言されたある単語と、この単語の同義語を同一視し、当該単語の出現頻度と、同義語の出現頻度との和を、当該単語の出現頻度として算出する。
 本実施形態において、類義語データベース44は、例えば図9に示すように、特定の単語に対する同義語、類義語の情報を含んでおり、特定の単語に対する同義語、類義語の類似度を0%から100%の値で表示している。類似度が100%の場合は、特定の単語と同一視しても構わない同義語であることを意味する。従って、特定の単語の出現頻度に、同義語の出現頻度を加算し、これを特定の単語群の出現頻度とする。なお、特定の単語に対する類似度が100%でない類義語の出現頻度についても、特定の単語群の出現頻度として加算する構成としてもよく、あるいは、類義語の出現頻度に類似度を掛け合わせた値を、特定の単語群の出現頻度に加算する構成としてもよい。
 このような構成とすることにより、実質的に同じ意味で用いられている複数の単語の出現頻度が、それぞれ分散して算出されてしまうことを抑制することができる。その結果として、複数の同義語を持つ単語が、重要単語であるにもかかわらず、重要度が低く算出されてしまう可能性を抑制することができる。
[話者位置推定部14]
 話者位置推定部14は、収音機器30から受信したユーザーの音声情報に基づき、各ユーザーの発話位置を推定する。本実施形態においては、上述したとおり、収音機器30がN個の指向性マイクを有し、N個の指向性マイクが360/N度ごとに配置されており、話者位置推定部14は、このN個の指向性マイクから音声情報を受信する。
 指向性マイクとしては、例えば、振動板の後ろ側に音の通り道として穴や溝を設けておき、振動板の後ろ側で発せられた音声が、この穴や溝から入って振動板の裏側に届く間接音と、振動板の表側に届く直接音となり、これら間接音と直接音とが相殺されることで、電気出力とならない構成のものを採用する。
 N個の指向性マイクからの音声情報を受信した話者位置推定部14は、N個の指向性マイクからの音声情報をN次元ベクトルとして記録し、N個の指向性マイクに到達する音声の音量比を検出する。そして、話者位置推定部14は、一定時間の会話につきK-means法などを用いて音量比についてのクラスタリングを行うことにより、各ユーザーの発話位置を推定し、話者位置推定情報を生成する。話者位置推定情報には、話者であるユーザーの発話位置に関する情報と、そのユーザーの人数に関する情報が含まれている。話者位置推定部14は、この話者位置推定情報を重要度算出部15に送信する。
 なお、話者位置推定部14が推定するユーザーの発話位置に関する情報、及び話者位置推定部14から重要度算出部15に送信される話者位置推定情報に含まれるユーザーの発話位置に関する情報は、ユーザーの具体的な位置を示す情報までを含んでいる必要はない。ユーザーの発話位置に関する情報は、話者であるユーザーの人数に関する情報を導き出すことができ、且つ各音声の発言がどのユーザーによるものなのかを推定することができる程度の情報であっても構わない。
 更に、本実施形態においては、話者位置推定部14が、話者位置推定情報に時刻情報を付加しておき、後述する重要度算出部15において、各単語と話者位置推定情報との対応付けを行うことを可能としている。
[重要度算出部15]
 重要度算出部15は、頻度解析部13から送信された各単語の出現頻度情報と、形態素解析部12から送信された単語の列に含まれる後述するキーワードとしての肯定単語と、話者位置推定部14から送信された話者位置推定情報を用いて、各単語の重要度を算出する。以下、重要度算出部15による各単語の重要度の算出方法について、より具体的に説明する。
 まず、重要度算出部15は、頻度解析部13から受信した各単語の出現頻度情報を用いて、各単語の重要度を算出する。出現頻度が高ければ高いほど、その単語が重要である可能性が高いため、出現頻度が高い単語の重要度が高くなる算出方法を採用する。本実施形態においては、例えば、ある単語の出現回数そのものを重要度として算出する方法を採用する。
 続いて、重要度算出部15は、形態素解析部12から受信した単語の列に含まれるキーワードとしての肯定単語と、これに関わる重要単語を抽出する。肯定単語とは、例えば「おー」、「いいね」、「なるほど」など、その単語の直前に発された単語に対して肯定的な意味を持つ単語である。重要度算出部15に肯定単語として認識させるべき単語は、記憶部40におけるキーワードデータベース45に予め保存されている。なお、本実施形態においては、肯定単語をキーワードとしているが、その他の単語をキーワードとしてキーワードデータベース45に保存する構成としてもよい。
 重要度算出部15は、形態素解析部12から送信される単語の列から肯定単語を見つけると、前記肯定単語が発せられたタイミングと、単語の列に含まれる複数の単語のそれぞれが発せられたタイミングとに基づいて、重み付け対象単語を抽出し、当該単語の重要度に重み付けを行う。例えば、肯定単語が発せられた時点から遡って、所定の時間内に発せられた単語を重み付け対象単語とし、当該単語の出現回数に所定の係数を乗じることにより、その単語の重要度に重み付けを行う。このように、重要度算出部15は、形態素解析部12から送信される単語の列を分析することにより、肯定単語が発せられた時点から所定の時間前に発せられた重み付け対象単語を特定する情報、即ち重み付け対象単語情報を取得する。なお、肯定単語が発せられた時点から遡って、所定の単語数内に発せられた単語を重み付け対象単語とする方法としてもよい。
 また、本実施形態においては、重要度算出部15は、話者位置推定部14から受信した話者位置推定情報を用いて、上述した肯定単語を発したユーザーの人数を算出する。上述したとおり、話者位置推定情報には時刻情報が付加されているため、重要度算出部15は、この話者位置推定情報と、形態素解析部12から送信された単語の列とを対応付けることができる。即ち、重要度算出部15は、形態素解析部12から送信された単語の列の中から肯定単語を抽出するとともに、当該肯定単語を何人の話者が発したのかを把握することができる。
 重要度算出部15が、肯定単語を何人の話者が発したのかを把握すると、当該肯定単語が発せられた時点から所定時間前に発せられた単語の重要度を算出する。その際、重要度算出部15は、当該単語の出現回数に乗じる重み付け係数の値を、肯定単語を発したユーザーの人数に応じて決定する。即ち、重要度算出部15は、肯定単語を発したユーザーの人数が多ければ、大きな重みづけ係数を採用し、人数が少なければ、小さな重み付け係数を採用する。なお、肯定単語を発したユーザーの人数が少なかったとしても、採用する重み付け係数は1よりも大きな値としておく。
 更に、本実施形態においては、特定方向から肯定単語が発せられた場合には、重要度算出部15が、その肯定単語が発せられた時点から所定時間前に発せられた単語の重要度の算出において、より大きな重み付けを行う構成としてもよい。例えば、組織責任者が座る位置が常時特定位置である場合には、当該組織責任者の着席位置から肯定単語が発せられた時点から所定時間前に発せられた単語の重要度算出において、より高い重み付け係数を採用する構成としてよい。
 更に、本実施形態においては、重要度算出部15が、形態素解析部12から受信した単語の列から、「会議の雰囲気向上への寄与率が高い単語」を抽出し、更なる重み付けを行うことも可能である。具体的には、重要度算出部15が、形態素解析部12から受け取った単語の列から、会議における単位時間当たりの肯定単語の出現頻度を計算する。そして、重要度算出部15が、肯定単語の出現頻度が増加した時点を抽出し、その時点から所定の時間前までに発せられた単語の重要度に重み付けを行うことが可能である。
 重要度算出部15は、上述した方法により会議において発せられた単語の重要度を算出すると、当該重要度の高い複数の単語とその重要度を表示画像生成部16に送信する。なお、重要度算出部15が、会議において発せられた全ての単語と、その単語の重要度とを含むリストを表示画像生成部16に送信する構成としても構わないが、少ないデータ通信量で済むという観点からは、重要度の高い複数の単語とその重要度のみを送信する構成とすることが望ましい。
[表示画像生成部16]
 表示画像生成部16は、重要度算出部15から受信した重要度の高い複数の単語を用いて、表示機器60に表示させるための重要単語表示画像を生成する。重要単語表示画像とは、所定の表示領域内において、ある会議において重要であると判断された複数の単語が羅列されるような形で表示される画像である。表示画像生成部16が重要単語表示画像を生成するに当たっては、選択された複数の単語の中でも特に重要度の高い単語のフォントを大きく表示する、あるいは表示色を変えるなど、特に重要度の高い単語がより目立つよう、重要単語表示画像を生成することが望ましい。
 表示画像生成部16は、重要単語表示画像を生成すると、当該画像を表示機器60に送信し、表示機器60に重要単語表示画像を表示させる。表示機器60に重要単語表示画像を表示させるに当たっては、例えば組織内において複数の会議の予約状況確認・登録などに用いられるスケジューラーにおいて、各会議の議題、主催者、開催日時、開催場所などの情報欄の横に、当該重要単語表示画像を表示する領域を設けておき、当該表示領域に重要単語表示画像を表示させる。
 複数の会議情報の内、どの会議情報の横に当該重要単語表示画像を表示させるかについては、例えば制御部10が、当該会議が開催された日時、場所、あるいはユーザーのログイン状況等から、現在行われている会議がどの会議であるのかを判断し、該当する会議情報の横に、表示画像生成部16が新たに生成した重要単語表示画像を表示させてもよい。又は、ユーザーが、重要単語抽出装置100に接続された、あるいは重要単語抽出装置100に含まれた入力装置などを用いて、該当する会議情報を選択し、当該会議情報の横の表示欄に、表示画像生成部16が生成した重要単語表示画像を表示させる構成としてもよい。
[表示機器60]
 表示機器60は、ディスプレイ装置やプロジェクター等であり、制御部10に含まれる表示画像生成部16の指示に応じて、重要単語表示画像を表示する。
[重要単語抽出装置100の制御方法]
 次に、図2を用いて、本実施形態の重要単語抽出装置100の具体的な制御方法について説明する。図2は、本実施形態における重要単語抽出装置100の制御方法を示すフローチャートである。
[音声認識ステップS1]
 音声認識ステップS1では、重要単語抽出装置100に含まれる音声認識部11が、収音機器30から送信された音声情報を受信し、当該音声情報をテキスト形式などの文章データに変換する。
 本実施形態においては、重要単語抽出装置100を用いた会議風景を示す模式的な上面図である図3に示すように、会議室の中央に机70が配置され、この机70の上面中央に収音機器30が配置されている。本実施形態においては、収音機器30が、方向31Dに最高感度をもつ第1の指向性マイク31、方向32Dに最高感度をもつ第2の指向性マイク32、方向33Dに最高感度をもつ第3の指向性マイク33、方向34Dに最高感度をもつ第4の指向性マイク34、方向35Dに最高感度をもつ第5の指向性マイク35、及び方向36Dに最高感度をもつ第6の指向性マイク36を有しており、収音機器30内において、各指向性マイクの最高感度の方向が60度ずつ異なるよう配置されている。机70の周囲には第1のユーザーU1、第2のユーザーU2、第3のユーザーU3、第4のユーザーU4、第5のユーザーU5、第6のユーザーU6が着席している。
 会議が開催され、各ユーザーが発言すると、その発話音声が収音機器30における第1の指向性マイク31、第2の指向性マイク32、第3の指向性マイク33、第4の指向性マイク34、第5の指向性マイク35、第6の指向性マイク36により収音され、この音声情報が重要単語抽出装置100に送信される。
 この収音機器30から重要単語抽出装置100への音声情報の送信は、無線送信であってもよく、また有線送信であってもよい。なお、収音機器30から重要単語抽出装置100への音声情報の送信は、直接送信でもよく、サーバーなどを介した間接送信でもよい。本実施形態においては、収音機器30が重要単語抽出装置100へ、直接的に無線通信を行う。
 音声認識ステップS1において、重要単語抽出装置100に含まれる音声認識部11は、収音機器30から送信された音声情報をテキスト形式などの文章データに変換し、当該文章データを形態素解析部12に送信する。
[形態素解析ステップS2]
 形態素解析ステップS2では、重要単語抽出装置100に含まれる形態素解析部12が、図1に示した記憶部40に含まれる文法データベース41や品詞データベース43に保存された情報に基づき、音声認識部11から受け取った文章データを、複数の形態素に分割し、各形態素の品詞等を判別する。形態素解析部12は、形態素の品詞判別結果から、文章データを複数の単語を含む単語の列に変換し、頻度解析部13、及び重要度算出部15に送信する。
 なお、この単語の列は、会議開始からの経過時間順に配列されているため、時刻情報を含んでいるといえる。
[頻度解析ステップS3]
 頻度解析ステップS3では、重要単語抽出装置100に含まれる頻度解析部13が、形態素解析部12から受信した単語の列を解析し、各単語の出現頻度を算出する。即ち、ある会議におけるユーザーの発言内容において、各単語がそれぞれ何度含まれていたかを算出する。頻度解析部13は、各単語の出現頻度を重要度算出部15に送信する。
 本実施形態においては、会議中において、例えば「フラットケーブル」という単語が合計100回発言され、「FFC」という単語が合計30回発言され、「マイクロホン」という単語が合計80回発言され、「マイク」という単語が合計40回発言されたとする。
 本実施形態においては、頻度解析部13は、記憶部40に含まれる類義語データベース44を用いて、ある単語と、この単語の同義語を同一視し、ある単語の出現頻度と、同義語の出現頻度との和を、当該単語の出現頻度として算出する。
 本実施形態において、類義語データベース44は、例えば図9に示すように、特定の単語に対する同義語、類義語の情報と、これら同義語、類義語の、特定の単語に対する類似度を0%から100%の値で表示している。類似度が100%の場合は、特定の単語と同一視しても構わない同義語であることを意味する。
 そのため、頻度解析部13は、「フラットケーブル」と、この「フラットケーブル」の同義語である「FFC」を同一視することで、「フラットケーブル群」として130回の発言がなされたと判断する。また、頻度解析部13は、「マイクロホン」と、この「マイクロホン」の同義語である「マイク」を同一視することで、「マイクロホン群」として120回の発言がなされたと判断する。
 このような方法とすることにより、実質的に同じ意味で用いられている複数の単語の出現頻度が、それぞれ分散して算出されてしまうことを抑制することができる。その結果として、複数の同義語を持つ単語が、重要単語であるにもかかわらず、重要度が低く算出されてしまう可能性を抑制することができる。
 なお、本実施形態においては、特定の単語の出現頻度に、同義語の出現頻度を加算し、これを特定の単語群の出現頻度とする例を説明したが、特定の単語に対する類似度が100%でない類義語の出現頻度についても、特定の単語群の出現頻度として加算する構成としてもよく、あるいは、類義語の出現頻度に類似度を掛け合わせた値を、特定の単語群の出現頻度に加算する構成としてもよい。例えば、「カード電線」という単語が合計10回発言されたとすれば、「フラットケーブル群」の出現回数に10を加算する構成としてもよく、あるいは、「カード電線」の出現回数である10に、「フラットケーブル」に対する類似度である90%を乗じた値である9を、「フラットケーブル群」の出現回数に加算する構成としてもよい。
 このように、本実施形態においては、頻度解析部13が、同義語を含む単語群である「フラットケーブル群」が130回発言されたという情報、及び同義語を含む単語群である「マイクロホン群」が120回発言されたという情報、及びその他、会議中に発言された各単語の発言回数に関する情報を、重要度算出部15に送信する。
[話者位置推定ステップS4]
 話者位置推定ステップS4は、上述した音声認識ステップS1と同時並行に進めることが可能なステップであり、重要単語抽出装置100に含まれる話者位置推定部14が、収音機器30から受信したユーザーの音声情報に基づき、各ユーザーの発話位置を推定する。
 本実施形態においては、図3を用いて上述したとおり、収音機器30が第1の指向性マイク31、第2の指向性マイク32、第3の指向性マイク33、第4の指向性マイク34、第5の指向性マイク35、第6の指向性マイク36を有し、6個の指向性マイクの最高感度方向が60度ずつ異なるよう配置されており、話者位置推定部14は、この6個の指向性マイクから音声情報を受信する。
 6個の指向性マイクからの音声情報を受信した話者位置推定部14は、6個の指向性マイクからの音声情報を6次元ベクトルとして記録し、6個の指向性マイクに到達する音声の音量比を検出する。
 例えば、第2のユーザーU2が発言した場合、第1の指向性マイク31、第2の指向性マイク32、第3の指向性マイク33が、この第2のユーザーU2の音声を受信し、電気信号に変換することができる。しかし、第4の指向性マイク34、第5の指向性マイク35、第6の指向性マイク36は、第2のユーザーU2の音声を受信しても、比較的に小さな値の電気信号にしか変換しない。即ち、この第2のユーザーU2の音声は、第4の指向性マイク34、第5の指向性マイク35、第6の指向性マイク36の後方から発せられているため、第2のユーザーU2の音声は、振動板の後ろ側に設けられた穴や溝から入ってきた間接音と、振動板の表側に届く直接音となる。間接音と直接音の大部分は、互いに相殺されるため、第2のユーザーU2の音声は、第4の指向性マイク34、第5の指向性マイク35、第6の指向性マイク36においては比較的に小さな値の電気信号に変換される。従って、上述した6次元ベクトルの内、第4の指向性マイク34、第5の指向性マイク35、第6の指向性マイク36に関する3次元ベクトルの値は比較的に小さな値となり、第1の指向性マイク31、第2の指向性マイク32、第3の指向性マイク33に関する3次元ベクトルの値は、第4の指向性マイク34、第5の指向性マイク35、第6の指向性マイク36からの出力値と比較して大きな値の電気信号に変換され出力される。
 ここで、第2のユーザーU2は第2の指向性マイク32の感度の高い方向にいるため、第2のユーザーU2から発生られた音声は、第2の指向性マイク32において最も大きいレベルで受信され、第1の指向性マイク31、第3の指向性マイク33においては少し減衰して受信される。従って、電気信号として取り出される3次元ベクトルの内、第2の指向性マイク32に関する電気信号が最も大きな値で出力され、第1の指向性マイク31に関する電気信号、及び第3の指向性マイク33に関する電気信号は少し減衰して出力される。この電気信号出力の音量比を話者位置推定部14が検出することにより、第2のユーザーU2は第2の指向性マイク32の最高感度の方向32Dに近い方向にいることを認識することができる。
 そして、話者位置推定部14は、会話終了時にK-means法などを用いてクラスタリングし、第1のユーザーU1、第2のユーザーU2、第3のユーザーU3、第4のユーザーU4、第5のユーザーU5、第6のユーザーU6の発話位置を推定し、話者位置推定情報を重要度算出部15に送信する。
 更に、本実施形態においては、話者位置推定部14が、話者位置推定情報に時刻情報を付加しておき、後述する重要度算出部15において、各単語と話者位置推定情報との対応付けを行うことを可能としている。
[重要度算出ステップS5]
 重要度算出ステップS5では、重要単語抽出装置100に含まれる頻度解析部13から送信された各単語の出現頻度情報と、形態素解析部12から送信された単語の列に含まれる肯定単語と、話者位置推定部14から送信された話者位置推定情報を用いて、各単語の重要度を算出する。以下、重要度算出部15による各単語の重要度の算出方法について、より具体的に説明する。
 まず、重要度算出部15は、頻度解析部13から受信した各単語の出現頻度情報を用いて、各単語の重要度を算出する。出現頻度が高ければ高いほど、その単語が重要である可能性が高いため、出現頻度が高い単語の重要度が高くなる算出方法を採用する。本実施形態においては、例えば、ある単語の出現回数そのものを重要度として算出する方法を採用する。
 本実施形態においては、同義語を含む単語群である「フラットケーブル群」が130回発言されたという出現頻度情報から、「フラットケーブル群」の重要度を130点と算出し、同義語を含む単語群である「マイクロホン群」が120回発言されたという出現頻度情報から「マイクロホン群」の重要度を120点と算出する。
 続いて、重要度算出部15は、形態素解析部12から受信した単語の列に含まれる肯定単語と、これに関わる重要単語を抽出する。重要度算出部15は、記憶部40におけるキーワードデータベース45を参照しながら、形態素解析部12から送信される単語の列から肯定単語を検索する。重要度算出部15が肯定単語を見つけると、肯定単語が発せられたタイミングと単語の列に含まれる複数の単語のそれぞれが発せられたタイミングとに基づいて、重み付け対象単語を抽出し、重み付け対象単語情報を得る。重要度算出部15は、単語の出現回数と重み付け対象単語情報に基づき、当該単語の重要度に重み付けを行う。例えば、肯定単語が発せられた時点から遡って、所定の時間内に発せられた単語を重み付け対象単語とし、当該単語の出現回数に所定の係数を乗じることにより、その単語の重要度に重み付けを行う。なお、肯定単語が発せられた時点から遡って、所定の単語数内に発せられた単語を重み付け対象単語とする方法としてもよい。
 また、本実施形態においては、重要度算出部15は、話者位置推定部14から受信した話者位置推定情報を用いて、上述した肯定単語を発したユーザーの人数を算出する。そして、肯定単語発言者数と重み付け係数との関係を表す図4に示すように、肯定単語が発せられた時点から所定時間前に発せられた単語の重要度を算出する際に、当該単語の出現回数に乗じる係数の値を、肯定単語を発したユーザーの人数に応じて決定する。
 本実施形態において、例えば「フラットケーブル群」が発言された時点から所定時間である10秒以内において、第1のユーザーU1と第2のユーザーU2の二人から肯定単語が発せられたとする。重要度算出部15は、重み付け係数の参照表である図4に従って、先ほど算出した130点という点数に、重み付け係数を乗じる。今回の例においては、肯定単語発言者が第1のユーザーU1と第2のユーザーU2の二人であるため、重要度算出部15は、図4に示す参照表に基づき、重み付け係数が1.7であると判断する。そして、重要度算出部15は、出現回数から算出された130点に、重み付け係数である1.7を乗じて、「フラットケーブル群」の重要度が221点であると算出する。
 また、本実施形態においては、特定方向から肯定単語が発せられた場合には、その肯定単語が発せられた時点から所定時間前に発せられた単語の重要度の算出において、より大きな重み付けを行う構成としている。例えば、第6のユーザーU6の位置が、組織責任者が座る位置である場合には、第6のユーザーU6から肯定単語が発せられた時点から所定時間前に発せられた単語の重要度算出において、より高い重み付け係数を出現回数に乗じる構成としてよい。
 本実施形態において、例えば「マイクロホン群」が発言された時点から所定の時間である10秒以内において、第3のユーザーU3と第6のユーザーU6の二人から肯定単語が発せられたとする。その場合においては、重要度算出部15は、図4に示す表に従い、肯定単語発言者が二人の時の重み付け係数である1.7に、「第6のユーザーを含む」欄に記載されているとおり「1」を加算し、重み付け係数を2.7として「マイクロホン群」の重要度を算出する。従って、重要度算出部15は、出現回数から算出された120点に、重み付け係数2.7を乗じて、「マイクロホン群」の重要度が324点であると算出する。
 更に、本実施形態においては、重要度算出部15が、形態素解析部12から受信した単語の列から、「会議の雰囲気向上への寄与率が高い単語」を抽出し、更なる重み付けを行う。具体的には、重要度算出部15が、単語の列から単位時間当たりの会議中の肯定単語の出現頻度を計算する。そして、肯定単語の出現頻度が増加した時点を抽出し、その時点から所定の時間前までに発せられた単語の重要度に重み付けを行う。
 図5は、会議開催時からの経過時間に対する肯定単語出現回数を示すグラフである。図5に示すように、会議開催時から9分経過した時点から、肯定単語出現回数が増加していることがわかる。従って、この会議開催から9分経過した時点から、所定時間である30秒前まで、即ち会議開催から8分30秒経過した時点までに発せられた単語の重要度に重み付けを行う。
 本実施形態においては、この会議開催から8分30秒経過した時点と、会議開催から9分経過した時点との間に、「マイクロホン」の発言が含まれていたとする。そのため、重要度算出部15が、「マイクロホン」は、「会議の雰囲気向上への寄与率が高い単語」であると判断し、上述した重み付け係数2.7に、追加の重み付け係数1.5を加え、重み付け係数を4.2と算出する。従って、重要度算出部15は、出現回数から算出された120点に、重み付け係数4.2を乗じて、「マイクロホン群」の重要度が504点であると算出する。
 重要度算出部15は、上述した方法により会議において発せられた単語の重要度を算出すると、当該重要度の高い複数の単語とその重要度を表示画像生成部16に送信する。本実施形態においては、「マイクロホン群」、「フラットケーブル群」を含む上位10位までの重要単語と、それぞれの重要度を表示画像生成部16に送信する。なお、重要度算出部15が、会議において発せられた全ての単語と、その単語の重要度とを含むリストを表示画像生成部16に送信する構成としても構わないが、少ないデータ通信量で済むため、本実施形態においては上位10位までの重要単語とその重要度のみを表示画像生成部16に送信する。
[表示画像生成ステップS6]
 表示画像生成ステップS6では、重要単語抽出装置100に含まれる表示画像生成部16が、重要度算出部15から受信した重要度の高い複数の単語を用いて、表示機器60に表示させるための重要単語表示画像を生成する。
 本実施形態においては、表示画像生成部16は、図6に示すような重要単語表示画像を生成する。図6に示す重要単語表示画像においては、選択された複数の単語の中でも特に重要度の高い「マイクロホン」と「フラットケーブル」のフォントが大きく表示され、且つ表示色として目立つ赤色が用いられている。重要単語表示画像をこのような画像とすることにより、重要度の高い単語がより目立つようにすることができる。その他、上記3位から10位までの各重要単語であるキーワードA乃至キーワードHが、それぞれの重要度に合わせたフォント、表示色にて、重要単語表示画像部の中に含まれている。
 表示画像生成部16は、図6に示したような重要単語表示画像を生成すると、当該重要単語表示画像に関するデータを表示機器60に送信し、表示機器60に重要単語表示画像を表示させる。本実施形態において、表示機器60に重要単語表示画像を表示させるに当たっては、例えば図7に示すように、組織内において複数の会議の予約状況確認・登録などに用いられるスケジューラーにおいて、各会議の議題、主催者、開催日時、開催場所などの情報欄の横に、当該重要単語表示画像を表示する領域を設けておき、当該表示領域に重要単語表示画像を表示させる。
 複数の会議情報の内、どの会議情報の横に当該重要単語表示画像を表示させるかについては、例えば制御部10が、当該会議が開催された日時、場所、あるいはユーザーのログイン状況等から、現在行われている会議がどの会議であるのかを判断し、該当する会議情報の横に、表示画像生成部16が新たに生成した重要単語表示画像を表示させてもよい。又は、ユーザーが、重要単語抽出装置100に接続された、あるいは重要単語抽出装置100に含まれた入力装置などを用いて、該当する会議情報を選択し、当該会議情報の横の表示欄に、表示画像生成部16が生成した重要単語表示画像を表示させる構成としてもよい。
 あるいは、図7に示した、会議「Codecブレスト」を開催した山田氏が組織内のネットワークに接続されたパーソナルコンピューターにおいてログインした状態で会議を開催し、当該パーソナルコンピューターが重要単語抽出装置100に含まれる通信部から重要単語表示画像を受信したとする。そのような場合、当該パーソナルコンピューターは、開催時刻、開催場所、及び山田氏が持つパーソナルコンピューターに付加された識別情報などに基づき、現在開催されている会議が「Codecブレスト」会議であると判断し、図7に示したスケジューラーにおける「Codecブレスト」会議情報の横の欄に、叙述した重要単語表示画像を表示させてもよい。
 あるいは、会議開催者である山田氏が、パーソナルコンピューターのキーボード、マウスなどを利用して、又は、重要単語抽出装置100に接続された入力装置などを用いて、「Codecブレスト」会議情報の横に、表示画像生成部16が生成した重要単語表示画像をコピー、ペーストするなどして表示させてもよい。
[関連会議抽出システム200]
 次に、関連会議抽出システム200について、図面を用いて以下に説明する。
 図8は、本実施形態に係る関連会議抽出システム200のブロック図である。図8に示す通り、関連会議抽出システム200は、基本的に重要単語抽出装置100と同様の構成を含んでおり、同一の構成要素については同じ符号を付してその説明を省略する。
 関連会議抽出システム200が、重要単語抽出装置100と異なる点は、制御部10Aが、重要度算出部15と表示画像生成部16Aとの間に関連会議抽出部17を含んでいる点と、記憶部40Aが、関連会議情報データベース46を含んでいる点、表示画像生成部16Aが関連会議表示画像を生成する点、及び制御部10Aが、記憶部40に保存されたプログラム42Aに基づいて、後述する音声認識ステップS1、形態素解析ステップS2、頻度解析ステップS3、話者位置推定ステップS4、重要度算出ステップS5、関連会議抽出ステップS7、表示画像生成ステップS6Aなどを実行するコンピュータである点、等である。なお、本開示における関連会議抽出システム200と重要単語抽出装置100とは基本的に共通の構成が多く、両者を一体構成とすることが可能である。両者を一体構成する場合においては、表示画像生成部16Aが、関連会議表示画像と重要単語表示画像の双方を生成し、関連会議表示画像に関するデータ、及び重要単語表示画像に関するデータを表示機器60に送信する。
[関連会議情報データベース46]
 関連会議情報データベース46には、組織内で行われた会議情報が含まれている。当該会議情報には、例えば、過去に行われた会議の議題、主催者、開催日時、開催場所などの情報に加え、それぞれの会議において重要度が高いと判断された単語と、その単語の重要度に関する情報が含まれている。
[関連会議抽出部17]
 関連会議抽出部17は、重要度算出部15から受信した重要単語とその単語の重要度を用いて、記憶部40に含まれる関連会議情報データベース46の中から、今回行われた会議に関連度が高い会議を抽出する。
 上述した通り、関連会議情報データベース46には、過去に行われた複数の会議において重要度が高いと判断された単語と、その単語の重要度に関する情報が含まれている。関連会議抽出部17は、複数の会議情報の中から、今回行われた会議における重要単語と一致する、あるいはその重要単語の同義語、類義語と判断されている会議を、今回行われた会議と関連性が高い会議であると判断する。
 関連会議抽出部17が、今回行われた会議における重要単語と、過去に行われた複数の会議における重要単語との一致度を判断する場合は、図9に示した類義語データベース44を用いることができる。例えば、ある過去の会議において平型ケーブルが重要単語と判断されている会議があったとして、今回の会議においてフラットケーブルが重要単語であると判断されたとする。その場合、図9に示した類義語データベース44から、平型ケーブルは、フラットケーブルの同義語ではないものの、フラットケーブルの類義語であり、平型ケーブルとフラットケーブルとの類似度が43%であることがわかる。そのため、例えば、過去の会議における平型ケーブルの重要度、及び今回の会議におけるフラットケーブルの重要度に、この43%の類似度を加味した値を、両会議の関連度として算出する。
 関連会議抽出部17が、過去に行われた複数の会議の中から、今回行われた会議と関連度が高いと判断した会議を抽出すると、関連会議抽出部17は、この関連度が高いと判断した会議に関する情報を、表示画像生成部16Aに送信する。
[表示画像生成部16A]
 関連会議抽出システム200において、表示画像生成部16Aは、関連会議抽出部17から受信した関連度の高い複数の会議情報を用いて、表示機器60に表示させるための関連会議表示画像を生成する。関連会議表示画像とは、今回行われた会議に関する情報を中心に表示するとともに、関連度が高い過去の会議に関する情報をその周囲に表示される画像である。表示画像生成部16が関連会議表示画像を生成するに当たっては、選択された複数の会議の中でも特に関連度の高い会議の情報を大きく表示する、あるいは表示色を変えるなど、特に関連度の高い会議の情報がより目立つよう、関連会議表示画像を生成することが望ましい。
[関連会議抽出システム200の制御方法]
 次に、図10を用いて、本実施形態の関連会議抽出システム200の具体的な制御方法について説明する。図10は、本実施形態における関連会議抽出システム200の制御方法を示すフローチャートである。
 本実施形態における関連会議抽出システム200の制御方法は、上述した重要単語抽出装置100の制御方法における音声認識ステップS1、形態素解析ステップS2、頻度解析ステップS3、話者位置推定ステップS4、重要度算出ステップS5を含んでおり、これらのステップについては重要単語抽出装置100の制御方法と同様であるため、その説明を省略する。
[関連会議抽出ステップS7]
 関連会議抽出ステップS7では、関連会議抽出システム200に含まれる関連会議抽出部17が、重要度算出部15から受信した重要単語と、その単語の重要度に関する情報を用いて、記憶部40に含まれる関連会議情報データベース46の中から、今回行われた会議に関連度が高い会議を抽出する。
 上述した通り、本実施形態においては、今回開催された会議の重要単語として、重要度算出部15が、「マイクロホン群」、「フラットケーブル群」を含む上位10の重要単語と、それぞれの重要度を関連会議抽出部17に送信している。「マイクロホン群」の重要度は504点であり、「フラットケーブル群」の重要度は221点である。
 本実施形態において、関連会議情報データベース46には、過去に行われた「Codec打ち合わせ」、「MPS進捗報告」、「音楽プレーヤーブレスト」等の複数の会議情報と、これら複数の会議において重要度が高いと判断された単語、及びその単語の重要度に関する情報が含まれている。
 ここで、過去に行われた会議の一つである「Codec打ち合わせ」においては、「受音素子」が重要単語として抽出されており、その重要度が300点であったとする。また、この「Codec打ち合わせ」においては、「平型ケーブル」も重要単語として抽出されており、その重要度が200点であったとする。
 本実施形態においては、関連会議抽出部17が、今回行われた会議における重要単語と、過去に行われた複数の会議における重要単語との一致度を判断するに際して、図9に示した類義語データベース44を用いる。計算例としては、例えば、今回開催された会議における重要単語の重要度に、過去に開催された会議における重要単語の重要度とその類似度を乗じた値を算出し、今回開催された会議における重要単語の全てにおいて同様の計算を行った上で、その総和を両会議の関連度とする。
 具体例として、関連会議抽出部17は、まず今回開催された会議において重要単語であると判断された「マイクロホン」及び「マイク」を含む「マイクロホン群」の重要度である504点に、過去に開催された「Codec打ち合わせ」において重要単語であると判断された「受音素子」の重要度である300点と、両単語の類似度である100%を乗じる。その結果として、関連会議抽出部17は、「マイクロホン群」に関する関連度として302400点という結果を得る。更に関連会議抽出部17は、今回開催された会議において重要単語であると判断された「フラットケーブル」及び「FFC」を含む「フラットケーブル群」の重要度である221点に、過去に開催された「Codec打ち合わせ」において重要単語であると判断された「平型ケーブル」の重要度である200点と、両単語の類似度である43%を乗じる。その結果として、関連会議抽出部17は、「フラットケーブル群」に関する関連度として19006点という結果を得る。なお、今回開催された会議「Codecブレスト」において重要単語であると判断された「キーワードA」乃至「キーワードH」については、過去に開催された会議である「Codec打ち合わせ」における重要単語として一致する、又は同義語、類義語に該当するものはなかったとする。これらの結果から、関連会議抽出部17は、「マイクロホン群」に関する関連度である302400点と、「フラットケーブル群」に関する関連度である19006点とを足し合わせ、「Codecブレスト」と「Codec打ち合わせ」との関連度が321406点であると判断する。
 同様の方法で、関連会議抽出部17は、今回開催された会議である「Codec打ち合わせ」と、過去に開催された会議である「MPS進捗報告」、「音楽プレーヤーブレスト」等との関連度を算出する。本実施形態においては、「Codec打ち合わせ」と「MPS進捗報告」との関連度が200000点であり、「Codec打ち合わせ」と「音楽プレーヤーブレスト」との関連度が100000点であったとする。
 なお、上記計算例はほんの一例であり、乗算、和算の使用箇所等を適宜変更しても構わない。
 関連会議抽出部17が、過去に開催された複数の会議の中から、今回開催された会議と関連度が高いと判断した会議を抽出すると、関連会議抽出部17は、この関連度が高いと判断した会議に関する情報を、表示画像生成部16Aに送信する。
[表示画像生成ステップS6A]
 表示画像生成ステップS6Aにおいては、関連会議抽出システム200に含まれる表示画像生成部16Aが、関連会議抽出部17から受信した関連度の高い複数の会議情報を用いて、表示機器60に表示させるための関連会議表示画像を生成する。
 本実施形態において、表示画像生成部16Aは、関連会議表示画像として、図11に示すように、画像中央に今回開催された会議の情報を表示し、この周囲に、関連度が高いと判断された過去の会議の情報を表示する。なお、今回開催された会議情報の輪郭を太く表示するなど、他の関連会議の表示方法と異なる表示方法を採用すると、ユーザーが、複数の会議情報の中から、今回開催された会議情報を容易に見分けることができ望ましい。また、本実施形態においては、複数の関連会議の内、特に関連度が高いと判断された「Codec打ち合わせ」については、フォント、輪郭ともに大きく表示されており、その関連度に応じて、表示されるフォント、輪郭の大きさを変化させることができるようにしている。このような表示方法とすることにより、ユーザーが、今回開催された会議に対する、複数の関連会議の関連度の高さを容易に把握することができる。
 上述してきた制御方法により、関連会議抽出システム200が、今回開催された会議に対して関連度が高い過去の会議を抽出し、関連度が高いと判断された過去の会議情報を含む関連会議表示画像を表示機器60させることで、ユーザーが、今回開催された会議と関連する過去の会議の存在と、当該過去の会議に参加していた参加者とを把握することができる。その結果として、ユーザーと、今回開催された会議と関連度が高いと判断された過去の会議の参加者との間での情報共有を促進することができる。
 なお、ユーザーと、今回開催された会議とは別の会議の参加メンバーとの情報共有を促進させるという効果に着目するとすれば、過去に開催された複数の関連会議の内、共通の主催者、又は共通の参加者グループによる関連会議については、関連会議表示画像において表示しない、あるいは表示のさせ方を変えて目立たないようにすることが望ましい。例えば、図11に示す例においては、今回開催された会議の主催者が山田氏であり、過去の関連会議として表示されている「MPS進捗報告」の主催者も同じ山田氏であるとする。そのような場合には、この「MPS進捗報告」の背景を例えばグレーで表示するなど、他の関連会議と異なる、目立たない表示方法にしておく。このような表示方法とすることにより、ユーザーが情報として欲しい、他の会議の参加メンバーの情報を引き立たせることができる。その結果として、ユーザーと、過去に開催された関連会議の参加メンバーとの間での情報共有を、より促進させることができる。
 10 制御部、10A 制御部、11 音声認識部、12 形態素解析部、13 頻度解析部、14 話者位置推定部、15 重要度算出部、16 表示画像生成部、16A 表示画像生成部、17 関連会議抽出部、30 収音機器、31 第1の指向性マイク、32 第2の指向性マイク、33 第3の指向性マイク、34 第4の指向性マイク、35 第5の指向性マイク、36 第6の指向性マイク、40 記憶部、40A 記憶部、41 文法データベース、42 プログラム、42A プログラム、43 品詞データベース、44 類義語データベース、45 キーワードデータベース、46 関連会議情報データベース、60 表示機器、70 机、100 重要単語抽出装置、200 関連会議抽出システム、U1 第1のユーザー、U2 第2のユーザー、U3 第3のユーザー、U4 第4のユーザー、U5 第5のユーザー、U6 第6のユーザー、S1 音声認識ステップ、S2 形態素解析ステップ、S3 頻度解析ステップ、S4 話者位置推定ステップ、S5 重要度算出ステップ、S6 表示画像生成ステップ、S6A 表示画像生成ステップ、S7 関連会議抽出ステップ。

Claims (22)

  1.  受信した音声情報を文章データに変換する音声認識部と、
     前記文章データを複数の単語を含む単語の列に変換する形態素解析部と、
     前記複数の単語の出現頻度を算出する頻度解析部と、
     前記複数の単語の中から、キーワードデータベースに含まれるキーワードを抽出し、前記キーワードが発せられたタイミングと前記複数の単語のそれぞれが発せられたタイミングとに基づいて、重み付け対象単語に関する重み付け対象単語情報を取得し、前記出現頻度と、前記重み付け対象単語情報とに基づき、前記複数の単語の重要度を算出する重要度算出部と、
     を含む、重要単語抽出装置。
  2.  前記音声情報に基づき、話者位置推定情報を生成する話者位置推定部を更に含む、
     請求項1に記載の重要単語抽出装置。
  3.  前記重要度算出部は、前記話者位置推定情報に基づき、前記キーワードを発言した話者の人数を推定する、
     請求項2に記載の重要単語抽出装置。
  4.  前記重要度算出部は、前記キーワードを発言した話者の人数に基づき、前記重み付け対象単語の重要度を算出する際に用いる重み付け係数を決定する、
     請求項3に記載の重要単語抽出装置。
  5.  前記重要度算出部は、前記話者位置推定情報に基づき、特定方向から前記キーワードを発言した話者の有無を判断する、
     請求項2乃至4のいずれか一つに記載の重要単語抽出装置。
  6.  前記重要度算出部は、前記特定方向から前記キーワードを発言した話者の有無に基づき、前記重み付け対象単語の重要度を算出する際に用いる重み付け係数を決定する、
     請求項5に記載の重要単語抽出装置。
  7.  前記音声情報を取得する収音機器を更に含み、
     前記収音機器が、複数の指向性マイクを含む、
     請求項2乃至6のいずれか一つに記載の重要単語抽出装置。
  8.  前記話者位置推定部が、前記話者位置推定情報に時刻情報を付加することにより、前記単語の列と前記話者位置推定情報との対応付けを行う、
     請求項3乃至7のいずれか一つに記載の重要単語抽出装置。
  9.  前記重要度算出部が、
     前記単語の列から単位時間当たりの前記キーワードの出現頻度を計算し、
     前記キーワードの出現頻度が増加した時点を抽出し、
     前記時点から所定の時間前までに発せられた単語の重要度を算出する際に、所定の重み付け係数を用いる、
     請求項1乃至8のいずれか一つに記載の重要単語抽出装置。
  10.  特定の単語に対する同義語又は類義語に関する情報を含む類義語データベースを更に含み、
     前記頻度解析部が、前記複数の単語に含まれる特定の単語の出現頻度を算出する際に、前記類義語データベースに含まれた前記同義語又は類義語に関する情報を用いる、
     請求項1乃至9のいずれか一つに記載の重要単語抽出装置。
  11.  前記頻度解析部が、前記同義語又は前記類義語の出現頻度を前記特定の単語の出現頻度に加算する、
     請求項10に記載の重要単語抽出装置。
  12.  前記単語の重要度に基づき、重要単語表示画像を生成する表示画像生成部を更に含む、
     請求項1乃至11のいずれか一つに記載の重要単語抽出装置。
  13.  前記表示画像生成部が、前記単語の重要度に基づき、前記重要単語表示画像に含まれる前記単語のフォント、表示色を決定する、
     請求項12に記載の重要単語抽出装置。
  14.  文法データベースと、品詞データベースとを更に含み、
     前記形態素解析部が、前記文法データベースと前記品詞データベースとに基づき前記文章データを複数の形態素に分割し、前記複数の形態素の品詞を判別することにより、前記文章データを前記単語の列に変換する、
     請求項1乃至13のいずれか一つに記載の重要単語抽出装置。
  15.  前記キーワードは、前記キーワードの直前に発された単語に対して肯定的な意味を持つ肯定単語である、
     請求項1乃至14のいずれか一つに記載の重要単語抽出装置。
  16.  受信した音声情報を文章データに変換し、
     前記文章データを複数の単語を含む単語の列に変換し、
     前記複数の単語の出現頻度を算出し、
     前記複数の単語の中から、キーワードデータベースに含まれるキーワードを抽出し、
     前記キーワードが発せられたタイミングと前記複数の単語のそれぞれが発せられたタイミングとに基づいて、重み付け対象単語に関する重み付け対象単語情報を取得し、
     前記出現頻度と、前記重み付け対象単語情報とに基づき、前記複数の単語の重要度を算出するための、保存された指示を実行する少なくとも一つのプロセッサーを含む、
     重要単語抽出装置。
  17.  請求項1乃至15のいずれか一つに記載の重要単語抽出装置と、
     関連会議情報データベースに含まれる複数の過去の会議情報の中から、前記複数の単語の重要度に基づき、関連度の高い会議の前記会議情報を抽出する関連会議抽出部と、
     を含む、関連会議抽出システム。
  18.  特定の単語に対する同義語又は類義語に関する情報を含む類義語データベースを更に含み、
     前記関連会議抽出部が、前記関連会議情報データベースに含まれる前記複数の過去の会議情報の中から前記関連度の高い会議の前記会議情報を抽出する際に、前記類義語データベースに含まれた前記同義語又は類義語に関する情報を用いる、
     請求項17に記載の関連会議抽出システム。
  19.  前記関連会議抽出部が、前記関連会議情報データベースに含まれる前記複数の過去の会議情報の中から前記関連度の高い会議の前記会議情報を抽出する際に、前記複数の単語に含まれる特定の単語の重要度と、前記特定の単語の類義語であって前記過去の会議情報において重要と判断された前記類義語の重要度と、前記特定の単語と前記類義語との類似度とを用いる、
     請求項18に記載の関連会議抽出システム。
  20.  前記会議の関連度に基づき、関連会議表示画像を生成する表示画像生成部を更に含む、
     請求項17乃至19のいずれか一つに記載の関連会議抽出システム。
  21.  前記表示画像生成部が、前記会議の関連度に基づき、前記関連会議表示画像に含まれる前記会議情報の表示の大きさを決定する、
     請求項20に記載の関連会議抽出システム。
  22.  前記表示画像生成部が、前記会議情報に含まれた参加者情報を用いて、前記関連会議表示画像に含まれる前記会議情報の表示のさせ方を決定する、
     請求項20に記載の関連会議抽出システム。
PCT/JP2017/011995 2017-03-24 2017-03-24 重要単語抽出装置、及び関連会議抽出システム WO2018173252A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019506885A JP6737398B2 (ja) 2017-03-24 2017-03-24 重要単語抽出装置、関連会議抽出システム、及び重要単語抽出方法
PCT/JP2017/011995 WO2018173252A1 (ja) 2017-03-24 2017-03-24 重要単語抽出装置、及び関連会議抽出システム
US16/573,142 US11355099B2 (en) 2017-03-24 2019-09-17 Word extraction device, related conference extraction system, and word extraction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/011995 WO2018173252A1 (ja) 2017-03-24 2017-03-24 重要単語抽出装置、及び関連会議抽出システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/573,142 Continuation US11355099B2 (en) 2017-03-24 2019-09-17 Word extraction device, related conference extraction system, and word extraction method

Publications (1)

Publication Number Publication Date
WO2018173252A1 true WO2018173252A1 (ja) 2018-09-27

Family

ID=63585343

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/011995 WO2018173252A1 (ja) 2017-03-24 2017-03-24 重要単語抽出装置、及び関連会議抽出システム

Country Status (3)

Country Link
US (1) US11355099B2 (ja)
JP (1) JP6737398B2 (ja)
WO (1) WO2018173252A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102193656B1 (ko) * 2020-01-20 2020-12-21 권경애 상담 내용 분석을 지원하는 녹취 서비스 제공 시스템 및 방법
KR102193654B1 (ko) * 2020-01-20 2020-12-21 권경애 상담 상황을 반영한 녹취 서비스 제공 시스템 및 방법
JP2022079458A (ja) * 2017-11-02 2022-05-26 グーグル エルエルシー 会議能力を有する自動アシスタント
JP7466987B2 (ja) 2019-12-27 2024-04-15 株式会社イトーキ 会議群分析装置、及びプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111149153B (zh) * 2017-12-25 2023-11-07 京瓷办公信息系统株式会社 信息处理装置以及说话解析方法
JP7143624B2 (ja) * 2018-05-09 2022-09-29 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
US11868596B2 (en) * 2021-07-28 2024-01-09 Capital One Services, Llc Color-based system for generating notifications

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011227805A (ja) * 2010-04-22 2011-11-10 Nec Corp キーワード表示システム、キーワード表示方法及びプログラム
JP2016091487A (ja) * 2014-11-11 2016-05-23 セイコーエプソン株式会社 表示装置および表示制御方法
WO2017038794A1 (ja) * 2015-08-31 2017-03-09 株式会社 東芝 音声認識結果表示装置、音声認識結果表示方法、音声認識結果表示プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8370145B2 (en) * 2007-03-29 2013-02-05 Panasonic Corporation Device for extracting keywords in a conversation
JP5452158B2 (ja) * 2009-10-07 2014-03-26 株式会社日立製作所 音響監視システム、及び音声集音システム
JP5257330B2 (ja) 2009-11-06 2013-08-07 株式会社リコー 発言記録装置、発言記録方法、プログラム及び記録媒体
JP5466575B2 (ja) * 2010-05-21 2014-04-09 日本電信電話株式会社 重要語抽出装置とその方法とプログラム
US8375022B2 (en) * 2010-11-02 2013-02-12 Hewlett-Packard Development Company, L.P. Keyword determination based on a weight of meaningfulness
JP2013109635A (ja) * 2011-11-22 2013-06-06 Nippon Telegr & Teleph Corp <Ntt> 単語重要度算出装置とその方法とプログラム
US20150348538A1 (en) * 2013-03-14 2015-12-03 Aliphcom Speech summary and action item generation
JP2014229075A (ja) 2013-05-22 2014-12-08 キヤノン株式会社 文書情報に関連する音声情報を抽出するシステム
US20150106091A1 (en) * 2013-10-14 2015-04-16 Spence Wetjen Conference transcription system and method
US20160357749A1 (en) * 2015-06-04 2016-12-08 International Business Machines Corporation Associating keywords from communication content with communication participants
US10241990B2 (en) * 2015-08-26 2019-03-26 Microsoft Technology Licensing, Llc Gesture based annotations

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011227805A (ja) * 2010-04-22 2011-11-10 Nec Corp キーワード表示システム、キーワード表示方法及びプログラム
JP2016091487A (ja) * 2014-11-11 2016-05-23 セイコーエプソン株式会社 表示装置および表示制御方法
WO2017038794A1 (ja) * 2015-08-31 2017-03-09 株式会社 東芝 音声認識結果表示装置、音声認識結果表示方法、音声認識結果表示プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022079458A (ja) * 2017-11-02 2022-05-26 グーグル エルエルシー 会議能力を有する自動アシスタント
JP7443407B2 (ja) 2017-11-02 2024-03-05 グーグル エルエルシー 会議能力を有する自動アシスタント
JP7466987B2 (ja) 2019-12-27 2024-04-15 株式会社イトーキ 会議群分析装置、及びプログラム
KR102193656B1 (ko) * 2020-01-20 2020-12-21 권경애 상담 내용 분석을 지원하는 녹취 서비스 제공 시스템 및 방법
KR102193654B1 (ko) * 2020-01-20 2020-12-21 권경애 상담 상황을 반영한 녹취 서비스 제공 시스템 및 방법

Also Published As

Publication number Publication date
US20200013389A1 (en) 2020-01-09
JP6737398B2 (ja) 2020-08-05
US11355099B2 (en) 2022-06-07
JPWO2018173252A1 (ja) 2019-11-07

Similar Documents

Publication Publication Date Title
WO2018173252A1 (ja) 重要単語抽出装置、及び関連会議抽出システム
US10083006B1 (en) Intercom-style communication using multiple computing devices
US10020007B2 (en) Conversation analysis device, conversation analysis method, and program
US10347250B2 (en) Utterance presentation device, utterance presentation method, and computer program product
US7788095B2 (en) Method and apparatus for fast search in call-center monitoring
Gold et al. The ‘West Yorkshire Regional English Database’: Investigations into the generalizability of reference populations for forensic speaker comparison casework
KR20120038000A (ko) 대화의 주제를 결정하고 관련 콘텐트를 획득 및 제시하는 방법 및 시스템
JP5171501B2 (ja) 重要語を抽出するサーバ、システム、方法およびプログラム
CN103165131A (zh) 语音处理系统及语音处理方法
JP5196199B2 (ja) キーワード表示システム、キーワード表示方法及びプログラム
EP4200843A1 (en) Word replacement in transcriptions
WO2019031268A1 (ja) 情報処理装置、及び情報処理方法
US11789695B2 (en) Automatic adjustment of muted response setting
JP2009238199A5 (ja)
WO2022148227A1 (zh) 会议信息查询方法、装置、存储介质、终端设备和服务器
US20220231873A1 (en) System for facilitating comprehensive multilingual virtual or real-time meeting with real-time translation
JP5030868B2 (ja) 会議音声録音システム
WO2014203328A1 (ja) 音声データ検索システム、音声データ検索方法、及びコンピュータ読み取り可能な記憶媒体
US11488604B2 (en) Transcription of audio
JP2016062333A (ja) 検索サーバ、及び検索方法
CN113259620B (zh) 视频会议数据同步方法及装置
WO2022180860A1 (ja) ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
CN113301352B (zh) 在视频播放期间进行自动聊天
JP2020201748A (ja) 発話生成装置、発話生成方法及び発話生成プログラム
US20180108356A1 (en) Voice processing apparatus, wearable apparatus, mobile terminal, and voice processing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17901539

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019506885

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17901539

Country of ref document: EP

Kind code of ref document: A1