JP7028179B2 - 情報処理装置、情報処理方法およびコンピュータ・プログラム - Google Patents

情報処理装置、情報処理方法およびコンピュータ・プログラム Download PDF

Info

Publication number
JP7028179B2
JP7028179B2 JP2018542396A JP2018542396A JP7028179B2 JP 7028179 B2 JP7028179 B2 JP 7028179B2 JP 2018542396 A JP2018542396 A JP 2018542396A JP 2018542396 A JP2018542396 A JP 2018542396A JP 7028179 B2 JP7028179 B2 JP 7028179B2
Authority
JP
Japan
Prior art keywords
information
filtering
speaker
extracted
word
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018542396A
Other languages
English (en)
Other versions
JPWO2018061824A1 (ja
Inventor
将人 守屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2018061824A1 publication Critical patent/JPWO2018061824A1/ja
Application granted granted Critical
Publication of JP7028179B2 publication Critical patent/JP7028179B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Description

本発明は、発話内のワードを抽出する技術に関する。
携帯電話やスマートフォンなどの通信端末で通話することが多く行われている。通話中に重要なワードが出現した場合、そのワードを忘れないようにするために、メモを取りたい場面が生じることがある。しかしながら、通信端末での通話中にメモを取ることに関して、不都合が生じることがある。例えば、通信端末のメモ機能により通信端末をメモ帳代わりに利用しているユーザにとっては、通信端末を、通話に利用している場合、メモを取ることは困難となる。また、通信端末で通話する場合、通話する場所が固定されていない。そのため、屋外にいる時に電話がかかってきた場合などは、メモを取る用意ができていないことが多いため、通話中にメモを取ることは困難である。
これらに対して、音声情報やテキスト情報等に基づいて、ユーザのニーズに適した情報を抽出して表示する技術は、広く知られている。
例えば、特許文献1には、重要語を特定するためのキーワードリストを、ユーザが入力するテキスト情報から自動で作成し、入力された音声情報の中からキーワードと一致する単語を重要語として抽出して表示する技術が開示されている。
特許文献2には、ユーザが映像機器を介して予め登録した個人の番組の好みや、実際の視聴を通して収集されるフィードバック情報などからなるプロファイルに基づいて、番組の選択処理を行う技術が開示されている。特許文献2では、番組表や音声情報からキーワードを抽出し、抽出したキーワードとプロファイルとを照合することで、番組の選択処理を行う。
特許文献3には、ユーザが入力したキーワードに合致する番組情報を電子的番組表から検索し、合致する番組情報が見つからない場合、入力されたキーワードに基づいてインターネットで検索を行うことで、そのキーワードに関連する番組情報をユーザに提示する技術が開示されている。
特許文献4には、電子メールの件名または本文からキーワードを検出し、検索者が入力した検索ワードと合致するキーワードがある場合、その電子メールのやり取りにおける重要人物を表示する技術が開示されている。また、特許文献4には、会議における各参加者の発話内容を音声認識によりテキスト化し、生成したテキストから出現回数に基づいてキーワードを抽出する技術も開示されている。
特許文献5には、Cookieを用いて、個々の訪問者のサイト上の情報参照傾向を収集し、サービスの応答を返す時に、その参照傾向から有効と判断できる予め用意した付加情報を自動的に乗せて返す技術が開示されている。
特開2015-099290号公報 特開2000-023112号公報 特開2004-362121号公報 特開2010-079872号公報 特開2003-085081号公報
上述のような通話内容のメモは、何らかの装置の表示領域に表示される場合があるが、その表示領域には制限があることが多いため、ユーザにとって価値の高い、すなわち、ユーザに特化した情報が選択されて表示されることが望まれる。
特許文献1には、ユーザが入力した情報に基づいて、音声情報からキーワードを抽出して提供することは開示されている。しかしながら、特許文献1では、ユーザが入力するテキスト情報からキーワードリストが作成され、キーワードリストに一致する語をキーワードとして抽出するので、ユーザが入力したことのない語はキーワードとして抽出することができない。よって、ユーザに特化した情報を抽出することができない虞があるという課題がある。
また、特許文献2から4には、ユーザが入力した情報やユーザの興味に基づいて、情報を提供することは開示されているが、ユーザに特化した情報を抽出して表示することは開示されていない。
本願発明は、このような課題を鑑みてなされたものであり、音声データからユーザに特化した情報を抽出することができる情報処理装置等を提供することを主要な目的とする。
本発明の一態様にかかる情報処理装置は、音声データに基づいて文字列を生成する音声認識手段と、前記音声認識手段により生成された前記文字列から抽出された1以上のキーワードを、予め記憶された、前記音声データの発話者に関連する1以上の単語に基づいてフィルタリングするフィルタリング手段と、前記フィルタリング手段によるフィルタリングの結果を出力する出力手段とを備える。
本発明の一態様にかかる情報処理方法は、音声データに基づいて文字列を生成し、前記生成された前記文字列から抽出された1以上のキーワードを、予め記憶された、前記音声データの発話者に関連する1以上の単語に基づいてフィルタリングし、前記フィルタリングの結果を出力する。
本発明の一態様にかかるプログラム記録媒体は、音声データに基づいて生成された文字列から抽出された1以上のキーワードを、予め記憶された、前記音声データの発話者に関連する1以上の単語に基づいてフィルタリングする処理と、前記フィルタリングの結果を出力する処理とを、コンピュータに実行させるコンピュータ・プログラムを記録する。
以上説明したように、本発明によれば、音声データからユーザに特化した情報を抽出することができるという効果が得られる。
本発明の第1の実施形態に係る情報処理システムの構成を示すブロック図である。 本発明の第1の実施形態に係る情報処理システムにおける通信端末の構成を示すブロック図である。 本発明の第1の実施形態に係る解析装置の構成を示すブロック図である。 本発明の第1の実施形態に係るメモ用端末の構成を示すブロック図である。 本発明の第1の実施形態に係る通信端末のパーソナル情報生成部の動作を示すフローチャートである。 本発明の第1の実施形態に係る通信端末のパーソナル情報生成部により生成されたパーソナル情報の一例を示す図である。 本発明の第1の実施形態に係る通信端末のパーソナル情報生成部により生成されたパーソナル情報の他の例を示す図である。 本発明の第1の実施形態に係る通信端末のパーソナル情報生成部により生成されたパーソナル情報の他の例を示す図である。 本発明の第1の実施形態に係る解析装置が解析する処理を含むシーケンスチャートである。 本発明の第1の実施形態に係る解析装置の文章解析部による文章解析の結果を示す図である。 本発明の第1の実施形態に係る解析装置のキーワード検出部により抽出されたキーワードを示す図である。 本発明の第1の実施形態に係る通信端末におけるフィルタリングおよびフィルタリングの結果を表示する処理を含むシーケンスチャートである。 本発明の第1の実施形態に係る通信端末のフィルタリング部によるフィルタリングの結果の一例を示す図である。 本発明の第1の実施形態に係る通信端末のフィルタリング部によるフィルタリングの結果の他の例を示す図である。 本発明の第1の実施形態に係る通信端末に登録されているパーソナル情報の一例を示す図である。 本発明の第1の実施形態に係る通信端末に登録されているパーソナル情報の他の例を示す図である。 本発明の第1の実施形態に係る通信端末に登録されているパーソナル情報の他の例を示す図である。 本発明の第2の実施形態に係る情報処理装置の構成を示すブロック図である。 各実施形態に示した装置を実現するハードウエア構成の一例を示す図である。
以下、本発明を実施について図面を参照して説明する。
第1の実施形態
図1は、本発明の第1の実施形態に係る情報処理システム1000の構成を示すブロック図である。図1に示すように、第1の実施形態に係る情報処理システム1000は、通信端末100、400、解析装置200およびメモ用端末300、500を備える。第1の実施形態に係る情報処理システム1000では、通信端末100、400間の通話内容を解析装置200において解析してキーワードを抽出し、抽出したキーワードに対してフィルタリングを行い、その結果を、例えばメモ用端末300、500に表示する。
以下、各構成要素について、図面を参照して説明する。
図2は、図1に示した情報処理システム1000における通信端末100の構成を示すブロック図である。図2に示すように、通信端末100は、音声入出力部110、通信部120、パーソナル情報生成部130、パーソナル情報DB(Data Base)140及びフィルタリング部150を備える。図1に示した通信端末400も、通信端末100と同様の構成を有する。
通信端末100は、ネットワークを介して音声通話を実現する機能を有する端末である。通信端末100の音声入出力部110は、例えば、通信端末100のユーザ(発話者)またはその周囲に発生した音声などを取得するマイクと、ネットワークを介して取得した音声などを発するスピーカ等を含む。
通信部120は、ネットワークを介して他の通信端末等と、音声通話の着信、発信またはデータ通信等の制御を行う。
パーソナル情報生成部130は、後述するフィルタリング部150が使用するパーソナル情報を、任意のタイミングで生成及び更新する。パーソナル情報生成部130は、パーソナル情報の更新を、例えば、数日ごと、数週間ごとなど、所定期間ごとに行っても良いし、ユーザが指示したタイミングで行っても良い。なお、任意のタイミングとは、このような例に限定されるものではない。
パーソナル情報DB140は、パーソナル情報生成部130が生成したパーソナル情報を格納する。
フィルタリング部150は、パーソナル情報DB140に格納されるパーソナル情報に基づいて、フィルタリングを行う。
図3は、図1に示した情報処理システム1000における解析装置200の構成を示すブロック図である。図3に示すように、解析装置200は、通信部210、音声認識部220、文章解析部230及びキーワード検出部240を備える。
図1に示した通信端末100と通信端末400は、その間の通信を制御する基地局制御装置や交換機によって、音声通話やデータ通信を実現しており、解析装置200は、基地局制御装置や交換機に含まれてもよい。
解析装置200の通信部210は、ネットワークを介して他の通信端末等との通信を行う。例えば、通信部210は、通信端末100と通信端末400の間でやりとりされる音声データの取得を行う。音声認識部220は、通信部210が取得した音声データに対して音声認識処理することでテキスト化し、テキストデータ(文字列)を生成する。文章解析部230は、生成されたテキストデータに形態素解析あるいは係り受け解析等の文章解析を行う。キーワード検出部240は、文章解析の結果から、キーワードを検出する。
図4は、図1に示した情報処理システム1000におけるメモ用端末300の構成を示すブロック図である。図4に示すように、メモ用端末300は、通信部310及び表示部320を備える。
通信部310は、通信端末100と通信を行う。表示部320は、通信部310を介して取得した情報の表示を行う。
メモ用端末500は、メモ用端末300と同様の構成を有する。メモ用端末300、500は、例えば、それぞれ通信端末100、400との通信機能を備えたウェアラブル端末であっても良い。
図5は、通信端末100のパーソナル情報生成部130の動作を示すフローチャートである。パーソナル情報生成部130は、通信端末100が、解析装置200から取得した後述するキーワードをフィルタリングするために使用するパーソナル情報を生成する。パーソナル情報生成部130は、後述するフィルタリングの前に、パーソナル情報を生成し、パーソナル情報DB140に登録しておく。
図5を参照して、パーソナル情報生成部130がパーソナル情報を生成する流れを説明する。ここで、パーソナル情報とは、通信端末100のメモリに格納される電子メールに含まれる情報(電子メール情報)やSNS(Social Networking Service)に含まれる情報(SNS情報)等に基づく、通信端末100のユーザの特徴に沿った情報である。
パーソナル情報生成部130は、通信端末100のメモリに登録されている上述の情報から、ユーザに紐付けられると考えられる情報を抽出する(S110)。パーソナル情報生成部130は、抽出した情報が、例えばメール本文の文章である場合(S120でYes)、その文章に形態素解析あるいは係り受け解析等の文章解析を行い、品詞等の形態素情報を抽出する(S130)(詳細は後述する)。パーソナル情報生成部130は、抽出した情報に基づいて、パーソナル情報を生成し、パーソナル情報DB140に登録する(S140)。
図6A乃至図6Cは、パーソナル情報生成部130により生成されたパーソナル情報の例を示す図である。パーソナル情報生成部130は、具体的には、例えば以下のようにパーソナル情報を生成する。
すなわち、パーソナル情報生成部130は、通信端末100のメモリに登録されている電話帳情報を抽出し、パーソナル情報DB140に図6Aに示すように登録する。登録される電話帳情報は、相手情報と内容とを含む。相手情報には、電話帳に登録された人名が含まれ、内容には、その人名に関して格納されている、例えば電話番号やメールアドレス等の関連情報が含まれる。また、形態素解析や係り受け解析等の結果得られた、人名や関連情報の品詞や形式なども含まれる。
パーソナル情報生成部130はまた、メモリから電子メール情報を抽出し、パーソナル情報DB140に図6Bに示すように登録する。登録される電子メール情報は、相手情報と内容とを含む。相手情報には、ユーザが送受信した電子メールの送受信相手の名前が含まれ、内容には、その電子メールのタイトル、本文、あるいは本文を解析して得られた情報が含まれる。また、形態素解析や係り受け解析等の結果得られた、人名や関連情報の品詞や形式なども含まれる。
パーソナル情報生成部130はまた、メモリからSNS情報を抽出し、パーソナル情報DB140に図6Cに示すように登録する。登録されるSNS情報は、相手情報と内容とを含む。相手情報には、ユーザがSNSにおいてメッセージなどを送受信した相手の名前が含まれ、内容には、そのメッセージのタイトル、本文、あるいは本文を解析して得られた情報が含まれる。また、SNSに投稿された記事のタイトル、本文、SNSに登録された友人関係、あるいは、それらを解析して得られた品詞等が含まれる。
図7は、通信端末100と通信端末400との間で送受信される音声データを、解析装置200が解析する処理を説明するシーケンスチャートである。図7を参照して、解析装置200による解析処理のシーケンスについて説明する。
通信端末100は、通信端末400との間で音声通話のための通信を開始する場合、通信端末100と通信端末400との間の通信を制御する基地局制御装置や交換機は、通信端末100と通信端末400との間の通信を制御して、通信回線を確立する。回線の確立によって通信端末400と通信端末100との間で通話が可能な状態になると、通信端末100からの音声データは、通信端末400に送られる(S210)。また、通信端末400からの音声データは、通信端末100に送られる。解析装置200は、この基地局制御装置や交換機に含まれてもよいし、ネットワークに配置されるいずれかの装置であってよい。なお、通信端末100と通信端末400との音声データのやり取りは、上記のような通信回線が確立されることによって行われることに限定されない。
解析装置200は、この通信端末100と通信端末400との間でやり取りされる音声データを受信する(S220)。
解析装置200は、通信部210において、例えば、「今日の15時にX案件打合せがあります。X案件の打合せ相手は、EさんとFさんです。」という音声データを通信端末100から取得したとする。
通信部210において取得された音声データは、音声認識部220に通知される。音声認識部220は、取得した音声データを音声認識処理することによりテキスト化し、テキストデータを生成する(S230)。この音声認識処理には、通常の技術が用いられればよい。
音声認識部220は、生成したテキストデータを、文章解析部230に通知する。文章解析部230は、取得したテキストデータに形態素解析等の文章解析を行う(S240)。図8Aは、文章解析部230による文章解析の結果を示す図である。図8に示すように、文章解析部230は、テキストデータを形態素に分解すると共に、テキストデータに関する表層情報(漢字、基本形、読み等)、品詞情報、活用形情報等を取得する。
さらに、文章解析部230は、生成されたテキストデータに、係り受け解析等の文章解析を行うことで、文節情報、係り受け情報等を取得する。
続いて、キーワード検出部240は、S240の解析結果からキーワードを検出する(S250)。図8Bは、キーワード検出部240により検出されたキーワードの一例を示す図である。キーワード検出部240は、例えば、文章解析の結果から得られた数値情報や固有名詞情報に基づいて、キーワードを検出しても良い。
具体的には、キーワード検出部240は、例えば、数値情報や、「時」、「分」、「秒」、あるいは、「今日」、「明日」などの字句に基づいて時間情報を抽出あるいは生成し、キーワードとして検出しても良い。図8Bに示す例では、「今日」という字句から「2016/03/30」というキーワードが検出され、「15時」という字句から「15:00」というキーワードが検出されたことを示す。
キーワード検出部240はまた、固有名詞情報に基づいて、場所情報や人名情報を、キーワードとして検出しても良い。図8Bに示す例では、固有名詞情報から「X案件」、「打合せ」、「X案件」、「Eさん」、「Fさん」というキーワードが検出されたことを示す。キーワード検出部240はまた、助詞、助動詞以外をキーワードとして検出しても良い。
上記のようにキーワードが検出されると、解析装置200は、通信部210を介して、検出したキーワードを通信端末100および通信端末400の少なくともいずれかに送信する(S260)。通信端末100および通信端末400にキーワードを送信するか否かは、予め設定されていてもよい。
図9は、通信端末100におけるフィルタリングおよびメモ用端末300におけるフィルタリングの結果の表示処理を説明するシーケンスチャートである。図9を参照して、通信端末100におけるフィルタリングおよびフィルタリングの結果を表示する処理を説明する。
通信端末100は、図7のS260に示した解析装置200からのキーワードを、通信部120において受信する(S310)。通信部120は、受信したキーワードを、フィルタリング部150に通知する。フィルタリング部150は、パーソナル情報DB140を用いて受信したキーワードのフィルタリングを行い(詳細は後述する)、表示ワードを抽出する(S320)。ここで、表示ワードとは、キーワードからフィルタリングによって抽出され、メモ用端末300に表示されるワードである。通信端末100は、抽出した表示ワードを、通信部120を介してメモ用端末300に送信する(S330)。
メモ用端末300は、通信部310において表示ワードを受信する(S340)。表示部320は、受信した表示ワードを表示する(S350)。
S320に示したフィルタリング部150のフィルタリング処理の詳細について説明する。フィルタリング部150は、パーソナル情報DB140に格納されたパーソナル情報に基づいて、解析装置200から受信されたキーワードに対してフィルタリングすることで、よりユーザに特化したキーワードを、表示ワードとして抽出する。
具体的には、フィルタリング部150は、パーソナル情報に含まれる単語のいずれもと一致しないキーワードを、表示ワードから除外してもよい。また、フィルタリング部150は、パーソナル情報に含まれるワードの出現頻度に基づいて、フィルタリングを行っても良い。これにより、既に出現したキーワードを既知の情報として表示ワードから除外することで、メモ用端末300に複数の同一ワードが表示されないようにしてもよい。
図10Aは、図8Bに示したキーワードに対する、フィルタリング部150によるフィルタリングの結果(すなわち、表示ワード)の一例を示す図である。図10Aに示すように、出現頻度に基づくフィルタリングにより、図8Bに示したキーワードに2回出現した「X案件」が2つ表示されることを防ぐことができる。
あるいは、たびたび出現しているキーワードについてはユーザは認識していると考えられるため、フィルタリング部150は、出現頻度が所定回数を超えるキーワードを、表示ワードから除外してもよい。
また、フィルタリング部150は、パーソナル情報DB140に登録されている、通話相手(受話者)との電子メール情報やSNS情報に含まれる固有名詞を用いてフィルタリングを行ってもよい。すなわち、パーソナル情報DB140に登録された、通話相手との電子メール情報やSNS情報に含まれる固有名詞以外の固有名詞を、表示ワードから除外してもよい。これにより、パーソナル情報DB140を、例えば日ごとや週ごとに更新している場合、パーソナル情報DB140には最新の話題に関する情報が登録されているので、現時点での旬な話題等を優先的にメモ用端末300に表示することができる。
ここで、通信端末400のユーザが「Dさん」であると仮定する。図6Cに示したパーソナル情報のうちのSNS情報に、「Dさん」とのやりとりが登録されているので、フィルタリング部150は、その内容に含まれるワードを、表示ワードに含めるようにしてもよい。図10Aに示す例では、図8Bに示すキーワードのうち、DさんとのSNS情報の内容に含まれる「Eさん」は表示しているが、パーソナル情報のSNS情報の内容に含まれない「Fさん」は表示しないことが示される。
なお、「Fさん」というワードが、Dさんとのやりとりではなく、他の人とのやりとりとしてパーソナル情報に登録されている場合、「Fさん」を表示ワードに含めるようにしてもよい。キーワードを表示ワードに含めるか否かは、表示領域の制限にしたがって予め設定されたワード数に応じて決定されてもよい。
また、フィルタリング部150は、パーソナル情報DB140に登録されている電話帳情報を用いてフィルタリングを行っても良い。すなわち、フィルタリング部150は、電話帳情報に登録されていない人名は、表示ワードに含めないようにしてもよい。
なお、フィルタリング部150は、ユーザにとって重要な情報であると考えられる日付情報や時間情報については、表示ワードに含めるようにしても良い。
また、フィルタリング部150は、キーワード検出部240により検出されたキーワード以外にも、ユーザに特化していると考えられる情報を、表示ワードとして表示してもよい。図11A乃至図11Cは、図1に示した通信端末400のメモリに登録されている、通信端末400のユーザのパーソナル情報の一例を示す図である。
通信端末400においても、解析装置200から、図8Bに示したキーワードを受信したとする。図11Bに示すように、パーソナル情報の電子メール情報に、「A社X案件」というワードが含まれている。フィルタリング部150は、解析装置200から受信したキーワードに含まれる「X案件」がこのようにパーソナル情報に含まれているため、表示ワードにも「X案件」を含める。さらに、パーソナル情報には、「A社X案件」というワードが含まれていることから、フィルタリング部150は、キーワードに含まれる「X案件」に関連するワードとして、図10Bに示すように、「A社」も、表示ワードに含めるようにしてもよい。このように、パーソナル情報に含まれている単語の一部が抽出されたキーワードに含まれている場合、その単語のすべてを、表示ワードに含めるようにしてもよい。
フィルタリング部150は、抽出した表示ワードを、通信部120に通知する。通信部120は、取得した表示ワードを、メモ用端末300の通信部310に通知する。メモ用端末300の通信部310は、上記図9のS340において説明したように、表示ワードを受信する。通信部310は、受信した表示ワードを、表示部320に通知する。表示部320は、上記図9のS350において説明したように、通知された表示ワードを表示領域に表示する。
なお、メモ用端末300の表示部320に表示された表示ワードをクリックすることで、電話を発信することや、表示ワードをインターネットで検索することが実現されてもよい。すなわち、メモ用端末300に電話番号が表示され、それがクリックされると、電話番号が通信端末100に送信されると共に、通信端末100がその電話番号に電話を発信してもよい。あるいは、メモ用端末300に表示ワードが表示され、それがクリックされると、表示ワードが通信端末100に送信されると共に、通信端末100においてその表示ワードがインターネットで検索されてもよい。
以上のように、本実施形態によれば、通信端末100は、その端末に格納されている情報に基づいてパーソナル情報を生成し、通信端末間でやり取りされる音声データから抽出されたキーワードに対して、パーソナル情報に基づいてフィルタリングを行う。この構成を採用することにより、本実施形態によれば、ユーザに関連する単語の出現頻度や、キーワードがパーソナル情報に含まれるか否か等に応じて、メモ用端末300に表示する単語を抽出するので、ユーザに特化した単語を抽出できるという効果が得られる。また、このため、メモ用端末の表示領域に制限がある場合でも、ユーザにとって価値の高い情報を優先的に表示できるという効果が得られる。
なお、本実施形態では、パーソナル情報DB140、及び、フィルタリング部150を通信端末100が備える構成について説明したが、パーソナル情報DB140、及び、フィルタリング部150を、例えば、通信端末100と通信可能な他の装置(以降、「表示ワード通知装置」と称する)に備える構成にしても良い。この場合、解析装置200のキーワード検出部240は、検出したキーワードを表示ワード通知装置に送信する。表示ワード通知装置は、図9のS320と同様にフィルタリングを行い、その結果を、メモ用端末300に通知する。また、解析装置200と表示ワード通知装置とを同一筐体内に配置してもよい。
また、本実施形態では、メモ用端末300、500と通信端末100、400を別装置とする構成について述べたが、通信端末100、400がメモ用端末300、500としての機能を兼ねた構成にしても良い。
また、本実施形態では、2者間の通話について説明したが、2者間の通話に限定されず、電話会議等の、複数の通話者がやり取りする場合にも利用されても良い。また、留守番電話にメッセージが残された場合に、そのメッセージから表示ワードを抽出し、メモ用端末に表示しても良い。この場合、通信端末100および400が、音声認識部220を備える構成にしてもよい。また、エリア放送等から、表示ワードを抽出し、メモ用端末に表示しても良い。
第2の実施形態
第1の実施形態の基本構成となる第2の実施形態について説明する。
図12は、本発明の第2の実施形態に係る情報処理装置600の構成を示すブロック図である。図12に示すように、第2の実施形態に係る情報処理装置600は、音声認識部610、フィルタリング部620および出力部630を備える。
音声認識部610は、音声データに基づいて文字列を生成する。フィルタリング部620は、音声認識部610により生成された文字列から抽出された1以上のキーワードを、予め記憶された、音声データの発話者に関連する1以上の単語に基づいてフィルタリングする。出力部630は、フィルタリング部620によるフィルタリングの結果を出力する。
第1の実施形態における音声認識部220、フィルタリング部150および通信部210をそれぞれ実現する一例として、第2の実施形態の音声認識部610、フィルタリング部620および出力部630が例示できるが、これに限定されない。
上記構成を採用することにより、本第2の実施形態によれば、上記キーワードを、音声データの発話者に関連する単語に基づいてフィルタリングするので、ユーザに特化した情報を抽出することができるという効果が得られる。
なお、図2等に示した装置の各部は、図13に例示するハードウエア資源において実現される。すなわち、図13に示す構成は、プロセッサ11、RAM(Random Access Memory)12、ROM(Read Only Memory)13、外部接続インタフェース14、記録装置15および各構成要素を接続するバス16を備える。
上述した各実施形態では、図13に示すプロセッサ11が実行する一例として、通信端末100、400、解析装置200に対して、上述した機能を実現可能なコンピュータ・プログラムを供給した後、そのコンピュータ・プログラムを、プロセッサ11がRAM12に読み出して実行することによって実現する場合について説明した。しかしながら、図2等に示した装置の各ブロックに示す機能は、一部または全部を、ハードウエアとして実現してもよい。
かかる供給されたコンピュータ・プログラムは、読み書き可能なメモリ(一時記憶媒体)またはハードディスク装置等のコンピュータ読み取り可能な記憶デバイスに格納すればよい。そして、このような場合において、本発明は、かかるコンピュータ・プログラムを表すコード或いはかかるコンピュータ・プログラムを格納した記憶媒体によって構成されると捉えることができる。
以上、上述した実施形態を参照して本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、種々の上記開示要素の多様な組み合わせ乃至選択など、当業者が理解し得る様々な態様を適用することができる。
この出願は、2016年9月29日に出願された日本出願特願2016-191298を基礎とする優先権を主張し、その開示の全てをここに取り込む。
11 プロセッサ
12 RAM
13 ROM
14 外部接続インタフェース
15 記録装置
16 バス
100 通信端末
110 音声入出力部
120 通信部
130 パーソナル情報生成部
140 パーソナル情報DB
150 フィルタリング部
200 解析装置
210 通信部
220 音声認識部
230 文章解析部
240 キーワード検出部
300 メモ用端末
310 通信部
320 表示部
400 通信端末
500 メモ用端末
600 情報処理装置
610 音声認識部
620 フィルタリング部
630 出力部
1000 情報処理システム

Claims (8)

  1. 音声データに基づいて文字列を生成する音声認識手段と、
    前記音声認識手段により生成された前記文字列から抽出された1以上のキーワードを、予め記憶された、前記音声データの発話者に関連する1以上の単語に基づいてフィルタリングするフィルタリング手段と、
    前記フィルタリング手段によるフィルタリングの結果を出力する出力手段と
    を備え
    前記発話者に関連する単語は、発話者と受話者の間で送受信されたテキスト情報から抽出された単語である情報処理装置。
  2. 前記フィルタリング手段は、前記抽出された1以上のキーワードのうち、前記発話者に関連する単語に一致しないキーワードを、前記結果から除外する
    請求項1記載の情報処理装置。
  3. 前記フィルタリング手段は、前記抽出された1以上のキーワードのうち、前記発話者に関連する単語の出現頻度に基づいて、当該単語を前記結果に含める、または前記結果から除外する
    請求項1または請求項2記載の情報処理装置。
  4. 前記発話者に関連する単語は、該発話者が使用する通信端末に記憶された、受話者とのメール情報から抽出された単語である
    請求項1乃至請求項3のいずれか1項記載の情報処理装置。
  5. 前記発話者に関連する単語は、該発話者が使用する通信端末に記憶された、受話者とのSNS(Social Networking Service)情報から抽出された単語である
    請求項1乃至請求項4のいずれか1項記載の情報処理装置。
  6. 前記フィルタリング手段は、前記発話者に関連するいずれかの単語の一部が前記キーワードに含まれている場合、前記単語のすべてを、前記結果に含めるようにフィルタリングする
    請求項1乃至請求項5のいずれか1項記載の情報処理装置。
  7. コンピュータが
    音声データに基づいて文字列を生成し、
    前記生成された前記文字列から抽出された1以上のキーワードを、予め記憶された、前記音声データの発話者と受話者の間で送受信されたテキスト情報から抽出された1以上の単語に基づいてフィルタリングし、
    前記フィルタリングの結果を出力する
    情報処理方法。
  8. 音声データに基づいて生成された文字列から抽出された1以上のキーワードを、予め記憶された、前記音声データの発話者と受話者の間で送受信されたテキスト情報から抽出された1以上の単語に基づいてフィルタリングする処理と、
    前記フィルタリングの結果を出力する処理と
    を、コンピュータに実行させるコンピュータ・プログラム。
JP2018542396A 2016-09-29 2017-09-15 情報処理装置、情報処理方法およびコンピュータ・プログラム Active JP7028179B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016191298 2016-09-29
JP2016191298 2016-09-29
PCT/JP2017/033447 WO2018061824A1 (ja) 2016-09-29 2017-09-15 情報処理装置、情報処理方法およびプログラム記録媒体

Publications (2)

Publication Number Publication Date
JPWO2018061824A1 JPWO2018061824A1 (ja) 2019-08-15
JP7028179B2 true JP7028179B2 (ja) 2022-03-02

Family

ID=61760521

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018542396A Active JP7028179B2 (ja) 2016-09-29 2017-09-15 情報処理装置、情報処理方法およびコンピュータ・プログラム

Country Status (3)

Country Link
US (1) US10950235B2 (ja)
JP (1) JP7028179B2 (ja)
WO (1) WO2018061824A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10713830B1 (en) * 2019-05-13 2020-07-14 Gyrfalcon Technology Inc. Artificial intelligence based image caption creation systems and methods thereof
US10728384B1 (en) * 2019-05-29 2020-07-28 Intuit Inc. System and method for redaction of sensitive audio events of call recordings

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009070180A (ja) 2007-09-13 2009-04-02 Internatl Business Mach Corp <Ibm> 情報の検索を支援する装置及び方法
US20150039308A1 (en) 2013-08-05 2015-02-05 Samsung Electronics Co., Ltd. Apparatus, server, and method for providing conversation topic
JP2015099290A (ja) 2013-11-20 2015-05-28 日本電信電話株式会社 発話内重要語抽出装置とその装置を用いた発話内重要語抽出システムと、それらの方法とプログラム
JP2016109784A (ja) 2014-12-03 2016-06-20 シャープ株式会社 情報処理装置、情報処理方法、対話システム、および制御プログラム
US9721570B1 (en) 2013-12-17 2017-08-01 Amazon Technologies, Inc. Outcome-oriented dialogs on a speech recognition platform

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4198786B2 (ja) 1998-06-30 2008-12-17 株式会社東芝 情報フィルタリングシステム、情報フィルタリング装置、映像機器および情報フィルタリング方法
JP2003085081A (ja) 2000-07-25 2003-03-20 Nosu:Kk 情報配信サービスシステム
US7444286B2 (en) * 2001-09-05 2008-10-28 Roth Daniel L Speech recognition using re-utterance recognition
JP3997459B2 (ja) * 2001-10-02 2007-10-24 株式会社日立製作所 音声入力システムおよび音声ポータルサーバおよび音声入力端末
JP2003241790A (ja) * 2002-02-13 2003-08-29 Internatl Business Mach Corp <Ibm> 音声コマンド処理システム、コンピュータ装置、音声コマンド処理方法およびプログラム
JP2004362121A (ja) 2003-06-03 2004-12-24 Sharp Corp 情報検索装置、携帯情報端末装置、情報検索方法、情報検索プログラム及び記録媒体
JP4558308B2 (ja) * 2003-12-03 2010-10-06 ニュアンス コミュニケーションズ,インコーポレイテッド 音声認識システム、データ処理装置、そのデータ処理方法及びプログラム
US8346620B2 (en) * 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
EP1672891A1 (en) * 2004-12-14 2006-06-21 Alcatel Method for transferring messages
JP2007213176A (ja) * 2006-02-08 2007-08-23 Sony Corp 情報処理装置および方法、並びにプログラム
JP5045670B2 (ja) * 2006-05-17 2012-10-10 日本電気株式会社 音声データ要約再生装置、音声データ要約再生方法および音声データ要約再生用プログラム
JP2008032834A (ja) * 2006-07-26 2008-02-14 Toshiba Corp 音声翻訳装置及びその方法
JP2008257655A (ja) 2007-04-09 2008-10-23 Sony Corp 情報処理装置及び方法、並びにプログラム
JP5381704B2 (ja) * 2007-04-10 2014-01-08 日本電気株式会社 情報提供システム
JP5313466B2 (ja) * 2007-06-28 2013-10-09 ニュアンス コミュニケーションズ,インコーポレイテッド 音声の再生に同期して音声の内容を表示させる技術
US20090125499A1 (en) * 2007-11-09 2009-05-14 Microsoft Corporation Machine-moderated mobile social networking for managing queries
JP5348754B2 (ja) 2008-02-12 2013-11-20 西日本電信電話株式会社 検索支援装置及び方法、ならびに、コンピュータプログラム
JP4670885B2 (ja) 2008-03-28 2011-04-13 ブラザー工業株式会社 時系列データ管理装置及びプログラム
JP5451982B2 (ja) * 2008-04-23 2014-03-26 ニュアンス コミュニケーションズ,インコーポレイテッド 支援装置、プログラムおよび支援方法
JP4854704B2 (ja) * 2008-05-15 2012-01-18 コニカミノルタビジネステクノロジーズ株式会社 データ処理装置、音声変換方法および音声変換プログラム
WO2011052412A1 (ja) * 2009-10-28 2011-05-05 日本電気株式会社 音声認識システム、音声認識要求装置、音声認識方法、音声認識用プログラムおよび記録媒体
JP5158174B2 (ja) * 2010-10-25 2013-03-06 株式会社デンソー 音声認識装置
JP2015038526A (ja) * 2011-03-31 2015-02-26 株式会社東芝 音声処理装置、及び音声処理方法
KR101850026B1 (ko) * 2011-11-07 2018-04-24 한국전자통신연구원 음성 인식 단문 메시지 서비스 기반의 사용자 맞춤 광고 장치, 및 음성 인식 단문 메시지 서비스 기반의 사용자 맞춤 광고 노출 방법
US20130339030A1 (en) * 2012-06-13 2013-12-19 Fluential, Llc Interactive spoken dialogue interface for collection of structured data
DE112012006617B4 (de) * 2012-06-25 2023-09-28 Hyundai Motor Company Bord-Informationsvorrichtung
US10026394B1 (en) * 2012-08-31 2018-07-17 Amazon Technologies, Inc. Managing dialogs on a speech recognition platform
JP2014203208A (ja) * 2013-04-03 2014-10-27 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
US10134395B2 (en) * 2013-09-25 2018-11-20 Amazon Technologies, Inc. In-call virtual assistants
CN104599680B (zh) * 2013-10-30 2019-11-26 语冠信息技术(上海)有限公司 移动设备上的实时口语评价系统及方法
CN104700836B (zh) * 2013-12-10 2019-01-29 阿里巴巴集团控股有限公司 一种语音识别方法和系统
JP5772942B2 (ja) * 2013-12-25 2015-09-02 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP2015153108A (ja) * 2014-02-13 2015-08-24 株式会社東芝 音声会話支援装置、及び音声会話支援方法及びプログラム
US9548049B2 (en) * 2014-02-19 2017-01-17 Honeywell International Inc. Methods and systems for integration of speech into systems
JP6400936B2 (ja) * 2014-04-21 2018-10-03 シノイースト・コンセプト・リミテッド 音声検索方法、音声検索装置、並びに、音声検索装置用のプログラム
KR101587625B1 (ko) * 2014-11-18 2016-01-21 박남태 음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법
JPWO2016181565A1 (ja) * 2015-05-14 2018-03-29 富士通株式会社 文字入力受付方法、文字入力受付装置及び文字入力受付プログラム
US10102198B2 (en) * 2015-12-08 2018-10-16 International Business Machines Corporation Automatic generation of action items from a meeting transcript

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009070180A (ja) 2007-09-13 2009-04-02 Internatl Business Mach Corp <Ibm> 情報の検索を支援する装置及び方法
US20150039308A1 (en) 2013-08-05 2015-02-05 Samsung Electronics Co., Ltd. Apparatus, server, and method for providing conversation topic
JP2015099290A (ja) 2013-11-20 2015-05-28 日本電信電話株式会社 発話内重要語抽出装置とその装置を用いた発話内重要語抽出システムと、それらの方法とプログラム
US9721570B1 (en) 2013-12-17 2017-08-01 Amazon Technologies, Inc. Outcome-oriented dialogs on a speech recognition platform
JP2016109784A (ja) 2014-12-03 2016-06-20 シャープ株式会社 情報処理装置、情報処理方法、対話システム、および制御プログラム

Also Published As

Publication number Publication date
US10950235B2 (en) 2021-03-16
WO2018061824A1 (ja) 2018-04-05
US20200043487A1 (en) 2020-02-06
JPWO2018061824A1 (ja) 2019-08-15

Similar Documents

Publication Publication Date Title
US9621698B2 (en) Identifying a contact based on a voice communication session
US8223932B2 (en) Appending content to a telephone communication
KR101942308B1 (ko) 메시지 기능을 제공하기 위한 방법 및 그 전자 장치
US7606856B2 (en) Methods, systems, and computer program products for presenting topical information referenced during a communication
JP2017530431A (ja) 迷惑電話番号確定方法、装置及びシステム
US8494851B2 (en) System and method for contextual social network communications during phone conversation
US10966063B2 (en) Message management methods and systems
KR20170048964A (ko) 메시지 제공 방법, 장치, 및 컴퓨터 프로그램과, 표시 제어 방법, 장치 및 컴퓨터 프로그램
US20170061005A1 (en) Automatic Background Information Retrieval and Profile Updating
US9172795B1 (en) Phone call context setting
US8078468B2 (en) Speech recognition for identifying advertisements and/or web pages
JP7028179B2 (ja) 情報処理装置、情報処理方法およびコンピュータ・プログラム
JP4970330B2 (ja) 会話支援装置及び方法
EP2740045A1 (en) Contextual based communication method and user interface
JP2005346493A (ja) コミュニケーション装置及びコミュニケーション概要作成方法
KR101949736B1 (ko) 포터블 디바이스 및 그 제어 방법
WO2019213808A1 (en) Method for operating a piece of equipment for organising a voicemail inbox
JP7400945B2 (ja) サーバ、特定システム、特定方法及び特定プログラム
JP5996356B2 (ja) 通信端末
KR20200078473A (ko) 다중 통신 플랫폼 환경에서 통신 이벤트에 대한 문맥 키워드 집합을 제공하는 방법, 시스템 및 장치
JP2020087262A (ja) 情報提示システム、情報提示装置、情報提示方法及びコンピュータプログラム
KR20190061634A (ko) 콘텐츠 공유로 시작되는 영상대화 방법
JP2014142688A (ja) 情報処理装置、情報処理方法及びプログラム
JP2014149554A (ja) 情報処理装置、情報処理方法および情報処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190320

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200817

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20211020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220131

R151 Written notification of patent or utility model registration

Ref document number: 7028179

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151