JP6524008B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP6524008B2
JP6524008B2 JP2016058258A JP2016058258A JP6524008B2 JP 6524008 B2 JP6524008 B2 JP 6524008B2 JP 2016058258 A JP2016058258 A JP 2016058258A JP 2016058258 A JP2016058258 A JP 2016058258A JP 6524008 B2 JP6524008 B2 JP 6524008B2
Authority
JP
Japan
Prior art keywords
sentence
word
importance
compound
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016058258A
Other languages
English (en)
Other versions
JP2017174059A (ja
Inventor
泰成 宮部
泰成 宮部
後藤 和之
和之 後藤
長 健太
健太 長
政久 篠崎
政久 篠崎
佳祐 酒主
佳祐 酒主
国威 祖
国威 祖
薫 平野
薫 平野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Digital Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Digital Solutions Corp filed Critical Toshiba Corp
Priority to JP2016058258A priority Critical patent/JP6524008B2/ja
Priority to US15/456,843 priority patent/US20170277679A1/en
Publication of JP2017174059A publication Critical patent/JP2017174059A/ja
Application granted granted Critical
Publication of JP6524008B2 publication Critical patent/JP6524008B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/253Grammatical analysis; Style critique
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/284Lexical analysis, e.g. tokenisation or collocates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/53Processing of non-Latin text
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Description

本発明の実施形態は、情報処理装置、情報処理方法およびプログラムに関する。
近年の情報システムの高度化に伴い、特許文献、新聞記事、ウェブページ、および、書籍といった文書、並びに、映像および音声などのメディアデータを蓄積することが可能になっている。これらの蓄積されたメディアデータから、概要や要約を簡単に知ることが可能となる技術が求められている。
このような技術の1つとして、単語の頻度などと、ユーザが選択したキーワードに関する重要度とを合わせて重要文を選択する技術が提案されている。
特開2009−217802号公報
"出現頻度と連接頻度に基づく専門用語抽出",中川浩志,湯本紘彰,森辰則,自然言語処理. 10(1), 2003−01, pp.27−46
しかしながら、従来技術では、重要文を適切に選択できない場合があった。例えば、頻度の多い一般語を含んだ文を重要文として選択する場合、および、頻度は少ないが重要な語を含んだ文を重要文として選択できない場合があった。
実施形態の情報処理装置は、抽出部と、第1の算出部と、第2の算出部と、を備える。抽出部は、文集合に含まれる文から、複数の単語により構成される複合語、および、複合語を構成する単語以外の第1の単語を抽出する。第1の算出部は、第1の単語の出現頻度、および、複合語の出現頻度に基づいて、第1の単語および複合語の重要度を示す第1の重要度を算出する。第2の算出部は、文集合に含まれる第1の文に対して、第1の文に含まれる第1の単語および複合語の第1の重要度に基づいて、第1の文の重要度を示す第2の重要度を算出する。
図1は、第1の実施形態の情報処理装置を含むシステムの機能構成例を示すブロック図である。 図2は、記憶装置に記憶される文の一例を示す図である。 図3は、第1の実施形態における重要文表示処理の一例を示すフローチャートである。 図4は、音声入力処理および音声認識処理の具体例を説明する図である。 図5は、第1の実施形態の抽出・算出処理の一例を示すフローチャートである。 図6は、第1の実施形態の重要度算出処理の一例を示すフローチャートである。 図7は、重要文の出力処理の一例を示す図である。 図8は、第2の実施形態の情報処理装置を含むシステムの機能構成例を示すブロック図である。 図9は、フィラー変換ルールのデータ構造の一例を示す図である。 図10は、第2の実施形態における重要文表示処理の一例を示すフローチャートである。 図11は、フィラー変換処理の一例を示すフローチャートである。 図12は、記憶装置に記憶される文の他の例を示す図である。 図13は、第3の実施形態の情報処理装置を含むシステムの機能構成例を示すブロック図である。 図14は、第3の実施形態における重要文表示処理の一例を示すフローチャートである。 図15は、算出処理の一例を示すフローチャートである。 図16は、算出処理の一例を示すフローチャートである。 図17は、重要文の出力処理の一例を示す図である。 図18は、第4の実施形態の情報処理装置を含むシステムの機能構成例を示すブロック図である。 図19は、辞書のデータ構造の一例を示す図である。 図20は、第1から第4の実施形態にかかる情報処理装置のハードウェア構成例を示す説明図である。
以下に添付図面を参照して、この発明にかかる情報処理装置の好適な実施形態を詳細に説明する。
(第1の実施形態)
上記のように、蓄積されたメディアデータなどから概要を簡単に知ることを可能とする技術が求められている。例えば、以下のような要望がある。
・チーム内での会議で、メンバーの発言を音声認識し、認識したテキストから、会議の内容を短時間で把握する。
・コンタクトセンタで、顧客の問い合わせを音声認識し、認識したテキストから、問合わせ内容を把握し、アフターコールレポートを作成する。
第1の実施形態にかかる情報処理装置は、単語のみの重要度ではなく、複合語の重要度も考慮して文の重要度を算出する。複合語は、複数の単語により構成される語である。複合語は、これら複数の単語によって、文の意味が明確になり易く、話題を表す重要語であることが多い。逆に、複合語でない単語が話題を表すならば、話し手や書き手は、複合語を利用せずに、複合語でない単語を頻繁に利用するはずである。本実施形態では、複合語の重要度を考慮することにより、より高精度に文の重要度を算出可能となる。この結果、音声認識した発話集合やテキストの集合から、より精度よく重要文を選択することが可能となる。
図1は、第1の実施形態の情報処理装置を含むシステムの機能構成例を示すブロック図である。本実施形態のシステムは、情報処理装置100と、端末200と、認識装置300と、記憶装置400とが、ネットワーク500で接続された構成となっている。
ネットワーク500は、例えば、LAN(ローカルエリアネットワーク)、および、インターネットなどである。ネットワーク500の形態はこれらに限られず、任意のネットワーク形態とすることができる。
端末200は、例えば、スマートフォン、タブレット、および、PC(パーソナルコンピュータ)などのユーザが利用する端末装置である。端末200は、音声入力部201と、表示制御部202と、を備えている。
音声入力部201は、ユーザにより発話された音声等を入力する。表示制御部202は、ディスプレイなどの表示装置に対する表示処理を制御する。例えば表示制御部202は、認識装置300による音声の認識結果、および、選択された重要文を表示する。
認識装置300は、音声を認識して認識結果を示すテキストを出力する。例えば認識装置300は、ユーザが音声入力部201を介して入力した音声を音声認識し、認識結果をテキストに変換し、変換したテキストを文ごとに、記憶装置400に記憶する。
記憶装置400は、各種情報を記憶する記憶部を備える装置である。記憶部は、HDD(Hard Disk Drive)、光ディスク、メモリカード、RAM(Random Access Memory)などの一般的に利用されているあらゆる記憶媒体により構成することができる。
記憶装置400は、例えば音声入力部201によって入力されたユーザの音声が認識装置300によって音声認識された結果である文を記憶する。図2は、記憶装置400に記憶される文(テキストデータ)の一例を示す図である。
図2に示すように、テキストデータは、IDと、発話時間と、音声ファイルと、文の標記と、形態素と、を含む。IDは、このテキストデータを識別する情報である。発話時間は、音声が入力された時刻である。音声ファイルは、音声を録音して保持したファイルを特定する情報(例えばパスおよびファイル名)である。文の表記は、音声認識の結果である。形態素は、音声認識したテキスト(文の標記)を形態素の単位で分けた結果である。図2では、記号「/」が各形態素の区切りを表している。なお、形態素は記憶されなくてもよい。例えば、情報処理装置100による処理時に、各文を対象に形態素解析を行ってもよい。
図1に戻り、情報処理装置100は、文集合に含まれる文に対して、重要度を算出する装置である。文の重要度は、文集合に含まれる文から重要文を選択するために利用することができる。文集合は複数の文を含むものであれば、どのような集合であってもよい。例えば文集合は、認識装置300により認識され記憶装置400に記憶された文の集合である。文集合は、音声認識の結果である必要はなく、ウェブページなどから検索された文書の集合、メディアデータの集合、および、これらの集合の組み合わせであってもよい。
なお図1に示す構成は一例であり、これに限られるものではない。ある装置の機能の少なくとも一部が他の装置に備えられていてもよいし、複数の装置の機能を1つの装置内に備えてもよい。例えば、記憶装置400の機能(情報を記憶する機能)は、認識装置300および情報処理装置100の少なくとも一方に備えられていてもよい。また例えば、認識装置300、記憶装置400、および、情報処理装置100の機能の一部または全部を、1つの装置内に備えるように構成してもよい。
次に、情報処理装置100の機能構成の詳細について説明する。図1に示すように、情報処理装置100は、抽出部101と、算出部102(第1の算出部)と、算出部103(第2の算出部)と、を備える。
抽出部101は、文集合に含まれる文から、複合語、および、複合語を構成する単語以外の単語(第1の単語)を抽出する。例えば抽出部101は、記憶装置400に記憶された各文から、単語および複合語を抽出する。
算出部102は、抽出された単語および複合語の重要度(第1の重要度)を算出する。例えば算出部102は、抽出された単語の出現頻度、および、複合語の出現頻度に基づいて、抽出された単語および複合語の重要度を算出する。
算出部103は、文集合に含まれる各文(第1の文)の重要度を算出する。例えば算出部103は、文集合に含まれる各文に対して、文に含まれる単語および複合語に対して算出された重要度に基づいて、文の重要度(第2の重要度)を示すスコアを算出する。
なお、端末200および情報処理装置100の各部(音声入力部201、表示制御部202、抽出部101、算出部102、算出部103)は、例えば、CPU(Central Processing Unit)などの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、IC(Integrated Circuit)などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
次に、このように構成された第1の実施形態にかかる情報処理装置100による重要文表示処理について図3を用いて説明する。図3は、第1の実施形態における重要文表示処理の一例を示すフローチャートである。
端末200の音声入力部201は、ユーザ等により発話された音声を入力する(ステップS101)。認識装置300は、入力された音声を音声認識し、音声認識したテキストを、文ごとに記憶装置400に記憶する(ステップS102)。音声認識方法は、任意の手法でよい。テキストを文に分割する方法も任意の手法でよい。例えば、無音区間の長さが閾値を超えた場合に文の区切りであると判定して文に分割してもよい。音声認識処理とともに文に分割する処理が実行されてもよい。入力された音声を録音し、後で音声を確認できるようにしてもよい。
図4は、ステップS101およびステップS102の音声入力処理および音声認識処理の具体例を説明する図である。図4は、ユーザにより入力された音声を音声認識したテキスト、および、選択された重要文を表示する表示画面の例である。表示画面は、録音開始ボタン401と、音声再生ボタン402と、表示制御ボタン403と、表示領域404と、を含む。
例えばユーザは、録音開始ボタン401を押下した後、音声の入力を開始する。入力された音声は、認識装置300に送信され、認識装置300により音声認識される。また、音声認識の結果は記憶装置400に記憶される。表示領域404は、このようにして得られた認識結果を表示する領域である。なお、録音開始ボタン401を押下すると、録音開始ボタン401は、録音終了ボタン405に変更される。録音終了ボタン405が押下されるまで、入力された音声を対象に、音声認識と録音が行われる。
図3に戻り、ステップS102の完了後、情報処理装置100は、文集合を対象に重要文表示処理を行う(ステップS103〜ステップS106)。まず、抽出部101は、文集合から、複合語、および、複合語を構成する単語以外の単語を抽出する(ステップS103)。算出部102は、抽出された単語および複合語の重要度を算出する(ステップS104)。算出部103は、算出した重要度を元にさらに各文の重要度を算出する(ステップS105)。ステップS103〜ステップS105の詳細は後述する。
端末200の表示制御部202は、各文の重要度を参照し、重要な順番に文を選択して表示する(ステップS106)。例えば表示制御部202は、重要度が大きい順に所定数の文を重要文として抽出し、抽出した重要文を発話時間順に並べ、表示装置に表示する。
次に、ステップS103、ステップS104の抽出・算出処理の詳細について説明する。図5は、第1の実施形態の抽出・算出処理の一例を示すフローチャートである。
抽出部101は、重要文を選択する対象となる文集合を取得する(ステップS201)。文集合は、例えば、記憶装置400に記憶されているすべての文集合、または、記憶されている文集合のうち特定の日時に発話された文の集合などである。特定の日時は、ユーザが端末200を起動した年月日を起点として、起点と同じ年、起点と同じ月、および、期限と同じ日などである。特定の日、または、特定の日の特定の時間を、端末200から指定可能としてもよい。
抽出部101は、算出処理で用いる各変数を初期化する(ステップS202)。例えば抽出部101は、変数countL(x)、countR(x)、および、idListを初期化する。countL(x)は、複合語を構成する単語の左の連接頻度を保持する変数である。countR(x)は、複合語を構成する単語の右の連接頻度を保持する変数である。「x」は、単語の識別情報(Id)である。すなわち、単語ごとに左右の連接頻度が保持される。idListは、複合語を構成する単語(形態素)の識別情報(Id)のリストを保持する変数である。
抽出部101は、文集合から未処理の文を取得する(ステップS203)。抽出部101は、各文の処理で用いる各変数を初期化する(ステップS204)。例えば抽出部101は、変数tempTerm、preIdを初期化する。tempTermは、生成する単語および複合語の文字列を保持する変数である。preIdは、処理対象の形態素の1つ前の単語または複合語の識別情報である。
抽出部101は、取得した文に含まれる形態素のうち未処理の形態素mを取得する(ステップS205)。抽出部101は、形態素mが複合語を構成する単語であるか否かを判定する(ステップS206)。例えば抽出部101は、品詞および文字種などを考慮して、形態素mが複合語を構成する単語か否かを判定する。
品詞を用いる場合、抽出部101は、例えば、品詞が「名詞」の場合に、形態素mが複合語を構成する単語であると判定する。抽出部101は、品詞が「名詞」、「動詞」、および、「形容詞」などの自立語である場合に、形態素mが複合語を構成する単語であると判定してもよい。文字種を用いる場合、抽出部101は、例えば、「漢字、カタカナ、アルファベットを含む文字」である場合に、形態素mが複合語を構成する単語であると判定する。
複合語を構成する単語となる場合(ステップS206:Yes)、抽出部101は、tempTermに形態素mの文字列を追加し、idListに形態素mのIdを追加する(ステップS207)。抽出部101は、preIdが初期値であるか否かを判定する(ステップS208)。preIdが初期値でなければ(ステップS208:No)、抽出部101は、形態素の連接頻度を更新する(ステップS209)。例えば抽出部101は、countL(形態素mのId)およびcountR(preId)に対して、それぞれ1を加算する。抽出部101は、preIdに形態素mのIdを代入する(ステップS210)。
なおpreIdが初期値の場合(ステップS208:Yes)、抽出部101は、ステップS209は実行せずに、ステップS210のみを実行する。preIdが初期値でない場合は、複合語を構成する単語が2つ以上続いていて、連接する場合である。この場合、preIdの文字列の右側には形態素mが連接していて、逆に形態素mの左側にはpreIdの文字列が連接している。従って抽出部101は、形態素mのIdに対応する左側の連接頻度の変数countL(形態素mのId)に1加算し、preIdに対応する右側の連接頻度の変数countR(preId)に1加算する。
ステップS206で、形態素mが複合語を構成する単語とならない場合(ステップS206:No)、抽出部101は、その時点でのtempTermが示す文字列を、単語または複合語として生成する(ステップS211)。例えばidListに含まれるIdが1つの場合、抽出部101は、このIdが示す単語を生成する。idListに含まれるIdが2以上の場合、抽出部101は、これらのIdが示す単語から構成される複合語を生成する。このように、その時点でのidListに含まれるIdが2つ以上の場合は複合語が生成され、1つのみの場合は単語が生成される。なお抽出部101は、tempTermが示す文字列の長さによって、単語または複合語を生成するか否かを判定する。例えば、文字列の長さが空の場合、および、文字列が1文字以下の場合は、抽出部101は、単語および複合語を生成しない。
抽出部101は、単語または複合語を生成するときに、これらの語が属する文の識別情報(文のId)を保持しておく。また、単語または複合語を生成後、抽出部101は、tempTerm、および、preIdを初期化する。
ステップS210またはステップS211の後、抽出部101は、すべての形態素を処理したか否かを判定する(ステップS212)。すべての形態素を処理していない場合(ステップS212:No)、ステップS205に戻り、抽出部101は、次の形態素を取得して処理を繰り返す。
すべての形態素を処理した場合(ステップS212:Yes)、抽出部101は、ステップS211と同様に、その時点でのtempTermが示す文字列を、単語または複合語として生成する(ステップS213)。
抽出部101は、すべての文を処理したか否かを判定する(ステップS214)。すべての文を処理していない場合(ステップS214:No)、ステップS203に戻り、抽出部101は、次の文を取得して処理を繰り返す。
すべての文を処理した場合(ステップS214:Yes)、算出部102は、生成された単語および複合語の重要度を算出する(ステップS215)。例えば算出部102は、以下の(1)式および(2)式により求められるスコアFLRを、単語および複合語の重要度として算出する。
Figure 0006524008
FLR(t)=(log(LR(t))+1)×freq(t) ・・・(2)
(1)式は、非特許文献1の式(3)と同様の式である。(1)式により、複合語“N1N2・・・NL”に対するスコアLRが算出される。なお、複合語を構成する単語を“Ni”(1≦i≦L、Lは複合語を構成する単語の個数)としている。
構成する単語が1つの場合は、単語に対するスコアが算出される。FL(Ni)は、単語Niの左側の連接頻度であり、FR(Ni)は、単語Niの右側の連接頻度である。図5の例では、countL(x)およびcountR(x)が、Id=xである単語NiのFL(Ni)およびFR(Ni)に相当する。FLおよびFRに1を加算しているのは、左右の連接頻度のいずれかが1つでも0となった場合、LRの値が0となることを防ぐためである。すなわち、この(1)式では、複合語を構成するすべての単語における左右の連接頻度の相乗平均がスコアになっている。なお、ここでは、FLおよびFRを頻度としているが、単語の種類数としてもよい。
(2)式は、単語および複合語tの重要度を示すスコアである。(1)式で求められるLRにlogをかけて1を加算した値に、freq(t)を乗じた値である。freq(t)は、単語および複合語が単独で出現した頻度を表す。単独で出現したとは、他の単語および複合語に包含されることなく出現することを表す。(2)式のように、LRにlogをかけて1を加算せずに、以下の(3)式のようにFLRを算出してもよい。(3)式は、非特許文献1の式(4)と同様の式である。
FLR(t)=LR(t)×freq(t) ・・・(3)
非特許文献1では、語の持つべき重要な性質として、ユニット性について記載されている。ユニット性は、ある言語単位(複合語を構成する単語、複合語など)が、テキスト集合の中で安定して利用される度合いを表す。ユニット性の高い語はそのテキスト集合の基本的な概念を表すことが多いという仮説に基づいている。本実施形態によれば、このようなユニット性の高い重要な語を多く含んだ文を重要な文として選択可能となる。また、複合語による抽出方法は、算出量が「文書数×各文書の単語数」である。このため、例えば、関連語や文の類似度を算出する方法と比べて、高速に重要文を選択可能となる。
なお、単語および複合語の重要度の算出方法は上記に限られるものではない。例えば単語の出現頻度および複合語の出現頻度に基づく他の重要度の算出方法を適用してもよい。
ここで、LRとFLRの算出処理の具体例について説明する。処理対象とする文集合での単語および複合語の出現回数が、それぞれ次の場合を仮定する。
・「メディア/インテリジェンス」(「メディア」および「インテリジェンス」という単語から構成される):1回出現
・「メディア/インテリジェンス/技術」(「メディア」、「インテリジェンス」および「技術」いう単語から構成される):3回出現
・「メディア/処理」(「メディア」および「処理」という単語から構成される):2回出現
・「技術/革新」(「技術」と「革新」という単語から構成される):1回出現
「メディア/インテリジェンス/技術」のLRは、「メディア」と「インテリジェンス」と「技術」の左右の連接頻度の相乗平均によって算出される。「メディア」は、左側の単語と0回接続し、右側では「インテリジェンス」と4回連続し、「処理」と2回連続するため、合わせて6回接続する。「インテリジェンス」は、左側では「メディア」と4回接続し、右側では「技術」と3回接続する。「技術」は、左側では「インテリジェンス」と3回接続し、右側では「革新」と1回接続する。
従って、(1)式により、以下のようにLRが算出される。
LR(メディアインテリジェンス技術)
=(FL(メディア)+1)×(FR(メディア)+1)
×(FL(インテリジェンス)+1)×(FR(インテリジェンス)+1)
×(FL(技術)+1)×(FR(技術)+1)
=((0+1)×(6+1)×(4+1)×(3+1)×(3+1)×(1+1))^(1/6)
=2.87
続いて、「メディアインテリジェンス技術」のFLRは、「メディアインテリジェンス技術」単独の出現頻度は3であるため、(2)式から以下のように算出される。
FLR(メディアインテリジェンス技術)
=LR(メディアインテリジェンス技術)×freq(メディアインテリジェンス技術)
=(log(2.87)+1)×3
=6.16
(3)式を用いる場合は、FLRは以下のように算出される。
FLR(メディアインテリジェンス技術)
=LR(メディアインテリジェンス技術)×freq(メディアインテリジェンス技術)
=2.87×3
=8.61
次に、ステップS105の重要度算出処理の詳細について説明する。図6は、第1の実施形態の重要度算出処理の一例を示すフローチャートである。
算出部103は、文の重要度を示すスコア(ScoreS)を初期化する(ステップS301)。ScoreSは、各文に対して求められる。以下では、例えばScoreS(Id)は、識別情報が“Id”である文のスコアを表すものとする。算出部103は、図3のステップS102で抽出された単語および複合語について、以下の処理を繰り返す。
算出部103は、未処理の単語または複合語(以下、kとする)を取得する(ステップS302)。算出部103は、kが出現するすべての文(識別情報=“Id”とする)について、ScoreS(Id)にkの重要度を加算する(ステップS303)。算出部103は、すべての単語および複合語を処理したか否かを判定する(ステップS304)。
すべての単語および複合語を処理していない場合(ステップS304:No)、次の単語または複合語を取得して処理を繰り返す。すべての単語および複合語を処理した場合(ステップS304:Yes)、算出部103は、ScoreSの値によって各文をソートする(ステップS305)。算出部103は、ソート結果に従い、各文のランキング(順位)を返す(ステップS306)。なお、算出部103は、ScoreSを文の重要度としてもよいし、ScoreSによってソートした後のランキング(順位)を文の重要度としてもよい。
ここで、文の重要度の算出処理の具体例について説明する。ここでは、例文「/A社/は/メディア/インテリジェンス/技術/を/長年/に/わたり/研究/し/て/き/まし/た/」に対する重要度の算出処理の例を説明する。この文では、複合語「メディアインテリジェンス技術」、並びに、単語「A社」、「長年」および「研究」に対して重要度が算出される。以下のように重要度が算出されたものとする。
・「A社」:3.0
・「メディアインテリジェンス技術」:6.16
・「長年」:1.0
・「研究」:3.0
この場合、文の重要度は3.0+6.16+1.0+3.0=13.16と算出される。このように、上記例文に含まれる単語および複合語のうち、重要度の算出対象となる語は、「A社」、「メディアインテリジェンス技術」、「長年」、および、「研究」である。本実施形態では、「メディアインテリジェンス技術」を構成する単語である「メディア」、「インテリジェンス」、および、「技術」でなく、複合語である「メディアインテリジェンス技術」に対して算出された重要度が、文の重要度に加算される。すべての文に対して、このようにして重要度が算出される。その後算出部103は、重要度の順で文をソートし、各文のランキング結果(順位)を返す。
次に、本実施形態による重要文の出力処理の例について説明する。図7は、重要文の出力処理の一例を示す図である。
図7は、算出されたランキング結果、および、要約レベルに応じて、重要文が表示される例を示す。要約レベルは、例えば「大」、「中」、「小」、「無」のいずれかが選択できる。表示画面710は、要約レベルとして「無」711が選択された場合の画面の例である。表示画面720は、要約レベルとして「大」721が選択された場合の画面の例である。
要約レベルが「無」の場合、重要文の選択対象のすべての文が表示される。要約レベルとして「大」、「中」、および、「小」のいずれかが選択されると、処理対象の文のうち、上位y件の重要文が表示される。yは、例えば要約レベルに応じた割合(要約率)から求められる。例えば、「大」は要約率10%、「中」は要約率30%、「小」は要約率50%とする。処理対象の文が30件であり、要約レベル「大」が選択された場合は、ランキングの上位3件(30×10%)の文が重要文として選択され、画面に表示される。重要文の選択は、情報処理装置100(例えば算出部103)により実行されてもよいし、端末200(例えば表示制御部202)により実行されてもよい。
以上のように、第1の実施形態によれば、ユーザがすべての文を確認することなく、短時間で文集合の概要を把握することが可能となる。また、複合語を構成する単語のユニット性という考えに基づいて単語および複合語の重要度を算出し、その重要度に基づいて文の重要度を算出する。このため、より高精度に重要文を選択可能となる。
(第2の実施形態)
特に音声から認識された文集合などでは、文の中に感動詞が含まれることがある。感動詞は、文の概要を示す語ではなく、文の重要度を算出するときに考慮する必要がない場合が多い。第2の実施形態にかかる情報処理装置は、感動詞などの特定の文字列を別の文字列に変換し、変換処理を実行した後の文集合を対象として、文の重要度を算出する。これにより、文の重要度をより高精度に算出することができる。
図8は、第2の実施形態の情報処理装置を含むシステムの機能構成例を示すブロック図である。本実施形態のシステムは、情報処理装置100−2と、端末200と、認識装置300と、記憶装置400とが、ネットワーク500で接続された構成となっている。情報処理装置100−2以外は第1の実施形態と同様の構成であるため同一の符号を付し説明を省略する。
情報処理装置100−2は、図1の各部に加えて、変換部104−2をさらに備える。変換部104−2は、文集合に含まれる文それぞれについて、当該文に含まれる特定の文字列(第1の文字列)を、別の文字列(第2の文字列)に変換する。変換部104−2は、例えば、記憶装置400に記憶されているテキストデータに含まれる文の表記を、フィラー変換ルールを用いて、別の表記に変換する。
フィラー変換ルールは、文字列中の特定の文字列(フィラー)を別の文字列に変換するためのルールである。フィラー変換ルールは、情報処理装置100−2内の記憶部等に記憶してもよいし、記憶装置400などの外部装置に記憶してもよい。図9は、フィラー変換ルールのデータ構造の一例を示す図である。
図9に示すように、フィラー変換ルールは、変換前表記と、変換後表記と、適用条件とを含む。変換部104−2は、変換前表記と一致する形態素が、例えば図2のテキストデータ内に存在すれば、この形態素の標記を変換後表記に変換する。変換後表記に記載がない場合は、変換前標記は空文字に変換される。図9の例では、変換前表記が「えー」、「あー」、「はい」、および、「えー/とお」の場合は、これらの表記が空文字に変換される。また「えー/とお」のように、複数の形態素を対象にすることもある。
適用条件は、フィラー変換ルールを適用する対象を絞り込む条件である。適用条件の記載方法は任意であるが、図9のように例えば正規表現で記載することができる。適用条件に記載がない場合は絞り込みを実行しない。変換前表記が「はい」の例では、適用条件が「(?<=はい[、。]?)はい」となっている。この適用条件は、「はい。はい」や「はいはい」などの形態素を対象に絞り込み、「はい」を1つ空文字に変換するルールの例である。
変換部104−2による変換処理はフィラー変換ルールを用いる方法に限られるものではない。例えば、形態素解析等で求められる形態素の品詞を参照し、品詞が特定の品詞(例えば感動詞)である場合に対応する形態素を削除(空文字に変換)する方法を適用してもよい。なお、抽出部101は、変換部104−2により文字列が変換された後の文集合に含まれる文から、複合語などの抽出処理を実行すればよい。
次に、このように構成された第2の実施形態にかかる情報処理装置100−2による重要文表示処理について図10を用いて説明する。図10は、第2の実施形態における重要文表示処理の一例を示すフローチャートである。
ステップS401、ステップS402、ステップS404からステップS407は、第1の実施形態にかかる情報処理装置100におけるステップS101からステップS106と同様の処理なので、その説明を省略する。
本実施形態では、単語・複合語の抽出の前に、変換部104−2がフィラー変換処理を実行する(ステップS403)。フィラー変換処理の詳細については次の図11を用いて説明する。図11は、フィラー変換処理の一例を示すフローチャートである。
変換部104−2は、重要文を選択する対象となる文集合を取得する(ステップS501)。変換部104−2は、未処理の文Si(iは1以上、文の個数以下の整数)を取得する(ステップS502)。変換部104−2は、取得した文Siに含まれる未処理の形態素mを取得する(ステップS503)。
変換部104−2は、取得した形態素mがフィラー変換ルールのいずれかに適合するか否かを判定する(ステップS504)。例えば変換部104−2は、形態素mが、図9のようなフィラー変換ルールに含まれるいずれかの「変換前表記」に一致するか判定する。また変換部104−2は、一致する「変換前表記」がある場合、形態素mが「変換前表記」に対応する適用条件を満たすか判定する。なお、ここでの判定は、単一の形態素がルールに一致したか否かだけでなく、単一の形態素でのルールの一致が連続し複数の形態素がルールに一致した場合も含む。これにより、例えば「変換前表記」が複数の形態素を含む場合であっても、適切に判定可能となる。
適合する場合(ステップS504:Yes)、変換部104−2は、形態素mを、適合したフィラー変換ルールで定められる変換後の文字列(例えば図9の「変換後表記」に変換する(ステップS505)。適合するフィラー変換ルールが存在しない場合(ステップS504:No)、変換部104−2は、すべての形態素を処理したか否かを判定する(ステップS506)。
すべての形態素を処理していない場合(ステップS506:No)、変換部104−2は、ステップS503に戻り、次の形態素を取得して処理を繰り返す。すべての形態素を処理した場合(ステップS506:Yes)、変換部104−2は、すべての文を処理したか否かを判定する(ステップS507)。すべての文を処理していない場合(ステップS507:No)、変換部104−2は、ステップS502に戻り、次の文を取得して処理を繰り返す。
すべての文を処理した場合(ステップS507:Yes)、変換部104−2は、変換結果を記憶装置400に保存する(ステップS508)。変換部104−2は、例えば図2に示すテキストデータに含まれる「形態素」内の該当する形態素を、変換後の形態素で置き換える。変換結果の保存方法はこれに限られるものではない。例えば、「形態素」内の形態素を置き換えるのではなく、変換結果を含む文(変換文)を別の項目として保存してもよい。
図12は、記憶装置400に記憶される文(テキストデータ)の他の例を示す図である。図12は、変換文を別の項目として含むテキストデータの例である。図2のテキストデータと比較して、フィラー変換処理の結果得られる変換文、および、変換文に含まれる形態素である変換形態素の2つの項目が追加されている。変換文と、変換形態素には、図11のステップS508で、フィラー変換結果が保存される。図12の例では、「えー私えっとA社のBと申します」という文に対し、フィラーである「えー」や「えっと」が除去された変換文と、変換形態素とが保存される。これにより、重要文を表示する際、余計な文字列は表示されず、ユーザが文の概要を把握することがより容易になる。
(第3の実施形態)
第3の実施形態にかかる情報処理装置は、文の類似性を考慮して文の重要度を算出する。これにより、例えば文集合全体に類似する文を重要文として選択可能となる。また、類似する文として既に選択済みの文にさらに類似する文は、選択され難くする。これにより、相互に類似する複数の文が重要文として選択されるという冗長性の問題を解消可能となる。
図13は、第3の実施形態の情報処理装置を含むシステムの機能構成例を示すブロック図である。本実施形態のシステムは、情報処理装置100−3と、端末200と、認識装置300と、記憶装置400とが、ネットワーク500で接続された構成となっている。情報処理装置100−3以外は第1の実施形態と同様の構成であるため同一の符号を付し説明を省略する。情報処理装置100−3は、算出部103−3の機能が、第1の実施形態の算出部103と異なっている。
算出部103−3は、第1の実施形態で説明した文の重要度(ScoreSなど)に加えて、文の類似性を考慮した各文の重要度を算出し、両者により最終的な文の重要度を算出する。例えば算出部103−3は、算出部102により算出された単語および複合語の重要度に基づいて、文の重要度を示すスコア(第1のスコア)を算出する。このスコアは、第1の実施形態で説明した文の重要度と同様にして算出される。
また、算出部103−3は、文集合に含まれる文に対して、文集合と類似し、かつ、選択済みの文がある場合は選択済みの文と類似しない文ほど重要度が大きいことを示すスコア(第2のスコア)を算出する。このスコアは、類似した文が選択され難くなるようにするために用いられる。そして算出部103−3は、2つのスコアに基づいて、最終的な文の重要度を算出する。
次に、このように構成された第3の実施形態にかかる情報処理装置100−3による重要文表示処理について図14を用いて説明する。図14は、第3の実施形態における重要文表示処理の一例を示すフローチャートである。
ステップS601からステップS605、および、ステップS608は、第1の実施形態にかかる情報処理装置100におけるステップS101からステップS106と同様の処理なので、その説明を省略する。
算出部103−3は、第1の実施形態と同様の方法で各文の重要度(第1のスコア)を算出した後(ステップS605)、さらに、冗長性を考慮した、各文の重要度(第2のスコア)を算出する(ステップS606)。また算出部103−3は、算出した2つの重要度を統合し、最終的な文の重要度を算出する(ステップS607)。
図15は、ステップS606の算出処理の一例を示すフローチャートである。まず、算出部103−3は、重要文の選択対象となる文集合を取得する(ステップS701)。算出部103−3は、文集合に含まれる各文Siについて、文の単語ベクトルviを算出する(ステップS702)。Siは、文集合に含まれる文のうちi番目(iは1以上、文の個数以下の整数)の文を表す。viは、文Siの単語ベクトルを表す。算出部103−3は、すべての文集合の単語ベクトルvAllを算出する(ステップS703)。
単語ベクトルは、例えば、文または文集合に含まれる単語ごとの重みを要素とするベクトルである。重みは、どのような値であってもよく、例えば、以下の(4)式および(5)式で表されるtf−idf(Term Frequency−Inverse Document Frequency)を用いることができる。
tf(t)×idf(t) ・・・(4)
idf(t)=log(D/df(t))+1 ・・・(5)
tf(t)は、文中における単語tの出現頻度である。(5)式のDは全文数であり、df(t)は文集合における単語tが出現した文書数である。文集合の単語ベクトルvAllの重みは、各文の単語ベクトルviの同じ単語に対する重みの平均値で算出する。
算出部103−3は、単語ベクトルの算出後、算出処理で用いる各変数(vSum、msim、rankなど)を初期化する(ステップS704)。vSumは、選択済み重要文の集合ベクトルを表す。msim(j)は、未選択の文Sjと選択済み重要文との類似度を表す。rank(i)は、i番目の文Siのランクを保持するための変数である。
算出部103−3は、未処理のランク(r)を決定する(ステップS705)。例えば算出部103−3は、最上位のランク(例えばr=1)から最下位のランクまで順に処理対象のランクを決定する。最下位のランクは、例えば文集合内の文の個数とすることができる。これにより、文集合内のすべての文の順位(重要度)を決定できる。
算出部103−3は、以下の処理で用いる変数(maxScore、maxIndex)を初期化する(ステップS706)。maxScoreは、文のスコアの最大値を表す。maxIndexは、スコアが最大となる文のインデックスを表す。インデックスは、文集合のうち何番目の文かを表す。
算出部103−3は、現在のランクについて、文の数だけステップS707からステップS711の処理を繰り返す。まず算出部103−3は、未処理の文Siの単語ベクトルviを取得する(ステップS707)。算出部103−3は、単語ベクトルSiのスコア(Score)を算出する(ステップS708)。
算出部103−3は、例えば以下の(6)式により単語ベクトルviのスコアScoreを算出する。
Score=λ1×sim(vi,vAll)
−(1−λ1)×(λ2×sim(vi,vSum)+(1−λ2)×msim(i))
・・・(6)
λ1、λ2は、0以上、1以下の定数とする。simは、各ベクトルの類似度(例えばコサイン距離)である。以下、各式の意味について説明する。
sim(vi,vAll)は、すべての文集合のベクトルvAllと、文Siのベクトルviとの類似度である。すなわち、sim(vi,vAll)の大きさは、1つの文と文全体との類似度を表しており、類似度が大きい文は、文全体の内容を表した文と考えられる。
sim(vi,vSum)は、既に選択済みの文集合vSumと、文Siのベクトルviとの類似度である。この数式の前にある定数項「−(1−λ1)×λ2」によって、類似度が高いとスコアScoreの値は低くなる。すなわち、既に選択済みの文集合と類似した文は選択され難くなる。
msim(i)は、既に選択済みの文それぞれと、文SiのベクトルViとの類似度である。この数式の前にある定数項「−(1−λ1)×(1−λ2)」によって、類似度が高いとスコアScoreの値は低くなる。すなわち、既に選択済みの文と類似した文は選択され難くなる。sim(vi,vSum)のみでなくmsim(i)を考慮することにより、例えば、選択済みの文の全体(文集合)で比較すると類似度が大きくないが、個々の選択済みの文に対して類似する文があった場合に、類似する文を適切に排除可能となる。
図15に戻り、算出部103−3は、ステップS708で算出したスコア(Score)が、maxScoreより大きいか否かを判定する(ステップS709)。大きい場合(ステップS709:Yes)、算出部103−3は、maxScoreに、算出したスコアを代入し、maxIndexにベクトルviの添え字iを代入する(ステップS710)。大きくない場合(ステップS709:No)、算出部103−3は、すべての文を処理したか否かを判定する(ステップS711)。すべての文を処理していない場合(ステップS711:No)、算出部103−3は、ステップS707に戻り、次の文を選択して処理を繰り返す。
すべての文を処理した場合(ステップS711:Yes)、算出部103−3は、rank(maxIndex)にrを代入し、vSumにvmaxIndexを追加する(ステップS712)。vmaxIndexは、インデックスがmaxIndexである文の単語ベクトルである。vAllと同様に、同じ単語に対する重みの平均値が、vSumに追加した単語ベクトルの重みとなる。
算出部103−3は、未選択の文のうち未処理の文Sj(jは1以上、未処理の文の個数以下の整数)を取得する(ステップS713)。算出部103−3は、現在のランクに対して選択した文のベクトルvmaxIndexと、未選択の文Sjの単語ベクトルvjとの類似度が、msim(j)より大きいか否かを判定する(ステップS714)。
大きい場合(ステップS714:Yes)、算出部103−3は、msim(j)に、vmaxIndexとvjとの類似度を代入する(ステップS715)。ステップS713〜ステップS715の処理によって、選択された文と未選択の文との類似度が算出され、以降のステップS708のスコア算出で利用される。
ステップS715の後、または、vmaxIndexと単語ベクトルvjとの類似度がmsim(j)より大きくない場合(ステップS714:No)、算出部103−3は、すべての未選択の文を処理したか否かを判定する(ステップS716)。処理していない場合(ステップS716:No)、算出部103−3は、ステップS713に戻り処理を繰り返す。すべての未選択の文を処理した場合(ステップS716:Yes)、算出部103−3は、すべてのランクを処理したか否かを判定する(ステップS717)。すべてのランクを処理していない場合(ステップS717:No)、算出部103−3は、ステップS705に戻り、次のランク(順位)での文の選択を繰り返す。
すべてのランクを処理した場合(ステップS717:Yes)、算出部103−3は、変数rankを返し(ステップS718)、処理を終了する。
変数rankは、上記のように、各文のランク、すなわち重要度を保持する。変数rankは、文集合と類似し、かつ、文集合と類似する文として選択済みの文がある場合は選択済みの文と類似しない文ほど重要度が大きいことを示すように算出されるスコア(第2のスコア)に相当する。
図16は、ステップS607の算出処理の一例を示すフローチャートである。ステップS607の算出処理は、ステップS605およびステップS606それぞれで算出されたスコアを統合して最終的な文の重要度を算出する処理である。以下では、ステップS605で算出されたスコアをrank1(i)、ステップS606で算出されたスコアをrank2(i)とする。rank1(i)、rank2(i)は、i番目の文のスコア(順位など)を表す。
算出部103−3は、各文のスコア(重要度)を保持するtempScoreを初期化する(ステップS801)。算出部103−3は、未処理の文Siを取得する(ステップS802)。算出部103−3は、文Siについて、rank1(i)とrank2(i)と、を統合したスコアtempScore(i)を算出する(ステップS803)。tempScore(i)は、i番目の文Siのスコアを表す。算出部103−3は、例えば以下の(7)式によりtempScore(i)を算出する。なおαは0以上、1以下の定数とする。
tempScore(i)=
α×rank1(i)+(1−α)rank2(i) ・・・(7)
算出部103−3は、すべての文を処理したか否かを判定する(ステップS804)。すべての文を処理していない場合(ステップS804:No)、算出部103−3は、ステップS802に戻り、次の文を取得して処理を繰り返す。
すべての文を処理した場合(ステップS804:Yes)、算出部103−3は、tempScoreの値により文をソートし、新たな順位を示すrankMを算出する(ステップS805)。算出部103−3は、rankMを、最終的な文の重要度として出力し(ステップS806)、処理を終了する。
次に、本実施形態による重要文の出力処理の例について説明する。図17は、重要文の出力処理の一例を示す図である。本実施形態の表示画面1720では、文1721(「先ほども言いましたが、メディアインテリジェンス技術の研究を、長期に続けてきました。」)が、表示されず、代わりの文1722が表示される。文1721は、最上位の文1723(「A社はメディアインテリジェンス技術を長年にわたり、研究してきました。」)と類似しており、順位が下がったためである。
(変形例)
本実施形態の処理により、複合語の重要度(ユニット性)、および、文の類似度(冗長性)の両者を考慮した文の重要度を算出できる。両者を考慮した文の重要度の算出方法はこれに限られるものではない。例えば、算出部102により算出された単語および複合語の重要度を、単語ベクトルの重みとして、図15に示す処理を実行するように構成してもよい。すなわち、図15のステップS703で重みとしたtf−idfの代わりに、算出部102により算出された重要度を用いて図15に示す処理を実行してもよい。これにより、複合語を構成する単語の重み(ユニット性)を考慮し、かつ、文の類似度である冗長性を考慮して文の重要度を算出可能となる。この場合は、例えば、図14のステップS605およびステップS607は実行しなくてもよい。図14のステップS606に相当する処理(図15)の中で、上記のようにtf−idfの代わりに、算出部102により算出された重要度を用いればよい。
(第4の実施形態)
第4の実施形態にかかる情報処理装置は、大規模なテキストコーパスから算出された連接頻度も考慮して重要度を算出する。これにより、例えば、重要文の選択対象となる文書が少量の場合でも、重要度をより高精度に算出可能となる。
図18は、第4の実施形態の情報処理装置を含むシステムの機能構成例を示すブロック図である。本実施形態のシステムは、情報処理装置100−4と、端末200と、認識装置300と、記憶装置400とが、ネットワーク500で接続された構成となっている。情報処理装置100−4以外は第1の実施形態と同様の構成であるため同一の符号を付し説明を省略する。情報処理装置100−4は、算出部102−4の機能、および、記憶部121−4を追加した点が、第1の実施形態と異なっている。
記憶部121−4は、複合語を構成する単語に対して大規模なテキストコーパスから算出された左右の連接頻度を保持した辞書を記憶する。大規模なテキストコーパスは、ドメインなどの種類を考慮しない、あらゆる分野のテキストコーパスでもよいし、重要文の選択対象と同じ分野のテキストコーパスであってもよい。辞書は、このようなテキストコーパスを用いて事前に算出される。また、辞書は情報処理装置100−4内の記憶部121−4に記憶せず、例えば記憶装置400などの外部装置に記憶してもよい。
図19は、辞書のデータ構造の一例を示す図である。図19に示すように、辞書は、単語と、左頻度と、右頻度とを含む。この例では、単語「思う」は左右の連接頻度が0であり、単語「メディア」は左の連接頻度が50であり、右の連接頻度が80となっている。
算出部102−4は、単語および複合語の重要度(第1の重要度)を算出するときに、上記のような辞書に保持される連接頻度も用いる点が、第1の実施形態の算出部102と異なっている。
例えば、図5に示す抽出・算出処理のステップS215では、第1の実施形態の算出部102は、countLとcountRを用いてLRおよびFLRを算出している。これに対して本実施形態の算出部102−4は、辞書から得られる単語の左の連接頻度(左頻度)および右の連接頻度(右頻度)を、それぞれcountLおよびcountRに加算して、LRおよびFLRを算出する。なお、算出部102−4がcountLおよびcountRの代わりに辞書から得られる左頻度および右頻度のみを考慮してLRおよびFLRを算出してもよい。
これにより、重要文の選択対象となる文集合だけでなく、大規模なテキストコーパスによる重要度も考慮することができる。すなわち、世の中での単語の使われ方も考慮した、より正確な重要度が算出可能となる。
なおこれ以外の処理の流れは図5と同様であるため詳細な説明は省略する。また本実施形態の重要文表示処理の全体の流れは、第1の実施形態の重要文表示処理を示す図3と同様であるため、説明を省略する。
以上説明したとおり、第1から第4の実施形態によれば、複合語の重要度を考慮することにより、より高精度に文の重要度を算出可能となる。
次に、第1から第4の実施形態にかかる情報処理装置のハードウェア構成について図20を用いて説明する。図20は、第1から第4の実施形態にかかる情報処理装置のハードウェア構成例を示す説明図である。
第1から第4の実施形態にかかる情報処理装置は、CPU51などの制御装置と、ROM(Read Only Memory)52やRAM(Random Access Memory)53などの記憶装置と、ネットワークに接続して通信を行う通信I/F54と、各部を接続するバス61を備えている。
第1から第4の実施形態にかかる情報処理装置で実行されるプログラムは、ROM52等に予め組み込まれて提供される。
第1から第4の実施形態にかかる情報処理装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM(Compact Disk Read Only Memory)、フレキシブルディスク(FD)、CD−R(Compact Disk Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。
さらに、第1から第4の実施形態にかかる情報処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第1から第4の実施形態にかかる情報処理装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
第1から第4の実施形態にかかる情報処理装置で実行されるプログラムは、コンピュータを上述した情報処理装置の各部として機能させうる。このコンピュータは、CPU51がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
100、100−2、100−3、100−4 情報処理装置
101 抽出部
102、102−4 算出部
103、103−3 算出部
104−2 変換部
121−4 記憶部
200 端末
201 音声入力部
202 表示制御部
300 認識装置
400 記憶装置
500 ネットワーク

Claims (8)

  1. 文集合に含まれる文から、複数の単語により構成される複合語、および、前記複合語を構
    成する単語以外の第1の単語を抽出する抽出部と、
    前記第1の単語の出現頻度、前記複合語の出現頻度、および、前記複合語を構成する単語
    が他の単語に連接する頻度を示す連接頻度、に基づいて、前記第1の単語および前記複合
    語の重要度を示す第1の重要度を算出する第1の算出部と、
    前記文集合に含まれる第1の文に対して、前記第1の文に含まれる前記第1の単語および
    前記複合語の前記第1の重要度に基づいて、前記第1の文の重要度を示す第2の重要度を
    算出する第2の算出部と、
    を備える情報処理装置。
  2. 前記連接頻度は、前記複合語を構成する単語が、前記文集合に含まれる他の単語に連接す
    る頻度、および、前記複合語を構成する単語が、前記文集合と異なるコーパスに含まれる
    他の単語に連接する頻度、の少なくとも一方である、
    請求項1に記載の情報処理装置。
  3. 前記文集合は、音声認識により出力された文を含む、請求項1に記載の情報処理装置。
  4. 前記文集合に含まれる文に含まれる第1の文字列を第2の文字列に変換する変換部と、
    前記抽出部は、前記変換部により文字列が変換された前記文集合に含まれる文から、前記
    複合語および前記第1の単語を抽出する、
    請求項3に記載の情報処理装置。
  5. 前記第2の算出部は、前記第1の文に含まれる前記第1の単語および前記複合語の前記第
    1の重要度に基づく前記第1の文の重要度を示す第1のスコアを算出し、前記文集合に含
    まれる文に対して、前記文集合と類似し、かつ、前記文集合と類似する文として選択済み
    の文がある場合は選択済みの文と類似しない文ほど重要度が大きいことを示す第2のス
    コアを算出し、前記第1のスコアおよび前記第2のスコアに基づいて前記第2の重要度を
    算出する、
    請求項1に記載の情報処理装置。
  6. 前記第2の算出部は、前記第1の重要度を重みとする単語ベクトルを用いて、前記文集合
    に含まれる文に対して、前記文集合と類似し、かつ、前記文集合と類似する文として選択
    済みの文がある場合は選択済みの文と類似しない文ほど重要度が大きいことを示す前記
    第2の重要度を算出する、
    請求項1に記載の情報処理装置。
  7. 文集合に含まれる文から、複数の単語により構成される複合語、および、前記複合語を構
    成する単語以外の第1の単語を抽出する抽出ステップと、
    前記第1の単語の出現頻度、前記複合語の出現頻度、および、前記複合語を構成する単語
    が他の単語に連接する頻度を示す連接頻度、に基づいて、前記第1の単語および前記複合
    語の重要度を示す第1の重要度を算出する第1の算出ステップと、
    前記文集合に含まれる第1の文に対して、前記第1の文に含まれる前記第1の単語および
    前記複合語の前記第1の重要度に基づいて、前記第1の文の重要度を示す第2の重要度を
    算出する第2の算出ステップと、
    を含む情報処理方法。
  8. コンピュータを、
    文集合に含まれる文から、複数の単語により構成される複合語、および、前記複合語を構
    成する単語以外の第1の単語を抽出する抽出部と、
    前記第1の単語の出現頻度、前記複合語の出現頻度、および、前記複合語を構成する単語
    が他の単語に連接する頻度を示す連接頻度、に基づいて、前記第1の単語および前記複合
    語の重要度を示す第1の重要度を算出する第1の算出部と、
    前記文集合に含まれる第1の文に対して、前記第1の文に含まれる前記第1の単語および
    前記複合語の前記第1の重要度に基づいて、前記第1の文の重要度を示す第2の重要度を
    算出する第2の算出部、
    として機能させるためのプログラム。
JP2016058258A 2016-03-23 2016-03-23 情報処理装置、情報処理方法およびプログラム Active JP6524008B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016058258A JP6524008B2 (ja) 2016-03-23 2016-03-23 情報処理装置、情報処理方法およびプログラム
US15/456,843 US20170277679A1 (en) 2016-03-23 2017-03-13 Information processing device, information processing method, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016058258A JP6524008B2 (ja) 2016-03-23 2016-03-23 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2017174059A JP2017174059A (ja) 2017-09-28
JP6524008B2 true JP6524008B2 (ja) 2019-06-05

Family

ID=59896656

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016058258A Active JP6524008B2 (ja) 2016-03-23 2016-03-23 情報処理装置、情報処理方法およびプログラム

Country Status (2)

Country Link
US (1) US20170277679A1 (ja)
JP (1) JP6524008B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565311B2 (en) * 2017-02-15 2020-02-18 International Business Machines Corporation Method for updating a knowledge base of a sentiment analysis system
WO2019183543A1 (en) * 2018-03-23 2019-09-26 John Rankin System and method for identifying a speaker's community of origin from a sound sample
WO2020014354A1 (en) 2018-07-10 2020-01-16 John Rankin System and method for indexing sound fragments containing speech
JP7035893B2 (ja) * 2018-08-06 2022-03-15 日本電信電話株式会社 要約文算出装置、要約文算出方法、及びプログラム
CN109272262B (zh) * 2018-11-26 2022-04-01 广州努比互联网科技有限公司 一种自然语言特征的分析方法
CN110728143A (zh) * 2019-09-23 2020-01-24 上海蜜度信息技术有限公司 用于文档关键语句识别的方法与设备
WO2021183421A2 (en) 2020-03-09 2021-09-16 John Rankin Systems and methods for morpheme reflective engagement response

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6161083A (en) * 1996-05-02 2000-12-12 Sony Corporation Example-based translation method and system which calculates word similarity degrees, a priori probability, and transformation probability to determine the best example for translation
US6349282B1 (en) * 1999-04-20 2002-02-19 Larnout & Hauspie Speech Products N.V. Compound words in speech recognition systems
US7610189B2 (en) * 2001-10-18 2009-10-27 Nuance Communications, Inc. Method and apparatus for efficient segmentation of compound words using probabilistic breakpoint traversal
JP2005189955A (ja) * 2003-12-24 2005-07-14 Canon Inc 文書処理方法、文書処理装置、制御プログラム及び記録媒体
US7783476B2 (en) * 2004-05-05 2010-08-24 Microsoft Corporation Word extraction method and system for use in word-breaking using statistical information
US8046355B2 (en) * 2007-09-04 2011-10-25 Google Inc. Word decompounder
CN101526938B (zh) * 2008-03-06 2011-12-28 夏普株式会社 文档处理装置
JP4942727B2 (ja) * 2008-11-26 2012-05-30 日本電信電話株式会社 テキスト要約装置、その方法およびプログラム
US8712759B2 (en) * 2009-11-13 2014-04-29 Clausal Computing Oy Specializing disambiguation of a natural language expression
EP2534585A4 (en) * 2010-02-12 2018-01-24 Google LLC Compound splitting
JP5066242B2 (ja) * 2010-09-29 2012-11-07 株式会社東芝 音声翻訳装置、方法、及びプログラム
JP5728374B2 (ja) * 2011-12-08 2015-06-03 株式会社野村総合研究所 対話要約システムおよび対話要約プログラム

Also Published As

Publication number Publication date
US20170277679A1 (en) 2017-09-28
JP2017174059A (ja) 2017-09-28

Similar Documents

Publication Publication Date Title
JP6524008B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP5257071B2 (ja) 類似度計算装置及び情報検索装置
CN102770857B (zh) 关系信息扩展装置、关系信息扩展方法以及程序
JPWO2018097091A1 (ja) モデル作成装置、テキスト検索装置、モデル作成方法、テキスト検索方法、データ構造、及びプログラム
JP5273735B2 (ja) テキスト要約方法、その装置およびプログラム
TW201826145A (zh) 從中文語料庫提取知識的方法和系統
CN108536676B (zh) 数据处理方法、装置、电子设备及存储介质
JP6340351B2 (ja) 情報検索装置、辞書作成装置、方法、及びプログラム
JP2006243673A (ja) データ検索装置および方法
JP4325370B2 (ja) 文書関連語彙獲得装置及びプログラム
JP4795856B2 (ja) クラスタリング方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
US11126783B2 (en) Output apparatus and non-transitory computer readable medium
JP2011227749A (ja) 略語完全語復元装置とその方法と、プログラム
JP2017068742A (ja) 関連文書検索装置、モデル作成装置、これらの方法及びプログラム
JP7122773B2 (ja) 辞書構築装置、辞書の生産方法、およびプログラム
JP5248121B2 (ja) 愛称を推定する装置、方法およびプログラム
WO2020004401A1 (ja) 回答文選択装置、方法、およびプログラム
JP2009104296A (ja) 関連キーワード抽出方法及び装置及びプログラム及びコンピュータ読取可能な記録媒体
Martadinata et al. Building indonesian local language detection tools using wikipedia data
JP5959598B2 (ja) モデル学習装置、ランキング装置、方法、及びプログラム
JP2014052803A (ja) 音声ドキュメント検索方法および音声ドキュメント検索システム
KR102519955B1 (ko) 토픽 키워드의 추출 장치 및 방법
KR101476230B1 (ko) 자연어와 수학식이 포함된 복합문장의 시맨틱 정보 추출방법과 그를 위한 장치 및 컴퓨터로 읽을 수 있는 기록매체
JP5182960B2 (ja) 店舗名曖昧性解消装置、その方法、プログラム及び記録媒体
JP6805927B2 (ja) インデックス生成プログラム、データ検索プログラム、インデックス生成装置、データ検索装置、インデックス生成方法、及びデータ検索方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20170904

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20170905

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180703

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190304

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190426

R150 Certificate of patent or registration of utility model

Ref document number: 6524008

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150