JP5164922B2

JP5164922B2 - 個人情報削除装置とその方法、そのプログラムと記録媒体

Info

Publication number: JP5164922B2
Application number: JP2009120500A
Authority: JP
Inventors: 太一浅見; 翼篠崎
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2009-05-19
Filing date: 2009-05-19
Publication date: 2013-03-21
Anticipated expiration: 2029-05-19
Also published as: JP2010271751A

Description

この発明は、音声信号から個人情報を削除する装置とその方法、そのプログラムと記録媒体に関する。

個人情報を保護する目的で、音声から書き起こしたテキスト中から固有表現抽出を用いて個人情報を抽出し、別の単語に置換することによって個人情報を削除する技術としては、例えば非特許文献１に記載された技術が知られている。ここで、固有表現抽出とは、計算機を用いた自然言語処理技術の一つであり、固有名詞（人名、地名など）や日付、時間表現などを抽出する技術である。

なお、この明細書において、「個人情報」とは、生存する個人に関する情報であって、その情報に含まれる氏名、生年月日その他の記述等により特定の個人を識別することが出来るもの及びその恐れのあるものをいう。

Min Tang et al., "Preserving Privacy in Spoken Language Data bases", Proceedings of the International Workshop on Privacy and Security Issues in Data Mining, ECML/PKDD, Pisa Italy, September, 2004

例えば、コールセンター等で電話での通話音声を保管する際、通話内で発生する氏名や住所、電話番号といった個人情報の管理が問題となる。つまり、個人情報が含まれる音声情報を誤って漏洩させると企業の社会的信用が著しく毀損される。そこで、個人情報の含まれる音声情報の管理は厳重に行わなければならない。例えば、高セキュリテールーム内での保管や、その音声情報へのアクセス制限等、漏洩防止のための様々なセキュリティ対策が必要となる。その管理には大きな負担を伴う。

そのため、個人情報が含まれる音声情報を保管する際に、その音声に含まれる個人情報のみを削除したい場合がある。従来の技術では、応対音声を一旦テキストに書き起こす必要があり、音声情報から自動的に個人情報を削除することが出来ない。音声情報に含まれる個人情報を、音声情報のまま直接削除する技術は未だ報告されていない。

この発明は、このような点に鑑みてなされたものであり、音声情報から自動的に個人情報を削除出来る個人情報削除装置とその方法と、そのプログラムと記録媒体を提供することを目的とする。

この発明の個人情報削除装置は、個人情報マーク付与音声認識部と、個人情報区間検出ルール群記憶部と、個人情報区間検出部と、置換信号生成部と、個人情報区間置換部と、を具備する。個人情報マーク付与音声認識部は個人情報検出手段を備え、入力音声信号を音声認識して単語列を生成し、個人情報検出手段がその単語列に含まれる個人情報を検出して当該単語列に個人情報マークを付与する。個人情報区間検出ルール群記憶部は、単語列の個人情報区間を検出する複数のルールを記憶する。個人情報区間検出部は、単語列を入力として、その単語列毎に個人情報区間検出ルール群記憶部に記憶された複数のルールを参照して個人情報区間を特定する。置換信号生成部は、所定の周波数信号を生成する。個人情報区間置換部は、上記入力音声信号の個人情報と個人情報区間を、置換信号に置換して個人情報が含まれない情報として出力する。上記個人情報検出手段は、単語列の表記と読みとその単語列が個人情報であるか否かの情報の組を予め記憶しており、上記記憶された上記単語列の表記と読みとその単語列が個人情報であるか否かの情報の組を参照して、前記単語列に含まれる個人情報を検出する。

この発明の個人情報削除装置は、個人情報マーク付与音声認識部が音声認識した単語列の中から個人情報を検出し、その後、更に個人情報区間検出部が個人情報の周辺に現れ易い単語列から個人情報区間を特定するルールに従って個人情報区間を特定する。そして、個人情報区間置換部が、その個人情報と個人情報区間とを置換信号に置換して個人情報が含まれない情報として出力する。よって、音声情報に含まれる個人情報を、音声情報のまま直接削除することが可能である。また、個人情報マーク付与音声認識部と個人情報区間置換部の両部が動作するので、音声認識誤りの影響を受け難くして精度良く個人情報を削除する効果を奏する。

この発明の個人情報削除装置１００の機能構成例を示す図。個人情報削除装置１００の動作フローを示す図。個人情報マーク付与音声認識部１０の機能構成例を示す図。認識辞書記憶部１５に記憶されるデータ例を示す図。個人情報マーク付与音声認識部１０の具体的な動作例を示す図。個人情報区間検出部２０の機能構成例を示す図。個人情報区間検出ルール群記憶部３０に記憶されるデータ例を示す図。個人情報区間検出部２０の動作フローを示す図。個人情報区間置換部５０の出力する信号の一例を示す図。

以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。

図１にこの発明の個人情報削除装置１００の機能構成例を示す。その動作フローを図２に示す。個人情報削除装置１００は、個人情報マーク付与音声認識部１０と、個人情報区間検出部２０と、個人情報区間検出ルール群記憶部３０と、置換信号生成部４０と、個人情報区間置換部５０と、制御部６０とを具備する。個人情報削除装置１００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。

個人情報マーク付与音声認識部１０は個人情報検出手段１６を含む。個人情報マーク付与音声認識部１０は、例えばコールセンター等における顧客とオペレータとの会話を録音した音声信号を入力として、その入力音声信号を音声認識して単語列を生成し、個人情報検出手段がその単語列に含まれる個人情報を検出して個人情報マークを付与する（ステップＳ１０）。

個人情報区間検出ルール群記憶部３０は、個人情報マーク付与音声認識部１０が出力する単語列から個人情報区間を検出する複数のルールを記憶する。個人情報区間検出部２０は、その単語列を入力として、単語列毎に上記複数のルールを参照して個人情報区間を特定する（ステップＳ２０）。ここで単語列とは、１個の単語、若しくは複数の単語から成る意味を持つ一単位のことを言う。この単語列が配列されて文章が構成される。

置換信号生成部４０は、個人情報マークが付与された単語列と、個人情報区間検出部２０が特定した個人情報区間とを、他の情報に置換する置換信号を生成する（ステップＳ４０）。個人情報置換部５０は、個人情報マークが付与された単語列と、個人情報区間とを置換信号に変換して個人情報が含まれない情報として出力する（ステップＳ５０）。

制御部６０は、全ての単語列について個人情報の置換が終わるまでステップＳ１０〜Ｓ５０の処理を繰り返すように、各部の動作を制御する（ステップＳ６０）。置換信号は、個人情報を認識不能にするための信号であり、例えば固定周波数の周波数信号である。又は、特定のテキスト情報、例えば「＊＊＊」等であっても良い。

図１において、音声信号をディジタル信号に変換するためのＡＤ変換器や、変換したディジタル信号をアナログ信号変換するＤＡ変換器の機能構成は、当たり前なので省略している。これらを省略しているが、個人情報削除装置１００の大部分はディジタル信号で動作するものである。

したがって、個人情報区間置換部５０が出力する情報としては、記録のし易いディジタル信号のままの方が都合の良い場合がある。その場合、音声認識した単語列はディジタル信号のコード情報として扱い、個人情報は例えば上記したようなフォントに置き換えて出力するとデータ量を削減することが出来る。もちろん、アナログ信号の音声信号に変換して、個人情報を例えば「ピー」音に変換して出力するようにしても良い。

この個人情報削除装置１００によれば、個人情報検出手段１６が音声認識した単語列から個人情報の単語列を検出する。そして、個人情報区間検出部２０が個人情報として検出された単語列から、個人情報区間を検出し、個人情報区間置換部５０が、それらの個人情報を認識不能にする置換信号に置換して出力する。よって、音声信号から、自動的に個人情報を削除することが可能になる。

以下、個人情報削除装置１００の各部の機能構成例を示してその動作を更に詳しく説明する。

〔個人情報マーク付与音声認識部〕
図３に個人情報マーク付与音声認識部１０の機能構成例を示す。個人情報マーク付与音声認識部１０は、特徴量抽出手段１１と、認識結果探索手段１２と、音響モデル記憶部１３と、言語モデル記憶部１４と、認識辞書記憶部１５と、個人情報検出手段１６とを備える。個人情報マーク付与音声認識部１０は、個人情報検出手段１６を備える点と、認識結果が個人情報であるか否かの情報を認識辞書記憶部１５が記憶する点で新しい。

特徴量抽出手段１１は、音声信号を、例えば短時間フーリエ変換等で周波数領域の信号に変換して音声データの特徴量を抽出する。音響モデル記憶部１３は、音素と音声の特徴とを対応付ける音響モデルを記憶する。言語モデル記憶部１４は、単語間の連接関係を表現する言語モデルを記憶する。認識辞書記憶部１５は、音声認識する対象の単語を大量に記憶する。

認識結果探索手段１２は、音声データの特徴量を、音響モデルや言語モデル及び、認識辞書のモデルを用いて音響的な類似度と言語的な妥当性を数値としてスコア化し、最もスコアの高い単語列を音声認識した結果の単語列として出力する。その単語列と一緒に音声信号の先頭を時刻０とした各単語列の始終端時刻も出力する。この単語列と始終端時刻を出力する動作は、従来からの音声認識技術と全く同じである。

図４に認識辞書記憶部１５に記録されるデータの一例を示す。認識辞書記憶部１５は、記憶する大量の単語列毎に、そのＩＤと単語列表記と読みと、その単語列が個人情報であるか否かの情報とを記憶する。図４に示す例では、単語列ＩＤ４の地名である「横浜」は顧客の住所を現す個人情報である。また、「鈴木」は顧客の苗字であるので個人情報当否が「○」とされている。

個人情報検出手段１６は、認識結果探索手段１２が出力する単語列毎に認識辞書記憶部１５の個人情報当否を参照して個人情報マークを付与する。図５に、個人情報マーク付与音声認識部１０が出力する個人情報マーク付き音声認識結果の具体例を示す。

図５は、音声信号の例として「マスダ様は三百円です。」の音声が入力音声信号として与えられた場合を想定している。縦軸を振幅、横軸を時間として表す図は、その入力音声信号の信号波形を示す。その入力音声信号が与えられた場合の個人情報マーク付与音声認識部１０の出力する個人情報マーク付き音声認識結果は、｛マスダ｝／様／は／{三百}／円／です／となる。その単語列の下に示された数列は、各単語列の始終端時刻を表す。

この例では、個人情報の単語列に{・}の個人情報マークが付与されている。個人情報マークは、{・}以外の何でも良い。要するに一般の単語列と個人情報を表す単語列が識別出来れば何でも良い。個人情報検出手段１６は、数字情報も個人情報として検出する。数字は、顧客の電話番号や住所を表す可能性が高いので個人情報マークが付与される。

しかし、この例でも明らかなように「○○円」のように、直後に単位が発声されている数字は、電話番号やクレジットカード番号と異なり個人情報で無い場合が多い。そこで、個人情報マーク付き音声認識結果が入力される個人情報区間検出部２０で、このような誤判定を是正する。

〔個人情報区間検出部と個人情報区間検出ルール群記憶部〕
図６に個人情報区間検出部２０の機能構成例を示す。その動作フローを図８に示す。個人情報区間検出部２０は、個人情報区間を検出するルールを多数記憶した個人情報区間検出ルール群記憶部３０を参照して、個人情報区間を検出するものである。

個人情報区間検出部２０は、マッチングパターン検出手段２１と、個人情報区間判定手段２２とを備える。個人情報区間検出ルール群記憶部３０が記憶する検出ルールとは、個人情報区間の周辺に現れ易い発声内容と、個人情報で無い区間の周辺に現れ易い発声内容とから、個人情報区間を特定するルールのことである。

例えば、「様」や「さん」と相手に呼び掛ける場合や、「と申します」の直前の単語列は、個人情報である可能性が高い。また、上記したように「円」や「○○分間」のように単位の前に現れる数字は個人情報では無い可能性が高い。そこで、これらの「様」や「特定の単位」等をマッチンパターンとして、そのマッチングパターンと一致した単語から所定の数の単語列の範囲を個人情報、或いは非個人情報として判定する。この検出ルールが個人情報区間検出ルール群記憶部３０に記憶されている。

図７にその具体例を示す。マッチングパターンの「様」と一致する単語列が入力されると、その直前の１単語列は個人情報であると判定される。また、単位である「円」と「数字」の組み合わせのマッチングパターンと一致すると、そのマッチング箇所は非個人情報と判定される。

よって、上記した「マスダ様は三百円です。」の例では、個人情報マーク付与音声認識部１０の出力時点では「三百」の単語が個人情報として検出されているが、個人情報区間検出部２０によって非個人情報に改められる。また、「様」の直前の単語列は、個人情報区間検出部２０でも個人情報として判定されるので「マスダ」は個人情報として残ることになる。

マッチングパターンは、単純な文字列の他にもワイルドカードで表現しても良い。ワイルドカードは正規表現とも称されるが、「＊＊＊＊株式会社」や、「＊＊＊研究所」をマッチンングパターンとしても良い。ワイルドカードを用いることで、少ないメモリ数で多くの個人情報区間を検出することが可能になる。

マッチングパターン検出手段２１は、個人情報区間検出ルール群記憶部３０の検出ルールを参照して、マッチングパターンと一致する単語列及び単語列の範囲を検出する。まず、全単語列の個人情報フラグをリセット（フラグ＝ＯＦＦ）する（ステップＳ２１０、図８）。ルールＩＤをＩＤ＝１に初期化する（ステップＳ２１１）。この例の場合、ＩＤ＝１のマッチングパターン「様」を単語列から検索する（ステップＳ２１２）。

マッチングパターンの一致を検出（ステップＳ２１３）すると、個人情報区間判定手段２２は、個人情報であるか否かを判定する。個人情報の場合（ステップＳ２３０のＹ）、判定対象範囲（図７参照）を参照してその範囲の単語列の個人情報フラグをセット（フラグ＝ＯＮ）する（ステップＳ２３１）。非個人情報の場合（ステップＳ２３０のＮ）は、その範囲の単語列の個人情報フラグをリセットする（ステップＳ２３２）。このフラグをセットする動作は、上記した{・}を付与する動作と同じである。よって、個人情報マークは、１個の単語列、及び複数の単語列から成る区間に付与される。上記したように個人情報マークは{・}に限られず、他の一般単語と個人情報とが識別可能になれば何でも良い。

以上のステップＳ２１２〜ステップＳ２３１，Ｓ２３２の動作を全ての単語列について終了するまで行う。全ての単語列について、ルールＩＤ＝１の検索が終了する（ステップＳ６１のＹ）と、全てのルールを適用したかを判定する、全てのルールの適用を終了していない場合（ステップＳ６２のＮ）、マッチングパターン検出手段２１はルールＩＤを更新（ＩＤ＋＋）して新たなマッチングパターンで単語列を検索する。この動作を全てのマッチングルールＩＤと全ての単語列について終了するまで繰り返す。この繰り返しの制御は制御部６０が行う。

以上述べた個人情報区間検出部２０の動作によって、個人情報マークが付与された個人情報マーク付き音声認識結果が個人情報区間置換部５０に出力される。

なお、この個人情報区間検出部２０の働きによって、誤認識された音声認識結果の悪影響も少なくすることが可能になる。例えば、上記した例の個人名である「マスダ」をご認識して「マダ」と認識してしまった場合、副詞の「未だ」と見なしてしまうことになる。しかし、この個人情報区間検出部２０によって、「様」のマッチングパターンの直前の「マダ」は、個人情報として判定される。このように音声認識の誤認識の影響も少なくして個人情報を削除することも可能である。

〔個人情報区間置換部〕
個人情報区間置換部５０は、個人情報マーク付き音声認識結果の個人情報マーク（フラグ）に従って、その区間の始端時刻から終端時刻までの間の音声認識結果を、置換信号生成部４０が生成する所定の周波数信号に置き換えて出力する。

個人情報区間置換部５０が、音声認識結果を直ぐにスピーカ等で音響信号に変換可能なアナログ信号の音声認識結果を出力する場合の一例を、図９示す。図９（Ａ）は、個人情報削除装置１００に入力される入力音声信号であり、縦軸は振幅、横軸は時間を表す。この波形で表される音声は「はい、横浜の鈴木です。」の例である。

図９（Ｂ）が個人情報削除装置１００の出力する個人情報が削除された信号である。個人情報である「横浜」と「鈴木」の音声区間が、所定周波数の「ピー」音に置換されている様子が分かる。このように、この発明の個人情報削除装置１００によれば、音声情報に含まれる個人情報を、音声情報のまま直接削除することが可能になる。

この発明の方法及び装置は上述の実施形態に限定されるものではなく、この発明の趣旨
を逸脱しない範囲で適宜変更が可能である。例えば、個人情報区間置換部５０は、スピー
カ等で直ぐに音響信号に変換可能なアナログ音声信号を出力する例を説明したが、上記し
たように、音声認識結果をテキスト情報として出力しても良い。その場合、個人情報は、
例えば「＊＊＊」等のフォントに置換される。

また、個人情報区間を検出する検出ルールについては、限られた例しか示さなかったが、マッチングパターンは色々なものが考えられる。上記した例では主に１個の単語をマッチングパターンとする例で説明したが、複数の単語の組みをマッチングパターンとしても良く、その実施形態もこの発明の技術思想の範囲に含まれる。

なお、上記方法及び装置において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

また、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims

入力音声信号を音声認識して単語列を生成し、その単語列に含まれる個人情報を検出して当該単語列に個人情報マークを付与する個人情報検出手段を含む個人情報マーク付与音声認識部と、
上記単語列の個人情報区間を検出する複数のルールを記憶した個人情報区間検出ルール群記憶部と、
上記単語列を入力として、その単語列毎に上記複数のルールを参照して個人情報区間を特定する個人情報区間検出部と、
所定の周波数信号を生成する置換信号生成部と、
上記入力音声信号の上記個人情報と上記個人情報区間を、上記置換信号に置換して個人情報が含まれない情報として出力する個人情報区間置換部と、
を具備する個人情報削除装置であって、
上記個人情報検出手段は、単語列の表記と読みとその単語列が個人情報であるか否かの情報の組を予め記憶しており、上記記憶された上記単語列の表記と読みとその単語列が個人情報であるか否かの情報の組を参照して、前記単語列に含まれる個人情報を検出することを特徴とする個人情報削除装置。
個人情報検出手段を備えた個人情報マーク付与音声認識部が、入力音声信号を音声認識して単語列を生成し、上記個人情報検出手段がその単語列に含まれる個人情報を検出して当該単語列に個人情報マークを付与する個人情報検出ステップを含む個人情報マーク付与音声認識過程と、
個人情報区間検出部が、上記単語列を入力として、個人情報区間検出ルール群記憶部に記録された上記単語列の個人情報区間を検出する複数のルールを、その単語列毎に参照して個人情報区間を特定する個人情報区間検出過程と、
置換信号生成部が、所定の周波数信号を生成する置換信号生成過程と、
個人情報区間置換部が、上記入力音声信号の上記個人情報と上記個人情報区間を、上記置換信号に置換して個人情報が含まれない情報として出力する個人情報区間置換過程と、から成る個人情報削除方法であって、
上記個人情報検出手段は単語列の表記と読みとその単語列が個人情報であるか否かの情報の組を記憶した記憶手段をさらに備え、上記個人情報検出ステップは上記記憶部に記憶された上記単語列の表記と読みとその単語列が個人情報であるか否かの情報の組を参照して、前記単語列に含まれる個人情報を検出することを特徴とする個人情報削除方法。
請求項１に記載した個人情報削除装置としてコンピュータを機能させるための装置プログラム。
請求項３に記載した装置プログラムを記録したコンピュータで読み取り可能な記録媒体。