JP5646675B2 - 情報処理装置及び方法 - Google Patents

Description

本発明は、音声認証に関する。

ユーザの本人性を音声の特徴で認証する技術は、音声認証などと呼ばれる。音声認証は例えば、事前に登録した音声の情報と、認証時に入力された音声とを照合し、その一致度を表すスコア等が所定値以上なら本人であると認証するものである。

認証のため事前に音声を登録する際は、例えば、システムまたは本人が決める一または二以上のフレーズすなわち文字列を本人に発話してもらい、その音声データを分析し、メルケプストラムなどの特徴量として、あるいはそれらから十分統計量を計算し混合正規分布のモデルとするなどとして、特徴を表す音声の情報として保存する。

認証時に発話してもらうフレーズについては、登録時と同じフレーズを用いる態様（フレーズ登録型などとも呼ぶ）と、異なるフレーズを用いる態様がある。後者の例としては、アクセス毎にパスワードとして異なるフレーズを装置側から指定する技術がある（例えば、特許文献１参照）。

特開２００２−２６９０４７号

ところで、登録時と認証時で同じフレーズを用いるフレーズ登録型では、照合精度は優れるものの、認証時の発話内容を録音され再生されると、認証が不正に突破されるセキュリティリスクがあった。また、ユーザが他の何らかのパスワードをフレーズに流用していると、立ち聞きされただけでもセキュリティリスクが生じる問題もあった。

一方、アクセス毎にパスワードとして異なるフレーズを装置側から指定する技術では（例えば、特許文献１）、録音による不正への耐性には優れるが、登録時と認証時で異なるフレーズとなるため、そもそもの認証精度が低下する問題があった。

上記の課題をふまえ、本発明の目的は、音声認証における認証精度とセキュリティリスク低減の両立である。

上記の目的をふまえ、本発明の一態様（１）である情報処理装置は、ユーザによる第１文字列の発話を受け付け、ユーザと、前記第１文字列と、発話された音声の情報である登録特徴と、を対応付けてユーザ情報記憶手段に記憶させる事前登録手段と、第２文字列の候補を複数記憶している候補記憶手段と、認証の対象とするユーザについて、前記候補のうち、前記ユーザ情報記憶手段に記憶されている第１文字列に含まれる文字を所定以上含むものを選択して前記第２文字列を決定する対象決定手段と、決定された第２文字列を提示し発話を受け付ける認証時受付手段と、前記認証時受付手段により受け付けられた発話である認証時発話と、前記ユーザ情報記憶手段に記憶されている前記登録特徴と、に基づいてユーザを認証する認証手段と、を備えたことを特徴とする。

本発明の他の態様（６）である情報処理方法は、上記態様を方法のカテゴリで捉えたもので、ユーザによる第１文字列の発話を受け付け、ユーザと、前記第１文字列と、発話された音声の情報である登録特徴と、を対応付けてユーザ情報記憶手段に記憶させる事前登録処理と、認証の対象とするユーザについて、候補記憶手段に記憶されている複数の第２文字列の候補のうち前記ユーザ情報記憶手段に記憶されている第１文字列に含まれる文字を所定以上含むものを選択して前記第２文字列を決定する対象決定処理と、決定された第２文字列を提示し発話を受け付ける認証時受付処理と、前記認証時受付処理により受け付けられた認証時発話と、前記ユーザ情報記憶手段に記憶されている前記登録特徴と、に基づいてユーザを認証する認証処理と、をコンピュータが実行することを特徴とする。

本発明の他の態様（３）は、上記いずれかの態様において、前記対象決定手段は、前記第１文字列と前記候補が母音、「Wa」、「Ya」、「Yu」及び「Yo」を共通して含む量を他の要素より相対的に大きなウェイトで評価して前記第２文字列を選択することを特徴とする。

本発明の他の態様（４）は、上記いずれかの態様において、前記対象決定手段は、前記第１文字列と前記候補が要素の種類の並びを共通して含む量に基づいて前記第２文字列を決定することを特徴とする。

本発明の他の態様（５）は、上記いずれかの態様において、前記第１文字列と前記候補が共通して含む母音が連続する量に基づいて前記第２文字列を選択することを特徴とする。

本発明の他の態様（６）は、上記いずれかの態様において、前記対象決定手段は、前記第１文字列と前記候補が共通して含む要素の種類の多さに基づいて前記第２文字列を選択することを特徴とする。

本発明によれば、音声認証における認証精度とセキュリティリスク低減の両立が可能となる。

本発明の実施形態について構成を示す機能ブロック図。 本発明の実施形態におけるデータの例を示す図。 本発明の実施形態におけるデータの例を示す図。 本発明の実施形態における処理手順を示すフローチャート。 本発明の実施形態における第１文字列と第２文字列の関係を示す概念図。

次に、本発明を実施するための形態（「実施形態」と呼ぶ）について図に沿って例示する。なお、背景技術や課題などで既に述べた内容と共通の前提事項は適宜省略する。

〔１．構成〕
図１は、本実施形態の構成図である。音声認証サーバ１（単に「サーバ１」とも呼ぶこととする）は、通信ネットワークＮ（インターネット、携帯電話網など）を介し、サービス提供サーバ２を利用する端末Ｔのユーザの本人性を音声認証する情報処理装置である。

サーバ１は、コンピュータの構成として、ＣＰＵなどの演算制御部６と、主メモリや補助記憶装置等の記憶装置７と、通信ネットワークＮとの通信装置８（通信機器や通信アダプタなど）と、を有する。他の装置（端末Ｔ、サービス提供サーバ２）も、仕様は異なるが同様にコンピュータの構成を有する（図示省略）。

端末Ｔは、実際にはユーザ数に応じて多数存在し、スマートフォン、タブレットＰＣなどの携帯情報端末や、デスクトップその他のパーソナルコンピュータなどである。サーバ１では、記憶装置７に記憶されている図示しないコンピュータプログラムを演算制御部６が実行することで、図１に示す各要素を実現する。

実現される要素のうち、情報の記憶手段は、端末Ｔ内のいわゆるローカル記憶に限らず、ネットワーク・コンピューティング（クラウド）などによるリモート記憶でもよい。また、本出願に示す記憶手段は、説明の便宜に合わせた単位で示す主なものであり、実際は、情報の記憶に付随する入出力や管理などの機能を含めたり、構成の単位を分割または一体化したり、ワークエリアなど他の記憶手段を適宜用いてよい。

なお、図中（例えば図１）の矢印は、データや制御などの流れについて主要な方向を補助的に示すもので、他の流れの否定や方向の限定を意味するものではない。また、記憶手段以外の各手段は、以下に説明するような情報処理の機能・作用を実現・実行する処理手段であるが、これらは説明の便宜による機能単位で、実際のハードウェア要素やソフトウェアモジュールとの一致は問わない。

記憶手段のうち、ユーザ情報記憶手段２５は、音声認証のためのユーザ毎の情報を記憶する手段である（例えば図２）。候補記憶手段６５は、認証時にユーザに発話してもらう第２文字列の候補を複数記憶している手段である（例えば図３）。

〔２．作用〕
図４は、上記のように構成されたサーバ１の動作手順のうち、特に本発明に関する部分として、事前の登録と、認証と、を示すフローチャートである。すなわち、サービス提供サーバ２に利用のためブラウザやアプリケーションプログラム（「アプリ」とも呼ぶ）などでアクセスした端末Ｔは、初回は、音声認証のための事前の登録のため（ステップＳ１２からＳ１４）、登録後は音声認証のため（ステップＳ１５からＳ２０）、それぞれ音声認証サーバ１へリダイレクトされる。

本実施形態によるユーザの音声認証は、発話者が、本人がＩＤ入力などで主張する人物であるか否かの認証であり、事前の登録を前提とする（ステップＳ１２からＳ１４）。

〔２−１．登録時の動作〕
登録を行う際は（ステップＳ１１：「登録」）、事前登録手段２０が、ユーザによる第１文字列（「登録テキスト」と呼ぶこととする）の発話を受け付ける（ステップＳ１２）。

また、事前登録手段２０は、ユーザと（具体的にはユーザの識別情報と）、発話された登録テキストと、発話された音声から抽出する音声の情報（本出願において「登録特徴」と呼ぶこととする）と（ステップＳ１３）、を対応付けてユーザ情報記憶手段２５に記憶させる（ステップＳ１４）。登録時に登録のためのサンプルとして発話された音声は「登録音声」とも呼ぶこととする。

ここで、登録テキストは、ユーザに登録音声を発話してもらうための文字列で、予めシステムに登録されているものでも、あるいはユーザによって独自に決められたものでもよい。

ユーザが決める登録テキストについては、事前にユーザが文字入力したうえでそれを発話してもよいし、ユーザの発話から音声認識で取得してもよい。例えば、登録テキストが「わたくしわすずきです やふーかぶしきがいしゃにきんむしています すきなたべものはりんごです」であったとする（図５（１））。

発話された音声の情報である登録特徴は例えば特徴量であり、より具体的には、ユーザ毎かつ音素ごとの統計情報などである。音声認証に用いる特徴量など登録特徴については、既知の技術を用いてよいが、例えば、事前登録手段２０は、音声特徴分析部２１及び音素統計情報計算部２３を備える。このうち、音声特徴分析部２１は、音声データを一定間隔ごとに分析し特徴量を抽出する部分である。

特徴量としては、メルケプストラム係数や、それらの時間方向の変化量などが挙げられる。また、一定間隔は、１０ミリ秒程度に設定することが多く、この間隔で区切られた時間幅をフレームと呼ぶ。

音素統計情報計算部２３は、特徴量と、登録テキストから得られる音素と、のアライメント（対応関係を表す情報）を、一般背景モデルに蓄積された情報を用いて計算し、音素ごとの特徴量の統計情報を抽出し、抽出したユーザごとかつ音素ごとの統計情報をユーザ情報記憶手段２５に記憶させる。

一般背景モデルは、大量の音声データとそれらの発話内容を表したテキスト情報を用いて計算された音素毎の統計情報やモデル等を蓄積したものである。これらの情報の例として、ＨＭＭ（隠れマルコフモデル：Hidden Markov Model）や、ＧＭＭ（混合ガウス分布モデル：Gaussian mixture model）等が挙げられる。

また、音素は、音声認証における照合の単位で、本実施形態では説明の便宜上、登録テキストが「わたくしわ」の場合、音節である「わ」「た」「く」「し」を音素と仮定するが、実際にはより細分化された単位などを用いる。

統計情報は、音素単位の特徴量の統計結果で、例えば「わ」の発声の長さが５０ミリ秒だった場合、特徴量は１０ミリ秒を単位とする５回表れることになり、５回分の特徴量に関する平均や分散、出現回数等に当たる。

〔２−２．照合テキストの決定〕
認証時には（ステップＳ１１：「認証」）、まず、対象決定手段３０が、認証の対象とするユーザについて、ユーザ情報記憶手段２５に記憶されている登録テキストの一部分を選択して、発話してもらう第２文字列（「照合テキスト」と呼ぶこととする）を決定する（ステップＳ１５）。具体的には、対象決定手段３０が、候補記憶手段６５に予め記憶されている第２文字列の複数の候補から、最適な文字列を第２文字列として決定する。

第２文字列を決定する基準は、例えば、登録テキストに含まれる文字が多く含まれるものである。この場合、対象決定手段３０は、候補のうち、登録テキストに含まれる文字を所定以上含むものを第２文字列として選択する。

例えば、図３に例示する複数の候補Ｃ１〜Ｃ３のうち、上記の登録テキスト中の文字を最も多く含むのは、候補Ｃ１の「われわれわやふーのおんせいにんしょうしすてむです」である（図５（２））。

候補毎に文字数が異なる場合、「最も多く含む」基準は、登録テキストと共通の文字数でもよいし、候補の文字数中で登録テキストと共通の文字が占める割合でもよい。例えば、図５（２）に示す候補Ｃ１は、２４文字中１５文字が共通であり、その数、文字数中の割合ともに、他の候補Ｃ２、Ｃ３と比べ最多である。

なお、図５（１）の登録テキストと、それに基づく図５（２）の照合テキストは、共通する文字を下線と太字で強調して示している。また、図５中の矢印は、登録テキストと共通する文字を照合テキストが多く含む関係のうち、一部分を説明のために示すものである。なお、図５に示す共通する文字は、厳密に正しいものではなく説明のための概念的例示にすぎない。

また、登録テキストと候補との間で共通する要素のバラエティの多さ（例えば音種の数）を、照合テキストを選ぶ基準として、単独で又は他の基準と組み合わせて用いてもよい。図３に示す候補Ｃ１からＣ３のなかでは、この音種の数の点でも候補Ｃ１が照合テキストとして最適となる（図５（２）から（４））。

上記は一例であり、照合テキストを決定する基準にはさまざまなバリエーションがあり得る。例えば、対象決定手段３０は、登録テキストと候補が、母音、「Wa」、「Ya」、「Yu」及び「Yo」を共通して含む量を他の要素より相対的に大きなウェイトで評価して第２文字列を選択してもよい。ウェイトの例は、母音、「Wa」、「Ya」、「Yu」及び「Yo」を共通して含む候補の個所数を、他の要素と比べ２倍にカウント（ダブルカウント）するなどである。

この基準による場合も、候補Ｃ１（図５（２））は、長音を母音とみなすと、ダブルカウント対象が５カ所あり、共通する要素数が１５文字＋５で２０文字相当となるので、他の候補Ｃ２（母音「い」２カ所で１３文字相当）、候補Ｃ３（無しで１０文字相当のまま）をさらに引き離すことになる。

また、対象決定手段３０は、登録テキストと候補が、要素の種類の並びを共通して含む量に基づいて第２文字列を選択してもよい。要素の種類の一例は、個別の音素であり、図５（１）及び（２）の例では、「やふー」や「です」のように複数の要素が並びまで共通の個所数を、大きなウェイトでカウントし他の基準と組み合わせて基準とする候補毎のスコアに加味したり、単独で基準とする。

種類の他の例は、音素を構成する子音の共通性で、例えば「か」と「き」はともに子音が「ｋ」なので、「かき」は「ｋ−ｋ」という子音の並びとなり、子音の並びが同じ「かこ」や「こく」などと共通する要素としてカウントしたり大きなウェイトで評価する。並びは２つに限らず３つ以上でもよい。

同様に、種類の他の例は、母音の共通性であり、例えば「たこ」と「かこ」はともに母音が「ａ−ｏ」の並びで、共通する要素としてカウントしたり大きなウェイトで評価する。種類の他の例は、子音又は母音の別であり、例えば、図５（１）２行目の「して」と、３行目の「すき」はともに子音を含む点で共通する。

また、対象決定手段３０は、登録テキストと候補が、共通して含む母音が連続する量に基づいて第２文字列を選択してもよい。例えば、図５（１）の登録テキストと図５（２）の照合テキストで共通する「やふー」は、発音は「ｙａｈｕｕ」となり母音「ｕ」が連続するので、このような個所数を相対的に大きなウェイトで評価しスコア比較などで発話対象を選択する。

〔２−３．発話の受付と認証〕
続いて、認証時受付手段４０は、決定された発話対象である照合テキストを提示して発話を受け付け（ステップＳ１６）、認証手段５０が、認証時受付手段４０により受け付けられた発話（「認証時発話」とも呼ぶこととする）から抽出する特徴量と（ステップＳ１７）、ユーザ情報記憶手段２５に記憶されている登録特徴と、の照合に基づいてユーザを認証する（ステップＳ１８）。

具体的には、認証時受付手段４０は、音声特徴分析部２１と同様に、照合テキストに応じて発話された認証時発話の音声を分析し、フレームごとの特徴量を抽出する。

また、認証手段５０は、照合テキストに応じた認証時発話のうち、登録テキストに含まれていない文字に対応する部分については一般背景モデル、含まれている文字に対応する部分についてはユーザ情報記憶手段２５に記憶されている登録特徴のうち照合テキストに含まれている文字に対応する部分を用いて、照合テキストと特徴量のアライメントを計算し、登録テキストに含まれている部分のスコアを抽出する。

アライメントは、照合テキスト中の各文字と、時間的な位置との関係であり、照合テキストに応じて発話された音声から抽出されたフレームごとの特徴量（特徴ベクトル）を、末尾側から登録テキストに対応する特徴量の統計情報と照合比較し、登録テキストに含まれる部分の差の小ささをフレームごとにスコア化する。

そして、スコアのフレームあたりの平均値が予め設定された値より大きい場合には（ステップＳ１８：「ＹＥＳ」）、発話者は本人である旨の肯定的な認証結果を返し（ステップＳ１９）、それ以外の場合は（ステップＳ１８：「ＮＯ」）、否定的な認証結果を返す（ステップＳ２０）。照合結果は、本人であるか否かを１か０かのように出力するほか、本人である確率や確信度などの数字やレベル区分などで出力してもよい。

〔３．効果〕
（１）以上のように、本実施形態では、登録時に発話された登録テキスト（例えば図５（１））の一部分を、認証時に選択して発話を求めることにより（例えば図５（２））、認証精度とセキュリティリスク低減を両立できる。

（２）また、本実施形態では、予め用意された候補のうち、事前登録時に発話された登録テキストに含まれる文字を多く含むものを発話対象とする第２文字列（照合テキスト）として用いることにより（図５）、照合対象の文字が増えて認証精度が向上し、フレーズ登録型に近い認証精度が期待できる。

（３）また、本実施形態では、登録テキストをもとに候補から、個人差が表れやすい母音、「Wa」、「Ya」、「Yu」及び「Yo」を重視して候補から発話対象を決定することにより（例えば図４）、認証精度が一層向上する。

（４）また、本実施形態では、登録テキストをもとに候補から、要素の種類の並びが共通するという比較しやすい部分の量をもとに発話対象を決定することにより、認証精度が一層向上する。

（５）また、本実施形態では、登録テキストをもとに候補から、母音の連続という個人差が表れやすい部分の量をもとに発話対象を決定することにより、認証精度が一層向上する。

（６）また、本実施形態では、登録テキストをもとに候補から、共通する要素の種類の多さをもとに発話対象を決定することにより、特徴の照合が多面的となり、認証精度が一層向上する。

〔４．他の実施形態〕
なお、上記実施形態や図の内容は例示に過ぎず、各要素の有無や配置、処理の順序や内容などは適宜変更可能である。このため、本発明は、以下に例示する変形例やそれ以外の他の実施形態も含むものである。

例えば、決定される発話対象は、登録テキストの一部を含むものに限らず、登録テキストの一部のみ（１文字、１音節、１文節など）でもよく、発話対象を決定する際における登録テキストの一部の選択は、ランダムでも規則的でもよい。また、候補から照合テキストを選択する場合、全ての要素（文字、音素、音節など）を均等なウェイトで評価してもよい。

また、本発明の各態様は、明記しない他のカテゴリ（方法、プログラム、端末を含むシステムなど）としても把握できる。方法やプログラムのカテゴリでは、装置のカテゴリで示した「手段」を「処理」や「ステップ」のように適宜読み替えるものとする。また、「手段」の全部又は任意の一部を「部」（ユニット、セクション、モジュール等）と読み替えることができる。

また、実施形態に示した処理やステップについても、順序を変更したり、いくつかをまとめて実行しもしくは一部分ずつ分けて実行するなど変更可能である。また、個々の手段、処理やステップを実現、実行するハードウェア要素などは共通でもよいし、手段、処理やステップごとにもしくはタイミングごとに異なってもよい。

また、本出願で示す個々の手段は、外部のサーバが提供している機能をＡＰＩ（アプリケーションプログラムインタフェース）やネットワーク・コンピューティング（いわゆるクラウドなど）で呼び出して実現してもよい。さらに、本発明に関する手段などの各要素は、コンピュータの演算制御部に限らず物理的な電子回路など他の情報処理機構で実現してもよい。

Ｃ１〜Ｃ３ 候補
１ 音声認証サーバ
２ サービス提供サーバ
６ 演算制御部
７ 記憶装置
８ 通信装置
２０ 事前登録手段
２１ 音声特徴分析部
２３ 音素統計情報計算部
２５ ユーザ情報記憶手段
３０ 対象決定手段
４０ 認証時受付手段
５０ 認証手段
６５ 候補記憶手段
Ｎ 通信ネットワーク
Ｔ 端末

Claims (6)

1. ユーザによる第１文字列の発話を受け付け、ユーザと、前記第１文字列と、発話された音声の情報である登録特徴と、を対応付けてユーザ情報記憶手段に記憶させる事前登録手段と、
   第２文字列の候補を複数記憶している候補記憶手段と、
   認証の対象とするユーザについて、前記候補のうち、前記ユーザ情報記憶手段に記憶されている第１文字列に含まれる文字を所定以上含むものを選択して前記第２文字列を決定する対象決定手段と、
   決定された前記第２文字列を提示し発話を受け付ける認証時受付手段と、
   前記認証時受付手段により受け付けられた発話である認証時発話と、前記ユーザ情報記憶手段に記憶されている前記登録特徴と、に基づいてユーザを認証する認証手段と、
   を備えたことを特徴とする情報処理装置。
2. 前記対象決定手段は、前記第１文字列と前記候補が母音、「Wa」、「Ya」、「Yu」及び「Yo」を共通して含む量を他の要素より相対的に大きなウェイトで評価して前記第２文字列を決定することを特徴とする請求項１に記載の情報処理装置。
3. 前記対象決定手段は、前記第１文字列と前記候補が要素の種類の並びを共通して含む量に基づいて前記第２文字列を決定することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記対象決定手段は、前記第１文字列と前記候補が共通して含む母音が連続する量に基づいて前記第２文字列を決定することを特徴とする請求項１から３のいずれか一項に記載の情報処理装置。
5. 前記対象決定手段は、前記第１文字列と前記候補が共通して含む要素の種類の多さに基づいて前記第２文字列を決定することを特徴とする請求項１から４のいずれか一項に記載の情報処理装置。
6. ユーザによる第１文字列の発話を受け付け、ユーザと、前記第１文字列と、発話された音声の情報である登録特徴と、を対応付けてユーザ情報記憶手段に記憶させる事前登録処理と、
   認証の対象とするユーザについて、候補記憶手段に記憶されている複数の第２文字列の候補のうち前記ユーザ情報記憶手段に記憶されている第１文字列に含まれる文字を所定以上含むものを選択して前記第２文字列を決定する対象決定処理と、
   決定された前記第２文字列を提示し発話を受け付ける認証時受付処理と、
   前記認証時受付処理により受け付けられた発話である認証時発話と、前記ユーザ情報記憶手段に記憶されている前記登録特徴と、に基づいてユーザを認証する認証処理と、
   をコンピュータが実行することを特徴とする情報処理方法。

Images