WO2022215140A1

WO2022215140A1 - プログラム、情報処理装置、及び情報処理方法

Info

Publication number: WO2022215140A1
Application number: PCT/JP2021/014543
Authority: WO
Inventors: 雅丈豊田; ジャコモデレヴァ; 公之茶谷; 有人西守
Original assignee: 株式会社KPMG Ignition Tokyo
Priority date: 2021-04-05
Filing date: 2021-04-05
Publication date: 2022-10-13

Abstract

本発明の少なくとも一つの実施形態によるプログラムは、オフプレミス環境に備えられた一又は複数のプロセッサに、暗号化音声時系列をオンプレミス環境から取得する機能と、準同型暗号方式に従って暗号化されている暗号化辞書を用いて前記暗号化音声時系列を解析することにより、準同型暗号方式に従って暗号化されている暗号化文字列を生成する機能と、を実行させる。本発明の少なくとも一つの態様において、暗号化音声時系列は、発話に対応する音素列を識別するための音声時系列が準同型暗号方式に従って暗号化することで生成される。

Description

プログラム、情報処理装置、及び情報処理方法

　本明細書の開示は、プログラム、情報処理装置、及び情報処理方法に関する。本明細書の開示の一側面は、音声認識のためのプログラム、情報処理装置、及び情報処理方法に関する。

　音声認識に関する様々な技術が提案されている。「音声認識におけるDeep Learningの活用」（非特許文献１）には、音声認識の開発動向が概説されている。

　近年、オフプレミス環境にある情報処理リソースを利用して音声認識を行うクラウドベースの音声認識が検討されている。しかしながら、「ENCRYPTED SPEECH RECOGNITION USING DEEP POLYNOMIAL NETWORKS」（非特許文献２）に記載されているように、クラウドベースでの音声認識においては、音声データに含まれる秘密情報の漏洩が懸念されている。

　クラウドベースで音声認識を行う際の情報セキュリティ面での懸念に対処するため、非特許文献２では、準同型暗号方式での暗号化を利用した音声認識が提案されている。非特許文献２では、クライアントにおいて入力音声の音声特徴量時系列が公開鍵を用いて準同型暗号方式で暗号化され、この暗号化された音声特徴量時系列がオフプレミス環境にある音声認識サーバに送信される。オフプレミス環境にある音声認識サーバでは、暗号化された音声特徴量時系列から音響モデルを用いて事後確率系列が推定され、この推定された事後確率系列がクライアントに返される。クライアントは、音声認識サーバから取得した事後確率系列を秘密鍵で復号し、復号された事後確率系列に基づいて入力音声に対応する文字列を生成する。このように、非特許文献２では、暗号化された音声特徴量時系列を復号することなく事後確率系列を推定し、その推定結果をクライアントへ返すので、音声認識サーバに秘密鍵を渡すことなく、オフプレミス環境にある音声認識サーバの計算リソースを利用して音声認識を行うことができる。

磯　健一、「音声認識におけるDeep Learningの活用」、日本神経回路学会誌 Vol. 24, No. 1 (2017) Shi-Xiong Zhang, Yifan Gongy and Dong Yu, "ENCRYPTED SPEECH RECOGNITION USING DEEP POLYNOMIAL NETWORKS," ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)

　従来のオフプレミス環境を利用した音声認識では、事後確率系列から文字列への変換処理がクライアントで行われているため、クライアントでの処理負荷が高い。入力音声から推定された事後確率系列又はその事後確率系列から生成される音素列を文字列へ精度良く変換するためには、言語モデルや辞書が利用される。辞書は、音素列と形態素（例えば、単語）との対応関係を示すため、優れた辞書を利用することにより音素列の文字列への変換精度の向上が期待される。

　しかしながら、従来のオフプレミス環境を利用した音声認識では、文字列への変換はクライアントで行われている。このため、情報セキュリティを低下させることなく、オフプレミス環境で精度良く文字列への変換を行うことが未解決の課題として残されている。

　本明細書に開示される発明の目的は、オフプレミス環境のリソースを利用して行われる音声認識における上記の問題の少なくとも一部を解決又な緩和することである。本明細書に開示される発明のより具体的な目的の一つは、オフプレミス環境のリソースを利用して行われる音声認識において、情報セキュリティを低下させることなくオフプレミス環境で精度良く文字列への変換を行うことである。

　本明細書に開示される発明の前記以外の目的は、本明細書全体を参照することにより明らかになる。本明細書に開示される発明は、前記の課題に代えて又は前記の課題に加えて、本明細書の記載から把握される課題を解決するものであってもよい。

　本発明の少なくとも一つの態様における暗号化音声時系列は、前記発話の特徴量を時系列で表す音声特徴量時系列が準同型暗号方式に従って暗号化された暗号化音声特徴量時系列である。

　本発明の少なくとも一つの態様において、一又は複数のプロセッサは、前記暗号化特徴量時系列に基づいて、前記発話に対応する音素列を識別でき準同型暗号方式に従って暗号化されている暗号化音素列を生成する。

　本発明の少なくとも一つの態様における暗号化文字列は、前記暗号化辞書を用いて前記暗号化音素列を解析することにより生成される、

　本発明の少なくとも一つの態様における暗号化音素列は、入力音から音素を識別するための音響モデルを用いて前記暗号化音声特徴量時系列から当該発話に含まれる音が各音素である確率を示す事後確率系列を推定することで算出される。

　本発明の少なくとも一つの態様における音響モデルは、オンプレミス環境において、準同型暗号方式に従って暗号化された暗号化音響モデルである。

　本発明の少なくとも一つの態様における暗号化音声時系列は、発話に対応する音素を識別する音素列が前記オンプレミス環境において準同型暗号方式に従って暗号化された暗号化音素列である。

　本発明の少なくとも一つの態様における暗号化文字列は、言語モデルをさらに用いて生成される。

　本発明の少なくとも一つの態様における暗号化辞書は、第１辞書をオンプレミス環境で準同型暗号方式に従って暗号化することで生成される。

　本発明の少なくとも一つの態様における暗号化文字列は、第１辞書とは異なり、平文の辞書データを含む第２辞書をさらに用いて生成される。

　本発明の少なくとも一つの態様におけるプログラムは、一又は複数のプロセッサに、準同型暗号方式に従って暗号化されている暗号化参照辞書を用いて、暗号化文字列に含まれている単語を説明する説明文であって準同型暗号方式に従って暗号化されている暗号化説明文を生成する機能を実行させる。

　本発明の少なくとも一つの態様における発話は、第１言語での発話である。本発明の少なくとも一つの態様におけるプログラムは、一又は複数のプロセッサに、準同型暗号方式に従って暗号化されている暗号化翻訳辞書を用いて、暗号化文字列を第１言語とは異なる第２言語に翻訳した暗号化翻訳文字列を生成する機能を実行させる。

　本発明の少なくとも一つの態様における暗号化音声時系列は、第１公開鍵を用いて準同型暗号方式に従って暗号化されており、暗号化辞書は、第２公開鍵を用いて準同型暗号方式に従って暗号化されている。

　本発明の少なくとも一つの態様における暗号化文字列は、第１公開鍵とペアとなる第１秘密鍵及び第２公開鍵とペアとなる第２秘密鍵のいずれも用いずに生成される。

　本発明の少なくとも一つの態様におけるプログラムは、一又は複数のプロセッサに、暗号化文字列をオンプレミス環境の情報処理装置に送信する機能を実行させる。

　本発明の少なくとも一つの態様におけるプログラムは、一又は複数のプロセッサに、オフプレミス環境に配置されているストレージに暗号化文字列を記憶させる。

　本発明の少なくとも一つの態様は、オフプレミス環境に備えられた情報処理装置に関する。本発明の少なくとも一つの態様における情報処理装置は、オンプレミス環境で入力された発話が表す音素列を識別することができ準同型暗号方式に従って暗号化されている暗号化音声時系列を取得する取得部と、準同型暗号方式に従って暗号化されている暗号化辞書を用いて前記暗号化音声時系列を解析することにより、準同型暗号方式に従って暗号化されている暗号化文字列を生成する生成部と、を備える。

　本発明の少なくとも一つの態様は、オフプレミス環境に備えられた一又は複数のプロセッサがコンピュータ読み取り可能な命令を実行することに実行される情報処理方法に関する。本発明の少なくとも一つの態様における情報処理方法は、オンプレミス環境で入力された発話が表す音素列を識別することができ準同型暗号方式に従って暗号化されている暗号化音声時系列を取得する工程と、準同型暗号方式に従って暗号化されている暗号化辞書を用いて前記暗号化音声時系列を解析することにより、準同型暗号方式に従って暗号化されている暗号化文字列を生成する工程と、を備える。

　本発明の少なくとも一つの態様によるプログラムは、オフプレミス環境に備えられた一又は複数のプロセッサに、解析対象画像の特徴量を表す画像特徴量が準同型暗号方式に従って暗号化された暗号化画像特徴量をオンプレミス環境から取得する機能と、準同型暗号方式に従って暗号化されている暗号化辞書を用いて前記暗号化画像特徴量を解析することにより、準同型暗号方式に従って暗号化されている暗号化文字列を生成する機能と、を実行させる。

　本発明の少なくとも一つの態様によるプログラムは、オフプレミス環境に備えられた一又は複数のプロセッサに、解析対象の空間における匂いの検出値の特徴量を表す匂い特徴量が準同型暗号方式に従って暗号化された暗号化匂い特徴量をオンプレミス環境から取得する機能と、準同型暗号方式に従って暗号化されている暗号化辞書を用いて前記暗号化匂い特徴量を解析することにより、準同型暗号方式に従って暗号化されている暗号化文字列を生成する機能と、を実行させる。

　本発明の実施形態によれば、情報セキュリティを低下させることなくオフプレミス環境で精度良く音声認識を行うことができる。

本発明の一態様における音声認識システムを概略的に示すブロック図である。図１の音声認識システムに含まれるユーザ端末を示すブロック図である。図１の音声認識システムに含まれる別のユーザ端末を示すブロック図である。図１の音声認識システムに含まれるサーバを示すブロック図である。暗号化辞書データを模式的に示す図である。本発明の一態様における音声認識処理の流れを示すフロー図である。音声波形データ及びその音声波形データに基づいて生成された音素列の例を模式的に示す図である。本発明の別の態様における音声認識システムに含まれるユーザ端末を概略的に示すブロック図である。本発明の別の態様における音声認識システムに含まれるサーバを概略的に示すブロック図である。本発明の別の態様における音声認識処理の流れを示すフロー図である。本発明の別の態様における音声認識処理の流れを示すフロー図である。図１１の処理で利用される暗号化辞書データを模式的に示す図である。本発明の別の態様における音声認識処理の流れを示すフロー図である。図１３の処理で利用される暗号化辞書データを模式的に示す図である。本発明の別の態様における音声認識システムを概略的に示すブロック図である。本発明の別の態様における音声認識システムを概略的に示すブロック図である。本発明の別の態様における音声認識システムを概略的に示すブロック図である。本発明の一態様における画像認識システムを概略的に示すブロック図である。本発明の一態様における画像認識処理の流れを示すフロー図である。本発明の一態様における匂い認識システムを概略的に示すブロック図である。本発明の一態様における匂い認識処理の流れを示すフロー図である。

　以下、適宜図面を参照し、本明細書に開示される発明が適用される音声認識システム及びそれ以外のシステムの実施形態について説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、重複した説明は適宜省略する。以下で説明される本発明の実施形態は特許請求の範囲にかかる発明を限定するものではない。以下の実施形態で説明されている諸要素が発明の解決手段に必須であるとは限らない。

　まず、図１を参照して、本発明の一実施形態による音声認識システム１について説明する。図１は、音声認識システム１の概略を示すブロック図である。図示のとおり、音声認識システム１は、オンプレミス環境５に配置されているユーザ端末１０及びユーザ端末２０と、オンプレミス環境５の所有者又は管理者とは異なるベンダーによって管理・運営されているサーバ３０と、を含む。サーバ３０は、オンプレミス環境５の所有者・管理者とは別のベンダーによって運営されているため、オンプレミス環境５から見てオフプレミス環境にある。サーバ３０は、オフプレミス環境に備えられる情報処理装置の一つである。オフプレミス環境には、サーバ３０以外の様々な情報処理装置が配置されてもよく、サーバ３０以外の情報処理装置が図示されている各装置と通信可能に接続されていてもよい。

　オンプレミス環境５に配置されているユーザ端末１０、２０は、オフプレミス環境に配置されているサーバ３０とネットワーク４０を介して互いに通信可能に接続されている。ネットワーク４０は、単一のネットワークであってもよく、複数のネットワークが接続されて構成されていてもよい。ネットワーク４０は、例えば、インターネット、移動通信網、及びこれらの組み合わせである。ネットワーク４０として、情報処理装置間の通信を可能とする任意のネットワークが適用され得る。

　ユーザ端末１０は、発話を含む音の音声波形信号がデジタル化された音声データを取得する。音声データは、マイクロフォンで検出された発話に基づいて逐次的に生成されてもよいし、予め生成されストレージに蓄積されていてもよい。音声認識システム１は、この音声データに含まれる発話に対応する文字列を生成する。ユーザ端末１０は、音声データに所定の信号処理を行うことで音声時系列Ａ１を生成する。音声時系列Ａ１は、例えば、音声データの特徴量の時系列である音声特徴量時系列であってもよいし、音響モデルを用いて音声データに含まれる音声信号が表す音素を識別することで生成された音素列であってもよい。

　音声時系列Ａ１は、準同型暗号方式（又は準同型暗号アルゴリズム）に従って公開鍵ＰＫ１を用いて暗号化される。この暗号化処理によって、音声時系列Ａ１から暗号化音声時系列Ｅ（Ａ１）が生成される。準同型暗号方式（Homomorphic Encryption）は、準同型性を有する暗号アルゴリズムを利用する暗号方式である。準同型性を有する操作ｆ（ｘ）は、ｆ（ｘ）＋ｆ（ｙ）＝ｆ（ｘ＋ｙ）という関係を満たす。このｆ（ｘ）＋ｆ（ｙ）＝ｆ（ｘ＋ｙ）が成り立つ場合、当該操作ｆ（ｘ）は、加法準同型性を有する。操作ｆ（ｘ）が加法準同型性を有し、さらにｆ（ｘ）＊ｆ（ｙ）＝ｆ（ｘ＊ｙ）という関係を満たす場合、当該操作ｆ（ｘ）は完全準同型性を有する。このような準同型性の性質から、準同型性を有する暗号方式又は暗号化アルゴリズム（以下、単に「準同型暗号方式」という。）で平文を暗号化して生成された暗号文に対して演算を行う場合、その演算結果を復号することにより、平文に対して当該演算を行ったのと同じ演算結果を得ることができる。本開示において用いられる準同型暗号方式の種類に制限はなく、任意の種類の準同型暗号方式が用いられてもよい。例えば、ＲＳＡ暗号、ＥｌＧａｍａｌ暗号、ｍｏｄｉｆｉｅｄ－ＥｌＧａｍａｌ暗号、Ｐｉｌｌｉｅｒ暗号、又はこれら以外の準同型性を有する準同型暗号アルゴリズムが用いられてもよい。

　ユーザ端末２０は、オンプレミス辞書データＤ１を準同型暗号方式で暗号化して暗号化辞書データＥ（Ｄ１）を生成し、この生成した暗号化辞書データＥ（Ｄ１）をサーバ３０にアップロードすることができる。オンプレミス辞書データＤ１は、複数の音素列の各々と各音素列に対応する形態素との対応関係を構造的に記憶するデータセットである。形態素の例は、単語である。暗号化辞書データＥ（Ｄ１）は、オンプレミス環境５において公開鍵ＰＫ１により準同型暗号方式に従ってオンプレミス辞書データＤ１を暗号化することで生成される。オンプレミス辞書Ｄ１は、公開鍵ＰＫ１とは異なる公開鍵により準同型暗号方式に従って暗号化されてもよい。ユーザ端末２０において、オンプレミス辞書Ｄ１を平文では保存せず、公開鍵ＰＫ２を用いて暗号化された暗号化辞書データＥ（Ｄ１）を保存することにより、公開鍵ＰＫ１とペアになっている秘密鍵ＳＫ１を利用できるユーザ端末１０にオンプレミス辞書データＤ１を復号する権限を与えないようにすることができる。これにより、オンプレミス環境５内での機密情報の管理を行うことができる。

　サーバ３０における処理についてさらに説明する。サーバ３０は、準同型暗号方式に従って暗号化された暗号化音声時系列Ｅ（Ａ１）をユーザ端末１０から受信する。サーバ３０は、準同型暗号方式に従ってオンプレミス辞書データＤ１を暗号化することで生成される暗号化辞書データＥ（Ｄ１）を利用可能に保持することができる。

　サーバ３０は、暗号化辞書データＥ（Ｄ１）を用いて、暗号化音声時系列Ｅ（Ａ１）が表す音素列に対応する暗号化された暗号化文字列Ｅ（Ｔ１）を生成する。暗号化文字列Ｅ（Ｔ１）は、例えば、暗号化辞書データＥ（Ｄ１）を用いたパターンマッチングにより生成される。このようにして生成された暗号化文字列Ｅ（Ｔ１）は、ユーザ端末１０に送信される。

　ユーザ端末１０は、公開鍵ＰＫ１とペアになっている秘密鍵ＳＫ１を用いて、サーバ３０から取得した暗号化文字列Ｅ（Ｔ１）を復号し、平文の文字列Ｔ１を生成する。音声認識システム１で用いられている暗号化方式の準同型性により、暗号化辞書データＥ（Ｄ１）を用いて暗号化音声時系列Ｅ（Ａ１）から生成された暗号化文字列Ｅ（Ｔ１）を復号して得られる文字列Ｔ１は、平文のオンプレミス辞書データＤ１を用いて平文の音声時系列Ａ１にパターンマッチングを行うことで生成される文字列と同じである。ただし、アルゴリズム上不可避な誤認識の影響があるため、暗号化文字列Ｅ（Ｔ１）を復号して得られる文字列Ｔ１は、平文のオンプレミス辞書データＤ１を用いて平文の音声時系列Ａ１から得られる文字列と常に同じとは限らない。ユーザ端末１０は、この文字列Ｔ１を様々な用途に利用することができる。例えば、会議の音声を録音しておき、音声認識システム１により当該会議の音声を処理することにより、会議の音声に対応するテキストを含む文字列を得ることができる。このようにして得られる文字列は、会議の議事録として使用され得る。

　以上のとおり、音声認識システム１によれば、オフプレミス環境にあるサーバ３０において、準同型暗号方式に従って暗号化された暗号化辞書データＥ（Ｄ１）を用いて、準同型暗号方式に従って暗号化された暗号化音声時系列Ｅ（Ａ１）から暗号化文字列Ｅ（Ｔ１）を生成することができ、ユーザ端末１０は、暗号化文字列Ｅ（Ｔ１）を復号することで平文の文字列Ｔ１を得ることができる。このため、音声認識システム１によれば、オフプレミス環境にあるサーバ３０に秘密鍵ＳＫ１を渡すことなく、サーバ３０の計算リソースを使用して音声認識を行うことができる。また、サーバ３０は、暗号化音声時系列Ｅ（Ａ１）を暗号化文字列Ｅ（Ｔ１）へ変換する際に暗号化辞書データＥ（Ｄ１）を利用しているため、オンプレミス辞書データＤ１がオフプレミス環境で解析されることによる秘密情報の漏洩を防止することができる。

　オンプレミス環境５のみでの利用が想定されているオンプレミス辞書データＤ１には、オフプレミス環境への公開が想定されていない情報が含まれている可能性がある。オンプレミス辞書データＤ１に含まれる音素列と形態素との個別の対応付けは秘密度が高くないとしても、オンプレミス辞書データＤ１を解析することにより、そのオンプレミス辞書データＤ１を利用しているエンティティの活動や戦略が推測されるおそれがある。よって、音素列を文字列へ変換するためにオンプレミス辞書データＤ１を使用する場合、オンプレミス辞書を平文のままでオフプレミス環境の情報処理装置に使用させることは情報セキュリティの観点から望ましくない。

　本発明の一実施形態における音声認識システム１においては、オフプレミス環境にあるサーバ３０は、平文のオンプレミス辞書ではなく準同型暗号方式に従って暗号化された暗号化辞書データＥ（Ｄ１）を使用して暗号化文字列Ｅ（Ｔ１）を生成するので、オンプレミス辞書がオフプレミス環境で解析されることによる情報の漏洩が防止されている。また、オフプレミス環境にあるサーバ３０では、暗号化音声時系列Ｅ（Ａ１）から暗号化文字列Ｅ（Ｔ１）への変換が行われ、変換後には暗号化文字列Ｅ（Ｔ１）が暗号文のままユーザ端末１０へ送信される。このように、サーバ３０では平文の音声時系列Ａ１及び平文の文字列Ｔ１は保持されないので、音声認識システム１によれば、音声データや音声データから変換された文字列を通じた情報漏洩も防止されている。

　サーバ３０は、オンプレミス辞書が暗号化された暗号化辞書データＥ（Ｄ１）に加えて他の辞書も用いて音素列の文字列への変換を行うことができる。サーバ３０が使用する辞書の全てをオンプレミス環境５で暗号化すると、オンプレミス環境５での処理負荷が高くなってしまい、オフプレミス環境の計算リソースを使用して音声認識を行うメリットが減殺されてしまう。そこで、本発明の少なくとも一つの実施形態においては、辞書を２つの類型に分け、暗号化が必要な類型の辞書のみがオンプレミス環境５において暗号化される。第１の類型に属する第１辞書は、情報セキュリティの低下に繋がり得るデータを含む辞書であり、第２の類型に属する第２辞書は、情報セキュリティの低下に繋がり得るデータを含まない辞書である。第１辞書の具体例の一つが、オンプレミス環境５においてのみ使用されることが想定されているオンプレミス辞書である。オンプレミス辞書は、オフプレミス環境へは公開されていない辞書である。オンプレミス辞書は、例えば、オンプレミス環境５の利用者によって頻繁に使用される単語について、その単語を表す文字列と音素列とを対応付けるオンプレミス辞書データＤ１を含む。このオンプレミス辞書データＤ１に含まれる個々の音素列と単語との対応付けには秘密性がないとしても、オンプレミス辞書データＤ１を解析することにより、オンプレミス環境５の利用者（例えば、特定の企業やプロフェッショナルファーム）の戦略、事業活動、又はアドバイス内容を推測することが可能となる可能性がある。例えば、オンプレミス辞書に、「ＥＳＧ」、「企業価値」、「ＤＣＦ」といった単語が含まれている場合、このオンプレミス辞書の辞書データを解析することにより、当該オンプレミス辞書の利用者がＥＳＧをテーマとした投資や企業買収を検討していること又はそのような投資や企業買収に関するアドバイスを行っていることが推測されてしまうおそれがある。このように、オンプレミス辞書に含まれるオンプレミス辞書データＤ１を解析することで推測可能な情報は、当該オンプレミス辞書を使用する企業にとって秘密性の高い情報であり得る。

　第２辞書は、例えば、一般に公開されている汎用的な辞書である。第１辞書と異なり、第２辞書には、特定のエンティティの情報セキュリティを低下させる情報は含まれていない。他方、第２辞書は、その汎用性ゆえに、特定の専門的な内容に関する入力音声を解析する際や特定のエンティティに固有の話題で使用される単語（またはその単語と音素列との対応関係）をカバーしていないことが想定される。その結果、第１辞書を用いずに第２辞書のみを用いて音素列から文字列への変換を行うと、専門的な内容やオンプレミス環境５の利用者に固有の内容に関する発話を文字列に変換する際に変換精度が劣化するおそれがある。本発明の少なくとも一つの実施形態によれば、第１辞書を準同型暗号方式に従って暗号化した暗号化辞書データＥ（Ｄ１）をサーバ３０で利用可能とすることにより、オンプレミス環境５の利用者にとっての情報セキュリティの低下を防止しつつ、汎用的な第２辞書でカバーされていない単語を暗号化辞書データＥ（Ｄ１）でカバーすることによりオンプレミス環境５の入力音声から文字列へ変換する際の変換精度を向上させることができる。また、準同型暗号方式による暗号化の対象を第１辞書に限定することができるため、汎用的な用語も含む第２辞書を暗号化する必要がなく、これによりオンプレミス環境５における辞書の暗号化の処理負荷を軽減することができる。

　また、オンプレミス環境５のユーザは、第１辞書に関してのみ、辞書データを管理・更新すればよい。辞書データの管理及び更新には、例えば、音素列と単語との対応付けの変更、音素列と単語との新たな対応付けの追加、及び前記以外の辞書データをより望ましい状態とするための辞書データの変更が含まれる。第２辞書としては、汎用的な辞書を利用することができるため、第２辞書の管理・更新は、外部の辞書編集者や第２辞書のパブリッシャーによってなされればよい。

　暗号化音声時系列Ｅ（Ａ１）から変換された暗号化文字列Ｅ（Ｔ１）は暗号文であるため、情報セキュリティを低下させることなくオフプレミス環境に保存され得る。暗号化文字列Ｅ（Ｔ１）をオフプレミス環境に保存し、オンプレミス環境５の情報処理装置は、必要に応じてオフプレミス環境のストレージから暗号化文字列Ｅ（Ｔ１）を取得することにより、オンプレミス環境５におけるストレージ容量を節約することができる。秘密鍵ＳＫ１を所持しているオンプレミス環境５のユーザは、必要に応じてオフプレミス環境のストレージに記憶されている暗号化文字列Ｅ（Ｔ１）を秘密鍵ＳＫ１により復号し、その復号した文字列Ｔ１を用いて必要な演算・解析を行うことができる。また、オンプレミス環境５のユーザは、オフプレミス環境５に記憶されている暗号化文字列Ｅ（Ｔ１）を用いた解析や学習をオフプレミス環境の計算リソースを用いて実行させることができる。暗号化文字列Ｅ（Ｔ１）は、準同型暗号方式により暗号化されているので、このような解析や学習の結果を復号することにより、平文での学習又は解析と同じ結果を得ることができる。

　次に、図２から図５を参照して、音声認識システム１に含まれるユーザ端末１０、ユーザ端末２０、及びサーバ３０についてより詳しく説明する。図２から図４はそれぞれ、ユーザ端末１０、ユーザ端末２０、及びサーバ３０の概略的なブロック図である。図５は、サーバ３０に備えられる暗号化辞書データＥ（Ｄ１）を模式的に示す図である。図１を参照して説明したとおり、ユーザ端末１０及びユーザ端末２０はオンプレミス環境５に配置された情報処理装置であり、サーバ３０はオンプレミス環境５の外に（すなわち、オフプレミス環境に）配置された情報処理装置である。各図では、ユーザ端末１０とユーザ端末２０とが物理的に別体の装置として図示されているが、ユーザ端末１０及びユーザ端末２０の機能は物理的に単一の情報処理装置により実行されてもよい。

　まず、ユーザ端末１０、ユーザ端末２０、及びサーバ３０のハードウェア構成について説明する。図２に示されているように、ユーザ端末１０は、プロセッサ１１、メモリ１２、ユーザインタフェース１３、通信インタフェース１４、及びストレージ１５を備えている。図３に示されているように、ユーザ端末２０は、プロセッサ２１、メモリ２２、ユーザインタフェース２３、通信インタフェース２４、及びストレージ２５を備えている。図４に示されているように、サーバ３０は、プロセッサ３１、メモリ３２、ユーザインタフェース３３、通信インタフェース３４、及びストレージ３５を備えている。

　プロセッサ１１は、ストレージ１５又はそれ以外のストレージからオペレーティングシステムやそれ以外の様々なプログラムをメモリ１２にロードし、ロードしたプログラムに含まれる命令を実行する演算装置である。プロセッサ１１は、例えば、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＧＰＵ、これら以外の各種演算装置、又はこれらの組み合わせである。プロセッサ１１は、ＡＳＩＣ、ＰＬＤ、ＦＰＧＡ、ＭＣＵ等の集積回路により実現されてもよい。

　メモリ１２は、プロセッサ１１が実行する命令及びそれ以外の各種データを格納するために用いられる。メモリ１２は、プロセッサ１１が高速にアクセス可能な主記憶装置（メインメモリ）である。メモリ１２は、例えば、ＤＲＡＭやＳＲＡＭ等のＲＡＭによって構成される。

　ユーザインタフェース１３は、ユーザの入力を受け付ける入力インタフェースと、プロセッサ１１の制御により様々な情報を出力する出力インタフェースと、を備える。入力インタフェースは、例えば、音を電気信号に変換するマイクロフォンを含む。入力インタフェースは、キーボード、マウス等のポインティングデバイス、タッチパネル、又は前記以外のユーザの入力を入力可能な任意の情報入力装置である。出力インタフェースは、例えば、液晶ディスプレイ、表示パネル、又は前記以外のプロセッサ１１の演算結果を出力可能な任意の情報出力装置である。

　通信インタフェース１４は、ハードウェア、ファームウェア、又はＴＣＰ／ＩＰドライバやＰＰＰドライバ等の通信用ソフトウェア又はこれらの組み合わせとして実装される。ユーザ端末１０は、通信インタフェース１４を介して、オンプレミス環境５内に配置されている情報機器やオフプレミス環境にあるサーバ３０とデータを送受信することができる。

　ストレージ１５は、プロセッサ１１によりアクセスされる外部記憶装置である。ストレージ１５は、例えば、磁気ディスク、光ディスク、半導体メモリ、又はデータを記憶可能な前記以外の各種記憶装置である。

　ユーザ端末２０に備えられプロセッサ２１、メモリ２２、ユーザインタフェース２３、通信インタフェース２４、及びストレージ２５、並びに、サーバ３０に備えられるプロセッサ３１、メモリ３２、ユーザインタフェース３３、通信インタフェース３４、及びストレージ３５はそれぞれ、ユーザ端末１０に備えられるプロセッサ１１、メモリ１２、ユーザインタフェース１３、通信インタフェース１４、及びストレージ１５のうち対応するものと同様に構成され得る。例えばプロセッサ２１及びプロセッサ３１はそれぞれ、プロセッサ１１と同様に構成され得る。このため、ユーザ端末２０及びサーバ３０のハードウェア構成についての詳細な説明は省略する。

　続いて、ユーザ端末１０、ユーザ端末２０、及びサーバ３０の機能及びこれらの装置に記憶されるデータについて説明する。

　まず、ユーザ端末１０が実行する機能及びユーザ端末１０に格納されるデータについて説明する。ユーザ端末１０は、ストレージ１５に格納されているプログラムに含まれる命令及び必要に応じてそれ以外の命令を実行することにより、音声取得部１１ａ、特徴抽出部１１ｂ、暗号化部１１ｃ、送信部１１ｄ、及び復号部１１ｅとして機能する。

　音声取得部１１ａは、発話を含む音を電気信号に変換した音声データを取得する。音声取得部１１ａは、例えば、ユーザインタフェース１３の一部であるマイクロフォンにより検出された音を表すアナログの音声波形信号に標本化処理及び量子化処理を行うことで、音声波形信号がデジタル化された音声データを生成することができる。音声取得部１１ａは、マイクロフォンで検出された音を逐次的に音声データに変換してもよいし、予めデジタル化された音声データをストレージ１５又はそれ以外の記憶装置から取得してもよい。

　特徴抽出部１１ｂは、音声取得部１１ａから音声データを取得し、この取得した音声データに単位時間（例えば、10msec）ごとに特徴量を算出するための公知の演算を行うことにより音声特徴量時系列Ａ１１を取得する。音声特徴量時系列Ａ１１は、音声の特徴量を時系列で表す時系列データである。音声特徴量時系列Ａ１１は、メル周波数ケプストラム係数（Ｍｅｌ－ＦｒｅｑｕｅｎｃｙＣｅｐｓｔｒａｌＣｏｅｆｆｉｃｉｅｎｔ）等のノンパラメトリック分析により算出される特徴量の時系列であってもよいし、音声信号に対して特定のモデルを適用して（つまり、パラメトリック分析により）抽出される特徴量の時系列であってもよい。音声特徴量時系列Ａ１１は、図１において説明した音声時系列Ａ１の一例である。

　特徴抽出部１１ｂは、音声特徴量時系列Ａ１１を算出するために、音声データに公知の様々な演算を行うことができる。例えば、特徴抽出部１１ｂは、メル周波数ケプストラム係数を算出するために、音声データに含まれる音声信号にフーリエ変換および離散コサイン変換等の各種演算を行うことができる。

　暗号化部１１ｃは、特徴抽出部１１ｂにより算出された音声特徴量時系列Ａ１１を準同型暗号方式に従って暗号化することで、暗号化特徴量時系列Ｅ（Ａ１１）を生成する。暗号化部１１ｃによる準同型暗号方式による暗号化には、ストレージ１５に記憶されている鍵ペア１５ａにおいて秘密鍵ＳＫ１とペアにされている公開鍵ＰＫ１が用いられる。暗号化部１１ｃは、処理負荷軽減のために、音声特徴量時系列Ａ１１を暗号化用の単位フレームに分割し、この分割された音声特徴量時系列Ａ１１の各々を暗号化することで暗号化特徴量時系列Ｅ（Ａ１１）を生成することができる。つまり、暗号化特徴量時系列Ｅ（Ａ１１）は、単位フレームに分割された音声特徴量時系列Ａ１１を暗号化した暗号文の系列であってもよい。

　送信部１１ｄは、暗号化部１１ｃにより生成された暗号化特徴量時系列Ｅ（Ａ１１）を音声認識処理のためにサーバ３０に送信することができる。

　復号部１１ｅは、サーバ３０から受信した暗号化文字列Ｅ（Ｔ１）を秘密鍵ＳＫ１により復号することで、平文の文字列Ｔ１を生成する。サーバ３０における暗号化文字列Ｅ（Ｔ１）の生成については後述する。復号部１１ｅにより生成された文字列Ｔ１は、ストレージ１５に保存されてもよい。ユーザ端末１０は、ストレージ１５に記憶されている文字列Ｔ１を用いて、文書作成、文章解析、機械学習、及び前記以外の各種処理を行うことができる。

　次に、ユーザ端末２０が実行する機能及びユーザ端末２０に格納されるデータについて説明する。ユーザ端末２０は、オンプレミス辞書データＤ１の管理のために用いられる情報処理装置である。ユーザ端末１０は、ストレージ２５に格納されているプログラムに含まれる命令及び必要に応じてそれ以外の命令を実行することにより、辞書管理部２１ａ、暗号化部２１ｂ、及び送信部２１ｃとして機能する。

　辞書管理部２１ａは、オンプレミス環境５で利用される複数の形態素（例えば単語）の各々について各形態素とその形態素に対応する音素列との対応関係を定めるオンプレミス辞書の管理を行う。オンプレミス辞書は、複数の単語の各々について、各単語を表す文字列とその単語を表す音素列とを対応付けるオンプレミス辞書データＤ１の形式でストレージ２５に記憶され得る。オンプレミス辞書データＤ１において、音素列は、当該音素列を構成する音素をノードとする決定木ネットワーク構造を有していてもよい。オンプレミス辞書データＤ１がネットワーク構造を有する場合には、探索の効率化のために、複数の音素列において共通する音素が共通のノードに集約されてもよい。

　辞書管理部２１ａは、オンプレミス辞書データＤ１の更新、管理、編集、修正、追加及び前記以外の処理を行うことができる。例えば、辞書管理部２１ａは、オンプレミス環境５で使用されている文書を解析し、その中で使用頻度が一定の基準よりも高い単語をオンプレミス辞書に追加することができる。辞書管理部２１ａは、音声認識において一般に利用可能な（オンプレミス環境５の外で利用可能な）汎用辞書に登載されている単語とオンプレミス辞書に登載されている単語とを比較し、汎用辞書に登載されていない単語をオンプレミス辞書に追加することができる。逆に、オンプレミス環境５内の文書での使用頻度が高い単語であっても、サーバ３０によって利用可能な汎用辞書に登載されている単語についてはオンプレミス辞書へ追加しなくともよい。これにより、オンプレミス辞書データＤ１のデータサイズを削減することができる。辞書管理部２１ａは、サーバ３０で利用可能な汎用辞書を解析し、汎用辞書に登載されている単語をオンプレミス辞書から削除してもよい。辞書管理部２１ａは、上記以外にもオンプレミス辞書を改善するための様々な処理を行うことができる。

　暗号化部２１ｂは、オンプレミス辞書データＤ１の少なくとも一部を準同型暗号方式に従って暗号化することで、暗号化辞書データＥ（Ｄ１）を生成する。暗号化部１１ｃによる準同型暗号方式に従った暗号化では、ストレージ２５に記憶されている鍵ペア２５ａにおいて秘密鍵ＳＫ１とペアにされている公開鍵ＰＫ１が用いられる。暗号化部２１ｂは、秘密鍵ＳＫ１と公開鍵ＰＫ１とが対応付けられた鍵ペアとは異なる鍵ペアを用いてオンプレミス辞書データＤ１の暗号化を行ってもよい。

　送信部２１ｃは、暗号化部２１ｂにより生成された暗号化辞書データＥ（Ｄ１）をサーバ３０に送信することができる。

　暗号化辞書データＥ（Ｄ１）は、サーバ３０においてストレージ３５に記憶され得る。図５に暗号化辞書データＥ（Ｄ１）の例を模式的に示す。暗号化辞書データＥ（Ｄ１）は、複数の単語について、その単語を表す文字列を準同型暗号方式により暗号化することで生成された暗号化文字列と、その単語を発話した音を表す音素列を準同型暗号方式により暗号化することで生成される暗号化音素列とが対応付けられたデータセットである。図５に示されている例では、「監査」という文字列を準同型暗号方式に従って暗号化した暗号化文字列「Ｅ（監査）」が、この「監査」を発話した音を表す音素列を準同型暗号方式に従って暗号化した暗号化音素列「Ｅ（ｋ）Ｅ（ａ）Ｅ（ｎ）Ｅ（ｓ）Ｅ（ａ）」と対応付けられている。他の単語についても同様に、その単語を表す文字列を準同型暗号方式に従って暗号化した暗号化文字列と、その単語を発話した音を表す音素列を準同型暗号方式に従って暗号化した暗号化音素列とが対応付けて記憶されている。

　次に、サーバ３０が実行する機能及びサーバ３３０に格納されるデータについて説明する。サーバ３０は、ストレージ３５に格納されているプログラムに含まれる命令及び必要に応じてそれ以外の命令を実行することにより、受信部３１ａ、音素列抽出部３１ｂ、文字列変換部３１ｃ、及び送信部３１ｄとして機能する。

　受信部３１ａは、ユーザ端末１０から暗号化特徴量時系列Ｅ（Ａ１１）を受信する。また、上述したように、受信部３１ａは、ユーザ端末２０から暗号化辞書データＥ（Ｄ１）を受信し、受信した暗号化辞書データＥ（Ｄ１）をストレージ３５に格納することができる。ストレージ３５には、オンプレミス辞書の辞書データＤ１が暗号化された暗号化辞書Ｅ（Ｄ１）に加えて、汎用辞書の汎用辞書データＤ２を記憶してもよい。汎用辞書データＤ２は、オンプレミス辞書データＤ１と同様に、複数の形態素について、各形態素を発話したときの音素列と各形態素の文字列との対応関係を構造的に記憶するデータセットである。

　音素列抽出部３１ｂは、ストレージ３５に記憶されている音響モデル３５ａを使用して、暗号化特徴量時系列Ｅ（Ａ１１）に最も良く整合する暗号化音素列Ｅ（Ａ１２）を抽出する。例えば、音素列抽出部３１ｂは、音響モデル３５ａを用いて、暗号化特徴量時系列Ｅ（Ａ１１）の各単位時間の特徴量が各音素である確率を示す事後確率系列を推定し、この事後確率系列に基づいて当該特徴量に最も良く整合する音素を決定することができる。この事後確率系列に基づいて、暗号化特徴量時系列Ｅ（Ａ１１）から暗号化音素列Ｅ（Ａ１２）を生成することができる。準同型暗号方式により暗号化されている特徴量から事後確率系列を算出できることは、非特許文献２に記載されている。このように、音素列抽出部３１ｂは、暗号化特徴量時系列Ｅ（Ａ１１）を復号することなく、音響モデル３５ａを用いて暗号化特徴量時系列Ｅ（Ａ１１）に最も良く整合する暗号化音素列Ｅ（Ａ１２）を抽出することができる。音素列抽出部３１ｂは、ビタビアルゴリズムを利用したビタビサーチ又はコサインマッチングによって暗号化特徴量時系列Ｅ（Ａ１１）から暗号化音素列Ｅ（Ａ１２）を抽出することもできる。

　音響モデル３５ａは、単語列Ｗが音声Ｘを生成する確率ｐ（Ｘ｜Ｗ）を与える数学モデルである。音響モデル３５ａとして様々な公知の音響モデルを利用することができる。例えば、音響モデル３５ａは、各音素の特徴を３状態の隠れマルコフモデル（Hidden Markov Model）により表現するモデルであってもよい。音響モデル３５ａは、大量の学習データから、解析対象の言語の全ての音素をカバーするように設計される。例えば、日本語の音声の音声認識を行う場合には、日本語の全ての音素をカバーするように音響モデル３５ａを生成することができる。非特許文献１に記載されているように、音響モデル３５ａとして、ニューラルネットワークを用いることもできる。例えば、音響モデル３５ａとして、深層ニューラルネットワーク（DNN: Deep Neural Network）、長・短期記憶再帰型ネットワーク（LSTM: Long Short-Term Memory Network））、又はこれら以外のニューラルネットワークを用いることができる。

　文字列変換部３１ｃは、暗号化辞書データＥ（Ｄ１）及び汎用辞書データＤ２の少なくとも一方並びに言語モデル３５ｂを用いて、音素列抽出部３１ｂにより生成された暗号化音素列Ｅ（Ａ１２）を暗号化文字列Ｅ（Ｔ１）に変換する。文字列変換部３１ｃによる演算は、暗号化音素列Ｅ（Ａ１２）を復号せずに実行されるため、文字列変換部３１ｃから出力される文字列も暗号化されている。文字列変換部３１ｃは、例えば、暗号化音素列Ｅ（Ａ１２）と暗号化辞書データＥ（Ｄ１）及び汎用辞書データＤ２の少なくとも一方に含まれる音素列とのパターンマッチングを行い、暗号化音素列Ｅ（Ａ１２）に含まれる音素列とマッチする単語又は単語以外の形態素を決定することができる。文字列変換部３１ｃは、例えば、前方探索により、暗号化音素列Ｅ（Ａ１２）に含まれる所定単位の音素列が、暗号化辞書データＥ（Ｄ１）及び汎用辞書データＤ２の少なくとも一方に登録されている音素列と一致する場合に、その形態素を当該音素列に対応する文字列とすることができる。例えば、暗号化音素列Ｅ（Ａ１２）に含まれる変換対象の所定単位の音素列が「／ｋ／、／ａ／、／ｎ／、／ｓ／、／ａ／」の暗号文であり、暗号化辞書データＥ（Ｄ１）において暗号化されている音素列「／ｋ／、／ａ／、／ｎ／、／ｓ／、／ａ／」と暗号化されている「監査」の文字列とが対応付けられている場合、この暗号化されている「監査」の文字列を変換対象である音素列「／ｋ／、／ａ／、／ｎ／、／ｓ／、／ａ／」に対応する文字列として決定することができる。文字列変換部３１ｃは、暗号化音素列Ｅ（Ａ１２）に含まれる変換対象の所定単位の音素列が、暗号化辞書データＥ（Ｄ１）及び汎用辞書データＤ２の少なくとも一方に登録されている音素列と完全一致していなくても、一致度が所定の基準値よりも高い場合には、その高い一致度を有する音素列に対応付けられている文字列を当該変換対象の音素列に対応する文字列とすることができる。

　本発明の少なくとも一つの実施形態において、汎用辞書データＤ２は、暗号化されていても暗号化されていなくともよい。文字列変換部３１ｃにおけるパターンマッチングのアルゴリズムにおいて汎用辞書データＤ２も暗号化されている必要がある場合には、汎用辞書データＤ２を準同型暗号方式により暗号化してストレージ３５に記憶し、パターンマッチングの際には暗号化されている汎用辞書データＤ２を用いてもよい。この場合、サーバ３０が公開鍵ＰＫ１をユーザ端末１０または２０から取得し、その公開鍵ＰＫ１を用いて汎用辞書データＤ２を準同型暗号化してもよい。汎用辞書データＤ２が暗号化される場合であっても、この暗号化処理は、サーバ３０又は汎用辞書データＤ２の提供者によって行われればよく、オンプレミス環境５において行われる必要はない。本明細書では、汎用辞書データＤ１２は、平文の汎用辞書データと暗号化された汎用辞書データのいずれを指してもよいものとする。

　言語モデル３５ｂは、ある言語における文字列（単語列など）の連鎖の出現確率を表す数学モデルである。言語モデル３５ｂが単語の連鎖としてｎ単語の連鎖を用いて出現確率を表現する場合、当該言語モデル３５ｂはｎグラム言語モデルと呼ばれる。３単語の連鎖を用いるトライグラム（3-gram）言語モデルが広く用いられており、本発明の少なくとも一つの実施形態においては、この公知のトライグラム言語モデルを用いることができる。文字列の連鎖の出現確率は、文例を多数集めたコーパスに基づいて生成される。文字列変換部３１ｃは、言語モデル３５ｂが表す単語列の出現確率を重みとして使用することで、暗号化音素列Ｅ（Ａ１２）に最も整合する文字列を決定し、決定した文字列を出力することができる。

　音響モデル３５ａ及び言語モデル３５ｂは、準同型暗号方式により暗号化されていてもよいし、暗号化されていなくともよい。

　非特許文献１に記載されているように、音響モデル及び言語モデルがいずれも確率値を重みとする重み付き有限状態変換器で表され得るため、音響モデルと言語モデルとを合成して単一の有限状態変換器で表すことができる。この単一の有限状態変換器により、音素列抽出部３１ｂ及び文字列変換部３１ｃを代替することができる。つまり、音響モデルと言語モデルとを合成した単一の有限状態変換器により、暗号化特徴量時系列Ｅ（Ａ１１）から暗号化文字列Ｅ（Ｔ１）を生成することができる。本発明の一実施形態におけるサーバ３０は、音響モデルと言語モデルとを合成した単一の有限状態変換器を使用して暗号化特徴量時系列Ｅ（Ａ１１）から暗号化文字列Ｅ（Ｔ１）を生成する機能を備えることができる。

　送信部３１ｄは、文字列変換部３１ｃにより生成された暗号化文字列Ｅ（Ｔ１）をユーザ端末１０に送信することができる。

　次に、図６及び図７を参照して、ユーザ端末１０からの要求に基づいてサーバ３０が行う音声認識処理の流れを説明する。まず、ステップＳ１１において、ユーザ端末１０において、解析対象となる発話を含む音を電気信号に変換した音声データが取得される。取得される音声データは、例えば、図７（ａ）に示すように、デジタル変換された音声波形信号ｓ１である。デジタル化された音声波形信号ｓ１は、解析対象となる音の振幅の時系列的な変化を表す信号である。ステップＳ１１では、マイクロフォンで検出された音が逐次的に音声データに変換されてもよいし、予め集音されデジタル化された音声データがストレージ１５又はそれ以外の記憶装置から取得されてもよい。音声データの取得は、音声取得部１１ａにより実行されてもよい。

　次に、ステップＳ１２において、ステップＳ１１において取得された音声データから単位時間ごとに音声特徴量が算出され、当該音声特徴量の時系列である音声特徴量時系列Ａ１１が生成される。ステップＳ１２において算出される音声特徴量は、例えばメル周波数ケプストラム係数である。音声特徴量時系列Ａ１１の生成は、特徴抽出部１１ｂにより実行されてもよい。

　次に、ステップＳ１３において、ステップＳ１２において算出された音声特徴量時系列Ａ１１が準同型暗号方式に従って公開鍵ＰＫ１を用いて暗号化され、暗号化特徴量時系列Ｅ（Ａ１１）が生成される。ステップＳ１３においては、音声特徴量時系列Ａ１がフレーム単位に分割され、この分割された部分ごとに音声特徴量時系列Ａ１１に対する暗号化が行われてもよい。この暗号化特徴量時系列Ｅ（Ａ１１）は、ユーザ端末１０からサーバ３０に送信される。ステップＳ１３における音声特徴量時系列Ａ１１の暗号化は、暗号化部１１ｃによって実行されてもよい。暗号化特徴量時系列Ｅ（Ａ１１）のサーバ３０への送信は、送信部１１ｄにより実行されてもよい。

　暗号化特徴量時系列Ｅ（Ａ１１）がサーバ３０に受信されると、ステップＳ１４において、暗号化特徴量時系列Ｅ（Ａ１１）に最も良く整合する暗号化音素列Ｅ（Ａ１２）が抽出される。暗号化特徴量時系列Ｅ（Ａ１１）から暗号化音素列Ｅ（Ａ１２）を抽出する処理には、音響モデル３５ａが用いられる。例えば、ステップＳ１４では、音響モデル３５ａを用いて暗号化特徴量時系列Ｅ（Ａ１１）に最も良く整合する暗号化音素列Ｅ（Ａ１２）が生成される。具体的には、音声データに「監査（かんさ）」の発話を表す音声波形信号ｓ１が含まれている場合、誤認識が起こらなければ、図７（ｂ）に示されているように、当該音声波形信号ｓ１に基づいて生成された暗号化特徴量時系列Ｅ（Ａ１１）に最も良く整合する暗号化音素列Ｅ（Ａ１２）として／ｋ／、／ａ／、／ｎ／、／ｓ／、／ａ／の各音素をこの順番で含む暗号化された音素列「Ｅ（ｋ）Ｅ（ａ）Ｅ（ｎ）Ｅ（ｓ）Ｅ（ａ）」が生成される。この暗号化音素列Ｅ（Ａ１２）の生成は、例えば、音素列抽出部３１ｂにより実行されてもよい。図７には、説明の簡潔さのために、「監査」という一つの単語を表す音声データに対応する音声波形信号ｓ１及びその音声波形信号ｓ１に基づいて生成される暗号化音素列Ｅ（Ａ１２）を示しているが、音声認識システム１で音声認識の対象となる音声データは、複数の単語及びそれ以外の形態素を含む単語列又は文章を発話した音を表すデータであってもよい。

　次に、ステップＳ１５において、ステップＳ１４で生成された暗号化音素列Ｅ（Ａ１２）が暗号化文字列Ｅ（Ｔ１）に変換される。暗号化音素列Ｅ（Ａ１２）の暗号化文字列Ｅ（Ｔ１）への変換には、暗号化辞書データＥ（Ｄ１）及び汎用辞書データＤ２の少なくとも一方が用いられる。ステップＳ１５での暗号化文字列Ｅ（Ｔ１）への変換には言語モデル３５ｂが使用されてもよい。ステップＳ１５では、例えば、暗号化音素列Ｅ（Ａ１２）と暗号化辞書データＥ（Ｄ１）及び汎用辞書データＤ２の少なくとも一方に含まれる音素列とのパターンマッチングが行われ、暗号化音素列Ｅ（Ａ１２）に含まれる音素列とマッチする単語又は単語以外の形態素が決定される。暗号化音素列Ｅ（Ａ１２）に含まれる変換対象の所定単位の音素列が「／ｋ／、／ａ／、／ｎ／、／ｓ／、／ａ／」の暗号文であり、暗号化辞書データＥ（Ｄ１）に暗号化音素列「Ｅ（ｋ）Ｅ（ａ）Ｅ（ｎ）Ｅ（ｓ）Ｅ（ａ）」と対応付けて「監査」の暗号化文字列が対応付けられている場合、この「監査」の暗号化文字列が暗号化文字列Ｅ（Ｔ１）として決定される。変換対象の音素列が複数の単語や単語以外の形態素を含む場合には、言語モデル３５ｂが表す単語列の出現確率を重みとして使用することで、暗号化音素列Ｅ（Ａ１２）から暗号化文字列Ｅ（Ｔ１）への変換をより精度良く行うことができる。暗号化音素列Ｅ（Ａ１２）から暗号化文字列Ｅ（Ｔ１）への変換は、文字列変換部３１ｃによって実行されてもよい。ステップＳ１５で生成された暗号化文字列Ｅ（Ｔ１）は、ユーザ端末１０に送信される。暗号化文字列Ｅ（Ｔ１）のユーザ端末１０への送信は、送信部３１ｄにより実行されてもよい。

　暗号化文字列Ｅ（Ｔ１）がユーザ端末１０に受信されると、ステップＳ１６において、ステップＳ１３で使用された公開鍵ＰＫ１とペアになる秘密鍵ＳＫ１を用いて暗号化文字列Ｅ（Ｔ１）が復号され、平文の文字列Ｔ１が生成される。音声波形信号ｓ１が音声データに含まれる「監査（かんさ）」という発話を表す場合、ステップＳ１６において生成される平文の文字列Ｔ１は、誤認識がない場合には「監査」となる。暗号化文字列Ｅ（Ｔ１）を復号して文字列Ｔ１を生成する復号処理は、復号部１１ｅにより実行されてもよい。

　以上により、ユーザ端末１０において取得された「／ｋ／、／ａ／、／ｎ／、／ｓ／、／ａ／」という音素列に対応する音を含む音声データに対してサーバ３０で音声認識処理が行われ、当該音声データ中の発話に対応する「監査」という文字列が音声認識結果として得られる。

　この音声認識処理において、サーバ３０は、準同型暗号方式に従って暗号化された暗号化特徴量時系列Ｅ（Ａ１１）から暗号化音素列Ｅ（Ａ１２）を抽出し、抽出された暗号化音素列Ｅ（Ａ１２）を暗号化文字列Ｅ（Ｔ１）に変換してユーザ端末１０に送信している。暗号化音素列Ｅ（Ａ１２）から暗号化文字列Ｅ（Ｔ１）への変換には、準同型暗号方式に従って暗号化された暗号化辞書データＥ（Ｄ１）が用いられている。よって、音声認識システム１によれば、サーバ３０に提供される音声特徴量だけでなく、サーバ３０が利用するオンプレミス辞書データＤ１も暗号化されているから、情報セキュリティを低下させることなく、オフプレミス環境にあるサーバ３０の計算リソースを利用して音声認識を行うことができる。音声認識システム１における音声認識においては、オンプレミス辞書Ｄ１が準同型暗号方式に従って暗号化された暗号化辞書データＥ（Ｄ１）が用いられているため、汎用辞書データＤ１２には登載されていない単語（例えば、オンプレミス環境５で特有の話題で使用される単語、オンプレミス環境５で使用される専門性が高い単語など）についても精度よく文字列へ変換することができる。ステップＳ１５においては、ストレージ３５に保持されている暗号化辞書データＥ（Ｄ１辞書データＥ（Ｄ１）及び汎用辞書データＤ２のうち、暗号化音声特徴量時系列Ｅ（Ａ１１）の送信元であるオンプレミス環境５から提供され暗号化辞書データＥ（Ｄ１）が優先的に選択されてもよい。例えば、オンプレミス環境５が監査法人の計算環境であり、オンプレミス辞書データＤ１が監査ドメインの辞書データである場合、暗号化辞書データＥ（Ｄ１）が優先的に選択されることで、監査法人からの音声特徴量時系列を監査ドメインにおいて文字列に変換することができ、文字列への変換精度が向上する。

　続いて、図８から図１０を参照して、本発明の別の実施形態について説明する。図８は、本発明の別の実施形態における音声認識システムに含まれるユーザ端末１０のブロック図であり、図９は、当該音声認識システムに含まれるサーバ３０を概略的に示すブロック図であり、図１０は、当該音声認識システムにおける音声認識処理の流れを示すフロー図である。図８から図１０に示されている実施形態においては、音声特徴量からの音素列の抽出がユーザ端末１０で行われ、サーバ３０は、ユーザ端末１０から暗号化音素列Ｅ（Ａ１２）を取得し、このユーザ端末１０から受信した暗号化音素列Ｅ（Ａ１２）を暗号化文字列Ｅ（Ｔ１）に変換する点で、音素列の抽出をサーバ３０で行う図２から図４に示されている実施形態とは異なっている。

　図８に示されている実施形態において、ユーザ端末１０のプロセッサ１１は、ストレージ１５に格納されているプログラムに含まれる命令及び必要に応じてそれ以外の命令を実行することにより、音素列抽出部１１１ａとしても機能する。音素列抽出部１１１ａは、ストレージ１５に記憶されている音響モデル１１５ａを使用して、特徴抽出部１１ｂにより生成された音声特徴量時系列Ａ１１に最も良く整合する音素列Ｅ（Ａ１２）を抽出する。音響モデル１１５ａは、音響モデル３５ａと同様に構成され得る。音素列抽出部１１１ａは、音素列抽出部３１ｂと同様のアルゴリズムによって音声特徴量時系列Ａ１１から音素列Ｅ（Ａ１２）を抽出することができる。上記のとおり、音素列抽出部３１ｂは、暗号化特徴量時系列Ｅ（Ａ１１）から暗号化音素列Ｅ（Ａ１２）を抽出することができる。音素列抽出部１１１ａにおける処理は、オンプレミス環境５で行われるため、平文の特徴量時系列Ａ１１から平文の音素列Ａ１２が抽出される。入力及び出力が暗号化されていない（つまり、平文である。）点以外は、音素列抽出部１１１ａは、音素列抽出部３１ｂと同様の処理によって音素列Ａ１２を生成することができる。

　音素列抽出部１１１ａにより生成された音素列Ａ１２は、暗号化部１１ｃに出力される。暗号化部１１ｃは、音素列抽出部１１１ａにより生成された音素列Ａ１２を準同型暗号方式に従って暗号化し、暗号化音素列Ｅ（Ａ１２）を生成する。送信部１１ｄは、暗号化部１１ｃにより生成された暗号化音素列Ｅ（Ａ１２）を音声認識処理のためにサーバ３０に送信することができる。

　サーバ３０は、受信部３１ａにおいて、ユーザ端末１０から送信された暗号化音素列Ｅ（Ａ１２）を受信する。図９に示されているように、サーバ３０のプロセッサ３１は、ストレージ３５に格納されているプログラムに含まれる命令及び必要に応じてそれ以外の命令を実行することにより、受信部３１ａ、文字列変換部３１ｃ、及び送信部３１ｄとして機能する。図４に示されている実施形態と異なり、図９に示されているサーバ３０は、音素列抽出部３１ｂとしての機能を実行しなくともよい。

　サーバ３０において、文字列変換部３１ｃは、暗号化辞書データＥ（Ｄ１）及び汎用辞書データＤ２の少なくとも一方並びに必要に応じて言語モデル３５ｂを用いて、受信部３１ａにより受信された暗号化音素列Ｅ（Ａ１２）を暗号化文字列Ｅ（Ｔ１）に変換する。暗号化音素列Ｅ（Ａ１２）から暗号化文字列Ｅ（Ｔ１）への変換は、既述のとおりである。

　次に、図１０を参照して、図８に示されているユーザ端末１０からの要求に基づいて図９に示されているサーバ３０が行う音声認識処理の流れを説明する。まず、ステップＳ１１１において、ユーザ端末１０において、解析対象となる発話を含む音を電気信号に変換した音声データが取得される。次に、ステップＳ１１２において、ステップＳ１１１において取得された音声データから単位時間ごとに音声特徴量が算出され、当該音声特徴量の時系列である音声特徴量時系列Ａ１１が生成される。

　次に、ステップＳ１１３において、音響モデル１１５ａを用いて、ステップＳ１１２で生成された音声特徴量時系列Ａ１１に最も良く整合する音素列Ａ１２が生成される。例えば、音声データに「監査（かんさ）」の発話を表す音声波形信号ｓ１が含まれている場合、誤認識が起こらなければ、特徴量時系列Ａ１１に最も良く整合する音素列Ａ１２として／ｋ／、／ａ／、／ｎ／、／ｓ／、／ａ／の各音素をこの順番で含む音素列が生成される。ステップＳ１１３における音素列Ａ１２の抽出は、例えば、音素列抽出部１１１ａで行われてもよい。

　次に、ステップＳ１１４において、ステップＳ１１３において生成された音素列Ａ１２が準同型暗号方式に従って公開鍵ＰＫ１を用いて暗号化され、暗号化音素列Ｅ（Ａ１２）が生成される。暗号化音素列Ｅ（Ａ１２）は、図１を参照して説明した暗号化音声時系列（Ｅ（Ａ１））の例である。この暗号化音素列Ｅ（Ａ１２）は、ユーザ端末１０からサーバ３０に送信される。ステップＳ１３における音素列Ａ１２の暗号化は、暗号化部１１ｃによって実行されてもよい。暗号化音素列Ｅ（Ａ１２）のサーバ３０への送信は、送信部１１ｄにより実行されてもよい。

　暗号化音素列Ｅ（Ａ１２）がサーバ３０に受信されると、ステップＳ１１５において、暗号化音素列Ｅ（Ａ１２）が暗号化文字列Ｅ（Ｔ１）に変換される。暗号化音素列Ｅ（Ａ１２）の暗号化文字列Ｅ（Ｔ１）への変換には、暗号化辞書データＥ（Ｄ１）及び汎用辞書データＤ２の少なくとも一方並びに必要に応じて言語モデル３５ｂが使用される。ステップＳ１１５で生成された暗号化文字列Ｅ（Ｔ１）は、ユーザ端末１０に送信される。暗号化音素列Ｅ（Ａ１２）から暗号化文字列Ｅ（Ｔ１）への変換は、文字列変換部３１ｃによって実行されてもよい。暗号化文字列Ｅ（Ｔ１）のユーザ端末１０への送信は、送信部３１ｄにより実行されてもよい。

　暗号化文字列Ｅ（Ｔ１）がユーザ端末１０に受信されると、ステップＳ１１６において、公開鍵ＰＫ１とペアになる秘密鍵ＳＫ１を用いて暗号化文字列Ｅ（Ｔ１）が復号され、平文の文字列Ｔ１が生成される。暗号化文字列Ｅ（Ｔ１）を復号して文字列Ｔ１を生成する復号処理は、復号部１１ｅにより実行されてもよい。以上により、ユーザ端末１０において取得された「／ｋ／、／ａ／、／ｎ／、／ｓ／、／ａ／」という音素に対応する音を含む音声データに対してサーバ３０で音声認識処理が行われ、当該音声データ中の発話に対応する「監査」という文字列が音声認識結果として得られる。

　図８から図１０を参照して説明した実施形態によれば、音声認識のためにユーザ端末１０からサーバ３０に送信されるデータは、暗号化音素列Ｅ（Ａ１２）である。暗号化音素列Ｅ（Ａ１２）は、暗号化特徴量時系列Ｅ（Ａ１１）よりもデータ量が小さいので、図８から図１０に示されている実施形態によれば、情報セキュリティを低下させることなくオフプレミス環境にあるサーバ３０の計算リソースを利用して音声認識を行えることに加え、ユーザ端末１０とサーバ３０との通信量を削減することができる。また、音響モデル１１５ａがオンプレミス環境５のストレージ１５に格納されているため、音響モデル１１５ａのアップデイトを容易に行うことができる。

　続いて、図１１及び図１２を参照して、本発明の別の実施形態について説明する。図１１は、本発明の別の実施形態における音声認識処理の流れを示すフロー図であり、図１２は、図１１に示されている処理で用いられる暗号化辞書データＥ（Ｄ１１）を模式的に示す図である。図１１に示されている音声認識処理は、文字列変換部３１ｄにより生成された暗号化文字列Ｅ（Ｔ１）に含まれる単語の意味や定義を説明する暗号化説明文を生成する処理が追加されている点で、図５に示されている音声認識処理と異なっている。

　図１２に示されているように、本実施形態で用いられる暗号化辞書データＥ（Ｄ１１）は、複数の単語について、その単語を表す文字列を準同型暗号方式により暗号化することで生成された暗号化文字列と、その単語を発話した音を表す音素列を準同型暗号方式により暗号化することで生成される暗号化音素列と、その単語の定義又は説明文を準同型暗号方式で暗号化した暗号化説明文とが対応付けられたデータセットである。図１２に示されている例では、「監査」という文字列を準同型暗号方式に従って暗号化した暗号化文字列「Ｅ（監査）」が、この「監査」を発話した音を表す音素列を準同型暗号方式に従って暗号化した暗号化音素列「Ｅ（ｋ）Ｅ（ａ）Ｅ（ｎ）Ｅ（ｓ）Ｅ（ａ）」、及び「監査」の定義である「企業の経営活動とその結果について、正確性と妥当性を判断し、報告すること」という説明文を準同型暗号方式に従って暗号化した暗号化説明文と対応付けられている。他の単語についても同様に、その単語を表す文字列を準同型暗号方式に従って暗号化した暗号化文字列と、その単語を発話した音を表す音素列を準同型暗号方式に従って暗号化した暗号化音素列と、その単語の説明文を準同型暗号方式に従って暗号化した暗号化説明文と、が対応付けて記憶されている。

　図１１に示されている音声認識処理では、図５に示されている処理と同様に、ステップＳ１１からステップＳ１５までの処理を実行することにより、処理対象の発話を表す暗号化文字列Ｅ（Ｔ１）が生成される。次に、ステップＳ２１１において、暗号化辞書データＥ（Ｄ１１）を用いて、ステップＳ１５で生成された暗号化文字列Ｅ（Ｔ１）の単語と対応付けられて記憶されている暗号化説明文Ｅ（Ｔ１１）が抽出される。例えば、ステップＳ１５で生成された暗号化文字列Ｅ（Ｔ１）が「Ｅ（監査）」である場合には、この「Ｅ（監査）」と対応付けられている「Ｅ（企業の経営活動とその結果について、正確性と妥当性を判断し、報告すること）」が暗号化説明文Ｅ（Ｔ１１）として抽出される。暗号化説明文Ｅ（Ｔ１１）の生成は、暗号化文字列Ｅ（Ｔ１）を復号することなく実行される。よって、暗号化説明文Ｅ（Ｔ１１）も準同型暗号方式によって暗号化されている暗号文である。ステップＳ２１１で生成された暗号化説明文Ｅ（Ｔ１１）は、ステップＳ１５で生成された暗号化文字列Ｅ（Ｔ１）とともにユーザ端末１０に送信される。

　暗号化文字列Ｅ（Ｔ１）及び暗号化説明文Ｅ（Ｔ１１）がユーザ端末１０に受信されると、ステップＳ２１２において、ステップＳ１３で使用された公開鍵ＰＫ１とペアになる秘密鍵ＳＫ１を用いて暗号化文字列Ｅ（Ｔ１）及び暗号化説明文Ｅ（Ｔ１１）が復号され、平文の文字列Ｔ１及び平文の説明文Ｔ２が生成される。音声波形信号ｓ１が音声データに含まれる「監査（かんさ）」という発話を表す場合、ステップＳ２１２において生成される平文の文字列Ｔ１は、誤認識がない場合には「監査」となり、説明文Ｔ１１は、「企業の経営活動とその結果について、正確性と妥当性を判断し、報告すること」となる。暗号化文字列Ｅ（Ｔ１）及び暗号化説明文Ｅ（Ｔ１１）を復号して文字列Ｔ１及び説明文Ｔ２を生成する復号処理は、復号部１１ｅにより実行されてもよい。

　ユーザ端末１０は、説明文Ｔ２を文字列Ｔ１と関連付けた文章を生成し、その文章を表示してもよい。説明文Ｔ２は、文字列Ｔ１の定義又は説明文であるから、ユーザ端末１０は、例えば、「『文字列Ｔ１』は、『説明文Ｔ２』を意味する。」という形式の文章を自動的に生成してもよい。例えば、上記の例においては、「『監査』は、『企業の経営活動とその結果について、正確性と妥当性を判断し、報告すること』を意味する。」という文章が自動的に作成されてもよい。ユーザが音声認識の結果得られる文字列Ｔ１を議事録として使用する場合には、議事録に含まれる単語の意味を表す文章を議事録に含めることができるので、利用者にとっての利便性が向上する。

　ステップＳ２１１において生成される暗号化文字列Ｅ（Ｔ１）に含まれる全ての単語のうち一部についてのみ暗号化説明文Ｅ（Ｔ１１）が生成されてもよい。例えば、暗号化辞書データＥ（Ｄ１１）は、単語ごとに、その単語の難易度を記憶してもよい。ステップＳ２１１においては、暗号化文字列Ｅ（Ｔ１）に含まれる単語のうち所定の難易度以上の単語についてのみ暗号化説明文Ｅ（Ｔ１１）が生成されてもよい。暗号化説明文Ｅ（Ｔ１１）を生成するか否かの基準となる難易度は、ユーザ端末１０において、ユーザの操作に基づいて設定されてもよい。この難易度は、ユーザ端末１０のユーザの属性に基づいて自動的に設定されてもよい。例えば、ユーザ端末１０を使用するユーザが、オンプレミス環境５の利用を開始したばかりのユーザである場合には、低い難易度を設定することで、より多くの単語について暗号化説明文Ｅ（Ｔ１１）が生成されるようにしてもよい。

　図１１に示されている音声認識処理によれば、ユーザ端末１０は、発話に含まれる単語の暗号化説明文Ｅ（Ｔ１１）を、その単語を表す暗号化文字列Ｅ（Ｔ１）とともに取得することができる。また、この暗号化説明文Ｅ（Ｔ１１）を生成するためにサーバ３０において用いられる暗号化辞書データＥ（Ｄ１１）及びサーバ３０において生成される暗号化説明文Ｅ（Ｔ１１）は、準同型暗号方式により暗号化されているから、情報セキュリティを低下させることなく、音声認識結果を示す文字列とともにその文字列に含まれる単語の説明文を生成することができる。

　続いて、図１３及び図１４を参照して、本発明の別の実施形態について説明する。図１３は、本発明の別の実施形態における音声認識処理の流れを示すフロー図であり、図１４は、図１３に示されている処理で用いられる暗号化辞書データＥ（Ｄ２１）を模式的に示す図である。図１３に示されている音声認識処理は、文字列変換部３１ｄにより生成された暗号化文字列Ｅ（Ｔ１）に含まれる単語を別の言語に翻訳した暗号化翻訳文Ｅ（Ｔ２１）を生成する処理が追加されている点で、図５に示されている音声認識処理と異なっている。

　図１４に示されているように、本実施形態で用いられる暗号化辞書データＥ（Ｄ２１）は、複数の単語の各々について、各単語を表す文字列を準同型暗号方式により暗号化することで生成された暗号化文字列と、その単語を発話した音を表す音素列を準同型暗号方式により暗号化することで生成される暗号化音素列と、その単語を別の言語に翻訳した翻訳文を準同型暗号方式で暗号化した暗号化翻訳文とが対応付けられたデータセットである。図１４に示されている例では、「監査」という文字列を準同型暗号方式に従って暗号化した暗号化文字列「Ｅ（監査）」が、この「監査」を発話した音を表す音素列を準同型暗号方式に従って暗号化した暗号化音素列、及び「監査」の英語の翻訳文である「accounting」を準同型暗号方式に従って暗号化した暗号化翻訳文「Ｅ（accounting）」と対応付けられている。他の単語についても同様に、その単語を表す文字列を準同型暗号方式に従って暗号化した暗号化文字列と、その単語を発話した音を表す音素列を準同型暗号方式に従って暗号化した暗号化音素列と、その単語の翻訳文を準同型暗号方式に従って暗号化した暗号化翻訳文と、が対応付けて記憶されている。暗号化辞書データＥ（Ｄ２１）は、各単語について、その単語を複数の言語に翻訳した複数の翻訳文のそれぞれを準同型暗号方式で暗号化した複数の暗号化翻訳文を含んでいてもよい。

　図１３に示されている音声認識処理では、図５に示されている処理と同様に、ステップＳ１１からステップＳ１５までの処理を実行することにより、処理対象の発話を表す暗号化文字列Ｅ（Ｔ１）が生成される。次に、ステップＳ２１３において、暗号化辞書データＥ（Ｄ２１）を用いて、ステップＳ１５で生成された暗号化文字列Ｅ（Ｔ１）の単語と対応付けられて記憶されている暗号化翻訳文Ｅ（Ｔ２１）が抽出される。例えば、ステップＳ１５で生成された暗号化文字列Ｅ（Ｔ１）が「Ｅ（監査）」である場合には、この「Ｅ（監査）」と対応付けられている「Ｅ（accounting）」が暗号化翻訳文Ｅ（Ｔ２１）として抽出される。暗号化翻訳文Ｅ（Ｔ２１）の生成は、暗号化文字列Ｅ（Ｔ１）を復号することなく実行される。よって、暗号化翻訳文Ｅ（Ｔ２１）も準同型暗号方式によって暗号化されている暗号文である。ステップＳ２１３で生成された暗号化翻訳文Ｅ（Ｔ２１）は、ステップＳ１５で生成された暗号化文字列Ｅ（Ｔ１）とともにユーザ端末１０に送信される。

　暗号化文字列Ｅ（Ｔ１）及び暗号化翻訳文Ｅ（Ｔ２１）がユーザ端末１０に受信されると、ステップＳ２１４において、ステップＳ１３で使用された公開鍵ＰＫ１とペアになる秘密鍵ＳＫ１を用いて暗号化文字列Ｅ（Ｔ１）及び暗号化翻訳文Ｅ（Ｔ２１）が復号され、平文の文字列Ｔ１及び平文の翻訳文Ｔ３が生成される。音声波形信号ｓ１が音声データに含まれる「監査（かんさ）」という発話を表す場合、ステップＳ３１２において生成される平文の文字列Ｔ１は、誤認識がない場合には「監査」となり、翻訳文Ｔ２１は、「accounting」となる。暗号化文字列Ｅ（Ｔ１）及び暗号化翻訳文Ｅ（Ｔ２１）を復号して文字列Ｔ１及び翻訳文Ｔ２１を生成する復号処理は、復号部１１ｅにより実行されてもよい。

　ユーザ端末１０は、翻訳文Ｔ２１を文字列Ｔ１と関連付けて表示することができる。ユーザが音声認識の結果得られる文字列Ｔ１を議事録として使用する場合には、翻訳文Ｔ２１を利用して複数の言語での議事録の作成を容易に行うことができるようになるので、ユーザにとっての利便性が向上する。

　ステップＳ２１３において生成される暗号化文字列Ｅ（Ｔ１）に含まれる全ての単語のうち一部についてのみ暗号化翻訳文Ｅ（Ｔ２１）が生成されてもよい。例えば、暗号化辞書データＥ（Ｄ２１）は、単語ごとに、その単語の難易度を記憶してもよい。ステップＳ２１３においては、暗号化文字列Ｅ（Ｔ１）に含まれる単語のうち所定の難易度以上の単語についてのみ暗号化翻訳文Ｅ（Ｔ２１）が生成されてもよい。

　図１３に示されている音声認識処理によれば、ユーザ端末１０は、発話に含まれる単語の暗号化翻訳文Ｅ（Ｔ２１）を、その単語を表す暗号化文字列Ｅ（Ｔ１）とともに取得することができる。また、この暗号化翻訳文Ｅ（Ｔ２１）を生成するためにサーバ３０において用いられる暗号化辞書データＥ（Ｄ２１）及びサーバ３０において生成される暗号化翻訳文Ｅ（Ｔ２１）は、準同型暗号方式により暗号化されているから、情報セキュリティを低下させることなく、音声認識結果を示す文字列とともにその文字列に含まれる単語の翻訳文を生成することができる。

　続いて、図１５を参照して、本発明の別の実施形態による音声認識システム１０１ついて説明する。図１５は、本発明の別の実施形態による音声認識システム１０１を示すブロック図である。音声認識システム１０１は、オンプレミス環境５にオンプレミスサーバ５０が備えられている点で、図１に示されている音声認識システム１と異なっている。また、音声認識システム１０１のサーバ３０は、暗号化文字列の処理を行うデータ処理部３１ｅとしても機能し得る点で音声認識システム１と異なっている。

　オンプレミスサーバ５０のハードウェア構成は、サーバ３０と同様とすることができる。すなわち、オンプレミスサーバ５０は、プロセッサ５１を備える。オンプレミスサーバ５０は、プロセッサ５１以外に、サーバ３０と同様に、メモリ、ユーザインタフェース、通信インタフェース、ストレージ、及び前記以外のサーバとして機能するために必要な構成を備えることができる。

　図示の実施形態では、オンプレミス環境５に、オンプレミスサーバ５０に加えて、ユーザ端末１０Ａ及びユーザ端末１０Ｂが配置されている。ユーザ端末１０Ａ及びユーザ端末１０Ｂはそれぞれ既述のユーザ端末１０と同様に構成され、ユーザ端末１０と同様の機能を実行することができる。図示の例において、ユーザ端末１０Ａは、公開鍵ＰＫ１を用いて準同型暗号方式に従って音声時系列Ａ１を暗号化することで暗号化音声時系列Ｅ（Ａ１）を生成し、この生成した暗号化音声時系列Ｅ（Ａ１）をサーバ３０に送信する。同様に、ユーザ端末１０Ｂは、公開鍵ＰＫ１を用いて準同型暗号方式に従って音声時系列Ａ２を暗号化することで暗号化音声時系列Ｅ（Ａ２）を生成し、この生成した暗号化音声時系列Ｅ（Ａ２）をサーバ３０に送信する。音声認識システム１０１においては、後述するように、オンプレミスサーバ５０によって暗号文が復号されてもよい。この場合、ユーザ端末１０Ａ及びユーザ端末１０Ｂは、公開鍵ＰＫ１に対応する秘密鍵ＳＫ１を保持する必要がない。このようにユーザ端末１０Ａ、１０Ｂに秘密鍵を保持させないことにより、秘密鍵を保持していないユーザ端末１０Ａ、１０Ｂをオンプレミス環境５外に配置することができる。例えば、ユーザ端末１０Ａ、１０Ｂは、オンプレミスサーバ５０が提供する暗号化音声認識サービスを利用する一般ユーザがそのユーザサイト（オンプレミス環境５から見てオフプレミス環境）で使用する情報処理装置（デスクトップＰＣ、ラップトップＰＣ、スマートフォンなど）であってもよい。この場合、ユーザ端末１０Ａ、１０Ｂは、音声認識サービスの利用に際しオンプレミスサーバ５０から公開鍵ＰＫ１を取得してもよい。

　音声認識システム１０１に備えられているサーバ３０は、ストレージ３５に格納されているプログラムに含まれる命令及び必要に応じてそれ以外の命令を実行することにより、受信部３１ａ、音素列抽出部３１ｂ、文字列変換部３１ｃ、及び送信部３１ｄとして機能することができ、また、データ処理部３１ｅとして機能することができる。受信部３１ａ、音素列抽出部３１ｂ、文字列変換部３１ｃ、及び送信部３１ｄについては、既述のとおりであるため、図示及び以下での詳細な説明は省略する。

　サーバ３０は、ユーザ端末１０Ａから受信した暗号化音声時系列Ｅ（Ａ１）及びユーザ端末１０Ｂから受信した暗号化音声時系列Ｅ（Ａ２）をそれぞれ文字列に変換し、暗号化文字列Ｅ（Ｔ１）及び暗号化文字列Ｅ（Ｔ２）を生成する。サーバ３０は、暗号化文字列Ｅ（Ｔ１）及び暗号化文字列Ｅ（Ｔ２）をオンプレミスサーバ５０に送信する。また、サーバ３０は、生成した暗号化文字列Ｅ（Ｔ１）及び暗号化文字列Ｅ（Ｔ２）をストレージ３５のデータレイク領域に保存することができる。サーバ３０は、暗号化文字列Ｅ（Ｔ１）及び暗号化文字列Ｅ（Ｔ２）以外にも、オンプレミス環境５の情報処理装置から取得した暗号化音声時系列に基づいて生成した暗号化文字列をストレージ３５に記憶することができる。

　オンプレミスサーバ５０は、所定のプログラムを実行することにより、復号部５１ａ及び解析部５１ｂとして機能することができる。復号部５１ｃは、公開鍵ＰＫ１とペアになる秘密鍵ＳＫ１を用いてサーバ３０から受信した暗号化文字列Ｅ（Ｔ１）及び暗号化文字列Ｅ（Ｔ２）を復号し、平文の文字列Ｔ１及び文字列Ｔ２を生成する。生成された文字列Ｔ１は、ユーザ端末１０Ａに送信され、生成された文字列Ｔ２は、ユーザ端末１０Ｂに送信される。

　このように、音声認識システム１０１においては、ユーザ端末１０Ａ、１０Ｂにおいて復号を行うことが不要となるので、ユーザ端末１０Ａ、１０Ｂでの処理負荷を低減することができる。また、音声認識システム１０１においては、ユーザ端末１０Ａ、１０Ｂに秘密鍵ＳＫ１を渡す必要がなく、秘密鍵ＳＫ１はオンプレミスサーバ５０においてのみ利用されるので、ユーザ端末１０Ａ、１０Ｂから秘密鍵ＳＫ１が漏洩することを防止できる。

　解析部５１ｂは、サーバ３０のストレージ３５に記憶されている暗号化文字列Ｅ（Ｔ１）、暗号化文字列Ｅ（Ｔ２）、及びこれら以外の暗号化文字列を取得し、これらの暗号化文字列を解析することができる。解析部５１ｂは、サーバ３０から取得した暗号化文字列を復号し、復号により得られた平文のデータセットを解析対象としてもよいし、サーバ３０から取得した暗号化文字列をそのまま解析対象としてもよい。解析部５１ｂは、例えば、サーバ３０から取得した暗号化文字列のうち誤変換されている部分を解析し、この解析結果に基づいてオンプレミス辞書Ｄ１を更新することができる。解析部５１ｂは、誤変換が音響モデル３５ａのアルゴリズムに起因する場合には、サーバ３０から取得した暗号化文字列の解析結果に基づいて音響モデル３５ａをアップデイトし、アップデイトした音響モデルをサーバ３０に送信してもよい。サーバ３０は、解析部５１ｂから受信した新しい音響モデル又は音響モデルをアップデイトするための更新情報に基づいて、ストレージ３５に格納されている音響モデル３５ａをアップデイトすることができる。解析部５１ｂは、誤変換の原因が言語モデル３５ｂのアルゴリズムに存在する場合には、サーバ３０から取得した暗号化文字列の解析結果に基づいて言語モデル３５ｂをアップデイトし、アップデイトした言語モデルをサーバ３０に送信してもよい。サーバ３０は、解析部５１ｂから受信した新しい言語モデル又は言語モデルをアップデイトするための更新情報に基づいて、ストレージ３５に格納されている言語モデル３５ｂをアップデイトすることができる。

　解析部５１ｂは、サーバ３０にデータの処理要求を行うこともできる。この処理要求には、ストレージ３５のデータレイク領域に記憶されている暗号化文字列を用いた機械学習、統計分析、文書処理、及び前記以外のストレージ３５に記憶されている暗号化文字列を利用した各種の処理を行うための要求が含まれ得る。解析部５１ｂは、オフプレミス環境にあるサーバ３０に対して処理要求を行い、サーバ３０からその処理結果を受け取ることにより、サーバ３０の計算リソースを利用して上記の各種処理を行うことができる。

　サーバ３０において、解析部５１ｂからの処理要求は、データ処理部３１ｅによって実行され得る。

　このように、音声認識システム１０１においては、サーバ３０のストレージ３５に暗号化文字列を格納し、オンプレミスサーバ５０が必要に応じてストレージ３５から暗号化文字列を取得し、この取得した暗号化文字列を解析することができる。ストレージ３５に記憶される暗号化文字列のデータ量は膨大となり得るが、オンプレミスサーバ５０は、解析を行う際に、その解析の目的に応じて必要なデータセットをストレージ３５に記憶されている暗号化文字列の全体の中から選択して取得し、その取得したデータセットを解析することができる。ストレージ３５には、準同型暗号方式により暗号化されている暗号化文字列が記憶されているが、暗号化文字列が復号された平文の文字列は記憶されないため、音声認識システム１０１によれば、情報セキュリティを低下させることなくオフプレミス環境に配置されているストレージ資源を利用することができる。

　次に、図１６を参照して、音声認識システム１０１の変形例について説明する。図１６に示されている音声認識システム１０１においては、オンプレミス環境５に配置されている複数のユーザ端末の各々が他のユーザ端末と異なる公開鍵を用いて音声時系列の準同型暗号方式による暗号化を行う。より具体的には、図示されている実施形態では、準同型暗号方式に従った暗号化のために、ユーザ端末１０Ａは公開鍵ＰＫ１を用いている一方でユーザ端末Ｂは公開鍵ＰＫ１とは異なる公開鍵ＰＫ２を用いている。このため、ユーザ端末１０Ａによって生成された暗号化音声時系列Ｅ（Ａ１）に基づいてサーバ３０で生成された暗号化文字列Ｅ（Ｔ１）を復号する際には公開鍵ＰＫ１とペアになっている秘密鍵ＳＫ１が用いられるのに対し、ユーザ端末１０Ｂｘによって生成された暗号化音声時系列Ｅ（Ａ２）に基づいてサーバ３０で生成された暗号化文字列Ｅ（Ｔ２）を復号する際には、公開鍵ＰＫ２とペアになっている秘密鍵ＳＫ２が用いられる。秘密鍵を用いた暗号化文字列の復号処理は、オンプレミスサーバ５０で行われてもよいし、ユーザ端末１０Ａ及びユーザ端末１０Ｂの各々で行われてもよい。ユーザ端末１０Ａは、暗号化文字列Ｅ（Ｔ１）を復号する際に公開鍵ＰＫ１とペアになっている秘密鍵ＳＫ１を使用し、ユーザ端末１０Ｂは、暗号化文字列Ｅ（Ｔ２）を復号する際に、公開鍵ＰＫ２とペアになっている秘密鍵ＳＫ２を使用する。

　図１６に示されている音声認識システム１０１においては、公開鍵が使い分けられているため、各ユーザに個別の復号権限を付与することができる。具体的には、ユーザ端末１０Ａは、公開鍵ＰＫ１とペアになる秘密鍵ＳＫ１を利用できるが秘密鍵ＳＫ２は利用することができない。同様に、ユーザ端末１０Ｂは、公開鍵ＰＫ２とペアになる秘密鍵ＳＫ２を利用できるが秘密鍵ＳＫ１は利用することができない。これにより、ユーザ端末１０Ａは、ストレージ３５に記憶されている暗号化文字列のうち公開鍵ＰＫ１で暗号化された暗号化文字列のみを復号することができ、ユーザ端末１０Ｂは、ストレージ３５に記憶されている暗号化文字列のうち公開鍵ＰＫ２で暗号化された暗号化文字列のみを復号することができる。このように、ユーザ端末１０Ａ及びユーザ端末１０Ｂはそれぞれ、自らに設定された復号権限の範囲内でのみ、ストレージ３５に記憶されている暗号化文字列を復号して利用することができる。

　図１６に示されている音声認識システム１０１によれば、オンプレミス環境５のユーザごとに復号権限を設定することができるので、オンプレミス環境５を利用するエンティティ内での機密情報の管理を容易に行うことができる。

　ストレージ３５には、複数の異なる公開鍵を用いて暗号化されている暗号化文字列が記憶され得る。例えば、ストレージ３５には、公開鍵ＰＫ１で暗号化された暗号化音声時系列Ｅ（Ａ１）から生成された暗号化文字列Ｅ（Ｔ１）と、公開鍵ＰＫ１とは異なる公開鍵ＰＫ２で暗号化された暗号化音声時系列Ｅ（Ａ２）から生成された暗号化文字列Ｅ（Ｔ２）とが記憶されている。柴田崇夫らの「Ｐｒｏｘｙ　ｒｅ－ｅｎｃｒｙｐｔｉｏｎ　を用いたマルチユーザ向け完全準同型暗号の提案」（ＦＩＴ２０１４（第１３　回情報科学技術フォーラム）、第４分冊１９－２４）に示されているように、準同型暗号方式に従って異なる公開鍵で暗号化された暗号文同士の計算を実行することができる。このため、解析部５１ｂは、ストレージ３５に複数の異なる公開鍵を用いて暗号化されている暗号化文字列が記憶されている場合であっても、ストレージ３５に記憶されている暗号化文字列の解析を行うことができる。データ処理部３１ｅも同様に、複数の異なる公開鍵を用いて暗号化されている暗号化文字列を用いて、要求されたデータ処理を行うことができる。図１６に示されている実施形態ではオンプレミスサーバ５０において秘密鍵が管理されているが、秘密鍵の管理は各ユーザ端末で行われてもよい。例えば、公開鍵ＰＫ１とペアになる秘密鍵ＳＫ１は、ユーザ端末１０Ａによって保持、利用、管理されてもよい。同様に、公開鍵ＰＫ２とペアになる秘密鍵ＳＫ２は、ユーザ端末１０Ｂによって保持、利用、管理されてもよい。秘密鍵をユーザ端末において保持することにより、暗号化文字列の復号をユーザ端末で行うことができる。この場合には、オンプレミスサーバ５０を省略することができる。この態様によれば、ユーザ端末において公開鍵と秘密鍵とのペアを生成して管理することができるので、オンプレミスサーバの管理を受けずに暗号化及び復号を行うことができる。

　続いて、図１７を参照して、本発明の別の実施形態による音声認識システム２０１ついて説明する。図１７は、本発明の別の実施形態による音声認識システム２０１を示すブロック図である。音声認識システム２０１は、音響モデルＭ１を準同型暗号方式に従って暗号化することで生成された暗号化音響モデルＥ（Ｍ１）を用いる点で音声認識システム１、１０１と異なっている。音声認識システム２０１におけるユーザ端末１０、２０及びサーバ３０のハードウェア構成は、音声認識システム１に備えられているユーザ端末１０、２０及びサーバ３０のハードウェア構成と同じである。以下では、音声認識システム２０１の各機能のうち音声認識システム１の機能と異なる点を主に説明する。

　図１７に示されているように、ユーザ端末２０は、準同型暗号方式に従って音響モデルＭ１を暗号化し、暗号化音響モデルＥ（Ｍ１）を生成する。暗号化音響モデルＥ（Ｍ１）は、サーバ３０に送信される。サーバ３０は、ユーザ端末１０から受信した暗号化音響モデルＥ（Ｍ１）を例えばストレージ３５に格納することができる。

　ユーザ端末１０は、準同型暗号方式に従って音声時系列Ａ１を暗号化することにより暗号化特徴量時系列Ｅ（Ａ１１）を生成し、生成した暗号化特徴量時系列Ｅ（Ａ１１）をサーバ３０に送信する。サーバ３０は、暗号化音響モデルＥ（Ｍ１）を用いて、暗号化特徴量時系列Ｅ（Ａ１１）に最も良く整合する暗号化音素列Ｅ（Ａ１２）を抽出する。暗号化音響モデルＥ（Ｍ１）を使用して暗号化特徴量時系列Ｅ（Ａ１１）から暗号化音素列Ｅ（Ａ１２）を抽出する処理は、音響モデルが暗号化されている点以外は、音声認識システム１における音素列抽出部３１ｂにおける処理と同じである。暗号化音響モデルＥ（Ｍ１）を生成するために使用した暗号化アルゴリズムの準同型性により、暗号化音響モデルＥ（Ｍ１）を用いても暗号化特徴量時系列Ｅ（Ａ１１）から暗号化音素列Ｅ（Ａ１２）を抽出することができる。

　音声認識システム２０１におけるサーバ３０は、音声認識システム１における処理と同様に、暗号化音素列Ｅ（Ａ１２）から暗号化文字列Ｅ（Ｔ１）を生成し、この生成した暗号化文字列をユーザ端末１０に送信することができる。ユーザ端末１０は、受信した暗号化文字列Ｅ（Ｔ１）を復号し、文字列Ｔ１を得ることができる。

　音声認識システム２０１によれば、サーバ３０によって使用される音響モデルが準同型暗号方式により暗号化されているため、音響モデルの解析による秘密情報の漏洩を防止することができる。音響モデルにおいては、発音辞書と呼ばれる辞書にしたがってトライフォンＨＭＭが連結されることがある。オンプレミス辞書データＤ１の解析を通じて秘密情報が漏洩する可能性があるのと同様に、発音辞書の解析によっても秘密情報が漏洩する可能性がある。音声認識システム２０１によれば、オンプレミス環境５で準同型暗号方式に従って暗号化された暗号化音響モデルＥ（Ｍ１）を用いて暗号化特徴量時系列Ｅ（Ａ１１）から暗号化音素列Ｅ（Ａ１２）を抽出するので、音響モデルの解析による情報漏洩も防止することができる。

　続いて、図１８及び図１９を参照して、本発明の一実施形態による画像認識システム３０１について説明する。図１８は、画像認識システム３０１の概略を示すブロック図であり、図１９は、画像認識システム３０１による画像認識の処理の流れを示すフロー図である。画像認識システム３０１は、解析対象の画像や動画に含まれる一又は複数の物体を検出し、その検出した物体に対応する文字列を生成することができる。

　図１８に示されているとおり、画像認識システム３０１は、オンプレミス環境５に配置されているユーザ端末３１０と、オンプレミス環境５の所有者又は管理者とは異なるベンダーによって管理・運営されているサーバ３３０と、を含む。

　ユーザ端末３１０は、プロセッサ３１１、メモリ３１２、ユーザインタフェース３１３、通信インタフェース３１４、及びストレージ３１５を備えており、サーバ３３０は、プロセッサ３３１、メモリ３３２、ユーザインタフェース３３３、通信インタフェース３３４、及びストレージ３３５を備えている。ユーザ端末３１０に備えられているプロセッサ３１１、メモリ３１２、ユーザインタフェース３１３、通信インタフェース３１４、及びストレージ３１５、並びに、サーバ３３０に備えられているプロセッサ３３１、メモリ３３２、ユーザインタフェース３３３、通信インタフェース３３４、及びストレージ３３５はそれぞれ、ユーザ端末１０に備えられるプロセッサ１１、メモリ１２、ユーザインタフェース１３、通信インタフェース１４、及びストレージ１５のうち対応するものと同様に構成され得る。例えばプロセッサ３１１及びプロセッサ３３１はそれぞれ、プロセッサ１１と同様に構成され得る。このため、ユーザ端末３１０及びサーバ３３０のハードウェア構成についての詳細な説明は省略する。ユーザ端末３１０は、画像を取得するためのカメラを備えてもよい。

　ユーザ端末３１０が実行する機能及びユーザ端末３１０に格納されるデータについて説明する。ユーザ端末３１０は、ストレージ３１５に格納されているプログラムに含まれる命令及び必要に応じてそれ以外の命令を実行することにより、画像取得部３１１ａ、特徴抽出部３１１ｂ、暗号化部３１１ｃ、送信部３１１ｄ、及び復号部３１１ｅとして機能する。

　画像取得部３１１ａは、解析対象となる画像を取得する。解析対象となる画像には、人物や物体等の検出対象となる対象物を含むことができる。画像取得部３１１ａは、例えば、ユーザ端末３１０が備えるカメラにより撮影された画像を取得しても良いし、予めストレージ１５又はそれ以外の記憶装置に記憶されている画像を取得してもよい。

　特徴抽出部３１１ｂは、画像取得部３１１ａにより取得された画像の特徴を示す画像特徴量列Ｖ１１を生成する。この画像特徴量列Ｖ１１は、画像の局所的な特徴量を示す局所特徴量であってもよい。局所特徴量は、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量やＨＯＧ（Histograms of Oriented Gradients）特徴量であってもよい。ＨＯＧ特徴量は、画像を分割した局所的領域の各々に含まれる画素から得られるエッジ及び色の情報を含むヒストグラムである。特徴抽出部３１１ｂは、例えば、画像取得部３１１ａにより取得された解析対象の画像を複数の領域に分割し、この分割された領域毎に局所特徴量を算出することで一つの画像から画像特徴量列Ｖ１１を算出することができる。

　暗号化部３１１ｃは、特徴抽出部３１１ｂにより算出された画像特徴量列Ｖ１１を準同型暗号方式に従って暗号化し、暗号化画像特徴量列Ｅ（Ｖ１１）を生成する。暗号化部３１１ｃによる準同型暗号方式による暗号化には、ストレージ３１５に記憶されている鍵ペア３１５ａにおいて秘密鍵ＳＫ１とペアにされている公開鍵ＰＫ１が用いられる。

　送信部３１１ｄは、暗号化部３１１ｃにより生成された暗号化画像特徴量列Ｅ（Ｖ１１））を画像認識処理のためにサーバ３３０に送信することができる。

　復号部３１１ｅは、サーバ３３０から受信した暗号化文字列Ｅ（Ｔ３１１）を秘密鍵ＳＫ１により復号し、平文の文字列Ｔ３１１を生成する。ストレージ３１５は、サーバ３０で生成された暗号化文字列を復号して生成された文字列Ｔ３１１を記憶していてもよい。ユーザ端末３１０は、ストレージ３１５に記憶されている文字列Ｔ３１１を用いて、文書作成、文章解析、機械学習、及び前記以外の各種処理を行うことができる。

　次に、サーバ３３０が実行する機能及びサーバ３３０に格納されるデータについて説明する。サーバ３３０のストレージ３３５には、暗号化辞書データＥ（ＤＶ１）及び汎用画像辞書データＤＶ２が格納されている。暗号化辞書データＥ（ＤＶ１）は、オンプレミス画像辞書データＤＶ１を準同型暗号方式に従って暗号化することで生成され得る。オンプレミス画像辞書データＤＶ１及び汎用画像辞書データＤＶ２はいずれも、解析対象の画像に含まれる可能性がある対象物を示すラベルと、当該ラベルに対応する単語との対応関係を構造的に記憶するデータセットである。例えば、オンプレミス画像辞書データＤＶ１においては、対象物の名称を示す文字列が、当該対象物を識別するラベルと対応付けられている。対象物が人物の場合には、人物を識別するラベルと人物の名称を示す文字列（例えば、「人」、「人間」、「人物」、又はこれら以外の文字列）とが対応付けられる。暗号化辞書データＥ（ＤＶ１）においては、対象物の名称を示す文字列を準同型暗号方式に従って暗号化した暗号化文字列が、当該対象物を識別するラベルを準同型暗号方式により暗号化した暗号化ラベルと対応付けられている。サーバ３３０は、オンプレミス環境５に配置されている情報処理装置から、暗号化辞書データＥ（ＤＶ１）を取得し、取得した暗号化辞書データＥ（ＤＶ１）をストレージ３３５に格納することができる。

　サーバ３３０は、ストレージ３３５に格納されているプログラムに含まれる命令及び必要に応じてそれ以外の命令を実行することにより、受信部３３１ａ、検出部３３１ｂ、文字列変換部３３１ｃ、及び送信部３３１ｄとして機能する。

　受信部３３１ａは、ユーザ端末３１０から暗号化画像特徴量列Ｅ（Ｖ１１）を受信する。

　検出部３３１ｂは、暗号化画像特徴量列Ｅ（Ｖ１１）から画像に含まれる対象物を認識する。検出部３３１ｂは、分類器により画像内にどの対象物が含まれるか判定することができる。ある対象物についての分類器は、当該対象物を含むポジティブラベルが付された複数の画像及び当該対象物を含まないネガティブラベルが付された複数の画像を含む教師データでトレーニングされ得る。分類器は、画像に単独の対象物が含まれるか否かを判定するように構成されてもよいし、画像に含まれる複数の対象物を特定できるように構成されてもよい。検出部３３１ｂは、解析対象画像に含まれている対象物を検出し、検出された一又は複数の対象物を示すラベルを出力することができる。ある対象物を示すラベルは、当該対象物を識別する識別子であってもよい。例えば、解析対象画像に、横断歩道があり車が通っていない道路を横断する歩行者とその道路に沿って植えられてる樹木が示されていることを想定する。この解析対象画像に基づいて生成された暗号化画像特徴量列Ｅ（Ｖ１１）を分類器で評価することにより、人物、道路、木、及び横断歩道の各々を識別するラベルが出力される。暗号化画像特徴量列Ｅ（Ｖ１１）が画像の分割された各領域の局所特徴量の特徴量ベクトルである場合には、検出部３３１ｂは、検出された対象物の解析対象画像内における位置も出力することができる。暗号化画像特徴量列Ｅ（Ｖ１１）が準同型暗号方式により暗号化されているため、検出部３３１ｂは、暗号化画像特徴量列Ｅ（Ｖ１１）を復号することなく上記の分類器によって評価することができる。検出部３３１ｂによる演算は、暗号化画像特徴量列Ｅ（Ｖ１１）を復号することなく行われるため、検出部３３１ｂにより出力されるラベルは、準同型暗号方式により暗号化されている。

　文字列変換部３３１ｃは、暗号化辞書データＥ（ＤＶ１）及び汎用画像辞書データＤＶ２の少なくとも一方を用いて、検出部３３１ｂにより検出された対象物を識別するラベルを暗号化文字列Ｅ（Ｔ３１１）に変換する。例えば、解析対象画像の暗号化画像特徴量列Ｅ（Ｖ１１）を評価することにより人物、道路、木、及び横断歩道の各々が対象物として検出された場合には、人物に対応するラベルを「人」という文字列に変換し、道路に対応するラベルを「道路」という文字列に変換し、木に対応するブラベルを「樹木」という文字列に変換し、横断歩道に対応するラベルを「横断歩道」という文字列に変換し、これらの変換された単語を結びつけて、文章を作成することができる。文字列変換部３３１ｃは、言語モデル３５ｂ又はこれ以外の文字列の連鎖の出現確率を表す数学モデルを参照して文章を生成してもよい。文字列変換部３３１ｃが文章を生成する場合には、生成された文章に対応する文字列が暗号化文字列Ｅ（Ｔ３１１）とされる。文字列変換部３３１ｃにより生成される文章の例は、「横断歩道がある道路を人が歩いています。樹木が生えています。」であってもよい。文字列変換部３３１ｃによって生成される文章は、上記の例のように複数の文を含んでもよいし、単一の文であってもよい。文字列変換部３３１ｃは、検出された対象物が画像内のどの領域において検出されたかを示す画像内位置情報に基づいて各対象物の位置を示す単語を補って、検出された対象物の配置を描写する文章を作成することができる。対象物の画像内位置情報を利用して文字列変換部３３１ｃによって生成される文章の例は、「道路に沿って樹木が植えられており、人がその道路の横断歩道を横切っています。」である。この文章例では、画像内位置情報に基づいて、樹木と道路との位置関係及び人と横断歩道との位置関係が特定されており、この特定された位置関係が文章に反映されている。文字列変換部３３１ｃによる演算は、ラベルを復号することなく、暗号化辞書データＥ（ＤＶ１）を用いて行われるため、文字列変換部３３１ｃにより出力される暗号化文字列Ｅ（Ｔ３１１）は、準同型暗号方式により暗号化されている。

　送信部３３１ｄは、文字列変換部３３１ｃにより生成された暗号化文字列Ｅ（Ｔ３１１）をユーザ端末３１０に送信することができる。

　次に、図１９を参照して、ユーザ端末３１０からの要求に基づいてサーバ３３０が行う画像認識処理の流れを説明する。まず、ステップＳ３１１において、ユーザ端末３１０において、解析対象となる画像が取得される。次に、ステップＳ３１２において、ステップＳ３１１において取得された画像から画像特徴量が算出され、この算出された画像特徴量に基づいて画像特徴量列Ｖ１１が生成される。画像特徴量列Ｖ１１の生成は、特徴抽出部３１１ｂにより実行されてもよい。

　次に、ステップＳ３１３において、ステップＳ３１２において算出された画像特徴量列Ｖ１１が準同型暗号方式に従って公開鍵ＰＫ１を用いて暗号化され、暗号化画像特徴量列Ｅ（Ｖ１１）が生成される。生成された暗号化画像特徴量列Ｅ（Ｖ１１）は、サーバ３３０に送信される。ステップＳ３１３における画像特徴量列Ｖ１１の暗号化は、暗号化部３１１ｃによって実行されてもよい。暗号化画像特徴量列Ｅ（Ｖ１１）のサーバ３３０への送信は、送信部３１１ｄにより実行されてもよい。

　暗号化画像特徴量列Ｅ（Ｖ１１）がサーバ３３０に受信されると、ステップＳ３１４において、暗号化画像特徴量列Ｅ（Ｖ１１）に基づいて解析対象の画像に含まれる対象物が検出され、検出された一又は複数の対象物に対応するラベルが出力される。例えば、解析対象画像に、横断歩道があり車が通っていない道路を横断する歩行者とその道路に沿って植えられている樹木が示されている場合、誤検出がなければ、人物、道路、木、及び横断歩道の各々を識別するラベルが出力される。ステップＳ３１４における対象物の検出及びポジティブラベルの出力は、検出部３３１ｂにより実行されてもよい。

　次に、ステップＳ３１５において、ステップＳ３１４で生成されたラベルの各々が暗号化辞書データＥ（ＤＶ１）及び汎用画像辞書データＤＶ２の少なくとも一方を用いて暗号化文字列Ｅ（Ｔ３１１）に変換される。例えば、解析対象画像が、横断歩道があり車が通っていない道路を横断する歩行者とその道路に沿って植えられている樹木を示す場合、「Ｅ（道路に沿って樹木が植えられており、人がその道路の横断歩道を横切っています。）」という暗号化文字列Ｅ（Ｔ３１１）が生成される。暗号化文字列Ｅ（Ｔ３１１）の生成は、文字列変換部３３１ｃにより実行されてもよい。生成された暗号化文字列Ｅ（Ｔ３１１）は、ユーザ端末３１０に送信される。

　暗号化文字列Ｅ（Ｔ３１１）がユーザ端末３１０に受信されると、ステップＳ３１６において、ステップＳ３１３で使用された公開鍵ＰＫ１とペアになる秘密鍵ＳＫ１を用いて暗号化文字列Ｅ（Ｔ３１１）が復号され、平文の文字列Ｔ３１１が生成される。

　以上により、ユーザ端末３１０において取得された解析対象の画像に対応する文字列が画像認識結果として得られる。

　画像認識システム３０１により行われる画像認識処理において、サーバ３３０は、準同型暗号方式に従って暗号化された暗号化辞書データＥ（ＤＶ１）を用いて、準同型暗号方式に従って暗号化された暗号化画像特徴量列Ｅ（Ｖ１１）に基づいて解析対象の画像に含まれる対象物を検出し、検出された対象物に対応する単語又は文章を含む暗号化文字列Ｅ（Ｔ３１１）を生成してユーザ端末３１０に送信している。画像認識システム３０１によれば、サーバ３３０に提供される画像特徴量だけでなく、サーバ３３０が利用するオンプレミス画像辞書データＤＶ１も暗号化されているから、情報セキュリティを低下させることなく、オフプレミス環境にあるサーバ３３０の情報処理資源を利用して画像認識を行うことができる。

　続いて、図２０及び図２１を参照して、本発明の一実施形態による匂い認識システム４０１について説明する。図２０は、匂い認識システム４０１の概略を示すブロック図であり、図２１は、匂い認識システム４０１による匂い認識の処理の流れを示すフロー図である。匂い認識システム４０１は、解析対象の空間に漂う匂いを匂いセンサにより検出し、この匂いセンサの検出値に対応する文字列を生成することができる。匂い認識システム４０１によれば、解析対象の空間に漂う匂いを表す文字列を得ることができる。

　図２０に示されているとおり、匂い認識システム４０１は、オンプレミス環境５に配置されているユーザ端末４１０と、オンプレミス環境５の所有者又は管理者とは異なるベンダーによって管理・運営されているサーバ４３０と、を含む。

　ユーザ端末４１０は、プロセッサ４１１、メモリ４１２、ユーザインタフェース４１３、通信インタフェース４１４、及びストレージ４１５を備えており、サーバ４３０は、プロセッサ４３１、メモリ４３２、ユーザインタフェース４３３、通信インタフェース４３４、及びストレージ４３５を備えている。ユーザ端末４１０に備えられているプロセッサ４１１、メモリ４１２、ユーザインタフェース４１３、通信インタフェース４１４、及びストレージ４１５、並びに、サーバ４３０に備えられているプロセッサ４３１、メモリ４３２、ユーザインタフェース４３３、通信インタフェース４３４、及びストレージ４３５はそれぞれ、ユーザ端末１０に備えられるプロセッサ１１、メモリ１２、ユーザインタフェース１３、通信インタフェース１４、及びストレージ１５のうち対応するものと同様に構成され得る。例えばプロセッサ４１１及びプロセッサ４３１はそれぞれ、プロセッサ１１と同様に構成され得る。このため、ユーザ端末４１０及びサーバ４３０のハードウェア構成についての詳細な説明は省略する。ユーザ端末４１０は、匂いを検出するセンサを備えてもよい。匂いは、空間に漂う揮発性分子の種類や濃度によって表現され得る。匂いを検出するセンサとして、揮発成分誌の濃度を測定するガスセンサ、及び、生物の嗅覚機能を模したバイオセンサのいずれを用いてもよい。

　ユーザ端末４１０が実行する機能及びユーザ端末４１０に格納されるデータについて説明する。ユーザ端末４１０は、ストレージ４１５に格納されているプログラムに含まれる命令及び必要に応じてそれ以外の命令を実行することにより、匂い検出部４１１ａ、特徴抽出部４１１ｂ、暗号化部４１１ｃ、送信部４１１ｄ、及び復号部４１１ｅとして機能する。

　匂い検出部４１１ａは、解析対象となる空間の匂いを匂いセンサにより検出し、センサの検出値を出力する。匂い検出部４１１ａは、ユーザ端末４１０が備える匂いセンサにより匂いを検出してもよいし、予めストレージ１５又はそれ以外の記憶装置に記憶されている匂いセンサの検出値を取得してもよい。

　特徴抽出部４１１ｂは、匂い検出部４１１ａにより検出された匂いの特徴を示す匂い特徴量列Ｆ１１を生成する。特徴抽出部４１１ｂは、サンプリング周波数を１０Ｈｚとして過去Ｎサンプルにおける匂いセンサの検出値の瞬時値、平均値、及び分散値を含むベクトルを算出し、このベクトルを匂い特徴量列Ｆ１１とすることができる。

　暗号化部４１１ｃは、特徴抽出部４１１ｂにより算出された匂い特徴量列Ｆ１１を準同型暗号方式に従って暗号化し、暗号化匂い特徴量列Ｅ（Ｆ１１）を生成する。暗号化部４１１ｃによる準同型暗号方式による暗号化には、ストレージ４１５に記憶されている鍵ペア４１５ａにおいて秘密鍵ＳＫ１とペアにされている公開鍵ＰＫ１が用いられる。

　送信部４１１ｄは、暗号化部４１１ｃにより生成された暗号化匂い特徴量列Ｅ（Ｆ１１））を匂い認識処理のためにサーバ４３０に送信することができる。

　復号部４１１ｅは、サーバ４３０から受信した暗号化文字列Ｅ（Ｔ４１１）を秘密鍵ＳＫ１により復号し、平文の文字列Ｔ４１１を生成する。ストレージ４１５は、サーバ３０で生成された暗号化文字列を復号して生成された文字列Ｔ４１１を記憶していてもよい。ユーザ端末４１０は、ストレージ４１５に記憶されている文字列Ｔ４１１を用いて、文書作成、文章解析、機械学習、及び前記以外の各種処理を行うことができる。

　次に、サーバ４３０が実行する機能及びサーバ４３０に格納されるデータについて説明する。サーバ４３０のストレージ４３５には、暗号化辞書データＥ（ＤＦ１）及び汎用匂い辞書データＤＦ２が格納されている。暗号化辞書データＥ（ＤＦ１）は、オンプレミス匂い辞書データＤＦ１を準同型暗号方式に従って暗号化することで生成され得る。オンプレミス匂い辞書データＤＦ１及び汎用匂い辞書データＤＦ２はいずれも、様々な匂いの各々について、匂い特徴量列とその匂いを表す文字列との対応関係を構造的に記憶するデータセットである。オンプレミス匂い辞書データＤＦ１においては、におい特徴量列と対応付けて、その匂いを表現する文字列が記憶されている。匂いを表現する文字列としては、「バニラのような香り」、「柑橘系の香り」、「カレーの香り」、「雨上がりの香り」、「オーク樽の香り」、及びこれら以外の文字列を含むことができる。オンプレミス匂い辞書データＤＦ１は、ある空間に漂う匂いを匂いセンサで検出し、その検出値の特徴量列を算出する一方で、嗅覚及びその言語表現に優れた能力を有する調香師（パフューマー）やソムリエが当該空間の匂いを言語的に表現した文字列を決定し、この特徴量列と文字列とを対応付けることにより生成され得る。暗号化辞書データＥ（ＤＦ１）においては、ある空間の匂いセンサの検出値の特徴量列を準同型暗号方式に従って暗号化した暗号化匂い特徴量列が、当該空間の匂いを表現する文字列を準同型暗号方式により暗号化した暗号化文字列と対応付けられている。

　サーバ４３０は、ストレージ４３５に格納されているプログラムに含まれる命令及び必要に応じてそれ以外の命令を実行することにより、受信部４３１ａ、文字列変換部４３１ｂ、及び送信部４３１ｃとして機能する。

　受信部４３１ａは、ユーザ端末４１０から暗号化匂い特徴量列Ｅ（Ｆ１１）を受信する。

　文字列変換部４３１ｂは、暗号化辞書データＥ（ＤＦ１）及び汎用匂い辞書データＤＦ２の少なくとも一方を用いて、ユーザ端末４１０から受信した暗号化匂い特徴量列Ｅ（Ｆ１１）を暗号化文字列Ｅ（Ｔ４１１）に変換する。一実施形態において、文字列変換部４３１ｂは、暗号化辞書データＥ（ＤＦ１）又は汎用匂い辞書データＤＦ２から、ユーザ端末４１０から受信した暗号化匂い特徴量列Ｅ（Ｆ１１）とマッチする暗号化文字列を検索する。例えば、解析対象となる空間がカレーの匂いで充満している場合には、暗号化辞書データＥ（ＤＦ１）及び汎用匂い辞書データＤＦ２の少なくとも一方を検索することにより、この空間の匂いセンサの検出値に基づいて生成された暗号化匂い特徴量列Ｅ（Ｆ１１）とマッチする「カレーの香り」という文字列の暗号文が暗号化文字列Ｅ（Ｔ４１１）として特定される。解析対象の空間が、ワインが注がれたワイングラス内の空間のような複合的な香りを含む場合には、２つ以上の暗号化文字列が抽出されてもよい。例えば、ワインが注がれたワイングラス内の空間の暗号化匂い特徴量列Ｅ（Ｆ１１）に対応する文字列として、「バニラの香り」と「オーク樽の香り」という２つの文字列の暗号文が抽出されてもよい。文字列変換部４３１ｂは、抽出された２つ以上の文字列の暗号文に基づいて文章を生成してもよい。例えば、「バニラの香り」と「オーク樽の香り」という２つの文字列の暗号文に基づいて「バニラの香りの中にわずかなオーク樽の香りがする。」という文章が生成され、このようにして生成された文章を暗号化文字列Ｅ（Ｔ４１１）としてもよい。文字列変換部４３１ｂによる演算は、暗号化匂い特徴量列Ｅ（Ｆ１１）を復号することなく、暗号化辞書データＥ（ＤＦ１）を用いて行われるため、文字列変換部４３１ｂにより出力される暗号化文字列Ｅ（Ｔ４１１）は、準同型暗号方式により暗号化されている。

　送信部４３１ｃは、文字列変換部４３１ｂにより生成された暗号化文字列Ｅ（Ｔ４１１）をユーザ端末４１０に送信することができる。

　次に、図２１を参照して、ユーザ端末４１０からの要求に基づいてサーバ４３０が行う匂い認識処理の流れを説明する。まず、ステップＳ４１１において、ユーザ端末４１０において、解析対象となる空間の匂いが検出される。次に、ステップＳ４１２において、ステップＳ４１１において検出された匂いの検出値に基づいて匂いの特徴量が算出され、この算出された画像特徴量に基づいて匂い特徴量列Ｆ１１が生成される。匂い特徴量列Ｆ１１の生成は、特徴抽出部４１１ｂにより実行されてもよい。

　次に、ステップＳ４１３において、ステップＳ４１２において算出された匂い特徴量列Ｆ１１が準同型暗号方式に従って公開鍵ＰＫ１を用いて暗号化され、暗号化匂い特徴量列Ｅ（Ｆ１１）が生成される。生成された暗号化匂い特徴量列Ｅ（Ｆ１１）は、サーバ４３０に送信される。ステップＳ４１３における匂い特徴量列Ｆ１１の暗号化は、暗号化部４１１ｃによって実行されてもよい。暗号化匂い特徴量列Ｅ（Ｆ１１）のサーバ４３０への送信は、送信部４１１ｄにより実行されてもよい。

　暗号化匂い特徴量列Ｅ（Ｆ１１）がサーバ４３０に受信されると、ステップＳ４１４において、暗号化辞書データＥ（ＤＦ１）又は汎用匂い辞書データＤＦ２に含まれるレコードの中から、ユーザ端末４１０から受信した暗号化匂い特徴量列Ｅ（Ｆ１１）とマッチする暗号化文字列が検索され、この検索された暗号化文字列又は検索された暗号化文字列から生成された文章が暗号化文字列Ｅ（Ｔ４１１）として出力される。暗号化文字列Ｅ（Ｔ４１１）の生成は、文字列変換部４３１ｂにより実行されてもよい。生成された暗号化文字列Ｅ（Ｔ４１１）は、ユーザ端末４１０に送信される。

　暗号化文字列Ｅ（Ｔ４１１）がユーザ端末４１０に受信されると、ステップＳ４１６において、ステップＳ４１３で使用された公開鍵ＰＫ１とペアになる秘密鍵ＳＫ１を用いて暗号化文字列Ｅ（Ｔ４１１）が復号され、平文の文字列Ｔ４１１が生成される。

　以上により、ユーザ端末４１０において取得された解析対象の空間の匂いの検出値に対応する文字列が匂い認識結果として得られる。

　匂い認識システム４０１により行われる匂い認識処理において、サーバ４３０は、準同型暗号方式に従って暗号化された暗号化辞書データＥ（ＤＦ１）を用いて、準同型暗号方式に従って暗号化された暗号化匂い特徴量列Ｅ（Ｆ１１）に基づいて解析対象の空間の匂いを表す暗号化文字列Ｅ（Ｔ４１１）を生成してユーザ端末４１０に送信する。匂い認識システム４０１によれば、サーバ４３０に提供される匂い特徴量列Ｆ１１だけでなく、サーバ４３０が利用するオンプレミス匂い辞書データＤＦ１も暗号化されているから、情報セキュリティを低下させることなく、オフプレミス環境にあるサーバ４３０の計算リソースを利用して匂い認識を行うことができる。

　匂い特徴量を用いることにより、例えばプロのソムリエがワインの匂いを嗅ぎ分けることで行うワインの評価をデジタル化することができる。ワインの匂い特徴量と当該ワインに対するソムリエの評価（「極上のワイン」、「安いワイン」等）とをオンプレミス匂い辞書データＤＦ１に登録することで、ワインの匂い特徴量からソムリエによる当該ワインの評価を得ることができる。したがって、そのようなオンプレミス匂い辞書データＤＦ１には商業的な（ノウハウとしての）価値がある。本実施形態は、このように構成されたオンプレミス匂い辞書データＤＦ１をオフプレミス（クラウド等）で利用することを可能としつつ、オンプレミス匂い辞書データＤＦ１が他人に無断で利用されることを防止できる。

　本発明の少なくとも一つの実施形態において、オンプレミス匂い辞書データＤＦ１に紙の匂いの特徴量と紙の種類や属性（新旧、乾湿、置かれている場所等）とを対応づけて保持させてもよい。この場合、紙の暗号化された匂い特徴量に基づいて紙の違いを判別できるので、当該判別結果を、紙書類の偽造等の不正の検知に用いることができる。また、オンプレミス匂い辞書データＤＦ１が準同型暗号化されるので、オンプレミス匂い辞書データＤＦ１の解析を通じた情報漏洩（例えば、不正検知手法の漏洩）を防止することができる。

　上記の実施形態は、音（発話）、画像、及び匂い以外のセンシング可能な物理量又はセンシング可能な物理量から生成されるデータにも応用可能である。すなわち、オンプレミス環境５においてセンシングされた物理量の特徴量を算出し、その特徴量を準同型暗号方式により暗号化して生成された暗号化特徴量をオフプレミス環境にあるサーバに送信し、このサーバにおいて準同型暗号方式により暗号化された暗号化辞書を用いて、ユーザ端末から受信した暗号化特徴量から文字列を抽出又は生成することにより、オンプレミス環境においてセンシングされた物理量の認識（つまり、当該物理量に対応する文字列の抽出または生成）を行うことができる。オフプレミス環境にあるサーバでは、暗号化方式の準同型性により、暗号化辞書を用いて暗号化特徴量に対応する文字列の生成または抽出を行うことができる。センシング可能な物理量又はセンシング可能な物理量から生成されるデータには、本明細書で具体的に説明した音声、画像、匂い以外に、味覚及び触覚がある。

　上記の各実施形態は、様々な用途に適用可能である。上記の実施形態は、例えば監査、税務、アドバイザリのデジタル化に適用可能である。これらの分野では他の分野よりも一層厳しいデータセキュリティが求められている。一方で、業務のデジタル化の進展に伴って視覚的なインタフェースだけでなく音声によるインタフェースが導入されつつある。監査人とクライアントとのオンライン会議の音声などはその一例である。このような音声は多くの場合秘密の内容を含むものであるから、上記の実施形態を用いることで内容を秘匿したまま文書化できるメリットは大きく、クライアントも安心して音声データを監査人に提供できるようになる。また、異なる監査人同士で音声を共有することで不正検知の精度向上などに役立てることができるが、その異なる監査人間で共有される音声による情報漏洩を防止することができる。

　また、近年、やはりデジタル化の進展と共にオンプレミス処理からクラウド処理への転換、さらにはクラウドネイティブが台頭してきている。監査、税務、アドバイザリの分野での上記の実施形態の使用はこのクラウドネイティブの文脈でもメリットがある。すなわち、クラウドネイティブ時代における秘匿性を担保した音声トランスクリプションに適合したシステムを提供することができる。

　オンプレミスでは、音声新式に必要な全てのコンポーネントは、自社で管理する情報処理装置に実装される。これに対してクラウドネイティブではクラウド上でシステムを構築するので、コストやスケーラビリティの面でより有利となる。クラウドネイティブにおいて機微な内容の音声トランスクリプションを行うための直感的な解は、シンクライアントとクラウドで秘密鍵を共有し、シンクライアントで音声生データを暗号化してクラウドに送り、クラウドで解読して音声トランスクリプションし、結果を暗号化して送り返し、シンクライアントで解読する、という手法である。しかし、この方法では、秘密鍵をクラウドに預ける必要があり、かつ、音声生データやその音声認識結果がそのままクラウドに残るのでセキュリティ上好ましくない。クラウドネイティブ時代のセキュリティの要諦は、いかにクラウドに生の機微なデータを残さないか、である。

　そこで、上記の実施形態を用いることで、音声トランスクリプションの開始前に単語辞書をクライアントで準同型暗号化してクラウドにアップロードする。これにより、クラウドに生の音声データや認識結果や単語辞書の内容を残さずにクラウド上で音声認識を行うことができる。

　上記実施形態では、オフプレミス環境で文字列変換を行う場合を説明したが、オンプレミス環境５で文字列変換を行ってもよい。例えば、オフプレミス環境で音素列抽出（図６のステップS１４）を行い、文字列変換をオンプレミス環境５で（例えば、ユーザ端末１０又はオンプレミスサーバ５０で）行ってもよい。この場合、オフプレミス環境のサーバ３０は暗号化音素列E（Ａ１２）をユーザ端末１０に送信し、ユーザ端末１０は受信した暗号化音素列E（Ａ１２）を復号して音素列を得る。ユーザ端末１０は得られた音素列を文字列に変換する。あるいはまた、ユーザ端末１０は、音素と、該音素を表す音素符号と、を対応付けて保持する音素符号対応テーブルを保持してもよい。音素符号対応テーブルでは、例えば音素「ｋ」に音素符号「１」が対応付けられる。音素符号対応テーブルはオンプレミス環境で秘密情報として管理される。サーバ３０における音素列抽出ステップでは、音素の代わりに音素符号が抽出され、暗号化音素列の代わりに暗号化音素符号列が生成され、ユーザ端末１０に返信される。ユーザ端末１０は、まず、受信した暗号化音素符号列を復号することで音素符号列を取得し、次に音素符号対応テーブルを参照することで音素符号列の各音素符号を音素に変換することで音素列を生成する。この場合、仮にサーバ３０において準同型暗号が解読されてしまった場合でも、音素符号と音素との対応が分からないので依然として音声の内容の解読は困難となる。

　本明細書中で説明される処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理または手順は複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は複数のモジュールによって実行され得る。また、本明細書中で説明されるデータ、テーブル、又はデータベースが単一の記憶装置（ストレージやメモリ）に格納される旨説明されたとしても、そのようなデータ、テーブル、又はデータベースは、単一の装置に備えられた複数の記憶装置または複数の装置に分散して配置された複数の記憶装置に分散して格納され得る。さらに、本明細書において説明されるソフトウェアおよびハードウェアの要素は、それらをより少ない構成要素に統合して、またはより多い構成要素に分解することによって実現することも可能である。

　本明細書において説明された処理手順、特にフロー図を用いて説明された処理手順においては、その処理手順を構成する工程（ステップ）の一部を省略すること、その処理手順を構成する工程として明示されていない工程を追加すること、及び／又は当該工程の順序を入れ替えることが可能であり、このような省略、追加、順序の変更がなされた処理手順も本発明の趣旨を逸脱しない限り本発明の範囲に含まれる。

　本明細書において単数形で表される構成要素は、矛盾を生じさせない限り、複数形を含むものとする。

　本明細書において、プロセッサ１１によって実行されるとして説明されるプログラム又は当該プログラムに含まれる命令は、単一のコンピュータプロセッサで実行されてもよいし、複数のコンピュータプロセッサにより分散して実行されてもよい。また、プロセッサ１１によって実行されるプログラム又は当該プログラムに含まれる命令は、複数の仮想コンピュータプロセッサにより分散して実行されてもよい。以上のプロセッサ１１でのデータ処理に関する説明は、プロセッサ２１、３１、３１１、３３１におけるデータ処理にも可能な限り当てはまる。ただし、プロセッサ１１、２１、３１１によって処理されるデータがオンプレミス環境５のみで使用されることが想定されている場合には、当該データは、オンプレミス環境５内のプロセッサのみによって処理され、オフプレミス環境のプロセッサによる分散処理は行われない。

　プロセッサ１１、プロセッサ２１、プロセッサ３１、プロセッサ３１１、プロセッサ３３１、プロセッサ４１１、及び／又はプロセッサ４３１で実行されるプログラムは、図示されているストレージ以外にも様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）に格納され得る。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例には、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、Compact Disc Read Only Memory（CD-ROM）、CD-R、CD-R/W、半導体メモリ（例えば、マスクROM、Programmable ROM（PROM）、Erasable PROM（EPROM）、フラッシュROM、Random Access Memory（RAM））を含む。

　音声認識システム１、１０１、２０１、画像認識システム３０１、及び匂い認識システム４０１において、データの格納場所には特段の制限はない。例えば、ストレージ１５に記憶され得る各種データは、オンプレミス環境５内又はオンプレミス環境５外のストレージ１５とは物理的に別体のストレージやデータベースサーバに格納されてもよい。つまり、本明細書において、ストレージ１５に記憶されると説明されているデータは、単一のストレージに記憶されてもよいし、複数のストレージに分散して記憶されてもよい。また、本明細書及び特許請求の範囲において、単に「ストレージ」という場合には、文脈上許される限り、単一のストレージと複数のストレージの集合のいずれを指し示すこともある。以上のストレージ１５に記憶され得るデータに関する説明は、ストレージ２５、３５、３１５、３３５、４３５に記憶されるデータにも可能な限り当てはまる。ただし、オンプレミス環境５内のみで利用可能なデータは、オンプレミス環境５内のストレージに格納される。

　本明細書に開示されている複数の実施形態を組み合わせることにより、その組み合わされた態様を、本発明のさらに別の実施形態とすることができる。例えば、図１１及び図１２に示されている実施形態では、暗号化文字列に基づいて暗号化説明文が生成されており、図１３及び図１４に示されている実施形態では、暗号化文字列に基づいて暗号化翻訳文が生成されている。これらの実施形態を組み合わせた実施形態においては、暗号化文字列に基づいて暗号化説明文及び暗号化翻訳文を両方とも生成することができる。

　本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別するために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。

　１、１０１、２０１　音声認識システム
　５　オンプレミス環境
　１０、２０、３１０、４１０　ユーザ端末
　３０、３３０、４３０　サーバ
　５０　オンプレミスサーバ
　３０１　画像認識システム
　４０１　匂い認識システム

Claims

　オフプレミス環境に備えられた一又は複数のプロセッサに、
　発話に対応する音素列を識別するための音声時系列が準同型暗号方式に従って暗号化された暗号化音声時系列をオンプレミス環境から取得する機能と、
　準同型暗号方式に従って暗号化されている暗号化辞書を用いて前記暗号化音声時系列を解析することにより、準同型暗号方式に従って暗号化されている暗号化文字列を生成する機能と、
　を実行させるプログラム。
　前記暗号化音声時系列は、前記発話の特徴量を時系列で表す音声特徴量時系列が準同型暗号方式に従って暗号化された暗号化音声特徴量時系列であり、
　前記一又は複数のプロセッサは、前記暗号化音声特徴量時系列に基づいて、前記発話に対応する音素列を識別でき準同型暗号方式に従って暗号化されている暗号化音素列を生成し、
　前記暗号化文字列は、前記暗号化辞書を用いて前記暗号化音素列を解析することにより生成される、
　請求項１に記載のプログラム。
　前記暗号化音素列は、入力音から音素を識別するための音響モデルを用いて前記暗号化音声特徴量時系列から当該発話に含まれる音が各音素である確率を示す事後確率系列を推定することで算出される、
　請求項２に記載のプログラム。
　前記音響モデルは、前記オンプレミス環境において準同型暗号方式に従って暗号化された暗号化音響モデルである、
　請求項３に記載のプログラム。
　前記暗号化音声時系列は、前記発話に対応する音素を識別する音素列が前記オンプレミス環境において準同型暗号方式に従って暗号化された暗号化音素列である、
　請求項１に記載のプログラム。
　前記暗号化文字列は、言語モデルをさらに用いて生成される、
　請求項１から５のいずれか１項に記載のプログラム。
　前記暗号化辞書は、第１辞書を前記オンプレミス環境で準同型暗号方式に従って暗号化することで生成される、
　請求項１から６のいずれか１項に記載のプログラム。
　前記暗号化文字列は、前記第１辞書とは異なり、平文の辞書データを含む第２辞書をさらに用いて生成される、
　請求項７に記載のプログラム。
　前記一又は複数のプロセッサに、準同型暗号方式に従って暗号化されている暗号化参照辞書を用いて、前記暗号化文字列に含まれている単語を説明する説明文であって準同型暗号方式に従って暗号化されている暗号化説明文を生成する機能と、
　請求項１から８のいずれか１項に記載のプログラム。
　前記発話は、第１言語での発話であり、
　前記一又は複数のプロセッサに、準同型暗号方式に従って暗号化されている暗号化翻訳辞書を用いて、前記暗号化文字列を前記第１言語とは異なる第２言語に翻訳した暗号化翻訳文字列を生成する機能をさらに実行させる、
　請求項１から９のいずれか１項に記載のプログラム。
　前記暗号化音声時系列は、第１公開鍵を用いて準同型暗号方式に従って暗号化されており、
　前記暗号化辞書は、第２公開鍵を用いて準同型暗号方式に従って暗号化されている、
　請求項１から１０のいずれか１項に記載のプログラム。
　前記暗号化文字列は、前記第１公開鍵とペアとなる第１秘密鍵及び前記第２公開鍵とペアとなる第２秘密鍵のいずれも用いずに生成される、
　請求項１１に記載のプログラム。
　前記一又は複数のプロセッサに、前記暗号化文字列を前記オンプレミス環境の情報処理装置に送信する機能をさらに実行させる、
　請求項１から１１のいずれか１項に記載のプログラム。
　前記一又は複数のプロセッサに、オフプレミス環境に配置されているストレージに暗号化文字列を記憶させる、
　請求項１から１３のいずれか１項に記載のプログラム。
　オフプレミス環境に備えられた情報処理装置であって、
　オンプレミス環境で入力された発話が表す音素列を識別することができ準同型暗号方式に従って暗号化されている暗号化音声時系列を取得する取得部と、
　準同型暗号方式に従って暗号化されている暗号化辞書を用いて前記暗号化音声時系列を解析することにより、準同型暗号方式に従って暗号化されている暗号化文字列を生成する生成部と、
　を備える、情報処理装置。
　オフプレミス環境に備えられた一又は複数のプロセッサがコンピュータ読み取り可能な命令を実行することにより、
　オンプレミス環境で入力された発話が表す音素列を識別することができ準同型暗号方式に従って暗号化されている暗号化音声時系列を取得する工程と、
　準同型暗号方式に従って暗号化されている暗号化辞書を用いて前記暗号化音声時系列を解析することにより、準同型暗号方式に従って暗号化されている暗号化文字列を生成する工程と、
　を備える、情報処理方法。
　オフプレミス環境に備えられた一又は複数のプロセッサに、
　解析対象画像の特徴量を表す画像特徴量が準同型暗号方式に従って暗号化された暗号化画像特徴量をオンプレミス環境から取得する機能と、
　準同型暗号方式に従って暗号化されている暗号化辞書を用いて前記暗号化画像特徴量を解析することにより、準同型暗号方式に従って暗号化されている暗号化文字列を生成する機能と、
　を実行させるプログラム。
　オフプレミス環境に備えられた一又は複数のプロセッサに、
　解析対象の空間における匂いの検出値の特徴量を表す匂い特徴量が準同型暗号方式に従って暗号化された暗号化匂い特徴量をオンプレミス環境から取得する機能と、
　準同型暗号方式に従って暗号化されている暗号化辞書を用いて前記暗号化匂い特徴量を解析することにより、準同型暗号方式に従って暗号化されている暗号化文字列を生成する機能と、
　を実行させるプログラム。