以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
初めに、図1を参照して迷惑電話抑制システム1(情報処理システム)の構成について説明する。以下の説明では、本発明の第1の実施形態として、迷惑電話として振り込め詐欺(オレオレ詐欺とも呼ばれる)を例に説明するが、本発明は、例えば、セールス、アンケート、不動産投資の案内などの迷惑電話にも適用可能である。すなわち、本発明は、ユーザが金銭的な被害にあったり、迷惑に感じたりする可能性がある電話に適用可能である。
迷惑電話抑制システム1は、ネットワーク10を介して通信可能な複数の通話デバイス100(ユーザ端末)と、サーバ200(情報処理装置)を少なくとも備える。通話デバイス100は、ネットワーク10を介して他の通話デバイス100や通話デバイス300と通信(通話)することができる。
通話デバイス100は、例えば、電話機能を備えたPC(Personal Computer)や携帯電話端末(例えば、スマートホン、フィーチャーホン、同様の機能を備えるタブレット端末)である。
通話デバイス300は、振り込め詐欺に使用される固定電話である。なお、通話デバイス300は、電話機能を備えたPCや携帯電話端末(例えば、スマートホン、フィーチャーホン、同様の機能を備えるタブレット端末)でもよい。
なお、以下の説明では、通話デバイス100を使用するユーザ(使用者)をユーザUと称し、通話デバイス300を使用するユーザをユーザS(迷惑電話の主であり、この実施形態では詐欺師)と称す。また、複数のユーザUを必要に応じてユーザU1、ユーザU2と称してそれぞれを区別して説明する。なお、ここでは、一例としてユーザU1が通話デバイス100として携帯電話端末を所持しているが、ユーザU1が携帯電話端末に加えて通話デバイス100としてPCをさらに所持していてもよい(ユーザU2も同様)。
ネットワーク10を介して行われる通信では、通話デバイス100、サーバ200又は通話デバイス300間で、例えば音声信号X、詐欺判定用信号Y、遮断信号Zが送受信される。
音声信号Xは、通話先のデバイスから送信され、通話デバイス100が受信する信号である。この音声信号Xによって、通話先のデバイスのユーザ(通話デバイス300との通話の場合にはユーザS)の声が通話デバイス100で発音される。
詐欺判定用信号Yは、通話デバイス100にかかってきた通話相手が詐欺師か否かをサーバ200が判定する際に利用されるためのものであり、通話デバイス100が送信し、サーバ200で受信される。
この実施形態では、通話が開始されると、通話デバイス100は、詐欺判定用信号Yを自動的にサーバ200に送信する。
この実施形態では、詐欺判定用信号Yは例えば、情報をパケット化してデータを送受信するパケット通信によってサーバ200に送信される。ただし、サーバ200に詐欺判定用信号Yを送信可能であれば、送信方法はパケット通信に限定されない。
詐欺判定用信号Yは、少なくとも、音声信号Xの一部又は全部、疑惑情報、ユーザUを個別に特定可能な識別子(以下、識別子と称す)から構成される。音声信号Xの一部又は全部、疑惑情報、識別子はパケットのデータ領域にすべて含めてもよいし、疑惑情報や識別子については、データ領域の前段に設けられた拡張領域(オプション領域)に含めるようにしてもよい。また、疑惑情報や識別子をヘッダー領域に含めるようにするなど、各データをパケットのどこに含めるかは特に限定されない。
また、音声信号Xの一部又は全部、疑惑情報、識別子を1つのグループとして送信するのでは無く、例えば、識別子を送信してから、次に音声信号Xの一部又は全部を送信するなどこれらの情報を別々に送信するようにしてもよい。
以下、音声信号Xの一部又は全部、疑惑情報、識別子についてそれぞれ詳細に説明する。
「音声信号Xの一部」とは、例えば、一連の会話の一部分のみが切り出されるように、通話デバイス100が受信した音声信号Xを所定の時間毎(例えば、数秒間、十数秒間、数分間など)に区切ったものである。この結果、一連の会話が所々抜け落ちるような状態で詐欺判定用信号Yがサーバ200に送信される。このように送信することによってプライバシーの保護性を向上させることができるし、通話相手が詐欺師か否かを判定するために送信されるデータ量を抑制することもできる。
なお、会話が始まった最初の所定時間のみ、詐欺判定用信号Yを送信し、所定時間経過後は、詐欺判定用信号Yの送信を停止してもよく、このように送信される詐欺判定用信号Yに含まれる音声信号Xも「音声信号Xの一部」を意味する。また、会話が始まってからしばらくは詐欺判定用信号Yを送信せず、会話の途中から詐欺判定用信号Yを送信するようにしてもよい。
「音声信号Xの全部」とは、言わば、全ての会話をサーバ200に転送するような状態を指し、一連の会話の途中が抜け落ちることがない状態である。
「音声信号Xの全部」を送信する場合でも、例えば、所定の時間ごとに「サーバ200で利用可を示す情報」と「サーバ200では利用不可を示す情報」を付加することで、「音声信号Xの一部」を送信する場合と同じ態様とすることもできる。
サーバ200は「サーバ200で利用可を示す情報」から始まり「サーバ200では利用不可を示す情報」で終わる区間を、通話相手が詐欺師か否かを判定するために利用可能な区間と認識することができる。逆に「サーバ200では利用不可を示す情報」から始まり「サーバ200で利用可を示す情報」で終わる区間を、通話相手が詐欺師か否かを判定するために利用不可能な区間と認識することができる。
「音声信号Xの一部又は全部」には、ユーザSが喋っていない無発声の時間の信号は含まれないことが望ましい。例えば、ユーザSが無発声の時間は、詐欺判定用信号Yを送信しなかったり、詐欺判定用信号Yを送信する際に音声信号Xから無発声の部分を削除したりするように構成してもよい。この無発声を削除する機能をサーバ200が備えてもよい。
以下の説明では、「音声信号Xの一部又は全部」をたんに「音声信号X」と称す。
「疑惑情報」は、ユーザUが通話相手を詐欺師かもしれないと疑っているか否かを示す情報である(以下の説明では、ユーザUが通話相手を詐欺師かもしれないと疑っている状態を「疑惑有」、疑っていない状態を「疑惑無」と称す)。疑惑情報は、例えば、1又は0によるフラグ立てによって実現することができ、フラグが0のときは疑惑無となり、フラグが1のときは疑惑有となる(この逆でもよい)。
また、例えば「True(疑惑有)」,「False(疑惑無)」のような文字列や所定長のコードによって実現するようにしてもよい。
この実施形態では、通話が始まると、まず疑惑情報が「疑惑無」の詐欺判定用信号Yが自動的にサーバ200に送信される。この結果、詐欺判定用信号Yは、ユーザUが通話相手を詐欺師かもしれないと疑っていない詐欺判定用信号Yとして扱われる(以下、このような詐欺判定用信号Yを詐欺判定用信号Y1ともいう)。
通話デバイス100が備える通報ボタンをユーザUが操作することで疑惑情報が「疑惑有」に変更され、この変更された詐欺判定用信号Yがサーバ200に送信される。この結果、詐欺判定用信号Yは、ユーザUが通話相手を詐欺師かもしれないと疑っている詐欺判定用信号Yとして扱われる(以下、このような詐欺判定用信号Yを詐欺判定用信号Y2ともいう)。
要するに、この実施形態のサーバ200には、詐欺判定用信号Yとして、詐欺判定用信号Y1又は詐欺判定用信号Y2のどちらか一方が送信され、ユーザUのボタン操作によって、詐欺判定用信号Y1が詐欺判定用信号Y2に切り替わる。
「識別子」は、例えば、ユーザUが、図示しない所定のサーバにユーザ情報(例えば、個人情報)を登録することによって付与されるユーザIDである。「所定のサーバ」にサーバ200を使用してもよい。識別子として、通話デバイス100のIP(Internet Protocol)アドレス、MAC(Media Access Control)アドレス、電話番号、日時情報などを用いてもよい。これらは、いずれか一つを単独で用いてもよいし複数を併用してもよい。以下の説明では、識別子にユーザIDを使用するものとする。
「日時情報」は、年・月・日・時・分・秒のいずれか1つを少なくとも含み、例えば、通話デバイス100が管理するタイムゾーンとローカルタイムから取得したり、ネットワーク10を介して取得したりすることができる。
「遮断信号Z」は、サーバ200が送信し、通話デバイス100で受信される信号である。ここで「遮断」とは、例えば通話が終了する状態を指し、電話回線を切ることを指す。
すなわち、遮断信号Zは、通話デバイス100と通話先のデバイス(例えば、通話デバイス300)との通話を強制的に遮断するための信号である。サーバ200は、通話デバイス100から受信した詐欺判定用信号Yに含まれる音声信号Xから得られる声紋情報に基づいて通話デバイス100の通話相手が詐欺師か否かを判定して、遮断信号Zを送信する。この判定については、後述する。
なお、ネットワーク10を介して行われる通信では、上記した信号や情報以外にも例えば、通話デバイス100から通話デバイス300に送信される音声信号(すなわち、ユーザUの音声)や、Eメールや様々なアプリケーションソフトウェア(以下、アプリケーションともいう)のデータなども送受信される。「アプリケーションのデータ」には、アプリケーション本体のデータや、アプリケーションが生成したり利用したりする様々なデータが含まれる。
本発明で行われる通話や通信は、無線方式でも有線方式でもこれらを組み合わせたものでもよく、ネットワーク10には、例えば、PSTN(Public Switched Telephone Network:公衆交換電話網)、IP電話網、インターネット、移動体通信を行うための移動体回線網などが含まれる。また、例えば、LAN(Local Area Network)など局所的な通信網を含めてもよい。これらのネットワークは図示しない変換装置によって相互に通信の乗り入れが可能となっている。
したがって、音声信号X、詐欺判定用信号Y、遮断信号Z、Eメール、ユーザUの音声、様々なアプリケーションのデータなどは、上記した様々なネットワークを介して送受信され、どのネットワークを介して行うかは特に限定されない。
上記の音声信号X、詐欺判定用信号Y、遮断信号Zなどの送受信に使用される経路はそれぞれ異なってもよく、経路の組み合わせは特に限定されない。例えば、音声信号Xの送受信にはPSTNが使用され、詐欺判定用信号Y及び遮断信号Zの送受信にはインターネットが使用されるように構成することができる。
図2A〜図2Cを用いて通話デバイス100について詳細に説明する。図2Aは、通話デバイス100の構成図である。図2Bは、通話デバイス100の記憶装置102の機能ブロック図である。図2Cは、通話デバイス100の制御部107の機能ブロック図である。
通話デバイス100は、受信部101(第1受信部)と、記憶装置102と、入力装置103(受付部)と、マイク/スピーカ104と、送信部105と、表示装置106と、制御部107(通話制御部)とを少なくとも備える。例えばCPU(Central Processing Unit)が、アプリケーションを実行することで図2Cに示す機能が実現される。「アプリケーション」には例えば、通話デバイス100に予め記憶されたファームウェアやアプリケーション、又は、ネットワーク10を介して新たにダウンロードされたファームウェアやアプリケーションなどが含まれる。
すなわち、通話デバイス100は、各機能を予め備えていてもよいし、ファームウェアやアプリケーションを別途ダウンロードしインストールすることにより各機能を獲得するような構成であってもよい。
受信部101は、遮断信号Zを受信したり、音声信号Xを受信したりする。
記憶装置102は、例えば、HDD(Hard Disk Drive)や半導体記憶装置(SSD(Solid State Drive)等)やメモリ装置(ROM(read only memory)RAM(Random Access Memory))である。
記憶装置102には上記した識別子が記憶される。また、記憶装置102には、通話デバイス100以外の機器(例えば、サーバ200)のIPアドレスやMACアドレスが記憶されてもよい。これらの情報を利用すれば、通話デバイス100(ユーザU1やユーザU2)や通話デバイス100以外の機器を特定・識別することができる。
図2Bに示すように、記憶装置102は、アプリケーション記憶部102aと、通信データ記憶部102bとして少なくとも機能する。アプリケーション記憶部102aには、上記のアプリケーションが格納される。
通信データ記憶部102bには様々なデータが記憶される。通信データ記憶部102bはバッファとして利用可能であり、例えば、受信した音声信号X、詐欺判定用信号Yなどを一時的に記憶することができる。なお、通話デバイス100の処理速度が充分であれば、通信データ記憶部102bは、バッファとしての機能を持たなくともよい。
また、通話デバイス100が録音機能を有する場合には、録音された音声は通信データ記憶部102bに記憶される(すなわち、音声信号が記録される)。この場合、音声信号Xに対応する音声のみを録音する(例えば、詐欺師の音声のみを録音する)ようにしてもよいし、音声信号Xに対応する音声及びユーザUの音声の両社の音声が含まれるように録音してもよい。
入力装置103は、例えば、キーボード、マウス、電話用テンキー、タッチパネル等である。入力装置103には、詐欺判定用信号Yを「疑惑有」とするため(すなわち、詐欺判定用信号Y1を詐欺判定用信号Y2に切り替えるため)の「通報ボタン」が含まれる。ユーザUは、入力装置103を操作して、電話をかけたり又は受けたり、詐欺判定用信号Y2をサーバ200に送信したり、電話用のアプリケーションをダウンロードしたり、通話中の音声を録音したり、ユーザIDを取得するための操作を行ったりすることができる。なお、録音は、ユーザUが入力装置103を操作することによって行わずに、自動的に行われるようにしてもよい。
マイク/スピーカ104(以下、マイク104やスピーカ104ともいう)は、通話中にユーザUの声を受け付けたり、通話相手の声を発音したりする。マイク/スピーカ104は、通話デバイス100に内蔵されているものでもよいし、図示しない外付けのヘッドセットなどでもよい。
送信部105は、マイク104が受け付け、図示しない音声変換回路(例えば、A/D変換回路や符号化回路など)を介して、例えばデジタル的な信号に変換されたユーザUの音声を通話相手(例えば、通話デバイス300)に送信する。また、詐欺判定用信号Yをサーバ200に送信したりする。
表示装置106は、少なくとも電話をかける際の電話番号の入力画面や電話をかけてきた相手の電話番号などを表示することができる。表示装置106は、通話デバイス100がスマートホン、タブレット端末などの場合、入力装置103の機能と対応するボタンを表示する。入力装置103を備えるPCであっても、入力装置103の機能と対応するボタンを表示装置106に表示するようにしてもよい。
表示装置106に表示されるボタンの具体例には、電話をかけたり又はかかってきた電話に出たりするためのボタン、電話を終了するボタン、通報ボタン、ユーザUの操作によって通話中の会話を録音する機能を有する場合には、録音を開始するための録音ボタンや録音停止ボタンなどが挙げられる。通話デバイス100がフィーチャーホンの場合、このようなボタンを入力装置103として備えている。
表示装置106には、遮断信号Zに基づいて通話を遮断した旨を示すメッセージが表示されることが望ましい。また、このようなメッセージ以外にも例えば、回線の接続状態が悪いために起こった通話の切断や通話相手から電話が切られた場合などシチュエーションに応じた様々なメッセージが表示されることが望ましい。このような表示を行うことで、ユーザUは、通話が切断した理由を知ることができ、通話デバイス100の利便性が向上する。
制御部107は、通話デバイス100を制御する。制御部107は、例えば、CPU、MPU(Micro-processing unit)、種々の制御回路のうちのいずれか1つを少なくとも備える。すでに述べた音声変換回路も制御部107に含まれる。
図2Cに示すように、制御部107は、操作検知部107aと、通話実行部107bと、情報送信処理部107cと、通話遮断実行部107dとして少なくとも機能する。操作検知部107aは、入力装置103が受け付けたユーザUの操作(例えば、通報ボタンの押下操作やタッチ操作)を検知する。
通話実行部107bは、通話デバイス100による通話を制御する。この制御には、電話をかけたり又は受けたりするために通話デバイス100をネットワーク10に接続するための制御や、受信部101を介して受信した音声信号Xに対応する音声をスピーカ104から発音させたり、ユーザUの音声を、送信部105を介して通話先の通話デバイスに送信したりすることなどが含まれる。
情報送信処理部107cは、通話が開始されると、音声信号Xに疑惑情報や識別子を付加して詐欺判定用信号Y(詐欺判定用信号Y1)として送信部105を介してサーバ200に送信する。情報送信処理部107cは、必要に応じて通信データ記憶部102bをバッファとして利用する。
情報送信処理部107cは、操作検知部107aがユーザUによる通報ボタンの操作を検知したことに対応させて、詐欺判定用信号Y1を詐欺判定用信号Y2に切り替えてサーバ200に送信する。
なお、情報送信処理部107cは、通報ボタンに替えて録音ボタンをユーザUが操作することで詐欺判定用信号Y2をサーバ200に送信するようにしてもよい。この場合、情報送信処理部107cは、まず、通信データ記憶部102bに音声(音声信号X)を録音(記録)してから録音済みのデータ(例えば、所定のフォーマットの音声ファイル)を詐欺判定用信号Y2に含めてサーバ200に送信する。ユーザUが録音ボタンを1回操作することで録音が開始され、もう1回操作することで終了するように構成してもよいし、録音開始ボタンや録音停止ボタンなどを備えるようにしてもよい。
通話遮断実行部107dは、通話を遮断する。通話遮断実行部107dが通話を遮断するパターンは例えば二つあり、一つは操作検知部107aが、ユーザUによる通話終了の操作を検知した場合であり、一つは受信部101を介して遮断信号Zを受信した場合である。
次に図3A〜図3Cを用いてサーバ200について説明する。図3Aは、サーバ200の構成図である。図3Bは、サーバ200の記憶装置202の機能ブロック図である。図3Cは、サーバ200の制御部204の機能ブロック図である。
サーバ200は、受信部201(第2受信部)と、記憶装置202と、送信部203と、制御部204(特徴抽出部、抽出された特徴を示す情報を所定の条件に対応させて迷惑電話認定用の情報として扱う制御部、比較部)とを少なくとも備える。例えばCPUが、アプリケーションを実行することで図3Cに示す機能が実現される。「アプリケーション」には例えば、サーバ200に予め記憶されたファームウェアやアプリケーション、又は、ネットワーク10を介して新たにダウンロードされたファームウェアやアプリケーションなどが含まれる。
すなわち、サーバ200は、各機能を予め備えていてもよいし、ファームウェアやアプリケーションを別途ダウンロードしインストールすることにより各機能を獲得するような構成であってもよい。
サーバ200では、詐欺判定用信号Yに含まれる音声信号Xから声紋情報が抽出される。「声紋情報」とは、通話者の音声から得られる個人的特徴量であり、音声信号Xを分析することで得られるデータ(例えば、波形データ)である。この声紋情報のことを話者モデルと呼ぶこともある。声紋情報は、通話相手が詐欺師であるか否かの判定などに利用される。
音声信号Xの分析に利用される手法は特に限定されず、例えば、高速フーリエ変換、ケプストラム分析、メルケプストラム分析、線形予測分析など、種々の手法を用いることができる。またこれらを単独で用いたり、適宜組み合わせて用いたりしてもよい。
この実施形態で取り扱う声紋情報は、三種類ある。一つは、詐欺師の声紋情報であると認定済みのものである(以下、声紋情報(済)ともいう)。一つは、詐欺師の声紋情報であると疑われるものとして仮認定されたものである(以下、声紋情報(仮)ともいう)。一つは、声紋情報(済)にも声紋情報(仮)にも認定されていないものである(以下、声紋情報(未)ともいう)。
例えば、声紋情報(未)が、声紋情報(済)と一致する場合には、その電話は詐欺師からの電話であると判定される。声紋情報(未)が、声紋情報(済)と一致しなかった場合であっても声紋情報(仮)と一致し、なおかつ種々の条件を満たすのであれば、その電話は詐欺師からの電話であると判定される。この判定処理は、この後詳細に説明する。
「一致」しているか否かは、例えば、少なくとも2つの声紋情報(例えば、声紋情報(未)と声紋情報(済))を比較して、その類似度を算出することで判定できる。例えば、類似度が100%であれば完全に一致しているし、類似度が90%以上であれば、一致しているものとみなしてもよい。一致・不一致のボーダーラインを示す閾値をあらかじめ記憶装置202に記憶しておくことが望ましい。また、この閾値は適宜変更できることが望ましい。
なお、類似度の算出に利用される手法は特に限定されず、DP法(Dynamic Programming:動的計画法)、VQ法(Vector Quantization:ベクトル量子化)、HMM法(Hidden Markov Model:隠れマルコフモデル)、エルゴーディックHMM法、GMM法(Gaussian Mixture Model:混合ガウス分布モデル)など、種々の手法を用いることができる。またこれらを単独で用いたり、適宜組み合わせて用いたりしてもよい。
受信部201は、通話デバイス100から送信された詐欺判定用信号Yを受信する。
記憶装置202は、例えば、HDDや半導体記憶装置やメモリ装置である。記憶装置202には、サーバ200のIPアドレスやMACアドレスなどが記憶される。また、記憶装置202は、サーバ200以外の機器(例えば、通話デバイス100)の識別子(ユーザIDやIPアドレスやMACアドレスなど)を記憶することができる。これらの情報は互いに対応付けられて記憶されることが望ましい。
図3Bに示すように、記憶装置202は、通信データ記憶部202aと、声紋DB部202bとして少なくとも機能する。
通信データ記憶部202aには、詐欺判定用信号Yが記憶される。通信データ記憶部202aに記憶された詐欺判定用信号Yから声紋情報(未)が抽出される。声紋情報(未)が抽出された後は、所定のタイミングで詐欺判定用信号Y(少なくとも音声信号X)が通信データ記憶部202aから削除されることが望ましい。この削除によって、プライバシー保護の安全性を向上させることができる。
ただし、例えば、数分〜数時間、数週間、数年など所定期間で詐欺判定用信号Yが自動的に削除されるようにしてもよい。
声紋DB部202bには、声紋情報(済)や声紋情報(仮)が記憶される。通信データ記憶部202aや声紋DB部202bを、声紋情報(未)を一時的に記憶するバッファとして使用してもよい。なお、「一時的」に限定せずに、必要に応じて(例えば、削除操作が行われるまで)長期間声紋情報(未)を通信データ記憶部202aや声紋DB部202bに記憶させてもよい。
声紋情報(未)には、詐欺判定用信号Yに含まれた識別子や疑惑情報が対応付けられる。このことによって、制御部107は、声紋情報(未)と詐欺判定用信号Yを対応付けて処理したり、詐欺判定用信号Yを送信した通話デバイス100を声紋情報(未)の識別子から特定したり、声紋情報(未)が詐欺判定用信号Y1又は詐欺判定用信号Y2のどちらの詐欺判定用信号Yから抽出されたものであるかを認識したりすることができる。
声紋情報(済)や声紋情報(仮)は、識別子(ここでは、ユーザID)、日時情報、仮認定か認定済かを示す情報が対応付けられて声紋DB部202bに記憶される。
「日時情報」には、例えば、声紋情報(済)や声紋情報(仮)として声紋DB部202bに記憶されたときの日時や、詐欺判定用信号Yを受信した日時や、声紋情報を抽出した日時や、詐欺判定用信号Yに付加された日時が適用できる。
声紋情報(声紋情報(済)、声紋情報(仮)、声紋情報(未))に少なくともユーザIDが対応付けられることで、ユーザIDをキーとして、声紋DB部202bに記憶された声紋情報を抽出(検索及び識別)することができる。また、詐欺判定用信号Yにも識別子としてユーザIDが含まれているので、同様に、ユーザIDをキーとして、通信データ記憶部202aに記憶された詐欺判定用信号Yを抽出することもできる。
すなわち、通信データ記憶部202aに記憶された詐欺判定用信号YのユーザIDから声紋DB部202bに記憶された声紋情報を抽出でき、逆に、声紋DB部202bに記憶された声紋情報のユーザIDから通信データ記憶部202aに記憶された詐欺判定用信号Yを抽出することもできる。
制御部204は、サーバ200を制御する。制御部204は、例えば、CPU、MPU、種々の制御回路のうちのいずれか1つを少なくとも備える。
図3Cに示すように、制御部204は、音声記憶制御部204aと、声紋情報抽出部204bと、声紋情報記憶制御部204cと、声紋情報照合部204dと、詐欺師認定部204eと、通話遮断指示部204fと、疑惑情報チェック部204gとして少なくとも機能する。
音声記憶制御部204aは、受信部201を介して受信した詐欺判定用信号Yを通信データ記憶部202aに記憶させる。
声紋情報抽出部204b(特徴抽出部)は、通信データ記憶部202aに記憶された詐欺判定用信号Yに含まれる音声信号Xから声紋情報(未)を抽出する。
声紋情報記憶制御部204cは、声紋情報(仮)や声紋情報(済)を上記したユーザIDなどの情報と対応付けて声紋DB部202bに記憶させる。声紋情報記憶制御部204cは、声紋DB部202bに記憶された声紋情報(仮)や声紋情報(済)を更新することができる。「更新」には、例えば、声紋情報(仮)の削除や、日時情報の書き換えや、「仮認定」の情報を「認定済」に書き換える(すなわち、声紋情報(仮)を声紋情報(済)として扱うように更新する)ことなどが含まれる。また、後述するが、声紋情報(未)を声紋情報(済)に書き換えたり、声紋情報(仮)に書き換えたりすることもある。
声紋情報照合部204dは、声紋情報抽出部204bが抽出した声紋情報(未)が、声紋情報(仮)又は声紋情報(済)と一致するか否かを照合する。この照合を話者認識、話者照合、話者識別などと呼ぶこともある。
声紋情報照合部204dによる照合には、例えば、声紋情報に含まれた日時情報の比較や声紋情報(未)が一致した声紋情報(仮)の個数のカウントも含まれる。このカウントは図示しないカウンター回路によって実現でき、声紋情報照合部204dはカウンター回路を制御してカウント値を増減させることができる。
詐欺師認定部204eは、声紋情報照合部204dの照合の結果に応じて、声紋情報(未)が詐欺師のものであるか否かを、「詐欺師のものである疑いがある」ことも含めて認定したり、通話デバイス100の通話相手が詐欺師であるか否かを判定したりする。
詐欺師認定部204eが詐欺師のものであると認定した声紋情報(未)は、認定以後は、声紋情報(済)として扱われる。この扱いの変更は、例えば、詐欺師認定部204eの認定結果に対応させて、上記したように声紋情報記憶制御部204cが声紋情報(未)を声紋情報(済)として声紋DB部202bに記憶(更新)させることで実現できる。
同様に詐欺師認定部204eが詐欺師のものである疑いがあると認定した通話の通話声紋情報(未)は、認定以後は、声紋情報(仮)として扱われる。この扱いの変更は、例えば、声紋情報記憶制御部204cが声紋情報(未)を声紋情報(仮)として声紋DB部202bに記憶させることで実現できる。
なお、声紋情報記憶制御部204cが声紋情報(未)を声紋情報(済)として声紋DB部202bに記憶させる代わりに、声紋情報(未)に対応し声紋DB部202bに登録されている声紋情報(仮)を声紋情報(済)に更新するようにしてもよい。
なぜならば、詐欺師認定部204eが詐欺師のものであると認定した声紋情報(未)と、詐欺師の認定に利用された声紋DB部202bに登録されている声紋情報(仮)とは同一人物の声紋情報であるため、声紋DB部202bに登録されている声紋情報(仮)を声紋情報(済)に更新しても同じ効果を得ることができるからである。この場合、更新後は、通話声紋情報(未)は今後使用しない情報として削除してもよい。
通話遮断指示部204fは、詐欺師認定部204eが「通話相手が詐欺師である」と判定した場合に、該当する通話デバイス100に対して送信部203を介して遮断信号Zを送信する。なお、この判定は「詐欺であるか否かを判定する」ことを目的とするものであるので、この要旨の範囲内であれば、「通話相手が詐欺師であるか否かを判定」しなくとも、例えば「通話デバイス300が詐欺に利用されているか否かを判定」するなど、その判定内容は特に限定されない。
通話遮断指示部204fは、例えば、詐欺判定用信号Yや声紋情報(未)に付加された通話デバイス100の識別子(例えば、IPアドレスやMACアドレス)を使用して遮断信号Zを該当する通話デバイス100に送信することができる。
また、ユーザIDと通話デバイス100のIPアドレス(及び/又はMACアドレス)の対応表を予めサーバ200が記憶しておくことで、詐欺判定用信号Yや声紋情報(未)にユーザIDさえ付加されていれば、IPアドレスやMACアドレスが付加されていなくとも遮断信号Zを該当する通話デバイス100に送信することができる。
疑惑情報チェック部204gは、詐欺判定用信号Yに含まれた疑惑情報を読み取り、認識する。この結果、サーバ200において詐欺判定用信号Y1と詐欺判定用信号Y2とが区別される。
図4は、通話を開始した通話デバイス100の動作を示すフローチャートである。ここでは図1に示した通話デバイス300と通話するものとする。
通話デバイス300から通話デバイス100に着信があり、ユーザUのボタン操作により通話が開始されたことに対応して制御部107は、受信した音声信号X、「情報無」の疑惑情報、識別子(ユーザID)を対応付けた詐欺判定用信号Y(詐欺判定用信号Y1)をサーバ200に送信する(ステップS101)。
通話中に、通話相手が詐欺師ではないかと不信感を覚えたユーザUが通報ボタンを押すことがあり、制御部107はこれを検知する(ステップS102のYes)。
この検知に対応させて制御部107は、「疑惑有」として詐欺判定用信号Y1を詐欺判定用信号Y2に切り替えてサーバ200に送信する(ステップS103)。
通話中に、通報ボタンが押されない場合(ステップS102のNo)、ステップS103の処理は行われず、引き続き詐欺判定用信号Y1がサーバ200に送信される。
通話中にサーバ200から遮断信号Zを受信した場合(ステップS104のYes)、制御部107は、通話デバイス100の通話を強制的に遮断する(ステップS106)。
通話中にサーバ200から遮断信号Zを受信しない場合(ステップS104のNo)、通話が継続される。
ユーザUが通話を終了するボタンを押すことがあり、制御部107はこれを検知する(ステップS105のYes)。この場合も制御部107は、通話デバイス100の通話を終了する(ステップS106)。
ユーザUが通話を終了するボタンを押さない場合(ステップS105のNo)、通話が継続される。
図5は、サーバ200の動作を示すフローチャートである。以下の説明では、通話デバイス100からサーバ200に対して詐欺判定用信号Yが送信されているものとする。
サーバ200は、通話デバイス100から詐欺判定用信号Yを受信することで、詐欺師からの迷惑電話を未然に抑制するための動作を開始する。
制御部204は、この詐欺判定用信号Yに含まれる音声信号Xから声紋情報(未)を抽出する(ステップS201)。次に制御部204は、抽出した声紋情報(未)と一致する(すなわち、同一人物の)声紋情報(済)が記憶装置202に記憶されているか否かを照合する(ステップS202:第1声紋情報照合処理)。
照合の結果、声紋情報(未)が、声紋情報(済)と一致した場合(ステップS203のYes)、制御部204は、通話デバイス100の通話相手が詐欺師であると判定(ステップS204)し、通話デバイス100に対して遮断信号Zを送信する(ステップS205)。結果として、図4のステップS104の処理によって、通話デバイス100において通話が遮断される。
制御部204は、遮断信号Zを送信すると、プライバシー保護の観点から、声紋情報(未)や、この声紋情報(未)に対応する詐欺判定用信号Y(少なくとも、音声信号X)を削除して一連の処理を終了する(ステップS206:プライバシー保護処理)。このとき声紋情報(済)の日時情報を現在のものに更新して、常に最新の日時情報を持つようにすることが望ましい。また、声紋情報(未)を削除せずに、新しい声紋情報(済)として記憶装置202に記憶させ、古い声紋情報(済)の方を削除するようにしてもよい。
ステップS202における照合の結果、声紋情報(未)が、声紋情報(済)と一致しないか、又は記憶装置202に声紋情報(済)が存在しなかった場合(ステップS203のNo)、制御部204は声紋情報(未)が詐欺判定用信号Y1又は詐欺判定用信号Y2のどちらから抽出されたか(すなわち、声紋情報(未)に「疑惑有」と「疑惑無」のどちらの情報が対応付けられているか)をチェックする(ステップS207)。
ステップS207は、詐欺師の判定の信頼性が低下してしまうことを抑制するために行われる。例えば、ユーザUが通話相手を詐欺師と疑っていない「疑惑無」の声紋情報(未)にもかかわらず、これを声紋情報(仮)や声紋情報(済)として認定(記憶装置202に蓄積)してしまうと、この声紋情報(仮)や声紋情報(済)の信頼性が損なわれる恐れがある。ステップS207では、このようなことを抑制する。
声紋情報(未)が詐欺判定用信号Y1から抽出されたものであり、「疑惑無」である場合(ステップS207のNo)、制御部204は、ステップS206に進んだ後、一連の処理を終了し、通話デバイス100から引き続き詐欺判定用信号Yを受信している場合には、ステップS201からの処理を繰り返す(このあと説明するステップS210やステップ211のYesの場合も同様)。
声紋情報(未)が詐欺判定用信号Y2から抽出されたものであり、「疑惑有」である場合(ステップS207のYes)、制御部204は、第2声紋情報照合処理を行う(ステップS208)。
「第2声紋情報照合処理」は、声紋情報(済)がサーバ200に十分に蓄積されていなくても、ユーザUが振り込め詐欺の被害にあうことを、声紋情報(仮)を用いて未然に抑制することを目的として行うものであり、記憶装置202に記憶された声紋情報(仮)と声紋情報(未)とを照合する。
声紋情報(未)が、所定数以上(例えば、1以上)の声紋情報(仮)と一致しないか、又は記憶装置202に声紋情報(仮)が存在しなかった場合(ステップS209のNo)、制御部204は、声紋情報(未)を声紋情報(仮)として記憶装置202に記憶させて(ステップS210)からステップS206に進む。
このように処理が流れるシチュエーションとしては、例えば、ユーザUが、通話相手が詐欺師であると疑い、通報ボタンや録音ボタンを押したが、記憶装置202には、声紋情報(済)も声紋情報(仮)も十分に蓄積されていない場合が挙げられる。この場合、ユーザUが通話相手が詐欺師であると疑っている状況なので、声紋情報(未)を声紋情報(仮)として登録する。このことによって、ユーザUが、通話相手を詐欺師であると疑った声紋情報(未)が声紋情報(仮)として記憶装置202に蓄積されていく。
なおステップS209の「所定数」は、誤認識の可能性を抑えるために設定されるものであり、1つ以上であれば特に限定されず、2つ以上でもよい。また、任意に設定できることが望ましい。
ステップS209において、声紋情報(未)と一致する声紋情報(仮)が記憶装置202に所定数以上含まれている場合(ステップS209のYes)、制御部204は、声紋情報(未)のユーザIDと声紋情報(仮)のユーザIDが一致するか否かを判定する。
声紋情報(未)のユーザIDと声紋情報(仮)のユーザIDが一致する場合(ステップS211のYes)、制御部204は、ステップS206に進んだ後一連の処理を終了する。
ステップS211について具体例を挙げて詳細に説明する。以下、例えば、ステップS209に示した「所定数以上」という条件が「1以上」でありステップS209において、声紋情報(未)と1つの声紋情報(仮)が一致したとする。この場合、ステップS211においてユーザIDが一致したということは、この声紋情報(未)と声紋情報(仮)は、2つとも同一のユーザU(例えばユーザU1)が送信した詐欺判定用信号Yから抽出されたものであることを意味する。
この声紋情報(未)と声紋情報(仮)が一致したことをもって、通話相手が詐欺師であると認定してしまうと、誤認識に繋がる恐れがある。例えば、詐欺師ではないユーザU2との通話中にユーザU1が通報ボタンを押してしまった場合、かつこのようなことが所定回(例えば2回)行われることで、詐欺師ではないユーザU2が詐欺師であると判定されてしまう恐れがある(誤認識されてしまう)。
このようなことを抑制するために、この実施形態では、声紋情報(未)と声紋情報(仮)のユーザIDが一致した場合(ステップS211のYes)、すなわち、声紋情報(未)と声紋情報(仮)が、共に同一のユーザUから送信された詐欺判定用信号Yから抽出されたものであった場合、ステップS206に進んだ後一連の処理を終了する。この結果、誤認識のリスクを低減できる。
なお、ステップS211において、声紋情報(未)が2以上の声紋情報(仮)と一致する可能性もある。この場合、すべてのユーザIDが同じであったり、一致したうちの90%以上が同じユーザIDであったりした場合にステップS211のYesの処理に進み、そうでない場合には、ユーザIDが一致しないものとしてステップS211のNoに進むように構成することができる。
ただし、この判定のボーダーライン(閾値)は特に限定されない。また、任意に設定できることが望ましい。
声紋情報(未)のユーザIDと声紋情報(仮)のユーザIDが一致しなかった場合(ステップS211のNo)、制御部204は、声紋情報(仮)の日時情報が所定期間内(例えば、現在〜過去数時間以内(すなわち、所定時間内)、過去数か月以内、1年以内など)であるか否かを照合する。この判定のボーダーラインである「所定期間」は特に限定されない。また、任意に設定できることが望ましい。
「所定期間」を勘案することは、声紋情報(仮)の鮮度を勘案することであり、鮮度を高めることで声紋情報(仮)の信頼性を向上させることができる(声紋情報(済)や声紋情報(仮)も同様)。
声紋情報(仮)が所定期間内に登録されたものではない場合(ステップS212のNo)、ステップS210に進む。
声紋情報(仮)が所定期間内に登録されたものであった場合(ステップS212のYes)、制御部204は、通話デバイス100の通話相手が詐欺師であると判定する。制御部204は、声紋情報(未)が詐欺師の声紋情報であるものと認定し、新たな声紋情報(済)として記憶装置202に記憶させる(ステップS213)。声紋情報(未)を声紋情報(済)として記憶させたのでこの声紋情報(未)と対応する声紋情報(仮)は記憶装置202から削除することができる。声紋情報(仮)の方を新たな声紋情報(済)として記憶装置202に記憶させて、声紋情報(未)を削除するようにしてもよい。
なお、ステップS209において、声紋情報(未)が2以上の声紋情報(仮)と一致する場合(ステップS209のYes)、ステップS212においては、すべての声紋情報(仮)の日時情報が所定期間内であったり、一致したうちの90%以上の声紋情報(仮)の日時情報が所定期間内であったりした場合にステップS212のYesの処理に進み、そうでない場合には、日時情報が所定期間内ではないものとしてステップS212のNoに進むように構成することができる。この判定のボーダーライン(閾値)は特に限定されない。また、任意に設定できることが望ましい。
ステップS213の次に制御部204は、通話デバイス100に対して遮断信号Zを送信して(ステップS205)、ステップS206に進んだ後一連の処理を終了する。
なお、ステップS207の処理を他のステップ(例えば、ステップS209〜S213などのうちの少なくとも1つ)の処理の前後に行うようにしてもよい。また、ステップS213における「通話デバイス100の通話相手が詐欺師であると判定する」処理と、同ステップS213の「声紋情報(未)が詐欺師の声紋情報であるものと認定する」処理の間にステップS207の処理を行ってもよい。
この場合、ステップS207の処理によって「通話デバイス100の通話相手が詐欺師であると判定する」処理は行われるが「声紋情報(未)が詐欺師の声紋情報であるものと認定する」処理は行われない(逆でもよい)など様々な態様が得られる。具体例を挙げれば、「疑惑無」の声紋情報(未)と声紋情報(仮)とを照合させ(ステップS208)、ステップS209のYes,S211のNo、S212のYesを経て、ステップS213の「通話デバイス100の通話相手が詐欺師であると判定する」処理だけを行い、ステップS205に進み、遮断信号Zが通話デバイス100に送信されるような状況もあり得る。
本発明の迷惑電話抑制システム1は、音声信号Xを受信する受信部101と、ユーザUの操作を受け付ける入力装置103と、前記操作を受け付けたことに対応して受信した前記音声信号X(詐欺判定用信号Y)を送信する送信部105とを備える通話デバイス100を具備し、さらに、前記送信部105が送信した音声信号X(詐欺判定用信号Y)を受信する受信部201と、前記受信部201が受信した前記音声信号X(詐欺判定用信号Y)から特徴(声紋情報(未))を抽出する声紋情報抽出部204bと、抽出された特徴を示す声紋情報(未)を所定の条件に対応させて迷惑電話認定用の声紋情報(声紋情報(仮)や声紋情報(済))として扱う詐欺師認定部204eとを備えるサーバ200を具備することを特徴とする。
本発明の迷惑電話抑制システム1は、複数の通話デバイス100から音声信号X(詐欺判定用信号Y)を送信することができるので、声紋情報(声紋情報(未)、声紋情報(仮)、声紋情報(済))を効果的に(例えば、効率良く)得ることができる。
また、本発明の迷惑電話抑制システム1は、サーバ200において、1以上の音声信号X(詐欺判定用信号Y)を収集し、詐欺師のものであるか否かを「詐欺師の疑い」も含めて認定を行い、認定された声紋情報(声紋情報(仮)、声紋情報(済))を蓄積していく。そして、この蓄積された声紋情報と、通話中に受信した通話相手の音声から得られる声紋情報(未)とを照合することによって、通話相手が詐欺師か否かを判定し、詐欺師であると判定した場合には遮断信号Zを送信する。
本発明の迷惑電話抑制システム1では、通話を遮断する判定と、通話相手が詐欺師か否かの判定に使用される声紋情報(声紋情報(仮)又は声紋情報(済))の蓄積とをサーバ200で行うことができ、サーバ200によって、ユーザが金銭的な被害にあったり、迷惑に感じたりする可能性がある迷惑電話を未然に抑制することが可能となる。
本発明の迷惑電話抑制システム1では、例えば、ユーザU1が送信した音声信号X(詐欺判定用信号Y)から得られた声紋情報(声紋情報(仮)又は声紋情報(済))が蓄積され、この蓄積された声紋情報(声紋情報(仮)又は声紋情報(済))を、別のユーザU2の通話相手が詐欺師か否かの判定に利用することができる。
すなわち、本発明の迷惑電話抑制システム1では、通話デバイス100の利用者同士が互いに声紋情報(声紋情報(仮)又は声紋情報(済))を共有することができる。
この結果、ユーザが金銭的な被害にあったり、迷惑に感じたりする可能性がある迷惑電話を未然に抑制することが可能となる。
本発明の迷惑電話抑制システム1では、短い時間の録音で、会話に詐欺の疑いのあるキーワードが必ずしも含まれなくても、詐欺師の声紋情報であると認定することができる。そして、詐欺師だと認定するための声紋情報(声紋情報(仮)又は声紋情報(済))の数を増やせば増やすほど認定精度を高めることができる。
また、本発明の迷惑電話抑制システム1では、前記条件として、前記特徴(声紋情報(未))が一定以上類似する音声信号X(詐欺判定用信号Y)が、2以上の前記通話デバイス100から送信されたことを含むことを特徴とする。このことにより、誤認識の可能性を抑えることができる。
前記条件として、所定期間内に前記2以上の通話デバイス100から前記音声信号X(詐欺判定用信号Y)が送信されたか否かを含むことを特徴とする。このことにより、声紋情報の鮮度が勘案されて声紋情報の信頼度を向上させることができる。
この実施形態の通話デバイス100は、前記受信部201で受信した詐欺判定用信号Yから抽出された声紋情報(未)と前記迷惑電話認定用の声紋情報(声紋情報(仮)又は声紋情報(済))との比較の結果に対応して通話を遮る通話遮断実行部107dをさらに備えることを特徴とする。このことにより詐欺師からの電話の疑いがある通話を自動的に遮ることができる。
この実施形態の通話デバイス100は、音声信号Xを受信する受信部101と、受信した前記音声信号Xから抽出された声紋情報(声紋情報(未)、声紋情報(仮)、声紋情報(済))に対応して詐欺と認定された通話を遮る制御部107とを備えることを特徴とする。このことにより詐欺師からの電話の疑いがある通話を自動的に遮ることができる。
また、この実施形態の通話デバイス100は、詐欺判定用信号Yから抽出された声紋情報(未)と声紋情報(済)(又は声紋情報(仮))とを比較した結果として送信された遮断信号Zを受信する受信部101をさらに備え、前記制御部107は、前記受信部101が受信した前記遮断信号Zに対応させて前記通話を遮ることを特徴とする。
また、この実施形態の通話デバイス100は、ユーザUの操作を受け付ける入力装置103をさらに備え、前記制御部107は、前記入力装置103が前記操作を受け付けたことに対応して、受信した前記音声信号Xをサーバ200に送信することを特徴とする。このことにより、サーバ200側で、音声信号Xから抽出された声紋情報(未)が詐欺師のものであるか否かの認定を行うこと及び通話デバイス100の通話相手が詐欺師であるか否かの判定を行うことが可能となる。
また、本発明の迷惑電話抑制システム1は、電話番号が非通知でかかってくる迷惑電話に対しても有効に機能する。
(変形例1)
図6A〜図6C及び図7を参照して迷惑電話抑制システム1の変形例である迷惑電話抑制システム1aについて説明する。図6A〜図6Cは、変形例1に係るサーバの構成図である。図7は、変形例1に係るサーバの動作を示すフローチャートである。以下、変形例1について説明するが第1の実施形態と同一の構成には同一の符号を付して重複する説明を省略する。
この変形例は、図5のステップS208〜S212などの変形であり、声紋情報(未)と、声紋情報(仮)とを照合する代わりに、詐欺判定用信号Yに含まれる音声信号Xに詐欺師の認定に足りる所定のキーワードが所定数以上含まれているか否かを判定することで、詐欺師の声紋情報か否かの認定を行うものである。
図6Bに示すようにこの迷惑電話抑制システム1aのサーバ200の記憶装置202は、辞書DB部202cをさらに備える。また、図6Cに示すように、制御部204は、キーワード抽出部204h及び詐欺師認定部204iをさらに備える。
迷惑電話抑制システム1aのその他の構成は、第1の実施形態の迷惑電話抑制システム1と同じであり、対応する構成には迷惑電話抑制システム1と同一の符号を付けて詳細な説明は省略する。
詐欺判定用信号Yとこの詐欺判定用信号Yに含まれる音声信号Xから抽出された声紋情報(未)などは互いに対応付けられて記憶装置202に記憶される。
すなわち、声紋DB部202bに記憶された声紋情報(未)から通信データ記憶部202aに記憶された対応する詐欺判定用信号Yを検索することができ、その逆に、通信データ記憶部202aに記憶された詐欺判定用信号Yに基づいてこの詐欺判定用信号Yに含まる音声信号Xから抽出された声紋情報(未)を検索することができる。同様に声紋情報(仮)や声紋情報(済)も検索可能である。
詐欺判定用信号Yと声紋情報(未)などの対応付けは、例えば、共通する識別子をそれぞれのデータに付与することで実現できる。この「識別子」は特に限定されず、新たに付与してもよいし、詐欺判定用信号Yに含まれるユーザID、IPアドレス、MACアドレスなどのうちの少なくとも1つを用いてもよい。
辞書DB部202cには、声紋情報(未)を詐欺師の声紋情報であると認定したり通話相手を詐欺師と判定したりするために使用される様々な所定のキーワードが格納される。所定のキーワード(以下、たんに「キーワード」ともいう)としては、例えば「おれ」、「おれおれ」、「振り込め」、「振り込み」、「示談」、「事故」、「銀行」、「助けて」、「今日中」、「警察」などがある。辞書DB部202cへのキーワードの格納形式は、特に限定されず、例えば、テキストデータ形式や音声データ(波形データ)形式を採用することができる。
キーワードは変更が可能で有ることが望ましく、例えば、表示装置106に辞書内容が表示され、入力装置103を用いてユーザUが自分専用の辞書を作成・編集できるように構成してもよい。キーワードは単語に限定されず所定の長さの文章(文節)でもよい。
キーワード抽出部204hは、詐欺判定用信号Yに含まれる音声信号X中の単語(特徴)を抽出する。この抽出手法は特に限定されず、音声信号Xを辞書DB部202cに記憶された音声データ(波形データ)と照合して、音声データ(波形データ)形式で抽出するようにしたり、抽出した音声データをさらにテキストデータ形式として抽出するようにしたりしてもよい。
なお、抽出は単語単位に限定されず、辞書DB部202cに記憶されたキーワードと対応させて、文章(文節)単位で抽出するようにしてもよい。
声紋情報照合部204dは、キーワード抽出部204hが抽出したデータの数をカウントする。この結果、詐欺判定用信号Yに含まれる音声信号Xにキーワードと一致する単語がいくつ含まれていたのかを識別することができる。
詐欺師認定部204iは、詐欺師認定部204eと対応する機能を有する。詐欺師認定部204iは、キーワードと一致する単語が一定数を超えた(すなわち一致数が所定の閾値を超えた)音声信号Xに対応する声紋情報(未)を詐欺師の声紋情報であると認定する。また、詐欺師認定部204iは、この音声信号Xに対応する通話相手を詐欺師と判定する。
なお、「一定数」は特に限定されず、例えば1以上であればよく、この判定のボーダーラインを意味する閾値は適宜変更が可能であることが望ましい。
図7は、変形例1に係る迷惑電話抑制システム1aのサーバ200の動作を示すフローチャートである。以下の説明では、図5に示した迷惑電話抑制システム1のサーバ200の動作と同様の部分には同じ符号を付して詳細な説明は省略する。また、ここでは図5のステップS203のNoからの処理を説明する。
変形例1に係る迷惑電話抑制システム1aのサーバ200は、図7に示すように、図5に示したステップS208〜S212に替わるステップS301及びS302の処理を行う。
すなわち、ステップS207のYesの後、制御部204は、声紋情報(未)と対応する詐欺判定用信号Yを記憶装置202から検索し、ヒットした詐欺判定用信号Yに含まれる音声信号Xから記憶装置202に記憶されたキーワードを抽出する(ステップS301)。
キーワードが一定数以上音声信号Xに含まれていなかった場合(ステップS302のNo)、制御部204は、ステップS206の処理に進んだ後、一連の処理を終了する。
キーワードが一定数以上音声信号Xに含まれていた場合(ステップS302のYes)、制御部204は、通話デバイス100の通話相手が詐欺師であると判定する。制御部204は、ここでは図示を省略したステップS201(図5参照)で抽出した声紋情報(未)を詐欺師の声紋情報であるものと認定し、新たな声紋情報(済)として記憶装置202に記憶させる(ステップS213)。
制御部204は、通話デバイス100に対して遮断信号Zを送信して(ステップS205)、ステップS206の処理に進んだ後、一連の処理を終了する。
本発明の迷惑電話抑制システム1aでは、声紋情報(未)が詐欺師の声紋情報であるか否かの認定に利用される条件として、音声信号Xに所定のキーワードが一定数以上存在するか否かを含む。
このように、キーワードを勘案することによって、サーバ200が記憶する声紋情報(済)の数が少ない(例えば、1件)場合でも詐欺師の声紋情報であると認定することができ、通話デバイス100に遮断信号Zを送信することができる。
(変形例2)
本発明は、さらに様々な変形が可能である。例えば、迷惑電話抑制システム1と迷惑電話抑制システム1aの構成及び機能を組み合わせてもよい。
すなわち、図5に示したように声紋情報(未)が詐欺師の声紋情報であるか否かを認定するために、声紋情報(済)や声紋情報(仮)と照合した上で、図7に示したように、さらにキーワードを勘案して通話デバイス100の通話相手が詐欺師であるか否かを判定したり、声紋情報(未)を詐欺師の声紋情報であるものと認定したりするようにしてもよい。
この動作を、図8を用いて説明する。図8は、変形例2に係るサーバ200の動作を示すフローチャートである。以下の説明では、図5に示した迷惑電話抑制システム1や図7に示した迷惑電話抑制システム1aのサーバ200の動作と同様の部分には同じ符号を付して詳細な説明は省略する。
図8に示すように、図5に示したステップS212のYesと、ステップS213の間に図7に示したステップS301及びS302と対応するステップS401及びステップS402の処理を行ってもよい。
この場合、制御部204は、図5のステップS208で照合された声紋情報(未)及び声紋情報(仮)に対応する詐欺判定用信号Yを記憶装置202から検索する。この結果、声紋情報(未)に対応する詐欺判定用信号Y(以下、詐欺判定用信号(未)ともいう)及び声紋情報(仮)に対応する詐欺判定用信号Y(以下、詐欺判定用信号(仮)ともいう)がヒットする。
制御部204は、ヒットした詐欺判定用信号(未)に含まれる音声信号X(以下、音声信号X(未)ともいう)及び詐欺判定用信号(仮)に含まれる音声信号X(以下、音声信号X(仮)ともいう)から記憶装置202に記憶されたキーワードを抽出する(ステップS401)。
音声信号X(未)及び音声信号X(未)のどちらにも所定のキーワードが一定数以上含まれていなかった場合(ステップS402のNo)、制御部204は、ステップS206に進んだ後、一連の処理を終了する。なお、一連の処理を終了する前に図5に示したステップS210の処理に進み、声紋情報(未)を声紋情報(仮)に更新してもよい。
音声信号X(未)及び音声信号X(仮)の両方又はどちらか一方に所定のキーワードが一定数以上含まれていた場合(ステップS402のYes)、制御部204は、通話デバイス100の通話相手が詐欺師であると判定する。制御部204は、ここでは図示を省略したステップS201(図5参照)で抽出した声紋情報(未)が詐欺師の声紋情報であるものと認定し、新たな声紋情報(済)として記憶装置202に記憶させる(ステップS213)。
制御部204は、通話デバイス100に対して遮断信号Zを送信して(ステップS205)、ステップS206に進んだ後、一連の処理を終了する。
この変形例2に係るサーバ200では、声紋情報(未)が、詐欺師の声紋情報であるか否かの認定及び通話デバイス100の通話相手が詐欺師であるか否かの判定(ステップS213)に、声紋情報(仮)との一致数(図5のステップS209)や、ユーザIDが一致するか否か(図5のステップS211)や、日時情報が所定期間内の声紋情報(仮)との一致数(図5のステップS212)や、所定のキーワードが一定数以上含まれているか否か(図8のステップS402)などを勘案する。
例えば、記憶装置202に記憶された声紋情報(仮)や声紋情報(済)の数が少なく「声紋情報(未)が、詐欺師の声紋情報であるか否かの認定」や「通話デバイス100の通話相手が詐欺師であるか否かの判定」の精度が荒くなる可能性があっても、所定のキーワードが一定数以上含まれるか否かを勘案することによって認定や判定の精度を上げることができる。すなわち、この変形例2に係るサーバ200では、少ないサンプル数で精度の高い認定(声紋情報(未)が、詐欺師の声紋情報であるか否かの認定)及び判定(通話デバイス100の通話相手が詐欺師であるか否かの判定)が可能となる。
なお、この変形例で説明したステップS401及びステップS402の処理を行うタイミングは、ステップS212の次に限定されず、例えば、図5の各ステップ(例えば、ステップS209〜S213などのうちの少なくとも1つ)の処理の前後に行うようにしてもよい。
(変形例3)
本発明はさらに変形例が可能である。例えば、変形例2に係るサーバ200が備える所定のキーワード抽出の機能を通話デバイス100が備えるように構成してもよい。
この場合、図2Cに示す通話デバイス100の制御部107は、受信部101を介して受信した音声信号Xから声紋情報(未)を抽出し、この声紋情報(未)内に辞書DB部202cに記憶された所定のキーワードが含まれているか否かを判定する。さらに好適な例では、所定のキーワードが含まれているか否かだけではなく、このキーワードが一定数以上含まれているか否かも勘案する。
そして、所定のキーワードが含まれていた場合、制御部107は、ユーザUが通報ボタンを操作しなくても詐欺判定用信号Y1から詐欺判定用信号Y2に切り替わってサーバ200に送信される。このサーバ200は、第1の実施形態のものでも変形例1又は2のものでもいずれでもよい。
(変形例4)
本発明はさらに変形例が可能である。例えば、通話デバイス100がサーバ200に送信する詐欺判定用信号Yは、詐欺判定用信号Y2だけでもよい。詳述すると、会話が開始されても詐欺判定用信号Y1を自動的にサーバ200に送信せず、ユーザUが通報ボタンを押すことで、詐欺判定用信号Y2をサーバ200に送信するように構成してもよい。この場合、詐欺判定用信号Y1は不要である。
ユーザUが通報ボタンを押した場合に詐欺判定用信号Y2をサーバ200に送信することによって、サーバ200に送信される音声信号XをユーザUの裁量で制限することができるので、プライバシーの保護性を向上させることができる。
また、自動的に送信する場合に比べて、サーバ200へのデータ送信量を低減させやすくなり、ネットワーク帯域の節約や、サーバ200の負荷の低減や、容量の節約などの効果を得ることができる。
なお、この変形例4の通話デバイス100が、変形例2に係るサーバ200が備える所定のキーワード抽出の機能を備えるように構成してもよい。この場合の制御部107は、前記音声信号Xに所定のキーワードが存在した場合に前記音声信号Xを含む詐欺判定用信号Y2をサーバ200に自動的に送信することを特徴とする。このように構成された通話デバイス100によれば、所定のキーワードの有無によって、音声信号X(詐欺判定用信号Y2)がサーバ200に送信されるので、ユーザUが詐欺師からの電話だと気づいていない場合であっても、サーバ200に詐欺師の可能性の高い音声信号Xを提供することができる。
ただし、この変形例4のように所定のキーワードの有無で音声信号Xの送信を判断する場合は、第1の実施形態などのようにユーザUが判断して通報ボタンを押すような場合に比べて詐欺師からの電話である可能性(精度)の的中率が落ちてしまい、このような音声信号Xから多くの声紋情報(仮)が記憶されることで、例えば、図5に示したステップS208〜S212などの処理において、誤認識率が高まってしまう可能性がある。
そこで、この場合には、例えば、図5のステップS208〜S212の各判定基準を厳しくして、誤認識率が高くなってしまうことを抑制することが望ましい。具体的には、例えば、声紋情報(未)が、第1の実施形態の場合よりも多くの声紋情報(仮)と一致すること(ステップS209)及び所定期間をより短いものにすること(ステップS212)で判定基準を厳しくすることが望ましい。
(第2の実施形態)
図9A〜図9Cを参照して本発明の第2の実施形態である迷惑電話抑制装置100A(以下、通話デバイス100Aともいう)の構成について説明する。通話デバイス100Aは、迷惑電話抑制システム1と同様に振り込め詐欺(オレオレ詐欺とも呼ばれる)、セールス、アンケート、不動産投資の案内など、ユーザUが金銭的な被害にあったり、迷惑に感じたりする可能性がある電話を未然に抑制することが可能な装置である。
ここでは一例として、通話デバイス100Aを振り込め詐欺に対する装置として説明する。
通話デバイス100Aは、図1などに示した通話デバイス100と対応しており、通話デバイス100と同様の構成・機能を少なくとも一部備える。さらに、通話デバイス100Aは、図3A〜図3Cなどに示したサーバ200と同様の構成を少なくとも一部備えている。通話デバイス100Aは、以下で説明していない構成や機能についても通話デバイス100やサーバ200などと対応する構成や機能を有することができる。
図9Aに示すように、通話デバイス100Aは、受信部401と、記憶装置402と、入力装置403と、マイク/スピーカ404と、送信部405と、表示装置406と、制御部407とを少なくとも備える。例えばCPUが、アプリケーションを実行することで図9Cに示す機能が実現される。
「アプリケーション」には例えば、通話デバイス100Aに予め記憶されたファームウェアやアプリケーション、又は、ネットワーク10を介して新たにダウンロードされたファームウェアやアプリケーションなどが含まれる。
すなわち、通話デバイス100Aは、各機能を予め備えていてもよいし、ファームウェアやアプリケーションを別途ダウンロードしインストールすることにより各機能を獲得するような構成であってもよい。
入力装置403、マイク/スピーカ404、表示装置406は、図2Aに示した入力装置103、マイク/スピーカ104、表示装置106とそれぞれ対応しここでは、詳細な説明は省略する。
受信部401は、サーバ200から送信される声紋情報(済)を受信したり、音声信号Xを受信したりする。
記憶装置402は、図9Bに示すように、アプリケーション記憶部402aと、通信データ記憶部402b、声紋DB部402cとして少なくとも機能する。
アプリケーション記憶部402aには、アプリケーションが格納される。
通信データ記憶部402bには、通話相手の音声(音声信号X)が録音(記録)される。
声紋DB部402cには、受信部401で受信した声紋情報(済)が記憶される。声紋DB部402cに記憶される声紋情報(済)は、通話デバイス100Aの通話相手が詐欺師であるか否かを判定するために使用される。声紋DB部402cは、音声信号Xから抽出された声紋情報(未)を記憶することもできる。
送信部405は、図2Aに示した送信部105と対応し、ユーザUの音声を通話先の通話デバイス(例えば、通話デバイス300)に送信する。
制御部407は、図2Cに示した制御部107や図3Cに示した制御部204などと対応し、通話デバイス100Aを制御する。制御部407は、例えば、CPU、MPU、種々の制御回路のうちのいずれか1つを少なくとも備える。
図9Cに示すように、制御部407は、操作検知部407aと、通話実行部407bと、音声記憶制御部407cと、声紋情報抽出部407dと、声紋情報記憶制御部407eと、声紋情報照合部407fと、詐欺師認定部407gと、通話遮断部407hとして少なくとも機能する。
操作検知部407aは、入力装置403が受け付けたユーザUの操作を検知する。
通話実行部407bは、図2Cに示した通話実行部107bと対応し、通話デバイス100Aによる通話を制御する。
音声記憶制御部407cは、図2Cに示した情報送信処理部107cと対応し、例えば、図9Bに示した通信データ記憶部402bへの音声信号Xの録音を制御する。
声紋情報抽出部407dは、図3Cに示した声紋情報抽出部204bと対応し、通信データ記憶部402bに記憶された音声信号Xから声紋情報(未)を抽出する。
声紋情報記憶制御部407eは、図3Cに示した声紋情報記憶制御部204cと対応し、受信した声紋情報(済)を図9Bに示した声紋DB部402cに記憶させる。
声紋情報照合部407fは、図3Cに示した声紋情報照合部204dと対応し、声紋情報抽出部405dが抽出した声紋情報(未)と、声紋DB部402cに記憶された声紋情報(済)とを照合する。
詐欺師認定部407gは、図3Cに示した詐欺師認定部204eと対応し、声紋情報照合部204dの照合の結果に応じて、通話デバイス100の通話相手が詐欺師であるか否かを判定する。
通話遮断部407hは、図2Cに示した通話遮断実行部107d及び図3Cに示した通話遮断指示部204fに対応し、詐欺師認定部407gの判定の結果に応じて通話を強制的に遮断する。また、通話遮断部407hは、操作検知部407aが、通話終了の操作を検知した場合にも通話を遮断する。
図10は、通話を開始した通話デバイス100Aの動作を示すフローチャートである。
ここでは図1に示した通話デバイス300と通話するものとする。また、予め受信部401を介して声紋情報(済)を受信しており、この声紋情報(済)は、声紋DB部402cに記憶されている。
通話デバイス300から通話デバイス100に着信があり、ユーザUのボタン操作により通話が開始されたことに対応して制御部407は、受信した音声信号Xを記憶装置402に自動的に記録する。この結果、通話音声が録音される(ステップS501)。なお、この録音処理は自動的に行わずに、例えばユーザUのボタン操作によって実行されるようにしてもよい。
制御部407は、録音された音声信号Xから声紋情報(未)を抽出(ステップS502)して、声紋DB部402cに記憶されている声紋情報(済)と一致するか照合する。
照合の結果、声紋情報(未)と声紋情報(済)が一致した場合(ステップS503のYes)、制御部407は、通話を強制的に遮断する(ステップS505)。声紋情報(未)と声紋情報(済)が一致しなかった場合(ステップS503のNo)には、強制的な遮断は行われず通話が継続される。
ユーザUが通話を終了するボタンを押すことがあり、制御部407がこれを検知した場合(ステップS504のYes)、制御部407は、通話デバイス100Aの通話を終了する(ステップS505)。
ユーザUが通話を終了するボタンを押さない場合(ステップS504のNo)、通話が継続される。
以上のように、この第2の実施形態の通話デバイス100Aは、音声信号Xを受信する受信部401と、受信した前記音声信号Xから抽出された声紋情報(未)に対応して詐欺と認定された通話を遮る制御部407とを備えることを特徴とする。
また、通話デバイス100Aでは、前記受信部401で受信した音声信号Xから特徴(声紋情報(未))を抽出する声紋情報抽出部407dと、抽出した前記声紋情報(未)と迷惑電話認定用の声紋情報(済)とを比較する声紋情報照合部407fとをさらに備え、前記制御部407は、前記比較の結果に対応させて通話を遮ることを特徴とする。このような構成により、ユーザUが金銭的な被害にあったり、迷惑に感じたりする可能性がある電話を未然に抑制することが可能となる
(変形例5)
通話デバイス100Aも様々な変形が可能である。例えば、図10のステップS503のNoの次に、詐欺判定用信号Yをサーバ200に送信する処理を備えるようにしてもよい。この詐欺判定用信号には、通話デバイス100Aが抽出した声紋情報(未)を含めてもよい。声紋情報(未)を含めることで、サーバ200で声紋を抽出するための負荷がかからなくなる。ここで送信される詐欺判定用信号Yは、詐欺判定用信号Y1でもよいし、詐欺判定用信号Y2でもよい。
このように予め記憶しておいた声紋情報(済)に基づいて、通話デバイス100A単体で、通話相手が詐欺師であるか否かを判定(ステップS503)し、この判定が否であった場合(ステップS503のNo)は、詐欺判定用信号Yをサーバ200に送信して、サーバ200側で通話デバイス100の通話相手が詐欺師であるか否かの判定を行うようにしてもよい。サーバ200側での処理は、上記した各実施形態や変形例と同様であり、ここでは説明を省略する。
仮にサーバ200において通話デバイス100Aの通話相手が詐欺師であると判定された場合には、遮断信号Zが通話デバイス100Aに送信されて、通話が遮断される。
このように、まず通話デバイス100A単体で、通話相手が詐欺師であるか否かを判定し、その後サーバ200でもこの判定を行うことによって詐欺師か否かの判定精度をさらに向上させることができる。
(第3の実施形態)
次に図11を用いて本発明の第3の実施形態の迷惑電話抑制システム1の構成について説明する。
第3の実施形態の迷惑電話抑制システム1は、固定電話100bに接続された通話デバイス100cをさらに備える。
通話デバイス100cは、通話デバイス100などが備える上記した各機能を後付けの装置として実現する。固定電話100bと通話デバイス100cの接続方法は特に限定されず、有線方式、無線方式又はこれらを組み合わせて接続することができる。なお、通話デバイス100cは、上記した各機能を持たない通話デバイス100(例えば、アプリケーションが入っていないスマートホンや端末など)に接続されることで、このような通話デバイス100に上記した各機能を提供するような装置でもよい。
通話デバイス100cは、固定電話100bと通話相手の機器(例えば、通話デバイス300)との間に配置され、音声信号X、詐欺判定用信号Y、遮断信号Zなどを中継する中継機として機能する。また、ここでは図示を省略したが、ユーザUの音声を中継することもできる。
図12は、通話デバイス100cの構成図である。通話デバイス100cは、受信部101cと、送信部102cと、記憶装置103cと、制御部104cとを少なくとも備える。
受信部101cは、固定電話100bの通話相手から送信された音声信号Xや、固定電話100bが通話相手に送信したユーザUの音声や、サーバ200から送信された遮断信号Zを受信する。
送信部102cは、受信した音声信号Xを固定電話100bに対して送信(転送や中継ともいう)する。同様に、送信部102cは、固定電話100bから受信したユーザUの音声を通話先の通話デバイスに送信する。
さらに送信部102cは、詐欺判定用信号Yをサーバ200に送信することや受信した遮断信号Zを固定電話100bに送信することができる。遮断信号Zを固定電話100bに送信することによって、固定電話100bは通話を遮断する。ただし、遮断信号Zを固定電話100bに送信せずに、通話デバイス100c(制御部104c)自身が通話相手との通話を遮断することによって、結果的に固定電話100bでも通話が遮断されるように構成することもできる。
記憶装置103cは、例えば、図2Bに示した第1の実施形態の記憶装置102と対応し、同様の機能を備える。記憶装置103cは、第1の実施形態以外の実施形態の各記憶装置(例えば、記憶装置202など)の構成や機能を備えてもよい。
制御部104cは、例えば、図2Cに示した第1の実施形態の制御部107と対応し、同様の機能を備える。制御部104cは、第1の実施形態以外の実施形態の各制御部(例えば、制御部204など)の構成や機能を備えてもよい。
(第4の実施形態)
第4の実施形態では、ユーザUに迷惑電話であることを報知する実施形態ついて説明する。以下、第4実施形態に係る迷惑電話抑制システム(情報処理システム)1について説明するが、第1〜第3の実施形態と異なる構成について説明し、重複する説明を省略する。
図13Aは、第4の実施形態に係る通話デバイス100の構成図である。図13Aに示すように、第4の実施形態に係る通話デバイス100は、受信部101(第1受信部)と、記憶装置102と、入力装置103(受付部)と、マイク/スピーカ104と、送信部105と、表示装置106と、制御部107と、振動装置108(振動部)とを少なくとも備える。
振動装置108は、例えば、小型モータであり、通話デバイス100に振動(バイブレーション)を発生させる。振動装置108は、報知部107eからの指示に基づいて、通話デバイス100を振動させる。なお、通話デバイス100に振動を発生させることができれば、振動装置108は、小型モータ以外であってもよい。
図13Bは、第4の実施形態に係る通話デバイス100の制御部107の機能ブロック図である。なお、報知部107e及び通話切替部107f以外の構成については第1の実施形態において図2Cを参照して説明したので重複する説明を省略する。また、第4の実施形態に係る通話デバイス100の記憶装置2Bの機能ブロック図についても、第1の実施形態において図2Bを参照して説明したので重複する説明を省略する。
報知部107eは、通話が迷惑電話である虞を報知する。具体的には、受信部101がサーバ200から送信された迷惑電話の虞がある旨の信号(以下、報知用信号Qともいう)を受信すると、振動装置108に振動の発生を指示するとともに報知の内容を表示装置106(表示部)に表示させるよう指示する。
報知部107eは、報知の内容を表示装置106に表示させる。ここで、表示装置106に表示される報知の内容には、受信部101で受信された音声信号が迷惑電話であるとする根拠を示す情報、例えば、通話相手であるユーザSが「疑惑有」とされた件数、特定期間(例えば、1カ月)内の「疑惑有」とされた件数などを表示する。このように迷惑電話の可能性がある旨を報知する際、特定期間内に他のどのくらいの数のユーザが迷惑電話の可能性があると判断したのかが見えるように表示することで、ユーザUが電話の主を信じて迷惑を被る可能性を低減することができる(迷惑電話の可能性が高い、というメッセージやその評価の段階を見せるだけだと、その根拠がわからず電話主の話を信じてしまう可能性も残るが、判断の明確な根拠を見せられると、そのような迷いが減る)という効果がある。
通話切替部107fは、報知部107eによる報知に応じて、通話デバイス100の通話方法を第1通話方法から第2通話方法へ切り替える。具体的には、通話デバイス100はスマートホンであり、第1通話方法は、通常の通話方法、スマートホンを耳に当てて話す通話方法である。また、第2通話方法は、いわゆるハンズフリー状態での通話方法であり、スマートホンを耳から離して手元でスマートホンの表示装置106を見ながら通話が可能な通話方法である。報知の際に、通話切替部107fが第1通話方法から第2通話方法へ通話方法を切り替えることで、ユーザUは、表示装置106に表示された報知の内容を確認することができる。
また、通話切替部107fは、ユーザUが入力装置103(第2受付部)を操作すると(例えば、表示装置106に表示された「確認」ボタンなど)、通話デバイス100の通話方法を第2通話方法から第1通話方法へ切り替える。このように、報知の内容を確認しないと第1通話方法に戻さないため、迷惑電話の可能性を明確に認識させることができる。
なお、上記実施形態1〜3及び各変形例では、サーバ200は、通話デバイス100から受信した詐欺判定用信号Yに含まれる音声信号Xから得られる声紋情報に基づいて通話デバイス100の通話相手が詐欺師か否かを判定し、その判定結果に応じて遮断信号Zを送信してるが、第4の実施形態では、サーバ200は、通話デバイス100から受信した詐欺判定用信号Yに含まれる音声信号Xから得られる声紋情報に基づいて通話デバイス100の通話相手が詐欺師か否かを判定し、その判定結果に応じて報知用信号Qを送信する。
図14は、第4の実施形態に係る通話デバイス100の動作を示すフローチャートである。以下、図14を参照して、第4の実施形態に係る通話デバイス100の動作について説明するが、図4を参照して説明した第1の実施形態に係る通話デバイス100と同じ処理のステップには、同一のステップ番号を付して重複する説明を省略し、図4を参照して説明した第1の実施形態に係る通話デバイス100と異なる処理のステップについて説明する。
通話中にサーバ200から報知用信号Qを受信した場合(ステップS107のYes)、制御部107は、ステップS108の報知処理を実行する。
通話中にサーバ200から報知用信号Qを受信しない場合(ステップS107のNo)、通話が継続される(ステップS105の処理へ移行する)。
図15は、第4の実施形態に係る通話デバイス100の報知処理の動作を示すフローチャートである。以下、図15を参照して通話デバイス100の報知処理の動作について説明する。
報知部107eは、振動装置108に振動の発生を指示する。振動装置108は、報知部107eからの指示に基づいて、通話デバイス100を振動させる(ステップS601)。
通話切替部107fは、通話デバイス100の通話方法を第1通話方法から第2通話方法へ切り替える(ステップS602)。報知の際に、通話切替部107fが第1通話方法から第2通話方法へ通話方法を切り替えることで、ユーザUは、表示装置106に表示された報知の内容を確認することができる。
報知部107eは、報知の内容を表示装置106に表示させる(ステップS603)。なお、表示装置106に表示される報知の内容には、受信部101で受信された音声信号が迷惑電話あるとする根拠を示す情報、例えば、現在通話している通話相手であるユーザSが「疑惑有」とされた件数、特定期間(例えば、1カ月)内の「疑惑有」とされた件数などを表示する。
通話切替部107fは、ユーザUによる入力装置103(第2受付部)の操作(例えば、表示装置106に表示された「確認」ボタンなどをタップする操作)を検知しない場合(ステップS604のNo)、通話デバイス100の通話方法を第2通話方法のままとする。
通話切替部107fは、ユーザUによる入力装置103(第2受付部)の操作(例えば、表示装置106に表示された「確認」ボタンなどをタップする操作)を検知した場合(ステップS604のYes)、通話デバイス100の通話方法を第1通話方法へ切り替える(ステップS605)。
また、報知部107eは、表示装置106へ報知の内容の表示を停止させる。表示装置106は、報知部107eの指示に基づいて、報知の内容の表示を停止する(ステップS606)。
図16は、第4の実施形態に係るサーバ200の動作を示すフローチャートである。以下、図16を参照して、第4の実施形態に係るサーバ200の動作について説明するが、図5を参照して説明した第1の実施形態に係るサーバ200と同じ処理のステップには、同一のステップ番号を付して重複する説明を省略し、図5を参照して説明した第1の実施形態に係るサーバ200と異なる処理のステップについて説明する。
照合の結果、声紋情報(未)が、声紋情報(済)と一致した場合(ステップS203のYes)、制御部204は、通話デバイス100の通話相手が詐欺師であると判定(ステップS204)し、通話デバイス100に対して報知用信号Qを送信する(ステップS214)。結果として、図16のステップS104の処理によって、通話デバイス100において通話が遮断される。また、ステップS213の次に制御部204は、通話デバイス100に対して報知用信号Qを送信して(ステップS214)、ステップS206に進んだ後一連の処理を終了する。なお、報知用信号Qには、表示装置106に表示される報知の内容の情報、通話デバイス100から送信される詐欺判定用信号Yに含まれる音声信号Xが迷惑電話であるとする根拠を示す情報、例えば、音声信号Xが「疑惑有」とされた件数、特定期間(例えば、1カ月)内の「疑惑有」とされた件数などの情報が含まれる。
なお、第4の実施形態では、報知用信号Qを送信しているが、報知用信号Qを送信した後、所定時間内に通話デバイス100にて、ユーザUによる入力装置103(第2受付部)の操作(例えば、表示装置106に表示された「確認」ボタンなどをタップする操作)が検知されない場合、遮断信号Zを通話デバイス100へ送信するようにしてもよい。また、上記説明では、報知用信号Qを受信すると図15を参照して説明した報知処理を実行しているが、通話デバイス100に着信があった際に図15を参照して説明した報知処理を実行するようにしてもよい。着信時に図15を参照して説明した報知処理を実行することで、ユーザUに対して、迷惑電話の可能性があることを注意喚起することができる。
(その他の実施形態)
本発明は、前記各形態の構造、形状のものに限定されるものではなく、その要旨を逸脱しない限りにおいて適宜に設計変更して具体化できる。例えば、上記第1〜第4の実施形態や各変形例を適宜組み合わせて実施してもよい。
以下にいくつかのその他の実施形態を説明する。
(1)上記した各形態では、振り込め詐欺について説明を行ったが、これらを例えば、セールス、アンケート、不動産投資の案内などの詐欺以外の迷惑電話(営業電話)の抑制用に応用することもできる。
ただし、このような場合には、単にサーバ200に声紋情報を登録すると、例えばセールスを行った人物がプライベート時間に電話をかけた場合にも通話が遮断されてしまう恐れがあるため、遮断する時間帯を限定したり、このような迷惑な電話がかかってくる可能性のある企業内の電話にのみ適用したりするなどの対策を施すことが望ましい。
このように、本発明は、不要な営業電話を遮断するという企業にとっての業務効率向上システムに応用することができる。
(2)上記した各形態では、通話回線を切断することによる遮断であったが、通話を遮ることさえできれば、通話回線の切断に限定されず様々な方法で迷惑な電話を抑制することができる。
例えば、通話相手に保留音を流すようにしてもよい。この場合、例えば、サーバ200から通話デバイス100には遮断信号Zや報知用信号Qではなく、保留音の再生を指示する信号が送信される。この保留音には無音状態の保留音も含まれる。
また、保留音の代わりに音声メッセージを流すようにしてもよい。音声メッセージの内容は、迷惑電話を咎めるような内容であったり、「あなたの電話が拒絶されました」、「この電話には通話できません」など通話ができない旨の内容であったりでよく特に限定されない。音声メッセージや保留音は、通話デバイス100にあらかじめ記憶させてあるものを使用してもよいし、サーバ200から通話デバイス100に送信するようにしてもよい。
営業電話を遮りたい場合には、例えば、「弊社としては営業電話はお断りしております」や「現時点では特に必要ございません」などの内容を流してもよい。また、音声メッセージを流した後に遮断(切断)するようにしてもよい。
また、遮断信号Zや報知用信号Qではなく、例えばユーザUの音声を通話相手に送信させないような信号を通話デバイス100に送信するようにしてもよい。ユーザUの音声が通話相手に届かないので、無音の保留音を流すのと同じ効果を得ることができる。
(3)また、上記実施形態及びその変形例では、声紋情報とキーワードとを組み合わせて、通話相手が詐欺師であるものとの判定や詐欺師の声紋情報(未)であるとの認定を行う形態があるが、声紋情報を用いず、キーワード単体でこれら判定や認定を行うようにしてもよい。この場合、音声信号Xに、所定のキーワード(例えば「おれ」、「おれおれ」、「振り込め」、「振り込み」、「示談」、「事故」、「銀行」、「助けて」、「今日中」、「警察」など)が所定数以上含まれていれば、詐欺師認定部204e、204i、407gは、電話の相手が詐欺師であるものと判定したり、詐欺師の声紋情報(未)であると認定したりする。この場合、複数人による通報が必要ないため簡易に「判定」及び又は「認定」をおこなうことができ、通話デバイス単体でこれらの処理を行う第2の実施形態において特に有効である。
(4)プライバシーを気に掛けるユーザUでは自動で会話(音声信号X)がサーバ200に送信されたり録音されたりすることに不快感を有する虞がある。このため、自動的に送信するか否かをユーザUが設定可能なように構成することが好ましい。
(5)疑惑情報を通報ボタンや録音ボタンが操作された場合にのみ送信するようにしてもよい。詳述すると、図17に示すように、詐欺判定用信号Yに替えて詐欺判定用信号V1(識別子+音声信号X)、詐欺判定用信号V2(識別子+疑惑情報)をサーバ200に対して別々に送信するようにしてもよい。なお、図17は、その他の実施形態に係る迷惑電話抑制システムの概略構成図である。
詐欺判定用信号V1及び詐欺判定用信号V2に含まれる識別子はそれぞれ共通しており、上記の各実施形態や変形例と同様にユーザUを個別に特定可能な情報である。
通話デバイス300から通話デバイス100に着信があり、ユーザUのボタン操作により通話が開始されたことに対応して、通話デバイス100の制御部107は、詐欺判定用信号V1をサーバ200に送信する。
サーバ200の制御部204は、この詐欺判定用信号V1(識別子+音声信号X)を上記した各実施形態や変形例に記載した詐欺判定用信号Y1のように扱う。すなわち、詐欺判定用信号V1に含まれる音声信号Xを「疑惑無」のものとして扱う。
そして、ユーザUが通話相手を詐欺師かもしれないと疑い、例えば、通報ボタンが操作されると、制御部204は、詐欺判定用信号V2(識別子+疑惑有情報)をサーバ200に送信する。
サーバ200の制御部204は、詐欺判定用信号V2を受信すると、この詐欺判定用信号V2に含まれた識別子を認識する。
制御部204は、詐欺判定用信号V2を受信した以降は、この詐欺判定用信号V2に含まれる識別子と対応する識別子が含まれた詐欺判定用信号V1を各実施形態や変形例に記載した詐欺判定用信号Y2のように扱う。すなわち、詐欺判定用信号V1に含まれる音声信号Xを「疑惑有」のものとして扱う。この他の、例えば、遮断信号Zや報知用信号Qの送信などの処理は、上記した各実施形態や変形例と同様であり、詳細な説明は省略する。
また、サーバ2に通話デバイス100から送信され、受信部201で受信された音声信号Y1,Y2がボイスチェンジャーなどにより改変されていないか否かを判定する改変判定部を備え、制御部204の声紋情報抽出部204bは、改変判定部での判定結果に応じて、受信部201が受信した詐欺判定用信号Yに含まれる音声信号Xから声紋情報を抽出するようにしてもよい。具体的には、制御部204の声紋情報抽出部204bは、改変判定部での判定結果が改変「無」である場合、詐欺判定用信号Yに含まれる音声信号Xからそのまま声紋情報を抽出し、改変判定部での判定結果が改変「有」である場合、詐欺判定用信号Yに含まれる音声信号Xから声紋情報を抽出せずに、通話遮断指示部204fが、該改変された音声信号Y1、Y2を送信してきた通話デバイス100に対して送信部203を介して遮断信号Zや報知用信号Qを送信するようにしてもよい。
また、改変された音声信号Y1、Y2を改変前の音声信号に補正する音声信号補正部をさらに備え、改変判定部での判定結果が改変「有」である場合、声紋情報抽出部204bは、前記音声信号補正部で改変前の音声信号に補正した後の詐欺判定用信号Yに含まれる音声信号Xから声紋情報を抽出するようにしてもよい。なお、詐欺判定用信号Yに含まれる音声信号Xが改変されているか否かを判定する手法としては、既知の種々の手法を利用することができる。また、改変された音声信号Xを改変前の音声信号に補正する手法としては、既知の種々の手法を利用することができる。
また、サーバ2の制御部204の声紋情報照合部204dは、声紋DB202bに記憶されている声紋情報(迷惑電話情報)と、声紋情報抽出部204bが詐欺判定用信号Yに含まれる音声信号Xから抽出した特徴情報とを照合する際に、所定の優先度に応じて、声紋DB202bに記憶されている声紋情報(迷惑電話情報)と照合するようにしてもよい。ここで所定の優先度は、例えば、ユーザの操作があった旨の操作情報に応じて決定されるようにしてもよい。具体的には、通話デバイス100が備える通報ボタンをユーザUが操作することで「疑惑有」としたユーザ数の多い順に照合する優先度を決定するようにしてもよい。また、その他、直近の所定期間内において、「疑惑有」としたユーザ数の多い声紋や、時間的にもっとも直近に「疑惑有」とされた声紋を優先的に照合するようにしてもよい。数多くの怪しいと登録された声紋を1つ1つ照合させると時間が掛かるが、上記のように優先度を決めて照合することで、サーバ2での照合処理の負荷が低減されることが期待できる。
また、サーバ2は、受信部が受信した操作情報の回数、具体的には、通話デバイス100が備える通報ボタンをユーザUが操作することで「疑惑有」とした回数をユーザ毎にカウントするカウント部を備え、サーバ2の制御部204は、所定期間内に同一のユーザから所定回数以上、操作情報を受信している場合、該ユーザの操作情報に基づいてDB202bへ記憶した声紋情報(迷惑電話情報)を削除するようにしてもよい。このような構成とすることで、迷惑電話の主が、多くのユーザの声を故意に迷惑電話の主として登録して、仕組み自体を破たんさせることを防ぐことができる。