JP7308471B2

JP7308471B2 - 携帯電話、サーバおよびこれらを含むシステム

Info

Publication number: JP7308471B2
Application number: JP2019026917A
Authority: JP
Inventors: 雅英田中
Original assignee: Individual
Current assignee: Individual
Priority date: 2019-02-18
Filing date: 2019-02-18
Publication date: 2023-07-14
Anticipated expiration: 2039-02-18
Also published as: JP2020135325A

Description

本発明は、携帯電話、サーバおよびこれらを含むシステムに関する。

近年、携帯電話とサーバとの連携については種々の検討が行われており、その連携には携帯電話にダウンロードされる種々のアプリケーションが活用される。そして種々のデータが活用されており、その活用例としては、人の特定や認証がある。例えば、眼鏡装置に、視線センサと撮影手段と人物情報を表示する表示手段とを設けるとともに、視線の検出結果、または撮影手段で撮影された画像内での顔検出状態が検索開始条件を満たしたときに、検出されている顔に対する該当レコードの有無を検索し、該当レコードがない場合に、新たなレコードを作成して記憶させ、該当レコードがある場合に、該当レコードから表示すべき人物情報を取り出して表示手段に表示させることが提案されている。（特許文献１）

一方、ユーザ端末から利用者が発した音声を変声ロジックにより変声した音声である変声音声を受信する変声音声受信部と、予め登録された利用者の音声を変声ロジックにより変声した音声と受信した変声音声とを突合して声紋認証行う声紋突合部とを有する認証サーバも提案されている。（特許文献２）

しかしながら、携帯電話とサーバとの連携およびそのためのデータの取り扱いについては、さらに検討すべき課題が残されている。

特開２０１０－０６１２６５号公報特開２０１６－１３６２９９号公報

本発明が解決しようとする課題は、上記に鑑み、データの取り扱い等について改良した携帯電話、サーバおよびこれらを含むシステムを提案することにある。

上記の課題を解決するため本発明は、自己紹介をした人物を人定するための参照データを自己紹介を受けた人物と関連付けて蓄積するデータベースと、前記自己紹介を受けた人物であることを条件に、前記自己紹介をした人物を人定するための参照データであって第三者と関連づけられている他の参照データを前記自己紹介を受けた人物であることを条件に提供する制御部とを有することを特徴とするサーバを提供する。

本発明の具体的な特徴によれば、前記参照データは、前記自己紹介をした人物の声紋データである。

本発明の他の具体的な特徴によれば、前記参照データは、前記自己紹介をした人物の顔データである。

本発明の他の具体的な特徴によれば、前記参照データは、前記自己紹介をした人物の名刺データである。

本発明の他の具体的な特徴によれば、前記第三者と関連づけられている他の参照データと前記自己紹介を受けた人物と関連付けられている参照データとは、ともに前記自己紹介をした同一人物を人定するためのものであるが異種の参照データである。

本発明の他の具体的な特徴によれば、前記参照データは第三者を開示せずに提供され、誰が誰に自己紹介したかとのプライバシーは保護される。

本発明の他の具体的な特徴によれば、前記サーバと連携する携帯電話を提供する。

上記のように、本発明によれば、データの取り扱い等について改良した携帯電話、サーバおよびこれらを含むシステムが提供される。

本発明の実施例に関する認知支援システム全体を示すブロック図を示した図面代用写真である。図１の実施例における人定サーバの声紋データベース、顔データベースおよびＯＣＲデータベースにそれぞれ格納される参照データ構造およびデータ例を示す表を示した図面代用写真である。図１の実施例に示した認知支援システムにおいて、携帯電話の構成をより詳細に図示したブロック図の図面代用写真である。図１から３に示した実施例の携帯電話制御部の動作を示す基本フローチャートの図面代用写真である。図４のステップＳ２４の詳細を示すフローチャートの図面代用写真である。図５のステップＳ５０の詳細を示すフローチャートの図面代用写真である。図５のステップＳ４８の詳細を示すフローチャートの図面代用写真である。図５のステップＳ３６およびステップＳ５０の詳細を示すフローチャートの図面代用写真である。図５のステップＳ６６の詳細を示すフローチャートの図面代用写真である。図５のステップＳ６４の詳細を示すフローチャートの図面代用写真である。図１および図２に示した実施例の支援装置制御部動作を示す基本フローチャートの図面代用写真である。図１および図３に示した実施例のサーバ制御部の動作を示す基本フローチャートの図面代用写真である。図１２のステップＳ３０４、ステップＳ３１０およびステップＳ３１４の詳細を示すフローチャートの図面代用写真である。

図１は、本発明の実施例に関する認知支援システム全体を示すブロックであり、システムは補聴器兼用眼鏡型認知支援装置２、スマートフォンとして構成される携帯電話４、および人定サーバ６を有する。補聴器兼用眼鏡型認知支援装置２は、支援装置制御部８によって制御される。記憶部１０は、支援装置制御部８を動作させるためのプログラムを記憶するとともに、カメラ１２からの顔画像データ、マイク１４からの音声データなどのデータ記憶も行う。補聴器兼用眼鏡型認知支援装置２は、また、支援装置近距離通信部１６が受信する表示データおよびステレオ音声データに基づき、それぞれ視野内重畳表示部１８による表示およびステレオイヤホンによる音声出力を制御する。

補聴器兼用眼鏡型認知支援装置２は、まず、両眼レンズ２２を有する通常の眼鏡として機能し、視野内重畳表示部１８はこの両眼レンズ２２を透した視野内に表示データを重畳表示する。また、補聴器兼用眼鏡型認知支援装置２は、補聴器としても機能し、マイク１４で拾った会話相手の声等の音声データをステレオイヤホン２０に増強出力する。

補聴器兼用眼鏡型認知支援装置２は、さらに、カメラ１２に基づく顔検知によって人定した会話相手の氏名等を視野内重畳表示部１８に表示する。この目的のため、カメラ１２は使用者の頭が眼前の会話相手に向けられたとき会話相手の顔が自然に撮像範囲に入るよう補聴器兼用眼鏡型認知支援装置２に配置される。さらに、補聴器兼用眼鏡型認知支援装置２はマイク１４に基づく声紋検知によって人定した眼前の会話相手の氏名等をステレオイヤホン２０の片側チャンネルから音声出力する。顔検知による人定と声紋検知による人定はクロスチェックされ、万一相違する場合は後述の認知支援アプリケーション３０に基づく推定アルゴリズムに従ってより確からしい人定が採用される。以上の構成によって、対面する相手の氏名を思い出せない場合における認知症の患者等の認知支援を行う。相手の氏名の失念は認知症ならずとも加齢に伴って発生する現象であるが、補聴器兼用眼鏡型認知支援装置２は、上記のような支援によって使用者の自信喪失を防止し、社交性の維持に寄与するものである。

上記の認知支援機能のため、補聴器兼用眼鏡型認知支援装置２は、携帯電話４および人定サーバ６と連携している。記憶部１０に記憶されたカメラ１２からの顔画像データおよびマイク１４からの音声データは、記憶部１０から読み出され、支援装置近距離通信部１６から携帯電話近距離通信部２４に送信される。これらの近距離通信部は無線ＬＡＮまたは赤外線通信が可能なものが採用される。携帯電話制御部２６は、受信した顔画像データおよび音声データを記憶部２８に記憶させる。記憶されたこれらのデータは、認知支援アプリケーション（以下、「認知支援アプリ」と称する）３０の処理プログラムに基づく携帯電話制御部２６の機能により、認知支援データ部３２に格納されている参照データと照合され、会話相手の人定をおこなう。この人定にもとづく会話相手の氏名等のデータは、携帯電話近距離通信部２４から支援装置近距離通信部１６に送信され、上記のように視野内重畳表示部１８に表示されるとともに、ステレオイヤホン２０の片側チャンネルから音声出力される。なお上記の会話相手の氏名等のデータは表示部３４にも表示される。

携帯電話制御部２６は、本来、電話機能部３６を含む携帯電話４全体を制御するためのもので、記憶部２８に記憶されるプログラムによって動作する。操作部３８および表示部３４も、本来、電話機能部３６の機能に関する操作および表示のために設けられているものであるが、上記の認知支援のためにも兼用される。また、携帯電話４に本来備わっているカメラ３７は、電話機能部３６内のマイクとの組み合わせによりテレビ電話が可能なものであるが、これらカメラ３７および電話機能部３６内のマイクも後述のように、認知支援アプリ３０に基づいて認知支援に活用される。

携帯電話４に本来備わっているグローバルポジショニングシステム４０（以下、「ＧＰＳ」と称する）は、認知支援アプリ３０の処理プログラムに基づく携帯電話制御部２６の機能により、使用者の現在位置の認知支援、および自宅や訪問先等の行動に関する認知支援等にも活用される。

携帯電話４のオプティカルキャラクターリーダ３９（以下「ＯＣＲ」と称する）は、相手の名刺の画像から相手の氏名を読み取ってテキストデータ化し、顔検知による人定および声紋検知による人定と関連付けて認知支援データ部３２に格納させる。この目的のため、使用者の頭が相手から受け取った名刺に向けられたとき、カメラ１２が撮像範囲に入る相手の氏名の画像を撮像して記憶部１０に記憶させるとともに、これを読み出して支援装置近距離通信部１６から携帯電話近距離通信部２４に送信する。

携帯電話４は、電話機能部３６によってインターネット４１を介し人定サーバ６と交信可能である。人定サーバ６は、サーバ制御部４２、声紋データベース４４、顔データベース４６、ＯＣＲデータベース４８および入出力インターフェース５０を有し、他の携帯電話および他の認知支援装置と連携している。そして、種々の機会において取得される同一人物の声紋データ、顔データおよびＯＣＲデータをプライバシー厳守の条件下で蓄積するとともに共有を図り、人定のための参照データの精度を向上させている。なお、携帯電話４の認知支援データ部３２に格納されている参照データのデータ構造は、声紋データベース４４、顔データベース４６、ＯＣＲデータベース４８に蓄積されている参照データと同じものであり、そのうち、携帯電話４の使用者に対し自己紹介された人物に関するものであって他の機会に取得された参照データが人定サーバ６から携帯電話４の認知支援データ部に提供される。また、逆に、補聴器兼用眼鏡型認知支援装置２にて取得された参照データは、携帯電話４の認知支援データ部３２から人定サーバ６に送信され、同一人物から自己紹介を受けている携帯電話に提供される。人定サーバ６の詳細は後述する。

携帯電話４における認知支援アプリ３０および認知支援データ部３２は、補聴器兼用眼鏡型認知支援装置２のカメラ１２およびマイク１４だけでなく、携帯電話の電話機能部３６およびカメラ３７も活用して機能する。まず、電話機能部３６は通話により相手の声を受信するが、認知支援アプリ３０および認知支援データ部３２は電話機能部３６による通話相手の声紋による人定によっても認知支援を行う。さらにカメラ３７によって撮像される使用者の顔データは認知支援のための参照データとして人定サーバ６に提供される。

次に、人定のための参照データの取得について説明する。まず顔データについては、使用者の頭が初対面の会話相手に向けられたときカメラ１２が会話相手の顔を撮像し、記憶部１０、支援装置近距離通信部１６、携帯電話近距離通信部２４を介して認知支援データ部に顔特徴データの抽出とともに格納される。さらに同じ機会における初対面の相手の声がマイク１４によって拾われ、同様に、記憶部１０、支援装置近距離通信部１６、携帯電話近距離通信部２４を介して認知支援データ部に声紋データの抽出とともに音声データとして格納される。

以上のようにして取得された顔データと声紋データが誰のものであるかについては、第一に自己紹介における相手の音声を活用し、さらに自己紹介の際に名刺が手渡された場合はその情報を活用する。まず、音声の活用について説明すると、認知支援アプリ３０は認知支援データ部３２に格納された音声データの冒頭部分から言語情報としての自己紹介部分を抽出し、さらにその中から言語情報としての氏名部分を抽出する。このようにして言語情報として認識された氏名データが顔データと声紋データと関連付けられ、認知支援データ部に格納される。このように音声データは、声紋という人定情報と、氏名という言語情報という二重の意義を持つものとして活用される。なお、音声データ取得は、目前の会話相手の声を上記のように補聴器兼用眼鏡型認知支援装置２のマイク１４で拾う場合と、携帯電話４の通常通話の際に受信する相手の声を活用する場合が可能である。

さらに、名刺が手渡された場合は、上記のように使用者の頭が相手から受け取った名刺に向けられたとき、カメラ１２がこれを撮像し、携帯電話４のＯＣＲ３９でテキストデータ化することにより氏名データとして顔データと声紋データと関連付け、認知支援データ部に格納する。なお、名刺が手渡される場合、単に「こういう者です」と言うだけで名乗らない場合があり、上記のようなＯＣＲ３９でのテキスト化が有用となる。

また、音声による名乗りと名刺の受け取りの両者があった場合は、音声データの言語情報に基づく氏名データと携帯電話４のＯＣＲ３９に基づく氏名データはクロスチェックされ、万一相違する場合は認知支援アプリ３０に基づく推定アルゴリズムに従ってより確からしい氏名データが採用される。この場合、不鮮明で判読が困難な場合を除き、名刺からの情報が優先される。

次に、再会時について説明する。再会時はわざわざ名乗らない可能性があるが、その時相手の名前が思い出せないようなことが続くと、自信を失って人に会うのを避けるようになりがちである。電話の場合も、相手の声と顔は明確に認知できるが名前が出てこないようなことが続くと、電話を取るのを避けるようになりがちである。これらの場合の支援として、補聴器兼用眼鏡型認知支援装置２のマイク１４により再会者の声が拾われ、支援装置近距離通信部１６と携帯電話近距離通信部２４との通信により携帯電話制御部２６に送られる。そして、上記のように認知支援アプリ３０の処理プログラムに基づく携帯電話制御部２６の機能により、認知支援データ部３２に格納されている声紋の参照データとの照合が行わる。そして両者が一致すると声紋データに対応づけられている氏名等のデータが携帯電話近距離通信部２４から支援装置近距離通信部１６に送信され、視野内重畳表示部１８に氏名が視覚的に表示されるとともに、ステレオイヤホン２０の片側チャンネルから氏名が音声で出力される。

再会時には、同様のことが顔データについても行われる。すなわち、使用者の頭が会話相手に向けられたとき、補聴器兼用眼鏡型認知支援装置２のカメラ１２により再会者の顔が撮像され、支援装置近距離通信部１６と携帯電話近距離通信部２４との通信により携帯電話制御部２６に送られる。そして、上記のように認知支援アプリ３０の処理プログラムに基づく携帯電話制御部２６の機能により、認知支援データ部３２に格納されている顔の参照データとの照合が行わる。そして両者が一致すると顔データに対応づけられている氏名等のデータが携帯電話近距離通信部２４から支援装置近距離通信部１６に送信され、視野内重畳表示部１８に氏名が視覚的に表示されるとともに、ステレオイヤホン２０の片側チャンネルから氏名が音声で出力される。なお、声紋データによる人定と顔データによる人定がクロスチェックされ、万一不一致の時はそのいずれかが正しいと推定することは上記したとおりである。

なお上記の認知支援において、視野内重畳表示部１８に氏名等が視覚的に表示される場合は、両眼レンズ２２を透した視野内に表示データを重畳表示するので、両者が混合する可能性は低いが、通常の視野を遮らない氏名等は視野下部等の縁部分に表示するのが望ましい。一方、ステレオイヤホン２０からの音声により氏名等を伝える場合は、会話相手の声と重なって両者とも聞き取れにくくなる恐れがある。従って、上記のようにステレオイヤホン２０の片側チャンネルのみから氏名を伝えることにより両方の耳から入ってくる眼前の会話相手の声との弁別を容易にする。補聴器としての使用の場合は、ステレオイヤホン２０の片側チャンネルから氏名を出力する場合、増強された会話相手の声の出力はもう一方のチャンネルのみから出力するようにする。また、ステレオイヤホン２０の片側チャンネルから氏名を出力するのに代え、会話相手の声が途切れたことを検知してその空白時間帯に氏名の出力を開始するようしてもよい。あるいは、ステレオイヤホン２０の片側チャンネルから氏名の出力と会話相手の声が途切れた空白時間帯における氏名の出力を併用してもよい。

図２は、人定サーバ６における声紋データベース４４、顔データベース４６およびＯＣＲデータベースにそれぞれ格納される声紋参照データ５２、顔参照データ５４およびＯＣＲ参照データ５６のデータ構造およびデータ例を示すものである。図１のサーバ制御部４２はこのようなデータ構造のデータに基づき、多数の携帯電話と連携して以下に説明するようなデータ管理を行う。図２におけるそれぞれの参照データのデータ構造は、例えば声紋参照データ５２では、「Ｎｏ．」、「人定ＩＤ」、「取得者ＩＤ」、「取得日時」、「声紋データ」よりなる。そして、例えば「Ｎｏ．１」のデータは、「５２１３７８」というＩＤが付与された人物を人定するための参照用「声紋データ」であることを示している。なお、人定ＩＤに対応する人物の実際の氏名は人定サーバ６には登録されているが公開されることはない。また、声紋参照データ５２における「５２１３７８」というＩＤはあくまで「声紋１」が抽出された音声データから抽出された言語情報に基づく氏名データであり、言語認識誤りの可能性を含んでいる。

そして、「Ｎｏ．１」のデータは、「３８１２９５」というＩＤが付与された人物が「２０１８／０３／３０」の「１２：５６」という日時に取得したものとして人定サーバ６に提供されたものであることを示している。従ってこの参照データにおける声紋データを現に会話している相手から取得した声の声紋と比較して一致すれば、相手は「５２１３７８」というＩＤが付与された人物であると人定できることになる。

声紋参照データ５２のデータは、自分が自己紹介を受けた人物であることを条件に、他人が取得した声紋データであっても人定サーバ６から自分の携帯電話４の認知支援データ部３２に参照データとしてダウンロードされる。換言すると、認知支援データ部３２には自分の補聴器兼用眼鏡型認知支援装置２および携帯電話４にて取得した声紋参照データに加え、上記の条件により人定サーバ６からダウンロードされたものが含まれており、これが日々更新される。

具体的に説明すると、声紋参照データ５２における「Ｎｏ．３」のデータは、「５２１３７８」というＩＤが付与された人物から自己紹介を受けた「４１２５３７」というＩＤが付与された別の人物から提供されている。このことから、「５２１３７８」というＩＤが付与された人物は、「Ｎｏ．１」のデータにおける「３８１２９５」というＩＤが付与された人物と「Ｎｏ．３」のデータにおける「４１２５３７」というＩＤが付与された人物の両者に自己紹介しており、自分の「声紋１」と「声紋３」が参照データとして両者に共有されることで、声紋により自分の氏名が両者にそれぞれ明らかになっても異論はない状態にある。そこで「Ｎｏ．１」のデータと「Ｎｏ．３」のデータは「３８１２９５」および「４１２５３７」というＩＤが付与された人物にそれぞれ共有されるようお互いの携帯電話における認知支援データ部にダウンロードされる。このようにして、自分が自己紹介を受けた人物であることを条件に、異なる機会に他人が取得した同一人物の声紋データが共有され、そのクロスチェックにより声紋認証の精度と効率のアップが図られる。なお、データの共有はあくまでＩＤで行われ、上記のように、取得者ＩＤと他人の氏名の関係は公開されることがないので、このようなデータ共有によりある人物が自分以外の誰と面識があるか等のプライバシー情報が漏れることはない。

顔参照データ５４のデータ構造は、参照データの部分が顔データの特徴画像であることを除き、声紋参照データ５２と同様である。また、顔参照データ５４における「人定ＩＤ」も、声紋参照データ５２と同様、あくまで「顔データ」が抽出された際に原則として音声データから抽出された言語情報に基づく氏名データであり、言語認識誤りの可能性を含んでいる。

ここで、声紋参照データ５２と顔参照データ５４とを比較すると、「Ｎｏ．１」と「Ｎｏ．２」のデータにおける「人定ＩＤ」と「取得者ＩＤ」が入れ替わっているだけで、「取得日時」は同一である。これは両者が面会した同じ機会に人定サーバ６にアップロードされたデータであることを示している。そして両者の顔、声紋、言語情報がその機会にすべて順調に取得されたことを示している。

また、声紋参照データ５２の「Ｎｏ．４」に対応するデータが顔参照データ５４としてアップロードされていないので、このデータは音声のみの電話にて取得されたものであると推定される。一方、顔参照データ５４の「Ｎｏ．４」に対応するデータが声紋参照データ５２としてアップロードされていないので、顔参照データ５４の「Ｎｏ．４」のデータは聴覚障害者等による音声なしの面会にて取得されたものであると推測される。この場合、顔参照データ５４の「Ｎｏ．４」における「人定ＩＤ」は、後述のＯＣＲデータ（名刺だけでなく筆談による氏名伝達を含む）とのクロスチェックによるものか、または携帯電話４の操作部３８による手動入力であると推測される。

ＯＣＲ参照データ５６のデータ構造は、参照データの部分がＯＣＲデータの「テキスト」であることを除き、声紋参照データ５２と顔参照データ５４と同様である。ただし、これらとは異なり、名刺文字不鮮明または難読文字によるＯＣＲ誤りの場合を除き、ＯＣＲデータにおける「人定ＩＤ」は直接データであるという意味で声紋参照データ５２や顔参照データ５４よりも信頼性が高い。なお、同一機会に対応すると考えられる声紋参照データ５２および顔参照データ５４のそれぞれ「Ｎｏ．２」のデータに対応するデータがこの機会にＯＣＲ参照データ５６としてアップされていない。従って、このとき「５２１３７８」というＩＤが付与された人物に対して「３８１２９５」というＩＤが付与された人物からの名刺は提示されなかったものと推定される。しかしながら、ＯＣＲ参照データ５６の「Ｎｏ．３」としてアップされたデータによれば「３８１２９５」というＩＤが付与された人物からの名刺が「４１２５３７」というＩＤが付与された別人物に提示されている。「５２１３７８」というＩＤが付与された人物は「３８１２９５」というＩＤが付与された人物から自己紹介を受けているので、この人物は自分の名前を名刺により特定できるデータが伝達されても異論はない状態にある。そこでＯＣＲ参照データ５６の「Ｎｏ．３」のデータが「５２１３７８」というＩＤが付与された人物の携帯電話における認知支援データ部にダウンロードされる。このようにして、自分が自己紹介を受けた人物であることを条件に、異なる種類のものあっても別の機会に他人が取得した同一人物の参照データが共有され、その異なる種類の参照データのクロスチェックにより支援の精度と効率のアップが図られる。

なお、本発明の種々の特徴は上記の実施例に限られるものではなく、広く他の実施に応用可能なものである。例えば、本発明の実施例は、補聴器兼用眼鏡型認知支援装置２、携帯電話４および人定サーバ６によりシステム構成されているが、例えば補聴器兼用眼鏡型に限らない他の認知支援装置に基づいて実施してもよい。また、電話機能への適用に注目するのであれば、補聴器兼用眼鏡型認知支援装置２を省略してもよい。この場合例えば名刺のＯＣＲ読み取りの入力は携帯電話４のカメラ３７によって行われる。なお、認知支援アプリ３０は、スマートフォンにおけるアプリの一種として携帯電話４にダウンロードすることができる。

なお、上記の説明では、図１、図２において「ＯＣＲデータベース」４８、「ＯＣＲ参照データ」５６、「ＯＣＲデータ」をそれぞれ図示しているが、これらは、内容的にはそれぞれ「氏名データベース」４８、「氏名参照データ」５６、「氏名データ」を意味し、言語情報として認識可能なテキストデータの情報となっている。このような氏名情報のテキストデータは、具体的には、上記に説明したとおり、マイクで拾った音声データに基づく音声認識、または相手の名刺に基づくＯＣＲによる文字認識によって取得される。そして、上記に説明したとおり、音声による名乗りと名刺の受け取りがあった場合には両者からそれぞれ得られたテキストデータがクロスチェックされ、不鮮明で判読が困難な場合を除き、名刺からのＯＣＲ情報が優先される。このような事情から図１、図２においては「ＯＣＲデータベース」４８、「ＯＣＲ参照データ」５６、「ＯＣＲデータ」を代表させて図示しているが、これらの図示および説明は、広義にはそれぞれ「氏名データベース」４８、「氏名参照データ」５６、「氏名データ」と読み替え、音声認識により氏名データを得る場合には、それぞれ「音声認識データベース」４８、「音声認識参照データ」５６、「音声認識データ」と読み替えるものとする。

また、上記の実施例において、声紋データベース４４、顔データベース４６、ＯＣＲデータベース４８に格納されている認証データはそれぞれ暗号化されており、その解読は、声紋データベース４４または顔データベース４６の参照データとＯＣＲデータベース４８の参照データを互いに関連付けてアップロードしてきた履歴のある携帯電話４にしか開示されない。従って、顔や声と名前の関連付けを知らない無縁の第三者がＯＣＲデータからその人物の顔データまたは声紋データを検索したり、またはその逆に顔データまたは声紋データからその人物のＯＣＲデータを検索したりすることが防止されている。

図３は、図１の実施例に示した認知支援システムにおいて、特に補聴器兼用眼鏡型認知支援装置２を省略した場合等について説明するため、携帯電話４の構成をより詳細に図示したものである。図３においては、図１においてカメラ３７と総称していたものを内側カメラ３７ａと外側カメラ３７ｂに分けて図示するとともに、電話機機能部３６内の詳細構成を図示している。上記のとおり、補聴器兼用眼鏡型認知支援装置２が省略される場合、名刺のＯＣＲ読み取りの入力は携帯電話４の外側カメラ３７ａによって行われる。また、電話機能部３６において、インターネット４１を介した人定サーバ６との交信は、通信機能部３６ａが担当する。さらに、携帯電話４の内側カメラ３７ａは電話機能部３６内の電話マイク３７ｂとの組み合わせによりテレビ電話が可能である。

既に述べたとおり、内側カメラ３７ａおよび電話機能部３６内の電話マイク３６ｂは認知支援アプリ３０に基づいて認知支援に活用される。例えば、上記のように内側カメラ３７ａによって撮像される携帯電話４の使用者の顔データは認知支援のための参照データとして人定サーバ６に提供される。また、電話マイク３６ｂによって取得される携帯電話４の使用者の声紋データも認知支援のための参照データとして人定サーバ６に提供される。これらの参照データは、携帯電話４の使用者以外の人が認定サーバ６にアクセスした際の認知支援に活用される。つまり、これらの参照データは、携帯電話４の使用者以外の人が携帯電話４の使用者を認知するのに活用される。

一方、携帯電話４の使用者が会話相手を認知する際の支援においては、外側カメラ３７ｂが会話相手を撮像して顔検知データを取得するとともに、電話マイク３６ｂが会話相手の音声を拾って声紋検知データを取得する。そして、それらの検知データに基づいて人定した会話相手の氏名等が表示部３４に表示される。携帯電話４におけるこの機能は、上記のように補聴器兼用眼鏡型認知支援装置２が省略される場合に特に有用である。さらに、補聴器兼用眼鏡型認知支援装置２が省略される場合、認定された会話相手の氏名等は、会話相手には聞こえない程度の音量にて使用者が聞く事が出来るよう電話スピーカ３６ｃから音声出力される。この音声出力は、電話イヤホンジャック３６ｄに接続されたイヤホンによっても可能であり、使用者はイヤホンを通じて会話相手の氏名等を聞くことも可能である。

なお、上記のような会話相手の認定結果の表示及び音声出力については、会話の最中に携帯電話を取り出したり操作したりするのは相手に失礼なので、事後にこれらの表示や音声出力を確認できるよう、人定結果を記録しておくことができる。また、面会予定者の顔と名前が一致しない場合において前回面会時における人定結果の記録があれば、顔または名前の一方から他方を検索して事前に人定結果を確認してから面会に臨むことができる。さらに、人定結果のデータを面会日時データおよびＧＰＳ４０の検知結果も活用した面会場所データとともに面会の機会があるたび蓄積記録しておけが、同一人物との面会履歴データとしても活用できる。

上記の機能には面会相手の参照データが必要であるが、初対面の相手から参照データを取得しようとしていきない相手の顔を撮影したり相手の声を録音したりするのは、プライバシー保護の観点から問題がある。従って、礼儀として予め了解を得る行動をとることは勿論であるが、認知支援アプリ３０にも、そのための自動機能が設けられる。具体的には、相手の顔の撮像または声の録音を行う前に「次回お会いしたとき失礼のないよう、お名刺に添付するためのお顔とお声のデータをいただきたいのですが」等の寛恕アナウンスを自動的に行うよう構成する。この構成は、例えば、姿勢センサ５８（表示部３４における縦横表示自動切換え等のための地磁気センサおよび加速度センサ）により携帯電話の取り出し検知し、これに応答して電話マイク３６ｂを自動起動して面会における会話音声の有無を検知する。そして、これらの検知により面会中に携帯電話を取り出したと判定されたとき、電話スピーカ３６ｃにより上記の自動アナウンスを音声出力するよう構成する。さらに、自動アナウンスから所定時間待ち、その間に相手が拒否したときは手動操作を行って顔の撮影と声の録音の不実施を指示するとともに相手が拒否した旨の記録を名刺データに付記し、所定時間内に手動操作がないときは顔の撮影と声の録音の開始を可能とする。

なお、本発明の種々の特徴は上記の実施例に限られるものではなく、広く他の実施に応用可能なものである。例えば、本発明の実施例において、人物の人定に関する携帯電話４と人定サーバ６との連携の内容は、携帯電話４自体または参照データのアップロードおよびダウンロードであり、人物の人定は携帯電話４内の認知支援アプリ３０によって行われる。具体的には、補聴器兼用眼鏡型認知支援装置２または携帯電話４により再会時に取得されるデータが、人定サーバ６からダウンロードして認知支援データ部３２に格納されている参照データと比較されることによって人物の人定が行われるが、この人定機能は携帯電話４内の認知支援アプリ３０が担っている。しかしながら、本発明の実施はこのようなものに限らず、他の実施例も可能である。

例えば、上記の実施例において携帯電話３０の認知支援アプリ３０が行っている上記の人定機能を、人定サーバ６のサーバ制御部４２に担わせることも可能である。具体的には、補聴器兼用眼鏡型認知支援装置２または携帯電話４により再会時に取得されるデータを、電話機能部３６から入出力インターフェース５０を介して人定サーバ６に送信する。そして、人定サーバ６は、受信したデータを、声紋データベース４４、顔データベース４６、ＯＣＲデータベース４８に格納されている認証データと比較し、得られた人定結果のデータを携帯電話４に返信するよう構成する。この場合、人定サーバ６は、声紋データベース４４や顔データベース４６のデータとＯＣＲデータベース４８のデータを関連付ける人定結果のデータを、再会時に取得されるデータを送信してきた携帯電話４のみに返信するようにし、当事者のプライバシーを保護する。

図４は、図１から３に示した実施例の携帯電話４における携帯電話制御部２６の動作を示す基本フローチャートである。フローは携帯電話４の電源オンでスタートし、ステップＳ２で携帯電話４の初期立ち上げ処理を行う。次いで、ステップＳ４で認知支援アプリ３０が携帯電話４にインストール済みか否かチェックする。この認知支援アプリ３０は、スマートフォンにおけるアプリの一種として携帯電話４にダウンロードすることができるものである。

ステップＳ４において認知支援アプリ３０がインストール済みであることが検知されなければステップＳ６に進み、認知支援アプリをダウンロードするための操作がなされたか否かチェックする。このステップＳ６のチェックでは、操作部３８における該当操作を所定時間待つ機能を含む。ステップＳ６において所定時間内に該当操作があったことが検知されるとステップＳ８に進み、人定サーバ６から認知支援アプリをダウンロードするとともに携帯電話４にインストールする処理を行う。認知支援アプリがインストールされるとステップＳ１０に進み認知支援アプリを自動的に起動する。一方、ステップＳ４において認知支援アプリ３０が携帯電話４にインストール済みであることがチェックされると直接ステップＳ１０に進み、認知支援アプリを自動的に起動する。

次に、ステップＳ１２では、操作部３８により認知支援アプリを起動する操作が行われたか否かチェックし、操作があればステップＳ１４に進んで認知支援アプリを起動する。そしてフローはステップＳ１６に進む、一方、ステップＳ１２で認知支援アプリの起動操作が検知されなければフローは直接ステップＳ１６に進む。このときステップＳ１０経由でステップＳ１２に至ったのであれば既に認知支援アプリが起動済みであるので、ステップＳ１２およびステップＳ１４では実質的に何も行われない。なお、後述のように、携帯電話の操作中において操作部３８により認知支援アプリが停止される場合があり、この操作を経由してステップＳ１２に至ったのであれば、ステップＳ１２で認知支援アプリの起動操作が検知されなければ、認知支援アプリが停止された状態でステップＳ１６に至る可能性がある。

ステップＳ１６では、携帯電話４が補聴器兼用眼鏡型認知支援装置２とペアリング状態であるか否かチェックする。帯電話４において補聴器兼用眼鏡型認知支援装置２とのペアリング設定をしておけば携帯電話４が立ち上がった状態で両者は既にペアリング状態にあり、即座に連携が可能である。ステップＳ１６でペアリング状態が検知されなければステップＳ１８に進み、補聴器兼用眼鏡型認知支援装置２とのペアリング設定のための操作が操作部３８でなされたか否かチェックする。このステップＳ１８のチェックでも、操作部３８における該当操作を所定時間待つ機能が含まれる。ステップＳ１８において所定時間内に該当操作があったことが検知されるとステップＳ２０に進み、補聴器兼用眼鏡型認知支援装置２とのペアリングを行うための処理を行う。なお、この処理は以後のフローの進行と並行して行われるので、ペアリング完了を待たずフローはステップＳ２２に移行する。なお、ステップＳ１６においてペアリング状態が検知される場合は、直接ステップＳ２２に移行する。

ステップ２２では認知支援アプリが起動され、ステップＳ２４に至る。なお、このときステップＳ１０経由またはステップＳ１４経由でステップＳ２２に至ったのであれば既に認知支援アプリが起動済みであるので、ステップＳ２２では実質的に何も行われない。これに対し、認知支援アプリが停止された状態でステップＳ１６に至った場合は、ステップＳ２２によって認知支援アプリが起動されることになる。一方、ステップＳ１８で所定時間内に該当操作があったことが検知されない場合はステップＳ２５に進み、ステップＳ１０またはステップＳ１４においてステッ認知支援アプリが起動されていたかどうかチェックする。そして、起動されていることが検知された場合はステップＳ２４に移行する。

以上をまとめると、認知支援アプリが起動されるのは、認知支援アプリのダウンロードとインストールが行われたとき（ステップＳ８）、認知支援アプリを起動する操作が検知されたとき（ステップＳＳ１２）、認知支援装置ペアリングに関する検知が行われたとき（ステップＳ１６もしくはステップＳ１８）のいずれかとなる。そして、認知支援アプリの起動によりステップＳ２４に至ると認知支援の処理が行われる。なお、この処理は以後のフローの進行と並行して行われるので、認知支援処理の完了を待たずフローはステップＳ２６に移行する

ステップＳ２６では、操作部３８によって認知支援アプリを停止する操作が行われたか否かをチェックする。そして、操作が検知されるとステップＳ２８に進み、認知支援アプリを停止してステップＳ３０に移行する。一方ステップＳ２６で認知支援アプリ停止操作が検知されない場合は直接ステップＳ３０に移行する。また、ステップＳ６で認知支援アプリダウンロード操作が検知されなかった場合、およびステップＳ２５で認知支援アプリ起動が検知されなかった場合も直接ステップＳ３０に移行する。

ステップＳ３０では携帯電話に関する通常の処理が行われる。この処理は認知支援処理と並行して行われるので通常電話処理の完了を待たずフローはステップＳ３２に移行する。ステップＳ３２では、携帯電話４の電源がオフされたか否かをチェックする。そして電源オフが検知されない場合、フローはステップＳ１２に戻り、以下、ステップＳ３２で電源オフが検知されない限りステップＳ１０からステップＳ３２を繰り返す。そしてこの繰り返しの中で、認知支援アプリの起動ならびに停止への対応、補聴器兼用眼鏡型認知支援装置２とのペアリングへの対応、および、認知支援アプリが起動されている場合における通常電話機能との並行処理が実行される。一方、ステップＳ３２で電源オフが検知されるとフローは終了する。

図５は、図４のステップＳ２４における認知支援並行処理の詳細を示すフローチャートである。認知支援並行処理に入ると、まずステップＳ３４において、携帯電話４が取得した参照データで人定サーバ６に未だアップロードしていないものがあるか否かがチェックされる。そして該当データがあればステップＳ３６の人定サーバ６との連携処理に移行する。ステップＳ３６のサーバ連携並行処理は、人定サーバ６への参照データのアップロード、人定サーバ６からの参照データのダウンロード、および取得データに基づく参照データのサーチ処理等を含むものであり、その詳細は後述する。ステップＳ３４から移行してステップＳ３６に至る場合は、未アップロード参照データを人定サーバ６にアップロードする機能が働く。この機能も並行処理なので、アップロードの完了を待たずフローはステップＳ３８に移行する。一方、ステップＳ３４で未アップロード参照データの存在が検知されない場合は直接ステップＳ３８に移行する。

ステップＳ３８では、操作部３８によって初対面の面談者から他者参照データを取得する操作が行われたか否かがチェックされる。これは、既に使用者が携帯電話４を手に持っている状態において他者参照データの取得の必要を意識したとき、直接手動操作して他者参照データの取得体勢に入る場合に該当する。この操作が検知された場合については後述する。一方、この操作が検知されない場合はステップＳ４０に移行する。

ステップＳ４０では、携帯電話４を衣服のポケット等から取り出す動作が姿勢センサ５８により検知されたか否かチェックする。この動作が検知されるとステップＳ４２に進み、携帯電話４の電話マイク３６ｂを所定時間自動起動して他者の音声を拾う体勢に入る。なお、補聴器兼用メガネ型認知支援装置２と連携している場合、ステップＳ４２では補聴器として機能しているマイク１４からの音声も拾う体勢に入る。そしてステップＳ４４に進み、所定時間内に面談音声が検知されるか否かチェックする。これは、使用者が他者参照データの取得の必要を意識して携帯電話を取り出す動作を利用して他者参照データの取得体勢に入る場合に該当する。ステップＳ４４で所定時間内に面談音声が検知された場合については後述する。一方、ステップＳ４４で所定時間内に面談音声が検知されない場合はステップＳ４６に移行する。また、ステップＳ４０で携帯電話取出が検知されない場合も直接ステップＳ４６に移行する。

以上のように、ステップＳ４０からステップＳ４４は、使用者が他者参照データの取得の必要を意識して携帯電話を取り出す動作を利用し、その後の面談音声検知により自動的に他者参照データの取得体勢に入るためのフローである。ステップＳ４４で所定時間内に面談音声が検知された場合については後述する。

ステップＳ４６では、テレビ電話が開始されたか否かをチェックする。テレビ電話は携帯電話４の通信機能部３６ａを通じて通話相手の声と顔が送られてくる機会であるとともに携帯電話４の内側カメラ３７ａにより使用者自身の顔を撮像し電話マイク３６ｂにより使用者の声を拾うので使用者の自己参照データを取得する機会であるとともに通話相手を人定するための情報である他者参照データを取得する機会でもある。ステップＳ４６でテレビ電話の開始が検知されるとステップＳ４８に移行して自己参照データ取得処理に入る。次いでステップＳ５０に進み、他者参照データ取得処理に入る。なお、ステップＳ４８とステップＳ５０は並行処理されるので、ステップＳ４８の完了を待たずにステップＳ５０に移行する。そしてステップＳ４８およびステップＳ５０が完了によりステップＳ５２に移行し、人定サーバ６との連携処理を行う。

なお、ステップＳ４６からステップＳ５０では、声とともに顔のデータも得られるテレビ電話の機会について説明しているが、音声のみの電話であっても声紋データの取得は可能である。従って、音声のみの電話の場合はステップＳ４６を「電話」と読み替え、顔データに関する機能を省略した形でフローの実行が可能である。このことは、以後の説明でも同様である。

ステップＳ５２におけるサーバ連携並行処理はステップＳ３６のサーバ連携並行処理と同じものであり、その詳細は後述する。ステップＳ５２のサーバ連携並行処理においては、ステップＳ３６と同様、参照データを人定サーバ６にアップロードする機能が働く。ステップＳ５２の場合はステップＳ４８またはステップＳ５０で新たに取得された参照データを人定サーバ６にアップロードする。

なお、ステップＳ４６においてテレビ電話の開始が検知されない場合もステップＳ５２に移行する。この場合は、参照データの新規取得はないが、ステップＳ５２のサーバ連携並行処理における人定サーバ６からの参照データのダウンロード、および取得データに基づく参照データのサーチ処理等が行われることになる。その詳細は後述する。

一方、ステップＳ３８において操作部３８で他者参照データを取得する操作が行われたことが検知された場合、またはステップＳ４４で所定時間内に面談音声が検知された場合はステップＳ５４に移行する。ステップＳ５４では、面談者の顔の撮影や声の録音を実行する前に「次回お会いしたとき失礼のないよう、お名刺に添付するためのお顔とお声のデータをいただきたいのですが」等の寛恕アナウンスを自動的に起動する。そしてアナウンスの起動と並行してステップＳ５６に移行し、アナウンスの起動から所定時間内に撮影と録音を中止する操作が行われたかどうかを検知する。これは面談相手が拒否の意向を示した場合に対応するためである。

ステップＳ５６においてアナウンスの起動から所定時間内に中止操作が検知された場合はステップＳ５２に移行する。この場合も、参照データの新規取得はないが、ステップＳ４６からの移行の場合と同様にして、ステップＳ５２のサーバ連携並行処理における人定サーバ６からの参照データのダウンロード、および取得データに基づく参照データのサーチ処理等が行われることになる。なお、ステップＳ５２は並行処理なのでその処理の完了を待たず、ステップＳ５８に移行する。

ステップＳ５８では、操作部３８による人定支援起動操作が行われたか否かチェックする。これは、面会者が初対面でなく名刺を差し出す可能性が低くかつ直ぐに名乗らなかった場合、携帯電話使用者が相手に知られずに行う捜査であり、面会者から新たに取得する顔データや声紋から相手を人定するため、相手に分からないようこっそりと行う操作である。ステップＳ５８で人定支援起動操作が行われたことが検知されるとステップＳ６０に移行して他者参照データがあるか否かをチェックする。そして何らかの参照データがある場合はステップＳ６２に移行する。なお、ステップＳ５８において「参照データがある」とは携帯電話の認知支援データ部３２に参照データが格納されている場合に限らない。仮に認知支援データ部に信頼できる参照データが格納されていない場合であっても、サーバ連携並行処理により人定サーバ６内の参照データをサーチできる場合も「参照データがある」と判断してステップＳ６２に移行する。

ステップＳ６２では、携帯電話４が補聴器兼用眼鏡型認知支援装置２とペアリング状態にあるか否かチェックする。そしてペアリング状態であればステップＳ６４におけるペアリング人定処理に入りフローを終了する。これによってフローは図４のステップＳ２６に移行する。なお、ステップＳ６４におけるペアリング人定処理は並行処理であるので処理の完了を待たず図５のフローを終了して図４のステップＳ２６に移行する。従って人定処理の途中であっても、必要に応じ、ステップＳ２６により認知支援アプリ停止操作を割込ませることができる。一方、ステップＳ６２で携帯電話４が補聴器兼用眼鏡型認知支援装置２とペアリング状態にあることが検知されなければステップＳ６６における携帯電話人定処理に入りフローを終了する。なお、ステップＳ６６における携帯電話人定処理も並行処理であるので処理の完了を待たずステップＳ２６に移行する。ステップＳ６４およびステップＳ６６は共にサーバ連携並行処理を含むが詳細は後述する。

上記に対し、ステップＳ５８において人定支援起動操作が行われたことが検知されなければ直ちにフローを終了する。また、ステップＳ６０において人定サーバ内サーチを含めても信頼できるかつ利用可能な他者参照データがあることが検知できなければステップＳ６８に移行する。ステップＳ６８では参照データがないことを表示しフローを終了する。

図６は、図５のステップＳ５０における他者参照データ取得処理の詳細を示すフローチャートである。フローがスタートするとステップＳ７０でマイク音声記録を開始する。これにより、携帯電話４の電話マイク３６ｂまたは補聴器兼用眼鏡型認知支援装置２のマイク１４が拾う会話相手の音声の記録が開始される。補聴器兼用眼鏡型認知支援装置２が連携している場合は補聴器として既にマイク１４は動作中であるが、携帯電話４の電話マイク３６ｂを使用する場合はステップＳ７０で電話マイク３６ｂを起動する。

そしてマイク音声記録と並行してステップＳ７２に移行し、記録された音声に基づく声紋認識を開始する。そしてこれと並行してステップＳ７４に移行し、記録された音声に基づく音声言語認識を開始する。さらにこれと並行してステップＳ７６に移行し、ステップＳ７２で開始された声紋認識に基づいて声紋データが新規に取得されたときにこれを記録するとともに記録されたデータに取得日時を付与する処理を開始させる。そしてこれと並行してステップＳ７８に移行する。なお、ステップＳ７６によって取得されるデータは図２の声紋データベース４４における声紋参照データ５２の一つに該当し、取得日時および声紋データが記録される。人定ＩＤおよび取得者ＩＤの記録に関しては後述する。

ステップＳ７８では、携帯電話４の外側カメラ３７ｂまたは補聴器兼用眼鏡型認知支援装置２のカメラ１２を起動して会話相手の顔画像を録画し、録画された顔画像に基づく顔認識を開始する。さらにこれと並行してステップＳ８０に移行し、ステップＳ７８で開始された顔認識に基づいて顔データが新規に取得されたときにこれを記録するとともに記録されたデータに取得日時を付与する処理を開始させる。そしてこれと並行してステップＳ８２に移行する。なお、ステップＳ８０によって取得されるデータは図２の顔データベース４６における顔参照データ５４の一つ該当し、取得日時および顔データが記録される。人定ＩＤの記録および取得者ＩＤの記録については後述する。

ステップＳ８２からステップＳ８８は、図２のＯＣＲデータベース４８におけるＯＣＲデータの一つの取得に関する。なお、既に述べたように、図２における「ＯＣＲデータベース」４８、およびデータ５６の「ＯＣＲデータ」の欄は、広義にはそれぞれ「氏名データベース」４８、および「氏名参照データ」５６の「氏名データ」の欄を意味し、それぞれ「ＯＣＲ」で代表させたものである。換言すれば、「ＯＣＲデータ」の欄は、名刺による「氏名データ」を意味するＯＣＲデータだけでなく、音声認識により「氏名データ」を得る場合の「音声認識他者氏名データ」にも該当する。ステップＳ８２からステップＳ８８では、「氏名データ」を音声認識により得る場合と名刺ＯＣＲにより得る場合、およびこれらのクロスチェックについて説明している。

まず、ステップＳ８２では、ステップＳ７４で開始された音声言語認識に基づいて音声認識他者氏名データが抽出されたか否かチェックし、抽出がなければステップＳ８４に移行して会話冒頭の所定時間が経過したか否かチェックする。そして所定時間の経過がなければステップＳ８４からステップＳ８２に戻り、以下、所定時間が経過するまではステップＳ８２とステップＳ８４を繰り返す。そして、ステップＳ８２で音声認識他者氏名データが抽出されたとき、またはステップＳ８４で会話冒頭所定時間経過が検知されたときはステップＳ８６に移行する。ステップＳ８４経由でステップＳ８６に移行したときは、会話冒頭時間内に相手の名前を聞かなかったかまたは自発的な名乗りがなかった等の理由により、音声認識他者氏名データが抽出されなかった場合である。

ステップＳ８６では、携帯電話４の外側カメラ３７ｂまたは補聴器兼用眼鏡型認知支援装置２のカメラ１２から携帯電話に送られた名刺画像に基づくＯＣＲによって、名刺ＯＣＲデータが取得されたか否かチェックする。併せて、ステップＳ８６では音声認識のための音声記録を停止する。そして、ステップＳ８６で名刺ＯＣＲデータの取得が検知されたときはステップＳ８８によって氏名データクロスチェックを行い、ステップＳ９０に移行する。ここで、音声認識他者氏名データに基づく氏名と名刺ＯＣＲデータに基づく氏名が万一相違する場合、ステップＳ８８では認知支援アプリ３０に基づく推定アルゴリズムに従ってより確からしい氏名データが採用される。具体的には、不鮮明で判読が困難な場合を除き、名刺からの情報が優先される。なお、ステップＳ８２で音声認識他者氏名データが抽出されずにステップＳ８８に至ったときは、ステップＳ８８では何もせずステップＳ９０に移行する。

一方、ステップＳ８６で名刺ＯＣＲデータの取得が検知されなかった場合はステップＳ９２に移行して氏名データが取得されているかをチェックする。そして、ステップＳ８２で音声認識他者氏名データが抽出されていた場合はステップＳ９０に移行する。

ステップＳ９０では、確定した氏名データを記録するとともに記録されたデータに取得日時を付与する処理を開始させる。そしてこれと並行してステップＳ９４に移行する。なお、ステップＳ９０によって取得されるデータは、図２のＯＣＲデータベース（広義には「氏名データベース」）におけるＯＣＲ参照データ（広義には「氏名参照データ」）５６のＯＣＲデータ（広義には「氏名データ」）の一つ該当し、取得日時およびＯＣＲデータ（広義には「氏名データ」）が記録される。取得者ＩＤの記録については後述する。

ステップＳ９４では、ステップＳ７６、ステップＳ８０およびステップＳ９０で取得された新規記録参照データに対し、これが同一人から取得されたものであれば同一の仮人定ＩＤを付与する。「仮人定ＩＤ」は取得者毎に自由に付与することが可能であり、その取得者内に限り唯一無二であればよい。この場合、ステップＳ９０でＯＣＲデータ（広義には「氏名データ」）が取得されていれば、図２における声紋参照データ５２または顔参照データ５４またはその両者と同一の仮人定ＩＤを有するＯＣＲ参照データ（広義には「氏名参照データ」）５６が参照データとして存在することになる。そこで、再会者の声紋データまたは顔データを取得できたとき、これと一致する声紋参照データ５２または顔参照データ５４をサーチすることにより共通の仮人定ＩＤ（後述のように、同一性を保ったまま「既存人定ＩＤ」に一括書換えされることあり）を媒介として対応するＯＣＲ参照データ（広義には「氏名参照データ」）５６を検索でき、再会者の氏名を知ることができる。一方、ステップＳ９０でＯＣＲ参照データ（広義には「氏名参照データ」）５６が得られなかった場合、声紋参照データ５２または顔参照データ５４だけに互いに共通する仮人定ＩＤを付与する。この場合は、同じ仮人定ＩＤを有するＯＣＲ参照データ（広義には「氏名参照データ」）５６がないので、新規取得した声紋参照データ５２または顔参照データ５４だけからは対応するＯＣＲ参照データ（広義には「氏名参照データ」）５６をサーチすることはできない。

次にステップＳ９６で、各新参照データによって認知支援データ部３２内をサーチする。そして、ステップＳ９８で同一人のものである可能性の高い既存参照データが認知支援データ部３２内に格納されているか否かをチェックする。具体的には、新規取得の声紋データまたは顔データと同一人のものである確からしさの強い声紋データまたは顔データを持つ既存の声紋参照データ５２または顔参照データ５４の有無をチェックする。また、新規取得のＯＣＲデータ（広義には「氏名データ」）と同一のテキストをもつ既存のＯＣＲ参照データ（広義には「氏名参照データ」）の有無をチェックする。

ステップＳ９８で該当する新規参照データがあればステップＳ１００に進み、該当新参照データが認知支援データ部３２内で矛盾するものであるか否かチェックする。矛盾の具体例は、新規取得の声紋データが人定ＩＤが互いに異なる複数の声紋参照データ５２の声紋データと一致してしまう場合（顔データの場合も同様）、新規取得の声紋データと一致する声紋データを持つ声紋参照データ５２の人定ＩＤと新規取得の顔データと一致する顔データを持つ顔参照データ５４の人定ＩＤとが異なる場合、新規取得のＯＣＲデータ（広義には「氏名データ」）が同一のテキストを持つ既存のＯＣＲ参照データ（広義には「氏名参照データ」）と一致するにもかかわらず、対応する新規取得の声紋データまたは顔データが既存のＯＣＲ参照データ（広義には「氏名参照データ」）に対応する既存の声紋データまたは既存の顔データと一致しないとき、などである。

そして、ステップＳ１００で同一性矛盾データがあればステップＳ１０２に進んで当該データを破棄しステップＳ１０４に移行する。この場合の破棄対象は認知支援アプリケーション３０に基づく推定アルゴリズムによって決定され、通常は新規取得参照データの方を破棄して既存参照データ間の整合性が崩れないようにする。しかし、新規取得参照データの方を尊重して既存参照データ体系に変更を加えるべき強い蓋然性がある場合は新規取得参照データを尊重し、整合性を保ちつつ認知支援データ部３２内データ体系を改良する。具体的には、矛盾することになる既存参照データの方と破棄してステップＳ１０４に移行する。一方、ステップＳ１００で同一性矛盾新規データがなければ、該当新参照データを認知支援データ部３２に追加してステップＳ１０４に移行する。

ステップＳ１０４では、既存参照データと同一人のものであることが確認された仮人定ＩＤを対応する既存人定ＩＤに書換え、フローを終了する。ここで、「既存人定ＩＤ」とは、サーバにアップロードされた参照データに対し、重複のないよう唯一無二のＩＤとしてサーバ側の管理の元で付与するものであり、他の人からアップロードされた参照データであっても同一人を人定するための参照データであれば同一の既存人定ＩＤが付与される。そして、「既存人定ＩＤ」はこれまでアップロードされたどの参照データにも対応しない人物に対応するものであるときサーバによって新規に付与され、一旦付与されればその後は変更されることなくその人物に対する「既存人定ＩＤ」として使用される。これによって、同一人についての参照データを多数の者から豊富にアップロードすることが可能となり、人定の精度がアップする。一方ステップＳ９８において新規取得参照データと同一人のものと判断すべき既存参照データがない場合は当面仮人定ＩＤを維持し、フローを終了する。

図７は、図５のステップＳ４８における自己参照データ取得処理の詳細を示すフローチャートである。フローがスタートすると、図６の場合と同様、ステップＳ１０６でマイク音声記録を開始するとともに、ステップＳ１０８に移行し、記録された音声に基づく声紋認識を開始する。なお、自己参照データの場合、人定は自分自身であり、氏名データは既知なので、図６のステップＳ７４のような音声言語認識による氏名データステップは置かない。そしてステップＳ１１０に移行する。ステップＳ１１０からステップＳ１１４は図６のステップＳ７６からステップＳ８０と同様なので説明を省略する。

次に、フローはステップＳ１１６に進む。ステップＳ１１６は、図６のステップＳ８２からステップＳ８８に対応するもので、氏名データの取得を行うためのものである。しかし、上記のとおり氏名データは自分自身のものなので、ステップＳ１１６では参照データの取得者ＩＤを読み出せば目的は達成される。そして、ステップＳ１１８に進み、図６におけるステップＳ９０と同様にして、確定した氏名データを記録するとともに記録されたデータに取得日時を付与する処理を開始させる。但し、ステップＳ１１８の場合は、「確定した氏名データ」は取得者ＩＤに対応している。

次に、フローはステップＳ１２０に進み、ステップＳ１１０、ステップＳ１１４およびステップＳ１１８で取得された新規記録参照データに対し、取得者ＩＤを人定ＩＤとして付与する。ステップＳ１２０は図６のステップＳ９４に該当するものであるが、取得者ＩＤは確定しているので仮ＩＤではなく既存人定ＩＤとして新規記録参照データに付与する。そして、フローはステップＳ１２２に進む。ステップＳ１２４からステップＳ１２６は図６のステップＳ９６からステップＳ１００と同様であるので説明を省略する。

但し、ステップＳ１２６で同一性矛盾データがあればステップＳ１２８に進んで既存データとの間での確からしさ判定処理を行う。自己参照データの場合、取得対象は自分自身のみなので人定データと声紋データ顔データの間に基本的には矛盾はない。但し、風邪等により自分の音声が変化している場合等の内的要因、または自分の音声を取得する際のボリュームが小さかったり他にノイズ音源があったりする場合の外的要因で声紋データの信頼性が低いか又は品質が悪い場合、または画像が不鮮明であったり照明が暗かったりして自分の顔データの信頼性が低いか又は品質が悪い場合はありうる。そしてこのような場合、既存の自分の声紋参照データまたは顔参照データと比較して同一人物と認定するのが困難、もしくは他の人物として人定されてしまう可能性がある。ステップＳ１２８の既存データとの間での確からしさ判定処理はこのような場合に対処するために設けられており、認知支援アプリケーション３０に基づく推定アルゴリズムによって機能する。

ステップＳ１３０は上記のようなステップＳ１２８の処理に後続するもので新参照データの確からしさが既存参照データよりも強いか否かをチェックする。そして、新参照データの確からしさの方が強ければステップＳ１３２に進み、新参照データに矛盾する既存参照データを破棄してフローを終了する。これに対し、既存新参照データの確からしさの方が強ければステップＳ１３４に進み、既存参照データに矛盾する新参照データを破棄してフローを終了する。

図８は、図５のステップＳ３６およびステップＳ５０のサーバ連携並行処理の詳細を示すフローチャートである。既に述べたように、サーバ連携並行処理は、人定サーバ６への参照データのアップロード、人定サーバ６からの参照データのダウンロード、および取得データに基づく参照データのサーチ処理等を含むものであり、図８ではこれらの詳細を説明している。なお、図８のサーバ連携並行処理は、後述の図９における携帯電話人定処理、および図１０におけるペアリング人定処理でも機能するものであるが、図８においてまとめて先に説明する。

図８のステップＳ１３６からステップＳ１６２は人定サーバ６への参照データのアップロード処理に、ステップＳ１６４からステップＳ１６６は取得データに基づく参照データのサーチ処理に、ステップＳ１６８からステップＳ１７０は人定サーバ６からの参照データのダウンロード処理にそれぞれ対応する。

図８においてフローがスタートすると、ステップＳ１３６において、携帯電話４が取得した参照データで人定サーバ６に未だアップロードしていないものがあるか否かが改めてチェックされる。これは、図８のサーバ連携並行処理において、参照データのアップロード処理に入る必要がない場合にＳ１３６からステップＳ１６２の実行をスキップするためのものである。そして、ステップＳ１３６において、未アップロード参照データがある場合ステップＳ１３８に移行する。

ステップＳ１３８では、未アップロード参照データの一つを抽出する。そしてステップＳ１４０で抽出した未アップロード参照データに取得者ＩＤを記録する。このように取得者ＩＤは、サーバ側でアップロード者を特定するため参照データのアップロード時に記録される。次いでステップＳ１４２で、アップロードする参照データに既存人定ＩＤが付与されているか否かチェックする。そして既存人定ＩＤが付与されていないものであればステップＳ１４４に移行し、「既存人定ＩＤ／仮人定ＩＤ対照表」のサーチを行う。この対象表は、取得者ＩＤと仮人定ＩＤとの組み合わせと、これに対応する既存人定ＩＤの対象表である。仮人定ＩＤだけだと各取得者が自由に付与するので取得者間で重複する場合があるが取得者ＩＤと組み合わせることで唯一無二の人定を行うデータとなり同一人を人定する唯一無二の既存人定ＩＤと対照させることができる。この対照表はその全貌がサーバで管理されているが、プライバシーを守るため、同じ取得者ＩＤに関するものだけがその取得者ＩＤを有する個人にダウンロードされる。ステップＳ１４４はこのようにしてダウンロードされ認知支援データ部３２に格納された対照表に基づき携帯電話４内部で行うサーチである。

ステップＳ１４４での対照の結果はステップＳ１４２でチェックされ、取得者ＩＤと仮人定ＩＤとの組み合わせに対応する既存人定ＩＤがあれば、ステップＳ１４８に移行して仮人定ＩＤを既存人定ＩＤに書き換え、ステップＳ１５０に移行する。一方、ステップＳ１４６で該当データがなければ仮人定ＩＤを維持したままステップＳ１５０に移行する。また、ステップＳ１４２で既存人定ＩＤが付与されたデータであれば書換えの必要がないのでそのままステップＳ１５０に移行する。

ステップＳ１５０では、以上のような人定ＩＤの調整を行った参照データについてサーバ側と連携してアップロードする処理を行う。この処理の中で、仮人定ＩＤのままでサーバに送信した参照データについてサーバ側で既存人定ＩＤの存在が確認できたとき、または仮人定ＩＤと取得者ＩＤとの組み合わせに対しサーバ側で新規に人定ＩＤ（その後「既存人定ＩＤ」として管理）を付与したときその対照がサーバから返信され、ステップＳ１５２に移行する。

ステップＳ１５２では、仮人定ＩＤのままでサーバに送信した参照データについて既存人定ＩＤとの対照がステップＳ１５０においてサーバから受信されたか否かチェックされる。そして、受信があればステップＳ１５４に進んで送信データの仮人定ＩＤを既存ＩＤに書き換え、ステップＳ１５６に移行する。一方、受信がなければ直接ステップＳ１５６に移行する。ステップＳ１５６では、仮人定ＩＤのままでサーバに送信した参照データに対して新規に付与された人定ＩＤ（その後「既存人定ＩＤ」として管理）との対照がサーバから受信されたか否かチェックされる。そして、受信があればステップＳ１５８に進んで送信データの仮人定ＩＤを新規に付与された人定ＩＤ（その後「既存人定ＩＤ」として管理）に書き換え、ステップＳ１６０に移行する。一方、受信がなければ直接ステップＳ１６０に移行する。

ステップＳ１６０では、ステップＳ１５２およびステップＳ１５６で受信した対照があればこれを認知支援データ部３２の「既存人定ＩＤ／仮人定ＩＤ対照表」に追加して更新する。なお、サーバ側で受信した参照データについては、ステップＳ１５０に対応するサーバ側の処理の一環として、ステップＳ１５４およびステップＳ１５８に対応する人定ＩＤの書換えを行う。また、ステップＳ１５０に対応するサーバ側の処理の一環として、ステップＳ１６０に対応する既存人定ＩＤ／仮人定ＩＤ対照表（サーバ側では全ての取得者のものが総合されている）の更新が行われる。

次いでステップＳ１６２に移行し、未アップロード参照データが他に残っているか否かチェックする。未アップロード参照データが他にあればステップＳ１３８に戻り、次の未アップロード参照データが一つ抽出される。以下、ステップＳ１６２において見アップロード参照データがもう残っていないことが確認されるまでステップＳ１３８からステップＳ１６２が繰り返され、未アップロードデータは一つづつサーバにアップロードされる。なお、ステップＳ１３８からステップＳ１６２の処理において、未アップロードデータは一つづつサーバにアップロードするのに代えて、各未アップロードデータの人定ＩＤの書換え処理だけを先に行い、全ての書換え処理が終わった後一括してサーバへのアップロードを行うようにしてもよい。

次いでステップＳ１６２で、未アップロード参照データが他に残っていないことが確認されるとフローはステップＳ１６４に移行する。また、ステップＳ１３６において未アップロード参照データがないことが確認された場合は直ちにステップＳ１６４に移行する。ステップＳ１６４では携帯電話４内またはこれと連携する補聴器兼用眼鏡型認知支援装置
２の範囲内で人定が可能であったか否かチェックする。そしてこれが出来なかった場合はステップＳ１６６に移行し、人定サーバ６と連携したサーバ内サーチ処理を行い、ステップＳ１６８に移行する。サーバ内サーチ処理の詳細は人定サーバ６の機能として後述する。また、サーバ内サーチ処理は並行処理なので、その完了をまたずステップＳ１６８に移行する。一方ステップＳ１６４において携帯電話４内またはこれと連携する補聴器兼用眼鏡型認知支援装置２の範囲内で人定が可能であったことが検知された場合、直接ステップＳ１６８に移行する。なお、携帯電話４内またはこれと連携する補聴器兼用眼鏡型認知支援装置２の範囲内での人定の詳細は後述する。

ステップＳ１６８では、人定サーバ６が他の取得者から新たに取得した参照データで携帯電話４にまだダウンロードされていないものがあるかチェックする。そして、該当データがあればステップＳ１７０に移行し、参照データダウンロード処理を行ってフローを終了する。ステップＳ１７０は並行処理なのでその完了をまたずフローは終了され、図５のステップＳ３８またはステップＳ５８等に移行する。なお、ステップＳ１７０の処理では、他の取得者から新たに取得した参照データであって、携帯電話４の使用者がアップロードした履歴のある参照データの人定ＩＤと同一人物（携帯電話４の使用者が既に会ったかテレビ電話した人物）に関するものだけがダウンロード対照となる。従って、携帯電話４の使用者が知らない人物のデータがサーバから拡散することはなくプライバシーが守られる。

図９は、図５のステップＳ６６における携帯電話人定処理の詳細を示すフローチャートである。フローがスタートするとステップＳ１７４でペアリング人定処理に移行する割り込みを可能にしてステップＳ１７６に移行する。これによって、図９の処理途中で補聴器兼用眼鏡型認知支援装置２との連携が可能となったとき、図５のステップＳ６４におけるペアリング人定処理に移行することができる。ステップＳ６４におけるペアリング人定処理の詳細は後述する。

ステップＳ１７６では声紋認識を開始し、これと並行してステップＳ１７では、音声言語認識を開始し、さらにこれと並行してステップＳ１８０顔認識を開始する。これらは、図６のステップＳ７２、ステップＳ７４およびステップＳ７８と同様である。また、他者参照データ取得処理等においてすでにこれらが開始されているときはこれらのステップでは何も行わない。

ステップＳ１８２からステップＳ１８６は参照データサーチによる認定支援が必要か否かをチェックするフローである。まず、ステップＳ１８２により人定対象者の音声認識他者氏名データが抽出できたか否かをチェックする。抽出できなければステップＳ１８４に進み、人定対象者から提示された名刺から名刺ＯＣＲデータが取得できたか否かチェックする。名刺ＯＣＲデータが取得されたときはステップＳ１８６に進む。一方ステップＳ１８２により人定対象者の音声認識他者氏名データの抽出が検知できたときは直接ステップＳ１８６に進む。ステップＳ１８６に至ったということは人定対象者の名乗りまたは名刺提示により人定対象者の氏名が判明したことを意味し、通常はこれ以上の人定支援に頼る必要がなくなったことを意味する。しかしながら、名乗りが聞き取れないか肉眼で名刺が読めない等、何らかの理由で人定支援を継続したい場合がある。そこでステップＳ１８６では、操作部３８により人定支援を継続する旨の操作がなされたか否か念のためチェックする。そして所定時間内に該当操作があればステップＳ１８８に移行する。一方、ステップＳ１８４で名刺ＯＣＲデータの取得が検知できなかった場合は、人定対象者の名乗りによっても名刺提示によっても人定対象者の氏名が判明しなかったことを意味する。従ってこの場合もステップＳ１８８に移行する。

ステップＳ１８８では、人定対象者の顔データまたは声紋データまたはその両者が取得できたか否かチェックする。取得があれば、ステップＳ１９０に進み、認知支援データ部３２内をサーチして、これらと一致する顔／声紋参照データを検索する。そしてステップＳ１９２に進み一致データがあったか否かチェックする。ステップＳ１９２で一致データが確認できない場合はステップＳ１９４のサーバ連携処理に入る。ここでのサーバ連携は図８のステップＳ１６６の部分に該当する。その詳細は人定サーバ６の機能として後述する。そして、ステップＳ１９６に進み、一致データがあったか否かチェックする。そして一致データがあればステップＳ１９８に移行する。一方、ステップＳ１９２で一致データがあった場合は直接ステップＳ１９８に移行する。

ステップＳ１９８では、一致したデータが複数あった場合対応する氏名データをクロスチェックする。なお、一致データは一つの場合はステップＳ１９８では何もしない。そして、ステップＳ２００に進み、顔が一致したデータに対応する氏名データと声紋が一致したデータに対応する氏名データに矛盾があるか否かチェックする。そして矛盾がある場合は、いずれを選ぶかは携帯電話４の使用者に任せるため、両方の氏名とも表示候補として採用してステップＳ２０４に移行する。一方、ステップＳ２００で顔が一致したデータに対応する氏名データと声紋が一致したデータに対応する氏名データとの間に矛盾がなく同一人物が特定されたときは直接ステップＳ２０４に移行する。

ステップＳ２０４では人定結果の氏名データを表示する。ここでいう表示とは、表示部３４による視覚的表示と、電話スピーカ３６ｃからの音声出力およびイヤホンジャックからの音声信号出力による聴覚的表示のいずれか、またはその両者を意味する。なお、聴覚的表示の場合、会話と重ならないよう会話進行をモニタして無音期間発生傾向を分析し、できるだけ次に予想される無音期間に合わせるよう人定結果の氏名をアナウンスする。

ステップＳ２０４による人定結果の表示と並行してフローはステップＳ２０６に進み、矛盾データの手動排除処理に入る。この処理は、複数の氏名データが候補として表示されその選択が携帯電話４の使用者に任せられた場合に必要なもので、使用者は操作部３８により該当しない氏名を排除する操作を行う。これによって排除されたデータは以後参照データとしては採用されないようになる。この排除操作の結果はサーバ内サーチを行う際にも反映される。従って、携帯電話４内のサーチによって一度排除されたデータがサーバ内サーチで再びヒットするようなことはない。

ステップＳ２０６の矛盾データ手動排除処理は対象がない場合は直ちに終了し、対象がある場合は排除操作により終了する。所定時間経過しても操作がない場合は予備的に操作を催促した後、自動的に終了する。排除操作なしで終了した場合は以後の人定処理において再び複数の候補が表示される可能性がある。以上のようにしてステップＳ２０６が終了するとステップＳ２０７に移行する。一方、ステップＳ１８６において人定支援継続操作が所定時間内に検知されなかった場合は、人定支援が必要ないのでステップＳ２０８に進み、ステップＳ１７６からステップＳ１８０で開始された声／顔の認識を停止するとともにステップＳ２１０で人定不要表示を行いステップＳ２０７に移行する。この表示も視覚的表示および聴覚的表示を含む。

ステップＳ２０７では面会履歴更新処理を行う。この処理は、人定支援処理の機会に同一の人定対象者毎に面会履歴を蓄積更新していく処理である。具体的には、人定支援処理を通じて得られる面会相手、面会日時、面会機会（面談または電話／テレビ電話）、および携帯電話4のＧＰＳ４０の機能ならびに携帯電話４の外側カメラ３７または補聴器兼用眼鏡型認知支援装置２のカメラ１２により撮像されたデータの建物画像認識等から得られる面会場所のデータが面会の都度、面会履歴として蓄積更新されていく。この処理も並行処理なのでその完了を待たずフローは終了し、図４のステップＳ２６に移行する。

また、ステップＳ１８８で人定対象者の顔データおよび声紋データの取得がいずれも確認できなかった場合またはステップＳ１６６で一致データが確認できなかった場合は、ステップＳ２１２に移行する。ステップＳ２１２ではステップＳ１７６からステップＳ１９０における認識開始から所定時間が経過したか否かチェックし、所定時間の経過がなければステップＳ１８２に戻る。以下、ステップＳ２１２で所定時間の経過が検知されない限りステップＳ１８２からステップＳ１９６およびステップＳ２１２を繰り返し、人定処理の進展がないか待機する。一方ステップＳ２１２で所定時間の経過が検知されたときはステップＳ２１４に進み、ステップＳ１７６からステップＳ１８０で開始された声／顔の認識を停止するとともにステップＳ２１６で人定不能表示を行ってフローを終了する。この表示も視覚的表示および聴覚的表示を含む。

図１０は、図５のステップＳ６４におけるペアリング人定処理の詳細を示すフローチャートである。フローがスタートするとステップＳ２１７で保留人定結果表示処理に入る。この処理は、人定結果が出た時点ですぐに認定結果を知る行動を取るのが失礼な場合、例えば面会終了後にこれをゆっくり確認することを可能にする処理である。具体的には、以前に保留しておいた人定結果が存在することを、例えばバイブやチャイムで通知し、所定時間以内に操作部３８の操作があれば、その人定結果の表示を実行する処理である。ペアリング人定処理にあっては、送信保留していた人定結果の表示データを操作部３８の操作に基づいて補聴器兼用眼鏡型認知支援装置２に送信するようにして表示を可能にする。人定結果表示保留を行うための動作については後述する。なお、このような人定結果保留およびその表示は図１０のペアリング人定処理内の機能として説明しているが、同様の機能は図９における携帯電話人定処理においても採用することができる。特に携帯電話人定処理では、認定結果の確認のために携帯電話４の表示部３４で見ることになり、会話中にそのような行動をとるのは失礼なので、上記で説明した人定結果表示の保留は有用である。ステップＳ２１７は並行処理なので、その完了をまたずステップＳ２１８に移行する。

ステップＳ２１８では、携帯電話人定処理に移行する割り込みを可能にしてステップＳ２２０に移行する。これによって、図１０の処理途中において補聴器兼用眼鏡型認知支援装置２との連携を中止し、図５のステップＳ６６における携帯電話人定処理に移行することができる。

ステップＳ２２０では声紋認識および音声言語認識に使用する音声データを補聴器兼用眼鏡型認知支援装置２から受信する。次いで、ステップＳ２２２では顔認識に使用する顔データを受信する。これらは補聴器兼用眼鏡型認知支援装置２のカメラ１２による人定対象者の顔画像取得とマイク１４による人定対象者の音声取得と連動して並行処理で実行される。そしてこれらの受信と並行してステップＳ２２４の認識開始処理に移行する。この処理は図９のステップＳ１７６からステップＳ１８０と実質的に同じなので説明を省略する。そしてこの処理に並行してステップＳ２２６に移行し、人定不要状況であるか否かチェックする。この処理は図９のステップＳ１８２からステップＳ１８６と実質的に同じなので説明を省略する。

ステップＳ２２６において人定不要状況にないことが検知されるとフローはステップＳ２２８の人定処理に移行する。この処理は図９のステップＳ１８８からステップＳ１９４に相当するので説明を省略する。次いでステップＳ２３０では、一致データがあったか否かがチェックされる。これは、図９のステップＳ１９６に相当するが、ステップＳ７９２での一致の場合も含んでいる。そして一致データがあった場合はステップＳ２３２のクロスチェック処理に入る。この処理は図９のステップＳ１９８からステップＳ２０２に相当するので説明を省略する。これらの処理を経てステップＳ２３４に進み、補聴器兼用眼鏡型認知支援装置２で表示すべき人定結果氏名の表示データを作成する。この表示データには、視野内重畳表示部１８のための視覚的表示データおよびステレオイヤホン２０のための聴覚的表示データのいずれか、またはその両者を含む。

次いで、ステップＳ２３５に進み、作成した人定結果氏名表示データに基づく表示を保留する操作が所定時間以内になされたか否かチェックする。これは、人定結果が出たことを携帯電話４のバイブで知らせるか、またはその旨の信号を補聴器兼用眼鏡型認知支援装置２に送信して視野内重畳表示部１８で簡易表示するかステレオイヤホン２０からのチャイムで知らせるようにし、その後所定時間内に人定結果氏名の表示を保留する操作がなされたかどうかチェックすることによる。所定時間内に操作がないとステップＳ２３６に進み、ステップＳ２３４で作成された人定結果氏名表示データを補聴器兼用眼鏡型認知支援装置２に送信して表示を可能とし、ステップＳ２３８に移行する。ステップＳ２３８およびこれに後続するステップＳ２４０は図９のステップＳ２０６およびステップＳ２０７と同じなので説明を省略する。

一方、ステップＳ２３５で所定時間内に人定結果表示保留の操作があると直接ステップＳ２４０に移行する。この結果ステップＳ２３６の表示データの送信は行われず表示は保留される。このような人定結果の保留は、ステップＳ２１７の説明でも触れたように、図９の携帯電話人定処理においても採用することができる。図９のフローで採用する場合、ステップＳ２３６の「表示データ送信」は「表示部３４による表示」と読み替えるものとする。

一方、ステップＳ２２６において人定不要状況であることが検知されるとステップＳ２４２に進み、ステップＳ２２４で開始された認識処理を停止するとともにステップＳ２４４に移行する。ステップＳ２４４では、人定不要表示データを補聴器兼用眼鏡型認知支援装置２送信し、ステップＳ２４０に移行する。ステップＳ２４４で送信するデータも視覚的表示のためのデータおよび聴覚的表示のためのデータを含む。

また、ステップＳ２３０で一致データが確認できなかった場合は、ステップＳ２４６に移行する。ステップＳ２４６ではステップＳ２２４における認識開始から所定時間が経過したか否かチェックし、所定時間の経過がなければステップＳ２２６に戻る。以下、ステップＳ２４６で所定時間の経過が検知されない限りステップＳ２２６からステップＳ２３０およびステップＳ２４６を繰り返し、人定処理の進展がないか待機する。一方ステップＳ２４６で所定時間の経過が検知されたときはステップＳ２４８に進み、ステップＳ２２４で開始された声／顔の認識を停止するとともにステップＳ２４９に移行して人定不能表示のためのデータを補聴器兼用眼鏡型認知支援装置２送信し、フローを終了する。ステップＳ２４９で送信されるデータも視覚的表示のためのデータおよび聴覚的表示のためのデータを含む。

図１１は、図１および図２に示した実施例の補聴器兼用眼鏡型認知支援装置２における支援装置制御部８の動作を示す基本フローチャートである。フローは補聴器兼用眼鏡型認知支援装置２の電源オンでスタートし、ステップＳ２５０で補聴器兼用眼鏡型認知支援装置２の初期立ち上げ処理を行う。次いで、ステップＳ２５２で通常の補聴器機能の並行処理を開始する。そしてステップＳ２５４に移行し、カメラ１２は主に認知支援のために人定対象者の顔データを取得するために用いられるが、常時起動によって必要に応じ備忘のために録画を行ったり場所データ取得のために建物画像を取得したりするのに活用する。

次いでステップＳ２５６に移行し、補聴器兼用眼鏡型認知支援装置２が携帯電話４とペアリング状態にあるか否かチェックする。ペアリング状態になければステップＳ２５８に進み、携帯電話４で認知支援装置ペアリング操作が行われた信号を受信したか否かチェックする。受信がなければステップＳ２６０に進み、補聴器兼用眼鏡型認知支援装置２側でペアリングのための操作を行ったか否かをチェックする。そして操作が検知されればステップＳ２６２の認知支援装置ペアリング処理に移行する。ステップＳ２５８で認知支援装置ペアリング操作信号受信が検知された場合もステップＳ２６２に移行する。一方、ステップＳ２５６で補聴器兼用眼鏡型認知支援装置２が既に携帯電話４とペアリング状態にあることが検知されると直接ステップＳ２６４に移行する。

以上のようにしてステップＳ２５６からステップＳ２６２を通じてペアリング状態が確立するとステップＳ２６４に移行し、マイク１４で拾う人定対象者の音声データを携帯電話４に送信開始する。次いでカメラ１２からのカメラデータを記録開始する。そしてステップＳ２６８で記録されたカメラデータが顔画像であるか否かがチェックされ、顔画像である判定されるとステップＳ２７０に進み、顔画像のデータを携帯電話４に送信してステップＳ２７２に移行する。ステップＳ２６８で顔画像の判定がなされないときは直接ステップＳ２７２に移行する。

ステップＳ２７２では、記録されたカメラデータが名刺画像であるか否かがチェックされ、名刺画像であると判定されるとステップＳ２７４に進み、名刺画像のデータを携帯電話４に送信してステップＳ２７６に移行する。ステップＳ２７２で名刺画像の判定がなされないときは直接ステップＳ２７６に移行する。以上のようにステップＳ２５４およびステップＳ２６８からステップＳ２７４が補聴器兼用眼鏡型認知支援装置２から携帯電話４に人定対象者から取得したデータを送信する機能である。

ステップＳ２７６では、携帯電話４から人定に関する表示データを受信したか否か検知する。この表示データは上記のように視覚的表示データおよび聴覚的表示データを含み、人定結果の氏名表示データまたは人定不能表示データまたは人定不要表示データである。ステップＳ２７６でこのようなデータの受信が検知されるとステップＳ２７８に進み、視野内重畳表示部１８およびステレオイヤホン２０の駆動を開始してステップＳＳ２８０に移行する。具体的には、視野内重畳表示部１８が駆動されて氏名等が視覚的に表示されるとともに、ステレオイヤホン２０が駆動されて、例えば片側チャンネルから氏名が音声で出力される。また音声出力の場合、既に説明したように、会話相手の声が途切れたことを検知するか会話の空白時間を予想して氏名等の出力を開始する。一方、ステップＳ２７６で人定関連表示データの受信が検知されなければ直接ステップＳＳ２８０に移行する。

ステップＳ２８０では、補聴器兼用眼鏡型認知支援装置２の電源がオフされたか否かがチェックされ、電源オフの検知がなければステップＳ２５６に戻り、以下ステップＳ２８０で電源オフが検知されない限りステップＳ２５６からステップＳ２８０が繰り返される。一方、ステップＳ２８０で補聴器兼用眼鏡型認知支援装置２の電源がオフされたことが検知されるとフローを終了する。

図１２は、図１および図３に示した実施例の人定サーバ６におけるサーバ制御部４２の動作を示す基本フローチャートである。フローはシステム開始でスタートし、ステップＳ２８２でシステム全体に必要な初期立ち上げ処理を行う。次いで、ステップ２８４でいずれかの携帯電話から新たな参照データのアップロードがあったか否かがチェックされる。新参照データのアップロードが検知されるとステップＳ２８６に進み、アップロードされた新参照データが仮人定ＩＤ付きのものか否かがチェックされる。そして仮人定ＩＤ付きであればステップＳ２８８に進み、アップロードされた新参照データに基づき顔データベース４６、声紋データベース４４およびＯＣＲデータベースのサーチ処理に入る。そしてステップＳ２９０で一致データの有無をチェックする。

ステップＳ２９０で一致データが検出されるとステップＳ２９２に進み、複数の参照データにおいて一致があったときはステップＳ２９２で一致データ同士のクロスチェックを行う。そしてステップＳ２９４に進み、クロスチェックの結果として矛盾する可能性のある参照データがないかチェックする。（例えば、新規アップロードされた顔参照データと一致する人定サーバ内の参照顔データがあり且つ新規アップロードされた声紋参照データと一致する人定サーバ内の声紋参照データがあったとき、新規アップロードされた参照データ同士は同一人のものであるにもかかわらず、そのそれぞれと一致した人定サーバ内の参照データ同士の既存人定ＩＤが異なる場合、つまり参照データの方は互いに他人のものだったとき、クロスチェックの結果は矛盾となる。）

そして、ステップＳ２９４で矛盾の可能性が検知されなければステップＳ２９６に移行する。なお、ステップＳ２９０で検知された一致データが一つの時はステップＳ２９２およびステップＳ２９４では何もしない。ステップＳ２９６では、新たにアップロードされた参照データにおける仮人定ＩＤを、これと一致した人定サーバ内の参照データにおける既存人定ＩＤに書き換えてステップＳ２９８に移行する。

一方、ステップＳ２９０において、新規アップロードした参照データが人定サーバ内の参照データのどれとも一致しないと判断されたとき、またはステップＳ２９４においてクロスチェックの結果矛盾可能性のある参照データであると判断されたときはステップＳ３００に移行し、それらの新規アップロードされた参照データの仮人定ＩＤをサーバ内で唯一無二のものとして新規に付与した人定ＩＤに書き換えてステップＳ２９８に移行する。なお、ステップＳ３００で新規に付与した人定ＩＤは、今後はシステムの中で既存人定ＩＤとして取り扱われる。これにより、既存人定ＩＤに基づくデータベースシステムにおいて混同による混乱は生じることはない。しかし、このような処理の結果、同一人物のものであるにもかかわらず異なった既存人定ＩＤを持つ参照データが生じる可能性はある。しかしこのような状況は後述のようにこれらは別途整理される。

ステップＳ２９８では、新規アップロード参照データにおける仮人定ＩＤの書き換えに用いられた既存人定ＩＤまたは新規付与人定ＩＤを該当参照データの取得者ＩＤの持ち主に送信してステップＳ３０２に移行する。ステップＳ２９８によって、仮人定ＩＤで参照データを新規アップロードした携帯電話４側では、人定サーバ側での人定ＩＤの書き換えを知ることができ、図８で説明した携帯電話４側フローにおけるステップＳ１５２からステップＳ１６０を実行することができる。一方、ステップＳ２８６で新参照データが既存人定IDを有するものである場合は、直接ステップＳ３０２に移行する。

ステップＳ３０２では、仮人定ＩＤを既存人定ＩＤまたは新規付与人定ＩＤに書き換えた新規アップロード参照データまたは当初から既存人定ＩＤが付与される新規アップデータ参照データを人定サーバ６の該当するデータベースに格納する。次いでフローはステップＳ３０４のサービス提供処理に移行する。サービス提供処理の詳細は後述するが、サーバ内サーチ処理および参照データの配信処理を含む。この配信処理は、例えば、サーバに新規アップロードされた参照データをアップロード者以外の関係者に配信する処理やサーバ内での参照データの更新を関係者に配信する処理である。ステップＳ３０２を経由してステップＳ３０４に至ったときは、上記サービス提供処理の中の配信処理を行う。なお、ステップＳ３０４における配信処理にあたっては、例えば、顔を盗撮して人定サーバにアクセスした悪意の者にその顔の人物の名前の情報が配信されてしまうようなプライバシーの侵害が生じないよう配慮される。その詳細については後述する。ステップＳ３０４の処理は並行処理なので完了を待たずにステップＳ３０６に移行する。

ステップＳ３０６では、人定サーバ６の定期メンテナンスタイミングが到来したか否かをチェックし、タイミングが到来すればステップＳ３０８の矛盾データ整理およびデータ統合処理に入る。この処理では矛盾データがサーチを混乱させないよう整理するとともに、声紋データおよび顔データが同じ人物であるとの推定確度が所定以上であるにもかかわらず人定ＩＤが異なる場合、人定ＩＤを同じもの（不都合がない限り、先に付与されている人定ＩＤ）に統合する処理である。ステップＳ３０８の処理が完了するとステップＳ３１０のサービス提供に移行する。ステップＳ３０８を経由した場合も、ステップＳ３１０のサービス提供処理では、参照データの配信処理が行われる。但しこの場合はステップＳ３０８の処理の結果が配信される。ステップＳ３１０の処理は並行処理なのでその完了を待たずステップＳ３１２に移行する。一方、ステップＳ３０６で定期メンテナンスタイミングが検知されなかったときもステップＳ３１２に移行する。

ステップＳ３１２では、いずれかの携帯電話から人定サーバ６にサーバ内サーチの要求があったか否かチェックする。サーバ内要求が検知されるとステップＳ３１４に移行する。ステップＳ３１２を経由した場合のサービス提供処理では、サーバ内サーチ処理が行われる。ステップＳ３１４の処理は並行処理なのでその完了を待たずステップＳ３１６に移行する。一方、ステップＳ３１２でサーバ内サーチ要求があったことが検知されない場合は、直接ステップＳ３１６に移行する。ステップＳ３１６ではシステムが終了されたか否かチェックし、システム終了でなければステップＳ２８４に戻る。以下、ステップＳ３１６でシステムの終了が検知されない限りステップＳ２８４からステップＳ３１６を繰り返し、種々のサービス提供に対応する。一方、ステップＳ３１６でシステムの終了が検知されれば、フローを終了する。

図１３は、図１２のステップＳ３０４、ステップＳ３１０およびステップＳ３１４におけるサービス提供処理の詳細を示すフローチャートである。フローがスタートするとステップＳ３１８でサーバ内サーチの要求があったか否かチェックする。要求が検知されるとステップＳ３２０に進む。これは図１２のステップＳ３１２を経由してステップＳ３１４に入った場合に該当する。ステップＳ３２０では、要求のあった携帯電話から人定対象の顔データおよび声紋データのいずれかまたは両者を受信する。そしてステップＳ３２２に進み、受信したデータにより顔データベース４６および声紋データベース４４のいずれかまたはそれぞれ両者を検索する。

検索の結果ステップＳ３２４に至り、一致データがあればステップＳ３２６に進む。ステップＳ３２６では、一致データが複数あった場合その中に矛盾可能性のあるデータが含まれているか否かチェックする。そして矛盾可能性がなければステップＳ３２８に進む。なお、一致データが複数なければステップＳ３２６では何もせずステップＳ３２８に進む。

ステップＳ３２８では、一致データの人定データに対応する氏名データがサーバ内サーチを要求してきた携帯電話から受信された履歴があるか否かチェックする。これはサーバサーチを要求してきた携帯電話の取得者ＩＤを持つすべての氏名データをサーチすることでチェックできる。上記のような履歴がある場合について図２で説明する。例えば、今回のサーバ内サーチ要求において携帯電話から受信した声紋データ（取得者ＩＤ４１２５３７）が声紋参照データ５２の「Ｎｏ．２」の声紋２（人定ＩＤ３８１２９５）と一致したとすると、返信すべきは人定ＩＤ３８１２９５であるが、これは別人の取得者ＩＤ５２１３７８により提供されたものである。しかしながら、同じ人定ＩＤ３８１９２５を持つ顔参照データ５４の「Ｎｏ．４」の特徴画像４およびＯＣＲ参照データ５６の「Ｎｏ．３」のテキスト３の氏名データがともに同じ取得者ＩＤ４１２５３７にて以前にアップロードされており、今回のサーバ内サーチで判明した人定ＩＤ３８１２９５の氏名を取得者ＩＤ４１２５３７の人間が既に知っていたことを意味する。従って、この場合なら人定ＩＤ３８１２９５に対応する氏名データをサーチ結果として返信してもプライバシー保護の観点から問題はないことになる。

一方、ステップＳ３２８で該当する履歴がなかったときは、ステップＳ３３０に移行する。ステップＳ３３０では、一致データが、サーバ内サーチの要求対象データの取得者の自己紹介相手の人定ＩＤであるか否かがチェックされる。上記のような自己紹介相手に関する場合について図２で説明する。例えば、今回のサーバ内サーチ要求において携帯電話から受信した顔データ（取得者ＩＤ５２１３７８）が顔参照データ５４の「Ｎｏ．２」の特徴画像２（人定ＩＤ３８１２９５）と一致したとすると、返信すべきは人定ＩＤ３８１２９５であるが、同じ人定ＩＤ３８１２９５をもつＯＣＲ参照データ５６の「Ｎｏ．３」のテキスト３の氏名データは別人の取得者ＩＤ４１２５３７により提供されたものであり、取得者ＩＤ５２１３７８自身からアップロードされた氏名データは存在しない。従ってこのような場合、一般には、今回サーバ内サーチを求めてきた取得者ＩＤ５２１３７８は、知らない人の顔写真を盗撮して何度もアップロードし、氏名を知ろうとしている恐れがある。

しかしながら、今回サーバ内サーチを求めてきた取得者ＩＤ５２１３７８が顔参照データ５４の「Ｎｏ．２」の特徴画像２（人定ＩＤ３８１２９５）をアップロードしたのと同じ取得日時で、取得者ＩＤ３８１２９５も顔参照データ５４の「Ｎｏ．１」の特徴画像１（人定ＩＤ５２１３７８）およびＯＣＲ参照データ５６の「Ｎｏ．１」のテキスト１をアップロードしている履歴がある。従って、今回サーバ内サーチを求めてきた取得者ＩＤ５２１３７８は人定ＩＤ３８１２９５の人物に名刺を出して自己紹介していると推定され、人定ＩＤ３８１２９５の人物も取得者ＩＤ５２１３７８の人物に名前を知られて異存ない（名刺は出さなかったが口頭で既に名乗っていた）ものと推定される。ステップＳ３３０はこのような自己紹介事情の有無を推定するものである。

以上のようにして、今回サーバ内サーチにおいて一致したデータの人定ＩＤが今回サーバ内サーチを求めてきたデータ取得者が自己紹介した相手の人定ＩＤに相当することがステップＳ３３０で確認された場合はステップＳ３３２に進み、他の取得者から提供されている同一の人定ＩＤに相当する氏名データがあれば、サーバ内サーチを求めてきたデータ取得者に返信する。一方、上記ステップＳ３２８において、一致データが氏名データ受信履歴のある人定ＩＤであると判定されたときも、ステップＳ３３２に進み、サーバ内サーチを求めてきたデータ取得者に一致人定ＩＤの氏名データを返信する。

次いでステップＳ３３４では、今回一致対象となった参照データを、サーバ内サーチを求めてきた携帯電話に配信してステップＳ３３６に移行する。これによって、今回サーバ内サーチを求めてきた携帯電話では、受信した参照データを次回のサーチから携帯電話内サーチに活用できる。一方、ステップＳ３１８でサーバ内サーチ要求が検知されない場合は直接ステップＳ３３６に移行する。これに対し、ステップＳ３２４で一致データが検知できなかった場合、ステップＳ３２６で矛盾可能性データがあった場合、およびステップＳ３３０で一致データがサーバ内サーチの要求対象データの取得者の自己紹介相手の人定ＩＤであることが検知できなかった場合は、それぞれステップＳ３３８に進み、携帯電話に「一致なし」の返信を行ってステップＳ３３６に移行する。以上が、図１２のステップＳ３１４に該当するサーバ内サーチに関するサービス提供処理である。

ステップＳ３３６以降は、サービス提供処理における参照データの配信処理に関するもので、基本的には図１２のステップＳ３０４およびステップＳ３１０における処理に該当する。ステップＳ３３６では、人定サーバに参照データをアップロードした実績のある取得者ＩＤに対し未配信の参照データがあるか否かチェックする。該当データがあればステップＳ３４０に進み他のデータとのクロスチェックの結果矛盾可能性のあるデータであるか否かがチェックされる。そして矛盾がなければステップＳ３４２およびステップＳ３４４のチェックに入る。これらのチェックは参照データの配信によってプライバシーが侵害される恐れがないかどうかをチェックするためのもので、基本的には上記のステップＳ３２８とステップＳ３３０と同様なので説明を省略する。

なお、ステップＳ３４４における自己紹介相手であるかどうかの推定には、既に説明したように、図２の声紋データベースをチェックし、例えば、「５２１３７８」というＩＤが付与された同一人物の「声紋１」および「声紋３」が別の機会に取得され、それぞれ「Ｎｏ．１」のデータにおける「３８１２９５」というＩＤが付与された取得者と「Ｎｏ．３」のデータにおける「４１２５３７」というＩＤが付与された取得者からともにアップロードされている状態もチェックされる。この場合は、「５２１３７８」というＩＤが付与された人物は「Ｎｏ．１」のデータにおける「３８１２９５」というＩＤが付与された人物と「Ｎｏ．３」のデータにおける「４１２５３７」というＩＤが付与された人物の両者に自己紹介しており、自分の「声紋１」と「声紋３」が参照データとして両者に共有されることで、声紋により自分の氏名が両者にそれぞれ明らかになっても異論はない状態にある。そこで「Ｎｏ．１」のデータと「Ｎｏ．３」のデータは「３８１２９５」および「４１２５３７」というＩＤが付与された人物にそれぞれ共有されるようお互いの携帯電話における認知支援データ部に配信してもよい参照データと判断される。なお、上記のように、データの共有はあくまでＩＤで行われ、取得者ＩＤと他人の氏名の関係は公開されることがないので、このような配信によるデータ共有により、ある人物が自分以外の誰と面識があるか等のプライバシー情報が漏れることはない。

ステップＳ３４２において、配信候補の参照データが氏名データ受信履歴のある人定ＩＤであったとき、またはステップＳ３４４において配信候補の参照データが当該取得者の自己紹介相手の人定ＩＤであったときはステップＳ３４６に移行し、当該取得者ＩＤに対して当該参照データを配信してフローを終了する。一方ステップＳ３３６で該当データでなかったとき、または、ステップＳ３４０で矛盾可能性のあるデータであったとき、またはステップＳ３４４で該当データでなかったときは配信は行わずフローを終了する。

なお、本発明の種々の特徴は上記の実施例に限られるものではなく、広く他の実施に応用可能なものである。例えば、本発明の実施例は、補聴器兼用眼鏡型認知支援装置２、携帯電話４および人定サーバ６によりシステム構成されているが、例えば補聴器兼用眼鏡型に限らない他の認知支援装置に基づいて実施してもよい。また、電話機能への適用に注目するのであれば、補聴器兼用眼鏡型認知支援装置２を省略してもよい。この場合例えば名刺のＯＣＲ読み取りの入力は携帯電話４のカメラ３７によって行われる。なお、認知支援アプリ３０は、スマートフォンにおけるアプリの一種として携帯電話４にダウンロードすることができる。さらに携帯電話とサーバとの間のデータのダウンロードおよびアップロード、並びにデータ共有に関する種々の特徴は、認知支援のデータに限らず広く携帯電話とサーバとの間の連携機能として活用できる。

本発明は、人の特定や認証等を活用した認知支援システム、認知支援装置、および認知支援サーバ等に適用でき、例えば認知症患者が相手の氏名の失念した場合等における援を行い、使用者の自信喪失を防止して社交性の維持に寄与することができる。

４４、４６、４８データベース
４２サーバ制御部
２６携帯電話制御部
４携帯電話
６サーバ

Claims

携帯電話であって、前記携帯電話が備える面会履歴データ記録部と、面会者を人定するための人定データを検知するために前記携帯電話が備える人定データ検知部と、面会日時データを検知するために前記携帯電話が備える面会日時データ検知部と、前記人定データ検知部が検知する前記人定データに基づく前記面会者の人定結果および前記面会日時データ検知部が検知する前記面会者との前記面会日時データを面会の都度前記面会履歴データ記録部に蓄積記録して同一人物との面会履歴を更新するために前記携帯電話が備える制御部とを有することを特徴とする携帯電話。
前記人定データ検知部は前記面会者の名刺より前記面会者の人定データを検知することを特徴とする請求項１記載の携帯電話。
前記人定データ検知部は前記面会者の音声より前記面会者の人定データを検知することを特徴とする請求項１または２記載の携帯電話。
前記人定データ検知部は前記面会者の顔画像より前記面会者の人定データを検知することを特徴とする請求項１から３のいずれかに記載の携帯電話。
面会場所データ検知部を有し、前記制御部は前記面会場所データ検知部が検知する前記面会者との面会場所データを面会の都度前記面会履歴データ記録部に蓄積記録して同一人物との面会履歴を更新することを特徴とする請求項１から４のいずれかに記載の携帯電話。