JP6669342B2 - 認知支援システム、認知支援装置、および認知支援サーバ - Google Patents

Description

本発明は、認知支援システム、認知支援装置、および認知支援サーバに関する。

近年、人の特定や認証については種々の提案が行われている。例えば、眼鏡装置に、視線センサと撮影手段と人物情報を表示する表示手段とを設けるとともに、視線の検出結果、または撮影手段で撮影された画像内での顔検出状態が検索開始条件を満たしたときに、検出されている顔に対する該当レコードの有無を検索し、該当レコードがない場合に、新たなレコードを作成して記憶させ、該当レコードがある場合に、該当レコードから表示すべき人物情報を取り出して表示手段に表示させることが提案されている。（特許文献１）

一方、ユーザ端末から利用者が発した音声を変声ロジックにより変声した音声である変声音声を受信する変声音声受信部と、予め登録された利用者の音声を変声ロジックにより変声した音声と受信した変声音声とを突合して声紋認証行う声紋突合部とを有する認証サーバも提案されている。（特許文献２）

しかしながら、人の特定や認証およびその活用については、さらに検討すべき課題が残されている。

特開２０１０−０６１２６５号公報 特開２０１６−１３６２９９号公報

本発明が解決しようとする課題は、上記に鑑み、人の特定や認証等を活用した認知支援システム、認知支援装置、および認知支援サーバ等を提案することにある。

上記の課題を解決するため本発明は、会話相手の声を拾うマイクと、会話相手の人定情報を出力するイヤホンと、マイクが拾う音声が途切れたことを検知してイヤホンからの人定情報の出力を開始する制御部とを有することを特徴とする眼鏡型認知支援装置を提供する。

上記の構成によって、人定情報を音声によって使用者に伝達する場合、少なくとも人定情報の出力開始時点では会話相手の声がない状態を確保することができ、人定情報の音声が会話相手の声に重なって会話相手の声を妨害する一方で会話相手の声があることにより人定情報の音声も妨害され、この結果両者とも聞き取れにくくなるような不具合を回避する。

本発明の具体的な特徴によれば、眼鏡型認知支援装置は、眼鏡レンズと、前記眼鏡レンズを透して会話相手が見える視野内に会話相手の人定情報を重畳表示する表示部とを有する。

上記の構成によって、聴覚的な手段に加え視覚的手段によっても人定情報を伝達できる。また、視覚的情報についても、会話相手が見える視野内に会話相手の人定情報を重畳表示するので、会話相手が視野内から消えることを防止できる。さらに人定情報が視野を妨害しないよう視野下部等の縁部分に人定表示するのが望ましい。

本発明の他の具体的な特徴によれば、眼鏡型認知支援装置は、マイクが拾う相手の声を増強してイヤホンから出力する補聴器として兼用される。

本発明の他の具体的な特徴によれば、イヤホンはステレオイヤホンであり、ステレオイヤホンの片側チャンネルのみから人定情報を出力する。

本発明の他の具体的な特徴によれば、眼鏡型認知支援装置は、人定情報を提供するための支援機能を有する携帯電話と組み合わせられ、人定情報を前記携帯電話から受け取る。

上記のように、本発明によれば、人の特定や認証等を活用した認知支援システム、認知支援装置、および認知支援サーバ等を提案することが可能となる。これによって相手の氏名の失念した場合等における認知支援を行い、使用者の自信喪失を防止して社交性の維持に寄与することができる。

本発明の実施例に関する認知支援システム全体を示すブロック図を示した図面代用写真である。 図１の実施例における人定サーバの声紋データベース、顔データベースおよびＯＣＲデータベースにそれぞれ格納される参照データ構造およびデータ例を示す表を示した図面代用写真である。

図１は、本発明の実施例に関する認知支援システム全体を示すブロックであり、システムは補聴器兼用眼鏡型認知支援装置２、携帯電話４および人定サーバ６を有する。補聴器兼用眼鏡型認知支援装置２は、支援装置制御部８によって制御される。記憶部１０は、支援装置制御部８を動作させるためのプログラムを記憶するとともに、カメラ１２からの顔画像データ、マイク１４からの音声データなどのデータ記憶も行う。補聴器兼用眼鏡型認知支援装置２は、また、支援装置近距離通信部１６が受信する表示データおよびステレオ音声データに基づき、それぞれ視野内重畳表示部１８による表示およびステレオイヤホンによる音声出力を制御する。

補聴器兼用眼鏡型認知支援装置２は、まず、両眼レンズ２２を有する通常の眼鏡として機能し、視野内重畳表示部１８はこの両眼レンズ２２を透した視野内に表示データを重畳表示する。また、補聴器兼用眼鏡型認知支援装置２は、補聴器としても機能し、マイク１４で拾った会話相手の声等の音声データをステレオイヤホン２０に増強出力する。

補聴器兼用眼鏡型認知支援装置２は、さらに、カメラ１２に基づく顔検知によって人定した会話相手の氏名等を視野内重畳表示部１８に表示する。この目的のため、カメラ１２は使用者の頭が眼前の会話相手に向けられたとき会話相手の顔が自然に撮像範囲に入るよう補聴器兼用眼鏡型認知支援装置２に配置される。さらに、補聴器兼用眼鏡型認知支援装置２はマイク１４に基づく声紋検知によって人定した眼前の会話相手の氏名等をステレオイヤホン２０の片側チャンネルから音声出力する。顔検知による人定と声紋検知による人定はクロスチェックされ、万一相違する場合は後述の認知支援アプリ３０に基づく推定アルゴリズムに従ってより確からしい人定が採用される。以上の構成によって、対面する相手の氏名を思い出せない場合における認知症の患者等の認知支援を行う。相手の氏名の失念は認知症ならずとも加齢に伴って発生する現象であるが、補聴器兼用眼鏡型認知支援装置２は、上記のような支援によって使用者の自信喪失を防止し、社交性の維持に寄与するものである。

上記の認知支援機能のため、補聴器兼用眼鏡型認知支援装置２は、携帯電話４および人定サーバ６と連携している。記憶部１０に記憶されたカメラ１２からの顔画像データおよびマイク１４からの音声データは、記憶部１０から読み出され、支援装置近距離通信部１６から携帯電話近距離通信部２４に送信される。これらの近距離通信部は無線ＬＡＮまたは赤外線通信が可能なものが採用される。携帯電話制御部２６は、受信した顔画像データおよび音声データを記憶部２８に記憶させる。記憶されたこれらのデータは、認知支援アプリケーション（以下、「認知支援アプリ」と称する）３０の処理プログラムに基づく携帯電話制御部２６の機能により、認知支援データ部３２に格納されている参照データと照合され、会話相手の人定をおこなう。この人定にもとづく会話相手の氏名等のデータは、携帯電話近距離通信部２４から支援装置近距離通信部１６に送信され、上記のように視野内重畳表示部１８に表示されるとともに、ステレオイヤホン２０の片側チャンネルから音声出力される。なお上記の会話相手の氏名等のデータは表示部３４にも表示される。

携帯電話制御部２６は、本来、電話機能部３６を含む携帯電話４全体を制御するためのもので、記憶部２８に記憶されるプログラムによって動作する。操作部３８および表示部３４も、本来、電話機能部３６の機能に関する操作および表示のために設けられているものであるが、上記の認知支援のためにも兼用される。また、携帯電話４に本来備わっているカメラ３７は、電話機能部３６内のマイクとの組み合わせによりテレビ電話が可能なものであるが、これらカメラ３７および電話機能部３６内のマイクも後述のように、認知支援アプリ３０に基づいて認知支援に活用される。

携帯電話４に本来備わっているグローバルポジショニングシステム４０（以下、「ＧＰＳ」と称する）は、認知支援アプリ３０の処理プログラムに基づく携帯電話制御部２６の機能により、使用者の現在位置の認知支援、および自宅や訪問先等の行動に関する認知支援等にも活用される。

携帯電話４のオプティカルキャラクターリーダ３９（以下「ＯＣＲ」と称する）は、相手の名刺の画像から相手の氏名を読み取ってテキストデータ化し、顔検知による人定および声紋検知による人定と関連付けて認知支援データ部３２に格納させる。この目的のため、使用者の頭が相手から受け取った名刺に向けられたとき、カメラ１２が撮像範囲に入る相手の氏名の画像を撮像して記憶部１０に記憶させるとともに、これを読み出して支援装置近距離通信部１６から携帯電話近距離通信部２４に送信する。

携帯電話４は、電話機能部３６によってインターネット４１を介し人定サーバ６と交信可能である。人定サーバ６は、サーバ制御部４２、声紋データベース４４、顔データベース４６、ＯＣＲデータベース４８および入出力インターフェース５０を有し、他の携帯電話および他の認知支援装置と連携している。そして、種々の機会において取得される同一人物の声紋データ、顔データおよびＯＣＲデータをプライバシー厳守の条件下で蓄積するとともに共有を図り、人定のための参照データの精度を向上させている。なお、携帯電話４の認知支援データ部３２に格納されている参照データのデータ構造は、声紋データベース４４、顔データベース４６、ＯＣＲデータベース４８に蓄積されている参照データと同じものであり、そのうち、携帯電話４の使用者に対し自己紹介された人物に関するものであって他の機会に取得された参照データが人定サーバ６から携帯電話４の認知支援データ部に提供される。また、逆に、補聴器兼用眼鏡型認知支援装置２にて取得された参照データは、携帯電話４のから認知支援データ部３２から人定サーバ６に送信され、同一人物から自己紹介を受けている携帯電話に提供される。人定サーバ６の詳細は後述する。

携帯電話４における認知支援アプリ３０および認知支援データ部３２は、補聴器兼用眼鏡型認知支援装置２のカメラ１２およびマイク１４だけでなく、携帯電話の電話機能部３６およびカメラ３７も活用して機能する。まず、電話機能部３６は通話により相手の声を受信するが、認知支援アプリ３０および認知支援データ部３２は電話機能部３６による通話相手の声紋による人定によっても認知支援を行う。さらにカメラ３７によって撮像される使用者の顔データは認知支援のための参照データとして人定サーバ６に提供される。

次に、人定のための参照データの取得について説明する。まず顔データについては、使用者の頭が初対面の会話相手に向けられたときカメラ１２が会話相手の顔を撮像し、記憶部１０、支援装置近距離通信部１６、携帯電話近距離通信部２４を介して認知支援データ部に顔特徴データの抽出とともに格納される。さらに同じ機会における初対面の相手の声がマイク１４によって拾われ、同様に、記憶部１０、支援装置近距離通信部１６、携帯電話近距離通信部２４を介して認知支援データ部に声紋データの抽出とともに音声データとして格納される。

以上のようにして取得された顔データと声紋データが誰のものであるかについては、第一に自己紹介における相手の音声を活用し、さらに自己紹介の際に名刺が手渡された場合はその情報を活用する。まず、音声の活用について説明すると、認知支援アプリ３０は認知支援データ部３２に格納された音声データの冒頭部分から言語情報としての自己紹介部分を抽出し、さらにその中から言語情報としての氏名部分を抽出する。このようにして言語情報として認識された氏名データが顔データと声紋データと関連付けられ、認知支援データ部に格納される。このように音声データは、声紋という人定情報と、氏名という言語情報という二重の意義を持つものとして活用される。なお、音声データ取得は、目前の会話相手の声を上記のように補聴器兼用眼鏡型認知支援装置２のマイク１４で拾う場合と、携帯電話４の通常通話の際に受信する相手の声を活用する場合が可能である。

さらに、名刺が手渡された場合は、上記のように使用者の頭が相手から受け取った名刺に向けられたとき、カメラ１２がこれを撮像し、携帯電話４のＯＣＲ３９でテキストデータ化することにより氏名データとして顔データと声紋データと関連付け、認知支援データ部に格納する。なお、名刺が手渡される場合、単に「こういう者です」と言うだけで名乗らない場合があり、上記のようなＯＣＲ３９でのテキスト化が有用となる。

また、音声による名乗りと名刺の受け取りの両者があった場合は、音声データの言語情報に基づく氏名データと携帯電話４のＯＣＲ３９に基づく氏名データはクロスチェックされ、万一相違する場合は認知支援アプリ３０に基づく推定アルゴリズムに従ってより確からしい氏名データがこの場合、不鮮明で判読が困難な場合を除き、名刺からの情報が優先される。

次に、再会時について説明する。再会時はわざわざ名乗らない可能性があるが、その時相手の名前が思い出せないようなことが続くと、自信を失って人に会うのを避けるようになりがちである。電話の場合も、相手の声と顔は明確に認知できるが名前が出てこないようなことが続くと、電話を取るのを避けるようになりがちである。これらの場合の支援として、補聴器兼用眼鏡型認知支援装置２のマイク１４により再会者の声が拾われ、支援装置近距離通信部１６と携帯電話近距離通信部２４との通信により携帯電話制御部２６に送られる。そして、上記のように認知支援アプリ３０の処理プログラムに基づく携帯電話制御部２６の機能により、認知支援データ部３２に格納されている声紋の参照データとの照合が行わる。そして両者が一致すると声紋データに対応づけられている氏名等のデータが携帯電話近距離通信部２４から支援装置近距離通信部１６に送信され、視野内重畳表示部１８に氏名が視覚的に表示されるとともに、ステレオイヤホン２０の片側チャンネルから氏名が音声で出力される。

再会時には、同様のことが顔データについても行われる。すなわち、使用者の頭が会話相手に向けられたとき、補聴器兼用眼鏡型認知支援装置２のカメラ１２により再会者の顔が撮像され、支援装置近距離通信部１６と携帯電話近距離通信部２４との通信により携帯電話制御部２６に送られる。そして、上記のように認知支援アプリ３０の処理プログラムに基づく携帯電話制御部２６の機能により、認知支援データ部３２に格納されている顔の参照データとの照合が行わる。そして両者が一致すると顔データに対応づけられている氏名等のデータが携帯電話近距離通信部２４から支援装置近距離通信部１６に送信され、視野内重畳表示部１８に氏名が視覚的に表示されるとともに、ステレオイヤホン２０の片側チャンネルから氏名が音声で出力される。なお、声紋データによる人定と顔データによる人定がクロスチェックされ、万一不一致の時はそのいずれかが正しいと推定することは上記したとおりである。

なお上記の認知支援において、視野内重畳表示部１８に氏名等が視覚的に表示される場合は、両眼レンズ２２を透した視野内に表示データを重畳表示するので、両者が混合する可能性は低いが、通常の視野を遮らない氏名等は視野下部等の縁部分に表示するのが望ましい。一方、ステレオイヤホン２０からの音声により氏名等を伝える場合は、会話相手の声と重なって両者とも聞き取れにくくなる恐れがある。従って、上記のようにステレオイヤホン２０の片側チャンネルのみから氏名を伝えることにより両方の耳から入ってくる眼前の会話相手の声との弁別を容易にする。補聴器としての使用の場合は、ステレオイヤホン２０の片側チャンネルから氏名を出力する場合、増強された会話相手の声の出力はもう一方のチャンネルのみから出力するようにする。また、ステレオイヤホン２０の片側チャンネルから氏名を出力するのに代え、会話相手の声が途切れたことを検知してその空白時間帯に氏名の出力を開始するようしてもよい。あるいは、ステレオイヤホン２０の片側チャンネルから氏名の出力と会話相手の声が途切れた空白時間帯における氏名の出力を併用してもよい。

図２は、人定サーバ６における声紋データベース４４、顔データベース４６およびＯＣＲデータベースにそれぞれ格納される声紋参照データ５２、顔参照データ５４およびＯＣＲ参照データ５６のデータ構造およびデータ例を示すものである。図１のサーバ制御部４２はこのようなデータ構造のデータに基づき、多数の携帯電話と連携して以下に説明するようなデータ管理を行う。図２におけるそれぞれの参照データのデータ構造は、例えば声紋参照データ５２では、「Ｎｏ．」、「人定ＩＤ」、「取得者ＩＤ」、「取得日時」、「声紋データ」よりなる。そして、例えば「Ｎｏ．１」のデータは、「５２１３７８」というＩＤが付与された人物を人定するための参照用「声紋データ」であることを示している。なお、人定ＩＤに対応する人物の実際の氏名は人定サーバ６には登録されているが公開されることはない。また、声紋参照データ５２における「５２１３７８」というＩＤはあくまで「声紋１」が抽出された音声データから抽出された言語情報に基づく氏名データであり、言語認識誤りの可能性を含んでいる。

そして、「Ｎｏ．１」のデータは、「３８１２９５」というＩＤが付与された人物が「２０１８／０３／３０」の「１２：５６」という日時に取得したものとして人定サーバ６に提供されたものであることを示している。従ってこの参照データにおける声紋データを現に会話している相手から取得した声の声紋と比較して一致すれば、相手は「５２１３７８」というＩＤが付与された人物であると人定できることになる。

声紋参照データ５２のデータは、自分が自己紹介を受けた人物であることを条件に、他人が取得した声紋データであっても人定サーバ６から自分の携帯電話４の認知支援データ部３２に参照データとしてダウンロードされる。換言すると、認知支援データ部３２には自分の補聴器兼用眼鏡型認知支援装置２および携帯電話４にて取得した声紋参照データに加え、上記の条件により人定サーバ６からダウンロードされたものが含まれており、これが日々更新される。

具体的に説明すると、声紋参照データ５２における「Ｎｏ．３」のデータは、「５２１３７８」というＩＤが付与された人物から自己紹介を受けた「４１２５３７」というＩＤが付与された別の人物から提供されている。このことから、「５２１３７８」というＩＤが付与された人物は、「Ｎｏ．１」のデータにおける「３８１２９５」というＩＤが付与された人物と「Ｎｏ．３」のデータにおける「４１２５３７」というＩＤが付与された人物の両者に自己紹介しており、自分の「声紋１」と「声紋３」が参照データとして両者に共有されることで、声紋により自分の氏名が両者にそれぞれ明らかになっても異論はない状態にある。そこで「Ｎｏ．１」のデータと「Ｎｏ．３」のデータは「３８１２９５」および「４１２５３７」というＩＤが付与された人物にそれぞれ共有されるようお互いの携帯電話における認知支援データ部にダウンロードされる。このようにして、自分が自己紹介を受けた人物であることを条件に、異なる機会に他人が取得した同一人物の声紋データが共有され、そのクロスチェックにより声紋認証の精度と効率のアップが図られる。なお、データの共有はあくまでＩＤで行われ、上記のように、取得者ＩＤと他人の氏名の関係は公開されることがないので、このようなデータ共有によりある人物が自分以外の誰と面識があるか等のプライバシー情報が漏れることはない。

顔参照データ５４のデータ構造は、参照データの部分が顔データの特徴画像であることを除き、声紋参照データ５２と同様である。また、顔参照データ５４における「人定ＩＤ」も、声紋参照データ５２と同様、あくまで「顔データ」が抽出された際に原則として音声データから抽出された言語情報に基づく氏名データであり、言語認識誤りの可能性を含んでいる。

ここで、声紋参照データ５２と顔参照データ５４とを比較すると、「Ｎｏ．１」と「Ｎｏ．２」のデータにおける「人定ＩＤ」と「取得者ＩＤ」が入れ替わっているだけで、「取得日時」は同一である。これは両者が面会した同じ機会に人定サーバ６にアップロードされたデータであることを示している。そして両者の顔、声紋、言語情報がその機会にすべて順調に取得されたことを示している。

また、声紋参照データ５２の「Ｎｏ．４」に対応するデータが顔参照データ５４としてアップロードされていないので、このデータは音声のみの電話にて取得されたものであると推定される。一方、顔参照データ５４の「Ｎｏ．４」に対応するデータが声紋参照データ５２としてアップロードされていないので、顔参照データ５４の「Ｎｏ．４」のデータは聴覚障害者等による音声なしの面会にて取得されたものであると推測される。この場合、顔参照データ５４の「Ｎｏ．４」における「人定ＩＤ」は、後述のＯＣＲデータ（名刺だけでなく筆談による氏名伝達を含む）とのクロスチェックによるものか、または携帯電話４の操作部３８による手動入力であると推測される。

ＯＣＲ参照データ５６のデータ構造は、参照データの部分がＯＣＲデータの「テキスト」であることを除き、声紋参照データ５２と顔参照データ５４と同様である。ただし、これらとは異なり、名刺文字不鮮明または難読文字によるＯＣＲ誤りの場合を除き、ＯＣＲデータにおける「人定ＩＤ」は直接データであるという意味で声紋参照データ５２や顔参照データ５４よりも信頼性が高い。なお、同一機会に対応すると考えられる声紋参照データ５２および顔参照データ５４のそれぞれ「Ｎｏ．２」のデータに対応するデータがこの機会にＯＣＲ参照データ５６としてアップされていない。従って、このとき「５２１３７８」というＩＤが付与された人物に対して「３８１２９５」というＩＤが付与された人物からの名刺は提示されなかったものと推定される。しかしながら、ＯＣＲ参照データ５６の「Ｎｏ．３」としてアップされたデータによれば「３８１２９５」というＩＤが付与された人物からの名刺が「４１２５３７」というＩＤが付与された別人物に提示されている。「５２１３７８」というＩＤが付与された人物は「３８１２９５」というＩＤが付与された人物から自己紹介を受けているので、この人物は自分の名前を名刺により特定できるデータが伝達されても異論はない状態にある。そこでＯＣＲ参照データ５６の「Ｎｏ．３」のデータが「５２１３７８」というＩＤが付与された人物の携帯電話における認知支援データ部にダウンロードされる。このようにして、自分が自己紹介を受けた人物であることを条件に、異なる種類のものあっても別の機会に他人が取得した同一人物の参照データが共有され、その異なる種類の参照データのクロスチェックにより支援の精度と効率のアップが図られる。

なお、本発明の種々の特徴は上記の実施例に限られるものではなく、広く他の実施に応用可能なものである。例えば、本発明の実施例は、補聴器兼用眼鏡型認知支援装置２、携帯電話４および人定サーバ６によりシステム構成されているが、例えば補聴器兼用眼鏡型に限らない他の認知支援装置に基づいて実施してもよい。また、電話機能への適用に注目するのであれば、補聴器兼用眼鏡型認知支援装置２を省略してもよい。この場合例えば名刺のＯＣＲ読み取りの入力は携帯電話４のカメラ３７によって行われる。なお、認知支援アプリ３０は、スマートフォンにおけるアプリの一種として携帯電話４にダウンロードすることができる。

本発明は、人の特定や認証等を活用した認知支援システム、認知支援装置、および認知支援サーバ等に適用でき、例えば認知症患者が相手の氏名の失念した場合等における援を行い、使用者の自信喪失を防止して社交性の維持に寄与することができる。

１４ マイク
２０ イヤホン
２６、３０ 制御部
２２ 眼鏡レンズ
４ 携帯電話

Claims (4)

1. 対面する相手の氏名を思い出せない場合における認知支援のために手動操作される操作部を有する携帯電話と組み合わせられ、前記相手の声を拾うマイクと、前記相手の人定情報を出力するイヤホンと、前記マイクが拾う前記相手の声を増強して前記イヤホンから出力することで補聴器として機能するとともに前記マイクが拾う前記相手の声に基づき前記人定情報を取得し、前記補聴器としての増強および前記人定情報の取得のために前記マイクが拾う前記相手の音声が途切れたことを検知して前記相手の声に基づき取得した前記人定情報の前記イヤホンからの出力を開始する制御部とを有することを特徴とする補聴器兼用認知支援装置。
2. 眼鏡レンズと、前記眼鏡レンズを透して前記相手が見える視野内に前記相手の人定情報を重畳表示する表示部とを有し眼鏡型として構成されることを特徴とする請求項１記載の補聴器兼用認知支援装置。
3. 前記イヤホンはステレオイヤホンであり、前記ステレオイヤホンの片側チャンネルのみから前記人定情報を出力することを特徴とする請求項１または２記載の補聴器兼用認知支援装置。
4. 前記携帯電話は人定情報を提供するための支援機能を有し、前記人定情報を前記携帯電話からも受け取ることを特徴とする請求項１から３のいずれかに記載の補聴器兼用認知支援装置。