JP7008352B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。

従来より、認証手法としての顔認証は利用されている。また、顔認証に関連する技術も提案されている（例えば特許文献１参照）。

特開２０２０－０３８５４５号公報

しかしながら、現段階における技術水準では、顔認証のみによる抜け目の無い完全な認証は困難である。例えば、顔の撮像画像のデータの解像度の違いや、ピントのズレ、カメラと認証の対象との距離の違いなどによって認証結果に差異が生じることがある。

本発明は、このような状況に鑑みてなされたものであり、顔認証に用いられる情報と、それ以外の情報とを用いた総合的な認証を行うことで、より抜け目のない認証を行うことを目的とする。

上記目的を達成するため、本発明の一態様の情報処理装置は、
ユーザの顔の撮像画像に基づく第１情報を取得する第１取得手段と、
当該ユーザの１以上のコンテクストデータに基づく第２情報を取得する第２取得手段と、
前記第１取得手段により取得された前記第１情報と、前記第２取得手段により取得された前記第２情報とに基づく判断結果に基づいて、前記ユーザの認証を行う認証手段と、
を備える。

本発明の一態様の情報処理方法及びプログラムは、上述の本発明の一態様の情報処理装置に対応する情報処理方法及びプログラムである。

本発明によれば、顔認証に用いられる情報と、それ以外の情報とを用いた総合的な認証を行うことで、より抜け目のない認証を行うことができる。

本発明の情報処理装置の一実施形態に係るサーバが適用される情報処理システムの適用対象となる本サービスの概要を示す図である。 ユーザの顔関連情報及びコンテクスト関連情報が取得されるタイミングの具体例を示す図である。 サーバによる総合認証の具体例を示す図である。 サーバによる総合認証の具体例を示す図である。 サーバによる総合認証の具体例を示す図である。 本発明の一実施形態に係るサーバが適用される情報処理システムの構成の一例を示すブロック図である。 図６の情報処理システムのうち、サーバのハードウェア構成の一例を示すブロック図である。 図７のサーバにより実行が制御される処理のうち、総合認証処理を実現させる機能的構成の一例を示す機能ブロック図である。 図８の機能的構成を有するサーバにより実行が制御される処理のうち、総合認証処理の流れを示すフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

まず、図１乃至図５を参照して、本発明の情報処理装置の一実施形態に係るサーバ１が適用される情報処理システム（後述する図６参照）の適用対象となるサービス（以下、「本サービス」と呼ぶ）の概要について説明する。

図１は、本発明の情報処理装置の一実施形態に係るサーバが適用される情報処理システムの適用対象となる本サービスの概要を示す図である。

本サービスは、ユーザＵの認証が行われる際に提供されるサービスである。ユーザＵは特に限定されず、本サービスによる認証の対象となり得るすべての人間が含まれる。
ユーザＵの認証を行う者（図示せず）は、本サービスを利用することで、ユーザＵの顔関連情報と、ユーザＵのコンテクスト関連情報とに基づいて総合的に行われる精度の高い認証（以下、「総合認証」と呼ぶ）を行うことができる。

「顔関連情報」とは、ユーザＵの顔に関する情報のことをいう。顔関連情報には、ユーザＵの顔の撮像画像のデータ自体、ユーザＵの顔認証に用いるための特徴量等に変換されたデータ、ユーザＵの顔認証の結果を示す情報等が含まれる。

「コンテクスト関連情報」とは、ユーザＵのコンテクストデータに基づく情報のことをいう。「コンテクストデータ」とは、ユーザＵの内的状態と外的状態とのうち少なくとも１以上の状態を示すデータのことをいう。即ち、１つのコンテクストデータは、ユーザＵの「内的状態」と「外的状態」とのうちいずれか１つ以上の状態を示すデータとなる。ここで、「内的状態」とは、ユーザＵ自体をセンシングの対象とすることで得られた各種のデータにより示される、ユーザＵの状態のことをいう。「内的状態」を示すデータには、例えば、測定や調査等により得られた、身長、体重、体温、脈拍、体脂肪率、体型、指紋、声紋、年齢などユーザＵの身体的特徴を示す客観的なデータが含まれる。また、アンケートや問診等により得られた体調や感情等の主観的なデータや、ユーザＵの行動履歴もユーザＵの内的状態を示すデータに含まれる。また、「外的状態」とは、ユーザＵの周囲の環境をセンシングの対象とすることで得られた各種のデータにより示される、ユーザＵの状態のことをいう。「外的状態」を示すデータには、例えば、ユーザＵが、過去に存在した、現在存在する、又は将来存在し得る場所における、気象（天気、気温、湿度等）の履歴や予報、室温等に関するデータが含まれる。また、外的状態を示すデータには、ユーザＵの空間的又は時間的な配置の位置を示すデータ、ユーザＵの周囲の空間的方向と時間的方向のうち、少なくとも１の方向に分布する所定の状態を示すデータ等も含まれる。
なお、本明細書において「時間」とは、本来的な概念である「幅」を示すものに限らず、「そのとき」を示す概念として、「時刻」や「タイミング」も含まれるものとする。このため、「時間的な配置の位置を示すデータ」には、例えば過去の所定タイミングにおける時刻や、現在時刻等が含まれる。

なお、本サービスを利用してユーザＵの総合認証を行う者は特に限定されない。例えばイベント会場のセキュリティを管理するイベント管理会社、ＡＴＭ（Ａｕｔｏｍａｔｉｃ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）を管理する金融機関、宿泊者を管理するホテル等の宿泊施設、ＥＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｍｍｅｒｃｅ）サイト管理会社などが総合認証を行う者として挙げられる。

上述したように、ユーザＵの顔認証の結果を示す情報は、顔関連情報として取得される。また、コンテクストデータを用いて行われた各種の認証の結果は、コンテクストデータに基づく情報としての「コンテクスト関連情報」として取得される。例えば、ユーザＵが金融機関のＡＴＭで預金の引き出しを行う際、ＡＴＭによる認証（例えばキャッシュカードの識別情報と暗証番号との組み合わせによる認証）の結果は、ユーザＵのコンテクスト関連情報として取得される。

このように、ユーザＵの顔関連情報及びコンテクスト関連情報は、総合認証が行われるタイミングのみならず、ユーザＵの生活上のあらゆる場面で取得される。
図２は、ユーザの顔関連情報及びコンテクスト関連情報が取得されるタイミングの具体例を示す図である。

図２には、東京に住むユーザＵが、大阪で開催されるイベントに参加するために出張した場合の流れが示されている。
ユーザＵは、東京駅の自動改札機（外部装置４）に自分のスマートフォン等の情報処理装置（ユーザ端末３）をかざして、所定情報を読取らせることでプラットホーム内に入場した（ステップＳＳ１）。
ここで、ユーザＵが東京駅の自動改札機を通過したという行動履歴（コンテクストデータ）がコンテクスト関連情報として記録される。具体的には、東京駅の自動改札機に、「東京駅の改札を通過した」という行動履歴が、そのタイミングを示すタイムスタンプとともに、コンテクスト関連情報として記録される。また、ユーザ端末３にも、「東京駅の改札を通過した」という行動履歴が、そのタイミングを示すタイムスタンプとともに、コンテクスト関連情報として記録される。なお、東京駅の自動改札機やユーザ端末３に記録されているコンテクスト関連情報は、逐次サーバ１に送信され、サーバ１において記憶されて履歴が管理される。具体的には例えば、ＭＡＣアドレス（Ｍｅｄｉａ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ ａｄｄｒｅｓｓ）、スマートフォン等の端末ＩＤ、ＷｉＦｉのアクセスポイント等からユーザ端末３とユーザＵとを特定することで、ユーザＵの行動履歴が管理される。

新幹線で新大阪駅に到着したユーザＵは、新大阪駅の自動改札機（外部装置４）にユーザ端末３をかざして、所定情報を読取らせることでプラットホームから退出した（ステップＳＳ２）。
ここで、ユーザＵが新大阪駅の自動改札機を通過したという行動履歴（コンテクストデータ）がコンテクスト関連情報として記録される。具体的には、新大阪駅の自動改札機に、「新大阪駅の改札を通過した」という行動履歴が、そのタイミングを示すタイムスタンプとともに、コンテクスト関連情報として記録される。また、ユーザＵが所持するユーザ端末３にも、「新大阪駅の改札を通過した」という行動履歴が、そのタイミングを示すタイムスタンプとともに、コンテクスト関連情報として記録される。なお、新大阪駅の自動改札機やユーザ端末３に記録されているコンテクスト関連情報は、逐次サーバ１に送信され、サーバ１において記憶されて履歴が管理される。

新大阪駅を出たユーザＵは、駅前の銀行に設置されたＡＴＭから現金を引き出した（ステップＳＳ３）。ここで、ＡＴＭは、本サービスを利用して総合認証を行う総合認証装置２として機能するものとする。
ユーザＵが新大阪駅の駅前の銀行のＡＴＭで現金を引き出したという行動履歴（コンテクストデータ）は、コンテクスト関連情報として記録される。さらに、ユーザＵがＡＴＭを利用する際、ＡＴＭにより実行された総合認証の結果も、コンテクスト関連情報として記録される。
具体的には、駅前の銀行に設置されたＡＴＭに、「新大阪駅の駅前の銀行のＡＴＭで現金が引き出された」という行動履歴が、そのタイミングを示すタイムスタンプとともに、コンテクスト関連情報として記録される。また、ユーザＵが所持するユーザ端末３にも、「新大阪駅の駅前の銀行のＡＴＭで現金が引き出された」という行動履歴が、そのタイミングを示すタイムスタンプとともに、コンテクスト関連情報として記録される。なお、銀行のＡＴＭやユーザ端末３に記録されているコンテクスト関連情報は、逐次サーバ１に送信され、サーバ１において記憶されて管理される。

さらに、ＡＴＭの総合認証における顔認証の結果は、顔関連情報として記録される。ＡＴＭに記録されている顔関連情報は、逐次サーバ１に送信され、サーバ１において記憶されて履歴が管理される。
なお、図２の例においてＡＴＭは、総合認証を行う総合認証装置２としているが、従来の認証のみを行うＡＴＭであってもよい。この場合にも、認証結果はコンテクスト関連情報として記録される。

駅前の銀行のＡＴＭで現金を引き出したユーザＵは、宿泊先である大阪市内のホテルに向かい、エントランスに設置された自動チェックイン受付装置（外部装置４）を操作してチェックインを行った（ステップＳＳ４）。
ここで、ユーザＵが大阪市内のホテルにチェックインしたという行動履歴（コンテクストデータ）がコンテクスト関連情報として記録される。さらに、ユーザＵがホテルにチェックインする際、自動チェックイン受付装置により実行された認証の結果も、コンテクスト関連情報として記録される。具体的には、ホテルに設置された自動チェックイン受付装置に、「大阪市内の〇〇ホテルにチェックインした」という行動履歴が、そのタイミングを示すタイムスタンプとともに、コンテクスト関連情報として記録される。また、ユーザ端末３にも、「大阪市内の〇〇ホテルにチェックインした」という行動履歴が、そのタイミングを示すタイムスタンプとともに、コンテクスト関連情報として記録される。なお、自動チェックイン受付装置やユーザ端末３に記録されているコンテクスト関連情報は、逐次サーバ１に送信され、サーバ１において記憶されて管理される。

大阪市内のホテルで一泊したユーザＵは、その日の午後から開催されるイベントに参加する前にレストランで昼食をとった。そして、ユーザＵは、ＰＯＳ（Ｐｏｉｎｔ ｏｆ ｓａｌｅｓ）端末（外部装置４）に設けられた所定の受信機にユーザ端末３をかざすことで、代金の決済処理を済ませた（ステップＳＳ５）。
ここで、ユーザＵがレストランで決済を行ったという行動履歴（コンテクストデータ）がコンテクスト関連情報として記録される。具体的には、レストランに設置されたＰＯＳ端末に、「大阪市内の〇〇レストランで〇〇円の決済を行った」という行動履歴が、そのタイミングを示すタイムスタンプとともに、コンテクスト関連情報として記録される。また、ユーザ端末３にも、「大阪市内の〇〇レストランで〇〇円の決済を行った」という行動履歴が、そのタイミングを示すタイムスタンプとともに、コンテクスト関連情報として記録される。なお、ＰＯＳ端末やユーザ端末３に記録されているコンテクスト関連情報は、逐次サーバ１に送信され、サーバ１において記憶されて履歴が管理される。

レストランで昼食を済ませたユーザＵは、自身が参加するイベントが開催されるイベント会場に向かった（ステップＳＳ６）。
ユーザＵが参加するイベントが開催されるイベント会場の出入口（セキュリティゲート）には、総合認証装置２が設置されている。総合認証装置２は、ユーザＵがイベント会場の出入口（セキュリティゲート）を通過しようとすると、そのユーザＵの顔関連情報及びコンテクスト関連情報を、サーバ１を介して取得する。
また、総合認証装置２は、カメラ等の撮像装置に、イベント会場の出入口（セキュリティゲート）を通過しようとするユーザＵの顔を含むユーザＵの身体の少なくとも一部を撮像させる。そして、ユーザＵの顔の撮像画像のデータは顔関連情報として取得され、それ以外の撮像画像のデータはコンテクスト関連情報として取得される。

総合認証装置２は、顔関連情報とコンテクスト関連情報に基づくサーバ１による総合的な判断（以下、「総合判断」と呼ぶ）の結果に基づいて、ユーザＵの総合認証を行う。総合認証装置２による総合認証の結果は、情報の種類に応じて、顔関連情報又はコンテクスト関連情報として総合認証装置２に記録される。また、総合認証装置２に記録されている総合認証の結果は、逐次サーバ１に送信され、サーバ１において記憶されて履歴が管理される。
なお、サーバ１により行われる、総合認証の具体例については、図３及び図４を参照して後述する。

大阪で開催されたイベントに参加したユーザＵは、仕事を終えてイベント会場を出ると、休憩のためにカフェ（喫茶店）に入店した（ステップＳＳ７）。
ユーザＵは、オーダー後、客席でユーザ端末３を操作して、ＥＣサイトにアクセスして、インターネットショッピングを行った。その後、ユーザＵは、レストランと同様にＰＯＳ端末（外部装置４）による決済処理を済ませて退店した。
ここで、ユーザＵがＥＣサイトにアクセスしてインターネットショッピングを行ったという行動履歴（コンテクストデータ）がコンテクスト関連情報として記録される。さらに、ユーザＵがＥＣサイトにログインする際、ＥＣサイトにより実行された認証の結果も、コンテクスト関連情報として記録される。具体的には、ＥＣサイトの運営を行う運営サーバ（外部装置４）に、インターネットショッピングの購入履歴（行動履歴）が、そのタイミングを示すタイムスタンプとともに、コンテクスト関連情報として記録される。また、ユーザ端末３にも、インターネットショッピングの購入履歴（行動履歴）が、そのタイミングを示すタイムスタンプとともに、コンテクスト関連情報として記録される。なお、ＥＣサイトの運営サーバやユーザ端末３に記録されているコンテクスト関連情報は、逐次サーバ１に送信され、サーバ１において記憶されて履歴が管理される。

図３乃至図５は、サーバによる総合認証の具体例を示す図である。

図３には、図２の大阪市内のイベント会場のセキュリティゲートに設置された総合認証装置２によるユーザＵの総合認証が、２０２０年２月２０日の午後２時に行われた場合の例が示されている。
ここで、サーバ１が、ユーザＵのコンテクスト関連情報として、「２０２０年２月２０日の午後１２時３０分に大阪市内のレストランで決済処理が行われた」という情報を取得したとする。この場合、サーバ１は、取得したコンテクスト関連情報に基づいて、「辻褄が合うかどうか」についての判断を行う。即ち、サーバは、大阪市内のレストランで決済処理が行われた時刻と、大阪市内のイベント会場で総合認証が行われている時刻との時間差（１時間３０分）と位置関係とを考慮して、「辻褄が合うかどうか」についての判断を行う。サーバ１による判断の結果、「辻褄が合う」と判断された場合には、総合認証装置２は、顔認証の結果と、サーバ１の判断結果とに基づいて、ユーザＵの総合認証を行う。

このように、サーバ１がユーザＵのコンテクスト関連情報のうち、「時間」と「行動履歴」に基づく判断を行うことで、その判断結果を利用する総合認証装置２におけるより正確な判断が可能となる。これにより、仮にユーザＵの顔認証が正確に行われなかった場合であっても、サーバ１の総合判断の結果に基づいた総合認証が可能となる。具体的には例えば、ユーザＵを偽って大阪のイベント会場に入場しようとする者が、たとえ顔認証を潜り抜けることができる変装の達人であったとしても、サーバ１による判断結果が「辻褄が合わない」というものであれば認証されない。例えば、図３に示すように、総合認証が行われるタイミングにおいて、本物のユーザＵが東京に存在することを示すコンテクスト関連情報（東京都内の某銀行のＡＴＭを利用したという行動履歴）が取得された場合には、サーバ１による判断結果は「辻褄が合わない」というものになり、認証されない。

図４には、図３と同様に、大阪市内のイベント会場のセキュリティゲートに設置された総合認証装置２により、ユーザＵの総合認証が行われた場合の例が示されている。
ここで、サーバ１が、ユーザＵのコンテクスト関連情報として、「身長が１８５ｃｍ」、「体重が６５ｋｇ」、「性別が男性」、「黒色のセーターを着用」という情報を取得したとする。また、セキュリティゲートに設置されたカメラ等の撮像装置から、ユーザＵの全身の撮像画像のデータがコンテクスト関連情報として取得されたものとする。
この場合も、図３の例と同様に、サーバ１は、取得したコンテクスト関連情報に基づいて、「辻褄が合うかどうか」についての判断を行う。即ち、サーバ１は、客観的に示されるユーザＵの身体的特徴に関する情報（例えば身長、体重、服装、性別等）と、撮像装置により撮像されたユーザＵの全身の撮像画像のデータとを比較して、「辻褄が合うかどうか」についての判断を行う。サーバ１による判断の結果、「辻褄が合う」と判断された場合には、総合認証装置２は認証を行う。

このように、サーバ１がユーザＵのコンテクスト関連情報のうち、「特徴」と「撮像画像」に基づく判断を行うことで、その判断結果を利用する総合認証装置２は、より正確な判断を行うことができる。これにより、図３の例と同様に、仮にユーザＵの顔認証が正確に行われなかった場合であっても、サーバ１の判断結果に基づいた認証が可能となる。具体的には例えば、ユーザＵを偽って大阪のイベント会場に入場しようとする者が、たとえ顔認証を潜り抜けることができる変装の達人であったとても、サーバ１による判断結果が「辻褄が合わない」というものであれば認証されない。例えば、本物のユーザＵは「身長が１８５ｃｍ」、「体重が６５ｋｇ」である。このため、ユーザＵの骨格は、いわゆる「細身の長身」となるが、ユーザＵを偽って大阪のイベント会場に入場しようとする者の全身の撮像画像のデータから「細身の長身」が見出せない場合がある。この場合、サーバ１による判断結果は「辻褄が合わない」というものになるので、総合認証装置２は認証しない。

図５には、銀行に設置されたＡＴＭを総合認証装置２とする総合認証の具体例が示されている。
ここで、サーバ１は、ユーザＵのコンテクスト関連情報として、「名前」及び「声紋」を予め取得しているものとする。
この場合、サーバ１は、予め取得しているコンテクスト関連情報と、総合認証装置２により取得された「名前」及び「声紋（生体情報）」を示すコンテクスト関連情報とに基づいて、「辻褄が合うかどうか」についての判断を行う。サーバ１による判断の結果、「辻褄が合う」と判断された場合には、総合認証装置２は、顔認証の結果と、サーバ１の総合判断の結果とに基づいて、ユーザＵの総合認証を行う。
具体的には例えば、ＡＴＭを利用して現金を引き出そうとする者が、顔認証を潜り抜けることができるいわゆる変装の達人であったとしても、スピーカから出力される「お名前は？」という質問に対する応答が的確なものでなければ認証されない。即ち、予め記憶されている本物のユーザＵの名前と声紋との一致が認められなければ認証されない。

このように、図５の例では、ＡＴＭからの質問（「お名前は？」）に対するユーザＵの応答が的確なもの（「名前」と「声紋」とが夫々一致）である場合に認証される。このような、総合認証装置２からユーザＵに対するアクションに対する応答が的確である場合に認証する手法と同様の手法として、例えば以下のような手法がある。
即ち、図示はしないが、ＡＴＭ（総合認証装置２）からユーザＵに対する何等かの「指示」がランダムで出され、その指示に対するユーザＵの応答が的確である場合に認証される手法がある。具体的には例えば、「右手の人差し指と中指とを立てて、カメラに向かってピースサインを出してください」といったジェスチャーを求める指示や、「カメラに向かって笑顔を見せてください」といった指示が出される。これらの指示に対してユーザＵが的確に応答すると認証される。
また例えば、「タッチパネルにタッチペンでお名前を書いてください」といった指示を出し、その応答が的確なものである場合に認証する手法がある。このような認証は、例えば筆跡のパターン認識や空間認識等の技術を用いて実現させることができる。
また例えば、ＡＴＭが、ユーザＵの仕草（例えばタッチパネルを操作する手が左右どちらなのか等）、くせ、話し方のパターンを予め学習したうえで指示を出す手法もある。この場合、ユーザＵの応答が統計的に不自然でなければ認証される。
このように、ＡＴＭ（総合認証装置２）からユーザＵに対する何等かの「指示」がランダムで出される態様とすることにより、例えばユーザＵを偽って認証を受けようとする者がいたとしても、認証のための準備を行うことができなくなる。これにより、不正行為による認証を容易に防ぐことが可能となる。

また、本サービスにおける総合認証の要素となる顔認証は、従来から行われている、ユーザＵの顔を正面から撮像した１枚の静止画像のデータによるものに限定されない。例えば、複数枚（例えば３枚）の静止画像のデータや、多数枚の静止画像のデータからなる動画像によるものも含まれる。これにより、１枚の静止画像のデータでは実現できないユーザＵの表情の変化（例えば頬の筋肉の動きの変化）に基づいた認証が可能となる。

具体的には例えば、ユーザＵの表情の変化を撮像した動画像のデータを集積し、ディープラーニング等の技術を用いて特徴量の解析等を行うことで、動画像による顔認証が実現可能となる。ユーザＵの表情の変化は、そのユーザＵの感情が表出したものである。このため、ユーザＵの表情と感情との関連性を示す感情特徴量を抽出した解析等を行うことも可能となる。また、ユーザＵを撮像した動画像には、ユーザＵの正面の顔、横顔、及び後ろ姿の動画像のデータが含まれ得るため、ユーザＵの正面の顔と、横顔と、後ろ姿との関係を対応付けて管理することもできる。これにより、従来から行われているユーザＵの正面の顔の静止画像のデータを用いた顔認証のみならず、ユーザＵの横顔の静止画像や後ろ姿の静止画像のデータを用いた認証も可能となる。さらに、多数のユーザＵの正面の顔と、横顔と、後ろ姿とを対応付けたデータを集積し、ディープラーニング等の技術を用いて特徴量の抽出及び解析等を行うことができる。その結果、ユーザＵの正面の顔の静止画像のデータから、横顔や後ろ姿を推測することも可能となる。またさらに、推測の精度を向上させていくことで、マスクやサングラスをした状態のユーザＵの顔の静止画像のデータから、マスクやサングラスを外した状態を推測することもできる。また、マスクで隠れない部分（目やその周りの皮膚）の動き（まばたきや皮膚の振幅）に基づく認証を行うことも可能となる。

また、本サービスによれば、例えば求められるセキュリティの高さ、予算等に応じて、柔軟に認証のレベルやパターンに差異を設けることもできる。

また例えば、本サービスによれば、パスワードによるログイン操作が不要になるので、パスワードの失念や入力ミス等が生じることがなくなる。また、他人の「なりすまし」によるログイン操作が行われることがなくなる。

また例えば、本サービスによれば、ユーザＵを容易に特定することができるので、戸籍管理が不十分な国や地域における国民等の管理を容易に行うことができるようになる。また、未知のウイルス等の感染ルートの特定することも可能となる。

また例えば、本サービスによれば、ユーザＵがどの程度エネルギー（例えば電力）を消費しているのかを容易に管理することもできる。このため、エネルギーの消費量に応じたスコアリングを行うこともできる。具体的には例えば、「環境スコア」という指標を設けて、エネルギー消費量の削減に貢献しているユーザＵに付与することもできる。エネルギー消費量のみならず、例えばルールを守ってゴミ出しを行ったり、森林を守るための具体的な行動を行ったりした場合にも環境スコアが付与されてもよい。
また、本サービスによれば、ユーザＵがどの程度の信用を有してるのかを容易に管理することできるので、ユーザＵの信用度に応じたスコアリングを行うこともできる。具体的には例えば、「信用スコア」という指標を設けて、ユーザＵに付与することもできる。これにより、例えば環境スコアや信用スコアが高いユーザＵは、環境スコアや信用スコアが低いユーザＵよりも認証を簡素化させて、認証を効率化させることもできる。その結果、環境スコアや信用スコアを高めようとするユーザＵが増えることが期待できるので、本サービスが地球環境の保護に寄与することも可能となる。

図６は、本発明の一実施形態に係るサーバが適用される情報処理システムの構成の一例を示すブロック図である。

図６に示す情報処理システムは、サーバ１と、総合認証装置２－１乃至２－ｎ（ｎは１以上の整数値）と、ユーザ端末３－１乃至３－ｍ（ｍは１以上の整数値）と、外部装置４－１乃至４－ｋ（ｋは１以上の整数値）とを含む。
サーバ１と、総合認証装置２－１乃至２－ｎと、ユーザ端末３－１乃至３－ｍと、外部装置４－１乃至４－ｋとは、インターネット（Ｉｎｔｅｒｎｅｔ）等のネットワークＮを介して相互に接続されている。なお、ネットワークＮは、その形態は特に限定されず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット等を採用することができる。
以下、総合認証装置２－１乃至２－ｎ、ユーザ端末３－１乃至３－ｍ、外部装置４－１乃至４－ｋの夫々を個々に区別する必要がない場合、これらをまとめて、「総合認証装置２」、「ユーザ端末３」、「外部装置４」の夫々と呼ぶ。

サーバ１は、サービス提供者（図示せず）により管理される情報処理装置である。サーバ１は、総合認証装置２、ユーザ端末３、及び外部装置４の夫々からユーザＵの顔関連情報又はコンテクスト関連情報を取得する。
また、サーバ１は、取得した顔関連情報及びコンテクスト関連情報に基づいて、総合判断を行う。

総合認証装置２は、ユーザＵの総合認証を行う装置である。総合認証装置２は、例えば図２に示すイベント会場に来場したユーザＵの認証を行ったり、銀行のＡＴＭとして設置されたりする。総合認証装置２による総合認証の結果は、コンテクスト関連情報としてサーバ１に送信され、サーバ１において記憶されて管理される。

ユーザ端末３は、ユーザＵにより操作される情報処理装置である。ユーザ端末３は、例えばスマートフォンやタブレット等で構成される。

外部装置４は、ユーザＵのコンテクスト関連情報を取得する装置である。外部装置４は様々な場所に設置される。具体的には例えば、図２の例では、東京駅に設置された自動改札機、新大阪駅に設置された自動改札機、ホテルに設置された自動チェックイン受付装置、レストランに設置されたＰＯＳ端末は、いずれも外部装置４の一例である。また、図２の例でユーザＵがアクセスしたＥＣサイトの運営を行う運営サーバや、セキュリティゲートに設置されたカメラ等の撮像装置も外部装置４の一例である。

図７は、図６の情報処理システムのうち、サーバのハードウェア構成の一例を示すブロック図である。

サーバ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｙ）１３と、バス１４と、入出力インターフェース１５と、入力部１６と、出力部１７と、記憶部１８と、通信部１９と、ドライブ２０と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、入力部１６、出力部１７、記憶部１８、通信部１９及びドライブ２０が接続されている。

入力部１６は、各種ハードウェア釦等で構成され、操作者の指示操作に応じて各種情報を入力する。
出力部１７は、液晶等のディスプレイにより構成され、各種画像を表示する。

記憶部１８は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
通信部１９は、インターネットを含むネットワークＮを介して他の装置（総合認証装置２、ユーザ端末３、及び外部装置４等）との間で行う通信を制御する。

ドライブ２０は、必要に応じて設けられる。ドライブ２０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア４０が適宜装着される。ドライブ２０によってリムーバブルメディア４０から読み出されたプログラムは、必要に応じて記憶部１８にインストールされる。また、リムーバブルメディア４０は、記憶部１８に記憶されている各種データも、記憶部１８と同様に記憶することができる。

このような図７のサーバ１の各種ハードウェアと各種ソフトウェアとの協働により、後述する各種処理の実行が可能になる。
なお、図示はしないが、図６の情報処理システムのうち、総合認証装置２、及びユーザ端末３、及び外部装置４も、図７に示すハードウェア構成を有している。このため、総合認証装置２、及びユーザ端末３、及び外部装置４のハードウェア構成についての説明は省略する。ただし、ユーザ端末３がスマートフォンやタブレットで構成される場合には、入力部１６及び出力部１７として、タッチパネルを有している。

図８は、図７のサーバにより実行が制御される処理のうち、総合認証処理を実現させる機能的構成の一例を示す機能ブロック図である。

「総合認証処理」とは、上述の総合認証が行われる際に実行が制御される処理のことをいう。総合認証処理の実行が制御されることで、ユーザＵの顔関連情報と、ユーザＵのコンテクスト関連情報とに基づく精度の高い認証が可能となる。

図８に示すように、サーバ１のＣＰＵ１１においては、総合認証処理の実行が制御される場合には、顔関連情報取得部１０１と、コンテクスト関連情報取得部１０２と、判断部１０３と、認証部１０４とが機能する。また、サーバ１の記憶部１８の一領域には、ユーザＤＢ１８１が設けられている。

顔関連情報取得部１０１は、ユーザＵの顔の撮像画像に基づく顔関連情報を取得する。顔関連情報取得部１０１により取得された顔関連情報は、ユーザＤＢ１８１に記憶されて管理される。

コンテクスト関連情報取得部１０２は、ユーザＵの１以上のコンテクストデータに基づくコンテクスト関連情報を取得する。コンテクスト関連情報取得部１０２により取得されたコンテクスト関連情報は、ユーザＤＢ１８１に記憶されて管理される。
また、コンテクスト関連情報取得部１０２は、後述する認証部１０４による総合認証が行われるタイミング、及び当該タイミングよりも前の１以上のタイミングでコンテクスト関連情報を取得する。
また、コンテクスト関連情報取得部１０２は、コンテクスト関連情報として、コンテクストデータに含まれる、時間、ユーザＵの行動、特徴、及び撮像画像の夫々を示すデータうち、少なくとも１のデータを取得する。

判断部１０３は、顔関連情報取得部１０１により取得された顔関連情報と、コンテクスト関連情報取得部１０２により取得されたコンテクスト関連情報とに基づいて、総合認証に必要となる各種の判断を行う。この「判断」の一例として、判断部１０３は、顔関連情報及びコンテクスト関連情報を構成する複数の情報を総合的に考慮して、例えば情報間の「辻褄が合うかどうか」についての判断を行う。

認証部１０４は、判断部１０３による判断の結果に基づいて、ユーザＵの総合認証を行う。認証部１０４による認証の結果は、顔関連情報あるいはコンテクスト関連情報としてユーザＤＢ１８１に記憶されて管理される。
ここで、総合認証の根拠となる「判断部１０３による判断の結果」には、顔関連情報と、コンテクスト関連情報取得部１０２により複数のタイミングで夫々取得されたコンテクスト関連情報とに基づく判断結果が含まれる。
即ち、認証部１０４は、総合認証を行うタイミング、及びそれよりも前の１以上のタイミングの夫々で取得されたコンテクスト関連情報の夫々に含まれるユーザＵの位置を示す情報に基づく判断結果に基づいて、ユーザＵの認証を行う。

次に、図９を参照して、図８の機能的構成を有するサーバ１により実行が制御される総合認証処理の流れについて説明する。
図９は、図８の機能的構成を有するサーバにより実行が制御される処理のうち、総合認証処理の流れを示すフローチャートである。

図９に示すように、サーバ１において総合認証処理の実行が制御される場合、ステップＳ１において、サーバ１の判断部１０３は、顔関連情報取得部１０１により顔関連情報が取得されたか否かの判定を行う。顔関連情報が取得されている場合、判断部１０３が「ＹＥＳ」と判定し、処理はステップＳ２に進む。これに対して、顔関連情報が取得されていない場合、判断部１０３は、「ＮＯ」と判定して、顔関連情報が取得されるまでステップＳ１の処理を繰り返す。

ステップＳ２において、判断部１０３は、コンテクスト関連情報取得部１０２によりコンテクスト関連情報が取得されたか否かの判定を行う。コンテクスト関連情報が取得されている場合、判断部１０３が「ＹＥＳ」と判定し、処理はステップＳ３に進む。これに対して、コンテクスト関連情報が取得されていない場合、判断部１０３は、「ＮＯ」と判定して、コンテクスト関連情報が取得されるまでステップＳ２の処理を繰り返す。

ステップＳ３において、判断部１０３は、顔関連情報取得部１０１により取得された顔関連情報と、コンテクスト関連情報取得部１０２により取得されたコンテクスト関連情報とに基づいて、総合認証のために必要となる総合判断を行う。

ステップＳ４において、認証部１０４は、ステップＳ３の判断結果に基づいて、ユーザＵの総合認証を行う。総合認証の結果は総合認証端末に出力される。これにより、処理は終了する。

以上、本発明の情報処理装置の一実施形態について説明したが、本発明は上述した本実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙に過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。

例えば、上述の実施形態では、１人のユーザＵが所持するユーザ端末３で管理されているコンテクストデータが取得されて、総合判断及び総合認証に利用されるが、これに限定されない。複数のユーザＵの夫々のユーザ端末３に記憶されたコンテクストデータに基づく総合判断及び総合認証を行うこともできる。これにより、例えばユーザＵ間の関連性（例えば友人関係、恋人関係、同僚等）に基づいた総合判断及び総合認証も可能となる。

また例えば、上述の実施形態では、ユーザＵがホテルにチェックインする際、自動チェックイン受付装置（外部装置４）がコンテクスト関連情報を記録してサーバ１に送信しているが、これに限定されない。例えば、ホテルのフロントの担当者によるチェックイン処理の操作を受付けた所定の情報処理端末（外部装置４）がコンテクスト関連情報を記録してサーバ１に送信してもよい。

また例えば、上述の実施形態では、認証のためにユーザＵを撮像するカメラ等の撮像装置は、固定式であることを前提としているが、特に固定式に限定されない。例えばドローン等の小型飛行体にカメラ等の撮像装置を搭載させて、ユーザＵを撮像させてもよい。この場合、その撮像画像のデータを重ねていくことで、撮像対象の高低差を認識することができる。その結果、ユーザＵの顔認証も可能となる。

また例えば、図９に示すフローチャートにおいて、ステップＳ１とステップＳ２とは順不同である。即ち、顔関連情報とコンテクスト関連情報が取得されるタイミングはどちらが先であってもよい。

また、図６に示すシステム構成、図７に示すハードウェア構成、及び図８に示す機能的構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。

換言すると、図８に示す機能的構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が、図６に示す情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図８の例に限定されない。また、機能ブロックの存在場所も、図８に特に限定されず、任意でよい。例えば、サーバ１の機能ブロックを、総合認証装置２、ユーザ端末３、又は外部装置４、あるいは図示せぬ他の情報処理装置等に移譲してもよい。即ち、サーバ１による総合認証処理を総合認証装置２が行えるようにすることもできる。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

また例えば、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。

また例えば、このようなプログラムを含む記録媒体は、利用者にプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態で利用者に提供される記録媒体等で構成される。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図７のリムーバブルメディア４０により構成されるだけでなく、装置本体に予め組み込まれた状態で各ユーザに提供される記録媒体等で構成される。リムーバブルメディア４０は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ－Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図７のＲＯＭ１２や、図７の記憶部１８に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。

以上まとめると、本発明が適用される情報処理装置は、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
即ち、本発明が適用される情報処理装置（例えば図８のサーバ１）は、
ユーザ（例えば上述のユーザＵ）の顔の撮像画像に基づく第１情報（例えば上述の顔関連情報）を取得する第１取得手段（例えば図８の顔関連情報取得部１０１）と、
当該ユーザの１以上のコンテクストデータに基づく第２情報（例えば上述のコンテクスト関連情報）を取得する第２取得手段（例えば図８のコンテクスト関連情報取得部１０２）と、
前記第１取得手段により取得された前記第１情報と、前記第２取得手段により取得された前記第２情報とに基づく判断結果（例えば図８の判断部１０３による判断）に基づいて、前記ユーザの認証（例えば上述の総合認証）を行う認証手段（例えば図８の認証部１０４）と、
を備える。

また、前記第２取得手段は、
前記認証が行われるタイミング（例えば図２のセキュリティゲートで認証が行われるタイミング）、及び当該タイミングよりも前の１以上のタイミング（例えば図２のレストランで精算処理が行われるタイミング）、で前記第２情報を取得し、
前記認証手段は、前記第１取得手段により取得された前記第１情報と、前記第２取得手段により複数のタイミングで夫々取得された前記第２情報とに基づく判断結果（例えば辻褄が合うかどうかについての判断結果）に基づいて、前記ユーザの認証を行うことができる。

これにより、認証が行われるタイミングと、それよりも前の１以上のタイミングとの夫々で取得された第２情報に基づく判断がなされ、その判断の結果に基づいてユーザの認証が行われる。
その結果、時間軸が考慮された信憑性の高い認証が実現される。

また、前記認証手段は、
前記認証を行うタイミング、及び当該タイミングよりも前の１以上のタイミングの夫々で取得された前記第２情報の夫々に含まれる前記ユーザの位置を示す情報に基づく判断結果に基づいて、前記ユーザの認証を行うことができる。

これにより、認証が行われるタイミングと、それよりも前の１以上のタイミングの夫々で取得された第２情報の夫々に含まれるユーザの位置を示す情報に基づいた判断がなされ、その判断の結果に基づいて、ユーザの認証が行われる。
その結果、同じタイミングで同一人物が異なる場所に存在することはないという事実に基づいた、いわゆる生存認証が可能となる。

また、前記第２取得手段は、
前記第２情報として、前記コンテクストデータに含まれる、時間、前記ユーザの行動、前記ユーザの特徴、及び前記ユーザの撮像画像の夫々を示すデータうち、少なくとも１のデータを取得することができる。

これにより、時間、ユーザの行動、ユーザの特徴、及びユーザの撮像画像の夫々を示すコンテクストデータに基づく認証がなされる。
その結果、より抜け目のない認証を行うことが可能となる。

また、前記コンテクストデータに含まれる前記ユーザの行動を示すデータは、
当該ユーザが保有する所定の情報処理端末（例えばユーザ端末３）により管理されているデータとすることができる。

これにより、例えばユーザが保有する情報処理端末のＭＡＣアドレス等により特定される、ユーザの行動履歴に基づいた認証が可能となる。

１・・・サーバ、２・・・総合認証装置、３・・・ユーザ端末、４・・・外部装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・バス、１５・・・入出力インターフェース、１６・・・入力部、１７・・・出力部、１８・・・記憶部、１９・・・通信部、２０・・・ドライブ、４０・・・リムーバブルメディア、１０１・・・顔関連情報取得部、１０２・・・コンテクスト関連情報取得部、１０３・・・判断部、１０４・・・認証部、１８１・・・ユーザＤＢ、Ｕ・・・ユーザ、Ｎ・・・ネットワーク

Claims (4)

1. 所定者により管理される情報処理装置であって、ユーザの顔の撮像画像に基づく第１情報に基づいて、当該ユーザの認証を行う情報処理装置において、
   前記ユーザが前記認証をする第１場所及び第１時刻並びに当該ユーザを特定可能な第２情報を取得し、前記所定者及び当該ユーザ以外の者により管理される、第２場所に配置されている既存の装置に対して第２時刻に前記認証とは独立した行動をしたことにより当該既存の装置において取得された情報を、当該認証が行われる前に当該認証とは独立して当該ユーザが存在した当該第２場所及び当該第２時刻並びに当該ユーザを特定可能な第３情報として取得する取得手段と、
   前記第２情報及び前記第３情報に基づいて、前記第２時刻において前記第２場所に存在したときから前記第１時刻において前記第１場所で認証が行われるまでの行動が前記ユーザの行動として辻褄が合うか否かを判断し、その判断結果と前記第１情報とを用いて、前記ユーザの認証を行う認証手段と、
   を備える情報処理装置。
2. 前記第２情報は、前記ユーザが保有する所定の情報処理端末により管理されているデータである、
   請求項１に記載の情報処理装置。
3. 所定者により管理される情報処理装置であって、ユーザの顔の撮像画像に基づく第１情報に基づいて、当該ユーザの認証を行う情報処理装置が実行する情報処理方法において、
   前記ユーザが前記認証をする第１場所及び第１時刻並びに当該ユーザを特定可能な第２情報を取得し、前記所定者及び当該ユーザ以外の者により管理される、第２場所に配置されている既存の装置に対して第２時刻に前記認証とは独立した行動をしたことにより当該既存の装置において取得された情報を、当該認証が行われる前に当該認証とは独立して当該ユーザが存在した当該第２場所及び当該第２時刻並びに当該ユーザを特定可能な第３情報として取得する取得ステップと、
   前記第２情報及び前記第３情報に基づいて、前記第２時刻において前記第２場所に存在したときから前記第１時刻において前記第１場所で認証が行われるまでの行動が前記ユーザの行動として辻褄が合うか否かを判断し、その判断結果と前記第１情報とを用いて、前記ユーザの認証を行う認証ステップと、
   を含む情報処理方法。
4. 所定者により管理される情報処理装置であって、ユーザの顔の撮像画像に基づく第１情報に基づいて、当該ユーザの認証を行う情報処理装置を制御するコンピュータに、
   前記ユーザが前記認証をする第１場所及び第１時刻並びに当該ユーザを特定可能な第２情報を取得し、前記所定者及び当該ユーザ以外の者により管理される、第２場所に配置されている既存の装置に対して第２時刻に前記認証とは独立した行動をしたことにより当該既存の装置において取得された情報を、当該認証が行われる前に当該認証とは独立して当該ユーザが存在した当該第２場所及び当該第２時刻並びに当該ユーザを特定可能な第３情報として取得する取得ステップと、
   前記第２情報及び前記第３情報に基づいて、前記第２時刻において前記第２場所に存在したときから前記第１時刻において前記第１場所で認証が行われるまでの行動が前記ユーザの行動として辻褄が合うか否かを判断し、その判断結果と前記第１情報とを用いて、前記ユーザの認証を行う認証ステップと、
   を含む制御処理を実行させるプログラム。
   

Images