JP7261449B2 - 情報処理装置、情報処理プログラム、及び情報処理方法 - Google Patents

情報処理装置、情報処理プログラム、及び情報処理方法 Download PDF

Info

Publication number
JP7261449B2
JP7261449B2 JP2019012192A JP2019012192A JP7261449B2 JP 7261449 B2 JP7261449 B2 JP 7261449B2 JP 2019012192 A JP2019012192 A JP 2019012192A JP 2019012192 A JP2019012192 A JP 2019012192A JP 7261449 B2 JP7261449 B2 JP 7261449B2
Authority
JP
Japan
Prior art keywords
information
information processing
measuring device
user
measured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019012192A
Other languages
English (en)
Other versions
JP2020119433A (ja
Inventor
康祐 青木
努 木村
信慈 大西
Original Assignee
株式会社Agama-X
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Agama-X filed Critical 株式会社Agama-X
Priority to JP2019012192A priority Critical patent/JP7261449B2/ja
Priority to US16/513,718 priority patent/US11134296B2/en
Priority to CN201910829457.6A priority patent/CN111488781A/zh
Publication of JP2020119433A publication Critical patent/JP2020119433A/ja
Application granted granted Critical
Publication of JP7261449B2 publication Critical patent/JP7261449B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70Multimodal biometrics, e.g. combining information from different biometric modalities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/34User authentication involving the use of external additional devices, e.g. dongles or smart cards
    • G06F21/35User authentication involving the use of external additional devices, e.g. dongles or smart cards communicating wirelessly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H04N21/8113Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、情報処理装置及び情報処理プログラムに関する。
特許文献1には、コンテンツ配信システムは、ユーザの脳波に基づいて、そのユーザに適したコンテンツデータを配信させることを課題とし、ユーザの脳波データは、脳波センサによって測定され、脳波検知部からコンテンツ推奨システムに送られ、ユーザグループ判別部は、脳波データに基づいて、ユーザの属するグループを特定し、コンテンツ選択部は、ユーザグループ毎に予め対応付けられている所定のコンテンツを選択し、デザイン制御部は、所定コンテンツをウェブページに配置してユーザコンピュータに送信させることが開示されている。
特開2010-218491号公報
生体情報測定機器を用いて、ユーザーの脳波等の生体情報を測定することが行われている。
しかし、その生体情報だけでは、だれの生体情報であるかを判別することができない。
本発明は、生体情報測定機器が測定した情報に、情報処理装置で利用されている個人を特定する情報を付加することができるようにした情報処理装置及び情報処理プログラムを提供することを目的としている。
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項1の発明は、生体情報測定機器と本情報処理装置とを通信可能とし、本情報処理装置を利用している個人を特定する情報を該生体情報測定機器が測定した情報に付加する付加手段と、前記生体情報測定機器と本情報処理装置とを通信可能にする接続が済んだ後に、前記生体情報測定機器が測定した情報を用いて、該生体情報測定機器が装着されているユーザーの変更を検知する検知手段と、を有し、前記生体情報測定機器が測定した情報として、脳波情報を含み、前記検知手段は、前記生体情報測定機器の着脱があった場合、又は、前記生体情報測定機器が測定した情報の取得間隔が予め定めた閾値以上の場合は、既に測定された前記ユーザーの脳波情報と前記生体情報測定機器が測定した脳波情報とを比較し、両者が合致しない場合は、本情報処理装置によって画像又は音声を出力し、前記ユーザーが視聴した場合の脳波情報と、を比較することによって、ユーザーの変更を検知する、情報処理装置である。
請求項の発明は、前記着脱として、前記生体情報測定機器の傾き、該生体情報測定機器の電源入断、該生体情報測定機器との通信断、該生体情報測定機器からの送信がないこと、該生体情報測定機器における前記ユーザーによる終了操作、のいずれか1つ以上を用いて判断する、請求項に記載の情報処理装置である。
請求項の発明は、前記検知手段は、前記画像又は音声として、前記ユーザーが登録した画像又は音声を含める、請求項1又は請求項2に記載の情報処理装置である。
請求項の発明は、情報処理装置であるコンピュータを、生体情報測定機器と前記情報処理装置とを通信可能とし、該情報処理装置を利用している個人を特定する情報を該生体情報測定機器が測定した情報に付加する付加手段と、前記生体情報測定機器と本情報処理装置とを通信可能にする接続が済んだ後に、前記生体情報測定機器が測定した情報を用いて、該生体情報測定機器が装着されているユーザーの変更を検知する検知手段と、として機能させるための情報処理プログラムであって前記生体情報測定機器が測定した情報として、脳波情報を含み、前記検知手段は、前記生体情報測定機器の着脱があった場合、又は、前記生体情報測定機器が測定した情報の取得間隔が予め定めた閾値以上の場合は、既に測定された前記ユーザーの脳波情報と前記生体情報測定機器が測定した脳波情報とを比較し、両者が合致しない場合は、本情報処理装置によって画像又は音声を出力し、前記ユーザーが視聴した場合の脳波情報と、を比較することによって、ユーザーの変更を検知する、情報処理プログラムである。
請求項1の情報処理装置によれば、生体情報測定機器が測定した情報に、情報処理装置で利用されている個人を特定する情報を付加することができる。
請求項の情報処理装置によれば、生体情報測定機器が測定した情報を用いて、その生体情報測定機器が装着されているユーザーの変更を検知することができる。
また、生体情報測定機器の着脱があった場合に、ユーザー変更の検知処理を行うことができる。
また、ユーザーが画像又は音声を視聴した場合の脳波情報によって、ユーザー変更の検知処理を行うことができる。
また、既に測定されたユーザーの脳波情報と生体情報測定機器が測定した脳波情報とを比較することによって、ユーザーの変更を検知することができる。
また、既に測定されたユーザーの脳波情報として、生体情報測定機器と本情報処理装置とを通信可能にする接続が済んだ後に、ユーザーが画像又は音声を視聴した場合の脳波情報を用いることができる。
請求項の情報処理装置によれば、生体情報測定機器の着脱を、生体情報測定機器の傾き、その生体情報測定機器の電源入断、その生体情報測定機器との通信断、その生体情報測定機器からの送信がないこと、その生体情報測定機器におけるユーザーによる終了操作、のいずれか1つ以上を用いて判断することができる。
請求項の情報処理装置によれば、画像又は音声として、ユーザーが登録した画像又は音声を用いることができる。
請求項の情報処理プログラムによれば、生体情報測定機器が測定した情報に、情報処理装置で利用されている個人を特定する情報を付加することができる。
本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態を利用したシステム構成例を示す説明図である。 ウェラブルデバイスを他のユーザーが装着した場合の問題例を示す説明図である。 本実施の形態の機能例を示す説明図である。 本実施の形態の構成例についての具体的なモジュール構成図である。 本実施の形態による処理例を示す説明図である。 ユーザー・携帯情報処理装置対応テーブルのデータ構造例を示す説明図である。 携帯情報処理装置・デバイス対応テーブルのデータ構造例を示す説明図である。 キャリブレーション管理テーブルのデータ構造例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 生体データテーブルのデータ構造例を示す説明図である。 生体データテーブルのデータ構造例を示す説明図である。 生体データテーブルのデータ構造例を示す説明図である。 生体データテーブルのデータ構造例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図1は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(「ソフトウェア」の解釈として、コンピュータ・プログラムを含む)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(例えば、コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(例えば、データの授受、指示、データ間の参照関係、ログイン等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(「2以上の値」には、もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。また、「A、B、C」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その1つのみを選んでいる場合(例えば、Aのみ)を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(「ネットワーク」には、一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(つまり、社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスクドライブ、RAM(Random Access Memoryの略)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unitの略)内のレジスタ等を含んでいてもよい。
本実施の形態である情報処理装置100は、生体情報測定機器150が測定した生体情報を生体情報処理装置180に送信する機能を有しており、図1の例に示すように、通信Aモジュール105、ユーザー・生体情報対応管理モジュール110、通信Bモジュール125を有しており、通信回線145を介して生体情報測定機器150と接続されており、通信回線175を介して生体情報処理装置180と接続されている。
通信Aモジュール105は、ユーザー・生体情報対応管理モジュール110と接続されている。通信Aモジュール105は、通信回線145を介して生体情報測定機器150と情報処理装置100との通信を行う。通信回線145として、例えば、無線、有線、これらの組み合わせであってもよい。ただし、生体情報測定機器150を装着しているユーザーと情報処理装置100を用いているユーザーは、同一人物であることを前提としており、いわゆる近距離通信ができるものであれば足りる。例えば、Bluetooth(登録商標)、Wi-Fi(登録商標)等であってもよい。
ユーザー・生体情報対応管理モジュール110は、付加モジュール115、検知モジュール120を有しており、通信Aモジュール105、通信Bモジュール125と接続されている。ユーザー・生体情報対応管理モジュール110は、通信Aモジュール105が生体情報測定機器150から受信した情報に、情報処理装置100の利用者を特定する情報を付加し、生体情報測定機器150が装着されているユーザーが変更されたことを検知する。
付加モジュール115は、生体情報測定機器150と情報処理装置100とを通信可能とし、情報処理装置100を利用している個人を特定する情報をその生体情報測定機器150が測定した情報に付加する。
ここで「生体情報測定機器150が測定した情報」として、その生体情報測定機器150を装着したユーザーの脳波情報、体温情報、脈拍情報、心拍情報、血圧情報等が含まれる。また、「個人を特定する情報」として、例えば、情報処理装置100の利用者であるユーザーの識別情報であってもよいし、情報処理装置100の識別情報であってもよいし、後述するキャリブレーション情報の識別情報(具体的には、後述するキャリブレーションID)であってもよい。
検知モジュール120は、生体情報測定機器150と情報処理装置100とを通信可能にする接続が済んだ後に、生体情報測定機器150が測定した情報を用いて、その生体情報測定機器150が装着されているユーザーの変更を検知する。
生体情報測定機器150による測定が始まった後に、被験者であるユーザーが入れ替わってしまっては、生体情報の信頼性が保てない。
そこで、生体情報測定機器150が装着されているユーザーの変更を検知するようにしたものである。
ここで「通信可能にする接続」とは、2つの機器(ここでは、生体情報測定機器150と情報処理装置100)の間で相互認証を行うことをいい、具体例として、Bluetooth等の近距離無線通信におけるペアリングが該当する。
なお、生体情報測定機器150の着脱があった場合に、検知モジュール120による処理を行うようにしてもよい。
ここで「生体情報測定機器150の着脱」として、生体情報測定機器150の傾き、生体情報測定機器150の電源入断、生体情報測定機器150と情報処理装置100との通信断、生体情報測定機器150からの送信がないこと、生体情報測定機器150におけるユーザーによる終了操作、のいずれか1つ以上を用いて判断するようにしてもよい。
「生体情報測定機器150からの送信がないこと」の判断として、例えば、生体情報測定機器150からの送信がない期間が予め定められた期間より長く又は以上であることを判断すればよい。
検知モジュール120は、情報処理装置100によって画像又は音声を出力し、ユーザーが視聴した場合の脳波情報によって検知するようにしてもよい。
ここで「視聴」は、もちろんのことながら、「見ること」、「聴くこと」のいずれか一方であってもよいし、その両方であってもよい。
また、検知モジュール120は、画像又は音声として、ユーザーが登録した画像又は音声を含めるようにしてもよい。具体的には、情報処理装置100内に記憶されている画像又は音声を使用してもよい。
また、検知モジュール120は、既に測定されたユーザーの脳波情報と生体情報測定機器150が測定した脳波情報とを比較することによって、ユーザーの変更を検知するようにしてもよい。
ここで「既に測定されたユーザーの脳波情報」として、生体情報測定機器150と情報処理装置100とを通信可能にする接続が済んだ後に、情報処理装置100によって画像又は音声を出力し、ユーザーが視聴した場合の脳波情報を用いるようにしてもよい。
「生体情報測定機器150と情報処理装置100とを通信可能にする接続が済んだ後に」として、例えば、生体情報測定機器150と情報処理装置100とのペアリングが済んだ直後における測定が該当する。ペアリング処理では、本人が使用している情報処理装置100が用いられるので、本人の生体情報であることとして信頼性が高いからである。
通信Bモジュール125は、ユーザー・生体情報対応管理モジュール110と接続されている。通信Bモジュール125は、通信回線175を介して生体情報処理装置180と情報処理装置100との通信を行う。通信回線175として、例えば、無線、有線、これらの組み合わせであってもよく、例えば、携帯電話回線、通信インフラとしてのインターネット、イントラネット等であってもよい。
生体情報測定機器150は、通信回線145を介して情報処理装置100と接続されている。生体情報測定機器150は、ユーザーが装着し、そのユーザーの生体情報を測定する。このユーザーは、情報処理装置100を利用しているユーザーを想定しているが、他のユーザーに変更されてしまい、いわゆるなりすましで、本来のユーザーの生体情報を測定していない場合がある。このなりすましを情報処理装置100は検知する。
生体情報処理装置180は、通信回線175を介して情報処理装置100と接続されている。生体情報処理装置180は、生体情報測定機器150が測定した生体情報を、情報処理装置100から受信して、その生体情報を記憶し、処理対象とする。例えば、生体情報測定機器150が装着されているユーザーの集中度合いを判定すること等を行う。
図2は、本実施の形態を利用したシステム構成例を示す説明図である。具体的な情報処理装置100を使用例を示すものである。
携帯情報処理装置200は情報処理装置100の機能を有しており、ウェラブルデバイス250は生体情報測定機器150の機能を有しており、生体情報処理システム280は生体情報処理装置180の機能を有している。携帯情報処理装置200とウェラブルデバイス250は、通信回線145を介して接続されている。携帯情報処理装置200と生体情報処理システム280は、通信回線299を介して接続されている。通信回線299は、図1に例示した通信回線175に該当する。また、生体情報処理システム280による機能は、クラウドサービスとして実現してもよい。例えば、携帯情報処理装置200は、スマートフォン等が該当する。
ユーザー240は、ウェラブルデバイス250を装着し、携帯情報処理装置200を所持している。ウェラブルデバイス250は、ユーザー240の脳波を測定する。ウェラブルデバイス250で測定された脳波情報を、携帯情報処理装置200が受信して、ユーザー240を特定する情報を脳波情報に付加して、生体情報処理システム280に送信する。
図2の例では、ユーザー240は、1台のウェラブルデバイス250を装着しているだけであるが、複数のウェラブルデバイス250を装着していてもよい。その場合、携帯情報処理装置200は、複数のウェラブルデバイス250からの生体情報を受信して、ユーザー240を特定する情報を脳波情報に付加して、生体情報処理システム280に送信する。携帯情報処理装置200は、いわゆるIoT(Internet of Things)分野では、ウェラブルデバイス250が測定した生体データを生体情報処理システム280に送信するポイントであるエッジの役割を有することになる。
図3は、ウェラブルデバイス250を他のユーザーが装着した場合の問題例を示す説明図である。
ウェラブルデバイス250から生体情報を取得した場合、その生体データが本人の生体情報であるかがわからない場合がある。図3の例に示すように、携帯情報処理装置200を所持しているユーザーA:240Aが、ウェラブルデバイス250を装着している場合、ウェラブルデバイス250が測定した生体情報をそのまま生体情報処理システム280に送信した場合、誰の生体情報であるかがわからないことになる。例えば、図3に示す生体データテーブル300は、生体データ欄310、日時欄320を有している。生体データ欄310は、生体データを記憶している。日時欄320は、その生体データを取得した日時(「日時」として、年、月、日、時、分、秒、秒以下、又はこれらの組み合わせであってもよい)を記憶している。このデータ構造では、だれの生体情報であるかが不明である。
そこで、携帯情報処理装置200は、携帯情報処理装置200の所持者であるユーザーA:240Aであることを示す情報を、生体情報に付加して生体情報処理システム280に送信することを行う。
さらに、最初、ユーザーA:240Aは、ウェラブルデバイス250を装着していたが、途中からウェラブルデバイス250をはずし、その後、ユーザーB:240Bがそのウェラブルデバイス250を装着する事態も考えられる。携帯情報処理装置200は携帯情報処理装置200とペアリング済みのため、ユーザーB:240Bの生体情報であるにもかかわらず、ユーザーA:240Aであることを示す情報を、生体情報に付加して生体情報処理システム280に送信することを行うことになってしまう。つまり、なりすますことが可能になる。例えば、図3に示す生体データテーブル300で、ユーザーA:240Aであることを示す情報が付加されていたとしても、本当にユーザーA:240Aの生体情報であるかは不明である。なお、取得した生体情報は改ざんされていないかを判別するためには、ブロックチェーン、署名、タイムスタンプ等の様々な技術がある。しかし、これらの技術では、取得した生体情報は本当に正しいデータであるのか、つまり、図3の例では、ユーザーA:240Aの生体情報であることを確認するができない。
そこで、携帯情報処理装置200は、ウェラブルデバイス250が測定した情報を用いて、そのウェラブルデバイス250が装着されているユーザーの変更を検知するようにしている。
図4は、本実施の形態の機能例を示す説明図である。これは、本実施の形態の機能について、概念的な説明を行うものである。
ウェラブルデバイスと携帯情報処理装置のユーザー識別機能400は、ウェラブルデバイス250と携帯情報処理装置認証機能410と携帯情報処理装置ユーザー識別機能420によって実現される。
ウェラブルデバイス250は、脳波、心拍、脈拍等の生体情報を取得する。
携帯情報処理装置認証機能410は、一般的な携帯情報処理装置200が有している標準機能を示している。例えば、顔認証、指紋認証、パスフレーズによる認証等が該当する。また、携帯情報処理装置200は、例えば、BlueToothでウェラブルデバイス250と接続する機能を有している。
携帯情報処理装置ユーザー識別機能420は、主にユーザー・生体情報対応管理モジュール110によって行われる機能である。例えば、以下の機能がある。(1)ウェラブルデバイス250から取得した生体情報に、携帯情報処理装置200の利用者を特定する情報を付加する機能。(2)その生体情報から特徴量を識別する機能。なお、生体情報の特徴量として、生体情報が脳波である場合は、例えば、周波数、α波、β波等の周波数帯別の積分値、フーリエ変換によるスペクトル解析結果等がある。(3)ウェラブルデバイス250の装着又は着脱を判別する機能。(4)ウェラブルデバイス250をキャリブレーションする機能。(5)携帯情報処理装置200とウェラブルデバイス250を関連付けて(「関連付けて」は、「紐付けて」とも言われる)管理する機能。
そして、これらのウェラブルデバイス250、携帯情報処理装置認証機能410、携帯情報処理装置ユーザー識別機能420によって、ウェラブルデバイスと携帯情報処理装置のユーザー識別機能400は、ユーザー操作、生体情報の状況からユーザーを特定し、ウェラブルデバイス250を装着しているユーザーごとにデータを管理する仕組みを提供している。
図5は、本実施の形態の構成例についての具体的なモジュール構成図である。
携帯情報処理装置200は、デバイス接続モジュール205、データ送受信モジュール210、認証モジュール215、生体データ特徴量抽出モジュール220、着脱判定モジュール225、キャリブレーションモジュール230を有しており、ウェラブルデバイス250とは通信回線145を介して、生体情報処理システム280とは通信回線175を介して接続されている。
デバイス接続モジュール205は、ウェラブルデバイス250との通信を行い、ウェラブルデバイス250が測定した生体情報を受信する。
データ送受信モジュール210は、生体情報処理システム280との通信を行い、ウェラブルデバイス250が測定した生体情報を送信する。
認証モジュール215は、携帯情報処理装置200の利用者を、例えば、指紋、顔画像等を用いて認証する。
生体データ特徴量抽出モジュール220は、ウェラブルデバイス250が測定した生体情報の特徴量を抽出する。前述したように、生体情報が脳波である場合は、例えば、周波数、α波、β波等の周波数帯別の積分値、フーリエ変換によるスペクトル解析結果等を特徴量として抽出する。
着脱判定モジュール225は、ウェラブルデバイス250がユーザーから着脱されたこと、又は、携帯情報処理装置200とウェラブルデバイス250との接続と、その接続の切断が行われたか否かを判定する。
キャリブレーションモジュール230は、ウェラブルデバイス250が測定した生体情報のキャリブレーション(校正)処理を行う。このキャリブレーション処理は、もちろんのことながら、ウェラブルデバイス250の調整を行うものであるが、ウェラブルデバイス250を装着しているユーザーが同一人物であるか否かを判定するためにも用いる。具体的には、ウェラブルデバイス250をユーザーに装着した直後に、キャリブレーション処理を行う。この結果を記憶しておき、ウェラブルデバイス250の着脱が行われた可能性がある場合は、このキャリブレーション処理の結果を用いて、現在のウェラブルデバイス250を装着しているユーザーは、キャリブレーション処理の対象となったユーザーと同一人物であるか否かの判断を行うようにしている。
ウェラブルデバイス250は、通信制御モジュール255、生体センサー260、BLE265、データ送信モジュール270を有しており、通信回線145を介して携帯情報処理装置200と接続されている。
通信制御モジュール255は、生体センサー260が測定した生体情報を、BLE265、データ送信モジュール270を用いて、携帯情報処理装置200に送信することを制御する。
生体センサー260は、ウェラブルデバイス250が装着された人の脳波等の生体情報を測定する。
BLE265は、低消費電力の通信モードを有しているBluetooth Low Energyを用いて、携帯情報処理装置200との通信を行う。
データ送信モジュール270は、通信制御モジュール255の制御にしたがって、BLE265を用いて、生体センサー260が測定した生体情報を携帯情報処理装置200に送信する。
生体情報処理システム280は、認証DB285、生体データDB290、キャリブレーションDB295を有しており、通信回線175を介して携帯情報処理装置200と接続されている。
認証DB285は、生体情報処理システム280における認証情報を記憶している。例えば、携帯情報処理装置200の識別情報とユーザーの識別情報の対応等を記憶している。
生体データDB290は、携帯情報処理装置200から送信されてきた生体情報を記憶している。
キャリブレーションDB295は、携帯情報処理装置200から送信されてきたキャリブレーション情報を記憶している。
例えば、携帯情報処理装置200は、以下の処理を行う。
携帯情報処理装置200の認証機能を活用して、ウェラブルデバイス250から取得した生体情報に、携帯情報処理装置200を利用しているユーザーの識別情報を付加する。さらに、キャリブレーション情報の識別情報によるラベル付けを行い、生体情報の信頼性を確保するようにしてもよい。なりすましを防止するため、ウェラブルデバイス250の着脱があった場合や取得した生体情報に予め定められた時間以上の空きがある等の場合は、キャリブレーション情報と生体情報との比較を実施する。比較した値が著しく違う場合は、ユーザーをキャリブレーション機能へ誘導し、今回のキャリブレーション結果と初回のキャリブレーション結果との比較を行って、ユーザーの変更が行われたか否かの判断を行う。
図6は、本実施の形態による処理例を示す説明図である。
生体情報処理システム280は、生体データDB290、キャリブレーションDB295を有している。そして、生体データDB290は、ユーザーDB292、デバイスDB294を有している。
携帯情報処理装置200は、例えば、ユーザーを生体認証で特定する。
携帯情報処理装置200とウェラブルデバイス250は、最初にペアリングを行い、互いのペアリング情報を登録する。
携帯情報処理装置200は、生体情報収集アプリケーション610を用いて、ユーザーDB292に、ユーザーとそのユーザーが利用している携帯情報処理装置200の対応データを生成する。この対応データとして、例えば、ユーザー・携帯情報処理装置対応テーブル700を生成する。図7は、ユーザー・携帯情報処理装置対応テーブル700のデータ構造例を示す説明図である。ユーザー・携帯情報処理装置対応テーブル700は、ユーザーID欄710、携帯情報処理装置ID欄720を有している。ユーザーID欄710は、本実施の形態において、ユーザーを一意に識別するための情報(具体的には、ユーザーID:IDentification)を記憶している。携帯情報処理装置ID欄720は、本実施の形態において、携帯情報処理装置200を一意に識別するための情報(具体的には、携帯情報処理装置ID)を記憶している。図7の例では、ユーザーAがスマホAを利用していること、ユーザーBがスマホBを利用していることを示している。
携帯情報処理装置200は、生体情報収集アプリケーション610を用いて、デバイスDB294に、携帯情報処理装置200とその携帯情報処理装置200にペアリングされているウェラブルデバイス250の対応データを生成する。この対応データとして、例えば、携帯情報処理装置・デバイス対応テーブル800を生成する。図8は、携帯情報処理装置・デバイス対応テーブル800のデータ構造例を示す説明図である。携帯情報処理装置・デバイス対応テーブル800は、携帯情報処理装置ID欄810、デバイスID欄820を有している。携帯情報処理装置ID欄810は、携帯情報処理装置IDを記憶している。デバイスID欄820は、本実施の形態において、デバイスを一意に識別するための情報(デバイスID)を記憶している。図8の例では、スマホAとデバイス1がペアリングされていること、スマホBとデバイス2がペアリングされていることを示している。
そして、携帯情報処理装置200は、生体情報収集アプリケーション610を用いて、キャリブレーションDB295にキャリブレーション情報を生成する。ウェラブルデバイス250を最初に用いた場合に、予め定められた状況下における生体情報を計測し、これをキャリブレーション情報とする。キャリブレーション情報の詳細な生成方法については、図15以降を用いて後述する。キャリブレーション情報の生成によって、例えば、キャリブレーション管理テーブル900を生成する。図9は、キャリブレーション管理テーブル900のデータ構造例を示す説明図である。
キャリブレーション管理テーブル900は、キャリブレーションID欄910、ユーザーID欄920、携帯情報処理装置ID欄930、デバイスID欄940、日時欄950、キャリブレーション値欄960を有している。キャリブレーションID欄910は、本実施の形態において、キャリブレーションを一意に識別するための情報(キャリブレーションID)を記憶している。ユーザーID欄920は、ユーザーIDを記憶している。携帯情報処理装置ID欄930は、携帯情報処理装置IDを記憶している。デバイスID欄940は、デバイスIDを記憶している。日時欄950は、日時を記憶している。キャリブレーション値欄960は、キャリブレーション値を記憶している。つまり、ユーザーの生体情報を携帯情報処理装置200、ウェラブルデバイス250を用いて測定しておき、その状況を、ユーザーID欄920、携帯情報処理装置ID欄930、デバイスID欄940、日時欄950で記憶し、測定値をキャリブレーション値欄960で記憶するものである。図9の例では、キャリブレーションID:R1として、日時「Y1,M1,H1,M1」に、ユーザーAの生体情報を、スマホA、デバイス1で測定した結果を記憶していること、キャリブレーションID:R2として、日時「Y2,M2,H2,M2」に、ユーザーBの生体情報を、スマホB、デバイス2で測定した結果を記憶していることを示している。
そして、ユーザーの生体情報を測定し、生体情報の特徴量とキャリブレーション情報を照合して、その生体情報と合致するキャリブレーションIDを生体情報に付加する。
図10は、本実施の形態による処理例を示すフローチャートである。図10の例に示す処理は、主に携帯情報処理装置200による処理である。
ステップS1002では、ユーザーの認証を行う。
ステップS1004では、携帯情報処理装置200とウェラブルデバイス250との接続を行う。
ステップS1006では、ウェラブルデバイス250とユーザーの紐付けを行う。つまり、ウェラブルデバイス250の識別情報とユーザーの識別情報を対応付ける。
ステップS1008では、携帯情報処理装置200とウェラブルデバイス250との接続を完了する。
ステップS1010では、初回であるか否かを判断し、初回の場合はステップS1012へ進み、それ以外の場合はステップS1016へ進む。
ステップS1012では、キャリブレーションを行う。ステップS1012の詳細な処理については、図15の例に示すフローチャートを用いて後述する。
ステップS1014では、キャリブレーションデータを生体情報処理システム280に送信する。
ステップS1016では、ウェラブルデバイス250からの生体データの受信を開始する。携帯情報処理装置200はウェラブルデバイス250から、生体データを受信し、例えば生体データテーブル1100を生成する。図11は、生体データテーブル1100のデータ構造例を示す説明図である。生体データテーブル1100は、デバイスID欄1110、日時欄1120、生体データ欄1130を有している。デバイスID欄1110は、デバイスIDを記憶している。日時欄1120は、生体データを取得した日時を記憶している。生体データ欄1130は、生体データを記憶している。
ステップS1018では、生体データを携帯情報処理装置200内に保管する。生体情報処理システム280に送信するまでの一時的な保管となる。
ステップS1020~S1024は、なりすまし判定の処理である。
ステップS1020では、「ウェラブルデバイス250の着脱発生」、又は、「データの取得間隔≧閾値A」であるか否かを判断し、「ウェラブルデバイス250の着脱が発生した場合」、又は、「データの取得間隔≧閾値A」の場合はステップS1022へ進み、それ以外の場合はステップS1028へ進む。
ここでの判断として、ウェラブルデバイス250の傾き、ウェラブルデバイス250の電源入断(いわゆる電源オン、オフ)、ウェラブルデバイス250との通信断、ウェラブルデバイス250からの送信がないこと、ウェラブルデバイス250におけるユーザーによる終了操作、のいずれか1つ以上を用いて判断するようにしてもよい。例えば、「ウェラブルデバイス250の傾き」として、生体情報の計測時は、傾きが発生しないようなウェラブルデバイス250である場合は、ウェラブルデバイス250の傾きが発生したことを検知した場合は、ウェラブルデバイス250の着脱が発生したと判断してもよい。また、その傾きが予め定められた値より大きいこと又は以上である場合は、ウェラブルデバイス250の着脱が発生したと判断してもよい。
また、「ウェラブルデバイス250との通信断」、「ウェラブルデバイス250からの送信がないこと」の条件は、「データの取得間隔≧閾値A」の条件を代用としてもよい。
ステップS1022では、キャリブレーション値と生体データとの比較を行い、本人の場合(Y)はステップS1028へ進み、それ以外の場合(N)はステップS1024へ進む。
キャリブレーション値は、ステップS1012で計測された生体情報である。前述したように、予め定められた状況下における生体情報を計測したものである。このキャリブレーション情報の特徴量とステップS1016で取得した生体情報の特徴量が合致しない場合は、なりすましが発生した可能性が高い。もちろんのことながら、合致した場合は、本人の生体情報であると判断する。なお、ここで「合致」とは、完全一致だけでなく、両者の特徴量の差分が予め定められた値未満又は以下であることをいう。
ステップS1024では、キャリブレーションを実施して比較を行い、本人の場合(Y)はステップS1028へ進み、それ以外の場合(N)はステップS1026へ進む。つまり、ステップS1012と同じ処理を行って、初回時に行ったステップS1026によるキャリブレーション情報の特徴量と今回のキャリブレーション情報の特徴量が合致しない場合は、なりすましが発生した可能性が高い。もちろんのことながら、合致した場合は、本人の生体情報であると判断する。
ステップS1026では、不正データとして生体データを生体情報処理システム280に保管し、処理を完了する。もちろんのことながら、その生体データは対象となったユーザーの正式な生体データとしては扱わずに、例えば、違うユーザーによる生体データである旨の表示等の警告処理を行う。
ステップS1028では、生体データを生体情報処理システム280に保管し、処理を完了する。
なお、携帯情報処理装置200が生体情報処理システム280に送信する生体データとして、例えば、生体データテーブル1200であってもよいし、生体データテーブル1300であってもよいし、生体データテーブル1400であってもよい。
図12は、生体データテーブル1200のデータ構造例を示す説明図である。生体データテーブル1200は、ユーザーID欄1210、デバイスID欄1220、日時欄1230、生体データ欄1240を有している。ユーザーID欄1210は、ユーザーIDを記憶している。デバイスID欄1220は、そのユーザーの生体データを測定したウェラブルデバイス250のデバイスIDを記憶している。日時欄1230は、生体データを取得した日時を記憶している。生体データ欄1240は、生体データを記憶している。
生体データテーブル1300は、生体データテーブル1200に携帯情報処理装置ID欄1320を付加したものである。図13は、生体データテーブル1300のデータ構造例を示す説明図である。生体データテーブル1300は、ユーザーID欄1310、携帯情報処理装置ID欄1320、デバイスID欄1330、日時欄1340、生体データ欄1350を有している。ユーザーID欄1310は、ユーザーIDを記憶している。携帯情報処理装置ID欄1320は、そのユーザーが利用した携帯情報処理装置200の携帯情報処理装置IDを記憶している。デバイスID欄1330は、デバイスIDを記憶している。日時欄1340は、日時を記憶している。生体データ欄1350は、生体データを記憶している。
生体データテーブル1400は、生体データテーブル1300にキャリブレーションID欄1460を付加したものである。図14は、生体データテーブル1400のデータ構造例を示す説明図である。生体データテーブル1400は、ユーザーID欄1410、携帯情報処理装置ID欄1420、デバイスID欄1430、日時欄1440、生体データ欄1450、キャリブレーションID欄1460を有している。ユーザーID欄1410は、ユーザーIDを記憶している。携帯情報処理装置ID欄1420は、携帯情報処理装置IDを記憶している。デバイスID欄1430は、デバイスIDを記憶している。日時欄1440は、日時を記憶している。生体データ欄1450は、生体データを記憶している。キャリブレーションID欄1460は、キャリブレーションIDを記憶している。具体的には、生体データ欄1450の生体データに合致するキャリブレーション情報のキャリブレーションIDを記憶している。キャリブレーションIDは、キャリブレーション管理テーブル900によって管理されており、キャリブレーションIDからユーザーを抽出することができ、その生体データは、そのキャリブレーションIDに対応するユーザーである可能性が高いことを示している。
つまり、そのキャリブレーションIDに対応するユーザーが、ユーザーID欄1410に記憶されているユーザーと一致しない場合は、なりすましが発生した可能性が高い。また、なりすましである場合は、キャリブレーション管理テーブル900においてそのキャリブレーションIDに対応するユーザーが、本来のユーザー(ここでは、ユーザーID欄1410に記憶されているユーザー)になりすました可能性があることを示している。これらのことを携帯情報処理装置200が判断して、表示するようにしてもよい。そのために、携帯情報処理装置200は、キャリブレーション管理テーブル900を生体情報処理システム280から取得して、キャリブレーション情報同士の比較を行えばよい。表示例として、例えば、「ウェラブルデバイス250を装着しているのは、あなたではなく、○○さんですね。」等としてもよい。
図15は、本実施の形態による処理例を示すフローチャートである。図15の例に示す処理は、主に携帯情報処理装置200による処理である。この処理例は、生体データ測定にあたって初回時(ステップS1012)、又は、なりすましの可能性が高い場合(ステップS1024)に実施される。
ステップS1502では、初期画面を表示する。例えば、図16に示す画面1610を表示する。図16は、本実施の形態による処理例を示す説明図である。携帯情報処理装置200は、画面1610を有している。画面1610に、アプリケーションの説明を表示する。例えば、「ようこそ!はじめにあなたの脳波状態を測定します。音声ガイドに従い測定を開始しましょう!」と表示し、この処理に必要なウォークスルー画面の枚数(図16の例では4枚であることを示す丸記号)を併せて表示する。もちろんのことながら、絵等を用いた説明であってもよい。
ステップS1504では、キャリブレーション処理(1)を行う。例えば、「目を開けて画面の1点を見つめて5秒」を行っている最中の脳波を測定する。例えば、図17に示す画面1710を表示する。図17は、本実施の形態による処理例を示す説明図である。携帯情報処理装置200は、画面1710を有している。画面1710に、例えば、「サークルの中の数字を見つめてください。」と表示し、その作業の残りの秒数(5秒)とウォークスルー画面の枚数を併せて表示する。そして、画面1710内の円の中央の数字をカウントダウンして表示する。また、ユーザーに音声で集中するように案内してもよい。
ステップS1506では、ここで測定した脳波情報をキャリブレーション値として生体情報処理システム280に送信する。
ステップS1508では、キャリブレーション処理(2)を行う。例えば、「目を閉じて音楽を5秒間聴く」ことを行っている最中の脳波を測定する。例えば、図18に示す画面1810を表示する。図18は、本実施の形態による処理例を示す説明図である。携帯情報処理装置200は、画面1810を有している。画面1810に、例えば「目を閉じて深呼吸をしてください。」と表示し、その作業の残りの秒数(5秒)とウォークスルー画面の枚数を併せて表示する。そして、画面1810内の円の中央の数字をカウントダウンして表示する。例えば、リラックスできる音楽を流すようにしてもよい。また、ユーザーに音声でリラックスするように案内してもよい。
ステップS1510では、ここで測定した脳波情報をキャリブレーション値として生体情報処理システム280に送信する。
ステップS1512では、キャリブレーション処理(3)を行う。例えば、「目を開けて、表示される画像を5枚確認する」ことを行っている最中の脳波を測定する。例えば、図19に示す画面1910を表示する。図19は、本実施の形態による処理例を示す説明図である。携帯情報処理装置200は、画面1910を有している。画面1910に、例えば、画像枚数の進捗(1/5)を表示する。ここでは、画面1910に表示される画像に対する反応を測定する。例えば、以下のように行う。
・初回はユーザーが興味ある画像を3枚登録する。具体的には、携帯情報処理装置200内に記憶されている画像を選択できるように表示し、その中でユーザーによって選択された3枚を、このキャリブレーションで表示する画像として登録すればよい。例えば、3枚の画像として、自身の画像、自分の子供の画像、好きな玩具の画像等がある。
・画面1910に画像を3秒間隔で1枚ずつ5回表示する。画像は、ユーザーが登録した3枚と、予め用意した2枚の画像を表示する。
・また、ユーザーに音声でも案内するようにしてもよい。
なお、初回時のキャリブレーション(ステップS1012)では、5枚の画像を表示する。ただし、「判別時のキャリブレーション」(ステップS1024)では、個人が特定された時点で画像表示を終了してもよい。つまり、必ずしも5枚の画像を見る必要はない。
また、表示される順序は、ランダムであってもよいし、予め定められた順序であってもよい。なお、初回時のキャリブレーション(ステップS1012)でランダムの順序で表示した場合は、その表示順序を記憶しておき、判別時のキャリブレーション(ステップS1024)では、初回時のキャリブレーションの表示順序で表示するようにしてもよい。
ステップS1514では、ここで測定した脳波情報をキャリブレーション値として生体情報処理システム280に送信する。
なお、画像等の視覚情報、又は、音楽等の聴覚情報による脳波反応は被験者ごとに異なる波形が生成される。例えば、図20(a)に示すように、携帯情報処理装置200の画面1910に同じ画像を表示したとしても、図20(b)、(c)、(d)に示すように、ユーザーAの脳波、ユーザーBの脳波、ユーザーCの脳波は異なるものになる。この脳波反応を利用して、ステップS1022、ステップS1024では、ウェラブルデバイス250を装着しているユーザーを識別している。例えば、
「脳波で「個人認証」 ハイジャック防止に応用も 鳥取大で実験」
https://www.sankei.com/life/news/170818/lif1708180001-n1.html
等の実験がある。
図21は、本実施の形態による処理例を示す説明図である。
図21(a)の例は図17の例と同等であり、集中した場合の脳波を測定するものである。図21(b)の例は図18の例と同等であり、リラックスした場合の脳波を測定するものである。図21(c1)~(c3)の例は図19の例と同等であり、画像を表示した場合のその反応における脳波を測定するものである。例えば、画面1910では、自分の子供の画像を表示する。画面2112では、自分の画像を表示する。画面2113では、興味のある電車の画像を表示する。前述したように、他に、予め用意した2枚の画像を表示する。
そして、図21(d)、(e1)~(e3)の例に示すように、生体情報処理システム280のキャリブレーションDB295に、脳波の測定結果であるキャリブレーション結果をユーザー毎に保存する。
これらのキャリブレーション結果は、図10の例に示したフローチャートのステップS1022、又は、ステップS1024で用いられる。
なお、本実施の形態としてのプログラムが実行されるコンピュータのハードウェア構成は、図22に例示するように、一般的なコンピュータであり、具体的にはパーソナルコンピュータ、サーバーとなり得るコンピュータ等である。つまり、具体例として、処理部(演算部)としてCPU2201を用い、記憶装置としてRAM2202、ROM2203、HDD2204を用いている。HDD2204として、例えば、HDD(Hard Disk Drive)、フラッシュ・メモリであるSSD(Solid State Drive)等を用いてもよい。通信Aモジュール105、付加モジュール115、検知モジュール120、通信Bモジュール125、デバイス接続モジュール205、データ送受信モジュール210、認証モジュール215、生体データ特徴量抽出モジュール220、着脱判定モジュール225、キャリブレーションモジュール230、通信制御モジュール255、生体センサー260、BLE265、データ送信モジュール270等のプログラムを実行するCPU2201と、そのプログラムやデータを記憶するRAM2202と、本コンピュータを起動するためのプログラム等が格納されているROM2203と、認証DB285、生体データDB290、キャリブレーションDB295等としての機能を有する補助記憶装置であるHDD2204と、キーボード、マウス、タッチスクリーン、マイク、カメラ(視線検知カメラ等を含む)等に対する利用者の操作(動作、音声、視線等を含む)に基づいてデータを受け付ける受付装置2206と、CRT、液晶ディスプレイ、スピーカー等の出力装置2205と、ネットワークインタフェースカード等の通信ネットワークと接続するための通信回線インタフェース2207、そして、それらをつないでデータのやりとりをするためのバス2208により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。
前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図22に示すハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図22に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えば特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)や再構成可能な集積回路(field-programmable gate array:FPGA)等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図22に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器(携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む)、情報家電、ロボット、複写機、ファックス、スキャナ、プリンタ、複合機(スキャナ、プリンタ、複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)などに組み込まれていてもよい。
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD-R、DVD-RW、DVD-RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD-ROM)、CDレコーダブル(CD-R)、CDリライタブル(CD-RW)等、ブルーレイ・ディスク(Blu-ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digitalの略)メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
100…情報処理装置
105…通信Aモジュール
110…ユーザー・生体情報対応管理モジュール
115…付加モジュール
120…検知モジュール
125…通信Bモジュール
145…通信回線
150…生体情報測定機器
175…通信回線
180…生体情報処理装置
200…携帯情報処理装置
205…デバイス接続モジュール
210…データ送受信モジュール
215…認証モジュール
220…生体データ特徴量抽出モジュール
225…着脱判定モジュール
230…キャリブレーションモジュール
240…ユーザー
250…ウェラブルデバイス
255…通信制御モジュール
260…生体センサー
265…BLE
270…データ送信モジュール
280…生体情報処理システム
285…認証DB
290…生体データDB
292…ユーザーDB
294…デバイスDB
295…キャリブレーションDB
299…通信回線

Claims (5)

  1. 生体情報測定機器と本情報処理装置とを通信可能とし、本情報処理装置を利用している個人を特定する情報を該生体情報測定機器が測定した情報に付加する付加手段と、
    前記生体情報測定機器と本情報処理装置とを通信可能にする接続が済んだ後に、前記生体情報測定機器が測定した情報を用いて、該生体情報測定機器が装着されているユーザーの変更を検知する検知手段と、
    を有し、
    前記生体情報測定機器が測定した情報として、脳波情報を含み、
    前記検知手段は、前記生体情報測定機器の着脱があった場合、又は、前記生体情報測定機器が測定した情報の取得間隔が予め定めた閾値以上の場合は、既に測定された前記ユーザーの脳波情報と前記生体情報測定機器が測定した脳波情報とを比較し、両者が合致しない場合は、本情報処理装置によって画像又は音声を出力し、前記ユーザーが視聴した場合の脳波情報と、を比較することによって、ユーザーの変更を検知する、
    情報処理装置。
  2. 前記着脱として、前記生体情報測定機器の傾き、該生体情報測定機器の電源入断、該生体情報測定機器との通信断、該生体情報測定機器からの送信がないこと、該生体情報測定機器における前記ユーザーによる終了操作、のいずれか1つ以上を用いて判断する、
    請求項に記載の情報処理装置。
  3. 前記検知手段は、前記画像又は音声として、前記ユーザーが登録した画像又は音声を含める、
    請求項1又は請求項2に記載の情報処理装置。
  4. 情報処理装置であるコンピュータを、
    生体情報測定機器と前記情報処理装置とを通信可能とし、該情報処理装置を利用している個人を特定する情報を該生体情報測定機器が測定した情報に付加する付加手段と、
    前記生体情報測定機器と本情報処理装置とを通信可能にする接続が済んだ後に、前記生体情報測定機器が測定した情報を用いて、該生体情報測定機器が装着されているユーザーの変更を検知する検知手段と、
    として機能させるための情報処理プログラムであって
    前記生体情報測定機器が測定した情報として、脳波情報を含み、
    前記検知手段は、前記生体情報測定機器の着脱があった場合、又は、前記生体情報測定機器が測定した情報の取得間隔が予め定めた閾値以上の場合は、既に測定された前記ユーザーの脳波情報と前記生体情報測定機器が測定した脳波情報とを比較し、両者が合致しない場合は、本情報処理装置によって画像又は音声を出力し、前記ユーザーが視聴した場合の脳波情報と、を比較することによって、ユーザーの変更を検知する、
    情報処理プログラム
  5. 情報処理装置であるコンピュータが、
    生体情報測定機器と前記情報処理装置とを通信可能とし、該情報処理装置を利用している個人を特定する情報を該生体情報測定機器が測定した情報に付加する付加工程と、
    前記生体情報測定機器と本情報処理装置とを通信可能にする接続が済んだ後に、前記生体情報測定機器が測定した情報を用いて、該生体情報測定機器が装着されているユーザーの変更を検知する検知工程と、
    を含む処理を実行する情報処理方法であって、
    前記生体情報測定機器が測定した情報として、脳波情報を含み、
    前記検知工程は、前記生体情報測定機器の着脱があった場合、又は、前記生体情報測定機器が測定した情報の取得間隔が予め定めた閾値以上の場合は、既に測定された前記ユーザーの脳波情報と前記生体情報測定機器が測定した脳波情報とを比較し、両者が合致しない場合は、本情報処理装置によって画像又は音声を出力し、前記ユーザーが視聴した場合の脳波情報と、を比較することによって、ユーザーの変更を検知する、
    情報処理方法。
JP2019012192A 2019-01-28 2019-01-28 情報処理装置、情報処理プログラム、及び情報処理方法 Active JP7261449B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019012192A JP7261449B2 (ja) 2019-01-28 2019-01-28 情報処理装置、情報処理プログラム、及び情報処理方法
US16/513,718 US11134296B2 (en) 2019-01-28 2019-07-17 Information processing apparatus, method therefor, and non-transitory computer readable medium storing information processing program
CN201910829457.6A CN111488781A (zh) 2019-01-28 2019-09-03 信息处理装置、记录媒体及信息处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019012192A JP7261449B2 (ja) 2019-01-28 2019-01-28 情報処理装置、情報処理プログラム、及び情報処理方法

Publications (2)

Publication Number Publication Date
JP2020119433A JP2020119433A (ja) 2020-08-06
JP7261449B2 true JP7261449B2 (ja) 2023-04-20

Family

ID=71731799

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019012192A Active JP7261449B2 (ja) 2019-01-28 2019-01-28 情報処理装置、情報処理プログラム、及び情報処理方法

Country Status (3)

Country Link
US (1) US11134296B2 (ja)
JP (1) JP7261449B2 (ja)
CN (1) CN111488781A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022032590A (ja) * 2020-08-12 2022-02-25 Cyberdyne株式会社 生体情報管理システムおよび生体情報管理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150381609A1 (en) 2014-06-27 2015-12-31 Saurabh Dadu Wearable electronic devices
JP2016099684A (ja) 2014-11-18 2016-05-30 インターマン株式会社 ライフログを利用した本人確認方法および本人確認装置
JP2017176278A (ja) 2016-03-28 2017-10-05 富士通株式会社 生体データ記録方法、生体データ記録装置、及び生体データ記録プログラム
JP2018136795A (ja) 2017-02-22 2018-08-30 日本電信電話株式会社 制御システムおよび制御方法
JP2018147086A (ja) 2017-03-02 2018-09-20 株式会社コロプラ 情報処理方法、プログラム、仮想空間配信システム及び装置
JP2018190164A (ja) 2017-05-02 2018-11-29 株式会社ぐるなび 認証装置、認証方法、及び認証プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5243318B2 (ja) 2009-03-19 2013-07-24 株式会社野村総合研究所 コンテンツ配信システム、コンテンツ配信方法及びコンピュータプログラム
US10009644B2 (en) * 2012-12-04 2018-06-26 Interaxon Inc System and method for enhancing content using brain-state data
US20150029087A1 (en) * 2013-07-24 2015-01-29 United Video Properties, Inc. Methods and systems for adjusting power consumption in a user device based on brain activity
US10624561B2 (en) * 2017-04-12 2020-04-21 Fitbit, Inc. User identification by biometric monitoring device
US20200045042A1 (en) * 2018-08-04 2020-02-06 For Long Life Corp Physical activity assessment system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150381609A1 (en) 2014-06-27 2015-12-31 Saurabh Dadu Wearable electronic devices
JP2016099684A (ja) 2014-11-18 2016-05-30 インターマン株式会社 ライフログを利用した本人確認方法および本人確認装置
JP2017176278A (ja) 2016-03-28 2017-10-05 富士通株式会社 生体データ記録方法、生体データ記録装置、及び生体データ記録プログラム
JP2018136795A (ja) 2017-02-22 2018-08-30 日本電信電話株式会社 制御システムおよび制御方法
JP2018147086A (ja) 2017-03-02 2018-09-20 株式会社コロプラ 情報処理方法、プログラム、仮想空間配信システム及び装置
JP2018190164A (ja) 2017-05-02 2018-11-29 株式会社ぐるなび 認証装置、認証方法、及び認証プログラム

Also Published As

Publication number Publication date
CN111488781A (zh) 2020-08-04
US11134296B2 (en) 2021-09-28
US20200245015A1 (en) 2020-07-30
JP2020119433A (ja) 2020-08-06

Similar Documents

Publication Publication Date Title
US10860645B2 (en) Systems and methods for creation of a listening log and music library
KR102356549B1 (ko) 디바이스 내의 폴더를 암호화하는 시스템 및 방법
EP3309783A1 (en) Communication method, and electronic device therefor
JP2008098765A5 (ja)
US20120155661A1 (en) Electronic device and method for testing an audio module
US9807308B2 (en) Personal camera companion for real-time streaming
US20210067964A1 (en) Devices, systems, and processes for authenticating devices
CN113168435A (zh) 非接触式用户认证方法
US10067723B2 (en) System and method for beacon based device login
JP7261449B2 (ja) 情報処理装置、情報処理プログラム、及び情報処理方法
US11185268B2 (en) Information processing apparatus and non-transitory computer readable medium
EP2836119A2 (fr) Dispositif médical pour la mesure et le traitement d'un paramètre de santé d'un patient
US11557214B2 (en) Information processing apparatus and method for processing information
CN105574400B (zh) 一种信息处理方法及电子设备
TW201919020A (zh) 用於進行基於安全的電腦之候選者評估的系統和方法以及執行方法之非暫時性電腦可讀媒體
US10999711B2 (en) Apparatus and system for distributing an behavior state to an terminal in an environment
CA2932921C (en) Method for detecting a fraudulent terminal by means of a cryptogram, corresponding device and program
JP2012141766A5 (ja)
KR102527842B1 (ko) 전자 장치 및 그 제어 방법
KR102243124B1 (ko) 초음파를 이용한 사용자 인증 방법
KR20150106803A (ko) 디바이스 내의 파일 시스템 구조를 암호화하는 시스템 및 방법
TWI380634B (en) Wireless communication terminal, wireless communication method, wireless communication program, and recording medium
WO2018049835A1 (zh) 一种信息处理方法和装置
WO2024079171A1 (fr) Procédé de contrôle en continu de l'accès à une ressource et dispositifs associés
JP7507967B2 (ja) 非可聴音波通信を用いた認証情報伝送装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210316

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210316

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230403

R150 Certificate of patent or registration of utility model

Ref document number: 7261449

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150