JP7261449B2 - 情報処理装置、情報処理プログラム、及び情報処理方法 - Google Patents
情報処理装置、情報処理プログラム、及び情報処理方法 Download PDFInfo
- Publication number
- JP7261449B2 JP7261449B2 JP2019012192A JP2019012192A JP7261449B2 JP 7261449 B2 JP7261449 B2 JP 7261449B2 JP 2019012192 A JP2019012192 A JP 2019012192A JP 2019012192 A JP2019012192 A JP 2019012192A JP 7261449 B2 JP7261449 B2 JP 7261449B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- information processing
- measuring device
- user
- measured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 202
- 238000003672 processing method Methods 0.000 title claims 3
- 238000004891 communication Methods 0.000 claims description 73
- 238000000034 method Methods 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 25
- 238000001514 detection method Methods 0.000 claims description 21
- 230000005540 biological transmission Effects 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 38
- 230000006870 function Effects 0.000 description 29
- 210000004556 brain Anatomy 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/34—User authentication involving the use of external additional devices, e.g. dongles or smart cards
- G06F21/35—User authentication involving the use of external additional devices, e.g. dongles or smart cards communicating wirelessly
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
- H04N21/8113—Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Neurosurgery (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Computer Networks & Wireless Communication (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- User Interface Of Digital Computer (AREA)
Description
しかし、その生体情報だけでは、だれの生体情報であるかを判別することができない。
本発明は、生体情報測定機器が測定した情報に、情報処理装置で利用されている個人を特定する情報を付加することができるようにした情報処理装置及び情報処理プログラムを提供することを目的としている。
請求項1の発明は、生体情報測定機器と本情報処理装置とを通信可能とし、本情報処理装置を利用している個人を特定する情報を該生体情報測定機器が測定した情報に付加する付加手段と、前記生体情報測定機器と本情報処理装置とを通信可能にする接続が済んだ後に、前記生体情報測定機器が測定した情報を用いて、該生体情報測定機器が装着されているユーザーの変更を検知する検知手段と、を有し、前記生体情報測定機器が測定した情報として、脳波情報を含み、前記検知手段は、前記生体情報測定機器の着脱があった場合、又は、前記生体情報測定機器が測定した情報の取得間隔が予め定めた閾値以上の場合は、既に測定された前記ユーザーの脳波情報と前記生体情報測定機器が測定した脳波情報とを比較し、両者が合致しない場合は、本情報処理装置によって画像又は音声を出力し、前記ユーザーが視聴した場合の脳波情報と、を比較することによって、ユーザーの変更を検知する、情報処理装置である。
また、生体情報測定機器の着脱があった場合に、ユーザー変更の検知処理を行うことができる。
また、ユーザーが画像又は音声を視聴した場合の脳波情報によって、ユーザー変更の検知処理を行うことができる。
また、既に測定されたユーザーの脳波情報と生体情報測定機器が測定した脳波情報とを比較することによって、ユーザーの変更を検知することができる。
また、既に測定されたユーザーの脳波情報として、生体情報測定機器と本情報処理装置とを通信可能にする接続が済んだ後に、ユーザーが画像又は音声を視聴した場合の脳波情報を用いることができる。
図1は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(「ソフトウェア」の解釈として、コンピュータ・プログラムを含む)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(例えば、コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(例えば、データの授受、指示、データ間の参照関係、ログイン等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(「2以上の値」には、もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。また、「A、B、C」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その1つのみを選んでいる場合(例えば、Aのみ)を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(「ネットワーク」には、一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(つまり、社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスクドライブ、RAM(Random Access Memoryの略)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unitの略)内のレジスタ等を含んでいてもよい。
ここで「生体情報測定機器150が測定した情報」として、その生体情報測定機器150を装着したユーザーの脳波情報、体温情報、脈拍情報、心拍情報、血圧情報等が含まれる。また、「個人を特定する情報」として、例えば、情報処理装置100の利用者であるユーザーの識別情報であってもよいし、情報処理装置100の識別情報であってもよいし、後述するキャリブレーション情報の識別情報(具体的には、後述するキャリブレーションID)であってもよい。
生体情報測定機器150による測定が始まった後に、被験者であるユーザーが入れ替わってしまっては、生体情報の信頼性が保てない。
そこで、生体情報測定機器150が装着されているユーザーの変更を検知するようにしたものである。
ここで「通信可能にする接続」とは、2つの機器(ここでは、生体情報測定機器150と情報処理装置100)の間で相互認証を行うことをいい、具体例として、Bluetooth等の近距離無線通信におけるペアリングが該当する。
なお、生体情報測定機器150の着脱があった場合に、検知モジュール120による処理を行うようにしてもよい。
ここで「生体情報測定機器150の着脱」として、生体情報測定機器150の傾き、生体情報測定機器150の電源入断、生体情報測定機器150と情報処理装置100との通信断、生体情報測定機器150からの送信がないこと、生体情報測定機器150におけるユーザーによる終了操作、のいずれか1つ以上を用いて判断するようにしてもよい。
「生体情報測定機器150からの送信がないこと」の判断として、例えば、生体情報測定機器150からの送信がない期間が予め定められた期間より長く又は以上であることを判断すればよい。
ここで「視聴」は、もちろんのことながら、「見ること」、「聴くこと」のいずれか一方であってもよいし、その両方であってもよい。
また、検知モジュール120は、画像又は音声として、ユーザーが登録した画像又は音声を含めるようにしてもよい。具体的には、情報処理装置100内に記憶されている画像又は音声を使用してもよい。
また、検知モジュール120は、既に測定されたユーザーの脳波情報と生体情報測定機器150が測定した脳波情報とを比較することによって、ユーザーの変更を検知するようにしてもよい。
ここで「既に測定されたユーザーの脳波情報」として、生体情報測定機器150と情報処理装置100とを通信可能にする接続が済んだ後に、情報処理装置100によって画像又は音声を出力し、ユーザーが視聴した場合の脳波情報を用いるようにしてもよい。
「生体情報測定機器150と情報処理装置100とを通信可能にする接続が済んだ後に」として、例えば、生体情報測定機器150と情報処理装置100とのペアリングが済んだ直後における測定が該当する。ペアリング処理では、本人が使用している情報処理装置100が用いられるので、本人の生体情報であることとして信頼性が高いからである。
携帯情報処理装置200は情報処理装置100の機能を有しており、ウェラブルデバイス250は生体情報測定機器150の機能を有しており、生体情報処理システム280は生体情報処理装置180の機能を有している。携帯情報処理装置200とウェラブルデバイス250は、通信回線145を介して接続されている。携帯情報処理装置200と生体情報処理システム280は、通信回線299を介して接続されている。通信回線299は、図1に例示した通信回線175に該当する。また、生体情報処理システム280による機能は、クラウドサービスとして実現してもよい。例えば、携帯情報処理装置200は、スマートフォン等が該当する。
ユーザー240は、ウェラブルデバイス250を装着し、携帯情報処理装置200を所持している。ウェラブルデバイス250は、ユーザー240の脳波を測定する。ウェラブルデバイス250で測定された脳波情報を、携帯情報処理装置200が受信して、ユーザー240を特定する情報を脳波情報に付加して、生体情報処理システム280に送信する。
図2の例では、ユーザー240は、1台のウェラブルデバイス250を装着しているだけであるが、複数のウェラブルデバイス250を装着していてもよい。その場合、携帯情報処理装置200は、複数のウェラブルデバイス250からの生体情報を受信して、ユーザー240を特定する情報を脳波情報に付加して、生体情報処理システム280に送信する。携帯情報処理装置200は、いわゆるIoT(Internet of Things)分野では、ウェラブルデバイス250が測定した生体データを生体情報処理システム280に送信するポイントであるエッジの役割を有することになる。
ウェラブルデバイス250から生体情報を取得した場合、その生体データが本人の生体情報であるかがわからない場合がある。図3の例に示すように、携帯情報処理装置200を所持しているユーザーA:240Aが、ウェラブルデバイス250を装着している場合、ウェラブルデバイス250が測定した生体情報をそのまま生体情報処理システム280に送信した場合、誰の生体情報であるかがわからないことになる。例えば、図3に示す生体データテーブル300は、生体データ欄310、日時欄320を有している。生体データ欄310は、生体データを記憶している。日時欄320は、その生体データを取得した日時(「日時」として、年、月、日、時、分、秒、秒以下、又はこれらの組み合わせであってもよい)を記憶している。このデータ構造では、だれの生体情報であるかが不明である。
そこで、携帯情報処理装置200は、携帯情報処理装置200の所持者であるユーザーA:240Aであることを示す情報を、生体情報に付加して生体情報処理システム280に送信することを行う。
そこで、携帯情報処理装置200は、ウェラブルデバイス250が測定した情報を用いて、そのウェラブルデバイス250が装着されているユーザーの変更を検知するようにしている。
ウェラブルデバイスと携帯情報処理装置のユーザー識別機能400は、ウェラブルデバイス250と携帯情報処理装置認証機能410と携帯情報処理装置ユーザー識別機能420によって実現される。
ウェラブルデバイス250は、脳波、心拍、脈拍等の生体情報を取得する。
携帯情報処理装置認証機能410は、一般的な携帯情報処理装置200が有している標準機能を示している。例えば、顔認証、指紋認証、パスフレーズによる認証等が該当する。また、携帯情報処理装置200は、例えば、BlueToothでウェラブルデバイス250と接続する機能を有している。
携帯情報処理装置ユーザー識別機能420は、主にユーザー・生体情報対応管理モジュール110によって行われる機能である。例えば、以下の機能がある。(1)ウェラブルデバイス250から取得した生体情報に、携帯情報処理装置200の利用者を特定する情報を付加する機能。(2)その生体情報から特徴量を識別する機能。なお、生体情報の特徴量として、生体情報が脳波である場合は、例えば、周波数、α波、β波等の周波数帯別の積分値、フーリエ変換によるスペクトル解析結果等がある。(3)ウェラブルデバイス250の装着又は着脱を判別する機能。(4)ウェラブルデバイス250をキャリブレーションする機能。(5)携帯情報処理装置200とウェラブルデバイス250を関連付けて(「関連付けて」は、「紐付けて」とも言われる)管理する機能。
そして、これらのウェラブルデバイス250、携帯情報処理装置認証機能410、携帯情報処理装置ユーザー識別機能420によって、ウェラブルデバイスと携帯情報処理装置のユーザー識別機能400は、ユーザー操作、生体情報の状況からユーザーを特定し、ウェラブルデバイス250を装着しているユーザーごとにデータを管理する仕組みを提供している。
携帯情報処理装置200は、デバイス接続モジュール205、データ送受信モジュール210、認証モジュール215、生体データ特徴量抽出モジュール220、着脱判定モジュール225、キャリブレーションモジュール230を有しており、ウェラブルデバイス250とは通信回線145を介して、生体情報処理システム280とは通信回線175を介して接続されている。
デバイス接続モジュール205は、ウェラブルデバイス250との通信を行い、ウェラブルデバイス250が測定した生体情報を受信する。
データ送受信モジュール210は、生体情報処理システム280との通信を行い、ウェラブルデバイス250が測定した生体情報を送信する。
認証モジュール215は、携帯情報処理装置200の利用者を、例えば、指紋、顔画像等を用いて認証する。
生体データ特徴量抽出モジュール220は、ウェラブルデバイス250が測定した生体情報の特徴量を抽出する。前述したように、生体情報が脳波である場合は、例えば、周波数、α波、β波等の周波数帯別の積分値、フーリエ変換によるスペクトル解析結果等を特徴量として抽出する。
着脱判定モジュール225は、ウェラブルデバイス250がユーザーから着脱されたこと、又は、携帯情報処理装置200とウェラブルデバイス250との接続と、その接続の切断が行われたか否かを判定する。
通信制御モジュール255は、生体センサー260が測定した生体情報を、BLE265、データ送信モジュール270を用いて、携帯情報処理装置200に送信することを制御する。
生体センサー260は、ウェラブルデバイス250が装着された人の脳波等の生体情報を測定する。
BLE265は、低消費電力の通信モードを有しているBluetooth Low Energyを用いて、携帯情報処理装置200との通信を行う。
データ送信モジュール270は、通信制御モジュール255の制御にしたがって、BLE265を用いて、生体センサー260が測定した生体情報を携帯情報処理装置200に送信する。
認証DB285は、生体情報処理システム280における認証情報を記憶している。例えば、携帯情報処理装置200の識別情報とユーザーの識別情報の対応等を記憶している。
生体データDB290は、携帯情報処理装置200から送信されてきた生体情報を記憶している。
キャリブレーションDB295は、携帯情報処理装置200から送信されてきたキャリブレーション情報を記憶している。
携帯情報処理装置200の認証機能を活用して、ウェラブルデバイス250から取得した生体情報に、携帯情報処理装置200を利用しているユーザーの識別情報を付加する。さらに、キャリブレーション情報の識別情報によるラベル付けを行い、生体情報の信頼性を確保するようにしてもよい。なりすましを防止するため、ウェラブルデバイス250の着脱があった場合や取得した生体情報に予め定められた時間以上の空きがある等の場合は、キャリブレーション情報と生体情報との比較を実施する。比較した値が著しく違う場合は、ユーザーをキャリブレーション機能へ誘導し、今回のキャリブレーション結果と初回のキャリブレーション結果との比較を行って、ユーザーの変更が行われたか否かの判断を行う。
生体情報処理システム280は、生体データDB290、キャリブレーションDB295を有している。そして、生体データDB290は、ユーザーDB292、デバイスDB294を有している。
携帯情報処理装置200は、例えば、ユーザーを生体認証で特定する。
携帯情報処理装置200とウェラブルデバイス250は、最初にペアリングを行い、互いのペアリング情報を登録する。
携帯情報処理装置200は、生体情報収集アプリケーション610を用いて、ユーザーDB292に、ユーザーとそのユーザーが利用している携帯情報処理装置200の対応データを生成する。この対応データとして、例えば、ユーザー・携帯情報処理装置対応テーブル700を生成する。図7は、ユーザー・携帯情報処理装置対応テーブル700のデータ構造例を示す説明図である。ユーザー・携帯情報処理装置対応テーブル700は、ユーザーID欄710、携帯情報処理装置ID欄720を有している。ユーザーID欄710は、本実施の形態において、ユーザーを一意に識別するための情報(具体的には、ユーザーID:IDentification)を記憶している。携帯情報処理装置ID欄720は、本実施の形態において、携帯情報処理装置200を一意に識別するための情報(具体的には、携帯情報処理装置ID)を記憶している。図7の例では、ユーザーAがスマホAを利用していること、ユーザーBがスマホBを利用していることを示している。
キャリブレーション管理テーブル900は、キャリブレーションID欄910、ユーザーID欄920、携帯情報処理装置ID欄930、デバイスID欄940、日時欄950、キャリブレーション値欄960を有している。キャリブレーションID欄910は、本実施の形態において、キャリブレーションを一意に識別するための情報(キャリブレーションID)を記憶している。ユーザーID欄920は、ユーザーIDを記憶している。携帯情報処理装置ID欄930は、携帯情報処理装置IDを記憶している。デバイスID欄940は、デバイスIDを記憶している。日時欄950は、日時を記憶している。キャリブレーション値欄960は、キャリブレーション値を記憶している。つまり、ユーザーの生体情報を携帯情報処理装置200、ウェラブルデバイス250を用いて測定しておき、その状況を、ユーザーID欄920、携帯情報処理装置ID欄930、デバイスID欄940、日時欄950で記憶し、測定値をキャリブレーション値欄960で記憶するものである。図9の例では、キャリブレーションID:R1として、日時「Y1,M1,H1,M1」に、ユーザーAの生体情報を、スマホA、デバイス1で測定した結果を記憶していること、キャリブレーションID:R2として、日時「Y2,M2,H2,M2」に、ユーザーBの生体情報を、スマホB、デバイス2で測定した結果を記憶していることを示している。
そして、ユーザーの生体情報を測定し、生体情報の特徴量とキャリブレーション情報を照合して、その生体情報と合致するキャリブレーションIDを生体情報に付加する。
ステップS1002では、ユーザーの認証を行う。
ステップS1004では、携帯情報処理装置200とウェラブルデバイス250との接続を行う。
ステップS1008では、携帯情報処理装置200とウェラブルデバイス250との接続を完了する。
ステップS1012では、キャリブレーションを行う。ステップS1012の詳細な処理については、図15の例に示すフローチャートを用いて後述する。
ステップS1014では、キャリブレーションデータを生体情報処理システム280に送信する。
ステップS1018では、生体データを携帯情報処理装置200内に保管する。生体情報処理システム280に送信するまでの一時的な保管となる。
ステップS1020では、「ウェラブルデバイス250の着脱発生」、又は、「データの取得間隔≧閾値A」であるか否かを判断し、「ウェラブルデバイス250の着脱が発生した場合」、又は、「データの取得間隔≧閾値A」の場合はステップS1022へ進み、それ以外の場合はステップS1028へ進む。
ここでの判断として、ウェラブルデバイス250の傾き、ウェラブルデバイス250の電源入断(いわゆる電源オン、オフ)、ウェラブルデバイス250との通信断、ウェラブルデバイス250からの送信がないこと、ウェラブルデバイス250におけるユーザーによる終了操作、のいずれか1つ以上を用いて判断するようにしてもよい。例えば、「ウェラブルデバイス250の傾き」として、生体情報の計測時は、傾きが発生しないようなウェラブルデバイス250である場合は、ウェラブルデバイス250の傾きが発生したことを検知した場合は、ウェラブルデバイス250の着脱が発生したと判断してもよい。また、その傾きが予め定められた値より大きいこと又は以上である場合は、ウェラブルデバイス250の着脱が発生したと判断してもよい。
また、「ウェラブルデバイス250との通信断」、「ウェラブルデバイス250からの送信がないこと」の条件は、「データの取得間隔≧閾値A」の条件を代用としてもよい。
キャリブレーション値は、ステップS1012で計測された生体情報である。前述したように、予め定められた状況下における生体情報を計測したものである。このキャリブレーション情報の特徴量とステップS1016で取得した生体情報の特徴量が合致しない場合は、なりすましが発生した可能性が高い。もちろんのことながら、合致した場合は、本人の生体情報であると判断する。なお、ここで「合致」とは、完全一致だけでなく、両者の特徴量の差分が予め定められた値未満又は以下であることをいう。
ステップS1028では、生体データを生体情報処理システム280に保管し、処理を完了する。
図12は、生体データテーブル1200のデータ構造例を示す説明図である。生体データテーブル1200は、ユーザーID欄1210、デバイスID欄1220、日時欄1230、生体データ欄1240を有している。ユーザーID欄1210は、ユーザーIDを記憶している。デバイスID欄1220は、そのユーザーの生体データを測定したウェラブルデバイス250のデバイスIDを記憶している。日時欄1230は、生体データを取得した日時を記憶している。生体データ欄1240は、生体データを記憶している。
つまり、そのキャリブレーションIDに対応するユーザーが、ユーザーID欄1410に記憶されているユーザーと一致しない場合は、なりすましが発生した可能性が高い。また、なりすましである場合は、キャリブレーション管理テーブル900においてそのキャリブレーションIDに対応するユーザーが、本来のユーザー(ここでは、ユーザーID欄1410に記憶されているユーザー)になりすました可能性があることを示している。これらのことを携帯情報処理装置200が判断して、表示するようにしてもよい。そのために、携帯情報処理装置200は、キャリブレーション管理テーブル900を生体情報処理システム280から取得して、キャリブレーション情報同士の比較を行えばよい。表示例として、例えば、「ウェラブルデバイス250を装着しているのは、あなたではなく、○○さんですね。」等としてもよい。
ステップS1502では、初期画面を表示する。例えば、図16に示す画面1610を表示する。図16は、本実施の形態による処理例を示す説明図である。携帯情報処理装置200は、画面1610を有している。画面1610に、アプリケーションの説明を表示する。例えば、「ようこそ!はじめにあなたの脳波状態を測定します。音声ガイドに従い測定を開始しましょう!」と表示し、この処理に必要なウォークスルー画面の枚数(図16の例では4枚であることを示す丸記号)を併せて表示する。もちろんのことながら、絵等を用いた説明であってもよい。
ステップS1506では、ここで測定した脳波情報をキャリブレーション値として生体情報処理システム280に送信する。
ステップS1510では、ここで測定した脳波情報をキャリブレーション値として生体情報処理システム280に送信する。
・初回はユーザーが興味ある画像を3枚登録する。具体的には、携帯情報処理装置200内に記憶されている画像を選択できるように表示し、その中でユーザーによって選択された3枚を、このキャリブレーションで表示する画像として登録すればよい。例えば、3枚の画像として、自身の画像、自分の子供の画像、好きな玩具の画像等がある。
・画面1910に画像を3秒間隔で1枚ずつ5回表示する。画像は、ユーザーが登録した3枚と、予め用意した2枚の画像を表示する。
・また、ユーザーに音声でも案内するようにしてもよい。
なお、初回時のキャリブレーション(ステップS1012)では、5枚の画像を表示する。ただし、「判別時のキャリブレーション」(ステップS1024)では、個人が特定された時点で画像表示を終了してもよい。つまり、必ずしも5枚の画像を見る必要はない。
また、表示される順序は、ランダムであってもよいし、予め定められた順序であってもよい。なお、初回時のキャリブレーション(ステップS1012)でランダムの順序で表示した場合は、その表示順序を記憶しておき、判別時のキャリブレーション(ステップS1024)では、初回時のキャリブレーションの表示順序で表示するようにしてもよい。
なお、画像等の視覚情報、又は、音楽等の聴覚情報による脳波反応は被験者ごとに異なる波形が生成される。例えば、図20(a)に示すように、携帯情報処理装置200の画面1910に同じ画像を表示したとしても、図20(b)、(c)、(d)に示すように、ユーザーAの脳波、ユーザーBの脳波、ユーザーCの脳波は異なるものになる。この脳波反応を利用して、ステップS1022、ステップS1024では、ウェラブルデバイス250を装着しているユーザーを識別している。例えば、
「脳波で「個人認証」 ハイジャック防止に応用も 鳥取大で実験」
https://www.sankei.com/life/news/170818/lif1708180001-n1.html
等の実験がある。
図21(a)の例は図17の例と同等であり、集中した場合の脳波を測定するものである。図21(b)の例は図18の例と同等であり、リラックスした場合の脳波を測定するものである。図21(c1)~(c3)の例は図19の例と同等であり、画像を表示した場合のその反応における脳波を測定するものである。例えば、画面1910では、自分の子供の画像を表示する。画面2112では、自分の画像を表示する。画面2113では、興味のある電車の画像を表示する。前述したように、他に、予め用意した2枚の画像を表示する。
そして、図21(d)、(e1)~(e3)の例に示すように、生体情報処理システム280のキャリブレーションDB295に、脳波の測定結果であるキャリブレーション結果をユーザー毎に保存する。
これらのキャリブレーション結果は、図10の例に示したフローチャートのステップS1022、又は、ステップS1024で用いられる。
なお、図22に示すハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図22に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えば特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)や再構成可能な集積回路(field-programmable gate array:FPGA)等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図22に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、携帯情報通信機器(携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む)、情報家電、ロボット、複写機、ファックス、スキャナ、プリンタ、複合機(スキャナ、プリンタ、複写機、ファックス等のいずれか2つ以上の機能を有している画像処理装置)などに組み込まれていてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD-R、DVD-RW、DVD-RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD-ROM)、CDレコーダブル(CD-R)、CDリライタブル(CD-RW)等、ブルーレイ・ディスク(Blu-ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digitalの略)メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
105…通信Aモジュール
110…ユーザー・生体情報対応管理モジュール
115…付加モジュール
120…検知モジュール
125…通信Bモジュール
145…通信回線
150…生体情報測定機器
175…通信回線
180…生体情報処理装置
200…携帯情報処理装置
205…デバイス接続モジュール
210…データ送受信モジュール
215…認証モジュール
220…生体データ特徴量抽出モジュール
225…着脱判定モジュール
230…キャリブレーションモジュール
240…ユーザー
250…ウェラブルデバイス
255…通信制御モジュール
260…生体センサー
265…BLE
270…データ送信モジュール
280…生体情報処理システム
285…認証DB
290…生体データDB
292…ユーザーDB
294…デバイスDB
295…キャリブレーションDB
299…通信回線
Claims (5)
- 生体情報測定機器と本情報処理装置とを通信可能とし、本情報処理装置を利用している個人を特定する情報を該生体情報測定機器が測定した情報に付加する付加手段と、
前記生体情報測定機器と本情報処理装置とを通信可能にする接続が済んだ後に、前記生体情報測定機器が測定した情報を用いて、該生体情報測定機器が装着されているユーザーの変更を検知する検知手段と、
を有し、
前記生体情報測定機器が測定した情報として、脳波情報を含み、
前記検知手段は、前記生体情報測定機器の着脱があった場合、又は、前記生体情報測定機器が測定した情報の取得間隔が予め定めた閾値以上の場合は、既に測定された前記ユーザーの脳波情報と前記生体情報測定機器が測定した脳波情報とを比較し、両者が合致しない場合は、本情報処理装置によって画像又は音声を出力し、前記ユーザーが視聴した場合の脳波情報と、を比較することによって、ユーザーの変更を検知する、
情報処理装置。 - 前記着脱として、前記生体情報測定機器の傾き、該生体情報測定機器の電源入断、該生体情報測定機器との通信断、該生体情報測定機器からの送信がないこと、該生体情報測定機器における前記ユーザーによる終了操作、のいずれか1つ以上を用いて判断する、
請求項1に記載の情報処理装置。 - 前記検知手段は、前記画像又は音声として、前記ユーザーが登録した画像又は音声を含める、
請求項1又は請求項2に記載の情報処理装置。 - 情報処理装置であるコンピュータを、
生体情報測定機器と前記情報処理装置とを通信可能とし、該情報処理装置を利用している個人を特定する情報を該生体情報測定機器が測定した情報に付加する付加手段と、
前記生体情報測定機器と本情報処理装置とを通信可能にする接続が済んだ後に、前記生体情報測定機器が測定した情報を用いて、該生体情報測定機器が装着されているユーザーの変更を検知する検知手段と、
として機能させるための情報処理プログラムであって、
前記生体情報測定機器が測定した情報として、脳波情報を含み、
前記検知手段は、前記生体情報測定機器の着脱があった場合、又は、前記生体情報測定機器が測定した情報の取得間隔が予め定めた閾値以上の場合は、既に測定された前記ユーザーの脳波情報と前記生体情報測定機器が測定した脳波情報とを比較し、両者が合致しない場合は、本情報処理装置によって画像又は音声を出力し、前記ユーザーが視聴した場合の脳波情報と、を比較することによって、ユーザーの変更を検知する、
情報処理プログラム。 - 情報処理装置であるコンピュータが、
生体情報測定機器と前記情報処理装置とを通信可能とし、該情報処理装置を利用している個人を特定する情報を該生体情報測定機器が測定した情報に付加する付加工程と、
前記生体情報測定機器と本情報処理装置とを通信可能にする接続が済んだ後に、前記生体情報測定機器が測定した情報を用いて、該生体情報測定機器が装着されているユーザーの変更を検知する検知工程と、
を含む処理を実行する情報処理方法であって、
前記生体情報測定機器が測定した情報として、脳波情報を含み、
前記検知工程は、前記生体情報測定機器の着脱があった場合、又は、前記生体情報測定機器が測定した情報の取得間隔が予め定めた閾値以上の場合は、既に測定された前記ユーザーの脳波情報と前記生体情報測定機器が測定した脳波情報とを比較し、両者が合致しない場合は、本情報処理装置によって画像又は音声を出力し、前記ユーザーが視聴した場合の脳波情報と、を比較することによって、ユーザーの変更を検知する、
情報処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019012192A JP7261449B2 (ja) | 2019-01-28 | 2019-01-28 | 情報処理装置、情報処理プログラム、及び情報処理方法 |
US16/513,718 US11134296B2 (en) | 2019-01-28 | 2019-07-17 | Information processing apparatus, method therefor, and non-transitory computer readable medium storing information processing program |
CN201910829457.6A CN111488781A (zh) | 2019-01-28 | 2019-09-03 | 信息处理装置、记录媒体及信息处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019012192A JP7261449B2 (ja) | 2019-01-28 | 2019-01-28 | 情報処理装置、情報処理プログラム、及び情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020119433A JP2020119433A (ja) | 2020-08-06 |
JP7261449B2 true JP7261449B2 (ja) | 2023-04-20 |
Family
ID=71731799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019012192A Active JP7261449B2 (ja) | 2019-01-28 | 2019-01-28 | 情報処理装置、情報処理プログラム、及び情報処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11134296B2 (ja) |
JP (1) | JP7261449B2 (ja) |
CN (1) | CN111488781A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022032590A (ja) * | 2020-08-12 | 2022-02-25 | Cyberdyne株式会社 | 生体情報管理システムおよび生体情報管理方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150381609A1 (en) | 2014-06-27 | 2015-12-31 | Saurabh Dadu | Wearable electronic devices |
JP2016099684A (ja) | 2014-11-18 | 2016-05-30 | インターマン株式会社 | ライフログを利用した本人確認方法および本人確認装置 |
JP2017176278A (ja) | 2016-03-28 | 2017-10-05 | 富士通株式会社 | 生体データ記録方法、生体データ記録装置、及び生体データ記録プログラム |
JP2018136795A (ja) | 2017-02-22 | 2018-08-30 | 日本電信電話株式会社 | 制御システムおよび制御方法 |
JP2018147086A (ja) | 2017-03-02 | 2018-09-20 | 株式会社コロプラ | 情報処理方法、プログラム、仮想空間配信システム及び装置 |
JP2018190164A (ja) | 2017-05-02 | 2018-11-29 | 株式会社ぐるなび | 認証装置、認証方法、及び認証プログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5243318B2 (ja) | 2009-03-19 | 2013-07-24 | 株式会社野村総合研究所 | コンテンツ配信システム、コンテンツ配信方法及びコンピュータプログラム |
US10009644B2 (en) * | 2012-12-04 | 2018-06-26 | Interaxon Inc | System and method for enhancing content using brain-state data |
US20150029087A1 (en) * | 2013-07-24 | 2015-01-29 | United Video Properties, Inc. | Methods and systems for adjusting power consumption in a user device based on brain activity |
US10624561B2 (en) * | 2017-04-12 | 2020-04-21 | Fitbit, Inc. | User identification by biometric monitoring device |
US20200045042A1 (en) * | 2018-08-04 | 2020-02-06 | For Long Life Corp | Physical activity assessment system |
-
2019
- 2019-01-28 JP JP2019012192A patent/JP7261449B2/ja active Active
- 2019-07-17 US US16/513,718 patent/US11134296B2/en active Active
- 2019-09-03 CN CN201910829457.6A patent/CN111488781A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150381609A1 (en) | 2014-06-27 | 2015-12-31 | Saurabh Dadu | Wearable electronic devices |
JP2016099684A (ja) | 2014-11-18 | 2016-05-30 | インターマン株式会社 | ライフログを利用した本人確認方法および本人確認装置 |
JP2017176278A (ja) | 2016-03-28 | 2017-10-05 | 富士通株式会社 | 生体データ記録方法、生体データ記録装置、及び生体データ記録プログラム |
JP2018136795A (ja) | 2017-02-22 | 2018-08-30 | 日本電信電話株式会社 | 制御システムおよび制御方法 |
JP2018147086A (ja) | 2017-03-02 | 2018-09-20 | 株式会社コロプラ | 情報処理方法、プログラム、仮想空間配信システム及び装置 |
JP2018190164A (ja) | 2017-05-02 | 2018-11-29 | 株式会社ぐるなび | 認証装置、認証方法、及び認証プログラム |
Also Published As
Publication number | Publication date |
---|---|
CN111488781A (zh) | 2020-08-04 |
US11134296B2 (en) | 2021-09-28 |
US20200245015A1 (en) | 2020-07-30 |
JP2020119433A (ja) | 2020-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10860645B2 (en) | Systems and methods for creation of a listening log and music library | |
KR102356549B1 (ko) | 디바이스 내의 폴더를 암호화하는 시스템 및 방법 | |
EP3309783A1 (en) | Communication method, and electronic device therefor | |
JP2008098765A5 (ja) | ||
US20120155661A1 (en) | Electronic device and method for testing an audio module | |
US9807308B2 (en) | Personal camera companion for real-time streaming | |
US20210067964A1 (en) | Devices, systems, and processes for authenticating devices | |
CN113168435A (zh) | 非接触式用户认证方法 | |
US10067723B2 (en) | System and method for beacon based device login | |
JP7261449B2 (ja) | 情報処理装置、情報処理プログラム、及び情報処理方法 | |
US11185268B2 (en) | Information processing apparatus and non-transitory computer readable medium | |
EP2836119A2 (fr) | Dispositif médical pour la mesure et le traitement d'un paramètre de santé d'un patient | |
US11557214B2 (en) | Information processing apparatus and method for processing information | |
CN105574400B (zh) | 一种信息处理方法及电子设备 | |
TW201919020A (zh) | 用於進行基於安全的電腦之候選者評估的系統和方法以及執行方法之非暫時性電腦可讀媒體 | |
US10999711B2 (en) | Apparatus and system for distributing an behavior state to an terminal in an environment | |
CA2932921C (en) | Method for detecting a fraudulent terminal by means of a cryptogram, corresponding device and program | |
JP2012141766A5 (ja) | ||
KR102527842B1 (ko) | 전자 장치 및 그 제어 방법 | |
KR102243124B1 (ko) | 초음파를 이용한 사용자 인증 방법 | |
KR20150106803A (ko) | 디바이스 내의 파일 시스템 구조를 암호화하는 시스템 및 방법 | |
TWI380634B (en) | Wireless communication terminal, wireless communication method, wireless communication program, and recording medium | |
WO2018049835A1 (zh) | 一种信息处理方法和装置 | |
WO2024079171A1 (fr) | Procédé de contrôle en continu de l'accès à une ressource et dispositifs associés | |
JP7507967B2 (ja) | 非可聴音波通信を用いた認証情報伝送装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210316 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20210416 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210316 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230403 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7261449 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |