JP6962551B2 - 瞳孔反応を用いた情報処理システム - Google Patents
瞳孔反応を用いた情報処理システム Download PDFInfo
- Publication number
- JP6962551B2 JP6962551B2 JP2017170764A JP2017170764A JP6962551B2 JP 6962551 B2 JP6962551 B2 JP 6962551B2 JP 2017170764 A JP2017170764 A JP 2017170764A JP 2017170764 A JP2017170764 A JP 2017170764A JP 6962551 B2 JP6962551 B2 JP 6962551B2
- Authority
- JP
- Japan
- Prior art keywords
- utterance
- pupil
- time
- phenomenon
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Description
被検者の瞳孔状態を検出するための瞳孔状態検出手段と、
被検者の唇動作又は発声(以下「発話付随現象」と云う。)を検出するための発話付随現象検出手段と、
発話付随現象検出手段によって発話付随現象が検出されていないときに瞳孔状態検出手段が検出した瞳孔状態(以下「基準時瞳孔状態」と云う。)を記憶するための基準時瞳孔状態記憶手段と、
発話付随現象検出手段によって発話付随現象が検出されると、その発話付随現象が検出されたときの被検者の瞳孔状態(以下「検出時瞳孔状態」と云う。)を瞳孔状態検出手段から取得するとともに、基準時瞳孔状態と検出時瞳孔状態とに基づいて、その発話付随現象に対応した処理を実行する発話付随現象対応処理実行手段と、
を備えたことを特徴とする、瞳孔反応を用いた情報処理システム
を提供することによって解決される。
発話意思判定手段によって被検者に発話意思があると判定された際に、その判定がされたときに唇動作検出手段が検出した唇の動作から、その動作に対応した音を判別する音判別手段と、
音判別手段が判別した音を文字又は音として出力する発話内容出力手段と、
をさらに備えることも好ましい。
本発明に係る情報処理システムの好適な実施態様について、図面を用いてより具体的に説明する。図1は、本発明に係る情報処理システムのブロック図である。図1において実線で示した瞳孔状態検出手段10、発話付随現象検出手段20、基準時瞳孔状態記憶手段30及び発話付随現象対応処理実行手段40は、本発明に係る情報処理システムの必須の構成であるが、図1において破線で示した音判別手段50及び発話内容出力手段60はオプションの構成(後述する生体認証処理では採用せず、後述する読唇型のコミュニケーションツールで採用する構成)である。
瞳孔状態検出手段10は、被検者の瞳孔状態を検出するためのものとなっている。瞳孔状態検出手段10は、被検者の瞳孔状態(特に瞳孔の拡大及び縮小)を検知できるのであれば、その種類を特に限定されないが、通常、カメラと、当該カメラの撮影画像を解析する画像解析手段(画像処理装置や画像処理プログラム等)が用いられる。瞳孔状態検出手段10に用いるカメラとしては、動画撮影が可能なものを用いると好ましい。瞳孔状態検出手段10にカメラを用いる場合には、そのカメラのレンズは、被検者の瞳孔を視野に収めるように設置される。
発話付随現象検出手段20は、被検者の発話付随現象(唇動作又は発声)を検出するためのものとなっている。発話付随現象検出手段20のうち、被検者の唇動作を検出可能なものは、「唇動作検出手段」と呼ぶことが有り、被検者の発話を検出可能なものは「発話検出手段」と呼ぶことがある。
唇動作検出手段は、被検者の唇動作を検出できるのであれば、その種類を特に限定されないが、カメラと、当該カメラの撮影画像を解析する画像解析手段(画像処理装置や画像処理プログラム等)を用いると、被検者に非接触な状態で唇動作を検出できるために好ましい。唇動作検出手段に用いるカメラとしては、動画撮影が可能なものを用いると好ましい。唇動作検出手段にカメラを用いる場合には、そのカメラのレンズは、被検者の唇を視野に収めるように設置される。カメラの視野を広めに設定し、その視野に被検者の唇及び瞳孔が入るようにすれば、瞳孔状態検出手段10に用いるカメラと、唇動作検出手段に用いるカメラとを1台のカメラで共用することも可能である。また、上記の画像解析手段も共用することも可能である。
これに対し、発話検出手段は、被検者による発話(発声)を検出できるものであれば、その種類を特に限定されないが、通常、マイクロフォンと、当該マイクロフォンから出力される音声を解析する音声解析手段(音声処理装置や音声処理プログラム等)が用いられる。発話検出手段にマイクロフォンを用いる場合には、そのマイクロフォンは、その集音部を被検者の口に向けた状態で設置すると好ましい。
基準時瞳孔状態記憶手段30は、上記の発話付随現象検出手段20によって発話付随現象(被検者の唇動作又は発話)が検出されていないとき(基準時)に上記の瞳孔状態検出手段10が検出した被検者の瞳孔状態(基準時瞳孔状態)を記憶するためのものである。基準時瞳孔状態記憶手段30には、通常、コンピュータの記憶回路(RAMやROMのメモリ等)が用いられる。
発話付随現象対応処理実行手段40は、上記の発話付随現象検出手段20によって発話付随現象(被検者の唇動作又は発話)が検出されると、その発話付随現象が検出されたとき(検出時)の被検者の瞳孔状態(検出時瞳孔状態)を上記の瞳孔状態検出手段10から取得するとともに、この検出時瞳孔状態と、上記の基準時瞳孔状態記憶手段30から取得した基準時瞳孔状態とに基づいて、その発話付随現象に対応した処理(発話付随現象対応実行処理)を実行するものとなっている。
本発明に係る情報処理システムでは、上記の発話付随現象対応処理実行手段40を、発話付随現象検出手段20によって発話付随現象(被検者の唇動作又は発話)が検出されたときに、基準時瞳孔状態と検出時瞳孔状態とに基づいて個人認証を実行するもの(個人認証実行手段)とすることによって、優れた生体認証システムを実現することができる。この個人認証実行手段(発話付随現象検出手段20)で実行する個人認証のアルゴリズムは、特に限定されないが、例えば、以下の流れで実行することができる。
本発明に係る情報処理システムでは、上記の発話付随現象対応処理実行手段40を、唇動作検出手段(発話付随現象検出手段20)によって被検者の唇動作が検出されたときに、基準時瞳孔状態と検出時瞳孔状態とを比較することにより、その唇動作が検出されたときの被検者に発話意思があるか否かを判別するもの(発話意思判定手段)とすることによって、優れたコミュニケーションツールを実現することができる。この発話意思判定手段(発話付随現象検出手段20)で実行する発話意思の有無の判定アルゴリズムは、特に限定されないが、例えば、以下の流れで実行することができる。
20 発話付随現象検出手段
30 基準時瞳孔状態記憶手段
40 発話付随現象対応処理実行手段
50 音判別手段
60 発話内容出力手段
Claims (5)
- 被検者の瞳孔状態を検出するための瞳孔状態検出手段と、
被検者の唇動作又は発声(以下「発話付随現象」と云う。)を検出するための発話付随現象検出手段と、
発話付随現象検出手段によって発話付随現象が検出されていないときに瞳孔状態検出手段が検出した瞳孔状態(以下「基準時瞳孔状態」と云う。)を記憶するための基準時瞳孔状態記憶手段と、
発話付随現象検出手段によって発話付随現象が検出されると、その発話付随現象が検出されたときの被検者の瞳孔状態(以下「検出時瞳孔状態」と云う。)を瞳孔状態検出手段から取得するとともに、基準時瞳孔状態と検出時瞳孔状態とに基づいて、その発話付随現象に対応した処理を実行する発話付随現象対応処理実行手段と、
を備えたことを特徴とする、瞳孔反応を用いた情報処理システム。 - 発話付随現象検出手段が、被検者の唇動作を検出する唇動作検出手段とされ、
発話付随現象対応処理実行手段が、唇動作検出手段によって唇動作が検出されると、検出時瞳孔状態を瞳孔状態検出手段から取得するとともに、基準時瞳孔状態と検出時瞳孔状態とを比較することにより、その唇動作が検出されたときの被検者に発話意思があるか否かを判別する発話意思判定手段とされた
請求項1記載の、瞳孔反応を用いた情報処理システム。 - 発話意思判定手段によって被検者に発話意思があると判定された際に、その判定がされたときに唇動作検出手段が検出した唇の動作から、その動作に対応した音を判別する音判別手段と、
音判別手段が判別した音を文字又は音として出力する発話内容出力手段と、
をさらに備えた
請求項2記載の、瞳孔反応を用いた情報処理システム。 - 発話付随現象対応処理実行手段が、発話付随現象検出手段によって発話付随現象が検出されると、検出時瞳孔状態を瞳孔状態検出手段から取得するとともに、基準時瞳孔状態と検出時瞳孔状態とに基づいて個人認証を実行する個人認証実行手段とされた
請求項1記載の、瞳孔反応を用いた情報処理システム。 - 個人認証実行手段が、基準時瞳孔状態における瞳孔面積と、検出時瞳孔状態における瞳孔面積とから算出される瞳孔拡大率及び/又は瞳孔拡大速度に基づいて個人認証を実行するものとされた
請求項4記載の、瞳孔反応を用いた情報処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017170764A JP6962551B2 (ja) | 2017-09-06 | 2017-09-06 | 瞳孔反応を用いた情報処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017170764A JP6962551B2 (ja) | 2017-09-06 | 2017-09-06 | 瞳孔反応を用いた情報処理システム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019046331A JP2019046331A (ja) | 2019-03-22 |
JP2019046331A5 JP2019046331A5 (ja) | 2020-10-15 |
JP6962551B2 true JP6962551B2 (ja) | 2021-11-05 |
Family
ID=65814430
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017170764A Active JP6962551B2 (ja) | 2017-09-06 | 2017-09-06 | 瞳孔反応を用いた情報処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6962551B2 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2967012B2 (ja) * | 1993-01-07 | 1999-10-25 | 富士電機株式会社 | 個人認識装置 |
JP2000068882A (ja) * | 1998-08-17 | 2000-03-03 | Matsushita Electric Ind Co Ltd | 無線通信装置 |
JP2006268395A (ja) * | 2005-03-24 | 2006-10-05 | Fuji Xerox Co Ltd | 情報処理装置、情報処理方法及びプログラム |
US20170046583A1 (en) * | 2015-08-10 | 2017-02-16 | Yoti Ltd | Liveness detection |
-
2017
- 2017-09-06 JP JP2017170764A patent/JP6962551B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019046331A (ja) | 2019-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Hussain et al. | Activity-aware fall detection and recognition based on wearable sensors | |
JP6467965B2 (ja) | 感情推定装置及び感情推定方法 | |
JP2019531538A5 (ja) | ||
CN109558788B (zh) | 静默语音输入辨识方法、计算装置和计算机可读介质 | |
Grammatikopoulou et al. | Detecting hypomimia symptoms by selfie photo analysis: for early Parkinson disease detection | |
JP2004310034A (ja) | 対話エージェントシステム | |
JP6277736B2 (ja) | 状態認識方法及び状態認識装置 | |
WO2012020591A1 (ja) | 個体識別システム、特徴量特定装置、特徴量特定方法および記録媒体 | |
US20200237290A1 (en) | System and method for detection of cognitive and speech impairment based on temporal visual facial feature | |
JP5989603B2 (ja) | 推定装置、推定方法、およびプログラム | |
JP2005160805A (ja) | 個人認識装置および属性判定装置 | |
EP4098182A1 (en) | Machine-learning based gesture recognition with framework for adding user-customized gestures | |
Sun et al. | Teethtap: Recognizing discrete teeth gestures using motion and acoustic sensing on an earpiece | |
JP4730812B2 (ja) | 個人認証装置、個人認証処理方法、そのためのプログラム及び記録媒体 | |
JP2021015443A (ja) | 補完プログラム、補完方法、および補完装置 | |
Khanna et al. | JawSense: recognizing unvoiced sound using a low-cost ear-worn system | |
JP2008004050A (ja) | 個人情報認証システム、個人情報認証方法、プログラム、及び記録媒体 | |
Banjar et al. | Fall event detection using the mean absolute deviated local ternary patterns and BiLSTM | |
JP2019154575A (ja) | 個人識別装置および特徴収集装置 | |
JP2018087838A (ja) | 音声認識装置 | |
Huang et al. | Acoustic Gait Analysis using Support Vector Machines. | |
JP6962551B2 (ja) | 瞳孔反応を用いた情報処理システム | |
JP2010199865A (ja) | 異常検知システム、異常検知方法及び異常検知プログラム | |
JP4775961B2 (ja) | 映像を用いた発音の推定方法 | |
JP7032284B2 (ja) | ユーザの顔の映像に基づいて発動タイミングを推定する装置、プログラム及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20170915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200904 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200904 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20200911 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200911 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210913 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211005 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211007 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6962551 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |