WO2020129197A1 - 情報処理装置、装着型機器、情報処理方法及び記憶媒体 - Google Patents

情報処理装置、装着型機器、情報処理方法及び記憶媒体 Download PDF

Info

Publication number
WO2020129197A1
WO2020129197A1 PCT/JP2018/046879 JP2018046879W WO2020129197A1 WO 2020129197 A1 WO2020129197 A1 WO 2020129197A1 JP 2018046879 W JP2018046879 W JP 2018046879W WO 2020129197 A1 WO2020129197 A1 WO 2020129197A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
heartbeat
sound
inspection
acoustic
Prior art date
Application number
PCT/JP2018/046879
Other languages
English (en)
French (fr)
Inventor
隆行 荒川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/299,005 priority Critical patent/US20220039779A1/en
Priority to JP2020560712A priority patent/JP7127700B2/ja
Priority to PCT/JP2018/046879 priority patent/WO2020129197A1/ja
Publication of WO2020129197A1 publication Critical patent/WO2020129197A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/02Measuring pulse or heart rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1008Earpieces of the supra-aural or circum-aural type
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4209Details of probe positioning or probe attachment to the patient by using holders, e.g. positioning frames
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • Databases & Information Systems (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)

Abstract

被検者の外耳道に向けて検査音を発するための検査信号を生成する検査信号生成部と、前記検査音の反響音に関する情報を含む第1音響情報を取得する第1音響情報取得部と、前記第1音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得する心拍情報取得部と、を備える、情報処理装置が提供される。

Description

情報処理装置、装着型機器、情報処理方法及び記憶媒体
 本発明は、情報処理装置、装着型機器、情報処理方法及び記憶媒体に関する。
 特許文献1には、動脈音又は心音を検知することにより脈拍数を算出する脈拍計測装置が開示されている。当該脈拍計測装置の体導音センサの装着位置の例として、手首、頸部及び胸部が開示されている。
特開2014-87387号公報
 特許文献1の脈拍計測装置のような音響を用いた脈拍計測手法は、雑音の影響を受けやすいという特徴がある。そのため、雑音による精度劣化が問題となる場合があり、用途によっては更なる高精度化の要求がある。
 本発明は、高精度に心拍測定を行うことができる情報処理装置、装着型機器、情報処理方法及び記憶媒体を提供することを目的とする。
 本発明の一観点によれば、被検者の外耳道に向けて検査音を発するための検査信号を生成する検査信号生成部と、前記検査音の反響音に関する情報を含む第1音響情報を取得する第1音響情報取得部と、前記第1音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得する心拍情報取得部と、を備える、情報処理装置が提供される。
 本発明の他の一観点によれば、装着型機器であって、被検者の外耳道に向けて検査音を発するための検査信号を生成する検査信号生成部と、前記検査音の反響音に関する情報を含む第1音響情報を取得する第1音響情報取得部と、前記第1音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得する心拍情報取得部と、を備える、装着型機器が提供される。
 本発明の他の一観点によれば、被検者の外耳道に向けて検査音を発するための検査信号を生成するステップと、前記検査音の反響音に関する情報を含む第1音響情報を取得するステップと、前記第1音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得するステップと、を備える、情報処理方法が提供される。
 本発明の他の一観点によれば、コンピュータに、被検者の外耳道に向けて検査音を発するための検査信号を生成するステップと、前記検査音の反響音に関する情報を含む第1音響情報を取得するステップと、前記第1音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得するステップと、を実行させるためのプログラムが記憶された記憶媒体が提供される。
 本発明によれば、高精度に心拍測定を行うことができる情報処理装置、装着型機器、情報処理方法及び記憶媒体を提供することができる。
第1実施形態に係る情報処理システムの全体構成を示す模式図である。 第1実施形態に係るイヤホンのハードウェア構成を示すブロック図である。 第1実施形態に係る情報通信装置のハードウェア構成を示すブロック図である。 第1実施形態に係るイヤホン制御装置の機能ブロック図である。 第1実施形態に係るイヤホン制御装置により行われる心拍情報取得処理を示すフローチャートである。 検査信号の一例を示すグラフである。 検査信号の一例を示すグラフである。 検査信号の一例を示すグラフである。 検査信号の一例を示すグラフである。 検査音と反響音の関係を示すグラフである。 検査音がチャープ波である場合の検査音と反響音の相互相関関数の例を示すグラフである。 第2実施形態に係るイヤホンのハードウェア構成を示すブロック図である。 第2実施形態に係るイヤホン制御装置の機能ブロック図である。 第2実施形態に係るイヤホン制御装置により行われる心拍情報取得処理を示すフローチャートである。 第3実施形態に係る情報処理装置の機能ブロック図である。
 以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。
 [第1実施形態]
 本実施形態に係る情報処理システムについて説明する。本実施形態の情報処理システムは、イヤホン等の装着型機器を装着しているユーザ(被検者)の心拍に関する心拍信号を取得するためのシステムである。
 図1は、本実施形態に係る情報処理システムの全体構成を示す模式図である。情報処理システムは、互いに無線通信接続され得る情報通信装置1とイヤホン2とを備える。
 イヤホン2は、イヤホン制御装置20、スピーカ26及びマイクロホン27を備える。イヤホン2は、ユーザ3の耳に装着可能な音響機器であり、典型的にはワイヤレスイヤホン、ワイヤレスヘッドセット等である。スピーカ26は、装着時にユーザ3の外耳道に向けて音波を発する音波発生部として機能するものであり、イヤホン2の装着面側に配されている。マイクロホン27も装着時にユーザ3の外耳道等で反響した音波を受けることができるようにイヤホン2の装着面側に配されている。イヤホン制御装置20は、スピーカ26及びマイクロホン27の制御及び情報通信装置1との通信を行う。
 なお、本明細書において、音波、音声等の「音」は、周波数又は音圧レベルが可聴範囲外である非可聴音を含むものとする。
 情報通信装置1は、例えば、コンピュータであり、イヤホン2の動作の制御、イヤホン2から発せられる音波の生成用の音声データの送信、イヤホン2が受けた音波から得られた音声データの受信等を行う。具体例としては、ユーザ3がイヤホン2を用いて音楽鑑賞を行う場合には、情報通信装置1は、音楽の圧縮データをイヤホン2に送信する。また、イヤホン2がイベント会場、病院等における業務指令用の電話装置である場合には、情報通信装置1は業務指示の音声データをイヤホン2に送信する。この場合、更に、ユーザ3の発話の音声データをイヤホン2から情報通信装置1に送信してもよい。また、情報通信装置1又はイヤホン2は、イヤホン2が受けた音波を用いた耳音響認証の機能を備えていてもよい。また、情報通信装置1又はイヤホン2は、イヤホン2が受けた音波を用いた装着判定の機能を備えていてもよい。
 なお、この全体構成は一例であり、例えば、情報通信装置1とイヤホン2が有線接続されていてもよい。また、情報通信装置1とイヤホン2が一体の装置として構成されていてもよく、情報処理システム内に更に別の装置が含まれていてもよい。
 図2は、イヤホン制御装置20のハードウェア構成例を示すブロック図である。イヤホン制御装置20は、CPU(Central Processing Unit)201、RAM(Random Access Memory)202、ROM(Read Only Memory)203及びフラッシュメモリ204を備える。また、イヤホン制御装置20は、スピーカI/F(Interface)205、マイクロホンI/F206、通信I/F207及びバッテリ208を備える。なお、イヤホン制御装置20の各部は、不図示のバス、配線、駆動装置等を介して相互に接続される。
 CPU201は、ROM203、フラッシュメモリ204等に記憶されたプログラムに従って所定の演算を行うとともに、イヤホン制御装置20の各部を制御する機能をも有するプロセッサである。RAM202は、揮発性記憶媒体から構成され、CPU201の動作に必要な一時的なメモリ領域を提供する。ROM203は、不揮発性記憶媒体から構成され、イヤホン制御装置20の動作に用いられるプログラム等の必要な情報を記憶する。フラッシュメモリ204は、不揮発性記憶媒体から構成され、データの一時記憶、イヤホン制御装置20の動作用プログラムの記憶等を行う記憶装置である。
 通信I/F207は、Bluetooth(登録商標)、Wi-Fi(登録商標)等の規格に基づく通信インターフェースであり、情報通信装置1との通信を行うためのモジュールである。
 スピーカI/F205は、スピーカ26を駆動するためのインターフェースである。スピーカI/F205は、デジタルアナログ変換回路、増幅器等を含む。スピーカI/F205は、音声データをアナログ信号に変換し、スピーカ26に供給する。これによりスピーカ26は、音声データに基づく音波を発する。
 マイクロホンI/F206は、マイクロホン27から信号を取得するためのインターフェースである。マイクロホンI/F206は、アナログデジタル変換回路、増幅器等を含む。マイクロホンI/F206は、マイクロホン27が受け取った音波により生じたアナログ信号をデジタル信号に変換する。これにより、イヤホン制御装置20は、受け取った音波に基づく音声データを取得する。
 バッテリ208は、例えば二次電池であり、イヤホン2の動作に必要な電力を供給する。これにより、イヤホン2は、外部の電源に有線接続することなく、ワイヤレスで動作することができる。
 なお、図2に示されているハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。例えば、イヤホン2はユーザ3による操作を受け付けることができるようにボタン等の入力装置を更に備えていてもよく、ユーザ3に情報を提供するためのディスプレイ、表示灯等の表示装置を更に備えていてもよい。このように図2に示されているハードウェア構成は適宜変更可能である。
 図3は、情報通信装置1のハードウェア構成例を示すブロック図である。情報通信装置1は、CPU101、RAM102、ROM103及びHDD(Hard Disk Drive)104を備える。また、情報通信装置1は、通信I/F105、入力装置106及び出力装置107を備える。なお、情報通信装置1の各部は、不図示のバス、配線、駆動装置等を介して相互に接続される。
 図3では、情報通信装置1を構成する各部が一体の装置として図示されているが、これらの機能の一部は外付け装置により提供されるものであってもよい。例えば、入力装置106及び出力装置107は、CPU101等を含むコンピュータの機能を構成する部分とは別の外付け装置であってもよい。
 CPU101は、ROM103、HDD104等に記憶されたプログラムに従って所定の演算を行うとともに、情報通信装置1の各部を制御する機能をも有するプロセッサである。RAM102は、揮発性記憶媒体から構成され、CPU101の動作に必要な一時的なメモリ領域を提供する。ROM103は、不揮発性記憶媒体から構成され、情報通信装置1の動作に用いられるプログラム等の必要な情報を記憶する。HDD104は、不揮発性記憶媒体から構成され、イヤホン2と送受信するデータの一時記憶、情報通信装置1の動作用プログラムの記憶等を行う記憶装置である。
 通信I/F105は、Bluetooth(登録商標)、Wi-Fi(登録商標)等の規格に基づく通信インターフェースであり、イヤホン2等の他の装置との通信を行うためのモジュールである。
 入力装置106は、キーボード、ポインティングデバイス等であって、ユーザ3が情報通信装置1を操作するために用いられる。ポインティングデバイスの例としては、マウス、トラックボール、タッチパネル、ペンタブレット等が挙げられる。
 出力装置107は、例えば表示装置である。表示装置は、液晶ディスプレイ、OLED(Organic Light Emitting Diode)ディスプレイ等であって、情報の表示、操作入力用のGUI(Graphical User Interface)等の表示に用いられる。入力装置106及び出力装置107は、タッチパネルとして一体に形成されていてもよい。
 なお、図3に示されているハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。更に、本実施形態の一部の機能がネットワークを介して他の装置により提供されてもよく、本実施形態の機能が複数の装置に分散されて実現されるものであってもよい。例えば、HDD104は、半導体メモリを用いたSSD(Solid State Drive)に置換されていてもよく、クラウドストレージに置換されていてもよい。このように図3に示されているハードウェア構成は適宜変更可能である。
 図4は、本実施形態に係るイヤホン制御装置20の機能ブロック図である。イヤホン制御装置20は、検査信号生成部211、第1音響情報取得部212、心拍情報取得部213及び記憶部214を有する。
 CPU201は、ROM203、フラッシュメモリ204等に記憶されたプログラムをRAM202にロードして実行する。これにより、CPU201は、検査信号生成部211、第1音響情報取得部212及び心拍情報取得部213の機能を実現する。また、CPU201は、当該プログラムに基づいてフラッシュメモリ204を制御することにより記憶部214の機能を実現する。これらの各部で行われる具体的な処理については後述する。
 なお、図4の機能ブロックの各機能の一部又は全部は、イヤホン制御装置20ではなく情報通信装置1に設けられていてもよい。すなわち、上述の各機能は、イヤホン制御装置20によって実現されてもよく、情報通信装置1によって実現されてもよく、情報通信装置1とイヤホン制御装置20とが協働することにより実現されてもよい。情報通信装置1及びイヤホン制御装置20は、より一般的に情報処理装置と呼ばれることもある。
 しかしながら、本実施形態の心拍情報取得処理は、イヤホン2内に設けられたイヤホン制御装置20で行われることが望ましい。この場合、心拍情報取得処理における情報通信装置1とイヤホン2との通信を不要にすることができ、イヤホン2の消費電力を低減することができる。イヤホン2は、装着型機器であるため、小型であることが要求される。そのため、バッテリ208の大きさには限界があり、放電容量の大きいものを用いることが難しい。このような事情により、イヤホン2内で心拍情報取得処理を完結させることによる消費電力低減が有効である。以下の説明では、特記されている場合を除き、図4の機能ブロックの各機能はイヤホン2内に設けられているものとする。
 図5は、本実施形態に係るイヤホン制御装置20により行われる心拍情報取得処理を示すフローチャートである。図5を参照して、イヤホン制御装置20の動作を説明する。
 図5の心拍情報取得処理は、例えば、イヤホン2の電源がオンであるときに所定の時間が経過するごとに実行される。あるいは、図5の心拍情報取得処理は、ユーザ3がイヤホン2を操作することにより使用を開始したときに実行されてもよい。また、図5の心拍情報取得処理の実行タイミングは、情報通信装置1からの指示に基づくものであってもよい。
 ステップS101において、検査信号生成部211は、検査信号を生成する。イヤホン制御装置20は、スピーカI/F205を介してスピーカ26に検査信号を送信する。これにより、スピーカ26は、ユーザ3の外耳道に向けて心拍情報を取得するための検査音を発する。検査音は、ユーザ3の外耳道の奥に存在する鼓膜により反射され、その反響音がマイクロホン27により受け取られる。なお、この検査音は、超音波であることが望ましく、これにより検査音が聞こえることによる不快感が軽減される。超音波の具体的な周波数としては、例えば、可聴域よりも十分に高い40kHzが選択され得る。
 ステップS102において、第1音響情報取得部212は、マイクロホン27が受け取った反響音に基づく音響情報を取得する。この音響情報は、前記検査音の反響音に関する情報を含む第1音響情報として記憶部214に記憶される。なお、第1音響情報取得部212は、第1音響情報の取得にあたって、フーリエ変換、相関演算、ノイズ除去、レベル補正等の信号処理を適宜行ってもよい。
 ステップS103からステップS105において、心拍情報取得部213は、第1音響情報に基づいて、ユーザ3の心拍に関する心拍情報を取得する。この処理について、図5に沿って説明するが、ステップS103からステップS105の各処理は一例であり、他の方法により心拍情報を取得してもよく、一部の処理が省略されていてもよい。
 ステップS103において、心拍情報取得部213は、検査信号と第1音響情報を参照して、スピーカ26から発せられた検査音と、マイクロホン27が受け取った反響音の時間差である反響時間を取得する。反響時間は、記憶部214に記憶される。
 ステップS104において、心拍情報取得部213は、反響時間を距離に換算する。この換算は、距離をL、反響時間をT、空気中の音速をVとしたとき、L=VT(式1)により算出される。例えば、反響時間Tが160μs、空気中の音速Vが340m/sである場合には、これらを式1に代入することにより、距離Lは54.4mmと算出される。この距離Lは、イヤホン2から鼓膜までの距離の2倍、すなわち、外耳道の長さの2倍に相当する。
 ステップS105において、心拍情報取得部213は、距離Lの時間変化に基づいて心拍情報を取得する。心拍により血流量が周期的に変動すると、鼓膜も血流量の変化に同期して振動する。したがって、心拍情報取得部213により取得されるイヤホン2と鼓膜との距離Lも心拍に同期した周期で変化する。そのため、心拍情報取得部213は、距離Lの時間変化から心拍に関する心拍情報を取得することができる。この心拍情報は、例えば、心拍の波形であってもよく、一定時間内の心拍数であってもよく、心拍のピークの間隔であってもよい。
 検査信号生成部211により生成される検査信号の具体例について説明する。検査用音波の生成に用いられる信号の例としては、振幅、周波数及び位相の少なくとも1つが変調された変調部を含む変調信号、又は周波数が時間に応じて変化するチャープ信号が用いられ得る。
 図6は、パルス振幅変調(PAM:Pulse Amplitude Modulation)による検査信号の一例を示すグラフである。図6の縦軸は強度を示しており、横軸は時間を示している。図6に示されるように、検査信号は、振幅が変調された変調部を有する波形をなしている。
 図7は、パルス位相変調(PPM:Pulse Phase Modulation)による検査信号の一例を示すグラフである。図7に示されるように、検査信号は、位相が変調された変調部を有する波形をなしている。
 図8は、パルス周波数変調(PFM:Pulse Frequency Modulation)による検査信号の一例を示すグラフである。図8中のfaとfbが付された箇所は異なる周波数となっている。すなわち、図8に示されるように、検査信号は、周波数が変調された変調部を有する波形をなしている。
 図9は、検査信号がチャープ信号である場合の一例を示すグラフである。図9に示されるように、検査信号は、周波数が時間に応じて変化するチャープ波の波形をなしている。
 反響時間Tの取得方法について具体例を挙げて説明する。図10は、検査音がパルス位相変調波である場合の反響音の特性の一例を示すグラフである。図10の上段には検査音の波形が示されており、図10の下段には反響音の波形が示されている。図10に示されるように、検査音の変調部と反響音の変調部は、反響時間Tだけ時間軸方向にずれている。したがって、ステップS103の処理では、心拍情報取得部213は、検査音の変調部と反響音の変調部を基準として時間差を検出することにより、反響時間Tを取得することができる。なお、パルス振幅変調又はパルス位相変調を用いる場合も同様である。
 反響時間Tの取得方法について別の例を説明する。図11は、検査音がチャープ波である場合の検査音と反響音の相互相関関数の一例を示すグラフである。検査音がチャープ波である場合には、検査音と反響音の相互相関関数を算出することでピークを強調するパルス圧縮と呼ばれる手法を適用することができる。本手法では、図11に示されるように、検査音と反響音の時間差に相当する位置に大きな振幅のパルスが現れる。したがって、反響時間Tを取得することができるとともに、信号のS/N比(Signal-to-Noise ratio)を向上させることができる。このように、チャープ波を検査音として用い、検査音と反響音の相関演算の結果を用いて反響時間を取得する例では雑音をより効果的に除去することができる。
 本実施形態によれば、ユーザ3の外耳道に向けて検査音を発し、検査音の反響音に基づいて、被検者の心拍情報を取得することができる。これにより、ユーザ3の外耳道内の脈拍を直接取得することができるため、雑音の影響を軽減することができる。したがって、高精度に心拍測定を行うことができる情報処理装置を提供することができる。
 この心拍情報は、例えば、ユーザ3の健康管理に用いられ得る。イヤホン2に心拍情報を取得する機能を実装することにより、ユーザ3は、例えば、運動時にイヤホン2を装着することで、心拍数をモニタリングして、運動強度を記録することができる。また、ユーザ3は、安静時にイヤホン2を装着して心拍の変動をモニタリングすることで病気予兆を早期に検知することができる。
 [第2実施形態]
 本実施形態の情報処理システムは、イヤホン2が更に第2音響情報を取得して心拍情報の取得を行う点が第1実施形態と相違する。以下では主として第1実施形態との相違点について説明するものとし、共通部分については説明を省略又は簡略化する。
 図12は、本実施形態に係るイヤホン2及びイヤホン制御装置20のハードウェア構成例を示すブロック図である。本実施形態において、イヤホン2は、振動センサ28を更に備える。振動センサ28は、ユーザ3の耳の近くの血管の脈拍に由来する振動を検出するように配されている。
 また、イヤホン制御装置20は、振動センサI/F209を更に備える。振動センサI/F209は、振動センサ28から信号を取得するためのインターフェースである。振動センサI/F209は、アナログデジタル変換回路、増幅器等を含む。マイクロホンI/F206は、振動センサ28が受け取った振動により生じたアナログ信号をデジタル信号に変換する。これにより、イヤホン制御装置20は、受け取った振動に基づく振動データを取得する。
 図13は、本実施形態に係るイヤホン制御装置20の機能ブロック図である。イヤホン制御装置20は、第2音響情報取得部215を更に備える。CPU201は、ROM203、フラッシュメモリ204等に記憶されたプログラムをRAM202にロードして実行することにより、第2音響情報取得部215の機能を実現する。なお、この機能は情報通信装置1に設けられていてもよい。
 図14は、本実施形態に係るイヤホン制御装置20により行われる心拍情報取得処理を示すフローチャートである。図14を参照して、イヤホン制御装置20の動作を説明する。本実施形態の心拍情報取得処理において、ステップS101からステップS104までの処理は第1実施形態と同様であるため説明を省略する。
 ステップS106において、第2音響情報取得部215は、振動センサ28が受け取った振動に基づく音響情報を取得する。この音響情報は、第1音響情報とは異なる第2音響情報として記憶部214に記憶される。なお、第2音響情報取得部215は、第2音響情報の取得にあたって、フーリエ変換、相関演算、ノイズ除去、レベル補正等の信号処理を適宜行ってもよい。なお、ステップS106の処理は、ステップS101からステップS104の処理よりも前に行われてもよく、ステップS101からステップS104の処理と並行して行われてもよい。
 ここで、第1音響情報は、超音波である検査音の周波数の信号の情報を含むのに対し、第2音響情報は、心拍に由来する振動の周波数の信号の情報を含む。すなわち、第2音響情報は、検査音の周波数よりも低い周波数の信号の情報を含む。これにより、異なる周波数の音響に基づいて取得された2種類の信号を取得することができる。
 ステップS107において、心拍情報取得部213は、第1音響情報である距離Lの時間変化と、第2音響情報である振動データの時間変化とに基づいて心拍情報を取得する。この取得において、心拍情報取得部213は、第1音響情報と距離Lの時間変化と振動データの時間変化との相互相関関数を演算することにより、両者の信号に含まれる心拍の時間変化の情報の抽出を行う。
 2種類の信号を用いることにより、ユーザ3の体内等で発生する雑音、外部からの雑音の影響がキャンセルされ、両者の信号に共通に含まれる心拍の周波数成分が強調される。したがって、より高精度に心拍測定を行うことができる情報処理装置を提供することができる。
 なお、本実施形態において、第2音響情報を取得する手段は振動センサ28に限定されるものではなく、例えば、レーザー光を体表に照射して血管を流れる血流の量を観察する光検出型の脈拍センサを用いたものであってもよい。また、第2音響情報を取得する手段はイヤホン2に内蔵されているものに限定されるものではなく、例えば、撓骨動脈等の腕の血管から脈拍を検出できるように、スマートウォッチ等のリストバンドに振動センサ28が設けられていてもよい。
 上述の実施形態において説明したシステムは以下の第3実施形態のようにも構成することができる。
 [第3実施形態]
 図15は、第3実施形態に係る情報処理装置40の機能ブロック図である。情報処理装置40は、検査信号生成部411、第1音響情報取得部412及び心拍情報取得部413を備える。検査信号生成部411は、被検者の外耳道に向けて検査音を発するための検査信号を生成する。第1音響情報取得部412は、検査音の反響音に関する情報を含む第1音響情報を取得する。心拍情報取得部413は、第1音響情報に基づいて、被検者の心拍に関する心拍情報を取得する。
 本実施形態によれば、高精度に心拍測定を行うことができる情報処理装置40が提供される。
 [変形実施形態]
 本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。
 上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記憶媒体に記録させ、記憶媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記憶媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記憶媒体だけでなく、そのプログラム自体も各実施形態に含まれる。また、上述の実施形態に含まれる1又は2以上の構成要素は、各構成要素の機能を実現するように構成されたASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の回路であってもよい。
 該記憶媒体としては例えばフロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD(Compact Disk)-ROM、磁気テープ、不揮発性メモリカード、ROMを用いることができる。また該記憶媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、OS(Operating System)上で動作して処理を実行するものも各実施形態の範疇に含まれる。
 上述の各実施形態の機能により実現されるサービスは、SaaS(Software as a Service)の形態でユーザに対して提供することもできる。
 なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
 上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
 (付記1)
 被検者の外耳道に向けて検査音を発するための検査信号を生成する検査信号生成部と、
 前記検査音の反響音に関する情報を含む第1音響情報を取得する第1音響情報取得部と、
 前記第1音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得する心拍情報取得部と、
 を備える、情報処理装置。
 (付記2)
 前記第1音響情報は、前記被検者の鼓膜の振動に関する情報を含む、
 付記1に記載の情報処理装置。
 (付記3)
 前記心拍情報取得部は、前記検査音が発せられてから前記反響音が取得されるまでの反響時間に基づいて前記心拍情報を取得する、
 付記1又は2に記載の情報処理装置。
 (付記4)
 前記心拍情報取得部は、前記反響時間又は前記反響時間から算出された距離の時間変化に基づいて、前記心拍情報を取得する、
 付記3に記載の情報処理装置。
 (付記5)
 前記検査音の波形は、振幅、周波数及び位相の少なくとも1つが変調された変調部を含み、
 前記心拍情報取得部は、前記検査音及び前記反響音に含まれる変調部の時間差に基づいて前記反響時間を取得する、
 付記3又は4に記載の情報処理装置。
 (付記6)
 前記検査音は、周波数が時間に応じて変化するチャープ波であり、
 前記心拍情報取得部は、前記検査音及び前記反響音の相関演算の結果に基づいて前記反響時間を取得する、
 付記3又は4に記載の情報処理装置。
 (付記7)
 前記検査音は、可聴域よりも高い周波数を有する超音波である、
 付記1乃至6のいずれか1項に記載の情報処理装置。
 (付記8)
 前記検査音の周波数よりも低い周波数の信号の情報を含む第2音響情報を取得する第2音響情報取得部を更に備え、
 前記心拍情報取得部は、前記第1音響情報及び前記第2音響情報に基づいて前記心拍情報を取得する、
 付記1乃至7のいずれか1項に記載の情報処理装置。
 (付記9)
 前記第2音響情報は、前記被検者の前記外耳道以外の箇所の振動に関する情報を含む、
 付記8に記載の情報処理装置。
 (付記10)
 前記心拍情報取得部は、前記第1音響情報及び前記第2音響情報の相関演算の結果に基づいて前記心拍情報を取得する、
 付記8又は9に記載の情報処理装置。
 (付記11)
 装着型機器であって、
 被検者の外耳道に向けて検査音を発するための検査信号を生成する検査信号生成部と、
 前記検査音の反響音に関する情報を含む第1音響情報を取得する第1音響情報取得部と、
 前記第1音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得する心拍情報取得部と、
 を備える、装着型機器。
 (付記12)
 被検者の外耳道に向けて検査音を発するための検査信号を生成するステップと、
 前記検査音の反響音に関する情報を含む第1音響情報を取得するステップと、
 前記第1音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得するステップと、
 を備える、情報処理方法。
 (付記13)
 コンピュータに、
 被検者の外耳道に向けて検査音を発するための検査信号を生成するステップと、
 前記検査音の反響音に関する情報を含む第1音響情報を取得するステップと、
 前記第1音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得するステップと、
 を実行させるためのプログラムが記憶された記憶媒体。
1        情報通信装置
2        イヤホン
3        ユーザ
20       イヤホン制御装置
26       スピーカ
27       マイクロホン
40       情報処理装置
101、201  CPU
102、202  RAM
103、203  ROM
104      HDD
105、207  通信I/F
106      入力装置
107      出力装置
204      フラッシュメモリ
205      スピーカI/F
206      マイクロホンI/F
208      バッテリ
211、411  検査信号生成部
212、412  第1音響情報取得部
213、413  心拍情報取得部
214      記憶部
215      第2音響情報取得部

Claims (13)

  1.  被検者の外耳道に向けて検査音を発するための検査信号を生成する検査信号生成部と、
     前記検査音の反響音に関する情報を含む第1音響情報を取得する第1音響情報取得部と、
     前記第1音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得する心拍情報取得部と、
     を備える、情報処理装置。
  2.  前記第1音響情報は、前記被検者の鼓膜の振動に関する情報を含む、
     請求項1に記載の情報処理装置。
  3.  前記心拍情報取得部は、前記検査音が発せられてから前記反響音が取得されるまでの反響時間に基づいて前記心拍情報を取得する、
     請求項1又は2に記載の情報処理装置。
  4.  前記心拍情報取得部は、前記反響時間又は前記反響時間から算出された距離の時間変化に基づいて、前記心拍情報を取得する、
     請求項3に記載の情報処理装置。
  5.  前記検査音の波形は、振幅、周波数及び位相の少なくとも1つが変調された変調部を含み、
     前記心拍情報取得部は、前記検査音及び前記反響音に含まれる変調部の時間差に基づいて前記反響時間を取得する、
     請求項3又は4に記載の情報処理装置。
  6.  前記検査音は、周波数が時間に応じて変化するチャープ波であり、
     前記心拍情報取得部は、前記検査音及び前記反響音の相関演算の結果に基づいて前記反響時間を取得する、
     請求項3又は4に記載の情報処理装置。
  7.  前記検査音は、可聴域よりも高い周波数を有する超音波である、
     請求項1乃至6のいずれか1項に記載の情報処理装置。
  8.  前記検査音の周波数よりも低い周波数の信号の情報を含む第2音響情報を取得する第2音響情報取得部を更に備え、
     前記心拍情報取得部は、前記第1音響情報及び前記第2音響情報に基づいて前記心拍情報を取得する、
     請求項1乃至7のいずれか1項に記載の情報処理装置。
  9.  前記第2音響情報は、前記被検者の前記外耳道以外の箇所の振動に関する情報を含む、
     請求項8に記載の情報処理装置。
  10.  前記心拍情報取得部は、前記第1音響情報及び前記第2音響情報の相関演算の結果に基づいて前記心拍情報を取得する、
     請求項8又は9に記載の情報処理装置。
  11.  装着型機器であって、
     被検者の外耳道に向けて検査音を発するための検査信号を生成する検査信号生成部と、
     前記検査音の反響音に関する情報を含む第1音響情報を取得する第1音響情報取得部と、
     前記第1音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得する心拍情報取得部と、
     を備える、装着型機器。
  12.  被検者の外耳道に向けて検査音を発するための検査信号を生成するステップと、
     前記検査音の反響音に関する情報を含む第1音響情報を取得するステップと、
     前記第1音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得するステップと、
     を備える、情報処理方法。
  13.  コンピュータに、
     被検者の外耳道に向けて検査音を発するための検査信号を生成するステップと、
     前記検査音の反響音に関する情報を含む第1音響情報を取得するステップと、
     前記第1音響情報に基づいて、前記被検者の心拍に関する心拍情報を取得するステップと、
     を実行させるためのプログラムが記憶された記憶媒体。
PCT/JP2018/046879 2018-12-19 2018-12-19 情報処理装置、装着型機器、情報処理方法及び記憶媒体 WO2020129197A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/299,005 US20220039779A1 (en) 2018-12-19 2018-12-19 Information processing device, wearable device, information processing method, and storage medium
JP2020560712A JP7127700B2 (ja) 2018-12-19 2018-12-19 情報処理装置、装着型機器、情報処理方法及び記憶媒体
PCT/JP2018/046879 WO2020129197A1 (ja) 2018-12-19 2018-12-19 情報処理装置、装着型機器、情報処理方法及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/046879 WO2020129197A1 (ja) 2018-12-19 2018-12-19 情報処理装置、装着型機器、情報処理方法及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2020129197A1 true WO2020129197A1 (ja) 2020-06-25

Family

ID=71100473

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/046879 WO2020129197A1 (ja) 2018-12-19 2018-12-19 情報処理装置、装着型機器、情報処理方法及び記憶媒体

Country Status (3)

Country Link
US (1) US20220039779A1 (ja)
JP (1) JP7127700B2 (ja)
WO (1) WO2020129197A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080281169A1 (en) * 2005-10-07 2008-11-13 Koninklijke Philips Electronics N. V. Ear-Thermometer With Ear Identification
JP2010017317A (ja) * 2008-07-09 2010-01-28 Parama Tec:Kk 脳循環機能異常検出装置
US20140051940A1 (en) * 2012-08-17 2014-02-20 Rare Light, Inc. Obtaining physiological measurements using ear-located sensors
JP2016158878A (ja) * 2015-03-02 2016-09-05 Nsウエスト株式会社 生体情報測定装置
JP2017528011A (ja) * 2014-05-20 2017-09-21 ブガトーン リミテッド イヤホン出力スピーカからの聴覚測定の方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU7443800A (en) * 1999-09-24 2001-04-24 Japan Science And Technology Corporation Ultrasonic transmitter/receiver by pulse compression
JP4652731B2 (ja) * 2004-07-01 2011-03-16 アロカ株式会社 超音波診断装置
US20090299215A1 (en) * 2008-05-30 2009-12-03 Starkey Laboratories, Inc. Measurement of sound pressure level and phase at eardrum by sensing eardrum vibration
US8888701B2 (en) * 2011-01-27 2014-11-18 Valencell, Inc. Apparatus and methods for monitoring physiological data during environmental interference
CN108113706B (zh) * 2017-12-19 2021-01-05 清华大学无锡应用技术研究院 一种基于音频信号的心率监测方法、装置及系统
US20190380677A1 (en) * 2018-06-15 2019-12-19 Yuu Ono Method and apparatus for ultrasonic continuous measurement of blood vessel diameter

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080281169A1 (en) * 2005-10-07 2008-11-13 Koninklijke Philips Electronics N. V. Ear-Thermometer With Ear Identification
JP2010017317A (ja) * 2008-07-09 2010-01-28 Parama Tec:Kk 脳循環機能異常検出装置
US20140051940A1 (en) * 2012-08-17 2014-02-20 Rare Light, Inc. Obtaining physiological measurements using ear-located sensors
JP2017528011A (ja) * 2014-05-20 2017-09-21 ブガトーン リミテッド イヤホン出力スピーカからの聴覚測定の方法
JP2016158878A (ja) * 2015-03-02 2016-09-05 Nsウエスト株式会社 生体情報測定装置

Also Published As

Publication number Publication date
JPWO2020129197A1 (ja) 2021-09-27
JP7127700B2 (ja) 2022-08-30
US20220039779A1 (en) 2022-02-10

Similar Documents

Publication Publication Date Title
US11781971B2 (en) Optical vibration detection system and method
US10555700B2 (en) Combined optical sensor for audio and pulse oximetry system and method
US10063369B1 (en) Time synchronization of multi-modality measurements
EP3646780A1 (en) Electronic instrument, server, data structure, physical condition management method, and physical condition management program
CN103239236A (zh) 听力测试与听觉评估装置
US20240080605A1 (en) Information processing device, wearable device, information processing method, and storage medium
JP2018500949A (ja) 音響信号を用いて血圧を測定する方法及び装置
JP2017079807A (ja) 生体センサ、生体データ収集端末、生体データ収集システム、及び生体データ収集方法
JP2014200609A (ja) Mri音声通話装置
WO2020129197A1 (ja) 情報処理装置、装着型機器、情報処理方法及び記憶媒体
US20180124525A1 (en) Method and system for recognizing a beat with a hearing aid
JP2015012378A (ja) 計測システム
JP6234039B2 (ja) 測定装置及び測定方法
CN105338886B (zh) 具有可听较低钳制值的SpO2音调调制
JP3187112U (ja) 生体モニター装置
JP4497979B2 (ja) 血流速度測定装置および血流速度の測定方法
US20230397830A1 (en) Hearing system and method for measuring the pulse of a person by using a hearing system
JP2010068045A (ja) スピーカ診断装置および音響システム
JP2010002367A (ja) 信号計測システム
JP6581251B2 (ja) 内耳特性評価装置、プログラム
KR200177946Y1 (ko) 전자식 청진기
JP6370737B2 (ja) 内耳特性評価装置、内耳特性評価方法
JP7391073B2 (ja) 電子機器、制御システム、制御方法、および制御プログラム
WO2022195795A1 (ja) 報知システム、報知方法及び記録媒体
EP4059418A1 (en) Apparatus and method for estimating bio-information

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18943370

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020560712

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18943370

Country of ref document: EP

Kind code of ref document: A1