JP7201027B2 - 情報処理装置、情報処理システム及びプログラム - Google Patents

情報処理装置、情報処理システム及びプログラム Download PDF

Info

Publication number
JP7201027B2
JP7201027B2 JP2021108010A JP2021108010A JP7201027B2 JP 7201027 B2 JP7201027 B2 JP 7201027B2 JP 2021108010 A JP2021108010 A JP 2021108010A JP 2021108010 A JP2021108010 A JP 2021108010A JP 7201027 B2 JP7201027 B2 JP 7201027B2
Authority
JP
Japan
Prior art keywords
sound
cough
infectious disease
seat
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021108010A
Other languages
English (en)
Other versions
JP2021151570A (ja
Inventor
孝能 小澤
裕 本田
一成 森戸
学 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2021108010A priority Critical patent/JP7201027B2/ja
Publication of JP2021151570A publication Critical patent/JP2021151570A/ja
Application granted granted Critical
Publication of JP7201027B2 publication Critical patent/JP7201027B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0823Detecting or evaluating cough events
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6891Furniture
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/003Detecting lung or respiration noise
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers
    • A61B2503/24Computer workstation operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7282Event detection, e.g. detecting unique waveforms indicative of a medical condition

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pulmonology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)

Description

本発明は、情報処理装置、情報処理システム及びプログラムに関する。
近年、咳の検出を行うことができる状態検出装置が提案されている(例えば、特許文献1参照。)。
特許文献1に記載された状態検出装置は、生体の振動信号を被験者に装着した一つのセンサで採取し、得られた振動信号を体動信号と音声信号に分離し、各々の信号から被験者の状態を検出する。
特開2009-279122号公報
本発明の課題の一つは、身体にセンサを装着して咳を検知する構成と比較して、より簡易に咳を検知することが可能な情報処理装置、情報処理システム及びプログラムを提供することにある。
[1]ユーザによる咳音を受け付ける受付手段と、
前記受付手段が受け付けた前記咳音から前記ユーザの感染症の種類を特定する特定手段と、
前記特定手段により特定された前記感染症の種類を出力する出力手段と、
前記ユーザの動きに関する情報を検知する加速度センサと、を備え
前記受付手段は、前記加速度センサからの加速度情報を受け付け、
前記特定手段は、前記受付手段が受け付けた前記咳音及び前記加速度情報から前記ユーザの感染症の種類を特定する、情報処理装置。
[2]前記受付手段は、前記咳音に関する情報として時系列の音信号を出力し、
前記受付手段から出力された前記時系列の音信号を周波数分析し、分析した結果に基づいて咳音を検知する咳検知手段をさらに備える、前記[1]に記載の情報処理装置。
[3]前記咳検知手段は、前記周波数分析により得られた波形と基準となる波形との照合により、前記咳音を検知する、前記[2]に記載の情報処理装置。
[4]前記咳検知手段は、前記周波数分析により得られた波形と前記基準となる波形との間の類似度に対応した確率を求める、前記[3]に記載の情報処理装置。
]ユーザによる咳音を受け付ける受付手段と、
前記受付手段が受け付けた前記咳音から前記ユーザの感染症の種類を特定する特定手段と、
前記特定手段により特定された前記感染症の種類を出力する出力手段と、
前記ユーザの動きに関する情報を検知する加速度センサと、を備え
前記受付手段は、前記加速度センサからの加速度情報を受け付け、
前記特定手段は、前記受付手段が受け付けた前記咳音及び前記加速度情報から前記ユーザの感染症の種類を特定する、情報処理システム。
]コンピュータを、ユーザによる咳音を受け付ける受付手段と、
前記受付手段が受け付けた前記咳音から前記ユーザの感染症の種類を特定する特定手段と、
前記特定手段により特定された前記感染症の種類を出力する出力手段として実行させるプログラムであって、
前記受付手段は、前記ユーザの動きに関する情報を検知する加速度センサからの加速度情報を受け付け、
前記特定手段は、前記受付手段が受け付けた前記咳音及び前記加速度情報から前記ユーザの感染症の種類を特定する、プログラム。
請求項1、に係る発明によれば、身体にセンサを装着して咳を検知する構成と比較して、より簡易に咳を検知することが可能になり、咳音及び加速度情報に基づいて感染症の種類を特定することができる。
請求項2、3に係る発明によれば、音信号の周波数分析の結果を用いることで、時系列の音信号と比較して、正確に咳を検知することができる。
請求項4に係る発明によれば、咳の確率を知ることができる
図1は、本発明の第1の実施の形態に係る咳検知システムの概略の構成例を示す図である。 図2は、図1に示す咳検知システムの制御系の一例を示すブロック図である。 図3は、座席配置データの一例を示す図である。 図4は、検知結果テーブルの一例を示す図である。 図5は、確率テーブルの一例を示す図である。 図6(a)は、座面の加速度の波形の一例を示す図であり、図6(b)、図6(c)は、音信号の時系列の波形の一例を示す図である。 図7(a)、図7(b)は、音信号の振幅を周波数ごとに表した波形の一例を示す図である。 図8は、検知結果の表示の一例を示す図である。 図9は、図1に示す咳検知システムの動作の一例を示すフローチャートである。 図10は、本発明の一変形例に係る咳検知システムの制御系の一例を示すブロック図である。 図11は、本発明の第2の実施の形態に係る咳検知システムの概略の構成例を示す図である。 図12は、図11に示す咳検知システムの制御系の一例を示すブロック図である。 図13(a)は、搭乗記録テーブルの一例を示す図であり、図13(b)は、検知結果テーブルの一例を示す図であり、図13(c)は、確率テーブルの一例を示す図であり、図13(d)は、感染症情報テーブルの一例を示す図である。 図14は、図11に示す咳検知システムの動作の一例を示すフローチャートである。
以下、本発明の実施の形態について図面を参照して説明する。なお、各図中、実質的に同一の機能を有する構成要素については、同一の符号を付してその重複した説明を省略する。
[実施の形態の要約]
本実施の形態に係る咳検知装置は、複数の座席に対応して設けられた動き検出部及び音検出部から、座席の識別情報とともに送信された、座席に座る人の動きの情報と音声の情報とを受け付ける受付手段と、受け付けられた動きの情報及び音声の情報に基づいて当該人の咳を検知する咳検知手段と、咳が検知された人の座席を特定する特定手段と、を備える。
座席は、複数の人が在室するオフィスや学校の教室等の居室内、あるいは、複数の人が利用するバス、電車、飛行機等の移動体内に設けられている。座席には、椅子や机が含まれる。
動き検出部は、座席に座る人の動きの情報を検出する。人の動きには、咳をしたときに伴う人体の前屈運動、胸部の前後運動、首の前後運動等が含まれる。人の動きの情報は、例えば、人が座席に座っている状態で運動することにより生じる座席の座面の位置の変動を示す情報でもよい。
音検出部は、座席に座る人の音声の情報を検出する。音声には、会話時の音声や咳により発生する咳音が含まれる。音検出部は、例えば、マイクロフォン等を用いることができる。音信号は、音声の情報の一例である。
動き検出部及び音検出部は、複数の座席に対応して設けられている。すなわち、動き検出部及び音検出部が座席に設けられてもよく、座席の前方や上方等の近傍に設けられてもよい。
咳検知手段は、動きの情報から咳運動を検出した検出結果、及び音声の情報から咳音を検出した検出結果に基づいて、当該人の咳を検知する。咳運動とは、上述した、咳をしたときに伴う人体の各種の運動をいう。咳音とは、咳をしたときに発せられる咳嗽をいう。
どのような動きの情報が咳運動かは、Deep Learning等の学習機能により、事前に学習しておくのが好ましい。また、どのような音声の情報が咳音かは、Deep Learning等の学習機能により、事前に学習しておくのが好ましい。
[第1の実施の形態]
図1は、本発明の第1の実施の形態に係る咳検知システムの概略の構成例を示す図である。
この咳検知システム1は、居室内で咳をした人の座席を特定するものである。なお、以下では、居室はオフィスとして説明する。
咳検知システム1は、咳を検知する咳検知装置2を有し、この咳検知装置2にネットワーク3を介して居室5内に設けられた動き検出部6A,6B,6C,6D、音検出部7A,7B,7C,7D、及び管理者用端末4が接続されている。動き検出部6A,6B,6C,6D、音検出部7A,7B,7C,7D、をそれぞれ総称するときは、それぞれ以下、動き検出部6、音検出部7という。なお、管理者用端末4は、居室5外に設けられてもよい。
居室5内には、従業者等の対象者50A,50B,50C,50D(これらを総称するときは、以下、対象者50という。)が使用する椅子51A,51B,51C,51D(これらを総称するときは、以下、椅子51という。)と、机52A,52B,52C,52D(これらを総称するときは、以下、机52という。)とが設けられている。なお、対象者50は人の一例であり、椅子51は座席の一例である。
管理者用端末4は、例えば、パーソナルコンピュータ、タブレット型端末、多機能携帯電話機(スマートフォン)等を用いることができる。
動き検出部6は、例えば、対象者50が使用する椅子51に設けられている。動き検出部6は、対象者50の身体の運動に伴う座面の位置の変動を、例えば加速度センサにより検出する。具体的には、動き検出部6は、予め定められた方向における座面の加速度を加速度センサにより検出し、それを加速度信号として無線によりネットワーク3を介して咳検知装置2に送信する。加速度信号は、人の動きの情報の一例であり、加速度センサの出力信号の一例である。なお、動き検出部6は、有線によりネットワーク3に接続されてもよい。
音検出部7は、例えば、机52上に設けられている。音検出部7は、対象者50から発せられる音声を、例えばマイクロフォンにより検出し、それを時系列の音信号として無線によりネットワーク3を介して咳検知装置2に送信する。なお、音検出部7は、有線によりネットワーク3に接続されてもよい。
上述のように、音検出部7及び動き検出部6はともに、対象者50が使用する椅子51や机52に設けられている。そのため、音検出部7、及び動き検出部6を対象者50の身体に直接的に貼り付ける(装着)場合と比較して、音検出部7及び動き検出部6を対象者50の身体に貼り付ける手間が省かれるとともに、対象者50にとって、身体に音検出部7や動き検出部6が貼り付けられている煩わしさが回避される。
ネットワーク3は、例えば、ローカルエリアネットワーク(LAN)、インターネット等であり、有線でも無線でもよい。
図2は、図1に示す咳検知装置2の制御系の一例を示すブロック図である。図2に示すように、咳検知装置2は、咳検知装置2の各部を制御する制御部20と、各種のデータを記憶する記憶部21と、ネットワーク3を介して管理者用端末4、動き検出部6及び音検出部7と通信する通信部22とを備える。
咳検知装置2の制御部20は、CPU(Central Processing Unit)、インターフェース等から構成されている。制御部20は、後述する記憶部21のプログラム格納部210に格納されたプログラムに従って動作することにより、受付手段200、動き解析手段201、音解析手段202、確率演算手段203、表示手段204等として機能する。動き解析手段201、音解析手段202、確率演算手段203は、咳検知手段の一例である。表示手段204は、特定手段の一例である。各手段200~204の詳細については後述する。
記憶部21は、ROM(Read Only Memory)、RAM(Random Access Memory)等から構成され、プログラムを格納するプログラム格納部210と、座席配置データ211A(図3参照)を格納する座席配置データ格納部211と、音声波形を格納する音声波形格納部212と、基準加速度データを格納する基準加速度データ格納部213と、基準となる波形を格納する基準波形格納部214と、検知結果テーブル215A(図4参照)を格納する検知結果テーブル格納部215と、確率テーブル216A(図5参照)を格納する確率テーブル格納部216と、を有する。
座席配置データ211Aには、居室5(図1参照)内の座席(例えば、机52)のレイアウトに応じた座席図と、座席を識別する座席IDとが登録されている。座席IDは識別情報の一例である。
波形格納部212に格納される波形には、音検出部7により出力された音信号の振幅を周波数ごとに表した波形が含まれる。
基準加速度データ格納部213に格納される基準加速度データには、加速度信号が示す加速度に対して予め定められた閾値(Ath、-Ath)が含まれる。
基準波形格納部214に格納される波形には、照合の基準となる音信号の振幅を周波数ごとに表した波形が含まれる。
受付手段200は、座席IDとともに動き検出部6から送信された加速度信号、及び座席IDとともに音検出部7から送信された音信号を受け付ける。また、受付手段200は、加速度信号を動き解析手段201に出力するとともに、音信号を音解析手段202に出力する。
動き解析手段201は、受付手段200から出力された加速度信号を解析し、咳運動を検出する。また、動き解析手段201は、咳運動を検出すると、受付手段200に音信号受付指令信号を出力する。
音解析手段202は、受付手段200から出力された音信号を解析し、咳音を検知する。音解析手段202は、咳音の検知の有無を検知結果テーブル215Aに登録する。また、音解析手段202は、音信号の周波数分析により得られる、音信号の強度を周波数ごとに表した波形を波形格納部212に格納する。さらに、音解析手段202は、咳音を検知すると、確率演算指令信号を確率演算手段203に出力する。
確率演算手段203は、音解析手段202から出力された確率演算指令信号に基づいて、当該人が咳をした確率を演算する。確率演算手段203は、演算した咳の確率を検知結果テーブル215Aに登録する。
表示手段204は、音解析手段202により咳音が検知された対象者50の座席を、複数の座席を含む座席図上に他の座席と識別できるように、管理者用端末4の表示面41に表示する。
通信部22は、Wi-FiやBlueTooth(登録商標)等を用いて、管理者用端末4、動き検出部6及び音検出部7との間で信号を送受信する。
(座席配置データの構成)
図3は、座席配置データ211Aの一例を示す図である。座席配置データ211Aには、居室5内の座席のレイアウトに対応して、机52を示す複数のサムネイル520を含む座席図が登録されている。また、各サムネイル520には、対応する座席の座席IDが付されている。
(検知結果テーブルの構成)
図4は、検知結果テーブル215Aの一例を示す図である。検知結果テーブル215Aには、「座席ID」欄と、「咳音の検知」欄と、「咳の確率」欄とが設けられ、座席IDごとに、この座席IDが示す座席に座る人の咳音の検知の有無と、咳の確率とが登録されている。
「座席ID」欄には、座席(椅子51又は机52)を識別するIDが登録されている。「咳音の検知」欄とには、音解析手段202が検知した咳音の検知の有無に関する情報として、咳音を検知した場合は、「有」、咳音を検知しない場合は、「無」と登録される。「咳の確率」欄には、確率演算手段203によって演算された咳の確率(値)が登録される。図4に示す例では、単位をパーセントとする整数で登録されているが、これに限られるものではなく、少数の桁を含めて登録してもよい。
(確率テーブルの構成)
図5は、確率テーブル216Aの一例を示す図である。確率テーブル216Aには、「咳の確率」欄と、「咳の可能性」欄とが設けられている。
「咳の確率」欄には、0から100パーセントに亘る確率を4つに分割した、「0~49%」「50~69%」「70~89%」「90~100%」の確率の範囲が登録されている。「咳の可能性」欄には、各確率の範囲に対応して、咳の可能性の高低を示す情報としての語が登録されている。例えば、「0~49%」に対して「なし」、「50~69%」に対して「低」、「70~89%」に対して「中」、「90~100%」に対して「高」がそれぞれ登録されている。
(第1の実施の形態の動作)
次に、咳検知システム1の動作の一例について図6~図9を参照して説明する。
図6(a)は、座面の加速度の波形の一例を示す図であり、横軸が時間、縦軸が椅子51の座面の鉛直方向における加速度を示す。図6(b)は、咳をしたときに得られる音信号の時系列の波形の一例を示す図である。図6(c)は、くしゃみをしたときに得られる音信号の時系列の波形の一例を示す図である。図6(b)、(c)はともに、横軸が時間、縦軸が音信号の振幅を示す。図7(a)は、図6(a)に示す音信号の波形を周波数ごとに表した波形の一例を示す図である。図7(b)は、図6(b)に示す音信号の波形を周波数ごとに表した波形の一例を示す図である。図7(a)、(b)はともに、横軸が時間、縦軸が振幅(dB)を示す。図8は、検知結果の表示の一例を示す図である。図9は、咳検知システム1の動作の一例を示すフローチャートである。
椅子51に設けられた動き検出部6は、椅子51の座面の変動を検出し、これを加速度信号に変換して、加速度信号を座席IDとともにネットワーク3を介して咳検知装置2に送信する。また、机52に設けられた音検出部7は、対象者50から発せられる音声を検出し、それを時系列の音信号に変換して、音信号を座席IDとともにネットワーク3を介して咳検知装置2に送信する。
受付手段200は、座席IDとともに動き検出部6から送信された加速度信号を受け付ける(S1)。加速度信号の振幅は、座面の動きの加速度の大きさに対応している。
動き解析手段201は、加速度信号を解析する(S2)。すなわち、動き解析手段201は、図6(a)に示すような、鉛直方向における加速度が、基準加速度データ格納部213に格納された予め定められた閾値(Ath、-Ath)を超えたことで、座面の浮き沈みを検出する(S3)。
動き解析手段201が、座面の浮き沈みを検出すると(S3:Yes)、受付手段200に音信号受付指令信号を出力する。
受付手段200は、動き解析手段201から音信号受付指令信号が出力されると、座席IDとともに音検出部7から送信された音信号を一定時間(例えば10秒)受け付ける(S4)。受付手段200は、音解析指令信号を音解析手段202に出力する。咳運動が検出された場合に音信号を受け付けるようにすることで、音信号の解析は常に行わなくてもよくなり、無駄な解析を回避することができる。
音解析手段202は、受付手段200から出力された音解析指令信号に基づいて受付手段200が受け付けた音信号を解析する(S5)。すなわち、音解析手段202は、受付手段200が受け付けた音信号を周波数分析し、分析した結果に基づいて咳音を検知する(S6)。具体的には、音解析手段202は、音検出部7が出力した音信号の周波数分析し、音信号の波形を周波数ごとに表した波形を求める。次に、音解析手段202は、求めた波形と、基準波形格納部214に格納された基準となる、音信号の波形を周波数ごとに表した波形とを照合し、両者の間の類似度を求める。そし音解析手段202は、求めた類似度が閾値を超えたときに咳音を検知する。
例えば、咳にともなう音声の場合、音解析手段202は、受付手段200が受け付けた音信号をデジタル信号に変換し、高速フーリエ変換(FFT)等の周波数分析することにより、図6(b)に示すような音信号の時系列の波形から、図7(a)に示すような音信号の強度を周波数ごとに表した波形が得られる。
また、くしゃみにともなう音声の場合、音解析手段202は、受付手段200が受け付けた音信号をデジタル信号に変換し、高速フーリエ変換(FFT)等の周波数分析することにより、図6(c)に示すような音信号の時系列の波形から、図7(b)に示すような音信号の振幅を周波数ごとに表した波形が得られる。
音解析手段202は、上述の音信号の振幅を周波数ごとに表した波形を波形格納部212に格納する。また、音解析手段202は、咳音の検知の有無に関する情報を検知結果テーブル215Aの当該座席IDに対応する「咳音の検知」欄に登録する。図6(b)に示す咳による音声信号の波形の場合は、それを周波数分析した図7(a)に示す波形と基準となる波形との間の類似度が大きいため、音解析手段202は、咳音として検知する。一方、図6(c)に示すくしゃみによる音声信号の波形の場合は、それを周波数分析した図7(b)に示す波形と基準となる波形との間の類似度が小さいため、音解析手段202は、咳音として検知しない。
なお、動き解析手段201は、受付手段200が受け付けた加速度信号の時系列の波形と、基準となる波形との照合により、咳運動を検出してもよい。
音解析手段202は、咳音を検知すると、検知結果テーブル215Aの「咳音の検知」欄に「有」を登録する。音解析手段202は、座席ID及び確率演算指令信号を確率演算手段203に出力する。
確率演算手段203は、音解析手段202からの座席ID及び確率演算指令信号を受け付けると、咳の確率を演算する(S7)。例えば、確率演算手段203は、波形格納部212に格納された、音信号の波形を周波数ごとに表した波形と、基準波形格納部214に格納された基準となる、音信号の波形を周波数ごとに表した波形との類似度を当該人の咳の確率として演算する。
確率演算手段203は、演算した咳の確率を音解析手段202から出力された座席IDに対応する検知結果テーブル215Aの「咳の確率」欄に登録する。確率演算手段202は、座席IDを特定手段204に出力する。
表示手段204、咳が検知された座席を含む座席図を表示する(S8)。すなわち、表示手段204は、検知結果テーブル215A及び確率テーブル216Aに基づいて、咳が検知された座席を含む座席図上に他の座席と識別できるように、管理者用端末4の表示面41に表示する。
図8に示すように、管理者用端末4(図1参照)の表示面41には、居室5内の座席のレイアウトに応じた配置を有する複数のサムネイル520を含む座席図411が表示されている。表示手段204は、特定された座席(図8に示す例では、机52)に対して、検知結果テーブル215Aに登録された、この座席に座る人の咳の確率と、確率テーブル216Aに登録された、咳の確率を含む確率の範囲に関連付けられた咳の可能性に基づいて、サムネイル520をハッチングして表示する。なお、ハッチングの方法は、図8に示したものに限られず、例えば、色分け等によって示してもよい。
また、管理者が管理者用端末4を操作して管理者用端末4の表示部にポインタ412を表示し、ポインタ412を座席のサムネイル520Aに移動させると、表示手段204は、吹き出し413を表示し、この吹き出し413内に、座席のIDとともにその座席に座る人の咳の確率を表示する。
<変形例>
第1の実施の形態では、動き解析手段201が咳検知装置2の制御部20に設けられている例について説明したが、変形例では、動き解析手段201が動き検出部6に設けられている例について説明する。以下、第1の実施の形態と異なる点を中心に説明する。
図10は、第1の実施の形態の変形例に係る咳検知システム100の制御系の一例を示すブロック図である。動き検出部6は、制御部61と、記憶部62と、通信部63とを備える。制御部61は、動き検出手段206と、動き解析手段201とを備える。
動き検出部6の制御部61は、CPU(Central Processing Unit)、インターフェース等から構成されている。制御部61は、後述する記憶部62のプログラム格納部620に格納されたプログラムに従って動作することにより、動き検出手段206と、動き解析手段201等として機能する。
記憶部62は、ROM(Read Only Memory)、RAM(Random Access Memory)等から構成され、基準加速度データ格納部213を有する。
通信部63は、Wi-FiやBlueTooth(登録商標)等を用いて、上述の咳検知装置2の通信部22との間で信号を送受信する。
動き検出手段206は、対象者50の身体の運動に伴う座面の位置の変動を、例えば加速度センサにより検出し、予め定められた方向における座面の加速度を示す加速度信号に変換して、動き解析手段201に出力する。
動き解析手段201は、加速度信号を解析し、咳運動を検出する。また、動き解析手段201は、咳運動を検出すると、受付手段200に音信号受付指令を出力する。
受付手段200は、動き検出部6に設けられた動き解析手段201から音信号受付指令が出力されると、座席IDとともに音検出部7から送信された音信号を受け付け、音信号を音解析手段202に出力する。
(変形例の動作)
動き検出手段206は、加速度信号を取得する。
動き解析手段201は、鉛直方向における加速度が、動き検出部6の記憶部62の基準加速度データ格納部213に格納された閾値を超えたか否か判断することにより、座面の浮き沈みを検出する。
以下、第1の実施の形態に示した、ステップS4乃至S8と同様に動作する。動き解析手段201を動き検出部6に設けることにより、咳検知装置2の負担が軽減される。
[第2の実施の形態]
第1の実施の形態では、居室内で咳をした人の座席を特定する例について説明したが、第2の実施の形態では、移動体内で咳をした人の座席を特定する例について説明する。以下、第1の実施の形態と異なる点を中心に説明する。
図11は、本発明の第2の実施の形態に係る咳検知システムの概略の構成例を示す図である。
この咳検知システム200は、移動体10内で咳をした人の座席を特定するものである。なお、以下では、移動体10は飛行機として説明する。また、対象者50は、搭乗客のこととして説明する。
咳検知システム200は、咳検知装置2、ネットワーク3、管理者用端末4、動き検出部6A,6B、音検出部7A,7B、に加えて、咳検知装置2にネットワーク3を介して接続される脈拍検出部8A,8Bを備えている。脈拍検出部8A,8B総称するときは以下、脈拍検出部8という。なお、管理者用端末4は、例えば、管制塔等の管理室11のように、移動体10外に設けられてもよい。
脈拍検出部8は、椅子51に設けられ、対象者50の脈拍を、例えばカメラや赤外センサにより検出し、脈拍信号として無線によりネットワーク3を介して咳検知装置2に送信する。
図12は、図11に示す咳検知装置2の制御系の一例を示すブロック図である。
制御部20は、プログラム格納部210に格納されたプログラムに従って動作することにより、第1の実施の形態で説明した機能に加えて、脈拍解析手段207、感染症特定手段208等として機能する。動き解析手段201、音解析手段202、確率演算手段203、脈拍解析手段207、感染症特定手段208は、咳検知手段及び感染症検知手段の一例である。
記憶部21は、第1の実施の形態で説明した各種の格納部に加えて、感染症情報テーブル217A(図13(d)参照)を格納する感染症情報テーブル格納部217と、搭乗記録テーブル218A(図13(a)参照)を格納する搭乗記録テーブル格納部218とを有する。
受付手段200は、座席IDとともに脈拍検出部8から送信された脈拍信号を受け付け、脈拍信号を脈拍解析手段206に出力する。
動き解析手段201は、加速度信号を解析して、座面低下パターンを抽出する。
音解析手段202は、音信号を解析して、音声パターンを抽出する。
脈拍解析手段207は、脈拍信号を解析して、脈拍パターンを抽出する。
感染症特定手段208は、座面低下パターン、音声パターン、脈拍パターンに基づいて、咳を検知するとともに、感染症を特定する。
(搭乗記録テーブルの構成)
図13(a)は、搭乗記録テーブル218Aの一例を示す図である。搭乗記録テーブル217Aには、「飛行機ID」欄と、「座席ID」欄と、「搭乗日時」欄とが設けられている。
「搭乗日時」欄には、「座席ID」が示す座席に対象者50が搭乗した日付と日時とが登録されている。
(検知結果テーブルの構成)
図13(b)は、検知結果テーブル215Bの一例を示す図である。検知結果テーブル215Bには、第1の実施の形態で説明した検知結果テーブル215Aの「咳音の検知」欄に代えて「感染症の名称」欄が設けられている。なお、「咳音の検知」欄を省かないで「感染症の名称」欄を設けてもよい。
(確率テーブルの構成)
図13(c)は、確率テーブル216Bの一例を示す図である。確率テーブル216Bには、第1の実施の形態で説明した確率テーブル216Aの「咳の確率」欄に代えて「感染症の確率」欄と、「咳の可能性」欄に代えて「感染症の可能性」欄とが設けられている。
(感染症情報テーブルの構成)
図13(d)は、感染症情報テーブル218Aの一例を示す図である。感染症情報テーブル218Aには、「名称」欄と、「座面低下パターン」欄と、「音声パターン」欄と、「脈拍パターン」欄とが設けられている。
「名称」欄には、例えば、「風邪」「インフルエンザ」「百日咳」等のような、感染症の名称が登録されている。「座面低下パターン」欄には、「名称」欄に示す感染症に対応する座面の低下のパターンが登録されている。「音声パターン」欄には、「名称」欄に示す感染症に対応する音声のパターンが登録されている。「脈拍パターン」欄には、「名称」欄に示す感染症に対応する脈拍のパターンが登録されている。
どのような座面低下パターン、音声パターン、脈拍パターンがどの感染症に対応するかは、Deep Learning等の学習機能により、事前に学習しておくのが好ましい。
(第2の実施の形態の動作)
次に、図14を用いて、咳検知システム200の動作の一例について説明する。図14は、咳検知システム200の動作の一例を示すフローチャートである。
受付手段200は、動き検出手段6から座席IDとともに加速度信号を受け付けし(S11)、座席ID及び加速度信号を動き解析手段201に出力する。また、受付手段200は、音検出部7から座席IDとともに音信号を受け付けし(S12)、座席ID及び音信号を音解析手段202に出力する。さらに、受付手段200は、脈拍検出部8から座席IDとともに脈拍信号を受け付けし(S13)、座席ID及び脈拍信号を脈拍解析手段207に出力する。
動き解析手段201は、受付手段200が受け付けた加速度信号を解析し、座面低下パターンを抽出して(S14)、座面低下パターンを感染症特定手段208に出力する。
音解析手段202は、受付手段200が受け付けた音信号を解析し、音声パターンを抽出して(S15)、音声パターンを感染症特定手段208に出力する。
脈拍解析手段203は、受付手段200が受け付けた脈拍信号を解析し、脈拍パターンを抽出して(S16)、脈拍パターンを感染症特定手段208に出力する。
感染症特定手段208は、上述の座面低下パターン、音声パターン、脈拍パターンに基づいて咳を検知するとともに感染症を特定する。具体的には、感染症特定手段208は、上述の座面低下パターン、音声パターン、脈拍パターンと、感染症情報テーブル217Aに登録された座面低下パターン、音声パターン、脈拍パターンとの類似度の全てが、それぞれ予め定められた閾値を超えたときに感染症を特定する(S17)。なお、上記の3つの情報を全て用いることに限定されるものではなく、これらのうちいずれか1つ又は2つの情報を用いてもよい。
確率演算手段203が、上述した類似度に基づいて感染症の発症確率を算出し(S18)、表示手段204が、咳が検知された対象者50のうち、感染症の発症の可能性のある対象者50の座席を特定して管理者用端末4に検知結果を表示する(S19)。感染症の特定及び感染症の発症確率の算出に、座面低下パターン、音声パターン及び脈拍パターンの3つの情報を全て用いることにより、1つ又は2つの情報を用いる場合よりも、より精度よく感染症を特定することができ、精度よく発症確率を算出することができる。
[変形例]
以上、本発明の実施の形態を説明したが、本発明の実施の形態は上記実施の形態に限定されるものではなく、本発明の要旨を変更しない範囲内で種々の変形、実施が可能である。
例えば、管理者用端末4が操作表示部を備えることにより、居室5内の座席のレイアウトの変更に応じて、座席配置データ211Aを書き換え可能にしてもよい。また、確率テーブル216Aを書き換え可能にしてもよい。
制御部20の各手段は、それぞれ一部又は全部を再構成可能回路(FPGA:Field Programmable Gate Array)、特定用途向け集積回路(ASIC:Application Specific Integrated Circuit)等のハードウエア回路によって構成してもよい。
また、本発明の要旨を変更しない範囲内で、上記実施の形態の構成要素の一部を省くことや変更することが可能である。
また、本発明の要旨を変更しない範囲内で、上記実施の形態のフローにおいて、ステップの追加、削除、変更、入替え等が可能である。また、上記実施の形態で用いたプログラムをCD-ROM等のコンピュータ読み取り可能な記録媒体に記録して提供することができる。また、上記実施の形態で用いたプログラムをクラウドサーバ等の外部サーバに格納しておき、ネットワークを介して利用することもできる。
1,100,200…咳検知システム、2…咳検知装置、3…ネットワーク、
4…管理者用端末、5…居室、6,6A,6B,6C,6D…検出部、
7,7A,7B,7C,7D…音検出部、8,8A,8B…脈拍検出部、
10…移動体、20…制御部、21…記憶部、22…通信部、41…表示面、
50,50A,50B,50C,50D…対象者、
51,51A,51B,51C,51D…椅子、
52,52A,52B,52C,52D…机、61…制御部、62…記憶部、
63…通信部、200…受付手段、201…動き解析手段、202…音解析手段、
203…確率演算手段、204…表示手段、206…動き検出手段、
207…脈拍解析手段、208…感染症特定手段、210…プログラム格納部、
211…座席配置データ格納部、211A…座席配置データ、
212…波形格納部、213…基準加速度データ格納部、
214…基準波形格納部、215…結果テーブル格納部、
215A,215B…検知結果テーブル、216…確率テーブル格納部、
216A,216B…確率テーブル、218A…搭乗記録テーブル、
411…座席図、412…ポインタ、413…吹き出し、520…サムネイル

Claims (6)

  1. ユーザによる咳音を受け付ける受付手段と、
    前記受付手段が受け付けた前記咳音から前記ユーザの感染症の種類を特定する特定手段と、
    前記特定手段により特定された前記感染症の種類を出力する出力手段と、
    前記ユーザの動きに関する情報を検知する加速度センサと、を備え
    前記受付手段は、前記加速度センサからの加速度情報を受け付け、
    前記特定手段は、前記受付手段が受け付けた前記咳音及び前記加速度情報から前記ユーザの感染症の種類を特定する、
    情報処理装置。
  2. 前記受付手段は、前記咳音に関する情報として時系列の音信号を出力し、
    前記受付手段から出力された前記時系列の音信号を周波数分析し、分析した結果に基づいて咳音を検知する咳検知手段をさらに備える、
    請求項1に記載の情報処理装置。
  3. 前記咳検知手段は、前記周波数分析により得られた波形と基準となる波形との照合により、前記咳音を検知する、
    請求項2に記載の情報処理装置。
  4. 前記咳検知手段は、前記周波数分析により得られた波形と前記基準となる波形との間の類似度に対応した確率を求める、
    請求項3に記載の情報処理装置。
  5. ユーザによる咳音を受け付ける受付手段と、
    前記受付手段が受け付けた前記咳音から前記ユーザの感染症の種類を特定する特定手段と、
    前記特定手段により特定された前記感染症の種類を出力する出力手段と、
    前記ユーザの動きに関する情報を検知する加速度センサと、を備え
    前記受付手段は、前記加速度センサからの加速度情報を受け付け、
    前記特定手段は、前記受付手段が受け付けた前記咳音及び前記加速度情報から前記ユーザの感染症の種類を特定する、
    情報処理システム。
  6. コンピュータを、
    ユーザによる咳音を受け付ける受付手段と、
    前記受付手段が受け付けた前記咳音から前記ユーザの感染症の種類を特定する特定手段と、
    前記特定手段により特定された前記感染症の種類を出力する出力手段として実行させるプログラムであって、
    前記受付手段は、前記ユーザの動きに関する情報を検知する加速度センサからの加速度情報を受け付け、
    前記特定手段は、前記受付手段が受け付けた前記咳音及び前記加速度情報から前記ユーザの感染症の種類を特定する、
    プログラム。
JP2021108010A 2017-01-23 2021-06-29 情報処理装置、情報処理システム及びプログラム Active JP7201027B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021108010A JP7201027B2 (ja) 2017-01-23 2021-06-29 情報処理装置、情報処理システム及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017009696A JP6907553B2 (ja) 2017-01-23 2017-01-23 咳検知装置及びプログラム
JP2021108010A JP7201027B2 (ja) 2017-01-23 2021-06-29 情報処理装置、情報処理システム及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017009696A Division JP6907553B2 (ja) 2017-01-23 2017-01-23 咳検知装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2021151570A JP2021151570A (ja) 2021-09-30
JP7201027B2 true JP7201027B2 (ja) 2023-01-10

Family

ID=62905423

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017009696A Active JP6907553B2 (ja) 2017-01-23 2017-01-23 咳検知装置及びプログラム
JP2021108010A Active JP7201027B2 (ja) 2017-01-23 2021-06-29 情報処理装置、情報処理システム及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017009696A Active JP6907553B2 (ja) 2017-01-23 2017-01-23 咳検知装置及びプログラム

Country Status (2)

Country Link
US (1) US20180206764A1 (ja)
JP (2) JP6907553B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10121494B1 (en) * 2017-03-30 2018-11-06 Amazon Technologies, Inc. User presence detection
CN111742181B (zh) * 2018-06-14 2023-02-28 松下知识产权经营株式会社 信息处理方法、信息处理系统以及记录介质
GB2578418B (en) * 2018-07-25 2022-06-15 Audio Analytic Ltd Sound detection
US11810670B2 (en) 2018-11-13 2023-11-07 CurieAI, Inc. Intelligent health monitoring
JP7312037B2 (ja) * 2019-06-25 2023-07-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 咳検出装置、咳検出装置の作動方法及びプログラム
US11468908B2 (en) 2020-04-15 2022-10-11 Optum, Inc. Hybrid input machine learning frameworks
KR102394882B1 (ko) * 2020-05-11 2022-05-04 한양대학교 산학협력단 감염 질환을 모니터링 및 진단하는 방법 및 장치
JPWO2021255961A1 (ja) * 2020-06-18 2021-12-23
JP7005056B1 (ja) 2021-03-08 2022-01-21 株式会社Toyo H&I 椅子システム、サーバ、サーバによる情報処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011167524A (ja) 2003-04-10 2011-09-01 Adidas Ag 呼吸事象検出システムおよび方法
US20120071777A1 (en) 2009-09-18 2012-03-22 Macauslan Joel Cough Analysis
JP2012062163A (ja) 2010-09-16 2012-03-29 Hitachi Building Systems Co Ltd エレベータの制御装置
JP2013176471A (ja) 2012-02-28 2013-09-09 Nikon Corp 情報処理装置
JP2015514456A (ja) 2012-03-29 2015-05-21 ザ ユニバーシティ オブ クィーンズランド 患者音を処理するための方法および装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4120384B2 (ja) * 2002-12-13 2008-07-16 日産自動車株式会社 イオン発生装置付き車両用空調装置
JP3121782U (ja) * 2005-08-23 2006-06-01 山崎 房一 体動センサ
JP2007125360A (ja) * 2005-10-05 2007-05-24 Konica Minolta Medical & Graphic Inc 咳検出装置
KR100664960B1 (ko) * 2005-10-06 2007-01-04 삼성전자주식회사 음성 인식 장치 및 방법
JP2007327993A (ja) * 2006-06-06 2007-12-20 Konica Minolta Medical & Graphic Inc 音声モニタシステム、音声モニタ方法、プログラム、咳検出システム
JP2012502671A (ja) * 2008-05-12 2012-02-02 アーリーセンス エルティディ 臨床症状のモニタリング、予測及び治療
WO2011141916A1 (en) * 2010-05-13 2011-11-17 Sensewiser Ltd. Contactless non-invasive analyzer of breathing sounds
JP2012173862A (ja) * 2011-02-18 2012-09-10 Denso Corp 車両異常通知装置
US9075909B2 (en) * 2011-11-20 2015-07-07 Flurensics Inc. System and method to enable detection of viral infection by users of electronic communication devices
US20140249378A1 (en) * 2013-03-02 2014-09-04 Isonea Limited Systems, methods and kits for measuring cough and respiratory rate using an accelerometer
WO2015074918A1 (en) * 2013-11-22 2015-05-28 Koninklijke Philips N.V. Apnea safety control
CN105877713B (zh) * 2016-06-19 2019-03-26 河北工业大学 一种融合多元信息自动调整睡姿的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011167524A (ja) 2003-04-10 2011-09-01 Adidas Ag 呼吸事象検出システムおよび方法
US20120071777A1 (en) 2009-09-18 2012-03-22 Macauslan Joel Cough Analysis
JP2012062163A (ja) 2010-09-16 2012-03-29 Hitachi Building Systems Co Ltd エレベータの制御装置
JP2013176471A (ja) 2012-02-28 2013-09-09 Nikon Corp 情報処理装置
JP2015514456A (ja) 2012-03-29 2015-05-21 ザ ユニバーシティ オブ クィーンズランド 患者音を処理するための方法および装置

Also Published As

Publication number Publication date
US20180206764A1 (en) 2018-07-26
JP6907553B2 (ja) 2021-07-21
JP2018117708A (ja) 2018-08-02
JP2021151570A (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
JP7201027B2 (ja) 情報処理装置、情報処理システム及びプログラム
CN103561652B (zh) 用于辅助患者的方法和系统
JP6544428B2 (ja) 異常検出方法、異常検出プログラム、および情報処理装置
JP5139319B2 (ja) ストレッサーセンサ及びストレス管理システム
TW201935468A (zh) 聲音定位系統和方法
US10504031B2 (en) Method and apparatus for determining probabilistic context awareness of a mobile device user using a single sensor and/or multi-sensor data fusion
Matic et al. Multi-modal mobile sensing of social interactions
JP2018515155A (ja) ウェアラブルデバイスを用いてユーザの良好さを遠隔からモニタするためのシステム、デバイス、及び方法
US11800996B2 (en) System and method of detecting falls of a subject using a wearable sensor
US10430896B2 (en) Information processing apparatus and method that receives identification and interaction information via near-field communication link
CN108762494A (zh) 显示信息的方法、装置及存储介质
US9934426B2 (en) System and method for inspecting emotion recognition capability using multisensory information, and system and method for training emotion recognition using multisensory information
US11253747B2 (en) Automated activity detection and tracking
EP4097992B1 (en) Use of a camera for hearing device algorithm training.
KR20190125080A (ko) 수면 관리 시스템
WO2018098716A1 (zh) 听诊器数据处理方法、装置、电子设备及云服务器
US20180197564A1 (en) Information processing apparatus, information processing method, and program
Ciabattoni et al. Complex activity recognition system based on cascade classifiers and wearable device data
JP2020187389A (ja) 移動体軌跡分析装置、移動体軌跡分析プログラム、および移動体軌跡分析方法
JP7388199B2 (ja) 生体情報収集システム、生体情報収集方法及びプログラム
CN107203259B (zh) 用于使用单和/或多传感器数据融合确定移动设备使用者的概率性内容感知的方法和装置
CN116942140A (zh) 检测跌倒的方法、介质、程序产品及电子设备
CN105631224B (zh) 一种健康监测方法、移动终端及健康监测系统
JP7001627B2 (ja) 感情特定装置、感情特定方法及びメッセージ出力システム
WO2023032076A1 (ja) 判定システム、判定方法及びコンピュータープログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221205

R150 Certificate of patent or registration of utility model

Ref document number: 7201027

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150