JP7314893B2 - 電子装置、電子装置の制御プログラム及び電子装置の制御方法 - Google Patents

電子装置、電子装置の制御プログラム及び電子装置の制御方法 Download PDF

Info

Publication number
JP7314893B2
JP7314893B2 JP2020158423A JP2020158423A JP7314893B2 JP 7314893 B2 JP7314893 B2 JP 7314893B2 JP 2020158423 A JP2020158423 A JP 2020158423A JP 2020158423 A JP2020158423 A JP 2020158423A JP 7314893 B2 JP7314893 B2 JP 7314893B2
Authority
JP
Japan
Prior art keywords
pulse wave
baseline
electronic device
wave information
wave amplitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020158423A
Other languages
English (en)
Other versions
JP2022052191A (ja
Inventor
高弘 冨田
利彦 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2020158423A priority Critical patent/JP7314893B2/ja
Priority to PCT/JP2021/027013 priority patent/WO2022064825A1/ja
Priority to US18/026,564 priority patent/US20230329570A1/en
Priority to CN202180062001.7A priority patent/CN116133585A/zh
Publication of JP2022052191A publication Critical patent/JP2022052191A/ja
Application granted granted Critical
Publication of JP7314893B2 publication Critical patent/JP7314893B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Hematology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Description

本発明は、電子装置、電子装置の制御プログラム及び電子装置の制御方法に関する。
従来、皮膚表面の血流を測定する技術として、例えばレーザードップラー法やレーザースペックル法等が知られている。
レーザードップラー法では、皮膚表面に照射したレーザー光が毛細血管内を移動する赤血球で反射すると周波数がシフトすることを利用して血流を測定する。シフトした光の割合は赤血球数に比例し、シフトの大きさは血流速度に比例するので、血流量を算出することができる。レーザースペックル法では、レーザー光のような位相の揃った光を生体組織のような散乱粒子の集合に照射した際に、戻ってきた散乱光との重ね合わせの結果観測されるスペックルパターンと呼ばれる粒状の模様を利用して血流を測定する。スペックルパターンは、赤血球が毛細血管内を移動することによってそのパターンも動的に変化するので、この変化から血流量を算出することができる。レーザースペックル法を利用した測定技術としては、例えば非特許文献1に記載される血流画像装置がある。
また、映像解析により脈波を抽出する装置も知られている。この種の技術が記載されているものとして例えば特許文献1がある。特許文献1には、単一の可視光カメラにより非接触状態で人体の複数の部位の中から互いに異なる2つの部位を同時に撮像し、時系列的に連続した画像データを生成する撮像ステップと、画像データにおける2つの部位の時間的な画素値変化に基づき、前記2つの部位における脈波をそれぞれ検出する脈波検出ステップと、2つの部位における脈波の時間差に基づき、前記人体の脈波伝播速度を算出する脈波伝播速度算出ステップと、を備える脈波伝播速度の測定方法が記載されている
オメガウェーブ株式会社、[online]、[令和2年9月16日検索]、インターネット<http://www.omegawave.co。jp/products/oz/principle.shtml>
特許第6072893号公報
しかしながら、レーザーの反射を利用する方法では、単位重量の組織における単位時間当たりの血流量を算出することができるものの、うっ血状態や充血状態等の血行状態の違いを識別することは困難であった。また、映像解析により脈波を抽出する従来の技術においても、血流の測定はもとより、うっ血や充血等の血行の状態を識別することは難しかった。
本発明は、一般的なカメラで撮影した動画から血流を測定し、うっ血状態や充血状態等の血行状態の違いを識別することができる電子装置、電子装置の制御プログラム及び電子装置の制御方法を提供することを目的とする。
上記目的を達成するため、本発明の一態様の電子装置は、第1の期間において被験者の身体の一部分を撮像したことにより得られる第1映像から脈波を示す第1脈波情報と、前記第1の期間より後の期間である第2の期間において前記被験者の身体の一部分を撮像したことにより得られる第2映像から脈波を示す第2脈波情報とを取得する映像処理部と、前記第1脈波情報及び前記第2脈波情報のそれぞれから、所定時間内の脈波情報の平均値を示すベースラインと、脈波振幅とを取得し、前記第1脈波情報と前記第2脈波情報における前記ベースラインの変化率を示すベースライン変化指標と、前記第1脈波情報と前記第2脈波情報における前記脈波振幅の変化率を示す脈波振幅変化指標とを導出するデータ処理部と、前記ベースライン変化指標と前記脈波振幅変化指標との関係に基づいて血行状態を判定する判定処理部と、を備えることを特徴とする。
本発明の電子装置、電子装置の制御プログラム及び電子装置の制御方法によれば、うっ血状態や充血状態等の血行状態の違いを識別することができる。
本発明の一実施形態に係る測定システムの構成を示す構成図である。 本発明の一実施形態に係る電子装置及び撮像部の外観構成を示す構成図である。 本発明の一実施形態に係る電子装置のハードウェアの構成を示すブロック図である。 図2とは異なる実施形態の電子装置の正面の外観構成を示す構成図である。 図2とは異なる実施形態の電子装置の背面の外観構成を示す構成図である。 本発明の一実施形態に係る電子装置の機能的構成のうち、測定処理を実行するための機能的構成を示す機能ブロック図である。 本発明の一実施形態に係る電子装置によって測定される冷水負荷前の換算輝度の時間変化を示すグラフである。 本発明の一実施形態に係る電子装置によって測定される冷水負荷後の換算輝度の時間変化を示すグラフである。 本発明の一実施形態に係る電子装置によって測定される脈波振幅を模式的に示したグラフである。 本発明の一実施形態に係る電子装置によって測定される冷水負荷前の換算輝度の時間変化の波形を拡大したグラフである。 本発明の一実施形態に係る電子装置によって測定される冷水負荷後の換算輝度の時間変化の波形を拡大したグラフである。 本発明の一実施形態に係る電子装置によって測定される左腕の対象部位の換算輝度の時間変化を示すグラフである。 本発明の一実施形態に係る電子装置によって測定される予防接種を受けた右腕の対象部位の換算輝度の時間変化を示すグラフである。 本発明の一実施形態に係る電子装置によって測定される左腕の対象部位の換算輝度の時間変化の波形を拡大したグラフである。 本発明の一実施形態に係る電子装置によって測定される予防接種を受けた右腕の対象部位の換算輝度の時間変化の波形を拡大したグラフである。 本発明の一実施形態に係る電子装置によって冷水負荷の前後と予防接種の有無を比較した結果を示す表である。 本発明の一実施形態に係る電子装置の測定結果に基づくベースライン変化率を横軸とし、脈波振幅変化率を縦軸としたグラフである。 本発明の一実施形態に係る電子装置による血行状態の判定基準を示すグラフである。 本発明の一実施形態に係る電子装置の表示部に表示される測定結果の一例を示す図である。 本発明の一実施形態に係る電子装置が実行する測定処理の前半の流れを説明するフローチャートである。 本発明の一実施形態に係る電子装置が実行する測定処理の後半の流れを説明するフローチャートである。 本発明の一実施形態に係る電子装置を用いた実験時の様子を示す模式図である。 比較例の2次元レーザー血流計で測定した手の高さが低いときの画像である。 比較例の2次元レーザー血流計で測定した手の高さが高いときの画像である。 本発明の一実施形態に係る電子装置によって測定される手の高さが低いときの換算輝度の時間変化を示すグラフである。 本発明の一実施形態に係る電子装置によって測定される手の高さが高いときの換算輝度の時間変化を示すグラフである。 本発明の一実施形態に係る電子装置によって測定される手の高さが低いときの換算輝度の時間変化の波形を拡大したグラフである。 本発明の一実施形態に係る電子装置によって測定される手の高さが高いときの換算輝度の時間変化の波形を拡大したグラフである。
以下、本発明の実施形態について、図面を用いて説明する。
[実施形態の概略]
本発明の実施形態に係る電子装置1は、ユーザの測定部位を撮影した映像に基づいて血行状態を測定する測定装置である。
[システム構成]
図1は、本実施形態に係る電子装置1が含まれる測定システムSの全体構成を示すブロック図である。図1に示すように、測定システムSは、複数の電子装置1、ネットワーク2及びサーバ群3を含む。電子装置1の台数には、特に制限はなく、n台(nは、任意の自然数)の電子装置1が測定システムSに含まれていてもよい。なお、以下の説明において、n台の電子装置1を特に区別することなく説明する場合には、符号の末尾のアルファベットを省略し、単に「電子装置1」と称する。
電子装置1は、映像からユーザの血行状態を測定するコンピュータである。電子装置1は、ネットワーク2を介して、サーバ群3に含まれる各サーバと、相互に通信可能に接続されている。
ネットワーク2は、例えば、インターネットや、LAN(Local Area Network)や、携帯電話網の何れか又はこれらを組み合わせたネットワークにより実現される。
サーバ群3には、電子装置1と協働する各種のサーバが含まれる。例えば、サーバ群3には、電子装置1のユーザを認証するための認証サーバが含まれる。また、例えば、サーバ群3には、電子装置1の機能を実現するためのアプリケーションソフトウェアを配信するアプリケーション配信サーバが含まれる。更に、例えば、サーバ群3には、ユーザに関する設定情報やユーザによる電子装置1の利用履歴等を含んだ情報である、ユーザのプロファイル情報を格納する測定データ格納サーバが含まれる。
なお、図1に示した測定システムSは一例に過ぎず、他の機能を有するサーバがサーバ群3に含まれていてもよい。また、サーバ群3に含まれる複数のサーバを、それぞれ別個のサーバ装置で実現してもよく、単一のサーバ装置にて実現するようにしてもよい。
[電子装置]
次に、図2及び図3を参照して電子装置1及び撮像部6の一例について説明する。図2は、本発明の一実施形態に係る電子装置1及び撮像部6の外観構成を示す構成図である。図3は、本発明の一実施形態に係る電子装置1のハードウェアの構成を示すブロック図である。
図2及び図3に示すように、電子装置1は、筐体5と、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、撮像部6と、入力部17と、出力部18と、記憶部19と、通信部20と、ドライブ21と、バッテリ22と、を備える。
図2に示す筐体5は、各種の電子部品を内蔵する。図2に示すように、本実施形態の電子装置1はノートパソコンであり、筐体5は折り畳み可能に構成される。
図3に示すCPU11は、ROM12に記録されているプログラム、又は、記憶部19からRAM13にロードされたプログラムに従って各種の処理を実行するプロセッサである。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14には入出力インターフェース15も接続されている。入出力インターフェース15に、入力部17と、出力部18と、記憶部19と、通信部20と、ドライブ21と、バッテリ22と、が接続されている。
入力部17は、ユーザによる操作入力を受け付ける部分である。入力部17は、例えば複数のボタンやキーボード等により実現される。
出力部18は、各種の情報を表示することにより、これら各種の情報をユーザに対して表示する部分である。出力部18は、液晶ディスプレイ等で構成され、CPU11が出力する画像データに対応する画像を表示する。
記憶部19は、DRAM(Dynamic Random Access Memory)等の半導体メモリで構成され、各種データを記憶する。
通信部20は、CPU11が、ネットワーク2を介して他の装置(例えば、サーバ群3に含まれる各サーバ)との間で通信を行うための通信制御を行う。
ドライブ21は、リムーバブルメディア100を装着可能なインターフェースにより構成される。ドライブ21には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア100が適宜装着される。リムーバブルメディア100には、後述の合成表示処理を実行するためのプログラムや、画像データ等の各種データが格納される。ドライブ21によってリムーバブルメディア100から読み出されたプログラムや、画像データ等の各種のデータは、必要に応じて記憶部19にインストールされる。
バッテリ22は、各部に電力を供給するとともに外部電源に接続されることにより、充電可能に構成される。電子装置1が外部電源に接続されていない状態ではバッテリ22の電力によって電子装置1が動作する。
[撮像部]
撮像部6は、被写体の映像を撮影するためのものであり、電子装置1に電気的に接続される。図2では、USB等の接続手段30を介して電子装置1の入出力インターフェース15に接続される例が示されているが、接続形式は有線に限られず、無線でもよい。
撮像部6は、本体部31と、本体部31の正面側に配置されるカバー34と、カバー34の内側に配置される光学レンズ部32と、カバー34の内側に配置される照明部33と、を備える。
本体部31は、イメージセンサ等を内蔵する。本体部31が内蔵するイメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮影)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、撮像部6の出力信号として出力される。このような撮像部6の出力信号は、CPU11等に適宜供給される。本体部31にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
光学レンズ部32は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。照明部33は、LEDによって構成される。
カバー34は、本体部31の正面側に配置され、筒状に構成される。本実施形態の光学レンズ部32及び照明部33は、カバー34の内側に配置されている。
撮像部6は、カバー34の先端を被写体の皮膚に押し当てた状態にすることで、外部の光の影響を抑制することができる。これによって、被写体の体動等により光学レンズ部32から測定部位までの距離が一定にならなかったり、明るさの変化等により照明条件が一定にならなかったりする事態を回避できる。周囲の明るさの変化の影響を効果的に抑制でき、かつ、光学レンズ部32と被写体の位置関係も一定に保つことが容易になって測定の精度と安定性を各段に向上できる。
以上、電子装置1及び撮像部6の構成について説明をした。ただし、この構成は一例に過ぎない。例えば、撮像部6は一般的な汎用カメラやWebカメラで構成してもよいし、電子装置1はノートパソコン以外のタブレット等によって構成することもできる。
[第2の電子装置]
次に、図4及び図5を参照して上述の電子装置1と異なる構成の電子装置1aについて説明する。図4は、図2とは異なる実施形態の電子装置1aの正面の外観構成を示す構成図であり、図5はその背面の外観構成を示す構成図である。
図4及び図5に示す電子装置1aは、スマートフォンである。電子装置1aは、ノートパソコンとしての電子装置1と略同様のハードウェア構成を備える。即ち、電子装置1aの筐体5aには、図3で説明した電子部品と同様の構成が内蔵される。例えば、図4に示すように、電子装置1aが備える筐体5aの正面側には、タッチパネルディスプレイ35が配置され、このタッチパネルディスプレイ35が図3の入力部17及び出力部18として機能する。また、図5に示すように、筐体5aの背面側には、内蔵カメラ36が一体的に保持される。内蔵カメラ36に接写レンズ37を取り付けることにより、当該内蔵カメラ36は、図3の撮像部6として機能する。なお、内蔵カメラ36は、光学レンズ部32に相当する複数のレンズ32aと、照明部33に相当を有するライトユニット33aを有する。
[機能的構成]
次に、上述の電子装置1又は電子装置1aの機能的構成について説明する。図5は、電子装置1の機能的構成のうち、測定処理を実行するための機能的構成を示す機能ブロック図である。測定処理とは、電子装置1が、ユーザから取得した生体情報値の変化に基づいて測定結果を表示する一連の処理である。
図5に示すように、制御部としてのCPU11において、映像処理部111と、表示処理部112と、入力処理部113と、データ処理部114と、判定処理部115と、通信処理部116と、が機能する。以下、各機能的構成について説明する。
映像処理部111は、撮像部6が撮影した映像を処理し、映像から脈波を示す脈波情報を抽出する映像処理機能である。映像処理部111は、血行状態の変化を測定するため、ある状態のユーザを撮影した第1映像から脈波情報を取得するとともに、別の状態のユーザを撮影した第2映像から脈波情報を取得する。例えば、ある状態はイベント前の状態であり、別の状態はイベント後の状態である。
イベントは、例えば、血流を促すためのマッサージや、血行促進する作用のあるスキンクリームの塗布等の美容に関する各種施術や、スポーツやリラクゼーション等の運動等の血流の変化が予測される各種の行動や、予防接種等の医療施術等であってもよい。
表示処理部112は、出力部18に表示する内容を生成する等の処理を実行する表示処理機能である。表示処理部112は、イベント前後の脈波情報を比較した結果を測定結果として出力部18に出力する。出力部18に出力される測定結果は、血行状態を示す情報や、血流変動を動的に視覚化した色相動画像を含んでもよい。色相動画像は、例えば、測定部位がマス目状の小領域に分割され、小領域ごとに血流変動が色相の変化によって表現される。
入力処理部113は、ユーザの入力操作を処理する。データ処理部114は、映像解析等に必要な各種データの画像処理等を実行する入力処理機能である。通信処理部116は、そしてクラウド上のサーバ群3等との通信処理を実行する。
データ処理部114は、映像処理部111が取得した映像のユーザの脈波情報を取得するデータ処理機能である。本実施形態では、データ処理部114は、同じユーザの同一の部位のイベント前後のそれぞれの脈波情報から相対的な変化(違い)を算出する。また、同じユーザのある部位(例えば右腕)と対応する部位(例えば左腕)のそれぞれの脈波情報から相対的な変化(違い)を算出する。
判定処理部115は、データ処理部114が算出した相対的な変化に基づいて血行状態を特定する処理を実行する判定処理機能である。データ処理部114及び判定処理部115による血行状態を判定する処理については後述する。
通信処理部116は、例えば、サーバ群3に含まれる認証サーバと通信を行う。これにより、表示処理を行うユーザが認証される。更に通信処理部116は、例えば、サーバ群3に含まれる測定データ格納サーバと通信を行うことにより、表示処理におけるユーザのプロファイル情報を更新する。
[映像解析]
次に、映像解析について説明する。映像処理部111は、血中のヘモグロビンが緑色の光を良く吸収する性質を利用し、脈拍、脈波等の血流に関する情報を取得する。緑信号の波長は一般的に495-570nmといわれており、ヘモグロビンは550-660nmの辺りで吸収係数が高くなっている。血流の上昇時は皮膚表面に血液の量が多くなって単位時間あたりのヘモグロビン量が増加するため、血流が上昇する前に比べ多くの緑信号がヘモグロビンによって吸収される。そのため、血流の上昇時に検出される緑信号の輝度は低下することになる。
映像処理部111は、緑信号の輝度の取得を単位時間ごとに行って緑信号の輝度の時間変化を取得する。単位時間は、例えば、動画像のフレームレートであり、映像を構成する時間的に連続する画像ごとに緑信号の輝度を取得することができる。なお、撮像部6の撮影素子の手前にRGBのフィルタを配置し、RGBそれぞれの画素の輝度値を算出することが好ましい。この場合、緑色のフィルタを通った光が輝度値となる。撮影素子の感度が波長に対してフラットであっても、上述のフィルタによってある程度、波長帯域を絞り込めるので精度よく、緑信号(緑色光)を検出できる。
本実施形態では、血流の上昇を感覚的に把握し易くするため、血流が上昇すると輝度値が高くなるような換算処理を行う。より具体的には、RGB各色8ビットの出力のイメージセンサを用いて緑信号の輝度を検出する場合、輝度値の最大値255から検出した緑信号の輝度値を減算する。この減算した輝度を換算輝度とする。
換算輝度は、測定部位における複数個所の緑信号の輝度を反映するため最頻値、中央値、平均値等の種々の方式により算出される。例えば、測定部位の範囲の全画素の緑信号の平均値を換算輝度として単位時間取得し、このようにして抽出した換算輝度の時系列情報が脈波情報となる。
データ処理部114は、脈波情報(換算輝度)から所定時間(予め定められた時間)の換算輝度の平均値を取得する。以下、所定時間内の換算輝度の平均値をベースラインとして説明する。また、データ処理部114は、脈波情報(換算輝度)から換算輝度の振幅を取得する。以下、所定時間の換算輝度の振幅を脈波振幅として説明する。
本実施形態のデータ処理部114は、イベント前後のベースラインの変化と脈波振幅の変化に基づいて血行状態を判定する。次に、ベースラインの変化と脈波振幅の変化の具体例について説明する。
まず、ベースラインの例について図7及び図8を参照して説明する。図7は本発明の一実施形態に係る電子装置1によって測定される冷水負荷前の換算輝度の時間変化を示すグラフである。図8は本発明の一実施形態に係る電子装置1によって測定される冷水負荷後の換算輝度の時間変化を示すグラフである。
図7及び図8では、手の平を測定部位とし、この手の平に冷水負荷を与えることをイベントとしている。ここで冷水負荷は、15℃の冷水に1分間手首まで浸した状態を意味する。また、図7及び図8のグラフの縦軸は換算輝度であり、横軸は時間(秒)である。図7と図8を比べると、冷水負荷後に脈波情報の一点鎖線で示すベースラインが上昇していることがわかる。
次に、脈波振幅について説明する。図9は、本発明の一実施形態に係る電子装置1によって測定される脈波振幅(PA ;Pulse Amplitude)を模式的に示したグラフである。図9に示すように、映像から解析される脈波情報は、一定の脈波振幅の範囲内に波形を示す周期的な波形を示している。この脈波振幅は、脈波信号の隣り合う最大値と最小値の差を意味している。
脈波振幅を取得するための範囲は、異常値がなく振幅が安定している領域であることが好ましい。例えば、予め設定される閾値を超えた異常値が検出された場合等は、異常値が外れるように脈波情報を取得する。あるいは、撮影時に映像が適切に取得できなかった旨を表示し、再撮影を行って適切な脈波情報を取得してもよい。あるいは、撮影開始から所定時間を経過した後の脈波を振幅の算出に用いてもよい。あるいは、所定時間内に取得された脈波から異常値を除いて振幅を算出してもよい。このように、振幅の算出は、種々の方法を適用できる。
図10及び図11を参照して脈波振幅の具体例について説明する。図10は、本発明の一実施形態に係る電子装置1によって測定される冷水負荷前の換算輝度の時間変化の波形を拡大したグラフである。図11は、本発明の一実施形態に係る電子装置1によって測定される冷水負荷後の換算輝度の時間変化の波形を拡大したグラフである。
図10は図7のグラフに対応し、図11は図8のグラフに対応している。換算輝度のスケールは、図10が82-86であり、図11が92-96であり、それぞれレンジ幅を4に揃えている。図10及び図11に示すグラフでは、脈波情報の1拍1拍の拍動を観測することができる。また、図10と図11を比べると、冷水負荷後に脈波振幅が減少していることがわかる。
手を冷却すれば血流が減少することが予想されるが、冷却負荷によりベースラインが上昇する一方、脈波振幅は減少する結果となった。
次に、図12から図15を参照し、冷却水負荷とは異なるイベントの具体例について説明する。以下に説明するイベントは、ある被験者の右腕と左腕の対象部位を測定した結果である。この被験者は測定前日にインフルエンザの予防接種を右腕に受け、その部位が赤く腫れた状態であった。
ベースラインの傾向について説明する。図12は本発明の一実施形態に係る電子装置1によって測定される左腕の対象部位の換算輝度の時間変化を示すグラフであり、図13は予防接種を受けた右腕の対象部位の換算輝度の時間変化を示すグラフである。図12と図13を比較すると、左腕の対象部位のベースラインよりも予防接種を受けた右腕の対象部位のベースラインの方が大きく上昇していることがわかる。
脈波振幅の傾向について説明する。図14は本発明の一実施形態に係る電子装置1によって測定される左腕の対象部位の換算輝度の時間変化の波形を拡大したグラフであり、図15は右腕の対象部位の換算輝度の時間変化の波形を拡大したグラフである。図14と図15を比較すると、左腕の対象部位の脈波振幅よりも予防接種を受けた右腕の対象部位の脈波振幅の方が大きく増加していることがわかる。
この結果から、予防接種を受けて赤く腫れた右腕の対象部位は、赤く腫れていない左腕の対象部位と比較してベースラインが大きく上昇するとともに脈波振幅が増加していることがわかる。
図16は、本発明の一実施形態に係る電子装置によって冷水負荷の前後と予防接種の有無を比較した結果を示す表である。図16の表が示すように、冷水負荷ではベースラインが上昇し脈波振幅は減少する一方、別の事例の赤く腫れた場合にはベースラインは大きく上昇し脈波振幅も増加することがわかる。即ち、ベースラインと脈波振幅は、血行状態によって増加傾向が必ずしも一致しないことになる。
レーザードップラー血流計やレーザースペックル血流計のような従来技術では、対象となる測定部位の血流量という1つの値しか得られないが、本実施形態の電子装置1では、ベースラインの変化と脈波振幅の変化という2つの異なる値を取得することができ、単なる血流量の増加、減少だけでなく、より詳細な血行状態を推定することが可能となる。
[血行状態の判定]
次に、ベースラインと脈波振幅を用いた血行状態の判定方法について説明する。図17は、本発明の一実施形態に係る電子装置1の測定結果に基づくベースライン変化率(ベースライン変化指標)を横軸とし、脈波振幅変化率(脈波振幅変化指標)を縦軸としたグラフである。ベースライン変化率は下記の式1のように算出することができ、脈波振幅変化率は下記の式2のように算出することができる。なお、図17中の黒丸は式1と式2の結果を本マップにプロットした例である。

ベースライン変化率=(BL2/BL1)-1・・・(式1)
BL1:1回目の測定における脈波情報のベースライン
BL2:2回目の測定における脈波情報のベースライン

脈波振幅変化率 = (PA2/PA1)-1・・・(式2)
PA1:1回目の測定におけるn秒間の脈波振幅の測定値の平均値
PA2:2回目の測定におけるn秒間の脈波振幅の測定値の平均値
ここで、ベースラインと脈波振幅のそれぞれの意味について考察する。上述の通り、映像の輝度から脈波を抽出する原理は、ヘモグロビンによって吸収される緑色光の輝度の時間的変化を捉えるものである。従って、ベースラインは測定期間中における対象部位のヘモグロビン量の平均とほぼ比例関係にあると考えられる。即ち、ベースラインの変化は、その測定部位における平均血液量の変化として解釈することができる。これに対して脈波振幅は、それ自体、脈の拍動を示すものであるから、脈波振幅の変化は拍動の強さの変化として解釈することができる。
図18は、本発明の一実施形態に係る電子装置1による血行状態の判定基準を示すグラフである。図18は、図17の横軸をベースライン変化率から血液量変化率に変更し、縦軸を脈波振幅変化率から拍動変化率に変更した血行状態を示すマップである。血液量の変化及び拍動の変化より、血流の変化を推定することができる。
次に、図18に示すグラフを基準に判定する血行状態について説明する。この例では、全ての測定が終了後に、判定処理部115は、算出したベースライン変化率に基づいて血液量変化率のレベル(程度)を示す横軸にx座標を設定する。また、データ処理部114は、拍動変化率のレベル(程度)を示す縦軸におけるy座標を設定する。そして、データ処理部114は、算出したベース変化率をx座標とし、脈波振幅変化率をy座標として算出結果を(x,y)座標にプロットする。判定処理部115は、プロットされた位置に基づいて血行状態を判定する。
例えば、血液量の変化がほとんどなく拍動が増加して図18の黒丸に示す中央上の位置にプロットされた場合は、血行状態が血流増加となっていると判定することができる。一方、血液量の変化がほとんどなく拍動が減少した場合は、血行状態が血流減少となっていると判定することができる。判定処理部115は、例えば、ベースライン変化率が1の近傍範囲の場合に血液量の変化がほとんどない(少ない)と判定する。この場合における近傍範囲は経験的又は実測値等によって予め設定される数値範囲である。
血液量も拍動も増加し、右上の第1象限の所定範囲にプロットされた場合は、1回目の測定が血行不良状態であれば、2回目の測定では血行不良が改善されたと考えられる。また、この場合において、1回目の測定が通常状態なら、2回目の測定では充血気味と考えられる。本明細書における所定範囲は、数値や数式でも定めることができる範囲である。判定処理部115は、プロットが所定範囲に入るか否かに基づいて血行状態を判定することもできる。
なお、血行不良状態か通常状態かを判定する方法は適宜の方法を採用できる。例えば、第1映像から取得される脈波情報、ベースライン、脈波振幅等の測定値が予め設定される閾値を越えるか否かで判定処理部115が判定してもよいし、ユーザの過去の測定値と比較することにより、判定処理部115が判定してもよい。
血液量が減少する一方拍動が増加し、左上の第2象限の所定範囲にプロットされた場合は、うっ血が改善したと考えられる。
血液量も拍動も減少し、左下の第3象限の所定範囲にプロットされた場合は、1回目の測定が充血気味なら、2回目の測定では充血が改善したと考えられる。また、この場合において、1回目の測定が通常状態なら、2回目の測定では血行不良気味と考えられる。
なお、充血気味状態か通常状態かを判定する方法は適宜の方法を採用できる。例えば、第1映像から取得される脈波情報、ベースライン、脈波振幅等の測定値が予め設定される閾値を越えるか否かで判定処理部115が判定してもよいし、ユーザの過去の測定値と比較することにより、判定処理部115が判定してもよい。
血液量が増加する一方拍動が減少し、右下の第4象限の所定範囲にプロットされる場合は、うっ血気味と考えられる。
このようにして、単に数値としての血流だけでなく、その血行状態も併せて推定することができる。表示処理部112は、図18に示すようなグラフ(マップ)を測定結果として出力部18に表示する処理を実行する。
図18に示す情報とともに、図19に示す情報を表示させる処理を実行してもよい。図19は、本発明の一実施形態に係る電子装置1の出力部18に表示される測定結果(画像)の一例を示す図である。図19に示す画像中の枠201は1回目と2回目の平均血液量を棒グラフに示すものであり、枠202は1回目と2回目の拍動を棒グラフに示すものである。また、画像中の枠201と枠202の下方には、「平均血液量:1.1倍」、「拍動の強さ:1.3倍」及び「血流が増加しました。」等のメッセージが示されるテキスト203が表示されている。表示処理部112は、図19に示すような画像を生成し、当該画像を単独又は図18に示すようなグラフ(マップ)の画像とともに出力部18に表示する処理を実行する。
なお、判定処理部115は、ベースライン変化率又は脈波振幅変化率がグラフの設定範囲を超えるような異常値となった場合は、血行状態の特定を適切に行うことができないと判定してもよい。例えば、判定処理部115は、1回目が通常状態でベースライン変化率や脈波振幅変化率が3以上になった場合に異常状態と判定してもよい。この場合、表示処理部112が血行状態の判定を適切に行うことができなかった旨のメッセージを出力部18に表示させる処理を実行し、ユーザに異常を報知する構成としてもよい。
[測定処理の流れ]
次に、測定処理の流れについて図20及び図21を参照して説明する。図20及び図21は、図6の機能的構成を有する図1の電子装置1が実行する測定処理の流れを説明するフローチャートである。
図20に示すように、入力処理部113は、入力部17を介してユーザが1回目の測定を開始する操作を行ったことを示す情報を受け付けると映像処理部111に動画撮影開始の指示を送信する(ステップS101)。
映像処理部111は、入力処理部113から開始指示を受信すると、撮像部6によって測定部位を含む1回目の動画の撮影を開始する(ステップS102)。次に、映像処理部111は、1回目の映像脈波(脈波情報)を抽出する処理を実行する(ステップS103)。
次に、映像処理部111は、測定を終了する条件が満たされたか否かを判定する(ステップS104)。測定を終了する条件は、例えば、予め設定される設定時間だけ撮影が継続したか否かである。映像処理部111は、測定を終了する条件が満たされない場合は条件が満たされるまで撮影を継続する(ステップS104;No)。映像処理部111は、測定を終了する条件が満たされた場合は処理をステップS105に進める(ステップS104;Yes)。
ステップS105では、映像処理部111は映像脈波抽出処理を終了するとともに撮像部6による動画撮影を終了する(ステップS105)。映像脈波抽出処理及び動画撮影が終了すると、データ処理部114が血行状態を判定するために映像処理部111が取得した1回目のデータの分析処理を実行する(ステップS106)。次に、データ処理部114は、1回目の測定結果を含むデータを記憶部19に保存する(ステップS107)。
1回目の測定結果を含むデータが記憶部19に保存されると、入力処理部113は2回目の操作を待機する処理を実行する(ステップS108)。この処理により電子装置1は入力部17を介して2回目の開始操作を受け付けることができる状態となる。入力処理部113は、開始操作が検出されるか否かを待機する(ステップS109)。入力処理部113は、開始操作を検出するまで操作可能な状態を継続する(ステップS109;No)。入力処理部113は、開始操作を検出した場合は処理を図21のステップS110に進める(ステップS109;Yes)。
ステップS110では、映像処理部111が撮像部6によって測定部位を含む2回目の動画の撮影を開始する(ステップS110)。次に、映像処理部111は、2回目の映像から映像脈波(脈波情報)を抽出する処理を実行する(ステップS111)。
次に、映像処理部111は、測定を終了する条件が満たされたか否かを判定する(ステップS112)。測定を終了する条件は、例えば、予め設定される設定時間だけ撮影が継続したか否かである。映像処理部111は、測定を終了する条件が満たされない場合は条件が満たされるまで撮影を継続する(ステップS112;No)。映像処理部111は、測定を終了する条件が満たされた場合は処理をステップS113に進める(ステップS112;Yes)。
ステップS113では、映像処理部111は映像脈波抽出処理を終了するとともに撮像部6による動画撮影を終了する(ステップS113)。映像脈波抽出処理及び動画撮影が終了すると、データ処理部114が血行状態を判定するために映像処理部111が取得した2回目のデータの分析処理を実行する(ステップS114)。
判定処理部115は、ステップS107で保存した1回目の測定結果を含むデータと2回目の測定結果を含むデータを比較し、血行状態を特定する処理を実行する(ステップS115)。本実施形態では、データ処理部114が算出するベースライン変化率と脈波振幅変化率に基づいて判定処理部115が測定結果を図18に示すグラフにプロットすることにより、血行状態を特定する。
ステップS115の処理後、表示処理部112は、特定した血行状態を含む測定結果を出力部18に表示するための処理を実行し、測定結果をユーザに表示する(ステップS116)。例えば、図18及び図19に示す内容を出力部18に表示する。以上説明した一連の処理を経ることにより、ユーザは自らの血行状態を知ることができる
次に、血行状態を推定するにあたり、確実に血行状態が変化する状況を意図的に設定し、本実施形態の電子装置1による測定と従来技術の2次元レーザー血流計による測定で比較を行った実験について説明する。
図22を参照し、本実験の血行状態が変化する状況について説明する。図22中の上側の枠301内には、被験者Uの手の高さが心臓より低い位置となるように机311を配置して被験者Uを椅子312に座らせた様子が示されている。これに対して図22中の下側の枠302内には、机311の上に台313を配置し、被験者Uの手をこの台313に載せて手の高さが心臓より高い位置となるように被験者Uを椅子312に座らせた様子が示されている。そして、手が低い位置(枠301内の状態)と高い位置(枠302内の状態)の高低差は、30cmとした。
まず、比較例について説明する。図23は、比較例の2次元レーザー血流計で測定した手の高さが低いときの画像であり、図24は手の高さが高いときの画像である。図23及び図24において矩形の枠内が測定部位(ROI ;Region Of Interest)である。2次元レーザー血流計で測定した血流値は、手の高さが低い時には18.56(ml/min/100g)であり、手の高さが高い時には36.67(ml/min/100g)であった。この数値から変化率を求めると36.67/18.56=1.98となる。
次に、本実施例について説明する。図25は、本発明の一実施形態に係る電子装置1によって測定される手の高さが低いときの換算輝度の時間変化を示すグラフであり、図26は手の高さが高いときの換算輝度の時間変化を示すグラフである。図25及び図26は、電子装置1によって手の平の測定部位を測定して得られた脈波情報である。図25と図26を比較すると手の高さが低いときの方が、ベースラインが高いことがわかる。
また、図27は、本発明の一実施形態に係る電子装置によって測定される手の高さが低いときの換算輝度の時間変化の波形を拡大したグラフであり、図28は手の高さが高いときの換算輝度の時間変化の波形を拡大したグラフである。図27と図28において縦軸のスケール幅を揃えている。また、図27は図25を拡大したものであり、元データ(換算輝度)は同一である。図28も図26を拡大したものであり元データ(換算輝度)は同一である。図27と図28を比較すると、手の高さが低い時には脈波振幅は小さくなり、手の高さが高いときには脈波振幅が大きくなることがわかる。
図27の手が低いときの脈波振幅平均値が0.22であり、図28の手が高い時の脈波振幅平均値が0.44であった。従って、脈波振幅変化率は0.44/0.22=2.00となり、2次元レーザー血流計の測定結果から算出した変化率1.98と非常に近い値となった。この実験結果から、脈波情報における脈波振幅の変化、つまり拍動の強さの変化は、血流の変化を意味していることが示された。即ち、図18で示したように、拍動変化率の増減で血流の増加や減少を推定できるのである。
また、比較例の2次元レーザー血流計では、ベースラインのような平均血液量を測定することは困難であるため、うっ血状態や充血状態等の血行状態を捉えることはできない。これに対して本実施形態の電子装置1では、図12から図15で説明した事例のように明らかに赤く腫れて充血状態の測定を行ったときの血行状態が検証されている。また、図22のように手の高さを変えて意図的に手に血液が集まる、即ち、うっ血に近い状態の測定を行うと、ベースラインが上昇し、脈波振幅が減少することも検証されている。これらの検証結果からも、図18に示すような血流に関する様々な状態を正確に推定できることが示されたといえる。
本実施形態の電子装置1による効果について説明する。電子装置1は、映像処理部111と、データ処理部114と、判定処理部115と、を備える。映像処理部111は、少なくとも身体の一部分を撮像したことにより得られる第1映像から脈波を示す第1脈波情報(換算輝度)を取得するとともに、身体の一部分又は当該身体の一部に対応する部分を撮像したことにより得られる第2映像から脈波を示す第2脈波情報(換算輝度)を取得する。データ処理部114は、第1脈波情報及び第2脈波情報のそれぞれから、予め定められた時間内における脈波の平均値であるベースラインと予め定められた時間内における脈波の平均振幅である脈波振幅を取得し、第1脈波情報と第2脈波情報におけるベースラインの変化を示すベースライン変化率(ベースライン変化指標)と第1脈波情報と第2脈波情報における脈波振幅の変化を示す脈波振幅変化率(脈波振幅変化指標)を算出する。判定処理部115は、ベースライン変化率と脈波振幅変化率の関係に基づいて血行状態を判定する。
これにより、第1映像を撮影してから第2映像を撮影するまでの間に生じた血流の変化に基づいて血行状態を判定することができる。映像から抽出した脈波のベースラインと脈波振幅のそれぞれの変化率を算出することにより、血流の増減だけでなく、うっ血や充血等の血行に関する状態を特定できる。また、血流の絶対値を求めるのではなく相対的な変化を算出するようにしたことで、レーザー等の専用機器を用いることなく汎用的なカメラでも血行状態を判定でき、低コストでシステムを実現可能である。また、従来技術のように取り扱いに注意が必要なレーザーを用いる必要もないので、専用の操作オペレータを必要としない。
また、本実施形態の判定処理部115は、第2脈波情報から取得されるベースライン(BL2)を第1脈波情報から取得されるベースライン(BL1)で割ることによりベースライン変化率(BL2/BL1)を算出し、第2脈波情報から取得される脈波振幅PA2を第1脈波情報から取得される脈波振幅(PA2)で割ることにより脈波振幅変化率(PA2/PA1)を算出する。
これにより、血行状態を特定するための範囲として数値範囲を予め設定しておくことで、ベースライン変化率(BL2/BL1)と脈波振幅変化率(PA2/PA1)を算出すれば当該数値範囲に入るか否かを判定するというシンプルな処理で血行状態を特定することができる。
また、本実施形態の判定処理部115は、ベースライン変化率と脈波振幅変化率に基づいてベースラインの変化が少なく脈波振幅が増加する傾向を示す場合は血流増加と判定し、ベースラインの変化が少なく前記脈波振幅が減少する傾向を示す場合は血流減少と判定する。これにより、血流が増加する傾向にあるか減少する傾向にあるかをシンプルな処理で正確に特定できる。
また、本実施形態の判定処理部115は、ベースライン変化率と脈波振幅変化率に基づいてベースラインが減少する一方、脈波振幅が増加する傾向を示す場合は、うっ血が改善したと判定し、ベースラインが増加する一方、脈波振幅が減少する傾向を示す場合は、うっ血気味と判定する。これにより、うっ血状態にあるか否かをシンプルな処理で正確に特定できる。
また、本実施形態の判定処理部115は、ベースライン変化率と脈波振幅変化率に基づいてベースラインが増加し、脈波振幅も増加する傾向を示すとともに第1脈波情報に基づいて血行不良と判定されている場合は血行不良改善と判定し、ベースラインが減少し、脈波振幅も減少する傾向を示すとともに第1脈波情報に基づいて通常状態と判定されている場合は血行不良気味と判定する。また、判定処理部115は、ベースラインが減少し、脈波振幅も減少する傾向を示すとともに第1脈波情報に基づいて充血気味と判定されている場合は充血改善と判定し、ベースラインが増加し、脈波振幅も増加する傾向を示すとともに第1脈波情報に基づいて通常状態と判定されている場合は充血気味と判定する。これにより、血行不良、血行不良改善、充血気味等の血行状態をシンプルな処理で正確に特定できる。
また、本実施形態の電子装置1は、判定処理部115が判定した測定結果を表示する画像を生成する表示処理部112を更に備える。これにより、測定結果を含む画像が出力部18に表示されるので、ユーザは測定結果を容易に把握できる。
また、表示処理部112は、ベースライン変化率のレベルが縦軸又は横軸の何れか一方に設定され、脈波振幅変化率のレベルが縦軸又は横軸の何れか他方に設定されるとともに領域ごとに推定される血行状態が示されるグラフに、データ処理部114が算出したベースライン変化率と脈波振幅変化率をプロットした画像を測定結果として生成する。これにより、ユーザは感覚的に血行状態を特定することができる。また、グラフを利用することにより、ユーザが特定された血行状態のレベルを視覚的に把握できる。
[変形例]
本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。例えば、上述の実施形態を以下の変形例のように変形してもよい。
上記実施形態では、ベースライン変化指標の例としてベースライン変化率を説明したが、1を減算する処理を省略してもよい。また、2回目の測定における脈波情報のベースラインから1回目の測定における脈波情報のベースラインを減算したものをベースライン変化指標としてもよい。同様に、脈波振幅変化指標の例として脈波振幅変化率を説明したが、2回目の測定における脈波情報の脈波振幅から1回目の測定における脈波情報の脈波振幅を減算したものを脈波振幅変化指標としてもよい。このように、ベースライン変化指標及び脈波振幅変化指標を算出する方法は適宜変更することができる。
上記実施形態では、検出した輝度に対して換算する処理を行った換算輝度値を用いて比較処理を行った構成を説明したが、この構成に限定されない。換算輝度値は輝度のレベルを示す一態様であり、上記実施形態から換算処理を省略し、換算処理を行うことなく検出した輝度値を用いて比較処理を行ってもよい。
例えば、上述の実施形態において、電子装置1と、サーバ群3に含まれる各サーバとが協働することを想定していたが、各サーバの機能を電子装置1に追加して、電子装置1のみで全ての処理を行うようにしてもよい。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が電子装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図6の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディア100により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア100は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM(Compact Disk-Read Only Memory),DVD,Blu-ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini-Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているROM12や、記憶部19に含まれるハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
少なくとも身体の一部分を撮像したことにより得られる第1映像から脈波を示す第1脈波情報を取得するとともに、前記身体の一部分又は当該身体の一部に対応する部分を撮像したことにより得られる第2映像から脈波を示す第2脈波情報を取得する映像処理部と、
前記第1脈波情報及び前記第2脈波情報のそれぞれから、予め定められた時間内における脈波の平均値であるベースラインと前記予め定められた時間内における脈波の平均振幅である脈波振幅を取得し、前記第1脈波情報と前記第2脈波情報における前記ベースラインの変化を示すベースライン変化率と前記第1脈波情報と前記第2脈波情報における前記脈波振幅の変化を示す脈波振幅変化率を算出するデータ処理部と、
前記ベースライン変化率と前記脈波振幅変化率の関係に基づいて血行状態を判定する判定処理部と、
を備えることを特徴とする電子装置。
[付記2]
前記判定処理部は、
前記第2脈波情報から取得されるベースラインを第1脈波情報から取得されるベースラインで割ることにより前記ベースライン変化率を算出し、
前記第2脈波情報から取得される脈波振幅を第1脈波情報から取得される脈波振幅で割ることにより前記脈波振幅変化率を算出する付記1に記載の電子装置。
[付記3]
前記判定処理部は、
前記ベースライン変化率と前記脈波振幅変化率に基づいて前記ベースラインの変化が少なく前記脈波振幅が増加する傾向を示す場合は血流増加と判定し、
前記ベースラインの変化が少なく前記脈波振幅が減少する傾向を示す場合は血流減少と判定する付記2に記載の電子装置。
[付記4]
前記判定処理部は、
前記ベースライン変化率と前記脈波振幅変化率に基づいて前記ベースラインが減少する一方、前記脈波振幅が増加する傾向を示す場合は、うっ血が改善したと判定し、
前記ベースラインが増加する一方、前記脈波振幅が減少する傾向を示す場合は、うっ血気味と判定する付記2又は3に記載の電子装置。
[付記5]
前記判定処理部は、
前記ベースライン変化率と前記脈波振幅変化率に基づいて
前記ベースラインが増加し、前記脈波振幅も増加する傾向を示すとともに前記第1脈波情報に基づいて血行不良と判定されている場合は血行不良改善と判定し、
前記ベースラインが減少し、前記脈波振幅も減少する傾向を示すとともに前記第1脈波情報に基づいて通常状態と判定されている場合は血行不良と判定し、
前記ベースラインが減少し、前記脈波振幅も減少する傾向を示すとともに前記第1脈波情報に基づいて充血気味と判定されている場合は充血改善と判定し、
前記ベースラインが増加し、前記脈波振幅も増加する傾向を示すとともに前記第1脈波情報に基づいて通常状態と判定されている場合は充血気味と判定する付記2から4の何れかに記載の電子装置。
[付記6]
前記判定処理部が判定した測定結果を表示する画像を生成する表示処理部を更に備える付記1から5の何れかに記載の電子装置。
[付記7]
前記表示処理部は、
前記ベースライン変化率のレベルが縦軸又は横軸の何れか一方に設定され、前記脈波振幅変化率のレベルが前記縦軸又は前記横軸の何れか他方に設定されるとともに領域ごとに推定される血行状態が示されるグラフに、前記データ処理部が算出した前記ベースライン変化率と前記脈波振幅変化率をプロットした画像を前記測定結果として生成する付記6に記載の電子装置。
[付記8]
身体を撮像した映像に基づいて血流を計測する電子装置に、
少なくとも前記身体の一部分を撮像したことにより得られる第1映像から脈波を示す第1脈波情報を取得するとともに、前記身体の一部分又は当該身体の一部に対応する部分を撮像したことにより得られる第2映像から脈波を示す第2脈波情報を取得する映像処理機能と、
前記第1脈波情報及び前記第2脈波情報のそれぞれから、予め定められた時間内における脈波の平均値であるベースラインと前記予め定められた時間内における脈波の平均振幅である脈波振幅を取得し、前記第1脈波情報と前記第2脈波情報における前記ベースラインの変化を示すベースライン変化率と前記第1脈波情報と前記第2脈波情報における前記脈波振幅の変化を示す脈波振幅変化率を算出するデータ処理機能と、
前記ベースライン変化率と前記脈波振幅変化率の関係に基づいて血行状態を判定する判定処理機能と、
を実現させる電子装置のプログラム。
[付記9]
身体を撮像した映像に基づいて血流を計測する電子装置の制御方法であって、
少なくとも前記身体の一部分を撮像したことにより得られる第1映像から脈波を示す第1脈波情報を取得するとともに、前記身体の一部分又は当該身体の一部に対応する部分を撮像したことにより得られる第2映像から脈波を示す第2脈波情報を取得する映像処理ステップと、
前記第1脈波情報及び前記第2脈波情報のそれぞれから、予め定められた時間内における脈波の平均値であるベースラインと前記予め定められた時間内における脈波の平均振幅である脈波振幅を取得し、前記第1脈波情報と前記第2脈波情報における前記ベースラインの変化を示すベースライン変化率と前記第1脈波情報と前記第2脈波情報における前記脈波振幅の変化を示す脈波振幅変化率を算出するデータ処理ステップと、
前記ベースライン変化率と前記脈波振幅変化率の関係に基づいて血行状態を判定する判定処理ステップと、
を含む電子装置の制御方法。
1 電子装置
6 撮像部
111 映像処理部
112 表示処理部
114 データ処理部
115 判定処理部

Claims (9)

  1. 第1の期間において被験者の身体の一部分を撮像したことにより得られる第1映像から脈波を示す第1脈波情報と、前記第1の期間より後の期間である第2の期間において前記被験者の身体の一部分を撮像したことにより得られる第2映像から脈波を示す第2脈波情報とを取得する映像処理部と、
    前記第1脈波情報及び前記第2脈波情報のそれぞれから、所定時間内の脈波情報の平均値を示すベースラインと、脈波振幅とを取得し、前記第1脈波情報と前記第2脈波情報における前記ベースラインの変化率を示すベースライン変化指標と、前記第1脈波情報と前記第2脈波情報における前記脈波振幅の変化率を示す脈波振幅変化指標とを導出するデータ処理部と、
    前記ベースライン変化指標と前記脈波振幅変化指標との関係に基づいて血行状態を判定する判定処理部と、
    を備えることを特徴とする電子装置。
  2. 前記判定処理部は、
    前記第2脈波情報から取得されるベースラインを第1脈波情報から取得されるベースラインで割ることにより、前記ベースラインの変化率を示す前記ベースライン変化指標をベースライン変化率として導出し、
    前記第2脈波情報から取得される脈波振幅を第1脈波情報から取得される脈波振幅で割ることにより、前記脈波振幅の変化率を示す前記脈波振幅変化指標を脈波振幅変化率として導出する請求項1に記載の電子装置。
  3. 前記判定処理部は、
    前記ベースライン変化率と前記脈波振幅変化率に基づいて前記ベースラインの変化が少なく前記脈波振幅が増加する傾向を示す場合は血流増加と判定し、
    前記ベースラインの変化が少なく前記脈波振幅が減少する傾向を示す場合は血流減少と判定する請求項2に記載の電子装置。
  4. 前記判定処理部は、
    前記ベースライン変化率と前記脈波振幅変化率に基づいて前記ベースラインが減少する一方、前記脈波振幅が増加する傾向を示す場合は、うっ血が改善したと判定し、
    前記ベースラインが増加する一方、前記脈波振幅が減少する傾向を示す場合は、うっ血気味と判定する請求項2又は3に記載の電子装置。
  5. 前記判定処理部は、
    前記ベースライン変化率と前記脈波振幅変化率に基づいて
    前記ベースラインが増加し、前記脈波振幅も増加する傾向を示すとともに前記第1脈波情報に基づいて血行不良と判定されている場合は血行不良改善と判定し、
    前記ベースラインが減少し、前記脈波振幅も減少する傾向を示すとともに前記第1脈波情報に基づいて通常状態と判定されている場合は血行不良と判定し、
    前記ベースラインが減少し、前記脈波振幅も減少する傾向を示すとともに前記第1脈波情報に基づいて充血気味と判定されている場合は充血改善と判定し、
    前記ベースラインが増加し、前記脈波振幅も増加する傾向を示すとともに前記第1脈波情報に基づいて通常状態と判定されている場合は充血気味と判定する請求項2から4の何れかに記載の電子装置。
  6. 前記判定処理部が判定した測定結果を表示する画像を生成する表示処理部を更に備える請求項1から5の何れかに記載の電子装置。
  7. 前記表示処理部は、
    前記ベースライン変化指標のレベルが縦軸又は横軸の何れか一方に設定され、前記脈波振幅変化指標のレベルが前記縦軸又は前記横軸の何れか他方に設定されるとともに領域ごとに推定される血行状態が示されるグラフに、前記データ処理部が導出した前記ベースライン変化指標と前記脈波振幅変化指標をプロットした画像を前記測定結果として生成する請求項6に記載の電子装置。
  8. 被験者の身体を撮像した映像に基づいて血流を計測する電子装置に、
    第1の期間において前記被験者の身体の一部分を撮像したことにより得られる第1映像から脈波を示す第1脈波情報と、前記第1の期間より後の期間である第2の期間において前記被験者の身体の一部分を撮像したことにより得られる第2映像から脈波を示す第2脈波情報とを取得する映像処理機能と、
    前記第1脈波情報及び前記第2脈波情報のそれぞれから、所定時間内の脈波情報の平均値を示すベースラインと、脈波振幅とを取得し、前記第1脈波情報と前記第2脈波情報における前記ベースラインの変化率を示すベースライン変化指標と、前記第1脈波情報と前記第2脈波情報における前記脈波振幅の変化率を示す脈波振幅変化指標とを導出するデータ処理機能と、
    前記ベースライン変化指標と前記脈波振幅変化指標との関係に基づいて血行状態を判定する判定処理機能と、
    を実現させる電子装置のプログラム。
  9. 被験者の身体を撮像した映像に基づいて血流を計測する電子装置の制御方法であって、
    第1の期間において前記被験者の身体の一部分を撮像したことにより得られる第1映像から脈波を示す第1脈波情報と、前記第1の期間より後の期間である第2の期間において前記被験者の身体の一部分を撮像したことにより得られる第2映像から脈波を示す第2脈波情報とを取得する映像処理ステップと、
    前記第1脈波情報及び前記第2脈波情報のそれぞれから、所定時間内の脈波情報の平均値を示すベースラインと、脈波振幅とを取得し、前記第1脈波情報と前記第2脈波情報における前記ベースラインの変化率を示すベースライン変化指標と、前記第1脈波情報と前記第2脈波情報における前記脈波振幅の変化率を示す脈波振幅変化指標とを導出するデータ処理ステップと、
    前記ベースライン変化指標と前記脈波振幅変化指標との関係に基づいて血行状態を判定する判定処理ステップと、
    を含む電子装置の制御方法。
JP2020158423A 2020-09-23 2020-09-23 電子装置、電子装置の制御プログラム及び電子装置の制御方法 Active JP7314893B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020158423A JP7314893B2 (ja) 2020-09-23 2020-09-23 電子装置、電子装置の制御プログラム及び電子装置の制御方法
PCT/JP2021/027013 WO2022064825A1 (ja) 2020-09-23 2021-07-19 電子装置、電子装置の制御プログラム及び電子装置の制御方法
US18/026,564 US20230329570A1 (en) 2020-09-23 2021-07-19 Electronic device, storage medium for electronic device, and control method for electronic device
CN202180062001.7A CN116133585A (zh) 2020-09-23 2021-07-19 电子装置、电子装置的控制程序以及电子装置的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020158423A JP7314893B2 (ja) 2020-09-23 2020-09-23 電子装置、電子装置の制御プログラム及び電子装置の制御方法

Publications (2)

Publication Number Publication Date
JP2022052191A JP2022052191A (ja) 2022-04-04
JP7314893B2 true JP7314893B2 (ja) 2023-07-26

Family

ID=80845201

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020158423A Active JP7314893B2 (ja) 2020-09-23 2020-09-23 電子装置、電子装置の制御プログラム及び電子装置の制御方法

Country Status (4)

Country Link
US (1) US20230329570A1 (ja)
JP (1) JP7314893B2 (ja)
CN (1) CN116133585A (ja)
WO (1) WO2022064825A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150148623A1 (en) 2013-11-26 2015-05-28 David Alan Benaron Hydration Monitoring Sensor And Method For Cell Phones, Smart Watches, Occupancy Sensors, And Wearables
US20170071516A1 (en) 2015-09-15 2017-03-16 Samsung Electronics Co., Ltd. Mobile optical device and methods for monitoring microvascular hemodynamics
WO2017077629A1 (ja) 2015-11-05 2017-05-11 富士通株式会社 判断装置、判断方法、および判断プログラム
JP2017534378A (ja) 2014-10-14 2017-11-24 イースト カロライナ ユニバーシティ 血流量及び灌流量のマルチスペクトル画像化によって得られる信号を使用して血行動態パラメータを決定する方法、システム、及びコンピュータプログラム製品
JP2018008039A (ja) 2016-06-30 2018-01-18 パナソニックIpマネジメント株式会社 生体情報検出装置
JP2019503824A (ja) 2015-12-07 2019-02-14 メディシ テクノロジーズ,エルエルシー 観察的心不全モニタリングシステム
JP2020062529A (ja) 2015-03-30 2020-04-23 国立大学法人東北大学 生体情報表示装置、生体情報表示方法、及び生体情報表示プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150148623A1 (en) 2013-11-26 2015-05-28 David Alan Benaron Hydration Monitoring Sensor And Method For Cell Phones, Smart Watches, Occupancy Sensors, And Wearables
JP2017534378A (ja) 2014-10-14 2017-11-24 イースト カロライナ ユニバーシティ 血流量及び灌流量のマルチスペクトル画像化によって得られる信号を使用して血行動態パラメータを決定する方法、システム、及びコンピュータプログラム製品
JP2020062529A (ja) 2015-03-30 2020-04-23 国立大学法人東北大学 生体情報表示装置、生体情報表示方法、及び生体情報表示プログラム
US20170071516A1 (en) 2015-09-15 2017-03-16 Samsung Electronics Co., Ltd. Mobile optical device and methods for monitoring microvascular hemodynamics
WO2017077629A1 (ja) 2015-11-05 2017-05-11 富士通株式会社 判断装置、判断方法、および判断プログラム
JP2019503824A (ja) 2015-12-07 2019-02-14 メディシ テクノロジーズ,エルエルシー 観察的心不全モニタリングシステム
JP2018008039A (ja) 2016-06-30 2018-01-18 パナソニックIpマネジメント株式会社 生体情報検出装置

Also Published As

Publication number Publication date
CN116133585A (zh) 2023-05-16
WO2022064825A1 (ja) 2022-03-31
JP2022052191A (ja) 2022-04-04
US20230329570A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
US11363990B2 (en) System and method for non-contact monitoring of physiological parameters
JP6349075B2 (ja) 心拍数測定装置及び心拍数測定方法
EP3057487B1 (en) Device and method for obtaining a vital sign of a subject
JP2022084884A (ja) 生体情報検出装置
JP6615176B2 (ja) 非干渉的な皮膚組織ハイドレーション測定デバイス及び関連方法
US10070796B2 (en) Systems and methods for quantitative microcirculation state monitoring
JPWO2014155750A1 (ja) 血流指標算出方法、血流指標算出プログラム及び血流指標算出装置
JP6167614B2 (ja) 血流指標算出プログラム、血流指標算出装置および血流指標算出方法
JP7068339B2 (ja) 血圧測定装置、および、血圧測定方法
JP6115263B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
JP6620999B2 (ja) 生体情報計測装置、生体情報計測プログラム、及び生体情報計測方法
Papon et al. Non-invasive heart rate measuring smartphone applications using on-board cameras: A short survey
JP2014176584A (ja) 信号処理装置、信号処理方法及び信号処理プログラム
JP2016127923A (ja) 被験者の映像から生理学的パラメータを抽出するための対象領域を選択する方法
JP2019097757A5 (ja)
CN115379791A (zh) 用于处理激光散斑信号的系统和方法
Qiao et al. Revise: Remote vital signs measurement using smartphone camera
JP7051083B2 (ja) 心理状態判定方法、判定装置、判定システムおよび判定プログラム
JP7314893B2 (ja) 電子装置、電子装置の制御プログラム及び電子装置の制御方法
JP6167615B2 (ja) 血流指標算出プログラム、端末装置および血流指標算出方法
Sacramento et al. A real-time software to the acquisition of heart rate and photoplethysmography signal using two region of interest simultaneously via webcam
Wiede et al. Contact-less Vital Parameter Determination: An e-Health Solution for Elderly Care.
JP2021096537A (ja) 生体情報取得装置、端末装置、生体情報取得方法、生体情報取得プログラム、及びコンピュータ読み取り可能な記録媒体
Lee et al. Smartphone-based heart-rate measurement using facial images and a spatiotemporal alpha-trimmed mean filter
Popescu et al. Cardiowatch: A solution for monitoring the heart rate on a Mobile device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210901

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230626

R150 Certificate of patent or registration of utility model

Ref document number: 7314893

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150