以下に、図面を参照して、本発明にかかる情報処理装置、情報処理方法、および情報処理プログラムの実施の形態を詳細に説明する。
(実施の形態にかかる情報処理方法の一実施例)
図1は、実施の形態にかかる情報処理方法の一実施例を示す説明図である。図1において、情報処理装置100は、対象者の脈波波形の分析を支援するコンピュータである。対象者とは、脈波波形を計測する対象である。対象者は、例えば、人間である。対象者は、動物であってもよい。脈波波形とは、心臓の拍動に伴って対象者の血管を流れる血液の体積または圧力の時間変化を表す波形である。
ところで、高齢化や医療費の増加などの理由によって、対象者の生体情報を用いて対象者の健康に関する判断を効率よく行うことが求められている。例えば、対象者の生体情報のうちの脈波波形から得られる種々の情報は、対象者の生命反応を見るための重要な指標の一つであり、対象者の健康に関する判断を行う際に用いられる。具体的には、脈拍数は、対象者の健康状態を表す指標となりうる。また、脈拍数が異常に高い状態(いわゆる、頻脈)が、心理的なストレス負荷がないにも関わらず高頻度で発生したり持続したりする場合には、心臓の機能が正常に働いていないことが疑われる。また、一拍ごとの脈波間隔の揺らぎは、対象者にかかるストレスを表す指標となりうる。また、脈波波形は、対象者の血管年齢を表す指標となりうる。また、脈波波形は、対象者が、心不全や脳梗塞などの重大な病気につながる不整脈の状態であるか否かを表す指標となりうる。不整脈とは、心拍数や脈拍のリズムが一定ではないことである。不整脈の状態では、脈波波形が周期的ではない波形になる。
このように、対象者の健康状態に関する多くの情報が脈波波形から得られる。このため、できるだけ簡便な方法により、日常的かつ継続的に、対象者が意識しなくても、対象者の脈波波形を効率よく計測することが望ましい。例えば、対象者が何かしらの機器の操作を行わなくても、対象者の脈波波形を非侵襲かつ非接触で測定することが望ましい。ここで、例えば、対象者の血管での吸収光量が血流量に依存することを利用して、対象者の動画像から対象者の体表面の輝度変化を解析することにより、血管を流れる血液の体積の変動に対応する対象者の脈波波形を、非侵襲かつ非接触で計測する技術が考えられる。
一方で、計測された脈波波形にノイズが含まれる場合がある。例えば、対象者を撮影した動画像は、対象者の体動がある場合には、脈波波形の信号に対応する成分に加えて、対象者の体動に起因するノイズの成分を含んでしまう傾向がある。このため、例えば、対象者に静態を保たせることにより、対象者の脈波波形に含まれるノイズの成分を低減し、対象者の脈波波形の計測精度の向上を図る場合がある。
しかしながら、この場合では、対象者に長時間静態を保つ負担がかかってしまい、日常的かつ継続的に、対象者が意識しなくても、対象者の脈波波形を計測することは、困難になってしまう。さらに、対象者が静態を保つことができなければ、対象者の体動などに起因して脈波波形に現れるノイズが大きくなり、脈波波形にノイズが含まれることを回避することができない。結果として、脈波波形にノイズが含まれているために、精度よく脈波波形を解析することができないことがある。例えば、ノイズによって脈波波形に乱れが生じた場合に、対象者の不整脈などによって脈波波形が乱れたと誤って判定してしまうことがある。脈波波形の乱れとは、脈波波形が周期的ではない波形になることである。
そこで、本実施の形態では、対象者の動画像から、対象者の脈波波形の脈波らしさを示す第1の指標値と、脈波波形がどのくらい周期的であるかを示す第2の指標値とを算出することにより、脈波波形の分析精度の向上を図る情報処理方法について説明する。
第1の指標値とは、対象者の脈波波形が乱れた場合に、対象者の体動などに起因するノイズによって脈波波形が乱れたのか否かを示す値である。第1の指標値は、対象者の体動が脈波波形に与える影響の度合いを示す。第1の指標値は、例えば、対象者のそれぞれの部位にある血管を流れる血液の体積の変動を検出することにより得られるそれぞれの部位の脈波波形のうちの脈波波形間の一致度合いを示す値である。それぞれの部位は、例えば、対象者の左頬と右頬である。対象者の体動は、例えば、対象が首を振るなどである。部位の脈波波形は、当該部位表面の輝度変化を基に生成された脈波らしき波形である。
ここで、脈波波形間の一致度合いを示す値は、値が小さいほど、対象者の体動が大きく、対象者の体動に起因するノイズによって脈波波形が乱れやすい状態であることを示し、脈波らしさが小さいことを示す。具体的には、対象者の体動が比較的大きい場合には、それぞれの部位に当たる光量の変動度合いが異なり、それぞれの部位の色彩の変動度合いが異なるため、それぞれの部位の脈波波形の変動度合いも異なり、一致度合いを示す値が小さくなる。一方で、対象者の体動が比較的小さい場合には、それぞれの部位の色彩の変動度合いの差異が比較的小さいため、一致度合いを示す値が大きくなる。
第2の指標値とは、対象者の脈波波形がどのくらい周期的であるか(周期性の度合い)を示し、対象者の脈波波形においてどのくらい類似する部分波形が繰り返し現れるか否かを示す値である。また、第2の指標値は、対象者の脈波波形がどのくらい乱れているかを示す。第2の指標値は、例えば、対象者のいずれかの部位にある血管を流れる血液の体積の変動を検出することにより得られるいずれかの部位の脈波波形のうちの部分波形間の一致度合いを示す値である。いずれかの部位は、例えば、対象者の顔面である。第2の指標値は、具体的には、対象者のいずれかの部位の脈波波形のうちの脈波間隔のばらつきの大きさを示す値であってもよい。
ここで、部分波形間の一致度合いを示す値は、値が小さいほど、対象者のいずれかの部位の脈波波形の乱れが大きいことを示す。具体的には、対象者の体動や不整脈によれば、対象者のいずれかの部位の脈波波形の振幅が変動してしまい、いずれかの部位の脈波波形において類似する部分波形が繰り返されることなく、部分波形間の一致度合いを示す値が小さくなる。一方で、対象者の体動や不整脈がなければ、いずれかの部位の脈波波形が心臓の収縮や拡張に対応する周期的な波形になり、いずれかの部位の脈波波形において類似する部分波形が繰り返され、部分波形間の一致度合いを示す値が大きくなる。
第2の指標値は、例えば、対象者のいずれかの部位の脈波波形において隣り合う極大値または極小値の差分の標準偏差であってもよい。また、第2の指標値は、例えば、対象者のいずれかの部位の脈波波形における脈波間隔の標準偏差であってもよい。また、第2の指標値は、例えば、対象者のいずれかの部位の脈波波形から求められたスペクトル分布のピーク幅であってもよい。また、第2の指標値は、例えば、対象者のいずれかの部位の脈波波形から求められたスペクトル分布のピーク比率であってもよい。ピーク比率は、例えば、スペクトル分布のうちの最大値と2番目に大きい値との比率である。
図1の例では、(1−1)情報処理装置100は、対象者を撮影した複数の撮影画像のそれぞれの撮影画像に含まれる対象者の複数の部位のそれぞれの部位の画像を解析して得られた、それぞれの部位の脈波波形を取得する。撮影画像とは、光電変換素子によって、ある時点での被写体からの光信号を電気信号に変換して得られたデータである。撮影画像は、例えば、RGB(Red,Green,and Blue)カラーモデルによって、被写体の色についてRGB各色の大きさで表現したデータである。
複数の撮影画像とは、撮影された順に、時系列に並べられた複数の画像である。複数の撮影画像は、例えば、動画像101から得られる複数の画像である。動画像101とは、時系列に沿った一連のフレーム画像である。動画像101は、既に撮影が終了していてもよいし、リアルタイムに取得中であってもよい。複数の撮影画像は、例えば、動画像101に含まれる一連のフレーム画像である。部位とは、対象者の身体の一部分や対象者の身体の一部分のうちの所定部位である。複数の部位は、例えば、顔面と左頬と右頬となどである。
情報処理装置100は、例えば、他のコンピュータから、対象者の顔面を撮影した動画像101に含まれる対象者の顔面と左頬と右頬とのそれぞれの部位の画像を解析して得られたそれぞれの部位の脈波波形とを取得する。それぞれの部位の脈波波形を取得する詳細については、例えば、図4〜図8を用いて後述する。
情報処理装置100は、取得したそれぞれの部位の脈波波形のうち、少なくともいずれかの脈波波形間の一致度合いを示す第1の指標値を算出する。情報処理装置100は、例えば、相関係数を用いて、取得したそれぞれの部位の脈波波形のうち、左頬と右頬との脈波波形間の一致度合いを示す第1の指標値を算出する。第1の指標値を算出する詳細については、例えば、図10および図11を用いて後述する。
(1−2)情報処理装置100は、取得したそれぞれの部位の脈波波形のうち、少なくともいずれかの部位の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値を算出する。情報処理装置100は、例えば、相関係数を用いて、取得した顔面の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値を算出する。情報処理装置100は、顔面の脈波波形を取得していなければ、取得した左頬の脈波波形または右頬の脈波波形から第2の指標値を算出してもよい。第2の指標値を算出する詳細については、例えば、図12を用いて後述する。
(1−3)情報処理装置100は、算出した第1の指標値と第2の指標値とに基づいて、いずれかの部位の脈波波形が不整脈を示すか否かを判定する。脈波波形が不整脈を示すとは、当該脈波波形の少なくとも一部分に、対象者が不整脈のときの波形が含まれることである。情報処理装置100は、例えば、後述する第1の判定パターンまたは第2の判定パターンの少なくともいずれかによって、対象者の顔面の脈波波形が不整脈を示すか否かを判定する。情報処理装置100は、第1の判定パターンと第2の判定パターンとのうち、いずれか一方を行うことができなくてもよい。
〈第1の判定パターンによって不整脈を示すか否かを判定する一例〉
情報処理装置100は、例えば、算出した第1の指標値に基づいて、取得したいずれかの部位の脈波波形にノイズが含まれるか否かを判定する。情報処理装置100は、具体的には、算出した第1の指標値が第1の閾値未満である場合に顔面の脈波波形にノイズが含まれると判定し、算出した第1の指標値が第1の閾値以上である場合に顔面の脈波波形にノイズが含まれないと判定する。脈波波形にノイズが含まれないとは、脈波波形に含まれるノイズの成分が、脈波波形の分析において無視可能な程度に小さいことである。
情報処理装置100は、例えば、ノイズが含まれないと判定した場合に、算出した第2の指標値に基づいて、取得したいずれかの部位の脈波波形が不整脈を示すか否かを判定する。情報処理装置100は、具体的には、第2の指標値が第2の閾値以下であれば、顔面の脈波波形が不整脈を示すと判定する。脈波波形が不整脈を示すとは、脈波波形が不整脈のときの波形を含むことである。第1の判定パターンによって不整脈を示すか否かを判定する詳細については、例えば、図13および図14を用いて後述する。
〈第2の判定パターンによって不整脈を示すか否かを判定する一例〉
情報処理装置100は、例えば、算出した第1の指標値と、算出した第2の指標値と、不整脈のときの第1の指標値と第2の指標値との対応関係を示す情報とに基づいて、取得したいずれかの部位の脈波波形が不整脈を示すか否かを判定する。
対応関係を示す情報とは、例えば、不整脈のときの第1の指標値と第2の指標値との相関の強さを示す値についての第3の閾値を特定する情報である。情報処理装置100は、具体的には、算出した第1の指標値と、算出した第2の指標値との相関の強さを示す第3の指標値を算出し、第3の指標値が第3の閾値以下であれば、いずれかの部位の脈波波形が不整脈を示すと判定する。
対応関係を示す情報とは、第1の指標値の軸と第2の指標値の軸とを有する2次元平面上において不整脈のときの第1の指標値と第2の指標値との組み合わせが存在する領域を特定する情報であってもよい。情報処理装置100は、算出した第1の指標値が、算出した第2の指標値に対応する第1の指標値以上であれば、いずれかの部位の脈波波形が不整脈を示すと判定する。第2の判定パターンによって不整脈を示すか否かを判定する詳細については、例えば、図15〜図17を用いて後述する。
情報処理装置100は、いずれかの部位の脈波波形が不整脈を示すか否かの判定結果を出力する。情報処理装置100は、例えば、いずれかの部位の脈波波形と、いずれかの部位の脈波波形が不整脈を示すか否かの判定結果とを対応付けて、情報処理装置100が有するディスプレイに表示し、情報処理装置100のユーザに通知する。これによれば、情報処理装置100は、対象者を撮影した動画像101に基づいて、対象者のいずれかの部位の脈波波形の脈波らしさを示す第1の指標値を算出することができる。また、情報処理装置100は、対象者を撮影した動画像101に基づいて、対象者のいずれかの部位の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値を算出することができる。
これにより、情報処理装置100は、第1の指標値と第2の指標値とに基づいて、対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。そして、情報処理装置100は、対象者のいずれかの部位の脈波波形の解析精度の向上を図ることができる。情報処理装置100は、例えば、対象者のいずれかの部位の脈波波形が乱れても、対象者の体動に起因するノイズによって乱れたのか、不整脈によって乱れたのかを判別することができる。また、情報処理装置100は、例えば、対象者のいずれかの部位の脈波波形にノイズが含まれていても、対象者のいずれかの部位の脈波波形が不整脈によって乱れたのか、正常脈の波形かを判別することができる。結果として、情報処理装置100は、不整脈によって乱れた脈波波形を解析して対象者の健康に関する判断を行うことができる。
このように、情報処理装置100は、対象者が静態を保たなくても、対象者について得られた脈波波形を解析する解析精度の向上を図ることができる。このため、情報処理装置100は、できるだけ簡便な方法により、日常的かつ継続的に、対象者が意識しなくても、対象者の脈波波形を効率よく計測することを可能にすることができる。結果として、対象者は、何かしらの機器の操作を行わなくてもよく、静態を保つように努めなくてもよく、脈波波形を計測される際にかかる負担が低減されることになる。
ここでは、情報処理装置100が、他のコンピュータから、対象者のそれぞれの部位の脈波波形を取得する場合について説明したが、これに限らない。例えば、情報処理装置100は、対象者を撮影し、対象者を撮影した動画像101を解析することにより、対象者のそれぞれの部位の脈波波形を生成してもよい。具体的には、情報処理装置100がサーバとして動作し、クライアント装置から対象者のそれぞれの部位の脈波波形を取得し、取得したそれぞれの部位の脈波波形に基づいて不整脈を示すか否かを判定してもよい。このとき、情報処理装置100は、不整脈を示すか否かの判定結果をクライアント装置に送信してもよい。
また、例えば、情報処理装置100は、他のコンピュータから対象者を撮影した動画像101を取得し、動画像101を解析することにより、対象者のそれぞれの部位の脈波波形を生成してもよい。具体的には、情報処理装置100がサーバとして動作し、クライアント装置から動画像101を取得し、取得した動画像101から対象者のそれぞれの部位の脈波波形を生成し、生成したそれぞれの部位の脈波波形に基づいて不整脈を示すか否かを判定してもよい。このとき、情報処理装置100は、不整脈を示すか否かの判定結果をクライアント装置に送信してもよい。
(情報処理装置100のハードウェア構成例)
次に、図2を用いて、図1に示した情報処理装置100のハードウェア構成例について説明する。情報処理装置100は、例えば、サーバ、PC(Personal Computer)、ノートPC、タブレット型PC、スマートフォンなどである。
図2は、情報処理装置100のハードウェア構成例を示すブロック図である。図2において、情報処理装置100は、CPU(Central Processing Unit)201と、メモリ202と、I/F(Interface)203と、ディスクドライブ204と、ディスク205と、カメラ206とを有する。また、各構成部は、バス200によってそれぞれ接続される。
ここで、CPU201は、情報処理装置100の全体の制御を司る。メモリ202は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)およびフラッシュROMなどを有する。具体的には、例えば、フラッシュROMやROMが各種プログラムを記憶し、RAMがCPU201のワークエリアとして使用される。メモリ202に記憶されるプログラムは、CPU201にロードされることで、コーディングされている処理をCPU201に実行させる。
I/F203は、通信回線を通じてネットワーク210に接続され、ネットワーク210を介して他のコンピュータに接続される。そして、I/F203は、ネットワーク210と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。I/F203には、例えば、モデムやLAN(Local Area Network)アダプタなどを採用することができる。
ディスクドライブ204は、CPU201の制御に従ってディスク205に対するデータのリード/ライトを制御する。ディスクドライブ204は、例えば、磁気ディスクドライブである。ディスク205は、ディスクドライブ204の制御で書き込まれたデータを記憶する不揮発メモリである。
カメラ206は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの光電変換素子を有する装置である。カメラ206は、撮影範囲内の被写体からの光信号を光電変換素子によって電気信号に変換し、変換した電気信号から画像データを生成し、生成した画像データをメモリ202やディスク205に記憶する。カメラ206は、具体的には、スマートフォンのフロントカメラやPC組み込みのカメラなどである。
情報処理装置100は、上述した構成部のほか、例えば、SSD(Solid State Drive)、半導体メモリ、キーボード、マウス、ディスプレイなどを有することにしてもよい。また、情報処理装置100は、ディスクドライブ204およびディスク205の代わりに、SSDおよび半導体メモリなどを有していてもよい。また、情報処理装置100は、カメラ206を有さず、カメラを有する他のコンピュータと通信可能であってもよい。また、情報処理装置100は、カメラ206を有さず、ネットワーク上に存在する定点カメラなどと通信可能であってもよい。
(情報処理装置100の機能的構成例)
次に、図3を用いて、情報処理装置100の機能的構成例について説明する。図3は、情報処理装置100の機能的構成例を示すブロック図である。情報処理装置100は、取得部301と、算出部302と、判定部303と、分析部304と、出力部305とを含む。
取得部301〜出力部305は、制御部となる機能であり、例えば、図2に示したメモリ202やディスク205などの記憶領域に記憶されたプログラムをCPU201に実行させることにより、または、I/F203により、その機能を実現する。各機能部の処理結果は、例えば、メモリ202やディスク205などの記憶領域に記憶される。
取得部301は、対象者を撮影した複数の撮影画像のそれぞれの撮影画像に含まれる対象者の複数の部位のそれぞれの部位の画像を解析して得られたそれぞれの部位の脈波波形を取得する。複数の部位は、例えば、連動する2つ以上の部位を含む。連動する2つ以上の部位とは、対象者の動きに応じて一緒に同様に動く部位である。連動する2つ以上の部位は、例えば、対象者の顔面の動きに応じて一緒に同様に動く対象者の左頬と鼻である。
また、複数の部位は、同一平面上にない2つ以上の部位を含んでもよい。同一平面上にない2つ以上の部位とは、例えば、曲面上にある2つ以上の部位である。同一平面上にない2つ以上の部位は、例えば、対象者の左頬と額である。また、複数の部位は、対象者の身体において対称的に存在する部位を含んでもよい。対称的に存在する部位は、例えば、対象者の顔に対称的に存在する左頬と右頬である。
複数の部位のうちの2つ以上の部位は包含関係であってもよい。複数の部位は、例えば、対象者の顔面と、対象者の顔面に包含される対象者の左頬とを含んでもよい。複数の部位は、具体的には、対象者の顔面と、対象者の顔面のうちの左頬と、対象者の顔面のうちの右頬とを含んでもよい。解析とは、例えば、対象者のそれぞれの部位の一連の画像をスペクトル分析することにより、当該部位における肌の色彩の変動に基づいて、当該部位の血管を流れる血液の体積の変動を検出することである。
取得部301は、例えば、対象者の顔面、左頬、および、右頬の脈波波形を、他のコンピュータから受信する。これにより、取得部301は、不整脈を示すか否かの判定対象になる対象者のいずれかの部位の脈波波形を取得することができる。また、取得部301は、不整脈を示すか否かの判定に用いる第1の指標値と第2の指標値との算出元になる対象者のそれぞれの部位の脈波波形を取得することができる。ここで、例えば、不整脈を示すか否かの判定対象になる脈波波形と、第1の指標値と第2の指標値との算出元になる脈波波形とは、少なくとも同じ複数の撮影画像から生成された脈波波形であればよく、異なる脈波波形であってもよいし、重複してもよい。
取得部301は、所定期間内のそれぞれの期間に対象者を撮影したそれぞれの撮影画像に含まれるそれぞれの部位の画像を解析して得られた、それぞれの期間でのそれぞれの部位の脈波波形を取得してもよい。それぞれの期間は、他の期間と重複する部分を有してもよい。それぞれの期間は、他の期間と接さず、他の期間から離れていてもよい。それぞれの期間は、他の期間と連続していてもよい。
取得部301は、例えば、所定期間内のそれぞれの期間に対象者を撮影したそれぞれの撮影画像に含まれる対象者の顔面、左頬、および、右頬の画像を解析して得られた、それぞれの期間での対象者の顔面、左頬、および、右頬の脈波波形を取得する。これにより、取得部301は、不整脈を示すか否かの判定対象になる対象者のいずれかの部位の脈波波形を取得することができる。また、取得部301は、不整脈を示すか否かの判定に用いる第1の指標値と第2の指標値との算出元になる対象者のそれぞれの部位の脈波波形を取得することができる。
取得部301は、対象者を撮影した複数の撮影画像のそれぞれの撮影画像を取得し、それぞれの撮影画像に含まれる対象者のそれぞれの部位の画像を解析し、それぞれの部位の脈波波形を生成してもよい。複数の撮影画像は、例えば、動画像101に含まれる一連のフレーム画像から抽出された所定の条件を満たすフレーム画像であってもよい。複数の撮影画像は、具体的には、1/60秒間隔で撮影された一連のフレーム画像のうちの1/6秒間隔で撮影された複数のフレーム画像であってもよい。
複数の撮影画像は、例えば、動画像101に含まれる一連のフレーム画像を加工した加工後の一連のフレーム画像であってもよい。複数の撮影画像は、具体的には、動画像101に含まれる一連のフレーム画像から所定の波長成分を取り出して得られる、所定の波長成分で表現された一連の画像であってもよい。複数の撮影画像は、静止画像を撮影可能なデジタルカメラなどの撮影装置によって連続撮影された複数の画像であってもよい。
いずれかの部位の画像は、それぞれの撮影画像において一定の大きさでなくてもよい。それぞれの撮影画像は、例えば、動画像101から抽出された、対象者のいずれかの部位の画像が所定の大きさ以上になる撮影画像であってもよい。動画像101は、例えば、他のコンピュータによって、映像を撮影可能なビデオカメラなどの撮影装置を用いて撮影された一連のフレーム画像である。
取得部301は、例えば、対象者を撮影した動画像101を取得し、取得した動画像101のそれぞれの撮影画像に含まれる対象者の顔面、左頬、および、右頬の画像を抽出する。そして、取得部301は、抽出した画像を解析することにより対象者の顔面、左頬、および、右頬の脈波波形を生成する。これにより、取得部301は、不整脈を示すか否かの判定対象になる対象者のいずれかの部位の脈波波形を取得することができる。また、取得部301は、不整脈を示すか否かの判定に用いる第1の指標値と第2の指標値との算出元になる対象者のそれぞれの部位の脈波波形を取得することができる。
取得部301は、所定期間内のそれぞれの期間に対象者を撮影したそれぞれの撮影画像を取得してもよい。そして、取得部301は、取得したそれぞれの期間でのそれぞれの撮影画像に含まれる対象者のそれぞれの部位の画像を解析し、それぞれの期間でのそれぞれの部位の脈波波形を生成してもよい。
取得部301は、例えば、所定期間内のそれぞれの期間に対象者を撮影したそれぞれの撮影画像を取得し、取得したそれぞれの期間でのそれぞれの撮影画像に含まれる対象者の顔面、左頬、および、右頬の画像を抽出する。そして、取得部301は、それぞれの期間でのそれぞれの撮影画像から抽出した対象者の顔面、左頬、および、右頬の画像を解析することにより、それぞれの期間での対象者の顔面、左頬、および、右頬の脈波波形を生成する。これにより、取得部301は、不整脈を示すか否かの判定対象になる対象者のいずれかの部位の脈波波形を取得することができる。また、取得部301は、不整脈を示すか否かの判定に用いる第1の指標値と第2の指標値との算出元になる対象者のそれぞれの部位の脈波波形を取得することができる。
取得部301は、対象者を撮影し、対象者を撮影したそれぞれの撮影画像を取得し、それぞれの撮影画像に含まれる対象者のそれぞれの部位の画像を解析し、それぞれの部位の脈波波形を生成してもよい。
取得部301は、例えば、カメラ206を用いて対象者を撮影し、対象者を撮影した動画像101を取得し、取得した動画像101のそれぞれの撮影画像に含まれる対象者の顔面、左頬、および、右頬の画像を抽出する。そして、取得部301は、抽出した画像を解析することにより対象者の顔面、左頬、および、右頬の脈波波形を生成する。これにより、取得部301は、不整脈を示すか否かの判定対象になる対象者のいずれかの部位の脈波波形を取得することができる。また、取得部301は、不整脈を示すか否かの判定に用いる第1の指標値と第2の指標値との算出元になる対象者のそれぞれの部位の脈波波形を取得することができる。
取得部301は、所定期間内のそれぞれの期間に対象者を撮影し、対象者を撮影したそれぞれの撮影画像を取得してもよい。そして、取得部301は、取得したそれぞれの期間でのそれぞれの撮影画像に含まれる対象者のそれぞれの部位の画像を解析し、それぞれの部位の脈波波形を生成してもよい。
取得部301は、例えば、所定期間内のそれぞれの期間に対象者を撮影し、対象者を撮影したそれぞれの期間でのそれぞれの撮影画像を取得し、取得したそれぞれの期間でのそれぞれの撮影画像に含まれる対象者の顔面、左頬、および、右頬の画像を抽出する。そして、取得部301は、それぞれの期間でのそれぞれの撮影画像から抽出した対象者の顔面、左頬、および、右頬の画像を解析することにより、それぞれの期間での対象者の顔面、左頬、および、右頬の脈波波形を生成する。
これにより、取得部301は、不整脈を示すか否かの判定対象になる対象者のいずれかの部位の脈波波形を取得することができる。また、取得部301は、不整脈を示すか否かの判定に用いる第1の指標値と第2の指標値との算出元になる対象者のそれぞれの部位の脈波波形を取得することができる。
算出部302は、対象者のいずれかの部位の脈波波形の脈波らしさを示す第1の指標値を算出する。第1の指標値は、例えば、対象者のそれぞれの部位の脈波波形のうち、少なくともいずれかの脈波波形間の一致度合いを示す値である。第1の指標値は、対象者のそれぞれの部位の脈波波形のうちの脈波波形間の一致度合いを示す値の平均値、中央値、最大値、最小値などの統計値であってもよい。
算出部302は、例えば、第1の指標値として、取得部301が取得したそれぞれの部位の脈波波形のうちの脈波波形間の一致度合いを示す値を算出する。算出部302は、具体的には、相関係数を用いて、第1の指標値として、取得部301が取得した対象者の顔面、左頬、および、右頬の脈波波形のうち、左頬と右頬との脈波波形間の一致度合いを示す値を算出する。これにより、算出部302は、不整脈を示すか否かの判定に用いる第1の指標値を算出することができる。
算出部302は、例えば、それぞれの期間について、第1の指標値として、取得部301が取得したそれぞれの期間でのそれぞれの部位の脈波波形のうちの脈波波形間の一致度合いを示す値を算出してもよい。算出部302は、具体的には、相関係数を用いて、それぞれの期間について、第1の指標値として、取得部301が取得したそれぞれの期間での対象者の顔面、左頬、および、右頬の脈波波形のうち、左頬と右頬との脈波波形間の一致度合いを示す値を算出する。これにより、算出部302は、不整脈を示すか否かの判定に用いる第1の指標値を算出することができる。
算出部302は、対象者のいずれかの部位の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値を算出する。第2の指標値は、例えば、対象者のいずれかの部位の脈波波形のうちの所定周期分の長さの部分波形間の一致度合いを示す値である。第2の指標値は、対象者のそれぞれの部位の脈波波形のうちの所定周期分の長さの部分波形間の一致度合いを示す値の平均値、中央値、最大値、最小値などの統計値であってもよい。
第2の指標値は、対象者のいずれかの部位の脈波波形のうちの脈波間隔のばらつきの大きさを示す値であってもよい。第2の指標値は、対象者のそれぞれの部位の脈波波形のうちの脈波間隔のばらつきの大きさを示す値の平均値、中央値、最大値、最小値などの統計値であってもよい。第2の指標値は、対象者のいずれかの部位の脈波波形のうちの振幅のばらつきの大きさを示す値であってもよい。第2の指標値は、対象者のそれぞれの部位の脈波波形のうちの振幅のばらつきの大きさを示す値の平均値、中央値、最大値、最小値などの統計値であってもよい。
算出部302は、例えば、第2の指標値として、取得部301が取得したそれぞれの部位の脈波波形のうち、少なくともいずれかの部位の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値を算出する。算出部302は、具体的には、相関係数を用いて、第2の指標値として、取得部301が取得した対象者の顔面の脈波波形のうちの部分波形間の一致度合いを示す値を算出する。これにより、算出部302は、不整脈を示すか否かの判定に用いる第2の指標値を算出することができる。
算出部302は、例えば、それぞれの期間について、第2の指標値として、取得部301が取得したそれぞれの期間でのいずれかの部位の脈波波形のうちの部分波形間の一致度合いを示す値を算出してもよい。算出部302は、具体的には、相関係数を用いて、それぞれの期間について、第2の指標値として、取得部301が取得したそれぞれの期間での対象者の顔面の脈波波形のうちの部分波形間の一致度合いを示す値を算出する。これにより、算出部302は、不整脈を示すか否かの判定に用いる第2の指標値を算出することができる。
算出部302は、それぞれの期間について算出部302が算出した第1の指標値と第2の指標値とに基づいて第3の指標値を算出する。第3の指標値とは、第1の指標値と第2の指標値との相関の強さを示す値である。第3の指標値は、例えば、それぞれの期間について算出部302が算出した第1の指標値と第2の指標値とから求められる相関係数の値である。算出部302は、例えば、第3の指標値として、それぞれの期間について算出部302が算出した第1の指標値と第2の指標値とを相関係数の算出式に代入することにより、算出部302が算出した第1の指標値と第2の指標値とに対応する相関係数の値を算出する。これにより、算出部302は、不整脈を示すか否かの判定に用いる第3の指標値を算出することができる。
算出部302は、それぞれの期間について算出した第2の指標値に基づいて第4の指標値を算出する。第4の指標値とは、対象者のいずれかの部位の脈波波形の乱れの大きさのばらつきの大きさを示す値である。第4の指標値は、第2の指標値のばらつきの大きさを示す値である。第4の指標値は、例えば、第2の指標値の最大値と最小値との差分である。第4の指標値は、第2の指標値の標準偏差であってもよい。第4の指標値は、第2の指標値の中央値であってもよい。これにより、算出部302は、不整脈を示すか否かの判定に用いる第4の指標値を算出することができる。
算出部302は、第4の指標値を算出する場合に、算出した第4の指標値が第4の閾値以下であれば、第3の指標値を算出しなくてもよい。そして、算出部302は、算出した第4の指標値が第4の閾値より大きければ、第3の指標値を算出する。これにより、算出部302は、処理量を低減することができる。
判定部303は、第1の判定パターンまたは第2の判定パターンによって、対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定する。また、判定部303は、第4の指標値に基づいて、第1の判定パターンと第2の判定パターンとを使い分けてもよい。以下の説明では、第1の判定パターンと第2の判定パターンを使い分ける場合を「第3の判定パターン」と表記する場合がある。
〈第1の判定パターン〉
判定部303は、それぞれの期間について算出部302が算出した第1の指標値に基づいて、取得部301が取得したそれぞれの期間でのいずれかの部位の脈波波形にノイズが含まれるか否かを判定する。判定部303は、例えば、それぞれの期間について算出部302が算出した第1の指標値が第1の閾値以下である場合に、取得部301が取得したそれぞれの期間での対象者の顔面の脈波波形にノイズが含まれると判定する。
判定部303は、それぞれの期間について算出部302が算出した第1の指標値および第2の指標値に基づいて、取得部301が取得したそれぞれの期間でのいずれかの部位の脈波波形にノイズが含まれるか否かを判定してもよい。判定部303は、例えば、それぞれの期間について、算出部302が算出した第1の指標値が第1の閾値以下である場合に、取得部301が取得したそれぞれの期間での対象者の顔面の脈波波形にノイズが含まれると判定する。または、判定部303は、それぞれの期間について、算出部302が算出した第2の指標値が第5の閾値以下である場合に、取得部301が取得したそれぞれの期間での対象者の顔面の脈波波形にノイズが含まれると判定する。第5の閾値は、例えば、第2の閾値よりも大きい値である。
判定部303は、所定期間内でノイズが含まれないと判定した期間それぞれについて算出部302が算出した第2の指標値に基づいて、ノイズが含まれないと判定した期間それぞれでの対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定する。
判定部303は、例えば、所定期間内でノイズが含まれないと判定した期間それぞれについて算出部302が算出した第2の指標値が第2の閾値より小さいか否かを判定する。判定部303は、算出部302が算出した第2の指標値が第2の閾値より小さいと判定した期間があれば、第2の閾値より小さいと判定した期間での対象者の顔面の脈波波形が不整脈を示すと判定する。
判定部303は、ノイズが含まれるか否かの判定では第2の指標値として部分波形間の一致度合いを示す値を採用し、不整脈を示すか否かの判定では第2の指標値として脈波間隔のばらつきの大きさを示す値を採用してもよい。また、判定部303は、ノイズが含まれるか否かの判定では第2の指標値として脈波間隔のばらつきの大きさを示す値を採用し、不整脈を示すか否かの判定では第2の指標値として部分波形間の一致度合いを示す値を採用してもよい。これにより、判定部303は、それぞれの期間での対象者のいずれかの部位の脈波波形のうち、不整脈を示す対象者のいずれかの部位の脈波波形を検出することができる。
判定部303は、所定期間内でノイズが含まれないと判定した期間それぞれについて算出部302が算出した第2の指標値に基づいて、所定期間での対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定してもよい。
判定部303は、例えば、所定期間内でノイズが含まれないと判定した期間それぞれについて算出部302が算出した第2の指標値が第2の閾値より小さいか否かを判定する。判定部303は、所定期間内でノイズが含まれないと判定した期間のうちで第2の指標値が第2の閾値より小さいと判定した期間の割合に基づいて、所定期間内でのいずれかの部位の脈波波形が不整脈を示すか否かを判定する。これにより、判定部303は、所定期間での対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。
判定部303は、所定期間内でノイズが含まれないと判定した期間それぞれでの対象者のいずれかの部位の脈波波形が不整脈を示すか否かの判定結果に基づいて、不整脈のときの第1の指標値と第2の指標値との対応関係を示す情報を生成してもよい。これにより、判定部303は、第2の判定パターンに用いる対応関係を示す情報を生成することができる。
〈第2の判定パターン〉
判定部303は、算出部302が算出した第1の指標値と第2の指標値との組み合わせと、第1の指標値と第2の指標値との対応関係を示す情報とに基づいて、取得したいずれかの部位の脈波波形が不整脈を示すか否かを判定する。対応関係を示す情報は、例えば、不整脈のときの第1の指標値と第2の指標値との相関の強さを示す値についての情報である。対応関係を示す情報とは、第1の指標値の軸と第2の指標値の軸とを有する2次元平面上において不整脈のときの第1の指標値と第2の指標値との組み合わせが存在する領域の情報であってもよく、あるいは、前記領域を特定する情報であってもよい。対応関係を示す情報は、不整脈でないときの第1の指標値と第2の指標値の組み合わせに関する情報であっても良い。あるいは、不整脈のときと不整脈でないときの両方の第1の指標値と第2の指標値の組み合わせに関する情報であってもよい。
判定部303は、例えば、対応関係を示す情報を参照して、それぞれの期間について算出部302が算出した第2の指標値に対応する第1の指標値を特定する。判定部303は、それぞれの期間について算出部302が算出した第1の指標値が、特定した第1の指標値以上であると判定した場合に、取得したいずれかの部位の脈波波形が不整脈を示すと判定する。これにより、判定部303は、それぞれの期間での対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。
判定部303は、例えば、対応関係を示す情報を第3の指標値として、算出部302が算出した第3の指標値が第3の閾値以下であると判定した場合に、所定期間内でのいずれかの部位の脈波波形が不整脈を示すと判定する。これにより、判定部303は、所定期間での対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。
〈第3の判定パターン〉
判定部303は、算出部302が算出した第4の指標値が第4の閾値以下である場合に、第1の判定パターンによって、それぞれの期間でのいずれかの部位の脈波波形が不整脈を示すか否かを判定する。または、判定部303は、算出部302が算出した第4の指標値が第4の閾値以下である場合に、第1の判定パターンによって、所定期間内でのいずれかの部位の脈波波形が不整脈を示すか否かを判定する。これにより、判定部303は、それぞれの期間での対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。または、判定部303は、所定期間での対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。
判定部303は、算出部302が算出した第4の指標値が第4の閾値より大きい場合に、第2の判定パターンによって、それぞれの期間でのいずれかの部位の脈波波形が不整脈を示すか否かを判定する。または、判定部303は、算出部302が算出した第4の指標値が第4の閾値より大きい場合に、第2の判定パターンによって、所定期間内でのいずれかの部位の脈波波形が不整脈を示すか否かを判定する。これにより、判定部303は、それぞれの期間での対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。または、判定部303は、所定期間での対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。
分析部304は、対象者のいずれかの部位の脈波波形が不整脈を示すか否かの判定結果に基づいて、対象者のいずれかの部位の脈波波形を分析する。分析部304は、例えば、不整脈を示すと判定された対象者の脈波波形の分析に関する指標値を算出する。分析部304は、具体的には、不整脈を示すと判定された対象者のいずれかの部位の脈波波形を用いて、対象者にかかるストレスの指標値を算出したり、脳梗塞などの病気の兆候があるか否かを判断したりする。これにより、分析部304は、対象者の脈波波形を分析して、対象者の健康に関する判断を行うことができる。
出力部305は、いずれかの部位の脈波波形が不整脈を示すか否かの判定結果、または、分析部304による分析結果の少なくともいずれかを出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、I/F203による外部装置への送信、メモリ202やディスク205などの記憶領域への記憶などがある。
出力部305は、例えば、取得部301が取得した対象者の顔面の脈波波形と、対象者の顔面の脈波波形が不整脈を示すか否かの判定結果とを対応付けて出力する。これにより、出力部305は、対象者の顔面の脈波波形が不整脈を示すか否かの判定結果をユーザに通知することができる。ユーザは、対象者の顔面の脈波波形が不整脈を示すか否かの判定結果を参照して、対象者の健康に関する判断が可能になる。
(対象者の脈波波形が不整脈を示すか否かを判定する実施例)
次に、図4〜図17を用いて、情報処理装置100が、対象者の脈波波形が不整脈を示すか否かを判定する実施例について説明する。
まず、情報処理装置100は、所定期間内に対象者を撮影した動画像101を取得する。動画像101は、例えば、RGBの輝度によって表現される一連の撮影画像である。また、動画像101は、RGBとは異なる波長帯に属する色の輝度によって表現されてもよい。また、動画像101は、近赤外や赤の輝度によって表現されてもよい。
また、動画像101は、例えば、輝度と相関関係がある一連のデータであってもよい。動画像101は、例えば、レーザースペックル血流計によって取得される一連のデータのように、光の当たり方によって信号強度が変わるものであれば、信号強度が赤血球の量や速度に依存していてもよい。情報処理装置100は、所定期間内に対象者を撮影した複数の動画像101を取得してもよい。
次に、情報処理装置100は、取得した動画像101から、対象者についての所定の画像を抽出する。所定の画像は、例えば、対象者の複数の部位が含まれる対象者の身体の一部分が写った画像である。対象者の身体の一部分は、例えば、顔、腕、首、足首、手、指などである。複数の部位は、例えば、対象者の身体の一部分が顔であれば、顔面、顔面左側、顔面右側、額、左頬、右頬などである。
情報処理装置100は、例えば、図4〜図6に後述する対象者のそれぞれの部位の画像を抽出する第1例〜第3例のいずれかのように、取得した動画像101から、対象者のそれぞれの部位の脈波波形の生成元となる対象者のそれぞれの部位の画像を抽出する。ここで、図4の説明に移行する。
〈対象者のそれぞれの部位の画像を抽出する第1例〉
図4は、対象者のそれぞれの部位の画像を抽出する第1例を示す説明図である。ここで、情報処理装置100は、脈波波形の生成元の画像のうちで対象者の身体が写った領域が大きいほうが、脈波波形を精度よく計測しやすくなる。一方で、情報処理装置100は、脈波波形の生成元の画像のうちで対象者の身体以外の部分が写った領域が含まれると、脈波波形を精度よく計測することが難しくなる。例えば、対象者が写っていない背景などの領域は、対象者の部位以外の輝度を示すため、対象者の部位の脈波波形に対してノイズを生じさせうる。
このため、情報処理装置100は、対象者のそれぞれの部位が写った領域が大きくなり、かつ、対象者のそれぞれの部位以外が写った領域が小さくなるように、対象者のそれぞれの部位の画像を抽出することが好ましい。また、情報処理装置100は、動画像101のうち、必ずしもすべての撮影画像から対象者のそれぞれの部位の画像を抽出しなくてもよい。情報処理装置100は、例えば、動画像101のいずれかの撮影画像において対象者のそれぞれの部位が写った領域が一定以下であれば、当該撮影画像から対象者のそれぞれの部位の画像を抽出しなくてもよい。
図4において、情報処理装置100は、動画像101のそれぞれの撮影画像400について、顔検出エンジンを用いて対象者の顔面が写った領域を検出し、対象者の部位の画像の一つとして対象者の顔面の画像410を抽出する。顔検出エンジンとは、所定の画像の中から人の顔、および、人の顔のうちの額や鼻や口や目や頬などの部位が写った領域を検出するソフトウェアである。情報処理装置100は、さらに、動画像101のそれぞれの撮影画像400から抽出した対象者の顔面の画像410を左右で分割し、対象者の部位の画像の一つとして顔面左側の画像411と、顔面右側の画像412とを抽出する。
ここで、対象者の部位が写った領域が相対的に大きい画像から生成された脈波波形のほうが、S(Signal)/N(Noise)比が高くなる傾向がある。S/N比は、値が比較的高いときにノイズが比較的少ないことを示す。このため、情報処理装置100は、不整脈を示すか否かを判定する対象になる脈波波形の生成元の画像として、相対的に対象者の部位が写った領域が大きい対象者の顔面の画像を用いるように設定する。そして、情報処理装置100は、第1の指標値を算出する際に用いられる脈波波形の生成元の画像としては、残った顔面左側の画像411と、顔面右側の画像412とを用いるように設定する。
このとき、情報処理装置100は、動画像101に含まれる撮影画像400のうち、必ずしもすべての撮影画像400から、対象者の顔面の画像410と、顔面左側の画像411と、顔面右側の画像412とを抽出しなくてもよい。情報処理装置100は、例えば、顔面左側の画像411、または、顔面右側の画像412が所定の大きさ以下である撮影画像400からは、顔面左側の画像411と、顔面右側の画像412とを抽出しなくてもよい。
これにより、情報処理装置100は、脈波波形を計測する精度を悪化させる可能性がある撮影画像400からは、対象者のそれぞれの部位の画像を抽出せず、対象者のそれぞれの部位の脈波波形を精度よく計測しやすくすることができる。また、情報処理装置100は、対象者のそれぞれの部位の画像を抽出する際にかかる処理量を低減し、処理時間の増大を抑制することができる。ここで、図5の説明に移行する。
〈対象者のそれぞれの部位の画像を抽出する第2例〉
図5は、対象者のそれぞれの部位の画像を抽出する第2例を示す説明図である。ここで、情報処理装置100は、第1の指標値を算出する際に用いられる脈波波形の生成元の画像として対象者の3つ以上の部位のそれぞれの部位の画像を用いて、対象者の種々の体動を考慮して第1の指標値を算出してもよい。種々の体動は、例えば、対象者の顔の上下の動きと、対象者の顔の左右の動きとである。
情報処理装置100は、例えば、第1の指標値を算出する際に用いられる脈波波形の生成元の画像として、対象者の顔面の左右方向に存在する部位の画像が含まれるようにし、かつ、対象者の顔面の上下方向に存在する部位の画像が含まれるようにする。対象者の顔面の左右方向に存在する部位の画像と、対象者の顔面の上下方向に存在する部位の画像とは、重複する画像を含んでもよい。これにより、情報処理装置100は、対象者の顔面の左右への動きに起因するノイズと、対象者の顔面の上下の動きに起因するノイズとをより考慮して第1の指標値を算出可能になる。
図5において、情報処理装置100は、動画像101のそれぞれの撮影画像400について、顔検出エンジンを用いて対象者の顔面が写った領域を検出し、対象者の顔面の画像410を抽出する。情報処理装置100は、さらに、顔検出エンジンを用いて、対象者の額が写った領域、左頬が写った領域、右頬が写った領域を検出し、対象者の額の画像501と、左頬の画像502と、右頬の画像503とを抽出する。これにより、情報処理装置100は、顔の上下の動きなどの顔の左右の動き以外もより考慮して、第1の指標値を算出可能にすることができる。ここで、図6の説明に移行する。
〈対象者のそれぞれの部位の画像を抽出する第3例〉
図6は、対象者のそれぞれの部位の画像を抽出する第3例を示す説明図である。ここで、対象者の身体には、対象者が静止させた状態を保つことが難しく、脈波波形にノイズを生じさせやすい部位が存在する。例えば、対象者の目は、瞬きにより、長時間静止させた状態を保つことが難しく、脈波波形にノイズを生じさせてしまう傾向がある。
このため、情報処理装置100は、対象者のそれぞれの部位の脈波波形の生成元の画像として、対象者が静止させた状態を保つことが難しく、脈波波形にノイズを生じさせやすい部位が写った領域を除外した画像を抽出してもよい。これにより、情報処理装置100は、第1の指標値を精度よく算出しやすくすることができる。
図6において、情報処理装置100は、動画像101のそれぞれの撮影画像400について、顔検出エンジンを用いて対象者の顔面が写った領域を検出し、対象者の顔面の画像410を抽出する。情報処理装置100は、さらに、顔検出エンジンを用いて、対象者の目が写った領域を検出し、対象者の顔面が写った領域から対象者の目が写った領域を除外する。
また、情報処理装置100は、さらに、対象者の顔面の画像410のうち、対象者の目が写った領域よりも上にある顔上部の画像601を抽出する。また、情報処理装置100は、さらに、対象者の顔面の画像410のうち、対象者の目が写った領域よりも下にある顔下部の画像602を抽出する。また、情報処理装置100は、さらに、対象者の顔下部の画像602のうち、左頬の画像502と、右頬の画像503とを抽出する。
これにより、情報処理装置100は、目などのノイズを発生させやすい部位が写った領域を除外した画像を抽出し、ノイズの低減化を図ることができる。以下では、図4に示した第1例のように、情報処理装置100が、対象者の顔面の画像410と、対象者の顔面左側の画像411と、対象者の顔面右側の画像412とを抽出した場合を例に挙げて、実施例についての説明を続ける。
情報処理装置100は、抽出した対象者の顔面の画像410、顔面左側の画像411、および、顔面右側の画像412に基づいて、対象者の顔面の脈波波形、顔面左側の脈波波形、および、顔面右側の脈波波形を生成する。情報処理装置100は、例えば、図7および図8に後述する一例のように、対象者の顔面の脈波波形、顔面左側の脈波波形、および、顔面右側の脈波波形を生成する。ここで、図7の説明に移行する。
〈対象者のそれぞれの部位の脈波波形を生成する一例〉
図7および図8は、対象者のそれぞれの部位の脈波波形を生成する一例を示す説明図である。脈波波形を生成する技術としては、例えば、国際公開第2014/038077号に記載の技術を参照することができる。
ここで、心臓の収縮や拡張に応じて、人の身体の血管を流れる血流量は変動する。そして、対象者の血管での吸収光量は、血管を流れる血流量に依存する傾向がある。このため、心臓の収縮や拡張に応じて、撮影画像のうちの対象者の部位の画像の輝度も変動し、対象者の部位における脈拍に対応する輝度になる。換言すれば、撮影画像のうちの対象者の部位の画像における所定の波長成分の代表値の時系列データは、対象者の部位についての脈拍成分を含む時系列データになる。
一方で、対象者の体動などによる対象者の部位に当たる光量の変動に応じて、撮影画像のうちの対象者の部位の画像の輝度は変動してしまうことがある。このため、撮影画像のうちの対象者の部位の画像の所定の波長成分の代表値の時系列データは、対象者の部位についての脈拍成分とは異なるノイズ成分も含むことがある。
そこで、情報処理装置100は、複数の波長成分の代表値の時系列データを取得し、後述するフィルタなどを用いた所定の演算を行い、撮影画像の所定の波長成分の代表値の時系列データからノイズ成分の低減化を図って、対象者の部位の脈波波形を生成する。
図7において、情報処理装置100は、それぞれの撮影画像fn−2,fn−1,fnなどから抽出した対象者のいずれかの部位の画像に基づいて、当該画像に含まれる所定の波長成分の代表値の時系列データを取得する。情報処理装置100は、例えば、対象者のいずれかの部位の画像に含まれる、R成分、G成分、および、B成分の代表値の時系列データを取得する。R成分、G成分、および、B成分の代表値は、それぞれ、例えば、R成分、G成分、および、B成分の平均値である。
情報処理装置100は、取得した代表値の時系列データが、等時間間隔の時系列データではない場合には、線形近似やスプライン近似を用いたリサンプリング技術によって、代表値の時系列データを等時間間隔の時系列データに変換する。等時間間隔の時系列データは、例えば、それぞれの時刻tn−2,tn−1,tnなどにおける所定の波長成分の代表値の時系列データである。
情報処理装置100は、血液中のヘモグロビンが緑色の光を吸収する特性があるため、脈拍成分を表す度合いが相対的に大きいG成分の代表値の時系列データを、dbGreenとして設定する。また、情報処理装置100は、G成分の代表値以外のR成分の代表値とB成分の代表値との平均値の時系列データを生成し、dbRedとして設定する。ここで、図8の説明に移行する。
図8において、情報処理装置100は、BPF(Band Pass Filter)によって、dbGreenおよびdbRedから、心拍成分を含まない特定周波数帯の信号成分を抽出する。特定周波数帯は、例えば、12bpm以上18bpm未満の周波数である。そして、情報処理装置100は、抽出した特定周波数帯の信号成分に基づいて、脈波波形を生成する際に補正係数kとして用いられるノイズ成分の比率を算出する。
また、情報処理装置100は、BPFによって、dbGreenおよびdbRedから、心拍成分を含む脈波周波数帯の信号成分を抽出する。脈波周波数帯は、例えば、42bpm以上150bpm未満の周波数帯である。そして、情報処理装置100は、抽出した脈波周波数帯の信号成分と、補正係数kとに基づいて、対象者のいずれかの部位の脈波波形を生成する。
情報処理装置100は、具体的には、BPF801によって、dbRedの特定周波数帯の信号成分を抽出する。また、情報処理装置100は、BPF801によって、dbGreenの特定周波数帯の信号成分を抽出する。次に、情報処理装置100は、演算部802によって、dbRedの特定周波数帯の信号成分の絶対値の時系列データを抽出する。また、情報処理装置100は、演算部802によって、dbGreenの特定周波数帯の信号成分の絶対値の時系列データを抽出する。
そして、情報処理装置100は、LPF(Low Pass Filter)803によって、dbRedの特定周波数帯の絶対値の時系列データに対して平滑化処理を実行し、急峻な周波数成分を除去する。また、情報処理装置100は、LPF803によって、dbGreenの特定周波数帯の絶対値の時系列データに対して平滑化処理を実行し、急峻な周波数成分を除去する。さらに、情報処理装置100は、演算部804によって、平滑化されたdbRedの特定周波数帯の絶対値を、平滑化されたdbGreenの特定周波数帯の絶対値で除算して、補正係数kを算出する。
情報処理装置100は、BPF805によって、dbRedの脈波周波数帯の信号成分を抽出する。また、情報処理装置100は、BPF805によって、dbGreenの脈波周波数帯の信号成分を抽出する。次に、情報処理装置100は、演算部806によって、抽出されたdbRedの脈波周波数帯の信号成分に、算出した補正係数kを乗算する。そして、情報処理装置100は、演算部807によって、抽出されたdbGreenの脈波周波数帯の信号成分から、補正係数kが乗算されたdbRedの脈波周波数帯の信号成分を減算する。
次に、情報処理装置100は、BPF808によって、減算後の信号の時系列データの脈波周波数帯の信号成分を抽出する。そして、情報処理装置100は、抽出された波形を対象者のいずれかの部位の脈波波形として設定する。また、情報処理装置100は、残りの部位それぞれの画像についても、図7および図8と同様の処理を行い、残りの部位それぞれの脈波波形を設定する。
ここでは、情報処理装置100が、複数の波長成分の代表値の時系列データを取得する場合について説明したが、これに限らない。例えば、情報処理装置100は、BPFによって、所定の波長成分の代表値の時系列データから脈波周波数帯の信号成分を抽出し、抽出された波形を対象者のいずれかの部位の脈波波形として設定してもよい。
ここでは、情報処理装置100が、血流量に応じた輝度に基づいて脈波波形を生成する場合について説明したが、これに限らない。例えば、情報処理装置100は、心臓の収縮や拡張による対象者の皮膚の振動を検出することにより、脈波波形を生成してもよい。また、例えば、情報処理装置100は、心臓の収縮や拡張による、対象者の血管や血液の動きを検出することにより、脈波波形を生成してもよい。
これにより、情報処理装置100は、不整脈を示すか否かの判定対象となる対象者のいずれかの部位の脈波波形を生成することができる。また、情報処理装置100は、第1の指標値の算出に用いられる、対象者のそれぞれの部位の脈波波形を生成することができる。ここで、図9の説明に移行する。
〈着目期間を設定する一例〉
図9は、着目期間を設定する一例を示す説明図である。図9において、情報処理装置100は、生成した対象者のいずれかの部位の脈波波形900のうち、正から負または負から正に波形が転換する転換点を特定する。次に、情報処理装置100は、例えば、転換点3つ分の長さを1周期として、所定数の周期分の長さの期間を着目期間として設定する。所定数の周期は、整数倍の周期でなくてもよい。所定数の周期は、例えば、3.5周期である。所定数の周期は、例えば、4周期などであってもよい。情報処理装置100は、所定数の周期分の長さの期間ごとに着目期間を設定することにより、複数の着目期間を設定してもよい。
そして、情報処理装置100は、生成した対象者のいずれかの部位の脈波波形900のうちの着目期間内の部分波形901を、ノイズが含まれるか否かを判定する判定対象の部分波形901に設定する。情報処理装置100は、所定期間内に撮影された動画像101について着目期間を複数設定してもよい。また、情報処理装置100は、所定期間内に撮影された動画像101が複数あれば、それぞれの動画像101について着目期間を1または複数設定してもよい。情報処理装置100は、それぞれの着目期間内の部分波形901を、不整脈を示すか否かの判定対象となる部分波形901に設定する。また、着目期間は、複数設定される場合には、互いに一部分が重複していてもよい。ここで、図10の説明に移行する。
〈第1の指標値を算出する一例〉
図10は、第1の指標値を算出する第1例を示す説明図である。ここで、情報処理装置100は、第1の指標値として、対象者のそれぞれの部位にある血管を流れる血液の体積の変動に対応するそれぞれの部位の脈波波形間の一致度合いを示す値を用いる。
対象者の体動がなければ、それぞれの部位の脈波波形は、心臓の拡張や収縮によって心臓から同じように流れていった血流に対応する波形になるため、一致度合いは大きくなる傾向がある。このため、一致度合いを示す第1の指標値は、値が小さいほど、対象者の体動が大きく、対象者の体動に起因するノイズによって脈波波形が乱れやすい状態であることを示し、脈波らしさが小さいことを示す。
図10において、情報処理装置100は、第1の指標値として、それぞれの部位の脈波波形のうちの着目期間内の部分波形間の一致度合いを示す値を算出する。情報処理装置100は、例えば、顔面右側の脈波波形1010のうちの着目期間内の部分波形1011を抽出する。そして、情報処理装置100は、抽出した部分波形1011のデータ列x(i)を取得する。x(i)は、着目期間内の部分波形1011の値x(1),・・・,x(X)を時刻順に並べたデータ列である。例えば、iの単位はミリ秒である。
また、情報処理装置100は、顔面左側の脈波波形のうちの着目期間をずらし幅zの分ずらした他の期間内の部分波形1021を抽出する。そして、情報処理装置100は、抽出した部分波形1021のデータ列y(z,i)を取得する。y(z,i)は、着目期間をずらし幅zの分ずらした他の期間内の部分波形1021の値y(z,1),・・・,x(z,X)を時刻順に並べたデータ列である。z=0では、y(z,i)は、着目期間内の部分波形の値y(z,1),・・・,y(z,X)になる。例えば、zの単位はミリ秒である。
そして、情報処理装置100は、z=0に設定して、下記式(1)にデータ列x(i)とデータ列y(z,i)とを代入する。これにより、情報処理装置100は、顔面右側の着目期間内の部分波形1011と顔面左側の着目期間内の部分波形1021との一致度合いを示す第1の指標値として、相関係数s(z)を算出する。
ここでは、情報処理装置100が上記式(1)を用いて顔面右側の着目期間内の部分波形1011と顔面左側の着目期間内の部分波形1021との一致度合いを示す第1の指標値を算出する場合について説明したが、これに限らない。例えば、情報処理装置100は、下記式(2)にデータ列x(i)とデータ列y(z,i)とを代入することにより、顔面右側と顔面左側との着目期間内の部分波形間の一致度合いを示す第1の指標値として、下記式(2)の相関係数s(z)を算出してもよい。
また、例えば、情報処理装置100は、ユークリッド距離や正規化されたユークリッド距離などを用いて、顔面右側の着目期間内の部分波形1011と顔面左側の着目期間内の部分波形1021との一致度合いを示す第1の指標値を算出してもよい。
また、ここでは、情報処理装置100が2つの部位のそれぞれの部位の脈波波形に基づいて一致度合いを示す第1の指標値を算出する場合について説明したが、これに限らない。例えば、情報処理装置100は、3つ以上の脈波波形に基づいて、第1の指標値を算出してもよい。
具体的には、情報処理装置100は、額、左頬、右頬のそれぞれの部位の脈波波形がある場合に、それぞれの部位の着目期間内の部分波形を示すデータ列を取得してもよい。次に、情報処理装置100は、それぞれのデータ列の組み合わせを上記式(1)に代入することにより、それぞれのデータ列の組み合わせについて相関係数を算出する。そして、情報処理装置100は、算出した相関係数の平均値、中央値、最大値、最小値などの統計値を第1の指標値として算出する。これにより、情報処理装置100は、それぞれの部位が同一平面上にない場合に、第1の指標値の尤もらしさの向上を図ることができる。
具体的には、情報処理装置100は、左頬、右頬、顔上部、顔下部などのそれぞれの部位の脈波波形がある場合に、左頬と右頬との組み合わせや顔上部と顔下部との組み合わせのように、対応する組み合わせごとに相関係数を算出してもよい。そして、情報処理装置100は、算出した相関係数の平均値、中央値、最大値、最小値などの統計値を、第1の指標値として算出する。これにより、情報処理装置100は、対象者の種々の体動に対応可能な第1の指標値を算出し、第1の指標値の尤もらしさの向上を図ることができる。
ここでは、情報処理装置100が一つの着目期間について第1の指標値を算出する場合について説明したが、これに限らない。例えば、情報処理装置100は、着目期間を複数設定した場合には、それぞれの着目期間について第1の指標値を算出する。ここで、図11の説明に移行する。
図11は、第1の指標値を算出する第2例を示す説明図である。ここで、対象者のそれぞれの部位が物理的に離れている場合には、心臓からの距離が異なるため、それぞれの部位の脈波波形は類似する波形になるが、時間方向にずれてしまうことがある。そこで、情報処理装置100は、第1の指標値を算出する際に、対象者のいずれかの部位の脈波波形と、他の部位の脈波波形をずらした波形との一致度合いを示す第1の指標値を算出してもよい。
図11において、情報処理装置100は、いずれかの部位の脈波波形のうちの着目期間内の部分波形と、他の部位の脈波波形のうちの着目期間をずらし幅zの分ずらした他の期間内の部分波形との一致度合いを示す第1の指標値を算出する。
情報処理装置100は、例えば、顔面右側の脈波波形1010のうちの着目期間内の部分波形1011を抽出し、抽出した部分波形1011のデータ列x(i)を取得する。x(i)は、着目期間内の部分波形1011の値x(1),・・・,x(X)を時刻順に並べたデータ列である。例えば、iの単位はミリ秒である。
また、情報処理装置100は、z=−100〜100の間を1ずつインクリメントしながら、顔面左側の脈波波形1020のうちの着目期間をずらし幅zの分ずらした他の期間内の部分波形1100を抽出する。そして、情報処理装置100は、抽出した部分波形1100のデータ列y(z,i)を取得する。y(z,i)は、着目期間をずらし幅zの分ずらした他の期間内の部分波形1100の値y(z,1),・・・,x(z,X)を時刻順に並べたデータ列である。例えば、zの単位はミリ秒である。
そして、情報処理装置100は、例えば、z=−100〜100の間を1ずつインクリメントしながら、上記式(1)または上記式(2)にデータ列x(i)とデータ列y(z,i)とを代入することにより、相関係数s(z)を算出する。そして、情報処理装置100は、z=−100〜100の相関係数s(z)のうちの最大値を、第1の指標値として設定する。
ここでは、情報処理装置100が上記式(1)または上記式(2)を用いて第1の指標値を算出する場合について説明したが、これに限らない。例えば、情報処理装置100は、ユークリッド距離や正規化されたユークリッド距離などを用いて第1の指標値を算出してもよい。
また、ここでは、情報処理装置100が2つの部位のそれぞれの部位の脈波波形に基づいて第1の指標値を算出する場合について説明したが、これに限らない。例えば、情報処理装置100は、3つ以上の部位のそれぞれの部位の脈波波形に基づいて、第1の指標値を算出してもよい。
具体的には、情報処理装置100は、額、左頬、右頬のそれぞれの部位の脈波波形がある場合に、部位の組み合わせごとに、着目期間内の部分波形と、着目期間をずらし幅zの分ずらした他の期間内の部分波形との相関係数を算出する。そして、情報処理装置100は、算出した相関係数の平均値、中央値、最大値、最小値などの統計値を、第1の指標値として算出してもよい。これにより、情報処理装置100は、それぞれの部位が同一平面上にない場合に、第1の指標値の尤もらしさの向上を図ることができる。
具体的には、情報処理装置100は、左頬、右頬、顔上部、顔下部などのそれぞれの部位の脈波波形がある場合に、左頬と右頬との組み合わせや顔上部と顔下部との組み合わせのように、対応する組み合わせごとに相関係数を算出してもよい。そして、情報処理装置100は、算出した相関係数の最小値を、第1の指標値として算出する。情報処理装置100は、算出した相関係数の平均値、中央値、最大値などの統計値を、第1の指標値として算出してもよい。これにより、情報処理装置100は、対象者の種々の体動に対応可能な第1の指標値を算出し、第1の指標値の尤もらしさの向上を図ることができる。ここで、図12の説明に移行する。
〈第2の指標値を算出する一例〉
図12は、第2の指標値を算出する一例を示す説明図である。第2の指標値を算出する技術としては、例えば、特開2014−176584号公報に記載の技術を参照することができる。
図12において、情報処理装置100は、対象者のいずれかの部位の脈波波形のうち、着目期間内の部分波形と、着目期間をずらし幅zの分ずらした他の期間内の部分波形との一致度合いを示す第2の指標値を算出する。情報処理装置100は、例えば、顔面の脈波波形900のうちの着目期間内の部分波形901を抽出する。そして、情報処理装置100は、抽出した部分波形901のデータ列x(i)を取得する。x(i)は、着目期間内の部分波形901の値x(1),・・・,x(X)を時刻順に並べたデータ列である。例えば、iの単位はミリ秒とする。
また、情報処理装置100は、z=400〜1500の間を1ずつインクリメントしながら、顔面の脈波波形900のうちの着目期間をずらし幅zの分ずらした他の期間内の部分波形1200を抽出する。そして、情報処理装置100は、抽出した部分波形1200のデータ列y(z,i)を取得する。y(z,i)は、着目期間をずらし幅zの分ずらした他の期間内の部分波形1200の値y(z,1),・・・,x(z,X)を時刻順に並べたデータ列である。例えば、zの単位はミリ秒である。
次に、情報処理装置100は、z=400〜1500の間を1ずつインクリメントしながら、上記式(1)または上記式(2)にデータ列x(i)とデータ列y(z,i)とを代入することにより、相関係数s(z)を算出する。そして、情報処理装置100は、z=400〜1500の相関係数s(z)のうちの最大値を、第2の指標値として設定する。また、情報処理装置100は、z=400〜1500のうち、相関係数s(z)が最大値になるときのzを、脈波間隔として採用してもよい。
ここでは、情報処理装置100が上記式(1)または上記式(2)を用いて一致度合いを示す第2の指標値を算出する場合について説明したが、これに限らない。例えば、情報処理装置100は、ユークリッド距離や正規化されたユークリッド距離などを用いて一致度合いを示す第2の指標値を算出してもよい。
ここでは、情報処理装置100が一つの着目期間について第2の指標値を算出する場合について説明したが、これに限らない。例えば、情報処理装置100は、着目期間を複数設定した場合には、それぞれの着目期間について第2の指標値を算出する。ここで、図13の説明に移行する。
〈第1の判定パターンによって脈波波形が不整脈を示すか否かを判定する一例〉
図13は、第1の判定パターンによって着目期間内の部分波形が不整脈を示すか否かを判定する一例を示す説明図である。ここで、第1の指標値は、値が小さいほど、対象者のいずれかの部位の脈波波形に、対象者の体動に起因するノイズによって脈波波形が乱れた可能性が高いことを示す。
一方で、第2の指標値は、値が大きい場合には、脈波波形が周期的であることを示す。換言すれば、第2の指標値は、値が大きいほど、脈波波形が正常脈を示す波形である傾向がある。このため、情報処理装置100は、第1の指標値の傾向と、第2の指標値の傾向とに基づいて、脈波波形が不整脈を示すか否かを判定することができる。
図13において、情報処理装置100は、第1の指標値が第1の閾値以上の場合に、対象者のいずれかの部位の脈波波形のうちの着目期間内の部分波形に、ノイズが含まれないと判定する。第1の閾値は、例えば、0.6である。さらに、情報処理装置100は、第2の指標値が第5の閾値以上である場合に、対象者のいずれかの部位の脈波波形のうちの着目期間内の部分波形に、ノイズが含まれないと判定してもよい。第5の閾値は、例えば、0.7である。
そして、情報処理装置100は、ノイズが含まれないと判定した場合に、第2の指標値が第2の閾値未満であれば、対象者のいずれかの部位の脈波波形のうちの着目期間内の部分波形が不整脈を示すと判定する。第2の閾値は、例えば、0.5である。また、情報処理装置100は、ノイズが含まれないと判定した場合に、第2の指標値が第2の閾値以上であれば、対象者のいずれかの部位の脈波波形のうちの着目期間内の部分波形が正常脈を示すと判定してもよい。
情報処理装置100は、第1の指標値の平均値を算出している場合には、第1の指標値の平均値と第1の閾値とを比較することにより、着目期間内の部分波形がノイズを含むか否かを判定してもよい。また、情報処理装置100は、第1の指標値の最小値を算出している場合には、第1の指標値の最小値と第1の閾値とを比較することにより、着目期間内の部分波形がノイズを含むか否かを判定してもよい。ここで、図14の説明に移行する。
図14は、第1の判定パターンによって所定期間内の脈波波形が不整脈を示すか否かを判定する一例を示す説明図である。図14の例では、所定期間内に複数の着目期間が設定された場合を例に挙げて、複数の着目期間について統計的処理を行うことにより所定期間内の脈波波形が不整脈を示すか否かを判定する一例について説明する。
図14において、情報処理装置100は、それぞれの着目期間について算出した第1の指標値が第1の閾値以上の場合に、いずれかの部位の脈波波形のうちの当該着目期間内の部分波形にノイズが含まれないと判定する。さらに、情報処理装置100は、それぞれの着目期間について算出した第2の指標値が第5の閾値以上である場合に、対象者のいずれかの部位の脈波波形のうちの当該着目期間内の部分波形に、ノイズが含まれないと判定してもよい。
次に、情報処理装置100は、ノイズが含まれないと判定した着目期間それぞれについて算出した第2の指標値が第2の閾値未満であるか否かを判定する。そして、情報処理装置100は、ノイズが含まれないと判定した着目期間の数に対する第2の閾値未満であると判定した着目期間の数の割合が、第6の閾値以上であれば、所定期間内の対象者のいずれかの部位の脈波波形が不整脈を示すと判定する。第6の閾値は、例えば、0.05である。また、情報処理装置100は、ノイズが含まれないと判定した着目期間の数に対する第2の閾値未満であると判定した着目期間の数の割合が、第6の閾値未満であれば、所定期間内の対象者のいずれかの部位の脈波波形が正常脈を示すと判定してもよい。
また、情報処理装置100は、設定した着目期間の数に対するノイズが含まれないと判定した着目期間の数が、第7の閾値以下である場合には、所定期間内の対象者のいずれかの部位の脈波波形が不整脈か否かが不明であると判定してもよい。第7の指標値は、例えば、0.5である。
これにより、情報処理装置100は、所定期間内のそれぞれの着目期間について算出した第1の指標値と第2の指標値とに基づいて、統計的に所定期間内の対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。このため、情報処理装置100は、対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定する判定精度の向上を図ることができる。ここで、図15の説明に移行する。
〈第2の判定パターンによって脈波波形が不整脈を示すか否かを判定する一例〉
図15は、第2の判定パターンによって所定期間内の脈波波形が不整脈を示すか否かを判定する一例を示す説明図である。ここで、不整脈によれば、対象者のそれぞれの部位の脈波波形は同様の乱れ方になり、かつ、対象者のいずれかの部位の脈波波形が周期的ではなくなる傾向がある。換言すれば、不整脈によれば、対象者のそれぞれの部位の脈波波形間の一致度合いを示す第1の指標値が高いまま、対象者のいずれかの部位の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値が低くなることになる。
一方で、正常脈に対してノイズが発生すれば、対象者のそれぞれの部位の脈波波形は異なる乱れ方になり、かつ、対象者のいずれかの部位の脈波波形が周期的ではなくなる傾向がある。換言すれば、ノイズによれば、対象者のそれぞれの部位の脈波波形間の一致度合いを示す第1の指標値が低くなり、かつ、対象者のいずれかの部位の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値が低くなることになる。
以上のように、不整脈によれば、第1の指標値に関わらず第2の指標値が増減する傾向があり、第1の指標値と第2の指標値との相関の強さは相対的に小さくなる傾向がある。また、ノイズによれば、第1の指標値と第2の指標値とが一緒に小さくなる傾向があり、第1の指標値と第2の指標値との相関の強さは相対的に大きくなる傾向がある。そこで、情報処理装置100は、第1の指標値と第2の指標値との相関の強さを示す値に基づいて、対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定する。
図15において、情報処理装置100は、相関係数を用いて、第3の指標値として、算出した着目期間ごとの第1の指標値と第2の指標値とに基づいて、第1の指標値と第2の指標値との相関の強さを示す値を算出する。情報処理装置100は、例えば、第3の指標値として、算出した着目期間ごとの第1の指標値と第2の指標値との組み合わせを、相関係数の算出式に代入することにより、第1の指標値と第2の指標値との相関の強さを示す相関係数の値を算出する。
そして、情報処理装置100は、第3の指標値が第3の閾値以下である場合に、所定期間内の対象者のいずれかの部位の脈波波形が不整脈を示すと判定する。また、情報処理装置100は、第3の指標値が第3の閾値よりも大きい場合には、所定期間内の対象者のいずれかの部位の脈波波形が正常脈を示すと判定してもよい。
これにより、情報処理装置100は、所定期間内の対象者のいずれかの部位の脈波波形にノイズが含まれていても、所定期間内の対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定可能になる。また、情報処理装置100は、所定期間内のそれぞれの着目期間について算出した第1の指標値と第2の指標値とに基づいて、統計的に所定期間内の対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。このため、情報処理装置100は、対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定する判定精度の向上を図ることができる。ここで、図16の説明に移行する。
図16は、第2の判定パターンによって着目期間内の部分波形が不整脈を示すか否かを判定する一例を示す説明図である。ここで、不整脈のときの第1の指標値と第2の指標値との組み合わせが取りうる範囲と、正常脈のときの第1の指標値と第2の指標値との組み合わせが取りうる範囲とは異なる傾向がある。
例えば、第1の指標値の軸と第2の指標値の軸とによる2次元空間では、不整脈のときの第1の指標値と第2の指標値の組み合わせが現れる領域1601が存在する。また、第1の指標値の軸と第2の指標値の軸とによる2次元空間では、正常脈のときおよび不整脈のときの第1の指標値と第2の指標値の組み合わせが混在して現れる領域1602が存在する。領域1601と、領域1602との間には、境界線1603を設定可能である。
そこで、情報処理装置100は、不整脈のときの第1の指標値と第2の指標値の組み合わせが現れる領域1601を特定可能にする境界線1603を示すモデルを予め設定しておき、当該モデルに基づいて着目期間内の部分波形が不整脈を示すか否かを判定する。以下の説明では、不整脈のときの第1の指標値と第2の指標値の組み合わせが現れる領域1601を「不整脈の領域1601」と表記する場合がある。また、正常脈のときおよび不整脈のときの第1の指標値と第2の指標値の組み合わせが混在して現れる領域1602を「正常脈と不整脈とが混在する領域1602」と表記する場合がある。
図16において、情報処理装置100は、着目期間について算出した第1の指標値と第2の指標値との組み合わせが、予め設定されたモデルによって特定される不整脈の領域1601に含まれるか否かを判定する。そして、情報処理装置100は、不整脈の領域1601に含まれると判定した場合に、着目期間内の部分波形が不整脈を示すと判定する。
当該モデルは、例えば、不整脈の領域1601と、正常脈と不整脈とが混在する領域1602との境界線1603を示す数式である。当該数式は、例えば、予め正常脈を示すか不整脈を示すかが判明している脈波波形から得られる第1の指標値と第2の指標値との組み合わせなどの学習データを用いた学習処理により設定される。
情報処理装置100は、具体的には、着目期間について算出した第1の指標値が、当該数式によって特定される着目期間について算出した第2の指標値に対応する第1の指標値以上であるか否かを判定する。そして、情報処理装置100は、算出した第1の指標値が、算出した第2の指標値に対応する第1の指標値以上である場合に、対象者のいずれかの部位の脈波波形のうちの着目期間内の部分波形が不整脈を示すと判定する。
また、情報処理装置100は、サポートベクターマシンなどを用いて、着目期間について算出した第1の指標値と第2の指標値との組み合わせが、不整脈の領域1601に含まれるか否かを判定してもよい。これにより、情報処理装置100は、対象者のいずれかの部位の脈波波形のうちの着目期間内の部分波形にノイズが含まれていても、着目期間内の部分波形が不整脈を示すか否かを判定可能になる。
情報処理装置100は、対象者のいずれかの部位の脈波波形のうちの着目期間内の部分波形が不整脈を示すか否かを判定した後、不整脈を示さないと判定した場合には着目期間内の部分波形にノイズが含まれるか否かをさらに判定してもよい。ここで、図17の説明に移行する。
図17は、不整脈の領域1601を特定するモデルを生成する一例を示す説明図である。ここで、情報処理装置100は、予め学習データが得られない場合には、図13および図14の処理によって不整脈を示すか否かが判定された所定期間についての第1の指標値と第2の指標値との組み合わせを、学習データとして採用することができる。
図17において、情報処理装置100は、ある所定期間について図13および図14の処理を行い、当該所定期間に含まれるそれぞれの着目期間内の部分波形について不整脈を示すか否かを判定する。次に、情報処理装置100は、それぞれの着目期間内の部分波形について不整脈を示さないと判定された場合、それぞれの着目期間について算出した第1の指標値と第2の指標値との組み合わせを取得する。
そして、情報処理装置100は、取得した組み合わせを、正常脈のときの第1の指標値と第2の指標値の組み合わせの学習データとして採用する。以下の説明では、正常脈のときの第1の指標値と第2の指標値の組み合わせの学習データを「正常脈のときの学習データ」と表記する場合がある。
また、情報処理装置100は、ある所定期間について図13および図14の処理を行い、当該所定期間内の脈波波形について不整脈を示すか否かの判定を行う。そして、情報処理装置100は、当該所定期間内の脈波波形が不整脈を示すと判定された場合、当該所定期間内のそれぞれの着目期間について算出した第1の指標値と第2の指標値との組み合わせを取得する。
そして、情報処理装置100は、取得した組み合わせを、不整脈のときの第1の指標値と第2の指標値の組み合わせの学習データとして採用する。以下の説明では、不整脈のときの第1の指標値と第2の指標値の組み合わせの学習データを「不整脈のときの学習データ」と表記する場合がある。
情報処理装置100は、取得した学習データに基づいて、不整脈の領域1601を特定するモデルを生成する。情報処理装置100は、例えば、不整脈の領域1601と、正常脈と不整脈とが混在する領域1602との境界線1603を示す数式を生成する。これにより、情報処理装置100は、予め学習データが得られない場合であっても、モデルを生成して設定することができる。そして、情報処理装置100は、生成したモデルに基づいて、図16の処理を行うことが可能になる。
また、情報処理装置100は、今後、不整脈を示すか否かを判定する判定対象となる脈波波形を生成する生成対象となる対象者に関する学習データに基づいてモデルを生成することができる。このため、情報処理装置100は、今後、対象者について生成された脈波波形が不整脈を示すか否かを判定する際には、当該対象者に適する可能性が高いモデルを用いることができる。そして、情報処理装置100は、対象者について生成された脈波波形が不整脈を示すか否かを判定する精度の向上を図ることができる。
〈判定した結果に応じて脈波波形を分析する一例〉
情報処理装置100は、対象者のいずれかの部位の脈波波形のうちのノイズが含まれないと判定された部分波形を用いて、対象者のいずれかの部位の脈波波形を分析する。情報処理装置100は、ノイズが含まれないと判定された部分波形と、ノイズが含まれると判定された部分波形が重複する場合には、ノイズが含まれないと判定された部分波形のうちノイズが含まれると判定された部分波形と重複しない部分を用いてもよい。これにより、情報処理装置100は、ノイズが含まれる部分波形を用いずに、対象者のいずれかの部位の脈波波形を分析することができ、分析精度の向上を図ることができる。
情報処理装置100は、例えば、対象者のいずれかの部位の脈波波形を分析して、脈拍数[bpm]を算出する。また、情報処理装置100は、例えば、対象者のいずれかの部位の脈波波形を分析して、対象者のいずれかの部位の脈波波形を2回微分して加速度脈波波形を算出し、加速度脈波波形から血管年齢を算出してもよい。また、情報処理装置100は、例えば、対象者のいずれかの部位の脈波波形を分析して、対象者が不整脈であるか否かを判定してもよい。
情報処理装置100は、不整脈を示すと判定された対象者のいずれかの部位の脈波波形を分析してもよい。情報処理装置100は、例えば、不整脈を示すと判定された対象者のいずれかの部位の脈波波形が計測された時間から、どのようなときに対象者に不整脈の症状が現れやすいかなどを解析してもよい。また、情報処理装置100は、1ヶ月などの期間内で不整脈を示すと判定された対象者のいずれかの部位の脈波波形の数に基づいて、対象者にどのくらいの頻度で不整脈の症状が現れるかなどを解析してもよい。
ここでは、情報処理装置100が、ノイズが含まれる部分波形を用いずに、対象者のいずれかの部位の脈波波形を分析する場合について説明したが、これに限らない。例えば、情報処理装置100は、第1の指標値と第2の指標値と対象者のいずれかの部位の脈波波形とを用いて、対象者のいずれかの部位の脈波波形を分析してもよい。また、情報処理装置100は、第1の指標値と第2の指標値と対象者のいずれかの部位の脈波波形とをユーザに通知して、ユーザが対象者のいずれかの部位の脈波波形を分析することを支援してもよい。
(全体処理手順の一例)
次に、図18を用いて、情報処理装置100が実行する全体処理手順の一例について説明する。図18の例では、情報処理装置100は、複数の部位として所定の全体領域と左領域と右領域とを採用する。所定の全体領域は、例えば、対象者の顔である。左領域は、全体領域の左側に含まれる部位であり、例えば、左頬である。右領域は、全体領域の右側に含まれる部位であり、例えば、右頬である。
図18は、全体処理手順の一例を示すフローチャートである。図18において、情報処理装置100は、所定期間内に対象者が撮影された動画像101を取得する(ステップS1801)。次に、情報処理装置100は、対象者の複数の部位のそれぞれの部位について、図19に後述する脈波波形の生成処理を実行する(ステップS1802)。
そして、情報処理装置100は、生成した全体領域の脈波波形がゼロクロスしたか否かを判定する(ステップS1803)。ゼロクロスとは、脈波波形に、振幅が正から負または負から正に転換する転換点が含まれることである。ここで、ゼロクロスしていない場合(ステップS1803:No)、情報処理装置100は、ステップS1801の処理に戻る。一方で、ゼロクロスする場合(ステップS1803:Yes)、情報処理装置100は、生成した全体領域の脈波波形に基づいて、1または複数の着目期間を設定する(ステップS1804)。
次に、情報処理装置100は、設定した着目期間ごとに、生成した左領域と右領域との脈波波形のうちの着目期間内の部分波形間の一致度合いを示す第1の指標値を算出する(ステップS1805)。そして、情報処理装置100は、設定した着目期間ごとに、生成した全体領域の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値を算出する(ステップS1806)。
次に、情報処理装置100は、算出した第1の指標値と第2の指標値とに基づいて、生成した全体領域の脈波波形について図20〜図25に後述するいずれかの判定処理を実行する(ステップS1807)。そして、情報処理装置100は、ステップS1801の処理に戻る。これにより、情報処理装置100は、人の全体領域の脈波波形が不整脈を示すか否かを判定して、人の全体領域の脈波波形の分析精度の向上を図ることができる。
(生成処理手順の一例)
次に、図19を用いて、情報処理装置100が実行する生成処理手順の一例について説明する。
図19は、生成処理手順の一例を示すフローチャートである。図19において、情報処理装置100は、動画像101から対象者のそれぞれの部位の画像を抽出する(ステップS1901)。次に、情報処理装置100は、抽出した画像に基づいて、当該画像に含まれる所定の波長成分の代表値の時系列データを取得する(ステップS1902)。そして、情報処理装置100は、BPFによって、取得した波長成分ごとの時系列データから特定周波数帯の信号成分を抽出する(ステップS1903)。
次に、情報処理装置100は、抽出した波長成分ごとの特定周波数帯の信号成分から、特定周波数帯の信号成分の絶対値の時系列データを抽出する(ステップS1904)。そして、情報処理装置100は、LPFによって、抽出した波長成分ごとの特定周波数帯の絶対値の時系列データに対して平滑化処理を実行し、急峻な周波数成分を除去する(ステップS1905)。
次に、情報処理装置100は、平滑化された波長成分ごとの特定周波数帯の絶対値の時系列データに基づいて、補正係数を算出する(ステップS1906)。また、情報処理装置100は、ステップS1903〜S1906と並行して、BPFによって、取得した波長成分ごとの時系列データから脈波周波数帯の信号成分を抽出する(ステップS1907)。
次に、情報処理装置100は、抽出されたいずれかの脈波周波数帯の信号成分に、算出した補正係数を乗算する(ステップS1908)。そして、情報処理装置100は、いずれかの波長成分の脈波周波数帯の信号成分から、補正係数kが乗算された波長成分の脈波周波数帯の信号成分を減算する(ステップS1909)。
次に、情報処理装置100は、BPFによって、減算後の信号の時系列データの脈波周波数帯の信号成分を抽出する(ステップS1910)。そして、情報処理装置100は、生成処理を終了する。これにより、情報処理装置100は、対象者のそれぞれの部位の脈波波形を生成することができる。
(判定処理手順の一例)
次に、図20〜図25を用いて、情報処理装置100が実行する判定処理手順の一例について説明する。
〈判定処理手順の第1例〉
図20は、判定処理手順の第1例を示すフローチャートである。図20の判定処理は、例えば、図13における処理に対応する。
図20において、情報処理装置100は、いずれかの着目期間について算出した第1の指標値が第1の閾値以上であるか否かを判定する(ステップS2001)。ここで、第1の閾値未満である場合(ステップS2001:No)、情報処理装置100は、当該着目期間内の部分波形にノイズが含まれると判定して(ステップS2002)、ステップS2006の処理に移行する。
一方で、第1の閾値以上である場合(ステップS2001:Yes)、情報処理装置100は、当該着目期間について算出した第2の指標値が第2の閾値以下であるか否かを判定する(ステップS2003)。ここで、第2の閾値より大きい場合(ステップS2003:No)、情報処理装置100は、当該着目期間内の部分波形が正常脈を示すと判定して(ステップS2004)、ステップS2006の処理に移行する。
一方で、第2の閾値以下である場合(ステップS2003:Yes)、情報処理装置100は、着目期間内の部分波形が不整脈を示すと判定して(ステップS2005)、ステップS2006の処理に移行する。ステップS2006では、情報処理装置100は、すべての着目期間について処理を行ったか否かを判定する(ステップS2006)。
ここで、処理を行っていない着目期間がある場合(ステップS2006:No)、情報処理装置100は、ステップS2001の処理に戻る。一方で、すべての着目期間について処理を行った場合(ステップS2006:Yes)、情報処理装置100は、判定処理を終了する。これにより、情報処理装置100は、対象者の全体領域の脈波波形のうちの着目期間内の部分波形が不整脈を示すか否かを判定することができる。
〈判定処理手順の第2例〉
図21は、判定処理手順の第2例を示すフローチャートである。図21は、例えば、図14の処理に対応する。
図21において、情報処理装置100は、いずれかの着目期間について算出した第1の指標値が第1の閾値以上であるか否かを判定する(ステップS2101)。ここで、第1の閾値未満である場合(ステップS2101:No)、情報処理装置100は、当該着目期間内の部分波形にノイズが含まれると判定して(ステップS2102)、ステップS2104の処理に移行する。
一方で、第1の閾値以上である場合(ステップS2101:Yes)、情報処理装置100は、当該着目期間について算出した第2の指標値を、統計データとして蓄積する(ステップS2103)。そして、情報処理装置100は、ステップS2104の処理に移行する。
ステップS2104では、情報処理装置100は、すべての着目期間について処理を行ったか否かを判定する(ステップS2104)。ここで、処理を行っていない着目期間がある場合(ステップS2104:No)、情報処理装置100は、ステップS2101の処理に戻る。
一方で、すべての着目期間について処理を行った場合(ステップS2104:Yes)、情報処理装置100は、統計データが60個以上あるか否かを判定する(ステップS2105)。ここで、60個以上ない場合(ステップS2105:No)、情報処理装置100は、判定処理を終了する。
一方で、60個以上ある場合(ステップS2105:Yes)、情報処理装置100は、統計データとして蓄積された第2の指標値のうち、第2の閾値以下である第2の指標値の数を算出する(ステップS2106)。次に、情報処理装置100は、算出した数を統計データの数で割って得られた割合が0.05より大きいか否かを判定する(ステップS2107)。ここで、0.05以下である場合(ステップS2107:No)、情報処理装置100は、所定期間内の脈波波形が正常脈を示すと判定して(ステップS2108)、判定処理を終了する。
一方で、0.05より大きい場合(ステップS2107:Yes)、情報処理装置100は、所定期間内の脈波波形が不整脈を示すと判定して(ステップS2109)、判定処理を終了する。これにより、情報処理装置100は、対象者の全体領域の脈波波形が不整脈を示すか否かを判定することができる。
〈判定処理手順の第3例〉
図22は、判定処理手順の第3例を示すフローチャートである。図22は、例えば、図15の処理に対応する。図22において、情報処理装置100は、着目期間ごとに算出した第1の指標値と第2の指標値との組み合わせを、統計データとして蓄積する(ステップS2201)。次に、情報処理装置100は、統計データが60個以上あるか否かを判定する(ステップS2202)。ここで、60個以上ない場合(ステップS2202:No)、情報処理装置100は、判定処理を終了する。
一方で、60個以上ある場合(ステップS2202:Yes)、情報処理装置100は、統計データとして蓄積された組み合わせに基づいて、第1の指標値と第2の指標値との相関の強さを示す第3の指標値を算出する(ステップS2203)。次に、情報処理装置100は、算出した第3の指標値が第3の閾値以下であるか否かを判定する(ステップS2204)。
ここで、第3の閾値より大きい場合(ステップS2204:No)、情報処理装置100は、所定期間内の脈波波形が正常脈を示すと判定して(ステップS2205)、判定処理を終了する。一方で、第3の閾値以下である場合(ステップS2204:Yes)、情報処理装置100は、所定期間内の脈波波形が不整脈を示すと判定して(ステップS2206)、判定処理を終了する。これにより、情報処理装置100は、対象者の全体領域の脈波波形が不整脈を示すか否かを判定することができる。
〈判定処理手順の第4例〉
図23は、判定処理手順の第4例を示すフローチャートである。図23は、例えば、図16の処理に対応する。
図23において、情報処理装置100は、第1の指標値と第2の指標値との組み合わせが、モデルによって特定される不整脈のときの第1の指標値と第2の指標値の組み合わせが現れる領域に含まれるか否かを判定する(ステップS2301)。ここで、含まれる場合(ステップS2301:Yes)、情報処理装置100は、着目期間内の部分波形が不整脈を示すと判定して(ステップS2302)、ステップS2306の処理に移行する。
一方で、含まれない場合(ステップS2301:No)、情報処理装置100は、第1の指標値が第1の閾値以上、または、第2の指標値が第2の閾値以上であるかを判定する(ステップS2303)。ここで、第1の閾値より小さい場合、または、第2の閾値より小さい場合(ステップS2303:No)、情報処理装置100は、着目期間内の部分波形にノイズが含まれると判定して(ステップS2304)、ステップS2306の処理に移行する。
一方で、第1の閾値以上、かつ、第2の閾値以上である場合(ステップS2303:Yes)、情報処理装置100は、着目期間内の部分波形が正常脈を示すと判定して(ステップS2305)、ステップS2306の処理に移行する。ステップS2306では、情報処理装置100は、すべての着目期間について処理を行ったか否かを判定する(ステップS2306)。
ここで、処理を行っていない着目期間がある場合(ステップS2306:No)、情報処理装置100は、ステップS2301の処理に戻る。一方で、すべての着目期間について処理を行った場合(ステップS2306:Yes)、情報処理装置100は、判定処理を終了する。これにより、情報処理装置100は、対象者の全体領域の脈波波形のうちの着目期間内の部分波形が不整脈を示すか否かを判定することができる。
〈判定処理手順の第5例〉
図24は、判定処理手順の第5例を示すフローチャートである。図24は、例えば、図17の処理に対応する。
図24において、情報処理装置100は、モデルが設定されているか否かを判定する(ステップS2401)。ここで、モデルが設定されている場合(ステップS2401:Yes)、情報処理装置100は、図23の判定処理を実行して(ステップS2402)、図24の判定処理を終了する。
一方で、モデルが設定されていない場合(ステップS2401:No)、情報処理装置100は、図20の判定処理を実行して(ステップS2403)、着目期間内の部分波形が不整脈を示すか否かを判定する。次に、情報処理装置100は、着目期間のうち、ノイズを含まない判定結果になった着目期間について算出した第1の指標値と第2の指標値との組み合わせを、統計データとして蓄積する(ステップS2404)。次に、情報処理装置100は、統計データが60個以上あるか否かを判定する(ステップS2405)。ここで、60個以上ない場合(ステップS2405:No)、情報処理装置100は、判定処理を終了する。
一方で、60個以上ある場合(ステップS2405:Yes)、情報処理装置100は、蓄積された組み合わせのうち、第1の指標値が第1の閾値以上、かつ、第2の指標値が第2の閾値以下である組み合わせの数を算出する(ステップS2406)。次に、情報処理装置100は、算出した数を統計データの数で割って得られた割合が、0.00であるか、または、0.05以上であるかを判定する(ステップS2407)。
ここで、0.00ではなく、かつ、0.05より小さい場合(ステップS2407:No)、情報処理装置100は、統計データを初期化して(ステップS2408)、判定処理を終了する。一方で、0.00であるか、または、0.05以上である場合(ステップS2407:Yes)、情報処理装置100は、算出した数を統計データの数で割って得られた割合が0.00であるか否かを判定する(ステップS2409)。
ここで、0.00である場合(ステップS2409:Yes)、情報処理装置100は、蓄積された統計データを、正常脈のときの第1の指標値と第2の指標値の組み合わせの学習データとして採用する(ステップS2410)。そして、情報処理装置100は、ステップS2412の処理に移行する。
一方で、0.00ではない場合(ステップS2409:No)、情報処理装置100は、蓄積された統計データを、不整脈のときの第1の指標値と第2の指標値の組み合わせの学習データとして採用する(ステップS2411)。そして、情報処理装置100は、ステップS2412の処理に移行する。
ステップS2412では、情報処理装置100は、統計データを初期化する(ステップS2412)。そして、情報処理装置100は、モデルの生成に用いる、正常脈のとき、および、不整脈のときの第1の指標値と第2の指標値の組み合わせの学習データがあるか否かを判定する(ステップS2413)。ここで、学習データがない場合(ステップS2413:No)、情報処理装置100は、判定処理を終了する。
一方で、学習データがある場合(ステップS2413:Yes)、情報処理装置100は、学習データに基づいてモデルを生成して(ステップS2414)、判定処理を終了する。これにより、情報処理装置100は、モデルに基づいて、対象者の全体領域の脈波波形のうちの着目期間内の部分波形が不整脈を示すか否かを判定することができる。
また、情報処理装置100は、モデルが設定されていない場合には、対象者について算出された第1の指標値と第2の指標値との組み合わせからモデルを生成することができる。このため、情報処理装置100は、対象者に応じたモデルを生成することができ、モデルに基づいて対象者のいずれかの部位の脈波波形のうちの着目期間内の部分波形が不整脈を示すか否かを、精度よく判定しやすくすることができる。
〈判定処理手順の第6例〉
図25は、判定処理手順の第6例を示すフローチャートである。図25において、情報処理装置100は、モデルが設定されているか否かを判定する(ステップS2501)。ここで、モデルが設定されている場合(ステップS2501:Yes)、情報処理装置100は、図23の判定処理を実行して(ステップS2502)、図25の判定処理を終了する。
一方で、モデルが設定されていない場合(ステップS2501:No)、情報処理装置100は、図20の判定処理を実行して(ステップS2503)、着目期間内の部分波形が不整脈を示すか否かを判定する。次に、情報処理装置100は、着目期間のうち、ノイズを含まない判定結果になった着目期間について算出した第1の指標値と第2の指標値との組み合わせを、統計データとして蓄積する(ステップS2504)。次に、情報処理装置100は、統計データが60個以上あるか否かを判定する(ステップS2505)。ここで、60個以上ない場合(ステップS2505:No)、情報処理装置100は、判定処理を終了する。
一方で、60個以上ある場合(ステップS2505:Yes)、情報処理装置100は、統計データに基づいて、第2の指標値の最大値から第2の指標値の最小値を減算した際の差分が0.4以上であるか否かを判定する(ステップS2506)。ここで、0.4以上である場合(ステップS2506:Yes)、情報処理装置100は、統計データとして蓄積された組み合わせに基づいて、第1の指標値と第2の指標値との相関の強さを示す第3の指標値を算出する(ステップS2507)。
次に、情報処理装置100は、算出した第3の指標値が第3の閾値以下であるか否かを判定する(ステップS2508)。ここで、第3の閾値より大きい場合(ステップS2508:No)、情報処理装置100は、蓄積された統計データを、正常脈のときの第1の指標値と第2の指標値の組み合わせの学習データとして採用する(ステップS2509)。そして、情報処理装置100は、ステップS2517の処理に移行する。
一方で、第3の閾値以下である場合(ステップS2508:Yes)、情報処理装置100は、蓄積された統計データを、不整脈のときの第1の指標値と第2の指標値の組み合わせの学習データとして採用する(ステップS2510)。そして、情報処理装置100は、ステップS2517の処理に移行する。
また、ステップS2506で、0.4より小さい場合(ステップS2506:No)、情報処理装置100は、蓄積された組み合わせのうち、第1の指標値が第1の閾値以上かつ第2の指標値が第2の閾値以下の組み合わせの数を算出する(ステップS2511)。次に、情報処理装置100は、算出した数を統計データの数で割って得られた割合が、0.00であるか、または、0.05以上であるかを判定する(ステップS2512)。
ここで、0.00ではなく、かつ、0.05より小さい場合(ステップS2512:No)、情報処理装置100は、統計データを初期化して(ステップS2513)、判定処理を終了する。一方で、0.00であるか、または、0.05以上である場合(ステップS2512:Yes)、情報処理装置100は、算出した数を統計データの数で割って得られた割合が0.00であるか否かを判定する(ステップS2514)。
ここで、0.00である場合(ステップS2514:Yes)、情報処理装置100は、蓄積された統計データを、正常脈のときの第1の指標値と第2の指標値の組み合わせの学習データとして採用する(ステップS2515)。そして、情報処理装置100は、ステップS2517の処理に移行する。
一方で、0.00ではない場合(ステップS2514:No)、情報処理装置100は、蓄積された統計データを、不整脈のときの第1の指標値と第2の指標値の組み合わせの学習データとして採用する(ステップS2516)。そして、情報処理装置100は、ステップS2517の処理に移行する。
ステップS2517では、情報処理装置100は、統計データを初期化する(ステップS2517)。そして、情報処理装置100は、モデルの生成に用いる、正常脈のとき、および、不整脈のときの第1の指標値と第2の指標値の組み合わせの学習データがあるか否かを判定する(ステップS2518)。ここで、学習データがない場合(ステップS2518:No)、情報処理装置100は、判定処理を終了する。
一方で、学習データがある場合(ステップS2518:Yes)、情報処理装置100は、学習データに基づいてモデルを生成して(ステップS2519)、判定処理を終了する。これにより、情報処理装置100は、モデルに基づいて、対象者の全体領域の脈波波形のうちの着目期間内の部分波形が不整脈を示すか否かを判定することができる。
また、情報処理装置100は、モデルが設定されていない場合には、対象者について算出された第1の指標値と第2の指標値との組み合わせからモデルを生成することができる。このため、情報処理装置100は、対象者に応じたモデルを生成することができ、モデルに基づいて対象者のいずれかの部位の脈波波形のうちの着目期間内の部分波形が不整脈を示すか否かを、精度よく判定しやすくすることができる。
以上説明したように、情報処理装置100によれば、対象者のそれぞれの部位の脈波波形のうちの少なくともいずれかの脈波波形間の一致度合いを示す第1の指標値を算出することができる。また、情報処理装置100によれば、対象者のいずれかの部位の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値を算出することができる。また、情報処理装置100によれば、算出した第1の指標値と第2の指標値との組み合わせと、不整脈のときの第1の指標値と第2の指標値との対応関係を示す情報とに基づいて、対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。
これにより、情報処理装置100は、対象者のいずれかの部位の脈波波形の脈波らしさと、対象者のいずれかの部位の脈波波形のうちの部分波形間の一致度合いとを参照して、対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。結果として、情報処理装置100は、判定した結果を参照して対象者のいずれかの部位の脈波波形の解析精度の向上を図ることができる。
また、情報処理装置100によれば、算出した第1の指標値が、算出した第2の指標値に対応する第1の指標値以上であると判定した場合に、対象者のいずれかの部位の脈波波形が不整脈を示すと判定することができる。これにより、情報処理装置100は、対象者のいずれかの部位の脈波波形にノイズが含まれるか否かを判定しなくても、所定期間内での対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。
また、情報処理装置100によれば、所定期間内のそれぞれの期間での対象者のそれぞれの部位の脈波波形のうちの少なくともいずれかの脈波波形間の一致度合いを示す第1の指標値を算出することができる。また、情報処理装置100によれば、所定期間内のそれぞれの期間での少なくともいずれかの部位の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値を算出することができる。また、情報処理装置100によれば、それぞれの期間について算出した第1の指標値と第2の指標値とに基づいて、第1の指標値と第2の指標値との相関の強さを示す第3の指標値を算出することができる。また、情報処理装置100によれば、算出した第3の指標値が閾値以下であると判定した場合に、所定期間内でのいずれかの部位の脈波波形が不整脈を示すと判定することができる。これにより、情報処理装置100は、対象者のいずれかの部位の脈波波形にノイズが含まれるか否かを判定しなくても、所定期間内での対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。
また、情報処理装置100によれば、所定期間内のそれぞれの期間について算出した第1の指標値に基づいて、それぞれの期間でのいずれかの部位の脈波波形にノイズが含まれるか否かを判定することができる。また、情報処理装置100によれば、所定期間内でノイズが含まれないと判定した期間それぞれについて算出した第2の指標値に基づいて、ノイズが含まれないと判定した期間それぞれでのいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。また、情報処理装置100によれば、ノイズが含まれないと判定した期間それぞれでのいずれかの部位の脈波波形が不整脈を示すか否かの判定結果に基づいて、不整脈のときの第1の指標値と第2の指標値との対応関係を示す情報を生成することができる。
これにより、情報処理装置100は、所定期間内での対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定する際に用いられる対応関係を示す情報が予め設定されていなくても、対応関係を示す情報を生成することができる。また、情報処理装置100は、対象者用の対応関係を示す情報を生成するため、対象者の脈波波形について不整脈を示すか否かの判定精度の向上を図ることができる。
また、情報処理装置100によれば、それぞれの期間について算出した第2の指標値に基づいて、第2の指標値のばらつきの大きさを示す第4の指標値を算出することができる。また、情報処理装置100によれば、第4の指標値が閾値以下である場合に、所定期間内のそれぞれの期間について算出した第1の指標値に基づいて、それぞれの期間でのいずれかの部位の脈波波形にノイズが含まれるか否かを判定することができる。また、情報処理装置100によれば、所定期間内でノイズが含まれないと判定した期間それぞれについて算出した第2の指標値に基づいて、ノイズが含まれないと判定した期間それぞれでのいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。
これにより、情報処理装置100は、対象者のいずれかの部位の脈波波形の乱れが比較的小さい場合は、対象者のいずれかの部位の脈波波形にノイズが含まれるか否かを判定し、ノイズが含まれない場合に不整脈を示すか否かを判定することができる。結果として、情報処理装置100は、ノイズが含まれる脈波波形を解析対象から除外し、ノイズが含まれない脈波波形を解析対象として、不整脈を示すか否かの判定結果を参照して解析することができ、解析精度の向上を図ることができる。
また、情報処理装置100によれば、所定期間内でノイズが含まれないと判定した期間それぞれについて算出した第2の指標値が第2の閾値より小さいか否かを判定することができる。また、情報処理装置100によれば、所定期間内でノイズが含まれないと判定した期間のうちで第2の指標値が第2の閾値より小さいと判定した期間の割合に基づいて、所定期間内でのいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。これにより、情報処理装置100は、ノイズが含まれない期間に限定して算出した第2の指標値を用いて、所定期間内での対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができ、判定精度の向上を図ることができる。
ここで、対象者のいずれかの部位の脈波波形の乱れが比較的大きい場合に、ノイズを含む脈波波形を解析対象にせず、ノイズが含まれない脈波波形を解析対象にすると、解析対象の脈波波形の数が少なくなり解析精度が低下する可能性がある。そこで、情報処理装置100によれば、第4の指標値が第4の閾値より大きい場合に、それぞれの期間について算出した第1の指標値と第2の指標値とに基づいて、第1の指標値と第2の指標値との相関の強さを示す第3の指標値を算出することができる。また、情報処理装置100によれば、算出した第3の指標値が第3の閾値以下であると判定した場合に、所定期間内でのいずれかの部位の脈波波形が不整脈を示すと判定することができる。
これにより、情報処理装置100は、対象者のいずれかの部位の脈波波形の乱れが比較的大きい場合は、対象者のいずれかの部位の脈波波形にノイズが含まれるか否かを判定せずに、不整脈を示すか否かを判定することができる。そして、情報処理装置100は、ノイズが含まれるか否かに関わらず脈波波形を解析対象として、ノイズが含まれるか否かに関わらず不整脈を示すか否かを判定した結果を参照して解析することができ、解析精度の向上を図ることができる。
また、情報処理装置100によれば、対象者のそれぞれの部位の脈波波形のうちの少なくともいずれかの脈波波形間の一致度合いを示す第1の指標値を算出することができる。また、情報処理装置100によれば、対象者のそれぞれの部位の脈波波形のうちのいずれかの部位の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値を算出することができる。また、情報処理装置100によれば、算出した第1の指標値に基づいて、対象者のいずれかの部位の脈波波形にノイズが含まれるか否かを判定することができる。また、情報処理装置100によれば、ノイズが含まれないと判定した場合に、算出した第2の指標値に基づいて、対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。
これにより、情報処理装置100は、対象者のいずれかの部位の脈波波形にノイズが含まれるか否かを判定し、ノイズが含まれない場合に不整脈を示すか否かを判定することができる。結果として、情報処理装置100は、ノイズが含まれる脈波波形を解析対象から除外し、ノイズが含まれない脈波波形を解析対象として、不整脈を示すか否かの判定結果を参照して解析することができ、解析精度の向上を図ることができる。
また、情報処理装置100によれば、取得した所定期間内のそれぞれの期間での対象者のそれぞれの部位の脈波波形のうちの脈波波形間の一致度合いを示す第1の指標値を算出することができる。また、情報処理装置100によれば、取得した所定期間内のそれぞれの期間でのいずれかの部位の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値を算出することができる。また、情報処理装置100によれば、所定期間内のそれぞれの期間について算出した第1の指標値に基づいて、それぞれの期間でのいずれかの部位の脈波波形にノイズが含まれるか否かを判定することができる。また、情報処理装置100によれば、所定期間内でノイズが含まれないと判定した期間それぞれについて算出した第2の指標値が第2の閾値より大きいか否かを判定することができる。また、情報処理装置100によれば、所定期間内でノイズが含まれないと判定した期間のうちで第2の指標値が第2の閾値より大きいと判定した期間の割合に基づいて、所定期間内でのいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。
これにより、情報処理装置100は、ノイズが含まれる期間について算出した第2の指標値を用いずに、所定期間内での対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができ、判定精度の向上を図ることができる。
また、情報処理装置100によれば、第1の指標値および算出した第2の指標値に基づいて、いずれかの部位の脈波波形にノイズが含まれるか否かを判定することができる。これにより、情報処理装置100は、対象者のいずれかの部位の脈波波形の脈波らしさと、対象者のいずれかの部位の脈波波形のうちの部分波形間の一致度合いとを参照して、ノイズが含まれるか否かを判定することができ、判定精度の向上を図ることができる。
また、情報処理装置100によれば、第2の指標値として、いずれかの部位の脈波波形のうちで所定周期分の長さの部分波形間の一致度合いを示す値を採用することができる。これにより、情報処理装置100は、対象者のいずれかの部位の脈波波形について、どのくらい類似した部分波形が繰り返されるのかを示す値を、第2の指標値として採用することができる。
また、情報処理装置100によれば、第2の指標値として、いずれかの部位の脈波波形のうちの脈波間隔のばらつきの大きさを示す値を採用することができる。これにより、情報処理装置100は、対象者のいずれかの部位の脈波波形について周期の変動がどのくらいの大きさであるかを示す値を、第2の指標値として採用することができる。
なお、本実施の形態で説明した情報処理方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本情報処理プログラムは、ハードディスク、フレキシブルディスク、CD−ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また本情報処理プログラムは、インターネット等のネットワークを介して配布してもよい。
以下に、図面を参照して、本発明にかかる情報処理装置、情報処理方法、および情報処理プログラムの実施の形態を詳細に説明する。
(実施の形態にかかる情報処理方法の一実施例)
図1は、実施の形態にかかる情報処理方法の一実施例を示す説明図である。図1において、情報処理装置100は、対象者の脈波波形の分析を支援するコンピュータである。対象者とは、脈波波形を計測する対象である。対象者は、例えば、人間である。対象者は、動物であってもよい。脈波波形とは、心臓の拍動に伴って対象者の血管を流れる血液の体積または圧力の時間変化を表す波形である。
ところで、高齢化や医療費の増加などの理由によって、対象者の生体情報を用いて対象者の健康に関する判断を効率よく行うことが求められている。例えば、対象者の生体情報のうちの脈波波形から得られる種々の情報は、対象者の生命反応を見るための重要な指標の一つであり、対象者の健康に関する判断を行う際に用いられる。具体的には、脈拍数は、対象者の健康状態を表す指標となりうる。また、脈拍数が異常に高い状態(いわゆる、頻脈)が、心理的なストレス負荷がないにも関わらず高頻度で発生したり持続したりする場合には、心臓の機能が正常に働いていないことが疑われる。また、一拍ごとの脈波間隔の揺らぎは、対象者にかかるストレスを表す指標となりうる。また、脈波波形は、対象者の血管年齢を表す指標となりうる。また、脈波波形は、対象者が、心不全や脳梗塞などの重大な病気につながる不整脈の状態であるか否かを表す指標となりうる。不整脈とは、心拍数や脈拍のリズムが一定ではないことである。不整脈の状態では、脈波波形が周期的ではない波形になる。
このように、対象者の健康状態に関する多くの情報が脈波波形から得られる。このため、できるだけ簡便な方法により、日常的かつ継続的に、対象者が意識しなくても、対象者の脈波波形を効率よく計測することが望ましい。例えば、対象者が何かしらの機器の操作を行わなくても、対象者の脈波波形を非侵襲かつ非接触で測定することが望ましい。ここで、例えば、対象者の血管での吸収光量が血流量に依存することを利用して、対象者の動画像から対象者の体表面の輝度変化を解析することにより、血管を流れる血液の体積の変動に対応する対象者の脈波波形を、非侵襲かつ非接触で計測する技術が考えられる。
一方で、計測された脈波波形にノイズが含まれる場合がある。例えば、対象者を撮影した動画像は、対象者の体動がある場合には、脈波波形の信号に対応する成分に加えて、対象者の体動に起因するノイズの成分を含んでしまう傾向がある。このため、例えば、対象者に静態を保たせることにより、対象者の脈波波形に含まれるノイズの成分を低減し、対象者の脈波波形の計測精度の向上を図る場合がある。
しかしながら、この場合では、対象者に長時間静態を保つ負担がかかってしまい、日常的かつ継続的に、対象者が意識しなくても、対象者の脈波波形を計測することは、困難になってしまう。さらに、対象者が静態を保つことができなければ、対象者の体動などに起因して脈波波形に現れるノイズが大きくなり、脈波波形にノイズが含まれることを回避することができない。結果として、脈波波形にノイズが含まれているために、精度よく脈波波形を解析することができないことがある。例えば、ノイズによって脈波波形に乱れが生じた場合に、対象者の不整脈などによって脈波波形が乱れたと誤って判定してしまうことがある。脈波波形の乱れとは、脈波波形が周期的ではない波形になることである。
そこで、本実施の形態では、対象者の動画像から、対象者の脈波波形の脈波らしさを示す第1の指標値と、脈波波形がどのくらい周期的であるかを示す第2の指標値とを算出することにより、脈波波形の分析精度の向上を図る情報処理方法について説明する。
第1の指標値とは、対象者の脈波波形が乱れた場合に、対象者の体動などに起因するノイズによって脈波波形が乱れたのか否かを示す値である。第1の指標値は、対象者の体動が脈波波形に与える影響の度合いを示す。第1の指標値は、例えば、対象者のそれぞれの部位にある血管を流れる血液の体積の変動を検出することにより得られるそれぞれの部位の脈波波形のうちの脈波波形間の一致度合いを示す値である。それぞれの部位は、例えば、対象者の左頬と右頬である。対象者の体動は、例えば、対象が首を振るなどである。部位の脈波波形は、当該部位表面の輝度変化を基に生成された脈波らしき波形である。
ここで、脈波波形間の一致度合いを示す値は、値が小さいほど、対象者の体動が大きく、対象者の体動に起因するノイズによって脈波波形が乱れやすい状態であることを示し、脈波らしさが小さいことを示す。具体的には、対象者の体動が比較的大きい場合には、それぞれの部位に当たる光量の変動度合いが異なり、それぞれの部位の色彩の変動度合いが異なるため、それぞれの部位の脈波波形の変動度合いも異なり、一致度合いを示す値が小さくなる。一方で、対象者の体動が比較的小さい場合には、それぞれの部位の色彩の変動度合いの差異が比較的小さいため、一致度合いを示す値が大きくなる。
第2の指標値とは、対象者の脈波波形がどのくらい周期的であるか(周期性の度合い)を示し、対象者の脈波波形においてどのくらい類似する部分波形が繰り返し現れるか否かを示す値である。また、第2の指標値は、対象者の脈波波形がどのくらい乱れているかを示す。第2の指標値は、例えば、対象者のいずれかの部位にある血管を流れる血液の体積の変動を検出することにより得られるいずれかの部位の脈波波形のうちの部分波形間の一致度合いを示す値である。いずれかの部位は、例えば、対象者の顔面である。第2の指標値は、具体的には、対象者のいずれかの部位の脈波波形のうちの脈波間隔のばらつきの大きさを示す値であってもよい。
ここで、部分波形間の一致度合いを示す値は、値が小さいほど、対象者のいずれかの部位の脈波波形の乱れが大きいことを示す。具体的には、対象者の体動や不整脈によれば、対象者のいずれかの部位の脈波波形の振幅が変動してしまい、いずれかの部位の脈波波形において類似する部分波形が繰り返されることなく、部分波形間の一致度合いを示す値が小さくなる。一方で、対象者の体動や不整脈がなければ、いずれかの部位の脈波波形が心臓の収縮や拡張に対応する周期的な波形になり、いずれかの部位の脈波波形において類似する部分波形が繰り返され、部分波形間の一致度合いを示す値が大きくなる。
第2の指標値は、例えば、対象者のいずれかの部位の脈波波形において隣り合う極大値または極小値の差分の標準偏差であってもよい。また、第2の指標値は、例えば、対象者のいずれかの部位の脈波波形における脈波間隔の標準偏差であってもよい。また、第2の指標値は、例えば、対象者のいずれかの部位の脈波波形から求められたスペクトル分布のピーク幅であってもよい。また、第2の指標値は、例えば、対象者のいずれかの部位の脈波波形から求められたスペクトル分布のピーク比率であってもよい。ピーク比率は、例えば、スペクトル分布のうちの最大値と2番目に大きい値との比率である。
図1の例では、(1−1)情報処理装置100は、対象者を撮影した複数の撮影画像のそれぞれの撮影画像に含まれる対象者の複数の部位のそれぞれの部位の画像を解析して得られた、それぞれの部位の脈波波形を取得する。撮影画像とは、光電変換素子によって、ある時点での被写体からの光信号を電気信号に変換して得られたデータである。撮影画像は、例えば、RGB(Red,Green,and Blue)カラーモデルによって、被写体の色についてRGB各色の大きさで表現したデータである。
複数の撮影画像とは、撮影された順に、時系列に並べられた複数の画像である。複数の撮影画像は、例えば、動画像101から得られる複数の画像である。動画像101とは、時系列に沿った一連のフレーム画像である。動画像101は、既に撮影が終了していてもよいし、リアルタイムに取得中であってもよい。複数の撮影画像は、例えば、動画像101に含まれる一連のフレーム画像である。部位とは、対象者の身体の一部分や対象者の身体の一部分のうちの所定部位である。複数の部位は、例えば、顔面と左頬と右頬となどである。
情報処理装置100は、例えば、他のコンピュータから、対象者の顔面を撮影した動画像101に含まれる対象者の顔面と左頬と右頬とのそれぞれの部位の画像を解析して得られたそれぞれの部位の脈波波形とを取得する。それぞれの部位の脈波波形を取得する詳細については、例えば、図4〜図8を用いて後述する。
情報処理装置100は、取得したそれぞれの部位の脈波波形のうち、少なくともいずれかの脈波波形間の一致度合いを示す第1の指標値を算出する。情報処理装置100は、例えば、相関係数を用いて、取得したそれぞれの部位の脈波波形のうち、左頬と右頬との脈波波形間の一致度合いを示す第1の指標値を算出する。第1の指標値を算出する詳細については、例えば、図10および図11を用いて後述する。
(1−2)情報処理装置100は、取得したそれぞれの部位の脈波波形のうち、少なくともいずれかの部位の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値を算出する。情報処理装置100は、例えば、相関係数を用いて、取得した顔面の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値を算出する。情報処理装置100は、顔面の脈波波形を取得していなければ、取得した左頬の脈波波形または右頬の脈波波形から第2の指標値を算出してもよい。第2の指標値を算出する詳細については、例えば、図12を用いて後述する。
(1−3)情報処理装置100は、算出した第1の指標値と第2の指標値とに基づいて、いずれかの部位の脈波波形が不整脈を示すか否かを判定する。脈波波形が不整脈を示すとは、当該脈波波形の少なくとも一部分に、対象者が不整脈のときの波形が含まれることである。情報処理装置100は、例えば、後述する第1の判定パターンまたは第2の判定パターンの少なくともいずれかによって、対象者の顔面の脈波波形が不整脈を示すか否かを判定する。情報処理装置100は、第1の判定パターンと第2の判定パターンとのうち、いずれか一方を行うことができなくてもよい。
〈第1の判定パターンによって不整脈を示すか否かを判定する一例〉
情報処理装置100は、例えば、算出した第1の指標値に基づいて、取得したいずれかの部位の脈波波形にノイズが含まれるか否かを判定する。情報処理装置100は、具体的には、算出した第1の指標値が第1の閾値未満である場合に顔面の脈波波形にノイズが含まれると判定し、算出した第1の指標値が第1の閾値以上である場合に顔面の脈波波形にノイズが含まれないと判定する。脈波波形にノイズが含まれないとは、脈波波形に含まれるノイズの成分が、脈波波形の分析において無視可能な程度に小さいことである。
情報処理装置100は、例えば、ノイズが含まれないと判定した場合に、算出した第2の指標値に基づいて、取得したいずれかの部位の脈波波形が不整脈を示すか否かを判定する。情報処理装置100は、具体的には、第2の指標値が第2の閾値以下であれば、顔面の脈波波形が不整脈を示すと判定する。脈波波形が不整脈を示すとは、脈波波形が不整脈のときの波形を含むことである。第1の判定パターンによって不整脈を示すか否かを判定する詳細については、例えば、図13および図14を用いて後述する。
〈第2の判定パターンによって不整脈を示すか否かを判定する一例〉
情報処理装置100は、例えば、算出した第1の指標値と、算出した第2の指標値と、不整脈のときの第1の指標値と第2の指標値との対応関係を示す情報とに基づいて、取得したいずれかの部位の脈波波形が不整脈を示すか否かを判定する。
対応関係を示す情報とは、例えば、不整脈のときの第1の指標値と第2の指標値との相関の強さを示す値についての第3の閾値を特定する情報である。情報処理装置100は、具体的には、算出した第1の指標値と、算出した第2の指標値との相関の強さを示す第3の指標値を算出し、第3の指標値が第3の閾値以下であれば、いずれかの部位の脈波波形が不整脈を示すと判定する。
対応関係を示す情報とは、第1の指標値の軸と第2の指標値の軸とを有する2次元平面上において不整脈のときの第1の指標値と第2の指標値との組み合わせが存在する領域を特定する情報であってもよい。情報処理装置100は、算出した第1の指標値が、算出した第2の指標値に対応する第1の指標値以上であれば、いずれかの部位の脈波波形が不整脈を示すと判定する。第2の判定パターンによって不整脈を示すか否かを判定する詳細については、例えば、図15〜図17を用いて後述する。
情報処理装置100は、いずれかの部位の脈波波形が不整脈を示すか否かの判定結果を出力する。情報処理装置100は、例えば、いずれかの部位の脈波波形と、いずれかの部位の脈波波形が不整脈を示すか否かの判定結果とを対応付けて、情報処理装置100が有するディスプレイに表示し、情報処理装置100のユーザに通知する。これによれば、情報処理装置100は、対象者を撮影した動画像101に基づいて、対象者のいずれかの部位の脈波波形の脈波らしさを示す第1の指標値を算出することができる。また、情報処理装置100は、対象者を撮影した動画像101に基づいて、対象者のいずれかの部位の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値を算出することができる。
これにより、情報処理装置100は、第1の指標値と第2の指標値とに基づいて、対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。そして、情報処理装置100は、対象者のいずれかの部位の脈波波形の解析精度の向上を図ることができる。情報処理装置100は、例えば、対象者のいずれかの部位の脈波波形が乱れても、対象者の体動に起因するノイズによって乱れたのか、不整脈によって乱れたのかを判別することができる。また、情報処理装置100は、例えば、対象者のいずれかの部位の脈波波形にノイズが含まれていても、対象者のいずれかの部位の脈波波形が不整脈によって乱れたのか、正常脈の波形かを判別することができる。結果として、情報処理装置100は、不整脈によって乱れた脈波波形を解析して対象者の健康に関する判断を行うことができる。
このように、情報処理装置100は、対象者が静態を保たなくても、対象者について得られた脈波波形を解析する解析精度の向上を図ることができる。このため、情報処理装置100は、できるだけ簡便な方法により、日常的かつ継続的に、対象者が意識しなくても、対象者の脈波波形を効率よく計測することを可能にすることができる。結果として、対象者は、何かしらの機器の操作を行わなくてもよく、静態を保つように努めなくてもよく、脈波波形を計測される際にかかる負担が低減されることになる。
ここでは、情報処理装置100が、他のコンピュータから、対象者のそれぞれの部位の脈波波形を取得する場合について説明したが、これに限らない。例えば、情報処理装置100は、対象者を撮影し、対象者を撮影した動画像101を解析することにより、対象者のそれぞれの部位の脈波波形を生成してもよい。具体的には、情報処理装置100がサーバとして動作し、クライアント装置から対象者のそれぞれの部位の脈波波形を取得し、取得したそれぞれの部位の脈波波形に基づいて不整脈を示すか否かを判定してもよい。このとき、情報処理装置100は、不整脈を示すか否かの判定結果をクライアント装置に送信してもよい。
また、例えば、情報処理装置100は、他のコンピュータから対象者を撮影した動画像101を取得し、動画像101を解析することにより、対象者のそれぞれの部位の脈波波形を生成してもよい。具体的には、情報処理装置100がサーバとして動作し、クライアント装置から動画像101を取得し、取得した動画像101から対象者のそれぞれの部位の脈波波形を生成し、生成したそれぞれの部位の脈波波形に基づいて不整脈を示すか否かを判定してもよい。このとき、情報処理装置100は、不整脈を示すか否かの判定結果をクライアント装置に送信してもよい。
(情報処理装置100のハードウェア構成例)
次に、図2を用いて、図1に示した情報処理装置100のハードウェア構成例について説明する。情報処理装置100は、例えば、サーバ、PC(Personal Computer)、ノートPC、タブレット型PC、スマートフォンなどである。
図2は、情報処理装置100のハードウェア構成例を示すブロック図である。図2において、情報処理装置100は、CPU(Central Processing Unit)201と、メモリ202と、I/F(Interface)203と、ディスクドライブ204と、ディスク205と、カメラ206とを有する。また、各構成部は、バス200によってそれぞれ接続される。
ここで、CPU201は、情報処理装置100の全体の制御を司る。メモリ202は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)およびフラッシュROMなどを有する。具体的には、例えば、フラッシュROMやROMが各種プログラムを記憶し、RAMがCPU201のワークエリアとして使用される。メモリ202に記憶されるプログラムは、CPU201にロードされることで、コーディングされている処理をCPU201に実行させる。
I/F203は、通信回線を通じてネットワーク210に接続され、ネットワーク210を介して他のコンピュータに接続される。そして、I/F203は、ネットワーク210と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。I/F203には、例えば、モデムやLAN(Local Area Network)アダプタなどを採用することができる。
ディスクドライブ204は、CPU201の制御に従ってディスク205に対するデータのリード/ライトを制御する。ディスクドライブ204は、例えば、磁気ディスクドライブである。ディスク205は、ディスクドライブ204の制御で書き込まれたデータを記憶する不揮発メモリである。
カメラ206は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの光電変換素子を有する装置である。カメラ206は、撮影範囲内の被写体からの光信号を光電変換素子によって電気信号に変換し、変換した電気信号から画像データを生成し、生成した画像データをメモリ202やディスク205に記憶する。カメラ206は、具体的には、スマートフォンのフロントカメラやPC組み込みのカメラなどである。
情報処理装置100は、上述した構成部のほか、例えば、SSD(Solid State Drive)、半導体メモリ、キーボード、マウス、ディスプレイなどを有することにしてもよい。また、情報処理装置100は、ディスクドライブ204およびディスク205の代わりに、SSDおよび半導体メモリなどを有していてもよい。また、情報処理装置100は、カメラ206を有さず、カメラを有する他のコンピュータと通信可能であってもよい。また、情報処理装置100は、カメラ206を有さず、ネットワーク上に存在する定点カメラなどと通信可能であってもよい。
(情報処理装置100の機能的構成例)
次に、図3を用いて、情報処理装置100の機能的構成例について説明する。図3は、情報処理装置100の機能的構成例を示すブロック図である。情報処理装置100は、取得部301と、算出部302と、判定部303と、分析部304と、出力部305とを含む。
取得部301〜出力部305は、制御部となる機能であり、例えば、図2に示したメモリ202やディスク205などの記憶領域に記憶されたプログラムをCPU201に実行させることにより、または、I/F203により、その機能を実現する。各機能部の処理結果は、例えば、メモリ202やディスク205などの記憶領域に記憶される。
取得部301は、対象者を撮影した複数の撮影画像のそれぞれの撮影画像に含まれる対象者の複数の部位のそれぞれの部位の画像を解析して得られたそれぞれの部位の脈波波形を取得する。複数の部位は、例えば、連動する2つ以上の部位を含む。連動する2つ以上の部位とは、対象者の動きに応じて一緒に同様に動く部位である。連動する2つ以上の部位は、例えば、対象者の顔面の動きに応じて一緒に同様に動く対象者の左頬と鼻である。
また、複数の部位は、同一平面上にない2つ以上の部位を含んでもよい。同一平面上にない2つ以上の部位とは、例えば、曲面上にある2つ以上の部位である。同一平面上にない2つ以上の部位は、例えば、対象者の左頬と額である。また、複数の部位は、対象者の身体において対称的に存在する部位を含んでもよい。対称的に存在する部位は、例えば、対象者の顔に対称的に存在する左頬と右頬である。
複数の部位のうちの2つ以上の部位は包含関係であってもよい。複数の部位は、例えば、対象者の顔面と、対象者の顔面に包含される対象者の左頬とを含んでもよい。複数の部位は、具体的には、対象者の顔面と、対象者の顔面のうちの左頬と、対象者の顔面のうちの右頬とを含んでもよい。解析とは、例えば、対象者のそれぞれの部位の一連の画像をスペクトル分析することにより、当該部位における肌の色彩の変動に基づいて、当該部位の血管を流れる血液の体積の変動を検出することである。
取得部301は、例えば、対象者の顔面、左頬、および、右頬の脈波波形を、他のコンピュータから受信する。これにより、取得部301は、不整脈を示すか否かの判定対象になる対象者のいずれかの部位の脈波波形を取得することができる。また、取得部301は、不整脈を示すか否かの判定に用いる第1の指標値と第2の指標値との算出元になる対象者のそれぞれの部位の脈波波形を取得することができる。ここで、例えば、不整脈を示すか否かの判定対象になる脈波波形と、第1の指標値と第2の指標値との算出元になる脈波波形とは、少なくとも同じ複数の撮影画像から生成された脈波波形であればよく、異なる脈波波形であってもよいし、重複してもよい。
取得部301は、所定期間内のそれぞれの期間に対象者を撮影したそれぞれの撮影画像に含まれるそれぞれの部位の画像を解析して得られた、それぞれの期間でのそれぞれの部位の脈波波形を取得してもよい。それぞれの期間は、他の期間と重複する部分を有してもよい。それぞれの期間は、他の期間と接さず、他の期間から離れていてもよい。それぞれの期間は、他の期間と連続していてもよい。
取得部301は、例えば、所定期間内のそれぞれの期間に対象者を撮影したそれぞれの撮影画像に含まれる対象者の顔面、左頬、および、右頬の画像を解析して得られた、それぞれの期間での対象者の顔面、左頬、および、右頬の脈波波形を取得する。これにより、取得部301は、不整脈を示すか否かの判定対象になる対象者のいずれかの部位の脈波波形を取得することができる。また、取得部301は、不整脈を示すか否かの判定に用いる第1の指標値と第2の指標値との算出元になる対象者のそれぞれの部位の脈波波形を取得することができる。
取得部301は、対象者を撮影した複数の撮影画像のそれぞれの撮影画像を取得し、それぞれの撮影画像に含まれる対象者のそれぞれの部位の画像を解析し、それぞれの部位の脈波波形を生成してもよい。複数の撮影画像は、例えば、動画像101に含まれる一連のフレーム画像から抽出された所定の条件を満たすフレーム画像であってもよい。複数の撮影画像は、具体的には、1/60秒間隔で撮影された一連のフレーム画像のうちの1/6秒間隔で撮影された複数のフレーム画像であってもよい。
複数の撮影画像は、例えば、動画像101に含まれる一連のフレーム画像を加工した加工後の一連のフレーム画像であってもよい。複数の撮影画像は、具体的には、動画像101に含まれる一連のフレーム画像から所定の波長成分を取り出して得られる、所定の波長成分で表現された一連の画像であってもよい。複数の撮影画像は、静止画像を撮影可能なデジタルカメラなどの撮影装置によって連続撮影された複数の画像であってもよい。
いずれかの部位の画像は、それぞれの撮影画像において一定の大きさでなくてもよい。それぞれの撮影画像は、例えば、動画像101から抽出された、対象者のいずれかの部位の画像が所定の大きさ以上になる撮影画像であってもよい。動画像101は、例えば、他のコンピュータによって、映像を撮影可能なビデオカメラなどの撮影装置を用いて撮影された一連のフレーム画像である。
取得部301は、例えば、対象者を撮影した動画像101を取得し、取得した動画像101のそれぞれの撮影画像に含まれる対象者の顔面、左頬、および、右頬の画像を抽出する。そして、取得部301は、抽出した画像を解析することにより対象者の顔面、左頬、および、右頬の脈波波形を生成する。これにより、取得部301は、不整脈を示すか否かの判定対象になる対象者のいずれかの部位の脈波波形を取得することができる。また、取得部301は、不整脈を示すか否かの判定に用いる第1の指標値と第2の指標値との算出元になる対象者のそれぞれの部位の脈波波形を取得することができる。
取得部301は、所定期間内のそれぞれの期間に対象者を撮影したそれぞれの撮影画像を取得してもよい。そして、取得部301は、取得したそれぞれの期間でのそれぞれの撮影画像に含まれる対象者のそれぞれの部位の画像を解析し、それぞれの期間でのそれぞれの部位の脈波波形を生成してもよい。
取得部301は、例えば、所定期間内のそれぞれの期間に対象者を撮影したそれぞれの撮影画像を取得し、取得したそれぞれの期間でのそれぞれの撮影画像に含まれる対象者の顔面、左頬、および、右頬の画像を抽出する。そして、取得部301は、それぞれの期間でのそれぞれの撮影画像から抽出した対象者の顔面、左頬、および、右頬の画像を解析することにより、それぞれの期間での対象者の顔面、左頬、および、右頬の脈波波形を生成する。これにより、取得部301は、不整脈を示すか否かの判定対象になる対象者のいずれかの部位の脈波波形を取得することができる。また、取得部301は、不整脈を示すか否かの判定に用いる第1の指標値と第2の指標値との算出元になる対象者のそれぞれの部位の脈波波形を取得することができる。
取得部301は、対象者を撮影し、対象者を撮影したそれぞれの撮影画像を取得し、それぞれの撮影画像に含まれる対象者のそれぞれの部位の画像を解析し、それぞれの部位の脈波波形を生成してもよい。
取得部301は、例えば、カメラ206を用いて対象者を撮影し、対象者を撮影した動画像101を取得し、取得した動画像101のそれぞれの撮影画像に含まれる対象者の顔面、左頬、および、右頬の画像を抽出する。そして、取得部301は、抽出した画像を解析することにより対象者の顔面、左頬、および、右頬の脈波波形を生成する。これにより、取得部301は、不整脈を示すか否かの判定対象になる対象者のいずれかの部位の脈波波形を取得することができる。また、取得部301は、不整脈を示すか否かの判定に用いる第1の指標値と第2の指標値との算出元になる対象者のそれぞれの部位の脈波波形を取得することができる。
取得部301は、所定期間内のそれぞれの期間に対象者を撮影し、対象者を撮影したそれぞれの撮影画像を取得してもよい。そして、取得部301は、取得したそれぞれの期間でのそれぞれの撮影画像に含まれる対象者のそれぞれの部位の画像を解析し、それぞれの部位の脈波波形を生成してもよい。
取得部301は、例えば、所定期間内のそれぞれの期間に対象者を撮影し、対象者を撮影したそれぞれの期間でのそれぞれの撮影画像を取得し、取得したそれぞれの期間でのそれぞれの撮影画像に含まれる対象者の顔面、左頬、および、右頬の画像を抽出する。そして、取得部301は、それぞれの期間でのそれぞれの撮影画像から抽出した対象者の顔面、左頬、および、右頬の画像を解析することにより、それぞれの期間での対象者の顔面、左頬、および、右頬の脈波波形を生成する。
これにより、取得部301は、不整脈を示すか否かの判定対象になる対象者のいずれかの部位の脈波波形を取得することができる。また、取得部301は、不整脈を示すか否かの判定に用いる第1の指標値と第2の指標値との算出元になる対象者のそれぞれの部位の脈波波形を取得することができる。
算出部302は、対象者のいずれかの部位の脈波波形の脈波らしさを示す第1の指標値を算出する。第1の指標値は、例えば、対象者のそれぞれの部位の脈波波形のうち、少なくともいずれかの脈波波形間の一致度合いを示す値である。第1の指標値は、対象者のそれぞれの部位の脈波波形のうちの脈波波形間の一致度合いを示す値の平均値、中央値、最大値、最小値などの統計値であってもよい。
算出部302は、例えば、第1の指標値として、取得部301が取得したそれぞれの部位の脈波波形のうちの脈波波形間の一致度合いを示す値を算出する。算出部302は、具体的には、相関係数を用いて、第1の指標値として、取得部301が取得した対象者の顔面、左頬、および、右頬の脈波波形のうち、左頬と右頬との脈波波形間の一致度合いを示す値を算出する。これにより、算出部302は、不整脈を示すか否かの判定に用いる第1の指標値を算出することができる。
算出部302は、例えば、それぞれの期間について、第1の指標値として、取得部301が取得したそれぞれの期間でのそれぞれの部位の脈波波形のうちの脈波波形間の一致度合いを示す値を算出してもよい。算出部302は、具体的には、相関係数を用いて、それぞれの期間について、第1の指標値として、取得部301が取得したそれぞれの期間での対象者の顔面、左頬、および、右頬の脈波波形のうち、左頬と右頬との脈波波形間の一致度合いを示す値を算出する。これにより、算出部302は、不整脈を示すか否かの判定に用いる第1の指標値を算出することができる。
算出部302は、対象者のいずれかの部位の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値を算出する。第2の指標値は、例えば、対象者のいずれかの部位の脈波波形のうちの所定周期分の長さの部分波形間の一致度合いを示す値である。第2の指標値は、対象者のそれぞれの部位の脈波波形のうちの所定周期分の長さの部分波形間の一致度合いを示す値の平均値、中央値、最大値、最小値などの統計値であってもよい。
第2の指標値は、対象者のいずれかの部位の脈波波形のうちの脈波間隔のばらつきの大きさを示す値であってもよい。第2の指標値は、対象者のそれぞれの部位の脈波波形のうちの脈波間隔のばらつきの大きさを示す値の平均値、中央値、最大値、最小値などの統計値であってもよい。第2の指標値は、対象者のいずれかの部位の脈波波形のうちの振幅のばらつきの大きさを示す値であってもよい。第2の指標値は、対象者のそれぞれの部位の脈波波形のうちの振幅のばらつきの大きさを示す値の平均値、中央値、最大値、最小値などの統計値であってもよい。
算出部302は、例えば、第2の指標値として、取得部301が取得したそれぞれの部位の脈波波形のうち、少なくともいずれかの部位の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値を算出する。算出部302は、具体的には、相関係数を用いて、第2の指標値として、取得部301が取得した対象者の顔面の脈波波形のうちの部分波形間の一致度合いを示す値を算出する。これにより、算出部302は、不整脈を示すか否かの判定に用いる第2の指標値を算出することができる。
算出部302は、例えば、それぞれの期間について、第2の指標値として、取得部301が取得したそれぞれの期間でのいずれかの部位の脈波波形のうちの部分波形間の一致度合いを示す値を算出してもよい。算出部302は、具体的には、相関係数を用いて、それぞれの期間について、第2の指標値として、取得部301が取得したそれぞれの期間での対象者の顔面の脈波波形のうちの部分波形間の一致度合いを示す値を算出する。これにより、算出部302は、不整脈を示すか否かの判定に用いる第2の指標値を算出することができる。
算出部302は、それぞれの期間について算出部302が算出した第1の指標値と第2の指標値とに基づいて第3の指標値を算出する。第3の指標値とは、第1の指標値と第2の指標値との相関の強さを示す値である。第3の指標値は、例えば、それぞれの期間について算出部302が算出した第1の指標値と第2の指標値とから求められる相関係数の値である。算出部302は、例えば、第3の指標値として、それぞれの期間について算出部302が算出した第1の指標値と第2の指標値とを相関係数の算出式に代入することにより、算出部302が算出した第1の指標値と第2の指標値とに対応する相関係数の値を算出する。これにより、算出部302は、不整脈を示すか否かの判定に用いる第3の指標値を算出することができる。
算出部302は、それぞれの期間について算出した第2の指標値に基づいて第4の指標値を算出する。第4の指標値とは、対象者のいずれかの部位の脈波波形の乱れの大きさのばらつきの大きさを示す値である。第4の指標値は、第2の指標値のばらつきの大きさを示す値である。第4の指標値は、例えば、第2の指標値の最大値と最小値との差分である。第4の指標値は、第2の指標値の標準偏差であってもよい。第4の指標値は、第2の指標値の中央値であってもよい。これにより、算出部302は、不整脈を示すか否かの判定に用いる第4の指標値を算出することができる。
算出部302は、第4の指標値を算出する場合に、算出した第4の指標値が第4の閾値以下であれば、第3の指標値を算出しなくてもよい。そして、算出部302は、算出した第4の指標値が第4の閾値より大きければ、第3の指標値を算出する。これにより、算出部302は、処理量を低減することができる。
判定部303は、第1の判定パターンまたは第2の判定パターンによって、対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定する。また、判定部303は、第4の指標値に基づいて、第1の判定パターンと第2の判定パターンとを使い分けてもよい。以下の説明では、第1の判定パターンと第2の判定パターンを使い分ける場合を「第3の判定パターン」と表記する場合がある。
〈第1の判定パターン〉
判定部303は、それぞれの期間について算出部302が算出した第1の指標値に基づいて、取得部301が取得したそれぞれの期間でのいずれかの部位の脈波波形にノイズが含まれるか否かを判定する。判定部303は、例えば、それぞれの期間について算出部302が算出した第1の指標値が第1の閾値以下である場合に、取得部301が取得したそれぞれの期間での対象者の顔面の脈波波形にノイズが含まれると判定する。
判定部303は、それぞれの期間について算出部302が算出した第1の指標値および第2の指標値に基づいて、取得部301が取得したそれぞれの期間でのいずれかの部位の脈波波形にノイズが含まれるか否かを判定してもよい。判定部303は、例えば、それぞれの期間について、算出部302が算出した第1の指標値が第1の閾値以下である場合に、取得部301が取得したそれぞれの期間での対象者の顔面の脈波波形にノイズが含まれると判定する。または、判定部303は、それぞれの期間について、算出部302が算出した第2の指標値が第5の閾値以下である場合に、取得部301が取得したそれぞれの期間での対象者の顔面の脈波波形にノイズが含まれると判定する。第5の閾値は、例えば、第2の閾値よりも大きい値である。
判定部303は、所定期間内でノイズが含まれないと判定した期間それぞれについて算出部302が算出した第2の指標値に基づいて、ノイズが含まれないと判定した期間それぞれでの対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定する。
判定部303は、例えば、所定期間内でノイズが含まれないと判定した期間それぞれについて算出部302が算出した第2の指標値が第2の閾値より小さいか否かを判定する。判定部303は、算出部302が算出した第2の指標値が第2の閾値より小さいと判定した期間があれば、第2の閾値より小さいと判定した期間での対象者の顔面の脈波波形が不整脈を示すと判定する。
判定部303は、ノイズが含まれるか否かの判定では第2の指標値として部分波形間の一致度合いを示す値を採用し、不整脈を示すか否かの判定では第2の指標値として脈波間隔のばらつきの大きさを示す値を採用してもよい。また、判定部303は、ノイズが含まれるか否かの判定では第2の指標値として脈波間隔のばらつきの大きさを示す値を採用し、不整脈を示すか否かの判定では第2の指標値として部分波形間の一致度合いを示す値を採用してもよい。これにより、判定部303は、それぞれの期間での対象者のいずれかの部位の脈波波形のうち、不整脈を示す対象者のいずれかの部位の脈波波形を検出することができる。
判定部303は、所定期間内でノイズが含まれないと判定した期間それぞれについて算出部302が算出した第2の指標値に基づいて、所定期間での対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定してもよい。
判定部303は、例えば、所定期間内でノイズが含まれないと判定した期間それぞれについて算出部302が算出した第2の指標値が第2の閾値より小さいか否かを判定する。判定部303は、所定期間内でノイズが含まれないと判定した期間のうちで第2の指標値が第2の閾値より小さいと判定した期間の割合に基づいて、所定期間内でのいずれかの部位の脈波波形が不整脈を示すか否かを判定する。これにより、判定部303は、所定期間での対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。
判定部303は、所定期間内でノイズが含まれないと判定した期間それぞれでの対象者のいずれかの部位の脈波波形が不整脈を示すか否かの判定結果に基づいて、不整脈のときの第1の指標値と第2の指標値との対応関係を示す情報を生成してもよい。これにより、判定部303は、第2の判定パターンに用いる対応関係を示す情報を生成することができる。
〈第2の判定パターン〉
判定部303は、算出部302が算出した第1の指標値と第2の指標値との組み合わせと、第1の指標値と第2の指標値との対応関係を示す情報とに基づいて、取得したいずれかの部位の脈波波形が不整脈を示すか否かを判定する。対応関係を示す情報は、例えば、不整脈のときの第1の指標値と第2の指標値との相関の強さを示す値についての情報である。対応関係を示す情報とは、第1の指標値の軸と第2の指標値の軸とを有する2次元平面上において不整脈のときの第1の指標値と第2の指標値との組み合わせが存在する領域の情報であってもよく、あるいは、前記領域を特定する情報であってもよい。対応関係を示す情報は、不整脈でないときの第1の指標値と第2の指標値の組み合わせに関する情報であっても良い。あるいは、不整脈のときと不整脈でないときの両方の第1の指標値と第2の指標値の組み合わせに関する情報であってもよい。
判定部303は、例えば、対応関係を示す情報を参照して、それぞれの期間について算出部302が算出した第2の指標値に対応する第1の指標値を特定する。判定部303は、それぞれの期間について算出部302が算出した第1の指標値が、特定した第1の指標値以上であると判定した場合に、取得したいずれかの部位の脈波波形が不整脈を示すと判定する。これにより、判定部303は、それぞれの期間での対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。
判定部303は、例えば、対応関係を示す情報を第3の指標値として、算出部302が算出した第3の指標値が第3の閾値以下であると判定した場合に、所定期間内でのいずれかの部位の脈波波形が不整脈を示すと判定する。これにより、判定部303は、所定期間での対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。
〈第3の判定パターン〉
判定部303は、算出部302が算出した第4の指標値が第4の閾値以下である場合に、第1の判定パターンによって、それぞれの期間でのいずれかの部位の脈波波形が不整脈を示すか否かを判定する。または、判定部303は、算出部302が算出した第4の指標値が第4の閾値以下である場合に、第1の判定パターンによって、所定期間内でのいずれかの部位の脈波波形が不整脈を示すか否かを判定する。これにより、判定部303は、それぞれの期間での対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。または、判定部303は、所定期間での対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。
判定部303は、算出部302が算出した第4の指標値が第4の閾値より大きい場合に、第2の判定パターンによって、それぞれの期間でのいずれかの部位の脈波波形が不整脈を示すか否かを判定する。または、判定部303は、算出部302が算出した第4の指標値が第4の閾値より大きい場合に、第2の判定パターンによって、所定期間内でのいずれかの部位の脈波波形が不整脈を示すか否かを判定する。これにより、判定部303は、それぞれの期間での対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。または、判定部303は、所定期間での対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。
分析部304は、対象者のいずれかの部位の脈波波形が不整脈を示すか否かの判定結果に基づいて、対象者のいずれかの部位の脈波波形を分析する。分析部304は、例えば、不整脈を示すと判定された対象者の脈波波形の分析に関する指標値を算出する。分析部304は、具体的には、不整脈を示すと判定された対象者のいずれかの部位の脈波波形を用いて、対象者にかかるストレスの指標値を算出したり、脳梗塞などの病気の兆候があるか否かを判断したりする。これにより、分析部304は、対象者の脈波波形を分析して、対象者の健康に関する判断を行うことができる。
出力部305は、いずれかの部位の脈波波形が不整脈を示すか否かの判定結果、または、分析部304による分析結果の少なくともいずれかを出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、I/F203による外部装置への送信、メモリ202やディスク205などの記憶領域への記憶などがある。
出力部305は、例えば、取得部301が取得した対象者の顔面の脈波波形と、対象者の顔面の脈波波形が不整脈を示すか否かの判定結果とを対応付けて出力する。これにより、出力部305は、対象者の顔面の脈波波形が不整脈を示すか否かの判定結果をユーザに通知することができる。ユーザは、対象者の顔面の脈波波形が不整脈を示すか否かの判定結果を参照して、対象者の健康に関する判断が可能になる。
(対象者の脈波波形が不整脈を示すか否かを判定する実施例)
次に、図4〜図17を用いて、情報処理装置100が、対象者の脈波波形が不整脈を示すか否かを判定する実施例について説明する。
まず、情報処理装置100は、所定期間内に対象者を撮影した動画像101を取得する。動画像101は、例えば、RGBの輝度によって表現される一連の撮影画像である。また、動画像101は、RGBとは異なる波長帯に属する色の輝度によって表現されてもよい。また、動画像101は、近赤外や赤の輝度によって表現されてもよい。
また、動画像101は、例えば、輝度と相関関係がある一連のデータであってもよい。動画像101は、例えば、レーザースペックル血流計によって取得される一連のデータのように、光の当たり方によって信号強度が変わるものであれば、信号強度が赤血球の量や速度に依存していてもよい。情報処理装置100は、所定期間内に対象者を撮影した複数の動画像101を取得してもよい。
次に、情報処理装置100は、取得した動画像101から、対象者についての所定の画像を抽出する。所定の画像は、例えば、対象者の複数の部位が含まれる対象者の身体の一部分が写った画像である。対象者の身体の一部分は、例えば、顔、腕、首、足首、手、指などである。複数の部位は、例えば、対象者の身体の一部分が顔であれば、顔面、顔面左側、顔面右側、額、左頬、右頬などである。
情報処理装置100は、例えば、図4〜図6に後述する対象者のそれぞれの部位の画像を抽出する第1例〜第3例のいずれかのように、取得した動画像101から、対象者のそれぞれの部位の脈波波形の生成元となる対象者のそれぞれの部位の画像を抽出する。ここで、図4の説明に移行する。
〈対象者のそれぞれの部位の画像を抽出する第1例〉
図4は、対象者のそれぞれの部位の画像を抽出する第1例を示す説明図である。ここで、情報処理装置100は、脈波波形の生成元の画像のうちで対象者の身体が写った領域が大きいほうが、脈波波形を精度よく計測しやすくなる。一方で、情報処理装置100は、脈波波形の生成元の画像のうちで対象者の身体以外の部分が写った領域が含まれると、脈波波形を精度よく計測することが難しくなる。例えば、対象者が写っていない背景などの領域は、対象者の部位以外の輝度を示すため、対象者の部位の脈波波形に対してノイズを生じさせうる。
このため、情報処理装置100は、対象者のそれぞれの部位が写った領域が大きくなり、かつ、対象者のそれぞれの部位以外が写った領域が小さくなるように、対象者のそれぞれの部位の画像を抽出することが好ましい。また、情報処理装置100は、動画像101のうち、必ずしもすべての撮影画像から対象者のそれぞれの部位の画像を抽出しなくてもよい。情報処理装置100は、例えば、動画像101のいずれかの撮影画像において対象者のそれぞれの部位が写った領域が一定以下であれば、当該撮影画像から対象者のそれぞれの部位の画像を抽出しなくてもよい。
図4において、情報処理装置100は、動画像101のそれぞれの撮影画像400について、顔検出エンジンを用いて対象者の顔面が写った領域を検出し、対象者の部位の画像の一つとして対象者の顔面の画像410を抽出する。顔検出エンジンとは、所定の画像の中から人の顔、および、人の顔のうちの額や鼻や口や目や頬などの部位が写った領域を検出するソフトウェアである。情報処理装置100は、さらに、動画像101のそれぞれの撮影画像400から抽出した対象者の顔面の画像410を左右で分割し、対象者の部位の画像の一つとして顔面左側の画像411と、顔面右側の画像412とを抽出する。
ここで、対象者の部位が写った領域が相対的に大きい画像から生成された脈波波形のほうが、S(Signal)/N(Noise)比が高くなる傾向がある。S/N比は、値が比較的高いときにノイズが比較的少ないことを示す。このため、情報処理装置100は、不整脈を示すか否かを判定する対象になる脈波波形の生成元の画像として、相対的に対象者の部位が写った領域が大きい対象者の顔面の画像を用いるように設定する。そして、情報処理装置100は、第1の指標値を算出する際に用いられる脈波波形の生成元の画像としては、残った顔面左側の画像411と、顔面右側の画像412とを用いるように設定する。
このとき、情報処理装置100は、動画像101に含まれる撮影画像400のうち、必ずしもすべての撮影画像400から、対象者の顔面の画像410と、顔面左側の画像411と、顔面右側の画像412とを抽出しなくてもよい。情報処理装置100は、例えば、顔面左側の画像411、または、顔面右側の画像412が所定の大きさ以下である撮影画像400からは、顔面左側の画像411と、顔面右側の画像412とを抽出しなくてもよい。
これにより、情報処理装置100は、脈波波形を計測する精度を悪化させる可能性がある撮影画像400からは、対象者のそれぞれの部位の画像を抽出せず、対象者のそれぞれの部位の脈波波形を精度よく計測しやすくすることができる。また、情報処理装置100は、対象者のそれぞれの部位の画像を抽出する際にかかる処理量を低減し、処理時間の増大を抑制することができる。ここで、図5の説明に移行する。
〈対象者のそれぞれの部位の画像を抽出する第2例〉
図5は、対象者のそれぞれの部位の画像を抽出する第2例を示す説明図である。ここで、情報処理装置100は、第1の指標値を算出する際に用いられる脈波波形の生成元の画像として対象者の3つ以上の部位のそれぞれの部位の画像を用いて、対象者の種々の体動を考慮して第1の指標値を算出してもよい。種々の体動は、例えば、対象者の顔の上下の動きと、対象者の顔の左右の動きとである。
情報処理装置100は、例えば、第1の指標値を算出する際に用いられる脈波波形の生成元の画像として、対象者の顔面の左右方向に存在する部位の画像が含まれるようにし、かつ、対象者の顔面の上下方向に存在する部位の画像が含まれるようにする。対象者の顔面の左右方向に存在する部位の画像と、対象者の顔面の上下方向に存在する部位の画像とは、重複する画像を含んでもよい。これにより、情報処理装置100は、対象者の顔面の左右への動きに起因するノイズと、対象者の顔面の上下の動きに起因するノイズとをより考慮して第1の指標値を算出可能になる。
図5において、情報処理装置100は、動画像101のそれぞれの撮影画像400について、顔検出エンジンを用いて対象者の顔面が写った領域を検出し、対象者の顔面の画像410を抽出する。情報処理装置100は、さらに、顔検出エンジンを用いて、対象者の額が写った領域、左頬が写った領域、右頬が写った領域を検出し、対象者の額の画像501と、左頬の画像502と、右頬の画像503とを抽出する。これにより、情報処理装置100は、顔の上下の動きなどの顔の左右の動き以外もより考慮して、第1の指標値を算出可能にすることができる。ここで、図6の説明に移行する。
〈対象者のそれぞれの部位の画像を抽出する第3例〉
図6は、対象者のそれぞれの部位の画像を抽出する第3例を示す説明図である。ここで、対象者の身体には、対象者が静止させた状態を保つことが難しく、脈波波形にノイズを生じさせやすい部位が存在する。例えば、対象者の目は、瞬きにより、長時間静止させた状態を保つことが難しく、脈波波形にノイズを生じさせてしまう傾向がある。
このため、情報処理装置100は、対象者のそれぞれの部位の脈波波形の生成元の画像として、対象者が静止させた状態を保つことが難しく、脈波波形にノイズを生じさせやすい部位が写った領域を除外した画像を抽出してもよい。これにより、情報処理装置100は、第1の指標値を精度よく算出しやすくすることができる。
図6において、情報処理装置100は、動画像101のそれぞれの撮影画像400について、顔検出エンジンを用いて対象者の顔面が写った領域を検出し、対象者の顔面の画像410を抽出する。情報処理装置100は、さらに、顔検出エンジンを用いて、対象者の目が写った領域を検出し、対象者の顔面が写った領域から対象者の目が写った領域を除外する。
また、情報処理装置100は、さらに、対象者の顔面の画像410のうち、対象者の目が写った領域よりも上にある顔上部の画像601を抽出する。また、情報処理装置100は、さらに、対象者の顔面の画像410のうち、対象者の目が写った領域よりも下にある顔下部の画像602を抽出する。また、情報処理装置100は、さらに、対象者の顔下部の画像602のうち、左頬の画像502と、右頬の画像503とを抽出する。
これにより、情報処理装置100は、目などのノイズを発生させやすい部位が写った領域を除外した画像を抽出し、ノイズの低減化を図ることができる。以下では、図4に示した第1例のように、情報処理装置100が、対象者の顔面の画像410と、対象者の顔面左側の画像411と、対象者の顔面右側の画像412とを抽出した場合を例に挙げて、実施例についての説明を続ける。
情報処理装置100は、抽出した対象者の顔面の画像410、顔面左側の画像411、および、顔面右側の画像412に基づいて、対象者の顔面の脈波波形、顔面左側の脈波波形、および、顔面右側の脈波波形を生成する。情報処理装置100は、例えば、図7および図8に後述する一例のように、対象者の顔面の脈波波形、顔面左側の脈波波形、および、顔面右側の脈波波形を生成する。ここで、図7の説明に移行する。
〈対象者のそれぞれの部位の脈波波形を生成する一例〉
図7および図8は、対象者のそれぞれの部位の脈波波形を生成する一例を示す説明図である。脈波波形を生成する技術としては、例えば、国際公開第2014/038077号に記載の技術を参照することができる。
ここで、心臓の収縮や拡張に応じて、人の身体の血管を流れる血流量は変動する。そして、対象者の血管での吸収光量は、血管を流れる血流量に依存する傾向がある。このため、心臓の収縮や拡張に応じて、撮影画像のうちの対象者の部位の画像の輝度も変動し、対象者の部位における脈拍に対応する輝度になる。換言すれば、撮影画像のうちの対象者の部位の画像における所定の波長成分の代表値の時系列データは、対象者の部位についての脈拍成分を含む時系列データになる。
一方で、対象者の体動などによる対象者の部位に当たる光量の変動に応じて、撮影画像のうちの対象者の部位の画像の輝度は変動してしまうことがある。このため、撮影画像のうちの対象者の部位の画像の所定の波長成分の代表値の時系列データは、対象者の部位についての脈拍成分とは異なるノイズ成分も含むことがある。
そこで、情報処理装置100は、複数の波長成分の代表値の時系列データを取得し、後述するフィルタなどを用いた所定の演算を行い、撮影画像の所定の波長成分の代表値の時系列データからノイズ成分の低減化を図って、対象者の部位の脈波波形を生成する。
図7において、情報処理装置100は、それぞれの撮影画像fn−2,fn−1,fnなどから抽出した対象者のいずれかの部位の画像に基づいて、当該画像に含まれる所定の波長成分の代表値の時系列データを取得する。情報処理装置100は、例えば、対象者のいずれかの部位の画像に含まれる、R成分、G成分、および、B成分の代表値の時系列データを取得する。R成分、G成分、および、B成分の代表値は、それぞれ、例えば、R成分、G成分、および、B成分の平均値である。
情報処理装置100は、取得した代表値の時系列データが、等時間間隔の時系列データではない場合には、線形近似やスプライン近似を用いたリサンプリング技術によって、代表値の時系列データを等時間間隔の時系列データに変換する。等時間間隔の時系列データは、例えば、それぞれの時刻tn−2,tn−1,tnなどにおける所定の波長成分の代表値の時系列データである。
情報処理装置100は、血液中のヘモグロビンが緑色の光を吸収する特性があるため、脈拍成分を表す度合いが相対的に大きいG成分の代表値の時系列データを、dbGreenとして設定する。また、情報処理装置100は、G成分の代表値以外のR成分の代表値とB成分の代表値との平均値の時系列データを生成し、dbRedとして設定する。ここで、図8の説明に移行する。
図8において、情報処理装置100は、BPF(Band Pass Filter)によって、dbGreenおよびdbRedから、心拍成分を含まない特定周波数帯の信号成分を抽出する。特定周波数帯は、例えば、12bpm以上18bpm未満の周波数である。そして、情報処理装置100は、抽出した特定周波数帯の信号成分に基づいて、脈波波形を生成する際に補正係数kとして用いられるノイズ成分の比率を算出する。
また、情報処理装置100は、BPFによって、dbGreenおよびdbRedから、心拍成分を含む脈波周波数帯の信号成分を抽出する。脈波周波数帯は、例えば、42bpm以上150bpm未満の周波数帯である。そして、情報処理装置100は、抽出した脈波周波数帯の信号成分と、補正係数kとに基づいて、対象者のいずれかの部位の脈波波形を生成する。
情報処理装置100は、具体的には、BPF801によって、dbRedの特定周波数帯の信号成分を抽出する。また、情報処理装置100は、BPF801によって、dbGreenの特定周波数帯の信号成分を抽出する。次に、情報処理装置100は、演算部802によって、dbRedの特定周波数帯の信号成分の絶対値の時系列データを抽出する。また、情報処理装置100は、演算部802によって、dbGreenの特定周波数帯の信号成分の絶対値の時系列データを抽出する。
そして、情報処理装置100は、LPF(Low Pass Filter)803によって、dbRedの特定周波数帯の絶対値の時系列データに対して平滑化処理を実行し、急峻な周波数成分を除去する。また、情報処理装置100は、LPF803によって、dbGreenの特定周波数帯の絶対値の時系列データに対して平滑化処理を実行し、急峻な周波数成分を除去する。さらに、情報処理装置100は、演算部804によって、平滑化されたdbRedの特定周波数帯の絶対値を、平滑化されたdbGreenの特定周波数帯の絶対値で除算して、補正係数kを算出する。
情報処理装置100は、BPF805によって、dbRedの脈波周波数帯の信号成分を抽出する。また、情報処理装置100は、BPF805によって、dbGreenの脈波周波数帯の信号成分を抽出する。次に、情報処理装置100は、演算部806によって、抽出されたdbRedの脈波周波数帯の信号成分に、算出した補正係数kを乗算する。そして、情報処理装置100は、演算部807によって、抽出されたdbGreenの脈波周波数帯の信号成分から、補正係数kが乗算されたdbRedの脈波周波数帯の信号成分を減算する。
次に、情報処理装置100は、BPF808によって、減算後の信号の時系列データの脈波周波数帯の信号成分を抽出する。そして、情報処理装置100は、抽出された波形を対象者のいずれかの部位の脈波波形として設定する。また、情報処理装置100は、残りの部位それぞれの画像についても、図7および図8と同様の処理を行い、残りの部位それぞれの脈波波形を設定する。
ここでは、情報処理装置100が、複数の波長成分の代表値の時系列データを取得する場合について説明したが、これに限らない。例えば、情報処理装置100は、BPFによって、所定の波長成分の代表値の時系列データから脈波周波数帯の信号成分を抽出し、抽出された波形を対象者のいずれかの部位の脈波波形として設定してもよい。
ここでは、情報処理装置100が、血流量に応じた輝度に基づいて脈波波形を生成する場合について説明したが、これに限らない。例えば、情報処理装置100は、心臓の収縮や拡張による対象者の皮膚の振動を検出することにより、脈波波形を生成してもよい。また、例えば、情報処理装置100は、心臓の収縮や拡張による、対象者の血管や血液の動きを検出することにより、脈波波形を生成してもよい。
これにより、情報処理装置100は、不整脈を示すか否かの判定対象となる対象者のいずれかの部位の脈波波形を生成することができる。また、情報処理装置100は、第1の指標値の算出に用いられる、対象者のそれぞれの部位の脈波波形を生成することができる。ここで、図9の説明に移行する。
〈着目期間を設定する一例〉
図9は、着目期間を設定する一例を示す説明図である。図9において、情報処理装置100は、生成した対象者のいずれかの部位の脈波波形900のうち、正から負または負から正に波形が転換する転換点を特定する。次に、情報処理装置100は、例えば、転換点3つ分の長さを1周期として、所定数の周期分の長さの期間を着目期間として設定する。所定数の周期は、整数倍の周期でなくてもよい。所定数の周期は、例えば、3.5周期である。所定数の周期は、例えば、4周期などであってもよい。情報処理装置100は、所定数の周期分の長さの期間ごとに着目期間を設定することにより、複数の着目期間を設定してもよい。
そして、情報処理装置100は、生成した対象者のいずれかの部位の脈波波形900のうちの着目期間内の部分波形901を、ノイズが含まれるか否かを判定する判定対象の部分波形901に設定する。情報処理装置100は、所定期間内に撮影された動画像101について着目期間を複数設定してもよい。また、情報処理装置100は、所定期間内に撮影された動画像101が複数あれば、それぞれの動画像101について着目期間を1または複数設定してもよい。情報処理装置100は、それぞれの着目期間内の部分波形901を、不整脈を示すか否かの判定対象となる部分波形901に設定する。また、着目期間は、複数設定される場合には、互いに一部分が重複していてもよい。ここで、図10の説明に移行する。
〈第1の指標値を算出する一例〉
図10は、第1の指標値を算出する第1例を示す説明図である。ここで、情報処理装置100は、第1の指標値として、対象者のそれぞれの部位にある血管を流れる血液の体積の変動に対応するそれぞれの部位の脈波波形間の一致度合いを示す値を用いる。
対象者の体動がなければ、それぞれの部位の脈波波形は、心臓の拡張や収縮によって心臓から同じように流れていった血流に対応する波形になるため、一致度合いは大きくなる傾向がある。このため、一致度合いを示す第1の指標値は、値が小さいほど、対象者の体動が大きく、対象者の体動に起因するノイズによって脈波波形が乱れやすい状態であることを示し、脈波らしさが小さいことを示す。
図10において、情報処理装置100は、第1の指標値として、それぞれの部位の脈波波形のうちの着目期間内の部分波形間の一致度合いを示す値を算出する。情報処理装置100は、例えば、顔面右側の脈波波形1010のうちの着目期間内の部分波形1011を抽出する。そして、情報処理装置100は、抽出した部分波形1011のデータ列x(i)を取得する。x(i)は、着目期間内の部分波形1011の値x(1),・・・,x(X)を時刻順に並べたデータ列である。例えば、iの単位はミリ秒である。
また、情報処理装置100は、顔面左側の脈波波形のうちの着目期間をずらし幅zの分ずらした他の期間内の部分波形1021を抽出する。そして、情報処理装置100は、抽出した部分波形1021のデータ列y(z,i)を取得する。y(z,i)は、着目期間をずらし幅zの分ずらした他の期間内の部分波形1021の値y(z,1),・・・,x(z,X)を時刻順に並べたデータ列である。z=0では、y(z,i)は、着目期間内の部分波形の値y(z,1),・・・,y(z,X)になる。例えば、zの単位はミリ秒である。
そして、情報処理装置100は、z=0に設定して、下記式(1)にデータ列x(i)とデータ列y(z,i)とを代入する。これにより、情報処理装置100は、顔面右側の着目期間内の部分波形1011と顔面左側の着目期間内の部分波形1021との一致度合いを示す第1の指標値として、相関係数s(z)を算出する。
ここでは、情報処理装置100が上記式(1)を用いて顔面右側の着目期間内の部分波形1011と顔面左側の着目期間内の部分波形1021との一致度合いを示す第1の指標値を算出する場合について説明したが、これに限らない。例えば、情報処理装置100は、下記式(2)にデータ列x(i)とデータ列y(z,i)とを代入することにより、顔面右側と顔面左側との着目期間内の部分波形間の一致度合いを示す第1の指標値として、下記式(2)の相関係数s(z)を算出してもよい。
また、例えば、情報処理装置100は、ユークリッド距離や正規化されたユークリッド距離などを用いて、顔面右側の着目期間内の部分波形1011と顔面左側の着目期間内の部分波形1021との一致度合いを示す第1の指標値を算出してもよい。
また、ここでは、情報処理装置100が2つの部位のそれぞれの部位の脈波波形に基づいて一致度合いを示す第1の指標値を算出する場合について説明したが、これに限らない。例えば、情報処理装置100は、3つ以上の脈波波形に基づいて、第1の指標値を算出してもよい。
具体的には、情報処理装置100は、額、左頬、右頬のそれぞれの部位の脈波波形がある場合に、それぞれの部位の着目期間内の部分波形を示すデータ列を取得してもよい。次に、情報処理装置100は、それぞれのデータ列の組み合わせを上記式(1)に代入することにより、それぞれのデータ列の組み合わせについて相関係数を算出する。そして、情報処理装置100は、算出した相関係数の平均値、中央値、最大値、最小値などの統計値を第1の指標値として算出する。これにより、情報処理装置100は、それぞれの部位が同一平面上にない場合に、第1の指標値の尤もらしさの向上を図ることができる。
具体的には、情報処理装置100は、左頬、右頬、顔上部、顔下部などのそれぞれの部位の脈波波形がある場合に、左頬と右頬との組み合わせや顔上部と顔下部との組み合わせのように、対応する組み合わせごとに相関係数を算出してもよい。そして、情報処理装置100は、算出した相関係数の平均値、中央値、最大値、最小値などの統計値を、第1の指標値として算出する。これにより、情報処理装置100は、対象者の種々の体動に対応可能な第1の指標値を算出し、第1の指標値の尤もらしさの向上を図ることができる。
ここでは、情報処理装置100が一つの着目期間について第1の指標値を算出する場合について説明したが、これに限らない。例えば、情報処理装置100は、着目期間を複数設定した場合には、それぞれの着目期間について第1の指標値を算出する。ここで、図11の説明に移行する。
図11は、第1の指標値を算出する第2例を示す説明図である。ここで、対象者のそれぞれの部位が物理的に離れている場合には、心臓からの距離が異なるため、それぞれの部位の脈波波形は類似する波形になるが、時間方向にずれてしまうことがある。そこで、情報処理装置100は、第1の指標値を算出する際に、対象者のいずれかの部位の脈波波形と、他の部位の脈波波形をずらした波形との一致度合いを示す第1の指標値を算出してもよい。
図11において、情報処理装置100は、いずれかの部位の脈波波形のうちの着目期間内の部分波形と、他の部位の脈波波形のうちの着目期間をずらし幅zの分ずらした他の期間内の部分波形との一致度合いを示す第1の指標値を算出する。
情報処理装置100は、例えば、顔面右側の脈波波形1010のうちの着目期間内の部分波形1011を抽出し、抽出した部分波形1011のデータ列x(i)を取得する。x(i)は、着目期間内の部分波形1011の値x(1),・・・,x(X)を時刻順に並べたデータ列である。例えば、iの単位はミリ秒である。
また、情報処理装置100は、z=−100〜100の間を1ずつインクリメントしながら、顔面左側の脈波波形1020のうちの着目期間をずらし幅zの分ずらした他の期間内の部分波形1100を抽出する。そして、情報処理装置100は、抽出した部分波形1100のデータ列y(z,i)を取得する。y(z,i)は、着目期間をずらし幅zの分ずらした他の期間内の部分波形1100の値y(z,1),・・・,x(z,X)を時刻順に並べたデータ列である。例えば、zの単位はミリ秒である。
そして、情報処理装置100は、例えば、z=−100〜100の間を1ずつインクリメントしながら、上記式(1)または上記式(2)にデータ列x(i)とデータ列y(z,i)とを代入することにより、相関係数s(z)を算出する。そして、情報処理装置100は、z=−100〜100の相関係数s(z)のうちの最大値を、第1の指標値として設定する。
ここでは、情報処理装置100が上記式(1)または上記式(2)を用いて第1の指標値を算出する場合について説明したが、これに限らない。例えば、情報処理装置100は、ユークリッド距離や正規化されたユークリッド距離などを用いて第1の指標値を算出してもよい。
また、ここでは、情報処理装置100が2つの部位のそれぞれの部位の脈波波形に基づいて第1の指標値を算出する場合について説明したが、これに限らない。例えば、情報処理装置100は、3つ以上の部位のそれぞれの部位の脈波波形に基づいて、第1の指標値を算出してもよい。
具体的には、情報処理装置100は、額、左頬、右頬のそれぞれの部位の脈波波形がある場合に、部位の組み合わせごとに、着目期間内の部分波形と、着目期間をずらし幅zの分ずらした他の期間内の部分波形との相関係数を算出する。そして、情報処理装置100は、算出した相関係数の平均値、中央値、最大値、最小値などの統計値を、第1の指標値として算出してもよい。これにより、情報処理装置100は、それぞれの部位が同一平面上にない場合に、第1の指標値の尤もらしさの向上を図ることができる。
具体的には、情報処理装置100は、左頬、右頬、顔上部、顔下部などのそれぞれの部位の脈波波形がある場合に、左頬と右頬との組み合わせや顔上部と顔下部との組み合わせのように、対応する組み合わせごとに相関係数を算出してもよい。そして、情報処理装置100は、算出した相関係数の最小値を、第1の指標値として算出する。情報処理装置100は、算出した相関係数の平均値、中央値、最大値などの統計値を、第1の指標値として算出してもよい。これにより、情報処理装置100は、対象者の種々の体動に対応可能な第1の指標値を算出し、第1の指標値の尤もらしさの向上を図ることができる。ここで、図12の説明に移行する。
〈第2の指標値を算出する一例〉
図12は、第2の指標値を算出する一例を示す説明図である。第2の指標値を算出する技術としては、例えば、特開2014−176584号公報に記載の技術を参照することができる。
図12において、情報処理装置100は、対象者のいずれかの部位の脈波波形のうち、着目期間内の部分波形と、着目期間をずらし幅zの分ずらした他の期間内の部分波形との一致度合いを示す第2の指標値を算出する。情報処理装置100は、例えば、顔面の脈波波形900のうちの着目期間内の部分波形901を抽出する。そして、情報処理装置100は、抽出した部分波形901のデータ列x(i)を取得する。x(i)は、着目期間内の部分波形901の値x(1),・・・,x(X)を時刻順に並べたデータ列である。例えば、iの単位はミリ秒とする。
また、情報処理装置100は、z=400〜1500の間を1ずつインクリメントしながら、顔面の脈波波形900のうちの着目期間をずらし幅zの分ずらした他の期間内の部分波形1200を抽出する。そして、情報処理装置100は、抽出した部分波形1200のデータ列y(z,i)を取得する。y(z,i)は、着目期間をずらし幅zの分ずらした他の期間内の部分波形1200の値y(z,1),・・・,x(z,X)を時刻順に並べたデータ列である。例えば、zの単位はミリ秒である。
次に、情報処理装置100は、z=400〜1500の間を1ずつインクリメントしながら、上記式(1)または上記式(2)にデータ列x(i)とデータ列y(z,i)とを代入することにより、相関係数s(z)を算出する。そして、情報処理装置100は、z=400〜1500の相関係数s(z)のうちの最大値を、第2の指標値として設定する。また、情報処理装置100は、z=400〜1500のうち、相関係数s(z)が最大値になるときのzを、脈波間隔として採用してもよい。
ここでは、情報処理装置100が上記式(1)または上記式(2)を用いて一致度合いを示す第2の指標値を算出する場合について説明したが、これに限らない。例えば、情報処理装置100は、ユークリッド距離や正規化されたユークリッド距離などを用いて一致度合いを示す第2の指標値を算出してもよい。
ここでは、情報処理装置100が一つの着目期間について第2の指標値を算出する場合について説明したが、これに限らない。例えば、情報処理装置100は、着目期間を複数設定した場合には、それぞれの着目期間について第2の指標値を算出する。ここで、図13の説明に移行する。
〈第1の判定パターンによって脈波波形が不整脈を示すか否かを判定する一例〉
図13は、第1の判定パターンによって着目期間内の部分波形が不整脈を示すか否かを判定する一例を示す説明図である。ここで、第1の指標値は、値が小さいほど、対象者のいずれかの部位の脈波波形に、対象者の体動に起因するノイズによって脈波波形が乱れた可能性が高いことを示す。
一方で、第2の指標値は、値が大きい場合には、脈波波形が周期的であることを示す。換言すれば、第2の指標値は、値が大きいほど、脈波波形が正常脈を示す波形である傾向がある。このため、情報処理装置100は、第1の指標値の傾向と、第2の指標値の傾向とに基づいて、脈波波形が不整脈を示すか否かを判定することができる。
図13において、情報処理装置100は、第1の指標値が第1の閾値以上の場合に、対象者のいずれかの部位の脈波波形のうちの着目期間内の部分波形に、ノイズが含まれないと判定する。第1の閾値は、例えば、0.6である。さらに、情報処理装置100は、第2の指標値が第5の閾値以上である場合に、対象者のいずれかの部位の脈波波形のうちの着目期間内の部分波形に、ノイズが含まれないと判定してもよい。第5の閾値は、例えば、0.7である。
そして、情報処理装置100は、ノイズが含まれないと判定した場合に、第2の指標値が第2の閾値未満であれば、対象者のいずれかの部位の脈波波形のうちの着目期間内の部分波形が不整脈を示すと判定する。第2の閾値は、例えば、0.5である。また、情報処理装置100は、ノイズが含まれないと判定した場合に、第2の指標値が第2の閾値以上であれば、対象者のいずれかの部位の脈波波形のうちの着目期間内の部分波形が正常脈を示すと判定してもよい。
情報処理装置100は、第1の指標値の平均値を算出している場合には、第1の指標値の平均値と第1の閾値とを比較することにより、着目期間内の部分波形がノイズを含むか否かを判定してもよい。また、情報処理装置100は、第1の指標値の最小値を算出している場合には、第1の指標値の最小値と第1の閾値とを比較することにより、着目期間内の部分波形がノイズを含むか否かを判定してもよい。ここで、図14の説明に移行する。
図14は、第1の判定パターンによって所定期間内の脈波波形が不整脈を示すか否かを判定する一例を示す説明図である。図14の例では、所定期間内に複数の着目期間が設定された場合を例に挙げて、複数の着目期間について統計的処理を行うことにより所定期間内の脈波波形が不整脈を示すか否かを判定する一例について説明する。
図14において、情報処理装置100は、それぞれの着目期間について算出した第1の指標値が第1の閾値以上の場合に、いずれかの部位の脈波波形のうちの当該着目期間内の部分波形にノイズが含まれないと判定する。さらに、情報処理装置100は、それぞれの着目期間について算出した第2の指標値が第5の閾値以上である場合に、対象者のいずれかの部位の脈波波形のうちの当該着目期間内の部分波形に、ノイズが含まれないと判定してもよい。
次に、情報処理装置100は、ノイズが含まれないと判定した着目期間それぞれについて算出した第2の指標値が第2の閾値未満であるか否かを判定する。そして、情報処理装置100は、ノイズが含まれないと判定した着目期間の数に対する第2の閾値未満であると判定した着目期間の数の割合が、第6の閾値以上であれば、所定期間内の対象者のいずれかの部位の脈波波形が不整脈を示すと判定する。第6の閾値は、例えば、0.05である。また、情報処理装置100は、ノイズが含まれないと判定した着目期間の数に対する第2の閾値未満であると判定した着目期間の数の割合が、第6の閾値未満であれば、所定期間内の対象者のいずれかの部位の脈波波形が正常脈を示すと判定してもよい。
また、情報処理装置100は、設定した着目期間の数に対するノイズが含まれないと判定した着目期間の数が、第7の閾値以下である場合には、所定期間内の対象者のいずれかの部位の脈波波形が不整脈か否かが不明であると判定してもよい。第7の指標値は、例えば、0.5である。
これにより、情報処理装置100は、所定期間内のそれぞれの着目期間について算出した第1の指標値と第2の指標値とに基づいて、統計的に所定期間内の対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。このため、情報処理装置100は、対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定する判定精度の向上を図ることができる。ここで、図15の説明に移行する。
〈第2の判定パターンによって脈波波形が不整脈を示すか否かを判定する一例〉
図15は、第2の判定パターンによって所定期間内の脈波波形が不整脈を示すか否かを判定する一例を示す説明図である。ここで、不整脈によれば、対象者のそれぞれの部位の脈波波形は同様の乱れ方になり、かつ、対象者のいずれかの部位の脈波波形が周期的ではなくなる傾向がある。換言すれば、不整脈によれば、対象者のそれぞれの部位の脈波波形間の一致度合いを示す第1の指標値が高いまま、対象者のいずれかの部位の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値が低くなることになる。
一方で、正常脈に対してノイズが発生すれば、対象者のそれぞれの部位の脈波波形は異なる乱れ方になり、かつ、対象者のいずれかの部位の脈波波形が周期的ではなくなる傾向がある。換言すれば、ノイズによれば、対象者のそれぞれの部位の脈波波形間の一致度合いを示す第1の指標値が低くなり、かつ、対象者のいずれかの部位の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値が低くなることになる。
以上のように、不整脈によれば、第1の指標値に関わらず第2の指標値が増減する傾向があり、第1の指標値と第2の指標値との相関の強さは相対的に小さくなる傾向がある。また、ノイズによれば、第1の指標値と第2の指標値とが一緒に小さくなる傾向があり、第1の指標値と第2の指標値との相関の強さは相対的に大きくなる傾向がある。そこで、情報処理装置100は、第1の指標値と第2の指標値との相関の強さを示す値に基づいて、対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定する。
図15において、情報処理装置100は、相関係数を用いて、第3の指標値として、算出した着目期間ごとの第1の指標値と第2の指標値とに基づいて、第1の指標値と第2の指標値との相関の強さを示す値を算出する。情報処理装置100は、例えば、第3の指標値として、算出した着目期間ごとの第1の指標値と第2の指標値との組み合わせを、相関係数の算出式に代入することにより、第1の指標値と第2の指標値との相関の強さを示す相関係数の値を算出する。
そして、情報処理装置100は、第3の指標値が第3の閾値以下である場合に、所定期間内の対象者のいずれかの部位の脈波波形が不整脈を示すと判定する。また、情報処理装置100は、第3の指標値が第3の閾値よりも大きい場合には、所定期間内の対象者のいずれかの部位の脈波波形が正常脈を示すと判定してもよい。
これにより、情報処理装置100は、所定期間内の対象者のいずれかの部位の脈波波形にノイズが含まれていても、所定期間内の対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定可能になる。また、情報処理装置100は、所定期間内のそれぞれの着目期間について算出した第1の指標値と第2の指標値とに基づいて、統計的に所定期間内の対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。このため、情報処理装置100は、対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定する判定精度の向上を図ることができる。ここで、図16の説明に移行する。
図16は、第2の判定パターンによって着目期間内の部分波形が不整脈を示すか否かを判定する一例を示す説明図である。ここで、不整脈のときの第1の指標値と第2の指標値との組み合わせが取りうる範囲と、正常脈のときの第1の指標値と第2の指標値との組み合わせが取りうる範囲とは異なる傾向がある。
例えば、第1の指標値の軸と第2の指標値の軸とによる2次元空間では、不整脈のときの第1の指標値と第2の指標値の組み合わせが現れる領域1601が存在する。また、第1の指標値の軸と第2の指標値の軸とによる2次元空間では、正常脈のときおよび不整脈のときの第1の指標値と第2の指標値の組み合わせが混在して現れる領域1602が存在する。領域1601と、領域1602との間には、境界線1603を設定可能である。
そこで、情報処理装置100は、不整脈のときの第1の指標値と第2の指標値の組み合わせが現れる領域1601を特定可能にする境界線1603を示すモデルを予め設定しておき、当該モデルに基づいて着目期間内の部分波形が不整脈を示すか否かを判定する。以下の説明では、不整脈のときの第1の指標値と第2の指標値の組み合わせが現れる領域1601を「不整脈の領域1601」と表記する場合がある。また、正常脈のときおよび不整脈のときの第1の指標値と第2の指標値の組み合わせが混在して現れる領域1602を「正常脈と不整脈とが混在する領域1602」と表記する場合がある。
図16において、情報処理装置100は、着目期間について算出した第1の指標値と第2の指標値との組み合わせが、予め設定されたモデルによって特定される不整脈の領域1601に含まれるか否かを判定する。そして、情報処理装置100は、不整脈の領域1601に含まれると判定した場合に、着目期間内の部分波形が不整脈を示すと判定する。
当該モデルは、例えば、不整脈の領域1601と、正常脈と不整脈とが混在する領域1602との境界線1603を示す数式である。当該数式は、例えば、予め正常脈を示すか不整脈を示すかが判明している脈波波形から得られる第1の指標値と第2の指標値との組み合わせなどの学習データを用いた学習処理により設定される。
情報処理装置100は、具体的には、着目期間について算出した第1の指標値が、当該数式によって特定される着目期間について算出した第2の指標値に対応する第1の指標値以上であるか否かを判定する。そして、情報処理装置100は、算出した第1の指標値が、算出した第2の指標値に対応する第1の指標値以上である場合に、対象者のいずれかの部位の脈波波形のうちの着目期間内の部分波形が不整脈を示すと判定する。
また、情報処理装置100は、サポートベクターマシンなどを用いて、着目期間について算出した第1の指標値と第2の指標値との組み合わせが、不整脈の領域1601に含まれるか否かを判定してもよい。これにより、情報処理装置100は、対象者のいずれかの部位の脈波波形のうちの着目期間内の部分波形にノイズが含まれていても、着目期間内の部分波形が不整脈を示すか否かを判定可能になる。
情報処理装置100は、対象者のいずれかの部位の脈波波形のうちの着目期間内の部分波形が不整脈を示すか否かを判定した後、不整脈を示さないと判定した場合には着目期間内の部分波形にノイズが含まれるか否かをさらに判定してもよい。ここで、図17の説明に移行する。
図17は、不整脈の領域1601を特定するモデルを生成する一例を示す説明図である。ここで、情報処理装置100は、予め学習データが得られない場合には、図13および図14の処理によって不整脈を示すか否かが判定された所定期間についての第1の指標値と第2の指標値との組み合わせを、学習データとして採用することができる。
図17において、情報処理装置100は、ある所定期間について図13および図14の処理を行い、当該所定期間に含まれるそれぞれの着目期間内の部分波形について不整脈を示すか否かを判定する。次に、情報処理装置100は、それぞれの着目期間内の部分波形について不整脈を示さないと判定された場合、それぞれの着目期間について算出した第1の指標値と第2の指標値との組み合わせを取得する。
そして、情報処理装置100は、取得した組み合わせを、正常脈のときの第1の指標値と第2の指標値の組み合わせの学習データとして採用する。以下の説明では、正常脈のときの第1の指標値と第2の指標値の組み合わせの学習データを「正常脈のときの学習データ」と表記する場合がある。
また、情報処理装置100は、ある所定期間について図13および図14の処理を行い、当該所定期間内の脈波波形について不整脈を示すか否かの判定を行う。そして、情報処理装置100は、当該所定期間内の脈波波形が不整脈を示すと判定された場合、当該所定期間内のそれぞれの着目期間について算出した第1の指標値と第2の指標値との組み合わせを取得する。
そして、情報処理装置100は、取得した組み合わせを、不整脈のときの第1の指標値と第2の指標値の組み合わせの学習データとして採用する。以下の説明では、不整脈のときの第1の指標値と第2の指標値の組み合わせの学習データを「不整脈のときの学習データ」と表記する場合がある。
情報処理装置100は、取得した学習データに基づいて、不整脈の領域1601を特定するモデルを生成する。情報処理装置100は、例えば、不整脈の領域1601と、正常脈と不整脈とが混在する領域1602との境界線1603を示す数式を生成する。これにより、情報処理装置100は、予め学習データが得られない場合であっても、モデルを生成して設定することができる。そして、情報処理装置100は、生成したモデルに基づいて、図16の処理を行うことが可能になる。
また、情報処理装置100は、今後、不整脈を示すか否かを判定する判定対象となる脈波波形を生成する生成対象となる対象者に関する学習データに基づいてモデルを生成することができる。このため、情報処理装置100は、今後、対象者について生成された脈波波形が不整脈を示すか否かを判定する際には、当該対象者に適する可能性が高いモデルを用いることができる。そして、情報処理装置100は、対象者について生成された脈波波形が不整脈を示すか否かを判定する精度の向上を図ることができる。
〈判定した結果に応じて脈波波形を分析する一例〉
情報処理装置100は、対象者のいずれかの部位の脈波波形のうちのノイズが含まれないと判定された部分波形を用いて、対象者のいずれかの部位の脈波波形を分析する。情報処理装置100は、ノイズが含まれないと判定された部分波形と、ノイズが含まれると判定された部分波形が重複する場合には、ノイズが含まれないと判定された部分波形のうちノイズが含まれると判定された部分波形と重複しない部分を用いてもよい。これにより、情報処理装置100は、ノイズが含まれる部分波形を用いずに、対象者のいずれかの部位の脈波波形を分析することができ、分析精度の向上を図ることができる。
情報処理装置100は、例えば、対象者のいずれかの部位の脈波波形を分析して、脈拍数[bpm]を算出する。また、情報処理装置100は、例えば、対象者のいずれかの部位の脈波波形を分析して、対象者のいずれかの部位の脈波波形を2回微分して加速度脈波波形を算出し、加速度脈波波形から血管年齢を算出してもよい。また、情報処理装置100は、例えば、対象者のいずれかの部位の脈波波形を分析して、対象者が不整脈であるか否かを判定してもよい。
情報処理装置100は、不整脈を示すと判定された対象者のいずれかの部位の脈波波形を分析してもよい。情報処理装置100は、例えば、不整脈を示すと判定された対象者のいずれかの部位の脈波波形が計測された時間から、どのようなときに対象者に不整脈の症状が現れやすいかなどを解析してもよい。また、情報処理装置100は、1ヶ月などの期間内で不整脈を示すと判定された対象者のいずれかの部位の脈波波形の数に基づいて、対象者にどのくらいの頻度で不整脈の症状が現れるかなどを解析してもよい。
ここでは、情報処理装置100が、ノイズが含まれる部分波形を用いずに、対象者のいずれかの部位の脈波波形を分析する場合について説明したが、これに限らない。例えば、情報処理装置100は、第1の指標値と第2の指標値と対象者のいずれかの部位の脈波波形とを用いて、対象者のいずれかの部位の脈波波形を分析してもよい。また、情報処理装置100は、第1の指標値と第2の指標値と対象者のいずれかの部位の脈波波形とをユーザに通知して、ユーザが対象者のいずれかの部位の脈波波形を分析することを支援してもよい。
(全体処理手順の一例)
次に、図18を用いて、情報処理装置100が実行する全体処理手順の一例について説明する。図18の例では、情報処理装置100は、複数の部位として所定の全体領域と左領域と右領域とを採用する。所定の全体領域は、例えば、対象者の顔である。左領域は、全体領域の左側に含まれる部位であり、例えば、左頬である。右領域は、全体領域の右側に含まれる部位であり、例えば、右頬である。
図18は、全体処理手順の一例を示すフローチャートである。図18において、情報処理装置100は、所定期間内に対象者が撮影された動画像101を取得する(ステップS1801)。次に、情報処理装置100は、対象者の複数の部位のそれぞれの部位について、図19に後述する脈波波形の生成処理を実行する(ステップS1802)。
そして、情報処理装置100は、生成した全体領域の脈波波形がゼロクロスしたか否かを判定する(ステップS1803)。ゼロクロスとは、脈波波形に、振幅が正から負または負から正に転換する転換点が含まれることである。ここで、ゼロクロスしていない場合(ステップS1803:No)、情報処理装置100は、ステップS1801の処理に戻る。一方で、ゼロクロスする場合(ステップS1803:Yes)、情報処理装置100は、生成した全体領域の脈波波形に基づいて、1または複数の着目期間を設定する(ステップS1804)。
次に、情報処理装置100は、設定した着目期間ごとに、生成した左領域と右領域との脈波波形のうちの着目期間内の部分波形間の一致度合いを示す第1の指標値を算出する(ステップS1805)。そして、情報処理装置100は、設定した着目期間ごとに、生成した全体領域の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値を算出する(ステップS1806)。
次に、情報処理装置100は、算出した第1の指標値と第2の指標値とに基づいて、生成した全体領域の脈波波形について図20〜図25に後述するいずれかの判定処理を実行する(ステップS1807)。そして、情報処理装置100は、ステップS1801の処理に戻る。これにより、情報処理装置100は、人の全体領域の脈波波形が不整脈を示すか否かを判定して、人の全体領域の脈波波形の分析精度の向上を図ることができる。
(生成処理手順の一例)
次に、図19を用いて、情報処理装置100が実行する生成処理手順の一例について説明する。
図19は、生成処理手順の一例を示すフローチャートである。図19において、情報処理装置100は、動画像101から対象者のそれぞれの部位の画像を抽出する(ステップS1901)。次に、情報処理装置100は、抽出した画像に基づいて、当該画像に含まれる所定の波長成分の代表値の時系列データを取得する(ステップS1902)。そして、情報処理装置100は、BPFによって、取得した波長成分ごとの時系列データから特定周波数帯の信号成分を抽出する(ステップS1903)。
次に、情報処理装置100は、抽出した波長成分ごとの特定周波数帯の信号成分から、特定周波数帯の信号成分の絶対値の時系列データを抽出する(ステップS1904)。そして、情報処理装置100は、LPFによって、抽出した波長成分ごとの特定周波数帯の絶対値の時系列データに対して平滑化処理を実行し、急峻な周波数成分を除去する(ステップS1905)。
次に、情報処理装置100は、平滑化された波長成分ごとの特定周波数帯の絶対値の時系列データに基づいて、補正係数を算出する(ステップS1906)。また、情報処理装置100は、ステップS1903〜S1906と並行して、BPFによって、取得した波長成分ごとの時系列データから脈波周波数帯の信号成分を抽出する(ステップS1907)。
次に、情報処理装置100は、抽出されたいずれかの脈波周波数帯の信号成分に、算出した補正係数を乗算する(ステップS1908)。そして、情報処理装置100は、いずれかの波長成分の脈波周波数帯の信号成分から、補正係数kが乗算された波長成分の脈波周波数帯の信号成分を減算する(ステップS1909)。
次に、情報処理装置100は、BPFによって、減算後の信号の時系列データの脈波周波数帯の信号成分を抽出する(ステップS1910)。そして、情報処理装置100は、生成処理を終了する。これにより、情報処理装置100は、対象者のそれぞれの部位の脈波波形を生成することができる。
(判定処理手順の一例)
次に、図20〜図25を用いて、情報処理装置100が実行する判定処理手順の一例について説明する。
〈判定処理手順の第1例〉
図20は、判定処理手順の第1例を示すフローチャートである。図20の判定処理は、例えば、図13における処理に対応する。
図20において、情報処理装置100は、いずれかの着目期間について算出した第1の指標値が第1の閾値以上であるか否かを判定する(ステップS2001)。ここで、第1の閾値未満である場合(ステップS2001:No)、情報処理装置100は、当該着目期間内の部分波形にノイズが含まれると判定して(ステップS2002)、ステップS2006の処理に移行する。
一方で、第1の閾値以上である場合(ステップS2001:Yes)、情報処理装置100は、当該着目期間について算出した第2の指標値が第2の閾値以下であるか否かを判定する(ステップS2003)。ここで、第2の閾値より大きい場合(ステップS2003:No)、情報処理装置100は、当該着目期間内の部分波形が正常脈を示すと判定して(ステップS2004)、ステップS2006の処理に移行する。
一方で、第2の閾値以下である場合(ステップS2003:Yes)、情報処理装置100は、着目期間内の部分波形が不整脈を示すと判定して(ステップS2005)、ステップS2006の処理に移行する。ステップS2006では、情報処理装置100は、すべての着目期間について処理を行ったか否かを判定する(ステップS2006)。
ここで、処理を行っていない着目期間がある場合(ステップS2006:No)、情報処理装置100は、ステップS2001の処理に戻る。一方で、すべての着目期間について処理を行った場合(ステップS2006:Yes)、情報処理装置100は、判定処理を終了する。これにより、情報処理装置100は、対象者の全体領域の脈波波形のうちの着目期間内の部分波形が不整脈を示すか否かを判定することができる。
〈判定処理手順の第2例〉
図21は、判定処理手順の第2例を示すフローチャートである。図21は、例えば、図14の処理に対応する。
図21において、情報処理装置100は、いずれかの着目期間について算出した第1の指標値が第1の閾値以上であるか否かを判定する(ステップS2101)。ここで、第1の閾値未満である場合(ステップS2101:No)、情報処理装置100は、当該着目期間内の部分波形にノイズが含まれると判定して(ステップS2102)、ステップS2104の処理に移行する。
一方で、第1の閾値以上である場合(ステップS2101:Yes)、情報処理装置100は、当該着目期間について算出した第2の指標値を、統計データとして蓄積する(ステップS2103)。そして、情報処理装置100は、ステップS2104の処理に移行する。
ステップS2104では、情報処理装置100は、すべての着目期間について処理を行ったか否かを判定する(ステップS2104)。ここで、処理を行っていない着目期間がある場合(ステップS2104:No)、情報処理装置100は、ステップS2101の処理に戻る。
一方で、すべての着目期間について処理を行った場合(ステップS2104:Yes)、情報処理装置100は、統計データが60個以上あるか否かを判定する(ステップS2105)。ここで、60個以上ない場合(ステップS2105:No)、情報処理装置100は、判定処理を終了する。
一方で、60個以上ある場合(ステップS2105:Yes)、情報処理装置100は、統計データとして蓄積された第2の指標値のうち、第2の閾値以下である第2の指標値の数を算出する(ステップS2106)。次に、情報処理装置100は、算出した数を統計データの数で割って得られた割合が0.05より大きいか否かを判定する(ステップS2107)。ここで、0.05以下である場合(ステップS2107:No)、情報処理装置100は、所定期間内の脈波波形が正常脈を示すと判定して(ステップS2108)、判定処理を終了する。
一方で、0.05より大きい場合(ステップS2107:Yes)、情報処理装置100は、所定期間内の脈波波形が不整脈を示すと判定して(ステップS2109)、判定処理を終了する。これにより、情報処理装置100は、対象者の全体領域の脈波波形が不整脈を示すか否かを判定することができる。
〈判定処理手順の第3例〉
図22は、判定処理手順の第3例を示すフローチャートである。図22は、例えば、図15の処理に対応する。図22において、情報処理装置100は、着目期間ごとに算出した第1の指標値と第2の指標値との組み合わせを、統計データとして蓄積する(ステップS2201)。次に、情報処理装置100は、統計データが60個以上あるか否かを判定する(ステップS2202)。ここで、60個以上ない場合(ステップS2202:No)、情報処理装置100は、判定処理を終了する。
一方で、60個以上ある場合(ステップS2202:Yes)、情報処理装置100は、統計データとして蓄積された組み合わせに基づいて、第1の指標値と第2の指標値との相関の強さを示す第3の指標値を算出する(ステップS2203)。次に、情報処理装置100は、算出した第3の指標値が第3の閾値以下であるか否かを判定する(ステップS2204)。
ここで、第3の閾値より大きい場合(ステップS2204:No)、情報処理装置100は、所定期間内の脈波波形が正常脈を示すと判定して(ステップS2205)、判定処理を終了する。一方で、第3の閾値以下である場合(ステップS2204:Yes)、情報処理装置100は、所定期間内の脈波波形が不整脈を示すと判定して(ステップS2206)、判定処理を終了する。これにより、情報処理装置100は、対象者の全体領域の脈波波形が不整脈を示すか否かを判定することができる。
〈判定処理手順の第4例〉
図23は、判定処理手順の第4例を示すフローチャートである。図23は、例えば、図16の処理に対応する。
図23において、情報処理装置100は、第1の指標値と第2の指標値との組み合わせが、モデルによって特定される不整脈のときの第1の指標値と第2の指標値の組み合わせが現れる領域に含まれるか否かを判定する(ステップS2301)。ここで、含まれる場合(ステップS2301:Yes)、情報処理装置100は、着目期間内の部分波形が不整脈を示すと判定して(ステップS2302)、ステップS2306の処理に移行する。
一方で、含まれない場合(ステップS2301:No)、情報処理装置100は、第1の指標値が第1の閾値以上、または、第2の指標値が第2の閾値以上であるかを判定する(ステップS2303)。ここで、第1の閾値より小さい場合、または、第2の閾値より小さい場合(ステップS2303:No)、情報処理装置100は、着目期間内の部分波形にノイズが含まれると判定して(ステップS2304)、ステップS2306の処理に移行する。
一方で、第1の閾値以上、かつ、第2の閾値以上である場合(ステップS2303:Yes)、情報処理装置100は、着目期間内の部分波形が正常脈を示すと判定して(ステップS2305)、ステップS2306の処理に移行する。ステップS2306では、情報処理装置100は、すべての着目期間について処理を行ったか否かを判定する(ステップS2306)。
ここで、処理を行っていない着目期間がある場合(ステップS2306:No)、情報処理装置100は、ステップS2301の処理に戻る。一方で、すべての着目期間について処理を行った場合(ステップS2306:Yes)、情報処理装置100は、判定処理を終了する。これにより、情報処理装置100は、対象者の全体領域の脈波波形のうちの着目期間内の部分波形が不整脈を示すか否かを判定することができる。
〈判定処理手順の第5例〉
図24は、判定処理手順の第5例を示すフローチャートである。図24は、例えば、図17の処理に対応する。
図24において、情報処理装置100は、モデルが設定されているか否かを判定する(ステップS2401)。ここで、モデルが設定されている場合(ステップS2401:Yes)、情報処理装置100は、図23の判定処理を実行して(ステップS2402)、図24の判定処理を終了する。
一方で、モデルが設定されていない場合(ステップS2401:No)、情報処理装置100は、図20の判定処理を実行して(ステップS2403)、着目期間内の部分波形が不整脈を示すか否かを判定する。次に、情報処理装置100は、着目期間のうち、ノイズを含まない判定結果になった着目期間について算出した第1の指標値と第2の指標値との組み合わせを、統計データとして蓄積する(ステップS2404)。次に、情報処理装置100は、統計データが60個以上あるか否かを判定する(ステップS2405)。ここで、60個以上ない場合(ステップS2405:No)、情報処理装置100は、判定処理を終了する。
一方で、60個以上ある場合(ステップS2405:Yes)、情報処理装置100は、蓄積された組み合わせのうち、第1の指標値が第1の閾値以上、かつ、第2の指標値が第2の閾値以下である組み合わせの数を算出する(ステップS2406)。次に、情報処理装置100は、算出した数を統計データの数で割って得られた割合が、0.00であるか、または、0.05以上であるかを判定する(ステップS2407)。
ここで、0.00ではなく、かつ、0.05より小さい場合(ステップS2407:No)、情報処理装置100は、統計データを初期化して(ステップS2408)、判定処理を終了する。一方で、0.00であるか、または、0.05以上である場合(ステップS2407:Yes)、情報処理装置100は、算出した数を統計データの数で割って得られた割合が0.00であるか否かを判定する(ステップS2409)。
ここで、0.00である場合(ステップS2409:Yes)、情報処理装置100は、蓄積された統計データを、正常脈のときの第1の指標値と第2の指標値の組み合わせの学習データとして採用する(ステップS2410)。そして、情報処理装置100は、ステップS2412の処理に移行する。
一方で、0.00ではない場合(ステップS2409:No)、情報処理装置100は、蓄積された統計データを、不整脈のときの第1の指標値と第2の指標値の組み合わせの学習データとして採用する(ステップS2411)。そして、情報処理装置100は、ステップS2412の処理に移行する。
ステップS2412では、情報処理装置100は、統計データを初期化する(ステップS2412)。そして、情報処理装置100は、モデルの生成に用いる、正常脈のとき、および、不整脈のときの第1の指標値と第2の指標値の組み合わせの学習データがあるか否かを判定する(ステップS2413)。ここで、学習データがない場合(ステップS2413:No)、情報処理装置100は、判定処理を終了する。
一方で、学習データがある場合(ステップS2413:Yes)、情報処理装置100は、学習データに基づいてモデルを生成して(ステップS2414)、判定処理を終了する。これにより、情報処理装置100は、モデルに基づいて、対象者の全体領域の脈波波形のうちの着目期間内の部分波形が不整脈を示すか否かを判定することができる。
また、情報処理装置100は、モデルが設定されていない場合には、対象者について算出された第1の指標値と第2の指標値との組み合わせからモデルを生成することができる。このため、情報処理装置100は、対象者に応じたモデルを生成することができ、モデルに基づいて対象者のいずれかの部位の脈波波形のうちの着目期間内の部分波形が不整脈を示すか否かを、精度よく判定しやすくすることができる。
〈判定処理手順の第6例〉
図25は、判定処理手順の第6例を示すフローチャートである。図25において、情報処理装置100は、モデルが設定されているか否かを判定する(ステップS2501)。ここで、モデルが設定されている場合(ステップS2501:Yes)、情報処理装置100は、図23の判定処理を実行して(ステップS2502)、図25の判定処理を終了する。
一方で、モデルが設定されていない場合(ステップS2501:No)、情報処理装置100は、図20の判定処理を実行して(ステップS2503)、着目期間内の部分波形が不整脈を示すか否かを判定する。次に、情報処理装置100は、着目期間のうち、ノイズを含まない判定結果になった着目期間について算出した第1の指標値と第2の指標値との組み合わせを、統計データとして蓄積する(ステップS2504)。次に、情報処理装置100は、統計データが60個以上あるか否かを判定する(ステップS2505)。ここで、60個以上ない場合(ステップS2505:No)、情報処理装置100は、判定処理を終了する。
一方で、60個以上ある場合(ステップS2505:Yes)、情報処理装置100は、統計データに基づいて、第2の指標値の最大値から第2の指標値の最小値を減算した際の差分が0.4以上であるか否かを判定する(ステップS2506)。ここで、0.4以上である場合(ステップS2506:Yes)、情報処理装置100は、統計データとして蓄積された組み合わせに基づいて、第1の指標値と第2の指標値との相関の強さを示す第3の指標値を算出する(ステップS2507)。
次に、情報処理装置100は、算出した第3の指標値が第3の閾値以下であるか否かを判定する(ステップS2508)。ここで、第3の閾値より大きい場合(ステップS2508:No)、情報処理装置100は、蓄積された統計データを、正常脈のときの第1の指標値と第2の指標値の組み合わせの学習データとして採用する(ステップS2509)。そして、情報処理装置100は、ステップS2517の処理に移行する。
一方で、第3の閾値以下である場合(ステップS2508:Yes)、情報処理装置100は、蓄積された統計データを、不整脈のときの第1の指標値と第2の指標値の組み合わせの学習データとして採用する(ステップS2510)。そして、情報処理装置100は、ステップS2517の処理に移行する。
また、ステップS2506で、0.4より小さい場合(ステップS2506:No)、情報処理装置100は、蓄積された組み合わせのうち、第1の指標値が第1の閾値以上かつ第2の指標値が第2の閾値以下の組み合わせの数を算出する(ステップS2511)。次に、情報処理装置100は、算出した数を統計データの数で割って得られた割合が、0.00であるか、または、0.05以上であるかを判定する(ステップS2512)。
ここで、0.00ではなく、かつ、0.05より小さい場合(ステップS2512:No)、情報処理装置100は、統計データを初期化して(ステップS2513)、判定処理を終了する。一方で、0.00であるか、または、0.05以上である場合(ステップS2512:Yes)、情報処理装置100は、算出した数を統計データの数で割って得られた割合が0.00であるか否かを判定する(ステップS2514)。
ここで、0.00である場合(ステップS2514:Yes)、情報処理装置100は、蓄積された統計データを、正常脈のときの第1の指標値と第2の指標値の組み合わせの学習データとして採用する(ステップS2515)。そして、情報処理装置100は、ステップS2517の処理に移行する。
一方で、0.00ではない場合(ステップS2514:No)、情報処理装置100は、蓄積された統計データを、不整脈のときの第1の指標値と第2の指標値の組み合わせの学習データとして採用する(ステップS2516)。そして、情報処理装置100は、ステップS2517の処理に移行する。
ステップS2517では、情報処理装置100は、統計データを初期化する(ステップS2517)。そして、情報処理装置100は、モデルの生成に用いる、正常脈のとき、および、不整脈のときの第1の指標値と第2の指標値の組み合わせの学習データがあるか否かを判定する(ステップS2518)。ここで、学習データがない場合(ステップS2518:No)、情報処理装置100は、判定処理を終了する。
一方で、学習データがある場合(ステップS2518:Yes)、情報処理装置100は、学習データに基づいてモデルを生成して(ステップS2519)、判定処理を終了する。これにより、情報処理装置100は、モデルに基づいて、対象者の全体領域の脈波波形のうちの着目期間内の部分波形が不整脈を示すか否かを判定することができる。
また、情報処理装置100は、モデルが設定されていない場合には、対象者について算出された第1の指標値と第2の指標値との組み合わせからモデルを生成することができる。このため、情報処理装置100は、対象者に応じたモデルを生成することができ、モデルに基づいて対象者のいずれかの部位の脈波波形のうちの着目期間内の部分波形が不整脈を示すか否かを、精度よく判定しやすくすることができる。
以上説明したように、情報処理装置100によれば、対象者のそれぞれの部位の脈波波形のうちの少なくともいずれかの脈波波形間の一致度合いを示す第1の指標値を算出することができる。また、情報処理装置100によれば、対象者のいずれかの部位の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値を算出することができる。また、情報処理装置100によれば、算出した第1の指標値と第2の指標値との組み合わせと、不整脈のときの第1の指標値と第2の指標値との対応関係を示す情報とに基づいて、対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。
これにより、情報処理装置100は、対象者のいずれかの部位の脈波波形の脈波らしさと、対象者のいずれかの部位の脈波波形のうちの部分波形間の一致度合いとを参照して、対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。結果として、情報処理装置100は、判定した結果を参照して対象者のいずれかの部位の脈波波形の解析精度の向上を図ることができる。
また、情報処理装置100によれば、算出した第1の指標値が、算出した第2の指標値に対応する第1の指標値以上であると判定した場合に、対象者のいずれかの部位の脈波波形が不整脈を示すと判定することができる。これにより、情報処理装置100は、対象者のいずれかの部位の脈波波形にノイズが含まれるか否かを判定しなくても、所定期間内での対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。
また、情報処理装置100によれば、所定期間内のそれぞれの期間での対象者のそれぞれの部位の脈波波形のうちの少なくともいずれかの脈波波形間の一致度合いを示す第1の指標値を算出することができる。また、情報処理装置100によれば、所定期間内のそれぞれの期間での少なくともいずれかの部位の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値を算出することができる。また、情報処理装置100によれば、それぞれの期間について算出した第1の指標値と第2の指標値とに基づいて、第1の指標値と第2の指標値との相関の強さを示す第3の指標値を算出することができる。また、情報処理装置100によれば、算出した第3の指標値が閾値以下であると判定した場合に、所定期間内でのいずれかの部位の脈波波形が不整脈を示すと判定することができる。これにより、情報処理装置100は、対象者のいずれかの部位の脈波波形にノイズが含まれるか否かを判定しなくても、所定期間内での対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。
また、情報処理装置100によれば、所定期間内のそれぞれの期間について算出した第1の指標値に基づいて、それぞれの期間でのいずれかの部位の脈波波形にノイズが含まれるか否かを判定することができる。また、情報処理装置100によれば、所定期間内でノイズが含まれないと判定した期間それぞれについて算出した第2の指標値に基づいて、ノイズが含まれないと判定した期間それぞれでのいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。また、情報処理装置100によれば、ノイズが含まれないと判定した期間それぞれでのいずれかの部位の脈波波形が不整脈を示すか否かの判定結果に基づいて、不整脈のときの第1の指標値と第2の指標値との対応関係を示す情報を生成することができる。
これにより、情報処理装置100は、所定期間内での対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定する際に用いられる対応関係を示す情報が予め設定されていなくても、対応関係を示す情報を生成することができる。また、情報処理装置100は、対象者用の対応関係を示す情報を生成するため、対象者の脈波波形について不整脈を示すか否かの判定精度の向上を図ることができる。
また、情報処理装置100によれば、それぞれの期間について算出した第2の指標値に基づいて、第2の指標値のばらつきの大きさを示す第4の指標値を算出することができる。また、情報処理装置100によれば、第4の指標値が閾値以下である場合に、所定期間内のそれぞれの期間について算出した第1の指標値に基づいて、それぞれの期間でのいずれかの部位の脈波波形にノイズが含まれるか否かを判定することができる。また、情報処理装置100によれば、所定期間内でノイズが含まれないと判定した期間それぞれについて算出した第2の指標値に基づいて、ノイズが含まれないと判定した期間それぞれでのいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。
これにより、情報処理装置100は、対象者のいずれかの部位の脈波波形の乱れが比較的小さい場合は、対象者のいずれかの部位の脈波波形にノイズが含まれるか否かを判定し、ノイズが含まれない場合に不整脈を示すか否かを判定することができる。結果として、情報処理装置100は、ノイズが含まれる脈波波形を解析対象から除外し、ノイズが含まれない脈波波形を解析対象として、不整脈を示すか否かの判定結果を参照して解析することができ、解析精度の向上を図ることができる。
また、情報処理装置100によれば、所定期間内でノイズが含まれないと判定した期間それぞれについて算出した第2の指標値が第2の閾値より小さいか否かを判定することができる。また、情報処理装置100によれば、所定期間内でノイズが含まれないと判定した期間のうちで第2の指標値が第2の閾値より小さいと判定した期間の割合に基づいて、所定期間内でのいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。これにより、情報処理装置100は、ノイズが含まれない期間に限定して算出した第2の指標値を用いて、所定期間内での対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができ、判定精度の向上を図ることができる。
ここで、対象者のいずれかの部位の脈波波形の乱れが比較的大きい場合に、ノイズを含む脈波波形を解析対象にせず、ノイズが含まれない脈波波形を解析対象にすると、解析対象の脈波波形の数が少なくなり解析精度が低下する可能性がある。そこで、情報処理装置100によれば、第4の指標値が第4の閾値より大きい場合に、それぞれの期間について算出した第1の指標値と第2の指標値とに基づいて、第1の指標値と第2の指標値との相関の強さを示す第3の指標値を算出することができる。また、情報処理装置100によれば、算出した第3の指標値が第3の閾値以下であると判定した場合に、所定期間内でのいずれかの部位の脈波波形が不整脈を示すと判定することができる。
これにより、情報処理装置100は、対象者のいずれかの部位の脈波波形の乱れが比較的大きい場合は、対象者のいずれかの部位の脈波波形にノイズが含まれるか否かを判定せずに、不整脈を示すか否かを判定することができる。そして、情報処理装置100は、ノイズが含まれるか否かに関わらず脈波波形を解析対象として、ノイズが含まれるか否かに関わらず不整脈を示すか否かを判定した結果を参照して解析することができ、解析精度の向上を図ることができる。
また、情報処理装置100によれば、対象者のそれぞれの部位の脈波波形のうちの少なくともいずれかの脈波波形間の一致度合いを示す第1の指標値を算出することができる。また、情報処理装置100によれば、対象者のそれぞれの部位の脈波波形のうちのいずれかの部位の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値を算出することができる。また、情報処理装置100によれば、算出した第1の指標値に基づいて、対象者のいずれかの部位の脈波波形にノイズが含まれるか否かを判定することができる。また、情報処理装置100によれば、ノイズが含まれないと判定した場合に、算出した第2の指標値に基づいて、対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。
これにより、情報処理装置100は、対象者のいずれかの部位の脈波波形にノイズが含まれるか否かを判定し、ノイズが含まれない場合に不整脈を示すか否かを判定することができる。結果として、情報処理装置100は、ノイズが含まれる脈波波形を解析対象から除外し、ノイズが含まれない脈波波形を解析対象として、不整脈を示すか否かの判定結果を参照して解析することができ、解析精度の向上を図ることができる。
また、情報処理装置100によれば、取得した所定期間内のそれぞれの期間での対象者のそれぞれの部位の脈波波形のうちの脈波波形間の一致度合いを示す第1の指標値を算出することができる。また、情報処理装置100によれば、取得した所定期間内のそれぞれの期間でのいずれかの部位の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値を算出することができる。また、情報処理装置100によれば、所定期間内のそれぞれの期間について算出した第1の指標値に基づいて、それぞれの期間でのいずれかの部位の脈波波形にノイズが含まれるか否かを判定することができる。また、情報処理装置100によれば、所定期間内でノイズが含まれないと判定した期間それぞれについて算出した第2の指標値が第2の閾値より大きいか否かを判定することができる。また、情報処理装置100によれば、所定期間内でノイズが含まれないと判定した期間のうちで第2の指標値が第2の閾値より大きいと判定した期間の割合に基づいて、所定期間内でのいずれかの部位の脈波波形が不整脈を示すか否かを判定することができる。
これにより、情報処理装置100は、ノイズが含まれる期間について算出した第2の指標値を用いずに、所定期間内での対象者のいずれかの部位の脈波波形が不整脈を示すか否かを判定することができ、判定精度の向上を図ることができる。
また、情報処理装置100によれば、第1の指標値および算出した第2の指標値に基づいて、いずれかの部位の脈波波形にノイズが含まれるか否かを判定することができる。これにより、情報処理装置100は、対象者のいずれかの部位の脈波波形の脈波らしさと、対象者のいずれかの部位の脈波波形のうちの部分波形間の一致度合いとを参照して、ノイズが含まれるか否かを判定することができ、判定精度の向上を図ることができる。
また、情報処理装置100によれば、第2の指標値として、いずれかの部位の脈波波形のうちで所定周期分の長さの部分波形間の一致度合いを示す値を採用することができる。これにより、情報処理装置100は、対象者のいずれかの部位の脈波波形について、どのくらい類似した部分波形が繰り返されるのかを示す値を、第2の指標値として採用することができる。
また、情報処理装置100によれば、第2の指標値として、いずれかの部位の脈波波形のうちの脈波間隔のばらつきの大きさを示す値を採用することができる。これにより、情報処理装置100は、対象者のいずれかの部位の脈波波形について周期の変動がどのくらいの大きさであるかを示す値を、第2の指標値として採用することができる。
なお、本実施の形態で説明した情報処理方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本情報処理プログラムは、ハードディスク、フレキシブルディスク、CD−ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また本情報処理プログラムは、インターネット等のネットワークを介して配布してもよい。
上述した実施の形態に関し、さらに以下の付記を開示する。
(付記1)対象者を撮影したそれぞれの撮影画像に含まれる前記対象者の複数の部位のそれぞれの部位の画像を解析して得られた前記それぞれの部位の脈波波形を取得する取得部と、
取得した前記それぞれの部位の脈波波形のうちの脈波波形間の一致度合いを示す第1の指標値を算出し、取得した前記それぞれの部位の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値を算出する算出部と、
算出した前記第1の指標値と算出した前記第2の指標値との組み合わせに基づいて、取得した前記脈波波形が不整脈を示すか否かを判定する判定部と、
不整脈を示すか否かの判定結果を出力する出力部と、
を有することを特徴とする情報処理装置。
(付記2)前記判定部は、前記第1の指標値と前記第2の指標値との対応関係を示す情報に基づいて、前記脈波波形が不整脈を示すか否かを判定する、ことを特徴とする付記1に記載の情報処理装置。
(付記3)前記判定部が、算出した前記第1の指標値に基づいて、取得した前記それぞれの部位の脈波波形にノイズが含まれるか否かを加えて判定する、ことを特徴とする付記1に記載の情報処理装置。
(付記4)前記判定部が、算出した前記第2の指標値に基づいて、取得した前記脈波波形が不整脈を示すか否かを判定する、ことを特徴とする付記3に記載の情報処理装置。
(付記5)前記算出部が、複数の期間のそれぞれの期間において第1の指標値と第2の指標値を算出し、
前記判定部が、前記それぞれの期間について算出した前記第1の指標値と前記第2の指標値とに基づいて、前記脈波波形が不整脈を示すか否かを判定する、ことを特徴とする付記1〜4のいずれか一つに記載の情報処理装置。
(付記6)前記判定部が、前記第1の指標値と前記第2の指標値との対応関係を示す情報が不整脈である場合と不整脈でない場合のいずれか一つ以上の第1の指標値と第2の指標値の対応関係を示す情報であり、前記対応関係を示す情報に基づいて、算出した前記第1の指標値が、算出した前記第2の指標値に対応する前記第1の指標値以上であると判定した場合に、取得した前記脈波波形が不整脈を示すと判定する、ことを特徴とする付記1〜5のいずれか一つに記載の情報処理装置。
(付記7)前記算出部が、前記第1の指標値と前記第2の指標値との相関の強さを示す第3の指標値を前記第1の指標値と前記第2の指標値との対応関係を示す情報として算出し、
前記判定部が、算出した前記第3の指標値が小さいと判定した場合に、前記脈波波形が不整脈を示すと判定する、ことを特徴とする付記1〜6のいずれか一つに記載の情報処理装置。
(付記8)前記判定部が、前記第2の指標値が閾値より小さいと判定した期間の割合を前記第1の指標値と前記第2の指標値との対応関係を示す情報として算出し、その情報に基づいて前記脈波波形が不整脈を示すか否かを判定する、ことを特徴とする付記1〜7のいずれか一つに記載の情報処理装置。
(付記9)前記判定部の不整脈を示すか否かの判定結果に基づいて、前記第1の指標値と前記第2の指標値との対応関係を示す情報を生成する学習部、を有することを特徴とする付記1〜8のいずれか一つに記載の情報処理装置。
(付記10)前記算出部が、複数の期間のそれぞれの期間について算出した前記第2の指標値に基づいて、前記第2の指標値のばらつきの大きさを示す第4の指標値を算出し、
前記判定部が、算出した前記第4の指標値に応じて、前記第1の指標値と前記第2の指標値との対応関係を示す情報を切り替える、ことを特徴とする付記1〜9のいずれか一つに記載の情報処理装置。
(付記11)前記第2の指標値は、前記それぞれの部位の脈波波形における所定周期分の長さの部分波形間の一致度合いを示す値である、ことを特徴とする付記1〜10のいずれか一つに記載の情報処理装置。
(付記12)前記第2の指標値は、前記それぞれの部位の脈波波形における脈波間隔のばらつきの大きさを示す値である、ことを特徴とする付記1〜11のいずれか一つに記載の情報処理装置。
(付記13)コンピュータが、
対象者を撮影したそれぞれの撮影画像に含まれる前記対象者の複数の部位のそれぞれの部位の画像を解析して得られた前記それぞれの部位の脈波波形を取得し、
取得した前記それぞれの部位の脈波波形のうちの脈波波形間の一致度合いを示す第1の指標値を算出し、
取得した前記それぞれの部位の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値を算出し、
算出した前記第1の指標値と算出した前記第2の指標値との組み合わせに基づいて、取得した前記脈波波形が不整脈を示すか否かを判定し、
不整脈を示すか否かの判定結果を出力する、
処理を実行することを特徴とする情報処理方法。
(付記14)コンピュータに、
対象者を撮影したそれぞれの撮影画像に含まれる前記対象者の複数の部位のそれぞれの部位の画像を解析して得られた前記それぞれの部位の脈波波形を取得し、
取得した前記それぞれの部位の脈波波形のうちの脈波波形間の一致度合いを示す第1の指標値を算出し、
取得した前記それぞれの部位の脈波波形のうちの部分波形間の一致度合いを示す第2の指標値を算出し、
算出した前記第1の指標値と算出した前記第2の指標値との組み合わせに基づいて、取得した前記脈波波形が不整脈を示すか否かを判定し、
不整脈を示すか否かの判定結果を出力する、
処理を実行させることを特徴とする情報処理プログラム。