WO2014136310A1 - 脈波伝播速度の測定方法及びシステム並びに撮像装置 - Google Patents

Abstract

　本発明は、一般の利用者が日常的に利用でき、低コストで、測定精度が姿勢等の影響を受けにくい脈波伝播速度の測定方法及びシステム並びに撮像装置を提供する。本発明は、単一の可視光カメラにより非接触状態で人体の異なる部位を同時に撮像し、時系列的に連続した画像データを取得する。次に、画像データにおける人体の異なる部位の時間的な画素値変化に基づき、人体の異なる部位における脈波をそれぞれ検出する。そして、人体の異なる部位における脈波の時間差に基づき、人体の脈波伝播速度を算出する。

Description

脈波伝播速度の測定方法及びシステム並びに撮像装置

　本発明は、脈波伝播速度の測定方法及びシステム並びに撮像装置に係り、特に、人体の異なる部位における脈波の時間差に基づいて人体の脈波伝播速度を測定する技術に関する。

　従来より、動脈硬化等の循環器系における評価指標の１つとして、脈波伝播速度(ＰＷＶ：Pulse Wave Velocity)が用いられている。脈波伝播速度を測定する方法としては、人体の異なる部位で測定した脈派の時間差(脈波伝播時間)と測定した２箇所の部位間の距離とに基づいて、脈波伝播速度を算出する方式が実用化されている。また、脈波伝播速度は血圧と相関があることを利用して、手首と指との２箇所で測定した脈波の時間差(脈波伝播時間)に基づいて、血圧を算出する技術が公開されている（特許文献１参照）。

　しかしながら、これらの脈波伝播速度測定装置は、頸部と大腿部、上腕と足関節のように距離が離れている２箇所の部位に測定用のセンサを装着する必要があり、日常的に利用するには適していない。脈波センサを手首と指など比較的容易に装着できる部位に装着すれば一般の利用者が日常的に利用できる可能性があるが、高い時間分解能が必要でコストが高くなること、関節の状況等により測定誤差が大きくなること、等の問題がある。

　また、生体の１か所の部位で測定した脈波に含まれる進行波成分と反射波成分との時間差に基づいて測定する方法が開示されている（特許文献２参照）。これによれば、比較的容易に脈波センサが装着でき、一般の利用者が日常的に利用できる可能性がある。しかし、脈波に含まれる反射波成分は、姿勢の変化などによる血管の状態変化に大きく影響されるため、正確な測定が難しいという問題がある。

　一方、特許文献３には、カメラ付き携帯電話のカメラの開口部に手の指を当てた状態で撮像し、指画像の時間的変化を検出して脈拍数を測定する技術が開示されている。

　また、特許文献４には、赤外線カメラを用いて生体の表面（皮膚）温度を検出し、生体の温度情報の時間変化から生体の心拍に対応する周波数帯域の周波数成分に対応する周波数データを抽出し、その周波数データに基づいて、生体の心拍数を計測する技術が開示されている。

特開２０１１－１０４２０８号公報 特開２００３－１０１３９号公報 特開２００７－３１９２４６号公報 特開２０１０－２６４０９５号公報

　しかしながら、特許文献３に開示される技術は、生体の脈拍数を測定することを目的として、カメラの開口部に手の指を当てた状態で生体の１箇所を撮像した画像データ（指画像データ）に基づいて脈拍数の測定を行うことを前提としたものであり、生体の異なる２箇所を同時に撮像することによる種々の機能提供が難しいという問題がある。

　また、特許文献４に開示される技術では、温度情報を取得するために赤外線カメラを用いなければならず、一般の利用者が日常的に利用する電子機器（例えば携帯電話等）を活用することはできず、コストアップを招き、一般の利用者に普及しにくい問題がある。また、同文献には、可視光カメラを用いてユーザの部位を特定し、その部位における温度情報を赤外線カメラで取得する技術が開示されているが、可視光カメラと赤外線カメラを併用しなければならず、コストアップを招き、一般の利用者に普及しにくいと考えられる。

　本発明は、このような事情に鑑みてなされたもので、一般の利用者が日常的に利用でき、低コストで、測定精度が姿勢等の影響を受けにくい脈波伝播速度の測定方法及びシステム並びに撮像装置を提供することを目的とする。

　本発明の第１側面としての脈波伝播速度の測定方法は、単一の可視光カメラにより非接触状態で人体の異なる部位を同時に撮像し、時系列的に連続した画像データを生成する撮像ステップと、画像データにおける人体の異なる部位の時間的な画素値変化に基づき、人体の異なる部位における脈波をそれぞれ検出する脈波検出ステップと、人体の異なる部位における脈波の時間差に基づき、人体の脈波伝播速度を算出する脈波伝播速度算出ステップと、を備える。

　本発明の第２側面としての脈波伝播速度の測定方法は、単一の可視光カメラにより非接触状態で人体の異なる部位を同時に撮像し、時系列的に連続した画像データを生成する撮像ステップと、画像データにおける人体の異なる部位以外の基準位置の時間的な画素値変化に基づき、人体の異なる部位に照射される照明光の光量又は色の少なくとも一方の時間的な変化情報を検出する光情報検出ステップと、光情報検出ステップで検出された変化情報に基づき、照明光の光量又は色の時間的な変化による影響を打ち消すように画像データを補正する補正ステップと、補正ステップによる補正後の画像データにおける人体の異なる部位の時間的な画素値変化に基づき、人体の異なる部位における脈波をそれぞれ検出する脈波検出ステップと、人体の異なる部位における脈波の時間差に基づき、人体の脈波伝播速度を算出する脈波伝播速度算出ステップと、を備える。

　本発明の第３側面としての脈波伝播速度の測定方法は、単一の可視光カメラにより非接触状態で人体の異なる部位を同時に撮像し、時系列的に連続した画像データを生成する撮像ステップと、画像データにおける人体の異なる部位の時間的な画素値変化を時間的に補間した補間データを生成する補間ステップと、補間データに基づき、人体の異なる部位における脈波をそれぞれ検出する脈波検出ステップと、人体の異なる部位における脈波の時間差に基づき、人体の脈波伝播速度を算出する脈波伝播速度算出ステップと、を備える。

　本発明の第４側面としての脈波伝播速度の測定システムは、単一の可視光カメラにより非接触状態で人体の異なる部位を同時に撮像し、時系列的に連続した画像データを生成する撮像部と、画像データにおける人体の異なる部位の時間的な画素値変化に基づき、人体の異なる部位における脈波をそれぞれ検出する脈波検出部と、人体の異なる部位における脈波の時間差に基づき、人体の脈波伝播速度を算出する脈波伝播速度算出部と、を備える。

　本発明の第５側面としての撮像装置は、単一の可視光カメラにより非接触状態で人体の異なる部位を同時に撮像し、時系列的に連続した画像データを生成する撮像部と、画像データを構成する複数の画像のうち、第１の画像において人体の異なる部位が存在する領域を追尾領域として設定し、追尾領域の画像から特徴量を抽出し、第１の画像に時系列的に後続する第２の画像において、特徴量との類似度が最も高くなる画像領域を人体の異なる部位が存在する領域として検出することで人体の異なる部位の追尾処理を行う追尾処理部 と、を備える。

　本発明の第６側面としての撮像装置は、単一の可視光カメラにより非接触状態で人体の異なる部位を同時に撮像し、時系列的に連続した画像データを生成する撮像部と、撮像部で撮像された画像を表示する画面上に人体の異なる部位に対応した撮影ガイド枠を表示するガイド枠表示部と、を備える。

　本発明によれば、単一の可視光カメラにより非接触状態で人体の異なる部位を同時に撮像した画像データに基づいて、人体の異なる部位の画素値の時間的な変化から脈波伝播速度を測定することができるので、一般の利用者が日常的に利用でき、低コストで、姿勢等の影響を受けることがなく、脈波伝播速度の測定精度を向上させることができる。

図１は第１の実施形態の脈波伝播速度の測定システムの全体構成を示す概略図である。 図２は撮像装置の構成を示すブロック図である。 図３は横向き撮影時の撮影ガイド枠の一例を示す図である。 図４は縦向き撮影時の撮影ガイド枠の一例を示す図である。 図５は撮影ガイド枠に顔と手が重なるように撮影したときの状態を示す図である。 図６は被写体検出部の構成を示すブロック図である。 図７は脈波伝播速度算出装置の構成を示すブロック図である。 図８は演算部の構成を示すブロック図である。 図９は脈波検出部で行われる処理を説明するための図である。 図１０は第１及び第２測定部位の画素値変化を示すグラフである。 図１１は脈波信号モデルを説明するための図である。 図１２は第１及び第２測定部位の画素値変化と心電波形との関係を示した図である。 図１３は脈波伝播速度の算出方法を説明するための図である。 図１４は第１の実施形態において撮像装置で行われる処理を示すフローチャートである。 図１５は動画撮影開始するための操作画面を示した図である。 図１６は被写体検出処理を示すフローチャートである。 図１７は第１の実施形態において脈波伝播速度算出装置で行われる処理を示すフローチャートである。 図１８は画像解析処理を示すフローチャートである。 図１９は脈波伝播速度算出装置の表示部の画面上に測定結果を表示した様子を示す図である。 図２０は撮像装置の表示部の画面上に測定結果を表示した様子を示す図である。 図２１は第２の実施形態に係る脈波伝播速度算出装置の演算部の構成を示すブロック図である。 図２２は照明光の光量と画素値との関係を示すグラフである。

　以下、添付図面に従って本発明の好ましい実施の形態について詳説する。

　（第１の実施形態）
　最初に、本発明の第１の実施形態に係る脈波伝播速度システムの概要について説明する。

　図１は、本実施形態の脈波伝播速度の測定システムの全体構成を示す概略図である。図１に示すように、本実施形態の脈波伝播速度の測定システムは、撮像装置１００と、脈波伝播速度算出装置（以下、「ＰＷＶ算出装置」という。）２００とを備える。撮像装置１００とＰＷＶ算出装置２００は、例えばインターネットなどのネットワーク３００を介して各種データを送受信可能に接続される。

　撮像装置１００は、例えば、スマートフォン、カメラ付き携帯電話、デジタルカメラ、ビデオカメラ、Ｗｅｂカメラなどの一般的な撮像機能（可視光カメラ）付き端末装置で構成される。本例では、撮像装置１００は、スマートフォンにより構成される。撮像装置１００は、人体の異なる２箇所の部位（以下、「測定部位」ともいう。）を非接触状態で撮像し、時系列的に連続した画像データ（ＲＧＢ形式の画像データ）を出力する。画像データは、動画データに限らず、複数の静止画データでもよい。本例では、画像データが複数のフレーム画像からなる動画データで構成される場合を一例に説明する。

　撮像装置１００によって撮像される測定部位としては、人体の離れた位置における皮膚領域であれば特に限定されるものではないが、一般の利用者の利便性を考慮すると、顔領域と手領域であることが好ましく、その中でも特に頬領域と手のひら領域であることが好ましい。人体の皮膚領域は脈波（脈動）に応じて血流量が変化するので、後述するＰＷＶ算出装置２００において、その皮膚領域における画素値の時間的な変化（皮膚の色変化）を検出することによって、脈波に応じて振幅が変化する脈波信号（脈波データ）を取得することができる。また、頬領域と手のひら領域は、顔領域や手領域における他の領域と比べて皮膚領域が広く、ノイズの影響をできるだけ抑えた状態で皮膚の色変化を確実に検出することが可能となる。

　ＰＷＶ算出装置２００は、一般的なパーソナルコンピュータで構成され、例えば、病院などの医療施設等に設置される。ＰＷＶ算出装置２００は、撮像装置１００によって撮像した人体の異なる２箇所の部位（測定部位）を含む画像データに基づき、各測定部位における画素値変化を検出することによって、脈波に対応して振幅が変化する脈波信号（脈波データ）を取得する。そして、各測定部位における脈波信号の時間差から脈波伝播速度を算出し、その結果をモニタなどの表示部に出力する。なお、各測定部位の画素値変化については、ＲＧＢ画像の各色成分のうち、Ｒ成分、Ｇ成分、又はＢ成分の画素値の時間的な変化を検出すればよい。

　本実施形態の脈波伝播速度の測定システムによれば、撮像装置１００がスマートフォン、カメラ付き携帯電話、デジタルカメラ、ビデオカメラなどで構成され、人体の異なる２箇所の部位（測定部位）を非接触状態で撮像した画像データを用いて脈波伝播速度の測定が行われるので、一般の利用者が日常的に利用しやすく、低コストで、姿勢等の影響を受けることなく、高精度な測定が可能となる。以下、脈波伝播速度の測定システムを構成する各部の構成について説明する。

　図２は、撮像装置１００の構成を示すブロック図である。図２に示すように、撮像装置１００は、撮像部１０２と、制御部１０４と、記憶部１０６と、表示部１０８と、操作部１１０と、通信部１１２と、被写体検出部１１６と、追尾処理部１１８と、撮影支援部１１９とを備える。

　撮像部１０２は、撮影レンズと、可視光を受光する可視光用撮像素子（例えばＣＣＤセンサやＣＭＯＳセンサ）を備え、撮影レンズにより撮像素子に結像される被写体像をその撮像素子において電気信号に変換し画像データとする。さらに、撮像部１０２は、画像データに対してノイズリダクション処理、黒レベル減算処理、混色補正、シェーディング補正、ホワイトバランス補正、ガンマ補正、同時化処理、ＲＧＢ／ＹＣ変換処理等の信号処理を施す。本例では、撮像部１０２からＲＧＢ形式の画像データが出力される。

　表示部１０８は、例えば、液晶や有機ＥＬなどで構成されるディスプレイ（例えば、タッチパネルディスプレイなど）であって、撮像部１０２で取得される画像データ、撮像装置１００を操作するためのＧＵＩ（Graphical User Interface）などを表示する。

　通信部１１２は、後述するＰＷＶ算出装置２００の通信部２０２とインターネットなどのネットワークを介して各種データの送受信を行う。

　記憶部１０６は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成され、制御部１０４で実行されるオペレーションシステムのプログラム及び各種アプリケーションソフトなどや撮像部１０２で取得される画像データなどを記憶する。

　制御部１０４は、例えば、ＣＰＵやマイクロコンピュータなどにより構成され、記憶部１０６に記憶されているオペレーションシステムのプログラムや各種アプリケーションソフトを実行することにより撮像装置１００全体の動作制御を行う。

　撮影支援部１１９（本発明の「ガイド枠表示部」に相当）は、例えば、ＣＰＵやマイクロコンピュータなどにより構成され、表示部１０８の画面上に撮影ガイド枠を撮影画像に合成して表示する処理を行う。例えば、撮像装置１００において動画撮影が開始されると、図３や図４に示すように表示部１０８の画面上には撮影ガイド枠として顔ガイド枠１４０と手ガイド枠１４２が表示される。撮影ガイド枠の形状は特に限定されず、各種形状のものとすることができる。また、表示部１０８の画面の上部には、例えば「枠内に顔と手を撮影してください」と通知メッセージ１４４が表示される。これにより、利用者は、図５に示すように、顔ガイド枠１４０と手ガイド枠１４２に合わせた位置と大きさで顔と手を動画撮影するようになる。このため、適切な位置で撮影された顔と手の画像データを取得することが可能となり、各測定部位における脈波データを精度良く求めることができる。

　なお、顔ガイド枠１４０や手ガイド枠１４２、通知メッセージ１４４などの撮影支援機能については、利用者がこれらの表示／非表示を選択的に選べるようにしてもよい。例えば図５に示した例では、通知メッセージ１４４は非表示とされている。

　操作部１１０は、テンキーや各種の機能を選択するためのボタン、又はタッチパネル等によって構成され、表示部１０８とともにＧＵＩを構成している。操作部１１０は、動画撮影を開始又は終了するための入力操作等、各種操作に用いられる。

　被写体検出部１１６は、撮像部１０２で取得された画像データのうち、例えば最初に入力されたフレーム画像（初期フレーム画像）から特定の被写体領域として人体の異なる２箇所の部位（第１及び第２測定部位）を検出する。本例では、第１測定部位として頬領域を検出し、第２測定部位として手のひら領域を検出する。各測定部位を検出する方法としては、例えば、パターンマッチングによる方法、あるいは、人物の顔や手の多数のサンプル画像を用いた学習により得られた判別器を用いる方法などを用いることができる。また、ＲＯＭにあらかじめ人体の顔を登録しておき、被写体の検出後に顔認識を行うことにより、特定の顔を認識するようにしてもよい。また、表示部１０８の画面上には、図５に示すように、被写体領域として検出した各測定部位（すなわち、頬領域と手のひら領域）に対応した位置に被写体枠１５０、１５２が表示される。

　図６は、被写体検出部１１６の構成を示すブロック図である。図６に示すように、被写体検出部１１６は、被写体の人体領域を検出する人体領域検出部１２０と、人体領域から顔領域を検出する顔領域検出部１２２と、人体領域から手領域を検出する手領域検出部１２４とを備える。さらに、被写体検出部１１６は、顔領域から頬領域を検出する頬領域検出部１２６と、顔領域から額領域を検出する額領域検出部１２８と、手領域から手のひら領域を検出する手のひら領域検出部１３０と、手領域から手の指領域を検出する手の指領域検出部１３２とを備える。このように被写体検出部１１６を構成することにより、人体領域から細部にわたって段階的に各部を検出することができる。

　なお、複数の顔領域や手領域が検出された場合には顔領域と手領域の関連付けが困難となることから、利用者にエラーメッセージを通知して再撮影を促すことが望ましい。ただし、顔領域が１箇所で手領域が２箇所に検出された場合には同一人物である可能性が高いことから、その場合にはこれらの領域を被写体領域として検出してもよい。

　図２に戻り、追尾処理部１１８は、被写体検出部１１６において検出された第１及び第２測定部位である頬領域と手のひら領域を追尾領域として追尾処理を行う。具体的には、前フレーム画像内の追尾領域における画像の特徴量と、現フレーム画像の追尾候補領域における画像の特徴量との類似度が最も高くなる領域（この領域が原フレーム画像における追尾領域となる）を、現フレーム画像の中から探索する。

　追尾領域を特定する情報には、例えば、追尾領域の位置を示す情報や追尾領域の色及び輝度を示す情報などが含まれている。追尾処理部１１８は、記憶部１０６から現フレーム画像を取得すると、前フレーム画像で特定された追尾領域の位置近辺の所定領域における追尾領域の色および輝度に近い領域を、現フレーム画像から検出して追尾領域を特定する。そして、追尾処理部１１８は、現フレーム画像で特定された追尾領域の位置、並びに、追尾被写体の色及び輝度に基づいて、記憶部１０６に順次記憶されるフレーム画像から追尾領域を特定することを繰り返して行う。このように追尾処理が行われ、追尾処理部１１８は、追尾領域である各測定部位（第１及び第２測定部位）を撮像するのに最適となるように各種の撮像パラメータ（フォーカスや明るさなど）を調整する。

　図７は、ＰＷＶ算出装置２００の構成を示すブロック図である。図７に示すように、ＰＷＶ算出装置２００は、通信部２０２と、記憶部２０４と、表示部２０６と、操作部２０８と、制御部２１０と、演算部２１２と備える。なお、ＰＷＶ算出装置２００は、物理的に１台のコンピュータで構成されていることに限らず、互いにネットワークに接続された複数台のコンピュータで構成されていてもよい。

　記憶部２０４は、例えば、ＲＯＭ、ＲＡＭ、又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などにより構成され、制御部２１０で実行されるオペレーションシステムのプログラム及び各種アプリケーションソフトなどを記憶する。また、記憶部２０４は、撮像装置１００から取得した画像データを一時的に記憶する画像メモリとして機能する。

　表示部２０６は、カラー表示が可能な液晶モニタ等のディスプレイで構成され、制御部２１０から出力された各種管理情報等を表示する。

　操作部２０８は、マウス、キーボード等からなる。操作部２０８により操作された結果は制御部２１０へ入力され、入力が行われたか否か、どのボタンへの入力が行われたか等が検出される。

　通信部２０２は、撮像装置１００の通信部１１２とインターネットなどのネットワークを介してデータの送受信を行う。

　制御部２１０は、例えば、ＣＰＵやマイクロコンピュータなどにより構成され、記憶部２０４に記憶されているオペレーションシステムのプログラムや各種アプリケーションソフトを実行することによりＰＷＶ算出装置２００全体の動作制御を行う。

　演算部２１２は、例えば、ＣＰＵやマイクロコンピュータなどにより構成され、制御部２１０からの指示に従って各種演算処理を行う。

　図８は、演算部２１２の構成を示すブロック図である。図８に示すように、演算部２１２は、領域検出部２２６、領域追跡部２２７、脈波検出部２１６、脈拍数算出部２１８、脈波伝播速度算出部２２０、健康状態推定部２２２、及び出力部２２４を備える。

　領域検出部２２６及び領域追跡部２２７は、画像データの各フレーム画像の中から第１及び第２測定部位を抽出するための機能ブロックであり、撮像装置１００における被写体検出部１１６及び追尾処理部１１８と同様の処理が行われる。すなわち、領域検出部２２６によって、例えば最初に入力されたフレーム画像（初期フレーム画像）の中から第１及び第２測定部位として頬領域と手のひら領域を検出した後、これらの領域を追尾領域として、これに続くフレーム画像について領域追跡部２２７により追尾処理を行う。この追尾処理の結果（追尾情報）については脈波検出部２１６に対して出力される。なお、ＰＷＶ算出装置２００が、撮像装置１００の追尾処理部１１８による追尾処理の結果（追尾情報）を取得できる場合にはその追尾情報を利用することができる。この場合、演算部２１２には、領域検出部２２６及び領域追跡部２２７を設けなくてもよい。

　脈波検出部２１６は、領域追跡部２２７又は撮像装置１００の追尾処理部１１８から取得した追尾情報に基づいて各フレーム画像の中から各測定部位を抽出し、各測定部位における画素値変化を検出する。具体的には、例えば図９に示すように、各フレーム画像Ｆ_０～Ｆ_ｎにおいて、頬領域（第１測定部位）に属する各画素の画素値の平均画素値Ｄ１と、手のひら領域（第２測定部位）に属する各画素の画素値の平均画素値Ｄ２とを求める。これにより、例えば図１０に示すような画素値変化を示すグラフが得られる。なお、図１０において、横軸はフレーム番号（時間軸）であり、縦軸は画素値（平均値）である。また、図１０において実線で示した波形は、各フレーム画像における各測定部位の画素値（黒丸部分）から算出したものであり、この波形が脈波に対応した振幅を有する脈波信号（脈波データ）となる。

　ところで、各フレーム画像の画素値（図１０の黒丸部分）から脈波信号を求める際、フレームレートが高ければ脈波信号を高い時間分解能で求めることが可能であるが、一般の利用者が日常的に利用するカメラはフレームレートが３０ｆｐｓ以下であり、数ミリ秒の時間分解能が必要となる自律神経状態の推定が困難となる場合が考えられる。なお、血圧や脈拍の測定だけなら１００ミリ秒程度の時間分解能で十分である。

　そこで、本実施形態では、画像データが３０ｆｐｓ以下のフレームレートである場合でも、脈波信号を高い時間分解能で求めることができるようにするために、例えば図１１に示すような複数の脈波信号モデル（波形モデル）Ｐ_１～Ｐ_ｎが記憶部２０４にあらかじめ記憶されている。そして、記憶部２０４から脈波検出部２１６に対して各脈波信号モデルＰ_１～Ｐ_ｎが与えられるようになっている（図８参照）。なお、各脈波信号モデルＰ_１～Ｐ_ｎは互いに異なる複数の波形パターン（脈波波形）からなる。

　脈波検出部２１６は、本発明の「補間ステップ」として、各脈波信号モデルＰ_１～Ｐ_ｎに対して各測定データ（各フレーム画像の画素値）をそれぞれフィッティングして、その中で最も類似度が高い脈波信号モデルを選択する。そして、選択した脈波信号モデルを用いて、取得できていないフレーム画像間の画素値変化を推定する。これにより、画像データが３０ｆｐｓ以下のフレームレートである場合においても、フレーム画像間における未取得の画素値変化を脈波信号モデルに基づいて推定することができ、図１０に示すような脈波信号を高い時間分解能で精度良く求めることが可能となる。

　図１２は、第１及び第２測定部位の画素値変化と心電波形との関係を示した図である。図１２に示すように、各測定部位の画素値変化と心電波形とは相関性があり、脈波（脈動）に応じて振幅が変化する脈波信号（脈波データ）として各測定部位の画素値変化を用いることができる。これは、人体の顔や手の皮膚領域は心拍に応じて血流量が変化するためであり、各測定部位における画素値は脈波（脈動）に応じて振幅が変化する。したがって、皮膚領域である人体の顔領域や手領域（好ましくは頬領域や手のひら領域）の画素値変化を検出することによって、脈波に応じて振幅が変化する脈波信号（脈波データ）として用いることができる。このようにして検出された各測定部位の脈波信号は、脈拍数算出部２１８及び脈波伝播速度算出部（以下、ＰＷＶ算出部という。）２２０に出力される。

　本実施形態において、各測定部位の画素値を算出する前に、画像データに対して空間フィルタを使用したフィルタリング処理を施しておくことが好ましい。具体的には、各フレーム画像において第１及び第２測定部位が抽出された後、各測定部位に属する全画素に対し、注目画素とその周辺画素（Ｍ×Ｎ画素）の画素値を使用して注目画素の画素値を変換する。空間フィルタとしては、平滑化フィルタ（例えば平均化フィルタ）、メディアンフィルタ、又は、これらのフィルタを組み合わせて好ましく用いることができる。フィルタサイズとしては、例えば３×３、５×５、７×７画素のものが用いられ、画素値の変動量に応じて決めればよい。

　このように画像データに対して空間フィルタを使用したフィルタリング処理を施すことによって、皮膚の色のばらつき、電気的なノイズ、光の当たり方、体の移動、カメラの移動、各測定部位の検出誤差などに起因するノイズの影響を受けることなく、各測定部位の画素値変化を精度良く検出することができる。また、画像データに対してノイズ低減の処理をした後の時間信号としての脈波信号には、未だノイズ成分が残っている場合がある。これに対しては、脈波信号に対して周波数平滑化フィルタ、トリムド平均値フィルタ、メディアンフィルタなどのノイズ低減処理を行ってもよい。

　また、空間フィルタに代えて、又は空間フィルタと組み合わせて、２次元の空間周波数フィルタを使用したフィルタリング処理を施してもよい。これによれば、画像データから不要な周波数のノイズ成分を除去することができる。また、外れ値処理を行ってもよい。

　図８に戻り、脈拍数算出部２１８は、脈波検出部２１６で検出された各測定部位の脈波信号に基づき、各測定部位における脈拍数を算出し、その結果を健康状態推定部２２２及び出力部２２４に対して出力する。

　ＰＷＶ算出部２２０は、脈波検出部２１６で検出された各測定部位の脈波信号に基づき、脈波伝播速度を算出し、その算出結果を健康状態推定部２２２及び出力部２２４に対してそれぞれ出力する。具体的には、例えば図１３に示すように、脈波検出部２１６で検出された各測定部位の脈波信号の基準点（例えば立ち上がり点）の時間差（脈波伝播時間）Ｔ[秒]を求め、各測定部位間の心臓からの距離差をＬ[ｍ]としたとき、次式（１）によって脈波伝播速度Ｖ[ｍ／秒]を算出することができる。

　　Ｖ＝Ｌ／Ｔ　　　…（１）
　なお、脈波伝播速度Ｖは脈波検出部２１６で検出された各測定部位の脈波信号と同時に求めるものであってもよい。

　また、脈波伝播時間Ｔ[秒]は次式（２）によっても求めることができる。

　　Ｔ＝（Ｃ／360）×（tan^-1（Ｈ（ｙ）／ｙ）‐tan^-1（Ｈ（ｘ）／ｘ））…（２）
ここで、ｘとｙはある２つの測定部位の脈波信号であり、Ｈ（ｘ）とＨ（ｙ）はそれぞれのヒルベルト変換であり、Ｃ[秒]は脈波信号ｘまたはｙの周期、あるいは両者の平均値である。

　なお、距離Ｌについては、あらかじめメモリ（不図示）に測定部位の組み合わせ毎に複数パターンを登録しておき、被写体検出部１１６で検出された被写体（測定部位）に応じて決定するようにしてもよい。例えば、年齢、性別、身長、体重などの体型情報をユーザが入力すると、その体型情報に最も適合する距離Ｌを決定するようにしてもよい。

　健康状態推定部２２２は、脈拍数算出部２１８で算出された脈拍数と、ＰＷＶ算出部２２０で算出された脈波伝播速度とに基づき、撮像装置１００で撮像された人体の健康状態を推定する。この健康状態推定部２２２は、血圧を推定する血圧推定部２２８と、動脈硬化状態を推定する動脈硬化状態推定部２３０と、自律神経活動状態を推定する自律神経活動状態２３２とを備え、これらの推定結果を出力部２２４に対して出力する。

　出力部２２４は、演算部２１２で求められた各種情報（すなわち、脈拍数、脈拍伝播速度、血圧、動脈硬化状態、及び自律神経活動状態）を、例えば表示部２０６や記憶部２０４などに出力する。

　なお、本実施形態において、ＰＷＶ算出部２２０から健康状態推定部２２２に対し脈波伝播時間Ｔを出力し、健康状態推定部２２２において脈波伝播時間Ｔを利用して人体の健康状態を推定するようにしてもよい。

　具体的には、人体に刺激を与える前の脈波伝播時間Ｔ_１と、人体に刺激を与えた後の脈波伝播時間Ｔ_２との差Ｒ（すなわち、Ｒ＝｜Ｔ_２－Ｔ_１｜）を求め、その差Ｒから人体の精神的・身体的状態を推定することができる。健常者は刺激により大きく変化するが、健康でない場合には変化が小さい。生体に与える刺激としては、以下のようなものが考えられる。

　五感に対する刺激：フラッシュ、良いにおい、大きな音、酢を口に入れる等
　精神的な刺激：話しかける、映像を見せる、音楽を聞かせる等
　筋肉への刺激：走る、立ち上がる、重いものを持ち上げる等
　次に、第１の実施形態において行われる処理について説明する。図１４は、第１の実施形態において撮像装置１００で行われる処理を示すフローチャートである。

　まず、本発明の「撮像ステップ」としての動画撮影が開始される（ステップＳ１０）。具体的には、図１５に示すように、撮像装置１００の表示部１０８の画面上に「動画撮影メニュー」が表示されている状態において、ユーザによって「脈波伝播速度測定モード」が選択されると、制御部１０４により、撮像部１０２における動画撮影が開始される。また、「脈波伝播速度測定モード」の動作オプションとして測定部位を選択するサブメニューが用意されており、デフォルトでは測定部位（第１及び第２測定部位）として顔と手が選択されている。測定部位を変更する場合には、このサブメニューを開いて、測定部位に対応するチェックボックスを選択又は非選択とすることにより、所望の測定部位に変更することができる。なお、利用者が自分の撮影を行う場合には撮像装置１００のインカメラ機能が用いられる。

　このようにして動画撮影が開始されると、撮影支援部１１９により、表示部１０８の画面上に撮影ガイド枠が表示される（ステップＳ１２）。例えば図３や図４に示すように、表示部１０８の画面上に顔ガイド枠１４０と手ガイド枠１４２が表示される。このように表示部１０８の画面上に測定部位に対応した撮影ガイド枠を表示することで、例えば図５に示すように、利用者は、顔ガイド枠１４０及び手ガイド枠１４２にそれぞれ対応した位置、大きさで顔と手を撮影するようになる。これによって、各測定部位の位置や大きさを特定しやすくなるので、測定部位の検出処理や追尾処理に要する時間を短縮化できるとともに安定かつ高精度に測定を行うことが可能となる。

　次に、本発明の「被写体検出ステップ」としての被写体検出処理が行われる（ステップＳ１４）。具体的には、被写体検出部１１６において、撮像部１０２で取得された画像データのうち、例えば最初に入力されたフレーム画像（初期フレーム画像）において、特定の被写体領域として人体の異なる２箇所の部位（第１及び第２測定部位）が検出される。

　図１６は被写体検出処理のフローチャートである。まず、被写体検出部１１６の人体領域検出部１２０が、被写体の人体領域を検出し（ステップＳ３０）、次に、顔領域検出部１２２が顔領域を検出し、さらに頬領域検出部１２６及び額領域検出部１２８により頬領域と額領域を検出する（ステップＳ３２）。次に、手領域検出部１２４が手領域を検出し、手のひら領域検出部１３０及び手の指領域検出部１３２により手のひら領域と手の指領域を検出する（ステップＳ３４）。そして、被写体検出処理を終了する。

　図１４に戻り、被写体検出部１１６により頬領域と手のひら領域が検出されたか否かを判定する（ステップＳ１６）。ステップＳ１４が肯定されると、追尾処理部１１８は、頬領域と手のひら領域を追尾領域として設定し、図５に示すように、各追尾領域に追尾枠１５４、１５６を表示部１０８の画面上に表示する（ステップＳ１８）。なお、追尾枠１５４、１５６は、被写体枠１５０、１５２の表示色を変更したものである。そして、追尾処理部１１８は、本発明の「追尾処理ステップ」として、これらの追尾領域について追尾処理を行う（ステップＳ２０）。追尾処理では、前フレーム画像内の追尾領域における画像の特徴量と、現フレーム画像の追尾候補領域における画像の特徴量との類似度が最も高くなる領域（この領域が原フレーム画像における追尾領域となる）を、現フレーム画像の中から探索する。

　次に、追尾処理部１１８は、追尾処理が正常に行われているか否か（すなわち、現フレーム画像の中から前フレーム画像内の追尾領域と類似が高くなる領域が検出されたか否か、及び、並行して実施した領域検出処理結果との位置関係が保たれているか）を判定する（ステップＳ２２）。ステップＳ２２が肯定されると、追尾処理部１１８は、制御部１０４を介して、追尾領域を撮像するのに最適となるように各種の撮像パラメータ（フォーカスや明るさなど）を調整する（ステップＳ２４）。

　一方、ステップＳ１６又はステップＳ２２が否定された場合には、領域検出処理又は追尾処理が適切に行われていないため、本発明の「通知ステップ」として、利用者に被写体の再撮像を通知する通知メッセージを表示部１０８の画面上に表示する（ステップＳ２９）。そして、ステップＳ１４に戻り、領域検出処理以降の処理を再び行う。なお、制御部１０４及び表示部１０８が本発明の「通知部」に相当する。

　ステップＳ２４が行われた後、動画撮影の終了指示が行われたか否かが判定される（ステップＳ２６）。ステップＳ２６が否定された場合には、ステップＳ２０に戻り、被写体追尾処理以降の処理を繰り返し行う。一方、ステップＳ２６が肯定された場合には、制御部１０４による制御によって動画撮影を終了する（ステップＳ２６）。その後、操作部１１０を操作することによって画像データの送信指示が行われると、ネットワークを介してＰＷＶ算出装置２００に画像データを送信し（ステップＳ２８）、すべての処理を終了する。

　図１７は、第１の実施形態においてＰＷＶ算出装置２００で行われる処理を示すフローチャートである。

　図１７に示すように、ＰＷＶ算出装置２００は、撮像装置１００から送信された画像データを取得する（ステップＳ４０）。ＰＷＶ算出装置２００で取得された画像データは記憶部２０４に一旦記憶される。

　次に、演算部２１２は、記憶部２０４に記憶された画像データを読み出し、脈波伝播速度を算出するための解析処理を行う（ステップＳ４２）。

　そして、演算部２１２は、解析処理により得られた結果（脈拍数、脈拍伝播速度、血圧、動脈硬化状態、及び自律神経活動状態）を出力する（ステップＳ４４）。

　ここで、演算部２１２で行われる解析処理について説明する。図１８は、画像解析処理のフローチャートである。

　まず、脈波検出部２１６は、記憶部２０４に記憶された画像データを取得する（ステップＳ５０）。なお、脈波検出部２１６は、撮像装置１００から画像データを直接取得してもよい。

　次に、脈波検出部２１６は、本発明の「脈波検出ステップ」として、撮像装置１００から出力された画像データに基づき、人体の異なる２箇所の部位（第１及び第２測定部位）である頬領域と手のひら領域における画素値変化をそれぞれ検出することによって、各測定部位における脈波信号（脈波データ）を取得する（ステップＳ５２、Ｓ５４）。

　次に、脈波伝播速度算出部２２０は、本発明の「脈波伝播速度算出ステップ」として、各測定部位における脈波信号の時間差から脈波伝播速度を算出する（ステップＳ５６）。

　次に、健康状態推定部２２２が、本発明の「健康状態推定ステップ」として、脈波伝播速度算出部２２０で算出された脈波伝播速度に基づき、撮像装置１００で撮像された人体の健康状態として、血圧、動脈硬化状態、及び自律神経活動状態を推定する（ステップＳ５８）。

　このようにして求められた各種情報（脈波伝播速度、血圧、動脈硬化状態、及び自律神経活動状態）は、例えば図１９に示すように、ＰＷＶ算出装置２００の表示部２０６の画面上に表示される。これにより、ＰＷＶ算出装置２００が設置される病院等において、医師は、この表示部２０６の画面上に表示された各種情報を確認することにより、撮像装置１００によって撮像された利用者（患者等）と直接対面することなく、遠隔で利用者の健康状態を容易に把握することが可能となる。また、利用者の体調変化を早期段階で把握することができるので、病気を未然に防ぐことが可能となる。一方、利用者にとっては、簡単な方法で健康状態を測定することができ、利便性が向上する。また、脈波伝播速度、血圧、動脈硬化状態、及び自律神経活動状態は、図２０に示すように、撮像装置１００の表示部１０８の画面上に表示してもよい。これにより、撮像装置１００の利用者は、自分の健康状態を日常的に把握することが可能となる。

　以上のとおり、本実施形態によれば、単一の可視光カメラにより非接触状態で人体の異なる２箇所の部位（第１及び第２測定部位）を同時に撮像した画像データに基づいて脈波伝播速度が求められるので、一般の利用者が日常的に利用でき、低コストで、姿勢等の影響を受けることなく、脈波伝播速度の測定精度を向上させることが可能となる。また、各測定部位には非接触状態で画像データの撮像が行われるので、脈波センサを装着する場合とは違って外部からの圧力による影響を受けることなく安定かつ高精度に脈波伝播速度を求めることができる。

　なお、本実施形態では、ＰＷＶ算出装置２００において脈波伝播速度の算出処理や健康状態の推定処理を行うようにしたが、これに限らず、撮像装置１００でこれらの処理を実施するようにしてもよい。これによれば、人体の異なる２箇所の部位の撮像しながら脈波伝播速度などをリアルタイムで算出することができ、撮像装置１００の利用者は簡単に自分の健康状態を把握することができる。

　（第２の実施形態）
　次に、本発明の第２の実施形態について説明する。以下、第１の実施形態と共通する部分については説明を省略し、本実施形態の特徴的部分を中心に説明する。

　図２１は、第２の実施形態に係るＰＷＶ算出装置２００の演算部２１２の構成を示すブロック図である。図２１中、図８と共通する構成要素には同一の符号を付し、その説明を省略する。

　第２の実施形態では、演算部２１２には、各フレーム画像において照明光の光量又は色の時間的な変化を検出するために基準領域における画素値の時間的な変化（皮膚の色変化）を検出する基準領域検出部２３４が設けられる。なお、基準領域検出部２３４は、本発明の「光情報検出ステップ」を行う処理部である。以下では、照明光の光量が時間的に変化する場合を一例に説明するが、照明光の色が時間的に変化する場合についても同様である。

　基準領域とは、照明光の光量の時間的な変化を検出するための領域である。このため、脈動（血流）で画素値が変化せず、測定対象となる人体の体表面と同じ照明変動が観測できる部位であることが必要である。また、基準領域としては、領域のばらつきが小さく、ある程度広い領域であることが望ましい。これらのことから、基準領域としては、皮膚以外の領域が好ましく、例えば、衣類、眼鏡、白目、歯、基準シールなどが考えられる。また、これらの中でも白目がより好ましく、利用者の状態に左右されることなく、照明光の明るさ、色の時間的な変化を安定かつ確実に検出することができる。なお、基準領域における各画素の画素値は、前述の測定部位と同様に、各種ノイズ成分が含まれることから、各種フィルタ(移動平均フィルタ、メディアンフィルタ、空間周波数フィルタ)によるフィルタリング処理や外れ値処理を施しておくことが望ましく、これによって、ノイズの影響を受けることなく、照明光の光量の時間的な変化を検出することができる。

　基準領域検出部２３４の検出結果（すなわち、基準領域における画素値変化）は、脈波検出部２１６に対して出力される。

　脈波検出部２１６は、本発明の「補正ステップ」として、基準領域検出部２３４で検出された基準領域における画素値変化に基づき、各測定部位における画素値を補正する。具体的には、各測定部位における画素値は、照明光の光量変動に比例して変化するので、各測定部位における画素値（測定値）を光量の変動量の比率で割ることで補正を行う。

　例えば、図２２に示すように、基準領域における基準画素値（例えば時間平均画素値）をＡとし、光量が変動したときにおける基準領域における画素値をＢとし、また、そのときにおける測定部位（第１又は第２測定部位）における画素値をＣとしたとき、測定部位における補正画素値Ｘは次式（３）によって求めることができる。

　　Ｘ＝Ａ×Ｃ／Ｂ　　　…（３）
　脈波検出部２１６は、本発明の「脈波検出ステップ」として、補正前の画素値Ｃに代えて、補正画素値Ｘを用いて脈波の検出を行う。これにより、照明光の光量又は色の時間的な変化による影響を受けることなく、安定かつ確実に脈波を検出することが可能となり、それによって脈波伝播速度を精度良く算出することができる。

　以上、本発明に係る脈波伝播速度の測定方法及びシステム並びに撮像装置について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。

　１００…撮像装置、１０２…撮像部、１０４…制御部、１０６…記憶部、１０８…表示部、１１０…操作部、１１２…通信部、１１６…被写体検出部、１１８…追尾処理部、１１９…撮影支援部、１２０…人体領域検出部、１２２…顔領域検出部、１２４…手領域検出部、１２６…頬領域検出部、１２８…額領域検出部、１３０…手のひら領域検出部、１３２…手の指領域検出部、１４０…顔ガイド枠、１４２…手ガイド枠、１４４…通知メッセージ、１５０…被写体枠、１５２…被写体枠、１５４…追尾枠、１５６…追尾枠、２００…脈波伝播速度算出装置（ＰＷＶ算出装置）、２０４…記憶部、２０６…表示部、２０８…操作部、２１０…制御部、２１２…演算部、２１６…脈波検出部、２１８…脈拍検出部、２２０…脈波伝播速度算出部（ＰＷＶ算出部）、２２２…健康状態推定部、２２４…出力部、２２６…領域検出部、２２７…領域追跡部、２２８…血圧推定部、２３０…動脈硬化状態推定部、２３２…自律神経活動状態推定部、２３４…基準領域検出部

Claims (16)

1. 　単一の可視光カメラにより非接触状態で人体の異なる部位を同時に撮像し、時系列的に連続した画像データを生成する撮像ステップと、
   　前記画像データにおける前記人体の異なる部位の時間的な画素値変化に基づき、前記人体の異なる部位における脈波をそれぞれ検出する脈波検出ステップと、
   　前記人体の異なる部位における脈波の時間差に基づき、前記人体の脈波伝播速度を算出する脈波伝播速度算出ステップと、
   　を備える脈波伝播速度の測定方法。
2. 　前記撮像ステップにより撮像された画像から前記人体の異なる部位を検出する被写体検出ステップを更に備える請求項１に記載の脈波伝播速度の測定方法。
3. 　前記被写体検出ステップにより前記画像から前記人体の異なる部位を検出できない場合には、前記人体の異なる部位の再撮像を通知する通知ステップを更に備える請求項２に記載の脈波伝播速度の測定方法。
4. 　前記画像データを構成する複数の画像のうち、第１の画像において前記人体の異なる部位が存在する領域を追尾領域として設定し、前記追尾領域の画像から特徴量を抽出し、前記第１の画像に時系列的に後続する第２の画像において、前記特徴量との類似度が最も高くなる画像領域を前記人体の異なる部位が存在する領域として検出することで前記人体の異なる部位の追尾処理を行う追尾処理ステップを含む請求項１～３のいずれか１項に記載の脈波伝播速度の測定方法。
5. 　前記人体の異なる部位は顔と手である請求項１～４のいずれか１項に記載の脈波伝播速度の測定方法。
6. 　単一の可視光カメラにより非接触状態で人体の異なる部位を同時に撮像し、時系列的に連続した画像データを生成する撮像ステップと、
   　前記画像データにおける前記人体の異なる部位以外の基準領域の時間的な画素値変化に基づき、前記人体の異なる部位に照射される照明光の光量又は色の少なくとも一方の時間的な変化情報を検出する光情報検出ステップと、
   　前記光情報検出ステップで検出された変化情報に基づき、前記照明光の光量又は色の時間的な変化による影響を打ち消すように前記画像データを補正する補正ステップと、
   　前記補正ステップによる補正後の前記画像データにおける前記人体の異なる部位の時間的な画素値変化に基づき、前記人体の異なる部位における脈波をそれぞれ検出する脈波検出ステップと、
   　前記人体の異なる部位における脈波の時間差に基づき、前記人体の脈波伝播速度を算出する脈波伝播速度算出ステップと、
   　を備える脈波伝播速度の測定方法。
7. 　前記基準領域は前記人体の皮膚以外の領域である請求項６に記載の脈波伝播速度の測定方法。
8. 　前記基準領域は前記人体の白目である請求項７に記載の脈波伝播速度の測定方法。
9. 　単一の可視光カメラにより非接触状態で人体の異なる部位を同時に撮像し、時系列的に連続した画像データを生成する撮像ステップと、
   　前記画像データにおける前記人体の異なる部位の時間的な画素値変化を時間的に補間した補間データを生成する補間ステップと、
   　前記補間データに基づき、前記人体の異なる部位における脈波をそれぞれ検出する脈波検出ステップと、
   　前記人体の異なる部位における脈波の時間差に基づき、前記人体の脈波伝播速度を算出する脈波伝播速度算出ステップと、
   　を備える脈波伝播速度の測定方法。
10. 　前記補間ステップは、あらかじめ用意された複数の波形モデルの中から前記人体の異なる部位の時間的な画素値変化に最もフィッティングする波形モデルを選択し、前記選択した波形モデルに基づいて前記補間データを生成する請求項９に記載の脈波伝播速度の測定方法。
11. 　前記脈波伝播速度算出ステップにより算出された前記脈波伝播速度に基づいて、血圧、動脈硬化状態、又は自律神経の活動状態を推定する健康状態推定ステップを更に備える請求項１～１０のいずれか１項に記載の脈波伝播速度の測定方法。
12. 　単一の可視光カメラにより非接触状態で人体の異なる部位を同時に撮像し、時系列的に連続した画像データを生成する撮像部と、
    　前記画像データにおける前記人体の異なる部位の時間的な画素値変化に基づき、前記人体の異なる部位における脈波をそれぞれ検出する脈波検出部と、
    　前記人体の異なる部位における脈波の時間差に基づき、前記人体の脈波伝播速度を算出する脈波伝播速度算出部と、
    　を備える脈波伝播速度の測定システム。
13. 　単一の可視光カメラにより非接触状態で人体の異なる部位を同時に撮像し、時系列的に連続した画像データを生成する撮像部と、
    　前記画像データを構成する複数の画像のうち、第１の画像において前記人体の異なる部位が存在する領域を追尾領域として設定し、前記追尾領域の画像から特徴量を抽出し、前記第１の画像に時系列的に後続する第２の画像において、前記特徴量との類似度が最も高くなる画像領域を前記人体の異なる部位が存在する領域として検出することで前記人体の異なる部位の追尾処理を行う追尾処理部と、
    　を備える撮像装置。
14. 　前記撮像部で撮像された画像から前記人体の異なる部位を検出する被写体検出部と、
    　前記被写体検出部により前記画像から前記人体の異なる部位を検出できない場合には、前記人体の異なる部位の再撮像を通知する通知部と、
    　を更に備える請求項１３に記載の撮像装置。
15. 　単一の可視光カメラにより非接触状態で人体の異なる部位を同時に撮像し、時系列的に連続した画像データを生成する撮像部と、
    　前記撮像部で撮像された画像を表示する画面上に前記人体の異なる部位に対応した撮影ガイド枠を表示するガイド枠表示部と、
    　を備える撮像装置。
16. 　前記人体の異なる部位をユーザが設定可能な操作部を更に備える請求項１５に記載の撮像装置。

Images