以下に、本願の開示する情報処理装置、脈波計測プログラムおよび脈波計測方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
本実施例1に係る情報処理装置の構成の一例について説明する。図1は、本実施例1に係る情報処理装置の構成を示す機能ブロック図である。図1に示すように、この情報処理装置100は、撮像機能部110と、入力部120と、表示部130と、通信部135と、記憶部140と、制御部150とを有する。
撮像機能部110は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を用いた撮像装置である。例えば、撮像機能部110は、R(red)、G(green)、B(blue)など3種以上の受光素子を搭載することができる。撮像機能部110は、ユーザの顔の画像を撮像し、撮像した画像情報を、制御部150に出力する。撮像する部位は、光学的に脈波信号を観測でき、輪郭や皺等、特徴が判別出来る部位であれば、顔以外であっても良い。以下の説明において、適宜、ユーザの顔の画像情報を、生体画像情報と表記する。
入力部120は、各種の情報を情報処理装置100に入力するための入力装置である。例えば、入力部120は、キーボードやマウス、タッチパネル、各種入力ボタンに対応する。
表示部130は、各種の情報を表示する表示装置である。例えば、表示部130は、PWVの算出結果などを出力する。表示部130は、モニタやディスプレイ、タッチパネル等に対応する。
通信部135は、ネットワークを介して他の外部装置とデータ通信を実行する処理部である。外部装置の図示を省略する。通信部135は、通信装置に対応する。
記憶部140は、画像バッファ141、生体特徴情報142、評価領域情報143、脈波伝搬距離情報144、脈波情報145を有する。記憶部140は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子などの記憶装置に対応する。
画像バッファ141は、撮像機能部110から取得する各フレームの生体画像情報を蓄積する記憶領域である。例えば、画像バッファ141は、時系列に並んだ各フレームの生体画像情報を有する。
生体特徴情報142は、ユーザのどの部分を特徴物とするのかを定義する情報である。本実施例1では一例として、生体特徴情報142には、ユーザの両目と鼻とを特徴物とする旨の情報が含まれているものとする。また、生体特徴情報142は、特徴物と、かかる特徴物の特徴を示す部分テンプレートの情報を対応付けて記憶してもよい。
評価領域情報143は、例えば、評価領域の情報と、分割領域の情報を有する。図2は、評価領域の一例を示す図である。例えば、特徴点を両目10a,10bと鼻10cとした場合の評価領域20を示している。例えば、評価領域20は、両目10a,10bを結ぶ線分を一辺とし、その辺の対辺の中点を鼻10cとする平行四辺形に対応する。後述する評価領域設定部153は、評価領域情報143の評価領域20に従って、生体画像情報上に、評価領域を設定する。
図3は、分割領域の一例を示す図である。図3において、両目10a,10b間の辺とその対辺をM等分、残りの2辺をN等分し、M×N個の等面積の平行四辺形に分割した各領域が、分割領域となる。例えば、図3に示す例では、評価領域20がM×N等分にされ、(1、1)〜(M、N)の分割領域が存在する。後述する分割部154は、評価領域情報143の分割領域に従って、生体画像情報上の評価領域を、複数の分割領域に分割する。
脈波伝搬距離情報144は、ユーザのある2点の座標と、脈波伝搬距離とが対応付けられた情報である。図4は、脈波伝搬距離情報のデータ構造の一例を示す図である。図4に示すように、この脈波伝搬距離情報は、始点座標と、終点座標と、脈波伝搬距離とを対応付ける。始点座標、終点座標は、生体画像情報上の分割領域を特定する座標番号を示し、脈脈伝搬距離は、心臓から始点座標までと、心臓から終点座標までの脈波伝搬距離の差である。例えば、図4の脈波伝搬距離情報144の1行目において、始点座標(xs1、ys1)から終点座標(xe1、ye1)までの脈波伝搬距離の差は、L1であることが示されている。
脈波情報145は、各分割領域から抽出された脈波信号の情報を示す。図5は、脈波情報のデータ構造の一例を示す図である。図5に示すように、この脈波情報145は、分割領域識別情報と、脈波信号とを対応付ける。分割領域識別情報は、分割領域を一意に識別する情報である。脈波信号は、分割領域から特定される脈波信号である。
図1の説明に戻る。制御部150は、受付部151と、特徴点座標決定部152と、評価領域設定部153と、分割部154と、脈波信号検出部155と、特定部156と、PWV算出部157とを有する。制御部150は、例えば、ASIC(Application Specific Integrated Circuit)や、FPGA(Field Programmable Gate Array)などの集積装置に対応する。また、制御部150は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等の電子回路に対応する。
受付部151は、撮像機能部110、入力部120、通信部135から受け付けた情報を、記憶部140に格納する処理部である。受付部151は、撮像機能部110から生体画像情報を取得し、取得した生体画像情報を、画像バッファ141に登録する。
受付部151は、入力部120から、生体特徴情報を取得し、取得した生体特徴情報を、生体特徴情報142に登録する。受付部151は、入力部120から、評価領域情報を取得し、取得した評価領域情報を、評価領域情報143に登録する。受付部151は、入力部120から、脈波伝搬距離情報を取得し、取得した脈波伝搬距離情報を、脈波伝搬距離情報144に登録する。なお、受付部151は、生体特徴情報、評価領域情報、脈波伝搬距離情報を通信部135から取得してもよい。
特徴点座標決定部152は、生体特徴情報142を基にして、画像バッファ141に蓄積された生体画像情報から特徴点の座標を決定する処理部である。特徴点座標決定部152は、生体画像情報142に含まれる特徴物の名称に対応する特徴物を、生体画像情報から認識する。特徴点座標決定部152は、認識した特徴物の中心に位置する特徴点の座標を決定する。特徴点座標決定部152は、生体画像情報と、決定した特徴点の座標とを対応付けて、評価領域設定部153に出力する。特徴点座標検出部152は、画像バッファ141に格納された生体画像情報を、時系列順に順次取得し、上記処理を繰り返し実行する。
評価領域設定部153は、特徴点座標決定部152から受け付けた情報を基にして、生体画像情報上に評価領域を設定する処理部である。評価領域設定部153は、評価領域情報143を参照し、どのように評価領域を生体画像情報上に設定するのかを判定する。例えば、評価領域設定部153は、図2で説明したように、両目を結ぶ線分を一辺とし、その辺の対辺の中心を鼻とする平行四辺形を、評価領域に設定する。評価領域設定部153は、生体画像情報と、この生体画像情報上に設定した評価領域の情報を、分割部154に出力する。評価領域設定部153は、特徴点座標決定部152から情報を受け付ける度に、上記処理を繰り返し実行する。
分割部154は、評価領域設定部153から受け付けた情報を基にして、生体画像情報上の評価領域を分割し、分割領域を決定する処理部である。分割部154は、評価領域情報143を参照し、どのように評価領域を複数の分割領域に分割するのかを判定する。例えば、分割部154は、図3で説明したように、両目間の辺とその対辺をM等分し、残りの2辺をN等分することで、(1、1)〜(M、N)の分割領域を生体画像情報上に設定する。分割部154は、生体画像情報と、この生体画像情報上に設定した分割領域の情報を、脈波信号検出部155に出力する。分割部154は、評価領域設定部153から情報を受け付ける度に、上記処理を繰り返し実行する。
脈波信号検出部155は、検出部の一例である。脈波信号検出部155は、分割部154から受け付けた情報を基にして、各分割領域に対応する脈波信号を検出する処理部である。脈波信号検出部155は、分割領域と、脈波信号とを対応付けて、脈波情報145に登録する。以下において、脈波信号検出部155の処理の一例について説明する。
脈波信号検出部155は、生体画像情報上の全分割領域に含まれる画素の輝度を、分割領域毎に平均することで、M×N個の輝度を算出する。脈波信号検出部155は、M×N個の輝度をそれぞれ該当する分割領域に対応付けて脈波情報145に記憶し、脈波信号(m、n)とする。脈波信号検出部155は、分割部154から情報を受け付ける度に、上記処理を繰り返し実行する。分割領域毎に、抽出した輝度をつなげていくことで、時間と輝度との関係を示す脈波信号が形成されていく。
特定部156は、脈波情報145を基にして、各分割領域の脈波信号をそれぞれ比較して、各分割領域の遅延量をそれぞれ測定し、測定した各遅延量のうち、最大の遅延量を特定する。以下において、特定部156の処理の一例について説明する。
図6は、本実施例1に係る特定部の処理を説明するための図である。図6に示す例では説明の便宜上、各分割領域を分割領域1〜Nとして説明する。図7は、分割領域の脈波信号の一例を示す図である。図7において各縦軸は脈波信号の大きさに対応する軸であり、横軸は時刻に対応する軸である。図7では一例として、分割領域2の脈波信号を、脈波信号30aとする。分割領域6の脈波信号を、脈波信号30bとする。分割領域Nの脈波信号を、脈波信号30cとする。
例えば、特定部156は、各脈波信号の強さが極大となる時刻をそれぞれ特定し、特定した極大となる時刻の差を、遅延量として特定する。なお、特定部156は、同一の脈波信号の組について、複数の遅延量が存在する場合には、最小の遅延量を、かかる脈波信号の組の遅延量として算出する。また、一定期間の脈波信号において、一方の脈波信号に時差をつけて相関係数を求め、相関係数が最大となる時差を遅延量とする手段などでも良い。
特定部156は、図7に示す例において、分割領域2の脈波信号30aと、分割領域6の脈波信号30bとの遅延量を、0.5sとして算出する。特定部156は、分割領域6の脈波信号30bと、分割領域Nの脈波信号30cとの遅延量を、0.35sとして算出する。特定部156は、分割領域2の脈波信号30bと、分割領域Nの脈波信号30cとの遅延量を、0.15sとして算出する。特定部156は、その他の分割領域についても同様にして、遅延量を算出する。
特定部156は、各分割領域の組の遅延量のうち、最大の遅延量と、係る遅延量に対応する分割領域の組を特定する。例えば、図7に示す例では、分割領域2の脈波信号30aと、分割領域6の脈波信号30bとの遅延量「0.5s」が、他の分割領域の組の遅延量と比較した最大の遅延量となっている。特定部156は、特定した最大の遅延量と、係る遅延量に対応する分割領域の組の情報を、PWV算出部157に出力する。
ここで、より具体的には、上述した特徴点座標決定部152、評価領域設定部153、分割部154、脈波信号検出部155、特定部156は、初期学習動作と、長期計測動作の2段階で動作を行う。
初期学習動作において、各処理部152〜156は、所定の回数、上記処理を繰り返し実行し、特定部156は、遅延量が最大となる分割領域の組を、順次記憶する。特定部156は、遅延量が最大となる分割領域の組のうち、出現頻度が最大となる分割領域の組を、「評価対象の分割領域の組」として特定する。特定部156は、特定した評価対象の分割領域の組の情報を、評価領域情報143に登録する。例えば、特定部156は、(1、1)〜(M、N)の分割領域のうち、分割領域(m1、n1)、(m2、n2)を、評価対象の分割領域とする。この場合には、かかる分割領域(m1、n1)、(m2、n2)が、評価対象の分割領域の組である旨を、評価領域情報143に登録する。
続いて、特定部156は、長期計測動作において、評価領域情報143に登録された評価対象の分割領域の組(m1、n1)、(m2、n2)に着目し、評価対象の分割領域の組の脈波信号の遅延量を特定する。特定部156は、特定した脈波信号の遅延量と、評価対象の分割領域の情報を、PWV算出部157に出力する。
PWV算出部157は、決定部の一例である。PWV算出部157は、特定部156から受け付けた情報と、脈波伝搬距離情報144とを基にして、脈波伝搬速度(PWV)を算出する処理部である。具体的に、PWV算出部157は、式(3)を利用する。式(3)において、脈波伝搬距離は、最大の遅延量に対応する分割領域の組の各座標と、脈波伝搬距離情報144の始点座標、終点座標の組とを比較して、特定される距離である。分割領域の座標は、例えば、分割座標の中心座標とする。PWV算出部157は、最大の遅延量に対応する分割領域の組の各座標と、脈波伝搬距離情報144の座標の組とを比較し、最も類似する始点座標、終点座標の組に対応するレコードの脈波伝搬距離を特定する。
PWV=脈波伝搬距離/最大の遅延量・・・(3)
PWV算出部157は、今回算出したPWVの値と、前回算出したPWVの値とを比較し、差分の絶対値が、閾値よりも大きいか否かを判定する。PWV算出部157は、差分の絶対値が、閾値よりも大きい場合には、表示部130に、今回算出したPWVの値を表示させると共に、警告表示を行う。PWV算出部157は、差分の絶対値が、閾値以下である場合には、今回算出したPWVの値を、表示部130に表示させる。
次に、本実施例1に係る情報処理装置100の処理手順について説明する。図8および図9は、本実施例1に係る情報処理装置の初期学習の処理手順を示すフローチャートである。図8に示すように、情報処理装置100の受付部151は、生体特徴情報を取得し、記憶部140に格納する(ステップS101)。受付部151は、評価領域情報を取得し、記憶部140に格納する(ステップS102)。受付部151は、脈波伝搬距離情報を取得し、記憶部140に格納する(ステップS103)。受信部151は、タイマを設定する(ステップS104)。ステップS104において、例えば、受付部151は、タイマ長T1、タイマt1=0、タイマ長T2、タイマt2=0をそれぞれ設定する。
情報処理装置100の撮像機能部110は、生体画像を撮影し、受付部151に出力する(ステップS105)。ステップS105において、受付部151は、生体画像情報を、画像バッファ141に蓄積する。情報処理装置100の特徴点座標決定部152は、特徴点の座標を決定する(ステップS106)。情報処理装置100の評価領域設定部153は、評価領域を決定する(ステップS107)。情報処理装置100の分割部154は、分割領域を決定し(ステップS108)、図9のステップS109に移行する。
図9について説明する。情報処理装置100の脈波信号検出部155は、全分割領域に対応する輝度を算出する(ステップS109)。脈波信号検出部155は、脈波信号を検出し、脈波信号を脈波情報145に格納する(ステップS110)。脈波信号検出部155は、t1=t1+1により、t1の値を更新する(ステップS111)。
脈波信号検出部155は、t1の値とT1の値とが等しいか否かを判定する(ステップS112)。脈波信号検出部155は、t1の値とT1の値とが等しくない場合に(ステップS112,No)、図8のステップS105に移行する。
一方、t1の値とT1の値とが等しい場合には(ステップS112,Yes)、情報処理装置100の特定部156は、各分割領域の脈波信号を比較し、遅延量が最大となる分割領域の組を特定する(ステップS113)。特定部156は、特定した分割領域の組を記憶する(ステップS114)。
特定部156は、t2=t2+1により、t2の値を更新する(ステップS115)。特定部156は、t2の値とT2の値とが等しいか否かを判定する(ステップS116)。特定部156は、t2の値とT2の値とが等しくない場合には(ステップS116,No)、図8のステップS105に移行する。
一方、特定部156は、t2の値とT2の値とが等しい場合には(ステップS116,Yes)、ステップS117に移行する。この場合には、T2個の分割領域の組が、特定部156に記憶されていることになる。特定部156は、T2個の分割領域の組に基づいて、評価領域情報143を更新する(ステップS117)。例えば、ステップS117において、特定部156は、T2個の分割領域の組のうち、出現頻度が最大となる分割領域の組を、「評価対象の分割領域の組」として、評価領域情報143に設定する。
次に、本実施例1に係る情報処理装置100が長期計測を行う場合の処理手順について説明する。図10は、本実施例1に係る情報処理装置が長期計測を行う場合の処理手順を示すフローチャートである。図10に示すように、情報処理装置100の受付部151は、タイマを設定する(ステップS151)。ステップS151において、例えば、受付部151は、タイマ長T1、タイマt1=0をそれぞれ設定する。
情報処理装置100の撮像機能部110は、生体画像を撮影し、受付部151に出力する(ステップS152)。ステップS152において、受付部151は、生体画像情報を、画像バッファ141に蓄積する。情報処理装置100の特徴点座標決定部152は、特徴点の座標を決定する(ステップS153)。情報処理装置100の評価領域設定部153は、評価領域を決定する(ステップS154)。情報処理装置100の分割部154は、評価領域を分割し、情報処理装置100の脈波信号検出部155は、評価領域情報143を基にして、評価対象の分割領域の組を決定する(ステップS155)。
脈波信号検出部155は、評価対象の分割領域の組の輝度を算出する(ステップS156)。脈波信号検出部155は、評価対象の分割領域の組の脈波信号を特定し、特定した脈波信号を脈波情報145に格納する(ステップS157)。脈波信号検出部155は、t1=t1+1により、t1の値を更新する(ステップS158)。
脈波信号検出部155は、t1の値とT1の値とが等しいか否かを判定する(ステップS159)。脈波信号検出部155は、t1の値とT1の値とが等しくない場合には(ステップS159,No)、ステップS151に移行する。
一方、t1の値とT1の値とが等しい場合には(ステップS159,Yes)、情報処理装置100の特定部156は、評価対象の分割領域の脈波信号を比較して、遅延量を算出する(ステップS160)。情報処理装置100のPWV算出部157は、遅延量と脈波伝搬距離情報144とを基にして、PWVを算出する(ステップS161)。PWV算出部157は、出力表示処理を行う(ステップS162)。
続いて、図10のステップS162に示した出力表示処理の一例について説明する。図11は、本実施例1に係る出力表示処理の処理手順を示すフローチャートである。図11に示すように、情報処理装置100のPWV算出部157は、1回目の処理であるか否かを判定する(ステップS171)。PWV算出部157は、1回目の処理でない場合には(ステップS171,No)、ステップS173に移行する。
一方、PWV算出部157は、1回目の処理である場合には(ステップS171,Yes)、PWVの記憶値Pbを初期化する(ステップS172)。ステップS172において、PWV計算部157は、「Pb」の値を、今回、PWV算出部157が算出したPWVの値「P」に設定する。
PWV算出部157は、|P−Pb|の値が閾値THよりも大きいか否かを判定する(ステップS173)。PWV算出部157は、|P−Pb|の値が閾値THよりも大きくない場合には(ステップS173,No)、ステップS175に移行する。
一方、PWV算出部157は、|P−Pb|の値が閾値THよりも大きい場合には(ステップS173,Yes)、表示部130に警報表示させる(ステップS174)。PWV算出部157は、表示部130にPWVの現状値Pを表示させる(ステップS175)。PWV算出部157は、PWVの記憶値Pbを現状値Pによって更新する(ステップS176)。なお、図11に示す処理は、スタートからエンドまで繰り返し実行される。
次に、本実施例1に係る情報処理装置100の効果について説明する。情報処理装置100は、生体の表面が撮影された生体画像情報を複数の分割領域に分割し、各分割領域に含まれる画素の時間変化に伴う輝度変化に基づいて脈波信号を検出する。そして、情報処理装置100は、各分割領域の脈波信号をそれぞれ比較して各分割領域の脈波信号の遅延量をそれぞれ測定し、測定した各遅延量のうち最大の遅延量を特定する。このように、情報処理装置100は、最大の遅延量を特定することで、PWVを計測する場合の精度を向上することができる。例えば、PWVは、式(1)(式(3))によって算出され、この式(1)の分母および分子共に、より大きな値を用いると、精度が向上するためである。
次に、本実施例2に係る情報処理装置200の構成の一例について説明する。図12は、本実施例2に係る情報処理装置の構成を示す機能ブロック図である。図12に示すように、この情報処理装置200は、撮像機能部210と、入力部220と、表示部230と、通信部235と、記憶部240と、制御部250とを有する。図12において、撮像機能部210、入力部220、表示部230、通信部235に関する説明は、実施例1に示した撮像機能部110、入力部110、表示部130、通信部135と同様であるため、説明を省略する。
記憶部240は、画像バッファ241、生体特徴情報242、評価領域情報243、脈波伝搬距離情報244、脈波情報245を有する。記憶部240は、例えば、RAM、ROM、フラッシュメモリなどの半導体メモリ素子などの記憶装置に対応する。画像バッファ241、生体特徴情報242、評価領域情報243、脈波伝搬距離情報244、脈波情報245に関する説明は、図1に示した画像バッファ141、生体特徴情報142、評価領域情報143、脈波伝搬距離情報144、脈波情報145に関する説明と同様である。
制御部250は、受付部251、特徴点座標決定部252、評価領域設定部253、分割部254、脈波信号検出部255、特定部256、PWV算出部257を有する。制御部250は、例えば、ASICや、FPGAなどの集積装置に対応する。また、制御部250は、例えば、CPUやMPU等の電子回路に対応する。このうち、受付部251、特徴点座標決定部252、評価領域設定部253、分割部254、脈波信号検出部255に関する説明は、図1に示した受付部151、特徴点座標決定部152、評価領域設定部153、分割部154、脈波信号検出部155に関する説明と同様である。
特定部256は、脈波情報245を基にして、各分割領域の脈波信号をそれぞれ比較して、位相の差が所定値未満となる各分割領域を統合する。以下の説明において、統合した後の各分割領域を、領域集合と表記する。この領域集合には、複数の分割領域が含まれる場合もあるし、単一の分割領域しか含まれない場合もある。
特定部256は、領域集合の各脈波信号を平均化することで、領域集合に対応する脈波信号を決定する。特定部256は、各領域集合の脈波信号を比較して、各領域集合の遅延量をそれぞれ測定し、測定した各遅延量のうち、最大の遅延量を特定する。以下において、特定部256の処理の一例について説明する。
図13は、本実施例2に係る特定部の処理を説明するための図である。図13に示す例では説明の便宜上、各分割領域を分割領域1〜Nとして説明する。例えば、分割領域2,3,5の脈波信号の位相の差が所定値未満であるとすると、特定部256は、分割領域2,3,5を統合して、領域集合40aを生成する。特定部256は、分割領域2,3,5の脈波信号を平均化したものを、領域集合40aの脈波信号とする。
図13において、例えば、分割領域6,7の脈波信号の位相の差が所定値未満であるとすると、特定部256は、分割領域6,7を統合して、領域集合40bを生成する。特定部256は、分割領域6,7の脈波信号を平均化したものを、領域集合40bの脈波信号とする。
図13において、例えば、分割領域N−6,Nの脈波信号の位相の差が所定値未満であるとすると、特定部256は、分割領域N−6,Nを統合して、領域集合40cを生成する。特定部256は、分割領域N−6,Nの脈波信号を平均化したものを、領域集合40cの脈波信号とする。
図14は、領域集合の脈波信号の一例を示す図である。図14において各縦軸は脈波信号の大きさに対応する軸であり、横軸は時刻に対応する軸である。図14では一例として、領域集合40aの脈波信号を、脈波信号50aとする。領域集合40bの脈波信号を、脈波信号50bとする。領域集合40cの脈波信号を、脈波信号50cとする。
例えば、特定部256は、各領域集合において、各脈波信号の強さが極大となる時刻をそれぞれ特定し、特定した極大となる時刻の差を、遅延量として特定する。なお、特定部256は、同一の脈波信号の組について、複数の遅延量が存在する場合には、最小の遅延量を、かかる脈波信号の組の遅延量として算出する。
特定部256は、図14に示す例において、領域集合40aの脈波信号50aと、領域集合40bの脈波信号50bとの遅延量を、0.5sとして算出する。特定部256は、領域集合40bの脈波信号50bと、領域集合40cの脈波信号50cとの遅延量を、0.35sとして算出する。特定部256は、領域集合40aの脈波信号50aと、領域集合40cの脈波信号50cとの遅延量を、0.15sとして算出する。特定部256は、その他の分割領域についても同様にして、遅延量を算出する。
特定部256は、各領域集合の組の遅延量のうち、最大の遅延量と、係る遅延量に対応する領域集合の組を特定する。例えば、図14に示す例では、領域集合40aの脈波信号50aと、領域集合40bの脈波信号50bとの遅延量「0.5s」が、他の領域集合の組の遅延量と比較した最大の遅延量となっている。特定部256は、特定した最大の遅延量と、係る遅延量に対応する領域集合の組の情報を、PWV算出部257に出力する。
ここで、より具体的には、上述した特徴点座標決定部252、評価領域設定部253、分割部254、脈波信号検出部255、特定部256は、初期学習動作と、長期計測動作の2段階で動作を行う。
初期学習動作において、各処理部252〜256は、所定の回数、上記処理を繰り返し実行し、特定部256は、遅延量が最大となる領域集合の組を、順次記憶する。特定部256は、遅延量が最大となる領域集合の組のうち、出現頻度が最大となる領域集合の組を、「評価対象の領域集合の組」として特定する。特定部256は、特定した評価対象の領域集合の組の情報を、評価領域情報243に登録する。
続いて、特定部256は、長期計測動作において、評価領域情報243に登録された評価対象の領域集合の組に着目し、評価対象の領域集合の組の脈波信号の遅延量を特定する。特定部256は、特定した脈波信号の遅延量と、評価対象の領域集合の情報を、PWV算出部257に出力する。
PWV算出部257は、特定部256から受け付けた情報と、脈波伝搬距離情報244とを基にして、脈波伝搬速度(PWV)を算出する処理部である。具体的に、PWV算出部257は、実施例1に示した式(3)を利用する。式(3)において、脈波伝搬距離は、最大の遅延量に対応する領域集合に含まれる分割領域の組の各座標と、脈波伝搬距離情報244の始点座標、終点座標の組とを比較して、特定される距離である。例えば、領域集合の組が図13に示した領域集合40aと、領域集合40bとの組であるものとする。この場合には、PWV計算部257は、分割領域2,3,5のいずれかの分割領域と、分割領域6、7のいずれかの分割領域とを特定し、特定した分割領域の座標と、脈波伝搬距離情報244とを基にして、脈波伝搬距離を特定する。なお、PWV算出部257は、脈波伝搬距離が最大となる、分割領域の組合せを、領域集合の組から検索し、利用してもよい。PWV算出部257に関するその他の処理は、図1に示したPWV算出部157と同様である。
次に、本実施例2に係る情報処理装置200の処理手順について説明する。図15および図16は、本実施例2に係る情報処理装置の初期学習の処理手順を示すフローチャートである。図15に示すように、情報処理装置200の受付部251は、生体特徴情報を取得し、記憶部240に格納する(ステップS201)。受付部251は、評価領域情報を取得し、記憶部240に格納する(ステップS202)。受付部251は、脈波伝搬距離情報を取得し、記憶部240に格納する(ステップS203)。受信部251は、タイマを設定する(ステップS204)。ステップS204において、例えば、受付部251は、タイマ長T1、タイマt1=0、タイマ長T2、タイマt2=0をそれぞれ設定する。
情報処理装置200の撮像機能部210は、生体画像を撮影し、受付部251に出力する(ステップS205)。ステップS205において、受付部251は、生体画像情報を、画像バッファ241に蓄積する。情報処理装置200の特徴点座標決定部252は、特徴点の座標を決定する(ステップS206)。情報処理装置200の評価領域設定部253は、評価領域を決定する(ステップS207)。情報処理装置200の分割部254は、分割領域を決定し(ステップS208)、図16のステップS209に移行する。
図16について説明する。情報処理装置200の脈波信号検出部255は、全分割領域に対応する輝度を算出する(ステップS209)。脈波信号検出部255は、脈波信号を検出し、脈波信号を脈波情報245に格納する(ステップS210)。脈波信号検出部255は、t1=t1+1により、t1の値を更新する(ステップS211)。
脈波信号検出部255は、t1の値とT1の値とが等しいか否かを判定する(ステップS212)。脈波信号検出部255は、t1の値とT1の値とが等しくない場合に(ステップS212,No)、図15のステップS205に移行する。
一方、t1の値とT1の値とが等しい場合には(ステップS212,Yes)、情報処理装置200の特定部256は、各分割領域の脈波信号を比較して遅延量を算出し、記憶する(ステップS213)。特定部256は、t2=t2+1により、t2の値を更新する(ステップS214)。
特定部256は、t2の値とT2の値とが等しいか否かを判定する(ステップS215)。特定部256は、t2の値とT2の値とが等しくない場合には(ステップS215,No)、図15のステップS205に移行する。
一方、特定部256は、t2の値とT2の値とが等しい場合には(ステップS215,Yes)、ステップS216に移行する。この場合には、T2個の分割領域の組が、特定部256に記憶されていることになる。特定部256は、分割領域の組合せ毎に、遅延量の統計を取る(ステップS216)。ステップS216において、特定部256は、例えば、T2個の遅延量の平均を、統計値として算出する。
特定部256は、統計値が閾値α未満であるか否かを判定する(ステップS217)。特定部256は、統計値が閾値α未満でない場合には(ステップS217,No)、評価領域情報243を更新し(ステップS218)、処理を終了する。例えば、ステップS218において、特定部256は、T2個の分割領域の組のうち、遅延量が最大となる分割領域の組を、「評価対象の領域集合の組」として、評価領域情報243に設定する。または、特定部256は、分割領域が統合されている場合には、遅延量が最大となる領域集合の組を、「評価対象の領域集合の組」として、評価領域情報243に設定する。
一方、特定部256は、統計値が閾値α未満である場合には(ステップS217,Yes)、統合前の分割領域の数と、領域集合の数との合計が3以上であるか否かを判定する(ステップS219)。特定部256は、統合前の分割領域の数と、領域集合の数との合計が3以上でない場合には(ステップS219,No)、ステップS218に移行する。
一方、特定部256は、統合前の分割領域の数と、領域集合の数との合計が3以上の場合には(ステップS219,Yes)、分割領域を統合する(ステップS220)。ステップS220において、特定部256は、遅延量が最小となる分割領域の組合せを、1つに統合して、領域集合に設定する。特定部256は、脈波情報245を更新し(ステップS221)、ステップS213に移行する。ステップS221において、例えば、特定部256は、領域集合に含まれる各脈波信号を平均化した脈波信号を、係る領域集合の脈波信号に設定することで、脈波情報245を更新する。
次に、本実施例2に係る情報処理装置200が長期計測を行う場合の処理手順について説明する。図17は、本実施例2に係る情報処理装置が長期計測を行う場合の処理手順を示すフローチャートである。図17に示すように、情報処理装置200の受付部251は、タイマを設定する(ステップS251)。ステップS251において、例えば、受付部251は、タイマ長T1、タイマt1=0をそれぞれ設定する。
情報処理装置200の撮像機能部210は、生体画像を撮影し、受付部251に出力する(ステップS252)。ステップS252において、受付部251は、生体画像情報を、画像バッファ241に蓄積する。情報処理装置200の特徴点座標決定部252は、特徴点の座標を決定する(ステップS253)。情報処理装置200の評価領域設定部253は、評価領域を決定する(ステップS254)。情報処理装置200の分割部254は、評価領域を分割し、情報処理装置200の脈波信号検出部255は、評価領域情報243を基にして、評価対象の領域集合の組を決定する(ステップS255)。
脈波信号検出部255は、評価対象の領域集合の組の輝度を算出する(ステップS256)。脈波信号検出部255は、評価対象の領域集合の組の脈波信号を特定し、特定した脈波信号を脈波情報245に格納する(ステップS257)。脈波信号検出部255は、t1=t1+1により、t1の値を更新する(ステップS258)。
脈波信号検出部255は、t1の値とT1の値とが等しいか否かを判定する(ステップS259)。脈波信号検出部255は、t1の値とT1の値とが等しくない場合には(ステップS259,No)、ステップS251に移行する。
一方、t1の値とT1の値とが等しい場合には(ステップS259,Yes)、情報処理装置200の特定部256は、評価対象の領域集合の脈波信号を比較して、遅延量を算出する(ステップS260)。情報処理装置200のPWV算出部257は、遅延量と脈波伝搬距離情報244とを基にして、PWVを算出する(ステップS261)。PWV算出部257は、出力表示処理を行う(ステップS262)。出願表示処理は、図11に示した出願表示処理と同様である。
次に、本実施例2に係る情報処理装置200の効果について説明する。情報処理装置200は、各分割領域の脈波信号をそれぞれ比較して遅延量が閾値未満となる分割領域の組を統合し、統合した分割領域間の遅延量、または、統合した分割領域と結合されていない分割領域との遅延量をそれぞれ測定し、測定した各遅延量のうち最大の遅延量を特定する。このように遅延量が類似する分割領域を統合することで、輝度のSN比(signal-noise ratio)を改善することができ、精度よく脈波信号を検出することができる。
また、情報処理装置200は、各分割領域の脈波信号をそれぞれ比較して遅延量が類似する分割領域を統合する処理を、統合後の領域の数が3つ以上である場合のみ実行し、統合された領域の脈波信号の遅延量を特定する。これによって、遅延量が小さい評価領域であっても、遅延量の最も大きな2つの統合された領域が残り、精度よく、PWVを算出することができる。
次に、本実施例3に係る情報処理装置の構成の一例について説明する。図18は、本実施例3に係る情報処理装置の構成を示す機能ブロック図である。図18に示すように、この情報処理装置300は、撮像機能部310と、入力部320と、表示部330と、通信部335と、記憶部340と、制御部350とを有する。図18において、撮像機能部310、入力部320、表示部330、通信部335に関する説明は、実施例1に示した撮像機能部110、入力部110、表示部130、通信部135と同様であるため、説明を省略する。
記憶部340は、画像バッファ341、生体特徴情報342、評価領域情報343、脈波伝搬距離情報344、脈波情報345を有する。記憶部340は、例えば、RAM、ROM、フラッシュメモリなどの半導体メモリ素子などの記憶装置に対応する。画像バッファ341、生体特徴情報342、評価領域情報343、脈波伝搬距離情報344、脈波情報345に関する説明は、図1に示した画像バッファ141、生体特徴情報142、評価領域情報143、脈波伝搬距離情報144、脈波情報145に関する説明と同様である。
制御部350は、受付部351、特徴点座標決定部352、評価領域設定部353、分割部354、脈波信号検出部355、特定部356、PWV算出部357、除去部358を有する。制御部350は、例えば、ASICや、FPGAなどの集積装置に対応する。また、制御部350は、例えば、CPUやMPU等の電子回路に対応する。このうち、受付部351、評価領域設定部353、分割部354、脈波信号検出部355に関する説明は、図1に示した受付部151、評価領域設定部153、分割部154、脈波信号検出部155に関する説明と同様である。また、特定部356およびPWV算出部357に関する説明は、図1に示した特定部156およびPWV算出部157に関する説明と同様である。
特徴点座標決定部352は、実施例1に示した特徴点座標決定部152と同様にして、生体特徴情報342を基にして、画像バッファ341に蓄積された生体画像情報から特徴点の座標を決定する処理部である。特徴点座標決定部352は、生体画像情報と、決定した特徴物と、特徴点の座標とを対応付けて、評価領域設定部353、除去部358に出力する。
除去部358は、時間変化に伴う特徴点の移動量の変化を示す移動量信号を検出し、移動量信号の周波数成分を特定する。除去部358は、脈波情報345に記憶された脈波信号から、移動量信号の周波数成分を除去する。以下において、除去部358の処理の一例について説明する。
除去部358は、顔の中心座標の移動量を、式(4)に基づいて算出する。顔の中心座標は、例えば、鼻の特徴点の座標に対応する。式(4)において、xt、ytは、現フレームの中心座標を示す。xt−t’、yt−t’は、所定フレーム前の中心座標を示す。除去部358は、フレーム毎に上記処理を繰り返し実行することで、移動量信号を算出する。
除去部358は、周知技術により、移動量信号を周波数解析し、周波数毎のスペクトル密度を算出する。除去部358は、スペクトル密度が閾値以上となる周波数を特定する。除去部358は、特定した周波数を中心とする帯域除外フィルタを脈波情報345の脈波信号にかけることで、脈波情報345に記憶された脈波信号から、移動量信号の周波数成分を除去する。
図19は、除去部の処理を説明するための図である。図19の信号60は、脈波信号を示す。図19の横軸は周波数に対応し、縦軸はスペクトル密度に対応する。例えば、除去部358は、上記処理により、スペクトル密度が閾値以上となる周波数を2Hzとして特定した場合には、係る2Hzの周波数を中心とする帯域65をカットするフィルタを脈波信号60にかける。
次に、本実施例3に係る情報処理装置300の処理手順について説明する。ここで、初期学習に関する処理手順は、実施例1に示したものと同様であるため、説明を省略する。図20は、本実施例3に係る情報処理装置が長期計測を行う場合の処理手順を示すフローチャートである。図20に示すように、情報処理装置300の受付部351は、タイマを設定する(ステップS301)。ステップ351において、例えば、受付部351は、タイマ長T1、タイマt1=0をそれぞれ設定する。
情報処理装置300の撮像機能部310は、生体画像を撮影し、受付部351に出力する(ステップS302)。ステップS302において、受付部351は、生体画像情報を、画像バッファ341に蓄積する。情報処理装置300の特徴点座標決定部352は、特徴点の座標を決定する(ステップS303)。情報処理装置300の評価領域設定部353は、評価領域を決定する(ステップS304)。情報処理装置300の分割部354は、評価領域を分割し、情報処理装置300の脈波信号検出部355は、評価領域情報343を基にして、評価対象の分割領域の組を決定する(ステップS305)。
情報処理装置300の除去部358は、時間変化に伴う特徴点の移動量の変化を基にして、移動量信号を検出する(ステップS306)。脈波信号検出部355は、評価対象の分割領域の組の輝度を算出する(ステップS307)。脈波信号検出部355は、評価対象の分割領域の組の脈波信号を特定し、特定した脈波信号を脈波情報345に格納する(ステップS308)。脈波信号検出部355は、t1=t1+1により、t1の値を更新する(ステップS309)。
脈波信号検出部355は、t1の値とT1の値とが等しいか否かを判定する(ステップS310)。脈波信号検出部355は、t1の値とT1の値とが等しくない場合に(ステップS310,No)、ステップS301に移行する。
一方、t1の値とT1の値とが等しい場合には(ステップS310,Yes)、除去部358は、体動除去処理を実行する(ステップS311)。ステップS311において、例えば、除去部358は、移動量信号を周波数解析し、周波数毎のスペクトル密度を算出する。除去部358は、スペクトル密度が閾値以上となる周波数を特定する。除去部358は、特定した周波数を中心とする帯域除外フィルタを脈波情報345の脈波信号にかけることで、脈波情報345に記憶された脈波信号から、移動量信号の周波数成分を除去する。
情報処理装置300の特定部356は、評価対象の分割領域の脈波信号を比較して、遅延量を算出する(ステップS312)。情報処理装置300のPWV算出部357は、遅延量と脈波伝搬距離情報344とを基にして、PWVを算出する(ステップS313)。PWV算出部357は、出力表示処理を行う(ステップS314)。ステップS314における出力表示処理の処理手順は、図11に示した処理手順と同様である。
次に、本実施例3に係る情報処理装置300の効果について説明する。情報処理装置300は、生体画像情報から生体の特徴点の位置を特定し、時間変化に伴う特徴点の移動量の変化を示す移動量信号の周波数成分を特定し、脈波信号の周波数成分から移動量信号の周波数成分を除去する。このため、ユーザの移動に起因する影響を脈波信号から取り除くことができ、ユーザのPWVの精度を更に向上させることができる。
次に、上記実施例に示した情報処理装置100,200,300と同様の機能を実現するデータ配置プログラムを実行するコンピュータの一例について説明する。図21は、脈波計測プログラムを実行するコンピュータの一例を示す図である。
図21に示すように、コンピュータ400は、各種演算処理を実行するCPU401と、ユーザからのデータの入力を受け付ける入力装置402と、ディスプレイ403とを有する。また、コンピュータ400は、記憶媒体からプログラム等を読取る読み取り装置404と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置405と、カメラ406とを有する。また、コンピュータ400は、各種情報を一時記憶するRAM407と、ハードディスク装置408とを有する。そして、各装置401〜408は、バス409に接続される。
ハードディスク装置408は、分割プログラム408a、検出プログラム408b、特定プログラム408cを有する。CPU401は、分割プログラム408a、検出プログラム408b、特定プログラム408cを読み出して、RAM407に展開する。分割プログラム408aは、分割プロセス407aとして機能する。検出プログラム408bは、検出プロセス407bとして機能する。特定プログラム408cは、特定プロセス407cとして機能する。例えば、分割プロセス407aは、分割部154,254,354に対応する。検出プロセス407bは、脈波信号検出部155,255,355に対応する。特定プロセス407cは、特定部156,256,356に対応する。
なお、分割プログラム408a、検出プログラム408b、特定プログラム408cについては、必ずしも最初からハードディスク装置408に記憶させておかなくても良い。例えば、コンピュータ400に挿入されるフレキシブルディスク(FD)、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ400が各プログラム408a〜408cを読み出して実行するようにしてもよい。
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)生体の表面が撮影された画像を複数の領域に分割する分割部と、
複数の領域毎に、領域に含まれる画素の時間変化に伴う輝度変化に基づいて脈波信号を検出する検出部と、
各領域の脈波信号をそれぞれ比較して各領域の脈波信号の遅延量をそれぞれ測定し、測定した各遅延量のうち最大の遅延量を特定する特定部と
を有することを特徴とする情報処理装置。
(付記2)前記特定部は、各領域の脈波信号をそれぞれ比較して遅延量が閾値未満となる領域の組を統合し、統合した領域間の遅延量、または、統合した領域と統合されていない領域との遅延量をそれぞれ測定し、測定した各遅延量のうち最大の遅延量を特定する処理を更に実行することを特徴とする付記1に記載の情報処理装置。
(付記3)前記特定部は、各領域の脈波信号をそれぞれ比較して遅延量が類似する領域を統合する処理を、統合後の領域の数が3つ以上である場合のみ繰り返し実行し、統合された領域の脈波信号の遅延量を特定する処理を更に実行することを特徴とする付記1に記載の情報処理装置。
(付記4)前記画像から前記生体の特徴点の位置を特定し、時間変化に伴う前記特徴点の移動量の変化を示す信号の周波数成分を特定し、前記脈波信号の周波数成分から前記脈波信号の周波数成分を除去する除去部を更に有することを特徴とする付記1、2または3に記載の情報処理装置。
(付記5)前記特定部が特定した遅延量を基にして、脈波伝搬速度を決定する決定部を更に有することを特徴とする付記1〜4の何れか一つに記載の情報処理装置。
(付記6)コンピュータに、
生体の表面が撮影された画像を複数の領域に分割し、
複数の領域毎に、領域に含まれる画素の時間変化に伴う輝度変化に基づいて脈波信号を検出し、
各領域の脈波信号をそれぞれ比較して各領域の脈波信号の遅延量をそれぞれ測定し、測定した各遅延量のうち最大の遅延量を特定する
処理を実行させることを特徴とする脈波計測プログラム。
(付記7)前記特定する処理は、各領域の脈波信号をそれぞれ比較して遅延量が閾値未満となる領域の組を統合し、統合した領域間の遅延量、または、統合した領域と統合されていない領域との遅延量をそれぞれ測定し、測定した各遅延量のうち最大の遅延量を特定する処理を更に実行することを特徴とする付記6に記載の脈波計測プログラム。
(付記8)前記特定する処理は、各領域の脈波信号をそれぞれ比較して遅延量が類似する領域を統合する処理を、統合後の領域の数が3つ以上の場合のみ繰り返し実行し、統合された領域の脈波信号の遅延量を特定する処理を更に実行することを特徴とする付記6に記載の脈波計測プログラム。
(付記9)前記画像から前記生体の特徴点の位置を特定し、時間変化に伴う前記特徴点の移動量の変化を示す信号の周波数成分を特定し、前記脈波信号の周波数成分から前記脈波信号の周波数成分を除去する処理を更にコンピュータに実行させることを特徴とする付記6、7または8に記載の脈波計測プログラム。
(付記10)前記遅延量を基にして、脈波伝搬速度を決定する処理を更にコンピュータに実行させることを特徴とする付記6〜9の何れか一つに記載の脈波計測プログラム。
(付記11)コンピュータが実行する脈波計測方法であって、
生体の表面が撮影された画像を複数の領域に分割し、
複数の領域毎に、領域に含まれる画素の時間変化に伴う輝度変化に基づいて脈波信号を検出し、
各領域の脈波信号をそれぞれ比較して各領域の脈波信号の遅延量をそれぞれ測定し、測定した各遅延量のうち最大の遅延量を特定する
処理を実行することを特徴とする脈波計測方法。
(付記12)前記特定する処理は、各領域の脈波信号をそれぞれ比較して遅延量が閾値未満となる領域の組を統合し、統合した領域間の遅延量、または、統合した領域と統合されていない領域との遅延量をそれぞれ測定し、測定した各遅延量のうち最大の遅延量を特定する処理を更に実行することを特徴とする付記11に記載の脈波計測方法。
(付記13)前記特定する処理は、各領域の脈波信号をそれぞれ比較して遅延量が類似する領域を統合する処理を、統合後の領域の数が3つ以上の場合のみ繰り返し実行し、統合された領域の脈波信号の遅延量を特定する処理を更に実行することを特徴とする付記11に記載の脈波計測方法。
(付記14)前記画像から前記生体の特徴点の位置を特定し、時間変化に伴う前記特徴点の移動量の変化を示す信号の周波数成分を特定し、前記脈波信号の周波数成分から前記脈波信号の周波数成分を除去する処理を更にコンピュータに実行させることを特徴とする付記11、12または13に記載の脈波計測方法。
(付記15)前記遅延量を基にして、脈波伝搬速度を決定する処理を更にコンピュータに実行させることを特徴とする付記11〜14の何れか一つに記載の脈波計測方法。