JP6020015B2

JP6020015B2 - 脈波検出装置、脈波検出プログラム及び脈波検出方法

Info

Publication number: JP6020015B2
Application number: JP2012220725A
Authority: JP
Inventors: 利昭舟久保; 大輔内田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2012-10-02
Filing date: 2012-10-02
Publication date: 2016-11-02
Anticipated expiration: 2032-10-02
Also published as: JP2014073159A

Description

本発明は、脈波検出装置、脈波検出プログラム及び脈波検出方法に関する。

血液の体積の変動、いわゆる脈波を検出する技術が知られている。例えば、脈波の一態様である心拍数を検出する技術の一例としては、心電計の電極を生体に装着することによって計測された心電波形のピーク、例えばＰ波やＲ波などを用いて心拍数を検出する心電図法が挙げられる。他の一例としては、指や耳たぶなどの末梢血管に赤外線を照射し、その反射光が血流および吸光特性によって周期的に変動する光学的な変化から心拍とほぼ等価な脈拍を検出する光電脈波法が挙げられる。

これら心電図法や光電脈波法を用いる場合には、電極を生体に装着したり、あるいは生体に感光面を密着させたりするので、計測器具が生体に接触しないと検出が困難である上、計測器具を装着した状態で日常を生活するのは煩わしいという問題がある。

このことから、生体に計測器具が接触しない状態で脈波を検出するために、被験者が撮影された画像を用いた脈波の検出技術が提案されている。かかる検出技術の一例としては、カメラによって被験者の顔が撮影された画像の信号成分に対し、独立成分分析（ＩＣＡ：Independent Component Analysis）を適用することによって信号対雑音比を改善する方法が挙げられる。このとき、脈波の検出に用いる画像の領域を顔が写る領域のうち一部の領域に限定した場合には、その一部の領域に含まれる血管の数や光源との位置関係で、血流による輝度変化の大小が選択する領域によって異なる場合がある。ここで、血流による輝度変化が大きな領域を選択出来ればよいが、それは検出すべき脈波が既知であることに相当するため、困難である。また、任意に選択する場合は、血流による輝度変化が小さな領域を選択してしまい、脈波を検出出来ない場合が有る。このため、脈波の検出には、被験者の顔の領域全体に含まれる画素の平均値が用いられることが多い。

特開２００８−３０１９１５号公報特開２０１１−１３０９９６号公報国際公開第２００７−０４３３２８号

"Advancements in Non-contact、 Multiparameter Physiological Measurements Using a Webcam"，Vol.18，No.10，2010

しかしながら、上記の従来技術では、脈波の検出精度が低下する場合があるという問題がある。

すなわち、脈波の伝播速度は、有限であるので、被験者の顔が撮影された画像に写る血流による輝度変化にも時差が生じる。例えば、首元にある血管と額にある血管では、血流によって体積が変動するタイミングも異なる。このため、脈波の検出時に画像に含まれる顔全体の輝度の平均値を算出した場合には、各々の画素間で互いの輝度変化のピークを鈍らせる結果、血流による輝度変化が輝度の平均値に現れにくくなる。したがって、上記の従来技術では、脈波の検出精度が低下してしまう。

１つの側面では、脈波の検出精度の低下を抑制できる脈波検出装置、脈波検出プログラム及び脈波検出方法を提供することを目的とする。

一態様の脈波検出装置は、撮像装置を用いて被験者が撮影された画像を取得する取得部と、前記画像のうち前記被験者の体表面が写る部分画像を抽出する抽出部と、前記部分画像に含まれる第１の画素と、前記第１の画素以外の第２の画素との間で前記第１の画素に対する前記第２の画素の輝度変化の遅延量を推定する推定部と、前記第１の画素に対する前記第２の画素の遅延量にしたがって前記第２の画素の輝度信号を補正した上で前記第１の画素の輝度信号および補正後の第２の画素の輝度信号を合成する合成部と、合成後の輝度信号を用いて、前記被験者の脈波を検出する検出部とを有する。

一実施形態によれば、脈波の検出精度の低下を抑制できる。

図１は、実施例１に係る脈波検出システムに含まれる各装置の機能的構成を示すブロック図である。図２は、フレーム画像の一例を示す図である。図３は、フレーム画像の一例を示す図である。図４は、フレーム画像に含まれるＡ点およびＢ点の輝度信号の波形の一例を示す図である。図５は、実施例１に係る検出処理の手順を示すフローチャートである。図６は、応用例１に係る検出処理の手順を示すフローチャートである。図７は、輪郭検出後のフレーム画像の一例を示す図である。図８は、応用例２に係る検出処理の手順を示すフローチャートである。図９は、応用例３に係る検出処理の手順を示すフローチャートである。図１０は、実施例１及び実施例２に係る脈波検出プログラムを実行するコンピュータの一例について説明するための図である。

以下に、本願の開示する脈波検出装置、脈波検出プログラム及び脈波検出方法の実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［システム構成］
図１は、実施例１に係る脈波検出システムに含まれる各装置の機能的構成を示すブロック図である。図１に示すサーバ装置１０は、太陽光や室内光などの環境光の下で生体に計測器具を接触させずに、被験者が撮影された画像を用いて被験者の脈波を検出する脈波検出サービスを提供するものである。ここで言う「脈波」とは、血液の体積の変動、すなわち血流の増減を表す指標を指し、いわゆる心拍数や心拍波形などが含まれる。

かかるサーバ装置１０の一態様としては、パッケージソフトウェアやオンラインソフトウェアとして脈波検出サービスを提供する脈波検出プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、サーバ装置１０は、上記の脈波検出サービスを提供するＷｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の脈波検出サービスを提供するクラウドとして実装することとしてもかまわない。

図１に示すように、サーバ装置１０及びクライアント端末３０は、所望のネットワークを介して、相互に通信可能に接続される。かかるネットワークには、有線または無線を問わず、インターネット（Internet）、ＬＡＮ（Local Area Network）やＶＰＮ（Virtual Private Network）などの任意の種類の通信網を採用できる。なお、図１の例では、サーバ装置１０に接続されるクライアント端末３０が１つである場合を図示したが、サーバ装置１０には複数のクライアント端末を接続することもできる。

［クライアント端末３０の構成］
クライアント端末３０は、サーバ装置１０によって提供される脈波検出サービスの提供を受ける端末装置である。かかるクライアント端末３０の一態様としては、パーソナルコンピュータを始めとする固定端末の他、携帯電話機、ＰＨＳ（Personal Handyphone System）やＰＤＡ（Personal Digital Assistants）などの移動体端末も採用できる。

クライアント端末３０は、図１に示すように、通信Ｉ／Ｆ（interface）部３１と、カメラ３２と、表示部３３とを有する。なお、クライアント端末３０は、図１に示した機能部以外にも既知のコンピュータが有する各種の機能部、例えばアンテナ、キャリア網を介して通信を行うキャリア通信部、ＧＰＳ（Global Positioning System）受信機などを有することとしてもかまわない。

このうち、通信Ｉ／Ｆ部３１は、他の装置、例えばサーバ装置１０との間で通信制御を行うインタフェースである。かかる通信Ｉ／Ｆ部３１の一態様としては、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。例えば、通信Ｉ／Ｆ部３１は、カメラ３２によって被験者の顔が撮影された画像をサーバ装置１０へ送信したり、サーバ装置１０から脈波の検出結果を受信したりする。

カメラ３２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いた撮像装置である。例えば、カメラ３２には、Ｒ（red）、Ｇ（green）、Ｂ（blue）など３種以上の受光素子を搭載することができる。かかるカメラ３２の実装例としては、デジタルカメラやＷｅｂカメラを外部端子を介して接続することとしてもよいし、携帯端末のようにカメラが出荷時から搭載されている場合にはそのカメラを流用できる。なお、ここでは、クライアント端末３０がカメラ３２を有する場合を例示したが、ネットワーク経由または記憶デバイス経由で画像を取得できる場合には、必ずしもクライアント端末３０がカメラ３２を有する必要はない。

表示部３３は、各種の情報、例えばサーバ装置１０から送信された脈波の検出結果などを表示する表示デバイスである。かかる表示部３３の一態様としては、モニタやディスプレイを採用したり、入力部と一体化することによってタッチパネルとして実装したりすることもできる。クライアント端末３０を通じて情報を表示する必要がなければ表示部３３が無くても構わない。また、別のクライアント端末３０などの表示部に表示することもできる。

クライアント端末３０には、サーバ装置１０と協働してサーバ装置１０からの脈波検出サービスの提供を受けるアプリケーションプログラムがプリインストールまたはインストールされる。なお、以下では、上記のクライアント用のアプリケーションプログラムのことを「クライアント用アプリ」と記載する場合がある。

かかるクライアント用アプリは、図示しない入力デバイスを介して起動されると、カメラ３２を起動する。これを受けて、カメラ３２は、カメラ３２の撮影範囲に収容された被写体の撮影を開始する。このとき、クライアント用アプリは、カメラ３２が撮影する画像を表示部３３に表示しつつ、被験者の鼻を映す目標位置を照準として表示させることもできる。これによって、被験者の眼、耳、鼻や口などの顔パーツの中でも被験者の鼻が撮影範囲の中心部分に収まった画像が撮影できるようにする。そして、クライアント用アプリは、カメラ３２によって被験者の顔が撮影された画像を通信Ｉ／Ｆ部３１を介してサーバ装置１０へ送信する。その後、クライアント用アプリは、サーバ装置１０から脈波の検出結果、例えば被験者の心拍数や心拍波形を受信すると、被験者の心拍数および心拍波形を表示部３３へ表示させる。

［サーバ装置１０の構成］
一方、サーバ装置１０は、図１に示すように、通信Ｉ／Ｆ部１１と、取得部１２と、抽出部１３と、画像バッファ１４と、基準情報記憶部１５と、推定部１６と、合成部１７と、検出部１８と、出力部１９とを有する。なお、サーバ装置１０は、図１に示した機能部以外にも既知のサーバ装置が有する各種の機能部、例えば各種の入出力デバイスなどを有することとしてもかまわない。

このうち、通信Ｉ／Ｆ部１１は、他の装置、例えばクライアント端末３０との間で通信制御を行うインタフェースである。かかる通信Ｉ／Ｆ部１１の一態様としては、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。例えば、通信Ｉ／Ｆ部１１は、クライアント端末３０から被験者の顔が撮影された画像を受信したり、脈波の検出結果をクライアント端末３０へ送信したりする。

取得部１２は、被験者が撮影された画像を取得する処理部である。一態様としては、取得部１２は、クライアント端末３０のカメラ３２によって撮影された画像を取得する。他の一態様としては、取得部１２は、被験者が撮影された画像を蓄積するハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢ（Universal Serial Bus）メモリなどのリムーバブルメディアから画像を取得することもできる。このとき、取得部１２は、画像を取得する場合に、所定の圧縮符号化方式によってエンコードされた動画を取得することもできるし、被験者が映る静止画を連続して取得することもできる。ここで、以下では、クライアント端末３０のカメラ３２によって被験者の顔が撮影された動画が取得される場合を想定する。さらに、以下では、動画を形成するフレームのことを「フレーム画像」と記載する場合がある。

抽出部１３は、取得部１２によって取得された画像のうち被験者の体表面が写る部分画像を抽出する処理部である。一態様としては、抽出部１３は、取得部１２によって動画のフレームが取得される度に、フレーム画像からエッジ検出等の画像処理を実行することによって被験者の顔部分の輪郭を検出する。そして、抽出部１３は、先に検出された被験者の顔部分の輪郭をもとに、フレーム画像のうち顔部分に対応する部分画像を抽出する。その上で、抽出部１３は、このようにして抽出された部分画像を画像バッファ１４へ格納する。

画像バッファ１４は、画像を蓄積するバッファである。一態様としては、画像バッファ１４には、抽出部１３によってフレーム画像から抽出された部分画像が登録される。例えば、画像バッファ１４には、所定のフレーム数にわたって部分画像を形成するＫ個の画素１〜画素Ｋの輝度信号ｆ_１（ｎ）〜ｆ_Ｋ（ｎ）が保存される。ここで言う「ｎ」は、部分画像を含むフレーム画像のフレーム番号を指す。なお、画像バッファ１４は、人から計測され得る最長の心拍周期よりも大きな期間にわたって部分画像を蓄積可能なバッファサイズＮを持つものとする。

基準情報記憶部１５は、画像を形成する画素のうち画素間で輝度変化の遅延量を算出する場合に基準として用いる基準画素を記憶する記憶部である。一態様としては、基準情報記憶部１５は、画像に含まれる各画素の位置に割り当てられている番号のうち基準画素とする画素の番号を記憶する。かかる基準画素は、動画のフレーム画像のうち被験者の顔が写ると想定される画素であれば任意の画素であってよく、また、１つの画素でなく複数の画素が集まった領域であってよく、さらに、領域を形成する画素同士は隣接せずともフレーム画像上で画素が点在していてもよい。なお、ここでは、基準画素が予め設定されている場合を例示するが、動画のフレーム画像が取得されて処理が起動する度に、任意の画素を基準画素として選択することとしてもよい。

推定部１６は、画像バッファ１４に蓄積された基準画素の輝度信号と他の画素の輝度信号との間で輝度変化の遅延量を推定する処理部である。ここで、以下では、例えば、Ｋ個の画素１〜画素Ｋのうち画素１を基準画素として基準情報記憶部１５に設定されており、画素２〜画素Ｋの遅延量を推定する場合を例示する。一態様としては、推定部１６は、基準情報記憶部１５を参照して、部分画像に含まれる基準画素１以外の他の画素２〜画素Ｋの各々に当該画素と基準画素との間で輝度変化の遅延量を変数とする相互相関関数を設定する。例えば、推定部１６は、基準画素の輝度変化の時系列順位を反転した信号、すなわち下記の式（１）を基準信号として設定する。かかる式（１）における「Ｎ」は、画像バッファ１４のバッファサイズを指し、また、「ｎ」は、部分画像を含むフレーム画像のフレーム番号を指す。その上で、推定部１６は、画素２〜画素Ｋの各々に下記の式（２）の畳み込み関数〜下記の式（３）の畳み込み関数を設定し、各々について畳み込み演算を実行する。そして、画素２〜画素Ｋの各相互相関関数で計算された値の最大値を探索し、そのときの変数値が各々の画素２〜画素Ｋの遅延量τ_２〜τ_Ｋとして決定される。なお、基準画素１の遅延時間τ_１は、ゼロであることとする。

合成部１７は、推定部１６によって基準画素以外の他の画素ごとに推定された遅延量にしたがって他の画素の輝度信号を補正した上で基準画素および基準画素以外の他の画素の輝度信号を合成する処理部である。一態様としては、合成部１７は、各々の画素２の遅延量τ_２〜画素Ｋの遅延量τ_Ｋの符号を反転させた各値をオフセット値とし、各々の画素２の輝度信号ｆ_２（ｎ）〜画素Ｋの輝度信号ｆ_Ｋ（ｎ）を時間軸方向へシフトさせる。その上で、合成部１７は、基準画素１の輝度信号ｆ_１（ｎ）および補正後の画素２の輝度信号ｆ_２（ｎ）〜画素Ｋの輝度信号ｆ_Ｋ（ｎ）のうち少なくとも２つ以上の任意の画素の輝度信号を用い、各々のフレームの輝度信号を積算したり、あるいは平均したりすることによって輝度信号を合成する。例えば、画素１〜画素ＫのＫ個の画素を脈波の検出に用いる場合には、下記の式（４）に画素１の遅延量τ_１〜画素Ｋの遅延量τ_Ｋを代入することによって合成後の輝度信号が得られる。このようにして得られた合成後の輝度信号が脈波の検出に使用される。以下では、合成後の輝度信号のことを「脈波検出用信号」と記載する場合がある。

図２及び図３は、フレーム画像の一例を示す図である。図４は、フレーム画像に含まれるＡ点およびＢ点の輝度信号の波形の一例を示す図である。このうち、図２は、Ａ点の輝度が最大である瞬間のフレーム画像を示し、また、図３は、Ｂ点の輝度が最大である瞬間のフレーム画像を示す。また、図２に示すフレーム画像の時刻はｔ０［ｓ］であり、図３に示すフレーム画像の時刻はｔ０＋０．３５［ｓ］であることとする。図４に示すグラフの横軸は、時刻［ｓ］であり、グラフの縦軸は、輝度を指す。なお、図４では、説明の便宜上、Ａ点およびＢ点の輝度信号の波形がモデル化されていることとする。

図２及び図３に示すように、フレーム画像において首もとにあるＡ点と目尻にあるＢ点とでは、心臓からの距離が異なるので、血流の体積が変化するタイミングも異なる。このため、Ａ点及びＢ点の間では、輝度が最大となる瞬間も異なる。これは、図４に示す輝度信号の波形、すなわち太い実線で表されたＡ点の輝度信号の波形と細い点線で表されたＢ点の輝度信号の波形とのピーク位置が異なることからも容易に推定できる。これらＡ点及びＢ点の輝度信号を平均して合成した場合には、図４に示す細い方の一点鎖線のように、互いの輝度信号のピークが鈍ってしまう。このため、Ａ点の輝度信号に対するＢ点の輝度信号の遅延量τ_Ａ←Ｂの分、Ｂ点の輝度信号を左へシフトさせることによってＢ点の輝度変化の遅延が等価された補正後の輝度信号、すなわち図４に示す太い点線で表された輝度信号を得る。その上で、Ａ点の輝度信号および補正後のＢ点の輝度信号を平均することによって互いの輝度変化のピークが鈍っていない合成信号、すなわち図４に示す太い一点鎖線で表された脈波検出用信号を得ることができる。

検出部１８は、脈波検出用信号を用いて、被験者の脈波を検出する処理部である。一態様としては、検出部１８は、脈波検出用信号の時系列データを脈波の一態様である心拍波形として出力する。他の一態様としては、検出部１８は、脈波検出用信号の時系列データを周波数成分へ変換する。そして、検出部１８は、ＢＰＦ（Band-Pass Filter）を用いて、脈波の一態様である心拍数が採り得る周波数帯、例えば４２ｂｐｍ以上２４０ｂｐｍ未満の周波数帯の周波数成分を抽出する。その上で、検出部１８は、脈波検出用信号の周波数成分のピーク値を持つ周波数を心拍数として検出する。なお、脈波検出用信号を周波数成分へ展開する手法の一例としては、離散フーリエ変換（ＤＦＴ：Discrete Fourier Transform）、フーリエ変換、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）や離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）などが用いられる。

出力部１９は、被験者の脈波の検出結果をクライアント端末３０へ出力する処理部である。一態様としては、出力部１９は、検出部１８によって検出された被験者の心拍数をクライアント端末３０へ出力する。このとき、出力部１９は、心疾患の有無を診断する診断プログラム、例えばサーバ装置１０に実装されているＷｅｂアプリケーションへ被験者の心拍数を出力する。そして、出力部１９は、診断プログラムによって被験者の心疾患を診断させた診断結果を心拍数とともにクライアント端末３０へ出力することもできる。例えば、診断プログラムでは、高血圧の人物が頻脈、例えば１００回／分以上である場合に狭心症や心筋梗塞の疑いがあると診断したり、心拍数を用いて不整脈や精神疾患、例えば緊張やストレスを診断したりする。かかる診断結果を併せて出力することによって、院外、例えば在宅や在席のモニタリングサービスも可能になる。他の一態様としては、出力部１９は、検出部１８によって検出された被験者の心拍波形をクライアント端末３０へ出力する。

なお、取得部１２、抽出部１３、推定部１６、合成部１７、検出部１８及び出力部１９には、各種の集積回路や電子回路を採用できる。例えば、集積回路としては、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）が挙げられる。また、電子回路としては、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などが挙げられる。

また、上記の画像バッファ１４や基準情報記憶部１５には、半導体メモリ素子や記憶装置を採用できる。例えば、半導体メモリ素子の一例としては、ＶＲＡＭ（Video Random Access Memory）、ＲＡＭ（Random Access Memory)、ＲＯＭ（Read Only Memory）やフラッシュメモリ（flash memory）などが挙げられる。また、記憶装置の一例としては、ハードディスク、光ディスクなどの記憶装置が挙げられる。

［処理の流れ］
続いて、本実施例に係るサーバ装置１０の処理の流れについて説明する。図５は、実施例１に係る検出処理の手順を示すフローチャートである。この検出処理は、サーバ装置１０上で上記の脈波検出プログラムが起動している限り、繰り返し実行される処理である。

図５に示すように、取得部１２によってフレーム画像が取得されると（ステップＳ１０１）、抽出部１３は、フレーム画像のうち被験者の体表面が写る部分画像を抽出する（ステップＳ１０２）。その上で、抽出部１３は、ステップＳ１０２で抽出された部分画像を画像バッファ１４へ格納する（ステップＳ１０３）。

その後、推定部１６は、基準情報記憶部１５を参照して、画像バッファ１４に蓄積された部分画像に含まれる基準画素１以外の他の画素２〜画素Ｋの各々に当該画素と基準画素との間で輝度変化の遅延量毎の相互相関を計算し、相互相関関数を設定する（ステップＳ１０４）。

続いて、推定部１６は、ある画素の相互相関関数について最大値を探索し、そのときの変数値をその画素の遅延量として推定する（ステップＳ１０５）。そして、画素２〜画素Ｋの全画素について遅延量が推定されるまで（ステップＳ１０６Ｎｏ）、推定部１６は、上記のステップＳ１０５を繰り返し実行する。

その後、画素２〜画素Ｋの全画素について遅延量推定がなされた場合（ステップＳ１０６Ｙｅｓ）に、合成部１７は、ステップＳ１０６で基準画素以外の他の画素ごとに推定された遅延量にしたがって他の画素の輝度信号を補正する（ステップＳ１０７）。

その上で、基準画素以外の全画素の遅延が補正されるまで（ステップＳ１０８Ｎｏ）、合成部１７は、上記のステップＳ１０７を繰り返し実行する。その後、基準画素以外の全画素の遅延補正がなされた場合（ステップＳ１０８Ｙｅｓ）に、合成部１７は、基準画素の輝度信号と、ステップＳ１０７で遅延が補正された基準画素以外の他の画素の輝度信号を合成する（ステップＳ１０９）。

続いて、検出部１８は、ステップＳ１０９の合成によって得られた脈波検出用信号を用いて、被験者の脈波、例えば心拍波形や心拍数を検出する（ステップＳ１１０）。最後に、出力部１９は、被験者の脈波の検出結果をクライアント端末３０へ出力し（ステップＳ１１１）、処理を終了する。

［実施例１の効果］
上述してきたように、本実施例に係るサーバ装置１０は、被験者が撮影された画像のうち体表面が写る部分画像を対象に基準画素に対する他の画素の輝度変化の遅延量を推定し、各画素の遅延量に従って輝度信号を補正した上で基準画素と他の画素の輝度信号を合成する。このため、本実施例に係るサーバ装置１０では、画素間で互いの輝度変化のピークが鈍っていない合成信号を脈波検出用信号として得ることができる。したがって、本実施例に係るサーバ装置１０によれば、脈波の検出精度の低下を抑制できる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

［応用例１］
例えば、上記の実施例１では、動画のフレームが取得される度に遅延量を推定する例について説明したが、必ずしも動画のフレームが取得される度に遅延量を推定する必要はない。例えば、サーバ装置１０は、遅延量を推定したフレーム画像が取得されてから所定のフレーム数に対応する期間、例えば３秒などが経過するまで遅延量を算出する処理をとばしてもよい。また、若干の性能低下を許容し、処理量を削減するために、サーバ装置１０は、基準画素以外の他の画素のうち基準画素以外の各画素の遅延量の平均値との差の絶対値が所定の閾値以下となる画素を抽出する。これらの画素は、基準画素に対する遅延量が無視できるものとして扱い、遅延補正無しで輝度信号を合成することとしてもよい。

図６は、応用例１に係る検出処理の手順を示すフローチャートである。この検出処理も、図５に示した検出処理と同様の条件で処理が実行される。なお、図６のフローチャートでは、図５に示したフローチャートと同一の処理を実行する部分については同一のステップ番号を付与している。

図６に示すように、取得部１２によってフレーム画像が取得されると（ステップＳ１０１）、抽出部１３は、フレーム画像のうち被験者の体表面が写る部分画像を抽出する（ステップＳ１０２）。その上で、抽出部１３は、ステップＳ１０２で抽出された部分画像を画像バッファ１４へ格納する（ステップＳ１０３）。

ここで、推定部１６は、前回に画素抽出を行ってから所定の期間が経過しているか否かを判定する（ステップＳ３０１）。なお、所定の期間が経過していなければ（ステップＳ３０１Ｎｏ）、ステップＳ３０３の処理へ移行する。

一方、前回に画素抽出をしてから所定の期間が経過している場合（ステップＳ３０１Ｙｅｓ）には、推定部１６は、基準情報記憶部１５を参照して、画像バッファ１４に蓄積された部分画像に含まれる基準画素１以外の他の画素２〜画素Ｋの各々に当該画素と基準画素との間で輝度変化の遅延量毎の相互相関を計算し、相互相関関数を設定する（ステップＳ１０４）。

その後、画素２〜画素Ｋの全画素について遅延量推定がなされた場合（ステップＳ１０６Ｙｅｓ）に、合成部１７は、基準画素以外の他の画素のうち基準画素以外の各画素の遅延量の平均値との差の絶対値が所定の閾値以下となる画素を代表画素として抽出する（ステップＳ３０２）。そして、合成部１７は、ステップＳ３０２で抽出された画素の輝度信号を合成する（ステップＳ３０３）。

続いて、検出部１８は、ステップＳ３０３の合成によって得られた脈波検出用信号を用いて、被験者の脈波、例えば心拍波形や心拍数を検出する（ステップＳ１１０）。最後に、出力部１９は、被験者の脈波の検出結果をクライアント端末３０へ出力し（ステップＳ１１１）、処理を終了する。

なお、図６に示したフローチャートでは、基準画素との間で輝度変化のピークのばらつきが小さいので、遅延量を用いて輝度信号を補正せずに合成を行う場合を例示したが、抽出された画素の輝度信号の遅延量を用いて各々の輝度信号を補正することとしてもかまわない。

このように、図６に示した検出処理を実行することで、遅延量の小さい画素のみを抽出して使用し、また、画素抽出のための遅延量が一旦推定されてからは所定の期間が経過するまでステップＳ１０４〜ステップＳ１０６までの処理を省略できる結果、処理量を削減することができる。このため、上記の脈波検出プログラムがクライアント端末３０上で動作する場合には、サーバ装置１０に比べて性能が劣るクライアント端末３０で動作不良が起こるのを抑制できる。

［応用例２］
また、サーバ装置１０は、上記の応用例１とは異なる方法によって遅延量の演算量を削減することもできる。例えば、サーバ装置１０は、部分画像を所定の複数の領域に分割する。図７は、輪郭検出後のフレーム画像の一例を示す図である。図７に示すように、部分画像に含まれる顔領域の中でも、同じ高さに位置する画素同士は、心臓からの距離も略同一であるので、高さが異なる画素同士の遅延量のばらつきと比べて小さいとみなすことができる。このため、サーバ装置１０は、部分画像を高さ方向に区切ることによって横長の領域が高さ方向に層状に連なるＭ個の領域１〜領域Ｍに分割する。その上で、サーバ装置１０は、領域１〜領域Ｍの領域ごとに当該領域に属する画素の遅延量の分散を算出する。そして、サーバ装置１０は、若干の性能低下を許容し、処理量を削減するために、遅延量の分散が最小の領域に含まれる画素を抽出する。これらの画素は、基準画素に対する遅延量が無視できるものとして扱い、遅延補正無しで輝度信号を合成することとしてもよい。なお、応用例２においても、上記の応用例１と同様に、遅延量を推定したフレーム画像が取得されてから所定のフレーム数に対応する期間が経過するまで遅延量を算出する処理をとばしてもよい。

図８は、応用例２に係る検出処理の手順を示すフローチャートである。この検出処理も、図５に示した検出処理と同様の条件で処理が実行される。なお、図８のフローチャートでは、図５に示したフローチャートと同一の処理を実行する部分については同一のステップ番号を付与している。

図８に示すように、取得部１２によってフレーム画像が取得されると（ステップＳ１０１）、抽出部１３は、フレーム画像のうち被験者の体表面が写る部分画像を抽出する（ステップＳ１０２）。その上で、抽出部１３は、ステップＳ１０２で抽出された部分画像を画像バッファ１４へ格納する（ステップＳ１０３）。

ここで、推定部１６は、前回に画素抽出を行ってから所定の期間が経過しているか否かを判定する（ステップＳ５０１）。なお、所定の期間が経過していなければ（ステップＳ５０１Ｎｏ）、ステップＳ５０５の処理へ移行する。

一方、前回に画素抽出をしてから所定の期間が経過している場合（ステップＳ５０１Ｙｅｓ）には、推定部１６は、基準情報記憶部１５を参照して、画像バッファ１４に蓄積された部分画像に含まれる基準画素１以外の他の画素２〜画素Ｋの各々に当該画素と基準画素との間で輝度変化の遅延量毎の相互相関を計算し、相互相関関数を設定する（ステップＳ１０４）。

その後、画素２〜画素Ｋの全画素について遅延量推定がなされた場合（ステップＳ１０６Ｙｅｓ）に、合成部１７は、部分画像を所定の複数の領域１〜領域Ｍに分割する（ステップＳ５０２）。続いて、合成部１７は、領域１〜領域Ｍの領域ごとに当該領域に属する画素の遅延量の分散を算出する（ステップＳ５０３）。

その上で、合成部１７は、遅延量の分散が最小の領域に含まれる画素を代表画素として抽出する（ステップＳ５０４）。そして、合成部１７は、ステップＳ５０４で抽出された画素の輝度信号を合成する（ステップＳ５０５）。

続いて、検出部１８は、ステップＳ５０５の合成によって得られた脈波検出用信号を用いて、被験者の脈波、例えば心拍波形や心拍数を検出する（ステップＳ１１０）。最後に、出力部１９は、被験者の脈波の検出結果をクライアント端末３０へ出力し（ステップＳ１１１）、処理を終了する。

なお、図８に示したフローチャートでは、基準画素との間で輝度変化のピークのばらつきが小さいので、遅延量を用いて輝度信号を補正せずに合成を行う場合を例示したが、抽出された画素の輝度信号の遅延量を用いて各々の輝度信号を補正することとしてもかまわない。

このように、図８に示した検出処理を実行することで、遅延量の小さい画素のみを抽出して使用し、また、画素抽出のための遅延量が一旦推定されてからは所定の期間が経過するまでステップＳ１０４〜ステップＳ１０６までの処理を省略できる結果、処理量を削減することができる。このため、上記の脈波検出プログラムがクライアント端末３０上で動作する場合には、サーバ装置１０に比べて性能が劣るクライアント端末３０で動作不良が起こるのを抑制できる。

［応用例３］
また、上記の実施例１では、基準画素以外の全画素の遅延量を推定する場合を例示したが、必ずしも全画素について遅延量を算出する必要はない。一態様としては、サーバ装置１０は、画素単位ではなく、領域単位で遅延量を推定することもできる。例えば、サーバ装置１０は、部分画像を高さ方向に区切ることによって横長の領域が高さ方向に層状に連なるＭ個の領域１〜領域Ｍに分割する。その上で、サーバ装置１０は、領域１〜領域Ｍの領域ごとに当該領域に属する画素の輝度信号を積算または平均することによって合成する。その後、サーバ装置１０は、領域１〜領域Ｍのうち基準画素が属する基準領域の合成輝度信号に対する基準領域以外の合成輝度信号の遅延量を推定し、以降の処理を領域単位で実行する。

図９は、応用例３に係る検出処理の手順を示すフローチャートである。この検出処理も、図５に示した検出処理と同様の条件で処理が実行される。なお、図９のフローチャートでは、図５に示したフローチャートと同一の処理を実行する部分については同一のステップ番号を付与している。

図９に示すように、取得部１２によってフレーム画像が取得されると（ステップＳ１０１）、抽出部１３は、フレーム画像のうち被験者の体表面が写る部分画像を抽出する（ステップＳ１０２）。その上で、抽出部１３は、ステップＳ１０２で抽出された部分画像を画像バッファ１４へ格納する（ステップＳ１０３）。

その後、推定部１６は、部分画像を所定の複数の領域１〜領域Ｍに分割する（ステップＳ７０１）。その上で、推定部１６は、領域１〜領域Ｍの各領域ごとに当該領域に属する画素の輝度信号を積算または平均することによって合成する（ステップＳ７０２）。そして、推定部１６は、領域１〜領域Ｍのうち基準画素が属する基準領域以外の領域に当該領域と基準領域との間で輝度変化の遅延量毎の相互相関を計算し、相互相関関数を設定する（ステップＳ７０３）。

続いて、推定部１６は、ある領域の相互相関関数について最大値を探索し、そのときの変数値をその領域の遅延量として推定する（ステップＳ７０４）。そして、基準領域以外の全領域について遅延量が推定されるまで（ステップＳ７０５Ｎｏ）、推定部１６は、上記のステップＳ７０４を繰り返し実行する。

その後、基準領域以外の全領域について遅延量推定がなされた場合（ステップＳ７０５Ｙｅｓ）に、合成部１７は、ステップＳ７０４で基準領域以外の他の領域ごとに推定された遅延量にしたがって他の領域の輝度信号を補正する（ステップＳ７０６）。

その上で、基準領域以外の全領域の遅延が補正されるまで（ステップＳ７０７Ｎｏ）、合成部１７は、上記のステップＳ７０６を繰り返し実行する。その後、基準領域以外の全領域の遅延補正がなされた場合（ステップＳ７０７Ｙｅｓ）に、合成部１７は、基準領域の輝度信号と、ステップＳ７０６で遅延が補正された基準領域以外の他の領域の輝度信号を合成する（ステップＳ７０８）。

続いて、検出部１８は、ステップＳ７０８の合成によって得られた脈波検出用信号を用いて、被験者の脈波、例えば心拍波形や心拍数を検出する（ステップＳ１１０）。最後に、出力部１９は、被験者の脈波の検出結果をクライアント端末３０へ出力し（ステップＳ１１１）、処理を終了する。

このように、図９に示した検出処理を実行することで、複数の画素を代表する領域単位でステップＳ７０３〜ステップＳ７０８の処理を実行できる結果、一定の検出精度を維持しながらも、遅延量の演算処理量を削減することができる。このため、上記の脈波検出プログラムがクライアント端末３０上で動作する場合には、サーバ装置１０に比べて性能が劣るクライアント端末３０で動作不良が起こるのを抑制できる。

［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、サーバ装置１０が有する取得部１２、抽出部１３、推定部１６、合成部１７、検出部１８または出力部１９などの機能部に対応する処理を実行する脈波検出プログラムをクライアント端末３０で実行させることによってクライアント端末３０をスタンドアローンで動作させることも可能である。また、取得部１２、抽出部１３、推定部１６、合成部１７、検出部１８及び出力部１９のうち一部の機能部をサーバ装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。

［脈波検出プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１０を用いて、上記の実施例と同様の機能を有する脈波検出プログラムを実行するコンピュータの一例について説明する。

図１０は、実施例１及び実施例２に係る脈波検出プログラムを実行するコンピュータの一例について説明するための図である。図１０に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。

ＨＤＤ１７０には、図１０に示すように、上記の実施例１で示した取得部１２、抽出部１３、推定部１６、合成部１７、検出部１８及び出力部１９と同様の機能を発揮する脈波検出プログラム１７０ａが予め記憶される。この脈波検出プログラム１７０ａについては、図１に示した各々の取得部１２、抽出部１３、推定部１６、合成部１７、検出部１８及び出力部１９の各構成要素と同様、適宜統合又は分離しても良い。すなわち、ＨＤＤ１７０に格納される各データは、常に全てのデータがＨＤＤ１７０に格納される必要はなく、処理に必要なデータのみがＨＤＤ１７０に格納されれば良い。

そして、ＣＰＵ１５０が、脈波検出プログラム１７０ａをＨＤＤ１７０から読み出してＲＡＭ１８０に展開する。これによって、図１０に示すように、脈波検出プログラム１７０ａは、脈波検出プロセス１８０ａとして機能する。この脈波検出プロセス１８０ａは、ＨＤＤ１７０から読み出した各種データを適宜ＲＡＭ１８０上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、脈波検出プロセス１８０ａは、図１に示した取得部１２、抽出部１３、推定部１６、合成部１７、検出部１８及び出力部１９にて実行される処理、例えば図５、図６、図８や図９に示す処理を含む。また、ＣＰＵ１５０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１５０上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。

なお、上記の脈波検出プログラム１７０ａについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておく必要はない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。

１０サーバ装置
１１通信Ｉ／Ｆ部
１２取得部
１３抽出部
１４画像バッファ
１５基準情報記憶部
１６推定部
１７合成部
１８検出部
１９出力部
３０クライアント端末

Claims

撮像装置を用いて被験者が撮影された画像を取得する取得部と、
前記画像のうち前記被験者の体表面が写る部分画像を抽出する抽出部と、
前記部分画像に含まれる第１の画素と、前記第１の画素以外の第２の画素との間で前記第１の画素に対する前記第２の画素の輝度変化の遅延量を推定する推定部と、
前記第１の画素に対する前記第２の画素の遅延量にしたがって前記第２の画素の輝度信号を補正した上で前記第１の画素の輝度信号および補正後の第２の画素の輝度信号を合成する合成部と、
合成後の輝度信号を用いて、前記被験者の脈波を検出する検出部と
を有することを特徴とする脈波検出装置。
前記推定部は、前記第１の画素の輝度信号と前記第２の画素の輝度信号との相互相関関数を設定し、前記相互相関関数が最大となる変数値を当該第２の画素の遅延量として推定することを特徴とする請求項１に記載の脈波検出装置。
前記推定部は、前記第１の画素に対する前記第２の画素の輝度変化の遅延量を算出した後に所定の期間が経過するまで処理の実行を待機し、
前記合成部は、前記部分画像に含まれる第２の画素のうち遅延量の平均値との差の絶対値が所定の閾値以下となる遅延量を持つ第２の画素を抽出し、前記抽出部によって部分画像が抽出される度に前記推定部の処理が再度実行されるまで前記抽出された第２の画素の輝度信号を合成する処理を繰り返し実行することを特徴とする請求項１または２に記載の脈波検出装置。
前記推定部は、前記第１の画素に対する前記第２の画素の輝度変化の遅延量を算出した後に所定の期間が経過するまで処理の実行を待機し、
前記合成部は、前記部分画像が分割された複数の領域ごとに当該領域に属する第２の画素の遅延量の分散を算出した上で前記遅延量の分散が最小となる領域に含まれる第２の画素を抽出し、前記抽出部によって部分画像が抽出される度に前記推定部の処理が再度実行されるまで前記抽出された第２の画素の輝度信号を合成する処理を繰り返し実行することを特徴とする請求項１または２に記載の脈波検出装置。
前記部分画像を複数の領域に分割する分割部をさらに有し、
前記推定部は、複数の領域のうち前記第１の画素を含む第１の領域と、前記第１の画素を含まない第２の領域との間で前記第１の領域に対する前記第２の領域の輝度変化の遅延量を推定し、
前記合成部は、前記第１の領域に対する前記第２の領域の遅延量にしたがって前記第２の領域の輝度信号を補正した上で前記第１の領域の輝度信号および補正後の第２の領域の輝度信号を合成することを特徴とする請求項１または２に記載の脈波検出装置。
コンピュータに、
撮像装置を用いて被験者が撮影された画像を取得し、
前記画像のうち前記被験者の体表面が写る部分画像を抽出し、
前記部分画像に含まれる第１の画素と、前記第１の画素以外の第２の画素との間で前記第１の画素に対する前記第２の画素の輝度変化の遅延量を推定し、
前記第１の画素に対する前記第２の画素の遅延量にしたがって前記第２の画素の輝度信号を補正した上で前記第１の画素の輝度信号および補正後の第２の画素の輝度信号を互いに合成し、
合成後の輝度信号を用いて、前記被験者の脈波を検出する
処理を実行させることを特徴とする脈波検出プログラム。
コンピュータが、
撮像装置を用いて被験者が撮影された画像を取得し、
前記画像のうち前記被験者の体表面が写る部分画像を抽出し、
前記部分画像に含まれる第１の画素と、前記第１の画素以外の第２の画素との間で前記第１の画素に対する前記第２の画素の輝度変化の遅延量を推定し、
前記第１の画素に対する前記第２の画素の遅延量にしたがって前記第２の画素の輝度信号を補正した上で前記第１の画素の輝度信号および補正後の第２の画素の輝度信号を互いに合成し、
合成後の輝度信号を用いて、前記被験者の脈波を検出する
処理を実行することを特徴とする脈波検出方法。