JP5920465B2 - バイタルサイン検出方法、バイタルサイン検出装置及びバイタルサイン検出プログラム - Google Patents

Description

本発明は、バイタルサイン検出方法、バイタルサイン検出装置及びバイタルサイン検出プログラムに関する。

心拍や呼吸などの生命徴候、いわゆるバイタルサインを検出する技術がある。例えば、心拍を検出する技術の一例としては、心電計の電極を生体に装着することによって計測された心電波形のピーク、例えばＰ波やＲ波などを用いて心拍数を検出する心電図法が挙げられる。他の一例としては、指や耳たぶなどの末梢血管に赤外線を照射し、その反射光が血流および吸光特性によって周期的に変動する光学的な変化から心拍とほぼ等価な脈拍を検出する光電脈波法が挙げられる。

これら心電図法や光電脈波法を用いる場合には、電極を生体に装着したり、あるいは生体に感光面を密着させたりするので、計測器具が生体に接触しないと検出が困難である上、計測器具を装着した状態で日常を生活するのは煩わしいという問題がある。

このことから、生体に計測器具が接触しない状態でバイタルサインを検出するために、画像を用いたバイタルサインの検出技術が提案されている。かかる検出技術の一例としては、カメラによって被験者の顔が撮影された画像の信号成分に対し、独立成分分析（ＩＣＡ：Independent Component Analysis）を適用することによって信号対雑音比を改善する方法が挙げられる。

特開２０１１−１３０９９６号公報 特開２０１０−２６４０９５号公報 特開２００７−０５０１４４号公報 特開２００５−２１８５０７号公報 特開２００７−２１５１６３号公報 国際公開第２００７／０４３３２８号 特開２００５−０９４１８５号公報 特開２００８−１１８６３５号公報

"Advancements in Non-contact、 Multiparameter Physiological Measurements Using a Webcam"，Vol.18，No.10，2010

しかしながら、上記の従来技術では、以下に説明するように、バイタルサインの検出精度におのずから限界があるという問題がある。

すなわち、上記の画像を用いた検出技術では、Ｒ（Red）成分、Ｇ（Green）成分およびＢ（Blue）成分を用いてＩＣＡ（独立成分分析）によって算出した３つの信号成分のうちいずれかの成分に心拍に起因してランダムに出現する信号を適切に抽出することができない。このため、上記の画像を用いた検出技術では、ＩＣＡによって算出された３つの信号成分のうち心拍に起因しない成分を用いて検出が行われた場合には、心拍数の検出精度が低下してしまう場合がある。

開示の技術は、上記に鑑みてなされたものであって、バイタルサインの検出精度を向上させることができるバイタルサイン検出方法、バイタルサイン検出装置及びバイタルサイン検出プログラムを提供することを目的とする。

本願の開示するバイタルサイン検出方法は、コンピュータが、撮影装置によって被験者が撮影された画像を取得する処理を実行する。さらに、前記コンピュータが、前記画像に含まれる複数の光波長成分の信号に対して独立成分分析を適用する処理を実行する。さらに、前記コンピュータが、前記独立成分分析の適用によって得られた複数の独立成分信号を周波数成分へ変換する処理を実行する。さらに、前記コンピュータが、各独立成分信号に周波数成分へ変換されたスペクトルに対し、各独立成分信号のスペクトルを複合する演算を実行する処理を実行する。さらに、前記コンピュータが、前記演算によって得られた複合スペクトルを用いて、前記被験者のバイタルサインを検出する処理を実行する。

本願の開示するバイタルサイン検出方法の一つの態様によれば、バイタルサインの検出精度を向上させることができるという効果を奏する。

図１は、実施例１に係るサーバ装置の機能的構成を示すブロック図である。 図２は、被験者の顔が映る画像の一例を示す図である。 図３は、ＩＣＡ信号のスペクトルの一例を示す図である。 図４は、複合スペクトルの一例を示す図である。 図５は、複合スペクトルの一例を示す図である。 図６は、実施例１に係る検出処理の手順を示すフローチャートである。 図７は、従来手法における心拍数の検出結果を示す図である。 図８は、実施例１に係る心拍数の検出結果を示す図である。 図９は、従来手法における心拍数の検出結果とリファレンスとの誤差を示す図である。 図１０は、実施例１に係る心拍数の検出結果とリファレンスとの誤差を示す図である。 図１１は、リファレンスとの一致率を示す図である。 図１２は、原画像を用いた場合の心拍数の検出結果および部分画像を用いた場合の心拍数の検出結果を示す図である。 図１３は、応用例に係る検出処理の手順を示すフローチャートである。 図１４は、呼吸数の検出結果の一例を示す図である。 図１５は、ＩＣＡを適用する入力信号の応用例を示す図である。 図１６は、実施例１及び実施例２に係るバイタルサイン検出プログラムを実行するコンピュータの一例について説明するための図である。

以下に、本願の開示するバイタルサイン検出方法、バイタルサイン検出装置及びバイタルサイン検出プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

図１は、実施例１に係るサーバ装置の機能的構成を示すブロック図である。図１に示すサーバ装置１０は、計測器具が被験者の生体に接触しないように、被験者が撮影された画像を用いて被験者のバイタルサインを検出するバイタルサイン検出サービスを提供するものである。なお、本実施例では、バイタルサインの一例として、画像から心拍数が検出される場合を想定して以下の説明を行う。

かかるサーバ装置１０の一態様としては、上記のバイタルサイン検出サービスを提供するＷｅｂサーバとして実装することとしてもよいし、また、アウトソーシングによって上記のバイタルサイン検出サービスを提供するクラウドとして実装することもできる。他の一態様としては、パッケージソフトウェアやオンラインソフトウェアとして提供されるバイタルサイン検出プログラムを所望のコンピュータにプリインストール又はインストールさせることによっても実装できる。

図１に示すように、サーバ装置１０は、所望のネットワークを介して、クライアント端末３０と相互に通信可能に接続される。かかるネットワークには、有線または無線を問わず、インターネット（Internet）、ＬＡＮ（Local Area Network）やＶＰＮ（Virtual Private Network）などの任意の種類の通信網を採用できる。なお、図１の例では、サーバ装置１０に接続されるクライアント端末３０が１つである場合を図示したが、サーバ装置１０には複数のクライアント端末をサーバ装置１０に接続することもできる。

［クライアント端末３０の構成］
クライアント端末３０は、サーバ装置１０によって提供されるバイタルサイン検出サービスの提供を受ける端末装置である。かかるクライアント端末３０の一態様としては、パーソナルコンピュータを始めとする固定端末の他、携帯電話機、ＰＨＳ（Personal Handyphone System）やＰＤＡ（Personal Digital Assistants）などの移動体端末も採用できる。

クライアント端末３０は、図１に示すように、通信Ｉ／Ｆ（interface）部３１と、カメラ３２と、表示部３３とを有する。なお、クライアント端末３０は、図１に示した機能部以外にも既知のコンピュータが有する各種の機能部、例えばアンテナ、キャリア網を介して通信を行うキャリア通信部、ＧＰＳ（Global Positioning System）受信機などを有することとしてもかまわない。

このうち、通信Ｉ／Ｆ部３１は、他の装置、例えばサーバ装置１０との間で通信制御を行うインタフェースである。かかる通信Ｉ／Ｆ部３１の一態様としては、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。例えば、通信Ｉ／Ｆ部３１は、カメラ３２によって被験者の顔が撮影された画像をサーバ装置１０へ送信したり、サーバ装置１０からバイタルサインの検出結果を受信したりする。

カメラ３２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いた撮影装置である。特にＲ、Ｇ、Ｂなど３種以上の受光素子が搭載されていることが好ましい。かかるカメラ３２の実装例としては、デジタルカメラやＷｅｂカメラを外部端子を介して接続することとしてもよいし、携帯端末のようにカメラが出荷時から搭載されている場合にはそのカメラを流用できる。なお、ここでは、クライアント端末３０がカメラ３２を有する場合を例示したが、ネットワーク経由または記憶デバイス経由で画像を取得できる場合には、必ずしもクライアント端末３０がカメラ３２を有する必要はない。

表示部３３は、各種の情報、例えばサーバ装置１０から送信されたバイタルサインの検出結果などを表示する表示デバイスである。かかる表示部３３の一態様としては、モニタやディスプレイを採用したり、入力部と一体化することによってタッチパネルとして実装したりすることもできる。クライアント端末３０を通じて情報を表示する必要がなければ表示部３３が無くても構わない。また、別のクライアント端末３０などの表示部に表示することもできる。

クライアント端末３０には、サーバ装置１０と協働してサーバ装置１０からのバイタルサイン検出サービスの提供を受けるアプリケーションプログラムがプリインストールまたはインストールされる。なお、以下では、上記のクライアント用のアプリケーションプログラムのことを「クライアント用アプリ」と記載する場合がある。

かかるクライアントアプリは、図示しない入力デバイスを介して起動されると、カメラ３２を起動する。これを受けて、カメラ３２は、カメラ３２の撮影範囲に収容された被写体の撮影を開始する。このとき、クライアントアプリは、カメラ３２が撮影する画像を表示部３３に表示しつつ、被験者の鼻を映す目標位置を照準として表示させることもできる。これによって、被験者の眼、耳、鼻や口などの顔パーツの中でも被験者の鼻が撮影範囲の中心部分に収まった画像が撮影できるようにする。そして、クライアントアプリは、カメラ３２によって被験者の顔が撮影された画像を通信Ｉ／Ｆ部３１を介してサーバ装置１０へ送信する。その後、クライアントアプリは、サーバ装置１０からバイタルサインの検出結果、例えば被験者の心拍数を受信すると、被験者の心拍数を表示部３３へ表示させる。なお、ここでは、被験者の心拍数を検出するにあたって被験者の顔が映った画像を用いる場合を想定するが、バイタルサインの一例として心拍数を検出する場合には被験者の肌の一部が映った画像であれば必ずしも顔画像を用いる必要はない。

［サーバ装置１０の構成］
一方、サーバ装置１０は、図１に示すように、通信Ｉ／Ｆ部１１と、取得部１２と、抽出部１３と、適用部１４と、変換部１５と、演算部１６と、検出部１７と、出力部１８とを有する。なお、サーバ装置１０は、図１に示した機能部以外にも既知のサーバ装置が有する各種の機能部、例えば各種の入出力デバイスなどを有することとしてもかまわない。

このうち、通信Ｉ／Ｆ部１１は、他の装置、例えばクライアント端末３０との間で通信制御を行うインタフェースである。かかる通信Ｉ／Ｆ部１１の一態様としては、ＬＡＮカードなどのネットワークインタフェースカードを採用できる。例えば、通信Ｉ／Ｆ部１１は、クライアント端末３０から被験者の顔が撮影された画像を受信したり、バイタルサインの検出結果をクライアント端末３０へ送信したりする。

取得部１２は、被験者が撮影された画像を取得する処理部である。一態様としては、取得部１２は、クライアント端末３０のカメラ３２によって撮影された画像を取得する。他の一態様としては、取得部１２は、被験者が撮影された画像を蓄積するハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢ（Universal Serial Bus）メモリなどのリムーバブルメディアから画像を取得することもできる。このように、取得部１２によって取得された画像は抽出部１３へ出力される。なお、取得部１２は、被験者が映る静止画を断続または連続して取得することもできるし、所定の圧縮符号化方式によってエンコードされた動画符号化データのストリームを取得することもできる。

抽出部１３は、取得部１２によって取得された画像から所定の顔パーツを基準とする部分画像を抽出する処理部である。一態様としては、抽出部１３は、被験者の顔が映った画像にテンプレートマッチング等の画像処理を実行することによって被験者の眼、耳、鼻や口などの顔パーツのうち特定の顔パーツ、すなわち被験者の鼻を検出する。その上で、抽出部１３は、被験者の鼻を中心とし、中心から所定の範囲に含まれる部分画像を抽出する。これによって、被験者の鼻、鼻の周辺に位置する頬の一部の顔中心部分を含んだ部分画像がバイタルサインの検出用の画像として抽出される。その後、抽出部１３は、取得部１２によって取得された原画像から抽出した部分画像を適用部１４へ出力する。

図２は、被験者の顔が映る画像の一例を示す図である。図２には、画像に映る被験者の眼、鼻及び口の一部または全部を含む領域が９つに分割されたブロックが図示されている。図２に示すブロックのうち上段の左及び右のブロックには、被験者の眼が映っている。これらのブロックの画像を検出に用いた場合には、眼の瞬きがノイズとなって心拍数の検出精度の低下を招く場合がある。また、図２に示すブロックのうち下段の３つのブロックには、被験者の口が映っている。これらのブロックの画像を検出に用いた場合には、口の動きがノイズとなって心拍数の検出精度の低下を招く場合がある。一方、図２に示す中段の真ん中のブロック、すなわち斜線の塗りつぶしが図示されたブロックは、眼や口が映るブロックから隔てられており、他のブロックに比べてノイズとなる成分が映っている可能性が低いので、良好な検出結果を期待できる。これらのことから、抽出部１３は、取得部１２によって取得された画像から図２に示す中段の真ん中のブロックの画像を部分画像として抽出する。

適用部１４は、部分画像に含まれる複数の光波長成分ごとに独立成分分析、いわゆるＩＣＡ（Independent Component Analysis）を適用する処理部である。一態様としては、適用部１４は、抽出部１３から部分画像が入力される度に、Ｒ（Red）成分、Ｇ（Green）成分およびＢ（Blue）成分ごとに部分画像に含まれる各画素の画素値の平均値を算出する。そして、適用部１４は、部分画像の各成分の平均値が所定の時間、例えば１秒間や１分間などにわたって時系列にサンプリングされると、サンプリングされたＲ成分、Ｇ成分及びＢ成分の信号にＩＣＡを適用する。

ここで言う「ＩＣＡ」は、多変量解析の一手法であり、情報源となる信号が独立であると仮定し、複数の観測値の信号から信号源を独立な成分に分離して抽出する計算手法である。ＩＣＡには、ＩｎｆｏＭＡＸ、ＦａｓｔＩＣＡやＪＡＤＥなどの様々なアルゴリズムが挙げられ、適用部１４にはいずれのアルゴリズムを用いることが出来る。本実施例ではＪＡＤＥを用いたアルゴリズムを説明する。適用部１４は、所定の時間にわたってサンプリングされたＲ成分、Ｇ成分及びＢ成分の各信号成分を観測値とし、Ｒ成分、Ｇ成分及びＢ成分の各信号成分から情報源である信号、すなわち微細な体動などによるノイズが除去された独立な成分の信号を推定する。かかるＩＣＡの適用によって得られた各信号のことを「ＩＣＡ信号」と記載する場合がある。このように、適用部１４によるＩＣＡの適用によってＲＧＢの各信号成分ごとに得られたＩＣＡ信号は変換部１５へ出力される。

なお、ここでは、適用部１４が抽出部１３によって抽出された部分画像のＲＧＢの各信号成分にＩＣＡを適用する場合を例示したが、取得部１２によって取得された画像のＲＧＢの各信号成分にＩＣＡを適用することとしてもかまわない。

変換部１５は、光波長成分を用いて得られたＩＣＡ信号を周波数成分へ変換する処理部である。一態様としては、変換部１５は、ＲＧＢの各信号成分から得られたＩＣＡ信号に離散フーリエ変換、いわゆるＤＦＴ（Discrete Fourier Transform）を実行する。かかるＤＦＴが実行されることによって、各ＩＣＡ信号が周波数のスペクトルへ変換される。このように、変換部１５によるＤＦＴの適用によって各ＩＣＡ信号ごとに得られたＩＣＡ信号は変換部１５へ出力される。なお、ここでは、離散フーリエ変換を適用する場合を例示したが、信号を周波数成分に展開できるものであれば他の手法を適用することもできる。例えば、開示の装置は、離散フーリエ変換の他にも、フーリエ変換、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）や離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）などを適用することができる。

演算部１６は、各ＩＣＡ信号のスペクトルに対し、各ＩＣＡ信号のスペクトルを複合する演算を実行する処理部である。かかる演算によって、ＲＧＢの各ＩＣＡ信号が複合された複合スペクトルが得られる。

一態様としては、演算部１６は、各ＩＣＡ信号のスペクトルを積算することによって複合スペクトルを生成する。図３は、ＩＣＡ信号のスペクトルの一例を示す図である。図４は、複合スペクトルの一例を示す図である。図４には、図３に示すＩＣＡ信号のスペクトルが積算された複合スペクトルが図示されている。これら図３及び図４のグラフの縦軸は信号強度を示し、横軸は周波数（拍／分）を指す。図３に示すＦ_１（ｕ）、Ｆ_２（ｕ）及びＦ_３（ｕ）の各ＩＣＡ信号のスペクトルは、Ｒ成分、Ｇ成分及びＢ成分の各信号成分のサンプリングデータに由来する独立成分である。演算部１６は、図３に示すＦ_１（ｕ）、Ｆ_２（ｕ）及びＦ_３（ｕ）の各ＩＣＡ信号のスペクトルを積算する。かかる積算、すなわちＦ_１（ｕ）＊Ｆ_２（ｕ）＊Ｆ_３（ｕ）によって、図４に示す複合スペクトルＦ_Times（ｕ）が得られる。図４に示すように、複合スペクトルＦ_Times（ｕ）は、上記の積算を実行することによって各ＩＣＡ信号に含まれる心拍数に起因するピーク、すなわち６０拍／分を際立たせることが可能になる。ここでは、ＩＣＡ信号が３つの場合を例示したが、２つまたは４つ以上の場合も同様にスペクトルの積算によって複合スペクトルＦ_Times（ｕ）が得られる。

他の一態様としては、演算部１６は、各ＩＣＡ信号のスペクトルを加算平均することによって複合スペクトルを生成する。図５は、複合スペクトルの一例を示す図である。図５には、図３に示したＩＣＡ信号のスペクトルが加算平均された複合スペクトルが図示されている。図５のグラフの縦軸は信号強度を示し、横軸は周波数（拍／分）を指す。演算部１６は、図３に示すＦ_１（ｕ）、Ｆ_２（ｕ）及びＦ_３（ｕ）の各ＩＣＡ信号のスペクトルを加算平均する。かかる加算平均、すなわち（Ｆ_１（ｕ）＋Ｆ_２（ｕ）＋Ｆ_３（ｕ））／３によって、図５に示す複合スペクトルＦ_Ave（ｕ）が得られる。図５に示すように、複合スペクトルＦ_Ave（ｕ）は、上記の加算平均を実行することによって各ＩＣＡ信号に含まれる心拍数に起因するピーク、すなわち６０拍／分を際立たせることが可能になる。ここでは、ＩＣＡ信号が３つの場合を示したが、２つまたは４つ以上の場合も同様にスペクトルの加算平均によって複合スペクトルＦ_Ave（ｕ）が得られる。

検出部１７は、複合スペクトルを用いて、被験者のバイタルサインを検出する処理部である。一態様としては、検出部１７は、人の心拍数が採り得る値として想定される周波数の区間、例えば下限値４０回／分及び上限値２４０回／分に対応する周波数の区間で複合スペクトルの最大のピークから被験者の心拍数を検出する。例えば、図４の例で言えば、３つのＩＣＡ信号が積算された複合スペクトルＦ_Times（ｕ）において最大のピークが６０拍／分で計測されるので、検出部１７は、被験者の心拍数を「６０拍／分」と検出する。また、図５の例においても、３つのＩＣＡ信号が加算平均された複合スペクトルＦ_Ave（ｕ）において最大のピークが６０拍／分で計測されるので、検出部１７は、被験者の心拍数を「６０拍／分」と検出する。

出力部１８は、被験者のバイタルサインの検出結果をクライアント端末３０へ出力する処理部である。一態様としては、出力部１８は、検出部１７によって検出された被験者の心拍数をクライアント端末３０へ出力する。このとき、出力部１８は、心疾患の有無を診断する診断プログラム、例えばサーバ装置１０に実装されているＷｅｂアプリケーションへ被験者の心拍数を出力する。そして、出力部１８は、診断プログラムによって被験者の心疾患を診断させた診断結果を心拍数とともにクライアント端末３０へ出力することもできる。例えば、診断プログラムでは、高血圧の人物が頻脈、例えば１００回／分以上である場合に狭心症や心筋梗塞の疑いがあると診断したり、心拍数を用いて不整脈や精神疾患、例えば緊張やストレスを診断したりする。かかる診断結果を併せて出力することによって、院外、例えば在宅や在席のモニタリングサービスも可能になる。

なお、取得部１２、抽出部１３、適用部１４、変換部１５、演算部１６、検出部１７及び出力部１８には、各種の集積回路や電子回路を採用できる。例えば、集積回路としては、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）が挙げられる。また、電子回路としては、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などが挙げられる。

［処理の流れ］
続いて、本実施例に係るサーバ装置１０の処理の流れについて説明する。図６は、実施例１に係る検出処理の手順を示すフローチャートである。この検出処理は、サーバ装置１０の電源がＯＮ状態である限り、繰り返し実行される処理である。

図６に示すように、取得部１２によって被験者が映った画像が取得されると（ステップＳ１０１）、抽出部１３は、取得部１２によって取得された画像から所定の顔パーツ、例えば被験者の鼻を基準とする部分画像（ａ）を抽出する（ステップＳ１０２）。

そして、適用部１４は、部分画像の各成分の平均値が所定の時間、例えば１秒間や１分間などにわたって時系列にサンプリングされたＲ成分、Ｇ成分及びＢ成分の信号に対してＩＣＡを適用する（ステップＳ１０３）。

続いて、変換部１５は、ＲＧＢの各信号成分から得られたＩＣＡ信号に離散フーリエ変換を適用する（ステップＳ１０４）。これによって、ＲＧＢの各ＩＣＡ信号が周波数のスペクトルへ変換される。

そして、演算部１６は、各ＩＣＡ信号のスペクトルに対し、各ＩＣＡ信号のスペクトルを複合する演算を実行する（ステップＳ１０５）。その上で、検出部１７は、複合スペクトルの最大のピークから被験者の心拍数を検出する（ステップＳ１０６）。その後、出力部１８は、検出部１７によって検出された被験者の心拍数をクライアント端末３０へ出力し（ステップＳ１０７）、処理を終了する。

［実施例１の効果］
上述してきたように、本実施例に係るサーバ装置１０は、被験者が写った画像に含まれるＲＧＢの各成分にＩＣＡを適用し、各ＩＣＡ信号のスペクトルを複合する演算を行ってピークを際立たせた複合スペクトルから被験者の心拍数を検出する。したがって、本実施例に係るサーバ装置１０によれば、心拍数の検出精度を向上させることができる。

図７は、従来手法における心拍数の検出結果を示す図である。図８は、実施例１に係る心拍数の検出結果を示す図である。図７には、測定時間を１分間とし、各ＩＣＡ信号を複合する加算平均を実行する前、すなわち図３に示したＦ_２（ｕ）のＩＣＡ信号を用いて心拍数を検出した場合における検出結果と、指脈波から検出された脈拍の計測結果であるリファレンスとの比較結果が図示されている。図８には、測定時間を１分間とし、各ＩＣＡ信号を複合する加算平均を実行した上で複合スペクトルの最大ピークから心拍数を検出した場合における検出結果と、指脈波から検出された脈拍の計測結果であるリファレンスとの比較結果が図示されている。図７に示す従来手法の方では、断続的にリファレンスの計測結果から乖離した値が検出されているのに対し、図８に示す本実施例の方では、定常的にリファレンスの計測結果に追従していることがわかる。このように、図７及び図８の検出結果を比較すると、各ＩＣＡ信号を複合する加算平均を実行した本実施例の方が従来手法よりもリファレンスの計測結果に良く追従していることが確認できる。

図９は、従来手法における心拍数の検出結果とリファレンスとの誤差を示す図である。図１０は、実施例１に係る心拍数の検出結果とリファレンスとの誤差を示す図である。これら図９及び図１０は、のべ１３人に対して動画像から心拍数を計測したときの、リファレンスである指脈波との誤差を表した結果である。平均二乗誤差に関しては、図９に示すように、加算平均の適用前は１２．８であるのに対し、図１０に示すように、加算平均の適用後は１．４となっている。このように、図９及び図１０を比較すると、加算平均の適用後の誤差が少なくなっていることが確認できる。

図１１は、リファレンスとの一致率を示す図である。図１１には、加算平均の適用していないＦ_１（ｕ）、Ｆ_２（ｕ）及びＦ_３（ｕ）の３つのＩＣＡ信号から心拍数を検出した結果と、ＲＧＢの３つの信号にＩＣＡは適用しないが加算平均を適用して心拍数の検出を実行した結果と、ＩＣＡと加算平均との両方を適用して心拍数の検出を実行した結果との比較結果とが図示されている。図１１の例では、測定時間内における心拍数とリファレンスとの誤差が２ｂｐｍ以内である検出結果を一致とみなした場合の一致率が図示されている。図１１に示すように、ＩＣＡと加算平均との両方を適用して心拍数の検出を実行した場合の一致率が９４．４％となっており、最も一致率が高くなっていることが確認できる。

また、本実施例に係るサーバ装置１０は、原画像から所定の顔パーツ、例えば被験者の鼻を基準とする部分画像を抽出した上で部分画像に含まれるＲＧＢの各信号成分に対してＩＣＡを適用する。それゆえ、本実施例に係るサーバ装置１０では、被験者の眼の瞬きや口の動きなどの影響によって心拍数の検出精度が低下するのを抑制できる。

図１２は、原画像を用いた場合の心拍数の検出結果および部分画像を用いた場合の心拍数の検出結果を示す図である。図１２には、顔全体（８０pixel×８０pixel）を測定領域として心拍数を検出したときの検出結果および顔の中心部分（８０pixel×８０pixel）を測定領域として心拍数を検出したときの検出結果が図示されている。図１２に示すように、顔全体を測定領域として心拍数を検出した場合の一致率は４８．３％であるのに対し、顔の中心部分を測定領域として心拍数を検出した場合の一致率は８３．３％であり、顔の中心部分の方がより安定して心拍数を検出することが可能である。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

［心拍信号の特定］
上記の実施例１では、心拍数を検出する場合について説明したが、開示の装置は、ＲＧＢ成分から算出された各ＩＣＡ信号のうちいずれのＩＣＡ信号が心拍信号であるのかを特定することもできる。

開示の装置は、各ＩＣＡ信号ごとに周波数成分へ変換されたスペクトルのピークと、複合スペクトルのピークとを比較し、各ＩＣＡ信号のうち複合スペクトルの最大ピークと最も最大ピークが近いＩＣＡ信号を被験者の心拍が情報源である信号、いわゆる心拍信号と特定する。

これを説明すると、開示の装置は、複合スペクトルの最大ピークを基準とする所定の範囲、例えば最大ピーク±５の範囲に最大ピークが存在するＩＣＡ信号が１つだけ存在する場合には、当該ＩＣＡ信号を心拍信号と特定する。

一方、開示の装置は、複合スペクトルの最大ピークを基準とする所定の範囲に最大ピークが存在するＩＣＡ信号が複数存在する場合には、次のような処理を実行する。すなわち、開示の装置は、各ＩＣＡ信号ごとに当該ＩＣＡ信号のスペクトルの移動平均を算出する。そして、開示の装置は、移動平均算出後のスペクトルの周波数を確率変数、信号強度を確率密度とする確率密度関数とみなし、確率密度関数に起因する確率分布の分散をＩＣＡ信号ごとに算出する。

例えば、開示の装置は、各ＩＣＡ信号のスペクトルのうち人の心拍数が採り得る値として想定される周波数の区間、例えば下限値４０回／分及び上限値２４０回／分に対応する周波数の区間を確率密度関数とみなし、下記の式（１）を用いて、スペクトルの分散Ｖ（ｘ）をＩＣＡ信号ごとに算出する。なお、下記の式（１）における「Ｆ（ｘ）」は、スペクトルの関数を指し、「Ｘ」は、心拍数を表す確率変数を指し、「Ｅ（Ｘ）」は、心拍数の期待値を指し、「ａ」は、心拍数の範囲の下限値を指し、「ｂ」は、心拍数の上限値を指す。上記の下限値、および上限値の範囲において、スペクトルに複数の際立ったピークが存在する場合がある。複数のピークが存在する場合は分散Ｖで心拍信号を特定することが困難となるため、複数のピークの影響を抑えるために、下限値および上限値を任意に調整することが出来る。

その上で、開示の装置は、各ＩＣＡ信号のうちスペクトルの分散が最小となるＩＣＡ信号を心拍信号と特定する。その後、開示の装置は、心拍信号と特定されたＩＣＡ信号であって移動平均が実行される前のＩＣＡ信号のスペクトルの最大ピークから被験者の心拍数を検出する。

図１３は、応用例に係る検出処理の手順を示すフローチャートである。この検出処理は、図６に示した検出処理と同様に、サーバ装置１０の電源がＯＮ状態である限り、繰り返し実行される処理である。

図１３に示すように、被験者が映った画像が取得されると（ステップＳ３０１）、開示の装置は、ステップＳ３０１で取得された画像から所定の顔パーツ、例えば被験者の鼻を基準とする部分画像（ａ）を抽出する（ステップＳ３０２）。

そして、開示の装置は、部分画像の各成分の平均値が所定の時間、例えば１秒間や１分間などにわたって時系列にサンプリングされたＲ成分、Ｇ成分及びＢ成分の信号に対してＩＣＡを適用する（ステップＳ３０３）。

続いて、開示の装置は、ＲＧＢの各信号成分から得られたＩＣＡ信号に離散フーリエ変換を適用する（ステップＳ３０４）。これによって、各ＩＣＡ信号が周波数のスペクトルへ変換される。

そして、開示の装置は、各ＩＣＡ信号のスペクトルに対し、各ＩＣＡ信号のスペクトルを複合する演算を実行する（ステップＳ３０５）。その後、開示の装置は、各ＩＣＡ信号ごとに周波数成分へ変換されたスペクトルのピークと、複合スペクトルのピークとを比較する（ステップＳ３０６）。

このとき、複合スペクトルの最大ピークを基準とする所定の範囲に最大ピークが存在するＩＣＡ信号が１つだけ存在する場合（ステップＳ３０７ Ｙｅｓ）には、当該ＩＣＡ信号を心拍信号と特定することができる。この場合には、ステップＳ３１２へ移行する。

一方、複合スペクトルの最大ピークを基準とする所定の範囲に最大ピークが存在するＩＣＡ信号が複数存在する場合（ステップＳ３０７ ＮｏかつステップＳ３０８ Ｙｅｓ）には、開示の装置は、各ＩＣＡ信号ごとに当該ＩＣＡ信号のスペクトルの移動平均を算出する（ステップＳ３０９）。

そして、開示の装置は、ステップＳ３０９で移動平均が実行された後のスペクトルの分散をＩＣＡ信号ごとに算出する（ステップＳ３１０）。その上で、開示の装置は、各ＩＣＡ信号のうちスペクトルの分散が最小となるＩＣＡ信号を心拍信号と特定する（ステップＳ３１１）。

その後、開示の装置は、心拍信号と特定されたＩＣＡ信号であって移動平均が実行される前のＩＣＡ信号のスペクトルの最大ピークから被験者の心拍数を検出する（ステップＳ３１２）。

最後に、開示の装置は、ステップＳ３１２で検出された被験者の心拍数を始め、ステップＳ３１２で特定された心拍信号から診断された診断結果をクライアント端末３０へ出力し（ステップＳ３１３）、処理を終了する。

なお、図１３に示したフローチャートでは、複合スペクトルの最大ピークを基準とする所定の範囲に最大ピークが存在するＩＣＡ信号が複数存在する場合にステップＳ３０９〜ステップＳ３１０の処理を実行する場合を例示したが、ステップＳ３０６〜ステップＳ３０８の処理を行わずにステップＳ３０９〜ステップＳ３１０の処理を実行することもできる。

このように、複数のＩＣＡ信号の中から心拍信号を特定することによって画像から心拍数だけでなく、心拍変動も検出することが可能になる。例えば、開示の装置は、心拍信号から心拍間隔、いわゆるＲＲＩ（R-R Interval）の周期的な変動を「心拍変動」または「心拍ゆらぎ」として検出できる。これによって、画像から被験者をモニタリングできる内容をさらに拡充することが可能になる。

［呼吸数の検出］
また、上記の実施例１では、バイタルサインの一例として心拍数を検出する場合を例示したが、検出可能なバイタルサインは心拍数に限定されず、他のバイタルサイン、例えば呼吸数を検出することも可能である。

例えば、開示の装置は、被験者の胸や腹の一部が映った原画像または部分画像から呼吸数を検出できる。すなわち、開示の装置は、人の呼吸数が採り得る値として想定される周波数の区間、例えば下限値１０回／分及び上限値６０回／分に対応する周波数の区間で複合スペクトルの最大のピークから被験者の心拍数を検出する。

図１４は、呼吸数の検出結果の一例を示す図である。図１４には、周波数の区間を０．１６Ｈｚ〜１．０Ｈｚ、すなわち１０回／分から上限値６０回／分までの区間を対象に複合スペクトルの最大ピークから呼吸数を検出した場合の検出結果と、ゴム様バンドの伸縮を利用して測定された呼吸数の測定結果とが図示されている。後述の呼吸数の測定結果をリファレンスとしたとき、図１４に示すように、被験者の胸が映った画像から検出された呼吸数は、リファレンスに対して一定の精度で追従していることが確認できる。なお、呼吸数を検出する場合には、必ずしも被験者の胸や腹の肌が画像に映っている必要はなく、被験者が衣服等を装着した状態で撮影された画像からでも呼吸数を検出することができる。

［ＩＣＡを適用する入力信号］
上記の実施例１では、入力信号としてＲＧＢの三種類を例示したが、ＩＲなど異なる波長成分を入力信号としても良い。また、入力信号として、異なる測定部位の信号、例えばＧ成分を用いるなど、その他の組み合わせや４種以上の入力信号であっても良い。

例えば、開示の装置は、取得部１２によって取得された原画像または抽出部１３によって抽出された部分画像に含まれる異なる部位の成分に対して独立成分分析を適用することもできる。図１５は、ＩＣＡを適用する入力信号の応用例を示す図である。図１５に示すように、開示の装置は、取得部１２によって取得された原画像のうち被験者の右頬が映ったブロック画像ｂ１、被験者の鼻が映ったブロック画像ｂ２および被験者の左頬が映ったブロック画像ｂ３を抽出する。そして、開示の装置は、原画像のフレームからブロック画像ｂ１〜ｂ３が抽出される度に、ブロック画像ｂ１〜ｂ３のＧ成分を対象に各画素の画素値の平均値を算出する。続いて、開示の装置は、ブロック画像ｂ１〜ｂ３の平均値が所定の時間、例えば１秒間や１分間などにわたって時系列にサンプリングされると、サンプリングされたブロック画像ｂ１〜ｂ３の３つのＧ成分の信号ｇ１、ｇ２及びｇ３にＩＣＡを適用する。これによって、上記の実施例１のように必ずしもＲＧＢの３つの成分を用いずとも、複数のＩＣＡ信号を得ることが出来る。

このようにして被験者の顔が映った原画像のうち被験者の右頬、鼻および左頬が映ったブロック画像ｂ１〜ｂ３のＧ信号ｇ１〜ｇ３を抽出し、これらのＧ信号ｇ１〜ｇ３を入力信号としてＩＣＡを適用することもできる。これによって、１つのフレームに含まれる異なる部位のブロック画像から複数のＩＣＡ信号を得ることができる結果、一部の部位に体動が含まれていたとしても他の部位から算出されたＩＣＡ信号によってその影響を緩和して心拍数等のバイタルサインを検出できる。なお、ここでは、右頬、鼻および左頬の３つの部位のＧ信号を抽出する場合を例示したが、抽出する部位は２つまたは４つ以上であってもかまわない。

［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

例えば、上記の実施例１では、サーバ装置１０が画像から検出した心拍数をクライアント端末３０へ提供するクライアントサーバシステムを例示したが、サーバ装置１０が有する取得部１２、抽出部１３、適用部１４、変換部１５、演算部１６、検出部１７及び出力部１８などの機能部に対応する処理を実行するバイタルサイン検出プログラムをクライアント端末３０で実行させることによってクライアント端末３０をスタンドアローンで動作させることも可能である。また、取得部１２、抽出部１３、適用部１４、変換部１５、演算部１６、検出部１７及び出力部１８のうち一部の機能部をサーバ装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。例えば、ＩＣＡやＤＦＴなどの演算は処理負荷が高いので、クライアントサーバ間でスペックが高いサーバ装置１０によって処理させる観点から、取得部１２および抽出部１３をクライアント端末３０に実装させ、適用部１４、変換部１５、演算部１６、検出部１７および出力部１８をサーバ装置１０に実装させることもできる。また、取得部１２、抽出部１３、適用部１４、変換部１５、演算部１６、検出部１７及び出力部１８のうち一部の機能部を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のサーバ装置１０の機能を実現するようにしてもよい。

［バイタルサイン検出プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１６を用いて、上記の実施例と同様の機能を有するバイタルサイン検出プログラムを実行するコンピュータの一例について説明する。

図１６は、実施例１及び実施例２に係るバイタルサイン検出プログラムを実行するコンピュータの一例について説明するための図である。図１６に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。

ＨＤＤ１７０には、図１６に示すように、上記の実施例１で示した取得部１２、抽出部１３、適用部１４、変換部１５、演算部１６、検出部１７及び出力部１８と同様の機能を発揮するバイタルサイン検出プログラム１７０ａが予め記憶される。このバイタルサイン検出プログラム１７０ａについては、図１に示した各々の取得部１２、抽出部１３、適用部１４、変換部１５、演算部１６、検出部１７及び出力部１８の各構成要素と同様、適宜統合又は分離しても良い。すなわち、ＨＤＤ１７０に格納される各データは、常に全てのデータがＨＤＤ１７０に格納される必要はなく、処理に必要なデータのみがＨＤＤ１７０に格納されれば良い。

そして、ＣＰＵ１５０が、バイタルサイン検出プログラム１７０ａをＨＤＤ１７０から読み出してＲＡＭ１８０に展開する。これによって、図１６に示すように、バイタルサイン検出プログラム１７０ａは、バイタルサイン検出プロセス１８０ａとして機能する。このバイタルサイン検出プロセス１８０ａは、ＨＤＤ１７０から読み出した各種データを適宜ＲＡＭ１８０上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、バイタルサイン検出プロセス１８０ａは、図１に示した取得部１２、抽出部１３、適用部１４、変換部１５、演算部１６、検出部１７及び出力部１８にて実行される処理、例えば図６や図１３に示す処理を含む。また、ＣＰＵ１５０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１５０上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。

なお、上記のバイタルサイン検出プログラム１７０ａについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておく必要はない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。

１０ サーバ装置
１１ 通信Ｉ／Ｆ部
１２ 取得部
１３ 抽出部
１４ 適用部
１５ 変換部
１６ 演算部
１７ 検出部
１８ 出力部
３０ クライアント端末
３１ 通信Ｉ／Ｆ部
３２ カメラ
３３ 表示部

Claims (8)

1. コンピュータが、
   撮影装置によって被験者が撮影された画像を取得し、
   前記画像に含まれる複数の光波長成分の信号に対して独立成分分析を適用し、
   前記独立成分分析の適用によって得られた複数の独立成分信号を周波数成分へ変換し、
   各独立成分信号に周波数成分へ変換されたスペクトルに対し、各独立成分信号のスペクトルを複合する演算を実行し、
   前記演算によって得られた複合スペクトルのピークに基づいて前記被験者のバイタルサインを検出する
   処理を実行することを特徴とするバイタルサイン検出方法。
2. 前記演算を実行する処理として、
   各独立成分信号のスペクトルを積算する処理を実行することを特徴とする請求項１に記載のバイタルサイン検出方法。
3. 前記演算を実行する処理として、
   各独立成分信号のスペクトルを加算平均する処理を実行することを特徴とする請求項１に記載のバイタルサイン検出方法。
4. 前記コンピュータが、
   各独立成分信号ごとに周波数成分へ変換されたスペクトルのピークと、前記演算によって得られた複合スペクトルのピークとを比較することによって各独立成分信号の中から前記被験者の心拍が情報源である信号を特定する処理をさらに実行することを特徴とする請求項１に記載のバイタルサイン検出方法。
5. 前記画像は、前記被験者の顔を含む画像であって、
   前記コンピュータが、
   前記画像から所定の顔パーツを基準とする部分画像を抽出する処理をさらに実行し、
   前記独立成分分析を適用する処理として、
   前記部分画像に含まれる各光波長成分の信号ごとに前記独立成分分析を適用する処理を実行することを特徴とする請求項１に記載のバイタルサイン検出方法。
6. 前記複数の光波長成分の信号として、
   画像の異なる部位の成分に対して独立成分分析を適用することを特徴とする請求項１に記載のバイタルサイン検出方法。
7. 撮影装置によって被験者が撮影された画像を取得する取得部と、
   前記画像に含まれる複数の光波長成分の信号に対して独立成分分析を適用する適用部と、
   前記独立成分分析の適用によって得られた複数の独立成分信号を周波数成分へ変換する変換部と、
   各独立成分信号ごとに周波数成分へ変換されたスペクトルに対し、各独立成分信号のスペクトルを複合する演算を実行する演算部と、
   前記演算によって得られた複合スペクトルのピークに基づいて前記被験者のバイタルサインを検出する検出部と
   を有することを特徴とするバイタルサイン検出装置。
8. コンピュータに、
   撮影装置によって被験者が撮影された画像を取得し、
   前記画像に含まれる複数の光波長成分の信号に対し独立成分分析を適用し、
   前記独立成分分析の適用によって得られた複数の独立成分信号を周波数成分へ変換し、
   各独立成分信号ごとに周波数成分へ変換されたスペクトルに対し、各独立成分信号のスペクトルを複合する演算を実行し、
   前記演算によって得られた複合スペクトルのピークに基づいて前記被験者のバイタルサインを検出する
   処理を実行させることを特徴とするバイタルサイン検出プログラム。

Images