JP6256488B2 - 信号処理装置、信号処理方法及び信号処理プログラム - Google Patents

信号処理装置、信号処理方法及び信号処理プログラム Download PDF

Info

Publication number
JP6256488B2
JP6256488B2 JP2015562625A JP2015562625A JP6256488B2 JP 6256488 B2 JP6256488 B2 JP 6256488B2 JP 2015562625 A JP2015562625 A JP 2015562625A JP 2015562625 A JP2015562625 A JP 2015562625A JP 6256488 B2 JP6256488 B2 JP 6256488B2
Authority
JP
Japan
Prior art keywords
signal
pulse wave
unit
image
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015562625A
Other languages
English (en)
Other versions
JPWO2015121949A1 (ja
Inventor
中田　康之
康之 中田
明大 猪又
明大 猪又
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2015121949A1 publication Critical patent/JPWO2015121949A1/ja
Application granted granted Critical
Publication of JP6256488B2 publication Critical patent/JP6256488B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427—Details of sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G06F2218/16—Classification; Matching by matching signal segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104—Vascular flow; Blood flow; Perfusion

Description

本発明は、信号処理装置、信号処理方法及び信号処理プログラムに関する。
血液の体積の変動、いわゆる脈波を検出する技術の一例として、次に挙げる生体状態検出装置や脈拍計が提案されている。
このうち、生体状態検出装置は、人体の腕などに装着される脈波センサに設けられた緑色ＬＥＤ（Light Emitting Diode）と赤外ＬＥＤを交互に発光させることによって緑色光及び赤外光に関する反射光の信号を検出する。そして、生体状態検出装置は、緑色光及び赤外光ごとに得られた検出信号に周波数解析を実行する。その上で、生体状態検出装置は、緑色光に対する周波数解析結果には有って、赤外光に対する周波数解析結果に無い周波数を抽出し、抽出したピークの周波数を脈拍数に換算する。
また、脈拍計は、複数段階のパルス幅評価範囲に基づいて、対象パルス幅Ｐｘを評価し、その結果に基づいて基準パルス幅Ｐを更新、基準パルス幅Ｐを不更新、一拍分のパルスデータを補完、対象パルス幅Ｐｘデータを破棄するといった処理操作を実行する。これによって、脈拍のパルス幅の正規な信号と認められる信号を抽出して後段に伝達することを目指す。
特開２０１２−１７０７０３号公報 特開平５−１８４５４８号公報 特開２００４−２６１３９０号公報 特開２００４−２６１３６６号公報 特開２００２−１０２１８５号公報
しかしながら、上記の技術では、脈波の検出結果の出力制御を適切に実行できない場合がある。
すなわち、上記の生体状態検出装置では、脈波に対応する成分が抽出できないレベルのノイズが信号に重畳することによってノイズ除去が機能しない場合にも、脈拍数の算出が継続されるので、異常な脈拍数が表示されてしまうおそれがある。また、上記の脈拍計では、基準パルス幅Ｐと類似する対象パルス幅Ｐｘを持つノイズが信号に重畳する場合に、信号が破棄されずに後段にそのまま伝達されてしまうことがある。
１つの側面では、本発明は、脈波の検出結果の出力制御を適切に実行できる信号処理装置、信号処理方法及び信号処理プログラムを提供することを目的とする。
一態様の信号処理装置は、画像を取得する取得部と、前記画像に含まれる生体領域を抽出する抽出部と、前記画像のうち前記生体領域に対応する部分画像が持つ画素値の時系列データから信号を生成する生成部と、前記信号が含む脈波の乱れの度合いを評価する変動指標を算出する算出部と、前記変動指標を用いて、前記信号を出力するか否かを制御する出力制御部とを有する。
脈波の検出結果の出力制御を適切に実行できる。
図１は、実施例１に係る脈波検出装置の機能的構成を示すブロック図である。 図２は、Ｇ信号およびＲ信号の各信号のスペクトルの一例を示す図である。 図３は、Ｇ成分および補正係数ｋが乗算されたＲ成分の各信号のスペクトルの一例を示す図である。 図４は、演算後のスペクトルの一例を示す図である。 図５は、図１に示した生成部の機能的構成を示すブロック図である。 図６は、脈波信号のスペクトルの一例を示す図である。 図７は、脈波信号のスペクトルの一例を示す図である。 図８は、脈波信号の波形の一例を示す図である。 図９は、脈波信号の波形の一例を示す図である。 図１０は、脈波信号の波形の一例を示す図である。 図１１は、実施例１に係る信号処理の手順を示すフローチャートである。 図１２は、実施例２に係る判定モデル生成装置の機能的構成を示すブロック図である。 図１３は、判定モデルの一例を示す図である。 図１４は、隣接極値差バラツキ及びピーク比率によるクラス分け結果の一例を示す図である。 図１５は、スペクトル分布の面積及びピーク比率によるクラス分け結果の一例を示す図である。 図１６は、実施例２に係る判定モデルの設定処理の手順を示すフローチャートである。 図１７は、実施例１〜実施例３に係る信号処理プログラムを実行するコンピュータの一例について説明するための図である。
以下に添付図面を参照して本願に係る信号処理装置、信号処理方法及び信号処理プログラムについて説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
［脈波検出装置の構成］
まず、本実施例に係る脈波検出装置の機能的構成について説明する。図１は、実施例１に係る脈波検出装置の機能的構成を示すブロック図である。図１に示す脈波検出装置１０は、太陽光や室内光などの一般の環境光の下で被験者に計測器具を接触させずに、被験者の生体が撮影された画像を用いて被験者の脈波、すなわち心臓の拍動に伴う血液の体積の変動を検出する脈波検出処理を実行するものである。かかる脈波検出処理の一環として、脈波検出装置１０は、生体が撮影された画像から生成された脈波信号の良否を判定し、不良の脈波信号の出力を抑制する信号処理を実行する。
かかる脈波検出装置１０は、一態様として、上記の信号処理がパッケージソフトウェアやオンラインソフトウェアとして提供される信号処理プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、スマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末のみならず、移動体通信網に接続する能力を持たないデジタルカメラ、タブレット端末やスレート端末を含む携帯端末装置に上記の信号処理プログラムをインストールさせる。これによって、携帯端末装置を脈波検出装置１０として機能させることができる。なお、ここでは、脈波検出装置１０の実装例として携帯端末装置を例示したが、パーソナルコンピュータを始めとする据置き型の端末装置に信号処理プログラムをインストールさせることもできる。
図１に示すように、脈波検出装置１０は、カメラ１１と、タッチパネル１３と、通信部１５と、信号処理部１７とを有する。
図１に示す脈波検出装置１０は、図１に示した機能部以外にも既知のコンピュータが有する各種の機能部を有することとしてもかまわない。例えば、脈波検出装置１０がタブレット端末やスレート端末として実装される場合には、加速度センサや角速度センサなどのモーションセンサをさらに有することとしてもよい。また、脈波検出装置１０が移動体通信端末として実装される場合には、アンテナ、ＧＰＳ（Global Positioning System）受信機などの機能部をさらに有していてもかまわない。なお、図１には、一例として、脈波検出装置１０が携帯端末装置として実装される場合の機能部が例示されているが、脈波検出装置１０を据置き端末として実装することができるのは言うまでもない。例えば、脈波検出装置１０が据置き端末として実装される場合には、キーボード、マウスやディスプレイなどの入出力デバイスを有することとしてもよい。
カメラ１１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を搭載する撮像装置である。例えば、カメラ１１には、Ｒ（red）、Ｇ（green）、Ｂ（blue）など３種以上の受光素子を搭載することができる。かかるカメラ１１の実装例としては、デジタルカメラやＷｅｂカメラを外部端子を介して接続することとしてもよい。また、他の実装例としては、インカメラやアウトカメラのように、カメラが出荷時から搭載されている場合にはそのカメラを使用できる。なお、ここでは、脈波検出装置１０がカメラ１１を有する場合を例示したが、ネットワークまたは記憶デバイスを経由して画像を取得できる場合には、必ずしも脈波検出装置１０がカメラ１１を有さずともかまわない。
例えば、カメラ１１は、一例として、横３２０画素×縦２４０画素の矩形の画像を撮像することができる。例えば、グレースケールの場合、各画素は、明るさの階調値（輝度）で与えられる。例えば、整数ｉ，ｊで示される座標（ｉ，ｊ）の画素の輝度（Ｌ）の階調値は、８ｂｉｔのディジタル値Ｌ（ｉ，ｊ）などで与えられる。また、カラー画像の場合、各画素は、Ｒ成分、Ｇ成分およびＢ成分の階調値で与えられる。例えば、整数ｉ，ｊで示される座標（ｉ，ｊ）の画素のＲ、Ｇ、Ｂの階調値は、それぞれディジタル値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ）などで与えられる。なお、ＲＧＢの組み合わせ、あるいはＲＧＢ値を変換して求まる他の表色系（ＨＳＶ表色系やＹＵＶ表色系）を使用してもかまわない。
タッチパネル１３は、表示可能かつ入力可能なデバイスである。一態様としては、タッチパネル１３は、脈波検出装置１０上で実行される信号処理プログラムを始め、ＯＳ（Operating System）やアプリケーションプログラムによって出力される画像を表示する。他の一態様としては、タッチパネル１３は、画面のスクリーン上でなされるタップ、フリック、スイープ、ピンチインやピンチアウトなどのタッチ操作を受け付ける。なお、ここでは、脈波検出装置１０に対する指示入力を行う入力デバイスとしてタッチパネル１３を例示したが、これに限らず、タッチパネル１３との間で相補的な入力を実現する物理キーなどをさらに有していてもよい。
ここで、上記の信号処理プログラムが起動された場合には、タッチパネル１３による画像表示や図示しないスピーカからの音声出力などを通じて、脈波を検出し易い被験者の画像がカメラ１１によって撮像されるように画像の撮影操作を案内することができる。例えば、信号処理プログラムは、タッチパネル１３を介して起動されると、カメラ１１を起動する。これを受けて、カメラ１１は、カメラ１１の撮影範囲に収容された被写体の撮影を開始する。このとき、被験者の顔が映る画像を撮影させる場合には、信号処理プログラムは、カメラ１１が撮影する画像をタッチパネル１３に表示しつつ、被験者の鼻を映す目標位置を照準として表示させることもできる。これによって、被験者の眼、耳、鼻や口などの顔パーツの中でも被験者の鼻が撮影範囲の中心部分に収まった画像が撮影できるようにする。そして、信号処理プログラムは、カメラ１１によって被験者の顔が撮影された画像を信号処理部１７へ出力する。また、上記のガイダンスは、必ずしも実行されずともよく、被験者がタッチパネル１３のスクリーンに表示された画面、例えばオペレーティングシステムやアプリケーションプログラムが出力する画像や動画などを閲覧している最中に当該被験者の顔を撮影することもできる。これによって、被験者に撮影を意識させずにバックグラウンドで撮影させることもできる。
通信部１５は、図示しない他の装置との間で通信制御を行うインタフェースである。かかる通信部１５の一態様としては、ネットワークインタフェースカード、いわゆるＮＩＣ（Network Interface Card）を採用できる。例えば、通信部１５は、上記の信号処理によって出力された脈波、例えば脈拍数や脈波波形を図示しないサーバ装置へ送信したり、サーバ装置によって脈拍数や脈波波形をもとに診断された診断結果等を受信したりする。
信号処理部１７は、上記の信号処理を実行する処理部である。かかる信号処理部１７は、図１に示すように、取得部１７ａと、抽出部１７ｂと、統計部１７ｃと、生成部１７ｄと、検出部１７ｅと、算出部１７ｆと、出力制御部１７ｇとを有する。
このうち、取得部１７ａは、画像を取得する処理部である。一態様としては、取得部１７ａは、カメラ１１によって撮像された画像を取得することができる。他の一態様としては、取得部１７ａは、画像を蓄積するハードディスクや光ディスクなどの補助記憶装置またはメモリカードやＵＳＢ（Universal Serial Bus）メモリなどのリムーバブルメディアから画像を取得することもできる。更なる一態様としては、取得部１７ａは、外部装置からネットワークを介して受信することによって画像を取得することもできる。なお、取得部１７ａは、ＣＣＤやＣＭＯＳなどの撮像素子による出力から得られる２次元のビットマップデータやベクタデータなどの画像を用いて処理を実行する場合を例示したが、１つのディテクタから出力される信号をそのまま取得して後段の処理を実行させることとしてもよい。
抽出部１７ｂは、画像から生体領域を抽出する処理部である。一態様としては、取得部１７ａによって取得された画像から所定の顔パーツを基準とする顔領域を抽出する。例えば、抽出部１７ｂは、画像にテンプレートマッチング等の顔認識を実行することによって被験者の眼、耳、鼻や口などの顔の器官、いわゆる顔パーツのうち特定の顔パーツ、すなわち被験者の鼻を検出する。その上で、抽出部１７ｂは、被験者の鼻を中心とし、中心から所定の範囲に含まれる顔領域を抽出する。これによって、被験者の鼻、鼻の周辺に位置する頬の一部の顔中心部分を含んだ顔領域の部分画像が脈波の検出に使用する大枠の画像として抽出される。その後、抽出部１７ｂは、画像から抽出された顔領域に対応する部分画像を統計部１７ｃへ出力する。なお、ここでは、生体領域の一例として、顔領域を抽出する場合を例示したが、必ずしも部位が顔でなくともよく、肌が映った領域であれば如何なる部位であってもかまわない。
統計部１７ｃは、生体領域に対応する部分画像の各画素が持つ画素値に所定の統計処理を実行する処理部である。一態様としては、統計部１７ｃは、顔領域に対応する部分画像の各画素が持つ輝度値をＲＧＢの各波長成分ごとに平均する。この他、平均値以外にも、中央値や最頻値を計算することとしてもよく、また、相加平均以外にも任意の平均処理、例えば加重平均や移動平均などを実行することもできる。これによって、顔領域に対応する部分画像の各画素が持つ輝度の平均値が当該顔領域を代表する代表値としてＲＧＢ成分ごとに算出されることになる。
生成部１７ｄは、生体領域に対応する部分画像の波長成分別の代表値の信号から、脈波に対応する周波数成分の信号を生成する処理部である。一態様としては、生成部１７ｄは、下記の信号生成処理を実行することによって、顔領域に対応する部分画像の波長成分別の代表値の信号から複数の波長成分の間で脈波が採り得る脈波周波数帯以外の特定周波数帯の成分が互いに相殺された脈波信号を生成する。以下では、信号生成処理によってノイズが相殺された信号のことを「脈波信号」と記載する場合がある。例えば、生成部１７ｄは、３つの波長成分、すなわちＲ成分、Ｇ成分およびＢ成分のうち血液の吸光特性が異なるＲ成分とＧ成分の２つの波長成分の代表値の時系列データを用いて、脈波信号を検出する。
これを具体的に説明すると、顔表面には、毛細血管が流れており、心拍により血管に流れる血流が変化すると、血流で吸収される光量も心拍に応じて変化するため、顔からの反射によって得られる輝度も心拍に伴って変化する。かかる輝度の変化量は小さいが、顔領域全体の平均輝度を求めると、輝度の時系列データには脈波成分が含まれる。ところが、輝度は、脈波以外に体動等によっても変化し、これが、脈波検出のノイズ成分、いわゆる体動アーチファクトとなる。そこで、血液の吸光特性の異なる２種類以上の波長、例えば吸光特性が高いＧ成分（５２５ｎｍ程度）、吸光特性が低いＲ成分（７００ｎｍ程度）で脈波を検出する。心拍は、０．５Ｈｚ〜４Ｈｚ、１分あたりに換算すれば３０ｂｐｍ〜２４０ｂｐｍの範囲であるので、それ以外の成分はノイズ成分とみなすことができる。ノイズには、波長特性は無い、あるいはあっても極小であると仮定すると、Ｇ信号およびＲ信号の間で０．５Ｈｚ〜４Ｈｚ以外の成分は等しいはずであるが、カメラの感度差により大きさが異なる。それゆえ、０．５Ｈｚ〜４Ｈｚ以外の成分の感度差を補正して、Ｇ成分からＲ成分を減算すれば、ノイズ成分は除去されて脈波成分のみを取り出すことができる。
例えば、Ｇ成分及びＲ成分は、下記の式（１）および下記の式（２）によって表すことができる。下記の式（１）における「Ｇｓ」は、Ｇ信号の脈波成分を指し、「Ｇｎ」は、Ｇ信号のノイズ成分を指し、また、下記の式（２）における「Ｒｓ」は、Ｒ信号の脈波成分を指し、「Ｒｎ」は、Ｒ信号のノイズ成分を指す。また、ノイズ成分は、Ｇ成分およびＲ成分の間で感度差があるので、感度差の補正係数ｋは、下記の式（３）によって表される。
Ｇａ＝Ｇｓ＋Ｇｎ・・・（１）
Ｒａ＝Ｒｓ＋Ｒｎ・・・（２）
ｋ＝Ｇｎ／Ｒｎ・・・（３）
感度差を補正してＧ成分からＲ成分を減算すると、脈波成分Ｓは、下記の式（４）となる。これを上記の式（１）及び上記の式（２）を用いて、Ｇｓ、Ｇｎ、Ｒｓ及びＲｎによって表される式へ変形すると、下記の式（５）となり、さらに、上記の式（３）を用いて、ｋを消し、式を整理すると下記の式（６）が導出される。
Ｓ＝Ｇａ−ｋＲａ・・・（４）
Ｓ＝Ｇｓ＋Ｇｎ−ｋ（Ｒｓ＋Ｒｎ）・・・（５）
Ｓ＝Ｇｓ−（Ｇｎ／Ｒｎ）Ｒｓ・・・（６）
ここで、Ｇ信号およびＲ信号は、吸光特性が異なり、Ｇｓ＞（Ｇｎ／Ｒｎ）Ｒｓである。したがって、上記の式（６）によってノイズが除去された脈波成分Ｓを算出することができる。
図２は、Ｇ信号およびＲ信号の各信号のスペクトルの一例を示す図である。図２に示すグラフの縦軸は、信号強度を指し、また、横軸は、周波数（ｂｐｍ）を指す。図２に示すように、Ｇ成分およびＲ成分は、撮像素子の感度が異なるので、両者の信号強度はそれぞれ異なる。その一方、Ｒ成分およびＧ成分は、いずれにおいても３０ｂｐｍ〜２４０ｂｐｍの範囲外、特に３ｂｐｍ以上２０ｂｐｍ未満の特定周波数帯でノイズが現れることには変わりはない。このため、図２に示すように、３ｂｐｍ以上２０ｂｐｍ未満の特定周波数帯に含まれる指定の周波数Ｆｎに対応する信号強度をＧｎ及びＲｎとして抽出できる。これらＧｎ及びＲｎによって感度差の補正係数ｋを導出できる。
図３は、Ｇ成分および補正係数ｋが乗算されたＲ成分の各信号のスペクトルの一例を示す図である。図３の例では、補正係数の絶対値を乗算した結果が図示されている。図３に示すグラフにおいても、縦軸は、信号強度を指し、また、横軸は、周波数（ｂｐｍ）を指す。図３に示すように、Ｒ信号のスペクトルに補正係数ｋが乗算された場合には、Ｇ成分およびＲ成分の各成分の間で感度が揃う。特に、特定周波数帯におけるスペクトルの信号強度は、大部分においてスペクトルの信号強度が略同一になっている。その一方で、実際に脈波が含まれる周波数の周辺領域４００は、Ｇ成分およびＲ成分の各成分の間でスペクトルの信号強度が揃っていない。
図４は、演算後のスペクトルの一例を示す図である。図４では、説明の便宜上、脈波が現れている周波数帯の視認性を上げる観点から縦軸である信号強度の尺度を大きくして図示している。図４に示すように、Ｇ信号のスペクトルから補正係数ｋの乗算後のＲ信号のスペクトルが差し引かれた場合には、Ｇ成分およびＲ成分の間での吸光特性の差によって脈波が現れる信号成分の強度が可及的に維持された状態でノイズ成分が低減されていることがわかる。このようにしてノイズ成分だけが除去された脈波信号の波形を検出することができる。
続いて、生成部１７ｄの機能的構成についてさらに具体的に説明する。図５は、図１に示した生成部１７ｄの機能的構成を示すブロック図である。図５に示すように、生成部１７ｄは、ＢＰＦ（Band-Pass Filter）１７２Ｒ及び１７２Ｇと、抽出部１７３Ｒ及び１７３Ｇと、ＬＰＦ（Low-Pass Filter）１７４Ｒ及び１７４Ｇと、算出部１７５と、ＢＰＦ１７６Ｒ及び１７６Ｇと、乗算部１７７と、演算部１７８とを有する。なお、図２〜図４の例では、周波数領域にて脈波を検出する例を説明したが、図５では、周波数成分への変換にかかる時間を削減する観点から、時間領域にてノイズ成分をキャンセルして脈波を検出する場合の機能的構成を図示している。
例えば、統計部１７ｃから生成部１７ｄへは、生体領域に対応する部分画像のＲ成分の代表値の時系列データがＲ信号として入力されるとともに、生体領域に対応する部分画像のＧ成分の代表値の時系列データがＧ信号として入力される。このうち、Ｒ信号は、生成部１７ｄ内のＢＰＦ１７２Ｒ及びＢＰＦ１７６Ｒへ入力されるとともに、Ｇ信号は、生成部１７ｄ内のＢＰＦ１７２Ｇ及びＢＰＦ１７６Ｇへ入力される。
ＢＰＦ１７２Ｒ、ＢＰＦ１７２Ｇ、ＢＰＦ１７６Ｒ及びＢＰＦ１７６Ｇは、いずれも所定の周波数帯の信号成分だけを通過させてそれ以外の周波数帯の信号成分を除去するバンドパスフィルタである。これらＢＰＦ１７２Ｒ、ＢＰＦ１７２Ｇ、ＢＰＦ１７６Ｒ及びＢＰＦ１７６Ｇは、ハードウェアによって実装されることとしてもよいし、ソフトウェアによって実装されることとしてもよい。
これらＢＰＦが通過させる周波数帯の違いについて説明する。ＢＰＦ１７２Ｒ及びＢＰＦ１７２Ｇは、ノイズ成分が他の周波数帯よりも顕著に現れる特定周波数帯の信号成分を通過させる。
かかる特定周波数帯は、脈波が採り得る周波数帯との間で比較することによって定めることができる。脈波が採り得る周波数帯の一例としては、０．５Ｈｚ以上４Ｈｚ以下である周波数帯、１分あたりに換算すれば３０ｂｐｍ以上２４０ｂｐｍ以下である周波数帯が挙げられる。このことから、特定周波数帯の一例としては、脈波として計測され得ない０．５Ｈｚ未満及び４Ｈｚ超過の周波数帯を採用することができる。また、特定周波数帯は、脈波が採り得る周波数帯との間でその一部が重複することとしてもよい。例えば、脈波として計測されることが想定しづらい０．７Ｈｚ〜１Ｈｚの区間で脈波が採り得る周波数帯と重複することを許容し、１Ｈｚ未満及び４Ｈｚ以上の周波数帯を特定周波数帯として採用することもできる。また、特定周波数帯は、１Ｈｚ未満及び４Ｈｚ以上の周波数帯を外縁とし、ノイズがより顕著に現れる周波数帯に絞ることもできる。例えば、ノイズは、脈波が採り得る周波数帯よりも高い高周波数帯よりも、脈波が採り得る周波数帯よりも低い低周波数帯でより顕著に現れる。このため、１Ｈｚ未満の周波数帯に特定周波数帯を絞ることもできる。また、空間周波数がゼロである直流成分の近傍には、各成分の撮像素子の感度の差が多く含まれるので、０．０５Ｈｚ以上１Ｈｚ未満の周波数帯に特定周波数帯を絞ることもできる。さらに、人の体の動き、例えば瞬きや体の揺れの他、環境光のチラツキなどのノイズが現れやすい０．０５Ｈｚ以上０．３Ｈｚ以下の周波数帯に特定周波数帯を絞ることもできる。
ここでは、一例として、ＢＰＦ１７２Ｒ及びＢＰＦ１７２Ｇが特定周波数帯として０．０５Ｈｚ以上０．３Ｈｚ以下の周波数帯の信号成分を通過させる場合を想定して以下の説明を行う。なお、ここでは、特定周波数帯の信号成分を抽出するために、バンドパスフィルタを用いる場合を例示したが、一定の周波数未満の周波数帯の信号成分を抽出する場合などには、ローパスフィルタを用いることもできる。
一方、ＢＰＦ１７６Ｒ及びＢＰＦ１７６Ｇは、脈波が採り得る周波数帯、例えば０．５Ｈｚ以上４Ｈｚ以下の周波数帯の信号成分を通過させる。なお、以下では、脈波が採り得る周波数帯のことを「脈波周波数帯」と記載する場合がある。
抽出部１７３Ｒは、Ｒ信号の特定周波数帯の信号成分の絶対強度値を抽出する。例えば、抽出部１７３Ｒは、Ｒ成分の特定周波数帯の信号成分に絶対値演算処理を実行することによって特定周波数帯の信号成分の絶対強度値を抽出する。また、抽出部１７３Ｇは、Ｇ信号の特定周波数帯の信号成分の絶対強度値を抽出する。例えば、抽出部１７３Ｇは、Ｇ成分の特定周波数帯の信号成分に絶対値演算処処理を実行することによって特定周波数帯の信号成分の絶対強度値を抽出する。
ＬＰＦ１７４Ｒ及びＬＰＦ１７４Ｇは、特定周波数帯の絶対強度値の時系列データに対し、時間変化に応答させる平滑化処理を実行するローパスフィルタである。例えば、０．１Ｈｚ以下の周波数帯の信号成分を通過させる。これらＬＰＦ１７４Ｒ及びＬＰＦ１７４Ｇは、ＬＰＦ１７４Ｒへ入力される信号がＲ信号であり、ＬＰＦ１７４Ｇへ入力される信号がＧ信号である以外に違いはない。かかる平滑化処理によって、特定周波数帯の絶対値強度Ｒ´ｎ及びＧ´ｎが得られる。
算出部１７５は、ＬＰＦ１７４Ｇによって出力されたＧ信号の特定周波数帯の絶対値強度Ｇ´ｎを、ＬＰＦ１７４Ｒによって出力されたＲ信号の特定周波数帯の絶対値強度Ｒ´ｎで除する除算「Ｇ´ｎ／Ｒ´ｎ」を実行する。これによって、感度差の補正係数ｋを算出する。
乗算部１７７は、ＢＰＦ１７６Ｒによって出力されたＲ信号の脈波周波数帯の信号成分に算出部１７５によって算出された補正係数ｋを乗算する。
演算部１７８は、ＢＰＦ１７６Ｇによって出力されたＧ信号の脈波周波数帯の信号成分から、乗算部１７７によって補正係数ｋが乗算されたＲ信号の脈波周波数帯の信号成分を差し引く演算「Ｇｓ−ｋ＊Ｒｓ」を実行する。このようにして得られた信号は、顔の脈波信号に相当し、そのサンプリング周波数は画像が撮像されるフレーム周波数に対応する。
検出部１７ｅは、生成部１７ｄによって生成された脈波信号から脈波を検出する処理部である。一態様としては、検出部１７ｅは、生成部１７ｄによって生成された脈波信号の波形をそのまま脈波波形として出力することができる。他の一態様としては、検出部１７ｅは、生成部１７ｄによって生成された脈波信号から脈拍数を検出することができる。例えば、脈拍数の検出方法の一例として、検出部１７ｅは、所定の時間長の脈波信号を周波数領域へ変換することによって脈波信号のスペクトルから脈拍数を検出することができる。この場合には、脈波信号のスペクトルの脈波周波数帯、すなわち０．５Ｈｚ以上４Ｈｚ以下の中でピークをとる周波数を脈拍数として検出できる。また、脈拍数の検出方法の他の一例として、検出部１７ｅは、生成部１７ｄによって脈波信号が生成される度に、脈波信号の波形にピーク検出、例えば微分波形のゼロクロス点の検出などを実行することによって脈拍数を算出することもできる。このとき、検出部１７ｅは、ピーク検出によって脈波信号の波形のピークが検出された場合に、当該ピーク、すなわち極大点が検出されたサンプリング時間を図示しない内部メモリに保存する。その上で、検出部１７ｅは、ピークが出現した時点で、所定のパラメータｎ個前の極大点との時刻差を求め、それをｎで除算することによって脈拍数を検出することができる。
算出部１７ｆは、生成部１７ｄによって生成された脈波信号が含む脈波の乱れの度合いを評価する変動指標を算出する処理部である。一態様としては、算出部１７ｆは、次に挙げる（１）〜（５）の５つの変動指標を算出する。例えば、算出部１７ｆは、脈波信号の周波数領域における変動指標として、（１）ピーク比率、（２）スペクトル分布の面積を算出する。また、算出部１７ｆは、脈波信号の時間領域における変動指標として、（３）時間間隔バラツキ、（４）隣接極値差バラツキ、（５）相関係数を算出する。なお、以下では、上記の（１）〜（５）の変動指標の算出方法について順番に説明する。
（１）ピーク比率
例えば、算出部１７ｆは、上記のピーク比率の一例として、脈波信号のスペクトルに含まれるピークのうち第１のピークと第２のピークとの比を用いることができる。
具体的には、算出部１７ｆは、脈波信号を周波数領域へ変換する。このとき、算出部１７ｆは、任意の変換手法を用いることができる。例えば、算出部１７ｆは、離散フーリエ変換（ＤＦＴ：Discrete Fourier Transform）、フーリエ変換、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）や離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）などを適用することができる。
このように、脈波信号が周波数領域へ変換された後に、算出部１７ｆは、脈波信号のスペクトルに含まれるピークのうち第１ピークと第２ピークを検出する。図６は、脈波信号のスペクトルの一例を示す図である。図６に示すグラフの縦軸は、密度を指し、横軸は、周波数を指す。図６に示すように、脈波信号からスペクトルが得られた場合、算出部１７ｆは、スペクトルのうち最も密度が高い第１ピークＰ１と、２番目に密度が高い第２ピークＰ２とを検出する。その上で、算出部１７ｆは、下記の式（７）に示すように、第２ピークＰ２の密度を第１ピークＰ１の密度で除算することによってピーク比率Ｉ１を算出する。
Ｉ１＝Ｐ２／Ｐ１・・・（７）
かかるピーク比率Ｉ１は、その値がゼロに近いほどノイズ成分の重畳が少ないと評価できる変動指標である。なぜなら、脈波信号は、上記の信号生成処理によって脈波が主成分として抽出される公算が高く、上記の第１ピークは、脈波（signal）の成分に対応する一方で、第２ピークは、ノイズ（noise）の成分に対応する可能性が高いからである。
一方で、第２ピークが高くなるほど、言い換えれば第２ピークが第１ピークに近づくほど、上記の式（７）の分子の値が大きくなり、ピーク比率Ｉ１の値も大きくなる。このように、ピーク比率Ｉ１が「１」に近づくほど、実際の脈波と類似するノイズ成分が実際の脈波と同等の大きさで脈波信号に含まれている可能性が高いと推定できる。この場合には、ノイズ成分と脈波成分との比率が逆転してしまっているケースも考えられる。このようなケースにおいても、上記のピーク比率Ｉ１を出力制御に用いることによって、脈波成分と同等の強さのノイズ成分が脈波信号に含まれる場合に、その脈波信号から検出された脈波が出力されてしまう事態を抑制できる。
また、ノイズ成分が脈波周波数帯の広帯域にわたって広がっている場合でも、ノイズ成分に比べて脈波成分が十分に強ければピーク比率Ｉ１の値は小さくなる。この場合、ピーク比率Ｉ１を出力制御に用いることによって、ノイズフロアの広さにまどわされずに脈波の検出結果を出力させるといった判断が可能になる。
（２）スペクトル分布の面積
また、算出部１７ｆは、スペクトル分布の面積の一例として、脈波信号のスペクトル分布が持つ面積を用いることができる。
具体的には、算出部１７ｆは、上記の（１）ピーク比率の場合と同様に、脈波信号を周波数領域へ変換する。図７は、脈波信号のスペクトルの一例を示す図である。図７には、図６に示したスペクトルが導出された脈波信号とは異なる脈波信号から導出されたスペクトルが図示されている。図７に示すように、算出部１７ｆは、脈波信号のスペクトルを脈波周波数帯の区間で積分することによってスペクトル分布の面積Ｐｓを算出する。その上で、算出部１７ｆは、上記の積分で求まったスペクトル分布の面積Ｐｓを脈波周波数帯の区間の最大値Ｐ１で正規化する。つまり、算出部１７ｆは、下記の式（８）によってスペクトル分布の面積Ｉ２を算出する。
Ｉ２＝（∫Ｐ（ｆ）ｄｆ）／Ｐ１・・・（８）
かかるスペクトル分布の面積Ｉ２は、その値がゼロに近いほどノイズ成分の重畳が少ないと評価できる変動指標であることがわかる。なぜなら、理想的な脈波信号のスペクトルの場合には、脈波成分の部分だけが鋭く凸となって現れるので、最大値で正規化すると面積がゼロに近づくのは自明であるからである。一方、脈波周波数帯の広範囲にわたってノイズ成分が現れたり、ノイズフロアの密度が高くなるほど面積が大きくなるので、スペクトル分布の面積Ｉ２の値も大きくなる。このようなケースにおいても、スペクトル分布の面積Ｉ２を出力制御に用いることによって、出力の抑制が可能になる。
（３）時間間隔バラツキ
また、算出部１７ｆは、時間間隔バラツキの一例として、脈波信号の波形と時間軸に平行な複数の直線との交点間の時間間隔を算出し、その時間間隔の標準偏差を用いることができる。
このように、交点間の時間間隔を求める場合には、波形と直線が交わる交点の全てを対象に、交点間の時間間隔を求めることもできるが、脈波信号の波形がｓｉｎ波に近似せずに脈波の周期よりも短い時間で連続して極値をとる場合、例えば脈波よりも高周波のノイズが混入する事態が起こることも想定される。この場合、交点間の時間間隔にバラツキが少なくなる結果、偶然にノイズも少ないと評価される事態も起こり得る。かかる事態を防ぐ観点から、波形と直線が交わる交点のうち波形の立ち上がりと直線の交点もしくは波形の立ち下がりと直線の交点のいずれか一方について交点間の時間間隔を求めることもできる。なお、以下では、波形の立ち下がりと直線の交点について交点間の時間間隔を求める場合を例示するが、全ての交点について交点間の時間間隔を求めることとしてもよいし、波形の立ち上がりと直線の交点について交点間の時間間隔を求めることとしてもかまわない。
例えば、算出部１７ｆは、脈波信号の波形と、時間軸と平行である複数の直線Ｌ１〜ＬＬとの交点を直線ごとに特定する。図８は、脈波信号の波形の一例を示す図である。図８には、脈波信号の波形とともに、時間軸と平行である６つの直線ｌ１〜ｌ６が例示されている。図８に示すように、算出部１７ｆは、直線ｌ１が脈波信号の波形の立ち下がりと交わる交点ｐ１、ｐ２及びｐ３を特定する。そして、算出部１７ｆは、交点ｐ１の時間Ｔ１及び交点ｐ２の時間Ｔ２の差、すなわちＴ２−Ｔ１を計算することによって時間間隔ｔ１を算出する。さらに、算出部１７ｆは、交点ｐ２の時間Ｔ２及び交点ｐ３の時間Ｔ３の差、すなわちＴ３−Ｔ２を計算することによって時間間隔ｔ２を算出する。その上で、算出部１７ｆは、直線ｌ１の時間間隔ｔ１、時間間隔ｔ２、時間間隔の平均値ｔａｖｇを用いて、下記の式（９）にしたがって直線ｌ１における時間間隔の標準偏差σを算出する。これと同様にして、算出部１７ｆは、下記の式（９）にしたがって直線ｌ２〜直線ｌ６についても時間間隔の標準偏差を算出する。その後、算出部１７ｆは、下記の式（１０）にしたがって直線ｌ１〜直線ｌ６の時間間隔の標準偏差を合計することによって上記の時間間隔バラツキＩ３を算出する。なお、下記の式（９）における「ｔｉ」は、ｉ番目の時間間隔を指し、また、「ｎ」は、交点の個数を指す。
Figure 0006256488
Figure 0006256488
かかる時間間隔バラツキＩ３は、その値がゼロに近いほどノイズ成分の重畳が少ないと評価できる変動指標であることがわかる。なぜなら、理想的な脈波信号の場合には、時間間隔がおよそ等間隔となるので、その値がゼロに近づくからである。一方、脈波波形の振幅の大きさがノイズ成分によって不安定になる場合には、時間間隔バラツキＩ３の値も大きくなる。このようなケースにおいても、時間間隔バラツキＩ３を出力制御に用いることによって、出力の抑制が可能になる。
なお、ここでは、直線ｌ１〜直線ｌＬの時間間隔の標準偏差を合計する場合を例示したが、各直線ごとに求められた時間間隔の標準偏差は合計以外にも各種の統計処理を実行できる。例えば、直線ｌ１〜直線ｌＬの時間間隔の標準偏差を平均することによって時間間隔バラツキＩ３を算出することとしてもよいし、直線ｌ１〜直線ｌＬの時間間隔の標準偏差の中央値を時間間隔バラツキＩ３とすることもできる。
また、脈波信号の波形、いわゆるｓｉｎ波に近い波形が採る振幅の上限値または下限値は波形の周期によってばらつくことも想定される。この場合、ある周期では、振幅の上限値が小さくなったり、あるいは振幅の下限値が大きくなったりするケースも起こり得る。この場合には、直線ｌ１〜直線ｌＬのうち波形の上下の端付近を通る直線はある周期では波形と交わるが、別の周期では波形と交わることができないとった事態も発生する。このことから、算出部１７ｆは、直線ｌ１〜直線ｌＬの時間間隔の標準偏差の中でも波形の中央付近を通る直線ｌｃに波形の上下の端付近を通る直線よりも大きい重みを付与する。その上で、算出部１７ｆは、直線ｌ１〜直線ｌＬの時間間隔の標準偏差を加重平均することによって時間間隔バラツキＩ３を算出することもできる。これによって、脈波信号の波形の振幅の上限値及び下限値に局所的なバラツキが発生する場合でも、過度に変動指標の値が増大するのを抑制できる。
（４）隣接極値差バラツキ
また、算出部１７ｆは、隣接極値差バラツキの一例として、脈波信号の波形で隣接する極値間の振幅の差を算出し、その振幅の差の標準偏差を用いることができる。このように、振幅の差を求める場合には、一例として、極大値間の振幅の差または極小値間の振幅の差のいずれかを求めることができる。なお、以下では、極大値間の振幅の差を求める場合を例示するが、極小値間の振幅の差を求めることとしてもかまわない。
具体的には、算出部１７ｆは、脈波信号の波形で極大点を検出する。かかる極大点は、脈波信号の微分波形のゼロクロス点を検出することによって特定できる。その上で、算出部１７ｆは、各極大点の間で振幅の差を算出する。図９は、脈波信号の波形の一例を示す図である。図９には、図８とは異なる脈波信号の波形が例示されており、ｐ０〜ｐ７の８つの極大点が検出された場合の例が図示されている。図９に示すように、脈波信号の波形における極大点ｐ１及び極大点ｐ２の振幅の差は、「ｓ１」と算出されるとともに、極大点ｐ２及び極大点ｐ３の振幅の差は、「ｓ２」と算出される。その後、算出部１７ｆは、各極大点間の振幅の差、振幅の差の平均値を用いて、下記の式（１１）にしたがって各極大点ｐ０〜ｐ７間の振幅の差の標準偏差を算出する。そして、算出部１７ｆは、下記の式（１２）にしたがって極値間の振幅の差の標準偏差を合計することによって上記の隣接極値差バラツキＩ４を算出する。
Figure 0006256488
Figure 0006256488
上記の式（１１）における「ｓｉ」は、ｉ番目の振幅の差を指し、また、「ｎ」は、極大点または極小点の個数を指す。また、上記の式（１２）における「ｍ」は、極値の種類の数を指し、例えば極大値および極小値の２つを指す。つまり、極値点として極大値における振幅の差しか求めない場合には、上記の式（１１）によって算出された各極大点間における振幅の差の標準偏差をそのまま隣接極値差バラツキＩ４とすればよく、極値点として極小値における振幅の差も求める場合には、両者の標準偏差の合計を隣接極値差バラツキＩ４として算出すればよい。
かかる隣接極値差バラツキＩ４においても、その値がゼロに近いほどノイズ成分の重畳が少ないと評価できる変動指標であることがわかる。なぜなら、理想的な脈波信号の場合には、各周期間で振幅の極大値及び極小値も略同一となるので、隣接する極値の差はゼロに近づくからである。一方、脈波波形の振幅の極大値や極小値がノイズ成分に由来して不安定になる場合には、隣接極値差バラツキＩ４の値も大きくなる。このようなケースにおいても、隣接極値差バラツキＩ４を出力制御に用いることによって、出力の抑制が可能になる。
（５）相関係数
また、算出部１７ｆは、相関係数の一例として、脈波信号の波形とその一部が所定の窓幅で複製された複製波形との間で複製波形をシフトさせながら互いの相関係数を算出する自己相関法を採用し、その相関係数の最大値を用いることができる。
図１０は、脈波信号の波形の一例を示す図である。図１０に示すように、算出部１７ｆは、脈波信号の波形のうち所定の窓幅Ｕで定まる部分の波形を複製する。そして、算出部１７ｆは、先のようにして得た窓幅Ｕの複製波形を時間軸前方へずらし幅τにわたってシフトし、下記の式（１３）にしたがって脈波信号の波形と複製波形との間で相関係数ｃｏｒを算出する。ここで、下記の式（１３）における「ｘ」は、複製波形の振幅の時系列データを指し、また、「ｙ」は、検出対象とする脈波信号の波形の振幅の時系列データを指す。また、下記の式（１３）における「ｘ」及び「ｙ」のバーは、各々の平均値を指す。その後、算出部１７ｆは、ずらし幅τを更新することによって複製波形を時間軸前方へシフトさせ、相関係数の算出を繰り返し実行する。このようにして求めた相関係数の最大値を上記の相関係数Ｉ５として用いることができる。
Figure 0006256488
かかる相関係数Ｉ５は、その値が１に近づくノイズ成分の重畳が少ないと評価できる変動指標であることがわかる。なぜなら、理想的な脈波信号の場合には、脈波が周期性を持つことから自己相関法によって算出される相関係数の最大値も「１」に近づくからである。一方、脈波信号の波形がノイズ成分によって乱れる場合には、その周期性が薄れることによって相関係数Ｉ５の値も小さくなる。このようなケースにおいても、相関係数Ｉ５を出力制御に用いることによって、出力の抑制が可能になる。
これら（３）〜（５）の時間領域に関する指標には、周波数領域に関する指標に比べて、脈波信号の時間長が短くとも脈波信号の良否をより高い精度で判断できるという長所がある。
図１の説明に戻り、出力制御部１７ｇは、算出部１７ｆによって算出された変動指標を用いて、生成部１７ｄによって生成された脈波信号の出力制御を実行する処理部である。
一態様としては、出力制御部１７ｇは、算出部１７ｆによって算出された変動指標Ｉ１〜Ｉ５に所定の重みｍ１〜重みｍ５を付与し、各々の重みにしたがって変動指標Ｉ１〜Ｉ５を加重平均することによって、５つの変動指標Ｉ１〜Ｉ５を総合する総合変動指標ＩＴを求めることができる。このように、総合変動指標ＩＴを求める場合には、互いの変動指標Ｉ１〜Ｉ５を正規化した上で加重平均がなされる。例えば、変動指標Ｉ１〜Ｉ５の値のスケールを合わせたり、変動指標Ｉ５の逆数をとることによって正規化を実現する。かかる重みｍ１〜重みｍ５は、一例として、ブースティング、ニューラルネットワークやサポートベクターマシンなどの各種の学習手法を用いて予め算出しておくこともできるし、また、上記の信号処理プログラムの開発者等が任意に設定することもできる。
その後、出力制御部１７ｇは、総合変動指標ＩＴが所定の閾値ＴＨ未満であるか否かを判定する。このとき、総合変動指標ＩＴが閾値ＴＨ未満でない場合には、生成部１７ｄによって生成された脈波信号に重畳しているノイズ成分が大きく、脈波の検出結果に支障が出ると推定できる。この場合には、出力制御部１７ｇは、検出部１７ｅによって検出された脈波の検出結果の出力を抑制する。一方、総合変動指標ＩＴが閾値ＴＨ未満である場合には、生成部１７ｄによって生成された脈波信号に重畳しているノイズ成分が小さく、脈波の検出結果に支障が出にくいと推定できる。この場合には、出力制御部１７ｇは、検出部１７ｅによって検出された脈波の検出結果を所定の出力先へ出力させる。
このようにして脈波の検出結果、例えば脈拍数や脈波波形を出力させる場合には、脈波検出装置１０が有するタッチパネル１３を始め、任意の出力先へ出力することができる。例えば、脈拍数や脈拍周期のゆらぎから自律神経の働きを診断したり、脈波波形から心疾患等を診断したりする診断プログラムが脈波検出装置１０にインストールされている場合には、診断プログラムを出力先とすることができる。また、診断プログラムをＷｅｂサービスとして提供するサーバ装置などを出力先とすることもできる。さらに、脈波検出装置１０を利用する利用者の関係者、例えば介護士や医者などが使用する端末装置を出力先とすることもできる。これによって、院外、例えば在宅や在席のモニタリングサービスも可能になる。なお、診断プログラムの測定結果や診断結果も、脈波検出装置１０を始め、関係者の端末装置に表示させることができるのも言うまでもない。
なお、上記の信号処理部１７は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などに上記の信号処理プログラムを実行させることによって実現できる。また、上記の各機能部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。
また、上記の信号処理部１７が使用するメモリには、半導体メモリ素子や記憶装置を採用できる。例えば、半導体メモリ素子の一例としては、フラッシュメモリ（Flash Memory）、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）などが挙げられる。また、記憶装置の一例としては、ハードディスク、光ディスクなどの記憶装置が挙げられる。
［処理の流れ］
図１１は、実施例１に係る信号処理の手順を示すフローチャートである。この信号処理は、上記の信号処理プログラムがタッチパネル１３等での操作によって起動されるか、あるいはバックグラウンドで動作する場合に繰り返し実行される処理である。なお、タッチパネル１３等を介して中断操作を受け付けた場合には、信号処理を中止することもできる。
図１１に示すように、取得部１７ａによって画像が取得されると（ステップＳ１０１）、抽出部１７ｂは、ステップＳ１０１で取得された画像から所定の顔パーツ、例えば被験者の鼻を基準とする顔領域に対応する部分画像を抽出する（ステップＳ１０２）。その上で、統計部１７ｃは、Ｒ成分及びＧ成分別にステップＳ１０２で抽出された顔領域の部分画像に含まれる各画素の代表値の時系列データを生成部１７ｄへ出力する（ステップＳ１０３）。
その後、Ｒ成分及びＧ成分の時系列データが所定の時間にわたって蓄積された場合（ステップＳ１０４Ｙｅｓ）には、生成部１７ｄは、次のような処理を実行する。すなわち、生成部１７ｄは、Ｒ成分及びＧ成分の間で脈波周波数帯以外の特定周波数帯の成分が互いに相殺された信号を生成する（ステップＳ１０５）。続いて、検出部１７ｅは、ステップＳ１０５で生成された脈波信号から脈波、例えば脈拍数や脈波波形を検出する（ステップＳ１０６）。
そして、算出部１７ｆは、ステップＳ１０５で生成された脈波信号を用いて、上記の変動指標Ｉ１〜Ｉ５を算出する（ステップＳ１０７）。その上で、出力制御部１７ｇは、算出部１７ｆによって算出された変動指標Ｉ１〜Ｉ５に所定の重みｍ１〜重みｍ５を付与し、各々の重みにしたがって変動指標Ｉ１〜Ｉ５を加重平均することによって総合変動指標ＩＴを求める（ステップＳ１０８）。
ここで、出力制御部１７ｇは、ステップＳ１０８で算出された総合変動指標ＩＴが所定の閾値ＴＨ未満であるか否かを判定する（ステップＳ１０９）。このとき、総合変動指標ＩＴが閾値ＴＨ未満でない場合（ステップＳ１０９Ｎｏ）には、ステップＳ１０５で生成された脈波信号に重畳しているノイズ成分が大きく、脈波の検出結果に支障が出ると推定できる。この場合には、検出部１７ｅによって検出された脈波の検出結果を出力させずにステップＳ１０１の処理に戻る。
一方、総合変動指標ＩＴが閾値ＴＨ未満である場合（ステップＳ１０９Ｙｅｓ）には、ステップＳ１０５で生成された脈波信号に重畳しているノイズ成分が小さく、脈波の検出結果に支障が出にくいと推定できる。この場合には、出力制御部１７ｇは、検出部１７ｅによって検出された脈波の検出結果を所定の出力先へ出力させ（ステップＳ１１０）、ステップＳ１０１の処理へ移行する。
［実施例１の効果］
上述してきたように、本実施例に係る脈波検出装置１０は、生体画像から生成される脈波信号から脈波の乱れの度合いを評価する変動指標を算出し、変動指標を用いて脈波信号を出力するか否かを制御する。このため、本実施例に係る脈波検出装置１０では、脈波に対応する成分が抽出できないレベルのノイズが信号に重畳することによってノイズ除去が機能しない場合に、脈波の検出結果の出力を抑制できる。本実施例に係る脈波検出装置１０では、変動指標による脈波信号の評価によって脈波と周期が類似するノイズ成分が脈波信号に重畳する場合にも、脈波の検出結果の出力を抑制できる。したがって、本実施例に係る脈波検出装置１０によれば、脈波の検出結果の出力制御を適切に実行できる。
また、本実施例に係る脈波検出装置１０は、複数の変動指標を用いて、脈波信号を出力するか否かを制御する。このため、本実施例に係る脈波検出装置１０では、脈波信号の良否を多面的に評価できる。すなわち、本実施例に係る脈波検出装置１０では、変動指標間で互いの弱点を補いながら脈波信号の良否を評価できる。それ故、本実施例に係る脈波検出装置１０によれば、脈波の検出結果の出力制御をより適正化できる。
さて、上記の実施例１では、５つの変動指標Ｉ１〜Ｉ５から総合変動指標ＩＴを求める場合を例示したが、必ずしも総合変動指標ＩＴを求めずともよい。そこで、本実施例では、一例として、変動指標をノードとする分類木を用いて脈波信号を良否の２つのクラスにクラス分けさせる場合について例示する。
図１２は、実施例２に係る判定モデル生成装置の機能的構成を示すブロック図である。図１２に示す判定モデル生成装置２０は、変動指標をノードとする分類木及びノードで脈波信号の良否判定に用いる閾値などの判定モデルを生成するものである。かかる判定モデル生成装置２０は、一例として、脈波検出装置１０の出荷前に上記の分類木や上記の閾値などの判定モデルを生成し、当該判定モデルを脈波検出装置１０に設定する。このため、判定モデル生成装置２０は、上記の脈波検出装置１０と同様に、その機能部が携帯端末装置に実装されることとしてもよいし、出荷する携帯端末装置にパラメータを設定する据置き型のコンピュータ等に機能部が実装されることとしてもかまわない。
図１２に示すように、判定モデル生成装置２０は、取得部１７ａと、抽出部１７ｂと、統計部１７ｃと、生成部１７ｄと、検出部１７ｅと、算出部１７ｆと、リファレンス記憶部２１ａと、生成部２１とを有する。なお、図１２には、図１に示した機能部と同様の機能を発揮する機能部には同一の符号を付し、その説明を省略することとする。
このうち、リファレンス記憶部２１ａは、生成部１７ｄによって生成される脈波信号のリファレンスを記憶する記憶部である。かかるリファレンスの一例としては、取得部１７ａによって取得される画像と同期して動作する心電センサによって採取された心電信号が挙げられる。
生成部２１は、変動指標をノードとする分類木及びノードで脈波信号の良否判定に用いる閾値などの判定モデルを生成する処理部である。一態様としては、生成部２１は、生成部１７ｄによって生成される脈波信号と、リファレンス記憶部２１ａにリファレンスとして記憶された心電信号との誤差を用いて、算出部１７ｆによって算出される変動指標によって脈波信号を良否の２つのクラスに分類する場合の正解率が最高となる分類木及び閾値を含む判定モデルを生成する。その上で、生成部２１は、先に生成された判定モデルを出力制御部１７ｇに設定する。
具体的には、生成部２１は、リファレンス記憶部２１ａにリファレンスとして記憶された心電信号を参照し、生成部１７ｄによって生成される脈波信号のうち誤差が所定の範囲、例えばＮ拍／分内となる脈波信号を「良」に分類するとともに、誤差が所定の範囲外となる脈波信号を「不良」に分類する。かかるクラス分けの誤差の基準の一例としては、５拍／分を用いることができる。その上で、生成部２１は、算出部１７ｆによって算出される各変動指標を用いて生成部１７ｄによって生成される脈波信号を「良」及び「不良」の２つのクラスのいずれに属するかを分類する分類処理に適用する判定モデルを学習する。かかるクラス分けの機械学習には、ブースティング、ニューラルネットワーク、サポートベクターマシンなどの任意のアルゴリズムを採用することができる。ここでは、一例として、各変動指標をノードとする分類木を生成する場合を例示する。この場合には、生成部２１は、例えば、上記の変動指標Ｉ１〜Ｉ５のうちノードとして採用するノード、ノードを配置する階層、さらには、各ノードで設定する閾値をクラス分けの正解率が最も高くなるように分類木を生成する。そして、生成部２１は、生成された分類木及び分類木のノードで判定に用いる閾値、すなわち判定モデルの学習結果を出力制御部１７ｇへ設定する。
図１３は、判定モデルの一例を示す図である。図１３には、誤差が「５拍／分」未満である脈波信号を「良」のクラスに分類する一方で、誤差が「５拍／分」以上である脈波信号を「不良」のクラスに分類する場合の判定モデルの一例が図示されている。図１３に示す判定モデルが脈波検出装置１０の出力制御部１７ｇで用いられる場合には、次のような判定が実行される。
図１３に示すように、脈波検出装置１０の算出部１７ｆによって各変動指標が算出されると、まず、ピーク比率Ｉ１が閾値「0.574」未満であるか否かが出力制御部１７ｇによって判定される（ステップＳ１）。続いて、ピーク比率Ｉ１が閾値「0.574」未満である場合（ステップＳ１Ｙｅｓ）には、隣接極値差バラツキＩ４が閾値「0.283」未満であるか否かが出力制御部１７ｇによってさらに判定される（ステップＳ２）。そして、隣接極値差バラツキＩ４が閾値「0.283」未満である場合には、スペクトル分布の面積Ｉ２が閾値「29.0」未満であるか否かが出力制御部１７ｇによってさらに判定される（ステップＳ３）。このとき、スペクトル分布の面積Ｉ２も閾値「29.0」未満である場合には、生成部１７ｄによって生成された脈波信号が「良」のクラスにクラス分けされる（ステップＳ４）。一方、ピーク比率Ｉ１が閾値「0.574」未満でない場合、隣接極値差バラツキＩ４が閾値「0.283」未満でない場合、あるいはスペクトル分布の面積Ｉ２が閾値「29.0」未満でない場合（ステップＳ１Ｎｏ，ステップＳ２ＮｏまたはステップＳ３Ｎｏ）には、生成部１７ｄによって生成された脈波信号が「不良」のクラスにクラス分けされる（ステップＳ５）。
このように、２つのクラスに分類するために変動指標にどういう重みをかければよいのかという問題を、脈波信号の良否のクラス分けを誤差でクラスタリングするという問題に変換することによって定量的な評価を行う判定モデルを生成できる。
図１４及び図１５を用いて、クラス分けの判定精度について説明する。図１４は、隣接極値差バラツキ及びピーク比率によるクラス分け結果の一例を示す図であり、図１５は、スペクトル分布の面積及びピーク比率によるクラス分け結果の一例を示す図である。図１４及び図１５には、図１３に示した判定モデルにしたがって脈波信号が「良」及び「不良」のクラスに分類された場合が図示されている。なお、図１４及び図１５に示すグラフの測定条件は、評価人数が５名、波形時間幅が１５秒、機器揺れの有りと無しを両方含み、計数回数がのべ９０回である場合を一例として図示している。
ここでは、説明の便宜上、ピーク比率、隣接極値差バラツキ及びスペクトル分布の面積の３次元から隣接極値差バラツキ及びピーク比率の平面とスペクトル分布の面積及びピーク比率の平面とに射影を行って図１４及び図１５に図示している。なお、図１４及び図１５に示す「◇」のプロットは、誤差が５拍／分未満である脈波信号を指し、「□」及び「●」のプロットは、誤差が５拍／分以上である脈波信号を指す。さらに、図１４及び図１５に示す太線の枠は、図１３に示した判定モデルの分類木でノードに用いられる閾値が規定する「良」及び「不良」の境界を指す。
図１３に示した判定モデルによって脈波信号を「良」及び「不良」の２つのクラスに分類した場合には、図１４及び図１５に示すように、良好な結果が得られることがわかる。例えば、図１４に示すように、誤差が「５拍／分」以上であるプロットとして、３つの「●」のプロットが隣接極値差バラツキ及びピーク比率の閾値判定によって「良」に分類されている他は見当たらない。これ以外の「□」のプロットは隣接極値差バラツキ及びピーク比率の閾値判定によって全て「不良」に分類できている。さらに、図１５に示すように、隣接極値差バラツキ及びピーク比率の判定だけでは、「良」に分類される３つの「●」のプロットも、スペクトル分布の面積及びピーク比率の閾値判定で「不良」に分類できることがわかる。一方、スペクトル分布の面積及びピーク比率の閾値判定では「良」に分類される２つの「□」のプロットも、隣接極値差バラツキ及びピーク比率の閾値判定によって「不良」に分類できることがわかる。
［処理の流れ］
図１６は、実施例２に係る判定モデルの設定処理の手順を示すフローチャートである。この処理は、取得部１７ａによって画像が取得された場合に処理が起動される。
図１６に示すように、取得部１７ａによって画像が取得されると（ステップＳ３０１）、抽出部１７ｂは、ステップＳ３０１で取得された画像から所定の顔パーツ、例えば被験者の鼻を基準とする顔領域に対応する部分画像を抽出する（ステップＳ３０２）。その上で、統計部１７ｃは、Ｒ成分及びＧ成分別にステップＳ３０２で抽出された顔領域の部分画像に含まれる各画素の代表値の時系列データを生成部１７ｄへ出力する（ステップＳ３０３）。
その後、Ｒ成分及びＧ成分の時系列データが所定の時間にわたって蓄積された場合（ステップＳ３０４Ｙｅｓ）には、生成部１７ｄは、次のような処理を実行する。すなわち、生成部１７ｄは、Ｒ成分及びＧ成分の間で脈波周波数帯以外の特定周波数帯の成分が互いに相殺された信号を生成する（ステップＳ３０５）。続いて、検出部１７ｅは、ステップＳ３０５で生成された脈波信号から脈波、例えば脈拍数や脈波波形を検出する（ステップＳ３０６）。
このようにしてステップＳ３０６で脈波が検出された脈波信号と同期して採取された心電波形がリファレンスとしてリファレンス記憶部２１ａへ格納される（ステップＳ３０７）。その後、算出部１７ｆは、ステップＳ３０５で生成された脈波信号を用いて、上記の変動指標Ｉ１〜Ｉ５を算出する（ステップＳ３０８）。
そして、脈波信号のサンプル数が十分に揃った場合（ステップＳ３０９Ｙｅｓ）には、生成部２１は、ステップＳ３０７でリファレンス記憶部２１ａに格納された心電信号を参照し、ステップＳ３０５で生成された脈波信号を「良」及び「不良」のクラスに分類する（ステップＳ３１０）。
その上で、生成部２１は、ステップＳ３０５で生成された脈波信号と、ステップＳ３０７でリファレンス記憶部２１ａに格納された心電信号との誤差を用いて、ステップＳ３０８で算出された変動指標によって脈波信号を良否の２つのクラスに分類する場合の正解率が最高となる分類木及び閾値を含む判定モデルを生成する（ステップＳ３１１）。その上で、生成部２１は、ステップＳ３１１で生成された判定モデルを出力制御部１７ｇに設定し（ステップＳ３１２）、処理を終了する。
［実施例２の効果］
上述してきたように、本実施例に係る判定モデル生成装置２０は、リファレンスからの脈波信号の誤差を用いて、変動指標をノードとする分類木及びノードで脈波信号の良否判定に用いる閾値などを含む判定モデルを生成する。このため、本実施例に係る判定モデル生成装置２０では、脈波信号の良否を定量的に評価できる判定モデルを生成できる。さらに、上記の判定モデルを用いて、脈波信号の出力制御を実行させる場合には、図１４及び図１５を用いて説明したように、出力制御に良好な精度を期待できる。
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
［変形例１］
上記の実施例１では、Ｒ成分及びＧ成分の間で脈波周波数帯以外の特定周波数帯の成分が互いに相殺された脈波信号を生成する場合を例示したが、他の方法によって脈波信号を生成することもできる。例えば、生成部１７ｄは、生体領域に対応する部分画像に含まれる各画素のＧ成分の輝度値を平均することによって得た時系列データ、すなわちＧ信号を脈波信号とすることとしてもよい。また、ここでは、Ｇ信号を脈波信号として用いる場合を例示したが、Ｒ信号やＢ信号を脈波信号とすることとしてもかまわない。
［変形例２］
上記の実施例１では、変動指標Ｉ１〜Ｉ５から総合変動指標ＩＴを求める場合を例示したが、必ずしも総合変動指標ＩＴを求めずともよい。例えば、変動指標Ｉ１〜Ｉ５の各々に閾値を設ける。その上で、出力制御部１７ｇは、変動指標Ｉ１〜Ｉ４の全てが閾値未満であり、かつ変動指標Ｉ５が閾値以上である場合、すなわち全ての変動指標で条件を満たす場合に絞って脈波信号を出力させることもできるし、多数決で条件を満たす変動指標の方が多い場合に脈波信号を出力させることもできる。
［変形例３］
上記の実施例１及び実施例２では、脈波を検出する場合に入力信号としてＲ信号およびＧ信号の二種類を用いる場合を例示したが、異なる複数の光波長成分を持つ信号であれば任意の種類の信号および任意の数の信号を入力信号とすることができる。例えば、Ｒ、Ｇ、Ｂ、ＩＲおよびＮＩＲなどの光波長成分が異なる信号のうち任意の組合せの信号を２つ用いることもできるし、また、３つ以上用いることもできる。
［応用例１］
例えば、脈波検出装置１０は、各種のセンサによって採取されたセンサ値から変動指標をさらに算出し、上記の変動指標Ｉ１〜Ｉ５とともに脈波信号の良否の判定に用いることもできる。かかるセンサの一例としては、加速度センサ、ジャイロセンサや歩数計などのモーションセンサの他、タッチセンサ、照度センサや距離センサなどが挙げられる。例えば、モーションセンサを用いて変動指標を算出する場合には、次のようにして求めることができる。すなわち、所定の時間長の中でモーションセンサによって採取されたセンサ値が所定の閾値を超える回数を変動指標として算出することができる。また、タッチセンサの場合には、タッチパネル１３に対するタッチ操作の回数を変動指標として算出することができる。また、照度センサの場合には、所定の時間長で照度が変化する変化量を変動指標として算出できる。また、距離センサの場合には、タッチパネル１３と使用者の顔との距離が所定の適正距離から逸脱する回数を変動指標として算出することもできる。
［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、上記の実施例１では、脈波検出装置１０が上記の信号処理をスタンドアローンで実行する場合を例示したが、クライアントサーバシステムとして実装することもできる。例えば、脈波検出装置１０は、信号処理を実行するＷｅｂサーバとして実装することとしてもよいし、アウトソーシングによって信号処理サービスを始めとするサービスを提供するクラウドとして実装することとしてもかまわない。このように、脈波検出装置１０がサーバ装置として動作する場合には、スマートフォンや携帯電話機等の携帯端末装置やパーソナルコンピュータ等の情報処理装置をクライアント端末として収容することができる。これらクライアント端末からネットワークを介して被験者の顔が映った画像が取得された場合に信号処理を実行し、その検出結果やその検出結果を用いてなされた診断結果をクライアント端末へ応答することによって脈波検出サービス及び診断サービスを提供できる。
［信号処理プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１７を用いて、上記の実施例と同様の機能を有する信号処理プログラムを実行するコンピュータの一例について説明する。
図１７は、実施例１〜実施例３に係る信号処理プログラムを実行するコンピュータの一例について説明するための図である。図１７に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。
ＨＤＤ１７０には、図１７に示すように、上記の実施例１で示した信号処理部１７と同様の機能を発揮する信号処理プログラム１７０ａが予め記憶される。この信号処理プログラム１７０ａについては、図１に示した各々の信号処理部１７の各構成要素と同様、適宜統合又は分離しても良い。すなわち、ＨＤＤ１７０に格納される各データは、常に全てのデータがＨＤＤ１７０に格納される必要はなく、処理に必要なデータのみがＨＤＤ１７０に格納されれば良い。
そして、ＣＰＵ１５０が、信号処理プログラム１７０ａをＨＤＤ１７０から読み出してＲＡＭ１８０に展開する。これによって、図１７に示すように、信号処理プログラム１７０ａは、信号処理プロセス１８０ａとして機能する。この信号処理プロセス１８０ａは、ＨＤＤ１７０から読み出した各種データを適宜ＲＡＭ１８０上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、信号処理プロセス１８０ａは、図１に示した信号処理部１７にて実行される処理、例えば図１１や図１６に示す処理を含む。また、ＣＰＵ１５０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１５０上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。
なお、上記の信号処理プログラム１７０ａについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておく必要はない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。
１０ 脈波検出装置
１１ カメラ
１３ タッチパネル
１５ 通信部
１７ 信号処理部
１７ａ 取得部
１７ｂ 抽出部
１７ｃ 統計部
１７ｄ 生成部
１７ｅ 検出部
１７ｆ 算出部
１７ｇ 出力制御部

Claims (5)

  1. 画像を取得する取得部と、
    前記画像に含まれる生体領域を抽出する抽出部と、
    前記画像のうち前記生体領域に対応する部分画像が持つ画素値の時系列データから信号を生成する生成部と、
    前記信号が含む脈波の乱れの度合いを評価する変動指標を算出する算出部と、
    前記変動指標を用いて、前記信号を出力するか否かを制御する出力制御部とを有し、
    前記算出部は、前記信号のスペクトルに含まれるピークのうち最大である第１のピークと２番目である第２のピークとの比率を前記変動指標として算出することを特徴とする信号処理装置。
  2. 画像を取得する取得部と、
    前記画像に含まれる生体領域を抽出する抽出部と、
    前記画像のうち前記生体領域に対応する部分画像が持つ画素値の時系列データから信号を生成する生成部と、
    前記信号が含む脈波の乱れの度合いを評価する変動指標を算出する算出部と、
    前記変動指標を用いて、前記信号を出力するか否かを制御する出力制御部とを有し、
    前記算出部は、前記信号の波形で隣接する極値間の振幅の差の標準偏差を前記変動指標として算出することを特徴とする信号処理装置。
  3. 画像を取得する取得部と、
    前記画像に含まれる生体領域を抽出する抽出部と、
    前記画像のうち前記生体領域に対応する部分画像が持つ画素値の時系列データから信号を生成する第１生成部と、
    前記信号が含む脈波の乱れの度合いを評価する変動指標を算出する算出部と、
    前記信号と、前記信号に対応する心電信号との誤差を用いて、前記算出部によって算出される複数の変動指標によって前記信号が良否のクラスに分類される場合の正解率が最高となる変動指標の分類木及び前記分類木の判定に用いる閾値を含む判定モデルを生成する第２生成部と、
    前記算出部によって算出された変動指標を用いて、前記第２生成部によって生成された判定モデルにしたがって前記信号を出力するか否かを制御する出力制御部と
    を有することを特徴とする信号処理装置。
  4. コンピュータが、
    画像を取得し、
    前記画像に含まれる生体領域を抽出し、
    前記画像のうち前記生体領域に対応する部分画像が持つ画素値の時系列データから信号を生成し、
    前記信号が含む脈波の乱れの度合いを評価する変動指標を算出し、
    前記変動指標を用いて、前記信号を出力するか否かを制御する処理を実行し、
    前記算出する処理は、前記信号のスペクトルに含まれるピークのうち最大である第１のピークと２番目である第２のピークとの比率を前記変動指標として算出することを特徴とする信号処理方法。
  5. コンピュータに、
    画像を取得し、
    前記画像に含まれる生体領域を抽出し、
    前記画像のうち前記生体領域に対応する部分画像が持つ画素値の時系列データから信号を生成し、
    前記信号が含む脈波の乱れの度合いを評価する変動指標を算出し、
    前記変動指標を用いて、前記信号を出力するか否かを制御する処理を実行させ、
    前記算出する処理は、前記信号のスペクトルに含まれるピークのうち最大である第１のピークと２番目である第２のピークとの比率を前記変動指標として算出することを特徴とする信号処理プログラム。
JP2015562625A 2014-02-13 2014-02-13 信号処理装置、信号処理方法及び信号処理プログラム Active JP6256488B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/053380 WO2015121949A1 (ja) 2014-02-13 2014-02-13 信号処理装置、信号処理方法及び信号処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2015121949A1 JPWO2015121949A1 (ja) 2017-03-30
JP6256488B2 true JP6256488B2 (ja) 2018-01-10

Family

ID=53799718

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015562625A Active JP6256488B2 (ja) 2014-02-13 2014-02-13 信号処理装置、信号処理方法及び信号処理プログラム

Country Status (3)

Country Link
US (1) US20160338603A1 (ja)
JP (1) JP6256488B2 (ja)
WO (1) WO2015121949A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10238345B2 (en) * 2014-10-16 2019-03-26 Panasonic Intellectual Property Management Co., Ltd. Biological information processing device and biological information processing method
WO2017085895A1 (ja) * 2015-11-20 2017-05-26 富士通株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP6607259B2 (ja) 2015-11-20 2019-11-20 富士通株式会社 脈波分析装置、脈波分析方法、および脈波分析プログラム
EP3378384A4 (en) * 2015-11-20 2018-10-24 Fujitsu Limited Information processing device, information processing method, and information processing program
JP2017158675A (ja) * 2016-03-08 2017-09-14 パナソニックＩｐマネジメント株式会社 脈拍推定装置、脈拍推定システムおよび脈拍推定方法
US10352912B2 (en) * 2016-09-15 2019-07-16 Kabushiki Kaisha Toshiba Structure evaluation system, structure evaluation apparatus, and structure evaluation method
US10458954B2 (en) 2016-09-15 2019-10-29 Kabushiki Kaisha Toshiba Structure evaluation system, structure evaluation apparatus, and structure evaluation method
JP6947227B2 (ja) * 2018-01-24 2021-10-13 富士通株式会社 脈波算出装置、脈波算出方法及び脈波算出プログラム
JP2019209041A (ja) * 2018-06-08 2019-12-12 株式会社デンソー 脈波形解析方法、及びプログラム
JP7081452B2 (ja) * 2018-11-14 2022-06-07 オムロン株式会社 情報処理装置および情報処理装置の制御方法
JP7088153B2 (ja) * 2019-09-19 2022-06-21 カシオ計算機株式会社 Ｃａｐ（周期性脳波活動）検出装置、ｃａｐ（周期性脳波活動）検出方法及びプログラム
CN115429241A (zh) * 2020-12-31 2022-12-06 深圳北芯生命科技股份有限公司 用于识别正常压力值的基准获取方法及基准获取模块
CN113069091A (zh) * 2021-03-29 2021-07-06 南京邮电大学 一种ppg信号的脉象分类装置及方法
JP7199673B2 (ja) * 2021-03-31 2023-01-06 艾陽科技股▲分▼有限公司 レーダ心拍検知方法及びそのシステム
CN116548928B (zh) * 2023-07-11 2023-09-08 西安浩阳志德医疗科技有限公司 一种基于互联网的护理服务系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3470121B2 (ja) * 1993-04-02 2003-11-25 株式会社オサチ 電子血圧測定装置
US6999685B1 (en) * 1997-01-31 2006-02-14 Seiko Epson Corporation Polarized light communication device, transmitter, laser, polarized light communication device for physiological use, reflected light detector and pulse wave detecting device
JP3583789B2 (ja) * 1997-06-18 2004-11-04 株式会社日立メディコ 連続波送受波型超音波撮像装置及び超音波プローブ
JP2000276463A (ja) * 1999-03-23 2000-10-06 Seiko Epson Corp データ解析方法及びデータ解析装置並びにデータ解析処理プログラムを記録した記録媒体
JP2002017694A (ja) * 2000-07-03 2002-01-22 Denso Corp 脈拍数検出装置
JP3781956B2 (ja) * 2000-08-28 2006-06-07 株式会社タニタ 脈波検出装置
JP3632014B2 (ja) * 2002-05-14 2005-03-23 コーリンメディカルテクノロジー株式会社 血管内皮機能評価装置
JP2004121625A (ja) * 2002-10-04 2004-04-22 Seiko Instruments Inc 脈波検出装置及びフーリエ変換処理装置
JP4595651B2 (ja) * 2005-04-25 2010-12-08 株式会社デンソー 生体センサ、睡眠情報処理方法、及び睡眠情報処理装置
JP4855721B2 (ja) * 2005-06-29 2012-01-18 フクダ電子株式会社 血圧測定装置
JP4862730B2 (ja) * 2007-04-05 2012-01-25 コニカミノルタセンシング株式会社 脈波データ解析方法、システム、プログラム
JP5094326B2 (ja) * 2007-10-18 2012-12-12 株式会社日立製作所 生体計測装置
JP5332406B2 (ja) * 2008-08-28 2013-11-06 富士通株式会社 脈拍計測装置、脈拍計測方法および脈拍計測プログラム
JP5195741B2 (ja) * 2009-12-25 2013-05-15 株式会社デンソー 生体活動計測装置
JP5576234B2 (ja) * 2010-10-14 2014-08-20 株式会社デンソー 生体状態監視装置
JP5799581B2 (ja) * 2011-05-24 2015-10-28 ソニー株式会社 生体リズムの乱れ度算出装置、生体リズムの乱れ度算出システム、生体リズムの乱れ度算出方法、プログラム、及び記録媒体
US10143377B2 (en) * 2012-05-02 2018-12-04 Augusta University Research Institute, Inc. Single channel imaging measurement of dynamic changes in heart or respiration rate
WO2014103642A1 (ja) * 2012-12-25 2014-07-03 日立アロカメディカル株式会社 超音波診断装置、及び弾性評価方法
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
KR20150077684A (ko) * 2013-12-30 2015-07-08 삼성전자주식회사 생체 신호 기반 기능 운용 방법 및 이를 지원하는 전자 장치

Also Published As

Publication number Publication date
JPWO2015121949A1 (ja) 2017-03-30
US20160338603A1 (en) 2016-11-24
WO2015121949A1 (ja) 2015-08-20

Similar Documents

Publication Publication Date Title
JP6256488B2 (ja) 信号処理装置、信号処理方法及び信号処理プログラム
JP6052027B2 (ja) 脈波検出装置、脈波検出プログラムおよび脈波検出方法
EP3057486B1 (en) Automatic camera adjustment for remote photoplethysmography
EP3278722B1 (en) Pulse wave detection device and pulse wave detection program
JP6102433B2 (ja) 脈波検出プログラム、脈波検出方法および脈波検出装置
JP6115263B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
JP6547160B2 (ja) 脈波検出装置、及び脈波検出プログラム
JP6098257B2 (ja) 信号処理装置、信号処理方法及び信号処理プログラム
WO2016006027A1 (ja) 脈波検出方法、脈波検出プログラム及び脈波検出装置
JP5915757B2 (ja) 脈波検出方法、脈波検出装置及び脈波検出プログラム
JP6393984B2 (ja) 脈拍計測装置、脈拍計測方法及び脈拍計測プログラム
JP6098304B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
JP6142664B2 (ja) 脈波検出装置、脈波検出プログラム、脈波検出方法及びコンテンツ評価システム
JP6135255B2 (ja) 心拍測定プログラム、心拍測定方法及び心拍測定装置
JPWO2020054122A1 (ja) 情報処理装置、プログラム及び情報処理方法
Tabei et al. A novel diversity method for smartphone camera-based heart rhythm signals in the presence of motion and noise artifacts
Karthick et al. Analysis of vital signs using remote photoplethysmography (RPPG)
JP2016193022A (ja) 脈波検出装置、及び脈波検出プログラム
WO2018180502A1 (ja) 脈波検出装置および脈波検出プログラム
JP6488722B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
JP6167849B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
US11701011B2 (en) Biological information detection device and biological information detection method
WO2017154477A1 (ja) 脈拍推定装置、脈拍推定システムおよび脈拍推定方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171120

R150 Certificate of patent or registration of utility model

Ref document number: 6256488

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150