JP6504959B2 - Image processing method and program for stress monitoring - Google Patents
Image processing method and program for stress monitoring Download PDFInfo
- Publication number
- JP6504959B2 JP6504959B2 JP2015151245A JP2015151245A JP6504959B2 JP 6504959 B2 JP6504959 B2 JP 6504959B2 JP 2015151245 A JP2015151245 A JP 2015151245A JP 2015151245 A JP2015151245 A JP 2015151245A JP 6504959 B2 JP6504959 B2 JP 6504959B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- heart rate
- creating
- image data
- hemoglobin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims description 19
- 238000003672 processing method Methods 0.000 title claims description 13
- 102000001554 Hemoglobins Human genes 0.000 claims description 38
- 108010054147 Hemoglobins Proteins 0.000 claims description 38
- 239000000049 pigment Substances 0.000 claims description 25
- 238000000926 separation method Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 8
- 238000000034 method Methods 0.000 description 29
- 238000005259 measurement Methods 0.000 description 19
- 230000000284 resting effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 4
- 230000000241 respiratory effect Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 210000003491 skin Anatomy 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010005746 Blood pressure fluctuation Diseases 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000002612 cardiopulmonary effect Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 210000004207 dermis Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000005037 parasympathetic nerve Anatomy 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 210000002820 sympathetic nervous system Anatomy 0.000 description 1
Landscapes
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
Description
本発明は、ストレスモニタリング用画像処理方法及びそのプログラムに関する。 The present invention relates to an image processing method for stress monitoring and a program thereof.
現代人は日々さまざまなストレスにさらされながら生活している。ストレスが、慢性化すると体や心に悪影響が及ぶ危険があるため、それが大きな病気や事故につながる前に対処しなければならない。 Modern people live daily, being exposed to various stresses. Because stress can be chronic and have a negative impact on the body and mind, it must be dealt with before it can lead to a major illness or accident.
ストレスを評価する際に最もよく用いられる方法は質問紙による自己報告法である。ストレスの原因となるストレッサーやストレス反応を測定する質問紙が多く開発されている。しかしながら、これらを正確に回答するには、回答者自身の正確な自己分析が必要となってくる上、回答者自身の意図でコントロールすることが可能なため、客観性及び信憑性に乏しい。更に、その労力自体が回答者へ余計なストレスを加える原因になりかねないなどの多くの問題がある。 The most commonly used method to assess stress is questionnaire self-reporting. Many questionnaires have been developed to measure stressors that cause stress and stress reactions. However, in order to answer these correctly, it is necessary for the respondent's own self-analysis to be performed, and since it is possible to control the respondent's own intention, the objectivity and credibility are poor. Furthermore, there are many problems, such as the effort itself may cause extra stress on the respondents.
そこで、心拍変動の周期から、交感神経系の活性のバランスを判断し、ストレス負荷の様子を見ることが可能なため、従来法ではカメラを用いた非接触法の心拍変動計測システムがある。この手法では非接触法で行うため、測定対象者に不快感を全く与えることなく、計測が可能である。具体的には、通常のＲＧＢカメラにシアン（Ｃ）とオレンジ（Ｏ）の二つの感度を追加した５バンドカメラを用いて心拍変動計測システムを構築している。この技術は、下記非特許文献１に記載されている。 Therefore, since it is possible to determine the balance of the activity of the sympathetic nervous system from the cycle of heart rate fluctuation and to observe the state of stress load, there is a non-contact heart rate fluctuation measurement system using a camera in the conventional method. In this method, the measurement is performed without giving any discomfort to the person to be measured because the measurement is performed by the non-contact method. Specifically, the heart rate variability measurement system is constructed using a 5-band camera in which two sensitivities of cyan (C) and orange (O) are added to a normal RGB camera. This technology is described in the following non-patent document 1.
しかしながら、従来の特殊な５バンドカメラを用いる手法は現状実用性に課題があり、一般的なＲＧＢカメラを用いたシステムによる精度向上が非常に重要である。 However, the method using the conventional special 5-band camera has a problem in the present practicality, and it is very important to improve the accuracy by a system using a general RGB camera.
そこで、本発明は、上記課題に鑑み、一般的なＲＧＢカメラを用いた非接触法の心拍変動計測システムによるストレスモニタリング用画像処理方法及びそのプログラムを提供することを目的とする。 Then, an object of the present invention is to provide an image processing method for stress monitoring by a non-contact heart rate variability measurement system using a general RGB camera and a program thereof in view of the above-mentioned subject.
上記課題を解決する本発明の一観点に係るストレスモニタリング用画像処理方法は、ＲＧＢカメラを用いて顔画像データを取得するステップ、顔画像データに対して色素成分分離を用いてヘモグロビン画像データを作成するステップ、ヘモグロビン画像データに基づき心拍データを作成するステップ、心拍データに基づき心拍間隔データを作成するステップ、心拍間隔データに対し周波数変換を行うことで心拍変動スペクトログラムデータを作成するステップ、を備える。 The image processing method for stress monitoring according to one aspect of the present invention, which solves the above problems, includes steps of acquiring face image data using an RGB camera, creating hemoglobin image data using pigment component separation on face image data The method further comprises the steps of: generating heart rate data based on the hemoglobin image data; generating heart rate interval data based on the heart rate data; generating heart rate fluctuation spectrogram data by performing frequency conversion on the heart rate interval data.
また本観点において、限定されるわけではないが、顔画像データに対して色素成分分離を用いてヘモグロビン画像データを作成するステップは、前記色素成分分離を行う前に、顔画像データに基づき複数の抽出点データを作成するステップ、抽出点データに基づき関心領域データを作成するステップ、を備え、ヘモグロビン画像データに基づき心拍データを作成するステップは、関心領域データ及びヘモグロビン画像データに基づき心拍データを作成することが好ましい。 In the present aspect, although not necessarily limited, the step of creating hemoglobin image data using pigment component separation on face image data includes a plurality of steps based on the face image data before performing the pigment component separation. The method further comprises the steps of creating extraction point data, creating region of interest data based on the extraction point data, wherein creating heart rate data based on the hemoglobin image data creates heart rate data based on the region of interest data and the hemoglobin image data It is preferable to do.
また本観点において、限定されるわけではないが、心拍データに基づき心拍間隔データを作成するステップは、心拍データに対し、傾き除去処理及びバンドパスフィルタ処理の少なくともいずれかを行うことが好ましい。 In the present aspect, although not limited, it is preferable that in the step of creating the heartbeat interval data based on the heartbeat data, at least one of inclination removal processing and band pass filtering processing is performed on the heartbeat data.
また本観点において、限定されるわけではないが、心拍変動スペクトログラムデータにおいて、変動周波数の値に基づきストレス状態を判定することが好ましい。 In the present aspect, although not necessarily limited, in the heart rate variability spectrogram data, it is preferable to determine the stress state based on the value of the variation frequency.
また、本発明の他の一観点に係るストレスモニタリング用画像処理プログラムは、コンピュータに、ＲＧＢカメラを用いて顔画像データを取得するステップ、顔画像データに対して色素成分分離を用いてヘモグロビン画像データを作成するステップ、ヘモグロビン画像データに基づき心拍データを作成するステップ、心拍データに基づき心拍間隔データを作成するステップ、心拍間隔データに対し周波数変換を行うことで心拍変動スペクトログラムデータを作成するステップ、を実行させる。 Further, the image processing program for stress monitoring according to another aspect of the present invention is a computer program that acquires face image data using an RGB camera, hemoglobin image data using pigment component separation on face image data. Creating heart rate data based on hemoglobin image data, creating heart rate interval data based on heart rate data, and creating heart rate variability spectrogram data by performing frequency conversion on the heart rate interval data. Run it.
また本観点において、限定されるわけではないが、顔画像データに対して色素成分分離を用いてヘモグロビン画像データを作成するステップは、色素成分分離を行う前に、顔画像データに基づき複数の抽出点データを作成するステップ、抽出点データに基づき関心領域データを作成するステップ、を行い、ヘモグロビン画像データに基づき心拍データを作成するステップは、関心領域データ及びヘモグロビン画像データに基づき心拍データを作成することが好ましい。 In the present aspect, although not necessarily limited, the step of creating hemoglobin image data using pigment component separation on face image data includes a plurality of extractions based on the face image data before pigment component separation is performed. The step of creating point data, creating the region of interest data based on the extraction point data, and creating the heart rate data based on the hemoglobin image data creates the heart rate data based on the region of interest data and the hemoglobin image data Is preferred.
また本観点において、限定されるわけではないが、心拍データに基づき心拍間隔データを作成するステップは、心拍データに対し、傾き除去処理及びバンドパスフィルタ処理の少なくともいずれかを行うことが好ましい。 In the present aspect, although not limited, it is preferable that in the step of creating the heartbeat interval data based on the heartbeat data, at least one of inclination removal processing and band pass filtering processing is performed on the heartbeat data.
また本観点において、限定されるわけではないが、心拍変動スペクトログラムデータにおいて、変動周波数の値に基づきストレス状態を判定することが好ましい。 In the present aspect, although not necessarily limited, in the heart rate variability spectrogram data, it is preferable to determine the stress state based on the value of the variation frequency.
以上、本発明により、一般的なＲＧＢカメラを用いた非接触法の心拍変動計測システムによるストレスモニタリング用画像処理方法及びそのプログラムを提供することができる。 As described above, according to the present invention, it is possible to provide an image processing method for stress monitoring by a non-contact heart rate fluctuation measurement system using a general RGB camera and a program thereof.
以下、本発明の実施形態について、図面を用いて詳細に説明する。ただし、本発明は多くの異なる形態による実施が可能であり、以下に示す実施形態、実施例の例示にのみ限定されるものではない。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. However, the present invention can be implemented in many different forms, and is not limited to only the embodiments and examples shown below.
図１は、本実施形態に係るストレスモニタリング用画像処理方法（以下「本方法」という。）のフローを示す図である。本図で示すように、本方法は、（Ｓ１）ＲＧＢカメラを用いて顔画像データを取得するステップ、（Ｓ２）顔画像データに対して色素成分分離を用いてヘモグロビン画像データを作成するステップ、（Ｓ３）ヘモグロビン画像データに基づき心拍データを作成するステップ、（Ｓ４）心拍データに基づき心拍間隔データを作成するステップ、（Ｓ５）心拍間隔データに対し周波数変換を行うことで心拍変動スペクトログラムデータを作成するステップ、を備える。 FIG. 1 is a diagram showing a flow of an image processing method for stress monitoring (hereinafter referred to as “the present method”) according to the present embodiment. As shown in the figure, the method includes (S1) obtaining face image data using an RGB camera, and (S2) creating hemoglobin image data using pigment component separation on face image data, (S3) creating heart rate data based on hemoglobin image data, (S4) creating heart rate interval data based on heart rate data, and (S5) creating heart rate variability spectrogram data by performing frequency conversion on the heart rate interval data Step of
また、本方法は、情報処理装置いわゆるコンピュータによって容易に実行可能である。より具体的には、ＣＰＵ（中央演算装置）、ハードディスクやメモリ等の記録媒体、これらを接続するバス等を備えた情報処理装置の、ハードディスクに上記の方法を実行することのできるプログラムを格納し、ユーザーの操作に基づき、メモリに上記プログラムを格納し、ＣＰＵによって各種データを処理することによって実現できる。 Also, the method can be easily implemented by an information processing device, a so-called computer. More specifically, a program capable of executing the above method is stored in a hard disk of an information processing apparatus provided with a CPU (central processing unit), a recording medium such as a hard disk or memory, a bus connecting these, etc. The present invention can be realized by storing the program in the memory based on the user's operation and processing various data by the CPU.
すなわち、本方法は、コンピュータに、ＲＧＢカメラを用いて顔画像データを取得するステップ、顔画像データに対して色素成分分離を用いてヘモグロビン画像データを作成するステップ、ヘモグロビン画像データに基づき心拍データを作成するステップ、心拍データに基づき心拍間隔データを作成するステップ、心拍間隔データに対し周波数変換を行うことで心拍変動スペクトログラムデータを作成するステップ、を実行させる、ストレスモニタリング用画像処理プログラムによって実現することができる。 That is, the method comprises the steps of acquiring face image data using a RGB camera, creating hemoglobin image data using pigment component separation on face image data, and generating heart rate data based on the hemoglobin image data. Implemented by an image processing program for stress monitoring that executes a creating step, a step of creating heartbeat interval data based on heartbeat data, and a step of creating heartbeat fluctuation spectrogram data by performing frequency conversion on the heartbeat interval data. Can.
本方法では、まず、ＲＧＢカメラを用いて顔画像データを取得するステップ（Ｓ１）を備える。 The method first comprises the step (S1) of acquiring face image data using an RGB camera.
ここで「ＲＧＢカメラ」とは、Ｒ（赤）、Ｇ(緑)、及びＢ（青）の各色に対応する波長領域の光強度に感度を有する検出素子を１画素単位としてこれを複数配置することよって画像データを取得することのできる装置であって、いわゆるＣＣＤセンサからなるデジタルカメラであることは好ましい一例である。なおここで限定されるわけではないが、Ｒ（赤）の波長領域としては、５８０ｎｍ以上６８０ｎｍ以下であることが好ましく、Ｇ（緑）の波長領域としては、５００ｎｍ以上６３０ｎｍ以下であることが好ましく、Ｂ（青）の波長領域としては、４１０ｎｍ以上５３０ｎｍ以下であることが好ましい。 Here, “RGB camera” is a plurality of detection elements each having a sensitivity to light intensity in the wavelength range corresponding to each color of R (red), G (green), and B (blue). Thus, an apparatus capable of acquiring image data, that is, a digital camera including a so-called CCD sensor is a preferable example. Although not limited thereto, the wavelength range of R (red) is preferably 580 nm or more and 680 nm or less, and the wavelength range of G (green) is preferably 500 nm or more and 630 nm or less The wavelength range of B (blue) is preferably 410 nm or more and 530 nm or less.
ここで「顔画像データ」とは、測定対象者の顔に関する情報を含む画像データであり、より具体的には顔の写真画像データである。図２に、顔画像の一例のイメージ図を示しておく。 Here, “face image data” is image data including information on the face of the person to be measured, and more specifically, is photographic image data of a face. FIG. 2 shows an example of an image of a face image.
またこの取得された顔画像データは、限定されるわけではないが、コンピュータのハードディスクの記録領域に記録されることが好ましい。 Further, the acquired face image data is preferably recorded in a recording area of a hard disk of a computer, although not limited thereto.
また、この顔画像データを取得する際、測定対象者の顔に照明を当てておくことも好ましい。照明を当てることで、顔画像データ取得時の環境条件を均一にすることができ、環境的な要因を排除できるといった効果がある。なお照明としては、撮影時において一定の環境条件を提供することができる限りにおいて限定されるわけではないが、一般光源の他例えば人工太陽灯を採用することができる。 Moreover, when acquiring this face image data, it is also preferable to illuminate the face of the person to be measured. By lighting, it is possible to make the environmental conditions at the time of acquiring face image data uniform and to eliminate environmental factors. The illumination is not limited as long as it can provide a constant environmental condition at the time of photographing, but other than a general light source, for example, an artificial sun lamp can be adopted.
またこの場合において、ＲＧＢカメラと測定対象者の間には、偏光板を配置しておくことも好ましい。このようにすることで、測定対象者の顔表面から反射成分を除去することができ、より精度を高めることが可能となる。 In this case, it is also preferable to dispose a polarizing plate between the RGB camera and the person to be measured. By doing this, it is possible to remove the reflection component from the face surface of the person to be measured, and it is possible to further improve the accuracy.
また本方法では、顔画像データに対して色素成分分離を用いてヘモグロビン画像データを作成するステップ（Ｓ２）を備える。 The method further includes the step (S2) of creating hemoglobin image data by using pigment component separation on face image data.
本実施形態において「色素成分分離」とは、ＲＧＢカメラにより取得された顔画像データから色素成分を分離する操作を意味する。ここで色素成分とは、測定対象者の皮膚の中に存在する色素を意味し、少なくともヘモグロビンを含む。他の色素成分としては、限定されるわけではないがメラニン等があげられる。皮膚の色は真皮内部で散乱を繰り返し皮膚外に射出される光であるので、ヘモグロビンの寄与が大きい。この色素成分分離は、限定されるわけではないが、公知の独立成分分析を用いることができ、例えば“ＩＥＥＥ Ｐｒｏｃｅｅｄｉｎｇｓ Ｆ ｖｏｌ．１４０，１９９３ ｐｐ．３６２−３７０”に記載の技術を用いることができる。 In the present embodiment, “pigment component separation” means an operation of separating pigment components from face image data acquired by an RGB camera. Here, the pigment component means a pigment present in the skin of the measurement subject, and includes at least hemoglobin. Other pigment components include, but are not limited to, melanin and the like. Since the color of the skin is light that is repeatedly scattered inside the dermis and emitted outside the skin, the contribution of hemoglobin is large. This dye component separation can use, but is not limited to, known independent component analysis, for example, the technique described in "IEEE Proceedings F vol. 140, 1993 pp. 362-370" can be used. .
また本実施形態において「ヘモグロビン画像データ」とは、ヘモグロビン成分を抽出した顔画像データである。なお、本色素成分分離では、他の成分の画像データも得ることができ、例えばメラニン画像データ、陰影画像データを得ることができる。 In the present embodiment, “hemoglobin image data” is face image data from which a hemoglobin component is extracted. In the present pigment component separation, image data of other components can also be obtained, and for example, melanin image data and shadow image data can be obtained.
また、本ステップにおいて、色素成分分離を行う前に、顔画像データに基づき複数の抽出点データを作成するステップ（Ｓ２−１）、抽出点データに基づき関心領域データを作成するステップ（Ｓ２−２）、を備えていることが好ましい。ここで「抽出点データ」とは、顔画像における特徴点を抽出した結果得られる抽出点のデータをいう。また「関心領域データ」とは、上記抽出点データに基づき定める顔画像データの内の一領域に関するデータをいう。関心領域データを設定することで、上記色素成分分析および後述の処理における精度を高めることができるようになる。なお、関心領域データの位置としては精度向上を図ることができる限りにおいて限定されるわけではないが、測定対象者の口回り、額、頬等の領域を例示することができ、これらを単独又は組み合わせることで精度向上を図ることができる。なお図３に、抽出点データを設けた場合の顔画像データ、関心領域データを設定した場合のイメージ図を示しておく。なお本図の例は、右目の外端から左目の外端までの横方向の距離をＷとし、縦方向は顎の特徴点から上方に額までの２Ｗの距離の長方形で瞬きの影響のある目の周辺領域２５％を除外した画像である。 Further, in this step, a step of creating a plurality of extraction point data based on face image data (S2-1) before performing pigment component separation, a step of creating region of interest data based on the extraction point data (S2-2) Is preferably provided. Here, “extraction point data” refers to data of extraction points obtained as a result of extracting feature points in a face image. Further, "region of interest data" refers to data relating to one region of face image data determined based on the extraction point data. By setting the region of interest data, it is possible to improve the accuracy in the dye component analysis and the process described later. Although the position of the region of interest data is not limited as long as accuracy can be improved, regions such as the circumference of the person to be measured, the forehead, the cheek, etc. can be illustrated, and these can be used alone or Accuracy can be improved by combining them. FIG. 3 shows an image diagram when face image data and region of interest data are set when extraction point data is provided. In the example shown in this figure, the horizontal distance from the outer edge of the right eye to the outer edge of the left eye is W, and the vertical direction is a rectangle of 2 W distance from the feature point of the jaw to the upper side It is an image from which 25% of the eye peripheral area is excluded.
また本方法では、（Ｓ３）ヘモグロビン画像データに基づき心拍データを作成するステップを備える。ここで「心拍データ」とは、ヘモグロビン画像データに含まれるヘモグロビンの量に基づき推定される心拍のデータをいう。心拍データは、上記の限りにおいて限定されず様々な方法により作成することができるが、例えば、分離されたヘモグロビン画像データにおける画素平均値の時間変化であることは好ましい一例である。また、上記のとおり、色素成分分離を行う前に関心領域データを取得した場合は、この関心領域における画素平均値を求めることでより精度を高めることができる。図４に、心拍データの一例を示しておく。本図において横軸は時間を、縦軸は画素値の平均を示している。 The method also includes the step of (S3) creating heart rate data based on the hemoglobin image data. Here, "heart rate data" refers to data of a heart rate estimated based on the amount of hemoglobin contained in the hemoglobin image data. The heart rate data can be created by various methods without limitation as described above, but for example, it is a preferable example that it is a time change of pixel average value in separated hemoglobin image data. Further, as described above, when the region of interest data is acquired before performing the dye component separation, the accuracy can be further improved by obtaining the pixel average value in the region of interest. An example of heartbeat data is shown in FIG. In the figure, the horizontal axis represents time, and the vertical axis represents the average of pixel values.
また心拍データの作成において、更にフィルタ処理を行うことも好ましい。このフィルタ処理を行うことで、後述の心拍間隔データの精度を向上させることができる。フィルタ処理の例としては、特に限定されるわけではないが、傾き除去処理及びバンドパスフィルタ処理の少なくともいずれかを含むことが好ましい。またここでバンドパスフィルタ処理とは、特定の周波数領域のみを通す処理であって、この信号に窓関数を掛けることにより行われる処理であることが好ましい。また、図５に、フィルタ処理後の心拍データの一例を示しておく。 Further, it is also preferable to further filter the heart rate data. By performing this filtering process, it is possible to improve the accuracy of heartbeat interval data described later. An example of the filtering process is not particularly limited, but preferably includes at least one of de-skewing process and band pass filtering process. Here, the band pass filtering process is preferably a process of passing only a specific frequency region, and is a process performed by applying a window function to this signal. Further, FIG. 5 shows an example of heartbeat data after filter processing.
また本方法では、（Ｓ４）心拍データに基づき心拍間隔データを作成するステップを備える。ここで「心拍間隔データ」とは、周期的な心拍の間隔に関するデータである。心拍間隔データの作成は特に限定されるわけではないが、上記作成した心拍データにおいて表れるピークの間隔であることが好ましい。 The method also includes the step of (S4) creating heartbeat interval data based on the heartbeat data. Here, "heartbeat interval data" is data regarding the interval of periodic heartbeats. Although the generation of the heartbeat interval data is not particularly limited, it is preferable that it is the interval of peaks appearing in the heartbeat data generated above.
また本方法では、（Ｓ５）心拍間隔データに対し周波数変換を行うことで心拍変動スペクトログラムデータを作成するステップ、を備える。ここで「周波数変換」とは、時系列から周波数領域への変換をいう。この周波数変換としては特に限定されるわけではないが、フーリエパワースペクトル変換であることは好ましい一例である。この結果、心拍変動スペクトログラムデータを得ることができる。なおここで心拍変動スペクトログラムデータとは、心拍変動周波数の時間軸の変化に関する情報を含むデータである。このデータの一例について図６に示しておく。なおフーリエパワースペクトル変換においては、０．７５〜３Ｈｚ（心拍数４５〜１８０に相当）における最大のパワースペクトルを脈拍と判断することが好ましい。 Further, the method includes (S5) creating heart rate variability spectrogram data by performing frequency conversion on the heart rate interval data. Here, "frequency conversion" refers to conversion from time series to frequency domain. Although this frequency conversion is not particularly limited, Fourier power spectrum conversion is a preferred example. As a result, heart rate variability spectrogram data can be obtained. Here, the heart rate fluctuation spectrogram data is data including information on the change of the time axis of the heart rate fluctuation frequency. An example of this data is shown in FIG. In Fourier power spectrum conversion, it is preferable to determine the largest power spectrum at 0.75 to 3 Hz (corresponding to a heart rate of 45 to 180) as a pulse.
また本ステップにおいて、限定されるわけではないが、更に、変動周波数の値に基づきストレス状態を判定するステップを備えていることが好ましい。変動周波数の値を０．０５〜０．１５Ｈｚ（ＬＦ：Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ）（血圧変動に対応する）と０．１５〜０．４Ｈｚ（ＨＦ：Ｈｉｇｈ Ｆｒｅｑｕｅｎｃｙ）（呼吸変動に対応する）の２領域に分類する。判定するステップとしては、特に限定されるわけではないが、変動周波数がＨＦに現れるときは安静状態であると判断し、ＨＦに現れないときはストレス状態であると判断する等を例示することができる。 In this step, although not limited, it is preferable to further include a step of determining a stress state based on the value of the fluctuation frequency. Fluctuation frequency values in two ranges of 0.05 to 0.15 Hz (LF: Low Frequency) (corresponding to blood pressure fluctuation) and 0.15 to 0.4 Hz (HF: High Frequency) (corresponding to respiratory fluctuation) Classify. The determination step is not particularly limited, but it may be determined that the variable frequency is in the resting state when it appears in HF, and it may be determined that it is in the stress state when it does not appear in HF. it can.
以上、本実施形態により、一般的なＲＧＢカメラを用いた非接触法の心拍変動計測システムによるストレスモニタリング用画像処理方法及びそのプログラムを提供することができる。 As described above, according to the present embodiment, it is possible to provide an image processing method for stress monitoring by a non-contact heart rate variability measurement system using a general RGB camera and a program thereof.
ここで、上記実施形態に係るストレスモニタリング用画像処理方法について、実際に実験を行い、その効果を確認した。以下具体的に説明する。 Here, experiments were actually performed on the image processing method for stress monitoring according to the above embodiment, and the effects were confirmed. The details will be described below.
（実施例１）
本実施例では５バンドのデジタル一眼レフ（ＤＳＬＲ）カメラを用い、毎秒３０フレームで撮影した。距離は３ｍ、解像度は７２０×９６０である。５バンドのうち、ＲＧＢのバンドは，通常のＲＧＢカメラのものと同じ感度である。4人の測定対象者は安静状態とストレス状態の２回ずつ２分間撮影を行った。色素成分分離の結果とも比較を行うため、人工太陽灯を使用し、暗室で撮影を行った。カメラと人工太陽灯の前に偏光板を設置している。その配置を図７に示す。
Example 1
In this embodiment, a 5-band digital single-lens reflex (DSLR) camera was used to shoot at 30 frames per second. The distance is 3 m and the resolution is 720 × 960. Of the five bands, the RGB band has the same sensitivity as that of a normal RGB camera. The four subjects underwent two minutes of imaging for two minutes each: resting and stressed. In order to make a comparison also with the result of pigment component separation, it photographed using an artificial sun lamp in a dark room. A polarizing plate is installed in front of the camera and the artificial sun lamp. The arrangement is shown in FIG.
安静状態とは、体を動かさないで安らかにしている状態を指す。 A state of rest refers to a state of rest without moving the body.
ストレス状態とは、心身に負荷がかかった状態を指し、本件では、手や顔は動かさず、４０００から７を連続して減算する作業でストレスを生じさせる。 The stress state refers to a state in which the mind and body are loaded. In this case, the hands and faces are not moved, and stress is generated by the operation of continuously subtracting 4000 to 7.
安静状態とストレス状態において、ＲＧＢカメラで取得した顔画像データ（ステップＳ１）を色素成分分離を用いてヘモグロビン画像データを作成し（ステップＳ２）、顔画像データに基づき複数の抽出点データを作成し（ステップＳ２−１）、抽出点データに基づき関心領域データを作成した（ステップＳ２−２）。このようにして得たヘモグロビン画像データに基づき、心拍データを作成した（ステップＳ３）。 In the resting state and stressed state, hemoglobin image data is created using pigment component separation for face image data (step S1) acquired by the RGB camera (step S2), and a plurality of extraction point data is created based on the face image data (Step S2-1) The region of interest data was created based on the extraction point data (step S2-2). Heart rate data was created based on the hemoglobin image data obtained in this manner (step S3).
心拍データの精度検証方法として、接触型の日本光電：ＲＭＴ−１０００ポリグラフ（心拍計）のデータを用いた。 As a method of verifying the accuracy of the heart rate data, data of contact type Nippon Denko: RMT-1000 polygraph (heart rate meter) was used.
安静状態で計測したポリグラフとカメラ計測による各関心領域（ＲＯＩ）における心拍数の測定結果を表１に示す。
上記の結果から、ポリグラフによる標準値と比較して各関心領域（ＲＯＩ）における測定値のばらつきは少ないことがわかる。 From the above results, it can be seen that the variation of the measured values in each region of interest (ROI) is small compared to the standard value by the polygraph.
ストレス状態に関しても、同様の心拍数の計測を行い、ポリグラフの計測と比較した。各関心領域（ＲＯＩ）における安静状態とストレス状態の相対誤差の平均値を表２に示す。どの関心領域でも誤差が１％以下であることを確認した。
ステップ３で得られた心拍データに基づき、心拍間隔データを作成し（ステップＳ−４）、心拍間隔データに対し、周波数変換を行い、心拍変動スペクトログラムデータを作成する（ステップＳ−５）。 Heart rate interval data is created based on the heart rate data obtained in step 3 (step S-4), frequency conversion is performed on the heart rate interval data, and heart rate fluctuation spectrogram data is created (step S-5).
各関心領域（ＲＯＩ）に対して算出された心拍変動スペクトログラムを図８に示す。ＨＦ領域にスペクトルの存否から、安静状態（ＨＦ領域存在）とストレス状態（ＨＦ領域不存在）の判別が明確に示されている。 The calculated heart rate variability spectrogram for each region of interest (ROI) is shown in FIG. From the presence or absence of the spectrum in the HF region, the distinction between the resting state (the presence of the HF region) and the stress state (the absence of the HF region) is clearly shown.
詳細な血圧変動と呼吸変動のバランスを定量化するため、図８におけるポリグラフのＬＦとＨＦを示すＬｏｍｂピリオドグラムを作成する。ＬｏｍｂピリオドグラムにおけるＬＦとＨＦを図９に示す。Ｌｏｍｂピリオドグラムとは、不等間隔で標本化されたデータのフーリエスペクトルを生成するアルゴリズムである。 In order to quantify the balance between detailed blood pressure and respiratory fluctuations, a Lomb periodogram showing the LF and HF of the polygraph in FIG. 8 is generated. The LF and HF in the Lomb periodogram are shown in FIG. The Lomb periodogram is an algorithm that generates a Fourier spectrum of data sampled at uneven intervals.
算出したＬＦとＨＦから、交感神経と副交感神経のバランスを示すＬＦ／ＨＦをポリグラフの計測とカメラ計測について比較する。安静状態におけるＬＦ／ＨＦの比較を表３に示す。ポリグラフと各ＲＯＩが良く一致している。
次に、ストレス状態におけるＬＦ／ＨＦの比較を表４に示す。ポリグラフの値の方が大きい。
表３、表４に基づいて導いた各ＲＯＩにおける相対誤差率の平均値を表５に示す。安静状態と比較するとストレス状態はＨＦにおける呼吸変動が現れにくいため、ＬＦ／ＨＦの値が大きくなるとともに、ＨＦにノイズが生じやすく、誤差が大きくなると推定される。また、口のみのＲＯＩの誤差が小さく、ＲＯＩは口のみを参照することが、非接触心拍変動計測を行う上で最も適していると判断できる。
ヘモグロビン色素分離により脈波検出したＨＲ、ＬＦ／ＨＦ相対誤差率を表６に示す。心拍数（ＨＲ）の誤差は１％未満となったが、ノイズの影響を受けやすいＬＦ／ＨＦの精度は大きく、５バンドを使用した先行研究とほぼ同じである。
ヘモグロビン色素分離により取得した心拍変動スペクトログラムを図１０に示す。呼吸変動の部分（ＨＦ）にノイズが生じ、ＬＦ／ＨＦの精度を悪くしていることが分かる。 A heart rate variability spectrogram obtained by hemoglobin dye separation is shown in FIG. It can be seen that noise occurs in the respiratory fluctuation part (HF), which degrades the accuracy of LF / HF.
この結果、ＲＧＢだけから得られた心拍変動スペクトログラムにＨＦが現れるか、現れないかで、ストレス状態が判断できることが示された。ＲＧＢのバンドのみを用いた測定値から得られたデータが、先行研究の５バンドを用いた結果とほぼ同じ結果を与えることが得られた。また本発明では、５バンドを使用する方法はＲＧＢバンドだけを用いる測定よりも悪い結果を与えた。この理由は先行研究では一般照明であったのに対し、本発明では暗室下で人工太陽灯を用いたことによるものと推定される。 As a result, it has been shown that the stress state can be judged by whether or not HF appears in the heart rate fluctuation spectrogram obtained only from RGB. It was obtained that the data obtained from measurements using only the RGB bands gave almost the same results as the results using the five bands of the previous study. Also, in the present invention, the method using five bands gave worse results than the measurement using only RGB bands. The reason for this is presumed to be the use of the artificial sun lamp in the dark room in the present invention, as opposed to the general illumination in the prior research.
本発明は、通常のＲＧＢカメラを用いて、先行研究に劣らない測定結果を与え、非接触計測としてのストレスモニタリング用画像処理方法として医療に関する産業上の利用可能性がある。
The present invention is applicable to medical industry as an image processing method for stress monitoring as non-contact measurement, giving measurement results comparable to those of prior researches using a normal RGB camera.
Claims (8)
前記顔画像データに対して色素成分分離を用いてヘモグロビン画像データを作成するステップ、
前記ヘモグロビン画像データに基づき心拍データを作成するステップ、
前記心拍データに基づき心拍間隔データを作成するステップ、
前記心拍間隔データに対し周波数変換を行うことで心拍変動スペクトログラムデータを作成するステップ、を備える、ストレスモニタリング用画像処理方法。 Acquiring face image data using an RGB camera,
Creating hemoglobin image data using pigment component separation on the face image data;
Creating heart rate data based on the hemoglobin image data;
Creating heart rate interval data based on the heart rate data;
Generating heart rate variability spectrogram data by performing frequency conversion on the heart rate interval data.
前記顔画像データに基づき複数の抽出点データを作成するステップ、
前記抽出点データに基づき関心領域データを作成するステップ、を備え、
前記ヘモグロビン画像データに基づき心拍データを作成するステップは、
前記関心領域データ及び前記ヘモグロビン画像データに基づき心拍データを作成する請求項１記載のストレスモニタリング用画像処理方法。 The step of creating hemoglobin image data using pigment component separation on the face image data may be performed before the pigment component separation is performed.
Creating a plurality of extraction point data based on the face image data;
Creating region of interest data based on the extraction point data;
In the step of creating heart rate data based on the hemoglobin image data,
The image processing method for stress monitoring according to claim 1, wherein heartbeat data is created based on the region of interest data and the hemoglobin image data.
前記心拍データに対し、傾き除去処理及びバンドパスフィルタ処理の少なくともいずれかを行う請求項１記載のストレスモニタリング用画像処理方法。 The step of creating heartbeat interval data based on the heartbeat data comprises
The image processing method for stress monitoring according to claim 1, wherein at least one of inclination removal processing and band pass filtering processing is performed on the heartbeat data.
ＲＧＢカメラを用いて顔画像データを取得するステップ、
前記顔画像データに対して色素成分分離を用いてヘモグロビン画像データを作成するステップ、
前記ヘモグロビン画像データに基づき心拍データを作成するステップ、
前記心拍データに基づき心拍間隔データを作成するステップ、
前記心拍間隔データに対し周波数変換を行うことで心拍変動スペクトログラムデータを作成するステップ、を実行させる、ストレスモニタリング用画像処理プログラム。 On the computer
Acquiring face image data using an RGB camera,
Creating hemoglobin image data using pigment component separation on the face image data;
Creating heart rate data based on the hemoglobin image data;
Creating heart rate interval data based on the heart rate data;
An image processing program for stress monitoring, which executes step of creating heart rate variability spectrogram data by performing frequency conversion on the heart rate interval data.
前記顔画像データに基づき複数の抽出点データを作成するステップ、前記抽出点データに基づき関心領域データを作成するステップ、を行い、
前記ヘモグロビン画像データに基づき心拍データを作成するステップは、前記関心領域データ及び前記ヘモグロビン画像データに基づき心拍データを作成する請求項５記載のストレスモニタリング用画像処理プログラム。 The step of creating hemoglobin image data using pigment component separation on the face image data may be performed before the pigment component separation is performed.
Performing a step of creating a plurality of extraction point data based on the face image data, and a step of creating region of interest data based on the extraction point data;
The image processing program for stress monitoring according to claim 5, wherein the step of creating heart rate data based on the hemoglobin image data creates heart rate data based on the region of interest data and the hemoglobin image data.
前記心拍データに対し、傾き除去処理及びバンドパスフィルタ処理の少なくともいずれかを行う請求項５記載のストレスモニタリング用画像処理プログラム。 The step of creating heartbeat interval data based on the heartbeat data comprises
The image processing program for stress monitoring according to claim 5, wherein at least one of inclination removal processing and band pass filtering processing is performed on the heartbeat data.
The image processing program for stress monitoring according to claim 5, wherein a stress state is determined based on a value of fluctuation frequency in the heart rate fluctuation spectrogram data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015151245A JP6504959B2 (en) | 2015-07-30 | 2015-07-30 | Image processing method and program for stress monitoring |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015151245A JP6504959B2 (en) | 2015-07-30 | 2015-07-30 | Image processing method and program for stress monitoring |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017029318A JP2017029318A (en) | 2017-02-09 |
| JP6504959B2 true JP6504959B2 (en) | 2019-04-24 |
Family
ID=57987375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015151245A Active JP6504959B2 (en) | 2015-07-30 | 2015-07-30 | Image processing method and program for stress monitoring |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6504959B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020003910A1 (en) * | 2018-06-28 | 2020-01-02 | 株式会社村上開明堂 | Heartbeat detection device, heartbeat detection method, and program |
| JP7155980B2 (en) * | 2018-11-30 | 2022-10-19 | 株式会社リコー | Biological function evaluation device, biological function evaluation method, and program |
| JP7440020B2 (en) * | 2019-01-31 | 2024-02-28 | 株式会社センシング | Information processing method, terminal device, information processing device, and information processing system |
| WO2020241912A1 (en) * | 2019-05-28 | 2020-12-03 | 정규민 | Service providing system and method using heart rate |
| JP2021108021A (en) * | 2019-12-27 | 2021-07-29 | パナソニックＩｐマネジメント株式会社 | Emotion analysis system and emotion analysis method |
| WO2023135632A1 (en) * | 2022-01-11 | 2023-07-20 | 日本電気株式会社 | Stress estimation device, stress estimation method, and storage medium |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3755005B1 (en) * | 2005-08-19 | 2006-03-15 | 国立大学法人室蘭工業大学 | Autonomic nerve activity evaluation device |
| JP5204477B2 (en) * | 2007-12-25 | 2013-06-05 | パナソニック株式会社 | Health management system |
| US20110251493A1 (en) * | 2010-03-22 | 2011-10-13 | Massachusetts Institute Of Technology | Method and system for measurement of physiological parameters |
-
2015
- 2015-07-30 JP JP2015151245A patent/JP6504959B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017029318A (en) | 2017-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6504959B2 (en) | Image processing method and program for stress monitoring | |
| US10874310B2 (en) | Methods and apparatus for physiological measurement using color band photoplethysmographic sensor | |
| Tasli et al. | Remote PPG based vital sign measurement using adaptive facial regions | |
| Jain et al. | Face video based touchless blood pressure and heart rate estimation | |
| Lam et al. | Robust heart rate measurement from video using select random patches | |
| Kwon et al. | Validation of heart rate extraction using video imaging on a built-in camera system of a smartphone | |
| Karlen et al. | Estimation of respiratory rate from photoplethysmographic imaging videos compared to pulse oximetry | |
| Feng et al. | Motion artifacts suppression for remote imaging photoplethysmography | |
| JP6521845B2 (en) | Device and method for measuring periodic fluctuation linked to heart beat | |
| Gupta et al. | Real-time physiological measurement and visualization using a synchronized multi-camera system | |
| Wedekind et al. | Automated identification of cardiac signals after blind source separation for camera-based photoplethysmography | |
| US10806353B2 (en) | Method, information processing apparatus and server for determining a physiological parameter of an individual | |
| JP6817782B2 (en) | Pulse detection device and pulse detection method | |
| Chen et al. | Modulation model of the photoplethysmography signal for vital sign extraction | |
| KR101996027B1 (en) | Method and system for extracting Heart Information of Frequency domain by using pupil size variation | |
| Tabei et al. | A novel diversity method for smartphone camera-based heart rhythm signals in the presence of motion and noise artifacts | |
| KR101787828B1 (en) | Heartrate measuring system using skin color filter | |
| US10292594B2 (en) | Method and system for contactless detection of cardiac activity | |
| JP2007050144A (en) | Automatic nerve activity evaluation apparatus | |
| JP2016123689A (en) | Method for measuring skin blood flow rate | |
| Karlen et al. | Respiratory rate assessment from photoplethysmographic imaging | |
| WO2014030091A1 (en) | Method and apparatus for measuring physiological parameters of an object | |
| JP7237768B2 (en) | Biological information detector | |
| KR20170004549A (en) | Method and system for extracting Heart Information of Frequency domain | |
| Saxena | A Non-Contact Based System to Measure SPO2 and Systolic/Diastolic Blood Pressure using Rgb-Nir Camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20170913 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180522 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190312 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190326 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6504959 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |