JP6142664B2 - Pulse wave detection device, pulse wave detection program, pulse wave detection method, and content evaluation system - Google Patents
Pulse wave detection device, pulse wave detection program, pulse wave detection method, and content evaluation system Download PDFInfo
- Publication number
- JP6142664B2 JP6142664B2 JP2013102570A JP2013102570A JP6142664B2 JP 6142664 B2 JP6142664 B2 JP 6142664B2 JP 2013102570 A JP2013102570 A JP 2013102570A JP 2013102570 A JP2013102570 A JP 2013102570A JP 6142664 B2 JP6142664 B2 JP 6142664B2
- Authority
- JP
- Japan
- Prior art keywords
- pulse wave
- image
- screen
- living body
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Description
本発明は、脈波検出装置、脈波検出プログラム、脈波検出方法及びコンテンツ評価システムに関する。 The present invention relates to a pulse wave detection device, a pulse wave detection program, a pulse wave detection method, and a content evaluation system.
血液の体積の変動、いわゆる脈波を検出する技術が知られている。かかる脈波の検出結果は、健康管理の指標として用いることもできる他、映像に対する視聴者の反応を示す指標としても用いることができる。 A technique for detecting blood volume fluctuations, so-called pulse waves, is known. The detection result of the pulse wave can be used as an index for health management, and can also be used as an index indicating the viewer's reaction to the video.
一般に、脈波の検出には、生体に装着する計測器具が用いられることが多い。例えば、専用の装置を生体に装着し、血管の膨張による皮膚圧の変化を感圧センサによって採取したり、血管に可視光や赤外光を照射し、その透過光や反射光の光量変化から検出したりといった方法が採用される。 In general, a measurement instrument attached to a living body is often used for detecting a pulse wave. For example, when a dedicated device is attached to a living body, changes in skin pressure due to blood vessel expansion are collected with a pressure sensor, or blood vessels are irradiated with visible light or infrared light, and the amount of transmitted or reflected light is changed. A method such as detection is adopted.
ところが、計測器具を用いて脈波を検出する場合には、センサを生体に装着したり、あるいは生体に感光面を密着させたりするので、計測器具が生体に接触しないと検出が困難である上、計測器具を装着した状態で日常を生活するのは煩わしいという問題がある。 However, when a pulse wave is detected using a measuring instrument, the sensor is attached to the living body or the photosensitive surface is brought into close contact with the living body. Therefore, detection is difficult unless the measuring instrument is in contact with the living body. There is a problem that it is troublesome to live daily life with a measuring instrument attached.
このことから、生体に計測器具が接触しない状態で脈波を検出するために、被験者が撮影された画像を用いた心拍測定方法が提案されている。かかる心拍測定方法では、カメラによって被験者の顔が撮影された画像の信号成分に対し、独立成分分析(ICA:Independent Component Analysis)を適用した上で信号を周波数成分へ変換して心拍数を測定する。かかる独立成分分析の適用によって信号対雑音比の改善を目指す。 For this reason, in order to detect a pulse wave in a state where the measuring instrument does not contact the living body, a heartbeat measuring method using an image taken by a subject has been proposed. In such a heart rate measuring method, an independent component analysis (ICA) is applied to a signal component of an image obtained by photographing a subject's face by a camera, and then the heart rate is measured by converting the signal into a frequency component. . The aim is to improve the signal-to-noise ratio by applying such independent component analysis.
しかしながら、上記の技術では、以下に説明するように、脈波の検出精度が低下する場合がある。 However, in the above technique, the pulse wave detection accuracy may be reduced as described below.
すなわち、上記の心拍測定方法では、被験者の顔を撮影するカメラに顔の脈波以外の輝度変化が映り込む場合に、カメラによって撮影された画像から顔の脈波以外の輝度変化が測定される結果、心拍の測定精度が低下する場合がある。例えば、被験者が画面に表示される映像を閲覧しながら脈波を測定する場合には、画面に表示された光が被験者の顔で反射し、その反射光がカメラへ入射する。このため、カメラによって撮影される画像には、顔で反射した画面の光が映り込むことになる。このように画面の光が映り込んだ画像から輝度変化が検出される場合には、画面の光による輝度変化よりも顔の脈波による輝度変化の方が微細であるので、画面の光による輝度変化が心拍として誤検出される場合がある。この場合には、誤った心拍が表示または記録されてしまう。 That is, in the above heart rate measuring method, when a brightness change other than the pulse wave of the face is reflected on the camera that captures the face of the subject, the brightness change other than the pulse wave of the face is measured from the image captured by the camera. As a result, the measurement accuracy of the heartbeat may decrease. For example, when the subject measures a pulse wave while viewing an image displayed on the screen, the light displayed on the screen is reflected by the face of the subject, and the reflected light enters the camera. For this reason, the screen light reflected by the face is reflected in the image photographed by the camera. When a change in luminance is detected from an image in which the screen light is reflected in this way, the luminance change due to the pulse wave of the face is finer than the luminance change due to the screen light. Changes may be misdetected as heartbeats. In this case, an incorrect heartbeat is displayed or recorded.
1つの側面では、本発明は、脈波の検出精度の低下を抑制できる脈波検出装置、脈波検出プログラム、脈波検出方法及びコンテンツ評価システムを提供することを目的とする。 In one aspect, an object of the present invention is to provide a pulse wave detection device, a pulse wave detection program, a pulse wave detection method, and a content evaluation system that can suppress a decrease in detection accuracy of a pulse wave.
一態様の脈波検出装置は、カメラによって生体が撮影された画像を取得する第1取得部と、前記画像から生体領域を抽出する生体抽出部とを有する。さらに、前記脈波検出装置は、前記生体領域に含まれる各画素を代表する輝度信号から脈波が採り得る周波数帯の成分を抽出する第1フィルタと、前記周波数帯の成分が抽出された生体領域の輝度信号から脈波を検出する検出部とを有する。さらに、前記脈波検出装置は、所定の画面の表示に関する輝度情報を取得する第2取得部と、前記画面の表示に関する輝度情報を用いて、前記検出部による脈波の検出を実行させるか否かを制御する検出制御部とを有する。 The pulse wave detection device according to one aspect includes a first acquisition unit that acquires an image in which a living body is captured by a camera, and a biological extraction unit that extracts a biological region from the image. Furthermore, the pulse wave detection device includes a first filter that extracts a component of a frequency band that can be taken by a pulse wave from a luminance signal that represents each pixel included in the living body region, and a living body from which the component of the frequency band is extracted. A detection unit that detects a pulse wave from the luminance signal of the region. Furthermore, the pulse wave detection device uses the second acquisition unit that acquires luminance information related to display of a predetermined screen and the luminance information related to display of the screen to execute detection of pulse waves by the detection unit. And a detection control unit for controlling the above.
脈波の検出精度の低下を抑制できる。 A decrease in pulse wave detection accuracy can be suppressed.
以下に添付図面を参照して本願に係る脈波検出装置、脈波検出プログラム、脈波検出方法及びコンテンツ評価システムについて説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 A pulse wave detection device, a pulse wave detection program, a pulse wave detection method, and a content evaluation system according to the present application will be described below with reference to the accompanying drawings. Note that this embodiment does not limit the disclosed technology. Each embodiment can be appropriately combined within a range in which processing contents are not contradictory.
[脈波検出装置の構成]
まず、本実施例に係る脈波検出装置の機能的構成について説明する。図1は、実施例1に係る脈波検出装置の機能的構成を示すブロック図である。図1に示す脈波検出装置100は、太陽光や室内光などの一般の環境光の下で被験者に計測器具を接触させずに、カメラ110によって被験者の生体が撮影された画像を用いて被験者の脈波、すなわち血液の体積の変動を検出する脈波検出処理を実行するものである。
[Configuration of pulse wave detector]
First, the functional configuration of the pulse wave detection device according to the present embodiment will be described. FIG. 1 is a block diagram illustrating a functional configuration of the pulse wave detection device according to the first embodiment. The pulse
かかる脈波検出装置100は、一態様として、上記の脈波検出処理がパッケージソフトウェアやオンラインソフトウェアとして実現される脈波検出プログラムを所望のコンピュータにインストールさせることによって実装できる。
Such a pulse
ここで、上記の脈波検出プログラムは、プロセッサ及びメモリを有するコンピュータであれば任意の装置にインストールできるが、一例として、ディスプレイ付きの情報処理装置にインストールすることができる。 Here, the above-described pulse wave detection program can be installed in any device as long as it is a computer having a processor and a memory, but as an example, it can be installed in an information processing device with a display.
例えば、上記の脈波検出プログラムは、スマートフォン、携帯電話機やPHS(Personal Handyphone System)などの移動体通信端末にインストールさせることができる。この他、上記の脈波検出プログラムは、移動体通信端末のみならず、移動体通信網に接続する能力を持たないデジタルカメラ、タブレット端末やスレート端末を含む携帯端末装置全般にインストールさせることができる。このように、上記の脈波検出プログラムが携帯端末装置にインストールされる場合には、携帯端末装置を脈波検出装置100として機能させることができる。さらに、携帯端末装置にカメラが標準装備されている場合には、携帯端末装置に標準装備されたカメラを脈波の検出に用いることもできる。
For example, the above-described pulse wave detection program can be installed in a mobile communication terminal such as a smartphone, a mobile phone, or a PHS (Personal Handyphone System). In addition, the above-described pulse wave detection program can be installed not only on mobile communication terminals but also on all mobile terminal devices including digital cameras, tablet terminals, and slate terminals that do not have the ability to connect to mobile communication networks. . Thus, when the above-described pulse wave detection program is installed in a mobile terminal device, the mobile terminal device can function as the pulse
また、上記の脈波検出プログラムは、携帯端末装置に限定されず、情報処理装置全般にインストールさせることができる。例えば、デスクトップ型及びノート型のパーソナルコンピュータに上記の脈波検出プログラムをインストールさせることができる。この場合には、パーソナルコンピュータに接続されるWebカメラによって撮影された画像を脈波の検出に用いることができる。また、テレビ受信機もしくはテレビ受信機に接続された外部装置に上記の脈波検出プログラムをインストールすることもできる。この場合には、テレビ受信機やその外部装置に付設または内蔵されるカメラによって撮影された画像を脈波の検出に用いることとすればよい。さらには、テレビ受信機に接続されるゲーム機に上記の脈波検出プログラムをインストールさせたり、ゲーム機に実行させるソフトウェアのモジュールとして上記の脈波検出プログラムを組み込むこともできる。かかるゲーム機にカメラが内蔵されている場合には、当該カメラによって撮影された画像を脈波の検出に用いることができる。 The pulse wave detection program is not limited to the portable terminal device, and can be installed in the information processing apparatus in general. For example, the above-described pulse wave detection program can be installed in desktop and notebook personal computers. In this case, an image taken by a Web camera connected to a personal computer can be used for pulse wave detection. The pulse wave detection program can also be installed in a television receiver or an external device connected to the television receiver. In this case, an image taken by a camera attached to or incorporated in the television receiver or its external device may be used for pulse wave detection. Furthermore, the pulse wave detection program can be installed in a game machine connected to the television receiver, or the pulse wave detection program can be incorporated as a software module to be executed by the game machine. When a camera is built in such a game machine, an image photographed by the camera can be used for pulse wave detection.
図1に示すように、脈波検出装置100は、カメラ110と、画像メモリ111と、第1取得部112と、生体抽出部113と、第1算出部114と、BPF(Band-Pass Filter)115と、検出部116とを有する。さらに、脈波検出装置100は、表示部120と、フレームバッファ121と、第2取得部122と、第2算出部124とを有する。さらに、脈波検出装置100は、照度センサ130と、検出制御部150とを有する。
As shown in FIG. 1, a pulse
かかる脈波検出装置100は、図1に示した機能部以外にも既知のコンピュータが有する各種の機能部を有することとしてもかまわない。例えば、脈波検出装置100が据置き端末として実装される場合には、キーボードやマウスなどの入力デバイスをさらに有することとしてもよい。また、脈波検出装置100がタブレット端末やスレート端末として実装される場合には、加速度センサや角速度センサをさらに有することとしてもよい。また、脈波検出装置100が移動体通信端末として実装される場合には、アンテナ、移動体通信網に接続する無線通信部、GPS(Global Positioning System)受信機などの機能部をさらに有していてもかまわない。
Such a pulse
カメラ110は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を搭載する撮像装置である。例えば、カメラ110には、R(red)、G(green)、B(blue)など3種以上の受光素子を搭載することができる。かかるカメラ110の実装例としては、デジタルカメラやWebカメラを外部端子を介して接続することとしてもよい。また、他の実装例としては、インカメラやアウトカメラのように、カメラが出荷時から搭載されている場合にはそのカメラを流用できる。以下では、カメラ110によって撮影された画像のことを「カメラ画像」と記載する場合がある。なお、ここでは、脈波検出装置100がカメラ110を有する場合を例示したが、ネットワークまたは記憶デバイスを経由して画像を取得できる場合には、必ずしも脈波検出装置100がカメラ110を有さずともよい。
The
表示部120は、各種の情報、例えば脈波検出装置100上で動作するOS(Operating System)やアプリケーションプログラムが出力する画像、あるいは外部装置から供給される画像などを表示する表示デバイスである。かかる表示部120の一態様としては、モニタやディスプレイを採用したり、入力デバイスと一体化することによってタッチパネルとして実装したりすることもできる。
The
図2は、脈波の検出が実行されるシーンの一例を示す図である。図2には、一例として、脈波検出装置100が携帯端末装置として実装されており、表示部120が設置された側と同じ側に設置されたインカメラがカメラ110として用いられる例が図示されている。図2に示すように、脈波検出装置100の使用者が表示部120に表示された画像を閲覧する場合には、使用者の顔が表示部120のスクリーンと向き合う形になる。以下では、表示部120に表示される画像のことを「画面の表示画像」と記載する場合がある。このように、使用者が画面の表示画像を閲覧する場合には、使用者の顔が表示部120だけでなく、表示部120と同じ側に設けられたカメラ110とも向き合うこととなる。このため、使用者が画面の表示画像を閲覧している状況で撮影されたカメラ画像には、使用者の顔が映る可能性が高いと推定できる。かかる状況で、表示部120に画像が表示されるバックグラウンドでカメラ画像から脈波を検出することができれば、脈波検出装置100の使用者に意識させずに、健康管理を行ったり、静止画や動画を含むコンテンツを評価したりすることができる。
FIG. 2 is a diagram illustrating an example of a scene in which pulse wave detection is performed. As an example, FIG. 2 illustrates an example in which the pulse
ここで、上記の脈波検出プログラムは、図示しない入力デバイスを介して起動操作がなされたことを契機に起動することもできるし、上述のように、表示部120にコンテンツが表示されたことを契機にバックグラウンドで起動することもできる。
Here, the above-described pulse wave detection program can be activated when an activation operation is performed via an input device (not shown), and the content is displayed on the
このとき、上記の脈波検出プログラムがバックグラウンドで動作する場合には、表示部120にコンテンツを表示させながら、そのバックグラウンドでカメラ110による撮影が開始される。これによって、使用者が顔を表示部120のスクリーンに向けてコンテンツを閲覧する様子がカメラ画像として撮影される。かかるコンテンツは、文書、映像、動画などを始め、任意の種類の表示物であってよく、脈波検出装置100に保存されたものであってもよいし、Webサーバなどの外部装置から取得されたものであってもかまわない。このように、コンテンツが表示されると、コンテンツの閲覧が終了するまで使用者が表示部120を注視する可能性が高いので、使用者の顔が映ったカメラ画像、すなわち脈波の検出が可能な画像が継続して取得されることが期待できる。
At this time, when the above-described pulse wave detection program operates in the background, photographing by the
また、上記の脈波検出プログラムが使用者による起動操作によって起動された場合には、表示部120による画像表示や図示しないスピーカからの音声出力などを通じて、脈波を検出し易いカメラ画像が撮像されるように画像の撮影操作を案内できる。例えば、脈波検出プログラムは、入力デバイスを介して起動されると、カメラ110を起動する。これを受けて、カメラ110は、カメラ110の撮影範囲に収容された被写体の撮影を開始する。このとき、使用者の顔を撮影する場合には、脈波検出プログラムは、カメラ110が撮影する画像を表示部120に表示させつつ、使用者の鼻を映す目標位置を照準として表示させることもできる。これによって、使用者の眼、耳、鼻や口などの顔パーツの中でも使用者の鼻が撮影範囲の中心部分に収まった状態で撮影できるようにする。その後、カメラ110によって使用者の顔が撮影されたカメラ画像を画像メモリ111へ保存する。
Further, when the above-described pulse wave detection program is activated by a user's activation operation, a camera image that can easily detect a pulse wave is captured through image display by the
画像メモリ111は、画像を記憶する記憶デバイスである。一態様としては、画像メモリ111には、カメラ110によって撮影が実行される度に、当該撮影で得られたカメラ画像が保存される。このとき、画像メモリ111には、所定の圧縮符号化方式によってエンコードされた動画が保存されることとしてもよいし、使用者の顔が映る静止画の集合が保存されることとしてもよい。なお、ここでは、カメラ110によって撮影されたカメラ画像が保存される場合を例示したが、ネットワークを介して受信した画像が保存されることとしてもかまわない。
The
第1取得部112は、カメラ画像を取得する処理部である。一態様としては、第1取得部112は、カメラ110によって撮像されたカメラ画像を取得する。他の一態様としては、第1取得部112は、カメラ画像を蓄積するハードディスクや光ディスクなどの補助記憶装置またはメモリカードやUSB(Universal Serial Bus)メモリなどのリムーバブルメディアからカメラ画像を取得することもできる。更なる一態様としては、第1取得部112は、外部装置からネットワークを介して受信することによってカメラ画像を取得することもできる。なお、第1取得部112は、CCDやCMOSなどの撮像素子による出力から得られる2次元のビットマップデータやベクタデータなどの画像データを用いて処理を実行する場合を例示したが、1つのディテクタから出力される信号をそのまま取得して後段の処理を実行させることとしてもよい。
The
生体抽出部113は、カメラ画像から生体領域を抽出する処理部である。一態様としては、生体抽出部113は、第1取得部112によって取得されたカメラ画像から所定の顔パーツを基準とする生体領域を抽出する。例えば、生体抽出部113は、カメラ画像にテンプレートマッチング等の画像処理を実行することによって被験者である使用者の眼、耳、鼻や口などの顔の器官、いわゆる顔パーツのうち特定の顔パーツ、すなわち使用者の鼻を検出する。その上で、生体抽出部113は、使用者の鼻を中心とし、中心から所定の範囲に含まれる生体領域を抽出する。これによって、使用者の鼻、鼻の周辺に位置する頬の一部などの顔中心部分を含んだ生体領域の画像が脈波の検出に使用する画像として抽出される。その後、生体抽出部113は、原画像であるカメラ画像から抽出した生体領域の画像を第1算出部114へ出力する。尚、特定の顔パーツは鼻に限定するものではなく、眼や口を選択しても良い。
The living
第1算出部114は、生体領域に含まれる各画素が持つ画素値の代表値を算出する処理部である。一態様としては、第1算出部114は、生体抽出部113によって抽出された生体領域に含まれる各画素が持つ画素値に所定の統計処理を実行する。例えば、RGBの3種類の受光素子によってカメラ画像が撮像される場合には、第1算出部114は、生体領域に含まれる各画素が持つR成分の輝度値、G成分の輝度値およびB成分の輝度値のうちG成分の輝度値に対象を絞って平均処理を実行する。かかる平均処理の一例としては、相加平均を始め、加重平均や移動平均などの平均処理全般を適用することもできる。また、上記の統計処理は、平均処理に限定されず、中央値や最頻値を計算することとしてもかまわない。これによって、生体領域に含まれる各画素が持つG成分の輝度値の平均値が当該生体領域を代表する代表値として算出される。なお、ここでは、RGBの3つの波長成分のうち血液による吸光特性が最も高いG成分の輝度値を平均する場合を例示したが、他の波長成分、例えばR成分やB成分の輝度値を平均することとしてもかまわない。さらに、G成分やR成分やB成分の輝度値の平均値を適当に重み付け加算しても良い。
The
BPF115は、所定の周波数帯の信号成分だけを通過させてそれ以外の周波数帯の信号成分を除去するバンドパスフィルタである。一態様としては、BPF115は、第1算出部114によって算出された生体領域の代表値の時系列データ、すなわち生体領域の輝度信号から脈波が採り得る周波数帯の信号成分を抽出する。ここで、脈波が採り得る周波数帯の一例としては、0.5Hz以上4Hz以下の周波数帯、言い換えれば30bpm(beats per minute)以上240bpm以下の周波数帯が挙げられる。このように、BPF115を通過させた生体領域の輝度信号Piには、脈波に対応する輝度変化が含まれる。なお、BPF115は、ハードウェアによって実装されることとしてもよいし、ソフトウェアによって実装されることとしてもよい。
The
検出部116は、BPF115によって出力された生体領域の輝度信号Piから使用者の脈波を検出する処理部である。一態様としては、検出部116は、BPF115によって出力された生体領域の輝度信号Piの波形をそのまま脈波波形として出力することができる。他の一態様としては、検出部116は、生体領域の輝度信号Piの振幅値が出力される度に、輝度信号Piの波形のピーク検出、例えば微分波形のゼロクロス点の検出などを実行することによって脈拍数を計算することができる。例えば、検出部116は、ピーク検出によって生体領域の輝度信号Piの波形からピークが検出された場合に、当該ピーク、すなわち極大点が検出されたサンプリング時間を図示しない内部メモリに保存しておく。その上で、検出部116は、ピークが出現した時点で、所定のパラメータn個前の極大点との時刻差を求め、当該時間差をnで除算することによって脈拍数を算出することができる。なお、ここでは、ピーク間隔によって脈拍数を検出する場合を例示したが、脈波波形を周波数成分へ変換することによって脈波に対応する周波数帯、すなわち0.5Hz以上4Hz以下でピークをとる周波数から脈拍数を検出することもできる。
The
このようにして得られる脈拍数や脈波波形は、脈波検出装置100が有する表示部120を始め、任意の出力先へ出力することができる。例えば、脈拍数や脈拍周期のゆらぎから自律神経の働きを診断したり、脈波波形から心疾患等を診断したりする診断プログラムが脈波検出装置100にインストールされている場合には、診断プログラムを出力先とすることができる。また、診断プログラムをWebサービスとして提供するサーバ装置などを出力先とすることもできる。さらに、脈波検出装置100を利用する利用者の関係者、例えば介護士や医者などが使用する端末装置を出力先とすることもできる。これによって、院外、例えば在宅や在席のモニタリングサービスも可能になる。なお、診断プログラムの測定結果や診断結果も、脈波検出装置100の表示部120を始め、関係者の端末装置に表示させることができるのも言うまでもない。このように、脈波の検出結果を用いることによって使用者の健康管理が可能となる。
The pulse rate and pulse wave waveform obtained in this way can be output to any output destination including the
ここで、一連のカメラ画像には、使用者の顔の脈波に対応する輝度変化が映り込む反面で、顔の脈波以外の輝度変化が映り込む余地もある。例えば、使用者が画面の表示画像を閲覧しながら脈波を検出する場合には、表示部120によって画面の表示画像として出力される画面光が使用者の顔で反射することによってカメラ110へ入射し、その反射光がカメラ画像に映り込むことがある。このように、カメラ画像に映り込んだ画面光の変化は、脈波に対応する輝度変化よりも大きな変化として検出されることが多く、誤検出の原因となる。
Here, while a series of camera images includes a luminance change corresponding to the pulse wave of the user's face, there is also room for a luminance change other than the face pulse wave to be reflected. For example, when the user detects a pulse wave while viewing the display image on the screen, the screen light output as the display image on the screen by the
そこで、本実施例に係る脈波検出装置100は、カメラ画像から脈波の検出を実行した場合に誤検出のおそれがあるか否かを画面の輝度情報を用いて判定する。かかる判定を実現するために、フレームバッファ121、第2取得部122、第2算出部124及び照度センサ130が検出制御部150によって用いられる。
Therefore, the pulse
フレームバッファ121は、画面の表示画像を記憶する記憶デバイスである。例えば、フレームバッファ121には、脈波検出装置100が有するプロセッサ上で動作するOSやアプリケーションプログラムの処理結果として表示部120に表示される画面の表示画像が描画される。なお、フレームバッファ121は、プロセッサに接続される主記憶装置が持つ記憶領域の一部を割り当てることによって実現してもよいし、専用のメモリ装置を設けることとしてもかまわない。
The
第2取得部122は、画面の表示に関する輝度情報を取得する処理部である。一態様としては、第2取得部122は、OSやアプリケーションプログラムが提供するAPI(Application Program Interface)を用いて、フレームバッファ121に保存された画面の表示画像を取得する。他の一態様としては、フレームバッファ121に保存された画面の表示画像のうち指定色の輝度の代表値を取得する機能をOSやアプリケーションプログラム等に追加しておく。その上で、第2取得部122は、OSやアプリケーションプログラムに追加しておいた機能を呼び出すことによって画面の表示に関する輝度情報を取得することもできる。更なる一態様としては、第2取得部122は、カメラ110とは別のカメラによって表示部120が撮像された画像を画面の表示に関する輝度情報として取得することもできる。
The
第2算出部124は、画面の表示画像に含まれる各画素が持つ画素値の代表値を算出する処理部である。一態様としては、第2算出部124は、第2取得部122によって取得された画面の表示画像に含まれる各画素が持つ画素値に所定の統計処理を実行する。例えば、画面の表示画像がRGB表色系に対応する輝度値を持つ場合には、第2算出部124は、画面の表示画像に含まれる各画素が持つR成分の輝度値、G成分の輝度値およびB成分の輝度値のうちG成分の輝度値に対象を絞って平均処理を実行する。これによって、画面の表示画像に含まれる各画素が持つG成分の輝度値の平均値が当該画面の表示画像を代表する代表値として算出される。なお、ここでは、RGBの3つの波長成分のうち血液による吸光特性が最も高いG成分の輝度値を平均する場合を例示したが、他の波長成分、例えばR成分やB成分の輝度値を平均することとしてもかまわない。さらに、G成分やR成分やB成分の輝度値の平均値を適当に重み付け加算しても良い。
The
照度センサ130は、周囲の明るさを感知するセンサである。一態様としては、脈波検出装置100が携帯端末装置として実装される場合には、節電対策または暗所対策として携帯端末装置に標準装備された照度センサをそのまま流用できる。他の一態様としては、脈波検出装置100が情報処理装置として実装される場合には、ディスプレイ等に内蔵または付設された照度センサを流用することができる。なお、照度センサ130の種類は、フォトトランジスタやフォトダイオードを用いるものであってもよいし、あるいはフォトダイオードにアンプ回路を追加したものであってもかまわない。
The illuminance sensor 130 is a sensor that senses ambient brightness. As one aspect, when the pulse
検出制御部150は、画面の輝度情報を用いて、検出部116による脈波の検出を実行させるか否かを制御する処理部である。かかる検出制御部150は、図1に示すように、照度判定部151および変化量判定部152を有する。
The detection control unit 150 is a processing unit that controls whether or not to detect the pulse wave by the
このうち、照度判定部151は、照度センサ130によって検知された照度が所定の閾値以上であるか否かを判定する処理部である。一態様としては、照度判定部151は、画像メモリ111に保存されたカメラ画像が更新される度に、照度センサ130によって検知された照度を取得する。その上で、照度判定部151は、照度センサ130によって検知された照度が所定の閾値以上であるか否かを判定する。かかる照度の閾値判定は、使用者が表示部120を閲覧する周囲の環境光の明るさが脈波の検出に影響があるかどうかを判別する目的で実行される。
Among these, the
例えば、周囲が十分に明るい場合には、環境光の明るさが画面の反射光を無視できる程度に大きい状況でカメラ画像が撮影されたと推定できる。この場合には、必ずしも画面の輝度変化がカメラ画像に影響を与えるかどうかを判定せずともよい。したがって、検出制御部150は、照度が閾値以上である場合には、第2取得部122による画面の表示画像の取得を休止させるとともに、第1取得部112にカメラ画像を取得させる。これによって、第2取得部122及び第2算出部124によって実行される処理の負荷および処理の実行によって消費される電力を低減できるとともに、脈波の検出に有利なカメラ画像を用いて脈波の検出を実行させることができる。なお、ここでは、第2取得部122による画面の表示画像の取得を休止させる場合を例示したが、第2算出部124による画面の表示画像の代表値の算出を休止させることとしてもかまわない。
For example, if the surroundings are sufficiently bright, it can be estimated that the camera image was shot in a situation where the brightness of the ambient light is large enough to ignore the reflected light on the screen. In this case, it is not always necessary to determine whether a change in screen brightness affects the camera image. Therefore, when the illuminance is equal to or greater than the threshold value, the detection control unit 150 pauses the acquisition of the display image on the screen by the
一方、周囲が十分に明るくなく暗所である場合には、環境光の明るさが画面の反射光を無視できる程には大きくない状況でカメラ画像が撮影されたと推定できる。この場合には、画面の輝度変化がカメラ画像に悪影響を与える余地が残される。したがって、検出制御部150は、照度が閾値未満である場合には、第2取得部122による画面の表示画像の取得を休止させずに、画面の表示画像の取得を実行させる。
On the other hand, if the surroundings are not sufficiently bright and dark, it can be estimated that the camera image was shot in a situation where the brightness of the ambient light is not so great that the reflected light from the screen can be ignored. In this case, there remains room for a change in screen brightness to adversely affect the camera image. Therefore, when the illuminance is less than the threshold value, the detection control unit 150 causes the
なお、ここでは、照度判定部151に照度が閾値以上であるか否かを判定させる場合を例示したが、使用者が画面を閲覧する環境が過度な暗所である場合には、脈波に対応する輝度変化をカメラ画像でとらえることも困難となる。このため、照度が過度な暗所であるか否かを判別する閾値以下である場合には、第1取得部112によるカメラ画像の取得を休止させることによって脈波の検出を休止させることとしてもよい。
In addition, although the case where the
変化量判定部152は、第2算出部124によって出力される画面の表示画像の輝度の代表値の変化が所定の閾値以上であるか否かを判定する処理部である。一態様としては、変化量判定部152は、照度判定部151によって照度が閾値以上であると判定された場合に、次のような処理を実行する。例えば、変化量判定部152は、第2算出部124によって出力された画面の表示画像の代表値と、当該画面の表示画像よりも前にフレームバッファ121から取得された画面の表示画像の代表値との間で差を計算する。このようにフレーム間で代表値の差を計算することによって画面の表示画像の輝度の変化量が算出される。その上で、変化量判定部152は、画面の表示画像の輝度の変化量が所定の閾値以上であるか否かを判定する。かかる変化量の閾値判定は、画面の表示画像が脈波の検出に悪影響を与えるかどうかを判別する目的で実行される。
The change
例えば、画面の表示画像の輝度の変化量が脈波に対応する輝度変化よりも大きい場合には、画面の表示画像の反射光がノイズとなって脈波が誤検出される可能性が高まる。したがって、検出制御部150は、第1取得部112によるカメラ画像の取得を休止させる。これによって、第1取得部112以降の機能部によって実行される処理の負荷および処理の実行によって消費される電力を低減できるとともに、脈波の誤検出を抑制できる。なお、ここでは、一例として、第1取得部112によるカメラ画像の取得を休止させる場合を例示したが、第1取得部112よりも後段のうちいずれの機能部による処理を休止することとしてもよい。例えば、生体抽出部113、第1算出部114、BPF115または検出部116のいずれの機能部による処理を休止してもよく、また、検出部116によって検出された脈波の検出結果を破棄させることとしてもよい。このとき、前段の機能部で実行される処理を休止するほど処理負荷および消費電力をより大きく削減できる。
For example, when the amount of change in luminance of the display image on the screen is larger than the luminance change corresponding to the pulse wave, the possibility that the pulse wave is erroneously detected increases due to the reflected light of the display image on the screen as noise. Therefore, the detection control unit 150 pauses the acquisition of the camera image by the
一方、画面の表示画像の輝度の変化量が脈波に対応する輝度変化よりも小さい場合には、画面の表示画像の反射光がノイズとなって脈波が誤検出される可能性は薄まる。したがって、検出制御部150は、第1取得部112にカメラ画像を取得させる。これによって、第1取得部112よりも後段の各機能部の処理が実行される結果、脈波の検出が実行されることになる。
On the other hand, when the amount of change in luminance of the display image on the screen is smaller than the luminance change corresponding to the pulse wave, the possibility that the reflected light of the display image on the screen becomes noise and the pulse wave is erroneously detected is reduced. Therefore, the detection control unit 150 causes the
なお、図1に示した各機能部は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などに脈波検出プログラムを実行させることによって実現できる。また、上記の各機能部は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などのハードワイヤードロジックによっても実現できる。上記の機能部には、第1取得部112、生体抽出部113、第1算出部114、BPF115、検出部116、第2取得部122、第2算出部124および検出制御部150などが含まれる。
Each functional unit shown in FIG. 1 can be realized by causing a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like to execute a pulse wave detection program. Each functional unit described above can also be realized by a hard wired logic such as an application specific integrated circuit (ASIC) or a field programmable gate array (FPGA). The functional units include the
また、上記の画像メモリ111やフレームバッファ121には、一例として、半導体メモリ素子を採用できる。例えば、半導体メモリ素子の一例としては、VRAM(Video Random Access Memory)、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)やフラッシュメモリ(flash memory)などが挙げられる。また、半導体メモリ素子等のメモリ装置の代わりに、ハードディスク、光ディスクなどの補助記憶装置を代用することとしてもよい。
For example, a semiconductor memory element can be used for the
[処理の流れ]
続いて、本実施例に係る脈波検出装置100の処理の流れについて説明する。図3は、実施例1に係る脈波検出処理の手順を示すフローチャートである。この脈波検出処理は、画像メモリ111に保存されたカメラ画像が更新される度に処理を起動し、カメラ画像が更新されなくなるまで繰り返し実行される処理である。なお、図示しない入力デバイス等を介して終了操作を受け付けたり、コンテンツの表示が終了することによってカメラ画像の撮影が終了された場合には、脈波検出処理は終了される。
[Process flow]
Next, the process flow of the pulse
図3に示すように、照度判定部151は、画像メモリ111に保存されたカメラ画像が更新されると、照度センサ130によって検知された照度を取得する(ステップS101)。その上で、照度判定部151は、ステップS101で取得された照度が所定の閾値以上であるか否かを判定する(ステップS102)。
As illustrated in FIG. 3, when the camera image stored in the
このとき、照度が閾値以上である場合(ステップS102Yes)には、環境光の明るさが画面の反射光を無視できる程度に大きい状況でカメラ画像が撮影されたと推定できる。この場合には、必ずしも画面の輝度変化がカメラ画像に影響を与えるかどうかを判定せずともよい。したがって、検出制御部150は、ステップS103〜ステップS105の処理をとばし、ステップS106の処理へ移行する。 At this time, if the illuminance is equal to or greater than the threshold (Yes in step S102), it can be estimated that the camera image was captured in a situation where the brightness of the ambient light is large enough to ignore the reflected light on the screen. In this case, it is not always necessary to determine whether a change in screen brightness affects the camera image. Therefore, the detection control unit 150 skips steps S103 to S105, and proceeds to step S106.
一方、照度が閾値未満である場合(ステップS102No)には、環境光の明るさが画面の反射光を無視できる程には大きくない状況でカメラ画像が撮影されたと推定できる。この場合には、第2取得部122は、OSやアプリケーションプログラムが提供するAPIを用いて、フレームバッファ121に保存された画面の表示画像を取得する(ステップS103)。
On the other hand, if the illuminance is less than the threshold (No in step S102), it can be estimated that the camera image was shot in a situation where the brightness of the ambient light is not so great that the reflected light from the screen can be ignored. In this case, the
続いて、第2算出部124は、ステップS103で取得された画面の表示画像に含まれる各画素が持つ画素値に所定の統計処理を実行することによって当該画面の表示画像を代表する代表値を算出する(ステップS104)。
Subsequently, the
そして、変化量判定部152は、ステップS104で算出された画面の表示画像の代表値と、当該画面の表示画像よりも前に取得された画面の表示画像の代表値との間で差から算出された画面の表示画像の輝度の変化量が所定の閾値以上であるか否かを判定する(ステップS105)。
Then, the change
ここで、画面の表示画像の輝度の変化量が閾値以上である場合(ステップS105Yes)には、画面の表示画像の反射光がノイズとなって脈波が誤検出される可能性が高まる。したがって、検出制御部150は、第1取得部112によるカメラ画像の取得を休止させ、そのまま処理を終了する。
Here, when the amount of change in luminance of the display image on the screen is equal to or greater than the threshold (Yes in step S105), the possibility that the reflected light of the display image on the screen becomes noise and the pulse wave is erroneously detected increases. Therefore, the detection control unit 150 pauses the acquisition of the camera image by the
一方、画面の表示画像の輝度の変化量が閾値未満である場合(ステップS105No)には、画面の表示画像の反射光がノイズとなって脈波が誤検出される可能性は薄まる。したがって、検出制御部150は、第1取得部112にカメラ画像を取得させる(ステップS106)。
On the other hand, when the amount of change in luminance of the display image on the screen is less than the threshold (No in step S105), the possibility that the reflected light of the display image on the screen becomes noise and the pulse wave is erroneously detected is reduced. Therefore, the detection control unit 150 causes the
続いて、生体抽出部113は、ステップS106で取得されたカメラ画像から生体領域を抽出する(ステップS107)。その後、第1算出部114は、ステップS107で抽出された生体領域に含まれる各画素が持つ画素値の代表値を算出する(ステップS108)。
Subsequently, the living
続いて、BPF115は、生体領域の代表値の時系列データ、すなわち生体領域の輝度信号から脈波が採り得る周波数帯の信号成分を抽出する(ステップS109)。その後、検出部116は、BPF115によって出力された生体領域の輝度信号Piから使用者の脈波を検出し(ステップS110)、処理を終了する。
Subsequently, the
[処理の流れ]
上述してきたように、本実施例に係る脈波検出装置100は、カメラ110によって画面の表示画像を閲覧する被験者の生体が撮影される場合に、画面の表示に関する輝度情報を用いてカメラ画像から脈波を検出させるか否かを制御する。このため、本実施例に係る脈波検出装置100では、画面の表示がカメラ画像に悪影響を与える場合には、脈波の検出を休止させる一方で、画面の表示がカメラ画像に悪影響を与えない場合には、脈波の検出を継続させることができる。それゆえ、本実施例に係る脈波検出装置100では、脈波の検出に有利なカメラ画像に絞って脈波の検出を実行できる。したがって、本実施例に係る脈波検出装置100によれば、脈波の検出精度の低下を抑制できる。
[Process flow]
As described above, the pulse
さて、上記の実施例1では、画面の表示画像の輝度の変化量が閾値以上であるか否かによって脈波の検出を実行させるか否かを制御する場合を例示したが、画面の表示画像の輝度の変化量が閾値以上であるからといって必ずしも脈波の検出が不可能な訳ではない。なぜなら、画面の表示画像の輝度の変化量が閾値以上である場合でも、画面の表示画像の輝度が脈波が採り得る周波数帯で変化しなければ、BPF115によって画面の表示画像の輝度変化を除去し得るからである。そこで、本実施例では、画面の表示画像の輝度が脈波が採り得る周波数帯で変化するか否かによって脈波の検出を実行させるか否かを制御する例について説明する。
In the first embodiment, the case where the pulse wave detection is controlled according to whether or not the amount of change in the luminance of the display image on the screen is equal to or greater than the threshold is exemplified. The fact that the amount of change in luminance is greater than or equal to the threshold does not necessarily mean that pulse waves cannot be detected. This is because even if the amount of change in the brightness of the display image on the screen is greater than or equal to the threshold, if the brightness of the display image on the screen does not change in the frequency band that can be taken by the pulse wave, the
図4は、実施例2に係る脈波検出装置の機能的構成を示すブロック図である。図4に示す脈波検出装置200は、図1に示した脈波検出装置100と比較して、BPF220及び検出制御部250を有する点が相違する。なお、図4には、図1に示した機能部と同様の機能を発揮する機能部に同一の符号を付し、その説明を省略することとする。
FIG. 4 is a block diagram illustrating a functional configuration of the pulse wave detection device according to the second embodiment. The pulse
BPF220は、BPF115と同様に、所定の周波数帯の信号成分だけを通過させてそれ以外の周波数帯の信号成分を除去するバンドパスフィルタである。一態様としては、BPF220は、第2算出部124によって算出された画面の表示画像の代表値の時系列データ、すなわち画面の表示画像の輝度信号から脈波が採り得る周波数帯の信号成分を抽出する。ここで、脈波が採り得る周波数帯の一例としては、0.5Hz以上4Hz以下の周波数帯、言い換えれば30bpm(beats per minute)以上240bpm以下の周波数帯が挙げられる。なお、BPF115は、ハードウェアによって実装されることとしてもよいし、ソフトウェアによって実装されることとしてもよい。
Similar to the
検出制御部250は、図1に示した検出制御部150に比べて、変化量判定部152の代わりに、BPF220によって出力された画面の表示画像の輝度信号Liの振幅値が所定の閾値以上であるか否かを判定する振幅判定部252を有する点が異なる。
Compared to the detection control unit 150 illustrated in FIG. 1, the detection control unit 250 has an amplitude value of the luminance signal Li of the display image of the screen output by the
図5は、実施例2に係る脈波検出処理の手順を示すフローチャートである。この脈波検出処理は、図3に示した脈波検出処理と同様に、画像メモリ111に保存されたカメラ画像が更新される度に処理を起動し、カメラ画像が更新されなくなるまで繰り返し実行される処理である。なお、図5には、図3に示した脈波検出処理と同様の処理が実行されるステップには同様のステップ番号を付し、処理が相違するステップには異なるステップ番号を付している。
FIG. 5 is a flowchart illustrating the procedure of the pulse wave detection process according to the second embodiment. Similar to the pulse wave detection process shown in FIG. 3, this pulse wave detection process is started every time the camera image stored in the
図5に示すように、照度判定部151は、画像メモリ111に保存されたカメラ画像が更新されると、照度センサ130によって検知された照度を取得する(ステップS101)。その上で、照度判定部151は、ステップS101で取得された照度が所定の閾値以上であるか否かを判定する(ステップS102)。
As shown in FIG. 5, when the camera image stored in the
このとき、照度が閾値以上である場合(ステップS102Yes)には、環境光の明るさが画面の反射光を無視できる程度に大きい状況でカメラ画像が撮影されたと推定できる。この場合には、必ずしも画面の輝度変化がカメラ画像に影響を与えるかどうかを判定せずともよい。したがって、検出制御部250は、ステップS103〜ステップS202の処理をとばし、ステップS106の処理へ移行する。 At this time, if the illuminance is equal to or greater than the threshold (Yes in step S102), it can be estimated that the camera image was captured in a situation where the brightness of the ambient light is large enough to ignore the reflected light on the screen. In this case, it is not always necessary to determine whether a change in screen brightness affects the camera image. Therefore, the detection control unit 250 skips steps S103 to S202, and proceeds to step S106.
一方、照度が閾値未満である場合(ステップS102No)には、環境光の明るさが画面の反射光を無視できる程には大きくない状況でカメラ画像が撮影されたと推定できる。この場合には、第2取得部122は、OSやアプリケーションプログラムが提供するAPIを用いて、フレームバッファ121に保存された画面の表示画像を取得する(ステップS103)。
On the other hand, if the illuminance is less than the threshold (No in step S102), it can be estimated that the camera image was shot in a situation where the brightness of the ambient light is not so great that the reflected light from the screen can be ignored. In this case, the
続いて、第2算出部124は、ステップS103で取得された画面の表示画像に含まれる各画素が持つ画素値に所定の統計処理を実行することによって当該画面の表示画像を代表する代表値を算出する(ステップS104)。その後、BPF220は、画面の表示画像の代表値の時系列データ、すなわち画面の表示画像の輝度信号から脈波が採り得る周波数帯の信号成分を抽出する(ステップS201)。
Subsequently, the
そして、振幅判定部252は、ステップS201で脈波が採り得る周波数帯の信号成分が抽出された画面の表示画像の輝度信号Liの振幅値が所定の閾値以上であるか否かを判定する(ステップS202)。 Then, the amplitude determination unit 252 determines whether or not the amplitude value of the luminance signal Li of the display image on the screen from which the signal component of the frequency band that can be taken by the pulse wave is extracted in step S201 is equal to or greater than a predetermined threshold ( Step S202).
ここで、画面の表示画像の輝度信号Liの振幅値が閾値以上である場合(ステップS202Yes)には、画面の表示画像の輝度変化と脈波に対応する輝度変化とが互いに類似し、画面の表示画像の反射光がノイズとなって脈波が誤検出される可能性がより高まる。したがって、検出制御部250は、第1取得部112によるカメラ画像の取得を休止させ、そのまま処理を終了する。
Here, when the amplitude value of the luminance signal Li of the display image on the screen is equal to or greater than the threshold (Yes in step S202), the luminance change of the display image on the screen and the luminance change corresponding to the pulse wave are similar to each other, The possibility that the reflected light of the display image becomes noise and the pulse wave is erroneously detected is further increased. Therefore, the detection control unit 250 pauses the acquisition of the camera image by the
一方、画面の表示画像の輝度信号Liの振幅値が閾値未満である場合(ステップS202No)には、画面の表示画像の輝度変化と脈波に対応する輝度変化とが互いに類似しておらず、画面の表示画像の反射光がノイズとなって脈波が誤検出される可能性は薄まる。したがって、検出制御部250は、第1取得部112にカメラ画像を取得させる(ステップS106)。
On the other hand, when the amplitude value of the luminance signal Li of the display image on the screen is less than the threshold (No in step S202), the luminance change of the display image on the screen and the luminance change corresponding to the pulse wave are not similar to each other, The possibility that the reflected light of the display image on the screen becomes noise and the pulse wave is erroneously detected is reduced. Therefore, the detection control unit 250 causes the
続いて、生体抽出部113は、ステップS106で取得されたカメラ画像から生体領域を抽出する(ステップS107)。その後、第1算出部114は、ステップS107で抽出された生体領域に含まれる各画素が持つ画素値の代表値を算出する(ステップS108)。
Subsequently, the living
続いて、BPF115は、生体領域の代表値の時系列データ、すなわち生体領域の輝度信号から脈波が採り得る周波数帯の信号成分を抽出する(ステップS109)。その後、検出部116は、BPF115によって出力された生体領域の輝度信号Piから使用者の脈波を検出し(ステップS110)、処理を終了する。
Subsequently, the
[実施例2の効果]
上述してきたように、本実施例に係る脈波検出装置200は、画面の表示画像の輝度が脈波が採り得る周波数帯で変化するか否かによって脈波の検出を実行させるか否かを制御する。このため、本実施例に係る脈波検出装置200では、画面の表示画像の輝度が変化する大きさのみならず、画面の表示画像の輝度変化と目的とする脈波の輝度変化とが互いに類似する場合に絞って脈波の検出を休止させることができる。それゆえ、本実施例に係る脈波検出装置200では、画面の表示画像の輝度が大きく変化する場合でも、BPF115等によってノイズ除去が可能である場合には、脈波の検出を継続させることができる。したがって、本実施例に係る脈波検出装置200によれば、脈波の検出精度の低下を抑制できるとともに、カメラ画像から脈波が検出される機会を増加させることができる。
[Effect of Example 2]
As described above, the pulse
さて、上記の実施例2では、脈波が採り得る周波数帯の成分が抽出された画面の表示画像の輝度信号Liの振幅値を監視することによって画面の表示画像の輝度変化と目的とする脈波の輝度変化とが互いに類似するか否かを判別する場合を例示したが、これ以外の方法によって両者の輝度変化が類似するか否かを判定することもできる。例えば、本実施例では、互いに脈波が採り得る周波数帯の成分が抽出された生体領域の輝度信号Piの波形および画面の表示画像の輝度信号Liの波形の間で類似度を算出することによって画面の表示画像の輝度変化と目的とする脈波の輝度変化とが類似するか否かを判別する例について説明する。 In the second embodiment, the luminance change of the display image on the screen and the target pulse are monitored by monitoring the amplitude value of the luminance signal Li of the display image on the screen from which the component of the frequency band that can be taken by the pulse wave is extracted. Although the case where it is determined whether or not the luminance change of the wave is similar to each other is illustrated, it is also possible to determine whether or not the luminance change of both is similar by other methods. For example, in the present embodiment, by calculating the similarity between the waveform of the luminance signal Pi of the living body region from which the components of the frequency bands that can be taken by the pulse waves are extracted and the waveform of the luminance signal Li of the display image on the screen. An example of determining whether or not the luminance change of the display image on the screen is similar to the luminance change of the target pulse wave will be described.
図6は、実施例3に係る脈波検出装置の機能的構成を示すブロック図である。図6に示す脈波検出装置300は、図4に示した脈波検出装置200と比較して、検出制御部350を有する点が相違する。さらに、図6に示す検出制御部350は、図4に示した検出制御部250に比べて、類似度算出部351と、類似度判定部352とを有する点も異なる。
FIG. 6 is a block diagram illustrating a functional configuration of the pulse wave detection device according to the third embodiment. The pulse
ここでも、上記の実施例2の説明と同様に、図6には、図4に示した機能部と同様の機能を発揮する機能部に同一の符号を付し、その説明を省略することとする。なお、図6には、図1および図4に示した照度センサ130及び照度判定部151の図示が省略されているが、これら照度センサ130及び照度判定部151をさらに有することとしてもかまわない。また、図1および図4に示した脈波検出装置100または脈波検出装置200において照度センサ130及び照度判定部151を省くこともできる。
Here, similarly to the description of the second embodiment, in FIG. 6, the same reference numerals are given to the functional units that perform the same functions as the functional units shown in FIG. 4, and the description thereof is omitted. To do. 6 does not show the illuminance sensor 130 and the
類似度算出部351は、BPF115によって出力される生体領域の輝度信号Piの波形と、BPF220によって出力される画面の表示画像の輝度信号Liの波形との間で類似度を算出する処理部である。一態様としては、類似度算出部351は、下記の式(1)を用いて、生体領域の輝度信号Piと、画面の表示画像の輝度信号Liとの間で相関係数を計算し、当該相関係数を類似度として算出する。下記の式(1)において、「Lm」は、画面の表示画像の輝度信号Liの平均値を指し、「Pm」は、生体領域の輝度信号Piの平均値を指し、「Σ」は、i=1〜i=nまでの総和を指す。
The
類似度判定部352は、類似度算出部351によって算出された類似度が所定の閾値、例えば「0.2」以上であるか否かを判定する処理部である。ここで、類似度が閾値以上である場合には、画面の表示画像の輝度変化が脈波に重畳されて、画面の表示画像の反射光がノイズとなって脈波が誤検出される可能性が高い。したがって、検出制御部350は、検出部116による脈波の検出を休止させる。一方、類似度が閾値未満である場合には、画面の表示画像の輝度変化が脈波に重畳されておらず、画面の表示画像の反射光がノイズとなって脈波が誤検出される可能性は低い。したがって、検出制御部350は、検出部116に生体領域の輝度信号Piから脈波を検出させる。
The
図7は、実施例3に係る脈波検出処理の手順を示すフローチャートである。この脈波検出処理は、図5に示した脈波検出処理と同様に、画像メモリ111に保存されたカメラ画像が更新される度に処理を起動し、カメラ画像が更新されなくなるまで繰り返し実行される処理である。
FIG. 7 is a flowchart illustrating the procedure of the pulse wave detection process according to the third embodiment. Like the pulse wave detection process shown in FIG. 5, this pulse wave detection process is started every time the camera image stored in the
図7に示すように、画像メモリ111に保存されたカメラ画像が更新されると、第2取得部122は、OSやアプリケーションプログラムが提供するAPIを用いて、フレームバッファ121に保存された画面の表示画像を取得する(ステップS301)。
As illustrated in FIG. 7, when the camera image stored in the
続いて、第2算出部124は、ステップS301で取得された画面の表示画像に含まれる各画素が持つ画素値に所定の統計処理を実行することによって当該画面の表示画像を代表する代表値を算出する(ステップS302)。その後、BPF220は、画面の表示画像の代表値の時系列データ、すなわち画面の表示画像の輝度信号から脈波が採り得る周波数帯の信号成分を抽出する(ステップS303)。
Subsequently, the
一方、第1取得部112は、画像メモリ111に保存されたカメラ画像を取得する(ステップS304)。続いて、生体抽出部113は、ステップS304で取得されたカメラ画像から生体領域を抽出する(ステップS305)。
On the other hand, the
続いて、第1算出部114は、ステップS305で抽出された生体領域に含まれる各画素が持つ画素値の代表値を算出する(ステップS306)。そして、BPF115は、生体領域の代表値の時系列データ、すなわち生体領域の輝度信号から脈波が採り得る周波数帯の信号成分を抽出する(ステップS307)。
Subsequently, the
その後、類似度算出部351は、ステップS303で脈波が採り得る周波数帯の成分が抽出された画面の表示画像の輝度信号Liの波形と、ステップS307で脈波が採り得る周波数帯の成分が抽出された生体領域の輝度信号Piの波形との間で類似度を算出する(ステップS308)。
After that, the
そして、類似度判定部352は、ステップS308で算出された類似度が所定の閾値以上であるか否かを判定する(ステップS309)。ここで、類似度が閾値以上である場合(ステップS309Yes)には、画面の表示画像の輝度変化が脈波に重畳されて、画面の表示画像の反射光がノイズとなって脈波が誤検出される可能性が高い。したがって、検出制御部350は、検出部116による脈波の検出を休止し、そのまま処理を終了する。
Then, the
一方、類似度が閾値未満である場合(ステップS309No)には、画面の表示画像の輝度変化が脈波に重畳されておらず、画面の表示画像の反射光がノイズとなって脈波が誤検出される可能性は低い。したがって、検出制御部350は、検出部116に生体領域の輝度信号Piから脈波を検出させる。この場合には、検出部116は、BPF115によって出力された生体領域の輝度信号Piから使用者の脈波を検出し(ステップS310)、処理を終了する。
On the other hand, when the similarity is less than the threshold (No in step S309), the luminance change of the display image on the screen is not superimposed on the pulse wave, and the reflected light of the display image on the screen becomes noise and the pulse wave is erroneous. It is unlikely to be detected. Therefore, the
なお、図7に示したフローチャートでは、ステップS301〜ステップS303の処理が実行された後に、ステップS304〜ステップS307の処理を実行する例を図示したが、これらの処理が実行される順序は、入れ替えることもできるし、並列に実行することもできる。 In the flowchart shown in FIG. 7, an example in which the processing of step S304 to step S307 is executed after the processing of step S301 to step S303 is illustrated, but the order in which these processing is executed is switched. Can also be executed in parallel.
[実施例3の効果]
上述してきたように、本実施例に係る脈波検出装置300は、互いに脈波が採り得る周波数帯の成分が抽出された生体領域の輝度信号Piの波形および画面の表示画像の輝度信号Liの波形の間の類似度が閾値以上であるか否かによって脈波を検出させるか否かを制御する。したがって、本実施例に係る脈波検出装置300によれば、上記の実施例2と同様に、脈波の検出精度の低下を抑制できるとともに、カメラ画像から脈波が検出される機会を増加させることができる。
[Effect of Example 3]
As described above, the pulse
さて、上記の実施例1〜3では、画面の表示に関する輝度情報として画面の表示画像を取得する場合を例示したが、必ずしも画面の表示画像を取得せずともよい。例えば、本実施例では、カメラ画像の非生体領域のうち生体領域との間で特定の位置関係を有する特定領域の画像を画面の表示に関する輝度情報として取得する例について説明する。 In the first to third embodiments, the case where the display image of the screen is acquired as the luminance information related to the display of the screen is illustrated. However, the display image of the screen may not necessarily be acquired. For example, in the present embodiment, an example will be described in which an image of a specific region having a specific positional relationship with a biological region among non-biological regions of a camera image is acquired as luminance information related to screen display.
図8は、実施例4に係る脈波検出装置の機能的構成を示すブロック図である。図8に示す脈波検出装置400は、図6に示した脈波検出装置300と比較して、非生体抽出部410と、第2取得部420とを有する点が相違する。なお、ここでも、上記の実施例1〜3の説明と同様に、図8には、図6に示した機能部と同様の機能を発揮する機能部に同一の符号を付し、その説明を省略することとする。
FIG. 8 is a block diagram illustrating a functional configuration of the pulse wave detection device according to the fourth embodiment. The pulse
非生体抽出部410は、カメラ画像から非生体領域を抽出する処理部である。一態様としては、非生体抽出部410は、まず、図6に示した生体抽出部113と同様にして、カメラ画像から所定の顔パーツを基準とする生体領域を抽出する。その上で、非生体抽出部410は、カメラ画像のうち生体領域を除く領域を非生体領域として抽出する。その後、非生体抽出部410は、原画像であるカメラ画像から抽出した非生体領域の画像を第2取得部420へ出力する。
The non-biological extraction unit 410 is a processing unit that extracts a non-biological region from a camera image. As one aspect, first, the non-living body extraction unit 410 extracts a living body region based on a predetermined facial part from a camera image in the same manner as the living
第2取得部420は、画面の表示に関する輝度情報として、非生体領域のうち生体領域との間で特定の位置関係を有する特定領域の画像を取得する処理部である。一態様としては、第2取得部420は、非生体領域のうち生体領域に含まれる複数の顔パーツとの位置関係にしたがって特定領域を決定する。一例として、口パーツおよび鼻パーツを特定領域の決定に用いる場合を想定する。この場合には、第2取得部420は、カメラ画像の非生体領域上で鼻パーツから口パーツへ向けて口パーツから所定の距離にわたって離れた位置を重心または中心とする所定の形状および範囲を特定領域として決定する。かかる特定領域の形状は、楕円、円、多角形などの任意の形状を採用でき、特定領域の大きさは、非生体領域内であり、かつ生体領域と重複しなければ任意の大きさを採用できる。また、特定領域および生体領域の間の距離は、カメラ画像に映ることが想定される首の長さと同等以上の長さであることが好ましい。これによって、カメラ画像に含まれる非生体領域の中でも、使用者の衣服が映り込む可能性が高い領域を特定領域として特定することができる。
The
なお、ここでは、特定領域を特定するのに複数の顔パーツを用いる場合を例示したが、顔パーツの位置関係に依存せず、生体領域の下方向に位置する所定の大きさの領域を特定領域として特定することとしてもかまわない。また、ここでは、非生体領域を抽出するために生体抽出部113とは独立して非生体抽出部410を設ける場合を例示したが、カメラ画像の中から生体抽出部113によって抽出された生体領域を除外することによって非生体領域を抽出することとしてもよい。また、非生体領域の抽出方法は、上記のテンプレートマッチングに用いて検出される生体領域から検出する方法に限定されず、肌色検出によって肌色が検出されなかった領域を非生体領域として抽出することとしてもかまわない。さらに、ここでは、カメラ画像に映る使用者の衣服を目標に特定領域を決定する場合について例示したが、脈波に対応する輝度変化が現れにくい毛髪などを目標に特定領域を決定することもできる。この場合には、顔から抽出される生体領域よりも上方向、言い換えれば口パーツから鼻パーツへ向かう方向に存在する非生体領域の一部、例えば黒や茶色などの特定色を持つ領域を特定領域として決定することができる。
In this example, the case where a plurality of facial parts are used to identify a specific area is illustrated, but an area of a predetermined size located below the living body area is identified without depending on the positional relationship of the facial parts. It may be specified as an area. Here, the case where the non-living body extraction unit 410 is provided independently of the living
このようにして第2取得部420によって取得された特定領域の画像が第2算出部124へ出力される。かかる特定領域の画像が入力された第2算出部124では、画面の表示画像の代わりに、特定領域の画像に含まれる各画素が持つ画素値の代表値が算出されることになる。
Thus, the image of the specific area acquired by the
図9は、実施例4に係る脈波検出処理の手順を示すフローチャートである。この脈波検出処理は、図7に示した脈波検出処理と同様に、画像メモリ111に保存されたカメラ画像が更新される度に処理を起動し、カメラ画像が更新されなくなるまで繰り返し実行される処理である。なお、図9には、図7に示した脈波検出処理と同様の処理が実行されるステップには同様のステップ番号を付し、処理が相違するステップには異なるステップ番号を付している。
FIG. 9 is a flowchart illustrating the procedure of the pulse wave detection process according to the fourth embodiment. Like the pulse wave detection process shown in FIG. 7, this pulse wave detection process is started every time a camera image stored in the
図9に示すように、画像メモリ111に保存されたカメラ画像が更新されると、非生体抽出部410は、画像メモリ111に保存されたカメラ画像を取得する(ステップS401)。続いて、非生体抽出部410は、ステップS401で取得されたカメラ画像から非生体領域を抽出する(ステップS402)。
As shown in FIG. 9, when the camera image stored in the
そして、第2取得部420は、ステップS402で抽出された非生体領域のうち生体領域との間で特定の位置関係を有する特定領域の画像を決定する(ステップS403)。続いて、第2算出部124は、ステップS403で取得された特定領域に含まれる各画素が持つ画素値に所定の統計処理を実行することによって当該特定領域を代表する代表値を算出する(ステップS404)。その後、BPF220は、特定領域の代表値の時系列データ、すなわち特定領域の輝度信号から脈波が採り得る周波数帯の信号成分を抽出する(ステップS405)。
And the
一方、第1取得部112は、画像メモリ111に保存されたカメラ画像を取得する(ステップS304)。続いて、生体抽出部113は、ステップS304で取得されたカメラ画像から生体領域を抽出する(ステップS305)。
On the other hand, the
続いて、第1算出部114は、ステップS305で抽出された生体領域に含まれる各画素が持つ画素値の代表値を算出する(ステップS306)。そして、BPF115は、生体領域の代表値の時系列データ、すなわち生体領域の輝度信号から脈波が採り得る周波数帯の信号成分を抽出する(ステップS307)。
Subsequently, the
その後、類似度算出部351は、ステップS405で脈波が採り得る周波数帯の成分が抽出された特定領域の輝度信号L´iの波形と、ステップS307で脈波が採り得る周波数帯の成分が抽出された生体領域の輝度信号Piの波形との間で類似度を算出する(ステップS308)。
After that, the
そして、類似度判定部352は、ステップS308で算出された類似度が所定の閾値以上であるか否かを判定する(ステップS309)。ここで、類似度が閾値以上である場合(ステップS309Yes)には、画面の表示画像の輝度変化が脈波に重畳されて、画面の表示画像の反射光がノイズとなって脈波が誤検出される可能性が高い。したがって、検出制御部350は、検出部116による脈波の検出を休止し、そのまま処理を終了する。
Then, the
一方、類似度が閾値未満である場合(ステップS309No)には、画面の表示画像の輝度変化が脈波に重畳されておらず、画面の表示画像の反射光がノイズとなって脈波が誤検出される可能性は低い。したがって、検出制御部350は、検出部116に生体領域の輝度信号Piから脈波を検出させる。この場合には、検出部116は、BPF115によって出力された生体領域の輝度信号Piから使用者の脈波を検出し(ステップS310)、処理を終了する。
On the other hand, when the similarity is less than the threshold (No in step S309), the luminance change of the display image on the screen is not superimposed on the pulse wave, and the reflected light of the display image on the screen becomes noise and the pulse wave is erroneous. It is unlikely to be detected. Therefore, the
なお、図9に示したフローチャートでは、ステップS401〜ステップS405の処理が実行された後に、ステップS304〜ステップS307の処理を実行する例を図示したが、これらの処理が実行される順序は、入れ替えることもできるし、並列に実行することもできる。 In the flowchart shown in FIG. 9, the example in which the processes in steps S304 to S307 are performed after the processes in steps S401 to S405 are illustrated is illustrated. However, the order in which these processes are performed is switched. Can also be executed in parallel.
[実施例4の効果]
上述してきたように、本実施例に係る脈波検出装置400は、カメラ画像の非生体領域のうち生体領域との間で特定の位置関係を有する特定領域の画像を画面の表示に関する輝度情報として取得する。このため、本実施例に係る脈波検出装置400では、表示部120に表示される画面の表示画像の現物を取得するのが困難である場合でも、その代わりにカメラ画像に映り込んだ画面光の輝度変化を取得できる。したがって、本実施例に係る脈波検出装置400によれば、脈波の検出制御の適用範囲を拡張できる結果、汎用性を高めることができる。
[Effect of Example 4]
As described above, the pulse
なお、本実施例では、上記の実施例3との間で差分を説明したが、上記の実施例1と本実施例を組み合わせることもできるし、上記の実施例2と本実施例を組み合わせることもできる。 In this embodiment, the difference between the third embodiment and the third embodiment has been described. However, the first embodiment can be combined with the present embodiment, and the second embodiment and the second embodiment can be combined. You can also.
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。 Although the embodiments related to the disclosed apparatus have been described above, the present invention may be implemented in various different forms other than the above-described embodiments. Therefore, another embodiment included in the present invention will be described below.
[検出結果の他の活用例]
上記の実施例1〜4では、脈波の検出結果が健康管理に活用される場合を例示したが、脈波の検出結果は健康管理以外にも他の用途で活用することができる。一例として、脈波の検出結果がコンテンツの評価に活用される場合を想定する。この場合には、脈波検出装置100〜400は、表示部120で表示されるコンテンツが含むコンテンツ画像と、当該コンテンツ画像が表示された時点における脈波の検出結果とを関連付ける。
[Other examples of detection results]
In Examples 1 to 4 described above, the case where the detection result of the pulse wave is used for health management is illustrated, but the detection result of the pulse wave can be used for other purposes besides health management. As an example, it is assumed that the pulse wave detection result is used for content evaluation. In this case, the pulse
例えば、コンテンツが動画である場合には、動画に含まれる各フレームと、当該フレームが再生された時点における脈拍数とを関連付ける。これによって、脈拍数が最高値を計測されたフレームを特定したり、特定のシーンに対応する脈拍数の高低や脈拍数の変動傾向によってシーンの盛り上がりの度合いを評価したりすることができる。例えば、脈拍数が所定の閾値よりも高い場合や脈拍数が上昇傾向にある場合には、使用者がシーンを見て興奮していると評価できる。 For example, when the content is a moving image, each frame included in the moving image is associated with the pulse rate at the time when the frame is reproduced. As a result, it is possible to specify a frame in which the highest pulse rate is measured, or to evaluate the degree of excitement of the scene based on the level of the pulse rate corresponding to a specific scene or the fluctuation tendency of the pulse rate. For example, when the pulse rate is higher than a predetermined threshold or when the pulse rate tends to increase, it can be evaluated that the user is excited to see the scene.
また、コンテンツがWebサイトである場合には、当該Webサイトが含む各Webページと、各Webページが表示された時点における脈拍数とを関連付ける。これによって、脈拍数が最高値を計測されたWebページを特定することによってWebサイト内で人気のコーナーをモニタリングしたり、脈拍数が平均値よりも下回っているWebページを特定することによってWebサイト内で不人気なコーナーをモニタリングしたりすることができる。なお、ここでは、1つのWebサイト内のWebページをコンテンツ画像とする場合を例示したが、ポータイルサイトやまとめサイトをコンテンツとし、ポータルサイトやまとめサイトに貼るリンク先の各Webサイトをコンテンツ画像とし、人気の高いWebサイトや不人気なWebサイトを評価することとしてもかまわない。 When the content is a website, each web page included in the website is associated with the pulse rate at the time when each web page is displayed. Accordingly, by monitoring the popular corner in the website by identifying the web page whose pulse rate is measured at the maximum value, or by identifying the web page whose pulse rate is lower than the average value, the website You can monitor the unpopular corners. In addition, although the case where the web page in one web site is used as the content image is illustrated here, the portal site or the summary site is the content, and each link destination website pasted on the portal site or the summary site is the content image. It is also possible to evaluate popular websites and unpopular websites.
これら脈拍数を用いたコンテンツの評価は、脈波検出装置100〜400内で実行することもできるし、コンテンツ画像及び脈波の検出結果が関連付けられた関連付けデータを複数の脈波検出装置100〜400が接続されたコンテンツ評価装置に収集させた上でコンテンツの評価を実行させることもできる。このように、複数の脈波検出装置100〜400が接続されたコンテンツ評価装置でコンテンツの評価を実行させることによって、例えば、コンテンツの人気不人気、あるいは盛り上がり盛り下がりなどの評価を集計することができる。
The content evaluation using the pulse rate can be executed in the pulse
[他の実装例]
上記の実施例1〜4では、脈波検出装置100〜400が上記の脈波検出処理をスタンドアローンで実行する場合を例示したが、クライアントサーバシステムとして実装することもできる。例えば、脈波検出装置100〜400は、脈波検出サービスを提供するWebサーバとして実装することとしてもよいし、アウトソーシングによって脈波検出サービスを提供するクラウドとして実装することとしてもかまわない。このように、脈波検出装置100〜400がサーバ装置として動作する場合には、スマートフォンや携帯電話機等の携帯端末装置やパーソナルコンピュータ等の情報処理装置をクライアント端末として収容することができる。これらクライアント端末からネットワークを介してカメラ画像が取得された場合に脈波検出処理を実行し、脈波の検出結果や検出結果を用いて診断がなされた診断結果をクライアント端末へ応答することによって脈波検出サービスを提供することもできる。
[Other implementation examples]
In the first to fourth embodiments described above, the pulse
[分散および統合]
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、第1取得部112、生体抽出部113、第1算出部114、BPF115、検出部116、第2取得部122、第2算出部124または検出制御部150を脈波検出装置100の外部装置としてネットワーク経由で接続するようにしてもよい。また、第1取得部112、生体抽出部113、第1算出部114、BPF115、検出部116、第2取得部122、第2算出部124または検出制御部150を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の脈波検出装置100の機能を実現するようにしてもよい。
[Distribution and integration]
In addition, each component of each illustrated apparatus does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured. For example, the
[脈波検出プログラム]
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムを携帯端末装置、パーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図10を用いて、上記の実施例と同様の機能を有する脈波検出プログラムを実行するコンピュータの一例について説明する。
[Pulse wave detection program]
The various processes described in the above embodiments can be realized by executing a program prepared in advance on a computer such as a portable terminal device, a personal computer, or a workstation. In the following, an example of a computer that executes a pulse wave detection program having the same function as that of the above-described embodiment will be described with reference to FIG.
図10は、実施例1〜5に係る脈波検出プログラムを実行するコンピュータの一例について説明するための図である。図10に示すように、コンピュータ1000は、操作部1100aと、スピーカ1100bと、カメラ1100cと、ディスプレイ1200と、通信部1300とを有する。さらに、このコンピュータ1000は、CPU1500と、ROM1600と、HDD1700と、RAM1800とを有する。これら1100〜1800の各部はバス1400を介して接続される。
FIG. 10 is a schematic diagram illustrating an example of a computer that executes a pulse wave detection program according to the first to fifth embodiments. As illustrated in FIG. 10, the
HDD1700には、上記の実施例1で示した第1取得部112、生体抽出部113、第1算出部114、BPF115、検出部116、第2取得部122、第2算出部124及び検出制御部150と同様の機能を発揮する脈波検出プログラム1700aが予め記憶される。また、HDD1700には、上記の実施例2で示した第1取得部112、生体抽出部113、第1算出部114、BPF115、検出部116、第2取得部122、第2算出部124、BPF220及び検出制御部250と同様の機能を発揮する脈波検出プログラム1700aが予め記憶されることとしてもよい。また、HDD1700には、上記の実施例3で示した第1取得部112、生体抽出部113、第1算出部114、BPF115、検出部116、第2取得部122、第2算出部124、BPF220及び検出制御部350と同様の機能を発揮する脈波検出プログラム1700aが予め記憶されることとしてもよい。また、HDD1700には、上記の実施例4で示した第1取得部112、生体抽出部113、第1算出部114、BPF115、検出部116、非生体抽出部410、第2取得部420、第2算出部124、BPF220及び検出制御部350と同様の機能を発揮する脈波検出プログラム1700aが予め記憶されることとしてもよい。この脈波検出プログラム1700aについては、図1、図4、図6または図8に示した各々の機能部と同様、適宜統合又は分離しても良い。すなわち、HDD1700に格納される各データは、常に全てのデータがHDD1700に格納される必要はなく、処理に必要なデータのみがHDD1700に格納されれば良い。
The
そして、CPU1500が、脈波検出プログラム1700aをHDD1700から読み出してRAM1800に展開する。これによって、図10に示すように、脈波検出プログラム1700aは、脈波検出プロセス1800aとして機能する。この脈波検出プロセス1800aは、HDD1700から読み出した各種データを適宜RAM1800上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、脈波検出プロセス1800aは、図1、図4、図6または図8に示した各機能部にて実行される処理、例えば図3、図5、図7及び図9に示す処理を含む。また、CPU1500上で仮想的に実現される各処理部は、常に全ての処理部がCPU1500上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。
Then, the
なお、上記の脈波検出プログラム1700aについては、必ずしも最初からHDD1700やROM1600に記憶させておかずともよい。例えば、コンピュータ1000に挿入されるフレキシブルディスク、いわゆるFD、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ1000がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、LAN、WANなどを介してコンピュータ1000に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ1000がこれらから各プログラムを取得して実行するようにしてもよい。
Note that the pulse
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。 The following supplementary notes are further disclosed with respect to the embodiments including the above examples.
(付記1)カメラによって生体が撮影された画像を取得する第1取得部と、
前記画像から生体領域を抽出する生体抽出部と、
前記生体領域に含まれる各画素を代表する輝度信号から脈波が採り得る周波数帯の成分を抽出する第1フィルタと、
前記周波数帯の成分が抽出された生体領域の輝度信号から脈波を検出する検出部と、
所定の画面の表示に関する輝度情報を取得する第2取得部と、
前記画面の表示に関する輝度情報を用いて、前記検出部による脈波の検出を実行させるか否かを制御する検出制御部と
を有することを特徴とする脈波検出装置。
(Supplementary note 1) a first acquisition unit that acquires an image of a living body imaged by a camera;
A biological extraction unit that extracts a biological region from the image;
A first filter that extracts a component of a frequency band that can be taken by a pulse wave from a luminance signal representing each pixel included in the living body region;
A detection unit for detecting a pulse wave from a luminance signal of the living body region from which the component of the frequency band is extracted;
A second acquisition unit for acquiring luminance information related to display of a predetermined screen;
A pulse wave detection device, comprising: a detection control unit that controls whether or not to perform pulse wave detection by the detection unit using luminance information related to display of the screen.
(付記2)前記第2取得部は、前記画面の表示に関する輝度情報として当該画面の表示画像を取得することを特徴とする付記1に記載の脈波検出装置。 (Additional remark 2) The said 2nd acquisition part acquires the display image of the said screen as the luminance information regarding the display of the said screen, The pulse-wave detection apparatus of Additional remark 1 characterized by the above-mentioned.
(付記3)前記検出制御部は、
前記画面の表示画像に含まれる各画素を代表する輝度の代表値の変化が所定の閾値以上である場合に前記検出部に脈波を検出させず、前記輝度の代表値の変化が前記閾値未満である場合に前記検出部に脈波を検出させることを特徴とする付記2に記載の脈波検出装置。
(Supplementary Note 3) The detection control unit
When the change in the representative value of luminance representing each pixel included in the display image of the screen is equal to or greater than a predetermined threshold, the detection unit does not detect a pulse wave, and the change in the representative value of luminance is less than the threshold The pulse wave detection device according to appendix 2, wherein the pulse wave is detected by the detection unit.
(付記4)前記脈波検出装置は、
前記画面の表示画像の各画素を代表する輝度信号から前記脈波に対応する周波数帯の成分を抽出する第2フィルタをさらに有し、
前記検出制御部は、
前記周波数帯の成分が抽出された画面の輝度信号の振幅値が所定の閾値以上である場合に前記検出部に脈波を検出させず、前記振幅値が前記閾値未満である場合に前記検出部に脈波を検出させることを特徴とする付記2に記載の脈波検出装置。
(Appendix 4) The pulse wave detection device
A second filter for extracting a component of a frequency band corresponding to the pulse wave from a luminance signal representing each pixel of the display image of the screen;
The detection control unit
When the amplitude value of the luminance signal of the screen from which the component of the frequency band is extracted is equal to or greater than a predetermined threshold, the detection unit does not detect a pulse wave, and the detection unit when the amplitude value is less than the threshold The pulse wave detection device according to attachment 2, wherein the pulse wave is detected.
(付記5)前記脈波検出装置は、
前記画面の表示画像の各画素を代表する輝度信号から前記脈波に対応する周波数帯の成分を抽出する第2フィルタをさらに有し、
前記検出制御部は、
互いに前記周波数帯の成分が抽出された画面の輝度信号および生体領域の輝度信号の間で波形の類似度を算出し、前記類似度が所定の閾値以上である場合に前記検出部に脈波を検出させず、前記類似度が前記閾値未満である場合に前記検出部に脈波を検出させることを特徴とする付記2に記載の脈波検出装置。
(Appendix 5) The pulse wave detection device
A second filter for extracting a component of a frequency band corresponding to the pulse wave from a luminance signal representing each pixel of the display image of the screen;
The detection control unit
The similarity of the waveform is calculated between the luminance signal of the screen from which the components of the frequency band are extracted from each other and the luminance signal of the living body region, and if the similarity is equal to or greater than a predetermined threshold, a pulse wave is applied to the detection unit. 3. The pulse wave detection device according to appendix 2, wherein the pulse wave is detected by the detection unit when the similarity is less than the threshold without being detected.
(付記6)前記第2取得部は、前記画面の表示に関する輝度情報として、前記画像の非生体領域のうち前記生体領域との間で特定の位置関係を有する特定領域の画像を取得することを特徴とする付記1に記載の脈波検出装置。 (Additional remark 6) The said 2nd acquisition part acquires the image of the specific area | region which has a specific positional relationship between the said biological body area | region among the non-biological area | regions of the said image as brightness | luminance information regarding the display of the said screen. 2. The pulse wave detection device according to appendix 1, which is characterized.
(付記7)前記検出制御部は、
前記特定領域に含まれる各画素を代表する輝度の代表値の変化が所定の閾値以上である場合に前記検出部に脈波を検出させず、前記輝度の代表値の変化が前記閾値未満である場合に前記検出部に脈波を検出させることを特徴とする付記6に記載の脈波検出装置。
(Appendix 7) The detection control unit
When the change in the representative value of luminance representing each pixel included in the specific region is equal to or greater than a predetermined threshold, the detection unit does not detect a pulse wave, and the change in the representative value of luminance is less than the threshold. 7. The pulse wave detection device according to appendix 6, wherein the pulse wave is detected by the detection unit.
(付記8)前記脈波検出装置は、
前記特定領域の各画素を代表する輝度信号から前記脈波に対応する周波数帯の成分を抽出する第2フィルタをさらに有し、
前記検出制御部は、
前記周波数帯の成分が抽出された特定領域の輝度信号の振幅値が所定の閾値以上である場合に前記検出部に脈波を検出させず、前記振幅値が前記閾値未満である場合に前記検出部に脈波を検出させることを特徴とする付記6に記載の脈波検出装置。
(Appendix 8) The pulse wave detection device
A second filter for extracting a component of a frequency band corresponding to the pulse wave from a luminance signal representing each pixel of the specific region;
The detection control unit
The detection unit does not detect a pulse wave when the amplitude value of the luminance signal in the specific region from which the frequency band component is extracted is equal to or greater than a predetermined threshold, and the detection is performed when the amplitude value is less than the threshold. 7. The pulse wave detection device according to appendix 6, wherein the pulse wave is detected by the unit.
(付記9)前記脈波検出装置は、
前記特定領域の表示画像の各画素を代表する輝度信号から前記脈波に対応する周波数帯の成分を抽出する第2フィルタをさらに有し、
前記検出制御部は、
互いに前記周波数帯の成分が抽出された特定領域の輝度信号および生体領域の輝度信号の間で波形の類似度を算出し、前記類似度が所定の閾値以上である場合に前記検出部に脈波を検出させず、前記類似度が前記閾値未満である場合に前記検出部に脈波を検出させることを特徴とする付記6に記載の脈波検出装置。
(Appendix 9) The pulse wave detection device
A second filter for extracting a component of a frequency band corresponding to the pulse wave from a luminance signal representing each pixel of the display image of the specific region;
The detection control unit
The similarity of the waveform is calculated between the luminance signal of the specific area and the luminance signal of the living body area from which the components of the frequency band are extracted from each other, and when the similarity is equal to or greater than a predetermined threshold, 7. The pulse wave detection device according to appendix 6, wherein the pulse wave is detected by the detection unit when the similarity is less than the threshold value.
(付記10)コンピュータに、
所定の画面の表示に関する輝度情報を取得し、
前記画面の表示に関する輝度情報を用いて、カメラによって生体が撮影された画像を取得する処理、前記画像から生体領域を抽出する処理、前記生体領域に含まれる各画素を代表する輝度信号から脈波が採り得る周波数帯の成分を抽出する処理または前記周波数帯の成分が抽出された生体領域の輝度信号から脈波を検出する処理のいずれかの処理を休止させるか、もしくは各々の処理を実行させるかを制御する
処理を実行させることを特徴とする脈波検出プログラム。
(Appendix 10)
Get brightness information about the display of a given screen,
Using the luminance information related to the display of the screen, a process for acquiring an image of a living body captured by a camera, a process for extracting a biological area from the image, and a pulse wave from a luminance signal representative of each pixel included in the biological area Either the process of extracting the component of the frequency band that can be taken by or the process of detecting the pulse wave from the luminance signal of the living body region from which the component of the frequency band is extracted, or each process is executed A pulse wave detection program for executing a process for controlling the above.
(付記11)コンピュータが、
所定の画面の表示に関する輝度情報を取得し、
前記画面の表示に関する輝度情報を用いて、カメラによって生体が撮影された画像を取得する処理、前記画像から生体領域を抽出する処理、前記生体領域に含まれる各画素を代表する輝度信号から脈波が採り得る周波数帯の成分を抽出する処理または前記周波数帯の成分が抽出された生体領域の輝度信号から脈波を検出する処理のいずれかの処理を休止させるか、もしくは各々の処理を実行させるかを制御する
処理を実行することを特徴とする脈波検出方法。
(Appendix 11) The computer
Get brightness information about the display of a given screen,
Using the luminance information related to the display of the screen, a process for acquiring an image of a living body captured by a camera, a process for extracting a biological area from the image, and a pulse wave from a luminance signal representative of each pixel included in the biological area Either the process of extracting the component of the frequency band that can be taken by or the process of detecting the pulse wave from the luminance signal of the living body region from which the component of the frequency band is extracted, or each process is executed A pulse wave detection method characterized by executing a process for controlling the above.
(付記12)脈波を検出する脈波検出装置と、脈波の検出結果からコンテンツを評価するコンテンツ評価装置とを有するコンテンツ評価システムであって、
前記脈波検出装置は、
カメラによって生体が撮影された画像を取得する第1取得部と、
前記画像から生体領域を抽出する生体抽出部と、
前記生体領域に含まれる各画素を代表する輝度信号から脈波が採り得る周波数帯の成分を抽出する第1フィルタと、
前記周波数帯の成分が抽出された生体領域の輝度信号から脈波を検出する検出部と、
所定の画面の表示に関する輝度情報を取得する第2取得部と、
前記画面の表示に関する輝度情報を用いて、前記検出部による脈波の検出を実行させるか否かを制御する検出制御部と、
前記画面に表示されるコンテンツが含むコンテンツ画像と、当該コンテンツ画像が画面に表示された時点における脈波の検出結果とを関連付ける関連付け部とを有し、
前記コンテンツ評価装置は、
前記コンテンツ画像に関連付けられた脈波の検出結果を用いて、当該コンテンツを評価する評価部を有することを特徴とするコンテンツ評価システム。
(Appendix 12) A content evaluation system having a pulse wave detection device for detecting a pulse wave and a content evaluation device for evaluating content from a detection result of the pulse wave,
The pulse wave detector is
A first acquisition unit that acquires an image of a living body photographed by a camera;
A biological extraction unit that extracts a biological region from the image;
A first filter that extracts a component of a frequency band that can be taken by a pulse wave from a luminance signal representing each pixel included in the living body region;
A detection unit for detecting a pulse wave from a luminance signal of the living body region from which the component of the frequency band is extracted;
A second acquisition unit for acquiring luminance information related to display of a predetermined screen;
A detection control unit that controls whether or not to perform detection of a pulse wave by the detection unit, using luminance information related to display of the screen;
A content image included in the content displayed on the screen, and an association unit associating the detection result of the pulse wave at the time when the content image is displayed on the screen;
The content evaluation device includes:
A content evaluation system comprising: an evaluation unit that evaluates the content using a pulse wave detection result associated with the content image.
100 脈波検出装置
110 カメラ
111 画像メモリ
112 第1取得部
113 生体抽出部
114 第1算出部
115 BPF
116 検出部
120 表示部
121 フレームバッファ
122 第2取得部
124 第2算出部
130 照度センサ
150 検出制御部
151 照度判定部
152 変化量判定部
DESCRIPTION OF
116
Claims (7)
前記画像から生体領域を抽出する生体抽出部と、
前記生体領域に含まれる各画素を代表する輝度信号から脈波が採り得る周波数帯の成分を抽出する第1フィルタと、
前記周波数帯の成分が抽出された生体領域の輝度信号から脈波を検出する検出部と、
所定の画面の表示に関する輝度情報として当該画面の表示画像を取得する第2取得部と、
前記画面の表示画像に含まれる各画素を代表する輝度の代表値の変化が所定の閾値以上である場合に前記検出部に脈波を検出させず、前記輝度の代表値の変化が前記閾値未満である場合に前記検出部に脈波を検出させる検出制御部と
を有することを特徴とする脈波検出装置。 A first acquisition unit that acquires an image of a living body photographed by a camera;
A biological extraction unit that extracts a biological region from the image;
A first filter that extracts a component of a frequency band that can be taken by a pulse wave from a luminance signal representing each pixel included in the living body region;
A detection unit for detecting a pulse wave from a luminance signal of the living body region from which the component of the frequency band is extracted;
A second acquisition unit that acquires a display image of the screen as luminance information related to display of the predetermined screen;
When the change in the representative value of luminance representing each pixel included in the display image of the screen is equal to or greater than a predetermined threshold, the detection unit does not detect a pulse wave, and the change in the representative value of luminance is less than the threshold And a detection control unit that causes the detection unit to detect a pulse wave.
前記画像から生体領域を抽出する生体抽出部と、
前記生体領域に含まれる各画素を代表する輝度信号から脈波が採り得る周波数帯の成分を抽出する第1フィルタと、
前記周波数帯の成分が抽出された生体領域の輝度信号から脈波を検出する検出部と、
所定の画面の表示に関する輝度情報として当該画面の表示画像を取得する第2取得部と、
前記画面の表示画像の各画素を代表する輝度信号から前記脈波に対応する周波数帯の成分を抽出する第2フィルタと、
前記周波数帯の成分が抽出された画面の輝度信号の振幅値が所定の閾値以上である場合に前記検出部に脈波を検出させず、前記振幅値が前記閾値未満である場合に前記検出部に脈波を検出させる検出制御部と
を有することを特徴とする脈波検出装置。 A first acquisition unit that acquires an image of a living body photographed by a camera;
A biological extraction unit that extracts a biological region from the image;
A first filter that extracts a component of a frequency band that can be taken by a pulse wave from a luminance signal representing each pixel included in the living body region;
A detection unit for detecting a pulse wave from a luminance signal of the living body region from which the component of the frequency band is extracted;
A second acquisition unit that acquires a display image of the screen as luminance information related to display of the predetermined screen;
A second filter that extracts a frequency band component corresponding to the pulse wave from a luminance signal representing each pixel of the display image of the screen;
When the amplitude value of the luminance signal of the screen from which the component of the frequency band is extracted is equal to or greater than a predetermined threshold, the detection unit does not detect a pulse wave, and the detection unit when the amplitude value is less than the threshold A detection control unit that detects pulse waves
A pulse wave detection device comprising:
前記画像から生体領域を抽出する生体抽出部と、
前記生体領域に含まれる各画素を代表する輝度信号から脈波が採り得る周波数帯の成分を抽出する第1フィルタと、
前記周波数帯の成分が抽出された生体領域の輝度信号から脈波を検出する検出部と、
所定の画面の表示に関する輝度情報として当該画面の表示画像を取得する第2取得部と、
前記画面の表示画像の各画素を代表する輝度信号から前記脈波に対応する周波数帯の成分を抽出する第2フィルタと、
互いに前記周波数帯の成分が抽出された画面の輝度信号および生体領域の輝度信号の間で波形の類似度を算出し、前記類似度が所定の閾値以上である場合に前記検出部に脈波を検出させず、前記類似度が前記閾値未満である場合に前記検出部に脈波を検出させる検出制御部と
を有することを特徴とする脈波検出装置。 A first acquisition unit that acquires an image of a living body photographed by a camera;
A biological extraction unit that extracts a biological region from the image;
A first filter that extracts a component of a frequency band that can be taken by a pulse wave from a luminance signal representing each pixel included in the living body region;
A detection unit for detecting a pulse wave from a luminance signal of the living body region from which the component of the frequency band is extracted;
A second acquisition unit that acquires a display image of the screen as luminance information related to display of the predetermined screen;
A second filter that extracts a frequency band component corresponding to the pulse wave from a luminance signal representing each pixel of the display image of the screen;
The similarity of the waveform is calculated between the luminance signal of the screen from which the components of the frequency band are extracted from each other and the luminance signal of the living body region, and if the similarity is equal to or greater than a predetermined threshold, a pulse wave is applied to the detection unit. A detection control unit that causes the detection unit to detect a pulse wave when the similarity is less than the threshold without being detected;
A pulse wave detection device comprising:
前記画像から生体領域を抽出する生体抽出部と、
前記生体領域に含まれる各画素を代表する輝度信号から脈波が採り得る周波数帯の成分を抽出する第1フィルタと、
前記周波数帯の成分が抽出された生体領域の輝度信号から脈波を検出する検出部と、
所定の画面の表示に関する輝度情報として、前記画像の非生体領域のうち前記生体領域との間で特定の位置関係を有する特定領域の画像を取得する第2取得部と、
前記画面の表示に関する輝度情報を用いて、前記検出部による脈波の検出を実行させるか否かを制御する検出制御部と
を有することを特徴とする脈波検出装置。 A first acquisition unit that acquires an image of a living body photographed by a camera;
A biological extraction unit that extracts a biological region from the image;
A first filter that extracts a component of a frequency band that can be taken by a pulse wave from a luminance signal representing each pixel included in the living body region;
A detection unit for detecting a pulse wave from a luminance signal of the living body region from which the component of the frequency band is extracted;
A second acquisition unit that acquires an image of a specific area having a specific positional relationship with the living body area among the non-biological areas of the image as luminance information related to display of a predetermined screen;
A pulse wave detection device, comprising: a detection control unit that controls whether or not to perform pulse wave detection by the detection unit using luminance information related to display of the screen.
所定の画面の表示に関する輝度情報として当該画面の表示画像を取得し、
前記画面の表示画像に含まれる各画素を代表する輝度の代表値の変化が所定の閾値以上である場合に、カメラによって生体が撮影された画像を取得する処理、前記画像から生体領域を抽出する処理、前記生体領域に含まれる各画素を代表する輝度信号から脈波が採り得る周波数帯の成分を抽出する処理または前記周波数帯の成分が抽出された生体領域の輝度信号から脈波を検出する処理のいずれかの処理を休止させ、前記輝度の代表値の変化が前記閾値未満である場合に、各々の処理を実行させる
処理を実行させることを特徴とする脈波検出プログラム。 On the computer,
Acquire the display image of the screen as luminance information related to the display of the predetermined screen,
When a change in the representative value of luminance representing each pixel included in the display image on the screen is equal to or greater than a predetermined threshold, processing for obtaining an image in which a living body is photographed by a camera, and extracting a living body region from the image Processing, processing for extracting a component of a frequency band that can be taken by a pulse wave from a luminance signal representing each pixel included in the biological region, or detecting a pulse wave from a luminance signal of the biological region from which the component of the frequency band has been extracted One of the processes is paused, and when the change in the representative value of the luminance is less than the threshold, a process for executing each process is executed .
所定の画面の表示に関する輝度情報として当該画面の表示画像を取得し、
前記画面の表示画像に含まれる各画素を代表する輝度の代表値の変化が所定の閾値以上である場合に、カメラによって生体が撮影された画像を取得する処理、前記画像から生体領域を抽出する処理、前記生体領域に含まれる各画素を代表する輝度信号から脈波が採り得る周波数帯の成分を抽出する処理または前記周波数帯の成分が抽出された生体領域の輝度信号から脈波を検出する処理のいずれかの処理を休止させ、前記輝度の代表値の変化が前記閾値未満である場合に、各々の処理を実行させる
処理を実行することを特徴とする脈波検出方法。 Computer
Acquire the display image of the screen as luminance information related to the display of the predetermined screen,
When a change in the representative value of luminance representing each pixel included in the display image on the screen is equal to or greater than a predetermined threshold, processing for obtaining an image in which a living body is photographed by a camera, and extracting a living body region from the image Processing, processing for extracting a component of a frequency band that can be taken by a pulse wave from a luminance signal representing each pixel included in the biological region, or detecting a pulse wave from a luminance signal of the biological region from which the component of the frequency band has been extracted One of the processes is paused, and when the change in the representative value of the luminance is less than the threshold, a process for executing each process is executed .
前記脈波検出装置は、
カメラによって生体が撮影された画像を取得する第1取得部と、
前記画像から生体領域を抽出する生体抽出部と、
前記生体領域に含まれる各画素を代表する輝度信号から脈波が採り得る周波数帯の成分を抽出する第1フィルタと、
前記周波数帯の成分が抽出された生体領域の輝度信号から脈波を検出する検出部と、
所定の画面の表示に関する輝度情報として当該画面の表示画像を取得する第2取得部と、
前記画面の表示画像に含まれる各画素を代表する輝度の代表値の変化が所定の閾値以上である場合に前記検出部に脈波を検出させず、前記輝度の代表値の変化が前記閾値未満である場合に前記検出部に脈波を検出させる検出制御部と
前記画面に表示されるコンテンツが含むコンテンツ画像と、当該コンテンツ画像が画面に表示された時点における脈波の検出結果とを関連付ける関連付け部とを有し、
前記コンテンツ評価装置は、
前記コンテンツ画像に関連付けられた脈波の検出結果を用いて、当該コンテンツを評価する評価部を有することを特徴とするコンテンツ評価システム。 A content evaluation system having a pulse wave detection device for detecting a pulse wave and a content evaluation device for evaluating content from a detection result of the pulse wave,
The pulse wave detector is
A first acquisition unit that acquires an image of a living body photographed by a camera;
A biological extraction unit that extracts a biological region from the image;
A first filter that extracts a component of a frequency band that can be taken by a pulse wave from a luminance signal representing each pixel included in the living body region;
A detection unit for detecting a pulse wave from a luminance signal of the living body region from which the component of the frequency band is extracted;
A second acquisition unit that acquires a display image of the screen as luminance information related to display of the predetermined screen;
When the change in the representative value of luminance representing each pixel included in the display image of the screen is equal to or greater than a predetermined threshold, the detection unit does not detect a pulse wave, and the change in the representative value of luminance is less than the threshold If the detection control unit causes the detection unit to detect a pulse wave, the content image included in the content displayed on the screen is associated with the detection result of the pulse wave at the time when the content image is displayed on the screen And
The content evaluation device includes:
A content evaluation system comprising: an evaluation unit that evaluates the content using a pulse wave detection result associated with the content image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013102570A JP6142664B2 (en) | 2013-05-14 | 2013-05-14 | Pulse wave detection device, pulse wave detection program, pulse wave detection method, and content evaluation system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013102570A JP6142664B2 (en) | 2013-05-14 | 2013-05-14 | Pulse wave detection device, pulse wave detection program, pulse wave detection method, and content evaluation system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014221172A JP2014221172A (en) | 2014-11-27 |
JP6142664B2 true JP6142664B2 (en) | 2017-06-07 |
Family
ID=52121092
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013102570A Active JP6142664B2 (en) | 2013-05-14 | 2013-05-14 | Pulse wave detection device, pulse wave detection program, pulse wave detection method, and content evaluation system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6142664B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU173043U1 (en) * | 2016-08-23 | 2017-08-08 | Общество с ограниченной ответственностью "Научно-Промышленное Объединение "ОРТЕХ-ЖКХ" | Biological wastewater treatment device |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015169634A1 (en) * | 2014-05-07 | 2015-11-12 | Koninklijke Philips N.V. | Device, system and method for extracting physiological information |
JP6308161B2 (en) * | 2015-03-31 | 2018-04-11 | 株式会社エクォス・リサーチ | Pulse wave detection device and pulse wave detection program |
JP6665696B2 (en) | 2016-06-09 | 2020-03-13 | 株式会社デンソー | In-vehicle equipment |
JP6911609B2 (en) * | 2017-07-20 | 2021-07-28 | 株式会社リコー | Information processing equipment, information processing methods, information processing programs, video conferencing systems, and biometric information acquisition systems |
JP7298728B2 (en) * | 2017-09-25 | 2023-06-27 | 日本電気株式会社 | System, method and program |
JP6947227B2 (en) * | 2018-01-24 | 2021-10-13 | 富士通株式会社 | Pulse wave calculation device, pulse wave calculation method and pulse wave calculation program |
JP2022169244A (en) * | 2021-04-27 | 2022-11-09 | オムロン株式会社 | Pulse wave detection device, pulse wave detection method, and pulse wave detection program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3868281B2 (en) * | 2001-12-06 | 2007-01-17 | 日本精密測器株式会社 | Photoelectric pulse wave measuring device |
JP5181853B2 (en) * | 2008-06-12 | 2013-04-10 | 富士通株式会社 | Guidance method, apparatus thereof, program and apparatus |
JP5627116B2 (en) * | 2010-09-21 | 2014-11-19 | 日本電信電話株式会社 | Biological information detection device |
-
2013
- 2013-05-14 JP JP2013102570A patent/JP6142664B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU173043U1 (en) * | 2016-08-23 | 2017-08-08 | Общество с ограниченной ответственностью "Научно-Промышленное Объединение "ОРТЕХ-ЖКХ" | Biological wastewater treatment device |
Also Published As
Publication number | Publication date |
---|---|
JP2014221172A (en) | 2014-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6142664B2 (en) | Pulse wave detection device, pulse wave detection program, pulse wave detection method, and content evaluation system | |
US20170112382A1 (en) | Pulse-wave detection method, pulse-wave detection device, and computer-readable recording medium | |
JP6102433B2 (en) | Pulse wave detection program, pulse wave detection method, and pulse wave detection device | |
JP6123885B2 (en) | Blood flow index calculation method, blood flow index calculation program, and blood flow index calculation device | |
JP6115263B2 (en) | Pulse wave detection device, pulse wave detection method, and pulse wave detection program | |
JP6098304B2 (en) | Pulse wave detection device, pulse wave detection method, and pulse wave detection program | |
JP6052027B2 (en) | Pulse wave detection device, pulse wave detection program, and pulse wave detection method | |
US20150366456A1 (en) | Pulse wave velocity measurement method | |
US20160338603A1 (en) | Signal processing device, signal processing method, and computer-readable recording medium | |
JP6167614B2 (en) | Blood flow index calculation program, blood flow index calculation device, and blood flow index calculation method | |
EP3308702B1 (en) | Pulse estimation device, and pulse estimation method | |
JP6248780B2 (en) | Pulse wave detection device, pulse wave detection method, and pulse wave detection program | |
JP2015100432A (en) | Heart rate measuring apparatus and heart rate measuring method | |
JP2014036801A (en) | Biological state observation system, biological state observation method and program | |
JP2014176584A (en) | Signal processor, signal processing method, and signal processing program | |
JP6393984B2 (en) | Pulse measuring device, pulse measuring method and pulse measuring program | |
TWI492737B (en) | Physiological information measurement system and method thereof | |
JP6135255B2 (en) | Heart rate measuring program, heart rate measuring method and heart rate measuring apparatus | |
JP6020015B2 (en) | Pulse wave detection device, pulse wave detection program, and pulse wave detection method | |
TWI384383B (en) | Apparatus and method for recognizing gaze | |
US11129539B2 (en) | Pulse measuring device and control method thereof | |
JP2015083101A (en) | Pulse wave detection apparatus, pulse wave detection method, and pulse wave detection program | |
JP6497218B2 (en) | Pulse wave detection device, pulse wave detection method, pulse wave detection system, and program | |
JP6488722B2 (en) | Pulse wave detection device, pulse wave detection method, and pulse wave detection program | |
JP6417697B2 (en) | Information processing apparatus, pulse wave measurement program, and pulse wave measurement method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161209 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170411 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170424 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6142664 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |