JP7212499B2 - 生体情報検出装置及び生体情報検出方法 - Google Patents

生体情報検出装置及び生体情報検出方法 Download PDF

Info

Publication number
JP7212499B2
JP7212499B2 JP2018205849A JP2018205849A JP7212499B2 JP 7212499 B2 JP7212499 B2 JP 7212499B2 JP 2018205849 A JP2018205849 A JP 2018205849A JP 2018205849 A JP2018205849 A JP 2018205849A JP 7212499 B2 JP7212499 B2 JP 7212499B2
Authority
JP
Japan
Prior art keywords
wavelength
measurement target
biological information
target area
information detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018205849A
Other languages
English (en)
Other versions
JP2020069131A (ja
Inventor
伸宏 福田
裕紀 若菜
益義 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2018205849A priority Critical patent/JP7212499B2/ja
Priority to US16/656,762 priority patent/US11315359B2/en
Publication of JP2020069131A publication Critical patent/JP2020069131A/ja
Application granted granted Critical
Publication of JP7212499B2 publication Critical patent/JP7212499B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、生体情報を検出する技術に関する。
生体情報を取得する手法として、マイクロ波又はカメラを使用した非接触でリアルタイムに検出できる技術がある。特にカメラを用いた脈拍検出は、近年、カメラモジュールの小型化が進み、スマートフォンを含む携帯端末に搭載され、普及が進んでいる。
撮像による脈拍検出を行う技術として、顔映像中のＲＧＢ信号のうち、特にＧ信号をトレースし、脈拍を検出する手法がある（非特許文献１）。
また、ＲＧＢ信号を使用しノイズを分離するために、独立成分分析を使用する手法がある（非特許文献２）。さらに、ＲＧＢ信号の各信号成分の変化量が異なることに注目し、顔映像の色成分を反射光の波長とスペクトル強度とに分離することで、環境変化に強い検出方法を提供することを特徴とする手法がある（特許文献１）。この手法は次のようなものである。すなわち、脈波は心臓からの圧力を受け、心拍に呼応して血流量が周期的に変わる。光が血中のヘモグロビンを吸収するため、一定の外光下で肌に当たる映像を観測すれば、スペクトル強度の変位が見られる。ところが、外光の揺らぎに応じてスペクトル強度は変位するため、ノイズとなることが多い。そこで、光を波長成分に変換して、スペクトルの波長の揺らぎを脈波として検出することが特許文献１に記載されている。
特開２０１８－８６１３０号公報
Ｖｅｒｋｒｕｙｓｓｅ， Ｗｉｍ， Ｌａｒｓ Ｏ．Ｓｖａａｓａｎｄ， Ｊ．Ｓｔｕａｒｔ Ｎｅｌｓｏｎ， ”Ｒｅｍｏｔｅ ｐｌｅｔｈｙｓｍｏｇｒａｐｈｉｃ ｉｍａｇｉｎｇ ｕｓｉｎｇ ａｍｂｉｅｎｔ ｌｉｇｈｔ．”， Ｏｐｔｉｃｓ ｅｘｐｒｅｓｓ １６．２６ （２００８）： ２１４３４－２１４４５. Ｍｉｎｇ－Ｚｈｅｒ Ｐｏｈ， Ｄａｎｉｅｌ Ｊ．ＭｃＤｕｆｆ， Ｒｏｓａｌｉｎｄ Ｗ．Ｐｉｃａｒｄ， ”Ｎｏｎ－ｃｏｎｔａｃｔ， ａｕｔｏｍａｔｅｄ ｃａｒｄｉａｃ ｐｕｌｓｅ ｍｅａｓｕｒｅｍｅｎｔｓ ｕｓｉｎｇ ｖｉｄｅｏ ｉｍａｇｉｎｇ ａｎｄ ｂｌｉｎｄ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ．”， Ｏｐｔｉｃｓ Ｅｘｐｒｅｓｓ １８．１０ （２０１０）：１０７６２－１０７７４．
上記の技術は、被験者に負荷をかけない計測方法として期待されている。このような中、運転中のドライバや、在宅における呼吸器疾患及び心不全等による容態急変をモニタリングする技術として、カメラを用いて離れた位置から非接触にて計測する技術が重要となる。
顔映像は、例えば照明光が顔に照射された際、肌の中で吸収され、散乱して戻る反射光によって形成されるものである。このため、従来のＲＧＢ信号を用いた手法は、３色の反射光のスペクトル強度変化を観測していることとなる。そこで、定常的な光が顔にあたる場合は安定して脈拍を検出することが可能であるが、夜間又は暗い部屋では、検出が出来ない。そこで、可視光カメラではなく近赤外カメラに置き換え、赤外光を照射し、ＲＧＢ信号の代わりに赤外線信号の変化を計測することで脈波を検出する手法がある。ところが、赤外信号はＲＧＢ信号より皮下への浸透が深いため、ノイズとなりやすい。また、色情報のない赤外域では顔の肌領域を特定することは困難である。
上記課題を鑑み、本発明の一態様は、赤外スペクトルの波長変化を計測することで脈波を検出する。
上記課題の少なくとも一つを解決するために、本発明の代表的な形態は、生体情報検出装置であって、対象物からの反射光に含まれる赤外領域の三つの波長の成分を含む映像信号を受け付ける映像入力部と、前記映像信号から前記反射光の波長及び強度を取得する波長検出部と、前記映像信号に基づいて顔の複数の特徴点を検出する顔特徴量検出部と、検出された前記顔の複数の特徴点に基づいて計測対象領域を特定する計測対象領域特定部と、前記計測対象領域からの各時刻の反射光の波長と前記各時刻より前の時刻の反射光の波長との差分を検出する波長揺らぎ検出部と、前記検出された差分の時刻に応じた変化を脈波として検出する脈波検出部と、を有し、前記波長検出部は、可視光領域における赤色、緑色及び青色を前記赤外領域の三つの波長に置き換えたＨＳＶ空間又はＨＳＬ空間のいずれかの色空間における波長及び強度を取得し、前記計測対象領域特定部は、前記顔の複数の特徴点に基づいて前記計測対象領域を特定した後、前記色空間のうち、前記特定した計測対象領域内の画素の値の出現頻度分布に基づいて出現頻度が所定の値を超える範囲を部分空間として特定し、前記部分空間内の画素の領域を最終的に前記計測対象領域として特定することを特徴とする。
本発明の一態様によれば、非接触にて夜間等のモニタリングを行うことができる。
上記した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。
実施例１に於ける生体情報検出装置の構成例を示すブロック図である。 実施例１に於ける生体情報検出装置のＩＲカメラモジュールの一例を説明する図である。 実施例１に於ける生体情報検出装置の映像入力部の一例を説明する図である。 実施例１に於ける生体情報検出装置の波長信号生成部の一例を説明する図である。 実施例１に於ける生体情報検出装置の複数の顔特徴量検出部を有する波長信号生成部の一例を説明する図である。 実施例１に於ける生体情報検出装置の波長揺らぎ検出部の一例を説明する図である。 実施例１に於ける生体情報検出装置の脈波検出部の一例を説明する図である。 実施例１に於ける生体情報検出装置に係る光学系の一例として、プロジェクタの光学系の一つである３ＬＣＤ方式を説明する図である。 実施例１に於ける生体情報検出装置の光学系の一例を説明する図である。 実施例１に於ける空間フィルタの一例を説明する図である。 実施例１に於けるＨＳＶ色空間及び部分色空間の指定範囲を説明する図である。 ＣＣＤカメラのバンドパスフィルタの一例を説明する図である。 ＣＣＤカメラのＲＧＢフィルタの一例を説明する図である。 実施例２に於ける生体情報検出装置の光学系の赤外フィルタの一例を説明する図である。 実施例１に於ける部分色空間の設定方法の一例を説明する図である。 実施例１に於けるＩＲカメラ信号のレベルの調整方法の一例を説明する図である。 実施例１に於ける顔領域検出のレベルの調整方法の一例を説明する図である。 実施例１に於ける生体情報検出装置の顔特徴検出部によって検出される肌領域の一例を説明する図である。 実施例２に於ける生体情報検出装置の構成例を示すブロック図である。 実施例２に於ける生体情報検出装置のＩＲカメラモジュールの一例を説明する図である。 実施例１に於ける生体情報検出装置で用いるＩＲカメラの分光感度及びフィルタの透過率の一例を説明する図である。
以下、本発明の実施の形態について図面に基づいて説明するが、本発明は必ずしもこれらの実施形態に限定されるものではない。なお、実施形態を説明する各図面において、同一の部材には同一の符号を付し、その繰り返しの説明は省略する。
本実施例では、ＩＲ（赤外線）光源と３台のカメラを用いて顔映像から脈拍を検出する機能を備える生体情報検出装置の例を説明する。
図１は、実施例１に於ける生体情報検出装置の構成例を示すブロック図である。
本実施例における生体情報検出装置は、それぞれ１台目～３台目のＩＲカメラであるＩＲ１カメラ２００ａ～ＩＲ３カメラ２００ｃと、映像入力部３００ａ～映像入力部３００ｃと、波長信号生成部４００と、波長揺らぎ検出部５００と、脈波検出部６００と、データ表示部１０７と、を備える。
映像入力部３００ａには、ＩＲ１カメラ２００ａから出力される赤外撮像データすなわちＩＲ１撮像データ信号１０１ａが入力される。映像入力部３００ｂには、ＩＲ２カメラ２００ｂから出力されるＩＲ２撮像データ信号１０１ｂが入力される。映像入力部３００ｃには、ＩＲ３カメラ２００ｃから出力されるＩＲ３撮像データ信号１０１ｃが入力される。波長信号生成部４００には、各映像入力部３００ａ～３００ｃから出力される遅延ＩＲ１データ信号１０２ａ、遅延ＩＲ２データ信号１０２ｂ及び遅延ＩＲ３データ信号１０２ｃが入力される。波長揺らぎ検出部５００には、波長信号生成部４００から出力される波長データ信号１０３及びレベル信号１０４が入力される。脈波検出部６００には、波長揺らぎ検出部５００から出力される平均波長差分データ信号１０５が入力される。データ表示部１０７には、脈波検出部６００から出力される脈拍信号１０６が入力される。
図２は、実施例１に於ける生体情報検出装置のＩＲカメラモジュールの一例を説明する図である。
ＩＲ１カメラ２００ａは、レンズに装着したＩＲ１透過フィルタ１（バンドパスフィルタ又はローパスフィルタ）２０１ａを通し、赤外光がＣＣＤ２０２に照射される。ここで、レンズに装着したＩＲ１透過フィルタ２０１ａの帯域は、カメラ備え付けの赤外透過可視光カットフィルタの帯域に含まれる。この光をＣＣＤ２０２が光電変換して得られる電気信号２０３が、ＡＤコンバータ２０４によってデジタル化され、デジタルデータ信号２０５として映像補正部２０７に入力される。
映像補正部２０７は、映像調整パラメータ２０６ａによってホワイトバランス及びコントラスト等の映像調整を行い、例えば１画素毎のＩＲをコンポーネントに持つＩＲ１撮像データ信号１０１ａを出力する。
また、ＩＲ２カメラ２００ｂ及びＩＲ３カメラ２００ｃも同様の構成であるが、それぞれのレンズに装着したＩＲ透過フィルタとして、ＩＲ１透過フィルタ２０１ａの帯域とはそれぞれ異なる波長のバンドパスフィルタ又はローパスフィルタが用いられる。本構成では、ＩＲ１透過フィルタ２０１ａをレンズに装着したで説明したが、ＩＲ１透過フィルタ２０１ａを備え付けの赤外透過可視光カットフィルタと交換することで、レンズとＣＣＤとの間に挟んで設置してもよい。ここで、ＣＣＤカメラを例に説明したが、ＣＣＤ２０２は受光部（イメージセンサ）の一例であり、ＩＲ１カメラ２００ａ～ＩＲ３カメラ２００ｃは、ＣＣＤ以外の受光部（例えばＩｎＧａＡｓ等）を有してもよい。
本実施例に於ける生体情報検出装置は、カメラ３台をその構成に持つが、ＩＲ１カメラ２００ａには赤外透過可視光フィルタ２０１ａを、ＩＲ２カメラ２００ｂにはＩＲ１とは異なる赤外透過可視光フィルタ（図示省略）を、ＩＲ３カメラ２００ｃにはＩＲ１及びＩＲ２とは異なる赤外透過可視光フィルタ（図示省略）を有していれば、ＩＲ１カメラ２００ａ、ＩＲ２カメラ２００ｂ及びＩＲ３カメラ２００ｃがそれぞれ有する映像調整パラメータ２０６ａ、２０６ｂ及び２０６ｃは同じでもよく、異なってもよい。その他の構成はいずれのＩＲカメラも同じであるため、ＩＲ２カメラ２００ｂ及びＩＲ３カメラ２００ｃの詳細な構成については図示を省略する。
図１６は、実施例１に於ける生体情報検出装置で用いるＩＲカメラの分光感度及びフィルタの透過率の一例を説明する図である。
横軸の波長は７００ｎｍ～１０００ｎｍの近赤外線、実線のグラフはＣＣＤの分光感度で縦軸は量子効率である。また、破線グラフは縦軸を透過率とし、３種類のバンドパスフィルタの特性曲線を示している。図１６では波長の短い順にＩＲ１、ＩＲ２、ＩＲ３としているが、この順番および帯域幅でなくてもよく、ローパスフィルタを用いてもよい。
また、ＩＲ１カメラ、ＩＲ２カメラ及びＩＲ３カメラは同じ被写体を撮影する必要があるため、３台を並べて映像を幾何的に同じ位置に補正すればよく、また光学的に同じ位置で撮像できるよう補正してもよい。
図７Ａは、実施例１に於ける生体情報検出装置に係る光学系の一例として、プロジェクタの光学系の一つである３ＬＣＤ方式を説明する図である。
光源から出力した光線は、ダイクロイックミラーによって、赤色波長Ｒ７０１、緑色波長Ｇ７０２及び青色波長Ｂ７０３の３つに分光され、３ＬＣＤ方式の光学系７００に入力される。光学系７００において、それぞれの光が更に赤色用ＬＣＤ７０４、緑色用ＬＣＤ７０５、青色ＬＣＤ７０６を透過することで、ＲＧＢ各成分の映像がそれぞれ生成される。これらの映像を構成する光がダイクロイックプリズムによって、図７Ａに示すように透過及び反射することで映像が合成され、レンズを通しスクリーンで結像される。
図７Ｂは、実施例１に於ける生体情報検出装置の光学系の一例を説明する図である。
具体的には、図７Ｂは、図７Ａに示した３ＬＣＤ方式の逆の光路を辿ることで映像を取得する手法を説明する。光学系７５０に示す通り、映像はレンズを通して図７Ｂのように、Ｒ、Ｇ、Ｂの各成分に代わり、ＩＲ１（７５３）、ＩＲ２（７５４）、ＩＲ３（７５５）を透過及び反射するダイクロイックプリズムを通して分光する。分光した光は、ＩＲ１透過フィルタ２０１ａ、ＩＲ２透過フィルタ２０１ｂ、ＩＲ３透過フィルタ２０１ｃを通し、ＩＲカメラ２００ａ、２００ｂ、２００ｃで各成分の映像となる。また、白熱灯等の外部光源があれば、その光源から発せられる赤外線を利用すればよく、光源がなければ、ＩＲ１、ＩＲ２、ＩＲ３の赤外波長を含む赤外光を別途用意すればよい。
図３は、実施例１に於ける生体情報検出装置の映像入力部の一例を説明する図である。
映像入力部３００ａは、映像取得部３０１及び映像データ記憶部３０３を備える。映像取得部３０１は、ＩＲ１撮像データ信号１０１ａを入力信号とし、映像のＩＲデータ信号３０２を出力する。映像データ記憶部３０３は、１フレーム分のＩＲデータ信号３０２を入力信号とし、遅延ＩＲ１データ信号１０２ａを出力する。映像入力部３００ｂ及び映像入力部３００ｃも同様の構成であるため、図示を省略する。
図４Ａは、実施例１に於ける生体情報検出装置の波長信号生成部４００の一例を説明する図である。
波長信号生成部４００は、空間フィルタ４０１ａ、４０１ｂ、４０１ｃ、波長検出部４０３、顔特徴量検出部４０５ａ、肌領域推定部４０８及びスイッチ４０９を備え、画素毎の映像処理を行う。
空間フィルタ４０１ａ、４０１ｂ及び４０１ｃは、それぞれ、コンボリューションカーネルのタップ分のライン遅延を持つ遅延ＩＲ１データ信号１０２ａ、遅延ＩＲ２データ信号１０２ｂ及び遅延ＩＲ３データ信号１０２ｃを入力信号とし、例えば注目画素の周りを加重平均し、平滑化した遅延ＩＲ１データ信号４０２ａ、平滑化した遅延ＩＲ２データ信号４０２ｂ及び平滑化した遅延ＩＲ３データ信号４０２ｃを出力する。
波長検出部４０３は、平滑化した遅延ＩＲ１データ信号４０２ａ、平滑化した遅延ＩＲ２データ信号４０２ｂ及び平滑化した遅延ＩＲ３データ信号４０２ｃを入力信号とし、波長データ信号１０３へと変換する。
顔特徴量検出部４０５ａは、例えば遅延ＩＲデータ信号の一つである１０２ａを入力信号とし、カメラ２００ａが備えるフィルタ２０１ａの波長に応じて、ＩＲ映像の鮮鋭度、コントラスト及びノイズをＩＲ１映像調整パラメータ４０４ａに基づいて調整し、顔の特徴量である目、口及び鼻の座標及び大きさ等の顔特徴量４０６ａを出力する。
肌領域推定部４０８は、生体情報検出装置による計測対象領域を特定する機能を有する。具体的には、肌領域推定部４０８は、ＩＲ１顔特徴量４０６ａを入力信号とし、例えば肌領域推定部パラメータ４０７によって設定された位置のオフセット等に基づいて、脈波検出に使用する肌領域を推定し、肌領域を示すレベル信号１０４を出力する。スイッチ４０９は、肌領域推定機能の有効又は無効を切り替える。本実施例では、このようにして推定された肌領域が計測対象領域として特定される。
ここで、波長検出部４０３は、平滑化した遅延ＩＲ１データ信号４０２ａ、平滑化した遅延ＩＲ２データ信号４０２ｂ、及び平滑化した遅延ＩＲ３データ信号４０２ｃを、例えばＲ、Ｇ、Ｂとし、ＲＧＢ－ＨＳＶ変換を使用すればよく、Ｈ（Ｈｕｅ）を波長データ信号１０３として出力すればよい。
図１３は、実施例１に於ける生体情報検出装置の顔特徴量検出部４０５ａによって検出される肌領域の一例を説明する図である。
顔を構成する特徴部位として目、口、鼻、眉及び耳等が挙げられるが、本実施例では目と口を用いて説明する。
例えば目及び口等の顔特徴量はＨａａｒ－ｌｉｋｅやＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）等の特徴分類器を用いて図１３中の検出された顔特徴領域のように識別し、例えば矩形領域として算出できる。本実施例の脈波検出は肌の色変化を利用するため、肌の領域を検出する必要がある。そこで、顔特徴量検出部４０５ａは、例えば目及び口の矩形位置から、図１３中の上下左右オフセットの距離分、離れた位置の矩形を顔の肌領域として推定する。
その際、肌領域は顔の中になければならないため、顔特徴量検出部４０５ａは、顔検出を行い、検出された顔の矩形の中に肌領域が包含されることを判定し、包含しない場合は肌領域の面積を０とする等によって、肌領域を無効化してもよい。
上記のように、目及び口といった顔の特徴に基づいて肌領域を推定することによって、色の情報を持たない赤外域の信号に基づいて計測対象領域を特定することができる。また、オフセットを適切に調整することによって、肌領域の推定の精度を向上させることができる。
図４Ｂは、実施例１に於ける生体情報検出装置の複数の顔特徴量検出部４０５ａ～４０５ｃを有する波長信号生成部の一例を説明する図である。
図１に於いて、波長信号生成部４００を図４Ｂに示す波長信号生成部４５０に置き換えてもよい。波長信号生成部４５０は、空間フィルタ４０１ａ、４０１ｂ、４０１ｃ、波長検出部４０３、顔特徴量検出部４０５ａ、４０５ｂ、４０５ｃ、特徴量調整部４５１、肌領域推定部４０８及びスイッチ４０９を備える。
空間フィルタ４０１ａ、４０１ｂ及び４０１ｃは、それぞれ、遅延ＩＲ１データ信号１０２ａ、遅延ＩＲ２データ信号１０２ｂ及び遅延ＩＲ３データ信号１０２ｃを入力信号とし、平滑化したＩＲ１データ信号４０２ａ、平滑化したＩＲ２データ信号４０２ｂ及び平滑化したＩＲ３データ信号４０２ｃを出力する。波長検出部４０３は、平滑化したＩＲ１データ信号４０２ａ、平滑化したＩＲ２データ信号４０２ｂ及び平滑化したＩＲ３データ信号４０２ｃを入力信号とし、波長データ信号１０３へと変換する。
また、顔特徴量検出部４０５ａは、遅延ＩＲ１データ信号１０２ａ及びＩＲ１映像調整パラメータ４０４ａを入力信号とし、ＩＲ１顔特徴量４０６ａを出力する。顔特徴量検出部４０５ｂは、遅延ＩＲ２データ信号１０２ｂ及びＩＲ２映像調整パラメータ４０４ｂを入力信号とし、ＩＲ２顔特徴量４０６ｂを出力する。顔特徴量検出部４０５ｃは、遅延ＩＲ３データ信号１０２ｃ及びＩＲ３映像調整パラメータ４０４ｃを入力信号とし、ＩＲ３顔特徴量４０６ｃを出力する。
特徴量調整部４５１は、ＩＲ１顔特徴量４０６ａ、ＩＲ２顔特徴量４０６ｂ及びＩＲ３顔特徴量４０６ｃを入力信号とし、これらの入力信号、すなわち、例えば座標及び大きさ等の数値を平均し、調整された顔特徴量４５２を出力する。
肌領域推定部４０８は、例えばパラメータ４０７によって設定された位置のオフセット等に基づいて、脈波検出に使用する肌領域を推定し、肌領域を示すレベル信号１０４を出力する。スイッチ４０９は、肌領域推定機能の有効又は無効を切り替える。
ここで、特徴量調整部４５１の演算は、例えば各ＩＲの顔特徴量の平均値の算出であるが、中間値の算出でもよい。また、顔特徴量が検出できなかった場合、この特徴量を演算から除外してもよく、調整された顔特徴量をデータ出力しない、又は、０としてもよい。
上記のように三つの赤外域の波長の信号を取得して、仮にその中のいずれかがノイズ等の影響によって使用できない場合にはそれを除外して、使用可能な信号について顔特徴量を検出し、検出した特徴量の平均値又は中間値等に基づいて肌領域を推定することによって、赤外信号に含まれるノイズの影響を軽減することができる。
以上のように図４Ａに示す波長信号生成部４００又は図４Ｂに示す波長信号生成部４５０によって、スペクトル強度の変位から波長の変位に変換できる。
図１２は、実施例１に於ける顔領域検出のレベルの調整方法の一例を説明する図である。
顔領域検出スイッチは、肌領域推定機能を有効又は無効に切り替えるスイッチ４０９と連動する。顔領域検出スイッチがＯＮの時に、波長信号生成部４００又は４５０は、肌領域推定部４０８からの信号を、肌領域を示すレベル信号１０４として出力し、また、ＯＦＦの時には全領域を肌領域として選択すればよい。例えば、映像中の肌領域を１、それ以外を０とすると、顔領域検出スイッチ１２０１がＯＦＦの場合には肌領域推定部４０８の出力に関わらず肌領域を示すレベル信号１０４を強制的に１とすればよい。
図５は、実施例１に於ける生体情報検出装置の波長揺らぎ検出部５００の一例を説明する図である。
波長揺らぎ検出部５００は、波長データ記憶部５０１、波長差分算出部５０３、波長差分積算部、肌面積算出部５０７及び平均波長差分算出部５０９を備える。波長データ記憶部５０１は、波長データ信号１０３をフレームごとに記憶し、フレーム遅延した遅延波長データ信号５０２を出力する。
波長差分算出部５０３は、肌領域を示すレベル信号１０４と、波長データ信号１０３と、遅延波長データ信号５０２とを入力とし、肌領域内の画素の信号が入力された場合（すなわちレベル信号１０４として１が入力された場合）に、入力された波長データ信号１０３及び遅延波長データ信号５０２から算出した（すなわち各時刻の波長データ信号１０３と当該各時刻より前の時刻の波長データ信号１０３との差分である）波長差分データ信号５０４を出力し、肌色領域外の画素の信号が入力された場合は０値を出力する。
波長差分積算部５０５は、肌領域内の画素の波長差分データ信号５０４を入力とし、フレーム毎の波長差分を積算し、積算波長差分データ信号５０６を出力する。肌面積算出部５０７は、肌領域を示すレベル信号１０４を入力とし、フレーム毎に肌領域の画素数をカウントし、肌面積信号５０８を出力する。平均波長差分算出部５０９は、肌領域画素の波長差分データ信号５０６及び肌面積信号５０８を入力とし、フレーム毎の波長差分を積算し、平均波長差分データ信号１０５を出力する。
図６は、実施例１に於ける生体情報検出装置の脈波検出部６００の一例を説明する図である。
脈波検出部６００は、差分データ記憶部６０１、平滑化フィルタ６０３、平滑データ記憶部６０５、傾き検出部６０７、符号データ記憶部６０９及び極値検出部６１１を備え、フレーム毎の映像処理を行う。
差分データ記憶部６０１は、平均波長差分データ信号１０５を入力とし、遅延波長差分データ信号６０２を出力する。平滑化フィルタ６０３は、平均波長差分データ信号１０５及び遅延波長差分データ信号６０２を入力とし、連続時間軸上で複数フレーム分の波長データから平滑化した波長差分データ信号６０４を出力する。
平滑データ記憶部６０５は、平滑化した波長差分データ信号６０４を入力とし、複数フレーム分の波長差分データを保持し、平滑化した遅延波長差分データ信号６０６を出力する。傾き検出部６０７は、連続する２フレームデータ、又は連続する近傍の数フレームの平均フレーム間の差分を求め、傾きの符号を示す符号データ信号６０８を出力する。
符号データ記憶部６０９は、符号データ信号６０８を入力とし、複数フレーム分の符号データを保持し、遅延符号データ信号６１０を出力する。極値検出部６１１は、符号データ信号６０８及び遅延符号データ信号６１０を入力とし、傾きの符合変化を正値から負値へ変化したフレームを極大、負値から正値へ変化したフレームを極小とすることで極値を求め、例えば極大値を脈拍信号１０６として出力する。
図８は、実施例１に於ける空間フィルタの一例を説明する図である。
図８は、縦横３タップすなわち３×３のコンボリューションカーネルを画像に適用した例であり、画像の注目画素を中心にカーネルと畳み込み演算を施した値が平滑化したＩＲ１データ信号４０２ａ、平滑化したＩＲ２データ信号４０２ｂ、及び平滑化したＩＲ３データ４０２ｃとなる。カーネルの値は加重平均の係数であり、それらの合計値は１．０になればよく、平滑化には例えば平均値分布又はガウシアン分布等を用いることができる。
図９は、実施例１に於けるＨＳＶ色空間及び部分色空間の指定範囲の一例を説明する図である。
図９はＨＳＶ色空間を円柱座標で表現している。縦軸はＶａｌｕｅすなわち明度であり、色の明るさを表す。半径方向の軸はＳａｔｕｒａｔｉｏｎすなわち彩度であり、色の濃さを示す。回転角がＨｕｅすなわち色相となる。色相は、強さ及び濃さとは独立であり、撮像が光の反射を捉えていると考えると、反射光の波長成分に相当すると考えられる。同様に、明度は特定波長の強度を示すと考えることができる。
以上は、可視光域の色空間であるが、本実施例の生体情報検出装置はこれを赤外域に置き換えて使用する。例えば、色空間のＲ、Ｇ、ＢをそれぞれＩＲ１、ＩＲ２、ＩＲ３に置き換え、ＲＧＢ－ＨＳＶ変換を用いることでＩＲ空間からＨＳＶ空間へ変換すればよい。ここで、ＨＳＶ空間を用いて説明したが、ＨＳＬ空間でもよく、波長成分に類似した成分に変換できる空間であれば他の色空間を用いてもよい。
図１１Ａは、実施例１に於ける部分色空間の設定方法の一例を説明する図である。
例えば、生体情報検出装置のデータ表示部１０７が、図１１Ａに示すように波長レンジ、偏移レンジ及び強度レンジのそれぞれの全範囲を示すバーと、それらのバーの上で指定する範囲の両端（例えば波長レンジを指定する「赤外１」及び「赤外２」）を指示するアイコンとを表示してもよい。ここで、波長、偏移及び強度は、それぞれ、可視光域の色空間における色相、彩度及び明度に相当する。ユーザが生体情報検出装置の入力装置（図示省略）を用いてそれらのアイコンを操作することによって範囲を指定することができる。
例えば、波長レンジに関しては、波長空間の０度＝３６０度はＩＲ１、１２０度はＩＲ２、２４０度はＩＲ３であり、例えば赤外１及び赤外２で指定した区間を該当範囲として指定すればよい。偏移レンジは０％を赤外線が均等、１００％を赤外線偏りが最大、として、例えば偏移１から偏移２までの範囲を指定すればよい。強度レンジは０％から１００％を範囲とし、同様に例えば強度１から強度２の範囲を指定すればよい。
なお、波長レンジ、偏移レンジ及び強度レンジは、図１１Ａに示すように手動で設定されてもよいが、自動で設定されてもよい。ここで、自動で設定する方法の一例を説明する。
例えば、顔特徴量検出部４０５ａ～４０５ｃの少なくともいずれかが検出した顔特徴量に基づいて、肌領域推定部４０８が図１３に示すように肌領域を推定する。その後、肌領域推定部４０８は、顔特徴量に基づいて推定された肌領域内の少なくとも一部の画素の波長、偏移及び強度を含むように、波長レンジ、偏移レンジ及び強度レンジを設定してもよい。例えば、肌領域推定部４０８は、肌領域内の画素の波長、偏移及び強度のそれぞれの値の出現頻度分布に基づいて、出現頻度が所定の値を超える波長、偏移及び強度の範囲を波長レンジ、偏移レンジ及び強度レンジとして設定してもよい。
その後、肌領域推定部４０８は、設定された波長レンジ、偏移レンジ及び強度レンジによって特定される部分空間（図９参照）に基づいて肌領域を推定する。例えば、肌領域推定部４０８は、顔特徴量に基づいて推定された肌領域内の画素のうち、波長、偏移及び強度の値がそれぞれ上記の波長レンジ、偏移レンジ及び強度レンジに含まれる画素の領域を、最終的に肌領域として推定してもよい。あるいは、肌領域推定部４０８は、顔特徴量に基づいて推定された肌領域にかかわらず、波長、偏移及び強度の値がそれぞれ上記の波長レンジ、偏移レンジ及び強度レンジに含まれる画素の領域を肌領域として推定してもよい。
本実施例では顔特徴量を利用することによって肌領域を推定することができるが、時間の経過とともに被験者が姿勢を変更するなど、実際の肌領域の位置が移動する場合がある。その結果、推定された肌領域に、例えば目又は口等、肌領域以外の領域が含まれることとなり、脈波の検出精度が低下する場合がある。実際の肌領域の移動に追随するために常に顔特徴量を検出してそれに基づく肌領域の推定を行ってもよいが、顔特徴量の検出には多くの計算コストを要する。
これに対して、目又は口等、肌領域以外の領域の画素の波長、偏移及び強度の値は、上記のように設定された波長レンジ、偏移レンジ及び強度レンジから外れることが期待できる。また、部分空間に基づく肌領域の推定に要する計算コストは小さい。このため、上記のように部分空間に基づく推定を組み合わせることによって、少ない計算量で、肌領域以外の領域に起因するノイズを排除し、高精度に脈波を検出することが可能になる。
図１１Ｂは、実施例１に於けるＩＲカメラ信号のレベルの調整方法の一例を説明する図である。
例えば、生体情報検出装置のデータ表示部１０７が、図１１Ｂに示すように信号レベル１、信号レベル２及び信号レベル３のそれぞれの全範囲（０％～１００％）を示すバーと、それらのバーの上で信号レベルを指示するアイコンとを表示してもよい。ここで、信号レベル１は、ＩＲ１カメラ２００ａに設定される映像調整パラメータ２０６ａに対応する。同様に、信号レベル２及び信号レベル３が、それぞれ、ＩＲ２カメラ２００ｂ及びＩＲ３カメラ２００ｃに設定される映像調整パラメータ（図示省略）に相当する。ユーザが生体情報検出装置の入力装置（図示省略）を用いてそれらのアイコンを操作することによって波長検出部４０３の出力を調整することができる。
以上の構成によれば、非接触にてノイズによる弊害を抑え、夜間に於いても疾患及び心不全等による容態急変を検出するモニタリングを行うことができる。
実施例１では、ＩＲ光源及び３台のカメラを用いて、ノイズによる弊害を抑え、顔映像から脈拍を検出する技術を説明した。実施例２では、１台のカメラで測定する生体情報検出装置を説明する。以下に説明する相違点を除き、実施例２の生体情報検出装置の各部は、図１～図９、図１１Ａ～図１３及び図１６等に示された実施例１の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。
図１４は、実施例２に於ける生体情報検出装置の構成例を示すブロック図である。
本実施例における生体情報検出装置は、ＩＲカメラ２００ｄ、映像入力部３００ｄ、波長信号生成部４００、波長揺らぎ検出部５００、脈波検出部６００及びデータ表示部１０７を備える。
ＩＲカメラ２００ｄは、３つの赤外成分のそれぞれを検出し、それらの３成分を合成したパック信号、すなわち、ＩＲ撮像データ信号１０１ｄを出力する。映像入力部３００ｄは、ＩＲ撮像データ信号１０１ｄを入力信号とし、遅延ＩＲデータ信号１０２ｄを各成分に分解したアンパック信号、すなわち、遅延ＩＲデータ信号１０２ａ、１０２ｂ及び１０２ｃを出力する。
波長信号生成部４００は、遅延ＩＲデータ信号１０２ａ、１０２ｂ及び１０２ｃを入力信号とし、赤外波長データ信号１０３及びレベル信号１０４を出力する。波長揺らぎ検出部５００は、赤外波長データ信号１０３とレベル信号１０４を入力信号とし、平均波長差分データ信号１０５を出力する。脈波検出部６００は、平均波長差分データ信号１０５を入力信号とし、脈拍信号１０６を出力する。データ表示部１０７は、脈拍信号１０６を入力信号とし、データを表示する。なお、本構成に於いて、波長信号生成部４００を波長信号生成部４５０によって置き換えてもよい。
図１５は、実施例２に於ける生体情報検出装置のＩＲカメラモジュールの一例を説明する図である。
ＩＲカメラ２００ｄでは、レンズを通過した光が３帯域の赤外波長に対するＩＲ透過フィルタ（バンドパスフィルタ又はローパスフィルタ）２０１ｄを通し、３波長の赤外光がＣＣＤ２０２に照射される。この光を光電変換して得られる電気信号２０３が、ＡＤコンバータ２０４によってデジタル化される。ＡＤコンバータ２０４から出力されたデジタルデータ信号２０５は、映像補正部２０７に入力される。映像補正部２０７は、入力されたデジタルデータ信号２０５に対して、映像調整パラメータ２０６ｄに基づくホワイトバランス及びコントラスト等の映像調整を行い、例えば１画素毎のＩＲをコンポーネントに持つＩＲ撮像データ信号１０１ｄを出力する。
図１０Ａは、ＣＣＤカメラのバンドパスフィルタの一例を説明する図である。
図１０Ａに示すように、ＣＣＤの上に、例えばカラーフィルタが重なるように構成されている。また、ＣＣＤ上には受光素子があり、一つの受光素子がカラー（ＲＧＢ）フィルタの一つのセルと対応しており、これが画素となる。
図１０Ｂは、ＣＣＤカメラのＲＧＢフィルタの一例を説明する図である。
ＲＧＢフィルタの１つのセルには一色（すなわちＲＧＢのいずれか）のカラーが割り当てられており、それぞれのカラーが割り当てられたセルが例えば図１０Ｂのような配列に並んでいる。これをベイヤー配列と呼ぶ。一画素に不足する他の二色の成分は隣接する周囲のカラーを補間することで得られる。
図１０Ｃは、実施例２に於ける生体情報検出装置の光学系の赤外フィルタの一例を説明する図である。
図１０Ｃに示す赤外フィルタは、図１０ＢのＲＧＢフィルタの各透過フィルタをＩＲ１透過フィルタ、ＩＲ２透過フィルタ及びＩＲ３透過フィルタによって置き換えたものであり、これが図１５におけるＩＲ透過フィルタ２０１ｄとなる。
実施例１の構成によれば、信号の補間は不要であるが、その代わりに３台のカメラが必要となる。これに対して、実施例２の構成によれば、１台のカメラを用いて、非接触にてノイズによる弊害を抑え、夜間に於いても疾患及び心不全等による容態急変を検出するモニタリングを行うことができる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶デバイス、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。
また、制御線及び情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
１０１ａ ＩＲ１撮像データ信号
１０１ｂ ＩＲ２撮像データ信号
１０１ｃ ＩＲ３撮像データ信号
１０１ｄ ＩＲ撮像データ信号
１０２ａ 遅延ＩＲ１データ信号
１０２ｂ 遅延ＩＲ２データ信号
１０２ｃ 遅延ＩＲ３データ信号
１０２ｄ 遅延ＩＲデータ信号
１０３ 波長データ信号
１０４ レベル信号
１０５ 平均波長差分データ信号
１０６ 脈拍信号
２０１ａ ＩＲ１透過フィルタ
２０１ｂ ＩＲ２透過フィルタ
２０１ｃ ＩＲ３透過フィルタ
２０１ｄ ＩＲ透過フィルタ
２０３ 電気信号
２０５ デジタルデータ信号
３０２ ＩＲデータ信号
４０２ａ 平滑化したＩＲ１データ信号
４０２ｂ 平滑化したＩＲ２データ信号
４０２ｃ 平滑化したＩＲ３データ信号
４０４ａ ＩＲ１映像調整パラメータ
４０４ｂ ＩＲ２映像調整パラメータ
４０４ｃ ＩＲ３映像調整パラメータ
４０６ａ ＩＲ１顔特徴量
４０６ｂ ＩＲ２顔特徴量
４０６ｃ ＩＲ３顔特徴量
４０７ 肌領域推定部パラメータ
４０９ スイッチ
４５２ 調整された顔特徴量
５０２ 遅延波長データ信号
５０４ 肌領域内画素の波長差分データ信号
５０６ 波長差分データ信号
６０２ 遅延波長差分データ信号
６０４ 平滑化した波長差分データ信号
６０６ 平滑化した遅延波長差分データ信号
６０８ 符号データ信号
６１０ 遅延符号データ信号
７００ ３ＬＣＤ方式の光学系
７０４ 赤色用ＬＣＤ
７０５ 緑色用ＬＣＤ
７０６ 青色用ＬＣＤ

Claims (7)

  1. 対象物からの反射光に含まれる赤外領域の三つの波長の成分を含む映像信号を受け付ける映像入力部と、
    前記映像信号から前記反射光の波長及び強度を取得する波長検出部と、
    前記映像信号に基づいて顔の複数の特徴点を検出する顔特徴量検出部と、
    検出された前記顔の複数の特徴点に基づいて計測対象領域を特定する計測対象領域特定部と、
    前記計測対象領域からの各時刻の反射光の波長と前記各時刻より前の時刻の反射光の波長との差分を検出する波長揺らぎ検出部と、
    前記検出された差分の時刻に応じた変化を脈波として検出する脈波検出部と、を有し、
    前記波長検出部は、可視光領域における赤色、緑色及び青色を前記赤外領域の三つの波長に置き換えたＨＳＶ空間又はＨＳＬ空間のいずれかの色空間における波長及び強度を取得し、
    前記計測対象領域特定部は、
    前記顔の複数の特徴点に基づいて前記計測対象領域を特定した後、前記色空間のうち、前記特定した計測対象領域内の画素の値の出現頻度分布に基づいて出現頻度が所定の値を超える範囲を部分空間として特定し、
    前記部分空間内の画素の領域を最終的に前記計測対象領域として特定することを特徴とする生体情報検出装置。
  2. 請求項１に記載の生体情報検出装置であって、
    前記顔特徴量検出部は、目及び口を前記顔の複数の特徴点として検出し、
    前記計測対象領域特定部は、前記複数の特徴点からのオフセットに基づいて肌領域を推定し、推定された肌領域を前記計測対象領域として特定することを特徴とする生体情報検出装置。
  3. 請求項１に記載の生体情報検出装置であって、
    前記顔特徴量検出部は、前記三つの波長の成分の映像信号に基づいて、前記複数の特徴点の位置及び大きさを検出し、
    前記計測対象領域特定部は、前記三つの波長の成分の映像信号に基づいて検出された前記特徴点の位置及び大きさの値の平均値又は中間値に基づいて、前記計測対象領域を特定することを特徴とする生体情報検出装置。
  4. 請求項３に記載の生体情報検出装置であって、
    前記計測対象領域特定部は、前記三つの波長の成分の映像信号のいずれかに基づいて前記複数の特徴点の位置及び大きさの少なくともいずれかが検出できなかった場合、前記三つの波長の残りの波長の成分の映像信号に基づいて検出された前記特徴点の位置及び大きさの値の平均値又は中間値に基づいて、前記計測対象領域を特定することを特徴とする生体情報検出装置。
  5. 請求項１に記載の生体情報検出装置であって、
    それぞれに分光特性が異なる赤外透過フィルタを有する三つの赤外線カメラを有し、
    前記映像入力部は、前記三つの赤外線カメラから前記三つの波長の成分を含む映像信号を受け付けることを特徴とする生体情報検出装置。
  6. 請求項１に記載の生体情報検出装置であって、
    画素ごとに、それぞれに分光特性が異なる三種類の赤外透過フィルタのいずれかが設けられた受光部を有する一つの赤外線カメラを有し、
    前記映像入力部は、前記赤外線カメラから前記三つの波長の成分を含む映像信号を受け付けることを特徴とする生体情報検出装置。
  7. 生体情報検出装置が実行する生体情報検出方法であって、
    対象物からの反射光に含まれる赤外領域の三つの波長の成分を含む映像信号を受け付ける映像手順と、
    前記映像信号から前記反射光の波長及び強度を取得する波長検出手順と、
    前記映像信号に基づいて顔の複数の特徴点を検出する顔特徴量検出手順と、
    検出された前記顔の複数の特徴点に基づいて計測対象領域を特定する計測対象領域特定手順と、
    前記計測対象領域からの各時刻の反射光の波長と前記各時刻より前の時刻の反射光の波長との差分を検出する波長揺らぎ検出手順と、
    前記検出された差分の時刻に応じた変化を脈波として検出する脈波検出手順と、を含み、
    前記波長検出手順は、可視光領域における赤色、緑色及び青色を前記赤外領域の三つの波長に置き換えたＨＳＶ空間又はＨＳＬ空間のいずれかの色空間における波長及び強度を取得する手順を含み、
    前記計測対象領域特定手順は、
    前記顔の複数の特徴点に基づいて前記計測対象領域を特定した後、前記色空間のうち、前記特定した計測対象領域内の画素の値の出現頻度分布に基づいて出現頻度が所定の値を超える範囲を部分空間として特定する手順と、
    前記部分空間内の画素の領域を最終的に前記計測対象領域として特定する手順と、を含むことを特徴とする生体情報検出方法。
JP2018205849A 2018-10-31 2018-10-31 生体情報検出装置及び生体情報検出方法 Active JP7212499B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018205849A JP7212499B2 (ja) 2018-10-31 2018-10-31 生体情報検出装置及び生体情報検出方法
US16/656,762 US11315359B2 (en) 2018-10-31 2019-10-18 Biological-information detecting device and biological-information detecting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018205849A JP7212499B2 (ja) 2018-10-31 2018-10-31 生体情報検出装置及び生体情報検出方法

Publications (2)

Publication Number Publication Date
JP2020069131A JP2020069131A (ja) 2020-05-07
JP7212499B2 true JP7212499B2 (ja) 2023-01-25

Family

ID=70326309

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018205849A Active JP7212499B2 (ja) 2018-10-31 2018-10-31 生体情報検出装置及び生体情報検出方法

Country Status (2)

Country Link
US (1) US11315359B2 (ja)
JP (1) JP7212499B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006351011A (ja) 2005-06-13 2006-12-28 Agilent Technol Inc 再帰反射器を位置付けるためのカラー撮像システム
JP2015100432A (ja) 2013-11-22 2015-06-04 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 心拍数測定装置及び心拍数測定方法
JP2016526947A (ja) 2014-05-07 2016-09-08 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 生理学的情報を抽出する装置、システム及び方法
JP2016190022A (ja) 2015-03-30 2016-11-10 国立大学法人東北大学 生体情報計測装置、生体情報計測方法、生体情報表示装置及び生体情報表示方法
JP2016193021A (ja) 2015-03-31 2016-11-17 株式会社エクォス・リサーチ 脈波検出装置、及び脈波検出プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790188A (en) * 1995-09-07 1998-08-04 Flight Landata, Inc. Computer controlled, 3-CCD camera, airborne, variable interference filter imaging spectrometer system
US9117133B2 (en) * 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
JP6547160B2 (ja) * 2015-03-31 2019-07-24 株式会社エクォス・リサーチ 脈波検出装置、及び脈波検出プログラム
JP6767247B2 (ja) 2016-11-29 2020-10-14 株式会社日立製作所 生体情報検出装置及び生体情報検出方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006351011A (ja) 2005-06-13 2006-12-28 Agilent Technol Inc 再帰反射器を位置付けるためのカラー撮像システム
JP2015100432A (ja) 2013-11-22 2015-06-04 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 心拍数測定装置及び心拍数測定方法
JP2016526947A (ja) 2014-05-07 2016-09-08 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 生理学的情報を抽出する装置、システム及び方法
JP2016190022A (ja) 2015-03-30 2016-11-10 国立大学法人東北大学 生体情報計測装置、生体情報計測方法、生体情報表示装置及び生体情報表示方法
JP2016193021A (ja) 2015-03-31 2016-11-17 株式会社エクォス・リサーチ 脈波検出装置、及び脈波検出プログラム

Also Published As

Publication number Publication date
JP2020069131A (ja) 2020-05-07
US11315359B2 (en) 2022-04-26
US20200134293A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
CN109951646B (zh) 图像融合方法、装置、电子设备及计算机可读存储介质
EP3106079B1 (en) Image capturing system and electronic endoscope system
CN102647941B (zh) 用于执行远程光电容积描记的方法和系统
CN106456070B (zh) 成像装置和方法
US20140028861A1 (en) Object detection and tracking
WO2014065053A1 (ja) 撮像装置及び画像生成方法
JP5366775B2 (ja) 撮像装置および画像処理方法
KR20090098197A (ko) 플래시 발광량 조절가능한 디지털 촬영 장치, 이의 제어방법 및 상기 방법을 실행하기 위한 프로그램을 기록한기록매체
JP7229676B2 (ja) 生体情報検出装置および生体情報検出方法
US20160300342A1 (en) Image processing device, imaging device, image processing method, and computer-readable recording medium
JP7380777B2 (ja) 制御装置、制御方法、コンピュータプログラム及び電子機器
US11569283B2 (en) Image pickup apparatus having image sensor equipped with polarizing element and control method therefor
JP6944901B2 (ja) 生体情報検出装置および生体情報検出方法
JP6462594B2 (ja) 撮像装置、画像処理装置および画像処理方法
JP7212499B2 (ja) 生体情報検出装置及び生体情報検出方法
WO2018142692A1 (ja) 撮像装置、および画像処理装置
US20220343517A1 (en) Device, method and system for registering a first image frame and a second image frame
US9906705B2 (en) Image pickup apparatus
JP2022006624A (ja) 校正装置、校正方法、校正プログラム、分光カメラ、及び情報処理装置
WO2013111824A1 (ja) 画像処理装置、撮像装置及び画像処理方法
JP2013187711A (ja) 画像処理装置、撮像装置及び画像処理方法
US20240194712A1 (en) Solid-state imaging apparatus and electronic device
JP6309489B2 (ja) 画像検出装置及び画像検出システム
US20230082539A1 (en) Illuminant correction in an imaging system
CN111345902B (zh) 用于创建发萤光的荧光团的hdr单色图像的系统和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210325

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221013

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230113

R150 Certificate of patent or registration of utility model

Ref document number: 7212499

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150