JP6185090B2 - 計測システム - Google Patents

Description

本発明は、被験者の映像から被験者の呼吸数等の生体活動を計測するための技術に関する。

カメラで被験者を撮影し、その動画像から体動や血流などの生体反応による輝度値の変化を検出し、被験者の呼吸数、心拍数等の生体活動を計測する技術が知られている（たとえば特許文献１および２）。被験者が写る画像領域は、観測者が予め指定したり、輪郭抽出技術を用いることによって特定される。

特許文献１の呼吸モニタリング装置は、被験者を撮影した画像を局所領域に分割し、それぞれの局所領域の明度情報を解析する。そして、三種類のしきい値を用いて、被験者の胸部周辺の動きを観測しているのか、寝返りなどの非呼吸体動を観測しているかを判定する。

特許文献２の心拍数計測装置は、赤外線光源を搭載したカメラで被験者の顔面を撮影し、フレームごとの顔画像から、眉間の特定領域を抽出してその平均輝度を補正する。心拍数計測装置は、補正された平均輝度の時系列から補正輝度の時間的変化の波形を得て、この波形を心拍数に対応する周波数帯でフィルタリングすることで、被験者の心拍数を算出する。

特開平１１−２７６４４３号公報 特開２０１１−１３０９９６号公報

特許文献１の呼吸モニタリング装置においては、非呼吸体動の判定に必要な適切なしきい値は、撮影環境に応じて大きく変動する。たとえば観測場所の明るさの変化、室内光源の位置、外部からの入射光の有無、被撮影者以外の人や物の移動により、設定すべきしきい値が大きく変動し得る。常に適切なしきい値を求める方法がないため、しきい値が不適切な場合は、呼吸などの生体情報を求めるための領域を算出することができない。

特許文献２の心拍数計測装置は、被験者の顔面を撮像範囲に捉えて撮影する必要がある。特許文献１と同様、照度の変化、人の動き、外部光の入射など撮影環境が変化すると、生体活動以外の原因で、被験者が写る画像領域の輝度値が大きく変化する。このような外乱ノイズが発生すると、生体反応起因の体動箇所を特定できず、生体情報が正確に抽出できないことがある。

さらに、カメラから被験者の顔面が離れると被験者の生体情報を取得する精度が落ちるため、比較的近距離から被験者の顔面を撮像し続けなければならない。その結果、被験者に圧迫感を与えてしまい、計測対象となる生体活動への影響が懸念される。

本発明は、上記課題を解決するためになされたものであって、生体活動の計測条件が周囲の環境の影響を受けにくい、呼吸に起因する生体活動の計測システムを提供する。

本発明のさらに他の実施形態によるシステムは、観察光に基づく動画像を生成する撮像装置と、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた計測システムであって、前記被験体の生体活動に伴う体動の発生位置に、所定以上の吸収率を有し、光学吸収材によって光が吸収されたことにより相対的に暗い領域を生成する少なくとも１つの吸収材が配置されたときにおいて、前記撮像装置は、一部が前記少なくとも１つの吸収材で吸収され、残りの一部が前記被験体で反射された前記光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、前記画像処理回路は、前記撮像装置から前記動画像を受け取り、前記少なくとも１つの吸収材を利用して、各フレーム画像の部分領域であって、前記少なくとも１つの吸収材に含まれ、かつ前記体動の発生位置を含む部分領域を特定し、前記複数のフレーム画像の、特定した前記部分領域の輝度の変化に基づいて前記被験体の生体活動を計測する。

ある実施形態においては、前記吸収材は、光の吸収率が異なる複数の部分を含む少なくとも１つの吸収材である。

ある実施形態においては、前記画像処理回路は、前記各フレーム画像の、前記少なくとも１つの吸収材の境界を含む部分領域を特定する。
ある実施形態においては、前記画像処理回路は、前記体動の方向である第１の方向を特定し、前記第１の方向と異なる第２の方向に沿って、前記各フレーム画像を複数の部分領域に分割する。
ある実施形態においては、固定された位置に、予め定められた形状を有する吸収材を位置マーカとして設置された場合に、前記撮像装置が、前記位置マーカで吸収されず、前記位置マーカの周囲の素材で反射された前記光を受け、複数のフレーム画像から構成される動画像を生成し、前記画像処理回路が、前記複数のフレーム画像の少なくとも１つに基づいて前記撮像装置が予め定められた方向を撮影しているか否かを判定する。

本発明によれば、赤外線吸収材を使用するため、周囲が明るい場合でも、かつ被験者と撮像装置との距離を十分離したとしても、呼吸等の生体活動に起因する体動を、複数のフレーム画像の輝度情報から捉えることができる。撮像装置を被験体から離して設置し、かつ撮影環境を明るく設定できるため、被験体へ与える圧迫感を十分低減しつつ、十分高い精度で生体情報を取得することが可能である。

実施の形態１による生体活動計測システム１００の構成を示す図である。 赤外線吸収材４０を装着した被験者１を撮影したフレーム画像１０２を示す図である。 赤外線吸収材４０を装着しない被験者を撮影したフレーム画像１０６を示す図である。 複数のフレーム画像の輝度値の変化に基づいて測定された、低輝度領域１０４の振動を示す図である。 赤外線吸収材４０を設けずに明るい撮影環境下で撮影された複数のフレーム画像の輝度値の変化を示す図である。 生体活動計測システム１００の、主として情報処理装置３０のハードウェア構成の例を示す図である。 生体活動計測システム１００で行われる処理の手順を示すフローチャートである。 （ａ）および（ｂ）は、時刻の異なる時刻に撮影された２枚のフレーム画像における部分領域Ｑの例を示す図であり、（ｃ）は部分領域Ｑの輝度値の変化を示す図である。 （ａ）〜（ｆ）は、それぞれ、赤外線吸収材４０の形状の例を示す図である。 （ａ）は図９（ａ）の赤外線吸収材４０を被験者１へ装着した例を示す図であり、（ｂ）は撮像例を示す図である。 （ａ１）〜（ｃ１）はそれぞれ、三角形の吸収部分の周囲にマーカとして機能する反射材を設けた赤外線吸収材４０を示す図であり、（ａ２）〜（ｃ２）はそれぞれ、マーカ内に設けられた２つ部分領域を示す図である。 可視光領域の波長を遮る光学フィルタ１１を装着したカメラ１０を示す図である。 偏光フィルタ１２ａが設けられた光源２０と、偏光フィルタ１２ｂが設けられたカメラ１０とを示す図である。 位置マーカ４１を利用して撮影方向を判定する生体活動計測システム１０１の構成を示す図である。 （ａ）および（ｂ）は、体動による輝度値の変化が現れない座標位置の領域が部分領域Ｑとして設定された例を示す図であり、（ｃ）は部分領域Ｑの輝度値の変化を示す図である。 （ａ）および（ｂ）は、体動による輝度値の変化が現れない座標位置の領域が部分領域Ｑとして設定された他の例を示す図である。 （ａ）および（ｂ）は、処理単位領域としての部分領域Ｑを、赤外線吸収材４０からの反射光の領域Ｒと概ね同じ、または領域Ｒよりも大きく確保した例を示す図であり、（ｃ）は部分領域Ｑの輝度値の変化を示す図である。 （ａ）および（ｂ）は、処理単位領域としての部分領域Ｑを、図８の部分領域Ｑよりも小さく確保した例を示す図であり、（ｃ）は部分領域Ｑの輝度値の変化を示す図である。 時間的に変動する反射光の領域Ｒの変動範囲と、設定可能な最小の処理単位領域ＱａおよびＱｂを示す図である。 好適な処理単位領域Ｑｄ、ＱｅおよびＱｆの例を示す図である。 実施の形態２による生体情報モニタリング装置３００の動作の手順を示すフローチャートである。 生体活動計測システム１００の変形例による生体活動計測システム１１１を示す図である。 生体活動計測システム１００で行われる心拍数の第１の測定処理の手順を示すフローチャートである。 生体活動計測システム１００で行われる心拍数の第２の測定処理の手順を示すフローチャートである。

以下では、まず本願発明者らが検討して得られた固有の課題を説明し、その後、本発明の実施形態を説明する。

特許文献１および２のような、カメラで撮影した動画像を解析し、呼吸数などの生体情報を検出するシステムは、種々の撮影環境下で利用され得る。本願発明者は、撮影時に周囲で物体が動いたり、室内照明の状態が変化したり、外部光が入射すると、生体情報の抽出ができない状況が発生することに着目した。本願発明者の検討の結果、生体情報の抽出ができない理由は、生体反応以外の原因で、被験体が写る画像領域の輝度値が大きく変化していたからであること、あるいは、被験体が写る画像領域の輝度値が一様に明るくなってしまい、生体反応を起因とする輝度変化の特定が困難になっていることが分かった。そのような状況下では、生体反応起因の輝度変化が外乱ノイズに埋もれてしまう。その結果、生体反応起因の体動箇所が特定できなかった。

本願発明者は、上述した撮影環境の変化のうち、特に撮影環境が明るくなった場合、または明るい場合に生体情報を抽出するための対応策を検討した。その結果、撮影環境が明るい場合において被験体が写る画像領域の輝度値の変化が大きくなるようにすればよいことに想到した。そのための一手法として、本願発明者らは、撮影環境を照らす光を吸収する光学吸収材を設置した。フレーム画像中に、光学吸収材によって光が吸収された相対的に暗い領域と、光が反射された相対的に明るい領域とを設けることにより、被験体が写る画像領域の輝度値の変化が生じやすくなる。さらに、所定の吸収パターンを有する光学吸収材を利用することとした。所定の吸収パターンの一例として、光の吸収率が異なる複数の部分を設けた。これにより、被験体が写る画像領域の輝度値の変化が生じる位置をより確実に特定することが可能となる。

以下、添付の図面を参照しながら、本発明による、呼吸に起因する生体活動の計測方法の実施形態を説明する。同じ構成要素には同じ参照符号を付す。既に説明した構成要素については再度の説明を省略する。なお、本発明は、以下で説明する実施の形態によって限定されるものではない。

（実施の形態１）
図１は、本実施の形態による生体活動計測システム１００の構成を示す。生体活動計測システム１００は、カメラ１０と、情報処理装置３０と、吸収材４０とを含む。図１には被験者１が示されているが、被験者１は生体活動計測システム１００に含まれない。

本発明による生体活動計測システム１００の目的の一つは、太陽光などの光が測定環境に多く入射してきたときであっても、被験者１の生体活動の情報を確実に取得することである。したがって、図１には記載されているものの、光源２０は生体活動計測システム１００の必須の構成要素ではない。本明細書では一例として記載しているに過ぎない。外部からの入射光の光量が少なくなったとき、光源２０から光２０ａをあえて測定環境に多く入射させるために利用することができればよい。

なお、光源２０は光２０ａを放射する。光は可視光であってもよく、不可視光であってもよい。本実施の形態では、赤外光を例に挙げて説明する。以下では、光２０ａを「赤外光２０ａ」と記述する。

生体活動計測システム１００は、被験者１の生体活動を観察するために利用される。本実施の形態では、生体活動は被験者１の呼吸であるとし、生体活動計測システム１００は所定時間内の呼吸数を計測する。なお、被験者１は人であるとして説明するが、人以外の動物、たとえば犬、猫等のペットであってもよい。観測対象としての動物（人を含む。）を総称して「被験体」と呼ぶことがある。

カメラ１０は、いわゆる撮像装置であり、被験者１を撮影して動画像を生成する。カメラ１０は、有線または無線で動画像のデータを情報処理装置３０に送る。

赤外光２０ａの波長の範囲は、たとえば０．７μｍ〜２．５μｍであり、好ましくは、たとえば０．８４〜０．８６μｍである。

情報処理装置３０は、カメラ１０が撮影した動画像のデータを受け取り、動画像を構成する複数のフレーム画像間の画像の変化を利用して被験者１の呼吸数を計測する。情報処理装置３０の動作の詳細は後述する。

吸収材４０は、入射してきた光を吸収する光学特性を有する光学吸収材である。本実施の形態では、光は赤外光であるとする。よって、吸収材４０を「赤外線吸収材４０」と記述する。赤外線吸収材４０として、たとえば米国Shurtape社から入手可能なテープ（品番：CP743）を利用することができる。

なお、光学吸収材として赤外線吸収材４０を採用することは一例に過ぎない。たとえば、生体活動計測システム１００を使用する部屋が固定されており、計測環境が変化しない場合には、その計測環境に入射する光を計測し、その中に多く含まれる可視光または不可視光を吸収する光学吸収材を配置すればよい。上述のように、そのような光学吸収材によって吸収される光を放射する光源２０を配置するかどうかは任意である。

本明細書では、カメラ１０によって撮影される動画像を、「観察光に基づく動画像」と呼ぶことがある。ここでいう「観察光」とは、測定環境にある撮像装置に向かう全ての光をいう。ここで言う「光」は、蛍光灯などの光源から放射され、直接カメラ１０に入射する光を含むほか、光源から放射された光が物体に当たって反射され、カメラ１０に向かう場合の反射光をも含む。このとき、当該「物体」は被写体の一部としてカメラ１０によって撮影されることになる。以下の説明における「被験者１の動画像」という表現は、光源から放射された光が物体としての被験者１に当たって反射され、動画像としてカメラ１０によって撮影されたことを意味する。「被験者１の動画像」は「観察光に基づく動画像」の一態様である。

赤外線吸収材４０を設けることにより、赤外線吸収材４０に入射した外乱光２１ａの一部は吸収され、残りの一部は赤外線吸収材４０で、または被験者１（たとえば被験者１の肌、着衣）で反射される。反射光の一部はカメラ１０に入射し、撮影される。赤外線吸収材４０は、撮影時に赤外線吸収材４０であるか赤外線吸収材４０以外の素材（被験者１の肌を含む。）であるかが、有意に識別可能な程度の輝度の差を生じるような赤外線吸収率を有していればよい。

以下、本明細書では、赤外光２０ａの反射光２０ｂを「赤外光２０ｂ」とも記述することがある。

生体活動計測システム１００の全体の動作を概説すると以下のとおりである。

まず、観測者または被験者１が、被験者１の呼吸に伴う体動の発生位置に、所定以上の吸収率を有する少なくとも１つの赤外線吸収材４０を配置する。外部から測定環境に入射した光が赤外線吸収材４０または被験者１で反射される。カメラ１０は、反射された赤外光を受けて、被験者１の動画像を撮影する。外部から測定環境に入射する光の光量が所定以下であれば、光源２０から積極的に光を放射させてもよい。

たとえば図２は、比較的明るい撮影環境下で、赤外線吸収材４０を装着した被験者１を撮影したフレーム画像１０２を示す。「比較的明るい」とは、たとえば撮影環境が１０００ルクス以上であることを言う。ただしこの照度の値は一例であって厳密ではない。画像中央部の低輝度領域（黒い領域）１０４が、反射光２０ｂが検出された領域である。参考として、図３は、赤外線吸収材４０を装着しない被験者を撮影したフレーム画像１０６を示す。撮影環境の明るさは図２の撮影時と同等である。赤外線吸収材４０が存在しない場合には撮影されたフレーム画像内の輝度変化は非常に小さいと言える。図２および図３には、複数の縦線および横線が示されているが、これは画像処理のために仮想的に設けられた境界線である。本明細書では、境界線によって区画される画像の領域を、画像の「部分領域」と呼ぶ。図２には、部分領域Ｐが例示されている。なお、部分領域Ｐの境界線は理解の便宜のため強調して表示されている。

なお、後述するように、本明細書では、赤外線吸収材４０に所定の吸収パターンを設け、その吸収パターンを利用してより確実かつより簡易に低輝度領域１０４を検出するが、図２は特にその吸収パターンの形状は現れていない。

情報処理装置３０は、図２に示されるような、動画像を構成する時系列の各複数のフレーム画像を解析して、複数のフレーム画像の輝度情報（たとえば輝度値の変化）に基づいて被験者１の体動を検出する。より具体的に説明すると、情報処理装置３０は、図２に示す低輝度領域１０４を複数のフレーム画像にわたって検出する。平静時の被験者１の体動は呼吸に起因して発生するため、低輝度領域１０４の位置が呼吸の周期に合わせて変化（振動）する。情報処理装置３０は、低輝度領域１０４の振動の１周期を１呼吸周期として、所定期間にわたって呼吸周期の数をカウントすることにより、その期間における被験者１の呼吸数を計測することができる。

本明細書においては、主として呼吸数を計測する例を説明する。しかしながら、呼吸数は被験者の呼吸に起因する生体活動の一例であり、被験者の呼吸に起因する他の生体活動を計測してもよい。本明細書では、被験者の呼吸動作を計測し、呼吸による体動から呼吸に起因する波形（呼吸波形に相当する波形）を導出する。典型的には、その波形を利用して評価可能な他の生体活動、たとえば、呼吸の深さ、乱れ、無呼吸期間、無呼吸期間が発生する頻度などの生体活動は、本明細書において、計測対象である生体活動の範疇である。

図４は、複数のフレーム画像の輝度情報（輝度値の変化）に基づいて測定された、低輝度領域１０４の振動を示す。赤外線吸収材４０を用いて観測される波形は明るい撮影環境下でも、または室内照明の点灯や外部光の入射によって明るい状態が変化した際でも呼吸による体動を精度よく測定することが可能である。つまり、輝度値を利用して体動、すなわち呼吸を測定することが可能である。参考として、図５は、赤外線吸収材４０を設けずに明るい撮影環境下で撮影された複数のフレーム画像の輝度値の変化を示す。赤外線吸収材４０が存在しないことにより、画像内の輝度変化はもともと小さく、そのため複数のフレーム画像にわたって輝度値の変化を観測してもノイズの影響が非常に大きい。よって計測する必要がある体動の波形がノイズに埋もれている。なお、図４と図５では、縦軸のスケールは数倍程度異なっていることに留意されたい。理解の便宜のため、図５でのスケールは図４よりも大きくしている。換言すれば、赤外線吸収材４０を用いる方（図４）が、用いない方（図５）よりも、信号対雑音比（ＳＮＲ）に優れていることを意味する。

本実施の形態の計測方法によれば、赤外線吸収材４０を利用することにより、赤外光が吸収された領域と、反射された領域との間の境界を十分区別して撮影を行うことができる。その結果、被験者１とカメラ１０とを、たとえば６ｍ程度離して設置することができる。また、明るい撮影環境下で呼吸数を計測することができる。これにより、被験者１への圧迫感を軽減しつつ、観測場所が明るく変化したとしても、その影響を受けにくい環境下、つまりノイズの影響が小さい環境下で撮影を行うことが可能になる。よって生体活動をより正確に計測することが可能になる。

図６は、生体活動計測システム１００の、主として情報処理装置３０のハードウェア構成の例を示す。本実施の形態では、情報処理装置３０はカメラ１０、およびディスプレイ３２と接続されている。情報処理装置３０は、カメラ１０から、撮影された動画像のデータを受け取る。またディスプレイ３２は、処理の結果である、被験者１の生体活動である呼吸の数の計測結果を表示する。低輝度領域が検出されないことにより、カメラ１０の撮影方向が適切でないと判断した場合には、情報処理装置３０はディスプレイ３２に警告を表示してもよい。

情報処理装置３０は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、ハードディスクドライブ（ＨＤＤ）３０４と、インタフェース（Ｉ／Ｆ）３０５と、画像処理回路３０６とを有する。ＣＰＵ３０１は情報処理装置３０の動作を制御する。ＲＯＭ３０２は、コンピュータプログラムを格納している。コンピュータプログラムは、たとえば後述するフローチャートによって示される処理をＣＰＵ３０１または画像処理回路３０６に行わせるための命令群である。ＲＡＭ３０３は、ＣＰＵ３０１による実行にあたって、コンピュータプログラムを展開するためのワークメモリである。ＨＤＤ３０４は、カメラ１０から受信した動画像のデータ、または計測された被験者１の呼吸数のデータを格納する記憶装置である。

Ｉ／Ｆ３０５は、情報処理装置３０がカメラ１０から動画像のデータを受け取るためのインタフェースである。情報処理装置３０が有線のネットワーク経由で動画像のデータを受け取る場合には、Ｉ／Ｆ３０５はたとえばイーサネット（登録商標）端子である。情報処理装置３０が無線のネットワーク経由で動画像のデータを受け取る場合には、Ｉ／Ｆ３０５はたとえばWi-Fi（登録商標）規格に準拠した通信を行う送受信回路である。またはＩ／Ｆ３０５は、有線の映像入力端子であってもよい。

画像処理回路３０６は、動画像のデータを解析する、いわゆるグラフィックスプロセッサである。画像処理回路３０６は、動画像の各フレーム画像の低輝度領域を検出し、低輝度領域の振動に基づいて体動を検出し、体動の振動波形に基づいて呼吸数をカウントする。

本実施の形態ではＣＰＵ３０１とは別に画像処理回路３０６を設けているが、これは一例である。後述する画像処理回路３０６の処理を、ＣＰＵ３０１が行ってもよい。

図７は、生体活動計測システム１００で行われる処理の手順を示す。

ステップＳ１において、カメラ１０が赤外線吸収材４０を装着した被験者１を撮影する。撮影された動画像は情報処理装置３０に送られる。

ステップＳ２において、情報処理装置３０の画像処理回路３０６は、撮影した動画像を構成する複数のフレーム画像の各々を、複数の部分領域に分割する。部分領域（たとえば図２の部分領域Ｐ）は、たとえば横６４画素、縦６４画素の大きさを有する。なお「分割する」とは、実際の動作として分割する必要はない。たとえば画像を切り出す単位または処理を行う単位として部分領域のサイズを設定する、という動作も、ここで言う「分割する」動作に含まれ得る。

ステップＳ３において、画像処理回路３０６は、各部分領域の輝度値に基づいて、赤外線吸収材４０が存在する部分領域、および生体反応による体動箇所を含む部分領域を特定する。より具体的に説明する。赤外線吸収材４０が存在する部分領域は、各フレーム画像内で特定され得る。一方、体動箇所を含む部分領域は、複数のフレーム画像にわたって、すなわち複数のフレーム画像間で特定され得る。

赤外線吸収材４０が存在する部分領域は以下の処理によって特定される。たとえば、画像処理回路３０６は、赤外線吸収材４０が存在する場合に観測される部分領域の輝度値の情報を、予めＲＯＭ３０２に保持している。この情報を輝度値の閾値として利用し、閾値以下の輝度値を有する部分領域を、赤外線吸収材４０が存在する部分領域として特定する。

このときの輝度値は、部分領域に含まれる各画素の輝度値の和であってもよいし、平均値であってもよい。輝度値の和および平均値のいずれを採用するかに応じて、閾値もまた変化し得る。平均値を算出する演算処理よりも和を算出する演算処理の方が、計算負荷が小さく高速化が可能であるため、本実施の形態では部分領域に含まれる各画素の輝度値の和であるとする。

一方、体動箇所を含む部分領域は以下の処理によって特定される。上述のように、赤外線吸収材４０からの反射光が観測される領域は、生体反応（呼吸）による体動により変動する。いま、各フレーム画像に関して、ある共通の座標位置に存在する部分領域Ｑに着目する。図８（ａ）および（ｂ）は、時刻の異なる時刻に撮影された２枚のフレーム画像における部分領域Ｑの例を示す。図８（ａ）および（ｂ）に示す領域Ｒは、赤外線吸収材４０からの反射光が検出されている低輝度領域であるとする。呼吸に伴う体動により、部分領域Ｑが、低輝度領域になったりならなかったりする。

図８（ｃ）は、このときの部分領域Ｑの輝度値の変化を示す。複数のフレーム画像にわたって時系列的に部分領域Ｑの輝度を観測すると、ある閾値Ｔを超えるフレーム画像群と、超えないフレーム画像群とが交互に存在する。

図７のステップＳ３において、体動箇所を含む部分領域は、図８（ｃ）に示す輝度変化を示す座標位置の部分領域Ｑとして特定される。そして、部分領域Ｑに含まれる画素群を一まとまりとして、輝度値の演算（画像処理）が行われる。

再び図７を参照する。

ステップＳ４において、画像処理回路３０６は、体動箇所を含む部分領域Ｑの平均輝度値を算出する。

そしてステップＳ５において、画像処理回路３０６は、算出した各平均輝度値を利用して被験者の呼吸数をカウントする。算出した各平均輝度値は、図４に示す波形として表現される。画像処理回路３０６は、部分領域Ｑの平均輝度値が振動することによって特定される体動の１周期を１呼吸として、所定期間内の呼吸数をカウントする。

以上の処理により、生体活動計測システム１００において、高い精度で呼吸数の情報を取得することができる。カメラ１０が撮影した動画像を用いると、フレーム画像中の、赤外線吸収材４０によって赤外光が吸収された領域と、被験者１等で反射された赤外光の領域との輝度差が十分大きい。よって、画像内の赤外線吸収材４０から呼吸による体動を含む部分領域を特定することは容易である。

（赤外線吸収材４０に関する変形例）
次に、赤外線吸収材４０に特定の吸収パターンを与え、その吸収パターンの情報を利用することで、より確実に、かつより簡易に、呼吸による体動を含む部分領域を特定できることを説明する。あるいは、赤外線吸収材４０を被験者１に装着する際の装着のしやすさを向上させることも可能になる。

図９（ａ）〜（ｆ）は、それぞれ、赤外線吸収材４０の形状の例を示す。図９では参照符号４０の記載は省略している。図９（ａ）〜（ｄ）の赤外線吸収材４０は三角形状であり、図９（ｅ）および（ｆ）の赤外線吸収材４０は、矩形状の吸収材を組み合わせて構成されている。

図９（ａ）は、長さが異なる短冊状の吸収材を組み合わせた赤外線吸収材４０の例を示す。

図９（ｂ）は、赤外光を相対的によく吸収する部分ｂ１と、赤外光を相対的によく反射する部分ｂ２とを含む赤外線吸収材４０の例を示す。この例では、部分ｂ１は赤外線吸収材４０の外縁に設けられており、部分ｂ２は赤外線吸収材４０の内側の領域に設けられている。これにより、エッジ部分のコントラストを高め、呼吸による体動から輝度の変化を大きくすることが可能になる。

赤外線吸収材４０を利用してフレーム画像を複数の部分領域に分割し、そのうちの輝度の低い部分領域を用いて処理を行うとしても、呼吸による体動を輝度で捉えることが困難な場合がある。たとえば、装着している衣服や背景の壁の輝度が低い場合には、輝度に基づいて呼吸による体動を含む部分領域を決定することが難しい。そこで、赤外線吸収材４０の一部に赤外光を反射する箇所を作り、呼吸による体動で確実に輝度変化を発生させている。

図９（ｃ）は、吸収率がグラデーション状に変化する赤外線吸収材４０の例を示す。このような赤外線吸収材４０を用いると、赤外線吸収材４０を撮影したときの赤外線吸収材４０からの反射光の強度がグラデーション状に変化する。これは、反射光の輝度に差ができることを意味する。そして、その輝度の差が生じた位置が呼吸によって動くことにより、輝度の変化が大きくなる。つまり輝度信号の振幅が大きくなる。たとえば赤外線吸収材４０からの反射光の領域Ｒに完全に含まれている部分領域Ｑを設定することも可能になる。その結果、被験体１の生体活動である呼吸の検出精度を向上させることができる。

図９（ｄ）は、所定の模様ｄ１を含む赤外線吸収材４０を示す。模様ｄ１は、赤外光を相対的によく吸収する材質を用いて形成され得る。この模様はフレーム画像にも出現するため、赤外線吸収材４０の向きを含む位置を特定することができる。

図９（ｅ）は、赤外光を相対的によく吸収する部分ｅ１と、赤外光を相対的によく反射する部分ｅ２とを含む赤外線吸収材４０の他の例を示す。図９（ｂ）と異なり、この例では、赤外線吸収材４０の内部に部分ｅ１が設けられている。境界数が多くなるため、部分領域を設定する条件が整いやすい。

図９（ｆ）は、赤外光を相対的によく吸収する部分ｆ１およびｆ２を複数箇所に分散して設けた赤外線吸収材４０を示す。たとえば赤外光を反射する部分ｆ１の四隅に赤外光を反射する部分ｆ２が設けられている。この例でも境界数が多くなるため、部分領域を設定する条件が整いやすい。

三角形状や四角形状の赤外線吸収材および／または反射材を採用することによる利点は種々考えられる。たとえば、被験者１の体格や、撮影時の画角によっては、映像奥のマーカが途切れることがある。しかしながら、三角形状や四角形状の赤外線吸収材および／または反射材を用いることにより、仮に一部が途切れて撮影されてしまったとしても、途切れていない残りの形状から三角形状や四角形状を特定することが可能になる。つまり、映像の輝度の情報だけでなく、撮影されたオブジェクトの形状をも情報として利用することができるため、輝度の情報のみを利用する態様と比較すると、部分領域をより設定しやすくなる。

たとえば、赤外線吸収材および／または反射材が三角形であるとし、三角形の１つの角をカメラ側に向けて設置する。すると、三角形の奥側の辺または角の１部が撮影画像上欠けているとしても、画像上の可視部分（途切れていない残りの形状部分）と、三角形の形状に関する特徴を利用して三角形状を特定することが可能になる。三角形に代えて、矩形状の赤外線吸収材および／または反射材を用いてもよい。矩形のいずれかの辺がカメラ側に向けて設置される。すると、矩形のいずれかの辺または角の１部が撮影画像上欠けているとしても、画像上の可視部分（途切れていない辺および／または角）と、矩形に関する特徴を利用して矩形を特定することが可能になる。

図１０（ａ）は、図９（ａ）の赤外線吸収材４０を被験者１へ装着した例を示し、図１０（ｂ）は撮像例を示す。

赤外線吸収材４０のエッジ部分が、被験者１の呼吸による体動が発生する箇所（たとえば腹部または胸部）に位置するように赤外線吸収材４０が設置される。情報処理装置３０の画像処理回路３０６は、予め、このような吸収パターンを有する赤外線吸収材４０が用いられること、およびその吸収パターンの特徴を示す情報を、たとえばＲＯＭ３０２に保持している。

このような赤外線吸収材４０を利用したときの生体活動計測システム１００における処理を説明する。図７の処理手順におけるステップＳ２およびＳ３に代えて、以下の処理が行われる。

カメラ１０が被験者１を撮影すると、画像処理回路３０６は、得られた動画像の各フレーム画像において、図１０（ｂ）に示されるような、短冊状に輝度値が交互に変化する領域ａ１およびａ２を含む領域Ａから輝度値が相対的に低い領域ａ１（図９（ａ））を特定する。画像処理回路３０６は、予め保持していた吸収パターンの特徴を利用して各フレーム画像にパターンマッチング処理を行い、赤外線吸収材４０の位置を特定する。

次に、画像処理回路３０６は各フレーム画像を２つ以上に分割する。このとき、画像処理回路３０６は赤外線吸収材４０をまたぐ位置に分割線（境界線）を設定する。さらに、分割線は、体動方向とは異なる方向に設定される。たとえばフレーム画像内で体動が上下方向に認められるとする。このとき画像処理回路３０６は、たとえば水平方向に境界線を設定して各フレーム画像を２つ以上に分割し、部分領域を設定する。画像処理回路３０６は、部分領域の平均輝度値を利用して被験者１の呼吸数をカウントすることができる。

既知の形状の赤外線吸収材４０を利用して位置を特定し、赤外線吸収材４０周辺を部分領域に分割することにより、呼吸による輝度の変化を１か所以上で測定できるようになる。よって検出精度を向上することができる。

ここで、赤外線吸収材４０に関する更に他の例を説明する。

図１１（ａ１）〜（ｃ１）はそれぞれ、三角形の吸収材の周囲にマーカとして機能する吸収材を設けた赤外線吸収材４０を示す。参考として、図１１（ａ１）のみに、吸収部分４０ａ、およびマーカ４０ｂを示す。なお、図示されたマーカの形状は一例である。吸収部分４０ａとの関係で識別可能であれば、その形状は任意である。

このような赤外線吸収材を利用したときの処理は、概ね上述した通りである。吸収部分４０ａ、およびマーカ４０ｂを含む、既知の形状の赤外線吸収材４０を利用して位置を特定し、赤外線吸収材４０をまたぐ位置に分割線が来るよう、赤外線吸収材４０とその周辺を部分領域に分割すればよい。なお、吸収部分４０ａおよびマーカ４０ｂの一方を吸収材で形成し、他方を反射材で形成してもよい。

部分領域に分割する際には、画像処理回路３０６は、検索した周囲のマーカ４０ｂを基準に、そのマーカ４０ｂ内を２つ以上の部分領域に分割すればよい。たとえば図１１（ａ２）は、マーカ４０ｂ内に設けられた２つ部分領域Ｑ１およびＱ２を示す。なお、部分領域Ｑ１およびＱ２の形状またはサイズは互いに異なっていてもよい。どのような赤外線吸収材４０を利用するかに応じて、部分領域Ｑ１およびＱ２の形状またはサイズを予め決定しておいてもよい。

図１１（ｂ１）および（ｃ１）の各々についても図１１（ａ１）と同様である。また、図１１（ｂ２）および（ｃ２）に例示されるような形状で、部分領域が設定されてもよい。

マーカを設けることにより、赤外線吸収材４０に関する部分領域を限定して設定することができるため、計算処理の負荷を大きく軽減できる。

（カメラに関する変形例）
次に、カメラに関する変形例を説明する。なお、以下に特に説明する構成および動作を除いては、生体活動計測システムの構成および動作は、実施の形態１の生体活動計測システム１００（図１）と同じである。

図１２は、可視光領域の波長を遮る光学フィルタ１１を装着したカメラ１０を示す。この光学フィルタ１１は、たとえば赤外フィルタとも呼ばれる。

本実施の形態では、フィルタ１１を設けて被験者１を撮影する。光学フィルタ１１は、光源２０から放射され、赤外線吸収材４０、被験者１等で反射された赤外光は透過するが、可視光は遮断する。光学フィルタ１１を設けることにより、赤外光以外の光、より具体的には可視光、がカメラ１０に入射することを防ぎ、それにより、撮影された動画像の輝度値の変化への影響を低減できる。可視光に起因する各フレーム画像の輝度値の変動を抑制できるため、可視光のみに起因し、生体反応に起因しない外乱ノイズの発生を低減できる。

本願発明者らは、可視光領域の波長を遮る光学フィルタ１１を設けることは非常に有用であると考えている。その理由は、実際の撮影時には、何らかの外来光が撮影環境に入ってくること、および当該外来光を完全に遮断することは困難だからである。たとえば病院で生体活動計測システム１００を動作させる場合には、最も暗い撮影環境である夜間であったとしても常夜灯、避難誘導灯などが院内に点灯する。そのような撮影環境では光学フィルタ１１によって可視光を遮断することが好適である。

さらに、図１２に示す光学フィルタ１１として、可視光のみならず不要な赤外光をも遮断する光学フィルタを設けてもよい。換言すれば、光学フィルタ１１として、光源２０が放射する赤外光を通過させるバンドパスフィルタを設けてもよい。

まず、光源２０として急峻な波長特性を有するＬＥＤ光源を採用する。波長は、たとえば８５０ｎｍまたは９４０ｎｍ、およびそれらの近傍である。「急峻な波長特性」とは、ここでは放射される赤外光の波長の変動が小さいことを意味する。

光源２０に対応して、光学フィルタ１１として、光源２０から放射される赤外光を通過させるバンドパス特性を有する光学フィルタをカメラ１０に設ける。たとえば、光源２０から放射される赤外光の波長が８５０ｎｍの場合には、８５０ｎｍの波長の赤外光を透過させる光学フィルタ１１を設ける。

光源２０の波長と、光学フィルタ１１の通過帯域とを一致させることにより、カメラ１０は、光源２０から放射される赤外光の波長と同じ波長の光のみに感度を持つことになる。可視光のみならず、不要な赤外光をも遮断できるため、撮影された動画像は外乱光の影響を受けない。なお、赤外線吸収材４０を利用しているため、光源２０から放射され、赤外線吸収材４０等で反射された赤外光を十分識別可能である。よって、反射光の捉え易さは先に説明した態様と同じである。

図１３は、偏光フィルタ１２ａが設けられた光源２０と、偏光フィルタ１２ｂが設けられたカメラ１０とを示す。この例では、カメラ１０には上述した光学フィルタ１１が設けられているが、光学フィルタ１１は必須ではない。

偏光フィルタ１２ａおよび１２ｂは、その偏光方向が一致するようカメラ１０および光源２０に設置される。

この構成によれば、偏光フィルタ１２ａおよび１２ｂにより、カメラ１０は、光源２０から放射された赤外光と同じ偏光方向の光に対してのみ感度を持つ。これにより、光源２０から放射された赤外光のうち、偏光フィルタ１２ａを通過した、所定の偏光方向を有する赤外光のみが赤外線吸収材４０で反射され、さらにカメラ１０に入射する。よって、その偏光方向と異なる偏光方向の外乱光（可視光および赤外光）の影響を排除できる。

（位置マーカの導入による撮影方向の判定）
図１４は、位置マーカ４１を利用して撮影方向を判定する生体活動計測システム１０１の構成を示す。位置マーカ４１を利用すること、および位置マーカ４１に関する情報処理装置３０の処理を除いては、これまでの説明と同じである。

位置マーカ４１は、生体活動計測システム１０１が構築されている部屋の壁面等の予め固定されている場所に設けられた赤外線吸収材である。本例では、位置マーカ４１は五角形状であるとする。しかしながらこれは一例である。位置マーカ４１は、円形、楕円形、矩形などであってもよい。

位置マーカ４１の形状および大きさは、カメラ１０が位置マーカ４１の形状を識別可能であれば任意である。すなわち、位置マーカ４１の形状および大きさは、位置マーカ４１とカメラ１０との間の距離を考慮した、カメラ１０の解像度に応じて任意に選択可能である。

光源２０が放射した赤外光は、たとえば円錐状に広がって位置マーカ４１に到達する。図１４には、赤外光が通過する領域を空間Ｓとして示している。位置マーカ４１である吸収材で吸収されず、反射した赤外光の一部は、カメラ１０に到達する。このとき、位置マーカ４１で反射された赤外光の強度と、他の物体（位置マーカ４１が設けられた壁面）で反射された赤外光の強度とは異なる。これにより、カメラ１０は位置マーカ４１を識別可能に撮影できる。

情報処理装置３０の画像処理回路３０６は、予め位置マーカ４１の形状の情報、および位置マーカ４１の設置される位置に関する情報を、たとえばＲＯＭ３０２に保持している。位置マーカ４１の設置される位置とは、たとえばカメラ１０の設置位置および撮影方向が適正に決定されて、位置マーカ４１が撮影されたときに、その位置マーカ４１が撮影された画像のどの位置に存在するかを特定する情報である。

画像処理回路３０６は撮影された動画像を解析し、保持していた情報を利用して、たとえばパターンマッチング処理を行い、動画像のフレーム画像中に位置マーカ４１が含まれているか否か、および含まれている場合にはその位置を特定する。

そして画像処理回路３０６は、予め保持している情報を参照して、特定した位置と、位置マーカ４１の設置されるべき位置とが一致しているか否かを判定する。一致していない場合には、カメラ１０が、適正な位置および／または撮影方向に設置されていないことを意味する。

画像処理回路３０６は、一致していないことを示す警告を報知する。たとえば画像処理回路３０６は、ディスプレイ３２に映像信号を送り、「カメラの位置または撮影方向がずれています。確認して下さい。」というメッセージを呈示させる。またはＣＰＵ３０１は、図示されない音声処理回路を介して、警告音または警告メッセージの音声を呈示させてもよい。

物が当たるなどの原因で、カメラ１０の位置および／または撮影方向がずれ、被験者１を適切に撮影できない状況にあるときは、生体活動計測システム１０１はその状況を検出し、警告を報知することができる。

（実施の形態２）
本実施の形態は、呼吸による体動が生じた箇所を含むフレーム画像に部分領域を設定する処理に関する。

本実施の形態においても、図１および図６に示す生体活動計測システム１００を参照する。本実施の形態と、実施の形態１との相違点は、主として情報処理装置３０（図１および図６）の処理である。その他の構成および動作に関しては、赤外線吸収材４０の変形例等を含め、実施の形態１と同じ構成および動作が、本実施の形態にも適用され得る。

上述した実施の形態では、赤外線吸収材４０の位置、大きさ、および画像処理の１単位である部分領域のサイズの関係で、期待通りの呼吸波形を得ることが出来ないことがある。たとえば、ある被験者１の呼吸による体動が比較的小さく、さらに処理単位である部分領域も比較的小さいと仮定する。このような仮定の下では、図８（ａ）および（ｂ）に示されるような部分領域Ｑを特定できないことがある。その結果、理想的ではない領域を、輝度値の演算（画像処理）を行う単位領域として設定してしまう可能性がある。

図１５（ａ）および（ｂ）は、体動による輝度値の変化が現れない座標位置の領域が部分領域Ｑとして設定された例を示す。呼吸に起因する体動により、反射光の領域Ｒの位置は、図１５（ａ）および（ｂ）の状態をそれぞれ下限および上限として変化する。この場合、部分領域Ｑは、常に反射光の領域Ｒの中に入っているため、体動による輝度値の変化が現れない。図１５（ｃ）は、設定された部分領域Ｑの輝度値の変化を示す。呼吸の有無にかかわらず輝度が高い状態が続いていることが理解される。輝度値の変動が小さいため、輝度値を利用して呼吸の情報を抽出することは非常に困難である。

図１６（ａ）および（ｂ）は、体動による輝度値の変化が現れない座標位置の領域が部分領域Ｑとして設定された他の例を示す。体動が図面の上下方向に認められるとする。このとき、反射光の領域Ｒの上下のエッジを常に含むように部分領域Ｑを設定してしまうと、反射光の領域Ｒが変動したとしても、部分領域Ｑの輝度値は変化しない。このように部分領域Ｑを設定してしまった場合にも、輝度値を利用して呼吸の情報を抽出することは非常に困難である。

そこで本実施の形態では、画像処理回路３０６（図６）が、輝度値の変化を検出するための部分領域Ｑのサイズを動的に変更する。以下、部分領域Ｑの設定例を説明する。なお、以下では、輝度値の演算を行う一まとまりの画素群を含む領域を「処理単位領域」と呼ぶ。

本実施の形態では、反射光の領域Ｒのエッジを特定し、エッジの座標位置が時刻に応じて変動する場合に、そのエッジが横切る領域を含むよう、処理単位領域を設定する。ただし、ここでいう反射光の領域Ｒのエッジは、変動方向に関して対向する複数のエッジが存在する場合にはその一方のエッジであるとする。たとえば変動方向に関して対向する２本のエッジを同時に横切る領域は処理単位領域として設定しない。

以下、具体的に説明する。

図１７（ａ）および（ｂ）は、処理単位領域としての部分領域Ｑを、赤外線吸収材４０からの反射光の領域Ｒと概ね同じ、または領域Ｒよりも大きく確保した例を示す。

図１７（ａ）および（ｂ）は、異なる時刻に撮影された２枚のフレーム画像を示している。各フレーム画像は、反射光の領域Ｒを含む。そして領域Ｒのエッジ（境界）の座標位置は経時的に変化している。そこで、領域Ｒのエッジが横切る領域を含む部分領域Ｑを、処理単位領域として設定する。反射光の領域Ｒと部分領域Ｑとが重複する比率は経時的に変化する。この経時的な変化は、部分領域Ｑの輝度値の変化として現れる。よってそのような経時的な変化を含む領域を処理単位領域として設定すればよい。

なお、反射光の領域Ｒと部分領域Ｑとが重複する比率が同じであれば、処理単位領域の輝度値は変化しないことになり、輝度値の変化を利用して呼吸数をカウントすることはできない。

図１７（ｃ）は、部分領域Ｑの輝度値の変化を示す。部分領域Ｑが反射光の領域Ｒよりも大きいため、赤外線吸収材４０からの反射光の輝度変化のダイナミックレンジを大きくとることが可能となる。

たとえば図８（ａ）および（ｂ）の処理単位領域としての部分領域Ｑのサイズが６４画素ｘ６４画素であるとすると、図１７（ａ）および（ｂ）では、部分領域Ｑのサイズは２５６画素ｘ２５６画素である。

次に、図１８（ａ）および（ｂ）は、処理単位領域としての部分領域Ｑを、図８の部分領域Ｑよりも小さく確保した例を示す。

図１８（ａ）では、部分領域Ｑは反射光の領域Ｒにほぼ全て含まれているため、部分領域Ｑの輝度値は非常に小さい。一方、図１８（ｂ）では、部分領域Ｑは反射光の領域Ｒのエッジ（境界）を含んでいる。つまり、この例でも、反射光の領域Ｒと部分領域Ｑとが重複する比率は経時的に変化するため、部分領域Ｑの輝度値は大きく変化する。

図１８（ｃ）は、部分領域Ｑの輝度値の変化を示す。図１８（ｃ）によれば、輝度値の変化を利用して呼吸数をカウントすることは可能である。

たとえば図８（ａ）および（ｂ）の処理単位領域としての部分領域Ｑのサイズが６４画素ｘ６４画素であるとすると、図１８（ａ）および（ｂ）では、部分領域Ｑのサイズは３２画素ｘ３２画素である。

図１９は、時間的に変動する反射光の領域Ｒの変動範囲と、設定可能な最小の処理単位領域ＱａおよびＱｂを示す。処理単位領域ＱａおよびＱｂはいずれも、反射光の領域Ｒが変動することによって領域Ｒのエッジに横切られる領域である。換言すれば、処理単位領域ＱａおよびＱｂはいずれも、その一部または全部が領域Ｒに入ったり入らなかったりする位置に存在する。反射光の領域Ｒと部分領域ＱａまたはＱｂとが重複する比率は経時的に変化する。

処理単位領域Ｑａは、反射光の領域Ｒの変化が上限に達したときの反射光の領域Ｒの境界（エッジ）を含む。つまり処理単位領域Ｑａは、その一部が領域Ｒに入ったり入らなかったりする位置に存在する領域である。

処理単位領域Ｑｂは、反射光の領域Ｒの変化に伴って、その全部が領域Ｒに入ったり入らなかったりする位置に存在する領域である。

一方の領域Ｑｃは、反射光の領域Ｒの変化にかかわらず、常に反射光の領域Ｒ内に位置する領域である。部分領域Ｑｃと反射光の領域Ｒとは、常に重複する領域の比率が同じである。よって部分領域Ｑｃは処理単位領域として好適ではない。

上述した条件を満たす位置にある領域Ｑａおよび／またはＱｂを特定し、情報処理装置３０の性能等を考慮して、処理単位領域を設定すればよい。

図２０は、好適な処理単位領域Ｑｄ、ＱｅおよびＱｆの例を示す。いずれの領域も、反射光の領域Ｒが変動することによって領域Ｒのエッジに横切られる領域である。

図２１は、本実施の形態による生体情報モニタリング装置３００の動作の手順を示す。この処理は主としてＣＰＵ３０１および／または画像処理回路３０６によって実行される。以下では、実行主体は画像処理回路３０６である例を挙げて説明する。

ステップＳ１１において、画像処理回路３０６は、取得した画像から赤外線吸収材４０が存在する領域Ｒを特定する。たとえば、画像処理回路３０６は、赤外線吸収材４０からの反射光が観測される領域の輝度値の情報を、予めＲＯＭ３０２に保持している。この情報を輝度値の閾値として利用し、閾値以上の輝度値を有する部分領域を、赤外線吸収材４０が存在する領域として特定する。

ステップＳ１２において、画像処理回路３０６は赤外線吸収材４０のエッジを含む領域を特定する。たとえば画像処理回路３０６は、隣接する画素の輝度値の差が予め定められた値以上の部分をエッジとして特定する。なお、エッジを検出する技術は公知であるため、詳細な説明は省略する。

ステップＳ１３において、画像処理回路３０６は、エッジを含む領域を処理単位領域として選定する。ここで言うエッジとは、変動方向に関して対向する複数のエッジが存在する場合にはその一方のエッジをいう。

ステップＳ１４において、画像処理回路３０６は、選定した処理単位領域内に存在する各画素の輝度値を加算平均する。

ステップＳ１５において、画像処理回路３０６は算出した加算平均結果の時間変化を呼吸波形と判断し、ステップＳ１６において、呼吸波形から呼吸数をカウントする。

ステップＳ１７において、画像処理回路３０６はディスプレイ３２に映像信号を送り、呼吸数の情報を表示させる。

上述のステップＳ１１〜Ｓ１３は、一度エッジが検出され、呼吸数の計測が始まった後でも随時行われ得る。たとえば被験者１が寝返りを打つことにより、赤外線吸収材４０が存在する位置からの光の輝度の大きさが変化する場合がある。その場合には画像処理回路３０６は改めてステップＳ１１〜Ｓ１３の処理を行い、体動に起因する処理単位領域の再設定を行えばよい。呼吸による体動と比較すると、寝返りなどの体動は非常に大きいため、光が検出される座標位置は大きく変化する。画像処理回路３０６は、光が検出される座標位置が所定量以上移動した場合には、改めてステップＳ１１〜Ｓ１３の処理を行う。なお、画像処理回路３０６は、ステップＳ１５においてユーザの体動をモニタし続けている。よって、呼吸以外の体動が被験者１に生じた場合には、画像処理回路３０６は体動の変化を迅速かつ容易に観測できる。

以上、本発明の実施の形態を説明した。

上記実施の形態の説明は一例であって、これらによって特許請求の範囲に記載の主題は限定されない。以下において、上記実施の形態の変形例を説明する。変形例の説明によれば、本発明は、上記実施の形態を含むより広い技術的思想を包含するものであることが理解される。

上述の実施の形態では、図１に示す生体活動計測システム１００を例にして説明した。ただし、生体活動計測システム１００の構成は一例である。

たとえば図２２は、生体活動計測システム１００の変形例による生体活動計測システム１１１を示す。生体活動計測システム１１１では、複数のカメラ１０がネットワーク１１０を介して情報処理装置３０と接続されている。情報処理装置３０は、複数のカメラ１０から出力される動画像のデータを取得して、個々に上述の処理を行う。図１の構成と同様、図２２の例においても、光源２０は必須ではない。

生体活動計測システム１１１は、たとえば病院に敷設される。または生体活動計測システム１１１は、カメラ１０は各患者の自宅に設置され、情報処理装置３０は病院等に設置されてもよい。

カメラは被験者の検出対象領域に照射される赤外光と外乱の赤外光を吸収した輝度の低い領域を確実に捉えることができ、生体反応を起因とする輝度値の変化を容易に検出できる。赤外線吸収材の効果により、吸収材の存在する領域の輝度が、他の領域に比べて低くなり、生体情報の検出対象領域が容易に特定できる。

上述した実施形態の説明で例示した、反射材を追加的に利用した赤外線反射材について、反射材は、再帰性反射材であってもよい。再帰性反射材は、入射してきた光を、その入射方向に向けて反射する光学特性を有する反射材である。つまり、再帰性反射材に入射する光の入射角と、再帰性反射材によって反射された光の出射角とは等しい。ただしこの性質は理想的であり、実際には一部の入射方向とは異なる方向に反射され得る。反射材を利用する場合には、光源２０を設けることは有用である。たとえば、光源２０の光軸とカメラ１０の光軸とを近接して配置させることにより、光源２０から放射された光２０ａは再帰性反射材４０に反射され、その多くが赤外光２０ｂとしてカメラ１０に入射する。よって、カメラ１０は十分な光量で被験者１を撮影することができる。本実施形態では、再帰性反射材として、ガラスビーズを塗布した布を用いた。

なお、再帰性反射材を適切に選択すれば、磁気共鳴画像診断装置を用いた測定・検査においても利用することが可能である。

上述した再帰性反射材の中には、アルミを蒸着させて形成されているものが存在する。再帰性反射材が金属材料を含む場合には、その再帰性反射材を、磁気共鳴画像診断装置を利用した測定・検査（いわゆるＭＲＩ測定・検査）に用いることはできない。磁気共鳴画像診断装置のガントリ内で撮影画像に影響を与える恐れが生じるからである。

ＭＲＩ測定・検査を行う環境下では、非金属材質の再帰性反射材を採用する必要がある。たとえばＰＥＴ製のプリズムシートを再帰性反射材として使用することが可能である。

これにより、ＭＲＩ環境下においても再帰性反射材を患者に装着して、周囲環境のノイズの影響を低減して生体情報を取得することが可能となる。

ＭＲＩ環境下で赤外線吸収材４０を用いる場合にも、金属材料を含まないものを利用すればよい。

上述の実施の形態では、被験者の生体活動として呼吸を挙げ、呼吸数を計測する生体活動計測システムの例を説明した。しかしながら、生体活動の他の例として、心臓の拍動を含めることも可能である。すなわち、上述した生体活動計測システムを、心拍数の計測に利用することも可能である。心拍数の計測に変更する場合には、光学吸収材を心臓の拍動が観察可能な位置に設置する。たとえば、拍動する心臓が位置する胸部周辺、拍動に伴う動きが計測可能な首周辺である。

心拍数を計測するための生体活動計測システムとしては、実施の形態１および２のいずれのシステムを用いてもよい。

いま、実施の形態１にかかる手順を利用して心拍数を計測する例を考える。

図２３は、生体活動計測システム１００で行われる心拍数の第１の測定処理の手順を示す。図７の測定処理の手順と異なるのは、図２３のステップＳ２１である。ステップＳ２１では、画像処理回路３０６は、ステップＳ４において算出した各平均輝度値を利用して被験者の心拍数をカウントする。なお、心拍計測時に得られる低輝度領域１０４の波形は、たとえば拍動に対応するパルスが含まれたパルス列の波形となる。画像処理回路３０６は、当該パルスを１回の拍動として、所定期間内の心拍数をカウントする。

以上の処理により、生体活動計測システム１００において、高い精度で呼吸数の情報を取得することができる。赤外線吸収材４０から反射された赤外光の光量が十分大きいため、カメラ１０が撮影した動画像を用いると、画像内の赤外線吸収材４０から呼吸による体動を含む部分領域を特定することは容易である。

また、実施の形態２にかかる手順を利用して心拍数を計測してもよい。

図２４は、生体活動計測システム１００で行われる心拍数の第２の測定処理の手順を示す。図２１の測定処理の手順と異なるのは、図２４のステップＳ３１〜Ｓ３３である。ただし、具体的な相違点は、呼吸波形が脈波波形に変更されていることである。

ステップＳ３１において、画像処理回路３０６は算出した加算平均結果の時間変化を脈波波形と判断し、ステップＳ３２において、脈波波形から心拍数をカウントする。ステップＳ３３において、画像処理回路３０６はディスプレイ３２に映像信号を送り、心拍数の情報を表示させる。

以上の処理によれば、生体活動の他の例としての心拍数を測定することができる。

本明細書は、以下の項目に記載の生体活動の計測方法、計測システムを開示する。

［項目１］
本発明の実施形態による計測システムは、観察光に基づく動画像を生成する撮像装置と、前記動画像を利用して被験体の生体活動を計測する画像処理回路とを備えた計測システムであって、前記被験体の生体活動に伴う体動の発生位置に、所定以上の吸収率を有し、光学吸収材によって光が吸収されたことにより相対的に暗い領域を生成する少なくとも１つの吸収材が配置されたときにおいて、前記撮像装置は、一部が前記少なくとも１つの吸収材で吸収され、残りの一部が前記被験体で反射された前記光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、前記画像処理回路は、前記撮像装置から前記動画像を受け取り、前記少なくとも１つの吸収材を利用して、各フレーム画像の部分領域であって、前記少なくとも１つの吸収材に含まれ、かつ前記体動の発生位置を含む部分領域を特定し、前記複数のフレーム画像の、特定した前記部分領域の輝度の変化に基づいて前記被験体の生体活動を計測する。
上記項目１によれば、所定以上の吸収率をし、光学吸収材によって光が吸収されたことにより相対的に暗い領域を生成する少なくとも１つの吸収材を使用するため、吸収材のパターンを利用して吸収材の位置を特定し、呼吸等の生体活動に起因する体動を、複数のフレーム画像の変化から捉えることが容易になる。

［項目２］
前記吸収材は、光の吸収率が異なる複数の部分を含む少なくとも１つの吸収材である、項目１に記載の計測システム。

［項目３］
前記画像処理回路は、前記各フレーム画像の、前記少なくとも１つの吸収材の境界を含む部分領域を特定する、項目１または２に記載の計測システム。
［項目４］
前記画像処理回路は、前記体動の方向である第１の方向を特定し、前記第１の方向と異なる第２の方向に沿って、前記各フレーム画像を複数の部分領域に分割する、項目１から３のいずれかに記載の計測システム。
［項目５］
固定された位置に、予め定められた形状を有する吸収材を位置マーカとして設置された場合に、
前記撮像装置が、前記位置マーカで吸収されず、前記位置マーカの周囲の素材で反射された前記光を受け、複数のフレーム画像から構成される動画像を生成し、
前記画像処理回路が、前記複数のフレーム画像の少なくとも１つに基づいて前記撮像装置が予め定められた方向を撮影しているか否かを判定する、請求項１から４のいずれかに記載の計測システム。

本発明は、被験体を撮影した動画像を解析して、被験体の生体活動、特に呼吸の数を非接触で計測する方法として利用することができる。また本発明は、そのような動画像の解析および生体活動の計測のための装置、システム、コンピュータプログラムとして利用することができる。

１ 被験者
１０ カメラ
２０ 光源
３０ 情報処理装置
３２ ディスプレイ
４０ 赤外線吸収材
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ ＨＤＤ
３０５ Ｉ／Ｆ
３０６ 画像処理回路
１００、１０１、１１１ 生体活動計測システム

Claims (5)

1. 観察光に基づく動画像を生成する撮像装置と、
   前記動画像を利用して被験体の生体活動を計測する画像処理回路と
   を備えた計測システムであって、
   前記被験体の生体活動に伴う体動の発生位置に、所定以上の吸収率を有し、光学吸収材によって光が吸収されたことにより相対的に暗い領域を生成する少なくとも１つの吸収材が配置されたときにおいて、
   前記撮像装置は、一部が前記少なくとも１つの吸収材で吸収され、残りの一部が前記被験体で反射された前記光を複数の時刻において受けて、時系列の複数のフレーム画像から構成される前記動画像を生成し、
   前記画像処理回路は、前記撮像装置から前記動画像を受け取り、前記少なくとも１つの吸収材を利用して、各フレーム画像の部分領域であって、前記少なくとも１つの吸収材に含まれ、かつ前記体動の発生位置を含む部分領域を特定し、前記複数のフレーム画像の、特定した前記部分領域の輝度の変化に基づいて前記被験体の生体活動を計測する、計測システム。
2. 前記吸収材は、光の吸収率が異なる複数の部分を含む少なくとも１つの吸収材である、請求項１に記載の計測システム。
3. 前記画像処理回路は、前記各フレーム画像の、前記少なくとも１つの吸収材の境界を含む部分領域を特定する、請求項１または２に記載の計測システム。
4. 前記画像処理回路は、前記体動の方向である第１の方向を特定し、前記第１の方向と異なる第２の方向に沿って、前記各フレーム画像を複数の部分領域に分割する、請求項１から３のいずれかに記載の計測システム。
5. 固定された位置に、予め定められた形状を有する吸収材を位置マーカとして設置された場合に、
   前記撮像装置が、前記位置マーカで吸収されず、前記位置マーカの周囲の素材で反射された前記光を受け、複数のフレーム画像から構成される動画像を生成し、
   前記画像処理回路が、前記複数のフレーム画像の少なくとも１つに基づいて前記撮像装置が予め定められた方向を撮影しているか否かを判定する、請求項１から４のいずれかに記載の計測システム。

Images