以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号を付し、重複した説明は省略する。
図1は、本発明の第1の実施の形態に係る動き検出装置としての呼吸モニタ1の模式的外観図である。呼吸モニタ1は、対象領域を監視するように構成されている。呼吸モニタ1は、対象領域に存在する対象物の高さ方向の動きを複数の測定点で測定する三次元センサ、本実施の形態では、FGセンサ10と、FGセンサ10を制御する演算装置20とを含んで構成される。
本実施の形態では、対象物は、典型的には呼吸をするものである。すなわち、対象物は、例えば人物や動物である。本実施の形態では、対象物は人物2として説明する。また対象物の高さ方向の動きは呼吸による動きである。すなわち、高さ方向の動きは人物2の呼吸による動きである。また本実施の形態では、対象領域はベッド3上である。さらに言えば、対象領域はベッド3上で後述の撮像装置12(図2参照)で撮像された領域である。また、FGセンサ10は、対象領域内の各測定点での高さも測定できるものでもある。
また、図中ベッド3上に、人物2が横たわって存在している。また、人物2の上には、さらに寝具4がかけられており、人物2の一部と、ベッド3の一部とを覆っている。この場合には、FGセンサ10は、寝具4の上面の高さ方向の動きを測定している。また寝具4を使用しない場合には、FGセンサ10は、人物2そのものの高さ方向の動きを測定する。
また、ベッド3の鉛直方向上方には、FGセンサ10が配置されている。FGセンサ10については後で詳述する。なお、図示では、FGセンサ10と演算装置20とは別体として示してあるが、一体に構成してもよい。このようにすると、呼吸モニタ1を小型化することができる。演算装置20は、典型的にはパソコン等のコンピュータである。
図2は、本発明の第1の実施の形態に係る呼吸モニタ1のFGセンサ10を説明するための模式的外観図である。FGセンサ10は、典型的には三角測量法を用いて人物2の高さ方向の動きを測定するように構成されている。FGセンサ10は、対象領域としてのベッド3にパターン光を投影する投影装置11と、パターン光が投影されたベッド3を撮像する撮像装置12と、撮像装置12により撮像された像上のパターンの移動を測定する測定手段としての測定装置14とを有している。さらに、測定装置14は、測定されたパターンの移動に基づいて、人物2の高さ方向の動きを複数の点で測定するように構成される。また、投影装置11と撮像装置12は、測定装置14に電気的に接続され、測定装置14に制御されている。なお、本実施の形態では、測定装置14は、演算装置20と一体に構成されている。
投影装置11の投影するパターン光は、典型的には輝点が配列されたものであり、複数の輝点である。すなわち、言い換えれば、投影装置11は、対象領域としてのベッド3に複数の輝点を投影し、撮像装置12は、複数の輝点が投影されたベッド3を撮像するように構成されている。
ここでは、投影されるパターン光は、図3で後述するような略正方格子状に配列された複数の輝点11bで形成されたパターン11aである。図中投影装置11は、ベッド3上にパターン11aを投影している。そして、ベッド3上に投影された複数の輝点は、ベッド3上の複数の測定点にそれぞれ対応する。すなわち各輝点の位置は測定点の位置である。さらに言えば、複数の測定点は人物2に投影された各輝点のうち撮像装置12で撮像された像の画角内に存在する輝点に対応する。測定点とは、後述するように人物2の高さ方向の動きを測定できる点である。なお、ここで高さ方向の動きとは、前回(後述する1つ前に取得した像、すなわち、N−1フレーム)の測定時からの対象物の高さの変化である。また、複数の点で測定された人物2の高さ方向の動きは、図6で後述する輝点の移動に対応する(なお動きの量は輝点の移動量に対応)。
以下、各構成について説明する。
まず、FGセンサ10の設置について説明する。投影装置11と、撮像装置12は、ベッド3の鉛直方向上方に配置されている。図示では、ベッド3のおよそ中央部上方に撮像装置12が、人物2のおよそ頭部上方に投影装置11が配置されている。ここでは、撮像装置12の画角は、およそベッド3の中央部分で、人物2の上半身を撮像できるように設定されいる。なお、投影装置11と撮像装置12の距離を基線長d(図5参照)という。基線長d(図5参照)は、三角測量法の基線方向の投影装置11と撮像装置12の間隔である。
またFGセンサ10は、投影装置11と撮像装置12とを結ぶ直線の方向すなわち三角測量法の基線方向がベッド3の長手方向の中心線と平行になるように設置されている。さらに言えば、FGセンサ10は、FGセンサ10の基線方向とベッド3の長手方向の中心線が平行であり、且つ投影装置11と撮像装置12とを結ぶ基線がベッド3の長手方向の中心線のおよそ鉛直上方に位置するように配置されている。なおここでは基線方向は、ベッド3の長手方向の中心線と平行である場合で説明するが、例えばベッド3の長手方向の中心線と直交する方向としてもよい。この場合であっても人物2の動きの測定には支障ない。
ここで基線長d(図5参照)について説明する。ここでは、FGセンサ10は、図5で後述するように、パターンを形成する輝点の移動を測定するものである。この際に、例えば、対象物(ここでは人物2)の高さ又は高さ方向の動きが大きくなればなるほど、輝点の移動量も大きくなる。このため、図5で後述する概念によると、輝点の移動量が大きいと、比較すべき輝点の隣の輝点を飛び越してしまう現象が起こることがある。この場合、隣の輝点から移動したと判断され、測定される輝点の移動量は小さくなってしまうことがある。すなわち、正確に輝点の移動量を測定できない。基線長が短い場合には、輝点の移動量は小さく、上記の飛び越えが起こりにくいが、微小な動きに対してはノイズとの区別が難しくなる。また、基線長d(図5参照)が長い場合には、例えば対象物の僅かな動きであっても、輝点の移動量に大きく反映されるので、微小な高さ又は高さ方向の動きの測定することができるが、例えば大きな動きがあった場合に飛び越えが起きることがある。
本実施の形態では、上述したように、ベッド3のおよそ中央部上方に撮像装置12が、人物2のおよそ頭部上方に投影装置11が配置され、投影装置11と撮像装置12とは、ある程度距離を離して設置される。すなわち、投影装置11は、人物2の中心からずれた位置(水平方向に対してベッド3の外側の位置)に配置される。
投影装置11は、図示のように、ここでは、その光軸(本実施の形態では、図3に示すレーザ光束L1の投射方向)を、ベッド3の上面の垂直方向に対して傾きを有するように設置する。このように構成することで、撮像装置12と投影装置11との距離を離して設置することが容易に行え、簡単に基線長d(図5参照)を長くすることができる。言い換えれば、三角測量法の基線長を長く取ることが容易に行え、基線長d(図5参照)が長くなるので、変化を敏感に検出できるようになる。
またここでは、撮像装置12は、その光軸をベッド3の上面の垂直方向に対し、およそ平行方向に設置される。すなわち、投影装置11の光軸は、撮像装置12の光軸に対して傾きを有して設置される。
図3は、本発明の第1の実施の形態に係る呼吸モニタ1の投影装置11を説明する模式的斜視図である。本図を参照して、呼吸モニタ1に適した投影装置11について説明する。なおここでは、説明のために、対象領域を平面102とし、後述のレーザ光束L1を平面102に対して垂直に投射する場合で説明する。投影装置11は、可干渉性の光束を発生する光束発生手段としての光束発生部105と、ファイバーグレーティング120(以下、単にグレーティング120という)とを備えている。光束発生部105により投射される可干渉性の光束は、典型的には赤外光レーザである。光束発生部105は、平行光束を発生するように構成されている。光束発生部105は、典型的には不図示のコリメータレンズを含んで構成される半導体レーザ装置であり、発生される平行光束は、レーザ光束L1である。そしてレーザ光束L1は、断面が略円形あるいは略楕円形状の光束である。ここで平行光束とは、実質的に平行であればよく、平行に近い光束も含む。
またここでは、グレーティング120は、平面102に平行に(Z軸に直角に)配置される。グレーティング120に、レーザ光L1を、Z軸方向に入射させる。するとレーザ光L1は、個々の光ファイバー121により、そのレンズ効果を持つ面内で集光したのち、発散波となって広がって行き、干渉して、投影面である平面102に複数の輝点アレイであるパターン11aが投影される。なお、グレーティング120を平面102に平行に配置するとは、例えば、グレーティング120を構成するFG素子122の各光ファイバー121の軸線を含む平面と、平面102とが平行になるように配置することである。
また、グレーティング120は、2つのFG素子122を含んで構成される。本実施の形態では、各FG素子122の平面は、互いに平行である。以下、各FG素子122の平面を素子平面という。また、本実施の形態では、2つのFG素子122の光ファイバー121の軸線は、互いにほぼ直交している。
FG素子122は、例えば、直径が数10ミクロン、長さ10mm程度の光ファイバー121を数10〜数100本程度、平行にシート状に並べて構成したものである。また、2つのFG素子122は、接触して配置してもよいし、それぞれの素子平面の法線方向に距離を空けて配置してもよい。この場合には、2つのFG素子122の互いの距離は、パターン11aの投影に差支えない程度とする。レーザ光束L1は、典型的には、グレーティング122の素子平面に対して垂直に入射させる。なお、ここではFG素子122を用いたグレーティング120で説明するが、これに限られずグレーティング120の代わりとして、例えば別の形態の回折素子やマイクロレンズアレイであってもよい。
このように、投影装置11は、2つのFG素子122を含んで構成されたグレーティング120により多くの光束を発生するので、複雑な光学系を必要とすることなく、光学筐体を小型化できる。さらに投影装置11は、グレーティング120を用いることで、単純な構成で、複数の輝点11bをパターン11aとして対象領域に投影でき、しかも、結像による投影と異なり、明瞭な輝点が得られる距離範囲が広い。なお、パターン11aは、典型的には正方格子状に配列された複数の輝点11bである。また、輝点11bの形状は楕円形を含む略円形である。
図2に戻って説明する。撮像装置12は、結像光学系12a(図5参照)と撮像素子15(図5参照)を有するものである。撮像素子15は、典型的にはCCD撮像素子である。また、撮像素子15として、CCDの他にCMOS構造の素子が最近盛んに発表されており、それらも当然使用可能である。特にこれらの中には、素子自体にフレーム間差算や二値化の機能を備えたものがあり、これらの素子の使用は好適である。
撮像装置12は、前述の光束発生部105(図3参照)により発生されるレーザ光束L1の波長の周辺部以外の波長の光を減光するフィルタ12b(図5参照)を備えるとよい。フィルタ12bは、典型的には干渉フィルタ等の光学フィルタであり、結像光学系12aの光軸上に配置するとよい。このようにすると、撮像装置12は、撮像素子15に受光する光のうち、投影装置11より投影されたパターン11aの光の強度が相対的にあがるので、外乱光による影響を軽減できる。また、光束発生部105により発生されるレーザ光束L1は、典型的には赤外光レーザの光束である。また、レーザ光L1は、継続的に照射してもよいし、断続的に照射してもよい。断続的に照射する場合には、撮像装置12による撮像を、照射のタイミングに同期させて行うようにする。
図4は、本発明の第1の実施の形態に係る呼吸モニタ1の構成例を示すブロック図である。本図を参照して、呼吸モニタ1の構成例について説明する。前述のように、演算装置20は、測定装置14と一体に構成されている。さらに言えば、測定装置14は、後述の制御部21に一体に構成される。そして投影装置11と、撮像装置12は、前述のように、測定装置14に電気的に接続されており、制御されている。本実施の形態では、演算装置20は、投影装置11と、撮像装置12に対し遠隔的に配置されている。具体的には、例えば、ベッド3の脇や、ベッド3が設置されている部屋とは別の部屋、例えばナースステーション等に設置される。
まず測定装置14について説明する。測定装置14は、上述したように、撮像装置12で撮像された像上のパターンの移動を測定するものであり、さらに測定されたパターンの移動に基づいて、人物2の高さ方向の動きを複数の点で測定するものである。測定装置14は、撮像装置12で撮像した像を取得できるように構成されている。さらに測定装置14は、撮像装置12により撮像された像上の各輝点の移動を測定するように構成されている。なおここでは、投影された輝点も撮像された像上の輝点の像も、便宜上単に輝点という。またここでは、輝点の移動を測定するとは、輝点の移動の量(以下移動量という)を測定することをいう。さらに、測定される輝点の移動量は、輝点の移動方向を含む概念である。すなわち、測定される輝点の移動量には、移動した方向の情報も含まれるものとする。
ここで、測定装置14による輝点の移動の測定について詳述する。測定装置14は、撮像装置12から取得した異なる2時点の像に基づいて、輝点の移動を測定するように構成されている。
ここで、異なる2時点の像に基づく、輝点の移動の測定について説明する。異なる2時点の像は、任意の時点とそのわずかに前の時点とするとよい。わずかに前とは、人物2の動きを検出するのに十分な時間間隔だけ前であればよい。この場合、人物2のわずかな動きも検出したいときは短く、例えば人物2の動きが大きくなり過ぎず、実質的にはほぼ動き無しとみなせる程度の時間、例えば0.1秒程度とすればよい。あるいはテレビ周期の1〜10周期(1/30〜1/3)とするとよい。また、人物2の大まかな動きを検出したいときは長く、例えば10秒程度としてもよい。但し、本実施の形態のように、人物2の呼吸も検出する場合では長くし過ぎると、正確な呼吸の検出が行えなくなるので、例えば1分などにするのは適切でない。以下、任意の時点(現在)で取得した像を取得像、取得像よりわずかに前(過去)に取得した像を参照像として説明する。なお、参照像は、記憶部31内に保存される。
さらに、本実施の形態では、異なる2時点の像は、取得像(Nフレーム)と、取得像の1つ前に取得した像(N−1フレーム)とする。すなわち参照像は、取得像の1つ前に取得した像である。また、像の取得間隔は、例えば装置の処理速度や、上述のように検出したい動きの内容により適宜決めるとよいが、例えば0.1〜3秒、好ましくは0.1〜0.5秒程度とするとよい。また、より短い時間間隔で像を取得し、平均化またはフィルタリングの処理を行うことで、例えばランダムノイズの影響を低減できるので有効である。
なお、任意の時点とそのわずかに前の時点の異なる2時点の像に基づく、輝点の移動の測定で得られる波形(例えば輝点の移動量の総和など)は、距離の微分波形、すなわち高さ変化の推移を表す波形になる。また例えば、高さ推移を表すような波形を得たいときは、前記波形を積分すれば距離の波形、すなわち高さ推移を示す波形になる。
ここで、取得像と参照像は、例えば撮像装置12により撮像された像であるが、それぞれの像上での、輝点の位置情報も含む概念である。すなわち、取得像と参照像は、各々の時点で、投影装置11の投影により形成されたパターン11aの像である。なお、本実施の形態では、参照像は、例えば、いわゆる像としてではなく、各輝点の位置に関する、座標等の位置情報の形で、記憶部31に保存される。なお、ここでの座標は例えば撮像装置12で撮像された画像内で設定されるものである。このようにすると、後述する輝点の移動量を測定する際に、例えば輝点の座標や方向を比較するだけで済むので処理が単純になる。さらに、ここでは、輝点の位置は、輝点の重心位置とする。このようにすることで、僅かな輝点の移動も測定することができる。
また、輝点の移動量は、前述のように、記憶部31に保存された参照像上の各輝点の位置情報と、取得像上の各輝点の位置情報とを比較することで、輝点の移動量を測定する。なお、それぞれの移動量は、例えば、輝点の位置が移動した画素数(何画素移動したか)を計数することで求められる。測定される輝点の移動量は、輝点の移動方向を含む概念である。すなわち、測定される輝点の移動量には、移動した方向の情報も含まれる。このようにすると、後述のように、差分像を生成しないで済むので処理を単純化できる。
なお上記では、輝点の位置情報を比較する場合で説明したが、参照像と取得像との差分像を作成してもよい。この場合、この差分像から対応する輝点の位置に基づいて、輝点の移動量を測定する。このようにすると、移動した輝点のみが差分像上に残るので、処理量を減らすことができる。
さらに、測定装置14により測定された輝点の移動量は、過去一定回数測定された、または過去一定期間内に測定された輝点の移動量の移動平均値、または期間平均値としてもよい。このようにすることで、ランダムノイズや窓から差し込む日光のちらつきなどによる突発的なノイズが軽減でき、測定した輝点の移動量の信頼性が向上する。
測定装置14は、以上のような、輝点の移動の測定を、パターン11aを形成する各輝点毎に行うように構成される。すなわち、複数の輝点の位置が複数の測定点となる。測定装置14は、パターン11aを形成する各輝点毎に測定した輝点の移動、すなわち、測定した輝点の移動量を測定結果として制御部21へ出力する。すなわち、測定結果は、異なる2時点の像に基づいて測定した輝点の移動量である。この測定結果は図5で後述するように、各輝点(測定点)での対象物、ここでは人物2の高さ方向の動きに対応している。以下、この測定結果を動き情報と呼ぶ。測定装置14は、各測定点での前記測定結果を動き情報として出力する。なお、人物2の高さ方向の動きは、例えば人物2の呼吸に伴う動きである。
図5は、本発明の第1の実施の形態に係る呼吸モニタ1の輝点の移動の概念について説明する概念的斜視図である。ここで、本図を参照して、輝点の移動の概念について説明する。ここでは、判りやすく、対象領域を平面102、対象物を物体103として説明する。さらにここでは、説明のために、参照像は、物体103が平面102に存在しないときのパターン11aの像であり、取得像は、物体103が平面102に存在しているときのパターン11aとして説明する。
図中物体103が、平面102上に載置されている。またXY軸を平面102内に置くように、直交座標系XYZがとられており、物体103はXY座標系の第1象限に置かれている。一方、図中Z軸上で平面102の上方には、投影装置11と、撮像装置12とが配置されている。撮像装置12は、投影装置11によりパターン11aが投影された平面102を撮像する。すなわち、平面102上に載置された物体103を撮像する。
撮像装置12の結像光学系としての結像レンズ12aは、ここでは、その光軸がZ軸に一致するように配置されている。そして、結像レンズ12aは、平面102あるいは物体103上のパターン11aの像を、撮像装置12の撮像素子15の受像面15’(イメージプレーン)に結像する。受像面15’は、典型的にはZ軸に直交する面である。さらに、受像面15’内にxy直交座標系をとり、Z軸が、xy座標系の原点を通るようにする。平面102から結像レンズ12aと等距離で、結像レンズ12aからY軸の負の方向に距離d(基線長d)だけ離れたところに、投影装置11が配置されている。物体103と平面102には、投影装置11により複数の輝点11bが形成するパターン11aが投影される。なお、y軸方向は、三角測量法の基線方向でもある。
投影装置11により平面102に投影されたパターン11aは、物体103が存在する部分では、物体103に遮られ平面102には到達しない。ここで物体103が存在していれば、平面102上の点102aに投射されるべき輝点11bは、物体103上の点103aに投射される。輝点11bが点102aから点103aに移動したことにより、また結像レンズ12aと投影装置11とが距離d(基線長d)だけ離れているところから、受像面15’上では、点102a’(x,y)に結像すべきところが点103a’(x,y+δ)に結像する。すなわち、物体103が存在しない時点と物体103が存在する時点とは、輝点11bの像がy軸方向に距離δだけ移動することになる。
これは、例えば図6に示すように、撮像素子15の受像面15’に結像した輝点は、高さのある物体103により、δだけy軸方向に移動することになる。
このように、この輝点の移動量δを測定することにより、物体103上の点103aの位置が三次元的に特定できる。すなわち、例えば点103aの高さがわかる。このように、ある点が、物体103が存在しなければ受像面15’上に結像すべき点と、受像面15’上の実際の結像位置との差を測定することにより、物体103の高さの分布、言い換えれば三次元形状が測定できる。あるいは物体103の三次元座標が測定できる。また、輝点11bの対応関係が不明にならない程度に、パターン11aのピッチ、すなわち輝点11bのピッチを細かくすれば、物体103の高さの分布はそれだけ詳細に測定できることになる。
以上のような概念に基づいて、測定装置14は、輝点の移動量を測定することで対象物の高さが測定できる。但しここでは、取得像と、取得像の1つ前に取得した像すなわち参照像に基づいて、高さ方向の動きを測定するので、輝点の移動量により高さの変化量を見ることになる。このため、例えば人物2の絶対的な高さは測定できなくなるが、人物2の高さ方向の変化を測定できるので、人物2の高さ方向の動きを測定する場合には好適であり、図7で説明する人物2の実際の高さ(絶対的な高さ)を演算しなくてもよいので、測定装置14での計算量が少なくて済む。
なお、測定装置14は、以下で説明するように、測定された輝点の移動量に基づいて、人物2の実際の高さ変化量を演算することもできる。
図7は、本発明の第1の実施の形態に係る呼吸モニタ1の測定装置14による対象物の高さの演算について説明する線図である。なお、ここでは、図5と同様に、判りやすく、対象領域を平面102、対象物を物体103として説明する。さらに、説明のために、参照像は、物体103が平面102に存在しないときのパターン11a(図5参照)の像であり、取得像は、物体103が平面102に存在しているときのパターン11a(図5参照)として説明する。なお、ここでは、高さの変化を演算することも便宜上高さを演算するという。
本図は、撮像装置12、投影装置11、物体103、平面102との関係をX軸方向(図5参照)に見た側面図である。ここでは、物体103の高さがZ1である場合で説明する。投影装置11の中心(パターン光源の中心)と結像レンズ12aの中心とは、平面102に平行に距離dだけ離して配置されており、結像レンズ12aから受像面15’(撮像素子15)までの距離はl(エル)(結像レンズ12aの焦点とほぼ等しい)、結像レンズ12aから平面102までの距離はh、物体103の点103aの平面102からの高さはZ1である。物体103が平面102上に置かれた結果、受像面15’上の点102a’はδだけ離れた点103a’に移動したとする。
図中結像レンズ12aの中心と点103aとを結ぶ線が平面102と交差する点を102a”とすれば、点102aと点102a”との距離Dは、三角形103a’−102a’−12aと三角形102a”−102a−12aとに注目すれば、D=δ・h/lであり、三角形12a−11−103aと三角形102a”−102a−103aに注目すれば、D=(d・Z1)/(h−Z1)である。この両式からZ1を求めると次式のようになる。
Z1=(h2・δ)/(d・l+h・δ) ………(1)
以上のようにして、測定装置14は、物体103の高さを算出することができ、平面102が前回(N−1フレーム)の高さ、物体103が今回(Nフレーム)の高さと考えれば、この2時点間の実際の高さ変化量を算出することができる。この場合、測定装置14は、各測定点での対象物の高さ変化量を測定結果として制御部21へ出力する。この測定結果を高さ情報と呼ぶ。
なお、以下の本実施の形態の説明では、特に断りのない限り、図5、図6で前述したように、測定装置14は、輝点の移動量(輝点の移動の変化量)を測定することで人物2の高さ方向の動きを測定する場合で説明し、後述する補正手段としての第1の補正部24は、輝点の移動量又は後述する部分領域内の輝点の移動量の総和を補正することで、対象物の動きを補正したものとして説明する。なお、厳密に高さ変化量を求めるときは(1)式を用いるが、実際に(1)式のh・δの数値は、d・lの数値よりも充分に小さいので、Z1はδに比例するものとして扱うことができる。したがって、δをZ1の代わりに高さ変化量として用いることができる。また、高さ変化に伴い、測定点の物体面内位置も若干変化するが、本発明の動き検出の主旨に対しては特段の影響を与えない。
なお、呼吸モニタ1は、FGセンサ10で測定された動きの量が閾値以下である測定点は、演算装置20による演算に使用しないように構成することができる。本実施の形態では、測定装置14で測定された動きの量が閾値以下である測定点のデータを演算装置20へ出力しないように構成されている。閾値は典型的には人物2の呼吸の動きより小さく設定する。具体的には、人物2の呼吸より小さな動き、さらに言えばこの小さな動きに対応する輝点の移動量より小さく設定する。これにより、呼吸より小さな動きが測定された測定点を無視することができる。このようにすることで、例えばノイズによる影響を効果的に排除することができる。なお呼吸の動きより小さい動きとは、呼吸による高さ方向の動きの範囲より小さい動きのことをいう。上述のように、ここでは輝点の移動量は輝点の移動の変化量、言い換えれば動きの速度を示しているので、呼吸より小さな動きとは、例えば呼吸による高さ方向の動きの速度の範囲が2〜40mm/s程度である場合に2mm/s以下の速度の動きのことをいう。すなわちこの場合閾値は2mm/sに設定するとよい。さらに言えば動きの速度の2mm/sに対応する輝点の移動量に設定する。例えば毎秒4回の画像取得を行っている場合には、輝点の移動量の閾値は、人物2の動きの量0.5mm(2mm/s÷4)に対応する輝点の移動量に設定する。
また呼吸モニタ1は、FGセンサ10で測定された動きの周波数が閾値以上である測定点は、前記演算手段による演算に使用しないように構成するとよい。本実施の形態では、測定装置14で測定された動きの周波数が閾値以上である測定点のデータを演算装置20へ出力しないように構成されている。周波数の閾値は、例えば人物の呼吸の周波数より高い周波数、例えば毎分60サイクル程度に設定するとよい。ところで、大人の呼吸数は、毎分5〜30サイクル程度の範囲にあるが、幼児の場合にはさらに呼吸数が多くなる傾向があるので、これを考慮して上記周波数の閾値を設定するとよい。これにより、呼吸の周波数より高い周波数の動きが測定された測定点を無視することができる。このようにすることで、呼吸の動きに関係ない動き例えばノイズによる影響を効果的に排除することができる。
図4に戻って、演算装置20について説明する。演算装置20は、呼吸モニタ1を制御する制御部21を備えている。さらに制御部21には、記憶部31が接続されている。記憶部31は、撮像装置12から取得した像を時系列的に記憶するようにするとよい。また記憶部31には算出された情報等のデータが記憶できる。
制御部21には、例えば人物2の状態を示す情報を出力する情報出力手段としてのディスプレイ40が接続されている。ディスプレイ40は典型的にはLCDである。ディスプレイ40は、例えば後述の変動情報生成部22により生成される人物2の呼吸の波形パターンを表示することにより出力する。ディスプレイ40は、典型的には呼吸の波形パターンをリアルタイム表示する。リアルタイム表示するとは、例えば後述の変動情報生成部22により即時的に出力される人物2の呼吸の波形パターンを即時的に表示することである。なお、その場で情報を出力する必要のない場合には、ディスプレイ40を備える必要は特にない。
また制御部21には、呼吸モニタ1を操作するための情報を入力する入力装置35が接続されている。入力装置35は例えばタッチパネル、キーボードあるいはマウスである。本図では、入力装置35は、演算装置20に外付けするものとして図示されているが、内蔵されていてもよい。また本実施の形態では、入力装置35を備える場合で説明するが、特に備えなくても問題ない。
さらに、制御部21内には、測定装置14の測定結果、すなわち動き情報に基づいて、人物2(図2参照)の高さ方向の動き、すなわち呼吸の動きの変動情報を生成する変動情報生成手段としての変動情報生成部22と、対象領域としてのベッド3(図2参照)内の平面上で複数の輝点11a(図2参照)の隣り合う輝点の各間隔が等しくない場合に、人物2の動きを当該輝点又は当該輝点を含む領域の撮像された位置に応じて補正する補正手段としての第1の補正部24とが備えられている。言い換えれば、演算装置20は変動情報生成部22と、第1の補正部24とを有している。なお、演算装置20は、さらに、変動情報生成部22によって生成される変動情報に基づいて、人物2の呼吸の状態を判定する呼吸判定手段としての呼吸判定部23を備えてもよい。本実施の形態では、呼吸判定部23を備える場合で説明する。
変動情報生成部22は、測定装置14によって測定された測定点の輝点の移動量の総和を演算し、この総和を時間方向に並べて形成される変動情報としての人物2の呼吸の波形パターンを生成するものである。変動情報生成部22は、典型的には人物2の状態を示す変動情報としての人物2の呼吸の波形データをリアルタイム出力するように構成されている。リアルタイムに出力するとは、例えば撮像装置12により撮像された像毎に演算される輝点の移動量の総和を即時的に出力することである。さらに言えばこの場合には、この総和をリアルタイムに出力することで、変動情報生成部22は、時間方向に並べて形成される人物2の呼吸の波形パターンを生成することになる。さらに、変動情報生成部22は、生成した人物2の呼吸の波形パターンをディスプレイ40に出力するように構成されている。ディスプレイ40は、上述したように当該人物2の呼吸の波形パターンを表示する。これにより、当該人物2の呼吸の波形パターンを例えば医師の診断の参考にすることができる。
図8は、呼吸の波形パターンの例を示した図である。
なお、変動情報生成部22は、測定装置14が高さ変化量を算出する場合には、人物2の体積変動量を算出するようにも構成されている。体積変動量は、測定装置14による測定結果としての高さ情報、すなわち、高さ変化量から算出することができる。この際には、例えば、高さ変化量の総和を体積変動量としてもよい。このように、体積変動量を算出することで、例えば、人物2の呼吸の際の実際の吸入量等を知ることができる。算出した体積変動量は、ディスプレイ40に表示したり、電子媒体等(例えばここでは記憶部31)に保存するようにすればよい。
呼吸判定部23は、変動情報生成部22によって生成された人物2の呼吸の波形パターンに基づいて、人物2の呼吸の状態を判定するように構成される。すなわち、呼吸判定部23は、測定装置14により複数の測定点で測定された動き情報、すなわち人物2の高さ方向の動きに基づいて、人物2の呼吸の状態を判定する。さらに、呼吸判定部23は、測定装置14によって測定された測定結果に基づいて、人物2の動きの種類を判定するようにも構成されている。
呼吸判定部23により判定される人物2の動きの種類は、典型的には呼吸、体動、動き無し(不動)、呼吸運動低下である。なお体動とは、人物2の体の動きであり、例えば立ったり座ったりといった動きの他、手足の動きや寝返り等を広く含む概念である。
また、呼吸判定部23は、変動情報生成部22により生成された呼吸の波形パターンの周期的変化の振幅と周期(周波数)の両方又はいずれか一方に所定の上限下限の閾値を設定し、この閾値と比較して呼吸か否かを判定し、呼吸を検出するようにしてもよい。周期の上限下限の閾値は、例えば人物の呼吸の周期を含む範囲、例えば、下限を毎分5サイクル、上限を毎分60サイクルに設定するとよい。ところで、大人の呼吸数は、毎分5〜30回程度の範囲にあるが、幼児の場合にはさらに呼吸数が多くなる傾向がある。また、振幅の上限下限の範囲は、人物2の呼吸の振幅に相当する輝点の移動量を含む範囲、例えば、上限を20mm程度、下限を1mm程度の人物2の高さ変化量に相当する輝点の移動量とするとよい。また、振幅や周期の変化等から人物2の状態の変化を検出、判定することもできる。
さらに、呼吸判定部23は、呼吸数の検出を行うようにするとよい。呼吸数の検出は、例えば、動きが呼吸と判別された領域の輝点の移動量の総和の時間変化をフーリエ変換等のデータ処理を行うことで検出できる。
呼吸判定部23は、呼吸を検出すると、変動情報生成部22によって生成された人物2の呼吸の波形パターンに基づいて、人物2の呼吸の状態を判定するように構成される。呼吸判定部23は、典型的には、人物2の呼吸の状態が、正常な呼吸状態であるか異常な呼吸状態であるかを判定するように構成される。
呼吸判定部23はによる人物2の呼吸の状態の判定基準は、以下のようなことを考慮して、設定するようにするとよい。例えば、呼吸が検出されているときに、短時間に呼吸パターンの持つ周期が乱れた場合又は、呼吸パターンの持つ周期が急激に変化した場合には、例えば、自然気胸、気管支喘息などの肺疾患、うっ血性心不全などの心疾患、または、脳出血などの脳血管疾患であると推測できるので、異常な呼吸状態であると判定するように設定する。また、呼吸パターンの消失が続いた場合には、人物2の呼吸が停止したと推測できるので、異常な呼吸状態であると判定するように設定する。なお、短時間に呼吸パターンではなく人物2の体動が頻出した場合には、人物2が何らかの理由で苦しんで暴れているような状況が推測できるので、危険な状態であると判定するように設定するとよい。
図9は、正常及び異常な呼吸の波形パターンの一例について示した概要図である。正常な呼吸パターンは、図9(a)に示したような、周期的なパターンである。但し、大人の場合には、1分間の呼吸数として正常な範囲は、10〜20回程度である。異常な呼吸パターンは、例えば、チェーン−ストークス(Cheyne−Stokes)呼吸、中枢性過換気、失調性呼吸、カスマウル(Kussmul)の大呼吸など、生理学的に体内に障害が発生している場合に生じると考えられている呼吸パターンである。図9(b)に、Cheyne−Stokes呼吸の呼吸パターンを、図9(c)に中枢性過換気の呼吸パターンを、図9(d)に失調性呼吸の呼吸パターンをそれぞれ示す。さらに、図10は、異常な呼吸の波形パターンに対応する病名または疾患箇所の表を示した図であり、上記の異常な呼吸パターンが発生した場合の、病名または疾患箇所について示す。
呼吸判定部23は、それぞれの呼吸パターンの呼吸の周波数、出現回数、深浅が異なることを利用して、人物2の呼吸パターンが上記のいずれの呼吸パターンに属するかを判別し、異常な呼吸であるか否か、すなわち、人物2が危険な状態を判定するようにするとよい。また以上のような呼吸パターンを、記憶部31に保存しておくとよい。このようにすることで、これらのパターンと比較することで人物2の呼吸が正常であるか否かの判定が容易に行なえる。
また、上述したような呼吸判定部23による判定結果は、ディスプレイ40に表示するように構成される。呼吸判定部23は、判定結果を変動情報生成部22へ出力する。この場合には、変動情報生成部22は、人物2の呼吸の波形パターンとともに判定結果をディスプレイ40へ出力する。呼吸判定部23による判定結果がディスプレイ40に表示されることで、例えば測定者(医師等)は、人物2の異常を容易に認識することができる。
ところで、上述した(1)によれば、FGセンサ10では、基線長d(図11参照)と対象物が存在する面までの距離h(図11参照)が一定なら、人物2の高さ方向の動きの検出感度は一定である。
図11は、本発明の第1の実施の形態に係る呼吸モニタ1の高さ方向の動きの検出感度について説明する線図である。なお、ここでは、判りやすく説明するために、基準となる対象物の位置(対象物の表面の位置)を平面102、動きによって変化した後の対象物の位置(対象物の表面の位置)を平面104として説明する。基準となる対象物の位置は、例えばN−1フレームでの対象物の位置、動きによって変化した後の対象物の位置は、例えばNフレームでの対象物の位置である。さらに、説明のために、参照像は、対象物の表面の位置が平面102に存在したときのパターン11a(図5参照)の像であり、取得像は、対象物の表面の位置が平面104に存在したときのパターン11a(図5参照)として説明する。
三角測量法では、対象物の高さ方向の動きに対して、平面104上のABとCDの距離は等しくなる。すなわち、輝点の移動量は、基線長d(図11参照)と平面102までの距離h(図11参照)が一定で、対象物の高さ方向の動きの量、すなわち平面102と平面104との距離である高さ変化量Z1が一定であれば、輝点の位置が平面102上のどの位置であるかに拘わらず一定である。したがって、各輝点の移動量の総和により求められる呼吸信号、すなわち呼吸の波形パターンは、平面102での輝点の密度が一定なら、平面102のどの位置でも高さ方向の動きに対する感度は一定である。
しかしながら、基線長dをできるだけ長く取るために、本実施の形態のように、投影装置11が対象物の中心からずれた位置に配置されることがある。
図12は、本発明の第1の実施の形態に係る呼吸モニタ1の投影装置11をその光軸が平面102の垂直方向に対して傾きを有するように設置した場合について説明する図であり、(a)は線図、(b)は平面102上の輝点についての模式図である。ここでは、図5と同様に、判りやすく、対象領域を平面102として説明する。
(a)に示すように、投影装置11は、各光線を等角度α間隔で投影する。このため、平面102上の各輝点の間隔は投影装置11から離れる程広くなる。すなわち、各輝点の間隔は、y軸方向(基線方向)、x軸方向(基線方向に垂直な方向)、ともに投影装置11から離れる程広くなり、輝点密度が低くなる。その結果得られる輝点のパタ一ンの一例を(b)に示す。なお、投影装置11がその光軸が平面102の垂直方向に対して傾きを有するように設置されていない場合(すなわち、光軸が平面102に対して垂直になるように設置される場合)でも、各光線は等角度α間隔で投影されるため、実際には、投影装置11から離れる程、輝点密度は低くなる。しかしながら、この場合、位置による輝点間隔の差異は、極微少であるため無視しても問題はない。また、このような場合でも、投影装置11から離れた位置の対象物の動きを正確に測定したいときは、以下の説明と同様に補正をするとよい。例えば、1つの投影装置11を複数の対象領域、例えば、4つのベッド3の中央に、鉛直方向下方に向けて配置し、4個の撮像装置12をそれぞれ各ベッド3の真上に配置したような場合に適用することができる。
(b)に示すように、各輝点の間隔が一様でなくなると、レンズの収差等を考えなければ、上述したように対象物(人物2)の高さ方向の動きの量(すなわち上述の高さ変化量)が同様であれば、受像面15’上での輝点移動量は一定であるものの、輝点密度が平面102上の位置によって異なる。このため、高さ方向の動きの量が同様であっても、対象物(人物2)の高さ方向の動きが存在している領域内の輝点移動量の総和を演算して得る呼吸の波形パターンは、当該領域の平面102上での位置により異なることとなる。したがって、呼吸の波形パターンの感度が平面102上の位置に依存することになる。
すなわち、例えば、高さ方向の動きの量が同様であり、高さ方向の動きが存在している平面102上の領域の範囲も同様であっても、当該範囲が、投影装置11の略鉛直下方に存在している場合と、投影装置11から離れた位置に存在している場合とでは、平面102上での輝点密度が異なるため、領域内に存在し、総和を取る輝点の数が異なり、呼吸の波形パターンの感度が異なることになる。
そこで、本発明の第1の実施の形態に係る呼吸モニタ1の演算装置20は、上述したように、対象領域としてのベッド3(図2参照)内の平面上で複数の輝点11a(図2参照)の隣り合う輝点の各間隔が等しくない場合に、人物2の動きを当該輝点又は当該輝点を含む領域の撮像された位置に応じて補正する補正手段としての第1の補正部24(図4参照)を有する。
本実施の形態では、第1の補正部24は、具体的には、輝点の移動量を補正して、高さ方向の動きを補正する。すなわち、前述のように、本実施の形態では、輝点の移動量と高さ変化量は比例すると考えられるため、輝点の移動量を補正することにより、結果的に高さ方向の動きも補正されたものとみることができるからである。なお、(1)式を用いて高さを求めてももちろん構わない。ただし、この場合は、対象物の凹凸が未知であれば、平均的なhの値を用いる等して、hの値を代入する必要がある。
また、ここでの補正は、典型的には、輝点密度(単位面積あたりの輝点の数)を用いて輝点の移動量を補正する。本実施の形態では、以下で説明するように、基準とする輝点間隔に対する当該移動量の補正を行う輝点と隣り合う輝点との間隔の割合を用いて行う。
図12を続けて参照して第1の補正部24が行う補正について説明する。ここでは、上述したように、投影装置11は各光線を等角度α間隔で投影するものとする。まず、投影装置11の略鉛直方向下方の平面102上に投影される輝点を基準として、当該輝点とy軸方向(基線方向)に1番目に隣り合う輝点との間隔をΔy1、1番目に隣り合う輝点と2番目に隣り合う輝点との間隔をΔy2、n−1番目に隣り合う輝点とn番目に隣り合う輝点との間隔をΔynとすると、Δynは、次式(2)で求めることができる。
Δyn=h(tann・α−tan(n−1)・α) ………(2)
基準とする輝点とy軸方向(基線方向)に1番目に隣り合う輝点との間隔をΔy1は、投影装置11の略鉛直方向下方であることから各間隔の中で最も短く、y軸方向の伸び率が最も小さい。そこで、Δy1を基準となる間隔とする。
n−1番目に隣り合う輝点とn番目に隣り合う輝点との間隔Δynのy軸方向の伸び率は、間隔Δy1を基準として、次式(3)で求めることができる。
y軸方向の伸び率=Δyn/Δy1
=(tann・α−tan(n−1)・α)/tanα ………(3)
同様に、投影装置11の略鉛直方向下方の平面102上に投影される輝点を基準として、当該輝点とx軸方向(基線方向に垂直な方向)に1番目に隣り合う輝点との間隔をΔx1、1番目に隣り合う輝点と2番目に隣り合う輝点との間隔をΔx2、n’−1番目に隣り合う輝点とn’番目に隣り合う輝点との間隔をΔxn’とすると、Δxn’は、次式(4)で求めることができ、x軸方向の伸び率は、間隔Δx1を基準として、次式(5)で求めることができる。
Δxn’=h(tann’・α−tan(n’−1)・α) ………(4)
x軸方向の伸び率=Δxn’/Δx1
=(tann’・α−tan(n’−1)・α)/tanα ………(5)
次式(6)に示すように、(4)、(5)式で算出されるy軸方向の伸び率とx軸方向の伸び率との積(すなわち、面積の増加率)の逆数を取ることで、基準とする輝点からy軸方向にn番目、x軸方向にn’番目に隣り合う輝点位置での輝点密度が算出される。
輝点密度=1/(x軸方向の伸び率×y軸方向の伸び率) ………(6)
第1の補正部24は、以上のようにして各輝点毎に求められる輝点密度に基づいて、次式(7)に示すように、輝点移動量を補正して補正後の輝点移動量を算出する。
補正後の輝点移動量=輝点移動量/輝点密度
=輝点移動量×x軸方向の伸び率×y軸方向の伸び率 ………(7)
測定装置14によって測定される輝点の移動量を第1の補正部24により補正することで、結果的に測定装置14で測定される高さ方向の動きも補正される。なお、式(2)から式(6)までの演算は、一度、呼吸モニタ1を設置した後は、呼吸モニタ1をあまり動かさないのであれば、光学系のセッティングからあらかじめ演算しておき、演算して得た各輝点の輝点密度を記憶部31に格納して、第1の補正部24が式(7)の演算を行うときに、当該輝点密度を読み出すように構成しても良い。例えば、輝点密度は、輝点位置に対応したテーブルを予め作成しておき、記憶部31に格納しておけばよい。これにより、第1の補正部24による計算量を減らすことができる。また、対象領域を複数の部分領域に分割し、部分領域毎に平均的な補正値、すなわち輝点密度を求めておき、部分領域内での輝点の移動量の総和を部分領域毎の平均的な輝点密度で除し、さらにその値を全体の領域に渡って加算し、全体の呼吸波形を求めることもできる。
上述した変動情報生成部22(図4参照)は、第1の補正部24によって補正された測定結果、すなわち、補正後の輝点移動量の総和を演算して、総和を時間方向に並べて形成される変動情報としての人物2の呼吸の波形パターンを生成する。
以上で説明した本発明の第1の実施の形態に係る呼吸モニタ1によれば、基線長を長くするため投影装置11を対象物の中心から外して設置し、各輝点間の間隔が一様でなくても、第1の補正部24が、測定装置14によって測定される輝点の移動量を補正することで、結果的に測定装置14で測定される高さ方向の動きも補正されるので、人物2の呼吸の波形パターンの感度が対象物の位置に依存せず、対象物の動きを正確に把握することができる。すなわち、対象領域上の位置によらず感度が一定で正確な測定結果や呼吸の波形パターンを得ることができる。
また、対象領域を、例えば基線方向に分割して人物2の胸部と腹部の各領域の人物2の動きを区別して、閉塞型無呼吸や中枢型無呼吸の判定をしたり、慢性閉塞性肺疾患などによる呼吸運動の部位毎の評価をする場合にも、分割された領域毎、あるいは人物2の各部位に対応する領域毎で人物2の呼吸の波形パターンの感度が異なってしまうことがなく、人物2の状態を正確に把握することができる。
また、例えば、低感度、すなわち、基線長dの短いFGセンサをさらに備え、当該低感度のFGセンサによって高さ分布を求め、それによって高さ方向の動きを正確に求めるとともに、輝点の対象領域内での位置も正確に求めて位置依存性を補正する場合に比べて、比較的簡明な構成で、人物2の呼吸の波形パターンの感度が対象物の位置に依存せず、対象物の動きを正確に把握することができる呼吸モニタとすることができる。
なお、以上で説明した本発明の第1の実施の形態に係る呼吸モニタ1は、上述した実施の形態に限定されず、特許請求の範囲に記載された範囲で種々の変更が可能である。
また、以上の説明では、呼吸の波形パターンは、輝点の移動量の総和を演算して得るものとして説明したが、測定装置14が実際の人物2の高さ方向の動きの量、すなわち、図7で説明した高さ変化量を算出する場合には、当該高さ変化量の総和(すなわち、体積変化量)を演算して得ても良い。さらに、第1の補正部24は、測定装置14によって測定される輝点の移動量を輝点密度で除して補正することで、結果的に測定装置14で測定される高さ方向の動きが補正されるものとして説明したが、測定装置14が高さ変化量を算出する場合には、当該高さ変化量を輝点密度で除して補正してもよい。またさらに、このように補正した高さ変化量に基づいて、体積変動量を算出することで、より正確に人物2の体積変動を測定することができる。これは、呼吸のような微細な動きの量を測定するのに極めて有効である。
さらに、図13は、本発明の第2の実施の形態に係る動き検出装置として呼吸モニタ1aの構成例を示すブロック図である。基本的に第1の実施の形態で説明した呼吸モニタ1と略同様な構成であるが、第1の補正部24の代わりに第2の補正部24aを備えている点で異なる。なお、以下の説明では、FGセンサ10や演算装置20等、第1の実施の形態と共通する構成については、重複した説明はできるだけ省略する。
第1の実施の形態で説明した呼吸モニタ1の第1の補正部24(図4参照)は、光学系のセッティングから理論的に予測される輝点位置から各輝点の輝点密度を求めて補正していたのに対して、本発明の第2の実施の形態に係る呼吸モニタ1aの第2の補正部24aは、補正を行う対象物の動きに関する量を、対象領域内の平面上であって当該補正を行う輝点を含む部分領域内の一定面積あたりの輝点の数を実測して、当該部分領域内の輝点の数、すなわち、当該部分領域内の輝点密度で除することで補正を行うように構成されている。
具体的には、第2の補正部24aは、各輝点毎に、各輝点を中心に平面102全体の画素数、輝点間隔等に基づいて適切に設定した範囲の部分領域、例えば20×20pixel程度の範囲の部分領域を設定し、当該部分領域内で輝点を検索する。第2の補正部24aは、当該部分領域内の輝点の数、すなわち、当該部分領域内の輝点密度を算出する。第2の補正部24aは、当該各輝点毎の輝点密度に基づいて、上述した式(7)で、輝点移動量を補正して補正後の輝点移動量を算出する。このように構成することで、上述した式(2)から式(6)までの演算を省略することができるので、演算装置20による計算量を減らすことができる。また、また、対象領域の凹凸等、例えば、布団のしわなどによるによる不測の輝点の消失等の影響も軽減することができる。さらに、例えば、輝点の投影が等角度間隔ではなく、輝点の間隔がランダムに異なる場合でも、人物2の呼吸の波形パターンの感度が対象物の位置に依存せず、対象物の動きを正確に把握することができる。すなわち、対象領域上の位置によらず感度が一定で正確な測定結果や呼吸の波形パターンを得ることができる。
なお、第2の補正部24aは、各輝点毎に部分領域を区分するのではなく、対象領域である平面102全体を略均等に、例えば20×20pixel程度、あるいは40×40pixel程度の部分領域に、部分領域同士が重複しないように区分し、当該部分領域内で輝点を検索するように構成しても良い。この場合、輝点密度は部分領域内の各輝点に対して共通の輝点密度とすればよい。このように構成すると、第2の補正部24aが区分する部分領域の数が少なくなるので、第2の補正部24aによる計算量を減らすことができる。また、一度、呼吸モニタ1を設置した後は、呼吸モニタ1をあまり動かさないのであれば、目視等によりあらかじめ輝点密度を実測しておき、実測して得た各輝点の輝点密度を記憶部31に格納して、第2の補正部24aが式(7)の演算を行うときに、当該輝点密度を読み出すように構成しても良い。これにより、第2の補正部24aによる計算量を減らすことができる。