JP3782815B2 - 呼吸解析装置 - Google Patents

呼吸解析装置 Download PDF

Info

Publication number
JP3782815B2
JP3782815B2 JP2004203968A JP2004203968A JP3782815B2 JP 3782815 B2 JP3782815 B2 JP 3782815B2 JP 2004203968 A JP2004203968 A JP 2004203968A JP 2004203968 A JP2004203968 A JP 2004203968A JP 3782815 B2 JP3782815 B2 JP 3782815B2
Authority
JP
Japan
Prior art keywords
movement
representative
region
dividing line
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004203968A
Other languages
English (en)
Other versions
JP2005246033A (ja
Inventor
安弘 竹村
真人 中島
順哉 佐藤
一弘 味村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Osaka Cement Co Ltd
Keio University
Original Assignee
Sumitomo Osaka Cement Co Ltd
Keio University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Osaka Cement Co Ltd, Keio University filed Critical Sumitomo Osaka Cement Co Ltd
Priority to JP2004203968A priority Critical patent/JP3782815B2/ja
Publication of JP2005246033A publication Critical patent/JP2005246033A/ja
Application granted granted Critical
Publication of JP3782815B2 publication Critical patent/JP3782815B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、状態解析装置に関し、特に対象物の状態を正確に把握できる状態解析装置に関するものである。
空間内、例えば風呂場やトイレ等での対象物、例えば人物の動きを検出する動き検出装置として、従来から、動き検出センサが提案されている。代表的な例としては、ベッド上の就寝者にパターンを投影し、投影されたパターンを連続的に撮像した画像からパターンの移動量を算出することで、就寝者の呼吸を監視する監視装置があった(例えば、特許文献1参照。)。
特開2002−175582号公報 (第5−9頁、第1−13図)
しかしながら以上のような従来の装置によれば、対象物の各部位の状態、例えば動きのある部位の動きの方向、動きの状態を正確に把握しづらかった。
そこで本発明は、対象物の状態を正確に把握できる状態解析装置を提供することを目的としている。
上記目的を達成するために、請求項1に係る発明による呼吸解析装置1は、例えば図1、図4に示すように、対象領域に存在する対象物2の高さ方向の動きを複数の測定点で測定する三次元センサ10と;前記測定された複数の動きに基づいて、対象物2の状態を示す情報を演算する演算手段20とを備え;演算手段20は、前記動きの測定された測定点について、前記複数の動きの位相が略同一である測定点の位置座標群の代表座標を計算する代表座標演算手段22と、前記動きの位相が異なる位置座標群が2以上あるときは、前記代表座標演算手段により前記位置座標群毎に計算される代表座標間に前記対象領域を分割する領域分割線を形成する分割線形成手段23と、前記領域分割線によって分割された領域毎に測定点群のデータを統合して前記動きの波形を出力するデータ出力手段24とを
有し;前記対象物2は呼吸をするものである。
このように構成すると、対象領域に存在する対象物2の高さ方向の動きを複数の測定点で測定する三次元センサ10と、前記測定された複数の動きに基づいて、対象物2の状態を示す情報を演算する演算手段20とを備えているので、演算手段20が三次元センサ10により測定された複数の動きに基づいて、対象物2の状態を示す情報を演算できる。さらに演算手段20は、代表座標演算手段22と、分割線形成手段23と、データ出力手段24とを有しているので、前記複数の動きの位相が略同一である測定点の位置座標群の代表座標を計算し、前記動きの位相が異なる位置座標群が2以上あるときは、前記代表座標演算手段により前記位置座標群毎に計算される代表座標間に前記対象領域を分割する領域分割線を形成できる。そして前記形成された領域分割線によって分割された領域毎に測定点群のデータを統合して前記動きの波形を出力するので、対象物の状態を正確に把握できる呼吸解析装置1を提供できる。
また請求項2に記載のように、請求項1に記載の呼吸解析装置1では、分割線形成手段23は、代表座標演算手段22により計算された代表座標に前記代表座標に関する量で重み付けを行った値を計算し、前記計算された代表座標が少なくとも2つあり、前記2つの代表座標を結ぶ直線を、前記計算された値で内分する点で前記結ぶ直線と交差するように前記領域分割線を形成するように構成するとよい。
さらに、上記目的を達成するために、請求項3に係る発明による呼吸解析装置1は、例えば図1、図4に示すように、対象領域に存在する対象物2の高さ方向の動きを複数の測定点で測定する三次元センサ10と;測定された複数の動きに基づいて、対象物2の状態を示す情報を演算する演算手段20とを備え;演算手段20は、動きの測定された測定点について、複数の動きの位相が略同一である測定点の位置座標群の代表座標を計算する代表座標演算手段22と、動きの位相が異なる位置座標群が2以上あるときは2以上の代表座標間に対象領域を分割する領域分割線を形成する分割線形成手段23と、領域分割線によって分割された領域毎に測定点群のデータを統合して動きの波形を出力するデータ出力手段24とを有し;分割線形成手段23は、代表座標演算手段22により計算された代表座標に代表座標に関する量で重み付けを行った値を計算し、計算された代表座標が少なくとも2つあり、2つの代表座標を結ぶ直線を、計算された値で内分する点で結ぶ直線と交差するように領域分割線を形成するように構成され;前記対象物2は呼吸をするものである。
また、上記目的を達成するために、請求項4に係る発明による呼吸解析装置1aは、例えば図1、図10に示すように、対象領域に存在する対象物2の高さ方向の動きを複数の測定点で測定する三次元センサ10と;測定された複数の動きに基づいて、対象物2の状態を示す情報を演算する演算手段20とを備え;演算手段20は、動きの測定された測定点について、複数の動きの位相が略同一である測定点の位置座標群の代表座標を計算する代表座標演算手段22aと、動きの位相が異なる位置座標群が2以上あるときは2以上の代表座標間に対象領域を分割する領域分割線を形成する分割線形成手段23aと、領域分割線によって分割された領域毎に測定点群のデータを統合して動きの波形を出力するデータ出力手段24とを有し;位置座標群が1つであるときは、分割線形成手段23aは、算出された代表座標を通り対象領域を分割する領域分割線を形成し;前記対象物2は呼吸をするものである。
このように構成すると、対象領域に存在する対象物2の高さ方向の動きを複数の測定点で測定する三次元センサ10と、前記測定された複数の動きに基づいて、対象物2の状態を示す情報を演算する演算手段20とを備えているので、演算手段20が三次元センサ10により測定された複数の動きに基づいて、対象物2の状態を示す情報を演算できる。さらに演算手段20は、代表座標演算手段22と、分割線形成手段23と、データ出力手段24とを有しているので、前記複数の動きの位相が略同一である測定点の位置座標群の代表座標を計算し、前記動きの位相が異なる位置座標群が2以上あるときは前記2以上の代表座標間に前記対象領域を分割する領域分割線を形成できる。そして前記形成された領域分割線によって分割された領域毎に測定点群のデータを統合して前記動きの波形を出力するので、対象物の状態を正確に把握できる呼吸解析装置1を提供できる。また、前記位置座標群が1つであるときは、前記算出された代表座標を通り前記対象領域を分割する領域分割線を形成できる。
上記目的を達成するために、請求項5に係る発明による呼吸解析装置1aは、例えば図1、図10に示すように、対象領域に存在する対象物2の高さ方向の動きを複数の測定点で測定する三次元センサ10と;前記測定された複数の動きに基づいて、対象物2の状態を示す情報を演算する演算手段20とを備え;演算手段20は、前記動きの測定された測定点について、前記複数の測定点全ての位置座標群の代表座標を計算する代表座標演算手段22aと、前記算出された代表座標を通り対象領域を分割する領域分割線を形成する分割線形成手段23aと、前記領域分割線によって分割された領域毎に測定点群のデータを統合して前記動きの波形を出力するデータ出力手段24とを有し;前記対象物2は呼吸をするものである。
このように構成すると、対象領域に存在する対象物2の高さ方向の動きを複数の測定点で測定する三次元センサ10と、前記測定された複数の動きに基づいて、対象物2の状態を示す情報を演算する演算手段20とを備えているので、演算手段20が三次元センサ10により測定された複数の動きに基づいて、対象物2の状態を示す情報を演算できる。さらに演算手段20は、代表座標演算手段22aと、分割線形成手段23aと、データ出力手段24とを有しているので、前記複数の測定点全ての位置座標群の代表座標を計算し、前記算出された代表座標を通り前記対象領域を分割する領域分割線を形成できる。そして前記形成された領域分割線によって分割された領域毎に測定点群のデータを統合して前記動きの波形を出力するので、対象物の状態を正確に把握できる呼吸解析装置1aを提供できる。
また請求項6に記載のように、請求項1乃至請求項5のいずれか1項に記載の呼吸解析装置1、1aでは、代表座標演算手段22、22aは、前記代表座標が前記位置座標群を形成する各測定点の座標の平均値であることを特徴とするとよい。
また請求項7に記載のように、請求項1乃至請求項5のいずれか1項に記載の呼吸解析装置1、1aでは、代表座標演算手段22、22aは、前記代表座標が前記位置座標群を形成する各測定点の座標に、前記動きの量に関する量で重み付けを行った値の平均値であることを特徴としてもよい。
また請求項8に記載のように、請求項1乃至請求項7のいずれか1項に記載の呼吸解析装置1、1aでは、代表座標演算手段22、22aは、前記複数の測定点の位置座標の一次元方向の座標のみを用いて代表座標の計算を行い;分割線形成手段23、23aは、前記一次元方向に垂直な領域分割線を形成することを特徴とするとよい。
また請求項9に記載のように、請求項1乃至請求項8のいずれか1項に記載の呼吸解析装置1、1aではデータ出力手段24により出力される波形に基づいて、前記対象物2の呼吸の状態を判定する呼吸判定手段を有するようにするとよい。
また請求項10に記載のように、請求項1乃至請求項9のいずれか1項に記載の呼吸解析装置1、1aでは、演算手段20は、複数の測定点を複数の部分領域に区分し、該部分領域毎に複数の動きを平均化する部分領域平均化手段27(例えば、図16参照)と、平均化された値に基づいて、代表座標の計算に用いる有効部分領域を抽出する有効部分領域抽出手段(例えば、図18参照)とを有し;代表座標演算手段22、22aは、有効部分領域内の動きの測定された測定点について、代表座標を計算するとよい。
このように構成すると、部分領域平均化手段が、部分領域毎に複数の動きを平均化し、例えば、これらの動きに含まれるノイズ成分を低減することができる。有効部分領域抽出手段は、この平均化された値に基づいて有効部分領域を抽出し、例えば、動きが少なくノイズが支配的な部分領域を排除することができ、代表座標演算手段は、有効部分領域内で代表座標計算を行うので、より適切な位置で対象領域を分割する領域分割線を形成できる。
また請求項11に記載のように、請求項1乃至請求項9のいずれか1項に記載の呼吸解析装置1、1aでは、演算手段20は、複数の測定点を複数の部分領域に区分し、該部分領域毎に複数の動きを平均化する部分領域平均化手段27(例えば、図16参照)を有し;代表座標演算手段22、22aは、平均化された値を、代表座標計算の対象となる複数の測定点の動きとして用いるようにするとよい。
このように構成すると、部分領域平均化手段が、部分領域毎に複数の動きを平均化し、例えば、これらの動きに含まれるノイズ成分を低減することができる。代表座標演算手段は、この平均化された値を、代表座標計算に用いるので、より適切な位置で対象領域を分割する領域分割線を形成できる。
また請求項12に記載のように、請求項10又は請求項11に記載の呼吸解析装置1、1aでは、部分領域平均化手段27(例えば、図16参照)は、複数の部分領域を、測定点毎に区分し、区分された該部分領域には測定点の周辺の所定範囲の他の測定点を含めて平均化するとよい。
このように構成すると、部分領域平均化手段は、測定点毎に複数の部分領域を区分し、平均化するので、測定点の密度が減少しない。
また請求項13に記載のように、請求項10又は請求項11に記載の呼吸解析装置1、1aでは、部分領域平均化手段27(例えば、図16参照)は、複数の部分領域を、当該部分領域同士が重複しないように、複数の測定点を区分するとよい。
このように構成すると、部分領域平均化手段は、複数の部分領域を、当該部分領域同士が重複しないように区分するので、計算量が少なくて済む。
また請求項14に記載のように、請求項10又は請求項11又は請求項13に記載の呼吸解析装置1、1aでは、部分領域平均化手段27(例えば、図16参照)は、部分領域を一定方向に略短冊状に区分するとよい。
このように構成すると、部分領域平均化手段は、部分領域を一定方向に略短冊状に区分し、代表座標演算手段は、一定方向の座標のみを用いて代表座標計算を行えばよいので計算量が少なくて済む。
また請求項15に記載のように、請求項11乃至請求項14のいずれか1項に記載の呼吸解析装置1、1aでは、演算手段20は、平均化された複数の動きに基づいて、代表座標の計算に用いる有効部分領域を抽出する有効部分領域抽出手段28(例えば、図18参照)を有するとよい。
このように構成すると、有効部分領域抽出手段は、代表座標の計算に用いる有効部分領域を抽出するので、極めて適切な位置で対象領域を分割する領域分割線を形成できる。典型的には、有効部分領域抽出手段は代表座標の計算に用いる部分領域である。
また請求項16に記載のように、請求項10乃至請求項15のいずれか1項に記載の呼吸解析装置1、1aでは、データ出力手段24は、平均化された値を、統合されるデータとして用いるとよい。
このように構成すると、データ出力手段は、平均化された値を、統合されるデータとして用いるので、統合されたデータの精度が向上する。
上記目的を達成するために、請求項17に係る発明による呼吸解析装置1bは、例えば図1、図12に示すように、対象領域に存在する対象物2の高さ方向の動きを複数の測定点で測定する三次元センサ10と;前記測定された複数の動きに基づいて、対象物2の状態を示す情報を演算する演算手段20とを備え;演算手段20は、前記動きの測定された測定点について、所定の方向に垂直な方向に各測定点での移動ベクトルを積分した積分値を演算し、該積分値を前記所定の方向に並べて積分波形を形成する移動ベクトル積分手段26と、前記積分波形の微分値の正負が変化した地点を通るように領域分割線を形成する分割線形成手段23bとを有し;前記対象物2は呼吸をするものである。
このように構成すると、対象領域に存在する対象物2の高さ方向の動きを複数の測定点で測定する三次元センサ10と、前記測定された複数の動きに基づいて、対象物2の状態を示す情報を演算する演算手段20とを備えているので、演算手段20が三次元センサ10により測定された複数の動きに基づいて、対象物2の状態を示す情報を演算できる。さらに演算手段20は、移動ベクトル積分手段26と、分割線形成手段23bとを有するので、所定の方向に垂直な方向に各測定点での移動ベクトルを積分した積分値を演算し、該積分値を前記所定の方向に並べて積分波形を形成でき、前記積分波形の微分値の正負が変化した地点を通るように領域分割線を形成できることにより、対象物の状態を正確に把握できる呼吸解析装置1bを提供できる。
また請求項18に記載のように、請求項17に記載の呼吸解析装置1bでは前記領域分割線によって分割された領域毎に測定点群のデータを統合して前記動きの波形を出力するデータ出力手段24と、データ出力手段24により出力される波形に基づいて、対象物2の呼吸の状態を判定する呼吸判定手段25とを有するようにするとよい。
また請求項19に記載のように、請求項1乃至請求項18のいずれか1項に記載の呼吸解析装置1、1a、1bでは、例えば図2に示すように、三次元センサ10は、対象領域にパターン光を投影する投影装置11と;前記パターン光が投影された対象領域を撮像する撮像装置12と;前記撮像された像上のパターンの移動を測定する測定手段14とを有し;前記測定されたパターンの移動に基づいて、対象物2の高さ方向の動きを複数の点で測定することを特徴とするとよい。
このように構成すると、投影装置11と、撮像装置12と、測定手段14とを有しており、パターン光が投影された対象領域を撮像し、前記撮像された像上のパターンの移動を測定して、さらに、前記測定されたパターンの移動に基づいて、対象物2の高さ方向の動きを複数の点で測定するので、単純な構成でありながら、正確に対象物2の高さ方向の動きを複数の点で測定できる。
また請求項20に記載のように、請求項1乃至請求項19のいずれか1項に記載の呼吸解析装置1、1a、1bでは、三次元センサ10で測定された動きの量が閾値以下である測定点は、演算手段20による演算に使用しないことを特徴とするとよい。
また請求項21に記載のように、請求項1乃至請求項20のいずれか1項に記載の呼吸解析装置1、1a、1bでは、三次元センサ10で測定された動きの周波数が閾値以上である測定点は、演算手段20による演算に使用しないことを特徴としてもよい。
以上のように、本発明によれば、対象領域に存在する対象物の高さ方向の動きを複数の測定点で測定する三次元センサと、前記測定された複数の動きに基づいて、前記対象物の状態を示す情報を演算する演算手段とを備え、前記演算手段は、前記動きの測定された測定点について、前記複数の動きの位相が略同一である測定点の位置座標群の代表座標を計算する代表座標演算手段と、前記動きの位相が異なる位置座標群が2以上あるときは、前記代表座標演算手段により前記位置座標群毎に計算される代表座標間に前記対象領域を分割する領域分割線を形成する分割線形成手段と、前記領域分割線によって分割された領域毎に測定点群のデータを統合して前記動きの波形を出力するデータ出力手段とを有し、前記対象物は呼吸をするものであるので、対象物の状態を正確に把握できる。
以下、本発明の実施の形態について、図面を参照して説明する。なお、各図において互いに同一あるいは相当する部材には同一符号を付し、重複した説明は省略する。
図1は、本発明による第1の実施の形態である状態解析装置としての呼吸測定装置1の模式的外観図である。呼吸測定装置1は、対象領域に存在する対象物の高さ方向の動きを複数の測定点で測定する三次元センサ10と、三次元センサ10により測定された複数の動きに基づいて、対象物の状態を示す情報を演算する演算手段としての演算装置20とを含んで構成される。演算装置20は、呼吸測定装置1を制御するものでもある。また呼吸測定装置1は、対象領域を監視するように構成されている。本実施の形態では、対象物は、呼吸をするものである。即ち対象物は、例えば人物や動物である。本実施の形態では、対象物は人物2として説明する。また対象物の高さ方向の動きは、呼吸による動きである。即ち高さ方向の動きは人物2の呼吸による動きである。また本実施の形態では、対象領域はベッド3上である。さらに言えば、対象領域はベッド3上で後述の撮像装置12(図2参照)で撮像された領域である。また、三次元センサ10は、対象領域内の各測定点での高さも測定できるものでもある。
また、図中ベッド3上に、人物2が横たわって存在している。また、人物2の上には、さらに寝具4がかけられており、人物2の一部と、ベッド3の一部とを覆っている。この場合には、三次元センサ10は、寝具4の上面の高さ方向の動きを測定している。また寝具4を使用しない場合には、三次元センサ10は、人物2そのものの高さ方向の動きを測定する。
また、ベッド3の上部には、三次元センサ10が配置されている。三次元センサ10については後で詳述する。なお、図示では、三次元センサ10と演算装置20とは別体として示してあるが、一体に構成してもよい。このようにすると、呼吸測定装置1を小型化することができる。演算装置20は、典型的にはパソコン等のコンピュータである。
図2の模式的外観図を参照して、三次元センサ10について説明する。本実施の形態では、三次元センサ10は三角測量法を用いて人物2の高さ方向の動きを測定するものである。ここではFGセンサを用いる場合で説明する。なおFGセンサについては後で詳述する。以下、三次元センサ10をFGセンサ10として説明する。FGセンサ10は、対象領域即ちベッド3上にパターン光を投影する投影装置11と、パターン光が投影されたベッド3上を撮像する撮像装置12と、撮像装置12で撮像された像上のパターンの移動を測定する測定手段としての動き測定装置14とを含んで構成される。さらに動き測定装置14は、測定されたパターンの移動に基づいて、人物2の高さ方向の動きを複数の点で測定するように構成される。また、投影装置11と、撮像装置12は、動き測定装置14に電気的に接続され、動き測定装置14に制御されている。撮像装置12は、典型的にはCCDカメラである。なお、本実施の形態では、動き測定装置14は、演算装置20と一体に構成される。
またここでは、投影されるパターン光は、複数の輝点である。そして、ベッド3上に投影された複数の輝点は、ベッド3上の複数の測定点にそれぞれ対応する。即ち複数の測定点はベッド3上に存在する人物2に投影された各輝点に対応する。さらに言えば、複数の測定点は人物2に投影された各輝点のうち撮像装置12で撮像された像の画角内に存在する輝点に対応する。また、複数の点で測定された人物2の高さ方向の動きは、図6で後述する輝点の移動に対応する(なお動きの量は輝点の移動量に対応)。以下、各構成について説明する。
図3の模式的斜視図を参照して、呼吸測定装置1に適した投影装置11について説明する。なおここでは、説明のために、対象領域を平面102とし、後述のレーザ光束L1を平面102に対して垂直に投射する場合で説明する。投影装置11は、可干渉性の光束を発生する光束発生手段としての光束発生部105と、ファイバーグレーティング120(以下、単にグレーティング120という)とを備えている。光束発生部105により投射される可干渉性の光束は、典型的には赤外光レーザである。光束発生部105は、平行光束を発生するように構成されている。光束発生部105は、典型的には不図示のコリメータレンズを含んで構成される半導体レーザ装置であり、発生される平行光束は、レーザ光束L1である。そしてレーザ光束L1は、断面が略円形状の光束である。ここで平行光束とは、実質的に平行であればよく、平行に近い光束も含む。
またここでは、グレーティング120は、平面102に平行に(Z軸に直角に)配置される。グレーティング120に、レーザ光L1を、Z軸方向に入射させる。するとレーザ光L1は、個々の光ファイバー121により、そのレンズ効果を持つ面内で集光したのち、発散波となって広がって行き、干渉して、投影面である平面102に複数の輝点アレイであるパターン11aが投影される。なお、グレーティング120を平面102に平行に配置するとは、例えば、グレーティング120を構成するFG素子122の各光ファイバー121の軸線を含む平面と、平面102とが平行になるように配置することである。
また、グレーティング120は、2つのFG素子122を含んで構成される。本実施の形態では、各FG素子122の平面は、互いに平行である。以下、各FG素子122の平面を素子平面という。また、本実施の形態では、2つのFG素子122の光ファイバー121の軸線は、互いにほぼ直交している。
FG素子122は、例えば、直径が数10ミクロン、長さ10mm程度の光ファイバー121を数10〜数100本程度、平行にシート状に並べて構成したものである。また、2つのFG素子122は、接触して配置してもよいし、それぞれの素子平面の法線方向に距離を空けて配置してもよい。この場合には、2つのFG素子122の互いの距離は、パターン11aの投影に差支えない程度とする。レーザ光束L1は、典型的には、グレーティング122の素子平面に対して垂直に入射させる。なお、ここではFG素子122を用いたグレーティング120で説明するが、これに限られずグレーティング120の代わりとして、例えば回折格子やマイクロレンズアレイを用いたグレーティングであってもよい。
このように、投影装置11は、2つのFG素子122を含んで構成されたグレーティング120が光学系となるので、複雑な光学系を必要とすることなく、光学筐体を小型化できる。さらに投影装置11は、グレーティング120を用いることで、単純な構成で、複数の輝点11bをパターン11aとして対象領域に投影できる。なお、パターン11aは、典型的には正方格子状に配列された複数の輝点11bである。また、輝点の形状は楕円形を含む略円形である。
図2に戻って説明する。撮像装置12は、結像光学系12a(図5参照)と撮像素子15(図5参照)を有するものである。撮像素子15は、典型的にはCCD撮像素子である。また、撮像素子15として、CCDの他にCMOS構造の素子が最近盛んに発表されており、それらも当然使用可能である。特にこれらの中には、素子自体にフレーム間差算や二値化の機能を備えたものがあり、これらの素子の使用は好適である。
撮像装置12は、前述の光束発生部105(図3参照)により発生されるレーザ光束L1の波長の周辺部以外の波長の光を減光するフィルタ12b(図5参照)を備えるとよい。フィルタ12bは、典型的には干渉フィルタ等の光学フィルタであり、結像光学系12aの光軸上に配置するとよい。このようにすると、撮像装置12は、撮像素子15に受光する光のうち、投影装置11より投影されたパターン11aの光の強度が相対的にあがるので、外乱光による影響を軽減できる。また、光束発生部105により発生されるレーザ光束L1は、典型的には赤外光レーザの光束である。また、レーザ光L1は、継続的に照射してもよいし、断続的に照射してもよい。断続的に照射する場合には、撮像装置12による撮像を、照射のタイミングに同期させて行うようにする。
ここで、FGセンサ10の設置例について説明する。投影装置11と、撮像装置12は、ベッド3の上方に配置されている。図示では、人物2のおよそ頭部上方に撮像装置12が、ベッド3のおよそ中央部上方に投影装置11が配置されている。投影装置11は、ベッド3上にパターン11aを投影している。また、撮像装置12の画角は、およそベッド3の中央部分を撮像できるように設定されている。さらに言えば、ベッド3上に存在する人物2の主に胸部と腹部を撮像できるような画角に設定されている。即ち撮像装置12は主に人物2の胸部と腹部に投影された輝点を撮像している。このように、呼吸の動きが反映されやすい胸部と腹部に投影された輝点を撮像することで、呼吸を精度良く測定しやすくなる。またFGセンサ10は、投影装置11と撮像装置12とを結ぶ直線の方向即ち三角測量法の基線方向がベッド3の長手方向の中心線と平行になるように設置されている。さらに言えば、FGセンサ10は、FGセンサ10の基線方向とベッド3の長手方向の中心線が平行であり、且つ投影装置11と撮像装置12とを結ぶ基線がベッド3の長手方向の中心線のおよそ鉛直上方に位置するように配置されている。なおここでは基線方向は、ベッド3の長手方向の中心線と平行である場合で説明するが、例えばベッド3の長手方向の中心線と直交する方向としてもよい。この場合であっても人物2の動きの測定には支障ない。
投影装置11は、ここでは、その光軸(レーザ光束L1の投射方向)を、図示のように、ベッド3の上面の垂直方向対して、およそ平行方向に設置する。なおここでは、上記のように、投影装置11は、その光軸をベッド3の上面の垂直方向に対しておよそ平行方向に設置するが、前記垂直方向に対して、傾けて設置してもよい。
またここでは、撮像装置12は、その光軸をベッド3の上面の垂直方向に対して、傾けて設置する。このようにすることで、例えば撮像装置12と投影装置11との距離を離して設置することが容易に行える。言い換えれば、三角測量法の基線長を長く取ることが容易に行える。なおここでは、上記のように、撮像装置12は、その光軸をベッド3の上面の垂直方向に対して傾けて設置するが、投影装置11と同様に、その光軸をベッド3の上面の垂直方向に対し、およそ平行方向に設置してもよい。さらに、投影装置11と撮像装置12は、それぞれの光軸を、互いに平行方向に向けて設置してもよい。
また、投影装置11と撮像装置12とは、ある程度距離を離して設置するとよい。このようにすることで、図5で後述する距離d(基線長d)が長くなるので、変化を敏感に検出できるようになる。なお、基線長は長く取ることが好ましいが、短くてもよい。但しこの場合には、呼吸等の小さな動きを検出しにくくなるが、後述のように、輝点の重心位置を検出するようにすれば、小さな動き(呼吸)の検出も可能である。
図4のブロック図を参照して、呼吸測定装置1の構成例について説明する。前述のように、演算装置20は、動き測定装置14と一体に構成されている。さらに言えば、動き測定装置14は、後述の制御部21に一体に構成される。そして投影装置11と、撮像装置12は、前述のように、動き測定装置14に電気的に接続されており、制御されている。本実施の形態では、演算装置20は、投影装置11と、撮像装置12に対し遠隔的に配置されている。具体的には、例えば、ベッド3の脇や、ベッド3が設置されている部屋とは別の部屋、例えばナースステーション等に設置される。
まず動き測定装置14について説明する。動き測定装置14は、前述のように、撮像装置12で撮像された像上のパターンの移動を測定するものであり、さらに測定されたパターンの移動に基づいて、人物2の高さ方向の動きを複数の点で測定するものである。動き測定装置14は、撮像装置12で撮像した像を取得できるように構成されている。さらに動き測定装置14は、撮像装置12により撮像された像上の各輝点の移動を測定するように構成されている。なおここでは、投影された輝点も撮像された像上の輝点の像も、便宜上単に輝点という。またここでは、輝点の移動を測定するとは、輝点の移動の量(以下移動量という)を測定することをいう。
ここで、動き測定装置14による輝点の移動の測定について詳述する。動き測定装置14は、撮像装置12から取得した異なる2時点の像に基づいて、輝点の移動を測定するように構成されている。
ここで、異なる2時点の像に基づく、輝点の移動の測定について説明する。異なる2時点の像は、任意の時点とそのわずかに前の時点とするとよい。わずかに前とは、人物2の動きを検出するのに十分な時間間隔だけ前であればよい。この場合、人物2のわずかな動きも検出したいときは短く、例えば人物2の動きが大きくなり過ぎず、実質的にはほぼ動き無しとみなせる程度の時間、例えば0.1秒程度とすればよい。あるいはテレビ周期の1〜10周期(1/30〜1/3)とするとよい。また、人物2の大まかな動きを検出したいときは長く、例えば10秒程度としてもよい。但し、本実施の形態のように、人物2の呼吸も検出する場合では長くし過ぎると、正確な呼吸の検出が行えなくなるので、例えば1分などにするのは適切でない。以下、任意の時点(現在)で取得した像を取得像、取得像よりわずかに前(過去)に取得した像を参照像として説明する。なお、参照像は、記憶部31内に保存される。本実施の形態では、異なる2時点の像は、取得像(Nフレーム)と、取得像の1つ前に取得した像(N−1フレーム)とする。即ち参照像は、取得像の1つ前に取得した像である。また、像の取得間隔は、例えば装置の処理速度や、上述のように検出したい動きの内容により適宜決めるとよいが、例えば0.1〜3秒、好ましくは0.1〜0.5秒程度とするとよい。また、より短い時間間隔で像を取得し、平均化またはフィルタリングの処理を行うことで、例えばランダムノイズの影響を低減できるので有効である。
なお、任意の時点とそのわずかに前の時点の異なる2時点の像に基づく、輝点の移動の測定で得られる波形(例えば輝点の移動量の総和など)は、距離の微分波形、即ち速度変化を表す波形になる。また例えば、高さ変化を表すような波形を得たいときは、前記波形を積分すれば距離の波形、即ち高さ変化を示す波形になる。
ここで、取得像と参照像は、例えば撮像装置12により撮像された像であるが、それぞれの像上での、輝点の位置情報も含む概念である。即ち、取得像と参照像は、各々の時点で、投影装置11の投影により形成されたパターン11aの像である。なお、本実施の形態では、参照像は、例えば、いわゆる像としてではなく、各輝点の位置に関する、座標等の位置情報の形で、記憶部31に保存される。なお、ここでの座標は例えば撮像装置12で撮像された画像内で設定されるものである。このようにすると、後述する輝点の移動量を測定する際に、例えば輝点の座標や方向を比較するだけで済むので処理が単純になる。さらに、ここでは、輝点の位置は、輝点の重心位置とする。このようにすることで、僅かな輝点の移動も測定することができる。
また、輝点の移動量は、前述のように、記憶部31に保存された参照像上の各輝点の位置情報と、取得像上の各輝点の位置情報とを比較することで、輝点の移動量を測定する。なお、それぞれの移動量は、例えば、輝点の位置が移動した画素数(何画素移動したか)を計数することで求められる。測定される輝点の移動量は、輝点の移動方向を含む概念である。即ち、測定される輝点の移動量には、移動した方向の情報も含まれる。このようにすると、後述のように、差分像を生成しないで済むので処理を単純化できる。
なお上記では、輝点の位置情報を比較する場合で説明したが、参照像と取得像との差分像を作成してもよい。この場合、この差分像から対応する輝点の位置に基づいて、輝点の移動量を測定する。このようにすると、移動した輝点のみが差分像上に残るので、処理量を減らすことができる。
さらに、動き測定装置14により測定された輝点の移動量は、過去一定回数測定された、または過去一定期間内に測定された輝点の移動量の移動平均値、または期間平均値としてもよい。このようにすることで、ランダムノイズや窓から差し込む日光のちらつきなどによる突発的なノイズが軽減でき、測定した輝点の移動量の信頼性が向上する。
動き測定装置14は、以上のような、輝点の移動の測定を、パターン11aを形成する各輝点毎に行うように構成される。即ち複数の輝点の位置が複数の測定点となる。動き測定装置14は、パターン11aを形成する各輝点毎に測定した輝点の移動、即ち測定した輝点の移動量を測定結果として制御部21へ出力する。即ち、測定結果は、異なる2時点の像に基づいて測定した輝点の移動量である。この測定結果は図5で後述するように、各輝点(測定点)での対象物ここでは人物2の高さ方向の動きに対応している。以下、この測定結果を動き情報と呼ぶ。動き測定装置14は、各測定点での前記測定結果を動き情報として出力する。なお、人物2の高さ方向の動きは、例えば人物2の呼吸に伴う動きである。
ここで、図5の概念的斜視図を参照して、輝点の移動の概念について説明する。ここでは、判りやすく、対象領域を平面102、対象物を物体103として説明する。さらにここでは、説明のために、参照像は、物体103が平面102に存在しないときのパターン11aの像であり、取得像は、物体103が平面102に存在しているときのパターン11aとして説明する。
図中物体103が、平面102上に載置されている。またXY軸を平面102内に置くように、直交座標系XYZがとられており、物体103はXY座標系の第1象限に置かれている。一方、図中Z軸上で平面102の上方には、投影装置11と、撮像装置12とが配置されている。撮像装置12は、投影装置11によりパターン11aが投影された平面102を撮像する。即ち平面102上に載置された物体103を撮像する。
撮像装置12の結像光学系としての結像レンズ12aは、ここでは、その光軸がZ軸に一致するように配置されている。そして、結像レンズ12aは、平面102あるいは物体103上のパターン11aの像を、撮像装置12の撮像素子15の結像面15’(イメージプレーン)に結像する。結像面15’は、典型的にはZ軸に直交する面である。さらに、結像面15’内にxy直交座標系をとり、Z軸が、xy座標系の原点を通るようにする。平面102から結像レンズ12aと等距離で、結像レンズ12aからY軸の負の方向に距離d(基線長d)だけ離れたところに、投影装置11が配置されている。物体103と平面102には、投影装置11により複数の輝点11bが形成するパターン11aが投影される。なお、y軸方向は、三角測量法の基線方向でもある。
投影装置11により平面102に投影されたパターン11aは、物体103が存在する部分では、物体103に遮られ平面102には到達しない。ここで物体103が存在していれば、平面102上の点102aに投射されるべき輝点11bは、物体103上の点103aに投射される。輝点11bが点102aから点103aに移動したことにより、また結像レンズ12aと投影装置11とが距離d(基線長d)だけ離れているところから、結像面15’上では、点102a’(x,y)に結像すべきところが点103a’(x,y+δ)に結像する。即ち、物体103が存在しない時点と物体103が存在する時点とは、輝点11bの像がy軸方向に距離δだけ移動することになる。
これは、例えば図6に示すように、撮像素子15の結像面15’に結像した輝点は、高さのある物体103により、δだけy軸方向に移動することになる。
このように、この輝点の移動量δを測定することにより、物体103上の点103aの位置が三次元的に特定できる。即ち、例えば点103aの高さがわかる。このように、ある点が、物体103が存在しなければ結像面15’上に結像すべき点と、結像面15’上の実際の結像位置との差を測定することにより、物体103の高さの分布、言い換えれば三次元形状が測定できる。あるいは物体103の三次元座標が測定できる。また、輝点11bの対応関係が不明にならない程度に、パターン11aのピッチ、即ち輝点11bのピッチを細かくすれば、物体103の高さの分布はそれだけ詳細に測定できることになる。
以上のような概念に基づいて、動き測定装置14は、輝点の移動量を測定することで対象物の高さが測定できる。但しここでは、取得像と、取得像の1つ前に取得した像即ち参照像に基づいて、高さ方向の動きを測定するので、輝点の移動の変化量を見ることになる。このため、例えば人物2の絶対的な高さは測定できなくなるが、人物2の高さ方向の動きを検出することが目的であるので問題は無い。
さらに呼吸測定装置1は、FGセンサ10で測定された動きの量が閾値以下である測定点は、演算装置20による演算に使用しないように構成されている。本実施の形態では、動き測定装置14で測定された動きの量が閾値以下である測定点のデータを演算装置20へ出力しないように構成されている。閾値は典型的には人物2の呼吸の動きより小さく設定する。具体的には、人物2の呼吸より小さな動き、さらに言えばこの小さな動きに対応する輝点の移動量より小さく設定する。これにより、呼吸より小さな動きが測定された測定点を無視することができる。このようにすることで、例えばノイズによる影響を効果的に排除することができる。なお呼吸の動きより小さい動きとは、呼吸による高さ方向の動きの範囲より小さい動きのことをいう。上述のように、ここでは輝点の移動量は輝点の移動の変化量、言い換えれば動きの速度を示しているので、呼吸より小さな動きとは、例えば呼吸による高さ方向の動きの速度の範囲が2〜40mm/s程度である場合に2mm/s以下の速度の動きのことをいう。即ちこの場合閾値は2mm/sに設定するとよい。さらに言えば動きの速度の2mm/sに対応する輝点の移動量に設定する。例えば毎秒4回の画像取得を行っている場合には、輝点の移動量の閾値は、人物2の動きの量0.5mm(2mm/s÷4)に対応する輝点の移動量に設定する。
また呼吸測定装置1は、FGセンサ10で測定された動きの周波数が閾値以上である測定点は、前記演算手段による演算に使用しないように構成するとよい。本実施の形態では、動き測定装置14で測定された動きの周波数が閾値以上である測定点のデータを演算装置20へ出力しないように構成されている。周波数の閾値は、例えば人物の呼吸の周波数より高い周波数、例えば毎分60サイクル程度に設定するとよい。ところで、大人の呼吸数は、毎分5〜30サイクル程度の範囲にあるが、幼児の場合にはさらに呼吸数が多くなる傾向があるので、これを考慮して上記周波数の閾値を設定するとよい。これにより、呼吸の周波数より高い周波数の動きが測定された測定点を無視することができる。このようにすることで、呼吸の動きに関係ない動き例えばノイズによる影響を効果的に排除することができる。
図4に戻って、演算装置20について説明する。演算装置20は、呼吸測定装置1を制御する制御部21を備えている。さらに制御部21には、記憶部31が接続されている。記憶部31は、撮像装置12から取得した像を時系列的に記憶するようにするとよい。また記憶部31には算出された情報等のデータが記憶できる。
制御部21には、人物2の状態を示す情報を出力する情報出力手段としてのディスプレイ40が接続されている。ディスプレイ40は典型的にはLCDである。ディスプレイ40は、例えば後述の波形データ出力部24により出力される人物2の呼吸の波形パターンを表示することにより出力する。ディスプレイ40は、典型的には呼吸の波形パターンをリアルタイム表示する。リアルタイム表示するとは、例えば後述の波形データ出力部24により即時的に出力される人物2の呼吸の波形パターンを即時的に表示することである。
また制御部21には、呼吸測定装置1を操作するための情報を入力する入力装置35が接続されている。入力装置35は例えばタッチパネル、キーボードあるいはマウスである。本図では、入力装置35は、演算装置20に外付けするものとして図示されているが、内蔵されていてもよい。
さらに、制御部21内には、FGセンサ10により測定された複数の動きの位相が略同一である測定点の位置座標群の代表座標を計算する代表座標演算手段としての第1の代表座標演算部22と、動きの位相が異なる位置座標群が2以上あるときは前記2以上の代表座標間に対象領域を分割する領域分割線を形成する分割線形成手段としての第1の分割線形成部23と、この領域分割線によって分割された領域毎に測定点群のデータを統合して人物2の動きの波形を出力するデータ出力手段としての波形データ出力部24とが備えられている。言い換えれば、演算装置20は第1の代表座標演算部22と、第1の分割線形成部23と、波形データ出力部24とを有している。
なおここでは、FGセンサ10で測定される複数の測定点の内、動きの無かった測定点、即ち輝点の移動が無かった測定点は無視して(除外して)上記計算(例えば代表座標の計算)を行う。即ちここでいう全ての測定点とは動きのある(測定された)測定点全てのことをいう。
位相とは、動きの方向を含む概念であり、位相が略同一とは、単に動きの方向が一致していることを含む概念である。言い換えれば例えば動きの方向がおよそ上方向(上昇)、または下方向(下降)のことを含む概念である。さらにここでは、位相が略同一であるかの識別は、前述の動き測定装置14により各測定点で測定された動きが、上方向の動きであるか、又は下方向の動きであるかで識別する。即ち本実施の形態では、動きの位相は、上方向と下方向の2方向である。このように、ここでは動きの位相は上昇、下降の2方向であるので、以下位相が略同一であることを単に位相が同一という。また代表座標は撮像された画像内で設定されるものである。
また、対象領域を分割するとは、例えば複数の測定点の存在領域を分割することであり、ここではベッド3上に存在する人物2で撮像装置12により撮像された領域を分割することである。ここでは撮像装置12は主に人物2の胸部と腹部に投影された輝点を撮像しているので、対象領域を分割する領域分割線は人物2の胸部と腹部との境界線とも言い換えられる。領域分割線は典型的には異なる位相の代表座標同士を結ぶ直線の垂直2等分線である。
さらに、測定点群のデータを統合するとは、例えば領域分割線により分割された領域に存在する測定点の輝点の移動量の総和を演算することであり、また出力される動きの波形は前記総和を時間方向に並べて形成される波形パターンである。即ち出力される波形パターンは人物2の呼吸の波形パターンである。波形データ出力部24は、領域分割線により分割された領域毎に波形パターンを出力するので、例えば人物2の胸部と腹部の呼吸の波形パターンをそれぞれ出力することができる。
第1の代表座標演算部22は、代表座標が位置座標群を形成する各測定点の座標の平均値とする。以下この平均値を中心座標という。中心座標は次式で表される。

中心座標Xcenter={Σ(Xi)}÷n ・・・(1)

ここでnは位置座標群を形成する測定点の数である。Xiは各測定点の座標値である。2次元で計算するときには、例えばXiをx軸方向の座標値、Yiをy軸方向の座標値としてそれぞれ中心座標を計算する。
または、第1の代表座標演算部22は、代表座標が位置座標群を形成する各測定点の座標に、動きの量に関する量で重み付けを行った値の平均値としてもよい。以下この平均値を重心座標という。なお動きの量に関する量は、典型的には各測定点での輝点の移動量である。さらに重みは符号無しとする。即ち重心座標は、各測定点の座標に、輝点の移動量で重み付けを行った値の平均値である。重心座標は次式で表される。

重心座標Xcenter’={Σ(Xi×|ΔZi|)}÷Σ|ΔZi| ・・・(2)

ここでΔZiは各測定点での重み即ち輝点の移動量である。また|ΔZi|は各測定点での符号無し重み即ち輝点の移動量の絶対値である。
ここで図7を参照して、第1の代表座標演算部22による代表座標の算出と、第1の分割線形成部23による領域分割線の形成について具体的に説明する。図示では、説明のために、撮像された像と画角とその画角内での測定点の位置(動きのあった測定点のみ)、さらに人物2(図中破線で表示)を示しているが、実際には座標の数値だけで計算するようにするとよい。(a)に示すように、第1の代表座標演算部22は、まず動きの位相が同一である測定点の集合である位置座標群の代表座標を計算する。位置座標群は、例えば単純に動きの位相が同一即ち輝点の移動方向が同一の測定点の集合である。このようにすることで計算量が少なくて済む。図示では、代表座標は各測定点の座標の平均値即ち中心座標を計算した場合を示している。
なおここでは、動きの位相が異なる位置座標群が2以上ある場合で説明したが、動きの位相が異なる位置座標群が存在しない、即ち位相が同一である位置座標群のみ存在する場合には、例えば第1の代表座標演算部22により複数の測定点全ての位置座標群の代表座標を計算するようにし、第1の分割線形成部により、算出された代表座標を通り、適切な方向で対象領域を分割する直線を形成してこれを領域分割線とするとよい。適切な方向とは、典型的にはFGセンサ10の基線方向(図2参照)に垂直な方向である。これは基線方向がベッド3の中心線と平行であるため、ベッド3上の人物2の背骨方向がベッドの中心線と略平行であることを予め想定したものである。即ち人物2の背骨方向が基線方向と略平行と見ることができるためである。言い換えれば、適切な方向は、人物2の背骨方向に垂直な方向とする。即ちこの場合には領域分割線は背骨方向に垂直であるので、例えば人物2の胸部と腹部を正確に分割でき、好適である。またここでは、領域分割線は典型的には基線方向に垂直であり且つ代表座標を通る直線である。なお、例えば基線方向に略直交してベッドの中心線(ベッドの長手方向)、即ち人物2の背骨方向が配置される場合には、領域分割線は基線方向に平行な方向となる。この領域分割線は図11で後述するものと同様なものである。
また、位相が異なる2以上の位置座標群の測定点の数の差又は位置座標群の重みの合計の差が、閾値以上ならば領域分割線を形成しないようにしてもよい。例えば閾値が測定点の数の差を測定点の数の和で除した値を%で表した値である場合に、閾値は50〜80%程度とする。この場合は全てが同位相で動いているものと見ることができる。この場合も、上記と同様に複数の測定点全ての位置座標群の代表座標を計算し、この代表座標を通る領域分割線を形成してもよい。
第1の分割線形成部23は、(a)の例に示すように、動きの位相が異なる位置座標群が2つ存在した場合には、この2つの代表座標間を結ぶ直線の垂直2等分線を形成し、この垂直2等分線を領域分割線とする。図示では人物2のおよそ胸部と腹部で動きの位相が異なる代表座標が計算された場合を示しているので、領域分割線は人物2の腹部と胸部の間に形成されている。また異なる位相の代表座標同士を結ぶ直線は背骨方向と略平行であるとも言える。
なお(b)に示すように、形成される領域分割線は異なる位相の代表座標同士を結ぶ直線の垂直2等分線であるので、基線方向と平行とは限らない(斜めであってもよい)。即ち、ベッド上で就寝している人物2の背骨方向が基線方向に対して斜めであっても問題ない。
さらに、第1の分割線形成部23は、第1の代表座標演算部22により計算された代表座標に、代表座標に関する量で重み付けを行った値を計算し、計算された代表座標が少なくとも2つあり、2つの代表座標を結ぶ直線を、代表座標に関する量で重み付けを行った値で内分する点で2つの代表座標を結ぶ直線と交差するように領域分割線を形成するように構成するとよい。代表座標に関する量は、典型的には代表座標の計算に用いた位置座標群を形成する各測定点での動きの量即ち輝点の移動量の総和であるが、位置座標群を形成する測定点の数、又は平均値あってもよい。さらにその他位置座標群を形成する各測定点での中心値(median)、ピーク値(位置座標群内での動きの量の最大値)等であってもよい。以下、代表座標に関する量は、位置座標群を形成する各測定点での輝点の移動量の総和である場合で説明する。なお、中心値やピーク値は、上記以外例えば代表座標や動きの量に関する量としても採用することができる。
例えば図8に示すように、輝点の移動量の総和で重み付けを行った値で内分する点は、2つの代表座標を結ぶ直線を各代表座標に対応する符号付きの重みの比で内分する点である(図中点A)。言い換えれば内分する点は、各代表座標の位置に2つの代表座標を結ぶ直線に対して垂直方向に符号付きで重みの量を示した時の座標である各代表座標に対応する重み付き座標G1、G2を結ぶ直線と2つの代表座標を結ぶ直線の交点である点Aとなる。即ち第1の分割線形成部23は、点Aを通り、2つの代表座標を結ぶ直線に垂直な直線を領域分割線とする。なお、この領域分割線は例えば点Aを通る基線方向に垂直な直線としてもよい。このようにすることで、人物2の動きの量が反映された領域分割線を形成できる。
なおこの領域分割線の位置が、例えば上昇、下降を無視した全ての測定点(動きのある)の中心座標と極端に異なる場合には、全ての測定点の中心座標を領域分割線の通る位置として採用してもよい。また、異なる位相の領域でのそれぞれの重みが極端に異なる場合には、重みが大きい方の代表座標(中心座標又は重心座標)、又は全ての測定点の代表座標を領域分割線の通る位置とするとよい。これは全ての測定点が同位相で動いていると見ることができるからである。また、1つの代表座標が対象領域の端に寄っている場合には、対象領域の端でない方の代表座標、又は全ての測定点の代表座標を領域分割線の通る位置とするとよい。
さらに第1の代表座標演算部22は、複数の測定点の位置座標の一次元方向の座標のみを用いて代表座標の計算を行い、第1の分割線形成部23は、一次元方向に垂直な領域分割線を形成するようにしてもよい。一次元方向は、例えばFGセンサ10の基線方向や人物2の背骨方向言い換えれば胸部の中心と腹部の中心を結ぶ直線方向、又は左右の肺の中心を結ぶ直線に垂直な方向である。なお例えば本実施の形態のように、人物2の背骨方向と基線方向がおよそ一致している場合には(図2参照)、一次元方向は基線方向とする。第1の代表座標演算部22は、基線方向即ちy軸の座標(図6参照)のみを用いて代表座標を計算する。そしてこの場合第1の分割線形成部23は、基線方向に垂直な領域分割線を形成するこのようにすると、演算装置20による演算量を軽くできるので処理の高速化が図れる。
また、第1の分割線形成部23は、領域分割線の形成を過去に形成した領域分割線の位置に基づいて行うようにしてもよい。具体的には領域分割線を形成する際に、現在と過去数回の領域分割線の位置の平均値を採用するとよい。これはFGセンサ10による動きの測定毎に領域分割線を決定すると、例えばノイズ等により(手の動き等とは限らない)、領域分割線が揺らぐことがある。そこで、過去の領域分割線の位置の平均値で領域分割線の位置を決定することにより、ノイズ等の影響を除去することができる。即ちこの場合には領域分割線の位置が安定し、例えばノイズや人物2の手の動き等による急激な領域分割線の移動を防ぐことができる。このため、例えば後述の波形データ出力部24による領域毎、言い換えれば人物2の胸部と腹部のそれぞれ呼吸の波形パターンの出力を安定して行える。
波形データ出力部24は、領域分割線により分割された各領域に存在する測定点の輝点の移動量の総和を演算し、この総和を時間方向に並べて形成される人物2の呼吸の波形パターンを出力するものである。領域分割線により分割された領域毎、言い換えれば人物2の胸部と腹部でそれぞれ呼吸の波形パターンを出力できるので、例えば胸部と腹部で動きの位相が異なる場合であっても、それぞれ波形パターンが出力されるので正確に人物2の状態を把握することができる。また、波形データ出力部24は、典型的には人物2の状態を示す情報としての人物2の呼吸の波形データをリアルタイム出力するように構成されている。リアルタイムに出力するとは、例えば撮像装置12により撮像された像毎に演算される代表座標、領域分割線に対応する輝点の移動量の総和を即時的に出力することである。さらに言えばこの場合には、この総和をリアルタイムに出力することで、波形データ出力部24は、時間方向に並べて形成される人物2の呼吸の波形パターンを出力することになる。
さらにここでは波形データ出力部24は、複数の測定点全て即ち動きがある測定点全ての輝点の移動量の総和を演算し、この総和を時間方向に並べて形成される人物2の呼吸の波形パターンを出力するものでもある。また波形データ出力部24は、領域分割線により分割された領域毎でそれぞれ出力される呼吸の波形パターンを統合した波形パターンを出力するものであってもよい。以下これらのように出力された波形パターンを全体の呼吸の波形パターンという。
さらに、制御部21内には、波形データ出力部24により出力される波形に基づいて、人物2の呼吸の状態を判定する呼吸判定手段としての呼吸判定部25が備えられている。言い換えれば、演算装置20は呼吸判定部25を有している。呼吸判定部25は、人物2の呼吸の状態が少なくとも無呼吸であることを判定するものである。本実施の形態では、呼吸判定部25は人物2の呼吸の状態として正常呼吸、無呼吸を判定するように構成されている。さらに呼吸判定部25は、人物2の呼吸の状態が無呼吸と判定した場合には、その無呼吸が閉塞性無呼吸と中枢性無呼吸との両方又はいずれか一方であるかを判定するように構成されている。閉塞性無呼吸、中枢性無呼吸とは後述する睡眠時無呼吸症候群での人物2の無呼吸の状態のことである。
ここで、睡眠時無呼吸症候群について説明する。睡眠時無呼吸症候群(SAS:Sleep Apnea Syndrome)とは睡眠中に頻繁に呼吸が止まる疾患のことであり、一晩(7時間)の睡眠中に10秒以上の無呼吸が30回以上、または睡眠1時間あたりの無呼吸が5回以上のものと定義されている。睡眠時無呼吸症候群による無呼吸の状態としては大きく分けて3つの状態に分類される。
まず第1に、閉塞性無呼吸は、胸腹壁は呼吸運動を行っているが、上気道の閉塞により鼻腔口腔気流が停止している状態、即ち無呼吸発作中も呼吸努力が認められるものである。なお、睡眠時無呼吸症候群患者のほとんどは、閉塞性の無呼吸が支配的であると言われている。
第2に、中枢性無呼吸は、気流とともに胸腹壁運動つまり呼吸運動そのものが停止するものである。
図9に、閉塞性無呼吸と中枢性無呼吸の呼吸パターンの例を示す。
第3に、混合性無呼吸は、閉塞性無呼吸と中枢性無呼吸との両方の状態が混在するものであり、閉塞性無呼吸の亜種である。例えば図示のように、中枢性無呼吸で始まり、その後閉塞性無呼吸に移行するタイプの無呼吸である。ここでは呼吸判定部25は、上記3つの無呼吸の状態を判定することができる。即ち混合性無呼吸も判定する。
睡眠時の無呼吸において、閉塞性無呼吸の発生が支配的である場合に、閉塞性睡眠時無呼吸症候群(OSAS:Obstructive Sleep Apnea Syndrome)と呼び、中枢性無呼吸の発生が支配的である場合に、中枢性睡眠時無呼吸症候群(CSAS:Central Sleep Apnea Syndrome)と呼ぶ。なお、閉塞性睡眠時無呼吸症候群の患者は、脳血管障害、不整脈、呼吸不全、高血圧といった合併症を有している場合が多く、中枢性睡眠時無呼吸症候群の患者は、質性脳障害や循環器疾患を有している場合が多いという特徴もある。
図示するように、閉塞性無呼吸は、喉が詰まる状態となっており、呼吸努力を行うが気流が流れない。そのため、腹部が上がれば胸部が下がるというように、腹部と胸部で動きの位相がほぼ反転する((b)、(c)参照)。なおこの現象は、中枢性無呼吸では見られない。そこで、領域分割線により、腹部領域と胸部領域を区別し、各領域に分割して呼吸の検出を行うようにすることが有効となる。これは、閉塞性無呼吸が発生した時、胸部と腹部の両方を1つの測定領域とすると、胸部と腹部が逆の動きをするため、検出した人物2の波形パターンがそれぞれを打ち消し合い、変動がほぼ0として検出されてしまうためである((a)参照)。
呼吸判定部25は、波形データ出力部24より出力される領域毎即ち人物2の胸部と腹部のそれぞれの呼吸の波形パターン及び全体の呼吸の波形パターンと、胸部と腹部の位相の状態とに基づいて、閉塞性無呼吸と中枢性無呼吸と混合性無呼吸のいずれかの状態であるかを判定する。例えば全体の呼吸の波形パターンの振幅が小さければ無呼吸、さらに胸部と腹部の波形パターンの振幅も小さい場合には中枢性無呼吸と判定する。より具体的には全体の呼吸の波形パターンの振幅よりも、胸部と腹部の波形パターンの振幅の方が小さい場合に中枢性無呼吸と判定する。また、全体の呼吸の波形パターンの振幅が小さいのに、胸部と腹部とのいずれか一方の波形パターンの振幅が大きい場合、又は胸部と腹部の位相が反転している場合には閉塞性無呼吸と判定する。さらに、所定の期間に中枢性無呼吸と閉塞性無呼吸とが連続して起こっていれば混合性無呼吸と判定する。
さらにここでは呼吸判定部25は人物2の呼吸の状態として低呼吸(呼吸が少ない状態)も判定するとよい。これは睡眠時無呼吸症候群には、呼吸がほとんど無い無呼吸の他に、呼吸はあるが正常呼吸と比べて大幅に呼吸が少ない低呼吸という状態もあるためである。即ち低呼吸も無呼吸と同様に閉塞性、中枢性、混合性の状態に分類できる。このため無呼吸と低呼吸を区別して判定したい場合には、呼吸判定部25は低呼吸と無呼吸の状態のそれぞれについて、閉塞性と中枢性との両方又はいずれか一方であるかを判定するようにするとよい。さらに呼吸判定部25は、低呼吸についても閉塞性と中枢性を判定するだけでなく混合性も判定する。
以上のように第1の実施の形態である呼吸測定装置1は、対象領域に存在する人物2の高さ方向の動きを複数の測定点で測定するFGセンサ10と、FGセンサ10で測定された複数の動きに基づいて、人物2の状態を示す情報を演算する演算装置20とを備えているので、例えば人物2の状態を示す情報を演算結果を参照することで把握できる。さらに演算装置20は、測定された複数の動きの位相が同一である測定点の位置座標群の代表座標を計算する第1の代表座標演算部22と、動きの位相が異なる位置座標群が2以上あるときは2以上の代表座標間に対象領域を分割する領域分割線を形成する第1の分割線形成部23と、形成された領域分割線によって分割された領域毎に測定点群のデータを統合して動きの波形を出力する波形データ出力部24とを有していることにより、例えば領域分割線により対象領域を分割することで、人物2の胸部と腹部の各領域を区別でき、波形データ出力部24により領域毎に測定点群のデータを統合して動きの波形を出力できるので、人物2の状態を正確に把握できる。
さらに、FGセンサ10は、対象領域にパターン光を投影する投影装置11と、パターン光が投影された対象領域を撮像する撮像装置12と、撮像装置12で撮像された像上のパターンの移動を測定する動き測定装置14とを含んで構成される。さらに動き測定装置14は、測定されたパターンの移動に基づいて、人物2の高さ方向の動きを複数の点で測定するように構成されることにより、測定を非接触で行えるので、測定される人物2への負担が少ない。またパターンを形成する各輝点の移動を測定することにより、例えば人物2の小さな動きであっても正確に測定できるので、人物2の呼吸による高さ方向の動きを正確に測定できる。
また、呼吸測定装置1は、ディスプレイ40により、波形データ出力部24により出力される領域分割線によって分割された領域毎の人物2の呼吸の波形パターンをリアルタイムに表示するので、例えば人物2の身体の部位毎に動き特に人物2の胸部と腹部の呼吸による動きの状態が容易に把握できる。これは例えば医師の診断の参考になる。
図10のブロック図を参照して、本発明による第2の実施の形態である状態解析装置としての呼吸測定装置1aについて説明する。呼吸測定装置1aは、基本的に第1の実施の形態で説明した呼吸測定装置1と共通であるが、第1の代表座標演算部22の代わりに第2の代表座標演算部22aを、第1の分割線形成部23の代わりに第2の分割線形成部23aを備える点で異なる。ここではFGセンサ10や演算装置20の共通する構成の説明についてはなるべく省略する。
演算装置20の制御部21内には、FGセンサ10により測定された複数の測定点全ての位置座標群の代表座標を計算する代表座標演算手段としての第2の代表座標演算部22aと、第2の代表座標演算部22aにより算出された代表座標を通り、適切な方向で対象領域を分割する領域分割線を形成する分割線形成手段としての第2の分割線形成部23aとが備えられている。言い換えれば、演算装置20は第2の代表座標演算部22aと、第2の分割線形成部23aとを有している。なお第1の実施の形態と同様に、FGセンサ10で測定される複数の測定点の内、動きの無かった測定点、即ち輝点の移動が無かった測定点は無視して代表座標の計算を行う。
適切な方向とは、典型的にはFGセンサ10の基線方向(図2参照)に垂直な方向である。これはベッド3上の人物2の背骨方向がベッドの中心線と略平行な場合を予め想定したものである。言い換えれば、適切な方向は、人物2の背骨方向に垂直な方向としてもよい。即ちこの場合には領域分割線は背骨方向に垂直であるので、例えば人物2の胸部と腹部を正確に分割でき、好適である。またここでは、領域分割線は典型的には基線方向に垂直であり且つ代表座標を通る直線である。なお、例えば基線方向に略直交してベッドの中心線(ベッドの長手方向)、即ち人物2の背骨方向が配置される場合には、領域分割線は基線方向に平行な方向となる。
また第2の代表座標演算部22aは、第1の代表座標演算部22と同様に、代表座標が位置座標群を形成する各測定点の座標の平均値即ち中心座標とする。さらに同様に第2の代表座標演算部22aは、代表座標が位置座標群を形成する各測定点の座標に、動きの量に関する量で重み付けを行った値の平均値即ち重心座標としてもよい。動きの量に関する量は、典型的には各測定点での輝点の移動量である。即ち重心座標は、各測定点の座標に、輝点の移動量で重み付けを行った値の平均値である。さらにここでは重みは符号無し即ち動きの方向を無視して重心座標を計算するとよい。符号無しの重心座標は前述の式(2)で表される。
ここで図11を参照して、第2の代表座標演算部22aによる代表座標の算出と、第2の分割線形成部23aによる領域分割線の形成について具体的に説明する。図示では、説明のために、撮像された像と画角とその画角内での測定点の位置(動きのあった測定点のみ)、さらに人物2(図中破線で表示)を示しているが、実際には座標の数値だけで計算するようにするとよい。第2の代表座標演算部22aは、まずFGセンサ10により測定された複数の測定点全ての位置座標群を形成する。位置座標群は、動きの位相の方向に拘らず形成する。第2の代表座標演算部22aは、このように形成した位置座標群の代表座標を計算する。図示では、代表座標は全ての測定点の座標の平均値即ち中心座標を計算した場合を示している。第2の分割線形成部23aは、計算された代表座標を通り、FGセンサ10の基線方向に垂直な直線を形成し、この直線を領域分割線とする。図示では人物2のおよそ胸部と腹部に動きのある測定点が一様に存在する場合を示しているので、領域分割線は人物2の腹部と胸部の間に形成されている。
さらに第1の実施の形態と同様に、第2の代表座標演算部22aは、複数の測定点の位置座標の一次元方向の座標のみを用いて代表座標の計算を行い、第1の分割線形成部23は、一次元方向に垂直な領域分割線を形成するようにしてもよい。このようにすると、演算装置20による演算量を軽くできるので処理の高速化が図れる。
また第2の分割線形成部23aは、第1の分割線形成部23と同様に、領域分割線の形成を過去に形成した領域分割線の位置に基づいて行うようにしてもよい。
以上のように第2の実施の形態である呼吸測定装置1aは、対象領域に存在する人物2の高さ方向の動きを複数の測定点で測定するFGセンサ10と、FGセンサ10により測定された複数の動きに基づいて、人物2の状態を示す情報を演算する演算装置20とを備えているので、例えば人物2の状態を示す情報を演算結果を参照することで把握できる。さらに演算装置20は、複数の測定点全ての位置座標群の代表座標を計算する第2の代表座標演算部22aと、第2の代表座標演算部22aで算出された代表座標を通り、適切な方向で対象領域を分割する領域分割線を形成する第2の分割線形成部23aと、領域分割線によって分割された領域毎に測定点群のデータを統合して動きの波形を出力する波形データ出力部24とを有していることにより、例えば領域分割線により対象領域を分割することで、人物2の胸部と腹部の各領域を区別でき、波形データ出力部24により領域毎に測定点群のデータを統合して動きの波形を出力できるので、人物2の状態を正確に把握できる。
また呼吸測定装置1aは、第2の代表座標演算部22aで算出された代表座標を通り、適切な方向即ちFGセンサ10の基線方向で対象領域を分割する領域分割線を形成するので、比較的単純な処理でありながら、正確に人物2の胸部と腹部の呼吸の波形パターンを得られる。またこれは、例えば人物2の呼吸が腹部と胸部で動きの位相が反転していない場合言い換えれば正常な呼吸の場合の人物2の状態の把握に有効である。
さらに図12のブロック図を参照して、本発明による第3の実施の形態である状態解析装置としての呼吸測定装置1bについて説明する。呼吸測定装置1bは、基本的に第1の実施の形態で説明した呼吸測定装置1と共通であるが、第1の代表座標演算部22と第1の分割線形成部23を備えておらず、代わりに移動ベクトル積分部26と、第3の分割線形成部23bを備える点で異なる。ここではFGセンサ10や演算装置20の共通する構成の説明についてはなるべく省略する。
演算装置20の制御部21内には、所定の方向に垂直な方向に各測定点での移動ベクトルを積分した積分値を演算し、該積分値を前記所定の方向に並べて積分波形を形成する移動ベクトル積分手段としての移動ベクトル積分部26と、形成された積分波形の微分値の正負が変化した地点を通るように領域分割線を形成する分割線形成手段としての第3の分割線形成部23bとが備えられている。言い換えれば、演算装置20は移動ベクトル積分部26と、第3の分割線形成部23bとを有している。なお第1の実施の形態と同様に、FGセンサ10で測定される複数の測定点の内、動きの無かった測定点、即ち輝点の移動が無かった測定点は無視して代表座標の計算を行う。
ここで移動ベクトルは(動きの量(輝点の移動量),方向(±))で示されるベクトルである。所定の方向は、FGセンサ10の基線方向である。またここでは、領域分割線は典型的には基線方向に垂直であり且つ積分波形の微分値の正負が変化した地点を通る直線である。これはベッド3上の人物2の背骨方向がベッドの中心線と略平行な場合を予め想定したものである。
さらに図13を参照して、移動ベクトル積分部26による積分波形を形成と、第3の分割線形成部23bによる領域分割線の形成について具体的に説明する。図示では、説明のために、撮像された像と画角とその画角内での測定点の位置(動きのあった測定点のみ)、さらに人物2(図中破線で表示)を示しているが、実際には座標の数値だけで計算するようにするとよい。さらに移動ベクトルの積分波形は測定点列(輝点列)の間を補間した波形を示しているが、実際には輝点列間隔でプロットされた点が形成する波形でよい。また、(a)では胸部と腹部で動きの位相が反転している場合を示している。また図示では、測定点がきれいに図中縦方向に並んでいる場合を示しているが、多少のずれがあっても同一測定点列と見なして演算を行ってもよい。この場合、例えば所定の幅に入っている測定点を同一測定点列と見なすようにする。所定の幅は、例えば測定点列の間隔程度、さらに言えば測定点列の中心線を挟んで両脇にそれぞれ測定点列の間隔の半分程度の幅とするとよい。
(a)に示すように、移動ベクトル積分部26は、まず対象領域即ち画角の端部にある測定点列(ここでは図中左側)の各測定点での移動ベクトルを積分した積分値を演算する。そして演算された積分値を当測定点列の積分値として、縦軸を積分値、横軸を基線方向の位置とした座標軸にプロットする。そして隣の測定点列も同様に移動ベクトルを積分した積分値を演算する。ここで前に演算した測定点列の積分値と当測定点列の積分値の和を演算し、この和を当測定点列の積分値としてプロットする。これを最終測定点列(図中右側)まで繰り返す。このようにして移動ベクトル積分部26は積分波形を形成する。そして第3の分割線形成部23bは、基線方向に垂直であり且つ形成された積分波形の微分値の正負が変化した地点を通る直線を形成し、この直線を領域分割線とする。図示では人物2のおよそ胸部と腹部で動きの位相が異なる測定点が存在する場合を示しているので、領域分割線は人物2の腹部と胸部の間に形成されている。なお積分波形の微分値の正負が変化した地点とは、(b)に示すような積分波形の微分値曲線の例のように、正負が入れ替わる点である。また言い換えれば積分波形の変曲点である。なお(a)の積分波形の例は人物2の胸部で上昇、腹部で下降の動きがある場合を示している。
なお、(c)に示すように、例えば胸部、腹部共に上昇の動きの場合には、積分波形は増加するのみであり(図中実線で表示)、また胸部、腹部共に下降の動きの場合には、積分波形は増加するのみである(図中破線で表示)。
なお実際には、例えば積分波形の微分極性変化後(正負が変化後)に続けて変化後の極性になっている場合のみ領域分割線を形成したり、積分波形にローパス処理を施したりするとよい。
また第3の分割線形成部23bは、第1の分割線形成部23と同様に、領域分割線の形成を過去に形成した領域分割線の位置に基づいて行うようにしてもよい。
以上のように第3の実施の形態である呼吸測定装置1bは、対象領域に存在する人物2の高さ方向の動きを複数の測定点で測定するFGセンサ10、FGセンサ10で測定された複数の動きに基づいて、人物2の状態を示す情報を演算する演算装置20とを備えているので、例えば人物2の状態を示す情報を演算結果を参照することで把握できる。演算装置20は、所定の方向に垂直な方向に各測定点での移動ベクトルを積分した積分値を演算し、この積分値を前記所定の方向に並べて積分波形を形成する移動ベクトル積分部26と、形成された積分波形の微分値の正負が変化した地点を通るように領域分割線を形成する第3の分割線形成部23bとを有することで、人物2の胸部と腹部の各領域の人物2の動きを区別できるので、人物2の状態を正確に把握できる。
また呼吸測定装置1bは、移動ベクトル積分部26により、所定の方向即ちFGセンサ10の基線方向に垂直な方向に各測定点での移動ベクトルを積分した積分値を演算し、この積分値を基線方向に並べて積分波形を形成するので、例えば各測定点で測定される人物2の動きの量と方向が反映された積分波形が形成できる。さらに第3の分割線形成部23bにより、形成された積分波形の微分値の正負が変化した地点を通るように領域分割線を形成するので、比較的単純な処理でありながら、正確に人物2の胸部と腹部の呼吸の波形パターンを得られる。
また呼吸測定装置1bは、第2の代表座標演算部22aで算出された代表座標を通り、適切な方向即ちFGセンサ10の基線方向で対象領域を分割する領域分割線を形成するので、比較的単純な処理でありながら、正確に人物2の胸部と腹部の呼吸の波形パターンを得られる。またこれは、例えば人物2の呼吸が腹部と胸部で動きの位相が反転している場合であっても人物2の状態を正確に把握できるので有効である。
なお以上の第1の実施の形態、第2の実施の形態及び第3の実施の形態では、ベッド3上に投影するパターンを複数の輝点とした場合で説明したが、図14に示すように、輝線としてもよい。即ち光切断法を用いて人物2の高さ方向の動きを測定するようにしてもよい。この場合には、投影手段には、ベッド3上にパターン光としての輝線を投影するように構成された投影装置111を用いる。投影する輝線の数は、典型的には複数であるが、1本であってもよい。以下、輝線は複数の場合で説明する。複数の輝線111bは、等間隔に複数本投影される。複数本の輝線111bは、パターン111aを形成する。また、輝線111bの方向と三角法の基線方向は、ほぼ垂直である。言い換えれば、輝線111bの方向はベッド3の長手方向の中心線と垂直方向である。なおここでは基線方向は、ベッド3の長手方向の中心線、言い換えれば人物2の背骨方向と平行である場合で説明するが、例えばベッド3の長手方向の中心線と直交する方向としてもよい。この場合であっても人物2の動きの測定には支障ない。
なお輝線の場合には、例えば図15に示すように、図6で説明した輝点の場合と同様に、撮像素子15の結像面15’に結像した輝線の像は、高さのある物体により、δだけy軸方向に移動することになる。さらに同様に、このδを測定することにより、物体上の点の位置が三次元的に特定できる。なお、δの測定は、輝線の像の中心線の位置で測定するようにする。さらに輝線の場合には、測定点が、輝線の像の位置にある撮像素子15の画素1つに対応する。
以上のように、パターン光を複数本の輝線とし、輝線の移動を測定することで、パターン光を複数の輝点とした場合に比べて、輝線上の任意の点の移動を測定でき、輝線方向の連続的形状が認識できる。言い換えれば、輝線方向の測定の分解能を向上することができる。
ところで、以上の説明では、図6の説明の際に上述したように、呼吸測定装置1、1a、1bは、呼吸の動きに関係ない動き、例えば、ノイズによる影響を効果的に排除するために、FGセンサ10で測定された動きの量が閾値以下である測定点は、演算装置20による演算に使用しないように構成するものとして説明した。
しかしながら、測定された動きの量が閾値以下の動き、すなわち、ノイズレベルと同等な動きであっても、呼吸の動きに関係する動きが存在する場合がある。閾値を用いて、ノイズを排除すると、当該ノイズレベルと同等な動きであって呼吸の動きに関係する動きをも排除してしまうことがある。当該ノイズレベルと同等な動きであって呼吸の動きに関係する動きをも排除してしまうことで、領域分割線がずれてしまい、また、呼吸の動きに関係する動きに関する出力が相対的に小さくなり、波形データ等の精度も相対的に低下することがある。
一方、ノイズを含んだまま、位置座標群の代表座標を計算し、領域分割線を形成すると、ノイズの影響により、例えば、呼吸の動きに関係する動きの測定点が、測定点群全体の中で一定の範囲にあるにも拘わらず、位置座標群の代表座標はずれてしまい、結果として領域分割線もずれてしまう。このような現象は、例えば、呼吸の動きに関係する動きの測定点が、測定点群全体の中の偏った位置に存在する場合に現れる可能性がある。この場合、分割される各領域は、動きの位相が異なる測定点、すなわち、輝点の移動方向が異なる測定点を多く含む蓋然性が高くなり、各領域は所望の部位(すなわち、腹部、胸部)の動きを正確に反映していないことになる。よって、各領域に対応して出力される波形パターンは、呼吸の動きに関係する動きを各所望の領域に対応するように分離する効果が減殺されたパターンとなる。
そこで、以下では、ノイズによる影響を効果的に排除しながら、呼吸の動きに関係する動きに関する出力が相対的に小さくならず、これにより、領域分割線がずれず、領域分割線によって分割される各領域に対応して出力される波形パターンが、呼吸の動きに関係する動きを各所望の領域に対応するように分離する効果が減殺されないパターンとなる呼吸測定装置について説明する。
図16は、本発明の第4の実施の形態に係る状態解析装置としての呼吸測定装置1cの構成例を示すブロック図である。呼吸測定装置1cは、第1の代表座標演算部22、第1の分割線形成部23、波形データ出力部24、呼吸判定部25等を備えている点では、基本的に第1の実施の形態で説明した呼吸測定装置1と略同様な構成である。
ただし、呼吸測定装置1cは、演算装置20がさらに、複数の測定点を複数の部分領域(図17参照)に区分し、該部分領域毎に複数の高さ方向の動きを平均化する部分領域平均化手段としての部分領域平均化部27を有し、第1の代表座標演算部22は、平均化された値を、位置座標群の代表座標の計算の対象となる複数の測定点の動きとして用いる点で、第1の実施の形態で説明した呼吸測定装置1と異なる。以下の説明では、FGセンサ10や演算装置20等、第1の実施の形態と共通する構成については、重複した説明はできるだけ省略する(以下の実施の形態の説明でも同様とする)。
部分領域平均化部27は、複数の測定点の輝点を複数の所定の部分領域(図17参照)に区分するように構成される。さらに、部分領域平均化部27は、所定の部分領域内の輝点移動量(あるいは高さ変動量)の総和を算出、または、輝点移動量の総和を部分領域内の輝点の数で除して1つの輝点移動量の平均を算出し、該部分領域毎に複数の高さ方向の動き、すなわち、輝点移動量を平均化するように構成される。なお、部分領域平均化部27は、輝点移動量から求めた高さ変動量の総和を算出して上限変動量の平均化をしてもよい。また、本実施の形態では、輝点移動量の総和を算出し、輝点移動量を平均化した場合で説明する。なお、高さ変動量は、図5の距離hと基線長dが既知(または一定)と仮定すれば、輝点移動量から求めることができる。
実際に動いていない部分領域(図17参照)内の各測定点のノイズによる動きは、大きさ、方向がまちまちであり、すなわち、輝点の移動方向がランダムであるため、当該移動方向が異なるノイズ同士が互いに相殺され、ノイズの動きは、統計的に低減される(ノイズがガウス分布をしていれば、部分領域に含まれる輝点のデータ数Nに対して、ノイズは1/√Nになる)。これに対して、実際に動いている部分領域内の呼吸の動きに関係する動きの測定点の近傍の測定点は、動きの位相が同一、すなわち、輝点の移動方向が同一であるので、呼吸の動きに関係する動きに関する出力は低減されない。
部分領域平均化部27は、各部分領域(図17参照)内で平均化された輝点の測定点の座標を、各部分領域内の平均化される前の輝点の測定点に対して、縦、横の部分領域幅のそれぞれ中心、又は、中央の輝点の座標とするか、あるいは、上述した(1)式、あるいは(2)式を用いて算出する(以下特に断りのない限り、部分領域内の平均化された輝点の測定点の座標と輝点移動量の総和を「部分領域内の輝点の平均値」という)。第1の代表座標演算部22は、平均化された輝点を二次的な輝点として、すなわち、各部分領域で平均化された値(部分領域内の輝点の平均値)を位置座標群の代表座標の計算の対象となる複数の測定点の動きとして用い、第1の分割線形成部23は、当該代表座標に基づいて領域分割線を形成する。
以上のように構成することで、呼吸測定装置1cは、ノイズによる影響を効果的に排除しながら、呼吸の動きに関係する動きに関する出力が相対的に小さくならなず、さらに、領域分割線が本来あるべき位置からずれず、領域分割線によって分割される各領域に対応して出力される波形パターンは、呼吸の動きに関係する動きを各所望の領域に対応するように分離する効果が減殺されないパターンとなる。
図17は、本発明の第4の実施の形態に係る呼吸測定装置1cの部分領域平均化部27による部分領域の区分の具体例について説明する模式的平面図であり、(a)は第1の具体例、(b)は第2の具体例、(c)は第3の具体例である。なおここでは、説明のために、対象領域を平面102とし、対象物(人物2等)の図示は省略する。
図17(a)に示す第1の具体例では、部分領域平均化部27は、複数の部分領域として、平面102上の測定点を各測定点毎に区分し、区分された該部分領域には前記測定点の周辺の所定範囲の他の測定点を含めて平均化するように構成される。ここでは、およそ3×3=9点の測定点を含むように区分した例を図示している。
部分領域平均化部27は、各輝点毎に、各輝点を中心に平面102全体の画素数、輝点間隔等に基づいて適切に設定した範囲の部分領域、例えば20×20pixel程度の範囲の部分領域を設定し、当該部分領域内で輝点を検索する。部分領域平均化部27は、各部分領域毎に部分領域内に含まれる全ての輝点に基づいて、部分領域内の輝点の平均値を算出する。この場合、当該部分領域の平均化された輝点の座標は、中心となる輝点の座標を用いると良い。第1の代表座標演算部22は、部分領域毎に算出された複数の部分領域内の輝点の平均値を、位置座標群の代表座標の計算の対象となる複数の測定点の動きとして用いる。
このように、各輝点毎に、部分領域を区分し、部分領域内の輝点の平均値を算出すると、以下で説明する他の具体例と比較して、平均化された二次的な輝点の密度は低くならないという有利な効果がある。
なお、部分領域平均化部27は、画素数等に基づいて各輝点毎の部分領域の範囲を区分せずに、平均化する輝点の近傍の輝点、例えば、平均化する輝点に近い輝点を順に検索し、各輝点毎の部分領域の範囲を、平均化する輝点に近い8輝点乃至24輝点を含む範囲として区分するように構成してもよい。
図17(b)に示す第2の具体例では、部分領域平均化部27は、複数の部分領域を、当該部分領域同士が重複しないように、平面102上の複数の測定点を区分して、輝点移動量を平均化するように構成される。また、典型的には、部分領域平均化部27は、平面102を均等に区分するように構成される。
第2の具体例の部分領域平均化部27は、各輝点毎に部分領域を区分していた第1の具体例とは異なり、対象領域である平面102全体を略均等に、例えば20×20pixel程度、あるいは40×40pixel程度の部分領域に、部分領域同士が重複しないように区分し、当該部分領域内で輝点を検索する。部分領域平均化部27は、各部分領域毎に部分領域内に含まれる全ての輝点に基づいて、部分領域内の輝点の平均値を算出する。この場合、当該部分領域の平均化された輝点の座標は、各部分領域の縦、横の幅のそれぞれ中心を用いると良い。第1の代表座標演算部22は、部分領域毎に算出された複数の部分領域内の輝点の平均値を、位置座標群の代表座標の計算の対象となる複数の測定点の動きとして用いる。すなわち、複数の元の測定点を含む1つの部分領域を、計算対象となる1つの測定点として用いる。
このように、部分領域を各部分領域が重複しないように区分し、各部分領域内の輝点の平均値を算出すると、第1の具体例と比較して、平均化された二次的な輝点の密度は低くなるが、その分計算量が小さくなるという有利な効果がある。なお、部分領域の境界に、輝点が係っていた場合には、当該輝点は、当該輝点の重心が位置する側の部分領域に含むようにするとよい。
図17(c)に示す第3の具体例では、部分領域平均化部27は、複数の部分領域を一定方向に略短冊状に区分して、輝点移動量を平均化するように構成される。一定方向とは、典型的には、領域分割線で領域を分割したい方向、例えば、胸部の中心と腹部の中心を結ぶ直線方向、又は左右の肺の中心を結ぶ直線に垂直な方向である。言い換えれば、FGセンサ10(図2参照)の基線方向や人物2(図2参照)の背骨方向である。これはベッド3(図2参照)上の人物2(図2参照)の背骨方向がベッドの中心線と略平行な場合を予め想定したものである。したがって、略短冊状である部分領域の長辺は、領域分割線と略平行となり、短辺は、基線と略平行となる。以下、一定方向は基線方向であるものとして説明する。
第3の具体例の部分領域平均化部27は、一定方向(基線方向)にのみ、対象領域である平面102全体を区分する点で第2の具体例とは異なる。部分領域平均化部27は、典型的には各部分領域同士が重複しないように、対象領域である平面102全体を、一定方向(基線方向)に、例えば、20pixel程度の一定の幅の短冊状に区切って部分領域を形成する。部分領域平均化部27は、当該各部分領域内で輝点を検索し、各部分領域毎に部分領域内に含まれる全ての輝点に基づいて、部分領域内の輝点の平均値を算出する。第1の代表座標演算部22は、部分領域毎に算出された複数の部分領域内の輝点の平均値を、位置座標群の代表座標の計算の対象となる複数の測定点の動きとして用いる。なお、略短冊状の部分領域を短辺方向に重複させて、同じ短冊幅で多くの部分領域を形成することも可能である。
このように、複数の部分領域を一定方向(基線方向)に略短冊状に区分すると、部分領域の面積を稼ぎやすくなり、部分領域に多数の輝点が含まれることにより、ランダムノイズを低減する効果が高くなる(ノイズレベルは1/√Nになる。)。さらに、領域分割線で領域を分割したい方向が予め決まっている場合には、第1の代表座標演算部22は、一定方向(基線方向)、すなわち、y軸の座標(図6参照)のみを用いて代表座標を計算し、第1の分割線形成部23は、一定方向(基線方向)に垂直な領域分割線を形成すればよいわけであるから、部分領域平均化部27が算出する部分領域内の輝点の平均値も、y軸の座標(図6参照)のみを用いて計算すれば足り、演算装置20による演算量を軽くできるので処理の高速化が図れる。
以上のように、複数の部分領域内の輝点の平均値を用いて位置座標群の代表座標の計算を行い、当該代表座標領域分割線により対象領域を分割することで、例えば、人物2の胸部と腹部の各領域をより正確に区別でき、波形データ出力部24により領域毎に測定点群のデータを統合して動きの波形を出力できるので、人物2の状態をより正確に把握できる。
図18は、本発明の第5の実施の形態に係る状態解析装置としての呼吸測定装置1dの構成例を示すブロック図である。呼吸測定装置1dは、第4の実施の形態で説明した呼吸測定装置1cと略同様な構成であるが、演算装置20が、部分領域平均化部27によって平均化された複数の動きに基づいて、第1の代表座標演算部22による位置座標群の代表座標の計算に用いる部分領域である有効部分領域(図19参照)を抽出する有効部分領域抽出手段としての有効部分領域抽出部28を有している点で第4の実施の形態とは異なる。
図19は、本発明の第5の実施の形態に係る呼吸測定装置1dの有効部分領域抽出部28による有効部分領域の抽出の具体例について説明する模式的平面図である。なおここでは、図17と同様に、説明のために対象領域を平面102とし、対象物(人物2等)の図示は省略する。さらに、以下の説明は、図17(c)で第3の具体例として示した、部分領域平均化部27が、複数の部分領域を一定方向(基線方向)に略短冊状に区分し、平均化する場合で説明するが、第1、第2の具体例の場合でもよいことはいうまでもない。
有効部分領域抽出部28は、典型的には、各部分領域内の輝点の平均値と閾値に基づいて有効部分領域を抽出する。
ところで、例えば、人物2(図2参照)が呼吸運動を行っているときは、各輝点移動量の総和の信号(呼吸信号)の波形パターンは、呼吸の動きに応じた変動をしている。本実施の形態の各部分領域でも、呼吸の動きをしている部位(呼吸の動きに関する動きの輝点)を含む部分領域の波形パターンは、同様に呼吸の動きに応じた変動をしている。一方、呼吸の動きをしていない部分領域では、ノイズによるものだけなので、平均化することでノイズ成分が低減し、波形パターンの変動は小さくなる。言い換えれば、波形パターンの変動が小さい部分領域は、ノイズの部分領域であるということができる。
例えば、呼吸が1分間に15回行われているとすれば、1回の呼吸は4秒だから、参照像(すなわち、前回の取得像)とその次の取得像の取得間隔が0.25秒(すなわち、4フレーム/秒でサンプリング)であれば、16フレームのサンプリングの内に、出力のピークとボトムを含むことになる。呼吸がそれより遅くなることを考慮しても、正常呼吸の最低数は10回/秒程度なので、24フレーム(6秒)から40フレーム(10秒)程度取得すれば、確実にその中で呼吸による波形パターンの変動が行われることになる(ただし、この間が無呼吸の期間になってしまうと正確な変動が捉えられないことになるので、全体の波形パターンの変動が一定値よりも大きいことを確認する必要がある。)。
そこで、この期間、例えば、24フレームから40フレームでの、部分領域内の平均化された輝点の移動量の総和の信号(呼吸信号)の波形パターンの振れ幅(波形のピーク値とボトム値との差)に対して、一定の閾値を設定すれば、有効部分領域を抽出することができる。なお、本実施の形態では、部分領域内に平均化された輝点は1つだけなので、実際には、部分領域内の平均化された輝点の移動量の総和は、平均化された輝点移動量そのものである。なお、理想的にはサンプリング間隔(参照像と取得像の取得間隔)は、呼吸の検出の場合、前述の1/5から1/2、すなわち、1/20秒(0.05秒)から1/8秒(0.125秒)程度が望ましい。この場合も、波形パターンの振れ幅を評価する期間に関する考え方は同様であり、6秒から10秒程度確保すればよい。
なお、波形パターンは、それぞれノイズを含み、必ずしも滑らかな波形にらないことがあるので、当該ノイズを低減する意味で、数回(例えば4回)のサンプリングの移動平均をとって波形パターンとしても良い。
有効部分領域抽出部28は、各部分領域内での、過去数フレームの波形パターンの振れ幅が、設定された閾値を上回っている部分領域を有効部分領域と判定して、抽出する。閾値は、最も単純には、予め予想されるノイズレベルから決めておけばよい。また、全ての部分領域(輝点がなかったり、一部分にしか輝点がない部分領域を除く)の中から、部分領域内の平均化された輝点の移動量の総和の最大値と最小値を検出し、当該最大値と最小値の間の一定割合、典型的には、最小値に近い値で閾値を設定してもよい。
また、波形パターンに対する閾値は、ピーク値やボトム値に対して設定してもよい。また、有効部分領域抽出部28は、各々の部分領域に対して有効部分領域であるか否かの判定を行わず、まず、全ての部分領域の中から、部分領域内の平均化された輝点の移動量の総和が最大値である部分領域を有効部分領域として抽出し、その周囲の部分領域で部分領域内の平均化された輝点の移動量の総和が、はじめて閾値を下回る部分領域までの連続した領域のみを有効部分領域として抽出してもよい。これは、呼吸の動きをしている有効部分領域は、典型的には、例えば胸部を中心とする領域や、腹部を中心とする領域で連続していると推定できるからである。
第1の代表座標演算部22は、有効部分領域抽出部28によって抽出された有効部分領域で、有効部分領域内の輝点の平均値を用いて位置座標群の代表座標の計算を行い、第1の分割線形成部23は、当該代表座標に基づいて領域分割線を形成する。
以上のように、部分領域から抽出された有効部分領域内で、有効部分領域内の輝点の平均値を用いて位置座標群の代表座標の計算を行い、当該代表座標に基づいて領域分割線を形成すると、極めて効果的にノイズを低減することができ、例えば、人物2の胸部と腹部の各領域を極めて正確に区別でき、波形データ出力部24により領域毎に測定点群のデータを統合して動きの波形を出力できるので、人物2の状態を極めて正確に把握できる。また、第1の代表座標演算部22による位置座標群の代表座標計算は、有効部分領域以外の部分領域の測定点を用いず、有効部分領域内の輝点の平均値を用いるので、計算量も軽くでき、処理の高速化が図れる。
また、本図で示した図示例は、図17(c)で第3の具体例として示した、部分領域平均化部27が、複数の部分領域を一定方向(基線方向)に略短冊状に区分し、平均化する場合で説明した。この場合、上述したように、領域分割線で領域を分割したい方向が予め決まっている場合には、第1の代表座標演算部22は、一定方向(基線方向)、すなわち、y軸の座標(図6参照)のみを用いて代表座標を計算し、第1の分割線形成部23は、一定方向(基線方向)に垂直な領域分割線を形成すればよいわけであるから、部分領域平均化部27が算出する部分領域内の輝点の平均値も、y軸の座標(図6参照)のみを用いて計算すれば足り、有効部分領域抽出部28もy軸の座標(図6参照)のみを用いて有効部分領域を抽出できるので演算装置20による演算量を軽くできるので処理の高速化が図れる。
なお、有効部分領域の抽出は、大きな体動(姿勢変換)の後に行うようにすると良い。その場合、大きな体動がある程度収まってから有効部分領域を抽出した方がよい。ここで抽出された有効部分領域は、次に大きな体動が起こるまで、または、次の大きな体動の後に新しい有効部分領域が抽出されるまで保持する。なお、大きな体動は、輝点の移動量について絶対値の総和、あるいは二乗して総和を取ることにより、呼吸以外の体動運動に関する波形、すなわち、体動波形を得て、例えば、体動波形の振幅に対して1つ閾値を設けて、閾値を越えた場合、あるいは、閾値を連続的に越えている時間を計測することにより判定することができる。
また、データ出力部24(図18参照)での、領域分割線によって分割された領域毎の測定点群のデータの統合は、分割線の一方と他方で、有効部分領域内の測定点のみで行ってもよいし、有効部分領域でない部分領域の測定点を含めて行ってもよい。
また、本発明の第5の実施の形態に係る呼吸測定装置1dの第1の変形例として、演算装置20は、複数の測定点を複数の部分領域に区分し、該部分領域毎に前記複数の動きを平均化する部分領域平均化部27と、平均化された値に基づいて、代表座標の計算に用いる有効部分領域を抽出する有効部分領域抽出部28とを有し、第1の代表座標演算部22は、有効部分領域内の動きの測定された測定点について、代表座標を計算するように構成することができる。すなわち、有効部分領域抽出部28による有効部分領域の抽出には、平均化された値、すなわち、各部分領域内の輝点の平均値を用いるが、有効部分領域内での第1の代表座標演算部22による代表座標計算には、平均化されていない値、すなわち、そのままの輝点移動量を用いる構成としてもよい。このように構成しても、第1の分割線形成部23による分割線の形成は適切に行うことができ、例えば、人物2の胸部と腹部の各領域を充分正確に区別でき、波形データ出力部24により領域毎に測定点群のデータを統合して動きの波形を出力できるので、人物2の状態を充分正確に把握できる。また、第1の代表座標演算部22によって計算される代表座標は、x軸、y軸の座標(図6参照)の2次元の座標として求まるので、領域分割線は、例えば、基線に対して傾きを有して形成することが可能である。
また、図19で図示例とともに説明した本発明の第5の実施の形態に係る呼吸測定装置1dでは、領域分割線で領域を分割したい方向が予め決まっている場合には、第1の代表座標演算部22、部分領域平均化部27、有効部分領域抽出部28は、y軸の座標(図6参照)のみを用いて代表座標の計算、部分領域内の輝点の平均化、有効部分領域の抽出を行えばよいので処理の高速化が図れると説明した。
しかしながら、領域分割線で領域を分割したい方向が予め決まっていない場合でも、部分領域平均化部27は、一定方向(基線方向)に略短冊状に区分した複数の部分領域とは別に、さらに一定方向(基線方向)に対して垂直な方向に、略短冊状に複数の第2の部分領域を区分すれば、処理の高速化を測ることができる。以下、本発明の第5の実施の形態に係る呼吸測定装置1dの第2の変形例として説明する。
図20は、本発明の第5の実施の形態に係る呼吸測定装置1dの第2の変形例を説明する図である。本変形例では、部分領域平均化部27は、図20(a)に示すように、複数の第1の部分領域を一定方向(基線方向)に略短冊状に区分して、輝点移動量を平均化するように構成される。第1の部分領域は、図17(c)で上述したとおり、略短冊状である領域の短辺は、基線と略平行となる。
本変形例では、部分領域平均化部27は、さらに図20(b)に示すように、第1の部分領域とは別に、複数の第2の部分領域を一定方向(基線方向)に対して垂直な方向に略短冊状に区分して、輝点移動量を平均化するように構成される。すなわち、第2の部分領域は、略短冊状である領域の短辺は、基線と略垂直となる。部分領域平均化部27は、典型的には、第1の部分領域と対応させて、対象領域である平面102全体を、一定方向(基線方向)に対して垂直な方向に、例えば、20pixel程度の幅の短冊状に区切って第2の部分領域を形成する。
有効部分領域抽出部28は、部分領域平均化部27により各第1の部分領域毎に前記複数の動きを平均化した値、すなわち各第1の部分領域内の輝点の平均値に基づいて、第1の部分領域から代表座標の計算に用いる第1の有効部分領域を抽出するように構成される。有効部分領域抽出部28は、さらに、各第2の部分領域内の輝点の平均値に基づいて、第2の部分領域から代表座標の計算に用いる第2の有効部分領域を抽出するように構成される。
第1の代表座標演算部22は、図20(c)に示すように、第1の有効部分領域と第2の有効部分領域とで重複する有効部分領域内の動きの測定された測定点について、代表座標を計算するように構成される。ここでも第1の変形例と同様に、有効部分領域抽出部28による第1、第2の有効部分領域、重複した有効部分領域の抽出には、各部分領域内の輝点の平均値を用いるが、重複した有効部分領域内での第1の代表座標演算部22による代表座標計算には、平均化されていない値、すなわち、そのままの輝点移動量を用いる。
このように構成すると、重複する有効部分領域を抽出する際には、部分領域平均化部27が算出する各第1の部分領域内の輝点の平均値は、y軸の座標(図6参照)のみを用いて計算し、有効部分領域抽出部28もy軸の座標(図6参照)のみを用いて第1の有効部分領域を抽出すれば足りる。同様に、部分領域平均化部27が算出する各第2の部分領域内の輝点の平均値は、x軸の座標(図6参照)のみを用いて計算し、有効部分領域抽出部28もx軸の座標(図6参照)のみを用いて第2の有効部分領域を抽出すれば足りる。よって、2方向(基線方向と基線に対して垂直な方向)に細分化された部分領域から有効部分領域を抽出する場合と比較して計算上の効率は良くなる。さらに、第1の代表座標演算部22によって計算される代表座標は、x軸、y軸の座標の2次元の座標として求まるので、有効部分領域が、測定点群全体の中でx軸方向、y軸方向ともに偏った位置に存在していても対応でき、また、領域分割線は、例えば、基線に対して傾き有して形成することが可能である。
また、第4、第5の実施の形態に係る呼吸測定装置1c、1dでは、部分領域平均化部27によって平均化された値、すなわち、各部分領域内の輝点の平均値を、代表座標の計算に用いるだけでなく、データ出力手段24(図16、図18参照)による領域分割線によって分割された領域毎の測定点群のデータとして用いてもよい。言い換えれば、データ出力手段24は、平均化された値、すなわち、各部分領域内の輝点の平均値を、領域分割線によって分割された領域毎の測定点群の統合されるデータとして用いることができる。このように構成されると、ノイズを効果的に排除しながらも、呼吸の動きに関係する動きに関する出力が相対的に小さくならず、統合されるデータ、すなわち、各波形データ等の精度も低下することがない。
なお、図8で説明した2つの代表座標同士を結ぶ直線上の領域分割線による分割位置は、位相が上昇方向である代表座標と位相が下降方向である代表座標との重みの合計が近い値の場合、例えば、各代表座標に対応する符号付きの重みの比が2:1以下である場合は、重みによる内分点=(Xcenter_up’×Σ|ΔZidown|+Xcenter_down’×Σ|ΔZiup|)÷(Σ|ΔZidown|+Σ|ΔZiup|)としてもよい。Xcenter_up’は位相が上昇方向である代表座標の重心座標、Xcenter_down’は位相が下降方向である代表座標の重心座標、|ΔZiup|は位相が上昇方向である各測定点での符号無し重みすなわち輝点の移動量の絶対値、|ΔZidown|は位相が下降方向である各測定点での符号無し重みすなわち輝点の移動量の絶対値である。
各代表座標に対応する符号付きの重みの比が2:1以上である場合は、分割位置は、位相を全て合わせた重心としてもよい。位相を全て合わせた重心は全ての輝点移動量に基づいて上述の(2)式を用いて算出してもよいし、(Xcenter_up’× Σ|ΔZiup|+Xcenter_down’× Σ|ΔZidown|)/(Σ|ΔZidown|+Σ|ΔZiup|)で求めても良い。ここで、重心としたのは、重みの合計が大きい方の重心をそのまま用いてもさほどの誤差は無いからである
なお、第4の実施の形態に係る呼吸測定装置1cは、第1の実施の形態に係る呼吸測定装置1に、さらに、部分領域平均化部27を備える、第5の実施の形態に係る呼吸測定装置1dは、第1の実施の形態に係る呼吸測定装置1に、さらに、部分領域平均化部27と有効部分領域抽出部28とを備える構成として説明したが、第2、第3の実施の形態に係る呼吸測定装置1a、1bに、さらに、部分領域平均化部27あるいはを部分領域平均化部27と有効部分領域抽出部28とを備える構成であってもよいことはいうまでもない。
本発明の第1の実施の形態である呼吸測定装置の概略を示す模式的外観図である。 本発明の第1の実施の形態である三次元センサにFGセンサを用いた場合の呼吸測定装置の概略を示す模式的外観図である。 本発明の第1の実施の形態である投影装置を説明する模式的斜視図である。 本発明の第1の実施の形態である呼吸測定装置の構成例を示すブロック図である。 本発明の第1の実施の形態での輝点の移動の概念について説明する概念的斜視図である。 図5の場合での結像面に結像した輝点について説明する模式図である。 本発明の第1の実施の形態である第1の代表座標演算部による代表座標の算出と、第1の分割線形成部による領域分割線の形成の具体例について説明する模式的平面図である。 本発明の第1の実施の形態に係る代表座標に関する量で重み付けを行った値で内分する点について説明する線図である。 本発明の第1の実施の形態に係る睡眠時無呼吸症候群の呼吸の波形パターンについて示した線図である。 本発明の第2の実施の形態である呼吸測定装置の構成例を示すブロック図である。 本発明の第2の実施の形態である第2の代表座標演算部による代表座標の算出と、第2の分割線形成部による領域分割線の形成の具体例について説明する模式的平面図である。 本発明の第3の実施の形態である呼吸測定装置の構成例を示すブロック図である。 本発明の第3の実施の形態である移動ベクトル積分部による積分波形を形成と、第3の分割線形成部による領域分割線の形成の具体例について説明する模式的平面図である。 本発明の実施の形態である投影装置により投影するパターン光に複数の輝線を用いた場合の呼吸測定装置の概略を示す模式的外観図である。 図14の場合での結像面に結像した輝線について説明する模式図である。 本発明の第4の実施の形態に係る呼吸測定装置の構成例を示すブロック図である。 本発明の第4の実施の形態に係る呼吸測定装置の部分領域平均化部による部分領域の区分の具体例について説明する模式的平面図であり、(a)は第1の具体例、(b)は第2の具体例、(c)は第3の具体例である。 本発明の第5の実施の形態に係る呼吸測定装置の構成例を示すブロック図である。 本発明の第5の実施の形態に係る呼吸測定装置の有効部分領域抽出部による有効部分領域の抽出の具体例について説明する模式的平面図である。 本発明の第5の実施の形態に係る呼吸測定装置の変形例を説明する図である。
符号の説明
1、1a、1b 呼吸測定装置
2 人物
3 ベッド
4 寝具
10 FGセンサ(三次元センサ)
11 投影装置
11a パターン
11b 輝点
12 撮像装置
14 測定装置
20 演算装置
21 制御部
22 第1の代表座標演算部
22a 第2の代表座標演算部
23 第1の分割線形成部
23a 第2の分割線形成部
23b 第3の分割線形成部
24 波形データ出力部
25 呼吸判定部
26 移動ベクトル積分部
27 部分領域平均化部
28 有効部分領域抽出部
40 ディスプレイ
102 平面
103 物体
105 光束発生部
120 グレーティング
121 光ファイバー
122 FG素子

Claims (21)

  1. 対象領域に存在する対象物の高さ方向の動きを複数の測定点で測定する三次元センサと;
    前記測定された複数の動きに基づいて、前記対象物の状態を示す情報を演算する演算手段とを備え;
    前記演算手段は、前記動きの測定された測定点について、前記複数の動きの位相が略同一である測定点の位置座標群の代表座標を計算する代表座標演算手段と、
    前記動きの位相が異なる位置座標群が2以上あるときは、前記代表座標演算手段により前記位置座標群毎に計算される代表座標間に前記対象領域を分割する領域分割線を形成する分割線形成手段と、
    前記領域分割線によって分割された領域毎に測定点群のデータを統合して前記動きの波形を出力するデータ出力手段とを有し;
    前記対象物は呼吸をするものである;
    呼吸解析装置
  2. 前記分割線形成手段は、前記代表座標演算手段により計算された代表座標に前記代表座標に関する量で重み付けを行った値を計算し、前記計算された代表座標が少なくとも2つあり、前記2つの代表座標を結ぶ直線を、前記計算された値で内分する点で前記結ぶ直線と交差するように前記領域分割線を形成するように構成された;
    請求項1に記載の呼吸解析装置
  3. 対象領域に存在する対象物の高さ方向の動きを複数の測定点で測定する三次元センサと;
    前記測定された複数の動きに基づいて、前記対象物の状態を示す情報を演算する演算手段とを備え;
    前記演算手段は、前記動きの測定された測定点について、前記複数の動きの位相が略同一である測定点の位置座標群の代表座標を計算する代表座標演算手段と、
    前記動きの位相が異なる位置座標群が2以上あるときは前記2以上の代表座標間に前記対象領域を分割する領域分割線を形成する分割線形成手段と、
    前記領域分割線によって分割された領域毎に測定点群のデータを統合して前記動きの波形を出力するデータ出力手段とを有し;
    前記分割線形成手段は、前記代表座標演算手段により計算された代表座標に前記代表座標に関する量で重み付けを行った値を計算し、前記計算された代表座標が少なくとも2つあり、前記2つの代表座標を結ぶ直線を、前記計算された値で内分する点で前記結ぶ直線と交差するように前記領域分割線を形成するように構成され;
    前記対象物は呼吸をするものである;
    呼吸解析装置
  4. 対象領域に存在する対象物の高さ方向の動きを複数の測定点で測定する三次元センサと;
    前記測定された複数の動きに基づいて、前記対象物の状態を示す情報を演算する演算手段とを備え;
    前記演算手段は、前記動きの測定された測定点について、前記複数の動きの位相が略同一である測定点の位置座標群の代表座標を計算する代表座標演算手段と、
    前記動きの位相が異なる位置座標群が2以上あるときは前記2以上の代表座標間に前記対象領域を分割する領域分割線を形成する分割線形成手段と、
    前記領域分割線によって分割された領域毎に測定点群のデータを統合して前記動きの波形を出力するデータ出力手段とを有し;
    前記位置座標群が1つであるときは、前記分割線形成手段は、前記算出された代表座標を通り前記対象領域を分割する領域分割線を形成し;
    前記対象物は呼吸をするものである;
    呼吸解析装置
  5. 対象領域に存在する対象物の高さ方向の動きを複数の測定点で測定する三次元センサと;
    前記測定された複数の動きに基づいて、前記対象物の状態を示す情報を演算する演算手段とを備え;
    前記演算手段は、前記動きの測定された測定点について、前記複数の測定点全ての位置座標群の代表座標を計算する代表座標演算手段と、
    前記算出された代表座標を通り前記対象領域を分割する領域分割線を形成する分割線形成手段と、
    前記領域分割線によって分割された領域毎に測定点群のデータを統合して前記動きの波形を出力するデータ出力手段とを有し;
    前記対象物は呼吸をするものである;
    呼吸解析装置
  6. 前記代表座標演算手段は、前記代表座標が前記位置座標群を形成する各測定点の座標の平均値であることを特徴とする;
    請求項1乃至請求項5のいずれか1項に記載の呼吸解析装置
  7. 前記代表座標演算手段は、前記代表座標が前記位置座標群を形成する各測定点の座標に、前記動きの量に関する量で重み付けを行った値の平均値であることを特徴とする;
    請求項1乃至請求項5のいずれか1項に記載の呼吸解析装置
  8. 前記代表座標演算手段は、前記複数の測定点の位置座標の一次元方向の座標のみを用いて代表座標の計算を行い;
    前記分割線形成手段は、前記一次元方向に垂直な領域分割線を形成することを特徴とする;
    請求項1乃至請求項7のいずれか1項に記載の呼吸解析装置
  9. 前記データ出力手段により出力される波形に基づいて、前記対象物の呼吸の状態を判定する呼吸判定手段を有する;
    請求項1乃至請求項8のいずれか1項に記載の呼吸解析装置
  10. 前記演算手段は、前記複数の測定点を複数の部分領域に区分し、該部分領域毎に前記複数の動きを平均化する部分領域平均化手段と、
    前記平均化された値に基づいて、前記代表座標の計算に用いる有効部分領域を抽出する有効部分領域抽出手段とを有し;
    前記代表座標演算手段は、前記有効部分領域内の前記動きの測定された測定点について、前記代表座標を計算する、
    請求項1乃至請求項9のいずれか1項に記載の呼吸解析装置
  11. 前記演算手段は、前記複数の測定点を複数の部分領域に区分し、該部分領域毎に前記複数の動きを平均化する部分領域平均化手段を有し;
    前記代表座標演算手段は、前記平均化された値を、前記代表座標計算の対象となる複数の測定点の動きとして用いる;
    請求項1乃至請求項9のいずれか1項に記載の呼吸解析装置
  12. 前記部分領域平均化手段は、前記複数の部分領域を、前記測定点毎に区分し、区分された該部分領域には前記測定点の周辺の所定範囲の他の測定点を含めて平均化する;
    請求項10又は請求項11に記載の呼吸解析装置
  13. 前記部分領域平均化手段は、前記複数の部分領域を、当該部分領域同士が重複しないように、前記複数の測定点を区分する;
    請求項10又は請求項11に記載の呼吸解析装置
  14. 前記部分領域平均化手段は、前記部分領域を一定方向に略短冊状に区分する;
    請求項10又は請求項11又は請求項13に記載の呼吸解析装置
  15. 前記演算手段は、前記平均化された複数の動きに基づいて、前記代表座標の計算に用いる有効部分領域を抽出する有効部分領域抽出手段を有する;
    請求項11乃至請求項14のいずれか1項に記載の呼吸解析装置
  16. 前記データ出力手段は、前記平均化された値を、前記統合されるデータとして用いる;
    請求項10乃至請求項15のいずれか1項に記載の呼吸解析装置
  17. 対象領域に存在する対象物の高さ方向の動きを複数の測定点で測定する三次元センサと;
    前記測定された複数の動きに基づいて、前記対象物の状態を示す情報を演算する演算手段とを備え;
    前記演算手段は、前記動きの測定された測定点について、所定の方向に垂直な方向に各測定点での移動ベクトルを積分した積分値を演算し、該積分値を前記所定の方向に並べて積分波形を形成する移動ベクトル積分手段と、
    前記積分波形の微分値の正負が変化した地点を通るように領域分割線を形成する分割線形成手段とを有し;
    前記対象物は呼吸をするものである;
    呼吸解析装置
  18. 前記領域分割線によって分割された領域毎に測定点群のデータを統合して前記動きの波形を出力するデータ出力手段と、
    前記データ出力手段により出力される波形に基づいて、前記対象物の呼吸の状態を判定する呼吸判定手段とを有する;
    請求項17に記載の呼吸解析装置
  19. 前記三次元センサは、対象領域にパターン光を投影する投影装置と;
    前記パターン光が投影された対象領域を撮像する撮像装置と;
    前記撮像された像上のパターンの移動を測定する測定手段とを有し;
    前記測定されたパターンの移動に基づいて、前記対象物の高さ方向の動きを複数の点で測定することを特徴とする;
    請求項1乃至請求項18のいずれか1項に記載の呼吸解析装置
  20. 前記三次元センサで測定された動きの量が閾値以下である測定点は、前記演算手段による演算に使用しないことを特徴とする;
    請求項1乃至請求項19のいずれか1項に記載の呼吸解析装置
  21. 前記三次元センサで測定された動きの周波数が閾値以上である測定点は、前記演算手段による演算に使用しないことを特徴とする;
    請求項1乃至請求項20のいずれか1項に記載の呼吸解析装置
JP2004203968A 2004-02-04 2004-07-09 呼吸解析装置 Expired - Lifetime JP3782815B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004203968A JP3782815B2 (ja) 2004-02-04 2004-07-09 呼吸解析装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004028637 2004-02-04
JP2004203968A JP3782815B2 (ja) 2004-02-04 2004-07-09 呼吸解析装置

Publications (2)

Publication Number Publication Date
JP2005246033A JP2005246033A (ja) 2005-09-15
JP3782815B2 true JP3782815B2 (ja) 2006-06-07

Family

ID=35027067

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004203968A Expired - Lifetime JP3782815B2 (ja) 2004-02-04 2004-07-09 呼吸解析装置

Country Status (1)

Country Link
JP (1) JP3782815B2 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4579870B2 (ja) * 2006-06-13 2010-11-10 日本電信電話株式会社 起き上がり予兆検知装置
JP5178393B2 (ja) * 2008-08-20 2013-04-10 シャープ株式会社 光学式測距センサおよび電子機器
JP5251419B2 (ja) * 2008-10-22 2013-07-31 日産自動車株式会社 距離計測装置および距離計測方法
JP5295391B2 (ja) * 2009-02-12 2013-09-18 ヴィジョン アールティー リミテッド 患者モニタおよび方法
CN102782447A (zh) * 2011-03-03 2012-11-14 三洋电机株式会社 物体检测装置及信息取得装置
JP2014102073A (ja) * 2011-03-10 2014-06-05 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
JP2014112033A (ja) * 2011-03-25 2014-06-19 Sanyo Electric Co Ltd 受光装置、物体検出装置および情報取得装置
JP2014132219A (ja) * 2011-04-20 2014-07-17 Sanyo Electric Co Ltd 情報取得装置および物体検出装置
WO2012147496A1 (ja) * 2011-04-25 2012-11-01 三洋電機株式会社 物体検出装置および情報取得装置
JP5214062B1 (ja) * 2011-04-28 2013-06-19 三洋電機株式会社 情報取得装置および物体検出装置
JP2014167387A (ja) * 2011-06-24 2014-09-11 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
WO2013015145A1 (ja) * 2011-07-22 2013-01-31 三洋電機株式会社 情報取得装置および物体検出装置
JP2014194341A (ja) * 2011-07-27 2014-10-09 Sanyo Electric Co Ltd 物体検出装置および情報取得装置
JP2014211306A (ja) * 2011-08-26 2014-11-13 三洋電機株式会社 物体検出装置および情報取得装置
JP2014211305A (ja) * 2011-08-26 2014-11-13 三洋電機株式会社 物体検出装置および情報取得装置
JP5982835B2 (ja) * 2012-01-27 2016-08-31 オムロンヘルスケア株式会社 検出装置、検出方法、および検出プログラム
JP6014846B2 (ja) * 2012-07-24 2016-10-26 公立大学法人広島市立大学 呼吸計測方法および装置
EP2772189A1 (en) * 2013-02-28 2014-09-03 Koninklijke Philips N.V. Apparatus and method for determining vital sign information from a subject
EP2967438A1 (en) * 2013-03-15 2016-01-20 Koninklijke Philips N.V. Apparatus and method for determining a respiration volume signal from image data
EP2983588A1 (en) * 2013-04-09 2016-02-17 Koninklijke Philips N.V. Apparatus and method for determining thorax and abdomen respiration signals from image data
JP6205556B2 (ja) 2014-06-03 2017-10-04 株式会社イデアクエスト 呼吸運動測定装置
JP6337677B2 (ja) * 2014-07-31 2018-06-06 アルプス電気株式会社 三次元測定装置
KR101653946B1 (ko) * 2016-07-28 2016-09-02 연세대학교 원주산학협력단 광류를 이용한 영상의 분석 장치
KR102062834B1 (ko) * 2017-04-18 2020-01-06 충북대학교 산학협력단 최대 흡기 시점 감지 모듈 및 방법
JP2021197028A (ja) * 2020-06-17 2021-12-27 セイコーエプソン株式会社 位置検出方法、プロジェクターの制御方法、位置検出装置およびプロジェクター
CN112914583B (zh) * 2021-02-25 2022-10-21 中国人民解放军陆军特色医学中心 一种非接触式确定心电图采集电极布置位置的方法
CN114034276B (zh) * 2021-11-03 2024-06-18 珠海格力智能装备有限公司 注塑机的塑化座的变形分析方法
US20230263424A1 (en) * 2022-02-23 2023-08-24 Apple Inc. System and Methods for Analyzing Respiratory Function Using Guided Breathing

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3103931B2 (ja) * 1997-02-19 2000-10-30 鐘紡株式会社 室内監視装置
JP3575979B2 (ja) * 1998-03-27 2004-10-13 株式会社東芝 被介護者観測装置及びその方法
WO2001082785A2 (en) * 2000-05-03 2001-11-08 Flock Stephen T An optical monitor for sudden infant death syndrome
JP3477166B2 (ja) * 2000-12-07 2003-12-10 学校法人慶應義塾 監視装置
JP4058286B2 (ja) * 2002-03-29 2008-03-05 住友大阪セメント株式会社 監視装置
JP2003225210A (ja) * 2002-02-06 2003-08-12 Sumitomo Osaka Cement Co Ltd 監視装置
JP3922694B2 (ja) * 2001-06-15 2007-05-30 住友大阪セメント株式会社 監視装置
JP4703049B2 (ja) * 2001-07-17 2011-06-15 住友大阪セメント株式会社 監視装置
JP4365548B2 (ja) * 2001-08-29 2009-11-18 住友大阪セメント株式会社 輝点アレイ発生装置及び監視装置
JP3939224B2 (ja) * 2002-08-30 2007-07-04 住友大阪セメント株式会社 領域監視装置
JP3979238B2 (ja) * 2002-09-05 2007-09-19 住友大阪セメント株式会社 空間内監視装置
JP4230287B2 (ja) * 2002-11-25 2009-02-25 住友大阪セメント株式会社 動き検出装置
JP4189229B2 (ja) * 2003-02-05 2008-12-03 住友大阪セメント株式会社 動き検出装置
JP3738291B2 (ja) * 2003-06-09 2006-01-25 住友大阪セメント株式会社 三次元形状測定装置
JP3764949B2 (ja) * 2003-06-09 2006-04-12 住友大阪セメント株式会社 状態解析装置
JP2005000388A (ja) * 2003-06-11 2005-01-06 Sumitomo Osaka Cement Co Ltd 状態推移表示方法及びモニタ装置
JP3710133B2 (ja) * 2003-12-04 2005-10-26 住友大阪セメント株式会社 状態解析装置及び状態解析方法

Also Published As

Publication number Publication date
JP2005246033A (ja) 2005-09-15

Similar Documents

Publication Publication Date Title
JP3782815B2 (ja) 呼吸解析装置
JP3764949B2 (ja) 状態解析装置
US7630537B2 (en) Three-dimensional shape-measuring device
JP5107519B2 (ja) 状態解析装置及びソフトウエアプログラム
Martinez et al. Breath rate monitoring during sleep using near-IR imagery and PCA
JP4895655B2 (ja) 嚥下機能評価装置
US10390739B2 (en) Analysis of breathing data
JP3710133B2 (ja) 状態解析装置及び状態解析方法
Rehouma et al. 3D imaging system for respiratory monitoring in pediatric intensive care environment
JP4588461B2 (ja) 状態解析装置及びソフトウエアプログラム
JP4422580B2 (ja) 動き検出装置
JP2005253608A (ja) 状態解析装置
JP2006149882A (ja) 状態解析装置及びソフトウエアプログラム
Takemura et al. A respiratory movement monitoring system using fiber-grating vision sensor for diagnosing sleep apnea syndrome
JP4365699B2 (ja) 状態解析装置
JP4372643B2 (ja) 動き検出装置
JP2005000388A (ja) 状態推移表示方法及びモニタ装置
JP2004093376A (ja) 高さ計測装置及び監視装置
JP4411361B2 (ja) 状態推移モニタ装置及び状態推移表示方法
Nijholt Contactless respiration monitoring using a 3D camera system
GB2547357A (en) Analysis of breathing data
CN117906632A (zh) 目标动作的检测方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050713

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20050715

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20050819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060310

R150 Certificate of patent or registration of utility model

Ref document number: 3782815

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090317

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100317

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110317

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120317

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130317

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140317

Year of fee payment: 8

S201 Request for registration of exclusive licence

Free format text: JAPANESE INTERMEDIATE CODE: R314201

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S303 Written request for registration of pledge or change of pledge

Free format text: JAPANESE INTERMEDIATE CODE: R316303

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250