JP3928463B2 - 睡眠時体動検出装置 - Google Patents
睡眠時体動検出装置 Download PDFInfo
- Publication number
- JP3928463B2 JP3928463B2 JP2002110467A JP2002110467A JP3928463B2 JP 3928463 B2 JP3928463 B2 JP 3928463B2 JP 2002110467 A JP2002110467 A JP 2002110467A JP 2002110467 A JP2002110467 A JP 2002110467A JP 3928463 B2 JP3928463 B2 JP 3928463B2
- Authority
- JP
- Japan
- Prior art keywords
- sleep
- body motion
- image
- frames
- center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、睡眠時の寝返りおよびミオクローヌスなどの体動を検出する睡眠時体動検出装置に関するものである。
【０００２】
【従来の技術】
従来、非接触で人の睡眠状態を常時監視することができるものに、特開２０００−１８９３８９公報に記載された睡眠状態監視装置がある。この睡眠状態監視装置は、睡眠中の患者の上にモアレ縞の光学模様を形成し、その光学模様を撮像し、連続するフレーム間の光学模様の相関値を算出し、そして逐次算出した相関値から患者の睡眠状態を判定する構成になっている。
【０００３】
特開平１１−８６００２号公報には、局所領域画像を設定し、これに含まれるエッジを検出するとともにその明度分布を測定し、エッジにより分割された領域の面積が略等しく、各々が一様な明度を持つ場合に測定を開始して、局所領域画像中のエッジと明度に基づいて時間差分量を計算し、そしてその時間差分量に基づいて動きの状態を判断する画像処理装置などが記載されている。
【０００４】
特開平７−２８８８７５号公報には、焦電型または半導体型赤外線センサ（図５のＰＡ１参照）などの出力から人体またはその一部の形状や状況を判別し、その形態情報の時間変化から人体またはその一部の動作を認識判別する人体動作認識センサが記載されている。
【０００５】
これらのほか、図６に示すように、圧力センサＰＡ２を体の下に敷き詰めて体動を検出する場合もある。
【０００６】
【発明が解決しようとする課題】
ところで、従来、睡眠時におけるミオクローヌス（例えば手足のピクッとする運動）などの体動の有無判定は、専門家が睡眠中に撮影されたビデオの再生画像を見て睡眠時の状態を観察することにより行われていた。しかしながら、このようにビデオで長時間に亘って観測する方法では、専門家にかかる負担が大きく、また見落としの起こる可能性があった。
【０００７】
また、上記の睡眠状態監視装置および画像処理装置では、ミオクローヌスなどの体動を検出する場合、演算が複雑になるため、リアルタイムで体動検出結果を出しつつ睡眠中の画像を記録していくことは困難である。
【０００８】
さらに、焦電型または半導体型赤外線センサなどを用いる人体動作認識センサおよび圧力センサを用いる従来構成では、寝返りなどの比較的大きな体動を検出することはできるが、ミオクローヌスなどの短時間の体動を検出することができない。
【０００９】
本発明は、上記事情に鑑みてなされたものであり、寝返りなどのほか、ミオクローヌスなどの体動をリアルタイムで検出することができる睡眠時体動検出装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記課題を解決するための請求項１記載の発明の睡眠時体動検出装置は、睡眠時の体動の撮像を行うためのカメラまたはこのカメラの撮像によって得られた画像の記録データを再生する再生装置からの毎秒少なくとも２枚のフレームの各画像を、そのフレームを分割する予め決定された複数のエリアで複数の部分画像に区分する区分手段と、この区分手段によって区分された複数のエリアの各々における部分画像について、各画素の濃度値の中心座標を求める濃度中心割出手段と、この濃度中心割出手段によって求められた複数のエリアの各々についての中心座標が前記フレーム間で変化したとき、体動を検出する体動検出手段とを備えることを特徴とする。
【００１１】
請求項２記載の発明は、請求項１記載の睡眠時体動検出装置において、前記中心座標が前記フレーム間で変化したとき、その中心座標が変化した時刻、その中心座標の移動量、その中心座標の属するエリアの場所および数の情報を記憶する第１の記憶手段と、この第１の記憶手段に記憶された情報およびこの情報中のエリアの場所で前記中心座標の変化が持続する時間から、前記体動の種類および部位を判別する判別手段と、この判別手段で判別された体動の種類および部位の情報を分類した状態で記憶する第２の記憶手段とを備えることを特徴とする。
【００１２】
請求項３記載の発明は、請求項２記載の睡眠時体動検出装置において、前記体動検出手段は、前記中心座標が前記フレーム間で、前記複数のエリアの各々についての中心座標が前記フレーム間で変化するときの変化幅の値の統計値をもとに決定されるしきい値以上変化したとき、体動を検出することを特徴とする。
【００１３】
請求項４記載の発明は、請求項３記載の睡眠時体動検出装置において、前記統計値は、睡眠開始前に前記カメラの撮像によって得られる画像、または起床後に前記カメラもしくは前記再生装置からの画像から求められることを特徴とする。
【００１４】
請求項５記載の発明は、請求項２記載の睡眠時体動検出装置において、前記カメラと、前記再生装置とを備え、この再生装置は、前記カメラの撮像によって得られる各画像を前記記録データとして記録する記録手段と、この記録手段によって記録された記録データを元の画像に再生する再生手段とを備えることを特徴とする。
【００１５】
【発明の実施の形態】
図１は本発明に係る一実施形態の睡眠時体動検出装置の構成図、図２は同睡眠時体動検出装置に対して予め決定された複数のエリアの例を示す図である。
【００１６】
本実施形態の睡眠時体動検出装置は、睡眠時の寝返り、ミオクローヌス、手足の動きおよび離床などの体動を検出するとともにそれら体動の種類および部位を判別するものであり、図１に示すように、赤外線カメラ１と、演算装置２と、記録再生装置３と、表示装置４とを備えている。
【００１７】
赤外線カメラ１は、睡眠時の体動の撮像を行うためのものであり、睡眠時の体動を検出するべき人全体が撮像範囲内に収まるように設置された状態で、毎秒少なくとも２枚のフレーム（フィールドの場合は２フィールドで１フレーム）の画像を撮る。
【００１８】
ここで、毎秒少なくとも２枚のフレームについては、後述の演算装置２において毎秒４枚のフレームが利用されるので、毎秒４枚のフレームでもよいが、本実施形態では、睡眠時の画像を録画して後で再生することにより、睡眠時の状態を確認することができるようにするため、例えば毎秒３０（２９．９７）枚のフレームの画像を撮るようになっている。また、毎秒少なくとも２枚のフレームの画像の映像信号は、アナログまたはデジタルで後段の演算装置２に出力され、アナログの場合には、演算装置２内でまたはその直前でＡ／Ｄ変換される。
【００１９】
演算装置２は、例えば、ＣＰＵ（中央処理装置）、主記憶装置、補助記憶装置（不揮発性半導体記憶装置およびハードディスク装置など）およびタイマなどを備え、所定のプログラムによって動作するコンピュータであり、本実施形態の特徴部として、区分部２１と、濃度中心割出部２２と、体動検出部２３と、記憶部２４と、判別部２５とを持つように構成される。
【００２０】
区分部２１は、上記コンピュータの処理機能部であり、赤外線カメラ１の撮像によって得られる毎秒少なくとも２枚の時間的に等間隔または略等間隔のフレームの各画像（デジタル画像）を、そのフレームを分割する予め決定された複数のエリアで複数の部分画像に区分する処理を実行する。
【００２１】
本実施形態では、略２５０ミリ秒毎に１枚のフレームの画像を複数の部分画像に区分するべく、赤外線カメラ１の撮像により得られる毎秒３０（２９．９７）枚のフレームの画像から４枚のフレームの画像を抽出しながら、毎秒４枚のフレームの各画像を、複数の部分画像に区分するように構成される。なお、睡眠時の状態を後で確認する必要がないとき、毎秒４枚のフレームの画像を撮るように赤外線カメラ１を構成することができるので、この場合には、赤外線カメラ１の撮像により得られる毎秒４枚のフレームの各画像を複数の部分画像に区分するように構成されることになる。
【００２２】
また、複数のエリアについては、図２の例に示すように、Ａ１１，Ａ１２，Ａ１３，Ａ２１，Ａ２２，Ａ２３，Ａ３１，Ａ３２，Ａ３３，Ａ４１，Ａ４２，Ａ４３の１２のエリアにフレームを分割するように設定される。
【００２３】
図１に示す濃度中心割出部２２は、上記コンピュータの処理機能部であり、区分部２１によって区分された複数のエリアの各々における部分画像について、各画素の濃度値の中心座標を求める処理を実行する。例えば、エリア内にｍ列×ｎ行個の画素が含まれ、これらの各画素が０〜２５５の範囲内の濃度値を有しているとすると、まず、第１列目におけるｎ行個の各濃度値の合計値が求められる。同様に、第２列目から第ｍ列目についても合計値が求められる。そして、これらｍ個の合計値の加重平均値が算出され、この加重平均値から列方向（水平方向）の中心座標が求められる。同様に、行方向（垂直方向）の中心座標についても、まず、第１行目におけるｍ列個の各濃度値の合計値が求められ、第２行目から第ｎ行目についても合計値が求められる。そして、これらｎ個の合計値の加重平均値が算出され、この加重平均値から行方向の中心座標が求められる。また、このようにして求められた各エリアの中心座標は、主記憶装置または補助記憶装置に記憶保持される。
【００２４】
体動検出部２３は、上記コンピュータの処理機能部であり、濃度中心割出部２２によって求められた複数のエリアの各々についての中心座標がフレーム間で所定のしきい値以上変化したとき、体動を検出する処理を行う。すなわち、濃度中心割出部２２によって新たに求められた複数のエリアの各々についての中心座標と、上記主記憶装置または補助記憶装置に記憶保持した複数のエリアの各々についての中心座標とを比較し、同一エリアについての中心座標が所定のしきい値以上変化したとき、そのエリアで体動があったことを検出する処理が実行されるのである。
【００２５】
ここで、所定のしきい値は、複数のエリアの各々についての中心座標がフレーム間で変化するときの変化幅の値の統計値をもとに決定され、その統計値は、睡眠開始前に赤外線カメラ１の撮像により得られる画像から求められる。例えば、予め寝具のみの画像を１分程度取り込み、その時の中心座標値の変化値（赤外線カメラ１−演算装置２系のノイズと考えられる）の平均や標準偏差などの統計値をもとに決定される。
【００２６】
記憶部２４は、上記コンピュータの主記憶装置および補助記憶装置の少なくとも一方であり、上記中心座標がフレーム間で変化したとき、コンピュータの制御に従って、その中心座標が変化した時刻、その中心座標の移動量、その中心座標の属するエリアの場所および数の情報を記憶するほか、後述の判別部２５で判別された体動の種類および部位の情報を分類した状態で記憶する。
【００２７】
判別部２５は、上記コンピュータの処理機能部であり、記憶部２４に記憶された情報およびこの情報中のエリアの場所で上記中心座標の変化が持続する時間から、睡眠時の寝返り、ミオクローヌス、手足の動きおよび離床などの体動の種類および部位を判別する処理を実行する。
【００２８】
記録再生装置３は、画像（動画）を記録再生するものであり、赤外線カメラ１の撮像によって得られる各画像を記録データとしてテープまたはディスク型の記録媒体に記録する記録機能と、その記録媒体に記録された記録データを元の画像に再生する再生機能とを有し、赤外線カメラ１の出力に直接または演算装置２を介して接続される。
【００２９】
表示装置４は、赤外線カメラ１または記録再生装置３からの画像を画面に表示するためのＣＲＴまたはＬＣＤなどである。
【００３０】
次に、本実施形態の睡眠時体動検出装置の動作について説明する。睡眠時の体動を検出するべき人全体が撮像範囲内に収まるように設置された状態で、赤外線カメラ１によって毎秒３０（２９．９７）枚の画像が撮像され、演算装置２に取り込まれるとともに、記録再生装置３によって記録媒体に録画される。
【００３１】
演算装置２において、毎秒３０（２９．９７）枚のフレームの画像のうち、毎秒４枚のフレームの各画像が複数のエリアで複数の部分画像に区分され、区分された複数のエリアの各々における部分画像について、各画素の濃度値の中心座標が求められる。続いて、複数のエリアの各々についての中心座標がフレーム間で所定のしきい値以上変化したとき、体動を検出する処理が実行され、このとき、その中心座標が変化した時刻、その中心座標の移動量、その中心座標の属するエリアの場所および数の情報が記憶部２４に記憶される。
【００３２】
この後、記憶部２４に記憶された情報およびこの情報中のエリアの場所で上記中心座標の変化が持続する時間（持続時間）から、睡眠時の寝返り、ミオクローヌス、手足の動きなどの体動の種類および部位を判別する処理が実行される。ここで、持続時間が数秒間に亘り、変化した中心座標の属するエリアの数が複数である場合、寝返りの体動があったとして処理される。持続時間が０．５秒以下である場合、ミオクローヌスの体動があったとして処理される。さらに、持続時間に関係なく、中心座標が変化すればその変化したエリアの場所で手足の動きがあったとして処理される。
【００３３】
そして、このようにして判別された体動の種類および部位の情報は、分類された状態で記憶部２４に記憶される。ここで、判別された体動の種類および部位の情報は、例えばリスト形式で表示装置４の画面に表示される。そして、コンピュータのキーボードなどの入力装置（図示せず）を通じて所望の体動を見るための操作が行われると、該当する時刻の画像を再生する指令が記録再生装置３に出され、記録再生装置３によって、その所望の体動の画像が再生され、表示装置４の画面に表示される。これにより、後で体動を目で確認することができる。なお、これに限らず、表示装置４の画面に表示された体動の種類および部位の情報をもとに、マニュアルで該当する時刻の画像を再生するようにしてもよいことは言うまでもない。
【００３４】
以上、本実施形態によれば、毎秒少なくとも２枚のフレームの各画像を、そのフレームを分割する予め決定された複数のエリアで複数の部分画像に区分する区分部２１と、この区分部２１によって区分された複数のエリアの各々における部分画像について、各画素の濃度値の中心座標を求める濃度中心割出部２２と、この濃度中心割出部２２によって求められた複数のエリアの各々についての中心座標がフレーム間で変化したとき、体動を検出する体動検出部２３とを備えるので、図３および図４に示すように、寝返りなどのほか、０．５秒以下のミオクローヌスなどの体動をリアルタイムで検出することができる。ここで、図３は、目による判定（図では「視察判定」）と自動判定で体動を検出したエリア数を１分毎にプロットしたものである。図４は視察判定と自動判定で体動を検出した時刻の中心座標の移動量を１分毎にプロットしたものである。双方ともに視察判定で求められた体動をカバーできているのが分かる。
【００３５】
加えて、本実施形態では、毎秒４枚のフレームの各画像について処理を実行するので、０．５秒以下のミオクローヌスをより好適にリアルタイムで検出することができ、しかも単なる加重平均としきい値との比較という単純な演算ですむので、簡単に実現できる。
【００３６】
また、中心座標がフレーム間で所定のしきい値以上変化したとき、体動を検出するので、ノイズによる体動の誤検出を防止することができる。
【００３７】
さらに、記録再生装置３を備え、この記録再生装置３は、赤外線カメラ１の撮像によって得られる各画像を記録データとして記録する記録機能と、この記録機能によって記録された記録データを元の画像に再生する再生機能とを備えるので、後で体動を目で確認することができる。
【００３８】
なお、本実施形態では、所定のしきい値は、複数のエリアの各々についての中心座標がフレーム間で変化するときの変化幅の値の統計値をもとに決定され、その統計値は、睡眠開始前に赤外線カメラ１の撮像により得られる画像から求められる構成になっているが、これに限らず、起床後に決定される構成でもよい。例えば、睡眠時の体動を検出するべき人を常時監視する必要がある場合には、本実施形態のように睡眠開始前に統計値をもとにしきい値を決定する必要がある。これに対し、後で記録再生装置３の再生画像を利用して睡眠時の体動を検出してもよい場合には、起床後に赤外線カメラ１または記録再生装置３からの（睡眠開始前または起床後の）画像から、しきい値を決定することが許容される。
【００３９】
また、本実施形態では、区分部２１は、赤外線カメラ１の撮像によって得られる毎秒４枚のフレームの各画像を、そのフレームを分割する予め決定された複数のエリアで複数の部分画像に区分する処理を実行するように構成されるが、毎秒４枚に限らず、３枚でも５枚や６枚などでもよいことは言うまでもない。要するに、本発明の区分手段は、毎秒少なくとも２枚のフレームの各画像を、そのフレームを分割する予め決定された複数のエリアで複数の部分画像に区分するものであればよい。この構成でも、上述の如く、寝返りなどのほか、０．５秒以下のミオクローヌスなどの体動をリアルタイムで検出することができる。
【００４０】
【発明の効果】
以上のことから明らかなように、請求項１記載の発明は、睡眠時の体動の撮像を行うためのカメラまたはこのカメラの撮像によって得られた画像の記録データを再生する再生装置からの毎秒少なくとも２枚のフレームの各画像を、そのフレームを分割する予め決定された複数のエリアで複数の部分画像に区分する区分手段と、この区分手段によって区分された複数のエリアの各々における部分画像について、各画素の濃度値の中心座標を求める濃度中心割出手段と、この濃度中心割出手段によって求められた複数のエリアの各々についての中心座標が前記フレーム間で変化したとき、体動を検出する体動検出手段とを備えるので、寝返りなどのほか、０．５秒以下のミオクローヌスなどの体動をリアルタイムで検出することができる。また、専門家に頼らずに、ミオクローヌスなどの短時間の体動を検出することができる。
【００４１】
請求項２記載の発明は、請求項１記載の睡眠時体動検出装置において、前記中心座標が前記フレーム間で変化したとき、その中心座標が変化した時刻、その中心座標の移動量、その中心座標の属するエリアの場所および数の情報を記憶する第１の記憶手段と、この第１の記憶手段に記憶された情報およびこの情報中のエリアの場所で前記中心座標の変化が持続する時間から、前記体動の種類および部位を判別する判別手段と、この判別手段で判別された体動の種類および部位の情報を分類した状態で記憶する第２の記憶手段とを備えるので、ミオクローヌスなどの体動をリアルタイムで検出することができるほか、判別された体動の種類および部位の情報を取得することができる。
【００４２】
請求項３記載の発明は、請求項２記載の睡眠時体動検出装置において、前記体動検出手段は、前記中心座標が前記フレーム間で、前記複数のエリアの各々についての中心座標が前記フレーム間で変化するときの変化幅の値の統計値をもとに決定されるしきい値以上変化したとき、体動を検出するので、ノイズによる体動の誤検出を防止することができる。
【００４３】
請求項４記載の発明は、請求項３記載の睡眠時体動検出装置において、前記統計値は、睡眠開始前に前記カメラの撮像によって得られる画像、または起床後に前記カメラもしくは前記再生装置からの画像から求められるので、適応的に、ノイズによる体動の誤検出を防止することができる。
【００４４】
請求項５記載の発明は、請求項２記載の睡眠時体動検出装置において、前記カメラと、前記再生装置とを備え、この再生装置は、前記カメラの撮像によって得られる各画像を前記記録データとして記録する記録手段と、この記録手段によって記録された記録データを元の画像に再生する再生手段とを備えるので、後で所望の時刻の体動を目で確認することができる。
【図面の簡単な説明】
【図１】本発明に係る一実施形態の睡眠時体動検出装置の構成図である。
【図２】同睡眠時体動検出装置に対して予め決定された複数のエリアの例を示す図である。
【図３】目による判定と自動判定で体動を検出したエリア数を１分毎にプロットした図である。
【図４】目による判定と自動判定で体動を検出した時刻の中心座標の移動量を１分毎にプロットした図である。
【図５】従来の体動検出の様子を示す図である。
【図６】従来の体動検出の様子を示す図である。
【符号の説明】
１ 赤外線カメラ
２ 演算装置
２１ 区分部
２２ 濃度中心割出部
２３ 体動検出部
２４ 記憶部
２５ 判別部
３ 記録再生装置
４ 表示装置
【発明の属する技術分野】
本発明は、睡眠時の寝返りおよびミオクローヌスなどの体動を検出する睡眠時体動検出装置に関するものである。
【０００２】
【従来の技術】
従来、非接触で人の睡眠状態を常時監視することができるものに、特開２０００−１８９３８９公報に記載された睡眠状態監視装置がある。この睡眠状態監視装置は、睡眠中の患者の上にモアレ縞の光学模様を形成し、その光学模様を撮像し、連続するフレーム間の光学模様の相関値を算出し、そして逐次算出した相関値から患者の睡眠状態を判定する構成になっている。
【０００３】
特開平１１−８６００２号公報には、局所領域画像を設定し、これに含まれるエッジを検出するとともにその明度分布を測定し、エッジにより分割された領域の面積が略等しく、各々が一様な明度を持つ場合に測定を開始して、局所領域画像中のエッジと明度に基づいて時間差分量を計算し、そしてその時間差分量に基づいて動きの状態を判断する画像処理装置などが記載されている。
【０００４】
特開平７−２８８８７５号公報には、焦電型または半導体型赤外線センサ（図５のＰＡ１参照）などの出力から人体またはその一部の形状や状況を判別し、その形態情報の時間変化から人体またはその一部の動作を認識判別する人体動作認識センサが記載されている。
【０００５】
これらのほか、図６に示すように、圧力センサＰＡ２を体の下に敷き詰めて体動を検出する場合もある。
【０００６】
【発明が解決しようとする課題】
ところで、従来、睡眠時におけるミオクローヌス（例えば手足のピクッとする運動）などの体動の有無判定は、専門家が睡眠中に撮影されたビデオの再生画像を見て睡眠時の状態を観察することにより行われていた。しかしながら、このようにビデオで長時間に亘って観測する方法では、専門家にかかる負担が大きく、また見落としの起こる可能性があった。
【０００７】
また、上記の睡眠状態監視装置および画像処理装置では、ミオクローヌスなどの体動を検出する場合、演算が複雑になるため、リアルタイムで体動検出結果を出しつつ睡眠中の画像を記録していくことは困難である。
【０００８】
さらに、焦電型または半導体型赤外線センサなどを用いる人体動作認識センサおよび圧力センサを用いる従来構成では、寝返りなどの比較的大きな体動を検出することはできるが、ミオクローヌスなどの短時間の体動を検出することができない。
【０００９】
本発明は、上記事情に鑑みてなされたものであり、寝返りなどのほか、ミオクローヌスなどの体動をリアルタイムで検出することができる睡眠時体動検出装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記課題を解決するための請求項１記載の発明の睡眠時体動検出装置は、睡眠時の体動の撮像を行うためのカメラまたはこのカメラの撮像によって得られた画像の記録データを再生する再生装置からの毎秒少なくとも２枚のフレームの各画像を、そのフレームを分割する予め決定された複数のエリアで複数の部分画像に区分する区分手段と、この区分手段によって区分された複数のエリアの各々における部分画像について、各画素の濃度値の中心座標を求める濃度中心割出手段と、この濃度中心割出手段によって求められた複数のエリアの各々についての中心座標が前記フレーム間で変化したとき、体動を検出する体動検出手段とを備えることを特徴とする。
【００１１】
請求項２記載の発明は、請求項１記載の睡眠時体動検出装置において、前記中心座標が前記フレーム間で変化したとき、その中心座標が変化した時刻、その中心座標の移動量、その中心座標の属するエリアの場所および数の情報を記憶する第１の記憶手段と、この第１の記憶手段に記憶された情報およびこの情報中のエリアの場所で前記中心座標の変化が持続する時間から、前記体動の種類および部位を判別する判別手段と、この判別手段で判別された体動の種類および部位の情報を分類した状態で記憶する第２の記憶手段とを備えることを特徴とする。
【００１２】
請求項３記載の発明は、請求項２記載の睡眠時体動検出装置において、前記体動検出手段は、前記中心座標が前記フレーム間で、前記複数のエリアの各々についての中心座標が前記フレーム間で変化するときの変化幅の値の統計値をもとに決定されるしきい値以上変化したとき、体動を検出することを特徴とする。
【００１３】
請求項４記載の発明は、請求項３記載の睡眠時体動検出装置において、前記統計値は、睡眠開始前に前記カメラの撮像によって得られる画像、または起床後に前記カメラもしくは前記再生装置からの画像から求められることを特徴とする。
【００１４】
請求項５記載の発明は、請求項２記載の睡眠時体動検出装置において、前記カメラと、前記再生装置とを備え、この再生装置は、前記カメラの撮像によって得られる各画像を前記記録データとして記録する記録手段と、この記録手段によって記録された記録データを元の画像に再生する再生手段とを備えることを特徴とする。
【００１５】
【発明の実施の形態】
図１は本発明に係る一実施形態の睡眠時体動検出装置の構成図、図２は同睡眠時体動検出装置に対して予め決定された複数のエリアの例を示す図である。
【００１６】
本実施形態の睡眠時体動検出装置は、睡眠時の寝返り、ミオクローヌス、手足の動きおよび離床などの体動を検出するとともにそれら体動の種類および部位を判別するものであり、図１に示すように、赤外線カメラ１と、演算装置２と、記録再生装置３と、表示装置４とを備えている。
【００１７】
赤外線カメラ１は、睡眠時の体動の撮像を行うためのものであり、睡眠時の体動を検出するべき人全体が撮像範囲内に収まるように設置された状態で、毎秒少なくとも２枚のフレーム（フィールドの場合は２フィールドで１フレーム）の画像を撮る。
【００１８】
ここで、毎秒少なくとも２枚のフレームについては、後述の演算装置２において毎秒４枚のフレームが利用されるので、毎秒４枚のフレームでもよいが、本実施形態では、睡眠時の画像を録画して後で再生することにより、睡眠時の状態を確認することができるようにするため、例えば毎秒３０（２９．９７）枚のフレームの画像を撮るようになっている。また、毎秒少なくとも２枚のフレームの画像の映像信号は、アナログまたはデジタルで後段の演算装置２に出力され、アナログの場合には、演算装置２内でまたはその直前でＡ／Ｄ変換される。
【００１９】
演算装置２は、例えば、ＣＰＵ（中央処理装置）、主記憶装置、補助記憶装置（不揮発性半導体記憶装置およびハードディスク装置など）およびタイマなどを備え、所定のプログラムによって動作するコンピュータであり、本実施形態の特徴部として、区分部２１と、濃度中心割出部２２と、体動検出部２３と、記憶部２４と、判別部２５とを持つように構成される。
【００２０】
区分部２１は、上記コンピュータの処理機能部であり、赤外線カメラ１の撮像によって得られる毎秒少なくとも２枚の時間的に等間隔または略等間隔のフレームの各画像（デジタル画像）を、そのフレームを分割する予め決定された複数のエリアで複数の部分画像に区分する処理を実行する。
【００２１】
本実施形態では、略２５０ミリ秒毎に１枚のフレームの画像を複数の部分画像に区分するべく、赤外線カメラ１の撮像により得られる毎秒３０（２９．９７）枚のフレームの画像から４枚のフレームの画像を抽出しながら、毎秒４枚のフレームの各画像を、複数の部分画像に区分するように構成される。なお、睡眠時の状態を後で確認する必要がないとき、毎秒４枚のフレームの画像を撮るように赤外線カメラ１を構成することができるので、この場合には、赤外線カメラ１の撮像により得られる毎秒４枚のフレームの各画像を複数の部分画像に区分するように構成されることになる。
【００２２】
また、複数のエリアについては、図２の例に示すように、Ａ１１，Ａ１２，Ａ１３，Ａ２１，Ａ２２，Ａ２３，Ａ３１，Ａ３２，Ａ３３，Ａ４１，Ａ４２，Ａ４３の１２のエリアにフレームを分割するように設定される。
【００２３】
図１に示す濃度中心割出部２２は、上記コンピュータの処理機能部であり、区分部２１によって区分された複数のエリアの各々における部分画像について、各画素の濃度値の中心座標を求める処理を実行する。例えば、エリア内にｍ列×ｎ行個の画素が含まれ、これらの各画素が０〜２５５の範囲内の濃度値を有しているとすると、まず、第１列目におけるｎ行個の各濃度値の合計値が求められる。同様に、第２列目から第ｍ列目についても合計値が求められる。そして、これらｍ個の合計値の加重平均値が算出され、この加重平均値から列方向（水平方向）の中心座標が求められる。同様に、行方向（垂直方向）の中心座標についても、まず、第１行目におけるｍ列個の各濃度値の合計値が求められ、第２行目から第ｎ行目についても合計値が求められる。そして、これらｎ個の合計値の加重平均値が算出され、この加重平均値から行方向の中心座標が求められる。また、このようにして求められた各エリアの中心座標は、主記憶装置または補助記憶装置に記憶保持される。
【００２４】
体動検出部２３は、上記コンピュータの処理機能部であり、濃度中心割出部２２によって求められた複数のエリアの各々についての中心座標がフレーム間で所定のしきい値以上変化したとき、体動を検出する処理を行う。すなわち、濃度中心割出部２２によって新たに求められた複数のエリアの各々についての中心座標と、上記主記憶装置または補助記憶装置に記憶保持した複数のエリアの各々についての中心座標とを比較し、同一エリアについての中心座標が所定のしきい値以上変化したとき、そのエリアで体動があったことを検出する処理が実行されるのである。
【００２５】
ここで、所定のしきい値は、複数のエリアの各々についての中心座標がフレーム間で変化するときの変化幅の値の統計値をもとに決定され、その統計値は、睡眠開始前に赤外線カメラ１の撮像により得られる画像から求められる。例えば、予め寝具のみの画像を１分程度取り込み、その時の中心座標値の変化値（赤外線カメラ１−演算装置２系のノイズと考えられる）の平均や標準偏差などの統計値をもとに決定される。
【００２６】
記憶部２４は、上記コンピュータの主記憶装置および補助記憶装置の少なくとも一方であり、上記中心座標がフレーム間で変化したとき、コンピュータの制御に従って、その中心座標が変化した時刻、その中心座標の移動量、その中心座標の属するエリアの場所および数の情報を記憶するほか、後述の判別部２５で判別された体動の種類および部位の情報を分類した状態で記憶する。
【００２７】
判別部２５は、上記コンピュータの処理機能部であり、記憶部２４に記憶された情報およびこの情報中のエリアの場所で上記中心座標の変化が持続する時間から、睡眠時の寝返り、ミオクローヌス、手足の動きおよび離床などの体動の種類および部位を判別する処理を実行する。
【００２８】
記録再生装置３は、画像（動画）を記録再生するものであり、赤外線カメラ１の撮像によって得られる各画像を記録データとしてテープまたはディスク型の記録媒体に記録する記録機能と、その記録媒体に記録された記録データを元の画像に再生する再生機能とを有し、赤外線カメラ１の出力に直接または演算装置２を介して接続される。
【００２９】
表示装置４は、赤外線カメラ１または記録再生装置３からの画像を画面に表示するためのＣＲＴまたはＬＣＤなどである。
【００３０】
次に、本実施形態の睡眠時体動検出装置の動作について説明する。睡眠時の体動を検出するべき人全体が撮像範囲内に収まるように設置された状態で、赤外線カメラ１によって毎秒３０（２９．９７）枚の画像が撮像され、演算装置２に取り込まれるとともに、記録再生装置３によって記録媒体に録画される。
【００３１】
演算装置２において、毎秒３０（２９．９７）枚のフレームの画像のうち、毎秒４枚のフレームの各画像が複数のエリアで複数の部分画像に区分され、区分された複数のエリアの各々における部分画像について、各画素の濃度値の中心座標が求められる。続いて、複数のエリアの各々についての中心座標がフレーム間で所定のしきい値以上変化したとき、体動を検出する処理が実行され、このとき、その中心座標が変化した時刻、その中心座標の移動量、その中心座標の属するエリアの場所および数の情報が記憶部２４に記憶される。
【００３２】
この後、記憶部２４に記憶された情報およびこの情報中のエリアの場所で上記中心座標の変化が持続する時間（持続時間）から、睡眠時の寝返り、ミオクローヌス、手足の動きなどの体動の種類および部位を判別する処理が実行される。ここで、持続時間が数秒間に亘り、変化した中心座標の属するエリアの数が複数である場合、寝返りの体動があったとして処理される。持続時間が０．５秒以下である場合、ミオクローヌスの体動があったとして処理される。さらに、持続時間に関係なく、中心座標が変化すればその変化したエリアの場所で手足の動きがあったとして処理される。
【００３３】
そして、このようにして判別された体動の種類および部位の情報は、分類された状態で記憶部２４に記憶される。ここで、判別された体動の種類および部位の情報は、例えばリスト形式で表示装置４の画面に表示される。そして、コンピュータのキーボードなどの入力装置（図示せず）を通じて所望の体動を見るための操作が行われると、該当する時刻の画像を再生する指令が記録再生装置３に出され、記録再生装置３によって、その所望の体動の画像が再生され、表示装置４の画面に表示される。これにより、後で体動を目で確認することができる。なお、これに限らず、表示装置４の画面に表示された体動の種類および部位の情報をもとに、マニュアルで該当する時刻の画像を再生するようにしてもよいことは言うまでもない。
【００３４】
以上、本実施形態によれば、毎秒少なくとも２枚のフレームの各画像を、そのフレームを分割する予め決定された複数のエリアで複数の部分画像に区分する区分部２１と、この区分部２１によって区分された複数のエリアの各々における部分画像について、各画素の濃度値の中心座標を求める濃度中心割出部２２と、この濃度中心割出部２２によって求められた複数のエリアの各々についての中心座標がフレーム間で変化したとき、体動を検出する体動検出部２３とを備えるので、図３および図４に示すように、寝返りなどのほか、０．５秒以下のミオクローヌスなどの体動をリアルタイムで検出することができる。ここで、図３は、目による判定（図では「視察判定」）と自動判定で体動を検出したエリア数を１分毎にプロットしたものである。図４は視察判定と自動判定で体動を検出した時刻の中心座標の移動量を１分毎にプロットしたものである。双方ともに視察判定で求められた体動をカバーできているのが分かる。
【００３５】
加えて、本実施形態では、毎秒４枚のフレームの各画像について処理を実行するので、０．５秒以下のミオクローヌスをより好適にリアルタイムで検出することができ、しかも単なる加重平均としきい値との比較という単純な演算ですむので、簡単に実現できる。
【００３６】
また、中心座標がフレーム間で所定のしきい値以上変化したとき、体動を検出するので、ノイズによる体動の誤検出を防止することができる。
【００３７】
さらに、記録再生装置３を備え、この記録再生装置３は、赤外線カメラ１の撮像によって得られる各画像を記録データとして記録する記録機能と、この記録機能によって記録された記録データを元の画像に再生する再生機能とを備えるので、後で体動を目で確認することができる。
【００３８】
なお、本実施形態では、所定のしきい値は、複数のエリアの各々についての中心座標がフレーム間で変化するときの変化幅の値の統計値をもとに決定され、その統計値は、睡眠開始前に赤外線カメラ１の撮像により得られる画像から求められる構成になっているが、これに限らず、起床後に決定される構成でもよい。例えば、睡眠時の体動を検出するべき人を常時監視する必要がある場合には、本実施形態のように睡眠開始前に統計値をもとにしきい値を決定する必要がある。これに対し、後で記録再生装置３の再生画像を利用して睡眠時の体動を検出してもよい場合には、起床後に赤外線カメラ１または記録再生装置３からの（睡眠開始前または起床後の）画像から、しきい値を決定することが許容される。
【００３９】
また、本実施形態では、区分部２１は、赤外線カメラ１の撮像によって得られる毎秒４枚のフレームの各画像を、そのフレームを分割する予め決定された複数のエリアで複数の部分画像に区分する処理を実行するように構成されるが、毎秒４枚に限らず、３枚でも５枚や６枚などでもよいことは言うまでもない。要するに、本発明の区分手段は、毎秒少なくとも２枚のフレームの各画像を、そのフレームを分割する予め決定された複数のエリアで複数の部分画像に区分するものであればよい。この構成でも、上述の如く、寝返りなどのほか、０．５秒以下のミオクローヌスなどの体動をリアルタイムで検出することができる。
【００４０】
【発明の効果】
以上のことから明らかなように、請求項１記載の発明は、睡眠時の体動の撮像を行うためのカメラまたはこのカメラの撮像によって得られた画像の記録データを再生する再生装置からの毎秒少なくとも２枚のフレームの各画像を、そのフレームを分割する予め決定された複数のエリアで複数の部分画像に区分する区分手段と、この区分手段によって区分された複数のエリアの各々における部分画像について、各画素の濃度値の中心座標を求める濃度中心割出手段と、この濃度中心割出手段によって求められた複数のエリアの各々についての中心座標が前記フレーム間で変化したとき、体動を検出する体動検出手段とを備えるので、寝返りなどのほか、０．５秒以下のミオクローヌスなどの体動をリアルタイムで検出することができる。また、専門家に頼らずに、ミオクローヌスなどの短時間の体動を検出することができる。
【００４１】
請求項２記載の発明は、請求項１記載の睡眠時体動検出装置において、前記中心座標が前記フレーム間で変化したとき、その中心座標が変化した時刻、その中心座標の移動量、その中心座標の属するエリアの場所および数の情報を記憶する第１の記憶手段と、この第１の記憶手段に記憶された情報およびこの情報中のエリアの場所で前記中心座標の変化が持続する時間から、前記体動の種類および部位を判別する判別手段と、この判別手段で判別された体動の種類および部位の情報を分類した状態で記憶する第２の記憶手段とを備えるので、ミオクローヌスなどの体動をリアルタイムで検出することができるほか、判別された体動の種類および部位の情報を取得することができる。
【００４２】
請求項３記載の発明は、請求項２記載の睡眠時体動検出装置において、前記体動検出手段は、前記中心座標が前記フレーム間で、前記複数のエリアの各々についての中心座標が前記フレーム間で変化するときの変化幅の値の統計値をもとに決定されるしきい値以上変化したとき、体動を検出するので、ノイズによる体動の誤検出を防止することができる。
【００４３】
請求項４記載の発明は、請求項３記載の睡眠時体動検出装置において、前記統計値は、睡眠開始前に前記カメラの撮像によって得られる画像、または起床後に前記カメラもしくは前記再生装置からの画像から求められるので、適応的に、ノイズによる体動の誤検出を防止することができる。
【００４４】
請求項５記載の発明は、請求項２記載の睡眠時体動検出装置において、前記カメラと、前記再生装置とを備え、この再生装置は、前記カメラの撮像によって得られる各画像を前記記録データとして記録する記録手段と、この記録手段によって記録された記録データを元の画像に再生する再生手段とを備えるので、後で所望の時刻の体動を目で確認することができる。
【図面の簡単な説明】
【図１】本発明に係る一実施形態の睡眠時体動検出装置の構成図である。
【図２】同睡眠時体動検出装置に対して予め決定された複数のエリアの例を示す図である。
【図３】目による判定と自動判定で体動を検出したエリア数を１分毎にプロットした図である。
【図４】目による判定と自動判定で体動を検出した時刻の中心座標の移動量を１分毎にプロットした図である。
【図５】従来の体動検出の様子を示す図である。
【図６】従来の体動検出の様子を示す図である。
【符号の説明】
１ 赤外線カメラ
２ 演算装置
２１ 区分部
２２ 濃度中心割出部
２３ 体動検出部
２４ 記憶部
２５ 判別部
３ 記録再生装置
４ 表示装置
Claims (5)
- 睡眠時の体動の撮像を行うためのカメラまたはこのカメラの撮像によって得られた画像の記録データを再生する再生装置からの毎秒少なくとも２枚のフレームの各画像を、そのフレームを分割する予め決定された複数のエリアで複数の部分画像に区分する区分手段と、
この区分手段によって区分された複数のエリアの各々における部分画像について、各画素の濃度値の中心座標を求める濃度中心割出手段と、
この濃度中心割出手段によって求められた複数のエリアの各々についての中心座標が前記フレーム間で変化したとき、体動を検出する体動検出手段と
を備えることを特徴とする睡眠時体動検出装置。 - 前記中心座標が前記フレーム間で変化したとき、その中心座標が変化した時刻、その中心座標の移動量、その中心座標の属するエリアの場所および数の情報を記憶する第１の記憶手段と、
この第１の記憶手段に記憶された情報およびこの情報中のエリアの場所で前記中心座標の変化が持続する時間から、前記体動の種類および部位を判別する判別手段と、
この判別手段で判別された体動の種類および部位の情報を分類した状態で記憶する第２の記憶手段と
を備えることを特徴とする請求項１記載の睡眠時体動検出装置。 - 前記体動検出手段は、前記中心座標が前記フレーム間で、前記複数のエリアの各々についての中心座標が前記フレーム間で変化するときの変化幅の値の統計値をもとに決定されるしきい値以上変化したとき、体動を検出することを特徴とする請求項２記載の睡眠時体動検出装置。
- 前記統計値は、睡眠開始前に前記カメラの撮像によって得られる画像、または起床後に前記カメラもしくは前記再生装置からの画像から求められることを特徴とする請求項３記載の睡眠時体動検出装置。
- 前記カメラと、前記再生装置とを備え、この再生装置は、前記カメラの撮像によって得られる各画像を前記記録データとして記録する記録手段と、この記録手段によって記録された記録データを元の画像に再生する再生手段とを備えることを特徴とする請求項２記載の睡眠時体動検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002110467A JP3928463B2 (ja) | 2002-04-12 | 2002-04-12 | 睡眠時体動検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002110467A JP3928463B2 (ja) | 2002-04-12 | 2002-04-12 | 睡眠時体動検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003299636A JP2003299636A (ja) | 2003-10-21 |
| JP3928463B2 true JP3928463B2 (ja) | 2007-06-13 |
Family
ID=29393602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002110467A Expired - Lifetime JP3928463B2 (ja) | 2002-04-12 | 2002-04-12 | 睡眠時体動検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3928463B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101882349B (zh) * | 2009-05-04 | 2012-08-22 | 深圳富泰宏精密工业有限公司 | 婴幼儿监护装置及方法 |
| TWI425452B (zh) * | 2009-06-12 | 2014-02-01 | Chi Mei Comm Systems Inc | 嬰幼兒監護裝置及方法 |
| JP2014151120A (ja) * | 2013-02-13 | 2014-08-25 | Hitachi Systems Ltd | 睡眠状態監視システムおよび睡眠状態監視プログラム |
| JP6802467B2 (ja) * | 2016-08-22 | 2020-12-16 | 長野県 | 処理装置、判定装置および適正範囲特定方法 |
| CN108852305A (zh) * | 2018-03-23 | 2018-11-23 | 武汉丰普科技股份有限公司 | 一种独居老人卧睡健康状态实时监测方法 |
| EP3628213A1 (en) * | 2018-09-25 | 2020-04-01 | Koninklijke Philips N.V. | Deriving information about a person's sleep and wake states from a sequence of video frames |
| CN113440103B (zh) * | 2020-09-22 | 2023-01-10 | 广东人联网电子商务有限公司 | 基于大数据的睡眠质量监测系统 |
| CN112535459B (zh) * | 2020-11-24 | 2023-08-18 | 创新奇智(北京)科技有限公司 | 睡眠异常检测方法、装置、电子设备及可读存储介质 |
-
2002
- 2002-04-12 JP JP2002110467A patent/JP3928463B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003299636A (ja) | 2003-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100883065B1 (ko) | 모션 검출에 의한 녹화 제어장치 및 방법 | |
| JP4847165B2 (ja) | 映像記録再生方法及び映像記録再生装置 | |
| US10600189B1 (en) | Optical flow techniques for event cameras | |
| EP0482139B1 (en) | Video trigger in a solid state motion analysis system | |
| US20120275769A1 (en) | System, method and medium editing moving pictures using biometric signals | |
| CA2425855C (en) | A method of searching recorded digital video for areas of activity | |
| JP3928463B2 (ja) | 睡眠時体動検出装置 | |
| JP2018164615A (ja) | 睡眠深度判定システム、睡眠深度判定装置及び睡眠深度判定方法 | |
| JP5691750B2 (ja) | 置き去り又は持ち去り検知システム及び前記検知システムにおける置き去り又は持ち去り発生時刻を検知する方法 | |
| JP2013211775A (ja) | 置き去り又は持ち去り検知システム | |
| CN108184098A (zh) | 安全区域的监控方法以及系统 | |
| US20200077050A1 (en) | Surveillance apparatus, surveillance method, and storage medium | |
| JPH07160891A (ja) | 画像監視装置 | |
| KR100200874B1 (ko) | 움직임 검출에 의한 선택적 기록 장치 및 방법 | |
| KR101362630B1 (ko) | 디지털 비디오 레코더에서의 피사체 이동 경로 추적 방법 | |
| JPH1186002A (ja) | 画像処理装置及び被介護者観測装置 | |
| KR101069181B1 (ko) | 감시용 디지털 비디오 레코더에서의 모션 검출 영역 자동설정장치 및 방법 | |
| JP4433985B2 (ja) | 監視画像処理装置 | |
| JP4065149B2 (ja) | 画像信号処理装置 | |
| KR100996413B1 (ko) | 감시용 디지털 비디오 레코더에서의 모션 검출 민감도설정장치 및 방법 | |
| JP2014135683A (ja) | 撮像制御装置、撮像制御方法および撮像制御プログラム | |
| JP3823129B2 (ja) | 画像検索システム及び画像検索方法 | |
| JP2001212351A (ja) | 遊技場における監視装置 | |
| JP2022160891A (ja) | 映像解析装置、脈波検出装置、および映像解析方法 | |
| JP3587308B2 (ja) | ぶれ消去映像表示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050318 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070213 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070226 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3928463 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100316 Year of fee payment: 3 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100316 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100316 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110316 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120316 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120316 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130316 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130316 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140316 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |