JP3719158B2

JP3719158B2 - Method for displaying and analyzing body movement

Info

Publication number: JP3719158B2
Application number: JP2001126613A
Authority: JP
Inventors: 紀夫中野
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 2001-04-24
Filing date: 2001-04-24
Publication date: 2005-11-24
Anticipated expiration: 2021-04-24
Also published as: JP2002320601A

Description

【０００１】
【発明の属する技術分野】
本発明は経時的に計測された身体の動きの発生や動きの量の情報をデータ処理して２次元的に表示する表示方法及び分析方法に関するものである。
【０００２】
【従来の技術】
人の身体のたとえば就寝時の動き（体動）を時系列的に表示分析する方法として、Physiology & Behavior Vol.65, pp659-663. 1999. (title: Actigraphic assessment of sleep in insomnia : application of the actigraph data analysis software.）のＦｉｇ．１に、身体に装着する活動量計によって得られる体動（アクティビティ・カウント）の時系列情報をグラフ表示するとともに、データを分析して睡眠・覚醒を判定し表示するソフトウエアの例が掲載されている。この場合の体動時系列はゼロまたは正の数値からなるデータであり、横軸に時間軸をとり、発生したイベントの値を縦軸としてグラフ化している。
【０００３】
このものでは、ノイズの有無を含め、計測した身体の動きのデータの詳細な時間的変動の様子を確認できるという利点があるが、ある時間区間の間に発生した体動量を定量的に理解することは困難である。特に、データの比較を行う場合、２つ以上のグラフを見比べても、どこにどの程度の違いがあるか、パターンを区別し視覚的に理解することは困難である。
【０００４】
特許第２７８０４６４号の第３図には、就寝時に計測した体動の時系列情報を分析し、体動回数と体動出現間隔の平均時間とをそれぞれ縦横の軸とした２次元表示を表示手段上に行った例が挙げられている。就寝時に計測した体動の時系列情報を分析し、睡眠評価した結果を表示しているこの例では、時間軸は抽象化され、表示データは時系列情報ではなくなっている。
【０００５】
【発明が解決しようとする課題】
体動の発生や体動量の変化を経時的に記録する場合、得られるデータは図９のような時系列棒グラフで表現されることが多い。この表示方法は、ノイズの有無を含め、計測データの詳細な時間的変動の様子を確認できるという利点があるが、ある時間区間（例えば、睡眠時間帯とか、特定の部屋に居る時間とか、２４時間とか）の間に発生したイベントの量を定量的にかつ視覚的に判別することは困難である。特に、図９に示す２つのデータ（グラフ）を見比べても、どこにどの程度の違いがあるか、視覚的に理解することが困難である。
【０００６】
本発明はこのような点に鑑みなされたものであって、その目的とするところは時間的変化を伴うデータの時系列上の特徴を視覚的に理解しやすく表示する体動の表示方法を提供するにあり、また他の目的とするところは表示結果をもとに体動パターンを分析することができる分析方法を提供するにある。
【０００７】
【課題を解決するための手段】
しかして本発明は、人の身体の動きである体動の発生あるいは発生した体動の量に関する体動データを対象とし、時間軸に沿って累積演算を行って累積データを得て、コンピュータ処理により累積時間軸および累積データ軸をそれぞれ縦横の軸とした２次元グラフとして表示し、更には表示した２次元グラフ上のグラフ画像を累積データ軸方向に投影処理して投影データを得て、累積データ軸および投影データ軸をそれぞれ縦横の軸とした２次元グラフに表示することに特徴を有している。
【０００８】
時系列表現された体動データを累積時系列表示するために、体動の量と体動の時間的推移パターンを定量的にかつ視覚的に容易に判別でき、また体動発生がなかった区間の時間的長さ（＝安静の持続時間）を発生順に並べたグラフを得ることができる。
【０００９】
また、請求項２の発明においては、体動データを対象としてその累積データを２次元グラフとして表示するにあたり、所定のタイミングを（起点や終点などの）基準点と定めて２次元グラフに表示することに特徴を有しており、さらに請求項３の発明においては、就寝中の体動データを対象としてその累積データを２次元グラフとして表示するにあたり、被験者が床から離れていたかどうかを差別化条件として、上記差別化条件に該当するところは非表示とすることに特徴を有している。
【００１０】
そして請求項４に係る体動データの分析方法は、請求項１または２または３で表示した累積時間軸および累積データ軸を縦横の軸とする２次元グラフ上のグラフ画像からコンピュータ処理により特徴抽出を行うことで体動データのパターンの特徴を少数の特徴値で数値化することに特徴を有しており、さらに請求項５の発明においては、請求項１で表示した累積データ軸および投影データ軸をそれぞれ縦横の軸とする２次元グラフ上のグラフ画像のデータに対してコンピュータ処理により波形処理を行うことに特徴を有している。
【００１１】
【発明の実施の形態】
以下本発明を実施の形態の一例に基づいて詳述すると、人の身体の動きである体動の発生あるいは発生した体動の量に関する体動データを対象としてグラフ表示するにあたり、上記体動は、人の動きを撮影したカメラ画像の分析、赤外線検知センサの出力や圧電センサの出力、身体に装着した加速度センサ、あるいは第三者による申告や観察、対象者自身の申告など、多彩な方法で計測することができる。すなわち、本発明では体動の検出方法はどのようなものであってもよく、体動の発生や体動の量のデータを時系列的に得ることができるものであればよい。
【００１２】
そして上記時系列的データは、コンピュータを用いた図２に示すようなデータ処理とグラフ化処理で図１に示すようなグラフとして表示する。ここで図１は、就寝中（入床時から起床時まで）の時間帯において、非接触的手段（焦電型赤外線センサ）によって寝床付近にいる人の体動を検出し、就寝中の体動量時系列を累積時系列表示した例で２夜分を同時に表示している。横軸は時間軸であり、入床時刻を０とし、以後の経過時間を分単位で表示している。また入床時間と起床時間をそれぞれ累積の「始点、終点」として表示している。また、総累積量をグラフ中に数値で重ねて表示して累積量を理解しやすく表示している。
【００１３】
このような表示を行うことにより、体動イベントの時間的推移を一目で直感的に理解することができ、２つ以上の同種のデータを重ねて表示した時により効果的であることも分かる。
【００１４】
たとえば、図１からは、１１月１０日と１１月１２日は就寝時間がほぼ同じ（６６０分程度＝約１１時間）であること、起床するまでの体動の総量は、１１月１２日（２２１３）が１０月１０日（１３６６）に比べて多いこと、体動が、１１月１０日では就寝時間帯を通してほぼ同じ割合で増えている一方、１１月１２日では、就寝時間帯の前半や中盤では少なく、後半に多いこと等を一目で判別することができる。また、体動の量的な把握も体動発生時間帯ごとに比較することができる。
【００１５】
ちなみに、図９は図１で表示したものと同じ体動情報を従来の時系列グラフで表示した例であり、図１のものとして、時系列上の特徴を定量的あるいは視覚的に判断しずらいことが分かる。
【００１６】
また、フィールドでの計測は、自動計測で連続的に行われることが多いので、データの開始点・終了点が、必ずしも累積を開始・終了したいポイントではないことが多く、さらに２つのデータを比較したい時に、累積の開始・終了ポイントがデータによって変動することがしばしばある。例えば「睡眠時の体動を比較したい」という目的の場合、起床時刻、就寝時刻を指定するとよいが、これらの時刻は、日々変動してしまう。睡眠時間そのものも日によって変動する。しかし、図９に示す時系列グラフではこのような目的には不便である。
【００１７】
一方、図１に示すものにおいては、累積時系列表示を行うにあたり、累積の始点や終点（場合によっては累積一次休止点なども）といった基準点を決めて表示手続きを実行しているために、上記の目的にも適したものとなっている。
【００１８】
図３は図４に示す差別化処理を行った累積時系列の表示の例を示している。この例では就寝中の被験者がベッドを離れていたかどうかを差別化条件として設定して、ベッドを離れた場合には、累積は継続しながらその時間帯の累積時系列を非表示にしている。
【００１９】
体動の記録を表示分析したいときには、１次元量に数値化された体動量以外の関連情報を重ねた方がデータを理解しやすいことが多い。図３では、就寝中の前半から中盤過ぎにかけて、１１月１０日は２回ベッドを離れており、１１月１２日は４回離れており、その離床行動が体動の大きな変動点に一致していることや、就寝経過時間が６００分を過ぎた頃（就寝の終盤）からは、いずれのデータでもベッドにはいるが、頻繁に体動が発生して離床行動とは無関係に累積時系列が上昇していることが一目でわかる。
【００２０】
また、図３では、経過時間指示用の点線を表示し、点線によって指示された経過時刻における累積体動量を表示させ、データの読み取りがより容易になるようにしている。さらに指示された経過時刻が、所定の差別化条件に当たっている場合にはそのことを「不在」という表現で表示させている。
【００２１】
図５は図６に示す特徴抽出（Ｈｏｕｇｈ変換を利用した直線検出）の処理を行った結果の表示を示している。
【００２２】
累積時系列のグラフをディジタル画像として見ると、細線化ずみのディジタル線分と曲線の組み合わせで成り立っている画像と捉えることができるので、各種の基本的画像処理（特徴抽出処理）が容易に可能というメリットがある。例えばＨｏｕｇｈ変換を用いれば、仮に累積時系列が不連続なものであっても、直線や曲線などの線分抽出を行い、累積時系列の特徴を少数の特徴値で数値化できる。Ｈｏｕｇｈ変換では、例えば、（ｘ，ｙ）画像平面上の直線要素を図６中の式
ρ＝ｘ・ｃｏｓθ＋ｙ・ｓｉｎθ
で定まる（ρ，θ）平面へ投影することで、簡単な数値の組に変換できる。ちなみに図５では、累積時系列のグラフが最終的に４本の線分で数値化されている。ここでいう数値化とは、例えば、「ρ，θ，対応画素密度ｄ，始点Ｓ，終点Ｅ」からなる数値の組４本分でこの画像を抽象的に表現することである。このように累積グラフ画像を特徴抽出すれば、被験者毎に異なる個人パラメータを準備することなく、同一の手続きでダイレクト、体動パターンの特徴を少数の特徴値にまとめることができる。
【００２３】
体動のデータでは、特徴値のうち、線分の傾きを示すθや、線分の実質的な長さを示す対応画素密度ｄは、体動を分析する上で重要な値になる。例えばθがπ／２に近い線分は、体動発生が少ない時間帯であることを意味し、θがπ／２から０に近づくほど体動が激しく発生している時間帯であることを意味する。そして対応画素密度ｄが多いほど、その時間帯が長く継続していたことを意味する。
【００２４】
なお、線分の抽出には、Ｈｏｕｇｈ変換以外に、チェインコードまたはフリーマンコードの性質を満たすか否かを判定して求めることも可能である。
【００２５】
図７は図８に示す累積データ軸方向に投影処理を行った結果の２次元グラフの例を示している。Ｈｏｕｇｈ変換のような特徴抽出処理以外の方法で累積時系列グラフを分析する方法を考えると、累積時系列のグラフをディジタル化し、累積データ軸方向に投影処理して投影データを得て、累積データ軸および投影データ軸をそれぞれ縦横の軸とした２次元グラフを表示すると、そのグラフは「体動発生がなかった区間の時間的長さ（＝安静の持続時間）を発生順に並べたグラフ」を意味する。図７は図１や図５中のデータ（１１月１０日）を投影処理した例であるが、長い安静状態がデータの前半に２度（累積体動値で１００付近と３００付近）発生し、その後はまとまった安静状態がないまま累積体動値が１３６６まで増加したことが分かる。このように投影処理は、体動データから安静状態（または休止状態）の発生や持続を抽出するのに便利である。
【００２６】
また、上記の投影処理は、長時間の体動データから安静状態の発生状況を抽出し、一目で理解することができるようになるので有用であるが、抽出された安静状態を微視的に観察し定量化したり他の安静状態と比較したいときには困難が生じる。長い安静状態の途中で小さな体動が入った時に、その安静状態に対応する投影データが分断されてしまい、そのために図７のグラフの縦軸（投影データ数）のピーク値は必ずしも安静の長さに対応せず、このことから２つ以上の投影ピークを比較することが難しくなるからである。
【００２７】
この弱点を補うため、投影データに対して波形処理、例えば次式
【００２８】
【数１】

【００２９】
のような平滑化処理を加えることが有効である。この処理により、不安定な分断がなくなり、投影データＰ（ｋ）のピーク（＝長い安静区間）を比較しやすくなる。なお、式中のαは実験によって決まる値であり、定数もしくはｋに依存して一意に決まるパラメータである。
【００３０】
ところで、図７にもあるように、ひとつの体動データを処理して得られる投影グラフには２つ以上のピークが見られることが一般的である。このとき、上記式１の処理によって投影データに現れる各ピークがより鮮明になり、各ピークを区分しやすくなる。区分されたピークの形状はさまざまで、ピークは高いが幅が狭いもの、ピークは低いが幅が広いものなどが含まれる。前者は、強い安静が長時間続いたことを意味し、後者は安静レベルは強くないが、長時間大きな体動発生のない状態が続いたことを意味する。また、区分されたピーク成分を次式
【００３１】
【数２】

【００３２】
のように積分（Ａｊ）することで、安静の持続時間を定量化し、比較することも可能である。なお、式２中のｓｊ，ｅｊはピークｊを構成する累積体動値の始点と終点を意味する。
【００３３】
なお、図４，６，８に夫々示した処理は、いずれもコンピュータを用いて行うとともにグラフ化もコンピュータによって行って、ディスプレー等に表示させる。
【００３４】
【発明の効果】
以上のように請求項１の発明においては、累積演算を行って２次元グラフに表示するために、体動の量と体動の時間的推移パターンを定量的にかつ視覚的に容易に判別することができる。しかも累積グラフ画像を、累積データ軸方向に投影処理して投影データを得、累積データ軸および投影データ軸をそれぞれ縦横の軸とした２次元グラフを表示するために、そのグラフは、「体動発生がなかった区間の時間的長さ（＝安静の持続時間）を発生順に並べたグラフ」となり、体動の分析上、この安静の持続時間の情報は有益であり、この単純な表示方法によって、安静の持続時間を抽出することができ視覚的に容易に判別できるようになる。
【００３５】
また請求項２の発明においては、上記請求項１の発明の効果に加えて、所定のタイミングを基準点と定めて記累積演算を行い２次元グラフに表示するために、比較検討したい複数の体動データを定量的にかつ視覚的に容易に比較検討できるようになるものであり、体動データでは、被験者の「就寝」や「起床」といった日によって発生時刻が異なるイベントを基準にして分析を行う必要性が高いので、この表示方法は特に有用である。
【００３６】
そして請求項３の発明においては、就寝中の体動データを対象としてその累積データを２次元グラフとして表示するにあたり、被験者が床から離れていたかどうかを差別化条件として、上記差別化条件に該当するところは非表示とするために、例えば就寝時間中にトイレに立って通常の睡眠状態とは異なる体動が生じた区間などを他の区間から区別して表示することができる。
【００３８】
また、請求項４の発明においては、体動データを累積することはノイズの弱化や時系列パターン推移地点の明瞭化などの一次処理的効果があるが、この累積グラフ画像を特徴抽出するために、被験者毎に異なるパラメータを準備することなく、同一の手続きでダイレクト、体動パターンの特徴を少数の特徴値にまとめることができる。
【００３９】
さらに請求項５の発明においては、累積データ軸および投影データ軸をそれぞれ縦横の軸とする２次元グラフ上のグラフ画像のデータを波形処理するものであり、抽出された安静状態（グラフのピーク）を微視的に観察し定量化したり、他の安静状態と比較することが容易となる。
【図面の簡単な説明】
【図１】本発明の実施の形態の一例における累積時系列表示（２夜の比較）の例の説明図である。
【図２】同上の累積時系列表示処理のアルゴリズムの一例を示すフローチャートである。
【図３】同上の差別化処理を行った累積時系列の表示の例の説明図である。
【図４】同上の差別化処理のアルゴリズムの一例を示すフローチャートである。
【図５】同上の累積時系列のグラフから特徴抽出（Ｈｏｕｇｈ変換を利用した直線検出）を行う例の説明図である。
【図６】同上の特徴抽出（Ｈｏｕｇｈ変換を利用した直線検出）についてのアルゴリズムの一例を示すフローチャートである。
【図７】同上の累積データ軸方向に投影処理した２次元グラフの例の説明図である。
【図８】同上の累積データ軸方向に投影処理するためのアルゴリズムの一例を示すフローチャートである。
【図９】従来の表示方法（２夜の比較）を示す説明図である。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a display method and an analysis method for performing two-dimensional display by processing data on the occurrence of body movement and the amount of movement measured over time.
[0002]
[Prior art]
For example, Physiology & Behavior Vol.65, pp659-663. 1999. (title: Actigraphic assessment of sleep in insomnia: application of the actigraph data analysis software.) FIG. 1 shows an example of software that displays time series information of body movement (activity count) obtained by an activity meter worn on the body, and analyzes and displays data to determine and display sleep / wakefulness. ing. The body movement time series in this case is data consisting of zero or a positive numerical value, and the time axis is taken on the horizontal axis, and the value of the generated event is plotted on the vertical axis.
[0003]
This has the advantage of being able to confirm detailed temporal fluctuations in measured body movement data, including the presence or absence of noise, but quantitatively understand the amount of body movement that occurred during a certain time interval. It is difficult. In particular, when comparing data, even if two or more graphs are compared, it is difficult to distinguish and visually understand the pattern where the difference is.
[0004]
FIG. 3 of Japanese Patent No. 2780464 analyzes the time series information of body movements measured at bedtime, and displays a two-dimensional display with the number of body movements and the average time of body movement appearance intervals as vertical and horizontal axes, respectively. The example done above is given. In this example in which time series information of body movement measured at bedtime is analyzed and the result of sleep evaluation is displayed, the time axis is abstracted and the display data is no longer time series information.
[0005]
[Problems to be solved by the invention]
When recording the occurrence of body motion and the change in body motion over time, the obtained data is often expressed as a time series bar graph as shown in FIG. Although this display method has an advantage that the state of detailed temporal fluctuation of measurement data including the presence or absence of noise can be confirmed, a certain time interval (for example, a sleeping time period, time in a specific room, 24 It is difficult to quantitatively and visually discriminate the amount of events that have occurred during time). In particular, even if the two data (graphs) shown in FIG. 9 are compared, it is difficult to visually understand where and how much the difference is.
[0006]
The present invention has been made in view of these points, and an object of the present invention is to provide a body movement display method for easily displaying a time-series characteristic of data accompanied by a temporal change. In addition, another object is to provide an analysis method capable of analyzing a body movement pattern based on a display result.
[0007]
[Means for Solving the Problems]
Thus, the present invention is directed to body motion data relating to the occurrence of body motion, which is the motion of a human body, or the amount of body motion generated, performing cumulative computation along a time axis to obtain cumulative data, and performing computer processing Is displayed as a two-dimensional graph with the accumulated time axis and accumulated data axis as vertical and horizontal axes, respectively , and further, the projection image is obtained by projecting the graph image on the displayed two-dimensional graph in the direction of the accumulated data axis. It is characterized in that the data axis and the projection data axis are displayed in a two-dimensional graph with vertical and horizontal axes .
[0008]
In order to display accumulated time series of body movement data expressed in time series, the amount of body movement and the temporal transition pattern of body movement can be easily determined quantitatively and visually. It is possible to obtain a graph in which the lengths of time (= the duration of rest) are arranged in the order of occurrence.
[0009]
In the invention of claim 2, display the accumulated data intended for body movement data Upon displaying a two-dimensional graph, a two-dimensional graph defines a predetermined timing as (such as origin and end point) reference point Further, in the invention of claim 3, it is discriminated whether or not the subject is away from the floor when displaying the accumulated data as a two-dimensional graph for the body movement data during sleeping. As a differentiating condition, a feature corresponding to the above differentiation condition is not displayed .
[0010]
According to a fourth aspect of the present invention, there is provided a method for analyzing body motion data from a graph image on a two-dimensional graph having the cumulative time axis and the cumulative data axis displayed in

claim

1, 2 or 3 as vertical and horizontal axes by computer processing. , The feature of the pattern of body motion data is digitized with a small number of feature values. Further, in the invention of claim 5 , the cumulative data axis and projection data displayed in claim 1 are provided. It is characterized in that waveform processing is performed by computer processing on graph image data on a two-dimensional graph with the axes as vertical and horizontal axes, respectively .
[0011]
DETAILED DESCRIPTION OF THE INVENTION
In the following, the present invention will be described in detail based on an example of an embodiment, and when the body motion data relating to the occurrence of body motion that is the motion of a human body or the amount of generated body motion is displayed as a graph, the body motion is , Analysis of camera images of human movements, infrared sensor output, piezoelectric sensor output, acceleration sensor worn on the body, or third party declarations and observations, and the subject's own declarations It can be measured. That is, in the present invention, any body motion detection method may be used as long as it can obtain data on the occurrence of body motion and the amount of body motion in time series.
[0012]
The time-series data is displayed as a graph as shown in FIG. 1 by data processing and graphing processing as shown in FIG. 2 using a computer. Here, FIG. 1 shows that the body motion of a person in the vicinity of the bed is detected by non-contact means (pyroelectric infrared sensor) during the time of sleeping (from the time of getting up to the time of getting up). Two nights are displayed at the same time in an example in which the dynamic time series is displayed as a cumulative time series. The horizontal axis is a time axis, the time of entering is set to 0, and the elapsed time after that is displayed in minutes. Also, the entry time and the wake-up time are displayed as cumulative “start point, end point”, respectively. In addition, the total accumulated amount is displayed as a numerical value in a graph so that the accumulated amount can be easily understood.
[0013]
By performing such a display, it is possible to intuitively understand the temporal transition of the body movement event at a glance, and it can be seen that it is more effective when two or more kinds of similar data are displayed in a superimposed manner.
[0014]
For example, from FIG. 1, the bedtime is almost the same on November 10 and November 12 (about 660 minutes = about 11 hours), and the total amount of body movement until getting up is November 12 ( 2213) compared to October 10 (1366), body movements increased on November 10 at almost the same rate throughout the bedtime period, while on November 12, the first half of the bedtime period It is possible to distinguish at a glance that there are few in the middle and many in the second half. In addition, the quantitative grasp of body movement can be compared for each body movement occurrence time zone.
[0015]
Incidentally, FIG. 9 is an example in which the same body movement information as that shown in FIG. 1 is displayed in a conventional time series graph. As in FIG. 1, the characteristics on the time series are not quantitatively or visually judged. I understand that
[0016]
In addition, measurement in the field is often performed continuously by automatic measurement, so the start and end points of the data are not always the points at which you want to start and end accumulation, and compare the two data. When you want to, the cumulative start and end points often vary from data to data. For example, for the purpose of “comparing body movements during sleep”, it is preferable to specify a wake-up time and a bedtime, but these times vary daily. Sleep time itself also varies from day to day. However, the time series graph shown in FIG. 9 is inconvenient for such a purpose.
[0017]
On the other hand, in the case shown in FIG. 1, in performing the cumulative time series display, the display procedure is executed by determining the reference points such as the cumulative start point and the end point (in some cases, the cumulative primary pause point, etc.) It is also suitable for the above purpose.
[0018]
FIG. 3 shows an example of cumulative time series display in which the differentiation processing shown in FIG. 4 is performed. In this example, whether or not the sleeping subject has left the bed is set as a differentiating condition. When the subject leaves the bed, the cumulative time series of the time zone is not displayed while the accumulation continues.
[0019]
When it is desired to display and analyze a record of body movement, it is often easier to understand the data by superimposing related information other than the body movement quantity quantified into a one-dimensional quantity. In FIG. 3, from the first half of bedtime to the middle of the day, I left the bed twice on November 10 and left four times on November 12, and the bed leaving behavior coincided with the large fluctuation point of body movement. From the time when the bedtime has passed 600 minutes (the end of bedtime), any data is in bed, but body movement frequently occurs and the accumulated time series is independent of bed leaving behavior. Can be seen at a glance.
[0020]
Also, in FIG. 3, a dotted line for indicating the elapsed time is displayed, and the cumulative body movement amount at the elapsed time indicated by the dotted line is displayed so that the data can be read more easily. Further, when the instructed elapsed time meets a predetermined differentiation condition, this is displayed in the expression “absent”.
[0021]
FIG. 5 shows a display of the result of the feature extraction (line detection using Hough transform) processing shown in FIG.
[0022]
Viewing a cumulative time-series graph as a digital image can be considered as an image composed of a combination of thin digital lines and curves, making it easy to perform various basic image processing (feature extraction processing). There is a merit. For example, if Hough transform is used, even if the accumulated time series is discontinuous, line segments such as straight lines and curves can be extracted, and the accumulated time series features can be digitized with a small number of feature values. In the Hough transform, for example, a linear element on the (x, y) image plane is expressed by the equation ρ = x · cos θ + y · sin θ in FIG.
By projecting onto a (ρ, θ) plane determined by Incidentally, in FIG. 5, the cumulative time series graph is finally digitized with four line segments. The digitization here means, for example, that this image is expressed abstractly by four sets of numerical values including “ρ, θ, corresponding pixel density d, start point S, end point E”. If features of the cumulative graph image are extracted in this way, the features of the body motion pattern can be combined directly into a small number of feature values in the same procedure without preparing different individual parameters for each subject.
[0023]
In the body movement data, among the characteristic values, θ indicating the inclination of the line segment and the corresponding pixel density d indicating the substantial length of the line segment are important values in analyzing the body movement. For example, a line segment where θ is close to π / 2 means a time zone in which body movement is less likely to occur, and a time zone in which body movement is intense as θ approaches 0 from π / 2. means. The higher the corresponding pixel density d, the longer the time period has been.
[0024]
In addition to the Hough transform, the line segment can be extracted by determining whether the properties of the chain code or the freeman code are satisfied.
[0025]
FIG. 7 shows an example of a two-dimensional graph as a result of performing projection processing in the cumulative data axis direction shown in FIG. Considering a method of analyzing a cumulative time series graph by a method other than feature extraction processing such as Hough transform, the cumulative time series graph is digitized and projected in the direction of the cumulative data axis to obtain projection data. When a two-dimensional graph with the axis and the projection data axis as vertical and horizontal axes is displayed, the graph is “a graph in which the length of time (= duration of rest) in which no body movement occurred is arranged in the order of occurrence”. means. FIG. 7 is an example in which the data (November 10) in FIG. 1 and FIG. 5 is projected, but a long rest state occurs twice in the first half of the data (accumulated body motion value near 100 and around 300). Thereafter, it can be seen that the cumulative body motion value increased to 1366 without any resting state. Thus, the projection process is convenient for extracting the occurrence and duration of a resting state (or resting state) from body motion data.
[0026]
In addition, the above projection processing is useful because it allows the state of occurrence of a resting state to be extracted from long-time body motion data so that it can be understood at a glance, but the extracted resting state is microscopically. Difficulties arise when you want to observe and quantify or compare with other resting states. When a small body movement occurs in the middle of a long resting state, the projection data corresponding to the resting state is divided. Therefore, the peak value on the vertical axis (number of projection data) of the graph of FIG. This is because it becomes difficult to compare two or more projection peaks.
[0027]
In order to compensate for this weak point, waveform processing is performed on the projection data, for example,
[Expression 1]

[0029]
It is effective to add a smoothing process such as This process eliminates unstable division and makes it easier to compare the peaks (= long rest period) of the projection data P (k). Note that α in the equation is a value determined by experiment, and is a parameter uniquely determined depending on a constant or k.
[0030]
Incidentally, as shown in FIG. 7, it is common that two or more peaks are seen in a projection graph obtained by processing one body motion data. At this time, each peak appearing in the projection data becomes clearer by the processing of the above formula 1, and each peak is easily classified. The shapes of the segmented peaks are various, including those with a high peak but a narrow width and those with a low peak but a wide width. The former means that a strong rest lasted for a long time, and the latter means that the rest level was not strong, but a state without a large body movement continued for a long time. Further, the classified peak component is expressed by the following formula:
[Expression 2]

[0032]
By integrating (Aj) like this, the duration of rest can be quantified and compared. Note that sj and ej in Equation 2 mean the starting point and the ending point of the cumulative body motion value constituting the peak j.
[0033]
The processes shown in FIGS. 4, 6, and 8 are all performed using a computer and graphed by the computer, and displayed on a display or the like.
[0034]
【The invention's effect】
As described above, according to the first aspect of the present invention, the amount of body movement and the temporal transition pattern of body movement can be easily determined quantitatively and visually in order to perform cumulative calculation and display it in a two-dimensional graph. be able to. Moreover, in order to display a two-dimensional graph in which the cumulative graph image is projected in the direction of the cumulative data axis to obtain projection data, and the cumulative data axis and the projection data axis are the vertical and horizontal axes, respectively, It becomes a graph that arranges the time length (= duration of rest) of the section where there was no occurrence in the order of occurrence ”, and the information on the duration of rest is useful for analysis of body movement, and this simple display method The duration of rest can be extracted, so that it can be easily discriminated visually.
[0035]
Further, in the invention of claim 2, in addition to the effect of the invention of claim 1, a plurality of bodies to be compared and examined in order to perform a cumulative operation with a predetermined timing as a reference point and display it in a two-dimensional graph. The motion data can be easily compared quantitatively and visually, and the body motion data is analyzed based on events that occur at different times depending on the day, such as “sleeping” or “wake-up” of the subject. This display method is particularly useful because it is highly necessary to do so.
[0036]
In the invention of claim 3, when the accumulated body movement data is displayed as a two-dimensional graph for the body movement data during sleep, whether or not the subject is away from the floor is used as a differentiation condition, the above-mentioned differentiation condition is met. In order to make it non-display , for example, a section where a body movement different from the normal sleep state occurs while standing in the toilet during bedtime can be displayed separately from other sections.
[0038]
In addition, in the invention of claim 4 , accumulating body movement data has a primary processing effect such as noise reduction and clarification of time series pattern transition points. Without preparing different parameters for each subject, direct and body motion pattern features can be combined into a small number of feature values in the same procedure.
[0039]
Furthermore, in the invention of claim 5, the waveform processing is performed on the data of the graph image on the two-dimensional graph having the accumulated data axis and the projection data axis as vertical and horizontal axes, respectively , and the extracted rest state (peak of the graph) Can be microscopically observed and quantified, or compared with other resting states.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram of an example of cumulative time series display (two night comparison) in an example of an embodiment of the present invention;
FIG. 2 is a flowchart showing an example of an algorithm of cumulative time series display processing same as above.
FIG. 3 is an explanatory diagram of an example of display of an accumulated time series that has been subjected to differentiation processing as described above.
FIG. 4 is a flowchart showing an example of the differentiation processing algorithm described above.
FIG. 5 is an explanatory diagram of an example of performing feature extraction (straight line detection using Hough transform) from the cumulative time series graph of the above.
FIG. 6 is a flowchart showing an example of an algorithm for feature extraction (line detection using Hough transform).
FIG. 7 is an explanatory diagram of an example of a two-dimensional graph that is projected in the cumulative data axis direction.
FIG. 8 is a flowchart showing an example of an algorithm for performing projection processing in the cumulative data axis direction.
FIG. 9 is an explanatory diagram showing a conventional display method (comparison between two nights).

Claims

Targets body motion data related to the occurrence of body motion, or the amount of body motion that occurs, and performs cumulative computation along the time axis to obtain cumulative data. The data axis is displayed as a two-dimensional graph with vertical and horizontal axes, respectively, and the graph image on the displayed two-dimensional graph is projected in the direction of the cumulative data axis to obtain projection data. The cumulative data axis and the projected data axis A method for displaying body motion, characterized in that each is displayed on a two-dimensional graph with vertical and horizontal axes .

Directed to a body movement data Upon displaying the accumulated data as a two-dimensional graph, the body according to claim 1, wherein the displaying a two-dimensional graph defines a reference point a predetermined timing such as the starting point and end point Display method.

In displaying the accumulated data as a two-dimensional graph for sleeping body movement data as a target, whether or not the subject is away from the floor is set as a differentiating condition. The method for displaying body movement according to claim 1, wherein:

By extracting features from a graph image on a two-dimensional graph with the accumulated time axis and the accumulated data axis as vertical and horizontal axes displayed in claim 1, 2 or 3, the number of features of the pattern of body motion data is reduced. A body movement analysis method characterized by quantifying the characteristic value.

A body motion analysis method comprising: performing waveform processing by computer processing on graph image data on a two-dimensional graph having the accumulated data axis and projection data axis displayed in claim 1 as vertical and horizontal axes, respectively .