JP6362521B2 - 行動分類システム、行動分類装置及び行動分類方法 - Google Patents

行動分類システム、行動分類装置及び行動分類方法 Download PDF

Info

Publication number
JP6362521B2
JP6362521B2 JP2014238581A JP2014238581A JP6362521B2 JP 6362521 B2 JP6362521 B2 JP 6362521B2 JP 2014238581 A JP2014238581 A JP 2014238581A JP 2014238581 A JP2014238581 A JP 2014238581A JP 6362521 B2 JP6362521 B2 JP 6362521B2
Authority
JP
Japan
Prior art keywords
state
person
action
acceleration
parts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014238581A
Other languages
English (en)
Other versions
JP2016097228A5 (ja
JP2016097228A (ja
Inventor
田中　毅
毅 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Systems Ltd
Original Assignee
Hitachi Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Systems Ltd filed Critical Hitachi Systems Ltd
Priority to JP2014238581A priority Critical patent/JP6362521B2/ja
Priority to PCT/JP2015/078664 priority patent/WO2016084499A1/ja
Publication of JP2016097228A publication Critical patent/JP2016097228A/ja
Publication of JP2016097228A5 publication Critical patent/JP2016097228A5/ja
Application granted granted Critical
Publication of JP6362521B2 publication Critical patent/JP6362521B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Description

本発明は、人物に装着したセンサが計測したデータに基づいて人物の行動を分類する技術に関する。
近年、生活習慣病予防のための運動指導において、歩行及びランニングなどのエクササイズと、エクササイズとは異なる日常生活の家事などの非運動性身体活動量とを増やす方法が世界的に着目されている。効率的な運動指導及び運動のモチベーション維持のため、一日の行動内容の変化をより詳細に可視化することが必要とされている。
特許文献１は、リストバンド型センサを用いてゴルフスイングのフォーム等の動作内容をディスプレイに表示する技術を開示している。
米国特許出願公開第２０１１／００５４７８２号明細書
特許文献１に示されているリストバンド型センサによる動作内容の表示は、加速度、及びジャイロのデータから、センサを付加した手の位置及び軌跡を推定し、推定された手の軌跡と、ゴルフスイングという予め規定された体及び脚のフォームを合わせて表示するものであり、手の動作以外を推定することができない。
上記と同様の複数のセンサを脚及び腰などの部位につけることによって、手以外の部位の動きについても推定し、表示することも考えられるが、複数のセンサを身につけるという負荷を伴うため、日常生活において長時間の計測が困難である。
上記の課題を解決するために、本発明の行動分類システムは、人物の所定の部位の加速度から算出される物理特徴量に基づいて前記人物の行動を判別するためのルールを含むモデル情報を保持し、人物の前記所定の部位に装着された加速度センサと、前記加速度センサによって計測された加速度から算出される物理特徴量及び前記モデル情報に基づいて前記人物の行動を分類する解析部と、を有し、前記モデル情報は、人物の所定の部位の加速度から算出される物理特徴量に基づいて前記所定の部位以外の一つ以上の部位の状態を判別するためのルールを含む部位状態判別モデル情報を含み、前記部位状態判別モデル情報は、ある時点の部位の状態を、それより前の時点の部位の状態と、部位の状態間の遷移確率と、に基づいて判別するためのルールをさらに含み、前記解析部は、前記加速度センサによって計測された加速度から算出される物理特徴量及び前記部位状態判別モデル情報に基づいて前記人物の前記一つ以上の部位の状態を推定する部位状態推定部と、推定された前記人物の一つ以上の部位の状態に基づいて前記人物の行動を分類する行動内容分類部と、を含み、前記行動内容分類部は、各時刻の前記一つ以上の部位の状態を示す値とその前の時刻の前記一つ以上の部位の状態を示す値との差を前記一つ以上の部位の状態を示す値の変化量として計算し、前記一つ以上の部位の状態を示す値の変化量が所定の閾値より大きい時点を境界として、前記人物の行動を複数の区間に区切り、前記複数の区間の前記一つ以上の部位の状態を示す値をクラスタリングすることによって、前記各区間の前記人物の行動を分類することを特徴とする。
本発明の一形態によれば、人物の所定の部位に装着したセンサの計測データに基づいて、当該人物の多様な行動を分類することができる。
本発明の実施例１の行動分類システムの主要な構成を示すブロック図である。 本発明の実施例１のセンサデバイスの外観及び加速度センサの典型的な配置を示す説明図である。 本発明の実施例１のサーバが実行する部位状態の推定及び行動内容分類の典型的な処理手順を示す説明図である。 本発明の実施例１のサーバが実行する典型的な処理手順を示すフローチャートである。 本発明の実施例１のサーバが部位状態判別モデルを生成するために実行する典型的な処理手順を示すフローチャートである。 本発明の実施例１のセンサデバイスによって計測可能な腕の３軸加速度データから算出可能な２種類の典型的な物理特徴量を示す説明図である。 本発明の実施例１のセンサデバイスによって計測可能な腕の３軸加速度データから判別可能な典型的な部位状態を示す説明図である。 本発明の実施例１のサーバが部位状態データから行動の変化点を検知し、行動内容を区切る典型的な方法を示す説明図である。 本発明の実施例１のサーバが保持する物理特徴量データの構成例を示す説明図である。 本発明の実施例１における部位状態判別モデルの第１の例の説明図である。 本発明の実施例１における部位状態判別モデルの第２の例の説明図である。 本発明の実施例１のサーバが保持する部位状態データの第１の構造例を示す説明図である。 本発明の実施例１のサーバが保持する部位状態データの第２の構造例を示す説明図である。 本発明の実施例１のサーバが保持する物理特徴量データの構成例を示す説明図である。 本発明の実施例１のサーバによる行動内容の分類の例を示す説明図である。 本発明の実施例１のサーバが保持する行動分類データのデータ構造例を示す説明図である。 本発明の実施例１のサーバが行動記録を表示するために出力する画面の構成例を示す説明図である。 本発明の実施例１のサーバが行動分析の結果を表示するために出力する画面の第１の構成例を示す説明図である。 本発明の実施例１のサーバが行動分析の結果を表示するために出力する画面の第２の構成例を示す説明図である。 センサのデータから行動内容を推定する従来の手法の典型的な例の説明図である。 本発明の実施例２の行動分類システムの主要な構成を示すブロック図である。 本発明の実施例３の行動分類システムの主要な構成を示すブロック図である。 本発明の実施例３のサーバが実行する部位状態推定及び行動内容推定の典型的な処理手順を示す説明図である。 本発明の実施例３のサーバが保持する行動分類データのデータ構造例を示す説明図である。
以下、図面を参照して本発明の実施例を説明する。
図１は、本発明の実施例１の行動分類システムの主要な構成を示すブロック図である。
本実施例の行動分類システムは、ユーザが装着するセンサデバイス１と、センサデバイス１と通信するＰＣ２又はスマートフォン３と、ネットワーク４を介してＰＣ２又はスマートフォン３と通信できるサーバ５と、から構成されている。センサデバイス１は、計測したセンサデータをＰＣ２又はスマートフォン３経由でサーバ５に送信する。サーバ５は、センサデータを解析してユーザの四肢など各部位の動きを推定し、推定した部位の動きの内容から行動内容を分類する。ＰＣ２又はスマートフォン３は、解析した結果をサーバ５からダウンロードしてユーザに閲覧させることができる。
センサデバイス１は主にマイコン（ＭＣＵ：Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１０、加速度センサ１１、メモリ１２、入力部１３、表示部１４及び通信部１５から構成されている。加速度センサ１１は、常時、所定の頻度（典型的には１秒間に２０〜１０００回程度の回数）でユーザの動きなどによる加速度を計測する。マイコン１０は、加速度センサ１１が計測した加速度のデータを、通信を制御して読みだしてメモリ１２に記録する。
センサデバイス１は、ユーザの身体の所定の部位に取り付けられる。本実施例では、ユーザの前腕部の手首部分に取り付けられる例を説明する。
メモリ１２に記録したセンサデータは、マイコン１０が通信部１５を制御して、ＰＣ２又はスマートフォン３と無線又は有線で通信可能なタイミングで自動的に、或いはユーザの任意のタイミングで、ＰＣ２又はスマートフォン３に送信することができる。送信するデータは通信部１５又はマイコン１０の公知の機能によって暗号化することで、他のユーザなどに読み取られることなく送信することができる。また、加速度センサ１１が計測したデータは、外部に送信するだけでなく、マイコン１０に予めプログラムとして記録した簡易的な解析機能によって解析し、その結果として得られた例えば歩数又は消費カロリーなどを表示部１４に表示することができる。
ＰＣ２及びスマートフォン３は、センサデバイス１、及び、インターネットなどのネットワーク４に接続されたサーバ５と通信することができる。ＰＣ２及びスマートフォン３は、センサデバイス１から受信したセンサデータをサーバ５に転送することができ、また、サーバ５に記録されている公開された情報を表示および操作することができる。
サーバ５は、ＣＰＵ５１、通信部５２、メモリ５４及びデータベース７０から構成されている。メモリ５４には、ＷＥＢ表示プログラム５３及び解析プログラム６０が格納される。サーバ５は、ＰＣ２又はスマートフォン３から送信されたセンサデバイス１のセンサデータを解析プログラム６０によって解析して人の部位の状態又は行動内容の情報に変換し、データベース７０に記録する。また、サーバ５は、解析するアルゴリズム及びルール自体を生成することもできる。
データベース７０は、例えばハードディスクドライブのような記憶装置によって構成される。解析プログラム６０及びＷＥＢ表示プログラム５３は、この記憶装置に格納され、必要に応じてその一部又は全部がメモリ５４にコピーされてもよい。
ＣＰＵ５１は、解析プログラム６０及びＷＥＢ表示プログラム５３の処理を実行し、演算することができる。すなわち、以下の説明においてこれらのプログラムが実行する処理は、実際にはＣＰＵ５１がこれらのプログラムに記述された命令に従って実行する。言い換えると、ＣＰＵがこれらのプログラムを実行することによって、後述する処理を実行する機能モジュールが実現される。なお、本実施例の機能モジュールは上記の通りＣＰＵ５１がプログラムを実行することによって実現されるが、これは一例であり、別の手段、例えば専用の論理回路等によって実現されてもよい。
通信部５２は、ネットワーク４を介してＰＣ２又はスマートフォン３といった他の機器と通信し、それらとの間でデータを送受信することができる。センサデバイス１からＰＣ２又はスマートフォン３を介して受信した加速度データは、データベース７０内部に記録される。
ＷＥＢ表示プログラム５３は、データベース７０に記録されたデータを、ネットワーク４を介してセンサデバイス１のユーザなどに公開することができる。解析プログラム６０は、物理特徴量算出プログラム６１、部位状態推定プログラム６２、行動内容分類プログラム６３、部位状態判別モデル生成プログラム６４及び部位状態判別モデル選択プログラム６５から構成される。データベース７０は、加速度データ８０、物理特徴量データ７１、部位状態データ７２、行動分類データ７３、部位状態判別モデルデータ７４、ユーザプロフィールデータ７５及び部位・物理量教師データ７６から構成される。
物理特徴量算出プログラム６１は、センサデバイス１で計測されて送信された加速度データ８０を処理し、人の動き又は行動に関わる特徴量を算出して物理特徴量データ７１に記録するプログラムであり、大量の時系列データから必要な特徴のみを抽出することができる。
部位状態推定プログラム６２は、物理特徴量データ７１をもとに、ユーザのそのときの各部位の動きを推定して部位状態データ７２に記録するプログラムであり、センサデバイス１の動きの特徴から、センサデバイス１を直接装着していない部位の動きについて、予め部位状態判別モデルデータ７４に記録されている各部位状態の組み合わせの統計的な特徴、分布の偏り、並びに、その特徴及び分布の偏りを分けるアルゴリズムによって推定することができる。また、部位状態推定プログラム６２は、解析のもととなる加速度データ８０を送信したユーザの性別、体重及び身長などの身体的特徴、並びに、趣味及び職業などのライフスタイルの特徴等の属性情報を含むユーザプロフィールデータ７５のうち、部位状態判別モデル選択プログラム６５が選択した一部、または全てを参照して、対応する部位状態判別モデルデータ７４を選択して利用する。これは、センサデバイス１の動きと各部位の動きや状態の統計的な関連が、身体的特徴及びライフスタイルによって異なる場合があるためである。
行動内容分類プログラム６３は、部位状態データ７２をもとに、任意の数に行動内容を分類して行動分類データ７３に記録するプログラムであり、行動の名前又は内容を定義することなく、もととなる各部位の状態の組み合わせのみによって日々の行動内容を分類することができる。
部位状態判別モデル生成プログラム６４は、予め取得した部位・物理量教師データ７６をもとに、部位状態判別モデルデータ７４を生成するプログラムである。部位・物理量教師データ７６には、日常生活における人の各部位の動きを示すモーションデータと、同時に記録したセンサデバイス１の加速度データ、又はその加速度データから算出した物理特徴量と、が含まれている。
例えば、本実施例の行動分類システムの運用を開始する前に、センサデバイス１を装着した複数の計測対象のユーザが日常生活と同様の行動をして、センサデバイス１がその間の複数の時刻の加速度データを取得する。それと同時に、公知の技術、例えば公知の製品であるモーションキャプチャによってそれらの計測対象のユーザの複数の部位の動きを示すモーションデータが取得される。このようにして取得された加速度データ又はそれから算出した物理特徴量と、モーションデータとが、取得された時刻に基づいて対応付けられ、部位・物理量教師データ７６として記録される。
部位状態判別モデル生成プログラム６４は、部位状態と物理特徴量との関連データに基づいて、それぞれの部位状態に対応する物理特徴量の統計的な特徴、分布の偏りを見出し、それに基づいて部位状態を判別するルール又はアルゴリズムを生成し、部位状態判別モデルデータ７４に記録する。
図２は、本発明の実施例１のセンサデバイス１の外観及び加速度センサ１１の典型的な配置を示す説明図である。
加速度センサ１１の配置によって、計測する３軸加速度の方向（Ｘ、Ｙ、Ｚ）が規定される。図１には例として一つのセンサデバイス１のみを示したが、実際にはサーバ５はそれぞれが異なるユーザに装着された複数のセンサデバイス１からの加速度データを処理する。解析プログラム６０は、それぞれのセンサデバイス１の加速度センサ１１の配置が同一の場合は、各センサデバイス１で同様の計算を実施することができる。一方、それぞれのセンサデバイス１の加速度センサ１１の配置が異なる場合は、センサデバイス１が、又はセンサデバイス１から加速度データを受信したサーバ５が、向きを統一するための座標系変換の処理を実行する必要がある。
図３は、本発明の実施例１のサーバ５が実行する部位状態の推定及び行動内容分類の典型的な処理手順を示す説明図である。
具体的には、図３には、加速度データ８０を、物理特徴量算出プログラム６１、部位状態推定プログラム６２、行動内容分類プログラム６３の順に処理する手順を示す。物理特徴量算出プログラム６１は、特徴量抽出処理１１０において、所定の時間単位の加速度データを切り出して演算を行う。切り出す区間は部位状態の推定をする時間に依存する。例えば、物理特徴量算出プログラム６１は、部位状態の推定を行う時間単位が分単位であれば１分間毎の加速度データを演算し、秒単位であれば１秒間毎の加速度データを演算する。
物理特徴量算出プログラム６１が算出する主な特徴量は、各軸の振幅１１１の所定の時間区間の平均、最大、最小及び分散などの統計値、周波数１１２、腕の回転角θ１１３及びφ１１４の所定の時間区間の平均や最大、最小、分散などの統計値などであるが、これらに限定せず、３軸加速度から算出される一般的な統計値又は信号処理した値を特徴量として使用することができる。
ここで、腕の回転角θ１１３は肩又は肘を軸として腕を上げ下げする動きの量を示すピッチ角であり、腕の回転角φ１１４は前腕の長手方向を軸として前腕を回転させる動き、すなわち手首をひねる動きの量を示すロール角である。上記の物理特徴量はデータベース７０の物理特徴量データ７１に記録される。
部位状態推定プログラム６２は、同じ時間区間又は互いに近い時間区間の物理特徴量データ７１から、部位状態判別モデルデータ７４を用いた部位状態の推定を行い、腕の状態１２１、肘の角度１２２、腿の状態１２３及び姿勢１２４などを推定する。それぞれの部位状態の推定に必要なデータは異なるため、部位状態推定プログラム６２は、物理特徴量データ７１から必要なデータのみを抽出する。また、推定したいユーザのユーザプロフィールデータ７５に合致するモデルを部位状態判別モデル選択プログラム６５が部位状態判別モデルデータ７４から選択し、部位状態推定プログラム６２がそれを使用する。腕の状態１２１、肘の角度１２２、腿の状態１２３及び姿勢１２４などの部位状態はデータベース７０の部位状態データ７２に記録される。
行動内容分類プログラム６３は、所定の区間の部位状態データ７２を参照し、各部位の状態の組み合わせの特徴が似ているデータの集合にクラスタリングすることで、行動内容を分類する。図３の例では、行動Ａ１３１〜行動Ｄ１３４等に分類される。部位状態データ７２に含まれるデータのうち、条件を制限せずに全ユーザのデータを対象としてクラスタリングを行ってもよいし、プロファイルが似ているユーザのグループのデータ、又は１ユーザに対象を限定してクラスタリングを行ってもよい。また時間区間についても例えば１週間など短い期間内の時間区間を対象としてクラスタリングを行ってもよいし、１年又は数年等の長い期間内の時間区間を対象としてもよい。対象を広げるほど汎用的な分類になるが、分類された結果が似通っている可能性が高まる。一方で、例えば短い期間内の時間区間、１ユーザのデータ、又はプロフィールが類似する複数ユーザのデータのみに対象を絞った場合は、結果が明確な分類として得られる可能性が高まるが、汎用性はなくなる。
部位状態判別モデルデータ７４は、予め取得した部位・物理量教師データ７６から、部位状態判別モデル生成プログラム６４によって生成される。部位・物理量教師データ７６は、実際のユーザが取得した部位状態と物理特徴量とを対応付けるデータベースであり、部位状態判別モデル生成プログラム６４は公知の機械学習などの処理によって、統計的な特徴又は分布の偏りによって判別するルール又は閾値を部位状態判別モデルデータ７４として記録する。
図４は、本発明の実施例１のサーバ５が実行する典型的な処理手順を示すフローチャートである。
図４に示す処理は、物理特徴量算出プログラム６１、部位状態判別モデル選択プログラム６５、部位状態推定プログラム６２及び行動内容分類プログラム６３が順に処理を実行して、加速度センサデータをもとにその時間の各部位の動き及び状態を推定し、各部位の動き及び状態を用いて行動内容を分類することを特徴とする。
サーバ５は、センサデバイス１で計測したデータをサーバ５が受信した後に処理Ｓ１００から解析の処理を開始する。処理Ｓ１０１で、物理特徴量算出プログラム６１は、受信した加速度センサデータから、解析する対象となる期間の加速度センサデータを読み出す。対象となる期間は、例えば、新たに受信した１ユーザの加速度センサデータのうち、未解析の期間である。次に、処理Ｓ１０２で、物理特徴量算出プログラム６１は、読み出した加速度センサデータを演算し、物理特徴量を算出し、その結果をデータベース７０の物理特徴量データ７１に記録する。
処理Ｓ１０３では、部位状態判別モデル選択プログラム６５が、処理Ｓ１０２で読み出されたデータを計測したセンサデバイス１を身に着けていたユーザの身体情報及びライフスタイルの情報を含むユーザプロフィールデータ７５を読み出して、読み出したユーザプロフィールに最も適合する部位状態判別モデル（例えば、読み出したユーザプロフィールに類似するプロフィールを持つユーザのグループから取得された部位・物理量教師データに基づいて生成された部位状態判別モデル）を部位状態判別モデルデータ７４から選択する。データに対応するユーザを識別するＩＤは、計測した加速度センサデータに付随し、解析した結果である物理特徴量データ７１及び部位状態データ７２にも同様に付加される。
処理Ｓ１０４では、部位状態推定プログラム６２が、解析する対象区間の物理特徴量を物理特徴量データ７１から読み出して、処理Ｓ１０３で選択した部位状態判別モデルによって部位状態を決定し、その結果を各部位ごとに部位状態データ７２に記録する。
処理Ｓ１０５では、行動内容分類プログラム６３が、行動内容の区切りを検出するために、各部位状態を部位状態データ７２から読み出し、各部位の状態の時間当たりの変化が最も大きいところを行動の変化点として検知する。このとき、行動を例えば一日単位で観測する場合においては、行動の区切りをあまり短く（例えば秒単位に）すると、人が後から区切りごとの行動を理解することが困難であるため、行動の区切りを短すぎない適切な長さ（例えば一分単位）とすることが望ましい。処理Ｓ１０６では、行動内容分類プログラム６３が、処理Ｓ１０５で検知した変化点をもとに行動内容を区切ることで、各行動の区間（すなわち各行動が行われていたと推定される時間帯）を設定する。処理Ｓ１０７では、行動内容分類プログラム６３が、区切られた行動の区間を各部位状態であるベクトルによってクラスタリングすることによって、行動内容を分類し、行動分類データ７３に記録する。処理Ｓ１０８で本発明の典型的な処理を終了する。
図５は、本発明の実施例１のサーバ５が部位状態判別モデルを生成するために実行する典型的な処理手順を示すフローチャートである。
具体的には、図５は、図４に示した行動分類をするための処理を実行するに当たって、予め必要となる部位状態判別モデルの生成処理について示しており、処理Ｓ２００から開始される。部位状態判別モデルの生成には、予め判別モデルを生成したい部位のモーションデータと、そのモーションデータと同時間にセンサデバイス１で計測した加速度データと、の双方が、統計的な判別が可能な時間長さの分だけ必要である。
処理Ｓ２０１では、部位状態判別モデル生成プログラム６４が、予め計測した解析する期間のモーションデータを読み出す。処理Ｓ２０２では、部位状態判別モデル生成プログラム６４は、処理Ｓ２０１で取得したモーションデータと同じ時刻から始まる同じ時間長さの加速度データ８０を読み出す。
処理Ｓ２０３では、部位状態判別モデル生成プログラム６４は、解析するモーションデータ、及び加速度データを計測した対象であるユーザのプロフィールデータ７５を読み出す。ユーザのプロフィールデータ７５は、モーションデータ及び加速度データを計測した対象であるユーザの身体情報及びライフスタイル等を示す属性情報である。
このようなプロフィールによって、腕などの動きと他の直接計測していない部位との関連付けが異なる場合に、プロフィールが類似するユーザのグループごとに判別モデルを生成することによって、行動の分類の精度を上げるために、ユーザプロフィールデータ７５を使用することができる。ただし、例えばそれほど高い精度が要求されない場合、又は、プロフィールを考慮しなくても十分な精度の分類が可能であると考えられる場合等には、部位状態判別モデル生成プログラム６４は、ユーザプロフィールデータ７５を取得せずに、全ユーザに共通する判別モデルを生成してもよい。いずれの場合も、実際に計測されたデータに基づいて判別モデルを生成することによって、精度の高い分類が可能になる。
処理Ｓ２０４では、部位状態判別モデル生成プログラム６４は、解析する時間単位を設定する。時間単位は、例えば、分単位又は秒単位などであり、判別したい部位の動きに適した時間単位を設定してもよいし、得たい部位状態の粒度によって設定することもできる。例えば、最終的に分類したい行動が分単位で判別される場合、部位状態も分単位で判別した結果をデータベース７０に記録することが望ましい。
処理Ｓ２０５では、部位状態判別モデル生成プログラム６４は、処理Ｓ２０４で設定した時間単位で、物理特徴量を算出する。処理Ｓ２０６では、部位状態判別モデル生成プログラム６４は、モーションデータから処理Ｓ２０５で設定した時間単位で定義した部位状態を読み出す。処理Ｓ２０５及びＳ２０６で取得した部位状態と物理特徴量を教師データ７６とする。処理Ｓ２０７では、部位状態判別モデル生成プログラム６４は、公知の機械学習などの統計的な判別分析手法によって判別モデルを生成する。部位状態判別モデル生成プログラム６４は、処理Ｓ２０７で生成した判別モデルを、処理Ｓ２０３で取得したユーザのプロフィール情報と関連付けて部位状態判別モデルデータ７４に記録する。
図６は、本発明の実施例１のセンサデバイス１によって計測可能な腕の３軸加速度データから算出可能な２種類の典型的な物理特徴量を示す説明図である。
ゼロクロス回数２０２は、加速度波形２０１が単位時間あたりに所定の閾値を超えて変化した回数を合計したものである。また、ピッチ角（θ）２１１はセンサデバイス１の地面に対する上げ下げによって生じる角度（言い換えると、前腕の長手方向の向き、例えば水平面と前腕の長手方向とがなす角度）であり、ロール角（φ）２１２は前腕の長手方向を軸とした前腕の回転角を示している。
具体的には、センサデバイス１が計測した３軸加速度データから、重力加速度の方向（すなわち鉛直方向）に対する当該センサデバイス１の向きが計算される。例えば、時刻ｔにおけるＸ、Ｙ、Ｚ軸方向（図２参照）の加速度がそれぞれｘ（ｔ）、ｙ（ｔ）、ｚ（ｔ）である場合、時刻ｔにおけるピッチ角θ（ｔ）及びロール角φ（ｔ）は、それぞれ式（１）及び（２）によって計算される。
図７は、本発明の実施例１のセンサデバイス１によって計測可能な腕の３軸加速度データから判別可能な典型的な部位状態を示す説明図である。
部位状態として腿の状態を例示すると、腿の角度に応じた部位状態として立位状態２２１及び座位状態２２２が定義され、部位状態推定プログラム６２がそれぞれの時間における腿の部位状態を判別する。日常動作において、立位と座位のそれぞれにおける腕の使い方が大きく異なるため、腕に取り付けたセンサデバイス１の３軸加速度データから統計的な判別が可能となる。また、肘の部位状態を例示すると、肘伸ばし状態２２３及び肘曲げ状態２２４等が定義される。この例でも、肘の状態に応じた腕の使い方の相違に基づいて、統計的に肘の部位状態を判別することができる。すなわち、腕の加速度データのみからは、図６のピッチ角２１１しかわからないが、加速度の変化方向及び強さによって、肘を曲げて腕を動かしたことによる加速度の変化と、肘を曲げないで肩を軸として腕を動かしたことによる加速度の変化とを区別することができる。
図８は、本発明の実施例１のサーバ５が部位状態データ７２から行動の変化点を検知し、行動内容を区切る典型的な方法を示す説明図である。
図８には、腿、肘及び腕の部位状態を使用する例を示す。この場合、腿状態２３１、肘状態２３２、腕状態２３３はそれぞれ連続的又は離散的な値となる。例えば、腿状態２３１を示すｇ（ｔ）は、立位又は座位のいずれかを示す離散的な値であってもよいし、肘状態２３２を示すｈ（ｔ）及び腕状態２３３を示すｋ（ｔ）は、それぞれ、肘及び腕の角度を示す離散的な値であってもよい。
行動内容分類プログラム６３は、腿状態２３１、肘状態２３２及び腕状態２３３の総合的な変化を変化量２３４として算出する。変化量２３４を示す値ｆ（ｔ）は、例えば式（３）によって算出される。これは、それぞれの部位状態を示す値の変化量に所定の重み係数ａ、ｂ、ｃを掛けて合計した値である。部位状態を示す値の変化量は、時刻ｔに推定された部位状態とその前の時刻ｔ−ｉに推定された部位状態との差であり、ｉは例えば部位状態の推定を実行する時間間隔であってもよい。
f(t)=a(g(t)-g(t-i))+b(h(t)-h(t-i))+c(k(t)-k(t-i)) ・・・（３）
行動内容分類プログラム６３は、この変化量２３４が所定の閾値２３５を超えた点を変化点２３６として検出する（Ｓ１０５）。実際の行動の内容が変化するときには部位状態も変化する可能性が高いため、部位状態の変化量に基づくことで適切に行動を区切ることができると期待される。閾値２３５は、変化点２３６の間隔が常に一定の長さ以上となるように設定するのが望ましい。ここで一定の長さとは、人が後から振り返って何をしていたかを認識可能な長さ、例えば１０分以上が適している。変化点２３６に区切られた行動２３８、２３９などが、それぞれ行動内容を分類する区間（すなわちそれぞれの行動が行われていたと推定される時間帯）となる。
図９は、本発明の実施例１のサーバ５が保持する物理特徴量データ７１の構成例を示す説明図である。
物理特徴量データ７１の１行が、１ユーザの、１時間単位のデータを示している。ユーザＩＤ３０１はユーザを識別するためのＩＤである。日時３０２は、データを計測した実際の日時を示しており、部位状態の判別に適した時間単位となっている。例えば、分単位の部位状態を判別する場合においては、日時３０２に示すように分単位の物理特徴量を算出ことが望ましい。ゼロクロス３０３、３０４、３０５はそれぞれ、図８に示した方式で算出したＸ、Ｙ、Ｚ軸のゼロクロス回数を示している。加速度波形の特徴となる物理量として、他に振幅及び微分値の時間単位中の最大、最小、平均、分散などの統計値が適用可能である。最大角度３０６、３０７はそれぞれがピッチ角（θ）２１１、ロール角（φ）２１２の単位時間中の最大値を示している。この他に、計測値の最小値、平均値、分散などの統計値を物理特徴量として適用できる。
図１０は、本発明の実施例１における部位状態判別モデルの第１の例の説明図である。
具体的には、図１０は、立位状態２２１と座位状態２２２の物理特徴量の、物理特徴量空間内の分布２４１、２４２の例を示している。これらは、図７に示した立位状態２２１と座位状態２２２とを判別する判別モデルとなる。
人の日常生活において、立っている場合と座っている場合においては、手の使い方の制約が異なるため、腕の動きを示す物理特徴量に、統計的な偏りが生じる。この偏りによって、公知の機械学習による判別分析手法で物理特徴量を分布２４１及び２４２に分けることで、物理特徴量によって、腿の向きが立位状態２２１又は座位状態２２２のいずれであるかの判別が可能となる。他の部位についても同様な判別が可能である。また、この判別モデルはユーザのライフスタイル及び体格などにも依存しているため、事前に知りうるユーザプロフィール情報に基づいてユーザを互いに類似するプロフィールを持つユーザのグループに分けて判別モデルを生成することが最適である。
図１１は、本発明の実施例１における部位状態判別モデルの第２の例の説明図である。
具体的には、図１１は、それぞれが上腕の状態である状態２５１、２５２、２５３の間の遷移モデルを示している。これらは、上腕の向きを判別する判別モデルであり、図７に示した肘曲げ状態２２４、肘伸ばし状態２２３を推定するために必要となる。
通常、前腕（本実施例では、手首）に付けた加速度センサの角度だけでは、上腕の角度を知ることができない。図１１に示す遷移モデルは、計測された加速度から特定される前腕の振りの向き及び強さによって、それぞれの上腕の状態から別の上腕の状態への遷移を定義することによって、次の上腕の向きを推定するものである。この遷移モデルは、日常動作においては、腕が下向きのときに、高確率で上腕も下向きであることに基づいて、下向きの状態２５２を起点としており、下向きからの振り上げの強さによって、状態２５１（すなわち上腕が上を向いている状態）又は状態２５３（すなわち上腕が横方向（水平方向）を向いている状態）への遷移を区別することができる。部位状態判別モデルデータ７４は、上記のような、ある時点の部位状態をそれより前の時点の部位状態に基づいて判別するためのルールを含んでもよい。部位状態他の部位についても同様の方法で状態を判別できる場合がある。このように状態遷移の確率を考慮した判別モデルを生成することによって、高精度な行動の分類が可能になる。
図１２は、本発明の実施例１のサーバ５が保持する部位状態データ７２の第１の構造例を示す説明図である。
図１２は、特に、分単位の判別に適した部位についてのデータ構造の例を示す。部位状態データ７２の１行が１ユーザの時間単位ごとのデータを示している。ユーザＩＤ３１１は、センサデバイス１を装着するユーザを識別するための情報であり、センサデバイス１で計測した際に計測値のデータに付加され、解析後もその計測値から算出された特徴量、部位状態等の値に引き継がれる。日時３１２はセンサデバイス１で加速度を計測した日時をもとに付加される情報である。腿状態３１３は図７に示した立位状態２２１と座位状態２２２の判別結果を２値で（例えば一方を０、もう一方を１で）示す。同様に、姿勢状態３１４は体が寝た状態か立っている状態か（言い換えると体全体の向き）を２値で示す。日常生活における各部位と腕の関係のデータから判別モデルを同様に作成することで、上記の腿状態３１３及び姿勢状態３１４以外の部位状態の項目を増やすことができる。
図１３は、本発明の実施例１のサーバ５が保持する部位状態データ７２の第２の構造例を示す説明図である。
図１３は、特に、秒単位の判別に適した部位についてのデータ構造の例を示す。部位状態データ７２の１行が１ユーザの時間単位ごとのデータを示している。ユーザＩＤ３２１は、図１２のユーザＩＤ３１１と同様に、センサデバイス１を装着するユーザを識別するための情報であり、センサデバイス１で計測した際に付加され、解析後も引き継がれる。日時３２２はセンサデバイス１で加速度を計測した日時をもとに付加される情報である。肘状態３２３は図７に示した肘曲げ状態２２４、肘伸ばし状態２２３の判別結果を連続値すなわち角度で示す。上腕状態３２４は上腕の状態を離散値で（例えば、上向き、横向き、下向きのそれぞれに０、１、２といった値を割り当てることによって）示すものであり、図１１に示す判別モデル例に基づく判別結果である。日常生活における各部位と腕の関係のデータから判別モデルを同様に作成することで、上記の肘状態３２３及び上腕状態３２４以外の部位状態の項目を増やすことができる。
図１４は、本発明の実施例１のサーバ５が保持する物理特徴量データ７１の構成例を示す説明図である。
物理特徴量データ７１の１行が、１ユーザの、時間単位ごとのデータを示しており、図１４は、特に、時間単位が秒単位の部位状態判別を行う場合に必要となる秒単位の物理特徴量の例を示している。
ユーザＩＤ３３１はユーザを識別するためのＩＤである。日時３３２は、データを計測した実際の日時を示しており、部位状態の判別に適した時間単位となっている。振幅３３３、３３４、３３５はそれぞれ、図８に示した方法で算出したＸ、Ｙ、Ｚ軸の加速度の強さの時間単位あたりの平均値を示している。加速度波形の特徴となる物理量として、他にゼロクロス回数、微分値の時間単位中の最大、最小、平均、分散などの統計値が適用可能である。平均角度３３６、３３７はそれぞれがピッチ角２１１、ロール角２１２の単位時間中の平均値を示している。この他に、ピッチ角２１１及びロール角２１２の最小値、最大値、分散などの統計値を物理特徴量として適用できる。
図１５は、本発明の実施例１のサーバ５による行動内容の分類の例を示す説明図である。
行動内容分類プログラム６３は、部位状態データ７２に記録されている複数の部位状態を用いて変化点検知を行い、変化点によって区切られた行動区間ごとに、その行動区間に対応するユーザの複数の部位状態（例えば腿状態、姿勢状態、肘状態、上腕状態等）の値を要素とする部位状態ベクトルを生成する。図１５は、そのようにして生成された、例えば複数のユーザの複数の行動区間の部位状態ベクトルの部位状態ベクトル空間における分布の例を示している。
ユーザの行動の内容によって部位状態の値の統計的な特徴や分布の偏りが異なることから、行動内容分類プログラム６３は、部位状態ベクトルをクラスタリングすることによって、各行動区間の行動を分類することができる（Ｓ１０７）。図１５の例では、クラスタリングによって行動内容が行動分類２６１〜２６４に分類される。同一のクラスタに分類された行動区間では、部位状態の偏りが互いに類似することから、同種の（同一又は類似する内容の）行動が行われていたと推定される。クラスタリングの具体的な方法は、公知の任意の方法を使用できるため、詳細な説明を省略する。
このような部位状態に基づく行動内容の分類によって、ひとつひとつの行動に名前を定義することなく、また、網羅性などを考慮しなくても、部位状態の特徴によって網羅的に行動内容を把握することができる。また、部位状態から実際の行動内容の名称を類推することができる。
図１６は、本発明の実施例１のサーバ５が保持する行動分類データ７３のデータ構造例を示す説明図である。
行動分類データ７３の１行に１ユーザの１行動区間の行動が記録されており、部位状態の変化点によって区切られた行動区間の時間幅と、その分類のＩＤが記録されていることを特徴とする。ユーザＩＤ３５１はユーザを識別するためのＩＤである。開始時刻３５２及び終了時刻３５３はそれぞれ行動の１区間の開始及び終了の日時を示している。また、行動３５４は、分類された行動のＩＤ又は名称を記録する。
図１７は、本発明の実施例１のサーバ５が行動記録を表示するために出力する画面の構成例を示す説明図である。
図１７に示す画面４０１は、部位状態データ７２、および行動分類データ７３に基づいて、ユーザの１日の行動内容を表示するものであり、各行動区間における動きの内容を部位状態データによって具体的に示し、そこから想定される実際の行動の候補を表示し、ユーザが実際の行動内容を入力してその結果を記録することができる。行動内容表示４０２は、部位状態の変化によって区切られた行動区間を、行動を分類した結果によって（例えば同種の行動が行われたと推定される行動区間を同色で表示することによって）色分けし、時系列で表示できる。このような色分けは表示の方法の一例であり、行動を分類した結果を読み取れる方法である限り、例えば行動の内容を模様、記号又は文字によって区別するなど、種々の方法を採用することができる。これによって、ユーザは行動を分類した結果を容易に認識することができる。
行動内容表示４０３は、行動内容表示４０２に表示された複数の行動区間から選択したひとつの行動区間の内容を具体的に示すものである。例えば、行動内容表示４０３は、選択した行動区間の行動分類が部位状態のベクトル空間のどの位置に特徴付けられるかを示す図４０３Ａと、部位状態から特定される人の形状によってユーザの動きを示す図４０３Ｂと、行動の名称の候補４０３Ｃと、ユーザが実際の行動の名称を入力するフォーム４０３Ｄと、を示すことができる。
ユーザがフォーム４０３Ｄに入力した行動の名称はデータベースなどに記録され、ユーザ本人から、他のユーザの同じ行動分類において、名称の候補として参照することができる。本画面４０１によって、ユーザの多様な行動を網羅的に可視化し、また、正しい名称の入力を促して収集することができる。
例えば、図４０３Ａには、処理Ｓ１０７で生成された部位状態ベクトルのクラスタのうち、選択された行動区間の部位状態ベクトルを含むクラスタが表示される。図４０３Ｂには、当該クラスタに属する部位状態ベクトルから特定されるユーザの各部位の状態が表示される。例えば、図４０３Ｂに例示するように、特定されたユーザの各部位の状態から推定される、座位、上腕が横向き（水平）、かつ前腕が水平、といったユーザの体の形状が図示されてもよい。行動の名称の候補４０３Ｃには、ユーザの体の形状から推定される行動の名称の候補が表示される。例えば、座位、上腕が水平、かつ前腕が水平の場合、「ＰＣ作業」及び「車の運転」等が候補として挙げられる。
ユーザは、これらの表示を参照して、自分がこの行動区間の時間帯に実際に行っていた行動を思い出して、その実際の行動に該当する名称が候補として表示されている場合、それを選択してフォーム４０３Ｄに入力することができる。実際の行動に該当する名称が候補として表示されていない場合、ユーザは、その名称をフォーム４０３Ｄに入力することもできる。
このようにして入力された名称は、次回以降に表示される別の行動区間に関する名称の候補４０３Ｃとして表示することができる。具体的には、当該別の行動区間の部位状態ベクトルが、以前に名称を入力された行動区間の部位状態ベクトルと同一のクラスタに属する（すなわち同種の行動に分類された）場合、当該入力された名称を名称の候補４０３Ｃとして表示することができる。
例えば、Ｗｅｂ表示プログラム５３が画面４０１を表示するための画面データを作成して出力し、サーバ５がネットワーク４を経由してその画面データをＰＣ２又はスマートフォン３に送信し、ＰＣ２又はスマートフォン３がこの画面データに基づいて画面４０１を表示してもよい。この場合、ＰＣ２又はスマートフォン３が表示装置として使用される。さらに、フォーム４０１Ｄへの入力は、ＰＣ２又はスマートフォン３に対して行われてもよい。この場合、ＰＣ２又はスマートフォン３が入力装置として使用される。以下に説明する分析画面４１１及び４２１についても同様である。
図１８は、本発明の実施例１のサーバ５が行動分析の結果を表示するために出力する画面の第１の構成例を示す説明図である。
図１８に示す分析画面４１１は、センサデバイス１のユーザ、又はセンサデバイス１のユーザに健康アドバイスをする指導者が閲覧する画面の一例であり、センサデバイス１が計測した加速度データとは別途記録した毎日の体重増加と関係性の高い行動内容を分析してその結果を表示することを特徴とする。分析画面４１１は、関連する行動の割合表示４１２と、行動内容表示４１３及び４１４と、によって構成される。行動内容表示４１３は、体重増加と関連の高い行動内容が、毎日の生活の中で高い（例えば所定の値以上の）頻度で現れる時間帯を示している。この時間帯の表示と、割合表示４１２とを合わせて、指導者又はユーザ自身がその当時のユーザの実際の行動内容を想起することを促すことができる。
また、行動内容表示４１４は、推定される行動内容の動きを人の形状で示し、その形状に対応する名称の候補と、当該行動が行われる時間の増減を促すなどのアドバイスを示すことができる。人の形状及びそれに対応する名称の候補は、図１７を参照して説明したものと同様の方法で、行動内容分類プログラム６３等が特定することができる。
推定される行動内容に対応するアドバイスは、体重変化と、体重増加に関連する行動の時間の長さなどとの相関性から生成することができる。例えば、図１８に示すユーザの行動Ｂの名称の候補が「ＰＣ作業」及び「車の運転」であり、これまでに記録された当該ユーザの毎日の体重増加と、行動Ｂが行われる時間の長さとの間の相関が、他の行動の時間との相関と比較して（又は所定の閾値より）高く、その相関が正の相関であり、かつ、当該ユーザの体重を増やさないことが望まれる場合、当該相関が高い行動Ｂを示す情報（図示の例では行動Ｂの動きを示す人の形状）が表示され、さらに、アドバイスとして、行動Ｂを行う時間を減らすことを促すメッセージが表示される。逆に、体重増加と行動Ｂが行われる時間の長さとの間に負の相関がある場合、又は、当該ユーザの体重を増やすことが望まれる場合には、行動Ｂを行う時間を増やすことを促すメッセージが表示される。
上記の例では、体重増加との相関が高い行動内容として、分類された行動のいずれかと、その行動が行われる時間の長さとの組合せ（例えば行動Ｂが行われた時間の長さ）を挙げたが、分類された行動の内容を示す他のパラメータを使用して、体重増加との相関が高い行動内容を特定してもよい。分類された行動の内容を示す他のパラメータは、例えば、分類された行動を行うときの人物の動きの激しさ等を示すパラメータを取得できる場合には、そのようなパラメータであってもよいし、分類された行動を実行した回数を計数できる場合にはその回数であってもよい。
図１９は、本発明の実施例１のサーバ５が行動分析の結果を表示するために出力する画面の第２の構成例を示す説明図である。
すなわち、図１９は、図１８と同様に、センサデバイス１などの計測機器以外で計測した情報と行動内容との関連を分析してその結果を表示する画面の別の一例である。疲れのように、センサでは計測困難な主観情報は、アンケート形式でユーザから収集し、収集した結果と、センサデバイス１で計測される行動内容との関連を示すことができる。
分析画面４２１は、行動の割合表示４２２、行動内容表示４２４、行動時間と主観情報の変化グラフ４２３、及び、主観情報の入力フォーム４２５で構成される。行動の割合表示４２２及び行動内容表示４２４は、それぞれ図１８に示した行動の割合表示４１２及び行動内容表示４１４と同様であるため、詳細な説明は省略する。ユーザは、入力フォーム４２５を操作して現在の疲労の程度を示す情報を入力することができる。入力フォーム４２５では、図に示すようなアナログ形式での入力の他、質問形式で疲労の程度を示す情報を収集することもできる。
変化グラフ４２３は、入力した主観情報との相関が最も高い行動の時間変化と、主観情報の変化とを合わせて表示する。ユーザは、これを見ることで、主観情報（例えば疲労の程度）と行動との関連性を直感的に把握することができる。
図１８及び図１９の例に示した体重増加及び疲労の程度は、ユーザの健康状態の変化を示すパラメータの例であり、サーバ５は、他のパラメータ（例えば血圧等）について上記と同様の方法で行動内容との相関を分析し、その結果を出力してもよい。上記の例では健康状態を示すパラメータと行動内容との相関の分析及びその結果に基づくアドバイスの生成はＳ１０７において行動内容分類プログラム６３によって行われるが、これらの処理がＳ１０７の後で他の機能モジュール（例えば図示しない専用のプログラム）によって行われてもよい。
図２０は、センサのデータから行動内容を推定する従来の手法の典型的な例の説明図である。
この手法は、予めゴルフのスイングなど制約条件を設定した上で、腕の動きのみを加えるものである。手順８１で３軸加速度、およびジャイロなどを計測し、手順８２で速度、手順８３で角度などの物理量を推定し、手順８４で速度や角度を合わせることで手首の軌道を推定する。手順８５で予めゴルフのスイングの条件を設定するため、可動する手首及び腕以外の位置はゴルフのフォームで固定される。手順８６では、ゴルフスイングのフォームに、可動する手首の位置の軌道を追加し、手首の動きに伴う腕及びゴルフクラブの動きを追加する。腕及びゴルフクラブの動きは手首の位置から容易に推定可能である。
これに対して、図１〜図１９に示した本発明の実施例１によれば、例えばリストバンド型センサで計測できる手首の動きの物理的特徴量（振りの強さ、角度など）と、日常生活における動作の予め取得した統計的なパターンを用いて、直接つながってはいない四肢の動き（例えば上腕や太腿）を推定する。さらに、推定した四肢の動きの組み合わせや、日常生活における四肢の動きの組み合わせの統計的な集合によって、行動内容を分類する。これによって、例えばリストバンド型センサのような日常生活において簡便に身につけることのできるセンサのデータのみを用いて、図２０に示すゴルフのスイングのような特定の行動に限らず、１日の多様な行動内容を詳細に分類し、各時間の行動内容を推定することができる。このため、生活習慣病予防のための運動指導において、改善すべき行動内容や、行動を改善した結果を可視化することができる。
また、実施例１のセンサデバイス１は、加速度を計測して取得したデータを送信する機能を有し、行動分類のための計算及び計算結果の表示等は行わない。このため、センサデバイス１を容易に小型化、軽量化及び低消費電力化することができ、これによってセンサデバイス１を長時間装着する人物の負担を軽減することができる。また、実施例１のＰＣ２及びスマートフォン３は、加速度データの中継装置、行動分類結果の表示装置及び行動内容の入力装置としての機能を有し、行動分類のための計算は行わないため、持ち運びの容易な小型の計算機によって実現することができる。実施例１のサーバ５は、ネットワーク４を介してセンサデバイス１、ＰＣ２及びスマートフォン３等と通信をすることで、サーバ５自体を持ち運ぶ必要がなくなるため、十分な計算能力を有する計算機を使用して人物の行動を分類する処理を高速に実行することができる。
次に、本発明の実施例２を説明する。以下に説明する相違点を除き、実施例２の行動分類システムの各部は、図１〜図１９に示された実施例１の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。
図２１は、本発明の実施例２の行動分類システムの主要な構成を示すブロック図である。
実施例２のスマートフォン３が有する機能モジュール及びデータは、実施例１のサーバ５が有するものと同様であるため、それらに関する詳細な説明は省略する。ただし、スマートフォン３は表示部５５を有し、図１７から図１９に示すような画面は、ＷＥＢ表示プログラム５３が作成した画面データに基づいて表示部５５が表示する。センサデバイス１の表示部１４が十分な表示能力を有している場合には、ＷＥＢ表示プログラム５３が作成した画面データをスマートフォン３からセンサデバイス１に送信し、それに基づいて表示部１４が図１７等の画面を表示してもよい。
本実施例において、スマートフォン３の代わりにＰＣ２又はその他の任意の種類の端末装置が使用されてもよい。その場合、ＰＣ２等の構成は図２１に示すスマートフォン３と同様である。また、例えばスマートフォン３を十分に小型化できる場合には、スマートフォン３とセンサデバイス１とを一体化して人物に装着してもよい。
以上の実施例２によれば、実施例１と同様に、人物の行動を分類し、可視化できるという効果に加えて、センサデバイス１で計測したデータをインターネット経由でサーバ５に送ることなく解析することができるため、応答速度に優れるという効果が得られる。
次に、本発明の実施例３を説明する。以下に説明する相違点を除き、実施例２の行動分類システムの各部は、図１〜図１９に示された実施例１の同一の符号を付された各部と同一の機能を有するため、それらの説明は省略する。
図２２は、本発明の実施例３の行動分類システムの主要な構成を示すブロック図である。
実施例３の解析プログラム６０は、図１で示した実施例１の解析プログラム６０に、行動内容判別モデル生成プログラム６６、行動内容判別モデル選択プログラム６７及び行動内容推定プログラム６８を加えたものである。実施例３のデータベース７０は、図１で示した実施例１のデータベース７０に行動内容判別モデルデータ７７及び行動・部位教師データ７８を加えたものである。
実施例１の行動内容分類プログラム６３は行動内容を部位状態の特徴によって意味を特定しない行動に分類していた。すなわち、実施例１では、同種の行動を実行している複数の行動の区間を特定することができるが、その行動が何であるかを特定することはできない。これに対して、実施例３では、行動内容推定プログラム６８が、行動内容を単に分類するのではなく、名前があり、意味のある行動として判別することによって、例えばデスクワーク又は家事といった意味のある行動の種類に分類することができる。
行動内容推定プログラム６８は、部位状態から行動内容を判別するために、予め生成した行動内容判別モデルデータ７７を用いる。また、行動内容判別モデル選択プログラム６７は、ユーザプロフィールデータ７５をもとに、センサデバイス１で計測したユーザに適した判別モデルを選択することができる。これは、ユーザの年齢、体格、あるいは生活スタイルによって、部位状態と行動内容の関連付けが異なる場合があるためである。ただし、実施例１の部位状態の判別の場合と同様に、ユーザプロフィールを考慮せずに行動内容を判別してもよい。
行動内容判別モデル生成プログラム６６は、予め計測した行動と部位状態とを同時に記録した行動・部位教師データ７８を用いて、行動内容判別モデルデータ７７を生成することができる。
具体的には、例えば、実施例１と同様の方法で複数の計測対象のユーザの加速度データ及びモーションデータを取得するときに、さらに、それらの加速度データ及びモーションデータが取得された時点で実行されていた行動の内容を示す名称を記録し、それらに基づいて、実行された行動の内容と、その行動が実行されたときの部位状態とを対応付ける情報を行動・部位教師データ７８として記録してもよい。
行動内容判別モデル生成プログラム６６は、行動・部位教師データ７８に基づいて、各行動の内容に対応する部位状態の統計的な特徴等を算出し、それに基づいて行動内容を判別するためのルールを含む行動内容判別モデルデータ７７を生成する。このとき、行動内容判別モデル生成プログラム６６は、部位状態判別モデルデータ７４の場合と同様に、計測対象のユーザの属性を示すユーザプロフィールデータ７５と対応付けて行動内容判別モデルデータ７７を作成してもよい。
あるいは、実施例１と同様の方法で複数の計測対象のユーザの加速度データ及びモーションデータを取得するときに、さらに、それらの加速度データ及びモーションデータが取得された時点で実行されていた行動の内容を示す名称を記録し、それらに基づいて、実行された行動の内容と、その行動が実行されたときの加速度データから算出される物理特徴量とを対応付ける情報を含む教師データを記録してもよい。行動内容判別モデル生成プログラム６６は、その教師データに基づいて、各行動の内容に対応する物理特徴量の統計的な特徴等を算出し、それに基づいて行動内容を判別するためのルールを含む行動内容判別モデルデータ７７を生成してもよい。その場合、部位状態推定プログラム６２が各部位の状態を推定する必要はなく、行動内容推定プログラム６８は、加速度データから算出された物理特徴量及び行動内容判別モデルデータ７７に基づいて行動内容を推定する。
以下の説明は、行動・部位教師データ７８が使用される例を記載する。
図２３は、本発明の実施例３のサーバ５が実行する部位状態推定及び行動内容推定の典型的な処理手順を示す説明図である。
実施例３の処理は、行動内容推定プログラム６８が、部位状態推定の結果を用いて、行動内容を意味付けなく分類するのではなく、名前のある意味付けされた行動内容として推定することを特徴としている。行動内容判別モデル選択プログラム６７は、ユーザプロフィールデータ７５をもとに行動内容判別モデルデータ７７を選択する。行動内容推定プログラム６８は、部位状態データ７２及び選択された行動内容判別モデルデータ７７に基づいて、デスクワーク１４１、家事１４２、読書１４３又はスポーツ１４４など、予め行動内容判別モデルデータ７７に定義された尤もらしい行動内容８７に判別することができる。
図２４は、本発明の実施例３のサーバ５が保持する行動内容データ７９のデータ構造例を示す説明図である。
実施例３の行動内容データ７９は、特定の時間区間における推定された行動内容を記録していることを特徴とする。開始日時３６２は、推定された行動の始まりの日時を示しており、終了日時３６３は推定された行動の終わる日時を示している。行動３６４は、推定された行動内容を示しており、行動・部位教師データ７８又は行動内容判別モデルデータ７７で予め定義されている名前の中から判別され、選択される。
以上の実施例３によれば、実施例１と同様の効果に加えて、行動内容を名前のある意味付けされた行動内容として分類することによって、ユーザの利便性が向上するという効果が得られる。
なお、本発明は上述した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。
また、図面には、実施例を説明するために必要と考えられる制御線及び情報線を示しており、必ずしも、本発明が適用された実際の製品に含まれる全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
１ センサデバイス
２ ＰＣ
３ スマートフォン
４ ネットワーク
５ サーバ
１０ ＭＣＵ
１１ 加速度センサ
１２ メモリ
１３ 入力部
１４ 表示部
１５ 通信部
５１ ＣＰＵ
５２ 通信部
５３ ＷＥＢ表示プログラム
５４ メモリ
６０ 解析プログラム
６１ 物理特徴量算出プログラム
６２ 部位状態推定プログラム
６３ 行動内容分類プログラム
６４ 部位状態判別モデル生成プログラム
６５ 部位状態判別モデル選択プログラム
６６ 行動内容判別モデル生成プログラム
６７ 行動内容判別モデル選択プログラム
６８ 行動内容推定プログラム
７０ データベース
７１ 物理特徴量データ
７２ 部位状態データ
７３ 行動分類データ
７４ 部位状態判別モデルデータ
７５ ユーザプロフィールデータ
７６ 部位・物理量教師データ
７７ 行動内容判別モデルデータ
７８ 行動・部位教師データ
７９ 行動内容データ
８０ 加速度データ

Claims (11)

  1. 人物の所定の部位の加速度から算出される物理特徴量に基づいて前記人物の行動を判別するためのルールを含むモデル情報を保持し、
    人物の前記所定の部位に装着された加速度センサと、
    前記加速度センサによって計測された加速度から算出される物理特徴量及び前記モデル情報に基づいて前記人物の行動を分類する解析部と、を有し、
    前記モデル情報は、人物の所定の部位の加速度から算出される物理特徴量に基づいて前記所定の部位以外の一つ以上の部位の状態を判別するためのルールを含む部位状態判別モデル情報を含み、
    前記部位状態判別モデル情報は、ある時点の部位の状態を、それより前の時点の部位の状態と、部位の状態間の遷移確率と、に基づいて判別するためのルールをさらに含み、
    前記解析部は、
    前記加速度センサによって計測された加速度から算出される物理特徴量及び前記部位状態判別モデル情報に基づいて前記人物の前記一つ以上の部位の状態を推定する部位状態推定部と、
    推定された前記人物の一つ以上の部位の状態に基づいて前記人物の行動を分類する行動内容分類部と、を含み、
    前記行動内容分類部は、
    各時刻の前記一つ以上の部位の状態を示す値とその前の時刻の前記一つ以上の部位の状態を示す値との差を前記一つ以上の部位の状態を示す値の変化量として計算し、
    前記一つ以上の部位の状態を示す値の変化量が所定の閾値より大きい時点を境界として、前記人物の行動を複数の区間に区切り、前記複数の区間の前記一つ以上の部位の状態を示す値をクラスタリングすることによって、前記各区間の前記人物の行動を分類することを特徴とする行動分類システム。
  2. 請求項１に記載の行動分類システムであって、
    複数の時刻に測定された人物の前記一つ以上の部位の状態を示す値及びそれらと同時に測定された当該人物の前記所定の部位の加速度に基づいて、前記各部位の状態に対応する前記物理特徴量の統計的な特徴を計算することによって、前記部位状態判別モデル情報を生成する部位状態判別モデル生成部をさらに有することを特徴とする行動分類システム。
  3. 請求項２に記載の行動分類システムであって、
    前記部位状態判別モデル生成部は、複数の人物について前記部位状態判別モデル情報を生成し、
    前記行動分類システムは、前記複数の人物の属性情報をさらに保持し、
    前記部位状態推定部は、前記加速度センサによって計測された加速度と、前記加速度センサが装着された人物の属性に類似する属性を有する一以上の人物から生成された前記部位状態判別モデル情報と、に基づいて、前記人物の前記一つ以上の部位の状態を推定することを特徴とする行動分類システム。
  4. 請求項１に記載の行動分類システムであって、
    前記モデル情報は、前記一つ以上の部位の状態に基づいて前記行動の内容を判別するためのルールを含む行動内容判別モデル情報をさらに含み、
    前記行動内容分類部は、前記推定された人物の一つ以上の部位の状態と前記行動内容判別モデル情報とに基づいて、前記各区間の前記人物の行動を分類することを特徴とする行動分類システム。
  5. 請求項１に記載の行動分類システムであって、
    前記人物の行動を区間ごとに分類した結果を表示するための画面データを出力する表示部をさらに有することを特徴とする行動分類システム。
  6. 請求項５に記載の行動分類システムであって、
    前記表示部は、前記区間ごとに分類された行動に対応する前記一つ以上の部位の状態を表示するために、前記一つ以上の部位の状態から推定される前記人物の体の形状を図示する画面データをさらに出力し、
    いずれかの前記区間において実行されていた行動を識別する情報が入力された場合、前記行動分類システムは、前記入力された情報を前記人物の実際の行動の名称として保持し、
    前記表示部は、当該区間と同種の行動に分類された他の区間における行動を識別する情報の候補として、前記入力された情報を出力することを特徴とする行動分類システム。
  7. 請求項５に記載の行動分類システムであって、
    人物の健康状態を示す値の変化を示す情報をさらに保持し、
    前記表示部は、前記分類された行動のうち、前記健康状態を示す値との相関が高い行動を表示するための画面データを出力することを特徴とする行動分類システム。
  8. 請求項１に記載の行動分類システムであって、
    前記加速度センサが取りつけられる前記所定の部位は、人物の前腕であり、
    前記加速度センサは、３軸加速度を計測し、
    前記物理特徴量は、前記所定の部位の３軸加速度から算出される、前記３軸加速度の振幅、前記３軸加速度の周波数、前記前腕の長手方向を軸とする前記前腕の回転量を示す角度、及び、前記前腕の長手方向の向き、の少なくとも一つを含み、
    前記一つ以上の部位の状態は、上腕の向き、肘の角度、腿の向き及び体全体の向きの少なくとも一つを含むことを特徴とする行動分類システム。
  9. 請求項１に記載の行動分類システムであって、
    センサデバイスと、計算機と、前記センサデバイス及び前記計算機の間で通信されるデータを中継するネットワークと、を有し、
    前記センサデバイスは、前記加速度センサと、前記加速度センサが計測した加速度データを前記計算機に前記ネットワークを介して送信する通信部と、を有し、
    前記計算機は、前記加速度データを受信する通信部と、プロセッサと、記憶装置と、を有し、
    前記部位状態判別モデル情報は、前記記憶装置に格納され、
    前記部位状態推定部及び前記行動内容分類部は、前記記憶装置に格納されたプログラムを実行する前記プロセッサであることを特徴とする行動分類システム。
  10. プロセッサと、前記プロセッサに接続される記憶装置と、を有する行動分類装置であって、
    前記記憶装置は、
    人物の所定の部位の加速度から算出される物理特徴量に基づいて前記人物の行動を判別するためのルールを含むモデル情報と、
    人物の前記所定の部位に装着された加速度センサによって計測された加速度情報と、を保持し、
    前記プロセッサは、前記加速度情報から算出される物理特徴量及び前記モデル情報に基づいて前記人物の行動を分類し、
    前記モデル情報は、人物の所定の部位の加速度から算出される物理特徴量に基づいて前記所定の部位以外の一つ以上の部位の状態を判別するためのルールを含む部位状態判別モデル情報を含み、
    前記部位状態判別モデル情報は、ある時点の部位の状態を、それより前の時点の部位の状態と、部位の状態間の遷移確率と、に基づいて判別するためのルールをさらに含み、
    前記プロセッサは、
    前記加速度センサによって計測された加速度から算出される物理特徴量及び前記部位状態判別モデル情報に基づいて前記人物の前記一つ以上の部位の状態を推定し、
    推定された前記人物の一つ以上の部位の状態に基づいて、各時刻の前記一つ以上の部位の状態を示す値とその前の時刻の前記一つ以上の部位の状態を示す値との差を前記一つ以上の部位の状態を示す値の変化量として計算し、前記一つ以上の部位の状態を示す値の変化量が所定の閾値より大きい時点を境界として、前記人物の行動を複数の区間に区切り、前記複数の区間の前記一つ以上の部位の状態を示す値をクラスタリングすることによって、前記各区間の前記人物の行動を分類することを特徴とする行動分類装置。
  11. プロセッサと、前記プロセッサに接続される記憶装置と、を有する計算機による行動分類方法であって、
    前記記憶装置は、
    人物の所定の部位の加速度から算出される物理特徴量に基づいて前記人物の行動を判別するためのルールを含むモデル情報と、
    人物の前記所定の部位に装着された加速度センサによって計測された加速度情報と、を保持し、
    前記行動分類方法は、前記プロセッサが、前記加速度情報から算出される物理特徴量及び前記モデル情報に基づいて前記人物の行動を分類する手順を含み、
    前記モデル情報は、人物の所定の部位の加速度から算出される物理特徴量に基づいて前記所定の部位以外の一つ以上の部位の状態を判別するためのルールを含む部位状態判別モデル情報を含み、
    前記部位状態判別モデル情報は、ある時点の部位の状態を、それより前の時点の部位の状態と、部位の状態間の遷移確率と、に基づいて判別するためのルールをさらに含み、
    前記人物の行動を分類する手順は、
    前記プロセッサが、前記加速度センサによって計測された加速度から算出される物理特徴量及び前記部位状態判別モデル情報に基づいて前記人物の前記一つ以上の部位の状態を推定する手順と、
    前記プロセッサが、推定された前記人物の一つ以上の部位の状態に基づいて、各時刻の前記一つ以上の部位の状態を示す値とその前の時刻の前記一つ以上の部位の状態を示す値との差を前記一つ以上の部位の状態を示す値の変化量として計算し、前記一つ以上の部位の状態を示す値の変化量が所定の閾値より大きい時点を境界として、前記人物の行動を複数の区間に区切り、前記複数の区間の前記一つ以上の部位の状態を示す値をクラスタリングすることによって、前記各区間の前記人物の行動を分類する手順と、を含むことを特徴とする行動分類方法。
JP2014238581A 2014-11-26 2014-11-26 行動分類システム、行動分類装置及び行動分類方法 Expired - Fee Related JP6362521B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014238581A JP6362521B2 (ja) 2014-11-26 2014-11-26 行動分類システム、行動分類装置及び行動分類方法
PCT/JP2015/078664 WO2016084499A1 (ja) 2014-11-26 2015-10-08 行動分類システム、行動分類装置及び行動分類方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014238581A JP6362521B2 (ja) 2014-11-26 2014-11-26 行動分類システム、行動分類装置及び行動分類方法

Publications (3)

Publication Number Publication Date
JP2016097228A JP2016097228A (ja) 2016-05-30
JP2016097228A5 JP2016097228A5 (ja) 2017-04-13
JP6362521B2 true JP6362521B2 (ja) 2018-07-25

Family

ID=56074077

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014238581A Expired - Fee Related JP6362521B2 (ja) 2014-11-26 2014-11-26 行動分類システム、行動分類装置及び行動分類方法

Country Status (2)

Country Link
JP (1) JP6362521B2 (ja)
WO (1) WO2016084499A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4137851A4 (en) * 2020-04-17 2023-09-20 Sumitomo Electric Optifrontier Co., Ltd. FUSION SPLICING SYSTEM FOR OPTICAL FIBERS, FUSION SPLICING DEVICE, TEMPLATE CREATION DEVICE AND METHOD FOR FUSION SPLICING OF OPTICAL FIBERS

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7110568B2 (ja) * 2017-09-19 2022-08-02 富士フイルムビジネスイノベーション株式会社 行動推定装置及び行動推定プログラム
KR102089002B1 (ko) * 2017-10-27 2020-03-13 김현우 행동에 대한 피드백을 제공하는 웨어러블 디바이스 및 방법
JP7128736B2 (ja) * 2018-12-27 2022-08-31 川崎重工業株式会社 ロボット制御装置、ロボットシステム及びロボット制御方法
JP7152357B2 (ja) * 2019-05-24 2022-10-12 株式会社日立製作所 正解データ作成支援システムおよび正解データ作成支援方法
JPWO2021060290A1 (ja) * 2019-09-24 2021-04-01
JP7456129B2 (ja) 2019-11-18 2024-03-27 中国電力株式会社 管理システム
JP7309152B2 (ja) * 2020-03-04 2023-07-18 日本電信電話株式会社 行動推定装置、行動推定方法および行動推定プログラム
JP7322985B2 (ja) * 2020-03-19 2023-08-08 カシオ計算機株式会社 運動支援装置、運動支援方法及びプログラム
WO2021210161A1 (ja) * 2020-04-17 2021-10-21 住友電工オプティフロンティア株式会社 融着接続機、融着接続システム、及び光ファイバを融着接続する方法
WO2022024899A1 (ja) * 2020-07-30 2022-02-03 株式会社村田製作所 行動状態推定装置、行動状態推定方法、行動状態学習装置、および、行動状態学習方法
JP2023173907A (ja) * 2022-05-26 2023-12-07 株式会社日立製作所 共同作業認識システム、共同作業認識方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3923035B2 (ja) * 2003-07-03 2007-05-30 株式会社東芝 生体状態分析装置及び生体状態分析方法
JP2010207488A (ja) * 2009-03-12 2010-09-24 Gifu Univ 行動解析装置及びプログラム
JP2011227918A (ja) * 2011-06-24 2011-11-10 Seiko Instruments Inc 電子歩数計
JP5888582B2 (ja) * 2011-07-15 2016-03-22 国立大学法人東北大学 エネルギー消費量呈示装置およびエネルギー消費量呈示装置の作動方法
JP6087624B2 (ja) * 2012-12-28 2017-03-01 Kddi株式会社 行動対応情報を適時に提示可能なユーザインタフェース装置、プログラム及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4137851A4 (en) * 2020-04-17 2023-09-20 Sumitomo Electric Optifrontier Co., Ltd. FUSION SPLICING SYSTEM FOR OPTICAL FIBERS, FUSION SPLICING DEVICE, TEMPLATE CREATION DEVICE AND METHOD FOR FUSION SPLICING OF OPTICAL FIBERS

Also Published As

Publication number Publication date
WO2016084499A1 (ja) 2016-06-02
JP2016097228A (ja) 2016-05-30

Similar Documents

Publication Publication Date Title
JP6362521B2 (ja) 行動分類システム、行動分類装置及び行動分類方法
Yang et al. Lifelogging data validation model for internet of things enabled personalized healthcare
EP3566231B1 (en) Apparatus and method for triggering a fall risk alert to a person
JP6356616B2 (ja) 逐次姿勢識別装置および自律神経機能情報取得装置、方法ならびにプログラム
Parkka et al. Activity classification using realistic data from wearable sensors
US20170103174A1 (en) Diagnosis model generation system and method
JP7019796B2 (ja) 身体機能自立支援装置およびその方法
JP2012527292A (ja) 着用位置を検出するためのセンシングデバイス
WO2017122705A1 (ja) トレーニング分類システム、トレーニング分類方法およびトレーニング分類サーバ
JP2016097228A5 (ja)
Zhao et al. Recognition of human fall events based on single tri-axial gyroscope
JP6569233B2 (ja) 姿勢推定装置、姿勢推定システム、姿勢推定方法及びプログラム
JP2018000229A (ja) 自動教師データ作成装置、自動教師データ作成方法および自動教師データ作成プログラム
Vandarkuzhali et al. Hybrid RF and PCA method: The number and Posture of piezoresistive sensors in a multifunctional technology for respiratory monitoring
US20230004795A1 (en) Systems and methods for constructing motion models based on sensor data
JP6530350B2 (ja) 逐次姿勢識別装置、逐次姿勢識別方法および逐次姿勢識別プログラム
Poli et al. Identification issues associated with the use of wearable accelerometers in lifelogging
JPWO2018179301A1 (ja) 情報処理システム、情報処理装置、および情報処理方法
Poli et al. ADLs Monitoring by accelerometer-based wearable sensors: effect of measurement device and data uncertainty on classification accuracy
KR101553236B1 (ko) 3축 가속도 센서를 이용한 실시간 운동측정장치 및 방법
KR101310500B1 (ko) 피부 특성을 이용한 건강 상태 판단 장치 및 방법, 건강 분류 함수 생성 장치 및 그 방법
JP6870733B2 (ja) 情報処理装置、情報処理システム、および情報処理方法
Andrić et al. Sensor-based activity recognition and performance assessment in climbing: A review
Mattfeld Evaluation of pedometer performance across multiple gait types using video for ground truth
JPWO2018179072A1 (ja) 情報処理システム、情報処理装置、および情報処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170309

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180626

R150 Certificate of patent or registration of utility model

Ref document number: 6362521

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees