JP5327668B2 - ユーザ健康維持活性化支援及び見守りシステム - Google Patents

ユーザ健康維持活性化支援及び見守りシステム Download PDF

Info

Publication number
JP5327668B2
JP5327668B2 JP2008313793A JP2008313793A JP5327668B2 JP 5327668 B2 JP5327668 B2 JP 5327668B2 JP 2008313793 A JP2008313793 A JP 2008313793A JP 2008313793 A JP2008313793 A JP 2008313793A JP 5327668 B2 JP5327668 B2 JP 5327668B2
Authority
JP
Japan
Prior art keywords
user
unit
information
state
health maintenance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008313793A
Other languages
English (en)
Other versions
JP2010140119A (ja
Inventor
亨 山口
泰成 藤本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Metropolitan University
Original Assignee
Tokyo Metropolitan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Metropolitan University filed Critical Tokyo Metropolitan University
Priority to JP2008313793A priority Critical patent/JP5327668B2/ja
Publication of JP2010140119A publication Critical patent/JP2010140119A/ja
Application granted granted Critical
Publication of JP5327668B2 publication Critical patent/JP5327668B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、ユーザ健康維持活性化支援及び見守りシステムに関する。
近年、高齢者を中心とした要介護者の増大に伴い、様々な施策が提案されている。そのような状況下、介護を要する状態を引き起こさないために、また,介護を要する状態の進展を防ぎその軽減を図るために自助努力を基軸としつつ、保険・医療・福祉等の視点からなされる多面的なアプローチである介護予防という考え方が広がりつつある。
介護予防の流れとして,(1)健康増進・生活習慣改善,(2)生活習慣病予防・健康診断(検診),(3)疾病の早期発見・早期医療,(4)早期リハビリ・自助自立,そして、(5)廃用症候予防・寝たきり予防,という順に行われるという見方がある。これによれば、介護予防のためには、正しい生活リズムの維持、自分自身の健康状態に対する自覚、運動機能を維持するリハビリテーションとその持続が必要になる.そして,転倒などの事故を生じたときには、迅速な対応が図られるよう、見守りが必要になる。
こうした介護予防や見守りをできるだけ人手を介さずに実現するため、様々な方法が提案されている。例えば、特許文献1に示すように、音声認識ならびに音声合成可能なロボットを介してユーザの在宅健康管理を行うことが提案されている。
特開2004−337556号公報
しかしながら、上記従来の技術では、ユーザの健康状態を入手、把握して病院等に情報提供することができるにとどまるので、ユーザ自らの強い意志がない限り、健康状態の改善や寝たきり予防にはつながらない。
本発明は上記事情に鑑みて成されたものであり、ユーザが自主的に運動機能の維持や心身の活動活性を行って介護予防を図ることができるとともに、住居内の事故の際には迅速な通報が可能なユーザ健康維持活性化支援及び見守りシステムを提供することを目的とする。
本発明は、上記課題を解決するため、以下の手段を採用する。
本発明に係るユーザ健康維持活性化支援及び見守りシステムは、ユーザの身体情報を取得するユーザ情報入力部と、取得した前記身体情報からユーザの意思又は状態を分析するユーザ認識部、前記意思又は状態を判別する認定部、把握したユーザの前記意思又は状態に対して対応すべき動作パターンを決定する動作処理部を有する総合制御部と、決定された前記動作パターンに基づく動作をユーザに対して動きを通して表現する表現部と、を備え、前記ユーザ情報入力部が、ユーザの画像を取得するカメラを備え、前記ユーザ認識部が、前記画像からユーザの顔の向き、指差し方向を算出するジェスチャ認識部を備えていることを特徴とする。
また、本発明に係るユーザ健康維持活性化支援及び見守りシステムは、前記ユーザ健康維持活性化支援及び見守りシステムであって、前記ユーザ情報入力部が、ユーザの生体情報を検出する生体情報測定部を備え、前記ユーザ認識部が、前記生体情報に基づきユーザの健康状態の評価を行う健康評価部を備え、前記動作処理部が、ユーザの前記健康状態に沿った活動をユーザに提案する動作処理を行うことを特徴とする。
また、本発明に係るユーザ健康維持活性化支援及び見守りシステムは、前記ユーザ健康維持活性化支援及び見守りシステムであって、前記ユーザ情報入力部が、個人を特定する情報を検出する個人データ取得部を備え、前記ユーザ認識部が、前記個人情報に基づきユーザの個人認証を行うとともに、予め格納されたユーザの個人属性を特定する個人特定部を備え、前記動作処理部が、ユーザの生活時間に応じて前記個人属性に沿った活動をユーザに提案する動作処理を行うことを特徴とする。
また、本発明に係るユーザ健康維持活性化支援及び見守りシステムは、前記ユーザ健康維持活性化支援及び見守りシステムであって、前記ユーザ情報入力部が、ユーザの住居内の移動の有無及び前記住居内制御機器のオンオフ状態を検出するセンサ部を備えていることを特徴とする。
また、本発明に係るユーザ健康維持活性化支援及び見守りシステムは、前記ユーザ健康維持活性化支援及び見守りシステムであって、前記総合制御部が、予め入力された基準に対して把握した前記意思又は状態が正常又は異常であるかを判定する判定部と、異常と判定した場合、予め許可された第三者にその旨を連絡する通知部と、を備えていることを特徴とする。
本発明によれば、ユーザが自主的に運動機能の維持や心身の活動活性を行って介護予防を図ることができるとともに、住居内の事故の際には迅速な通報を可能とすることができる。
本発明に係る第1の実施形態について、図1から図4を参照して説明する。
本実施形態に係るユーザ健康維持活性化支援及び見守りシステム1は、図1に示すように、ユーザUの身体情報を取得するユーザ情報入力部2と、ユーザUの住居内に設置されたルームサーバ3と、ユーザUとのインタフェースとなるロボット(表現部)5と、を備えている。
ユーザ情報入力部2は、ユーザUの顔を含む画像を取得するカメラ6と、血圧や体温、脈波等の情報を検出する生体情報測定部7と、個人を特定するICタグ等に埋め込まれた情報を検出する個人データ取得部8と、を備えている。
ルームサーバ3には、必要な処理を行うためのプログラム及びデータ等が記憶されたROM(リードオンリーメモリ)、必要なデータを一時的に保存するためのRAM(ランダムアクセスメモリー)、ROM等に記憶されたプログラムに応じた処理を行うCPU(中央演算処理装置)、が内蔵されている。
このルームサーバ3は、機能手段(プログラムモジュール)として、ユーザ認識部10と、認定部11と、時間管理を行うスケジュール部12と、サーバ側動作処理部(動作処理部)13と、アプリケーション格納部14と、を有する総合制御部15を備えている。
ユーザ認識部10は、ジェスチャ認識部16と、健康評価部17と、個人特定部18と、を備えて、取得したユーザUの身体情報からユーザUの意思又は状態を分析する。
認定部11は、後述するジェスチャ認識部16又はロボット5の後述するマイクロフォン21から取得した情報に基づき、ユーザの有無、ジェスチャをしているか否か、及び認識したユーザの移動量を獲得する。ジェスチャの場合、例えば、特願2007−201447に記載のように、算出されたユーザUの顔の向き、指差し方向から、了解/拒否/待機/不明について判別する。
スケジュール部12は、ユーザUが住居内で行った各イベントの時間を記憶して時間を管理する。
サーバ側動作処理部13は、提示されたユーザUの意思や動き、健康状態、個人属性情報、ユーザUの生活時間に基づいて、ユーザUに提示すべき情報をロボット5の動作を介して伝達させる動作パターンを決定する。
アプリケーション格納部14は、サーバ側動作処理部13において決定する動作パターンとして予め決められた所定の動作パターン、例えば、エクササイズプログラム等が収納されている。
ジェスチャ認識部16は、例えば、特願2007−201447に記載のように、カメラ6によって撮像されたユーザUの顔及び手先の画像を解析から、ユーザUの顔の向き、指差し方向を算出する。
健康評価部17は、生体情報測定部7によって検出されたユーザUの生体情報から、例えば、特開2004−073520号公報又は特願2007−234725に記載のように、病態診断又はストレス評価を行う。
個人特定部18は、個人データ取得部8から得られた個人情報に基づき、公知の技術によってユーザUの個人認証を行うとともに、予め格納されたユーザの個人属性を特定する。
ロボット5は、サーバ側動作処理部13にて決定された動作処理が伝達されるロボット側動作処理部20と、ユーザUの音声が入力されるマイクロフォン21と、ロボット5の音声を出力する音声出力部22と、ユーザUに対して直感的な動きを通してジェスチャ動作を行う動作部23と、を備えている。なお、ロボット5側にもカメラ6及びジェスチャ認識部16が配されていてもよい。このロボット5は、ルームサーバ3と家庭内LAN24によって接続されており、ルームサーバ3からの動作指示に基づき、公知の技術によってユーザUに対して所定の動作を行う。
次に、本実施形態に係るユーザ健康維持活性化支援及び見守りシステム1の作用について、場面別に説明する。
例えば、健康評価を行う場合、予め決められた時間になった際に心拍や脈動といった生体情報の取得をユーザUに促すため、サーバ側動作処理部13の処理に基づいた上記動作パターンがロボット側動作処理部20に伝達される。ロボット5側は、動作部23による所定のジェスチャや、音声出力部22による音声によって、ユーザUに対して生体情報の測定を促す。
ユーザUが生体情報測定部7より自身の生体情報を入力すると、これに基づき、健康評価部17が所定の健康評価を行い、ユーザUが健康状態又はストレス状態かどうかを分析する。得られた健康評価結果をユーザUに伝達するため、サーバ側動作処理部13の処理に基づいた動作パターンがロボット側動作処理部20に伝達され、ロボット5の動作等によってユーザUに報告される。
次に、この健康評価結果に基づき、健康維持や活性化を支援する場合について説明する。この場合、事前の準備として、ユーザUの安全確保や、ジェスチャによる的確な指示を行うため、本システムの設置を行う者が、住居内制御機器の名称と位置とを図示しない機器情報格納部に予め記録する。この際、設置者は、図2に示すように、ロボット5に対して指差しと音声により、照明と発声するとともに、照明が配されたエリアを指差す。音声はロボット5のマイクロフォン21に入力される。また、指差しは、カメラ6で撮像され、ジェスチャ認識部10を介して認定部11にてその配置方向が確認される。機器情報格納部に未登録の場合には、サーバ側動作処理部13にて登録の確認のための動作パターンが決定され、ロボット側動作処理部20及び動作部23を介して確認作業が行われる。
ユーザUがその後に配置を変更した場合には、図3に示すように、ユーザUはロボット5に対して指差し及び発声することによって、上述と同様の確認作業が行われ、照明が新しいエリアに再配置されたとして機器情報格納部内の記録を更新させる。
ユーザUの健康度と活動状態の評価結果により、ユーザUが健康であるのにもかかわらず長時間の活動を確認できない場合、ユーザUに何らかの活動、例えば、所定のエクササイズプログラムを提供してエクササイズを促すように働きかける。この際、図4に示すように、アプリケーション格納部14からサーバ側動作処理部13にて運動を促す動作パターンが決定され、ロボット側動作処理部20にこれを伝達し、動作部23にて所定の動作を実現する。
必要に応じて上述した健康評価を行い、問題がない場合、アプリケーション格納部14に収納されたエクササイズプログラムに沿った動作パターンが決定され、ロボット5が所定の動作を行う。
この動きに基づきユーザUがエクササイズを行った場合、カメラ6にてユーザUを撮像し、ユーザUの動きをジェスチャ認識部16及び認定部11にて判別する。そして、所定の動きをしている場合、サーバ側動作処理部13からユーザUに達成感を提供する動作パターンがロボット側動作処理部20に伝達され、動作部23にて実行される。ここで、提供するプログラムはエクササイズに限らず、天候に応じて散歩を促したりしてもよい。
エクササイズ終了後、必要に応じて上述した健康評価を行い、その結果についてユーザUに連絡する。
一方、個人データ取得部8によってユーザUの個人情報を取得し、個人特定部18にて個人属性を特定した後、ユーザUの趣味や嗜好にあうテレビ番組や、競技場、コンサート会場等をWEBから検索し、これをユーザUに知らせてもよい。この場合、サーバ側動作処理部13が、スケジュール部12からの時間情報や、WEBからの情報を合わせて提案すべきプログラムを伝達する動作パターンを決定する。それをロボット5に伝達してロボット5を介してユーザUに提案する。
このユーザ健康維持活性化支援及び見守りシステム1によれば、ユーザ情報入力部2から取得したユーザの身体情報に基づき、ユーザ認識部10で分析及び認定部11で認識したユーザUの意思又は状態に対して、サーバ側動作処理部13及びロボット側動作処理部20を介してロボット5に所定の動作をさせることができる。このため、ユーザUがロボット5の動作に応じる形で自主的に運動機能の維持や心身の活動活性を行って介護予防を図ることができる。この際、好適な動作パターンを決定することによって、例えば、ユーザUの活動を応援する動作をロボット5が行うことによって、機械に強制的にやらされている、といった感情を和らげることができる。
この際、ユーザUの身体情報としてユーザUのジェスチャから、ユーザUの意思を好適に判別することができる。また、身体情報として生体情報を取得して分析することによって、個人の健康状態を把握してユーザUにフィードバックさせることができる。さらに、個人認証によって個人属性を特定することができ、ユーザに合わせたサービスを提供することができる。
次に、第2の実施形態について図5を参照しながら説明する。
なお、上述した第1の実施形態と同様の構成要素には同一符号を付すとともに説明を省略する。
第2の実施形態と第1の実施形態との異なる点は、本実施形態に係るユーザ健康維持活性化支援及び見守りシステム30のユーザ情報入力部31が、ユーザUの住居内の移動の有無及び住居内制御機器のオンオフ状態を検出するセンサ部32を備え、総合制御部33が、予め入力された基準に対して把握したユーザUの意思又は状態が正常又は異常であるかを判定する判定部34と、異常と判定した場合、予め許可された第三者にその旨を連絡する通知部35と、を備えているとした点である。
センサ部32は、例えば、風呂場のドアの開閉センサ36と、照明機器のオン/オフセンサ37と、電気湯沸かし器のオン/オフセンサ38と、テレビのオン/オフセンサ39と、玄関の扉の開閉センサ40と、を備えている。
このユーザ健康維持活性化支援及び見守りシステム30の作用について説明する。
例えば、風呂場のドアの開閉センサ36からの情報及びカメラ6によるユーザUの行動情報から、判定部34はユーザUが入浴していると判断する。
ここで、スケジュール部12と連動し、30分経ってもドアの開閉センサ36の変化がなかった場合、サーバ側動作処理部13は、ユーザUへの呼びかけを行う動作パターンを決定し、ロボット5を介してユーザUに呼びかけを行う。ここで、ユーザUからの反応がない場合、判定部34は、ユーザUが異常事態である、と判断する。そして、通知部35が、その旨を電子メール等で連絡する。
入浴時に限らず、例えば、判定部34が、玄関の扉の開閉センサ40の開閉情報と認定部11によるユーザUの移動量とから在宅状態と判断した場合について説明する。この場合、ユーザUの動きが急に止まる、食事時間帯に動かない、夜でも照明が点かない、エクササイズが終了していないにもかからず動きが止まった場合、上述と同様のプロセスにてユーザUに呼びかけを行う。もし,呼びかけに応じない場合は,異常状態(急病・転倒・転落)の可能性があるとして通報する。
このユーザ健康維持活性化支援及び見守りシステム30によっても、第1の実施形態と同様の効果を奏することができる。特に、センサ部32と合わせて住居内のユーザUの状態をより正確に把握することができる。また、認定部11及び判定部34によってユーザUの状態が正常か否かを判別することができ、ユーザUを好適に見守ることができる。さらに、通知部35にて、ユーザUの個人情報ではなく、正常か異常かについて予め決められた第三者に連絡するので、ユーザUのプライバシーの保護に留意しつつ、ユーザUを見守ることができる。
なお、本発明の技術範囲は上記実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
例えば、上記実施形態では、ルームサーバ3とロボット5とが別々のものとされているが、両者が一体となった構成でも構わない。
本発明の第1の実施形態に係るユーザ健康維持活性化支援及び見守りシステムを示す概要図である。 本発明の第1の実施形態に係るユーザ健康維持活性化支援及び見守りシステムにおける住居内制御機器を登録する状態を示すフロー図である。 本発明の第1の実施形態に係るユーザ健康維持活性化支援及び見守りシステムにおける住居内制御機器の登録情報を変更する状態を示すフロー図である。 本発明の第1の実施形態に係るユーザ健康維持活性化支援及び見守りシステムにおけるユーザにエクササイズを提案する状態を示すフロー図である。 本発明の第2の実施形態に係るユーザ健康維持活性化支援及び見守りシステムを示す概要図である。
符号の説明
1,30 ユーザ健康維持活性化支援及び見守りシステム
2,31 ユーザ情報入力部
5 ロボット(表現部)
6 カメラ
7 生体情報測定部
8 個人データ取得部
10 ユーザ認識部
11 認定部
13 サーバ側動作処理部(動作処理部)
15,33 総合制御部
16 ジェスチャ認識部
17 健康評価部
18 個人特定部
32 センサ部
34 判定部
35 通知部

Claims (3)

  1. ユーザの身体情報を取得するユーザ情報入力部と、
    取得した前記身体情報からユーザの意思又は状態を分析するユーザ認識部、
    前記意思又は状態を判別する認定部、
    把握したユーザの前記意思又は状態に対して対応すべき動作パターンを決定する動作処理部を有する総合制御部と、
    決定された前記動作パターンをユーザに認識させて実行させるために該動作パターンと同じ動作をユーザに実演して見せる表現部と、
    を備え、
    前記ユーザ情報入力部が、ユーザの画像を取得するカメラ、ユーザの生体情報を取得する生体情報測定部及び個人を特定する情報を取得する個人データ取得部を備え、
    前記身体情報は、前記カメラから得られるユーザの顔の向き及び指さし方向に関する情報、前記生体情報測定部から得られるユーザの生体情報、並びに個人データ取得部から得られる個人を特定する情報であり、
    前記ユーザ認識部が、前記画像からユーザの顔の向き、指差し方向を算出するジェスチャ認識部を備えていることを特徴とするユーザ健康維持活性化支援及び見守りシステム。
  2. 前記ユーザ情報入力部が、ユーザの住居内の移動の有無及び住居内制御機器のオンオフ状態を検出するセンサ部を備えていることを特徴とする請求項1に記載のユーザ健康維持活性化支援及び見守りシステム。
  3. 前記総合制御部が、
    予め入力された基準に対して把握した前記意思又は状態が正常又は異常であるかを判定する判定部と、
    異常と判定した場合、予め許可された第三者にその旨を連絡する通知部と、
    を備えていることを特徴とする請求項に記載のユーザ健康維持活性化支援及び見守りシステム。
JP2008313793A 2008-12-09 2008-12-09 ユーザ健康維持活性化支援及び見守りシステム Expired - Fee Related JP5327668B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008313793A JP5327668B2 (ja) 2008-12-09 2008-12-09 ユーザ健康維持活性化支援及び見守りシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008313793A JP5327668B2 (ja) 2008-12-09 2008-12-09 ユーザ健康維持活性化支援及び見守りシステム

Publications (2)

Publication Number Publication Date
JP2010140119A JP2010140119A (ja) 2010-06-24
JP5327668B2 true JP5327668B2 (ja) 2013-10-30

Family

ID=42350230

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008313793A Expired - Fee Related JP5327668B2 (ja) 2008-12-09 2008-12-09 ユーザ健康維持活性化支援及び見守りシステム

Country Status (1)

Country Link
JP (1) JP5327668B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101317383B1 (ko) * 2011-10-12 2013-10-11 한국과학기술연구원 로봇을 이용한 인지 능력 훈련 장치 및 그 방법
JP5753865B2 (ja) 2013-02-28 2015-07-22 東芝テック株式会社 アシストロボットおよびその制御プログラム
US9694496B2 (en) * 2015-02-26 2017-07-04 Toyota Jidosha Kabushiki Kaisha Providing personalized patient care based on electronic health record associated with a user
JP2016178599A (ja) * 2015-03-23 2016-10-06 ニフティ株式会社 リモコン装置、通信システム、情報処理方法、及びプログラム
JP6654415B2 (ja) * 2015-11-26 2020-02-26 ミサワホーム株式会社 外出契機提供システム
WO2019226948A1 (en) * 2018-05-23 2019-11-28 Aeolus Robotics, Inc. Robotic interactions for observable signs of core health
JP7113270B1 (ja) * 2020-12-10 2022-08-05 パナソニックIpマネジメント株式会社 ロボット制御方法及び情報提供方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2921936B2 (ja) * 1990-07-13 1999-07-19 株式会社東芝 画像監視装置
JP2002175581A (ja) * 2000-12-07 2002-06-21 Mitsubishi Electric Corp 生活見守りシステム
JP4163407B2 (ja) * 2001-11-08 2008-10-08 株式会社ダスキンヘルスケア 精神状態判定システム
JP2006172410A (ja) * 2004-12-17 2006-06-29 Piezo Tec Kk ロボットを用いたケア情報基地
EP2281667B1 (en) * 2005-09-30 2013-04-17 iRobot Corporation Companion robot for personal interaction
JP4862734B2 (ja) * 2007-04-20 2012-01-25 カシオ計算機株式会社 セキュリティシステム

Also Published As

Publication number Publication date
JP2010140119A (ja) 2010-06-24

Similar Documents

Publication Publication Date Title
JP5327668B2 (ja) ユーザ健康維持活性化支援及び見守りシステム
Gokalp et al. Monitoring activities of daily living of the elderly and the potential for its use in telecare and telehealth: a review
TWI615798B (zh) 基於物聯網的健康照護系統
US8823527B2 (en) Consciousness monitoring
WO2016108582A1 (ko) 스마트 침대 시스템 및 제어 방법
US10004430B2 (en) Apparatus and method for detecting a fall
JP5884554B2 (ja) 手洗いモニタ、手洗いモニタ方法および手洗いモニタプログラム
KR20160005924A (ko) 치매환자관리시스템 및 그 제어 방법
JP2019523027A (ja) 記憶及び機能の衰えの記録及び分析のための装置及び方法
JP2008011865A (ja) 健康管理装置及びこれを機能させるためのプログラム
JP2008023127A (ja) 生体情報推定装置及びそれを搭載した電子機器
JP2013078567A (ja) 遠隔健康監視データを提供するための方法および関連するシステム
WO2004026138A1 (ja) 身体運動評価装置、及び身体運動評価システム
JPWO2013111409A1 (ja) 電子機器
CN109313729A (zh) 传感器隐私设置控制
JP2006285425A (ja) ロボットを用いたヘルスケアサービスシステム
Fontana et al. Evaluation of chewing and swallowing sensors for monitoring ingestive behavior
KR20060084916A (ko) 위치 이동이 가능한 지능형 로봇을 이용한 원격건강관리시스템 및 서비스
JP2022009084A (ja) 認知機能予測システム及びプログラム
US20160293043A1 (en) Device, system and method for providing feedback to a user relating to a behavior of the user
JP2000175872A (ja) 生体情報管理システム
JP2018517122A (ja) 人の液体消費量及び/又は食物消費量のモニタリング
JP7044073B2 (ja) 支援制御方法及び支援システム
Alwan et al. Psychosocial impact of passive health status monitoring on informal caregivers and older adults living in independent senior housing
JP2018147452A (ja) ドアシステム、およびドアシステムを用いた監視方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110927

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120106

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130712

R150 Certificate of patent or registration of utility model

Ref document number: 5327668

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees