JP6901139B2 - ライフログ画像生成装置、ライフログ画像生成方法、及びプログラム - Google Patents

ライフログ画像生成装置、ライフログ画像生成方法、及びプログラム Download PDF

Info

Publication number
JP6901139B2
JP6901139B2 JP2018101791A JP2018101791A JP6901139B2 JP 6901139 B2 JP6901139 B2 JP 6901139B2 JP 2018101791 A JP2018101791 A JP 2018101791A JP 2018101791 A JP2018101791 A JP 2018101791A JP 6901139 B2 JP6901139 B2 JP 6901139B2
Authority
JP
Japan
Prior art keywords
concepts
life
concept
date
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018101791A
Other languages
English (en)
Other versions
JP2019106163A (ja
Inventor
拓 吉田
拓 吉田
Original Assignee
株式会社Lyxis
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Lyxis filed Critical 株式会社Lyxis
Publication of JP2019106163A publication Critical patent/JP2019106163A/ja
Application granted granted Critical
Publication of JP6901139B2 publication Critical patent/JP6901139B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Medical Treatment And Welfare Office Work (AREA)

Description

本発明は、ライフログ画像生成装置、ライフログ画像生成方法、及びプログラムに関する。
従来、老人または障害者等の介護対象者の介護を効果的に行うためのケアマネージメントを支援するコンピュータシステムが知られている(特許文献1を参照)。
特開2000−003404号公報
特許文献1記載のような従来の介護支援システムにおいては、実際に、介護対象者の生活状況や心身状態、介護サービスに関する要望等を把握するためのアセスメントシート、及び、介護対象者に対するケアプラン等を含む書類(以下、「報告書」という。)を作成するのは、介護対象者に介護サービスを提供するケアマネージャー等の介護従事者である。介護従事者は、介護対象者や介護対象者の親族等にインタビュー等を行うことにより、介護対象者の現状を把握することのみならず、介護対象者の昔の趣味や長年の習慣等の介護対象者の幼少期から現在までの活動履歴を把握し、介護対象者により適合した報告書を作成することが求められる。
しかしながら、熟練の介護従事者(サービス提供者)であっても、介護対象者(サービス対象者)の現状、及び、介護対象者の活動履歴を正確に把握することは難しく、介護対象者(サービス対象者)に適合した報告書を作成するための支援が必要である。未熟な介護従事者(サービス提供者)にあっては、介護対象者(サービス対象者)の現状、及び、介護対象者の活動履歴を正確に把握することはできないので、介護対象者(サービス対象者)に適合した報告書を作成できないおそれがある。
そこで、本発明のいくつかの態様はかかる事情に鑑みてなされたものであり、サービス提供者の能力によらず、サービス対象者により適合した報告書の作成を支援するライフログ画像生成技術を提供することを目的とする。
本発明の一態様に係るライフログ画像生成装置は、対象者の1又は複数のライフログを取得する取得部と、取得した1又は複数のライフログを、1又は複数のライフログが生成された日時を示す日時情報と関連づけて記憶する記憶部と、1又は複数のライフログに含まれる1又は複数の概念を抽出する概念抽出部と、抽出した1又は複数の概念と日時情報とに基づいて、当該概念ごとに日時を時系列で表示するための画像を生成する画像生成部と、を備える。
本発明の一態様に係るライフログ画像生成方法は、対象者の1又は複数のライフログを取得するステップと、取得した1又は複数のライフログを、1又は複数のライフログが生成された日時を示す日時情報と関連づけて記憶するステップと、1又は複数のライフログに含まれる1又は複数の概念を抽出するステップと、抽出した1又は複数の概念と日時情報とに基づいて、当該概念ごとに日時を時系列で表示するための画像を生成するステップと、を含む。
本発明の一態様に係るプログラムは、コンピュータを、対象者の1又は複数のライフログを取得する取得部、取得した1又は複数のライフログを、1又は複数のライフログが生成された日時を示す日時情報と関連づけて記憶する記憶部、1又は複数のライフログに含まれる1又は複数の概念を抽出する概念抽出部、抽出した1又は複数の概念と日時情報とに基づいて、当該概念ごとに日時を時系列で表示するための画像を生成する画像生成部、として機能させる。
これらの態様によれば、1又は複数のライフログに含まれる1又は複数の概念を抽出し、抽出した1又は複数の概念と、1又は複数のライフログが生成された日時を示す日時情報とに基づいて、当該概念ごとに、1又は複数のライフログが生成された日時を時系列で表示するための画像を生成する。よって、介護従事者の能力によらず、介護対象者により適合した報告書の作成を支援することができる。
なお、本発明において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、1つの「部」や装置が有する機能が2つ以上の物理的手段や装置により実現されても、2つ以上の「部」や装置の機能が1つの物理的手段や装置により実現されても良い。
本発明によれば、サービス提供者の能力によらず、サービス対象者により適合した報告書の作成を支援することができる。
本発明の第1実施形態に係るライフログ管理システムのシステム構成の一例を示す図である。 本発明の第1実施形態に係る端末装置のブロック構成の一例を示す図である。 本発明の第1実施形態に係る端末装置の出力部に表示される画面例を示す図である。 本発明の第1実施形態に係る端末装置の出力部に表示される画面例を示す図である。 本発明の第1実施形態に係るライフログ画像生成処理の一例を示すフローチャートである。 本発明の第1実施形態に係るライフログ画像生成処理の他の一例を示すフローチャートである。 本発明の第2実施形態に係るライフログ管理システムのシステム構成の他の一例を示す図である。
以下、添付図面を参照しながら本発明の実施の形態について説明する。以下の実施の形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、様々な変形が可能である。さらに、各図面において同一の構成要素に対しては可能な限り同一の符号を付し、重複する説明は省略する。
<第1実施形態>
第1実施形態では、介護対象者(対象者)の生活状況や心身状態、介護サービスに関する要望等を把握するためのアセスメントシート、及び、介護対象者に対するケアプラン等を含む書類(以下、「報告書」という。)作成のための情報を出力する場合を例に説明するが、これに限る趣旨ではない。本実施形態に係るライフログ管理システムは、例えば、サービス対象者のライフログから生成した年表グラフデータを基にプロフィール情報を生成して活用するリクルート関連サービスや、自分史提供サービスにおいても適用することが可能である。
「ライフログ」とは、人の生活・行い・体験を、映像・音声・位置情報等のデジタルデータとして記録する技術、あるいはその記録自体をいう。具体的に、「ライフログ」は、画像データ、動画像データ、音声データ、テキストデータ又はWebコンテンツ等の非構造化データを含むメディアデータを含む。より具体的に、「ライフログ」は、特定の人物を含む所定の範囲を撮像することにより生成された写真データや動画像データ、特定の人物の趣味の音楽が録音されている音声ファイル等の特定の人物に関連する種々のデータが考えられる。なお、「ライフログ」に付帯する情報(付帯情報)として、例えば、「ライフログ」のファイルの種類、及び、ファイルサイズを含んでもよいし、「ライフログ」が生成された日時、「ライフログ」が更新された日時、及び、「ライフログ」が生成された位置等の情報を含んでもよい。
なお、本発明の第1実施形態に係るライフログ管理システムにおいては、端末装置のスタンドアロン方式を採用している。本実施形態は、仮に、端末装置がネットワーク300と接続されない事態・環境下にあっても、端末装置単独で処理することができる構成である。
(システム構成例)
図1を参照して、本発明の第1実施形態におけるライフログ管理システムのシステム構例を説明する。図1は、ライフログ管理システム1Aのシステム構成の一例を示すシステム図である。
図1に示すように、ライフログ管理システム1Aは、例示的に、介護従事者端末装置100a(ライフログ画像生成装置)、及び、介護従事者端末装置100aとネットワーク300を介して通信可能である要介護者端末装置100bを備える。なお、ネットワーク300は、例えば、インターネット、LAN、電話回線、その他の通信回線、それらの組み合わせ等のいずれであってもよく、有線であるか無線であるかを問わない。
介護従事者端末装置100aは、介護関連サービスを提供する介護関連事業者等のユーザ(以下、「人物B」という)が、ライフログ管理システム1Aを利用する際に各種操作する端末装置である。要介護者端末装置100bは、介護関連サービスを利用する要介護者(以下、「人物A」という)や要介護者の家族等のユーザが保有する端末装置である。なお、以下、介護従事者端末装置100a、要介護者端末装置100b等を総称して「端末装置100」という。
介護従事者端末装置100aは、例えば、人物Aに関するライフログを取得する。より具体的に、介護従事者端末装置100aは、例えば、要介護者端末装置100bから人物Aの過去の写真等のメディアデータを取得する。メディアデータの取得方法として、以下の方法が挙げられる。例えば、(1)要介護者端末装置100bが、コンピュータで読み取り可能なCD−ROMやDVD−ROM等の各種の情報記録媒体(以下、「各種記録媒体」という)に当該メディアデータを記録して、介護従事者端末装置100aが当該記録媒体を読み込むことで取得する。(2)要介護者端末装置100bが、ネットワーク300を介して当該メディアデータを送信し、介護従事者端末装置100aが受信することで取得する。(3)要介護者端末装置100bが、不図示であるが、他のサーバ装置やシステム等が提供するファイル共有サービス等を利用して、他のサーバ装置やシステム等にメディアデータをアップロードして、介護従事者端末装置100aが他のサーバ装置やシステム等からメディアデータのダウンロードすることで取得する等の方法を用いて取得する。(4)介護従事者端末装置100aにおいて、例えば、人物Aが含まれる現像済の写真等をスキャニングすることで、画像データ等を取得する。なお、介護従事者端末装置100aは、取得したメディアデータを記憶する。
図2は、本発明の第1実施形態に係る端末装置のブロック構成の一例を示す図である。図2に示すように、端末装置100(ライフログ画像生成装置)は、例示的に、通信部110と、制御部120と、出力部130と、入力部140と、記憶部150とを備える。
通信部110は、制御部120の制御により、ネットワーク300を介して他の端末装置100との通信を実行する機能を有する。通信部110は、例えば、他の端末装置100に対して、ライフログを要求するためのリクエストを送信し、他の端末装置100から要求対象のライフログを受信する。
制御部120は、機能的に、ライフログ取得部121と、概念抽出部122と、画像生成部123と、説明文生成部124と、質問生成部125と、回答受付部126と、を備える。制御部120は、例えば、端末装置100の各機能部を制御し、各種データを演算処理等する機能を有するプロセッサ(CPU)である。なお、制御部120の上記各部は、例えば、メモリやハードディスク等の記憶領域を用いたり、記憶領域に格納されているプログラムをプロセッサが実行したりすることにより実現することができる。
ライフログ取得部121(取得部)は、要介護者(対象者)の1又は複数のライフログを取得する。ライフログ取得部121は、例えば、ライフログを、その付帯情報、つまり、ライフログのファイルの種類、ファイルサイズ、ライフログが生成された日時、ライフログが更新された日時、及び、ライフログが生成された位置等の情報とともに、取得してもよい。また、ライフログ取得部121は、例えば、ライフログを、その付帯情報と別個の情報として取得してもよい。
概念抽出部122は、1又は複数のライフログに含まれる1又は複数の概念を抽出する。概念抽出部122は、例えば、ライフログから当該ライフログに関連する概念を抽出する機能を有する。概念抽出部122は、抽出処理対象のライフログが、人物Aと、人物Aと関わりのある他の人物(以下、「人物C」という)が一緒にテニスをする様子を撮影した写真データであれば、当該写真データから「人物A」、「人物C」、「テニスラケット」、「テニスボール」、「テニスコート」又は「テニス」という概念を抽出する。また、当該写真データの撮影位置(当該写真データに付帯する生成位置情報)を用いて、当該位置が示す特定の地域(以下、特定の地域や領域を総称して「エリア」という)を概念として抽出してもよい。
概念抽出部122は、例えば、画像解析や音声解析技術、自然言語処理技術等を用いて、ライフログの特徴点を抽出し、抽出した特徴点に基づいてパターン認識を行い、特定の概念を表すパターン(例えば、画素パターン又は音声に関する波形パターン等)に分類し、当該分類されたパターンに基づいて概念を抽出してもよい。概念抽出部122は、例えば、機械学習を用いる例として、学習されたパターン認識モデルを用いて、パターン認識を行ってもよい。なお、機械学習には、事前に教師データを含むデータベースを備える学習モデルを使用するものと、当該データベースを備えない学習モデルを使用するものが存在する。
「パターン認識モデル」とは、抽出されたメディアの特徴がどのパターンに属するか分類して、認識するためのモデルである。パターン認識モデルを利用する方法として、(1)SVM(Support Vector Machine)やランダムフォレストを用いる方法等が考えられる。概念抽出部122は、これらの方法によって、当該特徴がどのパターンに属するかを分類し、概念を抽出してもよい。また、機械学習モデルの活用方法として、SVMやランダムフォレスト等の複数の手法を織り交ぜる手法(アンサンブル)を採用してもよい。さらに、SVMやランダムフォレスト等の複数の手法を織り交ぜる手法により得られた結果をCNN(Convolutional Neural Network)等を用いてさらに判定処理等を実行してもよい。なお、例えば、学習済の認識モデルをAPI経由で取得することで最適な抽出モデルを選定し、その都度利用してもよい。後述するとおり、概念抽出部122は、協調フィルタリング処理を活用することも可能である。例えば、概念抽出部122は、協調フィルタリング処理の際に、複数の要介護者(対象者)間の属性情報の類似度を用いてもよい。また、概念抽出部122は、協調フィルタリング処理の際に、抽出した1又は複数の概念と当該要介護者(対象者)及び当該他の対象者の少なくとも一方のライフログから過去に抽出された1又は複数の概念との間の共起の度合いを示す共起度を用いてもよい。なお、概念抽出部122は、算出された上記類似度や共起度を組み合わせて協調フィルタリング処理を実行してもよい。
概念抽出部122は、パターン認識のその他の例として、記憶部150に概念辞書データベースを設けて、予め、当該データベースに、各概念を表す単語、当該単語の1以上の分類(例えば、人物、物体、エリア等の分類や「テニス」「絵画」は「趣味」と、「人物C」は「知人」という抽出対象の人物との関係性を表す分類等)及び各概念を表すパターンを関連付けて登録し、当該登録された概念のパターンとメディアデータから抽出されたパターンをパターンマッチングして該当する概念を抽出してもよい。
概念抽出部122は、複数の要介護者(対象者)間の属性情報の類似度を算出し、対象の人物において、算出された類似度が所定の類似度以上となる他の人物に関連付けられた概念を取得する。「属性情報」とは、例えば、当該特定の人物を識別するための識別情報、氏名、年齢、性別、出身地、家族構成、趣味、好み、経歴、資格等を含む。また、「所定の類似度」とは、当該数値化された類似度に対して、類似とみなすか否かの閾値を設定したものである。当該閾値の具体的な値については、ライフログ管理システム1Aを用いた介護関連サービスの内容等に応じた数値を適宜設定すればよい。
概念抽出部122は、抽出した1又は複数の概念と当該要介護者(対象者)及び当該他の対象者の少なくとも一方のライフログから過去に抽出された1又は複数の概念との間の共起の度合いを示す共起度を算出する。要介護者において、算出された共起度が所定の共起度以上となる概念を取得する。ここで「共起」とは、ある概念を表す単語とある概念を表す単語が、発話・文・文脈などの言語的環境において同時に出現することをいう。当該共起度の算出は、任意の文章における同時出現頻度を求めて算出してもよいし、相互情報量、zスコア、対数尤度比等の方法を用いればよい。また、「所定の共起度」とは、比較する複数の概念間に共起性があるか否かの閾値を設定してものである。当該閾値の具体的な値については、ライフログ管理システム1Aを用いた介護関連サービスの内容等に応じた数値を適宜設定すればよい。
このように、概念抽出部122は、要介護者(対象者)の属性情報と他の対象者の属性情報との間の類似性、及び、抽出した1又は複数の概念と当該要介護者(対象者)及び当該他の対象者の少なくとも一方のライフログから過去に抽出された1又は複数の概念との間の共起性の少なくとも一方に基づいて、要介護者(対象者)により適合する1又は複数の概念を抽出してもよい。
この構成によれば、対象者間での属性情報の類似性、及び、抽出した1又は複数の概念と過去に抽出された1又は複数の概念との間の共起性の少なくとも一方に基づいて概念を抽出できるので、特定の対象者により適合した概念を抽出することができる。
画像生成部123は、抽出した1又は複数の概念と、1又は複数のライフログが生成された日時を示す日時情報とに基づいて、当該概念ごとに当該日時を時系列で表示するための画像を生成する。ここで、出力部130は、制御部120の制御により、端末装置100において各種情報を出力する機能を有する。出力部130は、例えば、端末装置100の画面に表示したり、端末装置100に内蔵されたスピーカーを用いて音声出力したりと、様々な出力態様を含む。
図3は、本発明の第1実施形態に係る端末装置の出力部に表示される画面例を示す図である。図3に示すように、画像生成部123は、例えば、概念抽出部121によって抽出された概念ごとに、1又は複数のライフログが生成された日時を示すプロット503が時系列に並んだ、特定の対象者に関する年表グラフデータを生成する。そして、出力部130において、年表グラフデータを出力する。
「1又は複数のライフログが生成された日時」とは、例えば、写真データや動画データであればカメラで撮影された日時、音声データであればマイクで録音された日時等を示す情報である。
「年表グラフデータ」とは、一方の軸に時間軸、他方の軸に各概念とした、特定の人物に関する概念ごとの経時的変移を表すデータである。年表グラフデータは、例えば、図の3の例で説明すると、図3の上部に示した、縦軸に特定の人物に関連する概念のリスト502、横軸に時代ごとの区分けを設定した時間軸501とする年表プロットグラフ500としてもよい。
上記構成によれば、画像生成部123は、例えば、要介護者(対象者)である人物Aに関連する概念ごとに、ライフログが生成された日時を時系列にプロットすることで、図3の上部のグラフに示すような概念ごとの経時的変化を示すデータを生成することができる。このように、特定の対象者のライフログに裏付けされた、過去の事実ベースの概念ごとの年表グラフデータを生成することができる。よって、対象者である人物Aの現状及び過去の状況等を迅速にかつ正確に把握することができるので、サービス提供者の能力によらず、サービス対象者により適合した報告書の作成を支援できる。
説明文生成部124は、概念抽出部122が抽出した1又は複数の概念と、1又は複数のライフログが生成された日時を示す日時情報と、に基づいて、当該概念ごとに、ライフログの傾向を示すテキスト情報を生成する。そして、画像生成部123は、生成されたテキスト情報を、図3の下部の説明文欄520において含む画像を生成する。説明文生成部124は、テキスト情報の生成においては、年表グラフデータから読み取った形態素を、予め記憶部150に記憶するテンプレートに当てはめて文章を生成する方法を採用してもよい。なお、説明文生成部124は、年表グラフデータから読み取った形態素から自然言語処理を用いて文章を構築して生成する方法等の年表グラフデータに関連した文章が生成できればどの様な方法を用いてもよい。
説明文生成部124は、図3の例を参照して説明すると、概念「テニス」の場合、青年期から始まり、時代1までで、ライフログの生成日時のプロットが終わっていることを年表グラフデータから読み取る。そして、説明文生成部124は、読み取り結果に基づいて、「テニスの趣味が失われる」又は「青年期からテニスを始めて時代1まで趣味として続けていた」といった説明文情報を生成する。なお、概念ごとの説明文情報は単数でも複数でもよい。
また、図3の例を参照してさらに説明すると、説明文生成部124は、概念「絵画」の場合、年表グラフデータから時代2の中盤から開始され、時代3でプロット間隔が疎になりつつも現在までプロットが続いていることを読み取る。また、説明文生成部124は、記憶部150に概念辞書データベース等を参照して「絵画」「趣味」「時代2」「開始」「時代3」「頻度が少なくなる(プロット間隔が疎になる)」といった形態素を読み取る。説明文生成部124は、当該読み取った形態素から自然言語処理等を用いて、「時代2の中盤から絵画の趣味を持ち始める」「時代3では絵画の趣味が少し停滞する」といった説明文情報を生成してもよい。
上記構成によれば、介護従事者(サービス提供者)が年表グラフデータを見て手入力で説明文を入力しなくとも、年表グラフデータから読み取れるライフログの傾向を示すテキスト情報を自動で画面上に表示することができる。よって、介護従事者(サービス提供者)は、正確に、かつ、迅速に、介護対象者のライフログの傾向を把握することができる。
画像生成部123は、概念抽出部122により抽出された1又は複数の概念のうち、重要度の高い概念を含む1又は複数のライフログのそれぞれが生成された日時を優先的に表示するための画像を生成する。図3に示すように、画像生成部123は、重要度の高い概念「人物C」、「テニス」、「絵画」等が画面上において上位に配置されるような画像を生成する。また、画像生成部123は、重要度の高い概念を、重要度のより低い概念とは異なる表示形態、例えば、重要度の高い概念について重要度のより低い概念とは異なる色を付して強調表示してもよい。
この構成によれば、介護従事者が、要介護者にとって重要な概念を容易に、かつ、迅速に把握できる。
なお、重要度の選択は、介護従事者であるサービス提供者が任意に選択してもよいし、頻出する概念については重要度に関して重みづけを実施したりしてもよい。
質問生成部125は、説明文生成部124によって生成されたテキスト情報の言語情報を解析し、当該解析された言語情報に基づいて質問項目情報を生成する機能を有する。質問生成部125は、例えば、自然言語処理を行い、説明文の言語情報の形態素解析を行い、当該解析された形態素に基づいて、質問項目を生成してもよい。なお、質問生成部125は、予め記憶部150に記憶されている質問項目を必要に応じて抽出することで取得してもよい。
「質問項目」とは、介護関連サービス等のサービス利用者のユーザに対するアセスメント等を行う際の質問項目を示した情報である。質問項目は、例えば、「サービスの利用者が望む生活はなにか」、「長期の目標はなにか」といった質問や、社会参加の観点から「趣味や楽しみがあるか」、「仕事をしているか」、「地域活動やボランティア活動に参加しているか」といった特定の観点からの詳細な質問等を含んでもよい。
図4は、報告書に記載される予定の質問項目と、質問項目に対する回答と、その質問項目及び回答の少なくとも一方の根拠となるライフログと、を関連づけて表示するためのライフログ画像の一例を示す図である。
図4に示すように、質問生成部125は、質問項目に基づいて、人物Aへの質問フォーム602を生成し、生成されたテキスト情報が初期設定された状態で質問フォーム602に対する回答入力フォーム603を生成する機能を有する。質問生成部125は、例えば、生成した質問フォーム602と回答入力フォーム603を含めた出力部130で出力するための出力情報(例えば、端末装置100で表示する画面情報(HTML情報)等)を生成してもよい。質問生成部125は、例えば、質問フォーム602の質問項目「長年続けていた趣味はなにか」に対する回答入力フォーム603において、初期値として生成された説明文情報「青年期からテニスを始めて、時代1まで趣味として続けていた」を設定した状態で回答入力フォーム603を生成してもよい。なお、質問生成部125が生成する質問フォーム602及び回答入力フォーム603は、チャットシステム等の対話型システムを利用した質問メッセージ602と回答入力メッセージ603であってもよい。
上記構成によれば、人物Bが、アセスメント等の人物A等へのヒアリングにおいて、質問に対する回答入力を一から入力する必要がないため、フォーム入力操作の手間を減らすことができる。また、特に、うまく質問に対する回答ができない老人や障害者等である人物Aに対して、直接ヒアリングする際の回答サポートするための情報として、人物Bに提供することもできる。
図4に示すように、出力部130は、画面表示の中央部に、人物Aに関する質問リストを表示する質問リスト表示領域600を表示してもよい。質問リスト表示領域600は、1以上の質問及び回答入力フォーム601で構成される。また、質問及び回答入力フォーム601は、質問フォーム602と回答入力フォーム603とで構成される。例えば、質問及び回答入力フォーム601の場合、質問フォーム602には「項目1:本人が希望する生活」と出力し、回答入力フォーム603には「長年、家庭菜園を趣味で行っており」と出力してもよい。なお、情報処理システム1がチャットシステム等の対話型システムを利用した場合には、質問フォームが質問メッセージとなり、回答入力フォームが回答メッセージでなって、対話型を実現してもよい。
出力部130は、画面表示の左右(質問リスト表示領域600)に、人物Aに関するライフログを表示するライフログ表示領域610a、610bを出力してもよい。また、出力部130は、例えば、回答入力フォームの入力情報から解析された言語情報である概念(例えば、回答入力フォーム603の入力情報から解析された言語情報「家庭菜園」)と、当該言語情報に対応するライフログ(例えば、家庭菜園の様子が撮影された動画)をそれぞれコネクト線で結びつけることで関連付けて出力してもよい。
例えば、図2に示す回答受付部126は、要介護者(対象者)に関する質問への回答を受け付ける。図4に示すように、回答受付部126は、例えば、回答入力フォーム603に入力された回答を受け付ける。そして、概念抽出部122は、質問、受け付けた回答、及び取得した1又は複数のライフログのそれぞれに含まれる1又は複数の概念を抽出する。
図4に示すように、概念抽出部122は、回答「長年、家庭菜園を趣味で行っており」と、1又は複数のライフログ611と、から少なくとも関連する1又は複数の概念を抽出する。概念抽出部122は、例えば、テキスト情報である回答「長年、家庭菜園を趣味で行っており」から概念「家庭菜園」を抽出する。また、概念抽出部122は、例えば、ライフログ611に含まれる動画は、家庭菜園の様子が撮影された動画であるので、「家庭菜園」(共通する概念)、または「菜園」(関連する概念)を抽出する。この場合は、回答「長年、家庭菜園を趣味で行っており」と、1又は複数のライフログ611と、から少なくとも関連する1又は複数の概念を抽出したことを示す。同様に、概念抽出部122は、例えば、質問「本人が希望する生活」と、1又は複数のライフログ611のいずれかと、から少なくとも関連する1又は複数の概念を抽出する。
図4に示すように、画像生成部123は、概念抽出部122により質問と1又は複数のライフログとから少なくとも関連する1又は複数の概念が抽出される場合は、当該質問と、関連する1又は複数の概念が抽出される1又は複数のライフログと、を関連づけて表示し、回答と1又は複数のライフログとから少なくとも関連する1又は複数の概念が抽出される場合は、当該回答と、関連する1又は複数の概念が抽出される1又は複数のライフログと、を関連づけて表示するための画像を生成する。
この構成によれば、報告書に記載される予定の質問項目と、質問項目に対する回答と、その質問項目及び回答の少なくとも一方の根拠となるライフログと、を関連づけて表示するためのライフログ画像を生成する。よって、報告書の記載内容のそれぞれについての根拠となる情報を確認できるので、事実に即し、かつ、介護対象者により適合した報告書を作成することを支援できる。
図2に戻り、入力部140は、制御部120の制御により、端末装置100において各種情報の入力を受け付ける機能を有する。入力部140は、例えば、端末装置100の画面への操作入力を受け付けたり、端末装置100に内蔵されたマイクを用いて音声入力したりと、様々な入力態様を含む。入力部140は、例えば、出力部130によって出力された回答入力フォームへの人物B等のユーザからの編集入力を受け付けてもよい。
記憶部150は、ライフログ取得部121が取得した1又は複数のライフログを記憶する。記憶部150は、例えば、ライフログ取得部121が取得した1又は複数のライフログを、1又は複数のライフログが生成された日時を示す日時情報と関連づけて記憶する。なお、記憶部150は、ライフログが非構造化データを含むため、非構造化データの記憶においては、NoSQLデータベースや複数の端末装置100間における分散ファイルシステムを用いて実現してもよい。なお、記憶部150は、端末装置100において取得され、または、生成された各種情報を記憶してもよい。
(ライフログ画像生成処理1)
図5及び図6を参照して、本発明の第1実施形態に係るライフログ画像生成処理を説明する。図5は、本発明の第1実施形態に係るライフログ画像生成処理の一例を示すフローチャートである。当該ライフログ画像生成処理で生成される画像は、図3に示す画像である。なお、以下に示す処理の順番は一例であって、適宜、変更されてもよい。
図2に示す端末装置100のライフログ取得部121は、介護対象者の1又は複数のライフログを取得する(S1)。
端末装置100の記憶部150は、ライフログ取得部121が取得した1又は複数のライフログを、1又は複数のライフログが生成された日時を示す日時情報と関連づけて記憶する(S3)。
端末装置100の概念抽出部122は、1又は複数のライフログに含まれる1又は複数の概念を抽出する(S5)。
端末装置100の画像生成部123は、抽出した前記1又は複数の概念と1又は複数のライフログが生成された日時を示す日時情報とに基づいて、当該概念ごとに日時を時系列で表示するための画像を生成する(S7)。
(ライフログ画像生成処理2)
図6は、本発明の第1実施形態に係るライフログ画像生成処理の一例を示すフローチャートである。当該ライフログ画像生成処理で生成される画像は、図4に示す画像である。なお、以下に示す処理の順番は一例であって、適宜、変更されてもよい。
図2に示す端末装置100のライフログ取得部121は、介護対象者の1又は複数のライフログを取得する(S11)。
端末装置100の回答受付部126は、対象者に関する質問への回答を受け付ける(S13)。
端末装置100の概念抽出部122は、対象者に関する質問、受け付けた回答、及び取得した1又は複数のライフログのそれぞれに含まれる1又は複数の概念を抽出する(S15)。
端末装置100の画像生成部123は、対象者に関する質問と1又は複数のライフログとから少なくとも関連する1又は複数の概念が抽出される場合は、当該質問と、関連する1又は複数の概念が抽出される1又は複数のライフログと、を関連づけて表示し、対象者に関する回答と1又は複数のライフログとから少なくとも関連する1又は複数の概念が抽出される場合は、当該回答と、関連する1又は複数の概念が抽出される1又は複数のライフログと、を関連づけて表示するための画像を生成する(S17)。
本発明の第1実施形態によれば、1又は複数のライフログに含まれる1又は複数の概念を抽出し、抽出した1又は複数の概念と、1又は複数のライフログが生成された日時を示す日時情報とに基づいて、当該概念ごとに、1又は複数のライフログが生成された日時を時系列で表示するための画像を生成する。よって、介護従事者の能力によらず、介護対象者により適合したケアプランの作成を支援することができる。
<第2実施形態>
図7を参照して、本発明の第2実施形態について説明する。第2実施形態は、本発明に係るライフログ管理システムにおいて、サーバ−クライアント方式を採用した実施形態である点で、第1実施形態とは異なる。以下では、第1実施形態と異なる点について、特に説明する。
図7は、本発明の第2実施形態に係るライフログ管理システムのシステム構成の他の一例を示す図である。図7に示すように、ライフログ管理システム1Bは、例示的に、端末装置100と管理サーバ装置200とを備える。
管理サーバ装置200は、介護関連サービス又は当該介護関連サービスに関する他のサービスを提供するサーバ装置等である。管理サーバ装置200は、例えばコンピュータシステムからなるサーバ装置等によって構成され、ソフトウェアプログラムによって実装される。また、当該プログラムは、例えば、管理サーバ装置200の外部からダウンロードされて提供されてもよいし、又は、各種記録媒体によって提供されてもよい。なお、管理サーバ装置200は、ライフログ管理システム1B専用のソフトウェアやハードウェア、OS等を設けずに、クラウドサーバ装置によるサービスを適宜用いてもよい。
ここで、第1実施形態においては、図2に示すように制御部120に含まれる各機能ブロック、つまり、ライフログ取得部121と、概念抽出部122と、画像生成部123と、説明文生成部124と、質問生成部125と、回答受付部126とは、端末装置100が備える。しかしながら、第2実施形態においては、管理サーバ装置200が、ライフログ取得部121と、概念抽出部122と、画像生成部123と、説明文生成部124と、質問生成部125と、回答受付部126との少なくとも一つを備えてもよい。
本発明の第2実施形態によれば、第1実施形態による効果、つまり、介護従事者の能力によらず、介護対象者により適合したケアプランの作成を支援することができることに加えて、管理サーバ200が、概念抽出処理や画像生成処理等の比較的負荷の大きい処理を担ったり、容量の重いデータを扱ったりするため、第1実施形態と比較して、端末装置100における情報処理による負荷を低減できる。
上記実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するものではない。本発明はその趣旨を逸脱することなく、変更/改良(たとえば、各実施形態を組み合わせること、各実施形態の一部の構成を省略すること)され得るとともに、本発明にはその等価物も含まれる。上記実施形態は、介護保険料の予測や介護従事者の能力評価等にも応用することが可能である。
1A,1B…ライフログ管理システム、100…端末装置、100a…介護従事者端末装置、100b…要介護者端末装置、110…通信部、120…制御部、121…ライフログ取得部、122…概念抽出部、123…画像生成部、124…説明文生成部、125…質問生成部、126…回答受付部、130…出力部、140…入力部、150…記憶部、200…管理サーバ装置、300…ネットワーク

Claims (16)

  1. 対象者の1又は複数のライフログを取得する取得部と、
    取得した前記1又は複数のライフログを、前記1又は複数のライフログが生成された日時を示す日時情報と関連づけて記憶する記憶部と、
    前記1又は複数のライフログに含まれる複数の概念を抽出する概念抽出部と、
    抽出した前記複数の概念と前記日時情報とに基づいて、当該概念ごとに前記日時を時系列で一覧表示するための画像を生成する画像生成部と、を備え、
    前記画像生成部は、前記複数の概念のうち、予め選択された概念又は頻出する概念を含む前記1又は複数のライフログのそれぞれが生成された前記日時を優先的に表示するための画像を生成する、
    ライフログ画像生成装置。
  2. 前記画像生成部は、抽出した前記複数の概念と前記日時情報とに基づいて、当該概念ごとに、前記ライフログの傾向を示すテキスト情報を含む前記画像を生成する、
    請求項1に記載のライフログ画像生成装置。
  3. 前記概念抽出部は、前記対象者の属性情報と他の対象者の属性情報との間の類似度を算出し、前記対象者に対して、算出された前記類似度が所定の類似度以上となる前記他の対象者に関連付けられた概念を取得することによって、前記対象者により適合する前記複数の概念を抽出する、
    請求項1又は請求項2に記載のライフログ画像生成装置。
  4. 前記概念抽出部は、抽出した前記複数の概念と当該対象者及び当該他の対象者の少なくとも一方のライフログから過去に抽出された複数の概念との間の共起性に基づいて、前記対象者により適合する前記複数の概念を抽出する、
    請求項1から請求項3のいずれか一項に記載のライフログ画像生成装置。
  5. 前記対象者に関する質問への回答を受け付ける回答受付部をさらに備え、
    前記概念抽出部は、前記質問、受け付けた前記回答、及び取得した前記1又は複数のライフログのそれぞれに含まれる複数の概念を抽出し、
    前記画像生成部は、前記質問と前記1又は複数のライフログとから少なくとも関連する複数の概念が抽出される場合は、前記質問と、関連する複数の概念が抽出される1又は複数のライフログと、を関連づけて表示し、前記回答と前記1又は複数のライフログとから少なくとも関連する複数の概念が抽出される場合は、前記回答と、関連する複数の概念が抽出される1又は複数のライフログと、を関連づけて表示するための画像を生成する、
    請求項1から請求項4のいずれか一項に記載のライフログ画像生成装置。
  6. コンピュータが実行するライフログ画像生成方法であって、
    対象者の1又は複数のライフログを取得するステップと、
    取得した前記1又は複数のライフログを、前記1又は複数のライフログが生成された日時を示す日時情報と関連づけて記憶するステップと、
    前記1又は複数のライフログに含まれる複数の概念を抽出するステップと、
    抽出した前記複数の概念と前記日時情報とに基づいて、当該概念ごとに前記日時を時系列で一覧表示するための画像を生成するステップと、を含み、
    前記生成するステップは、前記複数の概念のうち、予め選択された概念又は頻出する概念を含む前記1又は複数のライフログのそれぞれが生成された前記日時を優先的に表示するための画像を生成する、
    ライフログ画像生成方法。
  7. コンピュータを、
    対象者の1又は複数のライフログを取得する取得部、
    取得した前記1又は複数のライフログを、前記1又は複数のライフログが生成された日時を示す日時情報と関連づけて記憶する記憶部、
    前記1又は複数のライフログに含まれる複数の概念を抽出する概念抽出部、
    抽出した前記複数の概念と前記日時情報とに基づいて、当該概念ごとに前記日時を時系列で一覧表示するための画像を生成する画像生成部、
    として機能させるプログラムであって、
    前記画像生成部は、前記複数の概念のうち、予め選択された概念又は頻出する概念を含む前記1又は複数のライフログのそれぞれが生成された前記日時を優先的に表示するための画像を生成する、
    プログラム。
  8. 対象者の1又は複数のライフログを取得する取得部と、
    前記対象者に関する質問への回答を受け付ける回答受付部と、
    前記質問、受け付けた前記回答、及び取得した前記1又は複数のライフログのそれぞれに含まれる1又は複数の概念を抽出する概念抽出部と、
    前記質問と前記1又は複数のライフログとから少なくとも関連する1又は複数の概念が抽出される場合は、前記質問と、関連する1又は複数の概念が抽出される1又は複数のライフログと、を関連づけて表示し、前記回答と前記1又は複数のライフログとから少なくとも関連する1又は複数の概念が抽出される場合は、前記回答と、関連する1又は複数の概念が抽出される1又は複数のライフログと、を関連づけて表示するための画像を生成する画像生成部と、を備える、
    ライフログ画像生成装置。
  9. コンピュータが実行するライフログ画像生成方法であって、
    対象者の1又は複数のライフログを取得するステップと、
    前記対象者に関する質問への回答を受け付けるステップと、
    前記質問、受け付けた前記回答、及び取得した前記1又は複数のライフログのそれぞれに含まれる1又は複数の概念を抽出するステップと、
    前記質問と前記1又は複数のライフログとから少なくとも関連する1又は複数の概念が抽出される場合は、前記質問と、関連する1又は複数の概念が抽出される1又は複数のライフログと、を関連づけて表示し、前記回答と前記1又は複数のライフログとから少なくとも関連する1又は複数の概念が抽出される場合は、前記回答と、関連する1又は複数の概念が抽出される1又は複数のライフログと、を関連づけて表示するための画像を生成するステップと、を備える、
    ライフログ画像生成方法。
  10. コンピュータを、
    対象者の1又は複数のライフログを取得する取得部、
    前記対象者に関する質問への回答を受け付ける回答受付部、
    前記質問、受け付けた前記回答、及び取得した前記1又は複数のライフログのそれぞれに含まれる1又は複数の概念を抽出する概念抽出部、
    前記質問と前記1又は複数のライフログとから少なくとも関連する1又は複数の概念が抽出される場合は、前記質問と、関連する1又は複数の概念が抽出される1又は複数のライフログと、を関連づけて表示し、前記回答と前記1又は複数のライフログとから少なくとも関連する1又は複数の概念が抽出される場合は、前記回答と、関連する1又は複数の概念が抽出される1又は複数のライフログと、を関連づけて表示するための画像を生成する画像生成部、
    として機能させるプログラム。
  11. 対象者の1又は複数のライフログを取得する取得部と、
    取得した前記1又は複数のライフログを、前記1又は複数のライフログが生成された日時を示す日時情報と関連づけて記憶する記憶部と、
    前記1又は複数のライフログに含まれる1又は複数の概念を抽出する概念抽出部と、
    抽出した前記1又は複数の概念と前記日時情報とに基づいて、当該概念ごとに前記日時を時系列で表示するための画像を生成する画像生成部と、を備え、
    前記概念抽出部は、前記対象者の属性情報と他の対象者の属性情報との間の類似度を算出し、前記対象者に対して、算出された前記類似度が所定の類似度以上となる前記他の対象者に関連付けられた概念を取得することによって、前記対象者により適合する前記1又は複数の概念を抽出する、
    ライフログ画像生成装置。
  12. コンピュータが実行するライフログ画像生成方法であって、
    対象者の1又は複数のライフログを取得するステップと、
    取得した前記1又は複数のライフログを、前記1又は複数のライフログが生成された日時を示す日時情報と関連づけて記憶するステップと、
    前記1又は複数のライフログに含まれる1又は複数の概念を抽出するステップと、
    抽出した前記1又は複数の概念と前記日時情報とに基づいて、当該概念ごとに前記日時を時系列で表示するための画像を生成するステップと、を含み、
    前記抽出するステップは、前記対象者の属性情報と他の対象者の属性情報との間の類似度を算出し、前記対象者に対して、算出された前記類似度が所定の類似度以上となる前記他の対象者に関連付けられた概念を取得することによって、前記対象者により適合する前記1又は複数の概念を抽出する、
    ライフログ画像生成方法。
  13. コンピュータを、
    対象者の1又は複数のライフログを取得する取得部、
    取得した前記1又は複数のライフログを、前記1又は複数のライフログが生成された日時を示す日時情報と関連づけて記憶する記憶部、
    前記1又は複数のライフログに含まれる1又は複数の概念を抽出する概念抽出部、
    抽出した前記1又は複数の概念と前記日時情報とに基づいて、当該概念ごとに前記日時を時系列で表示するための画像を生成する画像生成部、
    として機能させるプログラムであって、
    前記概念抽出部は、前記対象者の属性情報と他の対象者の属性情報との間の類似度を算出し、前記対象者に対して、算出された前記類似度が所定の類似度以上となる前記他の対象者に関連付けられた概念を取得することによって、前記対象者により適合する前記1又は複数の概念を抽出する、プログラム。
  14. 対象者の1又は複数のライフログを取得する取得部と、
    取得した前記1又は複数のライフログを、前記1又は複数のライフログが生成された日時を示す日時情報と関連づけて記憶する記憶部と、
    前記1又は複数のライフログに含まれる1又は複数の概念を抽出する概念抽出部と、
    抽出した前記1又は複数の概念と前記日時情報とに基づいて、当該概念ごとに前記日時を時系列で表示するための画像を生成する画像生成部と、を備え、
    前記概念抽出部は、抽出した前記1又は複数の概念と当該対象者及び当該他の対象者の少なくとも一方のライフログから過去に抽出された1又は複数の概念との間の共起性に基づいて、前記対象者により適合する前記1又は複数の概念を抽出する、
    ライフログ画像生成装置。
  15. コンピュータが実行するライフログ画像生成方法であって、
    対象者の1又は複数のライフログを取得するステップと、
    取得した前記1又は複数のライフログを、前記1又は複数のライフログが生成された日時を示す日時情報と関連づけて記憶するステップと、
    前記1又は複数のライフログに含まれる1又は複数の概念を抽出するステップと、
    抽出した前記1又は複数の概念と前記日時情報とに基づいて、当該概念ごとに前記日時を時系列で表示するための画像を生成するステップと、を含み、
    前記抽出するステップは、抽出した前記1又は複数の概念と当該対象者及び当該他の対象者の少なくとも一方のライフログから過去に抽出された1又は複数の概念との間の共起性に基づいて、前記対象者により適合する前記1又は複数の概念を抽出する、
    ライフログ画像生成方法。
  16. コンピュータを、
    対象者の1又は複数のライフログを取得する取得部、
    取得した前記1又は複数のライフログを、前記1又は複数のライフログが生成された日時を示す日時情報と関連づけて記憶する記憶部、
    前記1又は複数のライフログに含まれる1又は複数の概念を抽出する概念抽出部、
    抽出した前記1又は複数の概念と前記日時情報とに基づいて、当該概念ごとに前記日時を時系列で表示するための画像を生成する画像生成部、
    として機能させるプログラムであって、
    前記概念抽出部は、抽出した前記1又は複数の概念と当該対象者及び当該他の対象者の少なくとも一方のライフログから過去に抽出された1又は複数の概念との間の共起性に基づいて、前記対象者により適合する前記1又は複数の概念を抽出する、
    プログラム。
JP2018101791A 2017-12-12 2018-05-28 ライフログ画像生成装置、ライフログ画像生成方法、及びプログラム Active JP6901139B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017237340 2017-12-12
JP2017237340 2017-12-12

Publications (2)

Publication Number Publication Date
JP2019106163A JP2019106163A (ja) 2019-06-27
JP6901139B2 true JP6901139B2 (ja) 2021-07-14

Family

ID=67061332

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018101791A Active JP6901139B2 (ja) 2017-12-12 2018-05-28 ライフログ画像生成装置、ライフログ画像生成方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6901139B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6995420B1 (ja) 2021-07-28 2022-02-14 株式会社ロジック 介護に関する計画書の作成を支援する装置、方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003099434A (ja) * 2001-09-25 2003-04-04 Sanyo Electric Co Ltd 電子アルバム装置
JP2010039743A (ja) * 2008-08-05 2010-02-18 Optim Corp 関連データを表示するための方法、サーバ、およびプログラム
JP2013188251A (ja) * 2012-03-12 2013-09-26 Glory Ltd 管理システム、管理装置及び管理方法
JP2016103079A (ja) * 2014-11-27 2016-06-02 ソニー株式会社 情報処理装置、制御方法、およびプログラム
JP6265245B2 (ja) * 2016-10-07 2018-01-24 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム

Also Published As

Publication number Publication date
JP2019106163A (ja) 2019-06-27

Similar Documents

Publication Publication Date Title
Hearn et al. From celebrity to influencer: Tracing the diffusion of celebrity value across the data stream
Adriaanse et al. Gender equality in sport leadership: From the Brighton Declaration to the Sydney Scoreboard
Rodrigues et al. 'Having fun'?: Humour as resistance in Brazil
Splichal et al. Journalism between de-professionalisation and democratisation
Dunaway et al. Traits versus issues: How female candidates shape coverage of senate and gubernatorial races
US10146882B1 (en) Systems and methods for online matching using non-self-identified data
Rumens et al. Gay men at work:(Re) constructing the self as professional
Garcia et al. Ethnographic approaches to the internet and computer-mediated communication
US10347250B2 (en) Utterance presentation device, utterance presentation method, and computer program product
JP6061729B2 (ja) 商品情報提供システムおよび商品情報提供用プログラム
US20210097468A1 (en) Generating sentiment metrics using emoji selections
McGuckin et al. Planning for sedentary behaviour interventions: office workers’ survey and focus group responses
JP6531323B1 (ja) プログラム、情報処理装置及び情報処理方法
Addi-Raccah Accessing internal leadership positions at school: Testing the similarity-attraction approach regarding gender in three educational systems in Israel
Borgeson et al. Gay skinheads: Negotiating a gay identity in a culture of traditional masculinity
Marshall et al. Queer generations: Theorizing a concept
CN115577316A (zh) 一种基于多模态数据融合的用户人格预测方法与应用
US20170316807A1 (en) Systems and methods for creating whiteboard animation videos
Krogh The beautiful and the fit reap the spoils: body image as a condition for the positive effects of electronic media communication on well-being among early adolescents
JP6901139B2 (ja) ライフログ画像生成装置、ライフログ画像生成方法、及びプログラム
JP4350398B2 (ja) 広告文配信システム
Sarkar et al. AVCAffe: a large scale audio-visual dataset of cognitive load and affect for remote work
Reitz Leading questions: Dialogue in organizations: Developing relational leadership
Foster You gotta be there: A thematic content analysis of the historically Black college and university sporting experience
Bradbury-Jones et al. Unity and detachment: A discourse analysis of doctoral supervision

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20180621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180706

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190613

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210610

R150 Certificate of patent or registration of utility model

Ref document number: 6901139

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S631 Written request for registration of reclamation of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313631

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250