JP7456485B2 - 観測効率化装置、観測効率化方法及びプログラム - Google Patents

観測効率化装置、観測効率化方法及びプログラム Download PDF

Info

Publication number
JP7456485B2
JP7456485B2 JP2022501582A JP2022501582A JP7456485B2 JP 7456485 B2 JP7456485 B2 JP 7456485B2 JP 2022501582 A JP2022501582 A JP 2022501582A JP 2022501582 A JP2022501582 A JP 2022501582A JP 7456485 B2 JP7456485 B2 JP 7456485B2
Authority
JP
Japan
Prior art keywords
time period
user
observation
behavior
intervention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022501582A
Other languages
English (en)
Other versions
JPWO2021166253A1 (ja
Inventor
公海 高橋
匡宏 幸島
健 倉島
浩之 戸田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021166253A1 publication Critical patent/JPWO2021166253A1/ja
Application granted granted Critical
Publication of JP7456485B2 publication Critical patent/JP7456485B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Nutrition Science (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Tourism & Hospitality (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、観測効率化装置、観測効率化方法及びプログラムに関する。
生活習慣病の増加は社会的な課題であり、その多くは不健全な生活の積み重ねが要因となっている。生活習慣病の予防には、病気になる前にライフスタイルを見直し、十分な睡眠・適度な運動・規則正しい食生活等の健康的な習慣を身につけることが効果的である。
このため、近年では、ユーザに睡眠や休息、運動等の行動を動的に促すアプリケーション（つまり、ユーザに何等かの行動を促す介入を動的に行うアプリケーション）が知られている。このような介入を実現するためには、ユーザの行動やユーザの状態（以下、ユーザの行動やユーザの状態をまとめて「ユーザ行動」という。）を観測しながら適切な介入を決定する必要がある（非特許文献１）。
Rabbi, Mashfiqui, et al. "Automated personalized feedback for physical activity and dietary behavior change with mobile phones: a randomized controlled trial on adults." JMIR mHealth and uHealth 3.2 (2015)
しかしながら、従来技術では、ユーザ行動を効率的に観測することができなかった。例えば、適切な介入を決定するためには、システムはユーザ行動を常時観測する必要があるが、ユーザ行動を常に観測できるとは限らない。また、システムが自動的に認識することが困難なユーザ行動を観測対象とする場合には、人手でユーザ行動を記述する必要がある。
本発明の一実施形態は、上記の点に鑑みてなされたもので、ユーザ行動を効率的に観測することを目的とする。
上記目的を達成するため、一実施形態に係る観測効率化装置は、ユーザに対して所定の介入を行う時間が少なくとも含まれる介入方策を入力として、前記ユーザの行動又は状態を観測する必要がある時間帯を示す観測必要時間帯と前記ユーザの行動又は状態を観測する必要がない時間帯を示す観測不要時間帯とを判別する判別手段と、前記観測必要時間帯になった場合、前記ユーザの行動又は状態を観測するための所定の処理を実行する観測促進手段と、を有することを特徴とする。
ユーザ行動を効率的に観測することができる。
実施例１における観測効率化装置の機能構成の一例を示す図である。 実施例１における行動ログデータの一例を示す図である。 実施例１における目標データの一例を示す図である。 実施例１における介入方策データの一例を示す図である。 実施例１における観測効率化装置が実行する処理の流れの一例を示すフローチャートである。 観測必要時間帯と観測不要時間帯との判別の一例を説明するための図である。 ユーザ行動入力画面の一例を示す図である。 観測必要時間帯と観測不要時間帯が存在することを表す実験結果の一例を示す図である。 実施例２における観測効率化装置の機能構成の一例を示す図である。 実施例２における行動ログデータの一例を示す図である。 実施例２における介入方策データの一例を示す図である。 実施例２における観測効率化装置が実行する処理の流れの一例を示すフローチャートである。 一実施形態に係る観測効率化装置のハードウェア構成の一例を示す図である。
以下、本発明の一実施形態について説明する。本実施形態では、ユーザ行動を効率的に観測することが可能な観測効率化装置１０について説明する。ユーザ行動とはユーザの行動やユーザの状態等のことである。
ここで、本実施形態では、一例として、ユーザの目標（例えば、「夜１１時に寝る」等）に対して、ユーザ行動を促す介入（例えば、「そろそろ夕食を食べませんか？」や「そろそろ寝る時間です。」等）を行うアプリケーションを想定し、このような介入を適切に決定するためのユーザ行動の観測を効率化する場合について説明する。介入とはユーザに対して何等かを促すことであり、本実施形態では、一例として、ユーザに対してユーザ行動を促すことを介入する。なお、このような介入は、例えば、リマインド通知等によって実現される。
また、本実施形態では、一例として、ユーザ行動は、１：睡眠、２：朝食、３：昼食、４：夕食、５：間食、６：出社、７：仕事、８：退社、９：家事、１０：運動、１１：休息、１２：風呂、１３：趣味、１４：飲酒、１５：買い物、であるものとする。一方で、介入（より正確には、介入によって促されるユーザ行動）は、上記の１～１５に加えて、１６：何も介入しない（介入無し）、であるものとする。
［実施例１］
以下、実施例１について説明する。実施例１では、ユーザ行動をState、エージェント（つまり、アプリケーション等のシステム）による介入をAction、ユーザの目標をRewardとして、モデルベース強化学習により最適な介入の方策（以下、「介入方策」と表す。）を学習した上で、この介入方策によって最適な介入を決定するための観測を効率化する場合について説明する。
モデルベース強化学習では、状態遷移確率等の環境パラメータを推定した後、その環境パラメータを用いて介入方策を推定する。以降では、強化学習における時刻を表すインデックスをｔとして、所定の時間幅（本実施例では１時間幅）の時間帯を表すものとする。具体的には、ｔ＝０は０：００－０：５９の時間帯、ｔ＝１は１：００－１：５９の時間帯、・・・、ｔ＝２３は２３：００－２３：５９の時間帯をそれぞれ表すものとする。
＜観測効率化装置１０の機能構成（実施例１）＞
まず、実施例１における観測効率化装置１０の機能構成について、図１を参照しながら説明する。図１は、実施例１における観測効率化装置１０の機能構成の一例を示す図である。
図１に示すように、実施例１における観測効率化装置１０は、遷移確率推定部１０１と、学習部１０２と、判別部１０３と、行動取得促進部１０４とを有する。
遷移確率推定部１０１は、予め収集したユーザ行動のログを表す行動ログデータを入力として、モデルベース強化学習における状態遷移確率を推定する。
学習部１０２は、ユーザの目標を表す目標データと、遷移確率推定部１０１により推定された状態遷移確率とを入力として、最適な介入方策を表す介入方策データを推定する。
判別部１０３は、学習部１０２により推定された介入方策データを入力として、ユーザ行動の観測が必要な時間帯（以下、「観測必要時間帯」という。）とユーザ行動の観測が不要な時間帯（以下、「観測不要時間帯」という。）とを判別する。具体的には、判別部１０３は、ユーザ行動に応じて最適な介入が異なる時間帯を観測必要時間帯と判別し、ユーザ行動に関係なく最適な介入が同一である時間帯を観測不要時間帯と判別する。
行動取得促進部１０４は、観測必要時間帯におけるユーザ行動の観測を行うための各種処理を行う。
例えば、行動取得促進部１０４は、ユーザに対してユーザ行動の入力を促すための画面（以下、「ユーザ行動入力画面」という。）を、当該ユーザが利用する端末等に表示させる。これ以外にも、行動取得促進部１０４は、例えば、ユーザに対してユーザ行動の入力を促すためのアラートを当該端末等に出力してもよい。また、例えば、行動取得促進部１０４は、観測必要時間帯と観測不要時間帯とでユーザに対してユーザ行動の入力を促す頻度を異ならせてもよい（つまり、観測必要時間帯では高い頻度で入力を促す一方で、観測不要時間帯では低い頻度で入力を促す等）。更に、例えば、センサ等によりユーザ行動を自動的に観測可能な場合には、行動取得促進部１０４は、観測必要時間帯にはユーザ行動を観測する一方で、観測不要時間帯にはユーザ行動を観測しないようにしてもよい。また、例えば、ユーザがユーザ行動を入力し忘れた場合やセンサのエラー等によりユーザ行動が観測できなかった場合で、かつ、観測必要時間帯である場合に、行動取得促進部１０４は、上記のアラートを当該端末等に出力するようにしてもよい。
なお、本実施形態では、一例として、行動取得促進部１０４がユーザ行動入力画面を当該端末等に表示させる場合について説明する。
ここで、実施例１における行動ログデータの一例について、図２を参照しながら説明する。図２は、実施例１における行動ログデータの一例を示す図である。
図２に示すように、実施例１における行動ログデータは、時間と実際にユーザが行ったユーザ行動とが対応付けられたデータである。図２に示す例では、時間「９：００」とユーザ行動「朝食」、時間「１０：００」とユーザ行動「仕事」、時間「１１：４５」とユーザ行動「昼食」、時間「１３：００」とユーザ行動「仕事」、時間「１５：３０」とユーザ行動「間食」がそれぞれ対応付けられている。これは、９：００－１０：００の間はユーザがユーザ行動「朝食」を行っており、１０：００－１１：４５の間はユーザがユーザ行動「仕事」を行っており、１１：４５－１３：００の間はユーザがユーザ行動「昼食」を行っており、１３：００－１５：３０の間はユーザがユーザ行動「仕事」を行っていたことを表している。
このように、実施例１における行動ログデータは、ユーザが実際に行っていたユーザ行動と、このユーザ行動が行なわれた時間とが対応付けられたデータである。このような行動ログデータは、モデルベース強化学習における状態遷移確率を推定する前に予め収集される。
次に、実施例１における目標データの一例について、図３を参照しながら説明する。図３は、実施例１における目標データの一例を示す図である。
図３に示すように、実施例１における目標データは、時間とこの時間にユーザが目標とするユーザ行動とが対応付けられたデータである。図３に示す例では、時間「２２：００」とユーザ行動「睡眠」とが対応付けられている。これは、２２：００にユーザがユーザ行動「睡眠」を行いたいという目標（つまり、２２：００に就寝したいという目標）を持っていることを表している。後述する介入方策データは、この目標を達成するための最適な介入の方策を表すデータである。
このように、実施例１における目標データは、ユーザが目標とする時間とこの時間におけるユーザ行動とが対応付けられたデータである。後述するように、モデルベース強化学習の報酬は、目標データによって定義される。
次に、実施例１における介入方策データの一例について、図４を参照しながら説明する。図４は、実施例１における介入方策データの一例を示す図である。
図４に示すように、実施例１における介入方策データは、時間と、ユーザ行動と、当該時間に当該ユーザ行動が行なわれた場合における最適な介入とが対応付けられたデータである。図４に示す例では、時間「２０：００」とユーザ行動「夕食」と介入「風呂」、時間「２０：００」とユーザ行動「家事」と介入「風呂」がそれぞれ対応付けられている。これは、２０：００にユーザ行動「夕食」又は「家事」が観測された場合、最適な介入はユーザ行動「風呂」を促す介入であることを表している。
同様に、図４に示す例では、時間「２０：００」とユーザ行動「趣味」と介入「休息」、時間「２０：００」とユーザ行動「仕事」と介入「休息」がそれぞれ対応付けられている。これは、２０：００にユーザ行動「趣味」又は「仕事」が観測された場合、最適な介入はユーザ行動「休息」を促す介入であることを表している。
同様に、図４に示す例では、時間「２０：００」とユーザ行動「睡眠」と介入「介入無し」が対応付けられている。これは、２０：００にユーザ行動「睡眠」が観測された場合、最適な介入は「介入無し」であることを表している。
このように、実施例１における介入方策データは、或る時間に或るユーザ行動が観測された場合に、ユーザの目標を達成するための最適な介入（つまり、最適な介入の種類）を表すデータである。
＜観測効率化装置１０が実行する処理の流れ（実施例１）＞
次に、実施例１における観測効率化装置１０が実行する処理の流れについて、図５を参照しながら説明する。図５は、実施例１における観測効率化装置が実行する処理の流れの一例を示すフローチャートである。
まず、遷移確率推定部１０１は、行動ログデータを入力として、モデルベース強化学習における状態遷移確率を推定する（ステップＳ１０１）。なお、遷移確率推定部１０１は、任意の手法により状態遷移確率を推定すればよい。例えば、各ユーザ行動（つまり、各状態）は離散値で表現することができるため、遷移確率推定部１０１は、各時刻インデックスｔにおける状態ｓtと次の状態ｓｔ＋１との組み合わせを数え上げることで、状態遷移確率を推定することができる。なお、状態ｓｔは時刻インデックスｔにおけるユーザ行動であり、ｓｔ＝１（睡眠）、ｓｔ＝２（朝食）、ｓｔ＝３（昼食）、ｓｔ＝４（夕食）、ｓｔ＝５（間食）、ｓｔ＝６（出社）、ｓｔ＝７（仕事）、ｓｔ＝８（退社）、ｓｔ＝９（家事）、ｓｔ＝１０（運動）、ｓｔ＝１１（休息）、ｓｔ＝１２（風呂）、ｓｔ＝１３（趣味）、ｓｔ＝１４（飲酒）、ｓｔ＝１５（買い物）である。
次に、学習部１０２は、目標データと、上記のステップＳ１０１で推定された状態遷移確率とを入力として、介入方策データを推定する（ステップＳ１０２）。学習部１０２は、将来にわたって、目標データによって定義される報酬の和ができるだけ多くなるような方策（つまり、最適方策）を既知の手法により推定する。これにより、この方策を表す介入方策データが得られる。ここで、報酬はユーザの目標が達成した場合に大きな値となるように定義されればよいが、例えば、ユーザの目標が達成した場合に大きな正の値ｒｇを与え、介入無しの場合は０、それ以外の場合の負の値ｒｉｔｖを与えるように定義することが考えられる。
具体的には、例えば、目標とする状態をｓｇ、目標とする状態ｓｇとなる時間帯を表す時刻インデックスをｔｇ、時刻インデックスｔにおける報酬をＲｔ、介入をａｔとして、Ｒｔ（ｓｔ，ａｔ，ｓｔ＋１）＝ｒｇＩ（ｓｔ＋１＝ｓｇ，ｔ＋１＝ｔｇ）＋ｒｉｔｖＩ（ａｔ≠１６）とすることが考えられる。ここで、Ｉ（・）は指示関数である。なお、ａｔ＝１，・・・，１５はそれぞれユーザ行動「睡眠」、「朝食」、「昼食」、「夕食」、「間食」、「出社」、「仕事」、「退社」、「家事」、「運動」、「休息」、「風呂」、「趣味」、「飲酒」、「買い物」を促す介入であり、ａｔ＝１６は何も介入しない（介入無し）である。
なお、ユーザが時間を指定せずに目標を設定する場合もあり得る（例えば、運動等の特定のユーザ行動の時間を増やしたい場合等である。）。この場合には、報酬Ｒｔを、Ｒｔ（ｓｔ，ａｔ，ｓｔ＋１）＝ｒｇＩ（ｓｔ＋１＝ｓｇ）＋ｒｉｔｖＩ（ａｔ≠１６）と定義することが考えられる。
次に、判別部１０３は、上記のステップＳ１０２で推定された介入方策データを入力として、時間帯毎に、観測必要時間帯であるか観測不要時間帯であるかを判別する。（ステップＳ１０３）。具体的には、判別部１０３は、ユーザ行動に応じて最適な介入が異なる時間帯を観測必要時間帯と判別し、ユーザ行動に関係なく最適な介入が同一である時間帯を観測不要時間帯と判別する。
ここで、一例として、時刻ｔ＝２０及び２１（つまり、時間帯２０：００－２０：５９及び２１：００－２１：５９）における状態（State）を縦軸、最適な介入（Action）を横軸として、状態遷移確率を濃淡で可視化したもの図６に示す。
図６の左図では、状態ｓ２０が「夕食」又は「風呂」である場合は最適な介入ａ２０は「休息」であり、状態ｓ２０が「休息」、「趣味」又は「買い物」である場合は最適な介入ａ２０は「夕食」であり、状態ｓ２０がそれら以外である場合は最適な介入ａ２０は「何も介入しない（介入無し）」であることを表している。すなわち、ｔ＝２０のときは、状態ｓｔ（つまり、ユーザ行動）に応じて最適な介入ａｔが異なる。このため、ｔ＝２０が表す時間帯２０：００－２０：５９は、観測必要時間帯と判別される。ユーザ行動に応じて最適な介入が異なるため、ユーザ行動を観測する必要があるためである。
一方で、図６の右図では、状態ｓ２１がどのようなユーザ行動であっても、最適な介入ａ２１は「休息」である。すなわち、ｔ＝２１のときは、状態ｓｔ（つまり、ユーザ行動）に関係なく、最適な介入ａｔが同一である。このため、ｔ＝２１が表す時間帯２１：００－２１：５９は、観測不要時間帯と判別される。ユーザ行動に関係なく最適な介入が同一であるため、ユーザ行動を観測する必要がないためである。
続いて、行動取得促進部１０４は、観測必要時間帯になった場合、ユーザが利用する端末等にユーザ行動入力画面を表示させる（ステップＳ１０４）。ここで、当該端末等に表示されるユーザ行動入力画面の一例を図７に示す。図７に示すユーザ行動入力画面１０００は、時間帯２０：００－２０：５９におけるユーザ行動の入力を促すための画面である。図７に示すユーザ行動入力画面１０００にはユーザ行動選択欄１１００が含まれており、ユーザは、このユーザ行動選択欄１１００の中から所望のユーザ行動を選択することで、当該時間帯におけるユーザ行動を入力することができる。ユーザにより入力されたユーザ行動を示す情報は観測効率化装置１０に送信され、介入方策データに基づいて、当該時間帯に当該ユーザ行動が行われた場合における最適な介入が決定される。
なお、行動取得促進部１０４は、観測必要時間帯になった場合（つまり、観測必要時間帯の開始時刻になった場合）にユーザ行動入力画面を端末等に表示させてもよいし、観測必要時間帯の途中や終了時刻にユーザ行動入力画面を端末等に表示させてもよい。
以上のように、実施例１における観測効率化装置１０は、モデルベース強化学習により最適な介入方策を学習した後、最適な介入（Action）を決定するためにユーザ行動（State）を観測する必要がある観測必要時間帯とユーザ行動を観測する必要がない観測不要時間帯とを判別する。これにより、観測不要時間帯ではユーザ行動の観測が不要となり、観測必要時間帯でのみユーザ行動を観測すればよいため、効率的なユーザ行動の観測を実現することができる。
なお、本願の発明者は、観測必要時間帯と観測不要時間帯が存在することを実験により確認している。実験では、複数の参加者から収集した実際の行動ログデータと目標データとを用いて、実施例１における観測効率化装置１０によって介入方策データをそれぞれ推定した。このとき、参加者Ａから収集した行動ログデータと目標データとから推定された介入方策データと、参加者Ｂから収集した行動ログデータと目標データとから推定された介入方策データとをそれぞれ可視化したものを図８に示す。
図８の左上図では、ｔ＝２０における参加者Ａのユーザ行動を表す状態ｓ２０が「夕食」である場合は最適な介入ａ２０は「何も介入しない（介入無し）」であり、状態ｓ２０が「夕食」以外である場合は最適な介入ａ２０は「夕食」であることを表している。したがって、参加者Ａの場合、ｔ＝２０が表す時間帯２０：００－２０：５９は、観測必要時間帯であるといえる。
一方で、図８の左下図では、ｔ＝２１における参加者Ａのユーザ行動を表す状態ｓ２１がどのようなユーザ行動であっても、最適な介入ａ２１は「風呂」である。したがって、参加者Ａの場合、ｔ＝２１が表す時間帯２１：００－２１：５９は、観測不要時間帯であるといえる。
同様に、図８の右上図では、ｔ＝２０における参加者Ｂのユーザ行動を表す状態ｓ２０が「夕食」又は「家事」である場合は最適な介入ａ２０は「風呂」であり、状態ｓ２０が「夕食」及び「家事」以外である場合は最適な介入ａ２０は「何も介入しない（介入無し）」であることを表している。したがって、参加者Ｂの場合も、ｔ＝２０が表す時間帯２０：００－２０：５９は、観測必要時間帯であるといえる。
一方で、図８の右下図では、ｔ＝２１における参加者Ｂのユーザ行動を表す状態ｓ２１がどのようなユーザ行動であっても、最適な介入ａ２１は「家事」である。したがって、参加者Ｂの場合も、ｔ＝２１が表す時間帯２１：００－２１：５９は、観測不要時間帯であるといえる。
［実施例２］
以下、実施例２について説明する。実施例２では、介入を行うタイミングを最適化することで、最適な介入を決定するための観測を効率化する場合について説明する。タイミングの最適化には、例えば、ベイズ最適化等を適用することが可能である。
なお、実施例２では、主に、実施例１との相違点について説明し、実施例１と同様の構成要素についてはその説明を省略する。
＜観測効率化装置１０の機能構成（実施例２）＞
まず、実施例２における観測効率化装置１０の機能構成について、図９を参照しながら説明する。図９は、実施例２における観測効率化装置１０の機能構成の一例を示す図である。
図９に示すように、実施例２における観測効率化装置１０は、判別部１０３と、行動取得促進部１０４と、モデリング部１０５とを有する。なお、行動取得促進部１０４は、実施例１と同様であるため、その説明を省略する。
モデリング部１０５は、予め収集したユーザ行動及び時間のログ系列とこのログ系列に対して所定の介入を行った場合の報酬値とを表す行動ログデータを入力として、介入を行うタイミング（時刻）を表す介入方策データを推定する。なお、報酬値とは、所定の目標を達成することに対する介入の良さを表す値である。
判別部１０３は、モデリング部１０５により推定された介入方策データを入力として、実施例１と同様に観測必要時間帯と観測不要時間帯とを判別する。
ここで、実施例２における行動ログデータの一例について、図１０を参照しながら説明する。図１０は、実施例２における行動ログデータの一例を示す図である。
図１０に示すように、実施例２における行動ログデータは、ユーザ行動及び時間のログ系列と、このログ系列に対して所定の介入を行った場合の報酬値とが対応付けられたデータである。図１０に示す例では、ログ系列「１２：００昼食，１３：００仕事，１８：００夕食」と報酬値「３０．５」とが対応付けられている。これは、１２：００－１２：５９の間はユーザがユーザ行動「昼食」、１３：００－１７：５９の間はユーザがユーザ行動「仕事」を行っているものとして、１８：００以降にユーザがユーザ行動「夕食」を行っている時に所定の介入を行った場合、報酬（つまり、所定の目標を達成することに対する介入の良さ）が「３０．５」であったことを表している。この報酬は、例えば、所定の目標が「睡眠時間を確保すること」であった場合、「睡眠時間が３０．５時間延びた」等を意味する。
このように、実施例２における行動ログデータは、ユーザ行動のログ系列と、このログ系列に対して所定の介入を行った場合の報酬とが対応付けられたデータである。
次に、実施例２における介入方策データの一例について、図１１を参照しながら説明する。図１１は、実施例２における介入方策データの一例を示す図である。
図１１に示すように、実施例２における介入方策データは、最適な介入タイミングを示す時刻の系列データである。図１１に示す例では、介入方策データには、時刻「１６：００」、「２０：００」が含まれている。これは、１６：００と２０：００のそれぞれで所定の介入を行うことが最適な介入タイミングであることを表している。
このように、実施例２における介入方策データは、最適な介入タイミングを表す時刻の系列データである。
＜観測効率化装置１０が実行する処理の流れ（実施例２）＞
次に、実施例２における観測効率化装置１０が実行する処理の流れについて、図１２を参照しながら説明する。図１２は、実施例２における観測効率化装置が実行する処理の流れの一例を示すフローチャートである。
まず、モデリング部１０５は、行動ログデータを入力として、介入方策データを推定する（ステップＳ２０１）。なお、上述したように、実施例２では、行動ログデータはユーザ行動及び時間のログ系列とこのログ系列に対して所定の介入を行った場合の報酬値とを表すデータであり、介入方策データは最適な介入タイミングを表すデータである。
ここで、モデリング部１０５は、ユーザ行動及び時間のログ系列とその報酬値との対応関係をモデル化することで、介入方策データを推定する。モデリングにはガウス過程を用いることが一般的であるが、ノイズにポアソン過程を用いるガウス過程等の他の方法で実現することもできる。ガウス過程は主に入力として固定長のベクトルを扱うが、本実施例のように、ログ系列に含まれるユーザ行動及び時間の数が固定長ではない場合はlinear function kernelを用いる。このようにモデリングを行うことで、将来の時刻に所定の介入を行った場合の報酬を予測することができる。したがって、報酬が最大の時刻を介入方策データとして出力すればよい。なお、linear function kernelについては、例えば、参考文献「Park, Il Memming, et al. "Kernel methods on spike train space for neuroscience: a tutorial." IEEE Signal Processing Magazine 30.4 (2013): 149-160」等を参照されたい。
次に、判別部１０３は、上記のステップＳ２０１で推定された介入方策データを入力として、観測必要時間帯と観測不要時間帯を判別する（ステップＳ２０２）。現在時刻から介入タイミングまでのユーザ行動は観測する必要がないため、判別部１０３は、現在時刻から介入タイミングまでの時間帯を観測不要時間帯と判別し、それ以外の時間帯を観測必要時間帯と判別する。
続いて、行動取得促進部１０４は、図５のステップＳ１０４と同様に、観測必要時間帯になった場合、ユーザが利用する端末等にユーザ行動入力画面を表示させる（ステップＳ２０３）。
以上のように、実施例２における観測効率化装置１０は、ベイズ最適化等により最適な介入タイミングを介入方策として推定した後、現在時刻から最適な介入タイミングまでの時間帯を観測不要時間帯と判別する。これにより、実施例１と同様に、観測不要時間帯ではユーザ行動の観測が不要となり、観測必要時間帯でのみユーザ行動を観測すればよいため、効率的なユーザ行動の観測を実現することができる。
［ハードウェア構成］
最後に、本実施形態に係る観測効率化装置１０のハードウェア構成について、図１３を参照しながら説明する。図１３は、一実施形態に係る観測効率化装置１０のハードウェア構成の一例を示す図である。
図１３に示すように、本実施形態に係る観測効率化装置１０は一般的なコンピュータ又はコンピュータシステムであり、入力装置２０１と、表示装置２０２と、外部Ｉ／Ｆ２０３と、通信Ｉ／Ｆ２０４と、プロセッサ２０５と、メモリ装置２０６とを有する。これら各ハードウェアは、それぞれがバス２０７を介して通信可能に接続されている。
入力装置２０１は、例えば、キーボードやマウス、タッチパネル等である。表示装置２０２は、例えば、ディスプレイ等である。なお、観測効率化装置１０は、入力装置２０１及び表示装置２０２のうちの少なくとも一方を有していなくてもよい。
外部Ｉ／Ｆ２０３は、外部装置とのインタフェースである。外部装置には、記録媒体２０３ａ等がある。観測効率化装置１０は、外部Ｉ／Ｆ２０３を介して、記録媒体２０３ａの読み取りや書き込み等を行うことができる。記録媒体２０３ａには、例えば、観測効率化装置１０が有する各機能部（例えば、実施例１の場合は遷移確率推定部１０１、学習部１０２、判別部１０３及び行動取得促進部１０４、実施例２の場合は判別部１０３、行動取得促進部１０４及びモデリング部１０５）を実現する１以上のプログラムが格納されていてもよい。
なお、記録媒体２０３ａには、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等がある。
通信Ｉ／Ｆ２０４は、観測効率化装置１０を通信ネットワークに接続するためのインタフェースである。なお、観測効率化装置１０が有する各機能部を実現する１以上のプログラムは、通信Ｉ／Ｆ２０４を介して、所定のサーバ装置等から取得（ダウンロード）されてもよい。
プロセッサ２０５は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の各種演算装置である。観測効率化装置１０が有する各機能部は、例えば、メモリ装置２０６に格納されている１以上のプログラムがプロセッサ２０５に実行させる処理により実現される。
メモリ装置２０６は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の各種記憶装置である。なお、各種データ（例えば、目標データ、行動ログデータ、介入方策データ等）は、例えば、メモリ装置２０６に記憶される。
本実施形態に係る観測効率化装置１０は、図１３に示すハードウェア構成を有することにより、上述した各種処理を実現することができる。なお、図１３に示すハードウェア構成は一例であって、観測効率化装置１０は、他のハードウェア構成を有していてもよい。例えば、観測効率化装置１０は、複数のプロセッサ２０５を有していてもよいし、複数のメモリ装置２０６を有していてもよい。
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。
１０ 観測効率化装置
１０１ 遷移確率推定部
１０２ 学習部
１０３ 判別部
１０４ 行動取得促進部
１０５ モデリング部

Claims (6)

  1. ユーザに対して所定の介入を行う時間帯及び前記時間帯における前記ユーザの行動又は状態毎に、前記時間帯と前記ユーザの行動又は状態と前記介入の種類とが対応付けられた介入方策を入力として、前記ユーザの行動又は状態を観測する必要がある時間帯を示す観測必要時間帯と前記ユーザの行動又は状態を観測する必要がない時間帯を示す観測不要時間帯とを判別する判別手段と、
    前記観測必要時間帯になった場合、前記ユーザの行動又は状態を観測するための所定の処理を実行する観測促進手段と、
    を有し、
    前記判別手段は、
    前記介入方策に含まれる時間帯のうち、前記ユーザの行動又は状態が異なる場合は前記介入の種類も異なる時間帯を前記観測必要時間帯、前記ユーザの行動又は状態に関わらず前記介入の種類が同一である時間帯を前記観測不要時間として判別する、ことを特徴とする観測効率化装置。
  2. ユーザに対して所定の介入を行う最適なタイミングを示す時刻が少なくとも含まれる介入方策を入力として、前記ユーザの行動又は状態を観測する必要がある時間帯を示す観測必要時間帯と前記ユーザの行動又は状態を観測する必要がない時間帯を示す観測不要時間帯とを判別する判別手段と、
    前記観測必要時間帯になった場合、前記ユーザの行動又は状態を観測するための所定の処理を実行する観測促進手段と、
    を有し、
    前記判別手段は、
    現在時刻から前記最適なタイミングを示す時刻までの時間帯を前記観測不要時間帯と判別し、前記観測不要時間帯以外の時間帯を前記観測必要時間帯と判別する、ことを特徴とする観測効率化装置。
  3. 前記所定の処理には、前記ユーザが利用する端末に対して前記ユーザの行動又は状態の入力を促す画面を表示させる処理、前記端末に対して前記ユーザの行動又は状態の入力を促すアラートを出力させる処理、前記ユーザの行動又は状態をセンサにより取得させる処理、の少なくとも１つが含まれる、ことを特徴とする請求項１又は２に記載の観測効率化装置。
  4. ユーザに対して所定の介入を行う時間帯及び前記時間帯における前記ユーザの行動又は状態毎に、前記時間帯と前記ユーザの行動又は状態と前記介入の種類とが対応付けられた介入方策を入力として、前記ユーザの行動又は状態を観測する必要がある時間帯を示す観測必要時間帯と前記ユーザの行動又は状態を観測する必要がない時間帯を示す観測不要時間帯とを判別する判別手順と、
    前記観測必要時間帯になった場合、前記ユーザの行動又は状態を観測するための所定の処理を実行する観測促進手順と、
    をコンピュータが実行し、
    前記判別手順は、
    前記介入方策に含まれる時間帯のうち、前記ユーザの行動又は状態が異なる場合は前記介入の種類も異なる時間帯を前記観測必要時間帯、前記ユーザの行動又は状態に関わらず前記介入の種類が同一である時間帯を前記観測不要時間として判別する、ことを特徴とする観測効率化方法。
  5. ユーザに対して所定の介入を行う最適なタイミングを示す時刻が少なくとも含まれる介入方策を入力として、前記ユーザの行動又は状態を観測する必要がある時間帯を示す観測必要時間帯と前記ユーザの行動又は状態を観測する必要がない時間帯を示す観測不要時間帯とを判別する判別手順と、
    前記観測必要時間帯になった場合、前記ユーザの行動又は状態を観測するための所定の処理を実行する観測促進手順と、
    をコンピュータが実行し、
    前記判別手順は、
    現在時刻から前記最適なタイミングを示す時刻までの時間帯を前記観測不要時間帯と判別し、前記観測不要時間帯以外の時間帯を前記観測必要時間帯と判別する、ことを特徴とする観測効率化方法。
  6. コンピュータを、請求項１乃至３の何れか一項に記載の観測効率化装置における各手段として機能させるためのプログラム。
JP2022501582A 2020-02-21 2020-02-21 観測効率化装置、観測効率化方法及びプログラム Active JP7456485B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/007229 WO2021166253A1 (ja) 2020-02-21 2020-02-21 観測効率化装置、観測効率化方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2021166253A1 JPWO2021166253A1 (ja) 2021-08-26
JP7456485B2 true JP7456485B2 (ja) 2024-03-27

Family

ID=77390558

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022501582A Active JP7456485B2 (ja) 2020-02-21 2020-02-21 観測効率化装置、観測効率化方法及びプログラム

Country Status (3)

Country Link
US (1) US11899832B2 (ja)
JP (1) JP7456485B2 (ja)
WO (1) WO2021166253A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015131008A (ja) 2014-01-14 2015-07-23 アイシン精機株式会社 睡眠評価装置
JP2015191469A (ja) 2014-03-28 2015-11-02 Kddi株式会社 食事指導支援装置
JP2020000306A (ja) 2018-06-25 2020-01-09 株式会社ニューロスペース 情報提示装置、情報提示方法及び情報提示プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070037610A1 (en) * 2000-08-29 2007-02-15 Logan James D Methods and apparatus for conserving battery power in a cellular or portable telephone
US20140058801A1 (en) * 2010-06-04 2014-02-27 Sapience Analytics Private Limited System And Method To Measure, Aggregate And Analyze Exact Effort And Time Productivity
US20140018636A1 (en) * 2010-06-29 2014-01-16 Oliver M. Contant Dynamic scale and accurate food measuring
US9036001B2 (en) * 2010-12-16 2015-05-19 Massachusetts Institute Of Technology Imaging system for immersive surveillance
JP5579650B2 (ja) * 2011-04-28 2014-08-27 インターナショナル・ビジネス・マシーンズ・コーポレーション 監視対象プロセスを実行する装置及び方法
US9728059B2 (en) * 2013-01-15 2017-08-08 Fitbit, Inc. Sedentary period detection utilizing a wearable electronic device
EP3033630B1 (en) * 2013-08-12 2018-07-18 University Health Network Hand hygiene compliance
US20150106369A1 (en) * 2013-10-15 2015-04-16 Koninklijke Philips N.V. System for messaging a user
US20150199484A1 (en) * 2014-01-15 2015-07-16 Microsoft Corporation Using sensors and demographic data to automatically adjust medication doses
US10368744B1 (en) * 2015-02-17 2019-08-06 Halo Wearables, Llc Baselining user profiles from portable device information
US11503918B2 (en) * 2018-05-01 2022-11-22 Bryte, Inc. Sleep phase dependent temperature control and learning methods to optimize sleep quality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015131008A (ja) 2014-01-14 2015-07-23 アイシン精機株式会社 睡眠評価装置
JP2015191469A (ja) 2014-03-28 2015-11-02 Kddi株式会社 食事指導支援装置
JP2020000306A (ja) 2018-06-25 2020-01-09 株式会社ニューロスペース 情報提示装置、情報提示方法及び情報提示プログラム

Also Published As

Publication number Publication date
US11899832B2 (en) 2024-02-13
US20230062607A1 (en) 2023-03-02
WO2021166253A1 (ja) 2021-08-26
JPWO2021166253A1 (ja) 2021-08-26

Similar Documents

Publication Publication Date Title
Desmond et al. Catch-up growth in stunted children: Definitions and predictors
JP6530085B2 (ja) 再帰型ニューラル・ネットワークを用いた健康現象の分析
CN102197362B (zh) 窗口专用控件的显露和管理
JP4751242B2 (ja) リコメンド装置、リコメンド方法、リコメンドプログラムおよびそのプログラムを記録した記録媒体
EP3307166A1 (en) Method and system for monitoring stress conditions
Gallo et al. Alternative views on setting clinical trial futility criteria
CN116738240B (zh) 认知训练的建模方法、建模系统及认知训练任务推送方法
WO2012176104A1 (en) Discharge readiness index
JP5682305B2 (ja) 学習支援装置、学習支援方法及びプログラム
JP2018147101A (ja) 推定プログラム、推定方法及び推定装置
JP2018060503A (ja) 機械学習結果の編集プログラム、機械学習結果の編集方法および情報処理装置
JP2017107512A (ja) リスク算定方法、リスク算定プログラムおよびリスク算定装置
JP7456485B2 (ja) 観測効率化装置、観測効率化方法及びプログラム
Sung et al. Early prediction of functional outcomes after acute ischemic stroke using unstructured clinical text: retrospective cohort study
JP6511333B2 (ja) 意思決定支援システム及び意思決定支援方法
JP6840627B2 (ja) ハイパーパラメータの評価方法、計算機及びプログラム
Fu et al. Hypoglycemic events analysis via recurrent time-to-event (HEART) models
JP5927797B2 (ja) ロボット制御装置、ロボットシステム、ロボット装置の行動制御方法、及びプログラム
WO2015173917A1 (ja) 分析システム
JP6301853B2 (ja) 経年変化予測システム
Bilgiç et al. Innovation race under revenue and technology uncertainty of heterogeneous firms where the winner does not take all
Shakespeare A brave new world of bespoke babies?
CN113808662A (zh) 基于神经网络的基因变异位点可致病性的预测方法及系统
KR102610274B1 (ko) 알코올에 대한 절제 정도를 참조로 하여 특정 사용자에게컨텐츠를 제공하는 방법 및 이를 이용한 컴퓨팅 장치
CN112447288B (zh) 基于不完全的或错误的数据执行医疗任务

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240226

R150 Certificate of patent or registration of utility model

Ref document number: 7456485

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150