JPWO2019049491A1 - 情報処理装置および情報処理方法 - Google Patents
情報処理装置および情報処理方法 Download PDFInfo
- Publication number
- JPWO2019049491A1 JPWO2019049491A1 JP2019540792A JP2019540792A JPWO2019049491A1 JP WO2019049491 A1 JPWO2019049491 A1 JP WO2019049491A1 JP 2019540792 A JP2019540792 A JP 2019540792A JP 2019540792 A JP2019540792 A JP 2019540792A JP WO2019049491 A1 JPWO2019049491 A1 JP WO2019049491A1
- Authority
- JP
- Japan
- Prior art keywords
- action plan
- information
- information processing
- unit
- users
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 222
- 238000003672 processing method Methods 0.000 title claims description 6
- 230000009471 action Effects 0.000 claims abstract description 353
- 238000012790 confirmation Methods 0.000 claims description 28
- 230000007613 environmental effect Effects 0.000 claims description 23
- 238000010586 diagram Methods 0.000 abstract description 7
- 238000000034 method Methods 0.000 description 42
- 230000008569 process Effects 0.000 description 31
- 238000004891 communication Methods 0.000 description 27
- 230000008859 change Effects 0.000 description 24
- 238000012545 processing Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 17
- 230000000694 effects Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 4
- 230000009193 crawling Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 235000013305 food Nutrition 0.000 description 4
- 235000012054 meals Nutrition 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000010391 action planning Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 241001122315 Polites Species 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 238000003287 bathing Methods 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 150000001720 carbohydrates Chemical class 0.000 description 1
- 235000014633 carbohydrates Nutrition 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
- G06Q10/1093—Calendar-based scheduling for persons or groups
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
- G06Q10/063116—Schedule adjustment for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- Marketing (AREA)
- General Physics & Mathematics (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
1.実施形態
1.1.概要
1.2.システム構成例
1.3.情報処理端末10の機能構成例
1.4.情報処理サーバ20の機能構成例
1.5.処理の流れ
2.ハードウェア構成例
3.まとめ
<<1.1.概要>>
まず、本開示の概要について説明する。
上記では、本開示の概要について説明した。続いて、図1を参照して、本実施形態に係る情報処理システムの構成例について説明する。
本実施形態に係る情報処理端末10は、ユーザとの音声対話を行うエージェント装置である(なお、エージェント装置は情報処理装置の一種である)。情報処理端末10は、行動計画の作成時または変更時に用いられる各種情報を収集する機能を有する。より具体的には、情報処理端末10は、音声入力機構および音声出力機構を備えており、ユーザから発せられた音声を解析することで発話内容を理解し、発話内容に対応するように発話を行うことができる。
本実施形態に係る情報処理サーバ20は、行動計画の作成および変更等を行う情報処理装置である。より具体的には、情報処理サーバ20は、情報処理端末10により提供されたセンシングデータ等の各種情報に基づいて複数人のユーザ間の関係性を推定し、推定結果に基づいて複数人のユーザの行動計画を作成する。
ネットワーク30は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク30は、IP−VPN(Internt Protocol−Virtual Private Network)などの専用回線網を含んでもよい。また、ネットワーク30は、Wi−Fi(登録商標)、Bluetooth(登録商標)など無線通信網を含んでもよい。
上記では、本実施形態に係る情報処理システムの構成例について説明した。続いて、図2を参照して、情報処理端末10の機能構成例について説明する。
表示部110は、画像やテキストなどの視覚情報を出力する機能構成である。表示部110は、例えば、制御部160による制御に基づいてユーザの行動計画に関する視覚情報を出力することができる。
音声出力部120は、音声発話を含む種々の音を出力する機能構成である。音声出力部120は、例えば、制御部160による制御に基づいてユーザの行動計画に関する音声発話等を行うことができる。このために、音声出力部120は、スピーカやアンプなどの音声出力装置を備える。
音声入力部130は、ユーザによる発話や、情報処理端末10の周囲で発生する周囲音などの音情報を収集する機能構成である。音声入力部130が収集する音情報は、制御部160または情報処理サーバ20による音声認識、周囲環境の認識、または、ユーザの行動計画の作成または変更等に用いられる。音声入力部130は、音情報を収集するためのマイクロフォンを備える。
撮像部140は、ユーザや周囲環境の画像を撮像する機能構成である。撮像部140が撮像した画像は、制御部160または情報処理サーバ20によるユーザの識別や周囲環境の認識等に用いられる。撮像部140は、画像を撮像することが可能な撮像装置を備える。なお、上記の画像には、静止画像のほか動画像が含まれる。
センサ部150は、周囲環境やユーザの行動、状態に関する種々のセンシングデータを収集する機能構成である。センサ部150が収集したセンシングデータは、制御部160または情報処理サーバ20によるユーザの識別、周囲環境の認識、想定外の事態の発生認識等に用いられる。センサ部150が備えるセンサ例は、上記のとおりである。
制御部160は、情報処理端末10が備える各構成を制御する機能構成である。制御部160は、例えば、各構成の起動や停止を制御する。また、制御部160は、自らが生成する制御信号を用いて表示部110や音声出力部120の出力を制御することができる。
通信部170は、ネットワーク30を介して情報処理サーバ20との情報通信を行う機能構成である。より具体的には、通信部170は、情報処理端末10によって収集、加工または解析等が行われたセンシングデータ等の各種情報を情報処理サーバ20へ送信する送信部として機能する。また、通信部170は、情報処理サーバ20によって作成または変更等が行われたユーザの行動計画に関する情報を受信する受信部としても機能する。なお、通信部170が通信する情報はこれらに限定されない。
記憶部180は、各種情報を記憶する機能構成である。例えば、記憶部180は、情報処理端末10によって収集、加工または解析等が行われた各種情報、情報処理サーバ20から提供されたユーザの行動計画に関する情報等を記憶する。また、記憶部180は、情報処理端末10の各機能構成によって使用されるプログラムまたはパラメータ等を記憶する。なお、記憶部180が記憶する情報はこれらに限定されない。
上記では、情報処理端末10の機能構成例について説明した。続いて、図3を参照して、情報処理サーバ20の機能構成例について説明する。
記憶部210は、各種情報を記憶する機能構成である。例えば、記憶部210は、情報処理端末10によって収集、加工または解析等が行われた各種情報、情報処理サーバ20から提供されたユーザの行動計画に関する情報等を記憶する。また、記憶部210は、情報処理サーバ20の各機能構成によって使用されるプログラムまたはパラメータ等を記憶する。なお、記憶部210が記憶する情報はこれらに限定されない。
推薦情報DB211は、ユーザの行動計画の作成または変更に用いられる情報を記憶する機能構成である。より具体的には、推薦情報DB211は、図4に示すように、複数人のユーザ間の関係性と、推薦される内容(例えば、推薦される行動、事物またはジャンル等)とを対応付けた情報(以降、「推薦情報」と呼称する場合もある)を記憶する。例えば、ユーザ間の関係性「家族(父、母、子供)」には、推薦される内容として「1:買い物 2:テーマパーク(換言すると、テーマパークで遊ぶ) 3:映画(換言すると、映画を見る)」が対応付けられている。ここで、推薦される内容における1〜3の数字は、推薦の優先順位を示しており、「1」は最も優先される内容を表しており、「2」は2番目に優先される内容を表しており、「3」は3番目に優先される内容を表している。なお、図4においては、複数人のユーザ間の関係性と対応付けられる内容が、推薦される行動であったが、これはあくまで一例であり、複数人のユーザ間の関係性と対応付けられる内容は特に限定されない。例えば、複数人のユーザ間の関係性と対応付けられる内容は、推薦される事物(例えば、商品またはサービス等)、ジャンル(例えば、映画、音楽またはゲーム等のジャンル)、時刻(例えば、何らかの行動を行う時刻等)または場所等(例えば、何らかの行動を行う場所等)であってもよい。また、推薦情報DB211は、複数人のユーザ間の関係性と、推薦すべきではない内容とを対応付けて記憶してもよい。
ユーザ情報DB212は、ユーザに関する種々の情報を記憶する機能構成である。例えば、ユーザ情報DB212は、ユーザの身体的特徴(例えば、身長、体重、体脂肪、血圧、顔画像または音声特徴等)、属性(例えば、氏名、続柄、性別、年齢、生年月日、学歴、職歴または住所等)または行動履歴等(例えば、行動の内容、行動の頻度、行動が行われる場所等)に関する情報を記憶する。
スポット情報DB213は、情報収集部224によってネットワーク上の各種サイト(例えば、各種施設の公式サイト、各種情報まとめサイト、または、お出掛け情報サイト等)から収集された(いわゆるWebクローリングが行われた)、外出先のスポットに関するメタデータを含むスポット情報を記憶する。
交通情報DB214は、情報収集部224によってネットワーク上の各種サイト(例えば、各交通機関の公式サイト、交通情報サイトまたはルート検索サイト等)から収集された(いわゆるWebクローリングが行われた)、外出時に利用される交通機関に関するメタデータを含む交通情報を記憶する。交通情報には、各交通機関(例えば、電車、バス、飛行機、タクシーまたはフェリー等)の運行時間もしくは遅延等に関する情報、または、道路(例えば、一般道路または高速道路等)の渋滞情報等が含まれる。なお、交通情報に含まれる情報は、これらに限定されない。例えば、交通情報には、事故に関する情報(例えば、事故の発生地点、事故による影響もしくは被害内容等)が含まれてもよい。交通情報DB214が記憶する上記のような情報は、例えば、行動計画の作成または変更に使用される。
環境情報DB215は、情報収集部224によってネットワーク上の各種サイト(例えば、気象情報サイトまたは災害情報サイト等)から収集された(いわゆるWebクローリングが行われた)、外出先の環境に関するメタデータを含む環境情報を記憶する。環境情報には、気象情報(例えば、天気、気温、風速または日照時間等に関する情報)、災害情報(例えば、地震、津波、豪雨、洪水または火事等に関する情報)等が含まれる。なお、環境情報に含まれる情報は、これらに限定されない。例えば、環境情報には、災害発生時の対応に関する情報(例えば、避難場所または物資の供給場所等に関する情報)が含まれてもよい。環境情報DB215が記憶する上記のような情報は、例えば、行動計画の作成または変更に使用される。
制御部220は、情報処理サーバ20が行う処理全般を統括的に制御する機能構成である。例えば、制御部220は、各構成の起動や停止を制御したり、制御信号を生成することによって、ディスプレイまたはスピーカ等の出力部(図示なし)等を制御したりすることができる。
関係性推定部221は、センシングデータに基づいて複数人のユーザ間の関係性の推定を行う機能構成である。例えば、関係性推定部221は、音情報の解析によってユーザ間の関係性を推定してもよい。より具体的には、関係性推定部221は、情報処理端末10の音声入力部130によって取得された、複数人のユーザ同士の会話についての音情報を解析することで、会話の内容を認識する。そして、会話の内容が家族に関するプライベートな内容である場合には、関係性推定部221は、複数人のユーザ間の関係性が図4における「家族(父、母、子供)」、「夫婦(夫、妻)」、「親子1(父、子供)」、「親子2(母、子供)」または「親戚(上記を除く)」等であると推定してもよい。また、会話の内容が仕事に関する専門的な内容である場合には、関係性推定部221は、複数人のユーザ間の関係性が「同僚」等であると推定してもよい。また、関係性推定部221は、言い回し(例えば、尊敬語、謙譲語または丁寧語の有無等)に基づいてユーザ間の関係性を推定してもよい。
行動計画作成部222は、複数人のユーザ間の関係性の推定結果に基づいて、複数人のユーザの行動計画の作成および変更を行う機能構成である。仮に、複数人のユーザが確定済みの行動計画を有している場合、行動計画作成部222は、ユーザ間の関係性の推定結果に基づいて、当該確定済みの行動計画の詳細を決定するために様々な推薦を行う。例えば、複数人のユーザが「一緒に映画を見る」、という確定済みの行動計画を有している場合、行動計画作成部222は、当該確定済みの行動計画の詳細を決定するために、ユーザ間の関係性の推定結果に基づいて映画のタイトル、映画館の場所、映画の上映時刻または座席等を推薦する。
計画実行確認部223は、作成された行動計画の実行有無または実行可否を確認する機能構成である。より具体的には、計画実行確認部223は、情報処理端末10または外部装置によって収集されたセンシングデータを解析することによって、行動計画が正しく実行されているか否か、または、行動計画が実行可能か否かを確認する。例えば、計画実行確認部223は、各ユーザが携帯している情報処理端末10の位置センサ(例えば、GNSSセンサ等)によって収集された位置情報を解析することによって、各ユーザの位置を認識する。そして、計画実行確認部223は、ユーザが計画通りの場所に位置しているか否か等を確認する。
情報収集部224は、記憶部210によって記憶される各種情報を収集する機能構成である。例えば、情報収集部224は、情報処理端末10によって収集、加工または解析等が行われたセンシングデータ等の各種情報を収集し、記憶部210に記憶させる。また、情報収集部224は、ユーザ情報(例えば、行動履歴等)を情報処理端末10から収集し、ユーザ情報DB212に記憶させる。また、情報収集部224は、スポット情報、交通情報および環境情報を、Webクローリングによりネットワーク上の各種サイトから収集し、スポット情報DB213、交通情報DB214および環境情報DB215に記憶させる。なお、情報収集部224が収集する情報はこれらに限定されない。また、情報収集部224が収集するタイミング等は特に限定されない。
通信部230は、ネットワーク30を介して情報処理端末10との情報通信を行う機能構成である。より具体的には、通信部230は、情報処理端末10によって収集、加工または解析等が行われたセンシングデータ等の各種情報を情報処理端末10から受信する。また、通信部230は、作成または変更等が行われた行動計画に関する情報を情報処理端末10へ送信する。なお、通信部230が通信する情報はこれらに限定されない。
上記では、情報処理サーバ20の機能構成例について説明した。続いて、図9を参照して、本実施形態に係る処理の流れについて説明する。
まず、図9および図10を参照して、行動計画の作成処理について説明する。図9のステップS1000では、情報処理サーバ20の関係性推定部221が、情報処理端末10等によって収集されたセンシングデータを取得する。ステップS1004では、関係性推定部221が、取得したセンシングデータに基づいて複数人のユーザ間の関係性を推定する。なお、このとき、行動計画作成部222は、センシングデータに基づいて複数人のユーザのうちの少なくとも1人の識別を行ってもよい。
続いて、図11および図12を参照して、行動計画の作成処理の流れの具体例について説明する。より具体的には、夫婦の行動計画が、夫と情報処理端末10との音声対話によって作成される場合について説明する。なお、以下で説明する具体例では、行動計画の作成を行う主体は情報処理サーバ20であり、情報処理端末10は情報処理サーバ20によって制御されることで音声対話を行うこととする。例えば以下のような具体例が想定される。
夫:「今日の計画を立てて。」
(情報処理サーバ20の行動計画作成部222は、夫から発せられた音声を解析することで発話内容を理解し、夫の行動計画の作成を開始する。行動計画作成部222は、確定済みの行動計画の有無を確認する)
情報処理端末10:「はい。行先は決まっていますか?」
夫:「とりあえず、朝はジムに行くよ。あと妻と映画でも見たいな。ただ、21時から自宅で仕事をしなくちゃいけないんだ。」
(行動計画作成部222は、ジムに行くこと、映画を見ることおよび仕事をすることが確定済みの行動計画であると認識する。その後、行動計画作成部222は、ユーザ間の関係性等に基づいて確定済みの行動計画の詳細を決定する。その際、詳細を決定する上で夫の判断が必要な場合には、行動計画作成部222は、適宜夫に判断を求める)
情報処理端末10:「承知しました。奥様とご一緒ならこれらの映画は如何でしょう。」
夫:「そうだな。じゃあ、14:00からのタイトルAにしよう。」
(行動計画作成部222は、映画の詳細を決定し、映画の行動計画を夫および妻のスケジュールに追加する。図11には、確定済みの行動計画が追加された後のスケジュールが示されている)
(行動計画作成部222は、確定済みの行動計画が追加された後のスケジュールにおいて、所定時間以上の連続した空き時間が有ることを確認し、空き時間の行動を推薦する。例えば、行動計画作成部222は、映画の開始前の空き時間に、ランチをとることを推薦する。その際、行動計画作成部222は、ユーザ間の関係性、ユーザ情報またはスポット情報等に基づいてレストランを推薦する)
情報処理端末10:「映画の前に、奥様と待ち合わせされてから一緒にランチは如何でしょう。例えば、これらレストランがおすすめです。」
夫:「そうだね。このレストランいいね。妻とは12:00頃に駅で待ち合わせるよ。」
(行動計画作成部222は、引き続き、空き時間の行動を推薦する。例えば、行動計画作成部222は、タスクリスト212bに基づいて空き時間の行動を推薦する)
情報処理端末10:「映画の後はどうされますか?今週末までのタスクリストにまだ済んでいないタスクがありますが。」
(情報処理端末10が情報処理サーバ20からタスクリスト212bを取得し、当該タスクリスト212bを夫に提供する)
夫:「あ、甥の誕生日プレゼント買わないといけなかった。どこかで買えるところある?」
(行動計画作成部222がスポット情報等に基づいて複数の店舗を探索し、情報処理端末10がこれらの店舗の情報を夫に提供する)
情報処理端末10:「映画館の近くで、小学生向けの子供用品を売っている店舗を表示します」
夫:「じゃあデパートAに寄るよ。」
(行動計画作成部222が空き時間の行動計画をスケジュールに追加する。そして、行動計画作成部222は、引き続き、空き時間の行動を推薦する。例えば、行動計画作成部222は、買い物後の空き時間に、夕食をとることを推薦する。その際、行動計画作成部222は、ユーザ間の関係性、ユーザ情報またはスポット情報等に基づいてレストランを推薦する)
情報処理端末10:「買い物の後に夕食は如何でしょう。例えば、これらレストランがおすすめです。」
夫:「夕食も食べて帰ろうかな。このレストランにしよう。」
(行動計画作成部222が空き時間の行動計画をスケジュールに追加する。その際、制御部220は、適宜レストランの予約等を行ってもよい。さらに、行動計画作成部222は、環境情報に基づいて悪天候が予想されることを確認し、交通情報に基づいて帰宅予定時刻により確実に間に合う移動手段を推薦する)
情報処理端末10:「夜は一時的に天気が悪くなりそうなので、電車だとお仕事に遅れるかもしれません。夕食が20:30を過ぎるようであれば、帰りはタクシーを利用された方が良さそうです。」
夫:「ありがとう。」
(行動計画作成部222が空き時間の行動計画をスケジュールに追加する。図12には、空き時間の行動計画が追加された後のスケジュールが示されている)
以上では、空き時間の行動計画がスケジュールに追加されるまでの処理の具体例について説明した。続いて、図13を参照して、行動計画の変更処理について説明する。
続いて、図14〜図18を参照して、行動計画の変更処理の流れの具体例について説明する。より具体的には、ユーザ、同僚および顧客の行動計画が変更される場合について説明する。例えば、予め、図14に示すような行動計画が作成されているとする。
(情報処理サーバ20の計画実行確認部223は、センシングデータ等に基づいて、行動計画通りユーザと同僚が駅Bに集合できるか否かを確認する。そして、例えば、計画実行確認部223は、同僚が電車に乗り遅れたことを認識し、センシングデータおよび交通情報等に基づいて同僚の到着予定時刻を計算する)
情報処理端末10:「佐藤さん(同僚)が、電車に乗り遅れたようです。到着は10:10の見込みです。」
ユーザ:「そうか。取引先との約束には間に合う?」
(計画実行確認部223は、センシングデータおよび交通情報等に基づいて、行動計画における到着予定時刻までに取引先へ到着するための最遅出発時刻を算出する。行動計画作成部222は、図15のハイライト部分に示すように、集合時間等に関する行動計画を変更する)
情報処理端末10:「佐藤さんが10:15までに間に合えば、約束の5分前に到着できます。」
ユーザ:「そうか。わかったよ。」
(例えば、計画実行確認部223は、センシングデータおよび交通情報等に基づいて、同僚が乗車している電車が事故により停止しており、復旧の見込みが立っていないことを認識する。計画実行確認部223は、行動計画における到着予定時刻までに取引先へ到着するための最遅出発時刻を算出する)
情報処理端末10:「佐藤さんが乗った電車が事故により停止したようです。復旧の目途は立っていません。先に取引先に向かった方がよさそうですが、タクシーで移動するなら10:20まで待っても間に合います。」
ユーザ:「じゃあ、タクシーで一緒に行くよ。」
(行動計画作成部222は、図16のハイライト部分に示すように、集合時間および移動手段等に関する行動計画を変更する。また、制御部220がタクシーを予約する)
情報処理端末10:「ここに10:20に到着するようにタクシーを予約しておきました。」
(例えば、計画実行確認部223が、センシングデータおよび交通情報等に基づいて電車の復旧を認識し、同僚の到着予定時刻を算出する。また、計画実行確認部223は、交通情報等に基づいてタクシーの到着予定時刻を算出する)
情報処理端末10:「佐藤さんが乗った電車が復旧しました。10:20には到着します。タクシーは10:20までには到着するので、取引先には当初の計画通り10:30までに到着できます。」
(以上により、ユーザと同僚は、当初の計画通り10:30に取引先に到着し、10:45〜12:00に顧客との会議を行ったとする。そして、例えば、昼食のためにレストランCに移動する前に、顧客の都合上、レストランCで食事をとることが適切でないことが判明したとする)
ユーザ:「取引先の松本さん(顧客)、糖質制限しているらしい。他にいい店無いかな。」
(行動計画作成部222は、ユーザ間の関係性、ユーザ情報またはスポット情報等に基づいて新たなレストランを推薦する)
情報処理端末10:「近くに、レストランDがあります。如何でしょうか。」
ユーザ:「いいね。午後の会議には間に合う?」
(行動計画作成部222は、スポット情報または交通情報等に基づいて、レストランDへの到着予定時刻、および、行動計画通りの時刻に取引先に戻って来るためのレストランDからの出発予定時刻を算出する。また、例えば、行動計画作成部222は、スポット情報に基づいて、レストランDへの到着予定時刻におけるレストランDの混在状況を確認する)
情報処理端末10:「予定したお店より近いので、1時間滞在できるはずですが、この時間帯は混んでいるようです。」
ユーザ:「でも良さそうだから行ってみるよ。」
(行動計画作成部222は、図17のハイライト部分に示すように、食事に関する行動計画を変更する。その後、例えば、ユーザ達はレストランDに到着したが、想定外の混雑状況により、入店できず外で順番を待つことになったとする)
ユーザ:「午後の会議に間に合うかな。」
(計画実行確認部223は、スポット情報からレストランDの平均滞在時間を確認し、当該平均滞在時間とレストランDからの出発予定時刻に基づいて、理想的な入店時刻を算出する。そして、行動計画作成部222は、図18のハイライト部分に示すように、食事時間に関する行動計画を変更する)
情報処理端末10:「このお店の平均滞在時間は50分なので、12:15までに入店できれば、計画通り13:05に出発でき、午後の会議に間に合いそうですよ。」
ユーザ:「わかった。ありがとう。」
(その後、例えば、ユーザ達は12:15に入店できたとする)
ユーザ:「何時に出ればいいんだっけ?」
(計画実行確認部223は、行動計画を確認し、レストランDからの出発予定時刻を確認する)
情報処理端末10:「13:05です。50分お食事して大丈夫ですよ。」
ユーザ:「わかったよ。ありがとう。」
以上では、行動計画の変更処理の流れの具体例について説明した。続いて、図19および図20を参照して、未知者の行動計画の作成処理の流れの具体例について説明する。より具体的には、ホストと複数人のゲストによってホームパーティが行われる場合において、ゲストNが遅れて参加した場合を想定して説明する。
(例えば、予め、図19に示すような行動計画が作成されているとする。そこへ、ゲストNがホストの家に到着する。情報処理端末10は、ゲストNが撮像された画像を解析すること等によりゲストNが初めてホスト宅に来たことを認識する)
情報処理端末10:「こんにちは。初めていらっしゃる方ですね。お名前を伺ってもいいですか?」
ゲストN:「ヒロフミさん(ホスト)の同僚の佐藤(ゲストN)といいます。」
(行動計画作成部222は、ゲストNを行動計画に追加し、ホストが装着しているヘッドセットを介してゲストNの到着をホストへ通知する)
情報処理端末10:「ヒロフミさん、同僚の佐藤さんがいらっしゃいました。」
ホスト:「わかった。今料理で手が離せないから、10分待ってもらって。」
(行動計画作成部222は、ホストからの伝言内容をゲストNに通知する。その際、例えば、行動計画作成部222は、ユーザ間の関係性(ゲスト同士の関係性)を推定し、関係性の推定結果(例えば、「初対面同士」等)に基づいて、空き時間において推薦可能な行動計画(例えば、「各ゲストの紹介」)をスケジュールに追加する。図20には、空き時間において推薦される行動計画が追加された後のスケジュールが示されている)
情報処理端末10:「佐藤さん、今ヒロフミさんは料理を準備しているので10分ほどお待ちくださいね。その間に、今日いらっしゃる他のお客様を紹介しますね。」
上記では、本開示の実施形態について説明した。続いて、図21を参照して、本開示の一実施形態に係る情報処理端末10および情報処理サーバ20に共通するハードウェア構成例について説明する。
以上で説明してきたように、情報処理サーバ20は、情報処理端末10により提供されたセンシングデータ等の各種情報に基づいて複数人のユーザ間の関係性を推定し、推定結果等に基づいて複数人のユーザの行動計画を作成することができる。これにより、例えば、ユーザの識別が困難な場合またはユーザの識別に成功しても当該ユーザの嗜好情報等が不明である場合等においても、ユーザ間の関係性に基づいてより適切な行動計画が作成される。また、情報処理サーバ20は、センシングデータ等の各種情報を解析することによって、作成された行動計画が正しく実行されているか否か、または、行動計画が実行可能か否かを確認し、行動計画の変更の要否を判断することができる。そして、行動計画の変更が必要である場合には、情報処理サーバ20は、ユーザ間の関係性の推定結果等に基づいて各ユーザの行動計画を変更することができる。
(1)
センシングデータに基づいて複数人のユーザ間の関係性の推定を行う関係性推定部と、
前記推定の結果に基づいて前記複数人のユーザの行動計画を作成する行動計画作成部と、を備える、
情報処理装置。
(2)
前記行動計画作成部は、前記複数人のユーザが一緒に行う行動の計画を含む前記行動計画を作成する、
前記(1)に記載の情報処理装置。
(3)
前記行動計画作成部は、前記複数人のユーザが外出時に行う行動の計画を含む前記行動計画を作成する、
前記(1)または(2)に記載の情報処理装置。
(4)
前記行動計画作成部は、外出先のスポットに関する情報を含むスポット情報、前記外出時に利用される交通機関に関する情報を含む交通情報または前記外出先の環境に関する情報を含む環境情報にも基づいて前記行動計画を作成する、
前記(3)に記載の情報処理装置。
(5)
前記関係性推定部は、前記複数人のユーザのうちの少なくとも1人のユーザの識別を行う、
前記(1)から(4)のいずれか1項に記載の情報処理装置。
(6)
前記行動計画作成部は、前記識別が行われたユーザの嗜好情報にも基づいて前記行動計画を作成する、
前記(5)に記載の情報処理装置。
(7)
前記行動計画作成部は、前記識別が行われたユーザのタスクリストにも基づいて前記行動計画を作成する、
前記(5)または(6)に記載の情報処理装置。
(8)
前記行動計画作成部は、確定済みの行動が計画されている時間帯以外の時間帯における行動計画を作成する、
前記(1)から(7)のいずれか1項に記載の情報処理装置。
(9)
前記センシングデータに基づいて前記行動計画の実行有無または実行可否の確認を行う計画実行確認部をさらに備える、
前記(1)から(8)のいずれか1項に記載の情報処理装置。
(10)
前記行動計画作成部は、前記確認の結果に基づいて前記行動計画の変更または再作成を行う、
前記(9)に記載の情報処理装置。
(11)
前記関係性は、家族関係、夫婦関係、親子関係、親戚関係、恋人関係、友人関係、仕事関係、師弟関係、先生と生徒の関係、監督もしくはコーチと選手の関係、サービスの提供者と被提供者の関係を含む、
前記(1)から(10)のいずれか1項に記載の情報処理装置。
(12)
前記情報処理装置は、音声対話を行うエージェント装置であるか、前記音声対話を行うエージェント装置と連携することで、前記行動計画を作成する、
前記(1)から(11)のいずれか1項に記載の情報処理装置。
(13)
プロセッサが、センシングデータに基づいて複数人のユーザ間の関係性の推定を行うことと、
前記推定の結果に基づいて前記複数人のユーザの行動計画を作成することと、を含む、
情報処理方法。
(14)
センシングデータを送信する送信部と、
前記センシングデータに基づいて複数人のユーザ間の関係性の推定が行われ、前記推定の結果に基づいて作成された前記複数人のユーザの行動計画に関する情報を受信する受信部と、を備える、
情報処理装置。
110 表示部
120 音声出力部
130 音声入力部
140 撮像部
150 センサ部
160 制御部
170 通信部
180 記憶部
20 情報処理サーバ
210 記憶部
211 推薦情報DB
212 ユーザ情報DB
212a 嗜好情報
212b タスクリスト
213 スポット情報DB
214 交通情報DB
215 環境情報DB
220 制御部
221 関係性推定部
222 行動計画作成部
223 計画実行確認部
224 情報収集部
230 通信部
30 ネットワーク
Claims (14)
- センシングデータに基づいて複数人のユーザ間の関係性の推定を行う関係性推定部と、
前記推定の結果に基づいて前記複数人のユーザの行動計画を作成する行動計画作成部と、を備える、
情報処理装置。 - 前記行動計画作成部は、前記複数人のユーザが一緒に行う行動の計画を含む前記行動計画を作成する、
請求項1に記載の情報処理装置。 - 前記行動計画作成部は、前記複数人のユーザが外出時に行う行動の計画を含む前記行動計画を作成する、
請求項1に記載の情報処理装置。 - 前記行動計画作成部は、外出先のスポットに関する情報を含むスポット情報、前記外出時に利用される交通機関に関する情報を含む交通情報または前記外出先の環境に関する情報を含む環境情報にも基づいて前記行動計画を作成する、
請求項3に記載の情報処理装置。 - 前記関係性推定部は、前記複数人のユーザのうちの少なくとも1人のユーザの識別を行う、
請求項1に記載の情報処理装置。 - 前記行動計画作成部は、前記識別が行われたユーザの嗜好情報にも基づいて前記行動計画を作成する、
請求項5に記載の情報処理装置。 - 前記行動計画作成部は、前記識別が行われたユーザのタスクリストにも基づいて前記行動計画を作成する、
請求項5に記載の情報処理装置。 - 前記行動計画作成部は、確定済みの行動が計画されている時間帯以外の時間帯における行動計画を作成する、
請求項1に記載の情報処理装置。 - 前記センシングデータに基づいて前記行動計画の実行有無または実行可否の確認を行う計画実行確認部をさらに備える、
請求項1に記載の情報処理装置。 - 前記行動計画作成部は、前記確認の結果に基づいて前記行動計画の変更または再作成を行う、
請求項9に記載の情報処理装置。 - 前記関係性は、家族関係、夫婦関係、親子関係、親戚関係、恋人関係、友人関係、仕事関係、師弟関係、先生と生徒の関係、監督もしくはコーチと選手の関係、サービスの提供者と被提供者の関係を含む、
請求項1に記載の情報処理装置。 - 前記情報処理装置は、音声対話を行うエージェント装置であるか、前記音声対話を行うエージェント装置と連携することで、前記行動計画を作成する、
請求項1に記載の情報処理装置。 - プロセッサが、センシングデータに基づいて複数人のユーザ間の関係性の推定を行うことと、
前記推定の結果に基づいて前記複数人のユーザの行動計画を作成することと、を含む、
情報処理方法。 - センシングデータを送信する送信部と、
前記センシングデータに基づいて複数人のユーザ間の関係性の推定が行われ、前記推定の結果に基づいて作成された前記複数人のユーザの行動計画に関する情報を受信する受信部と、を備える、
情報処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017173441 | 2017-09-08 | ||
JP2017173441 | 2017-09-08 | ||
PCT/JP2018/025131 WO2019049491A1 (ja) | 2017-09-08 | 2018-07-03 | 情報処理装置および情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019049491A1 true JPWO2019049491A1 (ja) | 2020-10-15 |
JP7188852B2 JP7188852B2 (ja) | 2022-12-13 |
Family
ID=65633981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019540792A Active JP7188852B2 (ja) | 2017-09-08 | 2018-07-03 | 情報処理装置および情報処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20200193338A1 (ja) |
EP (1) | EP3680838A4 (ja) |
JP (1) | JP7188852B2 (ja) |
WO (1) | WO2019049491A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2019049492A1 (ja) * | 2017-09-07 | 2020-10-29 | ソニー株式会社 | 情報処理装置および情報処理方法 |
JP7090046B2 (ja) * | 2019-03-18 | 2022-06-23 | ヤフー株式会社 | 決定装置、決定方法および決定プログラム |
JP2021071897A (ja) * | 2019-10-30 | 2021-05-06 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP7247870B2 (ja) * | 2019-11-29 | 2023-03-29 | トヨタ自動車株式会社 | 制御装置、システム、及び支払い割当て方法 |
JP7402740B2 (ja) | 2020-04-22 | 2023-12-21 | 株式会社日立製作所 | リコメンドシステムおよびリコメンド方法 |
JP2023015752A (ja) * | 2021-07-20 | 2023-02-01 | ヤフー株式会社 | 制御プログラム、制御方法および情報処理装置 |
WO2023042658A1 (ja) * | 2021-09-17 | 2023-03-23 | 株式会社日立製作所 | 行動変容誘導システムおよびその方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003308420A (ja) * | 2002-04-17 | 2003-10-31 | Nippon Telegr & Teleph Corp <Ntt> | 移動体通信端末に対するスケジュール管理サポートシステムおよびサポート方法、ならびにそれに用いるサーバ装置 |
JP2009533693A (ja) * | 2006-06-27 | 2009-09-17 | トムトム インターナショナル ベスローテン フエンノートシャップ | タスクリストのタスクを完了するためにユーザに通告を与えるコンピュータシステム及び方法 |
JP2014196907A (ja) * | 2013-03-29 | 2014-10-16 | アイシン・エィ・ダブリュ株式会社 | 走行支援システム、走行支援方法及びコンピュータプログラム |
JP2016071050A (ja) * | 2014-09-29 | 2016-05-09 | シャープ株式会社 | 音声対話装置、音声対話システム、端末、音声対話方法およびコンピュータを音声対話装置として機能させるためのプログラム |
JP2016091535A (ja) * | 2014-10-31 | 2016-05-23 | 株式会社東芝 | アイテム推薦装置、アイテム推薦方法およびプログラム |
WO2016121174A1 (ja) * | 2015-01-30 | 2016-08-04 | ソニー株式会社 | 情報処理システムおよび制御方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4863274B2 (ja) | 2006-09-20 | 2012-01-25 | ソニー エリクソン モバイル コミュニケーションズ, エービー | 行動案内装置、行動予定処理方法、行動案内システム、及び行動予定処理プログラム |
US9704205B2 (en) * | 2014-02-28 | 2017-07-11 | Christine E. Akutagawa | Device for implementing body fluid analysis and social networking event planning |
US20160004778A1 (en) * | 2014-05-23 | 2016-01-07 | BuddyNation Inc. | Online social networking service with human matchmaking |
US10453098B2 (en) * | 2015-03-04 | 2019-10-22 | Google Llc | Privacy-aware personalized content for the smart home |
US20160346612A1 (en) * | 2015-05-29 | 2016-12-01 | Nike, Inc. | Enhancing Exercise Through Augmented Reality |
US20170109709A1 (en) * | 2015-09-09 | 2017-04-20 | Steven Wu | Computerized systems and methods for offline activity management |
-
2018
- 2018-07-03 EP EP18853776.5A patent/EP3680838A4/en not_active Ceased
- 2018-07-03 JP JP2019540792A patent/JP7188852B2/ja active Active
- 2018-07-03 US US16/640,734 patent/US20200193338A1/en not_active Abandoned
- 2018-07-03 WO PCT/JP2018/025131 patent/WO2019049491A1/ja unknown
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003308420A (ja) * | 2002-04-17 | 2003-10-31 | Nippon Telegr & Teleph Corp <Ntt> | 移動体通信端末に対するスケジュール管理サポートシステムおよびサポート方法、ならびにそれに用いるサーバ装置 |
JP2009533693A (ja) * | 2006-06-27 | 2009-09-17 | トムトム インターナショナル ベスローテン フエンノートシャップ | タスクリストのタスクを完了するためにユーザに通告を与えるコンピュータシステム及び方法 |
JP2014196907A (ja) * | 2013-03-29 | 2014-10-16 | アイシン・エィ・ダブリュ株式会社 | 走行支援システム、走行支援方法及びコンピュータプログラム |
JP2016071050A (ja) * | 2014-09-29 | 2016-05-09 | シャープ株式会社 | 音声対話装置、音声対話システム、端末、音声対話方法およびコンピュータを音声対話装置として機能させるためのプログラム |
JP2016091535A (ja) * | 2014-10-31 | 2016-05-23 | 株式会社東芝 | アイテム推薦装置、アイテム推薦方法およびプログラム |
WO2016121174A1 (ja) * | 2015-01-30 | 2016-08-04 | ソニー株式会社 | 情報処理システムおよび制御方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2019049491A1 (ja) | 2019-03-14 |
US20200193338A1 (en) | 2020-06-18 |
EP3680838A1 (en) | 2020-07-15 |
JP7188852B2 (ja) | 2022-12-13 |
EP3680838A4 (en) | 2020-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7188852B2 (ja) | 情報処理装置および情報処理方法 | |
US11310624B2 (en) | Cognitive location and navigation services for custom applications | |
US9672468B2 (en) | System and method for providing intelligent location information | |
US9488487B2 (en) | Route detection in a trip-oriented message data communications system | |
US11493347B2 (en) | Using historical location data to improve estimates of location | |
US9037527B2 (en) | Determining a dynamic user profile indicative of a user behavior context with a mobile device | |
CN110264145B (zh) | 用于提供提醒的方法、设备、系统和介质 | |
CN102036163B (zh) | 行为模式分析系统、移动终端、行为模式分析方法和程序 | |
KR20160038836A (ko) | 사용자에게 콘텐트를 제공하기 위한 장치 및 방법 | |
JP7063269B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
US10909474B2 (en) | Triggering an automatic creation of an event stamp | |
JP2017079066A (ja) | ライフイベントに基づく旅行計画のための方法及びシステム | |
US10055752B2 (en) | Method and apparatus for performing real-time out home advertising performance analytics based on arbitrary data streams and out of home advertising display analysis | |
Lim | Designing the next generation of mobile tourism application based on situation awareness | |
US20160021249A1 (en) | Systems and methods for context based screen display | |
US11847179B2 (en) | Curated result finder | |
US20170006101A1 (en) | Adding a card to a mash guide/proximity grid | |
CA3155236A1 (en) | Interactive and personalized ticket recommendation | |
KR20190047350A (ko) | 여행기록생성서버 및 방법 | |
US20170004529A1 (en) | Mash guide/proximity grid | |
US20130103750A1 (en) | Interactive platform for the trucking industry | |
US20180004742A1 (en) | Information processing device, information processing method, and computer program | |
US20170005972A1 (en) | Geotag | |
EP2843597A1 (en) | System and methods for improved communication of information | |
JP6971206B2 (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220801 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221108 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20221110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7188852 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |