JPWO2019146084A1 - 情報提示装置及び情報提示システム - Google Patents

情報提示装置及び情報提示システム Download PDF

Info

Publication number
JPWO2019146084A1
JPWO2019146084A1 JP2019567794A JP2019567794A JPWO2019146084A1 JP WO2019146084 A1 JPWO2019146084 A1 JP WO2019146084A1 JP 2019567794 A JP2019567794 A JP 2019567794A JP 2019567794 A JP2019567794 A JP 2019567794A JP WO2019146084 A1 JPWO2019146084 A1 JP WO2019146084A1
Authority
JP
Japan
Prior art keywords
information
node
presentation
unit
sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019567794A
Other languages
English (en)
Other versions
JP6701462B2 (ja
Inventor
優子 菅沼
優子 菅沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6701462B2 publication Critical patent/JP6701462B2/ja
Publication of JPWO2019146084A1 publication Critical patent/JPWO2019146084A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9038Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/906Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • G06F16/9024Graphs; Linked lists
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9035Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

興味度合算出部(104)は、ユーザ毎かつ階層構造の情報毎かつ時間帯毎の興味度合いを算出する。実行トリガ生成部(105)は、ユーザ毎の実行トリガを生成する。グラフ生成部(106)は、変数を有する文章テンプレートをノードに格納して、各ノードをエッジで接続したグラフ構造を生成し、ノードとエッジの重みを設定し、少なくとも一方の重みを更新する。提示内容生成部(108)は、グラフ構造において時間帯に応じたユーザの興味度合及び外部情報を反映したノードとエッジの重みに基づき、いくつかのノードを抽出し、かつ、ノードの変数に興味度合に対応した情報を埋め込んで情報提示文を生成する。

Description

この発明は、ユーザ毎の興味度合に応じた情報提示を行う情報提示装置とこれを用いた情報提示システムに関する。
近年、購買履歴やweb閲覧履歴、テレビの視聴履歴等、個人の行動履歴に基づき嗜好を抽出し、レコメンドする技術が存在する。従来、例えば、特許文献1では、テレビやスマートフォン等を用いた番組視聴に関して、視聴行動の履歴や視聴番組の情報等から、視聴者が興味を持っていると推定されるキーワードを抽出する技術が開示されている。
この技術は、番組を視聴しているユーザにお薦めの番組を推薦したり、ECサイトを閲覧しているユーザに商品を推薦したりする場合のように、ユーザが達成したいこと(タスク)が定まっている場合に推薦する技術である。
特開2015−215794号公報
しかしながら、宅内での日常生活で、個人に応じた情報を提供することを考えた場合、宅内で行われる行動は住人によってさまざまであり、ECサイトを閲覧しているユーザに商品を推薦するときのように、ユーザが達成したいこと(タスク)が明確に一意に定まっているわけではないという問題があった。
また、情報提供を行った際、住人が有益だと感じる情報を提供することが必要となるが、宅内での行動ではタスクが一意に定まっておらず、日常に関わる情報も天気やイベント情報、レシピ等、多岐にわたることから、欲しい情報の種類や粒度も住人やその時の状況によって異なると考えられる。さらに、レシピサイト等の閲覧記録から、普段は手の込んだ料理のレシピを多く閲覧しているが、忙しい週には短時間でできるレシピをよく閲覧している等、生活状況の変化に伴って住人が欲しい情報も変化する。また、情報が役に立つためには、適切なタイミングで提示する必要がある。
このように、従来では、宅内において個人にとって有用な情報提供を行う場合に、どのような情報を提供すれば住人にとって有用となるのか推測することが困難であり、住人が情報提供を受けて嬉しかったと思えるような情報を提供することが難しいという問題があった。
この発明は、かかる問題を解決するためになされたもので、ユーザ毎に有益と思われる情報を推測し、興味を惹くような提示の仕方でそれぞれのユーザの行動に合わせてタイミング良く情報を提示することのできる情報提示装置及び情報提示システムを提供することを目的とする。
この発明に係る情報提示装置は、階層構造の親ノードから子ノードへ各層の情報を提示した際の情報の階層構造において、各ノードの滞留時間を分析した結果に応じて、ユーザ毎かつ階層構造の情報毎かつ時間帯毎に興味度合を算出する興味度合算出部と、情報の提示を行うトリガとなる場所及び行動のうち少なくともいずれか一方をユーザ毎及び情報カテゴリ毎の実行トリガとして生成する実行トリガ生成部と、変数を有する文章テンプレートをノードに格納して、各ノードをエッジで接続したグラフ構造を生成し、ノード及びエッジの重みを設定し、ノード及びエッジのうち少なくとも一方の重みを更新するグラフ生成部と、情報提示を実行するかどうかを、実行トリガに基づき、ユーザの居場所、行動の何れかまたは両方を用いて判定する状況判定部と、グラフ生成部で構築したグラフ構造を用いて、時間帯に応じたユーザの興味度合及び外部情報を反映したノードとエッジの重みに基づき、いくつかのノードを抽出し、かつ、抽出したノードに変数が含まれる場合は変数に興味度合に対応した情報を埋め込んで、グラフ構造を用いた情報提示文を生成すると共に、生成した情報提示文に対応した画面構成を構築する提示内容生成部と、提示内容生成部で生成された情報提示文を用いて、音声または画面で提示する提示部とを備えたものである。
この発明に係る情報提示装置は、階層構造の親ノードから子ノードへ各層の情報を提示した際の情報の階層構造において、各ノードの滞留時間を分析した結果に応じて、ユーザ毎かつ階層構造の情報毎かつ時間帯毎に興味度合を算出すると共に、変数を有する文章テンプレートをノードに格納して、各ノードをエッジで接続したグラフ構造を生成し、ノード及びエッジの重みを設定し、ノード及びエッジのうち少なくとも一方の重みを更新し、グラフ構造を用いて、時間帯に応じたユーザの興味度合及び外部情報を反映したノードとエッジの重みに基づき、いくつかのノードを抽出し、かつ、ノードに変数が含まれる場合は変数に興味度合に対応した情報を埋め込んで、グラフ構造を用いた情報提示文を生成するようにしたので、ユーザが興味を惹くような提示の仕方でそれぞれのユーザの行動に合わせてタイミング良く情報を提示することができる。
この発明の実施の形態1の情報提示システムの構成図である。 この発明の実施の形態1の情報提示装置の構成図である。 この発明の実施の形態1の情報提示装置における行動及び部屋関連情報の説明図である。 この発明の実施の形態1の情報提示装置における操作ログの説明図である。 この発明の実施の形態1の情報提示装置における住居及び機器情報の説明図である。 この発明の実施の形態1の情報提示装置のハードウェア構成図である。 この発明の実施の形態1の情報提示装置における操作ログ分析部の動作を示すフローチャートである。 この発明の実施の形態1の情報提示装置における提示内容の階層構造を示す説明図である。 この発明の実施の形態1の情報提示装置における興味度合算出部の動作を示すフローチャートである。 この発明の実施の形態1の情報提示装置における実行トリガ生成部の動作を示すフローチャートである。 この発明の実施の形態1の情報提示装置におけるグラフ構造を示す説明図である。 この発明の実施の形態1の情報提示装置における初期構築部の動作を示すフローチャートである。 この発明の実施の形態1の情報提示装置における重み更新部の動作を示すフローチャートである。 この発明の実施の形態1の情報提示装置における状況判定部の動作を示すフローチャートである。 この発明の実施の形態1の情報提示装置における情報提示文生成部の動作を示すフローチャートである。 この発明の実施の形態1の情報提示装置における提示部の動作を示すフローチャートである。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、本実施の形態による情報提示システムを示す構成図である。
図示の情報提示システムは、情報提示装置1、情報提供装置2、居場所行動検知装置3、行動予測装置4、ネットワーク5を備える。情報提示装置1は、情報提示に対するユーザの反応に基づき、興味のある情報を推定し、興味を惹くような情報提示文を提示する装置であり、その詳細については後述する。なお、以下、ユーザは宅内の住人であるとして説明する。情報提供装置2は、天気予報や交通情報、スポーツやコンサートの情報、美術館の展覧会等の各種イベント情報、店舗や自治体の情報といった各種の情報をネットワーク5に公開する装置である。居場所行動検知装置3は、家電や照明等の機器から得られるデータ(冷蔵庫の開閉、TVやエアコンの電源ON/OFF、照明のON/OFF等のデータ)や汎用センサ(人感センサやドア開閉センサ、ウェアラブルセンサ等)からのデータに基づき、住人の居場所(部屋)と行動(料理、食事、睡眠等)を検知する装置である。居場所行動検知装置3における検知の手段としては、様々な方法を採用することができる。例えば、家電操作が行われたり、人感センサが反応したりした場合は、その部屋に人が居るとみなす。在室の状態から、或る一定時間以上、家電操作が行われなかったり、人感センサが反応しなかったりした場合はその部屋から退室したとみなす。また、家電等の機器操作状況に関連付けて予め行動を定義しておき、定義された機器操作を検知した場合に、その行動が行われているとみなす。例えば、テレビの電源がONになった場合は、テレビ視聴という行動とみなし、夜の時間帯に在室であり、寝室の照明がOFFになったら就寝とみなす。このようにして、住人の居場所や行動を検知し、居場所や行動が変化した場合は、変化した情報(居場所や行動)を住人IDと関連付けて情報提示装置1に送信するよう構成されている。
行動予測装置4は、住人の過去の行動ログを分析した結果に基づき、住人毎の今後の行動を予測する装置である。予測方法には、様々な方法を採用することができる。例えば、対象の住人の過去の行動ログを参照し、或る行動の後に行われた確率が最も高い行動を取得することで、今後の行動を予測することができる。予測された行動は、住人IDと関連付けて情報提示装置1に送信するよう構成されている。ネットワーク5は、情報提示装置1と情報提供装置2、居場所行動検知装置3及び行動予測装置4とを相互に接続するためのネットワークであり、通信ケーブル等を用いた有線通信や各種の無線通信を利用することができる。
図2は、情報提示装置1の構成図である。
図示のように、情報提示装置1は、制御部100と記憶部200とを備える。制御部100は、記憶部200に記憶された各種の情報に基づいて情報提示装置1としての制御を行うもので、情報取得部101、操作履歴記録部102、操作ログ分析部103、興味度合算出部104、実行トリガ生成部105、グラフ生成部106、状況判定部107、提示内容生成部108、提示部109を備える。
情報取得部101は、天気予報やイベント情報等、情報提供装置2からネットワーク5に公開されている外部情報を取得する機能を有する。また、情報取得部101は、居場所行動検知装置3から、各住人の現在の居場所(部屋)や現在の行動が変化する度に変化した情報(居場所や行動の情報)を取得し、時刻、住人IDと関連付けて居場所及び行動ログ201として記憶部200に蓄積する機能を有している。操作履歴記録部102は、住人におけるWeb閲覧やテレビの視聴等の操作内容を操作ログ207として記憶部200に格納するよう構成されている。操作ログ分析部103は、記憶部200に格納されている居場所及び行動ログ201と操作ログ207に基づき、操作ログを住人毎の操作ログに分離し、時間に基づきクラスタリングして、画面遷移回数や画面滞留時間等の、画面に対する操作に基づき分析した結果を操作ログ分析結果として出力するよう構成されている。興味度合算出部104は、操作ログ分析結果と、情報構造206に基づき、クラスタ毎に、情報の階層構造において同一の親ノードに接続する子ノードの滞留時間合計値や、或る層における滞留時間の最大値等を算出し、情報構造206で定義されている各情報に対する住人の興味度合を数値化するよう構成されている。
実行トリガ生成部105は、情報提示を行うトリガ(以下、これを実行トリガという)を住人毎に生成する機能を有している。グラフ生成部106では、導入部、本題、補足部の3層からなり、変数を有する文章テンプレートをノードに格納して、各ノードをエッジで接続したグラフ構造を生成するよう構成されており、初期構築部106aと重み更新部106bを備えている。初期構築部106aは、ノードに格納する文章テンプレートやそのノードの配置レイヤ、属性情報、重み情報等に基づき、ノードとエッジから成るグラフ構造を初期構築する機能部である。重み更新部106bは、天気等の外部情報や、情報構造206で定義されている各情報に対する興味度合に基づき、グラフ構造におけるノードやエッジの重みを更新するための機能部である。
状況判定部107は、情報提示を実行するかどうかを、住人における現在の居場所や行動、居場所のログ、今後予測される行動、実行トリガに基づき判定するよう構成されている。提示内容生成部108は、状況判定部107で一致と判定された場合、グラフ生成部106により、現在の時間帯に対応した興味度合算出部104で算出された興味度合に基づきグラフ構造におけるノードとエッジの重みを更新されたグラフ構造を用いて本題レイヤからノードを抽出し、抽出されたノードに接続する他のノードを必要に応じて抽出し、かつ、ノードに変数が含まれる場合は変数に興味度合に対応した情報を埋め込んで、グラフ構造を用いた情報提示文を生成すると共に、生成した情報提示文に対応した画面構成を構築する機能を有し、情報提示文生成部108a、画面生成部108bを備えている。情報提示文生成部108aは、グラフ生成部106で構築したグラフ構造を用いて、情報種類や変化する外部情報(天気、イベント等)、住人の興味度合を反映したノードやエッジの重みに基づき、住人にとって有益と思われるような文章を抽出し、文章同士をつなぎ合わせて情報提示文を生成する機能を有している。画面生成部108bは、情報提示文生成部108aで生成した情報提示文に対応するように、提示部109で表示する詳細表示の画面構成を構築する機能を有している。提示部109は、提示内容生成部108で生成された情報提示文と画面構成に基づいて情報提示を行う機能部である。
記憶部200は、情報提示装置1として制御部100が用いて情報提示を行うための各種のデータを記憶するものであり、居場所及び行動ログ201、ユーザ情報202、行動及び部屋関連情報203、テンプレート定義204、情報提示文構成グラフ205、情報構造206、操作ログ207、住居及び機器情報208のデータを格納する。居場所及び行動ログ201は、居場所行動検知装置3から受信した居場所と行動のログである。この居場所及び行動ログ201は、各住人が現在居る部屋(リビング、キッチン等)と、各住人の行動(料理、食事等)が、住人ID及び時刻と関連付けて記録されている。ユーザ情報202は、欲しい情報の種類である情報カテゴリと情報提示の出力先を住人毎に定義したファイルである。情報カテゴリとは、例えば、天気予報、交通情報、お買い得情報、イベント情報(スポーツ、展覧会、地域のイベント等)、レシピ、娯楽情報といったカテゴリで区分される情報であり、住人毎に欲しい情報のカテゴリが定義されている。一人の住人に対して、複数の情報カテゴリを定義することができる。また、情報カテゴリには、緊急情報を含めることができる。緊急情報は、住人の実行トリガに依らずに、緊急情報を情報取得部101が取得した時点で提示するものである。情報提示の出力先には、宅内にあるデバイス(ディスプレイやテレビ、スピーカ等)に出力するか、スマートフォン等の携帯デバイスに出力するかを指定する。両方を指定することもできる。
行動及び部屋関連情報203は、情報カテゴリ毎に、情報を提示する端末(ディスプレイやスピーカ等)の部屋を定義するファイルである。ユーザ情報202において、情報提示の出力先が宅内にあるデバイスと定義されている場合に、行動及び部屋関連情報203で定義されている関連部屋の端末(ディスプレイやスピーカ等)に情報が提示される。例えば、カテゴリ「料理」に関連してレシピの情報が欲しい場合に、「料理」行動と「キッチン、ダイニング」を関連付けて定義すると、レシピに関する情報をキッチンやダイニングに設置されたディスプレイで提示できる。行動及び部屋関連情報203は、住人毎に定義し、同じカテゴリの情報であっても、どこで情報を受信するかを変えることができる。行動及び部屋関連情報203の例を図3に示す。
情報提示文構成グラフ205は、簡易提示で使用する文章(情報提示文)を生成するために使用するノードとエッジから成るグラフ構造の情報であり、グラフ生成部106で構築される。テンプレート定義204は、情報提示文構成グラフ205の初期構築に必要な情報を定義したファイルである。テンプレート定義204は、各文章テンプレートと格納先のレイヤ(導入部/本題/補足)、ノード同士の接続関係、各ノードに付与する属性情報(情報構造206で定義されている情報等)、重みの初期値、重み更新量等を定義する。情報構造206は、情報の階層構造を定義したファイルである。この情報構造206は、興味度合算出部104で興味度合を数値化する情報の単位となる。情報表示を行う際、この情報構造206に従って画面を構築し、画面に対するユーザ操作のログから、各階層の情報に対するユーザの興味度合を推定する。操作ログ207は、情報表示を行った際に、ユーザが画面を操作した時のログ(画面遷移、ボタン押下等)である。図4に、操作ログ207の一例を示す。操作内容では、どの画面に遷移したのか、画面内のどの部品(ボタン等)を操作したのか等、操作内容が分かるように出力する。住居及び機器情報208は、住居を構成する部屋と各部屋に配置している情報提示端末のIDとの関連付けを定義したファイルである。住居及び機器情報208の一例を図5に示す。なお、情報提示端末としては、テレビ、壁掛ディスプレイ、スピーカ等であり、図6で説明する表示装置15や音声出力装置16に相当する。
図6は、この発明の実施の形態1である情報提示装置1のハードウェア構成図である。
図示のように、情報提示装置1は、プロセッサ10、補助記憶装置11、メモリ12、通信装置13、入力装置14、表示装置15、音声出力装置16を備え、これらは通信路17によって相互に通信可能に接続されている。
プロセッサ10は、プロセッシングを行うIC(Integrated Circuit)であり、情報提示装置1の制御を司る機能部である。プロセッサは、CPU(Central Processing Unit)、DSP(digital signal processor),GPU(Graphics Processing Unit)等に相当する。補助記憶装置11は、例えば、ROM、フラッシュメモリ、HDD等に相当し、各種のデータを格納する機能部である。メモリ12は、例えばRAM等に相当し、データの一時記憶を行うと共に、プロセッサ10が処理を行う上での作業領域を構成する。通信装置13は、有線または無線LAN、Bluetooth(登録商標)等の通信手段を備え、情報提供装置1と情報提供装置2〜行動予測装置4との間で通信を行う機能部である。入力装置14は、例えば、マウス、キーボード、タッチパネルといった住人が情報入力を行うための入力デバイスに相当する。表示装置15は、例えば、LCD(Liquid Crystal Display)等からなり、情報提示文を表示するための装置である。音声出力装置16は、例えばスピーカ等からなり、情報提示文を音声で出力する装置である。通信路17は、コンピュータにおける内部バスまたは表示装置15や音声出力装置16が別の部屋の情報提示端末として定義されている場合のケーブルに相当する。
図2における情報取得部101〜提示部109は、それぞれの機能部に対応したプログラムをプロセッサ10が実行することによって実現され、提示部109は、表示装置15及び音声出力装置16の構成を含んでいる。また、図2における記憶部200は補助記憶装置11によって実現されている。
次に、情報提示システムの動作について説明する。
情報提示装置1の情報取得部101は、情報提供装置2からネットワーク5に公開されている天気予報やイベント情報といった各種の情報を取得する。また、居場所行動検知装置3から、各住人の現在の居場所(部屋)と、現在の行動が変化する度に変化した情報(居場所や行動)を取得し、時刻と住人IDとに関連付けて居場所及び行動ログ201として記憶部200に蓄積する。
操作履歴記録部102は、Web表示等を行う表示アプリケーションによって表示装置15に表示された様々な画面に対して、住人がどのような操作を行ったかを示す操作ログ(画面遷移、ボタン押下等)を記録する。すなわち、操作履歴記録部102は、どの画面からどの画面に遷移したのか、画面内のどのボタンが押下されたのか等を時刻と共に記録し、操作ログ207として記憶部200に格納する。
操作ログ分析部103は、記憶部200に格納されている居場所及び行動ログ201及び操作ログ207に基づき、住人毎の操作ログに分離し、かつ、時間に基づきクラスタリングして、画面遷移回数や画面滞留時間等の分析結果を出力する。図7に操作ログ分析部103における処理フローを示す。
先ず、操作ログ分析部103では、記憶部200に格納されている居場所及び行動ログ201、操作ログ207及び住居及び機器情報208を参照し、各部屋にある情報提示端末における表示画面に対する操作ログを、操作ログの時刻にその情報提示端末がある部屋に在室していた住人の操作とみなして、操作ログと住人IDとを関連付ける。同じ部屋に複数の住人が居た場合は、その部屋に居た住人すべてに対して、その操作ログを関連付ける(ステップST101)。次に、操作ログ分析部103は、住人IDと関連付けられた操作ログに対して、各住人の操作ログ毎に、ログを時間でクラスタリングし、クラスタ毎に各画面の滞留時間や操作回数等を算出する(ステップST102)。
例えば、或る一日のログが12:00,12:10,12:12,12:20,17:15,17:20,17:25であったとすると、「12:00,12:10,12:12,12:20」と「17:15,17:20,17:25」の二つにクラスタリングされる。
操作ログ分析部103は、時刻に基づきクラスタリングした操作ログを、住人IDと関連付けて記憶部200に操作ログ分析結果として格納すると共に興味度合算出部104に渡す。
興味度合算出部104は、操作ログ分析部103から操作ログ分析結果を受け取ると、記憶部200に格納されている情報構造206を参照し、クラスタ毎に、情報の階層構造において同一の親ノードに接続する子ノードの滞留時間合計値や、或る層における滞留時間の最大値等を算出し、情報構造206で定義されている各情報に対するユーザの興味度合を数値化する。
この興味度合の数値化として、まず、表示アプリケーションが表示装置15や音声出力装置16で提示する情報について説明する。表示アプリケーションでは、レシピ等のような詳細な情報を表示させることができる。表示アプリケーションで提示させる情報は、図8に示すような階層構造で定義し、情報構造206として記憶部200に格納する。各階層が複数種類の情報を含む選択画面に該当するか、または、或る単一の情報に対する詳細画面に該当するかも定義する。表示アプリケーションによる提示では、画面遷移に伴い、大まかな情報から詳細な情報へと移行する。
興味度合算出部104では、操作ログ分析部103で算出した結果を用いて、図8に示す階層構造に示された各情報に対する興味度合を算出する。興味度合算出部104の処理フローを図9に示す。
なお、以下の説明では、興味度合の数値を0.0、0.25、0.5、0.75、1.0の5段階に数値化する例を示す。また、処理で必要となる以下の3種類の閾値を予め手動で定義し、記憶部200に格納しておく。
・ステップST202で使用している閾値A:1画面内滞留時間の閾値
・ステップST204で使用している閾値B:滞留時間の合計の閾値
・ステップST206で使用している閾値C:滞留時間の最大値の閾値
興味度合算出部104は、先ず、操作ログ分析部103から取得した分析結果において、画面遷移が無かった画面や画面上のオブジェクトが操作されていない情報(ボタンがクリックされていない等)に対して興味が無いとみなし、興味度合無として「0.0」を設定する。例えば、図8の階層構造において、情報cとその下位構造(情報c−1等)の情報に対する画面が一度も操作されていない場合は、情報c、情報c−1に興味度合無として、0.0を設定する(ステップST201)。
次に、興味度合算出部104は、情報構造206で定義された情報の階層構造において、詳細情報に該当する各画面(詳細画面と呼ぶ。図8の場合は第二階層)の滞留時間が閾値A以上の画面を抽出する(ステップST202)。例えば、閾値が15秒である場合に、図8の階層構造の画面における滞留時間が以下であった場合、情報a−1、情報a−2が抽出される。
情報a−1(例えば、A店のお買い得情報)の画面の滞留時間:20秒
情報a−2(例えば、B店のお買い得情報)の画面の滞留時間:30秒
情報b−1(例えば、簡単レシピ)の画面の滞留時間:5秒
情報b−2(例えば、ヘルシーレシピ)の画面の滞留時間:8秒
情報b−3(例えば、食材から選ぶレシピ)の画面の滞留時間:7秒
次に、興味度合算出部104は、ステップST202で抽出した情報に対して、親ノードが同一の情報毎に滞留時間の合計を算出する(ステップST203)。上記の例では、情報a−1が抽出されたので、親ノードである情報aの子ノードの滞留時間の総和を算出する。情報aの子ノードが情報a−1(A店のお買い得情報)、情報a−2(B店のお買い得情報)の二つである場合、情報a−1の画面の滞留時間と情報a−2の画面の滞留時間の合計を算出する。
次に、興味度合算出部104は、ステップST203で算出した滞留時間の合計が閾値B以上の情報かどうかを判定する(ステップST204)。このステップST204において、閾値B以上でない場合(ステップST204−No)は興味度合を小として数値化する(ステップST205)。興味度合を0.0、0.25、0.5、0.75、1.0の5段階で数値化する場合は、0.25を興味度合小として設定する。一方、ステップST204において、ステップST203で算出した滞留時間の合計が閾値B以上の情報であった場合(ステップST204−Yes)は、親ノードが同一の情報毎に滞留時間の最大値と閾値Cとの差異に応じて、興味度合を中〜大で数値化する(ステップST206)。例えば、興味度合を0.0、0.25、0.5、0.75、1.0の5段階で数値化する場合に、滞留時間の最大値が閾値C以上である情報種類(第一階層)の興味度合を1.0とし、最大値が閾値C未満の情報種類(第一階層)の興味度合を、最大値と閾値との差異の大小に応じて興味度合中〜大に数値化する。また、その子ノードの情報に対して、画面滞留時間に応じて興味度合を中〜大で数値化する。
ステップST204において、情報a−1の画面の滞留時間が20秒であり、情報a−2の画面の滞留時間が30秒であるので、これらの合計は50秒となり、閾値Bが30秒と定義されていた場合に閾値B以上となり、ステップST206に移行する。親ノードは「情報a」であり、滞留時間の最大値は情報a−2となる。閾値Cが20秒と定義されていた場合、情報aに対する興味度合は1.0となる。また、情報a−1、情報a−2に対する興味度合は例えば、0.75、1.0となる。
また、興味度合算出部104は、ステップST202で抽出されなかった情報に対して興味度合を小で数値化する(ステップST207)。上記の例では、情報b−1、情報b−2、情報b−3、情報bが該当する。興味度合小の数値として例えばこれらの情報の興味度合が0.25となる。
このようにして、興味度合算出部104では、操作ログ分析部103で生成されたクラスタ毎に、情報構造206で定義されている各情報の階層構造(図8)に対して、各情報に対する興味度合を数値化する。クラスタ毎に数値化するため、住人毎、時間帯に応じて同じ情報種類であっても、異なる興味度合が設定される。例えば、操作ログ分析部103において、住人ID=1について或る情報提示端末に対する操作ログが「12:00,12:10,12:12,12:20」と「17:15,17:20,17:25」の二つにクラスタリングされた場合、住人ID=1に対する興味度合算出部104の出力結果は、12:00〜12:20の時間帯に対する結果と、17:15〜17:25の時間帯に対する結果の2種類となる。
興味度合算出部104において興味度合を数値化した結果は、上記のようにして、住人IDと時間帯と関連付けて記憶部200に、数値化情報構造として格納すると共に、グラフ生成部106に渡す。
実行トリガ生成部105では、情報提示を行うトリガ(実行トリガと呼ぶ)を住人毎に生成する。実行トリガは、(A)居場所、(B)行動、(C)居場所と行動の両方の3種類とし、各情報カテゴリに対して(A)〜(C)のいずれかを予めファイルに定義して記憶部200に格納しておく。
実行トリガとして行動が定義されている情報カテゴリの場合(=(B))の、実行トリガ生成部105の処理の流れを図10に示す。
実行トリガ生成部105では、先ず、記憶部200に格納されている行動及び部屋関連情報203から、対象とする情報カテゴリに関連付けられた関連部屋の情報を取得する(ステップST301)。例えば、図3に示したように、行動及び部屋関連情報203において、情報カテゴリ「料理」に対して、ダイニング、キッチンが関連部屋として関連付けられている場合は、ダイニングとキッチンを関連部屋の情報として取得する。
次に、実行トリガ生成部105は、記憶部200に格納されている居場所及び行動ログ201を参照し、対象とする住人の過去の行動において、ステップST301で取得した部屋で行われる行動のうち、情報カテゴリに該当する行動が行われた時刻に最も近い時刻に行われた行動を抽出する(ステップST302)。例えば、料理行動に関連してレシピを提示するような場合は、情報カテゴリは「料理」となる。行動及び部屋関連情報203で、料理行動に関連深い部屋として、キッチン、ダイニングが定義されていた場合は、キッチン、ダイニングで行われている行動のうち、料理行動に最も近い時刻に行われた他の行動として、例えば、「テレビを視聴する」という行動が実行トリガとして生成される。
一方、実行トリガが居場所となる情報カテゴリの場合(=(A))は、実行トリガとする居場所(部屋)を定義しておく。例えば、天気が悪い場合に、住人が玄関に来た時に傘を持参するように注意喚起する場合は、居場所トリガとして玄関を定義する。また、交通情報等、緊急情報の情報カテゴリに対しては、すべての部屋を居場所トリガに設定しておくことで、どの部屋に居る時も、緊急情報を受け取ることが可能となる。
また、実行トリガが居場所と行動の両方となる場合(=(C))としては、例えば、スーパーへ買い物に行く行動に関連してお買い得情報を提示するような場合がある。情報カテゴリは「買い物(外出)」となり、情報カテゴリ「買い物(外出)」に関連深い部屋としてキッチンとダイニングが行動及び部屋関連情報203で定義されていた場合、キッチンまたはダイニングで行われた行動のうち、買い物(外出)行動が行われた時刻に最も近い時刻で行われた他の行動として、例えば「食事後のお皿洗い」の行動が実行トリガとなる。また、居場所トリガとして玄関を設定しておき、天気が悪い場合に傘を持参するような注意喚起を行うことを可能としておく。
このように、実行トリガ生成部105では、居場所及び行動ログ201に基づき、対象とする住人の過去の行動から実行トリガ(行動)を決定するため、同じ情報カテゴリであっても、住人に応じて実行トリガが決定される。このようにして生成した実行トリガは記憶部200に図示しない実行トリガ情報として格納すると共に、グラフ生成部106及び状況判定部107に渡す。
グラフ生成部106では、情報提示の際に、提示内容の概要を簡潔に伝える文章(以下、情報提示文)を生成するために使用するグラフ構造(ノードとエッジから成る)を構築する。グラフ構造は住人毎に構築する。
図11にグラフ構造の例を示す。導入部レイヤ1101、本題レイヤ1102、補足部レイヤ1103の3層から成る。各層には、情報カテゴリ(料理、娯楽等)に応じた文章テンプレートが格納される。<>の部分は変数である。ノードやエッジは重みを持つ。以下では、ノードの重みは本題レイヤ1102のノードのみが持つ例を示す。
グラフ生成部106において、初期構築部106aでは、各文章テンプレートと格納先のレイヤ(導入部レイヤ1101/本題1102レイヤ/補足部レイヤ1103)、属性情報が定義されたテンプレート定義204に基づき、グラフ構造を構築し、属性の付与と重みの初期化を行う。初期構築部106aの処理フローを図12に示す。
初期構築部106aは、先ず、テンプレート定義204に基づき、定義されている各文章テンプレートを該当するレイヤ(導入部レイヤ1101/本題レイヤ1102/補足部レイヤ1103)に配置し、接続関係のあるノード同士をエッジで接続する(ステップST401)。接続関係のあるノード同士であるかどうかは以下に基づく。
・ノードの文章テンプレートに含まれている変数が共通のノード同士
・テンプレート定義204で、ノード同士の接続が定義されているノード同士
例えば、或るノードN1の文章テンプレート内に変数<food>が含まれており、或るノードN2の文章テンプレート内にも変数<food>が含まれている場合は、ノードN1とノードN2をエッジで接続する。また、共通の変数がないノード同士であっても、テンプレート定義204に接続関係が定義されている場合は、それらのノード間をエッジで接続する。同一レイヤ内のノード同士をエッジで接続することも可能とする。
次に、初期構築部106aでは、ユーザ情報202、情報構造206、テンプレート定義204を参照し、実行トリガ生成部105から、処理対象の住人に対する実行トリガを受け取ると、本題レイヤ1102のノードに、情報カテゴリと実行トリガ(居場所、行動)を属性情報として付与する(ステップST402)。
また、情報構造206で定義されている情報を該当するノードに属性情報として付与する。例えば、テンプレート定義204において、図11の本題レイヤ1102のノード「<store>で<food>がお買い得です。」に「お買い得情報」(図8の情報a)が関連付けられている場合は、「<store>で<food>がお買い得です。」のノードの属性情報に「お買い得情報」(図8の情報a)を属性情報として付与する。
また、テンプレート定義204に、天気予報等の外部情報が属性情報として付与されている場合は、図11の天気に関連するノード(「今日は<time>から<bad weather>です。」等)に天気予報の外部情報を属性情報として付与する。
次に、初期構築部106aは、テンプレート定義204に基づき、本題レイヤ1102のノードとその他のエッジに重みの初期値を設定する(ステップST403)。
初期構築部106aで構築されたグラフ構造は記憶部200に格納され、重み更新部106bにおいてノードやエッジの重みが更新される。
グラフ生成部106の重み更新部106bでは、情報取得部101で取得した外部情報(天気、イベント)や、興味度合算出部104で算出された数値化情報構造で定義されている各情報に対する興味度合に基づき、ノードやエッジの重みを更新する。重み更新部106bの処理フローを図13に示す。
重み更新部106bは、先ず、外部情報(天気、イベント情報等)が属性情報として付与されているノードに関して、ノードやエッジの重みを更新する(ステップST501)。例えば、天気が悪い場合は、テンプレート定義に定義されているノードの重み更新量に基づき、「今日は<time>から<bad weather>です。」や「傘を忘れずに」のノードの値を増加させ、天気が良い場合は、これらのノードの重みを減少させる。イベント情報が属性として付与されているノードの場合は、イベントの開催期間中である場合は該当ノードの重みを増加させ、イベント期間を過ぎた場合は該当ノードの重みを減少させる。
次に、重み更新部106bでは、興味度合算出部104で算出された数値化情報構造が属性情報として付与されているノードに関して、ノードやエッジの重みを更新する(ステップST502)。興味度合算出部104では、操作ログ分析部103で生成したクラスタ毎に、表示装置15や音声出力装置16で表示される各情報に対する興味度合を数値化しているため、クラスタリングの結果に基づき、現在の時間に該当するクラスタに対する興味度合数値化結果に基づき、ノードやエッジの重みを更新する。
具体的には、興味度合算出部104で算出された各情報に対する興味度合に基づき、興味度合が閾値以上の情報が関連付けられている本題レイヤ1102のノードを抽出し、テンプレート定義204で定義された重みの更新量を興味度合の大小に基づき配分し、現在のノードの重みから値を増加させる。さらに、重みを増加させたノードに接続しているエッジ(本題レイヤ1102と導入部レイヤ1101とのエッジ/本題レイヤ1102と補足部レイヤ1103とのエッジ)の重みを所定量(テンプレート定義204で定義された値)だけ増加させる。また、興味度合が閾値以下の情報が関連付けられている本題レイヤ1102のノードやエッジの重みを減少させる。
次に、重み更新部106bは、同一レイヤのノード同士が接続しているエッジの重みを更新する(ステップST503)。例えば、図11に示すように、本題レイヤ1102のノード同士が同じ変数を含む場合は、本題レイヤ1102のノード同士が接続されている。このように、同一レイヤ内のノード同士が接続している場合は、その両方のノードの重みがステップST502において変化した場合に、両者をつなぐエッジの重みを変更する。両端ノードの重みがステップST502で増加した場合は、そのノード間をつなぐエッジの重みをテンプレート定義204で定義されている変化量だけ増加させ、両端ノードの重みがステップST502で減少した場合は、そのノード間をつなぐエッジの重みをテンプレート定義204で定義されている変化量だけ減少させる。
図11では、興味度合算出部104で算出された、各情報に対する興味度合が以下であった場合の重みの例を示している。
お買い得情報(情報a):1.0、レシピ(情報b):0.75、先週の食事傾向(情報c):0.0
本題レイヤ1102のノードの重み初期値を0.3とし、エッジは重みが変化した部分のみ記載している。
以上のようにして重み更新部106bが重みを更新した結果は、記憶部200に格納されているグラフ構造に反映される。
状況判定部107は、情報提示を実行するかどうかを、現在の居場所や行動、居場所のログ、今後予測される行動、実行トリガに基づき判定する。状況判定部107の処理フローを図14に示す。
状況判定部107では、情報取得部101が、現在の居場所と行動を居場所行動検知装置3から取得すると、現在の居場所や行動が、実行トリガ生成部105で生成された実行トリガに一致するかどうかを判定する(ステップST601)。一致する場合(ステップST601−Yes)は、ステップST602に進み、さらに、実行トリガが行動を含む場合(ステップST602−Yes)はステップST603に進み、ステップST603において行動判定条件をすべて満たすかどうかを判定する。ここで行動判定条件は、例えば以下とする。
(ア)現在の居場所や行動が実行トリガに一致。
(イ)実行トリガに対する情報カテゴリの行動が、今後の行動として予測されている。
買い物に関連する情報提示を実行するかどうかを判定する場合を例として説明する。情報カテゴリは買い物(外出)である。
実行トリガ生成部105において、或る住人(これを住人1とする)に対して、情報カテゴリ「買い物(外出)」に対する実行トリガとして「食事後のお皿洗い」が生成されているとする。この場合、情報取得部101が受信した現在の行動が「食事後のお皿洗い」である場合、上記(ア)の条件を満たしていることになる。(イ)はこの例の場合、「買い物(外出)」行動が今後の予測行動として受信されている場合に、(イ)を満たしていることとなる。
(ア)〜(イ)のすべてを満たす場合(ステップST603−Yes)にはステップST604に移行し、後述する提示内容生成部108の処理に移行する。
一方、ステップST602において、実行トリガが行動を含まない場合(ステップST602−No)、すなわち、実行トリガが居場所の場合はステップST605に移行し、ステップST605において、現在忙しい状況でないか(比較的のんびりしているかどうか)を判定する。判定方法としては、例えば、現在処理対象としている住人(この場合住人1)の居場所ログを参照し、現在の時刻から所定時間(例えば30分間)前の時間に部屋間を移動した回数(階数aと表記)と、その時刻からさらに所定時間前の時間に部屋間を移動した回数(回数bと表記)を算出し、回数aが回数bよりも小さい場合に忙しい状況でないと判定する。
忙しい状況でない場合(ステップST605−Yes)は、ステップST604に移行し、後述する提示内容生成部108の処理に移行する。また、忙しい状況であった場合(ステップST605−No)はそのまま状況判定部107の処理を終了する。なお、上記のステップST601において、実行トリガ生成部105で生成された実行トリガに一致しない場合(ステップST601−No)と、ステップST603において、(ア)〜(イ)のすべては満たしていない場合(ステップST603−No)は、そのまま終了する。
上記では、行動判定条件として(ア)、(イ)の例を示したが、この他に、居場所が実行トリガとなる場合のように、忙しい状況でないかどうかを条件に含めても良い。また、その他の条件を含めても良い。
また、忙しい状況でないか(比較的のんびりしているかどうか)の判定方法として、居場所ログに基づき、部屋間の移動回数で判定する方法を示したが、判定方法は上記に限らない。
提示内容生成部108では、グラフ生成部106で構築した属性情報付き情報提示文構成グラフを用いて提示部109で提示する情報提示文を生成する。
提示内容生成部108において、情報提示文生成部108aは、グラフ構造に基づき、簡易提示する情報提示文を生成する。情報提示文生成部108aの処理フローを図15に示す。
情報提示文生成部108aは、グラフ生成部106の重み更新部106bの処理により、情報構造206で定義された各情報に対する興味度合の数値化結果のうち、現在の時間に該当する興味度合の数値化結果に基づき、重みを更新する。また、天気やイベント情報等、外部情報が関連するノードに関して、ノードやエッジの重みを更新する。すなわち、グラフ構造の重みを再計算する(ステップST701)。次に、情報提示文生成部108aは、以下のようにして、本題レイヤ1102からノードを抽出する(ステップST702)。
まず、本題レイヤ1102のノードに関連付けられた属性(実行トリガや情報カテゴリ等)を参照し、属性として付与されている実行トリガと情報カテゴリが、処理対象の住人の実行トリガと情報カテゴリに一致するノードを抽出する。次に、抽出されたノードのうち、ノードの重みが最大のノードを抽出する。また、ノードの重みが最大のノードに接続している他のノードが本題レイヤ1102内にある場合は、そのノードとの間のエッジの重みが閾値以上のノードを抽出する。
次いで、情報提示文生成部108aは、本題レイヤ1102のノードと接続している他のレイヤ(導入部レイヤ1101及び補足部レイヤ1103)からノードを抽出する(ステップST703)。具体的には、ステップST702で抽出した本題レイヤ1102のノードに接続する導入部レイヤ1101及び補足部レイヤ1103の各々から、ステップST702で抽出した本題レイヤ1102のノードに接続するエッジのうち、エッジの重みが最大のエッジを選び、そのエッジにつながっているノード(導入部レイヤ1101や補足部レイヤ1103のノード)を抽出する。さらに、情報提示文生成部108aは、ステップST702及びステップST703で抽出したノードに格納されている文章を、導入部、本題、補足部の順につなげる(ステップST704)。本題レイヤ1102でノード同士が接続されており、それらが抽出されている場合は、本題レイヤ1102から二つの文章がつなげられる。
次に、情報提示文生成部108aは、ノードに格納された文テンプレートに埋め込まれている変数に値を格納する(ステップST705)。格納する値は、ノードに属性として付与されている情報と、興味度合算出部104で算出した重みの結果に基づき、該当する情報に対する重みの数値が最大の情報の値を格納する。例えば、図11において、図中のノードA(「<store>で<food>がお買い得です。」)には、属性情報として図8の情報の階層構造における情報a(お買い得情報)が付与されている。このため、情報aの子ノードである情報a−1、情報a−2のうち、興味度合算出部104で数値化された値が大きいほうの情報を変数<store>に格納する。例えば、情報a−1(A店)の興味度合が1.0、情報a−2(B店)の興味度合が0.75の場合は、<store>には「A店」が格納される。ノードに属性情報として天気等の外部情報が関連付けられている場合は、雨が降る時刻等の外部情報を情報取得部101が情報提供装置2から取得し、取得した情報に基づき値を埋め込む。文章中の各変数にどの情報が対応づくのかは、テンプレート定義204に定義されている。なお、文テンプレートの変数に値が設定されない文章が残る場合は、その文章は省略する。
このようにして生成した情報提示文は、記憶部200に格納すると共に、提示部109に簡易提示の提示内容として渡す。
提示内容生成部108において、画面生成部108bは、情報提示文生成部108aで生成した情報提示文に対応するように、提示部109で表示する詳細提示の画面構成を生成する。例えば、トップ画面に表示するコンテンツを、情報提示文生成部108aで生成された文章に対応して変化させる。一例として、図8に示すように、情報として、お買い得情報とレシピの2種類があった場合において、情報提示文生成部108aにて、お買い得情報に関する文章として「○△店で野菜がお買い得です。」が生成された場合は、○△店のお買い得情報に関する画面がトップ画面となるように画面構成を構築する。
また、情報提示文生成部108aで生成された文章の構造に基づき、画面表示する際にフォントサイズを大きくしたり、点滅させたり、太字にしたりして、文章の中で本題となる部分と補足的な部分を区別するように画面部品を構築する。例えば、本題と補足部から成る文章が情報提示文生成部108aで生成された場合、以下のような表示となるように、画面UI部品を構築する。
・本題の文字を大きく、補足部の文字は少し小さくする。
・本題の文章のみ点滅表示
画面生成部108bで生成した画面構成は、記憶部200に格納すると共に提示部109に渡す。
提示部109は、情報提示文生成部108aから情報提示文を受け取り、画面生成部108bから画面構成を受け取ると、条件を満たした場合に情報提示を実行する。提示部109の処理フローを図16に示す。
提示部109は、先ず、受け取った情報提示文を所定時間内に提示したかどうかを確認する(ステップST801)。情報提示を実行した際(ステップST801−No)は、そのときの情報提示文を住人IDと時刻と関連付けて記憶部200に格納しておく。この記録と、現在受け取った情報提示文、住人IDに基づき、所定時間内に同じ情報提示文を同じ住人に対して既に提示したかどうかを判定する。現在受け取った情報提示文を対象とする住人にまだ提示していない場合(ステップST801−Yes)は、情報提示を実行する(ステップST802)。具体的には、記憶部200に格納している行動及び部屋関連情報203及び住居及び機器情報208を参照し、現在対象としている情報カテゴリに関連付けられている部屋のうち、現在住人が居る部屋に或る情報提示端末のIDを取得して、取得した端末IDに対して、受け取った情報を提示する。簡易提示で使用する情報提示文は、表示装置15や音声出力装置16で提示する。詳細提示は表示装置15で表示する。
実施の形態1では、宅内にある情報提示端末(ディスプレイやテレビ、スピーカ等)を用いて情報を提示する例を示したが、住人がスマートフォン等のモバイル端末を携行している場合は、モバイル端末に情報を提示するようにしても良い。その場合、記憶部200に格納しているユーザ情報202で、情報提示の出力先をモバイル端末に指定しておく。
実施の形態1では、興味度合算出部104において、興味度合の数値を0.0、0.25、0.5、0.75、1.0の5段階に数値化する例を示したが、興味度合の数値は、上記の数値の5段階に限定しない。また、5段階であっても上記以外の数値でも良いし、5段階でなくとも良い。さらに、離散化せずに、連続値を用いて興味度合の大小を数値化しても良い。
実施の形態1では、グラフ生成部106が生成するグラフ構造として図11に示すグラフを示したが、グラフ構造は、テンプレート定義204に基づき構築されるものであり、テンプレートとする文章の内容や変数等は任意に定義することができる。すなわち、グラフ構造は図11の例に限らない。また、グラフ構造として、導入部、本題、補足部の3層から成る例を示したが、グラフ構造は3層に限らない。
実施の形態1では、グラフ構造において、ノードの重みは本題レイヤ1102のみが持つ例を示したが、他のレイヤのノードも重みを持つようにして良い。この場合、情報提示文生成部108aの処理フローを示す図15において、ステップST703では、ステップST702で抽出した本題レイヤ1102のノードに接続する導入部レイヤ1101、補足部レイヤ1103の各々から本題レイヤ1102のノードに接続するエッジのうち、エッジの重みが最大のエッジを選び、そのエッジにつながっているノード(導入部レイヤ1101や補足部レイヤ1103のノード)を抽出した後、重みが閾値以上のノードのみをさらに抽出する等して、情報の抽出度合を変えることができる。
実施の形態1では、情報提示システムとして行動予測装置4を備えた構成で説明したが、情報提示装置1において、実行トリガが居場所の情報を提示する場合は、行動予測装置4を除いた構成として良い。
実施の形態1では、情報の階層構造を図8によって説明したが、階層数は2層に限らず、任意の層を定義することができる。
なお、居場所行動検知装置3は居場所と行動の両方を検知する例を説明したが、いずれか一方のみとし、情報提示装置1がこの情報に応じて提示内容を生成するようにしても良い。
以上説明したように、実施の形態1の情報提示装置によれば、階層構造の親ノードから子ノードへ各層の情報を提示した際の情報の階層構造において、各ノードの滞留時間を分析した結果に応じて、ユーザ毎かつ階層構造の情報毎かつ時間帯毎に興味度合を算出する興味度合算出部と、情報の提示を行うトリガとなる場所及び行動のうち少なくともいずれか一方をユーザ毎及び情報カテゴリ毎の実行トリガとして生成する実行トリガ生成部と、変数を有する文章テンプレートをノードに格納して、各ノードをエッジで接続したグラフ構造を生成し、ノード及びエッジの重みを設定し、ノード及びエッジのうち少なくとも一方の重みを更新するグラフ生成部と、情報提示を実行するかどうかを、実行トリガに基づき、ユーザの居場所、行動の何れかまたは両方を用いて判定する状況判定部と、グラフ生成部で構築したグラフ構造を用いて、時間帯に応じたユーザの興味度合及び外部情報を反映したノードとエッジの重みに基づき、いくつかのノードを抽出し、かつ、抽出したノードに変数が含まれる場合は変数に興味度合に対応した情報を埋め込んで、グラフ構造を用いた情報提示文を生成すると共に、生成した情報提示文に対応した画面構成を構築する提示内容生成部と、提示内容生成部で生成された情報提示文を用いて、音声または画面で提示する提示部とを備えたので、ユーザが興味を惹くような提示の仕方でそれぞれのユーザの行動に合わせてタイミング良く情報を提示することができる。
また、実施の形態1の情報提示装置によれば、状況判定部は、ユーザの今後予測される行動を含めて判定を行うようにしたので、ユーザにとってさらに有益となる情報提示を行うことができる。
また、実施の形態1の情報提示装置によれば、グラフ生成部は、文章テンプレートを用いてグラフ構造を初期構築する初期構築部と、外部からの情報を含めてノード及びエッジの重み付けを行う重み更新部とを備え、かつ、提示内容生成部は、生成した情報提示文に対応した画面構成を構築すると共に、外部からの情報を含めて情報提示文を提示内容として生成する情報提示文生成部と、情報提示文に対応した画面構成を構築する画面生成部とを備え、提示部は、提示内容生成部で構築された画面構成を用いて提示するようにしたので、ユーザの興味に合致した情報提示を行うことができる。
また、実施の形態1の情報提示装置によれば、グラフ構造は、導入部と本題と補足部の3層からなり、提示内容生成部は、情報の種類に応じてこれら3層のノードを組み合わせて提示内容を生成するようにしたので、ユーザにとって有益となる情報提示文を生成することができる。
また、実施の形態1の情報提示システムによれば、ユーザ毎の居場所と行動のうち少なくとも一方を検知する居場所行動検知装置と、居場所行動検知装置の検知結果を用いて情報を提示する情報提示装置とを備え、情報提示装置は、階層構造の親ノードから子ノードへ各層の情報を提示した際の情報の階層構造において、各ノードの滞留時間を分析した結果に応じて、ユーザ毎かつ階層構造の情報毎かつ時間帯毎に興味度合を算出する興味度合算出部と、情報の提示を行うトリガとなる場所及び行動のうち少なくともいずれか一方をユーザ毎及び情報カテゴリ毎の実行トリガとして生成する実行トリガ生成部と、変数を有する文章テンプレートをノードに格納して、各ノードをエッジで接続したグラフ構造を生成し、ノード及びエッジの重みを設定し、ノード及びエッジのうち少なくとも一方の重みを更新するグラフ生成部と、情報提示を実行するかどうかを、実行トリガに基づき、居場所行動検知装置で検知されたユーザの居場所、行動の何れかまたは両方を用いて判定する状況判定部と、グラフ生成部で構築したグラフ構造を用いて、時間帯に応じたユーザの興味度合及び外部情報を反映したノードとエッジの重みに基づき、いくつかのノードを抽出し、かつ、抽出したノードに変数が含まれる場合は変数に興味度合に対応した情報を埋め込んで、グラフ構造を用いた情報提示文を生成すると共に、生成した情報提示文に対応した画面構成を構築する提示内容生成部と、提示内容生成部で生成された情報提示文を用いて、音声または画面で提示する提示部とを備えたので、ユーザが興味を惹くような提示の仕方でそれぞれのユーザの行動に合わせてタイミング良く情報を提示することができる。
また、実施の形態1の情報提示システムによれば、ユーザ毎の居場所と行動のうち少なくとも一方を検知する居場所行動検知装置と、ユーザ毎の今後予測される行動を算出する行動予測装置と、居場所行動検知装置の検知結果と行動予測装置の算出結果を用いて情報を提示する情報提示装置とを備え、情報提示装置は、階層構造の親ノードから子ノードへ各層の情報を提示した際の情報の階層構造において、各ノードの滞留時間を分析した結果に応じて、ユーザ毎かつ階層構造の情報毎かつ時間帯毎に興味度合を算出する興味度合算出部と、情報の提示を行うトリガとなる場所及び行動のうち少なくともいずれか一方をユーザ毎及び情報カテゴリ毎の実行トリガとして生成する実行トリガ生成部と、変数を有する文章テンプレートをノードに格納して、各ノードをエッジで接続したグラフ構造を生成し、ノード及びエッジの重みを設定し、ノード及びエッジのうち少なくとも一方の重みを更新するグラフ生成部と、情報提示を実行するかどうかを、実行トリガに基づき、居場所行動検知装置で検知されたユーザの居場所、行動、行動予測装置で算出された今後予測される行動の何れかまたは両方を用いて判定する状況判定部と、グラフ生成部で構築したグラフ構造を用いて、時間帯に応じたユーザの興味度合及び外部情報を反映したノードとエッジの重みに基づき、いくつかのノードを抽出し、かつ、抽出したノードに変数が含まれる場合は変数に興味度合に対応した情報を埋め込んで、グラフ構造を用いた情報提示文を生成すると共に、生成した情報提示文に対応した画面構成を構築する提示内容生成部と、提示内容生成部で生成された情報提示文を用いて、音声または画面で提示する提示部とを備えたので、ユーザにとってさらに有益となる情報提示を行うことができる。
また、実施の形態1の情報提示システムによれば、グラフ生成部は、文章テンプレートを用いてグラフ構造を初期構築する初期構築部と、外部からの情報を含めてノード及びエッジの重み付けを行う重み更新部とを備え、かつ、提示内容生成部は、生成した情報提示文に対応した画面構成を構築すると共に、外部からの情報を含めて情報提示文を提示内容として生成する情報提示文生成部と、情報提示文に対応した画面構成を構築する画面生成部とを備え、提示部は、提示内容生成部で構築された前記画面構成を用いて提示するようにしたので、ユーザの興味に合致した情報提示を行うことができる。
また、実施の形態1の情報提示システムによれば、グラフ構造は、導入部と本題と補足部の3層からなり、提示内容生成部は、情報の種類に応じてこれら3層のノードを組み合わせて提示内容を生成するようにしたので、ユーザにとって有益となる情報提示文を生成することができる。
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形または実施の形態の任意の構成要素の省略が可能である。
以上のように、この発明に係る情報提示装置及び情報提示システムは、ユーザの興味度合とノードとエッジからなるグラフ構造を用いて情報提示を行う構成に関するものであり、宅内の住人に対して有益な情報提供を行うのに適している。
1 情報提示装置、2 情報提供装置、3 居場所行動検知装置、4 行動予測装置、5 ネットワーク、100 制御部、101 情報取得部、102 操作履歴記録部、103 操作ログ分析部、104 興味度合算出部、105 実行トリガ生成部、106 グラフ生成部、106a 初期構築部、106b 重み更新部、107 状況判定部、108 提示内容生成部、108a 情報提示文生成部、108b 画面生成部、109 提示部、200 記憶部、201 居場所及び行動ログ、202 ユーザ情報、203 行動及び部屋関連情報、204 テンプレート定義、205 情報提示文構成グラフ、206 情報構造、207 操作ログ、208 住居及び機器情報。
図6は、この発明の実施の形態1である情報提示装置1のハードウェア構成図である。
図示のように、情報提示装置1は、プロセッサ10、補助記憶装置11、メモリ12、通信装置13、入力装置14、表示装置15、音声出力装置16を備え、これらは通信路17によって相互に通信可能に接続されている。
プロセッサ10は、プロセッシングを行うIC(Integrated Circuit)であり、情報提示装置1の制御を司る機能部である。プロセッサは、CPU(Central Processing Unit)、DSP(digital signal processor),GPU(Graphics Processing Unit)等に相当する。補助記憶装置11は、例えば、ROM、フラッシュメモリ、HDD等に相当し、各種のデータを格納する機能部である。メモリ12は、例えばRAM等に相当し、データの一時記憶を行うと共に、プロセッサ10が処理を行う上での作業領域を構成する。通信装置13は、有線または無線LAN、Bluetooth(登録商標)等の通信手段を備え、情報提装置1と情報提供装置2〜行動予測装置4との間で通信を行う機能部である。入力装置14は、例えば、マウス、キーボード、タッチパネルといった住人が情報入力を行うための入力デバイスに相当する。表示装置15は、例えば、LCD(Liquid Crystal Display)等からなり、情報提示文を表示するための装置である。音声出力装置16は、例えばスピーカ等からなり、情報提示文を音声で出力する装置である。通信路17は、コンピュータにおける内部バスまたは表示装置15や音声出力装置16が別の部屋の情報提示端末として定義されている場合のケーブルに相当する。
買い物に関連する情報提示を実行するかどうかを判定する場合を例として説明する。情報カテゴリは買い物(外出)である。
実行トリガ生成部105において、或る住人(これを住人1とする)に対して、情報カテゴリ「買い物(外出)」に対する実行トリガとして「食事後のお皿洗い」が生成されているとする。この場合、情報取得部101が受信した現在の行動が「食事後のお皿洗い」である場合、上記(ア)の条件を満たしていることになる。(イ)はこの例の場合、「買い物(外出)」行動が今後の予測行動として受信されている場合に、(イ)を満たしていることとなる。
(ア)〜(イ)のすべてを満たす場合(ステップST603−Yes)にはステップST604に移行し、後述する提示内容生成部108の処理に移行する。
一方、ステップST602において、実行トリガが行動を含まない場合(ステップST602−No)、すなわち、実行トリガが居場所の場合はステップST605に移行し、ステップST605において、現在忙しい状況でないか(比較的のんびりしているかどうか)を判定する。判定方法としては、例えば、現在処理対象としている住人(この場合住人1)の居場所ログを参照し、現在の時刻から所定時間(例えば30分間)前の時間に部屋間を移動した回数(数aと表記)と、その時刻からさらに所定時間前の時間に部屋間を移動した回数(回数bと表記)を算出し、回数aが回数bよりも小さい場合に忙しい状況でないと判定する。
忙しい状況でない場合(ステップST605−Yes)は、ステップST604に移行し、後述する提示内容生成部108の処理に移行する。また、忙しい状況であった場合(ステップST605−No)はそのまま状況判定部107の処理を終了する。なお、上記のステップST601において、実行トリガ生成部105で生成された実行トリガに一致しない場合(ステップST601−No)と、ステップST603において、(ア)〜(イ)のすべては満たしていない場合(ステップST603−No)は、そのまま終了する。
上記では、行動判定条件として(ア)、(イ)の例を示したが、この他に、居場所が実行トリガとなる場合のように、忙しい状況でないかどうかを条件に含めても良い。また、その他の条件を含めても良い。
また、忙しい状況でないか(比較的のんびりしているかどうか)の判定方法として、居場所ログに基づき、部屋間の移動回数で判定する方法を示したが、判定方法は上記に限らない。

Claims (8)

  1. 階層構造の親ノードから子ノードへ各層の情報を提示した際の情報の階層構造において、各ノードの滞留時間を分析した結果に応じて、ユーザ毎かつ前記階層構造の情報毎かつ時間帯毎に興味度合を算出する興味度合算出部と、
    情報の提示を行うトリガとなる場所及び行動のうち少なくともいずれか一方をユーザ毎及び情報カテゴリ毎の実行トリガとして生成する実行トリガ生成部と、
    変数を有する文章テンプレートをノードに格納して、各ノードをエッジで接続したグラフ構造を生成し、前記ノード及び前記エッジの重みを設定し、前記ノード及び前記エッジのうち少なくとも一方の重みを更新するグラフ生成部と、
    情報提示を実行するかどうかを、実行トリガに基づき、ユーザの居場所、行動の何れかまたは両方を用いて判定する状況判定部と、
    前記グラフ生成部で構築したグラフ構造を用いて、時間帯に応じたユーザの興味度合及び外部情報を反映したノードとエッジの重みに基づき、いくつかのノードを抽出し、かつ、前記抽出したノードに変数が含まれる場合は当該変数に前記興味度合に対応した情報を埋め込んで、前記グラフ構造を用いた情報提示文を生成すると共に、当該生成した情報提示文に対応した画面構成を構築する提示内容生成部と、
    前記提示内容生成部で生成された情報提示文を用いて、音声または画面で提示する提示部とを備えたことを特徴とする情報提示装置。
  2. 前記状況判定部は、ユーザの今後予測される行動を含めて判定を行うことを特徴とする請求項1記載の情報提示装置。
  3. 前記グラフ生成部は、前記文章テンプレートを用いて前記グラフ構造を初期構築する初期構築部と、外部からの情報を含めて前記ノード及び前記エッジの重み付けを行う重み更新部とを備え、
    かつ、
    前記提示内容生成部は、前記生成した情報提示文に対応した画面構成を構築すると共に、外部からの情報を含めて情報提示文を前記提示内容として生成する情報提示文生成部と、前記情報提示文に対応した画面構成を構築する画面生成部とを備え、
    前記提示部は、前記提示内容生成部で構築された前記画面構成を用いて提示することを特徴とする請求項1または請求項2に記載の情報提示装置。
  4. 前記グラフ構造は、導入部と本題と補足部の3層からなり、
    前記提示内容生成部は、情報の種類に応じてこれら3層のノードを組み合わせて前記情報提示文を生成することを特徴とする請求項1または請求項2に記載の情報提示装置。
  5. ユーザ毎の居場所と行動のうち少なくとも一方を検知する居場所行動検知装置と、当該居場所行動検知装置の検知結果を用いて情報を提示する情報提示装置とを備え、
    前記情報提示装置は、
    階層構造の親ノードから子ノードへ各層の情報を提示した際の情報の階層構造において、各ノードの滞留時間を分析した結果に応じて、ユーザ毎かつ前記階層構造の情報毎かつ時間帯毎に興味度合を算出する興味度合算出部と、
    情報の提示を行うトリガとなる場所及び行動のうち少なくともいずれか一方をユーザ毎及び情報カテゴリ毎の実行トリガとして生成する実行トリガ生成部と、
    変数を有する文章テンプレートをノードに格納して、各ノードをエッジで接続したグラフ構造を生成し、前記ノード及び前記エッジの重みを設定し、前記ノード及び前記エッジのうち少なくとも一方の重みを更新するグラフ生成部と、
    情報提示を実行するかどうかを、実行トリガに基づき、前記居場所行動検知装置で検知されたユーザの居場所、行動の何れかまたは両方を用いて判定する状況判定部と、
    前記グラフ生成部で構築したグラフ構造を用いて、時間帯に応じたユーザの興味度合及び外部情報を反映したノードとエッジの重みに基づき、いくつかのノードを抽出し、かつ、前記抽出したノードに変数が含まれる場合は当該変数に前記興味度合に対応した情報を埋め込んで、前記グラフ構造を用いた情報提示文を生成すると共に、当該生成した情報提示文に対応した画面構成を構築する提示内容生成部と、
    前記提示内容生成部で生成された情報提示文を用いて、音声または画面で提示する提示部とを備えたことを特徴とする情報提示システム。
  6. ユーザ毎の居場所と行動のうち少なくとも一方を検知する居場所行動検知装置と、ユーザ毎の今後予測される行動を算出する行動予測装置と、前記居場所行動検知装置の検知結果と前記行動予測装置の算出結果を用いて情報を提示する情報提示装置とを備え、
    前記情報提示装置は、
    階層構造の親ノードから子ノードへ各層の情報を提示した際の情報の階層構造において、各ノードの滞留時間を分析した結果に応じて、ユーザ毎かつ前記階層構造の情報毎かつ時間帯毎に興味度合を算出する興味度合算出部と、
    情報の提示を行うトリガとなる場所及び行動のうち少なくともいずれか一方をユーザ毎及び情報カテゴリ毎の実行トリガとして生成する実行トリガ生成部と、
    変数を有する文章テンプレートをノードに格納して、各ノードをエッジで接続したグラフ構造を生成し、前記ノード及び前記エッジの重みを設定し、前記ノード及び前記エッジのうち少なくとも一方の重みを更新するグラフ生成部と、
    情報提示を実行するかどうかを、実行トリガに基づき、前記居場所行動検知装置で検知されたユーザの居場所、行動、前記行動予測装置で算出された今後予測される行動の何れかまたは両方を用いて判定する状況判定部と、
    前記グラフ生成部で構築したグラフ構造を用いて、時間帯に応じたユーザの興味度合及び外部情報を反映したノードとエッジの重みに基づき、いくつかのノードを抽出し、かつ、前記抽出したノードに変数が含まれる場合は当該変数に前記興味度合に対応した情報を埋め込んで、前記グラフ構造を用いた情報提示文を生成すると共に、当該生成した情報提示文に対応した画面構成を構築する提示内容生成部と、
    前記提示内容生成部で生成された情報提示文を用いて、音声または画面で提示する提示部とを備えたことを特徴とする情報提示システム。
  7. 前記グラフ生成部は、文章テンプレートを用いて前記グラフ構造を初期構築する初期構築部と、外部からの情報を含めて前記ノード及び前記エッジの重み付けを行う重み更新部とを備え、
    かつ、
    前記提示内容生成部は、前記生成した情報提示文に対応した画面構成を構築すると共に、外部からの情報を含めて情報提示文を前記提示内容として生成する情報提示文生成部と、前記情報提示文に対応した画面構成を構築する画面生成部とを備え、
    前記提示部は、前記提示内容生成部で構築された前記画面構成を用いて提示することを特徴とする請求項5または請求項6に記載の情報提示システム。
  8. 前記グラフ構造は、導入部と本題と補足部の3層からなり、
    前記提示内容生成部は、情報の種類に応じてこれら3層のノードを組み合わせて提示内容を生成することを特徴とする請求項5または請求項6に記載の情報提示システム。
JP2019567794A 2018-01-26 2018-01-26 情報提示装置及び情報提示システム Active JP6701462B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/002553 WO2019146084A1 (ja) 2018-01-26 2018-01-26 情報提示装置及び情報提示システム

Publications (2)

Publication Number Publication Date
JP6701462B2 JP6701462B2 (ja) 2020-05-27
JPWO2019146084A1 true JPWO2019146084A1 (ja) 2020-05-28

Family

ID=67395940

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019567794A Active JP6701462B2 (ja) 2018-01-26 2018-01-26 情報提示装置及び情報提示システム

Country Status (5)

Country Link
US (1) US20200349198A1 (ja)
JP (1) JP6701462B2 (ja)
CN (1) CN111630552A (ja)
DE (1) DE112018006583T5 (ja)
WO (1) WO2019146084A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102257403B1 (ko) * 2020-01-06 2021-05-27 주식회사 에스앤피랩 개인정보 관리 장치, 개인정보 관리 시스템, 그 개인정보 관리 방법, 및 이를 기록한 컴퓨터 판독가능 기록매체

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07129593A (ja) * 1993-09-08 1995-05-19 Toshiba Corp テキスト選定装置
JP2004272355A (ja) * 2003-03-05 2004-09-30 Seiko Epson Corp 情報提示方法および情報提示システムならびに情報提示処理プログラム
JP2011150462A (ja) * 2010-01-20 2011-08-04 Nec Corp 広告配信システム、広告配信装置、広告配信方法およびプログラム
JP2015049637A (ja) * 2013-08-30 2015-03-16 日本放送協会 興味内容推定装置及び興味内容推定プログラム
JP2017033482A (ja) * 2015-08-06 2017-02-09 三菱電機株式会社 情報出力装置及び情報出力方法及び情報出力プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07129593A (ja) * 1993-09-08 1995-05-19 Toshiba Corp テキスト選定装置
JP2004272355A (ja) * 2003-03-05 2004-09-30 Seiko Epson Corp 情報提示方法および情報提示システムならびに情報提示処理プログラム
JP2011150462A (ja) * 2010-01-20 2011-08-04 Nec Corp 広告配信システム、広告配信装置、広告配信方法およびプログラム
JP2015049637A (ja) * 2013-08-30 2015-03-16 日本放送協会 興味内容推定装置及び興味内容推定プログラム
JP2017033482A (ja) * 2015-08-06 2017-02-09 三菱電機株式会社 情報出力装置及び情報出力方法及び情報出力プログラム

Also Published As

Publication number Publication date
DE112018006583T5 (de) 2020-11-05
JP6701462B2 (ja) 2020-05-27
WO2019146084A1 (ja) 2019-08-01
CN111630552A (zh) 2020-09-04
US20200349198A1 (en) 2020-11-05

Similar Documents

Publication Publication Date Title
US11424947B2 (en) Grouping electronic devices to coordinate action based on context awareness
JP6452571B2 (ja) 情報出力装置及び情報出力方法及び情報出力プログラム
JP2009020760A (ja) ユーザインターフェース方法、表示装置、および、ユーザインターフェースシステム
US11568003B2 (en) Refined search with machine learning
CN112596694B (zh) 一种房源信息的处理方法和装置
JP2002251233A (ja) 動的コンテキストを管理する方法及びシステム
US20190042188A1 (en) Information processing device, information processing method, and program
US20230044403A1 (en) Inferring semantic label(s) for assistant device(s) based on device-specific signal(s)
CN112995684A (zh) 一种直播间的数据处理方法和装置
JP6701462B2 (ja) 情報提示装置及び情報提示システム
JP2020057026A (ja) 住空間提案システムおよび住空間提案方法
JP7019984B2 (ja) 情報提示システム、情報提示方法及びプログラム
JP2017162275A (ja) 情報処理装置、情報処理方法及びプログラム
JP2014157542A (ja) 端末装置および装置のプログラム
JP2018180030A (ja) 操作装置および操作方法
CN112861007A (zh) 屏保的显示方法、装置、设备、介质及程序产品
JP6400034B2 (ja) 嗜好推定装置、嗜好推定方法及び嗜好推定プログラム
Chi et al. Visual and auditory icons for intelligent building
KR102544081B1 (ko) 인테리어 시뮬레이션 및 견적 서비스 제공 시스템 및 방법
KR102659585B1 (ko) 실내 공간 내 맞춤형 난간 벽 추천 방법
US11430423B1 (en) Method for automatically translating raw data into real human voiced audio content
US11741954B2 (en) Method and voice assistance apparatus for providing an intelligence response
JP2019046101A (ja) 対話制御装置、対話制御方法及び対話制御プログラム
WO2020195388A1 (ja) 情報通知システム及び情報通知方法
Sharma et al. Voodoo—The Magic Mirror

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200226

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200226

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200501

R150 Certificate of patent or registration of utility model

Ref document number: 6701462

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250