JP6729571B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP6729571B2
JP6729571B2 JP2017523130A JP2017523130A JP6729571B2 JP 6729571 B2 JP6729571 B2 JP 6729571B2 JP 2017523130 A JP2017523130 A JP 2017523130A JP 2017523130 A JP2017523130 A JP 2017523130A JP 6729571 B2 JP6729571 B2 JP 6729571B2
Authority
JP
Japan
Prior art keywords
topic
user
information
behavior
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017523130A
Other languages
English (en)
Other versions
JPWO2016199464A1 (ja
Inventor
小形 崇
崇 小形
正範 勝
正範 勝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016199464A1 publication Critical patent/JPWO2016199464A1/ja
Application granted granted Critical
Publication of JP6729571B2 publication Critical patent/JP6729571B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1815Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/335Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9035Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。
友人や知り合いとの会話やパーティ等で初対面の相手とアイスブレイクする場合において、話題に困ることがある。これは、話し相手との適切な話題を選択する手段や手がかりがないことによる。
ユーザに楽しく自然な会話を提供する技術として、例えば特許文献1には、データベースから提供された話題となる情報について、ユーザの趣向に関するデータによりフィルタリングし、残った情報をユーザとの会話に利用させる会話処理装置が開示されている。
特開2001−188787号公報
しかし、上記特許文献1のように話し相手の興味の趣向に沿って話題を提示したとしても、話題を提示する当人が当該話題に興味がなかったり知らなかったりすると会話の継続は難しい。
そこで、本開示では、話題を提示するユーザの行動を考慮して、話題を適切に提示することが可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提案する。
本開示によれば、ユーザのある行動と、行動に関する比較情報との比較結果に基づいて、話し相手との話題を生成する話題生成部と、生成された話題からユーザに提案する話題候補を決定する話題提案部と、を備える、情報処理装置が提供される。
また、本開示によれば、プロセッサにより、ユーザのある行動と、行動に関する比較情報との比較結果に基づいて、話し相手との話題を生成すること、生成された話題からユーザに提案する話題候補を決定すること、とを含む、情報処理方法が提供される。
さらに、本開示によれば、コンピュータを、ユーザのある行動と、行動に関する比較情報との比較結果に基づいて、話し相手との話題を生成する話題生成部と、生成された話題からユーザに提案する話題候補を決定する話題提案部と、を備える、情報処理装置として機能させるプログラムが提供される。
以上説明したように本開示によれば、話題を提示するユーザの行動を考慮して、話題を適切に提示することができる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る話題提供システムの概要を示す説明図である。 同実施形態に係る情報処理装置の機能構成を示す機能ブロック図である。 同実施形態に係る話題提供システムを用いた話題提供方法を示すフローチャートである。 ユーザの行動ログの比較を説明する説明図である。 ユーザの過去の行動傾向と直近行動とのずれから話題性のある行動を抽出する例を示す説明図である。 ユーザの行動傾向の変化から話題性のある行動を抽出する例を示す説明図である。 ユーザの過去の行動傾向において、ある区間で過去及び直近の行動傾向と異なる行動傾向を抽出する例を示す説明図である。 ユーザ間で共通する行動の頻度の差分から話題性のある行動を抽出する例を示す説明図である。 ユーザ間で共通する行動に関する情報のずれから話題性のある行動を抽出する例を示す説明図である。 ユーザ間で共通する行動に関する情報のずれから話題性のある行動を抽出する他の例を示す説明図である。 ユーザ間で共通する行動の行動傾向の世間とのずれから話題を抽出する例を示す説明図である。 ユーザの行動認識結果として得られる、「滞留位置」及び「滞留位置間の遷移」を説明する説明図である。 滞留位置及び行動認識結果からユーザのその滞留位置での目的を表すプロファイルを生成する処理を説明する説明図である。 図13のプロファイル生成処理により取得されたユーザ行動情報テーブルの一例を示す説明図である。 滞留位置及び行動認識結果から生成されたユーザAのプロファイル例を示す説明図である。 滞留位置及び行動認識結果から生成されたユーザBのプロファイル例を示す説明図である。 滞留位置及び行動認識結果から生成されたユーザCのプロファイル例を示す説明図である。 アプリ起動履歴と行動認識結果とから生成されたプロファイルの一例を示す説明図である。 プロファイルのマッチングにより提示する話題を決定する処理を説明する説明図である。 ユーザ同士の親密度と開示情報との関係を示す説明図である。 ユーザ間の会話コミュニケーションのプロセスの概念図である。 コミュニケーションの場と当該コミュニケーションへの参加者との概念を示す概念図である。 同実施形態に係る話題選択方法を示すフローチャートである。 話題に対する期待度の分布例を示す説明図である。 話題の投入と盛り上がり度との一関係例を示す説明図である。 話題提供システムによるサポートの程度を説明するための説明図である。 コミュニケーションの場のシチュエーションの状態分類を説明するモデル図である。 具体的なシチュエーションの例を示す説明図である。 シチュエーションに応じた話題の方向性の例を示す説明図である。 グラス型ウェアラブル端末の表示パネルによる話題の提示例を示す説明図である。 プロジェクタによりテーブルトップにトピックカードとして話題を提示する例を示す説明図である。 盛り上がり度の変化を提示する例を示す説明図である。 矢印によって話題を提示する方法を示す説明図である。 話し相手ごとに話題を表示させる提示方法を示す説明図である。 他のユーザの動きに応じて話題を隠す表示演出の一例を示す説明図である。 本開示の実施形態に係る情報処理装置のハードウェア構成を示すハードウェア構成図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.概要
2.機能構成
3.話題提供方法
3.1.話題生成処理
3.2.話題提案処理
3.3.話題提示処理
4.まとめ
5.ハードウェア構成
6.補足
<1.概要>
まず、図1を参照して、本開示の一実施形態に係る話題提供システム1の概要について説明する。図1は、本実施形態に係る話題提供システム1の概要を示す説明図である。
本実施形態に係る話題提供システム1は、図1に示すように、サーバ10を介して会話するユーザに話題を提供するシステムである。サーバ10は、各ユーザの行動に関する情報を取得することが可能であり、各ユーザの行動に関する情報に基づき適切な話題を生成し、提供する。したがって、例えば、図1に示すユーザAとユーザBとが初対面であったり、当日同じイベントに参加した程度の、お互いのことをよく知らない交流関係であったりした場合にも、サーバ10はユーザA、Bの行動に基づき適切な話題を各ユーザに提供できる。
なお、サーバ10は、他のサーバや各ユーザの所持する各種端末等により、ユーザの行動に関する情報を取得することが可能なものとする。ユーザの行動に関する情報としては、時刻情報、位置情報等の各種センシング技術を用いて取得されたセンサ情報や、センサ情報を解析して認識されたユーザの動作行動情報等がある。
本実施形態に係る話題提供システム1において話題を提供するための情報処理装置として機能するサーバ10では、ユーザのある行動と、その行動に関する比較情報との比較結果に基づいて、話し相手との話題を生成する。そして、サーバ10は、生成した話題から適切な話題を抽出し、ユーザに提案する話題候補を決定する。以下、本実施形態に係る話題提供システム1の構成とその機能について、詳細に説明していく。
<2.機能構成>
まず、図2に基づいて、本実施形態に係る話題提供システム1において話題を提供するための処理を行う情報処理装置100の機能構成を説明する。図2は、本実施形態に係る情報処理装置100の機能構成を示す機能ブロック図である。
本実施形態において、情報処理装置100は、サーバ10に備えられている。情報処理装置100は、図2に示すように、話題生成部110と、話題提案部120と、話題提示処理部130とを備える。
(話題生成部)
話題生成部110は、会話をしているユーザの行動に関する情報に基づいて、話し相手との話題を生成する。話題生成部110は、会話をしているユーザの行動に関する情報を取得して、自分では気づいていない行動の変化や他人とのずれ等から、話題となる情報を抽出し、話題候補とする。話題生成部110は、例えば、図2に示すように、自己行動分析部112と、共通行動分析部114と、プロファイル分析部116を有する。
自己行動分析部112は、話題を提示しようとするユーザの行動を分析して、当該ユーザの特徴的な行動傾向や行動の変化等を抽出し、話題とする。自己行動分析部112は、例えば当該ユーザのみの過去の行動ログから趣味、傾向、嗜好等を表すプロファイルを抽出したり、当該ユーザのみの過去の行動ログと直近の行動ログとのずれを抽出したりする。
共通行動分析部114は、会話する各ユーザがともに行ったことのある共通行動を分析して、各ユーザの行動の共通点やずれ等を抽出し、話題とする。共通行動分析部114は、例えば各ユーザのプロファイルの重なりを比較したり、話し相手が頻繁に行う行動に対して話題を提示しようとするユーザのずれた行動を抽出したりする。
プロファイル分析部116は、各ユーザのプロファイルを生成し、生成したプロファイルをマッチングして話題を生成する。プロファイル分析部116は、例えば、センサ情報として取得された時系列の位置情報からユーザの滞留位置や滞留位置間の遷移を分析し、ユーザの趣味、傾向、嗜好等を表すプロファイルを生成する。この際、別途行動認識技術により認識されたユーザの行動認識結果を考慮してもよい。プロファイル分析部116は、生成したプロファイルを用いて、会話する各ユーザのプロファイルのマッチングを行い、共通する話題を生成する。
話題生成部110は、自己行動分析部112、共通行動分析部114、プロファイル分析部116のうち少なくともいずれか1つを機能させて話題を生成してもよい。話題生成部110は、生成した話題を話題提案部120へ出力する。
(話題提案部)
話題提案部120は、生成された話題から会話を行っている場に適した話題を抽出し、ユーザに話題候補として提案するための処理を行う。話題提案部120は、図2に示すように、例えば、盛り上がり度算出部122と、話題抽出部124と、期待度算出部126とを有する。
盛り上がり度算出部122は、ユーザと話し相手とにより形成されるコミュニケーションの場の盛り上がり度を算出する。盛り上がり度算出部122は、例えば、ユーザの発話に対する話し相手の反応に関する評価関数に基づいて、盛り上がり度を算出してもよい。盛り上がり度算出部122は、算出した盛り上がり度を話題抽出部124へ出力する。
話題抽出部124は、話題生成部110により生成された話題から、盛り上がり度に応じた話題を抽出する。話題抽出部124は、例えば、投入された話題によってコミュニケーションの場が盛り上がったときには、話題候補に、今回投入した話題に関連する関連情報を増やす。一方、投入された話題によってコミュニケーションの場が盛り上がらなかったときには、話題候補に、今回投入した話題と異なる新規の話題を増やす。また、話題抽出部124は、ユーザと話し相手とが会話するシチュエーションに応じて決定される状態情報に基づいて、話題生成部110により生成された各話題に重み付けを行い、より適切な話題が話題候補として抽出されるようにしてもよい。
話題抽出部124により抽出された話題は、ユーザに提案する話題候補として、話題提示処理部130へ出力される。また、抽出された話題は、必要に応じて期待度算出部126へ出力される。
期待度算出部126は、話題候補として抽出された各話題について、話題投入によりコミュニケーションの場が盛り上がる期待度を算出する。期待度は、話題を投入することにより予測される場の盛り上がりを確率変数的に表した予測効果値である。期待度算出部126は、各話題について期待度を算出し、話題提示処理部130へ出力する。
(話題提示処理部)
話題提示処理部130は、話題提案部120により抽出された話題候補をユーザに提示するための処理を行う。話題提示処理部130は、ユーザと話し相手とが会話しているシチュエーションにより、話題の提示の仕方を変化させてもよい。例えば、周囲に気付かれないように話題を提供する場合には、提供しようとするユーザのみにさりげなく話題を提示するようにしてもよい。あるいは、話題を提示することも場を盛り上げるエンターテインメント要素とする場合には、会話に参加している各ユーザに話題を提示するようにしてもよい。話題提示処理部130は、話題候補をユーザに提示する機器にて提示可能なように所定の処理を行い、各機器へ出力する。
以上、本実施形態に係る情報処理装置100の機能構成について説明した。
<3.話題提供方法>
以下、本実施形態に係る話題提供システム1を用いた話題提供方法について、図3に沿って説明する。図3は、本実施形態に係る話題提供システム1を用いた話題提供方法を示すフローチャートである。
[3.1.話題生成処理]
図3に示すように、本実施形態に係る話題提供システム1は、まず、話題生成部110により、ユーザに提示する話題を生成する処理を行う(S110)。本実施形態に係る話題提供システム1では、会話をしているユーザの行動に関する情報に基づいて、話し相手との話題を生成する。話題生成部110は、会話をしているユーザの行動に関する情報を取得して、自分では気づいていない行動の変化や他人とのずれ等から、話題となる情報を抽出し、話題候補とする。
ユーザの行動に関する情報を用いて話題を生成する方法としては、例えば以下の方法がある。
(1)自己の行動に関する情報から話題を生成
(2)ユーザ間に共通する共通行動に関する行動から話題を生成
(3)各ユーザのプロファイルをマッチングすることにより話題を生成
以下、各方法について詳細に説明していく。
(1)自己行動分析による話題生成
まず、図4〜図7に基づいて、話題を提供しようとするユーザの行動に関する情報のみを用いて話題を生成する方法を説明する。図4は、ユーザの行動ログの比較を説明する説明図である。図5は、ユーザの過去の行動傾向と直近行動とのずれから話題性のある行動を抽出する例を示す説明図である。図6は、ユーザの行動傾向の変化から話題性のある行動を抽出する例を示す説明図である。図7は、ユーザの過去の行動傾向において、ある区間で過去及び直近の行動傾向と異なる行動傾向を抽出する例を示す説明図である。
自己行動分析による話題生成は、自己行動分析部112により、話題を提供しようとするユーザの行動に関する情報のみを用いて行われる。例えば、ユーザの行動に関する情報として、センサ情報を解析して認識されたユーザの動作行動を時系列に表した行動ログを用いる。例えば、図4上側に示すようなある日のユーザの行動内容を示す行動ログを考える。ユーザの自己行動の分析は、このような行動ログにおける一部の区間におけるデータと他の区間におけるデータとを比較することで行われる。
例えば、図4上側に示す現時点から所定の時間だけ遡った区間での行動を、直近の行動とする。このとき、例えば、図4中央に示すように、同日の直近の行動の区間よりも過去の区間の行動と直近の行動とを比較して、ユーザの行動の傾向や変化を判定してもよい(比較1)。あるいは、例えば、図4下側に示すように、前日の同一区間における行動と直近の行動とを比較して、ユーザの行動の傾向や変化を判定してもよい(比較2)。
そして、自己行動分析部112は、話題となりそうな行動の傾向や変化を抽出するために、行動ログの異なる区間の行動を比較した結果を抽象化する。行動比較結果を抽象化した行動特徴としては、例えば以下のようなものが考えられる。
頻度:e.g.さっきから頻繁に歩いていた
継続:e.g.さっきからずっと歩き続けていた
間隔:e.g.さっき歩いたときからしばらく経って、また歩いた
差分:e.g.今回は前回までと比べて、電車に乗った時間が遅い
合計:e.g.ある時間帯より、今の時間帯の方がよく歩いている
突出:e.g.ここ最近に比べて今の時間帯は色々やっている
類似:e.g.今の時間帯のパターンは前回と同じだ
変化:e.g.最近よく走るようになった
周期:e.g.毎年春になると走っている
上記特徴行動のうち、話題になりそうなものとしては、「突出」、「変化」、「差分」等がある。つまり、ユーザの直近の行動と過去の行動とに相違がある場合、話の内容となり易い。
・突出
具体的に説明すると、まず、「突出」という行動特徴からは、自己の過去の行動傾向に対する直近行動のずれを抽出することができる。例えば、図5上側に示すように、ユーザがある滞留位置に到着するまでの行動について、普段は電車と歩きにより滞留位置に到着することが多いのに、直近の行動では電車と走りにより滞留位置に到着したことが検出されたとする。所定の時間帯かつ所定の位置での普段の行動の頻度あるいは回数について確率分布を作成すると、例えば図5下側のような正規分布となる。この分布において、中央の所定の範囲の行動は、その行動は頻繁に行われるものであり、話題にはならない日常的範囲の行動といえる。一方、日常的範囲外の行動は、普段とは異なる非日常的範囲の行動といえる。
このように、ある行動に関するユーザの日常的な行動に対して直近の行動が非日常的な行動である場合、何かしら話題性のあることが発生した可能性があると推測される。図5に示した例では、電車の遅延や寝坊等が発生したことにより、直近の行動が普段の行動と異なるものとなったと推測される。
・変化
次に、「変化」という行動特徴からは、自己の過去の行動傾向からの直近行動の変化の傾向を抽出することができる。例えば、ユーザのジョギングという行動について、徐々に長時間走るようになっているとき、所定の期間毎(例えば3か月単位)にユーザの一日あたりの走行時間の分布をみると、図6下側に示すように分布が徐々に右側へ移動していることがわかる。
図6に示した各期間の分布は、比較情報であるユーザの生涯での分布と比較すると、各分布の平均値は生涯での分布の標準範囲内にあり、値自体が比較情報から外れるものではない。しかし、このような行動の変化の傾向は話題となり易い。例えば、走りに関する話題があがったとき、ジョギングの時間が長くなってきているという行動の変化の傾向がある場合にはこれを話題としてもよい。
・差分(過去の突出)
また、「差分」という行動特徴からは、自己の過去のある区間における行動傾向が、過去の他の区間及び直近の行動傾向と異なることを抽出することができる。これは、過去における「突出」という行動特徴ともいえる。例えば、図7に示すように、ユーザのジョギングという行動について、生涯を通しての行動傾向と直近行動とはほぼ相違ないが、過去のある期間(例えば高校時代)には生涯での分布の標準範囲を超える行動傾向があった場合等がこの行動特徴に該当する。この例では、生涯を通しての行動傾向が比較情報となる。このように、全体において一部のみが突出して他と異なる行動をとっていたことを抽出し、話題としてもよい。
なお、比較情報は、生涯を通しての行動傾向以外の情報であってもよく、当該比較情報と比較する行動傾向の区間よりも十分に長い期間のユーザの行動から認識された行動傾向を用いてもよい。また、比較情報と比較する過去の区間は、必ずしも同一の時間長でなくともよく、例えばライフステージによって区分すると、話題として提供しやすい。例えば幼年時代、小学校時代、中学校時代、高校時代、大学時代、社会人になってからの期間等というような区間や、転勤や結婚等といったイベントを区切りとして区間を設定してもよい。
以上のように、ユーザの行動ログにおける一部の区間におけるデータと他の区間におけるデータとを比較し、ユーザの直近の行動と過去の行動とに相違がある場合、自己行動分析部112は、話題となり易い内容として抽出する。
(2)共通行動分析による話題生成
次に、図8〜図11に基づいて、ユーザ間で共通する行動に関する情報を用いて話題を生成する方法を説明する。図8は、ユーザ間で共通する行動の頻度の差分から話題性のある行動を抽出する例を示す説明図である。図9は、ユーザ間で共通する行動に関する情報のずれから話題性のある行動を抽出する例を示す説明図である。図10は、ユーザ間で共通する行動に関する情報のずれから話題性のある行動を抽出する他の例を示す説明図である。図11は、ユーザ間で共通する行動の行動傾向の世間とのずれから話題を抽出する例を示す説明図である。
上述した自己の行動に関する情報から話題を生成する方法では、例えば、話し相手が提供した話題に対する返答等として使用し易い話題を生成することができる。一方で、自己行動分析による話題生成においては話し相手の行動に関する情報が考慮されていないため、話題にした行動について話し相手も行ったことがあったり興味が合ったりする場合には話題は展開するが、そうでない場合には話題は流れていく。そこで、ユーザと話し相手とが行ったことのある共通行動を探ることで、より相手が興味を示す話題を生成することができる。このような共通行動分析による話題生成は、共通行動分析部114により行われる。
・共通行動の頻度の差分
共通行動分析により話題を生成する具体的な方法として、例えば、ユーザ間で共通する行動の頻度の差分から話題性のある行動を抽出する方法がある。例えば、会話するユーザがともに複合施設Mへ行ったことがある場合に、複合施設Mに行く頻度に差があることを話題にすることができる。一例として、図8下側に示すように、世代や所属等でまとめられたある集団において直近1年の間に複合施設Mに行った回数が、大多数は5回以下であったとする。ここで、話題を提供するユーザが複合施設Mに先日初めて行った場合、このユーザは大多数に含まれるが、話し相手は月2、3回複合施設Mに行っている場合、この話し相手は少数側に含まれる。このように、複合施設Mに行く頻度に差がある場合、その頻度の差に関することを話題にしてもよい。
ここで、ユーザの行動の頻度は、その行動に対する当該ユーザの得意さや興味・関心の強さと関連している。これより、話題を提供するユーザよりも話し相手の方が行っている頻度の高い行動を話題として生成するのがよい。すなわち、共通行動分析部114は、話し相手の得意分野の話題を振るように話題を生成する。仮に、話題を提供するユーザの方が話し相手よりも行っている頻度の高い行動を話題として振ってしまうと、話し相手に知識をひけらかすみたいになるため、このような行動については場を盛り上げるための話題としては控えた方がよい。
行動の頻度の差分から話題を生成する場合においては、会話するユーザと話し相手とが、共にその行動をとっているということが重要となる。たとえ、話題にする内容が話し相手の得意分野であったとしても、話題を提示するユーザ自身がその内容に興味や関心がなく、ましてや行ったこともなければ、その後の会話は盛り上がり難く、話題提供システム1がユーザへ提供する話題としては適切ではない。
・共通行動に関する下位情報の差分
共通行動分析により話題を生成する他の方法として、会話するユーザ間の共通行動に関する下位情報の差分を利用した話題の生成もある。例えば、図9下側に示すように、世代や所属等でまとめられたある集団において、ある時間帯に複合施設Mで行った行動をみたとき、多くの人は買い物をしていることがわかったとする。話し相手も、大多数の人と同様、複合施設Mでは買い物をしている。ここで、話題を提供するユーザも通常は買い物で複合施設Mに行くが、研修を受けに複合施設Mに行った場合、複合施設Mに行く目的が通常とは異なっていたことを話題としてもよい。
この場合にも、会話するユーザと話し相手とが、共にその行動をとっているということが重要となる。例えば、話し相手が複合施設Mに行ったことがなければ、ユーザが買い物ではなく研修を受けに複合施設Mに行ったことを話題にしても、話し相手は複合施設Mが研修施設だと思うだけである。このように、会話するユーザ間の共通行動についてその行動傾向の相違を抽出することで、互いに興味のある内容を話題とすることができる。
また、行動の目的の相違以外にも、例えば、ある滞留位置までの移動手段の相違も話題生成に利用することができる。例えば、ユーザも話し相手も北海道へ観光に行ったことがあるときに、北海道までの移動手段が異なるような場合、その移動手段の意外性を話題としてもよい。このとき、図10下側に示すような、ある集団での北海道への移動手段の分布から、半数以上の人が飛行機を利用して北海道へ移動している。話し相手も飛行機を利用して北海道へ移動している。一方、話題を提供するユーザはフェリーを利用して北海道へ移動した場合、その移動手段の相違を話題としてもよい。
この場合も、会話するユーザと話し相手とが大枠では同じ経験をしていることが重要となる。例えば、話し相手が北海道へ行ったことがない場合に「フェリーで北海道に行った」という話題を提供しても、「北海道」と「フェリー」という2つの新規情報を話し相手に同時に与えてしまい、会話のきっかけとしては適していない可能性がある。このような場合には、まず、話し相手に「北海道へ行った」という話題を提示し、話し相手が興味を示した場合のみ「フェリーで移動した」という話に展開するように、段階的に情報を提示するのがよい。
・世間からのずれ
共通行動分析により話題を生成する他の方法として、例えば、ユーザ間で共通する行動の世間からのずれを抽出する方法がある。すなわち、会話するユーザが共に世間から外れた行動傾向があるような場合である。例えば、会話するユーザがともに競技自転車をやっている場合、日常の移動で自転車を利用するような一般的な人とは自転車利用時間が大きく異なる。例えば図11下側に示すような、世代や所属等でまとめられたある集団において1日あたりの自転車利用時間の分布において、自転車利用時間がある時間以下であるのが大多数であるとする。このとき、会話するユーザの自転車利用時間は共に大多数の人の時間よりもはるかに多く、少数側であるとき、この行動傾向の世間との相違を話題としてもよい。
この場合では、会話しているユーザと話し相手とに共通する共通行動に関し、それぞれ得意分野であったり興味・関心の強い内容であったりする。したがって、話題を提供するユーザに提示される話題は、相手の様子をうかがうような探り探りの話題ではなく、いきなり核心となる深い話題であってもよい。このように、ユーザ間で共通する行動が世間からずれている場合には、その行動に関する核心的な深い話題を提供するユーザに提示することで、ユーザと話し相手との間にある種の連帯感を生じさせ、会話を盛り上げることが可能となる。
(3)プロファイルのマッチングによる話題生成
次に、会話をするユーザのプロファイルに基づき話題を生成する方法を説明する。本実施形態に係るプロファイルの生成においては、時系列な位置情報と、行動認識結果とを用いる。
図12は、ユーザの行動認識結果として得られる、「滞留位置」及び「滞留位置間の遷移」を説明する説明図である。時系列な位置情報からは、図12に示す“滞留1”、“滞留2”等の「滞留位置」と、“滞留1から滞留2への遷移”というような「滞留位置間の遷移」とを区別することができる。この位置に関する情報を用いて、ユーザの趣味、傾向、嗜好等を表すプロファイルを生成することができる。例えば、「滞留位置」及び行動認識結果から、その人がその位置に来た目的、趣味嗜好を詳細に知ることができる。また、例えば、「滞留位置間の遷移」における移動手段の履歴から、その人の行動傾向を知ることもできる。
プロファイル分析部116は、このようなユーザの趣味、傾向、嗜好等を表すプロファイルを生成し、生成したプロファイルを用いて、会話する各ユーザのプロファイルのマッチングを行い、共通する話題を生成する。
a)プロファイル生成処理
まず、図13〜図18に基づいて、プロファイル生成処理について詳細に説明する。なお、図13は、滞留位置及び行動認識結果からユーザのその滞留位置での目的を表すプロファイルを生成する処理を説明する説明図である。図14は、図13のプロファイル生成処理により取得されたユーザ行動情報テーブル142の一例を示す説明図である。図15〜図17は、滞留位置及び行動認識結果から生成されたユーザのプロファイル例を示す説明図である。図18は、アプリ起動履歴と行動認識結果とから生成されたプロファイルの一例を示す説明図である。
・滞留位置と行動認識結果とに基づくプロファイル生成
プロファイルは、例えば滞留位置と行動認識結果とに基づき生成することができる。滞留位置と行動認識結果とに基づくプロファイル生成処理では、図13に示すように、まず、ユーザの位置情報である緯度経度を場所名情報と場所カテゴリとに変換する。場所名は、地名や施設名等の名称であり、場所カテゴリは、場所のジャンルを表す情報である。
プロファイル分析部116は、緯度経度と場所名及び場所カテゴリとの対応関係を保持する場所DB(図示せず。)を参照し、緯度経度に基づく場所名変換処理及び場所カテゴリ変換処理を行う。場所DBは、情報処理装置100を備えるサーバ10内に設けられていてもよく、情報処理装置100と通信可能に接続された外部のサーバに設けられていてもよい。プロファイル分析部116は、取得した場所名及び場所カテゴリを、ユーザ行動情報としてプロファイルDB140に記録する。
また、プロファイル分析部116は、センサ情報を用いて行動認識処理を行い得られた行動認識結果をユーザの行動として取得する。これにより、例えば、歩きや走り等のユーザの行動が取得される行動認識処理は、各種センシング技術を用いて取得されたセンサ情報からユーザの動作行動を認識する技術を用いて行われる。行動認識処理は、情報処理装置100を備えるサーバ10内で行われてもよく、情報処理装置100と通信可能に接続された外部のサーバにて行われてもよい。プロファイル分析部116は、取得した行動認識結果をユーザの行動としてプロファイルDB140に記録する。
場所名、場所カテゴリ及びユーザの行動情報を取得すると、プロファイル分析部116は、これらの情報に基づいてプロファイルを生成する。プロファイル分析部116は、ユーザがその場所でどのような動きをしているかによって、その場所でのユーザの目的をプロファイルとして取得する。また、予め設定されたプロファイルとプロファイルカテゴリとの関係に基づき、プロファイルが属するプロファイルカテゴリを特定する。
ここで、図14に、プロファイルDB140に記録されるユーザ行動情報テーブル142の一例を示す。図14に示すように、ユーザ行動情報テーブル142は、例えば緯度経度142a、場所名142b、場所カテゴリ142c、行動情報142d、プロファイル142e、プロファイルカテゴリ142fを含む。場所名142b、場所カテゴリ142c及び行動情報142dに基づきプロファイル分析部116によって分析した結果が、プロファイル142e、プロファイルカテゴリ142fとして記録される。例えば、「ABCスキー場」において「ジャンプ、ターン」という行動が行われていたという情報から、プロファイル分析部116は「スノースポーツ」が行われていたと分析する。「スノースポーツ」は「アクティブスポーツ」のカテゴリに属する。
このように、プロファイル分析部116は、滞留位置と行動認識結果とに基づき、その位置でのユーザの目的を取得する。
・滞留位置の遷移に基づくプロファイル生成
また、プロファイルは、例えば滞留位置間の遷移における移動手段の履歴に基づき生成することができる。滞留位置の遷移に基づくプロファイル生成処理で得られるプロファイルは、その人の行動傾向を表している。
位置情報である緯度経度から、同一箇所にしばらくとどまっている地点を特定し集約した場所が滞留位置である。そして、滞留位置の遷移時の移動手段の履歴より、ユーザがある滞留位置から次の滞留位置までどのように移動したかを特定できる。このとき、2つの滞留位置間の往復や複数の滞留位置の周回等のような、滞留位置の遷移を時系列に見たときの特徴的な動きを特徴行動として認識してもよい。滞留位置の遷移、滞留位置の場所名、及び移動手段は、情報処理装置100を備えるサーバ10内で行われてもよく、情報処理装置100と通信可能に接続された外部のサーバにて行われてもよい。プロファイル分析部116は、これらの情報を処理結果として取得する。また、プロファイル分析部116は、季節や時刻等の時間情報を合わせて取得してもよい。
プロファイル分析部116は、滞留位置の遷移及び移動手段を分析して行動傾向を特定し、ユーザのプロファイルとする。また、予め設定されたプロファイルとプロファイルカテゴリとの関係に基づき、プロファイルが属するプロファイルカテゴリを特定する。プロファイル分析部116は、これらの情報をプロファイルDB140に記録する。
図15〜図17に、ユーザの行動傾向に関するプロファイルを記録する行動傾向テーブル144A〜144Cの例を示す。図15〜図17に示すように、行動傾向テーブル144A〜144Cは、例えば、滞留位置の遷移(緯度経度)144a、滞留場所の遷移(場所名)144b、移動手段144c、特徴行動144d、時間情報144e、プロファイル144f、プロファイルカテゴリ144gを含む。滞留位置の遷移144a及び移動手段144cによって分析した結果が、プロファイル144f、プロファイルカテゴリ144gとして記録される。例えば、「自宅」から「職場」まで「電車」で移動している場合、プロファイル分析部116は「通勤に電車を利用する人」と分析する。「通勤に電車を利用する人」は「電車通勤族」のカテゴリに属する。
このように、各ユーザについて時系列で滞留位置間の遷移とその移動手段を見ると、生活スタイル等のユーザの行動傾向が取得できるようになる。例えば、ユーザAは、図15に示すように「平日の通勤は電車、休日は自動車でドライブ」の行動傾向があることがわかる。また、ユーザBは、図16示すように「平日の通勤は電車、職場帰りに寄り道をする」という行動傾向があることがわかる。そして、ユーザCは、図17示すように「平日の通勤あるいは仕事は自動車を利用、休日の外出は電車を利用する」という行動傾向があることがわかる。
・アプリ起動履歴及び行動認識結果に基づくプロファイル生成
上記以外に、例えばユーザが利用するスマートフォンやウェアラブル端末等にインストールされたアプリケーションの起動履歴と行動認識結果とを用いてプロファイルを生成することも可能である。例えば、図18に、アプリ起動履歴及び行動認識結果に基づき得られたプロファイルを記録するユーザ行動情報テーブル146の一例を示す。
ユーザ行動情報テーブル146は、図18に示すように、例えば、アプリ起動履歴146a、行動情報146b、特徴行動146c、時間情報146d、プロファイル146e、プロファイルカテゴリ146fを含む。アプリ起動履歴146a及び行動情報146bによって分析した結果が、プロファイル146e、プロファイルカテゴリ146fとして記録される。例えば、「音楽再生」アプリを起動しているときに「走っている」行動が特定された場合、プロファイル分析部116は「ジョギング」をしていると分析する。「ジョギング」は「アクティブスポーツ」のカテゴリに属する。
このように、プロファイル分析部116は、アプリ起動履歴と行動認識結果とに基づき、ユーザの行っている行動を詳細に特定することができる。
b)プロファイルマッチング処理
次に、図19及び図20に基づいて、本実施形態に係るプロファイルマッチング処理について詳細に説明する。なお、図19は、プロファイルのマッチングにより提示する話題を決定する処理を説明する説明図である。図20は、ユーザ同士の親密度と開示情報との関係を示す説明図である。
プロファイル分析部116は、上述のように取得されたプロファイルを用いて、会話をしているユーザのプロファイルをマッチングし、適切な話題を生成する。ユーザの位置情報である緯度経度情報を用いて話題を提供する場合、各ユーザで同一の位置情報に関する話題を提供するように処理するのが一般的である。しかし、位置情報が同一であっても、例えばその位置でのユーザの目的が異なる場合には、位置情報に関する話題はユーザに共通する話題とはなり難く、提供する内容として適切でない場合もある。そこで、本実施形態では、会話をしているユーザのプロファイルを用い、共通のプロファイルを特定することでより適切な話題の提供を行うことを可能にする。
例えば、図19に示すようなユーザA、B、Cのプロファイルがあったとする。ここで、ユーザAとユーザBとの会話における話題の提供として、位置情報(緯度経度あるいは場所名)のみを考慮すると、位置情報が同一である「ABCスキー場」に関する話題を提供してしまう。しかし、「ABCスキー場」におけるユーザAの目的は「スノースポーツ」であり、ユーザBの目的は「トレッキング、山登り」である。したがって、「ABCスキー場」に行ったことがあるという話題を提示しても、この共通点だけで話題が終わってしまう可能性もある。
そこで、プロファイル分析部116は、ユーザAとユーザBのプロファイルのマッチングを行い、話題を生成する。ユーザAとユーザBのプロファイルには、「サーフィン」という共通内容がある。ユーザA、Bがサーフィンを行った場所は異なるが、プロファイルの一致により、「サーフィン」という共通の趣味を見出すことができる。趣味のような得意分野や興味・関心の強い内容は、ユーザと話し相手との間にある種の連帯感を生じさせ、会話を盛り上げやすい。このように、プロファイルをマッチングすることで、ユーザに対して適切な話題を提供することが可能となる。
また、例えば、ユーザAに対して、ユーザBとユーザCのどちらかを話し相手としてお勧めする場合を考える。このとき、位置情報(緯度経度あるいは場所名)のみを考慮すると、図19に示す内容から、ユーザAに対して、同一の位置情報があるユーザB、ユーザCをそれぞれお勧めする可能性が高い。しかし、その位置におけるユーザの位置が異なるため、話題としては適切でない可能性がある。
そこで、プロファイル分析部116は、ユーザB及びユーザCについてユーザAとプロファイルをそれぞれ行い、プロファイルあるいはプロファイルカテゴリが一致するユーザを話し相手としてお勧めする。図19の例では、ユーザAと、「サーフィン」、「アクティブスポーツ」という内容が同一のユーザBを話し相手としてお勧めすることになる。これにより、共通する話題を多く持っていると考えられる人物をユーザAにお勧めすることができる。
ここで、図19や図14〜図18に示した位置情報に関する情報のうち、場所名や場所カテゴリ、滞留位置間の遷移は、個人の特性が現れた情報であり、初対面やあまり親しくない人には開示したくない場合もある。例えば、自分がよく行く場所を開示したくない、とユーザが思うこともある。このような場合にも、プロファイルやプロファイルカテゴリは、情報の粒度が粗くなっており、この情報だけでは個人を特定しにくいため、話題生成に際して利用する情報として適切である。したがって、相手に多くの情報を開示したくない状況では、プロファイルカテゴリをマッチングする情報とするのがよい。
一方で、相手に多くの情報を開示してもよい状況では、プロファイル分析部116は、情報を段階的に開示するように制御してもよい。例えば、話し相手との親密度が高くなるほど具体的な情報を開示するようにしてもよい。図20に示すように、会話するユーザの親密度が低いうちは、プロファイルカテゴリ、プロファイルが開示され、これらの情報に基づき話題が生成される。そして、親密度が高くなると、場所カテゴリ、場所遷移、場所名が段階的に開示され、より個人に合った話題を生成できるようにする。このような段階的な情報の開示により、各ユーザのプライバシーも考慮された、ユーザ間の親密度に合った自然な話題を提示することが可能となる。
以上、ステップS110における話題生成処理について説明した。なお、本実施形態に係る話題提供システム1にて実行される話題生成処理は、上述の例に限定されず、他の方法で話題を生成してもよい。
例えば、センサ情報を活用して、話し相手の変化を話題として提供することも可能である。話し相手の話を聞き、適切に話題を提供する等、会話により円滑にコミュニケーションを図ることのできる会話力の高い人は、相手の外見の変化をすぐに見つけ、話を広げていく。例えば、「あれ?髪切った?」「あれ?痩せた?」「焼けたね!」等相手の変化に気づき、「体鍛えているの?」「どこか行ったの?」等と話を広げていくことができる。そこで、例えば、認識器が、前回会った時の相手の画像と現在の相手の画像とを比較して、ハイライト検出することで、ユーザに相手の変化を気付かせるようにしてもよい。もしくは、相手が変化に気付きにくいタイプの人であれば、変化に気付くように自身の行動ログをヒントとして相手に与えてもよい。例えば、ヘアスタイルを変えた等のように、自分からは言わないが気付いてほしい場合に相手にそのヒントを与えてもよい。
しかし、話し相手との関係性によっては、気付いているがあえて話題にしないことも多々ある。外見の変化を話題にするのが適切かどうかは相手次第であるため、ユーザはヒントが与えられたとき、これまでの会話の内容や相手との関係に応じて、話題として選択するようにするのがよい。
[3.2.話題提案処理]
ステップS110にて話題が生成されると、図3に示すように、話題提案部120により生成された話題からユーザに提供する話題が抽出される(S120)。
(1)会話コミュニケーションのプロセス
ステップS120の処理の考え方として、まず、図21に基づいて、ユーザ間の会話コミュニケーションのプロセスを説明する。図21は、ユーザ間の会話コミュニケーションのプロセスの概念図である。
会話コミュニケーションをする理由や期待する効果はユースケースにより様々であるが、すべてのユースケースに共有することとして、良好に会話コミュニケーションを継続していくということは傾聴・承認のステップを良好に繰り返すことといえる。会話コミュニケーションをする理由としては、以下の3つが考えられる。
・「無関心」:相手に関心がないので、コミュニケーションが成立しない状態
・「相手への関心を持つ」:相手に関心をもち、相手を理解しようと試みる状態
・「相手から関心を持たれたい」:相手にも自分を理解してもらおうと試みる状態
ユーザが話し相手に「無関心」の状態では、会話コミュニケーションは時間潰しとして行われたりするが、「相手への関心を持つ」の状態となると、ユーザは相手の話に傾聴したり、質問したりするようになる。さらに、ユーザが「相手から関心を持たれたい」と思うようになると、自分の話を聞いてほしいと思い、説明するようになる。すなわち、図21に示すように、「相手への関心を持つ」、「相手から関心を持たれたい」という状態であれば、会話コミュニケーションは容易であり、相手への関心が高まるにつれて話題提供システム1による話題提供を受けなくとも会話が弾むようになる。この状態は、両者がそれぞれに関心を持つステップといえる。
一方で、「無関心」から「相手への関心を持つ」までの状態は、相手への関心が低いため、このままの状態が続けば時間の経過とともに互いの関心は低下していく。この状態は、無関心から話し相手に関心を持ってもらい、会話コミュニケーションを好循環させるためのステップと考えられる。そこで、話題提供システム1では、適切な話題を提供し、話し相手に対する関心の強さを会話コミュニケーションが好循環する状態にするためのサポートを行う。
(2)場の盛り上がりの評価
本実施形態では、コミュニケーションを良好に継続させるための評価指標として、「場の盛り上がり度」を導入する。「場」とは、一時的に形成されるコミュニケーションイベントを表す。図22に、コミュニケーションの場と当該コミュニケーションへの参加者との概念を示す。図22では、参加者A、B、Cの3名によって一時的なコミュニケーションの場が形成されている。各参加者の盛り上がり度によって、場の盛り上がり度が変化する。ここで、場の盛り上がり度Hは、以下の式(1)で表される。env(t)は、時間の経過による場の盛り下がりを表す環境変化である。場の盛り上がり度Hは、各参加者の盛り上がり度H、H、Hによって変化する。
Figure 0006729571
ここで、参加者A、B、Cはパーティの参加者であり、参加者Cは幹事役であるファシリテータとする。また、参加者Aは参加者Bに対して好意を持っているとする。参加者Aの盛り上がり度Hは、下記式(2)のように、参加者Aが参加者Bへ好意をもっていることを表す参加者Aから参加者Bへの関心度IABと、参加者Bから参加者Aへの関心度IBAと、ある時刻t−1での場の盛り上がり度H(t−1)で表すことができる。ここで、^は、誤差を含む推定値であり、WAPは重み係数である。
Figure 0006729571
参加者Bの盛り上がり度Hも同様に、下記式(3)で表される。
Figure 0006729571
また、幹事役の参加者Cの盛り上がり度Hは下記式(4)で表される。係数a、b、WCPは、参加者Cのモチベーションによって変化する係数である。例えば、参加者Cが場の盛り上げにのみ貢献する場合には、参加者A、Bの関心度は関係ないため、係数はゼロとなる。また、参加者Cに、参加者Aと参加者Bとのコミュニケーションが円滑に行われることにモチベーションがある場合は、係数a、b、WCPに所定の値が設定される。
Figure 0006729571
ここで、上記式(2)〜(4)の参加者Bの参加者Aに対する関心度IBAは、下記式(5)で表される。会話コミュニケーションに関係する項としては、参加者Aが場に投入する話題TopicAPと投入タイミングTopicTimingAPである。αは会話コミュニケーション以外の要素であり、例えば容姿等の印象である。
Figure 0006729571
また、参加者Bが推定する、参加者Aの参加者Bに対する関心度IAB^(式(6)においてIABの上に^が付されたものを指す)は下記式(6)で表される。ReactionABは、参加者Bが場に投入した話題に対しての参加者Aの反応であり、例えばセンサ情報等を用いて、各参加者の話題への参加率、笑顔、笑い声等の頻度から推定することができる。話題への参加率は、例えば、発言や相槌等の回数や頻度等に基づき表すことができる。
Figure 0006729571
上記式(1)及び式(6)より、場に投入する話題を適切に選択することで、盛り上がり度H、H、Hを良好な状態に保てることがわかる。また、式(1)は、下記式(7)として表すことができる。ここでTopicXPは各参加者が場に投入する話題を表し、TopicTimingXPは投入した話題のタイミングを表し、Reactionを含む関数をTopic関数としてまとめている。またWは重み係数である。
Figure 0006729571
話題提供システム1では、以上のような値を話題選択のための評価値として用いる。これらの値は、情報処理装置100の話題提案部120の盛り上がり度算出部122により算出される。盛り上がり度算出部122は、算出した値を話題抽出部124へ出力する。
(3)話題の選択方法
次に、図23に基づき、話題抽出部124によるユーザへ提示する話題の選択方法について説明する。なお、図23は、本実施形態に係る話題選択方法を示すフローチャートである。話題抽出部124は、盛り上がり度算出部122により算出された上記評価値を用いて、話題生成部110にて生成された話題からユーザへ提示する話題を抽出する。図23に示す処理は、例えば話題が場へ投入されたタイミングで実行される。
図23に示すように、場に話題が投入されると、話題抽出部124は、まず、話し相手の反応情報を取得する(S121)。反応情報は、投入された話題に対する話し相手の反応を表す情報であり、例えば、笑顔や笑い声、うなずき、相槌等がある。これらの反応情報は、各種センサ情報として随時取得可能な情報であるとする。具体的には、「うんうん。」というような相手のうなずきや、「それで?」、「おもしろね」、「へー」、「なるほど」等の相手の相槌、相手からの関連情報の提示やその提示頻度等である。
話題抽出部124は、投入された話題に対する話し相手の反応情報を取得すると、このときの場の盛り上がり度Hを算出する(S123)。場の盛り上がり度Hは、上記式(6)により算出可能である。そして、話題抽出部124は、場の盛り上がり度Hを算出すると、今回の話題の投入により場が盛り上がったか否かを判定する(S125)。ステップS125は、場の盛り上がり度Hが所定の閾値(以下、「盛り上がり度閾値」ともいう。)を超えたか否かによって判定される。盛り上がり度閾値は、シチュエーションに応じて適宜設定される。
ステップS125にて場の盛り上がり度Hが盛り上がり度閾値以上であった場合には、投入された話題により場が盛り上がったと判定し、話題抽出部124は、現在の話題の関連情報を、参加者に対して提示する話題の選択肢に増やす(S127)。一方、場の盛り上がり度Hが盛り上がり度閾値よりも小さかった場合には、投入された話題によっては場は盛り上がらなかったと判定し、話題抽出部124は、現在の話題からの話題の切り替えた方がよいと判断し、参加者に提示する話題の選択肢に新しい話題を増やす(S129)。
以上のような処理により、話題生成部110にて生成された様々な話題から、場の盛り上がりに応じた話題を抽出し、参加者に提示するようにする。なお、ステップS125の評価において、話題の継続時間をさらに考慮してもよい。同一または関連する話題が継続して行われているときには場は盛り上がっており、次々と異なる話題が提示されていくときは、場があまり盛り上がっていないと考えることができる。
(4)話題投入による場の盛り上がりへの期待
ここで、話題投入による場の盛り上がりへの期待を期待度として参加者へ提示してもよい。これにより、参加者は、各話題について、投入した際の場の盛り上がりの大きさを想定しつつ投入する話題を選択することが可能となる。
図24に、話題に対する期待度の分布例を示す。図24上側に示すように、ある集団における行動傾向の分布があるとする。例えば、この分布において点Pに該当する人に対しては、図24下側の分布2の傾向のある、一般的に当たり外れの小さい話題を選択するようにする。具体的には、天気等の一般的な話題であり、場が盛り上がる効果はそれほど高くないが、外れる可能性も小さい話題が該当する。一方、図24上側の分布において点Qに該当する人に対しては、図24下側の分布1の傾向のある話題を提供するのがよい。分布1のように、分布の広がりが大きく、プラスの効果もマイナスの効果も想定されるような話題は、例えば専門的な話題等が該当する。このような話題は、場が大きく盛り上がる可能性もあり得るが、場が大きく盛り下がる可能性もある。
このような話題投入による場の盛り上がりへの期待度を参加者に提示することで、話し相手の嗜好を理解することで、よりプラスの効果が期待できる話題を選択することが可能となる。例えば、場への参加者に共通の得意分野があり、深い内容についても理解できる相手の素養を知っていれば、話題としてよりプラスの効果が期待できそうな分布3の効果を持った話題を選択することもできる。なお、この分布3は、分布1と似ているが、分布1の話題よりもプラスの効果が期待できるとして分布1を全般に右側にシフトさせたものとなっている。このため、話題が外れる可能性も否めない。例えば、専門的な話であっても、好みや同じ専門領域での細かな分野の違い等の違いによって、話題が盛り上がらない可能性もある。
また、例えば、話し相手が強い関心を示した話題の関連情報も、同様に全般に右側へシフトする。すなわち、一般的な話題の分布である分布2は、それほど大きくなくとも確実に場を盛り上げるという傾向を示しており、相手が高い関心を示した話題の関連情報については、より確実に場を盛り上げると考えられることから、分布2を全般に右側にシフトさせた分布4のようになると考えられる。関連情報の期待度は、提示された話題との相関が高いほど、より右側にシフトする。なお、繰り返し回数が多いと、相手の関心も低下する可能性があり、この場合全般に左側にシフトする可能性もある。
このような場の盛り上がりへの期待を表す期待度の算出は、話題提案部120の期待度算出部126により行われる。期待度算出部126は、算出した結果を、話題提示処理部130へ出力する。
(5)話題の投入タイミング
図23の処理に沿って上述したように、話題提供システム1は、コミュニケーションの場への話題の投入と評価を繰り返して、会話が好循環する状態となるようにサポートする。図25に、話題の投入と場の盛り上がり度との一関係を示す。場の盛り上がり度Hは、上述したように、式(1)に基づき算出される。式(1)において、環境項env(t)は時間に比例して盛り上がり度を下げ、離散的に投入される話題により盛り上がり度は押し上げられる。したがって、盛り上がり度の時間推移をみると、図25に示すように、話題が投入されると一時的に盛り上がり度が上昇し、その後時間が経過するにつれ盛り上がり度が低下するという動きを取ることがわかる。
例えば、会話が好循環する領域を場の盛り上がり度が40以上の領域とすると、図25に示す例においては、3つ目の話題が投入されたタイミングで盛り上がり度が40を超える。盛り上がり度が好循環の領域に入ると、環境項env(t)による盛り上がり度を維持または上昇させるものとなり、本システムによるサポートがなくとも良好なコミュニケーションの場を維持することができるようになる。仮に、3つ目の話題が投入されないと、コミュニケーションの場は自然と盛り下がっていく。話題提供システム1では、話題を適切に投入させて話題が投入されなくとも良好なコミュニケーションが取れている状況を作り出すことを目的としている。
話題提供システム1によるコミュニケーションの場への参加者へのサポートは、シチュエーションに応じて変化させてもよい。例えば、相手から関心を持たれたいという状況でなければ、相手に関心を持つことができる程度まで参加者へのサポートを行えばよい。また、例えば、相手から関心を持たれたい場合には、その状況となるまで場が盛り上がるように参加者をサポートするようにする。
例えば、図26に示すように、相手から関心を持たれたいという状況でなければ、話題提供システム1は、場の盛り上がり度が、参加者同士が関心を持つステップの目標期待度Pa(例えば、盛り上がり度40〜100)となるまで参加者をサポートする。ある参加者が相手から関心を持たれたい状況であれば、話題提供システム1は、場の盛り上がり度が、参加者同士が互いに関心を持たれたいと思うステップの目標期待度Pb(例えば、盛り上がり度100超)となるまで参加者をサポートする。
(6)提示する話題への重み付け
話題提案部120は、話題抽出部124により話題を抽出するにあたり、シチュエーションを分析して、提案する話題に重み付けを行ってもよい。これにより、より状況に適した話題を提案することが可能となる。
コミュニケーションの場のシチュエーションとしては、図27に示すように、場に参加する参加者に共通する共通イベントに対して、共通イベント前の状態(状態A)、共通イベント中(状態B)、共通イベント後(状態C)の3つに大別できる。図28に、具体的なシチュエーションの例を示す。
例えば、結婚披露宴を待つ前室においては、その場にいる人同士を取り持つファシリテータは不在であり、結婚披露宴が始まるまでの時間をつぶすために、例えば偶然隣に座った人と1対1で会話をすることがある。このシチュエーションは、結婚披露宴という共通イベント前の状況であるから、図27の状態Aに相当する。一方、結婚式の二次会までの時間潰しは、結婚式披露宴という共通イベントの終了後の状況であるから、図27の状態Cに相当する。
また、例えば、歓迎会の帰りの電車の中では、帰宅方面が同じ人がその場にいるが、あまり親しくない人と二人だけになることもある。このような場合は、無言状態を避けたいために会話をするというシチュエーションであり、歓迎会という共通イベントの終了後の状況であるから、図27の状態Cに相当する。さらに、例えば合コンは、出会いを求める人が参加するパーティであり、通常、その場を取り纏める幹事役のファシリテータが存在する。合コンでは初対面の人同士もいるが、親密になろうとするモチベーションは高いと思われる。合コンというシチュエーションは、共通イベント中であるから、図27の状態Bに相当する。
このようなシチュエーションをコミュニケーションの場の状態情報として利用すると、話題を継続させるのがよいか、それとも、話題を追加したり転換したりするのがよいか、提示する話題の方向性に重み付けをし、調整することが可能となる。図29に、シチュエーションに応じた話題の方向性の例を示す。図29では、図27に示した状態A〜Cについての話題の方向性を示している。
図29に示すように、共通イベント前の状態Aは、互いの関心を引くような話題を探索するフェーズである。したがって、話題を継続するよりも、相手の関心のある話題を探るために、提案する話題に新しい話題を追加して話題を提案するのがよい、相手の関心度が低い場合には、新しい話題への転換を促すのも有効である。適切な話題が見つかったら、その話題を継続するようにしていく。
また、共通イベント中の状態Bでは、共通イベントによって話題は提供されるので、新しい話題の追加や転換の提案は基本的に行わなくともよい。この状態では、話題提供システム1は、関連情報を提示し、話題を継続するようにしていくようにする。
そして、共通イベント後の状態Cでは、共通イベントでの出来事を振り返ることで、話題は既に多くある。このような状態では、話題提供システム1は、関連情報を提示して話題を継続していくように機能するのがよい。
このように、コミュニケーションの場の状態がわかることで、話題提供システム1は、より適切な話題を提供することが可能となる。
[3.3.話題提示処理]
ステップS130にて提示する話題が抽出されると、図3に示すように、話題提示処理部130により、ユーザに話題を提供するための処理が行われる(S130)。話題提示処理部130は、その場の状況により、本人、または話題を共有している複数人に話題を提示する。
(1)個人への話題提示
まず、話題提供システム1がある個人へ話題を提示する場合について説明する。個人への話題の提示方法としては、例えば、視覚的な提示方法として、グラス型ウェアラブル端末の表示パネルに話題を提示したり、個人が保持する機器や空間にあるLEDを発光させたりして話題を提示することが考えられる。また、聴覚的な提示方法として、例えばイヤホンやオープンスピーカ等を用いることもでき、聴覚、力覚的な提示方法として、例えば振動や温度等を利用することもできる。個人に対して話題を提示する場合は、周囲に気付かれないようにさりげなく話題を提示できるようにしてもよい。
図30に、グラス型ウェアラブル端末の表示パネルに話題を提示する例を示す。図30は、ユーザが装着するグラス型ウェアラブル端末の表示パネルに、話題をカード形式で表示させる例である。表示パネルには、現在進行している話題のカードTnowと、現在の話題の関連情報のカードTr、新規話題のカードTnew−A、Tnew−B、Tnew−Cが表示されている。関連情報のカードTr、新規話題のカードTnew−A、Tnew−B、Tnew−Cの奥行きは、その話題に関する関連情報の広がりを示している。このとき、場の盛り上がり度や提示されている話題の投入時の期待度等を、表示パネルや、その他の提示方法によりユーザに提示してもよい。
ユーザは、提示された話題のカードを参考に、話題を提供することができる。ユーザが選択した話題は、新たな現在進行中の話題となり、話題投入による場の盛り上がり度等が算出された後、新たな関連情報及び新規話題が表示パネルに表示される。
(2)複数人への話題提示
次に、話題提供システム1がコミュニケーションの場に参加している複数人へ話題を提示する場合について説明する。複数人への話題の提示方法としては、例えば、視覚的な提示方法として、プロジェクタによりテーブルトップ等の投影面に話題を提示することが考えられる。また、聴覚的な提示方法として、例えばスピーカ等を用いることもでき、触覚的な提示方法として、例えば空調やテーブル等の温度の調整を行うことも可能である。複数人に対して話題を提示する場合は、話題の提示まで含めて場を盛り上げるようなエンターテインメント要素も付与することも可能である。
図31に、プロジェクタによりテーブルトップにトピックカードとして話題を提示する例を示す。この例では、テーブルトップに、現在進行中の話題のカードと、現在進行中の話題の関連情報のカード及び新規話題のカードとが表示されている。テーブルトップには、現在進行中の話題のカードが表示される場があり、コミュニケーションの場に参加しているユーザA、Bの手元に表示された関連情報のカードあるいは新規話題のカードをユーザが場に向かってスワイプすることで、話題を場に投入する。このとき、各ユーザA、Bがお互いの持っているカードの話題は見えている。このように、場に投入する話題候補を互いに見ることができるようにすることで、エンターテインメントを与えることができる。
さらに、この場の盛り上がり度や、話題を支配しているユーザ名、話題の盛り上がりへの貢献度等の情報を参加者に提示してもよい。例えば、盛り上がり度算出部122により算出された盛り上がり度の推移を提示してもよい。例えば、図32に示すように、場の盛り上がり度の推移をグラフ表示してもよい。このとき、話題を投入した話者を認識できた場合に話題提案者を表示してもよい。さらに、提案された話題を認識できた場合には、話題をタグ表示してもよい。話題の表示は、センサ情報に基づき自動的に認識するようにしてもよく、参加者等が手動で入力してもよい。この盛り上がり度の推移は、参加者全員が見ることのできる共有表示でもよく、この場にファシリテータが存在する場合には、ファシリテータだけに個人表示するようにしてもよい。ファシリテータは、これらの情報を参考に、さらに場を盛り上げるための行動をとることが可能となる。
また、話題への貢献度を参加者ごとに提示するようにしてもよい。かかる情報も、参加者全員が見ることのできる共有表示でもよく、この場にファシリテータが存在する場合には、ファシリテータだけに個人表示するようにしてもよい。ファシリテータは、話題への貢献度を見ながら、さりげなくしゃべっていない人に会話を振るように仕向けるような行動をとることが可能となる。
さらに、話題提供システム1の話題提示処理部130に、盛り上がる話題を提示した場合にその人を褒めるような機能を備えるようにしてもよい。盛り上がる話題を提示した人を褒める提示としては、例えば、グラス型ウェアラブル端末の表示パネルに「Good!」と表示させたり、頭をなでられるような振動を再生させたりすることが考えられる。また、表示パネル等に表示されたアバターが微笑むような表示にしたり、LEDを緑色に点灯させたりして、ユーザを褒めることも可能である。
逆に、提供した話題によって場が盛り下がった場合の演出をするようにしてもよい。この場合、例えば、グラス型ウェアラブル端末の表示パネルに「Bad↓」と表示させたり、頭をこづくような振動を再生させたりしてもよい。また、表示パネル等に表示されたアバターがしかめっ面となる表示にしたり、LEDを赤色に点灯させたりして、ユーザに場の盛り下がりを提示することも可能である。
上述のグラフ表示や貢献度表示は、それ自体が会話の話題になる可能性もある。ここに特化して場を盛り上げる演出を行うようにしてもよい。例えば、空調を利用して、場が盛り下がった場合には、しーんとしたことを強調するために空調の音を大きくしたり、冷房が入ったりするようにしてもよい。また、光源を利用して、場の雰囲気をスポットライトで演出してもよい。例えば、場が温かい雰囲気の場合には、暖色の照明を照らしたり、投入された話題がおお外ししたときに暗転させたりすることなどがある。さらに、音を利用して、例えばシリアスな会話時に、場の参加者に対して、自分の鼓動やそれより少し早い鼓動音を聞かせるようにしてもよい。
(3)提示方法の変形例
・話題の提示方法
本実施形態に係る話題提供システム1による話題の提示方法は、図30や図31に示した例に限定されず、例えば、情報の提示は文字に限定されない。例えば、アイコン表示によりユーザに話題を提示するようにしてもよい。具体的には、自転車に関する話題を示す場合には自電車の絵のアイコンを表示させたり、過去のエピソードを話題とすることを提示する場合には、そのイベント時の写真を表示させたりしてもよい。
また、矢印によって話題の提示を行ってもよい。例えば、図33に示すように、グラス型ウェアラブル端末の表示パネル20を介してユーザが話し相手を見ている時、話題提供システム1にて話し相手が髪を切ったことが認識された場合に、話し相手の髪を指す矢印22を表示させて、話題を提示してもよい。このように、表示部に表示されている情報に話題となるものがあれば、それを矢印で指すことで、話題を提示することができる。
さらに、提示する話題は、図30に示すように等列に表示しなくともよく、例えば図34に示すように、話し相手が複数いる場合に、各話し相手に合った話題をそれぞれ人物に対応付けて表示させるようにしてもよい。これにより、視覚的に各話し相手に合った話題を認識することができる。なお、すべての話し相手に共通する話題であれば、例えば画面中央に表示させるようにしてもよい。
・話題の表示タイミング
また、話題は常時提示しなくともよく、話題を提示すべきときだけカードがグラス型ウェアラブル端末やテーブルトップ上に自動的に提示されるようにしてもよい。あるいは、ユーザの指示を受けた場合にのみ、話題を提示するようにしてもよい。例えば、ユーザが話題を表示させるための特定のアイコンに対して目線を合わしたりコントローラでカーソルを合わせたりした時だけ、話題がグラス型ウェアラブル端末やテーブルトップ上に提示されてもよい。
・話題の提示先
さらに、話題の提示先は、グラス型ウェアラブル端末やテーブルトップに限定されるものではない。例えば、抽出された話題候補の一覧を個人所有のスマートフォンやタブレット端末、バンド等の機器上に表示させてもよい。なお、これら機器に話題を提示した場合、ユーザが話題の提示に気付かない可能性もある。そこで、例えば話題準備完了時にユーザに通知し、ユーザが提示された話題を見るように誘導してもよい。具体的な通知方法としては、当人の機器のみ音を鳴らすようにしたり、鐘の音等によって全員に話題切り替えタイミングを教えるような演出をしたりしてもよい。あるいは、ユーザが装着するバンドを振動させて通知してもよい。また、音声通知と表示通知とを組み合わせて、インデックスだけ音声で伝え、一覧取得を画像として取得させるようにしてもよい。
・表示/非表示の演出
また、図31に示したテーブルトップ上に話題を表示させた場合等のように、会話に参加する複数人がそれぞれカードを見ることができる場合に、各参加者の目線や動作を基に、カード表示に演出を加えてもよい。例えば、ユーザが自分の手持ちのカードをじっと見るとそのカード群を展開させ、ユーザがカード群から目線を外すとカード群が集約されるようにしてもよい。あるいは、図35に示すように、他のユーザが自分の手持ちのカードを覗き込む動作を検出したとき、カードを隠すパネル30(31、33、35、37)を表示させて、各カードをパネル30の後に回して隠すようにしてもよい。なお、カード群の展開、集約、隠し表示等は、ユーザの視線に基づき行ってもよく、コントローラ等を用いて操作してもよい。
・ゲーム性の強調
さらに、ゲーム性を強調するために仮想の司会役を設定してもよい。例えば、各プレーヤー(参加者)は仮想の司会役に話題を提出し、司会がそれぞれから提出された話題を選択するようなシステムでもよい。司会役は、多数決やランダムで話題を選んでもよい。もちろん、この司会をファシリテータに置き換え、手動により選択するようにしてもよい。
・ユーザによる話題選択の認識
上述した関連話題の提示や統計表示のためには、これまで何の話題が選択されたかを話題提供システム1が知る必要がある。この認識は、単語等をもとにした自動認識により行ってもよい。あるいは、テーブルトップ等へのタッチ操作や、ユーザが装着するブレスレット等のスライド操作、機器のタップ操作、視線操作、目線で選択してうなずきで話題を決定する操作等といった各種操作を手動認識し、選択された話題を認識してもよい。
また、これらの話題選択の自動/手動認識が実現できれば、話題を掲示したのに選択されなかったときの強調表現等、「話題の選択を基にした演出」が可能になる。例えば、表示されたカードを震えさせたり、明滅させたりすることで、選択された買った話題を強調させることができる。また、選択されなかった場合に、ユーザに振動を与え、話題を選択することを促すようにすることもできる。このような話題が選択されなかったときの演出は、例えば、話題が提示されてから一定時間経過した場合や、会話がなくなった場合等に実行されてもよい。
<4.まとめ>
以上、本実施形態に係る話題提供システム1の構成と、これによる話題提供方法について説明した。本開示によれば、話題提供システム1の情報処理装置100は、ユーザのある行動と、当該行動に関する比較情報との比較結果に基づいて、話し相手との話題を生成し、生成した話題からユーザに提案する話題候補を決定する。そして、情報処理装置100は、話題を提供するコミュニケーションの場に応じた適切な話題を提案する。これにより、ユーザはあまり面識のない人とのコミュニケーションにおいても、相手とアイスブレイクするための話題を得ることができ、良好なコミュニケーションを取ることが可能となる。
<5.ハードウェア構成>
次に、図36を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図36は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置900は、例えば、上記の実施形態におけるサーバ10を実現しうる。
情報処理装置900は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、情報処理装置900は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、情報処理装置900は、必要に応じて、撮像装置933、およびセンサ935を含んでもよい。情報処理装置900は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、またはFPGA(Field-Programmable Gate Array)などの処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置900内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりする。
出力装置917は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)または有機EL(Electro-Luminescence)ディスプレイなどの表示装置、スピーカまたはヘッドフォンなどの音声出力装置、もしくはバイブレータなどでありうる。出力装置917は、情報処理装置900の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、またはバイブレーションなどとして出力する。
ストレージ装置919は、情報処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置919は、例えばCPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
接続ポート923は、機器を情報処理装置900に接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどでありうる。また、接続ポート923は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、情報処理装置900と外部接続機器929との間で各種のデータが交換されうる。
通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、LAN(Local Area Network)、Bluetooth(登録商標)、Wi−Fi、またはWUSB(Wireless USB)用の通信カードなどでありうる。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などを含みうる。
撮像装置933は、例えば、CMOS(Complementary Metal Oxide Semiconductor)またはCCD(Charge Coupled Device)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
センサ935は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、または音センサ(マイクロフォン)などの各種のセンサである。センサ935は、例えば情報処理装置900の筐体の姿勢など、情報処理装置900自体の状態に関する情報や、情報処理装置900の周辺の明るさや騒音など、情報処理装置900の周辺環境に関する情報を取得する。また、センサ935は、GNSS(Global Navigation Satellite System(s);全地球航法衛星システム)信号を受信して装置の緯度、経度および高度を測定するGPS受信機を含んでもよい。
以上、情報処理装置900のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
<6.補足>
本開示の実施形態は、例えば、上記で説明したような情報処理装置(例えばサーバ)、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ユーザのある行動と、前記行動に関する比較情報との比較結果に基づいて、話し相手との話題を生成する話題生成部と、
生成された前記話題からユーザに提案する話題候補を決定する話題提案部と、
を備える、情報処理装置。
(2)
ある行動に関する前記ユーザの日常的な行動を前記比較情報として、
前記話題生成部は、直近の前記ユーザの行動が当該ユーザの日常的な行動と異なる場合、前記直近のユーザの行動の内容を話題として生成する、前記(1)に記載の情報処理装置。
(3)
ある行動に関する前記ユーザの過去の行動傾向を前記比較情報として、
前記話題生成部は、直近の前記ユーザの行動傾向が当該ユーザの過去の行動傾向から変化している場合、当該ユーザの行動傾向の変化を話題として生成する、前記(1)または(2)に記載の情報処理装置。
(4)
ある行動に関する前記ユーザの過去の行動傾向を前記比較情報として、
前記話題生成部は、前記ユーザの過去のある区間における行動傾向が、当該ユーザの過去の他の区間における行動傾向及び直近の前記ユーザの行動傾向と異なる場合、当該ユーザの行動傾向の変化を話題として生成する、前記(1)〜(3)のいずれか1項に記載の情報処理装置。
(5)
前記ユーザと前記話し相手とが行ったことのある共通行動に関する、前記話し相手の行動傾向を前記比較情報として、
前記話題生成部は、ある共通行動に関する前記ユーザの行動傾向と前記話し相手の行動傾向とが異なる場合、前記共通行動に関する情報を話題として生成する、前記(1)〜(4)のいずれか1項に記載の情報処理装置。
(6)
前記話題生成部は、前記共通行動の発生頻度に基づいて、前記ユーザと前記話し相手との行動の差分を判定する、前記(5)に記載の情報処理装置。
(7)
前記話題生成部は、前記共通行動に関する下位情報に基づいて、前記ユーザと前記話し相手との行動の差分を判定する、前記(5)に記載の情報処理装置。
(8)
前記ユーザと前記話し相手とが行ったことのある共通行動に関する、前記話し相手の行動傾向を前記比較情報として、
前記話題生成部は、ある共通行動に関する前記ユーザの行動傾向及び前記話し相手の行動傾向が世間の行動傾向と異なる場合、前記共通行動に関する情報を話題として生成する、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(9)
前記話題提案部は、
前記ユーザと前記話し相手とにより形成されるコミュニケーションの場の盛り上がり度を算出する盛り上がり度算出部と、
前記話題生成部により生成された前記話題から、前記盛り上がり度に応じた話題を抽出する話題抽出部と、
を備える、前記(1)〜(8)のいずれか1項に記載の情報処理装置。
(10)
前記盛り上がり度算出部は、前記ユーザの発話に対する前記話し相手の反応に関する評価関数に基づいて、前記盛り上がり度を算出する、前記(9)に記載の情報処理装置。
(11)
前記話題抽出部は、前記ユーザの発話に対する前記コミュニケーションの場の盛り上がり度に応じて、前記話題候補として抽出する話題における今回発話した話題に関連する関連情報の割合を変化させる、前記(9)または(10)に記載の情報処理装置。
(12)
前記話題抽出部は、前記ユーザと前記話し相手とが会話するシチュエーションに応じて決定される状態情報に基づいて、前記話題生成部により生成された各話題に重み付けを行う、前記(9)〜(11)のいずれか1項に記載の情報処理装置。
(13)
前記話題提案部は、前記話題候補として抽出された各話題について、話題投入により前記コミュニケーションの場が盛り上がる期待度を算出する期待度算出部を備える、前記(9)〜(12)のいずれか1項に記載の情報処理装置。
(14)
前記話題候補をユーザに提示するための処理を行う話題提示処理部を備える、前記(1)〜(13)のいずれか1項に記載の情報処理装置。
(15)
前記話題提示処理部は、前記ユーザと前記話し相手とにより形成されるコミュニケーションの場に参加する少なくとも1人に対して前記話題候補を提示する処理を行う、前記(14)に記載の情報処理装置。
(16)
前記話題提示処理部は、コミュニケーションの場の盛り上がり度の推移を前記ユーザと前記話し相手とにより形成されるコミュニケーションの場に参加する少なくとも1人に対して提示する処理を行う、前記(14)または(15)に記載の情報処理装置。
(17)
前記話題提示処理部は、盛り上がり度の変化に応じて、コミュニケーションの場の環境設定を変化させる、前記(14)〜(16)のいずれか1項に記載の情報処理装置。
(18)
プロセッサにより、ユーザのある行動と、前記行動に関する比較情報との比較結果に基づいて、話し相手との話題を生成すること、
生成された前記話題からユーザに提案する話題候補を決定すること、
とを含む、情報処理方法。
(19)
コンピュータを、
ユーザのある行動と、前記行動に関する比較情報との比較結果に基づいて、話し相手との話題を生成する話題生成部と、
生成された前記話題からユーザに提案する話題候補を決定する話題提案部と、
を備える、情報処理装置として機能させるプログラム。
1 話題提供システム
110 話題生成部
112 自己行動分析部
114 共通行動分析部
116 プロファイル分析部
120 話題提案部
122 盛り上がり度算出部
124 話題抽出部
126 期待度算出部
130 話題提示処理部
140 プロファイルDB
142、146 ユーザ行動情報テーブル
144 行動傾向テーブル

Claims (19)

  1. ユーザのある行動と、前記行動に関する比較情報との比較結果に基づいて、話し相手との話題を生成する話題生成部と、
    生成された前記話題からユーザに提案する話題候補を決定する話題提案部と、
    を備え
    前記話題提案部は、前記話題生成部により生成された前記話題から、前記ユーザと前記話し相手とにより形成されるコミュニケーションの場の環境に関する情報に応じた話題を抽出する話題抽出部を備える、情報処理装置。
  2. ある行動に関する前記ユーザの日常的な行動を前記比較情報として、
    前記話題生成部は、直近の前記ユーザの行動が当該ユーザの日常的な行動と異なる場合、前記直近のユーザの行動の内容を話題として生成する、請求項1に記載の情報処理装置。
  3. ある行動に関する前記ユーザの過去の行動傾向を前記比較情報として、
    前記話題生成部は、直近の前記ユーザの行動傾向が当該ユーザの過去の行動傾向から変化している場合、当該ユーザの行動傾向の変化を話題として生成する、請求項1または2に記載の情報処理装置。
  4. ある行動に関する前記ユーザの過去の行動傾向を前記比較情報として、
    前記話題生成部は、前記ユーザの過去のある区間における行動傾向が、当該ユーザの過去の他の区間における行動傾向及び直近の前記ユーザの行動傾向と異なる場合、当該ユーザの行動傾向の変化を話題として生成する、請求項1〜3のいずれか1項に記載の情報処理装置。
  5. 前記ユーザと前記話し相手とが行ったことのある共通行動に関する、前記話し相手の行動傾向を前記比較情報として、
    前記話題生成部は、ある共通行動に関する前記ユーザの行動傾向と前記話し相手の行動傾向とが異なる場合、前記共通行動に関する情報を話題として生成する、請求項1〜4のいずれか1項に記載の情報処理装置。
  6. 前記話題生成部は、前記共通行動の発生頻度に基づいて、前記ユーザと前記話し相手との行動の差分を判定する、請求項5に記載の情報処理装置。
  7. 前記話題生成部は、前記共通行動に関する下位情報に基づいて、前記ユーザと前記話し相手との行動の差分を判定する、請求項5に記載の情報処理装置。
  8. 前記ユーザと前記話し相手とが行ったことのある共通行動に関する、前記話し相手の行動傾向を前記比較情報として、
    前記話題生成部は、ある共通行動に関する前記ユーザの行動傾向及び前記話し相手の行動傾向が世間の行動傾向と異なる場合、前記共通行動に関する情報を話題として生成する、請求項1〜7のいずれか1項に記載の情報処理装置。
  9. 前記話題提案部は、前記ユーザと前記話し相手とにより形成されるコミュニケーションの場の盛り上がり度を算出する盛り上がり度算出部を備え
    前記話題抽出部は、前記話題生成部により生成された前記話題から、前記ユーザと前記話し相手とにより形成されるコミュニケーションの場の環境に関する情報として、盛り上がり度に応じた話題を抽出する、請求項1〜8のいずれか1項に記載の情報処理装置。
  10. 前記盛り上がり度算出部は、前記ユーザの発話に対する前記話し相手の反応に関する評価関数に基づいて、前記盛り上がり度を算出する、請求項9に記載の情報処理装置。
  11. 前記話題抽出部は、前記ユーザの発話に対する前記コミュニケーションの場の盛り上がり度に応じて、前記話題候補として抽出する話題における今回発話した話題に関連する関連情報の割合を変化させる、請求項9または10に記載の情報処理装置。
  12. 前記話題抽出部は、前記ユーザと前記話し相手とが会話するシチュエーションに応じて決定される状態情報に基づいて、前記話題生成部により生成された各話題に重み付けを行う、請求項9〜11のいずれか1項に記載の情報処理装置。
  13. 前記話題提案部は、前記話題候補として抽出された各話題について、話題投入により前記コミュニケーションの場が盛り上がる期待度を算出する期待度算出部を備える、請求項9〜12のいずれか1項に記載の情報処理装置。
  14. 前記話題候補をユーザに提示するための処理を行う話題提示処理部を備える、請求項1〜13のいずれか1項に記載の情報処理装置。
  15. 前記話題提示処理部は、前記ユーザと前記話し相手とにより形成されるコミュニケーションの場に参加する少なくとも1人に対して前記話題候補を提示する処理を行う、請求項14に記載の情報処理装置。
  16. 前記話題提示処理部は、コミュニケーションの場の盛り上がり度の推移を前記ユーザと前記話し相手とにより形成されるコミュニケーションの場に参加する少なくとも1人に対して提示する処理を行う、請求項14または15に記載の情報処理装置。
  17. 前記話題提示処理部は、盛り上がり度の変化に応じて、コミュニケーションの場の環境設定を変化させる、請求項14〜16のいずれか1項に記載の情報処理装置。
  18. プロセッサにより、ユーザのある行動と、前記行動に関する比較情報との比較結果に基づいて、話し相手との話題を生成すること、
    生成された前記話題から、前記ユーザと前記話し相手とにより形成されるコミュニケーションの場の環境に関する情報に応じた話題を抽出し、前記ユーザに提案する話題候補を決定すること、
    とを含む、情報処理方法。
  19. コンピュータを、
    ユーザのある行動と、前記行動に関する比較情報との比較結果に基づいて、話し相手との話題を生成する話題生成部と、
    生成された前記話題からユーザに提案する話題候補を決定する話題提案部と、
    を備え
    前記話題提案部は、前記話題生成部により生成された前記話題から、前記ユーザと前記話し相手とにより形成されるコミュニケーションの場の環境に関する情報に応じた話題を抽出する話題抽出部を備える、情報処理装置として機能させるプログラム。
JP2017523130A 2015-06-12 2016-03-02 情報処理装置、情報処理方法及びプログラム Active JP6729571B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015118930 2015-06-12
JP2015118930 2015-06-12
PCT/JP2016/056481 WO2016199464A1 (ja) 2015-06-12 2016-03-02 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2016199464A1 JPWO2016199464A1 (ja) 2018-04-05
JP6729571B2 true JP6729571B2 (ja) 2020-07-22

Family

ID=57503154

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017523130A Active JP6729571B2 (ja) 2015-06-12 2016-03-02 情報処理装置、情報処理方法及びプログラム

Country Status (4)

Country Link
US (1) US10665229B2 (ja)
EP (1) EP3309738A4 (ja)
JP (1) JP6729571B2 (ja)
WO (1) WO2016199464A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9500865B2 (en) * 2013-03-04 2016-11-22 Alex C. Chen Method and apparatus for recognizing behavior and providing information
US10206572B1 (en) 2017-10-10 2019-02-19 Carrot, Inc. Systems and methods for quantification of, and prediction of smoking behavior
US11699039B2 (en) * 2017-06-28 2023-07-11 Microsoft Technology Licensing, Llc Virtual assistant providing enhanced communication session services
US10585991B2 (en) 2017-06-29 2020-03-10 Microsoft Technology Licensing, Llc Virtual assistant for generating personalized responses within a communication session
EP3850573A1 (en) * 2018-09-14 2021-07-21 Philippe Laik Interaction recommendation system
JP6743108B2 (ja) * 2018-10-31 2020-08-19 西日本電信電話株式会社 パターン認識モデル及びパターン学習装置、その生成方法、それを用いたfaqの抽出方法及びパターン認識装置、並びにプログラム
JP7326801B2 (ja) 2019-03-22 2023-08-16 富士フイルムビジネスイノベーション株式会社 交流支援装置及びプログラム
CN110176055B (zh) * 2019-05-28 2023-04-18 重庆大学 一种用于在3d虚拟引擎中模拟实时全局光照的自适应方法
JP2021018546A (ja) * 2019-07-18 2021-02-15 トヨタ自動車株式会社 車両用コミュニケーション装置および車両用コミュニケーションシステム
JP7444430B2 (ja) * 2019-11-25 2024-03-06 株式会社Aill コミュニケーション支援サーバ、コミュニケーション支援システム、コミュニケーション支援方法、及びコミュニケーション支援プログラム
KR20220122729A (ko) * 2019-12-30 2022-09-02 시락 게엠베하 인터내셔날 행동-변화 프로그램에서 개인을 돕기 위한 시스템 및 방법
US11461405B2 (en) * 2020-01-13 2022-10-04 International Business Machines Corporation Technology based commonality detection system
WO2022030322A1 (ja) * 2020-08-07 2022-02-10 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3790602B2 (ja) * 1997-04-25 2006-06-28 富士ゼロックス株式会社 情報共有装置
JP3611509B2 (ja) * 1999-11-02 2005-01-19 株式会社国際電気通信基礎技術研究所 知識共有促進システム
JP2001188787A (ja) 1999-12-28 2001-07-10 Sony Corp 会話処理装置および方法、並びに記録媒体
US6721704B1 (en) * 2001-08-28 2004-04-13 Koninklijke Philips Electronics N.V. Telephone conversation quality enhancer using emotional conversational analysis
WO2009122745A1 (ja) * 2008-04-02 2009-10-08 パナソニック株式会社 コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム
US8560608B2 (en) * 2009-11-06 2013-10-15 Waldeck Technology, Llc Crowd formation based on physical boundaries and other rules
EP2747014A1 (en) * 2011-02-23 2014-06-25 Bottlenose, Inc. Adaptive system architecture for identifying popular topics from messages
US9106599B2 (en) * 2011-10-17 2015-08-11 Disintermediation Services, Inc. Two-way real time communication allowing asymmetric participation across multiple electronic platforms
US10204026B2 (en) * 2013-03-15 2019-02-12 Uda, Llc Realtime data stream cluster summarization and labeling system
FR3011375B1 (fr) * 2013-10-01 2017-01-27 Aldebaran Robotics Procede de dialogue entre une machine, telle qu'un robot humanoide, et un interlocuteur humain, produit programme d'ordinateur et robot humanoide pour la mise en œuvre d'un tel procede
US20150156268A1 (en) * 2013-12-04 2015-06-04 Conduit Ltd Suggesting Topics For Social Conversation
US20150261867A1 (en) * 2014-03-13 2015-09-17 Rohit Singal Method and system of managing cues for conversation engagement
US20150281371A1 (en) * 2014-03-26 2015-10-01 Conversant Intellectual Property Management Incorporated Apparatus, system, and method for connecting devices
US9645703B2 (en) * 2014-05-14 2017-05-09 International Business Machines Corporation Detection of communication topic change
US9296396B2 (en) * 2014-06-13 2016-03-29 International Business Machines Corporation Mitigating driver fatigue
US10375129B2 (en) * 2014-06-17 2019-08-06 Microsoft Technology Licensing, Llc Facilitating conversations with automated location mapping
US20160164813A1 (en) * 2014-12-04 2016-06-09 Intel Corporation Conversation agent
US10395552B2 (en) * 2014-12-19 2019-08-27 International Business Machines Corporation Coaching a participant in a conversation
US9628415B2 (en) * 2015-01-07 2017-04-18 International Business Machines Corporation Destination-configured topic information updates
US9639770B2 (en) * 2015-03-26 2017-05-02 Konica Minolta Laboratory U.S.A., Inc. System and method for improving communication productivity

Also Published As

Publication number Publication date
US20180108347A1 (en) 2018-04-19
EP3309738A1 (en) 2018-04-18
JPWO2016199464A1 (ja) 2018-04-05
WO2016199464A1 (ja) 2016-12-15
EP3309738A4 (en) 2018-11-07
US10665229B2 (en) 2020-05-26

Similar Documents

Publication Publication Date Title
JP6729571B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20230230053A1 (en) Information processing apparatus, control method, and storage medium
JP6756328B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US10853650B2 (en) Information processing apparatus, information processing method, and program
US10990613B2 (en) Information processing apparatus and information processing method
US20190220933A1 (en) Presence Granularity with Augmented Reality
CN106507207B (zh) 直播应用中互动的方法及装置
KR20190053278A (ko) 가상 공간에서의 사용자 상호작용을 위한 컨트롤 및 인터페이스
US20110320536A1 (en) Acceleration of social interactions
JPWO2015162949A1 (ja) 通信システム、制御方法、および記憶媒体
CN103207675A (zh) 制作媒体节目集锦或扩充媒体节目
TW201923758A (zh) 音頻活動追蹤及概括
WO2016136104A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11227296B2 (en) Information processing system and information processing method
JPWO2019116658A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2018186326A (ja) ロボット装置及びプログラム
JP2016189121A (ja) 情報処理装置、情報処理方法およびプログラム
US11217253B2 (en) Information processing apparatus, information processing method, and information processing system
TW202022647A (zh) 社群網路之控制系統與控制方法
CN109726762A (zh) 视频类型确定方法、装置、电子设备及存储介质
CN115981452A (zh) 交互方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190206

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190206

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200615

R151 Written notification of patent or utility model registration

Ref document number: 6729571

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151