JP6729571B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP6729571B2 JP6729571B2 JP2017523130A JP2017523130A JP6729571B2 JP 6729571 B2 JP6729571 B2 JP 6729571B2 JP 2017523130 A JP2017523130 A JP 2017523130A JP 2017523130 A JP2017523130 A JP 2017523130A JP 6729571 B2 JP6729571 B2 JP 6729571B2
- Authority
- JP
- Japan
- Prior art keywords
- topic
- user
- information
- behavior
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 86
- 238000003672 processing method Methods 0.000 title claims description 7
- 230000009471 action Effects 0.000 claims description 142
- 238000004891 communication Methods 0.000 claims description 74
- 238000012545 processing Methods 0.000 claims description 44
- 230000008859 change Effects 0.000 claims description 26
- 230000007704 transition Effects 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 23
- 239000000284 extract Substances 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 23
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 14
- 230000000052 comparative effect Effects 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 8
- 230000007613 environmental effect Effects 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000006399 behavior Effects 0.000 description 133
- 238000000034 method Methods 0.000 description 69
- 238000004458 analytical method Methods 0.000 description 54
- 238000009826 distribution Methods 0.000 description 31
- 230000008569 process Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 19
- 230000003542 behavioural effect Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 13
- 238000003860 storage Methods 0.000 description 10
- 230000014759 maintenance of location Effects 0.000 description 8
- 230000004913 activation Effects 0.000 description 7
- 230000000699 topical effect Effects 0.000 description 7
- 230000007423 decrease Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008092 positive effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000010187 selection method Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 239000013256 coordination polymer Substances 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000008450 motivation Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010002942 Apathy Diseases 0.000 description 1
- 206010021703 Indifference Diseases 0.000 description 1
- 241000287181 Sturnus vulgaris Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007562 laser obscuration time method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9035—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Tourism & Hospitality (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
1.概要
2.機能構成
3.話題提供方法
3.1.話題生成処理
3.2.話題提案処理
3.3.話題提示処理
4.まとめ
5.ハードウェア構成
6.補足
まず、図1を参照して、本開示の一実施形態に係る話題提供システム1の概要について説明する。図1は、本実施形態に係る話題提供システム1の概要を示す説明図である。
まず、図2に基づいて、本実施形態に係る話題提供システム1において話題を提供するための処理を行う情報処理装置100の機能構成を説明する。図2は、本実施形態に係る情報処理装置100の機能構成を示す機能ブロック図である。
話題生成部110は、会話をしているユーザの行動に関する情報に基づいて、話し相手との話題を生成する。話題生成部110は、会話をしているユーザの行動に関する情報を取得して、自分では気づいていない行動の変化や他人とのずれ等から、話題となる情報を抽出し、話題候補とする。話題生成部110は、例えば、図2に示すように、自己行動分析部112と、共通行動分析部114と、プロファイル分析部116を有する。
話題提案部120は、生成された話題から会話を行っている場に適した話題を抽出し、ユーザに話題候補として提案するための処理を行う。話題提案部120は、図2に示すように、例えば、盛り上がり度算出部122と、話題抽出部124と、期待度算出部126とを有する。
話題提示処理部130は、話題提案部120により抽出された話題候補をユーザに提示するための処理を行う。話題提示処理部130は、ユーザと話し相手とが会話しているシチュエーションにより、話題の提示の仕方を変化させてもよい。例えば、周囲に気付かれないように話題を提供する場合には、提供しようとするユーザのみにさりげなく話題を提示するようにしてもよい。あるいは、話題を提示することも場を盛り上げるエンターテインメント要素とする場合には、会話に参加している各ユーザに話題を提示するようにしてもよい。話題提示処理部130は、話題候補をユーザに提示する機器にて提示可能なように所定の処理を行い、各機器へ出力する。
以下、本実施形態に係る話題提供システム1を用いた話題提供方法について、図3に沿って説明する。図3は、本実施形態に係る話題提供システム1を用いた話題提供方法を示すフローチャートである。
図3に示すように、本実施形態に係る話題提供システム1は、まず、話題生成部110により、ユーザに提示する話題を生成する処理を行う(S110)。本実施形態に係る話題提供システム1では、会話をしているユーザの行動に関する情報に基づいて、話し相手との話題を生成する。話題生成部110は、会話をしているユーザの行動に関する情報を取得して、自分では気づいていない行動の変化や他人とのずれ等から、話題となる情報を抽出し、話題候補とする。
(1)自己の行動に関する情報から話題を生成
(2)ユーザ間に共通する共通行動に関する行動から話題を生成
(3)各ユーザのプロファイルをマッチングすることにより話題を生成
以下、各方法について詳細に説明していく。
まず、図4〜図7に基づいて、話題を提供しようとするユーザの行動に関する情報のみを用いて話題を生成する方法を説明する。図4は、ユーザの行動ログの比較を説明する説明図である。図5は、ユーザの過去の行動傾向と直近行動とのずれから話題性のある行動を抽出する例を示す説明図である。図6は、ユーザの行動傾向の変化から話題性のある行動を抽出する例を示す説明図である。図7は、ユーザの過去の行動傾向において、ある区間で過去及び直近の行動傾向と異なる行動傾向を抽出する例を示す説明図である。
頻度:e.g.さっきから頻繁に歩いていた
継続:e.g.さっきからずっと歩き続けていた
間隔:e.g.さっき歩いたときからしばらく経って、また歩いた
差分:e.g.今回は前回までと比べて、電車に乗った時間が遅い
合計:e.g.ある時間帯より、今の時間帯の方がよく歩いている
突出:e.g.ここ最近に比べて今の時間帯は色々やっている
類似:e.g.今の時間帯のパターンは前回と同じだ
変化:e.g.最近よく走るようになった
周期:e.g.毎年春になると走っている
具体的に説明すると、まず、「突出」という行動特徴からは、自己の過去の行動傾向に対する直近行動のずれを抽出することができる。例えば、図5上側に示すように、ユーザがある滞留位置に到着するまでの行動について、普段は電車と歩きにより滞留位置に到着することが多いのに、直近の行動では電車と走りにより滞留位置に到着したことが検出されたとする。所定の時間帯かつ所定の位置での普段の行動の頻度あるいは回数について確率分布を作成すると、例えば図5下側のような正規分布となる。この分布において、中央の所定の範囲の行動は、その行動は頻繁に行われるものであり、話題にはならない日常的範囲の行動といえる。一方、日常的範囲外の行動は、普段とは異なる非日常的範囲の行動といえる。
次に、「変化」という行動特徴からは、自己の過去の行動傾向からの直近行動の変化の傾向を抽出することができる。例えば、ユーザのジョギングという行動について、徐々に長時間走るようになっているとき、所定の期間毎(例えば3か月単位)にユーザの一日あたりの走行時間の分布をみると、図6下側に示すように分布が徐々に右側へ移動していることがわかる。
また、「差分」という行動特徴からは、自己の過去のある区間における行動傾向が、過去の他の区間及び直近の行動傾向と異なることを抽出することができる。これは、過去における「突出」という行動特徴ともいえる。例えば、図7に示すように、ユーザのジョギングという行動について、生涯を通しての行動傾向と直近行動とはほぼ相違ないが、過去のある期間(例えば高校時代)には生涯での分布の標準範囲を超える行動傾向があった場合等がこの行動特徴に該当する。この例では、生涯を通しての行動傾向が比較情報となる。このように、全体において一部のみが突出して他と異なる行動をとっていたことを抽出し、話題としてもよい。
次に、図8〜図11に基づいて、ユーザ間で共通する行動に関する情報を用いて話題を生成する方法を説明する。図8は、ユーザ間で共通する行動の頻度の差分から話題性のある行動を抽出する例を示す説明図である。図9は、ユーザ間で共通する行動に関する情報のずれから話題性のある行動を抽出する例を示す説明図である。図10は、ユーザ間で共通する行動に関する情報のずれから話題性のある行動を抽出する他の例を示す説明図である。図11は、ユーザ間で共通する行動の行動傾向の世間とのずれから話題を抽出する例を示す説明図である。
共通行動分析により話題を生成する具体的な方法として、例えば、ユーザ間で共通する行動の頻度の差分から話題性のある行動を抽出する方法がある。例えば、会話するユーザがともに複合施設Mへ行ったことがある場合に、複合施設Mに行く頻度に差があることを話題にすることができる。一例として、図8下側に示すように、世代や所属等でまとめられたある集団において直近1年の間に複合施設Mに行った回数が、大多数は5回以下であったとする。ここで、話題を提供するユーザが複合施設Mに先日初めて行った場合、このユーザは大多数に含まれるが、話し相手は月2、3回複合施設Mに行っている場合、この話し相手は少数側に含まれる。このように、複合施設Mに行く頻度に差がある場合、その頻度の差に関することを話題にしてもよい。
共通行動分析により話題を生成する他の方法として、会話するユーザ間の共通行動に関する下位情報の差分を利用した話題の生成もある。例えば、図9下側に示すように、世代や所属等でまとめられたある集団において、ある時間帯に複合施設Mで行った行動をみたとき、多くの人は買い物をしていることがわかったとする。話し相手も、大多数の人と同様、複合施設Mでは買い物をしている。ここで、話題を提供するユーザも通常は買い物で複合施設Mに行くが、研修を受けに複合施設Mに行った場合、複合施設Mに行く目的が通常とは異なっていたことを話題としてもよい。
共通行動分析により話題を生成する他の方法として、例えば、ユーザ間で共通する行動の世間からのずれを抽出する方法がある。すなわち、会話するユーザが共に世間から外れた行動傾向があるような場合である。例えば、会話するユーザがともに競技自転車をやっている場合、日常の移動で自転車を利用するような一般的な人とは自転車利用時間が大きく異なる。例えば図11下側に示すような、世代や所属等でまとめられたある集団において1日あたりの自転車利用時間の分布において、自転車利用時間がある時間以下であるのが大多数であるとする。このとき、会話するユーザの自転車利用時間は共に大多数の人の時間よりもはるかに多く、少数側であるとき、この行動傾向の世間との相違を話題としてもよい。
次に、会話をするユーザのプロファイルに基づき話題を生成する方法を説明する。本実施形態に係るプロファイルの生成においては、時系列な位置情報と、行動認識結果とを用いる。
まず、図13〜図18に基づいて、プロファイル生成処理について詳細に説明する。なお、図13は、滞留位置及び行動認識結果からユーザのその滞留位置での目的を表すプロファイルを生成する処理を説明する説明図である。図14は、図13のプロファイル生成処理により取得されたユーザ行動情報テーブル142の一例を示す説明図である。図15〜図17は、滞留位置及び行動認識結果から生成されたユーザのプロファイル例を示す説明図である。図18は、アプリ起動履歴と行動認識結果とから生成されたプロファイルの一例を示す説明図である。
プロファイルは、例えば滞留位置と行動認識結果とに基づき生成することができる。滞留位置と行動認識結果とに基づくプロファイル生成処理では、図13に示すように、まず、ユーザの位置情報である緯度経度を場所名情報と場所カテゴリとに変換する。場所名は、地名や施設名等の名称であり、場所カテゴリは、場所のジャンルを表す情報である。
また、プロファイルは、例えば滞留位置間の遷移における移動手段の履歴に基づき生成することができる。滞留位置の遷移に基づくプロファイル生成処理で得られるプロファイルは、その人の行動傾向を表している。
上記以外に、例えばユーザが利用するスマートフォンやウェアラブル端末等にインストールされたアプリケーションの起動履歴と行動認識結果とを用いてプロファイルを生成することも可能である。例えば、図18に、アプリ起動履歴及び行動認識結果に基づき得られたプロファイルを記録するユーザ行動情報テーブル146の一例を示す。
次に、図19及び図20に基づいて、本実施形態に係るプロファイルマッチング処理について詳細に説明する。なお、図19は、プロファイルのマッチングにより提示する話題を決定する処理を説明する説明図である。図20は、ユーザ同士の親密度と開示情報との関係を示す説明図である。
ステップS110にて話題が生成されると、図3に示すように、話題提案部120により生成された話題からユーザに提供する話題が抽出される(S120)。
ステップS120の処理の考え方として、まず、図21に基づいて、ユーザ間の会話コミュニケーションのプロセスを説明する。図21は、ユーザ間の会話コミュニケーションのプロセスの概念図である。
・「無関心」:相手に関心がないので、コミュニケーションが成立しない状態
・「相手への関心を持つ」:相手に関心をもち、相手を理解しようと試みる状態
・「相手から関心を持たれたい」:相手にも自分を理解してもらおうと試みる状態
本実施形態では、コミュニケーションを良好に継続させるための評価指標として、「場の盛り上がり度」を導入する。「場」とは、一時的に形成されるコミュニケーションイベントを表す。図22に、コミュニケーションの場と当該コミュニケーションへの参加者との概念を示す。図22では、参加者A、B、Cの3名によって一時的なコミュニケーションの場が形成されている。各参加者の盛り上がり度によって、場の盛り上がり度が変化する。ここで、場の盛り上がり度HPは、以下の式(1)で表される。env(t)は、時間の経過による場の盛り下がりを表す環境変化である。場の盛り上がり度HPは、各参加者の盛り上がり度HA、HB、HCによって変化する。
次に、図23に基づき、話題抽出部124によるユーザへ提示する話題の選択方法について説明する。なお、図23は、本実施形態に係る話題選択方法を示すフローチャートである。話題抽出部124は、盛り上がり度算出部122により算出された上記評価値を用いて、話題生成部110にて生成された話題からユーザへ提示する話題を抽出する。図23に示す処理は、例えば話題が場へ投入されたタイミングで実行される。
ここで、話題投入による場の盛り上がりへの期待を期待度として参加者へ提示してもよい。これにより、参加者は、各話題について、投入した際の場の盛り上がりの大きさを想定しつつ投入する話題を選択することが可能となる。
図23の処理に沿って上述したように、話題提供システム1は、コミュニケーションの場への話題の投入と評価を繰り返して、会話が好循環する状態となるようにサポートする。図25に、話題の投入と場の盛り上がり度との一関係を示す。場の盛り上がり度HPは、上述したように、式(1)に基づき算出される。式(1)において、環境項env(t)は時間に比例して盛り上がり度を下げ、離散的に投入される話題により盛り上がり度は押し上げられる。したがって、盛り上がり度の時間推移をみると、図25に示すように、話題が投入されると一時的に盛り上がり度が上昇し、その後時間が経過するにつれ盛り上がり度が低下するという動きを取ることがわかる。
話題提案部120は、話題抽出部124により話題を抽出するにあたり、シチュエーションを分析して、提案する話題に重み付けを行ってもよい。これにより、より状況に適した話題を提案することが可能となる。
[3.3.話題提示処理]
ステップS130にて提示する話題が抽出されると、図3に示すように、話題提示処理部130により、ユーザに話題を提供するための処理が行われる(S130)。話題提示処理部130は、その場の状況により、本人、または話題を共有している複数人に話題を提示する。
まず、話題提供システム1がある個人へ話題を提示する場合について説明する。個人への話題の提示方法としては、例えば、視覚的な提示方法として、グラス型ウェアラブル端末の表示パネルに話題を提示したり、個人が保持する機器や空間にあるLEDを発光させたりして話題を提示することが考えられる。また、聴覚的な提示方法として、例えばイヤホンやオープンスピーカ等を用いることもでき、聴覚、力覚的な提示方法として、例えば振動や温度等を利用することもできる。個人に対して話題を提示する場合は、周囲に気付かれないようにさりげなく話題を提示できるようにしてもよい。
次に、話題提供システム1がコミュニケーションの場に参加している複数人へ話題を提示する場合について説明する。複数人への話題の提示方法としては、例えば、視覚的な提示方法として、プロジェクタによりテーブルトップ等の投影面に話題を提示することが考えられる。また、聴覚的な提示方法として、例えばスピーカ等を用いることもでき、触覚的な提示方法として、例えば空調やテーブル等の温度の調整を行うことも可能である。複数人に対して話題を提示する場合は、話題の提示まで含めて場を盛り上げるようなエンターテインメント要素も付与することも可能である。
・話題の提示方法
本実施形態に係る話題提供システム1による話題の提示方法は、図30や図31に示した例に限定されず、例えば、情報の提示は文字に限定されない。例えば、アイコン表示によりユーザに話題を提示するようにしてもよい。具体的には、自転車に関する話題を示す場合には自電車の絵のアイコンを表示させたり、過去のエピソードを話題とすることを提示する場合には、そのイベント時の写真を表示させたりしてもよい。
また、話題は常時提示しなくともよく、話題を提示すべきときだけカードがグラス型ウェアラブル端末やテーブルトップ上に自動的に提示されるようにしてもよい。あるいは、ユーザの指示を受けた場合にのみ、話題を提示するようにしてもよい。例えば、ユーザが話題を表示させるための特定のアイコンに対して目線を合わしたりコントローラでカーソルを合わせたりした時だけ、話題がグラス型ウェアラブル端末やテーブルトップ上に提示されてもよい。
さらに、話題の提示先は、グラス型ウェアラブル端末やテーブルトップに限定されるものではない。例えば、抽出された話題候補の一覧を個人所有のスマートフォンやタブレット端末、バンド等の機器上に表示させてもよい。なお、これら機器に話題を提示した場合、ユーザが話題の提示に気付かない可能性もある。そこで、例えば話題準備完了時にユーザに通知し、ユーザが提示された話題を見るように誘導してもよい。具体的な通知方法としては、当人の機器のみ音を鳴らすようにしたり、鐘の音等によって全員に話題切り替えタイミングを教えるような演出をしたりしてもよい。あるいは、ユーザが装着するバンドを振動させて通知してもよい。また、音声通知と表示通知とを組み合わせて、インデックスだけ音声で伝え、一覧取得を画像として取得させるようにしてもよい。
また、図31に示したテーブルトップ上に話題を表示させた場合等のように、会話に参加する複数人がそれぞれカードを見ることができる場合に、各参加者の目線や動作を基に、カード表示に演出を加えてもよい。例えば、ユーザが自分の手持ちのカードをじっと見るとそのカード群を展開させ、ユーザがカード群から目線を外すとカード群が集約されるようにしてもよい。あるいは、図35に示すように、他のユーザが自分の手持ちのカードを覗き込む動作を検出したとき、カードを隠すパネル30(31、33、35、37)を表示させて、各カードをパネル30の後に回して隠すようにしてもよい。なお、カード群の展開、集約、隠し表示等は、ユーザの視線に基づき行ってもよく、コントローラ等を用いて操作してもよい。
さらに、ゲーム性を強調するために仮想の司会役を設定してもよい。例えば、各プレーヤー(参加者)は仮想の司会役に話題を提出し、司会がそれぞれから提出された話題を選択するようなシステムでもよい。司会役は、多数決やランダムで話題を選んでもよい。もちろん、この司会をファシリテータに置き換え、手動により選択するようにしてもよい。
上述した関連話題の提示や統計表示のためには、これまで何の話題が選択されたかを話題提供システム1が知る必要がある。この認識は、単語等をもとにした自動認識により行ってもよい。あるいは、テーブルトップ等へのタッチ操作や、ユーザが装着するブレスレット等のスライド操作、機器のタップ操作、視線操作、目線で選択してうなずきで話題を決定する操作等といった各種操作を手動認識し、選択された話題を認識してもよい。
以上、本実施形態に係る話題提供システム1の構成と、これによる話題提供方法について説明した。本開示によれば、話題提供システム1の情報処理装置100は、ユーザのある行動と、当該行動に関する比較情報との比較結果に基づいて、話し相手との話題を生成し、生成した話題からユーザに提案する話題候補を決定する。そして、情報処理装置100は、話題を提供するコミュニケーションの場に応じた適切な話題を提案する。これにより、ユーザはあまり面識のない人とのコミュニケーションにおいても、相手とアイスブレイクするための話題を得ることができ、良好なコミュニケーションを取ることが可能となる。
次に、図36を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図36は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置900は、例えば、上記の実施形態におけるサーバ10を実現しうる。
本開示の実施形態は、例えば、上記で説明したような情報処理装置(例えばサーバ)、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
(1)
ユーザのある行動と、前記行動に関する比較情報との比較結果に基づいて、話し相手との話題を生成する話題生成部と、
生成された前記話題からユーザに提案する話題候補を決定する話題提案部と、
を備える、情報処理装置。
(2)
ある行動に関する前記ユーザの日常的な行動を前記比較情報として、
前記話題生成部は、直近の前記ユーザの行動が当該ユーザの日常的な行動と異なる場合、前記直近のユーザの行動の内容を話題として生成する、前記(1)に記載の情報処理装置。
(3)
ある行動に関する前記ユーザの過去の行動傾向を前記比較情報として、
前記話題生成部は、直近の前記ユーザの行動傾向が当該ユーザの過去の行動傾向から変化している場合、当該ユーザの行動傾向の変化を話題として生成する、前記(1)または(2)に記載の情報処理装置。
(4)
ある行動に関する前記ユーザの過去の行動傾向を前記比較情報として、
前記話題生成部は、前記ユーザの過去のある区間における行動傾向が、当該ユーザの過去の他の区間における行動傾向及び直近の前記ユーザの行動傾向と異なる場合、当該ユーザの行動傾向の変化を話題として生成する、前記(1)〜(3)のいずれか1項に記載の情報処理装置。
(5)
前記ユーザと前記話し相手とが行ったことのある共通行動に関する、前記話し相手の行動傾向を前記比較情報として、
前記話題生成部は、ある共通行動に関する前記ユーザの行動傾向と前記話し相手の行動傾向とが異なる場合、前記共通行動に関する情報を話題として生成する、前記(1)〜(4)のいずれか1項に記載の情報処理装置。
(6)
前記話題生成部は、前記共通行動の発生頻度に基づいて、前記ユーザと前記話し相手との行動の差分を判定する、前記(5)に記載の情報処理装置。
(7)
前記話題生成部は、前記共通行動に関する下位情報に基づいて、前記ユーザと前記話し相手との行動の差分を判定する、前記(5)に記載の情報処理装置。
(8)
前記ユーザと前記話し相手とが行ったことのある共通行動に関する、前記話し相手の行動傾向を前記比較情報として、
前記話題生成部は、ある共通行動に関する前記ユーザの行動傾向及び前記話し相手の行動傾向が世間の行動傾向と異なる場合、前記共通行動に関する情報を話題として生成する、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(9)
前記話題提案部は、
前記ユーザと前記話し相手とにより形成されるコミュニケーションの場の盛り上がり度を算出する盛り上がり度算出部と、
前記話題生成部により生成された前記話題から、前記盛り上がり度に応じた話題を抽出する話題抽出部と、
を備える、前記(1)〜(8)のいずれか1項に記載の情報処理装置。
(10)
前記盛り上がり度算出部は、前記ユーザの発話に対する前記話し相手の反応に関する評価関数に基づいて、前記盛り上がり度を算出する、前記(9)に記載の情報処理装置。
(11)
前記話題抽出部は、前記ユーザの発話に対する前記コミュニケーションの場の盛り上がり度に応じて、前記話題候補として抽出する話題における今回発話した話題に関連する関連情報の割合を変化させる、前記(9)または(10)に記載の情報処理装置。
(12)
前記話題抽出部は、前記ユーザと前記話し相手とが会話するシチュエーションに応じて決定される状態情報に基づいて、前記話題生成部により生成された各話題に重み付けを行う、前記(9)〜(11)のいずれか1項に記載の情報処理装置。
(13)
前記話題提案部は、前記話題候補として抽出された各話題について、話題投入により前記コミュニケーションの場が盛り上がる期待度を算出する期待度算出部を備える、前記(9)〜(12)のいずれか1項に記載の情報処理装置。
(14)
前記話題候補をユーザに提示するための処理を行う話題提示処理部を備える、前記(1)〜(13)のいずれか1項に記載の情報処理装置。
(15)
前記話題提示処理部は、前記ユーザと前記話し相手とにより形成されるコミュニケーションの場に参加する少なくとも1人に対して前記話題候補を提示する処理を行う、前記(14)に記載の情報処理装置。
(16)
前記話題提示処理部は、コミュニケーションの場の盛り上がり度の推移を前記ユーザと前記話し相手とにより形成されるコミュニケーションの場に参加する少なくとも1人に対して提示する処理を行う、前記(14)または(15)に記載の情報処理装置。
(17)
前記話題提示処理部は、盛り上がり度の変化に応じて、コミュニケーションの場の環境設定を変化させる、前記(14)〜(16)のいずれか1項に記載の情報処理装置。
(18)
プロセッサにより、ユーザのある行動と、前記行動に関する比較情報との比較結果に基づいて、話し相手との話題を生成すること、
生成された前記話題からユーザに提案する話題候補を決定すること、
とを含む、情報処理方法。
(19)
コンピュータを、
ユーザのある行動と、前記行動に関する比較情報との比較結果に基づいて、話し相手との話題を生成する話題生成部と、
生成された前記話題からユーザに提案する話題候補を決定する話題提案部と、
を備える、情報処理装置として機能させるプログラム。
110 話題生成部
112 自己行動分析部
114 共通行動分析部
116 プロファイル分析部
120 話題提案部
122 盛り上がり度算出部
124 話題抽出部
126 期待度算出部
130 話題提示処理部
140 プロファイルDB
142、146 ユーザ行動情報テーブル
144 行動傾向テーブル
Claims (19)
- ユーザのある行動と、前記行動に関する比較情報との比較結果に基づいて、話し相手との話題を生成する話題生成部と、
生成された前記話題からユーザに提案する話題候補を決定する話題提案部と、
を備え、
前記話題提案部は、前記話題生成部により生成された前記話題から、前記ユーザと前記話し相手とにより形成されるコミュニケーションの場の環境に関する情報に応じた話題を抽出する話題抽出部を備える、情報処理装置。 - ある行動に関する前記ユーザの日常的な行動を前記比較情報として、
前記話題生成部は、直近の前記ユーザの行動が当該ユーザの日常的な行動と異なる場合、前記直近のユーザの行動の内容を話題として生成する、請求項1に記載の情報処理装置。 - ある行動に関する前記ユーザの過去の行動傾向を前記比較情報として、
前記話題生成部は、直近の前記ユーザの行動傾向が当該ユーザの過去の行動傾向から変化している場合、当該ユーザの行動傾向の変化を話題として生成する、請求項1または2に記載の情報処理装置。 - ある行動に関する前記ユーザの過去の行動傾向を前記比較情報として、
前記話題生成部は、前記ユーザの過去のある区間における行動傾向が、当該ユーザの過去の他の区間における行動傾向及び直近の前記ユーザの行動傾向と異なる場合、当該ユーザの行動傾向の変化を話題として生成する、請求項1〜3のいずれか1項に記載の情報処理装置。 - 前記ユーザと前記話し相手とが行ったことのある共通行動に関する、前記話し相手の行動傾向を前記比較情報として、
前記話題生成部は、ある共通行動に関する前記ユーザの行動傾向と前記話し相手の行動傾向とが異なる場合、前記共通行動に関する情報を話題として生成する、請求項1〜4のいずれか1項に記載の情報処理装置。 - 前記話題生成部は、前記共通行動の発生頻度に基づいて、前記ユーザと前記話し相手との行動の差分を判定する、請求項5に記載の情報処理装置。
- 前記話題生成部は、前記共通行動に関する下位情報に基づいて、前記ユーザと前記話し相手との行動の差分を判定する、請求項5に記載の情報処理装置。
- 前記ユーザと前記話し相手とが行ったことのある共通行動に関する、前記話し相手の行動傾向を前記比較情報として、
前記話題生成部は、ある共通行動に関する前記ユーザの行動傾向及び前記話し相手の行動傾向が世間の行動傾向と異なる場合、前記共通行動に関する情報を話題として生成する、請求項1〜7のいずれか1項に記載の情報処理装置。 - 前記話題提案部は、前記ユーザと前記話し相手とにより形成されるコミュニケーションの場の盛り上がり度を算出する盛り上がり度算出部を備え、
前記話題抽出部は、前記話題生成部により生成された前記話題から、前記ユーザと前記話し相手とにより形成されるコミュニケーションの場の環境に関する情報として、盛り上がり度に応じた話題を抽出する、請求項1〜8のいずれか1項に記載の情報処理装置。 - 前記盛り上がり度算出部は、前記ユーザの発話に対する前記話し相手の反応に関する評価関数に基づいて、前記盛り上がり度を算出する、請求項9に記載の情報処理装置。
- 前記話題抽出部は、前記ユーザの発話に対する前記コミュニケーションの場の盛り上がり度に応じて、前記話題候補として抽出する話題における今回発話した話題に関連する関連情報の割合を変化させる、請求項9または10に記載の情報処理装置。
- 前記話題抽出部は、前記ユーザと前記話し相手とが会話するシチュエーションに応じて決定される状態情報に基づいて、前記話題生成部により生成された各話題に重み付けを行う、請求項9〜11のいずれか1項に記載の情報処理装置。
- 前記話題提案部は、前記話題候補として抽出された各話題について、話題投入により前記コミュニケーションの場が盛り上がる期待度を算出する期待度算出部を備える、請求項9〜12のいずれか1項に記載の情報処理装置。
- 前記話題候補をユーザに提示するための処理を行う話題提示処理部を備える、請求項1〜13のいずれか1項に記載の情報処理装置。
- 前記話題提示処理部は、前記ユーザと前記話し相手とにより形成されるコミュニケーションの場に参加する少なくとも1人に対して前記話題候補を提示する処理を行う、請求項14に記載の情報処理装置。
- 前記話題提示処理部は、コミュニケーションの場の盛り上がり度の推移を前記ユーザと前記話し相手とにより形成されるコミュニケーションの場に参加する少なくとも1人に対して提示する処理を行う、請求項14または15に記載の情報処理装置。
- 前記話題提示処理部は、盛り上がり度の変化に応じて、コミュニケーションの場の環境設定を変化させる、請求項14〜16のいずれか1項に記載の情報処理装置。
- プロセッサにより、ユーザのある行動と、前記行動に関する比較情報との比較結果に基づいて、話し相手との話題を生成すること、
生成された前記話題から、前記ユーザと前記話し相手とにより形成されるコミュニケーションの場の環境に関する情報に応じた話題を抽出し、前記ユーザに提案する話題候補を決定すること、
とを含む、情報処理方法。 - コンピュータを、
ユーザのある行動と、前記行動に関する比較情報との比較結果に基づいて、話し相手との話題を生成する話題生成部と、
生成された前記話題からユーザに提案する話題候補を決定する話題提案部と、
を備え、
前記話題提案部は、前記話題生成部により生成された前記話題から、前記ユーザと前記話し相手とにより形成されるコミュニケーションの場の環境に関する情報に応じた話題を抽出する話題抽出部を備える、情報処理装置として機能させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015118930 | 2015-06-12 | ||
JP2015118930 | 2015-06-12 | ||
PCT/JP2016/056481 WO2016199464A1 (ja) | 2015-06-12 | 2016-03-02 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016199464A1 JPWO2016199464A1 (ja) | 2018-04-05 |
JP6729571B2 true JP6729571B2 (ja) | 2020-07-22 |
Family
ID=57503154
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017523130A Active JP6729571B2 (ja) | 2015-06-12 | 2016-03-02 | 情報処理装置、情報処理方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10665229B2 (ja) |
EP (1) | EP3309738A4 (ja) |
JP (1) | JP6729571B2 (ja) |
WO (1) | WO2016199464A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9500865B2 (en) * | 2013-03-04 | 2016-11-22 | Alex C. Chen | Method and apparatus for recognizing behavior and providing information |
US10206572B1 (en) | 2017-10-10 | 2019-02-19 | Carrot, Inc. | Systems and methods for quantification of, and prediction of smoking behavior |
US11699039B2 (en) * | 2017-06-28 | 2023-07-11 | Microsoft Technology Licensing, Llc | Virtual assistant providing enhanced communication session services |
US10585991B2 (en) | 2017-06-29 | 2020-03-10 | Microsoft Technology Licensing, Llc | Virtual assistant for generating personalized responses within a communication session |
EP3850573A1 (en) * | 2018-09-14 | 2021-07-21 | Philippe Laik | Interaction recommendation system |
JP6743108B2 (ja) * | 2018-10-31 | 2020-08-19 | 西日本電信電話株式会社 | パターン認識モデル及びパターン学習装置、その生成方法、それを用いたfaqの抽出方法及びパターン認識装置、並びにプログラム |
JP7326801B2 (ja) | 2019-03-22 | 2023-08-16 | 富士フイルムビジネスイノベーション株式会社 | 交流支援装置及びプログラム |
CN110176055B (zh) * | 2019-05-28 | 2023-04-18 | 重庆大学 | 一种用于在3d虚拟引擎中模拟实时全局光照的自适应方法 |
JP2021018546A (ja) * | 2019-07-18 | 2021-02-15 | トヨタ自動車株式会社 | 車両用コミュニケーション装置および車両用コミュニケーションシステム |
JP7444430B2 (ja) * | 2019-11-25 | 2024-03-06 | 株式会社Aill | コミュニケーション支援サーバ、コミュニケーション支援システム、コミュニケーション支援方法、及びコミュニケーション支援プログラム |
KR20220122729A (ko) * | 2019-12-30 | 2022-09-02 | 시락 게엠베하 인터내셔날 | 행동-변화 프로그램에서 개인을 돕기 위한 시스템 및 방법 |
US11461405B2 (en) * | 2020-01-13 | 2022-10-04 | International Business Machines Corporation | Technology based commonality detection system |
WO2022030322A1 (ja) * | 2020-08-07 | 2022-02-10 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3790602B2 (ja) * | 1997-04-25 | 2006-06-28 | 富士ゼロックス株式会社 | 情報共有装置 |
JP3611509B2 (ja) * | 1999-11-02 | 2005-01-19 | 株式会社国際電気通信基礎技術研究所 | 知識共有促進システム |
JP2001188787A (ja) | 1999-12-28 | 2001-07-10 | Sony Corp | 会話処理装置および方法、並びに記録媒体 |
US6721704B1 (en) * | 2001-08-28 | 2004-04-13 | Koninklijke Philips Electronics N.V. | Telephone conversation quality enhancer using emotional conversational analysis |
WO2009122745A1 (ja) * | 2008-04-02 | 2009-10-08 | パナソニック株式会社 | コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム |
US8560608B2 (en) * | 2009-11-06 | 2013-10-15 | Waldeck Technology, Llc | Crowd formation based on physical boundaries and other rules |
EP2747014A1 (en) * | 2011-02-23 | 2014-06-25 | Bottlenose, Inc. | Adaptive system architecture for identifying popular topics from messages |
US9106599B2 (en) * | 2011-10-17 | 2015-08-11 | Disintermediation Services, Inc. | Two-way real time communication allowing asymmetric participation across multiple electronic platforms |
US10204026B2 (en) * | 2013-03-15 | 2019-02-12 | Uda, Llc | Realtime data stream cluster summarization and labeling system |
FR3011375B1 (fr) * | 2013-10-01 | 2017-01-27 | Aldebaran Robotics | Procede de dialogue entre une machine, telle qu'un robot humanoide, et un interlocuteur humain, produit programme d'ordinateur et robot humanoide pour la mise en œuvre d'un tel procede |
US20150156268A1 (en) * | 2013-12-04 | 2015-06-04 | Conduit Ltd | Suggesting Topics For Social Conversation |
US20150261867A1 (en) * | 2014-03-13 | 2015-09-17 | Rohit Singal | Method and system of managing cues for conversation engagement |
US20150281371A1 (en) * | 2014-03-26 | 2015-10-01 | Conversant Intellectual Property Management Incorporated | Apparatus, system, and method for connecting devices |
US9645703B2 (en) * | 2014-05-14 | 2017-05-09 | International Business Machines Corporation | Detection of communication topic change |
US9296396B2 (en) * | 2014-06-13 | 2016-03-29 | International Business Machines Corporation | Mitigating driver fatigue |
US10375129B2 (en) * | 2014-06-17 | 2019-08-06 | Microsoft Technology Licensing, Llc | Facilitating conversations with automated location mapping |
US20160164813A1 (en) * | 2014-12-04 | 2016-06-09 | Intel Corporation | Conversation agent |
US10395552B2 (en) * | 2014-12-19 | 2019-08-27 | International Business Machines Corporation | Coaching a participant in a conversation |
US9628415B2 (en) * | 2015-01-07 | 2017-04-18 | International Business Machines Corporation | Destination-configured topic information updates |
US9639770B2 (en) * | 2015-03-26 | 2017-05-02 | Konica Minolta Laboratory U.S.A., Inc. | System and method for improving communication productivity |
-
2016
- 2016-03-02 EP EP16807171.0A patent/EP3309738A4/en not_active Ceased
- 2016-03-02 WO PCT/JP2016/056481 patent/WO2016199464A1/ja active Application Filing
- 2016-03-02 US US15/566,876 patent/US10665229B2/en active Active
- 2016-03-02 JP JP2017523130A patent/JP6729571B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US20180108347A1 (en) | 2018-04-19 |
EP3309738A1 (en) | 2018-04-18 |
JPWO2016199464A1 (ja) | 2018-04-05 |
WO2016199464A1 (ja) | 2016-12-15 |
EP3309738A4 (en) | 2018-11-07 |
US10665229B2 (en) | 2020-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6729571B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US20230230053A1 (en) | Information processing apparatus, control method, and storage medium | |
JP6756328B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US10853650B2 (en) | Information processing apparatus, information processing method, and program | |
US10990613B2 (en) | Information processing apparatus and information processing method | |
US20190220933A1 (en) | Presence Granularity with Augmented Reality | |
CN106507207B (zh) | 直播应用中互动的方法及装置 | |
KR20190053278A (ko) | 가상 공간에서의 사용자 상호작용을 위한 컨트롤 및 인터페이스 | |
US20110320536A1 (en) | Acceleration of social interactions | |
JPWO2015162949A1 (ja) | 通信システム、制御方法、および記憶媒体 | |
CN103207675A (zh) | 制作媒体节目集锦或扩充媒体节目 | |
TW201923758A (zh) | 音頻活動追蹤及概括 | |
WO2016136104A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US11227296B2 (en) | Information processing system and information processing method | |
JPWO2019116658A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2018186326A (ja) | ロボット装置及びプログラム | |
JP2016189121A (ja) | 情報処理装置、情報処理方法およびプログラム | |
US11217253B2 (en) | Information processing apparatus, information processing method, and information processing system | |
TW202022647A (zh) | 社群網路之控制系統與控制方法 | |
CN109726762A (zh) | 视频类型确定方法、装置、电子设备及存储介质 | |
CN115981452A (zh) | 交互方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190206 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190206 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200615 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6729571 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |