JP7363807B2 - 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム - Google Patents
情報処理装置、情報処理システム、および情報処理方法、並びにプログラム Download PDFInfo
- Publication number
- JP7363807B2 JP7363807B2 JP2020556656A JP2020556656A JP7363807B2 JP 7363807 B2 JP7363807 B2 JP 7363807B2 JP 2020556656 A JP2020556656 A JP 2020556656A JP 2020556656 A JP2020556656 A JP 2020556656A JP 7363807 B2 JP7363807 B2 JP 7363807B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- information
- display
- attention
- list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 141
- 238000003672 processing method Methods 0.000 title claims description 17
- 238000004458 analytical method Methods 0.000 claims description 97
- 238000000034 method Methods 0.000 claims description 89
- 230000008569 process Effects 0.000 claims description 84
- 238000001514 detection method Methods 0.000 claims description 63
- 239000000284 extract Substances 0.000 claims description 32
- 239000000470 constituent Substances 0.000 claims description 7
- 238000012545 processing Methods 0.000 description 95
- 238000010586 diagram Methods 0.000 description 19
- 238000010191 image analysis Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 5
- 238000010079 rubber tapping Methods 0.000 description 4
- 235000013305 food Nutrition 0.000 description 3
- 235000014347 soups Nutrition 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
Description
例えば、複数ユーザが参加するオンラインゲーム等では、参加ユーザ間でチャットが行われる。チャットを行う場合、各ユーザはユーザのゲーム機(ユーザ端末)から自分の発言内容であるメッセージをテキスト入力する。
なお、チャットや、チャット実行時のメッセージ表示処理について開示した従来技術として、例えば特開2017-156906号公報がある。
例えば、AさんのユーザID=AnZvB4K7、BさんのユーザID=772TuYks8等のユーザIDである。
オンライゲーム等におけるテキストチャットにおいて用いられるユーザIDはユニークであることが求められる。そのため、複数の文字種類(大文字、小文字、記号、数字)を組み合わせたものである場合が多い。
「AnZvB4K7さんの発言に賛成」
上記のような入力が必要となる。
しかし、このような複雑なユーザIDを正確に入力することは困難であり、正確に入力するためには時間を要する。
表示部の表示情報に対するユーザ注視点を検出する視線検出部と、
前記ユーザ注視点の解析に基づいて前記ユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析部と、
前記リストの構成データからなる表示リストを生成する表示情報生成部を有する情報処理装置にある。
表示装置と、管理サーバを有する情報処理システムであり、
前記表示装置は、
表示部の表示情報に対するユーザ注視点を検出する視線検出部を有し、
前記管理サーバは、
前記表示装置において解析されたユーザ注視点情報を入力し、前記ユーザ注視点の解析に基づいて前記ユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析部と、
前記リストの構成データからなる表示リストを生成する表示情報生成部を有する情報処理システムにある。
情報処理装置において実行する情報処理方法であり、
視線検出部が、表示部の表示情報に対するユーザ注視点を検出する視線検出ステップと、
ユーザ注目情報解析部が、前記ユーザ注視点の解析に基づいて前記ユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析ステップと、
表示情報生成部が、前記リストの構成データからなる表示リストを生成する表示情報生成ステップを実行する情報処理方法にある。
表示装置と、管理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
前記表示装置が、表示部の表示情報に対するユーザ注視点を検出する視線検出処理を実行し、
前記管理サーバが、
前記表示装置において解析されたユーザ注視点情報を入力し、前記ユーザ注視点の解析に基づいて前記ユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析処理と、
前記リストの構成データからなる表示リストを生成する表示情報生成処理を実行する情報処理方法にある。
情報処理装置において情報処理を実行させるプログラムであり、
視線検出部に、表示部の表示情報に対するユーザ注視点を検出させる視線検出ステップと、
ユーザ注目情報解析部に、前記ユーザ注視点の解析に基づいて前記ユーザの注目情報を抽出させ、該注目情報に対応する情報からなるリストを生成させるユーザ注目情報解析ステップと、
表示情報生成部に前記リストの構成データからなる表示リストを生成させる表示情報生成ステップを実行させるプログラムにある。
具体的には、例えば、カメラ撮影画像に基づいて表示部の表示情報に対するユーザ注視点を検出する画像解析部と、ユーザ注視点が規定時間以上、滞留した注目情報を抽出し、注目情報に対応する情報からなるリストを生成するユーザ注目情報解析部と、リスト構成データからなる表示リストを生成する表示情報生成部を有する。ユーザ注目情報解析部はユーザ注視点情報を継続して入力し、最新の注目情報、またはユーザ注視点の滞留時間の長い注目情報をリスト上位に設定するソート処理を実行する。表示情報生成部は、例えばリスト構成データの上位データからなる表示リストを生成する。
本構成により、ユーザ注目情報を検出して検出した注目情報に基づく様々な処理を実行する構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
1.(実施例1)ユーザ視線に基づいてユーザの注目情報を特定して、注目情報に含まれるユーザIDを取得してユーザIDリストを表示する実施例について
1-1.実施例1の情報処理システムの構成例について
1-2.実施例1の処理の詳細について
1-3.実施例1の情報処理装置の構成例について
1-4.実施例1の情報処理装置の実行する処理のシーケンスについて
2.(実施例2)ユーザ視線に基づいてユーザの注目情報を特定して、注目情報対応の店舗情報を取得して店舗リストを表示する実施例について
2-1.実施例2の情報処理システムの構成例について
2-2.実施例2の処理の詳細について
2-3.管理サーバが複数ユーザの注目店舗リストのマージデータを生成する処理例について
2-4.実施例2の情報処理システムの構成例について
2-5.実施例2の情報処理システムの実行する処理のシーケンスについて
3.その他の実施例について
4.情報処理装置のハードウェア構成例について
5.本開示の構成のまとめ
まず、実施例1として、ユーザ視線に基づいてユーザの注目情報を特定して、注目情報に含まれるユーザIDを取得してユーザIDリストを表示する実施例について説明する。
しかし、このような複雑なユーザIDを正確に入力することは困難であり、正確に入力するためには時間を要する。
以下に説明する実施例は、このような面倒なユーザIDの入力を簡略化して、ユーザを特定した発言を容易にかつ正確に行うことを可能とした実施例である。
実施例1の情報処理システムの構成例について説明する。
図1は、本実施例の処理を行う情報処理システムに相当するネットワーク構成の一例を示す図である。
図1に示すネットワーク構成は、複数のユーザ端末10と、管理サーバ20がネットワークを介して通信可能な構成を有する。
管理サーバ20は、例えばオンラインゲームやチャットの管理処理を行う管理サーバである。
ユーザ端末10は、ゲーム機、スマホ、PC、テレビ等、様々な電子機器によって構成される。
次に、図2以下を参照して、実施例1の処理の詳細について説明する。
図2は、ネットワークを介して複数ユーザとチャットを実行中の1人のユーザが使用する1つのユーザ端末10の構成と処理を説明する図である。
チャットウィンドウ15には、ネットワークを介して実行中の複数のユーザとのチャットの内容が表示される。
チャットウィンドウ15には、メッセージを発信したユーザのユーザIDとメッセージが表示される。
図に示す[AlaskiG8+]等がユーザIDであり、その後のテキスト「わぁお」等がメッセージである。
ユーザが、メッセージ作成ウィンドウ16に自分のメッセージを入力する際に、ある特定のユーザの発言に対するコメントとしてメッセージを入力する場合には、どのユーザに対する発言であるかを明確にするため、ユーザIDの入力が必要となる。
「最後に、bo2s-agiesさんの一撃が効いたね」
ここで、「bo2s-agies」がコメント対象とするメッセージ発信者のユーザIDである。
そこで本開示の構成では、図に示すように表示部11にユーザID入力メニュー17を表示し、ユーザがこのユーザID入力メニュー17から入力したいユーザIDを選択するのみで、ユーザIDを入力可能としてメッセージ作成ウィンドウ16に表示する構成としている。
ユーザ端末10の制御部(データ処理部)は、図2に示すステップS01~S03の処理を実行する。
所定時間とは例えば3秒等の時間であり、この時間はユーザが自由に設定できる。
リストは、例えば以下のユーザIDによって構成されるリストである。
(1)bo2s-agies
(2)rc914kfcGcfk
(3)GenkiTama09
(4)AlaskiG8+
(5)Yamizon3845
(6)NGT2KqPSk
・・・
リストの順番は、ユーザの注目タイミングがより新しいものを上位とする設定である。制御部は、ユーザの注視状況の観測データに従って、逐次、リストの更新処理を実行する。
リストに含めるIDの上限数は、例えば6や10等であり、ユーザによる設定が可能である。
(1)bo2s-agies
(2)rc914kfcGcfk
(3)GenkiTama09
(4)AlaskiG8+
(5)Yamizon3845
(6)NGT2KqPSk
すなわち、ユーザが所定時間(例えば3秒)以上、注視したメッセージの発信者ユーザIDを注視タイミングの新しいものから順に6つ選択したユーザIDである。
ユーザID入力メニュー17領域にユーザIDを全く表示しない設定とすることも可能である。ボタン操作で表示、非表示を切り替え可能な構成としてもよい。
ユーザは、ユーザID入力メニュー17領域に表示されたユーザIDを選択するのみで、選択ユーザIDの入力処理を完了することができる。
「最後に、bo2s-agiesさんの一撃が効いたね」
ここで、「bo2s-agies」がコメント対象のメッセージ発信者のユーザのユーザIDである。
ユーザ端末10の制御部(データ処理部)は、ユーザのID選択情報を検出し、選択されたユーザIDをメッセージ作成ウィンドウ16に表示する。
すなわち、チャットを実行している他のユーザから発信されたメッセージ中、ユーザが直近に注目したメッセージの発信者であるユーザのユーザIDからなるリストが表示される。これにより、メッセージ入力時のユーザID入力が短時間で正確に実行可能となり、タイムリーなチャット進行が実現される。
管理サーバ20に設置されるユーザ注目情報DB21は各ユーザ端末対応のユーザ注目情報DB21である。
まず、ステップS11において、ユーザの注視点が、表示部11のチャットウィンドウ15内に表示された1つのメッセージ上に所定時間以上、滞留したことを検出する。
所定時間とは例えば3秒等の時間であり、この時間は、ユーザが自由に設定できる。
この処理は、ユーザ端末10の制御部(データ処理部)が実行する。
なお、このユーザ注目情報発信者ユーザIDリストは、各ユーザ端末単位のデータとして生成する。
リストの順番は、ユーザの注目タイミングがより新しいものを上位に設定するように、管理サーバ20の制御部(データ処理部)が、逐次、更新する。
ユーザは、メッセージを入力する際、ユーザID入力メニュー17領域に表示されたユーザIDを選択するのみで、選択ユーザIDの入力処理を完了することができる。
次に、実施例1の情報処理装置の構成例について説明する。
図4は、情報処理装置100の構成例を示すブロック図である。
なお、先に図3を参照して説明した構成の場合は、図4に示す情報処理装置100の一部がユーザ端末10に属し、一部が管理サーバ20に属する設定となる。
図4に示すように、情報処理装置100は、カメラ101、画像解析部102、ユーザ注目情報解析部103、ユーザ注目情報DB104、表示情報生成部(ユーザID選択メニュー生成部)105、表示制御部106、入力部107、通信部108、記憶部109、表示部110を有する。
画像解析部102は、カメラ101の撮影画像を入力して、情報処理装置100を操作しているユーザの視線方向を検出する。画像解析部102が解析したユーザ視線方向はユーザ注目情報解析部103に入力される。
表示部110に表示するユーザID選択メニューは、図2等を参照して説明したユーザID選択メニュー17である。
通信部108は、情報処理装置100と他のユーザ端末や管理サーバとの通信を実行する。
記憶部109は、情報処理装置100において実行する処理のプログラム、データ処理に適用するパラメータ、データ処理に適用するワークエリアとして利用される記憶部である。なお、記憶部109には情報処理装置100の識別情報等も記録される。
次に、図5に示すフローチャートを参照して情報処理装置100の実行する処理のシーケンスについて説明する。
以下、図5に示すフローの各ステップの処理について説明する。
まず、ステップS101~S104の処理について説明する。
まず、ステップS101において、カメラ撮影画像に基づく視線解析を実行する。この処理は、図4に示す情報処理装置100の画像解析部102が実行する処理である。
次に、ステップS102において、ユーザ視線が規定時間以上、滞留した注目情報が検出されたか否かを判定する。
ユーザ注目情報解析部103は、画像解析部102が解析したユーザ視線方向と情報処理装置100の表示情報に基づいて、ユーザの注目している情報を特定し、予め規定した時間(例えば3秒)以上、ユーザの注視点が1つの情報表示領域に滞留しているか否かを判定する。
ステップS102において、ユーザ視線が規定時間以上、滞留した注目情報が検出された場合はステップS103に進む。
ステップS103では、注目情報の発信者ユーザIDを取得する。
ユーザ注目情報解析部103は、ユーザ視線が規定時間以上、滞留したユーザ注目情報領域から、ユーザ注目情報の構成要素であるユーザID、すなわち、ユーザ注目情報中のメッセージの発信者を示すユーザIDを抽出する。
次に、ステップS104において、ステップS103で取得した発信者ユーザIDのリストを生成、更新して、ユーザ注目情報DB104に記録する。
ユーザ注目情報解析部103は、ユーザ注目情報中のメッセージの発信者を示すユーザIDを抽出し、「ユーザ注目情報発信者ユーザIDリスト」を生成、または更新してユーザ注目情報DB104に格納する。
なお、ユーザ注目情報DB104に格納する「ユーザ注目情報発信者ユーザIDリスト」は、前述したように、注目時間(注目タイミング)の新しいものほど上位に設定したリストである。
まず、ステップS121において、ユーザID選択メニューの表示要求の有無を検出する。
表示制御部106は、入力部107を介して、ユーザがユーザID選択メニューの表示要求を入力したか否かを判定する。
なお、本シーケンスは、ユーザ要求があった場合にのみ、ユーザID選択メニューを表示する構成とした場合の処理例である。
ユーザ要求の有無に関わらずユーザID選択メニューを表示する設定も可能である。
ステップS121において、ユーザID選択メニューの表示要求があったと判定した場合はステップS122に進み、ステップS122において、ユーザ注目情報DB104から、発信者ユーザIDリストを読み出す。
表示情報生成部(ユーザID選択メニュー生成部)105は、ユーザ注目情報DB104から、発信者ユーザIDリストを読み出す。
なお、発信者ユーザIDリストは、先に説明したステップS104の処理においてユーザ注目情報解析部103が生成、更新したリストであり、最新の更新データがユーザ注目情報DB104から読み出される。
次に、ステップS123において、読み出した発信者ユーザIDリストを表示部に表示する。
表示制御部106は、表示情報生成部(ユーザID選択メニュー生成部)105の生成したユーザID選択メニューを表示部110に表示する。
ユーザは、メッセージを入力する際、ユーザID入力メニュー17領域に表示されたユーザIDを選択するのみで、選択ユーザIDの入力処理を完了することができる。
次に、実施例2として、ユーザ視線に基づいてユーザの注目情報を特定して、注目情報対応の店舗情報を取得して店舗リストを表示する実施例について説明する。
本実施例2では、デジタルサイネージに表示された店舗情報に対するユーザの視線情報を解析してユーザ注目情報を特定し、特定したユーザ注目情報、具体的には店舗名等をスマホ等のユーザ端末に表示する処理を実行する。
実施例2の情報処理システムの構成例について説明する。
図6は、本実施例の処理を行う情報処理システムに相当するネットワーク構成の一例を示す図である。
図6に示すネットワーク構成は、複数のユーザ端末10と、複数の公共端末(デジタルサイネージ)30と、管理サーバ20、さらにWebサーバ60がネットワークを介して通信可能な構成である。
公共端末(デジタルサイネージ)30は、例えば多数のレストラン等の店舗を有するビルのエントランス等に置かれた公共端末である。
公共端末(デジタルサイネージ)30には、様々なレストラン等の店舗情報等の案内情報が表示される。
Webサーバ60は、例えばレストラン等の店舗の詳細情報から構成されるWebページを提供するサーバである。
例えば、ユーザ端末10としてのスマホ、PC等は、Webサーバ60の提供するレストラン等の店舗のWebページにアクセスして、レストラン等の店舗の詳細情報を確認することができる。
次に、図7以下を参照して、実施例2の処理の詳細について説明する。
図7には、1つの公共端末30を示している。
公共端末30は、カメラ31と表示部32を有する。
表示部32には、例えばフロアマップと、そのフロアの各店舗の店舗情報が表示される。
1人のユーザA50が表示部32に表示された店舗情報の1つを見ている。
ユーザ情報DBには顔画像に対応付けたユーザIDが登録されている。
ここではユーザA50のユーザID=U12345とする。
図7の右側には、管理サーバ20内の記憶部に設定されるユーザ注目情報DB21に格納されたユーザ注目店舗リストの一例を示している。
リストは、以下の店舗名によって構成されたリストである。
(1)スコットグリル
(2)中国料理 布袋
(3)北海道スープスタンド
(4)HIKARI
(5)KITCHEN 徳寿
・・・
リストの順番は、様々な設定が可能である。例えば、ユーザの注目タイミングがより新しいものを上位にする。あるいは注視時間が長かったものを上位にするといった設定である。
なお、リストに含まれる店舗名には、店舗情報WebページのURLリンク情報が埋め込まれる。
図8を参照して、ユーザA50のユーザ端末10を利用した注目店舗リストの閲覧処理について説明する。
次に、実施例2の変形例として、管理サーバ20が複数ユーザの注目店舗リストのマージデータを生成する処理例について説明する。
図9には、1つの公共端末30を示している。
公共端末30は、カメラ31と表示部32を有する。
表示部32には、例えばフロアマップと、そのフロアの各店舗の店舗情報が表示される。
2人のユーザA50と、ユーザB52が表示部32に表示された店舗情報を見ている。
ユーザA50と、ユーザB52が見ている店舗情報はそれぞれ異なる。
(a)ユーザA50の顔画像と、ユーザA50の注視した店舗情報の識別子、
(b)ユーザB52の顔画像と、ユーザB52の注視した店舗情報の識別子、
この例では、管理サーバ20は以下の2つのリスト(a),(b)を生成する。
(a)ユーザA50(ユーザID=U12345)対応の注目店舗リスト、
(b)ユーザB52(ユーザID=U00888)対応の注目店舗リスト、
これらは図9右側に示す2つのリストに対応する。
点数は、リストの順番に応じて上位から10点、9点、8点、・・・というように点数を1つずつ低下させる設定等、様々な設定が可能である。例えば、注視時間に応じて点数を設定するといった構成としてもよい。
図10に示すように、管理サーバ20は、ステップS33において、
(a)ユーザA50(ユーザID=U12345)対応の注目店舗リスト、
(b)ユーザB52(ユーザID=U00888)対応の注目店舗リスト、
これら2つの店舗リストをマージして、1つの注目店舗リスト、すなわち1つのグループ所属ユーザの注目店舗マージリストを生成する。
この注目店舗マージリストは、ユーザA50やユーザB52等の所有するユーザ端末を利用して閲覧することができる。
図11を参照して、ユーザA50のユーザ端末10を利用した注目店舗マージリストの閲覧処理について説明する。
次に、実施例2の情報処理システムの構成例について説明する。
図12は、情報処理装置システム200の構成例を示すブロック図である。
管理サーバ20は、ユーザ識別部221、ユーザ情報DB222、ユーザ注目情報解析部223、ユーザ注目情報DB224、通信部225、表示情報DB226、表示情報生成部227を有する。
Webサーバ60は、Webページ情報DB231、表示情報生成部232、通信部233を有する。
画像解析部212の顔検出部213は、カメラ211の撮影画像から顔領域を検出して、検出した顔領域の画像を管理サーバ20に送信する。
管理サーバ20は、ユーザ識別部221、ユーザ情報DB222、ユーザ注目情報解析部223、ユーザ注目情報DB224、通信部225、表示情報DB226、表示情報生成部227を有する。
ユーザ識別部221は、ユーザ情報DB222に登録されたユーザの顔画像と、公共端末30から受信した顔画像との照合処理を実行して、ユーザ識別を実行する。
なお、ユーザ情報DB222には登録ユーザのユーザIDと顔画像の対応データが格納されている。
例えば、先に図7を参照して説明した以下の店舗名によって構成されたリストである。
(1)スコットグリル
(2)中国料理 布袋
(3)北海道スープスタンド
(4)HIKARI
(5)KITCHEN 徳寿
・・・
リストの順番は、様々な設定が可能である。例えば、ユーザの注目タイミングがより新しいものを上位にする。あるいは注視時間が長かったものを上位にするといった設定である。
なお、リストに含まれる店舗名には、店舗情報WebページのURLリンク情報が埋め込まれている。
ユーザ注目情報DB224に格納された、注目店舗リストは、スマホ等のユーザ端末10によってアクセスして閲覧することが可能となる。
表示自用法生成部227は、表示情報DB226に格納されたコンテンツを組み合わせて公共端末30の表示部215に表示するデータを生成して公共端末30に送信する。送信データが公共端末30の表示部215に表示される。
ユーザ端末10に表示された注目店舗リスト中の店舗名には、店舗情報WebページのURLリンク情報が埋め込まれている。
Webサーバ60の表示情報生成部232は、店舗情報DB61に格納された店舗のWebページに基づく表示データを生成して通信部233を介してユーザ端末10に送信する。
また、管理サーバ20がWebサーバ60の機能を有する構成としてもよい。
次に、図13に示すフローチャートを参照して情報処理システム200の実行する処理のシーケンスについて説明する。
以下、図13に示すフローの各ステップの処理について説明する。
まず、ステップS201~S204の処理について説明する。
まず、ステップS201において、公共端末30のカメラ撮影画像に基づく視線解析とユーザ識別を実行する。この処理は、図12に示す公共端末30の顔検出部213、視線検出部214、および管理サーバ20のユーザ識別部221が実行する処理である。
さらに、公共端末30の視線検出部214は、公共端末30のカメラ211の撮影画像を解析してユーザの注視点位置を取得する。
ユーザ識別部221は、ユーザ情報DB222に登録されたユーザの顔画像と、公共端末30から受信した顔画像との照合処理を実行して、ユーザ識別を実行する。
次に、ステップS202において、ユーザ視線が規定時間以上、滞留した注目情報が検出されたか否かを判定する。
図12に示す公共端末30の視線検出部214は、カメラ211の撮影画像に基づいて、ユーザの注視点が所定時間(例えば3秒)以上、1つの店舗情報表示領域に滞留したか否かを判定する。ユーザの注視点が所定時間(例えば3秒)以上、1つの店舗情報表示領域に滞留したと判定した場合、その店舗情報の識別子を、管理サーバ20に送信する。
ステップS202において、ユーザ視線が規定時間以上、滞留した注目情報が検出された場合はステップS203に進む。
ユーザ注目情報解析部223は、公共端末30の視線検出部214から、ユーザの注視点が所定時間(例えば3秒)以上滞留した店舗情報の識別子を入力する。
次に、ステップS204において、ステップS203で取得した店舗情報識別子に基づいて、ユーザ注目店舗リストを生成する。
例えば、先に図7を参照して説明した以下の店舗名によって構成されたリストである。
(1)スコットグリル
(2)中国料理 布袋
(3)北海道スープスタンド
(4)HIKARI
(5)KITCHEN 徳寿
・・・
リストの順番は、様々な設定が可能である。例えば、ユーザの注目タイミングがより新しいものを上位にする。あるいは注視時間が長かったものを上位にするといった設定である。
なお、リストに含まれる店舗名には、店舗情報WebページのURLリンク情報が埋め込まれている。
ユーザ注目情報DB224に格納された、注目店舗リストは、スマホ等のユーザ端末10によってアクセスして閲覧することが可能となる。
このステップS221~S223の処理はスマホ等のユーザ端末10において実行される。
まず、ステップS221において、注目情報リスト、すなわちユーザ単位の注目店舗リストの表示要求の有無を検出する。
この処理はユーザ端末10の制御部(データ処理部)が実行する。
ステップS221において、注目店舗リストの表示要求があったと判定した場合はステップS222に進み、ステップS222において、管理サーバ20のユーザ注目情報DB224に格納された注目店舗リストを読み出す。
次に、ステップS223において、読み出した注目店舗リストをユーザ端末10の表示部に表示する。
なお、図9~図11を参照して説明した複数ユーザの注目店舗リストをマージした注目店舗マージリストの読み出しを実行することも可能である。
ユーザ端末10に表示されたリスト中の店舗名には、店舗情報WebページのURLリンク情報が埋め込まれている。
次に、上述した実施例1,2に併せて実行可能なその他の実施例について説明する。
注目情報の判定方法としては、この滞留時間の計測処理に限らず、その他の方法を適用してもよい。例えば、目の動きの機械学習を行って学習処理の結果を利用して注目情報を判定する処理を行う構成としてもよい。
しかし、カメラの撮影画像による視線検出の精度が不十分な場合もあり得る。
例えばユーザがメガネをかけている場合や、目の領域の画像が不鮮明である場合等にはカメラの撮影画像による視線検出精度が低下する可能性がある。
このような場合、表示部の表示情報を拡大し、拡大表示して、ユーザ視線の注目対象領域の絞り込みをしやすくする表示制御を行う構成としてもよい。
例えば、情報処理装置であるユーザ端末10等がチャットテキストや表示店舗の店舗名の音声読み上げを実行する。ユーザは、これに対して、返信対象とするチャットテキスト、あるいは注目の店舗名の読み上げタイミングに頷く等のジェスチャを行う。
このジェスチャをカメラ撮影画像に基づいて確認できた場合に、その情報をリストに含めるといった処理を行う構成としてもよい。
また、マイクによって入力するユーザの声を認識する構成としてもよい。
例えば店舗情報の表示を行う場合、表示時間が昼のタイミングであれば、ランチのある店舗を優先表示し、夜には夜のコースがある店舗の情報を優先して表示するといった処理である。
この点数は、このような設定に限らず、様々な設定が可能である。例えば、情報の提供主体やユーザの行動履歴に基づいて、各提示情報対応の点数を算出する構成としてもよい。例えばユーザの好きな料理に高得点を設定するといった処理である。
また、リストを閲覧する人に応じて点数を変更する設定としてもよい。
このような問題を無くすため、ユーザIDに併せてメッセージの一部を表示する構成としてもよい。
例えば画像の場合は、短く、テキストの場合は長くするといった設定である。
また表示リストに表示する情報はカテゴリ単位で異なる色で表示するといった構成としてもよい。さらに、リストの表示処理のみならず表示データを音声で読み上げる処理を行ってもよい。
次に、図14を参照して、ユーザ端末10、管理サーバ20、公共端末30、Webサーバ60として利用可能な情報処理装置のハードウェア構成の一構成例について説明する。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
(1) 表示部の表示情報に対するユーザ注視点を検出する視線検出部と、
前記ユーザ注視点の解析に基づいて前記ユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析部と、
前記リストの構成データからなる表示リストを生成する表示情報生成部を有する情報処理装置。
前記ユーザ注目情報解析部は、
前記ユーザ注視点が規定時間以上、滞留した注目情報を抽出し、該注目情報に対応する情報からなるリストを生成する(1)に記載の情報処理装置。
前記視線検出部の解析したユーザ注視点情報を継続して入力し、入力情報に基づいて、最新の注目情報を前記リストの上位に設定するソート処理を伴うリスト更新処理を実行する(1)または(2)に記載の情報処理装置。
前記視線検出部の解析したユーザ注視点情報を継続して入力し、入力情報に基づいて、ユーザ注視点の滞留時間の長い注目情報を前記リストの上位に設定するソート処理を伴うリスト更新処理を実行する(1)または(2)に記載の情報処理装置。
前記リストの構成データの上位データのみからなる表示リストを生成する(1)~(4)いずれかに記載の情報処理装置。
前記視線検出部は、ユーザの注視メッセージを検出し、
前記ユーザ注目情報解析部は、前記ユーザ注視点が規定時間以上、滞留した注目メッセージを抽出して、該注目メッセージの発信者のユーザIDから構成されるユーザIDリストを生成し、
前記表示情報生成部は、個別選択可能なユーザIDから構成されるユーザID選択メニューを生成する(1)~(5)いずれかに記載の情報処理装置。
前記ユーザID選択メニューを、ユーザ端末に表示する表示制御部を有し、
前記ユーザID選択メニューは、ユーザ選択によるユーザID入力可能な構成である(6)に記載の情報処理装置。
前記視線検出部は、ユーザの注視対象の店舗情報を検出し、
前記ユーザ注目情報解析部は、前記ユーザ注視点が規定時間以上、滞留した注目店舗情報を抽出して、該注目店舗情報に対応する店舗名から構成される店舗リストを生成し、
前記表示情報生成部は、店舗リストに含まれる店舗名によって構成される表示リストを生成する(1)~(5)いずれかに記載の情報処理装置。
前記表示装置は、
表示部の表示情報に対するユーザ注視点を検出する視線検出部を有し、
前記管理サーバは、
前記表示装置において解析されたユーザ注視点情報を入力し、前記ユーザ注視点の解析に基づいて前記ユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析部と、
前記リストの構成データからなる表示リストを生成する表示情報生成部を有する情報処理システム。
前記視線検出部において、カメラ撮影画像に基づいて表示部の表示情報に対するユーザ注視点を検出し、
前記管理サーバは、
前記ユーザ注目情報解析部において、前記ユーザ注視点が規定時間以上、滞留した注目情報を抽出し、該注目情報に対応する情報からなるリストを生成する(11)に記載の情報処理システム。
前記カメラ撮影画像を前記管理サーバに送信し、
前記管理サーバは、
前記表示装置から入力する前記カメラ撮影画像に基づいて、ユーザ識別を実行するユーザ識別部を有する(12)に記載の情報処理システム。
前記ユーザ注目情報解析部において、前記ユーザ識別部において識別されたユーザ単位のリストを生成し、
前記表示情報生成部において、前記ユーザ識別部において識別されたユーザ単位の表示リストを生成する(13)に記載の情報処理システム。
前記ユーザ注目情報解析部において、前記ユーザ識別部において識別されたユーザ単位のリストを生成するとともに、複数のユーザ単位のリストをマージしたマージリストを生成し、
前記表示情報生成部において、前記マージリストの構成データからなる表示リストを生成する(13)に記載の情報処理システム。
前記ユーザ注目情報解析部において、リスト構成データ各々に上位から順に低下する点数を設定したリストを生成する(11)~(15)いずれかに記載の情報処理システム。
視線検出部が、表示部の表示情報に対するユーザ注視点を検出する視線検出ステップと、
ユーザ注目情報解析部が、前記ユーザ注視点の解析に基づいて前記ユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析ステップと、
表示情報生成部が、前記リストの構成データからなる表示リストを生成する表示情報生成ステップを実行する情報処理方法。
前記表示装置が、表示部の表示情報に対するユーザ注視点を検出する視線検出処理を実行し、
前記管理サーバが、
前記表示装置において解析されたユーザ注視点情報を入力し、前記ユーザ注視点の解析に基づいて前記ユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析処理と、
前記リストの構成データからなる表示リストを生成する表示情報生成処理を実行する情報処理方法。
視線検出部に、表示部の表示情報に対するユーザ注視点を検出させる視線検出ステップと、
ユーザ注目情報解析部に、前記ユーザ注視点の解析に基づいて前記ユーザの注目情報を抽出させ、該注目情報に対応する情報からなるリストを生成させるユーザ注目情報解析ステップと、
表示情報生成部に前記リストの構成データからなる表示リストを生成させる表示情報生成ステップを実行させるプログラム。
具体的には、例えば、カメラ撮影画像に基づいて表示部の表示情報に対するユーザ注視点を検出する画像解析部と、ユーザ注視点が規定時間以上、滞留した注目情報を抽出し、注目情報に対応する情報からなるリストを生成するユーザ注目情報解析部と、リスト構成データからなる表示リストを生成する表示情報生成部を有する。ユーザ注目情報解析部はユーザ注視点情報を継続して入力し、最新の注目情報、またはユーザ注視点の滞留時間の長い注目情報をリスト上位に設定するソート処理を実行する。表示情報生成部は、例えばリスト構成データの上位データからなる表示リストを生成する。
本構成により、ユーザ注目情報を検出して検出した注目情報に基づく様々な処理を実行する構成が実現される。
20 管理サーバ
30 公共端末
60 Webサーバ
100 情報処理装置
101 カメラ
102 画像解析部
103 ユーザ注目情報解析部
104 ユーザ注目情報DB
105 表示情報生成部(ユーザID選択メニュー生成部)
106 表示制御部
107 入力部
108 通信部
109 記憶部
110 表示部
200 情報処理システム
211 カメラ
212 画像解析部
213 顔検出部
214 視線検出部
215 表示部
221 ユーザ識別部
222 ユーザ情報DB
223 ユーザ注目情報解析部
224 ユーザ注目情報DB
225 通信部
226 表示情報DB
227 表示情報生成部
231 WebページDB
232 表示情報生成部
233 通信部
301 CPU
302 ROM
303 RAM
304 バス
305 入出力インタフェース
306 入力部
307 出力部
308 記憶部
309 通信部
310 ドライブ
311 リムーバブルメディア
Claims (19)
- 表示部の表示情報に対するユーザ注視点を検出する視線検出部と、
前記ユーザ注視点の解析に基づいてユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析部と、
前記リストの構成データからなる表示リストを生成する表示情報生成部を有し、
前記表示情報は、チャット画面におけるメッセージであり、
前記視線検出部は、ユーザの注視メッセージを検出し、
前記ユーザ注目情報解析部は、前記ユーザ注視点が規定時間以上、滞留した注目メッセージを抽出して、該注目メッセージの発信者のユーザIDから構成されるユーザIDリストを生成し、
前記表示情報生成部は、個別選択可能なユーザIDから構成されるユーザID選択メニューを生成する情報処理装置。 - 表示部の表示情報に対するユーザ注視点を検出する視線検出部と、
前記ユーザ注視点の解析に基づいてユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析部と、
前記リストの構成データからなる表示リストを生成する表示情報生成部を有し、
前記表示情報は、店舗情報であり、
前記視線検出部は、ユーザの注視対象の店舗情報を検出し、
前記ユーザ注目情報解析部は、前記ユーザ注視点が規定時間以上、滞留した注目店舗情報を抽出して、該注目店舗情報に対応する店舗名から構成される店舗リストを生成し、
前記表示情報生成部は、店舗リストに含まれる店舗名によって構成される表示リストを生成する情報処理装置。 - 前記視線検出部は、カメラ撮影画像に基づいて表示部の表示情報に対するユーザ注視点を検出し、
前記ユーザ注目情報解析部は、
前記ユーザ注視点が規定時間以上、滞留した注目情報を抽出し、該注目情報に対応する情報からなるリストを生成する請求項1または2に記載の情報処理装置。 - 前記ユーザ注目情報解析部は、
前記視線検出部の解析したユーザ注視点情報を継続して入力し、入力情報に基づいて、最新の注目情報を前記リストの上位に設定するソート処理を伴うリスト更新処理を実行する請求項1または2に記載の情報処理装置。 - 前記ユーザ注目情報解析部は、
前記視線検出部の解析したユーザ注視点情報を継続して入力し、入力情報に基づいて、ユーザ注視点の滞留時間の長い注目情報を前記リストの上位に設定するソート処理を伴うリスト更新処理を実行する請求項1または2に記載の情報処理装置。 - 前記表示情報生成部は、
前記リストの構成データの上位データのみからなる表示リストを生成する請求項1または2に記載の情報処理装置。 - 前記情報処理装置は、さらに、
前記ユーザID選択メニューを、ユーザ端末に表示する表示制御部を有し、
前記ユーザID選択メニューは、ユーザ選択によるユーザID入力可能な構成である請求項1に記載の情報処理装置。 - 前記ユーザID選択メニューは、ユーザIDとメッセージの一部を含む構成である請求項1に記載の情報処理装置。
- 前記表示情報生成部は、前記表示リストに含まれる店舗名に、各店舗の詳細情報を提供する店舗名のアクセス情報を埋め込んだ表示リストを生成する請求項2に記載の情報処理装置。
- 表示装置と、管理サーバを有する情報処理システムであり、
前記表示装置は、
表示部の表示情報に対するユーザ注視点を検出する視線検出部を有し、
前記管理サーバは、
前記表示装置において解析されたユーザ注視点情報を入力し、前記ユーザ注視点の解析に基づいてユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析部と、
前記リストの構成データからなる表示リストを生成する表示情報生成部を有し、
前記表示情報は、チャット画面におけるメッセージであり、
前記視線検出部は、ユーザの注視メッセージを検出し、
前記ユーザ注目情報解析部は、前記ユーザ注視点が規定時間以上、滞留した注目メッセージを抽出して、該注目メッセージの発信者のユーザIDから構成されるユーザIDリストを生成し、
前記表示情報生成部は、個別選択可能なユーザIDから構成されるユーザID選択メニューを生成する情報処理システム。 - 表示装置と、管理サーバを有する情報処理システムであり、
前記表示装置は、
表示部の表示情報に対するユーザ注視点を検出する視線検出部を有し、
前記管理サーバは、
前記表示装置において解析されたユーザ注視点情報を入力し、前記ユーザ注視点の解析に基づいてユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析部と、
前記リストの構成データからなる表示リストを生成する表示情報生成部を有し、
前記表示情報は、店舗情報であり、
前記視線検出部は、ユーザの注視対象の店舗情報を検出し、
前記ユーザ注目情報解析部は、前記ユーザ注視点が規定時間以上、滞留した注目店舗情報を抽出して、該注目店舗情報に対応する店舗名から構成される店舗リストを生成し、
前記表示情報生成部は、店舗リストに含まれる店舗名によって構成される表示リストを生成する情報処理システム。 - 前記表示装置は、
前記視線検出部において、カメラ撮影画像に基づいて表示部の表示情報に対するユーザ注視点を検出し、
前記管理サーバは、
前記ユーザ注目情報解析部において、前記ユーザ注視点が規定時間以上、滞留した注目情報を抽出し、該注目情報に対応する情報からなるリストを生成する請求項10または11に記載の情報処理システム。 - 前記表示装置は、さらに、
前記カメラ撮影画像を前記管理サーバに送信し、
前記管理サーバは、
前記表示装置から入力する前記カメラ撮影画像に基づいて、ユーザ識別を実行するユーザ識別部を有する請求項12に記載の情報処理システム。 - 前記管理サーバは、
前記ユーザ注目情報解析部において、前記ユーザ識別部において識別されたユーザ単位のリストを生成し、
前記表示情報生成部において、前記ユーザ識別部において識別されたユーザ単位の表示リストを生成する請求項13に記載の情報処理システム。 - 前記管理サーバは、
前記ユーザ注目情報解析部において、前記ユーザ識別部において識別されたユーザ単位のリストを生成するとともに、複数のユーザ単位のリストをマージしたマージリストを生成し、
前記表示情報生成部において、前記マージリストの構成データからなる表示リストを生成する請求項13に記載の情報処理システム。 - 前記管理サーバは、
前記ユーザ注目情報解析部において、リスト構成データ各々に上位から順に低下する点数を設定したリストを生成する請求項10または11に記載の情報処理システム。 - 情報処理装置において実行する情報処理方法であり、
視線検出部が、表示部の表示情報に対するユーザ注視点を検出する視線検出ステップと、
ユーザ注目情報解析部が、前記ユーザ注視点の解析に基づいてユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析ステップと、
表示情報生成部が、前記リストの構成データからなる表示リストを生成する表示情報生成ステップを実行し、
前記表示情報は、チャット画面におけるメッセージであり、
前記視線検出ステップでは、ユーザの注視メッセージを検出し、
前記ユーザ注目情報解析ステップでは、前記ユーザ注視点が規定時間以上、滞留した注目メッセージを抽出して、該注目メッセージの発信者のユーザIDから構成されるユーザIDリストを生成し、
前記表示情報生成ステップでは、個別選択可能なユーザIDから構成されるユーザID選択メニューを生成する情報処理方法。 - 情報処理装置において実行する情報処理方法であり、
視線検出部が、表示部の表示情報に対するユーザ注視点を検出する視線検出ステップと、
ユーザ注目情報解析部が、前記ユーザ注視点の解析に基づいてユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析ステップと、
表示情報生成部が、前記リストの構成データからなる表示リストを生成する表示情報生成ステップを実行し、
前記表示情報は、店舗情報であり、
前記視線検出ステップでは、ユーザの注視対象の店舗情報を検出し、
前記ユーザ注目情報解析ステップでは、前記ユーザ注視点が規定時間以上、滞留した注目店舗情報を抽出して、該注目店舗情報に対応する店舗名から構成される店舗リストを生成し、
前記表示情報生成ステップでは、店舗リストに含まれる店舗名によって構成される表示リストを生成する情報処理方法。 - 情報処理装置において情報処理を実行させるプログラムであり、
視線検出部に、表示部の表示情報に対するユーザ注視点を検出させる視線検出ステップと、
ユーザ注目情報解析部に、前記ユーザ注視点の解析に基づいてユーザの注目情報を抽出させ、該注目情報に対応する情報からなるリストを生成させるユーザ注目情報解析ステップと、
表示情報生成部に前記リストの構成データからなる表示リストを生成させる表示情報生成ステップを実行させ、
前記表示情報は、チャット画面におけるメッセージであり、
前記視線検出ステップでは、ユーザの注視メッセージを検出させ、
前記ユーザ注目情報解析ステップでは、前記ユーザ注視点が規定時間以上、滞留した注目メッセージを抽出して、該注目メッセージの発信者のユーザIDから構成されるユーザIDリストを生成させ、
前記表示情報生成ステップでは、個別選択可能なユーザIDから構成されるユーザID選択メニューを生成させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018209506 | 2018-11-07 | ||
JP2018209506 | 2018-11-07 | ||
PCT/JP2019/036737 WO2020095546A1 (ja) | 2018-11-07 | 2019-09-19 | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020095546A1 JPWO2020095546A1 (ja) | 2021-09-24 |
JP7363807B2 true JP7363807B2 (ja) | 2023-10-18 |
Family
ID=70612369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020556656A Active JP7363807B2 (ja) | 2018-11-07 | 2019-09-19 | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220221933A1 (ja) |
EP (1) | EP3879384A4 (ja) |
JP (1) | JP7363807B2 (ja) |
WO (1) | WO2020095546A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7073021B2 (ja) * | 2020-06-02 | 2022-05-23 | 三菱電機株式会社 | 画面構成制御装置、画面構成制御方法及び画面構成制御プログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004259198A (ja) | 2003-02-27 | 2004-09-16 | Japan Research Institute Ltd | 情報管理装置、情報管理システム、及びプログラム |
WO2016006136A1 (ja) | 2014-07-09 | 2016-01-14 | 株式会社Six | 情報処理システム |
JP2016063471A (ja) | 2014-09-19 | 2016-04-25 | ヤマハ株式会社 | コンテンツ再生装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2050088B1 (en) * | 2006-07-28 | 2015-11-11 | Koninklijke Philips N.V. | Private screens self distributing along the shop window |
CN103823556B (zh) * | 2006-07-28 | 2017-07-04 | 飞利浦灯具控股公司 | 用于被凝视物品的信息显示的凝视交互 |
US20100100845A1 (en) * | 2008-10-20 | 2010-04-22 | Ingboo Inc. | Organization and Delivery of Information Updates |
US20100141552A1 (en) * | 2008-12-04 | 2010-06-10 | Andrew Rodney Ferlitsch | Methods and Systems for Imaging Device and Display Interaction |
JP2013225226A (ja) * | 2012-04-23 | 2013-10-31 | Kyocera Corp | 情報端末、表示制御プログラムおよび表示制御方法 |
US8571851B1 (en) * | 2012-12-31 | 2013-10-29 | Google Inc. | Semantic interpretation using user gaze order |
JP2017156906A (ja) | 2016-02-29 | 2017-09-07 | 株式会社iDEAKITT | チャット表示装置 |
CN109313880A (zh) * | 2016-06-09 | 2019-02-05 | 三菱电机株式会社 | 显示控制装置、显示装置、车载显示系统及显示控制方法 |
-
2019
- 2019-09-19 EP EP19881909.6A patent/EP3879384A4/en not_active Withdrawn
- 2019-09-19 JP JP2020556656A patent/JP7363807B2/ja active Active
- 2019-09-19 US US17/281,255 patent/US20220221933A1/en active Pending
- 2019-09-19 WO PCT/JP2019/036737 patent/WO2020095546A1/ja unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004259198A (ja) | 2003-02-27 | 2004-09-16 | Japan Research Institute Ltd | 情報管理装置、情報管理システム、及びプログラム |
WO2016006136A1 (ja) | 2014-07-09 | 2016-01-14 | 株式会社Six | 情報処理システム |
JP2016063471A (ja) | 2014-09-19 | 2016-04-25 | ヤマハ株式会社 | コンテンツ再生装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2020095546A1 (ja) | 2020-05-14 |
JPWO2020095546A1 (ja) | 2021-09-24 |
EP3879384A1 (en) | 2021-09-15 |
US20220221933A1 (en) | 2022-07-14 |
EP3879384A4 (en) | 2021-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200257781A1 (en) | Method for generating a human likeness score | |
CN112791393B (zh) | 一种信息处理方法、装置、设备及介质 | |
EP2669817A1 (en) | Information processing system, computer program product, information processing device, and display method | |
JP6320687B2 (ja) | 情報処理システム、情報処理装置、プログラムおよび表示方法 | |
US10245516B2 (en) | Information-processing system, server device, information-processing device, storage medium, and information-processing method | |
US9553840B2 (en) | Information sharing system, server device, display system, storage medium, and information sharing method | |
JP2011039860A (ja) | 仮想空間を用いる会話システム、会話方法及びコンピュータプログラム | |
US11036285B2 (en) | Systems and methods for mixed reality interactions with avatar | |
JP2013250898A (ja) | 情報処理プログラム、情報処理装置、情報処理システムおよび表示方法 | |
JP5283778B2 (ja) | メッセージ管理システム、メッセージ表示装置、メッセージの表示方法、及びプログラム | |
KR20180050636A (ko) | 검색 서비스와 연결된 메시지 서비스를 위한 메시지 서비스 제공 방법 및 상기 메시지 서비스 제공 방법을 수행하는 메시지 서버 및 사용자 단말 | |
EP2669819A1 (en) | Information processing system, computer program product, information processing device, and display method | |
US9338198B2 (en) | Information processing system, storing medium, information processing device, and display method | |
JP6139066B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システムおよびコンテンツ推薦方法 | |
JP2009223656A (ja) | 仮想空間提供装置、仮想空間提供システム、仮想空間提供方法及びコンピュータプログラム | |
JP7363807B2 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
JP5373176B2 (ja) | メッセージ管理システム、メッセージ表示装置、メッセージの表示方法、及びプログラム | |
US20230020633A1 (en) | Information processing device and method for medium drawing in a virtual system | |
US20230041497A1 (en) | Mood oriented workspace | |
CN114035729A (zh) | 电子投票方法及装置、终端设备 | |
CN117892264A (zh) | 用于基于语音的用户简档管理的方法和用户界面 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230623 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230918 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7363807 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |