JP7363807B2 - 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、情報処理システム、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
JP7363807B2
JP7363807B2 JP2020556656A JP2020556656A JP7363807B2 JP 7363807 B2 JP7363807 B2 JP 7363807B2 JP 2020556656 A JP2020556656 A JP 2020556656A JP 2020556656 A JP2020556656 A JP 2020556656A JP 7363807 B2 JP7363807 B2 JP 7363807B2
Authority
JP
Japan
Prior art keywords
user
information
display
attention
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020556656A
Other languages
English (en)
Other versions
JPWO2020095546A1 (ja
Inventor
亮平 安田
真一 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020095546A1 publication Critical patent/JPWO2020095546A1/ja
Application granted granted Critical
Publication of JP7363807B2 publication Critical patent/JP7363807B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title

Description

本開示は、情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。さらに詳細には、ユーザの視線解析によりユーザの注目情報を特定して特定結果に基づく処理を行う情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。
PC、ゲーム機、スマートフォン(スマホ)、テレビ、さらに、駅やビル等の公共スペースに設置された電子掲示板であるデジタルサイネージ等、人(ユーザ)は、これら様々な電子機器を利用して、様々な情報を取得し、またチャット等ののコミュニケーションを行っている。
しかし、これらの電子機器に表示されたデータを覚えることは簡単ではなく、特に表示されたテキスト文字列を入力するのは面倒である。
例えば、複数ユーザが参加するオンラインゲーム等では、参加ユーザ間でチャットが行われる。チャットを行う場合、各ユーザはユーザのゲーム機(ユーザ端末)から自分の発言内容であるメッセージをテキスト入力する。
入力されたテキストは、各チャット参加者の端末にほぼリアルタイムで表示される。他の参加者は、その表示内容を見て、さらに、メッセージを入力して会話を行うことができる。
なお、チャットや、チャット実行時のメッセージ表示処理について開示した従来技術として、例えば特開2017-156906号公報がある。
ユーザ端末でチャットを行う場合、各参加ユーザは、自己のユーザIDを登録する。
例えば、AさんのユーザID=AnZvB4K7、BさんのユーザID=772TuYks8等のユーザIDである。
オンライゲーム等におけるテキストチャットにおいて用いられるユーザIDはユニークであることが求められる。そのため、複数の文字種類(大文字、小文字、記号、数字)を組み合わせたものである場合が多い。
チャットを行う場合、ある特定のユーザの発言に対するコメントとしてメッセージを入力する場合、どのユーザに対する発言であるかを明確にするためユーザIDを含むメッセージを作成する場合がある。例えば、ユーザIDがAnZvB4K7であるAさんの発言に賛成するというメッセージを入力する場合、
「AnZvB4K7さんの発言に賛成」
上記のような入力が必要となる。
しかし、このような複雑なユーザIDを正確に入力することは困難であり、正確に入力するためには時間を要する。
特開2017-156906号公報
本開示は、例えば、上記問題点に鑑みてなされたものであり、ユーザの視線解析によりユーザの注目情報を特定して特定結果に基づく処理を行う情報処理装置、情報処理システム、および情報処理方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
表示部の表示情報に対するユーザ注視点を検出する視線検出部と、
前記ユーザ注視点の解析に基づいて前記ユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析部と、
前記リストの構成データからなる表示リストを生成する表示情報生成部を有する情報処理装置にある。
さらに、本開示の第2の側面は、
表示装置と、管理サーバを有する情報処理システムであり、
前記表示装置は、
表示部の表示情報に対するユーザ注視点を検出する視線検出部を有し、
前記管理サーバは、
前記表示装置において解析されたユーザ注視点情報を入力し、前記ユーザ注視点の解析に基づいて前記ユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析部と、
前記リストの構成データからなる表示リストを生成する表示情報生成部を有する情報処理システムにある。
さらに、本開示の第3の側面は、
情報処理装置において実行する情報処理方法であり、
視線検出部が、表示部の表示情報に対するユーザ注視点を検出する視線検出ステップと、
ユーザ注目情報解析部が、前記ユーザ注視点の解析に基づいて前記ユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析ステップと、
表示情報生成部が、前記リストの構成データからなる表示リストを生成する表示情報生成ステップを実行する情報処理方法にある。
さらに、本開示の第4の側面は、
表示装置と、管理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
前記表示装置が、表示部の表示情報に対するユーザ注視点を検出する視線検出処理を実行し、
前記管理サーバが、
前記表示装置において解析されたユーザ注視点情報を入力し、前記ユーザ注視点の解析に基づいて前記ユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析処理と、
前記リストの構成データからなる表示リストを生成する表示情報生成処理を実行する情報処理方法にある。
さらに、本開示の第5の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
視線検出部に、表示部の表示情報に対するユーザ注視点を検出させる視線検出ステップと、
ユーザ注目情報解析部に、前記ユーザ注視点の解析に基づいて前記ユーザの注目情報を抽出させ、該注目情報に対応する情報からなるリストを生成させるユーザ注目情報解析ステップと、
表示情報生成部に前記リストの構成データからなる表示リストを生成させる表示情報生成ステップを実行させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、ユーザ注目情報を検出して検出した注目情報に基づく様々な処理を実行する構成が実現される。
具体的には、例えば、カメラ撮影画像に基づいて表示部の表示情報に対するユーザ注視点を検出する画像解析部と、ユーザ注視点が規定時間以上、滞留した注目情報を抽出し、注目情報に対応する情報からなるリストを生成するユーザ注目情報解析部と、リスト構成データからなる表示リストを生成する表示情報生成部を有する。ユーザ注目情報解析部はユーザ注視点情報を継続して入力し、最新の注目情報、またはユーザ注視点の滞留時間の長い注目情報をリスト上位に設定するソート処理を実行する。表示情報生成部は、例えばリスト構成データの上位データからなる表示リストを生成する。
本構成により、ユーザ注目情報を検出して検出した注目情報に基づく様々な処理を実行する構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の処理を実行可能なシステムの一構成例について説明する図である。 情報処理装置の構成と処理例について説明する図である。 情報処理装置の構成と処理例について説明する図である。 情報処理装置の構成例について説明する図である。 本開示の情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の処理を実行可能なシステムの一構成例について説明する図である。 情報処理装置の構成と処理例について説明する図である。 情報処理装置の構成と処理例について説明する図である。 情報処理装置の構成と処理例について説明する図である。 情報処理装置の構成と処理例について説明する図である。 情報処理装置の構成と処理例について説明する図である。 情報処理装置の構成例について説明する図である。 本開示の情報処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 情報処理装置のハードウェア構成例について説明する図である。
以下、図面を参照しながら本開示の情報処理装置、情報処理システム、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
1.(実施例1)ユーザ視線に基づいてユーザの注目情報を特定して、注目情報に含まれるユーザIDを取得してユーザIDリストを表示する実施例について
1-1.実施例1の情報処理システムの構成例について
1-2.実施例1の処理の詳細について
1-3.実施例1の情報処理装置の構成例について
1-4.実施例1の情報処理装置の実行する処理のシーケンスについて
2.(実施例2)ユーザ視線に基づいてユーザの注目情報を特定して、注目情報対応の店舗情報を取得して店舗リストを表示する実施例について
2-1.実施例2の情報処理システムの構成例について
2-2.実施例2の処理の詳細について
2-3.管理サーバが複数ユーザの注目店舗リストのマージデータを生成する処理例について
2-4.実施例2の情報処理システムの構成例について
2-5.実施例2の情報処理システムの実行する処理のシーケンスについて
3.その他の実施例について
4.情報処理装置のハードウェア構成例について
5.本開示の構成のまとめ
[1.(実施例1)ユーザ視線に基づいてユーザの注目情報を特定して、注目情報に含まれるユーザIDを取得してユーザIDリストを表示する実施例について]
まず、実施例1として、ユーザ視線に基づいてユーザの注目情報を特定して、注目情報に含まれるユーザIDを取得してユーザIDリストを表示する実施例について説明する。
この実施例1は、例えば複数ユーザが参加するオンラインゲーム等において実行されるチャット等、ユーザ端末へのテキストの入力と表示による会話において利用可能な実施例である。
先に説明したように、複数ユーザが参加したチャットでは、各ユーザはユーザ端末から自分の発言、すなわちメッセージをテキスト入力する。この入力テキストは、各参加者の端末にほぼリアルタイムで表示される。他の参加者は表示内容を見て、さらに、メッセージを入力して会話を行うことができる。
ユーザ端末を介したチャットでは、特定のユーザの発言に対するコメントとしてメッセージを入力する場合等、ユーザを特定するため、前述したような複雑なユーザID、例えば、「AnZvB4K7」等のユーザIDを含むメッセージを作成することが必要となる。
しかし、このような複雑なユーザIDを正確に入力することは困難であり、正確に入力するためには時間を要する。
以下に説明する実施例は、このような面倒なユーザIDの入力を簡略化して、ユーザを特定した発言を容易にかつ正確に行うことを可能とした実施例である。
(1-1.実施例1の情報処理システムの構成例について)
実施例1の情報処理システムの構成例について説明する。
図1は、本実施例の処理を行う情報処理システムに相当するネットワーク構成の一例を示す図である。
図1に示すネットワーク構成は、複数のユーザ端末10と、管理サーバ20がネットワークを介して通信可能な構成を有する。
図1に示すネットワーク構成は、例えばオンラインゲームを実行可能なネットワークであり、各ユーザ端末10を所有する複数のユーザがオンラインゲームを実行しながら、ユーザ端末にユーザの発言内容をテキスト入力してチャット(会話)を行う。
管理サーバ20は、例えばオンラインゲームやチャットの管理処理を行う管理サーバである。
ユーザ端末10は、ゲーム機、スマホ、PC、テレビ等、様々な電子機器によって構成される。
ユーザ端末10は、ユーザ端末間の通信、あるいは管理サーバ20を介した通信により、様々なデータを送受信してオンラインゲームやチャットを行うことができる。
(1-2.実施例1の処理の詳細について)
次に、図2以下を参照して、実施例1の処理の詳細について説明する。
図2は、ネットワークを介して複数ユーザとチャットを実行中の1人のユーザが使用する1つのユーザ端末10の構成と処理を説明する図である。
図2左上部に示すように、ユーザ端末10は、表示部11、カメラ12を有する。さらに、ユーザ端末10内部の記憶部内にユーザ注目情報DB(データベース)13を有している。
図2左に示すように、表示部11には、チャットウィンドウ15、メッセージ作成ウィンドウ16、ユーザID入力メニュー17が表示される。
チャットウィンドウ15には、ネットワークを介して実行中の複数のユーザとのチャットの内容が表示される。
チャットウィンドウ15には、メッセージを発信したユーザのユーザIDとメッセージが表示される。
図に示す[AlaskiG8+]等がユーザIDであり、その後のテキスト「わぁお」等がメッセージである。
先に説明したようにユーザIDは、ユニークであることが求められるため、複数の文字種類(大文字、小文字、記号、数字)を組み合わせた複雑なものである場合が多い。
メッセージ作成ウィンドウ16には、このユーザ端末を利用しているユーザがユーザ端末10を介して入力したメッセージが表示される。
ユーザが、メッセージ作成ウィンドウ16に自分のメッセージを入力する際に、ある特定のユーザの発言に対するコメントとしてメッセージを入力する場合には、どのユーザに対する発言であるかを明確にするため、ユーザIDの入力が必要となる。
図に示す例では、メッセージ作成ウィンドウ16には、以下のメッセージが入力されている。
「最後に、bo2s-agiesさんの一撃が効いたね」
ここで、「bo2s-agies」がコメント対象とするメッセージ発信者のユーザIDである。
この「bo2s-agies」ような、複雑な文字列からなるユーザIDを間違いなく入力することは困難であり、ユーザの負担となる。
そこで本開示の構成では、図に示すように表示部11にユーザID入力メニュー17を表示し、ユーザがこのユーザID入力メニュー17から入力したいユーザIDを選択するのみで、ユーザIDを入力可能としてメッセージ作成ウィンドウ16に表示する構成としている。
ユーザ端末10の制御部(データ処理部)は、ユーザID入力メニュー17に表示するユーザIDのリストの作成、更新処理を実行し、さらに最新のリストを表示部11に表示する処理を実行する。
ユーザ端末10の制御部(データ処理部)が実行する処理について説明する。
ユーザ端末10の制御部(データ処理部)は、図2に示すステップS01~S03の処理を実行する。
まず、ステップS01において、ユーザの注視点が、表示部11のチャットウィンドウ15内に表示された1つのメッセージ上に所定時間以上、滞留したことを検出する。
所定時間とは例えば3秒等の時間であり、この時間はユーザが自由に設定できる。
ユーザ端末10の制御部(データ処理部)は、カメラ12の撮影画像を解析してユーザの注視点位置を取得し、ユーザの注視点が所定時間(例えば3秒)以上、1つのメッセージ表示領域に滞留したか否かを判定する。1つのメッセージ表示領域とは、例えば図のチャットウィンドウ16内に示す点線枠の内部領域である。
次に、ステップS02において、ユーザ端末10の制御部(データ処理部)は、ユーザの注視点が所定時間(例えば3秒)以上、滞留したメッセージの発信者のユーザIDを取得し、取得したユーザIDを先頭部に設定したユーザIDリストを作成、更新して、ユーザ端末10内のユーザ注目情報DB13に格納する。
図2の右側には、ユーザ端末10内の記憶部に設定されるユーザ注目情報DB13に格納されたユーザ注目情報発信者ユーザIDリストの一例を示している。
リストは、例えば以下のユーザIDによって構成されるリストである。
(1)bo2s-agies
(2)rc914kfcGcfk
(3)GenkiTama09
(4)AlaskiG8+
(5)Yamizon3845
(6)NGT2KqPSk
・・・
このリストに含まれるユーザID(1)~(6)は、いずれも、ユーザが所定時間以上、注視したメッセージの発信ユーザのユーザIDである。
リストの順番は、ユーザの注目タイミングがより新しいものを上位とする設定である。制御部は、ユーザの注視状況の観測データに従って、逐次、リストの更新処理を実行する。
リストに含まれるユーザID(1)~(6)中、(1)のユーザIDが、最新の注目メッセージの発信者ユーザIDであり、以下(2)~(6)まで、注目時間の新しいものから古い順に並べて配列される。
リストに含めるIDの上限数は、例えば6や10等であり、ユーザによる設定が可能である。
次に、ステップS03において、ユーザ端末10の制御部(データ処理部)は、ユーザ注目情報DB13に格納された「ユーザ注目情報発信者ユーザIDリスト」から、リスト上位のユーザIDを選択して表示部11のユーザID入力メニュー17領域に表示する。
図に示す例では、表示部11のユーザID入力メニュー17領域に以下の6つのユーザIDが表示された例を示している。
(1)bo2s-agies
(2)rc914kfcGcfk
(3)GenkiTama09
(4)AlaskiG8+
(5)Yamizon3845
(6)NGT2KqPSk
これら6つのユーザIDは、ユーザ端末10を利用しているユーザが直近に注目した6つのメッセージに対応する6個のユーザIDである。
すなわち、ユーザが所定時間(例えば3秒)以上、注視したメッセージの発信者ユーザIDを注視タイミングの新しいものから順に6つ選択したユーザIDである。
なお、表示部11のユーザID入力メニュー17領域に表示するユーザIDの数も、ユーザが自由に設定できる。
ユーザID入力メニュー17領域にユーザIDを全く表示しない設定とすることも可能である。ボタン操作で表示、非表示を切り替え可能な構成としてもよい。
最後に、ステップS04において、ユーザ端末10の制御部(データ処理部)は、ユーザID入力メニュー17領域に表示されたユーザIDに対するユーザの選択入力を検出し、選択ユーザIDをメッセージ作成ウィンドウ16に表示する。
ユーザは、ユーザID入力メニュー17領域に表示されたユーザIDを選択するのみで、選択ユーザIDの入力処理を完了することができる。
選択処理は、タッチパネルとして構成された表示部11のユーザID表示領域のタッチ処理、あるいはその他の入力部を介したユーザID選択情報入力処理によって行われる。
図に示す例では、メッセージ作成ウィンドウ16に、以下のユーザ入力メッセージが表示されている。
「最後に、bo2s-agiesさんの一撃が効いたね」
ここで、「bo2s-agies」がコメント対象のメッセージ発信者のユーザのユーザIDである。
この「bo2s-agies」は、ユーザが、ユーザID入力メニュー17領域に表示されたユーザIDから選択した1つのユーザIDである。
ユーザ端末10の制御部(データ処理部)は、ユーザのID選択情報を検出し、選択されたユーザIDをメッセージ作成ウィンドウ16に表示する。
このように、本開示の構成では、ユーザは、メッセージを入力する際、ユーザID入力メニュー17領域に表示されたユーザIDを選択するのみで、選択ユーザIDの入力処理を完了することができる。
ユーザID入力メニュー17領域に表示されるユーザIDは、ユーザ端末10を利用しているユーザが直近に注目した複数のメッセージに対応するユーザIDである。
すなわち、チャットを実行している他のユーザから発信されたメッセージ中、ユーザが直近に注目したメッセージの発信者であるユーザのユーザIDからなるリストが表示される。これにより、メッセージ入力時のユーザID入力が短時間で正確に実行可能となり、タイムリーなチャット進行が実現される。
なお、図2を参照して説明した構成では、ユーザ注目情報DB13をユーザ端末10内に格納した構成を説明したが、ユーザ注目情報DBは、例えば、ユーザ端末10と通信可能な管理サーバ20に設置する構成としてもよい。
図3に管理サーバ20にユーザ注目情報DB21を設置した構成例を示す。
管理サーバ20に設置されるユーザ注目情報DB21は各ユーザ端末対応のユーザ注目情報DB21である。
この図3に示す構成では、管理サーバ20の制御部(データ処理部)が、ユーザ注目情報DB21に格納するユーザ注目情報発信者ユーザIDリストの生成、更新を実行し、さらに、ユーザ端末10のユーザID入力メニュー17に表示するユーザIDの選択処理と、ユーザ端末10に手対する送信処理を実行する。
図3に示す構成における処理シーケンスについて説明する。処理は、図3に示すステップS11~S15の順に実行される。
まず、ステップS11において、ユーザの注視点が、表示部11のチャットウィンドウ15内に表示された1つのメッセージ上に所定時間以上、滞留したことを検出する。
所定時間とは例えば3秒等の時間であり、この時間は、ユーザが自由に設定できる。
この処理は、ユーザ端末10の制御部(データ処理部)が実行する。
次に、ステップS12において、ユーザ端末10の制御部(データ処理部)は、ユーザの注視点が所定時間(例えば3秒)以上、滞留したメッセージの発信者のユーザIDを取得し、取得したユーザIDを管理サーバ20に送信する。なお、送信データにはユーザ端末10の識別子も含める。
次にステップS13において、管理サーバ20は、ユーザ端末10から受信したユーザIDに基づいて、ユーザ注目情報DB21に格納するユーザ注目情報発信者ユーザIDリストの生成、更新処理を実行する。
なお、このユーザ注目情報発信者ユーザIDリストは、各ユーザ端末単位のデータとして生成する。
リストの構成は、図2を参照して説明したリストと同様であり、リストに含まれるユーザIDは、いずれも、ユーザが所定時間以上、注視したメッセージの発信ユーザのユーザIDである。
リストの順番は、ユーザの注目タイミングがより新しいものを上位に設定するように、管理サーバ20の制御部(データ処理部)が、逐次、更新する。
リストに含まれるユーザID(1)~(6)中、(1)のユーザIDが、最新の注目メッセージの発信者ユーザIDであり、以下(2)~(6)まで、注目時間の新しいものから古い順に並べて配列される。
次に、ステップS14において、管理サーバ20は、ユーザ注目情報DB21に格納された「ユーザ注目情報発信者ユーザIDリスト」から、リスト上位のユーザIDを選択してユーザ端末10に送信する。送信データは、ユーザ端末10の表示部11のユーザID入力メニュー17領域に表示される。
最後に、ステップS15において、ユーザ端末10の制御部(データ処理部)は、ユーザID入力メニュー17領域に表示されたユーザIDに対するユーザの選択入力を検出し、選択ユーザIDをメッセージ作成ウィンドウ16に表示する。
ユーザは、メッセージを入力する際、ユーザID入力メニュー17領域に表示されたユーザIDを選択するのみで、選択ユーザIDの入力処理を完了することができる。
この図3に示す処理例では、リストの生成、更新は管理サーバ20が実行することになり、ユーザ端末10の処理負荷が軽減される。従って、処理能力の低いユーザ端末10においても利用可能である。
(1-3.実施例1の情報処理装置の構成例について)
次に、実施例1の情報処理装置の構成例について説明する。
図4は、情報処理装置100の構成例を示すブロック図である。
図4に示す情報処理装置100は、先に図2を参照して説明した構成、すなわちユーザ端末10が全ての処理を行う構成とした場合のユーザ端末10に相当する情報処理装置100の構成例である。
なお、先に図3を参照して説明した構成の場合は、図4に示す情報処理装置100の一部がユーザ端末10に属し、一部が管理サーバ20に属する設定となる。
以下では、一例として、図2を参照して説明したユーザ端末10が全ての処理を行う構成とした場合の情報処理装置100の構成例について説明する。
図4に示すように、情報処理装置100は、カメラ101、画像解析部102、ユーザ注目情報解析部103、ユーザ注目情報DB104、表示情報生成部(ユーザID選択メニュー生成部)105、表示制御部106、入力部107、通信部108、記憶部109、表示部110を有する。
カメラ101は、情報処理装置100を操作しているユーザの目を含む顔を撮影する。カメラ101の撮影画像は、画像解析部102に入力される。
画像解析部102は、カメラ101の撮影画像を入力して、情報処理装置100を操作しているユーザの視線方向を検出する。画像解析部102が解析したユーザ視線方向はユーザ注目情報解析部103に入力される。
ユーザ注目情報解析部103は、画像解析部102が解析したユーザ視線方向と情報処理装置100の表示情報に基づいて、ユーザの注目している情報を特定し、予め規定した時間(例えば3秒)以上、ユーザの注視点が1つの情報表示領域に滞留しているか否かを判定し、滞留している場合、その情報をユーザ注目情報として選択する。
さらに、ユーザ注目情報解析部103は、選択したユーザ注目情報領域から、ユーザ注目情報の構成要素であるユーザID、すなわち、ユーザ注目情報中のメッセージの発信者を示すユーザIDを抽出し、「ユーザ注目情報発信者ユーザIDリスト」を生成、または更新してユーザ注目情報DB104に格納する。
なお、ユーザ注目情報DB104に格納する「ユーザ注目情報発信者ユーザIDリスト」は、前述したように、注目時間(注目タイミング)の新しいものほど上位に設定したリストである。
ユーザ注目情報解析部103は、画像解析部102が解析したユーザ視線方向を継続的に入力し、予め規定した時間(例えば3秒)以上、ユーザの注視点が滞留した情報領域から、ユーザIDを随時、取得して、取得情報に従って、ユーザ注目情報DB104に格納された「ユーザ注目情報発信者ユーザIDリスト」を更新する。
表示情報生成部(ユーザID選択メニュー生成部)105は、ユーザ注目情報DB104に格納された「ユーザ注目情報発信者ユーザIDリスト」から、上位の複数のユーザIDを選択して、表示部110に表示するユーザID選択メニューを生成する。
表示部110に表示するユーザID選択メニューは、図2等を参照して説明したユーザID選択メニュー17である。
表示制御部106は、先に図2、図3を参照して説明した表示部の表示データ、すなわち、チャットウィンドウ、メッセージ作成ウィンドウ、ユーザID入力メニュー等、表示部110に表示する様々なデータの表示制御を実行する。
入力部107は、情報処理装置100に対するユーザ入力等の入力処理を実行する操作部等によって構成される。なお、表示部110がタッチチパネルとして構成されている場合は、表示部110も入力部の一部となる。
通信部108は、情報処理装置100と他のユーザ端末や管理サーバとの通信を実行する。
記憶部109は、情報処理装置100において実行する処理のプログラム、データ処理に適用するパラメータ、データ処理に適用するワークエリアとして利用される記憶部である。なお、記憶部109には情報処理装置100の識別情報等も記録される。
表示部110は、表示制御部106によって生成された表示データを表示する。具体的には、先に図2、図3を参照して説明したチャットウィンドウ、メッセージ作成ウィンドウ、ユーザID入力メニュー等を表示する。
(1-4.実施例1の情報処理装置の実行する処理のシーケンスについて)
次に、図5に示すフローチャートを参照して情報処理装置100の実行する処理のシーケンスについて説明する。
なお、図5に示すフローチャートに従った処理は、情報処理装置100の記憶部に格納されたプログラムに従って実行することが可能であり、例えばプログラム実行機能を有するCPU等のプロセッサによるプログラム実行処理として行うことができる。
以下、図5に示すフローの各ステップの処理について説明する。
なお、図5に示すフロー中のステップS101~S104の処理と、ステップS121~S123の処理は並列に実行される。
まず、ステップS101~S104の処理について説明する。
(ステップS101)
まず、ステップS101において、カメラ撮影画像に基づく視線解析を実行する。この処理は、図4に示す情報処理装置100の画像解析部102が実行する処理である。
画像解析部102は、ステップS101において、カメラ101の撮影画像を入力して、情報処理装置100を操作しているユーザの視線方向を検出する。検出したユーザ視線方向情報はユーザ注目情報解析部103に入力される。
(ステップS102)
次に、ステップS102において、ユーザ視線が規定時間以上、滞留した注目情報が検出されたか否かを判定する。
この処理は、図4に示すユーザ注目情報解析部103が実行する処理である。
ユーザ注目情報解析部103は、画像解析部102が解析したユーザ視線方向と情報処理装置100の表示情報に基づいて、ユーザの注目している情報を特定し、予め規定した時間(例えば3秒)以上、ユーザの注視点が1つの情報表示領域に滞留しているか否かを判定する。
ステップS102において、ユーザ視線が規定時間以上、滞留した注目情報が検出された場合はステップS103に進む。検出されない場合はステップS101以下の処理を繰り返する。
(ステップS103)
ステップS102において、ユーザ視線が規定時間以上、滞留した注目情報が検出された場合はステップS103に進む。
ステップS103では、注目情報の発信者ユーザIDを取得する。
この処理も、図4に示すユーザ注目情報解析部103が実行する処理である。
ユーザ注目情報解析部103は、ユーザ視線が規定時間以上、滞留したユーザ注目情報領域から、ユーザ注目情報の構成要素であるユーザID、すなわち、ユーザ注目情報中のメッセージの発信者を示すユーザIDを抽出する。
(ステップS104)
次に、ステップS104において、ステップS103で取得した発信者ユーザIDのリストを生成、更新して、ユーザ注目情報DB104に記録する。
この処理も、図4に示すユーザ注目情報解析部103が実行する処理である。
ユーザ注目情報解析部103は、ユーザ注目情報中のメッセージの発信者を示すユーザIDを抽出し、「ユーザ注目情報発信者ユーザIDリスト」を生成、または更新してユーザ注目情報DB104に格納する。
なお、ユーザ注目情報DB104に格納する「ユーザ注目情報発信者ユーザIDリスト」は、前述したように、注目時間(注目タイミング)の新しいものほど上位に設定したリストである。
次に、ステップS101~S104の処理と並列に実行されるステップS121~S123の処理について説明する。
(ステップS121)
まず、ステップS121において、ユーザID選択メニューの表示要求の有無を検出する。
この処理は、図4に示す情報処理装置100の表示制御部106が実行する。
表示制御部106は、入力部107を介して、ユーザがユーザID選択メニューの表示要求を入力したか否かを判定する。
なお、本シーケンスは、ユーザ要求があった場合にのみ、ユーザID選択メニューを表示する構成とした場合の処理例である。
ユーザ要求の有無に関わらずユーザID選択メニューを表示する設定も可能である。
ステップS121において、ユーザID選択メニューの表示要求があったと判定した場合はステップS122に進む。
(ステップS122)
ステップS121において、ユーザID選択メニューの表示要求があったと判定した場合はステップS122に進み、ステップS122において、ユーザ注目情報DB104から、発信者ユーザIDリストを読み出す。
この処理は、図4に示す表示情報生成部(ユーザID選択メニュー生成部)105が実行する処理である。
表示情報生成部(ユーザID選択メニュー生成部)105は、ユーザ注目情報DB104から、発信者ユーザIDリストを読み出す。
なお、発信者ユーザIDリストは、先に説明したステップS104の処理においてユーザ注目情報解析部103が生成、更新したリストであり、最新の更新データがユーザ注目情報DB104から読み出される。
(ステップS123)
次に、ステップS123において、読み出した発信者ユーザIDリストを表示部に表示する。
この処理は、図4に示す表示情報生成部(ユーザID選択メニュー生成部)105と表示制御部106が実行する処理である。
表示情報生成部(ユーザID選択メニュー生成部)105は、ユーザ注目情報DB104に格納された「ユーザ注目情報発信者ユーザIDリスト」から、上位の複数のユーザIDを選択して、表示部110に表示するユーザID選択メニューを生成する。
表示制御部106は、表示情報生成部(ユーザID選択メニュー生成部)105の生成したユーザID選択メニューを表示部110に表示する。
ユーザID選択メニューは、先に図2、図3を参照して説明した表示部の表示データの構成要素であるユーザID選択メニュー17である。
ユーザは、メッセージを入力する際、ユーザID入力メニュー17領域に表示されたユーザIDを選択するのみで、選択ユーザIDの入力処理を完了することができる。
[2.(実施例2)ユーザ視線に基づいてユーザの注目情報を特定して、注目情報対応の店舗情報を取得して店舗リストを表示する実施例について]
次に、実施例2として、ユーザ視線に基づいてユーザの注目情報を特定して、注目情報対応の店舗情報を取得して店舗リストを表示する実施例について説明する。
この実施例2は、例えば多数のレストラン等の店舗を有するビルのエントランス等に置かれた公共端末としての電子掲示板、いわゆるデジタネルサイネージを用いた実施例である。
本実施例2では、デジタルサイネージに表示された店舗情報に対するユーザの視線情報を解析してユーザ注目情報を特定し、特定したユーザ注目情報、具体的には店舗名等をスマホ等のユーザ端末に表示する処理を実行する。
(2-1.実施例2の情報処理システムの構成例について)
実施例2の情報処理システムの構成例について説明する。
図6は、本実施例の処理を行う情報処理システムに相当するネットワーク構成の一例を示す図である。
図6に示すネットワーク構成は、複数のユーザ端末10と、複数の公共端末(デジタルサイネージ)30と、管理サーバ20、さらにWebサーバ60がネットワークを介して通信可能な構成である。
ユーザ端末10には、スマホ、PC等、様々な機器が含まれる。
公共端末(デジタルサイネージ)30は、例えば多数のレストラン等の店舗を有するビルのエントランス等に置かれた公共端末である。
公共端末(デジタルサイネージ)30には、様々なレストラン等の店舗情報等の案内情報が表示される。
管理サーバ20は、ユーザ注目情報、例えば注目店舗情報の解析処理や、ユーザ注目情報リスト(注目店舗リスト)の生成処理等を実行する。
Webサーバ60は、例えばレストラン等の店舗の詳細情報から構成されるWebページを提供するサーバである。
例えば、ユーザ端末10としてのスマホ、PC等は、Webサーバ60の提供するレストラン等の店舗のWebページにアクセスして、レストラン等の店舗の詳細情報を確認することができる。
(2-2.実施例2の処理の詳細について)
次に、図7以下を参照して、実施例2の処理の詳細について説明する。
図7には、1つの公共端末30を示している。
公共端末30は、カメラ31と表示部32を有する。
表示部32には、例えばフロアマップと、そのフロアの各店舗の店舗情報が表示される。
1人のユーザA50が表示部32に表示された店舗情報の1つを見ている。
カメラ31は、公共端末30の表示部32に表示された情報を見るユーザの顔を撮影する。公共端末30内部の制御部(データ処理部)は、カメラ31の撮影画像を解析してユーザの注視点位置を取得し、ユーザの注視点が所定時間(例えば3秒)以上、1つの店舗情報表示領域に滞留したか否かを判定する。
公共端末30内部の制御部(データ処理部)は、図に示す(ステップS21)において、ユーザの注視点が所定時間(例えば3秒)以上、1つの店舗情報表示領域に滞留したと判定した場合、その店舗情報の識別子を、カメラ31の撮影したユーザの顔画像とともに管理サーバ20に送信する。
次に、管理サーバ20は、図に示す(ステップS22)において、公共端末30から受信したユーザの顔画像に基づいて、ユーザ識別を実行し、さらに識別したユーザ単位の注目店舗リストを生成する。
なお、管理サーバ20は、予め顔画像を、ユーザIDに対応付けて登録したユーザ情報DBを有しており、このユーザ情報DBに格納された登録顔画像と、公共端末30から受信したユーザの顔画像を照合してユーザを特定する。
ユーザ情報DBには顔画像に対応付けたユーザIDが登録されている。
ここではユーザA50のユーザID=U12345とする。
管理サーバ20は、このユーザID=U12345対応の注目店舗リストを生成してユーザ注目DB21に格納する。
図7の右側には、管理サーバ20内の記憶部に設定されるユーザ注目情報DB21に格納されたユーザ注目店舗リストの一例を示している。
リストは、以下の店舗名によって構成されたリストである。
(1)スコットグリル
(2)中国料理 布袋
(3)北海道スープスタンド
(4)HIKARI
(5)KITCHEN 徳寿
・・・
このリストに含まれる店舗名(1)~(5)は、いずれも、ユーザが所定時間以上、注視した店舗情報に対応する店舗名である。
リストの順番は、様々な設定が可能である。例えば、ユーザの注目タイミングがより新しいものを上位にする。あるいは注視時間が長かったものを上位にするといった設定である。
なお、リストに含まれる店舗名には、店舗情報WebページのURLリンク情報が埋め込まれる。
この注目店舗リストは、ユーザA50のユーザ端末10を利用して閲覧することができる。
図8を参照して、ユーザA50のユーザ端末10を利用した注目店舗リストの閲覧処理について説明する。
図8の(ステップS23)に示すように、ユーザA50は、所有するユーザ端末10を利用して、管理サーバ20のユーザ注目情報DB21に格納された「注目店舗リスト」をアクセスして表示することができる。
なお、ユーザ端末10に表示したリスト中の店舗名には、店舗詳細情報を含むWebページのリンク情報が埋め込まれている。ユーザA50は、ユーザ端末10に表示したリスト中の店舗名を指定(例えばタップ)することにより、Webサーバ60の店舗情報DB61に格納された店舗のWebページにアクセスし、店舗の詳細情報を確認することができる。
(2-3.管理サーバが複数ユーザの注目店舗リストのマージデータを生成する処理例について)
次に、実施例2の変形例として、管理サーバ20が複数ユーザの注目店舗リストのマージデータを生成する処理例について説明する。
図9以下を参照してこの処理例について説明する。
図9には、1つの公共端末30を示している。
公共端末30は、カメラ31と表示部32を有する。
表示部32には、例えばフロアマップと、そのフロアの各店舗の店舗情報が表示される。
2人のユーザA50と、ユーザB52が表示部32に表示された店舗情報を見ている。
ユーザA50と、ユーザB52が見ている店舗情報はそれぞれ異なる。
公共端末30内部の制御部(データ処理部)は、図に示す(ステップS31)において、ユーザの注視点が所定時間(例えば3秒)以上、1つの店舗情報表示領域に滞留したと判定した場合、その店舗情報の識別子を、カメラ31の撮影したユーザの顔画像とともに管理サーバ20に送信する。
この例では、以下のデータ(a),(b)がユーザ端末30から管理サーバ20に送信される。
(a)ユーザA50の顔画像と、ユーザA50の注視した店舗情報の識別子、
(b)ユーザB52の顔画像と、ユーザB52の注視した店舗情報の識別子、
次に、管理サーバ20は、図に示す(ステップS22)において、公共端末30から受信したユーザの顔画像に基づいて、ユーザ識別を実行し、さらに識別したユーザ単位の注目店舗リストを生成する。
この例では、管理サーバ20は以下の2つのリスト(a),(b)を生成する。
(a)ユーザA50(ユーザID=U12345)対応の注目店舗リスト、
(b)ユーザB52(ユーザID=U00888)対応の注目店舗リスト、
これらは図9右側に示す2つのリストに対応する。
なお、リストの順番は、様々な設定が可能である。例えば、ユーザの注目タイミングがより新しいものを上位にする。あるいは注視時間が長かったものを上位にするといった設定である。
なお、本処理例においては、注目店舗リストにリストアップされた店舗名に対して、点数(0~10点)が設定されている。
点数は、リストの順番に応じて上位から10点、9点、8点、・・・というように点数を1つずつ低下させる設定等、様々な設定が可能である。例えば、注視時間に応じて点数を設定するといった構成としてもよい。
管理サーバ20は、さらに、ユーザA50,ユーザB52が予め登録された1つのグループに所属するユーザである場合、これら同一グループ所属ユーザの注目店舗リストのマージ処理を実行して、注目店舗マージリストを生成する。
図10を参照して、管理サーバ20の実行する注目店舗マージリストの生成処理について説明する。
図10に示すように、管理サーバ20は、ステップS33において、
(a)ユーザA50(ユーザID=U12345)対応の注目店舗リスト、
(b)ユーザB52(ユーザID=U00888)対応の注目店舗リスト、
これら2つの店舗リストをマージして、1つの注目店舗リスト、すなわち1つのグループ所属ユーザの注目店舗マージリストを生成する。
グループ所属ユーザの注目店舗マージリストにも各店舗対応の点数が付与される。点数は、マージ対象となった個別ユーザの注目店舗リストに設定された点数を加算した点数とする。
管理サーバ20が生成した注目店舗マージリストは、ユーザ注目情報DB21に格納される。
この注目店舗マージリストは、ユーザA50やユーザB52等の所有するユーザ端末を利用して閲覧することができる。
図11を参照して、ユーザA50のユーザ端末10を利用した注目店舗マージリストの閲覧処理について説明する。
図11の(ステップS34)に示すように、ユーザA50は、所有するユーザ端末10を利用して、管理サーバ20のユーザ注目情報DB21に格納された「注目店舗マージリスト」をアクセスして表示することができる。
なお、ユーザ端末10に表示したリスト中の店舗名には、店舗詳細情報を含むWebページのリンク情報が埋め込まれている。ユーザA50は、ユーザ端末10に表示したリスト中の店舗名を指定(例えばタップ)することにより、Webサーバ60の店舗情報DB61に格納された店舗のWebページにアクセスし、店舗の詳細情報を確認することができる。
なお、本実施例においては、リストの生成、更新は管理サーバ20が実行する構成として説明したが、これらの処理を公共端末30内部で実行する構成も可能である。
(2-4.実施例2の情報処理システムの構成例について)
次に、実施例2の情報処理システムの構成例について説明する。
図12は、情報処理装置システム200の構成例を示すブロック図である。
図12に示す情報処理システム200は、先に図6~図11を参照して説明した公共端末30、管理サーバ20、Webサーバ60、ユーザ端末10から構成されるシステムの一例である。
公共端末30は、カメラ211、画像解析部212、表示部215を有する。画像解析部212は、顔検出部213と、視線検出部214を有する。
管理サーバ20は、ユーザ識別部221、ユーザ情報DB222、ユーザ注目情報解析部223、ユーザ注目情報DB224、通信部225、表示情報DB226、表示情報生成部227を有する。
Webサーバ60は、Webページ情報DB231、表示情報生成部232、通信部233を有する。
公共端末30のカメラ211は、公共端末30の表示部215に表示された情報を見ているユーザの顔を撮影する。撮影画像は、顔検出部213と、視線検出部214に入力される。
画像解析部212の顔検出部213は、カメラ211の撮影画像から顔領域を検出して、検出した顔領域の画像を管理サーバ20に送信する。
画像解析部212の視線検出部214は、カメラ211の撮影画像を解析してユーザの注視点位置を取得し、ユーザの注視点が所定時間(例えば3秒)以上、1つの店舗情報表示領域に滞留したか否かを判定する。ユーザの注視点が所定時間(例えば3秒)以上、1つの店舗情報表示領域に滞留したと判定した場合、その店舗情報の識別子を、管理サーバ20に送信する。
公共端末30の表示部215は、管理サーバ20から送信される表示情報を表示する。例えば、図7等を参照して説明したフロアマップや店舗情報を表示する。
次に管理サーバ20の構成と処理について説明する。
管理サーバ20は、ユーザ識別部221、ユーザ情報DB222、ユーザ注目情報解析部223、ユーザ注目情報DB224、通信部225、表示情報DB226、表示情報生成部227を有する。
ユーザ識別部221は、公共端末30の顔検出部213がカメラ211の撮影画像から検出した顔領域を含む画像を入力して、ユーザ識別処理を実行する。
ユーザ識別部221は、ユーザ情報DB222に登録されたユーザの顔画像と、公共端末30から受信した顔画像との照合処理を実行して、ユーザ識別を実行する。
なお、ユーザ情報DB222には登録ユーザのユーザIDと顔画像の対応データが格納されている。
ユーザ注目情報解析部223は、公共端末30の視線検出部214から、ユーザの注目した店舗情報の識別子を入力する。すなわち、ユーザの注視点が所定時間(例えば3秒)以上、1つの店舗情報表示領域に滞留したと判定された店舗情報の識別子を入力する。
ユーザ注目情報解析部223は、ユーザ識別部221が識別したユーザ単位で、ユーザ注目店舗リストを生成する。
例えば、先に図7を参照して説明した以下の店舗名によって構成されたリストである。
(1)スコットグリル
(2)中国料理 布袋
(3)北海道スープスタンド
(4)HIKARI
(5)KITCHEN 徳寿
・・・
このリストに含まれる店舗名(1)~(5)は、いずれも、ユーザが所定時間以上、注視した店舗情報に対応する店舗名である。
リストの順番は、様々な設定が可能である。例えば、ユーザの注目タイミングがより新しいものを上位にする。あるいは注視時間が長かったものを上位にするといった設定である。
なお、リストに含まれる店舗名には、店舗情報WebページのURLリンク情報が埋め込まれている。
ユーザ注目情報解析部223が生成した注目店舗リストは、ユーザ注目情報DB224に格納される。
ユーザ注目情報DB224に格納された、注目店舗リストは、スマホ等のユーザ端末10によってアクセスして閲覧することが可能となる。
表示情報DB226には、公共端末30の表示部215に表示するコンテンツが格納されている。
表示自用法生成部227は、表示情報DB226に格納されたコンテンツを組み合わせて公共端末30の表示部215に表示するデータを生成して公共端末30に送信する。送信データが公共端末30の表示部215に表示される。
ユーザ端末10は、管理サーバ20のユーザ注目情報DB224に格納された注目店舗リストを表示することができる。
ユーザ端末10に表示された注目店舗リスト中の店舗名には、店舗情報WebページのURLリンク情報が埋め込まれている。
ユーザは、ユーザ端末10に表示したリスト中の店舗名を指定(例えばタップ)することにより、Webサーバ60の店舗情報DB61に格納された店舗のWebページにアクセスし、店舗の詳細情報を確認することができる。
Webサーバ60の表示情報生成部232は、店舗情報DB61に格納された店舗のWebページに基づく表示データを生成して通信部233を介してユーザ端末10に送信する。
なお、図12に示すシステム構成において、管理サーバ20と公共端末30との処理機能の配分は様々な設定が可能である。例えば、管理サーバ20の実行機能を全て公共端末30内の機能として設定することも可能である。
また、管理サーバ20がWebサーバ60の機能を有する構成としてもよい。
(2-5.実施例2の情報処理システムの実行する処理のシーケンスについて)
次に、図13に示すフローチャートを参照して情報処理システム200の実行する処理のシーケンスについて説明する。
なお、図13に示すフローチャートに従った処理は、情報処理システム200を構成する情報処理装置である公共端末30、管理サーバ20、ユーザ端末10、Webサーバ60等の各情報処理装置の記憶部に格納されたプログラムに従って実行することが可能であり、例えばプログラム実行機能を有するCPU等のプロセッサによるプログラム実行処理として行うことができる。
以下、図13に示すフローの各ステップの処理について説明する。
なお、図13に示すフロー中のステップS201~S204の処理は、公共端末30と管理サーバ20によって実行される処理である。ステップS221~S223の処理はユーザ端末10によって実行される処理である。これらの各処理は並列に実行することができる。
まず、ステップS201~S204の処理について説明する。
(ステップS201)
まず、ステップS201において、公共端末30のカメラ撮影画像に基づく視線解析とユーザ識別を実行する。この処理は、図12に示す公共端末30の顔検出部213、視線検出部214、および管理サーバ20のユーザ識別部221が実行する処理である。
公共端末30の顔検出部213は、公共端末30のカメラ211の撮影画像から顔領域を検出して、検出した顔領域の画像を管理サーバ20に送信する。
さらに、公共端末30の視線検出部214は、公共端末30のカメラ211の撮影画像を解析してユーザの注視点位置を取得する。
管理サーバ20のユーザ識別部221は、公共端末30の顔検出部213がカメラ211の撮影画像から検出した顔領域を含む画像を入力して、ユーザ識別処理を実行する。
ユーザ識別部221は、ユーザ情報DB222に登録されたユーザの顔画像と、公共端末30から受信した顔画像との照合処理を実行して、ユーザ識別を実行する。
(ステップS202)
次に、ステップS202において、ユーザ視線が規定時間以上、滞留した注目情報が検出されたか否かを判定する。
この処理は、図12に示す公共端末30の視線検出部214が実行する処理である。
図12に示す公共端末30の視線検出部214は、カメラ211の撮影画像に基づいて、ユーザの注視点が所定時間(例えば3秒)以上、1つの店舗情報表示領域に滞留したか否かを判定する。ユーザの注視点が所定時間(例えば3秒)以上、1つの店舗情報表示領域に滞留したと判定した場合、その店舗情報の識別子を、管理サーバ20に送信する。
ステップS202において、ユーザ視線が規定時間以上、滞留した注目情報が検出された場合はステップS203に進む。検出されない場合はステップS201以下の処理を繰り返する。
(ステップS203)
ステップS202において、ユーザ視線が規定時間以上、滞留した注目情報が検出された場合はステップS203に進む。
ステップS203は、図12に示す管理サーバ20のユーザ注目情報解析部223が実行する処理である。
ユーザ注目情報解析部223は、公共端末30の視線検出部214から、ユーザの注視点が所定時間(例えば3秒)以上滞留した店舗情報の識別子を入力する。
(ステップS204)
次に、ステップS204において、ステップS203で取得した店舗情報識別子に基づいて、ユーザ注目店舗リストを生成する。
この処理は、図12に示す管理サーバ20のユーザ注目情報解析部223が実行する処理である。
ユーザ注目情報解析部223は、管理サーバ20のユーザ識別部221が識別したユーザ単位で、ユーザ注目店舗リストを生成する。
例えば、先に図7を参照して説明した以下の店舗名によって構成されたリストである。
(1)スコットグリル
(2)中国料理 布袋
(3)北海道スープスタンド
(4)HIKARI
(5)KITCHEN 徳寿
・・・
このリストに含まれる店舗名(1)~(5)は、いずれも、ユーザが所定時間以上、注視した店舗情報に対応する店舗名である。
リストの順番は、様々な設定が可能である。例えば、ユーザの注目タイミングがより新しいものを上位にする。あるいは注視時間が長かったものを上位にするといった設定である。
なお、リストに含まれる店舗名には、店舗情報WebページのURLリンク情報が埋め込まれている。
ユーザ注目情報解析部223が生成した注目店舗リストは、ユーザ注目情報DB224に格納される。
ユーザ注目情報DB224に格納された、注目店舗リストは、スマホ等のユーザ端末10によってアクセスして閲覧することが可能となる。
次に、ステップS201~S204の処理と並列に実行されるステップS221~S223の処理について説明する。
このステップS221~S223の処理はスマホ等のユーザ端末10において実行される。
(ステップS221)
まず、ステップS221において、注目情報リスト、すなわちユーザ単位の注目店舗リストの表示要求の有無を検出する。
この処理はユーザ端末10の制御部(データ処理部)が実行する。
ステップS221において、注目店舗リストの表示要求があったと判定した場合はステップS222に進む。
(ステップS222)
ステップS221において、注目店舗リストの表示要求があったと判定した場合はステップS222に進み、ステップS222において、管理サーバ20のユーザ注目情報DB224に格納された注目店舗リストを読み出す。
なお、注目店舗リストは、先に説明したステップS204の処理において、管理サーバ20のユーザ注目情報解析部223が生成、更新したリストであり、最新の更新データがユーザ注目情報DB224から読み出される。
(ステップS223)
次に、ステップS223において、読み出した注目店舗リストをユーザ端末10の表示部に表示する。
注目店舗リストは、ユーザ単位の注目店舗リストであり、先に図7等を参照して説明した注目店舗リストである。
なお、図9~図11を参照して説明した複数ユーザの注目店舗リストをマージした注目店舗マージリストの読み出しを実行することも可能である。
このように、ユーザ端末10は、管理サーバ20のユーザ注目情報DB224に格納された注目店舗リスト、または注目店舗マージリストを表示することができる。
ユーザ端末10に表示されたリスト中の店舗名には、店舗情報WebページのURLリンク情報が埋め込まれている。
ユーザは、ユーザ端末10に表示したリスト中の店舗名を指定(例えばタップ)することにより、Webサーバ60の店舗情報DB61に格納された店舗のWebページにアクセスし、店舗の詳細情報を確認することができる。
[3.その他の実施例について]
次に、上述した実施例1,2に併せて実行可能なその他の実施例について説明する。
上述した実施例1,2においては、ユーザの注目情報の判定方法として、ユーザの注視点の滞留時間に基づく処理例を説明した。
注目情報の判定方法としては、この滞留時間の計測処理に限らず、その他の方法を適用してもよい。例えば、目の動きの機械学習を行って学習処理の結果を利用して注目情報を判定する処理を行う構成としてもよい。
また、上述した実施例1,2においては、ユーザの視線検出にカメラ撮影画像を用いたが、ユーザの視線検出手法としては、その他の様々な手法が利用可能である。例えば眼球の電位計測を行うEOG(Electro-Oculogram)等のセンサーを用いて視線検出を行う構成としてもよい。
さらに、上述した実施例1,2においては、ユーザの視線検出を行うことが必要となる。
しかし、カメラの撮影画像による視線検出の精度が不十分な場合もあり得る。
例えばユーザがメガネをかけている場合や、目の領域の画像が不鮮明である場合等にはカメラの撮影画像による視線検出精度が低下する可能性がある。
視線検出精度が低いと、例えば、ユーザ視線の特定可能な領域が複数の情報領域にまたがってしまう場合がある。
このような場合、表示部の表示情報を拡大し、拡大表示して、ユーザ視線の注目対象領域の絞り込みをしやすくする表示制御を行う構成としてもよい。
また、ユーザ注目情報の特定処理にユーザの視線検出のみならず、その他の情報を利用する構成としてもよい。
例えば、情報処理装置であるユーザ端末10等がチャットテキストや表示店舗の店舗名の音声読み上げを実行する。ユーザは、これに対して、返信対象とするチャットテキスト、あるいは注目の店舗名の読み上げタイミングに頷く等のジェスチャを行う。
このジェスチャをカメラ撮影画像に基づいて確認できた場合に、その情報をリストに含めるといった処理を行う構成としてもよい。
また、認識するジェスチャとしては、頷きの他、頭部の向きの変更、あるいは手や腕による合図等、様々なジェスチャが利用可能である。
また、マイクによって入力するユーザの声を認識する構成としてもよい。
また、上述した実施例では、作成するリストの例として、ユーザIDリスト、店舗名リストを示したが、この他の様々な情報からなるリストを生成する構成としてもよい。例えば、曲名リストや、スケジュールのタスクリスト等を、ユーザの注目度の高い順に、あるいは最新注目潤のリストとして生成する構成も可能である。
また、生成したリストをユーザ端末に表示する場合、リストに含まれる情報の利用タイミングを考慮して、そのタイミングに応じた情報に絞り込みを行ったうえで表示する構成としてもよい。
例えば店舗情報の表示を行う場合、表示時間が昼のタイミングであれば、ランチのある店舗を優先表示し、夜には夜のコースがある店舗の情報を優先して表示するといった処理である。
また、上述した実施例2では、最新の注目情報や、視線の滞留時間に基づいてリストの順番を決定して、さらにリスト上位から高い点数(重み)を設定する構成について説明した。
この点数は、このような設定に限らず、様々な設定が可能である。例えば、情報の提供主体やユーザの行動履歴に基づいて、各提示情報対応の点数を算出する構成としてもよい。例えばユーザの好きな料理に高得点を設定するといった処理である。
また、リストを閲覧する人に応じて点数を変更する設定としてもよい。
なお、実施例1では、生成したリストから選択して表示するデータをユーザIDとしているが、似たユーザIDの場合、選択時に間違う可能性がある。
このような問題を無くすため、ユーザIDに併せてメッセージの一部を表示する構成としてもよい。
また、選択できないユーザIDや店舗名、例えば退会したユーザのユーザIDや閉店した店舗の店舗名等はグレーアウトする等、他のデータと異なる表示態様で表示する構成としてもよい。
また、上述した実施例では、規定の視線滞留時間、例えば3秒以上の注視がなされた情報をリストに含める設定とした。この規定時間は、注視対象の情報の種類に応じて変更してもよい。
例えば画像の場合は、短く、テキストの場合は長くするといった設定である。
また表示リストに表示する情報はカテゴリ単位で異なる色で表示するといった構成としてもよい。さらに、リストの表示処理のみならず表示データを音声で読み上げる処理を行ってもよい。
[4.情報処理装置のハードウェア構成例について]
次に、図14を参照して、ユーザ端末10、管理サーバ20、公共端末30、Webサーバ60として利用可能な情報処理装置のハードウェア構成の一構成例について説明する。
CPU(Central Processing Unit)301は、ROM(Read Only Memory)302、または記憶部308に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
CPU301はバス304を介して入出力インタフェース305に接続され、入出力インタフェース305には、各種スイッチ、キーボード、マウス、マイクロフォン、カメラ、センサーなどよりなる入力部306、ディスプレイ、スピーカーなどよりなる出力部307が接続されている。CPU301は、入力部306から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部307に出力する。
入出力インタフェース305に接続されている記憶部308は、例えばハードディスク等からなり、CPU301が実行するプログラムや各種のデータを記憶する。通信部309は、Wi-Fi通信、ブルートゥース(登録商標)(BT)通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
入出力インタフェース305に接続されているドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア311を駆動し、データの記録あるいは読み取りを実行する。
[5.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) 表示部の表示情報に対するユーザ注視点を検出する視線検出部と、
前記ユーザ注視点の解析に基づいて前記ユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析部と、
前記リストの構成データからなる表示リストを生成する表示情報生成部を有する情報処理装置。
(2) 前記視線検出部は、カメラ撮影画像に基づいて表示部の表示情報に対するユーザ注視点を検出し、
前記ユーザ注目情報解析部は、
前記ユーザ注視点が規定時間以上、滞留した注目情報を抽出し、該注目情報に対応する情報からなるリストを生成する(1)に記載の情報処理装置。
(3)前記ユーザ注目情報解析部は、
前記視線検出部の解析したユーザ注視点情報を継続して入力し、入力情報に基づいて、最新の注目情報を前記リストの上位に設定するソート処理を伴うリスト更新処理を実行する(1)または(2)に記載の情報処理装置。
(4)前記ユーザ注目情報解析部は、
前記視線検出部の解析したユーザ注視点情報を継続して入力し、入力情報に基づいて、ユーザ注視点の滞留時間の長い注目情報を前記リストの上位に設定するソート処理を伴うリスト更新処理を実行する(1)または(2)に記載の情報処理装置。
(5)前記表示情報生成部は、
前記リストの構成データの上位データのみからなる表示リストを生成する(1)~(4)いずれかに記載の情報処理装置。
(6)前記表示情報は、チャット画面におけるメッセージであり、
前記視線検出部は、ユーザの注視メッセージを検出し、
前記ユーザ注目情報解析部は、前記ユーザ注視点が規定時間以上、滞留した注目メッセージを抽出して、該注目メッセージの発信者のユーザIDから構成されるユーザIDリストを生成し、
前記表示情報生成部は、個別選択可能なユーザIDから構成されるユーザID選択メニューを生成する(1)~(5)いずれかに記載の情報処理装置。
(7)前記情報処理装置は、さらに、
前記ユーザID選択メニューを、ユーザ端末に表示する表示制御部を有し、
前記ユーザID選択メニューは、ユーザ選択によるユーザID入力可能な構成である(6)に記載の情報処理装置。
(8)前記ユーザID選択メニューは、ユーザIDとメッセージの一部を含む構成である(6)または(7)に記載の情報処理装置。
(9)前記表示情報は、店舗情報であり、
前記視線検出部は、ユーザの注視対象の店舗情報を検出し、
前記ユーザ注目情報解析部は、前記ユーザ注視点が規定時間以上、滞留した注目店舗情報を抽出して、該注目店舗情報に対応する店舗名から構成される店舗リストを生成し、
前記表示情報生成部は、店舗リストに含まれる店舗名によって構成される表示リストを生成する(1)~(5)いずれかに記載の情報処理装置。
(10)前記表示情報生成部は、前記表示リストに含まれる店舗名に、各店舗の詳細情報を提供する店舗名のアクセス情報を埋め込んだ表示リストを生成する(9)に記載の情報処理装置。
(11) 表示装置と、管理サーバを有する情報処理システムであり、
前記表示装置は、
表示部の表示情報に対するユーザ注視点を検出する視線検出部を有し、
前記管理サーバは、
前記表示装置において解析されたユーザ注視点情報を入力し、前記ユーザ注視点の解析に基づいて前記ユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析部と、
前記リストの構成データからなる表示リストを生成する表示情報生成部を有する情報処理システム。
(12) 前記表示装置は、
前記視線検出部において、カメラ撮影画像に基づいて表示部の表示情報に対するユーザ注視点を検出し、
前記管理サーバは、
前記ユーザ注目情報解析部において、前記ユーザ注視点が規定時間以上、滞留した注目情報を抽出し、該注目情報に対応する情報からなるリストを生成する(11)に記載の情報処理システム。
(13)前記表示装置は、さらに、
前記カメラ撮影画像を前記管理サーバに送信し、
前記管理サーバは、
前記表示装置から入力する前記カメラ撮影画像に基づいて、ユーザ識別を実行するユーザ識別部を有する(12)に記載の情報処理システム。
(14)前記管理サーバは、
前記ユーザ注目情報解析部において、前記ユーザ識別部において識別されたユーザ単位のリストを生成し、
前記表示情報生成部において、前記ユーザ識別部において識別されたユーザ単位の表示リストを生成する(13)に記載の情報処理システム。
(15)前記管理サーバは、
前記ユーザ注目情報解析部において、前記ユーザ識別部において識別されたユーザ単位のリストを生成するとともに、複数のユーザ単位のリストをマージしたマージリストを生成し、
前記表示情報生成部において、前記マージリストの構成データからなる表示リストを生成する(13)に記載の情報処理システム。
(16)前記管理サーバは、
前記ユーザ注目情報解析部において、リスト構成データ各々に上位から順に低下する点数を設定したリストを生成する(11)~(15)いずれかに記載の情報処理システム。
(17) 情報処理装置において実行する情報処理方法であり、
視線検出部が、表示部の表示情報に対するユーザ注視点を検出する視線検出ステップと、
ユーザ注目情報解析部が、前記ユーザ注視点の解析に基づいて前記ユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析ステップと、
表示情報生成部が、前記リストの構成データからなる表示リストを生成する表示情報生成ステップを実行する情報処理方法。
(18) 表示装置と、管理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
前記表示装置が、表示部の表示情報に対するユーザ注視点を検出する視線検出処理を実行し、
前記管理サーバが、
前記表示装置において解析されたユーザ注視点情報を入力し、前記ユーザ注視点の解析に基づいて前記ユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析処理と、
前記リストの構成データからなる表示リストを生成する表示情報生成処理を実行する情報処理方法。
(19) 情報処理装置において情報処理を実行させるプログラムであり、
視線検出部に、表示部の表示情報に対するユーザ注視点を検出させる視線検出ステップと、
ユーザ注目情報解析部に、前記ユーザ注視点の解析に基づいて前記ユーザの注目情報を抽出させ、該注目情報に対応する情報からなるリストを生成させるユーザ注目情報解析ステップと、
表示情報生成部に前記リストの構成データからなる表示リストを生成させる表示情報生成ステップを実行させるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、ユーザ注目情報を検出して検出した注目情報に基づく様々な処理を実行する構成が実現される。
具体的には、例えば、カメラ撮影画像に基づいて表示部の表示情報に対するユーザ注視点を検出する画像解析部と、ユーザ注視点が規定時間以上、滞留した注目情報を抽出し、注目情報に対応する情報からなるリストを生成するユーザ注目情報解析部と、リスト構成データからなる表示リストを生成する表示情報生成部を有する。ユーザ注目情報解析部はユーザ注視点情報を継続して入力し、最新の注目情報、またはユーザ注視点の滞留時間の長い注目情報をリスト上位に設定するソート処理を実行する。表示情報生成部は、例えばリスト構成データの上位データからなる表示リストを生成する。
本構成により、ユーザ注目情報を検出して検出した注目情報に基づく様々な処理を実行する構成が実現される。
10 ユーザ端末
20 管理サーバ
30 公共端末
60 Webサーバ
100 情報処理装置
101 カメラ
102 画像解析部
103 ユーザ注目情報解析部
104 ユーザ注目情報DB
105 表示情報生成部(ユーザID選択メニュー生成部)
106 表示制御部
107 入力部
108 通信部
109 記憶部
110 表示部
200 情報処理システム
211 カメラ
212 画像解析部
213 顔検出部
214 視線検出部
215 表示部
221 ユーザ識別部
222 ユーザ情報DB
223 ユーザ注目情報解析部
224 ユーザ注目情報DB
225 通信部
226 表示情報DB
227 表示情報生成部
231 WebページDB
232 表示情報生成部
233 通信部
301 CPU
302 ROM
303 RAM
304 バス
305 入出力インタフェース
306 入力部
307 出力部
308 記憶部
309 通信部
310 ドライブ
311 リムーバブルメディア

Claims (19)

  1. 表示部の表示情報に対するユーザ注視点を検出する視線検出部と、
    前記ユーザ注視点の解析に基づいてユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析部と、
    前記リストの構成データからなる表示リストを生成する表示情報生成部を有し、
    前記表示情報は、チャット画面におけるメッセージであり、
    前記視線検出部は、ユーザの注視メッセージを検出し、
    前記ユーザ注目情報解析部は、前記ユーザ注視点が規定時間以上、滞留した注目メッセージを抽出して、該注目メッセージの発信者のユーザIDから構成されるユーザIDリストを生成し、
    前記表示情報生成部は、個別選択可能なユーザIDから構成されるユーザID選択メニューを生成する情報処理装置。
  2. 表示部の表示情報に対するユーザ注視点を検出する視線検出部と、
    前記ユーザ注視点の解析に基づいてユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析部と、
    前記リストの構成データからなる表示リストを生成する表示情報生成部を有し、
    前記表示情報は、店舗情報であり、
    前記視線検出部は、ユーザの注視対象の店舗情報を検出し、
    前記ユーザ注目情報解析部は、前記ユーザ注視点が規定時間以上、滞留した注目店舗情報を抽出して、該注目店舗情報に対応する店舗名から構成される店舗リストを生成し、
    前記表示情報生成部は、店舗リストに含まれる店舗名によって構成される表示リストを生成する情報処理装置。
  3. 前記視線検出部は、カメラ撮影画像に基づいて表示部の表示情報に対するユーザ注視点を検出し、
    前記ユーザ注目情報解析部は、
    前記ユーザ注視点が規定時間以上、滞留した注目情報を抽出し、該注目情報に対応する情報からなるリストを生成する請求項1または2に記載の情報処理装置。
  4. 前記ユーザ注目情報解析部は、
    前記視線検出部の解析したユーザ注視点情報を継続して入力し、入力情報に基づいて、最新の注目情報を前記リストの上位に設定するソート処理を伴うリスト更新処理を実行する請求項1または2に記載の情報処理装置。
  5. 前記ユーザ注目情報解析部は、
    前記視線検出部の解析したユーザ注視点情報を継続して入力し、入力情報に基づいて、ユーザ注視点の滞留時間の長い注目情報を前記リストの上位に設定するソート処理を伴うリスト更新処理を実行する請求項1または2に記載の情報処理装置。
  6. 前記表示情報生成部は、
    前記リストの構成データの上位データのみからなる表示リストを生成する請求項1または2に記載の情報処理装置。
  7. 前記情報処理装置は、さらに、
    前記ユーザID選択メニューを、ユーザ端末に表示する表示制御部を有し、
    前記ユーザID選択メニューは、ユーザ選択によるユーザID入力可能な構成である請求項1に記載の情報処理装置。
  8. 前記ユーザID選択メニューは、ユーザIDとメッセージの一部を含む構成である請求項1に記載の情報処理装置。
  9. 前記表示情報生成部は、前記表示リストに含まれる店舗名に、各店舗の詳細情報を提供する店舗名のアクセス情報を埋め込んだ表示リストを生成する請求項2に記載の情報処理装置。
  10. 表示装置と、管理サーバを有する情報処理システムであり、
    前記表示装置は、
    表示部の表示情報に対するユーザ注視点を検出する視線検出部を有し、
    前記管理サーバは、
    前記表示装置において解析されたユーザ注視点情報を入力し、前記ユーザ注視点の解析に基づいてユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析部と、
    前記リストの構成データからなる表示リストを生成する表示情報生成部を有し、
    前記表示情報は、チャット画面におけるメッセージであり、
    前記視線検出部は、ユーザの注視メッセージを検出し、
    前記ユーザ注目情報解析部は、前記ユーザ注視点が規定時間以上、滞留した注目メッセージを抽出して、該注目メッセージの発信者のユーザIDから構成されるユーザIDリストを生成し、
    前記表示情報生成部は、個別選択可能なユーザIDから構成されるユーザID選択メニューを生成する情報処理システム。
  11. 表示装置と、管理サーバを有する情報処理システムであり、
    前記表示装置は、
    表示部の表示情報に対するユーザ注視点を検出する視線検出部を有し、
    前記管理サーバは、
    前記表示装置において解析されたユーザ注視点情報を入力し、前記ユーザ注視点の解析に基づいてユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析部と、
    前記リストの構成データからなる表示リストを生成する表示情報生成部を有し、
    前記表示情報は、店舗情報であり、
    前記視線検出部は、ユーザの注視対象の店舗情報を検出し、
    前記ユーザ注目情報解析部は、前記ユーザ注視点が規定時間以上、滞留した注目店舗情報を抽出して、該注目店舗情報に対応する店舗名から構成される店舗リストを生成し、
    前記表示情報生成部は、店舗リストに含まれる店舗名によって構成される表示リストを生成する情報処理システム。
  12. 前記表示装置は、
    前記視線検出部において、カメラ撮影画像に基づいて表示部の表示情報に対するユーザ注視点を検出し、
    前記管理サーバは、
    前記ユーザ注目情報解析部において、前記ユーザ注視点が規定時間以上、滞留した注目情報を抽出し、該注目情報に対応する情報からなるリストを生成する請求項10または11に記載の情報処理システム。
  13. 前記表示装置は、さらに、
    前記カメラ撮影画像を前記管理サーバに送信し、
    前記管理サーバは、
    前記表示装置から入力する前記カメラ撮影画像に基づいて、ユーザ識別を実行するユーザ識別部を有する請求項12に記載の情報処理システム。
  14. 前記管理サーバは、
    前記ユーザ注目情報解析部において、前記ユーザ識別部において識別されたユーザ単位のリストを生成し、
    前記表示情報生成部において、前記ユーザ識別部において識別されたユーザ単位の表示リストを生成する請求項13に記載の情報処理システム。
  15. 前記管理サーバは、
    前記ユーザ注目情報解析部において、前記ユーザ識別部において識別されたユーザ単位のリストを生成するとともに、複数のユーザ単位のリストをマージしたマージリストを生成し、
    前記表示情報生成部において、前記マージリストの構成データからなる表示リストを生成する請求項13に記載の情報処理システム。
  16. 前記管理サーバは、
    前記ユーザ注目情報解析部において、リスト構成データ各々に上位から順に低下する点数を設定したリストを生成する請求項10または11に記載の情報処理システム。
  17. 情報処理装置において実行する情報処理方法であり、
    視線検出部が、表示部の表示情報に対するユーザ注視点を検出する視線検出ステップと、
    ユーザ注目情報解析部が、前記ユーザ注視点の解析に基づいてユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析ステップと、
    表示情報生成部が、前記リストの構成データからなる表示リストを生成する表示情報生成ステップを実行し、
    前記表示情報は、チャット画面におけるメッセージであり、
    前記視線検出ステップでは、ユーザの注視メッセージを検出し、
    前記ユーザ注目情報解析ステップでは、前記ユーザ注視点が規定時間以上、滞留した注目メッセージを抽出して、該注目メッセージの発信者のユーザIDから構成されるユーザIDリストを生成し、
    前記表示情報生成ステップでは、個別選択可能なユーザIDから構成されるユーザID選択メニューを生成する情報処理方法。
  18. 情報処理装置において実行する情報処理方法であり、
    視線検出部が、表示部の表示情報に対するユーザ注視点を検出する視線検出ステップと、
    ユーザ注目情報解析部が、前記ユーザ注視点の解析に基づいてユーザの注目情報を抽出し、該注目情報に対応する情報からなるリストを生成するユーザ注目情報解析ステップと、
    表示情報生成部が、前記リストの構成データからなる表示リストを生成する表示情報生成ステップを実行し、
    前記表示情報は、店舗情報であり、
    前記視線検出ステップでは、ユーザの注視対象の店舗情報を検出し、
    前記ユーザ注目情報解析ステップでは、前記ユーザ注視点が規定時間以上、滞留した注目店舗情報を抽出して、該注目店舗情報に対応する店舗名から構成される店舗リストを生成し、
    前記表示情報生成ステップでは、店舗リストに含まれる店舗名によって構成される表示リストを生成する情報処理方法。
  19. 情報処理装置において情報処理を実行させるプログラムであり、
    視線検出部に、表示部の表示情報に対するユーザ注視点を検出させる視線検出ステップと、
    ユーザ注目情報解析部に、前記ユーザ注視点の解析に基づいてユーザの注目情報を抽出させ、該注目情報に対応する情報からなるリストを生成させるユーザ注目情報解析ステップと、
    表示情報生成部に前記リストの構成データからなる表示リストを生成させる表示情報生成ステップを実行させ
    前記表示情報は、チャット画面におけるメッセージであり、
    前記視線検出ステップでは、ユーザの注視メッセージを検出させ、
    前記ユーザ注目情報解析ステップでは、前記ユーザ注視点が規定時間以上、滞留した注目メッセージを抽出して、該注目メッセージの発信者のユーザIDから構成されるユーザIDリストを生成させ、
    前記表示情報生成ステップでは、個別選択可能なユーザIDから構成されるユーザID選択メニューを生成させるプログラム。
JP2020556656A 2018-11-07 2019-09-19 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム Active JP7363807B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018209506 2018-11-07
JP2018209506 2018-11-07
PCT/JP2019/036737 WO2020095546A1 (ja) 2018-11-07 2019-09-19 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2020095546A1 JPWO2020095546A1 (ja) 2021-09-24
JP7363807B2 true JP7363807B2 (ja) 2023-10-18

Family

ID=70612369

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020556656A Active JP7363807B2 (ja) 2018-11-07 2019-09-19 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

Country Status (4)

Country Link
US (1) US20220221933A1 (ja)
EP (1) EP3879384A4 (ja)
JP (1) JP7363807B2 (ja)
WO (1) WO2020095546A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7073021B2 (ja) * 2020-06-02 2022-05-23 三菱電機株式会社 画面構成制御装置、画面構成制御方法及び画面構成制御プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004259198A (ja) 2003-02-27 2004-09-16 Japan Research Institute Ltd 情報管理装置、情報管理システム、及びプログラム
WO2016006136A1 (ja) 2014-07-09 2016-01-14 株式会社Six 情報処理システム
JP2016063471A (ja) 2014-09-19 2016-04-25 ヤマハ株式会社 コンテンツ再生装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2050088B1 (en) * 2006-07-28 2015-11-11 Koninklijke Philips N.V. Private screens self distributing along the shop window
CN103823556B (zh) * 2006-07-28 2017-07-04 飞利浦灯具控股公司 用于被凝视物品的信息显示的凝视交互
US20100100845A1 (en) * 2008-10-20 2010-04-22 Ingboo Inc. Organization and Delivery of Information Updates
US20100141552A1 (en) * 2008-12-04 2010-06-10 Andrew Rodney Ferlitsch Methods and Systems for Imaging Device and Display Interaction
JP2013225226A (ja) * 2012-04-23 2013-10-31 Kyocera Corp 情報端末、表示制御プログラムおよび表示制御方法
US8571851B1 (en) * 2012-12-31 2013-10-29 Google Inc. Semantic interpretation using user gaze order
JP2017156906A (ja) 2016-02-29 2017-09-07 株式会社iDEAKITT チャット表示装置
CN109313880A (zh) * 2016-06-09 2019-02-05 三菱电机株式会社 显示控制装置、显示装置、车载显示系统及显示控制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004259198A (ja) 2003-02-27 2004-09-16 Japan Research Institute Ltd 情報管理装置、情報管理システム、及びプログラム
WO2016006136A1 (ja) 2014-07-09 2016-01-14 株式会社Six 情報処理システム
JP2016063471A (ja) 2014-09-19 2016-04-25 ヤマハ株式会社 コンテンツ再生装置

Also Published As

Publication number Publication date
WO2020095546A1 (ja) 2020-05-14
JPWO2020095546A1 (ja) 2021-09-24
EP3879384A1 (en) 2021-09-15
US20220221933A1 (en) 2022-07-14
EP3879384A4 (en) 2021-12-22

Similar Documents

Publication Publication Date Title
US20200257781A1 (en) Method for generating a human likeness score
CN112791393B (zh) 一种信息处理方法、装置、设备及介质
EP2669817A1 (en) Information processing system, computer program product, information processing device, and display method
JP6320687B2 (ja) 情報処理システム、情報処理装置、プログラムおよび表示方法
US10245516B2 (en) Information-processing system, server device, information-processing device, storage medium, and information-processing method
US9553840B2 (en) Information sharing system, server device, display system, storage medium, and information sharing method
JP2011039860A (ja) 仮想空間を用いる会話システム、会話方法及びコンピュータプログラム
US11036285B2 (en) Systems and methods for mixed reality interactions with avatar
JP2013250898A (ja) 情報処理プログラム、情報処理装置、情報処理システムおよび表示方法
JP5283778B2 (ja) メッセージ管理システム、メッセージ表示装置、メッセージの表示方法、及びプログラム
KR20180050636A (ko) 검색 서비스와 연결된 메시지 서비스를 위한 메시지 서비스 제공 방법 및 상기 메시지 서비스 제공 방법을 수행하는 메시지 서버 및 사용자 단말
EP2669819A1 (en) Information processing system, computer program product, information processing device, and display method
US9338198B2 (en) Information processing system, storing medium, information processing device, and display method
JP6139066B2 (ja) 情報処理プログラム、情報処理装置、情報処理システムおよびコンテンツ推薦方法
JP2009223656A (ja) 仮想空間提供装置、仮想空間提供システム、仮想空間提供方法及びコンピュータプログラム
JP7363807B2 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP5373176B2 (ja) メッセージ管理システム、メッセージ表示装置、メッセージの表示方法、及びプログラム
US20230020633A1 (en) Information processing device and method for medium drawing in a virtual system
US20230041497A1 (en) Mood oriented workspace
CN114035729A (zh) 电子投票方法及装置、终端设备
CN117892264A (zh) 用于基于语音的用户简档管理的方法和用户界面

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230918

R151 Written notification of patent or utility model registration

Ref document number: 7363807

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151