JP6122735B2 - 情報処理装置、判定方法および判定プログラム - Google Patents

情報処理装置、判定方法および判定プログラム Download PDF

Info

Publication number
JP6122735B2
JP6122735B2 JP2013177358A JP2013177358A JP6122735B2 JP 6122735 B2 JP6122735 B2 JP 6122735B2 JP 2013177358 A JP2013177358 A JP 2013177358A JP 2013177358 A JP2013177358 A JP 2013177358A JP 6122735 B2 JP6122735 B2 JP 6122735B2
Authority
JP
Japan
Prior art keywords
user
emotion
information
unit
social network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013177358A
Other languages
English (en)
Other versions
JP2015046070A (ja
Inventor
まり子 鈴木
まり子 鈴木
彩花 平野
彩花 平野
千佳 渡邊
千佳 渡邊
優一 北嶋
優一 北嶋
裕記 笹城戸
裕記 笹城戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2013177358A priority Critical patent/JP6122735B2/ja
Priority to US14/020,048 priority patent/US9235263B2/en
Publication of JP2015046070A publication Critical patent/JP2015046070A/ja
Application granted granted Critical
Publication of JP6122735B2 publication Critical patent/JP6122735B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Dermatology (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Biomedical Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、情報処理装置、判定方法および判定プログラムに関する。
従来、SNS(Social Networking Service)等において、利用者と第三者との類似性を評価し、評価結果に基づいて、利用者同士の結びつけを行う技術が知られている。かかる技術の一例として、第1の利用者のプロフィールと第2の利用者のプロフィールとから共通する情報等の相互関係を検出し、検出した相互関係に基づいて、第1の利用者に第2の利用者に係る情報を提供するソーシャルネットワーク環境の技術が知られている。
特表2010−500651号公報
しかしながら、従来の技術では、第1の利用者が第2の利用者に対して有する感情に係らず、第1の利用者に第2の利用者に係る情報を提供するので、提供された情報を第1の利用者が不快に感じる場合がある。また、従来の技術では、第1の利用者に情報が提供されたことに対して、第2の利用者が不快に感じる場合がある。
本願は、上記に鑑みてなされたものであって、利用者に嫌な思いをさせずに他の利用者に係る情報を提供できる情報処理装置、判定方法および判定プログラムを提供することを目的とする。
本願に係る情報処理装置は、第1の利用者および第2の利用者から取得された生体情報を収集する収集部と、前記収集部が取得した生体情報を用いて、前記第1の利用者から前記第2の利用者への感情と、前記第2の利用者から前記第1の利用者への感情とを特定する特定部と、前記特定部が特定した各々の感情に基づいて、前記第1の利用者に対し、前記第2の利用者の情報を提供するか否かを判定する判定部とを備えることを特徴とする。
実施形態の一態様によれば、利用者に嫌な思いをさせずに利用者の情報を提供できる。
図1は、実施形態に係る情報提供システムが発揮する機能の一例を示す図である。 図2は、実施形態に係るヘッドマウント装置の機能構成の一例を説明する図である。 図3は、実施形態に係る感情判定サーバの機能構成の一例を説明する図である。 図4は、実施形態に係る感情スコア管理テーブルに格納された情報の一例を説明する図である。 図5は、実施形態に係る感情判定サーバが利用者の感情を判定する処理の一例を説明する図である。 図6は、実施形態に係るソーシャルネットワークサーバの機能構成の一例を説明する図である。 図7は、実施形態に係る感情情報管理テーブルの一例を説明する図である。 図8は、実施形態に係るソーシャルネットワークサーバが実行する判定処理の一例を説明する図である。 図9は、実施形態に係るソーシャルネットワークサーバが実行する処理のバリエーションを説明する図である。 図10は、実施形態におけるヘッドマウント装置が表示する情報の一例を説明する図である。 図11は、実施形態に係る情報提供システムが実行する処理の流れを説明するフローチャートである。 図12は、実施形態に係るソーシャルネットワークサーバが実行する処理の流れを説明するフローチャートである。 図13は、相互に有する感情に応じて表示する情報を変更する処理の一例を説明する図である。 図14は、実施形態に係る情報提供システムが提供する情報の一例を説明する図である。 図15は、判定プログラムを実行するコンピュータのハードウェア構成の一例を示す図である。
以下に、本願に係る情報処理装置、判定方法および判定プログラムを実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、判定方法および判定プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
〔1.情報提供システム〕
まず、図1を用いて、本願の情報処理装置、判定方法および記録媒体に記録された判定プログラムに係る情報提供システム1が実行する処理の一例について説明する。図1は、実施形態に係る情報提供システムが発揮する機能の一例を示す図である。図1に示す例では、情報提供システム1には、ヘッドマウント装置10、60、感情判定サーバ30、ソーシャルネットワークサーバ40をネットワーク2で接続した形態を有する。
なお、情報提供システム1には、他にも複数のヘッドマウント装置が含まれるものとする。また、各ヘッドマウント装置10、60は、それぞれ異なる利用者が使用するヘッドマウント装置であるものとする。以下の説明では、ヘッドマウント装置10をユーザー#1が使用し、ヘッドマウント装置60をユーザー#2が使用する例について説明する。また、以下の説明では、ヘッドマウント装置60は、ヘッドマウント装置10と同様の機能を発揮するものとして、説明を省略する。
ヘッドマウント装置10は、利用者から生体情報を取得するウェアラブルデバイスである。例えば、ヘッドマウント装置10は、眼鏡型のデバイスである。また、ヘッドマウント装置10は、ユーザー#1の視野内に任意の情報を表示することができる。また、ヘッドマウント装置10は、カメラを有しており、ユーザー#1が視野内に捕らえた光景を撮影することができる。また、ヘッドマウント装置10は、例えば、赤外線等を用いて、ユーザー#1の眼球の動きを捉えており、ユーザー#1が視野内のどの範囲を注視しているか、すなわち視線がどこを向いているかを判定することができる。
また、ヘッドマウント装置10は、耳にかけるつるの部分に生体センサを有し、ユーザー#1の心拍数、脈拍、体温、筋電変化、皮膚電気活動(Electro-Dermal Activity, EDA)、音声、歩行距離、歩行時間等様々な生体センサ値を利用者から取得することができる。そして、ヘッドマウント装置10は、3G(Generation)、4G、LTE(Long Term Evolution)、GSM(登録商標)(Global System for Mobile Communications)等の無線通信網を介してネットワーク2に接続することができる。
なお、ヘッドマウント装置10は、bluetooth(登録商標)や無線LAN(Local Area Network)等の近距離無線通信を用いて、図示を省略した携帯電話等の端末装置に接続し、接続した端末装置を介してネットワーク2に接続してもよい。また、ヘッドマウント装置10は、ユーザー#1の手首等に装着され、ユーザー#1から各種生体センサ値を取得する生体情報取得装置を介して、ユーザー#1から生体センサ値を取得してもよい。
また、ヘッドマウント装置10は、同様の機能を発揮できる構成であれば、複数の装置を連携させて発揮させてもよい。例えば、ヘッドマウント装置10は、利用者から生体センサ値を収集する生体情報取得装置と、生体情報取得装置と近距離無線通信を行い、取得された生体センサ値を取得する端末装置との組み合わせで実現してもよい。なお、かかる端末装置は、ヘッドマウント装置10のように、利用者の視野内に画像を表示する機能を有していなくともよく、任意の情報を表示する画面を有していればよい。
ここで、ヘッドマウント装置10は、以下の処理を実行する。まず、ヘッドマウント装置10は、所定の時間間隔で、利用者から生体センサ値を取得する。また、ヘッドマウント装置10は、取得した生体センサ値から、利用者の覚醒度と快度との組である感情スコアを生成する。また、ヘッドマウント装置10は、生体センサ値の取得と同時期に、利用者が視野内にとえらえた光景を主観画像として撮影するとともに、利用者の視線が画面内のどこに向けられているかを判定する。
そして、ヘッドマウント装置10は、算出した感情スコアと、ユーザー#1を示すユーザーID(Identifier)とを、ネットワーク2を介して、感情判定サーバ30に送信する。また、ヘッドマウント装置10は、撮影した主観画像と、利用者の視線が画面内のどこに向けられているかを示す視線情報と、ユーザー#1のユーザーIDとを、ネットワーク2を介して、ソーシャルネットワークサーバ40に送信する。
感情判定サーバ30は、各利用者から取得された感情スコアを用いて、利用者の感情を特定する。具体的には、感情判定サーバ30は、各ヘッドマウント装置10、60から利用者の感情スコアを受信する。かかる場合は、感情判定サーバ30は、受信した感情スコアを用いて、各利用者の感情を特定する。例えば、感情判定サーバ30は、感情スコアの覚醒度、快度を用いて、利用者の感情が「エキサイト状態」、「喜び状態」、「リラックス状態」、「退屈状態」、「憂鬱状態」、「悲しみ状態」、「恐怖状態」、「怒り状態」のいずれであるかを特定する。そして、感情判定サーバ30は、判定対象となった利用者のユーザーIDとともに、感情を示す感情情報をソーシャルネットワークサーバ40へ送信する。
ソーシャルネットワークサーバ40は、第1の利用者から第2の利用者への感情と、第2の利用者から第1の利用者への感情とに基づいて、第1の利用者に対し、第2の利用者の情報を提供するか否かを判定する。具体的には、ソーシャルネットワークサーバ40は、ヘッドマウント装置10、60が取得した主観画像と、視線情報とを用いて、感情判定サーバ30から受信した感情情報が、何に向けられた感情であるかを判定する。
例えば、ソーシャルネットワークサーバ40は、ヘッドマウント装置10から受信した主観画像から、視線情報を用いて、利用者が注視する範囲の画像を抽出する。そして、ソーシャルネットワークサーバ40は、任意の顔認証技術等を用いて、抽出した画像内に含まれる人物が誰であるかを特定する。その後、感情判定サーバ30が主観画像と視線情報とが取得された時期と同時期に取得された感情スコアから判定した利用者の感情を取得すると、ソーシャルネットワークサーバ40は、取得した感情が、特定した人物に対する感情であると判定する。
そして、ソーシャルネットワークサーバ40は、各利用者の相互に対する感情が所定の条件を満たした場合は、第1の利用者に第2の利用者の情報を提供すると判定する。例えば、ソーシャルネットワークサーバ40は、第1の利用者から第2の利用者への感情が否定的であると判定した場合は、第1の利用者に対し、第2の利用者の情報を提供しないと判定する。
また、ソーシャルネットワークサーバ40は、第1の利用者から第2の利用者への感情が否定的ではなく、第2の利用者から第1の利用者への感情が好意的な感情である場合は、第1の利用者に対して第2の利用者の情報を提供すると判定する。また、ソーシャルネットワークサーバ40は、第1の利用者から第2の利用者への感情、および、第2の利用者から第1の利用者への感情が両方とも好意的な感情である場合は、第1の利用者に第2の利用者の情報を提供するとともに、第2の利用者に対し、第1の利用者の情報を提供すると判定する。
ここで、好意的な感情とは、例えば、「エキサイト状態」、「喜び状態」等の「超ポジティブ状態」に含まれる感情であり、否定的な感情とは、「退屈状態」、「憂鬱状態」、「悲しみ状態」などの「ネガティブ状態」に含まれる感情、または「恐怖状態」、「怒り状態」などの「超ネガティブ状態」に含まれる感情である。なお、「リラックス状態」などは「ポジティブ状態」の感情である。例えば、ソーシャルネットワークサーバ40は、第1の利用者の第2の利用者に対する感情が「リラックス状態」であり、第2の利用者の第1の利用者に対する感情が「エキサイト状態」である場合は、第2の利用者の情報を第1の利用者に対して提供すると判定する。
そして、ソーシャルネットワークサーバ40は、第1の利用者に対し、第2の利用者の情報を提供すると判定した場合は、第2の利用者の情報を第1の利用者に提供する。例えば、ソーシャルネットワークサーバ40は、第1の利用者に対し、第2の利用者が好意を有している旨の通知、第2の利用者を友人にするか等の提案、その他任意の提案を第1の利用者に対して行う。
次に、情報提供システム1において、ソーシャルネットワークサーバ40が実行する処理の流れについて説明する。なお、以下の例では、ヘッドマウント装置10がユーザー#1がユーザー#2を注視している際に生体センサ値と主観画像と視線情報とを取得し、ヘッドマウント装置60がユーザー#2がユーザー#1を注視している際に生体センサ値と主観画像と視線情報とを取得する例について説明する。
まず、図1中(a)に示すように、ヘッドマウント装置10は、ユーザー#1の主観画像と視線情報と生体センサ値とを取得する。そして、ヘッドマウント装置10は、生体センサ値から感情スコアを算出し、図1中(b)に示すように、感情スコアを感情判定サーバ30に送信し、図1中(c)に示すように、主観画像と視線情報とをソーシャルネットワークサーバ40に送信する。
一方、ヘッドマウント装置60は、図1中(d)に示すように、ユーザー#2の主観画像と視線情報と感情スコアとを取得する。そして、ヘッドマウント装置60は、図1中(e)に示すように、取得した感情スコアを感情判定サーバ30に送信し、図1中(f)に示すように、主観画像と視線情報とをソーシャルネットワークサーバ40に送信する。
また、感情判定サーバ30は、図1中(g)に示すように、ヘッドマウント装置10、60から受信した感情スコアを用いて、ユーザー#1およびユーザー#2の感情をそれぞれ判定する。そして、感情判定サーバ30は、図1中(h)に示すように、ユーザー#1、ユーザー#2の感情を示す感情情報をそれぞれソーシャルネットワークサーバ40に送信する。
一方、ソーシャルネットワークサーバ40は、図1中(i)に示すように、ユーザー#1のユーザー#2に対する感情と、ユーザー#2のユーザー#1に対する感情とを判定する。具体的には、ソーシャルネットワークサーバ40は、ヘッドマウント装置10から主観画像と視線情報とを受信し、受信した主観画像と視線情報とを用いて、ユーザー#1が注視している人物を特定する。そして、ソーシャルネットワークサーバ40は、特定した人物の顔認証を実行することで、ユーザー#1が注視しているのがユーザー#2であると判定する。この結果、ソーシャルネットワークサーバ40は、感情判定サーバ30から受信したユーザー#1の感情情報と合わせて、ユーザー#1のユーザー#2に対する感情を判定する。
また、ソーシャルネットワークサーバ40は、ヘッドマウント装置60から主観画像と視線情報とを受信し、受信した主観画像と視線情報とを用いて、ユーザー#2が注視している人物を特定し、特定した人物の顔認証を実行することで、ユーザー#2が注視しているのがユーザー#1であると判定する。この結果、ソーシャルネットワークサーバ40は、感情判定サーバ30から受信したユーザー#2の感情情報と合わせて、ユーザー#2のユーザー#1に対する感情を判定する。
ここで、ソーシャルネットワークサーバ40は、ユーザー#1のユーザー#2に対する感情が「エキサイト状態」であり、ユーザー#2のユーザー#1に対する感情が「リラックス状態」である場合は、図1中(j)に示すように、ユーザー#2に対し、ユーザー#1の情報を通知する。一方、ソーシャルネットワークサーバ40は、ユーザー#1のユーザー#2に対する感情が「エキサイト状態」であっても、ユーザー#2のユーザー#1に対する感情が「退屈状態」など、否定的な感情である場合は、ユーザー#2に対し、ユーザー#1の情報を通知しない。このように、ソーシャルネットワークサーバ40は、各利用者同士の相互に対する感情に基づいて、一方の利用者に他方の利用者の情報を提供するかを判定するので、各利用者を不快にさせることなく、各利用者の情報を他の利用者に提供することができる。
なお、ヘッドマウント装置10、ヘッドマウント装置60、感情判定サーバ30、ソーシャルネットワークサーバ40が実行する処理は、同一時間帯で実行される必要はない。すなわち、ソーシャルネットワークサーバ40は、ユーザー#1のユーザー#2に対する感情を判定した時間帯と、ユーザー#2のユーザー#1に対する感情を判定した時間帯とが異なっていても、各利用者を不快にさせることなく、各利用者の情報を他方の利用者に提供することができる。
〔2.ヘッドマウント装置の機能構成〕
次に、図2を用いて、実施形態に係るヘッドマウント装置10の機能構成について説明する。図2は、実施形態に係るヘッドマウント装置の機能構成の一例を説明する図である。図2に示す例では、ヘッドマウント装置10は、カメラ11、生体センサ12、通信部13、制御部14、記憶部15、表示部20を有する。また、記憶部15は、取得データ記憶部16を有する。また、制御部14は、収集部17、送信部18、表示制御部19を有する。
まず、記憶部15が有する取得データ記憶部16について説明する。取得データ記憶部16は、利用者から取得された生体センサ値、視線情報、主観画像を一時的に記憶する。例えば、取得データ記憶部16には、ユーザー#1から取得された生体センサ値と、視線情報と、主観画像とに、取得した時刻を示すタイムスタンプが付されて格納される。
カメラ11は、主観画像を取得する画像取得装置である。例えば、カメラ11は、利用者の目の横に設置された画像取得装置であり、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサを用いて、ヘッドマウント装置10を装着した利用者の主観画像を取得する。
生体センサ12は、利用者から生体センサ値を取得するセンサである。例えば、生体センサ12は、1つ以上の生体センサ値を利用者から取得する。そして、生体センサ12は、取得した各生体センサ値から、覚醒度と快度とを−5〜5までの10段階で評価した感情スコアを生成する。また、生体センサ12は、赤外線等を用いて、利用者の眼球の動きを捉え、主観画像のうち、利用者がどの範囲を注視しているかを特定する。
通信部13は、ヘッドマウント装置10、感情判定サーバ30、ソーシャルネットワークサーバ40との間の通信を制御する。具体的には、通信部13は、ヘッドマウント装置10の利用者を示すユーザーIDと主観画像と視線情報とを含む視界通知を送信部18から受信した場合は、ネットワーク2を介して、受信した視界通知をソーシャルネットワークサーバ40に送信する。また、通信部13は、ヘッドマウント装置10の利用者を示すユーザーIDと感情スコアとを含む感情スコア通知を送信部18から受信した場合は、ネットワーク2を介して、感情スコア通知を感情判定サーバ30に送信する。
また、通信部13は、ソーシャルネットワークサーバ40から、通知された他の利用者を識別するための情報である通知対象情報と、通知内容とを含む提案通知を受信した場合は、受信した提案通知を表示制御部19に出力する。ここで、通知対象情報とは、ヘッドマウント装置10の利用者に対して通知された他の利用者を示す情報であり、例えば、カメラ11が取得する主観画像内から、通知された他の利用者を検出するための情報である。また、通知内容とは、ヘッドマウント装置10の利用者に対して通知された他の利用者の情報であり、例えば、「あなたに対して好意を有する人がいます。」といったメッセージである。
収集部17は、利用者の感情スコア、主観画像、視線情報を収集する。具体的には、収集部17は、所定の時間間隔で、カメラ11を動作させ、利用者の主観画像を取得する。また、収集部17は、主観画像の取得と同時に、生体センサ12を動作させ、利用者の感情スコアを取得する。
また、収集部17は、生体センサ12を動作させ、利用者の光彩や眼球の動きを測定し、測定結果に基づいて視線情報を取得する。そして、収集部17は、収集した感情スコア、主観画像、視線情報とを対応付けて取得データ記憶部16に格納する。なお、収集部17は、感情スコア、主観画像、視線情報を取得した場合は、取得した際の時刻を示すタイムスタンプを各情報に付与して、取得データ記憶部16に格納する。
送信部18は、ヘッドマウント装置10が取得した感情スコアを感情判定サーバ30に送信し、ヘッドマウント装置10が取得した主観画像と視線情報とをソーシャルネットワークサーバ40に送信する。具体的には、送信部18は、所定の時間間隔で、取得データ記憶部16から感情スコアを読出し、読み出した感情スコアとヘッドマウント装置10の利用者を示すユーザーIDとを含む感情スコア通知を通信部13に出力する。また、送信部18は、所定の時間間隔で、取得データ記憶部16から主観画像と視線情報とを読出し、読み出した主観画像と視線情報とヘッドマウント装置10の利用者を示すユーザーIDとを含む視界通知を通信部13に出力する。
表示制御部19は、ソーシャルネットワークサーバ40から、他の利用者の情報を受信すると、受信した情報を表示部20に表示させる。例えば、表示制御部19は、提案通知を受信すると、提案通知から通知対象情報と、通知内容とを抽出する。そして、表示制御部19は、提案通知から通知対象情報と通知内容とを抽出すると、カメラ11から主観画像を取得し、取得した主観画像の中から、通知対象情報を用いて、通知された他の利用者を検出する。
また、表示制御部19は、通知された他の利用者を検出した場合は、主観画像から他の利用者を検出した位置を示す位置情報とともに、通知内容を表示部20に出力する。一方、表示制御部19は、主観画像の中から通知された他の利用者を検出できなかった場合は、抽出した通知内容を表示部20に出力するとともに、通知内容をポップアップ形式で表示するよう指示する。
表示部20は、利用者の視界内に任意の情報を表示可能な表示装置である。例えば、表示部20は、利用者の視線上に設置された自由曲面プリズムに画像を入力することで、利用者の視界内に情報の表示を行う。また、表示部20は、表示制御部19から、位置情報と通知内容とを受信した場合は、位置情報が示す位置に受信した通知内容を表示する。すなわち、表示部20は、ソーシャルネットワークサーバ40から通知された他の利用者の姿と重ねあわせるように、通知内容の表示を行う。一方、表示部20は、通知内容を受信するとともに、通知内容をポップアップ形式で表示するよう指示された場合は、所定の位置に、受信した通知内容をポップアップ形式で表示する。
〔3.感情判定サーバの機能構成〕
次に、図3を用いて、実施形態に係る感情判定サーバ30の機能構成について説明する。図3は、実施形態に係る感情判定サーバの機能構成の一例を説明する図である。図3に示す例では、感情判定サーバ30は、通信部31、制御部32、記憶部33を有する。また、記憶部33は、感情スコア管理テーブル34を記憶する。また、制御部32は、受信部35、判定部36、通知部37を有する。
まず、記憶部33が記憶する感情スコア管理テーブル34について図4を用いて説明する。図4は、実施形態に係る感情スコア管理テーブルに格納された情報の一例を説明する図である。図4に示すように、感情スコア管理テーブル34には、ユーザーIDと対応付けてユーザーIDが示す利用者から取得された感情スコアである利用者の覚醒度aと快度bとの組が(a、b)の形式で格納されている。
例えば、図4に示す例では、感情スコア管理テーブル34には、ユーザーID「user#1」と対応付けて、時系列順に取得された感情スコア(5,1)、(5,3)が格納されている。また、図4に示す例では、感情スコア管理テーブル34には、ユーザーID「user#2」と対応付けて、時系列順に取得された感情スコア(5、−4)、(4、−3)が格納されている。
図3に戻り、説明を続ける。通信部31は、感情判定サーバ30と、ヘッドマウント装置10、60、ソーシャルネットワークサーバ40との間の通信を制御する。具体的には、通信部31は、ネットワーク2を介して、ヘッドマウント装置10、60から感情スコア通知を受信すると、受信した感情スコア通知を受信部35に出力する。また、通信部31は、通知部37から利用者の感情を示す感情情報と、かかる利用者のユーザーIDとを含む感情情報通知とを受信すると、受信した感情情報通知をソーシャルネットワークサーバ40に送信する。
受信部35は、利用者から取得された感情スコアを受信する。具体的には、受信部35は、通信部31から、感情スコア通知を受信すると、受信した感情スコア通知からユーザーIDと感情スコアを抽出する。そして、受信部46は、抽出したユーザーIDと対応付けて、抽出した感情スコアを感情スコア管理テーブル34に格納する。
判定部36は、利用者から取得された感情スコアを用いて、利用者の感情を判定する。例えば、判定部36は、感情判定サーバ30が新たな感情スコアをヘッドマウント装置10、60から受信した際、または、所定の時間間隔で、感情スコア管理テーブル34から判定対象となる利用者の感情スコアを読み出す。また、判定部36は、読み出した感情スコアに付与されたタイムスタンプを抽出する。
そして、判定部36は、読み出した感情スコアに基づいて、利用者の感情を判定する。その後、判定部36は、判定した利用者の感情を示す感情情報を生成し、生成した感情情報に抽出したタイムスタンプを付与する。また、判定部36は、感情情報と利用者のユーザーIDとを通知部37に出力する。
ここで、図5を用いて、判定部36が利用者の感情を判定する処理の一例について説明する。図5は、実施形態に係る感情判定サーバが利用者の感情を判定する処理の一例を説明する図である。なお、図5には、利用者の覚醒度と快度とから感情を判定する際に用いる2次元感情モデルの一例を記載した。
例えば、判定部36は、図5中(A)に示すように、利用者の覚醒度が正の値であり、快度が負の値である場合は、「怒り状態」や「恐怖状態」等、利用者の感情が「超ネガティブ」な感情であると判定する。具体例を挙げると、判定部36は、覚醒度の値が約「3」の範囲内であり、かつ、快度の値が約「−5〜−2」の範囲内である場合は、利用者の感情が「怒り状態」であると判定し、覚醒度の値が約「1〜3」の範囲内であり、快度の値が約「−3〜0」の範囲内である場合は、利用者の感情が「恐怖状態」であると判定する。
また、判定部36は、図5中(B)に示すように、利用者の覚醒度が負の値であり、快度が負の値である場合は、「悲しみ状態」、「憂鬱状態」、「退屈状態」等、利用者の感情が「ネガティブ」な感情であると判定する。具体例を挙げると、判定部36は、覚醒度の値が約「−1〜0」の範囲内であり、かつ、快度の値が約「−5〜−2」の範囲内である場合は、利用者の感情が「悲しみ状態」であると判定し、覚醒度の値が約「−3〜−1」であり、快度の値が約「−3〜−1」の範囲内である場合は、利用者の感情が「憂鬱状態」であると判定し、覚醒度の値が約「−5〜−3」であり、快度の値が約「−3〜0」の範囲内である場合は、利用者の感情が「退屈状態」であると判定する。
また、判定部36は、図5中(C)に示すように、利用者の覚醒度が負の値であり、快度が正の値である場合は、「リラックス状態」等、利用者の感情が「ポジティブ」な感情であると判定する。具体例を挙げると、判定部36は、覚醒度の値が約「−4〜−3」の範囲内であり、かつ、快度の値が約「0〜3」の範囲内である場合は、利用者の感情が「リラックス状態」であると判定する。
また、判定部36は、図5中(D)に示すように、利用者の覚醒度が正の値であり、快度が正の値である場合は、「エキサイト状態」、「喜び状態」等、利用者の感情が「超ポジティブ」な感情であると判定する。具体例を挙げると、判定部36は、覚醒度の値が約「3〜5」の範囲内であり、かつ、快度の値が約「3〜4」の範囲内である場合は、利用者の感情が「エキサイト状態」であると判定し、覚醒度の値が約「0〜2」の範囲内であり、かつ、快度の値が約「2〜5」の範囲内である場合は、利用者の感情が「喜び状態」であると判定する。
ここで、判定部36が実行する処理の一例について説明する。例えば、判定部36は、図4に示す感情スコア管理テーブル34から、ユーザー#2のユーザーID「user#2」と対応付けられた覚醒度と快度との組「(5,−4)」を取得する。そして、判定部36は、取得した覚醒度と快度との組「(5,−4)」から、ユーザー#2の感情が「怒り状態」であると判定する。その後、判定部36は、「怒り状態」を示す感情情報に、取得した覚醒度と快度との組に付与されたタイムスタンプを付与し、ユーザー#2のユーザーID「user#2」とともに通知部37に通知する。
なお、図5に示す2次元感情モデルは、あくまで一例であり、感情判定サーバ30は、任意の感情モデルを用いて、利用者の感情を判定することができる。例えば、判定部36は、覚醒度と快度との組を複数用いて、覚醒度と快度との時間的な変遷から、利用者の感情を判定してもよい。
図3に戻り、説明を続ける。通知部37は、ソーシャルネットワークサーバ40に対し、利用者の感情を通知する。具体的には、通知部37は、判定部36からユーザーIDと、ユーザーIDが示す利用者の感情を示す感情情報とを受信する。かかる場合は、通知部37は、利用者の感情を示す感情情報とユーザーIDとを含む感情情報通知を生成し、生成した感情情報通知を通信部41に出力する。
〔4.ソーシャルネットワークサーバの機能構成〕
次に、図6を用いて、実施形態に係るソーシャルネットワークサーバ40機能構成について説明する。図6は、実施形態に係るソーシャルネットワークサーバの機能構成の一例を説明する図である。図6に示す例では、ソーシャルネットワークサーバ40は、通信部41、制御部42、記憶部43を有する。また、記憶部43は、感情情報管理テーブル44、顔画像データベース45を記憶する。また、制御部42は、受信部46、特定部47、更新部48、判定部49、送信部50、を有する。
まず、記憶部43が記憶する感情情報管理テーブル44に格納される情報の一例について説明する。感情情報管理テーブル44は、各利用者が他の利用者に対して有する感情を示す感情情報を記憶する。例えば、図7は、実施形態に係る感情情報管理テーブルの一例を説明する図である。図7に示すように、感情情報管理テーブル44には、感情を有する利用者を示すユーザーIDと、感情の対象となる利用者のユーザーIDである対象情報と、感情情報とが対応付けて格納されている。
例えば、図7に示す例では、感情情報管理テーブル44には、ユーザーID「user#1」と対象情報「user#2」と感情情報「エキサイト状態」とが対応付けて格納され、ユーザーID「user#1」と対象情報「user#3」と感情情報「エキサイト状態」とが対応付けて格納されている。
また、感情情報管理テーブル44には、ユーザーID「user#2」と対象情報「user#1」と感情情報「ネガティブ状態」とが対応付けて格納され、ユーザーID「user#2」と対象情報「user#3」と感情情報「エキサイト状態」とが対応付けて格納されている。また、感情情報管理テーブル44には、ユーザーID「user#3」と対象情報「user#1」と感情情報「リラックス状態」とが対応付けて格納され、ユーザーID「user#3」と対象情報「user#2」と感情情報「エキサイト状態」とが対応付けて格納されている。
すなわち、図7に示す例では、感情情報管理テーブル44は、ユーザー#1のユーザー#2に対する感情が「エキサイト状態」であり、ユーザー#1のユーザー#3に対する感情が「エキサイト状態」である旨を示す。また、感情情報管理テーブル44は、ユーザー#2のユーザー#1に対する感情が「ネガティブ状態」であり、ユーザー#2のユーザー#3に対する感情が「エキサイト状態」である旨を示す。また、感情情報管理テーブル44は、ユーザー#3のユーザー#1に対する感情が「リラックス状態」であり、ユーザー#3のユーザー#2に対する感情が「エキサイト状態」である旨を示す。
図6に戻り、説明を続ける。顔画像データベース45は、ヘッドマウント装置10、60の利用者の顔を撮影した画像データのデータベースであり、例えば、各利用者のユーザーIDと、かかるユーザーIDが示す利用者の顔画像とが対応付けて格納されたデータベースである。
通信部41は、ソーシャルネットワークサーバ40と、各ヘッドマウント装置10、60、感情判定サーバ30との通信を制御する。例えば、通信部41は、各ヘッドマウント装置10、60から視界通知を受信した場合は、受信した視界通知を受信部46に出力する。また、通信部41は、感情判定サーバ30から感情情報通知を受信した場合は、受信した感情情報通知を更新部48に出力する。また、通信部41は、送信部50から提案通知と、提案通知の送信先となる利用者のユーザーIDとを受信した場合は、受信したユーザーIDが示す利用者が装着するヘッドマウント装置に対し、受信した提案通知を送信する。
受信部46は、通信部41から視界通知を受信すると、受信した視界通知からユーザーIDと主観画像と視線情報とを抽出する。そして、通信部41は、抽出したユーザーIDと主観画像と視線情報とを特定部47に出力する。
特定部47は、主観画像と視線情報とを用いて、利用者が有する感情の対象を特定する。具体的には、特定部47は、受信部46からユーザーIDと主観画像と視線情報とを受信すると、受信した主観画像や視線情報から、主観画像や視線情報が取得された時刻を示すタイムスタンプを取得する。
また、特定部47は、受信した主観画像と視線情報とを用いて、ユーザーIDが示す利用者が有する感情の対象を特定する。例えば、特定部47は、受信した主観画像のうち、視線情報が示す範囲内に人の顔が撮影されているか否かを判定する。そして、特定部47は、視線情報が示す範囲内に人の顔が撮影されている場合は、撮影された人の顔の画像を抽出する。また、特定部47は、抽出した顔の画像と、顔画像データベース45に格納された各顔画像とを比較し、抽出した顔が誰の顔であるかを識別する顔認証処理を実行する。
また、特定部47は、顔認証処理を実行した結果、抽出した顔の画像と同じ人物の顔の画像が顔画像データベース45に格納されている場合は、かかる顔画像と対応づけられたユーザーIDを取得する。そして、特定部47は、取得したユーザーIDを対象情報とし、受信部46から受信したユーザーIDと対象情報とを対応付けて感情情報管理テーブル44に格納する。また、特定部47は、ユーザーIDと対応情報との組と取得したタイムスタンプを対応付けて感情情報管理テーブル44に格納しておく。
なお、特定部47は、視線情報が示す範囲内に人の顔が撮影されていない場合は、受信した主観画像と視線情報とを破棄して処理を終了する。また、特定部47は、顔認証処理については、図示を省略した他のサーバやクラウドに実行を依頼してもよい。また、特定部47が実行する顔認証処理は、公知技術により実現されるものとし、説明を省略する。
更新部48は、感情情報管理テーブル44の更新を行う。例えば、更新部48は、通信部41から感情情報通知を受信すると、受信した感情情報通知から、ユーザーIDと感情情報とを抽出する。また、更新部48は、感情情報管理テーブル44に格納されたユーザーIDと対象情報との組から、感情情報の更新対象となる組を特定する。そして、更新部48は、抽出した感情情報を特定したユーザーIDと対象情報との組と対応付けて感情情報管理テーブル44に格納する。
ここで、更新部48が感情情報管理テーブル44から感情情報の更新対象となるユーザーIDと対象情報の組を特定する処理の一例について説明する。まず、更新部48は、感情情報通知から抽出した感情情報から、感情情報に付与されたタイムスタンプ、すなわち、感情情報が示す感情を判定する際に用いられた感情スコアの取得時刻を示すタイムスタンプを抽出する。そして、更新部48は、感情情報管理テーブル44の各エントリのうち、感情情報通知から抽出したユーザーIDを含むエントリのうち、感情スコアから抽出されたタイムスタンプと値が一致するタイムスタンプ、若しくは値が最も近いタイムスタンプが対応付けられたエントリを特定する。
その後、更新部48は、特定したエントリの感情情報を、感情情報通知から抽出した感情情報に更新する。すなわち、更新部48は、同時期に取得された感情スコア、主観画像、および視線情報から特定される対象情報および感情情報を、対応付けて感情情報管理テーブル44に格納する。
判定部49は、第1の利用者が第2の利用者に対して有する感情と、第2の利用者が第1の利用者に対して有する感情とが所定の条件を満たすか否かを判定する。例えば、判定部49は、感情情報管理テーブル44に格納された感情情報が更新部48によって更新されると、更新された感情情報を含むエントリに格納されたユーザーIDと対象情報と感情情報とを取得する。そして、判定部49は、取得したユーザーIDを対象情報とし、取得した対象情報をユーザーIDとするエントリを感情情報管理テーブル44から検索する。
ここで、判定部49は、取得したユーザーIDを対象情報とし、取得した対象情報をユーザーIDとするエントリが感情情報管理テーブル44に存在しない場合は、そのまま処理を終了する。一方、判定部49は、取得したユーザーIDを対象情報とし、取得した対象情報をユーザーIDとするエントリを検出した場合は、検出したエントリから感情情報を取得する。つまり判定部49は、二人の利用者の相互に対する感情を示す感情情報を取得する。
また、判定部49は、取得した感情情報が所定の条件を満たすか否かに応じて、各利用者の情報を他方の利用者に提供するか否かを判定する。そして、判定部49は、判定結果に応じて、情報が提供される利用者のユーザーIDと、情報の提供先となる利用者のユーザーIDとを送信部50に通知する。
なお、判定部49は、感情情報管理テーブル44が更新された際ではなく、例えば、所定の時間間隔で、感情情報管理テーブル44に格納された各利用者の感情情報の組を抽出し、抽出した感情情報の組が所定の条件を満たすか否か判定しても良い。
以下、判定部49が実行する処理の一例について説明する。例えば、判定部49は、一方の他方に対する感情状態が「エキサイト状態」等「超ポジティブ状態」であり、他方の一方に対する感情状態が「リラックス状態」等「ポジティブ状態」である場合は、「ポジティブ状態」の方に対し、「超ポジティブ状態」の方の情報を提供すると判定する。かかる場合は、判定部49は、感情状態が「超ポジティブ状態」の利用者を示すユーザーIDを情報が提供される利用者のユーザーIDとして送信部50に通知し、感情状態が「ポジティブ状態」の利用者を示すユーザーIDを情報の提供先となる利用者のユーザーIDとして送信部50に通知する。
また、判定部49は、両方の感情状態が「エキサイト状態」等「超ポジティブ状態」である場合は、各利用者の情報を他方の利用者に提供すると判定する。かかる場合は、判定部49は、各利用者のユーザーIDを、情報が提供される利用者のユーザーIDおよび情報の提供先となる利用者のユーザーIDとして送信部50に通知する。なお、判定部49は、一方の感情状態が「超ネガティブ状態」又は「ネガティブ状態」である場合は、利用者の提供を行わないと判定する。かかる場合は、判定部49は、ユーザーIDを送信部50に通知せずに処理を終了する。
以下、図8を用いて、感情情報管理テーブル44に図7に示す情報が格納されている際に、判定部49が実行する処理の具体例を説明する。図8は、実施形態に係るソーシャルネットワークサーバが実行する判定処理の一例を説明する図である。
例えば、判定部49は、ユーザーID「user#1」と対象情報「user#3」との組に対応付けられた感情情報「エキサイト状態」と、ユーザーID「user#3」と対象情報「user#1」との組に対応付けられた感情情報「リラックス状態」とを感情情報管理テーブル44から取得する。かかる場合は、判定部49は、図8中(E)に示すように、ユーザーIDが「user#3」の利用者に対して、ユーザーIDが「user#1」の利用者の情報を通知すると判定する。そして、判定部49は、情報が提供される利用者のユーザーIDとして「user#1」を送信部50に通知し、情報の提供先となる利用者のユーザーIDとして「user#3」を送信部50に通知する。
また、例えば、判定部49は、ユーザーID「user#2」と対象情報「user#3」との組に対応付けられた感情情報「エキサイト状態」と、ユーザーID「user#3」と対象情報「user#2」との組に対応付けられた感情情報「エキサイト状態」とを感情情報管理テーブル44から取得する。かかる場合は、判定部49は、図8中(F)に示すように、ユーザーIDが「user#2」の利用者と、ユーザーIDが「user#3」の利用者とに、互いの情報を通知すると判定する。
そして、判定部49は、情報が提供される利用者のユーザーIDとして「user#2」を送信部50に通知し、情報の提供先となる利用者のユーザーIDとして「user#3」を送信部50に通知する。さらに、判定部49は、情報が提供される利用者のユーザーIDとして「user#3」を送信部50に通知し、情報の提供先となる利用者のユーザーIDとして「user#2」を送信部50に通知する。
また、例えば、判定部49は、ユーザーID「user#1」と対象情報「user#2」との組に対応付けられた感情情報「エキサイト状態」と、ユーザーID「user#2」と対象情報「user#1」との組に対応付けられた感情情報「ネガティブ状態」とを感情情報管理テーブル44から取得する。かかる場合は、判定部49は、図8中(G)に示すように、ユーザーIDが「user#2」の利用者に、ユーザーIDが「user#1」の利用者の情報を通知しないと判定する。そして、判定部49は、送信部50にユーザーIDを通知せず、処理を終了する。
図6に戻り、説明を続ける。送信部50は、第1の利用者が第2の利用者に対して有する感情と、第2の利用者が第1の利用者に対して有する感情とが所定の条件を満たす場合は、第1の利用者に対して第2の利用者の情報を通知する。具体的には、送信部50は、判定部49から、情報が提供される利用者のユーザーIDと、情報の提供先となる利用者のユーザーIDとを受信する。
かかる場合は、送信部50は、情報が提供される利用者のユーザーIDを用いて、通知対象情報を生成する。例えば、送信部50は、ヘッドマウント装置10、60が利用者の顔を識別するための情報を管理する管理サーバ等から、情報が提供される利用者のユーザーIDを用いて、情報が提供される利用者の顔を識別するための情報を取得する。そして、送信部50は、取得した情報を含む通知対象情報を生成する。
また、送信部50は、情報の提供先となる利用者のヘッドマウント装置に表示させる文章等の通知内容を生成する。そして、送信部50は、生成した通知対象情報と通知内容とを含む提案通知を生成し、情報の提供先となる利用者のユーザーIDをあて先として、生成した提案通知を通信部41に出力する。
〔5.ソーシャルネットワークサーバが実行する処理のバリエーション〕
なお、上述した実施形態では、ソーシャルネットワークサーバ40は、利用者同士の感情に応じて、他の利用者の情報を通知するか否かを判定した。しかしながら、実施形態はこれに限定されるものではない。
例えば、ソーシャルネットワークサーバ40は、利用者の感情と、利用者の位置とに応じて、他の利用者の情報を通知するか否かを判定しても良い。具体的には、ソーシャルネットワークサーバ40は、利用者同士の感情が所定の要件を満たし、かつ、利用者同士が所定の領域内に位置する場合には、一方の利用者の情報を他方の利用者に通知すると判定するイベントモードで動作しても良い。
以下、図9を用いて、ソーシャルネットワークサーバ40が実行する処理のバリエーションについて説明する。図9は、実施形態に係るソーシャルネットワークサーバが実行する処理のバリエーションを説明する図である。なお、図9に示す例では、ユーザー#1、ユーザー#2、ユーザー#3がエリアAの範囲内に位置し、ユーザー#4がエリアBに位置する例について記載した。
また、図9に示す例では、ユーザー#1がユーザー#2、ユーザー#3、ユーザー#4に対して有する感情が「エキサイト状態」であり、ユーザー#2がユーザー#1に対して有する感情が「リラックス状態」である例について記載した。また、図9に示す例では、ユーザー#3がユーザー#1に対して有する感情が「ネガティブ状態」であり、ユーザー#4がユーザー#1に対して有する感情が「リラックス状態」である例について記載した。
例えば、図9に示す例では、ユーザー#1の感情が「エキサイト状態」であり、ユーザー#2の感情が「リラックス状態」であり、ユーザー#1とユーザー#2とが同一のエリアA内に位置している。このため、ソーシャルネットワークサーバ40は、図9中(H)に示すように、ユーザー#1の情報をユーザー#2に通知する旨を判定する。また、図9に示す例では、ユーザー#1の感情が「エキサイト状態」であり、ユーザー#3の感情が「ネガティブ状態」である。このため、ソーシャルネットワークサーバ40は、図9中(I)に示すように、ユーザー#1の情報をユーザー#3に通知しないと判定する。
ここで、図9に示す例では、ユーザー#1の感情が「エキサイト状態」であり、ユーザー#4の感情が「リラックス状態」であるので、ユーザー#1の情報をユーザー#4に通知してよいとも考えられる。しかしながら、ユーザー#1とユーザー#4とは異なるエリアに位置するため、ユーザー#4にユーザー#1の情報を通知してもあまり意味がないとも考えられる。そこで、ソーシャルネットワークサーバ40は、図9中(J)に示すように、ユーザー#1の情報をユーザー#4に提供しないと判定する。
なお、ソーシャルネットワークサーバ40は、図9に示すように、各利用者の位置を考慮して他の利用者の情報を通知するか否かを判定する場合は、感情情報が更新された際だけではなく、所定の時間間隔で処理を実行する。例えば、ソーシャルネットワークサーバ40は、所定の時間間隔で、感情情報管理テーブル44を参照し、各利用者間の感情が所定の条件を満たし、かつ、各利用者が所定の範囲内に位置するか否かを判定すればよい。
また、ソーシャルネットワークサーバ40は、任意の手法で各利用者の位置を取得することができる。例えば、ソーシャルネットワークサーバ40は、各利用者の位置をGPS(Global Positioning System)や、各利用者が装着するヘッドマウント装置が通信を行う基地局やアクセスポイントの位置に応じて、各利用者が所定の範囲内に位置するか否かを判定すればよい。
なお、ソーシャルネットワークサーバ40は、ユーザー#1のユーザー#2に対する感情が「エキサイト状態」であり、ユーザー#2のユーザー#1に対する感情が「リラックス状態」である場合は、ユーザー#1の情報を匿名とし、ユーザー#2にユーザー#2を気に入っている人物がいる旨のみを通知してもよい。
また、ソーシャルネットワークサーバ40は、同一エリア内にいる場合は、他の利用者の情報を提供せず、各利用者が離れた後で他方の利用者の通知を行っても良い。例えば、ソーシャルネットワークサーバ40は、ユーザー#1のユーザー#2に対する感情が「エキサイト状態」であり、ユーザー#2のユーザー#1に対する感情が「リラックス状態」である場合は、ユーザー#1とユーザー#2とが同一のエリア内にいるか否かを判定する。
ここで、ソーシャルネットワークサーバ40は、ユーザー#1とユーザー#2とが同一エリア内にいる場合は、ユーザー#1の情報をユーザー#2に通知せずに待機する。そして、ソーシャルネットワークサーバ40は、ユーザー#1とユーザー#2とが異なるエリアにいると判定した場合、すなわち、ユーザー#1とユーザー#2とが離れたと判定した場合は、ユーザー#2にユーザー#1の情報を通知しても良い。
〔6.ヘッドマウント装置における表示の一例〕
次に、図10を用いて、ヘッドマウント装置10が表示する情報の一例について説明する。図10は、実施形態におけるヘッドマウント装置が表示する情報の一例を説明する図である。なお、図10には、ヘッドマウント装置10を装着した利用者の視野の一例について記載した。
例えば、ヘッドマウント装置10は、図10中(K)に示すように、3人の利用者を含む主観画像を取得する。ここで、ヘッドマウント装置10は、利用者が図10中(L)に示す範囲に視線を向けた場合は、図10中(L)に示す範囲の情報である視線情報を取得し、主観画像と視線情報とをソーシャルネットワークサーバ40に送信する。また、ヘッドマウント装置10は、利用者の感情スコアを取得し、取得した感情スコアを感情判定サーバ30に送信する。
この結果、ヘッドマウント装置10を装着する利用者が図10中(L)に示す利用者に対して有する感情と、図10中(L)に示す利用者がヘッドマウント装置10を装着する利用者に対して有する感情とが所定の条件を満たす場合は、ヘッドマウント装置10は、ソーシャルネットワークサーバ40から、図10中(L)に示す利用者の通知、すなわち提案通知を受信する。
かかる場合、ヘッドマウント装置10は、図10中(M)に示すように、「あなたを気に入っています」といったメッセージと、「プロフィールを見る」、「友達になる」等のソーシャルグラフを更新するためのボタン等を含むウインドウを、図10中(L)に示す利用者と重ねて表示する。このため、ヘッドマウント装置10は、利用者に対し、提案対象となる利用者を容易に識別させることができる。
〔7.情報提供システムが実行する処理の流れ〕
次に、図11を用いて、実施形態に係る情報提供システムが各利用者の感情を特定する処理の一例について説明する。図11は、実施形態に係る情報提供システムが実行する処理の流れを説明するフローチャートである。例えば、図11に示す例では、ヘッドマウント装置10は、利用者の感情スコアを定期的に取得する(ステップS101)。
次に、感情判定サーバ30は、ヘッドマウント装置10が取得した感情スコアを用いて、利用者の感情を算出する(ステップS102)。続いて、ソーシャルネットワークサーバ40は、利用者の感情の対象を判定する(ステップS103)。そして、ソーシャルネットワークサーバ40は、感情情報と感情の対象とを対応付けて記憶し(ステップS104)、処理を終了する。
〔7−1.ソーシャルネットワークサーバが実行する処理の流れ〕
次に、図12を用いて、ソーシャルネットワークサーバ40が、利用者同士の相手に対する感情に応じて、一方の利用者の情報を他方の利用者に通知するか否かを判定する処理の流れについて説明する。図12は、実施形態に係るソーシャルネットワークサーバが実行する処理の流れを説明するフローチャートである。なお、図12に示す例では、第1の利用者の情報を第2の利用者に通知するか否かを判定する処理の流れについて記載した。
例えば、ソーシャルネットワークサーバ40は、感情情報管理テーブル44から第1の利用者が第2の利用者に対して有する感情を示す感情情報と、第2の利用者が第1の利用者に対して有する感情を示す感情情報とを取得する(ステップS201)。次に、ソーシャルネットワークサーバ40は、第1の利用者の第2の利用者に対する感情が「超ポジティブ状態」であるか否かを判定する(ステップS202)。そして、ソーシャルネットワークサーバ40は、第1の利用者の第2の利用者に対する感情が「超ポジティブ状態」である場合は(ステップS202:Yes)、第2の利用者の第1の利用者に対する感情が「ネガティブ状態」若しくは「超ネガティブ状態」であるか否かを判定する(ステップS203)。
また、ソーシャルネットワークサーバ40は、第2の利用者の第1の利用者に対する感情が「ネガティブ状態」、若しくは「超ネガティブ状態」ではない場合は(ステップS203:No)、第2の利用者に対して第1の利用者のサジェストを送信する(ステップS204)。また、ソーシャルネットワークサーバ40は、全ての利用者の組についてサジェストを送信するか否かを判定したか確認し(ステップS205)、全ての利用者の組についてサジェストを送信するか否か判定した場合は(ステップS205:Yes)、処理を終了する。一方、ソーシャルネットワークサーバ40は、全ての利用者についてサジェストを送信するか判定していないと判定した場合は(ステップS205:No)、他の利用者の組を選択し(ステップS206)、ステップS201を実行する。
また、ソーシャルネットワークサーバ40は、第1の利用者の第2の利用者に対する感情が「超ポジティブ状態」ではない場合は(ステップS202:No)、ステップS205を実行する。また、ソーシャルネットワークサーバ40は、第2の利用者の第1の利用者に対する感情が「ネガティブ状態」若しくは「超ネガティブ状態」である場合は(ステップS203:Yes)、ステップS205を実行する。
〔8.変形例〕
上記した実施形態に係る情報提供システム1は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、上記の情報提供システム1の他の実施形態について説明する。
〔8−1.利用者の感情に応じて表示するメッセージを操作する処理について〕
上述した実施形態に係る情報提供システム1は、第1の利用者の第2の利用者に対する感情と、第2の利用者の第1の利用者に対する感情とに応じて、第1の利用者に第2の利用者の情報を提供した。しかしながら、実施例はこれに限定されるものではない。例えば、情報提供システム1は、第1の利用者の第2の利用者に対する感情と、第2の利用者の第1の利用者に対する感情とに応じて、第1の利用者に第2の利用者を紹介したり、提供する情報の内容を変更しても良い。
以下、図13を用いて、第1の利用者の第2の利用者に対する感情と、第2の利用者の第1の利用者に対する感情とに応じた、第1の利用者に提供する情報を変更する処理の一例について説明する。図13は、相互に有する感情に応じて表示する情報を変更する処理の一例を説明する図である。図13には、ユーザー#2のユーザー#1に対する感情が「超ポジティブ状態」または「ポジティブ状態」である際に、ユーザー#2のヘッドマウント装置10が、ユーザー#1のユーザー#2に対する感情に応じて、表示する情報の一例について記載した。図13のおける「感情スコア」の図は、ユーザー#1のユーザー#2に対する感情スコア、ユーザー#2のユーザー#1に対する感情スコアのぞれぞれが、覚醒度及び快度の軸上の各図示領域内の値であることを表している。
例えば、図13中(N)に示す例では、ユーザー#1のユーザー#2に対する感情が図13中(O)に示す範囲に含まれている。詳細には、ユーザー#1がユーザー#2を視認する際の感情が「超ポジティブ状態」であり、かつ、覚醒度および快度のどちらか一方のみが所定の閾値よりも大きい。かかる場合は、ヘッドマウント装置10は、図13中(P)に示すように、「気があうかも?」という表示とともに、「user#1」の名前を表示する。
一方、図13中(Q)に示す例では、ユーザー#1のユーザー#2に対する感情が図13中(R)に示す範囲に含まれている。詳細には、ユーザー#1がユーザー#2を視認する際の感情が「超ポジティブ状態」であり、かつ、覚醒度および快度の両方が所定の閾値よりも大きい。かかる場合は、ヘッドマウント装置10は、図13中(S)に示すように、「好かれている?」という表示とともに、「user#1」の名前を表示する。
このように、情報提供システム1は、ユーザー#2が好意的な感情を有するユーザー#1が、ユーザー#2に対して好意的な感情を有する場合と、ユーザー#2に対して好意的な感情を強く有する場合とで、ヘッドマウント装置10に表示するメッセージを変更する。このため、情報提供システム1は、各利用者に対し、他の利用者の感情を識別しやすい形式で提供することができる。なお、情報提供システム1は、ユーザー#2がユーザー#1に対して「ネガティブ状態」または「超ネガティブ状態」となる感情を有する場合、若しくは、ユーザー#1に対する感情を検出していない場合は、ヘッドマウント装置10にユーザー#1に関する表示を行わせない。
なお、情報提供システム1は、利用者に対し、他の利用者の情報を提供するだけではなく、利用者同士の感情に応じた他の情報を表示してもよい。例えば、ソーシャルネットワークサーバ40は、ユーザー#1とユーザー#2とが相互に所定の要件を満たす感情を有している場合は、ユーザー#1とユーザー#2とがあらかじめ登録したスケジュールを参照し、両者共にスケジュールがあいている日をヘッドマウント装置10、60に表示させてもよい。また、ソーシャルネットワークサーバ40は、ユーザー#1とユーザー#2とがあらかじめ登録した趣味趣向から、共通して興味を有するであろうイベントを検索し、検索したイベントをヘッドマウント装置10、60に表示させてもよい。
例えば、図14は、実施形態に係る情報提供システムが提供する情報の一例を説明する図である。図14には、図13と同様に、ユーザー#2のユーザー#1に対する感情と、ユーザー#1のユーザー#2に対する感情と、各ヘッドマウント装置10、60が表示する情報の一例について記載した。図14のおける「感情スコア」についても、図13と同様に、ユーザー#1のユーザー#2に対する感情スコア、ユーザー#2のユーザー#1に対する感情スコアそれぞれが、覚醒度及び快度の軸上の各図示領域内の値であることを表している。
例えば、図14中(T)に示す例では、ユーザー#1とユーザー#2とが相互に好意的な感情を強く有する。詳細には、図14中(U)に示すように、ユーザー#1がユーザー#2を視認する際の感情、および、ユーザー#2がユーザー#1を視認する際の感情が共に「超ポジティブ状態」であり、かつ、覚醒度および快度の両方が所定の閾値よりも大きい。かかる場合は、ソーシャルネットワークサーバ40は、各ユーザー#1、#2のスケジュールを確認し、両者のスケジュールが共に空いている直近の日付を検索する。そして、ソーシャルネットワークサーバ40は、図14中(V)に示すように、各ヘッドマウント装置10、60に、「好かれているかも?」というメッセージと、他方の情報と、検索した日付、例えば「A月B日」とを並べて表示する。
なお、ソーシャルネットワークサーバ40は、単にレコメンドを表示するだけでも良いが、例えば、図14中(V)に示す情報とともに、検索した日付を日程候補とするデートの申請を行うデート申請ボタンを各ヘッドマウント装置10、60に表示させてもよい。また、例えば、ソーシャルネットワークサーバ40は、ユーザー#1がデート申請ボタンを押下した場合は、ユーザー#2のヘッドマウント装置10に「ユーザー#1さんからデートの申し込みがありました。」等のメッセージを表示させてもよい。なお、ソーシャルネットワークサーバ40は、ユーザー#2がかかる申し込みを承認した場合は、検索した日付にデートを行う旨を、各ユーザー#1、#2のスケジュールに自動登録してもよい。
また、ソーシャルネットワークサーバ40は、図14中(W)に示すように、各ユーザー#1、#2が恋人である旨が登録され、かつ、各ユーザー#1、#2の感情が相互に否定的である場合は、「分かれてみては?」といった否定的な提案をヘッドマウント装置10に表示させても良い。詳細には、図14中(X)に示すように、ユーザー#2のユーザー#1に対する感情が「超ネガティブ状態」であり、図14中(Y)に示すように、ユーザー#1のユーザー#2に対する感情が「超ネガティブ状態」又は「ネガティブ状態」である。かかる場合は、ソーシャルネットワークサーバ40は、図14中(Z)に示すようい、ユーザー#1のヘッドマウント装置60に「user#2さんと別れてみては?」といった否定的な提案を表示させてもよい。
〔8−2.感情判定サーバとソーシャルネットワークサーバとの関係について〕
上述した実施形態では、利用者の感情を判定する感情判定サーバ30と、利用者の感情の対象を判定し、各利用者の感情に応じて他の利用者の情報を提供するか否かを判定するソーシャルネットワークサーバ40とを個別に有する情報提供システム1について説明した。しかしながら、実施形態は、これに限定されるものではない。すなわち、感情判定サーバ30が発揮する機能とソーシャルネットワークサーバ40が発揮する機能とは、1つの情報処理装置によって実現されてもよい。
また、上述した実施形態では、感情判定サーバ30が、利用者の感情を特定し、ソーシャルネットワークサーバ40が、顔認証技術を用いて、利用者が有する感情の矛先を特定した。しかしながら、実施形態は、これに限定されるものではない。例えば、感情判定サーバ30は、図6に示した顔画像データベース45、および特定部47を有し、ヘッドマウント装置10、60から、主観画像と視線情報と感情スコアとを受信する。そして、感情判定サーバ30は、受信した主観画像と視線情報と感情スコアとを用いて、利用者が有する感情と、利用者の感情の矛先となる他の利用者を特定しても良い。
〔8−3.ソーシャルネットワークサーバについて〕
上述した例では、ソーシャルネットワークサーバ40は、第1の利用者の第2の利用者に対する感情が「超ポジティブ状態」であり、第2の利用者の第1の利用者に対する感情が「ポジティブ状態」である場合は、第1の利用者の情報を第2の利用者に提供した。しかしながら、実施例はこれに限定されるものではない。
例えば、ソーシャルネットワークサーバ40は、第1の利用者の第2の利用者に対する感情が「エキサイト状態」であり、第2の利用者の第1の利用者に対する感情が「リラックス状態」である場合にのみ、第1の利用者の情報を第2の利用者に提供してもよい。すなわち、ソーシャルネットワークサーバ40は、第1の利用者の情報を第2の利用者に提供するか否かを、各利用者の感情に基づいて判定するのであれば、任意の条件を用いることができる。
また、ソーシャルネットワークサーバ40は、第1の利用者の情報を第2の利用者に提供すると判定した場合は、第2の利用者に対し、第1の利用者と友人になるか否かを問い合わせる等の提案を行った。しかしながら、実施例はこれに限定されるものではない。例えば、ソーシャルネットワークサーバ40は、提案を行わずに、ソーシャルネットワークサーバ40が管理する各利用者のソーシャルグラフの更新のみを行っても良い。また、ソーシャルネットワークサーバ40は、第1の利用者の情報を第2の利用者に提供すると判定した場合は、第1の利用者のプロフィールを第2の利用者に提供する等してもよい。
また、ソーシャルネットワークサーバ40は、例えば「〜さんと気があうかも」等のメッセージ、第1の利用者が第2の利用者に対する感情を数値化した感情度合い、恋人候補である旨、友人候補である旨、その他任意の通知を第2の利用者が装着するヘッドマウント装置に表示させてもよい。また、例えば、ソーシャルネットワークサーバ40は、第1の利用者の感情と第2の利用者の感情とが両方とも「エキサイト状態」である場合は、第1の利用者が装着するヘッドマウント装置、および第2の利用者が装着するヘッドマウント装置に、他方の利用者が恋人候補である旨を表示しても良い。
また、ソーシャルネットワークサーバ40は、任意のタイミングで各利用者の情報を提供することができる。また、ソーシャルネットワークサーバ40は、ヘッドマウント装置10、60ではなく、例えば、各利用者が有する端末装置等に、プッシュ型のメールやメッセージ形式で、他の利用者の情報を提供してもよい。
なお、ソーシャルネットワークサーバ40が感情の対象を判定する処理は、上述した処理に限定されるものではない。例えば、主観画像が公開される際には、主観画像内に含まれる人物の識別情報が利用者により付加される場合がある。そこで、ソーシャルネットワークサーバ40は、主観画像と視線情報とから、利用者が注視した人物を特定し、利用者が付加した識別情報を用いて、特定した人物が誰であるかを特定する。その後、ソーシャルネットワークサーバ40は、感情判定サーバが主観画像と同時期に取得された感情スコアを用いて判定した感情を取得すると、取得した感情が、特定した人物に対する感情であると判定してもよい。
また、ソーシャルネットワークサーバ40は、利用者の感情に応じて、メッセージの送信やデータの公開を制御してもよい。例えば、ソーシャルネットワークサーバ40は、利用者が投稿した文章や写真等のデータを他の利用者に公開する機能を有する。そして、ソーシャルネットワークサーバ40は、ユーザー#2が投稿したデータの公開をユーザー#1から要求された場合は、ユーザー#2のユーザー#1に対する感情が「怒り状態」であるか否かを判定する。
そして、ソーシャルネットワークサーバ40は、ユーザー#2のユーザー#1に対する感情が「怒り状態」である場合は、データの公開ができない旨をユーザー#1に送信する等、ユーザー#2が投稿した文章や写真等のデータの公開を制限する。このように、ソーシャルネットワークサーバ40は、利用者の感情に応じて、かかる利用者が投稿したデータの公開を制限してもよい。
また、ソーシャルネットワークサーバ40は、すでに友人同士として登録されているユー同士の感情に応じて、情報の公開範囲を制御しても良い。たとえば、ソーシャルネットワークサーバ40は、ユーザー#1がユーザー#2に対して「超ネガティブ状態」となる感情を有する場合は、ユーザー#2に対してユーザー#1のプロフィール等、基本情報のみを公開し、近況等の投稿データについては、公開を制限してもよい。すなわち、ソーシャルネットワークサーバ40は、各利用者同士が相互に有する感情に応じて、各利用者が投稿したデータの公開を任意のルールで制限することができる。
〔8−4.感情の対象を特定する処理について〕
上述したソーシャルネットワークサーバ40は、主観画像と視線情報とを用いて、感情の対象となる利用者を特定した。しかしながら、実施例は、これに限定されるものではない。例えば、ソーシャルネットワークサーバ40は、複数の利用者が含まれる主観画像と、各主観画像が撮影された際の利用者の感情スコアの平均値を用いて、各利用者に対する感情を特定しても良い。
例えば、ソーシャルネットワークサーバ40は、第1の利用者が撮影した画像を複数取得する。また、ソーシャルネットワークサーバ40は、利用者による設定や、顔認証技術等を用いて、各画像に含まれる他の利用者を識別する。また、ソーシャルネットワークサーバ40は、各画像が撮影された際の第1の利用者の感情スコアを取得する。
そして、ソーシャルネットワークサーバ40は、画像に含まれる利用者ごとに、以下の処理を実行する。まず、ソーシャルネットワークサーバ40は、ある利用者が含まれる画像を特定する。次に、ソーシャルネットワークサーバ40は、特定した画像が撮影された際の第1の利用者の感情スコアの平均値を算出する。そして、ソーシャルネットワークサーバ40は、算出した平均値を用いて、第1の利用者がかかる利用者に対して有する感情を特定する。このような処理を実行することで、ソーシャルネットワークサーバ40は、第1の利用者が撮影した画像であって、複数の利用者が含まれる画像から、第1の利用者が他の利用者に対して有する感情を特定することができる。
〔8−5.ヘッドマウント装置について〕
上述した例では、ヘッドマウント装置10、60は、ソーシャルネットワークサーバ40から提案通知を受信すると、受信した提案通知に含まれる通知内容を表示した。しかしながら、実施例はこれに限定されるものではない。例えば、ヘッドマウント装置10は、ヘッドマウント装置10を装着した利用者と、提案通知に含まれる通知対象情報が示す利用者との目線が合った際に、通知内容を表示しても良い。
なお、ヘッドマウント装置10、60が発揮する機能は、利用者から感情スコアを取得する感情スコア取得装置と、ネットワークとの通信を行うスマートフォン等の端末装置との組み合わせを用いて実現されてもよい。例えば、第1の利用者が使用する端末装置は、感情スコア取得装置が第1の利用者から取得した感情スコアと、第1の利用者の操作により撮影された画像とをソーシャルネットワークサーバ40に送信してもよい。
かかる場合、ソーシャルネットワークサーバ40は、利用者ごとに、利用者が含まれる画像を特定し、特定した各画像が撮影された際の第1の利用者の感情スコアの平均値を算出する。そして、ソーシャルネットワークサーバ40は、算出した感情スコアの平均値を感情判定サーバ30に送信し、第1の利用者が他の利用者に対して有する感情を特定する。ソーシャルネットワークサーバ40は、かかる処理を各利用者について実行することで、各利用者が他の利用者に対して有する感情を全て特定する。そして、ソーシャルネットワークサーバ40は、特定した感情に応じて、各利用者に他の利用者の情報を提供するか判定する。
その後、ソーシャルネットワークサーバ40は、例えば、第1の利用者に第2の利用者の情報を提供すると判定した場合は、第1の利用者が使用する端末装置に第2の利用者の情報をメールやメッセージで送信する。このように、情報提供システム1は、ヘッドマウント装置10、60が発揮する機能を、利用者から感情スコアを取得する感情スコア取得装置と、ネットワークとの通信を行うスマートフォン等の端末装置との組み合わせで代用することができる。
〔8−6.生体情報について〕
上述したヘッドマウント装置10は、利用者から生体センサ値を取得し、取得した生体センサ値を用いて、感情スコアを算出した。また、感情判定サーバ30は、ヘッドマウント装置10が算出した感情スコアを用いて、利用者の感情を特定した。しかしながら、実施例はこれに限定されるものではない。例えば、ヘッドマウント装置10は、利用者から取得した生体センサ値をそのまま感情判定サーバ30に送信する。そして、感情判定サーバ30は、ヘッドマウント装置10から受信した生体センサ値から感情スコア値を算出し、算出した感情スコア値を用いて、利用者の感情を特定してもよい。また、感情判定サーバ30は、感情スコアから利用者の感情を特定するのではなく、例えば、心拍数や皮膚電気活動の値等、生体センサ値をそのまま用いて、利用者の感情を判定してもよい。
すなわち、上述した実施形態において、感情判定サーバ30は、生体センサ値や感情スコア等、利用者から取得される任意の情報を含む生体情報を用いて、利用者の感情を判定してよい。なお、以下の記載では、生体センサ値や感情スコア等、利用者から取得される任意の情報を生体情報と記載する。
〔8−7.通知内容について〕
上述した情報提供システム1は、第1の利用者に対して好意を有する第2の利用者の情報を第1の利用者に通知した。しかしながら、実施形態はこれに限定されるものではない。例えば、情報提供システム1は、第1の利用者に対して好意を有する利用者が存在する旨のみを第1の利用者に通知し、第2の利用者を匿名としてもよい。また、情報提供システム1は、第1の利用者に対して好意を有する第2の利用者のプロフィール等の情報を第1の利用者に通知することで、第2の利用者を紹介しても良い。
〔8−8.その他〕
また、上述した感情判定サーバ30、ソーシャルネットワークサーバ40の機能は、いわゆるクラウドの機能を用いて、複数のサーバ装置によって実現されることとしてもよい。例えば、感情判定サーバ30が有する受信部35、判定部36、通知部37が発揮する機能は、それぞれ異なるサーバ装置によって実現されても良い。また、ソーシャルネットワークサーバ40が有する受信部46、特定部47、更新部48、判定部49、送信部50が発揮する機能は、それぞれ異なるサーバ装置によって実現されても良い。
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。また、例えば、各図に示したアプリケーションのUI(User Interface)は、これに限定されるものではない。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。また、各構成要素が発揮する機能は、CPU(Central Processing Unit)が所定の判定プログラムを実行することで発揮することとしてもよい。
〔9.効果〕
上記してきたように、実施形態に係る感情判定サーバ30は、第1の利用者および第2の利用者から取得された生体情報を用いて、第1の利用者から第2の利用者への感情と、第2の利用者から第1の利用者への感情とを特定する。また、ソーシャルネットワークサーバ40は、特定した各々の感情に基づいて、第1の利用者に対し、第2の利用者の情報を提供するか否かを判定する。このため、ソーシャルネットワークサーバ40は、各利用者に嫌な思いをさせずに第2の利用者の情報を第1の利用者に提供できる。
また、ソーシャルネットワークサーバ40は、各々の感情が所定の条件を満たした場合は、第1の利用者に第2の利用者の情報を提供すると判定する。このため、ソーシャルネットワークサーバ40は、例えば、第2の利用者が第1の利用者に好意を有し、第1の利用者が第2の利用者に良い印象を有している場合等、各利用者が嫌な思いをしない場合に、第2の利用者の情報を第1の利用者に提供できる。
また、ソーシャルネットワークサーバ40は、第1の利用者から第2の利用者への感情が「ネガティブ状態」若しくは「超ネガティブ状態」である場合は、第1の利用者に対し第2の利用者の情報を提供しないと判定する。このため、ソーシャルネットワークサーバ40は、各利用者が嫌な思いをするのを防ぐことができる。
また、ソーシャルネットワークサーバ40は、第1の利用者から第2の利用者への感情が「ネガティブ状態」若しくは「超ネガティブ状態」ではなく、第2の利用者から第1の利用者への感情が「超ポジティブ状態」である場合は、第1の利用者に対し第2の利用者の情報を提供すると判定する。つまり、ソーシャルネットワークサーバ40は、第2の利用者が第1の利用者に好意的な印象を有し、第1の利用者が第2の利用者に否定的な印象を有さない場合に、第2の利用者の情報を第1の利用者に提供する。このため、ソーシャルネットワークサーバ40は、第2の利用者が嫌な思いをするのを防ぐことができる。
また、ソーシャルネットワークサーバ40は、第1の利用者から第2の利用者への感情、および、第2の利用者から第1の利用者への感情が共に「超ポジティブ状態」である場合は、第1の利用者に第2の利用者の情報を提供するとともに、第2の利用者に第1の利用者の情報を提供する。このため、ソーシャルネットワークサーバ40は、第1の利用者と第2の利用者とが双方共に好意的な印象を有する場合に、各利用者の情報を他方の利用者に提供することができる。
また、ソーシャルネットワークサーバ40は、ヘッドマウント装置10が取得した主観画像と視線方向とを用いて、感情の対象を判定する。そしてソーシャルネットワークサーバ40は、感情判定サーバ30によって特定された感情を、判定された対象に対する感情であると判定する。このため、ソーシャルネットワークサーバ40は、各利用者が有する感情の対象となる利用者を判定することができる。
また、ソーシャルネットワークサーバ40は、第1の利用者に第2の利用者の情報を提供すると判定した場合は、ヘッドマウント装置10に、第1の利用者の視覚内に第2の利用者の情報を表示するための通知を送信する。このため、ソーシャルネットワークサーバ40は、第1の利用者に対して好意を有する第2の利用者を、第1の利用者が容易に認識することを可能とする。
また、ソーシャルネットワークサーバ40は、第1の利用者に第2の利用者の情報を提供すると判定した場合は、第1の利用者が使用するヘッドマウント装置10に対し、第2の利用者を紹介するための情報を送信する。このため、ソーシャルネットワークサーバ40は、第1の利用者に対して好意を有する第2の利用者を、第1の利用者に対して紹介することを可能とする。
〔10.プログラム〕
なお、上述した実施形態におけるソーシャルネットワークサーバ40は、例えば図15に示すような構成のコンピュータ70が判定プログラムを実行することによって実現される。図15は、判定プログラムを実行するコンピュータのハードウェア構成の一例を示す図である。コンピュータ70は、CPU(Central Processing Unit)71、RAM(Random Access Memory)72、ROM(Read Only Memory)73、HDD(Hard Disk Drive)74、通信インターフェイス(I/F)75、入出力インターフェイス(I/F)76、およびメディアインターフェイス(I/F)77を備える。
CPU71は、ROM73またはHDD74に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM73は、コンピュータ70の起動時にCPU71によって実行されるブートプログラムや、コンピュータ70のハードウェアに依存するプログラム等を格納する。
HDD74は、CPU71によって実行される判定プログラム、および、判定プログラムによって使用されるデータ等を格納する。例えば、HDD74は、図6に記載した感情情報管理テーブル44等と同様のデータを記憶する。通信インターフェイス75は、ネットワーク2を介して他の機器からデータを受信してCPU71へ送り、CPU71が生成したデータを、ネットワーク2を介して他の機器へ送信する。
CPU71は、入出力インターフェイス76を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。CPU71は、入出力インターフェイス76を介して、入力装置からデータを取得する。また、CPU71は、生成したデータを、入出力インターフェイス76を介して出力装置へ出力する。
メディアインターフェイス77は、記録媒体78に格納された判定プログラムまたはデータを読み取り、RAM72を介してCPU71に提供する。CPU71は、当該プログラムを、メディアインターフェイス77を介して記録媒体78からRAM72上にロードし、ロードしたプログラムを実行する。記録媒体78は、本願に係る判定プログラムが記録された記録媒体であり、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
コンピュータ70が上述した実施形態に係るソーシャルネットワークサーバ40として機能する場合、コンピュータ70のCPU71は、RAM72上にロードされたプログラムを実行することにより、受信部46、特定部47、更新部48、判定部49、送信部50の各機能を実現する。
コンピュータ70のCPU71は、判定プログラムを、記録媒体78から読み取って実行するが、他の例として、他の装置から、ネットワーク2を介してこれらのプログラムを取得してもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に多様な変更または改良を加えることが可能であることが当業者には明らかである。また、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
1 情報提供システム
2 ネットワーク
10、60 ヘッドマウント装置
11 カメラ
12 生体センサ
13、31、41 通信部
14、32、42 制御部
15、33、43 記憶部
16 取得データ記憶部
17 収集部
18 送信部
19 表示制御部
20 表示部
30 感情判定サーバ
34 感情スコア管理テーブル
35 受信部
36 判定部
37 通知部
40 ソーシャルネットワークサーバ
44 感情情報管理テーブル
45 顔画像データベース
46 受信部
47 特定部
48 更新部
49 判定部
50 送信部

Claims (10)

  1. 第1の利用者が装着可能な生体情報取得装置が当該第1の利用者から取得した生体情報および第2の利用者が装着可能な生体情報取得装置が当該第2の利用者から取得した生体情報と、前記第1の利用者の現在位置と、前記第2の利用者の現在位置とを収集する収集部と、
    前記第1の利用者が前記第2の利用者を見た際に前記第1の利用者から取得された生体情報を用いて、前記第1の利用者から前記第2の利用者への感情を特定し、前記第2の利用者が前記第1の利用者を見た際に前記第2の利用者から取得された生体情報を用いて、前記第2の利用者から前記第1の利用者への感情を特定する特定部と、
    前記特定部が特定した各々の感情と、前記収集部が収集した前記第1の利用者の現在位置と、前記収集部が収集した前記第2の利用者の現在位置とに基づいて、前記第1の利用者に対し、前記第2の利用者の情報を提供するか否かを判定する判定部と
    を備えることを特徴とする情報処理装置。
  2. 前記判定部は、前記特定した各々の感情が所定の条件を満たした場合は、前記第1の利用者に対し、前記第2の利用者の情報を提供すると判定することを特徴とする請求項1に記載の情報処理装置。
  3. 前記判定部は、前記特定部が前記第1の利用者から前記第2の利用者への感情が否定的な感情である旨を特定した場合は、前記第1の利用者に対し前記第2の利用者の情報を提供しないと判定することを特徴とする請求項2に記載の情報処理装置。
  4. 前記判定部は、前記特定部が前記第1の利用者から前記第2の利用者への感情が否定的な感情ではない旨を特定し、かつ、前記特定部が前記第2の利用者から前記第1の利用者への感情が好意的な感情である旨を特定した場合は、前記第1の利用者に対し前記第2の利用者の情報を提供すると判定することを特徴とする請求項2または3に記載の情報処理装置。
  5. 前記判定部は、前記特定部が前記第1の利用者から前記第2の利用者への感情、および、前記第2の利用者から前記第1の利用者への感情が共に好意的な感情である旨を特定した場合は、前記第1の利用者に対し前記第2の利用者の情報を提供するとともに、前記第2の利用者に対し前記第1の利用者の情報を提供すると判定することを特徴とする請求項2〜4のいずれか1つに記載の情報処理装置。
  6. 前記収集部は、前記第1の利用者が装着可能な生体情報取得装置から、前記第1の利用者の生体情報と、前記第1の利用者が視認する光景である主観画像と、前記第1の利用者の視線方向とを収集し、
    前記特定部は、前記収集部が前記第1の利用者が装着可能な前記生体情報取得装置から収集した前記主観画像と前記視線方向とから、前記第1の利用者の感情の対象を判定し、前記収集部が前記第1の利用者が装着可能な前記生体情報取得装置から収集した前記生体情報を用いて、前記対象に対する前記第1の利用者の感情を特定することを特徴とする請求項1〜5のいずれか1つに記載の情報処理装置。
  7. 前記第1の利用者に対して前記第2の利用者の情報を提供すると前記判定部が判定した場合は、前記第1の利用者の視覚内に任意の情報を表示させる表示装置に対し、前記第2の利用者の姿と重ねて該第2の利用者の情報を表示させるための通知を出力する出力部をさらに有することを特徴とする請求項1〜6のいずれか1つに記載の情報処理装置。
  8. 前記判定部が、前記第1の利用者に対し、前記第2の利用者の情報を提供すると判定した場合は、前記第1の利用者が使用する端末装置に対し、前記第2の利用者を紹介するための情報を出力する出力部を更に有することを特徴とする請求項1〜7のいずれか1つに記載の情報処理装置。
  9. 情報処理装置が
    第1の利用者が装着可能な生体情報取得装置が当該第1の利用者から取得した生体情報および第2の利用者が装着可能な生体情報取得装置が当該第2の利用者から取得した生体情報と、前記第1の利用者の現在位置と、前記第2の利用者の現在位置とを収集する収集工程と、
    前記第1の利用者が前記第2の利用者を見た際に前記第1の利用者から取得された生体情報を用いて、前記第1の利用者から前記第2の利用者への感情を特定し、前記第2の利用者が前記第1の利用者を見た際に前記第2の利用者から取得された生体情報を用いて、前記第2の利用者から前記第1の利用者への感情を特定する特定工程と、
    前記特定された各々の感情と、前記収集した前記第1の利用者の現在位置と、前記収集した前記第2の利用者の現在位置とに基づいて、前記第1の利用者に対し、前記第2の利用者の情報を提供するか否かを判定する判定工程と
    を実行することを特徴とする判定方法。
  10. コンピュータに、
    第1の利用者が装着可能な生体情報取得装置が当該第1の利用者から取得した生体情報および第2の利用者が装着可能な生体情報取得装置が当該第2の利用者から取得した生体情報と、前記第1の利用者の現在位置と、前記第2の利用者の現在位置とを収集する収集手順と、
    前記第1の利用者が前記第2の利用者を見た際に前記第1の利用者から取得された生体情報を用いて、前記第1の利用者から前記第2の利用者への感情を特定し、前記第2の利用者が前記第1の利用者を見た際に前記第2の利用者から取得された生体情報を用いて、前記第2の利用者から前記第1の利用者への感情を特定する特定手順と、
    前記特定された各々の感情と、前記収集した前記第1の利用者の現在位置と、前記収集した前記第2の利用者の現在位置とに基づいて、前記第1の利用者に対し、前記第2の利用者の情報を提供するか否かを判定する判定手順と
    を実行させることを特徴とする判定プログラム。
JP2013177358A 2013-08-28 2013-08-28 情報処理装置、判定方法および判定プログラム Active JP6122735B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013177358A JP6122735B2 (ja) 2013-08-28 2013-08-28 情報処理装置、判定方法および判定プログラム
US14/020,048 US9235263B2 (en) 2013-08-28 2013-09-06 Information processing device, determination method, and non-transitory computer readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013177358A JP6122735B2 (ja) 2013-08-28 2013-08-28 情報処理装置、判定方法および判定プログラム

Publications (2)

Publication Number Publication Date
JP2015046070A JP2015046070A (ja) 2015-03-12
JP6122735B2 true JP6122735B2 (ja) 2017-04-26

Family

ID=52582393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013177358A Active JP6122735B2 (ja) 2013-08-28 2013-08-28 情報処理装置、判定方法および判定プログラム

Country Status (2)

Country Link
US (1) US9235263B2 (ja)
JP (1) JP6122735B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111571119B (zh) * 2020-04-13 2021-09-21 浙江炜驰机械集团股份有限公司 一种新能源汽车驱动电机罩壳的制作方法

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015088828A (ja) * 2013-10-29 2015-05-07 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10394330B2 (en) * 2014-03-10 2019-08-27 Qualcomm Incorporated Devices and methods for facilitating wireless communications based on implicit user cues
US10162505B2 (en) 2014-04-17 2018-12-25 Blackberry Limited System and method for enabling customized notifications on an electronic device
CN106462915A (zh) * 2014-05-13 2017-02-22 有限会社赛尔雷伯斯 情绪和气氛的数据输入、显示和分析装置
WO2016170810A1 (ja) * 2015-04-23 2016-10-27 ソニー株式会社 情報処理装置、制御方法、およびプログラム
CN106355684B (zh) * 2015-07-20 2019-09-17 腾讯科技(深圳)有限公司 受控设备的控制方法、装置和系统
CN106562792B (zh) * 2015-10-08 2021-08-06 松下电器(美国)知识产权公司 信息提示装置的控制方法和信息提示装置
WO2017141141A1 (ja) * 2016-02-19 2017-08-24 株式会社半導体エネルギー研究所 測定システム、評価システム、測定方法、及び評価方法
WO2017183319A1 (ja) * 2016-04-20 2017-10-26 株式会社ソニー・インタラクティブエンタテインメント ロボットおよび筐体
WO2017183294A1 (ja) 2016-04-20 2017-10-26 株式会社ソニー・インタラクティブエンタテインメント アクチュエータ装置
CN107340849A (zh) * 2016-04-29 2017-11-10 和鑫光电股份有限公司 移动装置及其护眼控制方法
US11368664B2 (en) * 2017-01-20 2022-06-21 Sony Corporation Information processing apparatus, information processing method, and program
US10438394B2 (en) 2017-03-02 2019-10-08 Colopl, Inc. Information processing method, virtual space delivering system and apparatus therefor
JP6212666B1 (ja) * 2017-03-02 2017-10-11 株式会社コロプラ 情報処理方法、プログラム、仮想空間配信システム及び装置
JP2018170714A (ja) * 2017-03-30 2018-11-01 日本電気株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
JP6738308B2 (ja) * 2017-08-01 2020-08-12 株式会社コロプラ 情報処理方法、プログラム、仮想空間配信システム及び装置
US10776610B2 (en) * 2017-09-15 2020-09-15 Ruth Ellen Cashion LLC System for monitoring facial presentation of users
EP3745275A4 (en) * 2018-01-23 2020-12-09 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND RECORDING MEDIA
JP7205092B2 (ja) * 2018-07-18 2023-01-17 富士フイルムビジネスイノベーション株式会社 情報処理システム、情報処理装置およびプログラム
JP6847989B2 (ja) * 2019-02-07 2021-03-24 株式会社メルカリ 情報処理プログラム、情報処理端末、情報処理方法、及び情報処理装置
DE112020000892T5 (de) * 2019-02-22 2021-11-25 Semiconductor Energy Laboratory Co., Ltd. Brillenartiges elektronisches Gerät
WO2021161387A1 (ja) * 2020-02-10 2021-08-19 日本電気株式会社 処理装置、処理方法及び記憶媒体
CN112016001A (zh) * 2020-08-17 2020-12-01 上海掌门科技有限公司 好友推荐方法、设备及计算机可读介质
JP7152825B1 (ja) * 2021-02-26 2022-10-13 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160021A (ja) * 1999-12-03 2001-06-12 Sony Corp 仮想空間による通信システム
JP2001345835A (ja) * 2000-06-02 2001-12-14 Tsutomu Hasegawa コミュニケーション・システム
US8014763B2 (en) * 2004-02-28 2011-09-06 Charles Martin Hymes Wireless communications with proximal targets identified visually, aurally, or positionally
US20070037574A1 (en) * 2005-08-09 2007-02-15 Jonathan Libov Method and apparatus of a location-based network service for mutual social notification
US7792761B2 (en) * 2005-11-01 2010-09-07 International Business Machines Corporation System for evaluating relevance between persons
US8402094B2 (en) 2006-08-11 2013-03-19 Facebook, Inc. Providing a newsfeed based on user affinity for entities and monitored actions in a social network environment
JP2008245168A (ja) * 2007-03-28 2008-10-09 Fuji Xerox Co Ltd 情報処理システム、情報処理装置及び情報処理プログラム
JP2010061265A (ja) * 2008-09-02 2010-03-18 Fujifilm Corp 人物検索登録システム
JP5049327B2 (ja) * 2009-10-08 2012-10-17 株式会社Sugao 個人情報管理システム
JP2013029928A (ja) * 2011-07-27 2013-02-07 Nec Casio Mobile Communications Ltd 情報端末装置、そのデータ加工方法及びプログラム
KR20130065846A (ko) * 2011-12-02 2013-06-20 삼성전자주식회사 사용자 감정 공유 장치 및 방법
CN103974657B (zh) * 2011-12-16 2016-08-24 皇家飞利浦有限公司 用户的活动和相关联的情绪状态的历史日志
US9569986B2 (en) * 2012-02-27 2017-02-14 The Nielsen Company (Us), Llc System and method for gathering and analyzing biometric user feedback for use in social media and advertising applications
US10380606B2 (en) * 2012-08-03 2019-08-13 Facebook, Inc. Negative signals for advertisement targeting
US9019174B2 (en) * 2012-10-31 2015-04-28 Microsoft Technology Licensing, Llc Wearable emotion detection and feedback system
US10365716B2 (en) * 2013-03-15 2019-07-30 Interaxon Inc. Wearable computing apparatus and method
US20140280558A1 (en) * 2013-03-15 2014-09-18 Paul A. Jakubik Generating and Using Social Brains

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111571119B (zh) * 2020-04-13 2021-09-21 浙江炜驰机械集团股份有限公司 一种新能源汽车驱动电机罩壳的制作方法

Also Published As

Publication number Publication date
US9235263B2 (en) 2016-01-12
JP2015046070A (ja) 2015-03-12
US20150061824A1 (en) 2015-03-05

Similar Documents

Publication Publication Date Title
JP6122735B2 (ja) 情報処理装置、判定方法および判定プログラム
JP5735592B2 (ja) 情報処理装置、制御方法および制御プログラム
US10302444B2 (en) Information processing system and control method
CN108574701B (zh) 用于确定用户状态的系统和方法
JP6397416B2 (ja) 拡張現実感を伴う存在の粒度に関連する方法
KR20200036811A (ko) 정보 처리 시스템, 정보 처리 장치, 정보 처리 방법 및 기록 매체
US20160354033A1 (en) Vital sign information collection system
US20190108191A1 (en) Affective response-based recommendation of a repeated experience
JP6692239B2 (ja) 情報処理装置、情報処理システム、端末装置、情報処理方法及び情報処理プログラム
DE102015113929A1 (de) Bewertung und Benachrichtigungen auf der Grundlage affektiver Reaktionen der Crowd
CN103561652A (zh) 用于辅助患者的方法和系统
JP2015046069A (ja) 情報処理装置、特定方法および特定プログラム
JP2015043148A (ja) 行動支援装置、行動支援方法、プログラム、および記憶媒体
JP2017182393A (ja) 生体情報通信装置、サーバ、生体情報通信方法及び生体情報通信プログラム
EP2748775A1 (en) Using biosensors for sharing emotions via a data network service
CN101414455A (zh) 信息提供系统、设备和方法、终端设备和显示方法
US20220346683A1 (en) Information processing system and information processing method
KR20150142610A (ko) 관계 유형을 고려한 코칭 방법 및 시스템
WO2018111660A1 (en) Wearable device control with inferred insights
EP3140913B1 (en) Embedding biometric data from a wearable computing device in metadata of a recorded image
KR101693429B1 (ko) 대인 관계 유형 파악을 통한 코칭 정보 제공 시스템
JP6552548B2 (ja) 地点提案装置及び地点提案方法
WO2018034036A1 (ja) 情報処理システムおよび情報処理方法
CN110214301B (zh) 信息处理设备、信息处理方法和程序
JP6431264B2 (ja) 情報取得システム、情報取得方法及びコンピュータプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151006

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160422

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160509

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20160617

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170403

R150 Certificate of patent or registration of utility model

Ref document number: 6122735

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250