JP7078035B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP7078035B2
JP7078035B2 JP2019508624A JP2019508624A JP7078035B2 JP 7078035 B2 JP7078035 B2 JP 7078035B2 JP 2019508624 A JP2019508624 A JP 2019508624A JP 2019508624 A JP2019508624 A JP 2019508624A JP 7078035 B2 JP7078035 B2 JP 7078035B2
Authority
JP
Japan
Prior art keywords
character
user
information
change
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019508624A
Other languages
English (en)
Other versions
JPWO2018179745A1 (ja
Inventor
育英 細田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018179745A1 publication Critical patent/JPWO2018179745A1/ja
Application granted granted Critical
Publication of JP7078035B2 publication Critical patent/JP7078035B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
従来、人は色々な場面(場所や環境等)に合わせて自分の中にある複数のキャラクターを使い分けている。例えば、会社に居る時と友達と居る時、また、学校に居る時と家に居る時とでは、態度や考え方、話し方等を、自然に若しくは意識して切り替えている。
ここで、近年の情報提示技術では、システム内に仮想的なエージェントを設けて、ユーザが欲している情報をエージェントにより音声や画像で提供している。このような技術に関し、例えば下記特許文献1では、利用者の特性の変化量に応じてキャラクターの視覚的態様を徐々に変化させて表示することで、利用者が自己の嗜好や趣味の変化を直感的に理解できるようにする情報端末装置が開示されている。
特開2010-204070号公報
しかしながら、従来の技術では、ユーザ自身が持つ複数のキャラクターの検知や分析には行われておらず、あくまでもユーザの嗜好や趣味の変化に応じてエージェントの視覚的な態様を変化させるのみである。
また、疲労していたり多忙な場合等には、ユーザが自分で現在の場面に合った自身のキャラクターを意識したり、コントロールしたりすることが困難な場合もあった。
そこで、本開示では、より好ましいユーザのキャラクターを引き出すよう適切な情報を提示することが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、ユーザのキャラクターを判定し、所定のキャラクターへ変更するタイミングであるか否かを判断し、前記変更するタイミングにおいて、前記所定のキャラクターへの変更を促すトリガを出力するよう制御する制御部を備える、情報処理装置を提案する。
本開示によれば、プロセッサが、ユーザのキャラクターを判定し、所定のキャラクターへ変更するタイミングであるか否かを判断し、前記変更するタイミングにおいて、前記所定のキャラクターへの変更を促すトリガを出力するよう制御することを含む、情報処理方法を提案する。
本開示によれば、コンピュータを、ユーザのキャラクターを判定し、所定のキャラクターへ変更するタイミングであるか否かを判断し、前記変更するタイミングにおいて、前記所定のキャラクターへの変更を促すトリガを出力するよう制御する制御部として機能させるための、プログラムを提案する。
以上説明したように本開示によれば、より好ましいユーザのキャラクターを引き出すよう適切な情報を提示することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について説明する図である。 本実施形態による情報処理システムの全体構成の一例を示す図である。 本実施形態によるユーザ端末の構成の一例を示すブロック図である。 本実施形態によるサーバの構成の一例を示すブロック図である。 本実施形態によるキャラクター判定処理を示すフローチャートである。 本実施形態によるユーザの主要キャラクター情報の一例を示す図である。 本実施形態による1日の行動パターンと出現キャラクターの一例を示す図である。 本実施形態による変更トリガ出力処理を示すフローチャートである。 本実施形態による変更トリガの優先度の修正処理を示すフローチャートである。 本実施形態によるユーザによるパラメータ修正が要求された際の動作処理を示すフローチャートである。 本実施形態によるパラメータ修正の一例を示す図である。 本実施形態によるマイナーキャラクターの情報の一例を示す図である。 本実施形態によるマイナーキャラクターへの変更トリガ出力処理を示すフローチャートである。 本実施形態による複数エージェント間での変更トリガ出力処理の概要を説明する図である。 本実施形態によるユーザAのキャラクター情報の一例を示す図である。 本実施形態によるユーザBのキャラクター情報の一例を示す図である。 本実施形態による複数エージェント間での変更トリガ出力処理を示すシーケンス図である。 本実施形態によるキャラクターに応じて広告提示の一例を説明する図である。 本実施形態による潜在的ななりたいキャラクターへ誘導する場合について説明する図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による情報処理システムの概要
2.構成
2-1.ユーザ端末1の構成
2-2.サーバ2の構成
3.動作処理
3-1.キャラクター判定処理
3-2.変更トリガ出力処理
3-3.パラメータ修正処理
3-4.マイナーキャラクターへの変更トリガ出力処理
3-5.複数エージェント間での変更トリガ出力処理
3-6.広告
3-7.潜在的ななりたいキャラクターへの誘導
4.まとめ
<<1.本開示の一実施形態による情報処理システムの概要>>
図1は、本開示の一実施形態による情報処理システムの概要について説明する図である。図1に示すように、本実施形態による情報処理システムでは、仮想的なエージェントVによりユーザのキャラクターを推定し、必要に応じてユーザのキャラクターを変化させるための情報を提供する。本明細書において、「キャラクター」とは、その人が場所や環境等に合わせて使い分ける態度や考え方、話し方、または行動指針等であって、広く人格や性格の一形態と言える。また、キャラクターは、生まれつき個人に備わっているもの、成長過程で身に付いたもの、その場の状況や環境に合わせて作った/作られたもの、他者から与えられたもの、システム側で与えたもの(誘導したもの)等が想定される。また、各個人は複数のキャラクターを持ち得て、それぞれのキャラクターの出現頻度は人によって異なるが、その人の出現頻度の高いキャラクターを、以下では「主要キャラクター」とも称する。
また、本明細書では、キャラクターの名称として、例えば感情を表現した名称や(「おこりんぼキャラ」「寂しがりキャラ」「泣き虫キャラ」「おとぼけキャラ」、「気難しいキャラ」など)、社会における役割やポジションを表現した名称(「ママキャラ」、「パパキャラ」、「仕事キャラ」、「事務員キャラ」、「女子高生キャラ」、「セレブキャラ」など)、またはこれらを組合せた名称(「おこりんぼママキャラ」、「ごきげん事務員キャラ」など)を一例として適宜付与している。
図1に示すように、例えばユーザが使い分けている主要キャラクターとして、9時から17時は「仕事キャラ」、18時から翌朝8時は「ママキャラ」、18時から20時は時々「ゆったりキャラ」(穏やかな気持ちでのんびりとリラックスすることを好むキャラクター)が予め把握されている場合に、エージェントVは、ユーザの状況や環境からキャラクター変更が必要であるか否かを判断する。具体的には、図1上段に示すように、例えばユーザがため息をついて疲れた様子である場合に、いつもはママキャラになって(具体的には、少なくとも職場以外の場所(通勤経路や自宅等)で)幸せな感情でいるはずの時間帯であるがまだ仕事キャラの状態(具体的には、職場にいる状態)である場合、キャラクター変更が必要であると判断する。
キャラクターの変更が必要であると判断した場合、エージェントVは、ユーザのキャラクターが変化するきっかけとなる情報(以下、変更トリガとも称す)をユーザに提供する。変更トリガは、例えば図1中段に示すように、ママキャラの時によく聞いている音楽や子供の声を流すと共に、「スイーツでも買って帰って、ゆっくりしよう~」といった帰宅を促す提案を行う。これにより、ユーザは仕事を切り上げて、図1下段に示すように、家のことを考えるママキャラに変化(気持ちも変化)し得る。
このように、本実施形態では、より好ましいキャラクターへの変更を促すことができる。なお、各キャラクターに、幸せを感じるキャラクター(以下、Happyキャラクターと称す)であるか否かを設定し、Happyキャラクターへの変化を優先するよう変更トリガを発動することで、結果的にユーザをより幸せな状態へ導くことができる。
ここでは一例としてエージェントがユーザの状況や状態からキャラクター変更の必要性を判断して適切な変更トリガを与えるようにしているが、本実施形態はこれに限定されず、ユーザが予め入力したスケジュールに紐付いたキャラクターへの変更を促すようにしてもよい。これにより、ユーザが望むタイミングで変更トリガを与えることができる。ユーザは、スケジュールと共に、いつどこでどのキャラクターでいたいかを入力しておいてもよい。
また、本システムにおける仮想的なエージェントVは、ユーザ端末1(図2参照)からユーザに対して音声や音楽、映像、写真、匂い、振動等により変更トリガを与えることが可能である。ユーザ端末1は、ウェアラブルデバイス(ネックバンド型、スマートアイグラス(双眼または単眼のARアイウェア)、スマートイヤフォン(例えばオープンエアーイヤホン)、スマートバンド(腕輪型)、スマートウォッチ、耳部装着型ヘッドセット、肩乗り型端末等)、スマートフォン、携帯電話端末、またはタブレット端末等が想定される。
変更トリガの出力手法はデバイスの機能によって異なる。例えば、音情報(音声、環境音、効果音など)、表示情報(表示画面に文字やエージェントの画像、写真、映像等)、振動、匂い等が考えられる。例えばメガネ型端末(ARアイウエア)の場合、AR技術により空間上、または物体の上に重畳する文章、言葉、図形により変更トリガを出力してもよい。また、耳部装着型ヘッドセットやオープンエアーイヤホンの場合、他の人には聞かれないように耳元でささやく、または風を吹きかける、熱を与える等により変更トリガを出力してもよい。
また、スマートフォンやタブレット端末等の場合、表示画面の端や一部に出現する文章、言葉、図形、キャラクターにより変更トリガを与える。また、肩乗り型端末の場合、基本的には耳部装着型ヘッドセットと同様に、他の人には聞かれないように耳元でささやく、または風を吹きかける、熱を与えるといった方法と、さらに振動や重心移動、髪の毛を引っ張る等により変更トリガを与えることが可能である。
続いて、このような本実施形態による情報処理システムの全体構成について図2を参照して説明する。図2は、本実施形態による情報処理システムの全体構成の一例を示す図である。
図2に示すように、本実施形態による情報処理システムは、ユーザ端末1とサーバ2を含む。ユーザ端末1とサーバ2は、無線または有線により通信接続し、データの送受信を行い得る。例えばユーザ端末1は、周辺の基地局4からネットワーク3に接続し、ネットワーク3上のサーバ2へデータと通信接続することが可能である。また、図2に示す例では、ユーザ端末1の一例として、ネックバンド型のユーザ端末1Aと、スマートフォンのユーザ端末1Bを図示している。
ユーザ端末1は、位置情報やユーザの発話音声など、キャラクター判定や変更判断に用いられるユーザ状況に関する各種情報を、サーバ2に送信する。
サーバ2は、ユーザ端末1から送信された情報に基づいて、ユーザのキャラクターの判定や、変更トリガの発動等、仮想的なエージェントとしての機能を有する。
なお、本実施形態では一例として主にサーバ2側(クラウドサーバ)で処理を行うシステム構成としているが、本開示はこれに限定されず、キャラクターの判定や変更トリガの発動といった各種処理の一部をユーザ端末1側で行うようにしたり、全てをユーザ端末1側で行うようにしてもよい。また、本実施形態による処理を複数の外部装置で行うようにしてもよいし(分散処理)、一部の処理をエッジサーバで行うようにしてもよい(エッジコンピューティング)。
以上、本開示の一実施形態による情報処理システムについて説明した。続いて、本実施形態による情報処理システムに含まれる各装置の具体的な構成について図面を参照して説明する。
<<2.構成>>
<2-1.ユーザ端末1の構成>
図3は、本実施形態によるユーザ端末1の構成の一例を示すブロック図である。図3に示すように、ユーザ端末1は、制御部10、通信部11、操作入力部12、音声入力部13、センサ14、表示部15、音声出力部16、および記憶部17を有する。
制御部10は、演算処理装置および制御装置として機能し、各種プログラムに従ってユーザ端末1内の動作全般を制御する。制御部10は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部10は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
また、本実施形態による制御部10は、音声入力部13により入力された音声情報や、センサ14により検知した各種センサ情報を、通信部11からサーバ2に送信するよう制御する。また、制御部10は、通信部21によりサーバ2から受信した変更トリガを、表示部15や音声出力部16から出力するよう制御する。
通信部11は、有線または無線によりネットワーク3と接続し、外部装置(例えば周辺機器、ルータ、基地局、サーバ2等)とデータの送受信を行う。通信部11は、例えば有線/無線LAN(Local Area Network)、またはWi-Fi(登録商標)、携帯通信網(LTE(Long Term Evolution)、3G(第3世代の移動体通信方式))等により外部装置と通信接続する。
操作入力部12は、ユーザによる操作指示を受付け、その操作内容を制御部10に出力する。操作入力部12は、タッチセンサ、圧力センサ、若しくは近接センサであってもよい。あるいは、操作入力部12は、ボタン、スイッチ、およびレバーなど、物理的構成であってもよい。
音声入力部13は、マイクロホンと、そのマイクロホンで得られた音声信号を増幅処理するマイクアンプ部と、音声信号にデジタル変換するA/D変換器により実現され、音声信号を制御部10に出力する。
センサ14は、ユーザの状況、状態、または周辺環境を検知し、検知情報を制御部10に出力する。センサ14は、複数のセンサ群、または複数種類のセンサであってもよい。センサ14は、例えばモーションセンサ(加速度センサ、ジャイロセンサ、地磁気センサ等)、位置センサ(Wi-Fi(登録商標)やBluetooth(登録商標)等との通信に基づく屋内位置測位、またはGPS等を用いた屋外位置測位等)、生体センサ(心拍センサ、脈拍センサ、発汗センサ、体温センサ、脳波センサ、筋電センサ等)、撮像センサ(カメラ)、環境センサ(温度センサ、湿度センサ、照度センサ、雨センサ等)が挙げられる。
表示部15は、操作画面やメニュー画面等を出力する表示装置である。この表示部15は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機EL(Electroluminescence)ディスプレイなどの表示装置であってもよい。また、本実施形態による表示部15は、制御部10の制御により、後述するキャラクター判定のためのユーザアンケートや、変更トリガとして映像を出力し得る。
音声出力部16は、音声信号を再生するスピーカと、スピーカに対するアンプ回路を有する。本実施形態による音声出力部16は、制御部10の制御により、エージェントの音声や音楽といった変更トリガを出力する。
記憶部17は、制御部10の処理に用いられるプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、および適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)により実現される。
以上、本実施形態によるユーザ端末1の構成について具体的に説明した。なおユーザ端末1の構成は、図3に示す例に限定されない。例えば、変更トリガの一例として「匂い」を出力する匂い出力部をさらに有していてもよい。また、図3に示す構成の少なくとも一部が外部装置に設けられる構成であってもよい。
また、図3に示す構成の少なくとも一部を有さない構成であってもよい。例えばユーザ端末1が、図2に示すようなネックバンド型のウェアラブルデバイスにより実現される場合、表示部15を有さない場合もある。図2に示すネックバンド型のウェアラブルデバイスは、首に掛けるタイプのスピーカ(ネックバンド型スピーカ)であって、両端部に設けられたスピーカから音が出力される。また、かかるネックバンド型スピーカに設けられたスピーカは、例えばVPT(Virtual Phones Technology)技術を用いて、音が耳元で聞こえるような聴覚効果を与えることができる。また、ネックバンド型スピーカにイヤホン(不図示)が有線/無線で接続された場合、イヤホンから音を出力し得る。イヤホンは、オープンタイプのイヤホン(耳が塞がれないタイプのイヤホン)であってもよく、この場合は周辺環境音も聞こえ易い状況にあるため日常的に装着していても比較的安全性が保たれる。
<2-2.サーバ2の構成>
図4は、本実施形態によるサーバ2の構成の一例を示すブロック図である。図4に示すように、サーバ2は、制御部20、通信部21、キャラクター情報記憶部22a、およびユーザ情報記憶部22bを有する。
(制御部20)
制御部20は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ2内の動作全般を制御する。制御部20は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部20は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
また、本実施形態による制御部20は、ユーザ状況・行動認識部201、キャラクター判定部202、変更トリガ出力制御部203、およびユーザ情報管理部204としても機能する。
ユーザ状況・行動認識部201は、ユーザ端末1から送信されたセンサ情報や音声情報に基づいて、ユーザの状況、周辺状況(周辺環境)、および行動を認識(解析を含む)する。また、ユーザ状況・行動認識部201は、ユーザが予め登録したスケジュールや、ソーシャルネットワークサービスへの投稿内容(テキスト、画像、位置情報、誰といるか)に基づいて、行動認識を行うことも可能である。
キャラクター判定部202は、ユーザが持つキャラクターや、現在出現しているキャラクターの判定を行う。例えばキャラクター判定部202は、ユーザが入力した所定のアンケートの回答、ソーシャルネットワークサービスへの投稿履歴、スケジュール履歴、センサ情報に基づく行動履歴に基づいて判定する。この際、キャラクター判定部202は、キャラクター情報記憶部22aに予め登録されたキャラクター判定ルールを参照してキャラクター判定を行ってもよいし、機械学習によりユーザのキャラクターの出現状況を学習してもよい。
変更トリガ出力制御部203は、ユーザの現在のキャラクターを変更させるか否かを判断し、キャラクターを変更するためのきっかけとなる情報を出力するよう制御する。変更トリガは、例えばエージェント音声による何らかの情報提示や声掛け、また、他の音声や音楽、映像、写真、ユーザの過去のソーシャルネットワークサービスへの投稿履歴、匂い等が挙げられる。
ユーザ情報管理部204は、ユーザが持つキャラクターや、各キャラクターの出現パターン、ユーザの行動履歴など、ユーザに関する各種情報をユーザ情報記憶部22bに登録して管理する。
(通信部21)
通信部21は、有線または無線により外部装置とデータの送受信を行う。通信部21は、例えば有線/無線LAN(Local Area Network)、またはWi-Fi(Wireless Fidelity、登録商標)等によりネットワーク3を介してユーザ端末1と通信接続する。
(キャラクター情報記憶部22a)
キャラクター情報記憶部22aは、キャラクターに関する各種情報を記憶する。例えば、キャラクター情報記憶部22aは、キャラクター判定ルールを記憶する。例えば、平日の日中に比較的同じ場所に定常的に留まっている場合、そこが学校または職場(ユーザの年齢から推定し得る)であると判断し、「仕事キャラ」または「学校キャラ」と判定するルールや、夜に比較的同じ場所に定常的に留まっている場合はそこが自宅であると推定し、さらにユーザの家族構成等から、「ママキャラ」と判定するルールが挙げられる。また、地図情報を参照し、ユーザが飲食店に友達と居る状況で、会話が盛り上がっている時には「女子会キャラ」、生体情報等からリラックスしていることが認識された場合は「ゆったりキャラ」などと判定するルールも挙げられる。また、キャラクター情報記憶部22aには、システム側で作成したキャラクターの情報(名称、特徴、変更トリガ情報等)も記憶されている。
(ユーザ情報記憶部22b)
ユーザ情報記憶部22bは、ユーザが持つキャラクターや、各キャラクターの出現パターン、ユーザの行動履歴など、ユーザに関する各種情報を記憶する。また、ユーザの各キャラクターへの変更トリガ情報も記憶され得る。
以上、本実施形態によるサーバ2の構成について具体的に説明した。なお図4に示すサーバ2の構成は一例であって、本実施形態はこれに限定されない。例えばサーバ2の少なくとも一部の構成が外部装置にあってもよいし、制御部20の各機能のうち少なくとも一部がユーザ端末1または通信距離が比較的ユーザ端末1に近い場所にある通信機器(例えば、いわゆるエッジサーバなど)により実現されてもよい。サーバ2が有する構成や機能を適宜分散することで、リアルタイム性の向上や処理負担の軽減、セキュリティを担保することが可能となる。
<<3.動作処理>>
続いて、本実施形態による情報処理システムの動作処理について図面を用いて具体的に説明する。
<3-1.キャラクター判定処理>
まず、図5を参照してキャラクター判定処理について説明する。図5は、本実施形態によるキャラクター判定処理を示すフローチャートである。
図5に示すように、まず、サーバ2は、ユーザ端末1を用いてキャラクター判定のための初期設定を行う(ステップS103)。例えばスマートフォンやタブレット端末、PC等の操作入力部12と表示部15を有する構成のユーザ端末1に属性入力画面やアンケート入力画面を表示させて、初期設定の情報をユーザに入力させる。入力された情報は、ユーザ端末1からサーバ2へ送信される。属性入力は、例えば性別、年代、職業、家族構成、出身地等の入力が想定される。また、アンケート(パーソナリティー診断)は、下記のような、ユーザの性格、深層心理や潜在的な望み等を分析し得る項目が想定される。
・待ち合わせの時間はきちんと守るか
・人に厳しくダメ出しをするか
・他人を卑下したり、でしゃばる事が多いか
・理想が高く、精一杯頑張るか
・世の中のルールは守る方か
・仕事が好きか
・なりたい自分は何か
・好きな場所はどこか
・よく行く場所はどこか
・好きなミュージシャン、楽曲、映画、俳優、台詞は何か
・楽しかった思い出は何か
・彼氏はいるか
また、サーバ2は、ユーザの過去のソーシャルメディアサービスへの投稿履歴(コメント、画像、友人とのやり取り)、スケジュール履歴、位置情報履歴、行動履歴等を取得し、ユーザがどのような状況においてどのような行動や発言等を行ったり、どのような感情になっているかを分析する。
このように、初期設定として取得した属性情報、アンケートの回答情報、投稿履歴、スケジュール履歴、または行動履歴等の分析結果に基づいて、ユーザが持つ1以上のキャラクター(主要キャラクター)を判定する。これにより、例えば一例として、一人のユーザが、「元気キャラ」(いつでも元気で、お祭り大好き、地元に帰った時や女子会で出現する)、「仕事キャラ」(真面目なイメージを守りつつ、組織の中でうまくやっていくバランスを重視し、自分の気持ちは出さない)、「根暗キャラ」(暗い、ネガティブな気持ち、自分の気持ちを発信できず、疲れて何もやる気が起きない)、「ちゃっかりキャラ」(したたかに、ちゃっかり、周りの人を操り、自分の利益を最優先するキャラ)といったような4つのキャラクター(人格)を持つことが判明する。
判定されたユーザのキャラクター情報は、ユーザ情報記憶部22bに蓄積される。また、キャラクター判定部202は、ユーザのキャラクターのうち、ユーザが幸せな感情や楽しい感情になるキャラクターをHappyキャラクターとして設定しておいてもよい。ここで、図6に、ユーザの主要キャラクター情報の一例を示す。
図6に示すように、キャラクター情報には、一人のユーザが持つキャラクターの種類と、各キャラクターが出現する状況のパラメータ(出現時間帯や場所)が含まれる。また、上述したようにユーザが幸せな感情や楽しい感情になるキャラクターはHappyキャラクターとして設定される。各キャラクターが出現する状況のパラメータは、初期設定において入力された属性やアンケート回答、また、過去の投稿履歴、スケジュール情報、行動履歴、また、予め登録された判定ルール(「仕事キャラ」は職場にいる時間帯(通常、平日の9時から17時)に出現する、など)に基づいて設定される。かかるパラメータは、次に説明する行動履歴等の蓄積に応じて適宜修正され得る。
次に、サーバ2は、初期設定である程度のキャラクターを把握した後、継続的に(例えば5分毎に)ユーザの日々の行動履歴等を蓄積していく(ステップS106)。日々の行動履歴等とは、例えば、ユーザ端末1により取得されたユーザの毎日の会話、位置情報(移動履歴)、行動履歴(いつどこでどのような行動(歩いた、走った、座った、電車に乗った等)を取っていたか)、聞いた音楽、歩いた街の環境音、スケジューラの入力情報、ソーシャルネットワークへの投稿等を、ユーザ情報記憶部22bに蓄積する。
そして、一定期間(例えば1週間分)蓄積した場合(ステップS109/Yes)、キャラクター判定部202は、蓄積した情報に基づいて、ユーザの1日の行動パターンに対応するキャラクターの学習を行う(ステップS112)。蓄積および学習は定期的に繰り返され、キャラクター情報の精度が向上される。
ここで、図7に、1日の行動パターンと出現キャラクターの一例を示す。図7に示すように、ユーザは1日に複数のキャラクターを使い分けていることが分かる。例えば9時から17時は会社(場所A)で仕事キャラ、移動中は特に何のキャラクターにも属さないニュートラルキャラ、17時半から19時半は友人と食事会でゆったりキャラ、20時から翌朝8時は自宅で家族と一緒にいてママキャラであることが認識される。
以上、キャラクター判定処理について具体的に説明した。なお、キャラクター判定結果をユーザに通知してユーザ自身に修正させることも可能である。また、上記アンケートを定期的に行ってキャラクター情報を補正、更新していってもよい。また、ユーザが自身で今は○○キャラと登録してもよいし、スケジューラを用いて、この時間帯は、このキャラクター、と登録してもよい。
また、ユーザが使い分けるキャラクターの状況として、主に時間と場所を挙げたが、本実施形態はこれに限定されない。例えばユーザが複数のソーシャルネットワークサービスを利用している際に、それぞれのサービス毎にキャラクターを使い分けている場合もある。そこで、キャラクター情報として、どのソーシャルネットワークサービスの際にはどのキャラクターであるかを判定し、登録することも可能である。
<3-2.変更トリガ出力処理>
続いて、ユーザのキャラクターを変更させるための変更トリガをどのように出力するかについて図8を参照して説明する。図8は、本実施形態による変更トリガ出力処理を示すフローチャートである。
図8に示すように、まず、サーバ2のユーザ状況・行動認識部201は、ユーザ端末1の音声入力部13により入力された音声情報や、センサ14により検知された各種センサ情報に基づいて、ユーザの状況や行動をリアルタイムに認識する(ステップS123)。例えば位置情報からユーザが会社に居ることが分かる場合は仕事中と認識し、また、位置情報および加速度センサ情報から、会社から出て駅までの道を歩いていることが分かる場合は帰宅中と認識し得る。
次に、変更トリガ出力制御部203は、キャラクター変更が必要であるか否かを判断する(ステップS126)。例えば、通常であれば「ママキャラ」となっている時間帯に(図7参照)、ユーザが会社に居て「仕事キャラ」になっている場合、Happyキャラ優先の基準に基づき、変更トリガ出力制御部203は、「ママキャラ」(少なくともいずれかのHappyキャラ)に変更することが必要であると判断する。また、変更トリガ出力制御部203は、ユーザがため息を何回もついたり(音声情報、呼吸センサ情報等により検知)、疲労している(音声情報(「疲れたなぁ」等のつぶやき)、生体センサ情報、モーションセンサ等により検知)場合に、いずれかのHappyキャラへの変更が必要であると判断してもよい。
そして、キャラクター変更が必要であると判断した場合(ステップS126/Yes)、変更トリガ出力制御部203は、Happyキャラへ変化するためのきっかけとなる変更トリガを出力するよう制御する(ステップS129)。変更トリガは、例えば行動の変化を促す情報の提供であって、エージェントによる提案(例えば、「スイーツでも買って帰ったら」等の少なくとも「会社」から出ることを促す提案)、Happyキャラに関連する環境音(例えば子供の声など、「ママキャラ」の環境を想起させる音声)、映像(例えば子供の写真など、「ママキャラ」の環境を想起させる音声)、匂い(例えば家の匂いなど、「ママキャラ」の環境を想起させる音声)等が想定される。
以上、本実施形態による変更トリガの出力制御について説明した。なお、上述した例では、ユーザの状況からキャラクター変更の必要性を自動的に判断しているが、本実施形態はこれに限定されず、ユーザが予め入力したスケジュールに基づいてキャラクター変更の必要性を判断してもよい。例えば仕事の予定は17時までであって、18時からはママキャラの時間と予定が立てられている場合に、ユーザが18時を過ぎても仕事場に居て仕事キャラのままである場合は、キャラクター変更が必要と判断し得る。
これにより、ユーザは自分のキャラクターをエージェントの支援の元、適切にコントロールし、自分にとって、有益で、幸運、好感な関係を築く行動を無意識的に、または意図的に取ることができる。
例えば、会社に勤務している20代の女性ユーザAが、ある金曜日に夜9時までの会議を終えて10時過ぎに会社を出て街を歩いている際、ユーザAが装着しているウェアラブルデバイス(ユーザ端末1)は、ユーザの足取りや溜息、生体情報、今週のスケジュール情報、Web履歴等に基づいて、ユーザAが仕事で忙しい一週間を終え、いつもチェックしているショッピングWEBサイトも見ずに重い足取りで駅までの道を歩き、ユーザAが「仕事キャラ」から「根暗キャラ」に変化していることを認識する。
なお、ここでは一例として図4に示すサーバ2の各機能を、ユーザ端末1にダウンロードされたエージェントソフトウェア(アプリケーションプログラム)により実行されるものとする。また、ユーザAは、スケジューラにより、今週は仕事に集中したかったためビジネスタイムはキャラクター変更トリガの出力(本実施形態によるキャラクター変更サービス)はOFFに設定し(若しくは「ニュートラルキャラ」を優先設定)、金曜日の会議が終わる9時過ぎにはキャラクター変更トリガの出力を自動的にONにするよう設定することも可能である。
上述したようにユーザAが「根暗キャラ」に変化してしまっているため、ユーザ端末1は、ユーザAが持つHappyキャラを検索する。例えば、ユーザAの「地元大好きキャラ」(自身の出身地への愛が強く、気の置けない仲間(幼馴染等)に気を許している(自分を解放できる)キャラクター)がHappyキャラに設定されている場合、ユーザ端末1は、ユーザAが地元に帰省して「地元大好きキャラ」になっていた際の履歴情報(地元の仲間と盛り上がった飲み会での音声、友達の笑い声、写真、動画、投稿履歴等)を検索し、変更トリガとしてユーザに提供する。例えばユーザ端末1がユーザAの耳部に装着されたオープンエアーイヤホンの場合、地元の仲間と盛り上がった飲み会で録音した音声や友達の笑い声を、周辺の環境音(雑踏)に混ざって微かに聞こえるよう出力制御してもよい。
なおユーザ端末1がメガネ型端末の場合は、地元に帰省した際の写真を視界の邪魔にならない範囲でさっとスライドショーにして流したり、スマートフォンの場合は表示画面の端に、地元の飲み会での友達の発言を吹き出しでうっすら出したり、その時の投稿記事を出したりしてもよい。
このように、ユーザAに、楽しくて元気だった時の自分を想起させて、本人自らHappyキャラに変化するよう促すことができる。
これにより、ユーザAが「根暗キャラ」から明るい元気なキャラに変わり、例えば自主的な行動として、「明日は早く起きてやりたかった朝ヨガでもやろうかな」と考えてヨガの予約を行う。スケジュールに朝ヨガの予定が入った場合、ユーザ端末1は、キャラクター変更が成功した(効果的だった)と推定することができる。
また、ユーザAが「根暗キャラ」から「地元大好きキャラ」に変わり、スマートフォンを取り出して地元の友達に電話したりメッセージを送ったりする。友達への連絡が行われたり、友達と会う予定がスケジュールに入った場合、ユーザ端末1は、キャラクター変更が成功した(効果的だった)と推定することができる。
<3-3.パラメータ修正処理>
続いて、パラメータ修正処理について図9~図11を参照して説明する。すなわち、システムにより変更トリガを出力した際に、ユーザが自主的にとった行動や、そのあとのユーザのキャラクターに変化、ユーザの感情や状況の変化等に基づいて、どのような時にどのような変更トリガを与えたらHappyキャラへの変身が成功したか、また、どのような時にHappyキャラへの変身を促すことが正しかったかといったことを学習し、デフォルトのキャラクター情報のパラメータ(変更トリガの優先度を含む)を修正することが可能である。
(変更トリガの優先度の修正)
図9は、本実施形態による変更トリガの優先度の修正処理を示すフローチャートである。図9に示すステップS203~S209は、図8を参照して説明したステップS123~S129の処理と同様であるため、ここでの詳細な説明は省略する。
なお、本実施形態において、あるキャラクターへの変更トリガが複数ある場合に、予めデフォルトとしてその優先度を設定しておいてもよい。デフォルトの優先度は、ランダムでもよいし、ユーザの過去履歴の傾向から優先度を推定して並べてもよい。例えば以下のように優先度が設定された変更トリガがあって上位から出力する場合について説明する。
Figure 0007078035000001
優先度の最も高い手法で変更トリガを出力した後、サーバ2の制御部20は、キャラクター変更が成功したか否かを判断する(ステップS212)。例えば、Happyキャラクターへの変更を促す変更トリガを出力した場合、制御部20は、ユーザの溜息が減ったか、足取りが軽くなったか、笑顔になったか、誰かと会ったり出掛けるスケジュールを入力したか、友達や恋人に連絡を取ったか、幸せを感じているか、といった、Happy(幸せ、元気、ポジティブ)な行動変化が起きたか否かに基づいて、キャラクター変更が成功したか否かを判断し得る。また、会社から退社するなど、完全にHappyキャラクターに変更する前でも、脱却したい状況(場所、環境)から変化が生じた場合にも成功と判断してもよい。
次いで、キャラクター変更が成功しなかった場合(ステップS212/No)、変更トリガ出力制御部203は、次に優先度の高い変更トリガに変更し(ステップS215)、ステップS209に戻って変更トリガの出力を行う(ステップS209)。
次に、キャラクター変更が成功した場合(ステップS212/Yes)、変更トリガの優先度を修正する(ステップS218)。すなわち、キャラクター変更が成功した変更トリガ(手法、内容)を学習する。
例えば、「エージェントの声」ではユーザに変化がなかった場合、「音楽」での変更トリガを与え、成功した場合は下記表2のように変更トリガの優先度を変更する。
Figure 0007078035000002
また、「音楽」でもユーザに変化がなかった場合、次の「映像」で変更トリガを与え、成功した場合は下記表3のように変更トリガの優先度を変更する。
Figure 0007078035000003
(ユーザによるパラメータの修正)
図10は、本実施形態によるユーザによるパラメータ修正が要求された際の動作処理を示すフローチャートである。図10に示すように、ユーザによる明示的なキャラクター修正要求があった場合(ステップS223/Yes)、サーバ2の制御部20は、ユーザの指示に従ってキャラクター判定パラメータを修正する(ステップS226)。
例えば、平日の20時に、通常であればママキャラの時間帯であるにも関わらずユーザが社外で仕事キャラになっている場合に(例えば言葉使い、会話内容、疲労度、笑顔度等から判定され得る)、ユーザ端末1によりHappyキャラクターへの変更トリガが提示される。しかし、実際は上長と取引先の人と飲食中であるため、仕事キャラでいることが正しい場合、ユーザは、操作入力部12により今は仕事キャラでいることが正しいため、パラメータの修正要求を行う。パラメータの修正内容は、ユーザが手動で入力してもよいし、ユーザ端末1側で状況を認識して自動で行ってもよい。例えば、時間帯、場所、およびユーザの周辺にいる人を認識し(カメラ、声紋、発話内容、スケジュール情報により認識可能)、パラメータを修正する。ここで、図11に、本実施形態によるパラメータ修正の一例を示す。図11に示すように、平日の17時以降に、社外の飲食店で、上長と同行している場合は、仕事キャラであると設定される。これにより、平日の17時以降に、社外の飲食店で上長と同行している場合は、「仕事キャラ」を優先することが可能となり、本システムによるキャラクター変更サービスの精度が向上する。また、ユーザとシステム(エージェント)との信頼関係、信頼度も上がる。
(キャラクターの補充)
また、ユーザは有償または無償で、自分がなりたいキャラクターの補充を行うことが可能である。入手したキャラクター情報は、ユーザ情報記憶部22bに、主要キャラクターと共に蓄積される。
例えばセレブキャラクター(Happyキャラ)を入手した場合、セレブキャラクター情報として、例えば以下のような変更トリガが補充される。
Figure 0007078035000004
セレブキャラクターの発動タイミング(時間、場所等のパラメータ)は、ユーザが自ら設定してもよい(連動するスケジューラへの入力など)。また、システム側で適宜判断するようお任せ設定にしてもよい。
<3-4.マイナーキャラクターへの変更トリガ出力処理>
続いて、日常の行動パターンからは滅多に検知されないレアキャラクターへの変更トリガ出力処理について説明する。初期設定におけるキャラクター判定の結果、ユーザの主要キャラに加えて、マイナーキャラクター(ある特定のシチュエーション下でのみ出現するキャラクター、普段は意図的に抑えているキャラクター)も抽出され得る。このようなマイナーキャラクターは、初期設定のアンケートや過去履歴によって把握はされるが、出現頻度が3カ月に1度というような場合は、1日の行動パターンに対応するキャラクターとして学習されず、また、ユーザ自ら意図的に抑えている場合は、連動するスケジューラにも登録されない可能性が高い。
しかし、ユーザ状況に応じて、このようなマイナーキャラクターに変化させた方がよいとシステム側で判断し、かかるキャラクターへの変更トリガを提供することも可能である。
例えば、ユーザAのマイナーキャラの中には、普段は滅多に出さない積極的女子キャラ(特に恋愛面で積極的な行動を起こすキャラクター)がいる。例えば図12に示すように、ユーザAにキャラクター診断結果として自分が積極的女子キャラを持っていることが把握できたが、出現は滅多にしない。
しかし、結婚から10年経った現在では、ユーザAにそのキャラクターが出現することがほとんどなくなっている。ユーザAが夫との自宅でのくつろぎのひと時、元々口数が少ない夫と、読書に没頭してしまうユーザAとの間には会話もほとんどなく、コミュニケーション不足になってしまっている。もっと夫婦間のコミュニケーションを取りたい、デートに出掛けたり二人で幸せな時間を過ごしたいと考えたユーザAは、本システムにおいて、積極的女子キャラへの変化を促す変更トリガを出力するよう設定する。
具体的には、例えば自宅で夫と一緒に居る時に、夫婦の会話が5分以上無いときに発動するようにしてもよいし、笑い声や笑顔が一定の時間検出されない状況で発動するようにしてもよい。以下、図13を参照して具体的に説明する。
図13は、マイナーキャラクターへの変更トリガ出力処理を示すフローチャートである。図13に示すように、まず、ユーザは、マイナーキャラクターの発動条件(パラメータ)の設定を行う(ステップS303)。ユーザにより入力された発動条件は、マイナーキャラクターのパラメータとしてサーバ2のユーザ情報記憶部22bに保存される。
次に、サーバ2の変更トリガ出力制御部203は、ユーザ端末1により取得された音声情報やセンサ情報に基づいて、マイナーキャラクターへの変更タイミングを判断し(ステップS309)、条件を満たしたタイミングで変更トリガを出力する(ステップS309)。マイナーキャラクターへの変更トリガは、例えば下記表5に示すような例が考えられるが、適宜変更可能である。
Figure 0007078035000005
次いで、キャラクター変更が失敗した場合(ステップS312/No)、次に優先度の高い変更トリガに変更する(ステップS318)。
次に、キャラクター変更が成功した場合(ステップS312/Yes)、成功した内容で変更トリガの優先度を修正する(ステップS315)。
<3-5.複数エージェント間での変更トリガ出力処理>
続いて、複数エージェント間での変更トリガ出力処理について図14~図17を参照して説明する。
相互の承認を経て形成された所定グループメンバー間(例えば恋人同士、特定の友達グループ、家族など)で、各ユーザのキャラクター情報をエージェント間で共有し、エージェントが最適なタイミングで相手のエージェントにキャラクター変更を依頼することが可能である。
図14は、複数エージェント間での変更トリガ出力処理の概要を説明する図である。図14に示すように、例えばユーザAの溜息や呟き(「電話欲しいな」「連絡無いなぁ」など)により、「寂しがりキャラ」になっていることをエージェントVaが判定する。ユーザAをHappyキャラに変更するトリガとして、恋人からの連絡であると判断した場合(変更トリガ情報)、エージェントVaは、恋人であるユーザBのエージェントVbに、ユーザAが寂しがっているため、ユーザBをユーザAに連絡するようなキャラクターへの変更を依頼する(具体的にユーザBのキャラクター情報に基づいて特定のキャラクターへの変更を依頼してもよい)。恋人ステータスは、初期設定や、スケジュール情報、ソーシャルネットワークサービスへの投稿内容等から判断され得る。ここでは恋人としたが、本実施形態はこれに限定されず、ユーザAが一緒にいるとHappyな状態になる人をユーザの行動履歴等から抽出してもよい。また、共有される各ユーザのキャラクター情報の一例を図15および図16に示す。
図15に示すように、例えばユーザBのキャラクター情報として、仕事キャラ、ワイワイキャラ、アクティブキャラ、ニュートラルキャラ、デートキャラがある場合、ユーザAへの連絡を取ると推定されるキャラクターは、デートキャラとなる。また、図16に示すように、ユーザAのキャラクターとしては、仕事キャラ、アクティブキャラ、ゆったりキャラ、ニュートラルキャラ、寂しがりキャラがいる。
次いで、エージェントVbは、暇そうにしているユーザBに、ユーザAとのデート写真を見せたり、ユーザAとのデートの時の音声を流したりしてユーザAを思い出させ、デートキャラへの変更を促す。
キャラクターの変更が成功すると、ユーザBは、ユーザAに連絡を取ることが期待される。ユーザA側としては、連絡がなくて寂しいなと思っている時に相手から連絡が来るため、まるでテレパシーのようだと嬉しく思い、Happyな気持ちになる。
以上概要を説明したが、ここでエージェントVa、エージェントVbとは、仮想的なものであって、各エージェントの動作は、サーバ2および各ユーザ端末1において行われ得る。また、図4に示すサーバ2の機能を実現するアプリケーションが、ユーザ端末1にダウンロードされている場合、ユーザ端末1単体で変更トリガ出力処理を実現することが可能である。
続いて、図17を参照して複数エージェント間での変更トリガ出力処理について説明する。図17は、本実施形態による複数エージェント間での変更トリガ出力処理を示すシーケンス図である。
図17に示すように、まず、ユーザAのユーザ端末1aは、ユーザの呟きを認識し(ステップS403)、寂しがりキャラになっている場合(ステップS406/Yes)、ユーザ端末1aは、ユーザBのユーザ端末1bに対し、ユーザAをHappyなキャラクターに変更させるための変更トリガをユーザBからユーザAに与えるよう、キャラクター変更の要求を行う(ステップS409)。
次に、ユーザBのユーザ端末1bは、ユーザBを、ユーザAに連絡を取る(ユーザAをHappyなキャラクターに変更させるための変更トリガを与える)デートキャラに変更するよう、変更トリガを出力する(ステップS412)。
<3-6.広告>
また、本実施形態では、ユーザのキャラクターに応じた広告を提示することも可能である。キャラクターによって金銭感覚や購入する物、使いたいサービスが異なる場合もあるため、キャラクターに合わせて最適な広告をユーザに提示することが可能である。
図18は、本実施形態によるキャラクターに応じて広告提示の一例を説明する図である。図18に示すように、例えば仕事キャラの場合には、英会話スクールの広告、ママキャラの場合には、子供服の広告、ゆったりキャラの場合はグルメ情報や飲食店の広告を提示し得る。また、ニュートラルキャラの場合は、全てのキャラクターに対応する広告や、ユーザ属性に応じた広告(趣味嗜好、性別、年代等に応じて、ファッション、ビューティ、スイーツ関連の広告など)、また、その時に流行っている商品やイベントの広告をランダムに提示してもよい。
また、各キャラクターが出現している際のユーザの各種履歴(時間、場所、同行者、購入履歴等)に基づいて、各キャラクター出現時におけるユーザの嗜好や傾向を分析し、キャラクターにマッチした広告を提供することも可能である。広告は、ユーザ端末1により、画像、音声、その他の方法で提供される。
また、広告提供のタイミングは、現在のキャラクターに合ったものでもよいし、次に出現することが予想されるキャラクターに合ったものでもよい。
また、ママキャラなど家計を管理しているキャラクターが出現している時に、他のキャラクター向けの広告も含めて提示してもよいし、乗り物移動が一番多いニュートラルキャラクターの時に集中的に広告を提供してもよい。
<3-7.潜在的ななりたいキャラクターへの誘導>
本実施形態は、過去の呟きやソーシャルネットワークサービスへの投稿内容等に基づいて、ユーザの潜在的ななりたいキャラクターを判断し、かかるキャラクターに変化するきっかけを与えることも可能である。
図19は、潜在的ななりたいキャラクターへ誘導する場合について説明する図である。例えば、ユーザが「サーフィンをやってみたいな」と半年前に呟いたが具体的な行動を起こさず、本人も忘れてしまっているような場合を想定する。
このような場合に、図19上段に示すように、あるときユーザがサーフィンショップの近くを歩いていることを検知すると、図19中段に示すように、エージェントVが、「サーフィンやってみたいってこの前言ってたね!」と発言し、図19下段に示すように、ユーザのサーフィンへの興味を引き出させることが可能となる。変更トリガは、エージェントの音声に限定されず、ユーザの過去の呟きを再生、表示したり、サーフィンの映像を見せたりする方法であってもよい。
このように、ユーザ自身も忘れていた潜在的ななりたい自分への変更トリガも、本システムにより与えることが可能となる。
<<5.まとめ>>
上述したように、本開示の実施形態による情報処理システムでは、より好ましいユーザのキャラクターを引き出すよう適切な情報を提示することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述したユーザ端末1、またはサーバ2に内蔵されるCPU、ROM、およびRAM等のハードウェアに、ユーザ端末1、またはサーバ2の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
(1)
ユーザのキャラクターを判定し;
所定のキャラクターへ変更するタイミングであるか否かを判断し;
前記変更するタイミングにおいて、前記所定のキャラクターへの変更を促すトリガを出力するよう制御する制御部を備える、情報処理装置。
(2)
前記制御部は、前記ユーザが持つ1以上のキャラクターの情報を参照し、現在の時間、場所、または環境に応じて、前記ユーザのキャラクターを判定する、前記(1)に記載の情報処理装置。
(3)
前記制御部は、前記ユーザが持つ1以上のキャラクターの情報を参照し、音声情報、行動認識、または生体情報の少なくともいずれかに基づいて、前記ユーザのキャラクターを判定する、前記(1)または(2)に記載の情報処理装置。
(4)
前記制御部は、時間、場所、環境、音声情報、行動認識、または生体情報の少なくいずれかに基づいて、所定のキャラクターへ変更するタイミングであるか否かを判断する、前記(1)~(3)のいずれか1項に記載の情報処理装置。
(5)
前記ユーザが持つ1以上のキャラクターには、幸せなキャラクターであるか否かの設定が行われ、
前記制御部は、ユーザを幸せなキャラクターに変化させるためのトリガを出力するよう制御する、前記(1)~(4)のいずれか1項に記載の情報処理装置。
(6)
前記制御部は、
前記ユーザが持つ1以上のキャラクターの出現時間、場所、または環境を含むキャラクター情報に基づいて、キャラクターの判定および変更タイミングの判断を行う、前記(1)~(5)のいずれか1項に記載の情報処理装置。
(7)
前記制御部は、
前記所定のキャラクターへ変更させるトリガを出力した後の前記ユーザのフィードバックに基づいて、前記ユーザが持つ1以上のキャラクターの出現時間、場所、または環境を含むキャラクター情報を修正する、前記(1)~(6)のいずれか1項に記載の情報処理装置。
(8)
前記制御部は、
前記ユーザの属性情報、アンケート回答情報、行動履歴、スケジュール履歴、音声履歴、または投稿履歴に基づいて、前記ユーザが持つ1以上のキャラクターを判定する、前記(1)~(7)のいずれか1項に記載の情報処理装置。
(9)
前記制御部は、
前記所定のキャラクターへ変更させるトリガを出力した後、前記ユーザの行動に変化がない場合、次に優先度の高いトリガを出力するよう制御する、前記(1)~(8)のいずれか1項に記載の情報処理装置。
(10)
前記制御部は、
前記所定のキャラクターへの変更を促すトリガとして、前記ユーザに影響を与えると推定される所定の他ユーザのキャラクターを変更するよう制御する、前記(1)~(9)のいずれか1項に記載の情報処理装置。
(11)
前記制御部は、
前記ユーザのキャラクターに応じた広告情報を提示するよう制御する、前記(1)~(10)のいずれか1項に記載の情報処理装置。
(12)
プロセッサが、
ユーザのキャラクターを判定し;
所定のキャラクターへ変更するタイミングであるか否かを判断し;
前記変更するタイミングにおいて、前記所定のキャラクターへの変更を促すトリガを出力するよう制御することを含む、情報処理方法。
(13)
コンピュータを、
ユーザのキャラクターを判定し;
所定のキャラクターへ変更するタイミングであるか否かを判断し;
前記変更するタイミングにおいて、前記所定のキャラクターへの変更を促すトリガを出力するよう制御する制御部として機能させるための、プログラム。
1 ユーザ端末
2 サーバ
3 ネットワーク
4 基地局
10 制御部
11 通信部
12 操作入力部
13 音声入力部
14 センサ
15 表示部
16 音声出力部
17 記憶部
20 制御部
21 通信部
22a キャラクター情報記憶部
22b ユーザ情報記憶部
201 ユーザ状況・行動認識部
202 キャラクター判定部
203 変更トリガ出力制御部
204 ユーザ情報管理部

Claims (13)

  1. ユーザのキャラクターを判定し;
    所定のキャラクターへ変更するタイミングであるか否かを判断し;
    前記変更するタイミングにおいて、前記所定のキャラクターへの変更を促すトリガとして、前記ユーザが利用するデバイスから音情報、表示情報もしくは振動情報の少なくともいずれか一つを前記ユーザに対して出力するよう制御する制御部を備える、情報処理装置。
  2. 前記制御部は、前記ユーザが持つ1以上のキャラクターの情報を参照し、現在の時間、場所、または環境に応じて、前記ユーザのキャラクターを判定する、請求項1に記載の情報処理装置。
  3. 前記制御部は、前記ユーザが持つ1以上のキャラクターの情報を参照し、音声情報、行動認識、または生体情報の少なくともいずれかに基づいて、前記ユーザのキャラクターを判定する、請求項1に記載の情報処理装置。
  4. 前記制御部は、時間、場所、環境、音声情報、行動認識、または生体情報の少なくともいずれかに基づいて、所定のキャラクターへ変更するタイミングであるか否かを判断する、請求項1に記載の情報処理装置。
  5. 前記ユーザが持つ1以上のキャラクターには、幸せなキャラクターであるか否かの設定が行われ、
    前記制御部は、ユーザを幸せなキャラクターに変化させるためのトリガを出力するよう制御する、請求項1に記載の情報処理装置。
  6. 前記制御部は、
    前記ユーザが持つ1以上のキャラクターの出現時間、場所、または環境を含むキャラクター情報に基づいて、キャラクターの判定および変更タイミングの判断を行う、請求項1に記載の情報処理装置。
  7. 前記制御部は、
    前記所定のキャラクターへ変更させるトリガを出力した後の前記ユーザのフィードバックに基づいて、前記ユーザが持つ1以上のキャラクターの出現時間、場所、または環境を含むキャラクター情報を修正する、請求項1に記載の情報処理装置。
  8. 前記制御部は、
    前記ユーザの属性情報、アンケート回答情報、行動履歴、スケジュール履歴、音声履歴、または投稿履歴に基づいて、前記ユーザが持つ1以上のキャラクターを判定する、請求項1に記載の情報処理装置。
  9. 前記制御部は、
    前記所定のキャラクターへ変更させるトリガを出力した後、前記ユーザの行動に変化がない場合、次に優先度の高いトリガを出力するよう制御する、請求項1に記載の情報処理装置。
  10. 前記制御部は、
    前記所定のキャラクターへの変更を促すトリガとして、前記ユーザに影響を与えると推定される所定の他ユーザのキャラクターを変更するよう前記所定の他ユーザが利用するデバイスから音情報、表示情報もしくは振動情報の少なくともいずれか一つを前記所定の他ユーザに対して出力するよう制御する、請求項1に記載の情報処理装置。
  11. 前記制御部は、
    前記ユーザのキャラクターに応じた広告情報を提示するよう制御する、請求項1~10のいずれか1項に記載の情報処理装置。
  12. プロセッサが、
    ユーザのキャラクターを判定し;
    所定のキャラクターへ変更するタイミングであるか否かを判断し;
    前記変更するタイミングにおいて、前記所定のキャラクターへの変更を促すトリガとして、前記ユーザが利用するデバイスから音情報、表示情報もしくは振動情報の少なくともいずれか一つを前記ユーザに対して出力するよう制御することを含む、情報処理方法。
  13. コンピュータを、
    ユーザのキャラクターを判定し;
    所定のキャラクターへ変更するタイミングであるか否かを判断し;
    前記変更するタイミングにおいて、前記所定のキャラクターへの変更を促すトリガとして、前記ユーザが利用するデバイスから音情報、表示情報もしくは振動情報の少なくともいずれか一つを前記ユーザに対して出力するよう制御する制御部として機能させるための、プログラム。
JP2019508624A 2017-03-31 2018-01-25 情報処理装置、情報処理方法、およびプログラム Active JP7078035B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017071508 2017-03-31
JP2017071508 2017-03-31
PCT/JP2018/002215 WO2018179745A1 (ja) 2017-03-31 2018-01-25 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2018179745A1 JPWO2018179745A1 (ja) 2020-02-06
JP7078035B2 true JP7078035B2 (ja) 2022-05-31

Family

ID=63674628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019508624A Active JP7078035B2 (ja) 2017-03-31 2018-01-25 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US20200016743A1 (ja)
EP (1) EP3605439A4 (ja)
JP (1) JP7078035B2 (ja)
CN (1) CN110214301B (ja)
WO (1) WO2018179745A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108472811B (zh) * 2017-07-14 2021-06-04 达闼机器人有限公司 机器人性格设定方法、装置和机器人
JP7113570B1 (ja) 2022-01-28 2022-08-05 株式会社PocketRD 3次元画像管理装置、3次元画像管理方法及び3次元画像管理プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003010544A (ja) 2001-06-28 2003-01-14 Hitachi Kokusai Electric Inc ゲーム機能を有する携帯端末
JP2005149481A (ja) 2003-10-21 2005-06-09 Zenrin Datacom Co Ltd 音声認識を用いた情報入力を伴う情報処理装置
US20050216529A1 (en) 2004-01-30 2005-09-29 Ashish Ashtekar Method and apparatus for providing real-time notification for avatars

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002210238A (ja) * 2001-01-24 2002-07-30 Sony Computer Entertainment Inc 記録媒体、プログラム、プログラム実行システム及びプログラム実行装置
KR20020003105A (ko) * 2001-07-21 2002-01-10 김길호 다중사용자를 지원하는 노래반주방법
JP2006065683A (ja) * 2004-08-27 2006-03-09 Kyocera Communication Systems Co Ltd アバタ通信システム
US7979798B2 (en) * 2005-12-30 2011-07-12 Sap Ag System and method for providing user help tips
US20080153432A1 (en) * 2006-12-20 2008-06-26 Motorola, Inc. Method and system for conversation break-in based on user context
KR101558553B1 (ko) * 2009-02-18 2015-10-08 삼성전자 주식회사 아바타 얼굴 표정 제어장치
JP2010204070A (ja) 2009-03-06 2010-09-16 Toyota Motor Corp 情報端末装置
KR101189053B1 (ko) * 2009-09-05 2012-10-10 에스케이플래닛 주식회사 아바타 기반 화상 통화 방법 및 시스템, 이를 지원하는 단말기
CN106964150B (zh) * 2011-02-11 2021-03-02 漳州市爵晟电子科技有限公司 一种动作定位点控制系统及其穿套式定点控制设备
JP5966596B2 (ja) * 2012-05-16 2016-08-10 株式会社リコー 情報処理装置、投影システム及び情報処理プログラム
JP6021282B2 (ja) * 2012-05-29 2016-11-09 株式会社カプコン コンピュータ装置、ゲームプログラム、及びコンピュータ装置の制御方法
US10311482B2 (en) * 2013-11-11 2019-06-04 At&T Intellectual Property I, Lp Method and apparatus for adjusting a digital assistant persona
US10289076B2 (en) * 2016-11-15 2019-05-14 Roborus Co., Ltd. Concierge robot system, concierge service method, and concierge robot
CN106956271B (zh) * 2017-02-27 2019-11-05 华为技术有限公司 预测情感状态的方法和机器人

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003010544A (ja) 2001-06-28 2003-01-14 Hitachi Kokusai Electric Inc ゲーム機能を有する携帯端末
JP2005149481A (ja) 2003-10-21 2005-06-09 Zenrin Datacom Co Ltd 音声認識を用いた情報入力を伴う情報処理装置
US20050216529A1 (en) 2004-01-30 2005-09-29 Ashish Ashtekar Method and apparatus for providing real-time notification for avatars

Also Published As

Publication number Publication date
EP3605439A1 (en) 2020-02-05
WO2018179745A1 (ja) 2018-10-04
EP3605439A4 (en) 2020-02-05
CN110214301B (zh) 2022-03-11
CN110214301A (zh) 2019-09-06
US20200016743A1 (en) 2020-01-16
JPWO2018179745A1 (ja) 2020-02-06

Similar Documents

Publication Publication Date Title
US10382804B2 (en) Systems and methods for identifying exposure to a recognizable item
US11388016B2 (en) Information processing system, information processing device, information processing method, and recording medium
US8812419B1 (en) Feedback system
JP7424285B2 (ja) 情報処理システム、情報処理方法、および記録媒体
US20150162000A1 (en) Context aware, proactive digital assistant
CN110996796B (zh) 信息处理设备、方法和程序
KR101761999B1 (ko) 관계 유형을 고려한 코칭 방법 및 시스템
JP2007026429A (ja) 誘導装置
US20200005784A1 (en) Electronic device and operating method thereof for outputting response to user input, by using application
JP7078035B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6114773B2 (ja) 情報処理装置及び方法
JP6242359B2 (ja) 情報処理装置及び方法
Nijholt Social augmented reality: A multiperspective survey
US11270682B2 (en) Information processing device and information processing method for presentation of word-of-mouth information
JP6360218B2 (ja) 情報処理装置及び方法
JP6230560B2 (ja) 情報処理装置及び方法
JP6159357B2 (ja) 情報処理装置及び方法
JP2018125036A (ja) 情報処理装置及び方法
JP2020166593A (ja) ユーザ支援装置、ユーザ支援方法及びユーザ支援プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220502

R151 Written notification of patent or utility model registration

Ref document number: 7078035

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151