JP6690556B2 - 情報処理システム、情報処理装置、制御方法、記憶媒体、およびプログラム - Google Patents

情報処理システム、情報処理装置、制御方法、記憶媒体、およびプログラム Download PDF

Info

Publication number
JP6690556B2
JP6690556B2 JP2016574625A JP2016574625A JP6690556B2 JP 6690556 B2 JP6690556 B2 JP 6690556B2 JP 2016574625 A JP2016574625 A JP 2016574625A JP 2016574625 A JP2016574625 A JP 2016574625A JP 6690556 B2 JP6690556 B2 JP 6690556B2
Authority
JP
Japan
Prior art keywords
information
interaction
sensing device
certification
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016574625A
Other languages
English (en)
Other versions
JPWO2016129159A1 (ja
Inventor
敦 塩野崎
敦 塩野崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016129159A1 publication Critical patent/JPWO2016129159A1/ja
Priority to JP2020070212A priority Critical patent/JP6911968B2/ja
Application granted granted Critical
Publication of JP6690556B2 publication Critical patent/JP6690556B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/33User authentication using certificates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/90335Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/316User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0255Targeted advertisements based on user history
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0261Targeted advertisements based on user location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0269Targeted advertisements based on user profile or attribute
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、情報処理システム、情報処理装置、制御方法、憶媒体、およびプログラムに関する。
従来、構築したデータベースの信頼性に関して、以下のような技術が提案されている。
例えば、下記特許文献1では、ユーザが自身の感情を直接入力したり、マウスを叩く等の操作に応じて感情を入力したりすることができ、入力からの時間経過に応じた確信度に応じて、ユーザの感情変化を把握できるシステムが開示されている。
また、下記特許文献2では、医師と患者との会話を記録するシステムにおいて、患者がオフレコモードを設定することを可能とすることで、プライバシーを保ち、コミュニケーション記録システム全体の信頼性を向上させるシステムが開示されている。
特開2005−339368号公報 特開2005−260944号公報
しかしながら、人や物全てを含むオブジェクト間で生じるインタラクションの履歴に基づいて生成されるオブジェクトの感情、想い、価値、信頼度、人間性等を客観的に示す新たな指標である感性値の信頼性維持に関しては、従来技術では何ら言及されていない。
そこで、本開示では、感性値の信頼性を維持、向上することが可能な情報処理システム、情報処理装置、制御方法、憶媒体、およびプログラムを提案する。
本開示によれば、オブジェクト間のインタラクションを検知するセンシングデバイスから、オブジェクト間のインタラクションに関連する情報を取得する通信部と、前記オブジェクト間のインタラクションに関連する情報に基づき生成された、それぞれのオブジェクトの感性値を算出する際に用いられる評価値を蓄積していくことによって構築される感性情報データベースと、前記オブジェクト間のインタラクションを検知するセンシングデバイスを認定し、認定情報をセンシングデバイスに発行する認定部と、前記センシングデバイスから送信されたインタラクションに関連する情報を、前記センシングデバイスに発行された前記認定情報に基づいて認証する認証部と、を備える、情報処理システムを提案する。
本開示によれば、センサにより検知されたオブジェクト間のインタラクションに関連する情報を、それぞれのオブジェクトに紐づけて抽出する抽出部と、前記センサに関する情報と、当該センサによって検知したインタラクションに関連する情報を、前記オブジェクト間のインタラクションに関連する情報に基づき生成された、それぞれのオブジェクトの感性値を算出する際に用いられる評価値を蓄積していくことによって構築される感性情報データベースを有するサーバに送信する通信部と、前記通信部を介して、前記センサによって検知されたインタラクションに関連する情報に基づき前記サーバが前記センサを有する情報処理装置を認定した結果を示す認定情報を受信し、記憶する認定情報記憶部と、を備える、情報処理装置を提案する。
本開示によれば、オブジェクト間のインタラクションを検知するセンシングデバイスから、オブジェクト間のインタラクションに関連する情報を取得することと、前記オブジェクト間のインタラクションに関連する情報に基づき生成された、それぞれのオブジェクトの感性値を算出する際に用いられる評価値を蓄積して感性情報データベースを構築することと、認定部により、前記オブジェクト間のインタラクションを検知するセンシングデバイスを認定し、認定情報をセンシングデバイスに発行することと、認証部により、前記センシングデバイスから送信されたインタラクションに関連する情報を、前記センシングデバイスに発行された前記認定情報に基づいて認証することと、を含む、制御方法を提案する。
本開示によれば、コンピュータを、センサにより検知されたオブジェクト間のインタラクションに関連する情報を、それぞれのオブジェクトに紐づけて抽出する抽出部と、前記センサに関する情報と、当該センサによって検知したインタラクションに関連する情報を、前記オブジェクト間のインタラクションに関連する情報に基づき生成された、それぞれのオブジェクトの感性値を算出する際に用いられる評価値を蓄積していくことによって構築される感性情報データベースを有するサーバに送信する通信部と、前記通信部を介して、前記センサによって検知されたインタラクションに関連する情報に基づき前記サーバが前記センサを有する情報処理装置を認定した結果を示す認定情報を受信し、記憶する認定情報記憶部と、として機能させるためのプログラムが記憶された、記憶媒体を提案する。
以上説明したように本開示によれば、感性値の信頼性を維持、向上することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について説明する図である。 本実施形態による情報処理システムの全体構成を示す図である。 本実施形態による認定サーバの構成の一例を示す図である。 本実施形態によるセンシングデバイスの構成の一例を示す図である。 本実施形態による感性サーバの構成の一例を示す図である。 本実施形態による新規センシングデバイスの登録処理を示すフローチャートである。 本実施形態によるセンシングデバイス個体の認定処理を示すシーケンス図である。 本実施形態による定期的な認定処理を示すシーケンス図である。 認定を却下した際の認定確認処理を示すフローチャートである。 本実施形態によるユーザのフィードバックに応じたセンシングデバイスの認定処理を示すシーケンス図である。 複数のセンシングデバイスが同一インタラクションを検知する場合について説明する図である。 本実施形態による通知処理を示すフローチャートである。 本実施形態による承認処理を示すフローチャートである。 本実施形態による場所毎の承認設定処理を示すフローチャートである。 本実施形態による周辺センシングデバイスの自動承認設定処理を示すフローチャートである。 本実施形態による承認設定に応じたセンシングデバイスの動作処理を示すフローチャートである。 本実施形態による一定条件を満たした際の周辺センシングデバイスからのインタラクション情報の登録について説明する図である。 本実施形態による登録承認処理を示すフローチャートである。 本実施形態による感性値が利用される環境調整システムについて説明する図である。 本実施形態によるアクセス許可処理を示すシーケンス図である。 本実施形態による他のアクセス許可処理を示すシーケンス図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による情報処理システムの概要
2.構成
2−1.全体構成
2−2.認定サーバの構成
2−3.センシングデバイスの構成
2−4.感性サーバの構成
3.動作処理
3−1.新規センシングデバイスの認定処理
3−2.センシングデバイスの定期的な認定処理
3−3.フィードバックに応じた認定処理
3−4.インタラクション評価値に基づく認定処理
3−5.承認処理
3−6.アクセス許可処理
4.まとめ
<<1.本開示の一実施形態による情報処理システムの概要>>
まず、本開示の一実施形態による情報処理システムの概要について図1を参照して説明する。本実施形態による情報処理システム100は、図1に示すように、オブジェクト間で発生したインタラクションを検知するセンシングデバイス2、認定サーバ1、および感性サーバ3を有し、センシングデバイス2で検知されたインタラクション情報に基づいて算出されるオブジェクトの感性値の信頼性を維持、向上させる。
具体的には、まず、複数のオブジェクト間のインタラクション、例えば図1に示すようなユーザObj.A(オブジェクトの一例)と時計Obj.B(オブジェクトの一例)との間に発生するインタラクション(すなわち時計の手入れ)が、センシングデバイス2により検知される(a:インタラクション検知)。ここで、図1に示す例ではセンシングデバイス2がオブジェクトの周囲に設置されている状態を図示しているが、本実施形態はこれに限定されず、例えばオブジェクト自体に装着/搭載されていてもよいし、オブジェクトが所持する情報処理端末に搭載されていてもよい。また、センシングデバイス2は、画像解析が可能なカメラにより実現される場合に限定されず、例えば振動センサ、加速度センサ、ジャイロセンサ、温度センサ、湿度センサ、赤外線センサ、深度センサ、触覚センサ、生体センサ、マイクロホン等であってもよい。
次いで、センシングデバイス2は、検知したセンシングデータに基づいてインタラクションに関連する情報(以下、インタラクション情報とも称する)を抽出し、感性サーバ3に送信する(b:インタラクション情報送信)。例えば、センシングデバイス2は、「○月○日○時○分/ユーザObj.Aが時計Obj.Bの手入れを行っている」というインタラクション情報を抽出し、感性サーバ3に送信する。
感性サーバ3は、センシングデバイス2から送信されたオブジェクト間のインタラクション情報を登録(データベースに格納)し、蓄積したインタラクション情報(インタラクション情報の履歴とも称する)に基づいて、オブジェクトの感性値を算出する。感性サーバ3により算出される感性値は、例えばオブジェクトが人である場合、その人の性格や人間性(信頼できる人であるか、粗暴な人であるか等)や、特定のオブジェクトに対するその人の想い(大事にしているか、大切に想っているか等)を客観的に示す新たな指標として用いられる。具体的には、例えば個人信用情報提供システムやオークションシステムで対象人物や出品者、購買者の信用情報として感性値が用いられたり、テレプレゼンスシステムでプライバシーレベルを設定する際に通信相手の人間性や信頼度の把握に感性値が用いられたりする。また、ドローン等の移動体により対象ユーザの周辺環境を局所的に変化させる(例えば雨や日差しがユーザに当たらないようにする)環境調整システムで、ユーザが所持している物や一緒にいる人に対するユーザの気持ちを把握してカバー範囲を制御する際に感性値が用いられる。
また、オブジェクトが物である場合、その物が今まで大事に扱われてきたか、乱雑に扱われてきたか、といった物が受けた「想い」を客観的に示す新たな指標として用いられる。例えばオークションシステムで出品商品の内包的な価値として用いられる。
このような様々なシステムで用いられる感性値の信頼性を維持・向上させるためには、まず、感性サーバ3において構築されるデータベースに登録されるインタラクション情報が正しいものであることが必要である。例えばセンシングデバイス2の誤作動により、同じインタラクション情報を感性サーバ3に何度も送信したり、センサの精度やインタラクションの抽出精度が低かったり、実際とは異なるインタラクションを抽出したりすると、正確な感性値が算出されず、システム全体の信頼性が下降する。
そこで、上記点に鑑みて、本開示による情報処理システムでは、インタラクションを検知するセンシングデバイス2の認定を行うことで、感性値の信頼性を維持・向上することを可能とする。
より具体的には、本実施形態による情報処理システム100は、図1に示すように、感性サーバ3に登録されたユーザObj.Aと時計Obj.Bの間で発生したインタラクション情報をユーザObj.Aに通知し、インタラクション情報が正しく登録されているかの確認が行えるようにする(c:登録したインタラクション情報の通知)。
ユーザは、登録されたインタラクション情報が正しいものであるか確認し、当該インタラクション情報を抽出したセンシングデバイス2の評価を認定サーバ1にフィードバックする(d:ユーザによるフィードバック)。認定サーバ1は、ユーザからのフィードバック(センシングデバイス2評価)に基づいて、センシングデバイス2の認定を行う。
そして、認定サーバ1は、認定結果(認定OK/NG)を示す認定情報をセンシングデバイス2および感性サーバ3に夫々送信する(e:認定結果を通知、f:認定結果を通知)。感性サーバ3は、認定情報に基づいて、センシングデバイス2から送信されたインタラクション情報のデータベースへの登録可否を制御する(g:登録可否の制御)。すなわち、感性サーバ3は、センシングデバイス2が認定されている場合はインタラクション情報を登録し、認定が却下された場合はインタラクション情報を破棄して登録しないよう制御する。
以上、本開示の一実施形態による情報処理システムの概要について説明した。続いて、本開示の情報処理システムについて具体的に説明する。
<<2.構成>>
<2−1.全体構成>
図2は、本開示の一実施形態による情報処理システムの全体構成を示す図である。図2に示すように、情報処理システム100は、認定サーバ1、センシングデバイス2、感性サーバ3、およびユーザ端末5を含む。認定サーバ1、センシングデバイス2、感性サーバ3、およびユーザ端末5は、ネットワーク4を介して接続され得る。
センシングデバイス2は、上述したように、オブジェクト間のインタラクションを抽出し、感性サーバ3に送信する。
感性サーバ3は、センシングデバイス2から送信されたインタラクションを登録する。また、感性サーバ3は、登録したインタラクションに関する情報をユーザ端末5に送信する。また、感性サーバ3は、認定サーバ1からの認定結果に基づいて、センシングデバイス2から送信されたインタラクションの登録可否を判断し得る。
ユーザ端末5は、感性サーバ3から送信したインタラクション情報を表示し、ユーザに確認を促す。また、ユーザ端末5は、ユーザにより入力された評価内容を、認定サーバ1に送信する。なおユーザ端末5は、例えばスマートフォン、携帯電話端末、パーソナルコンピュータ、またはウェアラブル端末等であってもよい。
認定サーバ1は、ユーザ端末5からの評価内容に従ってセンシングデバイス2の認定を行い、認定結果をセンシングデバイス2および感性サーバ3に送信する。また、認定サーバ1は、センシングデバイス2の認定を、センシングデバイス2の機器情報等に基づいて予め判断することも可能である。
以下、このような情報処理システム100を構成する各装置について具体的に説明する。
<2−2.認定サーバの構成>
図3は、本実施形態による認定サーバ1の構成の一例を示す図である。図3に示すように、認定サーバ1は、通信部11、認定部12、認定情報入力部13、認定情報DB14、個体情報DB15、個体認定履歴DB16を有する。
通信部11は、ネットワーク4を介して、外部装置と情報のやり取りを行う。例えば通信部11は、センシングデバイス2からセンシングデバイス個体情報を受信したり、ユーザ端末5からのセンシングデバイス2に対するフィードバック情報を受信したりする。また、通信部11は、センシングデバイス2に関する認定情報を、センシングデバイス2および感性サーバ3に送信する。
認定部12は、センシングデバイス2の認定を行い、認定情報をセンシングデバイス2および感性サーバ3に発行する。具体的には、認定部12は、ユーザ端末5から受信したフィードバック情報に基づいてセンシングデバイス2の認定を行う。また、認定部12は、個体認定履歴DB16に認定情報を格納し、新たなフィードバック情報に基づいて認定を行った場合、対応する既存の認定情報を更新する。また、認定部12は、センシングデバイス2から取得した機器情報(機能、性能等を示すプロパティ情報)に基づいて、認定基準を参照してセンシングデバイス2の認定を行うことも可能である。認定部12による認定処理については、図6〜図12を参照して詳細に説明する。
認定情報入力部13は、認定基準や認定するセンシングデバイス2の型番情報等、認定に関する情報の入力を行う。上述した認定部12は、認定情報入力部13から入力された認定基準を用いてセンシングデバイス2の認定を行う。また、認定情報入力部13から入力された認定に関する情報は認定情報DB14に格納される。また、認定情報入力部13は、システム管理者等による入力を受付ける操作入力部(キーボード、マウス、タッチパネル等)により実現されてもよいし、外部端末と通信して認定情報の入力を受付ける受信部により実現されてもよい。
認定情報DB14は、認定基準および認定対象のセンシングデバイス2の型番情報等を格納する記憶部である。例えば、認定基準として、「顔認識フレームレート:15fps以上、平均顔認識率:50%」といったデータが格納される。また、当該認定基準が適用されるセンシングデバイス2の一般商品情報(商品名称、型番、製造元等)や、情報処理システム100で管理される当該センシングデバイス2の個体IDも格納され得る。また、型番別の認定状態(認定済/認定却下)も格納される。
個体情報DB15は、センシングデバイス2の個体固有の情報を格納する記憶部である。例えば、センシングデバイス2の個体番号(シリアル番号等)、対応する型番情報、情報処理システム100で管理される型番ID、個体ID、個体の認定状態(認定済/認定却下)、情報処理システム100への導入状態(導入済/未導入)、認証鍵情報等が格納される。
個体認定履歴DB16は、センシングデバイス2の個体の認定履歴を格納する記憶部である。例えば、センシングデバイス2の個体IDに関連付けて、個体の認定情報履歴(日時、認定基準、認定結果)や、ユーザのフィードバック履歴(日時、ユーザ評価値、認定結果)が格納される。一例として、下記表1に個体の認定情報履歴のデータ例を示し、下記表2にユーザのフィードバック履歴のデータ例を示す。
Figure 0006690556
Figure 0006690556
以上説明した認定サーバ1には、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、および不揮発性メモリを備えたマイクロコンピュータが搭載され、認定サーバ1の各構成を制御する。
<2−3.センシングデバイスの構成>
図4は、本実施形態によるセンシングデバイス2の構成の一例を示す図である。図4に示すように、センシングデバイス2は、センサ21、インタラクション抽出部22、通信部23、および認定情報記憶部24を有する。
(センサ)
センサ21は、オブジェクト間のインタラクションを検知する機能を有する。センサ21は、例えば湿度センサ、温度センサ、振動センサ、赤外線センサ、カメラ、触覚センサ、ジャイロセンサ、照度センサ、人感センサ、大気センサ(具体的に埃センサ、汚染物質センサ)、速度センサ、回数計測値等により実現される。
(インタラクション抽出部)
インタラクション抽出部22は、センサ21から出力されたセンシングデータを解析して、第1のオブジェクトと、第2のオブジェクトとの間のインタラクションに関連する情報を検出する検出部として機能する。例えば、インタラクション抽出部22は、人と人とのインタラクション(会話、電話、贈与等)や、人と物とのインタラクション(物の手入れ、物の扱い、店での振る舞い等の人の物に対する動作)を具体的に抽出する。
(通信部)
通信部23は、インタラクション抽出部22により抽出されたインタラクションに関連する情報を、ネットワーク4を介して感性サーバ3に送信する。また、通信部23は、認定サーバ1から認定情報を受信する。
(認定情報記憶部)
認定情報記憶部24は、認定サーバ1から送信された認定情報を記憶する。当該認定情報は、センシングデバイス2に対する認定サーバ1による認定結果を含む。
以上説明したセンシングデバイス2には、CPU、ROM、RAM、および不揮発性メモリを備えたマイクロコンピュータが搭載され、センシングデバイス2の各構成を制御する。
<2−4.感性サーバの構成>
図5は、本実施形態による感性サーバ3の構成の一例を示す図である。図5に示すように、感性サーバ3は、制御部30、通信部31、オブジェクトDB32、感性情報DB33、認定情報DB34、および許可情報DB35を有する。
(制御部)
制御部30は、CPU、ROM、RAM、および不揮発性メモリを備えたマイクロコンピュータにより構成され、感性サーバ3の各構成を制御する。また、制御部30は、図5に示すように、インタラクション記憶制御部30a、評価部30b、オブジェクト管理部30c、関連オブジェクト検索部30d、感性値算出部30e、認証部30f、通知制御部30g、承認設定部30h、およびアクセス許可設定部30iとして機能する。
インタラクション記憶制御部30aは、センシングデバイス2から受信したインタラクション情報を感性情報DB33に記憶するよう制御する。また、本実施形態によるインタラクション記憶制御部30aは、後述する認証部30fにより認証を受けたインタラクション情報を感性情報DB33に記憶するよう制御する。また、本実施形態によるインタラクション記憶制御部30aは、後述する承認設定部30hにより承認されたオブジェクトIDのインタラクション、若しくは承認されたインタラクション種類を感性情報DB33に記憶するよう制御してもよい。
評価部30bは、感性情報DB33に記憶したインタラクションの評価を行う。インタラクション(行為)の評価方法については特に限定しないが、例えば評価部30bは、何らかの評価指標で定めた基準に基づいて−1.0〜1.0の点数(評価値)を付けてもよい。付与された評価値はインタラクションに対応付けて感性情報DB33に記憶される。
オブジェクト管理部30cは、オブジェクトDB32に記憶されているオブジェクトに関する情報(オブジェクトID、名称、種類等)の登録、変更、削除等の管理を行う。
関連オブジェクト検索部30dは、外部装置から要求されたオブジェクトIDとの間でインタラクションが発生した他のオブジェクトである関連オブジェクトを、感性情報DB33に記憶されているインタラクション履歴から検索し、関連オブジェクトに関する情報をオブジェクトDB32から検索する。
感性値算出部30eは、感性情報DB33に蓄積されているインタラクションに対応付けられた評価値に基づいて、要求されたオブジェクトの感性値を算出する。感性値の算出方法については特に限定しないが、例えば感性値算出部0eは、要求されたオブジェクトと他のオブジェクト間に発生した全てのインタラクション評価値の総和に基づいて、要求されたオブジェクトの絶対的感性値を算出してもよい。また、感性値算出部0eは、上記全てのインタラクション評価値の平均値に基づいて、要求されたオブジェクトの絶対的感性値を算出してもよい。また、感性値算出部0eは、インタラクションの種別に応じた重み付けを行った上で、総和または平均値に基づいて絶対的感性値を算出することも可能である。さらに、感性値算出部0eは、要求されたオブジェクトと、特定の(または、特定の種別の)オブジェクト間に発生したインタラクション評価値の総和または平均値等に基づいて、要求されたオブジェクトの相対的感性値を算出してもよい。また、感性値算出部0eは、要求元の感性値利用目的に応じて感性値算出に用いるインタラクション履歴を選別し、要求されたオブジェクトの感性値を算出してもよい。


認証部30fは、センシングデバイス2から送信されるインタラクションに関連する情報の認定情報DB34への格納(登録)を、認定サーバ1から発行された認定情報に基づいて認証する機能を有する。認定情報は、認定情報DB34に格納されている。具体的には、認証部30fは、認定サーバ1により認定されたセンシングデバイス2から送信されたインタラクションに関連する情報を認証する。一方、認定サーバ1により認定されていないセンシングデバイス2、または認定サーバ1により認定却下されたセンシングデバイス2から送信されたインタラクションに関連する情報については、認証部30fは認証を行わず、感性情報DB33に登録されないようにする。
通知制御部30gは、オブジェクト(ユーザ)と他のオブジェクトとの間で発生し、センシングデバイス2により抽出され、感性情報DB33に登録されたインタラクションに関連する情報を、ユーザに通知するよう制御する。これにより、ユーザは、自分と他のオブジェクト間で発生したインタラクションが正しく抽出されているかを確認し、当該インタラクションを抽出したセンシングデバイス2に対する評価を(認定サーバ1に)フィードバックすることができる。
承認設定部30hは、対象オブジェクトと他のオブジェクトとの間で発生したインタラクションの検知/登録の承認設定を行う。具体的には、承認設定部30hは、例えばオブジェクトIDまたはインタラクション種類毎に、インタラクション情報の検知/登録を承認する設定を行う。承認設定の情報は、認定情報DB34に格納される。また、特定のセンシングデバイス2に対して承認設定の情報が通知される。
例えばユーザが家の暮らしにおいて、時計のクリーニング、他人との会話等の生活の様子がインタラクションとして検知/登録されるのはよいが、顔の表情が検知/登録されるのは避けたい場合、検知/登録OKまたはNGのインタラクション種別を予め承認することで、ユーザが希望しない検知/登録を回避することができる。このように、本実施形態によるインタラクションの検知/登録は、認定されたセンシングデバイス2により全てのインタラクションが検知/感性情報DB33に登録することに限定されず、承認設定が行われたオブジェクトID/インタラクション種類のインタラクションが検知/登録されるようにすることも可能である。
また、例えば公共の場に設置されたセンシングデバイス2により特定の範囲に存在するオブジェクト間のインタラクションを抽出することが可能な状況において、その場所におけるインタラクションの登録可否をユーザ毎に(すなわちオブジェクトID毎に)承認することも可能である。例えば、営業先の会議室、レストラン、イベント会場等において、その場所に入ってきたユーザに対して、その場所におけるインタラクション登録の可否を通知し、適宜承認設定を行うことが可能である。承認設定部30hによる承認処理については、図13〜図18を参照して詳細に説明する。
アクセス許可設定部30iは、第三者からの、インタラクション評価値または要求されたオブジェクトIDの感性値へのアクセスの許可設定を行う機能を有する。具体的には、アクセス許可設定部30iは、ユーザからの指示に従って、ユーザのインタラクション評価値または感性値へのアクセスを特定の第三者(外部装置)に許可する。かかる許可に関する情報(許可情報)は、許可情報DB35に格納される。これにより、例えば感性値算出部30eは、要求元の外部装置が、ユーザのインタラクション評価値または感性値へのアクセスが許可されているものであるか否かを、許可情報DB35に格納されている許可情報を参照して判断し、不正アクセスを防止することができる。アクセス許可設定部30iによるアクセス許可設定処理については、図19〜図21を参照して詳細に説明する。
(通信部)
通信部31は、ネットワーク4を介して、センシングデバイス2からインタラクション情報を受信し、また、認定サーバ1から認定情報を受信する。また、通信部31は、ネットワーク4を介して、通知制御部30gの指示に従って、インタラクション情報をユーザ端末5に送信する。
また、通信部31は、外部装置からの要求に応じて、感性情報DB33に格納されているインタラクション評価、または感性値算出部30eにより算出された感性値を送信する。
(オブジェクトDB)
オブジェクトDB(データベース)32は、各オブジェクト(人間および物を含む)のオブジェクトIDに紐付けて、各オブジェクトの付属情報、例えば名称(氏名、商品名)、種類(性別、カテゴリ)、識別情報(顔画像、生体情報、シリアル番号、型番、メーカーID)等を格納する。
(感性情報DB)
感性情報DB33は、感性値の算出に用いられる、オブジェクト間のインタラクション情報を格納する。インタラクション情報は、例えばインタラクションを行った/受けたオブジェクトID、インタラクションが発生した日時・場所、当該インタラクションに関連する関連オブジェクトID(すなわち当該インタラクションの相手側)、インタラクション種類(会話、電話、メール、手入れ、保管、清掃、投げる、購入、贈与、操作、使用等)、インタラクションの詳細、および評価値が含まれる。
(認定情報DB)
認定情報DB34は、認定サーバ1から発行されたセンシングデバイス2に関する認定情報を格納する。認定情報は、例えばセンシングデバイス2の個体IDおよび認定結果(認定済/未認定/認定却下)を含む。
(許可情報DB)
許可情報DB35は、アクセス許可設定部30iによるインタラクション評価値または感性値に対する第三者へのアクセス許可に関する許可情報を格納する。許可情報は、例えば、アクセス対象のオブジェクトID、および許可された第三者のオブジェクトIDを含む。
以上、本実施形態による感性サーバ3の構成について具体的に説明した。なお、感性サーバ3の構成は図5に示す例に限定されず、承認設定部30h、またはアクセス許可設定部30iを有しない構成であってもよい。また、オブジェクトDB32、感性情報DB33、認定情報DB34、および許可情報DB35は、ネットワーク上の外部記憶装置に格納されていてもよい。
<<3.動作処理>>
続いて、本実施形態による動作処理について、フローチャートおよびシーケンス図を参照して具体的に説明する。
<3−1.新規センシングデバイスの認定処理>
本実施形態では、新規センシングデバイスの認定を認定基準に従って予め行うことも可能である。例えばセンシングデバイス2の性能が所定の基準を上回っているか否かに応じて認定を行う。これにより、センシングデバイス2によるインタラクションの不正抽出が回避され、システム全体の信頼性を維持することができる。以下、このような新規センシングデバイスの認定処理について、図6〜図7を参照して説明する。
図6は、新規センシングデバイスの登録処理を示すフローチャートである。新規センシングデバイスが本システムに導入される場合、新規センシングデバイスに関する情報が認定サーバ1に登録される。
まず、図6に示すステップS103において、認定サーバ1は、新規センシングデバイスの商品情報の入力を受付ける。具体的には、新規センシングデバイスの一般商品情報(商品名称、型番、製造元等)が、管理者により認定情報入力部13から入力され得る。
次に、ステップS106において、認定サーバ1は、新規センシングデバイスの認定基準の入力を受付ける。具体的には、新規センシングデバイスの認定基準(認定に必要な性能条件等)が、管理者により認定情報入力部13から入力され得る。
次いで、ステップS109において、認定サーバ1は、入力された新規センシングデバイスの一般商品情報および認定基準を紐付けて、認定情報DB14に格納する。
このように、本システムに導入される新規センシングデバイスの一般商品情報と、その認定基準が登録される。そして、新たなセンシングデバイス2(個体)が実際に設置されると、認定サーバ1により各センシングデバイス2の認定が夫々行われる。以下、センシングデバイス2(個体)の認定処理について図7を参照して説明する。
図7は、センシングデバイス個体の認定処理を示すシーケンス図である。図7に示すように、まず、ステップS123において、新たに設置(または出荷)されたセンシングデバイス2(個体)は、認定に必要な自身のプロパティ情報(所謂、機能情報)を認定サーバ1に送信する。
次に、ステップS126において、認定サーバ1の認定部12は、通信部11を介してセンシングデバイス2から受信したプロパティ情報に含まれる型番に基づいて、認定情報DB14に登録された対応する認定基準を抽出し、当該認定基準に基づいてセンシングデバイス(個体)の認定を行う。
次いで、認定基準を満たす場合(S129で「Yes」)、ステップS132において、認定部12は、センシングデバイス2(個体)を認定する。具体的には、認定部12は、認定したセンシングデバイス2のプロパティ情報を個体情報DB15に格納(認定デバイスの登録)し、また、センシングデバイス2の認定履歴を個体認定履歴DB16に格納する。
次に、ステップS135において、認定部12は、認定したセンシングデバイス2に関する情報(認定情報)を作成し、感性サーバ3に送信する。感性サーバ3に送信された認定情報は、感性サーバ3の認定情報DB34に格納される。
また、ステップS138において、認定部12は、認定情報をセンシングデバイス2にも送信する。センシングデバイス2に送信された認定情報は、センシングデバイス2の認定情報記憶部24に格納される。
一方、認定基準を満たさない場合(S129で「No」)、認定部12は認定を行わない。
以上、新規センシングデバイス設置時(または出荷時)の認定処理について説明した。このように、本実施形態では、センシングデバイス2を予め認定することが可能である。
<3−2.センシングデバイスの定期的な認定処理>
上述した認定処理では、新規センシングデバイス2の設置時に認定処理を行う旨を説明したが、本実施形態はこれに限定されない。例えば、本実施形態による情報処理システム100は、定期的に、センシングデバイス2からプロパティ情報を取得し、その都度認定の確認を行い、認定の見直しを行うことが可能である。例えば、撮像画像の解析によりインタラクションを抽出するセンシングデバイスの例においては、画像取り込み・解析のフレームレートの低下により認定を見直す必要が生じる。以下、このような定期的な認定処理について図8〜図9を参照して説明する。
図8は、本実施形態による定期的な認定処理を示すシーケンス図である。図8に示すように、まず、ステップS153において、センシングデバイス2(個体)は、認定に必要な自身のプロパティ情報を定期的に記憶する。
次に、ステップS156において、センシングデバイス2は、蓄積したプロパティ情報履歴(または履歴を平均化したプロパティ情報)を、認定サーバ1に送信する。
次いで、ステップS159において、認定サーバ1の認定部12は、受信したプロパティ情報履歴を個体情報DB15に保存する。
次に、ステップS162において、認定部12は、受信したプロパティ情報と過去のプロパティ履歴とを比較して、プロパティ情報が変化したか否かを判断する。
次いで、プロパティ情報が変化した場合(S162で「Yes」)、ステップS165において、認定部12は、受信したプロパティ情報が、認定基準を満たすか否かを判断する。
続いて、プロパティ情報が認定基準を満たさなかった場合(S165で「No」)、ステップS168において、認定部12は、センシングデバイス2の認定を却下し、個体情報DB15に格納される対象のセンシングデバイス2の認定状態を「認定却下」に更新する。
次に、ステップS171において、認定部12は、センシングデバイス2の認定却下を感性サーバ3に通知する。感性サーバ3は、認定却下の情報を認定情報DB34に格納する。感性サーバ3は、認定却下されたセンシングデバイス2から送信されたインタラクション情報は認証部30fによる認証を行わず、感性情報DB33に格納(登録)しないことで、感性値(または感性値の要素である評価値を格納する感性情報DB33)の信頼性を維持することができる。
また、ステップS174において、認定部12は、センシングデバイス2に対しても認定却下を送信する。センシングデバイス2は、認定却下の情報を認定情報記憶部24に格納する。センシングデバイス2は、認定却下を受けた際はインタラクションの抽出や感性サーバ3への送信を行わないよう制御することで、感性サーバ3側で構築されるデータベース(感性情報DB33)の信頼性を維持することができる。
以上、センシングデバイス2(個体)の認定却下について説明した。なお認定サーバ1は、センシングデバイス2(個体)の認定を却下する場合、ユーザに通知を行い、インタラクション登録の可否を判断する機会をユーザに与えてもよい。ユーザへの通知は、例えばセンシングデバイス2(個体)の個体情報として個体情報DB15に登録されたユーザのメールアドレスを用いて行ってもよい。
また、このように個体認定を却下した際、本実施形態による情報処理システム100は、さらに認定却下した個体の同型番の認定確認を行ってもよい。以下、図9を参照して説明する。
図9は、認定を却下した際の認定確認処理を示すフローチャートである。図9に示すように、まず、ステップS203において、認定サーバ1の認定部12は、却下したセンシングデバイス2(個体)と同一型番の全てのセンシングデバイス2の認定状態を取得する。具体的には、認定部12は、個体情報DB15から、対象と同一型番のセンシングデバイス2の認定情報を取得する。
次に、ステップS206において、認定部12は、一定の認定基準で他の個体も認定されている状態であるか否かを判断する。
次いで、同一型番の他の個体も認定されていない場合(S206/No)、ステップS209において、認定部12は、認定情報DB14において、対象の型番の認定状態を「認定却下」に更新する。同一型番の他の1以上の個体も認定が却下されている場合、当該型番のセンシングデバイス2全てに不具合の可能性があり、対象の型番の全ての個体を認定却下するためである。
次に、ステップS212において、認定部12は、個体情報DB15において、対象の型番の各個体の認定状態を「認定却下」に更新する。
次いで、ステップS215において、認定部12は、対象の型番の認定却下を感性サーバ3に通知する。感性サーバ3は、受信した認定却下の情報を認定情報DB34に格納する。感性サーバ3は、認定却下された型番のセンシングデバイス2から送信されたインタラクション情報は認証部30fによる認証を行わず、感性情報DB33に格納(登録)しないことで、感性値(または感性値の要素である評価値を格納する感性情報DB33)の信頼性を維持することができる。
そして、ステップS218において、認定部12は、型番の認定却下を、対象の型番の各センシングデバイス2に通知する。センシングデバイス2は、認定却下の情報を認定情報記憶部24に格納する。センシングデバイス2は、認定却下を受けた際はインタラクションの抽出や感性サーバ3への送信を行わないよう制御することで、感性サーバ3側で構築されるデータベース(感性情報DB33)の信頼性を維持することができる。
<3−3.フィードバックに応じた認定処理>
続いて、ユーザからのフィードバックに応じたセンシングデバイス2の認定処理について、図10を参照して説明する。図10は、本実施形態によるユーザのフィードバックに応じたセンシングデバイスの認定処理を示すシーケンス図である。
図10に示すように、まず、ステップS253において、センシングデバイス2のインタラクション抽出部22は、センサ21により検知したセンシングデータに基づいてインタラクションを抽出する。
次に、ステップS256において、センシングデバイス2の通信部23は、インタラクション情報を感性サーバ3に送信する。
次いで、ステップS259において、感性サーバ3のインタラクション記憶制御部30aは、受信したインタラクション情報を感性情報DB33に格納(登録)する。
次に、ステップS262において、ユーザ端末5は、ユーザ端末5を所持するユーザのインタラクション情報の閲覧要求を感性サーバ3に対して行う。インタラクション情報の閲覧要求は、ユーザ操作に応じて行ってもよいし、自動で行ってもよい。また、ユーザ端末5は、閲覧要求を行う際、ユーザのオブジェクトIDを指定する。
次いで、ステップS265において、感性サーバ3の通知制御部30gは、指定されたユーザのオブジェクトIDに対応するインタラクション情報を感性情報DB33から抽出し、ユーザ端末5に送信する。なお当該インタラクション情報には、当該インタラクションを検知したセンシングデバイス2の個体ID等の識別情報が含まれる。
次に、ステップS268において、ユーザ端末5は、受信したインタラクション情報を表示部(不図示)に表示する。
次いで、ステップS271において、ユーザ端末5は、ユーザによるインタラクションの妥当性の評価入力(フィードバックの入力)を受付ける。具体的には、ユーザは、センシングデバイス2によるインタラクションの検知が正常に行われているか否かを評価する。評価は、例えば1〜10の指標で付与してもよい。
続いて、ステップS274において、ユーザ端末5は、入力された評価を認定サーバ1に送信する(フィードバック)。
次に、ステップS277において、認定サーバ1の認定部12は、通信部11を介してユーザ端末5から受信した評価を、個体認定履歴DB16において、対応するセンシングデバイス2(個体)に紐付けて保存する。
次いで、ステップS280において、認定部12は、ユーザからの評価に基づいて、対応するセンシングデバイス2(個体)の認定を行う。例えば、認定部12は、ユーザによる評価が1〜10の指標で入力される場合、所定値以下の評価の場合は認定を却下する。
次に、認定を継続しない、すなわち認定を却下すると判断した場合(S283において「No」)、ステップS286において、認定部12は、個体認定履歴DB16の対応するセンシングデバイス2(個体)の認定状態を「認定却下」に更新する。
次いで、ステップS289において、認定部12は、認定却下を感性サーバ3に通知する。
そして、ステップS292において、認定部12は、認定却下をセンシングデバイス2に通知する。
一方、認定を継続すると判断した場合(S283において「Yes」)、認定部12は、対応するセンシングデバイス2に関して認定状態の変更を行わない。
以上、ユーザによるフィードバックに応じたセンシングデバイス2の認定処理について具体的に説明した。なお、当該認定処理により認定却下されたセンシングデバイス2の同一型番に対して、図9に示す認定確認処理を同様に行ってもよい。また、上述した認定処理では、ユーザ端末5からインタラクション情報の閲覧要求を行っているが(S262参照)、本実施形態はこれに限定されず、例えば感性サーバ3からインタラクション情報の評価要求をユーザ端末5に対して行ってもよい。
<3−4.インタラクション評価値に基づく通知処理>
続いて、本実施形態による他の認定処理について説明する。図11は、複数のセンシングデバイス2A〜2Eが同一インタラクションを検知する場合について説明する図である。図11に示すように、例えばあるユーザが他のユーザと対話している際に、環境においては、複数のセンシングデバイス2A〜2Eにより同一タイミングでユーザ間の会話がインタラクションとして検知される。センシングデバイス2Aは音声を収音して音声解析によりインタラクションを検知し、センシングデバイス2B〜2Dは撮像画像の解析によりインタラクションを検知する。また、センシングデバイス2Eはユーザが装着しているウェアラブルデバイスなどから受信した撮像画像、音声、生体情報(心拍、脳波、体温、脈拍、発汗量等)等の解析によりインタラクションを検知する。
そして、各センシングデバイス2A〜2Dは、それぞれ検知したインタラクション情報を感性サーバ3に送信するので、感性サーバ3は、それぞれのインタラクション情報を感性情報DB33に登録すると共に、評価部30bによりそれぞれのインタラクションの評価値を算出する。この際、感性サーバ3は、それぞれのインタラクションの評価値を比較し、極端に異なる値が存在した場合、インタラクションを検知したセンシングデバイス2に問題があるとして認定サーバ1にその旨を通知し、認定サーバ1により認定を改めさせることができる。
以下、このような感性サーバ3による評価値に基づく通知処理について、図12を参照して具体的に説明する。図12は、本実施形態による通知処理を示すフローチャートである。
図12に示すように、まず、ステップS303において、感性サーバ3は、複数のセンシングデバイス2から同一インタラクションに関するインタラクション情報を取得する。
次に、ステップS306において、感性サーバ3のインタラクション記憶制御部30aは、同一インタラクションに関する複数のインタラクション情報を感性情報DB33に格納(登録)する。
次いで、ステップS309において、評価部30bは、当該複数のインタラクション情報について夫々評価値を算出する。
次に、ステップS312において、制御部30は、複数のインタラクション情報の評価値を比較する。具体的には、制御部30は、各評価値のうち極端な数値の評価値、すなわち複数のインタラクション情報の複数の評価値のうち他の評価値との差が所定の閾値を超える評価値を抽出する。
次いで、評価値の差が所定の閾値を超える場合(S315において「Yes」)、ステップS318において、通知制御部30gは、所定の閾値を超える差があった評価値のインタラクション情報を検知したセンシングデバイス2に問題がある旨を、認定サーバ1に通知するよう制御する。これにより、認定サーバ1では、指摘されたセンシングデバイス2の認定を却下してもよいし、指摘されたセンシングデバイス2のプロパティ情報を取得して認定基準と照らして認定の確認を行ってもよい。
以上、本実施形態による評価値に基づく通知処理について具体的に説明した。
<3−5.承認処理>
上述した各実施形態では、センシングデバイス2の認定に関して説明を行った。認定サーバ1によりセンシングデバイス2の認定を行うことで、感性値の信頼性を維持することが可能となる。ここで、本実施形態による情報処理システムの動作処理は上述した認定処理に限定されず、認定サーバ1によって認定されたセンシングデバイス2で抽出されたインタラクション情報のうち承認されたものを感性サーバ3に登録することで感性値の信頼性を向上させることも可能である。
例えば、センシングデバイス2は、画像解析により、図1に示すようにユーザが時計をクリーニングするインタラクションの他、ユーザの顔の表情を認識することもできる。しかしながら、ユーザはよっては、自宅での生活において顔の表情による感情のインタラクションを感性サーバ3に登録されたくない場合も想定される。したがって、本実施形態では、承認されたインタラクション情報を感性サーバ3に登録するよう制御することを可能とする。以下、このような承認処理について、図13〜図18を参照して説明する。
(3−5−1.承認設定)
図13は、本実施形態による承認処理を示すフローチャートである。図13に示すように、まず、ステップS323において、感性サーバ3の通知制御部30gは、認定情報DB34に格納されている認定情報を参照し、対象ユーザのインタラクションを検知可能なセンシングデバイス2の存在をユーザに通知する。具体的には、通知制御部30gは、ユーザが装着しているセンシングデバイス2、ユーザの家に設置されているセンシングデバイス2、ユーザが所持する物に搭載されているセンシングデバイス2等であって、認定サーバ1により認定されたセンシングデバイス2の存在をユーザ端末5に通知する。感性サーバ3は、かかる通知を、認定サーバ1により認定が行われて認定情報が送信された際に行ってもよいし、ユーザ端末5からのアクセスに応じて行ってもよい。
次に、ステップS333において、感性サーバ3は、ユーザによるセンシング可否の承認情報を受信する。具体的には、ユーザは、通知されたセンシングデバイス2による自分と他のオブジェクト間とのインタラクションの検知の承認設定を行い、ユーザ端末5は、承認設定の内容を示す承認情報を感性サーバ3に送信する。
次いで、ステップS336において、感性サーバ3の制御部30は、ユーザ端末5から受信した承認情報を、認定情報DB34に格納されている対応するセンシングデバイス2の認定情報に紐付けて格納し、また、承認情報を、対応するセンシングデバイス2に送信する。承認情報には、承認を設定した対象ユーザのオブジェクトIDと、承認されたセンシングデバイス2の個体IDが含まれる。センシングデバイス2は、ユーザによりインタラクション検知が承認された場合に対象ユーザのインタラクションの検知を実行し、承認されなかった場合は対象ユーザのインタラクションの検知を行わないようにする。また、感性サーバ3は、インタラクション記憶制御部30aにより、受信したインタラクション情報を感性情報DB33に格納(登録)する際、認定情報DB34に格納された認定情報および承認情報を参照し、登録が認定サーバ1により認定され、かつ対象ユーザに承認されている場合に感性情報DB33に登録するよう制御する。
以上、ユーザによるセンシング可否の承認処理について具体的に説明した。これにより、認定されたセンシングデバイス2のうち、ユーザによる承認が行われたセンシングデバイス2でインタラクションが検知され、検知されたインタラクション情報が感性サーバ3に格納され得る。したがって、例えば会話等のインタラクションは検知されてもよいが、顔の表情等のインタラクションは検知されたくない場合、音声を収音するセンシングデバイス2を承認し、撮像画像を取得するセンシングデバイス2は承認しないようにすることで、ユーザが希望しないインタラクションの登録を回避することができる。
また、承認情報を管理するのは、上述したように感性サーバ3で行ってもよいし、認定サーバ1で行ってもよいし、また、別途承認情報を管理するためのサーバを設けてもよい。
(3−5−2.場所毎の承認設定)
上述した承認処理では、対象ユーザの周囲に存在してユーザのインタラクションを検知するセンシングデバイス2の承認について説明したが、本実施形態はこれに限定されず、例えばユーザが普段訪れない公共の場所に設置されているセンシングデバイス2に対して一時的にインタラクション検知を承認することも可能である。これにより、例えば営業先の会議室、レストラン、イベント会場等において、その場所に入ってきたユーザに対して、その場所におけるインタラクション登録の可否を通知し、適宜承認設定を行える。以下、図14を参照して具体的に説明する。
図14は、本実施形態による場所毎の承認設定処理を示すフローチャートである。図14に示すように、まず、ステップS343において、感性サーバ3は、所定範囲内に新たなユーザの存在が有るか否かを判断する。所定範囲内とは、上述したように、例えば営業先の会議室、レストラン、イベント会場等の公共の場所である。かかる場所には、所定範囲内に存在するオブジェクトのインタラクションを検知する、認定サーバ1によって認定されたセンシングデバイス2が設置され、ユーザの承認があればインタラクション情報が感性サーバ3に登録され得る。新たなユーザの存在は、例えば入口に設けられた人感センサ(センシングデバイス2であってもよい)により人の出入りが検知され、当該検知結果に基づいて判断することも可能である。または、ユーザ端末5の位置情報と、公共の場所に設置されているセンシングデバイス2の設置場所情報とに基づいて判断されてもよい。センシングデバイス2の設置場所情報は、認定情報DB34に格納される認定情報に含まれる。また、公共の場所に設置されているセンシングデバイス2が、ユーザ端末5からユーザ識別情報(例えばオブジェクトID)を取得して新たなユーザの存在を把握してもよいし、ユーザの顔を撮像して顔画像の認識により新たなユーザの存在を把握してもよい。
次に、ステップS346において、感性サーバ3の通知制御部30gは、所定範囲内のインタラクションを検知する、認定されたセンシングデバイス2の存在をユーザに通知する。具体的には、通知制御部30gは、センシングデバイス2の存在を、所定範囲内に入ってきたユーザのユーザ端末5に対して通知する。
次いで、ステップS349において、感性サーバ3は、ユーザによるセンシング可否の承認情報を受信する。具体的には、ユーザが所定範囲内において自身と他のオブジェクト間のインタラクションが検知されてもよいか否かの承認設定を、ユーザ端末5を用いて行い、ユーザ端末5は入力された承認情報を感性サーバ3に送信する。
そして、ステップS352において、感性サーバ3の制御部30は、ユーザ端末5から受信した承認情報を、認定情報DB34に格納されている対応するセンシングデバイス2の認定情報に紐付けて格納し、また、承認情報を、対応するセンシングデバイス2に送信する。センシングデバイス2は、ユーザにより承認された場合は対象ユーザのインタラクションの検知を実行し、承認されなかった場合は対象ユーザのインタラクションの検知を行わない。また、感性サーバ3は、インタラクション記憶制御部30aにより、受信したインタラクション情報を感性情報DB33に格納(登録)する際、認定情報DB34に格納された認定情報および承認情報を参照し、登録が認定サーバ1により認定され、かつ対象ユーザに承認されている場合に登録するよう制御する。
これにより、公共の場所等の所定範囲内のインタラクションを検知可能な認定されたセンシングデバイス2によるインタラクションの検知を、ユーザがその場で承認することが可能となる。
(3−5−3.周辺センシングデバイスの自動承認設定)
上述した場所毎の承認設定処理では、センシングデバイス2の承認設定をユーザが行っているが、周辺に多数のセンシングデバイス2が存在する場合、ユーザが個々に承認設定を行うのは手間がかかり、ユーザにとって負担となる。そこで、ユーザの位置情報に基づいて、ユーザの周辺に存在するセンシングデバイス2に対しては自動的に承認を行うようにしてもよい。以下、このような自動承認設定について図15を参照して説明する。
図15は、本実施形態による周辺センシングデバイスの自動承認設定処理を示すフローチャートである。図15に示すように、まず、ステップS363において、感性サーバ3の承認設定部30hは、ユーザの周辺に存在するセンシングデバイス2は、対象ユーザのインタラクションを検知しても良い旨の承認設定を行う。当該承認設定は、対象ユーザからの指示に従って行ってもよい。また、設定された承認情報には、対象ユーザのオブジェクトIDと、ユーザが装着しているセンシングデバイス2の個体IDが含まれる。
次に、ステップS366において、感性サーバ3は、ユーザの現在位置情報を取得する。具体的には、感性サーバ3は、ユーザ端末5に設けられたGPS等の位置計測部により計測されたユーザ端末5の現在位置情報をユーザ端末5から取得する。
次いで、ステップS369において、感性サーバ3の承認設定部30hは、現在位置情報に基づいて、ユーザ周辺に存在する1以上のセンシングデバイス2を検索する。具体的には、承認設定部30hは、認定情報DB34に格納された認定情報に含まれるセンシングデバイス2の設置位置情報を参照して、ユーザの周辺に存在する認定済みのセンシングデバイス2を検索する。
そして、ステップS372において、承認設定部30hは、検索した1以上のセンシングデバイス2に対し、対象ユーザのインタラクションの検知を承認する。具体的には、承認設定部30hは、検索した1以上のセンシングデバイス2に対象ユーザのインタラクション検知を承認する旨を示す承認情報を生成し、認定情報DB34に格納する。また、生成された承認情報は、通知制御部30gにより対応するセンシングデバイス2に通知されてもよい。
以上、本実施形態による周辺センシングデバイス2の自動承認設定処理について説明した。このように、予めユーザの周辺に存在するセンシングデバイス2に対して承認を行う旨の設定を行っておくことで、ユーザの現在位置に応じて自動的に1以上のセンシングデバイス2に対して承認設定を行うことができ、ユーザの手間を省くことができる。
(3−5−4.承認設定に応じたセンシングデバイス2の動作処理)
続いて、上述した承認設定が行われた場合における各センシングデバイス2におけるインタラクション検知の処理について図16を参照して説明する。図16は、本実施形態による承認設定に応じたセンシングデバイス2の動作処理を示すフローチャートである。
図16に示すように、まず、ステップS383において、センシングデバイス2は、センサ21により検知した対象物(物または人)のオブジェクトIDを取得する。具体的には、例えばセンシングデバイス2は、対象物を撮像した撮像画像の解析や音声解析に基づいて感性サーバ3に問い合わせを行い、オブジェクトDB32で管理されている対応するオブジェクトIDを取得してもよい。また、センシングデバイス2は、対象物から(例えば対象ユーザが所持するユーザ端末5から)オブジェクトIDを取得してもよい。
次に、ステップS386において、センシングデバイス2は、取得したオブジェクトIDで示される対象物のセンシングの承認設定を感性サーバ3に確認する。具体的には、例えばセンシングデバイス2は、オブジェクトIDおよび自身の個体IDを指定して感性サーバ3に対して問い合わせを行い、認定情報DB34に格納された対応する承認情報を取得する。センシングデバイス2は、承認情報を参照して、対象物のインタラクションの検知が承認されているか否かを確認する。
次いで、インタラクション検知が承認されている場合(S389において「Yes」)、ステップS392において、センシングデバイス2は、対象物のインタラクションを検知し、感性サーバ3に送信する。
一方、インタラクション検知が承認されていない場合(S389において「No」)、ステップS395において、センシングデバイス2は、対象物のインタラクション検知は行わない。
以上、本実施形態による承認設定に応じたセンシングデバイス2の動作処理について具体的に説明した。
(3−5−5.補足)
図15を参照して上述したユーザ周辺のセンシングデバイス2に対する自動承認設定では、ユーザの位置情報に基づいて、周辺に存在する1以上のセンシングデバイス2に対して自動的に承認設定を行い、インタラクション情報の登録を行っていた。しかし、本実施形態はこれに限定されず、周辺のセンシングデバイス2に対して承認を行った上で、一定条件を満たした場合に周辺のセンシングデバイス2からのインタラクション情報を登録(感性情報DB33に格納)するよう制御するようにしてもよい。
図17は、本実施形態による一定条件を満たした際の周辺センシングデバイスからのインタラクション情報の登録について説明する図である。図17に示すように、例えばユーザが身に付けている音声認識可能なセンシングデバイス2Fは、現在位置情報を感性サーバ3に送信する。感性サーバ3の承認設定部30hは、ユーザの現在位置情報に基づいてユーザの周辺に存在する他のセンシングデバイス2G、2H、2Iを検索し、検索したセンシングデバイス2に対してユーザのインタラクション検知の承認を行う。
次いで、感性サーバ3は、センシングデバイス2Fによりユーザの会話インタラクションが検知され、ユーザが他者との会話を所定時間続けている際、周辺のセンシングデバイス2G〜2Iから送信されるインタラクション情報の登録を行う。一方、センシングデバイス2Fによりユーザの会話インタラクションが検知されていない場合、感性サーバ3は、周辺のセンシングデバイス2G〜2Iから送信されるインタラクション情報を破棄して登録は行わない。このように、本実施形態では、周辺のセンシングデバイス2G〜2Iによるインタラクション情報の検知を承認した上で、例えばユーザが身に付けるセンシングデバイス2によりインタラクションが検知されているかという一定条件に応じて、周辺のセンシングデバイス2からのインタラクション情報の登録承認を行う。以下、このような登録承認処理について図18を参照して具体的に説明する。
図18は、本実施形態による登録承認処理を示すフローチャートである。図18に示すように、まず、ステップS403において、感性サーバ3の承認設定部30hは、ユーザ(人および物を含む対象物の一例)が装着しているセンシングデバイスがインタラクションを検知している際に、周辺のセンシングデバイスにより検知された同ユーザのインタラクション情報の登録を承認する設定を予め行う。当該承認設定は、例えばユーザからの指示に従って行ってもよい。また、設定された承認情報には、対象ユーザのオブジェクトIDと、ユーザが装着しているセンシングデバイスの個体IDが含まれる。
次に、ステップS406において、感性サーバ3は、ユーザの現在位置情報を取得する。
次いで、ステップS409において、感性サーバ3の承認設定部30hは、現在位置情報に基づいて、ユーザ周辺に存在する1以上のセンシングデバイス2を検索する。具体的には、承認設定部30hは、認定情報DB34に格納された認定情報に含まれるセンシングデバイス2の設置位置情報を参照して、ユーザの周辺に存在する認定済みのセンシングデバイス2G〜2Iを検索する。
次に、ステップS412において、承認設定部30hは、検索したセンシングデバイス2G〜2Iに対して、対象ユーザのインタラクション検知を承認する。
続いて、ステップS415において、感性サーバ3は、ユーザ周辺に存在する、承認されたセンシングデバイス2G〜2Iにより検知されたユーザのインタラクション情報を受信する。
次いで、ステップS418において、感性サーバ3のインタラクション記憶制御部30aは、ユーザが装着しているセンシングデバイス2Fがインタラクションを検知して感性サーバ3にインタラクション情報を送信しているか否かを判断する。ここでは、例えばユーザと他ユーザとの会話インタラクションが一定時間検知され、インタラクション情報として送信されてきているか否かを判断する。
そして、ユーザが装着しているセンシングデバイス2Fがインタラクション情報を送信してきている場合(S418において「Yes」)、ステップS421において、感性サーバ3のインタラクション記憶制御部30aは、周辺センシングデバイス2G〜2Iから受信したインタラクション情報を感性情報DB33に登録するよう制御する。
一方、ユーザが装着しているセンシングデバイス2Fがインタラクション情報を送信してきていない場合(S418において「No」)、ステップS424において、感性サーバ3のインタラクション記憶制御部30aは、周辺センシングデバイス2G〜2Iから受信したインタラクション情報を破棄し、登録は行わない。
以上、本実施形態による承認処理の補足として、対象物周辺のセンシングデバイス2からのインタラクション情報の登録承認処理について説明した。
<3−6.アクセス許可処理>
上述した認定処理および承認処理では、感性サーバ3にインタラクション情報を登録する段階に関する処理であって、これにより感性サーバ3で構築されるデータベースの信頼性の維持を実現している。
ここで、感性サーバ3に登録されたインタラクション情報は、上述したように評価部30bによりインタラクション評価値が付与され、感性値算出部30eにより評価値に基づいて感性値が算出される。具体的には、感性サーバ3は、外部装置から指定されたオブジェクトIDの感性値を算出し、外部装置に出力する。また、感性サーバ3は、外部装置から指定されたオブジェクトIDのインタラクション情報や評価値を外部装置に出力し、外部装置において感性値の算出が行われる場合もある。
外部装置は、取得した感性値を様々な情報処理システムに利用し得る。例えば、移動する対象ユーザに対して移動体を追従させ、対象ユーザの感情に応じて、移動体により周辺環境を局所的に変化させる環境調整システムに利用することも可能である。環境調整システムについて、図19を参照して具体的に説明する。
図19は、本実施形態による感性値が利用される環境調整システムについて説明する図である。図19に示すように、移動体6は、対象のユーザObj.X(オブジェクトの一例)に追従して移動する小型の無人飛行体であって、対象ユーザの感情に応じて周辺環境を局所的に変化させることが可能である。具体的には、移動体6は、対象ユーザが雨に対して不快な感情を有している際には対象ユーザが雨に濡れないよう対象ユーザの上方で飛行しながら雨避けとして機能し、対象ユーザが直射日光に当たることや日焼けに対して不快な感情を有している際には同様に日除けとして機能する。
また、移動体6は、搭載されたカメラにより撮像した対象ユーザの撮像画像を解析し、対象ユーザObj.Xおよび対象ユーザObj.Xが身に付けている時計Obj.Y(オブジェクトの一例)を認識し、ユーザObj.Xの時計Obj.Yに対する相対的な感性値を感性サーバ3に問い合わせる。感性サーバ3の感性値算出部30eは、ユーザObj.Xと時計Obj.Yの間に発生した過去のインタラクションの評価値に基づいて、ユーザObj.Xと時計Obj.Yに対する相対的な感性値を算出する。感性サーバ3では、例えば対象ユーザObj.Xが所持している時計Obj.Yに対して行った「頻繁な手入れ」および「専用ケースへの保管」といった各インタラクションの評価値に基づいて、対象ユーザが時計を大事にしているという気持ちが感性値として算出される。
そして、感性サーバ3からユーザObj.Xの時計Obj.Yに対する相対的な感性値を取得すると、移動体6は、対象ユーザの時計に対する感性値(大事に思っている度合い)に応じて、移動体6による雨避け/日除けのカバー範囲を拡大したり、対象ユーザよりも時計を優先してカバーしたりといった制御を行う。なお図19に示す例では移動体6が感性サーバ3に対して感性値の取得要求を直接行っているが、環境調整システムはこれに限定されず、移動体6を制御する環境制御サーバ(不図示)から感性サーバ3に対して感性値の取得要求を行ってもよい。この場合、環境制御サーバにおいて、撮像画像の解析に基づくオブジェクトの認識や、移動体6の飛行制御、移動体6による環境調整制御等が行われる。
このように、感性サーバ3は、移動体6または移動体6の制御を行う環境制御サーバといった外部装置からのアクセスに応じて、指定されたオブジェクトの感性値(またはインタラクション評価値)を出力する。しかしながら、図19に示すように、感性サーバ3への不正なアクセスにより対象ユーザの感性値(またはインタラクション評価値)が不正な第三者に取得されてしまうことは防止しなければならない。
そこで、本実施形態では、所定の権限を有する外部装置からのアクセスである場合に限って感性サーバ3が対象ユーザの感性値(またはインタラクション評価値)を出力するよう制御することで、感性サーバ3の信頼性をより向上させることを可能とする。以下、図20を参照して、本実施形態による動作処理について説明する。
(3−6−1.アクセス許可処理)
図20は、本実施形態によるアクセス許可処理を示すシーケンス図である。ここでは、ユーザが移動体6を呼び出して雨避けとして利用する場合を想定する。
図20に示すように、まず、ステップS503において、ユーザは、ユーザ端末5を用いて、感性値の取得を許可する移動体6のオブジェクトIDを取得する。
次に、ステップS506において、ユーザ端末5は、移動体6のオブジェクトIDを指定し、ユーザの感性値へのアクセス許可設定を感性サーバ3に依頼する。
次いで、ステップS509において、感性サーバ3のアクセス許可設定部30iは、ユーザ端末5からの依頼に応じて許可設定を行う。具体的には、アクセス許可設定部30iは、指定されたオブジェクトIDからユーザのインタラクション情報、評価値、感性値といった情報へのアクセスを許可する旨の許可情報を生成し、許可情報DB35に格納する。このように、本実施形態では、ユーザにより予め移動体6に対してアクセス許可の設定が行われる。
次に、ステップS512において、ユーザは、ユーザ端末5を用いて移動体6の呼び出しを行う。
次いで、ステップS515において、ユーザからの呼び出しを受けた移動体6は、呼び出し主である対象ユーザのオブジェクトIDを取得する。対象ユーザのオブジェクトIDは、移動体6の呼び出し(S512)の際に、ユーザ端末5から送信されてもよい。
次に、ステップS518において、移動体6は、対象ユーザのオブジェクトIDを指定し、対象ユーザの感性値を要求する。また、移動体6は、対象ユーザが身に付けている所持品を認識できている場合、所持品のオブジェクトIDに対する対象ユーザの相対的な感性値を併せて要求してもよい。
続いて、ステップS521において、感性サーバ3の制御部30は、移動体6による対象ユーザの感性値へのアクセスが許可されているか否かを、許可情報DB35を参照して確認する。具体的には、制御部30は、移動体6のオブジェクトIDに基づいて、対象ユーザへのアクセスが許可されているか否かを、許可情報を参照して判断する。
次いで、アクセスが許可されていない場合(S521において「No」)、ステップS524において、感性サーバ3は、対象ユーザの感性値を取得できない旨を移動体6に通知する。
一方、アクセスが許可されている場合(S521において「Yes」)、ステップS527において、感性サーバ3は対象ユーザの感性値を移動体6に送信する。
以上説明したように、予めユーザの感性値へのアクセス許可を移動体6(外部装置の一例)に与えるよう感性サーバ3において設定しておくことで、不正な第三者からのアクセスにより感性値が取得されてしまうことを防止することができる。
(3−6−2.変形例)
上述したアクセス許可処理では、ユーザにより自身の感性値を特定の外部装置が取得することを許可しているが、取得を許可する感性値を限定してもよい。例えば、感性値が環境調整システムで利用される場合、移動体6は、対象ユーザの周辺に存在するオブジェクト(身に付けている所持品や、一緒に居る人物等)に対する対象ユーザの相対的な感性値が取得できれば、雨避け/日除けのカバー範囲の制御を実現することができる。そこで、本実施形態による他のアクセス許可処理として、ユーザの周辺に存在するオブジェクトに対するユーザの相対的な感性値へのアクセスに限定して許可することで、不要な感性値の出力を回避することを可能とする。以下、このようなアクセス許可処理について図21を参照して説明する。
図21は、本実施形態による他のアクセス許可処理を示すシーケンス図である。なお図21に示す各ステップのうち、図20を参照して説明したアクセス許可処理と同様のステップについては同じ符号を用いている。
図21に示すように、まず、ステップS503において、ユーザは、ユーザ端末5を用いて、感性値の取得を許可する移動体6のオブジェクトIDを取得する。
次に、ステップS507において、ユーザ端末5は、移動体6のオブジェクトIDを指定し、移動体6によるユーザの特定の感性値へのアクセス許可設定を感性サーバ3に依頼する。具体的には、ユーザ端末5は、ユーザの周辺に存在するオブジェクト(身に付けている所持品や、一緒に居る人物等)に対するユーザの相対的な感性値のみへのアクセス許可設定を依頼する。
次いで、ステップS509において、感性サーバ3のアクセス許可設定部30iは、ユーザ端末5からの依頼に応じて許可設定を行う。
次に、ステップS512において、ユーザは、ユーザ端末5を用いて移動体6の呼び出しを行う。
次いで、ステップS515において、ユーザからの呼び出しを受けた移動体6は、呼び出し主である対象ユーザのオブジェクトIDを取得する。
次に、ステップS516において、移動体6は、対象ユーザの周辺に存在するオブジェクト、例えば図19に示すようにユーザObj.Xが身に付けている時計Obj.YのオブジェクトIDを取得する。
次いで、ステップS519において、移動体6は、対象ユーザObj.XのオブジェクトIDを指定し、時計Obj.Y(時計Obj.YのオブジェクトIDにより特定。以下、オブジェクトYとも称す)に対するユーザの相対的な感性値を要求する。
続いて、ステップS521において、感性サーバ3の制御部30は、移動体6による対象ユーザの感性値へのアクセスが許可されているか否かを、許可情報DB35を参照して確認する。
次いで、アクセスが許可されていない場合(S521において「No」)、ステップS524において、感性サーバ3は、対象ユーザの感性値を取得できない旨を移動体6に通知する。
一方、アクセスが許可されている場合(S521において「Yes」)、ステップS525において、感性サーバ3の制御部30は、移動体6による対象ユーザの特定の感性値、すなわち対象ユーザの周辺に存在するオブジェクトに対する相対的な感性値へのアクセスが許可されているか否かを、許可情報DB35を参照して確認する。
次に、アクセスが許可されていない場合(S525において「No」)、ステップS528において、感性サーバ3は、対象ユーザの感性値を取得できない旨を移動体6に通知する。
一方、アクセスが許可されている場合(S525において「Yes」)、ステップS531において、感性サーバ3の制御部30は、オブジェクトYが対象ユーザの周辺に存在しているか否かを確認する。例えば制御部30は、移動体6から送信された対象ユーザの撮像画像に基づいてオブジェクトYが対象ユーザの周辺に存在しているか否かを確認することが可能である。若しくは、オブジェクトYに搭載された位置計測部により取得された位置情報と、ユーザ端末5から送信された位置情報とを参照して、オブジェクトYが対象ユーザの周辺に存在しているか否かが確認してもよい。
次いで、オブジェクトYが対象ユーザの周辺に存在しない場合(S531において「No」)、ステップS534において、感性サーバ3は、対象ユーザの感性値を取得できない旨を移動体6に通知する。
一方、オブジェクトYが対象ユーザの周辺に存在する場合(S531において「Yes」)、ステップS537において、感性サーバ3は対象ユーザのオブジェクトYに対する相対的な感性値を移動体6に送信する。
<<4.まとめ>>
上述したように、本開示の実施形態による情報処理システムでは、感性サーバ3で構築されるデータベースの信頼性を維持することを可能とする。当該データベースは、感性値を算出するためのインタラクション評価値がインタラクション情報に紐付けて格納されているものであって、当該データベースに登録されるインタラクション情報の信頼性を維持することで、結果的に、評価値および算出される感性値の信頼性、また、システム全体の信頼性を維持することが可能となる。
具体的には、例えば感性サーバ3に登録されるインタラクション情報を検知するセンシングデバイス2に対して認定を行う認定サーバ1をシステムに含むことで、センシングデバイス2の誤作動等による誤ったインタラクション情報の登録を防ぎ、感性値の信頼性を維持することができる。センシングデバイス2の認定は、例えば登録したインタラクション情報をユーザに通知して、ユーザのインタラクションが正しく検知されているか否かを確認させ、センシングデバイス2に対する評価のフィードバックに基づいて行われ得る。また、センシングデバイス2の認定は、設置時や出荷時において、センシングデバイス2(個体)の性能が認定基準を満たすか否かに基づいて行われ得る。
また、認定されたセンシングデバイス2で検知されたインタラクション情報のうち、オブジェクトID毎、インタラクション種類毎、または場所毎に承認されたインタラクション情報を感性サーバ3に登録するよう制御することで、感性サーバ3の信頼性を向上させることができる。
また、感性サーバ3への第三者による不正なアクセスを防止することで、感性サーバ3の信頼性をさらに向上させることが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した認定サーバ1、センシングデバイス2、感性サーバ3、またはユーザ端末5に内蔵されるCPU、ROM、およびRAM等のハードウェアに、認定サーバ1、センシングデバイス2、感性サーバ3、またはユーザ端末5の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、図2に示す例では、認定サーバ1と感性サーバ3を別体として説明したが、本開示による情報処理システムはこれに限定されず、認定サーバ1および感性サーバ3が一の情報処理装置により実現されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
(1)
オブジェクト間のインタラクションを検知するセンシングデバイスから、オブジェクト間のインタラクションに関連する情報を取得する通信部と、
前記オブジェクト間のインタラクションに関連する情報に基づき生成された、それぞれのオブジェクトの感性値を算出する際に用いられる評価値を蓄積していくことによって構築される感性情報データベースと、
前記オブジェクト間のインタラクションを検知するセンシングデバイスを認定し、認定情報をセンシングデバイスに発行する認定部と、
前記センシングデバイスから送信されたインタラクションに関連する情報を、前記センシングデバイスに発行された前記認定情報に基づいて認証する認証部と、
を備える、情報処理システム。
(2)
前記感性情報データベースには、前記認証部により認証されたインタラクションに関連する情報、および当該インタラクションに対応する評価値が蓄積される、前記(1)に記載の情報処理システム。
(3)
前記情報処理システムは、
前記通信部を介して、特定のセンシングデバイスにより検知されたオブジェクト間のインタラクションに関連する情報を、当該インタラクションに関連するユーザに通知するよう制御する通知制御部をさらに備え、
前記認定部は、前記インタラクションに関連する情報に対するユーザフィードバックに応じて、前記特定のセンシングデバイスに対する認定情報を更新する、前記(1)または(2)に記載の情報処理システム。
(4)
前記情報処理システムは、
同じインタラクションを複数のセンシングデバイスによって検知した際の複数のインタラクションに対応する夫々の評価値を比較し、所定の閾値以上逸脱した評価値が付与されたインタラクションを検知したセンシングデバイスを特定して前記認定部に通知するよう制御する通知制御部をさらに備え、
前記認定部は、前記特定されたセンシングデバイスに対する認定情報を更新する、前記(1)または(2)に記載の情報処理システム。
(5)
前記情報処理システムは、
インタラクション検知またはインタラクションに関連する情報の前記感性情報データベースへの蓄積を承認する承認設定部をさらに備える、前記(1)〜(4)のいずれか1項に記載の情報処理システム。
(6)
前記承認設定部は、オブジェクトID毎、またはインタラクション種類毎にインタラクション検知または蓄積の承認を設定する、前記(5)に記載の情報処理システム。
(7)
前記承認設定部は、特定ユーザによる検知可否の応答に基づいて、検知可とされたセンシングデバイスに対して当該特定ユーザのインタラクション検知を承認する設定を行う、前記(5)または(6)に記載の情報処理システム。
(8)
前記承認設定部は、所定範囲内に位置する特定ユーザによる検知可否の応答に基づいて、所定範囲内における特定ユーザのインタラクション検知を承認する設定を行う、前記(5)〜(7)のいずれか1項に記載の情報処理システム。
(9)
前記承認設定部は、特定ユーザの位置情報に基づいて、特定ユーザ周辺に配される1以上のセンシングデバイスに対して当該特定ユーザのインタラクション検知を自動的に承認する設定を行う、前記(5)〜(8)のいずれか1項に記載の情報処理システム。
(10)
前記承認設定部は、特定ユーザが身に付けている特定のセンシングデバイスによりインタラクション検知が行われている際に、特定ユーザ周辺に配される1以上のセンシングデバイスに対して当該特定ユーザのインタラクション検知を自動的に承認する設定を行う、前記(5)〜(9)のいずれか1項に記載の情報処理システム。
(11)
前記情報処理システムは、
特定ユーザ周辺に存在するオブジェクトに対する当該特定ユーザの感性値の取得を許可する許可設定部をさらに備える、前記(1)〜(10)のいずれか1項に記載の情報処理システム。
(12)
センサにより検知されたオブジェクト間のインタラクションに関連する情報を、それぞれのオブジェクトに紐づけて抽出する抽出部と、
前記センサに関する情報と、当該センサによって検知したインタラクションに関連する情報を、前記オブジェクト間のインタラクションに関連する情報に基づき生成された、それぞれのオブジェクトの感性値を算出する際に用いられる評価値を蓄積していくことによって構築される感性情報データベースを有するサーバに送信する通信部と、
前記通信部を介して、前記センサによって検知されたインタラクションに関連する情報に基づき前記サーバが前記センサを有する情報処理装置を認定した結果を示す認定情報を受信し、記憶する認定情報記憶部と、
を備える、情報処理装置。
(13)
前記情報処理装置は、前記サーバから受信した認定情報に応じて、オブジェクト間のインタラクションに関連する情報を前記サーバに送信することが認定された場合、前記センサによりインタラクションの検知を行う、前記(12)に記載の情報処理装置。
(14)
前記通信部は、前記情報処理装置の周辺に配される1以上の情報処理装置に対して特定のオブジェクトのインタラクション検知を承認する承認情報を前記サーバから受信し、
前記情報処理装置は、前記サーバから受信した承認情報に応じて、前記センサにより前記特定のオブジェクトのインタラクションの検知を行う、前記(12)または(13)に記載の情報処理装置。
(15)
オブジェクト間のインタラクションを検知するセンシングデバイスから、オブジェクト間のインタラクションに関連する情報を取得することと、
前記オブジェクト間のインタラクションに関連する情報に基づき生成された、それぞれのオブジェクトの感性値を算出する際に用いられる評価値を蓄積して感性情報データベースを構築することと、
認定部により、前記オブジェクト間のインタラクションを検知するセンシングデバイスを認定し、認定情報をセンシングデバイスに発行することと、
認証部により、前記センシングデバイスから送信されたインタラクションに関連する情報を、前記センシングデバイスに発行された前記認定情報に基づいて認証することと、
を含む、制御方法。
(16)
コンピュータを、
センサにより検知されたオブジェクト間のインタラクションに関連する情報を、それぞれのオブジェクトに紐づけて抽出する抽出部と、
前記センサに関する情報と、当該センサによって検知したインタラクションに関連する情報を、前記オブジェクト間のインタラクションに関連する情報に基づき生成された、それぞれのオブジェクトの感性値を算出する際に用いられる評価値を蓄積していくことによって構築される感性情報データベースを有するサーバに送信する通信部と、
前記通信部を介して、前記センサによって検知されたインタラクションに関連する情報に基づき前記サーバが前記センサを有する情報処理装置を認定した結果を示す認定情報を受信し、記憶する認定情報記憶部と、
として機能させるためのプログラムが記憶された、記憶媒体。
100 情報処理システム
1 認定サーバ
11 通信部
12 認定部
13 認定情報入力部
14 認定情報DB
15 個体情報DB
16 個体認定履歴DB
2 センシングデバイス
21 センサ
22 インタラクション抽出部
23 通信部
24 認定情報記憶部
3 感性サーバ
30 制御部
30a インタラクション記憶制御部
30b 評価部
30c オブジェクト管理部
30d 関連オブジェクト検索部
30e 感性値算出部
30f 認証部
30g 通知制御部
30h 承認設定部
30i アクセス許可設定部
31 通信部
32 オブジェクトDB
33 感性情報DB
34 認定情報DB
35 許可情報DB
4 ネットワーク
5 ユーザ端末
6 移動体

Claims (14)

  1. オブジェクト間のインタラクションを検知するセンシングデバイスから、オブジェクト間のインタラクションに関連する情報を取得する通信部と、
    前記オブジェクト間のインタラクションに関連する情報に基づき生成された、それぞれのオブジェクトの感性値を算出する際に用いられる評価値を蓄積していくことによって構築される感性情報データベースと、
    前記オブジェクト間のインタラクションを検知するセンシングデバイスを認定し、認定情報をセンシングデバイスに発行する認定部と、
    前記センシングデバイスから送信されたインタラクションに関連する情報を、前記センシングデバイスに発行された前記認定情報に基づいて認証する認証部と、
    インタラクション検知またはインタラクションに関連する情報の前記感性情報データベースへの蓄積を承認する承認設定部と
    を備え
    前記承認設定部は、特定ユーザの位置情報に基づいて、特定ユーザ周辺に配される1以上のセンシングデバイスに対して当該特定ユーザのインタラクション検知を自動的に承認する設定を行う
    情報処理システム。
  2. 前記感性情報データベースには、前記認証部により認証されたインタラクションに関連する情報、および当該インタラクションに対応する評価値が蓄積される、請求項1に記載の情報処理システム。
  3. 前記情報処理システムは、
    前記通信部を介して、特定のセンシングデバイスにより検知されたオブジェクト間のインタラクションに関連する情報を、当該インタラクションに関連するユーザに通知するよう制御する通知制御部をさらに備え、
    前記認定部は、前記インタラクションに関連する情報に対するユーザフィードバックに応じて、前記特定のセンシングデバイスに対する認定情報を更新する、請求項1または2に記載の情報処理システム。
  4. 前記情報処理システムは、
    同じインタラクションを複数のセンシングデバイスによって検知した際の複数のインタラクションに対応する夫々の評価値を比較し、所定の閾値以上逸脱した評価値が付与されたインタラクションを検知したセンシングデバイスを特定して前記認定部に通知するよう制御する通知制御部をさらに備え、
    前記認定部は、前記特定されたセンシングデバイスに対する認定情報を更新する、請求項1または2に記載の情報処理システム。
  5. 前記承認設定部は、オブジェクトID毎、またはインタラクション種類毎にインタラクション検知または蓄積の承認を設定する、請求項1〜4のいずれか1項に記載の情報処理システム。
  6. 前記承認設定部は、特定ユーザによる検知可否の応答に基づいて、検知可とされたセンシングデバイスに対して当該特定ユーザのインタラクション検知を承認する設定を行う、請求項1〜5のいずれか1項に記載の情報処理システム。
  7. 前記承認設定部は、所定範囲内に位置する特定ユーザによる検知可否の応答に基づいて、所定範囲内における特定ユーザのインタラクション検知を承認する設定を行う、請求項のいずれか1項に記載の情報処理システム。
  8. 前記承認設定部は、特定ユーザが身に付けている特定のセンシングデバイスによりインタラクション検知が行われている際に、特定ユーザ周辺に配される1以上のセンシングデバイスに対して当該特定ユーザのインタラクション検知を自動的に承認する設定を行う、請求項のいずれか1項に記載の情報処理システム。
  9. 前記情報処理システムは、
    特定ユーザ周辺に存在するオブジェクトに対する当該特定ユーザの感性値の取得を許可する許可設定部をさらに備える、請求項1〜のいずれか1項に記載の情報処理システム。
  10. センサにより検知されたオブジェクト間のインタラクションに関連する情報を、それぞれのオブジェクトに紐づけて抽出する抽出部と、
    前記センサに関する情報と、当該センサによって検知したインタラクションに関連する情報を、前記オブジェクト間のインタラクションに関連する情報に基づき生成された、それぞれのオブジェクトの感性値を算出する際に用いられる評価値を蓄積していくことによって構築される感性情報データベースを有するサーバに送信する通信部と、
    前記通信部を介して、前記センサによって検知されたインタラクションに関連する情報に基づき前記サーバが前記センサを有する情報処理装置を認定した結果を示す認定情報を受信し、記憶する認定情報記憶部と、
    を備え
    前記通信部は、特定ユーザの位置情報に基づいて、特定ユーザ周辺に配される1以上の前記情報処理装置に対して当該特定ユーザのインタラクション検知を自動的に承認する認証情報を前記サーバから受信し、
    前記抽出部は、前記サーバから受信した承認情報に応じて、前記センサにより特定のオブジェクトのインタラクション検知を行う、
    情報処理装置。
  11. 前記情報処理装置は、前記サーバから受信した認定情報に応じて、オブジェクト間のインタラクションに関連する情報を前記サーバに送信することが認定された場合、前記センサによりインタラクション検知を行う、請求項10に記載の情報処理装置。
  12. オブジェクト間のインタラクションを検知するセンシングデバイスから、オブジェクト間のインタラクションに関連する情報を取得することと、
    前記オブジェクト間のインタラクションに関連する情報に基づき生成された、それぞれのオブジェクトの感性値を算出する際に用いられる評価値を蓄積して感性情報データベースを構築することと、
    認定部により、前記オブジェクト間のインタラクションを検知するセンシングデバイスを認定し、認定情報をセンシングデバイスに発行することと、
    認証部により、前記センシングデバイスから送信されたインタラクションに関連する情報を、前記センシングデバイスに発行された前記認定情報に基づいて認証することと、
    承認設定部により、インタラクション検知またはインタラクションに関連する情報の前記感性情報データベースへの蓄積を承認することと、
    前記承認設定部により、特定ユーザの位置情報に基づいて、特定ユーザ周辺に配される1以上のセンシングデバイスに対して当該特定ユーザのインタラクション検知を自動的に承認する設定を行うことと、
    を含む、制御方法。
  13. コンピュータを、
    センサにより検知されたオブジェクト間のインタラクションに関連する情報を、それぞれのオブジェクトに紐づけて抽出する抽出部と、
    前記センサに関する情報と、当該センサによって検知したインタラクションに関連する情報を、前記オブジェクト間のインタラクションに関連する情報に基づき生成された、それぞれのオブジェクトの感性値を算出する際に用いられる評価値を蓄積していくことによって構築される感性情報データベースを有するサーバに送信する通信部と、
    前記通信部を介して、前記センサによって検知されたインタラクションに関連する情報に基づき前記サーバが前記センサを有する情報処理装置を認定した結果を示す認定情報を受信し、記憶する認定情報記憶部と、
    を備える情報処理装置として機能させ
    前記通信部によって、特定ユーザの位置情報に基づいて、特定ユーザ周辺に配される1以上の前記情報処理装置に対して当該特定ユーザのインタラクション検知を自動的に承認する認証情報を前記サーバから受信させ、
    前記抽出部によって、前記サーバから受信した承認情報に応じて、前記センサにより特定のオブジェクトのインタラクション検知を行わせる
    ためのプログラムが記憶された、記憶媒体。
  14. コンピュータを、
    センサにより検知されたオブジェクト間のインタラクションに関連する情報を、それぞれのオブジェクトに紐づけて抽出する抽出部と、
    前記センサに関する情報と、当該センサによって検知したインタラクションに関連する情報を、前記オブジェクト間のインタラクションに関連する情報に基づき生成された、それぞれのオブジェクトの感性値を算出する際に用いられる評価値を蓄積していくことによって構築される感性情報データベースを有するサーバに送信する通信部と、
    前記通信部を介して、前記センサによって検知されたインタラクションに関連する情報に基づき前記サーバが前記センサを有する情報処理装置を認定した結果を示す認定情報を受信し、記憶する認定情報記憶部と、
    を備える情報処理装置として機能させ
    前記通信部によって、特定ユーザの位置情報に基づいて、特定ユーザ周辺に配される1以上の前記情報処理装置に対して当該特定ユーザのインタラクション検知を自動的に承認する認証情報を前記サーバから受信させ、
    前記抽出部によって、前記サーバから受信した承認情報に応じて、前記センサにより特定のオブジェクトのインタラクション検知を行わせる
    ための、プログラム。
JP2016574625A 2015-02-13 2015-11-17 情報処理システム、情報処理装置、制御方法、記憶媒体、およびプログラム Active JP6690556B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020070212A JP6911968B2 (ja) 2015-02-13 2020-04-09 情報処理システム、情報処理装置、制御方法、記憶媒体、およびプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015026239 2015-02-13
JP2015026239 2015-02-13
PCT/JP2015/082269 WO2016129159A1 (ja) 2015-02-13 2015-11-17 情報処理システム、情報処理装置、制御方法、および記憶媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020070212A Division JP6911968B2 (ja) 2015-02-13 2020-04-09 情報処理システム、情報処理装置、制御方法、記憶媒体、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2016129159A1 JPWO2016129159A1 (ja) 2017-11-24
JP6690556B2 true JP6690556B2 (ja) 2020-04-28

Family

ID=56615199

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2016574625A Active JP6690556B2 (ja) 2015-02-13 2015-11-17 情報処理システム、情報処理装置、制御方法、記憶媒体、およびプログラム
JP2020070212A Active JP6911968B2 (ja) 2015-02-13 2020-04-09 情報処理システム、情報処理装置、制御方法、記憶媒体、およびプログラム
JP2021111206A Active JP7120401B2 (ja) 2015-02-13 2021-07-05 情報処理装置、制御方法、およびプログラム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2020070212A Active JP6911968B2 (ja) 2015-02-13 2020-04-09 情報処理システム、情報処理装置、制御方法、記憶媒体、およびプログラム
JP2021111206A Active JP7120401B2 (ja) 2015-02-13 2021-07-05 情報処理装置、制御方法、およびプログラム

Country Status (4)

Country Link
US (2) US10733282B2 (ja)
JP (3) JP6690556B2 (ja)
CN (2) CN113139104B (ja)
WO (1) WO2016129159A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113778114A (zh) * 2014-11-07 2021-12-10 索尼公司 控制系统、控制方法以及存储介质
JP2019096147A (ja) * 2017-11-24 2019-06-20 シャープ株式会社 電子機器、制御装置、イベント情報提示システム、サーバ、及びイベント情報提示方法
JP7056749B2 (ja) * 2018-09-26 2022-04-19 日本電気株式会社 顧客情報登録装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020056043A1 (en) * 1999-01-18 2002-05-09 Sensar, Inc. Method and apparatus for securely transmitting and authenticating biometric data over a network
JP2004048479A (ja) * 2002-07-12 2004-02-12 Kddi Corp 共有化された暗号化情報の暗号鍵管理方法
EP2955662B1 (en) * 2003-07-18 2018-04-04 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method
US7249263B2 (en) * 2003-07-25 2007-07-24 International Business Machines Corporation Method and system for user authentication and identification using behavioral and emotional association consistency
DE102004024002B4 (de) * 2004-05-14 2008-05-21 Aim Infrarot-Module Gmbh Verfahren zur Authentifizierung von Sensordaten und zugehörigem Sensor
JP2005339368A (ja) 2004-05-28 2005-12-08 Ntt Docomo Inc 感情把握システムおよび感情把握方法
JP2005339395A (ja) * 2004-05-28 2005-12-08 Ntt Docomo Inc センサ情報制御システム、制御端末及びセンサ情報制御方法
JP2005260944A (ja) 2005-03-07 2005-09-22 Toshiba Corp 無線通信機能付きヘッドセット
JP2008015585A (ja) * 2006-07-03 2008-01-24 National Institute Of Information & Communication Technology 生活タスク支援システム
JP2010027035A (ja) * 2008-06-16 2010-02-04 Canon Inc 個人認証装置及び個人認証方法
US8769612B2 (en) 2008-08-14 2014-07-01 Microsoft Corporation Portable device association
JP2011018956A (ja) * 2009-07-07 2011-01-27 Fujitsu Ltd センシングデータ管理装置、センシングデータ管理プログラム及びセンシングデータ管理システム
JP5674499B2 (ja) * 2011-02-07 2015-02-25 株式会社日立製作所 センシング装置
KR20140004740A (ko) * 2011-02-27 2014-01-13 어펙티바,아이엔씨. 감정 기반 영상 추천
US20120311032A1 (en) * 2011-06-02 2012-12-06 Microsoft Corporation Emotion-based user identification for online experiences
EP2800351A4 (en) * 2011-11-24 2016-06-01 Ntt Docomo Inc EXPRESSION OUTPUT DEVICE AND EXPRESSION PUBLISHING METHOD
US9075975B2 (en) * 2012-02-21 2015-07-07 Andrew Bud Online pseudonym verification and identity validation
US20130246800A1 (en) * 2012-03-19 2013-09-19 Microchip Technology Incorporated Enhancing Security of Sensor Data for a System Via an Embedded Controller
CN102970606B (zh) * 2012-12-04 2017-11-17 深圳Tcl新技术有限公司 基于身份识别的电视节目推荐方法和装置
JP6132335B2 (ja) * 2013-03-15 2017-05-24 Necソリューションイノベータ株式会社 感情推定装置及び感情推定方法
KR102057947B1 (ko) * 2013-04-01 2019-12-20 삼성전자주식회사 사용자 인증을 수행하는 디스플레이 장치 및 그 사용자 인증 방법
US9251405B2 (en) * 2013-06-20 2016-02-02 Elwha Llc Systems and methods for enhancement of facial expressions
JP6217751B2 (ja) * 2013-07-04 2017-10-25 富士通株式会社 データネットワーク管理システム、データネットワーク管理装置、データ処理装置、およびデータネットワーク管理方法
US9323984B2 (en) * 2014-06-06 2016-04-26 Wipro Limited System and methods of adaptive sampling for emotional state determination

Also Published As

Publication number Publication date
US10733282B2 (en) 2020-08-04
CN113139104A (zh) 2021-07-20
JPWO2016129159A1 (ja) 2017-11-24
JP6911968B2 (ja) 2021-07-28
US20200302045A1 (en) 2020-09-24
US11615177B2 (en) 2023-03-28
CN113139104B (zh) 2023-12-15
CN107209562A (zh) 2017-09-26
JP7120401B2 (ja) 2022-08-17
CN107209562B (zh) 2021-04-30
JP2020115384A (ja) 2020-07-30
US20180025144A1 (en) 2018-01-25
WO2016129159A1 (ja) 2016-08-18
JP2021152982A (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
JP7120401B2 (ja) 情報処理装置、制御方法、およびプログラム
US10628571B2 (en) Systems and methods for high fidelity multi-modal out-of-band biometric authentication with human cross-checking
US10915613B2 (en) Intelligent dynamic authentication system
JP6624368B2 (ja) 接客モニタリングシステム及び接客モニタリング方法
CN106030598A (zh) 用于移动装置的信任代理认证方法
CN106030599A (zh) 移动装置的连续认证
WO2016140930A1 (en) Personal assistant authentication
US10037419B2 (en) System, method, and apparatus for personal identification
US10216914B2 (en) System, method, and apparatus for personal identification
Srinivasan et al. IoT-Enabled Facial Recognition for Smart Hospitality for Contactless Guest Services and Identity Verification
US10952015B2 (en) Interlinked geo-fencing
JP5826422B2 (ja) 防犯システム
US20200334345A1 (en) Signals-Based Authentication
EP2995040A2 (en) Systems and methods for high fidelity multi-modal out-of-band biometric authentication
CN105869255A (zh) 一种基于移动终端的智能门禁控制方法及系统
CN105872104A (zh) 一种结合移动终端管理智能门禁的方法及系统
US20190158496A1 (en) System, Method, and Apparatus for Personal Identification
JP4533679B2 (ja) 個人認証方法及び該システム
US20230056993A1 (en) Authentication terminal, entrance/exit management system, entrance/exit management method, and program
US12106619B2 (en) Server device, entry/exit management method and program recording medium
WO2024003985A1 (ja) サーバ装置、システム、サーバ装置の制御方法及び記憶媒体
US20230012098A1 (en) Building system for private user communication
US20230368639A1 (en) Server device, visitor notification system, visitor notification method, and storage medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181003

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181003

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200323

R151 Written notification of patent or utility model registration

Ref document number: 6690556

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151