JP7103337B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP7103337B2
JP7103337B2 JP2019501059A JP2019501059A JP7103337B2 JP 7103337 B2 JP7103337 B2 JP 7103337B2 JP 2019501059 A JP2019501059 A JP 2019501059A JP 2019501059 A JP2019501059 A JP 2019501059A JP 7103337 B2 JP7103337 B2 JP 7103337B2
Authority
JP
Japan
Prior art keywords
information processing
user
learning
data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019501059A
Other languages
English (en)
Other versions
JPWO2018154900A1 (ja
Inventor
正範 勝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018154900A1 publication Critical patent/JPWO2018154900A1/ja
Application granted granted Critical
Publication of JP7103337B2 publication Critical patent/JP7103337B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/021Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/445Program loading or initiating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00Subject matter not provided for in other groups of this subclass
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Telephone Function (AREA)
  • Stored Programmes (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、収集されるセンサ情報に基づいて認識や判別を行う技術や、センサ情報に基づいて装置などの動作を制御する技術が普及している。例えば、特許文献1には、収集されるセンサ情報および速度情報に基づいてユーザの行動を認識する技術が開示されている。また、センサ情報を用いた動作制御の一例としては、例えば、ジオフェンス技術が挙げられる。
国際公開第2015/178065号
しかし、一般のジオフェンス技術に用いられるセンサ情報は、GNSS(Global Navigation Satellite System)などによる測位情報に限定される場合が多い。このため、ジオフェンス技術を利用した多くのアプリケーションでは、例えば、マルチパスなどの要因からジオフェンスに係る検出精度が低下し、誤動作が生じることも少なくない。
そこで、本開示では、ユーザの負担を増やさずに、より精度高く入退を検出することが可能な、新規かつ改良された制御装置、制御システム、および制御方法を提案する。
本開示によれば、収集されたセンサ情報に基づいて、指定領域に係る入退を判定する判定部、を備え、前記判定部は、前記入退に係るデータを関連付けて学習された学習結果に基づいて、前記入退に係る判定を行う、情報処理装置が提供される。
また、本開示によれば、プロセッサが、収集されたセンサ情報に基づいて、指定領域に係る入退を判定すること、を含み、前記判定することは、前記入退に係るデータを関連付けて学習された学習結果に基づいて、前記入退に係る判定を行うこと、をさらに含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを、収集されたセンサ情報に基づいて、指定領域に係る入退を判定する判定部、を備え、前記判定部は、前記入退に係るデータを関連付けて学習された学習結果に基づいて、前記入退に係る判定を行う、情報処理装置、として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、ユーザの負担を増やさずに、より精度高く入退を検出することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示に係るジオフェンスの概要について説明するための図である。 センサ情報を収集するデバイスを所持したユーザがフェンスを複数回入退する場合について説明するための図である。 本開示に係る技術思想の概要を説明するための図である。 本開示の第1の実施形態に係るシステム構成例を示す図である。 同実施形態に係る情報処理端末の機能ブロック図の一例である。 同実施形態に係る情報処理サーバ20の機能ブロック図の一例である。 同実施形態に係る無線信号の検出パターンと当該検出パターンに対する正解ラベルの一例を示す図である。 同実施形態に係る教師データに用いられる紫外線データの一例を示す図である。 同実施形態に係る複数の生徒データに基づく学習について説明するための図である。 同実施形態のフィードバックの要求に係る出力制御の一例を示す図である。 同実施形態に係るフィードバックの別の例を示す図である。 同実施形態の発火タイミングの再学習に係る構成パターンの例を示す図である。 同実施形態の発火タイミングの再学習に係る構成パターンの例を示す図である。 同実施形態の発火タイミングの再学習に係る構成パターンの例を示す図である。 同実施形態の発火タイミングの再学習に係る構成パターンの例を示す図である。 同実施形態に係る判定器を再学習する場合におけるラベル生成の具体例を示す図である。 同実施形態に係る補正値テーブルの一例を占めす図である。 同実施形態に係る情報処理サーバの動作の流れを示すフローチャートである。 同実施形態に係るフェンスの入退判定における情報処理端末の動作の流れを示すフローチャートである。 本開示の第2の実施形態に係る学習部により生成されるデータ分布図の一例を示す図である。 同実施形態に係るVAEを用いた半教師学習を行うニューラルネットワークのネットワーク構造を示す図である。 同実施形態に係るラベルの付加要求の一例を示す図である。 同実施形態に係る動作制御部が地図アプリケーン上においてラベルの付加要求に係る制御を行う場合の一例を示す図である。 同実施形態に係るラベルの付加状況に応じたインセンティブについて説明するための図である。 本開示に係る第1および第2の実施形態が奏する効果について説明するための図である。 本開示の第3の実施形態に係る曖昧なフェンス設定の一例である。 同実施形態に係る文字列入力による曖昧なフェンス設定の一例を示す図である。 本開示に係るハードウェア構成例である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.本開示の概要
2.第1の実施形態
2.1.システム構成例
2.2.情報処理端末10の機能構成例
2.3.情報処理サーバ20の機能構成例
2.4.教師データおよび生徒データの具体例
2.5.判定結果に基づく動作制御
2.6.情報処理端末10および情報処理サーバ20の動作の流れ
3.第2の実施形態
3.1.第2の実施形態の概要
3.2.ラベルの付加要求に係る具体例
3.3.第1の実施形態との効果の比較
4.第3の実施形態
4.1.第3の実施形態の概要
4.2.曖昧なフェンス設定の具体例
5.ハードウェア構成例
6.まとめ
<1.本開示の概要>
上述したように、近年では、収集されるセンサ情報に基づきアプリケーションなどの制御を行う技術が多く提案されている。ここで、上記のような技術の一例としては、フェンス技術が挙げられる。フェンス技術とは、設定した所定条件を満たす状況が検出された際、当該設定条件に応じた機能を発火させる技術全般を指す。なお、本開示において、上記の発火とは、機能の動作を開始させる、すなわち、機能を起動する意味で用いられる。
例えば、上記のフェンス技術には、いわゆるジオフェンスが含まれてよい。ジオフェンスとは、空間上に指定領域を設け、当該指定領域に係る入退を検出することで、予め設定された機能を発火させる技術である。また、広義におけるフェンス技術には、例えば、タイマー通知やスケジュール通知などが含まれ得る。
図1は、本開示に係るジオフェンスの概要について説明するための図である。図1の左側には、あるアプリケーションのユーザインタフェースUIに表示されるジオフェンスの設定画面の一例が示されている。ユーザは、例えば、ユーザインタフェースUIに表示される地図に対し、ポイントP1やポイントP1から有効な半径などを指定することで、フェンスF1を設定することができる。また、この際、ユーザは、例えば、フェンスF1に入場した場合に発火させる機能やフェンスF1から退出した場合に発火させる機能を指定できてよい。図1の一例では、ユーザがフェンスF1に入場した際に、通知送信に係る機能を発火させるよう指定した場合が示されている。
上記のような設定が行われたのち、センサ情報を収集するデバイスを所持したユーザがフェンスF1に入場したことが検出されると、アプリケーションは、図1の右側に示すように、ユーザにより設定された通知n1をユーザインタフェースUIやホーム画面Hなどに表示させることができる。
しかし、上述したように、多くのアプリケーションでは、フェンスに係る入退の検出精度(以下、発火精度、とも称する)が十分とは言い難い。例えば、一般的なアプリケーションでは、住宅街においては、正しい発火が誤発火を上回ることもあるが、オフィス街においては、後述するマルチパスなどの影響から、誤発火が正しい発火を上回ってしまう場合も多い。また、住宅街における発火精度についても、十分とは言えず、誤発火が正しい発火を上回るケースも多々生じている。また、実際に、一般的なアプリケーションから出力される発火に関するログを参照すると、同一の場所に滞在している場合であっても、高頻度に誤発火が生じていることも確認できる。
このような発火精度の低下を招く要因としては、フェンスに係る入退の検出に、GNSSなどによる測位情報が用いられることが挙げられる。GNSSによる測位では、いわゆるマルチパスによる測位精度の低下が懸念されるほか、屋内における測位精度が十分とは言い難い。このため、例えば、ユーザが屋内で窓際に移動した際に、フェンスを退出したと誤検出されてしまうなどの現象が多発しやすい。上記の現象に対しては、例えば、ユーザが対象建物を退出して所定の距離を移動してから機能を発火させる対応なども想定されるが、この場合、発火精度の低下を防止できるものの、機能の即時性を犠牲とすることとなる。
また、仮に測位精度が正しい場合であっても、ユーザの移動経路がフェンスを複数回またぐ場合にあっては、ユーザの望まない発火が行われてしまうことも想定される。図2は、センサ情報を収集するデバイスを所持したユーザがフェンスを複数回入退する場合について説明するための図である。図2には、設定されるフェンスF1とユーザの移動経路r1とが示されている。この際、図2に示すように、ユーザがフェンスF1への入退を繰り返すこととなり、一般的なアプリケーションでは、入場または退出に紐付けて設定された機能を複数回発火するなど、ユーザにとって望まない動作を行ってしまう可能性もある。
本技術思想は、上述したような発火精度の低下防止に着目して発想されたものであり、フェンスに関し、より精度の高い発火を実現するものである。このために、本技術思想では、センサ情報として収集される教師データおよび生徒データに基づくユーザごとのマルチモーダル学習を行うことを特徴の一つとする。また、本技術思想では、ユーザの負担を抑えながらも、フェンスの入退に係る正解ラベルを効率的に取得すること特徴の一つとする。
ここで、本開示の一実施形態に係る教師データおよび生徒データについて説明する。本開示の一実施形態に係る教師データとは、学習に用いられる正解情報、すなわちラベルを生成(推定)するために用いられる信頼性の高いデータといえる。ここで、上記のラベルは、フェンス内である場合には0、フェンス外である場合には1、などの二値情報であってもよい。一方、本開示の一実施形態に係る生徒データとは、教師データ以外のセンサ情報であってよい。言い換えると、生徒データは、ラベルの生成に関し、信頼性の高くないデータといえる。すなわち、本技術思想では、ラベルの生成に関し信頼性の高い教師データを用いて、生徒データを学習させることで、当該生徒データをラベルの生成に関し信頼性の高いデータへと昇華させることができる。
図3は、本開示に係る技術思想の概要を説明するための図である。図3の上部には、一般的なアプリケーションによるフェンスの入退検出のしくみが示されている。ここでは、フェンスF1と、測位情報に基づいて従来の通りに検出された時刻t1~t11におけるユーザの位置情報とが示されているが、上述したように、一般的な手法では、十分な測位精度が得られないことがあるため、時刻t2~t7において、誤発火やユーザの望まない発火が起こる可能性が高い。
一方、図3の下部には、本技術思想によるフェンスの入退検出のしくみが示されている。図示するように、本技術思想によれば、測位された位置情報からノイズを除去することで、より確実にフェンスF1内に滞在している時刻に得られた緯度経度データのみを抽出し効率のよい学習を行うことができる。より具体的には、測位情報により得られる緯度経度データには、通常、ノイズが多分に含まれるため、未加工の状態では、ラベルの生成に関し信頼性が低く、教師データとして用いることが困難である。一方、上記の緯度経度データを、時系列信号や、ヒトは一般に数秒単位でフェンスF1に入退しない、などの一般的知識(ルール)などを基にフィルタリングすることで、フェンスF1内外にいる時刻、すなわちラベルを抽出することが可能である。なお、以下における説明では、理解を容易とするために、ラベルを抽出するために用いるデータを教師データと定義する。また、上記の教師データに対し、例えば、上記のようなフィルタ処理を行う前の緯度経度データや、後述するようなその他のモーダルから得られるデータなど、推定時に逐次処理で利用するデータを生徒データと定義する。
なお、本開示の一実施形態に係るモーダルとは、ユーザの所在、行動、状態などを検出し得る種々の現象であってよい。図3には、Wi-Fi(登録商標)やBluetooth(登録商標)などの無線信号に係るモーダルMO1、太陽光に係るモーダルMO2が一例として示されている。このように、本技術思想では、複数のモーダルから得られるセンサ情報を、教師データまたは生徒データとして学習に用いることができる。
例えば、本技術思想では、教師データにノイズ除去された緯度経度データを、生徒データに上記のような無線信号を用いて、フェンスの入退検出に係る学習を行ってもよい。この場合、教師データから生成したラベルに基づいて無線信号から抽出された特徴に動的にラベルを付加することができ、学習後には、無線信号のみを用いた即時性があり、かつ精度の高い入退検出を実現することが可能となる。
また、例えば、教師データに紫外線データを、生徒データに無線信号を用いて、フェンスの入退検出に係る学習を行うこともできる。この場合、紫外線データに基づいて無線信号から抽出された特徴に動的にラベルを付加することができ、学習後には、無線信号のみを用いた精度の高い入退検出を実現することが可能となる。
以上説明したように、本開示に係る技術思想によれば、ユーザの負担なしに、より発火精度の高いフェンスアプリケーションを提供することが可能となる。
なお、上記では、測位技術の一例としてGNSSを挙げて説明したが、本開示の一実施形態に係る測位技術は係る例に限定されない。本開示の一実施形態に係る測位技術には、屋外および屋内において用いられる種々の技術が含まれてよい。測位技術の一例としては、例えば、GNSSに係る衛星測位のほか、基地局測位、IMES(Indoor Messaging System)、Wi-Fi測位、Bluetooth測位、音波測位、可視光測位、カメラ画像測位、気圧測位、地磁気測位、およびPDR(Pedestrian Dead-Reckoning:歩行者自律航法)などが挙げられる。
<2.第1の実施形態>
<<2.1.システム構成例>>
次に、本開示の第1の実施形態について説明する。図4は、本実施形態に係るシステム構成例を示す図である。図4を参照すると、本実施形態に係る情報処理システムは、情報処理端末10および情報処理サーバ20を備える。また、情報処理端末10と情報処理サーバ20は、互いに通信が行えるよう、ネットワーク30を介して接続される。
(情報処理端末10)
本実施形態に係る情報処理端末10は、教師データまたは生徒データを用いた学習結果とセンサ情報とに基づいて、フェンスに係る入退を判定する情報処理装置である。また、情報処理端末10は、上記の判定結果に対応したアプリケーションの動作をユーザに提供する機能や、教師データまたは生徒データとして用いられるセンサ情報を収集する機能を有する。本実施形態に係る情報処理端末10は、例えば、スマートフォン、タブレット、携帯電話、ウェアラブルデバイスなどであってよい。また、上記のウェアラブルデバイスには、例えば、ヘッドマウントディスプレイや眼鏡型デバイス、リストバンド型デバイスなどが含まれる。
(情報処理サーバ20)
本実施形態に係る情報処理サーバ20は、情報処理端末10が収集したセンサ情報に基づく学習を行う情報処理装置である。すなわち、本実施形態に係る情報処理サーバ20は、情報処理端末10により収集された教師データおよび生徒データを受信し、フェンスの入退検出に係る学習を行う機能を有する。この際、本実施形態に係る情報処理サーバ20は、複数の情報処理端末10からセンサ情報を受信し、情報処理端末10ごとに判定器を生成してもよい。
(ネットワーク30)
ネットワーク30は、情報処理端末10と情報処理サーバ20とを接続する機能を有する。ネットワーク30は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク30は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。また、ネットワーク30は、Wi-Fi(登録商標)、Bluetooth(登録商標)など無線通信網を含んでもよい。
以上、本実施形態に係るシステム構成例について説明した。なお、図4を用いて説明した上記のシステム構成はあくまで一例であり、本実施形態に係るシステム構成は係る例に限定されない。例えば、上記では、情報処理端末10および情報処理サーバ20の2つの構成を例示したが、本実施形態に係る情報処理端末10および情報処理サーバ20が有する機能は単一の装置により実現されてもよい。例えば、本実施形態に係る情報処理端末10は、情報処理サーバ20が有する学習機能と同等の機能をさらに備えることも可能である。本実施形態に係るシステム構成は、アプリケーションの様態や扱う情報の特性などに応じて柔軟に変形され得る。例えば、センサ情報を収集する機能と、アプリケーションを提供する機能とは、必ずしも同一の端末により実現されなくてもよく、情報処理端末10や情報処理サーバ20とは異なる装置(スマートフォンなど)により通知などのアプリケーション動作が実現されてもよい。
<<2.2.情報処理端末10の機能構成例>>
次に、本実施形態に係る情報処理端末10の機能構成例について説明する。図5は、本実施形態に係る情報処理端末10の機能ブロック図の一例である。図5を参照すると、本実施形態に係る情報処理端末10は、センサ部110、判定部120、動作制御部130、出力部140、入力部150、およびサーバ通信部160を備える。
(センサ部110)
センサ部110は、センサ情報を収集する機能を有する。ここで、本実施形態に係るセンサ情報には、フェンスの入退に係る学習において教師データまたは生徒データとして用いられ得る種々のデータが含まれてよい。
本実施形態に係るセンサ情報の一例としては、GNSSによる測位データ、Wi-FiやBluetooth、Beaconなどの無線信号、紫外線データ、音響データ、振動データ、加速度データ、角速度データ、地磁気データ、熱データ、撮像データ、時間データなどが挙げられる。このために、本実施形態に係るセンサ部110は、種々の信号受信デバイス、紫外線センサを含む各種の光センサ、マイクロフォン、振動センサ、加速度センサ、ジャイロセンサ、地磁気センサ、熱センサ、撮像センサ、および時計などを含んで構成される。なお、上記に挙げたセンサの種別はあくまで一例であり、本実施形態に係るセンサ部110は、上記以外のセンサを含んで構成されてもよい。
(判定部120)
判定部120は、センサ部110により収集されたセンサ情報に基づいて、指定領域、すなわちフェンスに係る入退を判定する機能を有する。この際、本実施形態に係る判定部120は、情報処理サーバ20により生成された判定器に基づいて上記の判定を行ってよい。すなわち、本実施形態に係る判定部120は、フェンスの入退に係る教師データを関連付けて学習された学習結果に基づいて判定を行うことができる。
また、より詳細には、判定部120は、教師データと生徒データとを関連付けて学習された学習結果に基づいて、フェンスの入退に係る判定を行ってよい。この際、判定部120による判定に用いられるセンサ情報は、上記の生徒データと同種のセンサデータであってよい。
なお、上述したように、本実施形態に係る教師データには、ノイズ除去された緯度経度データや紫外線データなどが含まれてよい。また、本実施形態に係る教師データには、例えば、Wi-Fiのアクセスポイントなどに係る無線信号を用いることができる。
(動作制御部130)
動作制御部130は、判定部120による判定の結果に基づいてアプリケーションの制御を行う機能を有する。本実施形態に係る動作制御部130は、例えば、判定部120により、情報処理端末10がフェンス内に入場したと判定されたことに基づいて、予め設定されたアプリケーションの機能を発火させてよい。また、本実施形態に係る動作制御部130は、アプリケーションのユーザインタフェースに係る表示制御や、ユーザインタフェースにおいて入力された入力情報に基づく制御などを行ってよい。
(出力部140)
出力部140は、動作制御部130による制御に基づいてアプリケーションのユーザインタフェースなどを出力する機能を有する。このために、本実施形態に係る出力部140は、視覚情報を提示する表示デバイスを含んで構成される。上記の表示デバイスには、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、OLED(Organic Light Emitting Diode)装置、タッチパネルなどが挙げられる。
また、本実施形態に係る出力部140は、動作制御部130による制御に基づいて音響情報を出力する機能を有する。出力部140、例えば、文字列を人工音声により読み上げたり、アプリケーションにより提供される各種の効果音などを出力したりすることができる。このために、本実施形態に係る出力部140は、アンプやスピーカなどを含んで構成される。
(入力部150)
入力部150は、アプリケーションのユーザインタフェースにおけるユーザの入力操作を検出する機能を有する。このために、本実施形態に係る入力部150は、例えば、マウス、キーボード、コントローラ、タッチパネル、各種のボタンなどを含んで構成される。
また、本実施形態に係る入力部150は、ユーザの発話による入力を検出する音声認識機能を有してよい。このために、本実施形態に係る入力部150は、マイクロフォンなどを含んで構成される。
(サーバ通信部160)
サーバ通信部160は、ネットワーク30を介して情報処理サーバ20との情報通信を行う機能を有する。具体的には、サーバ通信部160は、センサ部110により収集されたセンサ情報を情報処理サーバ20に送信する。ここで、上記のセンサ情報には、上述した教師データおよび生徒データが含まれてよい。また、サーバ通信部160は、情報処理サーバ20により生成された判別器を受信する。
以上、本実施形態に係る情報処理端末10の機能構成例について説明した。なお、図5を用いて説明した上記の機能構成はあくまで一例であり、本実施形態に係る情報処理端末10の機能構成は係る例に限定されない。例えば、情報処理端末10は、上記に示した以外の構成をさらに備えてもよい。一例として、情報処理端末10は、センサ情報や判定結果などを保存する記憶部などを備えることができる。また、上述したように、本実施形態に係る情報処理端末10は、フェンスの判定に係る学習を行う学習機能を備えてもよい。本実施形態に係る情報処理端末10の機能構成は柔軟に変形され得る。
<<2.3.情報処理サーバ20の機能構成例>>
次に、本実施形態に係る情報処理サーバ20の機能構成例について説明する。図6は、本実施形態に係る情報処理サーバ20の機能ブロック図の一例である。図6を参照すると、本実施形態に係る情報処理サーバ20は、ノイズ除去部210、学習部220、学習データ記憶部230、および端末通信部240を備える。
(ノイズ除去部210)
ノイズ除去部210は、センサ情報に含まれるノイズを除去する機能を有する。本実施形態に係るノイズ除去部210は、例えば、GNSS測位などに基づく緯度経度データに対するノイズ除去を行ってよい。この際、ノイズ除去部210は、特許文献1に記載されるようなフィルタ処理を実行することでノイズの除去を行うことができる。また、本実施形態に係るノイズ除去部210は、上記のような緯度経度データに限らず、センサ情報の種別に応じた種々のノイズ除去を実施してよい。ノイズ除去部210は、例えば、周波数データに対するローパスフィルタ処理などを行うことができる。本実施形態に係るノイズ除去部210が有する上記の機能によれば、より信頼性の高いセンサ情報を基にラベルを生成することが可能となり、より精度の高い判定器を生成することができる。
(学習部220)
学習部220は、情報処理端末10などにより収集された教師データおよび生徒データに基づいて、フェンスの入退判定に係る学習を行う機能を有する。本実施形態に係る学習部220によれば、ユーザ個人の行動に基づいて収集されるセンサ情報に基づくユーザごとの判定器を生成することができる。この際、上述したように、学習部220は、例えば、ノイズ除去部210によりノイズ除去された緯度経度データを教師データとして、Wi-Fiなど由来する無線信号を生徒データとして学習を行ってもよい。
また、この際、本実施形態に係る学習部220は、フェンスに関する位置情報として信頼性の高いセンサ情報のみを用いて上記の学習を行ってよい。例えば、図3下部に示した緯度経度データの場合、学習部220は、ほぼ確実にフェンスF1内にあると推定される時刻t1~t5の緯度経度データと、ほぼ確実にフェンスF1外にあると推定される時刻t10、t11の緯度経度データと用いて学習を行うことができる。すなわち、学習部220は、時刻t6~t9のように、フェンスF1に係る判定に対し信頼性が低い緯度経度データを排除して学習を行ってよい。学習部220が有する上記の機能によれば、確実性の高い教師データを用いることで、ラベルを自動で生成することが可能となり、ユーザの負担を大幅に低減することができる。
なお、本実施形態に係る学習部220は、機械学習の分野で広く扱われるアルゴリズムを用いて上記のような学習を行ってよい。学習部220は、例えば、多層構造のニューラルネットワークを用いたディープラーニング(Deep Learning:深層学習)による学習を行うことができる。
(学習データ記憶部230)
学習データ記憶部230は、学習部220による学習に係る種々のデータを記憶する機能を有する。学習データ記憶部230は、例えば、教師データ、生徒データ、ラベル、各種の学習パラメータなどを記憶してよい。
(端末通信部240)
端末通信部240は、ネットワーク30を介して、情報処理端末10との情報通信を行う機能を有する。具体的には、端末通信部240は、情報処理端末10が収集したセンサ情報を受信する。また、端末通信部240は、学習部220により生成された判定器に係る情報を端末通信部240に送信する。また、端末通信部240は、後述する発火タイミングに対するフィードバックや補正器などに係る情報通信を行ってよい。
以上、本実施形態に係る情報処理サーバ20の機能構成例について説明した。なお、図6を用いて説明した上記の機能構成はあくまで一例であり、本実施形態に係る情報処理サーバ20の機能構成は係る例に限定されない。例えば、上記で述べた機能は、複数の装置により分散して実現されてもよい。また、上述したように、情報処理サーバ20が備える各構成は、情報処理端末10の機能として実現することも可能である。本実施形態に係る情報処理サーバ20の機能構成は柔軟に変形され得る。
<<2.4.教師データおよび生徒データの具体例>>
次に、本実施形態に係る教師データおよび生徒データについて具体例を挙げながら説明する。本実施形態に係る情報処理サーバ20は、上述したようなフェンス設定に対し信頼性の高いセンサ情報を教師データとして用いることで生徒データ効率的に学習し、ラベルの自動生成を実現することができる。
このため、本実施形態に係る教師データには、収集できる状況が限定的であっても、収集時にはほぼ確実に判定に利用できるセンサ情報が適しているといえる。一方、本実施形態に係る生徒データは、汎用かつ即時的に収集、利用可能なデータが望ましい。また、生徒データに、低消費電力で収集できるセンサ情報やデータ量の比較的少ないセンサ情報を用いることで、バッテリの消耗を軽減し、また判定に係る処理負担を軽減することも可能である。以下、本実施形態に係る学習に用いられる教師データおよび生徒データの組み合わせについて具体例を挙げて説明する。
(緯度経度データと無線信号の組み合わせ)
上述したように、本実施形態に係る情報処理サーバ20は、例えば、ノイズ除去された緯度経度データを教師データとして、Wi-Fiのアクセスポイントなどに係る無線信号を生徒データとして、フェンスの入退判定に係る学習を行ってよい。
図7は、本実施形態に係る無線信号の検出パターンと当該検出パターンに対する正解ラベルの一例を示す図である。図7には、Wi-Fiのアクセスポイントに係る検出パターン、およびフェンスとして設定されるBuilding 1やBuilding 2、Building 1におけるPassage、移動中を示すWalk、などの正解ラベルが示されている。このように、Wi-Fiのアクセスポイントに係る無線信号は、場所に応じて異なる特徴を示すものであり、かつ、汎用的に取集可能である。このため、本実施形態に係る学習では、ノイズ除去を行った緯度経度データで上記のような無線信号を訓練することにより、Building 1などに係る屋内外判定器を生成することができ、衛星の状況に依存しない精度の高い判定を実現することが可能となる。
(紫外線データと無線信号の組み合わせ)
また、本実施形態に係る情報処理サーバ20は、例えば、紫外線データを教師データとして、Wi-Fiのアクセスポイントなどに係る無線信号を生徒データとして、フェンスの入退判定に係る学習を行ってよい。
図8は、本実施形態の教師データに用いられる紫外線データの一例を示す図である。図8には、情報処理端末10により収集される紫外線データの強度が時間軸と共に示されている。
ここで、図8におけるe1は、Building 1の7Fにおいて収集された紫外線データを示す。また、e2は、Building 1のホールにおいて日光を浴びた際に収集された紫外線データを示す。また、e3は、Building 1から退出したのち日陰を移動する際に収集された紫外線データを示す。また、e4は、日向において収集された紫外線データを示す。
このように、紫外線データは、紫外線データは、夜間などには収集できない限定的なセンサ情報であるものの、快晴時においては、図中のラインth1が示すように、屋内外の判定に適したセンサ情報の一つである。また、近紫外線は、波長の長さによりUV-A、UV-B、およびUV-Cに分類されるが、このうち地上に到達するのはUV-AおよびUV-Bに限定される。このうち、UV-Bは、波長が短いためガラスを通過しづらいという特性を有する。このため、本実施形態では、UV-Bのみを教師データとして用いることで、より精度の高い屋内外判定を行うことも可能である。
(その他の教師データ例)
以上、本実施形態に係る教師データおよび生徒データの組み合わせについて具体例を述べたが、本実施形態に係る教師データは、上述の組み合わせに限定されない。本実施形態に係る教師データには、種々のセンサ情報が用いられ得る。
例えば、情報処理端末10がウェアラブルデバイスなどである場合、撮像センサにより取得される画像と、予めユーザが撮像したフェンスの入退に用いられるドアの画像とに基づいてターゲットドア認識を行い、認識の結果を教師データとして用いてもよい。
また、本実施形態に係る教師データは、フェンスの入退に用いられるドアに設置されるデバイスから収集されるセンサ情報であってもよい。例えば、監視カメラやスマートロックなど、不特定な人物の出入りに基づき感知されたドアの開閉に関するセンサログと、情報処理端末10が収集するセンサ情報に基づいて推定され得る所持ユーザのドア通過との組み合わせにより判定されるフェンスの入退を教師データとしてもよい。また、上記の判定は、ドアおよび情報処理端末10によるタグの読み取りなどにより行うこともできる。
また、教師データはユーザが明示的に入力する情報であってもよい。例えば、ゲームアプリケーションのチュートリアルなどにおいて、ドアを開けたらボタンをタップしてね、など、フェンス判定に係る情報入力を促し、得られた情報を教師データに用いることも可能である。また、この際、アプリケーションに応じたインセンティブなどをユーザに提供することで、情報の収集効率を向上させる効果も期待される。
また、例えば、ユーザの靴などに仕込まれたモーションセンサから収集されるモーションデータを教師データとしてもよい。この場合、例えば、ユーザが上記の靴を履いたことが検出された場合に、Homeなどのフェンスを退出したと判定し、また当日においては、ユーザが靴を脱いだことが検出された場合に、フェンスを入場したと判定することができる。また、当該靴が例えばトレッキングシューズなどの用途が限定された靴である場合には、用途に対応したイベントを検出することも可能である。
また、靴以外の物品から収集されるセンサ情報を教師データに用いることもできる。一例としては、傘から収集されるセンサ情報に基づいて、ユーザが傘を持ち出したことや開閉動作を行ったことなどを検出してもよい。また、首輪やリードなどが室内犬などのペットに装着されたことを検出しフェンスからの退出を判定したり、首輪やリードが外されたことを検出しフェンスへの入場を判定したりすることも可能である。
(その他の生徒データ例)
また、本実施形態に係る生徒データも、教師データと同様、上述した無線信号に限定されない。本実施形態に係る生徒データには、例えば、モーションセンサから収集される加速度センサなどのモーションデータが用いられてもよい。これらセンサ信号には、例えば、ドアの開閉動作に係る個人特有の動きの特長が含まれる。上記の個人特有の動きには、例えば、ドアを押す動作、開扉する動作、鍵を取り出す動作、鍵を閉める動作などの一連の動きが挙げられる。
また、本実施形態に係る生徒データには、気圧データが用いられてもよい。気圧は屋内外で差異が生じるため、特に気密性の高い住宅などでは、有効な生徒データとして活用され得る。
また、本実施形態に係る生徒データには、照度データが用いられてもよい。照度は時間帯による影響を受けるものの、多くの場合、屋内外で差が発生すると想定される。
また、本実施形態に係る生徒データには、二酸化炭素濃度データが用いられてもよい。例えば、気密性が高く人の多い屋内と屋外では、異なる二酸化炭素濃度が検出される。
また、本実施形態に係る生徒データには、赤外線データが用いられてもよい。空気清浄が行われている屋内と屋外とでは、空気中に存在する埃の量が異なる。このため、埃による赤外線の乱反射を検出することで、屋内外の判定に利用することも可能である。
また、GNSSにより取得される衛星信号そのものを生徒データに用いることも可能である。GNSSによる測位では、本来は複数の衛星から信号を受信し、かつ当該信号の強度が十分である必要がある。しかし、衛星の位置が検出できた場合、単一の衛星からの信号を受信したという情報のみでも、十分に生徒データとして活用することは可能である。この場合、例えば、所定の方角範囲および仰角範囲において衛星を検出した場合は場所Xである、などの判定を行うことができる。
(その他の変形例)
以上、本実施形態に係る教師データおよび生徒データについて具体例を挙げながら説明した。一方、本実施形態に係る教師データおよび生徒データを用いた学習は多様に変形が可能である。
例えば、本実施形態に係る学習には、複数の情報処理端末10から収集される生徒データのみが用いられてもよい。例えば、本実施形態に係る情報処理サーバ20は、情報処理端末10から収集される生徒データに基づく判定結果を複数集めることで、多数決により最終的な判定を行ってもよい。また、本実施形態に係る情報処理サーバ20は、複数の情報処理端末10から収集される生徒データを群情報として利用することでラベルを生成することも可能である。
図9は、本実施形態に係る複数の生徒データに基づく学習について説明するための図である。図9には、例えば、駅などの構内における複数のストアA~Dと周辺の経路、およびストアAを退店したユーザの経路が示されている。この際、退店後のユーザの経路は、ユーザに応じて様々であるが、複数ユーザが所持する情報処理端末10から収集される無線信号検出パターンなどを多量に重ねることで、エントランスA~Cなどの出口を特定することが期待される。また、例えば、ドームやコンサートホールなどにおいては、検出される複数の移動経路が集約するポイントが出口であると推定してもよい。
また、本実施形態では、十分に訓練された生徒データを教師データに昇格させてもよい。この場合、情報処理サーバ20は、学習の習熟度を算出し昇格の判定基準として用いることもできる。上記の機能によれば、例えば、より低消費電力のセンサ情報を教師データとして用いることや、教師データと生徒データとの組み合わせの数を大幅に増加させるなどの効果が期待される。
また、本実施形態に係る教師データおよび生徒データには、ユーザ本人が所持する情報処理端末10により収集されたセンサ情報のほか、他のユーザが所持する情報処理端末10により収集されたセンサ情報が併せて用いられてもよい。例えば、Homeに係るフェンスの場合、上記の他のユーザとしては、対象ユーザの家族などが想定される。また、Workplaceに係るフェンスの場合には、対処ユーザの同僚が所持する情報処理端末10により収集されるセンサ情報が利用可能である。当該機能によれば、大量のデータを効率的に収集することができ、より効果的な学習を行うことが可能となる。
<<2.5.判定結果に基づく動作制御>>
次に、本実施形態に係る判定結果に基づく動作制御について説明する。上述したように、本実施形態に係る情報処理端末10の動作制御部130は、判定部120による判定の結果に基づいて、種々のアプリケーションの機能を発火させることができる。以下、本実施形態に係る動作制御部130によって制御される機能の例について述べる。
本実施形態に係る動作制御部130は、フェンスに係る入退が判定された場合、例えば、情報通知に係る機能を発火させることができる。上記の情報通知には、例えば、天気や交通情報、ニュースなどの送信、収集日に対応したゴミ出しアナウンス、またはエージェントからの励ましなどのメッセージなどが挙げられる。また、上記の情報通知は、対象ユーザ以外のユーザに対して行われてもよい。例えば、対象ユーザがWorkplaceを退出した場合、動作制御部130は、対象ユーザがWorkplaceを退出したことを、家族や同僚、またはスケジュールに登録されたユーザなどに通知することもできる。当該機能によれば、例えば、対象ユーザが会合などの開始時間に遅刻している場合であっても、他のユーザに状況を自動的に伝達することが可能となる。また、動作制御部130は、例えば、Workplaceからの退出が検出されたことに基づいて、即時音楽の再生などを行わせてもよい。また、動作制御部130は、部屋移動が検出されたことなどに基づいてシームレスな音楽再生を制御することも可能である。
また、動作制御部130は、フェンスに係る入退が判定された際に、情報処理端末10やアプリケーションに係る各種の設定を変更する制御を行ってもよい。例えば、Homeへの入場が判定された場合、行動認識アプリケーションの一部機能(例えば、乗車検出など)をオフにするなどの制御を行うことができる。また、動作制御部130は、輝度設定など電力消費に影響を与える設定をフェンスの入退に応じて変更してもよい。また、動作制御部130は、Homeへの入場が判定された場合、「しばらく使用しないのであれば、アップデートをおすすめします」などのメッセージを表示させ、ユーザにシステムやアプリケーションの更新作業を促すこともできる。また、Homeからの退出が判定された場合、動作制御部130は、情報処理端末10を通勤モードに変更してもよい。
また、動作制御部130は、情報処理端末10以外の装置の制御を行うこともできる。例えば、Homeからの退出が判定された場合、動作制御部130は、マンションのエレベータを制御し、ユーザの自宅が位置する階に移動させることも可能である。また、動作制御部130は、Homeからの退出が判定された場合に、ドアの鍵を自動的に施錠してもよい。また、動作制御部130は、Workplaceに係る入退判定に基づいて、退勤管理システムなどと連携し、自動打刻などを行うこともできる。
以上、本実施形態に係る動作制御の一例について説明した。上述したように、本実施形態に係る情報処理端末10および情報処理サーバ20によれば、フェンスに係る入退判定に基づいて、種々の機能を発火させることができる。
一方、機能の特性やユーザの嗜好によっては、フェンスへの入退が正しく判定された場合であっても、望ましい発火タイミングは異なることも想定される。例えば、音楽再生については、Homeを退出後、即時再生してほしい人もいれば、ニュースの通知については、Homeの退出直後、ドアの施錠を行っている際に通知されてもすぐには確認できない、などの人もいると考えられる。
このため、本実施形態に係る情報処理サーバ20は、機能の発火タイミングに対するフィードバックをユーザに要求し、当該フィードバックに基づく学習を行うことで、よりユーザにとって望ましいタイミングで機能を発火させることができる。すなわち、本実施形態に係る動作制御部130は、アプリケーションの動作タイミングに対するフィードバックに基づいて学習された学習結果に基づいて、当該アプリケーションの制御を行うことができる。
また、本実施形態に係る動作制御部130は、上記のフィードバックの要求に係る出力を制御してよい。図10は、本実施形態のフィードバックの要求に係る出力制御の一例を示す図である。図10には、ユーザの視野ESと、ヘッドマウントディスプレイや眼鏡型のウェアラブルデバイスである情報処理端末10の出力部140に表示されるオブジェクトO1および要求メッセージQ1とが示されている。
ここで、オブジェクトO1は、例えば、アプリケーションに設定されるユーザを補助するためのキャラクターなどであってよい。また、要求メッセージQ1は、フェンス判定に基づき発火されたニュースの読み出し機能の発火タイミングに対するフィードバックを求める内容であってよい。なお、要求メッセージQ1は、視覚情報として出力されてもよく、音声情報として出力されてもよい。ユーザは、要求メッセージQ1を確認し、例えば、図10に示すようなフィードバックFBを発話などにより入力することができる。なお、図10では、情報処理端末10がウェアラブルデバイスである場合を例に説明したが、例えば、情報処理端末10がスマートフォンなどである場合には、要求メッセージQ1を音声情報として出力することで、同様にフィードバックFBを取得することが可能である。
また、図11は、本実施形態に係るフィードバックの別の例を示す図である。図11には、ウェアラブルデバイスである情報処理端末10の出力部140に表示されるピン型の要求オブジェクトP2が示されている。ここで、ピン型の要求オブジェクトP2は、例えば、機能の前回の発火タイミングを示すものであってよい。
この際、ユーザは、ピン型の要求オブジェクトP2を移動させることで、発火タイミングの調整を行うことができる。例えば、ピン型の要求オブジェクトP2がHomeからの退出に基づいて発火された機能に関する場合、ユーザは、ピン型の要求オブジェクトP2を、よりHomeに近いP2-1の状態に移動させることで、発火タイミングが遅かったことを示すフィードバックを行うことができる。また、ユーザは、ピン型の要求オブジェクトP2を、よりHomeから離れたP2の状態に移動させることで、発火タイミングが早かったことを示すフィードバックを行うことができる。
なお、図10では、情報処理端末10がウェアラブルデバイスである場合を例に説明したが、例えば、情報処理端末10がスマートフォンなどである場合には、ピン型の要求オブジェクトP2を地図アプリケーション上に表示させることで、同様にユーザからのフィードバックを取得することが可能である。
また、本実施形態に係るフィードバックは、必ずしもユーザにより明示的に入力された情報でなくてもよい。動作制御部130は、例えば、読み上げたニュースがユーザによりすぐに停止されたことに基づいて、発火タイミングが早いというフィードバックを自動的に生成することも可能である。また、動作制御部130は、上記のような処理を行う場合には、ユーザの確認を得てからフィードバックを生成してもよい。
続いて、本実施形態に係るフィードバックに基づく発火タイミングの再学習について説明する。ここで、発火タイミングの再学習については、いくつかの構成パターンが適用され得る。図12A~図12Dは、本実施形態の発火タイミングの再学習に係る構成パターンの例を示す図である。
本実施形態に係る学習部220は、例えば、取得されたフィードバックに基づいて、構築済みの判定器M1を再学習させてもよい。図12Aおよび図12Bには、学習部220が構築済みの判定器M1を再学習させる場合の構成パターンが示されている。
この際、学習部220は、図12Aに示すように、すべてのアプリケーションで共通のフィードバック情報Fcを用いて発火タイミングに係る再学習を行ってもよい。すなわち、学習部220は、個々のアプリケーションにより取得されたフィードバック情報を、すべてのアプリケーションにおける発火タイミングの調整に用いることができる。
一方、学習部220は、図12Bに示すように、個々のアプリケーションに固有のフィードバック情報Faを用いて発火タイミングに係る再学習を行ってもよい。すなわち、学習部220は、個々のアプリケーションにより取得されたフィードバック情報を、取得元のアプリケーションの発火タイミングの調整にのみ用いてよい。当該構成によれば、アプリケーションごとのユーザの嗜好に応じた細やかな調整を行うことが可能となる。なお、この際、判定器M1は、アプリケーションごとにパラメータをロードすることで、各アプリケーションに応じた判定を行うことができる。
なお、図12Aや図12Bに示すように判定器M1を再学習する場合にあっては、学習部220は、フィードバックの内容に応じて最適な発火タイミングを推定し、当該推定に応じたラベルを自動で生成してよい。図13は、本実施形態に係る判定器M1を再学習する場合におけるラベル生成の具体例を示す図である。図13には、Homeからの退出に対するフィードバックと当該フィードバックに対応するラベルの生成方法が示されている。
例えば、フィードバックが、発火タイミングが早いことを示す場合、学習部220は、最適な発火タイミングが今回の発火タイミングよりも後ろにあると推定してよい。この際、学習部220は、今回の発火タイミングからT[s]後までをHomeとするラベルを生成してよい。
また、例えば、フィードバックが、発火タイミングが遅いことを示す場合、学習部220は、最適な発火タイミングが今回の発火タイミングよりも前にあると推定してよい。この際、学習部220は、今回の発火タイミングからT[s]前までをHomeとするラベルを生成してよい。
また、例えば、フィードバックが、問題がないことを示す場合、学習部220は、最適な発火タイミングが今回の発火タイミングであると推定してよい。この際、学習部220は、今回の発火結果を補正せずに教師データとして用いてよい。
また、例えば、フィードバックが示されない場合、学習部220は、最適な発火タイミングによる推定を行わなくてよい。この際、学習部220は、今回のデータを教師データとして用いなくてよい。
なお、図13におけるT[s]については、最初は5秒などの予め設定された値を用い、再学習の回数に応じて変化させてもよい。また、例えば、図10に示すように、フィードバックに、「少し」、「すごく」、「ちょっと」などの程度を示す内容が含まれる場合、学習部220は、当該内容から推定される程度に基づいてT[s]を調整することも可能である。
また、本実施形態に係る学習部220は、例えば、構築済みの判定器M1とは別途に、発火タイミングを調整する補正器M2を生成してもよい。図12Cおよび図12Dには、学習部220が補正器M2を生成する場合の構成パターンが示されている。
この際、学習部220は、図12Cに示すように、すべてのアプリケーションで共通のフィードバック情報Fcを用いて補正器M2を生成してもよい。当該構成によれば、発火タイミングの調整効果が早く現れる効果が期待される。
また、学習部220は、図12Dに示すように、個々のアプリケーションに固有のフィードバック情報Faを用いて補正器M2を生成してもよい。当該構成によれば、図12Cに示す構成と同様に、発火タイミングの調整効果が早く現れる効果が期待されると共に、アプリケーションごとの細やかな調整を行うことが可能となる。また、発火タイミングがアプリケーション特性にのみ依存して調整が必要な場合には、フィードバック情報Faや補正器M2をユーザ間で共有、共通化できるメリットも得ることができる。
なお、図12Cや図12Dに示すように判定器M1とは別途に補正器M2を生成する場合、学習部220は、補正値テーブルを用いた発火タイミングの補正を行うことができる。図14は、本実施形態に係る補正値テーブルの一例を占めす図である。図14には場所ごとの入場または退出に対する発火タイミングの補正値が示されている。なお、図14は、発火タイミングを遅らせる場合の一例である。この際、補正に用いるT[s]の値については、上述の場合と同様、固定値であってもよく、回数により変動させてもよく、また、フィードバックに含まれる程度を示す内容に基づいて設定されてもよい。
また、発火タイミングの補正がアプリケーションの特性に依存する場合、図14に示すような補正値テーブルは、家族や同僚などの間で共有されてもよい。また、場所に属性情報を持たせ、当該属性ごとに共通モデルを生成してもよい。上記の属性には、例えば、HomeやWorkplace、Storeなどが挙げられる。また、例えば、新たなアプリケーションがインストールされた場合には、当該アプリケーションと類似するアプリケーションで生成された補正値テーブルや、全アプリケーションに係る補正値テーブルの平均などを初期値として採用することも可能である。
以上、本実施形態のフィードバックに基づく再学習に係る構成パターンについて説明した。なお、上記で挙げたいずれのパターンを用いる場合でも、学習アルゴリズムには大きな影響はなく、場所ごとのフィードバックに応じて発火タイミングを調整することが可能である。
<<2.6.情報処理端末10および情報処理サーバ20の動作の流れ>>
次に、本実施形態に係る情報処理端末10および情報処理サーバ20の動作の流れについて説明する。まず、学習に係る情報処理サーバ20の動作の流れについて説明する。図15は、本実施形態に係る情報処理サーバ20の動作の流れを示すフローチャートである。
図15を参照すると、まず、情報処理サーバ20の端末通信部240は、情報処理端末10からセンサ情報を受信する(S1101)。ここで、上記のセンサ情報には、上述したとおり、教師データや生徒データが含まれてよい。
続いて、学習部220は、学習を継続するか否かを判定する(S1102)。当該判定は、例えば、ユーザによる継続設定などに基づいて行われてよい。
ここで、学習部220が学習を継続しないと判定した場合(S1102:No)、情報処理サーバ20は、フェンスの入退判定に係る学習の処理を終了する。
一方、学習部220が学習を継続すると判定した場合(S1102:Yes)、続いて、学習部220は、学習状況が十分か否かを判定する(S1103)。当該判定は、例えば、判別器によるコストなどの出力に基づいて行われてもよいし、生徒データによる判定精度などに基づいて行われてよい。また、学習回数などに基づいて行われてもよい。
ここで、学習部220が、学習状況が十分であると判定した場合(S1103:Yes)、続いて、学習部220は、情報処理端末10にセンサ情報の送信停止を要求する信号を送信させ(S1104)、情報処理サーバ20は一連の処理を終了する。
一方、学習部220が、学習状況が十分ではないと判定した場合(S1103:No)、続いて、学習部220は、学習タイミングであるか否かを判定する(S1105)。当該判定は、例えば、予め設定される時間帯などに基づいて行われてよい。
ここで、学習部220が、学習タイミングであると判定した場合(S1103:Yes)、続いて、学習部220は、ステップS1101で受信した教師データおよび生徒データに基づく学習を実行する(S1106)。なお、ステップS1106で用いられる教師データには、ノイズ除去部210によるノイズ除去処理が施されてもよい。
次に、端末通信部240は、ステップS1106において生成される判定器に係る情報を情報処理端末10に送信し(S1107)、情報処理サーバ20は、学習に係る一連の処理を終了する。
続いて、フェンスの入退判定における情報処理端末10の動作の流れを説明する。図16は、本実施形態に係るフェンスの入退判定における情報処理端末10の動作の流れを示すフローチャートである。
図16を参照すると、まず、情報処理端末10のセンサ部110は、センサ情報を収集する(S1201)。なお、上記のセンサ情報には、教師データや生徒データが含まれてよい。
次に、判定部120は、生徒データの学習状況が十分か否かを判定する(S1202)。ここで、判定部120が、生徒データの学習状況が十分であると判定した場合(S1202:Yes)、続いて判定部120は、センサ部110による教師データの収集を停止させる(S1203)。当該処理は、例えば、教師データが撮像データなど消費電力の高いデータである場合に特に有効である。一方、例えば、緯度経度データについては、生徒データとしても利用可能なため、教師データおよび生徒データの両方に用いることのできるセンサ情報については、生徒データとして必要な限りセンサ情報の収集を継続して行ってよい。
次に、判定部120は、生徒データに基づく判定を行い(S1204)、情報処理端末10は判定に係る一連の処理を終了する。
一方、判定部120が、生徒データの学習状況が十分ではないと判定した場合(S1202:No)には、続いて、判定部120は、教師データによる判定が可能か否かを判定する(S1205)。ここで、教師データによる判定が可能ではないと判定した場合(S1205:No)、判定部120は、教師データに基づく判定処理をスキップしてよい。すなわち、判定部120は、判定を行うに十分な教師データが蓄積されているか否かを判定することで、例えば、学習初日など、教師データが十分に蓄積されていない場合には、精度の低い判定を行わないよう制御することができる。
一方、教師データによる判定が可能であると判定した場合(S1205:Yes)、判定部120は、教師データに基づく判定を行う(S1206)また、続いて、判定部120は、さらなる学習を行うためにステップS1201において収集されたセンサ情報を情報処理サーバ20に送信する(S1207)。
以上、本実施形態に係る情報処理端末10および情報処理サーバ20の動作の流れについて説明した。なお、図15および図16を用いて説明した上記の流れはあくまで基本形であり、本実施形態に係る情報処理端末10および情報処理サーバ20の動作は、本開示に記載される内容や当該内容から想到される応用などによって柔軟に変形され得る。
<3.第2の実施形態>
<<3.1.第2の実施形態の概要>>
次に、本開示の第2の実施形態について説明する。上記の第1の実施形態では、フェンスに関する位置情報として信頼性の高いセンサ情報のみを用いることで、学習部220が自動的にラベルを生成する場合について述べた。一方、本開示に係る第2の実施形態では、フェンスに関する位置情報として信頼性の低いセンサ情報も学習に用いてよい。例えば、図3下部に示した緯度経度データの場合、学習部220は、確実にフェンスF1内にあるとは言い難い時刻t7~9の緯度経度データも併せて学習に用いることができる。
しかし、この場合、フェンスに関する位置情報として信頼性の低いデータについては、第1の実施形態のようにラベルを自動的に生成することが困難となってしまう。このため、本開示の第2の実施形態では、センサ情報から抽出される特徴量に基づいて生成されるデータ分布から、ラベル付けの要否を判定し、ユーザにラベルの付加を要求することができる。
図17は、本実施形態に係る学習部220により生成されるデータ分布図の一例を示す図である。上述したように、本実施形態では、フェンスに関する位置情報として信頼性の高いデータと信頼性の低いデータとの両方を用いた学習を行うことができる。すなわち、本実施形態に係る学習は、ラベルありデータとラベルなしデータの混在する半教師学習であってよい。この際、学習部220により抽出される特徴量から生成されるデータ分布図には、データ間の親近性に基づいた複数のクラスタが含まれ得る。図17の一例では、3つのクラスタA~Cが形成される場合が示されている。
一般的に、同一のクラスタに属するデータは、同一の正解ラベルに対応することが多い。このため、例えば、図17に示すように、クラスタAやCにHomeとラベル付けされたデータが存在する場合には、学習部220は、該当するクラスタに含まれるすべてのデータにHomeのラベルを付加してもよい。同様に、ラベルなしデータのみから形成されるクラスタCについても、すべてのデータは同一の正解ラベルに対応する可能性が高い。このため、本実施形態では、例えば、クラスタCにおいて、クラスタの重心に近いデータに対するラベル付けをユーザに要求することで、ユーザのラベル付けに係る負担を最小化しながら、ラベル付きデータの数を大幅に増加させ、より精度の高い入退判定を実現することを可能とする。
また、本実施形態では、クラスタの重心付近のほか、クラスタの境界付近に位置するデータに関するラベル付けを優先的にユーザに要求してもよい。この場合、尤度が低い領域を効果的に補強することが可能である。また、本実施形態では、行動認識などにより長時間の滞在を検出したことに基づいてユーザが確実にいる区間に係るラベル付けを要求してもよい。
この際、本実施形態に係る学習部220は、例えば、VAE(Variational AutoEncoder)を用いた半教師学習を行うニューラルネットワークを用いて上記の処理を行ってもよい。ここで、上記のVAEとは、DGM(Deep Generative Models)を学習するために、変分ベイズとオートエンコーダを融合した手法である。VAEでは、一般的なオートエンコーダとは異なり、ロス関数に代えて変分下限が用いられる。また、VAEでは、変分下限の計算のため、中間層に確率的な層(ガウスサンプリング層)を有することを特徴の一つとする。
VAEは従来、教師なし学習に用いられる手法であるが、本実施形態では、拡張されたVAEを用いることで半教師学習を行うことができる。より具体的には、本実施形態に係る学習部220は、拡張されたラベル入力付きのVAEと、認識モデルとを組み合わせることで半教師学習を行ってよい。
図18は、VAEを用いた半教師学習を行うニューラルネットワークNN1のネットワーク構造を示す図である。図18に示すように、ニューラルネットワークNN1は、モデルM1およびモデルM2から構成される。
ここで、モデルM1は、教師なし学習による事前学習を行うVAEである。より詳細には、モデルM1は、エンコーダe1により推論分布をモデル化し、デコーダd1により生成分布をモデル化することができる。この際、モデルM1の目的関数は、モデルエビデンスの変分下限により表現される。なお、上記目的関数に含まれる、内部変数zによる周辺化の処理はサンプリング積分により近似される。
また、モデルM2は、実際の半教師学習を行うモデルである。具体的には、モデルM2は、モデルM1が生成した特徴量を学習データとして半教師学習を行うことができる。すなわち、モデルM1による特徴抽出は、モデルM2に用いられる学習データの加工と見なすこともできる。
以上、本実施形態に係る学習の概要について述べた。なお、上記では、VAEを用いた半教師学習を例に説明したが、本実施形態に係る学習には、例えば、VAT(virtual adversarial training)やADGM(Auxiliary DGM)などのアルゴリズムが用いられてもよい。また、以下の説明においては、第1の実施形態との差異について中心に述べ、第1の実施形態と共通する構成や特徴、効果などについては、詳細な説明を省略する。
<<3.2.ラベルの付加要求に係る具体例>>
続いて、本実施形態に係るラベルの付加要求について具体例を挙げて説明する。情報処理端末10の動作制御部130は、学習部220がラベルの付加が必要であると判定したデータ、すなわちラベルなしデータに対するラベルの付加要求に係る出力を制御することができる。
図19は、本実施形態に係るラベルの付加要求の一例を示す図である。図19の一例の場合、動作制御部130は、スマートフォンである情報処理端末10の出力部140にラベルの付加を要求するウィンドウw1を表示させている。この際、ウィンドウw1には、ラベルを選択するためのボタンb1~b3などが配置されてよい。上記のような表示制御を行うことで、ユーザのラベル入力に係る負荷を低減することができる。また、動作制御部130は、図19に示すような出力制御をリアルタイムに行ってもよいし、付加の要求を記録し、履歴をまとめてユーザに提示してもよい。
図20は、動作制御部130が地図アプリケーン上においてラベルの付加要求に係る制御を行う場合の一例を示す図である。図20に示すように、本実施形態に係る動作制御部130は、ラベルの付加要求に係る複数の場所情報を出力部140に出力させてよい。図20の一例では、動作制御部130は、2つの場所P3およびP4に係る付加要求を同時に地図上に表示させている。このように、本実施形態に係る動作制御部130が付加要求に係る複数の場所を同時に可視化することにより、ユーザが直観的に判定の未熟な領域を知覚することが可能となる。
また、本実施形態に係る動作制御部130は、より効率的なラベルの付加を実現するために、アプリケーションの様態に応じたインセンティブをユーザに提供してもよい。例えば、動作制御部130は、付加要求に基づいて付加されたラベルの付加状況に基づいて、アプリケーション内で利用できる機能を開放するなどの制御を行ってもよい。
図21は、本実施形態に係るラベルの付加状況に応じたインセンティブについて説明するための図である。図21には、情報処理端末10の出力部140に出力されるアプリケーションのユーザインタフェースが示されている。図示するように、動作制御部130は、例えば、ユーザが行ったラベル付けの回数に応じて、フェンスの入退検出時に発火させることができる機能を開放してもよい。図21の一例には、通勤中に天気を読み上げる機能が解放されている状態が示されており、また、あと15回ラベル付けを行うことで、家を出た直後に天気を読み上げる機能が開放されることが示されている。このように、動作制御部130が、ラベルの付加要求に応じたインセンティブをユーザに提示することで、より活発なラベル付けを促すことが可能となる。
また、アプリケーションがゲームアプリケーションである場合などにあっては、動作制御部130は、ラベルの付加状況に応じて、アプリケーション内で利用できるアイテムや経験値などをユーザに提供してもよい。例えば、図21に示すキャラクターC1がゲームにおける育成対象である場合には、動作制御部130は、キャラクターC1を成長させるための経験値やキャラクターC1が装備できるアイテムなどを提供してもよい。また、上記の装備アイテムは、例えば、センサ情報の種別に基づいて設定されてもよい。例えば、上述したような靴に仕込んだモーションセンサにより収集されるセンサ情報には、服や鎧などのアイテムが、ドアから取得されるセンサ情報には、盾などが設定されてもよい。また、動作制御部130は、上記のようなアイテムがラベル付けが不足している場所では、装備から外れるように制御することで、ユーザの自律的なラベル付けを促すことも可能である。
また、本実施形態では、他の装置から得られたセンサ情報に基づいて、ラベルの付加要求が行われてもよい。例えば、動作制御部130は、室内カメラなどから得られる撮像センサがユーザの所在を示すことに基づいて、ラベルの付加要求に係る出力制御を行ってもよい。この場合、例えば、ユーザが確実にHomeにいる際に得られる教師データに確実性のあるラベルを付加できる可能性を高めることができる。
また、本実施形態に係る動作制御部130は、第1の実施形態において述べたようなユーザのフィードバックに基づいて、ラベルの付加要求に係る出力制御を行ってもよい。例えば、動作制御部130は、ユーザが発火タイミングが早い、または遅いと入力した際に、ラベルの付加要求を行ってよい。上記の機能によれば、ユーザが機能に不満を感じている際に、改善策を提示することができ、より効果的なラベルの付加要求を実現することができる。
<<3.3.第1の実施形態との効果の比較>>
以上、本開示の第2の実施形態について説明した。上述したように、本実施形態によれば、フェンスに関する位置情報として信頼性の低いデータも学習に用いることが可能となる。ここで、本開示に係る第1の実施形態による効果と第2の実施形態に係る効果とを比較する。
図22は、本開示に係る第1および第2の実施形態が奏する効果について説明するための模式図である。図22には、収集されるセンサ情報に対し、手動で厳密なラベル付加を十分な日数実施した際の発火精度R1、第1の実施形態に係る発火精度R2、および第2の実施形態に係る発火精度R3の関係が示されている。
図22を参照すると、手動による厳密なラベル付加を行う場合、高い発火精度が期待できることがわかる。しかし、手動による厳密なラベル付加は、実験的に行う場合を除き、ユーザにとっての負担が大きく現実的とはいえない。また、アプリケーション別にラベル付けが必要な場合には、ユーザの負担はさらに増大することとなる。
一方、第1の実施形態に係る発火精度R2は、手動による厳密なラベル付加を行う場合と比較して多少精度が犠牲となるものの、ラベルの自動生成を実現することでユーザの負担なしに実現することができる。さらに、第2の実施形態に係る発火精度R3は、第1の実施形態に係る発火精度R2と比較して多少ユーザの負担は増加するものの、厳密なラベル付加を行う場合と同等になることが期待できる。このように、本開示の第2の実施形態によれば、ラベルの付加に係るユーザの負担を最小限化しながらも効率的にラベルを収集し、精度の高い入退判定を実現することが可能となる。
<4.第3の実施形態>
<<4.1.第3の実施形態の概要>>
次に、本開示の第3の実施形態について説明する。上記の第1の実施形態および第2の実施形態では、主にフェンスの入退判定に係る発火精度を向上させるための手法について説明した。一方、本開示の第3の実施形態による機能は、より操作性および利便性の高いフェンスアプリケーションを提供するものである。
例えば、多くのフェンスアプリケーションでは、フェンスの設定および判定に関し、単一の明確な境界を用いる場合がほとんどである。すなわち、多くのフェンスアプリケーションでは、フェンスの設定に単一の値や実線円などを用いており、収集されたデータが当該値や実線円などに対応する閾値を超えるか否かによりフェンスの判定を行っている。しかし、フェンスの数が増加するにつれ入力負担が増加することから、ユーザがより曖昧なフェンス設定を望む場合も想定される。上記の曖昧なフェンス設定には、例えば、「17:00頃」という時間に関する曖昧設定や、「場所Aの近くまで来たら」などの場所に関する曖昧設定などが挙げられる。
このため、本開示の第3の実施形態では、ユーザにより入力された曖昧なフェンス設定に基づいてフェンスを自動的に設定し、当該フェンスに対しより柔軟な発火制御を行うことを可能とする。本実施形態が有する上記の機能によれば、フェンス設定に対するユーザの入力負担を軽減すると共に、よりユーザの意図に沿った機能発火を実現することができる。
以上、本実施形態に係る学習の概要について述べた。なお、以下の説明においては、第1の実施形態および第2の実施形態との差異について中心に述べ、第1の実施形態および第2の実施形態と共通する構成や特徴、効果などについては、詳細な説明を省略する。
<<4.2.曖昧なフェンス設定の具体例>>
続いて、本実施形態に係る曖昧なフェンス設定、および当該曖昧なフェンス設定に対する発火制御の具体例について述べる。上述したように、本実施形態では、ユーザにより入力された曖昧なフェンス設定に対し、柔軟な発火制御を行うことができる。ここで、上記の曖昧なフェンス設定は、例えば、場所や時間に関するものであってよい。
図23は、本実施形態に係る曖昧なフェンス設定の一例である。図23には、情報処理端末10の出力部140に表示されるユーザインタフェースにおいて、ユーザが場所に係る曖昧なフェンス設定を行う場合の例が示されている。図23の一例の場合、ユーザは、指UFを用いたタッチ操作などにより、フェンスF2aおよびフェンスF2bを設定している。
ここで、ユーザは、上記の2つのフェンスF2aおよびF2bを別途の操作によりそれぞれ個別に設定しなくてよい。すなわち、本実施形態に係る動作制御部130は、入力部150により検出された曖昧入力に基づいて、指定領域すなわちフェンスF2aおよびF2bを自動的に設定することができる。より具体的には、本実施形態に係る動作制御部130は、フェンスの入力に係るユーザインタフェースを出力部140に出力させ、当該ユーザインタフェースにおいて入力される曖昧入力に基づいて、フェンスを設定してよい。
ここで、上記の曖昧入力には、図23に示すようなユーザインタフェースにおけるタッチ操作が含まれてよい。なお、上記のタッチ操作には、例えば、タップ、スワイプ、ドラッグ、フリック、ピンチなどの種々の操作が含まれ得る。このため、本実施形態に係る動作制御部130は、例えば、入力部150が検出したタッチ操作の時間や強度、種別、間隔などの判定し、図23に示すようなF2aおよびF2bを設定してよい。
この場合、動作制御部130は、例えば、図23に示すように、濃淡の異なる同心円などを用いて曖昧なフェンス設定を行ってもよい。この際、動作制御部130は、例えば、濃度の薄いフェンスF2aについては確信度が高い場合にのみ機能を発火させ、濃度の濃いフェンスF2bについては確信度が低い場合であっても機能を発火させるなどの動作制御を行うことができる。
なお、図23では、動作制御部130がユーザのタッチ操作に応じた濃淡の異なる同心円によりフェンスを設定する場合の例について説明したが、本実施形態に係る動作制御部130により設定される曖昧なフェンスの形状は係る例に限定されない。例えば、動作制御部130が設定する曖昧なフェンスは、三角形や四角形、その他の多角形であってもよいし、より柔軟または複雑な形状であってもよい。また、例えば、動作制御部130は、ユーザがタップ操作により指定した複数のポイントからフェンスの形状を自動的に生成することも可能である。この場合、ユーザはより少ない操作でフェンスを設定することができ、負担を軽減することができる。
また、本実施形態のフェンス設定に係る曖昧入力は、図23に示したようなタッチ操作に限定されない。ユーザは、例えば、発話によりフェンスの設定を行ってもよい。本実施形態に係る動作制御部130は、音声認識により文字列化されたユーザの発話に基づいて、曖昧なフェンス設定を行うことも可能である。すなわち、本実施形態に係る曖昧入力には、文字列入力が含まれてよい。
図24は、本実施形態に係る文字列入力による曖昧なフェンス設定の一例を示す図である。図24の上部には、ユーザUが行った発話S1に基づいて、動作制御部130がフェンスF3を設定する場合の例が示されている。本例では、発話S1は、「交差点で」、という明確な入力であってよい。この場合、本実施形態に係る動作制御部130は、確信度が高い場合にのみ機能を発火させる、濃度の薄いフェンスF3を自動的に設定してもよい。
一方、図24の下部には、ユーザUが行った発話S2に基づいて、動作制御部130がフェンスF4を設定する場合の例が示されている。本例では、発話S2は、「交差点あたりで」、という曖昧な入力であってよい。この場合、本実施形態に係る動作制御部130は、確信度が低い場合にも機能を発火させる、濃度の濃いフェンスF4を自動的に設定してもよいし、中心にいくほど濃度の濃い多層円(グラデーション)を自動的に設定してもよい。すなわち、本実施形態に係る曖昧なフェンスの段階は濃淡の2段階に限定されない。また、この際、動作制御部130は、フェンスF4を図24の上部に示すフェンスF3よりも広範囲に設定してもよい。
また、本実施形態に係る動作制御部130は、上記のような曖昧なフェンス設定に関し、ユーザの日常における要素をパラメータとして用いてもよい。例えば、ユーザが、「Aさんが近くに来たら教えて」、という発話を行った場合を想定する。この際、ユーザが日本在住でありAさんがアメリカ在住である場合、動作制御部130は、Aさんが来日した場合に機能を発火せるフェンスを設定してもよい。また、動作制御部130は、「Aさんが来日したらお知らせしますね」などの出力を行わせることで、ユーザにフェンス設定の通知を行ってもよい。
一方、ユーザが渋谷在住でありAさんが新宿在住である場合、動作制御部130は、Aさんが一駅以内に接近した場合に機能を発火せるフェンスを設定してもよい。また、動作制御部130は、「Aさんが一駅以内に来たらお知らせしますね」などの出力を行わせることで、ユーザにフェンス設定の通知を行ってもよい。
他方、ユーザとAさんとが普段隣合わせで仕事を行っている場合、動作制御部130は、Aさんが職場以外において接近した場合に機能を発火せるフェンスを設定してもよい。また、動作制御部130は、「Aさんが職場以外で近くに来たらお知らせしますね」などの出力を行わせることで、ユーザにフェンス設定の通知を行ってもよい。本実施形態に係る動作制御部130が有する上記の機能によれば、ユーザの日常に係るパラメータをフェンス設定に動的に用いることが可能となり、ユーザにより負担が少なく、また違和感のないフェンスアプリケーションを実現することができる。
以上、本実施形態に係る曖昧入力に基づくフェンス設定の具体例について説明した。このように、本実施形態に係る動作制御部130によれば、フェンス設定に係るユーザの入力負担を軽減すると共に、より柔軟なフェンス設定を実現することが可能となる。
なお、上記のように設定されるフェンスに基づき提供される機能には、情報通知が想定される。動作制御部130は、例えば、フェンスの濃度を加味して通知のキューを制御してもよい。具体例としては、ニュースや動画などのコンテンツを連続して再生するアプリケーションなどにおいて、動作制御部130は、濃度が濃い際には、コンテンツをキューの先頭に割り込ませるなどの制御を行ってよい。また、濃度が閾値を超える場合には、動作制御部130は、再生途中にコンテンツを切り替えるなどの制御を行うことも可能である。この際、動作制御部130が、例えば、「番組の途中ですが、ここでニュースです」、などの出力を挟ませることで、ユーザにより違和感の少ない情報提供を行うことができる。なお、コンテンツの濃度が薄い場合には、動作制御部130は、明示的に割り込みが容認されることを示すフラグなどを立てて制御を行ってもよい。
また、例えば、曖昧なフェンス設定に基づき提供される機能には、情報処理端末10などの各種の設定制御などが挙げられる。例えば、画面輝度やWi-Fi、GNSSなどによる測位間隔は、段階的に設定が可能な場合もある。このため本実施形態に係る動作制御部130は、段階的に設定が可能な場合には、濃度の濃さに応じた制御を行うことで、柔軟な設定変更を実現してもよい。一例としては、動作制御部130は、濃度が薄いフェンスに関しては、Wi-Fi検出などに係る間隔を必要以上に長くしないよう制御を行ってもよい。
また、本実施形態に係る動作制御部130は、フェンスの濃度に応じた多様な表現制御を行ってもよい。上記の表現制御には、例えば、ヘッドマウントディスプレイや眼鏡型ウェアラブルデバイスである情報処理端末10における重畳表現や、音声表現なども含まれてよい。例えば、本実施形態に係る動作制御部130は、フェンスの濃さに応じた円柱などを重畳させることで、ユーザがより直観的に設定を知覚できるよう制御を行うこともできる。
<5.ハードウェア構成例>
次に、本開示に係る情報処理端末10および情報処理サーバ20に共通するハードウェア構成例について説明する。図25は、本開示に係る情報処理端末10および情報処理サーバ20のハードウェア構成例を示すブロック図である。図25を参照すると、本開示に係る情報処理端末10および情報処理サーバ20は、例えば、CPU871と、ROM872と、RAM873と、ホストバス874と、ブリッジ875と、外部バス876と、インタフェース877と、入力装置878と、出力装置879と、ストレージ880と、ドライブ881と、接続ポート882と、通信装置883と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
(CPU871)
CPU871は、例えば、演算処理装置又は制御装置として機能し、ROM872、RAM873、ストレージ880、又はリムーバブル記録媒体901に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
(ROM872、RAM873)
ROM872は、CPU871に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM873には、例えば、CPU871に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
(ホストバス874、ブリッジ875、外部バス876、インタフェース877)
CPU871、ROM872、RAM873は、例えば、高速なデータ伝送が可能なホストバス874を介して相互に接続される。一方、ホストバス874は、例えば、ブリッジ875を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス876は、インタフェース877を介して種々の構成要素と接続される。
(入力装置878)
入力装置878には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置878としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。また、入力装置878には、マイクロフォンなどの音声入力装置が含まれる。
(出力装置879)
出力装置879は、例えば、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
(ストレージ880)
ストレージ880は、各種のデータを格納するための装置である。ストレージ880としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
(ドライブ881)
ドライブ881は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体901に記録された情報を読み出し、又はリムーバブル記録媒体901に情報を書き込む装置である。
(リムーバブル記録媒体901)
リムーバブル記録媒体901は、例えば、DVDメディア、Blu-ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体901は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
(接続ポート882)
接続ポート882は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS-232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。
(外部接続機器902)
外部接続機器902は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
(通信装置883)
通信装置883は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。
<6.まとめ>
以上説明したように、本開示に係る情報処理端末10は、フェンスの入退判定に係る学習において教師データや生徒データとして用いられる種々のセンサ情報を収集することができる。また、本開示に係る学習手法によれば、収集された教師データに基づきラベルを自動生成し、また精度の高い判定器を生成することができる。また、本開示に係る情報処理端末10は、生成された判定器を用いて、フェンスの入退に係る判定を行い、種々のアプリケーションの動作を柔軟に制御することができる。係る構成によれば、ユーザの負担を増やさずに、より精度高く入退を検出することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
また、本明細書の情報処理端末10および情報処理サーバ20の処理に係る各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理端末10および情報処理サーバ20の処理に係る各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
収集されたセンサ情報に基づいて、指定領域に係る入退を判定する判定部、
を備え、
前記判定部は、前記入退に係るデータを関連付けて学習された学習結果に基づいて、前記入退に係る判定を行う、
情報処理装置。
(2)
前記判定部は、前記教師データと生徒データとを関連付けて学習された学習結果に基づいて、前記入退に係る判定を行い、
前記生徒データは、前記センサ情報と同種のセンサデータを含む、
前記(1)に記載の情報処理装置。
(3)
前記教師データは、緯度経度データまたは紫外線データのうち少なくともいずれかを含む、
前記(2)に記載の情報処理装置。
(4)
前記教師データは、ノイズ除去された緯度経度データを含む、
前記(2)または(3)に記載の情報処理装置。
(5)
前記生徒データは、無線信号を含む、
前記(2)~(4)のいずれかに記載の情報処理装置。
(6)
前記判定部による判定の結果に基づいてアプリケーションの制御を行う動作制御部、
をさらに備える、
前記(1)~(5)のいずれかに記載の情報処理装置。
(7)
前記動作制御部は、前記アプリケーションの動作タイミングに対するフィードバックに基づいて学習された学習結果に基づいて、前記アプリケーションの制御を行う、
前記(6)に記載の情報処理装置。
(8)
前記動作制御部は、前記フィードバックの要求に係る出力を制御する、
前記(7)に記載の情報処理装置。
(9)
前記判定部は、ラベルなしデータを含んで学習された学習結果に基づいて、前記入退に係る判定を行う、
前記(6)に記載の情報処理装置。
(10)
前記動作制御部は、前記ラベルなしデータに対するラベルの付加要求に係る出力を制御する、
前記(9)に記載の情報処理装置。
(11)
前記動作制御部は、前記付加要求に係る複数の場所情報を出力させる、
前記(10)に記載の情報処理装置。
(12)
前記動作制御部は、前記付加要求に基づいて付加された前記ラベルの付加状況に基づいて、前記アプリケーションの動作を制御する、
前記(10)または(11)に記載の情報処理装置。
(13)
前記動作制御部は、検出された曖昧入力に基づいて前記指定領域を設定する、
前記(6)~(12)のいずれかに記載の情報処理装置。
(14)
前記動作制御部は、前記指定領域の入力に係るユーザインタフェースを出力させ、前記ユーザインタフェースにおいて入力される前記曖昧入力に基づいて、前記指定領域を設定する、
前記(13)の記載の情報処理装置。
(15)
前記曖昧入力は、前記ユーザインタフェースにおけるタッチ操作を含む、
前記(14)に記載の情報処理装置。
(16)
前記曖昧入力は、文字列入力を含む、
前記(13)~(15)のいずれかに記載の情報処理装置。
(17)
前記センサ情報を収集するセンサ部、
をさらに含む、
前記(1)~(16)のいずれかに記載の情報処理装置。
(18)
前記センサ情報に基づく学習を行う学習部、
をさらに備える、
前記(1)~(17)のいずれかに記載の情報処理装置。
(19)
プロセッサが、
収集されたセンサ情報に基づいて、指定領域に係る入退を判定すること、
を含み、
前記判定することは、前記入退に係るデータを関連付けて学習された学習結果に基づいて、前記入退に係る判定を行うこと、
をさらに含む、
情報処理方法。
(20)
コンピュータを、
収集されたセンサ情報に基づいて、指定領域に係る入退を判定する判定部、
を備え、
前記判定部は、前記入退に係るデータを関連付けて学習された学習結果に基づいて、前記入退に係る判定を行う、
情報処理装置、
として機能させるためのプログラム。
10 情報処理端末
110 センサ部
120 判定部
130 動作制御部
140 出力部
150 入力部
160 サーバ通信部
20 情報処理サーバ
210 ノイズ除去部
220 学習部
230 学習データ記憶部
240 端末通信部
30 ネットワーク

Claims (12)

  1. ユーザが保持する情報処理装置のセンサによって取得された測位情報を含む情報に基づいて、実際の空間上の指定領域に係る前記ユーザの入退を判定する判定部と、
    前記ユーザにより入力された曖昧入力に基づいて前記指定領域を設定するとともに、前記判定部による判定の結果に基づいてアプリケーションの制御を行う動作制御部と、
    を備え、
    前記判定部は、前記情報処理装置のセンサによって取得された情報である前記入退に係るデータを関連付けて学習された学習結果であって、ラベルなしデータを含んで学習された学習結果に基づいて、前記入退に係る判定を行い、
    前記動作制御部は、前記ラベルなしデータに対するラベルの付加要求に係る出力を制御する、
    情報処理装置。
  2. 前記動作制御部は、前記アプリケーションの動作タイミングに対する前記ユーザのフィードバックに基づいて学習された学習結果に基づいて、前記アプリケーションの制御を行う、
    請求項1に記載の情報処理装置。
  3. 前記動作制御部は、前記フィードバックの要求に係る出力を制御する、
    請求項2に記載の情報処理装置。
  4. 前記動作制御部は、前記付加要求に係る複数の場所情報を出力させる、
    請求項1に記載の情報処理装置。
  5. 前記動作制御部は、前記付加要求に基づいて付加された前記ラベルの付加状況に基づいて、前記アプリケーションの動作を制御する、
    請求項1に記載の情報処理装置。
  6. 前記動作制御部は、前記指定領域の入力に係るユーザインタフェースを出力させ、前記ユーザインタフェースにおいて入力される前記曖昧入力に基づいて、前記指定領域を設定する、
    請求項に記載の情報処理装置。
  7. 前記曖昧入力は、前記ユーザインタフェースにおけるタッチ操作を含む、
    請求項に記載の情報処理装置。
  8. 前記曖昧入力は、文字列入力を含む、
    請求項に記載の情報処理装置。
  9. 前記測位情報を収集するセンサ部、
    をさらに含む、
    請求項1に記載の情報処理装置。
  10. 前記測位情報に基づく学習を行う学習部、
    をさらに備える、
    請求項1に記載の情報処理装置。
  11. プロセッサが、
    ユーザが保持する情報処理装置のセンサによって取得された測位情報を含む情報に基づいて、実際の空間上の指定領域に係る前記ユーザの入退を判定することと、
    前記ユーザにより入力された曖昧入力に基づいて前記指定領域を設定するとともに、前記判定の結果に基づいてアプリケーションの制御を行うことと、
    を含み、
    前記判定することは、前記情報処理装置のセンサによって取得された情報である前記入退に係るデータを関連付けて学習された学習結果であって、ラベルなしデータを含んで学習された学習結果に基づいて、前記入退に係る判定を行い、
    前記制御することは、前記ラベルなしデータに対するラベルの付加要求に係る出力を制御すること、
    をさらに含む、
    情報処理方法。
  12. コンピュータを、
    ユーザが保持する情報処理装置のセンサによって取得された測位情報を含む情報に基づいて、実際の空間上の指定領域に係る前記ユーザの入退を判定する判定部と、
    前記ユーザにより入力された曖昧入力に基づいて前記指定領域を設定するとともに、前記判定部による判定の結果に基づいてアプリケーションの制御を行う動作制御部と、
    を備え、
    前記判定部は、前記情報処理装置のセンサによって取得された情報である前記入退に係るデータを関連付けて学習された学習結果であって、ラベルなしデータを含んで学習された学習結果に基づいて、前記入退に係る判定を行い、
    前記動作制御部は、前記ラベルなしデータに対するラベルの付加要求に係る出力を制御する、
    情報処理装置、
    として機能させるためのプログラム。
JP2019501059A 2017-02-22 2017-11-30 情報処理装置、情報処理方法、およびプログラム Active JP7103337B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017031021 2017-02-22
JP2017031021 2017-02-22
PCT/JP2017/042939 WO2018154900A1 (ja) 2017-02-22 2017-11-30 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2018154900A1 JPWO2018154900A1 (ja) 2019-12-19
JP7103337B2 true JP7103337B2 (ja) 2022-07-20

Family

ID=63254181

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019501059A Active JP7103337B2 (ja) 2017-02-22 2017-11-30 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US10791420B2 (ja)
JP (1) JP7103337B2 (ja)
CN (1) CN110291422B (ja)
WO (1) WO2018154900A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242106B (zh) * 2018-09-07 2022-07-26 百度在线网络技术(北京)有限公司 样本处理方法、装置、设备和存储介质
CN111492424A (zh) * 2018-10-19 2020-08-04 索尼公司 信息处理设备、信息处理方法以及信息处理程序
JP2020095428A (ja) 2018-12-12 2020-06-18 株式会社東芝 モデル学習システム、モデル学習方法、プログラム、及び記憶媒体
JP7355299B2 (ja) * 2019-06-14 2023-10-03 Awl株式会社 学習用データセット生成システム、学習サーバ、及び学習用データセット生成プログラム
JPWO2021024594A1 (ja) * 2019-08-06 2021-02-11
US20230286463A1 (en) 2020-06-26 2023-09-14 Sony Group Corporation Information processing device, information processing method, information processing program, and information processing system
CN112146660B (zh) * 2020-09-25 2022-05-03 电子科技大学 一种基于动态词向量的室内地图定位方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005099018A (ja) 2003-09-22 2005-04-14 Fujitsu Ltd ミニビーコンを用いて位置決定を行うシステム、装置、方法及び媒体
JP2014192813A (ja) 2013-03-28 2014-10-06 Kddi Corp チャネル毎の電波受信強度に基づいて特定位置を検知する端末、方法及びプログラム
US20160040902A1 (en) 2014-08-06 2016-02-11 Yogendra C. Shah Occupancy-based Service Delivery Systems and Methods
JP2016212050A (ja) 2015-05-13 2016-12-15 株式会社リコー 位置管理システム、位置管理装置、位置管理方法、及びプログラム
US20160379456A1 (en) 2015-06-24 2016-12-29 Google Inc. Systems and methods of home-specific sound event detection

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8229458B2 (en) * 2007-04-08 2012-07-24 Enhanced Geographic Llc Systems and methods to determine the name of a location visited by a user of a wireless device
JP2012003494A (ja) * 2010-06-16 2012-01-05 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2012008771A (ja) * 2010-06-24 2012-01-12 Sony Corp 情報処理装置、情報処理システム、情報処理方法およびプログラム
US8990107B2 (en) * 2011-10-21 2015-03-24 Alohar Mobile Inc. Determining user stays of a user of a mobile device
US8750895B2 (en) * 2011-06-03 2014-06-10 Apple Inc. Monitoring a geofence using wireless access points
US20130262479A1 (en) * 2011-10-08 2013-10-03 Alohar Mobile Inc. Points of interest (poi) ranking based on mobile user related data
US8768876B2 (en) * 2012-02-24 2014-07-01 Placed, Inc. Inference pipeline system and method
US20140337123A1 (en) * 2013-03-15 2014-11-13 30 Second Software, Inc. System and method for adaptive use of geofence parameters
WO2015056928A1 (en) * 2013-10-17 2015-04-23 Samsung Electronics Co., Ltd. Contextualizing sensor, service and device data with mobile devices
US9506761B2 (en) * 2014-01-10 2016-11-29 Alcatel Lucent Method and apparatus for indoor position tagging
WO2015178065A1 (ja) 2014-05-22 2015-11-26 ソニー株式会社 情報処理装置および情報処理方法
US20160300389A1 (en) * 2015-04-08 2016-10-13 Exactigo, Inc. Correlated immersive virtual simulation for indoor navigation
US9949089B2 (en) 2015-05-13 2018-04-17 Ricoh Company, Ltd. Position management system, position management apparatus, and position management method
US10244363B1 (en) * 2015-12-28 2019-03-26 Amazon Technologies, Inc. Entry portal identification system
US10405138B2 (en) * 2016-01-28 2019-09-03 Huawei Technologies Co., Ltd. Method and device for outputting notification
CN105744479B (zh) * 2016-03-09 2019-06-04 深圳微自然创新科技有限公司 一种基于自适应地理围栏技术的设备控制方法及相关装置
US9781575B1 (en) * 2016-03-30 2017-10-03 Intel Corporation Autonomous semantic labeling of physical locations
US10034263B2 (en) * 2016-06-30 2018-07-24 Hewlett Packard Enterprise Development Lp Determining scale for received signal strength indicators and coordinate information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005099018A (ja) 2003-09-22 2005-04-14 Fujitsu Ltd ミニビーコンを用いて位置決定を行うシステム、装置、方法及び媒体
JP2014192813A (ja) 2013-03-28 2014-10-06 Kddi Corp チャネル毎の電波受信強度に基づいて特定位置を検知する端末、方法及びプログラム
US20160040902A1 (en) 2014-08-06 2016-02-11 Yogendra C. Shah Occupancy-based Service Delivery Systems and Methods
JP2016212050A (ja) 2015-05-13 2016-12-15 株式会社リコー 位置管理システム、位置管理装置、位置管理方法、及びプログラム
US20160379456A1 (en) 2015-06-24 2016-12-29 Google Inc. Systems and methods of home-specific sound event detection

Also Published As

Publication number Publication date
US20190373404A1 (en) 2019-12-05
WO2018154900A1 (ja) 2018-08-30
JPWO2018154900A1 (ja) 2019-12-19
CN110291422A (zh) 2019-09-27
CN110291422B (zh) 2023-11-24
US10791420B2 (en) 2020-09-29

Similar Documents

Publication Publication Date Title
JP7103337B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US11418893B2 (en) Selective modification of background noises
US10853650B2 (en) Information processing apparatus, information processing method, and program
US11408629B2 (en) Artificial intelligence device
US10467509B2 (en) Computationally-efficient human-identifying smart assistant computer
CN109792577B (zh) 信息处理设备、信息处理方法和计算机可读存储介质
US20160149547A1 (en) Automated audio adjustment
US11466886B2 (en) Artificial intelligence device and artificial intelligence system for managing indoor air condition
WO2015194098A1 (en) Information processing apparatus, information processing method, and program
WO2016072118A1 (ja) 情報処理システム、記憶媒体、および制御方法
KR20140064969A (ko) 콘텍스트―기반 스마트폰 센서 로직
JP6311478B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR20190074011A (ko) 음성 인식 장치 및 방법
KR20190094319A (ko) 음성 추출 필터를 이용하여 음성 제어를 수행하는 인공 지능 장치 및 그 방법
JP6739115B6 (ja) 危険度判別プログラム及びシステム
US11429086B1 (en) Modifying functions of computing devices based on environment
KR20220082577A (ko) 전자장치 및 그의 제어방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220620

R151 Written notification of patent or utility model registration

Ref document number: 7103337

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151