JP5895716B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP5895716B2
JP5895716B2 JP2012126052A JP2012126052A JP5895716B2 JP 5895716 B2 JP5895716 B2 JP 5895716B2 JP 2012126052 A JP2012126052 A JP 2012126052A JP 2012126052 A JP2012126052 A JP 2012126052A JP 5895716 B2 JP5895716 B2 JP 5895716B2
Authority
JP
Japan
Prior art keywords
information
experience
behavior
unit
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012126052A
Other languages
English (en)
Other versions
JP2013250862A (ja
JP2013250862A5 (ja
Inventor
高村 成一
成一 高村
康治 浅野
康治 浅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012126052A priority Critical patent/JP5895716B2/ja
Priority to US13/858,287 priority patent/US9369535B2/en
Priority to CN201310196924.9A priority patent/CN103457989B/zh
Publication of JP2013250862A publication Critical patent/JP2013250862A/ja
Publication of JP2013250862A5 publication Critical patent/JP2013250862A5/ja
Application granted granted Critical
Publication of JP5895716B2 publication Critical patent/JP5895716B2/ja
Priority to US15/152,277 priority patent/US20160255164A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/535Tracking the activity of the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/025Services making use of location information using location based information parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/62Establishing a time schedule for servicing the requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/12Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Description

本技術は、情報処理装置、情報処理方法、及びプログラムに関する。
携帯電話等の携帯端末にモーションセンサを搭載し、ユーザの行動履歴を自動的に検出して記録できるようにする技術に注目が集まっている。例えば、下記の特許文献1には、加速度センサやジャイロセンサ等のモーションセンサを利用し、歩く動作、走る動作、左右にターンする動作、静止状態を検知する技術が開示されている。同文献には、モーションセンサの出力データから、歩行ピッチ、歩行パワー、重力軸まわりの回転角を算出し、その算出結果を用いて歩く動作、走る動作、左右にターンする動作、及び静止状態を検知する方法が記載されている。
さらに、同文献には、これらの動作や状態の種類、動作や状態が継続していた時間、動作回数等、動作や状態のパターンを入力とする統計的な処理によりユーザの行動パターンを検知する方法が記載されている。上記の方法を用いると、「のんびりした歩行」や「せわしない動作」といった行動パターンを時系列のデータとして得ることができる。しかし、この方法で得られる行動パターンは、比較的短時間に行われるユーザの動作や状態を主に表現したものである。そのため、「今日はデパートで買い物をした」「昨日はホテルのレストランで食事をした」等、具体的な行動内容を行動パターンの履歴から推察することは難しい。
下記の特許文献1に記載の方法を用いて得られる行動パターンは、比較的短時間に行われる行動の積み重ねである。そして、当該行動パターンを形成する個々の行動自体は、ユーザが目的を持って行っているものではない。一方、具体的な行動内容は、ユーザが目的を持って行っているものが多く、比較的長時間にわたって行われるエンタテイメント性の高いものである。そのため、短時間で行われる行動の積み重ねから上記のような具体的な行動内容を窺い知ることは難しい。しかし、最近、モーションセンサを用いて得られる比較的短時間の行動パターンから、比較的長時間にわたり行われるエンタテイメント性の高い行動パターンを検出する技術が開発された(下記の特許文献2を参照)。
特開2008−003655号公報 特開2011−081431号公報
一方、近年では、ユーザを取りまくネットワーク環境の高度化や多様化が進んでおり、ユーザが自身で入力したコメントを、ネットワーク上のサーバにアップロードするソーシャルネットワークサービスが普及してきている。このようなコメントには、ユーザの行動や意図に関する情報が含まれる場合もある。
本技術は、このような事情を受けて考案されたものであり、位置センサやモーションセンサから取得した情報に基づいた行動パターン認識結果と、位置センサやモーションセンサから取得した情報以外の情報とを組み合わせ、より高度な情報を提供することが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提供することを意図している。
本技術のある観点によれば、テキスト情報からユーザの体験を示す体験情報を抽出する体験抽出部と、センサ情報から行動パターンを抽出する行動抽出部と、体験情報と行動パターンとの対応関係を示す関係情報に基づいて前記センサ情報から抽出された行動パターンに対応する体験情報を抽出する対応体験抽出部と、前記テキスト情報から抽出された体験情報に関する情報と、前記行動パターンに対応する体験情報に関する情報とを併せて表示させる表示制御部と、を備える、情報処理装置が提供される。
また、本技術の別の観点によれば、テキスト情報からユーザの体験を示す体験情報を抽出するステップと、センサ情報から行動パターンを抽出するステップと、体験情報と行動パターンとの対応関係を示す関係情報に基づいて前記センサ情報から抽出された行動パターンに対応する体験情報を抽出するステップと、前記テキスト情報から抽出された体験情報に関する情報と、前記行動パターンに対応する体験情報に関する情報とを併せて表示させるステップと、を含む、情報処理方法が提供される。
また、本技術の別の観点によれば、テキスト情報からユーザの体験を示す体験情報を抽出する体験抽出機能と、センサ情報から行動パターンを抽出する行動抽出機能と、体験情報と行動パターンとの対応関係を示す関係情報に基づいて前記センサ情報から抽出された行動パターンに対応する体験情報を抽出する対応体験抽出機能と、前記テキスト情報から抽出された体験情報に関する情報と、前記行動パターンに対応する体験情報に関する情報とを併せて表示させる表示制御機能と、をコンピュータに実現させるためのプログラムが提供される。
また、本技術の別の観点によれば、上記のプログラムが記録された、コンピュータに読み取り可能な記録媒体が提供される。
以上説明したように本技術によれば、位置センサやモーションセンサから取得した情報に基づいた行動パターン認識結果と、位置センサやモーションセンサから取得した情報以外の情報とを組み合わせ、より高度な情報を提供することが可能になる。
行動・状況解析システムの構成例について説明するための説明図である。 動き・状態認識部の機能について説明するための説明図である。 動き・状態認識部の機能について説明するための説明図である。 GIS情報取得部の機能について説明するための説明図である。 GIS情報取得部の機能について説明するための説明図である。 GIS情報取得部の機能について説明するための説明図である。 GIS情報取得部の機能について説明するための説明図である。 行動・状況認識部の機能について説明するための説明図である。 行動・状況認識部の機能について説明するための説明図である。 動作・状態パターンの判定方法について説明するための説明図である。 ジオヒストグラムを利用したスコア分布の算出方法について説明するための説明図である。 機械学習を利用したスコア分布の算出方法について説明するための説明図である。 検出される行動・状況パターンの一例を示した説明図である。 本発明の一実施形態に係るシステム構成の一例について説明するための説明図である。 構成例#1に係る情報提供システムの構成について説明するための説明図である。 構成例#1に係る情報提供システムの機能について詳細に説明するための説明図である。 構成例#1に係る情報提供システムの機能について詳細に説明するための説明図である。 構成例#1に係る情報提供システムの機能について詳細に説明するための説明図である。 構成例#1に係る情報提供システムの機能について詳細に説明するための説明図である。 構成例#1に係る情報提供システムの機能について詳細に説明するための説明図である。 構成例#1に係る情報提供システムの機能について詳細に説明するための説明図である。 構成例#1に係る情報提供システムの機能について詳細に説明するための説明図である。 構成例#1に係る情報提供システムの動作について説明するための説明図である。 構成例#2に係る情報提供システムの構成について説明するための説明図である。 構成例#2に係る情報提供システムの機能について詳細に説明するための説明図である。 構成例#2に係る情報提供システムの機能について詳細に説明するための説明図である。 構成例#2に係る情報提供システムの機能について詳細に説明するための説明図である。 構成例#2に係る情報提供システムの動作について説明するための説明図である。 構成例#3に係る情報提供システムの構成について説明するための説明図である。 構成例#3に係る情報提供システムの機能及び判別動作について詳細に説明するための説明図である。 同実施形態に係るシステム及び各機器の機能を実現することが可能なハードウェア構成例について説明するための説明図である。
以下に添付図面を参照しながら、本技術に係る好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
[説明の流れについて]
ここで、以下に記載する説明の流れについて簡単に述べる。
まず、図1〜図13を参照しながら、本実施形態の技術に関連する行動パターン認識技術について説明する。次いで、図14を参照しながら、本発明の一実施形態に係るシステム構成の一例について説明する。次いで、図15〜図23を参照しながら、構成例#1に係る情報提供システム13の機能及び動作について説明する。
次いで、図24〜図28を参照しながら、構成例#2に係る情報提供システム17の機能及び動作について説明する。次いで、図29及び図30を参照しながら、構成例#3に係る情報提供システム19の機能及び動作について説明する。次いで、図31を参照しながら、同実施形態に係るシステム及び各機器の機能を実現することが可能なハードウェア構成例について説明する。
最後に、同実施形態の技術的思想について纏め、当該技術的思想から得られる作用効果について簡単に説明する。
(説明項目)
1:はじめに
1−1:行動パターン認識技術
1−2:実施形態の概要
2:実施形態の詳細
2−1:システム構成の一例
2−2:構成例#1(目標達成度の示唆)
2−2−1:システム構成の詳細
2−2−2:処理の流れ
2−2−3:画面表示の例
2−2−4:変形例(動物への適用)
2−3:構成例#2(詳細行動の表示)
2−3−1:システム構成の詳細
2−3−2:処理の流れ
2−3−3:画面表示の例
2−4:構成例#3(日常行動/非日常行動の判別)
2−4−1:システム構成の詳細
2−4−2:応用例
2−5:構成例の組み合わせについて
3:ハードウェア構成例
4:まとめ
<1:はじめに>
はじめに、本実施形態の技術に関連する行動パターン認識技術について説明する。
[1−1:行動パターン認識技術]
ここで説明する行動パターン認識技術は、モーションセンサなどを利用して検知されたユーザの動きや状態に関する情報と位置センサなどを利用して検知された位置情報とを用いてユーザの行動や状況を検出する技術に関する。
なお、モーションセンサとしては、例えば、3軸加速度センサ(加速度センサ、重力検知センサ、落下検出センサなどを含む。)や3軸ジャイロセンサ(角速度センサ、手振れ補正センサ、地磁気センサなどを含む。)などが用いられる。また、位置センサとしては、例えば、GPS(Global Positioning System)、RFID(Radio Frequency Identification)、Wi−Fiアクセスポイント、無線基地局などの情報が利用可能である。これらの情報を利用すると、例えば、現在地の緯度・経度を検出することが可能になる。
(行動・状況解析システム10のシステム構成)
まず、図1を参照しながら、上記のような行動パターン認識技術を実現することが可能な行動・状況解析システム10のシステム構成について説明する。図1は、行動・状況解析システム10の全体的なシステム構成について説明するための説明図である。
なお、本稿においては、「動き、状態」と「行動、状況」という表現を次のような意味で使い分ける。「動き、状態」は、数秒から数分程度の比較的短時間にユーザが行う行動を意味し、例えば、「歩き」「走り」「跳躍」「静止」等の行為を指す。また、この行為を纏めて「動き・状態パターン」又は「LC(Low−Context)行動」と表現する。一方、「行動、状況」は、「動き、状態」よりも長い時間かけてユーザが行う生活行動であり、例えば、「食事」「買い物」「仕事」等の行為を指す。また、この行為を纏めて「行動・状況パターン」又は「HC(High−Context)行動」と表現する。
図1に示すように、行動・状況解析システム10は、主に、モーションセンサ101と、動き・状態認識部102と、時刻情報取得部103と、位置センサ104と、GIS情報取得部105と、行動・状況認識部106とにより構成される。
なお、行動・状況解析システム10には、行動・状況認識部106により検出される行動・状況パターンを利用するアプリケーションAPやサービスSVが用意されていてもよい。また、アプリケーションAPによる行動・状況パターンの利用結果や、ユーザのプロファイル情報が行動・状況認識部106に入力されるように構成されていてもよい。
まず、ユーザが行動すると、モーションセンサ101により加速度の変化や重力軸周りの回転等(以下、センサデータ)が検知される。モーションセンサ101により検知されたセンサデータは、図2に示すように、動き・状態認識部102に入力される。
センサデータが入力されると、動き・状態認識部102は、図2に示すように、入力されたセンサデータを用いて動き・状態パターンを検出する。動き・状態認識部102により検出可能な動き・状態パターンとしては、例えば、図3に示すように、「歩き」「走り」「静止」「跳躍」「電車(搭乗/非搭乗)」「エレベータ(搭乗/非搭乗/上昇/下降)」などがある。動き・状態認識部102により検出された動き・状態パターンは、行動・状況認識部106に入力される。
位置センサ104は、ユーザの居場所(以下、現在地)を示す位置情報を連続的又は間欠的に取得する。例えば、現在地の位置情報は、緯度・経度により表現される。位置センサ104により取得された現在地の位置情報は、GIS情報取得部105に入力される。
現在地の位置情報が入力されると、GIS情報取得部105は、GIS(Geographic Information System)情報を取得する。そして、GIS情報取得部105は、図4に示すように、取得したGIS情報を用いて現在地の属性を検出する。GIS情報は、例えば、地図情報や、人工衛星や現地踏査などで得られた様々な付加情報を含み、科学的調査、土地、施設、道路などの管理や都市計画などにも利用される情報である。GIS情報を利用すると、現在地の属性を判別することが可能になる。GIS情報取得部105は、例えば、ジオカテゴリコード(例えば、図5を参照)と呼ばれる識別情報を利用して現在地の属性を表現する。
ジオカテゴリコードは、図5に示すように、場所に関連する情報の種別を分類するための分類コードである。このジオカテゴリコードは、例えば、建造物の種別、地形の形状、地理的特性、地域性等に応じて設定されている。そのため、現在地のジオカテゴリコードを特定することにより、ユーザが居る環境をある程度認識することが可能になる。
GIS情報取得部105は、取得したGIS情報を参照し、現在地及び現在地周辺にある建造物などを特定して、その建造物などに対応するジオカテゴリコードを抽出する。GIS情報取得部105により選択されたジオカテゴリコードは、行動・状況認識部106に入力される。なお、現在地周辺に建造物などが多数存在する場合、GIS情報取得部105は、各建造物などのジオカテゴリコードを抽出し、抽出したジオカテゴリコードに関する情報として、図6及び図7に示すジオカテゴリヒストグラムのような情報を行動・状況認識部106に入力してもよい。
図8に示すように、行動・状況認識部106には、動き・状態認識部102から動き・状態パターンが入力され、GIS情報取得部105からジオカテゴリコードなどが入力される。また、行動・状況認識部106には、時刻情報取得部103から時刻情報が入力される。この時刻情報は、モーションセンサ101によりセンサデータが取得された時刻を示す情報を含む。また、この時刻情報は、位置センサ104により位置情報が取得された時刻を示す情報を含んでいてもよい。また、時刻情報としては、例えば、時刻を示す情報の他、曜日の情報、祝日の情報、年月日の情報などが含まれていてもよい。
上記の情報が入力されると、行動・状況認識部106は、入力された動き・状態パターン、ジオカテゴリコード(或いは、ジオカテゴリヒストグラムなど)、及び時刻情報に基づいて行動・状況パターンを検出する。このとき、行動・状況認識部106は、ルールに基づく判定処理(以下、ルールベース判定)や学習モデルに基づく判定処理(以下、学習モデル判定)を利用して行動・状況パターンを検出する。ここで、ルールベース判定及び学習モデル判定について簡単に説明する。
(ルールベース判定について)
まず、ルールベース判定について説明する。ルールベース判定とは、ジオカテゴリコードと行動・状況パターンとの組み合わせ毎にスコアを割り当てておき、そのスコアに基づいて入力データに対応する適切な行動・状況パターンを判定する方法である。
スコアの割り当てルールは、図9に示すようなスコアマップSMにより表現される。スコアマップSMは、年月日、時間帯、曜日などの時刻情報毎に用意される。例えば、3月の第1週の月曜日に対応するスコアマップSMなどが用意される。さらに、スコアマップSMは、歩行、走行、電車などの動き・状態パターン毎に用意される。例えば、歩行中のスコアマップSMなどが用意される。そのため、スコアマップSMは、時刻情報と動き・状態パターンとの組み合わせ毎に用意される。
行動・状況認識部106は、図10に示すように、予め用意された複数のスコアマップSMの中から、入力された時刻情報及び動き・状態パターンに適合するスコアマップSMを選択する。また、行動・状況認識部106は、図11に示すように、選択したスコアマップSMの中から、ジオカテゴリコードに対応するスコアを抽出する。これらの処理により、行動・状況認識部106は、センサデータの取得時点における現在地の状況を考慮して、スコアマップSMに存在する各行動・状況パターンのスコアを抽出することが可能になる。
次いで、行動・状況認識部106は、抽出したスコアの中から最大のスコアを特定し、最大のスコアに対応する行動・状況パターンを抽出する。このようにして行動・状況パターンを検出する方法がルールベース判定である。なお、スコアマップSMのスコアは、そのスコアに対応する行動・状況パターンをユーザがとると推測される確率を示している。つまり、スコアマップSMは、ジオカテゴリコードで表現される現在地の状況でユーザがとると推測される行動・状況パターンのスコア分布を表している。
例えば、日曜日の3時頃、デパートにいるユーザは「買い物中」である確率が高いと推測される。但し、同じデパートにいても19時頃、デパートにいるユーザは「食事中」である確率も高いと推測される。このように、ある場所で、ある時間にユーザが行っている行動・状況パターンのスコア分布を示したものがスコアマップSM(正確にはスコアマップSM群)なのである。
スコアマップSMは、例えば、ユーザ本人又は他人により予め入力されたものであってもよいし、或いは、機械学習などを利用して得られるものであってもよい。また、スコアマップSMは、個人プロファイル情報PRや、ユーザから得られる行動・状況フィードバックFB(出力された行動・状況パターンの正否など)により最適化されてもよい。プロファイル情報PRとしては、例えば、年齢、性別、職業、自宅の情報、職場の情報などが利用される。以上がルールベース判定の具体的な処理内容である。
(学習モデル判定について)
次に、学習モデル判定について説明する。学習モデル判定とは、機械学習アルゴリズムを用いて行動・状況パターンを判定するための判定モデルを生成し、生成した判定モデルを用いて入力データに対応する行動・状況パターンを判定する方法である。
機械学習アルゴリズムとしては、例えば、k−means法、Nearest Neighbor法、SVM、HMM、Boosting等が利用可能である。但し、SVMは、Support vector machineの略である。また、HMMは、Hidden Markov Modelの略である。これらの手法に加え、特開2009−48266号公報などに記載の遺伝的探索に基づくアルゴリズム構築方法を利用して判定モデルを生成する方法もある。
機械学習アルゴリズムに入力される特徴量ベクトルとしては、例えば、図12に示すように、時間情報、動き・状態パターン、ジオカテゴリコード(又はジオカテゴリヒストグラムなど)、センサデータ、現在地の位置情報などが利用される。但し、遺伝的探索に基づくアルゴリズム構築方法を用いる場合、学習過程における特徴量ベクトルの選定段階で遺伝的探索アルゴリズムが利用される。行動・状況認識部106は、まず、正解の行動・状況パターンが分かっている特徴量ベクトルを学習データとして機械学習アルゴリズムに入力し、各行動・状況パターンの確度、又は最適な行動・状況パターンを判定する判定モデルを生成する。
次いで、行動・状況認識部106は、生成した判定モデルに入力データを入力し、入力データに適合すると推測される行動・状況パターンを判定する。但し、生成した判定モデルを用いて行われた判定結果に対する正誤のフィードバックが得られる場合、そのフィードバックを利用して判定モデルが再構築される。この場合、行動・状況認識部106は、再構築した判定モデルを用いて入力データに適合すると推測される行動・状況パターンを判定する。以上が学習モデル判定の具体的な処理内容である。
以上説明した方法により、行動・状況認識部106は、図13に示すような行動・状況パターンを検出する。そして、行動・状況認識部106により検出された行動・状況パターンは、行動・状況パターンに応じた推奨サービスSVの提供に利用されたり、行動・状況パターンに応じた処理を行うアプリケーションAPにより利用される。
以上、行動・状況解析システム10のシステム構成について説明した。後述する実施形態に係る技術は、上述した行動・状況解析システム10の機能に関係する。なお、行動・状況解析システム10の詳細な機能については、例えば、特開2011−081431号公報などの記載が参考になる。
[1−2:実施形態の概要]
ここで、本実施形態の概要について述べる。本実施形態に係る技術は、上記の行動・状況解析システム10などを利用して得られる行動パターンの情報と、テキスト情報などの入力情報とを組み合わせ、より付加価値の高い情報を提供する仕組みに関する。
例えば、後段において紹介する構成例#1は、「所定の事柄」に対応する一又は複数の行動パターンに基づいて、その事柄に関する状態を表す「状態情報」を提供する仕組みに関する。例えば、上記の「所定の事柄」は、入力情報から得られるユーザの目標/宣言であり、上記の「状態情報」は、その目標/宣言に対する達成度である。
上記の「所定の事柄」は、入力情報から得られるユーザの目標/宣言に限定されず、上記の「状態情報」は、その目標/宣言に対する達成度に限定されないが、後述する構成例#1では、主に入力情報から得られるユーザの目標/宣言に対する達成度をユーザに提供する仕組みを例として、説明を進めることとする。
また、「状態情報」は、所定の事柄に対する現在の状態と目標/宣言を達成した場合の状態との比較情報の一例である達成度以外にも、例えば、所定の事柄に対する現在の状態を表す情報や、所定の事柄に対する現在の状態と過去の状態との比較情報であってもよく、この場合であっても、後述する構成例#1に係る技術を適用できる。
また、後述する構成例#2は、上記の行動・状況解析システム10などを利用して得られる行動パターンの情報に、テキスト情報などの入力情報から得られるユーザの体験に関する情報を付加し、より詳細な情報をユーザに提供する仕組みに関する。さらに、後述する構成例#3は、上記の行動・状況解析システム10などを利用して得られる行動パターンの情報、及びテキスト情報などの入力情報から得られるユーザの体験のうち、非日常的な行動や体験を判別してユーザに提供する仕組みに関する。
なお、これら構成例#1〜#3に係る技術は任意に組み合わせることも可能である。また、以下の説明では、体験の抽出に用いる入力情報としてテキスト情報を主に想定するが、例えば、マイクなどを利用して取得した音声情報などを利用することも可能である。この場合、音声信号の波形をそのまま利用して周辺環境や行動に関する情報を得ることもできるし、音声認識技術を利用して音声信号からテキスト情報を得ることも可能である。音声認識技術を利用する場合は、テキスト情報が得られることから、後述する構成例#1〜#3に係る技術をそのまま適用することができる。
<2:実施形態の詳細>
以下、本実施形態に係る技術の詳細について説明する。
[2−1:システム構成の一例]
まず、図14を参照しながら、本実施形態に係るシステム構成の一例を紹介する。図14は、本実施形態に係るシステム構成の一例について説明するための説明図である。なお、ここで紹介するシステム構成はあくまでも一例に過ぎず、現在及び将来において利用可能な様々なシステム構成に対して本実施形態に係る技術を適用することが可能である。
図14に示すように、後述する情報提供システム13、17、19は、主に、複数の情報端末CLと、サーバ装置SVとにより構成される。情報端末CLは、ユーザが利用する機器の一例である。例えば、情報端末CLとしては、携帯電話、スマートフォン、デジタルスチルカメラ、デジタルビデオカメラ、パーソナルコンピュータ、タブレット端末、カーナビゲーションシステム、携帯ゲーム機、健康器具(万歩計(登録商標)などを含む)、医療機器などが想定される。一方、サーバ装置SVとしては、例えば、ホームサーバやクラウドコンピューティングシステムなどが想定される。
もちろん、本実施形態に係る技術が適用可能なシステム構成は図14の例に限定されないが、説明の都合上、有線及び/又は無線のネットワークで接続された複数の情報端末CL及びサーバ装置SVを念頭に置きつつ説明を進めることにする。従って、情報端末CLとサーバ装置SVとの間で情報をやり取りすることが可能な構成を想定する。但し、情報提供システム13、17、19が有する各種機能のうち、どの機能を情報端末CLが担い、どの機能をサーバ装置SVが担うように構成するかは自由である。例えば、情報端末CLの演算能力や通信速度などを考慮して設計されることが望ましい。
[2−2:構成例#1(目標達成度の示唆)]
まず、構成例#1について説明する。構成例#1は、入力情報から得られるユーザの目標/宣言に対する達成度をユーザに提供する仕組みに関する。
(2−2−1:システム構成の詳細)
構成例#1に係るシステム(情報提供システム13)は、例えば、図15のようになる。図15に示すように、情報提供システム13は、テキスト情報取得部131と、体験抽出部132と、目標/宣言抽出部133と、目標/宣言照合部134と、対応関係記憶部135と、目標/宣言登録部136とを有する。さらに、情報提供システム13は、達成度記憶部137と、センサ情報取得部138と、行動パターン抽出部139と、達成度更新部140と、達成度表示部141とを有する。
なお、センサ情報取得部138及び行動パターン抽出部139の機能は、上述した行動・状況解析システム10の機能を利用して実現可能である。また、情報提供システム13が有する上記構成要素のうち、どの構成要素の機能を情報端末CLが担い、どの構成要素の機能をサーバ装置SVが担うように設計するかは自由である。例えば、情報端末CLの演算能力や通信速度などを考慮して設計されることが望ましい。
テキスト情報取得部131は、ユーザが入力したテキスト情報を取得する。例えば、テキスト情報取得部131は、ユーザがテキストを入力するための入力デバイスであってもよいし、ソーシャルネットワークサービスやアプリケーションからテキスト情報を取得する情報収集デバイスであってもよい。ここでは、説明の都合上、テキスト情報取得部131がソフトウェアキーボードのような入力手段であると想定して説明を進める。
テキスト情報取得部131により取得されたテキスト情報は、体験抽出部132に入力される。このとき、体験抽出部132には、テキスト情報と共に、テキスト情報が入力された際の時刻情報が入力されてもよい。テキスト情報が入力されると、体験抽出部132は、入力されたテキスト情報を解析し、ユーザの体験に関する情報をテキスト情報から抽出する。体験に関する情報とは、例えば、体験した事象(体験の種類など)、体験した場所、体験した時間などを含む情報である。
ここで、体験抽出部132の機能構成について、図16を参照しながら、より詳細に説明する。図16に示すように、体験抽出部132は、主に、種類特徴量抽出部151と、体験種類判別部152と、体験種類モデル記憶部153とを有する。さらに、体験抽出部132は、場所特徴量抽出部154と、体験場所抽出部155と、体験場所モデル記憶部156とを有する。そして、体験抽出部132は、時間特徴量抽出部157と、体験時間抽出部158と、体験時間モデル記憶部159とを有する。
テキスト情報が体験抽出部132に入力されると、そのテキスト情報は、種類特徴量抽出部151、場所特徴量抽出部154、及び時間特徴量抽出部157に入力される。
種類特徴量抽出部151は、入力されたテキスト情報から体験の種類に関する特徴量(以下、種類特徴量)を抽出する。種類特徴量抽出部151により抽出された種類特徴量は、体験種類判別部152に入力される。体験種類判別部152は、体験種類モデル記憶部153に記憶されている学習モデルを利用して、入力された種類特徴量から体験の種類を判別する。そして、体験種類判別部152による判別結果は、目標/宣言抽出部133に入力される。
また、場所特徴量抽出部154は、入力されたテキスト情報から、体験した場所に関する特徴量(以下、場所特徴量)を抽出する。場所特徴量抽出部154により抽出された場所特徴量は、体験場所判別部155に入力される。体験場所判別部155は、体験場所モデル記憶部156に記憶されている学習モデルを利用して、入力された場所特徴量から体験した場所を判別する。そして、体験場所判別部155による判別結果は、目標/宣言抽出部133に入力される。
また、時間特徴量抽出部157は、入力されたテキスト情報から、体験した時間に関する特徴量(以下、時間特徴量)を抽出する。時間特徴量抽出部157により抽出された時間特徴量は、体験時間判別部158に入力される。体験時間判別部158は、体験時間モデル記憶部159に記憶されている学習モデルを利用して、入力された時間特徴量から体験した時間を判別する。そして、体験時間判別部158による判別結果は、目標/宣言抽出部133に入力される。
ここで、図17を参照しながら、音楽体験を例に体験抽出部132が実行する処理の内容について説明を補足する。図17は、体験抽出部132が実行する具体的な処理の内容について説明するための説明図である。なお、ここでは説明の都合上、音楽体験を例に上げて説明を進めるが、本実施形態の技術的範囲はこれに限定されない。
図17に示すように、音楽体験の場合、体験の種類としては、例えば、「音楽を聴く(listen)」「TV/映画/DVDなどで音楽映像を見る(watch)」「曲/CDを買う(buy)」「ライブやコンサートに参加する(live)」「歌を歌う/演奏する/作曲する(play)」などが考えられる。体験抽出部132は、種類特徴量抽出部151及び体験種類判別部152の機能を利用して、これら体験の種類を判別する。
例えば、体験の種類「listen」を判別する場合、まず、種類特徴量抽出部151は、形態素、n−gram、極大部分文字列などの手法により体験の種類「listen」に関する種類特徴量を抽出する。次いで、体験種類判別部152は、SVMやLogistic Regressionなどの手法により種類特徴量から体験の種類「listen」に該当するか否かを判別する。体験種別判別部152による判別結果は、体験の種類を表す情報として出力される。同様に、体験の種類「watch」「buy」「live」「play」などについても判別結果が得られる。
また、体験場所の抽出は、場所特徴量抽出部154及び体験場所抽出部155の機能により実現される。まず、場所特徴量抽出部154は、入力されたテキスト情報を対象に形態素解析を実行し、その結果を体験場所抽出部155に入力する。次いで、体験場所抽出部155は、形態素解析の結果に基づき、CRF(Conditional Random Field)などの手法を利用して体験場所を抽出する。例えば、体験場所抽出部155は、図18に示すような素性テンプレートを利用し、図19に示すように体験場所(図19の例では「京都駅」を抽出)を抽出する。
また、体験時間の抽出は、時間特徴量抽出部157及び体験時間抽出部158の機能により実現される。体験時間の抽出は、上述した体験場所の抽出と同様に、形態素解析及びCRFなどを利用した系列ラベリングの手法により実現される。なお、体験時間の表現としては、例えば、「現在」「過去」「未来」「朝」「昼」「夕方」「深夜」など、様々な単位の表現が利用されうる。このようにして得られた体験場所及び体験時間の情報は、体験の種類を示す判別結果と共に、目標/宣言抽出部133に入力される。なお、体験の種類、体験場所、体験時間の一部又は全部が得られない場合もある。
再び図15を参照する。体験の種類、体験場所、体験時間の情報が得られると、目標/宣言抽出部133は、体験の種類及び体験時間の情報を利用して、テキスト情報に目標/宣言に関する情報が含まれるか否かを判定する。例えば、図20に示すように、体験の種類が「ダイエット」、体験時間が「未来」の場合、目標/宣言抽出部133は、この結果に対応するテキスト情報が目標/宣言を含むものと判定する。一方、体験の種類が「ダイエット」であっても、体験時間が「過去」の場合、目標/宣言抽出部133は、この結果に対応するテキスト情報が目標/宣言を含まないものと判定する。
つまり、目標/宣言抽出部133は、体験種類が目標/宣言に該当し、体験時間が未来の場合に、その結果に対応するテキスト情報が目標/宣言を含むものと判定する。そして、目標/宣言抽出部133は、目標/宣言を含むものと判定したテキスト情報から得られた体験種類を目標/宣言として抽出する。そして、目標/宣言抽出部133により抽出された目標/宣言の情報は、目標/宣言照合部134に入力される。目標/宣言の情報が入力されると、目標/宣言照合部134は、対応関係記憶部135を参照し、入力された目標/宣言に関連する一又は複数の行動パターンを特定し、特定した各行動パターンを抽出する。
ここで、上記の説明では、目標/宣言照合部134は、目標/宣言の情報が入力された後に、その目標/宣言に対応する一又は複数の行動パターンを特定することとしたが、本実施形態に係る技術の適用範囲はこれに限定されない。
例えば、目標/宣言に関連するか否かを問わず、予め取得可能な全行動パターンを認識し、その認識結果をデータベースに格納しておくことが考えられる。この場合には、目標/宣言が入力された際に、全行動パターンの認識結果を格納したデータベースから、入力された目標/宣言に対応付けられた行動パターンについてのデータを参照すればよい。
対応関係記憶部135には、例えば、図21に示すように、目標/宣言と行動パターンとの対応関係を示すデータベースが格納されている。また、図21の例では、目標/宣言と行動パターンとの各組み合わせに対して寄与度が対応付けられている。例えば、ダイエットを目標/宣言にしている場合、「歩く」や「走る」といった行動はダイエットに効果があるが、「車に乗る」や「電車に乗る」といった行動はダイエットに効果がない。こうした観点から、図21の例では、目標/宣言と行動パターンとの各組み合わせに対して寄与度が対応付けられている。
目標/宣言照合部134は、目標/宣言の情報及び目標/宣言に対応する行動パターンの情報を目標/宣言登録部136に入力する。目標/宣言の情報及び目標/宣言に対応する行動パターンの情報が入力されると、目標/宣言登録部136は、入力された目標/宣言及び行動パターンを到達度記憶部137に登録する。このようにして目標/宣言が登録されると、登録された目標/宣言に関して達成度の計算及び達成度に関する情報の提供が開始される。また、日々検出される行動パターンに応じて達成度が計算され、リアルタイムに目標/宣言に対する達成度の情報がユーザに提供される。
再び図15を参照する。行動パターンの検出は、センサ情報取得部138及び行動パターン抽出部139の機能により実現される。まず、センサ情報取得部138は、モーションセンサや位置センサなどからセンサ情報を取得する。センサ情報取得部138により取得されたセンサ情報は、行動パターン抽出部139に入力される。行動パターン抽出部139は、入力されたセンサ情報から行動パターンを抽出する。行動パターン抽出部139により抽出された行動パターンの情報は、達成度更新部140に入力される。なお、行動パターンの抽出方法は、上述した行動・状況解析システム10による行動パターンの抽出方法と同じ方法が適用可能である。
行動パターンの情報が入力されると、達成度更新部140は、達成度記憶部137に登録された目標/宣言に関する情報を参照し、入力された情報が示す行動パターンが、目標/宣言に対応する行動パターンに該当するか否かを判定する。目標/宣言に対応する行動パターンに該当する場合、達成度記憶部137は、その目標/宣言と、入力された行動パターンとの組み合わせに対応する達成効果(例えば、図21を参照)を認識する。次いで、達成度記憶部137は、その達成効果に対応付けられた達成度の更新値に基づいて現在の達成度を計算し、達成度記憶部137に記録する。
例えば、目標/宣言が「ダイエット」、達成効果「無」=−5ポイント、達成効果「小」=+5ポイント、達成効果「中」=+15ポイント、達成効果「大」=+30ポイントの場合について、図22を参照しながら具体的に考えてみたい。まず、ユーザが電車に1時間乗った場合、行動パターン「電車に乗る(達成効果「無」)」が検出されるため、達成度更新部140は、現在の達成度を−5ポイントに設定する。次いで、ユーザが10分歩いた場合、行動パターン「歩く(達成効果「中」)」が検出されるため、達成度更新部140は、前回の達成度に15ポイント加算して現在の達成度を10ポイントに更新する。このように、行動パターンに応じて達成度が更新される。
再び図15を参照する。上記のように、達成度記憶部137に格納された目標/宣言毎の達成度はリアルタイムに更新される。達成度記憶部137に格納された目標/宣言毎の達成度は、達成度表示部141により読み出され、ユーザに提示される。例えば、達成度表示部141は、図22の表示例#1及び#2に示すように、ユーザがとった行動パターンを示すオブジェクトと共に、その行動に応じて更新された達成度の値を表示する。表示例#1は、ユーザが「走る」行動をとったために達成度がアップし、更新後の達成度が35になったことを示している。
以上、構成例#1に係る情報提供システム13の構成について説明した。なお、上記の説明においては、テキスト情報の解析を先に実施し、センサ情報の解析を後に実施するような処理の流れに沿って説明したが、解析処理の順序は逆でもよい。また、達成度の通知方法は、画面表示に代えて音声ガイダンスにしたり、振動や光の明滅などで表現したりする方法などでもよい。例えば、達成度に応じて振動の強弱が変化したり、光の明滅速度や明るさが変化したりする構成などが考えられる。こうした変形についても当然に本実施形態の技術的範囲に属する。
(2−2−2:処理の流れ)
次に、図23を参照しながら、情報提供システム13が実行する処理の流れについて説明する。図23は、情報提供システム13が実行する処理の流れについて説明するための説明図である。なお、図23に示した処理ステップの一部は順序を変更してもよい。例えば、テキスト情報の解析に係る処理ステップの順番とセンサ情報の解析に係る処理ステップの順番とを入れ替えてもよい。
図23に示すように、まず、情報提供システム13は、テキスト情報取得部131の機能により、テキスト情報を取得する(S101)。次いで、情報提供システム13は、体験抽出部132の機能により、テキスト情報から体験に関する情報を抽出する(S102)。体験に関する情報としては、例えば、体験の種類、体験場所、体験時間などが含まれる。次いで、情報提供システム13は、目標/宣言抽出部133の機能により、体験に関する情報から目標/宣言に関する情報を抽出する(S103)。
次いで、情報提供システム13は、目標/宣言照合部134の機能により、ステップS103で抽出した目標/宣言に対応する行動パターンを抽出する(S104)。次いで、情報提供システム13は、目標/宣言登録部136の機能により、達成度の算出対象となる目標/宣言と、その目標/宣言に対応する行動パターンを達成度記憶部137に登録する(S105)。
一方で、情報提供システム13は、センサ情報取得部138の機能により、センサ情報を取得する(S106)。次いで、情報提供システム13は、行動パターン抽出部139の機能により、センサ情報から行動パターンを抽出する(S107)。次いで、情報提供システム13は、達成度更新部140の機能により、ステップS107で抽出した行動パターンに対応する目標/宣言の達成効果を認識し、認識した達成効果に応じて現在の達成度を計算する(S108)。次いで、情報提供システム13は、達成度表示部141の機能により、目標/宣言の達成度を表示し(S109)、一連の処理を終了する。
以上、情報提供システム13が実行する処理の流れについて説明した。
(2−2−3:画面表示の例)
ここで、達成度の表示方法について説明を補足する。
達成度の表示方法としては、図22の表示例#1及び#2のような方法がある。つまり、現在の行動パターンに対応するオブジェクトを表示し、現在の行動パターンをとった結果として得られた達成度を表示する方法が一例として挙げられる。特に、図22の例では、現在の行動パターンにより達成度がアップしたのか、ダウンしたのかが矢印で表示されており、ひと目で目標/宣言に対する効果が分かるようになっている。このような表示により、良い効果を奏する行動パターンをとるようにユーザを促すことが可能になる。また、その効果が達成度の数値にリアルタイムに反映されるため、目標/宣言に取り組むユーザのモチベーションを持続させる効果も期待できる。
(2−2−4:変形例(動物への適用))
ところで、これまでは人間の行動パターンを対象とする技術について説明を進めてきた。しかし、構成例#1に係る技術は、人間以外の動物に対しても適用可能である。例えば、犬や猫などのペットの首輪にセンサを装着し、飼い主がペットの目標/宣言をテキスト情報として入力することにより、ペットの目標達成度を得ることも可能である。例えば、飼い主が目の届かない場所や時間帯に、ペットがどのくらい運動しているか、といったデータを得ることが可能になる。こうしたデータを解析し、ペットの健康管理を行うことで、ペットの病気予防などに効果を発揮するものと考えられる。
以上、構成例#1に係る技術について説明した。上記の構成例#1に係る技術によれば、入力情報から得られるユーザの宣言と、推定された行動パターンとの適合状況から、当該ユーザの宣言に関する達成状況を提示することが可能になる。
(適用例)
上記のように、構成例#1に係る技術を適用すると、ユーザの目標/宣言、及び行動パターンに基づく達成度が得られる。そこで、この達成度をグラフ化してユーザに表示したり、目標/宣言の達成に向けて達成度が増加傾向にあるか、減少傾向にあるかに応じて目標/宣言に向けた努力の度合いを表示したりする表示方法が実現可能である。さらに、目標/宣言の達成が困難な状況(達成度が著しく低い状況(閾値を下回る場合など))になっている場合に、達成度を下げる要因となった行動パターンの代表例(頻度の多いもの)やヒストグラムなどをユーザに提示して、困難な状況に陥った原因をユーザに提示する表示方法も実現可能である。さらに、達成度を下げる要因となった行動パターンの代表例とは逆の傾向を持つ行動パターンをユーザに提示することで、ユーザが目標/宣言を達成するための助言を与える表示方法も実現可能である。このような表示方法を適用することで、ユーザの目標/宣言の達成を直接的又は間接的にサポートすることが可能になる。
[2−3:構成例#2(詳細行動の表示)]
次に、構成例#2について説明する。構成例#2は、入力情報から得られるユーザの体験に関する情報を行動パターンの情報に付加して提供する仕組みに関する。
(2−3−1:システム構成の詳細)
構成例#2に係るシステム(情報提供システム17)は、例えば、図24のようになる。図24に示すように、情報提供システム17は、テキスト情報取得部171と、体験抽出部172と、抽出結果記憶部173と、センサ情報取得部174と、行動パターン抽出部175と、行動・体験照合部176と、対応関係記憶部177と、付加体験検索部178と、行動・付加体験表示部179とを有する。
なお、センサ情報取得部174及び行動パターン抽出部175の機能は、上述した行動・状況解析システム10の機能を利用して実現可能である。また、情報提供システム17が有する上記構成要素のうち、どの構成要素の機能を情報端末CLが担い、どの構成要素の機能をサーバ装置SVが担うように設計するかは自由である。例えば、情報端末CLの演算能力や通信速度などを考慮して設計されることが望ましい。
テキスト情報取得部171は、ユーザが入力したテキスト情報を取得する。例えば、テキスト情報取得部171は、ユーザがテキストを入力するための入力デバイスであってもよいし、ソーシャルネットワークサービスやアプリケーションからテキスト情報を取得する情報収集デバイスであってもよい。ここでは、説明の都合上、テキスト情報取得部171がソフトウェアキーボードのような入力手段であると想定して説明を進める。
テキスト情報取得部171により取得されたテキスト情報は、体験抽出部172に入力される。このとき、体験抽出部172には、テキスト情報と共に、テキスト情報が入力された際の時刻情報が入力されてもよい。テキスト情報が入力されると、体験抽出部172は、入力されたテキスト情報を解析し、ユーザの体験に関する情報をテキスト情報から抽出する。体験に関する情報とは、例えば、体験した事象(体験の種類など)、体験した場所、体験した時間などを含む情報である。なお、体験抽出部172の機能は、構成例#1に係る体験抽出部132の機能と実質的に同じである。体験抽出部172により抽出された体験に関する情報は、抽出結果記憶部173に格納される。
一方、センサ情報取得部174は、モーションセンサや位置センサなどからセンサ情報を取得する。センサ情報取得部174により取得されたセンサ情報は、行動パターン抽出部175に入力される。行動パターン抽出部175は、入力されたセンサ情報から行動パターンを抽出する。行動パターン抽出部175により抽出された行動パターンの情報は、行動・体験照合部176に入力される。なお、行動パターンの抽出方法は、上述した行動・状況解析システム10による行動パターンの抽出方法と同じ方法が適用可能である。
行動パターンの情報が入力されると、行動・体験照合部176は、対応関係記憶部177に記憶された行動パターンと体験との対応関係を参照し、入力された情報が示す行動パターンに対応する体験を抽出する。例えば、図25に示すように、対応関係記憶部177には、行動パターン毎に体験が対応付けて記憶されている。上記のように、行動パターンは、センサ情報から得られる。一方、体験の情報は、テキスト情報から得られる。行動パターン及び体験の情報を得る方法については、上記の構成例#1と実質的に同じである。
行動・体験照合部176により抽出された体験の情報及び当該体験に対応する行動パターンの情報は、付加体験検索部178に入力される。体験の情報が入力されると、付加体験検索部178は、抽出結果記憶部173を参照し、入力された情報が示す体験と同じ体験を検索する。検索の結果、入力された情報が示す体験と同じ体験が検出されると、付加体験検索部178は、検出された体験に対応するテキスト情報、体験に関する情報(体験の種類、体験場所、体験時間、体験の対象など)を抽出する。例えば、付加体験検索部178により、図26に示すような体験に関する情報が得られる。
付加体験検索部178による検索結果は、行動・付加体験表示部179に入力される。検索結果が入力されると、行動・付加体験表示部179は、入力された検索結果に基づいて体験に関する情報を表示する。例えば、図27に示すように、行動・付加体験表示部179は、行動パターン及び体験に関する情報を表示する。図27には、センサ情報のみを利用した場合に得られる行動パターンの情報を表示する場合と、センサ情報及びテキスト情報を利用した場合に得られる行動パターンの情報及び体験の情報を表示する場合とを並べて示した。センサ情報に加えてテキスト情報を利用すると、図27に示すように、体験に関する詳細な情報が得られるため、詳細な情報の表示が可能になる。
ケース#1の場合、センサ情報のみだと行動パターン「歩行」に対応するオブジェクトを表示することしかできないが、テキスト情報を追加的に利用すると行動の対象である「犬」に関するオブジェクトを表示することが可能になる。ケース#2の場合、センサ情報のみだと行動パターン「走る」に対応するオブジェクトを表示することしかできないが、テキスト情報を追加的に利用すると体験の種類である「出社」に関するオブジェクトを表示することが可能になる。
さらに、ケース#3の場合、センサ情報のみだと行動パターン「車に乗る」に対応するオブジェクトを表示することしかできないが、テキスト情報を追加的に利用すると体験の種類「会話」及び体験場所「車」に関するオブジェクトを表示することが可能になる。また、ここではテキスト情報を追加的に利用する方法を例示したが、音声情報を利用することでも体験の種類「会話」や体験場所「車」などを特定可能になるため、音声情報を追加的に利用して同様の詳細表示を実現することも可能である。また、音声認識技術を利用すると、音声信号をテキスト情報に変換することができるため、同様の方法にて図27に示すような詳細表示を実現することが可能になる。
以上、構成例#2に係る情報提供システム17の構成について説明した。なお、上記の説明においては、テキスト情報の解析を先に実施し、センサ情報の解析を後に実施するような処理の流れに沿って説明したが、解析処理の順序は逆でもよい。また、詳細情報の通知方法は、画面表示に代えて音声ガイダンスにしたりしてもよい。こうした変形についても当然に本実施形態の技術的範囲に属する。
(2−3−2:処理の流れ)
次に、図28を参照しながら、情報提供システム17が実行する処理の流れについて説明する。図28は、情報提供システム17が実行する処理の流れについて説明するための説明図である。なお、図28に示した処理ステップの一部は順序を変更してもよい。例えば、テキスト情報の解析に係る処理ステップの順番とセンサ情報の解析に係る処理ステップの順番とを入れ替えてもよい。
図28に示すように、まず、情報提供システム17は、テキスト情報取得部171の機能により、テキスト情報を取得する(S111)。次いで、情報提供システム17は、体験抽出部172の機能により、テキスト情報から体験に関する情報を抽出する(S112)。次いで、情報提供システム17は、センサ情報取得部174の機能により、センサ情報を取得する(S113)。次いで、情報提供システム17は、行動パターン抽出部175の機能により、センサ情報から行動パターンを抽出する(S114)。
次いで、情報提供システム17は、行動・体験照合部176の機能により、ステップS114で抽出した行動パターンと体験とを照合し、当該行動パターンに対応する体験の情報を抽出する(S115)。次いで、情報提供システム17は、付加体験検索部178の機能により、ステップS112で抽出された体験に関する情報の中から、ステップS115にて抽出した体験に対応する体験に関する情報を抽出する(S116)。次いで、情報提供システム17は、行動・付加体験表示部179の機能により、センサ情報から抽出された行動パターンに対応する情報と共に、ステップS116で抽出された体験に関する情報に対応する情報を表示し(S117)、一連の処理を終了する。
以上、情報提供システム17が実行する処理の流れについて説明した。
(2−3−3:画面表示の例)
ここで、詳細情報の表示方法について説明を補足する。
詳細情報の表示方法としては、図27のケース#1〜#3のような方法がある。つまり、センサ情報から検出された行動パターンの情報を表示しておき、当該行動パターンに対応する体験についてテキスト情報から体験に関する情報が得られている場合に、その体験に関する情報を追加的に表示する方法が一例として挙げられる。また、ケース#2のように詳細表示として時間情報(「あと5min」)を付加的に表示したり、ケース#3のように詳細表示として同乗者や会話内容を付加的に表示したりする方法も考えられる。こうした詳細表示が可能になると、より的確に状況を伝えることができるようになる。
以上、構成例#2に係る技術について説明した。
[2−4:構成例#3(日常行動/非日常行動の判別)]
次に、構成例#3について説明する。構成例#3は、行動パターンの情報、及びテキスト情報などの入力情報から得られるユーザの体験のうち、非日常的な行動や体験を判別してユーザに提供する仕組みに関する。
(2−4−1:システム構成の詳細)
構成例#3に係るシステム(情報提供システム19)は、例えば、図29のようになる。図29に示すように、情報提供システム19は、テキスト情報取得部191と、体験抽出部192と、抽出結果記憶部193と、センサ情報取得部194と、行動パターン抽出部195と、行動・体験照合部196と、対応関係記憶部197と、非日常行動判別部198と、非日常行動表示部199とを有する。
なお、センサ情報取得部194及び行動パターン抽出部195の機能は、上述した行動・状況解析システム10の機能を利用して実現可能である。また、情報提供システム19が有する上記構成要素のうち、どの構成要素の機能を情報端末CLが担い、どの構成要素の機能をサーバ装置SVが担うように設計するかは自由である。例えば、情報端末CLの演算能力や通信速度などを考慮して設計されることが望ましい。
テキスト情報取得部191は、ユーザが入力したテキスト情報を取得する。例えば、テキスト情報取得部191は、ユーザがテキストを入力するための入力デバイスであってもよいし、ソーシャルネットワークサービスやアプリケーションからテキスト情報を取得する情報収集デバイスであってもよい。ここでは、説明の都合上、テキスト情報取得部191がソフトウェアキーボードのような入力手段であると想定して説明を進める。
テキスト情報取得部191により取得されたテキスト情報は、体験抽出部192に入力される。このとき、体験抽出部192には、テキスト情報と共に、テキスト情報が入力された際の時刻情報が入力されてもよい。テキスト情報が入力されると、体験抽出部192は、入力されたテキスト情報を解析し、ユーザの体験に関する情報をテキスト情報から抽出する。体験に関する情報とは、例えば、体験した事象(体験の種類など)、体験した場所、体験した時間などを含む情報である。なお、体験抽出部192の機能は、構成例#1に係る体験抽出部132の機能と実質的に同じである。体験抽出部192により抽出された体験に関する情報は、抽出結果記憶部193に格納される。
一方、センサ情報取得部194は、モーションセンサや位置センサなどからセンサ情報を取得する。センサ情報取得部194により取得されたセンサ情報は、行動パターン抽出部195に入力される。行動パターン抽出部195は、入力されたセンサ情報から行動パターンを抽出する。行動パターン抽出部195により抽出された行動パターンの情報は、行動・体験照合部196に入力される。なお、行動パターンの抽出方法は、上述した行動・状況解析システム10による行動パターンの抽出方法と同じ方法が適用可能である。
行動パターンの情報が入力されると、行動・体験照合部196は、対応関係記憶部197に記憶された行動パターンと体験との対応関係を参照し、入力された情報が示す行動パターンに対応する体験を抽出する。例えば、図25に示すように、対応関係記憶部197には、行動パターン毎に体験が対応付けて記憶されている。上記のように、行動パターンは、センサ情報から得られる。一方、体験の情報は、テキスト情報から得られる。行動パターン及び体験の情報を得る方法については、上記の構成例#1と実質的に同じである。
行動・体験照合部196により抽出された体験の情報及び当該体験に対応する行動パターンの情報は、非日常行動判別部198に入力される。行動パターンの情報が入力されると、非日常行動判別部198は、入力された行動パターンの情報が非日常的な行動を示すものであるか否かを判別する。また、体験の情報が入力されると、非日常行動判別部198は、入力された体験の情報が非日常的な体験を示すものであるか否かを判別する。
例えば、非日常行動判別部198は、図30に示すような非日常条件に基づいて非日常的な行動及び非日常的な体験を判別する。
図30の例では、(非日常#1)の場合、非日常行動判別部198は、センサ情報から抽出した行動パターンに時間帯異常が発生したか否かを判定する。つまり、非日常行動判別部198は、ある種類の行動が、普段抽出される時間帯とは異なる時間帯に抽出された場合や、どの時間帯にも抽出されなかった場合に、その行動が非日常行動であると判別する。具体的には、普段「歩行」行動が朝と夕方に抽出されるユーザについて、「歩行」行動が深夜に抽出された場合、深夜の「歩行」行動は、非日常行動であると判別される。
また、(非日常#2)の場合、非日常行動判別部198は、センサ情報から抽出した行動パターンに種類異常が発生したか否かを判定する。つまり、非日常行動判別部198は、ある時間帯について、普段抽出される行動とは異なる種類の行動が抽出された場合、その行動が非日常行動であると判別する。具体的には、普段「歩行」行動や「電車」行動が朝に抽出されるユーザについて、「走る」行動や「自転車」行動が抽出された場合、「走る」行動や「自転車」行動は、非日常行動であると判別される。
また、(非日常#3)の場合、非日常行動判別部198は、テキスト情報から抽出した体験に時間帯異常が発生したか否かを判定する。つまり、非日常行動判別部198は、ある種類の体験が、普段抽出される時間帯とは異なる時間帯に抽出された場合や、どの時間帯にも抽出されなかった場合に、その体験が非日常行動であると判別する。具体的には、朝、昼、晩に「食事」体験が抽出されるユーザについて、「食事」体験が深夜に抽出された場合や、昼に「食事」体験が抽出されなかった場合、該当する体験は、非日常行動であると判別される。
また、(非日常#4)の場合、非日常行動判別部198は、テキスト情報から抽出した体験に種類異常が発生したか否かを判定する。つまり、非日常行動判別部198は、ある時間帯について、普段抽出される体験とは異なる種類の体験が抽出された場合、その体験が非日常行動であると判別する。具体的には、昼に「食事」体験が抽出されるユーザについて、昼に「走る」体験が検出された場合、昼に「走る」体験は、非日常行動であると判別される。
再び図29を参照する。上記のようにして非日常行動判別部198による非日常行動の判別結果は、非日常行動表示部199に入力される。非日常行動表示部199は、非日常行動に対応するオブジェクトやテキストを強調表示したり、非日常行動を示す新たなオブジェクトを表示したりする。
以上、構成例#3に係る情報提供システム19の構成について説明した。なお、上記の説明においては、テキスト情報の解析を先に実施し、センサ情報の解析を後に実施するような処理の流れに沿って説明したが、解析処理の順序は逆でもよい。また、日常/非日常を判別する処理を例に挙げて説明したが、ポジティブな行動/ネガティブな行動を判別する仕組みを同様にして構築することも可能である。こうした変形についても当然に本実施形態の技術的範囲に属する。
(2−4−2:応用例)
図30に非日常行動の判別ロジックを具体的に示したが、このようにして日常行動/非日常行動を判別できるようにすることで、ユーザの健康状態や詳細な状況を推定することが可能になる。例えば、図30に示した(非日常#1)の場合、普段抽出されない深夜の行動が抽出されていることから、不眠症ではないかと推定される。図30の例では説明の都合上、条件を単純化しているが、例えば、日中に「居眠り」行動が抽出されていれば、夜更かしや生活リズムの乱れなどが理由として推定される。さらに条件を追加することで、不眠症など、健康状態の診断に利用することも可能になる。
同様に、(非日常#2)の例では、非日常行動の理由として、通勤時間にダイエットを試みているのではないか、と推定される。また、(非日常#3)の例では、単に、仕事で忙しいことが非日常行動の理由として推定される。さらに、(非日常#4)の例では、非日常行動の理由として、昼食を抜くダイエットをしているのではないか、と推定される。非日常行動を組み合わせることで、理由の推定精度を向上させることは可能であろう。また、センサ情報及びテキスト情報に基づく非日常行動の履歴や統計結果から、非日常条件を改善したり、理由の推定アルゴリズムを構築したりすることも有用であろう。このように、本実施形態に係る技術は様々に応用可能である。
以上、構成例#3に係る技術について説明した。
[2−5:構成例の組み合わせについて]
上記の構成例#1〜#3に係る技術は任意に組み合わせることも可能である。テキスト情報から体験に関する情報を抽出する技術、及びセンサ情報から行動パターンを抽出する技術に関しては共通しているため、他の機能ブロックを直列又は並列に接続することで、任意の構成例#1〜#3の一部又は全部を組み合わせることが可能である。また、複数の構成例を組み合わせる場合、共通する機能を有する機能ブロックを共有するように設計することで、処理負荷の低減やメモリ使用量の削減効果などを見込める。こうした組み合わせ構成についても、当然に本実施形態の技術的範囲に属する。
<3:ハードウェア構成例>
上記の行動・状況認識システム10、情報提供システム13、17、19、情報端末CL、サーバ装置SVが有する各構成要素の機能は、例えば、図31に示すようなハードウェア構成を用いて実現することが可能である。つまり、当該各構成要素の機能は、コンピュータプログラムを用いて図31に示すハードウェアを制御することにより実現される。なお、このハードウェアの形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、PHS、PDA等の携帯情報端末、ゲーム機、又は種々の情報家電がこれに含まれる。但し、上記のPHSは、Personal Handy−phone Systemの略である。また、上記のPDAは、Personal Digital Assistantの略である。
図31に示すように、このハードウェアは、主に、CPU902と、ROM904と、RAM906と、ホストバス908と、ブリッジ910と、を有する。さらに、このハードウェアは、外部バス912と、インターフェース914と、入力部916と、出力部918と、記憶部920と、ドライブ922と、接続ポート924と、通信部926と、を有する。但し、上記のCPUは、Central Processing Unitの略である。また、上記のROMは、Read Only Memoryの略である。そして、上記のRAMは、Random Access Memoryの略である。
CPU902は、例えば、演算処理装置又は制御装置として機能し、ROM904、RAM906、記憶部920、又はリムーバブル記録媒体928に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ROM904は、CPU902に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM906には、例えば、CPU902に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス908を介して相互に接続される。一方、ホストバス908は、例えば、ブリッジ910を介して比較的データ伝送速度が低速な外部バス912に接続される。また、入力部916としては、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部916としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。
出力部918としては、例えば、CRT、LCD、PDP、又はELD等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。但し、上記のCRTは、Cathode Ray Tubeの略である。また、上記のLCDは、Liquid Crystal Displayの略である。そして、上記のPDPは、Plasma DisplayPanelの略である。さらに、上記のELDは、Electro−Luminescence Displayの略である。
記憶部920は、各種のデータを格納するための装置である。記憶部920としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。但し、上記のHDDは、Hard Disk Driveの略である。
ドライブ922は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体928に記録された情報を読み出し、又はリムーバブル記録媒体928に情報を書き込む装置である。リムーバブル記録媒体928は、例えば、DVDメディア、Blu−rayメディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体928は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。但し、上記のICは、Integrated Circuitの略である。
接続ポート924は、例えば、USBポート、IEEE1394ポート、SCSI、RS−232Cポート、又は光オーディオ端子等のような外部接続機器930を接続するためのポートである。外部接続機器930は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。但し、上記のUSBは、Universal Serial Busの略である。また、上記のSCSIは、Small Computer System Interfaceの略である。
通信部926は、ネットワーク932に接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB用の通信カード、光通信用のルータ、ADSL用のルータ、又は各種通信用のモデム等である。また、通信部926に接続されるネットワーク932は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内LAN、赤外線通信、可視光通信、放送、又は衛星通信等である。但し、上記のLANは、Local Area Networkの略である。また、上記のWUSBは、Wireless USBの略である。そして、上記のADSLは、Asymmetric Digital Subscriber Lineの略である。
<4:まとめ>
最後に、本実施形態の技術的思想について簡単に纏める。以下に記載する技術的思想は、例えば、PC、携帯電話、携帯ゲーム機、携帯情報端末、情報家電、カーナビゲーションシステム等、種々の情報処理装置に対して適用することができる。
上記の情報処理装置の機能構成は次のように表現することができる。
(1)
テキスト情報から所定の事柄を抽出する事柄抽出部と、
前記所定の事柄に関連付けられた一又は複数の行動パターンを特定する行動パターン特定部と、
センサ情報から前記所定の事柄に関連付けられた各前記行動パターンを抽出する行動抽出部と、
前記所定の事柄と当該事柄に関連付けられた各前記行動パターンとの組み合わせ毎に、各前記行動パターンが前記所定の事柄に寄与する度合いを表した寄与度を用い、前記センサ情報から抽出された各前記行動パターンに基づいて、前記事柄に関する状態を表す状態情報を生成する状態解析部と、
を備える、
情報処理装置。
(2)
前記状態解析部により生成された前記状態情報を表示させる状態表示部をさらに備える、
上記(1)に記載の情報処理装置。
(3)
ユーザが保持する端末装置に搭載されたセンサが検出したセンサ情報を取得するセンサ情報取得部と、
前記ユーザが入力したテキスト情報を取得するテキスト情報取得部と、
をさらに備え、
前記事柄抽出部は、前記テキスト情報取得部により取得されたテキスト情報から前記所定の事柄を抽出し、
前記行動抽出部は、前記センサ情報取得部により取得されたセンサ情報から前記行動パターンを抽出する、
上記(1)又は(2)に記載の情報処理装置。
(4)
前記状態表示部は、ユーザが保持する端末装置の表示部に前記状態情報を表示させる、
上記(2)に記載の情報処理装置。
(5)
前記状態情報は、
前記所定の事柄が、達成が希望される事柄である場合において、当該事柄に対する現在の達成度合いを表した達成度と、
前記所定の事柄に関連付けられた前記行動パターンから取得され、前記所定の事柄の現在の状態に関する現在値と、
前記所定の事柄に関連付けられた前記行動パターンから取得される値であって、前記所定の事柄の現在の状態に関する現在値と、前記所定の事柄の過去の状態に関する過去値とを比較した比較値と、
のいずれか1つを少なくとも含む、
上記(1)〜(4)のいずれか1項に記載の情報処理装置。
(6)
前記状態情報は、
前記所定の事柄が、達成が希望される事柄である場合において、当該事柄に対する現在の達成度合いを表した達成度であり、
前記達成度の増加又は減少傾向に応じて、前記達成が希望される事柄の達成に向けて努力しているか否かを判定し、判定結果をユーザに提示する努力傾向通知部をさらに備える、
上記(3)〜(5)のいずれか1項に記載の情報処理装置。
(7)
前記状態情報は、
前記所定の事柄が、達成が希望される事柄である場合において、当該事柄に対する現在の達成度合いを表した達成度であり、
前記達成度が所定の閾値を下回った場合、過去に負の寄与度を与えた行動パターンの中で頻度の高い行動パターン、又は、過去に負の寄与度を与えた行動パターンのヒストグラムをユーザに提示する原因通知部をさらに備える、
上記(3)〜(6)のいずれか1項に記載の情報処理装置。
(8)
前記状態情報は、
前記所定の事柄が、達成が希望される事柄である場合において、当該事柄に対する現在の達成度合いを表した達成度であり、
前記達成度が所定の閾値を下回った場合、過去に負の寄与度を与えた行動パターンの中で頻度の高い行動パターンと逆の傾向を有する行動パターンをユーザに提示する助言通知部をさらに備える、
上記(3)〜(7)のいずれか1項に記載の情報処理装置。
(9)
移動体に取り付けた端末装置に搭載されたセンサが検出したセンサ情報を取得するセンサ情報取得部と、
前記移動体を管理するユーザが入力したテキスト情報を取得するテキスト情報取得部と、
をさらに備え、
前記事柄抽出部は、前記テキスト情報取得部により取得されたテキスト情報から前記所定の事柄を抽出し、
前記行動抽出部は、前記センサ情報取得部により取得されたセンサ情報から前記行動パターンを抽出する、
上記(1)又は(2)に記載の情報処理装置。
(10)
テキスト情報から所定の事柄を抽出することと、
前記所定の事柄に関連付けられた一又は複数の行動パターンを特定することと、
センサ情報から前記所定の事柄に関連付けられた各前記行動パターンを抽出することと、
前記所定の事柄と当該事柄に関連付けられた各前記行動パターンとの組み合わせ毎に、各前記行動パターンが前記所定の事柄に寄与する度合いを表した寄与度を用い、前記センサ情報から抽出された各前記行動パターンに基づいて、前記事柄に関する状態を表す状態情報を生成することと、
を含む、
情報処理方法。
(11)
テキスト情報から所定の事柄を抽出する事柄抽出機能と、
前記所定の事柄に関連付けられた一又は複数の行動パターンを特定する行動パターン特定機能と、
センサ情報から前記所定の事柄に関連付けられた各前記行動パターンを抽出する行動抽出機能と、
前記所定の事柄と当該事柄に関連付けられた各前記行動パターンとの組み合わせ毎に、各前記行動パターンが前記所定の事柄に寄与する度合いを表した寄与度を用い、前記センサ情報から抽出された各前記行動パターンに基づいて、前記事柄に関する状態を表す状態情報を生成する状態解析機能と、
をコンピュータに実現させるためのプログラム。
(12)
テキスト情報からユーザの体験を示す体験情報を抽出する体験抽出部と、
センサ情報から行動パターンを抽出する行動抽出部と、
体験情報と行動パターンとの対応関係を示す関係情報に基づいて前記センサ情報から抽出された行動パターンに対応する体験情報を抽出する対応体験抽出部と、
前記テキスト情報から抽出された体験情報に関する情報と、前記行動パターンに対応する体験情報に関する情報とを併せて表示させる表示制御部と、
を備える、
情報処理装置。
(13)
前記体験抽出部は、体験の種類、体験の場所、体験の時間、体験の対象物から選択される少なくとも1つの情報を前記体験情報として前記テキスト情報から抽出する、
上記(12)に記載の情報処理装置。
(14)
前記表示制御部は、前記センサ情報から抽出される行動パターンに対応する体験情報に関する情報を表示させ、ユーザが詳細表示の操作を行った場合に、前記テキスト情報から抽出される体験情報に関する情報を表示させる、
上記(12)又は(13)に記載の情報処理装置。
(15)
ユーザが保持する端末装置に搭載されたセンサが検出したセンサ情報を取得するセンサ情報取得部と、
前記ユーザが入力したテキスト情報を取得するテキスト情報取得部と、
をさらに備え、
前記体験抽出部は、前記テキスト情報取得部により取得されたテキスト情報から前記体験情報を抽出し、
前記行動抽出部は、前記センサ情報取得部により取得されたセンサ情報から前記行動パターンを抽出する、
上記(12)〜(14)のいずれか1項に記載の情報処理装置。
(16)
前記センサ情報から抽出された行動パターンが非日常的であるか否かを判定する非日常行動判定部をさらに備える、
上記(12)〜(15)のいずれか1項に記載の情報処理装置。
(17)
前記非日常行動判定部は、前記テキスト情報から抽出された体験情報が非日常的であるか否かをさらに判定する、
上記(16)に記載の情報処理装置。
(18)
前記表示制御部は、前記非日常行動判定部により非日常的であると判定された場合に、当該判定の結果に対応する体験情報に関する情報を強調表示させる、
上記(16)又は(17)に記載の情報処理装置。
(19)
前記非日常行動判定部は、日常的に抽出される時間帯とは異なる時間帯に抽出された体験情報又はいずれの時間帯にも抽出されなかった体験情報に対応する行動を非日常的と判定する、
上記(16)〜(18)のいずれか1項に記載の情報処理装置。
(20)
前記非日常行動判定部は、日常的に抽出される体験の種類とは異なる種類の体験情報に対応する行動を非日常的と判定する、
上記(16)〜(18)のいずれか1項に記載の情報処理装置。
(21)
テキスト情報からユーザの体験を示す体験情報を抽出するステップと、
センサ情報から行動パターンを抽出するステップと、
体験情報と行動パターンとの対応関係を示す関係情報に基づいて前記センサ情報から抽出された行動パターンに対応する体験情報を抽出するステップと、
前記テキスト情報から抽出された体験情報に関する情報と、前記行動パターンに対応する体験情報に関する情報とを併せて表示させるステップと、
を含む、
情報処理方法。
(21)
テキスト情報からユーザの体験を示す体験情報を抽出する体験抽出機能と、
センサ情報から行動パターンを抽出する行動抽出機能と、
体験情報と行動パターンとの対応関係を示す関係情報に基づいて前記センサ情報から抽出された行動パターンに対応する体験情報を抽出する対応体験抽出機能と、
前記テキスト情報から抽出された体験情報に関する情報と、前記行動パターンに対応する体験情報に関する情報とを併せて表示させる表示制御機能と、
をコンピュータに実現させるためのプログラム。
以上、添付図面を参照しながら本技術に係る好適な実施形態について説明したが、本技術はここで開示した構成例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本技術の技術的範囲に属するものと了解される。
10 行動・状況解析システム
101 モーションセンサ
102 動き・状態認識部
103 時刻情報取得部
104 位置センサ
105 GIS情報取得部
106 行動・状況認識部
13 達成度提供システム
131 テキスト情報取得部
132 体験抽出部
133 目標/宣言抽出部
134 目標/宣言照合部
135 対応関係記憶部
136 目標/宣言登録部
137 達成度記憶部
138 センサ情報取得部
139 行動パターン抽出部
140 達成度更新部
141 達成度表示部
151 種類特徴量抽出部
152 体験種類判別部
153 体験種類モデル記憶部
154 場所特徴量抽出部
155 体験場所抽出部
156 体験場所モデル記憶部
157 時間特徴量抽出部
158 体験時間抽出部
159 体験時間モデル記憶部
171 テキスト情報取得部
172 体験抽出部
173 抽出結果記憶部
174 センサ情報取得部
175 行動パターン抽出部
176 行動・体験照合部
177 対応関係記憶部
178 付加体験検索部
179 行動・付加体験表示部
191 テキスト情報取得部
192 体験抽出部
193 抽出結果記憶部
194 センサ情報取得部
195 行動パターン抽出部
196 行動・体験照合部
197 対応関係記憶部
198 非日常行動判別部
199 非日常行動表示部
CL 情報端末
SV サーバ装置

Claims (11)

  1. ソーシャルネットワーキングサービスまたはアプリケーションから取得されたテキスト情報からユーザの体験を示す体験情報を抽出する体験抽出部と、
    センサ情報から行動パターンを抽出する行動抽出部と、
    体験情報と行動パターンとの対応関係を示す関係情報に基づいて前記センサ情報から抽出された行動パターンに対応する体験情報を抽出する対応体験抽出部と、
    前記テキスト情報から抽出された体験情報に関する情報と、前記行動パターンに対応する体験情報に関する情報とを併せて表示させる表示制御部と、
    を備える、
    情報処理装置。
  2. 前記体験抽出部は、体験の種類、体験の場所、体験の時間、体験の対象物から選択される少なくとも1つの情報を前記体験情報として前記テキスト情報から抽出する、
    請求項1に記載の情報処理装置。
  3. 前記表示制御部は、前記センサ情報から抽出される行動パターンに対応する体験情報に関する情報を表示させ、ユーザが詳細表示の操作を行った場合に、前記テキスト情報から抽出される体験情報に関する情報を表示させる、
    請求項1または2に記載の情報処理装置。
  4. ユーザが保持する端末装置に搭載されたセンサが検出したセンサ情報を取得するセンサ情報取得部と、
    前記ユーザが入力した前記テキスト情報を取得するテキスト情報取得部と、
    をさらに備え、
    前記体験抽出部は、前記テキスト情報取得部により取得されたテキスト情報から前記体験情報を抽出し、
    前記行動抽出部は、前記センサ情報取得部により取得されたセンサ情報から前記行動パターンを抽出する、
    請求項1〜3のいずれか1項に記載の情報処理装置。
  5. 前記センサ情報から抽出された行動パターンが非日常的であるか否かを判定する非日常行動判定部をさらに備える、
    請求項1〜4のいずれか1項に記載の情報処理装置。
  6. 前記非日常行動判定部は、前記テキスト情報から抽出された体験情報が非日常的であるか否かをさらに判定する、
    請求項5に記載の情報処理装置。
  7. 前記表示制御部は、前記非日常行動判定部により非日常的であると判定された場合に、当該判定の結果に対応する体験情報に関する情報を強調表示させる、
    請求項5または6に記載の情報処理装置。
  8. 前記非日常行動判定部は、日常的に抽出される時間帯とは異なる時間帯に抽出された体験情報又はいずれの時間帯にも抽出されなかった体験情報に対応する行動を非日常的と判定する、
    請求項5〜7のいずれか1項に記載の情報処理装置。
  9. 前記非日常行動判定部は、日常的に抽出される体験の種類とは異なる種類の体験情報に対応する行動を非日常的と判定する、
    請求項5〜7のいずれか1項に記載の情報処理装置。
  10. ソーシャルネットワーキングサービスまたはアプリケーションから取得されたテキスト情報からユーザの体験を示す体験情報を抽出するステップと、
    センサ情報から行動パターンを抽出するステップと、
    体験情報と行動パターンとの対応関係を示す関係情報に基づいて前記センサ情報から抽出された行動パターンに対応する体験情報を抽出するステップと、
    前記テキスト情報から抽出された体験情報に関する情報と、前記行動パターンに対応する体験情報に関する情報とを併せて表示させるステップと、
    を含む、
    情報処理方法。
  11. ソーシャルネットワーキングサービスまたはアプリケーションから取得されたテキスト情報からユーザの体験を示す体験情報を抽出する体験抽出機能と、
    センサ情報から行動パターンを抽出する行動抽出機能と、
    体験情報と行動パターンとの対応関係を示す関係情報に基づいて前記センサ情報から抽出された行動パターンに対応する体験情報を抽出する対応体験抽出機能と、
    前記テキスト情報から抽出された体験情報に関する情報と、前記行動パターンに対応する体験情報に関する情報とを併せて表示させる表示制御機能と、
    をコンピュータに実現させるためのプログラム。
JP2012126052A 2012-06-01 2012-06-01 情報処理装置、情報処理方法、及びプログラム Active JP5895716B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012126052A JP5895716B2 (ja) 2012-06-01 2012-06-01 情報処理装置、情報処理方法、及びプログラム
US13/858,287 US9369535B2 (en) 2012-06-01 2013-04-08 Information processing apparatus, information processing method and program
CN201310196924.9A CN103457989B (zh) 2012-06-01 2013-05-24 信息处理设备、信息处理方法及计算机可读介质
US15/152,277 US20160255164A1 (en) 2012-06-01 2016-05-11 Information processing apparatus, information processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012126052A JP5895716B2 (ja) 2012-06-01 2012-06-01 情報処理装置、情報処理方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016039705A Division JP6183489B2 (ja) 2016-03-02 2016-03-02 情報処理システム、情報処理方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2013250862A JP2013250862A (ja) 2013-12-12
JP2013250862A5 JP2013250862A5 (ja) 2015-03-12
JP5895716B2 true JP5895716B2 (ja) 2016-03-30

Family

ID=49671643

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012126052A Active JP5895716B2 (ja) 2012-06-01 2012-06-01 情報処理装置、情報処理方法、及びプログラム

Country Status (3)

Country Link
US (2) US9369535B2 (ja)
JP (1) JP5895716B2 (ja)
CN (1) CN103457989B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5895716B2 (ja) * 2012-06-01 2016-03-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP5935516B2 (ja) 2012-06-01 2016-06-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20150025790A1 (en) 2013-07-17 2015-01-22 Vivint, Inc. Geo-location services
JP6125445B2 (ja) * 2014-02-10 2017-05-10 日本電信電話株式会社 ライフログ記録システム及びそのプログラム
US20150347912A1 (en) * 2014-05-27 2015-12-03 Sony Corporation Activity tracking based recommendation
US20150350822A1 (en) * 2014-05-29 2015-12-03 Apple Inc. Electronic Devices with Motion Characterization Circuitry
CN105391849A (zh) * 2015-10-14 2016-03-09 小米科技有限责任公司 天气播报方法、装置及系统
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
CN107277222B (zh) * 2016-12-20 2020-12-15 浙江斑智科技有限公司 基于手机内置传感器的用户行为状态判断方法
JP2018109924A (ja) 2017-01-06 2018-07-12 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP6494714B2 (ja) * 2017-09-12 2019-04-03 ヤフー株式会社 推定装置、推定方法、及び推定プログラム
US11270569B2 (en) 2018-03-30 2022-03-08 Sony Corporation Information processing apparatus and information processing method

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001344352A (ja) * 2000-05-31 2001-12-14 Toshiba Corp 生活支援装置および生活支援方法および広告情報提供方法
NO316480B1 (no) * 2001-11-15 2004-01-26 Forinnova As Fremgangsmåte og system for tekstuell granskning og oppdagelse
JP2003269969A (ja) * 2002-03-13 2003-09-25 Sony Corp ナビゲーション装置、地点情報の表示方法およびプログラム
US7050907B1 (en) * 2002-08-15 2006-05-23 Trimble Navigation Limited Method and system for controlling an electronic device
JP2005115868A (ja) * 2003-10-10 2005-04-28 Sony Corp 私的情報蓄積装置及び私的情報蓄積方法、並びに、私的情報管理装置及び私的情報管理方法
US20060259293A1 (en) * 2005-05-11 2006-11-16 France Telecom Computerized method and apparatus for automatically generating a natural language description of a person's activities
JP5041202B2 (ja) 2006-06-20 2012-10-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US8781728B2 (en) * 2006-10-26 2014-07-15 Panasonic Corporation Travel history editing device
US7912828B2 (en) * 2007-02-23 2011-03-22 Apple Inc. Pattern searching methods and apparatuses
US8671154B2 (en) * 2007-12-10 2014-03-11 Yahoo! Inc. System and method for contextual addressing of communications on a network
JP5551867B2 (ja) * 2008-12-05 2014-07-16 ソニー株式会社 情報処理装置、及び情報処理方法
JP5166316B2 (ja) * 2009-02-20 2013-03-21 株式会社東芝 状況認識装置及び状況認識方法
JP5440080B2 (ja) * 2009-10-02 2014-03-12 ソニー株式会社 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム
US20110161085A1 (en) * 2009-12-31 2011-06-30 Nokia Corporation Method and apparatus for audio summary of activity for user
US20110202864A1 (en) * 2010-02-15 2011-08-18 Hirsch Michael B Apparatus and methods of receiving and acting on user-entered information
JP2011232445A (ja) * 2010-04-26 2011-11-17 Sony Corp 情報処理装置、出題傾向設定方法及びプログラム
JP2011232871A (ja) * 2010-04-26 2011-11-17 Sony Corp 情報処理装置、テキスト選択方法及びプログラム
US20120215560A1 (en) * 2010-07-21 2012-08-23 dbMotion Ltd. System and methods for facilitating computerized interactions with emrs
KR101165537B1 (ko) * 2010-10-27 2012-07-16 삼성에스디에스 주식회사 사용자 장치 및 그의 사용자의 상황 인지 방법
WO2012132388A1 (ja) * 2011-03-28 2012-10-04 日本電気株式会社 テキスト分析装置、問題言動抽出方法および問題言動抽出プログラム
JP5895716B2 (ja) * 2012-06-01 2016-03-30 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
US20130325959A1 (en) 2013-12-05
JP2013250862A (ja) 2013-12-12
US20160255164A1 (en) 2016-09-01
US9369535B2 (en) 2016-06-14
CN103457989B (zh) 2018-01-16
CN103457989A (zh) 2013-12-18

Similar Documents

Publication Publication Date Title
JP5935516B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP5895716B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US10003924B2 (en) Method of and server for processing wireless device sensor data to generate an entity vector associated with a physical location
US11934186B2 (en) Augmented reality in a vehicle configured for changing an emotional state of a rider
JP5904021B2 (ja) 情報処理装置、電子機器、情報処理方法、及びプログラム
KR20150069331A (ko) 사용자 라이프 로그 생성 방법 및 시스템
JP6183489B2 (ja) 情報処理システム、情報処理方法、及びプログラム
RU2658876C1 (ru) Способ и сервер для обработки данных датчика беспроводного устройства для создания вектора объекта, связанного с физическим положением
da Penha Natal et al. Efficient out-of-home activity recognition by complementing GPS data with semantic information
KR20230081584A (ko) 자동 및 멀티 모달리티 정보 입력을 활용하는 일상 추적 시스템을 위한 인공지능 기반의 상황 추론 장치 및 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150122

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160215

R151 Written notification of patent or utility model registration

Ref document number: 5895716

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250