以下に添付図面を参照しながら、本技術に係る好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
[説明の流れについて]
ここで、以下に記載する説明の流れについて簡単に述べる。
まず、図1〜図13を参照しながら、本実施形態の技術に関連する行動パターン認識技術について説明する。次いで、図14を参照しながら、本発明の一実施形態に係るシステム構成の一例について説明する。次いで、図15〜図23を参照しながら、構成例#1に係る情報提供システム13の機能及び動作について説明する。
次いで、図24〜図28を参照しながら、構成例#2に係る情報提供システム17の機能及び動作について説明する。次いで、図29及び図30を参照しながら、構成例#3に係る情報提供システム19の機能及び動作について説明する。次いで、図31を参照しながら、同実施形態に係るシステム及び各機器の機能を実現することが可能なハードウェア構成例について説明する。
最後に、同実施形態の技術的思想について纏め、当該技術的思想から得られる作用効果について簡単に説明する。
(説明項目)
1:はじめに
1−1:行動パターン認識技術
1−2:実施形態の概要
2:実施形態の詳細
2−1:システム構成の一例
2−2:構成例#1(目標達成度の示唆)
2−2−1:システム構成の詳細
2−2−2:処理の流れ
2−2−3:画面表示の例
2−2−4:変形例(動物への適用)
2−3:構成例#2(詳細行動の表示)
2−3−1:システム構成の詳細
2−3−2:処理の流れ
2−3−3:画面表示の例
2−4:構成例#3(日常行動/非日常行動の判別)
2−4−1:システム構成の詳細
2−4−2:応用例
2−5:構成例の組み合わせについて
3:ハードウェア構成例
4:まとめ
<1:はじめに>
はじめに、本実施形態の技術に関連する行動パターン認識技術について説明する。
[1−1:行動パターン認識技術]
ここで説明する行動パターン認識技術は、モーションセンサなどを利用して検知されたユーザの動きや状態に関する情報と位置センサなどを利用して検知された位置情報とを用いてユーザの行動や状況を検出する技術に関する。
なお、モーションセンサとしては、例えば、3軸加速度センサ(加速度センサ、重力検知センサ、落下検出センサなどを含む。)や3軸ジャイロセンサ(角速度センサ、手振れ補正センサ、地磁気センサなどを含む。)などが用いられる。また、位置センサとしては、例えば、GPS(Global Positioning System)、RFID(Radio Frequency Identification)、Wi−Fiアクセスポイント、無線基地局などの情報が利用可能である。これらの情報を利用すると、例えば、現在地の緯度・経度を検出することが可能になる。
(行動・状況解析システム10のシステム構成)
まず、図1を参照しながら、上記のような行動パターン認識技術を実現することが可能な行動・状況解析システム10のシステム構成について説明する。図1は、行動・状況解析システム10の全体的なシステム構成について説明するための説明図である。
なお、本稿においては、「動き、状態」と「行動、状況」という表現を次のような意味で使い分ける。「動き、状態」は、数秒から数分程度の比較的短時間にユーザが行う行動を意味し、例えば、「歩き」「走り」「跳躍」「静止」等の行為を指す。また、この行為を纏めて「動き・状態パターン」又は「LC(Low−Context)行動」と表現する。一方、「行動、状況」は、「動き、状態」よりも長い時間かけてユーザが行う生活行動であり、例えば、「食事」「買い物」「仕事」等の行為を指す。また、この行為を纏めて「行動・状況パターン」又は「HC(High−Context)行動」と表現する。
図1に示すように、行動・状況解析システム10は、主に、モーションセンサ101と、動き・状態認識部102と、時刻情報取得部103と、位置センサ104と、GIS情報取得部105と、行動・状況認識部106とにより構成される。
なお、行動・状況解析システム10には、行動・状況認識部106により検出される行動・状況パターンを利用するアプリケーションAPやサービスSVが用意されていてもよい。また、アプリケーションAPによる行動・状況パターンの利用結果や、ユーザのプロファイル情報が行動・状況認識部106に入力されるように構成されていてもよい。
まず、ユーザが行動すると、モーションセンサ101により加速度の変化や重力軸周りの回転等(以下、センサデータ)が検知される。モーションセンサ101により検知されたセンサデータは、図2に示すように、動き・状態認識部102に入力される。
センサデータが入力されると、動き・状態認識部102は、図2に示すように、入力されたセンサデータを用いて動き・状態パターンを検出する。動き・状態認識部102により検出可能な動き・状態パターンとしては、例えば、図3に示すように、「歩き」「走り」「静止」「跳躍」「電車(搭乗/非搭乗)」「エレベータ(搭乗/非搭乗/上昇/下降)」などがある。動き・状態認識部102により検出された動き・状態パターンは、行動・状況認識部106に入力される。
位置センサ104は、ユーザの居場所(以下、現在地)を示す位置情報を連続的又は間欠的に取得する。例えば、現在地の位置情報は、緯度・経度により表現される。位置センサ104により取得された現在地の位置情報は、GIS情報取得部105に入力される。
現在地の位置情報が入力されると、GIS情報取得部105は、GIS(Geographic Information System)情報を取得する。そして、GIS情報取得部105は、図4に示すように、取得したGIS情報を用いて現在地の属性を検出する。GIS情報は、例えば、地図情報や、人工衛星や現地踏査などで得られた様々な付加情報を含み、科学的調査、土地、施設、道路などの管理や都市計画などにも利用される情報である。GIS情報を利用すると、現在地の属性を判別することが可能になる。GIS情報取得部105は、例えば、ジオカテゴリコード(例えば、図5を参照)と呼ばれる識別情報を利用して現在地の属性を表現する。
ジオカテゴリコードは、図5に示すように、場所に関連する情報の種別を分類するための分類コードである。このジオカテゴリコードは、例えば、建造物の種別、地形の形状、地理的特性、地域性等に応じて設定されている。そのため、現在地のジオカテゴリコードを特定することにより、ユーザが居る環境をある程度認識することが可能になる。
GIS情報取得部105は、取得したGIS情報を参照し、現在地及び現在地周辺にある建造物などを特定して、その建造物などに対応するジオカテゴリコードを抽出する。GIS情報取得部105により選択されたジオカテゴリコードは、行動・状況認識部106に入力される。なお、現在地周辺に建造物などが多数存在する場合、GIS情報取得部105は、各建造物などのジオカテゴリコードを抽出し、抽出したジオカテゴリコードに関する情報として、図6及び図7に示すジオカテゴリヒストグラムのような情報を行動・状況認識部106に入力してもよい。
図8に示すように、行動・状況認識部106には、動き・状態認識部102から動き・状態パターンが入力され、GIS情報取得部105からジオカテゴリコードなどが入力される。また、行動・状況認識部106には、時刻情報取得部103から時刻情報が入力される。この時刻情報は、モーションセンサ101によりセンサデータが取得された時刻を示す情報を含む。また、この時刻情報は、位置センサ104により位置情報が取得された時刻を示す情報を含んでいてもよい。また、時刻情報としては、例えば、時刻を示す情報の他、曜日の情報、祝日の情報、年月日の情報などが含まれていてもよい。
上記の情報が入力されると、行動・状況認識部106は、入力された動き・状態パターン、ジオカテゴリコード(或いは、ジオカテゴリヒストグラムなど)、及び時刻情報に基づいて行動・状況パターンを検出する。このとき、行動・状況認識部106は、ルールに基づく判定処理(以下、ルールベース判定)や学習モデルに基づく判定処理(以下、学習モデル判定)を利用して行動・状況パターンを検出する。ここで、ルールベース判定及び学習モデル判定について簡単に説明する。
(ルールベース判定について)
まず、ルールベース判定について説明する。ルールベース判定とは、ジオカテゴリコードと行動・状況パターンとの組み合わせ毎にスコアを割り当てておき、そのスコアに基づいて入力データに対応する適切な行動・状況パターンを判定する方法である。
スコアの割り当てルールは、図9に示すようなスコアマップSMにより表現される。スコアマップSMは、年月日、時間帯、曜日などの時刻情報毎に用意される。例えば、3月の第1週の月曜日に対応するスコアマップSMなどが用意される。さらに、スコアマップSMは、歩行、走行、電車などの動き・状態パターン毎に用意される。例えば、歩行中のスコアマップSMなどが用意される。そのため、スコアマップSMは、時刻情報と動き・状態パターンとの組み合わせ毎に用意される。
行動・状況認識部106は、図10に示すように、予め用意された複数のスコアマップSMの中から、入力された時刻情報及び動き・状態パターンに適合するスコアマップSMを選択する。また、行動・状況認識部106は、図11に示すように、選択したスコアマップSMの中から、ジオカテゴリコードに対応するスコアを抽出する。これらの処理により、行動・状況認識部106は、センサデータの取得時点における現在地の状況を考慮して、スコアマップSMに存在する各行動・状況パターンのスコアを抽出することが可能になる。
次いで、行動・状況認識部106は、抽出したスコアの中から最大のスコアを特定し、最大のスコアに対応する行動・状況パターンを抽出する。このようにして行動・状況パターンを検出する方法がルールベース判定である。なお、スコアマップSMのスコアは、そのスコアに対応する行動・状況パターンをユーザがとると推測される確率を示している。つまり、スコアマップSMは、ジオカテゴリコードで表現される現在地の状況でユーザがとると推測される行動・状況パターンのスコア分布を表している。
例えば、日曜日の3時頃、デパートにいるユーザは「買い物中」である確率が高いと推測される。但し、同じデパートにいても19時頃、デパートにいるユーザは「食事中」である確率も高いと推測される。このように、ある場所で、ある時間にユーザが行っている行動・状況パターンのスコア分布を示したものがスコアマップSM(正確にはスコアマップSM群)なのである。
スコアマップSMは、例えば、ユーザ本人又は他人により予め入力されたものであってもよいし、或いは、機械学習などを利用して得られるものであってもよい。また、スコアマップSMは、個人プロファイル情報PRや、ユーザから得られる行動・状況フィードバックFB(出力された行動・状況パターンの正否など)により最適化されてもよい。プロファイル情報PRとしては、例えば、年齢、性別、職業、自宅の情報、職場の情報などが利用される。以上がルールベース判定の具体的な処理内容である。
(学習モデル判定について)
次に、学習モデル判定について説明する。学習モデル判定とは、機械学習アルゴリズムを用いて行動・状況パターンを判定するための判定モデルを生成し、生成した判定モデルを用いて入力データに対応する行動・状況パターンを判定する方法である。
機械学習アルゴリズムとしては、例えば、k−means法、Nearest Neighbor法、SVM、HMM、Boosting等が利用可能である。但し、SVMは、Support vector machineの略である。また、HMMは、Hidden Markov Modelの略である。これらの手法に加え、特開2009−48266号公報などに記載の遺伝的探索に基づくアルゴリズム構築方法を利用して判定モデルを生成する方法もある。
機械学習アルゴリズムに入力される特徴量ベクトルとしては、例えば、図12に示すように、時間情報、動き・状態パターン、ジオカテゴリコード(又はジオカテゴリヒストグラムなど)、センサデータ、現在地の位置情報などが利用される。但し、遺伝的探索に基づくアルゴリズム構築方法を用いる場合、学習過程における特徴量ベクトルの選定段階で遺伝的探索アルゴリズムが利用される。行動・状況認識部106は、まず、正解の行動・状況パターンが分かっている特徴量ベクトルを学習データとして機械学習アルゴリズムに入力し、各行動・状況パターンの確度、又は最適な行動・状況パターンを判定する判定モデルを生成する。
次いで、行動・状況認識部106は、生成した判定モデルに入力データを入力し、入力データに適合すると推測される行動・状況パターンを判定する。但し、生成した判定モデルを用いて行われた判定結果に対する正誤のフィードバックが得られる場合、そのフィードバックを利用して判定モデルが再構築される。この場合、行動・状況認識部106は、再構築した判定モデルを用いて入力データに適合すると推測される行動・状況パターンを判定する。以上が学習モデル判定の具体的な処理内容である。
以上説明した方法により、行動・状況認識部106は、図13に示すような行動・状況パターンを検出する。そして、行動・状況認識部106により検出された行動・状況パターンは、行動・状況パターンに応じた推奨サービスSVの提供に利用されたり、行動・状況パターンに応じた処理を行うアプリケーションAPにより利用される。
以上、行動・状況解析システム10のシステム構成について説明した。後述する実施形態に係る技術は、上述した行動・状況解析システム10の機能に関係する。なお、行動・状況解析システム10の詳細な機能については、例えば、特開2011−081431号公報などの記載が参考になる。
[1−2:実施形態の概要]
ここで、本実施形態の概要について述べる。本実施形態に係る技術は、上記の行動・状況解析システム10などを利用して得られる行動パターンの情報と、テキスト情報などの入力情報とを組み合わせ、より付加価値の高い情報を提供する仕組みに関する。
例えば、後段において紹介する構成例#1は、「所定の事柄」に対応する一又は複数の行動パターンに基づいて、その事柄に関する状態を表す「状態情報」を提供する仕組みに関する。例えば、上記の「所定の事柄」は、入力情報から得られるユーザの目標/宣言であり、上記の「状態情報」は、その目標/宣言に対する達成度である。
上記の「所定の事柄」は、入力情報から得られるユーザの目標/宣言に限定されず、上記の「状態情報」は、その目標/宣言に対する達成度に限定されないが、後述する構成例#1では、主に入力情報から得られるユーザの目標/宣言に対する達成度をユーザに提供する仕組みを例として、説明を進めることとする。
また、「状態情報」は、所定の事柄に対する現在の状態と目標/宣言を達成した場合の状態との比較情報の一例である達成度以外にも、例えば、所定の事柄に対する現在の状態を表す情報や、所定の事柄に対する現在の状態と過去の状態との比較情報であってもよく、この場合であっても、後述する構成例#1に係る技術を適用できる。
また、後述する構成例#2は、上記の行動・状況解析システム10などを利用して得られる行動パターンの情報に、テキスト情報などの入力情報から得られるユーザの体験に関する情報を付加し、より詳細な情報をユーザに提供する仕組みに関する。さらに、後述する構成例#3は、上記の行動・状況解析システム10などを利用して得られる行動パターンの情報、及びテキスト情報などの入力情報から得られるユーザの体験のうち、非日常的な行動や体験を判別してユーザに提供する仕組みに関する。
なお、これら構成例#1〜#3に係る技術は任意に組み合わせることも可能である。また、以下の説明では、体験の抽出に用いる入力情報としてテキスト情報を主に想定するが、例えば、マイクなどを利用して取得した音声情報などを利用することも可能である。この場合、音声信号の波形をそのまま利用して周辺環境や行動に関する情報を得ることもできるし、音声認識技術を利用して音声信号からテキスト情報を得ることも可能である。音声認識技術を利用する場合は、テキスト情報が得られることから、後述する構成例#1〜#3に係る技術をそのまま適用することができる。
<2:実施形態の詳細>
以下、本実施形態に係る技術の詳細について説明する。
[2−1:システム構成の一例]
まず、図14を参照しながら、本実施形態に係るシステム構成の一例を紹介する。図14は、本実施形態に係るシステム構成の一例について説明するための説明図である。なお、ここで紹介するシステム構成はあくまでも一例に過ぎず、現在及び将来において利用可能な様々なシステム構成に対して本実施形態に係る技術を適用することが可能である。
図14に示すように、後述する情報提供システム13、17、19は、主に、複数の情報端末CLと、サーバ装置SVとにより構成される。情報端末CLは、ユーザが利用する機器の一例である。例えば、情報端末CLとしては、携帯電話、スマートフォン、デジタルスチルカメラ、デジタルビデオカメラ、パーソナルコンピュータ、タブレット端末、カーナビゲーションシステム、携帯ゲーム機、健康器具(万歩計(登録商標)などを含む)、医療機器などが想定される。一方、サーバ装置SVとしては、例えば、ホームサーバやクラウドコンピューティングシステムなどが想定される。
もちろん、本実施形態に係る技術が適用可能なシステム構成は図14の例に限定されないが、説明の都合上、有線及び/又は無線のネットワークで接続された複数の情報端末CL及びサーバ装置SVを念頭に置きつつ説明を進めることにする。従って、情報端末CLとサーバ装置SVとの間で情報をやり取りすることが可能な構成を想定する。但し、情報提供システム13、17、19が有する各種機能のうち、どの機能を情報端末CLが担い、どの機能をサーバ装置SVが担うように構成するかは自由である。例えば、情報端末CLの演算能力や通信速度などを考慮して設計されることが望ましい。
[2−2:構成例#1(目標達成度の示唆)]
まず、構成例#1について説明する。構成例#1は、入力情報から得られるユーザの目標/宣言に対する達成度をユーザに提供する仕組みに関する。
(2−2−1:システム構成の詳細)
構成例#1に係るシステム(情報提供システム13)は、例えば、図15のようになる。図15に示すように、情報提供システム13は、テキスト情報取得部131と、体験抽出部132と、目標/宣言抽出部133と、目標/宣言照合部134と、対応関係記憶部135と、目標/宣言登録部136とを有する。さらに、情報提供システム13は、達成度記憶部137と、センサ情報取得部138と、行動パターン抽出部139と、達成度更新部140と、達成度表示部141とを有する。
なお、センサ情報取得部138及び行動パターン抽出部139の機能は、上述した行動・状況解析システム10の機能を利用して実現可能である。また、情報提供システム13が有する上記構成要素のうち、どの構成要素の機能を情報端末CLが担い、どの構成要素の機能をサーバ装置SVが担うように設計するかは自由である。例えば、情報端末CLの演算能力や通信速度などを考慮して設計されることが望ましい。
テキスト情報取得部131は、ユーザが入力したテキスト情報を取得する。例えば、テキスト情報取得部131は、ユーザがテキストを入力するための入力デバイスであってもよいし、ソーシャルネットワークサービスやアプリケーションからテキスト情報を取得する情報収集デバイスであってもよい。ここでは、説明の都合上、テキスト情報取得部131がソフトウェアキーボードのような入力手段であると想定して説明を進める。
テキスト情報取得部131により取得されたテキスト情報は、体験抽出部132に入力される。このとき、体験抽出部132には、テキスト情報と共に、テキスト情報が入力された際の時刻情報が入力されてもよい。テキスト情報が入力されると、体験抽出部132は、入力されたテキスト情報を解析し、ユーザの体験に関する情報をテキスト情報から抽出する。体験に関する情報とは、例えば、体験した事象(体験の種類など)、体験した場所、体験した時間などを含む情報である。
ここで、体験抽出部132の機能構成について、図16を参照しながら、より詳細に説明する。図16に示すように、体験抽出部132は、主に、種類特徴量抽出部151と、体験種類判別部152と、体験種類モデル記憶部153とを有する。さらに、体験抽出部132は、場所特徴量抽出部154と、体験場所抽出部155と、体験場所モデル記憶部156とを有する。そして、体験抽出部132は、時間特徴量抽出部157と、体験時間抽出部158と、体験時間モデル記憶部159とを有する。
テキスト情報が体験抽出部132に入力されると、そのテキスト情報は、種類特徴量抽出部151、場所特徴量抽出部154、及び時間特徴量抽出部157に入力される。
種類特徴量抽出部151は、入力されたテキスト情報から体験の種類に関する特徴量(以下、種類特徴量)を抽出する。種類特徴量抽出部151により抽出された種類特徴量は、体験種類判別部152に入力される。体験種類判別部152は、体験種類モデル記憶部153に記憶されている学習モデルを利用して、入力された種類特徴量から体験の種類を判別する。そして、体験種類判別部152による判別結果は、目標/宣言抽出部133に入力される。
また、場所特徴量抽出部154は、入力されたテキスト情報から、体験した場所に関する特徴量(以下、場所特徴量)を抽出する。場所特徴量抽出部154により抽出された場所特徴量は、体験場所判別部155に入力される。体験場所判別部155は、体験場所モデル記憶部156に記憶されている学習モデルを利用して、入力された場所特徴量から体験した場所を判別する。そして、体験場所判別部155による判別結果は、目標/宣言抽出部133に入力される。
また、時間特徴量抽出部157は、入力されたテキスト情報から、体験した時間に関する特徴量(以下、時間特徴量)を抽出する。時間特徴量抽出部157により抽出された時間特徴量は、体験時間判別部158に入力される。体験時間判別部158は、体験時間モデル記憶部159に記憶されている学習モデルを利用して、入力された時間特徴量から体験した時間を判別する。そして、体験時間判別部158による判別結果は、目標/宣言抽出部133に入力される。
ここで、図17を参照しながら、音楽体験を例に体験抽出部132が実行する処理の内容について説明を補足する。図17は、体験抽出部132が実行する具体的な処理の内容について説明するための説明図である。なお、ここでは説明の都合上、音楽体験を例に上げて説明を進めるが、本実施形態の技術的範囲はこれに限定されない。
図17に示すように、音楽体験の場合、体験の種類としては、例えば、「音楽を聴く(listen)」「TV/映画/DVDなどで音楽映像を見る(watch)」「曲/CDを買う(buy)」「ライブやコンサートに参加する(live)」「歌を歌う/演奏する/作曲する(play)」などが考えられる。体験抽出部132は、種類特徴量抽出部151及び体験種類判別部152の機能を利用して、これら体験の種類を判別する。
例えば、体験の種類「listen」を判別する場合、まず、種類特徴量抽出部151は、形態素、n−gram、極大部分文字列などの手法により体験の種類「listen」に関する種類特徴量を抽出する。次いで、体験種類判別部152は、SVMやLogistic Regressionなどの手法により種類特徴量から体験の種類「listen」に該当するか否かを判別する。体験種別判別部152による判別結果は、体験の種類を表す情報として出力される。同様に、体験の種類「watch」「buy」「live」「play」などについても判別結果が得られる。
また、体験場所の抽出は、場所特徴量抽出部154及び体験場所抽出部155の機能により実現される。まず、場所特徴量抽出部154は、入力されたテキスト情報を対象に形態素解析を実行し、その結果を体験場所抽出部155に入力する。次いで、体験場所抽出部155は、形態素解析の結果に基づき、CRF(Conditional Random Field)などの手法を利用して体験場所を抽出する。例えば、体験場所抽出部155は、図18に示すような素性テンプレートを利用し、図19に示すように体験場所(図19の例では「京都駅」を抽出)を抽出する。
また、体験時間の抽出は、時間特徴量抽出部157及び体験時間抽出部158の機能により実現される。体験時間の抽出は、上述した体験場所の抽出と同様に、形態素解析及びCRFなどを利用した系列ラベリングの手法により実現される。なお、体験時間の表現としては、例えば、「現在」「過去」「未来」「朝」「昼」「夕方」「深夜」など、様々な単位の表現が利用されうる。このようにして得られた体験場所及び体験時間の情報は、体験の種類を示す判別結果と共に、目標/宣言抽出部133に入力される。なお、体験の種類、体験場所、体験時間の一部又は全部が得られない場合もある。
再び図15を参照する。体験の種類、体験場所、体験時間の情報が得られると、目標/宣言抽出部133は、体験の種類及び体験時間の情報を利用して、テキスト情報に目標/宣言に関する情報が含まれるか否かを判定する。例えば、図20に示すように、体験の種類が「ダイエット」、体験時間が「未来」の場合、目標/宣言抽出部133は、この結果に対応するテキスト情報が目標/宣言を含むものと判定する。一方、体験の種類が「ダイエット」であっても、体験時間が「過去」の場合、目標/宣言抽出部133は、この結果に対応するテキスト情報が目標/宣言を含まないものと判定する。
つまり、目標/宣言抽出部133は、体験種類が目標/宣言に該当し、体験時間が未来の場合に、その結果に対応するテキスト情報が目標/宣言を含むものと判定する。そして、目標/宣言抽出部133は、目標/宣言を含むものと判定したテキスト情報から得られた体験種類を目標/宣言として抽出する。そして、目標/宣言抽出部133により抽出された目標/宣言の情報は、目標/宣言照合部134に入力される。目標/宣言の情報が入力されると、目標/宣言照合部134は、対応関係記憶部135を参照し、入力された目標/宣言に関連する一又は複数の行動パターンを特定し、特定した各行動パターンを抽出する。
ここで、上記の説明では、目標/宣言照合部134は、目標/宣言の情報が入力された後に、その目標/宣言に対応する一又は複数の行動パターンを特定することとしたが、本実施形態に係る技術の適用範囲はこれに限定されない。
例えば、目標/宣言に関連するか否かを問わず、予め取得可能な全行動パターンを認識し、その認識結果をデータベースに格納しておくことが考えられる。この場合には、目標/宣言が入力された際に、全行動パターンの認識結果を格納したデータベースから、入力された目標/宣言に対応付けられた行動パターンについてのデータを参照すればよい。
対応関係記憶部135には、例えば、図21に示すように、目標/宣言と行動パターンとの対応関係を示すデータベースが格納されている。また、図21の例では、目標/宣言と行動パターンとの各組み合わせに対して寄与度が対応付けられている。例えば、ダイエットを目標/宣言にしている場合、「歩く」や「走る」といった行動はダイエットに効果があるが、「車に乗る」や「電車に乗る」といった行動はダイエットに効果がない。こうした観点から、図21の例では、目標/宣言と行動パターンとの各組み合わせに対して寄与度が対応付けられている。
目標/宣言照合部134は、目標/宣言の情報及び目標/宣言に対応する行動パターンの情報を目標/宣言登録部136に入力する。目標/宣言の情報及び目標/宣言に対応する行動パターンの情報が入力されると、目標/宣言登録部136は、入力された目標/宣言及び行動パターンを到達度記憶部137に登録する。このようにして目標/宣言が登録されると、登録された目標/宣言に関して達成度の計算及び達成度に関する情報の提供が開始される。また、日々検出される行動パターンに応じて達成度が計算され、リアルタイムに目標/宣言に対する達成度の情報がユーザに提供される。
再び図15を参照する。行動パターンの検出は、センサ情報取得部138及び行動パターン抽出部139の機能により実現される。まず、センサ情報取得部138は、モーションセンサや位置センサなどからセンサ情報を取得する。センサ情報取得部138により取得されたセンサ情報は、行動パターン抽出部139に入力される。行動パターン抽出部139は、入力されたセンサ情報から行動パターンを抽出する。行動パターン抽出部139により抽出された行動パターンの情報は、達成度更新部140に入力される。なお、行動パターンの抽出方法は、上述した行動・状況解析システム10による行動パターンの抽出方法と同じ方法が適用可能である。
行動パターンの情報が入力されると、達成度更新部140は、達成度記憶部137に登録された目標/宣言に関する情報を参照し、入力された情報が示す行動パターンが、目標/宣言に対応する行動パターンに該当するか否かを判定する。目標/宣言に対応する行動パターンに該当する場合、達成度記憶部137は、その目標/宣言と、入力された行動パターンとの組み合わせに対応する達成効果(例えば、図21を参照)を認識する。次いで、達成度記憶部137は、その達成効果に対応付けられた達成度の更新値に基づいて現在の達成度を計算し、達成度記憶部137に記録する。
例えば、目標/宣言が「ダイエット」、達成効果「無」=−5ポイント、達成効果「小」=+5ポイント、達成効果「中」=+15ポイント、達成効果「大」=+30ポイントの場合について、図22を参照しながら具体的に考えてみたい。まず、ユーザが電車に1時間乗った場合、行動パターン「電車に乗る(達成効果「無」)」が検出されるため、達成度更新部140は、現在の達成度を−5ポイントに設定する。次いで、ユーザが10分歩いた場合、行動パターン「歩く(達成効果「中」)」が検出されるため、達成度更新部140は、前回の達成度に15ポイント加算して現在の達成度を10ポイントに更新する。このように、行動パターンに応じて達成度が更新される。
再び図15を参照する。上記のように、達成度記憶部137に格納された目標/宣言毎の達成度はリアルタイムに更新される。達成度記憶部137に格納された目標/宣言毎の達成度は、達成度表示部141により読み出され、ユーザに提示される。例えば、達成度表示部141は、図22の表示例#1及び#2に示すように、ユーザがとった行動パターンを示すオブジェクトと共に、その行動に応じて更新された達成度の値を表示する。表示例#1は、ユーザが「走る」行動をとったために達成度がアップし、更新後の達成度が35になったことを示している。
以上、構成例#1に係る情報提供システム13の構成について説明した。なお、上記の説明においては、テキスト情報の解析を先に実施し、センサ情報の解析を後に実施するような処理の流れに沿って説明したが、解析処理の順序は逆でもよい。また、達成度の通知方法は、画面表示に代えて音声ガイダンスにしたり、振動や光の明滅などで表現したりする方法などでもよい。例えば、達成度に応じて振動の強弱が変化したり、光の明滅速度や明るさが変化したりする構成などが考えられる。こうした変形についても当然に本実施形態の技術的範囲に属する。
(2−2−2:処理の流れ)
次に、図23を参照しながら、情報提供システム13が実行する処理の流れについて説明する。図23は、情報提供システム13が実行する処理の流れについて説明するための説明図である。なお、図23に示した処理ステップの一部は順序を変更してもよい。例えば、テキスト情報の解析に係る処理ステップの順番とセンサ情報の解析に係る処理ステップの順番とを入れ替えてもよい。
図23に示すように、まず、情報提供システム13は、テキスト情報取得部131の機能により、テキスト情報を取得する(S101)。次いで、情報提供システム13は、体験抽出部132の機能により、テキスト情報から体験に関する情報を抽出する(S102)。体験に関する情報としては、例えば、体験の種類、体験場所、体験時間などが含まれる。次いで、情報提供システム13は、目標/宣言抽出部133の機能により、体験に関する情報から目標/宣言に関する情報を抽出する(S103)。
次いで、情報提供システム13は、目標/宣言照合部134の機能により、ステップS103で抽出した目標/宣言に対応する行動パターンを抽出する(S104)。次いで、情報提供システム13は、目標/宣言登録部136の機能により、達成度の算出対象となる目標/宣言と、その目標/宣言に対応する行動パターンを達成度記憶部137に登録する(S105)。
一方で、情報提供システム13は、センサ情報取得部138の機能により、センサ情報を取得する(S106)。次いで、情報提供システム13は、行動パターン抽出部139の機能により、センサ情報から行動パターンを抽出する(S107)。次いで、情報提供システム13は、達成度更新部140の機能により、ステップS107で抽出した行動パターンに対応する目標/宣言の達成効果を認識し、認識した達成効果に応じて現在の達成度を計算する(S108)。次いで、情報提供システム13は、達成度表示部141の機能により、目標/宣言の達成度を表示し(S109)、一連の処理を終了する。
以上、情報提供システム13が実行する処理の流れについて説明した。
(2−2−3:画面表示の例)
ここで、達成度の表示方法について説明を補足する。
達成度の表示方法としては、図22の表示例#1及び#2のような方法がある。つまり、現在の行動パターンに対応するオブジェクトを表示し、現在の行動パターンをとった結果として得られた達成度を表示する方法が一例として挙げられる。特に、図22の例では、現在の行動パターンにより達成度がアップしたのか、ダウンしたのかが矢印で表示されており、ひと目で目標/宣言に対する効果が分かるようになっている。このような表示により、良い効果を奏する行動パターンをとるようにユーザを促すことが可能になる。また、その効果が達成度の数値にリアルタイムに反映されるため、目標/宣言に取り組むユーザのモチベーションを持続させる効果も期待できる。
(2−2−4:変形例(動物への適用))
ところで、これまでは人間の行動パターンを対象とする技術について説明を進めてきた。しかし、構成例#1に係る技術は、人間以外の動物に対しても適用可能である。例えば、犬や猫などのペットの首輪にセンサを装着し、飼い主がペットの目標/宣言をテキスト情報として入力することにより、ペットの目標達成度を得ることも可能である。例えば、飼い主が目の届かない場所や時間帯に、ペットがどのくらい運動しているか、といったデータを得ることが可能になる。こうしたデータを解析し、ペットの健康管理を行うことで、ペットの病気予防などに効果を発揮するものと考えられる。
以上、構成例#1に係る技術について説明した。上記の構成例#1に係る技術によれば、入力情報から得られるユーザの宣言と、推定された行動パターンとの適合状況から、当該ユーザの宣言に関する達成状況を提示することが可能になる。
(適用例)
上記のように、構成例#1に係る技術を適用すると、ユーザの目標/宣言、及び行動パターンに基づく達成度が得られる。そこで、この達成度をグラフ化してユーザに表示したり、目標/宣言の達成に向けて達成度が増加傾向にあるか、減少傾向にあるかに応じて目標/宣言に向けた努力の度合いを表示したりする表示方法が実現可能である。さらに、目標/宣言の達成が困難な状況(達成度が著しく低い状況(閾値を下回る場合など))になっている場合に、達成度を下げる要因となった行動パターンの代表例(頻度の多いもの)やヒストグラムなどをユーザに提示して、困難な状況に陥った原因をユーザに提示する表示方法も実現可能である。さらに、達成度を下げる要因となった行動パターンの代表例とは逆の傾向を持つ行動パターンをユーザに提示することで、ユーザが目標/宣言を達成するための助言を与える表示方法も実現可能である。このような表示方法を適用することで、ユーザの目標/宣言の達成を直接的又は間接的にサポートすることが可能になる。
[2−3:構成例#2(詳細行動の表示)]
次に、構成例#2について説明する。構成例#2は、入力情報から得られるユーザの体験に関する情報を行動パターンの情報に付加して提供する仕組みに関する。
(2−3−1:システム構成の詳細)
構成例#2に係るシステム(情報提供システム17)は、例えば、図24のようになる。図24に示すように、情報提供システム17は、テキスト情報取得部171と、体験抽出部172と、抽出結果記憶部173と、センサ情報取得部174と、行動パターン抽出部175と、行動・体験照合部176と、対応関係記憶部177と、付加体験検索部178と、行動・付加体験表示部179とを有する。
なお、センサ情報取得部174及び行動パターン抽出部175の機能は、上述した行動・状況解析システム10の機能を利用して実現可能である。また、情報提供システム17が有する上記構成要素のうち、どの構成要素の機能を情報端末CLが担い、どの構成要素の機能をサーバ装置SVが担うように設計するかは自由である。例えば、情報端末CLの演算能力や通信速度などを考慮して設計されることが望ましい。
テキスト情報取得部171は、ユーザが入力したテキスト情報を取得する。例えば、テキスト情報取得部171は、ユーザがテキストを入力するための入力デバイスであってもよいし、ソーシャルネットワークサービスやアプリケーションからテキスト情報を取得する情報収集デバイスであってもよい。ここでは、説明の都合上、テキスト情報取得部171がソフトウェアキーボードのような入力手段であると想定して説明を進める。
テキスト情報取得部171により取得されたテキスト情報は、体験抽出部172に入力される。このとき、体験抽出部172には、テキスト情報と共に、テキスト情報が入力された際の時刻情報が入力されてもよい。テキスト情報が入力されると、体験抽出部172は、入力されたテキスト情報を解析し、ユーザの体験に関する情報をテキスト情報から抽出する。体験に関する情報とは、例えば、体験した事象(体験の種類など)、体験した場所、体験した時間などを含む情報である。なお、体験抽出部172の機能は、構成例#1に係る体験抽出部132の機能と実質的に同じである。体験抽出部172により抽出された体験に関する情報は、抽出結果記憶部173に格納される。
一方、センサ情報取得部174は、モーションセンサや位置センサなどからセンサ情報を取得する。センサ情報取得部174により取得されたセンサ情報は、行動パターン抽出部175に入力される。行動パターン抽出部175は、入力されたセンサ情報から行動パターンを抽出する。行動パターン抽出部175により抽出された行動パターンの情報は、行動・体験照合部176に入力される。なお、行動パターンの抽出方法は、上述した行動・状況解析システム10による行動パターンの抽出方法と同じ方法が適用可能である。
行動パターンの情報が入力されると、行動・体験照合部176は、対応関係記憶部177に記憶された行動パターンと体験との対応関係を参照し、入力された情報が示す行動パターンに対応する体験を抽出する。例えば、図25に示すように、対応関係記憶部177には、行動パターン毎に体験が対応付けて記憶されている。上記のように、行動パターンは、センサ情報から得られる。一方、体験の情報は、テキスト情報から得られる。行動パターン及び体験の情報を得る方法については、上記の構成例#1と実質的に同じである。
行動・体験照合部176により抽出された体験の情報及び当該体験に対応する行動パターンの情報は、付加体験検索部178に入力される。体験の情報が入力されると、付加体験検索部178は、抽出結果記憶部173を参照し、入力された情報が示す体験と同じ体験を検索する。検索の結果、入力された情報が示す体験と同じ体験が検出されると、付加体験検索部178は、検出された体験に対応するテキスト情報、体験に関する情報(体験の種類、体験場所、体験時間、体験の対象など)を抽出する。例えば、付加体験検索部178により、図26に示すような体験に関する情報が得られる。
付加体験検索部178による検索結果は、行動・付加体験表示部179に入力される。検索結果が入力されると、行動・付加体験表示部179は、入力された検索結果に基づいて体験に関する情報を表示する。例えば、図27に示すように、行動・付加体験表示部179は、行動パターン及び体験に関する情報を表示する。図27には、センサ情報のみを利用した場合に得られる行動パターンの情報を表示する場合と、センサ情報及びテキスト情報を利用した場合に得られる行動パターンの情報及び体験の情報を表示する場合とを並べて示した。センサ情報に加えてテキスト情報を利用すると、図27に示すように、体験に関する詳細な情報が得られるため、詳細な情報の表示が可能になる。
ケース#1の場合、センサ情報のみだと行動パターン「歩行」に対応するオブジェクトを表示することしかできないが、テキスト情報を追加的に利用すると行動の対象である「犬」に関するオブジェクトを表示することが可能になる。ケース#2の場合、センサ情報のみだと行動パターン「走る」に対応するオブジェクトを表示することしかできないが、テキスト情報を追加的に利用すると体験の種類である「出社」に関するオブジェクトを表示することが可能になる。
さらに、ケース#3の場合、センサ情報のみだと行動パターン「車に乗る」に対応するオブジェクトを表示することしかできないが、テキスト情報を追加的に利用すると体験の種類「会話」及び体験場所「車」に関するオブジェクトを表示することが可能になる。また、ここではテキスト情報を追加的に利用する方法を例示したが、音声情報を利用することでも体験の種類「会話」や体験場所「車」などを特定可能になるため、音声情報を追加的に利用して同様の詳細表示を実現することも可能である。また、音声認識技術を利用すると、音声信号をテキスト情報に変換することができるため、同様の方法にて図27に示すような詳細表示を実現することが可能になる。
以上、構成例#2に係る情報提供システム17の構成について説明した。なお、上記の説明においては、テキスト情報の解析を先に実施し、センサ情報の解析を後に実施するような処理の流れに沿って説明したが、解析処理の順序は逆でもよい。また、詳細情報の通知方法は、画面表示に代えて音声ガイダンスにしたりしてもよい。こうした変形についても当然に本実施形態の技術的範囲に属する。
(2−3−2:処理の流れ)
次に、図28を参照しながら、情報提供システム17が実行する処理の流れについて説明する。図28は、情報提供システム17が実行する処理の流れについて説明するための説明図である。なお、図28に示した処理ステップの一部は順序を変更してもよい。例えば、テキスト情報の解析に係る処理ステップの順番とセンサ情報の解析に係る処理ステップの順番とを入れ替えてもよい。
図28に示すように、まず、情報提供システム17は、テキスト情報取得部171の機能により、テキスト情報を取得する(S111)。次いで、情報提供システム17は、体験抽出部172の機能により、テキスト情報から体験に関する情報を抽出する(S112)。次いで、情報提供システム17は、センサ情報取得部174の機能により、センサ情報を取得する(S113)。次いで、情報提供システム17は、行動パターン抽出部175の機能により、センサ情報から行動パターンを抽出する(S114)。
次いで、情報提供システム17は、行動・体験照合部176の機能により、ステップS114で抽出した行動パターンと体験とを照合し、当該行動パターンに対応する体験の情報を抽出する(S115)。次いで、情報提供システム17は、付加体験検索部178の機能により、ステップS112で抽出された体験に関する情報の中から、ステップS115にて抽出した体験に対応する体験に関する情報を抽出する(S116)。次いで、情報提供システム17は、行動・付加体験表示部179の機能により、センサ情報から抽出された行動パターンに対応する情報と共に、ステップS116で抽出された体験に関する情報に対応する情報を表示し(S117)、一連の処理を終了する。
以上、情報提供システム17が実行する処理の流れについて説明した。
(2−3−3:画面表示の例)
ここで、詳細情報の表示方法について説明を補足する。
詳細情報の表示方法としては、図27のケース#1〜#3のような方法がある。つまり、センサ情報から検出された行動パターンの情報を表示しておき、当該行動パターンに対応する体験についてテキスト情報から体験に関する情報が得られている場合に、その体験に関する情報を追加的に表示する方法が一例として挙げられる。また、ケース#2のように詳細表示として時間情報(「あと5min」)を付加的に表示したり、ケース#3のように詳細表示として同乗者や会話内容を付加的に表示したりする方法も考えられる。こうした詳細表示が可能になると、より的確に状況を伝えることができるようになる。
以上、構成例#2に係る技術について説明した。
[2−4:構成例#3(日常行動/非日常行動の判別)]
次に、構成例#3について説明する。構成例#3は、行動パターンの情報、及びテキスト情報などの入力情報から得られるユーザの体験のうち、非日常的な行動や体験を判別してユーザに提供する仕組みに関する。
(2−4−1:システム構成の詳細)
構成例#3に係るシステム(情報提供システム19)は、例えば、図29のようになる。図29に示すように、情報提供システム19は、テキスト情報取得部191と、体験抽出部192と、抽出結果記憶部193と、センサ情報取得部194と、行動パターン抽出部195と、行動・体験照合部196と、対応関係記憶部197と、非日常行動判別部198と、非日常行動表示部199とを有する。
なお、センサ情報取得部194及び行動パターン抽出部195の機能は、上述した行動・状況解析システム10の機能を利用して実現可能である。また、情報提供システム19が有する上記構成要素のうち、どの構成要素の機能を情報端末CLが担い、どの構成要素の機能をサーバ装置SVが担うように設計するかは自由である。例えば、情報端末CLの演算能力や通信速度などを考慮して設計されることが望ましい。
テキスト情報取得部191は、ユーザが入力したテキスト情報を取得する。例えば、テキスト情報取得部191は、ユーザがテキストを入力するための入力デバイスであってもよいし、ソーシャルネットワークサービスやアプリケーションからテキスト情報を取得する情報収集デバイスであってもよい。ここでは、説明の都合上、テキスト情報取得部191がソフトウェアキーボードのような入力手段であると想定して説明を進める。
テキスト情報取得部191により取得されたテキスト情報は、体験抽出部192に入力される。このとき、体験抽出部192には、テキスト情報と共に、テキスト情報が入力された際の時刻情報が入力されてもよい。テキスト情報が入力されると、体験抽出部192は、入力されたテキスト情報を解析し、ユーザの体験に関する情報をテキスト情報から抽出する。体験に関する情報とは、例えば、体験した事象(体験の種類など)、体験した場所、体験した時間などを含む情報である。なお、体験抽出部192の機能は、構成例#1に係る体験抽出部132の機能と実質的に同じである。体験抽出部192により抽出された体験に関する情報は、抽出結果記憶部193に格納される。
一方、センサ情報取得部194は、モーションセンサや位置センサなどからセンサ情報を取得する。センサ情報取得部194により取得されたセンサ情報は、行動パターン抽出部195に入力される。行動パターン抽出部195は、入力されたセンサ情報から行動パターンを抽出する。行動パターン抽出部195により抽出された行動パターンの情報は、行動・体験照合部196に入力される。なお、行動パターンの抽出方法は、上述した行動・状況解析システム10による行動パターンの抽出方法と同じ方法が適用可能である。
行動パターンの情報が入力されると、行動・体験照合部196は、対応関係記憶部197に記憶された行動パターンと体験との対応関係を参照し、入力された情報が示す行動パターンに対応する体験を抽出する。例えば、図25に示すように、対応関係記憶部197には、行動パターン毎に体験が対応付けて記憶されている。上記のように、行動パターンは、センサ情報から得られる。一方、体験の情報は、テキスト情報から得られる。行動パターン及び体験の情報を得る方法については、上記の構成例#1と実質的に同じである。
行動・体験照合部196により抽出された体験の情報及び当該体験に対応する行動パターンの情報は、非日常行動判別部198に入力される。行動パターンの情報が入力されると、非日常行動判別部198は、入力された行動パターンの情報が非日常的な行動を示すものであるか否かを判別する。また、体験の情報が入力されると、非日常行動判別部198は、入力された体験の情報が非日常的な体験を示すものであるか否かを判別する。
例えば、非日常行動判別部198は、図30に示すような非日常条件に基づいて非日常的な行動及び非日常的な体験を判別する。
図30の例では、(非日常#1)の場合、非日常行動判別部198は、センサ情報から抽出した行動パターンに時間帯異常が発生したか否かを判定する。つまり、非日常行動判別部198は、ある種類の行動が、普段抽出される時間帯とは異なる時間帯に抽出された場合や、どの時間帯にも抽出されなかった場合に、その行動が非日常行動であると判別する。具体的には、普段「歩行」行動が朝と夕方に抽出されるユーザについて、「歩行」行動が深夜に抽出された場合、深夜の「歩行」行動は、非日常行動であると判別される。
また、(非日常#2)の場合、非日常行動判別部198は、センサ情報から抽出した行動パターンに種類異常が発生したか否かを判定する。つまり、非日常行動判別部198は、ある時間帯について、普段抽出される行動とは異なる種類の行動が抽出された場合、その行動が非日常行動であると判別する。具体的には、普段「歩行」行動や「電車」行動が朝に抽出されるユーザについて、「走る」行動や「自転車」行動が抽出された場合、「走る」行動や「自転車」行動は、非日常行動であると判別される。
また、(非日常#3)の場合、非日常行動判別部198は、テキスト情報から抽出した体験に時間帯異常が発生したか否かを判定する。つまり、非日常行動判別部198は、ある種類の体験が、普段抽出される時間帯とは異なる時間帯に抽出された場合や、どの時間帯にも抽出されなかった場合に、その体験が非日常行動であると判別する。具体的には、朝、昼、晩に「食事」体験が抽出されるユーザについて、「食事」体験が深夜に抽出された場合や、昼に「食事」体験が抽出されなかった場合、該当する体験は、非日常行動であると判別される。
また、(非日常#4)の場合、非日常行動判別部198は、テキスト情報から抽出した体験に種類異常が発生したか否かを判定する。つまり、非日常行動判別部198は、ある時間帯について、普段抽出される体験とは異なる種類の体験が抽出された場合、その体験が非日常行動であると判別する。具体的には、昼に「食事」体験が抽出されるユーザについて、昼に「走る」体験が検出された場合、昼に「走る」体験は、非日常行動であると判別される。
再び図29を参照する。上記のようにして非日常行動判別部198による非日常行動の判別結果は、非日常行動表示部199に入力される。非日常行動表示部199は、非日常行動に対応するオブジェクトやテキストを強調表示したり、非日常行動を示す新たなオブジェクトを表示したりする。
以上、構成例#3に係る情報提供システム19の構成について説明した。なお、上記の説明においては、テキスト情報の解析を先に実施し、センサ情報の解析を後に実施するような処理の流れに沿って説明したが、解析処理の順序は逆でもよい。また、日常/非日常を判別する処理を例に挙げて説明したが、ポジティブな行動/ネガティブな行動を判別する仕組みを同様にして構築することも可能である。こうした変形についても当然に本実施形態の技術的範囲に属する。
(2−4−2:応用例)
図30に非日常行動の判別ロジックを具体的に示したが、このようにして日常行動/非日常行動を判別できるようにすることで、ユーザの健康状態や詳細な状況を推定することが可能になる。例えば、図30に示した(非日常#1)の場合、普段抽出されない深夜の行動が抽出されていることから、不眠症ではないかと推定される。図30の例では説明の都合上、条件を単純化しているが、例えば、日中に「居眠り」行動が抽出されていれば、夜更かしや生活リズムの乱れなどが理由として推定される。さらに条件を追加することで、不眠症など、健康状態の診断に利用することも可能になる。
同様に、(非日常#2)の例では、非日常行動の理由として、通勤時間にダイエットを試みているのではないか、と推定される。また、(非日常#3)の例では、単に、仕事で忙しいことが非日常行動の理由として推定される。さらに、(非日常#4)の例では、非日常行動の理由として、昼食を抜くダイエットをしているのではないか、と推定される。非日常行動を組み合わせることで、理由の推定精度を向上させることは可能であろう。また、センサ情報及びテキスト情報に基づく非日常行動の履歴や統計結果から、非日常条件を改善したり、理由の推定アルゴリズムを構築したりすることも有用であろう。このように、本実施形態に係る技術は様々に応用可能である。
以上、構成例#3に係る技術について説明した。
[2−5:構成例の組み合わせについて]
上記の構成例#1〜#3に係る技術は任意に組み合わせることも可能である。テキスト情報から体験に関する情報を抽出する技術、及びセンサ情報から行動パターンを抽出する技術に関しては共通しているため、他の機能ブロックを直列又は並列に接続することで、任意の構成例#1〜#3の一部又は全部を組み合わせることが可能である。また、複数の構成例を組み合わせる場合、共通する機能を有する機能ブロックを共有するように設計することで、処理負荷の低減やメモリ使用量の削減効果などを見込める。こうした組み合わせ構成についても、当然に本実施形態の技術的範囲に属する。
<3:ハードウェア構成例>
上記の行動・状況認識システム10、情報提供システム13、17、19、情報端末CL、サーバ装置SVが有する各構成要素の機能は、例えば、図31に示すようなハードウェア構成を用いて実現することが可能である。つまり、当該各構成要素の機能は、コンピュータプログラムを用いて図31に示すハードウェアを制御することにより実現される。なお、このハードウェアの形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、PHS、PDA等の携帯情報端末、ゲーム機、又は種々の情報家電がこれに含まれる。但し、上記のPHSは、Personal Handy−phone Systemの略である。また、上記のPDAは、Personal Digital Assistantの略である。
図31に示すように、このハードウェアは、主に、CPU902と、ROM904と、RAM906と、ホストバス908と、ブリッジ910と、を有する。さらに、このハードウェアは、外部バス912と、インターフェース914と、入力部916と、出力部918と、記憶部920と、ドライブ922と、接続ポート924と、通信部926と、を有する。但し、上記のCPUは、Central Processing Unitの略である。また、上記のROMは、Read Only Memoryの略である。そして、上記のRAMは、Random Access Memoryの略である。
CPU902は、例えば、演算処理装置又は制御装置として機能し、ROM904、RAM906、記憶部920、又はリムーバブル記録媒体928に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ROM904は、CPU902に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM906には、例えば、CPU902に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス908を介して相互に接続される。一方、ホストバス908は、例えば、ブリッジ910を介して比較的データ伝送速度が低速な外部バス912に接続される。また、入力部916としては、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部916としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。
出力部918としては、例えば、CRT、LCD、PDP、又はELD等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。但し、上記のCRTは、Cathode Ray Tubeの略である。また、上記のLCDは、Liquid Crystal Displayの略である。そして、上記のPDPは、Plasma DisplayPanelの略である。さらに、上記のELDは、Electro−Luminescence Displayの略である。
記憶部920は、各種のデータを格納するための装置である。記憶部920としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。但し、上記のHDDは、Hard Disk Driveの略である。
ドライブ922は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体928に記録された情報を読み出し、又はリムーバブル記録媒体928に情報を書き込む装置である。リムーバブル記録媒体928は、例えば、DVDメディア、Blu−rayメディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体928は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。但し、上記のICは、Integrated Circuitの略である。
接続ポート924は、例えば、USBポート、IEEE1394ポート、SCSI、RS−232Cポート、又は光オーディオ端子等のような外部接続機器930を接続するためのポートである。外部接続機器930は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。但し、上記のUSBは、Universal Serial Busの略である。また、上記のSCSIは、Small Computer System Interfaceの略である。
通信部926は、ネットワーク932に接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB用の通信カード、光通信用のルータ、ADSL用のルータ、又は各種通信用のモデム等である。また、通信部926に接続されるネットワーク932は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内LAN、赤外線通信、可視光通信、放送、又は衛星通信等である。但し、上記のLANは、Local Area Networkの略である。また、上記のWUSBは、Wireless USBの略である。そして、上記のADSLは、Asymmetric Digital Subscriber Lineの略である。
<4:まとめ>
最後に、本実施形態の技術的思想について簡単に纏める。以下に記載する技術的思想は、例えば、PC、携帯電話、携帯ゲーム機、携帯情報端末、情報家電、カーナビゲーションシステム等、種々の情報処理装置に対して適用することができる。
上記の情報処理装置の機能構成は次のように表現することができる。
(1)
ソーシャルネットワーキングサービスまたはアプリケーションから取得されたテキスト情報からユーザの体験を示す体験情報を抽出する体験抽出部と、
位置センサ情報、および時刻情報から行動パターンを抽出する行動抽出部と、
前記行動パターンと、体験情報との対応関係を示す情報を参照して、前記位置センサ情報から体験情報を抽出する体験照合部と、
前記テキスト情報から抽出された体験情報に関する情報と、前記位置センサ情報から得られる体験情報に関する情報とを併せて表示させる表示制御部と、
を備える、情報処理システム。
(2)
前記テキスト情報は、前記ユーザが入力したテキスト情報である、上記(1)に記載の情報処理システム。
(3)
前記テキスト情報は、前記ユーザが発した音声情報に基づいて得られる情報である、上記(1)または(2)に記載の情報処理システム。
(4)
前記体験情報は、画像情報である、上記(1)〜(3)のいずれか一項に記載の情報処理システム。
(5)
前記体験抽出部は、前記テキスト情報から抽出された特徴量に基づいて、前記体験情報を抽出する、上記(1)〜(4)のいずれか一項に記載の情報処理システム。
(6)
前記テキスト情報から抽出された体験情報は、体験場所に関する情報を含む、上記(1)〜(5)のいずれか一項に記載の情報処理システム。
(7)
前記行動抽出部は、前記ユーザの動き・状態パターンをさらに用いて行動パターンを抽出する、上記(1)〜(6)のいずれか一項に記載の情報処理システム。
(8)
前記行動パターンは、学習モデルに基づいて決定される、上記(1)〜(7)のいずれか一項に記載の情報処理システム。
(9)
前記行動パターンは、ルールベースに基づいて決定される、上記(1)〜(7)のいずれか一項に記載の情報処理システム。
(10)
表示される前記テキスト情報から抽出された体験情報に関する情報は、前記位置センサ情報から得られる体験情報に関する情報に対応して抽出された情報である、上記(1)〜(9)のいずれか一項に記載の情報処理システム。
(11)
前記表示制御部は、前記体験情報の少なくともいずれかに関連した付加情報をさらに表示させる、上記(1)〜(10)のいずれか一項に記載の情報処理システム。
(12)
前記付加情報は、テキスト情報または画像情報のいずれかを少なくとも含む、上記(11)に記載の情報処理システム。
(13)
前記情報処理システムの各部の情報処理は、2つ以上の情報処理装置にて分散して実行される、上記(1)〜(12)のいずれか一項に記載の情報処理システム。
(14)
前記情報処理システムの各部の情報処理は、サーバと情報端末にて分散して実行される、上記(1)〜(12)のいずれか一項に記載の情報処理システム。
(15)
ソーシャルネットワーキングサービスまたはアプリケーションから取得されたテキスト情報からユーザの体験を示す体験情報を抽出するステップと、
位置センサ情報、および時刻情報から行動パターンを抽出するステップと、
前記行動パターンと、体験情報との対応関係を示す情報を参照して、前記位置センサ情報から体験情報を抽出するステップと、
演算処理装置によって、前記テキスト情報から抽出された体験情報に関する情報と、前記位置センサ情報から得られる体験情報に関する情報とを併せて表示させるステップと、
を含む、情報処理方法。
(16)
ソーシャルネットワーキングサービスまたはアプリケーションから取得されたテキスト情報からユーザの体験を示す体験情報を抽出する体験抽出部と、
位置センサ情報、および時刻情報から行動パターンを抽出する行動抽出部と、
前記行動パターンと、体験情報との対応関係を示す情報を参照して、前記位置センサ情報から体験情報を抽出する体験照合部と、
前記テキスト情報から抽出された体験情報に関する情報と、前記位置センサ情報から得られる体験情報に関する情報とを併せて表示させる表示制御部と、
をコンピュータに実現させるためのプログラム。
以上、添付図面を参照しながら本技術に係る好適な実施形態について説明したが、本技術はここで開示した構成例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本技術の技術的範囲に属するものと了解される。