JP6166680B2 - 情報記録タイミング推定システム、携帯端末、情報記録タイミング推定方法およびプログラム - Google Patents

Description

本発明は、人が非日常的な体験を電子媒体に情報として記録するための情報記録を行う適切なタイミングを自動的に判断する情報記録タイミング推定システム、携帯端末、情報記録タイミング推定方法およびプログラムに関する。

従来より、各々の被写体から、笑顔度、画像フレーム内での位置、検出顔の傾き、性別などの被写体の属性といった、複数の顔認識パラメータを検出し、検出されたこれらの顔認識パラメータの相互の関係に基づいて、シャッターのタイミング決定やセルフ・タイマーの設定などの撮影制御を実現する技術が知られている（例えば、特許文献１参照。）。

また、被写体が特定の表情であるときに好ましい構図で撮影を行わせることを実現する技術（例えば、特許文献２参照。）や瞳孔の大きさと顔の向きを用いることで、興味の対象を絞り込む技術（例えば、特許文献３参照。）や位置情報を用いて日常の経路を記録しておきそれから外れた場合に非日常であることを検知する技術（例えば、特許文献４参照。）も知られている。

さらに、その他技術として、ドライブレコーダーのように、特定の振動を感知して、録画位置を決定する技術や防犯カメラのように、人感センサを用いて、人を感知したら録画を開始する技術、脳波を利用したカメラのように、脳波から「好き」の感情を検知し、連動したカメラで自動撮影する技術、一定間隔で撮影するカメラのように、あらかじめ設定した時間間隔でカメラが自動撮影する技術も知られている。

特開２０１０−１６７９６号公報 特開２０１０−１７８１５８号公報 特開２０１０−１０４７５４号公報 特開２００５−３３１２９４号公報

本発明は、人がカメラやマイクなどの記録装置を常時身に着けており、身の回りの出来事をそれらの記録装置を用いてデータベースに日々記録し、後から(数日後、数週間後、数年後、など)その記録を検索し、参照する応用を想定している。例えば、「半年ほど前にここであいさつしてくれた人の名前はなんだっけ？」や、「何週間か前にちらっと見えた、きれいな富士山の夕焼けが見たい」など、思い出したい体験について、蓄積された情報から検索し、その人に提示する。このとき、思い出したい体験とは、頻繁に発生する日常的な体験ではなく、めったに発生しない非日常的な体験であり、また、その瞬間に、意識的にカメラを取り出して撮影するほどの時間的余裕があるとは限らない。

この応用を実現するために、例えば記録装置を常時稼働させた場合、日常的な(つまらない、意味のない、価値のない)情報が大量に含まれ、その結果、記録情報は膨大となり、記録媒体のコストがかかることや、検索対象のデータが大量になると検索に時間がかかってしまう問題が発生する。

ここで、特許文献１および特許文献２に記載の技術は、写真を撮るタイミングを自動制御する方法であり、具体的には、大量に撮影された写真の中から、利用者が満足する条件に合致する写真のみを自動選択している。しかしながら、これらの技術は、利用者がカメラを取り出して撮影する、という実際にその行動を起こしたことが前提であり、非日常的な体験を無意識的に撮影することはできない。

また、特許文献３に記載の技術は、瞳孔センサを利用して、利用者が対象物に対し興味を持っているかどうかを判定することができる。しかしながら、この技術では、事象に対して興味の反応を示したかどうかを判断することのみであり、それが日常的な事象かどうかは判別していない。そのため、記録装置は、日常的な場面であっても、反応したすべての場面を記録してしまう課題がある。また、場所ごとに日常と非日常の基準が異なり、一律に設定できないという課題もある。

特許文献３の技術(当該特許に限らず、他の生体センサ(例：心拍センサ)でも同様)では、すべてが記録対象となる。例えば、心拍センサを用いた場合、駅の階段を上るときに心拍数が上がるという事象は、日常的な事象であり、駅のホームで懐かしい友人に出会ったときに心拍数が上がるという事象は、非日常的な事象である。また、瞳孔センサを用いた場合、駅の電光掲示板を見上げて凝視する、お気に入りの看板を凝視するという事象は、日常的な事象であり、ビルの上の新しい看板を発見して凝視するという事象は、非日常的な事象である。

特許文献４に記載の技術は、位置が異なる場合のみに対応しているため、例えば、同じ位置で顔を違う向きに向けていることは検出できないという問題がある。

さらに、その他の技術については、例えば、ドライブレコーダーの場合は、非日常的な状況を振動で判断する無意識的な撮影方式であるが、人よりも比較的規則的な動作(発進、停止、加速、右左折)をする自動車を前提にしており、不規則な動作が多い人の場合は、振動のみでは非日常を識別することは困難である。防犯カメラの場合は、人の周辺では人が常に動いており、人感センサが常に反応してしまう。脳波を利用したカメラの場合は、人が好む場面を自動認識する点で、非日常のみを撮影する目的で実現に近い技術であるが、例えば、駅前で毎日ティッシュをもらって小さな幸せを感じている場合や、通勤中に駅の電光掲示板を注視する場合など、非日常と日常を区別せず反応してしまう問題がある。

そこで、本発明は、上述の課題に鑑みてなされたものであり、人が非日常的な体験を電子媒体に情報として記録するための情報記録を行う適切なタイミングを自動的に判断する情報記録タイミング推定システム、携帯端末、情報記録タイミング推定方法およびプログラムを提供することを目的とする。

本発明は、上記の課題を解決するために、以下の事項を提案している。

（１）本発明は、携帯端末と、非日常判定サーバとからなり、過去の経験の思い出しを行うための情報の記録タイミングを推定する情報記録タイミング推定システムにおいて、前記携帯端末が、利用者の位置情報と、顔の方向および興味の度合いを動作情報として取得するセンサと、少なくとも、前記非日常判定サーバからの記録指示信号に基づいて、少なくとも、画像情報、音声情報、テキスト情報のうち１つの記録を行う記録手段と、を備え、前記非日常判定サーバが、前記センサのログ情報を蓄積するセンサログ情報データベースと、前記センサログ情報データベース内のセンサログ情報に基づいて、前記位置情報と前記動作情報に関する頻度にから統計情報を生成する統計情報生成手段と、少なくとも、該統計情報生成手段が生成した前記統計情報に基づいて、新たに入力された前記動作情報が、日常動作か非日常動作かを判定する動作判定手段と、該動作判定手段の判定結果に基づいて、前記記録手段に、記録指示信号を出力する記録指示信号出力手段と、を備えたことを特徴とする情報記録タイミング推定システムを提案している。

（２）本発明は、（１）の情報記録タイミング推定システムについて、前記非日常判定サーバが、前記センサログ情報とともに、該取得したセンサログ情報が日常的な情報か非日常的な情報かを示す識別子を前記センサログ情報データベースに記録することを特徴とする情報記録タイミング推定システムを提案している。

（３）本発明は、（１）または（２）の情報記録タイミング推定システムについて、前記非日常判定サーバが、前記記録手段が記録した、少なくとも、画像情報、音声情報、テキスト情報のうち１つを蓄積し、前記センサログ情報データベースに記録された情報を特定範囲の位置情報ごとに、履歴情報とともに整理して記録する非日常ログ情報データベースを備え、前記動作判定手段が、前記非日常ログ情報データベース内の情報を含めて、新たに入力された前記動作情報が、日常動作か非日常動作かを判定することを特徴とする情報記録タイミング推定システムを提案している。

（４）本発明は、（１）から（３）の情報記録タイミング推定システムについて、前記非日常判定サーバが、前記情報の記録の可否を示す条件を格納する記録可否条件格納手段と、前記記録可否条件を参照する記録条件参照手段と、を備え、前記記録手段は、前記記録可否条件格納手段の情報をも参照して、少なくとも、画像情報の記録を行うことを特徴とする情報記録タイミング推定システムを提案している。

（５）本発明は、（１）から（４）の情報記録タイミング推定システムについて、前記非日常判定サーバは、前記位置情報と前記動作情報のレコード数が、あらかじめ設定した一定値を超えるまでは、全て非日常動作と仮判定して情報を格納し、さらに、一定値を超えた場合に、全ての仮判定されたレコードを再判定することを特徴とする情報記録タイミング推定システムを提案している。

（６）本発明は、過去の経験の思い出しを行うための情報の記録タイミングを推定する携帯端末において、利用者の位置情報と、顔の方向および興味の度合いを動作情報として取得するセンサと、前記センサのログ情報を蓄積するセンサログ情報蓄積手段と、前記センサログ情報データベース内のセンサログ情報に基づいて、前記位置情報と前記動作情報に関する頻度にから統計情報を生成する統計情報生成手段と、少なくとも、該統計情報生成手段が生成した前記統計情報に基づいて、新たに入力された前記動作情報が、日常動作か非日常動作かを判定する動作判定手段と、該動作判定手段の判定結果に基づいて、前記記録手段に、記録指示信号を出力する記録指示信号出力手段と、少なくとも、前記記録指示信号出力手段からの記録指示信号に基づいて、少なくとも、画像情報、音声情報、テキスト情報のうち１つの記録を行う記録手段と、を備えたことを特徴とする携帯端末を提案している。

（７）本発明は、センサと記録手段とを有する携帯端末と、センサログ情報データベースと統計情報生成手段と動作判定手段と記録指示信号出力手段と非日常判定サーバとからなり、過去の経験の思い出しを行うための情報の記録タイミングを推定する情報記録タイミング推定システムにおける情報記録タイミング推定方法であって、前記携帯端末の前記センサが、利用者の位置情報と、顔の方向および興味の度合いを動作情報として取得する第１のステップと、前記非日常判定サーバの統計情報生成手段が、前記センサのログ情報を蓄積する前記センサログ情報データベース内のセンサログ情報に基づいて、前記位置情報と前記動作情報に関する頻度にから統計情報を生成する第２のステップと、前記非日常判定サーバの前記動作判定手段が、少なくとも、該統計情報生成手段が生成した前記統計情報に基づいて、新たに入力された前記動作情報が、日常動作か非日常動作かを判定する第３のステップと、前記非日常判定サーバの前記記録指示信号出力手段が、第３のステップの判定結果に基づいて、前記記録手段に、記録指示信号を出力する第４のステップと、前記携帯端末の前記記録手段が、少なくとも、前記非日常判定サーバからの記録指示信号に基づいて、少なくとも、画像情報、音声情報、テキスト情報のうち１つの記録を行う第５のステップと、を備えたことを特徴とする情報記録タイミング推定方法を提案している。

（８）本発明は、センサとセンサログ情報蓄積手段と統計情報生成手段と動作判定手段と記録指示信号出力手段と記録手段とを備え、過去の経験の思い出しを行うための情報の記録タイミングを推定する携帯端末における情報記録タイミング推定方法であって、前記センサが、利用者の位置情報と、顔の方向および興味の度合いを動作情報として取得する第１のステップと、前記統計情報生成手段が、前記センサのログ情報を蓄積する前記センサログ情報蓄積手段内のセンサログ情報に基づいて、前記位置情報と前記動作情報に関する頻度にから統計情報を生成する第２のステップと、前記動作判定手段が、少なくとも、該統計情報生成手段が生成した前記統計情報に基づいて、新たに入力された前記動作情報が、日常動作か非日常動作かを判定する第３のステップと、前記記録指示信号出力手段が、第３のステップの判定結果に基づいて、前記記録手段に、記録指示信号を出力する第４のステップと、前記記録手段が、少なくとも、前記非日常判定サーバからの記録指示信号に基づいて、少なくとも、画像情報、音声情報、テキスト情報のうち１つの記録を行う第５のステップと、を備えたことを特徴とする情報記録タイミング推定方法を提案している。

（９）本発明は、センサと記録手段とを有する携帯端末と、センサログ情報データベースと統計情報生成手段と動作判定手段と記録指示信号出力手段と非日常判定サーバとからなり、過去の経験の思い出しを行うための情報の記録タイミングを推定する情報記録タイミング推定システムにおける情報記録タイミング推定方法をコンピュータに実行させるためのプログラムであって、前記携帯端末の前記センサが、利用者の位置情報と、顔の方向および興味の度合いを動作情報として取得する第１のステップと、前記非日常判定サーバの統計情報生成手段が、前記センサのログ情報を蓄積する前記センサログ情報データベース内のセンサログ情報に基づいて、前記位置情報と前記動作情報に関する頻度にから統計情報を生成する第２のステップと、前記非日常判定サーバの前記動作判定手段が、少なくとも、該統計情報生成手段が生成した前記統計情報に基づいて、新たに入力された前記動作情報が、日常動作か非日常動作かを判定する第３のステップと、前記非日常判定サーバの前記記録指示信号出力手段が、第３のステップの判定結果に基づいて、前記記録手段に、記録指示信号を出力する第４のステップと、前記携帯端末の前記記録手段が、少なくとも、前記非日常判定サーバからの記録指示信号に基づいて、少なくとも、画像情報、音声情報、テキスト情報のうち１つの記録を行う第５のステップと、をコンピュータに実行させるためのプログラムを提案している。

（１０）本発明は、センサとセンサログ情報蓄積手段と統計情報生成手段と動作判定手段と記録指示信号出力手段と記録手段とを備え、過去の経験の思い出しを行うための情報の記録タイミングを推定する携帯端末における情報記録タイミング推定方法をコンピュータに実行させるためのプログラムであって、前記センサが、利用者の位置情報と、顔の方向および興味の度合いを動作情報として取得する第１のステップと、前記統計情報生成手段が、前記センサのログ情報を蓄積する前記センサログ情報蓄積手段内のセンサログ情報に基づいて、前記位置情報と前記動作情報に関する頻度にから統計情報を生成する第２のステップと、前記動作判定手段が、少なくとも、該統計情報生成手段が生成した前記統計情報に基づいて、新たに入力された前記動作情報が、日常動作か非日常動作かを判定する第３のステップと、前記記録指示信号出力手段が、第３のステップの判定結果に基づいて、前記記録手段に、記録指示信号を出力する第４のステップと、前記記録手段が、少なくとも、前記非日常判定サーバからの記録指示信号に基づいて、少なくとも、画像情報、音声情報、テキスト情報のうち１つの記録を行う第５のステップと、をコンピュータに実行させるためのプログラムを提案している。

本発明によれば、印象に残りやすい非日常のシーンを無意識的に記録することができるようになり、取り逃しを減らすことができるという効果がある。そのため、後からの思い出しで対象とはなる可能性が極めて低い、繰り返し行われる日常的なシーンを記録することを避けることが可能となり、記録するデータ量を削減でき、また、その結果、検索速度が向上する。

本発明の第１の実施形態に係る情報記録タイミング推定システムの構成を示す図である。 本発明の第１の実施形態に係る携帯端末の構成を示す図である。 本発明の第１の実施形態に係る非日常判定サーバの構成を示す図である。 本発明の第１の実施形態に係るセンサを例示した図である。 本発明の第１の実施形態に係る情報記録タイミング推定システムの処理を示す図である。 本発明の第２の実施形態に係る携帯端末の構成を示す図である。 本発明の第２の実施形態に係る携帯端末の処理を示す図である。

以下、本発明の実施形態について、図面を用いて、詳細に説明する。
なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

＜第１の実施形態＞
図１から図５を用いて、本発明の第１の実施形態について説明する。

＜情報記録タイミング推定システムの構成＞
本実施形態に係る情報記録タイミング推定システムは、図１に示すように、携帯端末１００と非日常判定サーバとから構成されており、人がカメラやマイクなどの記録装置を常時身に着けている状況において、当該人物が非日常的な体験を行っているかどうかを判断し、記録装置を稼働するタイミングを決定する。以下、携帯端末および非日常判定サーバの詳細な構成を説明しつつ、その具体的な機能について説明する。

＜携帯端末の構成＞
本実施形態に係る携帯端末は、図２に示すように、センサ１１０と、記録部１４０とから構成されている。

センサ１１０は、利用者の位置情報と、顔の方向および興味の度合いを動作情報として取得する。具体的には、顔の動きを３次元で取得可能なセンサ、例えば、ジャイロセンサ＋地磁気センサ、人の位置情報を取得可能なセンサ、例えば、ＧＰＳセンサ、人の興味の度合いを取得可能なセンサ、例えば、心拍数センサ＋瞳孔センサ等から構成される。そして、新規位置データ、新規顔の向きデータ、新規興味の度合いデータを一定間隔（例えば１秒間隔）で取得する。ここで、顔の向きは、位置に対する顔の向きとする。これは、体がどの向きであっても、位置と顔の向きで注目している対象が一定になるようにするためである。取得したデータは、非日常判定サーバ２００にリアルタイムに送信する。

記録部１４０は、少なくとも、非日常判定サーバ２００からの記録指示信号に基づいて、少なくとも、画像情報、音声情報、テキスト情報のうち１つの記録を行う。したがって、非日常判定サーバ２００からの記録指示信号のみならず、非日常判定サーバ２００の記録可否条件参照部２６０の参照結果をも参照してもよい。また、記録する情報は、画像情報に限らず、音声情報、テキスト情報等であってもよい。

つまり、記録部１４０は、例えば、カメラ、マイク等を搭載し、動画や静止画、音声を撮影・録音する。また、非日常判定サーバ２００からの記録指示により、動画や静止画、音声を撮影・録音し、位置情報と合わせて非日常ログ情報データベースに保存する。

＜非日常判定サーバの構成＞
図３、図４を用いて、非日常判定サーバの構成について説明する。
本実施形態に係る非日常判定サーバ２００は、図３に示すように、センサログ情報データベース２１０と、統計情報生成部２２０と、動作判定部２３０と、記録指示信号出力部２４０と、非日常ログ情報データベース２５０と、記録可否条件参照部２６０と、記録可否条件格納部２７０とから構成されている。

センサログ情報データベース２１０は、センサ１１０のログ情報を蓄積する。また、センサログ情報とともに、取得したセンサログ情報が日常的な情報か非日常的な情報かを示す識別子を記録する。具体的には、利用者の位置情報と顔の向きのデータ、顔の向きに関する統計データを格納する。動作としては、位置情報（緯度経度）と顔の向き（方角（北を０度とする））、高低（真上を０度とする）をセンサ１１０から取得し、格納する。また、統計情報生成部２２０が生成した頻度データを格納する。

統計情報生成部２２０は、センサログ情報データベース２１０内のセンサログ情報に基づいて、利用者の位置情報と動作情報に関する頻度にから統計情報を生成する。動作判定部２３０は、少なくとも、該統計情報生成部２２０が生成した統計情報に基づいて、新たに入力された動作情報が、日常動作か非日常動作かを判定する。また、非日常ログ情報データベース２５０内の情報を含めて、新たに入力された動作情報が、日常動作か非日常動作かを判定する。記録指示信号出力部２４０は、動作判定部２３０の判定結果に基づいて、記録部１４０に、記録指示信号を出力する。

非日常ログ情報データベース２５０は、記録部１４０が記録した、少なくとも、画像情報、音声情報、テキスト情報のうち１つを蓄積し、センサログ情報データベース２１０に記録された情報を特定範囲の位置情報ごとに、履歴情報とともに整理して記録する。具体的には、位置情報と記録部１４０で記録された動画、静止画、音声等を格納する。

つまり、非日常判定サーバ２００は、新規顔の向きデータが、非日常的動作かどうかを判定する。また、日常的動作と判定された場合、興味の度合いデータに基づき非日常的事象が起こっているかどうかを判定する。そして、センサログ情報データベース２１０の日常データを更新する機能を有する。

動作としては、センサ１１０から取得した位置情報をキーとして、センサログ情報データベース２１０から、その位置での顔の向きの日常データを取得する。また、日常データと新規顔の向きデータとを比較し、日常か非日常かを判定する。なお、日常データは、顔の向きとその確率値の情報からなる。

また、確率値は、例えば、ある一定範囲(例えば、２０ｍ四方)の位置における、ある一定範囲の顔の向き(例えば、２６方向、図４を参照)について、その出現頻度により決定する。例えば、家から駅に向かい歩いている場合、前方を見ていることが多いが、やや下向きで歩く人など、個人差を把握することが可能となる。また、通勤経路など、繰り返し同じ場所を通過する場合、同位置での顔の向きを測定し、その位置での顔の方向をカウントする。カウントした結果から、標準的な方向(最も頻度が高いものから上位５位までの顔の向き)を算出する。

また、非日常データかどうかを判定する。標準的な方向から外れ、かつ、一定時間(例
えば、３秒以上)継続した場合に、非日常であると判定し、記録装置に記録指示を送出する。

また、日常データと判定された場合に、非日常事象かどうかを判定する。当該位置情報
および当該顔の向きに対し、興味の度合いが高い(瞳孔の大きさの変化＋５ｍｍ以上、心拍数の変化＋３０以上など)状態の発生確率が高い(例えば、７０％以上)の場合に、日常と判定する。そうでない場合は、非日常事象と判定し、記録部１４０に記録指示信号を送出する。

なお、初期状態においては、位置情報および顔の向き情報が十分に蓄積されていない。そこで、初期状態においては、非日常データか否かの判定処理の信頼性が低く、誤って日常と判定した場合には、記録されなくなる問題が発生する。そのため、一定レコード以上の情報に達するまでは、全ての記録を非日常と仮設定し、一定以上のレコードに達した場合に、改めて正式な判定を行う。

例えば、顔の向きのデータが一定数(例えば、１０００レコード以上)記録されていない場合は、すべて非日常データと判定する。一定数を超えた以降、非日常データか否かの判定処理および非日常事象か否かの判定処理を実行する。このとき、日常データと判定されたデータは、非日常ログから削除する。

記録可否条件格納部２７０は、情報の記録の可否を示す条件を格納する。例えば、「緯度経度ｘｘ〜ｘｘの範囲では、映像×、静止画○、音声×」や「緯度経度ｘｘ〜ｘｘの範囲では、上方×、水平○、下方○」等の条件を格納する。記録可否条件参照部２６０は、記録可否条件格納部２７０に格納された記録可否条件を参照して、その参照結果を携帯端末１００の記録部１４０に出力する。

＜情報記録タイミング推定システムの処理＞
図５を用いて、本実施形態に係る情報記録タイミング推定システムの処理について説明する。

まず、携帯端末１００のセンサ１１０が、利用者の位置情報と、顔の方向および興味の度合いを動作情報として取得し（ステップＳ１１０）、非日常判定サーバ２００の統計情報生成部２２０が、センサのログ情報を蓄積するセンサログ情報データベース２１０内のセンサログ情報に基づいて、位置情報と動作情報に関する頻度にから統計情報を生成する（ステップＳ１２０）。

次いで、非日常判定サーバ２００の動作判定部２３０が、少なくとも、統計情報生成部２２０が生成した統計情報に基づいて、新たに入力された動作情報が、日常動作か非日常動作かを判定し（ステップＳ１３０）、非日常判定サーバ２００の記録指示信号出力部２４０が、ステップＳ１３０の判定結果に基づいて、記録部１４０に、記録指示信号を出力する（ステップＳ１４０）。

そして、携帯端末１００の記録部１４０が、少なくとも、非日常判定サーバ２００からの記録指示信号に基づいて、少なくとも、画像情報、音声情報、テキスト情報のうち１つの記録を行う（ステップＳ１５０）。

以上、説明したように、本実施形態によれば、印象に残りやすい非日常のシーンを無意識的に記録することができるようになり、取り逃しを減らすことができる。

＜第２の実施形態＞
図６および図７を用いて、本発明の第２の実施形態について説明する。

＜携帯端末の構成＞
本実施形態に係る携帯端末は、図６に示すように、センサ１１０と、記録部１４０と、センサログ情報データベース２１０と、統計情報生成部２２０と、動作判定部２３０と、記録指示信号出力部２４０と、非日常ログ情報データベース２５０、記録可否条件参照部２６０と、記録可否条件格納部２７０とから構成されている。

上記携帯端末は、第１の実施形態に係る情報記録タイミング推定システムの機能を集約したものであり、各構成要素の機能は、第１の実施形態と同様であることから、その詳細な説明は、省略する。

＜携帯端末の処理＞
図７を用いて、本実施形態に係る携帯端末の処理について説明する。

まず、センサ１１０が、利用者の位置情報と、顔の方向および興味の度合いを動作情報として取得し（ステップＳ２１０）、統計情報生成部２２０が、センサのログ情報を蓄積するセンサログ情報データベース２１０内のセンサログ情報に基づいて、位置情報と動作情報に関する頻度にから統計情報を生成する（ステップＳ２２０）。

次いで、動作判定部２３０が、少なくとも、統計情報生成部２２０が生成した統計情報に基づいて、新たに入力された動作情報が、日常動作か非日常動作かを判定し（ステップＳ２３０）、記録指示信号出力部２４０が、ステップＳ２３０の判定結果に基づいて、記録部１４０に、記録指示信号を出力する（ステップＳ２４０）。

そして、記録部１４０が、少なくとも、非日常判定サーバ２００からの記録指示信号に基づいて、少なくとも、画像情報、音声情報、テキスト情報のうち１つの記録を行う（ステップＳ２５０）。

なお、携帯端末および非日常判定サーバの処理をコンピュータシステムが読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムを携帯端末および非日常判定サーバに読み込ませ、実行することによって本発明の情報記録タイミング推定システムおよび携帯端末を実現することができる。ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。

また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、顔の向きを検出するセンサとして、ジャイロセンサや地磁気センサを例示したが、心拍センサや脳波センサ等を併用することも可能である。

１００；携帯端末
１１０；センサ
１４０；記録部
２００；非日常判定サーバ
２１０；センサログ情報データベース
２２０；統計情報生成部
２３０；動作判定部
２４０；記録指示信号出力部
２５０；非日常ログ情報データベース
２６０；記録可否条件参照部
２７０；記録可否条件格納部

Claims (11)

1. 携帯端末と、非日常判定サーバとからなり、過去の経験の思い出しを行うための情報の記録タイミングを推定する情報記録タイミング推定システムにおいて、
   前記携帯端末が、
   利用者の顔の方向および興味の度合いを動作情報として取得するセンサと、
   少なくとも、前記非日常判定サーバからの記録指示信号に基づいて、少なくとも、画像情報、音声情報、テキスト情報のうち１つの記録を行う記録手段と、
   を備え、
   前記非日常判定サーバが、
   前記センサのログ情報を蓄積するセンサログ情報データベースと、
   前記センサログ情報データベース内のセンサログ情報に基づいて、前記動作情報に関する頻度から統計情報を生成する統計情報生成手段と、
   少なくとも、該統計情報生成手段が生成した前記統計情報に基づいて、新たに入力された前記動作情報が、日常動作か非日常動作かを判定する動作判定手段と、
   該動作判定手段の判定結果に基づいて、前記記録手段に、記録指示信号を出力する記録指示信号出力手段と、
   を備えたことを特徴とする情報記録タイミング推定システム。
2. 携帯端末と、非日常判定サーバとからなり、過去の経験の思い出しを行うための情報の記録タイミングを推定する情報記録タイミング推定システムにおいて、
   前記携帯端末が、
   利用者の位置情報と、顔の方向および興味の度合いを動作情報として取得するセンサと、
   少なくとも、前記非日常判定サーバからの記録指示信号に基づいて、少なくとも、画像情報、音声情報、テキスト情報のうち１つの記録を行う記録手段と、
   を備え、
   前記非日常判定サーバが、
   前記センサのログ情報を蓄積するセンサログ情報データベースと、
   前記センサログ情報データベース内のセンサログ情報に基づいて、前記位置情報と前記動作情報に関する頻度から統計情報を生成する統計情報生成手段と、
   少なくとも、該統計情報生成手段が生成した前記統計情報に基づいて、新たに入力された前記動作情報が、日常動作か非日常動作かを判定する動作判定手段と、
   該動作判定手段の判定結果に基づいて、前記記録手段に、記録指示信号を出力する記録指示信号出力手段と、
   を備えたことを特徴とする情報記録タイミング推定システム。
3. 前記非日常判定サーバが、前記センサログ情報とともに、該取得したセンサログ情報が日常的な情報か非日常的な情報かを示す識別子を前記センサログ情報データベースに記録することを特徴とする請求項１または請求項２に記載の情報記録タイミング推定システム。
4. 前記非日常判定サーバが、前記記録手段が記録した、少なくとも、画像情報、音声情報、テキスト情報のうち１つを蓄積し、前記センサログ情報データベースに記録された情報を特定範囲の位置情報ごとに、履歴情報とともに整理して記録する非日常ログ情報データベースを備え、
   前記動作判定手段が、前記非日常ログ情報データベース内の情報を含めて、新たに入力された前記動作情報が、日常動作か非日常動作かを判定することを特徴とする請求項１から請求項３のいずれかに記載の情報記録タイミング推定システム。
5. 前記非日常判定サーバが、前記情報の記録の可否を示す条件を格納する記録可否条件格納手段と、
   前記記録可否条件を参照する記録条件参照手段と、
   を備え、
   前記記録手段は、前記記録可否条件格納手段の情報をも参照して、少なくとも、画像情報、音声情報、テキスト情報のうち１つの記録を行うことを特徴とする請求項１から請求項４のいずれかに記載の情報記録タイミング推定システム。
6. 前記非日常判定サーバは、前記位置情報と前記動作情報のレコード数が、あらかじめ設定した一定値を超えるまでは、全て非日常動作と仮判定して情報を格納し、さらに、一定値を超えた場合に、全ての仮判定されたレコードを再判定することを特徴とする請求項２または請求項４のいずれかに記載の情報記録タイミング推定システム。
7. 過去の経験の思い出しを行うための情報の記録タイミングを推定する携帯端末において、
   利用者の顔の方向および興味の度合いを動作情報として取得するセンサと、
   前記センサのログ情報を蓄積するセンサログ情報蓄積手段と、
   前記センサログ情報蓄積手段内のセンサログ情報に基づいて、前記動作情報に関する頻度から統計情報を生成する統計情報生成手段と、
   少なくとも、該統計情報生成手段が生成した前記統計情報に基づいて、新たに入力された前記動作情報が、日常動作か非日常動作かを判定する動作判定手段と、
   該動作判定手段の判定結果に基づいて、記録手段に、記録指示信号を出力する記録指示信号出力手段と、
   を備え、
   前記記録手段は、少なくとも、前記記録指示信号出力手段からの記録指示信号に基づいて、少なくとも、画像情報、音声情報、テキスト情報のうち１つの記録を行うことを特徴とする携帯端末。
8. センサと記録手段とを有する携帯端末と、センサログ情報データベースと統計情報生成手段と動作判定手段と記録指示信号出力手段と非日常判定サーバとからなり、過去の経験の思い出しを行うための情報の記録タイミングを推定する情報記録タイミング推定システムにおける情報記録タイミング推定方法であって、
   前記携帯端末の前記センサが、利用者の顔の方向および興味の度合いを動作情報として取得する第１のステップと、
   前記非日常判定サーバの統計情報生成手段が、前記センサのログ情報を蓄積する前記センサログ情報データベース内のセンサログ情報に基づいて、前記動作情報に関する頻度から統計情報を生成する第２のステップと、
   前記非日常判定サーバの前記動作判定手段が、少なくとも、該統計情報生成手段が生成した前記統計情報に基づいて、新たに入力された前記動作情報が、日常動作か非日常動作かを判定する第３のステップと、
   前記非日常判定サーバの前記記録指示信号出力手段が、第３のステップの判定結果に基づいて、前記記録手段に、記録指示信号を出力する第４のステップと、
   前記携帯端末の前記記録手段が、少なくとも、前記非日常判定サーバからの記録指示信号に基づいて、少なくとも、画像情報、音声情報、テキスト情報のうち１つの記録を行う第５のステップと、
   を備えたことを特徴とする情報記録タイミング推定方法。
9. センサとセンサログ情報蓄積手段と統計情報生成手段と動作判定手段と記録手段と記録指示信号出力手段とを備え、過去の経験の思い出しを行うための情報の記録タイミングを推定する携帯端末おける情報記録タイミング推定方法であって、
   前記センサが、利用者の顔の方向および興味の度合いを動作情報として取得する第１のステップと、
   前記統計情報生成手段が、前記センサのログ情報を蓄積する前記センサログ情報蓄積手段内のセンサログ情報に基づいて、前記動作情報に関する頻度から統計情報を生成する第２のステップと、
   前記動作判定手段が、少なくとも、該統計情報生成手段が生成した前記統計情報に基づいて、新たに入力された前記動作情報が、日常動作か非日常動作かを判定する第３のステップと、
   前記記録指示信号出力手段が、第３のステップの判定結果に基づいて、記録手段に、記録指示信号を出力する第４のステップと、
   前記第４のステップにおいて、前記記録手段は、少なくとも、前記記録指示信号出力手段からの記録指示信号に基づいて、少なくとも、画像情報、音声情報、テキスト情報のうち１つの記録を行うことを特徴とする情報記録タイミング推定方法。
10. センサと記録手段とを有する携帯端末と、センサログ情報データベースと統計情報生成手段と動作判定手段と記録指示信号出力手段と非日常判定サーバとからなり、過去の経験の思い出しを行うための情報の記録タイミングを推定する情報記録タイミング推定システムにおける情報記録タイミング推定方法をコンピュータに実行させるためのプログラムであって、
    前記携帯端末の前記センサが、利用者の顔の方向および興味の度合いを動作情報として取得する第１のステップと、
    前記非日常判定サーバの統計情報生成手段が、前記センサのログ情報を蓄積する前記センサログ情報データベース内のセンサログ情報に基づいて、前記動作情報に関する頻度から統計情報を生成する第２のステップと、
    前記非日常判定サーバの前記動作判定手段が、少なくとも、該統計情報生成手段が生成した前記統計情報に基づいて、新たに入力された前記動作情報が、日常動作か非日常動作かを判定する第３のステップと、
    前記非日常判定サーバの前記記録指示信号出力手段が、第３のステップの判定結果に基づいて、前記記録手段に、記録指示信号を出力する第４のステップと、
    前記携帯端末の前記記録手段が、少なくとも、前記非日常判定サーバからの記録指示信号に基づいて、少なくとも、画像情報、音声情報、テキスト情報のうち１つの記録を行う第５のステップと、
    をコンピュータに実行させるためのプログラム。
11. センサとセンサログ情報蓄積手段と統計情報生成手段と動作判定手段と記録手段と記録指示信号出力手段とを備え、過去の経験の思い出しを行うための情報の記録タイミングを推定する携帯端末おける情報記録タイミング推定方法をコンピュータに実行させるためのプログラムであって、
    前記センサが、利用者の顔の方向および興味の度合いを動作情報として取得する第１のステップと、
    前記統計情報生成手段が、前記センサのログ情報を蓄積する前記センサログ情報蓄積手段内のセンサログ情報に基づいて、前記動作情報に関する頻度から統計情報を生成する第２のステップと、
    前記動作判定手段が、少なくとも、該統計情報生成手段が生成した前記統計情報に基づいて、新たに入力された前記動作情報が、日常動作か非日常動作かを判定する第３のステップと、
    前記記録指示信号出力手段が、第３のステップの判定結果に基づいて、記録手段に、記録指示信号を出力する第４のステップと、
    前記第４のステップにおいて、前記記録手段は、少なくとも、前記記録指示信号出力手段からの記録指示信号に基づいて、少なくとも、画像情報、音声情報、テキスト情報のうち１つの記録を行うことを特徴とするプログラム。

Images