JP4511304B2 - 行動履歴記録装置、行動履歴管理システム、行動履歴記録方法およびプログラム - Google Patents

Description

本発明は、利用者の行動履歴を自動的に記録するための装置および方法に関する。

従来、特定人の日常生活全般を記録しデータベース化するための試みが多く行われており、そのために、特定人の行動履歴を記録・保存する装置や方法が多く提案されている。たとえば、特定人が小型の携帯型コンピュータや顔の正面方向を撮影する撮像装置や特定人の行動履歴に関する情報を取得する各種装置を備えた行動履歴記録装置を身体に装着し携帯型コンピュータに特定人の行動を記録する装置が知られている（たとえば、非特許文献１参照）。この場合、装置の利用者である特定人（以下単に「利用者」と称する。）は、たとえばウェアラブルコンピュータのような携帯型コンピュータを日常生活時に常時身体に装着または携帯し、鍔に利用者の顔の正面が向いた方向を自動的に撮影できる小型の撮像装置を装着した帽子をかぶり、視界方向の写真を撮影して画像データを形成し、位置情報を取得するためのPHS(Personal Handyphone System)やGPSなど、動作情報を取得するためのジャイロや加速度計など、脳波や血圧や脈拍などの生体情報を取得するための脳波計や血圧計・脈拍計などを身体に装着し、日常生活時に定期的に撮影し取得した画像データに対し、位置情報や動作情報や生体情報などを利用者の行動履歴に関する情報として関連付けて保存する。この装置を用いることにより、利用者がいつどこで何を見ていたかという情報を履歴としてのこすことができる。なお、ここで「身体に装着」とは利用者の身体に密着または近接した状態に保持することをいい、本明細書における「身体に装着」はすべてかかる意味を示すものとする。

また、このように利用者の行動に関する一部始終を記録したデータを適宜検索可能とするための技術も知られている（たとえば、非特許文献２および非特許文献３参照）。これにより、利用者は、後日この写真を閲覧可能になり、日記の代用や過去の出来事の回想手段として活用できる。

相沢清晴 他"デジタルライフメディア"東京大学 相沢研究室［online］［平成１６年９月２９日検索］、インターネット、＜URL: http://www.hal.t.u-tokyo.ac.jp/research/DLM.html＞ "DALPA Information Processing Technology Office"米国国防総省高等研究計画局（The Defense Advanced Research Projects Agency (DARPA)）［online］［平成１６年９月２９日検索］、インターネット、＜URL: http://www.darpa.mil/ipto/Programs/lifelog/＞ San Francisco Bay Area Research Center, Media Presence Group "My Life Bits Project" マイクロソフト・コーポレーション(Microsoft Corporation)［online］［平成１６年９月２９日検索］、インターネット、＜URL: http://research.microsoft.com/barc/mediapresence/MyLifeBits.aspx＞

しかし、上記非特許文献１から３までに記載の方法によって自動的に画像データを取得する場合、画像データの品質は、撮像装置またはコンピュータの設定により一定の値に定められ調節不能であるか、手動の調節手段が設けられているにすぎなかった。

そして、画像データの品質調節が不能である場合、行動履歴として記録する画像データは重要度や利用者の周辺状況に関わらず常に同じ品質で記録されることになる。ここで、一般に画像データはデータ量が非常に大きいため、大量の画像データをそのまま記録したり伝送したりする場合には、大容量の記録媒体や通信回線が必要となる。これは、行動履歴記録装置自身の記憶容量に余裕がある場合や、十分な帯域幅を持つネットワークを経由して行動記録データを送信する場合には問題がないが、上記非特許文献１から３までに記載された行動履歴の取得や記録を行なう装置は利用者の携帯を前堤としているため、装置の記憶容量やネットワーク環境に関して十分な環境が提供されることはあまりない。そのため、画像データの圧縮などを行ってデータ量を削減することも考えられるが、削減した分画像の品質が落ちてしまい、記録としての価値が低下してしまうという問題がある。

一方、画像データの品質の手動による調節手段が設けられている場合、仮に切替えるとしても利用者自身が任意のタイミングで撮像装置またはコンピュータの設定を手動で切り替えることになるため、非特許文献１から３までに記載された装置を装着した利用者が日常生活全般にわたって画像データの品質を手動で適宜調整することは事実上不可能であるという問題もある。

本発明では上記の問題点に鑑み、重要な情報を有する画像データの品質を維持しつつ、全体としてのデータ量を少なくする行動履歴記録装置および方法ならびにプログラム、さらに行動履歴管理システムを提供することを目的とする。

本発明に係る上記課題の解決は、利用者が身体に装着または携帯して前記利用者の行動履歴を自動的に記録する行動履歴記録装置であって、利用者の行動経路に沿って前記利用者の周辺の景色を撮影して取得した画像データ、および前記画像データを取得した時間データ、および前記画像データの取得時における前記利用者の生体情報と前記利用者の周辺状況情報とのうち少なくともいずれか一方を特徴付ける利用者データを取得する画像データ・利用者データ取得手段と、前記画像データに前記時間データおよび前記利用者データを関連付けることにより前記利用者の行動履歴データを生成する行動履歴データ生成手段と、前記行動履歴データ中の前記利用者データの重要度を判別しこの重要度に基づいて前記画像データの重要度を算出する記録対象重要度判別手段と、前記記録対象重要度判別手段が算出した前記画像データの重要度に依存したデータサイズによって前記行動履歴データ中の前記画像データを圧縮する画像データ圧縮手段と、圧縮した前記画像データを含む前記行動履歴データを記録する記憶手段とを備えた行動履歴記録装置によって達成される。

そして、画像データ・利用者データ取得手段と、行動履歴データ生成手段と、記録対象重要度判別手段と、画像データ圧縮手段と、行動履歴記録手段とを備えた行動履歴記録装置により、利用者の利用者の周辺状況や利用者自身の情報からなる利用者データを行動履歴データの一部として記録することが可能となり、また、利用者データに依存して画像データの重要度を判別することができる。

また、本発明に係る上記課題の解決は、それぞれがネットワークを介して交信可能に接続された、上記の行動履歴記録装置と、前記行動履歴記録装置が取得した前記行動履歴データを保存する行動履歴保存装置と、前記行動履歴保存装置が保存した前記行動履歴データを利用者が閲覧可能な状態に表示する請求項９または１０に記載の行動履歴閲覧装置とを備えたこと行動履歴管理システムによって達成される。

そして、行動履歴記録装置と、行動履歴保存装置と、行動履歴閲覧装置とをネットワークを介して接続した行動履歴管理システムにより、システムの機能を分散させ、行動履歴記録装置の小型化と軽量化を図りつつ、行動履歴保存装置において大容量のデータの保存を可能とし、さらに、行動履歴の取得や保存と平行して行動履歴閲覧装置によって利用者に対して行動履歴データを閲覧可能な状態に表示することが可能になる。

本発明によれば、一定周期で自動撮影した画像データに行動履歴データを付加して保存する行動履歴記録装置において、画像の重要度を自動的に判別し、重要度が比較的高くないと想定される画像データのデータサイズを小さくして保存することにより、重要な画像データの品質を維持しつつ、全体としてのデータ量を削減し、行動履歴としての画像データを保存するデータベース資源を有効に利用することができ、かつネットワークを通じて送信する際のデータ通信量を削減することができる。

以下、本発明の行動履歴記録装置の一の実施の形態について、図面を参照して説明する。

図１は、本発明に係る行動履歴管理システムの構成例を示すブロック図である。この行動履歴管理システム１００は、利用者の行動履歴を取得して保存用データに変換する、本発明に係る行動履歴記録装置１０１と、行動履歴を保存する行動履歴保存装置１０２と、保存した行動履歴データを利用者に対して閲覧可能に表示するための行動履歴閲覧装置１０３とを有する。これらの装置は、いずれもネットワーク１０４に接続されてそれぞれ交信を行う。

図２は、本発明に係る行動履歴記録装置１０１の構成例を示すブロック図である。この行動履歴記録装置１０１は、画像データ・利用者データ取得手段２０１と、行動履歴データ生成手段２０２と、記録対象重要度判別手段２０３と、画像データ圧縮手段２０４と、記憶手段２０５と、行動履歴データ送信手段２０６とを含んで構成されている。

画像データ・利用者データ取得手段２０１は、利用者から見えている風景を撮影した画像データや、利用者自身の生体情報や利用者の周辺の環境などからなる利用者データなど、行動履歴記録装置１０１を装着している利用者の行動に関連するデータを取得する。

行動履歴データ生成手段２０２は、画像データ・利用者データ取得手段２０１から取得した画像データおよび利用者データをもとに行動履歴データを生成する。

また、記録対象重要度判別手段２０３は、画像データ・利用者データ取得手段２０１が取得した画像データの重要度を判別して画像データの圧縮率を決定し、画像品質情報として行動履歴データ内に保存する。この重要度の判別については後述する。

画像データ圧縮手段２０４は、行動履歴データの画像品質情報の値に基づいて画像データに圧縮処理を施しデータサイズを縮小する。データサイズの縮小の具体的方法としては、たとえばJPEG画像のquality値を下げることで画像データを小さくする方法があげられる。なお、この処理を施した画像データは、縦横サイズは変わらないが画質が低下して、画像中に写っている物体が見にくくなる。

記憶手段２０５は、各種のデータ記憶媒体であり、記録対象の重要度に応じて画像データの品質を変更した行動履歴データを一時的に保存する。

行動履歴データ送信手段２０６は、記憶手段２０５に保持している行動履歴データを読み出すとともに、ネットワークを介して接続されている行動履歴保存装置１０２で保存するために送信処理を行なう。そして、送信処理された行動履歴データは、記憶手段２０５内から消去される。

図３は、本発明に係る行動履歴記録装置１０１に用いられる画像データ・利用者データ取得手段２０１の構成例を示すブロック図である。この画像データ・利用者データ取得手段２０１は、画像取得部３０１と、生体情報取得部３０２と、周辺状況情報取得部３０３と画像データ・利用者データ処理部３０４とを含んで構成されている。

画像取得部３０１は、小型CCDカメラなどのディジタルカメラによって形成したカメラ部３０５を有する。そして画像データ・利用者データ処理部３０４から要求があると、カメラ部３０５は、利用者の視線方向の景色を撮影し、撮影したディジタル写真を画像データとして装置に取り込み、画像データ・利用者データ処理部３０４へ渡す。ただし、画像データを形成する景色は利用者の視線が向いた方向近傍の景色であれば行動履歴データとしての目的を達成するので、上記視線方向とは利用者の視線の向き（瞳孔の向き）方向と完全に一致している必要はなく、視線の向き方向または視線の向き近傍方向であればよい。

生体情報取得部３０２は、脈拍数測定器や心拍数測定器などの心拍数取得部３０６を含んで構成されている（なお、人間の脈拍数と心拍数は通常は同じなので、本実施の形態においてはいずれの測定器も心拍数の測定に用いるものとする。）。そして、心拍数取得部３０６では、画像データ・利用者データ処理部３０４から要求があると利用者の心拍数を計測し１分当たりの心拍数を算出して画像データ・利用者データ処理部３０４へ渡す。

周辺状況情報取得部３０３は、マイク部３０７と位置情報取得部３０８とを有する。

マイク部３０７は、小型のマイクロフォンであって画像データ・利用者データ取得手段２０１の本体部の一部に設けられており、画像データ・利用者データ処理部３０４から要求があると、利用者の周辺の環境音を取り込んで音圧レベルに変換して画像データ・利用者データ処理部３０４へ渡す。

位置情報取得部３０８は、地球の周囲を周回するＧＰＳ衛星３０９との無線交信機能を有しており、画像データ・利用者データ処理部３０４から要求があると、上空の４つのＧＰＳ衛星３０９から提供される位置計測機能および時刻測定機能に基づいて、利用者の現在位置情報（緯度、経度、高さ）および現在の時間情報を取得し、利用者データ処理部３０４へ渡す。なお、画像データ・利用者データ処理部３０４は、画像取得部３０１、生体情報取得部３０２、周辺状況情報取得部３０３から取得した上記の情報を行動履歴データ生成手段２０２に送信する。

そして、図４に、本実施の形態において生成される行動履歴データ４００の模式図を示す。この行動履歴データ４００は、画像取得部３０１のカメラ部３０５が撮影し取得した画像データ４０５に、ヘッダ情報としてのヘッダ部４０１が付加されて形成されている。このヘッダ部４０１は、データを取得した時間情報４０２や、利用者データ４０３としての利用者の現在位置を示す現在位置情報や、撮影した画像データの画像品質情報４０４をデータとして有し、ヘッダ情報を形成している。

時間情報４０２には、位置情報取得部３０８がＧＰＳ衛星３０９から取得したデータをもとに画像データ４０５を撮影した時間情報を形成し、年月日時分秒単位の情報として保持する。例えば2003年1月1日12時34分56秒であれば20030101123456というデータとして保持する。

利用者データ４０３には、生体情報取得部３０２、周辺状況情報取得部３０３にて取得された情報をもとに形成された利用者情報であって、記録対象重要度判別手段２０３において記録対象の重要度の判別に用いる情報を保持する。仮に、重要度の判別に周辺状況情報取得部３０３の位置情報取得部３０８が取得した位置情報を用いる場合には、位置情報取得部３０８がＧＰＳ衛星３０９から取得したデータをもとに画像データ４０５を撮影した場所情報を経度情報および緯度情報として保持する。例えば北緯35度13.1847分、東経139度40.7581分であれば3513.1847,N,13940.7581,Eというデータとして保持する。あるいは、重要度の判別に生体情報取得部３０２で取得した生体情報の変化を用いる場合は、上記の現在位置情報に代えて生体情報を入力し、マイク部３０７で取得した環境音の変化を用いる場合は、上記の現在位置情報に代えて音量情報を入力し、距離情報を用いる場合には、位置情報取得部３０８で取得した緯度情報や経度情報（またはこれらをもとに画像データ・利用者データ処理部３０４にて形成した距離情報）を入力し、さらに、これら情報のうち２以上を組み合わせて用いる場合は、用いられる複数の情報を入力する。

画像品質情報４０４には撮影した画像データ４０５の品質情報をJPEG qualityのパーセント値として保持する。なお、この場合のパーセント値は0〜100の間の値をとり、具体的な値は、記録対象重要度判別手段２０３における処理によって決定される（したがって、行動履歴データ生成手段２０２で生成された状態では、画像品質情報４０４は空データのままである。）。そして、このヘッダ部４０１を付加した画像データ４０５は、JPEGデータとして保持される。

図５は、本発明に係る行動履歴記録装置１０１に用いられる記録対象重要度判別手段２０３の構成例を示すブロック図である。この記録対象重要度判別手段２０３は、記録対象重要度処理部５０１と、利用者データ保存部５０２とを有している。

記録対象重要度処理部５０１は、行動履歴データ生成手段２０２から行動履歴データ４００を取得する。また、利用者データ保存部５０２は、過去の行動履歴データ４００のヘッダ部４０１から収集された利用者データ４０３群を蓄積したデータベースであり、この利用者データ４０３群は重要度参照データを形成している。そして、記録対象重要度処理部５０１は、利用者データ保存部５０２に蓄積された重要度参照データと、取得した行動履歴データ４００のヘッダ部４０１の利用者データ４０３に記録されている情報とを対比して判別した当該画像データ４０５の重要度をもとに画像品質情報４０４を形成し、ヘッダ部４０１に格納する。そして、変換に用いた利用者データ４０３は、さらに、利用者データ保存部５０２に新たに蓄積されて、利用者データ保存部５０２はこの利用者データ４０３を反映したデータに更新される。

図６は、本発明に係る行動履歴記録装置１０１に用いられる行動履歴保存装置１０２の構成を示すブロック図である。この行動履歴保存装置１０２は、データ受信手段７０１と、行動履歴データ管理手段７０２と、行動履歴データ蓄積データベース７０３と、行動履歴データ検索手段７０４と、データ送信手段７０５とから構成されている。

データ受信手段７０１は、ネットワーク１０４を介して行動履歴保存装置１０２から送信された行動履歴データ４００を取得する。そして、この行動履歴データ４００は行動履歴データ管理手段７０２に送られ、取得した行動履歴データ４００をデータベースにおいて保管管理するための管理情報を形成する。そして、管理情報が形成された行動履歴データ４００は行動履歴データ蓄積データベース７０３に蓄積される。この行動履歴データ蓄積データベース７０３はハードディスクなどによって形成された大容量の記憶媒体であり、受信した行動履歴データ４００を保存する。一方、行動履歴データ検索手段７０４はデータベース検索手段であって、データ受信手段７０１がネットワーク１０４を介して行動履歴データ４００の取得要求を受信すると、行動履歴データ管理手段７０２において形成された管理情報に基づいて行動履歴データ蓄積データベース７０３に蓄積されたデータを検索し、要求に合致した行動履歴データ４００を探し出す。そして、データ送信手段７０５は探し出された行動履歴データ４００を要求の合ったデータ受信手段７０１に送信する。

図７は、本発明に係る行動履歴記録装置１０１に用いられる行動履歴閲覧装置１０３の構成を示すブロック図である。この行動履歴閲覧装置１０３は、データ受信手段８０１と、行動履歴データ閲覧手段８０２と、行動履歴データ要求入力手段８０３と、データ送信手段８０４とから構成されている。

行動履歴データ要求入力手段８０３は、コンピュータ端末の文字入力用キーボードのように利用者が行動履歴データ４００の閲覧要求を入力するための入力用インターフェースである。そして、行動履歴データ要求入力手段８０３がユーザから閲覧したい行動履歴データ４００の条件を受け取ると、データ送信手段８０４が行動履歴データ４００の取得要求を、ネットワーク１０４を介して行動履歴保存装置１０２に送信する。

また、行動履歴データ閲覧手段８０２は、コンピュータ端末のディスプレイのように行動履歴データ４００を表示する表示用インターフェースである。そして、データ受信手段８０１が受信した行動履歴データ４００は行動履歴データ閲覧手段８０２に渡されて表示され、利用者は所望の行動履歴データ４００を閲覧できる。

なお、行動履歴閲覧装置１０３は、利用者の利便性を高めるために複数設けられていてもよい。

図８は、本発明に係る行動履歴記録装置１０１における処理の最初の段階として、行動履歴データ生成手段２０２が行動履歴データ４００を取得するまでの流れを示すフローチャート図である。以下、このフローチャートに基づいて、処理の流れを説明する。

まず、行動履歴記録装置１０１の処理が開始されると、画像データ・利用者データ取得手段２０１の画像データ・利用者データ処理部３０４は、画像処理部３０１に画像データ４０５の送信を要求するとともに周辺状況情報取得部３０３に対して利用者データの取得を要求する（Ｓ１０１）。次に、画像データ・利用者データ処理部３０４は画像取得部３０１が撮影したカメラ画像を画像データ４０５として取得する（Ｓ１０２）。次に、画像データ・利用者データ処理部３０４は周辺状況情報取得部３０３がＧＰＳ衛星３０９から位置情報（現在の利用者の所在地および目的地それぞれの緯度情報および経度情報）と時間情報を取得する（Ｓ１０３）。次に、画像データ・利用者データ処理部３０４は、記録対象重要度判別手段２０３から記録対象の重要度を判別するためのデータを取得する（Ｓ１０４）。このようにそれぞれの利用者データを取得すると、画像データ・利用者データ処理部３０４は利用者データと画像データ４０５を取得すると、各々のデータを行動履歴データ生成手段２０２へ送る（Ｓ１０５）。そして、５秒間間隔をおいた後にＳ１０１からＳ１０５までの処理を繰り返す（Ｓ１０６）。なお、上記ステップＳ１０１からステップＳ１０６においては、画像データ・利用者データ処理部３０４は利用者データに周辺状況情報取得部３０３がＧＰＳ衛星３０９から取得した位置情報および時間情報として用いたが、生体情報取得部３０２から取得した利用者の心拍数や、周辺状況情報取得部３０３が取得した環境音や、それらの情報を複合的に用いる場合も上記ステップＳ１０１からＳ１０６までと同様の処理を繰り返して行う。

図９は、本発明に係る行動履歴記録装置１０１において、行動履歴データ４００の利用者データ４０３として心拍数を用いた場合の、記録データの重要度の判別処理を示すフローチャート図である。以下、同図に基づいて処理の流れを説明する。

まず、記録対象重要度判別手段２０３において、記録対象重要度処理部５０１が、利用者データ保存部５０２に蓄積された利用者の心拍数データを取得する（Ｓ２０１）。なお、この心拍数データは、利用者の過去の心拍数情報を多数蓄積して形成したものであり、上記ステップで記録対象重要度処理部５０１が取得するデータには、そうした過去の情報から形成された利用者の平均心拍数のデータも含まれている。次に、記録対象重要度処理部５０１が、行動履歴データ生成手段２０２から、利用者の現在の心拍数情報を取得する（Ｓ２０２）。次に、記録対象重要度処理部５０１が、現在の心拍数を、過去に取得された利用者の心拍数のデータ群から形成した平均心拍数のデータと最大心拍数のデータとに基づいて演算することにより、現在の心拍数に基づいた画像データ４０５の画像品質を算出する（Ｓ２０３）。ここで、画像品質JQは、
JQ = (取得心拍数 - 平均心拍数) / (最大心拍数 - 平均心拍数) * 100
によって算出する。これは、JPEG Qualityを、平均心拍数（定常状態）以下の場合はを0%とし、最大心拍数の場合は100%として算出している。つまり、心拍数が多いほど、高い画像品質として算出されることになる。なお、ここでは最低心拍数は利用していないが、平均心拍数の代わりに最低心拍数を0%として算出しても良い。また、心拍数の平均値は保存しつづけるが最大値は一定周期、たとえば１日毎に初期化処理を行なう。そして、このように算出されたJPEG Qualityの値は、ヘッダ部４０１に画像品質情報４０４として格納される（Ｓ２０４）。また、記録対象重要度処理部５０１は、ステップＳ２０２で取得された現在の心拍数がさらに加えられて利用者データ保存部５０２の心拍数データが更新される（Ｓ２０５）。

図１０は、本発明に係る行動履歴記録装置１０１において、行動履歴データ４００の利用者データ４０３として位置情報を用いた場合の、記録データの重要度の判別処理を示すフローチャート図である。以下、同図に基づいて処理の流れを説明する。

まず、記録対象重要度判別手段２０３において、記録対象重要度処理部５０１が、利用者データ保存部５０２に蓄積された位置情報関連データを取得する（Ｓ３０１）。この位置情報関連データには、利用者が向かっている目的地の情報（目的地の緯度情報および経度情報）も、設定ポイント情報として含まれている。次に、記録対象重要度処理部５０１が、行動履歴データ生成手段２０２から利用者の現在位置（ＧＰＳ衛星３０９との交信によって取得した緯度情報および経度情報）を取得する（Ｓ３０２）。次に、記録対象重要度処理部５０１が、位置情報保存データの設定ポイントと現在位置情報に基づき画像品質を算出する（S３０３）。ここで、画像品質は、
((目的地経度 - 現在位置経度)^2 + (目的地緯度 - 現在位置緯度)^2)^(1/2)
で算出した目的地までの距離に基づいて設定し、JPEG Qualityは距離が0の場合は100%として一定の距離、例えば5'（分）以上離れている場合は0%とする。すなわち設定ポイントに近づく程、JPEG Qualityが高くなる。そして、このように算出されたJPEG Qualityの値は、ヘッダ部４０１の画像品質情報領域４０４に設定される（Ｓ３０３）。

図１１は、本発明に係る行動履歴記録装置１０１において、行動履歴データ４００の利用者データ４０３として環境音の音圧レベルの変化を利用した場合の、記録データの重要度の判別処理を示すフローチャートである。以下、同図に基づいて処理の流れを説明する。

まず、記録対象重要度判別手段２０３において、記録対象重要度処理部５０１が、利用者データ保存部５０２に蓄積された音圧レベル基準データを取得する（Ｓ４０１）。これは、利用者の周辺においてに過去に取得された多くの環境音情報を蓄積したものである。次に、記録対象重要度処理部５０１が、行動履歴データ生成手段２０２から現在の利用者の周辺の環境音の音圧レベルを取得する（Ｓ４０２）。次に、記録対象重要度処理部５０１が、音圧レベル基準データと現在の環境音の音圧レベルとの対比結果を算出し、この算出された値に基づき画像品質を算出する（Ｓ４０３）。ここで、画像品質は、音圧レベルxがx <= 50dBの場合はJPEG Quality の値が0%、x >= 100dBの場合はJPEG Quality が100%、50 < x < 100の場合はJPEG Quality が(x - 50)/50%として算出する。すなわち、音圧レベルが高い程、JPEG Qualityの値が高くなる。そして、記録対象重要度処理部５０１が算出した JPEG Qualityの値は、ヘッダ部４０１の画像品質情報領域４０４に設定される（Ｓ４０４）。

図１２は、本発明に係る行動履歴記録装置１０１の画像データ圧縮手段２０４において、画像データ４０５を画像品質情報に基づいて圧縮する流れを示すフローチャート図である。以下、同図に基づいて、画像データ４０５の圧縮処理の流れを説明する。

まず、画像データ圧縮手段２０４は、記録対象重要度判別手段２０３にて処理され出力された行動履歴データ４００を取得する（Ｓ５０１）。次に、画像データ圧縮手段２０４は、取得した行動履歴データ４００の中から画像データ４０５を読みこむ（Ｓ５０２）。次に、画像データ圧縮手段２０４は、ヘッダ部４０１から画像品質情報４０４を読みこみ、この画像品質情報４０４に規定された品質に基づいて画像データ４０５の圧縮処理を行なう（Ｓ５０３）。ここでは、JPEG Quality値を変更することによって圧縮処理を行なうことになり、画像品質情報４０４の数値が大きいほど画像データ４０５の品質を高くし（すなわち低い圧縮率で圧縮処理し）、画像品質情報４０４の数値が小さいほど画像データ４０５の品質を低くする（すなわち高い圧縮率で圧縮処理する）。そして、画像データ圧縮手段２０４は、圧縮処理した画像データ４０５を元の行動履歴データ４００の画像データ４０５と置換する（Ｓ５０４）。そして、画像データ圧縮手段２０４は、圧縮処理後の画像データ４０５に置換した行動履歴データ４００を行動履歴記憶手段２０５に送り、保存する（Ｓ５０５）。

以上のように、利用者の状況に応じて行動履歴データ４００の画像データ４０５の重要度を判断し、重要度の高い画像データ４０５は高い品質で保存し、重要度の低い画像データ４０５はデータ量を減らして保存することにより、重要度の高いデータの品質を高く保ちながら蓄積され伝送されるデータ量全体を減少させて、データの保存領域および伝送時のネットワーク資源の使用領域を減らすことができる。

そして、行動履歴記録装置１０１において、画像データ・利用者データ取得手段２０１と、行動履歴データ生成手段２０２と、記録対象重要度判別手段２０３と、画像データ圧縮手段２０４と、行動履歴記録手段２０５とを備えていることにより、利用者の利用者の周辺状況や利用者自身の情報からなる利用者データ４０３を行動履歴データ４００の一部として記録することが可能となり、また、利用者データ４０３の重要度に依存して画像データ４０５の重要度を算出することができる。

また、画像取得部が利用者の視線方向の景色を撮影することによって利用者が見ている景色から画像データ４０５を取得でき、この画像データ４０５を、生体情報取得部３０２が取得した生体情報や周辺状況情報取得部３０３が取得した周辺状況情報とともに画像データ・利用者データ処理部３０４に送り、さらに行動履歴データ生成手段２０２に送ることにより、画像データ４０５に利用者の生体情報や周辺状況を付加した行動履歴データ４００を生成することができる。

さらに、生体情報として利用者の心拍数の変化や、利用者の周辺の環境音の音圧の変化を利用者データ４０３に用いることにより、行動履歴の重要性に関連性があり簡易に取得できる情報を行動履歴データ４００に含めたり画像データ４０５の重要度の判断に用いたりすることができる。

また、利用者の所在地および目的地の緯度情報および経度情報を取得して前記距離情報を算出し利用者データ４０３に用いることにより、行動履歴の重要性との関連性が高い情報を行動履歴データ４００に含めたり画像データ４０５の重要度の判断に用いたりすることができる。さらに、かかる情報をＧＰＳ衛星３０９との交信により取得することにより、正確な情報を簡易に取得することが可能になる。

そして、記録対象重要度判別手段２０３においては、記録対象重要度処理部５０１が、利用者データ保存部５０２に蓄積された過去の利用者データ４０３の蓄積と対比して行動履歴データ４００に含まれる画像データ４０５の重要度を判別することにより、画像データ４０５の重要度を客観性の高い正確な判断材料に基づいて判断することができる。

また、行動履歴管理システム１００を、行動履歴記録装置１０１と、行動履歴保存装置１０２と、行動履歴閲覧装置１０３とをネットワーク１０４を介して接続し、行動履歴に関するデータの取得、保存、閲覧を別個の装置に実行させることにより、システムの機能を分散させ、行動履歴記録装置１０１の小型化と軽量化を図りつつ、行動履歴保存装置１０２において大容量のデータの保存を可能とし、さらに、行動履歴の取得や保存と平行して行動履歴閲覧装置１０３により利用者に対して行動履歴データを閲覧可能な状態に表示することが可能になる。

なお、本実施の形態においては、記録対象の重要度を決定する方法として、利用者データ４０３として心拍数の変化による生体情報を利用したもの場合と、位置情報と音圧レベルによる周辺状況を利用した場合を例にとり説明したが、これに限らず、他の生体情報や周辺状況情報に適用することも可能である。

また、本実施の形態においては、生体情報取得部３０２に心拍数取得部３０６を設け、利用者の生体情報として心拍数（脈拍数）の変化を取得しているが、これに限定されず、生体情報として利用できるものであればどのようなものを用いてもよい。たとえば、血圧・発汗量・瞳孔の大きさ・体温・呼吸数・瞳孔の向きの変化といった、利用者の生体情報の変化を利用することが考えられる。

そして、上記実施の形態においては、画像の圧縮方法についてJPEG Qualityを変更する方法で説明したが、圧縮率を変更する方法はどのようなものでもよく、例えば画像のピクセル数を間引くといった方法などを用いてもよい。

さらに、上記実施の形態においては、記録対象重要度判別手段２０３は、画像データ・利用者データ取得手段２０１において取得した利用者の生体情報の変化や、所在地情報や、音量情報の変化などを用いたが、これに限定されず、たとえば画像データ４０５内に存在する被写体としてのオブジェクト（たとえば目的地のランドマークとなる建造物や自然物など）の画像データ４０５内に占める位置や大きさの変化など、オブジェクトの重要度情報の変化を判断材料に用いることもできる。かかる判断材料を用いた場合、画像データ４０５内に写っているオブジェクトの重要度の変化に基づいて、各画像データ４０５の記録対象としての重要度の変化を判別することになり、被写体の画像データ４０５内に存在する時間の長さや位置や大きさや被写体と利用者との接触の有無など、画像データ４０５自体に基づいて被写体の重要度を判断することが可能となるため、利用者データ４０３の取得手段を簡素化させられるような効果が期待できる。

（実施例）
以上の実施の形態に示した、本発明に係る行動履歴管理システムならびに行動履歴記録装置の実施例を図１３に示す。

この実施例において、行動履歴管理システム１００を構成する行動履歴記録装置１０１は、利用者１０５の身体に装着される。

利用者１０５は、ウェアラブルコンピュータ１０６を身体に装着する。このウェアラブルコンピュータ１０６は、衣服やかばんなどに一体的に設けられた小型の携帯型コンピュータであって、小型のパーソナルコンピュータと同程度の演算機能とデータ記憶機能とネットワーク接続機能とを有する。そして、利用者は、生活時間帯において身体に密着または近接した状態でほぼ常時このウェアラブルコンピュータ１０６を利用しかつ情報を記録することができる。なお、ウェアラブルコンピュータ１０６の代わりにノート型のパーソナルコンピュータ等を用いてもよい。

そして、行動履歴記録装置１０１のうち、行動履歴データ生成手段２０２と、記録対象重要度判別手段２０３と、画像データ圧縮手段２０４と、記憶手段２０５と、行動履歴データ送信手段２０６と、画像データ・利用者データ取得手段２０１の画像データ・利用者データ処理部３０４は、このウェアラブルコンピュータ１０６にプログラムとして実装される。

一方、ウェアラブルコンピュータ１０６には、行動履歴記録装置１０１を形成する画像取得部３０１と、生体情報取得部３０２と、周辺状況情報取得部３０３とが接続されている。

画像取得部３０１は利用者１０５のかけるメガネとして形成され、このメガネのつるの部分には、カメラ部３０５として略円筒形の小型CCDカメラが設けられ、利用者１０５の視線方向の景色を一定時間ごとに自動的に撮影する。

生体情報取得部３０２は、心拍数取得部３０６を心拍数計として形成され、心拍数取得用のセンサをバンドで利用者１０５の腕に固定する。なお、この実施例では脈拍数を取得して心拍数とみなすものであるが、センサを利用者１０５の胸部の心臓周辺に付着させて心拍数そのものを取得してもよい。

また、周辺状況情報取得部３０３は、ウェアラブルコンピュータ１０６に内蔵されたマイク部３０７としてのマイクロフォンおよび位置情報取得部３０８としての無線通信手段として形成されている。マイク部３０７は利用者１０５周辺の環境音を取得し、また、位置情報取得部３０８はＧＰＳ衛星３０９と交信して利用者１０５の現在位置情報（緯度、経度、高さ）および現在の時間情報を取得する。

なお、ウェアラブルコンピュータ１０６には、行動履歴記録装置１０１を形成する画像取得部３０１と、生体情報取得部３０２と、周辺状況情報取得部３０３とを制御する制御手段（図示せず）が内蔵されている。

そして、ウェアラブルコンピュータ１０６は無線によりネットワーク１０４に接続する。ネットワーク１０４への接続には、携帯電話回線やＰＨＳ回線を用いる方法が考えられる。そして、携帯電話回線やＰＨＳ回線を用いる場合は基地局１０７と交信し、無線ＬＡＮを用いる場合にはＨＯＴＳＰＯＴなどのアクセスポイント１０８と交信して接続する。

このように、ウェアラブルコンピュータ１０６に行動履歴記録装置１０１の構成の大半を収納することにより、本発明に係る行動履歴記録装置１０１および行動履歴管理システム１００を実現することができる。

ネットワーク１０４には行動履歴保存装置１０２が接続されている。また、行動履歴閲覧装置としては、ネットワーク１０４に直接接続された第１の行動履歴閲覧装置１０３ａと、利用者１０５が携帯する第２の行動履歴閲覧装置１０３ｂとが設けられている。第１の行動履歴閲覧装置１０３ａは据え置き型のパソコンであり、ネットワークを介して行動履歴保存装置１０２と交信して所望の行動履歴データ４００を表示する。第２の行動履歴閲覧装置１０３ｂは携帯情報端末（ＰＤＡ）であり、表面に行動履歴データ要求入力手段８０３としてのキーボードと行動履歴データ閲覧手段８０２としてのディスプレイを有し、無線によって行動履歴保存装置１０２と交信して所望の行動履歴データ４００を表示する。このように行動履歴データ要求入力手段８０３を携帯可能とすることにより、利用者は外出先でも手軽に所望の行動履歴データ４００を閲覧することが可能になる。

本発明の一実施の形態に係る行動履歴管理システムの全体を示す機能ブロック図である。 本発明の一実施の形態に係る行動履歴記録装置の構成を示す機能ブロック図である。 同上行動履歴記録装置のうち画像データ・利用者データ取得手段の構成を示す機能ブロック図である。 同上行動履歴記録装置のうち行動履歴データ生成手段による行動履歴データの構成を示すデータ構成図である。 同上行動履歴記録装置のうち記録対象重要度判別手段の構成を示す機能ブロック図である。 同上行動履歴記録装置のうち行動履歴保存装置の構成を示す機能ブロック図である。 同上行動履歴記録装置のうち行動履歴閲覧装置の構成を示す機能ブロック図である。 同上行動履歴記録装置のうち行動履歴データ取得処理の動作を示すフローチャート図である。 同上行動履歴記録装置のうち記録データ重要度判別処理を心拍数の変化によって行なう場合の処理を示すフローチャート図である。 同上行動履歴記録装置のうち記録データ重要度判別処理を位置情報によって行なう場合の処理を示すフローチャート図である。 同上行動履歴記録装置のうち記録データ重要度判別処理を音圧レベルによって行なう場合の処理を示すフローチャート図である。 同上行動履歴記録装置のうち画像データ圧縮手段における画像データ圧縮処理を行なう場合の処理を示すフローチャート図である。 同上行動履歴管理システムおよび行動履歴記録装置の一実施例である。

符号の説明

１００・・・行動履歴管理システム、１０１…行動履歴記録装置、１０２…行動履歴保存装置、１０３,１０３ａ,１０３ｂ…行動履歴閲覧装置、１０４…ネットワーク、１０５・・・利用者、２０１…画像データ・利用者データ取得手段、２０２…行動履歴データ生成手段、２０３…記録対象重要度判別手段、２０４…画像データ圧縮手段、２０５…記憶手段、２０６…行動履歴データ送信手段、３０１…画像取得部、３０２…生体情報取得部、３０３…周辺状況情報取得部、３０４…画像データ・利用者データ処理部、３０５…カメラ部、３０６…心拍数取得部、３０７…マイク部、３０８…位置情報取得部、３０９・・・ＧＰＳ衛星、４０１・・・行動履歴データ、４０２・・・時間情報、４０３・・・利用者データ、４０４・・・画像品質情報、４０５・・・画像データ

Claims (13)

1. 利用者が身体に装着または携帯して前記利用者の行動履歴を自動的に記録する行動履歴記録装置であって、
   利用者の行動経路に沿って前記利用者の周辺の景色を撮影して取得する画像データ、および前記画像データを取得した時間データ、および前記利用者の現在の所在地と前記利用者が向かう目的地との距離情報を利用者データとして取得する画像データ・利用者データ取得手段と、
   前記画像データに前記時間データおよび前記利用者データを関連付けることにより前記
   利用者の行動履歴データを生成する行動履歴データ生成手段と、
   前記行動履歴データ中の前記利用者データの重要度を判別しこの重要度に基づいて前記
   画像データの重要度を算出する記録対象重要度判別手段と、
   前記記録対象重要度判別手段が算出した前記画像データの重要度に依存したデータサイ
   ズによって前記行動履歴データ中の前記画像データを圧縮する画像データ圧縮手段と、
   圧縮した前記画像データを含む前記行動履歴データを記録する記憶手段と
   を備え、
   前記記録対象重要度判別手段は、前記利用者の現在の所在地と前記利用者が向かう目的地との間の距離が近いほど前記画像データの重要度が高いと判断する
   ことを特徴とする行動履歴記録装置。
2. 前記利用者の周辺の環境音を取得するマイク部を有し、
   前記記録対象重要度判別手段は、前記マイク部が取得した環境音の音圧が大きいほど前記画像データの重要度が高いと判断する
   ことを特徴とする請求項１に記載の行動履歴記録装置。
3. 前記画像データ・利用者データ取得手段は、
   前記利用者の生体情報を取得する生体情報取得部および前記利用者の周辺の状況に関する周辺状況情報を取得する周辺状況情報取得部のうち少なくともいずれか一方
   を有することを特徴とする請求項１または２に記載の行動履歴記録装置。
4. 前記生体情報取得部は、前記生体情報として前記利用者の心拍数の変化を用いることを
   特徴とする請求項３に記載の行動履歴記録装置。
5. 前記周辺状況情報取得部は、前記利用者が現在所在する所在地および前記利用者が向かう目的地の緯度・経度情報を取得して前記距離情報を算出する位置情報取得部を有することを特徴とする請求項３または４に記載の行動履歴記録装置。
6. 前記位置情報取得部は、前記緯度・経度情報および前記時間データをGPS衛星との交信により取得することを特徴とする請求項５に記載の行動履歴記録装置。
7. 前記記録対象重要度判別手段は、
   過去の利用者データを蓄積する利用者データ保存部と、
   前記行動履歴データ生成手段から取得した前記行動履歴データに含まれる現在の利用者データと前記利用者データ保存部に蓄積された過去の利用者データ群とを対比して前記行動履歴データに含まれる画像データの重要度を判別する記録対象重要度処理部と
   を有することを特徴とする請求項１から６までのいずれか１項に記載の行動履歴記録装置。
8. 請求項１から７までのいずれか１項に記載の行動履歴記録装置が取得した行動履歴データを閲覧する行動履歴閲覧装置であって、前記行動履歴データを無線通信により取得し前記行動履歴データを前記利用者が閲覧可能な状態に表示することを特徴とする行動履歴閲覧装置。
9. 前記行動履歴閲覧装置は携帯情報端末であることを特徴とする請求項８に記載の行動履歴閲覧装置。
10. それぞれがネットワークを介して交信可能に接続された、
    請求項１から７までのいずれか１項に記載の行動履歴記録装置と、
    前記行動履歴記録装置が取得した前記行動履歴データを保存する行動履歴保存装置と、
    前記行動履歴保存装置が保存した前記行動履歴データを利用者が閲覧可能な状態に表示する請求項８または９に記載の行動履歴閲覧装置と
    を備えたことを特徴とする行動履歴管理システム。
11. 利用者が身体に装着または携帯して前記利用者の行動履歴を自動的に記録する行動履歴記録装置において、
    前記利用者の視線方向の景色を撮影して取得した画像データを取得するステップと、
    前記画像データを取得した時間データ、および前記利用者の現在の所在地と前記利用者が向かう目的地との距離情報を利用者データとして取得するステップと、
    前記画像データに前記時間データおよび前記利用者データを関連付けて行動履歴データを形成するステップと、
    前記行動履歴データ中の前記利用者データをもとに前記行動履歴データ中の前記画像データの重要度を判別しこの重要度に依存して画像品質情報を算出しこの画像品質情報を前記行動履歴データに格納するステップと、
    前記行動履歴データの前記画像データを前記画像品質情報に依存した圧縮サイズによって圧縮するステップと、
    圧縮した前記画像データを含む前記行動履歴データを記憶手段に記録するステップと
    を有し、
    前記画像データの重要度を判別するステップでは、前記利用者の現在の所在地と前記利用者が向かう目的地との間の距離が近いほど前記画像データの重要度が高いと判断する
    ことを特徴とする行動履歴記録方法。
12. 前記利用者の周辺の環境音を取得するステップを有し、
    前記画像データの重要度を判別するステップでは、前記環境音の音圧が大きいほど前記画像データの重要度が高いと判断する
    ことを特徴とする請求項１１に記載の行動履歴記録方法。
13. 請求項１１または１２に記載の行動履歴記録方法をコンピュータに実施させるためのプ
    ログラム。

Images