JP4535113B2

JP4535113B2 - 信号提示システム並びに信号取得、蓄積および提示システム

Info

Publication number: JP4535113B2
Application number: JP2007261200A
Authority: JP
Inventors: 哲二郎近藤; 秀雄中屋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-10-04
Filing date: 2007-10-04
Publication date: 2010-09-01
Anticipated expiration: 2020-10-05
Also published as: JP2008090850A

Description

この発明は、個人が体験したイベントに関しての視聴覚情報、生体情報を蓄積するのに適用される信号提示システム、並びに信号取得、蓄積および提示システムに関する。

個人が持つディジタル画像情報等のディジタル情報の量が増大するのに伴い、各個人のディジタル情報を保管するサービスが実用化されつつある。その場合、単なるデータの保管ではなく、個人が自分の履歴（自分史）を作成することを容易とするサービスが提案されている（特許文献１参照）。この文献に記載の自分史構築システムでは、利用者端末と管理者（サーバコンピュータ）とがインターネットを介して接続され、管理者がデータベース群を備えているものである。データベース群には、ユーザ管理用のユーザデータベース、個人イベントデータベース、歴史イベントデータベース、イベント選択データベース、年表データベースが含まれている。ユーザは、利用者端末において、ＷＷＷブラウザを起動し、上述したデータベースの情報を利用して自分史としての年表作成の処理を行なう。歴史イベントデータベースを備えることによって、個人イベントと対比させたい歴史イベントを選択して簡単に自分史を作成することができる。

特開平１１−６６０４９号公報

上述した文献に記載のものは、個人イベントの情報が文字を中心としたものであり、関連付けされる、画像、音声の情報は、ユーザ自身が見たり、聞いたりした情報ではなかった。したがって、個人イベントに関する情報としては、年表として構成されている点以外では、電子アルバムが提示するものと大きな相違がないものであった。また、ユーザの体験を後で再現しようとする時には、情報として不十分であった。さらに、管理者自身がデータベースを備えているので、データベースの構築、管理等のコストがかかる問題があった。

したがって、この発明の目的は、ユーザ自身が見たり、聞いたりした視聴覚情報、ユーザの生体情報を蓄積可能とし、また、ユーザの体験を後で再現することを可能とし、さらに、公開されているデータベースを利用して情報の内容を豊かとすることが可能な信号提示システム、並びに信号取得、蓄積および提示システムを提供することにある。

上述した課題を解決するために、請求項１の発明は、ユーザに装着され、視覚情報および聴覚情報の少なくとも一方からなる視聴覚情報信号と環境温度に応じて変化する生体情報信号とが取得され、生体情報信号の変化がしきい値と比較され、生体情報信号の変化がしきい値以上となる場合に、ユーザが印象深いと感じた有効な情報と判定され、視聴覚情報信号の中で、有効な情報と判定された視聴覚情報信号が選択され、生体情報信号と、選択された視聴覚情報信号とがユーザ毎に蓄積される個人別蓄積手段を備えた情報蓄積装置と、
情報蓄積装置と通信手段を介して接続された信号提示装置とからなり、
信号提示装置は、通信手段を介して、情報蓄積装置から視聴覚情報信号と生体情報信号とを受け取る手段と、
受け取った視聴覚情報信号から映像信号および音声信号の少なくとも一方の信号を生成し、一方の信号を再生する再生手段と、
取得時の周囲環境を再現するための空調手段を制御する制御データを受け取った生体情報信号から生成する手段とを備えた信号提示システムである。

請求項２の発明は、ユーザに装着され、視覚情報および聴覚情報の少なくとも一方からなる視聴覚情報信号と環境温度に応じて変化する生体情報信号とを取得する複数のセンサを有する検知手段と、生体情報信号の変化がしきい値と比較され、生体情報信号の変化がしきい値以上となる場合に、ユーザが印象深いと感じた有効な情報と判定され、視聴覚情報信号の中で、有効な情報と判定された視聴覚情報信号を選択する選択手段と、生体情報信号と、選択手段によって選択された視聴覚情報信号とを蓄積する蓄積手段とを備えた信号取得装置と、
信号取得装置と第１の通信手段を介して接続され、信号取得装置から生体情報信号および視聴覚情報信号を受け取る手段と、
受け取った生体情報信号および視聴覚情報信号がユーザ毎に蓄積される個人別蓄積手段とを備えた情報蓄積装置と、
情報蓄積装置と第２の通信手段を介して接続され、情報蓄積装置から視聴覚情報信号と生体情報信号とを受け取る手段と、受け取った視聴覚情報信号から映像信号および音声信号の少なくとも一方の信号を生成し、一方の信号を再生する再生手段と、取得時の周囲環境を再現するための空調手段を制御する制御データを受け取った生体情報信号から生成する手段とを備えた信号提示装置と
からなる信号取得、蓄積および提示システムである。

この発明によれば、ユーザが実際に体験した時の視聴覚信号および生体信号が取得され、その内の印象深い信号が選択的に蓄積される。この選択のために生体情報が使用される。また、この発明では、データベースに視聴覚信号と生体信号が蓄積されるので、再体験時に体感を含めて再現することが可能となり、写真あるいはビデオデータでは得ることができないような臨場感の豊かな再体験が可能となる。さらに、この発明では、個人が取得したデータ以外に外部のデータベースから関連した情報を取得し、データベースの内容を補完できるので、データベースの内容を豊富な内容とでき、また、高品質とできる。

以下、この発明の一実施形態について説明する。最初に図１を参照して信号取得、蓄積および提示システムの概略的構成について説明する。１が各個人（ユーザ）毎の信号取得部であり、信号取得および符号化部２と蓄積部３とを有している。信号取得および符号化部２は、ユーザに装着した複数のセンサから、ユーザの視聴覚情報、生体情報を収集し、これらの収集した信号を統合符号化する。統合符号化した信号を統合信号と称する。信号取得および符号化部２は、ユーザが携帯できるように、携帯型の構成、所謂モバイル端末の構成とされている。統合信号は、着脱自在の蓄積媒体例えばカード状の半導体メモリに蓄積される。

蓄積部３は、例えばユーザの家庭に設置されているパーソナルコンピュータによって実現可能である。蓄積部３に対して、蓄積媒体が挿入され、統合信号が蓄積媒体から読み出される。そして、蓄積部３では、総合的な判断に基づいて統合信号から有効情報を取捨選択し、選択した有効情報を一時的に蓄積媒体例えばハードディスクに蓄積する。なお、信号取得および符号化部２から蓄積部３に対して、蓄積媒体の代わりに有線または無線の通信によって統合信号を送信しても良い。このように、信号取得および符号化部２と蓄積部３とは、パーソナルネットワークで接続されている。

信号取得部１（蓄積部３）が通信端末４およびパブリックネットワーク５を介してレンタル統合データベース６と接続される。通信端末４は、有線または無線の通信端末である。統合信号は、送信時には、セキュリティ確保のために暗号化される。レンタル統合データベース６は、各ユーザに対して割り当てられた所定の容量の個人別データベースを含む。ユーザは、通信端末４からの特定の認証手段でもって通信接続の確認を行い、暗号化した統合信号をレンタル統合データベース６に送信し、自分に割り当てられたデータベースに対して統合信号を蓄積する。蓄積されるデータは、送信されてきた暗号化統合信号と属性データである。レンタル統合データベース６を管理する会社は、複数のユーザとの個別契約を結ぶことで、蓄積データの管理を行い、例えば契約期間やデータ量に応じた使用料をユーザから徴収することによって、レンタル統合データベース６の運営を行なっている。

レンタル統合データベース６は、種々のパブリックデータベース７と接続されており、後述する方法でもって関連する情報と自動的にリンクが行なわれる。パブリックデータベース７は、アクセス可能なデータベースを意味し、利用に対して有償無償の何れもありうる。また、レンタル統合データベース６と統合信号提示装置８とが接続されている。統合信号提示装置８は、再体験センターに設置されている。ユーザが過去の体験を再体験したい要求が生じたとき、ユーザは、統合信号提示装置８によって再体験することができる。

図１に示すシステムは、実際には、複数の会社によって運営されることが多い。信号取得および符号化部２を製造し、販売することによって、利益を得ることができる。また、蓄積部３のハードウエアまたはソフトウェアを製造し、販売することで利益を得ることができる。さらに、レンタル統合データベース６の使用契約に基づいて使用料を得ることができる。レンタル統合データベース６がパブリックデータベース７にリンクする際には、情報料をパブリックデータベース７の管理会社に対して支払うことになる。統合信号提示装置８によって、再体験を提供することによって使用料を得ることができる。これらのビジネス上の利益を得ることが可能な点から複数の会社によってシステムが運用されることが実際的である。

上述したシステムを構成する各構成要素についてより詳細に説明する。最初に信号取得部１の信号取得および符号化部２の一例について、図２を参照して説明する。視聴覚信号および生体信号を取得するために、ＣＣＤ等を使用した画像入力部１１と、マイクロホンを使用した音声入力部１２と、体温を測定するための温度検知部１３と、筋電位を検出する筋電位検知部１４と、発汗を検出する発汗検知部１５とが設けられている。図示したもの以外の生体情報を入力するための検知部を設けても良い。例えば心拍、血圧等の情報を取得しても良い。

これらの検知部を構成するセンサがユーザに装着されている。例えば画像入力部１１のＣＣＤは、眼鏡のフレーム等に装着することにより、ユーザが実際に見ている画像にできるだけ近い画像に係る画像信号を生成するようになされる。特にＣＣＤは、広角撮影が可能なものが望ましい。他のマククロホン、検知部のセンサも、眼鏡のフレームに対して取り付けることができる。

上述した入力部および検知部のそれぞれの出力信号がアンプを介してＡ／Ｄ変換器１６，１７，１８，１８，２０に供給され、ディジタル信号へ変換される。Ａ／Ｄ変換器１６〜２０からのディジタル信号がそれぞれ信号処理部２１，２２，２３，２４，２５に供給される。信号処理部２１〜２５は、それぞれに最適なノイズ低減処理等の処理を行い、ノイズ等の不要な信号成分を取り除き、また、加工しやすい信号に変換または整形される。信号処理部２１〜２５のそれぞれの出力信号が統合符号化部２６において符号化され、統合信号へ変換される。そして、１系列の信号としてリムーバブルな蓄積媒体例えばフラッシュメモリカード２７に記録される。制御部２８は、統合符号化部２６からの統合信号をフラッシュメモリカード２７に書き込む動作、並びに統合信号をフラッシュメモリカード２７から読み出す動作等を制御する。

図３は、統合符号化部２６の一例を示す。上述した画像および音声、種々の生体信号は、それぞれある物理的な特性を持っている。例えば画像は、空間および時間方向に局所的な相関が高いという性質がある。情報量としては、画像データが最も多いため、画像データに他のデータを埋め込むことによって情報量が増えないような統合符号化を行なう。図３は、例えば画像データに音声データを埋め込む統合符号化部の構成例である。

画像データがラインメモリ３１に供給される。画像データは、サンプリング周波数が１３．５ＭHzで、１画素当たり８ビットに量子化したものである。この画像データは、水平方向に７２０画素で、垂直方向に４８０ラインで、時間方向に３０コマ／秒のデータである。ラインメモリ３１に格納された１ライン分の画像データが並列にバレルシフタ３２に供給される。バレルシフタ３２の出力が符号化データメモリ３３に格納される。

また、音声データがバレルシフタ３２にシフト量を制御する信号として供給される。音声データは、サンプリング周波数がライン周波数と等しい１５．７ｋHzで、１サンプル当たり９ビットのデータである。したがって、画像の１ラインに対して、音声データの１サンプルが発生する。バレルシフトとは、リング状にシフト動作を行なうことを意味する。

図４Ａは、１コマの画像データの一例である。図４Ａは、単純な例として、１枚の画像中の中央部分が四角い暗いエリアとされた原画像を示している。最も上側のラインＬ１からラインＬ２，Ｌ３，・・・，Ｌ４７８，Ｌ４７９，Ｌ４８０が存在する。各ラインの横方向に７２０サンプルが存在する。但し、図面では、簡単のため、ライン数が４８０本よりかなり少ない本数とされている。

１ライン当たり１サンプルが発生する音声データの値は、０から５１１まで変化する。この音声データの値に対応して画像の各ラインのデータを水平方向に右側にバレルシフトする。先頭のラインＬ１または所定の間隔で位置するラインのデータは、バレルシフト動作の対象とされず、バレルシフトがされないラインの画像データが復号時の基準データと使用される。なお、ラインＬ２、Ｌ３、Ｌ４７８、Ｌ４７９、Ｌ４８０のように、１ラインの画像データが全く同一の値の場合では、バレルシフトした結果も同じデータとなるので、これらのラインは、符号化に不向きである。

図４Ｂは、図４Ａの画像中の各ラインが音声データによってシフトされた結果の画像データを示すものである。この画像データ（統合信号）が符号化データメモリ３３に格納されている。図２におけるフラッシュメモリカード２７が符号化データメモリ３３に相当する。図４Ｂに示すように、画像データの情報量が増えることなく、画像の水平方向の連続性が保たれたまま、音声データによって垂直方向の連続性が崩れるように符号化されている。

図５は、統合符号化の復号装置の一例を示す。符号化データメモリ３３には、統合符号化された画像データが格納されている。符号化データメモリ３３から読み出された１ライン分のデータがバレルシフタ３４に供給される。バレルシフタ３４の出力がラインメモリ３５および相関検出部３６に供給される。ラインメモリ３５には、初期値としては、先頭のラインＬ１のデータが格納される。バレルシフタ３４の画像データは、符号化されたもので、一方、ラインメモリ３５に格納されたデータは、１ライン前の復号された画像データである。

相関検出部３６には、バレルシフタ３４の出力とラインメモリ３５の出力とが供給される。バレルシフタ３４のシフト量を０，１，２，・・・・，５１１と変化させた時に、バレルシフタ３４の１ライン分のデータと、ラインメモリ３５の１ライン分のデータとの相関、すなわち、垂直方向の相関を演算する。そして、垂直方向の相関が最大となるシフト量を検出する。ラインメモリ３５から復号された画像データが出力される。また、バレルシフタ３４のシフト量がラッチ３７に供給される。相関検出部３６が相関が最大となることを検出した時に発生するラッチパルスがラッチ３７に対して供給され、相関が最大となる時のシフト量がラッチ３７に取り込まれる。ラッチ３７から音声データが出力される。なお、上述した統合符号化は、一例であって、特開2000-59743号公報に記載されている埋め込み符号化を使用しても良い。

図６は、信号取得部１の蓄積部３の一例の構成を示す。蓄積部３では、フラッシュメモリカード２７から読み出された統合信号が暗号化器４１および統合復号部４２に供給される。暗号化器４１で暗号化された統合信号が書き込み回路４３を介してハードディスク４４に蓄積される。また、ハードディスク４４から読み出し回路４５を介して蓄積されている信号が読み出される。ハードディスクは、蓄積媒体の一例であって、光ディスク、磁気テープ、半導体メモリ等の蓄積媒体を使用しても良い。

フラッシュメモリカード２７から読み出された統合信号が統合復号部４２によって復号される。統合復号部４２からは、画像信号、音声信号、体温の温度信号、筋電位信号、発汗信号が分離して得られる。これらの体感信号（視聴覚信号および生体信号）が記録トリガ検出部４６に供給される。記録トリガ検出部４６は、ハードディスク４４に記録すべき体感信号か否かを示すトリガ信号Ｒを発生し、このトリガ信号Ｒをシステム制御およびアドレス発生部４７に供給する。後述するように、ハードディスク４４に記録すべき有効な体感信号か否かの判断は、複数の体感信号に基づいて統合判断される。このトリガ信号Ｒを利用して、ユーザが印象深いと感じた視聴覚信号を取捨選択してハードディスク４４に記録することができる。

システム制御およびアドレス発生部４７は、蓄積部３の全体の処理を制御するものである。上述したトリガ信号Ｒに基づいて、システム制御およびアドレス発生部４７は、フラッシュメモリカード２７からの統合信号を読み出すアドレスを制御し、有効と判断された統合信号を読み出す。読み出された統合信号が暗号化器４１で暗号化され、書き込み回路４３を介してハードディスク４４に書き込まれる。書き込み回路４３およびハードディスク４４がシステム制御およびアドレス発生部４７によって制御される。システム制御およびアドレス発生部４７は、ハードディスク４４の読み出し動作も制御し、読み出し回路４５を介して読み出し信号が出力される。

記録トリガ検出部４６において、記録すべき統合信号を決定すると、その統合信号がフラッシュメモリカード２７から読み出されるように制御される。また、フラッシュメモリカード２７と暗号化器４１の間に、記録トリガ検出部４６において、記録すべき統合信号を決定するのに必要な時間、統合信号を遅延する遅延素子を設けても良い。

４８は、属性データ生成部を示す。ユーザが端末（信号取得部１）を操作することによって、所望の属性データを入力することで、統合信号と関連する属性データが生成される。例えば運動会、オリンピック等のイベント名が属性データとして使用される。他に、体験した年月日および時刻、場所等が属性データとして使用される。属性データは、体験のキーワードとなるもので、その具体例については後述する。属性データも暗号化器４１に供給される。

暗号化器４１は、フラッシュメモリカード２７から読み出された統合信号と、属性データ生成部４８からの属性データとを受け取り、これらの統合信号および属性データを鍵信号４９を使用して暗号化する。暗号化は、プライバシーの保護のために必要である。一例として、別途記録された個人の認証用生体データ（指紋等）が鍵信号４９として使用される。

図６中の記録トリガ検出部４６の一例について説明する。図７は、画像信号に関する処理の構成を示し、図７の構成によって画像信号に関連するトリガ信号Ｖが生成される。統合復号部４２からの画像信号がフレームメモリ５１と減算器５２とに供給される。フレームメモリ５１の出力が減算器５２に供給される。減算器５２は供給される画像信号間の差分を算出し、算出した差分を絶対値計算回路５３に供給する。絶対値計算回路５３は、供給される差分について絶対値を計算し、計算した差分絶対値を積算回路５４に供給する。積算回路５４は、供給される差分絶対値を所定のフレーム数に渡って積算し、積算値を比較回路５５に供給する。

比較回路５５には所定のしきい値が供給され、このしきい値と積算値との比較結果を示す信号がトリガ生成回路５６に供給される。トリガ生成回路５６は、供給される信号に従ってトリガ信号Ｖを生成する。ここで、トリガ信号Ｖを生成する条件としては、画像内の物体が動いた場合、ＣＣＤが被装着者と共に動いた場合、または全体的な輝度レベルに変化があった場合等が挙げられ、何れの場合もフレーム間差分に基づいて判断することができる。なお、ブロックマッチング等の方法によって動きベクトルを抽出し、抽出した動きベクトルに基づく処理を行うことによってトリガ信号を生成する構成を用いても良い。

次に、図８は、温度検知部で検知された体温信号に関連するトリガ信号Ｔを生成する構成を示す。統合復号部４２からの体温信号が遅延素子６１と減算器６２とに供給される。遅延素子６１は、供給される信号を所定期間遅延させ、減算器６２に供給する。減算器６２は供給される２個の信号間の差分を算出し、算出した差分を絶対値計算回路６３に供給する。絶対値計算回路６３は、供給される差分について絶対値を計算し、計算した差分絶対値を比較回路６４に供給する。

比較回路６４には所定のしきい値が供給され、このしきい値と絶対値計算回路６３の出力との比較結果を示す信号がトリガ生成回路６５に供給される。トリガ生成回路６５は、供給される信号に従ってトリガ信号Ｔを生成する。以上のような構成により、何らかの刺激が被装着者に加わったことに起因して被装着者の体温が変化する場合等にトリガ信号が生成される。なお、遅延素子６１による遅延の期間は、体温の変化を検出するために好適に設定すれば良い。

図９は、筋電位検知部で検知された筋電位信号に関連するトリガ信号Ｋを生成する構成を示す。統合復号部４２からの筋電位信号が絶対値計算回路７１に供給される。絶対値計算回路７１の出力がピーク検出回路７２に供給される。ピーク検出回路７２は、供給される信号からピーク値を検出し、検出したピーク値を比較回路７３に供給する。ここで、ピーク検出回路７２には、一定の時間間隔でリセット信号が供給される。

リセット信号が供給される毎に、ピーク検出回路７２がそれ以前に検出したピーク値がリセットされる。このようにして、一定の時間間隔毎にピークが検出される。比較回路７３には所定のしきい値が供給され、このしきい値とピーク検出回路７２の出力との比較結果を示す信号がトリガ生成回路７４に供給される。トリガ生成回路７５は、供給される信号に従ってトリガ信号Ｋを生成する。このようにして、一定の時間間隔毎に、トリガ信号Ｋの生成の可否が決定される。

なお、図示しないが、発汗検知部で検知された発汗信号に基づいて、発汗量が急に多くなるのに対応したトリガー信号Ｈも生成される。

以上のような構成により、被装着者に加わる刺激、被装着者の動作等に起因して筋電位がある程度以上大きく変化する場合等に、トリガ信号が生成される。例えば、顔の筋肉に筋電位センサを装着すれば、表情の変化に基づいてトリガ信号が生成される。なお、筋電位のパルス（ピーク）間隔の差に基づく処理を行うことによってトリガ信号を生成する構成を用いても良い。

さらに、記録トリガ検出部４６は、上述したように生成される各トリガ信号に基づいて総合的な判断を行い、有効な体感信号のみを蓄積するように、書き込み有効期間を示す信号Ｒを生成する。統合判断のための構成の一例を図１０に示す。ここでは、トリガ信号として上述した４種類のトリガ信号Ｖ，Ｔ，Ｋ，Ｈが供給される場合を示す。トリガ信号Ｖ，Ｔ，Ｋ，Ｈがアンド回路８１に供給される。アンド回路８１は、トリガ信号Ｖ，Ｔ，Ｋ，Ｈに基づいてアンド信号を生成し、生成したアンド信号を波形整形回路８２に供給する。波形整形回路８２は、供給される信号に、孤立点の除去等の波形整形処理を施す。波形整形回路８２の出力は同期回路８３に供給される。

一方、コントロール回路８４は、システム制御およびアドレス発生部４７の指令に従って同期情報に係る信号を生成し、生成した信号を同期回路８３に供給する。同期回路８３は、波形整形回路８２が出力する信号に対して、システム制御およびアドレス発生部４７の指令に従う同期をとる処理を行う。このような処理の結果として、書き込み有効期間を示す信号Ｒが同期回路８３から出力される。この信号Ｒがシステム制御およびアドレス発生部４７に供給される。それによって、書き込み有効期間の統合信号が暗号化されてハードディスク４４に書き込まれる。上述した記録検出部４６の出力信号Ｒによって、視聴覚信号の内で、生体に関しての変化を生じさせるような印象深いものが選択的に且つ自動的にハードディスク４４に書き込まれる。また、そのときの生体信号もハードディスク４４に書き込まれる。生体信号は、ユーザが印象深いと感じたか否かの判断のために利用され、また、後日、再体験を可能とするために保存される。

なお、トリガ信号がＶ，Ｔ，Ｋ，Ｈ以外のものを含む場合、トリガ信号の種類が４種類以外である場合等においても、上述したような構成においてアンド回路８１に供給されるトリガ信号の種類や個数を変更することによって書き込むべき信号（期間を特定する）を示す信号Ｒを生成することができる。

次に、図１１を参照してレンタル統合データベース６について説明する。レンタル統合データベース６に対して、上述した信号取得部１の蓄積部３のハードディスク４４に蓄積された暗号化統合信号（属性データを含む）が通信端末４およびパブリックネットワーク５を介して入力される。また、図１にも示すように、再体験センターに設置されている統合信号提示装置８との間で、データの入出力が可能とされ、また、レンタル統合データベース６は、パブリックデータベース７に対してアクセスし、所望のデータを検索し、検索した所望のデータをダウンロードすることが可能とされている。

レンタル統合データベース６は、個人別にレンタルされるデータベース９０₁ 〜９０_n
を備えている。データベースを使用できる者は、登録されたユーザである。登録が完了すると、例えば認証用のパスワード（個人ＩＤ）が発行される。そのユーザを識別することが可能な情報例えば指紋の情報を使用しても良い。ユーザが自分の属性データおよび統合信号を自分用のデータベースに登録する時には、個人認証部９１において、認証（本人確認）がなされる。認証が成立すると、書き込み／読み出し制御部９２によって暗号化された属性データおよび統合信号が自分用のデータベースに登録される。

また、レンタル統合データベース６を管理する会社は、パブリックネットワーク５に対して自動検索、自動リンク・プログラムを走らせることによって、データベース９０₁ 〜９０_n に登録されている属性データに基づいて、関連のある情報を検索する。検索結果に基づいて、リンク先の情報を属性データ中に自動的に書き込む。また、属性データ中のリンク先の情報に基づいてパリックデータベース７にリンクして、レンタル統合データベース６のデータベースに既に蓄積している統合信号と関連するデータをパブリックデータベース７から取得し、データベースに登録済の統合信号を書き換えるようになされる。

このようなパブリックデータベース７に対するリンク、情報の取得等のために、暗号化の復号化器９３、統合符号化の復号化部９４、属性データの抽出、編集部９５、リンク、編集加工を行なうデータ処理部９６、統合符号化部９７、暗号化器９８をレンタル統合データベース６が備えている。データ処理部９６は、パブリックデータベース７とのインターフェースの機能も有している。

個人のデータベースから読み取られ、復号された統合信号がデータ処理部９６に供給される。また、抽出、編集部９５によって属性データが抽出され、抽出された属性データがデータ処理部９６に供給される。データ処理部９６によって、パブリックネットワーク５に対して自動検索、自動リンク・プログラムが実行され、属性データと関連のある情報が検索される。検索された情報のデータベースがリンク先として属性データに書かれる。このリンク先の情報を属性データとして書き込む処理が編集処理の一つである。

リンク先の情報に基づいてアクセスされたパブリックデータベース７から関連する情報がデータ処理部９６に対してダウンロードされる。データ処理部９６では、復号した統合信号とダウンロードした情報との相関の有無がチェックされ、相関のあるデータが選択される。相関があるデータは、符号化部９７および暗号化器９８、書き込み／読み出し制御部９２を介してデータベースに記録される。すなわち、データベース中の一部の情報がパブリックデータベース７から取得した関連する情報によって書き換えられる。

信号取得部１の蓄積部３からレンタル統合データベース６へのデータ送信手続きについて、図１２のフローチャートを参照して説明する。図１２の左側は、信号取得部１における処理を示し、その右側の破線で囲んだ処理Ｓ３０がレンタル統合データベース６における処理を示す。ステップＳ１では、取得部１の蓄積部３に対しての接続がなされる。ステップＳ２では、レンタル統合データベース６に対する接続かなされる。それによって、通信端末４を介した通信路が確立される。

ステップＳ３１では、通信開始の準備がなされる。取得部１から個人ＩＤ、パスワードがレンタル統合データベース６に対して送信される。ステップＳ３２において個人認証がなされる。ステップＳ３３において、認証が成立したか否かが決定される。認証が成立すると、通信開始がなされ（ステップＳ３４）、取得部１の蓄積部３から統合信号が読み出される（ステップＳ４）。読み出された統合信号が暗号化され、暗号化統合信号が送信される（ステップＳ５）。ステップＳ３５で受信された暗号化統合信号が統合データベースに記録される（ステップＳ３６）。

取得部１では、ステップＳ６において、統合信号の読み出しの終了が監視されており、レンタル統合データベース６では、統合データベースへの統合信号の記録の終了が監視されている（ステップＳ３７）。読み出しが終了すると、通信が終了する（ステップＳ３８）。また、両方の動作が終了したか否かがステップＳ７で監視されている。ステップＳ７で終了が決定されると、通信が切断される（ステップＳ８）。そして、データの秘匿性を守るために、送信済の統合信号が蓄積部３の記憶内容から消去される。

図１３は、信号取得部１からレンタル統合データベース６へのデータ送信手続きの他の例のフローチャートである。通信端末４のタイマーによって、自動的に送信を行なうものである。最初にステップＳ１１において、送信スケジュールデータが読み込まれる。送信スケジュールデータは、送信スケジューラの処理Ｓ１０において生成される。すなわち、自動送信時刻の入力がステップＳ１４で行なわれ、ステップＳ１５において、送信スケジュールデータが読み込まれる。

ステップＳ１２では、現在時刻が読み込まれる。ステップＳ１３では、現在時刻が自動送信時刻になったか否かが決定される。送信時刻になったと決定されると、蓄積装置３に対して接続される（ステップＳ１）。この後の通信処理は、図１２を参照して説明した送信処理と同様であり、対応する処理ステップに対して同一の参照符号を付して示し、詳細説明を省略する。

図１４は、信号取得部１からレンタル統合データベース６へのデータ送信手続きのさらに他の例のフローチャートである。図１４の処理は、蓄積部３に対する統合信号の蓄積量が所定の量に到達したなら、統合信号をレンタル統合データベース６に対して自動的に送信するものである。最初にステップＳ２１において、統合信号の蓄積量が読み取られる。ステップＳ２２では、蓄積量が規定量に達したか否かが決定される。

ステップＳ２２において、蓄積量が規定量に達したと決定されると、通信端末が起動される（ステップＳ２３）。そして、通信が開始され（ステップＳ２４）、レンタル統合データベース６に接続される（ステップＳ２）。レンタル統合データベース６側の処理は、Ｓ３０として示すように、図１２または図１３に示されるものと同様である。起動された通信端末４からＩＤ、パスワードが送信され、送信準備ができたか否かがステップＳ２４で決定される。

通信端末４の送信の準備が完了し、蓄積装置３の準備がステップＳ２５において完了したと決定されると、統合信号が読み出される（ステップＳ４）。そして、通信端末４により送信される（ステップＳ５）。ステップＳ２６において、送信が終了したと決定されると、通信が切断される（ステップＳ８）。

また、統合信号の読み出しが終了したとステップＳ６において決定されると、ステップＳ７において読み出し動作および送信動作が終了したか否かが決定される。終了したと決定されると、統合信号が消去される（ステップＳ９）。

図１５は、レンタル統合データベース６の各データベースに登録されている統合信号が有する属性データの一例を示す。図１５の例では、個人ＩＤ１００ａ、イベント名１００ｂ、タイムスタンプ１００ｃ、場所１００ｄ、リンク先１の情報１００ｅ、リンク先２の情報１００ｆが属性データとして設定されている。属性データとしては、リンク先の情報を追加したり、後で新たなカテゴリーを規定することが可能なように、予備領域が用意されている。リンク先の情報は、パブリックデータベース７内の他のデータベースにリンクするために必要な情報である。

次にリンクの方法について、図１６に示す属性データの具体例に基づいて説明する。この例では、個人ＩＤ１００ａが「特許太郎」、イベント名１００ｂが「シドニー・オリンピック開会式観戦」、タイムスタンプ１００ｃが「2000年 9月15日午前10時」、場所１００ｄが「オリンピック・スタジアム」、リンク先１の情報１００ｅが「ＡＢＣ放送素材No. ？？？」、リンク先２の情報１００ｆが「ＮＮＳ放送素材No. ｘｘｘ」とされている。この属性データは、「特許太郎」というユーザがオリンピックの開会式を体験した時の統合信号であることを表している。また、この開会式の放送用の素材が例えば放送局「ＡＢＣ」、または放送局「ＮＮＳ」に保管され、パブリックデータとして公開されていることを表している。

上述したように、レンタル統合データベース６を管理する会社は、データベースに登録されている属性データに基づいて、パブリックデータベース７から関連のある情報を検索する。検索結果に基づいて、リンク先の情報を属性データ中に書き込む。上述した例では、公開されているパブリックデータベース７から放送局「ＡＢＣ」「ＮＮＳ」の該当するオリンピック開会式のデータの保管場所を抽出し、この保管場所を属性データのリンク先を示す情報１００ｅ、１００ｆに自動的に書き込む。

そして、上述したように、パブリックデータベース７にリンクして、レンタル統合データベース６のデータベースに既に蓄積している統合信号と関連するデータをパブリックデータベース７から取得し、データベースに登録済の統合信号を書き換えるようになされる。このような処理によって、レンタル統合データベース６のデータベースに格納されている情報は、取得部１において、ユーザ個人が取得した情報に対して、パブリックデータベースから取得した情報が付け加わる。それによって、データベースに登録されているデータがより内容が豊富とされ、また、より高品質なものとされる。上述した例では、ユーザ自身が取得した開会式の画像、音に加えて放送局が取材した結果の画像、音がデータベースに登録されることになる。

図１７は、レンタル統合データベース６によってなされる検索、自動リンクの動作を説明するためのフローチャートである。レンタル統合データベース管理会社では、ユーザとの契約（または要求）に従って、自動リンクプログラムを走らせる。まず、ステップＳ４１において、データベースから契約者の特定のデータを読み出し、個人ＩＤの確認を行う。次に、属性データを読み取り（ステップＳ４２）、ユーザがあらかじめ指定していたリンク条件を判断し（ステップＳ４３）、その結果からイベント名を抽出する（ステップＳ４４）。この場合、属性データ中のタイムスタンプなど、別の情報からリンク先を決めるようにしても良い。

ステップＳ４５では、抽出されたイベント名をキーワードとして、公開されているパブリックネットワーク内のデータベース７を検索する。検索エンジンにより検索が開始され（ステップＳ４６）、検索結果がリストアップされる（ステップＳ４７）。ステップＳ４８では、この検索結果の中から、有力なリンク先を抽出する。

次に、リンク先へ支払いを行うための手続きを開始する。ステップＳ４９では、リンク先への接続がなされる。ステップＳ５０では、リンク先への支払い手続きがなされる。例えばパブリックネットワーク５を通じて、レンタル統合データベース管理会社に登録されている個人の口座からリンク先へ電子決済によって支払いがなされる（ステップＳ５１）。この支払いは、ダウンロードしたデータ量とは無関係の入会金、手付金のような最初に必要なものである。

支払いがリンク先から確認されることによってリンクの許可発行が行われる（ステップＳ５２）。この許可を確認の上、リンク先の接続が切断され（ステップＳ５２）、また、リンク先の情報が属性データに書き込まれる（ステップＳ５４）。ステップＳ４８において抽出されたリンク先に対しての処理が終了したか否かがステップＳ５５おいて決定され、処理が全て終了すると、プログラムが終了する。

上述したように自動リンク先の検索と属性データの編集が終了すると、次にレンタル統合データベースに含まれるデータベースの自動編集が行われる。図１８は、統合データベースの内容の自動編集の処理の流れを示すフローチャートである。レンタル結合データベース管理会社では、自動編集プログラムを走らせる。まず、ステップＳ６１において、個人キーで統合信号データの暗号化を復号する。ステップＳ６２では、属性データを読出す。

属性データ中のリンク先の情報が抽出される（ステップＳ６３）。この情報に基づいてパブリックデータベース７のリンク先例えば放送局のデータベースに対してレンタル統合データベース６が接続される（ステップＳ６４）。また、抽出されたリンク先に対する支払い手続きがなされる（ステップＳ６５）。そして、パブリックネットワーク５を通じて、レンタル統合データベース管理会社に登録されている個人の口座からリンク先へ電子決済によって支払いがなされる（ステップＳ６６）。ステップＳ６７では、リンク先のデータがダウンロードされる。この支払いは、ダウンロードしたデータ量に応じたもの（従量課金）とされる。ダウンロードの終了がステップＳ６８において決定され、ダウンロードが終了すると、ステップＳ６９において、リンク先との接続が断たれる。

ステップＳ６２において読み出された属性データと対応する統合信号が復号され、統合信号が画像データ、音声データ、生体信号などへ分離される（ステップＳ７０）。ステップＳ７１では、リンク先からダウンロードしたデータ例えば画像データと復号した個人画像データとの内容の相関が検出される（ステップＳ７１）。個人の画像データとダウンロードされた画像データとの関連（内容の相関）に基づいて、ステップＳ７２において、画像、音声の入れ替えや補間（追加）が行われる。自動編集が終了すると、ステップＳ７３において、再度統合符号化によって各データがまとめられ、ステップＳ７４において、再度個人キーで暗号化される。ステップＳ７５では、この暗号化された編集後の統合信号によってデータベースが書き換えられ、プログラムが終了する。

レンタル統合データベース６と接続され、再体験センターに設置されている、統合信号提示装置８の一例の構成を図１９に示す。提示装置８は、再体験センターに設置されている。ユーザが過去に体験した体験を再体験したい要求が生じたとき、ユーザは、再体験センターにでかけて再体験をすることが可能である。

統合信号提示装置８においては、温度、湿度などの空調等が制御可能な特殊な部屋において、前面に大画面提示用のスクリーン１０１および３次元音響装置１０２が配置されている。図示の例では、１面のスクリーン１０１を示しているが、正面および左右側面の３面にスクリーンが配置された没入型スクリーンでも良い。また、スクリーン１０１には、反射型または透過型プロジェクタによって画像が提示される。音響装置１０２に関しては、スクリーン１０１を通して音を出すものであっても、壁に多数のスピーカを埋め込んで音場再生するものであっても良い。

部屋の中央には動く椅子１０３が設置されている。椅子１０３は、３次元方向に動くことが可能な構成とされ、動揺創造部１０４の出力によって駆動される。動揺創造部１０４は、統合信号中の画像信号から動きベクトルを検出し、検出した動きベクトルに基づいて動揺信号成分が生成される。動揺創造部１０４には、動揺信号を蓄積するためのハードディスク等の蓄積装置が備えられている。動く椅子１０３によって、例えば歩いたり、走ったり、自動車に乗っている時に受ける振動を再現することができる。この動揺信号の生成方法の一例は、例えば特開2000−214755号公報に記載されている。

１０５は、部屋の温度、湿度等を制御する空調設備である。空調設備１０５は、制御部１０６によって制御される。制御部１０６には、制御データを蓄積するためのハードディスク等の蓄積装置が備えられている。上述した画像再生機器としてのスクリーン１０１および音響装置１０２は、信号処理部１０７によって制御される。信号処理部１０７には、画像データ、音響データを蓄積するためのハードディスク等の蓄積装置が備えられている。

レンタル統合データベース６からの統合信号を受け取り、そして、受け取った信号を復号するために、端末１０８、個人認証部１０９、暗号化の復号化器１１０および統合符号化の復号化部１１１が設けられている。復号化部１１１からの統合信号が信号処理部１０７に供給され、統合信号に基づいて、上述した各装置に対する制御信号が信号処理部１０７によって生成される。信号処理部１０７、端末１０８、個人認証部１０９、復号化器１１０、復号化部１１１は、実際には、ワークステーションを主体として構成され、部屋の片隅に設置されている。

図２０は、統合信号提示装置８に関連する動作の流れを示すフローチャートである。ユーザが再体験したいという欲求が起こったときに、再体験センターへ訪れ、窓口において所定の手続きを行う。所定の手続きとは、ユーザ固有のカードを用いた、再体験の申し込みと統合信号提示装置８の使用料の電子決済による支払いである。ユーザ固有のカードは、例えばＩＣカードで作られており、ユーザ固有のＩＤや電子決済の口座の情報などが生体データ（指紋等）をキーとして暗号化されて記録されている。ユーザは窓口でユーザ固有のカードを提示し、個人認証を行うことで再体験したいイベントの予約作業を行うと共に、電子決済の手続きを済ませる（ステップＳ９１）。

予約の時間になったとき、ユーザは統合信号提示装置８の部屋に入り、動く椅子１０３に座ることで再体験プログラムが開始する。まず、ステップＳ９２では、個人認証情報が読み出され、ステップＳ８１において、統合信号提示装置８の一部である端末１０８からネットワークを通じてレンタル統合データベース管理会社との接続を行なう。

あらかじめ窓口で入力していた個人認証情報および再体験したいイベント名に基づいてステップＳ８２、Ｓ９３において個人認証がなされ、ステップＳ９４では、認証が成立するか否かが検出される。若し、認証が成立しないと、その時点で処理が終了する。認証が成立すると、イベント名がレンタル統合データベース６に対して送信される（ステップＳ９５）。

レンタル統合データベース６では、ステップＳ８３において、該当統合信号データの読出しとダウンロードを開始する。図２０において、破線で囲んで示す処理Ｓ８０は、レンタル統合データベース６の処理を示している。ステップＳ８４では、統合信号提示装置８に対して統合信号が送信される。ステップＳ８５において、送信の終了が監視され、送信が終了すると、接続が切断される（ステップＳ８６）。

統合信号提示装置８は、受信した統合信号を蓄積する（ステップＳ９６）。そして、ステップＳ９８において読み込まれた個人キー例えば指紋情報などの生体信号キーに基づいて、統合信号の暗号化を復号する（ステップＳ９７）。次に、ステップＳ９９において、統合信号の復号化がなされる。それによって、元の画像データ、音声データ、各種生体信号などが分離される。

生体信号の内で、温度センサおよび発汗センサなどの信号に基づいて、空調設備１０５を制御する制御データが生成される（ステップＳ１００）。ステップＳ１０１では、空調制御データの生成処理が終了したか否かが決定される。空調データによって、体験当時の周囲温度や湿度の推定が行われ、空調装置の時間変動を含めた動作プログラミングが行われる。

復号された音声信号に基づいて 3次元音響信号が生成される（ステップＳ１０２）。ステップＳ１０３では、音響信号の生成処理が終了したか否かが決定される。音声信号によって、会話の音声、周囲の音等が再現される。

ステップＳ１０４では、復号された画像信号に基づいて、動揺信号が生成される。画像信号の動きベクトルが検出され、検出された動きベクトルから動揺信号が生成される。ステップＳ１０５では、動揺信号の生成処理が終了したか否かが決定される。ステップＳ１０６復号された画像信号が蓄積される。ステップＳ１０７では、画像信号の蓄積が終了したか否かが決定される。

ステップＳ１０１、１０３、１０５および１０７において、終了が検出されると、すなわち、全てのデータが揃うまで待機している。全てのデータが揃った時に、信号処理部１０７から動作開始のトリガ信号が動揺創造部１０４および制御部１０６に送られる（ステップＳ１０８）。ステップＳ１０９では、このトリガ信号によって、互いに同期して各データの提示が開始する。それによって、過去に体験したイベントの臨場感ある再現が行われる。しかも、パブリックデータベースからの放送用の素材等の高品質のデータで補完された、より臨場感ある体験なども行われる。このようにして、再体験の一連データの再現が終了すると、プログラムが終了する。

この発明は、上述したこの発明の一実施形態等に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば統合信号提示装置８において、空調制御データ、音響信号、動揺信号等の生成処理、および画像信号の蓄積処理をユーザが予約を行なった後に予め行なっておき、ユーザが少ない待ち時間で再体験することを可能としても良い。また、ユーザがレンタル統合データベースから属性データを受け取り、属性データを自分で編集、加工するようにしても良い。

この発明の一実施形態のシステム全体の概略を示すブロック図である。この発明の一実施形態における信号取得および符号化部の一例のブロック図である。この発明に使用できる統合符号化部の一例を示すブロック図である。統合符号化の説明に使用する略線図である。統合符号化の復号装置の一例を示すブロック図である。この発明の一実施形態における信号取得装置内の蓄積部の一例を示すブロック図である。蓄積部内の記録トリガ検出部の説明に用いるブロック図である。蓄積部内の記録トリガ検出部の説明に用いるブロック図である。蓄積部内の記録トリガ検出部の説明に用いるブロック図である。蓄積部内の記録トリガ検出部の説明に用いるブロック図である。この発明の一実施形態におけるレンタル統合データベースの一例のブロック図である。信号取得部からレンタル統合データベースに対するデータ送信処理の一例を説明するためのフローチャートである。信号取得部からレンタル統合データベースに対するデータ送信処理の他の例を説明するためのフローチャートである。信号取得部からレンタル統合データベースに対するデータ送信処理のさらに他の例を説明するためのフローチャートである。この発明の一実施形態における属性データのフォーマットを示す略線図である。属性データの具体例を説明するための略線図である。この発明の一実施形態におけるレンタル統合データベースの動作を説明するためのフローチャートである。この発明の一実施形態におけるレンタル統合データベースの動作を説明するためのフローチャートである。この発明の一実施形態における統合信号提示装置の一例の構成を示すブロック図である。この発明の一実施形態における統合信号提示装置の動作を説明するためのフローチャートである。

符号の説明

１・・・信号取得部、２・・・信号取得および符号化部、３・・・蓄積部、６・・・レンタル統合データベース、７・・・パブリックデータベース、８・・・統合信号提示装置

Claims

ユーザに装着され、視覚情報および聴覚情報の少なくとも一方からなる視聴覚情報信号と環境温度に応じて変化する生体情報信号とが取得され、上記生体情報信号の変化がしきい値と比較され、上記生体情報信号の変化が上記しきい値以上となる場合に、ユーザが印象深いと感じた有効な情報と判定され、上記視聴覚情報信号の中で、有効な情報と判定された視聴覚情報信号が選択され、上記生体情報信号と、選択された上記視聴覚情報信号とがユーザ毎に蓄積される個人別蓄積手段を備えた情報蓄積装置と、
上記情報蓄積装置と通信手段を介して接続された信号提示装置とからなり、
上記信号提示装置は、上記通信手段を介して、上記情報蓄積装置から上記視聴覚情報信号と上記生体情報信号とを受け取る手段と、
上記受け取った視聴覚情報信号から映像信号および音声信号の少なくとも一方の信号を生成し、上記一方の信号を再生する再生手段と、
取得時の周囲環境を再現するための空調手段を制御する制御データを上記受け取った生体情報信号から生成する手段とを備えた信号提示システム。
ユーザに装着され、視覚情報および聴覚情報の少なくとも一方からなる視聴覚情報信号と環境温度に応じて変化する生体情報信号とを取得する複数のセンサを有する検知手段と、上記生体情報信号の変化がしきい値と比較され、上記生体情報信号の変化が上記しきい値以上となる場合に、ユーザが印象深いと感じた有効な情報と判定され、上記視聴覚情報信号の中で、有効な情報と判定された視聴覚情報信号を選択する選択手段と、上記生体情報信号と、上記選択手段によって選択された上記視聴覚情報信号とを蓄積する蓄積手段とを備えた信号取得装置と、
上記信号取得装置と第１の通信手段を介して接続され、上記信号取得装置から上記生体情報信号および上記視聴覚情報信号を受け取る手段と、
受け取った上記生体情報信号および上記視聴覚情報信号がユーザ毎に蓄積される個人別蓄積手段とを備えた情報蓄積装置と、
上記情報蓄積装置と第２の通信手段を介して接続され、上記情報蓄積装置から上記視聴覚情報信号と上記生体情報信号とを受け取る手段と、上記受け取った視聴覚情報信号から映像信号および音声信号の少なくとも一方の信号を生成し、上記一方の信号を再生する再生手段と、取得時の周囲環境を再現するための空調手段を制御する制御データを上記受け取った生体情報信号から生成する手段とを備えた信号提示装置と
からなる信号取得、蓄積および提示システム。