JP4406811B2 - Distribution system - Google Patents

Distribution system Download PDF

Info

Publication number
JP4406811B2
JP4406811B2 JP2001076224A JP2001076224A JP4406811B2 JP 4406811 B2 JP4406811 B2 JP 4406811B2 JP 2001076224 A JP2001076224 A JP 2001076224A JP 2001076224 A JP2001076224 A JP 2001076224A JP 4406811 B2 JP4406811 B2 JP 4406811B2
Authority
JP
Japan
Prior art keywords
data
user
pressure
input
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001076224A
Other languages
Japanese (ja)
Other versions
JP2002278563A (en
Inventor
美緒子 櫻木
和典 大村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001076224A priority Critical patent/JP4406811B2/en
Publication of JP2002278563A publication Critical patent/JP2002278563A/en
Application granted granted Critical
Publication of JP4406811B2 publication Critical patent/JP4406811B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、配信システムに関し、例えば、コミュニケーション環境にあった音楽を提供することができるようにした配信システムに関する。
【０００２】
【従来の技術】
普段、ユーザ同士が対面でコミュニケーションを行う場合、言語だけでなく、手振りや身振りなどのしぐさ、あるいは、表情といったノンバーバル情報が利用されている。すなわち、対面でのコミュニケーションの場合、相手の肩に触れたりするといったタッチング行動により、コミュニケーションを円滑にしている。
【０００３】
また、ユーザ同士が遠隔地間でコミュニケーションを行う場合、例えば、音声によって言語を伝達する電話機や、あるいは、文字によって言語を伝達する電子メールなどのネットワークコミュニケーションシステムが広く利用されている。
【０００４】
さらに、ユーザ同士が遠隔地間でノンバーバル情報（しぐさや表情など）を利用してコミュニケーションを行う場合、例えば、音声と映像によって伝達するテレビ会議システムなどのビデオコミュニケーションシステムが利用されている。しかしながら、このビデオコミュニケーションシステムでは、対面でのコミュニケーションのように、相手の肩に触れたりするといったタッチング行動を行うことができない。
【０００５】
そこで、近年では、触力覚を利用する、ＶＲ（Virtual Reality）技術が研究されている。ＶＲ技術は、主に、機器とユーザとの円滑なコミュニケーションの支援であるが、これを応用して、触行動によるネットワークコミュニケーションを支援する研究もなされている。
【０００６】
この触行動によるネットワークコミュニケーションは、あたかも、対面で人と握手しているような感覚をユーザに与えることができるように、遠隔地間の触コミュニケーションを支援するものである。
【０００７】
しかしながら、現実の対人の触感覚と同じ感覚をＶＲ技術でユーザに提供することは難しく、現在、このようなコミュニケーションシステムはまだ登場していない。
【０００８】
そこで、例えば、特開昭６１−１２６８９０号公報において、デバイス操作による感情伝達システムが提案されている。この感情伝達システムでは、電話機をデバイスとして利用し、受話器を握る握力情報を音声（言語情報）と組み合わせてコミュニケーション相手に送信することにより、感情伝達を支援するものである。
【０００９】
また、例えば、“CHI97 Extended Abstracts，ｐ363−364”において、ローラを互いに動かすことによりコミュニケーションを伝達するシステムが提案されている。このシステムでは、言語情報を伝達するデバイスとは独立したデバイスを利用し、ローラの回転情報をコミュニケーション相手に送信することにより、触コミュニケーションを支援するものである。
【００１０】
【発明が解決しようとする課題】
ところで、音声言語より婉曲的に感情を表現したい場合や、言語には依存せずに印象深く相手に感情を伝えたい場合、もしくは、騒音などで音声を同時に伝えることが困難な状況の場合、ノンバーバル情報を利用したコミュニケーションの積極的利用が考えられる。そのような場合、音声と併用せずに、触覚や視覚などから得られるノンバーバル情報のみを利用することが考えられる。
【００１１】
なお、ノンバーバル情報を利用したコミュニケーションの積極的利用については、例えば、“黒川 隆夫，ノンバーバルインターフェース オーム社，ｐ29−30”に、その詳細が記載されている。
【００１２】
しかしながら、上記した特開昭６１−１２６８９０号公報で提案されている感情伝達システムでは、このようなノンバーバル情報のみを利用したコミュニケーションシステムが考慮されていなかった。また、入力部と出力部が同一装置で構成されているため、入力と出力が同時に発生した場合、それらを知覚することが困難であった。
【００１３】
また、上記した“CHI97 Extended Abstracts，ｐ363−364”で提案されているローラを用いる触コミュニケーションシステムの場合、ローラの回転方向が一方向であるため感情表現の制約があり、さらに、机上に置く形態であるため利用場所が限られていた。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、感情を伝達するデバイスを用いて、円滑なコミュニケーションを支援するとともに、そのデバイスを利用したコミュニケーション環境にあった音楽を配信することができるようにするものである。
【００２６】
【課題を解決するための手段】
本発明の配信システムは、電子機器が、圧力を検知する検知手段と、検知手段により検知された圧力に対応する時系列データを出力し、ネットワークを介して、情報処理装置に送信する送信手段とを備え、情報処理装置が、コンテンツデータを、コンテンツデータの周波数特性に対応付けて蓄積する蓄積手段と、電子機器より送信されてくる時系列データを受信する受信手段と、受信手段により受信された時系列データの周波数特性を算出する算出手段と、算出手段により算出された周波数特性に類似するものを、蓄積手段に蓄積されている周波数特性の中から検索する検索手段と、検索手段による検索結果に基づいて、蓄積手段に蓄積されているコンテンツデータを読み出し、ネットワークを介して電子機器に配信する配信手段とを備えることを特徴とする。
【００２７】
本発明の配信システムにおいては、電子機器で、圧力が検知され、検知された圧力に対応する時系列データが出力されて情報処理装置に送信され、情報処理装置で、コンテンツデータが、コンテンツデータの周波数特性に対応付けて蓄積され、電子機器より送信されてくる時系列データが受信され、受信された時系列データの周波数特性が算出され、算出された周波数特性に類似するものが蓄積されている周波数特性の中から検索され、その検索結果に基づいて、コンテンツデータが読み出され、電子機器に配信される。
【００２８】
【発明の実施の形態】
以下、図を参照して、本発明の実施の形態について説明する。
【００２９】
図１は、本発明を適用した音楽配信システムの構成例を示している。この音楽配信システムは、インターネット３を介して接続されるコンテンツサーバ１、ユーザ端末４−１およびユーザ端末４−２から構成される。
【００３０】
コンテンツサーバ１には、コンテンツデータに関する情報（コンテンツデータ、サンプルデータ、周波数特性、およびメタ情報など）が蓄積されているコンテンツデータベース２が接続されている。コンテンツサーバ１は、コンピュータであって、そのCPU１１（図２）がハードディスクドライブ（HDD）１７に記憶されているサーバプログラム（サンプルデータ検索プログラム、コンテンツ配布プログラム、および課金プログラムなど）に基づいて、後述する処理を実行する。
【００３１】
ユーザ端末４−１は、入出力装置１３１（図３）より入力された圧力データを、インターネット３を介してコンテンツサーバ１に送信するとともに、その圧力情報に基づいてコンテンツサーバ１から提供されるコンテンツデータのサンプルデータおよびメタ情報を受信する。ユーザ端末４−１はまた、ユーザの指令に基づいて、インターネット３を介してコンテンツサーバ１にアクセスすることにより、コンテンツサーバ１より所望のコンテンツデータを受信する。
【００３２】
ユーザ端末４−２は、入出力装置１３１より入力された圧力データを、インターネット３を介してコンテンツサーバ１に送信するとともに、その圧力情報に基づいてコンテンツサーバ１から提供されるコンテンツデータのサンプルデータおよびメタ情報を受信する。ユーザ端末４−２はまた、ユーザの指令に基づいて、インターネット３を介してコンテンツサーバ１にアクセスすることにより、コンテンツサーバ１より所望のコンテンツデータを受信する。
【００３３】
以下、ユーザ端末４−１のユーザをユーザＡとし、また、ユーザ端末４−２のユーザをユーザＢとして説明する。
【００３４】
図２は、コンテンツサーバ１の電気的構成例を示すブロック図である。
【００３５】
CPU１１は、ROM（Read Only Memory）１２やハードディスクドライブ１７に記憶されているサーバプログラムに従って、各種の処理を実行する。RAM（Random Access Memory）１３には、CPU１１が各種の処理を実行する上において必要なプログラムやデータが適宜記憶される。CPU１１、ROM１２、およびRAM１３は、バス１４を介して相互に接続されているとともに、入出力インタフェース１５にも接続されている。
【００３６】
入出力インターフェース１５には、インターネット３と通信する通信部１６、およびハードディスクドライブ１７が接続されている。また、入出力インターフェース１５には、必要に応じて、プログラムをインストールするためのドライブ１８が接続されており、磁気ディスク３１、光ディスク３２、光磁気ディスク３３、または半導体メモリ３４が装着される。
【００３７】
図３は、ユーザ端末４−１のノート型のパーソナルコンピュータおよび入出力装置の構成例を示す図である。また、図４乃至図６は、このノート型のパーソナルコンピュータの外観を示す図である。
【００３８】
パーソナルコンピュータ４１は、基本的に、本体４２と、この本体４２に対して開閉自在とされる表示部４３により構成されている。図３は表示部４３を本体４２に対して開いた状態を示す外観斜視図である。図４は本体４２の平面図、図５は本体４２に設けられている後述するジョグダイヤル４４の拡大図である。また、図６は本体４２設けられているジョグダイヤル４４の側面図である。
【００３９】
本体４２には、各種の文字や記号などを入力するとき操作されるキーボード４５、LCD（Liquid Crystal Display）４７に表示されるマウスポインタ（マウスカーソル）を移動させるときなどに操作されるポインティングデバイスとしてのタッチパット４６、および電源スイッチ４８がその上面に設けられている。また、ジョグダイヤル４４およびIEEE（Institute of Electrical and Electronics Engineers）1394ポート１０１等が、本体４２の側面に設けられている。なお、タッチパット４６に代えて、スティック式のポインティングデバイスを設けることも可能である。
【００４０】
また、表示部４３の正面には、画像を表示するLCD４７が設けられている。表示部４３の右上部には、電源ランプPL、電池ランプBL、必要に応じて設けられるメッセージランプML（図示せず）、その他のLEDより成るランプが設けられている。さらに、表示部４３の上部には、マイクロフォン６６が設けられている。
【００４１】
なお、電源ランプPLや電池ランプBL、メッセージランプML等は表示部４３の下部に設けることも可能である。
【００４２】
ジョグダイヤル４４は、例えば、本体４２上のキーボード４５の図４中の右側に配置されているキーＡおよびキーＢの間に、その上面がキーＡおよびキーＢとほぼ同じ高さになるように取り付けられている。ジョグダイヤル４４は、図５中の矢印ａに示す回転操作に対応して所定の処理（例えば、画面のスクロールの処理）を実行し、同図中矢印ｂに示す移動操作に対応した処理（例えば、アイコンの選択の決定の処理）を実行する。
【００４３】
なお、ジョグダイヤル４４は、本体４２の左側面に配置してもよく、LCD４７が設けられた表示部４３の左側面もしくは右側面、または、キーボード４５のＧキーとＨキーとの間に縦方向に（すなわち、ジョグダイヤル４４がＹキーまたはＢキーのいずれかの方向に回転するように）配置してもよい。
【００４４】
また、ジョグダイヤル４４は、タッチパッド４６を人差し指で操作しながら親指で操作可能なように、本体４２の前面の中央部に配置してもよく、タッチパッド４６の上端縁又は下端縁に沿って横方向に配置しても、または、タッチパッド４６の右ボタンと左ボタンとの間に縦方向に配置してもよい。さらに、ジョグダイヤル４４は、縦方向や横方向に限定せず、各指で操作し易い斜め方向へ、所定角度を付けて配置してもよい。その他、ジョグダイヤル４４は、ポインティングデバイスであるマウスの側面の親指で操作可能な位置に配置することも可能である。ジョグダイヤルとしては、本出願人と共同の出願人により出願された、特開平８−２０３３８７号公報に開示されているプッシュスイッチ付回転操作型電子部品を使用することが可能である。
【００４５】
IEEE1394ポート１０１は、IEEE1394に規定されている規格に基づいた構造を有し、IEEE1394に規定されている規格に基づいたケーブルが接続される。
【００４６】
図３の例の場合、IEEE1394ポート１０１には、IEEE1394ケーブル１３２を介して入出力装置１３１が接続されている。IEEE1394ポート１０１は、IEEE1394ケーブル１３２を介して入出力装置１３１から送出されるデータを受信し、パーソナルコンピュータ４１に供給したり、あるいは、パーソナルコンピュータ４１の出力データをIEEE1394ケーブル１３２を介して入出力装置１３１に送信するようになされている。なお、後述するが、入出力装置１３１から送出されるデータおよびパーソナルコンピュータ４１が入出力装置１３１に出力するデータは、圧力に対応するデータである。
【００４７】
入出力装置１３１は、本体４２に設けられているキーボード４５を用いて入力される文字情報以外に、ユーザの感情を表現するノンバーバル情報を入力する際に操作されるデバイスとして設けられている。ユーザが、入出力装置１３１を把持して握り動作を行うことにより、入力装置１３１は、握り動作に対応するデータ（圧力情報）を、IEEE1394ケーブル１３２を介してパーソナルコンピュータ４１に送出する。また、入出力装置１３１は、IEEE1394ケーブル１３２を介してパーソナルコンピュータ４１より入力される圧力情報に対応した圧力を出力する。
【００４８】
図７は、パーソナルコンピュータ４１の電気的構成例を示すブロック図である。
【００４９】
中央処理装置（CPU（Central Processing Unit））５１は、例えば、インテル（Intel）社製のペンティアム（Pentium：商標）プロセッサ等で構成され、ホストバス５２に接続されている。ホストバス５２には、さらに、ブリッジ５３（いわゆる、ノースブリッジ）が接続されており、ブリッジ５３は、AGP（Accelerated Graphics Port）５０を有し、PCI(Peripheral Component Interconnect/Interface)バス５６に接続されている。
【００５０】
ブリッジ５３は、例えば、インテル社製のAGP Host Bridge Controllerである４００ＢＸなどで構成されており、CPU５１およびRAM５４（いわゆる、メインメモリ）等を制御する。さらに、ブリッジ５３は、AGP５０を介して、ビデオコントローラ５７を制御する。なお、このブリッジ５３とブリッジ（いわゆる、サウスブリッジ（PCI-ISA Bridge））５８とで、いわゆるチップセットが構成されている。
【００５１】
ブリッジ５３は、さらに、キャッシュメモリ５５とも接続されている。キャッシュメモリ５５は、SRAM（Static RAM）などRAM５４に比較して、より高速に書き込みまたは読み出しの動作を実行できるメモリで構成され、CPU５１が使用するプログラムまたはデータをキャッシュする（一時的に記憶する）。
【００５２】
なお、CPU５１は、その内部に１次的な（キャッシュメモリ５５に比較して、より高速に動作できるメモリで、CPU５１自身が制御する）キャッシュメモリを有する。
【００５３】
RAM５４は、例えば、DRAM（Dynamic RAM）で構成され、CPU５１が実行するプログラム、またはCPU５１の動作に必要なデータを記憶する。具体的には、例えば、RAM５４は、起動が完了した時点において、HDD（ハードディスクドライブ）６７からロードされた、圧力検出プログラム５４Ａ、再生プログラム５４Ｂ、ジョグダイヤル状態監視プログラム５４Ｃ、ジョグダイヤルドライバ５４Ｄ、オペレーティングプログラム（OS）５４Ｅ、表示制御プログラム５４Ｆ、その他のアプリケーションプログラム５４Ｇ1乃至５４Ｇnを記憶する。
【００５４】
圧力検出プログラム５４Ａは、入出力装置１３１よりIEEE1394ケーブル１３２およびIEEE1394ポート１０１を介して入力される出力データに基づいて、入出力装置１３１に加えられた圧力を検出するためのプログラムである。圧力検出プログラム５４Ａはまた、インターネット３を介して送信されてきた圧力データを検出する。
【００５５】
再生プログラム５４Ｂは、インターネット３を介して送信されてきたコンテンツサンプルデータを、サウンドコントローラ６４を介してスピーカ６５に出力し、再生させるためのプログラムである。
【００５６】
ジョグダイヤル状態監視プログラム５４Ｃは、ジョグダイヤル４４に対応しているか否かの通知を、上述した各アプリケーションプログラムから受け取り、ジョグダイヤル４４に対応している場合、ジョグダイヤル４４を操作することで何が行えるかをLCD４７に表示させるためのプログラムである。
【００５７】
ジョグダイヤル状態監視プログラム５４Ｃは、ジョグダイヤル４４のイベント（ジョグダイヤル４４が図５の矢印ａに示す方向に回転される、または図５の矢印ｂに示す方向に押圧されるなどの操作）を検出して、検出されたイベントに対応する処理を実行する。ジョグダイヤル状態監視プログラム５４Ｃは、アプリケーションプログラムからの通知を受け取るリストを有する。ジョグダイヤルドライバ５４Ｄは、ジョグダイヤル４４の操作に対応して各種機能を実行する。
【００５８】
OS（Operating System）５４Ｅは、例えばマイクロソフト社のいわゆるウィンドウズ（Windows）９５（商標）もしくはウィンドウズ９８（商標）、またはアップルコンピュータ社のいわゆるマックＯＳ（商標）等に代表される、コンピュータの基本的な動作を制御するためのプログラムである。
【００５９】
表示制御プログラム５４Ｆは、ジョグダイヤル状態監視プログラム５４Ｃで検出されたジョグダイヤル４４のイベント（回転または押圧）に基づいて、LCD４７に表示されているマウスポインタを、ジョグダイヤル４４のイベントに対応するように制御するためのプログラムである。
【００６０】
ビデオコントローラ５７は、AGP５０を介してブリッジ５３に接続されており、AGP５０およびブリッジ５３を介してCPU５１から供給されるデータ（イメージデータまたはテキストデータなど）を受信して、受信したデータに対応するイメージデータを生成する。ビデオコントローラ５７は、生成されたイメージデータに対応する画像を、表示部４３のLCD４７に表示させる。
【００６１】
PCIバス５６には、サウンドコントローラ６４が接続されている。サウンドコントローラ６４は、マイクロフォン６６から音声に対応する信号を取り込み、音声に対応するデータを生成して、RAM５４に出力する。または、サウンドコントローラ６４は、スピーカ６５を駆動して、スピーカ６５に音声を出力させる。
【００６２】
また、PCIバス５６にはモデム７５が接続されている。モデム７５は、公衆電話回線７６およびインターネット３を介して、コンテンツサーバ１に所定のデータを送信するとともに、インターネット３を介してコンテンツサーバ１から所定のコンテンツデータまたはサンプルデータを受信する。
【００６３】
PCカードスロットインターフェース１１１は、PCIバス５６に接続され、スロット４９に装着されたインターフェースカード１１２から供給されたデータを、CPU５１またはRAM５４に供給するとともに、CPU５１から供給されたデータをインターフェースカード１１２に出力する。ドライブ１１３は、PCカードスロットインターフェース１１１およびインターフェースカード１１２を介して、PCIバス５６に接続されている。
【００６４】
ドライブ１１３は、装着されている磁気ディスク３１、光ディスク３２、光磁気ディスク３３、または半導体メモリ３４に記録されているデータを読み出し、読み出したデータをPCカードスロットインターフェース１１１、インターフェースカード１１２、およびPCIバス５６を介して、RAM５４に供給する。
【００６５】
また、PCIバス５６にはブリッジ５８も接続されている。ブリッジ５８は、例えば、インテル社製のPIIX4Eなどで構成されており、IDE（Integrated Drive Electronics）コントローラ／コンフィギュレーションレジスタ５９、タイマ回路６０、IDEインターフェース６１、およびUSBインターフェース６８等を内蔵している。ブリッジ５８は、IDEバス６２に接続されるデバイス、またはISA/EIO（Industry Standard Architecture / Extended Input Output）バス６３、もしくはI/Oインターフェース６９を介して接続されるデバイスの制御等、各種のI/O（Input/Output）を制御する。
【００６６】
IDEコントローラ／コンフィギュレーションレジスタ５９は、いわゆるプライマリIDEコントローラとセカンダリIDEコントローラとの２つのIDEコントローラ、およびコンフィギュレーションレジスタ（configuration register）等から構成されている（いずれも図示せず）。
【００６７】
プライマリIDEコントローラには、IDEバス６２を介して、HDD６７が接続されている。また、セカンダリIDEコントローラには、他のIDEバスに、図示せぬCD-ROMドライブまたはHDDなどの、いわゆるIDEデバイスが装着されたとき、その装着されたIDEデバイスが電気的に接続される。
【００６８】
なお、HDD６７は、圧力検出プログラム６７Ａ、再生プログラム６７Ｂ、ジョグダイヤル状態監視プログラム６７Ｃ、ジョグダイヤルドライバ６７Ｄ、OS６７Ｅ、表示制御プログラム６７Ｆ、その他の複数のアプリケーションプログラム６７Ｇ1乃至６７Ｇn、さらに、それらのプログラムで用いられるデータ等を記録する。HDD６７に記録されている圧力検出プログラム６７Ａ、圧力変換プログラム６７Ｂ、ジョグダイヤル状態監視プログラム６７Ｃ、ジョグダイヤルドライバ６７Ｄ、OS６７Ｅ、表示制御プログラム６７Ｆ、およびアプリケーションプログラム６７Ｇ1乃至６７Ｇn等は、起動（ブートアップ）処理の過程で、RAM５４に順次供給され、ロードされる。
【００６９】
USBインターフェース６８は、USBポート１０７を介して、接続されているハンディGPSレシーバ１０６から疑似雑音コードを受信して、受信した疑似雑音コードをPCIバス５６を介して、RAM５４に送信する。
【００７０】
タイマ回路６０は、表示制御プログラム６７Ｆの要求に対応して、現在時刻を示すデータを、PCIバス５６を介してCPU５１に供給する。
【００７１】
ISA/EIOバス６３には、さらに、I/Oインターフェース６９が接続されている。このI/Oインターフェース６９は、エンベディットコントローラから構成され、その内部において、ROM７０、RAM７１、およびCPU７２が相互に接続されている。
【００７２】
ROM７０は、IEEE1394インターフェースプログラム７０Ａ、LED制御プログラム７０Ｂ、タッチパッド入力監視プログラム７０Ｃ、キー入力監視プログラム７０Ｄ、ウェイクアッププログラム７０Ｅ、およびジョグダイヤル状態監視プログラム７０Ｆ等を予め記憶している。
【００７３】
IEEE1394インターフェースプログラム７０Ａは、IEEE1394ポート１０１を介して、IEEE1394で規定される規格に準拠するデータ（パケットに格納されているデータ）を送信するとともに受信する。LED制御プログラム７０Ｂは、電源ランプPL、電池ランプBL、必要に応じてメッセージランプML、またはその他のLEDよりなるランプの点灯の制御を行う。タッチパッド入力監視プログラム７０Ｃは、利用者の操作に対応したタッチパッド４６からの入力を監視するプログラムである。
【００７４】
キー入力監視プログラム７０Ｄは、キーボード４５またはその他のキースイッチからの入力を監視するプログラムである。ウェイクアッププログラム７０Ｅは、ブリッジ５８のタイマ回路６０から供給される現在時刻を示すデータに基づいて、予め設定された時刻になったかどうかをチェックして、設定された時刻になったとき、所定の処理（またはプログラム）等を起動するために、パーソナルコンピュータ４１を構成する各チップの電源を管理するプログラムである。ジョグダイヤル状態監視プログラム７０Ｆは、ジョグダイヤル４４の回転型エンコーダが回転されたか否か、またはジョグダイヤル４４が押されたか否かを常に監視するためのプログラムである。
【００７５】
ROM７０には、さらにBIOS（Basic Input/Output System（基本入出力システム））７０Ｇが書き込まれている。BIOS７０Ｇは、OSまたはアプリケーションプログラムと周辺機器（キーボード４５、タッチパッド４６、またはHDD６７等）との間で、データの受け渡し（入出力）を制御する。
【００７６】
RAM７１は、LED制御、タッチパッド入力ステイタス、キー入力ステイタス、もしくは設定時刻用の各レジスタ、ジョグダイヤル状態監視用のI/Oレジスタ、またはIEEE1394I/Fレジスタ等を、レジスタ７１Ａ乃至７１Ｆとして有している。キー入力ステイタスレジスタは、ジョグダイヤル４４が押圧されると、所定の操作キーフラグが格納される。設定時刻レジスタは、ユーザによるキーボード４５などの操作に対応して、所定の時刻が設定される。
【００７７】
また、このI/Oインターフェース６９は、図示を省略したコネクタを介して、ジョグダイヤル４４、キーボード４５、タッチパッド４６、およびIEEE1394ポート１０１等が接続され、ジョグダイヤル４４、キーボード４５、またはタッチパッド４６それぞれに対する操作に対応した信号をISA/EIOバス６３に出力する。また、I/Oインターフェース６９は、IEEE1394ポート１０１を介して、接続されている入出力装置１３１とのデータの送受信を制御する。さらに、I/Oインターフェース６９には、電源ランプPL、電池ランプBL、メッセージランプML、電源制御回路７３、およびその他のLEDよりなるランプが接続されている。
【００７８】
電源制御回路７３は、内蔵バッテリ７４またはAC電源に接続されており、各ブロックに、必要な電源を供給するとともに、内蔵バッテリ７４や、周辺装置のセカンドバッテリの充電のための制御を行う。また、I/Oインターフェース６９は、電源をオンまたはオフするとき操作される電源スイッチ４８を監視している。
【００７９】
I/Oインターフェース６９は、電源がオフの状態でも、内部に設けられた電源により、IEEE1394インターフェースプログラム７０Ａ乃至BIOS７０Ｇを実行することができる。すなわち、IEEE1394インターフェースプログラム７０Ａ乃至BIOS７０Ｇは、表示部４３のLCD４７上にいずれかのウィンドウが開いていない場合においても、常時動作している。
【００８０】
従って、電源スイッチ４８がオフ状態で、CPU５１がOS５４Ｅを実行していない場合でも、I/Oインターフェース６９は、ジョグダイヤル状態監視プログラム７０Ｆを実行するので、例えば、省電力状態、または電源オフの状態で、ジョグダイヤル４４が押圧されたとき、パーソナルコンピュータ４１は、予め設定した所定のソフトウェアまたはスクリプトファイルの処理を起動する。
【００８１】
このように、パーソナルコンピュータ４１においては、ジョグダイヤル４４がプログラマブルパワーキー（PPK）機能を有するので、専用のキーを設ける必要がない。
【００８２】
図８は、図３の入出力装置の外観の構成例を示す図である。また、図９は、この入出力装置の内部の構成例を示す図である。
【００８３】
入出力装置１３１は、その本体が合成樹脂等で楕円球に形成されており、空気圧によって膨張するようになされている。入出力装置１３１の表面の所定の位置には、ユーザがその本体を正確に把持することができるような目印として、溝１４１Ｒ，１４１Ｌが設けられている。この溝１４１Ｒと１４１Ｌは、１８０度離間した位置に配置される。
【００８４】
一般的に、人間が手を握る動作を行う場合、力が加わるのは、主として、手の人差し指、中指、および薬指である。そのため、溝１４１Ｒと１４１Ｌは、人差し指、中指、および薬指の３本の指に当る部分が圧力入力部１５１に位置するように、さらに、手の掌に当る部分が圧力出力部１５９に位置するようにするために設けられている。
【００８５】
具体的には、ユーザが右手で入出力装置１３１を把持する場合、図８（Ａ）に示されるように、溝１４１Ｒに親指が位置するようにして、入出力装置１３１を把持する。一方、ユーザが左手で入出力装置１３１を把持する場合、図８（Ｂ）に示されるように、溝１４１Ｌに親指が位置するようにして、入出力装置１３１を把持する。
【００８６】
なお、溝１４１Ｒの近傍に、例えば「Ｒ」、溝１４１Ｌの近傍に、例えば「Ｌ」などとそれぞれ表記しておくことにより、ユーザに対して、右手の親指用の溝１４１Ｒ、または左手の親指用の溝１４１Ｌであることを知らしめることができる。
【００８７】
圧力入力部１５１は、内部が空洞になっており、ユーザによって圧力が加えられると（すなわち、握り動作が行われると）、その加えられた圧力に対応する空気圧をチューブ１６０−１を介して圧力センサ１５２に出力する。圧力センサ１５２は、圧力入力部１５１から入力された圧力（空気圧）を検知し、その圧力に対応するアナログデータをスイッチ１５３の端子ｂを介してＡ／Ｄ（Analog to Digital）変換部１５４に出力する。
【００８８】
Ａ／Ｄ変換部１５４は、圧力センサ１５２から供給された圧力に対応するアナログデータをデジタルデータに変換し、IEEE1394ケーブル１３２を介してパーソナルコンピュータ４１に供給する。Ｄ／Ａ（Digital to Analog）変換部１５５は、IEEE1394ケーブル１３２を介してパーソナルコンピュータ４１より供給された圧力に対応するデジタルデータをアナログデータに変換し、スイッチ１５３の端子ｃおよび端子ａを介してピストン駆動部１５６に供給する。
【００８９】
スイッチ１５３は、通常モードのときには、端子ａと端子ｃが接続されているが、後述するキャリブレーションモードのときには、端子ａと端子ｂが接続されるように切り替えられる。
【００９０】
ピストン駆動部１５６は、Ｄ／Ａ変換部１５５からスイッチ１５３を介して供給される圧力に対応するアナログデータに基づいて、ピストン１５７を駆動させる。シリンダ１５８には、予め所定量の空気が充満されており、ピストン１５７の駆動により押圧された空気（すなわち空気圧）を、チューブ１６０−２を介して圧力出力部１５９に出力する。
【００９１】
圧力出力部１５９は、内部が空洞になっており、シリンダ１５８から送り込まれる空気圧によって膨張する。
【００９２】
なお、圧力入力部１５１と圧力出力部１５９の間には、隔壁が設けられ、圧力入力部１５１に加えられた圧力によって圧力出力部１５９が膨張しないように設計されている。
【００９３】
ユーザ端末４−２は、ユーザ端末４−１と同様の構成を有するので、その説明は省略する。
【００９４】
図１０は、コンテンツデータベース２に蓄積されているコンテンツデータに関する情報の記録形式例を示す図である。
【００９５】
図１０の例においては、「コンテンツデータ」、「コンテンツサンプルデータ」、「周波数特性データ」、および「メタ情報」が関連付けられて記録されている。コンテンツデータは、音楽データそのものを示しており、コンテンツサンプルデータは、コンテンツデータの冒頭部分（例えば、曲の始まりから１０秒間のデータ）の音楽サンプルデータを示しており、周波数特性データは、コンテンツデータのサンプルデータの周波数特性（音楽データの特徴量）を示しており、メタ情報は、コンテンツデータに関する情報（例えば、曲名、作曲者、作詞者、歌手、およびジャンルなど）を示している。
【００９６】
次に、本発明の実施の形態を説明する前に、入出力装置１３１の圧力入力処理、圧力出力処理、キャリブレーション処理、および、ユーザ端末４−１とユーザ端末４−２のコミュニケーション動作について、図１１乃至図１４を参照して順に説明する。
【００９７】
図１１は、ユーザ端末４−１が実行する、圧力入力処理を説明するためのフローチャートである。この処理を開始するにあたって、ユーザ端末４−１と４−２とは、インターネット３を介して相互に接続され、ユーザＡとユーザＢがコミュニケーション可能な状態になされている。
【００９８】
ステップＳ１において、ユーザ端末４−１の入出力装置１３１の圧力入力部１５１は、ユーザＡによって圧力が加えられたか否か、すなわち、握り動作が行われたか否かを判定し、圧力が加えられるまで待機する。
【００９９】
ステップＳ１において、ユーザＡによって圧力が加えられたと判定された場合、圧力入力部１５１は、加えられた圧力に対応する空気圧を、チューブ１６０−１を介して圧力センサ１５２に送り込む。ステップＳ２において、圧力センサ１５２は、圧力入力部１５１より送り込まれた空気圧を検知し、検知した圧力に対応するアナログデータをスイッチ１５３の端子ｂを介してＡ／Ｄ変換部１５４に出力する。ステップＳ３において、Ａ／Ｄ変換部１５４は、入力されたアナログデータをデジタルデータに変換し、IEEE1394ケーブル１３２を介してパーソナルコンピュータ４１に供給する。
【０１００】
ステップＳ４において、パーソナルコンピュータ４１のCPU５１は、ハードディスクドライブ６７に記憶されている圧力検出プログラム６７Ａを読み出し、その圧力検出プログラム６７Ａを実行し、入出力装置１３１より供給された圧力に対応するデジタルデータを検出する。そして、CPU５１は、検出した圧力データを、モデム７５およびインターネット３を介して、ユーザ端末４−２に送信する。その後、処理は、ステップＳ１に戻り、ユーザＡとユーザＢとの間でコミュニケーションが行われている間、上述した処理が繰り返される。
【０１０１】
図１２は、ユーザ端末４−１が実行する、圧力出力処理を説明するためのフローチャートである。この処理を開始するにあたって、ユーザ端末４−１と４−２とは、インターネット３を介して相互に接続され、ユーザＡとユーザＢがコミュニケーション可能な状態になされている。
【０１０２】
ステップＳ１１において、ユーザ端末４−１のパーソナルコンピュータ４１のCPU５１は、ハードディスクドライブ６７に記憶されている圧力検出プログラム６７Ａを読み出し、その圧力検出プログラム６７Ａを実行し、インターネット３を介してユーザ端末４−２より圧力データが入力されたか否かを判定し、圧力データが入力されるまで待機する。
【０１０３】
ステップＳ１１において、圧力データが入力されたと判定された場合、ステップＳ１２に進み、CPU５１は、入力された圧力データを、IEEE1394ポート１０１、およびIEEE1394ケーブル１３２を介して入出力装置１３１に出力する。ステップＳ１３において、Ｄ／Ａ変換部１５５は、入力された圧力データをアナログデータに変換し、スイッチ１５３を介してピストン駆動部１５６に出力する。ピストン駆動部１５６は、入力された圧力に対応するアナログデータに基づいて、ピストン１５７を駆動させ、シリンダ１５８から所定の空気圧を圧力出力部１５９に出力させる。圧力出力部１５９は、シリンダ１５８から送り込まれる空気圧によって膨張する。
【０１０４】
その後、処理は、ステップＳ１１に戻り、ユーザＡとユーザＢとの間でコミュニケーションが行われている間、上述した処理が繰り返される。
【０１０５】
ところで、入出力装置１３１に加えられる圧力は、ユーザ毎に変動する。すなわち、ユーザ端末４−１のユーザＡとユーザ端末４−２のユーザＢが、同じ握力を持っているとは限らず、ユーザ毎に握力のキャリブレーションを行う必要がある。
【０１０６】
図１３は、ユーザ端末４−１が実行する、キャリブレーション処理を説明するためのフローチャートである。この処理を開始するにあたって、ユーザが実行する操作に基づいて、通常モードからキャリブレーションモードに切り替えられている。
【０１０７】
ステップＳ２１において、スイッチ１５３は、ユーザＡが実行する操作によって、端子ｃから端子ｂに切り替えられる。ステップＳ２２において、圧力入力部１５１は、ユーザＡによって圧力が加えられたか否かを判定し、圧力が加えられるまで待機する。このとき、ユーザＡは、自分が持っている最大の握力（圧力）を加えるようにする。そして、圧力が加えられると、圧力入力部１５１は、加えられた圧力に対応する空気圧を圧力センサ１５２に送出する。
【０１０８】
ステップＳ２３において、圧力センサ１５２は、圧力入力部１５１より送り込まれた空気圧を検知し、基準レベルの圧力に変換できるような倍率を設定する。すなわち、圧力センサ１５２には、圧力の初期値（基準レベル）が予め記憶されており、いま検知した圧力と記憶されている初期値とが比較され、ほぼ基準レベルの圧力に変換できるような倍率が設定される。これにより、ユーザＡの最大握力が測定され、圧力のキャリブレーションが行われたことになる。
【０１０９】
ステップＳ２５において、圧力センサ１５２は、ステップＳ２４の処理で設定された倍率を基に、検知した圧力を基準レベルの圧力に変換し、変換された圧力に対応するアナログデータをスイッチ１５３の端子ａおよび端子ｃを介してピストン駆動部１５６に出力する。ピストン駆動部１５６は、入力された圧力に対応するアナログデータに基づいて、ピストン１５７を駆動させ、シリンダ１５８から所定の空気圧を出力させる。圧力出力部１５９は、シリンダ１５８から送り込まれる空気圧によって膨張する。
【０１１０】
ステップＳ２６において、スイッチ１５３は、ユーザＡが実行する操作によって、端子ｂから端子ｃに切り替えられたか否かを判定し、すなわち、キャリブレーションモードから通常モードに切り替えられたか否かを判定し、スイッチ１５３が切り替えられていないと判定した場合、ステップＳ２７に進む。
【０１１１】
ステップＳ２７において、圧力入力部１５１は、ユーザＡによって圧力が加えられたか否かを判定し、圧力が加えられていないと判定した場合、ステップＳ２６に戻り、上述した処理を繰り返す。
【０１１２】
ステップＳ２７において、圧力が加えられたと判定された場合、圧力入力部１５１は、加えられた圧力に対応する空気圧を圧力センサ１５２に送出し、ステップＳ２８に進む。
【０１１３】
ステップＳ２８において、圧力センサ１５２は、圧力入力部１５１より送り込まれた空気圧を検知し、ステップＳ２４の処理で設定された倍率を基に、検知した圧力を変換し、変換された圧力に対応するアナログデータを、スイッチ１５３を介してピストン駆動部１５６に出力する。ピストン駆動部１５６は、入力された圧力に対応するアナログデータに基づいて、ピストン１５７を駆動させ、シリンダ１５８から所定の空気圧を出力させる。圧力出力部１５９は、シリンダ１５８から送り込まれる空気圧によって膨張する。その後、処理は、ステップＳ２６に戻り、ステップＳ２６の処理でスイッチ１５３が切り替えられたと判定されるまで、上述した処理が繰り返される。
【０１１４】
このように、ユーザＡは、キャリブレーションを行った後、入出力装置１３１に強弱を変えて圧力を加えることにより、自分が加えた圧力（握力）が、ユーザＢ（すなわち、コミュニケーション相手）に、どれだけの圧力として伝えられるかを確認することができる。
【０１１５】
図１４は、ユーザ端末４−１とユーザ端末４−２とのコミュニケーション動作を説明するための図である。ここでは、説明を簡単にするために、上述したピストン駆動部１５６、ピストン１５７、およびシリンダ１５８を総称して可動部１６１−１，１６１−２と称することにする。
【０１１６】
ユーザＡが、入出力装置１３１−１を把持して握り動作を行うと（すなわち、圧力を加えると）、圧力入力部１５１−１は、加えられた圧力に対応する空気圧を圧力センサ１５２−１に送り込む。圧力センサ１５２−１は、送り込まれた空気圧を検知し、検知した圧力に対応するアナログデータをＡ／Ｄ変換部１５４−１に出力する。Ａ／Ｄ変換部１５４−１は、入力されたアナログデータをデジタルデータに変換し、パーソナルコンピュータ４１−１に出力する。パーソナルコンピュータ４１−１は、入力された圧力データを検出（検知）し、インターネット３を介してユーザ端末４−２に送信する。
【０１１７】
ユーザ端末４−２のパーソナルコンピュータ４１−２は、インターネット３を介してユーザ端末４−１より送信されてきた圧力データを受信し、それを入出力装置１３１−２のＤ／Ａ変換部１５５−２に供給する。Ｄ／Ａ変換部１５５−２は、入力された圧力データをアナログデータに変換し、可動部１６１−２に出力する。可動部１６１−２は、入力された圧力に対応するアナログデータに基づいて、圧力出力部１５９−２に所定の空気圧を送り込む。圧力出力部１５９−２は、可動部１６１−２から送り込まれた空気圧によって膨張する。これにより、入出力装置１３１−２を把持しているユーザＢは、ユーザＡの握り動作を感じることができる。
【０１１８】
このユーザＡの握り動作を受けて、ユーザＢが、入出力装置１３１−２を把持して握り動作を行うと（ユーザＡの操作に応じた反応を返すと）、圧力入力部１５１−２は、加えられた圧力に対応する空気圧を圧力センサ１５２−２に送り込む。圧力センサ１５２−２は、送り込まれた空気圧を検知し、検知した圧力に対応するアナログデータを介してＡ／Ｄ変換部１５４−２に出力する。Ａ／Ｄ変換部１５４−２は、入力されたアナログデータをデジタルデータに変換し、パーソナルコンピュータ４１−２に出力する。パーソナルコンピュータ４１−２は、入力された圧力データを検出し、インターネット３を介してユーザ端末４−１に送信する。
【０１１９】
ユーザ端末４−１のパーソナルコンピュータ４１−１は、インターネット３を介してユーザ端末４−２より送信されてきた圧力データを受信し、それを入出力装置１３１−１のＤ／Ａ変換部１５５−１に供給する。Ｄ／Ａ変換部１５５−１は、入力された圧力データをアナログデータに変換し、可動部１６１−１に出力する。可動部１６１−１は、入力された圧力に対応するアナログデータに基づいて、圧力出力部１５９−１に所定の空気圧を送り込む。圧力出力部１５９−１は、可動部１６１−１から送り込まれた空気圧によって膨張する。これにより、入出力装置１３１−１を把持しているユーザＡは、ユーザＢの握り動作を感じることができる。すなわち、自分の操作に応じて相手から返される反応を感じることができる。
【０１２０】
このように、ユーザＡとユーザＢが、入出力装置１３１−１，１３１−２をそれぞれ操作することにより、コミュニケーションの表現方法をさらに豊かにすることができる。
【０１２１】
また、圧力を所定量以上に増幅させるスイッチ（図示せず）をパーソナルコンピュータ４１または入出力装置１３１に設けることにより、例えば、コミュニケーション中に、より印象的な表現を相手に示したい場合、パーソナルコンピュータ４１または入出力装置１３１に設けられた圧力増幅用のスイッチをオンし、入出力装置１３１を用いて握り動作を行うことで、相手に強い印象を与えることができる。
【０１２２】
以上においては、入出力装置１３１−１，１３１−２を用いてコミュニケーションを行う場合に、インターネット３を介すようにして説明したが、勿論、インターネット３を介さないでコミュニケーションを行うことも可能である。
【０１２３】
また、以上においては、入出力装置１３１に加えられた圧力として空気圧を利用する例について説明したが、例えば、気圧、水圧、または油圧などを適用することも可能である。
【０１２４】
また、以上においては、入出力装置１３１の形状を、手で把持することが可能な楕円球としたが、例えば、入出力装置１３１を胸部と上腕部で抱えられる程度の大きさにすることにより、上半身の加重を利用して入力を行うことができる。これにより、例えば、把持操作は困難であるが、上半身運動であれば可能なユーザでも、簡単に操作することができる。
【０１２５】
さらにまた、以上においては、ユーザ同士がコミュニケーションする場合に、自分のしぐさ（握り動作）を相手に伝達したり、また、相手のしぐさを感じたりすることができるようにしたが、本発明はこれに限らず、例えば、入出力装置１３１に温度センサおよびヒータを設けることにより、自分の体温を相手に伝達したり、また、相手の体温を感じたりすることも可能である。これにより、遠隔地にいる相手とのコミュニケーションを、より身近なものに感じることができる。
【０１２６】
ところで、上述したように、ユーザＡとユーザＢに対して、２つの入出力装置１３１−１，１３１−２をそれぞれ操作させるようにし、ネットワークを介して握り動作を互いに行えるような環境を用意すると、二人のユーザは、リズムを合わせたり、あるいは、リズムを崩したりといった行為を自然に行うという人間の特性がある。
【０１２７】
このことは、例えば、“安部、大村，遠隔地間でのインフォーマルなコミュニケーションにおける握力インターフェースの効果，1999，第５回ヒューマンインターフェース学会研究会報告集pp77−82”に記載されている。
【０１２８】
例えば、ユーザＡが、握り動作を２回続けて行い、ユーザＢが、ユーザＡの動作を受けて、握り動作を１回行い、さらに、ユーザＡが、ユーザＢの動作を受けて、握り動作を２回続けて行うといった動作が繰り返される場合を考えてみる。
【０１２９】
ユーザ端末４−１は、ユーザＡが行う握り動作によって、ユーザＡの握力に対応した時系列データをコンテンツサーバ１に送信する。同様に、ユーザ端末４−２も、ユーザＢが行う握り動作によって、ユーザＢの握力に対応した時系列データをコンテンツサーバ１に送信する。
【０１３０】
コンテンツサーバ１は、ユーザ端末４−１または４−２から順次送信されてくる時系列データを組み合わせ（足し合わせ）、組み合わされた時系列データに対して周波数分析を行うことによって、二人が行う握り動作のリズムを抽出する。そして、コンテンツサーバ１は、抽出されたリズムに合った音楽を検索して、二人のユーザに配信することにより、二人のユーザには、自分たちのコミュニケーションのリズムに合った音楽がバックグラウンドに流れることになる。
【０１３１】
このように、コミュニケーションのリズムに合った音楽を配信するといった、新たな音楽配信システムを実現することが可能になる。
【０１３２】
次に、本発明を適用した音楽配信システムの詳細について説明する。
【０１３３】
図１５は、音楽配信システムの各機能の構成例を示すブロック図である。
【０１３４】
ユーザ端末４−１の入出力装置１３１−１は、ユーザＡによって握力（圧力）が加えられると、その握力に対応した時系列データをパーソナルコンピュータ４１−１の送信部１７２−１に出力する。入出力装置１３１−１はまた、パーソナルコンピュータ４１−１の制御部１７１−１から供給される圧力データに基づいて、本体を膨張させる。
【０１３５】
送信部１７２−１は、制御部１７１−１の制御の下、ユーザＡによって予め登録されているユーザＩＤとともに、入出力装置１３１−１から入力された握力に対応した時系列データを、インターネット３を介してコンテンツサーバ１に送信する。受信部１７３−１は、インターネット３を介してコンテンツサーバ１より送信されてくるサンプルデータ、コンテンツデータ、またはメタ情報などを受信する。
【０１３６】
再生部１７４−１は、例えば、上述したサウンドコントローラ６４およびスピーカ６５などで構成され、制御部１７１−１より供給されたサンプルデータまたはコンテンツデータに対応する音声を出力し、再生させる。表示部１７６−１は、例えば、上述したビデオコントローラ５７およびLCD４７などで構成され、制御部１７１−１より供給されたデータ（メタ情報）に対応する画像を出力し、表示させる。入力部１７７−１は、例えば、上述したジョグダイヤル４４、キーボード４５、タッチパッド４６などで構成され、制御部１７１−１に各種の指令を入力するときに、ユーザＡによって操作される。
【０１３７】
サンプルデータ・メタ情報蓄積部１７５−１は、制御部１７１−１の制御の下、受信部１７３−１で受信されたサンプルデータおよびメタ情報を蓄積する。コンテンツデータ蓄積部１７８−１は、制御部１７１−１の制御の下、受信部１７３−１で受信されたコンテンツデータを蓄積する。
【０１３８】
制御部１７１−１は、受信部１７３−１で受信されたサンプルデータおよびメタ情報をサンプルデータ・メタ情報蓄積部１７５−１に供給し、そこに蓄積させるとともに、必要に応じて、サンプルデータ・メタ情報蓄積部１７５−１からサンプルデータおよびメタ情報を読み出し、再生部１７４−１および表示部１７６−１にそれぞれ供給し、再生または表示させる。制御部１７１−１はまた、受信部１７３−１で受信されたコンテンツデータをコンテンツデータ蓄積部１７８−１に供給し、そこに蓄積させるとともに、必要に応じて、コンテンツデータ蓄積部１７８−１からコンテンツデータを読み出し、再生部１７４−１に供給し、再生させる。制御部１７１−１はさらに、入力部１７７−１からのユーザの操作入力に基づいて、コンテンツサーバ１に対して、所定のコンテンツの配信を要求する。
【０１３９】
ユーザ端末４−２は、上述したユーザ端末４−１の各機能と同様の構成を有しているので、その説明は省略する。
【０１４０】
コンテンツサーバ１の受信部１９１は、インターネット３を介して、ユーザ端末４−１または４−２から送信されてくる、握力に対応した時系列データを受信する。
【０１４１】
制御部１９２は、受信部１９１で受信された時系列データを、解析部１９３に順次供給し、解析部１９３より得られる解析結果（すなわち、周波数特性）に基づいて、コンテンツデータベース２を参照し、その解析結果に類似するものがあるか否かを検索する。制御部１９２はまた、受信部１９１で受信されたユーザ端末４−１または４−２からのコンテンツの配信要求に基づいて、コンテンツデータベース２から対応するコンテンツデータを読み出し、配信部１９５に供給するとともに、課金部１９４から課金情報を取得する。
【０１４２】
次に、ユーザ端末４−１および４−２がそれぞれ実行する、時系列データの送信処理について説明する。
【０１４３】
まず、ユーザＡによって、入出力装置１３１−１が把持され、握り動作が行われると（すなわち、握力が加えられると）、その握力に対応した時系列データがパーソナルコンピュータ４１−１の送信部１７２−１に出力される。入出力装置１３１−１が出力する圧力に対応する時系列データは、例えば、図１６（Ａ）に示されるようになる。送信部１７２−１は、入出力装置１３１−１から入力された時系列データを、ユーザＡによって予め登録されているユーザＩＤとともにインターネット３を介してコンテンツサーバ１に送信する。
【０１４４】
同様に、ユーザＢによって入出力装置１３１−２が把持され、握り動作が行われると、その握力に対応した時系列データがパーソナルコンピュータ４１−２の送信部１７２−２に出力される。入出力装置１３１−２が出力する圧力に対応する時系列データは、例えば、図１６（Ｂ）に示されるようになる。送信部１７２−２は、入出力装置１３１−２から入力された時系列データを、ユーザＢによって予め登録されているユーザＩＤとともにインターネット３を介してコンテンツサーバ１に送信する。
【０１４５】
このようにして、ユーザ端末４−１で発生された時系列データ（図１６（Ａ））が、ユーザＡのユーザＩＤとともに送信部１７２−１およびインターネット３を介して、コンテンツサーバ１に送信される。同様に、ユーザ端末４−２で発生された時系列データ（図１６（Ｂ））が、ユーザＢのユーザＩＤとともに送信部１７２−２およびインターネット３を介して、コンテンツサーバ１に送信される。
【０１４６】
コンテンツサーバ１は、ユーザ端末４−１から送信されてくる時系列データと、ユーザ端末４−２から送信されてくる時系列データとを組み合わせて、図１６（Ｃ）に示されるような時系列データを受信する。そして、コンテンツサーバ１は、受信した時系列データに対して、周波数特性を分析し、分析された周波数特性に類似する音楽データ（コンテンツデータ）を検索することにより、二人のユーザのコミュニケーションに合った音楽データを配信することができる。
【０１４７】
分析された時系列データの周波数特性に類似する音楽データを検索するためには、予め、音楽データのスペクトルデータを算出し、音楽データ毎に、算出されたスペクトルデータを周波数特性として付与しておく必要がある。
【０１４８】
そこで、図１７のフローチャートを参照して、音楽データに対するスペクトルデータの付与処理について説明する。
【０１４９】
ステップＳ４１において、コンテンツサーバ１の制御部１９２は、コンテンツデータベース２に蓄積されているコンテンツデータ（すなわち音楽データ）から、ユーザのコミュニケーションに合った音楽を配信するために必要なサンプルデータを生成する。サンプルデータの生成方法としては、例えば、コンテンツデータの冒頭部分（例えば、曲の始まりから１０秒間のデータ）のコンテンツデータを抽出して、それをサンプルデータとして生成する。
【０１５０】
ステップＳ４２において、解析部１９３は、ステップＳ４１の処理で生成されたサンプルデータの短時間パワースペクトルを算出する。
【０１５１】
ここで、図１８のフローチャートを参照して、サンプルデータの短時間パワースペクトルの算出処理についてさらに詳しく説明する。
【０１５２】
ステップＳ５１において、解析部１９３は、サンプルデータのリズムに関係する低域の周波数のみを抽出するために、ローパスフィルタをかける。カットオフ周波数としては、例えば、５０Ｈｚの周波数などである。
【０１５３】
ステップＳ５２において、解析部１９３は、ステップＳ５１の処理で低域周波数のみが抽出されたサンプルデータに窓関数を掛けて、時間軸上である一定区間（Ｎ点）を切り出す。これにより、図１９（Ａ）に示されるように、窓関数の幅がＮ点の区間のデータが切り出される。窓関数の幅としては、例えば、５１２点などである。
【０１５４】
ステップＳ５３において、解析部１９３は、ステップＳ５２の処理で切り出されたデータを高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）処理する。これにより、図１９（Ｂ）に示されるように、周波数軸上の値に変換され、パワースペクトルが算出される。パワースペクトルが算出された後、処理は、図１７のステップＳ４３にリターンする。
【０１５５】
ステップＳ４３において、解析部１９３は、短時間パワースペクトルの算出処理によって得られる、Ｎ／２点の数値の組（ベクトル）として求められるスペクトルデータを、この音楽データの周波数特性として、音楽データに付与する。
【０１５６】
このように、コンテンツサーバ１では、音楽データ毎に、上述したスペクトルデータを求めて、それぞれの音楽データにスペクトルデータ（すなわち、周波数特性）を付与し、コンテンツデータベース２に蓄積する。そして、コンテンツサーバ１は、後述するように、ユーザ端末４−１または４−２から送信されてくる時系列データに対して、周波数特性の分析を行い、コミュニケーションに合った音楽データを二人のユーザに配信することができる。
【０１５７】
次に、図２０のフローチャートを参照して、コンテンツサーバ１が実行する、サプルデータ送信処理について説明する。この処理においては、コンテンツサーバ１の受信部１９１で受信される時系列データは、図１６（Ｃ）に示したように、ユーザ端末４−１および４−２より送信されてくる時系列データが組み合わされたものであるとする。
【０１５８】
ステップＳ６１において、コンテンツサーバ１の受信部１９１は、インターネット３を介して、ユーザ端末４−１または４−２から送信されてきた時系列データが受信されたか否かを判定し、時系列データが受信されるまで待機する。
【０１５９】
ステップＳ６１において、時系列データが受信されたと判定された場合、ステップＳ６２に進み、制御部１９２は、ステップＳ６１の処理で受信された時系列データを解析部１９３に供給する。解析部１９３は、供給された時系列データの短時間パワースペクトルを算出する。すなわち、図１８のフローチャートを用いて上述した処理と同様の処理が実行される。ここでは、時系列データが、逐次受信されるので、時間Ｔ１乃至Ｔ７において、一定時間間隔Ｔ毎に窓関数をずらしながら、パワースペクトルの算出処理を実行することにより、一定時間Ｔ毎のパワースペクトルを求めることができる。時間間隔Ｔとしては、例えば、３０秒などである。
【０１６０】
ステップＳ６３において、制御部１９２は、解析部１９３によって算出された、一定時間間隔Ｔ毎の短時間パワースペクトルに基づいて、コンテンツデータベース２を参照し、音楽データに付与されているパワースペクトル（すなわちスペクトルデータ）との類似度を、例えば、ＤＰマッチング法などの手法を用いて算出する。
【０１６１】
ステップＳ６４において、制御部１９２は、ステップＳ６３の処理で算出された、受信された時系列データと音楽データに付与されているスペクトルデータとの類似度を、予め設定されている閾値と比較する。この閾値は、コンテンツサーバ１の管理者が、任意に設定することが可能である。そして、制御部１９２は、類似度が閾値を超えるスペクトルデータが付与されている音楽データを、コンテンツデータベース２から検索する。
【０１６２】
ステップＳ６５において、制御部１９２は、類似度が閾値を超えるスペクトルデータが付与されている音楽データがあるか否か、すなわち、類似度が閾値を超えるスペクトルデータが付与されている音楽データがコンテンツデータベース２から検索されたか否かを判定し、類似度が閾値を超えるスペクトルデータが付与されている音楽データがあった場合、ステップＳ６６に進む。
【０１６３】
ステップＳ６６において、制御部１９２は、類似度が閾値を超えるスペクトルデータの中で、類似度が最も高いものを選択する（例えば、類似度が最も高い周波数特性が特性Ａであるとする）。ステップＳ６７において、制御部１９２は、類似度が最も高いスペクトルデータが付与されている音楽データ（いまの場合、コンテンツＡ）に対応する、サンプルデータおよび曲名や作曲者名などを含むメタ情報を、コンテンツデータベース２から読み出す。すなわち、コンテンツＡに対応するサンプルＡとメタ情報Ａが読み出される。
【０１６４】
ステップＳ６８において、制御部１９２は、ステップＳ６７の処理で読み出されたサンプルデータとメタ情報（いまの場合、サンプルＡとメタ情報Ａ）を配信部１９５に供給する。配信部１９５は、供給されたサンプルデータとメタ情報（コミュニケーション相手のユーザIDを含む）を、インターネット３を介してユーザ端末４−１および４−２にそれぞれ送信する。
【０１６５】
これにより、ユーザ端末４−１には、ユーザＢのユーザＩＤとともに、サンプルＡおよびメタ情報Ａが配信され、ユーザ端末４−２には、ユーザＡのユーザＩＤとともに、サンプルＡおよびメタ情報Ａが配信される。その後、処理は、ステップＳ６１に戻り、上述した処理が繰り返される。
【０１６６】
ステップＳ６５において、類似度が閾値を超えるスペクトルデータが付与されている音楽データがなかった、すなわち、類似度が閾値を超えるスペクトルデータが付与されている音楽データがコンテンツデータベース２から検索されなかったと判定された場合、ステップＳ６９に進み、制御部１９２は、該当するサンプルデータがないものとして、ステップＳ６６乃至Ｓ６８の処理を行わず（すなわち、サンプルデータの送信を行わず）、ステップＳ６１に戻り、上述したそれ以降の処理を繰り返す。
【０１６７】
そして、コンテンツサーバ１よりサンプルデータおよびメタ情報が配信された場合、ユーザ端末４−１の受信部１７３−１は、配信されてきたサンプルデータおよびメタ情報（いまの場合、サンプルＡおよびユーザＢのユーザＩＤを含むメタ情報Ａ）を受信し、制御部１７１−１に供給する。制御部１７１−１は、供給されたサンプルデータを再生部１７４−１に出力し、再生させるとともに、供給されたサンプルデータおよびメタ情報をサンプルデータ・メタ情報蓄積部１７５−１に供給し、そこに蓄積させる。
【０１６８】
ユーザ端末４−２の受信部１７３−２は、配信されてきたサンプルデータおよびメタ情報（いまの場合、サンプルＡおよびユーザＡのユーザＩＤを含むメタ情報Ａ）を受信し、制御部１７１−２に供給する。制御部１７１−２は、供給されたサンプルデータを再生部１７４−２に出力し、再生させるとともに、供給されたサンプルデータおよびメタ情報をサンプルデータ・メタ情報蓄積部１７５−２に供給し、そこに蓄積させる。
【０１６９】
このように、コンテンツサーバ１は、ユーザ端末４−１および４−２からそれぞれ送信されてくる時系列データが組み合わされた時系列データから短時間パワースペクトルデータを算出し（すなわち、二人のユーザの動作のリズムを抽出し）、算出されたパワースペクトルと音楽データに付与されているスペクトルデータとの類似度を算出し、類似度が最も高くなるスペクトルデータが付与されている音楽データに対応するサンプルデータをコンテンツデータベース２から読み出し、ユーザ端末４−１および４−２にそれぞれ配信することができる。
【０１７０】
これにより、コミュニケーションを行っている二人のユーザは、インターネット３を介して送信されてくるコミュニケーションのリズムに合った音楽（すなわちサンプルデータ）を受信することができ、バックグラウンドミュージックとして再生させることができる。
【０１７１】
このように、ユーザＡおよびユーザＢは、コミュニケーション環境に合った音楽を楽しむことができる。
【０１７２】
ところで、ユーザは、シチュエーションに印象付けて、そのときに流れていた音楽を記憶していることがあり、また、その音楽を聴くことによって、そのときのシチュエーションを鮮明に思い出すことがある。従って、ユーザが、あるコミュニケーションを自分の記憶にとどめておきたいと思った場合、そのコミュニケーション時に再生されていた音楽データを購入することにより、ユーザは、そのときのコミュニケーションを自分の記憶にとどめておくことができる。
【０１７３】
そこで、図２１のフローチャートを参照して、ユーザ端末４−１が実行する、コンテンツ購入処理について説明する。
【０１７４】
ステップＳ８１において、制御部１７１−１は、ユーザＡが入力部１７７−１を操作することにより入力される指令に基づいて、コンテンツ購入画面を表示部１７６−１に出力し、表示させる。これにより、例えば、図２２に示されるような画面が表示される。
【０１７５】
図２２のコンテンツ購入画面には、サンプルデータ・メタ情報蓄積部１７５−１に蓄積されているサンプルデータ（コンテンツデータの冒頭部分）のコンテンツ名とともに、そのサンプルデータが再生された日時が表示されている。また、画面の下側には、購入ボタン２０１、視聴ボタン２０２、詳細ボタン２０３、削除ボタン２０４、およびキャンセルボタン２０５が配置されている。
【０１７６】
このコンテンツ購入画面において、ユーザＡによって所望のコンテンツ名が選択され、購入ボタン２０１が押下されると、制御部１７１−１は、図２３に示されるような購入申込画面を表示部１７６−１に出力し、表示させる。
【０１７７】
図２３の購入申込画面には、ユーザによって選択されたコンテンツ名が表示されている。また、この購入申込画面には、コンテンツを購入するときユーザによって操作される購入OKボタン２１０、および購入をキャンセルするときユーザによって操作されるキャンセルボタン２１１が表示されている。
【０１７８】
また、コンテンツ購入画面において、ユーザＡによって所望のコンテンツ名が選択され、試聴ボタン２０２が押下されると、制御部１７１−１は、サンプルデータ・メタ情報蓄積部１７５−１に蓄積されている、いま選択されたコンテンツ名に対応するサンプルデータを読み出し、再生部１７４−１に出力し、再生させる。
【０１７９】
このとき、制御部１７１−１は、サンプルデータを再生させるだけでなく、例えば、図２４に示されるようなメッセージ画面を表示部１７６−１に出力し、表示させることにより、ユーザに対して、何のサンプルデータを再生させているかを知らしめることができる。このメッセージ画面には、サンプルデータの再生を繰り返すときユーザによって操作されるリピートボタン２２１、および、コンテンツ購入画面に戻るときユーザによって操作されるOKボタン２２２が表示されている。
【０１８０】
また、コンテンツ購入画面において、ユーザＡによって所望のコンテンツ名が選択され、詳細ボタン２０３が押下されると、制御部１７１−１は、サンプルデータ・メタ情報蓄積部１７５−１に蓄積されている、いま選択されたコンテンツ名に対応するメタ情報を読み出し、表示部１７６−１に出力し、表示させる。これにより、例えば、図２５に示されるようなコンテンツ詳細画面が表示される。
【０１８１】
図２５のコンテンツ詳細画面には、ユーザによって選択されたコンテンツ名、そのコンテンツ名のサンプルデータが再生されたときにコミュニケーションしていた相手の名前、コミュニケーションしていた場所、および、そのコンテンツ名のサンプルデータが再生された日時が表示されている。また、この詳細画面には、サンプルデータを再生するときユーザによって操作される試聴ボタン２３１、および、コンテンツ購入画面に戻るときユーザによって操作されるOKボタン２３２が表示されている。この他、コンテンツ詳細画面に、コンテンツの作曲者、作詞者、歌手名、またはジャンルなどを表示させるようにしてもよい。
【０１８２】
さらにまた、コンテンツ購入画面において、ユーザＡによって所望のコンテンツ名が選択され、削除ボタン２０４が押下されると、制御部１７１−１は、サンプルデータ・メタ情報蓄積部１７５−１に蓄積されている、いま選択されたコンテンツ名に対応するサンプルデータおよびメタ情報を削除させる。また、ユーザＡによってキャンセルボタン２０５が押下されると、このコンテンツ購入画面が閉じられる。
【０１８３】
図２１に戻って、ステップＳ８２において、制御部１７１−１は、ユーザＡによって所定のコンテンツが選択され、かつ、購入ボタン２０１が押下されたか否かを判定し、所定のコンテンツが選択され、かつ、購入ボタン２０１が押下されたと判定した場合、ステップＳ８３に進む。ステップＳ８３において、制御部１７１−１は、さらに、ユーザによって図２３に示した購入OKボタン２１０が押下されることを条件に、購入情報（例えば、ユーザＡのユーザIDや購入コンテンツ名など）を送信部１７２−１に出力する。送信部１７２−１は、入力された購入情報を、インターネット３を介してコンテンツサーバ１に送信する。
【０１８４】
一方、ステップＳ８２において、ユーザによって購入ボタン２０１が押下されていないと判定された場合、ステップＳ８４に進み、制御部１７１−１はさらに、キャンセルボタン２０５が押下されたか否かを判定する。ステップＳ８４において、キャンセルボタン２０５が押下されていないと判定された場合、ステップＳ８２に戻り、上述した処理が繰り返される。
【０１８５】
ステップＳ８４において、キャンセルボタン２０５が押下されたと判定された場合、制御部１７１−１は、表示部１７６−１に表示させていたコンテンツ購入画面を閉じ、処理は終了される。
【０１８６】
このように、ユーザ端末４−１のユーザＡは、サンプルデータ・メタ情報蓄積部１７５−１に蓄積されているサンプルデータから、コミュニケーション時に再生されていた所望のサンプルデータのコンテンツデータを購入することができる。
【０１８７】
また、サンプルデータ・メタ情報蓄積部１７５−１に一旦蓄積されたデータの中から、後日、所望のコンテンツデータを購入するだけでなく、コミュニケーション中に所望のコンテンツデータを購入することも可能である。具体的には、例えば、コミュニケーション動作により抽出されたリズムに類似したサンプルデータがコンテンツサーバ１から提供され、バックグラウンドミュージックとして再生されているときに、ユーザが、そのサンプルデータのコンテンツ（音楽）を購入したいと思った場合、所定のスイッチまたはボタン（いずれも図示せず）を押下することにより、リアルタイムでコンテンツデータ（音楽データ）を購入することができる。
【０１８８】
次に、図２６のフローチャートを参照して、コンテンツサーバ１が実行する、コンテンツ配信処理について説明する。
【０１８９】
ステップＳ９１において、制御部１９１は、ユーザ端末４−１または４−２からアクセスされたか否か、すなわち、受信部１９１によってユーザ端末４−１または４−２から送信されてきた購入情報が受信されたか否かを判定し、ユーザ端末４−１または４−２からアクセスされるまで待機する。
【０１９０】
ステップＳ９１において、制御部１９１は、ユーザ端末４−１または４−２からアクセスされたと判定された場合（いまの場合、ユーザ端末４−１からアクセスされたとする）、ステップＳ９２に進み、制御部１９１は、受信部１９１によって受信された購入情報（ユーザＡのユーザＩＤおよび購入コンテンツＡ）に基づいて、コンテンツデータベース２から、所定のコンテンツデータを読み出す。すなわち、コンテンツデータベース２から、ユーザＡの所望するコンテンツＡが読み出される。
【０１９１】
ステップＳ９３において、制御部１９２は、課金部１９４から課金情報を取得する。具体的には、課金部１９４は、制御部１９２から提供される、購入情報に含まれるユーザＩＤを取得し、そのユーザＩＤに基づいて、図示せぬ所定の金融機関に、そのユーザが支払い可能（決済可能）であるか否かを問い合わせ、支払い可能である場合、課金情報（コンテンツ購入価格や決済方法など）を制御部１９２に出力する。
【０１９２】
ステップＳ９４において、制御部１９２は、ステップＳ９２の処理で読み出されたコンテンツデータ（いまの場合、コンテンツＡ）を、ステップＳ９３の処理で取得された課金情報とともにインターネット３を介してユーザ端末４−１に配信し、処理は終了される。
【０１９３】
このように、ユーザＡとユーザＢが、入出力装置１３１−１と１３１−２をそれぞれ用いて、遠隔地間でコミュニケーションを行ったときに、バックグラウンドミュージックとして再生されていた音楽（すなわち、サンプルデータ）を、容易に購入することができる。なお、購入された音楽データの提供方法としては、上述したようにコンテンツサーバ１からインターネット３を介して配信するだけでなく、例えば、音楽ＣＤなどのメディアで提供するようにしてもよい。
【０１９４】
以上のように、本発明では、コミュニケーション環境に合った音楽が提供されるため、新たな音楽配信システムを実現することが可能になる。すなわち、コミュニケーション時に無意識に再生されていたサンプルデータが、後に再生されることにより、ユーザに対して、そのときのコミュニケーションを思い出させることができ、その音楽の購買意欲を高める効果を期待することができる。
【０１９５】
また、以上においては、ユーザ間のコミュニケーション動作により抽出されたリズムに最も類似したサンプルデータを配信するようにしたが、本発明はこれに限らず、例えば、コミュニケーションの時間帯に合わせて、音楽データに付与されているスペクトルデータに重み付けを行うなどして、コミュニケーションする時間帯（例えば、昼と夜など）によって異なるサンプルデータを配信するようにしてもよい。
【０１９６】
また、本発明を二人のユーザのコミュニケーションに適用した例について説明したが、本発明はこれに限らず、三人以上のユーザがコミュニケーションする場合にも勿論、適用することが可能である。
【０１９７】
さらに、コミュニケーションの動作に限らず、一人のユーザが入出力装置１３１を用いて行う握り動作によって発生する時系列データをコンテンツサーバ１に送信し、その動作により抽出されるリズムに最も類似するサンプルデータを配信することも可能であることは言うまでもない。
【０１９８】
以上においては、入出力装置１３１を用いて入力される時系列データをコンテンツサーバ１に送信し、そこで算出されるスペクトルデータに類似する音楽データを配信するようにしたが、本発明はこれに限らず、キーボード操作のリズムを抽出して、そのリズムに類似する音楽データを配信することも可能である。
【０１９９】
例えば、パーソナルコンピュータ４１のキーボード４５のいずれかのキーが押下されたか否かを判定し、キーが押下された場合に電気信号を出力することができるような機能をキーボード４５に設ける。そして、ユーザがキーボード４５を操作することにより、キーボード４５から出力される時系列データがコンテンツサーバ１に送信される。コンテンツサーバ１は、そのキーボード操作のリズムを抽出して、キーボード操作のリズムに合った音楽データを配信することができる。これにより、ユーザは、自分のキーボード操作に合った音楽をバックグラウンドミュージックとして再生させることが可能になる。
【０２００】
上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムを格納するプログラム格納媒体からインストールされる。
【０２０１】
このプログラム格納媒体は、図２または図７に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが格納されている磁気ディスク３１（フロッピーディスクを含む）、光ディスク３２（CD-ROM（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk）を含む）、光磁気ディスク３３（MD(Mini-Disk)を含む）、もしくは半導体メモリ３３などよりなるパッケージメディアなどにより構成される。
【０２０２】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２０３】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表わすものである。
【０２０５】
【発明の効果】
本発明の配信システムによれば、電子機器が、圧力を検知し、検知された圧力に対応する時系列データを出力して情報処理装置に送信し、情報処理装置が、コンテンツデータを、コンテンツデータの周波数特性に対応付けて蓄積し、電子機器より送信されてくる時系列データを受信し、受信された時系列データの周波数特性を算出し、算出された周波数特性に類似するものを蓄積されている周波数特性の中から検索し、その検索結果に基づいて、コンテンツデータを読み出し、電子機器に配信するようにしたので、コミュニケーション環境に合った音楽を配信することができる。
【図面の簡単な説明】
【図１】本発明を適用した音楽配信システムの構成例を示すブロック図である。
【図２】図１のコンテンツサーバの電気的構成例を示すブロック図である。
【図３】図１のユーザ端末のパーソナルコンピュータと入出力装置の構成例を示す図である。
【図４】図３のパーソナルコンピュータの本体の平面図である。
【図５】図３のパーソナルコンピュータのジョグダイヤル付近の拡大図である。
【図６】図３のパーソナルコンピュータの右側面の構成を示すブロック図である。
【図７】図３のパーソナルコンピュータの電気的構成例を示すブロック図である。
【図８】図３の入出力装置の外観の構成例を示す図である。
【図９】図３の入出力装置の内部の構成例を示す図である。
【図１０】図１のコンテンツデータベースに蓄積されているコンテンツデータに関する情報の記録形式例を示す図である。
【図１１】圧力入力処理を説明するためのフローチャートである。
【図１２】圧力出力処理を説明するためのフローチャートである。
【図１３】キャリブレーション処理を説明するためのフローチャートである。
【図１４】コミュニケーション動作を説明するための図である。
【図１５】音楽配信システムの各機能の構成例を示すブロック図である。
【図１６】時系列データを説明する図である。
【図１７】スペクトルデータの付与処理を説明するためのフローチャートである。
【図１８】図１７のステップＳ４２のパワースペクトルの算出処理をさらに説明するためのフローチャートである。
【図１９】短時間パワースペクトルの算出処理を説明するための図である。
【図２０】サンプルデータ送信処理を説明するためのタイミングチャートである。
【図２１】コンテンツ購入処理を説明するためのフローチャートである。
【図２２】コンテンツ購入画面の表示例を示す図である。
【図２３】購入申込画面の表示例を示す図である。
【図２４】メッセージ画面の表示例を示す図である。
【図２５】コンテンツ詳細画面の表示例を示す図である。
【図２６】コンテンツ配信処理を説明するためのフローチャートである。
【符号の説明】
１ コンテンツサーバ， ２ コンテンツデータベース， ３ インターネット， ４−１，４−２ ユーザ端末， ３１ 磁気ディスク， ３２ 光ディスク， ３３ 光磁気ディスク， ３４ 半導体メモリ， ４１ パーソナルコンピュータ， １３１ 入出力装置， １３２ IEEE1394ケーブル， １４１Ｒ，１４１Ｌ 溝， １５１ 圧力入力部， １５２ 圧力センサ， １５６ ピストン駆動部，１５７ ピストン， １５８ シリンダ， １５９ 圧力出力部，１７１−１，１７１−２ 制御部， １７２−１，１７３−２ 送信部， １７４−１，１７４−２ 再生部， １７５−１，１７５−２ サンプルデータ・メタ情報蓄積部， １７６−１，１７６−２ 表示部， １７７−１，１７７−２入力部， １７８−１，１７８−２ コンテンツデータ蓄積部， １９１ 受信部， １９２ 制御部， １９３ 解析部， １９４ 課金部， ９５ 配信部[0001]
BACKGROUND OF THE INVENTION
  The present inventionDistribution systemFor example, we made it possible to provide music that suits the communication environment.Distribution systemAbout.
[0002]
[Prior art]
Usually, when users communicate face-to-face, not only language but nonverbal information such as gestures and gestures or facial expressions are used. That is, in the case of face-to-face communication, the communication is smoothed by a touching action such as touching the other person's shoulder.
[0003]
Further, when users communicate with each other at remote locations, for example, a network communication system such as a telephone that transmits a language by voice or an e-mail that transmits a language by characters is widely used.
[0004]
Furthermore, when users communicate with each other using nonverbal information (such as gestures and facial expressions) between remote locations, for example, a video communication system such as a video conference system that transmits audio and video is used. However, in this video communication system, it is not possible to perform a touching action such as touching the other person's shoulder as in face-to-face communication.
[0005]
Therefore, in recent years, VR (Virtual Reality) technology using haptic sense has been studied. The VR technology mainly supports smooth communication between a device and a user. However, research is also being conducted to support network communication by tactile behavior by applying this technology.
[0006]
This network communication by tactile behavior supports tactile communication between remote places so that the user can feel as if shaking hands with a person in person.
[0007]
However, it is difficult to provide the user with the same feeling as a real interpersonal tactile sensation using VR technology, and such a communication system has not yet appeared.
[0008]
Therefore, for example, Japanese Patent Application Laid-Open No. 61-126890 proposes an emotion transmission system by device operation. This emotion transmission system supports emotion transmission by using a telephone as a device and transmitting grip strength information for gripping the receiver to a communication partner in combination with voice (language information).
[0009]
Further, for example, “CHI97 Extended Abstracts, p363-364” proposes a system for transmitting communication by moving rollers with respect to each other. In this system, tactile communication is supported by using a device independent of a device that transmits linguistic information and transmitting roller rotation information to a communication partner.
[0010]
[Problems to be solved by the invention]
By the way, if you want to express emotions more euphorically than the spoken language, or if you want to convey emotions to the other party without being dependent on the language, or if it is difficult to convey speech simultaneously with noise, etc., nonverbal information Proactive use of communication using the Internet is considered. In such a case, it is conceivable to use only non-verbal information obtained from tactile sensation or vision without using it together with sound.
[0011]
Details of active use of communication using nonverbal information are described in, for example, “Takao Kurokawa, Nonverbal Interface Ohm, p29-30”.
[0012]
However, the emotion transmission system proposed in the above-mentioned Japanese Patent Application Laid-Open No. 61-126890 does not consider such a communication system using only non-verbal information. In addition, since the input unit and the output unit are configured by the same device, it is difficult to perceive them when input and output occur simultaneously.
[0013]
In addition, in the case of the tactile communication system using a roller proposed in the above-mentioned “CHI97 Extended Abstracts, p363-364”, there is a restriction of emotion expression because the rotation direction of the roller is one direction. Therefore, the place of use was limited.
[0014]
The present invention has been made in view of such a situation, and it is possible to support smooth communication using a device that transmits emotions and to distribute music suitable for a communication environment using the device. It is what you want to do.
[0026]
[Means for Solving the Problems]
  The distribution system according to the present invention includes a detection unit that detects pressure, and a transmission unit that outputs time-series data corresponding to the pressure detected by the detection unit and transmits the time-series data to the information processing apparatus via the network. The information processing apparatus includes a storage unit that stores content data in association with the frequency characteristics of the content data, a reception unit that receives time-series data transmitted from the electronic device, and a reception unit that receives the content data. Calculation means for calculating frequency characteristics of time series data, search means for searching for frequency characteristics stored in the storage means for those similar to the frequency characteristics calculated by the calculation means, and search results by the search means And distribution means for reading out content data stored in the storage means and distributing it to the electronic device via the network And wherein the door.
[0027]
In the distribution system of the present invention, pressure is detected by an electronic device, time-series data corresponding to the detected pressure is output and transmitted to the information processing apparatus, and the content data is The time-series data stored in association with the frequency characteristics and transmitted from the electronic device is received, the frequency characteristics of the received time-series data are calculated, and data similar to the calculated frequency characteristics is stored. Search is performed from the frequency characteristics, and content data is read based on the search result and distributed to the electronic device.
[0028]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0029]
FIG. 1 shows a configuration example of a music distribution system to which the present invention is applied. This music distribution system includes a content server 1, a user terminal 4-1, and a user terminal 4-2 connected via the Internet 3.
[0030]
The content server 1 is connected to a content database 2 in which information related to content data (content data, sample data, frequency characteristics, meta information, etc.) is stored. The content server 1 is a computer, and its CPU 11 (FIG. 2) is described later based on server programs (sample data search program, content distribution program, billing program, etc.) stored in a hard disk drive (HDD) 17. Execute the process.
[0031]
The user terminal 4-1 transmits the pressure data input from the input / output device 131 (FIG. 3) to the content server 1 via the Internet 3, and the content provided from the content server 1 based on the pressure information. Receive sample data and meta information for the data. The user terminal 4-1 also receives desired content data from the content server 1 by accessing the content server 1 via the Internet 3 based on a user instruction.
[0032]
The user terminal 4-2 transmits pressure data input from the input / output device 131 to the content server 1 via the Internet 3 and sample data of content data provided from the content server 1 based on the pressure information. And receiving meta information. The user terminal 4-2 also receives desired content data from the content server 1 by accessing the content server 1 via the Internet 3 based on a user instruction.
[0033]
Hereinafter, the user of the user terminal 4-1 will be described as user A, and the user of the user terminal 4-2 will be described as user B.
[0034]
FIG. 2 is a block diagram illustrating an example of an electrical configuration of the content server 1.
[0035]
The CPU 11 executes various processes according to a server program stored in a ROM (Read Only Memory) 12 or a hard disk drive 17. A RAM (Random Access Memory) 13 appropriately stores programs and data necessary for the CPU 11 to execute various processes. The CPU 11, ROM 12, and RAM 13 are connected to each other via a bus 14 and are also connected to an input / output interface 15.
[0036]
A communication unit 16 that communicates with the Internet 3 and a hard disk drive 17 are connected to the input / output interface 15. Further, a drive 18 for installing a program is connected to the input / output interface 15 as necessary, and a magnetic disk 31, an optical disk 32, a magneto-optical disk 33, or a semiconductor memory 34 is mounted.
[0037]
FIG. 3 is a diagram illustrating a configuration example of a notebook personal computer and an input / output device of the user terminal 4-1. 4 to 6 are views showing the appearance of the notebook personal computer.
[0038]
The personal computer 41 basically includes a main body 42 and a display unit 43 that can be opened and closed with respect to the main body 42. FIG. 3 is an external perspective view showing a state in which the display unit 43 is opened with respect to the main body 42. 4 is a plan view of the main body 42, and FIG. 5 is an enlarged view of a jog dial 44 provided on the main body 42, which will be described later. FIG. 6 is a side view of the jog dial 44 provided on the main body 42.
[0039]
The main body 42 has a keyboard 45 that is operated when inputting various characters and symbols, and a pointing device that is operated when moving a mouse pointer (mouse cursor) displayed on an LCD (Liquid Crystal Display) 47. The touch pad 46 and the power switch 48 are provided on the upper surface. A jog dial 44 and an IEEE (Institute of Electrical and Electronics Engineers) 1394 port 101 are provided on the side of the main body 42. Instead of the touch pad 46, a stick-type pointing device can be provided.
[0040]
In addition, an LCD 47 for displaying an image is provided in front of the display unit 43. In the upper right part of the display unit 43, a power lamp PL, a battery lamp BL, a message lamp ML (not shown) provided as necessary, and other lamps including LEDs are provided. Furthermore, a microphone 66 is provided on the upper portion of the display unit 43.
[0041]
Note that the power lamp PL, the battery lamp BL, the message lamp ML, and the like may be provided below the display unit 43.
[0042]
The jog dial 44 is attached, for example, between the key A and the key B arranged on the right side in FIG. 4 of the keyboard 45 on the main body 42 so that the upper surface thereof is almost the same height as the key A and the key B. It has been. The jog dial 44 executes a predetermined process (for example, screen scrolling process) corresponding to the rotation operation indicated by the arrow a in FIG. Execute the icon selection decision process).
[0043]
The jog dial 44 may be arranged on the left side surface of the main body 42, and in the vertical direction between the left side surface or the right side surface of the display unit 43 provided with the LCD 47 or between the G key and H key of the keyboard 45. (In other words, the jog dial 44 may be rotated in the direction of either the Y key or the B key).
[0044]
The jog dial 44 may be arranged at the center of the front surface of the main body 42 so that it can be operated with the thumb while operating the touch pad 46 with the index finger. It may be arranged in the direction, or may be arranged in the vertical direction between the right button and the left button of the touch pad 46. Further, the jog dial 44 is not limited to the vertical direction and the horizontal direction, and may be arranged at a predetermined angle in an oblique direction that is easy to operate with each finger. In addition, the jog dial 44 can also be arranged at a position where it can be operated with the thumb on the side of the mouse, which is a pointing device. As the jog dial, it is possible to use a rotary operation type electronic component with a push switch disclosed in JP-A-8-203387, which is filed by the applicant and a joint applicant.
[0045]
The IEEE1394 port 101 has a structure based on a standard defined in IEEE1394, and is connected to a cable based on the standard defined in IEEE1394.
[0046]
In the example of FIG. 3, an input / output device 131 is connected to the IEEE1394 port 101 via an IEEE1394 cable 132. The IEEE1394 port 101 receives data sent from the input / output device 131 via the IEEE1394 cable 132 and supplies the data to the personal computer 41, or outputs data from the personal computer 41 via the IEEE1394 cable 132. 131 is transmitted. As will be described later, data sent from the input / output device 131 and data output from the personal computer 41 to the input / output device 131 are data corresponding to pressure.
[0047]
The input / output device 131 is provided as a device operated when inputting non-verbal information expressing a user's emotion other than character information input using the keyboard 45 provided in the main body 42. When the user grips the input / output device 131 and performs a gripping operation, the input device 131 sends data (pressure information) corresponding to the gripping operation to the personal computer 41 via the IEEE1394 cable 132. The input / output device 131 outputs pressure corresponding to pressure information input from the personal computer 41 via the IEEE1394 cable 132.
[0048]
FIG. 7 is a block diagram showing an example of the electrical configuration of the personal computer 41.
[0049]
A central processing unit (CPU) 51 is composed of, for example, a Pentium (trademark) processor manufactured by Intel, and is connected to a host bus 52. Further, a bridge 53 (so-called north bridge) is connected to the host bus 52, and the bridge 53 has an AGP (Accelerated Graphics Port) 50 and is connected to a PCI (Peripheral Component Interconnect / Interface) bus 56. ing.
[0050]
The bridge 53 is composed of, for example, 400BX, which is an AGP Host Bridge Controller manufactured by Intel, and controls the CPU 51, RAM 54 (so-called main memory), and the like. Further, the bridge 53 controls the video controller 57 via the AGP 50. The bridge 53 and the bridge (so-called south bridge (PCI-ISA Bridge)) 58 constitute a so-called chip set.
[0051]
The bridge 53 is further connected to the cache memory 55. The cache memory 55 is configured by a memory that can execute a write or read operation at a higher speed than the RAM 54 such as an SRAM (Static RAM), and caches (temporarily stores) a program or data used by the CPU 51. .
[0052]
The CPU 51 includes a cache memory that is primary (a memory that can operate at a higher speed than the cache memory 55 and is controlled by the CPU 51 itself).
[0053]
The RAM 54 is composed of, for example, a DRAM (Dynamic RAM), and stores a program executed by the CPU 51 or data necessary for the operation of the CPU 51. Specifically, for example, the RAM 54 is loaded from the HDD (Hard Disk Drive) 67 at the time when the startup is completed, and the pressure detection program 54A, the reproduction program 54B, the jog dial state monitoring program 54C, the jog dial driver 54D, the operating program ( OS) 54E, display control program 54F, and other application programs 54G1To 54GnRemember.
[0054]
The pressure detection program 54A is a program for detecting the pressure applied to the input / output device 131 based on output data input from the input / output device 131 via the IEEE1394 cable 132 and the IEEE1394 port 101. The pressure detection program 54 </ b> A also detects pressure data transmitted via the Internet 3.
[0055]
The reproduction program 54B is a program for outputting the content sample data transmitted via the Internet 3 to the speaker 65 via the sound controller 64 for reproduction.
[0056]
The jog dial state monitoring program 54C receives a notification as to whether or not it corresponds to the jog dial 44 from each of the application programs described above. It is a program for making it display.
[0057]
The jog dial state monitoring program 54C detects an event of the jog dial 44 (operation in which the jog dial 44 is rotated in the direction indicated by the arrow a in FIG. 5 or pressed in the direction indicated by the arrow b in FIG. 5) A process corresponding to the detected event is executed. The jog dial state monitoring program 54C has a list for receiving notifications from application programs. The jog dial driver 54D executes various functions in response to the operation of the jog dial 44.
[0058]
The OS (Operating System) 54E is a basic computer such as the so-called Windows 95 (trademark) or Windows 98 (trademark) of Microsoft Corporation, or the so-called Mac OS (trademark) of Apple Computer Corporation. This is a program for controlling the operation.
[0059]
The display control program 54F controls the mouse pointer displayed on the LCD 47 to correspond to the event of the jog dial 44 based on the event (rotation or pressing) of the jog dial 44 detected by the jog dial state monitoring program 54C. It is a program.
[0060]
The video controller 57 is connected to the bridge 53 via the AGP 50, receives data (image data or text data) supplied from the CPU 51 via the AGP 50 and the bridge 53, and receives an image corresponding to the received data. Generate data. The video controller 57 displays an image corresponding to the generated image data on the LCD 47 of the display unit 43.
[0061]
A sound controller 64 is connected to the PCI bus 56. The sound controller 64 takes in a signal corresponding to sound from the microphone 66, generates data corresponding to sound, and outputs the data to the RAM 54. Alternatively, the sound controller 64 drives the speaker 65 and causes the speaker 65 to output sound.
[0062]
A modem 75 is connected to the PCI bus 56. The modem 75 transmits predetermined data to the content server 1 via the public telephone line 76 and the Internet 3, and receives predetermined content data or sample data from the content server 1 via the Internet 3.
[0063]
The PC card slot interface 111 is connected to the PCI bus 56 and supplies the data supplied from the interface card 112 installed in the slot 49 to the CPU 51 or the RAM 54 and outputs the data supplied from the CPU 51 to the interface card 112. To do. The drive 113 is connected to the PCI bus 56 via the PC card slot interface 111 and the interface card 112.
[0064]
The drive 113 reads data recorded in the mounted magnetic disk 31, optical disk 32, magneto-optical disk 33, or semiconductor memory 34, and reads the read data to the PC card slot interface 111, interface card 112, and PCI bus. The data is supplied to the RAM 54 via 56.
[0065]
A bridge 58 is also connected to the PCI bus 56. The bridge 58 is constituted by, for example, PIIX4E manufactured by Intel Corporation, and incorporates an IDE (Integrated Drive Electronics) controller / configuration register 59, a timer circuit 60, an IDE interface 61, a USB interface 68, and the like. The bridge 58 controls various I / Os such as a device connected to the IDE bus 62 or an ISA / EIO (Industry Standard Architecture / Extended Input Output) bus 63 or a device connected via the I / O interface 69. Control O (Input / Output).
[0066]
The IDE controller / configuration register 59 includes two IDE controllers, a so-called primary IDE controller and a secondary IDE controller, a configuration register, and the like (both not shown).
[0067]
An HDD 67 is connected to the primary IDE controller via an IDE bus 62. Further, when a so-called IDE device such as a CD-ROM drive (not shown) or an HDD (not shown) is attached to another IDE bus, the attached IDE device is electrically connected to the secondary IDE controller.
[0068]
The HDD 67 includes a pressure detection program 67A, a reproduction program 67B, a jog dial state monitoring program 67C, a jog dial driver 67D, OS 67E, a display control program 67F, and a plurality of other application programs 67G.1To 67GnFurthermore, data used in those programs are recorded. Pressure detection program 67A, pressure conversion program 67B, jog dial state monitoring program 67C, jog dial driver 67D, OS 67E, display control program 67F, and application program 67G recorded in the HDD 671To 67GnAre sequentially supplied to and loaded into the RAM 54 in the course of startup (boot-up) processing.
[0069]
The USB interface 68 receives the pseudo noise code from the connected handy GPS receiver 106 via the USB port 107, and transmits the received pseudo noise code to the RAM 54 via the PCI bus 56.
[0070]
The timer circuit 60 supplies data indicating the current time to the CPU 51 via the PCI bus 56 in response to a request from the display control program 67F.
[0071]
An I / O interface 69 is further connected to the ISA / EIO bus 63. The I / O interface 69 is composed of an embedded controller, in which a ROM 70, a RAM 71, and a CPU 72 are mutually connected.
[0072]
The ROM 70 stores in advance an IEEE1394 interface program 70A, an LED control program 70B, a touch pad input monitoring program 70C, a key input monitoring program 70D, a wakeup program 70E, a jog dial state monitoring program 70F, and the like.
[0073]
The IEEE1394 interface program 70A transmits and receives data (data stored in a packet) conforming to the standard defined by IEEE1394 via the IEEE1394 port 101. The LED control program 70B controls lighting of the power lamp PL, the battery lamp BL, the message lamp ML as necessary, or other lamps composed of LEDs. The touch pad input monitoring program 70C is a program for monitoring input from the touch pad 46 corresponding to the user's operation.
[0074]
The key input monitoring program 70D is a program for monitoring input from the keyboard 45 or other key switches. The wake-up program 70E checks whether or not a preset time has been reached based on the data indicating the current time supplied from the timer circuit 60 of the bridge 58. When the preset time is reached, the wake-up program 70E This is a program for managing the power supply of each chip constituting the personal computer 41 in order to start processing (or program) or the like. The jog dial state monitoring program 70F is a program for constantly monitoring whether or not the rotary encoder of the jog dial 44 has been rotated or whether or not the jog dial 44 has been pressed.
[0075]
Further, a BIOS (Basic Input / Output System) 70G is written in the ROM 70. The BIOS 70G controls data transfer (input / output) between the OS or application program and peripheral devices (such as the keyboard 45, the touch pad 46, or the HDD 67).
[0076]
The RAM 71 has registers for LED control, touch pad input status, key input status, or set time, I / O register for monitoring jog dial status, IEEE1394 I / F register, and the like as registers 71A to 71F. . The key input status register stores a predetermined operation key flag when the jog dial 44 is pressed. The set time register is set with a predetermined time corresponding to the operation of the keyboard 45 or the like by the user.
[0077]
Further, the I / O interface 69 is connected to the jog dial 44, the keyboard 45, the touch pad 46, the IEEE1394 port 101, and the like via connectors not shown, and is connected to the jog dial 44, the keyboard 45, or the touch pad 46, respectively. A signal corresponding to the operation is output to the ISA / EIO bus 63. The I / O interface 69 controls data transmission / reception with the connected input / output device 131 via the IEEE1394 port 101. Furthermore, the I / O interface 69 is connected to a power lamp PL, a battery lamp BL, a message lamp ML, a power control circuit 73, and other lamps including LEDs.
[0078]
The power control circuit 73 is connected to a built-in battery 74 or an AC power supply, supplies necessary power to each block, and performs control for charging the built-in battery 74 and a second battery of a peripheral device. The I / O interface 69 monitors the power switch 48 that is operated when the power is turned on or off.
[0079]
The I / O interface 69 can execute the IEEE1394 interface program 70A to the BIOS 70G by a power supply provided inside even when the power is off. That is, the IEEE1394 interface program 70A to BIOS 70G are always operating even when any window is not open on the LCD 47 of the display unit 43.
[0080]
Therefore, even when the power switch 48 is in the off state and the CPU 51 is not executing the OS 54E, the I / O interface 69 executes the jog dial state monitoring program 70F. For example, in the power saving state or in the power off state. When the jog dial 44 is pressed, the personal computer 41 activates predetermined software or script file processing set in advance.
[0081]
Thus, in the personal computer 41, since the jog dial 44 has a programmable power key (PPK) function, it is not necessary to provide a dedicated key.
[0082]
FIG. 8 is a diagram showing a configuration example of the appearance of the input / output device of FIG. FIG. 9 is a diagram illustrating an internal configuration example of the input / output device.
[0083]
The main body of the input / output device 131 is formed of an elliptical sphere of synthetic resin or the like, and is expanded by air pressure. Grooves 141 </ b> R and 141 </ b> L are provided at predetermined positions on the surface of the input / output device 131 as marks that allow the user to accurately grasp the main body. The grooves 141R and 141L are arranged at positions separated by 180 degrees.
[0084]
In general, when a human performs a motion of grasping a hand, the force is mainly applied to the index finger, middle finger, and ring finger of the hand. Therefore, the grooves 141R and 141L are arranged such that the portion that hits the three fingers of the index finger, middle finger, and ring finger is located at the pressure input portion 151, and the portion that hits the palm of the hand is located at the pressure output portion 159. It is provided to make it.
[0085]
Specifically, when the user holds the input / output device 131 with the right hand, as shown in FIG. 8A, the input / output device 131 is held such that the thumb is positioned in the groove 141R. On the other hand, when the user holds the input / output device 131 with the left hand, as shown in FIG. 8B, the input / output device 131 is held such that the thumb is positioned in the groove 141L.
[0086]
For example, “R” is written in the vicinity of the groove 141R, and “L” is written in the vicinity of the groove 141L. For example, the groove 141R for the right thumb or the thumb of the left hand is given to the user. It can be known that the groove 141L is for use.
[0087]
The pressure input unit 151 has a hollow inside, and when pressure is applied by the user (that is, when a gripping operation is performed), the air pressure corresponding to the applied pressure is pressured through the tube 160-1. Output to the sensor 152. The pressure sensor 152 detects the pressure (air pressure) input from the pressure input unit 151 and outputs analog data corresponding to the pressure to the A / D (Analog to Digital) conversion unit 154 via the terminal b of the switch 153. To do.
[0088]
The A / D conversion unit 154 converts analog data corresponding to the pressure supplied from the pressure sensor 152 into digital data, and supplies the digital data to the personal computer 41 via the IEEE1394 cable 132. A D / A (Digital to Analog) conversion unit 155 converts digital data corresponding to the pressure supplied from the personal computer 41 via the IEEE1394 cable 132 into analog data, and via terminals c and a of the switch 153. Supply to the piston drive unit 156.
[0089]
The switch 153 is connected so that the terminal a and the terminal c are connected in the normal mode, but is switched so that the terminal a and the terminal b are connected in the calibration mode described later.
[0090]
The piston drive unit 156 drives the piston 157 based on analog data corresponding to the pressure supplied from the D / A conversion unit 155 via the switch 153. The cylinder 158 is filled with a predetermined amount of air in advance, and the air (ie, air pressure) pressed by driving the piston 157 is output to the pressure output unit 159 via the tube 160-2.
[0091]
The pressure output unit 159 has a hollow inside and is expanded by the air pressure fed from the cylinder 158.
[0092]
A partition is provided between the pressure input unit 151 and the pressure output unit 159, and the pressure output unit 159 is designed not to expand due to the pressure applied to the pressure input unit 151.
[0093]
Since the user terminal 4-2 has the same configuration as the user terminal 4-1, the description thereof is omitted.
[0094]
FIG. 10 is a diagram illustrating an example of a recording format of information related to content data stored in the content database 2.
[0095]
In the example of FIG. 10, “content data”, “content sample data”, “frequency characteristic data”, and “meta information” are recorded in association with each other. The content data indicates the music data itself, the content sample data indicates the music sample data at the beginning of the content data (for example, data for 10 seconds from the beginning of the song), and the frequency characteristic data is the content data. The meta information indicates information related to the content data (for example, song name, composer, lyricist, singer, genre, etc.).
[0096]
Next, before describing the embodiment of the present invention, pressure input processing, pressure output processing, calibration processing of the input / output device 131, and communication operations of the user terminal 4-1 and the user terminal 4-2 will be described. This will be described in order with reference to FIGS.
[0097]
FIG. 11 is a flowchart for explaining the pressure input process executed by the user terminal 4-1. In starting this process, the user terminals 4-1 and 4-2 are connected to each other via the Internet 3 so that the user A and the user B can communicate with each other.
[0098]
In step S1, the pressure input unit 151 of the input / output device 131 of the user terminal 4-1 determines whether or not a pressure is applied by the user A, that is, whether or not a gripping operation is performed, and the pressure is applied. Wait until.
[0099]
When it is determined in step S1 that the pressure is applied by the user A, the pressure input unit 151 sends the air pressure corresponding to the applied pressure to the pressure sensor 152 via the tube 160-1. In step S <b> 2, the pressure sensor 152 detects the air pressure sent from the pressure input unit 151, and outputs analog data corresponding to the detected pressure to the A / D conversion unit 154 via the terminal b of the switch 153. In step S <b> 3, the A / D conversion unit 154 converts the input analog data into digital data and supplies the digital data to the personal computer 41 via the IEEE1394 cable 132.
[0100]
In step S4, the CPU 51 of the personal computer 41 reads the pressure detection program 67A stored in the hard disk drive 67, executes the pressure detection program 67A, and outputs digital data corresponding to the pressure supplied from the input / output device 131. To detect. Then, the CPU 51 transmits the detected pressure data to the user terminal 4-2 via the modem 75 and the Internet 3. Thereafter, the processing returns to step S1, and the above-described processing is repeated while communication between the user A and the user B is performed.
[0101]
FIG. 12 is a flowchart for explaining the pressure output process executed by the user terminal 4-1. In starting this process, the user terminals 4-1 and 4-2 are connected to each other via the Internet 3 so that the user A and the user B can communicate with each other.
[0102]
In step S11, the CPU 51 of the personal computer 41 of the user terminal 4-1 reads the pressure detection program 67A stored in the hard disk drive 67, executes the pressure detection program 67A, and executes the pressure detection program 67A via the Internet 3. 2 determines whether or not pressure data is input, and waits until pressure data is input.
[0103]
If it is determined in step S <b> 11 that pressure data has been input, the process proceeds to step S <b> 12 and the CPU 51 outputs the input pressure data to the input / output device 131 via the IEEE1394 port 101 and the IEEE1394 cable 132. In step S <b> 13, the D / A conversion unit 155 converts the input pressure data into analog data, and outputs the analog data to the piston drive unit 156 via the switch 153. The piston drive unit 156 drives the piston 157 based on the analog data corresponding to the input pressure, and outputs a predetermined air pressure from the cylinder 158 to the pressure output unit 159. The pressure output unit 159 is expanded by the air pressure sent from the cylinder 158.
[0104]
Thereafter, the processing returns to step S11, and the above-described processing is repeated while communication between the user A and the user B is performed.
[0105]
By the way, the pressure applied to the input / output device 131 varies for each user. That is, the user A of the user terminal 4-1 and the user B of the user terminal 4-2 do not necessarily have the same grip strength, and it is necessary to calibrate the grip strength for each user.
[0106]
FIG. 13 is a flowchart for explaining the calibration process executed by the user terminal 4-1. In starting this process, the normal mode is switched to the calibration mode based on an operation performed by the user.
[0107]
In step S21, the switch 153 is switched from the terminal c to the terminal b by an operation performed by the user A. In step S22, the pressure input unit 151 determines whether or not the pressure is applied by the user A, and waits until the pressure is applied. At this time, the user A applies the maximum gripping force (pressure) that the user A has. When pressure is applied, the pressure input unit 151 sends air pressure corresponding to the applied pressure to the pressure sensor 152.
[0108]
In step S23, the pressure sensor 152 detects the air pressure sent from the pressure input unit 151, and sets a magnification that can be converted into a reference level pressure. That is, an initial value (reference level) of pressure is stored in the pressure sensor 152 in advance, and the magnification at which the detected pressure is compared with the stored initial value so that the pressure can be substantially converted to the reference level. Is set. Thereby, the maximum grip strength of the user A is measured, and the pressure calibration is performed.
[0109]
In step S25, the pressure sensor 152 converts the detected pressure to a reference level pressure based on the magnification set in the process of step S24, and the analog data corresponding to the converted pressure is converted to the terminals a and 153 of the switch 153. It outputs to the piston drive part 156 via the terminal c. The piston driving unit 156 drives the piston 157 based on the analog data corresponding to the input pressure, and outputs a predetermined air pressure from the cylinder 158. The pressure output unit 159 is expanded by the air pressure sent from the cylinder 158.
[0110]
In step S26, the switch 153 determines whether or not the terminal A has been switched from the terminal b to the terminal c by the operation performed by the user A, that is, determines whether or not the calibration mode has been switched to the normal mode. If it is determined that 153 is not switched, the process proceeds to step S27.
[0111]
In step S27, the pressure input unit 151 determines whether or not pressure is applied by the user A. If it is determined that no pressure is applied, the process returns to step S26 and repeats the above-described processing.
[0112]
If it is determined in step S27 that pressure has been applied, the pressure input unit 151 sends the air pressure corresponding to the applied pressure to the pressure sensor 152, and the process proceeds to step S28.
[0113]
In step S28, the pressure sensor 152 detects the air pressure sent from the pressure input unit 151, converts the detected pressure based on the magnification set in the process of step S24, and analog corresponding to the converted pressure. Data is output to the piston driver 156 via the switch 153. The piston driving unit 156 drives the piston 157 based on the analog data corresponding to the input pressure, and outputs a predetermined air pressure from the cylinder 158. The pressure output unit 159 is expanded by the air pressure sent from the cylinder 158. Thereafter, the processing returns to step S26, and the above-described processing is repeated until it is determined in step S26 that the switch 153 has been switched.
[0114]
In this manner, after performing calibration, the user A applies pressure by changing the strength of the input / output device 131, so that the pressure (grip strength) applied by the user A is applied to the user B (that is, the communication partner). It can be confirmed how much pressure is transmitted.
[0115]
FIG. 14 is a diagram for explaining a communication operation between the user terminal 4-1 and the user terminal 4-2. Here, in order to simplify the description, the above-described piston drive unit 156, piston 157, and cylinder 158 will be collectively referred to as movable units 161-1 and 161-2.
[0116]
When the user A grips the input / output device 131-1 and performs a gripping operation (that is, when pressure is applied), the pressure input unit 151-1 changes the air pressure corresponding to the applied pressure to the pressure sensor 152-1. To send. The pressure sensor 152-1 detects the supplied air pressure, and outputs analog data corresponding to the detected pressure to the A / D conversion unit 154-1. The A / D conversion unit 154-1 converts the input analog data into digital data and outputs the digital data to the personal computer 41-1. The personal computer 41-1 detects (detects) the input pressure data and transmits it to the user terminal 4-2 via the Internet 3.
[0117]
The personal computer 41-2 of the user terminal 4-2 receives the pressure data transmitted from the user terminal 4-1 via the Internet 3, and receives the pressure data from the D / A conversion unit 155-of the input / output device 131-2. 2 is supplied. The D / A conversion unit 155-2 converts the input pressure data into analog data, and outputs the analog data to the movable unit 161-2. The movable part 161-2 sends a predetermined air pressure to the pressure output part 159-2 based on analog data corresponding to the input pressure. The pressure output unit 159-2 is expanded by the air pressure sent from the movable unit 161-2. Thereby, the user B holding the input / output device 131-2 can feel the gripping operation of the user A.
[0118]
When the user B grips the input / output device 131-2 and performs the gripping operation in response to the gripping operation of the user A (when a response corresponding to the operation of the user A is returned), the pressure input unit 151-2 The air pressure corresponding to the applied pressure is sent to the pressure sensor 152-2. The pressure sensor 152-2 detects the supplied air pressure and outputs it to the A / D conversion unit 154-2 via analog data corresponding to the detected pressure. The A / D conversion unit 154-2 converts the input analog data into digital data and outputs the digital data to the personal computer 41-2. The personal computer 41-2 detects the input pressure data and transmits it to the user terminal 4-1 via the Internet 3.
[0119]
The personal computer 41-1 of the user terminal 4-1 receives the pressure data transmitted from the user terminal 4-2 via the Internet 3 and receives it from the D / A converter 155- of the input / output device 131-1. 1 is supplied. The D / A conversion unit 155-1 converts the input pressure data into analog data, and outputs the analog data to the movable unit 161-1. The movable part 161-1 sends a predetermined air pressure to the pressure output part 159-1 based on analog data corresponding to the input pressure. The pressure output unit 159-1 is expanded by the air pressure sent from the movable unit 161-1. Thereby, the user A holding the input / output device 131-1 can feel the gripping operation of the user B. That is, it is possible to feel the reaction returned from the other party according to the user's operation.
[0120]
As described above, the user A and the user B operate the input / output devices 131-1 and 131-2, respectively, thereby further enriching the communication expression method.
[0121]
Further, by providing a switch (not shown) that amplifies the pressure to a predetermined amount or more in the personal computer 41 or the input / output device 131, for example, when it is desired to show a more impressive expression to the other party during communication, the personal computer 41 or the input / output device 131 is turned on and a gripping operation is performed using the input / output device 131, so that a strong impression can be given to the other party.
[0122]
In the above description, when communication is performed using the input / output devices 131-1 and 131-2, the description has been made via the Internet 3. However, it is of course possible to perform communication without using the Internet 3. is there.
[0123]
In the above description, an example in which air pressure is used as the pressure applied to the input / output device 131 has been described. However, for example, air pressure, water pressure, oil pressure, or the like can be applied.
[0124]
In the above description, the input / output device 131 has an elliptical sphere that can be grasped by a hand. For example, the input / output device 131 can be held by the chest and the upper arm. Input can be performed using the weight of the upper body. Thereby, for example, although a gripping operation is difficult, even a user who can perform upper body movement can easily perform the operation.
[0125]
Furthermore, in the above, when the users communicate with each other, the user's gesture (grip motion) can be transmitted to the partner or the partner's gesture can be felt. For example, by providing the input / output device 131 with a temperature sensor and a heater, it is possible to transmit the body temperature to the partner or to feel the body temperature of the partner. As a result, communication with a remote party can be felt more familiar.
[0126]
By the way, as described above, when the user A and the user B are operated by the two input / output devices 131-1 and 131-2 respectively, and an environment is prepared so that the gripping operations can be performed via the network. The two users have a human characteristic that they naturally perform actions such as adjusting the rhythm or breaking the rhythm.
[0127]
This is described, for example, in “Effect of grip strength interface in informal communication between Abe, Omura, and remote places, 1999, pp77-82, the 5th meeting of the Human Interface Society Research Group”.
[0128]
For example, the user A performs the gripping operation twice in succession, the user B receives the operation of the user A, performs the gripping operation once, and further, the user A receives the operation of the user B and performs the gripping operation. Let us consider a case where the operation is repeated twice.
[0129]
The user terminal 4-1 transmits time series data corresponding to the grip strength of the user A to the content server 1 by a gripping operation performed by the user A. Similarly, the user terminal 4-2 also transmits time series data corresponding to the grip strength of the user B to the content server 1 by the gripping operation performed by the user B.
[0130]
The content server 1 combines (adds) the time-series data sequentially transmitted from the user terminal 4-1 or 4-2, and performs frequency analysis on the combined time-series data, so that the two are performed. Extract the rhythm of gripping motion. Then, the content server 1 searches for music that matches the extracted rhythm and distributes it to the two users, so that the music that matches the rhythm of their communication is displayed in the background for the two users. Will flow into.
[0131]
In this way, it is possible to realize a new music distribution system that distributes music that matches the rhythm of communication.
[0132]
Next, details of the music distribution system to which the present invention is applied will be described.
[0133]
FIG. 15 is a block diagram illustrating a configuration example of each function of the music distribution system.
[0134]
When a gripping force (pressure) is applied by the user A, the input / output device 131-1 of the user terminal 4-1 outputs time series data corresponding to the gripping force to the transmission unit 172-1 of the personal computer 41-1. The input / output device 131-1 also expands the main body based on the pressure data supplied from the control unit 171-1 of the personal computer 41-1.
[0135]
Under the control of the control unit 171-1, the transmission unit 172-1 sends time series data corresponding to the grip strength input from the input / output device 131-1 together with the user ID registered in advance by the user A to the Internet 3 Is transmitted to the content server 1. The receiving unit 173-1 receives sample data, content data, meta information, or the like transmitted from the content server 1 via the Internet 3.
[0136]
The playback unit 174-1 includes, for example, the sound controller 64 and the speaker 65 described above, and outputs and plays back sound corresponding to the sample data or content data supplied from the control unit 171-1. The display unit 176-1 includes, for example, the video controller 57 and the LCD 47 described above, and outputs and displays an image corresponding to the data (meta information) supplied from the control unit 171-1. The input unit 177-1 includes, for example, the jog dial 44, the keyboard 45, and the touch pad 46 described above, and is operated by the user A when inputting various commands to the control unit 171-1.
[0137]
The sample data / meta information storage unit 175-1 stores the sample data and meta information received by the receiving unit 173-1 under the control of the control unit 171-1. The content data storage unit 178-1 stores the content data received by the reception unit 173-1 under the control of the control unit 171-1.
[0138]
The control unit 171-1 supplies the sample data and meta information received by the receiving unit 173-1 to the sample data / meta information accumulating unit 175-1 and accumulates the sample data and meta information in the sample data / meta information accumulating unit 175-1. Sample data and meta information are read from the meta information storage unit 175-1 and supplied to the reproduction unit 174-1 and the display unit 176-1, respectively, for reproduction or display. The control unit 171-1 also supplies the content data received by the receiving unit 173-1 to the content data storage unit 178-1 and stores the content data therein, and from the content data storage unit 178-1 as necessary. The content data is read out, supplied to the playback unit 174-1, and played back. The control unit 171-1 further requests the content server 1 to distribute predetermined content based on a user operation input from the input unit 177-1.
[0139]
Since the user terminal 4-2 has the same configuration as each function of the user terminal 4-1, the description thereof is omitted.
[0140]
The receiving unit 191 of the content server 1 receives time-series data corresponding to the grip strength transmitted from the user terminal 4-1 or 4-2 via the Internet 3.
[0141]
The control unit 192 sequentially supplies the time series data received by the reception unit 191 to the analysis unit 193, and refers to the content database 2 based on the analysis result (that is, frequency characteristics) obtained from the analysis unit 193, Whether there is something similar to the analysis result is searched. The control unit 192 also reads the corresponding content data from the content database 2 based on the content distribution request from the user terminal 4-1 or 4-2 received by the receiving unit 191, and supplies the content data to the distribution unit 195. The charging information is acquired from the charging unit 194.
[0142]
Next, time-series data transmission processing executed by the user terminals 4-1 and 4-2 will be described.
[0143]
First, when the input / output device 131-1 is gripped by the user A and a gripping operation is performed (that is, when a gripping force is applied), time series data corresponding to the gripping force is transmitted to the transmission unit 172 of the personal computer 41-1. To -1. The time series data corresponding to the pressure output by the input / output device 131-1 is as shown in FIG. The transmission unit 172-1 transmits the time-series data input from the input / output device 131-1 to the content server 1 via the Internet 3 together with the user ID registered in advance by the user A.
[0144]
Similarly, when the input / output device 131-2 is gripped by the user B and a gripping operation is performed, time-series data corresponding to the gripping force is output to the transmission unit 172-2 of the personal computer 41-2. The time series data corresponding to the pressure output by the input / output device 131-2 is as shown in FIG. 16B, for example. The transmission unit 172-2 transmits the time series data input from the input / output device 131-2 to the content server 1 through the Internet 3 together with the user ID registered in advance by the user B.
[0145]
In this way, the time series data (FIG. 16A) generated in the user terminal 4-1 is transmitted to the content server 1 through the transmission unit 172-1 and the Internet 3 together with the user ID of the user A. The Similarly, the time-series data generated in the user terminal 4-2 (FIG. 16B) is transmitted to the content server 1 via the transmission unit 172-2 and the Internet 3 together with the user ID of the user B.
[0146]
The content server 1 combines the time-series data transmitted from the user terminal 4-1 and the time-series data transmitted from the user terminal 4-2, so that the time series as shown in FIG. Receive data. Then, the content server 1 analyzes the frequency characteristics of the received time series data, and searches for music data (content data) similar to the analyzed frequency characteristics, thereby matching the communication between the two users. Music data can be distributed.
[0147]
In order to search for music data similar to the frequency characteristics of the analyzed time-series data, the spectrum data of the music data is calculated in advance, and the calculated spectrum data is assigned to each music data as the frequency characteristics. There is a need.
[0148]
Thus, with reference to the flowchart of FIG. 17, a process for giving spectrum data to music data will be described.
[0149]
In step S <b> 41, the control unit 192 of the content server 1 generates sample data necessary for distributing music suitable for user communication from the content data (that is, music data) stored in the content database 2. As a method for generating sample data, for example, content data at the beginning of content data (for example, data for 10 seconds from the beginning of a song) is extracted and generated as sample data.
[0150]
In step S42, the analysis unit 193 calculates a short-time power spectrum of the sample data generated in the process of step S41.
[0151]
Here, the calculation process of the short-time power spectrum of the sample data will be described in more detail with reference to the flowchart of FIG.
[0152]
In step S51, the analysis unit 193 applies a low-pass filter in order to extract only the low frequency related to the rhythm of the sample data. The cut-off frequency is, for example, a frequency of 50 Hz.
[0153]
In step S52, the analysis unit 193 multiplies the sample data from which only the low frequency has been extracted in the process of step S51 by a window function to cut out a certain section (N points) on the time axis. As a result, as shown in FIG. 19A, data in a section where the width of the window function is N points is cut out. The width of the window function is, for example, 512 points.
[0154]
In step S53, the analysis unit 193 performs fast Fourier transform (FFT) processing on the data cut out in step S52. Thereby, as shown in FIG. 19 (B), it is converted into a value on the frequency axis, and a power spectrum is calculated. After the power spectrum is calculated, the process returns to step S43 in FIG.
[0155]
In step S43, the analysis unit 193 adds spectrum data obtained as a set (vector) of numerical values of N / 2 points obtained by the short-time power spectrum calculation process to the music data as frequency characteristics of the music data. To do.
[0156]
In this way, the content server 1 obtains the above-described spectrum data for each music data, assigns the spectrum data (that is, frequency characteristics) to each music data, and accumulates them in the content database 2. Then, as will be described later, the content server 1 analyzes the frequency characteristics of the time-series data transmitted from the user terminal 4-1 or 4-2, and sets the music data suitable for communication between the two users. Can be distributed to users.
[0157]
Next, the sample data transmission process executed by the content server 1 will be described with reference to the flowchart of FIG. In this process, the time-series data received by the receiving unit 191 of the content server 1 is the time-series data transmitted from the user terminals 4-1 and 4-2 as shown in FIG. Suppose they are combined.
[0158]
In step S61, the reception unit 191 of the content server 1 determines whether or not the time series data transmitted from the user terminal 4-1 or 4-2 is received via the Internet 3, and the time series data is Wait until it is received.
[0159]
If it is determined in step S61 that time-series data has been received, the process proceeds to step S62, and the control unit 192 supplies the time-series data received in the process of step S61 to the analysis unit 193. The analysis unit 193 calculates a short-time power spectrum of the supplied time series data. That is, the same processing as that described above with reference to the flowchart of FIG. 18 is executed. Here, since time-series data is sequentially received, the power spectrum for each fixed time T is obtained by executing the power spectrum calculation process while shifting the window function at fixed time intervals T in the time T1 to T7. Can be requested. The time interval T is, for example, 30 seconds.
[0160]
In step S63, the control unit 192 refers to the content database 2 based on the short-time power spectrum for each fixed time interval T calculated by the analysis unit 193, and the power spectrum (that is, the spectrum) assigned to the music data. Similarity to (data) is calculated using a technique such as a DP matching method, for example.
[0161]
In step S64, the control unit 192 compares the similarity between the received time-series data and the spectrum data attached to the music data, calculated in the process of step S63, with a preset threshold value. This threshold value can be arbitrarily set by the administrator of the content server 1. Then, the control unit 192 searches the content database 2 for music data to which spectrum data whose similarity exceeds a threshold value.
[0162]
In step S65, the control unit 192 determines whether or not there is music data to which spectrum data whose similarity exceeds a threshold is given, that is, music data to which spectrum data whose similarity exceeds a threshold is given as a content database. If there is music data to which spectrum data whose similarity exceeds the threshold is found, the process proceeds to step S66.
[0163]
In step S66, the control unit 192 selects the spectrum data having the highest similarity among the spectrum data having the similarity exceeding the threshold (for example, the frequency characteristic having the highest similarity is the characteristic A). In step S67, the control unit 192 includes meta data including sample data and a song name and a composer name corresponding to the music data (in this case, content A) to which the spectrum data having the highest similarity is given. Read from the content database 2. That is, the sample A and meta information A corresponding to the content A are read out.
[0164]
In step S68, the control unit 192 supplies the sample data and meta information (in this case, sample A and meta information A) read out in step S67 to the distribution unit 195. The distribution unit 195 transmits the supplied sample data and meta information (including the communication partner's user ID) to the user terminals 4-1 and 4-2 via the Internet 3, respectively.
[0165]
Thereby, the sample A and meta information A are distributed to the user terminal 4-1 together with the user ID of the user B, and the sample A and meta information A are transmitted to the user terminal 4-2 together with the user ID of the user A. be delivered. Thereafter, the process returns to step S61, and the above-described process is repeated.
[0166]
In step S65, it is determined that there is no music data to which spectrum data whose similarity exceeds a threshold is added, that is, music data to which spectrum data whose similarity exceeds a threshold is not searched from the content database 2. If YES in step S69, the control unit 192 determines that there is no corresponding sample data, does not perform steps S66 to S68 (that is, does not transmit sample data), returns to step S61, and returns to the above-described step. Repeat the subsequent processing.
[0167]
When the sample data and meta information are distributed from the content server 1, the receiving unit 173-1 of the user terminal 4-1 receives the distributed sample data and meta information (in this case, the samples A and B). The meta information A) including the user ID is received and supplied to the control unit 171-1. The control unit 171-1 outputs the supplied sample data to the reproduction unit 174-1 for reproduction, and supplies the supplied sample data and meta information to the sample data / meta information storage unit 175-1. To accumulate.
[0168]
The reception unit 173-2 of the user terminal 4-2 receives the distributed sample data and meta information (in this case, the meta information A including the sample A and the user ID of the user A), and the control unit 171-2. To supply. The control unit 171-2 outputs the supplied sample data to the reproduction unit 174-2 for reproduction, and also supplies the supplied sample data and meta information to the sample data / meta information storage unit 175-2. To accumulate.
[0169]
As described above, the content server 1 calculates the short-time power spectrum data from the time-series data obtained by combining the time-series data transmitted from the user terminals 4-1 and 4-2 (that is, two users). ), And the degree of similarity between the calculated power spectrum and the spectrum data given to the music data is calculated, and the music data to which the spectrum data having the highest degree of similarity is assigned is obtained. Sample data can be read from the content database 2 and distributed to the user terminals 4-1 and 4-2, respectively.
[0170]
Thereby, the two users who are communicating can receive the music (namely, sample data) suitable for the communication rhythm transmitted via the Internet 3, and can reproduce | regenerate as background music. it can.
[0171]
Thus, user A and user B can enjoy music suitable for the communication environment.
[0172]
By the way, the user may be impressed with the situation and remember the music that was playing at that time, and by listening to the music, the situation at that time may be clearly remembered. Therefore, when a user wants to keep a certain communication in his / her memory, the user can keep the communication at that time by purchasing the music data reproduced at the time of the communication. I can leave.
[0173]
A content purchase process executed by the user terminal 4-1 will be described with reference to the flowchart of FIG.
[0174]
In step S81, the control unit 171-1 outputs and displays a content purchase screen on the display unit 176-1 based on a command input by the user A operating the input unit 177-1. Thereby, for example, a screen as shown in FIG. 22 is displayed.
[0175]
The content purchase screen of FIG. 22 displays the date and time when the sample data was reproduced, together with the content name of the sample data (the beginning portion of the content data) stored in the sample data / meta information storage unit 175-1. Yes. In addition, a purchase button 201, a view button 202, a detail button 203, a delete button 204, and a cancel button 205 are arranged on the lower side of the screen.
[0176]
In this content purchase screen, when a desired content name is selected by the user A and the purchase button 201 is pressed, the control unit 171-1 displays a purchase application screen as shown in FIG. 23 on the display unit 176-1. Output and display.
[0177]
In the purchase application screen of FIG. 23, the content name selected by the user is displayed. The purchase application screen also displays a purchase OK button 210 operated by the user when purchasing the content and a cancel button 211 operated by the user when canceling the purchase.
[0178]
In addition, when a desired content name is selected by the user A on the content purchase screen and the audition button 202 is pressed, the control unit 171-1 is stored in the sample data / meta information storage unit 175-1. The sample data corresponding to the currently selected content name is read out and output to the playback unit 174-1 for playback.
[0179]
At this time, the control unit 171-1 not only reproduces the sample data, but also outputs, for example, a message screen as shown in FIG. You can tell what sample data is being played back. On this message screen, a repeat button 221 operated by the user when repeating the reproduction of the sample data and an OK button 222 operated by the user when returning to the content purchase screen are displayed.
[0180]
In addition, when a desired content name is selected by the user A on the content purchase screen and the detail button 203 is pressed, the control unit 171-1 is stored in the sample data / meta information storage unit 175-1. The meta information corresponding to the currently selected content name is read out, output to the display unit 176-1, and displayed. Thereby, for example, a content detail screen as shown in FIG. 25 is displayed.
[0181]
In the content detail screen of FIG. 25, the content name selected by the user, the name of the other party who was communicating when the sample data of the content name was reproduced, the location where the communication was performed, and a sample of the content name The date and time when the data was played is displayed. In addition, on this detailed screen, a preview button 231 operated by the user when reproducing sample data and an OK button 232 operated by the user when returning to the content purchase screen are displayed. In addition, a content composer, a lyricist, a singer name, or a genre may be displayed on the content detail screen.
[0182]
Furthermore, when a desired content name is selected by the user A on the content purchase screen and the delete button 204 is pressed, the control unit 171-1 is stored in the sample data / meta information storage unit 175-1. Then, the sample data and meta information corresponding to the currently selected content name are deleted. Further, when the cancel button 205 is pressed by the user A, the content purchase screen is closed.
[0183]
Returning to FIG. 21, in step S82, the control unit 171-1 determines whether or not the predetermined content is selected by the user A and the purchase button 201 is pressed, the predetermined content is selected, and If it is determined that the purchase button 201 has been pressed, the process proceeds to step S83. In step S83, the control unit 171-1 further provides purchase information (for example, the user ID of user A, the purchase content name, etc.) on the condition that the purchase OK button 210 shown in FIG. 23 is pressed by the user. It outputs to the transmission part 172-1. The transmission unit 172-1 transmits the input purchase information to the content server 1 via the Internet 3.
[0184]
On the other hand, if it is determined in step S82 that the purchase button 201 has not been pressed by the user, the process proceeds to step S84, and the control unit 171-1 further determines whether or not the cancel button 205 has been pressed. If it is determined in step S84 that the cancel button 205 has not been pressed, the process returns to step S82 and the above-described processing is repeated.
[0185]
If it is determined in step S84 that the cancel button 205 has been pressed, the control unit 171-1 closes the content purchase screen displayed on the display unit 176-1, and the process ends.
[0186]
In this way, the user A of the user terminal 4-1 purchases the content data of the desired sample data that was reproduced at the time of communication from the sample data stored in the sample data / meta information storage unit 175-1. Can do.
[0187]
It is also possible not only to purchase desired content data from the data once stored in the sample data / meta information storage unit 175-1, but also to purchase the desired content data during communication at a later date. . Specifically, for example, when sample data similar to the rhythm extracted by the communication operation is provided from the content server 1 and reproduced as background music, the user can view the content (music) of the sample data. When the user wishes to purchase, content data (music data) can be purchased in real time by pressing a predetermined switch or button (both not shown).
[0188]
Next, content distribution processing executed by the content server 1 will be described with reference to the flowchart of FIG.
[0189]
In step S91, the control unit 191 receives whether or not the access has been made from the user terminal 4-1 or 4-2, that is, the purchase information transmitted from the user terminal 4-1 or 4-2 by the receiving unit 191 is received. It waits until it is accessed from the user terminal 4-1 or 4-2.
[0190]
In step S91, when it is determined that the user terminal 4-1 or 4-2 has accessed the control unit 191 (in this case, it is assumed that the user terminal 4-1 has accessed), the control unit 191 proceeds to step S92, and the control unit 191 reads predetermined content data from the content database 2 based on the purchase information (user ID of the user A and purchase content A) received by the receiving unit 191. That is, the content A desired by the user A is read from the content database 2.
[0191]
In step S <b> 93, the control unit 192 acquires charging information from the charging unit 194. Specifically, the billing unit 194 obtains a user ID included in the purchase information provided from the control unit 192, and based on the user ID, the user can pay a predetermined financial institution (not shown). An inquiry is made as to whether or not payment is possible. If payment is possible, charging information (such as a content purchase price and a payment method) is output to the control unit 192.
[0192]
In step S94, the control unit 192 transmits the content data read in step S92 (in this case, content A) to the user terminal 4- via the Internet 3 together with the billing information acquired in step S93. 1 is delivered, and the process is terminated.
[0193]
As described above, when the user A and the user B communicate with each other using the input / output devices 131-1 and 131-2, the music (that is, the sample) reproduced as the background music is reproduced. Data) can be easily purchased. As a method for providing purchased music data, not only distribution from the content server 1 via the Internet 3 as described above, but also provision on media such as a music CD, for example.
[0194]
As described above, in the present invention, music suitable for the communication environment is provided, so that a new music distribution system can be realized. In other words, the sample data that was unconsciously reproduced at the time of communication can be replayed later, so that the user can be reminded of the communication at that time and expected to increase the willingness to purchase the music. it can.
[0195]
In the above, sample data that is most similar to the rhythm extracted by the communication operation between users is distributed. However, the present invention is not limited to this, and for example, music data in accordance with the communication time zone. Different sample data may be distributed depending on the communication time zone (for example, day and night) by weighting the spectrum data assigned to the.
[0196]
Moreover, although the example which applied this invention to communication of two users was demonstrated, this invention is not limited to this, Of course, when three or more users communicate, it is possible to apply.
[0197]
Furthermore, not only the operation of communication, but also sample data that most closely resembles the rhythm extracted by transmitting time series data generated by a gripping operation performed by one user using the input / output device 131 to the content server 1. It goes without saying that it is also possible to distribute
[0198]
In the above, the time series data input using the input / output device 131 is transmitted to the content server 1 and the music data similar to the spectrum data calculated there is distributed. However, the present invention is not limited to this. Alternatively, it is possible to extract a rhythm of keyboard operation and distribute music data similar to the rhythm.
[0199]
For example, the keyboard 45 is provided with a function that determines whether any key of the keyboard 45 of the personal computer 41 is pressed and can output an electrical signal when the key is pressed. Then, when the user operates the keyboard 45, time series data output from the keyboard 45 is transmitted to the content server 1. The content server 1 can extract the rhythm of the keyboard operation and distribute music data that matches the rhythm of the keyboard operation. As a result, the user can reproduce music suitable for his / her keyboard operation as background music.
[0200]
The series of processes described above can also be executed by software. The software is a computer in which the program constituting the software is incorporated in dedicated hardware, or various functions can be executed by installing various programs, for example, a general-purpose personal computer For example, the program is installed from a program storage medium that stores the program.
[0201]
As shown in FIG. 2 or FIG. 7, the program storage medium is a magnetic disk 31 (including a floppy disk) on which a program is stored and an optical disk, which are distributed to provide a program to a user separately from a computer. 32 (including compact disk-read only memory (CD-ROM), DVD (digital versatile disk)), magneto-optical disk 33 (including MD (mini-disk)), or package media including semiconductor memory 33 Composed.
[0202]
In the present specification, the step of describing the program stored in the program storage medium is not limited to the processing performed in time series according to the described order, but is not necessarily performed in time series. Or the process performed separately is also included.
[0203]
Further, in this specification, the system represents the entire apparatus composed of a plurality of apparatuses.
[0205]
【The invention's effect】
According to the distribution system of the present invention, the electronic device detects pressure, outputs time-series data corresponding to the detected pressure, and transmits the time-series data to the information processing device. The information processing device converts the content data into the content data. The time-series data transmitted from the electronic device is received in association with the frequency characteristics of the received data, the frequency characteristics of the received time-series data are calculated, and the ones similar to the calculated frequency characteristics are stored. Since the frequency data is searched for and the content data is read out and distributed to the electronic device based on the search result, the music suitable for the communication environment can be distributed.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration example of a music distribution system to which the present invention is applied.
FIG. 2 is a block diagram showing an example of the electrical configuration of the content server of FIG.
FIG. 3 is a diagram illustrating a configuration example of a personal computer and an input / output device of the user terminal in FIG. 1;
4 is a plan view of the main body of the personal computer shown in FIG. 3;
5 is an enlarged view of the vicinity of the jog dial of the personal computer shown in FIG. 3;
6 is a block diagram showing a configuration of a right side surface of the personal computer of FIG. 3. FIG.
7 is a block diagram showing an example of the electrical configuration of the personal computer shown in FIG. 3;
8 is a diagram showing a configuration example of an external appearance of the input / output device of FIG. 3;
9 is a diagram illustrating an internal configuration example of the input / output device of FIG. 3;
10 is a diagram showing an example of a recording format of information related to content data stored in the content database of FIG. 1. FIG.
FIG. 11 is a flowchart for explaining pressure input processing;
FIG. 12 is a flowchart for explaining pressure output processing;
FIG. 13 is a flowchart for explaining calibration processing;
FIG. 14 is a diagram for explaining a communication operation.
FIG. 15 is a block diagram illustrating a configuration example of each function of the music distribution system.
FIG. 16 is a diagram illustrating time-series data.
FIG. 17 is a flowchart for explaining spectrum data adding processing;
18 is a flowchart for further explaining the power spectrum calculation processing in step S42 of FIG. 17;
FIG. 19 is a diagram for explaining short-time power spectrum calculation processing;
FIG. 20 is a timing chart for explaining sample data transmission processing;
FIG. 21 is a flowchart for explaining content purchase processing;
FIG. 22 is a diagram illustrating a display example of a content purchase screen.
FIG. 23 is a diagram showing a display example of a purchase application screen.
FIG. 24 is a diagram illustrating a display example of a message screen.
FIG. 25 is a diagram illustrating a display example of a content detail screen.
FIG. 26 is a flowchart for explaining content distribution processing;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Content server, 2 Content database, 3 Internet, 4-1, 4-2 User terminal, 31 Magnetic disk, 32 Optical disk, 33 Magneto-optical disk, 34 Semiconductor memory, 41 Personal computer, 131 Input / output device, 132 IEEE1394 cable, 141R, 141L groove, 151 pressure input section, 152 pressure sensor, 156 piston drive section, 157 piston, 158 cylinder, 159 pressure output section, 171-1, 171-2 control section, 172-1, 173-2 transmission section, 174-1, 174-2 playback unit, 175-1, 175-2 sample data / meta information storage unit, 176-1, 176-2 display unit, 177-1, 177-2 input unit, 178-1, 178 -2 Content data storage Section, 191 reception section, 192 control section, 193 analysis section, 194 charging section, 95 distribution section

Claims (1)

ネットワークを介して電子機器および情報処理装置が相互に接続される配信システムにおいて、
前記電子機器は、
圧力を検知する検知手段と、
前記検知手段により検知された前記圧力に対応する時系列データを出力し、前記ネットワークを介して、前記情報処理装置に送信する送信手段と
を備え、
前記情報処理装置は、
コンテンツデータを、前記コンテンツデータの周波数特性に対応付けて蓄積する蓄積手段と、
前記電子機器より送信されてくる前記時系列データを受信する受信手段と、
前記受信手段により受信された前記時系列データの周波数特性を算出する算出手段と、
前記算出手段により算出された前記周波数特性に類似するものを、前記蓄積手段に蓄積されている周波数特性の中から検索する検索手段と、
前記検索手段による検索結果に基づいて、前記蓄積手段に蓄積されている前記コンテンツデータを読み出し、前記ネットワークを介して前記電子機器に配信する配信手段と
を備えることを特徴とする配信システム。In a distribution system in which electronic devices and information processing devices are connected to each other via a network,
The electronic device is
Detection means for detecting pressure;
Transmission means for outputting time-series data corresponding to the pressure detected by the detection means, and transmitting the data to the information processing apparatus via the network,
The information processing apparatus includes:
Storage means for storing content data in association with the frequency characteristics of the content data;
Receiving means for receiving the time-series data transmitted from the electronic device;
Calculating means for calculating a frequency characteristic of the time series data received by the receiving means;
Search means for searching for one similar to the frequency characteristic calculated by the calculation means from the frequency characteristics stored in the storage means;
A distribution system comprising: a distribution unit that reads out the content data stored in the storage unit based on a search result by the search unit and distributes the content data to the electronic device via the network.
JP2001076224A 2001-03-16 2001-03-16 Distribution system Expired - Fee Related JP4406811B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001076224A JP4406811B2 (en) 2001-03-16 2001-03-16 Distribution system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001076224A JP4406811B2 (en) 2001-03-16 2001-03-16 Distribution system

Publications (2)

Publication Number Publication Date
JP2002278563A JP2002278563A (en) 2002-09-27
JP4406811B2 true JP4406811B2 (en) 2010-02-03

Family

ID=18933196

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001076224A Expired - Fee Related JP4406811B2 (en) 2001-03-16 2001-03-16 Distribution system

Country Status (1)

Country Link
JP (1) JP4406811B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4573877B2 (en) * 2005-11-09 2010-11-04 パイオニア株式会社 NAVIGATION DEVICE, NAVIGATION METHOD, NAVIGATION PROGRAM, AND ITS RECORDING MEDIUM
JP4548424B2 (en) * 2007-01-09 2010-09-22 ヤマハ株式会社 Musical sound processing apparatus and program
JP5485845B2 (en) * 2010-09-16 2014-05-07 株式会社Ｎｔｔドコモ Server apparatus, communication system, and program
US9762719B2 (en) 2011-09-09 2017-09-12 Qualcomm Incorporated Systems and methods to enhance electronic communications with emotional context
JP6435439B1 (en) * 2017-12-28 2018-12-05 株式会社Ｚｅｐｐｅｌｉｎ Imaging moving image service system, server device, imaging moving image management method, and computer program
CN113406526A (en) * 2020-03-17 2021-09-17 阿里巴巴集团控股有限公司 Power supply access condition detection method and device

Also Published As

Publication number Publication date
JP2002278563A (en) 2002-09-27

Similar Documents

Publication Publication Date Title
US11069347B2 (en) Intelligent automated assistant for media exploration
AU2017100581A4 (en) Intelligent automated assistant for media exploration
JP5667978B2 (en) Audio user interface
Rocchesso et al. Sounding objects
US8626324B2 (en) Altering sound output on a virtual music keyboard
US8260760B2 (en) Content providing apparatus, content providing system, web site changing apparatus, web site changing system, content providing method, and web site changing method
Essl et al. Interactivity for mobile music-making
Iazzetta Meaning in musical gesture
JP2019145090A (en) Long-distance expansion for digital assistant service
JP4621637B2 (en) Mobile terminal equipped with jog dial and control method thereof
JP3731525B2 (en) Information processing apparatus, information processing method, information processing system, and program
CN107480161A (en) The intelligent automation assistant probed into for media
KR102396375B1 (en) Method and device for playing multimedia
WO2006070044A1 (en) A method and a device for localizing a sound source and performing a related action
JP2003162285A (en) Processor, method and system for information processing, and program
WO2017028686A1 (en) Information processing method, terminal device and computer storage medium
CN110830368B (en) Instant messaging message sending method and electronic equipment
JP4406811B2 (en) Distribution system
Tanaka Malleable mobile music
JP7230803B2 (en) Information processing device and information processing method
Hayafuchi et al. MusicGlove: A Wearable Musical Controller for Massive Media Library.
Hunt et al. MidiGrid: past, present and future.
KR100650890B1 (en) Mobile communication terminal having music player and music playing method in that terminal
JP2004348275A (en) Processing contents designating means, input method and data processor
CN107404581B (en) Musical instrument simulation method and device for mobile terminal, storage medium and mobile terminal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091015

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091028

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121120

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees