JP4465828B2

JP4465828B2 - Information processing apparatus and method, and presentation system

Info

Publication number: JP4465828B2
Application number: JP2000220924A
Authority: JP
Inventors: 哲二郎近藤; 裕二奥村; 哲志小久保; 大介菊地; 英雄笠間
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-07-21
Filing date: 2000-07-21
Publication date: 2010-05-26
Anticipated expiration: 2020-07-21
Also published as: JP2002044630A

Description

【０００１】
【発明の属する技術分野】
本発明は、情報処理装置および方法、並びに提示システムに関し、特に、複数の知覚要素に対応する信号を取り扱う情報処理装置および方法、並びに提示システムに関する。
【０００２】
【従来の技術】
送信装置が画像の信号、および画像に対応する音声の信号を送信し、受信装置が画像の信号、および音声の信号を受信して、復号し、画像を表示すると共に、対応する音声を出力するシステムが広く利用されている。
【０００３】
このような画像の信号および音声の信号など異なる種類の信号は、それぞれに送信されて、受信され、画像の信号に対応する処理と、音声の信号に対応する処理とが、別々に実行される。
【０００４】
【発明が解決しようとする課題】
しかしながら、受信装置が、画像のみを表示し、音声を出力しないとき、受信装置は、画像の信号に対応する画像をそのまま表示するしかなかった。同様に、受信装置が、音声のみを出力し、画像を表示しないとき、受信装置は、音声の信号に対応する音声をそのまま出力するしかなかった。
【０００５】
また、同一の画像の信号および音声の信号を受信した受信装置が、画像のみを表示するとき、音声のみを出力するとき、または画像を表示して音声を出力するとき、それぞれに対応する料金を課金することはできなかった。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、画像などの複数の知覚要素に対応する信号を統一的に伝送すると共に、同一の信号を受信しても、知覚要素の提示の態様に対応させて異なる料金を課金できるようにすることを目的とする。
【００１１】
【課題を解決するための手段】
請求項１に記載の情報処理装置は、第１の知覚要素および第２の知覚要素に対応する統合信号を取得する取得手段と、第１の知覚要素に対応する第１の信号、および第２の知覚要素に対応する第２の信号を生成するか否かを判定する判定手段と、第１の信号および第２の信号を生成すると判定された場合、統合信号を基に、第１の信号および第２の信号を生成する生成手段と、第１の信号および第２の信号を生成すると判定された場合、第１の信号および第２の信号を出力し、第１の信号および第２の信号を生成しないと判定された場合、統合信号を第１の信号として出力する出力手段と、取得した統合信号、並びに第１の信号および第２の信号を生成したか否かに対応する課金情報の提供装置への送信を制御する第１の送信制御手段とを含むことを特徴とする。
【００１２】
情報処理装置は、提供装置への、統合信号の要求の送信を制御する第２の送信制御手段を更に設けることができる。
【００１３】
第１の信号は、映像信号とし、第２の信号は、揺動信号とすることができる。
【００１４】
請求項４に記載の情報処理方法は、第１の知覚要素および第２の知覚要素に対応する統合信号を取得する取得ステップと、第１の知覚要素に対応する第１の信号、および第２の知覚要素に対応する第２の信号を生成するか否かを判定する判定ステップと、第１の信号および第２の信号を生成すると判定された場合、統合信号を基に、第１の信号および第２の信号を生成する生成ステップと、第１の信号および第２の信号を生成すると判定された場合、第１の信号および第２の信号を出力し、第１の信号および第２の信号を生成しないと判定された場合、統合信号を第１の信号として出力する出力ステップと、取得した統合信号、並びに第１の信号および第２の信号を生成したか否かに対応する課金情報の提供装置への送信を制御する送信制御ステップとを含むことを特徴とする。
【００１５】
請求項５に記載の提示システムは、提供装置が、課金情報の受信を制御する受信制御手段と、第１の知覚要素に関する第１の信号、および第１の信号に対応する、第２の知覚要素に関する第２の信号を基に、第１の知覚要素および第２の知覚要素に対応する統合信号を生成する第１の生成手段と、統合信号の送信を制御する第１の送信制御手段と、課金情報に基づいて、課金の処理を実行する課金処理手段とを含み、情報処理装置が、統合信号を取得する取得手段と、第１の知覚要素に対応する第１の信号、および第２の知覚要素に対応する第２の信号を生成するか否かを判定する判定手段と、第１の信号および第２の信号を生成すると判定された場合、統合信号を基に、第１の信号および第２の信号を生成する第２の生成手段と、第１の信号および第２の信号を生成すると判定された場合、第１の信号および第２の信号を出力し、第１の信号および第２の信号を生成しないと判定された場合、統合信号を第１の信号として出力する出力手段と、取得した統合信号、並びに第１の信号および第２の信号を生成したか否かに対応する課金情報の提供装置への送信を制御する第２の送信制御手段とを含むことを特徴とする。
【００１７】
請求項１に記載の情報処理装置および請求項４に記載の情報処理方法においては、第１の知覚要素および第２の知覚要素に対応する統合信号が取得され、第１の知覚要素に対応する第１の信号、および第２の知覚要素に対応する第２の信号を生成するか否かが判定され、第１の信号および第２の信号を生成すると判定された場合、統合信号を基に、第１の信号および第２の信号が生成され、第１の信号および第２の信号を生成すると判定された場合、第１の信号および第２の信号が出力され、第１の信号および第２の信号を生成しないと判定された場合、統合信号が第１の信号として出力され、取得した統合信号、並びに第１の信号および第２の信号を生成したか否かに対応する課金情報の提供装置への送信が制御される。
【００１８】
請求項５に記載の提示システムにおいては、課金情報の受信が制御され、第１の知覚要素に関する第１の信号、および第１の信号に対応する、第２の知覚要素に関する第２の信号を基に、第１の知覚要素および第２の知覚要素に対応する統合信号が生成され、統合信号の送信が制御され、課金情報に基づいて、課金の処理が実行され、統合信号が取得され、第１の知覚要素に対応する第１の信号、および第２の知覚要素に対応する第２の信号を生成するか否かが判定され、第１の信号および第２の信号を生成すると判定された場合、統合信号を基に、第１の信号および第２の信号が生成され、第１の信号および第２の信号を生成すると判定された場合、第１の信号および第２の信号が出力され、第１の信号および第２の信号を生成しないと判定された場合、統合信号が第１の信号として出力され、取得した統合信号、並びに第１の信号および第２の信号を生成したか否かに対応する課金情報の提供装置への送信が制御される。
【００１９】
【発明の実施の形態】
図１は、本発明に係る統合提示システムの一実施の形態の構成を示す図である。統合信号生成装置１は、統合信号提示装置２からの要求に対応して、画像、および揺動などの複数の知覚要素（人が５感で認識する刺激を引き起こすもの）の状態を１つの信号で示す統合信号（以下、コンテンツとも称する）を生成する。統合信号生成装置１は、公衆電話回線、ネットワーク、または、衛星通信回線などの伝送経路を介して、生成した統合信号を統合信号提示装置２に送信する。
【００２０】
または、統合信号生成装置１は、生成した統合信号を磁気テープ、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどの媒体に記録する。統合信号が記録された媒体は、郵送、または宅配などの物流システムにより、統合信号提示装置２に供給される。
【００２１】
統合信号生成装置１は、統合信号提示装置２から、要求と共に送信された課金情報を受信して、受信した課金情報を基に、統合信号の供給に対応する課金の処理を実行する。
【００２２】
統合信号提示装置２は、伝送経路または媒体を介して、統合信号生成装置１に課金情報と共に統合信号を要求し、統合信号生成装置１から供給された統合信号を基に、画像、および揺動などの複数の要素のそれぞれの状態を示す提示信号を生成して、生成した提示信号を提示装置３に供給する。
【００２３】
提示装置３は、統合信号提示装置２から供給された提示信号を基に、画像および揺動などの複数の要素を使用者に提示する。
【００２４】
このようにして、提示装置３の使用者は、画像、および揺動などの複数の要素を認識する。
【００２５】
統合信号生成装置１は、映像信号記録部１１、揺動信号記録部１２、統合信号符号化部１３、統合信号送信部１４、統合信号記録部１５、コンテンツ要求受信部１６、コンテンツ選択処理部１７、課金情報受信部１８、および課金処理部１９で構成されている。
【００２６】
映像信号記録部１１は、例えばハードディスクなど、媒体および媒体駆動装置などで構成され、動画像の映像信号を予め記録している。映像信号は、MPEG（Moving Picture Experts Group）2などのデジタルデータに対応する信号、またはアナログ信号など、いずれの方式でもよい。映像信号記録部１１は、コンテンツ選択処理部１７の要求に対応して、記録している映像信号を統合信号符号化部１３に供給する。
【００２７】
揺動信号記録部１２は、映像信号記録部１１が記録している映像信号に対応する揺動信号を予め記録している。揺動信号は、使用者の体の時間的な変位を示す信号であり、例えば、使用者の体の上下動、または回動などを示す。揺動信号記録部１２は、例えばハードディスクなど、媒体および媒体駆動装置などで構成され、コンテンツ選択処理部１７の要求に対応して、映像信号記録部１１が統合信号符号化部１３に供給する映像信号に同期して、映像信号に対応する揺動信号を統合信号符号化部１３に供給する。
【００２８】
図２は、映像信号記録部１１が統合信号符号化部１３に供給する映像信号、および揺動信号記録部１２が統合信号符号化部１３に供給する揺動信号を説明する図である。
【００２９】
図２（Ａ）は、映像信号記録部１１が統合信号符号化部１３に供給する映像信号に対応する画像を示す図である。図２（Ｂ）は、揺動信号記録部１２が統合信号符号化部１３に供給する、例えば、画像に対して上下方向の揺動を示す、揺動信号を示す図である。
【００３０】
映像信号に対応する画像（静止画像）は、例えば、時刻を基に、揺動信号の揺動（振幅）に対応づけられる。
【００３１】
統合信号符号化部１３は、映像信号記録部１１から供給された映像信号、および揺動信号記録部１２から供給された映像信号を基に、統合信号を生成する。
【００３２】
図３は、図２に示す映像信号および揺動信号を基に、統合信号符号化部１３により生成された、統合信号の例を示す図である。図３に示す統合信号は、映像信号に対応する画像を、揺動信号に対応するように上下方向に移動させて、生成される。
【００３３】
また、例えば、揺動信号が画像に対して左右方向の揺動を示すとき、統合信号は、映像信号に対応する画像を、揺動信号に対応するように左右方向に移動させて、生成される。
【００３４】
同様に、他の揺動の成分（いわゆる、roll、yaw、およびpitchなどの回動成分）を有する揺動信号に基づいて、画像を移動させるようにしてもよい。
【００３５】
さらに、例えば、画像に対応する音声に自動車のエンジン音が含まれているとき、統合信号符号化部１３は、自動車に対応する揺動信号を揺動信号記録部１２から読み出して、読み出した揺動信号を基に、画像を移動させることにより統合信号を生成するようにしてもよい。この場合、統合信号に対応する画像は、自動車の振動に対応する揺動を含む。
【００３６】
統合信号符号化部１３は、統合信号の方式にあった符号化方式で、統合信号を符号化するようにしてもよい。
【００３７】
統合信号符号化部１３は、生成した統合信号を統合信号送信部１４および統合信号記録部１５に供給する。
【００３８】
統合信号送信部１４は、統合信号符号化部１３から供給された統合信号を、公衆電話回線、ネットワーク、または、衛星通信回線などの伝送経路を介して、統合信号提示装置２に送信する。
【００３９】
統合信号記録部１５は、統合信号符号化部１３から供給された統合信号を、磁気テープ、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどの媒体に記録する。統合信号が記録された媒体は、統合信号提示装置２に供給される。
【００４０】
コンテンツ要求受信部１６は、伝送路を介して、統合信号提示装置２が送信したコンテンツの要求を受信し、受信したコンテンツの要求をコンテンツ選択処理部１７に出力する。
【００４１】
課金情報受信部１８は、伝送路を介して、統合信号提示装置２がコンテンツの要求と共に送信した課金情報（例えば、銀行口座の番号およびその銀行口座に対応する暗証番号などから構成される）を受信し、受信した課金情報を課金処理部１９に供給する。課金処理部１９は、課金情報を基に、課金の処理、例えば、指定された銀行口座からの料金の引き落としの処理を実行する。課金処理部１９は、課金の処理の結果（処理が正常に終了した、または残高不足により処理することができなかったなどを示す）をコンテンツ選択処理部１７に供給する。
【００４２】
コンテンツ選択処理部１７は、課金の処理が正常に終了したとき、コンテンツ要求受信部１６から供給されたコンテンツの要求、および課金情報処理部１９から供給された課金の処理の結果を基に、映像信号記録部１１および揺動信号記録部１２に要求に対応する映像信号および揺動信号の出力を指示する。
【００４３】
課金の処理が正常に終了しなかったとき、コンテンツ選択処理部１７は、映像信号記録部１１および揺動信号記録部１２に映像信号および揺動信号の出力を指示しない。
【００４４】
統合信号提示装置２は、統合信号受信部２１、パラメータ指示部２２、統合信号復号部２３、コンテンツ選択部２４、コンテンツ要求送信部２５、および課金情報送信部２６で構成されている。
【００４５】
統合信号受信部２１は、統合信号生成装置１が送信した統合信号を受信し、受信した統合信号を統合信号復号部２３に供給する。
【００４６】
図示せぬドライブ装置などにより媒体から読み取られた統合信号は、統合信号復号部２３に供給される。
【００４７】
パラメータ指示部２２は、提示装置３から供給された、例えば、提示装置３の構成を示すパラメータ選択信号を入力し、パラメータ選択信号に対応する復号パラメータを統合信号復号部２３に供給する。
【００４８】
例えば、復号パラメータは、提示装置３が揺動を提示する機能を有しないとき、０であり、提示装置３が揺動を提示する機能を有するとき、１である。
【００４９】
統合信号復号部２３は、パラメータ指示部２２から供給された復号パラメータを基に、統合信号を提示装置３の機器構成に対応する提示信号を提示装置３に供給する。
【００５０】
統合信号提示装置２から出力される提示信号は、映像信号および揺動信号から構成されるか、または映像信号のみで構成される。
【００５１】
コンテンツ選択部２４は、スイッチボックス等で構成され、統合信号提示装置２の使用者の操作に対応した、コンテンツの指定をするための信号をコンテンツ要求送信部２５に供給する。
【００５２】
コンテンツ要求送信部２５は、コンテンツ選択部２４から供給された信号を基に、伝送路を介して、コンテンツの要求を統合信号生成装置１に送信するとともに、コンテンツを要求した旨の信号を課金情報送信部２６に出力する。
【００５３】
課金情報送信部２６は、コンテンツ要求送信部１５から供給されたコンテンツを要求した旨の信号を受信したとき、予め記憶している、銀行口座の番号およびその銀行口座に対応する暗証番号などから構成される課金情報を、伝送路を介して、統合信号生成装置１に送信する。
【００５４】
図４は、統合信号復号部２３の構成を説明する図である。統合信号復号部２３に入力された統合信号および復号パラメータは、処理決定部５１に供給される。
【００５５】
処理決定部５１は、パラメータ指示部２２から供給された復号パラメータを基に、統合信号復号部２３が出力する提示信号を映像信号および揺動信号で構成するか、または映像信号のみで構成するかいずれかを決定する。
【００５６】
処理決定部５１は、図１０を参照して後述するように、提示装置３が映像提示部１１１および揺動提示部１１２で構成されるとき（すなわち、提示装置３が揺動を提示する機能を有するとき）、映像信号および揺動信号を、提示信号として出力させる。
【００５７】
一方、処理決定部５１は、図１４を参照して後述するように、提示装置３が映像提示部１１１のみで構成されるとき（すなわち、提示装置３が揺動を提示する機能を有しないとき）、映像信号のみを提示信号として出力させる。
【００５８】
処理決定部５１は、入力された統合信号を、動きベクトル抽出部５２、画像補正部５３、および映像信号選択部５５に供給する。
【００５９】
動きベクトル抽出部５２は、統合信号の画像から、動きベクトルを生成して、生成した動きベクトルを揺動信号生成部５４に供給する。
【００６０】
揺動信号生成部５４は、動きベクトル抽出部５２から供給された動きベクトルを基に、揺動信号を生成して、生成した揺動信号を、画像補正部５３に供給すると共に、統合信号復号部２３の出力として提示装置３に出力する。
【００６１】
画像補正部５３は、揺動信号生成部５４から供給された揺動信号を基に、処理決定部５１から供給された映像信号である統合信号の画像を揺れを除去するように補正し、補正した画像を含む映像信号を映像信号選択部５５に供給する。
【００６２】
例えば、画像補正部５３は、映像信号である統合信号の画像を、揺動信号に対応させて上下方向に移動させて（統合信号符号化部１３の場合とは逆の方向に移動させて）、画像を補正する。すなわち、画像補正部５３が出力する映像信号は、映像信号記録部１１が記録している映像信号と同様となり、上下動が除去された画像を表示させる。
【００６３】
映像信号選択部５５は、処理決定部５１から供給された選択信号を基に、処理決定部５１から供給された統合信号、または画像補正部５３から供給された映像信号のいずれか一方を選択して、選択した信号を統合信号復号部２３の出力として提示装置３に出力する。
【００６４】
提示装置３が映像提示部１１１および揺動提示部１１２で構成されるとき、映像信号選択部５５は、画像補正部５３から供給された映像信号を選択して、上下動が除去された画像に対応する映像信号を提示信号として出力する。提示装置３が映像提示部１１１のみで構成されるとき、映像信号選択部５５は、処理決定部５１から供給された統合信号を選択して、統合信号をそのまま提示信号として出力する。
【００６５】
図５は、動きベクトル抽出部５２の構成を示すブロック図である。動きベクトル抽出部５２に入力された映像信号は、遅延部７１により１フレーム分遅延された後、フレームバッファ７２−１に供給される。動きベクトル抽出部５２に入力された映像信号は、フレームバッファ７２−２にも供給される。
【００６６】
読み出し部７３−１および７３−２は、メモリ７４に記憶されている所定のパターンに従って、それぞれ対応するフレームバッファ７２−１および７２−２から、映像信号を読み出し、動きベクトル検出部７５に出力する。
【００６７】
動きベクトル検出部７５は、供給された映像信号から動きベクトルを検出し、て検出した動きベクトルを揺動信号生成部５４に出力する。
【００６８】
次に、図５に示した動きベクトル抽出部５２の動作について説明する。時刻ｔにおいて、動きベクトル抽出部５２に入力された映像信号は、遅延部７１とフレームバッファ７２−２に供給される。フレームバッファ７２−２は、入力された１フレーム分の映像信号を記憶する。遅延部７１は、映像信号を１フレーム分だけ遅延するので、時刻ｔにおいて、フレームバッファ７２−１には、時刻ｔより前の時刻ｔ−１における映像信号（時刻ｔより１フレーム前の映像信号）が記憶されている。
【００６９】
フレームバッファ７２−１に記憶された時刻ｔ−１における映像信号は、読み出し部７３−１により、フレームバッファ７２−２に記憶された時刻ｔにおける映像信号は、読み出し部７３−２により、それぞれ読み出される。
【００７０】
読み出し部７３−１および７３−２は、それぞれ対応するフレームバッファ７２−１または７２−２に記憶されている映像信号のうち、メモリ７４に記憶されているパターンに対応する部分の映像信号を読み出す。ここで、メモリ７４に記憶されているパターンについて、図６を参照して説明する。
【００７１】
図６は、メモリ７４に記憶されているパターンの一例を示す図である。１フレームを構成する画素のなかで、揺動に関係のない部分、例えば、図７に示したような、統合信号生成装置１により生成された統合信号の場合、上下方向に画像を移動させるために必要な部分などは揺動に関係のない領域と判断し、その領域を取り除いた領域の中心に位置する画素を収束点Ｐとする。収束点Ｐを中心として上下左右に対称な代表点Ｑ、例えば、２５個（収束点を含む）を設定する。各代表点Ｑ毎に、その代表点Ｑが中心に位置する所定の画素数からなるブロックＢ、例えば、３３×３３画素からなるブロックＢを設定する。メモリ７４には、このようなフレームの画面内における各代表点Ｑの座標と、ブロックＢの大きさが、パターンとして記憶されている。
【００７２】
読み出し部７３−１は、フレームバッファ７２−１に記憶されている時刻ｔ−１における映像信号のうち、メモリ７４に記憶されている上述したようなパターンに対応する画素データ、すなわち、代表点Ｑの座標とブロックＢの大きさをもとに、各ブロックＢ内の画素データを読み出し、動きベクトル検出部７５に、参照ブロックのデータとして出力する。同様に、読み出し部７３−２は、フレームバッファ７２−２に記憶されている時刻ｔにおける映像信号のうち、メモリ７４に記憶されているパターンに対応する画素データを読み出し、動きベクトル検出部７５に探索ブロックのデータとして出力する。
【００７３】
動きベクトル検出部７５は、入力された参照ブロックのデータと探索ブロックのデータとを用いて、ブロックマッチングを行うことにより、各代表点Ｑにおける動きベクトルを検出する。従って、この例の場合、２５個の動きベクトルが検出される。
【００７４】
このように、動きベクトル抽出部５２は、動きベクトルを検出して、検出した動きベクトルを揺動信号生成部５４に供給する。
【００７５】
図８は、揺動信号生成部５４の構成を示すブロック図である。特徴量演算部９１は、入力された動きベクトルから特徴量を演算する。
【００７６】
特徴量演算部９１は、動きベクトル抽出部５２により検出された２５個の動きベクトルを用いて、そのフレーム（画面）の揺動の水平成分ｕ、垂直成分ｖ、拡大成分ｖ_zoom、および回転成分ｖ_rotの合計４成分を、以下に示す式に基づいて算出する。
水平成分ｕ＝（１／ｎ）Σｕ_i ・・・（１）
垂直成分ｖ＝（１／ｎ）Σｖ_i ・・・（２）
拡大成分ｖ_zoom＝（１／ｎ）Σｖ_zoomi／ｄ_i ・・・（３）
回転成分ｖ_rot＝（１／ｎ）Σｖ_roti／ｄ_i ・・・（４）
なお、添え字のｉは、代表点Ｑ_iに付けられた番号を示し、この例では１乃至２５まで変化する。また、ｎは代表点の個数であるので、この例では２５である。式（１）乃至式（４）により求められる値は、２５個の動きベクトルから得られる各成分ｕ、ｖ、ｖ_zoom、ｖ_rotの平均値である。
【００７７】
上述した各成分ｕ、ｖ、ｖ_zoom、ｖ_rotの関係を図９を参照して説明する。処理対象となっている代表点Ｑ_iの動きベクトルＴの水平方向の成分をｕ_iとし、垂直方向の成分をｖ_iとする。ｄｉは、収束点Ｐから代表点Ｑ_iまでの距離を表すスカラ量である。また、（Ｐｘ，Ｐｙ）は、収束点Ｐの座標を表し、この座標値を基準として座標（Ｑ_iｘ，Ｑ_iｙ）の代表点Ｑ_iまでの距離が算出される。
【００７８】
この動きベクトルＴの成分（ｕ_i，ｖ_i）は、代表点Ｑ_iを原点としたときの成分である。動きベクトルＴの、収束点Ｐと代表点Ｑ_iとを結ぶ直線と平行な方向の成分ｖ_zoomiとし、収束点Ｐと代表点Ｑ_iとを結ぶ直線と直交する方向の成分をｖ_rotiとする。また、収束点Ｐと代表点Ｑ_iとを結ぶ直線と動きベクトルＴとがなす角度をθとする。このとき、ｖ_zoomiとｖ_rotiは、次式に従って求められる。
ｖ_zoomi＝（ｕ_i ²＋ｖ_i ²）^(1/2)ＣＯＳθ ・・・（５）
ｖ_roti ＝（ｕ_i ²＋ｖ_i ²）^(1/2)ＳＩＮθ ・・・（６）
【００７９】
特徴量演算部９１は、動きベクトル抽出部５２から出力された動きベクトルから、式（１）乃至式（４）を用いて、特徴量として４成分のデータｕ、ｖ、ｖ_zoom、ｖ_rotを算出する。算出された４成分のデータｕ、ｖ、ｖ_zoom、ｖ_rotは、揺動信号生成部５４の後段に供給される。
【００８０】
ここで、例えば、使用者に対して自動車に乗っている感じを疑似体験させる場合、どのような揺動を使用者が座っている椅子に対して加えればよいのかを考える。自動車の椅子に加えられる揺動には、自動車が坂道などの勾配のある道を走っているときの路面の前後方向の傾き、でこぼこした道の上を走っているときの路面から受ける振動、傾いた路面を走っているときの路面の左右方向の傾きなどがある。
【００８１】
これらの揺動は、揺動信号を生成するセンサが搭載された自動車に対して、実際に加えられた刺激（実刺激）であり、映像を観察する使用者の椅子に対しても、この実刺激と同様な揺動を加えればよい。例えば、実刺激が右方向への傾きであれば、使用者の椅子も右に傾ければよい。これらの揺動は、アクチュエータなどを利用することにより、使用者用の椅子に加えることができる揺動である。
【００８２】
これに対して、自動車がカーブを曲がるときの遠心力、加速や減速のときの慣性力、自動車が曲がる時の自動車首振りに対応する力は、使用者に人工的に引力を加えることは物理的に不可能であるため、代替的な揺動（代替刺激）として使用者に加える必要がある。例えば、加速時の慣性力を表現するために、椅子を加速に対応して前に移動させて使用者に慣性力を加えることはできないので、後ろ方向の傾きなどの代替刺激を使用者の椅子に加える必要がある。
【００８３】
以下に、上述した実刺激と代替刺激に関する揺動、実際に使用者用の椅子に対して加える揺動信号の成分、並びに、上述した特徴量演算部９１により演算された４成分の関係を示す。
実刺激

代替刺激

【００８４】
揺動信号生成部５４の後段は、上述した関係を用いて、提示装置３に供給する揺動信号を生成する。揺動信号生成部５４が生成する揺動信号は、揺動信号記録部１２から供給された揺動信号に対応する。
【００８５】
特徴量演算部９１から出力された４成分のうち、回転成分ｖ_rotは、加算器９２−１に、水平成分ｕは、加算器９２−２と符号反転器９３−１に、垂直成分ｖは、加算器９２−３に、拡大成分ｖ_zoomは、加算器９２−５と遅延器９４−３に、それぞれ入力される。加算器９２−１には、加算器９２−１から出力されたデータが、遅延器９４−１で１クロック分遅延された後、入力される。同様に、加算器９２−３にも、加算器９２−３から出力されたデータが、遅延器９４−２で１クロック分遅延された後、入力される。
【００８６】
遅延器９４−１から出力されたデータは、加算器９２−２に入力される。遅延器９４−２から出力されたデータは、符号反転器９３−２を介してHPF（High Pass Filter）９５に出力されると共に、LPF（Low Pass Filter）９６−１を介して加算器９２−４にも出力される。加算器９２−５に入力された拡大成分ｖ_zoomは、遅延器９４−３により１クロック分遅延された拡大成分ｖ_zoomが減算され、LPF９６−２を介して加算器９２−４に入力される。
【００８７】
次に、揺動信号生成部５４の後段が行う揺動信号成分roll、yaw、ｚ、およびpitchの算出について説明する。揺動信号生成部５４の後段に入力された回転成分ｖ_rotは、加算器９２−１に入力される。加算器９２−１は、時刻ｔにおいて入力された回転成分ｖ_rotと、遅延器９４−１より出力される１単位時間前の時刻ｔ−１のデータとを加算する。加算器９２−１は、このようにして、回転成分ｖ_rotを累積加算（積分）していくことにより、路面の左右の傾きを表現する揺動信号成分roll（Σｖ_rot）を算出する。しかしながら、路面の左右の傾きを表現する揺動信号成分rollは、−Σｖ_rotなので、加算器９２−２は、遅延器９４−１から入力されたデータの符号を反転したデータを演算に用いる。
【００８８】
揺動信号成分roll（水平成分ｕ）は、カーブ時の遠心力を表現するのにも用いられる。そこで、加算器９２−２は、遅延器９４−１から入力されたデータの符号を反転したデータと、水平成分ｕとを加算する（水平成分ｕから遅延器９４−１の出力を減算する）ことにより、提示装置３に供給する揺動信号成分rollを算出する。
【００８９】
曲がる時の自動車首振りの揺動信号成分yawは、水平成分ｕの値を反転することにより得られるので、揺動信号生成部５４は、入力された水平成分ｕの値を、符号反転器９３−１により、符号を反転させることに揺動信号成分yawを算出する。
【００９０】
加算器９２−３には、時刻ｔにおいて入力された垂直成分ｖと、遅延器９４−２より出力された１単位時間前の時刻ｔ−１の垂直成分ｖを加算する。このようにして、加算器９２−３において、垂直成分ｖが累積加算（積分）される。そして、加算器９２−３とと遅延器９４−２により累積加算されたデータは、符号反転器９３−２に入力され、符号が反転され、さらにHPF９５により、高周波成分のみが取り出される。このようにして、路面から受ける振動を表現する揺動信号成分ｚが算出される。
【００９１】
また、遅延器９４−２から出力されたデータは、LPF９６−１にも出力され、低周波成分が取り出される。このようにして、路面の前後の傾きを表現する揺動信号成分pitchが算出される。揺動信号成分pitchは、加減速による慣性力を表現する揺動信号成分としても用いられる。そのため、LPF９６−１から出力された揺動信号成分pitchは、加算器９２−４により、慣性力を表現する揺動信号成分pitchと加算される。
【００９２】
慣性力を表現する揺動信号成分pitchは、揺動信号生成部５４に入力された拡大成分ｖ_zoomから算出される。揺動信号生成部５４に入力された拡大成分ｖ_zoomは、加算器９２−５と遅延器９４−３に入力される。加算器９２−５には、時刻ｔにおいて入力された拡大成分ｖ_zoomtと、遅延器９４−３により１単位時間遅延された時刻ｔ−１における拡大成分ｖ_zoomt-1が入力される。加算器９２−５は、入力された時刻ｔにおける拡大成分ｖ_zoomtから、時刻ｔ−１における拡大成分ｖ_zoomt-1を減算することで、拡大成分ｖ_zoomを微分する。そして、加算器９２−５から出力された値から、LPF９６−２により、低周波成分が抽出されることにより、加減速による慣性力を表現する揺動信号成分pitchが算出される。
【００９３】
加算器９２−４により、LPF９６−１から出力された値と、LPF９６−２から出力された値とが加算されることにより、提示装置３に供給される揺動信号成分pitchが算出される。
【００９４】
図１０は、提示装置３の構成の例を示す図である。提示装置３は、映像提示部１１１および揺動提示部１１２により構成されている。
【００９５】
映像提示部１１１は、CRT（Cathode-Ray Tube）または液晶表示装置などで構成され、入力された映像信号に対応する画像を表示する。揺動提示部１１２は、入力された揺動信号に対応する揺動を出力する。
【００９６】
映像提示部１１１および揺動提示部１１２は、提示装置３が映像提示部１１１および揺動提示部１１２を有することを示すパラメータ選択信号を統合信号提示装置２に出力する。
【００９７】
図１１は、映像提示部１１１を構成するスクリーン１３１（図示せぬプロジェクタなどにより画像が投影される）と、揺動提示部１１２を構成する椅子１３２との関係の例を示す図である。
【００９８】
映像提示部１１１は、スクリーン１３１に映像信号に対応する画像を表示する。揺動提示部１１２は、揺動信号に対応して、椅子１３２を揺動させて、椅子１３２に座る使用者に揺動を感じさせる。
【００９９】
この揺動は、上述したように、Ｘ，Ｙ，Ｚの３軸回りの回転成分（roll,pitch,yaw）と３軸方向の並進成分（x,y,z）により構成される。
【０１００】
揺動提示部１１２の構成例を図１２および図１３に示す。図１２は、揺動提示部１１２の側面図であり、図１３は、揺動提示部１１２の上面図である。揺動提示部１１２は、６本のピストン１４１−１乃至１４１−６を備えており、これらのピストンにより台座１４２が支えられている。台座１４２には、椅子１３２が固定されており、この椅子１３２の上に使用者１４３が座るようになされている。
【０１０１】
ピストン１４１−１乃至１４１−６は、エアシリンダまたは油圧シリンダなどで構成され、それぞれの中心軸に沿って伸縮する。ピストン１４１−１乃至１４１−６が伸縮することにより、台座１４２が揺動し、さらに台座１４２に固定されている椅子１３２が揺動する。ピストン１４１−１乃至１４１−６を制御するための信号は、上述したように、統合信号提示装置２により供給される。
【０１０２】
図１４は、提示装置３の構成の他の例を示す図である。図１４に示す提示装置３は、映像提示部１１１により構成され、揺動提示部１１２を有さない。映像提示部１１１は、提示装置３が映像提示部１１１のみを有することを示すパラメータ選択信号を出力する。
【０１０３】
図１５は、提示装置３の構成の更に他の例を示す図である。図１５に示す提示装置３は、映像提示部１１１、揺動提示部１１２、およびスイッチボックス１６１により構成されている。スイッチボックス１６１は、スイッチおよび選択情報出力回路などにより構成され、使用者の操作に対応したパラメータ選択信号を統合信号提示装置２のパラメータ指示部２２に出力する。
【０１０４】
例えば、揺動を含む画像から成る映像信号を統合信号提示装置２に出力させる旨の操作がスイッチボックス１６１に加えられたとき、スイッチボックス１６１は、揺動を含む画像から成る映像信号を出力させるパラメータ選択信号をパラメータ指示部２２に供給する。
【０１０５】
このとき、パラメータ指示部２２は、統合信号をそのまま映像信号として出力させる復号パラメータを統合信号復号部２３に供給する。
【０１０６】
例えば、揺動信号および映像信号を統合信号提示装置２に出力させる旨の操作がスイッチボックス１６１に加えられたとき、スイッチボックス１６１は、揺動信号および映像信号から成る提示信号を出力させるパラメータ選択信号をパラメータ指示部２２に供給する。
【０１０７】
このとき、パラメータ指示部２２は、揺動信号および映像信号から成る提示信号を出力させる復号パラメータを統合信号復号部２３に供給する。
【０１０８】
すなわち、統合信号提示装置２は、スイッチボックス１６１の操作に対応して、後述する、映像信号および揺動信号から成る提示信号、並びに映像信号のみから成る提示信号のいずれか一方を出力する。
【０１０９】
従って、統合信号提示装置２の使用者は、同一の統合信号を受信しても、使用者の好みによって、実際の揺動刺激で揺動を感じるか、または画像の揺れによって揺動を感じるかを選択することができる。
【０１１０】
図１６は、統合提示システムにおける処理の概略を示す図である。統合信号生成装置１は、提供するコンテンツを公開している（例えば、伝送路の一種であるインターネット上のWebページに、提供するコンテンツに関する情報を提示している）。
【０１１１】
統合信号提示装置２−１は、伝送路を介して、課金情報と共に、コンテンツの要求を統合信号生成装置１に送信する。課金情報およびコンテンツの要求を受信した統合信号生成装置１は、課金情報を基に、課金の処理を実行し、正常に課金の処理が実行されたとき、要求に対応するコンテンツを統合信号提示装置２−１に送信する。
【０１１２】
統合信号提示装置２−１は、揺動信号および映像信号から成る提示信号を出力させるパラメータ選択信号が提示装置３から供給されているとき、統合信号生成装置１から供給されたコンテンツを受信し、受信したコンテンツを基に、揺動信号および補正された画像を含む映像信号を生成し、生成された揺動信号および映像信号から成る提示信号を提示装置３に供給する。
【０１１３】
統合信号提示装置２−１に対応する提示装置３は、揺動信号および補正された画像を含む映像信号に基づいて、補正された画像を表示するとともに、揺動を使用者に提示する。
【０１１４】
統合信号提示装置２−２は、伝送路を介して、課金情報と共に、コンテンツの要求を統合信号生成装置１に送信する。課金情報およびコンテンツの要求を受信した統合信号生成装置１は、課金情報を基に、課金の処理を実行し、正常に課金の処理が実行されたとき、要求に対応するコンテンツを統合信号提示装置２−２に送信する。
【０１１５】
統合信号提示装置２−２は、揺動を含む画像の映像信号から成る提示信号（揺動信号を含まない）を出力させるパラメータ選択信号が提示装置３から供給されているとき、統合信号生成装置１から供給されたコンテンツを受信し、受信したコンテンツ（統合信号）をそのまま提示信号として、提示装置３に供給する。
【０１１６】
統合信号提示装置２−２に対応する提示装置３は、揺動を含む画像の映像信号から成る提示信号に基づいて、揺動を含む画像を表示する。
【０１１７】
図１７は、揺動信号および映像信号から成る提示信号を出力させるパラメータ選択信号が提示装置３から供給されているとき、統合信号提示装置２が出力する提示信号を説明する図である。
【０１１８】
図１７（Ａ）に示す統合信号が入力された統合信号提示装置２は、揺動信号および映像信号から成る提示信号を出力させるパラメータ選択信号が提示装置３から供給されているとき、統合信号から図１７（Ｂ）に示すように、揺動信号を生成して、提示信号として揺動信号を提示装置３に出力するとともに、図１７（Ｃ）に示すように、画像信号である統合信号の画像を補正して（揺動成分を除去して）、補正した画像に対応する映像信号を提示信号として提示装置３に出力する。
【０１１９】
従って、揺動信号および映像信号から成る提示信号を出力させるパラメータ選択信号が提示装置３から統合信号提示装置２に供給されているとき、統合信号提示装置２から提示装置３に供給される提示信号は、図１８に示すように、映像信号および揺動信号から成る。映像信号は、図１８（Ａ）に示すように、揺動成分を除去するように画像が補正されている。揺動信号は、図１８（Ｂ）に示すように、統合信号から生成され、映像信号に対応している。
【０１２０】
一方、揺動を含む画像の映像信号から成る提示信号（揺動信号を含まない）を出力させるパラメータ選択信号が提示装置３から供給されているとき、統合信号提示装置２から提示装置３に供給される提示信号は、図１９に示すように、映像信号のみから成り、揺動信号を含まない。統合信号は、揺動成分を含んだままで、映像信号として、提示装置３に出力される。すなわち、統合信号は、画像が補正されることなく、映像信号として提示装置３に供給される。
【０１２１】
このようにすることによって、統合信号提示装置２および提示装置３の使用者は、揺動を含む画像の映像信号から成る提示信号（揺動信号を含まない）を出力させるパラメータ選択信号が提示装置３から統合信号提示装置２に供給されているとき、画像の揺れによって視覚的に揺動を感じ、揺動信号および映像信号から成る提示信号を出力させるパラメータ選択信号が提示装置３から統合信号提示装置２に供給されているとき、表示される画像が揺れることなく、揺動提示装置１１２により実際の揺動刺激で揺動を感じることができる。
【０１２２】
すなわち、全く同一の統合信号を受信しても、統合信号提示装置２は、提示装置３の機器構成またはスイッチボックス１６１の操作に対応した、最適な刺激を提供する画像信号または揺動信号を出力することができる。
【０１２３】
次に、図２０のフローチャートを参照して、統合提示システムによるコンテンツの提示の処理を説明する。ステップＳ１０１において、統合信号生成装置１は、例えば、伝送路の一種であるインターネット上のWebページに、提供するコンテンツに関する情報を提示することにより、コンテンツを公開する。
【０１２４】
ステップＳ２０１において、統合信号提示装置２は、統合信号生成装置１から供給されたデータ（例えば、公開しているコンテンツに対応するHTML（Hypertext Markup Language）ファイル）を基に、コンテンツの選択画面を提示装置３に表示させる。
【０１２５】
ステップＳ２０２において、統合信号提示装置２のコンテンツ要求送信部２５は、伝送路を介して、コンテンツの指定（例えば、コンテンツのID番号等）と共に、コンテンツの要求を統合信号生成装置１に送信する。統合信号提示装置２の課金情報送信部２６は、伝送路を介して、課金情報を統合信号生成装置１に送信する。
【０１２６】
ステップＳ１０２において、統合信号生成装置１のコンテンツ要求受信部１６は、統合信号提示装置２から送信されたコンテンツの指定およびコンテンツの要求を受信する。受信したコンテンツの指定およびコンテンツの要求は、コンテンツ選択処理部１７に供給される。統合信号生成装置１の課金情報受信部１８は、統合信号提示装置２から送信された課金情報を受信する。受信した課金情報は、課金処理部１９に供給される。
【０１２７】
ステップＳ１０３において、統合信号生成装置１の課金処理部１９は、課金情報に基づいて、課金の処理を実行し、その結果に対応する信号をコンテンツ選択処理部１７に出力する。課金の処理が正常に実行されたとき（コンテンツに対応する料金が支払われたとき）、ステップＳ１０４以降の処理が実行される。課金の処理が正常に実行されなかったとき（コンテンツに対応する料金が支払われなかったとき）、コンテンツの提供の処理が実行されることなく、処理は終了する。
【０１２８】
ステップＳ１０４において、統合信号符号化部１３は、統合信号を生成する。統合信号を生成する処理の詳細は、図２１のフローチャートを参照して、後述する。
【０１２９】
ステップＳ１０５において、統合信号生成装置１の統合信号送信部１４は、ステップＳ１０４の処理で生成された統合信号（すなわち、コンテンツ）を、伝送路を介して、統合信号提示装置２に送信する。
【０１３０】
ステップＳ２０３において、統合信号提示装置２の統合信号受信部２１は、統合信号生成装置１から送信された統合信号を受信する。受信した統合信号は、統合信号復号部２３に供給される。
【０１３１】
ステップＳ２０４において、統合信号復号部２３は、パラメータ指示部２２から供給される復号パラメータに対応して、統合信号を復号して、処理は終了する。統合信号の復号の処理の詳細は、図２２のフローチャートを参照して、説明する。
【０１３２】
このように、統合信号提示装置２は、統合信号生成装置１に課金情報と共に所望のコンテンツの送信を要求し、要求に対応したコンテンツである統合信号を受信して、統合信号を復号することができる。
【０１３３】
統合信号提示装置２の使用者は、コンテンツに揺動信号が含まれているか否かなどを選択する必要がない。
【０１３４】
次に、図２１のフローチャートを参照して、統合信号生成装置１による、図２０のステップＳ１０４の処理に対応する統合信号の生成の処理を説明する。ステップＳ１１において、コンテンツ選択処理部１７は、統合信号提示装置２からのコンテンツの指定に対応する映像信号の出力を映像信号記録部１１に指示する。映像信号記録部１１は、コンテンツの指定に対応する映像信号（予め記録している）を統合信号符号化部１３に供給する。統合信号符号化部１３は、映像信号記録部１１から供給された映像信号を取得する。
【０１３５】
ステップＳ１２において、コンテンツ選択処理部１７は、統合信号提示装置２からのコンテンツの指定に対応する揺動信号の出力を揺動信号記録部１２に指示する。揺動信号記録部１２は、コンテンツの指定に対応する揺動信号（予め記録している）を統合信号符号化部１３に供給する。統合信号符号化部１３は、揺動信号記録部１２から供給された揺動信号を取得する。揺動信号は、ステップＳ１１の処理で取得される映像信号に対応している。
【０１３６】
ステップＳ１３において、統合信号符号化部１３は、揺動信号に基づいて、映像信号を補正する。例えば、揺動信号が画像に対して上下方向の揺動を示すとき、映像信号は、画像の表示位置が上下方向に移動するように補正される。
【０１３７】
ステップＳ１４において、統合信号符号化部１３は、補正された映像信号を、統合信号として、統合信号送信部１４に出力して、処理は終了する。
【０１３８】
このように、統合信号符号化部１３は、映像信号および揺動信号を基に、統合信号を生成して、出力することができる。
【０１３９】
次に、図２２のフローチャートを参照して、統合信号提示装置２による、図２０のステップＳ２０４の処理に対応する統合信号の復号の処理を説明する。
【０１４０】
ステップＳ３１において、統合信号提示装置２のパラメータ指示部２２は、提示装置３から供給されたパラメータ選択信号を取得する。パラメータ指示部２２は、取得されたパラメータ選択信号に対応する復号パラメータを生成して、生成した復号パラメータを統合信号復号部２３に供給する。
【０１４１】
ステップＳ３２において、統合信号復号部２３は、復号パラメータを基に、揺動信号を出力するか否かを判定し、揺動信号を出力すると判定された場合、ステップＳ３３に進む。ステップＳ３３おいて、統合信号復号部２３の動きベクトル抽出部５２は、統合信号受信部２１から供給された統合信号から、動きベクトルを抽出する。抽出された動きベクトルは、揺動信号生成部５４に供給される。
【０１４２】
ステップＳ３４において、統合信号復号部２３の揺動信号生成部５４は、動きベクトルを基に、揺動信号を生成する。生成された揺動信号は、提示信号として出力されると共に、画像補正部５３に供給される。
【０１４３】
ステップＳ３５において、統合信号復号部２３の画像補正部５３は、揺動信号を基に、統合信号の画像を揺動を取り除くように補正し、補正した画像を含む映像信号を映像信号選択部に供給して、ステップＳ３６に進む。
【０１４４】
ステップＳ３６において、統合信号復号部２３の映像信号選択部５５は、揺動信号を出力すると判定された場合、処理決定部５１から供給される信号を基に、画像補正部５３から供給される映像信号を選択して、選択した映像信号を提示信号として出力して、処理は終了する。
【０１４５】
ステップＳ３２において、揺動信号を出力しないと判定された場合、揺動信号を生成する必要がなく、画像を補正する必要がないので、ステップＳ３３乃至ステップＳ３５の処理はスキップされ、手続きは、ステップＳ３６に進む。
【０１４６】
ステップＳ３６において、統合信号復号部２３の映像信号選択部５５は、揺動信号を出力しないと判定された場合、処理決定部５１から供給される信号を基に、処理決定部５１から供給される統合信号を選択して、選択した映像信号である統合信号を提示信号として出力して、処理は終了する。
【０１４７】
このように、統合信号提示装置２は、提示装置３から供給されるパラメータ選択信号を基に、揺動信号を出力するとき、揺動信号および補正した映像信号を提示装置３に出力し、揺動信号を出力しないとき、映像信号である統合信号を提示信号として提示装置３に出力する。
【０１４８】
次に、本発明に係る統合提示システムの第２の実施の形態について説明する。
【０１４９】
図２３は、本発明に係る統合提示システムの第２の実施の形態の構成を示す図である。図１に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。
【０１５０】
統合信号生成装置２０１は、映像信号記録部１１、揺動信号記録部１２、統合信号符号化部１３、統合信号送信部１４、統合信号記録部１５、コンテンツ要求受信部１６、コンテンツ選択処理部２１１、課金情報受信部２１２、および課金処理部２１３から構成されている。
【０１５１】
コンテンツ選択処理部２１１は、コンテンツ要求受信部１６から供給されたコンテンツの要求を基に、映像信号記録部１１および揺動信号記録部１２に、要求に対応する映像信号および揺動信号の出力を指示する。
【０１５２】
課金情報受信部２１２は、伝送路を介して、統合信号提示装置２０２が送信した課金情報（例えば、銀行口座の番号およびその銀行口座に対応する暗証番号などから構成される）を受信し、受信した課金情報を課金処理部２１３に供給する。課金処理部２１３は、課金情報を基に、課金の処理、例えば、指定された銀行口座からの料金の引き落としの処理を実行する。
【０１５３】
統合信号提示装置２０２は、統合信号受信部２１、統合信号復号部２３、コンテンツ選択部２４、コンテンツ要求送信部２２１、パラメータ指示部２２２、および課金情報送信部２２３で構成されている。
【０１５４】
コンテンツ要求送信部２２１は、コンテンツ選択部２４から供給された信号を基に、伝送路を介して、コンテンツの指定と共に、コンテンツの要求を統合信号生成装置２０１に送信する。
【０１５５】
パラメータ指示部２２２は、提示装置３から供給された、パラメータ選択信号を入力し、パラメータ選択信号に対応する復号パラメータを統合信号復号部２３および課金情報送信部２２３に供給する。
【０１５６】
課金情報送信部２２３は、統合信号提示装置２０２が統合信号を受信したとき、パラメータ指示部２２２から供給された復号パラメータを基に、予め記憶している、銀行口座の番号、その銀行口座に対応する暗証番号、および支払い金額などから構成される課金情報を、伝送路を介して、統合信号生成装置２０１に送信する。
【０１５７】
このように、統合信号提示装置２０２の使用者は、同一の統合信号を受信しても、使用者の好みによって、実際の揺動刺激で揺動を感じるか、または画像の揺れによって揺動を感じるかを選択し、その選択に対応した料金を支払うことができる。
【０１５８】
図２４は、第２の実施の形態の統合提示システムにおける処理の概略を示す図である。統合信号生成装置２０１は、提供するコンテンツを公開している。
【０１５９】
統合信号提示装置２０２−１は、伝送路を介して、所望するコンテンツの要求を統合信号生成装置２０１に送信する。コンテンツの要求を受信した統合信号生成装置２０１は、要求に対応するコンテンツを統合信号提示装置２０２−１に送信する。
【０１６０】
統合信号提示装置２０２−１は、揺動信号および映像信号から成る提示信号を出力させるパラメータ選択信号が提示装置３から供給されているとき、統合信号生成装置２０１から供給されたコンテンツを受信し、受信したコンテンツを基に揺動信号および補正された画像を含む映像信号を生成し、生成された揺動信号および映像信号から成る提示信号を提示装置３に供給する。
【０１６１】
統合信号提示装置２０２−１に対応する提示装置３は、揺動信号および補正された画像を含む映像信号に基づいて、補正された画像を表示するとともに、揺動を使用者に提示する。
【０１６２】
統合信号提示装置２０２−１は、伝送路を介して、受信したコンテンツ並びに揺動信号および映像信号の出力に対応した課金情報を統合信号生成装置２０１に送信する。課金情報を受信した統合信号生成装置２０１は、課金情報を基に、課金の処理を実行する。
【０１６３】
統合信号提示装置２０２−２は、伝送路を介して、所望するコンテンツの要求を統合信号生成装置２０１に送信する。コンテンツの要求を受信した統合信号生成装置２０１は、要求に対応するコンテンツを統合信号提示装置２０２−２に送信する。
【０１６４】
統合信号提示装置２０２−２は、映像信号のみから成る提示信号を出力させるパラメータ選択信号が提示装置３から供給されているとき、統合信号生成装置２０１から供給されたコンテンツを受信し、受信した統合信号をそのまま映像信号として提示装置３に供給する。
【０１６５】
統合信号提示装置２０２−２に対応する提示装置３は、揺動を含む映像信号に基づいて、画像を表示する。
【０１６６】
統合信号提示装置２０２−２は、伝送路を介して、受信したコンテンツ並びに映像信号のみの出力に対応した課金情報を統合信号生成装置２０１に送信する。課金情報を受信した統合信号生成装置２０１は、課金情報を基に、課金の処理を実行する。
【０１６７】
このように、統合信号生成装置２０１は、統合信号提示装置２０２における統合信号の利用の形態に対応して課金の処理を実行することができる。
【０１６８】
次に、図２５のフローチャートを参照して、第２の実施の形態の統合提示システムによるコンテンツの提示の処理を説明する。ステップＳ１１１において、統合信号生成装置２０１は、例えば、伝送路の一種であるインターネット上のWebページに、提供するコンテンツに関する情報を提示することにより、コンテンツを公開する。
【０１６９】
ステップＳ２１１において、統合信号提示装置２０２は、統合信号生成装置２０１から供給されたデータを基に、コンテンツの選択画面を提示装置３に表示させる。
【０１７０】
ステップＳ２１２において、統合信号提示装置２０２のコンテンツ要求送信部２２１は、伝送路を介して、コンテンツの指定（例えば、コンテンツのID番号等）と共に、コンテンツの要求を統合信号生成装置２０１に送信する。
【０１７１】
ステップＳ１１２において、統合信号生成装置２０１のコンテンツ要求受信部１６は、統合信号提示装置２から送信されたコンテンツの指定およびコンテンツの要求を受信する。受信したコンテンツの指定およびコンテンツの要求は、コンテンツ選択処理部２１１に供給される。
【０１７２】
ステップＳ１１３において、統合信号生成装置２０１の統合信号符号化部１３は、統合信号を生成する。ステップＳ１１３における統合信号を生成する処理の詳細は、ステップＳ１０４の処理と同様なので、その説明は省略する。
【０１７３】
ステップＳ１１４において、統合信号生成装置２０１の統合信号送信部１４は、ステップＳ１１３の処理で生成された統合信号（すなわち、コンテンツ）を、伝送路を介して、統合信号提示装置２０２に送信する。
【０１７４】
ステップＳ２１３において、統合信号提示装置２０２の統合信号受信部２１は、統合信号生成装置２０１から送信された統合信号を受信する。受信した統合信号は、統合信号復号部２３に供給される。
【０１７５】
ステップＳ２１４において、統合信号提示装置２０２の統合信号復号部２３は、パラメータ指示部２２２から供給される復号パラメータに対応して、統合信号を復号する。ステップＳ２１４における、統合信号の復号の処理の詳細は、図２０のステップＳ２０４の処理と同様なので、その説明は省略する。
【０１７６】
ステップＳ２１５において、統合信号提示装置２０２の課金情報送信部２２３は、伝送路を介して、パラメータ指示部２２２から供給された復号パラメータに対応する課金情報を統合信号生成装置２０１に送信する。
【０１７７】
ステップＳ１１５において、統合信号生成装置２０１の課金情報受信部２１２は、統合信号提示装置２０２から送信された課金情報を受信する。受信した課金情報は、課金処理部２１３に供給される。
【０１７８】
ステップＳ１１６において、統合信号生成装置２０１の課金処理部２１３は、課金情報に基づいて、課金の処理を実行し、処理は終了する。
【０１７９】
このように、統合信号生成装置２０１は、統合信号提示装置２０２における統合信号の利用の形態に対応する料金で、課金の処理を実行することができる。例えば、統合信号生成装置２０１は、統合信号提示装置２０２が、提示装置３に揺動信号を出力するときは、より高い料金で課金の処理を実行し、統合信号提示装置２０２が、提示装置３に映像信号のみを出力するときは、より安い料金で課金の処理を実行することができる。
【０１８０】
次に、本発明に係る統合提示システムの第３の実施の形態について説明する。
【０１８１】
図２６は、本発明に係る統合提示システムの第３の実施の形態の構成を示す図である。図１に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。
【０１８２】
統合信号生成装置３０１は、統合信号符号化部１３、統合信号送信部１４、映像信号記録部３１１、揺動信号記録部３１２、課金情報受信部３１３、および課金処理部３１４から構成され、伝送路を介して、予め定められているスケジュールに従って、統合信号を統合信号提示装置３０２に送信する。
【０１８３】
映像信号記録部３１１は、例えばハードディスクなど、媒体および媒体駆動装置などで構成され、動画像の映像信号を予め記録している。映像信号記録部３１１は、予め定められたスケジュールに従って、記録している映像信号を統合信号符号化部１３に供給する。
【０１８４】
揺動信号記録部３１２は、例えばハードディスクなど、媒体および媒体駆動装置などで構成され、映像信号記録部３１１が記録している映像信号に対応する揺動信号を予め記録している。揺動信号記録部３１２は、予め定められたスケジュールに従って、映像信号記録部３１１が統合信号符号化部１３に供給する映像信号に同期して、映像信号に対応する揺動信号を統合信号符号化部１３に供給する。
【０１８５】
課金情報受信部３１３は、伝送路を介して、統合信号提示装置３０２が送信した課金情報（例えば、銀行口座の番号およびその銀行口座に対応する暗証番号などから構成される）を受信し、受信した課金情報を課金処理部３１４に供給する。課金処理部３１４は、課金情報を基に、課金の処理、例えば、指定された銀行口座からの料金の引き落としの処理を実行する。
【０１８６】
統合信号提示装置３０２は、統合信号受信部２１、統合信号復号部２３、パラメータ指示部３２１、および課金情報送信部３２２で構成されている。
【０１８７】
パラメータ指示部３２１は、提示装置３から供給された、パラメータ選択信号を入力し、パラメータ選択信号に対応する復号パラメータを統合信号復号部２３および課金情報送信部３２２に供給する。
【０１８８】
課金情報送信部３２２は、統合信号提示装置３０２が統合信号を受信したとき、パラメータ指示部３２１から供給された復号パラメータを基に、予め記憶している、銀行口座の番号、その銀行口座に対応する暗証番号、および支払い金額などから構成される課金情報を、伝送路を介して、統合信号生成装置３０１に送信する。
【０１８９】
図２７は、第３の実施の形態の統合提示システムにおける処理の概略を示す図である。統合信号生成装置３０１は、提供するコンテンツを公開している。
【０１９０】
統合信号生成装置３０１は、予め定めたスケジュールに対応してコンテンツを統合信号提示装置３０２−１および３０２−２に送信する（放送する）。
【０１９１】
統合信号提示装置３０２−１は、揺動信号および映像信号から成る提示信号を出力させるパラメータ選択信号が提示装置３から供給されているとき、統合信号生成装置３０１から供給されたコンテンツを受信し、受信したコンテンツを基に揺動信号および補正された画像を含む映像信号を生成し、生成された揺動信号および映像信号から成る提示信号を提示装置３に供給する。
【０１９２】
統合信号提示装置３０２−１に対応する提示装置３は、揺動信号および補正された画像を含む映像信号に基づいて、補正された画像を表示するとともに、揺動を使用者に提示する。
【０１９３】
統合信号提示装置３０２−１は、伝送路を介して、受信したコンテンツ並びに揺動信号および映像信号の出力に対応した課金情報を統合信号生成装置３０１に送信する。課金情報を受信した統合信号生成装置３０１は、課金情報を基に、課金の処理を実行する。
【０１９４】
統合信号提示装置３０２−２は、映像信号のみから成る提示信号を出力させるパラメータ選択信号が提示装置３から供給されているとき、統合信号生成装置２０１から供給されたコンテンツを受信し、受信した統合信号をそのまま映像信号として提示装置３に供給する。
【０１９５】
統合信号提示装置３０２−２に対応する提示装置３は、揺動を含む映像信号に基づいて、画像を表示する。
【０１９６】
統合信号提示装置３０２−２は、伝送路を介して、受信したコンテンツ並びに映像信号のみの出力に対応した課金情報を統合信号生成装置３０１に送信する。課金情報を受信した統合信号生成装置３０１は、課金情報を基に、課金の処理を実行する。
【０１９７】
このように、統合信号生成装置３０１は、コンテンツを放送して、コンテンツを受信した統合信号提示装置２０２におけるコンテンツ（統合信号）の利用の形態に対応して課金の処理を実行することができる。
【０１９８】
次に、図２８のフローチャートを参照して、第３の実施の形態の統合提示システムによるコンテンツの提示の処理を説明する。
【０１９９】
ステップＳ１２１において、統合信号生成装置３０１の統合信号符号化部１３は、予め定められたスケジュールに従って、映像信号記録部３１１から供給される映像信号、および揺動信号記録部３１２から供給される揺動信号を基に、統合信号を生成する。ステップＳ１２１における統合信号を生成する処理の詳細は、ステップＳ１０４の処理と同様なので、その説明は省略する。
【０２００】
ステップＳ１２２において、統合信号生成装置３０１の統合信号送信部１４は、ステップＳ１２１の処理で生成された統合信号（すなわち、コンテンツ）を、伝送路を介して、統合信号提示装置３０２に送信する。
【０２０１】
ステップＳ２２１において、統合信号提示装置３０２の統合信号受信部２１は、統合信号生成装置３０１から送信された統合信号を受信する。受信した統合信号は、統合信号復号部２３に供給される。
【０２０２】
ステップＳ２２２において、統合信号提示装置３０２の統合信号復号部２３は、パラメータ指示部３２１から供給される復号パラメータに対応して、統合信号を復号する。ステップＳ２２２における、統合信号の復号の処理の詳細は、図２０のステップＳ２０４の処理と同様なので、その説明は省略する。
【０２０３】
ステップＳ２２３において、統合信号提示装置３０２の課金情報送信部３２２は、伝送路を介して、パラメータ指示部３２１から供給された復号パラメータに対応する課金情報を統合信号生成装置３０１に送信する。
【０２０４】
ステップＳ２２３の処理は、統合信号を受信してから、予め定めた時間が経過したとき、実行されるようにしてもよい。
【０２０５】
ステップＳ１２３において、統合信号生成装置３０１の課金情報受信部３１３は、統合信号提示装置３０２から送信された課金情報を受信する。受信した課金情報は、課金処理部３１４に供給される。
【０２０６】
ステップＳ１２４において、統合信号生成装置３０１の課金処理部３１４は、課金情報に基づいて、課金の処理を実行し、処理は終了する。
【０２０７】
このように、統合信号生成装置３０１は、予め定めたスケジュールの基にコンテンツを放送し、統合信号提示装置３０２におけるコンテンツ（統合信号）の利用の形態に対応する料金で、課金の処理を実行することができる。
【０２０８】
なお、統合提示システムは、画像および揺動に限らず、音声、風、温度、臭い、圧力（使用者の皮膚を押す力）、または形状（触覚により認識される物の形状）などの複数の要素（人が五感で認識できるもの）の状態を１つの信号で示す統合信号を生成して、統合信号を基に、画像、音声、風、温度、臭い、圧力、または形状などの複数の要素を使用者に提示するようにしてもよい。
【０２０９】
例えば、提示装置３は、画像を液晶表示装置、またはCRT（Cathode Ray Tube）などにより表示し、音声をラウドスピーカにより出力する。
【０２１０】
また、提示装置３は、風切り音、太陽が照りつける効果音、または木枯らしの効果音などが混合された音声信号である統合信号を基に生成された、風、または温度に対応する提示信号を受信し、送風ファンなどの送風装置により風をおこし、電熱装置などにより使用者の所定部位（例えば、手）などを加熱し、冷却装置などにより使用者の所定の部位を冷却する。
【０２１１】
更に、例えば、提示装置３は、所定の臭いに対応する画像（例えば、キンモクセイの花の画像）が重畳された映像信号である統合信号を基に生成された提示信号を受信し、予め、香料がそれぞれ格納されている複数の容器を有し、提示信号に対応して、いずれかの容器（例えば、キンモクセイの香りの香料が格納されている容器）を加熱することで、提示信号に対応する臭いを発生させる。
【０２１２】
また、複数のアクチュエータが内蔵されている手袋である提示装置３は、統合信号により表示されている画像に表示されている物の形状（例えば、円柱など）に対応する提示信号に対応して、使用者の手の所定の部分を押すことで、圧力または形状（例えば、円柱）を使用者に感じさせる。
【０２１３】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０２１４】
図２９は、上述した一連の処理を実行するパーソナルコンピュータの構成の例を説明する図である。ＣＰＵ（Central Processing Unit）４０１は、図２０乃至図２２、図２５、および図２８のフローチャートを参照して説明した処理を実行するアプリケーションプログラムや、ＯＳ（Operating System)を実際に実行する。ＲＯＭ（Read-only Memory）４０２は、一般的には、ＣＰＵ４０１が使用するプログラムや演算用のパラメータのうちの基本的に固定のデータを格納する。ＲＡＭ（Random-Access Memory）４０３は、ＣＰＵ４０１の実行において使用するプログラムや、その実行において適宜変化するパラメータを格納する。これらはＣＰＵバスなどから構成されるホストバス４０４により相互に接続されている。
【０２１５】
ホストバス４０４は、ブリッジ４０５を介して、ＰＣＩ(Peripheral Component Interconnect/Interface)バスなどの外部バス４０６に接続されている。
【０２１６】
キーボード４０８は、ＣＰＵ４０１に各種の指令を入力するとき、使用者により操作される。ポインティングデバイス４０９は、マウス、トラックボール、またはデジタイザなどから構成され、ディスプレイ４１０の画面上のポイントの指示や選択を行うとき、使用者により操作される。ディスプレイ４１０は、液晶表示装置またはＣＲＴ（Cathode Ray Tube）などから成り、各種情報をテキストやイメージで表示する。ＨＤＤ（Hard Disk Drive）４１１は、ハードディスクを駆動し、それらにＣＰＵ４０１によって実行するプログラムや情報を記録または再生させる。
【０２１７】
ドライブ４１２は、装着されている磁気ディスク４５１、光ディスク４５２、光磁気ディスク４５３、または半導体メモリ４５４に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インターフェース４０７、外部バス４０６、ブリッジ４０５、およびホストバス４０４を介して接続されているＲＡＭ４０３に供給する。これらのキーボード４０８乃至ドライブ４１２は、インターフェース４０７に接続されており、インターフェース４０７は、外部バス４０６、ブリッジ４０５、およびホストバス４０４を介してＣＰＵ４０１に接続されている。
【０２１８】
通信部４１３は、モデムまたはNIC（Network Interface Card）などから構成され、公衆電話回線、ネットワーク、または衛星通信回線などの伝送路が接続される。通信部４１３は、ＣＰＵ４０１、またはＨＤＤ４１１から供給されたデータを、所定の方式のパケットに格納して、伝送路を介して、送信するとともに、伝送路を介して、受信したパケットに格納されているデータをＣＰＵ４０１、ＲＡＭ４０３、またはＨＤＤ４１１に出力する。
【０２１９】
通信部４１３は、外部バス４０６、ブリッジ４０５、およびホストバス４０４を介してＣＰＵ４０１に接続されている。
【０２２０】
一連の処理を実行させるプログラムが格納されている記録媒体は、図２９に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク４５１（フロッピディスクを含む）、光ディスク４５２（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディスク４５３（ＭＤ(Mini-Disc)を含む）、若しくは半導体メモリ４５４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM４０２や、ＨＤＤ４１１などで構成される。
【０２２１】
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２２２】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２２４】
【発明の効果】
請求項１に記載の情報処理装置および請求項４に記載の情報処理方法によれば、第１の知覚要素および第２の知覚要素に対応する統合信号が取得され、第１の知覚要素に対応する第１の信号、および第２の知覚要素に対応する第２の信号を生成するか否かが判定され、第１の信号および第２の信号を生成すると判定された場合、統合信号を基に、第１の信号および第２の信号が生成され、第１の信号および第２の信号を生成すると判定された場合、第１の信号および第２の信号が出力され、第１の信号および第２の信号を生成しないと判定された場合、統合信号が第１の信号として出力され、取得した統合信号、並びに第１の信号および第２の信号を生成したか否かに対応する課金情報の提供装置への送信が制御されるようにしたので、複数の知覚要素に対応する信号を統一的に伝送すると共に、知覚要素の提示の態様に対応させて料金を課金できるようになる。
【０２２５】
請求項５に記載の提示システムによれば、課金情報の受信が制御され、第１の知覚要素に関する第１の信号、および第１の信号に対応する、第２の知覚要素に関する第２の信号を基に、第１の知覚要素および第２の知覚要素に対応する統合信号が生成され、統合信号の送信が制御され、課金情報に基づいて、課金の処理が実行され、統合信号が取得され、第１の知覚要素に対応する第１の信号、および第２の知覚要素に対応する第２の信号を生成するか否かが判定され、第１の信号および第２の信号を生成すると判定された場合、統合信号を基に、第１の信号および第２の信号が生成され、第１の信号および第２の信号を生成すると判定された場合、第１の信号および第２の信号が出力され、第１の信号および第２の信号を生成しないと判定された場合、統合信号が第１の信号として出力され、取得した統合信号、並びに第１の信号および第２の信号を生成したか否かに対応する課金情報の提供装置への送信が制御されるようにしたので、複数の知覚要素に対応する信号を統一的に伝送すると共に、知覚要素の提示の態様に対応させて異なる料金を課金できるようになる。
【図面の簡単な説明】
【図１】本発明に係る統合提示システムの一実施の形態の構成を示す図である。
【図２】映像信号、および揺動信号を説明する図である。
【図３】統合信号の例を示す図である。
【図４】統合信号復号部２３の構成を説明する図である。
【図５】動きベクトル抽出部５２の構成を示すブロック図である。
【図６】メモリ７４に記憶されているパターンを説明する図である。
【図７】統合信号の画像の例を示す図である。
【図８】揺動信号生成部５４の構成を示すブロック図である。
【図９】動きベクトルの成分ｕ、ｖ、ｖ_zoom、ｖ_rotの関係を説明する図である。
【図１０】提示装置３の構成の例を示す図である。
【図１１】映像提示部１１１を構成するスクリーン１３１と、揺動提示部１１２を構成する椅子１３２との関係の例を示す図である。
【図１２】揺動提示部１１２の構成例を示す図である。
【図１３】揺動提示部１１２の構成例を示す図である。
【図１４】提示装置３の構成の他の例を示す図である。
【図１５】提示装置３の構成の更に他の例を示す図である。
【図１６】統合提示システムにおける処理の概略を示す図である。
【図１７】統合信号提示装置２が出力する提示信号を説明する図である。
【図１８】統合信号提示装置２が出力する提示信号を説明する図である。
【図１９】統合信号提示装置２が出力する提示信号を説明する図である。
【図２０】統合提示システムによるコンテンツの提示の処理を説明するフローチャートである。
【図２１】統合信号の生成の処理を説明するフローチャートである。
【図２２】統合信号の復号の処理を説明するフローチャートである。
【図２３】本発明に係る統合提示システムの第２の実施の形態の構成を示す図である。
【図２４】第２の実施の形態の統合提示システムにおける処理の概略を示す図である。
【図２５】第２の実施の形態の統合提示システムによるコンテンツの提示の処理を説明するフローチャートである。
【図２６】本発明に係る統合提示システムの第３の実施の形態の構成を示す図である。
【図２７】第３の実施の形態の統合提示システムにおける処理の概略を示す図である。
【図２８】第３の実施の形態の統合提示システムによるコンテンツの提示の処理を説明するフローチャートである。
【図２９】パーソナルコンピュータの構成の例を説明する図である。
【符号の説明】
１統合信号生成装置，２統合信号提示装置，３提示装置，１１映像信号記録部，１２揺動信号記録部，１３統合信号符号化部，１４統合信号送信部，１５統合信号記録部，１６コンテンツ要求受信部，１７コンテンツ選択処理部，１８課金情報受信部，１９課金処理部，２１統合信号受信部，２２パラメータ指示部，２３統合信号復号部，２４コンテンツ選択部，２５コンテンツ要求送信部，２６課金情報送信部，５１処理決定部，５２動きベクトル抽出部，５３画像補正部，５４揺動信号生成部，５５映像信号選択部，１１１映像提示部，１１２揺動提示部，１６１スイッチボックス，２０１統合信号生成装置，２０２統合信号提示装置，２１１コンテンツ選択処理部，２１２課金情報受信部，２１３課金処理部，２２１コンテンツ要求送信部，２２２パラメータ指示部，２２３課金情報送信部，３０１統合信号生成装置，３０２統合信号提示装置，３１１映像信号記録部，３１２揺動信号記録部，３１３課金情報受信部，３１４課金処理部，３２１パラメータ指示部，３２２課金情報送信部，４０１ＣＰＵ，４０２ＲＯＭ，４０３ＲＡＭ，４１１ＨＤＤ，４５１磁気ディスク，４５２光ディスク，４５３光磁気ディスク，４５４半導体メモリ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an information processing apparatus and method, and a presentation system, and more particularly, to an information processing apparatus and method that handles signals corresponding to a plurality of perceptual elements, and a presentation system.
[0002]
[Prior art]
The transmitting device transmits an image signal and an audio signal corresponding to the image, and the receiving device receives and decodes the image signal and the audio signal, displays the image, and outputs the corresponding audio. The system is widely used.
[0003]
Different types of signals such as an image signal and an audio signal are transmitted and received respectively, and processing corresponding to the image signal and processing corresponding to the audio signal are executed separately. .
[0004]
[Problems to be solved by the invention]
However, when the receiving device displays only an image and does not output sound, the receiving device has no choice but to display the image corresponding to the image signal as it is. Similarly, when the receiving device outputs only sound and does not display an image, the receiving device has only to output sound corresponding to the sound signal as it is.
[0005]
In addition, when a receiving device that receives the same image signal and sound signal displays only the image, outputs only the sound, or displays the image and outputs the sound, the corresponding fee is charged. It was not possible to charge.
[0006]
The present invention has been made in view of such a situation. A signal corresponding to a plurality of perceptual elements such as an image is transmitted in a unified manner. The purpose is to make it possible to charge different charges in accordance with.
[0011]
[Means for Solving the Problems]
  Claim1The information processing apparatus according to claim 1, an acquisition unit that acquires an integrated signal corresponding to the first sensory element and the second sensory element, a first signal corresponding to the first sensory element, and a second sensory element Determining means for determining whether to generate a second signal corresponding to the first signal and the second signal based on the integrated signal when it is determined to generate the first signal and the second signal. Generating means for generating a first signal and a second signal when it is determined to generate the first signal and the second signal, and generating the first signal and the second signal When it is determined not to output, the output means for outputting the integrated signal as the first signal, the acquired integrated signal, and the accounting information providing device corresponding to whether the first signal and the second signal are generated Including first transmission control means for controlling transmission to And butterflies.
[0012]
The information processing apparatus can further include second transmission control means for controlling transmission of the request for the integrated signal to the providing apparatus.
[0013]
The first signal can be a video signal and the second signal can be a swing signal.
[0014]
  Claim4The information processing method according to claim 1, wherein an acquisition step of acquiring an integrated signal corresponding to the first sensory element and the second sensory element, a first signal corresponding to the first sensory element, and a second sensory element A determination step for determining whether or not to generate the second signal corresponding to the first signal and the second signal based on the integrated signal when it is determined to generate the first signal and the second signal. Generating step of generating the first signal and the second signal when it is determined to generate the first signal and the second signal, and generating the first signal and the second signal. An output step for outputting an integrated signal as a first signal when it is determined that the integrated signal is not to be obtained, and an apparatus for providing billing information corresponding to whether or not the acquired integrated signal and the first and second signals have been generated Transmission control step to control transmission to Characterized in that it comprises a.
[0015]
  Claim5In the presentation system according to the first aspect, the providing device includes a reception control unit that controls reception of the billing information, a first signal related to the first perceptual element, and a second perceptual element corresponding to the first signal. First generation means for generating an integrated signal corresponding to the first perceptual element and the second perceptual element, first transmission control means for controlling transmission of the integrated signal, and billing information The information processing apparatus includes an acquisition means for acquiring an integrated signal, a first signal corresponding to the first sensory element, and a second sensory element. Determining means for determining whether to generate a second signal corresponding to the first signal and the second signal based on the integrated signal when it is determined to generate the first signal and the second signal. Second generating means for generating the first signal, the first signal and When it is determined that the second signal is generated, the first signal and the second signal are output, and when it is determined that the first signal and the second signal are not generated, the integrated signal is used as the first signal. An output means for outputting, and a second transmission control means for controlling transmission of the acquired integrated signal and the accounting information corresponding to whether or not the first signal and the second signal are generated. It is characterized by that.
[0017]
  Claim1Information processing apparatus according to claim and claim4In the information processing method described in (1), an integrated signal corresponding to the first sensory element and the second sensory element is acquired, and the first signal corresponding to the first sensory element and the second sensory element are supported. Whether to generate the second signal to be generated, and when it is determined to generate the first signal and the second signal, the first signal and the second signal are generated based on the integrated signal. If it is determined to generate the first signal and the second signal, the first signal and the second signal are output, and if it is determined not to generate the first signal and the second signal, the integration is performed. The signal is output as the first signal, and the transmission of the acquired integrated signal and the accounting information corresponding to whether or not the first signal and the second signal are generated is controlled.
[0018]
  Claim5In the present presentation system, the reception of billing information is controlled, and based on the first signal related to the first sensory element and the second signal related to the second sensory element corresponding to the first signal, An integrated signal corresponding to the first sensory element and the second sensory element is generated, transmission of the integrated signal is controlled, charging processing is performed based on the charging information, an integrated signal is acquired, and the first signal is acquired. If it is determined whether to generate a first signal corresponding to the sensory element and a second signal corresponding to the second sensory element, and it is determined to generate the first signal and the second signal, When it is determined that the first signal and the second signal are generated based on the integrated signal and the first signal and the second signal are generated, the first signal and the second signal are output, It was determined not to generate a signal of 1 and a second signal If, integrated signal is output as a first signal, obtained integrated signal, and transmits to the providing apparatus charging information corresponding to whether to generate a first signal and the second signal is controlled.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a diagram showing a configuration of an embodiment of an integrated presentation system according to the present invention. In response to the request from the integrated signal presentation device 2, the integrated signal generation device 1 uses a single signal to indicate the state of an image and a plurality of sensory elements (such as those that cause a stimulus that humans recognize with five senses). An integrated signal (hereinafter also referred to as content) is generated. The integrated signal generation device 1 transmits the generated integrated signal to the integrated signal presentation device 2 via a transmission path such as a public telephone line, a network, or a satellite communication line.
[0020]
Alternatively, the integrated signal generation device 1 records the generated integrated signal on a medium such as a magnetic tape, a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory. The medium on which the integrated signal is recorded is supplied to the integrated signal presentation device 2 by a physical distribution system such as mail or home delivery.
[0021]
The integrated signal generation device 1 receives the charging information transmitted together with the request from the integrated signal presentation device 2, and executes a charging process corresponding to the supply of the integrated signal based on the received charging information.
[0022]
The integrated signal presenting device 2 requests an integrated signal together with billing information from the integrated signal generating device 1 via the transmission path or medium, and based on the integrated signal supplied from the integrated signal generating device 1, the image and the oscillation A presentation signal indicating the state of each of a plurality of elements is generated, and the generated presentation signal is supplied to the presentation device 3.
[0023]
The presentation device 3 presents a plurality of elements such as an image and a swing to the user based on the presentation signal supplied from the integrated signal presentation device 2.
[0024]
In this way, the user of the presentation device 3 recognizes a plurality of elements such as an image and a swing.
[0025]
The integrated signal generator 1 includes a video signal recording unit 11, an oscillation signal recording unit 12, an integrated signal encoding unit 13, an integrated signal transmitting unit 14, an integrated signal recording unit 15, a content request receiving unit 16, and a content selection processing unit 17. A billing information receiving unit 18 and a billing processing unit 19.
[0026]
The video signal recording unit 11 includes a medium such as a hard disk and a medium driving device, and records a video signal of a moving image in advance. The video signal may be any system such as a signal corresponding to digital data such as MPEG (Moving Picture Experts Group) 2 or an analog signal. The video signal recording unit 11 supplies the recorded video signal to the integrated signal encoding unit 13 in response to a request from the content selection processing unit 17.
[0027]
The swing signal recording unit 12 records in advance a swing signal corresponding to the video signal recorded by the video signal recording unit 11. The swing signal is a signal indicating temporal displacement of the user's body, and indicates, for example, vertical movement or rotation of the user's body. The rocking signal recording unit 12 is composed of a medium such as a hard disk and a medium driving device, for example, and the video signal recording unit 11 supplies video to the integrated signal encoding unit 13 in response to a request from the content selection processing unit 17. In synchronization with the signal, an oscillation signal corresponding to the video signal is supplied to the integrated signal encoding unit 13.
[0028]
FIG. 2 is a diagram for explaining the video signal supplied from the video signal recording unit 11 to the integrated signal encoding unit 13 and the oscillation signal supplied from the oscillation signal recording unit 12 to the integrated signal encoding unit 13.
[0029]
FIG. 2A is a diagram illustrating an image corresponding to a video signal supplied from the video signal recording unit 11 to the integrated signal encoding unit 13. FIG. 2B is a diagram illustrating a swing signal supplied from the swing signal recording unit 12 to the integrated signal encoding unit 13, for example, a swing in the vertical direction with respect to an image.
[0030]
The image (still image) corresponding to the video signal is associated with the swing (amplitude) of the swing signal based on the time, for example.
[0031]
The integrated signal encoding unit 13 generates an integrated signal based on the video signal supplied from the video signal recording unit 11 and the video signal supplied from the swing signal recording unit 12.
[0032]
FIG. 3 is a diagram showing an example of the integrated signal generated by the integrated signal encoding unit 13 based on the video signal and the swing signal shown in FIG. The integrated signal shown in FIG. 3 is generated by moving an image corresponding to the video signal in the vertical direction so as to correspond to the swing signal.
[0033]
Also, for example, when the swing signal indicates a left-right swing with respect to the image, the integrated signal is generated by moving the image corresponding to the video signal in the left-right direction so as to correspond to the swing signal. The
[0034]
Similarly, the image may be moved based on a swing signal having other swing components (so-called rotation components such as roll, yaw, and pitch).
[0035]
Further, for example, when the sound corresponding to the image includes the engine sound of the car, the integrated signal encoding unit 13 reads the rocking signal corresponding to the car from the rocking signal recording unit 12 and reads the rocking signal read out. The integrated signal may be generated by moving the image based on the motion signal. In this case, the image corresponding to the integrated signal includes a swing corresponding to the vibration of the automobile.
[0036]
The integrated signal encoding unit 13 may encode the integrated signal by an encoding method suitable for the integrated signal method.
[0037]
The integrated signal encoding unit 13 supplies the generated integrated signal to the integrated signal transmitting unit 14 and the integrated signal recording unit 15.
[0038]
The integrated signal transmission unit 14 transmits the integrated signal supplied from the integrated signal encoding unit 13 to the integrated signal presentation device 2 via a transmission path such as a public telephone line, a network, or a satellite communication line.
[0039]
The integrated signal recording unit 15 records the integrated signal supplied from the integrated signal encoding unit 13 on a medium such as a magnetic tape, a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory. The medium on which the integrated signal is recorded is supplied to the integrated signal presentation device 2.
[0040]
The content request receiving unit 16 receives the content request transmitted by the integrated signal presentation device 2 via the transmission path, and outputs the received content request to the content selection processing unit 17.
[0041]
The billing information receiving unit 18 receives billing information (for example, composed of a bank account number and a personal identification number corresponding to the bank account) transmitted by the integrated signal presentation device 2 together with the content request via the transmission path. The received charging information is supplied to the charging processing unit 19. Based on the billing information, the billing processing unit 19 executes billing processing, for example, processing for debiting charges from a designated bank account. The billing processing unit 19 supplies the content selection processing unit 17 with the result of the billing process (indicating that the process has been completed normally or could not be processed due to insufficient balance).
[0042]
The content selection processing unit 17, based on the content request supplied from the content request receiving unit 16 and the result of the charging process supplied from the charging information processing unit 19, when the accounting process ends normally, The signal recording unit 11 and the swing signal recording unit 12 are instructed to output a video signal and a swing signal corresponding to the request.
[0043]
When the accounting process does not end normally, the content selection processing unit 17 does not instruct the video signal recording unit 11 and the swing signal recording unit 12 to output the video signal and the swing signal.
[0044]
The integrated signal presentation device 2 includes an integrated signal receiving unit 21, a parameter instruction unit 22, an integrated signal decoding unit 23, a content selection unit 24, a content request transmission unit 25, and a billing information transmission unit 26.
[0045]
The integrated signal receiving unit 21 receives the integrated signal transmitted by the integrated signal generating device 1 and supplies the received integrated signal to the integrated signal decoding unit 23.
[0046]
The integrated signal read from the medium by a drive device (not shown) is supplied to the integrated signal decoding unit 23.
[0047]
The parameter instruction unit 22 receives, for example, a parameter selection signal indicating the configuration of the presentation device 3 supplied from the presentation device 3, and supplies a decoding parameter corresponding to the parameter selection signal to the integrated signal decoding unit 23.
[0048]
For example, the decryption parameter is 0 when the presentation device 3 does not have a function of presenting a swing, and is 1 when the presentation device 3 has a function of presenting a swing.
[0049]
The integrated signal decoding unit 23 supplies the presentation device 3 with a presentation signal corresponding to the device configuration of the presentation device 3 based on the decoding parameters supplied from the parameter instruction unit 22.
[0050]
The presentation signal output from the integrated signal presentation device 2 is composed of a video signal and a swing signal, or is composed only of a video signal.
[0051]
The content selection unit 24 is configured by a switch box or the like, and supplies a signal for designating content corresponding to the operation of the user of the integrated signal presentation device 2 to the content request transmission unit 25.
[0052]
Based on the signal supplied from the content selection unit 24, the content request transmission unit 25 transmits a request for content to the integrated signal generation device 1 via a transmission line, and sends a signal indicating that the content has been requested as accounting information. The data is output to the transmission unit 26.
[0053]
When the billing information transmitting unit 26 receives a signal indicating that the content supplied from the content request transmitting unit 15 has been requested, the billing information transmitting unit 26 includes a bank account number and a personal identification number corresponding to the bank account stored in advance. The billing information to be transmitted is transmitted to the integrated signal generating apparatus 1 through the transmission path.
[0054]
FIG. 4 is a diagram for explaining the configuration of the integrated signal decoding unit 23. The integrated signal and decoding parameters input to the integrated signal decoding unit 23 are supplied to the process determining unit 51.
[0055]
Whether the processing determination unit 51 configures the presentation signal output from the integrated signal decoding unit 23 based on the decoding parameter supplied from the parameter instruction unit 22 as a video signal and a swing signal, or only a video signal. Decide either.
[0056]
As will be described later with reference to FIG. 10, the processing determination unit 51 has a function of presenting a swing when the presentation device 3 includes a video presentation unit 111 and a swing presentation unit 112. The video signal and the swing signal are output as presentation signals.
[0057]
On the other hand, as will be described later with reference to FIG. 14, the processing determination unit 51 is configured when the presentation device 3 includes only the video presentation unit 111 (that is, when the presentation device 3 does not have a function of presenting a swing). ), Only the video signal is output as the presentation signal.
[0058]
The process determining unit 51 supplies the input integrated signal to the motion vector extracting unit 52, the image correcting unit 53, and the video signal selecting unit 55.
[0059]
The motion vector extraction unit 52 generates a motion vector from the image of the integrated signal, and supplies the generated motion vector to the fluctuation signal generation unit 54.
[0060]
The swing signal generation unit 54 generates a swing signal based on the motion vector supplied from the motion vector extraction unit 52, supplies the generated swing signal to the image correction unit 53, and performs integrated signal decoding. Output to the presentation device 3 as the output of the unit 23.
[0061]
The image correction unit 53 corrects and corrects the image of the integrated signal, which is the video signal supplied from the processing determination unit 51, based on the fluctuation signal supplied from the fluctuation signal generation unit 54 so as to remove the fluctuation. A video signal including the processed image is supplied to the video signal selection unit 55.
[0062]
For example, the image correction unit 53 moves the image of the integrated signal, which is a video signal, in the vertical direction corresponding to the swing signal (moves in the direction opposite to that of the integrated signal encoding unit 13). , Correct the image. That is, the video signal output from the image correction unit 53 is the same as the video signal recorded by the video signal recording unit 11 and displays an image from which vertical movement has been removed.
[0063]
The video signal selection unit 55 selects either the integrated signal supplied from the processing determination unit 51 or the video signal supplied from the image correction unit 53 based on the selection signal supplied from the processing determination unit 51. Then, the selected signal is output to the presentation device 3 as an output of the integrated signal decoding unit 23.
[0064]
When the presentation device 3 includes the video presentation unit 111 and the swing presentation unit 112, the video signal selection unit 55 selects the video signal supplied from the image correction unit 53 to obtain an image from which vertical movement is removed. The corresponding video signal is output as a presentation signal. When the presentation device 3 includes only the video presentation unit 111, the video signal selection unit 55 selects the integrated signal supplied from the processing determination unit 51 and outputs the integrated signal as it is as a presentation signal.
[0065]
FIG. 5 is a block diagram illustrating a configuration of the motion vector extraction unit 52. The video signal input to the motion vector extraction unit 52 is delayed by one frame by the delay unit 71 and then supplied to the frame buffer 72-1. The video signal input to the motion vector extraction unit 52 is also supplied to the frame buffer 72-2.
[0066]
The reading units 73-1 and 73-2 read video signals from the corresponding frame buffers 72-1 and 72-2, respectively, according to predetermined patterns stored in the memory 74, and output them to the motion vector detection unit 75. .
[0067]
The motion vector detection unit 75 detects a motion vector from the supplied video signal and outputs the detected motion vector to the swing signal generation unit 54.
[0068]
Next, the operation of the motion vector extraction unit 52 shown in FIG. 5 will be described. At time t, the video signal input to the motion vector extraction unit 52 is supplied to the delay unit 71 and the frame buffer 72-2. The frame buffer 72-2 stores the input video signal for one frame. Since the delay unit 71 delays the video signal by one frame, at the time t, the frame buffer 72-1 stores the video signal at the time t−1 before the time t (the video signal one frame before the time t). ) Is stored.
[0069]
The video signal at time t-1 stored in the frame buffer 72-1 is read out by the reading unit 73-1, and the video signal at time t stored in the frame buffer 72-2 is read out by the reading unit 73-2. It is.
[0070]
The reading units 73-1 and 73-2 read out video signals corresponding to the patterns stored in the memory 74 among the video signals stored in the corresponding frame buffers 72-1 and 72-2, respectively. . Here, the patterns stored in the memory 74 will be described with reference to FIG.
[0071]
FIG. 6 is a diagram illustrating an example of a pattern stored in the memory 74. In the case of an unrelated part of the pixels constituting one frame, for example, an integrated signal generated by the integrated signal generator 1 as shown in FIG. 7, the image is moved in the vertical direction. A part necessary for the above is determined to be an area unrelated to oscillation, and a pixel located at the center of the area excluding the area is defined as a convergence point P. For example, 25 representative points Q (including the convergence point) that are symmetrical in the vertical and horizontal directions around the convergence point P are set. For each representative point Q, a block B having a predetermined number of pixels centered on the representative point Q, for example, a block B having 33 × 33 pixels is set. In the memory 74, the coordinates of each representative point Q in the screen of such a frame and the size of the block B are stored as a pattern.
[0072]
Of the video signal at time t-1 stored in the frame buffer 72-1, the reading unit 73-1 stores pixel data corresponding to the above-described pattern stored in the memory 74, that is, the representative point Q. The pixel data in each block B is read out based on the coordinates and the size of the block B, and is output to the motion vector detection unit 75 as reference block data. Similarly, the readout unit 73-2 reads out pixel data corresponding to the pattern stored in the memory 74 from the video signal at time t stored in the frame buffer 72-2, and sends it to the motion vector detection unit 75. Output as search block data.
[0073]
The motion vector detection unit 75 detects a motion vector at each representative point Q by performing block matching using the input reference block data and search block data. Therefore, in this example, 25 motion vectors are detected.
[0074]
As described above, the motion vector extraction unit 52 detects the motion vector and supplies the detected motion vector to the swing signal generation unit 54.
[0075]
FIG. 8 is a block diagram showing the configuration of the swing signal generator 54. The feature amount calculation unit 91 calculates a feature amount from the input motion vector.
[0076]
The feature quantity calculation unit 91 uses the 25 motion vectors detected by the motion vector extraction unit 52, and uses the horizontal component u, vertical component v, and enlarged component v of the swing of the frame (screen)._zoom, And rotational component v_rotAre calculated based on the following formula.
Horizontal component u = (1 / n) Σu_i  ... (1)
Vertical component v = (1 / n) Σv_i  ... (2)
Expansion component v_zoom= (1 / n) Σv_zoomi/ D_i  ... (3)
Rotational component v_rot= (1 / n) Σv_roti/ D_i    ... (4)
The subscript i is the representative point Q_iIn this example, the number varies from 1 to 25. Since n is the number of representative points, it is 25 in this example. The values obtained by the equations (1) to (4) are components u, v, v obtained from 25 motion vectors._zoom, V_rotIs the average value.
[0077]
Each component u, v, v described above_zoom, V_rotThe relationship will be described with reference to FIG. Representative point Q to be processed_iThe horizontal component of the motion vector T of_iAnd the vertical component is v_iAnd di is the representative point Q from the convergence point P_iIt is a scalar quantity that represents the distance to. Further, (Px, Py) represents the coordinates of the convergence point P, and the coordinates (Q_ix, Q_iRepresentative point Q of y)_iThe distance to is calculated.
[0078]
The component of this motion vector T (u_i, V_i) Is representative point Q_iThis is the component when is the origin. Convergence point P and representative point Q of motion vector T_iV in the direction parallel to the straight line connecting_zoomiAnd convergence point P and representative point Q_iThe component in the direction orthogonal to the straight line connecting_rotiAnd Also, the convergence point P and the representative point Q_iIs an angle formed by a straight line connecting the two and the motion vector T. At this time, v_zoomiAnd v_rotiIs obtained according to the following equation.
v_zoomi= (U_i ²+ V_i ²)^(1/2)COSθ (5)
v_roti = (U_i ²+ V_i ²)^(1/2)SINθ (6)
[0079]
The feature amount calculation unit 91 uses the equations (1) to (4) from the motion vector output from the motion vector extraction unit 52, and uses four-component data u, v, v as feature amounts._zoom, V_rotIs calculated. Calculated four-component data u, v, v_zoom, V_rotIs supplied to the subsequent stage of the oscillation signal generator 54.
[0080]
Here, for example, when making the user experience a feeling of riding in a car, what kind of swing should be applied to the chair on which the user is sitting is considered. The swing applied to the chair of an automobile includes the inclination of the road in the front-rear direction when the car is running on a sloped road such as a slope, the vibration received from the road surface when running on a bumpy road, the inclination There is a slope of the left and right direction of the road surface when running on a rough road surface.
[0081]
These swings are stimuli actually applied to a vehicle equipped with a sensor that generates a swing signal (actual stimuli), and are also applied to a chair of a user who observes an image. What is necessary is just to add the same oscillation as the stimulus. For example, if the actual stimulus is tilted to the right, the user's chair may be tilted to the right. These swings are swings that can be applied to the chair for the user by using an actuator or the like.
[0082]
On the other hand, the centrifugal force when the car bends, the inertial force when accelerating and decelerating, and the force corresponding to the swing of the car when the car bends are not physically applied to the user. Therefore, it is necessary to apply to the user as an alternative swing (alternative stimulus). For example, to express inertial force during acceleration, the chair cannot be moved forward in response to acceleration to apply inertial force to the user. It is necessary to add to.
[0083]
The relationship between the swing related to the actual stimulus and the alternative stimulus described above, the component of the swing signal actually applied to the chair for the user, and the relationship of the four components calculated by the feature amount calculation unit 91 described above is shown below. .
Real stimulus

Alternative stimulus

[0084]
The subsequent stage of the swing signal generation unit 54 generates a swing signal to be supplied to the presentation device 3 using the relationship described above. The swing signal generated by the swing signal generation unit 54 corresponds to the swing signal supplied from the swing signal recording unit 12.
[0085]
Of the four components output from the feature quantity calculation unit 91, the rotation component v_rotAre added to the adder 92-1, the horizontal component u is added to the adder 92-2 and the sign inverter 93-1, and the vertical component v is added to the adder 92-3._zoomAre input to the adder 92-5 and the delay unit 94-3, respectively. The data output from the adder 92-1 is input to the adder 92-1 after being delayed by one clock by the delay unit 94-1. Similarly, the data output from the adder 92-3 is input to the adder 92-3 after being delayed by one clock by the delay unit 94-2.
[0086]
The data output from the delay device 94-1 is input to the adder 92-2. The data output from the delay unit 94-2 is output to the HPF (High Pass Filter) 95 through the sign inverter 93-2 and the adder 92- through the LPF (Low Pass Filter) 96-1. 4 is also output. The expanded component v input to the adder 92-5_zoomIs the expanded component v delayed by one clock by the delay unit 94-3_zoomIs subtracted and input to the adder 92-4 via the LPF 96-2.
[0087]
Next, calculation of the swing signal components roll, yaw, z, and pitch performed by the subsequent stage of the swing signal generation unit 54 will be described. Rotation component v input to the subsequent stage of the swing signal generator 54_rotIs input to the adder 92-1. The adder 92-1 receives the rotation component v input at time t._rotAnd the data at time t-1 one unit time before output from the delay unit 94-1. The adder 92-1 thus performs the rotation component v_rotIs cumulatively added (integrated) to obtain a rocking signal component roll (Σv_rot) Is calculated. However, the rocking signal component roll expressing the left / right inclination of the road surface is −Σv_rotTherefore, the adder 92-2 uses data obtained by inverting the sign of the data input from the delay unit 94-1 for the calculation.
[0088]
The swing signal component roll (horizontal component u) is also used to express the centrifugal force at the time of the curve. Therefore, the adder 92-2 adds the data obtained by inverting the sign of the data input from the delay unit 94-1 and the horizontal component u (subtracts the output of the delay unit 94-1 from the horizontal component u). Thus, the swing signal component roll supplied to the presentation device 3 is calculated.
[0089]
Since the swing signal component yaw of the car swing when turning is obtained by inverting the value of the horizontal component u, the swing signal generation unit 54 converts the value of the input horizontal component u into the sign inverter 93. By −1, the swing signal component yaw is calculated by inverting the sign.
[0090]
The adder 92-3 adds the vertical component v input at time t and the vertical component v output at time t-1 one unit time before output from the delay unit 94-2. In this way, the vertical component v is cumulatively added (integrated) in the adder 92-3. The data cumulatively added by the adder 92-3 and the delay unit 94-2 is input to the sign inverter 93-2, the sign is inverted, and only the high frequency component is extracted by the HPF 95. In this way, the swing signal component z representing the vibration received from the road surface is calculated.
[0091]
Further, the data output from the delay unit 94-2 is also output to the LPF 96-1, and the low frequency component is extracted. In this way, the rocking signal component pitch expressing the front / rear inclination of the road surface is calculated. The swing signal component pitch is also used as a swing signal component expressing the inertial force due to acceleration / deceleration. Therefore, the swing signal component pitch output from the LPF 96-1 is added to the swing signal component pitch expressing the inertial force by the adder 92-4.
[0092]
The swing signal component pitch expressing the inertial force is an enlarged component v input to the swing signal generation unit 54._zoomIs calculated from Enlarged component v input to the swing signal generator 54_zoomIs input to the adder 92-5 and the delay unit 94-3. The adder 92-5 receives the expanded component v input at time t._zoomt and the expanded component v at time t−1 delayed by one unit time by the delay unit 94-3_zoomt-1 is input. The adder 92-5 receives the expanded component v at the input time t._zoomFrom t, the expanded component v at time t−1_zoomBy subtracting t-1, the expanded component v_zoomIs differentiated. Then, a low-frequency component is extracted from the value output from the adder 92-5 by the LPF 96-2, thereby calculating a swing signal component pitch expressing the inertial force due to acceleration / deceleration.
[0093]
The adder 92-4 adds the value output from the LPF 96-1 and the value output from the LPF 96-2, thereby calculating the swing signal component pitch supplied to the presentation device 3.
[0094]
FIG. 10 is a diagram illustrating an example of the configuration of the presentation device 3. The presentation device 3 includes a video presentation unit 111 and a swing presentation unit 112.
[0095]
The video presentation unit 111 includes a CRT (Cathode-Ray Tube) or a liquid crystal display device, and displays an image corresponding to the input video signal. The swing presentation unit 112 outputs a swing corresponding to the input swing signal.
[0096]
The video presentation unit 111 and the swing presentation unit 112 output a parameter selection signal indicating that the presentation device 3 has the video presentation unit 111 and the swing presentation unit 112 to the integrated signal presentation device 2.
[0097]
FIG. 11 is a diagram illustrating an example of a relationship between a screen 131 (an image is projected by a projector (not shown)) that configures the video presentation unit 111 and a chair 132 that configures the swing presentation unit 112.
[0098]
The video presentation unit 111 displays an image corresponding to the video signal on the screen 131. The swing presentation unit 112 swings the chair 132 in response to the swing signal, and makes the user sitting on the chair 132 feel the swing.
[0099]
As described above, this oscillation is constituted by the rotational components (roll, pitch, yaw) around the X, Y, and Z axes and the translational components (x, y, z) in the three axial directions.
[0100]
A configuration example of the swing presentation unit 112 is shown in FIGS. 12 and 13. FIG. 12 is a side view of the swing presentation unit 112, and FIG. 13 is a top view of the swing presentation unit 112. The swing presentation unit 112 includes six pistons 141-1 to 141-6, and the pedestal 142 is supported by these pistons. A chair 132 is fixed to the pedestal 142, and a user 143 can sit on the chair 132.
[0101]
The pistons 141-1 to 141-6 are constituted by air cylinders, hydraulic cylinders, or the like, and extend and contract along the respective central axes. When the pistons 141-1 to 141-6 expand and contract, the pedestal 142 swings, and the chair 132 fixed to the pedestal 142 swings. The signal for controlling the pistons 141-1 to 141-6 is supplied by the integrated signal presentation device 2 as described above.
[0102]
FIG. 14 is a diagram illustrating another example of the configuration of the presentation device 3. The presentation device 3 illustrated in FIG. 14 includes a video presentation unit 111 and does not include the swing presentation unit 112. The video presentation unit 111 outputs a parameter selection signal indicating that the presentation device 3 has only the video presentation unit 111.
[0103]
FIG. 15 is a diagram illustrating still another example of the configuration of the presentation device 3. The presentation device 3 illustrated in FIG. 15 includes a video presentation unit 111, a swing presentation unit 112, and a switch box 161. The switch box 161 includes a switch, a selection information output circuit, and the like, and outputs a parameter selection signal corresponding to a user operation to the parameter instruction unit 22 of the integrated signal presentation device 2.
[0104]
For example, when an operation for causing the integrated signal presentation device 2 to output a video signal including an image including a swing is applied to the switch box 161, the switch box 161 outputs a video signal including an image including the swing. A parameter selection signal is supplied to the parameter instruction unit 22.
[0105]
At this time, the parameter instruction unit 22 supplies a decoding parameter that causes the integrated signal to be output as a video signal as it is to the integrated signal decoding unit 23.
[0106]
For example, when an operation for outputting the swing signal and the video signal to the integrated signal presentation device 2 is applied to the switch box 161, the switch box 161 selects the parameter for outputting the presentation signal including the swing signal and the video signal. The signal is supplied to the parameter instruction unit 22.
[0107]
At this time, the parameter instruction unit 22 supplies a decoding parameter for outputting a presentation signal composed of a swing signal and a video signal to the integrated signal decoding unit 23.
[0108]
That is, the integrated signal presentation device 2 outputs one of a presentation signal composed of a video signal and a swing signal and a presentation signal composed only of a video signal, which will be described later, in response to the operation of the switch box 161.
[0109]
Therefore, even if the user of the integrated signal presentation device 2 receives the same integrated signal, depending on the user's preference, does the user feel the rocking by the actual rocking stimulus or feels the rocking by the shaking of the image? Can be selected.
[0110]
FIG. 16 is a diagram showing an outline of processing in the integrated presentation system. The integrated signal generation device 1 publishes the content to be provided (for example, information related to the content to be provided is presented on a Web page on the Internet, which is a kind of transmission path).
[0111]
The integrated signal presentation device 2-1 transmits a request for content to the integrated signal generation device 1 along with the billing information via the transmission path. The integrated signal generation apparatus 1 that has received the billing information and the content request executes the billing process based on the billing information. When the billing process is normally executed, the integrated signal presenting apparatus displays the content corresponding to the request. 2-1.
[0112]
The integrated signal presentation device 2-1 receives the content supplied from the integrated signal generation device 1 when the parameter selection signal for outputting the presentation signal composed of the swing signal and the video signal is supplied from the presentation device 3, Based on the received content, a video signal including the swing signal and the corrected image is generated, and a presentation signal including the generated swing signal and the video signal is supplied to the presentation device 3.
[0113]
The presentation device 3 corresponding to the integrated signal presentation device 2-1 displays the corrected image based on the swing signal and the video signal including the corrected image, and presents the swing to the user.
[0114]
The integrated signal presentation device 2-2 transmits a content request to the integrated signal generation device 1 together with the billing information via the transmission path. The integrated signal generating apparatus 1 that has received the billing information and the content request executes the billing process based on the billing information, and when the billing process is normally executed, the integrated signal presenting apparatus displays the content corresponding to the request. Send to 2-2.
[0115]
The integrated signal presenting device 2-2 is an integrated signal generating device when a parameter selection signal is output from the presenting device 3 to output a presentation signal (not including a rocking signal) consisting of a video signal of an image including rocking. The content supplied from 1 is received, and the received content (integrated signal) is supplied as it is to the presentation device 3 as a presentation signal.
[0116]
The presentation device 3 corresponding to the integrated signal presentation device 2-2 displays the image including the swing based on the presentation signal including the video signal of the image including the swing.
[0117]
FIG. 17 is a diagram for explaining the presentation signal output by the integrated signal presentation device 2 when a parameter selection signal for outputting a presentation signal including a swing signal and a video signal is supplied from the presentation device 3.
[0118]
The integrated signal presentation device 2 to which the integrated signal shown in FIG. 17 (A) is input has a parameter selection signal for outputting a presentation signal composed of a swing signal and a video signal, when the presentation device 3 supplies the parameter selection signal. As shown in FIG. 17B, a swing signal is generated, and the swing signal is output as a presentation signal to the presentation device 3, and as shown in FIG. 17C, an integrated signal that is an image signal is output. The image is corrected (the oscillation component is removed), and a video signal corresponding to the corrected image is output to the presentation device 3 as a presentation signal.
[0119]
Therefore, when the parameter selection signal for outputting the presentation signal composed of the swing signal and the video signal is supplied from the presentation device 3 to the integrated signal presentation device 2, the presentation signal supplied from the integrated signal presentation device 2 to the presentation device 3 As shown in FIG. 18, it consists of a video signal and a swing signal. As shown in FIG. 18A, the image of the video signal is corrected so as to remove the swing component. As shown in FIG. 18B, the swing signal is generated from the integrated signal and corresponds to the video signal.
[0120]
On the other hand, when the presentation device 3 supplies a parameter selection signal for outputting a presentation signal (not including a shaking signal) including an image video signal including shaking, the signal is supplied from the integrated signal presentation device 2 to the presentation device 3. As shown in FIG. 19, the presented signal consists of only the video signal and does not include the swing signal. The integrated signal is output to the presentation device 3 as a video signal while including the oscillation component. That is, the integrated signal is supplied to the presentation device 3 as a video signal without correcting the image.
[0121]
In this way, the user of the integrated signal presentation device 2 and the presentation device 3 receives a parameter selection signal for outputting a presentation signal (not including a rocking signal) composed of a video signal of an image including rocking. 3 is supplied to the integrated signal presentation device 2, a parameter selection signal is generated from the presentation device 3 to output a presentation signal composed of a swing signal and a video signal by visually swaying the image by shaking. When being supplied to the device 2, the displayed image does not shake, and the swing presenting device 112 can feel the swing by the actual swing stimulus.
[0122]
That is, even if the same integrated signal is received, the integrated signal presentation device 2 outputs an image signal or a swing signal that provides an optimal stimulus corresponding to the device configuration of the presentation device 3 or the operation of the switch box 161. can do.
[0123]
Next, content presentation processing by the integrated presentation system will be described with reference to the flowchart of FIG. In step S101, the integrated signal generation device 1 publishes content by, for example, presenting information on the content to be provided on a web page on the Internet, which is a type of transmission path.
[0124]
In step S201, the integrated signal presentation device 2 presents a content selection screen based on data supplied from the integrated signal generation device 1 (for example, an HTML (Hypertext Markup Language) file corresponding to the published content). It is displayed on the device 3.
[0125]
In step S202, the content request transmission unit 25 of the integrated signal presentation device 2 transmits a content request to the integrated signal generation device 1 along with the content specification (for example, the content ID number) via the transmission path. The charging information transmission unit 26 of the integrated signal presentation device 2 transmits the charging information to the integrated signal generation device 1 via the transmission path.
[0126]
In step S 102, the content request receiving unit 16 of the integrated signal generation device 1 receives the content specification and the content request transmitted from the integrated signal presentation device 2. The received content specification and content request are supplied to the content selection processing unit 17. The charging information receiving unit 18 of the integrated signal generating device 1 receives the charging information transmitted from the integrated signal presenting device 2. The received billing information is supplied to the billing processing unit 19.
[0127]
In step S 103, the billing processing unit 19 of the integrated signal generating apparatus 1 performs billing processing based on the billing information, and outputs a signal corresponding to the result to the content selection processing unit 17. When the billing process is executed normally (when the fee corresponding to the content is paid), the processes after step S104 are executed. When the charging process is not executed normally (when the fee corresponding to the content is not paid), the process ends without executing the content providing process.
[0128]
In step S104, the integrated signal encoding unit 13 generates an integrated signal. Details of the process of generating the integrated signal will be described later with reference to the flowchart of FIG.
[0129]
In step S105, the integrated signal transmission unit 14 of the integrated signal generation device 1 transmits the integrated signal (that is, content) generated in the process of step S104 to the integrated signal presentation device 2 via the transmission path.
[0130]
In step S 203, the integrated signal receiving unit 21 of the integrated signal presentation device 2 receives the integrated signal transmitted from the integrated signal generation device 1. The received integrated signal is supplied to the integrated signal decoding unit 23.
[0131]
In step S204, the integrated signal decoding unit 23 decodes the integrated signal in accordance with the decoding parameter supplied from the parameter instruction unit 22, and the process ends. Details of the integrated signal decoding process will be described with reference to the flowchart of FIG.
[0132]
As described above, the integrated signal presentation device 2 requests the integrated signal generation device 1 to transmit desired content together with the billing information, receives the integrated signal that is the content corresponding to the request, and decodes the integrated signal. it can.
[0133]
The user of the integrated signal presentation device 2 does not need to select whether or not the content includes a swing signal.
[0134]
Next, the integrated signal generation process corresponding to the process of step S104 of FIG. 20 by the integrated signal generation apparatus 1 will be described with reference to the flowchart of FIG. In step S 11, the content selection processing unit 17 instructs the video signal recording unit 11 to output a video signal corresponding to the content designation from the integrated signal presentation device 2. The video signal recording unit 11 supplies a video signal (recorded in advance) corresponding to the content specification to the integrated signal encoding unit 13. The integrated signal encoding unit 13 acquires the video signal supplied from the video signal recording unit 11.
[0135]
In step S 12, the content selection processing unit 17 instructs the swing signal recording unit 12 to output a swing signal corresponding to the content designation from the integrated signal presentation device 2. The swing signal recording unit 12 supplies a swing signal (previously recorded) corresponding to the content specification to the integrated signal encoding unit 13. The integrated signal encoding unit 13 acquires the swing signal supplied from the swing signal recording unit 12. The swing signal corresponds to the video signal acquired in the process of step S11.
[0136]
In step S13, the integrated signal encoding unit 13 corrects the video signal based on the swing signal. For example, when the swing signal indicates a vertical swing with respect to the image, the video signal is corrected so that the display position of the image moves in the vertical direction.
[0137]
In step S14, the integrated signal encoding unit 13 outputs the corrected video signal as an integrated signal to the integrated signal transmitting unit 14, and the process ends.
[0138]
As described above, the integrated signal encoding unit 13 can generate and output an integrated signal based on the video signal and the swing signal.
[0139]
Next, the integrated signal decoding process corresponding to the process of step S204 of FIG. 20 by the integrated signal presentation device 2 will be described with reference to the flowchart of FIG.
[0140]
In step S 31, the parameter instruction unit 22 of the integrated signal presentation device 2 acquires the parameter selection signal supplied from the presentation device 3. The parameter instruction unit 22 generates a decoding parameter corresponding to the acquired parameter selection signal, and supplies the generated decoding parameter to the integrated signal decoding unit 23.
[0141]
In step S32, the integrated signal decoding unit 23 determines whether or not to output a swing signal based on the decoding parameter. If it is determined to output the swing signal, the process proceeds to step S33. In step S 33, the motion vector extraction unit 52 of the integrated signal decoding unit 23 extracts a motion vector from the integrated signal supplied from the integrated signal receiving unit 21. The extracted motion vector is supplied to the swing signal generation unit 54.
[0142]
In step S34, the swing signal generation unit 54 of the integrated signal decoding unit 23 generates a swing signal based on the motion vector. The generated swing signal is output as a presentation signal and supplied to the image correction unit 53.
[0143]
In step S35, the image correction unit 53 of the integrated signal decoding unit 23 corrects the image of the integrated signal so as to remove the fluctuation based on the fluctuation signal, and the video signal including the corrected image is supplied to the video signal selection part. Then, the process proceeds to step S36.
[0144]
In step S 36, when it is determined that the video signal selection unit 55 of the integrated signal decoding unit 23 outputs the swing signal, the video supplied from the image correction unit 53 based on the signal supplied from the processing determination unit 51. A signal is selected, the selected video signal is output as a presentation signal, and the process ends.
[0145]
If it is determined in step S32 that the swing signal is not output, it is not necessary to generate the swing signal and it is not necessary to correct the image. Therefore, the processing in steps S33 to S35 is skipped, and the procedure is as follows. Proceed to S36.
[0146]
In step S 36, when it is determined that the video signal selection unit 55 of the integrated signal decoding unit 23 does not output the swing signal, the video signal selection unit 55 is supplied from the processing determination unit 51 based on the signal supplied from the processing determination unit 51. The integrated signal is selected, and the integrated signal, which is the selected video signal, is output as a presentation signal, and the process ends.
[0147]
Thus, when the integrated signal presentation device 2 outputs the swing signal based on the parameter selection signal supplied from the presentation device 3, the integrated signal presentation device 2 outputs the swing signal and the corrected video signal to the presentation device 3. When no motion signal is output, an integrated signal that is a video signal is output to the presentation device 3 as a presentation signal.
[0148]
Next, a second embodiment of the integrated presentation system according to the present invention will be described.
[0149]
FIG. 23 is a diagram showing a configuration of the second exemplary embodiment of the integrated presentation system according to the present invention. The same parts as those shown in FIG. 1 are denoted by the same reference numerals, and the description thereof is omitted.
[0150]
The integrated signal generation device 201 includes a video signal recording unit 11, a swing signal recording unit 12, an integrated signal encoding unit 13, an integrated signal transmitting unit 14, an integrated signal recording unit 15, a content request receiving unit 16, and a content selection processing unit 211. A billing information receiving unit 212 and a billing processing unit 213.
[0151]
Based on the content request supplied from the content request receiving unit 16, the content selection processing unit 211 outputs the video signal and the swing signal corresponding to the request to the video signal recording unit 11 and the swing signal recording unit 12. Instruct.
[0152]
The charging information receiving unit 212 receives and receives the charging information (for example, composed of a bank account number and a personal identification number corresponding to the bank account) transmitted by the integrated signal presentation device 202 via the transmission path. The billing information is supplied to the billing processing unit 213. Based on the billing information, the billing processing unit 213 executes billing processing, for example, processing for debiting charges from a designated bank account.
[0153]
The integrated signal presentation device 202 includes an integrated signal receiving unit 21, an integrated signal decoding unit 23, a content selection unit 24, a content request transmission unit 221, a parameter instruction unit 222, and a billing information transmission unit 223.
[0154]
Based on the signal supplied from the content selection unit 24, the content request transmission unit 221 transmits the content request to the integrated signal generation apparatus 201 along with the content specification via the transmission path.
[0155]
The parameter instruction unit 222 receives the parameter selection signal supplied from the presentation device 3, and supplies the decoding parameters corresponding to the parameter selection signal to the integrated signal decoding unit 23 and the billing information transmission unit 223.
[0156]
When the integrated signal presentation device 202 receives the integrated signal, the billing information transmitting unit 223 corresponds to the bank account number and the bank account stored in advance based on the decryption parameter supplied from the parameter instruction unit 222. The billing information composed of the personal identification number and the payment amount is transmitted to the integrated signal generating apparatus 201 via the transmission path.
[0157]
As described above, even if the user of the integrated signal presentation device 202 receives the same integrated signal, the user feels the rocking by the actual rocking stimulus or the rocking by the shaking of the image depending on the user's preference. You can choose what you feel and pay for that choice.
[0158]
FIG. 24 is a diagram illustrating an outline of processing in the integrated presentation system according to the second embodiment. The integrated signal generation device 201 publishes the content to be provided.
[0159]
The integrated signal presentation device 202-1 transmits a request for the desired content to the integrated signal generation device 201 via the transmission path. The integrated signal generation device 201 that has received the content request transmits the content corresponding to the request to the integrated signal presentation device 202-1.
[0160]
The integrated signal presentation device 202-1 receives the content supplied from the integrated signal generation device 201 when a parameter selection signal for outputting a presentation signal including a swing signal and a video signal is supplied from the presentation device 3. A video signal including the swing signal and the corrected image is generated based on the received content, and a presentation signal including the generated swing signal and the video signal is supplied to the presentation device 3.
[0161]
The presentation device 3 corresponding to the integrated signal presentation device 202-1 displays the corrected image and presents the oscillation to the user based on the video signal including the oscillation signal and the corrected image.
[0162]
The integrated signal presentation device 202-1 transmits the charging information corresponding to the received content and the output of the swing signal and the video signal to the integrated signal generation device 201 via the transmission path. The integrated signal generating apparatus 201 that has received the billing information executes billing processing based on the billing information.
[0163]
The integrated signal presentation device 202-2 transmits a request for the desired content to the integrated signal generation device 201 via the transmission path. The integrated signal generation device 201 that has received the content request transmits the content corresponding to the request to the integrated signal presentation device 202-2.
[0164]
The integrated signal presentation device 202-2 receives the content supplied from the integrated signal generation device 201 when the parameter selection signal for outputting the presentation signal composed only of the video signal is supplied from the presentation device 3, and receives the received integration. The signal is supplied as it is to the presentation device 3 as a video signal.
[0165]
The presentation device 3 corresponding to the integrated signal presentation device 202-2 displays an image based on the video signal including the swing.
[0166]
The integrated signal presentation device 202-2 transmits billing information corresponding to the output of only the received content and the video signal to the integrated signal generation device 201 via the transmission path. The integrated signal generating apparatus 201 that has received the billing information executes billing processing based on the billing information.
[0167]
As described above, the integrated signal generation device 201 can execute the billing process in accordance with the usage form of the integrated signal in the integrated signal presentation device 202.
[0168]
Next, content presentation processing by the integrated presentation system according to the second embodiment will be described with reference to the flowchart of FIG. In step S111, the integrated signal generation device 201 publishes content by, for example, presenting information on the content to be provided on a web page on the Internet, which is a type of transmission path.
[0169]
In step S 211, the integrated signal presentation device 202 displays a content selection screen on the presentation device 3 based on the data supplied from the integrated signal generation device 201.
[0170]
In step S 212, the content request transmission unit 221 of the integrated signal presentation device 202 transmits a content request to the integrated signal generation device 201 along with the content designation (for example, the content ID number) via the transmission path.
[0171]
In step S112, the content request receiving unit 16 of the integrated signal generation device 201 receives the content specification and the content request transmitted from the integrated signal presentation device 2. The received content specification and content request are supplied to the content selection processing unit 211.
[0172]
In step S113, the integrated signal encoding unit 13 of the integrated signal generating apparatus 201 generates an integrated signal. Details of the process of generating the integrated signal in step S113 are the same as the process of step S104, and a description thereof is omitted.
[0173]
In step S114, the integrated signal transmission unit 14 of the integrated signal generation device 201 transmits the integrated signal (that is, content) generated in the process of step S113 to the integrated signal presentation device 202 via the transmission path.
[0174]
In step S 213, the integrated signal reception unit 21 of the integrated signal presentation device 202 receives the integrated signal transmitted from the integrated signal generation device 201. The received integrated signal is supplied to the integrated signal decoding unit 23.
[0175]
In step S 214, the integrated signal decoding unit 23 of the integrated signal presentation device 202 decodes the integrated signal in accordance with the decoding parameter supplied from the parameter instruction unit 222. Details of the decoding process of the integrated signal in step S214 are the same as the process of step S204 in FIG.
[0176]
In step S215, the charging information transmission unit 223 of the integrated signal presentation device 202 transmits charging information corresponding to the decoding parameter supplied from the parameter instruction unit 222 to the integrated signal generation device 201 via the transmission path.
[0177]
In step S 115, the charging information receiving unit 212 of the integrated signal generation device 201 receives the charging information transmitted from the integrated signal presentation device 202. The received billing information is supplied to the billing processing unit 213.
[0178]
In step S116, the billing processing unit 213 of the integrated signal generation device 201 performs billing processing based on the billing information, and the processing ends.
[0179]
As described above, the integrated signal generation device 201 can execute the billing process at a fee corresponding to the usage form of the integrated signal in the integrated signal presentation device 202. For example, the integrated signal generation device 201 executes billing processing at a higher fee when the integrated signal presentation device 202 outputs a swing signal to the presentation device 3. When only the video signal is output, the billing process can be executed at a lower charge.
[0180]
Next, a third embodiment of the integrated presentation system according to the present invention will be described.
[0181]
FIG. 26 is a diagram showing the configuration of the third exemplary embodiment of the integrated presentation system according to the present invention. The same parts as those shown in FIG. 1 are denoted by the same reference numerals, and the description thereof is omitted.
[0182]
The integrated signal generating apparatus 301 includes an integrated signal encoding unit 13, an integrated signal transmitting unit 14, a video signal recording unit 311, an oscillation signal recording unit 312, a charging information receiving unit 313, and a charging processing unit 314, and a transmission path Then, the integrated signal is transmitted to the integrated signal presentation device 302 according to a predetermined schedule.
[0183]
The video signal recording unit 311 includes a medium such as a hard disk and a medium driving device, and records a video signal of a moving image in advance. The video signal recording unit 311 supplies the recorded video signal to the integrated signal encoding unit 13 according to a predetermined schedule.
[0184]
The swing signal recording unit 312 includes a medium such as a hard disk and a medium driving device, and records a swing signal corresponding to the video signal recorded by the video signal recording unit 311 in advance. The swing signal recording unit 312 encodes the swing signal corresponding to the video signal in accordance with a predetermined schedule in synchronization with the video signal supplied to the integrated signal encoding unit 13 by the video signal recording unit 311. To the unit 13.
[0185]
The billing information receiving unit 313 receives and receives billing information (for example, composed of a bank account number and a personal identification number corresponding to the bank account) transmitted by the integrated signal presentation device 302 via the transmission path. The billing information is supplied to the billing processing unit 314. The billing processing unit 314 executes billing processing based on the billing information, for example, processing for debiting charges from a designated bank account.
[0186]
The integrated signal presentation device 302 includes an integrated signal receiving unit 21, an integrated signal decoding unit 23, a parameter instruction unit 321, and a billing information transmission unit 322.
[0187]
The parameter instruction unit 321 receives the parameter selection signal supplied from the presentation device 3, and supplies the decoding parameters corresponding to the parameter selection signal to the integrated signal decoding unit 23 and the billing information transmission unit 322.
[0188]
When the integrated signal presentation device 302 receives the integrated signal, the charging information transmitting unit 322 corresponds to the bank account number stored in advance and the bank account based on the decryption parameter supplied from the parameter instruction unit 321. The billing information including the personal identification number and the payment amount is transmitted to the integrated signal generation device 301 via the transmission path.
[0189]
FIG. 27 is a diagram illustrating an outline of processing in the integrated presentation system according to the third embodiment. The integrated signal generation device 301 publishes the content to be provided.
[0190]
The integrated signal generation device 301 transmits (broadcasts) content to the integrated signal presentation devices 302-1 and 302-2 in accordance with a predetermined schedule.
[0191]
The integrated signal presentation device 302-1 receives the content supplied from the integrated signal generation device 301 when a parameter selection signal for outputting a presentation signal composed of a swing signal and a video signal is supplied from the presentation device 3. A video signal including the swing signal and the corrected image is generated based on the received content, and a presentation signal including the generated swing signal and the video signal is supplied to the presentation device 3.
[0192]
The presentation device 3 corresponding to the integrated signal presentation device 302-1 displays the corrected image and presents the oscillation to the user based on the video signal including the oscillation signal and the corrected image.
[0193]
The integrated signal presentation device 302-1 transmits the charging information corresponding to the received content and the output of the swing signal and the video signal to the integrated signal generation device 301 via the transmission path. The integrated signal generating apparatus 301 that has received the billing information executes billing processing based on the billing information.
[0194]
The integrated signal presentation device 302-2 receives the content supplied from the integrated signal generation device 201 when the parameter selection signal for outputting the presentation signal consisting only of the video signal is supplied from the presentation device 3, and receives the received integration. The signal is supplied as it is to the presentation device 3 as a video signal.
[0195]
The presentation device 3 corresponding to the integrated signal presentation device 302-2 displays an image based on the video signal including the swing.
[0196]
The integrated signal presentation device 302-2 transmits billing information corresponding to the output of only the received content and the video signal to the integrated signal generation device 301 via the transmission path. The integrated signal generating apparatus 301 that has received the billing information executes billing processing based on the billing information.
[0197]
As described above, the integrated signal generation apparatus 301 can perform billing processing corresponding to the usage form of the content (integrated signal) in the integrated signal presentation apparatus 202 that broadcasts the content and receives the content.
[0198]
Next, content presentation processing by the integrated presentation system according to the third embodiment will be described with reference to the flowchart of FIG.
[0199]
In step S 121, the integrated signal encoding unit 13 of the integrated signal generating apparatus 301 performs the video signal supplied from the video signal recording unit 311 and the swing supplied from the swing signal recording unit 312 according to a predetermined schedule. An integrated signal is generated based on the signal. Details of the process for generating the integrated signal in step S121 are the same as those in step S104, and a description thereof will be omitted.
[0200]
In step S122, the integrated signal transmission unit 14 of the integrated signal generation device 301 transmits the integrated signal (that is, content) generated in the process of step S121 to the integrated signal presentation device 302 via the transmission path.
[0201]
In step S 221, the integrated signal reception unit 21 of the integrated signal presentation device 302 receives the integrated signal transmitted from the integrated signal generation device 301. The received integrated signal is supplied to the integrated signal decoding unit 23.
[0202]
In step S222, the integrated signal decoding unit 23 of the integrated signal presentation device 302 decodes the integrated signal in accordance with the decoding parameter supplied from the parameter instruction unit 321. Details of the decoding process of the integrated signal in step S222 are the same as the process of step S204 in FIG.
[0203]
In step S223, the charging information transmission unit 322 of the integrated signal presentation device 302 transmits charging information corresponding to the decoding parameter supplied from the parameter instruction unit 321 to the integrated signal generation device 301 via the transmission path.
[0204]
The process of step S223 may be executed when a predetermined time has elapsed after receiving the integrated signal.
[0205]
In step S123, the charging information receiving unit 313 of the integrated signal generating device 301 receives the charging information transmitted from the integrated signal presenting device 302. The received charging information is supplied to the charging processing unit 314.
[0206]
In step S124, the billing processing unit 314 of the integrated signal generation device 301 executes billing processing based on the billing information, and the processing ends.
[0207]
As described above, the integrated signal generation device 301 broadcasts content on the basis of a predetermined schedule, and executes billing processing at a fee corresponding to the usage form of the content (integrated signal) in the integrated signal presentation device 302. be able to.
[0208]
Note that the integrated presentation system is not limited to images and rocking, but includes a plurality of voices, winds, temperatures, odors, pressures (forces that push the user's skin), or shapes (shapes of objects recognized by tactile sense). Generate an integrated signal that shows the state of an element (a person can recognize with the five senses) as a single signal, and based on the integrated signal, multiple elements such as image, sound, wind, temperature, odor, pressure, or shape May be presented to the user.
[0209]
For example, the presentation device 3 displays an image with a liquid crystal display device, a CRT (Cathode Ray Tube), or the like, and outputs a sound with a loudspeaker.
[0210]
In addition, the presentation device 3 receives a presentation signal corresponding to wind or temperature, which is generated based on an integrated signal that is an audio signal in which wind noise, sound effects shined by the sun, or sound effects of tree wiping are mixed. Then, wind is generated by a blower such as a blower fan, a predetermined part (for example, a hand) of the user is heated by an electric heating device or the like, and the predetermined part of the user is cooled by a cooling device or the like.
[0211]
Further, for example, the presentation device 3 receives a presentation signal generated based on an integrated signal that is a video signal on which an image corresponding to a predetermined odor (for example, an image of a cinnamon flower) is superimposed, Each of which has a plurality of containers stored therein, and responds to the presentation signal by heating any one of the containers (for example, a container storing a fragrance of the scented beetle) corresponding to the presentation signal. Odor is generated.
[0212]
In addition, the presentation device 3 that is a glove in which a plurality of actuators are incorporated corresponds to a presentation signal corresponding to the shape of an object (for example, a cylinder) displayed in the image displayed by the integrated signal, By pressing a predetermined part of the user's hand, the user feels pressure or shape (for example, a cylinder).
[0213]
The series of processes described above can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer.
[0214]
FIG. 29 is a diagram illustrating an example of the configuration of a personal computer that executes the series of processes described above. A CPU (Central Processing Unit) 401 actually executes an application program for executing the processing described with reference to the flowcharts of FIGS. 20 to 22, 25, and 28 and an OS (Operating System). A ROM (Read-only Memory) 402 generally stores basically fixed data out of programs used by the CPU 401 and calculation parameters. A RAM (Random-Access Memory) 403 stores programs used in the execution of the CPU 401 and parameters that change as appropriate during the execution. These are connected to each other by a host bus 404 including a CPU bus.
[0215]
The host bus 404 is connected via a bridge 405 to an external bus 406 such as a PCI (Peripheral Component Interconnect / Interface) bus.
[0216]
The keyboard 408 is operated by the user when inputting various commands to the CPU 401. The pointing device 409 is configured by a mouse, a trackball, a digitizer, or the like, and is operated by the user when instructing or selecting a point on the screen of the display 410. The display 410 includes a liquid crystal display device, a CRT (Cathode Ray Tube), or the like, and displays various types of information as text or images. An HDD (Hard Disk Drive) 411 drives a hard disk and causes them to record or reproduce a program or information executed by the CPU 401.
[0217]
The drive 412 reads out data or a program recorded in the mounted magnetic disk 451, optical disk 452, magneto-optical disk 453, or semiconductor memory 454, and the data or program is read out to the interface 407, external bus 406, bridge. 405 and the RAM 403 connected via the host bus 404. These keyboard 408 to drive 412 are connected to an interface 407, and the interface 407 is connected to the CPU 401 via an external bus 406, a bridge 405, and a host bus 404.
[0218]
The communication unit 413 includes a modem or a NIC (Network Interface Card), and is connected to a transmission line such as a public telephone line, a network, or a satellite communication line. The communication unit 413 stores data supplied from the CPU 401 or the HDD 411 in a packet of a predetermined method, transmits the packet via a transmission path, and stores the data received in the packet received via the transmission path. Data is output to the CPU 401, RAM 403, or HDD 411.
[0219]
The communication unit 413 is connected to the CPU 401 via the external bus 406, the bridge 405, and the host bus 404.
[0220]
As shown in FIG. 29, a recording medium storing a program for executing a series of processes is distributed to provide a program to a user separately from a computer. Including a floppy disk), optical disk 452 (including compact disc-read only memory (CD-ROM), DVD (digital versatile disc)), magneto-optical disk 453 (including MD (mini-disc)), or semiconductor memory 454 In addition to a package medium composed of the above, the program is provided with a ROM 402, a HDD 411, and the like that are provided to the user in a state of being pre-installed in a computer.
[0221]
In the present specification, the step of describing the program stored in the recording medium is not limited to the processing performed in chronological order according to the described order, but is not necessarily performed in chronological order. It also includes processes that are executed individually.
[0222]
Further, in this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.
[0224]
【The invention's effect】
Claim1Information processing apparatus according to claim and claim4According to the information processing method described in the above, an integrated signal corresponding to the first perceptual element and the second perceptual element is obtained, and the first signal corresponding to the first perceptual element and the second perceptual element are obtained. It is determined whether or not to generate the corresponding second signal, and when it is determined to generate the first signal and the second signal, the first signal and the second signal are generated based on the integrated signal. If it is determined to generate the first signal and the second signal, the first signal and the second signal are output, and if it is determined not to generate the first signal and the second signal, The integrated signal is output as the first signal, and the transmission of the acquired integrated signal and the accounting information corresponding to whether or not the first signal and the second signal are generated is controlled. So, signals corresponding to multiple perceptual elements are transmitted in a unified manner Together, we will be able to charge a fee so as to correspond to the aspect of the presentation of the sensory elements.
[0225]
Claim5According to the present presentation system, the reception of the billing information is controlled, based on the first signal related to the first sensory element and the second signal related to the second sensory element corresponding to the first signal. , An integrated signal corresponding to the first perceptual element and the second perceptual element is generated, transmission of the integrated signal is controlled, charging processing is performed based on the charging information, an integrated signal is acquired, and the first signal is acquired. When it is determined whether or not to generate a first signal corresponding to the perceptual element and a second signal corresponding to the second perceptual element, and it is determined to generate the first signal and the second signal The first signal and the second signal are generated based on the integrated signal, and when it is determined to generate the first signal and the second signal, the first signal and the second signal are output, When it is determined not to generate the first signal and the second signal The integrated signal is output as the first signal, and the transmission of the acquired integrated signal and the accounting information corresponding to whether or not the first signal and the second signal are generated is controlled. As a result, signals corresponding to a plurality of perceptual elements can be transmitted in a unified manner, and different charges can be charged according to the manner of presentation of the perceptual elements.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of an embodiment of an integrated presentation system according to the present invention.
FIG. 2 is a diagram illustrating a video signal and a swing signal.
FIG. 3 is a diagram illustrating an example of an integrated signal.
4 is a diagram illustrating a configuration of an integrated signal decoding unit 23. FIG.
5 is a block diagram showing a configuration of a motion vector extraction unit 52. FIG.
6 is a diagram for explaining patterns stored in a memory 74; FIG.
FIG. 7 is a diagram illustrating an example of an image of an integrated signal.
8 is a block diagram illustrating a configuration of a swing signal generation unit 54. FIG.
FIG. 9 shows motion vector components u, v, v._zoom, V_rotIt is a figure explaining the relationship.
10 is a diagram illustrating an example of a configuration of a presentation device 3. FIG.
11 is a diagram illustrating an example of a relationship between a screen 131 constituting the video presentation unit 111 and a chair 132 constituting the swing presentation unit 112. FIG.
12 is a diagram illustrating a configuration example of a swing presentation unit 112. FIG.
13 is a diagram illustrating a configuration example of a swing presentation unit 112. FIG.
14 is a diagram illustrating another example of the configuration of the presentation device 3. FIG.
15 is a diagram showing still another example of the configuration of the presentation device 3. FIG.
FIG. 16 is a diagram showing an outline of processing in an integrated presentation system.
FIG. 17 is a diagram for explaining a presentation signal output by the integrated signal presentation device 2;
FIG. 18 is a diagram for explaining a presentation signal output by the integrated signal presentation device 2;
FIG. 19 is a diagram for explaining a presentation signal output by the integrated signal presentation device 2;
FIG. 20 is a flowchart illustrating content presentation processing by the integrated presentation system.
FIG. 21 is a flowchart for describing integrated signal generation processing;
FIG. 22 is a flowchart illustrating an integrated signal decoding process.
FIG. 23 is a diagram showing a configuration of a second exemplary embodiment of an integrated presentation system according to the present invention.
FIG. 24 is a diagram illustrating an outline of processing in the integrated presentation system according to the second embodiment;
FIG. 25 is a flowchart for describing content presentation processing by the integrated presentation system according to the second embodiment;
FIG. 26 is a diagram showing a configuration of a third exemplary embodiment of an integrated presentation system according to the present invention.
FIG. 27 is a diagram illustrating an outline of processing in the integrated presentation system according to the third embodiment;
FIG. 28 is a flowchart for describing content presentation processing by the integrated presentation system according to the third embodiment;
FIG. 29 is a diagram illustrating an example of a configuration of a personal computer.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Integrated signal generator, 2 Integrated signal presentation apparatus, 3 Presentation apparatus, 11 Video signal recording part, 12 Swing signal recording part, 13 Integrated signal encoding part, 14 Integrated signal transmission part, 15 Integrated signal recording part, 16 Content Request receiving unit, 17 content selection processing unit, 18 charging information receiving unit, 19 charging processing unit, 21 integrated signal receiving unit, 22 parameter instruction unit, 23 integrated signal decoding unit, 24 content selecting unit, 25 content request transmitting unit, 26 Billing information transmission unit, 51 process determination unit, 52 motion vector extraction unit, 53 image correction unit, 54 swing signal generation unit, 55 video signal selection unit, 111 video presentation unit, 112 swing presentation unit, 161 switch box, 201 Integrated signal generator 202 integrated signal presentation device 211 content Selection processing unit, 212 charging information reception unit, 213 charging processing unit, 221 content request transmission unit, 222 parameter instruction unit, 223 charging information transmission unit, 301 integrated signal generation device, 302 integrated signal presentation device, 311 video signal recording unit, 312: Swing signal recording unit, 313 charging information receiving unit, 314 charging processing unit, 321 parameter indicating unit, 322 charging information transmitting unit, 401 CPU, 402 ROM, 403 RAM, 411 HDD, 451 magnetic disk, 452 optical disk, 453 light Magnetic disk, 454 semiconductor memory

Claims

Obtaining means for obtaining an integrated signal corresponding to the first sensory element and the second sensory element;
Determining means for determining whether to generate a first signal corresponding to the first perceptual element and a second signal corresponding to the second perceptual element;
Generating means for generating the first signal and the second signal based on the integrated signal when it is determined to generate the first signal and the second signal;
When it is determined to generate the first signal and the second signal, the first signal and the second signal are output, and it is determined not to generate the first signal and the second signal. And output means for outputting the integrated signal as the first signal,
First transmission control means for controlling transmission of the acquired integrated signal and accounting information corresponding to whether or not the first signal and the second signal are generated to the providing apparatus. A characteristic information processing apparatus.

The information processing apparatus according to claim 1 , further comprising: a second transmission control unit configured to control transmission of the integrated signal request to the providing apparatus.

The first signal is a video signal;
The information processing apparatus according to claim 1 , wherein the second signal is a swing signal.

Obtaining an integrated signal corresponding to the first sensory element and the second sensory element;
Determining whether to generate a first signal corresponding to the first sensory element and a second signal corresponding to the second sensory element;
A generation step of generating the first signal and the second signal based on the integrated signal when it is determined to generate the first signal and the second signal;
When it is determined to generate the first signal and the second signal, the first signal and the second signal are output, and it is determined not to generate the first signal and the second signal. If so, an output step of outputting the integrated signal as the first signal;
A transmission control step of controlling transmission of the acquired integrated signal, and charging information corresponding to whether or not the first signal and the second signal are generated, to the providing apparatus. Information processing method.

In a presentation system comprising a providing device and an information processing device,
The providing device includes:
A reception control means for controlling reception of billing information;
Corresponding to the first sensory element and the second sensory element based on a first signal related to the first sensory element and a second signal related to the second sensory element corresponding to the first signal First generating means for generating an integrated signal to be
First transmission control means for controlling transmission of the integrated signal;
Charging processing means for executing charging processing based on the charging information, and
The information processing apparatus includes:
Obtaining means for obtaining the integrated signal;
Determining means for determining whether to generate a first signal corresponding to the first perceptual element and a second signal corresponding to the second perceptual element;
Second generation means for generating the first signal and the second signal based on the integrated signal when it is determined to generate the first signal and the second signal;
When it is determined to generate the first signal and the second signal, the first signal and the second signal are output, and it is determined not to generate the first signal and the second signal. And output means for outputting the integrated signal as the first signal,
And second transmission control means for controlling transmission of the accounting information corresponding to whether or not the acquired integrated signal and the first signal and the second signal are generated to the providing apparatus. A presentation system characterized by