JP4599679B2 - 情報処理装置および方法、並びに提示システム - Google Patents
情報処理装置および方法、並びに提示システム Download PDFInfo
- Publication number
- JP4599679B2 JP4599679B2 JP2000220925A JP2000220925A JP4599679B2 JP 4599679 B2 JP4599679 B2 JP 4599679B2 JP 2000220925 A JP2000220925 A JP 2000220925A JP 2000220925 A JP2000220925 A JP 2000220925A JP 4599679 B2 JP4599679 B2 JP 4599679B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- swing
- integrated
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- A63F13/10—
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/45—Controlling the progress of the video game
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
- A63F2300/302—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device specially adapted for receiving control signals not targeted to a display device or game input means, e.g. vibrating driver's seat, scent dispenser
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8017—Driving on land or water; Flying
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、情報処理装置および方法、並びに提示システムに関し、特に、複数の知覚要素に対応する信号を取り扱う情報処理装置および方法、並びに提示システムに関する。
【０００２】
【従来の技術】
送信装置が画像の信号、および画像に対応する音声の信号を送信し、受信装置が画像の信号、および音声の信号を受信して、復号し、画像を表示すると共に、対応する音声を出力するシステムが広く利用されている。
【０００３】
このような画像の信号および音声の信号など異なる種類の信号は、それぞれに送信されて、受信され、画像の信号に対応する処理と、音声の信号に対応する処理とが、別々に実行される。
【０００４】
【発明が解決しようとする課題】
しかしながら、受信装置が、画像のみを表示し、音声を出力しないとき、受信装置は、画像の信号に対応する画像をそのまま表示するしかなかった。同様に、受信装置が、音声のみを出力し、画像を表示しないとき、受信装置は、音声の信号に対応する音声をそのまま出力するしかなかった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、画像などの複数の知覚要素に対応する信号を統一的に伝送し、知覚要素の提示機能に対応して、異なる知覚要素を最適な態様で提示できるようにすることを目的とする。
【０００６】
【課題を解決するための手段】
請求項１に記載の情報処理装置は、映像信号を取得する第１の取得手段と、前記映像信号に対応する揺動信号を取得する第２の取得手段と、前記映像信号の画像を、前記揺動信号に対応するように移動させた画像の信号を、統合信号として生成する統合信号生成手段と、揺動刺激で揺動を感じさせるか、または、画像の揺れによって揺動を感じさせるかを選択する選択信号を生成する選択信号生成手段と、生成された前記統合信号と前記選択信号を他の装置に出力する出力手段とを備えることを特徴とする。
【０００８】
請求項２に記載の情報処理方法は、映像信号を取得する第１の取得ステップと、前記映像信号に対応する揺動信号を取得する第２の取得ステップと、前記映像信号の画像を、前記揺動信号に対応するように移動させた画像の信号を、統合信号として生成する統合信号生成ステップと、揺動刺激で揺動を感じさせるか、または、画像の揺れによって揺動を感じさせるかを選択する選択信号を生成する選択信号生成ステップと、生成された前記統合信号と前記選択信号を他の装置に出力する出力ステップとを含むことを特徴とする。
【０００９】
請求項３に記載の情報処理装置は、映像信号の画像を、揺動信号に対応するように移動させた画像の信号である統合信号を取得する取得手段と、前記統合信号から前記揺動信号を抽出するか否かを判定する判定手段と、前記統合信号から前記揺動信号を抽出すると判定された場合、前記統合信号の画像から、動きベクトルを生成する動きベクトル抽出手段と、生成された前記動きベクトルを基に、前記揺動信号を生成する揺動信号生成手段と、前記統合信号から前記揺動信号を抽出すると判定された場合、前記統合信号の画像に対し画像の揺れを除去する補正をし、補正後画像の映像信号を生成する映像信号生成手段と、前記統合信号から前記揺動信号を抽出すると判定された場合、生成された前記揺動信号と前記補正後画像の映像信号を出力し、前記統合信号から前記揺動信号を抽出しないと判定された場合、前記統合信号を出力する出力手段とを備えることを特徴とする。
【００１０】
前記取得手段には、揺動刺激で揺動を感じさせるか、または、画像の揺れによって揺動を感じさせるかを選択する選択信号を、前記統合信号とともに、他の装置から取得させ、前記判定手段には、前記選択信号に基づいて、前記統合信号から前記揺動信号を抽出するか否かを判定させることができる。
【００１１】
請求項５に記載の情報処理方法は、映像信号の画像を、揺動信号に対応するように移動させた画像の信号である統合信号を取得する取得ステップと、前記統合信号から前記揺動信号を抽出するか否かを判定する判定ステップと、前記統合信号から前記揺動信号を抽出すると判定された場合、前記統合信号の画像から、動きベクトルを生成する動きベクトル抽出ステップと、生成された前記動きベクトルを基に、前記揺動信号を生成する揺動信号生成ステップと、前記統合信号から前記揺動信号を抽出すると判定された場合、前記統合信号の画像に対し画像の揺れを除去する補正をし、補正後画像の映像信号を生成する映像信号生成ステップと、前記統合信号から前記揺動信号を抽出すると判定された場合、生成された前記揺動信号と前記補正後画像の映像信号を出力し、前記統合信号から前記揺動信号を抽出しないと判定された場合、前記統合信号を出力する出力ステップとを含むことを特徴とする。
【００１２】
請求項６に記載の提示システムは、提供装置および情報処理装置から成る提示システムにおいて、前記提供装置は、映像信号を取得する第１の取得手段と、前記映像信号に対応する揺動信号を取得する第２の取得手段と、前記映像信号の画像を、前記揺動信号に対応するように移動させた画像の信号を、統合信号として生成する統合信号生成手段とを備え、前記情報処理装置は、前記統合信号を取得する第３の取得手段と、前記統合信号から前記揺動信号を抽出するか否かを判定する判定手段と、前記統合信号から前記揺動信号を抽出すると判定された場合、前記統合信号の画像から、動きベクトルを生成する動きベクトル抽出手段と、生成された前記動きベクトルを基に、前記揺動信号を生成する揺動信号生成手段と、前記統合信号から前記揺動信号を抽出すると判定された場合、前記統合信号の画像に対し画像の揺れを除去する補正をし、補正後画像の映像信号を生成する映像信号生成手段と、前記統合信号から前記揺動信号を抽出すると判定された場合、生成された前記揺動信号と前記補正後画像の映像信号を出力し、前記統合信号から前記揺動信号を抽出しないと判定された場合、前記統合信号を出力する出力手段とを備えることを特徴とする。
【００１３】
請求項１に記載の情報処理装置および請求項２に記載の情報処理方法においては、映像信号と、その映像信号に対応する揺動信号が取得され、映像信号の画像を、揺動信号に対応するように移動させた画像の信号が、統合信号として生成される。そして、揺動刺激で揺動を感じさせるか、または、画像の揺れによって揺動を感じさせるかを選択する選択信号が生成され、生成された統合信号と選択信号が、他の装置に出力される。
【００１４】
請求項３に記載の情報処理装置および請求項５に記載の情報処理方法においては、映像信号の画像を、揺動信号に対応するように移動させた画像の信号である統合信号が取得され、統合信号から揺動信号を抽出するか否かが判定され、統合信号から揺動信号を抽出すると判定された場合、統合信号の画像から、動きベクトルが生成され、生成された動きベクトルを基に、揺動信号が生成され、統合信号の画像に対し画像の揺れを除去する補正がされ、補正された画像の映像信号が生成され、生成された揺動信号と補正後画像の映像信号が出力される。一方、統合信号から揺動信号を抽出しないと判定された場合、統合信号がそのまま出力される。
【００１５】
請求項６に記載の提示システムにおいては、提供装置において、映像信号と、その映像信号に対応する揺動信号が取得され、映像信号の画像を、揺動信号に対応するように移動させた画像の信号が、統合信号として生成される。また、情報処理装置において、映像信号の画像を、揺動信号に対応するように移動させた画像の信号である統合信号が取得され、統合信号から揺動信号を抽出するか否かが判定され、統合信号から揺動信号を抽出すると判定された場合、統合信号の画像から、動きベクトルが生成され、生成された動きベクトルを基に、揺動信号が生成され、統合信号の画像に対し画像の揺れを除去する補正がされ、補正後画像の映像信号が生成され、生成された揺動信号と補正後画像の映像信号が出力される。一方、統合信号から揺動信号を抽出しないと判定された場合、統合信号がそのまま出力される。
【００１６】
【発明の実施の形態】
図１は、本発明に係る統合提示システムの一実施の形態の構成を示す図である。統合信号生成装置１は、画像、および揺動などの複数の知覚要素（人が５感で認識する刺激を引き起こすもの）の状態を１つの信号で示す統合信号を生成する。統合信号生成装置１は、公衆電話回線、ネットワーク、または、衛星通信回線などの伝送経路を介して、生成した統合信号を統合信号提示装置２に送信する。
【００１７】
または、統合信号生成装置１は、生成した統合信号を磁気テープ、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどの媒体に記録する。統合信号が記録された媒体は、郵送、または宅配などの物流システムにより、統合信号提示装置２に供給される。
【００１８】
統合信号提示装置２は、伝送経路または媒体を介して、統合信号生成装置１から供給された統合信号を基に、画像、および揺動などの複数の要素のそれぞれの状態を示す提示信号を生成して、生成した提示信号を提示装置３に供給する。
【００１９】
提示装置３は、統合信号提示装置２から供給された提示信号を基に、画像および揺動などの複数の要素を使用者に提示する。
【００２０】
このようにして、提示装置３の使用者は、画像、および揺動などの複数の要素を認識する。
【００２１】
統合信号生成装置１は、映像信号記録部１１、揺動信号記録部１２、統合信号符号化部１３、統合信号送信部１４、および統合信号記録部１５から構成されている。
【００２２】
映像信号記録部１１は、例えばハードディスクなど、媒体および媒体駆動装置などで構成され、動画像の映像信号を予め記録している。映像信号は、MPEG（Moving Picture Experts Group）2などのデジタルデータに対応する信号、またはアナログ信号など、いずれの方式でもよい。映像信号記録部１１は、統合信号符号化部１３の要求に対応して、記録している映像信号を統合信号符号化部１３に供給する。
【００２３】
揺動信号記録部１２は、映像信号記録部１１が記録している映像信号に対応する揺動信号を予め記録している。揺動信号は、使用者の体の時間的な変位を示す信号であり、例えば、使用者の体の上下動、または回動などを示す。揺動信号記録部１２は、例えばハードディスクなど、媒体および媒体駆動装置などで構成され、映像信号記録部１１が統合信号符号化部１３に供給する映像信号に同期して、映像信号に対応する揺動信号を統合信号符号化部１３に供給する。
【００２４】
図２は、映像信号記録部１１が統合信号符号化部１３に供給する映像信号、および揺動信号記録部１２が統合信号符号化部１３に供給する揺動信号を説明する図である。
【００２５】
図２（Ａ）は、映像信号記録部１１が統合信号符号化部１３に供給する映像信号に対応する画像を示す図である。図２（Ｂ）は、揺動信号記録部１２が統合信号符号化部１３に供給する、例えば、画像に対して上下方向の揺動を示す、揺動信号を示す図である。
【００２６】
映像信号に対応する画像（静止画像）は、例えば、時刻を基に、揺動信号の揺動（振幅）に対応づけられる。
【００２７】
統合信号符号化部１３は、映像信号記録部１１から供給された映像信号、および揺動信号記録部１２から供給された映像信号を基に、統合信号を生成する。
【００２８】
図３は、図２に示す映像信号および揺動信号を基に、統合信号符号化部１３により生成された、統合信号の例を示す図である。図３に示す統合信号は、映像信号に対応する画像を、揺動信号に対応するように上下方向に移動させて、生成される。
【００２９】
また、例えば、揺動信号が画像に対して左右方向の揺動を示すとき、統合信号は、映像信号に対応する画像を、揺動信号に対応するように左右方向に移動させて、生成される。
【００３０】
同様に、他の揺動の成分（いわゆる、roll、yaw、およびpitchなどの回動成分）を有する揺動信号に基づいて、画像を移動させるようにしてもよい。
【００３１】
さらに、例えば、画像に対応する音声に自動車のエンジン音が含まれているとき、統合信号符号化部１３は、自動車に対応する揺動信号を揺動信号記録部１２から読み出して、読み出した揺動信号を基に、画像を移動させることにより統合信号を生成するようにしてもよい。この場合、統合信号に対応する画像は、自動車の振動に対応する揺動を含む。
【００３２】
統合信号符号化部１３は、統合信号の方式にあった符号化方式で、統合信号を符号化するようにしてもよい。
【００３３】
統合信号符号化部１３は、生成した統合信号を統合信号送信部１４および統合信号記録部１５に供給する。
【００３４】
統合信号送信部１４は、統合信号符号化部１３から供給された統合信号を、公衆電話回線、ネットワーク、または、衛星通信回線などの伝送経路を介して、統合信号提示装置２に送信する。
【００３５】
統合信号記録部１５は、統合信号符号化部１３から供給された統合信号を、磁気テープ、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどの媒体に記録する。統合信号が記録された媒体は、統合信号提示装置２に供給される。
【００３６】
統合信号提示装置２は、統合信号受信部２１、パラメータ指示部２２、および統合信号復号部２３から構成されている。
【００３７】
統合信号受信部２１は、統合信号生成装置１が送信した統合信号を受信し、受信した統合信号を統合信号復号部２３に供給する。
【００３８】
図示せぬドライブ装置などにより媒体から読み取られた統合信号は、統合信号復号部２３に供給される。
【００３９】
パラメータ指示部２２は、提示装置３から供給された、提示装置３の構成を示す機器構成情報を入力し、機器構成情報に対応する復号パラメータを統合信号復号部２３に供給する。
【００４０】
例えば、復号パラメータは、提示装置３が揺動を提示する機能を有しないとき、０であり、提示装置３が揺動を提示する機能を有するとき、１である。
【００４１】
統合信号復号部２３は、パラメータ指示部２２から供給された復号パラメータを基に、統合信号を提示装置３の機器構成に対応する提示信号を提示装置３に供給する。
【００４２】
統合信号提示装置２から出力される提示信号は、映像信号および揺動信号から構成されるか、または映像信号のみで構成される。
【００４３】
図４は、統合信号復号部２３の構成を説明する図である。統合信号復号部２３に入力された統合信号および復号パラメータは、処理決定部５１に供給される。
【００４４】
処理決定部５１は、パラメータ指示部２２から供給された復号パラメータを基に、統合信号復号部２３が出力する提示信号を映像信号および揺動信号で構成するか、または映像信号のみで構成するかいずれかを決定する。
【００４５】
処理決定部５１は、図１０を参照して後述するように、提示装置３が映像提示部１１１および揺動提示部１１２で構成されるとき（すなわち、提示装置３が揺動を提示する機能を有するとき）、映像信号および揺動信号を、提示信号として出力させる。
【００４６】
一方、処理決定部５１は、図１４を参照して後述するように、提示装置３が映像提示部１１１のみで構成されるとき（すなわち、提示装置３が揺動を提示する機能を有しないとき）、映像信号のみを提示信号として出力させる。
【００４７】
処理決定部５１は、入力された統合信号を、動きベクトル抽出部５２、画像補正部５３、および映像信号選択部５５に供給する。
【００４８】
動きベクトル抽出部５２は、統合信号の画像から、動きベクトルを生成して、生成した動きベクトルを揺動信号生成部５４に供給する。
【００４９】
揺動信号生成部５４は、動きベクトル抽出部５２から供給された動きベクトルを基に、揺動信号を生成して、生成した揺動信号を、画像補正部５３に供給すると共に、統合信号復号部２３の出力として提示装置３に出力する。
【００５０】
画像補正部５３は、揺動信号生成部５４から供給された揺動信号を基に、処理決定部５１から供給された映像信号である統合信号の画像を揺れを除去するように補正し、補正した画像を含む映像信号を映像信号選択部５５に供給する。
【００５１】
例えば、画像補正部５３は、映像信号である統合信号の画像を、揺動信号に対応させて上下方向に移動させて（統合信号符号化部１３の場合とは逆の方向に移動させて）、画像を補正する。すなわち、画像補正部５３が出力する映像信号は、映像信号記録部１１が記録している映像信号と同様となり、上下動が除去された画像を表示させる。
【００５２】
映像信号選択部５５は、処理決定部５１から供給された選択信号を基に、処理決定部５１から供給された統合信号、または画像補正部５３から供給された映像信号のいずれか一方を選択して、選択した信号を統合信号復号部２３の出力として提示装置３に出力する。
【００５３】
提示装置３が映像提示部１１１および揺動提示部１１２で構成されるとき、映像信号選択部５５は、画像補正部５３から供給された映像信号を選択して、上下動が除去された画像に対応する映像信号を提示信号として出力する。提示装置３が映像提示部１１１のみで構成されるとき、映像信号選択部５５は、処理決定部５１から供給された統合信号を選択して、統合信号をそのまま提示信号として出力する。
【００５４】
図５は、動きベクトル抽出部５２の構成を示すブロック図である。動きベクトル抽出部５２に入力された映像信号は、遅延部７１により１フレーム分遅延された後、フレームバッファ７２−１に供給される。動きベクトル抽出部５２に入力された映像信号は、フレームバッファ７２−２にも供給される。
【００５５】
読み出し部７３−１および７３−２は、メモリ７４に記憶されている所定のパターンに従って、それぞれ対応するフレームバッファ７２−１および７２−２から、映像信号を読み出し、動きベクトル検出部７５に出力する。
【００５６】
動きベクトル検出部７５は、供給された映像信号から動きベクトルを検出し、て検出した動きベクトルを揺動信号生成部５４に出力する。
【００５７】
次に、図５に示した動きベクトル抽出部５２の動作について説明する。時刻ｔにおいて、動きベクトル抽出部５２に入力された映像信号は、遅延部７１とフレームバッファ７２−２に供給される。フレームバッファ７２−２は、入力された１フレーム分の映像信号を記憶する。遅延部７１は、映像信号を１フレーム分だけ遅延するので、時刻ｔにおいて、フレームバッファ７２−１には、時刻ｔより前の時刻ｔ−１における映像信号（時刻ｔより１フレーム前の映像信号）が記憶されている。
【００５８】
フレームバッファ７２−１に記憶された時刻ｔ−１における映像信号は、読み出し部７３−１により、フレームバッファ７２−２に記憶された時刻ｔにおける映像信号は、読み出し部７３−２により、それぞれ読み出される。
【００５９】
読み出し部７３−１および７３−２は、それぞれ対応するフレームバッファ７２−１または７２−２に記憶されている映像信号のうち、メモリ７４に記憶されているパターンに対応する部分の映像信号を読み出す。ここで、メモリ７４に記憶されているパターンについて、図６を参照して説明する。
【００６０】
図６は、メモリ７４に記憶されているパターンの一例を示す図である。１フレームを構成する画素のなかで、揺動に関係のない部分、例えば、図７に示したような、統合信号生成装置１により生成された統合信号の場合、上下方向に画像を移動させるために必要な部分などは揺動に関係のない領域と判断し、その領域を取り除いた領域の中心に位置する画素を収束点Ｐとする。収束点Ｐを中心として上下左右に対称な代表点Ｑ、例えば、２５個（収束点を含む）を設定する。各代表点Ｑ毎に、その代表点Ｑが中心に位置する所定の画素数からなるブロックＢ、例えば、３３×３３画素からなるブロックＢを設定する。メモリ７４には、このようなフレームの画面内における各代表点Ｑの座標と、ブロックＢの大きさが、パターンとして記憶されている。
【００６１】
読み出し部７３−１は、フレームバッファ７２−１に記憶されている時刻ｔ−１における映像信号のうち、メモリ７４に記憶されている上述したようなパターンに対応する画素データ、すなわち、代表点Ｑの座標とブロックＢの大きさをもとに、各ブロックＢ内の画素データを読み出し、動きベクトル検出部７５に、参照ブロックのデータとして出力する。同様に、読み出し部７３−２は、フレームバッファ７２−２に記憶されている時刻ｔにおける映像信号のうち、メモリ７４に記憶されているパターンに対応する画素データを読み出し、動きベクトル検出部７５に探索ブロックのデータとして出力する。
【００６２】
動きベクトル検出部７５は、入力された参照ブロックのデータと探索ブロックのデータとを用いて、ブロックマッチングを行うことにより、各代表点Ｑにおける動きベクトルを検出する。従って、この例の場合、２５個の動きベクトルが検出される。
【００６３】
このように、動きベクトル抽出部５２は、動きベクトルを検出して、検出した動きベクトルを揺動信号生成部５４に供給する。
【００６４】
図８は、揺動信号生成部５４の構成を示すブロック図である。特徴量演算部９１は、入力された動きベクトルから特徴量を演算する。
【００６５】
特徴量演算部９１は、動きベクトル抽出部５２により検出された２５個の動きベクトルを用いて、そのフレーム（画面）の揺動の水平成分ｕ、垂直成分ｖ、拡大成分ｖzoom、および回転成分ｖrotの合計４成分を、以下に示す式に基づいて算出する。
水平成分ｕ＝（１／ｎ）Σｕi ・・・（１）
垂直成分ｖ＝（１／ｎ）Σｖi ・・・（２）
拡大成分ｖzoom＝（１／ｎ）Σｖzoomi／ｄi ・・・（３）
回転成分ｖrot＝（１／ｎ）Σｖroti／ｄi ・・・（４）
なお、添え字のｉは、代表点Ｑiに付けられた番号を示し、この例では１乃至２５まで変化する。また、ｎは代表点の個数であるので、この例では２５である。式（１）乃至式（４）により求められる値は、２５個の動きベクトルから得られる各成分ｕ、ｖ、ｖzoom、ｖrotの平均値である。
【００６６】
上述した各成分ｕ、ｖ、ｖzoom、ｖrotの関係を図９を参照して説明する。処理対象となっている代表点Ｑiの動きベクトルＴの水平方向の成分をｕiとし、垂直方向の成分をｖiとする。ｄｉは、収束点Ｐから代表点Ｑiまでの距離を表すスカラ量である。また、（Ｐｘ，Ｐｙ）は、収束点Ｐの座標を表し、この座標値を基準として座標（Ｑiｘ，Ｑiｙ）の代表点Ｑiまでの距離が算出される。
【００６７】
この動きベクトルＴの成分（ｕi，ｖi）は、代表点Ｑiを原点としたときの成分である。動きベクトルＴの、収束点Ｐと代表点Ｑiとを結ぶ直線と平行な方向の成分ｖzoomiとし、収束点Ｐと代表点Ｑiとを結ぶ直線と直交する方向の成分をｖrotiとする。また、収束点Ｐと代表点Ｑiとを結ぶ直線と動きベクトルＴとがなす角度をθとする。このとき、ｖzoomiとｖrotiは、次式に従って求められる。
ｖzoomi＝（ｕi 2＋ｖi 2）(1/2)ＣＯＳθ ・・・（５）
ｖroti ＝（ｕi 2＋ｖi 2）(1/2)ＳＩＮθ ・・・（６）
【００６８】
特徴量演算部９１は、動きベクトル抽出部５２から出力された動きベクトルから、式（１）乃至式（４）を用いて、特徴量として４成分のデータｕ、ｖ、ｖzoom、ｖrotを算出する。算出された４成分のデータｕ、ｖ、ｖzoom、ｖrotは、揺動信号生成部５４の後段に供給される。
【００６９】
ここで、例えば、使用者に対して自動車に乗っている感じを疑似体験させる場合、どのような揺動を使用者が座っている椅子に対して加えればよいのかを考える。自動車の椅子に加えられる揺動には、自動車が坂道などの勾配のある道を走っているときの路面の前後方向の傾き、でこぼこした道の上を走っているときの路面から受ける振動、傾いた路面を走っているときの路面の左右方向の傾きなどがある。
【００７０】
これらの揺動は、揺動信号を生成するセンサが搭載された自動車に対して、実際に加えられた刺激（実刺激）であり、映像を観察する使用者の椅子に対しても、この実刺激と同様な揺動を加えればよい。例えば、実刺激が右方向への傾きであれば、使用者の椅子も右に傾ければよい。これらの揺動は、アクチュエータなどを利用することにより、使用者用の椅子に加えることができる揺動である。
【００７１】
これに対して、自動車がカーブを曲がるときの遠心力、加速や減速のときの慣性力、自動車が曲がる時の自動車首振りに対応する力は、使用者に人工的に引力を加えることは物理的に不可能であるため、代替的な揺動（代替刺激）として使用者に加える必要がある。例えば、加速時の慣性力を表現するために、椅子を加速に対応して前に移動させて使用者に慣性力を加えることはできないので、後ろ方向の傾きなどの代替刺激を使用者の椅子に加える必要がある。
【００７２】
以下に、上述した実刺激と代替刺激に関する揺動、実際に使用者用の椅子に対して加える揺動信号の成分、並びに、上述した特徴量演算部９１により演算された４成分の関係を示す。
【００７３】
揺動信号生成部５４の後段は、上述した関係を用いて、提示装置３に供給する揺動信号を生成する。揺動信号生成部５４が生成する揺動信号は、揺動信号記録部１２から供給された揺動信号に対応する。
【００７４】
特徴量演算部９１から出力された４成分のうち、回転成分ｖrotは、加算器９２−１に、水平成分ｕは、加算器９２−２と符号反転器９３−１に、垂直成分ｖは、加算器９２−３に、拡大成分ｖzoomは、加算器９２−５と遅延器９４−３に、それぞれ入力される。加算器９２−１には、加算器９２−１から出力されたデータが、遅延器９４−１で１クロック分遅延された後、入力される。同様に、加算器９２−３にも、加算器９２−３から出力されたデータが、遅延器９４−２で１クロック分遅延された後、入力される。
【００７５】
遅延器９４−１から出力されたデータは、加算器９２−２に入力される。遅延器９４−２から出力されたデータは、符号反転器９３−２を介してHPF（High Pass Filter）９５に出力されると共に、LPF（Low Pass Filter）９６−１を介して加算器９２−４にも出力される。加算器９２−５に入力された拡大成分ｖzoomは、遅延器９４−３により１クロック分遅延された拡大成分ｖzoomが減算され、LPF９６−２を介して加算器９２−４に入力される。
【００７６】
次に、揺動信号生成部５４の後段が行う揺動信号成分roll、yaw、ｚ、およびpitchの算出について説明する。揺動信号生成部５４の後段に入力された回転成分ｖrotは、加算器９２−１に入力される。加算器９２−１は、時刻ｔにおいて入力された回転成分ｖrotと、遅延器９４−１より出力される１単位時間前の時刻ｔ−１のデータとを加算する。加算器９２−１は、このようにして、回転成分ｖrotを累積加算（積分）していくことにより、路面の左右の傾きを表現する揺動信号成分roll（Σｖrot）を算出する。しかしながら、路面の左右の傾きを表現する揺動信号成分rollは、−Σｖrotなので、加算器９２−２は、遅延器９４−１から入力されたデータの符号を反転したデータを演算に用いる。
【００７７】
揺動信号成分roll（水平成分ｕ）は、カーブ時の遠心力を表現するのにも用いられる。そこで、加算器９２−２は、遅延器９４−１から入力されたデータの符号を反転したデータと、水平成分ｕとを加算する（水平成分ｕから遅延器９４−１の出力を減算する）ことにより、提示装置３に供給する揺動信号成分rollを算出する。
【００７８】
曲がる時の自動車首振りの揺動信号成分yawは、水平成分ｕの値を反転することにより得られるので、揺動信号生成部５４は、入力された水平成分ｕの値を、符号反転器９３−１により、符号を反転させることに揺動信号成分yawを算出する。
【００７９】
加算器９２−３には、時刻ｔにおいて入力された垂直成分ｖと、遅延器９４−２より出力された１単位時間前の時刻ｔ−１の垂直成分ｖを加算する。このようにして、加算器９２−３において、垂直成分ｖが累積加算（積分）される。そして、加算器９２−３とと遅延器９４−２により累積加算されたデータは、符号反転器９３−２に入力され、符号が反転され、さらにHPF９５により、高周波成分のみが取り出される。このようにして、路面から受ける振動を表現する揺動信号成分ｚが算出される。
【００８０】
また、遅延器９４−２から出力されたデータは、LPF９６−１にも出力され、低周波成分が取り出される。このようにして、路面の前後の傾きを表現する揺動信号成分pitchが算出される。揺動信号成分pitchは、加減速による慣性力を表現する揺動信号成分としても用いられる。そのため、LPF９６−１から出力された揺動信号成分pitchは、加算器９２−４により、慣性力を表現する揺動信号成分pitchと加算される。
【００８１】
慣性力を表現する揺動信号成分pitchは、揺動信号生成部５４に入力された拡大成分ｖzoomから算出される。揺動信号生成部５４に入力された拡大成分ｖzoomは、加算器９２−５と遅延器９４−３に入力される。加算器９２−５には、時刻ｔにおいて入力された拡大成分ｖzoomtと、遅延器９４−３により１単位時間遅延された時刻ｔ−１における拡大成分ｖzoomt-1が入力される。加算器９２−５は、入力された時刻ｔにおける拡大成分ｖzoomtから、時刻ｔ−１における拡大成分ｖzoomt-1を減算することで、拡大成分ｖzoomを微分する。そして、加算器９２−５から出力された値から、LPF９６−２により、低周波成分が抽出されることにより、加減速による慣性力を表現する揺動信号成分pitchが算出される。
【００８２】
加算器９２−４により、LPF９６−１から出力された値と、LPF９６−２から出力された値とが加算されることにより、提示装置３に供給される揺動信号成分pitchが算出される。
【００８３】
図１０は、提示装置３の構成の例を示す図である。提示装置３は、映像提示部１１１および揺動提示部１１２により構成されている。
【００８４】
映像提示部１１１は、CRT（Cathode-Ray Tube）または液晶表示装置などで構成され、入力された映像信号に対応する画像を表示する。揺動提示部１１２は、入力された揺動信号に対応する揺動を出力する。
【００８５】
映像提示部１１１および揺動提示部１１２は、提示装置３が映像提示部１１１および揺動提示部１１２を有することを示す機器構成情報を統合信号提示装置２に出力する。
【００８６】
図１１は、映像提示部１１１を構成するスクリーン１３１（図示せぬプロジェクタなどにより画像が投影される）と、揺動提示部１１２を構成する椅子１３２との関係の例を示す図である。
【００８７】
映像提示部１１１は、スクリーン１３１に映像信号に対応する画像を表示する。揺動提示部１１２は、揺動信号に対応して、椅子１３２を揺動させて、椅子１３２に座る使用者に揺動を感じさせる。
【００８８】
この揺動は、上述したように、Ｘ，Ｙ，Ｚの３軸回りの回転成分（roll,pitch,yaw）と３軸方向の並進成分（x,y,z）により構成される。
【００８９】
揺動提示部１１２の構成例を図１２および図１３に示す。図１２は、揺動提示部１１２の側面図であり、図１３は、揺動提示部１１２の上面図である。揺動提示部１１２は、６本のピストン１４１−１乃至１４１−６を備えており、これらのピストンにより台座１４２が支えられている。台座１４２には、椅子１３２が固定されており、この椅子１３２の上に使用者１４３が座るようになされている。
【００９０】
ピストン１４１−１乃至１４１−６は、エアシリンダまたは油圧シリンダなどで構成され、それぞれの中心軸に沿って伸縮する。ピストン１４１−１乃至１４１−６が伸縮することにより、台座１４２が揺動し、さらに台座１４２に固定されている椅子１３２が揺動する。ピストン１４１−１乃至１４１−６を制御するための信号は、上述したように、統合信号提示装置２により供給される。
【００９１】
図１４は、提示装置３の構成の他の例を示す図である。図１４に示す提示装置３は、映像提示部１１１により構成され、揺動提示部１１２を有さない。映像提示部１１１は、提示装置３が映像提示部１１１のみを有することを示す機器構成情報を出力する。
【００９２】
図１５は、統合信号提示装置２が出力する提示信号を説明する図である。
【００９３】
図１５（Ａ）に示す統合信号が入力された統合信号提示装置２は、提示装置３が揺動提示部１１２を有するとき、統合信号から図１５（Ｂ）に示すように、揺動信号を生成して、提示信号として揺動信号を提示装置３に出力するとともに、図１５（Ｃ）に示すように、画像信号である統合信号の画像を補正して（揺動成分を除去して）、補正した画像に対応する映像信号を提示信号として提示装置３に出力する。
【００９４】
従って、提示装置３が揺動提示部１１２を有するとき、統合信号提示装置２から提示装置３に供給される提示信号は、図１６に示すように、映像信号および揺動信号から成る。映像信号は、図１６（Ａ）に示すように、揺動成分を除去するように画像が補正されている。揺動信号は、図１６（Ｂ）に示すように、統合信号から生成され、映像信号に対応している。
【００９５】
一方、提示装置３が揺動提示部１１２を有しないとき、統合信号提示装置２から提示装置３に供給される提示信号は、図１７に示すように、映像信号のみから成り、揺動信号を含まない。統合信号は、揺動成分を含んだままで、映像信号として、提示装置３に出力される。すなわち、統合信号は、画像が補正されることなく、映像信号として提示装置３に供給される。
【００９６】
このようにすることによって、統合信号提示装置２および提示装置３の使用者は、提示装置３が揺動提示部１１２を有しないとき、画像の揺れによって視覚的に揺動を感じ、提示装置３が揺動提示装置１１２を有するとき、表示される画像が揺れることなく、揺動提示装置１１２により実際の揺動刺激で揺動を感じることができる。
【００９７】
すなわち、全く同一の統合信号を受信しても、統合信号提示装置２は、提示装置３の機器構成に対応した、最適な刺激を提供する画像信号または揺動信号を出力することができる。
【００９８】
次に、図１８のフローチャートを参照して、統合信号生成装置１による、統合信号の生成の処理を説明する。ステップＳ１１において、統合信号符号化部１３は、映像信号記録部１１から予め記録されている映像信号を取得する。ステップＳ１２において、統合信号符号化部１３は、揺動信号記録部１２から予め記録されている揺動信号を取得する。揺動信号は、ステップＳ１１の処理で取得される映像信号に対応している。
【００９９】
ステップＳ１３において、統合信号符号化部１３は、揺動信号に基づいて、映像信号を補正する。例えば、揺動信号が画像に対して上下方向の揺動を示すとき、映像信号は、画像の表示位置が上下方向に移動するように補正される。補正された映像信号は、統合信号として、統合信号送信部１４に供給される。
【０１００】
ステップＳ１４において、統合信号送信部１４は、補正された映像信号を、統合信号として、出力して、処理は終了する。例えば、統合信号送信部１４は、公衆電話回線、ネットワーク、または、衛星通信回線などの伝送経路を介して、統合信号を統合信号提示装置２に出力する。
【０１０１】
このように、統合信号生成装置１は、映像信号および揺動信号を基に、統合信号を生成して、出力することができる。
【０１０２】
次に、図１９のフローチャートを参照して、統合信号提示装置２による統合信号の復号の処理を説明する。ステップＳ３１において、統合信号提示装置２のパラメータ指示部２２は、提示装置３から供給された機器構成情報を取得する。パラメータ指示部２２は、取得された機器構成情報に対応する復号パラメータを生成して、復号パラメータを統合信号復号部２３に供給する。
【０１０３】
ステップＳ３２において、統合信号復号部２３は、復号パラメータを基に、提示装置３に揺動提示部１１２があるか否かを判定し、提示装置３に揺動提示部１１２があると判定された場合、ステップＳ３３に進む。ステップＳ３３おいて、統合信号復号部２３の動きベクトル抽出部５２は、統合信号受信部２１から供給された統合信号から、動きベクトルを抽出する。抽出された動きベクトルは、揺動信号生成部５４に供給される。
【０１０４】
ステップＳ３４において、統合信号復号部２３の揺動信号生成部５４は、動きベクトルを基に、揺動信号を生成する。生成された揺動信号は、提示信号として出力されると共に、画像補正部５３に供給される。
【０１０５】
ステップＳ３５において、統合信号復号部２３の画像補正部５３は、揺動信号を基に、統合信号の画像を揺動を取り除くように補正し、補正した画像を含む映像信号を映像信号選択部に供給して、ステップＳ３６に進む。
【０１０６】
ステップＳ３６において、統合信号復号部２３の映像信号選択部５５は、提示装置３に揺動提示部１１２があるとき、処理決定部５１から供給される信号を基に、画像補正部５３から供給される映像信号を選択して、選択した映像信号を提示信号として出力して、処理は終了する。
【０１０７】
ステップＳ３２において、提示装置３に揺動提示部１１２がないと判定された場合、揺動信号を生成する必要がなく、画像を補正する必要がないので、ステップＳ３３乃至ステップＳ３５の処理はスキップされ、手続きは、ステップＳ３６に進む。
【０１０８】
ステップＳ３６において、統合信号復号部２３の映像信号選択部５５は、提示装置３に揺動提示部１１２がないとき、処理決定部５１から供給される信号を基に、処理決定部５１から供給される統合信号を選択して、選択した映像信号である統合信号を提示信号として出力して、処理は終了する。
【０１０９】
このように、統合信号提示装置２は、提示装置３から供給される機器構成情報を基に、提示装置３に揺動提示部１１２があるとき、揺動信号および補正した映像信号を提示装置３に出力し、提示装置３に揺動提示部１１２がないとき、映像信号である統合信号を提示信号として提示装置３に出力する。
【０１１０】
次に、本発明に係る統合提示システムの第２の実施の形態について説明する。
【０１１１】
図２０は、本発明に係る統合提示システムの第２の実施の形態の構成を示す図である。図１に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。
【０１１２】
統合信号提示装置２０１は、統合信号受信部２１、パラメータ指示部２２、およびパラメータ入力部２１１で構成されている。
【０１１３】
パラメータ入力部２１１は、スイッチおよび選択情報出力回路などにより構成され、使用者によるスイッチの操作に対応する選択情報をパラメータ指示部２２に出力する。
【０１１４】
例えば、提示装置３が映像提示部１１１および揺動提示部１１２を有している場合、図１７に例を示す、揺動を含む画像から成る映像信号を統合信号提示装置２０１に出力させる旨の操作がパラメータ入力部２１１に加えられたとき、パラメータ入力部２１１は、揺動を含む画像から成る映像信号を出力させる選択情報をパラメータ指示部２２に供給する。
【０１１５】
このとき、パラメータ指示部２２は、統合信号をそのまま映像信号として出力させる復号パラメータを統合信号復号部２３に供給する。
【０１１６】
例えば、提示装置３が映像提示部１１１および揺動提示部１１２を有している場合、映像信号および揺動信号から成る提示信号を統合信号提示装置２０１に出力させる旨の操作がパラメータ入力部２１１に加えられたとき、パラメータ入力部２１１は、映像信号および揺動信号から成る提示信号を出力させる選択情報をパラメータ指示部２２に供給する。
【０１１７】
このとき、パラメータ指示部２２は、映像信号および揺動信号を提示信号として出力させる復号パラメータを統合信号復号部２３に供給する。
【０１１８】
すなわち、統合信号提示装置２０１は、パラメータ入力部２１１の操作に対応して、図１６に示す、映像信号および揺動信号から成る提示信号、および図１７に示す、映像信号のみから成る提示信号のいずれか一方を出力する。
【０１１９】
従って、統合信号提示装置２０１の使用者は、同一の統合信号を受信しても、使用者の好みによって、実際の揺動刺激で揺動を感じるか、または画像の揺れによって揺動を感じるかを選択することができる。
【０１２０】
次に、本発明に係る統合提示システムの第３の実施の形態について説明する。
【０１２１】
図２１は、本発明に係る統合提示システムの第３の実施の形態の構成を示す図である。図１に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。
【０１２２】
統合信号生成装置３０１は、映像信号記録部１１、揺動信号記録部１２、統合信号符号化部１３、統合信号送信部１４、およびパラメータ送信部３１１で構成されている。
【０１２３】
パラメータ送信部３１１は、統合信号に対応する復号指示情報を生成して、公衆電話回線、ネットワーク、または、衛星通信回線などの伝送経路を介して、生成した復号指示情報を統合信号提示装置３０２に供給する。
【０１２４】
統合信号提示装置３０２は、統合信号受信部２１、パラメータ指示部２２、統合信号復号部２３、およびパラメータ受信部３２１から構成されている。
【０１２５】
パラメータ受信部３２１は、伝送経路を介して、統合信号生成装置３０１から送信された復号指示情報を受信し、受信した復号指示情報をパラメータ指示部２２に供給する。
【０１２６】
パラメータ指示部２２は、パラメータ受信部３２１から供給された復号指示情報を基に、統合信号復号部２３を制御し、統合信号復号部２３に、映像信号および揺動信号から成る提示信号、または映像信号のみから成る提示信号のいずれかを出力させる。
【０１２７】
すなわち、統合信号提示装置３０２は、統合信号生成装置３０１の制御に基づいて、映像信号および揺動信号から成る提示信号、または映像信号のみから成る提示信号のいずれかを出力する。
【０１２８】
このように、統合信号生成装置３０１は、統合信号提示装置３０２を制御し、統合信号提示装置３０２に提示信号の種類を選択させることができる。従って、例えば、統合信号生成装置３０１を管理する放送者は、シーンによって、または、画像の内容によって、統合信号提示装置２０１の使用者に、実際の揺動刺激で揺動を感じさせるか、または画像の揺れによって揺動を感じさせるかを選択することができる。
【０１２９】
なお、統合提示システムは、画像および揺動に限らず、音声、風、温度、臭い、圧力（使用者の皮膚を押す力）、または形状（触覚により認識される物の形状）などの複数の要素（人が五感で認識できるもの）の状態を１つの信号で示す統合信号を生成して、統合信号を基に、画像、音声、風、温度、臭い、圧力、または形状などの複数の要素を使用者に提示するようにしてもよい。
【０１３０】
例えば、提示装置３は、画像を液晶表示装置、またはCRT（Cathode Ray Tube）などにより表示し、音声をラウドスピーカにより出力する。
【０１３１】
また、提示装置３は、風切り音、太陽が照りつける効果音、または木枯らしの効果音などが混合された音声信号である統合信号を基に生成された、風、または温度に対応する提示信号を受信し、送風ファンなどの送風装置により風をおこし、電熱装置などにより使用者の所定部位（例えば、手）などを加熱し、冷却装置などにより使用者の所定の部位を冷却する。
【０１３２】
更に、例えば、提示装置３は、所定の臭いに対応する画像（例えば、キンモクセイの花の画像）が重畳された映像信号である統合信号を基に生成された提示信号を受信し、予め、香料がそれぞれ格納されている複数の容器を有し、提示信号に対応して、いずれかの容器（例えば、キンモクセイの香りの香料が格納されている容器）を加熱することで、提示信号に対応する臭いを発生させる。
【０１３３】
また、複数のアクチュエータが内蔵されている手袋である提示装置３は、統合信号により表示されている画像に表示されている物の形状（例えば、円柱など）に対応する提示信号に対応して、使用者の手の所定の部分を押すことで、圧力または形状（例えば、円柱）を使用者に感じさせる。
【０１３４】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１３５】
図２２は、上述した一連の処理を実行するパーソナルコンピュータの構成の例を説明する図である。ＣＰＵ（Central Processing Unit）４０１は、図１８および図１９のフローチャートを参照して説明した処理を実行するアプリケーションプログラムや、ＯＳ（Operating System)を実際に実行する。ＲＯＭ（Read-only Memory）４０２は、一般的には、ＣＰＵ４０１が使用するプログラムや演算用のパラメータのうちの基本的に固定のデータを格納する。ＲＡＭ（Random-Access Memory）４０３は、ＣＰＵ４０１の実行において使用するプログラムや、その実行において適宜変化するパラメータを格納する。これらはＣＰＵバスなどから構成されるホストバス４０４により相互に接続されている。
【０１３６】
ホストバス４０４は、ブリッジ４０５を介して、ＰＣＩ(Peripheral Component Interconnect/Interface)バスなどの外部バス４０６に接続されている。
【０１３７】
キーボード４０８は、ＣＰＵ４０１に各種の指令を入力するとき、使用者により操作される。ポインティングデバイス４０９は、マウス、トラックボール、またはデジタイザなどから構成され、ディスプレイ４１０の画面上のポイントの指示や選択を行うとき、使用者により操作される。ディスプレイ４１０は、液晶表示装置またはＣＲＴ（Cathode Ray Tube）などから成り、各種情報をテキストやイメージで表示する。ＨＤＤ（Hard Disk Drive）４１１は、ハードディスクを駆動し、それらにＣＰＵ４０１によって実行するプログラムや情報を記録または再生させる。
【０１３８】
ドライブ４１２は、装着されている磁気ディスク４５１、光ディスク４５２、光磁気ディスク４５３、または半導体メモリ４５４に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インターフェース４０７、外部バス４０６、ブリッジ４０５、およびホストバス４０４を介して接続されているＲＡＭ４０３に供給する。これらのキーボード４０８乃至ドライブ４１２は、インターフェース４０７に接続されており、インターフェース４０７は、外部バス４０６、ブリッジ４０５、およびホストバス４０４を介してＣＰＵ４０１に接続されている。
【０１３９】
通信部４１３は、モデムまたはNIC（Network Interface Card）などから構成され、公衆電話回線、ネットワーク、または衛星通信回線などの伝送路が接続される。通信部４１３は、ＣＰＵ４０１、またはＨＤＤ４１１から供給されたデータを、所定の方式のパケットに格納して、伝送路を介して、送信するとともに、伝送路を介して、受信したパケットに格納されているデータをＣＰＵ４０１、ＲＡＭ４０３、またはＨＤＤ４１１に出力する。
【０１４０】
通信部４１３は、外部バス４０６、ブリッジ４０５、およびホストバス４０４を介してＣＰＵ４０１に接続されている。
【０１４１】
一連の処理を実行させるプログラムが格納されている記録媒体は、図２２に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク４５１（フロッピディスクを含む）、光ディスク４５２（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディスク４５３（ＭＤ(Mini-Disc)を含む）、若しくは半導体メモリ４５４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM４０２や、ＨＤＤ４１１などで構成される。
【０１４２】
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１４３】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１４４】
【発明の効果】
請求項１に記載の情報処理装置および請求項２に記載の情報処理方法によれば、複数の知覚要素に対応する信号を統一的に伝送することができるようになる。
【０１４５】
請求項３に記載の情報処理装置および請求項５に記載の情報処理方法によれば、知覚要素の提示機能に対応して、異なる知覚要素を最適な態様で提示できるようになる。
【０１４６】
請求項６に記載の提示システムによれば、複数の知覚要素に対応する信号を統一的に伝送し、知覚要素の提示機能に対応して、異なる知覚要素を最適な態様で提示できるようになる。
【図面の簡単な説明】
【図１】本発明に係る統合提示システムの一実施の形態の構成を示す図である。
【図２】映像信号、および揺動信号を説明する図である。
【図３】統合信号の例を示す図である。
【図４】統合信号復号部２３の構成を説明する図である。
【図５】動きベクトル抽出部５２の構成を示すブロック図である。
【図６】メモリ７４に記憶されているパターンを説明する図である。
【図７】統合信号の画像の例を示す図である。
【図８】揺動信号生成部５４の構成を示すブロック図である。
【図９】動きベクトルの成分ｕ、ｖ、ｖzoom、ｖrotの関係を説明する図である。
【図１０】提示装置３の構成の例を示す図である。
【図１１】映像提示部１１１を構成するスクリーン１３１と、揺動提示部１１２を構成する椅子１３２との関係の例を示す図である。
【図１２】揺動提示部１１２の構成例を示す図である。
【図１３】揺動提示部１１２の構成例を示す図である。
【図１４】提示装置３の構成の他の例を示す図である。
【図１５】統合信号提示装置２が出力する提示信号を説明する図である。
【図１６】統合信号提示装置２が出力する提示信号を説明する図である。
【図１７】統合信号提示装置２が出力する提示信号を説明する図である。
【図１８】統合信号の生成の処理を説明するフローチャートである。
【図１９】統合信号の復号の処理を説明するフローチャートである。
【図２０】本発明に係る統合提示システムの第２の実施の形態の構成を示す図である。
【図２１】本発明に係る統合提示システムの第３の実施の形態の構成を示す図である。
【図２２】パーソナルコンピュータの構成の例を説明する図である。
【符号の説明】
１ 統合信号生成装置， ２ 統合信号提示装置， ３ 提示装置， １１ 映像信号記録部， １２ 揺動信号記録部， １３ 統合信号符号化部， １４統合信号送信部， １５ 統合信号記録部， ２１ 統合信号受信部， ２２パラメータ指示部， ２３ 統合信号復号部， ５１ 処理決定部， ５２ 動きベクトル抽出部， ５３ 画像補正部， ５４ 揺動信号生成部， ５５ 映像信号選択部， １１１ 映像提示部， １１２ 揺動提示部， ２０１ 統合信号提示装置， ２１１ パラメータ入力部， ３０１ 統合信号生成装置，３０２ 統合信号提示装置， ３１１ パラメータ送信部， ３２１ パラメータ受信部， ４０１ ＣＰＵ， ４０２ ＲＯＭ， ４０３ ＲＡＭ， ４１１ ＨＤＤ， ４５１ 磁気ディスク， ４５２ 光ディスク， ４５３ 光磁気ディスク， ４５４ 半導体メモリ
【発明の属する技術分野】
本発明は、情報処理装置および方法、並びに提示システムに関し、特に、複数の知覚要素に対応する信号を取り扱う情報処理装置および方法、並びに提示システムに関する。
【０００２】
【従来の技術】
送信装置が画像の信号、および画像に対応する音声の信号を送信し、受信装置が画像の信号、および音声の信号を受信して、復号し、画像を表示すると共に、対応する音声を出力するシステムが広く利用されている。
【０００３】
このような画像の信号および音声の信号など異なる種類の信号は、それぞれに送信されて、受信され、画像の信号に対応する処理と、音声の信号に対応する処理とが、別々に実行される。
【０００４】
【発明が解決しようとする課題】
しかしながら、受信装置が、画像のみを表示し、音声を出力しないとき、受信装置は、画像の信号に対応する画像をそのまま表示するしかなかった。同様に、受信装置が、音声のみを出力し、画像を表示しないとき、受信装置は、音声の信号に対応する音声をそのまま出力するしかなかった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、画像などの複数の知覚要素に対応する信号を統一的に伝送し、知覚要素の提示機能に対応して、異なる知覚要素を最適な態様で提示できるようにすることを目的とする。
【０００６】
【課題を解決するための手段】
請求項１に記載の情報処理装置は、映像信号を取得する第１の取得手段と、前記映像信号に対応する揺動信号を取得する第２の取得手段と、前記映像信号の画像を、前記揺動信号に対応するように移動させた画像の信号を、統合信号として生成する統合信号生成手段と、揺動刺激で揺動を感じさせるか、または、画像の揺れによって揺動を感じさせるかを選択する選択信号を生成する選択信号生成手段と、生成された前記統合信号と前記選択信号を他の装置に出力する出力手段とを備えることを特徴とする。
【０００８】
請求項２に記載の情報処理方法は、映像信号を取得する第１の取得ステップと、前記映像信号に対応する揺動信号を取得する第２の取得ステップと、前記映像信号の画像を、前記揺動信号に対応するように移動させた画像の信号を、統合信号として生成する統合信号生成ステップと、揺動刺激で揺動を感じさせるか、または、画像の揺れによって揺動を感じさせるかを選択する選択信号を生成する選択信号生成ステップと、生成された前記統合信号と前記選択信号を他の装置に出力する出力ステップとを含むことを特徴とする。
【０００９】
請求項３に記載の情報処理装置は、映像信号の画像を、揺動信号に対応するように移動させた画像の信号である統合信号を取得する取得手段と、前記統合信号から前記揺動信号を抽出するか否かを判定する判定手段と、前記統合信号から前記揺動信号を抽出すると判定された場合、前記統合信号の画像から、動きベクトルを生成する動きベクトル抽出手段と、生成された前記動きベクトルを基に、前記揺動信号を生成する揺動信号生成手段と、前記統合信号から前記揺動信号を抽出すると判定された場合、前記統合信号の画像に対し画像の揺れを除去する補正をし、補正後画像の映像信号を生成する映像信号生成手段と、前記統合信号から前記揺動信号を抽出すると判定された場合、生成された前記揺動信号と前記補正後画像の映像信号を出力し、前記統合信号から前記揺動信号を抽出しないと判定された場合、前記統合信号を出力する出力手段とを備えることを特徴とする。
【００１０】
前記取得手段には、揺動刺激で揺動を感じさせるか、または、画像の揺れによって揺動を感じさせるかを選択する選択信号を、前記統合信号とともに、他の装置から取得させ、前記判定手段には、前記選択信号に基づいて、前記統合信号から前記揺動信号を抽出するか否かを判定させることができる。
【００１１】
請求項５に記載の情報処理方法は、映像信号の画像を、揺動信号に対応するように移動させた画像の信号である統合信号を取得する取得ステップと、前記統合信号から前記揺動信号を抽出するか否かを判定する判定ステップと、前記統合信号から前記揺動信号を抽出すると判定された場合、前記統合信号の画像から、動きベクトルを生成する動きベクトル抽出ステップと、生成された前記動きベクトルを基に、前記揺動信号を生成する揺動信号生成ステップと、前記統合信号から前記揺動信号を抽出すると判定された場合、前記統合信号の画像に対し画像の揺れを除去する補正をし、補正後画像の映像信号を生成する映像信号生成ステップと、前記統合信号から前記揺動信号を抽出すると判定された場合、生成された前記揺動信号と前記補正後画像の映像信号を出力し、前記統合信号から前記揺動信号を抽出しないと判定された場合、前記統合信号を出力する出力ステップとを含むことを特徴とする。
【００１２】
請求項６に記載の提示システムは、提供装置および情報処理装置から成る提示システムにおいて、前記提供装置は、映像信号を取得する第１の取得手段と、前記映像信号に対応する揺動信号を取得する第２の取得手段と、前記映像信号の画像を、前記揺動信号に対応するように移動させた画像の信号を、統合信号として生成する統合信号生成手段とを備え、前記情報処理装置は、前記統合信号を取得する第３の取得手段と、前記統合信号から前記揺動信号を抽出するか否かを判定する判定手段と、前記統合信号から前記揺動信号を抽出すると判定された場合、前記統合信号の画像から、動きベクトルを生成する動きベクトル抽出手段と、生成された前記動きベクトルを基に、前記揺動信号を生成する揺動信号生成手段と、前記統合信号から前記揺動信号を抽出すると判定された場合、前記統合信号の画像に対し画像の揺れを除去する補正をし、補正後画像の映像信号を生成する映像信号生成手段と、前記統合信号から前記揺動信号を抽出すると判定された場合、生成された前記揺動信号と前記補正後画像の映像信号を出力し、前記統合信号から前記揺動信号を抽出しないと判定された場合、前記統合信号を出力する出力手段とを備えることを特徴とする。
【００１３】
請求項１に記載の情報処理装置および請求項２に記載の情報処理方法においては、映像信号と、その映像信号に対応する揺動信号が取得され、映像信号の画像を、揺動信号に対応するように移動させた画像の信号が、統合信号として生成される。そして、揺動刺激で揺動を感じさせるか、または、画像の揺れによって揺動を感じさせるかを選択する選択信号が生成され、生成された統合信号と選択信号が、他の装置に出力される。
【００１４】
請求項３に記載の情報処理装置および請求項５に記載の情報処理方法においては、映像信号の画像を、揺動信号に対応するように移動させた画像の信号である統合信号が取得され、統合信号から揺動信号を抽出するか否かが判定され、統合信号から揺動信号を抽出すると判定された場合、統合信号の画像から、動きベクトルが生成され、生成された動きベクトルを基に、揺動信号が生成され、統合信号の画像に対し画像の揺れを除去する補正がされ、補正された画像の映像信号が生成され、生成された揺動信号と補正後画像の映像信号が出力される。一方、統合信号から揺動信号を抽出しないと判定された場合、統合信号がそのまま出力される。
【００１５】
請求項６に記載の提示システムにおいては、提供装置において、映像信号と、その映像信号に対応する揺動信号が取得され、映像信号の画像を、揺動信号に対応するように移動させた画像の信号が、統合信号として生成される。また、情報処理装置において、映像信号の画像を、揺動信号に対応するように移動させた画像の信号である統合信号が取得され、統合信号から揺動信号を抽出するか否かが判定され、統合信号から揺動信号を抽出すると判定された場合、統合信号の画像から、動きベクトルが生成され、生成された動きベクトルを基に、揺動信号が生成され、統合信号の画像に対し画像の揺れを除去する補正がされ、補正後画像の映像信号が生成され、生成された揺動信号と補正後画像の映像信号が出力される。一方、統合信号から揺動信号を抽出しないと判定された場合、統合信号がそのまま出力される。
【００１６】
【発明の実施の形態】
図１は、本発明に係る統合提示システムの一実施の形態の構成を示す図である。統合信号生成装置１は、画像、および揺動などの複数の知覚要素（人が５感で認識する刺激を引き起こすもの）の状態を１つの信号で示す統合信号を生成する。統合信号生成装置１は、公衆電話回線、ネットワーク、または、衛星通信回線などの伝送経路を介して、生成した統合信号を統合信号提示装置２に送信する。
【００１７】
または、統合信号生成装置１は、生成した統合信号を磁気テープ、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどの媒体に記録する。統合信号が記録された媒体は、郵送、または宅配などの物流システムにより、統合信号提示装置２に供給される。
【００１８】
統合信号提示装置２は、伝送経路または媒体を介して、統合信号生成装置１から供給された統合信号を基に、画像、および揺動などの複数の要素のそれぞれの状態を示す提示信号を生成して、生成した提示信号を提示装置３に供給する。
【００１９】
提示装置３は、統合信号提示装置２から供給された提示信号を基に、画像および揺動などの複数の要素を使用者に提示する。
【００２０】
このようにして、提示装置３の使用者は、画像、および揺動などの複数の要素を認識する。
【００２１】
統合信号生成装置１は、映像信号記録部１１、揺動信号記録部１２、統合信号符号化部１３、統合信号送信部１４、および統合信号記録部１５から構成されている。
【００２２】
映像信号記録部１１は、例えばハードディスクなど、媒体および媒体駆動装置などで構成され、動画像の映像信号を予め記録している。映像信号は、MPEG（Moving Picture Experts Group）2などのデジタルデータに対応する信号、またはアナログ信号など、いずれの方式でもよい。映像信号記録部１１は、統合信号符号化部１３の要求に対応して、記録している映像信号を統合信号符号化部１３に供給する。
【００２３】
揺動信号記録部１２は、映像信号記録部１１が記録している映像信号に対応する揺動信号を予め記録している。揺動信号は、使用者の体の時間的な変位を示す信号であり、例えば、使用者の体の上下動、または回動などを示す。揺動信号記録部１２は、例えばハードディスクなど、媒体および媒体駆動装置などで構成され、映像信号記録部１１が統合信号符号化部１３に供給する映像信号に同期して、映像信号に対応する揺動信号を統合信号符号化部１３に供給する。
【００２４】
図２は、映像信号記録部１１が統合信号符号化部１３に供給する映像信号、および揺動信号記録部１２が統合信号符号化部１３に供給する揺動信号を説明する図である。
【００２５】
図２（Ａ）は、映像信号記録部１１が統合信号符号化部１３に供給する映像信号に対応する画像を示す図である。図２（Ｂ）は、揺動信号記録部１２が統合信号符号化部１３に供給する、例えば、画像に対して上下方向の揺動を示す、揺動信号を示す図である。
【００２６】
映像信号に対応する画像（静止画像）は、例えば、時刻を基に、揺動信号の揺動（振幅）に対応づけられる。
【００２７】
統合信号符号化部１３は、映像信号記録部１１から供給された映像信号、および揺動信号記録部１２から供給された映像信号を基に、統合信号を生成する。
【００２８】
図３は、図２に示す映像信号および揺動信号を基に、統合信号符号化部１３により生成された、統合信号の例を示す図である。図３に示す統合信号は、映像信号に対応する画像を、揺動信号に対応するように上下方向に移動させて、生成される。
【００２９】
また、例えば、揺動信号が画像に対して左右方向の揺動を示すとき、統合信号は、映像信号に対応する画像を、揺動信号に対応するように左右方向に移動させて、生成される。
【００３０】
同様に、他の揺動の成分（いわゆる、roll、yaw、およびpitchなどの回動成分）を有する揺動信号に基づいて、画像を移動させるようにしてもよい。
【００３１】
さらに、例えば、画像に対応する音声に自動車のエンジン音が含まれているとき、統合信号符号化部１３は、自動車に対応する揺動信号を揺動信号記録部１２から読み出して、読み出した揺動信号を基に、画像を移動させることにより統合信号を生成するようにしてもよい。この場合、統合信号に対応する画像は、自動車の振動に対応する揺動を含む。
【００３２】
統合信号符号化部１３は、統合信号の方式にあった符号化方式で、統合信号を符号化するようにしてもよい。
【００３３】
統合信号符号化部１３は、生成した統合信号を統合信号送信部１４および統合信号記録部１５に供給する。
【００３４】
統合信号送信部１４は、統合信号符号化部１３から供給された統合信号を、公衆電話回線、ネットワーク、または、衛星通信回線などの伝送経路を介して、統合信号提示装置２に送信する。
【００３５】
統合信号記録部１５は、統合信号符号化部１３から供給された統合信号を、磁気テープ、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどの媒体に記録する。統合信号が記録された媒体は、統合信号提示装置２に供給される。
【００３６】
統合信号提示装置２は、統合信号受信部２１、パラメータ指示部２２、および統合信号復号部２３から構成されている。
【００３７】
統合信号受信部２１は、統合信号生成装置１が送信した統合信号を受信し、受信した統合信号を統合信号復号部２３に供給する。
【００３８】
図示せぬドライブ装置などにより媒体から読み取られた統合信号は、統合信号復号部２３に供給される。
【００３９】
パラメータ指示部２２は、提示装置３から供給された、提示装置３の構成を示す機器構成情報を入力し、機器構成情報に対応する復号パラメータを統合信号復号部２３に供給する。
【００４０】
例えば、復号パラメータは、提示装置３が揺動を提示する機能を有しないとき、０であり、提示装置３が揺動を提示する機能を有するとき、１である。
【００４１】
統合信号復号部２３は、パラメータ指示部２２から供給された復号パラメータを基に、統合信号を提示装置３の機器構成に対応する提示信号を提示装置３に供給する。
【００４２】
統合信号提示装置２から出力される提示信号は、映像信号および揺動信号から構成されるか、または映像信号のみで構成される。
【００４３】
図４は、統合信号復号部２３の構成を説明する図である。統合信号復号部２３に入力された統合信号および復号パラメータは、処理決定部５１に供給される。
【００４４】
処理決定部５１は、パラメータ指示部２２から供給された復号パラメータを基に、統合信号復号部２３が出力する提示信号を映像信号および揺動信号で構成するか、または映像信号のみで構成するかいずれかを決定する。
【００４５】
処理決定部５１は、図１０を参照して後述するように、提示装置３が映像提示部１１１および揺動提示部１１２で構成されるとき（すなわち、提示装置３が揺動を提示する機能を有するとき）、映像信号および揺動信号を、提示信号として出力させる。
【００４６】
一方、処理決定部５１は、図１４を参照して後述するように、提示装置３が映像提示部１１１のみで構成されるとき（すなわち、提示装置３が揺動を提示する機能を有しないとき）、映像信号のみを提示信号として出力させる。
【００４７】
処理決定部５１は、入力された統合信号を、動きベクトル抽出部５２、画像補正部５３、および映像信号選択部５５に供給する。
【００４８】
動きベクトル抽出部５２は、統合信号の画像から、動きベクトルを生成して、生成した動きベクトルを揺動信号生成部５４に供給する。
【００４９】
揺動信号生成部５４は、動きベクトル抽出部５２から供給された動きベクトルを基に、揺動信号を生成して、生成した揺動信号を、画像補正部５３に供給すると共に、統合信号復号部２３の出力として提示装置３に出力する。
【００５０】
画像補正部５３は、揺動信号生成部５４から供給された揺動信号を基に、処理決定部５１から供給された映像信号である統合信号の画像を揺れを除去するように補正し、補正した画像を含む映像信号を映像信号選択部５５に供給する。
【００５１】
例えば、画像補正部５３は、映像信号である統合信号の画像を、揺動信号に対応させて上下方向に移動させて（統合信号符号化部１３の場合とは逆の方向に移動させて）、画像を補正する。すなわち、画像補正部５３が出力する映像信号は、映像信号記録部１１が記録している映像信号と同様となり、上下動が除去された画像を表示させる。
【００５２】
映像信号選択部５５は、処理決定部５１から供給された選択信号を基に、処理決定部５１から供給された統合信号、または画像補正部５３から供給された映像信号のいずれか一方を選択して、選択した信号を統合信号復号部２３の出力として提示装置３に出力する。
【００５３】
提示装置３が映像提示部１１１および揺動提示部１１２で構成されるとき、映像信号選択部５５は、画像補正部５３から供給された映像信号を選択して、上下動が除去された画像に対応する映像信号を提示信号として出力する。提示装置３が映像提示部１１１のみで構成されるとき、映像信号選択部５５は、処理決定部５１から供給された統合信号を選択して、統合信号をそのまま提示信号として出力する。
【００５４】
図５は、動きベクトル抽出部５２の構成を示すブロック図である。動きベクトル抽出部５２に入力された映像信号は、遅延部７１により１フレーム分遅延された後、フレームバッファ７２−１に供給される。動きベクトル抽出部５２に入力された映像信号は、フレームバッファ７２−２にも供給される。
【００５５】
読み出し部７３−１および７３−２は、メモリ７４に記憶されている所定のパターンに従って、それぞれ対応するフレームバッファ７２−１および７２−２から、映像信号を読み出し、動きベクトル検出部７５に出力する。
【００５６】
動きベクトル検出部７５は、供給された映像信号から動きベクトルを検出し、て検出した動きベクトルを揺動信号生成部５４に出力する。
【００５７】
次に、図５に示した動きベクトル抽出部５２の動作について説明する。時刻ｔにおいて、動きベクトル抽出部５２に入力された映像信号は、遅延部７１とフレームバッファ７２−２に供給される。フレームバッファ７２−２は、入力された１フレーム分の映像信号を記憶する。遅延部７１は、映像信号を１フレーム分だけ遅延するので、時刻ｔにおいて、フレームバッファ７２−１には、時刻ｔより前の時刻ｔ−１における映像信号（時刻ｔより１フレーム前の映像信号）が記憶されている。
【００５８】
フレームバッファ７２−１に記憶された時刻ｔ−１における映像信号は、読み出し部７３−１により、フレームバッファ７２−２に記憶された時刻ｔにおける映像信号は、読み出し部７３−２により、それぞれ読み出される。
【００５９】
読み出し部７３−１および７３−２は、それぞれ対応するフレームバッファ７２−１または７２−２に記憶されている映像信号のうち、メモリ７４に記憶されているパターンに対応する部分の映像信号を読み出す。ここで、メモリ７４に記憶されているパターンについて、図６を参照して説明する。
【００６０】
図６は、メモリ７４に記憶されているパターンの一例を示す図である。１フレームを構成する画素のなかで、揺動に関係のない部分、例えば、図７に示したような、統合信号生成装置１により生成された統合信号の場合、上下方向に画像を移動させるために必要な部分などは揺動に関係のない領域と判断し、その領域を取り除いた領域の中心に位置する画素を収束点Ｐとする。収束点Ｐを中心として上下左右に対称な代表点Ｑ、例えば、２５個（収束点を含む）を設定する。各代表点Ｑ毎に、その代表点Ｑが中心に位置する所定の画素数からなるブロックＢ、例えば、３３×３３画素からなるブロックＢを設定する。メモリ７４には、このようなフレームの画面内における各代表点Ｑの座標と、ブロックＢの大きさが、パターンとして記憶されている。
【００６１】
読み出し部７３−１は、フレームバッファ７２−１に記憶されている時刻ｔ−１における映像信号のうち、メモリ７４に記憶されている上述したようなパターンに対応する画素データ、すなわち、代表点Ｑの座標とブロックＢの大きさをもとに、各ブロックＢ内の画素データを読み出し、動きベクトル検出部７５に、参照ブロックのデータとして出力する。同様に、読み出し部７３−２は、フレームバッファ７２−２に記憶されている時刻ｔにおける映像信号のうち、メモリ７４に記憶されているパターンに対応する画素データを読み出し、動きベクトル検出部７５に探索ブロックのデータとして出力する。
【００６２】
動きベクトル検出部７５は、入力された参照ブロックのデータと探索ブロックのデータとを用いて、ブロックマッチングを行うことにより、各代表点Ｑにおける動きベクトルを検出する。従って、この例の場合、２５個の動きベクトルが検出される。
【００６３】
このように、動きベクトル抽出部５２は、動きベクトルを検出して、検出した動きベクトルを揺動信号生成部５４に供給する。
【００６４】
図８は、揺動信号生成部５４の構成を示すブロック図である。特徴量演算部９１は、入力された動きベクトルから特徴量を演算する。
【００６５】
特徴量演算部９１は、動きベクトル抽出部５２により検出された２５個の動きベクトルを用いて、そのフレーム（画面）の揺動の水平成分ｕ、垂直成分ｖ、拡大成分ｖzoom、および回転成分ｖrotの合計４成分を、以下に示す式に基づいて算出する。
水平成分ｕ＝（１／ｎ）Σｕi ・・・（１）
垂直成分ｖ＝（１／ｎ）Σｖi ・・・（２）
拡大成分ｖzoom＝（１／ｎ）Σｖzoomi／ｄi ・・・（３）
回転成分ｖrot＝（１／ｎ）Σｖroti／ｄi ・・・（４）
なお、添え字のｉは、代表点Ｑiに付けられた番号を示し、この例では１乃至２５まで変化する。また、ｎは代表点の個数であるので、この例では２５である。式（１）乃至式（４）により求められる値は、２５個の動きベクトルから得られる各成分ｕ、ｖ、ｖzoom、ｖrotの平均値である。
【００６６】
上述した各成分ｕ、ｖ、ｖzoom、ｖrotの関係を図９を参照して説明する。処理対象となっている代表点Ｑiの動きベクトルＴの水平方向の成分をｕiとし、垂直方向の成分をｖiとする。ｄｉは、収束点Ｐから代表点Ｑiまでの距離を表すスカラ量である。また、（Ｐｘ，Ｐｙ）は、収束点Ｐの座標を表し、この座標値を基準として座標（Ｑiｘ，Ｑiｙ）の代表点Ｑiまでの距離が算出される。
【００６７】
この動きベクトルＴの成分（ｕi，ｖi）は、代表点Ｑiを原点としたときの成分である。動きベクトルＴの、収束点Ｐと代表点Ｑiとを結ぶ直線と平行な方向の成分ｖzoomiとし、収束点Ｐと代表点Ｑiとを結ぶ直線と直交する方向の成分をｖrotiとする。また、収束点Ｐと代表点Ｑiとを結ぶ直線と動きベクトルＴとがなす角度をθとする。このとき、ｖzoomiとｖrotiは、次式に従って求められる。
ｖzoomi＝（ｕi 2＋ｖi 2）(1/2)ＣＯＳθ ・・・（５）
ｖroti ＝（ｕi 2＋ｖi 2）(1/2)ＳＩＮθ ・・・（６）
【００６８】
特徴量演算部９１は、動きベクトル抽出部５２から出力された動きベクトルから、式（１）乃至式（４）を用いて、特徴量として４成分のデータｕ、ｖ、ｖzoom、ｖrotを算出する。算出された４成分のデータｕ、ｖ、ｖzoom、ｖrotは、揺動信号生成部５４の後段に供給される。
【００６９】
ここで、例えば、使用者に対して自動車に乗っている感じを疑似体験させる場合、どのような揺動を使用者が座っている椅子に対して加えればよいのかを考える。自動車の椅子に加えられる揺動には、自動車が坂道などの勾配のある道を走っているときの路面の前後方向の傾き、でこぼこした道の上を走っているときの路面から受ける振動、傾いた路面を走っているときの路面の左右方向の傾きなどがある。
【００７０】
これらの揺動は、揺動信号を生成するセンサが搭載された自動車に対して、実際に加えられた刺激（実刺激）であり、映像を観察する使用者の椅子に対しても、この実刺激と同様な揺動を加えればよい。例えば、実刺激が右方向への傾きであれば、使用者の椅子も右に傾ければよい。これらの揺動は、アクチュエータなどを利用することにより、使用者用の椅子に加えることができる揺動である。
【００７１】
これに対して、自動車がカーブを曲がるときの遠心力、加速や減速のときの慣性力、自動車が曲がる時の自動車首振りに対応する力は、使用者に人工的に引力を加えることは物理的に不可能であるため、代替的な揺動（代替刺激）として使用者に加える必要がある。例えば、加速時の慣性力を表現するために、椅子を加速に対応して前に移動させて使用者に慣性力を加えることはできないので、後ろ方向の傾きなどの代替刺激を使用者の椅子に加える必要がある。
【００７２】
以下に、上述した実刺激と代替刺激に関する揺動、実際に使用者用の椅子に対して加える揺動信号の成分、並びに、上述した特徴量演算部９１により演算された４成分の関係を示す。
揺動信号生成部５４の後段は、上述した関係を用いて、提示装置３に供給する揺動信号を生成する。揺動信号生成部５４が生成する揺動信号は、揺動信号記録部１２から供給された揺動信号に対応する。
【００７４】
特徴量演算部９１から出力された４成分のうち、回転成分ｖrotは、加算器９２−１に、水平成分ｕは、加算器９２−２と符号反転器９３−１に、垂直成分ｖは、加算器９２−３に、拡大成分ｖzoomは、加算器９２−５と遅延器９４−３に、それぞれ入力される。加算器９２−１には、加算器９２−１から出力されたデータが、遅延器９４−１で１クロック分遅延された後、入力される。同様に、加算器９２−３にも、加算器９２−３から出力されたデータが、遅延器９４−２で１クロック分遅延された後、入力される。
【００７５】
遅延器９４−１から出力されたデータは、加算器９２−２に入力される。遅延器９４−２から出力されたデータは、符号反転器９３−２を介してHPF（High Pass Filter）９５に出力されると共に、LPF（Low Pass Filter）９６−１を介して加算器９２−４にも出力される。加算器９２−５に入力された拡大成分ｖzoomは、遅延器９４−３により１クロック分遅延された拡大成分ｖzoomが減算され、LPF９６−２を介して加算器９２−４に入力される。
【００７６】
次に、揺動信号生成部５４の後段が行う揺動信号成分roll、yaw、ｚ、およびpitchの算出について説明する。揺動信号生成部５４の後段に入力された回転成分ｖrotは、加算器９２−１に入力される。加算器９２−１は、時刻ｔにおいて入力された回転成分ｖrotと、遅延器９４−１より出力される１単位時間前の時刻ｔ−１のデータとを加算する。加算器９２−１は、このようにして、回転成分ｖrotを累積加算（積分）していくことにより、路面の左右の傾きを表現する揺動信号成分roll（Σｖrot）を算出する。しかしながら、路面の左右の傾きを表現する揺動信号成分rollは、−Σｖrotなので、加算器９２−２は、遅延器９４−１から入力されたデータの符号を反転したデータを演算に用いる。
【００７７】
揺動信号成分roll（水平成分ｕ）は、カーブ時の遠心力を表現するのにも用いられる。そこで、加算器９２−２は、遅延器９４−１から入力されたデータの符号を反転したデータと、水平成分ｕとを加算する（水平成分ｕから遅延器９４−１の出力を減算する）ことにより、提示装置３に供給する揺動信号成分rollを算出する。
【００７８】
曲がる時の自動車首振りの揺動信号成分yawは、水平成分ｕの値を反転することにより得られるので、揺動信号生成部５４は、入力された水平成分ｕの値を、符号反転器９３−１により、符号を反転させることに揺動信号成分yawを算出する。
【００７９】
加算器９２−３には、時刻ｔにおいて入力された垂直成分ｖと、遅延器９４−２より出力された１単位時間前の時刻ｔ−１の垂直成分ｖを加算する。このようにして、加算器９２−３において、垂直成分ｖが累積加算（積分）される。そして、加算器９２−３とと遅延器９４−２により累積加算されたデータは、符号反転器９３−２に入力され、符号が反転され、さらにHPF９５により、高周波成分のみが取り出される。このようにして、路面から受ける振動を表現する揺動信号成分ｚが算出される。
【００８０】
また、遅延器９４−２から出力されたデータは、LPF９６−１にも出力され、低周波成分が取り出される。このようにして、路面の前後の傾きを表現する揺動信号成分pitchが算出される。揺動信号成分pitchは、加減速による慣性力を表現する揺動信号成分としても用いられる。そのため、LPF９６−１から出力された揺動信号成分pitchは、加算器９２−４により、慣性力を表現する揺動信号成分pitchと加算される。
【００８１】
慣性力を表現する揺動信号成分pitchは、揺動信号生成部５４に入力された拡大成分ｖzoomから算出される。揺動信号生成部５４に入力された拡大成分ｖzoomは、加算器９２−５と遅延器９４−３に入力される。加算器９２−５には、時刻ｔにおいて入力された拡大成分ｖzoomtと、遅延器９４−３により１単位時間遅延された時刻ｔ−１における拡大成分ｖzoomt-1が入力される。加算器９２−５は、入力された時刻ｔにおける拡大成分ｖzoomtから、時刻ｔ−１における拡大成分ｖzoomt-1を減算することで、拡大成分ｖzoomを微分する。そして、加算器９２−５から出力された値から、LPF９６−２により、低周波成分が抽出されることにより、加減速による慣性力を表現する揺動信号成分pitchが算出される。
【００８２】
加算器９２−４により、LPF９６−１から出力された値と、LPF９６−２から出力された値とが加算されることにより、提示装置３に供給される揺動信号成分pitchが算出される。
【００８３】
図１０は、提示装置３の構成の例を示す図である。提示装置３は、映像提示部１１１および揺動提示部１１２により構成されている。
【００８４】
映像提示部１１１は、CRT（Cathode-Ray Tube）または液晶表示装置などで構成され、入力された映像信号に対応する画像を表示する。揺動提示部１１２は、入力された揺動信号に対応する揺動を出力する。
【００８５】
映像提示部１１１および揺動提示部１１２は、提示装置３が映像提示部１１１および揺動提示部１１２を有することを示す機器構成情報を統合信号提示装置２に出力する。
【００８６】
図１１は、映像提示部１１１を構成するスクリーン１３１（図示せぬプロジェクタなどにより画像が投影される）と、揺動提示部１１２を構成する椅子１３２との関係の例を示す図である。
【００８７】
映像提示部１１１は、スクリーン１３１に映像信号に対応する画像を表示する。揺動提示部１１２は、揺動信号に対応して、椅子１３２を揺動させて、椅子１３２に座る使用者に揺動を感じさせる。
【００８８】
この揺動は、上述したように、Ｘ，Ｙ，Ｚの３軸回りの回転成分（roll,pitch,yaw）と３軸方向の並進成分（x,y,z）により構成される。
【００８９】
揺動提示部１１２の構成例を図１２および図１３に示す。図１２は、揺動提示部１１２の側面図であり、図１３は、揺動提示部１１２の上面図である。揺動提示部１１２は、６本のピストン１４１−１乃至１４１−６を備えており、これらのピストンにより台座１４２が支えられている。台座１４２には、椅子１３２が固定されており、この椅子１３２の上に使用者１４３が座るようになされている。
【００９０】
ピストン１４１−１乃至１４１−６は、エアシリンダまたは油圧シリンダなどで構成され、それぞれの中心軸に沿って伸縮する。ピストン１４１−１乃至１４１−６が伸縮することにより、台座１４２が揺動し、さらに台座１４２に固定されている椅子１３２が揺動する。ピストン１４１−１乃至１４１−６を制御するための信号は、上述したように、統合信号提示装置２により供給される。
【００９１】
図１４は、提示装置３の構成の他の例を示す図である。図１４に示す提示装置３は、映像提示部１１１により構成され、揺動提示部１１２を有さない。映像提示部１１１は、提示装置３が映像提示部１１１のみを有することを示す機器構成情報を出力する。
【００９２】
図１５は、統合信号提示装置２が出力する提示信号を説明する図である。
【００９３】
図１５（Ａ）に示す統合信号が入力された統合信号提示装置２は、提示装置３が揺動提示部１１２を有するとき、統合信号から図１５（Ｂ）に示すように、揺動信号を生成して、提示信号として揺動信号を提示装置３に出力するとともに、図１５（Ｃ）に示すように、画像信号である統合信号の画像を補正して（揺動成分を除去して）、補正した画像に対応する映像信号を提示信号として提示装置３に出力する。
【００９４】
従って、提示装置３が揺動提示部１１２を有するとき、統合信号提示装置２から提示装置３に供給される提示信号は、図１６に示すように、映像信号および揺動信号から成る。映像信号は、図１６（Ａ）に示すように、揺動成分を除去するように画像が補正されている。揺動信号は、図１６（Ｂ）に示すように、統合信号から生成され、映像信号に対応している。
【００９５】
一方、提示装置３が揺動提示部１１２を有しないとき、統合信号提示装置２から提示装置３に供給される提示信号は、図１７に示すように、映像信号のみから成り、揺動信号を含まない。統合信号は、揺動成分を含んだままで、映像信号として、提示装置３に出力される。すなわち、統合信号は、画像が補正されることなく、映像信号として提示装置３に供給される。
【００９６】
このようにすることによって、統合信号提示装置２および提示装置３の使用者は、提示装置３が揺動提示部１１２を有しないとき、画像の揺れによって視覚的に揺動を感じ、提示装置３が揺動提示装置１１２を有するとき、表示される画像が揺れることなく、揺動提示装置１１２により実際の揺動刺激で揺動を感じることができる。
【００９７】
すなわち、全く同一の統合信号を受信しても、統合信号提示装置２は、提示装置３の機器構成に対応した、最適な刺激を提供する画像信号または揺動信号を出力することができる。
【００９８】
次に、図１８のフローチャートを参照して、統合信号生成装置１による、統合信号の生成の処理を説明する。ステップＳ１１において、統合信号符号化部１３は、映像信号記録部１１から予め記録されている映像信号を取得する。ステップＳ１２において、統合信号符号化部１３は、揺動信号記録部１２から予め記録されている揺動信号を取得する。揺動信号は、ステップＳ１１の処理で取得される映像信号に対応している。
【００９９】
ステップＳ１３において、統合信号符号化部１３は、揺動信号に基づいて、映像信号を補正する。例えば、揺動信号が画像に対して上下方向の揺動を示すとき、映像信号は、画像の表示位置が上下方向に移動するように補正される。補正された映像信号は、統合信号として、統合信号送信部１４に供給される。
【０１００】
ステップＳ１４において、統合信号送信部１４は、補正された映像信号を、統合信号として、出力して、処理は終了する。例えば、統合信号送信部１４は、公衆電話回線、ネットワーク、または、衛星通信回線などの伝送経路を介して、統合信号を統合信号提示装置２に出力する。
【０１０１】
このように、統合信号生成装置１は、映像信号および揺動信号を基に、統合信号を生成して、出力することができる。
【０１０２】
次に、図１９のフローチャートを参照して、統合信号提示装置２による統合信号の復号の処理を説明する。ステップＳ３１において、統合信号提示装置２のパラメータ指示部２２は、提示装置３から供給された機器構成情報を取得する。パラメータ指示部２２は、取得された機器構成情報に対応する復号パラメータを生成して、復号パラメータを統合信号復号部２３に供給する。
【０１０３】
ステップＳ３２において、統合信号復号部２３は、復号パラメータを基に、提示装置３に揺動提示部１１２があるか否かを判定し、提示装置３に揺動提示部１１２があると判定された場合、ステップＳ３３に進む。ステップＳ３３おいて、統合信号復号部２３の動きベクトル抽出部５２は、統合信号受信部２１から供給された統合信号から、動きベクトルを抽出する。抽出された動きベクトルは、揺動信号生成部５４に供給される。
【０１０４】
ステップＳ３４において、統合信号復号部２３の揺動信号生成部５４は、動きベクトルを基に、揺動信号を生成する。生成された揺動信号は、提示信号として出力されると共に、画像補正部５３に供給される。
【０１０５】
ステップＳ３５において、統合信号復号部２３の画像補正部５３は、揺動信号を基に、統合信号の画像を揺動を取り除くように補正し、補正した画像を含む映像信号を映像信号選択部に供給して、ステップＳ３６に進む。
【０１０６】
ステップＳ３６において、統合信号復号部２３の映像信号選択部５５は、提示装置３に揺動提示部１１２があるとき、処理決定部５１から供給される信号を基に、画像補正部５３から供給される映像信号を選択して、選択した映像信号を提示信号として出力して、処理は終了する。
【０１０７】
ステップＳ３２において、提示装置３に揺動提示部１１２がないと判定された場合、揺動信号を生成する必要がなく、画像を補正する必要がないので、ステップＳ３３乃至ステップＳ３５の処理はスキップされ、手続きは、ステップＳ３６に進む。
【０１０８】
ステップＳ３６において、統合信号復号部２３の映像信号選択部５５は、提示装置３に揺動提示部１１２がないとき、処理決定部５１から供給される信号を基に、処理決定部５１から供給される統合信号を選択して、選択した映像信号である統合信号を提示信号として出力して、処理は終了する。
【０１０９】
このように、統合信号提示装置２は、提示装置３から供給される機器構成情報を基に、提示装置３に揺動提示部１１２があるとき、揺動信号および補正した映像信号を提示装置３に出力し、提示装置３に揺動提示部１１２がないとき、映像信号である統合信号を提示信号として提示装置３に出力する。
【０１１０】
次に、本発明に係る統合提示システムの第２の実施の形態について説明する。
【０１１１】
図２０は、本発明に係る統合提示システムの第２の実施の形態の構成を示す図である。図１に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。
【０１１２】
統合信号提示装置２０１は、統合信号受信部２１、パラメータ指示部２２、およびパラメータ入力部２１１で構成されている。
【０１１３】
パラメータ入力部２１１は、スイッチおよび選択情報出力回路などにより構成され、使用者によるスイッチの操作に対応する選択情報をパラメータ指示部２２に出力する。
【０１１４】
例えば、提示装置３が映像提示部１１１および揺動提示部１１２を有している場合、図１７に例を示す、揺動を含む画像から成る映像信号を統合信号提示装置２０１に出力させる旨の操作がパラメータ入力部２１１に加えられたとき、パラメータ入力部２１１は、揺動を含む画像から成る映像信号を出力させる選択情報をパラメータ指示部２２に供給する。
【０１１５】
このとき、パラメータ指示部２２は、統合信号をそのまま映像信号として出力させる復号パラメータを統合信号復号部２３に供給する。
【０１１６】
例えば、提示装置３が映像提示部１１１および揺動提示部１１２を有している場合、映像信号および揺動信号から成る提示信号を統合信号提示装置２０１に出力させる旨の操作がパラメータ入力部２１１に加えられたとき、パラメータ入力部２１１は、映像信号および揺動信号から成る提示信号を出力させる選択情報をパラメータ指示部２２に供給する。
【０１１７】
このとき、パラメータ指示部２２は、映像信号および揺動信号を提示信号として出力させる復号パラメータを統合信号復号部２３に供給する。
【０１１８】
すなわち、統合信号提示装置２０１は、パラメータ入力部２１１の操作に対応して、図１６に示す、映像信号および揺動信号から成る提示信号、および図１７に示す、映像信号のみから成る提示信号のいずれか一方を出力する。
【０１１９】
従って、統合信号提示装置２０１の使用者は、同一の統合信号を受信しても、使用者の好みによって、実際の揺動刺激で揺動を感じるか、または画像の揺れによって揺動を感じるかを選択することができる。
【０１２０】
次に、本発明に係る統合提示システムの第３の実施の形態について説明する。
【０１２１】
図２１は、本発明に係る統合提示システムの第３の実施の形態の構成を示す図である。図１に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。
【０１２２】
統合信号生成装置３０１は、映像信号記録部１１、揺動信号記録部１２、統合信号符号化部１３、統合信号送信部１４、およびパラメータ送信部３１１で構成されている。
【０１２３】
パラメータ送信部３１１は、統合信号に対応する復号指示情報を生成して、公衆電話回線、ネットワーク、または、衛星通信回線などの伝送経路を介して、生成した復号指示情報を統合信号提示装置３０２に供給する。
【０１２４】
統合信号提示装置３０２は、統合信号受信部２１、パラメータ指示部２２、統合信号復号部２３、およびパラメータ受信部３２１から構成されている。
【０１２５】
パラメータ受信部３２１は、伝送経路を介して、統合信号生成装置３０１から送信された復号指示情報を受信し、受信した復号指示情報をパラメータ指示部２２に供給する。
【０１２６】
パラメータ指示部２２は、パラメータ受信部３２１から供給された復号指示情報を基に、統合信号復号部２３を制御し、統合信号復号部２３に、映像信号および揺動信号から成る提示信号、または映像信号のみから成る提示信号のいずれかを出力させる。
【０１２７】
すなわち、統合信号提示装置３０２は、統合信号生成装置３０１の制御に基づいて、映像信号および揺動信号から成る提示信号、または映像信号のみから成る提示信号のいずれかを出力する。
【０１２８】
このように、統合信号生成装置３０１は、統合信号提示装置３０２を制御し、統合信号提示装置３０２に提示信号の種類を選択させることができる。従って、例えば、統合信号生成装置３０１を管理する放送者は、シーンによって、または、画像の内容によって、統合信号提示装置２０１の使用者に、実際の揺動刺激で揺動を感じさせるか、または画像の揺れによって揺動を感じさせるかを選択することができる。
【０１２９】
なお、統合提示システムは、画像および揺動に限らず、音声、風、温度、臭い、圧力（使用者の皮膚を押す力）、または形状（触覚により認識される物の形状）などの複数の要素（人が五感で認識できるもの）の状態を１つの信号で示す統合信号を生成して、統合信号を基に、画像、音声、風、温度、臭い、圧力、または形状などの複数の要素を使用者に提示するようにしてもよい。
【０１３０】
例えば、提示装置３は、画像を液晶表示装置、またはCRT（Cathode Ray Tube）などにより表示し、音声をラウドスピーカにより出力する。
【０１３１】
また、提示装置３は、風切り音、太陽が照りつける効果音、または木枯らしの効果音などが混合された音声信号である統合信号を基に生成された、風、または温度に対応する提示信号を受信し、送風ファンなどの送風装置により風をおこし、電熱装置などにより使用者の所定部位（例えば、手）などを加熱し、冷却装置などにより使用者の所定の部位を冷却する。
【０１３２】
更に、例えば、提示装置３は、所定の臭いに対応する画像（例えば、キンモクセイの花の画像）が重畳された映像信号である統合信号を基に生成された提示信号を受信し、予め、香料がそれぞれ格納されている複数の容器を有し、提示信号に対応して、いずれかの容器（例えば、キンモクセイの香りの香料が格納されている容器）を加熱することで、提示信号に対応する臭いを発生させる。
【０１３３】
また、複数のアクチュエータが内蔵されている手袋である提示装置３は、統合信号により表示されている画像に表示されている物の形状（例えば、円柱など）に対応する提示信号に対応して、使用者の手の所定の部分を押すことで、圧力または形状（例えば、円柱）を使用者に感じさせる。
【０１３４】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１３５】
図２２は、上述した一連の処理を実行するパーソナルコンピュータの構成の例を説明する図である。ＣＰＵ（Central Processing Unit）４０１は、図１８および図１９のフローチャートを参照して説明した処理を実行するアプリケーションプログラムや、ＯＳ（Operating System)を実際に実行する。ＲＯＭ（Read-only Memory）４０２は、一般的には、ＣＰＵ４０１が使用するプログラムや演算用のパラメータのうちの基本的に固定のデータを格納する。ＲＡＭ（Random-Access Memory）４０３は、ＣＰＵ４０１の実行において使用するプログラムや、その実行において適宜変化するパラメータを格納する。これらはＣＰＵバスなどから構成されるホストバス４０４により相互に接続されている。
【０１３６】
ホストバス４０４は、ブリッジ４０５を介して、ＰＣＩ(Peripheral Component Interconnect/Interface)バスなどの外部バス４０６に接続されている。
【０１３７】
キーボード４０８は、ＣＰＵ４０１に各種の指令を入力するとき、使用者により操作される。ポインティングデバイス４０９は、マウス、トラックボール、またはデジタイザなどから構成され、ディスプレイ４１０の画面上のポイントの指示や選択を行うとき、使用者により操作される。ディスプレイ４１０は、液晶表示装置またはＣＲＴ（Cathode Ray Tube）などから成り、各種情報をテキストやイメージで表示する。ＨＤＤ（Hard Disk Drive）４１１は、ハードディスクを駆動し、それらにＣＰＵ４０１によって実行するプログラムや情報を記録または再生させる。
【０１３８】
ドライブ４１２は、装着されている磁気ディスク４５１、光ディスク４５２、光磁気ディスク４５３、または半導体メモリ４５４に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インターフェース４０７、外部バス４０６、ブリッジ４０５、およびホストバス４０４を介して接続されているＲＡＭ４０３に供給する。これらのキーボード４０８乃至ドライブ４１２は、インターフェース４０７に接続されており、インターフェース４０７は、外部バス４０６、ブリッジ４０５、およびホストバス４０４を介してＣＰＵ４０１に接続されている。
【０１３９】
通信部４１３は、モデムまたはNIC（Network Interface Card）などから構成され、公衆電話回線、ネットワーク、または衛星通信回線などの伝送路が接続される。通信部４１３は、ＣＰＵ４０１、またはＨＤＤ４１１から供給されたデータを、所定の方式のパケットに格納して、伝送路を介して、送信するとともに、伝送路を介して、受信したパケットに格納されているデータをＣＰＵ４０１、ＲＡＭ４０３、またはＨＤＤ４１１に出力する。
【０１４０】
通信部４１３は、外部バス４０６、ブリッジ４０５、およびホストバス４０４を介してＣＰＵ４０１に接続されている。
【０１４１】
一連の処理を実行させるプログラムが格納されている記録媒体は、図２２に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク４５１（フロッピディスクを含む）、光ディスク４５２（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディスク４５３（ＭＤ(Mini-Disc)を含む）、若しくは半導体メモリ４５４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM４０２や、ＨＤＤ４１１などで構成される。
【０１４２】
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１４３】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１４４】
【発明の効果】
請求項１に記載の情報処理装置および請求項２に記載の情報処理方法によれば、複数の知覚要素に対応する信号を統一的に伝送することができるようになる。
【０１４５】
請求項３に記載の情報処理装置および請求項５に記載の情報処理方法によれば、知覚要素の提示機能に対応して、異なる知覚要素を最適な態様で提示できるようになる。
【０１４６】
請求項６に記載の提示システムによれば、複数の知覚要素に対応する信号を統一的に伝送し、知覚要素の提示機能に対応して、異なる知覚要素を最適な態様で提示できるようになる。
【図面の簡単な説明】
【図１】本発明に係る統合提示システムの一実施の形態の構成を示す図である。
【図２】映像信号、および揺動信号を説明する図である。
【図３】統合信号の例を示す図である。
【図４】統合信号復号部２３の構成を説明する図である。
【図５】動きベクトル抽出部５２の構成を示すブロック図である。
【図６】メモリ７４に記憶されているパターンを説明する図である。
【図７】統合信号の画像の例を示す図である。
【図８】揺動信号生成部５４の構成を示すブロック図である。
【図９】動きベクトルの成分ｕ、ｖ、ｖzoom、ｖrotの関係を説明する図である。
【図１０】提示装置３の構成の例を示す図である。
【図１１】映像提示部１１１を構成するスクリーン１３１と、揺動提示部１１２を構成する椅子１３２との関係の例を示す図である。
【図１２】揺動提示部１１２の構成例を示す図である。
【図１３】揺動提示部１１２の構成例を示す図である。
【図１４】提示装置３の構成の他の例を示す図である。
【図１５】統合信号提示装置２が出力する提示信号を説明する図である。
【図１６】統合信号提示装置２が出力する提示信号を説明する図である。
【図１７】統合信号提示装置２が出力する提示信号を説明する図である。
【図１８】統合信号の生成の処理を説明するフローチャートである。
【図１９】統合信号の復号の処理を説明するフローチャートである。
【図２０】本発明に係る統合提示システムの第２の実施の形態の構成を示す図である。
【図２１】本発明に係る統合提示システムの第３の実施の形態の構成を示す図である。
【図２２】パーソナルコンピュータの構成の例を説明する図である。
【符号の説明】
１ 統合信号生成装置， ２ 統合信号提示装置， ３ 提示装置， １１ 映像信号記録部， １２ 揺動信号記録部， １３ 統合信号符号化部， １４統合信号送信部， １５ 統合信号記録部， ２１ 統合信号受信部， ２２パラメータ指示部， ２３ 統合信号復号部， ５１ 処理決定部， ５２ 動きベクトル抽出部， ５３ 画像補正部， ５４ 揺動信号生成部， ５５ 映像信号選択部， １１１ 映像提示部， １１２ 揺動提示部， ２０１ 統合信号提示装置， ２１１ パラメータ入力部， ３０１ 統合信号生成装置，３０２ 統合信号提示装置， ３１１ パラメータ送信部， ３２１ パラメータ受信部， ４０１ ＣＰＵ， ４０２ ＲＯＭ， ４０３ ＲＡＭ， ４１１ ＨＤＤ， ４５１ 磁気ディスク， ４５２ 光ディスク， ４５３ 光磁気ディスク， ４５４ 半導体メモリ
Claims (6)
- 映像信号を取得する第１の取得手段と、
前記映像信号に対応する揺動信号を取得する第２の取得手段と、
前記映像信号の画像を、前記揺動信号に対応するように移動させた画像の信号を、統合信号として生成する統合信号生成手段と、
揺動刺激で揺動を感じさせるか、または、画像の揺れによって揺動を感じさせるかを選択する選択信号を生成する選択信号生成手段と、
生成された前記統合信号と前記選択信号を他の装置に出力する出力手段と
を備えることを特徴とする情報処理装置。 - 映像信号を取得する第１の取得ステップと、
前記映像信号に対応する揺動信号を取得する第２の取得ステップと、
前記映像信号の画像を、前記揺動信号に対応するように移動させた画像の信号を、統合信号として生成する統合信号生成ステップと、
揺動刺激で揺動を感じさせるか、または、画像の揺れによって揺動を感じさせるかを選択する選択信号を生成する選択信号生成ステップと、
生成された前記統合信号と前記選択信号を他の装置に出力する出力ステップと
を含むことを特徴とする情報処理方法。 - 映像信号の画像を、揺動信号に対応するように移動させた画像の信号である統合信号を取得する取得手段と、
前記統合信号から前記揺動信号を抽出するか否かを判定する判定手段と、
前記統合信号から前記揺動信号を抽出すると判定された場合、前記統合信号の画像から、動きベクトルを生成する動きベクトル抽出手段と、
生成された前記動きベクトルを基に、前記揺動信号を生成する揺動信号生成手段と、
前記統合信号から前記揺動信号を抽出すると判定された場合、前記統合信号の画像に対し画像の揺れを除去する補正をし、補正後画像の映像信号を生成する映像信号生成手段と、
前記統合信号から前記揺動信号を抽出すると判定された場合、生成された前記揺動信号と前記補正後画像の映像信号を出力し、前記統合信号から前記揺動信号を抽出しないと判定された場合、前記統合信号を出力する出力手段と
を備えることを特徴とする情報処理装置。 - 前記取得手段は、揺動刺激で揺動を感じさせるか、または、画像の揺れによって揺動を感じさせるかを選択する選択信号を、前記統合信号とともに、他の装置から取得し、
前記判定手段は、前記選択信号に基づいて、前記統合信号から前記揺動信号を抽出するか否かを判定する
ことを特徴とする請求項４に記載の情報処理装置。 - 映像信号の画像を、揺動信号に対応するように移動させた画像の信号である統合信号を取得する取得ステップと、
前記統合信号から前記揺動信号を抽出するか否かを判定する判定ステップと、
前記統合信号から前記揺動信号を抽出すると判定された場合、前記統合信号の画像から、動きベクトルを生成する動きベクトル抽出ステップと、
生成された前記動きベクトルを基に、前記揺動信号を生成する揺動信号生成ステップと、
前記統合信号から前記揺動信号を抽出すると判定された場合、前記統合信号の画像に対し画像の揺れを除去する補正をし、補正後画像の映像信号を生成する映像信号生成ステップと、
前記統合信号から前記揺動信号を抽出すると判定された場合、生成された前記揺動信号と前記補正後画像の映像信号を出力し、前記統合信号から前記揺動信号を抽出しないと判定された場合、前記統合信号を出力する出力ステップと
を含むことを特徴とする情報処理方法。 - 提供装置および情報処理装置から成る提示システムにおいて、
前記提供装置は、
映像信号を取得する第１の取得手段と、
前記映像信号に対応する揺動信号を取得する第２の取得手段と、
前記映像信号の画像を、前記揺動信号に対応するように移動させた画像の信号を、統合信号として生成する統合信号生成手段と
を備え、
前記情報処理装置は、
前記統合信号を取得する第３の取得手段と、
前記統合信号から前記揺動信号を抽出するか否かを判定する判定手段と、
前記統合信号から前記揺動信号を抽出すると判定された場合、前記統合信号の画像から、動きベクトルを生成する動きベクトル抽出手段と、
生成された前記動きベクトルを基に、前記揺動信号を生成する揺動信号生成手段と、
前記統合信号から前記揺動信号を抽出すると判定された場合、前記統合信号の画像に対し画像の揺れを除去する補正をし、補正後画像の映像信号を生成する映像信号生成手段と、
前記統合信号から前記揺動信号を抽出すると判定された場合、生成された前記揺動信号と前記補正後画像の映像信号を出力し、前記統合信号から前記揺動信号を抽出しないと判定された場合、前記統合信号を出力する出力手段と
を備えることを特徴とする提示システム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000220925A JP4599679B2 (ja) | 2000-07-21 | 2000-07-21 | 情報処理装置および方法、並びに提示システム |
| US09/908,908 US7050092B2 (en) | 2000-07-21 | 2001-07-19 | Signal processing apparatus, signal processing method, and presentation system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000220925A JP4599679B2 (ja) | 2000-07-21 | 2000-07-21 | 情報処理装置および方法、並びに提示システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002044653A JP2002044653A (ja) | 2002-02-08 |
| JP4599679B2 true JP4599679B2 (ja) | 2010-12-15 |
Family
ID=18715439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000220925A Expired - Fee Related JP4599679B2 (ja) | 2000-07-21 | 2000-07-21 | 情報処理装置および方法、並びに提示システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7050092B2 (ja) |
| JP (1) | JP4599679B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4196983B2 (ja) * | 2005-10-07 | 2008-12-17 | セイコーエプソン株式会社 | 冷却装置、プロジェクタ及び冷却方法 |
| BRPI0809627B1 (pt) * | 2007-03-26 | 2019-04-16 | Pelco, Inc. | Método, aparelho e meio legível por computador para aperfeiçoar uma imagem de vídeo por remoção dos efeitos da vibração da câmera. |
| US20160121348A1 (en) * | 2014-11-05 | 2016-05-05 | Kobo Incorporated | Providing a scent while a user interacts with an electronic media providing device |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000089894A (ja) * | 1998-09-09 | 2000-03-31 | Sony Corp | データ変換装置、データ変換方法及びデータ変換機能を有するプログラムを記録したコンピュータ読み取り可能な情報記録媒体 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2655732B2 (ja) * | 1989-10-31 | 1997-09-24 | 松下電器産業株式会社 | 画振れ防止装置 |
| DE69127850T2 (de) * | 1990-04-29 | 1998-03-12 | Canon Kk | Vorrichtung zum Erfassen von Bewegungen und Fokusdetektor, der eine solche Vorrichtung benutzt |
| US5990942A (en) * | 1991-05-01 | 1999-11-23 | Canon Kabushiki Kaisha | Photographing apparatus using image information for blurring correction |
| JPH053968A (ja) * | 1991-06-25 | 1993-01-14 | Pioneer Electron Corp | 映像表示、及びその表示に連動する運動装置 |
| JPH066667A (ja) * | 1992-06-22 | 1994-01-14 | Canon Inc | ぶれ検出装置及びぶれ補正装置 |
| JPH099138A (ja) * | 1995-06-23 | 1997-01-10 | Canon Inc | 振動対策機能を備えた高画質画像入力装置 |
| US5865624A (en) * | 1995-11-09 | 1999-02-02 | Hayashigawa; Larry | Reactive ride simulator apparatus and method |
| JP3918201B2 (ja) * | 1995-11-24 | 2007-05-23 | ソニー株式会社 | 送信装置および受信装置 |
| JP3648322B2 (ja) * | 1996-04-05 | 2005-05-18 | 株式会社エクシング | 情報供給システム、情報供給装置及び出力端末 |
| JPH09322057A (ja) * | 1996-05-28 | 1997-12-12 | Canon Inc | 撮像装置 |
| JP3776514B2 (ja) * | 1996-07-08 | 2006-05-17 | 株式会社日立製作所 | カメラ揺れ補正方法および画像監視システム |
| JPH10290405A (ja) * | 1997-04-15 | 1998-10-27 | Sony Corp | 体感振動装置付きテレビジョン受像機 |
| JPH11231879A (ja) * | 1998-02-12 | 1999-08-27 | Brother Ind Ltd | 映像カラオケ装置 |
| JPH11300053A (ja) * | 1998-04-22 | 1999-11-02 | Atr Chino Eizo Tsushin Kenkyusho:Kk | 姿勢情報入力蓄積再生装置 |
| JP2000188752A (ja) * | 1998-12-21 | 2000-07-04 | Nec Corp | 多重分離制御装置 |
| JP4672094B2 (ja) * | 1999-01-22 | 2011-04-20 | ソニー株式会社 | 画像処理装置および方法、並びに記録媒体 |
| US6809758B1 (en) * | 1999-12-29 | 2004-10-26 | Eastman Kodak Company | Automated stabilization method for digital image sequences |
-
2000
- 2000-07-21 JP JP2000220925A patent/JP4599679B2/ja not_active Expired - Fee Related
-
2001
- 2001-07-19 US US09/908,908 patent/US7050092B2/en not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000089894A (ja) * | 1998-09-09 | 2000-03-31 | Sony Corp | データ変換装置、データ変換方法及びデータ変換機能を有するプログラムを記録したコンピュータ読み取り可能な情報記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| US7050092B2 (en) | 2006-05-23 |
| JP2002044653A (ja) | 2002-02-08 |
| US20020089590A1 (en) | 2002-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5652037B2 (ja) | 模擬映像生成装置、方法、プログラム | |
| JP5026692B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US20040054512A1 (en) | Method for making simulator program and simulator system using the method | |
| JP3810943B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 | |
| CN107071518A (zh) | 自适应移动终端学习的视频播放方法和系统 | |
| JP2000214755A (ja) | 画像処理装置および方法、並びに提供媒体 | |
| JP4599679B2 (ja) | 情報処理装置および方法、並びに提示システム | |
| CN103218772A (zh) | 控制点设定方法以及控制点设定装置 | |
| JP2020102782A (ja) | コンテンツ配信システム、配信装置、受信装置及びプログラム | |
| US8216066B2 (en) | Game device, game device control method, program, and information storage medium | |
| JP4465828B2 (ja) | 情報処理装置および方法、並びに提示システム | |
| US20140176799A1 (en) | Content processing apparatus, content processing method, and storage medium | |
| WO2022009607A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| US9299180B2 (en) | Image creation method, image creation apparatus and recording medium | |
| JP2015060061A (ja) | カラオケ装置、画像出力方法、およびプログラム | |
| JP4427699B2 (ja) | 情報処理装置および方法、並びに揺動提示システム | |
| JP2000078430A (ja) | 仮想空間生成装置 | |
| JP3730505B2 (ja) | コミュニケーション画像生成装置、コミュニケーション画像生成方法及び記録媒体 | |
| JP2006319818A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP3706545B2 (ja) | 画像の生成方法及びそれに用いるプログラム | |
| JP4423523B2 (ja) | 情報処理装置および方法 | |
| JPH1115993A (ja) | 画像情報処理用の装置及び記憶媒体 | |
| JP3874111B2 (ja) | データ放送システム | |
| JP3887002B1 (ja) | ゲーム装置、ゲーム装置の制御方法及びプログラム | |
| JP2001183968A (ja) | 疑似体験装置及び疑似体験方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070226 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091102 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091110 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100706 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100816 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100831 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100913 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |