JP4529360B2 - 体感装置、モーション信号の生成方法およびプログラム - Google Patents
体感装置、モーション信号の生成方法およびプログラム Download PDFInfo
- Publication number
- JP4529360B2 JP4529360B2 JP2003052744A JP2003052744A JP4529360B2 JP 4529360 B2 JP4529360 B2 JP 4529360B2 JP 2003052744 A JP2003052744 A JP 2003052744A JP 2003052744 A JP2003052744 A JP 2003052744A JP 4529360 B2 JP4529360 B2 JP 4529360B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- video
- acceleration
- driving
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、映像に対応する動きを被験者に与えて擬似的な経験を体感させる体感装置および体感装置に供するモーション信号の生成方法に関する。
【０００２】
【従来の技術】
近年、バーチャルリアリティ技術が発達し、様々な映像を被験者に見せるとともに、映像に対応する動きを被験者に与えて擬似的な経験を体感させる体感装置が開発されている。
【０００３】
この種の体感装置としては、例えば、アミューズメント施設に設置されたものがある。この体感装置は、被験者を搭乗させる搭乗手段と、映像を被験者に見せるための映像表示手段（すなわち、スクリーンやディスプレイなど）と、音声を被験者に聞かせるための音声再生手段（すなわち、スピーカなど）と、映像に合わせて搭乗手段を上下左右前後に摺動させたり部分的に振動させるモーション駆動手段とを有し、被験者を搭乗手段に搭乗させて、臨場感のある映像を被験者に見せたり、音声を被験者に聞かせながら、モーション駆動手段を駆動させて搭乗手段を上下左右前後のいずれかに激しく動かしたり部分的に振動させることによって、被験者に擬似的な経験を体感させている。
【０００４】
ところで、モーション駆動手段は、予め作成されたモーション信号によって駆動されるが、モーション信号は、ソフトウェア開発者がモーション駆動手段の動きとこれに対する被験者の慣性の動きとを予め想定することによって作成されるのが一般的で、作成するのに非常に工数がかかるという問題があった。また、モーション信号は、予め制作された専用の映像に基づいて作成されており、一般的なＴＶ放送や映画、ゲームなどの映像に対応していない。そのため、体感装置は、一般的なＴＶ放送や映画、ゲームなどの映像に対応することができないので、汎用性が低いという問題があった。
【０００５】
このような問題を解決するために（すなわち、モーション信号を作成するための工数を削減するとともに、モーション信号の汎用性を高めるために）、映像から動きのある領域（以下、動き映像という）を検出する「動き映像検出手段」を設けた体感装置が考えられている（例えば、特許文献１参照）。
【０００６】
特許文献１の体感装置は、例えば、動き映像の動きの方向を判定し、判定した動きに合わせて搭乗手段を上下左右前後のいずれかに動かす。具体的には、動き映像が放射状に広がっていれば、動きの方向は「前進」であると判定し、搭乗手段を前に動かす。
【０００７】
このような特許文献１の体感装置は、予め作成されたモーション信号の代わりに、動き映像やその他（音声や被験者の動きなど）といった実際の測定値に基づいてモーション駆動手段を駆動させる。そのため、モーション信号を作成するためのソフトウェア開発工数を大幅に削減することが可能となる。また、特許文献１の体感装置は、予め作成されたモーション信号に依存しないので、汎用性を高めることが可能となる。
【０００８】
しかしながら、このような特許文献１の体感装置に対して、単に動き映像に基づいて搭乗物のモーション駆動を制御しても臨場感のある動きは得られないとして、別の手法によってモーション駆動手段を駆動する体感装置も考えられている（例えば、特許文献２参照）。
【０００９】
特許文献２の体感装置は、映像を「周辺部」，「中央部」，「下部」の３つの部分に分類し、「周辺部」→「中央部」→「下部」の優先順位でより動きが大きい部分に合わせてモーション駆動手段を駆動することにより、どのような映像が使用されても、（特許文献１の体感装置よりも）臨場感のある動きが得られるとしている。
【００１０】
【特許文献１】
特開平１１−１５３９４９号公報（段落１３〜段落１９、図１，図２）
【特許文献２】
特開２００１−１８３９６８号公報（段落１９〜段落５４、図１〜図４）
【００１１】
【発明が解決しようとする課題】
しかしながら、一般的なＴＶ放送や映画などの映像は、モーション駆動手段を駆動させることを前提にして制作されていないため、カメラアングルが多様になっている。そのため、以上に述べた従来の技術は、いずれも、臨場感の乏しい動きしか得られないという課題があった。
【００１２】
また、従来の技術は、映画などで鑑賞時間が長時間に及ぶ場合に、本編の最初から最後まで連続してモーション駆動手段を駆動させると被験者が疲労しやすいという課題があった。
【００１３】
【課題を解決するための手段】
前述の課題を解決するために、この発明に係る体感装置は、映像に対応する動きを被験者に与えて擬似的な経験を体感させる体感装置において、被験者を搭乗させる搭乗手段と、映像を被験者に見せるための映像表示手段と、映像に合わせて搭乗手段を駆動させるモーション駆動手段と、映像蓄積手段と、映像加速度検出手段と、音声検出手段と、シーンデータベースと、シーン種別判定手段と、モーション駆動制御手段とを有することを特徴とする。映像蓄積手段は、所定のフレーム数以上の映像を蓄積する。映像加速度検出手段は、映像蓄積手段に蓄積された映像から、映像の加速度を検出する。音声検出手段は、映像に対応する音声を検出する。シーンデータベースは、映像のシーン種別を判定するための基準となるデータを保持する。シーン種別判定手段は、シーンデータベースに保持されたデータを参照して、映像の加速度と、音声に一致するシーン種別を判定する。モーション駆動制御手段は、映像を複数に分割し、それぞれ隣り合った領域の映像の加速度のベクトルが同じである領域の面積を算出し、各面積を比較して、面積の最も大きい領域を特定し、面積の最も大きい領域中で画素が移動する加速度または画素の輝度が変化する加速度を検出し、当該加速度とシーン種別とに対応した、モーション駆動手段を駆動するためのモーション信号を生成する。
【００１４】
これにより、この発明に係る体感装置は、モーション駆動手段を駆動させることを前提にして制作されていない一般的なＴＶ放送や映画などの映像（特に、カメラアングルが多様になっている映像）であっても、映像のシーンに応じて、臨場感のある動きを被験者に与えることができる。
【００１６】
また、この発明に係る体感装置は、映像の動きに合わせてそのまま被験者に動きを与えるのではなく、被験者に動きを与えるのが効果的であると判定される場合にのみ、被験者に動きを与える。そのため、不必要なシーンで摺動／振動することがないので、被験者を疲労しにくくすることができる。
【００１７】
【発明の実施の形態】
以下に、図を参照してこの発明の実施の形態を説明する。なお、各図は、この発明を理解できる程度に概略的に示してあるに過ぎない。また、各図において、共通する要素については、同一の符号を付し、説明を省略する。
【００１８】
＜第１の実施の形態＞
この実施の形態に係る体感装置は、モーション駆動手段を駆動させることを前提にして制作されていない一般的なＴＶ放送や映画などの映像（特に、カメラアングルが多様になっている映像）であっても、映像のシーンに応じて、臨場感のある動きを被験者に与えることを目的とする。
【００１９】
また、この実施の形態に係る体感装置は、映像の動きに合わせてそのまま被験者に動きを与えるのではなく、被験者に動きを与えるのが効果的であると判定される場合にのみ、被験者に動きを与えることを目的とする。
【００２０】
（体感装置の構成）
以下に、図１を用いて、体感装置の構成を説明する。
【００２１】
図１に示されるように、体感装置１は、制御ユニット１００と、映像表示制御手段１５１と、映像表示手段１５３と、音声再生制御手段１６１と、音声再生手段１６３と、搭乗手段１７１と、モーション駆動手段１７３とを有する。被験者２００は、搭乗手段１７１に搭乗して、様々な映像を見ながら、映像に対応する動きが与えられることによって擬似的な経験を体感することになる。
【００２２】
制御ユニット１００は、映像供給手段１０１と、映像蓄積手段１０３と、映像加速度検出手段１０５と、音声検出手段１０７と、シーンデータベース１０９と、シーン種別判定手段１１１と、モーション駆動制御手段１１３とを備える。
【００２３】
映像供給手段１０１は、例えばＴＶチューナーや各種の記録媒体読取装置などであり、ＴＶ放送や各種の映像記録媒体（例えば、ビデオテープや、デジタルバーサタイルディスク（ＤＶＤ）など）から映像信号と音声信号を取得して、後続の手段（ここでは、映像蓄積手段１０３と音声検出手段１０７など）に供給する部位である。なお、映像供給手段１０１は、体感装置１の外部に配置することも可能である。映像蓄積手段１０３は、映像供給手段１０１から供給された映像信号を所定のフレーム数（少なくとも３フレーム）以上ずつ蓄積する部位である。映像加速度検出手段１０５は、映像蓄積手段１０３で蓄積された映像から、映像の加速度を検出する部位である。なお、映像の加速度については、後述の「体感装置の動作」の項におけるＳ１０３で詳述する。音声検出手段１０７は、映像供給手段１０１から供給された音声信号を検出する部位である。シーンデータベース１０９は、映像のシーン種別（すなわち、映像がどんな種類のシーンであるか）を判定するための基準となるテーブルデータ（以下、シーン判定用のテーブルデータという）やモーション信号を生成するための基準となるテーブルデータ（以下、モーション信号生成用のテーブルデータという）を保持する部位である。シーン種別判定手段１１１は、映像供給手段１０１から供給された映像をシーンデータベース１０９に保持されたシーン判定用のテーブルデータと比較して、映像のシーン種別を判定する（すなわち、映像がどんなシーンであるかを判定する）部位である。モーション駆動制御手段１１３は、映像加速度検出手段１０５からの信号とシーン種別判定手段１１１からの信号に基づいて、モーション駆動手段１７３を駆動させるためのモーション信号を生成する部位である。
【００２４】
映像表示制御手段１５１は、映像を、スクリーンやディスプレイなどの映像表示手段１５３に表示させるための制御装置（例えば、プロジェクタや電子ビーム照射装置など）である。
【００２５】
音声再生制御手段１６１は、音声信号を、スピーカなどの音声再生手段１６３に送るための制御装置（例えば、アンプやサラウンド装置など）である。
【００２６】
搭乗手段１７１は、被験者２００を座らせる椅子である。
【００２７】
モーション駆動手段１７３は、被験者２００に、激しい動きや部分的な振動を与えるための駆動機構である。モーション駆動手段１７３は、搭乗手段１７１を上下左右前後に摺動させたり、搭乗手段１７１を三次元空間における任意の方向に回転させたり、搭乗手段１７１を部分的に振動させるように、複数の駆動部からなる。なお、モーション駆動手段１７３は、これら摺動、回転、振動などの動作を、任意の組み合わせで同時に行うこともできる。
【００２８】
（体感装置の動作）
以下に、体感装置１の動作を説明する。まず、図２〜図４を用いて、この発明に係る制御ユニット１００の動作を説明し、次に、図５〜図８を用いて、モーション駆動制御手段１１３の詳細な動作を説明する。なお、図２は制御ユニットの動作を示すフローチャートで、図３は各領域の動きベクトルの一例を示す図で、図４はシーン判定用のテーブルデータの一例を示す図である。図５はモーション駆動制御手段の詳細な動作を示すフローチャートで、図６は映像の領域分割と加速度ベクトルの一例を示す図で、図７はモーション信号生成用のテーブルデータの一例を示す図で、図８はモーション駆動手段の制御用テーブルデータの一例を示す図である。
【００２９】
（制御ユニットの動作）
図２に示されるように、ステップ（以下、Ｓという）１０１で、制御ユニット１００の映像蓄積手段１０３は、映像供給手段１０１から映像信号を取り込み、映像信号を所定のフレーム数（少なくとも３フレーム）以上ずつ蓄積する。なお、ここで、蓄積するフレーム数を少なくとも３フレーム以上ずつとするのは、Ｓ１０３において、映像加速度検出手段１０５が映像の加速度を検出できるようにするためである。
【００３０】
次に、Ｓ１０３で、制御ユニット１００の映像加速度検出手段１０５は、映像蓄積手段１０３に蓄積された映像から、映像の加速度を検出する。これは、例えば、図３に示されるように、映像を複数の領域に分割し、各々の領域で画素ごとの輝度の移動ベクトル（すなわち、輝度の移動量と方向）を検出し、これを領域内で平均化して各領域の動きベクトルとして抽出する。これを所定のフレーム数以上（少なくとも３フレーム以上）にわたって行い、各領域の動きベクトルの変化量から映像の加速度を検出する。なお、図３は、映像を複数の領域に分割し、その中の２つの領域３０１，３０３を例にして示したものである。２つの領域３０１，３０３中、細い矢印は画素ごとの輝度の移動ベクトルを示し、太い白抜きの矢印は各領域の動きベクトルを示している。なお、太い白抜きの矢印の始点は細い矢印（すなわち、画素ごとの輝度の移動ベクトル）全体の重心点となる。
【００３１】
次に、Ｓ１０５で、制御ユニット１００の音声検出手段１０７は、映像供給手段１０１から音声信号を取り込み、音声再生手段１６３で再生すべき音声を検出する。
【００３２】
次に、Ｓ１０７で、制御ユニット１００のシーン種別判定手段１１１は、Ｓ１０３とＳ１０５の検出結果から、映像のシーン種別（すなわち、映像がどんな種類のシーンであるか）を判定する。これは、以下のようにして行われる。すなわち、予め、シーンデータベース１０９には、前述のシーン判定用のテーブルデータが保持されている。シーン判定用のテーブルデータは、例えば、図４に示されるように、映像における「フレームの方向・角度の変化」のパラメータと、映像における「人物・物体の動きの変化」のパラメータと、音声における「大きさ」のパラメータと、音声における「テンポ」のパラメータと、シーン種別を特定するコード（以下、シーン種別コードという）とをリンク付けている。シーン種別判定手段１１１は、映像加速度検出手段１０５によって検出された映像の加速度に関する情報（以下、映像加速度情報という）と音声検出手段１０７によって検出された音声に関する情報（以下、音声情報という）とから、シーンデータベース１０９に保持されたシーン判定用のテーブルデータを参照して、映像加速度情報と音声情報に一致するシーン種別を特定する。このようにして映像のシーンを判定する。
【００３３】
例えば、シーンが車状の乗り物からの視点である場合、映像は、放射状に広がり、かつ連続して左右に繰り返し加速する。また、このとき、音声は、一定レベル以上で、騒音状のエンジン音が続く。シーン種別判定手段１１１は、このような条件に該当するシーン種別コードを特定することによって、シーンを車状の乗り物からの視点であると判定する。
【００３４】
また、シーンがジェットコースター状の乗り物からの視点である場合、映像は、放射状に広がり、かつ連続して左右に繰り返し加速するのに加えて、上下にも加速する。また、このとき、音声は、一定レベル以上で、騒音状のエンジン音が続く。シーン種別判定手段１１１は、このような条件に該当するシーン種別コードを特定することによって、シーンをジェットコースター状の乗り物からの視点であると判定する。
【００３５】
さらに、シーンが第三者からの視点である場合、映像は、画面全体の動きが少ない。シーン種別判定手段１１１は、このような条件に該当するシーン種別コードを特定することによって、シーンを、被験者２００からの視点ではなく、第三者からの視点であると判定する。
【００３６】
シーン種別判定手段１１１は、このようにしてシーンを判定する。
【００３７】
次に、Ｓ１０９で、制御ユニット１００のモーション駆動制御手段１１３は、Ｓ１０７の判定結果に基づいてモーション信号を生成する。
【００３８】
次に、Ｓ１１１で、モーション駆動制御手段１１３は、モーション信号をモーション駆動手段１７３に出力して、モーション駆動手段１７３を駆動する。
【００３９】
なお、Ｓ１０９とＳ１１１におけるモーション駆動制御手段１１３の動作については、後述の「モーション駆動制御手段の動作」の項で詳述する。
【００４０】
（モーション駆動制御手段の動作）
以下に、モーション駆動制御手段１１３の動作について説明する。なお、以下の図５におけるＳ１５１〜Ｓ１６３の動作は図２におけるＳ１０９の動作に相当し、Ｓ１６５の動作は図２におけるＳ１１１の動作に相当する。
【００４１】
図２のＳ１０９において、制御ユニット１００のモーション駆動制御手段１１３は、シーン種別判定手段１１１からＳ１０７の判定結果を受け取り、Ｓ１０７の判定結果に基づいてモーション信号を生成する。
【００４２】
このとき、モーション駆動制御手段１１３は、図５のＳ１５１に示されるように、シーン種別判定手段１１１から受け取ったＳ１０７の判定結果に基づいて、当事者（被験者２００）の視点であるか否かを判定する。ここで、モーション駆動制御手段１１３が当事者（被験者２００）の視点であると判定したら、動作はＳ１５３に移行する。また、モーション駆動制御手段１１３が当事者（被験者２００）の視点でないと判定したら、動作はＳ１６３に移行する。
【００４３】
Ｓ１５３において、モーション駆動制御手段１１３は、映像がモーション駆動に効果的なシーンか否かを判定する。ここで、モーション駆動制御手段１１３が、映像がモーション駆動に効果的なシーンであると判定した場合は、動作はＳ１５５に移行し、映像がモーション駆動に効果的でないシーンであると判定した場合は、動作はＳ１６３に移行する。
【００４４】
Ｓ１５５において、モーション駆動制御手段１１３は、映像加速度面積を算出する。映像加速度面積とは、映像を複数に分割し、それぞれ隣り合った領域の加速度ベクトルが同じである領域の面積である。映像加速度面積は、例えば、図６に示されるように、映像が４つの方向に放射状に広がっている場合、４種類のハッチングで示す領域４０１，４０３，４０５，４０７のそれぞれの面積である。
【００４５】
Ｓ１５７において、モーション駆動制御手段１１３は、各映像加速度面積（例えば、図６に示される例においては、４つの映像加速度面積）を比較する。
【００４６】
Ｓ１５９において、モーション駆動制御手段１１３は、以下のようにしてモーション信号を生成する。すなわち、モーション駆動制御手段１１３は、映像加速度面積の最も大きい領域（図６の例では領域４０１）を特定し、映像加速度面積の最も大きい領域中で画素が移動する加速度または画素の輝度が変化する加速度を検出する。そして、モーション駆動制御手段１１３は、例えば、図７に示されるような、シーンデータベース１０９に保持されたモーション信号生成用のテーブルデータを参照して、図２のＳ１０７の判定結果であるシーン種別と、映像加速度面積の最も大きい領域中で画素が移動する加速度または画素の輝度が変化する加速度とに対応するモーション信号を特定する。なお、図７に示されたモーション信号生成用のテーブルデータは、「シーン種別コード」と、所定の閾値で「大」、「中、「小」の３つの区分に分けた「加速度（ここでは、領域中で画素が移動する加速度または画素の輝度が変化する加速度）」のパラメータと、「モーション信号」とをリンク付けている。モーション駆動制御手段１１３は、このようなモーション信号生成用のテーブルデータを参照してモーション信号を特定し、該当するモーション信号を生成する。
【００４７】
モーション信号は、例えば、図８に示されるモーション駆動手段１７３の制御用テーブルデータによって、モーション駆動手段１７３の各駆動部（図８に示される例では駆動部１〜６）の駆動量とリンク付けられる。なお、図８に示される例では、駆動量が１〜４の４段階で示されている。ここでは、「１」が「強」、「２」が「やや強」、「３」が「やや弱」、「４」が「弱」を示すものとする。
【００４８】
Ｓ１６１において、モーション駆動制御手段１１３は、Ｓ１５９で生成したモーション信号がモーション駆動手段１７３の駆動限界内か否かを判定する。ここで、モーション駆動制御手段１１３が、Ｓ１５９で生成したモーション信号がモーション駆動手段１７３の駆動限界内であると判定した場合は、動作はＳ１６５に移行し、Ｓ１５９で生成したモーション信号がモーション駆動手段１７３の駆動限界に達すると判定した場合は、動作はＳ１６３に移行する。
【００４９】
Ｓ１６３において、モーション駆動制御手段１１３は、モーション駆動手段１７３の駆動限界となる量に相当するモーション信号を生成する。
【００５０】
Ｓ１６５において、モーション駆動制御手段１１３は、Ｓ１５９またはＳ１６３で生成したモーション信号をモーション駆動手段１７３に出力する。
【００５１】
以上説明したこの実施の形態に係る体感装置は、モーション駆動手段を駆動させることを前提にして制作されていない一般的なＴＶ放送や映画などの映像（特に、カメラアングルが多様になっている映像）であっても、映像のシーンに応じて、臨場感のある動きを被験者に与えることができる。
【００５２】
また、この実施の形態に係る体感装置は、映像の動きに合わせてそのまま被験者に動きを与えるのではなく、被験者に動きを与えるのが効果的であると判定される場合にのみ、被験者に動きを与える。そのため、不必要なシーンで摺動／振動することがないので、被験者を疲労しにくくすることができる。
【００５３】
＜第２の実施の形態＞
第１の実施の形態は、モーション駆動制御手段１１３が、映像がモーション駆動に効果的なシーンか否かを判定している（図５のＳ１５３参照）。これに対して、この実施の形態は、モーション駆動手段１７３の駆動の有無をモーション駆動手段の制御用テーブルデータに予めリンク付けさせ、このモーション駆動手段の制御用テーブルデータを用いてモーション駆動手段１７３を制御するようにしたものである。
【００５４】
以下、図９を用いて、第２の実施の形態を説明する。なお、図９はモーション駆動手段の制御用テーブルデータの一例を示す図である。
【００５５】
図２のＳ１０９において、制御ユニット１００のモーション駆動制御手段１１３は、シーン種別判定手段１１１からＳ１０７の判定結果であるシーン種別コードを受け取る。
【００５６】
シーン種別コードは、例えば、図９に示されるモーション駆動手段１７３の制御用テーブルデータによって、モーション駆動手段１７３の駆動の有無や、モーション駆動手段１７３の各駆動部（図９に示される例では駆動部１〜６）の駆動量とリンク付けられる。なお、図９に示される例では、モーション駆動手段１７３の駆動の有無がＯＮ／ＯＦＦで示されている。ここでは、「ＯＮ」が「駆動有り」を示し、「ＯＦＦ」が「駆動無し」を示すものとする。また、図９に示される例では、駆動量が１〜４の４段階で示されている。ここでは、「１」が「強」、「２」が「やや強」、「３」が「やや弱」、「４」が「弱」、「−」は「駆動せず」を示すものとする。
【００５７】
モーション駆動制御手段１１３は、シーン種別判定手段１１１から受け取ったシーン種別コードと図９に示されるテーブルデータとを参照して、各駆動部（図９に示される例では駆動部１〜６）の駆動量を特定し、特定した駆動量に基づいてモーション駆動手段１７３を制御する。
【００５８】
以上説明したこの実施の形態に係る体感装置１は、モーション駆動制御手段１１３がモーション駆動に効果的なシーンか否かを判定する必要がないので、映像供給手段１０１が映像を供給してからモーション駆動手段１７３が駆動されるまでの時間を短縮することができる。
【００５９】
＜付記＞
この発明は上記の実施の形態に限定されることなく、この発明の要旨を逸脱しない範囲で種々の応用及び変形が考えられる。
【００６０】
例えば、各種の信号やテーブルデータの形態は、任意に変更することが可能である。
【００６１】
また、第１の実施の形態におけるＳ１０３とＳ１０７を逆にすることも可能である。
【００６２】
また、第１と第２の実施の形態では、映像加速度検出手段１０５は、画素の輝度の移動量から映像の加速度を検出するものとしたが、映像の元データがＭＰＥＧなどの方式で圧縮されている場合、動きベクトルデータが映像データ中に予め埋め込まれているため、映像データに埋め込まれた動きベクトルを利用するようにしてもよい。この場合、動きベクトルを算出する必要がないので、モーション駆動制御を短時間で行うことができる。
【００６３】
【発明の効果】
以上説明したこの発明には、次の効果がある。
【００６４】
すなわち、この発明に係る体感装置は、モーション駆動手段を駆動させることを前提にして制作されていない一般的なＴＶ放送や映画などの映像（特に、カメラアングルが多様になっている映像）であっても、映像のシーンに応じて、臨場感のある動きを被験者に与えることができる。
【００６５】
また、他の発明に係る体感装置は、映像の動きに合わせてそのまま被験者に動きを与えるのではなく、被験者に動きを与えるのが効果的であると判定される場合にのみ、被験者に動きを与える。そのため、不必要なシーンで摺動／振動することがないので、被験者を疲労しにくくすることができる。
【図面の簡単な説明】
【図１】体感装置の構成を示す図である。
【図２】制御ユニットの動作を示すフローチャートである。
【図３】各領域の動きベクトルの一例を示す図である。
【図４】シーン判定用のテーブルデータの一例を示す図である。
【図５】モーション駆動制御手段の詳細な動作を示すフローチャートである。
【図６】映像の領域分割と加速度ベクトルの一例を示す図で
【図７】モーション信号生成用のテーブルデータの一例を示す図である。
【図８】モーション駆動手段の制御用テーブルデータの一例を示す図である。
【図９】モーション駆動手段の制御用テーブルデータの一例を示す図である。
【符号の説明】
１ 体感装置
１００ 制御ユニット
１０１ 映像供給手段
１０３ 映像蓄積手段
１０５ 映像加速度検出手段
１０７ 音声検出手段
１０９ シーンデータベース
１１１ シーン種別判定手段
１１３ モーション駆動制御手段
１５１ 映像表示制御手段
１５３ 映像表示手段
１６１ 音声再生制御手段
１６３ 音声再生手段
１７１ 搭乗手段
１７３ モーション駆動手段
２００ 被験者
【発明の属する技術分野】
この発明は、映像に対応する動きを被験者に与えて擬似的な経験を体感させる体感装置および体感装置に供するモーション信号の生成方法に関する。
【０００２】
【従来の技術】
近年、バーチャルリアリティ技術が発達し、様々な映像を被験者に見せるとともに、映像に対応する動きを被験者に与えて擬似的な経験を体感させる体感装置が開発されている。
【０００３】
この種の体感装置としては、例えば、アミューズメント施設に設置されたものがある。この体感装置は、被験者を搭乗させる搭乗手段と、映像を被験者に見せるための映像表示手段（すなわち、スクリーンやディスプレイなど）と、音声を被験者に聞かせるための音声再生手段（すなわち、スピーカなど）と、映像に合わせて搭乗手段を上下左右前後に摺動させたり部分的に振動させるモーション駆動手段とを有し、被験者を搭乗手段に搭乗させて、臨場感のある映像を被験者に見せたり、音声を被験者に聞かせながら、モーション駆動手段を駆動させて搭乗手段を上下左右前後のいずれかに激しく動かしたり部分的に振動させることによって、被験者に擬似的な経験を体感させている。
【０００４】
ところで、モーション駆動手段は、予め作成されたモーション信号によって駆動されるが、モーション信号は、ソフトウェア開発者がモーション駆動手段の動きとこれに対する被験者の慣性の動きとを予め想定することによって作成されるのが一般的で、作成するのに非常に工数がかかるという問題があった。また、モーション信号は、予め制作された専用の映像に基づいて作成されており、一般的なＴＶ放送や映画、ゲームなどの映像に対応していない。そのため、体感装置は、一般的なＴＶ放送や映画、ゲームなどの映像に対応することができないので、汎用性が低いという問題があった。
【０００５】
このような問題を解決するために（すなわち、モーション信号を作成するための工数を削減するとともに、モーション信号の汎用性を高めるために）、映像から動きのある領域（以下、動き映像という）を検出する「動き映像検出手段」を設けた体感装置が考えられている（例えば、特許文献１参照）。
【０００６】
特許文献１の体感装置は、例えば、動き映像の動きの方向を判定し、判定した動きに合わせて搭乗手段を上下左右前後のいずれかに動かす。具体的には、動き映像が放射状に広がっていれば、動きの方向は「前進」であると判定し、搭乗手段を前に動かす。
【０００７】
このような特許文献１の体感装置は、予め作成されたモーション信号の代わりに、動き映像やその他（音声や被験者の動きなど）といった実際の測定値に基づいてモーション駆動手段を駆動させる。そのため、モーション信号を作成するためのソフトウェア開発工数を大幅に削減することが可能となる。また、特許文献１の体感装置は、予め作成されたモーション信号に依存しないので、汎用性を高めることが可能となる。
【０００８】
しかしながら、このような特許文献１の体感装置に対して、単に動き映像に基づいて搭乗物のモーション駆動を制御しても臨場感のある動きは得られないとして、別の手法によってモーション駆動手段を駆動する体感装置も考えられている（例えば、特許文献２参照）。
【０００９】
特許文献２の体感装置は、映像を「周辺部」，「中央部」，「下部」の３つの部分に分類し、「周辺部」→「中央部」→「下部」の優先順位でより動きが大きい部分に合わせてモーション駆動手段を駆動することにより、どのような映像が使用されても、（特許文献１の体感装置よりも）臨場感のある動きが得られるとしている。
【００１０】
【特許文献１】
特開平１１−１５３９４９号公報（段落１３〜段落１９、図１，図２）
【特許文献２】
特開２００１−１８３９６８号公報（段落１９〜段落５４、図１〜図４）
【００１１】
【発明が解決しようとする課題】
しかしながら、一般的なＴＶ放送や映画などの映像は、モーション駆動手段を駆動させることを前提にして制作されていないため、カメラアングルが多様になっている。そのため、以上に述べた従来の技術は、いずれも、臨場感の乏しい動きしか得られないという課題があった。
【００１２】
また、従来の技術は、映画などで鑑賞時間が長時間に及ぶ場合に、本編の最初から最後まで連続してモーション駆動手段を駆動させると被験者が疲労しやすいという課題があった。
【００１３】
【課題を解決するための手段】
前述の課題を解決するために、この発明に係る体感装置は、映像に対応する動きを被験者に与えて擬似的な経験を体感させる体感装置において、被験者を搭乗させる搭乗手段と、映像を被験者に見せるための映像表示手段と、映像に合わせて搭乗手段を駆動させるモーション駆動手段と、映像蓄積手段と、映像加速度検出手段と、音声検出手段と、シーンデータベースと、シーン種別判定手段と、モーション駆動制御手段とを有することを特徴とする。映像蓄積手段は、所定のフレーム数以上の映像を蓄積する。映像加速度検出手段は、映像蓄積手段に蓄積された映像から、映像の加速度を検出する。音声検出手段は、映像に対応する音声を検出する。シーンデータベースは、映像のシーン種別を判定するための基準となるデータを保持する。シーン種別判定手段は、シーンデータベースに保持されたデータを参照して、映像の加速度と、音声に一致するシーン種別を判定する。モーション駆動制御手段は、映像を複数に分割し、それぞれ隣り合った領域の映像の加速度のベクトルが同じである領域の面積を算出し、各面積を比較して、面積の最も大きい領域を特定し、面積の最も大きい領域中で画素が移動する加速度または画素の輝度が変化する加速度を検出し、当該加速度とシーン種別とに対応した、モーション駆動手段を駆動するためのモーション信号を生成する。
【００１４】
これにより、この発明に係る体感装置は、モーション駆動手段を駆動させることを前提にして制作されていない一般的なＴＶ放送や映画などの映像（特に、カメラアングルが多様になっている映像）であっても、映像のシーンに応じて、臨場感のある動きを被験者に与えることができる。
【００１６】
また、この発明に係る体感装置は、映像の動きに合わせてそのまま被験者に動きを与えるのではなく、被験者に動きを与えるのが効果的であると判定される場合にのみ、被験者に動きを与える。そのため、不必要なシーンで摺動／振動することがないので、被験者を疲労しにくくすることができる。
【００１７】
【発明の実施の形態】
以下に、図を参照してこの発明の実施の形態を説明する。なお、各図は、この発明を理解できる程度に概略的に示してあるに過ぎない。また、各図において、共通する要素については、同一の符号を付し、説明を省略する。
【００１８】
＜第１の実施の形態＞
この実施の形態に係る体感装置は、モーション駆動手段を駆動させることを前提にして制作されていない一般的なＴＶ放送や映画などの映像（特に、カメラアングルが多様になっている映像）であっても、映像のシーンに応じて、臨場感のある動きを被験者に与えることを目的とする。
【００１９】
また、この実施の形態に係る体感装置は、映像の動きに合わせてそのまま被験者に動きを与えるのではなく、被験者に動きを与えるのが効果的であると判定される場合にのみ、被験者に動きを与えることを目的とする。
【００２０】
（体感装置の構成）
以下に、図１を用いて、体感装置の構成を説明する。
【００２１】
図１に示されるように、体感装置１は、制御ユニット１００と、映像表示制御手段１５１と、映像表示手段１５３と、音声再生制御手段１６１と、音声再生手段１６３と、搭乗手段１７１と、モーション駆動手段１７３とを有する。被験者２００は、搭乗手段１７１に搭乗して、様々な映像を見ながら、映像に対応する動きが与えられることによって擬似的な経験を体感することになる。
【００２２】
制御ユニット１００は、映像供給手段１０１と、映像蓄積手段１０３と、映像加速度検出手段１０５と、音声検出手段１０７と、シーンデータベース１０９と、シーン種別判定手段１１１と、モーション駆動制御手段１１３とを備える。
【００２３】
映像供給手段１０１は、例えばＴＶチューナーや各種の記録媒体読取装置などであり、ＴＶ放送や各種の映像記録媒体（例えば、ビデオテープや、デジタルバーサタイルディスク（ＤＶＤ）など）から映像信号と音声信号を取得して、後続の手段（ここでは、映像蓄積手段１０３と音声検出手段１０７など）に供給する部位である。なお、映像供給手段１０１は、体感装置１の外部に配置することも可能である。映像蓄積手段１０３は、映像供給手段１０１から供給された映像信号を所定のフレーム数（少なくとも３フレーム）以上ずつ蓄積する部位である。映像加速度検出手段１０５は、映像蓄積手段１０３で蓄積された映像から、映像の加速度を検出する部位である。なお、映像の加速度については、後述の「体感装置の動作」の項におけるＳ１０３で詳述する。音声検出手段１０７は、映像供給手段１０１から供給された音声信号を検出する部位である。シーンデータベース１０９は、映像のシーン種別（すなわち、映像がどんな種類のシーンであるか）を判定するための基準となるテーブルデータ（以下、シーン判定用のテーブルデータという）やモーション信号を生成するための基準となるテーブルデータ（以下、モーション信号生成用のテーブルデータという）を保持する部位である。シーン種別判定手段１１１は、映像供給手段１０１から供給された映像をシーンデータベース１０９に保持されたシーン判定用のテーブルデータと比較して、映像のシーン種別を判定する（すなわち、映像がどんなシーンであるかを判定する）部位である。モーション駆動制御手段１１３は、映像加速度検出手段１０５からの信号とシーン種別判定手段１１１からの信号に基づいて、モーション駆動手段１７３を駆動させるためのモーション信号を生成する部位である。
【００２４】
映像表示制御手段１５１は、映像を、スクリーンやディスプレイなどの映像表示手段１５３に表示させるための制御装置（例えば、プロジェクタや電子ビーム照射装置など）である。
【００２５】
音声再生制御手段１６１は、音声信号を、スピーカなどの音声再生手段１６３に送るための制御装置（例えば、アンプやサラウンド装置など）である。
【００２６】
搭乗手段１７１は、被験者２００を座らせる椅子である。
【００２７】
モーション駆動手段１７３は、被験者２００に、激しい動きや部分的な振動を与えるための駆動機構である。モーション駆動手段１７３は、搭乗手段１７１を上下左右前後に摺動させたり、搭乗手段１７１を三次元空間における任意の方向に回転させたり、搭乗手段１７１を部分的に振動させるように、複数の駆動部からなる。なお、モーション駆動手段１７３は、これら摺動、回転、振動などの動作を、任意の組み合わせで同時に行うこともできる。
【００２８】
（体感装置の動作）
以下に、体感装置１の動作を説明する。まず、図２〜図４を用いて、この発明に係る制御ユニット１００の動作を説明し、次に、図５〜図８を用いて、モーション駆動制御手段１１３の詳細な動作を説明する。なお、図２は制御ユニットの動作を示すフローチャートで、図３は各領域の動きベクトルの一例を示す図で、図４はシーン判定用のテーブルデータの一例を示す図である。図５はモーション駆動制御手段の詳細な動作を示すフローチャートで、図６は映像の領域分割と加速度ベクトルの一例を示す図で、図７はモーション信号生成用のテーブルデータの一例を示す図で、図８はモーション駆動手段の制御用テーブルデータの一例を示す図である。
【００２９】
（制御ユニットの動作）
図２に示されるように、ステップ（以下、Ｓという）１０１で、制御ユニット１００の映像蓄積手段１０３は、映像供給手段１０１から映像信号を取り込み、映像信号を所定のフレーム数（少なくとも３フレーム）以上ずつ蓄積する。なお、ここで、蓄積するフレーム数を少なくとも３フレーム以上ずつとするのは、Ｓ１０３において、映像加速度検出手段１０５が映像の加速度を検出できるようにするためである。
【００３０】
次に、Ｓ１０３で、制御ユニット１００の映像加速度検出手段１０５は、映像蓄積手段１０３に蓄積された映像から、映像の加速度を検出する。これは、例えば、図３に示されるように、映像を複数の領域に分割し、各々の領域で画素ごとの輝度の移動ベクトル（すなわち、輝度の移動量と方向）を検出し、これを領域内で平均化して各領域の動きベクトルとして抽出する。これを所定のフレーム数以上（少なくとも３フレーム以上）にわたって行い、各領域の動きベクトルの変化量から映像の加速度を検出する。なお、図３は、映像を複数の領域に分割し、その中の２つの領域３０１，３０３を例にして示したものである。２つの領域３０１，３０３中、細い矢印は画素ごとの輝度の移動ベクトルを示し、太い白抜きの矢印は各領域の動きベクトルを示している。なお、太い白抜きの矢印の始点は細い矢印（すなわち、画素ごとの輝度の移動ベクトル）全体の重心点となる。
【００３１】
次に、Ｓ１０５で、制御ユニット１００の音声検出手段１０７は、映像供給手段１０１から音声信号を取り込み、音声再生手段１６３で再生すべき音声を検出する。
【００３２】
次に、Ｓ１０７で、制御ユニット１００のシーン種別判定手段１１１は、Ｓ１０３とＳ１０５の検出結果から、映像のシーン種別（すなわち、映像がどんな種類のシーンであるか）を判定する。これは、以下のようにして行われる。すなわち、予め、シーンデータベース１０９には、前述のシーン判定用のテーブルデータが保持されている。シーン判定用のテーブルデータは、例えば、図４に示されるように、映像における「フレームの方向・角度の変化」のパラメータと、映像における「人物・物体の動きの変化」のパラメータと、音声における「大きさ」のパラメータと、音声における「テンポ」のパラメータと、シーン種別を特定するコード（以下、シーン種別コードという）とをリンク付けている。シーン種別判定手段１１１は、映像加速度検出手段１０５によって検出された映像の加速度に関する情報（以下、映像加速度情報という）と音声検出手段１０７によって検出された音声に関する情報（以下、音声情報という）とから、シーンデータベース１０９に保持されたシーン判定用のテーブルデータを参照して、映像加速度情報と音声情報に一致するシーン種別を特定する。このようにして映像のシーンを判定する。
【００３３】
例えば、シーンが車状の乗り物からの視点である場合、映像は、放射状に広がり、かつ連続して左右に繰り返し加速する。また、このとき、音声は、一定レベル以上で、騒音状のエンジン音が続く。シーン種別判定手段１１１は、このような条件に該当するシーン種別コードを特定することによって、シーンを車状の乗り物からの視点であると判定する。
【００３４】
また、シーンがジェットコースター状の乗り物からの視点である場合、映像は、放射状に広がり、かつ連続して左右に繰り返し加速するのに加えて、上下にも加速する。また、このとき、音声は、一定レベル以上で、騒音状のエンジン音が続く。シーン種別判定手段１１１は、このような条件に該当するシーン種別コードを特定することによって、シーンをジェットコースター状の乗り物からの視点であると判定する。
【００３５】
さらに、シーンが第三者からの視点である場合、映像は、画面全体の動きが少ない。シーン種別判定手段１１１は、このような条件に該当するシーン種別コードを特定することによって、シーンを、被験者２００からの視点ではなく、第三者からの視点であると判定する。
【００３６】
シーン種別判定手段１１１は、このようにしてシーンを判定する。
【００３７】
次に、Ｓ１０９で、制御ユニット１００のモーション駆動制御手段１１３は、Ｓ１０７の判定結果に基づいてモーション信号を生成する。
【００３８】
次に、Ｓ１１１で、モーション駆動制御手段１１３は、モーション信号をモーション駆動手段１７３に出力して、モーション駆動手段１７３を駆動する。
【００３９】
なお、Ｓ１０９とＳ１１１におけるモーション駆動制御手段１１３の動作については、後述の「モーション駆動制御手段の動作」の項で詳述する。
【００４０】
（モーション駆動制御手段の動作）
以下に、モーション駆動制御手段１１３の動作について説明する。なお、以下の図５におけるＳ１５１〜Ｓ１６３の動作は図２におけるＳ１０９の動作に相当し、Ｓ１６５の動作は図２におけるＳ１１１の動作に相当する。
【００４１】
図２のＳ１０９において、制御ユニット１００のモーション駆動制御手段１１３は、シーン種別判定手段１１１からＳ１０７の判定結果を受け取り、Ｓ１０７の判定結果に基づいてモーション信号を生成する。
【００４２】
このとき、モーション駆動制御手段１１３は、図５のＳ１５１に示されるように、シーン種別判定手段１１１から受け取ったＳ１０７の判定結果に基づいて、当事者（被験者２００）の視点であるか否かを判定する。ここで、モーション駆動制御手段１１３が当事者（被験者２００）の視点であると判定したら、動作はＳ１５３に移行する。また、モーション駆動制御手段１１３が当事者（被験者２００）の視点でないと判定したら、動作はＳ１６３に移行する。
【００４３】
Ｓ１５３において、モーション駆動制御手段１１３は、映像がモーション駆動に効果的なシーンか否かを判定する。ここで、モーション駆動制御手段１１３が、映像がモーション駆動に効果的なシーンであると判定した場合は、動作はＳ１５５に移行し、映像がモーション駆動に効果的でないシーンであると判定した場合は、動作はＳ１６３に移行する。
【００４４】
Ｓ１５５において、モーション駆動制御手段１１３は、映像加速度面積を算出する。映像加速度面積とは、映像を複数に分割し、それぞれ隣り合った領域の加速度ベクトルが同じである領域の面積である。映像加速度面積は、例えば、図６に示されるように、映像が４つの方向に放射状に広がっている場合、４種類のハッチングで示す領域４０１，４０３，４０５，４０７のそれぞれの面積である。
【００４５】
Ｓ１５７において、モーション駆動制御手段１１３は、各映像加速度面積（例えば、図６に示される例においては、４つの映像加速度面積）を比較する。
【００４６】
Ｓ１５９において、モーション駆動制御手段１１３は、以下のようにしてモーション信号を生成する。すなわち、モーション駆動制御手段１１３は、映像加速度面積の最も大きい領域（図６の例では領域４０１）を特定し、映像加速度面積の最も大きい領域中で画素が移動する加速度または画素の輝度が変化する加速度を検出する。そして、モーション駆動制御手段１１３は、例えば、図７に示されるような、シーンデータベース１０９に保持されたモーション信号生成用のテーブルデータを参照して、図２のＳ１０７の判定結果であるシーン種別と、映像加速度面積の最も大きい領域中で画素が移動する加速度または画素の輝度が変化する加速度とに対応するモーション信号を特定する。なお、図７に示されたモーション信号生成用のテーブルデータは、「シーン種別コード」と、所定の閾値で「大」、「中、「小」の３つの区分に分けた「加速度（ここでは、領域中で画素が移動する加速度または画素の輝度が変化する加速度）」のパラメータと、「モーション信号」とをリンク付けている。モーション駆動制御手段１１３は、このようなモーション信号生成用のテーブルデータを参照してモーション信号を特定し、該当するモーション信号を生成する。
【００４７】
モーション信号は、例えば、図８に示されるモーション駆動手段１７３の制御用テーブルデータによって、モーション駆動手段１７３の各駆動部（図８に示される例では駆動部１〜６）の駆動量とリンク付けられる。なお、図８に示される例では、駆動量が１〜４の４段階で示されている。ここでは、「１」が「強」、「２」が「やや強」、「３」が「やや弱」、「４」が「弱」を示すものとする。
【００４８】
Ｓ１６１において、モーション駆動制御手段１１３は、Ｓ１５９で生成したモーション信号がモーション駆動手段１７３の駆動限界内か否かを判定する。ここで、モーション駆動制御手段１１３が、Ｓ１５９で生成したモーション信号がモーション駆動手段１７３の駆動限界内であると判定した場合は、動作はＳ１６５に移行し、Ｓ１５９で生成したモーション信号がモーション駆動手段１７３の駆動限界に達すると判定した場合は、動作はＳ１６３に移行する。
【００４９】
Ｓ１６３において、モーション駆動制御手段１１３は、モーション駆動手段１７３の駆動限界となる量に相当するモーション信号を生成する。
【００５０】
Ｓ１６５において、モーション駆動制御手段１１３は、Ｓ１５９またはＳ１６３で生成したモーション信号をモーション駆動手段１７３に出力する。
【００５１】
以上説明したこの実施の形態に係る体感装置は、モーション駆動手段を駆動させることを前提にして制作されていない一般的なＴＶ放送や映画などの映像（特に、カメラアングルが多様になっている映像）であっても、映像のシーンに応じて、臨場感のある動きを被験者に与えることができる。
【００５２】
また、この実施の形態に係る体感装置は、映像の動きに合わせてそのまま被験者に動きを与えるのではなく、被験者に動きを与えるのが効果的であると判定される場合にのみ、被験者に動きを与える。そのため、不必要なシーンで摺動／振動することがないので、被験者を疲労しにくくすることができる。
【００５３】
＜第２の実施の形態＞
第１の実施の形態は、モーション駆動制御手段１１３が、映像がモーション駆動に効果的なシーンか否かを判定している（図５のＳ１５３参照）。これに対して、この実施の形態は、モーション駆動手段１７３の駆動の有無をモーション駆動手段の制御用テーブルデータに予めリンク付けさせ、このモーション駆動手段の制御用テーブルデータを用いてモーション駆動手段１７３を制御するようにしたものである。
【００５４】
以下、図９を用いて、第２の実施の形態を説明する。なお、図９はモーション駆動手段の制御用テーブルデータの一例を示す図である。
【００５５】
図２のＳ１０９において、制御ユニット１００のモーション駆動制御手段１１３は、シーン種別判定手段１１１からＳ１０７の判定結果であるシーン種別コードを受け取る。
【００５６】
シーン種別コードは、例えば、図９に示されるモーション駆動手段１７３の制御用テーブルデータによって、モーション駆動手段１７３の駆動の有無や、モーション駆動手段１７３の各駆動部（図９に示される例では駆動部１〜６）の駆動量とリンク付けられる。なお、図９に示される例では、モーション駆動手段１７３の駆動の有無がＯＮ／ＯＦＦで示されている。ここでは、「ＯＮ」が「駆動有り」を示し、「ＯＦＦ」が「駆動無し」を示すものとする。また、図９に示される例では、駆動量が１〜４の４段階で示されている。ここでは、「１」が「強」、「２」が「やや強」、「３」が「やや弱」、「４」が「弱」、「−」は「駆動せず」を示すものとする。
【００５７】
モーション駆動制御手段１１３は、シーン種別判定手段１１１から受け取ったシーン種別コードと図９に示されるテーブルデータとを参照して、各駆動部（図９に示される例では駆動部１〜６）の駆動量を特定し、特定した駆動量に基づいてモーション駆動手段１７３を制御する。
【００５８】
以上説明したこの実施の形態に係る体感装置１は、モーション駆動制御手段１１３がモーション駆動に効果的なシーンか否かを判定する必要がないので、映像供給手段１０１が映像を供給してからモーション駆動手段１７３が駆動されるまでの時間を短縮することができる。
【００５９】
＜付記＞
この発明は上記の実施の形態に限定されることなく、この発明の要旨を逸脱しない範囲で種々の応用及び変形が考えられる。
【００６０】
例えば、各種の信号やテーブルデータの形態は、任意に変更することが可能である。
【００６１】
また、第１の実施の形態におけるＳ１０３とＳ１０７を逆にすることも可能である。
【００６２】
また、第１と第２の実施の形態では、映像加速度検出手段１０５は、画素の輝度の移動量から映像の加速度を検出するものとしたが、映像の元データがＭＰＥＧなどの方式で圧縮されている場合、動きベクトルデータが映像データ中に予め埋め込まれているため、映像データに埋め込まれた動きベクトルを利用するようにしてもよい。この場合、動きベクトルを算出する必要がないので、モーション駆動制御を短時間で行うことができる。
【００６３】
【発明の効果】
以上説明したこの発明には、次の効果がある。
【００６４】
すなわち、この発明に係る体感装置は、モーション駆動手段を駆動させることを前提にして制作されていない一般的なＴＶ放送や映画などの映像（特に、カメラアングルが多様になっている映像）であっても、映像のシーンに応じて、臨場感のある動きを被験者に与えることができる。
【００６５】
また、他の発明に係る体感装置は、映像の動きに合わせてそのまま被験者に動きを与えるのではなく、被験者に動きを与えるのが効果的であると判定される場合にのみ、被験者に動きを与える。そのため、不必要なシーンで摺動／振動することがないので、被験者を疲労しにくくすることができる。
【図面の簡単な説明】
【図１】体感装置の構成を示す図である。
【図２】制御ユニットの動作を示すフローチャートである。
【図３】各領域の動きベクトルの一例を示す図である。
【図４】シーン判定用のテーブルデータの一例を示す図である。
【図５】モーション駆動制御手段の詳細な動作を示すフローチャートである。
【図６】映像の領域分割と加速度ベクトルの一例を示す図で
【図７】モーション信号生成用のテーブルデータの一例を示す図である。
【図８】モーション駆動手段の制御用テーブルデータの一例を示す図である。
【図９】モーション駆動手段の制御用テーブルデータの一例を示す図である。
【符号の説明】
１ 体感装置
１００ 制御ユニット
１０１ 映像供給手段
１０３ 映像蓄積手段
１０５ 映像加速度検出手段
１０７ 音声検出手段
１０９ シーンデータベース
１１１ シーン種別判定手段
１１３ モーション駆動制御手段
１５１ 映像表示制御手段
１５３ 映像表示手段
１６１ 音声再生制御手段
１６３ 音声再生手段
１７１ 搭乗手段
１７３ モーション駆動手段
２００ 被験者
Claims (8)
- 映像に対応する動きを被験者に与えて擬似的な経験を体感させる体感装置において、
被験者を搭乗させる搭乗手段と、
映像を前記被験者に見せるための映像表示手段と、
前記映像に合わせて前記搭乗手段を駆動させるモーション駆動手段と、
所定のフレーム数以上の映像を蓄積する映像蓄積手段と、
前記映像蓄積手段に蓄積された映像から、映像の加速度を検出する映像加速度検出手段と、
映像に対応する音声を検出する音声検出手段と、
映像のシーン種別を判定するための基準となるデータを保持するシーンデータベースと、
前記シーンデータベースに保持されたデータを参照して、前記映像の加速度と、前記音声に一致するシーン種別を判定するシーン種別判定手段と、
映像を複数に分割し、それぞれ隣り合った領域の前記映像の加速度のベクトルが同じである領域の面積を算出し、各面積を比較して、面積の最も大きい領域を特定し、面積の最も大きい領域中で画素が移動する加速度または画素の輝度が変化する加速度を検出し、当該加速度と前記シーン種別とに対応したモーション信号であって、前記モーション駆動手段を駆動するための当該モーション信号を生成するモーション駆動制御手段と
を有することを特徴とする体感装置。 - 前記映像の加速度は、映像を複数の領域に分割し、各々の領域で画素ごとの輝度の移動ベクトルを検出し、領域ごとに平均化して動きベクトルとして抽出し、所定のフレーム以上にわたって抽出された動きベクトルの変化量から検出して得られた加速度であることを特徴とする請求項１に記載の体感装置。
- 前記モーション駆動制御手段は、前記シーン種別判定手段によって判定された映像のシーン種別に応じて、前記被験者に動きを与えるのが効果的であると判定される場合にのみ、前記モーション駆動手段を駆動させることを特徴とする請求項１又は２に記載の体感装置。
- 前記モーション駆動制御手段は、前記シーン種別を特定するコードと、前記モーション駆動手段の駆動の有無及び駆動量とをリンク付けたテーブルデータを用いて、前記シーン種別判定手段によって判定されたシーン種別に応じて、前記モーション駆動手段の駆動量を特定することを特徴とする請求項１又は２に記載の体感装置。
- 被験者を搭乗させる搭乗手段と、映像を被験者に見せるための映像表示手段と、前記映像に合わせて前記搭乗手段を駆動させるモーション駆動手段とを備え、映像に対応する動きを被験者に与えて擬似的な経験を体感させる体感装置の、前記モーション駆動手段を駆動するためのモーション信号の生成方法であって、
前記体感装置が備える映像蓄積手段が行う、所定のフレーム数以上の映像を蓄積する工程と、
前記体感装置が備える映像加速度検出手段が行う、前記映像蓄積手段が蓄積した映像から、映像の加速度を検出する工程と、
前記体感装置が備える音声検出手段が行う、映像に対応する音声を検出する工程と、
前記体感装置が備えるシーン種別判定手段が行う工程であって、シーンデータベースに保持されたデータを参照して、前記映像の加速度と、前記音声に一致するシーン種別を判定する工程と、
前記体感装置が備えるモーション駆動制御手段が行う、前記モーション駆動手段を駆動するためのモーション信号を生成する工程と
を備え、
前記モーション信号を生成する工程は、さらに、
映像を複数に分割し、それぞれ隣り合った領域の前記映像の加速度のベクトルが同じである領域の面積を算出する工程と、
各面積を比較して面積の最も大きい領域を特定する工程と、
面積の最も大きい領域中で画素が移動する加速度または画素の輝度が変化する加速度を検出し、検出された前記加速度とシーン種別とに対応するモーション信号を特定する工程と
を有することを特徴とするモーション信号の生成方法。 - 前記モーション信号を生成する工程では、シーン種別に応じて、被験者に動きを与えるのが効果的であると判定される場合にのみ、前記搭乗手段を駆動させるモーション信号を生成する
ことを特徴とする請求項５に記載のモーション信号の生成方法。 - 前記モーション信号を生成する工程では、前記シーン種別を特定するコードと、前記モーション駆動手段の駆動の有無及び駆動量とをリンク付けたテーブルデータを用いて、前記シーン種別判定手段によって判定されたシーン種別に応じて、前記駆動量を特定する
ことを特徴とする請求項５に記載のモーション信号の生成方法。 - コンピュータにより、請求項１〜４のいずれか１項に記載の体感装置を実現するためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003052744A JP4529360B2 (ja) | 2003-02-28 | 2003-02-28 | 体感装置、モーション信号の生成方法およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003052744A JP4529360B2 (ja) | 2003-02-28 | 2003-02-28 | 体感装置、モーション信号の生成方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004261272A JP2004261272A (ja) | 2004-09-24 |
| JP4529360B2 true JP4529360B2 (ja) | 2010-08-25 |
Family
ID=33117541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003052744A Expired - Fee Related JP4529360B2 (ja) | 2003-02-28 | 2003-02-28 | 体感装置、モーション信号の生成方法およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4529360B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103760919A (zh) * | 2014-01-23 | 2014-04-30 | 中国电影器材有限责任公司 | 用于影院的动感座椅的控制方法 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8468280B2 (en) * | 2006-10-26 | 2013-06-18 | D-Box Technologies Inc. | Audio interface for controlling a motion platform |
| WO2013008869A1 (ja) * | 2011-07-14 | 2013-01-17 | 株式会社ニコン | 電子機器及びデータ生成方法 |
| JP6269480B2 (ja) * | 2012-04-06 | 2018-01-31 | 株式会社ニコン | データ処理装置、及びデータ処理プログラム |
| KR101752848B1 (ko) * | 2015-12-30 | 2017-06-30 | 씨제이포디플렉스 주식회사 | 영상 움직임 검출을 이용한 모션 제어 시스템 및 방법 |
| WO2018123202A1 (ja) * | 2016-12-28 | 2018-07-05 | シャープ株式会社 | 動画像処理装置、表示装置、動画像処理方法、および制御プログラム |
| GB201714289D0 (en) * | 2017-09-06 | 2017-10-18 | Simworx Ltd | Modelling systems and methods for entertainment rides |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05110933A (ja) * | 1991-10-11 | 1993-04-30 | Sony Corp | 画像の動きベクトル検出装置 |
| JPH11153949A (ja) * | 1997-11-20 | 1999-06-08 | Sony Corp | 体感モーション装置 |
| WO2000068886A1 (fr) * | 1999-05-11 | 2000-11-16 | Sony Corporation | Processeur d'informations |
| JP2000353300A (ja) * | 1999-06-11 | 2000-12-19 | Honda Motor Co Ltd | 物体認識装置 |
| JP2001183968A (ja) * | 1999-12-27 | 2001-07-06 | Sanyo Electric Co Ltd | 疑似体験装置及び疑似体験方法 |
-
2003
- 2003-02-28 JP JP2003052744A patent/JP4529360B2/ja not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05110933A (ja) * | 1991-10-11 | 1993-04-30 | Sony Corp | 画像の動きベクトル検出装置 |
| JPH11153949A (ja) * | 1997-11-20 | 1999-06-08 | Sony Corp | 体感モーション装置 |
| WO2000068886A1 (fr) * | 1999-05-11 | 2000-11-16 | Sony Corporation | Processeur d'informations |
| JP2000353300A (ja) * | 1999-06-11 | 2000-12-19 | Honda Motor Co Ltd | 物体認識装置 |
| JP2001183968A (ja) * | 1999-12-27 | 2001-07-06 | Sanyo Electric Co Ltd | 疑似体験装置及び疑似体験方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103760919A (zh) * | 2014-01-23 | 2014-04-30 | 中国电影器材有限责任公司 | 用于影院的动感座椅的控制方法 |
| CN103760919B (zh) * | 2014-01-23 | 2016-09-07 | 中国电影器材有限责任公司 | 用于影院的动感座椅的控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004261272A (ja) | 2004-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101490725B1 (ko) | 비디오 디스플레이 장치, 오디오-비디오 시스템, 음향 재생을 위한 방법 및 로컬라이즈된 지각적 오디오를 위한 음향 재생 시스템 | |
| CN103765346B (zh) | 基于眼睛凝视的用于音频视觉回放的位置选择 | |
| CN110740338B (zh) | 一种弹幕处理的方法及装置、电子设备、存储介质 | |
| EP3264222B1 (en) | An apparatus and associated methods | |
| CN102314917A (zh) | 一种影音文件的播放方法及播放装置 | |
| KR20100130620A (ko) | 비디오 스트림 내의 움직임 검출에 의해 트리거된, 사용자에게 물리적 자극을 제공하는 방법 및 장치 | |
| JP2014132461A (ja) | 電子装置でコンテンツを制御する装置及びその方法 | |
| KR20180020899A (ko) | 동영상을 처리하는 컴퓨팅 장치, 방법 및 컴퓨터 프로그램 | |
| JP4529360B2 (ja) | 体感装置、モーション信号の生成方法およびプログラム | |
| JP6882634B2 (ja) | 再生装置と再生方法および情報生成装置と情報生成方法 | |
| JP2016513991A (ja) | ハプティックアクチュエータ制御パラメータを有するオーディオビジュアルコンテンツのアイテムを再生するための方法、および方法を実施するデバイス | |
| JP2017506008A (ja) | 自己回帰モデルを用いて触覚係数を発生するための方法、そのような係数を再生するための信号およびデバイス | |
| US11825170B2 (en) | Apparatus and associated methods for presentation of comments | |
| CN108156512B (zh) | 一种视频播放控制方法及装置 | |
| JP2006333189A (ja) | 映像要約生成装置 | |
| JP5242762B2 (ja) | 画像再生装置、画像再生方法及びデータ構造 | |
| US20200389700A1 (en) | Information processing apparatus and method, and program | |
| JP4924131B2 (ja) | 画像処理装置と画像処理方法および画像処理プログラム、並びに再生情報生成装置と再生情報生成方法及び再生情報生成プログラム | |
| US20050110870A1 (en) | System and method for object tracking path generation | |
| CN115022655B (zh) | 直播卡顿处理方法、装置、电子设备及可读存储介质 | |
| WO2021200140A1 (ja) | 信号処理装置、信号処理方法、および信号処理システム | |
| JP2019144622A (ja) | 動画再生装置および動画再生方法 | |
| JPH1138954A (ja) | 画像表示装置、画像表示方法および画像表示プログラムを記録した媒体 | |
| US20120151343A1 (en) | Deep tags classification for digital media playback | |
| KR20060007845A (ko) | 비디오 신호를 이용한 동작 효과 제공 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060131 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090428 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090624 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100518 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100531 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130618 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130618 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130618 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |