JP4672094B2 - 画像処理装置および方法、並びに記録媒体 - Google Patents
画像処理装置および方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4672094B2 JP4672094B2 JP01388399A JP1388399A JP4672094B2 JP 4672094 B2 JP4672094 B2 JP 4672094B2 JP 01388399 A JP01388399 A JP 01388399A JP 1388399 A JP1388399 A JP 1388399A JP 4672094 B2 JP4672094 B2 JP 4672094B2
- Authority
- JP
- Japan
- Prior art keywords
- component
- signal
- stimulus
- force related
- alternative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47C—CHAIRS; SOFAS; BEDS
- A47C1/00—Chairs adapted for special purposes
- A47C1/12—Theatre, auditorium, or similar chairs
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63G—MERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
- A63G31/00—Amusement arrangements
- A63G31/16—Amusement arrangements creating illusions of travel
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63J—DEVICES FOR THEATRES, CIRCUSES, OR THE LIKE; CONJURING APPLIANCES OR THE LIKE
- A63J5/00—Auxiliaries for producing special effects on stages, or in circuses or arenas
- A63J2005/001—Auxiliaries for producing special effects on stages, or in circuses or arenas enhancing the performance by involving senses complementary to sight or hearing
- A63J2005/002—Auxiliaries for producing special effects on stages, or in circuses or arenas enhancing the performance by involving senses complementary to sight or hearing moving the spectator's body
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理装置および方法、並びに記録媒体に関し、特に、入力された映像信号から動きベクトルを検出し、その検出された動きベクトルから、映像を鑑賞する観客の椅子の動揺を制御する動揺信号を生成する画像処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
観客が映像を鑑賞しているとき、その映像と合わせて、観客が座っている椅子を動揺させることにより、臨場感を盛り上げるようにした装置がある。このような装置に対して供給される椅子を動揺させるための動揺信号は、映像が撮像された際に、同時に角度などを検出するセンサにより得られたデータから生成されたり、撮像された映像を人が観察し、その人が動揺を予測して手作業により生成している。
【０００３】
【発明が解決しようとする課題】
上述した装置において、センサにより椅子の動揺信号を生成する場合、動揺信号を生成するためのデータを、映像を撮像するとき同時に記録しておく必要があるため、既に撮像された映像を用いて、動揺信号を生成することはできなかった。
【０００４】
また、撮像された映像を人が観察して動揺信号を生成する場合、手作業が必要となり、処理に長い時間がかかるという課題があった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、入力された映像から動きベクトルを検出し、その検出された動きベクトルから、動揺信号を生成することにより、既に撮像された映像からも簡単に、動揺信号を生成する事ができるようにするものである。
【０００６】
【課題を解決するための手段】
本発明の一側面の画像処理装置は、映像に合わせて動揺を制御する動揺信号を生成する画像処理装置において、前記映像の信号から動きベクトルを検出する検出手段と、前記検出手段により検出された動きベクトルの特徴量としての水平成分、垂直成分、拡大成分、および回転成分の４成分を演算する演算手段と、前記演算手段により演算された前記４成分から、前記映像が撮影された場合における物理的な条件と同じ条件で刺激を与えることができる実刺激に関する力である動揺信号の成分と、前記物理的な条件が同じ条件で刺激を与えることが困難な代替刺激に関する力である動揺信号の成分を生成する生成手段とを備え、前記生成手段は、前記垂直成分の低周波成分から前記実刺激に関する力であるピッチの動揺信号の成分を生成し、前記垂直成分の高周波成分から前記実刺激に関する力であるｚ軸方向の動揺信号の成分を生成し、前記回転成分から前記実刺激に関する力であるロールの動揺信号の成分を生成し、前記水平成分から前記代替刺激に関する力であるロールの動揺信号の成分を生成し、前記拡大成分の低周波成分から前記代替刺激に関する力であるピッチの動揺信号の成分を生成し、前記水平成分から前記代替刺激に関する力であるヨーの動揺信号の成分を生成する。
【０００７】
本発明の一側面の画像処理方法は、映像に合わせて動揺を制御する動揺信号を生成する画像処理装置の画像処理方法において、前記映像の信号から動きベクトルを検出する検出ステップと、前記検出ステップの処理で検出された動きベクトルの特徴量としての水平成分、垂直成分、拡大成分、および回転成分の４成分を演算する演算ステップと、前記演算ステップの処理で演算された前記４成分から、前記映像が撮影された場合における物理的な条件と同じ条件で刺激を与えることができる実刺激に関する力である動揺信号の成分と、前記物理的な条件が同じ条件で刺激を与えることが困難な代替刺激に関する力である動揺信号の成分を生成する生成ステップとを含み、前記生成ステップは、前記垂直成分の低周波成分から前記実刺激に関する力であるピッチの動揺信号の成分を生成し、前記垂直成分の高周波成分から前記実刺激に関する力であるｚ軸方向の動揺信号の成分を生成し、前記回転成分から前記実刺激に関する力であるロールの動揺信号の成分を生成し、前記水平成分から前記代替刺激に関する力であるロールの動揺信号の成分を生成し、前記拡大成分の低周波成分から前記代替刺激に関する力であるピッチの動揺信号の成分を生成し、前記水平成分から前記代替刺激に関する力であるヨーの動揺信号の成分を生成する。
【０００８】
本発明の一側面の記録媒体は、映像に合わせた動揺を制御する動揺信号を供給する画像処理装置を制御するコンピュータに、前記映像の信号から動きベクトルを検出する検出ステップと、前記検出ステップの処理で検出された動きベクトルの特徴量としての水平成分、垂直成分、拡大成分、および回転成分の４成分を演算する演算ステップと、前記演算ステップの処理で演算された前記４成分から、前記映像が撮影された場合における物理的な条件と同じ条件で刺激を与えることができる実刺激に関する力である動揺信号の成分と、前記物理的な条件が同じ条件で刺激を与えることが困難な代替刺激に関する力である動揺信号の成分を生成する生成ステップとを含み、前記生成ステップは、前記垂直成分の低周波成分から前記実刺激に関する力であるピッチの動揺信号の成分を生成し、前記垂直成分の高周波成分から前記実刺激に関する力であるｚ軸方向の動揺信号の成分を生成し、前記回転成分から前記実刺激に関する力であるロールの動揺信号の成分を生成し、前記水平成分から前記代替刺激に関する力であるロールの動揺信号の成分を生成し、前記拡大成分の低周波成分から前記代替刺激に関する力であるピッチの動揺信号の成分を生成し、前記水平成分から前記代替刺激に関する力であるヨーの動揺信号の成分を生成する処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【０００９】
本発明の一側面の画像処理装置および方法、並びに記録媒体においては、映像の信号から動きベクトルが検出され、検出された動きベクトルの特徴量としての水平成分、垂直成分、拡大成分、および回転成分の４成分が演算され、演算された４成分から、映像が撮影された場合における物理的な条件と同じ条件で刺激を与えることができる実刺激に関する力である動揺信号の成分と、物理的な条件が同じ条件で刺激を与えることが困難な代替刺激に関する力である動揺信号の成分が生成される。また垂直成分の低周波成分から実刺激に関する力であるピッチの動揺信号の成分が生成され、垂直成分の高周波成分から実刺激に関する力であるｚ軸方向の動揺信号の成分が生成され、回転成分から実刺激に関する力であるロールの動揺信号の成分が生成され、水平成分から代替刺激に関する力であるロールの動揺信号の成分が生成され、拡大成分の低周波成分から代替刺激に関する力であるピッチの動揺信号の成分が生成され、水平成分から代替刺激に関する力であるヨーの動揺信号の成分が生成される。
【００１０】
【発明の実施の形態】
図１は、本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。図示されていないビデオテープレコーダなどから供給される映像信号は、ディスプレイなどで構成される表示部１と画像処理装置２に供給される。画像処理装置２は、駆動部３を駆動させるための制御信号（動揺信号）を生成する。
【００１１】
画像処理装置２は、特徴量検出部１１と特徴量処理部１２とから構成されている。画像処理装置２に入力された信号は、特徴量検出部１１に入力され、後述する特徴量が検出され、特徴量処理部１２に出力される。特徴量処理部１２は、入力された特徴量から、駆動部３に供給する動揺信号を算出する。駆動部３は、入力された動揺信号に基づいて、映像を観察する観察者が座る椅子を駆動（動揺）する。この点に付いては、後に後述する。
【００１２】
図２は、特徴量検出部１１の構成を示すブロック図である。特徴量検出部１１に入力された映像信号は、遅延部２１により１フレーム分遅延された後フレームバッファ２２−１に供給されるとともに、フレームバッファ２２−２にも供給される。読み出し部２３−１，２３−２は、メモリ２４に記憶されている所定のパターンに従って、それぞれ対応するフレームバッファ２２−１，２２−２から、映像信号を読み出し、動きベクトル検出部２５に出力する。
【００１３】
動きベクトル検出部２５は、供給された映像信号から動きベクトルを検出し、特徴量演算部２６に出力する。特徴量演算部２６は、入力された動きベクトルから特徴量を演算する。
【００１４】
次に、図２に示した特徴量検出部１１の動作について説明する。時刻ｔにおいて、特徴量検出部１１に入力された映像信号は、遅延部２１とフレームバッファ２２−２に供給される。フレームバッファ２２−２は、入力された１フレーム分の映像信号を記憶する。遅延部２１は、映像信号を１フレーム分だけ遅延するので、時刻ｔにおいて、フレームバッファ２２−１には、時刻ｔより前の時刻ｔ−１における映像信号（時刻ｔより１フレーム前の映像信号）が記憶されている。フレームメモリ２２−１に記憶された時刻ｔ−１における映像信号は、読み出し部２３−１により、フレームメモリ２２−２に記憶された時刻ｔにおける映像信号は、読み出し部２３−２により、それぞれ読み出される。
【００１５】
読み出し部２３−１，２３−２は、それぞれ対応するフレームバッファ２２−１，２２−２に記憶されている映像信号のうち、メモリ２４に記憶されているパターンに対応する部分の映像信号を読み出す。ここで、メモリ２４に記憶されているパターンについて、図３を参照して説明する。
【００１６】
図３は、メモリ２４に記憶されているパターンの一例を示す図である。１フレームを構成する画素のなかで、動揺に関係のない部分、例えば，図４に示したような、自動車に取り付けられたビデオカメラにより撮像された映像信号の場合、自動車のボンネットの部分などは動揺に関係のない領域と判断し、その領域を取り除いた領域の中心に位置する画素を収束点Ｐとする。収束点Ｐを中心として上下左右に対称な代表点Ｑ、例えば、２５個（収束点を含む）のを設定する。各代表点Ｑ毎に、その代表点Ｑが中心に位置する所定の画素数からなるブロックＢ、例えば、３３×３３画素からなるブロックＢを設定する。メモリ２４には、このようなフレームの画面内における各代表点Ｑの座標と、ブロックＢの大きさが、パターンとして記憶されている。
【００１７】
読み出し部２３−１は、フレームバッファ２２−１に記憶されている時刻ｔ−１における映像信号のうち、メモリ２４に記憶されている上述したようなパターンに対応する画素データ、すなわち、代表点Ｑの座標とブロックＢの大きさをもとに、各ブロックＢ内の画素データを読み出し、動きベクトル検出部２５に、参照ブロックのデータとして出力する。同様に、読み出し部２３−２は、フレームバッファ２２−２に記憶されている時刻ｔにおける映像信号のうち、メモリ２４に記憶されているパターンに対応する画素データを読み出し、動きベクトル検出部２５に探索ブロックのデータとして出力する。
【００１８】
動きベクトル検出部２５は、入力された参照ブロックのデータと探索ブロックのデータとを用いて、ブロックマッチングを行うことにより、各代表点Ｑにおける動きベクトルを検出する。従って、この例の場合、２５個の動きベクトルが検出される。
【００１９】
特徴量演算部２６は、動きベクトル検出部２５により検出された２５個の動きベクトルを用いて、そのフレーム（画面）の動揺の水平成分ｕ、垂直成分ｖ、拡大成分ｖzoom、および回転成分ｖrotの合計４成分を、以下に示す式に基づいて算出する。
水平成分ｕ＝（１／ｎ）Σｕi ・・・（１）
垂直成分ｖ＝（１／ｎ）Σｖi ・・・（２）
拡大成分ｖzoom＝（１／ｎ）Σｖzoomi／ｄi ・・・（３）
回転成分ｖrot＝（１／ｎ）Σｖroti／ｄi ・・・（４）
なお、添え字のｉは、代表点Ｑiに付けられた番号を示し、この例では１乃至２５まで変化する。また、ｎは代表点の個数であるので、この例では２５である。式（１）乃至式（４）により求められる値は、２５個の動きベクトルから得られる各成分ｕ、ｖ、ｖzoom、ｖrotの平均値である。
【００２０】
上述した各成分ｕ、ｖ、ｖzoom、ｖrotの関係を図５を参照して説明する。処理対象となっている代表点Ｑiの動きベクトルＴの水平方向の成分をｕiとし、垂直方向の成分をｖiとする。ｄｉは、収束点Ｐから代表点Ｑiまでの距離を表すスカラ量である。また、（Ｐｘ，Ｐｙ）は、収束点Ｐの座標を表し、この座標値を基準として座標（Ｑiｘ，Ｑiｙ）の代表点Ｑiまでの距離が算出される。
【００２１】
この動きベクトルＴの成分（ｕi，ｖi）は、代表点Ｑiを原点としたときの成分である。動きベクトルＴの、収束点Ｐと代表点Ｑiとを結ぶ直線と平行な方向の成分ｖzoomiとし、収束点Ｐと代表点Ｑiとを結ぶ直線と直交する方向の成分をｖrotiとする。また、収束点Ｐと代表点Ｑiとを結ぶ直線と動きベクトルＴとがなす角度をθとする。このとき、ｖzoomiとｖrotiは、次式に従って求められる。
ｖzoomi＝（ｕi 2＋ｖi 2）(1/2)ＣＯＳθ ・・・（５）
ｖroti ＝（ｕi 2＋ｖi 2）(1/2)ＳＩＮθ ・・・（６）
【００２２】
特徴量演算部２６は、動きベクトル検出部２５から出力された動きベクトルから、式（１）乃至式（４）を用いて、特徴量として４成分のデータｕ、ｖ、ｖzoom、ｖrotを算出する。算出された４成分のデータｕ、ｖ、ｖzoom、ｖrotは、特徴量処理部１２（図１）に出力される。
【００２３】
ここで、例えば、観客に対して自動車に乗っている感じを疑似体験させる場合、どのような力（動揺）を観客が座っている椅子に対して加えればよいのかを考える。自動車の椅子に加えられる力には、自動車が坂道などの勾配のある道を走っているときの路面の前後方向の傾きを表現するための力、でこぼこした道の上を走っているときの路面から受ける振動を表現するための力、傾いた路面を走っているときの路面の左右方向の傾きを表現するための力がある。
【００２４】
これらの力は、映像を撮像したビデオカメラが搭載された自動車に対して、実際に加えられた刺激（実刺激）であり、映像を観察する観客の椅子に対しても、この実刺激と同様な力を加えればよい。例えば、実刺激が右に傾いた力であれば、観客の椅子にも右に傾ける力を加えればよい。これらの力は、観客用の椅子の物理的な条件、例えば、椅子は所定の範囲内しか前や後ろに移動させることができないといった条件に左右されることなく加えられる力である。
【００２５】
これに対して、自動車がカーブを曲がるときの遠心力を表現する力、加速や減速のときの慣性力を表現する力、カーブ時の自動車首振りを表現する力は、観客が座っている椅子の重心を移動させることは物理的な条件からできないため、代替的な力（代替刺激）として加える必要がある。例えば、加速時の慣性力を表現するために、椅子を加速的に前に移動させ得ることはできないため、代替刺激を観客の椅子にくわえる必要がある。
【００２６】
以下に、上述した実刺激と代替刺激に関する力、実際に観客用の椅子に対して加える動揺信号の成分、並びに、上述した特徴量演算部２６により演算された４成分の関係を示す。
【００２７】
特徴量処理部１２は、上述した関係を用いて、駆動部３（図１）に供給する動揺信号を生成する。図６は、特徴量処理部１２の構成を示すブロック図である。特徴量検出部１１から出力された４成分のうち、回転成分ｖrotは、加算器３１−１に、水平成分ｕは、加算器３１−２と符号反転器３２−１に、垂直成分ｖは、加算器３１−３に、拡大成分ｖzoomは、加算器３１−５と遅延器３３−３に、それぞれ入力される。加算器３１−１には、加算器３１−１から出力されたデータが、遅延器３３−１で１クロック分遅延された後、フィードバックされて入力される。同様に、加算器３１−３にも、加算器３１−３から出力されたデータが、遅延器３３−２で１クロック分遅延された後、フィードバックされて入力される。
【００２８】
遅延器３３−１から出力されたデータは、加算器３１−２に入力され、遅延器３３−２から出力されたデータは、符号反転器３２−２を介してHPF（High Pass Filter）３４に出力されると共に、LPF（Low Pass Filter）３５−１を介して加算器３１−４にも出力される。加算器３１−５に入力された拡大成分ｖzoomは、遅延器３３−３により１クロック分遅延された拡大成分ｖzoomが減算され、LPF３５−２を介して加算器３１−４に入力される。
【００２９】
次に、特徴量処理部１２が行う動揺信号成分roll、yaw、ｚ、およびpitchの算出について説明する。特徴量処理部１２に入力された回転成分ｖrotは、加算器３１−１に入力される。加算器３１−１は、時刻ｔにおいて入力された回転成分ｖrotと、遅延器３３−１より出力される１単位時間前の時刻ｔ−１のデータとを加算する。加算器３１−１は、このようにして、回転成分ｖrotを累積加算（積分）していくことにより、路面の左右の傾きを表現する動揺信号成分roll（Σｖrot）を算出する。しかしながら、路面の左右の傾きを表現する動揺信号成分rollは、−Σｖrotなので、加算器３１−２は、遅延器３３−１から入力されたデータの符号を反転したデータを演算に用いる。
【００３０】
動揺信号成分roll（水平成分ｕ）は、カーブ時の遠心力を表現するのにも用いられる。そこで、加算器３１−２は、遅延器３３−１から入力されたデータの符号を反転したデータと、水平成分ｕとを加算する（水平成分ｕから遅延器３３−１の出力を減算する）ことにより、駆動部３に供給する動揺信号成分rollを算出する。
【００３１】
カーブ時の自動車首振りの動揺信号成分yawは、水平成分ｕの値を反転することにより得られるので、特徴量処理部１２は、入力された水平成分ｕの値を、符号反転器３２−１により、符号を反転させることに動揺信号成分yawを算出する。
【００３２】
加算器３１−３には、時刻ｔにおいて入力された垂直成分ｖと、遅延器３３−２より出力された１単位時間前の時刻ｔ−１の垂直成分ｖを加算する。このようにして、加算器３１−３において、垂直成分ｖが累積加算（積分）される。そして、加算器３１−３とと遅延器３３−２により累積加算されたデータは、符号反転器３２−２に入力され、符号が反転され、さらにHPF３４により、高周波成分のみが取り出される。このようにして、路面から受ける振動を表現する動揺信号成分ｚが算出される。
【００３３】
また、遅延器３３−２から出力されたデータは、LPF３５−１にも出力され、低周波成分が取り出される。このようにして、路面の前後の傾きを表現する動揺信号成分pitchが算出される。動揺信号成分pitchは、加減速による慣性力を表現する動揺信号成分としても用いられる。そのため、LPF３５−１から出力された動揺信号成分pitchは、加算器３１−４により、慣性力を表現する動揺信号成分pitchと加算される。
【００３４】
慣性力を表現する動揺信号成分pitchは、特徴量処理部１２に入力された拡大成分ｖzoomから算出される。特徴量処理部１２に入力された拡大成分ｖzoomは、加算器３１−５と遅延器３３−３に入力される。加算器３１−５には、時刻ｔにおいて入力された拡大成分ｖzoomtと、遅延器３３−３により１単位時間遅延された時刻ｔ−１における拡大成分ｖzoomt-1が入力される。加算器３１−５は、入力された時刻ｔにおける拡大成分ｖzoomtから、時刻ｔ−１における拡大成分ｖzoomt-1を減算することで、拡大成分ｖzoomを微分する。そして、加算器３１−５から出力された値から、LPF３５−２により、低周波成分が抽出されることにより、加減速による慣性力を表現する動揺信号成分pitchが算出される。
【００３５】
加算器３１−４により、LPF３５−１から出力された値と、LPF３５−２から出力された値とが加算されることにより、駆動部３に供給される動揺信号成分pitchが算出される。
【００３６】
駆動部３の一例を図７と図８に示す。図７は、駆動部３の側面図であり、図８は、駆動部３を上面から見た図である。駆動部３は、６本のピストン４１−１乃至４１−６を備えており、これらのピストンにより台座４２が支えられている。台座４２には、椅子４３が固定されており、この椅子４３の上に観客４４が座るようになされている。
【００３７】
ピストン４１−１乃至４１−６は、それぞれの中心軸に沿って伸縮運動ができるようにされている。ピストン４１−１乃至４１−６が伸縮運動をすることにより、台座４２が動揺し、さらに台座４２に固定されている椅子４３が動揺する。ピストン４１−１乃至４１−６を制御するための信号は、上述したように、特徴量処理部１２により生成され、供給される。
【００３８】
上述したように、本発明においては、動揺信号成分を映像から得られた動きベクトルから算出するようにしたので、予め動揺信号成分を生成し、入力しておく手間を省くことが可能である。また、動揺信号成分が生成されていない映像から、動揺信号成分を容易に生成する事が可能である。
【００３９】
本明細書中において、上記処理を実行するコンピュータプログラムをユーザに提供する提供媒体には、磁気ディスク、CD-ROMなどの情報記録媒体の他、インターネット、デジタル衛星などのネットワークによる伝送媒体も含まれる。
【００４０】
【発明の効果】
本発明によれば、映像合わせて観客用の椅子などを動揺させる装置に供給する動揺信号を容易に生成することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。
【図２】 図１の特徴量検出部１１の構成を示すブロック図である。
【図３】図２のメモリ２４に記憶されているパターンを示す図である。
【図４】処理される画像を示す図である。
【図５】算出されるベクトルを説明する図である。
【図６】図１の特徴量処理部１２の構成を示すブロック図である。
【図７】駆動部３の側面図である。
【図８】駆動部３を上方から見た図である。
【符号の説明】
２ 画像処理装置， １１ 特徴量検出部， １２ 特徴量処理部， ２１ 遅延部， ２２ フレームバッファ， ２３ 読み出し部， ２４ メモリ， ２５ 動きベクトル検出部， ２６ 特徴量演算部， ３１ 加算器， ３２ 符号反転器， ３３ 遅延器， ３４ HPF， ３５ LPF
【発明の属する技術分野】
本発明は画像処理装置および方法、並びに記録媒体に関し、特に、入力された映像信号から動きベクトルを検出し、その検出された動きベクトルから、映像を鑑賞する観客の椅子の動揺を制御する動揺信号を生成する画像処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
観客が映像を鑑賞しているとき、その映像と合わせて、観客が座っている椅子を動揺させることにより、臨場感を盛り上げるようにした装置がある。このような装置に対して供給される椅子を動揺させるための動揺信号は、映像が撮像された際に、同時に角度などを検出するセンサにより得られたデータから生成されたり、撮像された映像を人が観察し、その人が動揺を予測して手作業により生成している。
【０００３】
【発明が解決しようとする課題】
上述した装置において、センサにより椅子の動揺信号を生成する場合、動揺信号を生成するためのデータを、映像を撮像するとき同時に記録しておく必要があるため、既に撮像された映像を用いて、動揺信号を生成することはできなかった。
【０００４】
また、撮像された映像を人が観察して動揺信号を生成する場合、手作業が必要となり、処理に長い時間がかかるという課題があった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、入力された映像から動きベクトルを検出し、その検出された動きベクトルから、動揺信号を生成することにより、既に撮像された映像からも簡単に、動揺信号を生成する事ができるようにするものである。
【０００６】
【課題を解決するための手段】
本発明の一側面の画像処理装置は、映像に合わせて動揺を制御する動揺信号を生成する画像処理装置において、前記映像の信号から動きベクトルを検出する検出手段と、前記検出手段により検出された動きベクトルの特徴量としての水平成分、垂直成分、拡大成分、および回転成分の４成分を演算する演算手段と、前記演算手段により演算された前記４成分から、前記映像が撮影された場合における物理的な条件と同じ条件で刺激を与えることができる実刺激に関する力である動揺信号の成分と、前記物理的な条件が同じ条件で刺激を与えることが困難な代替刺激に関する力である動揺信号の成分を生成する生成手段とを備え、前記生成手段は、前記垂直成分の低周波成分から前記実刺激に関する力であるピッチの動揺信号の成分を生成し、前記垂直成分の高周波成分から前記実刺激に関する力であるｚ軸方向の動揺信号の成分を生成し、前記回転成分から前記実刺激に関する力であるロールの動揺信号の成分を生成し、前記水平成分から前記代替刺激に関する力であるロールの動揺信号の成分を生成し、前記拡大成分の低周波成分から前記代替刺激に関する力であるピッチの動揺信号の成分を生成し、前記水平成分から前記代替刺激に関する力であるヨーの動揺信号の成分を生成する。
【０００７】
本発明の一側面の画像処理方法は、映像に合わせて動揺を制御する動揺信号を生成する画像処理装置の画像処理方法において、前記映像の信号から動きベクトルを検出する検出ステップと、前記検出ステップの処理で検出された動きベクトルの特徴量としての水平成分、垂直成分、拡大成分、および回転成分の４成分を演算する演算ステップと、前記演算ステップの処理で演算された前記４成分から、前記映像が撮影された場合における物理的な条件と同じ条件で刺激を与えることができる実刺激に関する力である動揺信号の成分と、前記物理的な条件が同じ条件で刺激を与えることが困難な代替刺激に関する力である動揺信号の成分を生成する生成ステップとを含み、前記生成ステップは、前記垂直成分の低周波成分から前記実刺激に関する力であるピッチの動揺信号の成分を生成し、前記垂直成分の高周波成分から前記実刺激に関する力であるｚ軸方向の動揺信号の成分を生成し、前記回転成分から前記実刺激に関する力であるロールの動揺信号の成分を生成し、前記水平成分から前記代替刺激に関する力であるロールの動揺信号の成分を生成し、前記拡大成分の低周波成分から前記代替刺激に関する力であるピッチの動揺信号の成分を生成し、前記水平成分から前記代替刺激に関する力であるヨーの動揺信号の成分を生成する。
【０００８】
本発明の一側面の記録媒体は、映像に合わせた動揺を制御する動揺信号を供給する画像処理装置を制御するコンピュータに、前記映像の信号から動きベクトルを検出する検出ステップと、前記検出ステップの処理で検出された動きベクトルの特徴量としての水平成分、垂直成分、拡大成分、および回転成分の４成分を演算する演算ステップと、前記演算ステップの処理で演算された前記４成分から、前記映像が撮影された場合における物理的な条件と同じ条件で刺激を与えることができる実刺激に関する力である動揺信号の成分と、前記物理的な条件が同じ条件で刺激を与えることが困難な代替刺激に関する力である動揺信号の成分を生成する生成ステップとを含み、前記生成ステップは、前記垂直成分の低周波成分から前記実刺激に関する力であるピッチの動揺信号の成分を生成し、前記垂直成分の高周波成分から前記実刺激に関する力であるｚ軸方向の動揺信号の成分を生成し、前記回転成分から前記実刺激に関する力であるロールの動揺信号の成分を生成し、前記水平成分から前記代替刺激に関する力であるロールの動揺信号の成分を生成し、前記拡大成分の低周波成分から前記代替刺激に関する力であるピッチの動揺信号の成分を生成し、前記水平成分から前記代替刺激に関する力であるヨーの動揺信号の成分を生成する処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【０００９】
本発明の一側面の画像処理装置および方法、並びに記録媒体においては、映像の信号から動きベクトルが検出され、検出された動きベクトルの特徴量としての水平成分、垂直成分、拡大成分、および回転成分の４成分が演算され、演算された４成分から、映像が撮影された場合における物理的な条件と同じ条件で刺激を与えることができる実刺激に関する力である動揺信号の成分と、物理的な条件が同じ条件で刺激を与えることが困難な代替刺激に関する力である動揺信号の成分が生成される。また垂直成分の低周波成分から実刺激に関する力であるピッチの動揺信号の成分が生成され、垂直成分の高周波成分から実刺激に関する力であるｚ軸方向の動揺信号の成分が生成され、回転成分から実刺激に関する力であるロールの動揺信号の成分が生成され、水平成分から代替刺激に関する力であるロールの動揺信号の成分が生成され、拡大成分の低周波成分から代替刺激に関する力であるピッチの動揺信号の成分が生成され、水平成分から代替刺激に関する力であるヨーの動揺信号の成分が生成される。
【００１０】
【発明の実施の形態】
図１は、本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。図示されていないビデオテープレコーダなどから供給される映像信号は、ディスプレイなどで構成される表示部１と画像処理装置２に供給される。画像処理装置２は、駆動部３を駆動させるための制御信号（動揺信号）を生成する。
【００１１】
画像処理装置２は、特徴量検出部１１と特徴量処理部１２とから構成されている。画像処理装置２に入力された信号は、特徴量検出部１１に入力され、後述する特徴量が検出され、特徴量処理部１２に出力される。特徴量処理部１２は、入力された特徴量から、駆動部３に供給する動揺信号を算出する。駆動部３は、入力された動揺信号に基づいて、映像を観察する観察者が座る椅子を駆動（動揺）する。この点に付いては、後に後述する。
【００１２】
図２は、特徴量検出部１１の構成を示すブロック図である。特徴量検出部１１に入力された映像信号は、遅延部２１により１フレーム分遅延された後フレームバッファ２２−１に供給されるとともに、フレームバッファ２２−２にも供給される。読み出し部２３−１，２３−２は、メモリ２４に記憶されている所定のパターンに従って、それぞれ対応するフレームバッファ２２−１，２２−２から、映像信号を読み出し、動きベクトル検出部２５に出力する。
【００１３】
動きベクトル検出部２５は、供給された映像信号から動きベクトルを検出し、特徴量演算部２６に出力する。特徴量演算部２６は、入力された動きベクトルから特徴量を演算する。
【００１４】
次に、図２に示した特徴量検出部１１の動作について説明する。時刻ｔにおいて、特徴量検出部１１に入力された映像信号は、遅延部２１とフレームバッファ２２−２に供給される。フレームバッファ２２−２は、入力された１フレーム分の映像信号を記憶する。遅延部２１は、映像信号を１フレーム分だけ遅延するので、時刻ｔにおいて、フレームバッファ２２−１には、時刻ｔより前の時刻ｔ−１における映像信号（時刻ｔより１フレーム前の映像信号）が記憶されている。フレームメモリ２２−１に記憶された時刻ｔ−１における映像信号は、読み出し部２３−１により、フレームメモリ２２−２に記憶された時刻ｔにおける映像信号は、読み出し部２３−２により、それぞれ読み出される。
【００１５】
読み出し部２３−１，２３−２は、それぞれ対応するフレームバッファ２２−１，２２−２に記憶されている映像信号のうち、メモリ２４に記憶されているパターンに対応する部分の映像信号を読み出す。ここで、メモリ２４に記憶されているパターンについて、図３を参照して説明する。
【００１６】
図３は、メモリ２４に記憶されているパターンの一例を示す図である。１フレームを構成する画素のなかで、動揺に関係のない部分、例えば，図４に示したような、自動車に取り付けられたビデオカメラにより撮像された映像信号の場合、自動車のボンネットの部分などは動揺に関係のない領域と判断し、その領域を取り除いた領域の中心に位置する画素を収束点Ｐとする。収束点Ｐを中心として上下左右に対称な代表点Ｑ、例えば、２５個（収束点を含む）のを設定する。各代表点Ｑ毎に、その代表点Ｑが中心に位置する所定の画素数からなるブロックＢ、例えば、３３×３３画素からなるブロックＢを設定する。メモリ２４には、このようなフレームの画面内における各代表点Ｑの座標と、ブロックＢの大きさが、パターンとして記憶されている。
【００１７】
読み出し部２３−１は、フレームバッファ２２−１に記憶されている時刻ｔ−１における映像信号のうち、メモリ２４に記憶されている上述したようなパターンに対応する画素データ、すなわち、代表点Ｑの座標とブロックＢの大きさをもとに、各ブロックＢ内の画素データを読み出し、動きベクトル検出部２５に、参照ブロックのデータとして出力する。同様に、読み出し部２３−２は、フレームバッファ２２−２に記憶されている時刻ｔにおける映像信号のうち、メモリ２４に記憶されているパターンに対応する画素データを読み出し、動きベクトル検出部２５に探索ブロックのデータとして出力する。
【００１８】
動きベクトル検出部２５は、入力された参照ブロックのデータと探索ブロックのデータとを用いて、ブロックマッチングを行うことにより、各代表点Ｑにおける動きベクトルを検出する。従って、この例の場合、２５個の動きベクトルが検出される。
【００１９】
特徴量演算部２６は、動きベクトル検出部２５により検出された２５個の動きベクトルを用いて、そのフレーム（画面）の動揺の水平成分ｕ、垂直成分ｖ、拡大成分ｖzoom、および回転成分ｖrotの合計４成分を、以下に示す式に基づいて算出する。
水平成分ｕ＝（１／ｎ）Σｕi ・・・（１）
垂直成分ｖ＝（１／ｎ）Σｖi ・・・（２）
拡大成分ｖzoom＝（１／ｎ）Σｖzoomi／ｄi ・・・（３）
回転成分ｖrot＝（１／ｎ）Σｖroti／ｄi ・・・（４）
なお、添え字のｉは、代表点Ｑiに付けられた番号を示し、この例では１乃至２５まで変化する。また、ｎは代表点の個数であるので、この例では２５である。式（１）乃至式（４）により求められる値は、２５個の動きベクトルから得られる各成分ｕ、ｖ、ｖzoom、ｖrotの平均値である。
【００２０】
上述した各成分ｕ、ｖ、ｖzoom、ｖrotの関係を図５を参照して説明する。処理対象となっている代表点Ｑiの動きベクトルＴの水平方向の成分をｕiとし、垂直方向の成分をｖiとする。ｄｉは、収束点Ｐから代表点Ｑiまでの距離を表すスカラ量である。また、（Ｐｘ，Ｐｙ）は、収束点Ｐの座標を表し、この座標値を基準として座標（Ｑiｘ，Ｑiｙ）の代表点Ｑiまでの距離が算出される。
【００２１】
この動きベクトルＴの成分（ｕi，ｖi）は、代表点Ｑiを原点としたときの成分である。動きベクトルＴの、収束点Ｐと代表点Ｑiとを結ぶ直線と平行な方向の成分ｖzoomiとし、収束点Ｐと代表点Ｑiとを結ぶ直線と直交する方向の成分をｖrotiとする。また、収束点Ｐと代表点Ｑiとを結ぶ直線と動きベクトルＴとがなす角度をθとする。このとき、ｖzoomiとｖrotiは、次式に従って求められる。
ｖzoomi＝（ｕi 2＋ｖi 2）(1/2)ＣＯＳθ ・・・（５）
ｖroti ＝（ｕi 2＋ｖi 2）(1/2)ＳＩＮθ ・・・（６）
【００２２】
特徴量演算部２６は、動きベクトル検出部２５から出力された動きベクトルから、式（１）乃至式（４）を用いて、特徴量として４成分のデータｕ、ｖ、ｖzoom、ｖrotを算出する。算出された４成分のデータｕ、ｖ、ｖzoom、ｖrotは、特徴量処理部１２（図１）に出力される。
【００２３】
ここで、例えば、観客に対して自動車に乗っている感じを疑似体験させる場合、どのような力（動揺）を観客が座っている椅子に対して加えればよいのかを考える。自動車の椅子に加えられる力には、自動車が坂道などの勾配のある道を走っているときの路面の前後方向の傾きを表現するための力、でこぼこした道の上を走っているときの路面から受ける振動を表現するための力、傾いた路面を走っているときの路面の左右方向の傾きを表現するための力がある。
【００２４】
これらの力は、映像を撮像したビデオカメラが搭載された自動車に対して、実際に加えられた刺激（実刺激）であり、映像を観察する観客の椅子に対しても、この実刺激と同様な力を加えればよい。例えば、実刺激が右に傾いた力であれば、観客の椅子にも右に傾ける力を加えればよい。これらの力は、観客用の椅子の物理的な条件、例えば、椅子は所定の範囲内しか前や後ろに移動させることができないといった条件に左右されることなく加えられる力である。
【００２５】
これに対して、自動車がカーブを曲がるときの遠心力を表現する力、加速や減速のときの慣性力を表現する力、カーブ時の自動車首振りを表現する力は、観客が座っている椅子の重心を移動させることは物理的な条件からできないため、代替的な力（代替刺激）として加える必要がある。例えば、加速時の慣性力を表現するために、椅子を加速的に前に移動させ得ることはできないため、代替刺激を観客の椅子にくわえる必要がある。
【００２６】
以下に、上述した実刺激と代替刺激に関する力、実際に観客用の椅子に対して加える動揺信号の成分、並びに、上述した特徴量演算部２６により演算された４成分の関係を示す。
特徴量処理部１２は、上述した関係を用いて、駆動部３（図１）に供給する動揺信号を生成する。図６は、特徴量処理部１２の構成を示すブロック図である。特徴量検出部１１から出力された４成分のうち、回転成分ｖrotは、加算器３１−１に、水平成分ｕは、加算器３１−２と符号反転器３２−１に、垂直成分ｖは、加算器３１−３に、拡大成分ｖzoomは、加算器３１−５と遅延器３３−３に、それぞれ入力される。加算器３１−１には、加算器３１−１から出力されたデータが、遅延器３３−１で１クロック分遅延された後、フィードバックされて入力される。同様に、加算器３１−３にも、加算器３１−３から出力されたデータが、遅延器３３−２で１クロック分遅延された後、フィードバックされて入力される。
【００２８】
遅延器３３−１から出力されたデータは、加算器３１−２に入力され、遅延器３３−２から出力されたデータは、符号反転器３２−２を介してHPF（High Pass Filter）３４に出力されると共に、LPF（Low Pass Filter）３５−１を介して加算器３１−４にも出力される。加算器３１−５に入力された拡大成分ｖzoomは、遅延器３３−３により１クロック分遅延された拡大成分ｖzoomが減算され、LPF３５−２を介して加算器３１−４に入力される。
【００２９】
次に、特徴量処理部１２が行う動揺信号成分roll、yaw、ｚ、およびpitchの算出について説明する。特徴量処理部１２に入力された回転成分ｖrotは、加算器３１−１に入力される。加算器３１−１は、時刻ｔにおいて入力された回転成分ｖrotと、遅延器３３−１より出力される１単位時間前の時刻ｔ−１のデータとを加算する。加算器３１−１は、このようにして、回転成分ｖrotを累積加算（積分）していくことにより、路面の左右の傾きを表現する動揺信号成分roll（Σｖrot）を算出する。しかしながら、路面の左右の傾きを表現する動揺信号成分rollは、−Σｖrotなので、加算器３１−２は、遅延器３３−１から入力されたデータの符号を反転したデータを演算に用いる。
【００３０】
動揺信号成分roll（水平成分ｕ）は、カーブ時の遠心力を表現するのにも用いられる。そこで、加算器３１−２は、遅延器３３−１から入力されたデータの符号を反転したデータと、水平成分ｕとを加算する（水平成分ｕから遅延器３３−１の出力を減算する）ことにより、駆動部３に供給する動揺信号成分rollを算出する。
【００３１】
カーブ時の自動車首振りの動揺信号成分yawは、水平成分ｕの値を反転することにより得られるので、特徴量処理部１２は、入力された水平成分ｕの値を、符号反転器３２−１により、符号を反転させることに動揺信号成分yawを算出する。
【００３２】
加算器３１−３には、時刻ｔにおいて入力された垂直成分ｖと、遅延器３３−２より出力された１単位時間前の時刻ｔ−１の垂直成分ｖを加算する。このようにして、加算器３１−３において、垂直成分ｖが累積加算（積分）される。そして、加算器３１−３とと遅延器３３−２により累積加算されたデータは、符号反転器３２−２に入力され、符号が反転され、さらにHPF３４により、高周波成分のみが取り出される。このようにして、路面から受ける振動を表現する動揺信号成分ｚが算出される。
【００３３】
また、遅延器３３−２から出力されたデータは、LPF３５−１にも出力され、低周波成分が取り出される。このようにして、路面の前後の傾きを表現する動揺信号成分pitchが算出される。動揺信号成分pitchは、加減速による慣性力を表現する動揺信号成分としても用いられる。そのため、LPF３５−１から出力された動揺信号成分pitchは、加算器３１−４により、慣性力を表現する動揺信号成分pitchと加算される。
【００３４】
慣性力を表現する動揺信号成分pitchは、特徴量処理部１２に入力された拡大成分ｖzoomから算出される。特徴量処理部１２に入力された拡大成分ｖzoomは、加算器３１−５と遅延器３３−３に入力される。加算器３１−５には、時刻ｔにおいて入力された拡大成分ｖzoomtと、遅延器３３−３により１単位時間遅延された時刻ｔ−１における拡大成分ｖzoomt-1が入力される。加算器３１−５は、入力された時刻ｔにおける拡大成分ｖzoomtから、時刻ｔ−１における拡大成分ｖzoomt-1を減算することで、拡大成分ｖzoomを微分する。そして、加算器３１−５から出力された値から、LPF３５−２により、低周波成分が抽出されることにより、加減速による慣性力を表現する動揺信号成分pitchが算出される。
【００３５】
加算器３１−４により、LPF３５−１から出力された値と、LPF３５−２から出力された値とが加算されることにより、駆動部３に供給される動揺信号成分pitchが算出される。
【００３６】
駆動部３の一例を図７と図８に示す。図７は、駆動部３の側面図であり、図８は、駆動部３を上面から見た図である。駆動部３は、６本のピストン４１−１乃至４１−６を備えており、これらのピストンにより台座４２が支えられている。台座４２には、椅子４３が固定されており、この椅子４３の上に観客４４が座るようになされている。
【００３７】
ピストン４１−１乃至４１−６は、それぞれの中心軸に沿って伸縮運動ができるようにされている。ピストン４１−１乃至４１−６が伸縮運動をすることにより、台座４２が動揺し、さらに台座４２に固定されている椅子４３が動揺する。ピストン４１−１乃至４１−６を制御するための信号は、上述したように、特徴量処理部１２により生成され、供給される。
【００３８】
上述したように、本発明においては、動揺信号成分を映像から得られた動きベクトルから算出するようにしたので、予め動揺信号成分を生成し、入力しておく手間を省くことが可能である。また、動揺信号成分が生成されていない映像から、動揺信号成分を容易に生成する事が可能である。
【００３９】
本明細書中において、上記処理を実行するコンピュータプログラムをユーザに提供する提供媒体には、磁気ディスク、CD-ROMなどの情報記録媒体の他、インターネット、デジタル衛星などのネットワークによる伝送媒体も含まれる。
【００４０】
【発明の効果】
本発明によれば、映像合わせて観客用の椅子などを動揺させる装置に供給する動揺信号を容易に生成することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。
【図２】 図１の特徴量検出部１１の構成を示すブロック図である。
【図３】図２のメモリ２４に記憶されているパターンを示す図である。
【図４】処理される画像を示す図である。
【図５】算出されるベクトルを説明する図である。
【図６】図１の特徴量処理部１２の構成を示すブロック図である。
【図７】駆動部３の側面図である。
【図８】駆動部３を上方から見た図である。
【符号の説明】
２ 画像処理装置， １１ 特徴量検出部， １２ 特徴量処理部， ２１ 遅延部， ２２ フレームバッファ， ２３ 読み出し部， ２４ メモリ， ２５ 動きベクトル検出部， ２６ 特徴量演算部， ３１ 加算器， ３２ 符号反転器， ３３ 遅延器， ３４ HPF， ３５ LPF
Claims (3)
- 映像に合わせて動揺を制御する動揺信号を生成する画像処理装置において、
前記映像の信号から動きベクトルを検出する検出手段と、
前記検出手段により検出された動きベクトルの特徴量としての水平成分、垂直成分、拡大成分、および回転成分の４成分を演算する演算手段と、
前記演算手段により演算された前記４成分から、前記映像が撮影された場合における物理的な条件と同じ条件で刺激を与えることができる実刺激に関する力である動揺信号の成分と、前記物理的な条件が同じ条件で刺激を与えることが困難な代替刺激に関する力である動揺信号の成分を生成する生成手段と
を備え、
前記生成手段は、
前記垂直成分の低周波成分から前記実刺激に関する力であるピッチの動揺信号の成分
を生成し、
前記垂直成分の高周波成分から前記実刺激に関する力であるｚ軸方向の動揺信号の成
分を生成し、
前記回転成分から前記実刺激に関する力であるロールの動揺信号の成分を生成し、
前記水平成分から前記代替刺激に関する力であるロールの動揺信号の成分を生成し、
前記拡大成分の低周波成分から前記代替刺激に関する力であるピッチの動揺信号の成
分を生成し、
前記水平成分から前記代替刺激に関する力であるヨーの動揺信号の成分を生成する
画像処理装置。 - 映像に合わせて動揺を制御する動揺信号を生成する画像処理装置の画像処理方法において、
前記映像の信号から動きベクトルを検出する検出ステップと、
前記検出ステップの処理で検出された動きベクトルの特徴量としての水平成分、垂直成分、拡大成分、および回転成分の４成分を演算する演算ステップと、
前記演算ステップの処理で演算された前記４成分から、前記映像が撮影された場合における物理的な条件と同じ条件で刺激を与えることができる実刺激に関する力である動揺信号の成分と、前記物理的な条件が同じ条件で刺激を与えることが困難な代替刺激に関する力である動揺信号の成分を生成する生成ステップと
を含み、
前記生成ステップは、
前記垂直成分の低周波成分から前記実刺激に関する力であるピッチの動揺信号の成分
を生成し、
前記垂直成分の高周波成分から前記実刺激に関する力であるｚ軸方向の動揺信号の成
分を生成し、
前記回転成分から前記実刺激に関する力であるロールの動揺信号の成分を生成し、
前記水平成分から前記代替刺激に関する力であるロールの動揺信号の成分を生成し、
前記拡大成分の低周波成分から前記代替刺激に関する力であるピッチの動揺信号の成
分を生成し、
前記水平成分から前記代替刺激に関する力であるヨーの動揺信号の成分を生成する
画像処理方法。 - 映像に合わせた動揺を制御する動揺信号を供給する画像処理装置を制御するコンピュータに、
前記映像の信号から動きベクトルを検出する検出ステップと、
前記検出ステップの処理で検出された動きベクトルの特徴量としての水平成分、垂直成分、拡大成分、および回転成分の４成分を演算する演算ステップと、
前記演算ステップの処理で演算された前記４成分から、前記映像が撮影された場合における物理的な条件と同じ条件で刺激を与えることができる実刺激に関する力である動揺信号の成分と、前記物理的な条件が同じ条件で刺激を与えることが困難な代替刺激に関する力である動揺信号の成分を生成する生成ステップと
を含み、
前記生成ステップは、
前記垂直成分の低周波成分から前記実刺激に関する力であるピッチの動揺信号の成分
を生成し、
前記垂直成分の高周波成分から前記実刺激に関する力であるｚ軸方向の動揺信号の成
分を生成し、
前記回転成分から前記実刺激に関する力であるロールの動揺信号の成分を生成し、
前記水平成分から前記代替刺激に関する力であるロールの動揺信号の成分を生成し、
前記拡大成分の低周波成分から前記代替刺激に関する力であるピッチの動揺信号の成
分を生成し、
前記水平成分から前記代替刺激に関する力であるヨーの動揺信号の成分を生成する
処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01388399A JP4672094B2 (ja) | 1999-01-22 | 1999-01-22 | 画像処理装置および方法、並びに記録媒体 |
| KR1020000001964A KR100749681B1 (ko) | 1999-01-22 | 2000-01-17 | 영상 신호로부터 움직임 제어 신호를 발생하기 위한 장치 |
| TW089100753A TW594610B (en) | 1999-01-22 | 2000-01-18 | Apparatus for generating motion control signal from image signal |
| US09/488,286 US7031384B2 (en) | 1999-01-22 | 2000-01-20 | Apparatus for generating motion control signal from image signal |
| EP00300427A EP1026633A3 (en) | 1999-01-22 | 2000-01-20 | Technique for generating motion control signal from image signal |
| CNB001011413A CN1182485C (zh) | 1999-01-22 | 2000-01-21 | 从图像信号产生运动控制信号的设备 |
| US11/078,238 US7382830B2 (en) | 1999-01-22 | 2005-03-11 | Apparatus for generating motion control signal from image signal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01388399A JP4672094B2 (ja) | 1999-01-22 | 1999-01-22 | 画像処理装置および方法、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000214755A JP2000214755A (ja) | 2000-08-04 |
| JP4672094B2 true JP4672094B2 (ja) | 2011-04-20 |
Family
ID=11845613
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01388399A Expired - Fee Related JP4672094B2 (ja) | 1999-01-22 | 1999-01-22 | 画像処理装置および方法、並びに記録媒体 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US7031384B2 (ja) |
| EP (1) | EP1026633A3 (ja) |
| JP (1) | JP4672094B2 (ja) |
| KR (1) | KR100749681B1 (ja) |
| CN (1) | CN1182485C (ja) |
| TW (1) | TW594610B (ja) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4599679B2 (ja) * | 2000-07-21 | 2010-12-15 | ソニー株式会社 | 情報処理装置および方法、並びに提示システム |
| US8113839B2 (en) * | 2000-07-21 | 2012-02-14 | Sony Corporation | Information processing apparatus, information processing method, information processing system, and storage medium |
| JP3832431B2 (ja) * | 2002-12-25 | 2006-10-11 | ソニー株式会社 | 画像処理装置 |
| WO2006015335A1 (en) | 2004-07-30 | 2006-02-09 | Wms Gaming Inc. | Gaming machine chair |
| US7717711B2 (en) * | 2004-09-02 | 2010-05-18 | Sean MacDonald | Collapsible motion platform |
| JP4706343B2 (ja) | 2005-06-10 | 2011-06-22 | ソニー株式会社 | 機能可変なベッド兼身体鍛錬器具 |
| JP4218670B2 (ja) * | 2005-09-27 | 2009-02-04 | オムロン株式会社 | 前方撮影装置 |
| JP4535113B2 (ja) * | 2007-10-04 | 2010-09-01 | ソニー株式会社 | 信号提示システム並びに信号取得、蓄積および提示システム |
| RU2010141546A (ru) * | 2008-03-10 | 2012-04-20 | Конинклейке Филипс Электроникс Н.В. (Nl) | Обработки видеоданных |
| US8657376B2 (en) | 2008-10-11 | 2014-02-25 | D-Box Technologies Inc. | Link member for motion-enabled movie theatre chair |
| US9078523B2 (en) | 2008-10-11 | 2015-07-14 | D-Box Technologies Inc. | Electronic display for vibro-kinetic platform |
| US7934773B2 (en) * | 2008-10-11 | 2011-05-03 | D-Box Technologies Inc. | Motion-enabled movie theater seat |
| KR101643600B1 (ko) * | 2009-02-13 | 2016-07-29 | 삼성전자주식회사 | 디지털 동영상 촬영장치 및 디지털 동영상 처리장치 |
| US8678936B2 (en) * | 2009-11-12 | 2014-03-25 | Wms Gaming Inc. | Gaming machine chair and wagering game systems and machines with a gaming chair |
| US8663019B2 (en) * | 2009-11-12 | 2014-03-04 | Wms Gaming Inc. | Gaming machine chair and wagering game systems and machines with a gaming chair |
| US9089786B2 (en) * | 2011-02-22 | 2015-07-28 | D-Box Technologies Inc. | Method and system for reducing vibration of motion-enabled chairs |
| US9004921B2 (en) * | 2011-05-26 | 2015-04-14 | Industrial Smoke & Mirrors, Inc. | Motion and vibration cuing system |
| CN109542849B (zh) * | 2012-09-16 | 2021-09-24 | 吴东辉 | 一种图像文件格式及生成方法及装置及应用 |
| WO2016072120A1 (ja) | 2014-11-07 | 2016-05-12 | ソニー株式会社 | 情報処理システム、制御方法、および記憶媒体 |
| CN105022306B (zh) * | 2015-08-21 | 2017-06-16 | 盐城工学院 | 一种电动4d影院座椅运动强度的调节控制系统 |
| KR101752848B1 (ko) * | 2015-12-30 | 2017-06-30 | 씨제이포디플렉스 주식회사 | 영상 움직임 검출을 이용한 모션 제어 시스템 및 방법 |
| TWI617839B (zh) * | 2017-01-09 | 2018-03-11 | 智崴資訊科技股份有限公司 | 虛擬實境影像的同步播放系統及同步播放方法 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5022708A (en) * | 1989-11-16 | 1991-06-11 | Creative Presentations, Inc. | Mechanical seat apparatus for simulating motion |
| JPH053968A (ja) * | 1991-06-25 | 1993-01-14 | Pioneer Electron Corp | 映像表示、及びその表示に連動する運動装置 |
| JPH06161348A (ja) * | 1992-09-22 | 1994-06-07 | Sony Corp | アミューズメント装置および記録媒体 |
| US5456157A (en) * | 1992-12-02 | 1995-10-10 | Computing Devices Canada Ltd. | Weapon aiming system |
| WO1996021497A1 (en) * | 1993-02-05 | 1996-07-18 | Ridefilm Corporation | A simulator system having an orthogonal motion base |
| JP3086577B2 (ja) | 1993-12-22 | 2000-09-11 | 三洋電機株式会社 | ２次元画像の３次元化方法 |
| KR100256481B1 (ko) * | 1994-06-23 | 2000-05-15 | 윤종용 | 감시용 카메라를 이용한 움직임 적응 감시 기록 장치 및 방법 |
| DE59509929D1 (de) * | 1994-07-06 | 2002-01-24 | Volkswagen Ag | Verfahren zur Ermittlung der Sichtweite, insbesondere für die Bewegung eines Kraftfahrzeuges |
| JP3428151B2 (ja) * | 1994-07-08 | 2003-07-22 | 株式会社セガ | 画像表示装置を用いた遊戯装置 |
| US5987174A (en) * | 1995-04-26 | 1999-11-16 | Hitachi, Ltd. | Image processing apparatus for vehicles |
| US5807114A (en) * | 1996-03-27 | 1998-09-15 | Emory University And Georgia Tech Research Corporation | System for treating patients with anxiety disorders |
| JPH10320590A (ja) * | 1997-05-19 | 1998-12-04 | Honda Motor Co Ltd | 合成映像作成装置及び合成映像作成方法 |
| US5954508A (en) * | 1997-08-20 | 1999-09-21 | Interactive Motion Systems | Portable and compact motion simulator |
| US6007338A (en) * | 1997-11-17 | 1999-12-28 | Disney Enterprises, Inc. | Roller coaster simulator |
| JPH11153949A (ja) | 1997-11-20 | 1999-06-08 | Sony Corp | 体感モーション装置 |
| US6413090B1 (en) * | 1998-03-30 | 2002-07-02 | Hitachi, Ltd. | VR motion base control apparatus and it's supporting structure |
| CN1178467C (zh) * | 1998-04-16 | 2004-12-01 | 三星电子株式会社 | 自动跟踪运动目标的方法和装置 |
| US6113500A (en) * | 1999-03-18 | 2000-09-05 | Cinema Ride, Inc. | 3-D simulator ride |
| WO2000068886A1 (fr) * | 1999-05-11 | 2000-11-16 | Sony Corporation | Processeur d'informations |
| US8113839B2 (en) * | 2000-07-21 | 2012-02-14 | Sony Corporation | Information processing apparatus, information processing method, information processing system, and storage medium |
-
1999
- 1999-01-22 JP JP01388399A patent/JP4672094B2/ja not_active Expired - Fee Related
-
2000
- 2000-01-17 KR KR1020000001964A patent/KR100749681B1/ko not_active IP Right Cessation
- 2000-01-18 TW TW089100753A patent/TW594610B/zh not_active IP Right Cessation
- 2000-01-20 US US09/488,286 patent/US7031384B2/en not_active Expired - Fee Related
- 2000-01-20 EP EP00300427A patent/EP1026633A3/en not_active Withdrawn
- 2000-01-21 CN CNB001011413A patent/CN1182485C/zh not_active Expired - Fee Related
-
2005
- 2005-03-11 US US11/078,238 patent/US7382830B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20050157795A1 (en) | 2005-07-21 |
| CN1182485C (zh) | 2004-12-29 |
| TW594610B (en) | 2004-06-21 |
| KR20000076471A (ko) | 2000-12-26 |
| JP2000214755A (ja) | 2000-08-04 |
| EP1026633A2 (en) | 2000-08-09 |
| US7031384B2 (en) | 2006-04-18 |
| KR100749681B1 (ko) | 2007-08-17 |
| US20030095601A1 (en) | 2003-05-22 |
| CN1262494A (zh) | 2000-08-09 |
| US7382830B2 (en) | 2008-06-03 |
| EP1026633A3 (en) | 2004-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4672094B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
| US8619197B2 (en) | Information processing apparatus | |
| JP5414405B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| CN106170067B (zh) | 用于制作稳像视频的方法和摄像机 | |
| JP2017147682A (ja) | 全天球撮影システム | |
| JP3927340B2 (ja) | バランス能力判定方法およびその装置 | |
| JPH11153949A (ja) | 体感モーション装置 | |
| JP4433581B2 (ja) | 情報処理装置および方法、並びに記録媒体 | |
| WO2021192908A1 (ja) | 追跡方法 | |
| US11107364B2 (en) | Method to enhance first-person-view experience | |
| JP4427699B2 (ja) | 情報処理装置および方法、並びに揺動提示システム | |
| US7050092B2 (en) | Signal processing apparatus, signal processing method, and presentation system | |
| JP2002036843A (ja) | 情報処理装置および方法、情報処理システム、並びに記録媒体 | |
| JP4649712B2 (ja) | 情報処理装置および方法、情報処理システム、並びに記録媒体 | |
| JP4423523B2 (ja) | 情報処理装置および方法 | |
| JP2022003358A (ja) | 振動信号生成装置、振動信号生成方法、プログラム及び記憶媒体 | |
| JP4438191B2 (ja) | 情報処理装置および方法、情報処理システム、並びに記録媒体 | |
| JP2010011343A (ja) | 画像取得装置、画像取得方法、及び移動体 | |
| JP2006098533A (ja) | カメラ手振れ検出方式 | |
| JP2857834B2 (ja) | 目標位置取得方法および目標位置取得装置 | |
| JP2000287114A (ja) | 画像撮像記録装置 | |
| JP3600964B2 (ja) | 移動物体検出装置 | |
| JP2023111078A (ja) | 人の動き分離装置、人の動き分離方法およびプログラム | |
| JP2002300458A (ja) | ビデオカメラの画像補正方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081009 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090616 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090817 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090910 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091209 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20091218 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20100122 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101220 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110119 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140128 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |