WO2000068886A1

WO2000068886A1 - Processeur d'informations

Info

Publication number: WO2000068886A1
Application number: PCT/JP2000/003039
Authority: WO
Inventors: Tetsujiro Kondo; Yuji Okumura; Tetsushi Kokubo; Satoshi Teshigawara
Original assignee: Sony Corporation
Priority date: 1999-05-11
Filing date: 2000-05-11
Publication date: 2000-11-16
Also published as: JP4449217B2; CN1310829A; US20040023718A1; US20100045818A1; KR100724299B1; US7643096B2; US6678328B1; US8619197B2; CN1154957C; KR20010053496A

Description

明細: 情報処理装置

技術分野本発明は、情報処理装置、学習装置、情報処理方法、学習方法及びプログラム記録媒体に関し、特に、乗り物に搭載されたビデオ力メラにより撮像された画像を鑑賞しながら、あたかも、その乗り物に実際に乗っているような臨場感を体験させる臨場感体験装置に対して、その画像の観察者が座る椅子を動揺させる動揺データを生成することができるようにした情報処理装置、学習装置、情報処理方法、学習方法及びプログラム記録媒体に関する。

景技俯乗り物に搭載されたビデオカメラにより撮影された画像をスクリーンに表示させるとともに、その画像を観察する観察者の座席を、その画像に関連して動揺させることで、その観察者が、あたかもその乗り物に乗っているような臨場感を体験させる臨場感体験装置が実現している。

従来、このような座席を動揺させる動揺データは、画像を撮像するとき、その乗り物に取り付けられたセンサから取得されている。あるいは、乗り物から撮像された画像を操作者が見ながら、動揺を予測し、手作業により動揺データを作成している。さらに、所定の動揺デ一夕を仮定して、コンピュータグラフィックスにより画像を生成することも行われている。

しかしながら、センサにより動揺データを取得する方法は、既存の画像から動揺データを生成することができない課題がある。また、操作者が、画像を見ながら手作業により、動揺データを作成する方法は、膨大な作業が必要となり、コスト高となる。さらに、所定の動揺デ一夕に対応する画像をコンビユー夕グラフィックスにより作成する方法は、例えば、予め取得されている F 1の競争用自動車に取り付けたビデオカメラから撮像された画像に基づいて、そのドラィバの運転を体験するといつたような既存の実世界の映像資産を活用することができないという問題点があつた。

発明の開示そこで、本発明は、このような従来の状況に鑑みてなされたものであり、既存の映像資産に基づいて、簡単に、かつ低コストで動揺データを生成することができるようにするものである。

本発明に係る情報処理装置は、ビデオカメラによって撮影された所望の画像信号から検出される上記ビデオカメラの動きを示すカメラ動き推定情報と、上記ビデオカメラによる上記所望の画像信号の撮像と同時に、物理的な動きを検出するセンサによって取得された上記ビデオカメラの物理的な動きを示すカメラ動き情報とに基づいて、学習を行うことによって予め生成された関係情報を記憶する記憶手段と、入力画像信号から、上記入力画像信号に対するカメラ動き推定情報を検出するカメラ動き推定情報検出手段と、上記カメラ動き推定情報検出手段によって検出されたカメラ動き推定情報と、上記関係情報とに基づいて、上記入力画像号に対するカメラ動き予測情報を生成するカメラ動き予測情報生成手段とを備えることを特徴とする。

また、本発明に係る学習装置は、ビデオカメラによって撮像された所望の画像信号からカメラ動き推定情報を検出するカメラ動き推定情報検出手段と、上記ビデオカメラによる上記所望の画像信号の撮像と同時に、物理的な動きを検出するセンサによって取得された上記ビデオカメラの物理的な動きを示すセンサ情報と、上記カメラ動き推定情報とに基づいて、任意の画像信号から上記任意の画像信号を撮像したビデオカメラの動きを表すカメラ動き予測情報を生成するための変換係数を生成する係数生成手段とを備えることを特徴とする。

また、本発明に係る情報処理方法は、ビデオカメラによって撮影された所望の画像信号から検出される上記ビデオカメラの動きを示すカメラ動き推定情報と、上記ビデオカメラにより上記所望の画像信号の撮像と同時に、物理的な動きを検出するセンサによって取得された上記ビデオカメラの物理的な動きを示すカメラ動き情報とに基づいて、学習を行うことによって関係情報を生成するステップと、入力画像信号から、上記入力画像信号に対するカメラ動き推定情報を検出するステップと、検出されたカメラ動き推定情報と、上記関係情報とに基づいて、上記入力画像信号に対するカメラ動き予測情報を生成するステップとを有することを特徴とする。

また、本発明に係る学習方法は、ビデオカメラによって撮像された所望の画像信号からカメラ動き推定情報を検出するステップと、上記ビデオカメラによる上記所望の画像信号の撮像と同時に、物理的な動きを検出するセンサによって取得された上記ビデオカメラの物理的な動きを示すセンサ情報と上記カメラ動き推定情報とに基づいて、任意の画像信号から上記任意の画像信号を撮像したビデオ力メラの動きを表すカメラ動き予測情報を生成するための変換係数を生成するステップとを有することを特徴とする。

また、本発明に係るプログラム記録媒体は、情報処理をコンビュ一夕により実行させるプログラムを記録したプログラム記録媒体であって、上記プログラムは、ビデオカメラによって撮影された所望の画像信号から検出される上記ビデオカメラの動きを示すカメラ動き推定情報と、上記ビデオカメラにより上記所望の画像信号の撮像と同時に、物理的な動きを検出するセンサによって取得された上記ビデオカメラの物理的な動きを示すカメラ動き情報とに基づいて、学習を行うことによって関係情報を生成するステップと、入力画像信号から上記入力画像信号に対するカメラ動き推定情報を検出するステップと、検出されたカメラ動き推定情報と上記関係情報とに基づいて、上記入力画像信号に対するカメラ動き予測情報を生成するステップとを有する情報処理をコンピュータにより実行させるプログラムを記録したことを特徴とする。

さらに、本発明に係るプログラム記録媒体は、学習処理をコンビユー夕により実行させるプログラムを記録したプログラム記録媒体であって、上記プログラムは、ビデオカメラによって撮像された所望の画像信号からカメラ動き推定情報を検出するステップと、上記ビデオカメラによる上記所望の画像信号の撮像と同時に、物理的な動きを検出するセンサによって取得された上記ビデオカメラの物理的な動きを示すセンサ情報と上記カメラ動き推定情報とに基づいて、任意の画像信号から上記任意の画像信号を撮像したビデオカメラの動きを表すカメラ動き予測情報を生成するための変換係数を生成するステップとを有することを特徴とする。

図面の簡単な説明図 1は、本発明を適用した臨場感体験装置の構成例を示す図である。

図 2は、動揺の成分を説明する図である。

図 3は、上記臨場感体験装置における画像動揺データ関係学習装置の構成を示すプロック図である。

図 4は、上記画像動揺デ一夕関係学習装置の動作を説明するフロ —チヤ一トである。

図 5は、代表点を説明する図である。

図 6は、上記画像動揺データ関係学習装置における動き中心計算装置の構成例を示すプロック図である。

図 7は、上記動き中心計算装置の動作を説明するフローチャートである。

図 8は、代表点における評価値を説明する図である。図 9は、代表点における評価値を説明する図である。

図 10は、上記画像動揺データ関係学習装置におけるカメラ動き推定量計算装置の構成を示すブロック図である。

図 1 1は、上記カメラ動き推定量計算装置の動作を説明するフロ一ナヤ一卜である。

図 12は、 3次元空間と 2次元画像の幾何学的関係を説明する図である。

図 13 (A) 、図 13 (B) 、図 13 (C) 及び図 13 (D) は、動き中心に関して対称の位置にある代表点の組を説明する図である。図 14は、上記画像動揺データ関係学習装置におけるカメラ動き量計算装置の構成を示すプロック図である。

図 1 5は、上記カメラ動き量計算装置の動作を説明するフローチヤートである。

図 1 6は、上記カメラ動き推定量とカメラ動き量の対応の学習処理の詳細を説明するフローチヤ一トである。

図 1 7は、カメラ動き推定量の各成分の対応関係を模式的に示す図である。

図 18は、上記臨場感体験装置における動揺データ生成装置の構成を示すプロック図である。

図 19は、上記動揺データ生成装置の動作を説明するフローチヤートである。

図 20は、上記動揺デ一夕生成装置におけるカメラ動き予測量計算装置の構成を示すプロック図である。

図 2 1は、上記動揺データ計算装置の構成を示すプロック図である。図 2 2は、上記動揺データ計算装置の動作を説明するフローチヤ一卜である。

図 2 3は、上記臨場感体験装置における座席の側面図である。図 2 4は、上記座席の平面図である。

図 2 5は、学習処理などを実行するコンピュータシステムの構成を示すプロック図である。

発明を実施するための最良の形態以下、本発明を実施するための最良の形態について図面を参照しながら詳細に説明する。

本発明は、例えば図 1に示すような構成の臨場感体験装置 1 0に適用される。この臨場感体験装置 1 0は、学習処理により動揺デー夕を生成する学習処理部 1 1と、この学習処理部 1 1により生成された動揺データに基づいて、物理的な動揺を与えながら画像を提示する画像提示部 1 2からなる。

学習処理部 1 1は、画像動揺データ関係学習装置 1と動揺データ生成装置 2からなる。画像動揺データ関係学習装置 1は、乗り物に搭載されたビデオカメラにより撮像された画像と、その撮像と同時にセンサにより取得された動揺データから、画像動揺データ関係係数を学習する。動揺データ生成装置 2は、画像動揺データ関係学習装置 1が出力する画像動揺データ関係係数と、乗り物に搭載されたビデオカメラにより撮像された既存の画像（画像動揺データ関係学習装置 1において、画像動揺データ関係係数を生成するのに用いられた画像とは異なる画像であって、センサから取得された対応する動揺データが存在しない画像）に基づいて、動揺データを生成する。画像提示部 1 2は、画像提示装置 3、駆動制御装置 5や同期制御装置 7からなる。学習処理部 1 1の動揺データ生成装置 2により生成された動揺データは、座席 6を駆動する駆動制御装置 5に供給される。また、動揺デ一夕生成装置 2により生成された動揺デ一夕に対応する画像は、例えばビデオテープレコーダなどにより構成される画像提示装置 3に供給される。画像提示装置 3は、提供されたビデォテープに記録されている画像を再生し、スクリーン 4に表示させる。座席 6に座っている視聴者は、このスクリーン 4に表示された画像を見る。同期制御装置 7は、画像提示装置 3と駆動制御装置 5を同期して動作させ、また、停止させるように制御する。

図 2は、スクリーン 4と座席 6の関係を表している。座席 6に座つている観察者に、スクリーン 4に表示されている画像を見ながら、あたかも乗り物に乗っているような臨場感を体験させるために、駆動制御装置 5は、座席 6を動揺データに基づいて動揺させる。この動揺は、 X , Y， Ζの 3軸回りの回転成分（ r o l l , p i t c h , y a w ) と 3軸方向の並進成分（x， y , z ) により構成される。画像動揺データ関係学習装置 1は、例えば図 3に示すように構成される。動きべクトル計算装置 2 1は、入力されたフレーム単位の画像データについて、画面全体に渡って少なくとも上下左右対称な点を含むように格子点状に予め与えられた代表点としての画素デ一夕に基づき、例えば現在のフレームと 1フレーム前の過去のフレームとの間で動きべクトルを計算し、動き中心計算装置 2 2とカメラ動き推定量計算装置 2 3に出力する。動き中心計算装置 22は、例えば自動車に搭載したカメラにより走行方向前方を撮影した画像について、各代表点における動きべクトルの値から、画面全体の画像の動き中心（ 1点透視における無限遠点）座標を求め、カメラ動き推定量計算装置 23に出力する。カメラ動き推定量計算装置 2 3は、動き中心に対する代表点の相対座標、代表点における動きベクトル、、びに 3次元空間とそれをビデオカメラで撮影した結果の 2次元画像との幾何学的関係から、 1フレーム周期当たりのビデオカメラの位置と姿勢の変化の推定量を表すカメラ動き推定量を成分（Vx ， Vy ， Vz , Wx , Wy ,

Wz ) 毎に異なる個数計算し、関係係数学習装置 2 5に出力する。カメラ動き量計算装置 24は、カメラ動き推定量と物理量（単位時間当たりの距離又は角度）がー致するようにセンサにより取得された動揺データから、実際にカメラが動いた量（m/秒又は r ad /秒）を表すカメラ動き量を成分（x，， y，， z，， r o l l，， p i t c h' , aw' ) 毎に計算し、関係係数学習装置 2 5に出力する。

関係係数学習装置 2 5は、カメラ動き推定量計算装置 23から供給される複数個のカメラ動き推定量と、それに時間的に対応する、カメラ動き量計算装置 24から供給される 1つのカメラ動き量との対応を表す画像動揺データ関係係数を成分毎に学習する。

次に、図 4のフローチャートを参照して、その動作について説明する。最初に、ステップ S 1において、動きベクトル計算装置 2 1 は、所定のシーンの初めから終わりまでの画像（例えば、自動車が走行を開始してから停止するまでの画像）における、予め設定されている代表点におけるフレーム間での動きべクトルを計算する。代表点には、例えば図 5に示すように、 1枚の画面（フレーム）の全体に渡って、格子点上の所定の位置の 4 X 5個の画素が割り当てられている。

動きべクトル計算装置 2 1により計算された動きべクトルは、動き中心計算装置 2 2に供給される。動き中心計算装置 2 2は、ステップ S 2において、入力された jきベクトルに応じて、動きの中心座標の計算処理を実行する。動き中心計算装置 2 2は、例えば図 6 に示すように構成されている。

絶対値器 4 1は、動きべクトル計算装置 2 1より供給された動きべクトルのうちの水平成分の絶対値を求め、加算器 4 2に出力する。加算器 4 2は、絶対値器 4 1より入力された値と、レジス夕 4 3より入力された値とを加算し、レジス夕 4 3に出力する。レジス夕 4 3は、加算器 4 2より入力された値を保持し、加算器 4 2に出力するとともに、メモリ 4 4に出力する。メモリ 4 4は、レジス夕 4 3 より入力された値を代表点毎に記憶する。

すなわち、メモリ 4 4には、例えば図 5に示す（ i = 1 , j = 1 ) の代表点のシーンの初めから終わりまでの動きべクトルの水平方向成分の絶対値の和が記憶される。また、その他の座標（ i , j ) の代表点の動きべクトルの水平方向成分の絶対値の和も記憶される。

最小値検出器 4 5は、メモリ 4 4に記憶されている各代表点の水平成分の絶対値の総和（以下、評価値とも称する）のうち、同一の水平ライン上の代表点の中の最小値を検出する。すなわち、最小値検出器 4 5は、例えば図 5に示す i 二 1のラインの 5個の代表点に対応する評価値の中から最小値を有する代表点を選択する。同様に、最小値検出器 4 5は、 i = 2〜4の各ライン上の代表点に対応する評価値のうち、最小値を有する代表点を選択する。

動き中心水平面素位置決定器 4 6は、最小値検出器 4 5より供給される 5個の最小の評価値を有する代表点に対応する水平方向の座標から、多数決、メディアン、平均などを演算することで、動き中心水平面素位置を検出する。

絶対値器 4 8は、動きべクトル計算装置 2 1より供給された動きベクトルのうち、垂直成分の絶対値を求め、加算器 4 9に出力する。加算器 4 9は、絶対値器 4 8より供給された値と、レジス夕 5 0より入力された値とを加算し、レジス夕 5 0に出力し、保持させる。レジスタ 5 0により保持された値は、加算器 4 9に供給されるとともに、メモリ 5 1に供給され、記憶される。メモリ 5 1には、シ一ンの初めから終わりまでの各フレームの代表点における動きべクトルの垂直成分の絶対値の総和（以下、これを評価値とも称する）が記憶される。

最小値検出器 5 2は、メモリ 5 1に記憶された評価値の中から各列（垂直方向のライン）毎に最小値を検出し、その最小値に対応する代表点の垂直座標を、動き中心垂直画素位置決定器 4 7に出力する。例えば、図 5の例においては、最小値検出器 5 2は、 j = l〜 5の各列毎の評価値のうち、最小の評価値を有する代表点の垂直座標を、動き中心垂直画素位置決定器 4 7に出力する。

動き中心垂直画素位置決定器 4 7は、最小値検出器 5 2より入力された複数の垂直座標デ一夕の中から、動き中心水平面素位置決定器 4 6より供給される水平座標に対応する代表点の垂直座標を動き中心の垂直画素位置として選択する。次に、図 7のフローチャートを参照して、動き中心計算装置 2 2 の動作について説明する。ステップ S 2 1において、代表点毎にシーンの初めから終わりまでの動きべクトルの水平成分の絶対値の総和が演算される。このため、絶対値器 4 1は、動きべクトル計算装置 2 1より入力された各代表点の動きべクトルのうち、水平成分の絶対値を求め、加算器 4 2に出力する。加算器 4 2は、レジス夕 4 3に保持されている過去の値と、絶対値器 4 1より供給された値とを加算する処理を繰り返す。その結果、レジス夕 4 3には、シーンの初めから終わりまでの各代表点毎の絶対値の総和（評価値）が保持され、これがメモリ 4 4に記憶される。

ステップ S 2 2において、水平方向に並ぶ代表点の絶対値の総和が最小となるその代表点の水平方向の座標を動き中心の水平座標とする処理が行われる。このため、最小値検出器 4 5は、メモリ 4 4 に記憶されている各代表点のシーンの初めから終わりまでの動きべクトルの水平成分の絶対値の総和（評価値）の中から、各ライン毎に最小値を検出する。

例えば、図 8に示すように、 i = 1のラインの各代表点の評価値の中から、最小の値のものが検出され、その検出された代表点の水平方向の座標が動き中心水平画素位置決定器 4 6に出力される。図 8に示す i = 1の行において、 j = 2の列の代表点の評価値が最小である場合、この座標（ 1 , 2 ) の代表点の水平方向の座標が、動き中心水平画素位置決定器 4 6に出力される。同様にして、図 8に示す i = 2の行の j = 4の代表点、 i = 3の行の j = 3の代表点、並びに i = 4の行の j = 3の代表点の評価値が、それぞれ各行において最も小さい値であるとすると、代表点（2 , 4 ) の水平方向の座標、代表点（3 , 3 ) の代表点の水平方向の座標、並びに、代表点（4， 3 ) の水平方向の座標が、動き中心水平画素位置決定器 4 6に供給される。

動き中心水平画素位置決定器 4 6は、各ラインの水平方向の座標に対して多数決、メディアン、又は平均などの処理を施して、動き巾心水平画素位置を決定する。多数決の原理に従う場合、図 8の例では、 j = 2の列と j = 4の列が 1個であり、 j = 3の列が 2個であるから、： i = 3の水平方向の座標が動き中心水平画素位置とされる。メディアン処理の場合においても、図 8の例においては、 j = 2〜 j = 4までの 3列の代表点が存在し、その中間の列は j = 3の列であるから、 j = 3の代表点の水平座標が動き中心水平面素位置とされる。平均処理の場合、図 8の例においては、代表点（ 1， 2 ) 、代表点（ 2 , 4 ) 、代表点（ 3， 3 ) 及び代表点（ 4， 3 ) の各座標の水平座標の平均値が動き中心水平画素位置とされる。ステヅプ S 2 3においては、ステップ S 2 1における場合と同様の処理が、動きベクトルの垂直成分に関して実行される。すなわち、絶対値器 4 8により、動きべクトル計算装置 2 1より供給される動きベクトルの中から、垂直成分の絶対値が演算され、加算器 4 9とレジス夕 5 0により、その絶対値の総和が代表点毎に演算される。そして、演算された値が、メモリ 5 1に記憶される。ステップ S 2 4において、動き中心の水平座標と等しい水平座標を持つ代表点で、絶対値の総和が最小となる代表点の垂直座標が、動き中心の垂直座標とされる処理が実行される。

すなわち、最小値検出器 5 2は、メモリ 5 1に記憶された各列の代表点の中から、最小の評価値を有する代表点を選択する。例えば、図 9に示すように、 j = 1の列においては i = 2の代表点が、 j = 2の列においては 1 = 3の行の代表点が、 j = 3の列においては i = 2の代表点が、 j = 4の行においては i = 1の代表点が、 j = 5 の列においては i = 2の代表点が、それぞれ最小の評価値を有する場合、代表点（ 2 , 1 ) 、代表点（ 3 , 2 ) 、代表点（ 2 , 3 ) 、代表点（ 1 , 4 ) 及び代表点（ 2 , 5 ) の垂直座標が、動き中心垂直画素位置決定器 4 7に供給される。

動き中心垂直面素位置決定器 4 7は、最小値検出器 5 2より供給された垂直座標の中から、動き中心水平画素位置決定器 4 6より供給された水平面素の水平座標を有する代表点に対応する代表点の垂直座標を動き中心垂直画素位置として決定する。図 8と図 9に示す例の場合、 j = 3の列の水平座標が水平画素位置とされているため、代表点（ 2 , 3 ) の垂直座標が、動き中心垂直面素位置とされる。以上のようにして、動き中心計算装置 2 2により計算された動き中心座標は、図 3のカメラ動き推定量計算装置 2 3に供給される。図 4に戻って、ステップ S 2の動きの中心座標計算処理が完了したとき、次にステップ S 3に進み、カメラ動き推定量計算装置 2 3 によりカメラ動き推定量計算処理が実行される。このカメラ動き推定量計算装置 2 3は、例えば、図 1 0に示すように構成されている。動きべクトル計算装置 2 1より出力された動きべクトルは、動きべクトル選択器 6 2— 1〜 6 2— 4に入力される。この例の場合、動きベクトル選択器 6 2— 1は、動きベクトルのうち、その水平成分を取り込み、動きベクトル選択器 6 2— 2は、その垂直成分を取り込む。動きべクトル選択器 6 2— 3、 6 2— 4は、水平成分と垂直成分の両方を取り込む。動き中心計算装置 22より出力された動き中心座標は、代表点位置決定器 6 1— 1〜6 1— 4に入力される。代表点位置決定器 6 1 一 1〜6 1— 4は、入力された動き中心座標から求めるべきカメラ動き推定量の成分に応じて、カメラ動き推定量の計算に用いられる動きべクトルの値を参照する代表点の位置を決定し、対応する動きべクトル選択器 62—：！〜 62— 4に出力する。

動きべクトル選択器 62—：！〜 62— 4は、入力された 1フレーム間のすべての代表点における動きベクトルの水平成分と垂直成分の一方から、代表点位置決定器 6 1 - 1-6 1—4から入力された代表点位置に基づき、カメラ動き推定量の計算に用いる動きべクトルの値を選択する。加算器 63 - 1又は加算器 63— 2は、それぞれ動きべクトル選択器 62 - 1又は動きべクトル選択器 62— 2の出力と、レジス夕 65— 1又はレジス夕 6 5— 2の出力を加算し、レジス夕 65— 1又はレジス夕 6 5— 2に出力する。レジスタ 65 一 1の出力は、加算器 63— 1に出力されるとともに、メモリ 66 一 1に出力され、記憶される。メモリ 66— 1から読み出されたデ一夕は、口一パスフィルタ（L P F) 67— 1により、その低域成分が抽出され、成分 w_z として出力されるとともに、ハイパスフィル夕（HPF) 68 - 1により、その高域成分が抽出され、成分 V y として出力される。

同様に、レジス夕 6 5— 2に記憶されたデ一夕は、加算器 63一 2に出力されるとともに、メモリ 66— 2に出力され、記憶される。メモリ 66— 2に記憶されたデータは、ローパスフィル夕（L P F) 6 7— 2により、その低域成分が抽出され、成分 w_y として出力されるとともに、ハイパスフィル夕（HP F) 68— 2により高域成分が抽出され、成分 V _Z として出力される。

減算器 64— 1は、動きベクトル選択器 6 2— 3の出力から、レジス夕 6 5— 3の出力を減算し、レジス夕 6 5— 3に出力する。レジス夕 6 5— 3の出力は、減算器 64— 1に出力されるとともに、メモリ 66— 3に供給され、記憶される。メモリ 6 6— 3より読み出されたデータは、割器 69— 1に入力され、代表点位置決定器 6 1一 3が出力する代表点の相対座標 p, qにより割算された後、成分 V .x として出力される。

同様に、減算器 64— 2は、動きべクトル選択器 6 2— 4より出力されたデータから、レジスタ 6 5— 4より出力されたデ一夕を減算し、レジスタ 6 5— 4に出力する。レジス夕 6 5— 4より出力されたデ一夕は、減算器 64— 2に出力されるとともに、メモリ 6 6 一 4に出力され、記憶される。メモリ 6 6— 4より読み出されたデ一夕は、割算器 6 9— 2に入力され、代表点位置決定器 6 1— 4が出力する代表点の相対座標 P， qにより割算された後、成分 w_x として出力される。

次に、図 3のカメラ動き推定量計算装置 2 3の動作について、図 1 1のフローチャートを参照して説明する。このカメラ動き推定量計算処理においては、図 1 2に示すように、 3次元空間と 2次元画像の幾何学的関係が利用される。すなわち、図 1 2において、動き中心（ 0 , 0) に対する代表点 iの相対座標を（pi ， _{q i} ) 、この代表点における動きベクトルを（U i ， V i ) 、この代表点に写つている被写体の 3次元空間におけるビデオカメラから見た奥行きを r i 、ビデオカメラの 3軸方向の並進速度を（_Vx , ν.ν ， ν 、ビデオカメラの 3軸回りの回転の角速度を（Wx , Wy , Wz ) ビデオカメラの焦点距離を f とすると、図 12に示す 3次元空間と、それをビデオカメラで撮影した結果の 2次元画像との幾何学的関係から、次式が成立する。

すなわち 3次元空間中の点（Z， Y， X) は、ビデオカメラと相対的に次のように運動する。

画面座標（p, q) の点に対する平面 X= t Z + s Y + r上の点

X) は、

r q

z = (2) f 一 t q- s p

r p

Y = (3) f 一 t q- s p

r f

X = (4) f 一 t q- s p

であるから、

f f — t q— (5) X r

となる。また、透視変換の関係式

Y

P = f

x (6) z

f (7) q = x

を時間微分することにより

Y 一 _f YX f Y-pX

P = f (8)

X X X Z ZX f Z - p X q = f f

X X² x - (9) となる。

式（ 1) 、式（5) 、式（8) 、式（9) と t = 0, s = 0より X, Υ Ζ, X Υ, Ζを消去して、

U i = ) W r

( 10) q

V i = —— i f ^ ヽ

V x V z + p i W x + ( f +— r- ) W y PiQ ~i W z

Γ i Γ i f f

( 1 1) なる関係式が得られる。

上記式の関係から、直線 p= 0又は直線 q= 0上の、動き中心 (0 0) に関して対称の位置にある 2つの代表点における動きべクトルに基づいて、カメラ動き推定量（V x , V y , V z , Wx ,

Wv , w_z ) は、次式で表される。ただし、対となる 2点では、被写体の奥行き rはほぼ等しいものと仮定している。

W z + v ( U q + U - q ) (P= 0 ) ( 12) r 2 f

1

Wy + v ( V p + v- p) (q = 0 ) ( 13) r 2 f

上記式において、直線 p = 0上の対称位置にある 2つの代表点の動きべクトルは、それぞれ（Uq , Vq ) 、又は（U— q, V— J と表され、直線 q = 0上の 2つの代表点の動きベクトルは、（u_P ，

V _P ) 又は（U _P， V-p) と表される。

図 1 0の最上行の系（代表点位置決定器 6 1— 1〜ハイパスフィル夕（HP F) 68 - 1 ) は、上記した式（ 1 2) の演算を行うためのものであり、上から 2番目の系（代表点位置決定器 6 1— 2〜ハイパスフィル夕（HP F) 68 - 2 ) は、式（ 1 3) に示す演算を行うためのものであり、上から 3番目の系（代表点位置決定器 6 1— 3〜割算器 69— 1 ) は、式（ 1 4) の演算を行うためのものであり、最下行の系（代表点位置決定器 6 1— 4〜割算器 69— 2 ) は、式（ 1 5 ) の演算を行うためのものである。

代表点位置決定器 6 1— 1は、上記した式（ 1 2) の演算を行うための代表点位置を決定するものであり、図 1 3 (Α) に示すように、直線 Ρ = 0上に位置する代表点であって、動き中心に関して対称の位置にある 2つの代表点を決定する。

代表点位置決定器 6 1— 2は、式（ 1 3 ) の演算を行うための代表点位置を決定するものであり、図 1 3 (Β) に示すように、直線 q = 0上の動き中心に対して対称の位置に位置する 2つの代表点を選択する。

式（ 14) の演算を行う代表点を決定する代表点位置決定器 6 1 一 3は、図 1 3 (C) に示すように、動き中心に対して対称の位置にある直線 P = 0上の 2つの代表点及び直線 q = 0上の 2つの代表点を選択する。

式（ 1 5) の演算を行うための代表点を決定する代表点位置決定器 6 1—4は、図 1 3 (D) に示すように、直線 p = 0上の 2つの代表点及び直線 q = 0上の 2つの代表点を選択する。

代表点位置決定器 6 1— 1は、図 1 3 ( A) に示す 1組の代表点の動きべクトルの水平成分だけを選択するようにしてもよいが、より正確を期するために、 1フレームにおいて、複数組の代表点の動きべクトルの水平成分を選択する。図 13 (A) の例においては、合計 4組の代表点の組が選択されている。なお、図中、中央に示す動き中心上に位置する代表点については、 2つの代表点の水平成分が、それぞれ同一であるとして処理される。

代表点位置決定器 6 1— 2も、代表点位置決定器 6 1— 1と同様に、図 1 3 (B) に示す代表点の組のうち、少なくとも 1つの組の代表点の動きべクトルの垂直成分を選択すればよいのであるが、より正確を期するために、合計 4組の代表点の組の垂直成分を選択する ο

代表点位置決定器 6 1— 3は、式（ 14) のうち、上の式と下の式のいずれを用いてもよいのであるが、より正確を期するために、両方を用いて代表点を選択する。図 1 3 (C) の例においては、直線 p = 0の上の 3組の代表点と、直線 q= 0上の 3組の代表点が選択されている。

同様に、代表点位置決定器 6 1— 4は、式（ 1 5) に示すように、上の式と下の式のいずれを用いてもよいのであるが、より正確を期するために、両方を用いる。この場合、図 13 (D) に示すように、図 1 3 (C) に示す場合と同様に、直線 p = 0上に配置されている 3組の代表点だけでなく、直線 q = 0上の 3組の代表点が選択される。図 1 1に戻って、ステップ S 42において、動きベクトル選択器 6 2— 1〜 62— 4は、それぞれ対応する代表点位置決定器 6 1 - 1〜6 1— 4で決定された数組の 2つの代表点の動きべクトルを選択する。図 1 0の動きべクトル選択器 62― 1においては、式（ 1 2 ) を演算する動きベクトルとして、直線 p== 0上の 2つの代表点の水平成分 U q , u-_qが選択される。動きベクトル選択器 62— 2 においては、式（ 1 3 ) の演算を行うために、直線 q= 0上の 2つの代表点の動きベクトルの垂直成分 v _P ， V _Pが選択される。

動きべクトル選択器 6 2 - 3においては、式（ 1 4 ) の演算を行うために、直線 q = 0上の 2つの代表点の動きべクトルの水平成分 U p , u-pと、直線 p = 0上の 2つの代表点の動きベクトルの垂直成分 Vq , V— qが選択される。動きベクトル選択器 62— 4においては、式（ 1 5 ) の演算を行うために、直線 p = 0上の 2つの代表点の動きベクトルの水平成分 u_q ， u-qと、直線 q = 0上の 2つの代表点の動きベクトルの垂直成分 V _P , V -pが選択される。

ステップ S 43において、上記した式（ 1 2 ) 〜式（ 1 5 ) において禾 IJ用される U q + U - q， V p + V -p , U p — U -p, Vq - V-q , U q " U -q, V p — V— pが演算される。

すなわち、加算器 63— 1は、動きべクトル選択器 62— 1から最初の代表点の動きべクトルの水平成分 u qが供給されると、これをレジス夕 65— 1に供給し、記憶させ、次の代表点の動きべクトルの水平成分 u—_qが供給されると、これを加算器 63— 1でレジス夕 65— 1に保持されている成分 uqと加算し、加算した値（u_q + u- _q) をレジス夕 6 5— 1に保持させる。

レジス夕 65— 1に保持されたデ一夕は、さらにメモリ 66— 1 PC

/68886

22 に供給され、保持される。

加算器 6 3— 2は、動きべクトル選択器 6 2— 2から、最初の代表点の動きべクトルの垂直成分 V— pが供給されると、これをレジス夕 6 5— 2に供給し、保持させる。次に、代表点の動きベクトルの垂直成分 v_f> が供給されると、これをレジス夕 6 5— 2に保持されている成分 ν— ,'と加算し、加算した値（ν,, + v- p ) をレジス夕 6 5— 2に供給し、保持させる。このデ一夕は、さらに、メモリ 6 6 一 2に供給され、記憶される。

減算器 64— 1は、動きべクトル選択器 6 2一 3から最初の代表点の動きべクトルの水平成分 U- pが供給されたとき、これをレジス夕 6 5— 3に供給し、保持させ、次の代表点の動きベクトルの水平成分 u_P が供給されると、これからレジス夕 6 5— 3に保持されている値 u を減算し、その減算した値（u_P - u- p ) をレジス夕 6

5— 3に保持させる。このデータは、レジス夕 6 5— 3からメモリ

6 6 - 3に供給され、記憶される。同様に、値（v_q - v-_q) も演算され、メモリ 6 6— 3に記憶される。

減算器 64— 2は、動きべクトル選択器 6 2一 4より供給された最初の代表点の動きべクトルの水平成分 u—_qをレジス夕 6 5 - 4に供給し、保持させ、次の代表点の動きべクトルの水平成分 iiq が供給されると、これからレジスタ 6 5— 4に保持されている成分 u-_q を減算し、その減算した値（L — u-_q) をレジス夕 6 5— 4に供給し、保持させる。レジス夕 6 5— 4に保持されたデ一夕は、さらにメモリ 6 6— 4に供給され、記憶される。同様に、値（v_P — V - P ) も演算され、メモリ 6 6— 4に記憶される。

次に、ステップ S 44に進み、成分 W z と成分 v_y を分離する処理、成分 Wy と成分 V z を分離する処理、さらに記憶されている値を代表点の座標値 p又は座標値 qで割算する処理が実行される。すなわち、式（ 12) に示すように、メモリ 66— 1に記憶されているデータ (u_q +u-_q) は、カメラ動き推定量のうち、成分 w z と成分 V y の和（W z + ( 1 /r ) V y ) に比例している。動揺の性質として、並進運動（V _X ， V y , V z ) は、主に高周波成分で構成され、回転運動（Wx , Wy ， W z ) は、主に低周波成分で構成される。そこで、メモリ 66— 1に記憶されているデータ（u _q +u-_q) から口一パスフィル夕（ L P F) 67— 1により低域成分を抽出することで、成分 w_z を得、また、ハイパスフィル夕（H PF) 68— 1で高域成分を抽出することで、成分 v_y を得る。なお、（一 1/ (2 f ) ) の比例定数は、後述する学習処理により予め学習される。

また、メモリ 66— 2に記憶されているデ一夕（_Vp +v p) は、式（ 13) に示すように、成分 w_y と成分 v_z の差（w_y — ( 1/ r ) w_z ) に比例している。そこで、メモリ 66— 2に記憶されているデ一夕から、口一パスフィル夕（LPF) 67— 2により低域成分を抽出することで、成分 w_y を抽出し、また、ハイパスフィル夕（HPF) 68— 2により高域成分を抽出することで、成分 v_z を抽出する。

なお、式（ 13) における比例定数（一 1/ ( 2 f ) ) も学習処理により、予め学習される。

メモリ 66— 3に記憶されているデ一夕（up — u- p) 、又はデ —夕（v_q — V _q) は、式（ 14) に示すように、その値を、相対座標 p又は座標 qで割算した値が、成分 v_x に比例する。そこで、 P

68886

24 割算器 69— 1は、メモリ 6 6— 3よりデータ（U P -u-p) が読み出されたとき、代表点位置決定器 6 1一 3より供給される代表点の水平座標 Pに基づいてこれを割算し、割算した結果を出力する。また、メモリ 6 6— 3からデータ（v _q — V— _q) が読み出されてきたとき、このデ一夕は、代表点位置決定器 6 1— 3より供給される垂直座標 qで割^され、出力される。

同様に、割算器 6 9— 2は、メモリ 6 6— 4よりデ一夕（u_q ― u-_Q) が読み出されてきたとき、その値を式（ 1 5 ) で示すように、成分 w_x に比例させるために、代表点位置決定器 6 1— 4より供給された相対座表の垂直成分 qで割算する。また、データ（v _P — V - p) が供給されてきたとき、割算器 6 9— 2は、この値を、代表点位置決定器 6 1— 4より供給された相対座標の垂直成分 pで割算する o

なお、式（ 1 4) における成分（ 1/r ) は、学習により処理され重み係数に含まれる。式（ 1 5 ) における成分（ 1/2) も、学習により処理される。

以上のようにして、図 3のカメラ動き推定量計算装置 2 3により計算されたカメラ動き推定量は、関係係数学習装置 2 5に供給される。

図 4に戻って、ステップ S 3でカメラ動き推定量計算処理が実行された後、次に、ステップ S 4において、図 3のカメラ動き量計算装置 24により、カメラ動き量計算処理が実行される。カメラ動き量計算装置 24は、例えば、図 1 4に示すように構成されている。図示せぬセンサからの動揺データは、 3軸方向の加速度（X " ， y"， z" ) と、 3軸を中心とした回転の角速度（ r 0 1 1，，。，

/68886

25 i t c h' , yaw' ) で構成されている。加速度 x" , y" , ζ " は、それぞれ加算器 82— 1、加算器 8 2— 2、又は減算器 8 1 に入力されている。加算器 82— 1は、入力された加速度 X" と、レジス夕 83— 1に記憶されている値とを加算することで積分し、レジス夕 83— 1に出力する。レジス夕 83— 1の出力は、加算器 82— 1に出力されるとともに、メモリ 84— 1に供給され、記憶される。 D C成分除去器 8 5— 1は、メモリ 84— 1に記憶されたデータから D C (直流）成分を除去して、カメラ動き量の成分 X ' として出力する。センサより取得された動揺データには、誤差が重畳されているので、これを単純に積分すると、誤差が蓄積してしまうので、 D C成分除去器 8 5— 1により積分した値から、 D C成分が取り除かれる。

加算器 82— 2は、入力されたセンサ出力 y" に、レジス夕 83 一 2に保持されている過去の値を加算し、レジス夕 83— 2に出力することで、センサ出力 y" を積分し、メモリ 84— 2に出力し、記憶させる。 D C成分除去器 8 5— 2は、メモリ 84— 2により読み出されたデ一夕から D C成分を除去し、カメラ動き量のうち成分 y' として出力する。

減算器 8 1は、センサの出力 z" から重力の加速度 gを減算し、加算器 82— 3に出力する。加算器 82— 3は、減算器 8 1からの入力に、レジス夕 83— 3が保持している過去の値とを加算し、レジス夕 83— 3に出力することで、データ（z" -g) を積分させ、メモリ 84— 3に供給し、記憶させる。メモリ 84— 3に記憶されたデータは、 D C成分除去器 85— 3で D C成分を除去された後、カメラ動き量のうち、成分 z ' として出力される。 68886

26 センサからの動揺データのうち、角速度（r o l l' , p i t c h，， yaw' ) は、それぞれ、そのままカメラ動き量のうちの成分（r o l l，， p i t c h，， yaw' ) として出力される。次に、図 1 5のフローチャートを参照して、図 14のカメラ動き量計算装置 24の動作について説明する。ステップ S 6 1において、センサからの動揺データ r o 1 1，， p i t c h' ， yaw' が入力されると、これらのデータはそのまま関係係数学習装置 2 5に出力される。

次に、ステップ S 6 2において、カメラ動き推定量と物理量（速度）がー致するように、並進運動の 3成分に関し、次式に従って、積分処理が実行される。

X， =∑ X，， ( 1 6)

y，二∑y，， ( 1 7)

z，二∑ ( z，，一 g) ( 1 8)

すなわち、加算器 8 2— 1とレジスタ 83 - 1は、共働してセンサ出力 X" を積分し、メモリ 84— 1に出力し、記憶させる。同様に、加算器 82— 2とレジス夕 8 3— 2は、共働してセンサ出力 y " を積分し、メモリ 84— 2に出力し、記憶させる。さらに、加算器 82— 3とレジス夕 83— 3は、減算器 8 1より入力された値 ( z" - g) を積分し、メモリ 84— 3に供給し、記憶させる。ステツプ S 63においては、ステツプ S 63で得られた積分出力から直流成分を除去する処理が実行される。すなわち、 D C成分除去器 85—：！〜 8 5— 3は、それそれメモリ 84— 1〜 84 - 3に記憶されたデ一夕から、直流成分を除去し、カメラ動き量の成分 X ' , y ' , z ' として出力する。 /68886

27 カメラ動き量計算装置 24により計算されたカメラ動き量（χ，， y，， z ' ， r o l l ' , p i t c h' , y aw' ) は、関係係数学習装置 25に供給される。

図 4に戻って、ステップ S 4におけるカメラ動き量計算処理が終了したとき、次に、ステップ S 5に進み、複数個のカメラ動き推定量と 1つのカメラ動き量の対応の学習処理が、関係係数学習装置 2 5において実行される。この関係係数学習装置 25の処理の詳細は、図 16のフローチャートに示されている。

すなわち、最初にステップ S 7 1において、カメラ動き推定量計算装置 23により計算されたカメラ動き推定量（Vx , Vy , Vz , Wx ， Wy , Wz ) には、動きベクトル検出の誤差、小物体動きの混入、仮定した 3次元空間の対称性の不成立などに起因して、すべての対称点の組で正確な値が求められるわけではない。また、カメラの焦点距離 f、被写体の奥行き r、カメラ動き推定量の単位（ピクセル/フレーム周期）とカメラ動き量の単位（niZs , r a d/ s ) との間の変換係数は不定である。そこで、 1つのカメラ動き量を、複数個のカメラ動き推定量の線形 1次結合で表し、その係数を求めるようにする。

例えば、カメラ動き量のうち、成分 x' と n個のカメラ動き推定量 v_xl〜v_xnとを線形一次結合を用いた次式により関係付けることができる。

X，

l+Wx2 V x2 + - - - +WxnVxn ( 19) したがって、図 17にカメラ動き推定量の各成分の対応関係を模式的に示してあるように、 1つのシーンの初めから終わりまでの画像が、 m+ 1フレームにより構成されているとき、カメラ動き推定：は、 m組計算されるので、次式が成立する,

以上においては、カメラ動き量のうち、成分 X，のみについて説明したが、他の成分 y，， z ' , r o l l ' , i t c h' ， y a w，についても同様である。

次に、ステヅプ S 72において、ステップ S 7 1で生成した式を最小二乗法により解くことで、線形 1次結合の係数 w_xo〜w_xnを、カメラ動き量の成分毎に求める処理が実行される。すなわち、例えば、カメラ動き量の成分 x' についての係数 Wxo〜W_xnを求める場合、式（ 20) の左辺とカメラ動き量成分 X ' の誤差が最小となるように、最小二乗法により線形 1次結合の係数 w_xo〜w_xnが求められる。

同様のことが、他のカメラ動き量の成分 y，， z，， r o l l ' p i t c h' ， y aw' についても fわれる。

以上のようにして、関係係数学習装置 2 5により学習された画像動揺デ一夕関係係数は、図 1の動揺デ一夕生成装置 2に供給される < 図 1 8は、動揺データ生成装置 2の構成例を示している。動きべクトル計算装置 1 0 1は、入力された画像（画像提示装置 3に供給される画像）から動きべクトルを検出し、動き中心計算装置 1 02 とカメラ動き推定量計算装置 1 03に出力している。動き中心計算装置 1 02は、入力された動きべクトルに基づいて、入力画像の動き中心座標を検出し、カメラ動き推定量計算装置 1 0 3に出力する。カメラ動き推定量計算装置 1 0 3は、動きべクトル計算装置 1 0 1 より入力され、動きべクトルと動き中心計算装置 1 0 2より供給される動き中心座標に基づいてカメラ動き推定量を演算し、カメラ動き予測量計算装置 1 0 4に出力している。この動きべクトル計算装置 1 0 1、動き中心計算装置 1 0 2及びカメラ動き推定量計算装置 1 0 3は、図 3において説明した動きべクトル計算装置 2 1、動き中心計算装置 2 2及びカメラ動き推定量計算装置 2 3と同様の構成と機能を有するものである。

カメラ動き予測量計算装置 1 0 4は、画像動揺データ関係学習装置 1より供給される画像動揺データ関係係数と、カメラ動き推定量計算装置 1 0 3より供給されるカメラ動き推定量との線形 1次結合を演算することで、 1フレーム周期においてビデオカメラが動いたと思われる情報を表すカメラ動き予測量を演算し、動揺データ計算装置 1 0 5に出力する。動揺データ計算装置 1 0 5は、入力されたカメラ動き予測量から、駆動制御装置 5、座席 6を平行移動又は回転移動させるときの動揺デ一夕と物理量が一致するような動揺デ一夕を計算し、出力する。

次に、図 1 9のフローチャートを参照して、図 1 8に示す動揺デ一夕生成装置 2の動作について説明する。ステップ S 8 1において、動きべクトル計算装置 1 0 1により動きべクトル計算処理が行われ、ステップ S 8 2において、動き中心計算装置 1 0 2により、動きの中心座標計算処理が行われる。ステップ S 8 3において、カメラ動き推定量計算装置 1 0 3より、カメラの動き推定量計算処理が行われる。以上のステップ S 8 1〜ステップ S 8 3の処理は、図 4のステヅプ S 1〜ステップ S 3の処理と同様の処理であるので、ここでは、その説明は省略する。

次にステップ S 8 4において、カメラ動き予測量計算装置 1 0 4 により、カメラ動き予測量の計算処理が実行される。

カメラ動き予測量計算装置 1 0 4は、例えば図 2 0に示すように構成されている。

このカメラ動き予測量計算装置 1 0 4は、カメラ動き推定量計算装置 1 0 3より供給されたカメラ動き推定量と、画像動揺データ関係学習装置 1より供給された画像動揺データ関係係数とを乗算し、加算器 1 2 2に出力する乗算器 1 2 1 と、乗算器 1 2 1より入力されたデ一夕と、レジス夕 1 2 3に保持されている過去のデータとを加算し、レジス夕 1 2 3に出力することで、入力されたデ一夕を積分する加算器 1 2 2と、レジス夕 1 2 3より供給されたデ一夕を記憶し、カメラ動き予測量として出力するメモリ 1 2 4を備える。そして、このカメラ動き予測量計算装置 1 0 4では、カメラ動き推定量と画像動揺デー夕関係係数とが乗算され、加算される処理が実行される。

すなわち、乗算器 1 2 1は、カメラ動き推定量計算装置 1 0 3より供給されるカメラ動き推定量と、画像動揺データ関係学習装置 1 より供給される画像動揺データ関係係数とを乗算し、加算器 1 2 2 に出力する。加算器 1 2 2は、乗算器 1 2 1より入力されたデ一夕に、過去にレジス夕 1 2 3に保持されていたデータを加算し、レジス夕 1 2 3に供給し、再び保存させることで、乗算器 1 2 1より供給されたデータを積分する。これにより、線形 1次結合が演算される。レジス夕 1 2 3より出力されたデ一夕は、メモリ 1 2 4に一旦保持された後、カメラ動き予測量として出力される。

例えば、カメラ動き推定量計算装置 103で計算したカメラ動き推定量が、 2つのフレーム間の時間 iにおいて、 v_{xi l}， V X i ₂ , ·

• · , V_{X i n}であるとする。線形 1次結合の係数 Wx。， Wxl, wx 2 ,

• · ·， w_xnは、動きべクトル検出の誤差、小物体動きの混入、仮定した 3次元空間の対称性の不成立、カメラの焦点距離 f、被写体の奥行き r、カメラ動き推定量の単位と動きカメラ推定量の単位との間の変換係数をすベて考慮した値となっている。

したがって、 2つのフレーム間の時間 iで複数個求められるカメラ動き推定量の線形 1次結合を次式で示すように演算することにより、カメラ動き予測量 X' iが得られる。

X， i = W x 0 + Wxl Vxi l +W_X 2 V x i 2 -|- * · * +WxnVxin

(21) 以上の計算をシーンの画像の始めから終わりまで行うことで、各時間でのカメラ動き予測量 X' が求め.られる。

同様な処理により、カメラ動き予測量の他の成分 Y，， Z' ， R 0 L L' , P I TCH' ， YAW が計算される。

そして、ステップ S 84でカメラ動き予測量の計算処理を終了するとステップ S 85に進む。

ステップ S 85では、動揺デ一夕計算装置 105により、カメラ動き予測量から動揺データを計算する処理が実行される。

さらに、次のステップ S 86では、動揺データ計算装置 105により、全フレームについてステップ S 84及びステップ S 85の処理を行った否かが判定される。未処理のフレームがある場合にはステツプ S 84に戻って未処理のフレームについてカメラ動き予測量の計算処理を行う。そして、ステップ S 8 4〜ステップ S 8 6の処理を 1フレーム毎に繰り返し、全フレームについて処理を行うと、動揺データの生成処理を終了する。

ここで、動揺データについて説明する。

以上のようにして計算されたカメラ動き予測量に基づいて、動揺デ一夕計算装置 1 0 5により、動揺デ一夕が生成され、駆動制御装置 5は、その動揺データに基づいて座席 6を駆動するのであるが、劇場などの特定の場所に固定された座席 6を通じて、動揺データを提示する制約から、座席 6を実際のように際限なく回転したり、並進させることはできない。

そこで、この臨場感体験装置 1 0における動揺データは、実際の角度あるいは位置の変化をそのまま与えるためのデータとしての実動揺データと、回転角速度又は並進加速度の変化に応じて、それぞれパルス的又はステツプ的に角度変化を与える代替動揺データとから構成される。

自動車を路面に沿って走行させる場合の実動揺データと代替動揺データは、例えば次の表 1に示すように構成される。

表 1 ：実動揺デ一夕と代替動揺データを示す表

実動揺デ一夕としては、路面の前後の傾き、路面の左右の傾き、前後方向の振動、左右方向の振動及び上下方向の振動が挙げられる < 路面の前後の傾きは、動揺成分 p i t c hで表現され、路面の左右の傾きは、動揺成分 r o 1 1で表現される。前後方向の振動、左右方向の振動、又は、上下方向の振動は、それぞれ動揺成分 x， y , zで表現される。

代替動揺データとしては、加減速による慣性力、カーブ時の遠心力及びカーブ時の車首振りが挙げられる。加減速による慣性力は、動揺成分 Xの二重微分値 X" で表現され、カーブ時の遠心力は、動揺成分 Xの微分値 x' と動揺成分 yawの微分値 y aw' の積 x' • yaw' で表現される。カーブ時の車首振りは、動揺成分 yaw の微分値 yaw' で表現される。

加減速による慣性力は、動揺成分 p i t c hに対応し、カーブ時の遠心力は、動揺成分 r o 1 1に対応し、カーブ時の車首振りは、動揺成分 y a wに対応する。

動揺成分 p i t c h, r o l l , aw, x， y , zの、それぞれ表 1に示す実動揺成分 p i t c h_r ， r o l l , , y a Wr , x r , r , Z r は、それぞれ以下のように計算される。

実動揺成分 P i t c h r は、

p i t chr = LPF (ΣΡ Ι ΤΟΗ' ) (22) すなわち、カメラ動き予測量 P I T C H' の積分∑ P I TCH' から低域成分 LPF (∑P I TCH' ) を求める計算により得られる。また、実動揺成分 r 011 r は、

すなわち、カメラ動き予測量 R 0 L L ' の積分∑ROLL，から低域成分 LPF (∑ROLL， ) を求める計算により得られる。

また、実動揺成分 χ'. は、

X t =HPF (∑X' ) (24) すなわち、カメラ動き予測量 X' の積分∑X，から高域成分 HPF ( ΣΧ' ) を求める計算により得られる。

また、実動揺成分 y_r は、

y r =HPF (∑Y， ) (25) すなわち、カメラ動き予測量 Y' の積分 ΣΥ' から高域成分 HPF (ΣΥ' ) を求める計算により得られる。

さらに、実動揺成分 z_r は、

z r =HPF (ΣΖ' ) (26) すなわち、カメラ動き予測量 Ζ，の積分 ΣΖ' から高域成分 HPF (ΣΖ' ) を抽出することにより生成される。

また、表 1に示した代替動揺成分 p i t ch_s , ro l ls , y a Ws は、それぞれ次のように計算される。

代替動揺成分 P i t c h s は、

すなわち、カメラ動き予測量 X' の差分 ΔΧ' から低域成分 LP F (ΔΧ' ) を求める計算により得られる。

また、代替動揺成分 r o i l s は、

r o l ls =LPF (Χ' ) LPF (YAW ) (28) すなわち、カメラ動き予測量 X，の低域成分 LPF (X， ) とカメラ動き予測量 YAW，の低域成分 LPF (YAW ) の積を求める計算により得られる。

さらに、代替動揺成分 yaw_s は、

すなわち、カメラ動き予測量 Y A W，の低域成分 LPF (YAW ' ) を求める計算により得られる。

そして、本実施の形態においては、動揺デ一夕は、実動揺データと代替動揺データの和を取って、次のように演算される。

p i t c h = p i t c hr + p i t c hs ( 3 0 )

y a w= y a Ws (32)

X = Xr (33)

Z = Z r (35) 以上のような式に基づいた演算を行うために、動揺データ計算装置 105は、例えば図 21に示すように構成される。カメラ動き予測量のうち、 P I TCH' は、加算器 13 1— 1とレジス夕 132 一 1により積分され、メモリ 134 _ 1に記憶される。メモリ 13 4— 1に記憶されたデ一夕のうち、低域成分が口一パスフィル夕 (LP F) 135— 1により抽出される。すなわち、これにより、式（ 22 ) の演算を行い、実動揺成分 p i t c h_r を生成する。このようにして生成された実動揺成分 p i t c h r は、加算器 136 に供給される。

加算器 136にはまた、式（27) に示した代替動揺デ一夕 p i t c h_s が供給されている。すなわち、減算器 133は、カメラ動き予測量のうちの成分 X' から、レジス夕 132 _ 2に保持されている値を減算し、その差分をメモリ 134— 2に供給し、記憶させる。ローパスフィル夕（LPF) 135— 2は、メモリ 134— 2 に記憶された差分データの低域成分を抽出し、代替動揺データ p i t ch_s として、加算器 136に出力する。

加算器 136は、口一パスフィル夕（LPF) 135— 2より供給された代替動揺成分 p i t c h_s をローパスフィル夕（LPF) 135 - 1より供給された実動揺デ一夕成分 p i t c hr と加算することにより、式（30) の演算を行い、その演算結果を p i t c hとして出力する。

カメラ動き予測量のうち、成分 ROLL' は、加算器 13 1— 2 とレジス夕 132— 3により積分され、メモリ 134— 3に供給され、記憶される。ローパスフィル夕（LPF) 135— 3は、メモリ 134— 3に記憶されたデータの低域成分を抽出し、加算器 13 8に出力する。すなわち、これにより、式（23) の演算が行われる ο

加算器 138にはまた、式（28) で示す代替動揺成分 r o i l s が供給されている。すなわち、口一パスフィル夕（LPF) 13 5— 4は、成分 X' の低域成分を抽出し、乗算器 137に出力している。また、口一パスフィル夕 135— 5は、成分 Y AW，の低域成分を抽出し、乗算器 137に出力している。乗算器 137は、口 —パスフィル夕 135— 4の出力と、口一パスフィル夕（LPF) 135- 5の出力を乗算することで、式（ 28 ) に示す演 ΐを行い、その演算結果を加算器 1— 38に出力している。加算器 138は、ローパスフィル夕（LPF) 135— 3の出力と乗算器 137の出力を加算することにより、式（ 3 1 ) の演算を行い、その演算結果を r 011として出力する。

口一パスフィル夕（LPF) 135— 6は、カメラ動き予測量の成分 YAW' の低域成分を抽出することにより式（29) で示す演算を行い、その演算結果を式（32) に従って yawとして出力する o

カメラ動き予測量のうち、成分 X' は、加算器 131— 3とレジス夕 132— 4により積分され、メモリ 134— 4に供給され、記憶される。ハイパスフィル夕（HPF) 135— 7は、メモリ 13 4- に記憶されたデ一夕から高域成分を抽出することにより、式 (24) の演算を行い、その演算結果を式（33) に従って Xとして出力する。

カメラ動き予測量の成分 Y' は、加算器 13 1— 4とレジスタ 1 32-5により積分され、メモリ 134— 5に供給され、記憶される。ハイパスフィル夕（HPF) 135— 8は、メモリ 134— 5 に記憶されたデータの高域成分を抽出することにより、式（25) の演算の演算を行い、その演算結果を式（34) に従って yとして出力する。

カメラ動き予測量のうち、成分 Z ' は、加算器 13 1— 5とレジス夕 132— 6により積分され、メモリ 134— 6に供給され、記憶される。ハイパスフィル夕（HP F) 135— 9は、メモリ 13 4— 6に記憶されたデータの高域成分を抽出することで、式（2 6) の演算を行い、その演^結果を式（35) に従って zとして出力される。

次に、図 22のフローチャートを参照して、動揺デ一夕計算装置 105の動作について説明する。ステップ S 1 1 1において、実動揺成分 P i t ch_r ， r o 11 r ， χ_Γ , y _r , ζ _r が計算される。すなわち、カメラ動き予測量のうち、成分 P I TCH' が加算器 1 3 1— 1とレジス夕 132— 1により積分され、メモリ 134— 1 に記憶される。メモリ 134— 1に記憶されたデ一夕は、ローパスフィルタ（LPF) 135— 1により、その低域成分が抽出され、成分 p i t c h r として加算器 1 3 6に供給される。

カメラ動き予測量 R 0 L L ' は、加算器 13 1— 2とレジス夕 1 32— 3により積分され、メモリ 134— 3に記憶される。口一パスフィル夕（LPF) 135— 3は、メモリ 134— 3に記憶されたデ一夕の低域成分を抽出し、成分 r 011 r として、加算器 13 8に出力する。

カメラ動き予測量の成分 X' は、加算器 13 1— 3とレジス夕 1 32— 4により積分され、メモリ 134— 4に記憶される。ハイパスフィル夕（HPF) 135— 7は、メモリ 134— 4に記憶されたデ一夕の高域成分を抽出し、成分 X r とする。

カメラ動き予測量のうち、成分 Y' は、加算器 131—4とレジス夕 132— 5により積分され、メモリ 134— 5に記憶される。ハイパスフィル夕（HP F) 135— 8は、メモリ 134— 5に記憶されたデータのうち、高域成分を抽出し、成分 y_r とする。カメラ動き予測量のうち、成分 Z，は、加算器 131— 5とレジス夕 132— 6により積分され、メモリ 134— 6に記憶される。ハイパスフィル夕（H P F ) 135— 9は、メモリ L 34— 6に記憶されたデ一夕の高域成分を抽出し、成分 z, とする。

次に、ステップ S 1 12において、代替動揺成分 p i t c h s , r o l ls , y a w_s が'計算される。

すなわち、減算器 133は、現在のカメラ動き予測量のうちの成分 X，から、レジス夕 132— 2より供給される過去の成分を減算し、メモリ 134— 2に供給し、記憶させる。口一パスフィル夕 (LPF) 135— 2は、メモリ 134— 2に記憶されているデ一夕の低域成分を代替動揺成分 P i t c h s として、加算器 136に出力する。

口一パスフィル夕（LPF) 135— 4は、カメラ動き予測量のうち、成分 X，の低域成分を抽出し、口一パスフィル夕（LPF) 135— 5は、カメラ動き予測量のうち、成分 YAW，の低域成分を抽出する。乗算器 137は、ローパスフィル夕（LPF) 135 — 4の出力とローパスフィル夕（LPF) 135— 5の出力を乗算し、成分 r o 11 _s を生成し、加算器 138に出力する。

ローパスフィル夕（LPF) 135— 6は、カメラ動き予測量のうち、成分 YAW' の低域成分を抽出し、成分 yaw_s とする。さらに、ステヅプ S 1 13において、ステップ S 1 1 1で演算された実動揺成分デ一夕と、ステップ S 1 12で生成された代替動揺成分データの和が計算される。すなわち、加算器 136は、口一パスフィル夕（LPF) 135— 1より供給される実動揺デ一夕成分 p i t c h r と、口一パスフィルタ（LPF) 135— 2より供給される代替動揺成分データ P i t c h_s とを加算し、動揺データの成分 p i t c hとして出力する。

加算器 138は、ローパスフィル夕（LPF) 135— 3より供給される実動揺成分 r o 1 l_r と、乗算器 137より供給される代替動揺成分データ r o 11 _s とを加算し、動揺データの成分 r o l 1として出力する。

口一パスフィル夕（LPF) 135— 6は、抽出した代替動揺成分デ一夕 yaw_s を、そのまま動揺デ一夕の成分 y awとして出力する。ハイパスフィル夕（LPF) 135— 7~135— 9は、生成した実動揺成分 x_r , y_r ， Z r を、それぞれ動揺デ一夕の成分 x， y , として出力する。

以上のようにして、動摇デ一夕生成装置 2により生成された動揺データは、駆動制御装置 5に供給される。また、動揺データ生成装置 2が、動揺データを生成する際に用いた画像が画像提示装置 3に供給される。画像提示装置 3と駆動制御装置 5は、同期制御装置 7 により制御され、相互に同期して動作する。画像提示装置 3は、提供された画像をスクリーン 4に表示させる。また、駆動制御装置 5 は、供給された動揺デ一夕に基づいて、座席 6を駆動する。

ここで、駆動制御装置 5により駆動される座席 6の具体的な構成例を図 23及び図 24に示す。図 23は、座席 6の側面図であり、図 24は、座席 6を上面から見た図である。

座席 6は、ァクチユエ一夕として 6本のピストン 141一 1〜 1 4 1— 6を備えており、これらのピストン 1 4 1— 1〜： L 4 1—6 により台座 1 4 2が支えられている。台座 1 4 2には、椅子 1 4 3 が固定されており、この椅子 1 4 3の上に観客 1 4 4が座るようになされている。ピストン 1 4 1— 1 〜 1 4 1— 6は、それぞれ中心軸に沿って伸縮運動ができるようになされている。ビストン 1 4 1 一：！〜 1 4 1一 6が、動揺デ一夕生成装置 2により生成された動揺デ一夕に従って駆動制御装置 5により駆動され、伸縮運動をすることによって、台座 1 4 2が動揺し、さらに台座 1 4 2に固定されている椅子 1 4 3が動揺する。

これにより、座席 6に座ってスクリーン 4に表示されている画像を観察している観察者は、あたかもスクリーン 4に表示されている画像を撮影した乗り物に乗っているような臨場感を体験することができる。

なお、画像動揺データ関係学習装置 1において画像動揺データ関係係数を得るための学習処理や、動揺データ生成装置 2において力メラ動き推定量を求め動揺デ一夕を生成するための各種演算処理は、例えば図 2 5に示すように、バス 2 1 1に接続された C P U (Centr al Processing Unit) 2 1 2、メモリ 2 1 3、入カイン夕ーフエース 2 1 4、ユーザィン夕一フヱ一ス 2 1 5や出力イン夕一フエース 2 1 6などにより構成される一般的なコンピュータシステム 2 1 0 により実行することができる。上記処理を実行するコンピュータプログラムは、記録媒体に記録されてユーザに提供される。上記記録媒体には、磁気ディスク、 C D— R O Mなどの情報記録媒体の他、インターネット、デジ夕ル衛星などのネットワークによる伝送媒体も含まれる。以上の如く、本発明によれば、画像を撮像したビデオカメラの力メラ動き推定量を演算するとともに、センサにより取得した動揺デ一夕から、ビデオカメラの動いた量を表すカメラ動き量を演算し、カメラ動き推定量とカメラ動き量との対応を、線形 1次結合の係数として学習するようにしたので、既存の画像資源を利用して、その画像を撮像した乗り物にあたかも乗っているような臨場感を体験させることが可能な動揺データを生成することが可能となる。また、カメラ動き推定量を演算し、カメラ動き推定量と、予め記憶されている係数を線形 1次結合することで、カメラ動き予測量を演算し、演算されたカメラ動き予測量に基づいて、座席を駆動するとき用いられる動揺データを演算するようにしたので、簡単かつ確実に、既存の画像に基づいて、動揺デ一夕を生成することが可能となる。

Claims

請求の範囲

1 . ビデオカメラによって撮影された所望の画像信号から検出される上記ビデオカメラの動きを示すカメラ動き推定情報と、上記ビデォカメラによる上記所望の画像信号の榀像と同時に、物理的な動きを検出するセンサによって取得された上記ビデオカメラの物理的な動きを示すカメラ動き情報とに基づいて、学習を行うことによつて予め生成された関係情報を記憶する記憶手段と、

入力画像信号から、上記入力画像信号に対するカメラ動き推定情報を検出するカメラ動き推定情報検出手段と、

上記カメラ動き推定情報検出手段によって検出されたカメラ動き推定情報と、上記関係情報とに基づいて、上記入力画像信号に対するカメラ動き予測情報を生成するカメラ動き予測情報生成手段とを備えることを特徴とする情報処理装置。

2 . 上記カメラ動き予測情報に基づいて、オブジェクトを動揺するための動揺信号を生成する動揺信号生成手段をさらに備えることを特徴とする請求の範囲第 1項記載の情報処理装置。

3 . 上記動揺信号に基づいて上記オブジェクトを駆動する駆動手段をさらに備えることを特徴とする請求の範囲第 2項記載の情報処

4 . 上記オブジェクトとして椅子をさらに備えることを特徴とする請求の範囲第 2項記載の情報処理装置。

5 . 上記駆動手段と同期して上記入力画像信号を表示する表示手段をさらに備えることを特徴とする請求の範囲第 4項記載の情報処

6 . 上記カメラ動き推定情報検出手段は、上記入力画像信号から動きべクトルを検出する動きべクトル検出部と、上記動きべクトルに基づいて、動き中心を検出する動き中心検出部と、上記動きべクトルと上記動き中心とに基づいて、上記カメラ動き推定情報を検出するカメラ動き推定情報検出部とを備えることを特徴とする請求の範囲第 1項記載の情報処理装置。

7 . 上記動き中心検出部は、複数の画素位置において、それぞれ上記動きべクトルを複数フレームに亘つて積分する積分部と、上記積分部の積分結果に基づいて上記動き中心を決定する動き中心決定部とを有することを特徴とする請求の範囲第 6項記載の情報処理装

8 . 上記積分部は、上記動きベクトルの水平成分と垂直成分とを別々に積分することを特徴とする請求の範囲第 7項記載の情報処理

9 . 上記動きベクトル検出部は、上記入力画像信号の予め設定された複数の代表点について、上記動きべクトルを検出することを特徴とする請求の範囲第 6項記載の情報処理装置。

1 0 . 上記センサとして加速度センサを備えることを特徴とする請求の範囲第 1項記載の情報処理装置。

1 1 . 上記センサとして角速度センサを備えることを特徴とする請求の範囲第 1項記載の情報処理装置。

1 2 . 上記カメラ動き推定情報検出手段は、複数種類の成分から成るカメラ動き推定情報を生成することを特徴とする請求の範囲第 1項記載の情報処理装置。

1 3 . 上記カメラ動き予測情報生成手段は、上記カメラ動き推定情報と、上記関係情報との線形結合により、上記入力画像信号に対応する上記カメラ動き予測情報を生成することを特徴とする請求の範囲第 1項記載の情報処理装置。

1 4 . ビデオカメラによつて撮像された所望の画像信号からカメラ動き推定情報を検出するカメラ動き推定情報検出手段と、

上記ビデオカメラによる上記所望の画像信号の撮像と同時に、物理的な動きを検出するセンサによって取得された上記ビデオカメラの物理的な動きを示すセンサ情報と、上記カメラ動き推定情報とに基づいて、任意の画像信号から上記任意の画像信号を撮像したビデォカメラの動きを表すカメラ動き予測情報を生成するための変換係数を生成する係数生成手段とを備えることを特徴とする学習装置。

1 5 . 上記カメラ動き推定情報検出手段は、上記入力画像信号から動きべクトルを検出する動きべクトル検出部と、上記動きべクトルに基づいて、動き中心を検出する動き中心検出部と、上記動きべクトルと上記動き中心とに基づいて、上記カメラ動き推定情報を検出するカメラ動き推定情報検出部とを備えることを特徴とする請求の範囲第 1 4項記載の学習装置。

1 6 . 上記動き中心検出部は、複数の画素位置において、それぞれ上記動きべクトルを複数フレームに豆って積分する積分部と、上記積分部の積分結果に基づいて上記動き中心を決定する動き中心決定部とを有することを特徴とする請求の範囲第 1 5項記載の学習装

1 7 . 上記積分部は、上記動きべクトルの水平成分と垂直成分とを別々に積分することを特徴とする請求の範囲第 1 6項記載の学習

1 8 . 上記動きベクトル検出部は、上記入力画像信号の予め設定された複数の代表点について、上記動きべクトルを検出することを特徴とする請求の範囲第 1 5項記載の学習装置。

1 9 . 上記センサとして加速度センサを備えることを特徴とする請求の範囲第 1 5項記載の学習装。

2 0 . 上記センサとして角速度センサを備えることを特徴とする請求の範囲第 1 5項記載の学習装置。

2 1 . 上記カメラ動き推定情報検出手段は、複数種類の成分から成るカメラ動き推定情報を生成することを特徴とする請求の範囲第 1 5項記載の学習装置。

2 2 . ビデオカメラによつて撮影された所望の画像信号から検出される上記ビデオカメラの動きを示すカメラ動き推定情報と、上記ビデオカメラにより上記所望の画像信号の撮像と同時に、物理的な動きを検出するセンサによって取得された上記ビデオカメラの物理的な動きを示すカメラ動き情報とに基づいて、学習を行うことによつて関係情報を生成するステツプと、

入力画像信号から、上記入力画像信号に対するカメラ動き推定情報を検出するステップと、

検出されたカメラ動き推定情報と、上記関係情報とに基づいて、上記入力画像信号に対するカメラ動き予測情報を生成するステップとを有することを特徴とする情報処理方法。

2 3 . 上記カメラ動き予測情報に基づいて、オブジェクトを動揺するための動揺信号を生成するステップをさらに有することを特徴とする請求の範囲第 2 2項記載の情報処理方法。

2 4 . 上記動揺信号に基づいて上記オブジェクトを駆動するステップをさらに有することを特徴とする請求の範囲第 2 3項記載の情報処理方法。

2 5 . 上記オブジェクトを駆動するステップでは、上記オブジェクトとして椅子を駆動することを特徴とする請求の範囲第 2 4項記載の情報処理方法。

2 6 . 上記オブジェクトを駆動と同期して上記入力画像信号を表示するステップをさらに有することを特徴とする請求の範囲第 2 4 項記載の情報処理方法。

2 7 . 上記カメラ動き推定情報を検出するステップは、上記入力画像信号から動きべクトルを検出するステップと、上記動きべクトルに基づいて動き中心を検出するステップと、上記動きべクトルと上記動き中心とに基づいて、上記カメラ動き推定情報を検出するステツプを有することを特徴とする請求の範囲第 2 2項記載の情報処理方法。

2 8 . 上記動き中心を検出するステップでは、複数の画素位置において、それぞれ上記動きべクトルを複数フレームに亘つて積分し、その積分結果に基づいて上記動き中心を決定することを特徴とする請求の範囲第 2 7項記載の情報処理方法。

2 9 . 上記動き中心を検出するステップでは、上記動きベクトルの水平成分と垂直成分とを別々に積分することを特徴とする請求の範囲第 2 8項記載の情報処理方法。

3 0 . 上記動きベクトルを検出するステップでは、上記入力画像信号の予め設定された複数の代表点について、上記動きべクトルを検出することを特徴とする請求の範囲第 2 7項記載の情報処理方法。

3 1 . 上記関係情報を生成するステップでは、上記センサとして加速度センサにより取得された上記ビデオカメラの物理的な動きを示すカメラ動き情報に基づいて、上記関係情報を生成することを特徴とする請求の範囲第 2 2項記載の情報処理方法。

3 2 . 上記関係情報を生成するステップでは、上記センサとして角速度センサにより取得された上記ビデオカメラの物理的な動きを示すカメラ動き情報に基づいて、上記関係情報を生成することを特徴とする請求の範囲第 2 2項記載の情報処理方法。

3 3 . 上記カメラ動き推定情報を検出するステップでは、複数種類の成分からなるカメラ動き推定情報を生成することを特徴とする請求の範囲第 2 2項記載の情報処理方法。

3 4 . 上記カメラ動き予測情報を生成するステップでは、上記力メラ動き推定情報と上記関係情報との線形結合により、上記入力画像信号に対応する上記カメラ動き予測情報を生成することを特徴とする請求の範囲第 2 2項記載の情報処理方法。

3 5 . ビデオカメラによつて撮像された所望の画像信号からカメラ動き推定情報を検出するステツプと、

上記ビデオカメラによる上記所望の画像信号の撮像と同時に、物理的な動きを検出するセンサによって取得された上記ビデオカメラの物理的な動きを示すセンサ情報と上記カメラ動き推定情報とに基づいて、任意の画像信号から上記任意の画像信号を撮像したビデオカメラの動きを表すカメラ動き予測情報を生成するための変換係数を生成するステップと

を有することを特徴とする学習方法。

3 6 . 上記カメラ動き推定情報を検出するステップは、上記入力画像信号から動きべクトルを検出するステップと、上記動きべクトルに基づいて動き中心を検出するステップと、上記動きべクトルと上記動き中心とに基づいて上記力メラ動き推定情報を検出するステップを有することを特徴とする請求の範囲第 3 5項記載の学習方法。

3 7 . 上記動き中心を検出するステップでは、複数の画素位置において、それぞれ上記動きべクトルを複数フレームに亘つて積分し、その積分結果に基づいて上記動き中心を決定することを特徴とする請求の範囲第 3 6項記載の学習方法。

3 8 . 上記動き中心を検出するステップでは、上記動きベクトルの水平成分と垂直成分とを別々に積分することを特徴とする請求の範囲第 3 7項記載の学習方法。

3 9 . 上記動きべクトルを検出するステップでは、上記入力画像信号の予め設定された複数の代表点について、上記動きべクトルを検出することを特徴とする請求の範囲第 3 6項記載の学習方法。

4 0 . 上記変換係数を生成するステップでは、上記センサとして加速度センサにより取得された上記ビデオカメラの物理的な動きを示す力メラ動き情報に基づいて上記変換係数を生成することを特徴とする請求の範囲第 3 6項記載の学習方法。

4 1 . 上記変換係数を生成するステップでは、上記センサとして角速度センサにより取得された上記ビデオカメラの物理的な動きを示す力メラ動き情報に基づいて上記変換係数を生成することを特徴とする請求の範囲第 3 6項記載の学習方法。

4 2 . 上記カメラ動き推定情報を検出するステップは、複数種類の成分からなるカメラ動き推定情報を生成することを特徴とする請求の範囲第 3 6項記載の学習方法。

4 3 . ビデオカメラによって撮影された所望の画像信号から検出される上記ビデオカメラの動きを示すカメラ動き推定情報と、上記ビデオカメラにより上記所望の画像信号の撮像と同時に、物理的な動きを検出するセンサによって取得された上記ビデオ力メラの物理的な動きを示すカメラ動き情報とに基づいて、学習を行うことによつて関係情報を生成するステップと、

入力画像信号から上記入力画像信号に対するカメラ動き推定情報を検出するステップと、

検出されたカメラ動き推定情報と上記関係情報とに基づいて、上記入力画像信号に対するカメラ動き予測情報を生成するステップとを有することを特徴とする情報処理をコンピュータにより実行させるプログラムを記録したプログラム記録媒体。

4 4 . 上記プログラムは、上記カメラ動き予測情報に基づいて、オブジェクトを動揺するための動揺信号を生成するステップをさらに有することを特徴とする請求の範囲第 4 3項記載のプログラム記録媒体。

4 5 . 上記プログラムは、上記動揺信号に基づいて上記オブジェクトを駆動するステップをさらに有することを特徴とする請求の範囲第 4 4項記載のプログラム記録媒体。

4 6 . 上記オブジェクトを駆動するステップでは、上記オブジェクトとして椅子を駆動することを特徴とする請求の範囲第 4 5項記載のプログラム記録媒体。

4 7 . 上記プログラムは、上記オブジェクトを駆動と同期して上記入力画像信号を表示するステップをさらに有することを特徴とする請求の範囲第 4 5項記載のプログラム記録媒体。

4 8 . 上記入力画像信号に対するカメラ動き推定情報を検出するステップは、上記入力画像信号から動きべクトルを検出するステツプと、上記動きべクトルに基づいて動き中心を検出するステップと、上記動きべクトルと上記動き中心とに基づいて、上記カメラ動き推定情報を検出するステップを有することを特徴とする請求の範囲第 4 3項記載のプログラム記録媒体。

4 9 . 上記動き中心を検出ステップでは、複数の画素位置において、それぞれ上記動きベクトルを複数フレームに亘つて積分し、その積分結果に基づいて上記動き中心を決定することを特徴とする請求の範囲第 4 8項記載のプログラム記録媒体。

5 0 . 上記動き中心を検出ステップでは、上記動きベクトルの水平成分と垂直成分とを別々に積分することを特徴とする請求の範囲第 4 9項記載のプログラム記録媒体。

5 1 . 上記入力画像信号から動きべクトルを検出するステップでは、上記入力画像信号の予め設定された複数の代表点について、上記動きべクトルを検出することを特徴とする請求の範囲第 4 8項記載のプログラム記録媒体。

5 2 . 上記関係情報を生成するステップでは、上記センサとして加速度センサにより取得された上記ビデオカメラの物理的な動きを示す力メラ動き情報に基づいて上記関係情報を生成することを特徴とする請求の範囲第 4 3項記載のプログラム記録媒体。

5 3 . 上記関係情報を生成するステップでは、上記センサとして角速度センサにより取得された上記ビデオカメラの物理的な動きを示す力メラ動き情報に基づいて、上記関係情報を生成することを特徴とする請求の範囲第 4 3項記載のプログラム記録媒体。

5 4 . 上記カメラ動き推定情報を検出するステップでは、複数種類の成分からなるカメラ動き推定情報を生成することを特徴とする請求の範囲第 4 3項記載のプログラム記録媒体。

5 5 . 上記カメラ動き予測情報を生成するステップでは、上記力メラ動き推定情報と上記関係情報との線形結合により、上記入力画像信号に対応する上記カメラ動き予測情報を生成することを特徴とする請求の範囲第 4 3項記載のプ口グラム記録媒体。

5 6 . ビデオカメラによって撮像された所望の画像信号からカメラ動き推定情報を検出するステップと、

上記ビデオカメラによる上記所望の画像信号の撮像と同時に、物理的な動きを検出するセンサによって取得された上記ビデオ力メラの物理的な動きを示すセンサ情報と上記力メラ動き推定情報とに基づいて、任意の画像信号から上記任意の画像信号を撮像したビデオカメラの動きを表すカメラ動き予測情報を生成するための変換係数を生成するステップとを有することを特徴とする学習処理をコンビユータにより実行させるプログラムを記録したプログラム記録媒体。

5 7 . 上記カメラ動き推定情報を検出するステップは、上記入力画像信号から動きべクトルを検出するステップと、上記動きべクトルに基づいて動き中心を検出するステップと、上記動きべクトルと上記動き中心とに基づいて上記力メラ動き推定情報を検出するステップを有することを特徴とする請求の範囲第 5 6項記載のプロダラム記録媒体。

5 8 . 上記動き中心を検出するステップでは、複数の画素位置において、それぞれ上記動きべクトルを複数フレームに亘つて積分し、その積分結果に基づいて上記動き中心を決定することを特徴とする請求の範囲第 5 7項記載のプログラム記録媒体。

5 9 . 上記動き中心を検出するステップでは、上記動きベクトルの水平成分と垂直成分とを別々に積分することを特徴とする請求の範囲第 5 8項記載のプログラム記録媒体。

6 0 . 上記動きベクトルを検出するステップでは、上記入力画像信号の予め設定された複数の代表点について、上記動きべクトルを検出することを特徴とする請求の範囲第 5 6項記載のプログラム記録媒体。

6 1 . 上記変換係数を生成するステップでは、上記センサとして加速度センサにより取得された上記ビデオカメラの物理的な動きを示す力メラ動き情報に基づいて上記変換係数を生成することを特徴とする請求の範囲第 5 6項記載のプログラム記録媒体。

6 2 . 上記変換係数を生成するステップでは、上記センサとして角速度センサにより取得された上記ビデオカメラの物理的な動きを示す力メラ動き情報に基づいて上記変換係数を生成することを特徴とする請求の範囲第 5 6項記載のプログラム記録媒体。

6 3 . 上記カメラ動き推定情報を検出するステップでは、複数種類の成分からなるカメラ動き推定情報を生成することを特徴とする請求の範囲第 5 6項記載のプログラム記録媒体。