JP4622570B2 - Virtual reality generation device and program used therefor - Google Patents
Virtual reality generation device and program used therefor Download PDFInfo
- Publication number
- JP4622570B2 JP4622570B2 JP2005041521A JP2005041521A JP4622570B2 JP 4622570 B2 JP4622570 B2 JP 4622570B2 JP 2005041521 A JP2005041521 A JP 2005041521A JP 2005041521 A JP2005041521 A JP 2005041521A JP 4622570 B2 JP4622570 B2 JP 4622570B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- synchronization
- video signal
- image
- frame data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Projection Apparatus (AREA)
- Image Generation (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本発明は、平面の表示面に対する通常の入力映像信号を、プロジェクタから壁面などの任意曲率の曲面に投射しても歪み無く映し出すことができるように、前記入力映像信号に予め前記曲面に対する歪み補正を施す映像信号処理装置を用いて構成される仮想現実感生成装置およびその仮想現実感生成装置を実現するためのプログラムに関する。 The present invention corrects distortion of the curved surface in advance in the input video signal so that a normal input video signal with respect to a flat display surface can be projected without distortion even if it is projected from a projector onto a curved surface of an arbitrary curvature such as a wall surface. the about the program for implementing the virtual reality creating apparatus and a virtual reality creating system configured using a video signal processing equipment to perform.
前記曲面への投射技術は、仮想現実感(バーチャルリアリティ)生成装置で既に実用化されている。たとえば、その先行技術としては、特許文献1などが挙げられる。前記仮想現実感生成装置は、半球状のスクリーンに映像を投射することで、観察者の視野角を超える映像を映し出し、前記仮想現実感を生成するようになっている。 The projection technique to the curved surface has already been put into practical use in a virtual reality generation device. For example, Patent Document 1 is cited as the prior art. The virtual reality generation device projects an image that exceeds the viewing angle of the observer by projecting an image on a hemispherical screen to generate the virtual reality.
しかしながら、ドーム状のスクリーンが高価であり、かつ大掛かりで設置が困難であり、常設の用途にしか使用できないのが現状である。 However, the dome-shaped screen is expensive and difficult to install due to its large size, and it can be used only for permanent use.
一方、特許文献2には、コンパクトで机上に設置可能な投射型表示装置が開示されている。同公報の図1には略半球面のスクリーンへの投射が、図3には屏風状の3面のスクリーンへの投射が示されている。
上述の従来技術では、いずれも予め定められたスクリーンへの投射が前提となっている。したがって、予め定められた歪み補正のアルゴリズムを用いて、平面の表示面に対する通常の入力映像信号を、曲面に投射しても歪み無く映し出すことができるように、その入力映像信号に歪み補正を加えるようになっている。したがって、広告やプレゼンテーションなどで、壁面などの任意曲率の投射面に、歪みの無い映像を映し出すことができない。 In the above-described conventional technologies, projection onto a predetermined screen is assumed. Therefore, using a predetermined distortion correction algorithm, distortion correction is applied to the input video signal so that a normal input video signal for a flat display surface can be projected without distortion even if it is projected onto a curved surface. It is like that. Accordingly, an image without distortion cannot be projected on a projection surface having an arbitrary curvature such as a wall surface in an advertisement or a presentation.
本発明の目的は、任意曲率の投射面に、歪みの無い映像を映し出すことができる仮想現実感生成装置およびそれに用いられるプログラムを提供することである。 An object of the present invention is to provide a program used for a projection surface of an arbitrary curvature, image thereto virtual reality generator and that can be projected without distortion.
本発明の第1の手段に係る仮想現実感生成装置は、観察者に凹面を向けた球面状で鏡面反射可能な広視野角のスクリーンと、左右各チャネルにそれぞれ設けられ、前記左右各チャネルの圧縮動画映像ファイルをそれぞれ順次デコードして、動画の映像信号に変換するデコード手段と、投影手段への出力用とデコードした映像信号の書込み用とに順次切換えて使用可能な2つのフレームメモリとを有する映像作成手段と、現在時刻を取得する同期管理プロセスと、規定時間が経過した場合、各デコード手段に向けて現在時刻を配信する時間管理ループプロセスとを実行する同期管理部を有し、前記各映像作成手段を制御し、前記左右各チャネルの映像信号間の同期を確立する同期手段と、複数種類に亘る規定の投射面形状に関する変数パラメータを入力することで、関数式に基づいて投射面のメッシュモデルを作成するモデル作成手段と、観察者および投影手段の前記投射面に対する位置関係に基づいて、平面の表示面と投射面のメッシュモデルとの対応マップを作成し、平面の入力映像を前記対応マップを利用したテクスチャマッピング座標を適用して再度映像生成を行うことで、前記左右各チャネルの映像信号に逐次前記スクリーンに対する歪み補正を実現する歪補正手段とを備える映像信号処理装置と、前記各映像信号処理装置からの映像信号を相互に直交する偏光の映像としてそれぞれスクリーンへ投影する前記投影手段と、前記観察者が装着し、左右各眼にそれぞれ対応した偏光の映像を透過させて観察者に合成して認識させることで立体動画映像を表示する映像選択手段とを含み、前記デコード手段は、同期管理プロセスを実行する同期管理部、ムービーファイル解凍プロセスを実行する解凍部および映像表示プロセスを実行する再生表示部を有し、前記左右各チャネルの映像信号を順次デコードして前記動画の映像信号に変換し、前記同期手段の時間管理ループプロセスおよび同期管理プロセスにて制御されて前記左右各チャネルの映像信号間の同期を確立するものであって、前記映像表示プロセスは、前記同期手段からの現在時刻を受信し、受信したことを表すレシートを同期手段に返信するとともにリファレンス時刻を更新し、前記ムービーファイル解凍プロセスへそのリファレンス時刻を配信し、前記ムービーファイル解凍プロセスは、前記リファレンス時刻を取得して、現在取得しているフレームの表示されるべき時刻と比較し、その結果、遅延が2フレーム以内ならばフレームデータを更新し、フレームバッファ内のアドレスを前記映像表示プロセスへ通知するとともに、フレームデータを更新したことを映像表示プロセスへ通知し、前記映像表示プロセスは、さらに、前記ムービーファイル解凍プロセスからフレームデータ更新通知を受けると、すでに通知済のフレームバッファ内のアドレスよりフレームデータを映像信号として取得するとともに、前記ムービーファイル解凍プロセスへフレームデータ更新完了を通知し、映像信号を前記2つのフレームメモリの内、出力側に選択されていない方に描画し、前記ムービーファイル解凍プロセスは、前記フレームデータ更新完了通知を受取ると、新たなフレームデータを取得し、前記同期手段は、さらに、前記同期管理プロセスによって、前記レシートを受取ると、スワップ同期メッセージを前記映像表示プロセスへ送信し、前記映像表示プロセスは、さらに、前記スワップ同期メッセージに応答して前記2つのフレームメモリのスワップを実行し、前記同期手段の同期管理プロセスへレシートを返信し、再び現在時刻の受信を待受けることを特徴とする。 The virtual reality generating device according to the first means of the present invention is provided in a spherical, specularly reflective screen with a concave surface facing the observer, and in each of the left and right channels. Decoding means for sequentially decoding each compressed moving picture video file and converting it into a moving picture video signal; and two frame memories that can be used by sequentially switching between output to the projection means and writing of the decoded video signal A synchronization management unit that executes a video creation unit, a synchronization management process for acquiring the current time, and a time management loop process for distributing the current time to each decoding unit when the specified time has elapsed, controls each image forming means, a synchronization means for establishing synchronization between a video signal of the left and right channel, the variable relates to a projection surface shape defined over a plurality of types parameters By inputting the model creation means for creating a mesh model of the projection plane on the basis of the function equation, on the basis of the positional relationship between the projection surface, the mesh model of the display surface of the flat and the projection surface on the observer and the projection means By creating texture mapping coordinates using the correspondence map for the input video on the plane and re-generating the video, the distortion correction for the screen is realized sequentially for the video signals of the left and right channels A video signal processing device including a distortion correction unit that performs the projection, a projection unit that projects the video signal from each video signal processing device onto a screen as polarized images orthogonal to each other, and the left and right Video selection means for displaying a stereoscopic video image by transmitting a polarized image corresponding to each eye and allowing the observer to synthesize and recognize it. The decoding means includes a synchronization management unit that executes a synchronization management process, a decompression unit that executes a movie file decompression process, and a playback display unit that executes a video display process, and sequentially outputs the video signals of the left and right channels. Decoding and converting to a video signal of the video, and establishing synchronization between the video signals of the left and right channels controlled by a time management loop process and a synchronization management process of the synchronization means, the video display The process receives the current time from the synchronization means, returns a receipt indicating reception to the synchronization means, updates the reference time, delivers the reference time to the movie file decompression process, and decompresses the movie file. The process acquires the reference time and displays a table of currently acquired frames. When the delay is within 2 frames, the frame data is updated, the address in the frame buffer is notified to the video display process, and the frame data is updated to the video display process. The video display process further receives a frame data update notification from the movie file decompression process, obtains frame data as a video signal from the address in the already notified frame buffer, and the movie file decompression process. When the frame data update process is received, the video file decompression process receives a new frame data update completion notification, and draws the video signal on the output side of the two frame memories. Frame data The stage further transmits a swap synchronization message to the video display process upon receipt of the receipt by the synchronization management process, and the video display process further responds to the swap synchronization message with the two frame memories. The receipt is returned to the synchronization management process of the synchronization means, and the reception of the current time is awaited again .
好ましくは、前記モデル作成手段は、複数種類に亘る規定の投射面形状に関する関数式を予め有し、前記規定の投射面形状のいずれかまたはその組合わせを選択し、変数パラメータを入力することで前記関数式に基づいて投射面のメッシュモデルを作成することを特徴とする。 Preferably, the model creation means has a function formula relating to a plurality of types of prescribed projection surface shapes in advance, selects one of the prescribed projection surface shapes or a combination thereof, and inputs a variable parameter. A mesh model of the projection plane is created based on the function formula.
また、本発明の第2の手段に係る映像信号処理装置では、前記規定の投射面形状は、球面の一部、円筒面の一部、または複数平面の組合わせのいずれかであることを特徴とする。 In the video signal processing apparatus according to the second means of the present invention, the prescribed projection surface shape is any one of a part of a spherical surface, a part of a cylindrical surface, or a combination of a plurality of planes. And
さらにまた、本発明の第3の手段に係る仮想現実感生成装置のプログラムは、観察者に凹面を向けた球面状で鏡面反射可能な広視野角のスクリーンと、左右各チャネルにそれぞれ設けられ、同期管理プロセスを実行する同期管理部、ムービーファイル解凍プロセスを実行する解凍部および映像表示プロセスを実行する再生表示部を有し、前記左右各チャネルの映像信号を順次デコードして動画の映像信号に変換し、同期手段の時間管理ループプロセスおよび同期管理プロセスにて制御されて前記左右各チャネルの映像信号間の同期を確立するデコード手段と、投影手段への出力用とデコードした映像信号の書込み用とに順次切換えて使用可能な2つのフレームメモリとを有する映像作成手段と、現在時刻を取得する前記同期管理プロセスと、規定時間が経過した場合、各デコード手段に向けて現在時刻を配信する前記時間管理ループプロセスとを実行する同期管理部を有し、前記各映像作成手段を制御し、前記左右各チャネルの映像信号間の同期を確立する前記同期手段と、複数種類に亘る規定の投射面形状に関する変数パラメータを入力することで、関数式に基づいて投射面のメッシュモデルを作成するモデル作成手段と、観察者および投影手段の前記投射面に対する位置関係に基づいて、平面の表示面と投射面のメッシュモデルとの対応マップを作成し、平面の入力映像を前記対応マップを利用したテクスチャマッピング座標を適用して再度映像生成を行うことで、前記左右各チャネルの映像信号に逐次前記スクリーンに対する歪み補正を施してゆく歪補正手段とを備える映像信号処理装置と、前記各映像信号処理装置からの映像信号を相互に直交する偏光の映像としてそれぞれスクリーンへ投影する投影手段と、前記観察者が装着し、左右各眼にそれぞれ対応した偏光の映像を透過させて観察者に合成して認識させることで立体動画映像を表示する映像選択手段とを含む仮想現実感生成装置に用いられるプログラムであって、前記同期手段を構成するコンピュータに、現在時刻を取得する前記同期管理プロセスと、規定時間が経過した場合、各デコード手段に向けて現在時刻を配信する前記時間管理ループプロセスとを実行させ、前記映像作成手段を構成するコンピュータに、前記現在時刻を受信し、受信したことを表すレシートを同期手段に返信するとともにリファレンス時刻を更新し、前記ムービーファイル解凍プロセスへそのリファレンス時刻を配信する前記映像表示プロセスと、前記リファレンス時刻を取得し、現在取得しているフレームの表示されるべき時刻と比較し、その結果、遅延が2フレーム以内ならばフレームデータを更新し、フレームバッファ内のアドレスを映像表示プロセスへ通知するとともに、フレームデータを更新したことを映像表示プロセスへ通知する前記ムービーファイル解凍プロセスと、フレームデータ更新通知を受けると、すでに通知済のフレームバッファ内のアドレスよりフレームデータを映像信号として取得し、ムービーファイル解凍プロセスへフレームデータ更新完了を通知し、映像信号を映像作成手段内に設けられている2つのフレームメモリの内、出力側に選択されていない方に描画する前記映像表示プロセスと、フレームデータ更新完了通知を受取ると、新たなフレームデータを取得する前記ムービーファイル解凍プロセスとを実行させ、さらに前記同期手段を構成するコンピュータに、前記レシートを受取ると、スワップ同期メッセージを映像表示プロセスへ送信する前記同期管理プロセスを実行させ、前記映像作成手段を構成するコンピュータに、前記スワップ同期メッセージに応答して前記2つのフレームメモリのスワップを実行し、前記同期手段の同期管理プロセスへレシートを返信し、再び現在時刻の受信を待受ける映像表示プロセスを実行させることを特徴とする。 Furthermore, the virtual reality generating apparatus program according to the third means of the present invention is provided on each of the left and right channels, and a screen with a wide viewing angle that can be specularly reflected in a spherical shape with a concave surface facing the observer, A synchronization management unit that executes a synchronization management process, a decompression unit that executes a movie file decompression process, and a playback display unit that executes a video display process, and sequentially decodes the video signals of the left and right channels into a video signal of a video Decoding means for converting and establishing synchronization between the video signals of the left and right channels controlled by the time management loop process and the synchronization management process of the synchronization means, for output to the projection means and for writing the decoded video signal And a frame creation means having two frame memories that can be used by sequentially switching, and the synchronization management process for acquiring the current time, A synchronization management unit that executes the time management loop process that distributes the current time to each decoding means when a predetermined time has elapsed, controls each of the video creation means, and controls the video signals of the left and right channels The synchronization means for establishing the synchronization between them, the model creation means for creating a mesh model of the projection plane based on the functional formula by inputting variable parameters relating to the prescribed projection plane shape over a plurality of types, an observer, and Based on the positional relationship of the projection unit with respect to the projection plane, a correspondence map between the plane display plane and the mesh model of the projection plane is created, and the input image of the plane is applied again by applying texture mapping coordinates using the correspondence map. A video comprising distortion correction means for sequentially performing distortion correction on the screen on the video signals of the left and right channels by performing video generation A signal processing device, projection means for projecting the video signals from the video signal processing devices onto the screen as polarized images orthogonal to each other, and polarized images respectively attached to the left and right eyes worn by the observer a program used for a virtual reality creating system including a video selection means for displaying a stereoscopic video image by be recognized by combining the viewer by transmitting, prior SL computer constituting the synchronization means, and the synchronization management process of obtaining the current time, if the prescribed time has elapsed, the computer to execute the said time management loop process of delivering the current time toward each decoding means, constituting the front Kiutsu image creating means The current time is received, a receipt indicating receipt is returned to the synchronization means, the reference time is updated, and the movie file is decompressed. The video display process that distributes the reference time to the process, and the reference time is acquired and compared with the time at which the currently acquired frame is to be displayed. Update, notify the video display process of the address in the frame buffer, and notify the video display process that the frame data has been updated. When receiving the frame data update notification, the already notified frame is received. Frame data is acquired as an image signal from the address in the buffer, the update of the frame data is notified to the movie file decompression process, and the image signal is selected on the output side of the two frame memories provided in the image creation means. The video display process that draws on the undrawn side When, upon receiving the frame data update completion notification, to execute the said movie file extraction process of obtaining a new frame data, further before Symbol computer constituting the synchronization means, upon receiving the receipt, the swap synchronization message to execute the synchronization management process to be transmitted to the image display process, before Kiutsu the computer constituting the image generating means, responsive to said swap synchronization message perform the swapping of the two frame memories, the synchronization means synchronizing It returns a receipt to the management process, characterized in that to perform the image display process waits for reception of the current time again.
このような構成の仮想現実感生成装置は、映像信号処理装置において、予め記憶されている複数種類の規定の投射面形状のいずれかまたはその組合わせを選択し、変数パラメータを入力することで前記投射面のメッシュモデルを作成し、そのメッシュモデルに観察者および投影手段の投射面に対する位置関係に基づいて、入力映像をテクスチャマッピングして映像生成を行うことで、歪み補正を実現する。それゆえ、壁面などの任意曲率の投射面に、歪みの無い映像を映し出すことができる。 The virtual reality generation apparatus having such a configuration is the video signal processing apparatus, wherein one of a plurality of types of prescribed projection surface shapes stored in advance or a combination thereof is selected and a variable parameter is input to Distortion correction is realized by creating a mesh model of the projection surface and generating an image by texture mapping the input image on the mesh model based on the positional relationship between the observer and the projection means with respect to the projection surface. Therefore, a distortion-free image can be projected on a projection surface having an arbitrary curvature such as a wall surface.
また、球面スクリーンに左右各チャネルの動画映像をそれぞれ投影して立体動画映像を表示することで、いわゆるバーチャルリアリティを生成するにあたって、左右各チャネルにそれぞれ設けられる映像作成手段で行われ、前記左右各チャネルの圧縮動画映像ファイルをそれぞれ順次デコードして、前記動画映像の信号に変換してゆき、前記投影手段に与えるデコード処理は、時間を要するとともに、映像によって所要時間がばらつくので、処理のばらつきを補正するために、同期手段を設け、前記各映像作成手段を制御し、動画映像の各信号間の同期を確立する。それゆえ、実写映像などの動画映像を、ずれなく正確に合成して立体映像を再現することができる。 Further, by displaying a stereoscopic video image by respectively projecting a video image of the right and left channels in the spherical screen, hit to generate a so-called virtual reality, performed by the image forming means provided respectively on the left and right channels, the The compressed video file for each of the left and right channels is sequentially decoded and converted into the video signal, and the decoding process applied to the projection means takes time and the required time varies depending on the video. In order to correct the variation, a synchronization unit is provided, and the video creation unit is controlled to establish synchronization between the signals of the moving image. Therefore, it is possible to reproduce a stereoscopic image by accurately synthesizing a moving image such as a live-action image without deviation.
このような構成のプログラムは、実写映像などの動画映像を、ずれなく正確に合成して立体映像を再現することができる前記の同期手段および映像作成手段を、コンピュータに実現させることができる。 The program having such a configuration can cause a computer to realize the synchronization unit and the video creation unit that can accurately synthesize a moving image such as a live-action video and reproduce a stereoscopic video.
[実施の形態1]
図1は、本発明の実施の一形態に係る映像信号処理装置1を含む映像再生装置の全体構成を示す図である。この映像再生装置は、映像信号処理装置1に、任意曲面や複数の平面が組合わせられて成るスクリーン2と、スクリーン2に映像をそれぞれ投射するプロジェクタ3と、記録媒体4の再生装置やコンピュータグラッフィックスの作成装置5などの映像信号源と、映像信号処理装置1にスクリーン2の曲面形状やプロジェクタ3の投射位置などの設定データを与える設定手段6とを備えて構成される。そして、映像信号処理装置1は、設定手段6で設定されたデータに基づいて、映像信号源から入力される平面の表示面に対する映像信号を補正してプロジェクタ3へ出力することで、スクリーン2に歪みのない映像を表示させる。
[Embodiment 1]
FIG. 1 is a diagram showing an overall configuration of a video reproduction apparatus including a video signal processing apparatus 1 according to an embodiment of the present invention. This video reproduction apparatus includes a video signal processing apparatus 1 having a
映像信号処理装置1は、ハードウェア部11と、それを動作させるソフトウェア部12とを備えて構成される。ハードウェア部11は、映像信号を処理する映像信号処理回路13と、演算データなどを記憶するメモリ15と、プログラムや入出力の映像信号などを記憶するメモリ16と、中央処理装置(CPU)を含み、各部を制御するデジタルシグナルプロセッサ(DSP)14とを備えて構成される。映像信号は、JPEGファイルやMPEGファイルなどによるVGAやXGAなどのデジタル信号や、アナログコンポジット信号などである。設定手段6からの設定データは、USBケーブルなどで入力される。
The video signal processing apparatus 1 includes a
ソフトウェア部12は、後に詳述するように、スクリーン2のモデルを創造するスクリーンモデル創造部21と、プロジェクタ3のスクリーン2に対する配置位置の設定およびプロジェクタ3の画角の設定を行うプロジェクタ配置・セットアップ部22と、観察者のスクリーン2に対する位置の設定を行うユーザ位置設定部23と、歪補正部25と、入力映像処理部26とを備えて構成される。歪補正部25は、入力映像処理部26にて平面の入力映像が画素に分解されたデータに、各部21〜23での処理結果に対応した歪み補正、具体的にはテクスチャマッピングを施し、歪処理映像を作成する。これらのソフトウェア部12による以下の処理は、デジタルシグナルプロセッサ(DSP)14によって制御される映像信号処理回路13を使用して行われる。
The
図2は、モデル作成手段であるスクリーンモデル創造部21の機能ブロック図である。このスクリーンモデル創造部21は、前述のようにスクリーン2のメッシュモデルを創造するものであり、先ずスクリーンモデル創造部21には、基本的な3つのモデルが記憶されている。すなわち球形のみのモデル31と、円筒のみのモデル32と、混合モデル33とである。混合モデル33は、球形を主として他の平面または曲面を混合した球形混合モデル34と、円筒を主として他の平面または曲面を混合した円筒混合モデル35と、平面を主として他の平面または曲面を混合した平面混合モデル36とから構成されている。そして、各モデル31,32,34〜36の内容は、設定手段6に呼出すことができ、いずれか1つを設定手段6で設定し、さらに設定手段6から入力パラメータ31a,32a,34a〜36aを入力することで、実際のスクリーン2に適応したメッシュモデル31b,32b,34b〜36bを作成することができる。
FIG. 2 is a functional block diagram of the screen
基本モデルと入力パラメータとしては、以下のとおりである。 The basic model and input parameters are as follows.
図3で示すように球面(真球の一部)の場合、入力パラメータとしては、球の半径Rと、球の中心から切断面までの距離Aとである。 As shown in FIG. 3, in the case of a spherical surface (a part of a true sphere), input parameters are a radius R of the sphere and a distance A from the center of the sphere to the cut surface.
ここで、球の式は、
x2+y2+z2=R2・・・(1)
であり、A≦x≦R、−y1≦y≦y1、−z1≦z≦z1である。y1は、式1において、x=A、z=0を代入して求められ、z1は、式1において、x=A、y=0を代入して求められ、y1=z1となる。したがって、上述のように球面の場合、入力パラメータとしては、球の半径Rと、球の中心から切断面までの距離Aとを入力すればよい。
Where the sphere equation is
x 2 + y 2 + z 2 = R 2 (1)
And A ≦ x ≦ R, −y1 ≦ y ≦ y1, and −z1 ≦ z ≦ z1. y1 is obtained by substituting x = A and z = 0 in Equation 1, and z1 is obtained by substituting x = A and y = 0 in Equation 1, resulting in y1 = z1. Therefore, in the case of a spherical surface as described above, the radius R of the sphere and the distance A from the center of the sphere to the cut surface may be input as input parameters.
また、図4で示すように、原点(x軸線)からy方向にBの位置で球面の一部を切り欠いた場合、スクリーン面は図5(a)のようになり、Bが負の位置(図4のように下(−y方向))の場合、A≦x≦R、−B≦y≦y1、−z1≦z≦z1であり、y1は、式1において、x=A、z=0を代入して求められ、z1は、式1において、x=A、y=0を代入して求められ、x1は、式1において、y=−B、z=0を代入して求められる。したがって、入力パラメータとしては、球の半径Rと、球の中心から切断面までの距離Aと、原点から切り欠く位置までの距離Bとを入力すればよい。 In addition, as shown in FIG. 4, when a part of the spherical surface is cut out at the position B from the origin (x axis) in the y direction, the screen surface is as shown in FIG. 5A, and B is a negative position. In the case of (lower (−y direction) as in FIG. 4), A ≦ x ≦ R, −B ≦ y ≦ y1, −z1 ≦ z ≦ z1, and y1 is represented by the following equation (1): x = A, z Z1 is obtained by substituting x = A and y = 0 in Equation 1, and x1 is obtained by substituting y = −B and z = 0 in Equation 1. It is done. Therefore, as the input parameters, the radius R of the sphere, the distance A from the center of the sphere to the cut surface, and the distance B from the origin to the notch position may be input.
同様に、上、右、左で切断した場合は、それぞれ図5(b)、図5(c)、図5(d)のようなスクリーンになり、式は以下のようになる。図5(b)で示すように上にBの高さで切断した場合、A≦x≦R、−y1≦y≦B、−z1≦z≦z1である。図5(c)で示すように右にBの距離で切断した場合、A≦x≦R、−y1≦y≦y1、−z1≦z≦Bである。図5(d)で示すように左にBの距離で切断した場合、A≦x≦R、−y1≦y≦y1、−B≦z≦z1である。入力パラメータを増やせば、2箇所以上の切断位置の組合せも可能である。 Similarly, when the top, right, and left are cut, the screens are as shown in FIGS. 5B, 5C, and 5D, respectively, and the equations are as follows. As shown in FIG. 5 (b), when cutting at the height of B, A ≦ x ≦ R, −y1 ≦ y ≦ B, and −z1 ≦ z ≦ z1. As shown in FIG. 5C, when cutting to the right at a distance of B, A ≦ x ≦ R, −y1 ≦ y ≦ y1, and −z1 ≦ z ≦ B. As shown in FIG. 5D, when cut at a distance B to the left, A ≦ x ≦ R, −y1 ≦ y ≦ y1, and −B ≦ z ≦ z1. If the input parameters are increased, it is possible to combine two or more cutting positions.
一方、図6は円筒を切断したアーチ面を示し、この場合、入力パラメータとしては、アーチの半径Rと、円の中心から切断面までの距離Aと、アーチの高さHとである。 On the other hand, FIG. 6 shows an arch surface obtained by cutting a cylinder. In this case, the input parameters are the radius R of the arch, the distance A from the center of the circle to the cut surface, and the height H of the arch.
ここで、円の式は、
x2+z2=R2・・・(2)
であり、A≦x≦R、0<y≦H、−z1≦z≦z1の制限を加えることで、アーチの表面の式となる。z1は、式1において、x=Aを代入して求められる。
Where the circle formula is
x 2 + z 2 = R 2 (2)
By adding the restrictions of A ≦ x ≦ R, 0 <y ≦ H, and −z1 ≦ z ≦ z1, the equation of the surface of the arch is obtained. z1 is obtained by substituting x = A in Equation 1.
さらにまた、図7(a)は、複数平面(長方形の面が複数存在)から成る場合を示し、この場合、入力パラメータとしては、図7(b)で示すような上面から見たときの面の配置と、面の高さHとである。図7(b)の場合、
z=−x+1(0≦x<1)・・・(3)
z=0(1≦x<3)・・・(4)
z=x−3(3≦x≦4)・・・(5)
0<y≦H・・・(6)
である。
Further, FIG. 7A shows a case where a plurality of planes (a plurality of rectangular surfaces exist), and in this case, as an input parameter, a plane viewed from the top as shown in FIG. 7B. And the height H of the surface. In the case of FIG.
z = −x + 1 (0 ≦ x <1) (3)
z = 0 (1 ≦ x <3) (4)
z = x−3 (3 ≦ x ≦ 4) (5)
0 <y ≦ H (6)
It is.
また、複数同じ大きさの球面を真横に並べたスクリーンの場合には、入力パラメータとしては、図3または図4,5で示す例と同様に、半径Rと、切断面までの距離Aと、切り欠く位置までの距離Bと、個数とを入力すればよい。すなわち、たとえば上下に2つの球面スクリーンを並べる場合、図5(a)と図5(b)とを組合わせることで実現することができ、同様に左右に2つの球面スクリーンを並べる場合、図5(c)と図5(d)とを組合わせることで実現することができ、入力パラメータとしては、前述のように、半径Rと、切断面までの距離Aと、切り欠く位置までの距離Bと、個数とを入力すればよいことが理解される。 Further, in the case of a screen in which a plurality of spherical surfaces of the same size are arranged side by side, as input parameters, as in the example shown in FIG. 3 or FIGS. 4 and 5, the radius R, the distance A to the cut surface, What is necessary is just to input the distance B to the notch position, and the number. That is, for example, when arranging two spherical screens on the top and bottom, it can be realized by combining FIG. 5A and FIG. 5B. Similarly, when arranging two spherical screens on the left and right, FIG. This can be realized by combining (c) and FIG. 5 (d). As input parameters, as described above, the radius R, the distance A to the cut surface, and the distance B to the notch position are as follows. It is understood that the number and the number may be input.
複数の円筒面のスクリーンの場合には、上面から見た配置図に、面の高さHと、各スクリーンの半径Rおよび距離Aと、個数とを入力すればよい。このようにして、スクリーン面の関数式が求まるので、x,y,zに適当な値を代入することで、或る一定個数以上のスクリーン上の点をサンプリング点として記録することで、スクリーン形状を特定することができる。各スクリーン面の関数式は、スクリーンモデル創造部21において、予め各モデル31,32,34〜36内に格納されており、設定手段6によって呼出すことができる。そして、入力パラメータ31a,32a,34a〜36aとして上記のパラメータを入力するだけで、実際のスクリーン2に適応したメッシュモデル31b,32b,34b〜36bを作成することができる。
In the case of a plurality of cylindrical screens, the surface height H, the radius R and the distance A of each screen, and the number of the screens may be input in the layout viewed from above. In this way, the screen surface function is obtained. By substituting appropriate values for x, y, and z, a certain number or more of the points on the screen are recorded as sampling points. Can be specified. The function expression of each screen surface is stored in advance in each
なお、上記のようなスクリーン面上のサンプリング点は,x軸周り、y軸周り、z軸周りに回転可能(傾いたスクリーンを定義可能)である。 Note that the sampling points on the screen surface as described above can be rotated around the x axis, the y axis, and the z axis (a tilted screen can be defined).
すなわち、x軸周りのα度の回転は、下式で表すことができる。 That is, the rotation of α degrees around the x axis can be expressed by the following equation.
また、y軸周りのβ度の回転は、下式で表すことができる。 Further, the rotation of β degrees around the y axis can be expressed by the following equation.
さらにまた、z軸周りのγ度の回転は、下式で表すことができる。 Furthermore, the rotation of γ degrees around the z axis can be expressed by the following equation.
このようにして得たスクリーン面上のサンプリング点に、入力映像処理部26からの平面入力映像の各サンプリング点を、歪補正手段である歪補正手段部25においてメッシュファイルを用いてマッピングすることで歪補正を行うことができ、入力映像信号の各画素データを、メッシュファイル上の対応する画素に割り付けてゆくことで、歪み補正された映像信号を作成することができる。メッシュファイルは、使用するスクリーン2が決定し、各パラメータを入力し、一旦作成してしまえば、パラメータなどの変更がない限り変化はなく、ハードウェア部11のメモリ15に格納され、映像再生中は入力映像信号と出力映像信号との対応画素の読替えに使用されるだけであり、大きな負担にはならない。
By mapping each sampling point of the planar input video from the input
以上図3〜図7を用いた説明は、図8で示すようなスクリーン2の形状に対する補正方法を説明するものである。すなわち、平面の表示装置に対する映像信号を、そのまま球形のスクリーン2に投射すると、図8(a)に示すように歪んだ映像になり、このため球形のスクリーン2に表示したときに歪みが無くなるように、図8(b)に示すように予め映像を歪ませるものである。しかしながら、プロジェクタ3のスクリーン2に対する配置位置の違いおよび観察者のスクリーン2に対する位置の違いなどから、さらなる補正が必要になる。したがって、上述のようにして求めたメッシュファイルには、さらにそのような補正が施され、実際の映像信号の読替えに使用される。以下に、球面スクリーンに対するプロジェクタおよび観察者の位置の違いに対する補正方法について詳しく説明する。この処理は、プロジェクタ配置・セットアップ部22およびユーザ位置設定部23からの入力に応答して、歪補正部25によって行われる。
The above description with reference to FIGS. 3 to 7 describes a correction method for the shape of the
図9は、上述のような球面補正に、プロジェクタ3および観察者の位置補正を含めた歪み補正の手法を説明するための図である。これらの補正は、プロジェクタ配置・セットアップ部22および位置設定部23からの入力に応答して、歪補正部25によって行われる。
FIG. 9 is a diagram for explaining a distortion correction method including the position correction of the
先ず、補正にあたって、図9に示すように、観察者51の視点位置よりビューフラスタムおよびプロジェクタ3の投影位置より映像投影フラスタムを定義する。ビューフラスタムは、視点位置としての頂点をP0、底面をP0,0,Pm,0,Pm,n,P0,nとする四角錐で表現され、投影フラスタムは、プロジェクタバックフォーカス位置としての頂点をQ0、底面をQ0,0,Qm,0,Qm,n,Q0,nとして表現される。ここで、m,nは映像解像度を表すものとし、映像信号が、たとえばSXGAの場合は、m=1279、n=1023である。底面は、仮想スクリーン面とも呼ばれる。
First, for correction, as shown in FIG. 9, a view frustum is defined from the viewpoint position of the
ここで、簡易表現のため、m=iにおけるy−z二次元断面から見たイメージを図10に示す。先ず、仮想スクリーン面2a内に点Pi,jを想定し、ベクトルP0Pi,jとドームスクリーン2(メッシュモデル31b,32b,34b〜36b)との交点Ri,jを求める。次に、ベクトルQ0Ri,jと投影フラスタムの仮想スクリーン面2bとの交点Qi,jを求める。i,jを、0≦i≦m,0≦j≦nで変化してゆくと、Pi,j→Qi,j対応マップを作成することができ、この対応マップが映像の歪みに対する逆補正となる。
Here, for simple expression, an image viewed from a yz two-dimensional section at m = i is shown in FIG. First, assuming a point P i, j in the
すなわち、先ずビューフラスタムに基づいて通常の映像生成を行い、次にこの映像データを取出し、このイメージにPi,j→Qi,j対応マップを利用したテクスチャマッピング座標を適用して再度映像生成を行うことで、映像歪み補正を実現している。グリッド映像にPi,j→Qi,j対応マップを適用したイメージを図11に示す(すなわち図8(b)とは逆になる)。本歪み補正手法は、スクリーン2の形状を制限しない。したがって、上述のようにして求めた球面のメッシュモデル31bだけでなく、他のメッシュモデル32b,34b〜36bなどへも適用可能である。
That is, first, normal video generation is performed based on the view frustum, then this video data is taken out, and the image is again applied by applying texture mapping coordinates using the P i, j → Q i, j correspondence map to this image. By performing the generation, the video distortion correction is realized. An image obtained by applying the P i, j → Q i, j correspondence map to the grid video is shown in FIG. 11 (that is, reverse to FIG. 8B). This distortion correction method does not limit the shape of the
映像信号処理装置1の歪補正部25において、このような補正を行うことで、平面の表示面に対する入力映像信号を逐次歪み処理してプロジェクタ3に与えることができ、任意曲率のスクリーン2には歪みのない映像を表示することができる。
By performing such correction in the
[実施の形態2]
図12は、本発明の実施の他の形態に係る仮想現実感生成装置の電気的構成を示すブロック図である。この仮想現実感生成装置は、ビデオムービーなどの汎用の撮影手段を使用して作成された左右両チャネルの圧縮動画映像ファイルを解凍し、上述のように本発明に係るスクリーン面に対する歪み補正を施し、同期を取って左右各チャネルのプロジェクタ102,103から相互に直交する偏光面の映像で投影することで、仮想現実感映像を生成することである。観察者は、左右各チャネルの映像を左右の目でそれぞれ認識するように、左右それぞれの偏光面に対応した映像のみを透過させる専用の眼鏡をかけてスクリーンを見る。また、スクリーンには、偏光をそのまま反射可能な、シルバースクリーンなどの鏡面反射スクリーンが用いられる。
[Embodiment 2]
FIG. 12 is a block diagram showing an electrical configuration of a virtual reality generation apparatus according to another embodiment of the present invention. This virtual reality generation device decompresses the compressed video image files of both the left and right channels created using general-purpose shooting means such as a video movie, and performs distortion correction on the screen surface according to the present invention as described above. In other words, a virtual reality image is generated by projecting images of polarization planes orthogonal to each other from the
圧縮動画映像ファイルは、DVD(デジタルビデオディスク)などの媒体に圧縮記録されている。図12では、媒体としては、左右それぞれのDVD111,121で示しているけれども、動画映像が圧縮記録されている他の媒体であってもよい。また、人間の両眼視差に対応した間隔だけ水平方向に離間して配置された左右それぞれの撮影手段で撮影された動画映像は、それらの撮影手段で個別のDVD111,121に圧縮して記録されるが、左右の撮影手段が一体化されていて、同じ媒体に記録されていてもよい。
The compressed moving image video file is compressed and recorded on a medium such as a DVD (digital video disc). In FIG. 12, the medium is shown by the left and
MPEG2やMPEG4などで圧縮されたDVD111,121の記録映像は、映像作成手段107,108において、それぞれハードディスク112,122に取込まれる。ハードディスク112,122に取込まれた記録映像は、解凍部113,123において解凍(伸長)され、さらに再生表示部114,124において、映像信号に変換される。解凍部113,123および再生表示部114,124は、デコード手段を構成する。こうして得られた映像信号は、上述の映像信号処理装置1と同様に構成される歪補正部115,125において、スクリーン2の球面形状によって生じる歪に対する歪補正およびプロジェクタ102,103の球の中心軸上からのオフセットによって生じる歪に対する設置位置補正が行われる。
Recorded videos of
歪補正部115,125から出力された映像信号は、切換えスイッチ117,127を介して、それぞれ2つずつ設けられるフレームメモリ118,119;128,129の一方に書込まれ、そのフレームメモリ118,119;128,129の他方からは、切換えスイッチ120,130を介して映像信号が読出され、プロジェクタ102,103に与えられ、投射が行われる。このように構成される映像作成手段107,108において、CGによって作成された映像信号は、解凍部113,123における伸長処理および再生表示部114,124における映像信号への変換処理は不要であり、直接歪補正部115,125から入力される。
The video signals output from the
映像作成手段107,108は、パーソナルコンピュータから成り、解凍部113,123、再生表示部114,124、歪補正部115,125および同期管理部116,126は、そのパーソナルコンピュータに格納されたソフトウェアおよびそれを実行するハードウェアによって構成される。すなわち、映像信号処理用のソフトウェアとして、解凍部113,123にはムービーファイル解凍プロセスを有し、再生表示部114,124には映像表示プロセスを有し、歪補正部115,125には映像歪補正プロセスを有する。また、解凍部113,123、再生表示部114,124および切換えスイッチ117,127;120,130の同期を管理する同期管理部116,126は、同期管理プロセスを有する。
The video creation means 107 and 108 are composed of a personal computer. The
ここで、映像作成手段107,108はスレーブとなり、マスターとなる同期手段109が設けられる。この同期手段109もパーソナルコンピュータから成り、映像作成手段107,108とは、ネットワークによって相互に接続されている。同期手段109でも、DVD111または112(図12では111)からの記録映像がハードディスク132に取込まれ、解凍部133において伸長され、さらに再生表示部134において映像信号に変換される。この映像信号におけるタイムコードを利用して、同期管理部136は、同期管理部116,126を介して、後述するように切換えスイッチ117,127;120,130のスイッチングなどを制御し、映像作成手段107,108からの映像信号間の同期を確立する。解凍部133にはムービーファイル解凍プロセスを有し、再生表示部134には映像表示プロセスを有し、同期管理部136には同期管理プロセスおよび時間管理ループプロセスを有する。映像作成手段107,108が実行する同期管理プロセス、ムービーファイル解凍プロセス、映像表示プロセスおよび映像補正プロセスについては、以下に詳細に説明する。また、同期手段109が実行する時間管理ループプロセス、同期管理プロセス、ムービーファイル解凍プロセスおよび映像表示プロセスについても、以下に詳細に説明する。
Here, the video creation means 107 and 108 are slaves, and a synchronization means 109 is provided as a master. The synchronization means 109 is also composed of a personal computer, and the video creation means 107 and 108 are mutually connected by a network. Also in the synchronization means 109, the recorded video from the
映像作成手段107における解凍部113、再生表示部114、歪補正部115、同期管理部116、切換えスイッチ117,120およびフレームメモリ118,119は、たとえばパーソナルコンピュータのPCIスロットに装着されるボードなどの形態で実現することができる。同様に、映像作成手段108における解凍部123、再生表示部124、歪補正部125、同期管理部126、切換えスイッチ127,130およびフレームメモリ128,129、ならびに同期手段109における解凍部133、再生表示部134および同期管理部136も、PCIスロットに装着されるボードなどの形態で実現することができる。または、映像作成手段107,108は、上述のような機能を実現する映像歪み補正用の専用ユニットとして構成され、DVD111,121等の圧縮動画映像ファイルを再生するデッキやパーソナルコンピュータなどと、プロジェクタ102,103との間に挿入され、さらにそれらに合わせて、同期手段109となる同期ユニットが設けられてもよい。
The
図13は、上述のように構成される仮想現実感生成装置における左右の映像信号間の同期確立動作を説明するためのフローチャートである。本仮想現実感生成装置を実現する主要なソフトウェアは、前述のような時間管理ループプロセス、同期管理プロセス、ムービーファイル解凍プロセス、映像表示プロセスおよび映像歪み補正プロセスの5つから構成される。同期管理プロセス、ムービーファイル解凍プロセスおよび映像表示プロセスは、映像作成手段107,108において、それぞれ一連のプロセスで連携しながら動作する。スレーブパソコンであるこれらの映像作成手段107,108は、2つにとどまらず、マルチスクリーン対応などでさらに拡張することが可能である。時間管理ループプロセスは、唯一のプロセスであり、複数のパーソナルコンピュータのどこか一箇所で実行されればよいが、本実施の形態では、上述のように独立したマスターパソコンである同期手段109上で実行する。そして各プロセスは、ネットワークを利用して通信を行う。図12では、同期管理プロセスによる動作を、破線で示す。 FIG. 13 is a flowchart for explaining the operation of establishing synchronization between the left and right video signals in the virtual reality generating apparatus configured as described above. The main software that realizes the virtual reality generation apparatus includes the time management loop process, the synchronization management process, the movie file decompression process, the video display process, and the video distortion correction process as described above. The synchronization management process, the movie file decompression process, and the video display process operate in the video creation means 107 and 108 in cooperation with each other through a series of processes. These video creation means 107 and 108 which are slave personal computers are not limited to two, and can be further expanded to support multi-screens. The time management loop process is the only process and needs only to be executed at one place in a plurality of personal computers. However, in this embodiment, on the synchronization means 109 which is an independent master personal computer as described above. Execute. Each process communicates using a network. In FIG. 12, the operation | movement by a synchronous management process is shown with a broken line.
マスターパソコンでは、時間管理ループプロセスおよび同期管理プロセスを実行する。これによって、先ず、時間管理ループプロセスで現在時刻を取得し、規定時間が経過した場合、同期管理プロセスからスレーブパソコンに向けて現在時刻を配信する(S101,S102)。すなわち、同期管理プロセスは、一定時間毎に、時刻と、後述するように2つのフレームメモリ118,119;128,129の切換えを行う切換えスイッチ117,127;120,130の切換え指令であるスワップ同期メッセージを送信することになる。
The master personal computer executes a time management loop process and a synchronization management process. Thus, first, the current time is acquired by the time management loop process, and when the specified time has elapsed, the current time is distributed from the synchronization management process to the slave personal computer (S101, S102). That is, the synchronization management process performs swap synchronization, which is a switching command for the changeover switches 117, 127; 120, 130 for switching between the time and the two
一方、スレーブパソコンでは、ムービーファイル解凍プロセス・映像表示プロセス・映像歪み補正プロセスを実行する。これによって、先ず、映像表示プロセスが現在時刻を受信し、受信後確かに受取ったことをレシートとしてマスターパソコンに返信する(S201,S202)。さらに映像表示プロセスは、リファレンス時刻を更新し、さらにムービーファイル解凍プロセスへリファレンス時刻を配信し(S203)、フレームデータ更新通知を待受ける(S204)。 On the other hand, the slave personal computer executes a movie file decompression process, a video display process, and a video distortion correction process. As a result, first, the video display process receives the current time, and sends back to the master personal computer as a receipt that it has been received (S201, S202). Further, the video display process updates the reference time, further distributes the reference time to the movie file decompression process (S203), and waits for a frame data update notification (S204).
これに応答して、ムービーファイル解凍プロセスは、リファレンス時刻を取得し(S301)、現在取得しているフレームの表示されるべき時刻と比較する(S302)。比較の結果、遅延が2フレーム以内ならばフレームデータを更新、すなわち解凍し、フレームバッファ内のアドレスを映像表示プロセスへ通知する(S303)。さらにムービーファイル解凍プロセスは、フレームデータを更新したことを映像表示プロセスへ通知する(S304)。 In response to this, the movie file decompression process obtains a reference time (S301) and compares it with the time at which the currently obtained frame is to be displayed (S302). If the delay is within 2 frames as a result of the comparison, the frame data is updated, that is, decompressed, and the address in the frame buffer is notified to the video display process (S303). Further, the movie file decompression process notifies the video display process that the frame data has been updated (S304).
映像表示プロセスは、フレームデータ更新通知を受けると(S204,S205)、すでにS303で通知済のフレームバッファ内のアドレスよりフレームデータを映像として取得し(S206)、ムービーファイル解凍プロセスへフレームデータ更新完了を通知し(S207)、映像をバックバッファ(2つのフレームメモリ118,119;128,129の内、出力側に選択されていない方(図12ではフレームメモリ118,128))に描画、すなわち映像信号に再生する(S208)。
Upon receiving the frame data update notification (S204, S205), the video display process acquires frame data as video from the address in the frame buffer already notified in S303 (S206), and completes the frame data update process to the movie file decompression process. (S207), and the image is drawn in the back buffer (the two
一方、マスターパソコンでは、同期管理プロセスは、S103でレシートを受取ると、スワップ同期メッセージをスレーブパソコンの映像表示プロセスへ送信する(S104)。これに応答して、映像表示プロセスは、映像歪み補正プロセスを呼び出して処理を実行させ(S209)、続いてバッファスワップを実行し、マスターパソコンの同期管理プロセスへ確かに受取ったことを表すレシートを返信する(S210,S211,S212)。その後、映像表示プロセスは、S201で現在時刻の受信を待受ける。映像歪み補正は、図10で示すように対応マップの読替えによる一定時間の遅延で実現することができ、これによって左右のプロジェクタ102,103からは、相互に同期の取れた動画映像が投射されることになる。
On the other hand, in the master personal computer, when the receipt is received in S103, the synchronization management process transmits a swap synchronization message to the video display process of the slave personal computer (S104). In response to this, the video display process calls the video distortion correction process to execute the process (S209), and then executes buffer swap, and receives a receipt indicating that it has been received by the synchronization management process of the master personal computer. Reply (S210, S211, S212). Thereafter, the video display process waits for reception of the current time in S201. As shown in FIG. 10, the video distortion correction can be realized with a delay of a predetermined time by rereading the correspondence map, and thereby the left and
ムービーファイル解凍プロセスは、フレームデータ更新完了通知を受取ると(S305)、圧縮ムービーファイルより1フレームを新たに取得する(S306)。また、S302での比較の結果、遅延が2フレームを超えていても、S306で1フレームを新たに取得する。 In the movie file decompression process, when a frame data update completion notification is received (S305), one new frame is acquired from the compressed movie file (S306). Even if the delay exceeds 2 frames as a result of the comparison in S302, one frame is newly acquired in S306.
マスターパソコンの同期管理プロセスでは、映像表示プロセスよりスワップ同期メッセージのレシートを受取るまでプロセスを停止、受取ると現在時刻の取得より開始する(S105)。 In the synchronization management process of the master personal computer, the process is stopped until receipt of the swap synchronization message is received from the video display process, and when the receipt is received, the process starts with acquisition of the current time (S105).
このように構成することによって、特殊なハードウェアを用いることなく、実写映像などのムービーファイルの解凍・再生・歪み補正の各処理をリアルタイムで行いつつ、インタラクティブな複数のムービーファイルを、複数のパソコン上で同期して再生することが可能となる。特に、MPEG2やMPEG4というムービーファイルフォーマットには、1つ1つのフレームという概念がなく、映像信号の差分のみ管理することでファイル容量を圧縮しているので、差分情報よりフレームを再構築する処理(解凍処理)が必要であり、本実施の形態では、この重い処理プロセスを実行しながら、さらに再生・同期・歪み補正という処理を同時に行い、リアルタイム処理(30フレーム/秒)を実現することができる。 By configuring in this way, multiple interactive movie files can be transferred to multiple computers while performing real-time processing of decompression, playback, and distortion correction of movie files such as live-action video without using special hardware. It is possible to play back synchronously. In particular, the movie file formats such as MPEG2 and MPEG4 do not have the concept of each frame, and the file capacity is compressed by managing only the difference between video signals, so the process of reconstructing the frame from the difference information ( In the present embodiment, real-time processing (30 frames / second) can be realized by simultaneously executing playback, synchronization, and distortion correction while executing this heavy processing process. .
1 映像信号処理装置
2 スクリーン
3;102,103 プロジェクタ
4 記録媒体
5 コンピュータグラッフィックスの作成装置
6 設定手段
11 ハードウェア部
12 ソフトウェア部
13 映像信号処理回路
14 デジタルシグナルプロセッサ
15 メモリ
16 メモリ
21 スクリーンモデル創造部
22 プロジェクタ配置・セットアップ部
23 ユーザ位置設定部
25 歪補正部
26 入力映像処理部
31 球形モデル
32 円筒モデル
33 混合モデル
34 球形混合モデル
35 円筒混合モデル
36 平面混合モデル
31a,32a,34a〜36a 入力パラメータ
31b,32b,34b〜36b メッシュモデル
51 観察者
107,108 映像作成手段
109 同期手段
111,112 DVD
112,122,132 ハードディスク
113,123,133 解凍部
114,124,134 再生表示部
115,125 歪補正部
116,126,136 同期管理部
117,127;120,130 切換えスイッチ
118,119;128,129 フレームメモリ
DESCRIPTION OF SYMBOLS 1 Video
112, 122, 132
Claims (4)
左右各チャネルにそれぞれ設けられ、前記左右各チャネルの圧縮動画映像ファイルをそれぞれ順次デコードして、動画の映像信号に変換するデコード手段と、投影手段への出力用とデコードした映像信号の書込み用とに順次切換えて使用可能な2つのフレームメモリとを有する映像作成手段と、
現在時刻を取得する同期管理プロセスと、規定時間が経過した場合、各デコード手段に向けて現在時刻を配信する時間管理ループプロセスとを実行する同期管理部を有し、前記各映像作成手段を制御し、前記左右各チャネルの映像信号間の同期を確立する同期手段と、
複数種類に亘る規定の投射面形状に関する変数パラメータを入力することで、関数式に基づいて投射面のメッシュモデルを作成するモデル作成手段と、観察者および投影手段の前記投射面に対する位置関係に基づいて、平面の表示面と投射面のメッシュモデルとの対応マップを作成し、平面の入力映像を前記対応マップを利用したテクスチャマッピング座標を適用して再度映像生成を行うことで、前記左右各チャネルの映像信号に逐次前記スクリーンに対する歪み補正を実現する歪補正手段とを備える映像信号処理装置と、
前記各映像信号処理装置からの映像信号を相互に直交する偏光の映像としてそれぞれスクリーンへ投影する前記投影手段と、
前記観察者が装着し、左右各眼にそれぞれ対応した偏光の映像を透過させて観察者に合成して認識させることで立体動画映像を表示する映像選択手段とを含み、
前記デコード手段は、同期管理プロセスを実行する同期管理部、ムービーファイル解凍プロセスを実行する解凍部および映像表示プロセスを実行する再生表示部を有し、前記左右各チャネルの映像信号を順次デコードして前記動画の映像信号に変換し、前記同期手段の時間管理ループプロセスおよび同期管理プロセスにて制御されて前記左右各チャネルの映像信号間の同期を確立するものであって、
前記映像表示プロセスは、前記同期手段からの現在時刻を受信し、受信したことを表すレシートを同期手段に返信するとともにリファレンス時刻を更新し、前記ムービーファイル解凍プロセスへそのリファレンス時刻を配信し、
前記ムービーファイル解凍プロセスは、前記リファレンス時刻を取得して、現在取得しているフレームの表示されるべき時刻と比較し、その結果、遅延が2フレーム以内ならばフレームデータを更新し、フレームバッファ内のアドレスを前記映像表示プロセスへ通知するとともに、フレームデータを更新したことを映像表示プロセスへ通知し、
前記映像表示プロセスは、さらに、前記ムービーファイル解凍プロセスからフレームデータ更新通知を受けると、すでに通知済のフレームバッファ内のアドレスよりフレームデータを映像信号として取得するとともに、前記ムービーファイル解凍プロセスへフレームデータ更新完了を通知し、映像信号を前記2つのフレームメモリの内、出力側に選択されていない方に描画し、
前記ムービーファイル解凍プロセスは、前記フレームデータ更新完了通知を受取ると、新たなフレームデータを取得し、
前記同期手段は、さらに、前記同期管理プロセスによって、前記レシートを受取ると、スワップ同期メッセージを前記映像表示プロセスへ送信し、
前記映像表示プロセスは、さらに、前記スワップ同期メッセージに応答して前記2つのフレームメモリのスワップを実行し、前記同期手段の同期管理プロセスへレシートを返信し、再び現在時刻の受信を待受けることを特徴とする仮想現実感生成装置。 A screen with a wide viewing angle that can be mirror-reflected in a spherical shape with a concave surface facing the viewer,
Decoding means provided for each of the left and right channels, sequentially decoding the compressed moving image video files of the left and right channels, respectively, and converting them into moving image video signals; for outputting to the projecting means and for writing the decoded video signals; Video creating means having two frame memories that can be used by sequentially switching to
A synchronization management process for executing a synchronization management process for acquiring the current time and a time management loop process for distributing the current time to each decoding means when the specified time has elapsed, and controls each of the video creation means Synchronization means for establishing synchronization between the video signals of the left and right channels;
By entering a variable parameter relates to a projection surface shape defined over a plurality of types, and model generation means for generating a mesh model of the projection plane on the basis of the function formula based on the positional relationship with respect to the projection surface of the observer and the projection means Then, a correspondence map between the plane display surface and the mesh model of the projection plane is created, and the left and right channels are generated by applying the texture mapping coordinates using the correspondence map to the input image of the plane again. A video signal processing apparatus comprising: distortion correction means for sequentially performing distortion correction on the screen of the video signal;
The projection means for projecting the video signals from the video signal processing devices onto a screen as polarized images orthogonal to each other; and
And a video selection means for displaying a stereoscopic video image by wearing the observer and transmitting a polarized image corresponding to each of the left and right eyes and causing the observer to synthesize and recognize the image.
The decoding means includes a synchronization management unit that executes a synchronization management process, a decompression unit that executes a movie file decompression process, and a playback display unit that executes a video display process, and sequentially decodes the video signals of the left and right channels. The video signal of the moving image is converted, and controlled by a time management loop process and a synchronization management process of the synchronization means to establish synchronization between the video signals of the left and right channels,
The video display process receives the current time from the synchronization means, returns a receipt representing the reception to the synchronization means and updates the reference time, delivers the reference time to the movie file decompression process,
The movie file decompression process acquires the reference time and compares it with the time at which the currently acquired frame is to be displayed. As a result, if the delay is within 2 frames, the frame data is updated and the frame buffer is updated. And informing the video display process that the frame data has been updated.
When the video display process further receives a frame data update notification from the movie file decompression process, the video display process obtains frame data as a video signal from the address in the already notified frame buffer and sends the frame data to the movie file decompression process. Notify the completion of the update, draw the video signal to the one of the two frame memories not selected on the output side,
When the movie file decompression process receives the frame data update completion notification, it acquires new frame data,
The synchronization means further transmits a swap synchronization message to the video display process upon receipt of the receipt by the synchronization management process,
The video display process further executes swap of the two frame memories in response to the swap synchronization message, returns a receipt to the synchronization management process of the synchronization means, and waits for reception of the current time again. A virtual reality generation device characterized.
左右各チャネルにそれぞれ設けられ、同期管理プロセスを実行する同期管理部、ムービーファイル解凍プロセスを実行する解凍部および映像表示プロセスを実行する再生表示部を有し、前記左右各チャネルの映像信号を順次デコードして動画の映像信号に変換し、同期手段の時間管理ループプロセスおよび同期管理プロセスにて制御されて前記左右各チャネルの映像信号間の同期を確立するデコード手段と、投影手段への出力用とデコードした映像信号の書込み用とに順次切換えて使用可能な2つのフレームメモリとを有する映像作成手段と、
現在時刻を取得する前記同期管理プロセスと、規定時間が経過した場合、各デコード手段に向けて現在時刻を配信する前記時間管理ループプロセスとを実行する同期管理部を有し、前記各映像作成手段を制御し、前記左右各チャネルの映像信号間の同期を確立する前記同期手段と、
複数種類に亘る規定の投射面形状に関する変数パラメータを入力することで、関数式に基づいて投射面のメッシュモデルを作成するモデル作成手段と、観察者および投影手段の前記投射面に対する位置関係に基づいて、平面の表示面と投射面のメッシュモデルとの対応マップを作成し、平面の入力映像を前記対応マップを利用したテクスチャマッピング座標を適用して再度映像生成を行うことで、前記左右各チャネルの映像信号に逐次前記スクリーンに対する歪み補正を施してゆく歪補正手段とを備える映像信号処理装置と、
前記各映像信号処理装置からの映像信号を相互に直交する偏光の映像としてそれぞれスクリーンへ投影する投影手段と、
前記観察者が装着し、左右各眼にそれぞれ対応した偏光の映像を透過させて観察者に合成して認識させることで立体動画映像を表示する映像選択手段とを含む仮想現実感生成装置に用いられるプログラムであって、
前記同期手段を構成するコンピュータに、現在時刻を取得する前記同期管理プロセスと、規定時間が経過した場合、各デコード手段に向けて現在時刻を配信する前記時間管理ループプロセスとを実行させ、
前記映像作成手段を構成するコンピュータに、前記現在時刻を受信し、受信したことを表すレシートを同期手段に返信するとともにリファレンス時刻を更新し、前記ムービーファイル解凍プロセスへそのリファレンス時刻を配信する前記映像表示プロセスと、前記リファレンス時刻を取得し、現在取得しているフレームの表示されるべき時刻と比較し、その結果、遅延が2フレーム以内ならばフレームデータを更新し、フレームバッファ内のアドレスを映像表示プロセスへ通知するとともに、フレームデータを更新したことを映像表示プロセスへ通知する前記ムービーファイル解凍プロセスと、フレームデータ更新通知を受けると、すでに通知済のフレームバッファ内のアドレスよりフレームデータを映像信号として取得し、ムービーファイル解凍プロセスへフレームデータ更新完了を通知し、映像信号を映像作成手段内に設けられている2つのフレームメモリの内、出力側に選択されていない方に描画する前記映像表示プロセスと、フレームデータ更新完了通知を受取ると、新たなフレームデータを取得する前記ムービーファイル解凍プロセスとを実行させ、
さらに前記同期手段を構成するコンピュータに、前記レシートを受取ると、スワップ同期メッセージを映像表示プロセスへ送信する前記同期管理プロセスを実行させ、
前記映像作成手段を構成するコンピュータに、前記スワップ同期メッセージに応答して前記2つのフレームメモリのスワップを実行し、前記同期手段の同期管理プロセスへレシートを返信し、再び現在時刻の受信を待受ける映像表示プロセスを実行させることを特徴とするプログラム。 A screen with a wide viewing angle that can be mirror-reflected in a spherical shape with a concave surface facing the viewer,
Provided in each of the left and right channels, each having a synchronization management unit that executes a synchronization management process, a decompression unit that executes a movie file decompression process, and a playback display unit that executes a video display process. Decoding means for decoding and converting into video signals of the video, decoding means for establishing synchronization between the video signals of the left and right channels controlled by the time management loop process and the synchronization management process of the synchronization means, and for output to the projection means And two frame memories that can be used by sequentially switching to write the decoded video signal,
A synchronization management unit that executes the synchronization management process for acquiring the current time and the time management loop process for distributing the current time to each decoding means when a specified time has elapsed; The synchronization means for establishing synchronization between the video signals of the left and right channels;
Based on the positional relationship of the observer and the projection unit with respect to the projection plane by inputting variable parameters related to the prescribed projection plane shape over a plurality of types, thereby creating a mesh model of the projection plane based on a functional expression Then, a correspondence map between the plane display surface and the mesh model of the projection plane is created, and the left and right channels are generated by applying the texture mapping coordinates using the correspondence map to the input image of the plane again. A video signal processing apparatus comprising: a distortion correction unit that sequentially performs distortion correction on the screen of the video signal;
Projecting means for projecting the video signals from the respective video signal processing devices onto the screen as polarized images orthogonal to each other,
Used in a virtual reality generation device that includes a video selection unit that is worn by the observer and displays a stereoscopic video image by transmitting a polarized image corresponding to each of the left and right eyes and causing the observer to synthesize and recognize the image. Program,
Before SL computer constituting the synchronization means, the synchronization management process of obtaining the current time, if the prescribed time has elapsed, to execute the said time management loop process of delivering the current time toward each decoding means,
The computer constituting the front Kiutsu image creating means, receiving said current time, and updates the reference time with replies to synchronization means a receipt indicating the reception, distributes the reference time to the movie file extraction process The video display process and the reference time are acquired and compared with the time at which the currently acquired frame is to be displayed. As a result, if the delay is within 2 frames, the frame data is updated and the address in the frame buffer is updated. When receiving the movie file decompression process that notifies the video display process that the frame data has been updated and the frame data update notification, the frame data is received from the address in the already notified frame buffer. Obtained as a video signal, movie file The video display process for notifying the decompression process of the completion of the frame data update, and drawing the video signal to the one not selected on the output side of the two frame memories provided in the video creation means, and the frame data update When the completion notification is received, the movie file decompression process for acquiring new frame data is executed,
Further before Symbol computer constituting the synchronization means, upon receiving the receipt, to execute the synchronization management process of sending a swap synchronization message to the video display process,
The computer constituting the front Kiutsu image generating means, in response to the swap synchronization message perform the swapping of the two frame memories, returns a receipt to the synchronization management process of the synchronization means, again receiving the current time program, characterized in that to perform the image display process waits.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005041521A JP4622570B2 (en) | 2004-08-26 | 2005-02-18 | Virtual reality generation device and program used therefor |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004246371 | 2004-08-26 | ||
JP2005041521A JP4622570B2 (en) | 2004-08-26 | 2005-02-18 | Virtual reality generation device and program used therefor |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2006094458A JP2006094458A (en) | 2006-04-06 |
JP2006094458A5 JP2006094458A5 (en) | 2008-10-30 |
JP4622570B2 true JP4622570B2 (en) | 2011-02-02 |
Family
ID=36234941
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005041521A Expired - Fee Related JP4622570B2 (en) | 2004-08-26 | 2005-02-18 | Virtual reality generation device and program used therefor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4622570B2 (en) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101558655A (en) * | 2006-11-29 | 2009-10-14 | F.珀斯扎特胡有限公司 | Three dimensional projection display |
US7857461B2 (en) | 2007-11-06 | 2010-12-28 | Panasonic Corporation | Projector and projection method |
US8884883B2 (en) * | 2008-01-25 | 2014-11-11 | Microsoft Corporation | Projection of graphical objects on interactive irregular displays |
US9459784B2 (en) | 2008-07-25 | 2016-10-04 | Microsoft Technology Licensing, Llc | Touch interaction with a curved display |
US8446367B2 (en) | 2009-04-17 | 2013-05-21 | Microsoft Corporation | Camera-based multi-touch mouse |
EP2449787A1 (en) | 2009-07-02 | 2012-05-09 | Thomson Licensing | Method and system for differential distortion correction for three-dimensional (3d) projection |
EP2465269A1 (en) * | 2009-08-12 | 2012-06-20 | Thomson Licensing | Method and system for crosstalk and distortion corrections for three-dimensional (3d) projection |
US9047793B2 (en) | 2009-10-20 | 2015-06-02 | Sharp Kabushiki Kaisha | Three dimensional video display device |
JP5847315B2 (en) * | 2012-08-31 | 2016-01-20 | 三菱電機株式会社 | Display device |
JP6255663B2 (en) * | 2012-11-19 | 2018-01-10 | カシオ計算機株式会社 | Projection apparatus, projection state adjustment method, and projection state adjustment program |
KR101489261B1 (en) * | 2013-08-26 | 2015-02-04 | 씨제이씨지브이 주식회사 | Apparatus and method for managing parameter of theater |
US10484682B2 (en) * | 2017-07-03 | 2019-11-19 | Qualcomm Incorporated | Reference picture derivation and motion compensation for 360-degree video coding |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63502464A (en) * | 1985-12-19 | 1988-09-14 | ゼネラル・エレクトリック・カンパニイ | Comprehensive distortion correction in real-time image generation systems |
JPH10312162A (en) * | 1997-03-11 | 1998-11-24 | Fujitsu Ltd | Image display system and recording medium in which program for realizing the system is recorded and which is capable of being read by computer |
JP2000010216A (en) * | 1998-06-25 | 2000-01-14 | Takenaka Komuten Co Ltd | Video information recording medium and projection device |
JP2000310826A (en) * | 1999-02-23 | 2000-11-07 | Matsushita Electric Works Ltd | Virtual environmental experience display device |
JP2002243435A (en) * | 2001-02-16 | 2002-08-28 | Matsushita Electric Ind Co Ltd | Method and instrument for measuring shape |
JP2003009039A (en) * | 2001-06-27 | 2003-01-10 | Namco Ltd | Image display device, image display method, information storage medium, and image display program |
-
2005
- 2005-02-18 JP JP2005041521A patent/JP4622570B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63502464A (en) * | 1985-12-19 | 1988-09-14 | ゼネラル・エレクトリック・カンパニイ | Comprehensive distortion correction in real-time image generation systems |
JPH10312162A (en) * | 1997-03-11 | 1998-11-24 | Fujitsu Ltd | Image display system and recording medium in which program for realizing the system is recorded and which is capable of being read by computer |
JP2000010216A (en) * | 1998-06-25 | 2000-01-14 | Takenaka Komuten Co Ltd | Video information recording medium and projection device |
JP2000310826A (en) * | 1999-02-23 | 2000-11-07 | Matsushita Electric Works Ltd | Virtual environmental experience display device |
JP2002243435A (en) * | 2001-02-16 | 2002-08-28 | Matsushita Electric Ind Co Ltd | Method and instrument for measuring shape |
JP2003009039A (en) * | 2001-06-27 | 2003-01-10 | Namco Ltd | Image display device, image display method, information storage medium, and image display program |
Also Published As
Publication number | Publication date |
---|---|
JP2006094458A (en) | 2006-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4622570B2 (en) | Virtual reality generation device and program used therefor | |
JP3992045B2 (en) | Video signal processing apparatus and method, and virtual reality generation apparatus | |
US7321367B2 (en) | Arrangement and method for spatial visualization | |
US20050052623A1 (en) | Projecting system | |
WO2019131577A1 (en) | Information processing device, information processing method, and program | |
JP2006094458A5 (en) | ||
US11627251B2 (en) | Image processing apparatus and control method thereof, computer-readable storage medium | |
JP4013922B2 (en) | Virtual reality generation apparatus and method | |
JP7378243B2 (en) | Image generation device, image display device, and image processing method | |
CN112218132B (en) | Panoramic video image display method and display equipment | |
CN113286138A (en) | Panoramic video display method and display equipment | |
CN110730340B (en) | Virtual audience display method, system and storage medium based on lens transformation | |
JP2002148711A (en) | Spherical wide field angle video display device | |
CN114500970B (en) | Panoramic video image processing and displaying method and equipment | |
JP2001236521A (en) | Virtual reality system based on image dividing system | |
WO2018134946A1 (en) | Image generation device, and image display control device | |
JP5249733B2 (en) | Video signal processing device | |
JP2003323170A (en) | Image display system, image processor and image display method | |
CN114513646B (en) | Method and device for generating panoramic video in three-dimensional virtual scene | |
US20210160561A1 (en) | Image arrangement determination apparatus, display controlling apparatus, image arrangement determination method, display controlling method, and program | |
JP2020067820A (en) | Image output system, method, and program | |
JP2002108322A (en) | Projection system and projecting method | |
WO2008012983A1 (en) | Imaging device and imaging system | |
US11388378B2 (en) | Image processing apparatus, image processing method and projection system | |
KR101773929B1 (en) | System for processing video with wide viewing angle, methods for transmitting and displaying vide with wide viewing angle and computer programs for the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071011 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080910 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100706 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101005 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101018 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |