JP4013922B2 - Virtual reality generation apparatus and method - Google Patents

Virtual reality generation apparatus and method Download PDF

Info

Publication number
JP4013922B2
JP4013922B2 JP2004176106A JP2004176106A JP4013922B2 JP 4013922 B2 JP4013922 B2 JP 4013922B2 JP 2004176106 A JP2004176106 A JP 2004176106A JP 2004176106 A JP2004176106 A JP 2004176106A JP 4013922 B2 JP4013922 B2 JP 4013922B2
Authority
JP
Japan
Prior art keywords
video
synchronization
frame data
video display
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004176106A
Other languages
Japanese (ja)
Other versions
JP2005354644A (en
Inventor
伸之 柴野
厚行 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP2004176106A priority Critical patent/JP4013922B2/en
Publication of JP2005354644A publication Critical patent/JP2005354644A/en
Application granted granted Critical
Publication of JP4013922B2 publication Critical patent/JP4013922B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Projection Apparatus (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、観察者に凹面を向けた球面状のスクリーンに広視野角の立体映像を実スケールで歪みなく表示することで、観察者に仮想現実感(バーチャルリアリティ)を与える仮想現実感生成装置および方法に関する。   The present invention provides a virtual reality generation device that gives a virtual reality (virtual reality) to an observer by displaying a stereoscopic image with a wide viewing angle on a spherical screen with a concave surface facing the observer without distortion on a real scale. And methods.

前記仮想現実感(バーチャルリアリティ)を観察者に与える場合、たとえば水平方向210度、垂直方向110度と言われる人の最大視野角を超えるスクリーンに映像を表示しなければならない。したがって、平面スクリーンでは不可能であるので、観察者に凹面を向けた球面状のスクリーンを用いる仮想現実感生成装置が提案されている。   When giving the virtual reality (virtual reality) to an observer, an image must be displayed on a screen exceeding the maximum viewing angle of a person said to be 210 degrees in the horizontal direction and 110 degrees in the vertical direction, for example. Therefore, a virtual reality generation device using a spherical screen with a concave surface facing the observer has been proposed, which is impossible with a flat screen.

その中でも、本件出願人が先に提案した特許文献1は、前記球面状のスクリーンに対する歪補正だけでなく、投影手段(プロジェクタ)が球の中心軸上にないオフセットした状態に設置された場合でも、歪のない映像が得られるように補正するようにしたものである。このため、観察者の視点位置が前記中心軸上近くになる比較的小さい球面スクリーンでも、前記投影手段の設置位置を選ばず、利便性の高いものとなっている。
特許第3387487号公報
Among them, Patent Document 1 previously proposed by the present applicant not only corrects distortion for the spherical screen, but also when the projection means (projector) is installed in an offset state that is not on the center axis of the sphere. The correction is made so that an image without distortion is obtained. Therefore, even a relatively small spherical screen whose observer's viewpoint position is close to the central axis is highly convenient regardless of the installation position of the projection means.
Japanese Patent No. 3387487

このように構成される仮想現実感生成装置において、上述のような設置位置補正が加わることで、球面状のスクリーンの径が選択可能になったり、特に小径のスクリーンが使用可能になることで、該仮想現実感生成装置の設置条件が緩和され、また用途が広まる。たとえば、都市や建物或いは商品の設計にあたって、完成予想を3次元表示したり、運転シミュレーションなどに使用することが考えられる。このように用途が広まると、これまでのCG(コンピュータグラフィックス)などのような専用の画像作成手段で作成された3次元映像だけでなく、実写映像を使用することが、より現実感を生んだり、コストを抑えられると考えられる。   In the virtual reality generating device configured as described above, by adding the installation position correction as described above, the diameter of the spherical screen can be selected, and in particular, a small-diameter screen can be used. The installation conditions of the virtual reality generation device are eased and the application is widened. For example, in designing a city, a building, or a product, it is conceivable that the completion prediction is displayed three-dimensionally or used for driving simulation. As the application spreads in this way, the use of live-action images as well as 3D images created by dedicated image creation means such as CG (computer graphics) so far has made it more realistic. It is thought that the cost can be reduced.

しかしながら、前記実写映像は、前記CGなどのような専用の画像作成手段で作成されるのではなく、ビデオムービーなどの汎用の撮影手段を使用して作成されるので、圧縮して媒体に記録されていることが多く、そのまま再生したのでは、各投影手段からの投影画像にずれが生じ、見ずらくなってしまうという問題がある。   However, the live-action video is not created by a dedicated image creation means such as the CG, but is created using a general-purpose shooting means such as a video movie, so it is compressed and recorded on the medium. In many cases, if the image is reproduced as it is, there is a problem that a projection image from each projection means is deviated and difficult to see.

本発明の目的は、実写映像などの動画映像を、ずれなく正確に合成して立体映像を再現することができる仮想現実感生成装置および方法を提供することである。   An object of the present invention is to provide a virtual reality generation apparatus and method capable of accurately reproducing a stereoscopic image by accurately synthesizing a moving image such as a live-action image without deviation.

上述の目的を達成するために、本発明の第1の手段に係る仮想現実感生成装置は、観察者に凹面を向けた球面状で該観察者の有効視野角以上に映像を表示可能な広視野角のスクリーンと、相互に異なる角度から見た複数の動画映像の信号をそれぞれ作成する複数の映像作成手段と、前記各信号による動画映像をそれぞれスクリーンへ投影して観察者に合成して認識させることで立体動画映像を表示する投影手段と、時間管理ループプロセスおよび同期管理プロセスを実行する同期管理部を有して、前記各映像作成手段を制御し、各信号間の同期を確立する同期手段とを備え、前記各映像作成手段は、同期管理プロセスを実行する同期管理部、ムービーファイル解凍プロセスを実行する解凍部、映像表示プロセスを実行する再生表示部および映像歪補正プロセスを実行する歪補正部を有して、各角度における圧縮動画映像ファイルをそれぞれ順次デコードして、前記動画映像の信号に変換し、前記投影手段に与えるデコード手段と、前記投影手段への出力用とデコードした映像信号の書込み用とに順次切換えて使用可能な2つのフレームメモリとを有し、前記同期手段は、前記時間管理ループプロセスで現在時刻を取得し、規定時間が経過した場合、前記同期手段の同期管理プロセスから前記各デコード手段に向けて現在時刻を配信し前記映像表示プロセスは、現在時刻を受信し、受信したことを表すレシートを前記同期手段に返信するとともにリファレンス時刻を更新し、前記ムービーファイル解凍プロセスへそのリファレンス時刻を配信し前記ムービーファイル解凍プロセスは、前記リファレンス時刻を取得し、現在取得しているフレームの表示されるべき時刻と比較し、その結果、遅延が2フレーム以内ならばフレームデータを更新し、フレームバッファ内のアドレスを前記映像表示プロセスへ通知するとともに、フレームデータを更新したことを前記映像表示プロセスへ通知し前記映像表示プロセスは、フレームデータ更新通知を受けると、すでに通知済のフレームバッファ内のアドレスよりフレームデータを映像として取得し、前記ムービーファイル解凍プロセスへフレームデータ更新完了を通知し、映像を前記映像作成手段内に設けられている前記2つのフレームメモリの内、出力側に選択されていない方に描画するとともに前記映像歪補正プロセスを呼び出して処理を実行させ前記ムービーファイル解凍プロセスは、フレームデータ更新完了通知を受取ると、新たなフレームデータを取得し前記同期手段の同期管理プロセスでは、前記レシートを受取ると、スワップ同期メッセージを前記映像表示プロセスへ送信し前記映像表示プロセスは、前記2つのフレームメモリのスワップを実行し、前記同期手段の同期管理プロセスへレシートを返信し、再び現在時刻の受信を待受けるIn order to achieve the above-mentioned object, the virtual reality generating apparatus according to the first means of the present invention has a spherical shape with a concave surface facing an observer, and is capable of displaying an image that is larger than the effective viewing angle of the observer. A screen with a viewing angle, a plurality of video creation means for creating a plurality of video signals viewed from different angles, and a video image based on each of the signals is projected onto the screen and combined with the observer for recognition. A projection unit that displays a stereoscopic video image by performing a synchronization management unit that executes a time management loop process and a synchronization management process, and controls each of the video creation units to establish synchronization between the signals and means, each image forming means, synchronization control section for performing synchronization management process, decompression unit for performing the movie file extraction process, playback display unit for performing an image display process and movies A distortion correction unit to perform distortion correction process, the compressed moving image file at each angle are sequentially decodes each converted into a signal of the moving picture, and decoding means for providing said projecting means, to said projection means Two frame memories that can be used by sequentially switching between outputting for decoding and writing decoded video signals, and the synchronization means obtains the current time in the time management loop process, and a specified time has elapsed In this case, the current time is distributed from the synchronization management process of the synchronization means to each of the decoding means, and the video display process receives the current time, and returns a receipt indicating reception to the synchronization means and the reference. update the time, it delivers the reference time to the movie file extraction process, the movie file extraction process The reference time is acquired and compared with the time at which the currently acquired frame is to be displayed. As a result, if the delay is within 2 frames, the frame data is updated, and the address in the frame buffer is set to the video display process. And the video display process is notified that the frame data has been updated . When the video display process receives the frame data update notification, it acquires the frame data from the address in the already notified frame buffer as video. The completion of frame data update is notified to the movie file decompression process, and the video is drawn on the one of the two frame memories provided in the video creation means that is not selected on the output side and the video call the distortion correction process to execute the process, the movie file solution The freeze process, upon receiving the frame data update completion notification, acquires the new frame data, the synchronization management process of the synchronization means, upon receiving the receipt, sends a swap synchronization message to the image display process, the video The display process executes swap of the two frame memories, returns a receipt to the synchronization management process of the synchronization means, and waits for reception of the current time again .

さらにまた、本発明の第2の手段に係る仮想現実感生成方法は、観察者に凹面を向けた球面状で該観察者の有効視野角以上に映像を表示可能な広視野角のスクリーンに、相互に異なる角度から見た複数の動画映像をそれぞれ投影して観察者に合成して認識させることで立体動画映像を表示する仮想現実感生成方法において、前記各角度における圧縮動画映像ファイルをそれぞれの映像作成手段に設けた同期管理プロセス、ムービーファイル解凍プロセス、映像表示プロセスおよび映像歪補正プロセスを含んで実行するデコード手段にて順次デコードして前記動画映像の信号に変換し、時間管理ループプロセスおよび同期管理プロセスを含んで実行する同期手段にて前記映像作成手段を制御して各信号間の同期を確立するにあたって、前記時間管理ループプロセスで現在時刻を取得し、規定時間が経過した場合、同期手段の同期管理プロセスから各デコード手段に向けて現在時刻を配信し、前記映像表示プロセスが現在時刻を受信し、受信したことを表すレシートを同期手段に返信するとともにリファレンス時刻を更新し、前記ムービーファイル解凍プロセスへそのリファレンス時刻を配信し、前記ムービーファイル解凍プロセスは、前記リファレンス時刻を取得し、現在取得しているフレームの表示されるべき時刻と比較し、その結果、遅延が2フレーム以内ならばフレームデータを更新し、フレームバッファ内のアドレスを映像表示プロセスへ通知するとともに、フレームデータを更新したことを映像表示プロセスへ通知し、前記映像表示プロセスは、フレームデータ更新通知を受けると、すでに通知済のフレームバッファ内のアドレスよりフレームデータを映像として取得し、ムービーファイル解凍プロセスへフレームデータ更新完了を通知し、映像を映像作成手段内に設けられている2つのフレームメモリの内、出力側に選択されていない方に描画するとともに前記映像歪み補正プロセスを呼び出して処理を実行させ、前記ムービーファイル解凍プロセスは、フレームデータ更新完了通知を受取ると、新たなフレームデータを取得し、前記同期手段の同期管理プロセスでは、前記レシートを受取ると、スワップ同期メッセージを映像表示プロセスへ送信し、映像表示プロセスは、前記2つのフレームメモリのスワップを実行し、前記同期手段の同期管理プロセスへレシートを返信し、再び現在時刻の受信を待受ける。   Furthermore, the virtual reality generation method according to the second means of the present invention is a screen with a wide viewing angle capable of displaying an image larger than the effective viewing angle of the observer in a spherical shape with a concave surface facing the observer. In the virtual reality generation method of displaying a stereoscopic video image by projecting a plurality of video images viewed from different angles to each other and synthesizing and recognizing the same, an compressed video image file at each angle is displayed. Decode sequentially by decoding means that includes a synchronization management process, a movie file decompression process, a video display process and a video distortion correction process provided in the video creation means to convert the video into a video signal, a time management loop process, In establishing the synchronization between the signals by controlling the video creation means by the synchronization means executed including the synchronization management process, the time When the current time is acquired by the logical loop process and the specified time has elapsed, the current time is distributed from the synchronization management process of the synchronization means to each decoding means, and the video display process has received and received the current time Is sent back to the synchronization means and the reference time is updated, and the reference time is distributed to the movie file decompression process. The movie file decompression process acquires the reference time, and the current frame is acquired. Compare with the time to be displayed. As a result, if the delay is within 2 frames, the frame data is updated, the address in the frame buffer is notified to the video display process, and the frame data is updated to the video display process. The video display process notifies the frame data update notification. The frame data is acquired as an image from the address in the already notified frame buffer, the update of the frame data is notified to the movie file decompression process, and the image is stored in the two frame memories provided in the image creating means. The image file is drawn on the side not selected on the output side, and the video distortion correction process is called to execute the process. When the movie file decompression process receives the frame data update completion notification, it acquires new frame data. In the synchronization management process of the synchronization means, upon receipt of the receipt, a swap synchronization message is transmitted to the video display process. The video display process executes swap of the two frame memories, and the synchronization management process of the synchronization means Reply to the receipt and wait to receive the current time again.

このような構成の仮想現実感生成装置および方法は、球面スクリーンに相互に異なる角度から見た複数の動画映像をそれぞれ投影して立体動画映像を表示することで、いわゆるバーチャルリアリティを生成する表示装置において、各角度における圧縮動画映像ファイルをそれぞれ順次デコードして、前記動画映像の信号に変換してゆき、前記投影手段に与えるデコード処理は、時間を要するとともに、映像によって所要時間がばらつくので、処理のばらつきを補正するために、同期手段を設け、前記各映像作成手段を制御し、動画映像の各信号間の同期を確立する。   A virtual reality generation apparatus and method having such a configuration is a display apparatus that generates so-called virtual reality by projecting a plurality of moving image images viewed from different angles on a spherical screen and displaying a stereoscopic moving image image. In the above, the compressed moving image file at each angle is sequentially decoded and converted into the moving image signal, and the decoding process given to the projection means takes time and the required time varies depending on the image. In order to correct the variation, the synchronization means is provided, and the video creation means is controlled to establish synchronization between the signals of the moving picture.

それゆえ、前記実写映像などの動画映像を、ずれなく正確に合成して立体映像を再現することができる。   Therefore, it is possible to reproduce a stereoscopic image by accurately synthesizing a moving image such as the photographed image without deviation.

[実施の形態1]
以下、本発明に係る実施形態を図面に基づいて説明する。なお、各図において、同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。
[Embodiment 1]
Embodiments according to the present invention will be described below with reference to the drawings. In addition, in each figure, the structure which attached | subjected the same code | symbol shows that it is the same structure, The description is abbreviate | omitted.

図1は、本発明の実施の一形態に係る仮想現実感生成装置の全体構成を示す図である。この仮想現実感生成装置は、大略的に、広視野角のスクリーン1と、前記スクリーン1に右目用と左目用との映像をそれぞれ投影するプロジェクタ2,3と、前記プロジェクタ2,3からの投射映像を反射して前記スクリーン1に照射する反射鏡4と、前記プロジェクタ2,3からの投射映像を見るにあたって観察者5が装着する眼鏡6と、前記プロジェクタ2,3で投影するための映像信号をそれぞれ作成する映像作成手段7,8と、前記映像作成手段7,8の同期を確立する同期手段9とを備えて構成される。   FIG. 1 is a diagram showing an overall configuration of a virtual reality generation apparatus according to an embodiment of the present invention. This virtual reality generation device is roughly composed of a wide viewing angle screen 1, projectors 2 and 3 for projecting right-eye and left-eye images on the screen 1, and projections from the projectors 2 and 3, respectively. Reflecting mirror 4 that reflects an image and irradiates the screen 1, glasses 6 worn by an observer 5 when viewing the projected images from the projectors 2 and 3, and video signals to be projected by the projectors 2 and 3 Are respectively provided with video creation means 7 and 8 and synchronization means 9 for establishing synchronization of the video creation means 7 and 8.

前記スクリーン1は、水平方向にも垂直方向にも曲率を有する球面状に形成され、観察者5側に凹面を向けて配置され、該観察者5から見て、たとえば水平方向に約140度、垂直方向に約85度の有効視野角以上に映像を表示することができるものである。なお、この有効視野角とは、人間が物を詳細に認識できる視野角である。前記プロジェクタ2,3は、観察者5の有効視野角外で、かつスクリーン1上に該観察者5の影を作らない映像投影位置に配置されており、その投射映像は板状の前記反射鏡4で全反射されて前記スクリーン1に照射される。前記スクリーン1、プロジェクタ2,3および反射鏡4は、枠体10によって相互間の位置関係を維持するように保持されている。   The screen 1 is formed in a spherical shape having a curvature both in the horizontal direction and in the vertical direction, and is disposed with a concave surface facing the viewer 5 side. When viewed from the viewer 5, for example, about 140 degrees in the horizontal direction. An image can be displayed with an effective viewing angle of about 85 degrees or more in the vertical direction. The effective viewing angle is a viewing angle at which a person can recognize an object in detail. The projectors 2 and 3 are arranged outside the effective viewing angle of the viewer 5 and at a video projection position on the screen 1 where the shadow of the viewer 5 is not formed. 4 is totally reflected and irradiated to the screen 1. The screen 1, the projectors 2 and 3, and the reflecting mirror 4 are held by a frame 10 so as to maintain a positional relationship among them.

前記映像作成手段7,8は、後に詳述するように、外部または内部に右目用と左目用との動画映像ファイルをそれぞれ有し、それを順次デコードして、さらにスクリーン1上に表示されたときに、観察者5から見て、実スケールで、かつ歪みが無くなるように予め映像を歪ませる処理を行い、同期手段9からの同期信号に応答して、プロジェクタ2,3から、図示しない偏光フィルタを介して、相互に直交する偏光面の光でスクリーン1へ投影させる。これに対応して、観察者5が装着する眼鏡6は、前記相互に直交する偏光面の光の内、右目と左目とでそれぞれ対応する偏光面の光のみを通過させ、観察者5に視認させる。   As will be described in detail later, the video creation means 7 and 8 have a video image file for the right eye and for the left eye on the outside or inside, respectively, which are sequentially decoded and further displayed on the screen 1 Sometimes, when viewed from the viewer 5, the image is distorted in advance so as to eliminate distortion on an actual scale, and in response to a synchronization signal from the synchronization means 9, the projectors 2 and 3 transmit polarized light (not shown). The light is projected onto the screen 1 with light having polarization planes orthogonal to each other through the filter. Correspondingly, the glasses 6 worn by the observer 5 allow only the lights of the polarization planes corresponding to the right eye and the left eye to pass through among the lights of the polarization planes orthogonal to each other, and are visually recognized by the observer 5. Let

図2は、上述のように構成される仮想現実感生成装置の電気的構成を示すブロック図である。注目すべきは、本発明の仮想現実感生成装置では、ビデオムービーなどの汎用の撮影手段を使用して作成された圧縮動画映像ファイルから仮想現実感映像を生成することである。前記圧縮動画映像ファイルは、DVD(デジタルビデオディスク)などの媒体に圧縮記録されている。図2では、前記媒体としては、左右それぞれのDVD11,21で示しているけれども、動画映像が圧縮記録されている他の媒体であってもよい。また、人間の両眼視差に対応した間隔だけ水平方向に離間して配置された左右それぞれの撮影手段で撮影された動画映像は、それらの撮影手段で個別のDVD11,21に圧縮して記録されるが、左右の撮影手段が一体化されていて、同じ媒体に記録されていてもよい。   FIG. 2 is a block diagram showing an electrical configuration of the virtual reality generating apparatus configured as described above. It should be noted that the virtual reality generation apparatus of the present invention generates a virtual reality video from a compressed moving image video file created using general-purpose shooting means such as a video movie. The compressed moving image video file is compressed and recorded on a medium such as a DVD (digital video disc). In FIG. 2, the medium is shown as the left and right DVDs 11 and 21, but may be another medium on which a moving image is compressed and recorded. In addition, moving image images shot by the left and right shooting means arranged in the horizontal direction by an interval corresponding to human binocular parallax are compressed and recorded on individual DVDs 11 and 21 by those shooting means. However, the left and right photographing means may be integrated and recorded on the same medium.

MPEG2やMPEG4などで圧縮された前記DVD11,21の記録映像は、前記映像作成手段7,8において、それぞれハードディスク12,22に取込まれる。前記ハードディスク12,22に取込まれた記録映像は、解凍部13,23において解凍(伸長)され、さらに再生表示部14,24において、映像信号に変換される。前記解凍部13,23および再生表示部14,24は、デコード手段を構成する。こうして得られた映像信号は、歪補正部15,25において、前記スクリーン1の球面形状によって生じる歪に対する歪補正および前記プロジェクタ2,3の球の中心軸上からのオフセットによって生じる歪に対する設置位置補正が行われる。   The recorded videos of the DVDs 11 and 21 compressed by MPEG2 and MPEG4 are taken into the hard disks 12 and 22 by the video creation means 7 and 8, respectively. The recorded video captured in the hard disks 12 and 22 is decompressed (expanded) in the decompression units 13 and 23, and further converted into video signals in the reproduction display units 14 and 24. The decompression units 13 and 23 and the reproduction display units 14 and 24 constitute decoding means. The thus obtained video signal is subjected to distortion correction by the distortion correction units 15 and 25 for distortion caused by the spherical shape of the screen 1 and installation position correction for distortion caused by offset from the central axis of the sphere of the projectors 2 and 3. Is done.

前記歪補正部15,25から出力された映像信号は、切換えスイッチ17,27を介して、それぞれ2つずつ設けられるフレームメモリ18,19;28,29の一方に書込まれ、そのフレームメモリ18,19;28,29の他方からは、切換えスイッチ20,30を介して映像信号が読出され、前記プロジェクタ2,3に与えられ、投射が行われる。このように構成される映像作成手段7,8において、CGによって作成された映像信号は、前記解凍部13,23における伸長処理および再生表示部14,24における映像信号への変換処理は不要であり、直接歪補正部15,25から入力される。   The video signals output from the distortion correction units 15 and 25 are written into one of the two frame memories 18, 19; 28, and 29 provided via the changeover switches 17 and 27, respectively. , 19; 28 and 29, video signals are read out via the changeover switches 20 and 30 and given to the projectors 2 and 3 for projection. In the video creation means 7 and 8 configured as described above, the video signal created by the CG does not need to be decompressed in the decompression units 13 and 23 and converted into video signals in the reproduction display units 14 and 24. Directly input from the distortion correction units 15 and 25.

前記映像作成手段7,8は、パーソナルコンピュータから成り、前記解凍部13,23、再生表示部14,24、歪補正部15,25および同期管理部16,26は、そのパーソナルコンピュータに格納されたソフトウェアおよびそれを実行するハードウェアによって構成される。すなわち、映像信号処理用のソフトウェアとして、前記解凍部13,23にはムービーファイル解凍プロセスを有し、再生表示部14,24には映像表示プロセスを有し、前記歪補正部15,25には映像歪補正プロセスを有する。また、前記解凍部13,23、再生表示部14,24および切換えスイッチ17,27;20,30の同期を管理する同期管理部16,26は、同期管理プロセスを有する。   The video creation means 7 and 8 are composed of a personal computer, and the decompression units 13 and 23, reproduction display units 14 and 24, distortion correction units 15 and 25, and synchronization management units 16 and 26 are stored in the personal computer. Consists of software and hardware that executes it. That is, as video signal processing software, the decompression units 13 and 23 have a movie file decompression process, the reproduction display units 14 and 24 have a video display process, and the distortion correction units 15 and 25 have a video display process. It has a video distortion correction process. The synchronization management units 16 and 26 that manage the synchronization of the decompression units 13 and 23, the reproduction display units 14 and 24, and the changeover switches 17 and 27; 20, 30 have a synchronization management process.

ここで、本発明では、前記映像作成手段7,8はスレーブとなり、マスターとなる前記同期手段9が設けられる。この同期手段9もパーソナルコンピュータから成り、前記映像作成手段7,8とは、ネットワーク31によって相互に接続されている。同期手段9でも、前記DVD11または12(図2では11)からの記録映像がハードディスク32に取込まれ、解凍部33において伸長され、さらに再生表示部34において映像信号に変換される。この映像信号におけるタイムコードを利用して、同期管理部36は、前記同期管理部16,26を介して、後述するように前記切換えスイッチ17,27;20,30のスイッチングなどを制御し、映像作成手段7,8からの映像信号間の同期を確立する。前記解凍部33にはムービーファイル解凍プロセスを有し、再生表示部34には映像表示プロセスを有し、同期管理部36には同期管理プロセスおよび時間管理ループプロセスを有する。前記映像作成手段7,8が実行する同期管理プロセス、ムービーファイル解凍プロセス、映像表示プロセスおよび映像補正プロセスについては、後述する図5および図8の説明箇所にて一例を詳細に説明する。また、同期手段9が実行する時間管理ループプロセス、同期管理プロセス、ムービーファイル解凍プロセスおよび映像表示プロセスについても、後述する図8の説明箇所にて一例を詳細に説明する。   Here, in the present invention, the video creation means 7 and 8 are slaves, and the synchronization means 9 is provided as a master. The synchronization means 9 is also composed of a personal computer, and is connected to the video creation means 7 and 8 by a network 31. Also in the synchronizing means 9, the recorded video from the DVD 11 or 12 (11 in FIG. 2) is taken into the hard disk 32, decompressed by the decompression unit 33, and further converted into a video signal by the reproduction display unit 34. Using the time code in the video signal, the synchronization management unit 36 controls the switching of the changeover switches 17, 27; 20, 30 and the like as will be described later via the synchronization management units 16 and 26. Synchronization between the video signals from the creation means 7 and 8 is established. The decompression unit 33 has a movie file decompression process, the reproduction display unit 34 has a video display process, and the synchronization management unit 36 has a synchronization management process and a time management loop process. An example of the synchronization management process, the movie file decompression process, the video display process, and the video correction process executed by the video creation means 7 and 8 will be described in detail with reference to FIGS. 5 and 8 to be described later. An example of the time management loop process, the synchronization management process, the movie file decompression process, and the video display process executed by the synchronization unit 9 will be described in detail later in the description of FIG.

図3は、前記歪補正部15,25によるスクリーン1の球面形状に対する歪補正処理を説明するための図である。前記再生表示部14,24において得られた映像信号映像を、そのまま球形のスクリーン1に投射すると、図3(a)に示すように、歪んだ映像になる。このため球形のスクリーン1に表示したときに歪みが無くなるように、図3(b)に示すように、予め前記歪補正部15,25において映像を歪ませる。   FIG. 3 is a diagram for explaining distortion correction processing for the spherical shape of the screen 1 by the distortion correction units 15 and 25. When the video signal video obtained in the reproduction display units 14 and 24 is projected onto the spherical screen 1 as it is, a distorted video is obtained as shown in FIG. For this reason, as shown in FIG. 3B, the image is distorted in advance in the distortion correcting sections 15 and 25 so that the distortion is eliminated when displayed on the spherical screen 1.

また、図4は、前記歪補正部15,25によるプロジェクタ2,3の球の中心軸上からのオフセットによって生じる歪に対する設置位置補正処理を説明するための図である。この図4では、前記反射鏡4を省略しており、観察者5の後方から投射しているように示している。前記球面形状に対する歪補正が施された映像信号は、プロジェクタ2,3を、図4(a)や図4(b)で示すように、球の中心Oを通る中心軸c上に設置した状態で投射すると、歪のない映像となる。しかしながら、図1からも理解されるように、プロジェクタ2,3は観察者5の影にならない位置に設置する必要があり、特にスクリーン1の径が小さくなる程、前記中心軸上からのオフセットが大きくなる。そこで、図4(c) で示すように、プロジェクタ2,3が中心軸c上に無い状態で、該歪補正部15,25は、プロジェクタ2,3の設置位置に応じてさらに映像に歪みを与えることで補正する。   FIG. 4 is a diagram for explaining an installation position correction process for distortion caused by the offset from the central axis of the spheres of the projectors 2 and 3 by the distortion correction units 15 and 25. In FIG. 4, the reflecting mirror 4 is omitted, and it is shown as projecting from the back of the observer 5. In the video signal subjected to distortion correction for the spherical shape, the projectors 2 and 3 are installed on the central axis c passing through the center O of the sphere, as shown in FIGS. 4 (a) and 4 (b). When projected with, the image is undistorted. However, as can be understood from FIG. 1, the projectors 2 and 3 need to be installed at positions where they do not become shadows of the observer 5. In particular, as the diameter of the screen 1 decreases, the offset from the central axis increases. growing. Therefore, as shown in FIG. 4C, in a state where the projectors 2 and 3 are not on the central axis c, the distortion correction units 15 and 25 further distort the image according to the installation positions of the projectors 2 and 3. Correct by giving.

また、プロジェクタには光軸シフトと呼ぶ映像を投射する角度を変更できる機能を持つものがあるため、その機能を使用すると図1や図4(d)のようにプロジェクタ2,3を床に対して水平に設置することが可能になる。この場合も光軸シフトをパラメータとして映像を歪ませる必要があり、映像表示領域に沿って映像表示パラメータを上下左右方向に非対称な値に変換して映像表示パラメータを変更する。しかしながら、光軸シフトには、プロジェクタ2,3内にそのようなシフト機構が必要になり、コストアップを招くので、プロジェクタ2,3の軸線と光軸とを一致させることが好ましい。   In addition, some projectors have a function that can change the angle at which an image is projected called an optical axis shift. Therefore, when this function is used, the projectors 2 and 3 are placed on the floor as shown in FIG. 1 and FIG. Can be installed horizontally. In this case as well, it is necessary to distort the image using the optical axis shift as a parameter, and the image display parameter is changed by converting the image display parameter into an asymmetric value in the vertical and horizontal directions along the image display area. However, since the shift of the optical axis requires such a shift mechanism in the projectors 2 and 3, which increases the cost, it is preferable to match the axis of the projectors 2 and 3 with the optical axis.

図5は、そのような歪補正部15,25による歪み補正の手法を説明するための図である。この図5でも、前記反射鏡4を省略して示している。先ず、補正にあたって、図5に示すように、観察者5の視点位置よりビューフラスタムおよびプロジェクタ2,3の投影位置より映像投影フラスタムを定義する。ビューフラスタムは、視点位置としての頂点をP0、底面をP0,0,Pm,0,Pm,n,P0,nとする四角錐で表現され、投影フラスタムは、プロジェクタバックフォーカス位置としての頂点をQ0、底面をQ0,0,Qm,0,Qm,n,Q0,nとして表現される。ここで、m,nは映像解像度を表すものとし、映像信号が、たとえばSXGAの場合は、m=1279、n=1023である。底面は、仮想スクリーン面とも呼ばれる。 FIG. 5 is a diagram for explaining a distortion correction method by such distortion correction units 15 and 25. Also in FIG. 5, the reflecting mirror 4 is omitted. First, in the correction, as shown in FIG. 5, a view frustum is defined from the viewpoint position of the observer 5 and a video projection frustum from the projection positions of the projectors 2 and 3. The view frustum is represented by a quadrangular pyramid with the vertex as the viewpoint position P 0 and the bottom face P 0,0 , P m, 0 , P m, n , P 0, n, and the projection frustum is the projector back focus The vertex as a position is expressed as Q 0 , and the bottom is expressed as Q 0,0 , Q m, 0 , Q m, n , Q 0, n . Here, m and n represent video resolutions. When the video signal is, for example, SXGA, m = 1279 and n = 11023. The bottom surface is also called a virtual screen surface.

ここで、簡易表現のため、m=iにおけるy−z二次元断面から見たイメージを図6に示す。先ず、仮想スクリーン面1a内に点Pi,jを想定し,ベクトルP0i,jとドームスクリーン1との交点Ri,jを求める。次に、ベクトルQ0i,jと投影フラスタムの仮想スクリーン面1bとの交点Qi,jを求める。i,jを、0≦i≦m,0≦j≦nで変化してゆくと、Pi,j→Qi,j対応マップを作成することができ,この対応マップが映像の歪みに対する逆補正となる。すなわち、先ずビューフラスタムに基づいて通常の映像生成を行い、次にこの映像データを取出し、このイメージにPi,j→Qi,j対応マップを利用したテクスチャマッピング座標を適用して再度映像生成を行うことで、映像歪み補正を実現している。グリッド映像にPi,j→Qi,j対応マップを適用したイメージを図7に示す(すなわち前記図3(b)とは逆になる)。本歪み補正手法は、スクリーン1の形状を制限しない。すなわち、ドームスクリーンだけではなく、スクリーン面が測定可能もしくは解析的な特定ができれば、平面を組合わせたマルチスクリーンおよび曲率が連続的に変化する楕円球面などへも適用可能である。 Here, for simple expression, an image viewed from a yz two-dimensional section at m = i is shown in FIG. First, a point P i, j is assumed in the virtual screen surface 1a, and an intersection point R i, j between the vector P 0 P i, j and the dome screen 1 is obtained. Next, an intersection point Q i, j between the vector Q 0 R i, j and the virtual screen surface 1b of the projection frustum is obtained. If i and j are changed as 0 ≦ i ≦ m and 0 ≦ j ≦ n, a P i, j → Q i, j correspondence map can be created, and this correspondence map is the reverse of image distortion. It becomes correction. That is, first, normal video generation is performed based on the view frustum, then this video data is taken out, and the image is again applied by applying texture mapping coordinates using the P i, j → Q i, j correspondence map to this image. By performing the generation, video distortion correction is realized. An image obtained by applying the P i, j → Q i, j correspondence map to the grid video is shown in FIG. 7 (that is, the reverse of FIG. 3B). This distortion correction method does not limit the shape of the screen 1. That is, not only a dome screen but also a multi-screen combining planes and an elliptical sphere whose curvature changes continuously can be applied as long as the screen surface can be measured or analytically specified.

こうして歪み補正機能をソフトウェア上で実現することで、魚眼レンズ等を用いた光学的な処理で実現する場合では、予め表示系に合ったレンズを作成し、そのレンズを使って映像を作成・表示しなければならず、表示系の大きさ、形が変わった時には対応できないのに対して、ソフトウェアで実現することで、表示系に合わせたパラメータ設定だけで対応することができ、有利である。   In this way, when the distortion correction function is realized by software, when it is realized by optical processing using a fisheye lens etc., a lens suitable for the display system is created in advance, and an image is created and displayed using that lens. However, when the size and shape of the display system are changed, it is not possible to cope with it. However, realization with software is advantageous because it can be handled only by setting parameters according to the display system.

図8は、上述のように構成される仮想現実感生成装置における左右の映像信号間の同期確立動作を説明するためのフローチャートである。本仮想現実感生成装置を実現する主要なソフトウェアは、前述のような時間管理ループプロセス、同期管理プロセス、ムービーファイル解凍プロセス、映像表示プロセスおよび映像歪み補正プロセスの5つから構成される。前記同期管理プロセス、ムービーファイル解凍プロセスおよび映像表示プロセスは、前記映像作成手段7,8において、それぞれ一連のプロセスで連携しながら動作する。スレーブパソコンであるこれらの映像作成手段7,8は、2つにとどまらず、マルチスクリーン対応などでさらに拡張することが可能である。前記時間管理ループプロセスは、唯一のプロセスであり、複数のパーソナルコンピュータのどこか一箇所で実行されればよいが、本実施の形態では、上述のように独立したマスターパソコンである同期手段9上で実行する。そして各プロセスは、ネットワーク31を利用して通信を行う。図8では、前記同期管理プロセスによる動作を、破線で示す。   FIG. 8 is a flowchart for explaining the operation of establishing synchronization between the left and right video signals in the virtual reality generating apparatus configured as described above. The main software that realizes the virtual reality generation apparatus includes the time management loop process, the synchronization management process, the movie file decompression process, the video display process, and the video distortion correction process as described above. The synchronization management process, movie file decompression process, and video display process operate in the video creation means 7 and 8 in cooperation with each other through a series of processes. These video creation means 7 and 8 which are slave personal computers are not limited to two but can be further expanded to support multi-screens. The time management loop process is the only process and may be executed at one location of a plurality of personal computers. In the present embodiment, as described above, on the synchronization means 9 which is an independent master personal computer. Run with. Each process communicates using the network 31. In FIG. 8, the operation | movement by the said synchronous management process is shown with a broken line.

マスターパソコンでは、前記時間管理ループプロセスおよび同期管理プロセスを実行する。これによって、先ず、時間管理ループプロセスで現在時刻を取得し、規定時間が経過した場合、同期管理プロセスからスレーブパソコンに向けて現在時刻を配信する(S101,S102)。すなわち、同期管理プロセスは、一定時間毎に、時刻と、後述するように2つのフレームメモリ18,19;28,29の切換えを行う切換えスイッチ17,27;20,30の切換え指令であるスワップ同期メッセージを送信することになる。   The master personal computer executes the time management loop process and the synchronization management process. Thus, first, the current time is acquired by the time management loop process, and when the specified time has elapsed, the current time is distributed from the synchronization management process to the slave personal computer (S101, S102). That is, the synchronization management process performs swap synchronization, which is a switching command for the changeover switches 17, 27; 20, 30 for switching between the time and two frame memories 18, 19; A message will be sent.

一方、スレーブパソコンでは、前記ムービーファイル解凍プロセス・映像表示プロセス・映像歪み補正プロセスを実行する。これによって、先ず、映像表示プロセスが現在時刻を受信し、受信後確かに受取ったことをレシートとしてマスターパソコンに返信する(S201,S202)。さらに映像表示プロセスは、リファレンス時刻を更新し、さらにムービーファイル解凍プロセスへリファレンス時刻を配信し(S203)、フレームデータ更新通知を待受ける(S204)。   On the other hand, the slave personal computer executes the movie file decompression process, the video display process, and the video distortion correction process. As a result, first, the video display process receives the current time, and sends back to the master personal computer as a receipt that it has been received (S201, S202). Further, the video display process updates the reference time, further distributes the reference time to the movie file decompression process (S203), and waits for a frame data update notification (S204).

これに応答して、ムービーファイル解凍プロセスは、リファレンス時刻を取得し(S301)、現在取得しているフレームの表示されるべき時刻と比較する(S302)。比較の結果、遅延が2フレーム以内ならばフレームデータを更新、すなわち解凍し、フレームバッファ内のアドレスを映像表示プロセスへ通知する(S303)。さらにムービーファイル解凍プロセスは、フレームデータを更新したことを映像表示プロセスへ通知する(S304)。   In response to this, the movie file decompression process obtains a reference time (S301) and compares it with the time at which the currently obtained frame is to be displayed (S302). As a result of the comparison, if the delay is within 2 frames, the frame data is updated, that is, decompressed, and the address in the frame buffer is notified to the video display process (S303). Further, the movie file decompression process notifies the video display process that the frame data has been updated (S304).

映像表示プロセスは、フレームデータ更新通知を受けると(S204,S205)、すでにS303で通知済のフレームバッファ内のアドレスよりフレームデータを映像として取得し(S206)、ムービーファイル解凍プロセスへフレームデータ更新完了を通知し(S207)、映像をバックバッファ(前記2つのフレームメモリ18,19;28,29の内、出力側に選択されていない方(図2ではフレームメモリ18,28))に描画、すなわち映像信号に再生する(S208)。   Upon receiving the frame data update notification (S204, S205), the video display process acquires frame data as video from the address in the frame buffer already notified in S303 (S206), and completes the frame data update process to the movie file decompression process. (S207), and the video is drawn in the back buffer (the one of the two frame memories 18, 19; 28, 29 that is not selected on the output side (frame memories 18, 28 in FIG. 2)), that is, The video signal is reproduced (S208).

一方、マスターパソコンでは、同期管理プロセスは、S103でレシートを受取ると、スワップ同期メッセージをスレーブパソコンの映像表示プロセスへ送信する(S104)。これに応答して、映像表示プロセスは、映像歪み補正プロセスを呼び出して処理を実行させ(S209)、続いてバッファスワップを実行し、マスターパソコンの同期管理プロセスへ確かに受取ったことを表すレシートを返信する(S210,S211,S212)。その後、映像表示プロセスは、S201で現在時刻の受信を待受ける。前記映像歪み補正は、前記図5で示すように対応マップの読替えによる一定時間の遅延で実現することができ、これによって左右のプロジェクタ2,3からは、相互に同期の取れた動画映像が投射されることになる。   On the other hand, in the master personal computer, when the receipt is received in S103, the synchronization management process transmits a swap synchronization message to the video display process of the slave personal computer (S104). In response to this, the video display process calls the video distortion correction process to execute the process (S209), and then executes buffer swap, and receives a receipt indicating that it has been received by the synchronization management process of the master personal computer. Reply (S210, S211, S212). Thereafter, the video display process waits for reception of the current time in S201. As shown in FIG. 5, the video distortion correction can be realized with a delay of a predetermined time by rereading the correspondence map, whereby left and right projectors 2 and 3 project video images that are synchronized with each other. Will be.

ムービーファイル解凍プロセスは、フレームデータ更新完了通知を受取ると(S305)、圧縮ムービーファイルより1フレームを新たに取得する(S306)。また、S302での比較の結果、遅延が2フレームを超えていても、前記S306で1フレームを新たに取得する。   In the movie file decompression process, when a frame data update completion notification is received (S305), one new frame is acquired from the compressed movie file (S306). Further, even if the delay exceeds 2 frames as a result of the comparison in S302, one frame is newly acquired in S306.

マスターパソコンの同期管理プロセスでは、映像表示プロセスよりスワップ同期メッセージのレシートを受取るまでプロセスを停止、受取ると現在時刻の取得より開始する(S105)。   In the synchronization management process of the master personal computer, the process is stopped until receipt of the swap synchronization message is received from the video display process, and when the receipt is received, the process starts with acquisition of the current time (S105).

このように構成することによって、特殊なハードウェアを用いることなく、実写映像などのムービーファイルの解凍・再生・歪み補正の各処理をリアルタイムで行いつつ、インタラクティブな複数のムービーファイルを、複数のパソコン上で同期して再生することが可能となる。特に、前記MPEG2やMPEG4というムービーファイルフォーマットには、1つ1つのフレームという概念がなく、映像信号の差分のみ管理することでファイル容量を圧縮しているので、差分情報よりフレームを再構築する処理(解凍処理)が必要であり、本発明では、この重い処理プロセスを実行しながら、さらに再生・同期・歪み補正という処理を同時に行い、リアルタイム処理(30フレーム/秒)を実現することができる。   By configuring in this way, multiple interactive movie files can be transferred to multiple computers while performing real-time processing of decompression, playback, and distortion correction of movie files such as live-action video without using special hardware. It is possible to play back synchronously. In particular, the movie file formats such as MPEG2 and MPEG4 do not have the concept of each frame, and the file capacity is compressed by managing only the difference between the video signals, so the process of reconstructing the frame from the difference information In the present invention, real-time processing (30 frames / second) can be realized by simultaneously executing processing such as reproduction, synchronization, and distortion correction while executing this heavy processing process.

本発明の実施の一形態に係る仮想現実感生成装置の全体構成を示す図である。It is a figure which shows the whole structure of the virtual reality generation apparatus which concerns on one Embodiment of this invention. 図1で示す仮想現実感生成装置の電気的構成を示すブロック図である。It is a block diagram which shows the electrical structure of the virtual reality production | generation apparatus shown in FIG. 歪補正部によるスクリーンの球面形状に対する歪補正処理を説明するための図である。It is a figure for demonstrating the distortion correction process with respect to the spherical shape of the screen by a distortion correction part. 歪補正部によるプロジェクタの球の中心軸上からのオフセットによって生じる歪に対する設置位置補正処理を説明するための図である。It is a figure for demonstrating the installation position correction process with respect to the distortion produced by the offset from the center axis | shaft of the sphere of the projector by a distortion correction part. 歪補正部による歪み補正の手法を説明するための図である。It is a figure for demonstrating the method of the distortion correction by a distortion correction part. 半球状のスクリーンの中央部で切断した図5の二次元断面図である。FIG. 6 is a two-dimensional cross-sectional view of FIG. 5 taken at the center of a hemispherical screen. グリッド映像の歪補正のイメージ図である。It is an image figure of distortion correction of a grid picture. 本発明の実施の一形態に係る同期確立動作を説明するためのフローチャートである。It is a flowchart for demonstrating the synchronization establishment operation | movement which concerns on one Embodiment of this invention.

符号の説明Explanation of symbols

1 スクリーン
2,3 プロジェクタ
4 反射鏡
5 観察者
6 眼鏡
7,8 映像作成手段
9 同期手段
10 枠体
11,12 DVD
12,22,32 ハードディスク
13,23,33 解凍部
14,24,34 再生表示部
15,25 歪補正部
16,26,36 同期管理部
17,27;20,30 切換えスイッチ
18,19;28,29 フレームメモリ
31 ネットワーク
DESCRIPTION OF SYMBOLS 1 Screen 2, 3 Projector 4 Reflecting mirror 5 Observer 6 Glasses 7 and 8 Image | video preparation means 9 Synchronization means 10 Frame body 11 and 12 DVD
12, 22, 32 Hard disk 13, 23, 33 Decompression unit 14, 24, 34 Reproduction display unit 15, 25 Distortion correction unit 16, 26, 36 Synchronization management unit 17, 27; 20, 30 Changeover switch 18, 19; 29 Frame memory 31 Network

Claims (2)

観察者に凹面を向けた球面状で該観察者の有効視野角以上に映像を表示可能な広視野角のスクリーンと、相互に異なる角度から見た複数の動画映像の信号をそれぞれ作成する複数の映像作成手段と、前記各信号による動画映像をそれぞれスクリーンへ投影して観察者に合成して認識させることで立体動画映像を表示する投影手段と、時間管理ループプロセスおよび同期管理プロセスを実行する同期管理部を有して、前記各映像作成手段を制御し、各信号間の同期を確立する同期手段とを備え
前記各映像作成手段は、同期管理プロセスを実行する同期管理部、ムービーファイル解凍プロセスを実行する解凍部、映像表示プロセスを実行する再生表示部および映像歪補正プロセスを実行する歪補正部を有して、各角度における圧縮動画映像ファイルをそれぞれ順次デコードして、前記動画映像の信号に変換し、前記投影手段に与えるデコード手段と、前記投影手段への出力用とデコードした映像信号の書込み用とに順次切換えて使用可能な2つのフレームメモリとを有し、
前記同期手段は、前記時間管理ループプロセスで現在時刻を取得し、規定時間が経過した場合、前記同期手段の同期管理プロセスから前記各デコード手段に向けて現在時刻を配信し
前記映像表示プロセスは、現在時刻を受信し、受信したことを表すレシートを前記同期手段に返信するとともにリファレンス時刻を更新し、前記ムービーファイル解凍プロセスへそのリファレンス時刻を配信し
前記ムービーファイル解凍プロセスは、前記リファレンス時刻を取得し、現在取得しているフレームの表示されるべき時刻と比較し、その結果、遅延が2フレーム以内ならばフレームデータを更新し、フレームバッファ内のアドレスを前記映像表示プロセスへ通知するとともに、フレームデータを更新したことを前記映像表示プロセスへ通知し
前記映像表示プロセスは、フレームデータ更新通知を受けると、すでに通知済のフレームバッファ内のアドレスよりフレームデータを映像として取得し、前記ムービーファイル解凍プロセスへフレームデータ更新完了を通知し、映像を前記映像作成手段内に設けられている前記2つのフレームメモリの内、出力側に選択されていない方に描画するとともに前記映像歪補正プロセスを呼び出して処理を実行させ
前記ムービーファイル解凍プロセスは、フレームデータ更新完了通知を受取ると、新たなフレームデータを取得し
前記同期手段の同期管理プロセスでは、前記レシートを受取ると、スワップ同期メッセージを前記映像表示プロセスへ送信し
前記映像表示プロセスは、前記2つのフレームメモリのスワップを実行し、前記同期手段の同期管理プロセスへレシートを返信し、再び現在時刻の受信を待受けること
を特徴とする仮想現実感生成装置。
A spherical screen with a concave surface facing the observer and a wide viewing angle screen capable of displaying an image larger than the effective viewing angle of the observer, and a plurality of moving image signals viewed from different angles, respectively . A video creation means, a projection means for projecting a video image based on each signal onto a screen and synthesizing and recognizing it by an observer; and a synchronization for executing a time management loop process and a synchronization management process. Having a management unit, and controlling each video creation means, and synchronization means for establishing synchronization between each signal ,
Each of the video creation means includes a synchronization management unit that executes a synchronization management process, a decompression unit that executes a movie file decompression process, a playback display unit that executes a video display process, and a distortion correction unit that executes a video distortion correction process. The decoded moving image video file at each angle is sequentially decoded and converted into the moving image signal, and the decoding device gives the projecting device, the output to the projecting device, and the writing of the decoded video signal And two frame memories that can be used by sequentially switching to
The synchronization means acquires the current time in the time management loop process, and when the specified time has elapsed, distributes the current time from the synchronization management process of the synchronization means toward the decoding means ,
The video display process receives the current time, returns a receipt representing the reception to the synchronization means and updates the reference time, and distributes the reference time to the movie file decompression process ,
The movie file decompression process acquires the reference time and compares it with the time at which the currently acquired frame is to be displayed. As a result, if the delay is within 2 frames, the frame data is updated, Notifying the video display process of the address and notifying the video display process that the frame data has been updated ,
Upon receiving the frame data update notification, the video display process acquires frame data from the address in the already notified frame buffer as video, notifies the movie file decompression process of completion of frame data update, and sends the video to the video Of the two frame memories provided in the creation means, draw on the one not selected on the output side and call the video distortion correction process to execute the process ,
Upon receiving the frame data update completion notification, the movie file decompression process acquires new frame data ,
In the synchronization management process of the synchronization means, upon receipt of the receipt, a swap synchronization message is transmitted to the video display process ,
The virtual reality generation apparatus characterized in that the video display process executes swap of the two frame memories, returns a receipt to the synchronization management process of the synchronization means, and waits for reception of the current time again .
観察者に凹面を向けた球面状で該観察者の有効視野角以上に映像を表示可能な広視野角のスクリーンに、相互に異なる角度から見た複数の動画映像をそれぞれ投影して観察者に合成して認識させることで立体動画映像を表示する仮想現実感生成方法において、
前記各角度における圧縮動画映像ファイルをそれぞれの映像作成手段に設けた同期管理プロセス、ムービーファイル解凍プロセス、映像表示プロセスおよび映像歪補正プロセスを含んで実行するデコード手段にて順次デコードして前記動画映像の信号に変換し、時間管理ループプロセスおよび同期管理プロセスを含んで実行する同期手段にて前記映像作成手段を制御して各信号間の同期を確立するにあたって、
前記時間管理ループプロセスで現在時刻を取得し、規定時間が経過した場合、同期手段の同期管理プロセスから各デコード手段に向けて現在時刻を配信し、
前記映像表示プロセスが現在時刻を受信し、受信したことを表すレシートを同期手段に返信するとともにリファレンス時刻を更新し、前記ムービーファイル解凍プロセスへそのリファレンス時刻を配信し、
前記ムービーファイル解凍プロセスは、前記リファレンス時刻を取得し、現在取得しているフレームの表示されるべき時刻と比較し、その結果、遅延が2フレーム以内ならばフレームデータを更新し、フレームバッファ内のアドレスを映像表示プロセスへ通知するとともに、フレームデータを更新したことを映像表示プロセスへ通知し、
前記映像表示プロセスは、フレームデータ更新通知を受けると、すでに通知済のフレームバッファ内のアドレスよりフレームデータを映像として取得し、ムービーファイル解凍プロセスへフレームデータ更新完了を通知し、映像を映像作成手段内に設けられている2つのフレームメモリの内、出力側に選択されていない方に描画するとともに前記映像歪補正プロセスを呼び出して処理を実行させ、
前記ムービーファイル解凍プロセスは、フレームデータ更新完了通知を受取ると、新たなフレームデータを取得し、
前記同期手段の同期管理プロセスでは、前記レシートを受取ると、スワップ同期メッセージを映像表示プロセスへ送信し、
映像表示プロセスは、前記2つのフレームメモリのスワップを実行し、前記同期手段の同期管理プロセスへレシートを返信し、再び現在時刻の受信を待受けることを特徴とする仮想現実感生成方法。
A plurality of video images viewed from different angles are projected onto the viewer by projecting them on a wide viewing angle screen that is spherical with the concave surface facing the viewer and capable of displaying images that are larger than the viewer's effective viewing angle. In a virtual reality generation method for displaying a stereoscopic video image by combining and recognizing it,
The compressed video image file at each angle is sequentially decoded by a decoding unit including a synchronization management process, a movie file decompression process, a video display process, and a video distortion correction process provided in each video creation unit, and the video image In establishing the synchronization between the respective signals by controlling the video creation means in the synchronization means executed including the time management loop process and the synchronization management process.
When the current time is acquired by the time management loop process and the specified time has elapsed, the current time is distributed from the synchronization management process of the synchronization means toward each decoding means,
The video display process receives the current time, returns a receipt indicating the reception to the synchronization means and updates the reference time, and distributes the reference time to the movie file decompression process,
The movie file decompression process acquires the reference time and compares it with the time at which the currently acquired frame is to be displayed. As a result, if the delay is within 2 frames, the frame data is updated, Notify the video display process of the address, notify the video display process that the frame data has been updated,
When receiving the frame data update notification, the video display process obtains the frame data as video from the address in the already notified frame buffer, notifies the movie file decompression process of completion of the frame data update, and creates the video as video creation means Draw in the one that is not selected on the output side of the two frame memories provided in the inside and call the video distortion correction process to execute the process,
Upon receiving the frame data update completion notification, the movie file decompression process acquires new frame data,
In the synchronization management process of the synchronization means, upon receipt of the receipt, a swap synchronization message is transmitted to the video display process,
A virtual reality generation method characterized in that the video display process executes swap of the two frame memories, returns a receipt to the synchronization management process of the synchronization means, and waits for reception of the current time again.
JP2004176106A 2004-06-14 2004-06-14 Virtual reality generation apparatus and method Expired - Fee Related JP4013922B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004176106A JP4013922B2 (en) 2004-06-14 2004-06-14 Virtual reality generation apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004176106A JP4013922B2 (en) 2004-06-14 2004-06-14 Virtual reality generation apparatus and method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007149526A Division JP2007312402A (en) 2007-06-05 2007-06-05 Video generating apparatus and method and video projection system

Publications (2)

Publication Number Publication Date
JP2005354644A JP2005354644A (en) 2005-12-22
JP4013922B2 true JP4013922B2 (en) 2007-11-28

Family

ID=35588680

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004176106A Expired - Fee Related JP4013922B2 (en) 2004-06-14 2004-06-14 Virtual reality generation apparatus and method

Country Status (1)

Country Link
JP (1) JP4013922B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111263178A (en) * 2020-02-20 2020-06-09 广州虎牙科技有限公司 Live broadcast method, device, user side and storage medium

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4631878B2 (en) * 2006-02-20 2011-02-16 パナソニック電工株式会社 Video signal processing device, virtual reality generation system
CN101385047B (en) * 2006-02-20 2011-11-23 松下电工株式会社 Image signal processing apparatus and virtual reality creating system
JP4013989B2 (en) 2006-02-20 2007-11-28 松下電工株式会社 Video signal processing device, virtual reality generation system
JP2008003132A (en) * 2006-06-20 2008-01-10 Matsushita Electric Works Ltd Virtual reality creating apparatus and design method thereof
FR2913552B1 (en) * 2007-03-09 2009-05-22 Renault Sas SYSTEM FOR PROJECTING THREE-DIMENSIONAL IMAGES ON A TWO-DIMENSIONAL SCREEN AND CORRESPONDING METHOD
JP5236219B2 (en) * 2007-06-21 2013-07-17 三菱プレシジョン株式会社 Distortion correction and integration method using divided imaging, mapping function generation method therefor, distortion correction and integration device using divided imaging, and mapping function generation apparatus therefor
JP5210702B2 (en) * 2008-04-23 2013-06-12 パナソニック株式会社 Image correction method, program, and stereoscopic image generation system
JP5809575B2 (en) * 2012-01-31 2015-11-11 株式会社日立ハイテクノロジーズ Image processing apparatus and method, distortion correction map creating apparatus and method, and semiconductor measurement apparatus
JP2013211672A (en) * 2012-03-30 2013-10-10 Namco Bandai Games Inc Curved surface projection stereoscopic vision device
KR101440847B1 (en) * 2013-02-25 2014-11-04 중앙대학교 산학협력단 3D distortion apparatus and method using fisheye lens
CN106486030B (en) * 2016-12-30 2023-12-22 深圳裸眼威阿科技有限公司 Panoramic display system based on virtual reality
KR20240064020A (en) 2017-07-13 2024-05-10 소니그룹주식회사 Information processing device, information processing method, and program
US11388378B2 (en) 2018-01-25 2022-07-12 Sony Corporation Image processing apparatus, image processing method and projection system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111263178A (en) * 2020-02-20 2020-06-09 广州虎牙科技有限公司 Live broadcast method, device, user side and storage medium

Also Published As

Publication number Publication date
JP2005354644A (en) 2005-12-22

Similar Documents

Publication Publication Date Title
JP3992045B2 (en) Video signal processing apparatus and method, and virtual reality generation apparatus
JP4622570B2 (en) Virtual reality generation device and program used therefor
US20210329222A1 (en) System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
US11521347B2 (en) Method, apparatus, medium, and device for generating multi-angle free-respective image data
JP4013922B2 (en) Virtual reality generation apparatus and method
US8750599B2 (en) Stereoscopic image processing method and apparatus
EP3531244A1 (en) Method, apparatus and system providing alternative reality environment
CN108693970B (en) Method and apparatus for adapting video images of a wearable device
TW201921921A (en) Processing of 3D image information based on texture maps and meshes
WO2019131577A1 (en) Information processing device, information processing method, and program
JP5628819B2 (en) Computer graphics video composition apparatus and method, and display apparatus
US20240077941A1 (en) Information processing system, information processing method, and program
TW201803358A (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
JP3387487B2 (en) Immersive sensation generator
CN108989784A (en) Image display method, device, equipment and the storage medium of virtual reality device
Naimark Elements of real-space imaging: a proposed taxonomy
JP2010166218A (en) Camera system and method of controlling the same
JP2017199958A (en) Imaging apparatus, control method thereof, and control program
JP2001236521A (en) Virtual reality system based on image dividing system
GB2584282A (en) Image acquisition system and method
WO2019034804A2 (en) Three-dimensional video processing
CN111630848B (en) Image processing apparatus, image processing method, program, and projection system
JP2003323170A (en) Image display system, image processor and image display method
JP2007312402A (en) Video generating apparatus and method and video projection system
WO2022004233A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070412

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20070607

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20070625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070903

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100921

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4013922

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100921

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110921

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110921

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120921

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130921

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees